JP2021135592A - 個体推定装置、個体推定方法、およびプログラム - Google Patents

Abstract

【課題】対象者の行動や姿勢にかかわらず個体の推定を高い精度で行うこと。【解決手段】本発明の一態様は、利用者の関節の位置に基づく骨格情報を、利用者ごとに記憶する記憶部と、少なくとも対象者の形が認識可能である画像を取得する画像取得部と、画像取得部により取得された画像に基づいて、対象者の骨格情報を推定する骨格推定部と、骨格推定部により推定された骨格情報と、記憶部に記憶された骨格情報との比較に基づいて、対象者が前記利用者のうち特定の個体であるかを推定する個体推定部と、を備える、個体推定装置である。【選択図】図１

Description

本発明は、個体推定装置、個体推定方法、およびプログラムに関する。

従来、個人を特定する技術としては、ＲＦＩＤ（radio frequency identifier）や生体情報（指紋、虹彩、静脈パターンなど）を用いた個人識別技術や、撮像画像を用いた個人推定技術が知られている。撮像画像を用いた個人推定技術としては、例えば、「顔の特徴点」や「表皮下の血管パターン」を撮像した画像を用いる技術がある。

撮像画像を用いた他の個人推定技術としては、例えば、下記の特許文献１が知られている。特許文献１に記載された対象者識別方法は、距離画像センサから得られる対象者の距離画像に基づいて、対象者が特定の個人である可能性を判定する。具体的に、対象者識別方法は、対象者の距離情報を画素値とする第１距離画像から得られる対象者の身体部位の位置データに基づいて、対象者の第１身体特徴量に対応する第１距離と、対象者の別の第２身体特徴量に対応する第２距離とを算出し、第１距離及び第２距離の比と、特定の個人の体格に関する体格情報を記憶する記憶部から取得する体格情報とに基づいて、対象者が特定の個人である可能性を判定する。

撮像画像を用いた他の個人推定技術としては、下記の非特許文献１に記載された技術が知られている。非特許文献１に記載された技術は、単眼カメラからの骨格情報を用いて個人を識別する手法が記載されている。具体的に、非特許文献１は、単眼カメラにより撮像した画像から人物の特徴として肩、肘、膝等の画像内位置と認識の確信度を抽出し、抽出した特徴および認識の確信度をＣＮＮ（Convolutional Neural Network）に入力することで個人を推定している。

特開２０１８−０８９１６１号公報

戸田 哲郎、Alessandro Moro、梅田 和昇「単眼カメラから得られる骨格情報を用いた人物識別−ＣＮＮとＳＶＭの比較−」、2018年精密工学会春季大会学術講演会講演論文集、267-268頁

しかしながら、ＲＦＩＤや生体情報を用いるためには、対象者に意図的な動作を強いる必要があり、対象者の負担が大きいという問題があった。また、「顔の特徴点」や「表皮下の血管パターン」の撮像画像を用いる場合、画像に顔が含まれていない場合や後ろ姿しか撮像できない場合には個人の推定をすることができない。また、対象者の顔画像を取得することができる状況であることが必要であるため、用途が限定される問題があった。

また、特許文献１や非特許文献１のようにＲＧＢ−Ｄカメラ等の距離画像カメラや、単眼ＲＧＢカメラを用いた場合、夜間等の暗所では利用することができないため、用途が限定される問題があった。また、距離画像カメラや単眼ＲＧＢカメラを用いた場合、対象者の明瞭な画像が保存されるため、プライバシの観点から居住環境等へ導入することに対して敬遠される場合がある。

さらに、撮像画像を用いた個人推定技術において、対象者の行動を撮像した複数の画像を用いて姿勢を推定する技術がある。しかし、対象者が歩く等の行動をしている必要があるため、対象者が座っている状況や寝ている状況では利用できず、用途が限定される問題があった。

本発明は、上記の課題に鑑みてなされたものであって、対象者の行動や姿勢にかかわらず個体の推定を高い精度で行うことができる個体推定装置、個体推定方法、およびプログラムを提供することを目的としている。

（１）本発明の一態様は、利用者の関節の位置に基づく骨格情報を、利用者ごとに記憶する記憶部と、少なくとも対象者の形が認識可能である画像を取得する画像取得部と、前記画像取得部により取得された画像に基づいて、前記対象者の骨格情報を推定する骨格推定部と、前記骨格推定部により推定された骨格情報と、前記記憶部に記憶された骨格情報との比較に基づいて、前記対象者が前記利用者のうち特定の個体であるかを推定する個体推定部と、を備える、個体推定装置である。

（２）本発明の一態様は、上記の個体推定装置であって、前記骨格推定部は、認識モデルを用いて骨格情報の推定を行い、前記認識モデルは、前記ヒトを含む学習画像が入力された場合に前記ヒトの関節の位置および当該関節に対応するタグ情報を出力するように処理パラメータが学習されてよい。

（３）本発明の一態様は、上記の個体推定装置であって、前記画像取得部により取得された画像から人に対応する領域を明確化する画像処理部を備え、前記骨格推定部は、前記画像処理部により処理された画像に基づいて前記対象者の骨格情報を推定してよい。

（４）本発明の一態様は、上記の個体推定装置であって、前記画像取得部により取得された画像から、人を除く画像を除去する画像処理部を備え、前記骨格推定部は、前記画像処理部により処理された画像に基づいて前記対象者の姿勢を推定してよい。

（５）本発明の一態様は、上記の個体推定装置であって、前記画像取得部により取得された画像を回転させる画像処理部を備え、前記骨格推定部は、前記画像処理部により処理された画像に基づいて前記対象者の骨格情報を推定してよい。

（６）本発明の一態様は、上記の個体推定装置であって、前記個体推定部は、特定の個体を推定した時刻から所定の期間、当該推定された特定の個体に対応した利用者を推定しやすくするパラメータを設定し、前記パラメータを用いて利用者を推定してよい。

（７）本発明の一態様は、上記の個体推定装置であって、前記個体推定部は、前記骨格推定部により推定された骨格情報のうち、前記画像の撮像方向に依存しにくい傾向を持つ一部の骨格情報を用いて個体を推定してよい。

（８）本発明の一態様は、前記骨格推定部により推定された骨格情報に基づいて前記対象者の姿勢を推定する姿勢推定部を備え、前記個体推定部は、前記姿勢推定部により推定された姿勢と、前記骨格推定部により推定された骨格情報と、前記記憶部に記憶された骨格情報との比較に基づいて、前記対象者が前記利用者のうち特定の個体であるかを推定してよい。

（９）本発明の一態様は、上記の個体推定装置であって、前記記憶部は、前記利用者の存在する場所と前記利用者の姿勢との対応関係を、前記利用者ごとに記憶し、前記個体推定部は、前記記憶部に記憶された対応関係と、前記画像取得部により取得した画像に含まれる対象者の存在する場所と前記姿勢推定部により推定された対象者の姿勢との対応関係と、の比較に基づいて、個体を推定してよい。

（１０）本発明の一態様は、利用者の関節の位置に基づく骨格情報を、利用者ごとに記憶するステップと、少なくとも対象者の形が認識可能である画像を取得するステップと、前記画像に基づいて、対象者の骨格情報を推定するステップと、推定された骨格情報と、記憶された骨格情報との比較に基づいて、前記対象者が前記利用者のうち特定の個体であるかを推定するステップと、を含む、個体推定方法である。

（１１）本発明の一態様は、情報処理装置のコンピュータに、利用者の関節の位置に基づく骨格情報を、利用者ごとに記憶するステップと、少なくとも対象者の形が認識可能である画像を取得するステップと、前記画像に基づいて、対象者の骨格情報を推定するステップと、推定された骨格情報と、記憶された骨格情報との比較に基づいて、前記対象者が前記利用者のうち特定の個体であるかを推定するステップと、を実行させるプログラムである。

本発明の一態様によれば、対象者の行動や姿勢にかかわらず個体の推定を高い精度で行うことができる。

実施形態の個体推定システムの構成例を示すブロック図である。 実施形態の個体推定システムにおける学習処理を実現するための構成例を示すブロック図である。 実施形態の個体推定システムにおける骨格推定部において学習および認識される関節等、および関節等に対応したタグ情報の一例を示す図である。 実施形態の個体推定システムにおける全体処理の一例を示すフローチャートである。 サーモグラフィ画像に対する骨格情報を説明する図であり、（Ａ）はサーモグラフィ画像を示す図であり、（Ｂ）はサーモグラフィ画像から推定された骨格情報を含む図であり、（Ｃ）は、骨格情報の特徴ベクトルを示す図であり、（Ｄ）は（Ｃ）と異なる姿勢（体位）である時の骨格情報の特徴ベクトルを示す図である。 サーモグラフィ画像を正規化して骨格情報を推定する処理を説明する図であり、（Ａ）はＲＧＢ画像、（Ｂ）はサーモグラフィ画像、（Ｃ）は正規化されたサーモグラフィ画像を示す。 サーモグラフィ画像から人を除く画像を除去して骨格情報を推定する処理を説明する図であり、（Ａ）はサーモグラフィ画像、（Ｂ）はサーモグラフィ画像から推定した骨格情報を含む画像、（Ｃ）は人を除く画像が除去されたサーモグラフィ画像、（Ｄ）は人を除く画像が除去されたサーモグラフィ画像から推定した骨格情報を含む画像を示す。 サーモグラフィ画像を回転して骨格情報を推定する処理を説明する図であり、（Ａ）はＲＧＢ画像、（Ｂ）はサーモグラフィ画像、（Ｃ）はサーモグラフィ画像から推定した骨格情報を含む画像、（Ｄ）は回転後のサーモグラフィ画像、（Ｅ）は回転後のサーモグラフィ画像から推定した骨格情報を含む画像を示す。 実施形態の個体推定システムの第１変形例を示す図である。 実施形態の個体推定システムの第２変形例を示す図である。 実施形態の個体推定システムにおける個体推定装置の変形例を示す図である。

以下、本発明を適用した個体推定装置、個体推定方法、およびプログラムを、図面を参照して説明する。

＜実施形態の概要＞
実施形態の個体推定システム１は、例えば住宅の居住者の特徴を利用者の特徴として登録し、当該利用者のうち特定の個体を推定する処理を行う。なお、以下の説明において、個体を推定する対象となる者を「対象者」と記載し、住宅の居住者等の予め登録しておく者を「利用者」と記載する。
個体推定システム１は、個体を推定するために、撮像した画像を用いた関節等の位置を含む骨格情報の推定を行い、推定した骨格情報に基づいて個体を推定する。本実施形態において、個体とは、他の物とその存在を区別して認識されるものであって、ヒトの個体を指すものとする。骨格情報の推定処理は、個体としてのヒトのキーポイントとして、関節等の位置を推定する処理である。本実施形態において、キーポイントは関節の位置であるが、これに限定されず、ヒトの骨格情報を推定することができる位置であれば、首の始点、目、鼻、耳の位置であってよい。個体の推定処理は、対象者が、利用者のうちどの利用者であるかを特定する処理である。
個体推定システム１は、個体を推定した結果に基づいて、例えば、個体に関する情報を提供したり、住宅内の各種機器を制御したりすることができる。個体推定システム１は、例えば、住宅内での利用者の異常状態を緊急に外部に通知するような緊急性検知サービスや、住宅内での利用者の異変の予兆を発見して外部に通知するような予兆発見サービスに利用することができる。

＜個体推定システム１の構成＞
図１は、実施形態の個体推定システム１の構成例を示すブロック図である。個体推定システム１は、例えば、個体推定装置１００と、複数の赤外線カメラ２００Ａ、２００Ｂおよび２００Ｃとを備える。赤外線カメラ２００Ａ、２００Ｂおよび２００Ｃのそれぞれは、例えば、住宅内における部屋（区画）Ａ、Ｂ、およびＣに対応して設けられ、各部屋にいる対象者を撮像する。なお、赤外線カメラを総称する場合には単に「赤外線カメラ２００」と記載する。なお、実施形態においては、各部屋に一つの赤外線カメラ２００を記載したが、これに限定されず、各部屋に複数個の赤外線カメラ２００を配置してよい。

実施形態において、赤外線カメラ２００は、サーモグラフィ画像を撮像するが、これに限定されず、少なくとも対象者の形を含む画像を取得することができるものであればよい。例えば、個体推定システム１は、赤外線カメラ２００に代えて、ミリ波センサやＴｏＦセンサ等の非可視光を発してヒトから反射した波に基づいて画像を取得するセンサや、ヒトから発する波を捕らえて画像を取得するセンサを備えればよい。また、個体推定システム１は、利用者の明瞭な画像が保存されないことを考慮し、ＲＧＢ画像の輪郭（エッジ、境界線）をぼかした画像や、複数の画素で平均した画素値を、当該複数の画素の画素値に変換した画像を取得してもよい。

個体推定装置１００および赤外線カメラ２００は、例えば、住宅内の通信ネットワークに接続される。個体推定装置１００及び赤外線カメラ２００は、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）をはじめとする有線通信モジュールや無線通信モジュールなどの通信インターフェースを備えている（図１では不図示）。通信ネットワークは、例えば、Ｗｉｆｉ（登録商標）であるが、これに限らず、インターネット、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、セルラー網、USB、Bluetooth（登録商標）などを含んでよい。赤外線カメラ２００により撮像された画像を示す信号は、個体推定装置１００に送信される。なお、個体推定システム１において、住宅内の通信ネットワークには、個体を推定した結果に基づく情報を表示する表示装置や、個体を推定した結果に基づいて制御される制御対象装置が接続されていてよい。制御対象装置は、例えば、特定の個体が近づいた場合に点灯する照明装置や、開く動作をするドア装置などである。

個体推定装置１００は、例えば、画像取得部１１０、画像処理部１２０、骨格推定部１３０、学習結果データ記憶部１３２、姿勢推定部１４０、個体推定部１５０、利用者データ記憶部１５２、および情報処理部１６０を備える情報処理装置である。画像取得部１１０、画像処理部１２０、骨格推定部１３０、姿勢推定部１４０、および個体推定部１５０といった機能部は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサがプログラムメモリに格納されたプログラムを実行することにより実現してよい。また、これらの機能部のうち一部または全部は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、またはＦＰＧＡ（Ｆｉｅｌｄ-Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアにより実現されてもよいし、ソフトウェアとハードウェアが協働することで実現してよい。学習結果データ記憶部１３２および利用者データ記憶部１５２は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）、フラッシュメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒy）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、またはＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等により実現してよい。

画像取得部１１０は、例えば赤外線カメラ２００から出力された信号を入力し、ディジタル信号のサーモグラフィ画像に変換する通信インターフェース回路である。画像処理部１２０は、画像取得部１１０により取得されたサーモグラフィ画像に対して所定の画像処理を施す。

骨格推定部１３０は、サーモグラフィ画像を用いて対象者の骨格情報を推定する。骨格推定部１３０は、例えば、対象者の骨格情報を推定する処理として、サーモグラフィ画像に含まれる対象者の関節等の特徴の位置を推定する処理を行う。なお、骨格推定部１３０の詳細については後述する。なお、骨格推定部１３０は、関節等の特徴として関節を含む特徴を推定するが、関節に限らず、ヒトの関節以外の特徴を推定してもよい。

姿勢推定部１４０は、骨格推定部１３０により推定された対象者の骨格情報から姿勢を推定する。なお、姿勢推定部１４０は、姿勢の推定結果を、特徴ベクトルで表現してよい。特徴ベクトルは、例えば、始点に相当する特定の関節（タグ情報）と、終点に相当する特定の関節（タグ情報）と、始点から終点までの距離により特定される情報である。なお、特徴ベクトルの方向は、始点と終点のうち頭部に近い側の一方の点から他方の点に向かう方向であってよい。

個体推定部１５０は、骨格推定部１３０により算出された骨格情報と、利用者データ記憶部１５２に記憶された骨格情報との比較に基づいて、利用者のうち特定の個体を推定する。利用者データ記憶部１５２には、利用者データが記憶される。利用者データは、例えば、利用者の識別情報と、利用者の骨格情報とが対応付けられたデータベースである。利用者は、例えば、住居者である成人男性、成人女性、１０代以上の子供、１０歳未満の子供などである。利用者の骨格情報は、例えば、赤外線カメラ２００によって利用者を撮像した画像を用いて、画像処理部１２０により画像処理を行い、画像処理が行われた画像を用いて骨格推定部１３０により推定された骨格情報である。

情報処理部１６０は、個体推定部１５０により推定された個体に応じて所定の処理を行う。情報処理部１６０は、所定の処理として、例えば、推定された個体に関する情報を表示する処理や、制御対象機器を制御する処理や、個体の存在する場所や姿勢や時刻を保存する処理や外部サーバに送信する処理などを行う。

図２は、学習処理を実現するための構成例を示すブロック図である。個体推定システム１は、例えば、学習画像データベース１３４と、学習処理部１３６とを備える。なお、学習画像データベース１３４および学習処理部１３６は、個体推定装置１００に含まれてよいが、これに限定されず、個体推定装置１００に学習画像データベース１３４および学習処理部１３６を備えず、学習処理部１３６の処理結果を入力して学習結果データ記憶部１３２に記憶すればよい。

学習画像データベース１３４は、学習画像および学習骨格情報を記憶するデータベースである。学習画像は、骨格推定部１３０における認識エンジンを学習させるための画像であって、例えばヒトが明瞭に撮像された画像である。すなわち、学習画像は、例えばＲＧＢ画像のように、赤外線カメラ２００によって撮像された画像よりもヒトの輪郭が明確な画像である。学習画像データベース１３４には、例えば、学習画像に対応付けて、学習画像内のヒトの輪郭を示す輪郭情報と、学習画像内の関節等に相当する位置を示す座標情報と、各関節等に対応したタグ情報とが記憶される。なお、学習画像データベース１３４には、ＲＧＢ画像に限らず、サーモグラフィ画像や、ミリ波画像などの各種の画像が記憶されてよい。また、学習画像データベース１３４には、学習画像として、ヒトが含まれる正例画像のみならず、ヒトとは異なる動物（猫など）を撮像した負例画像や、動物が含まれていない負例画像が記憶されてよい。学習骨格情報は、姿勢推定部１４０および／または個体推定部１５０における認識エンジンを学習させるための骨格情報であって、例えば、ヒトの画像から骨格推定部１３０によって推定した骨格情報と利用者とを対応付ける情報の組、または骨格情報と姿勢とを対応付けた組である。

図３は、実施形態の個体推定システムにおける骨格推定部１３０において学習および認識される関節等、および関節等に対応したタグ情報の一例を示す図である。ヒトの関節等のうち学習および認識される関節等には、タグ情報として、ユニークな識別子が付与される。個体推定装置１００は、学習画像に対して管理者の操作または自動認識により学習画像内の関節等の位置に対応して、当該関節等に対応するタグ情報を付与してよい。また、個体推定装置１００は、サーモグラフィ画像を認識した結果として、サーモグラフィ画像内の関節等の位置および当該関節等に対応するタグ情報を付与してよい。個体推定装置１００は、推定した関節等ごとに確信度を計算してよい。

学習処理部１３６には、学習画像データベース１３４から学習画像または学習骨格情報が供給される。学習処理部１３６は、学習画像または学習骨格情報を用いて認識処理を行い、判定結果を得る。学習処理部１３６は、正例画像を入力した場合に、当該正例画像内の関節等に相当する位置を示す座標情報と、各関節等に対応したタグ情報を出力するように認識モデル１３２Ａの処理パラメータを学習し、学習結果データを生成する。学習処理部１３６は、負例画像を入力した場合に、ヒトが存在しないという判定結果となるように認識モデル１３２Ａの処理パラメータを学習し、学習結果データを生成する。認識モデル１３２Ａの処理パラメータとは、例えば、ニューラルネットワークに含まれるフィルタ（重み、バイアスともいう）である。学習結果データは、学習結果データ記憶部１３２に記憶される。学習処理部１３６は、正例骨格情報を入力した場合に、当該正例骨格情報に関連付けられた利用者を出力するように認識モデル１３２Ａの処理パラメータを学習し、学習結果データを生成する。学習処理部１３６は、負例骨格情報を入力した場合に、関連付けられた利用者が存在しないという判定結果となるように認識モデル１３２Ａの処理パラメータを学習し、学習結果データを生成する。認識モデル１３２Ａの処理パラメータとは、例えば、ニューラルネットワークに含まれるフィルタである。学習結果データは、学習結果データ記憶部１３２に記憶される。

骨格推定部１３０は、サーモグラフィ画像を入力とし、関節等の位置を示す情報を認識結果として出力するように学習された認識モデル１３２Ａによって実現される認識エンジンである。骨格推定部１３０は、処理対象のサーモグラフィ画像を認識エンジンに入力し、当該認識エンジンから出力された認識結果を取得する。認識結果は、例えば、関節等の位置、および当該関節等に対応したタグ情報を含む。骨格推定部１３０は、認識結果を、対象者の関節等の位置を推定した結果として取得することができる。

なお、個体推定装置１００は、個体推定部１５０を、例えばＣＮＮなどの認識エンジンで構成してもよい。個体推定装置１００は、特定の利用者について、骨格推定部１３０により推定した骨格情報の特徴ベクトル（ｘ１，ｙ１,ｘ２，ｙ２、・・・）の直積を認識エンジンへの入力とし、認識エンジンの出力を当該特定の個体の推定結果とするように認識エンジンの処理パラメータを学習させる。
なお、個体推定装置１００は、個体推定部１５０を、例えばＳＶＭ（Support Vector Machin）などの認識エンジンで構成してもよい。個体推定装置１００は、特定の利用者について、骨格推定部１３０により推定した骨格情報の特徴ベクトル（ｘ１，ｙ１,ｘ２，ｙ２,・・・）を認識エンジンへの入力とし、認識エンジンの出力を当該特定の個体の推定結果とするように認識エンジンの処理パラメータを学習させる。

さらに、個体推定装置１００は、姿勢推定部１４０を、例えばＣＮＮなどの認識エンジンで構成してもよい。個体推定装置１００は、特定の姿勢について骨格推定部１３０により推定された骨格情報を入力したことに対し、当該特定の姿勢を出力するように認識エンジンの処理パラメータを学習させる。

図４は、実施形態の個体推定システム１における全体処理の一例を示すフローチャートである。個体推定システム１は、赤外線カメラ２００から信号を個体推定装置１００により受信し、サーモグラフィ画像を取得する（ステップＳ１００）。個体推定装置１００は、サーモグラフィ画像に基づいて対象者の骨格情報を取得する（ステップＳ１０２）。次に、利用者データ記憶部１５２から利用者の骨格情報を取得する（ステップＳ１０６）。次に個体推定装置１００は、ステップＳ１０２において取得した対象者の骨格情報と、ステップＳ１０６において取得した利用者の骨格情報とを比較し、利用者ごとに骨格情報の整合性を計算する（ステップＳ１０８）。個体推定装置１００は、例えば、利用者の骨格情報が対象者の骨格情報と類似するほど、当該利用者の骨格情報の整合性を高くする。具体的に、個体推定装置１００は、利用者Ａ、Ｂ、およびＣが登録されている場合、利用者Ａの整合性を８０％、利用者Ｂの整合性を５０％、利用者Ｃの整合性を１０％などといったように計算を行う。次に個体推定装置１００は、骨格情報の整合性の計算結果を出力する（ステップＳ１１０）。

個体推定部１５０は、特定の個体を推定した時刻から所定の期間（例えば数１０分）、当該推定された個体に対応した利用者を推定しやすくするパラメータを設定し、パラメータを用いて利用者を推定してよい。例えば、個体推定部１５０は、成人男性、成人女性、１０代以上の子供、１０歳未満の子供のうち、成人男性の存在を推定した場合、整合性を計算する際のパラメータを、他の利用者のパラメータよりも整合性が高く計算されるように変更する。これにより、個体推定部１５０は、成人男性の整合性を他の利用者の整合性よりも高くすることができ、この結果、他の利用者よりも成人男性であると推定しやすくすることができる。また、個体推定部１５０は、成人男性であることを推定した後、成人男性の姿勢の変化によって成人男性以外であると判定することを抑制することができる。この結果、個体推定部１５０は、個体推定結果を安定させることができる。

個体推定部１５０は、利用者が存在する場所に基づいて個体を推定してよい。利用者データ記憶部１５２は、利用者の存在する場所と利用者の姿勢との対応関係を、利用者ごとに記憶する。利用者データ記憶部１５２は、例えば、居間における成人男性の座る場所と当該成人男性の座る姿勢との対応関係や、個室における成人女性が寝る場所と当該成人女性の寝る姿勢との対応関係などを記憶する。利用者の姿勢は、例えば、成人男性が座った状態における特徴ベクトルを示す情報である。個体推定部１５０は、利用者データ記憶部１５２に記憶された対応関係と、サーモグラフィ画像に含まれる対象者の存在する場所と対象者の姿勢との対応関係と、の比較に基づいて、個体を推定する。個体推定部１５０は、例えば、居間と成人男性の特徴ベクトルとの対応関係が記憶されている場合、居間に設置された赤外線カメラ２００からの信号に基づいて取得したサーモグラフィ画像に基づいて、成人男性の特徴ベクトルに類似する対象者の特徴ベクトルが推定された場合、当該成人男性について高い整合性を取得することができる。

個体推定部１５０は、時間帯と、利用者が存在する場所に基づいて個体を推定してよい。利用者データ記憶部１５２は、例えば、時間帯と、利用者の存在する場所との対応関係を、利用者ごとに記憶する。利用者データ記憶部１５２は、例えば、成人女性について夕方という時間帯とキッチンとの対応関係などを記憶する。個体推定部１５０は、例えば、夕方にキッチンで対象者が検出された場合、成人女性についてのパラメータを、他の利用者のパラメータよりも高く変更する。これにより、個体推定部１５０は、成人女性の整合性を他の利用者の整合性よりも高くすることができ、他の利用者よりも成人女性であると推定しやすくすることができる。

個体推定部１５０は、骨格推定部１３０により推定された骨格情報のうち、サーモグラフィ画像の撮像方向に依存しにくい傾向を持つ一部の骨格情報を用いて個体を推定してよい。サーモグラフィ画像の撮像方向に依存しにくい傾向を持つ一部の骨格情報は、例えば利用者を多方向から撮像した複数の画像において、最も差が小さい骨格情報であってよい。
例えば、利用者の身長は、赤外線カメラ２００から近い場所に利用者がいる場合と赤外線カメラ２００から遠い場所に利用者がいる場合とで大差なく推定することができる。個体推定部１５０は、例えば、利用者の身長に相当する特徴ベクトルの組み合わせに基づいて、個体を推定する。利用者の身長に相当する特徴ベクトルの組み合わせは、例えば、図３における０および１のタグ情報を持つ特徴ベクトルと、１および８のタグ情報を持つ特徴ベクトルと、９および１０のタグ情報を持つ特徴ベクトルと、１０および１１のタグ情報を持つ特徴ベクトルと、の組み合わせである。

個体推定部１５０は、複数の赤外線カメラ２００により検出された信号に基づいて骨格情報を補正してよい。個体推定部１５０は、例えば、複数の赤外線カメラ２００の設置位置の情報から利用者までの距離を算出することにより赤外線カメラ２００から利用者までの距離を検出し、検出した距離に基づいて骨格情報を補正してよい。これにより、個体推定部１５０は、補正した骨格情報と記憶された骨格情報との比較に基づいて、高い精度で個体を推定することができる。

図５は、サーモグラフィ画像に対する骨格情報を説明する図であり、（Ａ）はサーモグラフィ画像を示す図であり、（Ｂ）はサーモグラフィ画像から推定された骨格情報を含む図であり、（Ｃ）は、骨格情報の特徴ベクトルを示す図であり、（Ｄ）は（Ｃ）と異なる姿勢（体位）である時の骨格情報の特徴ベクトルを示す図である。

個体推定装置１００は、図５（Ａ）に示すように、赤外線カメラ２００から入力した信号に基づくサーモグラフィ画像３００を取得する。なお、図５（Ａ）は、サーモグラフィ画像から関節等の位置を取得しやすいように所定の画像処理を施した画像であってよい。個体推定装置１００は、所定の画像処理を施したサーモグラフィ画像３００を認識エンジンに入力し、当該認識エンジンからの出力によって、サーモグラフィ画像３００内における関節等の位置、当該関節等のタグ情報を取得し、骨格情報として、特徴ベクトルを取得する。特徴ベクトルは、図５（Ｂ）に示すように、３２１，３２２，３２３，３２４，３２５のような特定の２つの関節等をつなぐ方向と距離を持つベクトルの集合であってよい。また、特徴ベクトルは、図５（Ｃ）に示すように、関節等の座標（ｘ１、ｙ１）〜（ｘ６、ｙ６）の集合であってよい。個体推定装置１００は、サーモグラフィ画像に基づく特徴ベクトルと、利用者データ記憶部１５２に記憶された特徴ベクトルとの比較に基づいて、例えば図５（Ｄ）に示すように利用者の体位が変更した場合であっても、高い精度で個体を推定することができる。

図６は、サーモグラフィ画像を正規化して骨格情報を推定する処理を説明する図であり、（Ａ）はＲＧＢ画像、（Ｂ）はサーモグラフィ画像、（Ｃ）は正規化されたサーモグラフィ画像を示す。例えば図６（Ａ）に示すようなＲＧＢ画像が撮像される状況において、赤外線カメラ２００が、図６（Ｂ）のようなサーモグラフィ画像３００を撮像したものとする。画像処理部１２０は、サーモグラフィ画像３００に対して正規化処理を行うことで、サーモグラフィ画像３００を図６（Ｃ）に示すようなサーモグラフィ画像３００Ａに変換する。画像処理部１２０は、例えば、サーモグラフィ画像３００の画素のうちヒトの体温を基準値（例えば１０℃〜４０℃）とした最大および最小の画素値を決定し、最大の画素値以上の画素値を「１」に変換し、最小の画素値以下の画素値を「０」に変換する最小−最大正規化を行う。これにより、個体推定装置１００は、サーモグラフィ画像３００のように、ヒトの輪郭を明瞭に撮像できない画像であっても、高い精度で関節等の座標を推定することができる。

図７は、サーモグラフィ画像から人を除く画像を除去して骨格情報を推定する処理を説明する図であり、（Ａ）はサーモグラフィ画像３００、（Ｂ）はサーモグラフィ画像３００から推定した骨格情報を含む画像、（Ｃ）は人を除く画像が除去されたサーモグラフィ画像３００Ｂ、（Ｄ）は人を除く画像が除去されたサーモグラフィ画像３００Ｂから推定した骨格情報を含む画像を示す。例えば図７（Ａ）に示すようなサーモグラフィ画像を撮像し、当該サーモグラフィ画像を用いて骨格の推定を行った場合、図７（Ｂ）に示すような骨格情報が推定される。これに対し、画像処理部１２０は、図７（Ａ）に示すサーモグラフィ画像３００からヒトの背景を除去したサーモグラフィ画像３００Ｂを用いて骨格の推定を行った場合、図７（Ｄ）に示すような骨格情報が推定される。この結果、個体推定装置１００は、サーモグラフィ画像３００からヒトの背景を除去する処理を実行することにより、ヒトの背景を除去しないサーモグラフィ画像を用いるよりもより多くの骨格を推定することができる。この結果、個体推定装置１００は、さらに高い精度で個体を推定することができる。

なお、画像処理部１２０は、サーモグラフィ画像からヒトの背景を除去する以外に、他の要素をサーモグラフィ画像から除去または抽出してよい。例えば、複数の対象者がサーモグラフィ画像に含まれる場合、画像処理部１２０は、複数の対象者の背景を除去し、各対象者の形をサーモグラフィ画像から抽出してよく、特定の対象者（最も大きい対象者）のみを抽出してよい。なお、対象者がサーモグラフィ画像に含まれるかどうかの判定は、例えばＣＮＮなどの認識エンジンで構成してもよい。

図８は、サーモグラフィ画像を回転して骨格情報を推定する処理を説明する図であり、（Ａ）はＲＧＢ画像、（Ｂ）はサーモグラフィ画像３００、（Ｃ）はサーモグラフィ画像３００から推定した骨格を含む画像、（Ｄ）は回転後のサーモグラフィ画像３００Ｃ、（Ｅ）は回転後のサーモグラフィ画像３００Ｃから推定した骨格を含む画像を示す。例えば図８（Ａ）に示すようなＲＧＢ画像が撮像される状況において、赤外線カメラ２００が、図８（Ｂ）のようなサーモグラフィ画像３００を撮像したものとする。個体推定装置１００は、サーモグラフィ画像３００を回転させず、サーモグラフィ画像３００を骨格推定部１３０の認識エンジンに入力して骨格を推定した場合、図８（Ｃ）に示すような結果を得る。図８（Ｃ）に示した結果は、数個程度のタグ情報に対応した関節等しか取得されていないことが分かる。これに対し、画像処理部１２０は、図８（Ｄ）に示すようなサーモグラフィ画像３００を回転させたサーモグラフィ画像３００Ｃを骨格推定部１３０の認識エンジンに入力して骨格を推定した場合、図８（Ｅ）に示すような結果を得る。図８（Ｅ）に示した結果は、図８（Ｃ）に示した関節等よりも多くの関節等が取得されていることが分かる。

以上のように、個体推定装置１００は、個体推定の精度を向上させるために、認識エンジンにより推定される関節等が多くなるようにサーモグラフィ画像を回転させることが望ましい。個体推定装置１００は、例えば、認識エンジンの学習画像が立っているヒトを含む縦方向に長い画像が多い場合、赤外線カメラ２００により撮像されたサーモグラフィ画像の頭部位置を縦方向に長い画像における上方に位置するようにサーモグラフィ画像を回転させることが望ましい。すなわち、個体推定装置１００は、学習画像におけるヒトの関節等の配置とサーモグラフィ画像内のヒトの関節等の配置とが近づくように、サーモグラフィ画像を回転させることにより、個体推定の精度を向上させることができる。

なお、画像処理部１２０は、骨格推定部１３０の骨格推定に利用する認識エンジンの学習対象の姿勢と乖離がある場合に、サーモグラフィ画像を回転させてよい。これにより、画像処理部１２０は、回転後のサーモグラフィ画像を用いて関節の位置を推定することができる。

さらに、画像処理部１２０は、赤外線カメラ２００が対象者を正面から撮像したように補正してよい。赤外線カメラ２００は、例えば、部屋の天井に設置され、部屋の中心位置に向けた撮像角度が設定されている場合がある。この場合、赤外線カメラ２００により撮像されたサーモグラフィ画像は、対象者を頭上から見下ろした角度で撮像されている。これに対し、画像処理部１２０は、赤外線カメラ２００により撮像されたサーモグラフィ画像を、対象者を正面から見たサーモグラフィ画像に変換する。画像処理部１２０は、例えば、赤外線カメラ２００の見下ろし角度に基づいて、二次元射影変換を行う。これにより、個体推定装置１００は、ヒトを正面から撮像した学習画像が多くても、サーモグラフィ画像を当該学習画像に近づけることができる。この結果、個体推定装置１００は、認識エンジンにより推定される関節等を多くすることができ、この結果、個体推定の精度を向上させることができる。さらに、個体推定装置１００は、利用者データ記憶部１５２に記憶された利用者の骨格情報が利用者を正面から撮像した画像に基づく情報である場合、個体推定の精度をさらに高くすることができる。

＜実施形態の効果＞
以上に説明したように、実施形態の個体推定システム１によれば、利用者の関節の位置に基づく骨格情報を、利用者ごとに記憶する利用者データ記憶部１５２と、少なくとも対象者の形が認識可能である画像を取得する画像取得部１１０と、画像取得部１１０により取得された画像に基づいて、対象者の骨格情報を推定する骨格推定部１３０と、骨格推定部１３０により推定された骨格情報と、利用者データ記憶部１５２に記憶された骨格情報との比較に基づいて、対象者が利用者のうち特定の個体であるかを推定する個体推定部１５０と、を備える、個体推定装置１００を実現することができる。
または、実施形態の個体推定システム１によれば、利用者の関節の位置に基づく骨格情報を、利用者ごとに記憶する利用者データ記憶部１５２と、少なくとも対象者の形が認識可能である画像を取得する画像取得部１１０と、画像取得部１１０により取得された画像に基づいて、対象者の骨格情報を推定する骨格推定部１３０と、骨格情報部１３０により推定された骨格情報に基づいて、対象者の姿勢を推定する姿勢推定部と、骨格推定部１３０により推定された骨格情報と、利用者データ記憶部１５２に記憶された骨格情報との比較に基づいて、対象者が利用者のうち特定の個体であるかを推定する個体推定部１５０と、を備える、個体推定装置１００を実現することができる。
個体推定システム１によれば、対象者の関節等の位置に基づく骨格情報を用いて個体を推定するので、対象者の行動や姿勢にかかわらず個体の推定を高い精度で行うことができる。

実施形態の個体推定システム１によれば、ヒトを含む学習画像が入力された場合にヒトの関節等の位置および当該関節等に対応するタグ情報を出力するように処理パラメータが学習された認識モデルを用いて骨格情報の推定を行う。この個体推定システム１によれば、認識モデルの精度を高くすることによって、対象者の行動や姿勢にかかわらず個体の推定を高い精度で行うことができる。また、個体推定システム１によれば、サーモグラフィ画像のような低解像度の画像を認識するために、ＲＧＢ画像のような高解像度の画像を学習画像として用いて認識エンジンの学習を行う。これにより、個体推定システム１によれば、学習時に正確な関節等の位置を指定して学習させることにより、サーモグラフィ画像から推定する関節等の位置の精度をさらに高くすることができる。

実施形態の個体推定システム１によれば、画像取得部１１０により取得された画像から人に対応する領域を明確化する画像処理部１２０を備えてよい。これにより、個体推定システム１によれば、サーモグラフィ画像のような低解像度の画像を用いても、対象者の行動や姿勢にかかわらず個体の推定を高い精度で行うことができる。

実施形態の個体推定システム１によれば、画像取得部１１０により取得された画像から、人を除く画像を除去する画像処理部１２０を備えてよい。これにより、個体推定システム１によれば、ヒトの背景といったノイズを除去することで、対象者の行動や姿勢にかかわらず個体の推定を高い精度で行うことができる。

実施形態の個体推定システム１によれば、画像取得部１１０により取得された画像を回転させる画像処理部１２０を備えてよい。これにより、個体推定システム１は、例えば骨格推定部１３０により推定された関節等の数が所定値よりも少ない場合や、個体推定部１５０により推定された利用者の整合性の値が低く特定の個体を特定できない場合に、サーモグラフィを回転させることで、推定される関節等の数や、利用者の整合性の値を高くすることができる。この結果、個体推定システム１によれば、対象者の行動や姿勢にかかわらず個体の推定を高い精度で行うことができる。さらに、個体推定システム１によれば、学習画像においてヒトが含まれているレイアウトに合わせてサーモグラフィ画像を回転させることができ、これによって、対象者の行動や姿勢にかかわらず個体の推定を高い精度で行うことができる。

個体推定システム１によれば、通常のＲＧＢカメラでは撮像することができない、夜間の部屋で撮像したサーモグラフィ画像を用いて個体を推定することができる。個体推定システム１によれば、例えば、夜間にトイレなどに行く場合に、個体の推定結果に基づいて寝室からトイレまでの照明をオンオフさせることやドアを開閉させることができ、夜間における転倒などを防止することができる。

個体推定システム１は、サーモグラフィ画像を用いているので、写真や映像、人形や絵などのヒト以外の物体の影響を受けずに個体を推定することができる。

個体推定システム１によれば、例えば住宅内でリハビリ等の運動を行う場合に、骨格情報に基づいて運動のデータを収集することができ、運動のデータに基づいてリハビリ等のプランを検討したり、モチベーション向上のための提案を行ったりすることができる。

実施形態の個体推定システム１によれば、特定の個体を推定した時刻から所定の期間、当該推定された特定の個体に対応した利用者を推定しやすくするパラメータを設定し、パラメータを用いて利用者を推定する。これにより、個体推定システム１によれば、特定の個人を推定した直後に他の個体を推定することを抑制することができる。この結果、個体推定システム１によれば、対象者の向きによって個体の推定精度が低下する場合や、サーモグラフィ画像のような低解像度画像を用いても、安定して、個体の推定を高い精度で行うことができる。

実施形態の個体推定システム１によれば、利用者データ記憶部１５２に、利用者の存在する場所と利用者の姿勢との対応関係を利用者ごとに記憶しておき、記憶された対応関係と、取得した画像に含まれる対象者の存在する場所と、推定された対象者の姿勢との対応関係と、の比較に基づいて、個体を推定することができる。これにより、個体推定システム１によれば、例えば住宅内の場所に関連して個体を推定することができる。この結果、個体推定システム１によれば、例えばソファのある場所で特定の個体が座ることが多いなど、住宅内の特定の場所に関連が強い姿勢がある場合に、個体の推定を高い精度で行うことができる。

実施形態の個体推定システム１によれば、骨格推定部１３０により推定された骨格情報のうち、サーモグラフィ画像の撮像方向に依存しにくい傾向を持つ一部の骨格情報を用いて個体を推定する。これにより、個体推定システム１によれば、例えば、身長やヒトの骨格のうちで大きな部分の骨格情報を用いて個体を推定することができ、対象者の姿勢に拘わらず個体の推定を高い精度で行うことができる。

＜変形例＞
図９は、実施形態の個体推定システムの第１変形例を示す図である。第１変形例の個体推定システム１Ａにおいて、住宅内ネットワークは、赤外線カメラ２００、画像取得部１１０および送信部１１２を備え、個体推定装置１００は、画像処理部１２０、学習結果データ記憶部１３２、骨格推定部１３０、個体推定部１５０、利用者データ記憶部１５２、および情報処理部１６０を備える。個体推定システム１Ａは、画像取得部１１０により取得したサーモグラフィ画像を、送信部１１２により通信ネットワークを介して個体推定装置１００に送信する。個体推定装置１００は、送信部１１２から取得したサーモグラフィ画像に基づいて個体推定を行い、個体推定の結果に関する情報を住宅内ネットワークの表示装置等の情報処理装置（不図示）に送信する。なお、個体推定システム１Ａにおいて、個体推定装置１００は、一つの住宅内ネットワークに限定されず、複数の住宅内ネットワークに接続されてよい。個体推定装置１００は、住宅内ネットワークごとに学習結果データおよび利用者データを記憶し、住宅内ネットワークごとに個体推定を行う。このような個体推定システム１Ａは、住宅内ネットワークから個体推定装置１００への要求に応じて、個体推定装置１００が個体推定を行い、個体の推定結果に基づくサービスを提供することができる。

図１０は、実施形態の個体推定システムの第２変形例を示す図である。第２変形例の個体推定システム１Ｂにおいて、住宅内ネットワークは、赤外線カメラ２００、画像取得部１１０、画像処理部１２０、学習結果データ記憶部１３２、骨格推定部１３０、および送信部１１２を備える。個体推定装置１００は、個体推定部１５０、利用者データ記憶部１５２、および情報処理部１６０を備える。個体推定システム１Ｂは、骨格推定部１４０により推定した骨格情報を、送信部１１２により通信ネットワークを介して個体推定装置１００に送信する。個体推定装置１００は、送信部１１２から取得した骨格情報に基づいて個体推定を行い、個体推定の結果に関する情報を住宅内ネットワークの表示装置等の情報処理装置（不図示）に送信する。なお、個体推定システム１Ｂにおいて、個体推定装置１００は、一つの住宅内ネットワークに限定されず、複数の住宅内ネットワークに接続されてよい。個体推定システム１Ｂは、サーモグラフィ画像を住宅内ネットワークから外部に送信しなくてよいので、サーモグラフィ画像が傍受されることを回避することができる。

図１１は、実施形態の個体推定システムにおける個体推定装置の変形例を示す図である。変形例の個体推定装置１００Ａは、上述した個体推定装置１００に加えて、結果評価部１７０および学習処理部１８０を備える。結果評価部１７０は、情報処理部１６０から個体推定部１５０により特定された個体を示す情報を取得する。結果評価部１７０では、例えば、利用者が個体推定結果から導出された利用者と異なると認識した場合に、利用者が、個体推定結果の誤りや個体推定結果の正例を入力することができる。学習処理部１８０は、結果評価部１７０により評価された個体推定結果を得るために用いられたサーモグラフィ画像（正例画像）もしくは骨格情報を学習画像もしくは学習骨格情報、当該サーモグラフィ画像に基づいて推定された骨格情報もしくは姿勢もしくは個体の推定結果を取得する。学習処理部１８０は、取得した学習画像もしくは学習骨格情報を入力したことに応じて、取得した骨格情報もしくは姿勢もしくは個体の推定結果を出力するように、学習結果データ記憶部１３２に記憶された認識エンジンの処理パラメータを更新する。なお、結果評価部１７０は、正例の学習画像ではなく、負例の学習画像に基づいて学習するための個体推定結果を抽出してよい。これにより、変形例の個体推定装置１００Ａによれば、より高い精度で個体を推定することができる。

なお、各実施形態および変形例について説明したが、一例であってこれらに限られず、例えば、各実施形態や各変形例のうちのいずれかや、各実施形態の一部や各変形例の一部を、他の１または複数の実施形態や他の１または複数の変形例と組み合わせて本発明の一態様を実現させてもよい。

なお、本実施形態における個体推定装置１００の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムを、コンピュータシステムに読み込ませ、実行することにより、個体推定装置１００に係る上述した種々の処理を行ってもよい。

なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器などのハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリなどの書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ
Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置などに格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。

ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

１ 個体推定システム
１００ 個体推定装置
１１０ 画像取得部
１１２ 送信部
１２０ 画像処理部
１３０ 骨格推定部
１３２ 学習結果データ記憶部
１３２Ａ 認識モデル
１３４ 学習画像データベース
１３６ 学習処理部
１４０ 姿勢推定部
１５０ 個体推定部
１５２ 利用者データ記憶部
１６０ 情報処理部
１７０ 結果評価部
１８０ 学習処理部
２００ 赤外線カメラ
２００ 情報処理装置
３００ サーモグラフィ画像

Claims (11)

1. 利用者の関節の位置に基づく骨格情報を、利用者ごとに記憶する記憶部と、
   少なくとも対象者の形が認識可能である画像を取得する画像取得部と、
   前記画像取得部により取得された画像に基づいて、前記対象者の骨格情報を推定する骨格推定部と、
   前記骨格推定部により推定された骨格情報と、前記記憶部に記憶された骨格情報との比較に基づいて、前記対象者が前記利用者のうち特定の個体であるかを推定する個体推定部と、
   を備える、個体推定装置。
2. 前記骨格推定部は、認識モデルを用いて骨格情報の推定を行い、
   前記認識モデルは、ヒトを含む学習画像が入力された場合に前記ヒトの関節の位置および当該関節に対応するタグ情報を出力するように処理パラメータが学習される、
   請求項１に記載の個体推定装置。
3. 前記画像取得部により取得された画像から人に対応する領域を明確化する画像処理部を備え、
   前記骨格推定部は、前記画像処理部により処理された画像に基づいて前記対象者の骨格情報を推定する、
   請求項１または２に記載の個体推定装置。
4. 前記画像取得部により取得された画像から、人を除く画像を除去する画像処理部を備え、
   前記骨格推定部は、前記画像処理部により処理された画像に基づいて前記対象者の骨格情報を推定する、
   請求項１または２に記載の個体推定装置。
5. 前記画像取得部により取得された画像を回転させる画像処理部を備え、
   前記骨格推定部は、前記画像処理部により処理された画像に基づいて前記対象者の骨格情報を推定する、
   請求項１または２に記載の個体推定装置。
6. 前記個体推定部は、特定の個体を推定した時刻から所定の期間、当該推定された特定の個体に対応した利用者を推定しやすくするパラメータを設定し、前記パラメータを用いて利用者を推定する、
   請求項１または２に記載の個体推定装置。
7. 前記個体推定部は、前記骨格推定部により推定された骨格情報のうち、前記画像の撮像方向に依存しにくい傾向を持つ一部の骨格情報を用いて個体を推定する、
   請求項１または２に記載の個体推定装置。
8. 前記骨格推定部により推定された骨格情報に基づいて前記対象者の姿勢を推定する姿勢推定部を備え、
   前記個体推定部は、前記姿勢推定部により推定された姿勢と、前記骨格推定部により推定された骨格情報と、前記記憶部に記憶された骨格情報との比較に基づいて、前記対象者が前記利用者のうち特定の個体であるかを推定する、
   請求項１または２に記載の個体推定装置。
9. 前記記憶部は、前記利用者の存在する場所と前記利用者の姿勢との対応関係を、前記利用者ごとに記憶し、
   前記個体推定部は、前記記憶部に記憶された対応関係と、前記画像取得部により取得した画像に含まれる対象者の存在する場所と前記姿勢推定部により推定された対象者の姿勢との対応関係と、の比較に基づいて、個体を推定する、
   請求項８に記載の個体推定装置。
10. 利用者の関節の位置に基づく骨格情報を、利用者ごとに記憶するステップと、
    少なくとも対象者の形が認識可能である画像を取得するステップと、
    前記画像に基づいて、対象者の骨格情報を推定するステップと、
    推定された骨格情報と、記憶された骨格情報との比較に基づいて、前記対象者が前記利用者のうち特定の個体であるかを推定するステップと、
    を含む、個体推定方法。
11. 情報処理装置のコンピュータに、
    利用者の関節の位置に基づく骨格情報を、利用者ごとに記憶するステップと、
    少なくとも対象者の形が認識可能である画像を取得するステップと、
    前記画像に基づいて、対象者の骨格情報を推定するステップと、
    推定された骨格情報と、記憶された骨格情報との比較に基づいて、前記対象者が前記利用者のうち特定の個体であるかを推定するステップと、
    を実行させるプログラム。

Images