JP2018073119A - 物体識別装置、物体識別プログラム及び物体識別方法 - Google Patents

Abstract

【課題】物体の一部が手指に隠れても、物体が識別できるようにする。【解決手段】物体に手指が接しているか否かを判断する判断部と、前記判断部により前記手指が前記物体に接していると判断された場合に、前記手指の形状から、前記物体の手指により隠れている領域の形状を特定する特定部と、前記特定部により特定された形状に基づいて、前記物体を識別する識別部とを有することを特徴とする。【選択図】図８

Description

本発明は、物体識別装置、物体識別プログラム及び物体識別方法に関する。

従来より、ユーザが手指を使って物体とインタラクションするプロジェクタカメラシステムが知られている。当該プロジェクタカメラシステムでは、操作対象となる物体を識別し、識別した物体に対してユーザが行った操作を把握することで、当該物体の状態の変化を推定し、推定結果に応じた画像を投影する。

例えば、当該プロジェクタカメラシステムを飲食店等に設置した場合について説明する。飲食店等では、ユーザが、物体（例えば、グラス）内の飲み物を飲むために、当該グラスを手指で把持し、傾ける操作を行う。このような操作をプロジェクタカメラシステムが把握し、当該グラスの傾きを算出することで、当該グラスの状態（中身の残量）の変化を推定することができる。この結果、プロジェクタカメラシステムでは、例えば、追加注文に適した画像を適切なタイミングでユーザに提供することができる。

特開２００１−２８２４５６号公報

ここで、上記プロジェクタカメラシステムにおいて、操作対象となる物体の状態の変化を推定するにあたっては、手指で把持された物体を、形状等に基づいて正しく識別し、物体の位置、角度等の情報を精度よく算出することが求められる。

しかしながら、手指で把持された物体の場合、物体の一部が手指によって隠れてしまうため、正しく物体を識別することは容易ではない。

一つの側面では、物体の一部が手指に隠れても、物体が識別できるようにすることを目的としている。

一態様によれば、物体識別装置は、
物体に手指が接しているか否かを判断する判断部と、
前記判断部により前記手指が前記物体に接していると判断された場合に、前記手指の形状から、前記物体の手指により隠れている領域の形状を特定する特定部と、
前記特定部により特定された形状に基づいて、前記物体を識別する識別部とを有することを特徴とする。

物体の一部が手指に隠れても、物体が識別できるようになる。

プロジェクタカメラシステムの適用例を示す図である。 プロジェクタカメラシステムのシステム構成の一例を示す図である。 情報処理装置のハードウェア構成の一例を示す図である。 基本形状テーブルの一例を示す図である。 手指モデルテーブルの一例を示す図である。 取っ手モデルテーブルの一例を示す図である。 物体モデルテーブルの一例を示す図である。 物体識別部の機能構成の一例を示す図である。 物体識別処理（非接触時）の概要を示す図である。 非接触時の物体識別結果、位置情報及び角度情報の一例を示す図である。 物体識別処理（接触時）の概要を示す図である。 隠れ物体形状特定処理の概要を示す図である。 統合処理の概要を示す図である。 接触時の物体識別結果、位置情報及び角度情報の一例を示す図である。 物体識別処理の第１のフローチャートである。 物体識別処理の第２のフローチャートである。

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［第１の実施形態］
＜プロジェクタカメラシステムの適用例＞
はじめに、第１の実施形態に係るプロジェクタカメラシステムを飲食店等の店舗におけるメニューの自動表示に適用した場合の適用例について説明する。図１は、プロジェクタカメラシステムの適用例を示す図である。

図１に示すように、プロジェクタカメラシステム１００は、距離測定装置１２０と、撮影装置１２１と、プロジェクタ装置１３０と、物体識別装置の一例である情報処理装置１４０とを有する。距離測定装置１２０、撮影装置１２１及びプロジェクタ装置１３０と、情報処理装置１４０とは、通信ケーブル１４１を介して通信可能に接続されている。距離測定装置１２０、撮影装置１２１、プロジェクタ装置１３０は、店舗内の天井に取り付けられた照明器具のハウジング１１０内に設置されている。

店舗内には、テーブル１５０と椅子１５１とが設置されており、利用者１６０が、店舗より飲食サービスの提供を受ける。図１（ａ）の例は、テーブル１５０上に、飲食用の各種容器（グラス１７０、小鉢１７１、小皿１７２等の物体）が置かれ、利用者１６０が、グラス１７０内の飲み物を飲んでいるシーンを示している。

距離測定装置１２０は、テーブル１５０の上面を含む所定領域を測定範囲として測定を行い、距離画像データを生成する。同様に、撮影装置１２１は、テーブル１５０の上面を含む所定領域を撮影範囲として撮影を行い、ＲＧＢ画像データを生成する。また、プロジェクタ装置１３０は、テーブル１５０の上面を投影範囲として投影画像データの投影を行う。

なお、第１の実施形態では、店舗内のプロジェクタカメラシステム１００が設置された空間内の所定の基準点を原点とし、テーブル１５０の上面に平行な面をｘｙ平面、ｘｙ平面に直交する軸をｚ軸とおく。これにより、店舗内のプロジェクタカメラシステム１００が設置された空間内の任意の位置が、ｘ座標、ｙ座標、ｚ座標により特定されることになる。

プロジェクタカメラシステム１００の場合、利用者１６０の手指でグラス１７０が把持された状態であっても、手指に隠れた領域の形状を特定できる。このため、プロジェクタカメラシステム１００では、グラス１７０をリアルタイムに正しく識別することができる。この結果、プロジェクタカメラシステム１００によれば、グラス１７０の傾きを精度よく算出し、グラス１７０の状態（グラス１７０内の飲み物の残量がゼロになったこと）をリアルタイムに推定することが可能になる。

図１（ｂ）は、プロジェクタカメラシステム１００が、グラス１７０内の飲み物の残量がゼロになったと推定した直後に、利用者１６０が、グラス１７０をテーブル１５０上に戻した様子を示している。

プロジェクタカメラシステム１００では、物体の状態（グラス１７０内の飲み物の残量がゼロになったこと）を推定すると、物体の状態に則した投影画像データ１８０を、プロジェクタ装置１３０を介して、テーブル１５０上に投影する。物体の状態に則した投影画像データ１８０とは、例えば、グラス１７０内の飲み物がアルコール類であった場合にあっては、アルコール類の追加注文を行うためのメニューを含む投影画像データを指す。

＜プロジェクタカメラシステムのシステム構成＞
次に、プロジェクタカメラシステム１００のシステム構成について説明する。図２は、プロジェクタカメラシステムのシステム構成の一例を示す図である。

図２に示すように、距離測定装置１２０により測定された距離画像データは、情報処理装置１４０に入力される。同様に、撮影装置１２１により撮影されたＲＧＢ画像データは、情報処理装置１４０に入力される。なお、距離画像データ内の各画素により特定される、空間内の位置を示す座標（ｘ、ｙ、ｚ座標）と、ＲＧＢ画像データ内の各画素により特定される、空間内の位置を示す座標（ｘ、ｙ、ｚ座標）とは、互いに一致するように調整されている。

情報処理装置１４０より送信される投影画像データはプロジェクタ装置１３０に入力され、プロジェクタ装置１３０により、テーブル１５０の上面に投影される。

情報処理装置１４０には、物体識別プログラム、物体状態推定プログラム、投影画像出力プログラムがインストールされている。情報処理装置１４０は、当該プログラムを実行することで、物体識別部２１０、物体状態推定部２２０、投影画像出力部２３０として機能する。

物体識別部２１０は、距離画像データ及びＲＧＢ画像データに基づいて利用者１６０の手指を検出し、手指モデル情報記憶部２５０に格納された手指モデルテーブルを参照することで、手指モデルを特定するとともに、手指モデルの状態量を算出する。手指モデルの状態量とは、手指モデルに含まれる各骨格の位置を示す位置情報及び角度を示す角度情報を指す。

また、物体識別部２１０は、距離画像データ及びＲＧＢ画像データに基づいてテーブル１５０上に置かれた物体を検出する。物体識別部２１０は、検出した物体の位置と、特定した手指モデルの位置とに基づいて、利用者１６０の手指がいずれかの物体に所定の状態（例えば、物体を把持した状態）で接触しているか否かを判断する。

利用者１６０の手指がいずれかの物体に所定の状態で接触していると判断しなかった場合、物体識別部２１０は、基本形状情報記憶部２４０に格納された基本形状テーブルと、物体モデル情報記憶部２７０に格納された物体モデルテーブルとを参照する。これにより、物体識別部２１０は、検出した物体を識別する。また、物体識別部２１０は、非接触時の当該物体識別結果を、当該物体の位置を示す位置情報及び角度を示す角度情報と対応付けて物体状態推定部２２０に通知する。

一方、利用者１６０の手指がいずれかの物体に所定の状態で接触していると判断した場合、物体識別部２１０は、接触時の手指モデルと、手指により隠れた領域の物体の形状候補とを対比することで、手指により隠れた領域の物体の形状を特定する。

なお、第１の実施形態では、手指により隠れた領域が、グラス１７０の取っ手であるとして説明する。具体的には、物体識別部２１０は、取っ手モデル情報記憶部２６０に格納された取っ手モデルテーブルより、手指により隠れた領域の形状候補として、各種取っ手モデルを読み出す。また、物体識別部２１０は、読み出した各種取っ手モデルの形状を、手指モデルの状態量に基づいて算出される手指の形状と対比することで、いずれかの取っ手モデルを特定する。

更に、物体識別部２１０は、接触時に検出した物体の形状（手指により隠れていない領域の形状）と、接触時に特定した取っ手モデルとを統合し、物体モデル情報記憶部２７０に格納された物体モデルテーブルと対比することで、物体を識別する。また、物体識別部２１０は、接触時の当該物体識別結果を、当該物体の位置を示す位置情報及び角度を示す角度情報と対応付けて物体状態推定部２２０に通知する。

物体状態推定部２２０は、物体識別部２１０より、非接触時または接触時の物体識別結果、位置情報及び角度情報を取得する。また、物体状態推定部２２０は、取得した物体識別結果、位置情報及び角度情報に基づいて、物体の状態を推定し、推定結果を物体状態情報として、投影画像出力部２３０に通知する。

投影画像出力部２３０は、物体状態推定部２２０より、物体状態情報を取得する。また、投影画像出力部２３０は、取得した物体状態情報に基づいて、プロジェクタ装置１３０に送信すべき投影画像データを選択する。更に、投影画像出力部２３０は、選択した投影画像データをプロジェクタ装置１３０に送信する。

これにより、プロジェクタ装置１３０は、テーブル１５０上の各種物体の状態に応じた投影画像データを、テーブル１５０の上面に投影することができる。

＜情報処理装置のハードウェア構成＞
次に、情報処理装置１４０のハードウェア構成について説明する。図３は、情報処理装置のハードウェア構成の一例を示す図である。

図３に示すように、情報処理装置１４０は、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３、補助記憶装置３０４を有する。また、情報処理装置１４０は、操作装置３０５、Ｉ／Ｆ（Interface）装置３０６、ドライブ装置３０７を有する。なお、情報処理装置１４０の各部は、バス３０８を介して相互に接続されている。

ＣＰＵ３０１は、補助記憶装置３０４にインストールされた各種プログラム（例えば、物体識別プログラム、物体状態推定プログラム、投影画像出力プログラム等）を実行するコンピュータである。ＲＯＭ３０２は、不揮発性メモリである。ＲＯＭ３０２は、補助記憶装置３０４に格納された各種プログラムをＣＰＵ３０１が実行するために必要な各種プログラム、データ等を格納する主記憶装置として機能する。具体的には、ＲＯＭ３０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。

ＲＡＭ３０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリであり、主記憶装置として機能する。ＲＡＭ３０３は、補助記憶装置３０４に格納された各種プログラムがＣＰＵ３０１によって実行される際に展開される、作業領域を提供する。

補助記憶装置３０４は、各種プログラムや、各種プログラムが実行されることで生成される情報、ならびに各種プログラムが実行される際に用いられる情報を格納する。基本形状情報記憶部２４０、手指モデル情報記憶部２５０、取っ手モデル情報記憶部２６０、物体モデル情報記憶部２７０は、補助記憶装置３０４により実現される。

操作装置３０５は、情報処理装置１４０の管理者が情報処理装置１４０に対して各種指示を入力するためのデバイスである。

Ｉ／Ｆ装置３０６は、距離測定装置１２０、撮影装置１２１及びプロジェクタ装置１３０と、情報処理装置１４０とを通信ケーブル１４１を介して通信可能に接続するためのデバイスである。

ドライブ装置３０７は記録媒体３１０をセットするためのデバイスである。ここでいう記録媒体３１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体３１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等も含まれる。

なお、補助記憶装置３０４に格納される各種プログラムは、例えば、配布された記録媒体３１０がドライブ装置３０７にセットされ、該記録媒体３１０に記録された各種プログラムがドライブ装置３０７により読み出されることでインストールされる。

＜各種情報記憶部に格納されるテーブル＞
次に、各種情報記憶部（基本形状情報記憶部２４０、手指モデル情報記憶部２５０、取っ手モデル情報記憶部２６０、物体モデル情報記憶部２７０）に格納されるテーブルについて説明する。

はじめに、基本形状情報記憶部２４０に格納される基本形状テーブルについて説明する。図４は、基本形状テーブルの一例を示す図である。図４に示すように、基本形状テーブル４００は、情報の項目として、“識別番号”、“基本形状モデル”を含む。

“識別番号”には、基本形状モデルを識別するための識別子が格納される。“基本形状モデル”には、テーブル１５０上に置かれた物体を検出するための基本的な形状を示すモデルが格納される。図４の例では、識別番号＝１に対応付けて、中サイズの円柱形状のモデルが格納されている。また、識別番号＝２、３、４に対応付けて、それぞれ、大サイズの直方体形状のモデル、大サイズの円盤形状のモデル、小サイズの円柱形状のモデルがそれぞれ格納されている。なお、図４に示した基本形状テーブル４００は一例であり、基本形状テーブル４００には、図４以外の基本形状モデルが格納されていてもよい。

続いて、手指モデル情報記憶部２５０に格納される手指モデルテーブルについて説明する。図５は、手指モデルテーブルの一例を示す図である。図５に示すように、手指モデルテーブル５００は、情報の項目として、“種類”、“手指モデル”を含む。

“種類”には、手指モデルの種類を示す情報が格納される。第１の実施形態において、手指モデルは、手指の太さ、長さ、形状に基づいて、３種類に分類して格納されている。具体的には、男性かつ大人の手指モデル、女性かつ大人の手指モデル、子供の手指モデル、の３種類の手指モデルに分類して格納されている。

“手指モデル”には、更に、情報の項目として“右手”と“左手”が含まれており、“右手”には、対応する種類の右手の手指モデルが格納されている。また、“左手”には、対応する種類の左手の手指モデルが格納されている。

なお、上述したように、手指モデルは複数の骨格を含み、各骨格の位置及び角度を示す「状態量」は、手指の領域の距離画像データに基づいて算出される。

続いて、取っ手モデル情報記憶部２６０に格納される取っ手モデルテーブルについて説明する。図６は、取っ手モデルテーブルの一例を示す図である。図６に示すように、取っ手モデルテーブル６００は、情報の項目として、“識別番号”、“取っ手モデル”を含む。

“識別番号”には、取っ手モデルを識別するための識別子が格納される。“取っ手モデル”には、テーブル１５０上に置かれた物体の一部である取っ手の形状を示すモデルが格納される。

図６に示すように、第１の実施形態において、取っ手モデルテーブル６００には、識別番号＝Ｅ１の角型の取っ手モデル、識別番号＝Ｅ２の丸型の取っ手モデル、識別番号＝Ｅ３のコーヒーカップ用の取っ手モデル、が格納されている。

続いて、物体モデル情報記憶部２７０に格納される物体モデルテーブルについて説明する。図７は、物体モデルテーブルの一例を示す図である。図７に示すように、物体モデルテーブル７００は、情報の項目として、“識別番号”、“物体モデル”を含む。

“識別番号”には、物体モデルを識別するための識別子が格納される。“物体モデル”には、テーブル１５０上に置かれる物体の形状を示すモデルが格納される。具体的には、“物体モデル”には、識別番号＝Ｏ１に対応付けて、グラス１７０を示す物体モデルが格納されている。また、“物体モデル”には、識別番号＝Ｏ２に対応付けて、小鉢１７１を示す物体モデルが格納されている。更に、“物体モデル”には、識別番号＝Ｏ３に対応付けて、小皿１７２を示す物体モデルが格納されている。

＜物体識別部の機能構成＞
次に、物体識別部２１０の機能構成について説明する。図８は、物体識別部の機能構成を示す図である。図８に示すように、物体識別部２１０は、画像データ取得部８０１、領域分割部８０２、物体検出部８０３、接触判断部８０４、第１物体マッチング部８０５を有する。また、物体識別部２１０は、手形状認識部８０６、メッシュ作成部８０７、隠れ物体形状特定部８０８、物体統合部８０９、第２物体マッチング部８１０を有する。

画像データ取得部８０１は、距離測定装置１２０により測定された距離画像データ、及び、撮影装置１２１により撮影されたＲＧＢ画像データを、それぞれ所定周期で取得する。画像データ取得部８０１は、取得した距離画像データ及びＲＧＢ画像データを、領域分割部８０２に通知する。

領域分割部８０２は、画像データ取得部８０１より通知されたＲＧＢ画像データに基づいて、物体及び手指を検出し、検出した物体及び手指の領域を抽出する。領域分割部８０２は、例えば、ＲＧＢ画像データにおいて、テーブル１５０上面のＲＧＢ値との差分が所定値以上の領域を物体の領域として抽出する。また、領域分割部８０２は、例えば、ＲＧＢ画像データにおいて、所定の色味（肌色）を有する領域を、手指の領域として抽出する。更に、領域分割部８０２は、抽出した領域に対応する位置の距離画像データの領域を抽出する。

領域分割部８０２は、距離画像データより抽出された、物体を含む領域を、物体検出部８０３に通知する。また、距離画像データより抽出された、手指を含む領域を、手形状認識部８０６に通知する。

物体検出部８０３は、領域分割部８０２より通知された領域の距離画像データに基づいて特定される、当該領域内の物体の形状と、基本形状テーブル４００に含まれる各基本形状モデルとを対比する。これにより、物体検出部８０３は、当該領域内の物体の形状を、基本形状モデルの組み合わせとして認識する。また、物体検出部８０３は、認識した基本形状モデルの組み合わせの位置を示す位置情報及び角度を示す角度情報を算出する。

また、物体検出部８０３は、認識した基本形状モデルの組み合わせを、基本形状情報として接触判断部８０４に通知する。また、物体検出部８０３は、算出した位置情報及び角度情報を、接触判断部８０４に通知する。

手形状認識部８０６は、領域分割部８０２より通知された領域の距離画像データに基づいて特定される、当該領域内の手指について、太さ、長さ、形状等に基づき、手指モデルテーブル５００に含まれる各手指モデルと対比する。これにより、手形状認識部８０６は、当該領域内の手指（の太さ、長さ、形状等）に最も類似する手指モデルを抽出するとともに、手指の位置、姿勢、各関節の角度に基づいて、手指モデルの状態量を算出する。

手形状認識部８０６は、抽出した手指モデルと、算出した状態量とを接触判断部８０４に通知する。また、手形状認識部８０６は、通知後に、利用者１６０の手指がテーブル１５０上のいずれかの物体に所定の状態で接触している旨の判断結果を接触判断部８０４より取得した場合、手指モデルと状態量とをメッシュ作成部８０７に通知する。

接触判断部８０４は判断部の一例であり、利用者１６０の手指がテーブル１５０上のいずれかの物体に所定の状態で接触しているか否かを判断する。具体的には、接触判断部８０４は、物体検出部８０３より通知された基本形状情報に対応付けられた位置情報及び角度情報と、手形状認識部８０６より通知された手指モデルの状態量とを対比する。これにより、接触判断部８０４は、利用者１６０の手指がテーブル１５０上のいずれかの物体に所定の状態で接触しているか否かを判断する。

例えば、接触判断部８０４は、基本形状情報に対応付けられた位置情報及び角度情報により導出される範囲内に、手指モデルが位置しているか否かを判定することで、接触の有無を判断する。

また、接触判断部８０４は、接触していると判断した際の手指モデルの状態量に基づいて、利用者１６０の手指が所定の状態（物体を把持している状態）にあるか否かを判断する。接触判断部８０４は、例えば、手指モデルに含まれる所定の骨格が、他の骨格に対して一定角度以上回転している場合に、利用者１６０の手指が所定の状態（物体を把持している状態）にあると判断する。

利用者１６０の手指がいずれかの物体に所定の状態で接触していると判断しなかった場合、接触判断部８０４は、基本形状情報、位置情報及び角度情報を、第１物体マッチング部８０５に通知する。

一方、利用者１６０の手指がいずれかの物体に所定の状態で接触していると判断した場合、接触判断部８０４は、基本形状情報、位置情報及び角度情報を、物体統合部８０９に通知する。また、利用者１６０の手指がいずれかの物体に所定の状態で接触していると判断した場合、接触判断部８０４は、当該判断結果を手形状認識部８０６に通知する。

第１物体マッチング部８０５は、接触判断部８０４より通知された基本形状情報と、物体モデルテーブル７００に含まれる各物体モデルとを対比する。これにより、第１物体マッチング部８０５は、基本形状情報に最も類似する物体モデルを、物体識別結果として抽出する。第１物体マッチング部８０５は、基本形状情報により特定される形状（点群により表されるものとする）と、物体モデルにより特定される形状（点群により表されるものとする）とを対比する。そして、第１物体マッチング部８０５は、両者が最も類似する（互いに対応する点群間の距離が最も短い）物体モデルを、物体識別結果として抽出する。

また、第１物体マッチング部８０５は、抽出した物体モデルが基本形状情報に最も類似すると判定した際の、当該物体モデルの位置を示す位置情報及び角度を示す角度情報を抽出する。更に、第１物体マッチング部８０５は、物体識別結果、位置情報及び角度情報を、利用者１６０の手指が接触していない（非接触時の）物体についての物体識別結果、位置情報及び角度情報として、物体状態推定部２２０に出力する。

メッシュ作成部８０７は、手形状認識部８０６により抽出された手指モデルと、手形状認識部８０６により算出された状態量とを取得する。また、メッシュ作成部８０７は、手指モデルに含まれる各骨格の端部（骨格点）を線分でつなぐことで、ドロネー三角形を作成し、手指モデルの３次元メッシュを作成する。また、メッシュ作成部８０７は、作成した３次元メッシュを点群化することで、手指モデルの内側面（物体と接触する内側の面）の形状を特定するとともに、特定した形状を示す３次元形状特徴量を算出する。メッシュ作成部８０７は、３次元形状特徴量として、例えば、ＳＨＯＴ（Signature of Histograms of Orientations）特徴量を算出する。

また、メッシュ作成部８０７は、取っ手モデルテーブル６００に含まれる各取っ手モデルを読み出し、各取っ手モデルを点群化することで、各取っ手モデルの外側面（手指と接触する外側の面）の形状を特定する。更に、メッシュ作成部８０７は、特定した形状を示す３次元形状特徴量を算出する。

更に、メッシュ作成部８０７は、手指モデルの内側面の３次元形状特徴量と、各取っ手モデルの外側面の３次元形状特徴量とを、隠れ物体形状特定部８０８に通知する。

隠れ物体形状特定部８０８は特定部の一例であり、メッシュ作成部８０７より通知された３次元形状特徴量を対比することで、手指モデルの内側面の形状に類似する、外側面の形状を有する取っ手モデルを、隠れ物体特定結果として抽出する。

隠れ物体形状特定部８０８は、抽出した取っ手モデルの外側面の形状が、手指モデルの内側面の形状に最も類似すると判定した際の、当該取っ手モデルの位置を示す位置情報及び角度を示す角度情報を抽出する。更に、隠れ物体形状特定部８０８は、抽出した隠れ物体特定結果、位置情報及び角度情報を、物体統合部８０９に通知する。

物体統合部８０９は、接触判断部８０４より通知された基本形状情報と、隠れ物体形状特定部８０８より通知された隠れ物体特定結果とを、それぞれの位置情報及び角度情報に基づいて一体化させ、統合物体を生成する。また、物体統合部８０９は、統合物体（基本形状モデル＋取っ手モデル）を示す統合物体情報を、位置情報及び角度情報と対応付けて、第２物体マッチング部８１０に通知する。

第２物体マッチング部８１０は識別部の一例であり、物体統合部８０９より通知された統合物体情報と、物体モデルテーブル７００に含まれる各物体モデルとを対比する。これにより、第２物体マッチング部８１０は、統合物体情報に最も類似する物体モデルを、物体識別結果として抽出する。第２物体マッチング部８１０は、統合物体情報により特定される形状（点群により表されるものとする）と、物体モデルにより特定される形状（点群により表されるものとする）とを対比する。そして、第２物体マッチング部８１０は、両者が最も類似する（互いに対応する点群間の距離が最も短い）物体モデルを、物体識別結果として抽出する。

また、第２物体マッチング部８１０は、抽出した物体モデルが統合物体情報に最も類似すると判定した際の、当該物体モデルの位置を示す位置情報及び角度を示す角度情報を抽出する。更に、第２物体マッチング部８１０は、物体識別結果、位置情報及び角度情報を、利用者１６０の手指が接触している（接触時の）物体についての物体識別結果、位置情報及び角度情報として、物体状態推定部２２０に出力する。

＜物体識別部による処理の具体例（非接触時）＞
続いて、物体識別部２１０に含まれる各機能部による処理の具体例について説明する。はじめに、物体識別部２１０に含まれる各機能部により、利用者１６０の手指が接触していない物体についての物体識別結果を出力するまでの処理について説明する。図９は、物体識別処理（非接触時）の概要を示す図である。なお、図１で示したように、距離測定装置１２０及び撮影装置１２１はテーブル１５０の上方に取り付けられているため、距離画像データ及びＲＧＢ画像データも、テーブル１５０の上方から見た画像データとなる。しかしながら、テーブル１５０の上方から見た画像データの場合、物体の立体的な形状がわかりにくいことから、以降では、便宜上、テーブル１５０の斜め上方から見た画像データを用いて説明する。

図９（ａ）は、ＲＧＢ画像データに基づいて、領域分割部８０２が、物体及び手指を検出し、検出した物体及び手指の領域を、それぞれ、領域９０１〜９０３、領域９１１として抽出した様子を示している。

図９（ｂ）は、領域９１１の距離画像データに基づいて、手形状認識部８０６が、手指モデル９２１を抽出するとともに、手指モデル９２１の状態量を算出した様子を示している。手指モデル９２１の状態量が算出されることで、接触判断部８０４は、利用者１６０の手指が領域９０１〜９０３内のいずれかの物体に所定の状態で接触しているか否かを判断することができる。

図９（ｂ）に示す例の場合、利用者１６０の手指が領域９０１〜９０３内のいずれかの物体に所定の状態で接触していると判断されることはない。このため、領域９０１〜９０３の距離画像データに基づいて物体検出部８０３が通知した基本形状情報により、第１物体マッチング部８０５が、物体モデルを抽出することになる。これにより、第１物体マッチング部８０５は、グラス１７０、小鉢１７１、小皿１７２をそれぞれ識別するとともに、グラス１７０、小鉢１７１、小皿１７２の位置を示す位置情報及び角度を示す角度情報を算出する。

図１０は、非接触時の物体識別結果、位置情報及び角度情報の一例を示す図である。図１０に示すように、第１物体マッチング部８０５は、グラス１７０の物体識別結果として、識別情報＝Ｏ１を出力する。また、グラス１７０の位置情報として“（ｘ_１，ｙ_１，ｚ_１）”を、グラス１７０の角度情報として“θ_１”をそれぞれ出力する。

同様に、第１物体マッチング部８０５は、小鉢１７１の物体識別結果として、識別情報＝Ｏ２を出力する。また、小鉢１７１の位置情報として“（ｘ_２，ｙ_２，ｚ_２）”を、小鉢１７１の角度情報として“θ_２”をそれぞれ出力する。更に、第１物体マッチング部８０５は、小皿１７２の物体識別結果として、識別情報＝Ｏ３を出力する。また、小皿１７２の位置情報として“（ｘ_３，ｙ_３，ｚ_３）”を、小皿１７２の角度情報として“θ_３”をそれぞれ出力する。

＜物体識別部による処理の具体例（接触時）＞
次に、物体識別部２１０に含まれる各機能部により、利用者１６０の手指が接触している物体についての物体識別結果を出力するまでの処理について説明する。図１１は、物体識別処理（接触時）の概要を示す図である。

図１１（ａ）は、ＲＧＢ画像データに基づいて、領域分割部８０２が、物体及び手指を検出し、検出した物体及び手指の領域を、それぞれ、領域１１０１〜１１０３、領域１１１１として抽出した様子を示している。

図１１（ｂ）は、領域１１０２、１１０３の距離画像データに基づいて、物体検出部８０３が通知した基本形状情報により、第１物体マッチング部８０５が、物体モデルを抽出した様子を示している。これにより、第１物体マッチング部８０５は、小鉢１７１、小皿１７２をそれぞれ識別するとともに、小鉢１７１、小皿１７２の位置を示す位置情報及び角度を示す角度情報を算出する。

また、図１１（ｂ）は、領域１１１１の距離画像データに基づいて、手形状認識部８０６が、手指モデル９２１を抽出するとともに、手指モデル９２１の状態量を算出した様子を示している。接触判断部８０４は、領域１１０１の距離画像データに基づいて物体検出部８０３が通知した基本形状情報、位置情報、角度情報と、手指モデル９２１の状態量とに基づいて、利用者１６０の手指が領域１１０１内の物体に所定の状態で接触していると判断する。この場合、領域１１０１内の物体については、物体検出部８０３により通知された基本形状情報、位置情報及び角度情報が、第２物体マッチング部８１０に通知されることになる。

ここで、接触判断部８０４により、利用者１６０の手指が領域１１０１内の物体に所定の状態で接触していると判断された場合、メッシュ作成部８０７及び隠れ物体形状特定部８０８は、隠れ物体形状特定処理を行う。

図１２は、隠れ物体形状特定処理の概要を示す図である。このうち、処理１２１０は、メッシュ作成部８０７が、手指モデル９２１の内側面の形状を示す３次元形状特徴量を算出するまでの処理を表している。

利用者１６０の手指が領域１１０１内の物体に所定の状態で接触している旨の判断結果を取得すると、メッシュ作成部８０７は、手指モデル９２１に含まれる各骨格点（図１２に示す手指モデル９２１内の丸印）を線分でつなぎ、ドロネー三角形を作成する。これにより、メッシュ作成部８０７は、手指モデルの３次元メッシュ１２１１を作成する。また、メッシュ作成部８０７は、作成した３次元メッシュ１２１１を点群化することで、手指モデルの内側面を形成する点群化データ１２１２を算出する。更に、メッシュ作成部８０７は、点群化データ１２１２に基づいて、手指モデルの内側面の形状を示す３次元形状特徴量を算出する。

一方、処理１２２０は、メッシュ作成部８０７が、各取っ手モデルの外側面の形状を示す３次元形状特徴量を算出するまでの処理を示している。処理１２１０が完了すると、メッシュ作成部８０７は、取っ手モデルテーブル６００に含まれる各取っ手モデルを点群化することで、取っ手モデルの外側面を形成する点群化データ１２２１〜１２２３を算出する。図１２において、点群化データ１２２１は、識別番号＝Ｅ１により識別される取っ手モデルに基づいて算出された点群化データである。また、点群化データ１２２２は、識別番号＝Ｅ２により識別される取っ手モデルに基づいて算出された点群化データである。更に、点群化データ１２２３は、識別番号＝Ｅ３により識別される取っ手モデルに基づいて算出された点群化データである。メッシュ作成部８０７は、各点群化データ１２２１〜１２２３に基づいて、各取っ手モデルの外側面の形状を示す３次元形状特徴量を算出する。

隠れ物体形状特定部８０８は、処理１２１０により算出された３次元形状特徴量と、処理１２２０により算出された各３次元形状特徴量とを対比することで、手指モデルの内側面の形状に類似する外側面の形状を有する取っ手モデルを特定する。

図１３は、統合処理の概要を示す図である。図１３の例では、手指モデル９２１を、内側面の方から見た様子を示している。利用者１６０の手指が、丸型の取っ手を把持している場合、手指モデル９２１の内側面の形状も、丸型の取っ手に沿った形状１３０１となる。このため、隠れ物体形状特定部８０８は、手指モデル９２１の内側面の形状に類似する外側面の形状を有する取っ手モデルとして、識別番号＝Ｅ２の取っ手モデルを特定することになる。

隠れ物体形状特定部８０８により識別番号＝Ｅ２の取っ手モデルが特定されると、物体統合部８０９は、接触判断部８０４より通知された基本形状情報と統合することで統合物体１３０２を生成する。

統合物体１３０２が生成されると、第２物体マッチング部８１０は、統合物体１３０２に類似する物体モデルを物体識別結果として抽出する。

図１４は、接触時の物体識別結果、位置情報及び角度情報の一例を示す図である。図１４に示すように、第２物体マッチング部８１０は、グラス１７０の物体識別結果として、識別情報“Ｏ１”を出力する。また、グラス１７０の位置情報として“（ｘ_１’，ｙ_１’，ｚ_１’）”を、グラス１７０の角度情報として“θ_１’”をそれぞれ出力する。

このように、物体識別部２１０では、手指に隠れた領域の形状を手指の形状に基づいて特定し、基本形状情報と統合することで統合物体を生成したうえで、物体の識別を行う。このため、グラス１７０の取っ手が手指に隠れていた場合であっても、グラス１７０をリアルタイムに正しく識別することができる。

＜物体識別処理の流れ＞
次に、物体識別部２１０による物体識別処理全体の流れについて、図１５、図１６を用いて説明する。図１５、図１６は、物体識別処理の第１及び第２のフローチャートである。利用者１６０が椅子１５１に着席すると、図１５に示すフローチャートが実行される。

ステップＳ１５０１において、画像データ取得部８０１は、距離測定装置１２０により測定された距離画像データと、撮影装置１２１により撮影されたＲＧＢ画像データとを取得する。

ステップＳ１５０２において、領域分割部８０２は、画像データ取得部８０１より通知されたＲＧＢ画像データに基づいて、物体及び手指を検出し、検出した物体及び手指の領域を抽出する。

ステップＳ１５０３において、手形状認識部８０６は、手指の領域の距離画像データに基づいて、手指モデルを抽出するとともに、手指モデルの状態量を算出する。

ステップＳ１５０４において、物体検出部８０３は、物体の領域の距離画像データに基づいて、基本形状情報、位置情報及び角度情報を接触判断部８０４に通知する。

ステップＳ１５０５において、接触判断部８０４は、手指モデルの状態量と、物体の基本形状情報、位置情報及び角度情報とに基づいて、利用者１６０の手指が、テーブル１５０上のいずれかの物体に接触しているか否かを判断する。

ステップＳ１５０５において、利用者１６０の手指が、テーブル１５０上のいずれの物体にも接触していないと判断した場合には（ステップＳ１５０５においてＮｏ）、ステップＳ１５０７に進む。一方、ステップＳ１５０６において、利用者１６０の手指が、テーブル１５０上のいずれかの物体に接触していると判断した場合には（ステップＳ１５０５においてＹｅｓ）、ステップＳ１５０６に進む。

ステップＳ１５０６において、接触判断部８０４は、手指モデルの状態量に基づいて、利用者１６０の手指が所定の状態（物体を把持している状態）にあるか否かを判断する。ステップＳ１５０６において、利用者１６０の手指が所定の状態（物体を把持している状態）にないと判断した場合には（ステップＳ１５０６においてＮｏ）、ステップＳ１５０７に進む。

ステップＳ１５０７において、第１物体マッチング部８０５は、基本形状情報、位置情報及び角度情報に基づいて、物体モデルを抽出する。更に、抽出した物体モデルの位置情報及び角度情報を算出する。

ステップＳ１５０８において、第１物体マッチング部８０５は、抽出した物体モデルを物体識別結果として物体状態推定部２２０に出力するとともに、算出した位置情報及び角度情報を出力し、ステップＳ１５０１に戻る。

一方、ステップＳ１５０６において、利用者１６０の手指が所定の状態（物体を把持している状態）にあると判断した場合には（ステップＳ１５０６においてＹｅｓ）、図１６のステップＳ１６０１に進む。

図１６のステップＳ１６０１において、メッシュ作成部８０７は、手指モデルの各骨格点から、ドロネー三角形を生成することで、３次元メッシュを作成する。

ステップＳ１６０２において、メッシュ作成部８０７は、手指モデルに基づいて作成した３次元メッシュから、手指モデルの点群化データを生成する。

ステップＳ１６０３において、メッシュ作成部８０７は、生成した手指モデルの点群化データに基づいて、手指モデルの内側面の３次元形状特徴量を算出する。

ステップＳ１６０４において、メッシュ作成部８０７は、取っ手モデルテーブル６００に含まれる各取っ手モデルを読み出し、各取っ手モデルの点群化データを生成する。

ステップＳ１６０５において、メッシュ作成部８０７は、生成した点群化データに基づいて、取っ手モデルの外側面の３次元形状特徴量を算出する。

ステップＳ１６０６において、隠れ物体形状特定部８０８は、手指モデルの３次元形状特徴量と各取っ手モデルの３次元形状特徴量とを対比する。これにより、隠れ物体形状特定部８０８は、手指モデルの内側面の形状に類似する外側面の形状を有する取っ手モデルを、隠れ物体特定結果として抽出する。

ステップＳ１６０７において、物体統合部８０９は、基本形状情報と、隠れ物体特定結果とを用いて、統合物体を生成する。

ステップＳ１６０８において、第２物体マッチング部８１０は、生成された統合物体の統合物体情報と、物体モデルテーブル７００に含まれる各物体モデルとを対比する。ステップＳ１６０９において、第２物体マッチング部８１０は、統合物体情報に最も類似する物体モデルを、物体識別結果として抽出する。

ステップＳ１６１０において、第２物体マッチング部８１０は、抽出した物体モデルが統合物体情報に最も類似すると判定した際の、当該物体モデルの位置を示す位置情報及び角度を示す角度情報を算出する。

ステップＳ１６１１において、第２物体マッチング部８１０は、物体識別結果、位置情報及び角度情報を物体状態推定部２２０に出力する。

ステップＳ１６１２において、画像データ取得部８０１は、物体識別処理を継続するか否かを判定する。ステップＳ１６１２において、物体識別処理を継続すると判定した場合には（ステップＳ１６１２においてＮｏ）、ステップＳ１５０１に戻る。

一方、ステップＳ１６１２において、物体識別処理を終了すると判定した場合には（ステップＳ１６１２においてＹｅｓ）、物体識別処理を終了する。画像データ取得部８０１は、例えば、利用者１６０が退席した場合に、物体識別処理を終了する。

以上の説明から明らかなように、第１の実施形態における物体識別部２１０によれば、手指に隠れた領域の形状を特定したうえで物体を識別するため、物体の一部が手指に隠れていた場合でも、物体をリアルタイムに正しく識別することができる。

［第２の実施形態］
上記第１の実施形態では、距離測定装置１２０と撮影装置１２１とを有するプロジェクタカメラシステム１００について説明した。しかしながら、距離画像データに基づいて、物体及び手指を検出することができる場合には、撮影装置１２１は必ずしもプロジェクタカメラシステム１００に含まれていなくてもよい。

また、上記第１の実施形態では、距離測定装置１２０、撮影装置１２１、プロジェクタ装置１３０を、天井に設置された照明器具のハウジング１１０内に配置するものとして説明した。しかしながら、距離測定装置１２０、撮影装置１２１、プロジェクタ装置１３０の設置位置はこれに限定されない。

また、上記第１の実施形態では、隠れ物体として、取っ手モデルを取っ手モデルテーブル６００に格納するものとして説明したが、取っ手モデル以外の隠れ物体を格納してもよい。

また、上記第１の実施形態では、プロジェクタ装置１３０の投影範囲を、テーブル１５０の上面を含む所定領域としたが、投影範囲は、識別した各物体の位置に応じて可変としてもよい。

また、上記第１の実施形態では、プロジェクタカメラシステム１００を、飲食店等の店舗に適用する場合について説明したが、飲食店以外の店舗に適用してもよい。

なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
物体に手指が接しているか否かを判断する判断部と、
前記判断部により前記手指が前記物体に接していると判断された場合に、前記手指の形状から、前記物体の手指により隠れている領域の形状を特定する特定部と、
前記特定部により特定された形状に基づいて、前記物体を識別する識別部と
を有することを特徴とする物体識別装置。
（付記２）
前記特定部は、
前記物体の一部の領域の形状を示す特徴量と、前記物体に接している前記手指の形状を示す特徴量との対比の結果に基づき、該物体の一部の領域の形状を、前記物体の手指により隠れている領域の形状として特定することを特徴とする付記１に記載の物体識別装置。
（付記３）
前記特定部は、
前記判断部により前記手指が前記物体に接していると判断された場合であって、前記手指が前記物体を把持している状態にあると判断された場合に、前記物体の隠れている領域の形状を特定することを特徴とする付記１に記載の物体識別装置。
（付記４）
前記識別部は、
前記手指が前記物体に接していると判断された物体の隠れていない領域の形状と、前記特定部により特定された前記物体の一部の領域の形状と、を統合することで得られる形状に基づいて、前記物体を識別することを特徴とする付記１乃至付記３のいずれかの付記に記載の物体識別装置。
（付記５）
前記判断部により前記手指が前記物体に接していないと判断された場合に、前記物体を示す物体モデルに基づいて、前記物体を識別することを特徴とする付記１に記載の物体識別装置。
（付記６）
物体に手指が接しているか否かを判断し、
前記手指が前記物体に接していると判断された場合に、前記手指の形状から、前記物体の手指により隠れている領域の形状を特定し、
特定された前記形状に基づいて、前記物体を識別する、
処理をコンピュータに実行させるための物体識別プログラム。
（付記７）
コンピュータが、
物体に手指が接しているか否かを判断し、
前記手指が前記物体に接していると判断された場合に、前記手指の形状から、前記物体の手指により隠れている領域の形状を特定し、
特定された前記形状に基づいて、前記物体を識別する、
処理を実行することを特徴とする物体識別方法。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：プロジェクタカメラシステム
１１０ ：照明器具のハウジング
１２０ ：距離測定装置
１２１ ：撮影装置
１３０ ：プロジェクタ装置
１４０ ：情報処理装置
１５０ ：テーブル
２１０ ：物体識別部
２２０ ：物体状態推定部
２３０ ：投影画像出力部
４００ ：基本形状テーブル
５００ ：手指モデルテーブル
６００ ：取っ手モデルテーブル
７００ ：物体モデルテーブル
８０１ ：画像データ取得部
８０２ ：領域分割部
８０３ ：物体検出部
８０４ ：接触判断部
８０５ ：第１物体マッチング部
８０６ ：手形状認識部
８０７ ：メッシュ作成部
８０８ ：隠れ物体形状特定部
９２１ ：手指モデル

Claims (7)

1. 物体に手指が接しているか否かを判断する判断部と、
   前記判断部により前記手指が前記物体に接していると判断された場合に、前記手指の形状から、前記物体の手指により隠れている領域の形状を特定する特定部と、
   前記特定部により特定された形状に基づいて、前記物体を識別する識別部と
   を有することを特徴とする物体識別装置。
2. 前記特定部は、
   前記物体の一部の領域の形状を示す特徴量と、前記物体に接している前記手指の形状を示す特徴量との対比の結果に基づき、該物体の一部の領域の形状を、前記物体の手指により隠れている領域の形状として特定することを特徴とする請求項１に記載の物体識別装置。
3. 前記特定部は、
   前記判断部により前記手指が前記物体に接していると判断された場合であって、前記手指が前記物体を把持している状態にあると判断された場合に、前記物体の隠れている領域の形状を特定することを特徴とする請求項１に記載の物体識別装置。
4. 前記識別部は、
   前記手指が前記物体に接していると判断された物体の隠れていない領域の形状と、前記特定部により特定された前記物体の一部の領域の形状と、を統合することで得られる形状に基づいて、前記物体を識別することを特徴とする請求項１乃至３のいずれか１項に記載の物体識別装置。
5. 前記判断部により前記手指が前記物体に接していないと判断された場合に、前記物体を示す物体モデルに基づいて、前記物体を識別することを特徴とする請求項１に記載の物体識別装置。
6. 物体に手指が接しているか否かを判断し、
   前記手指が前記物体に接していると判断された場合に、前記手指の形状から、前記物体の手指により隠れている領域の形状を特定し、
   特定された前記形状に基づいて、前記物体を識別する、
   処理をコンピュータに実行させるための物体識別プログラム。
7. コンピュータが、
   物体に手指が接しているか否かを判断し、
   前記手指が前記物体に接していると判断された場合に、前記手指の形状から、前記物体の手指により隠れている領域の形状を特定し、
   特定された前記形状に基づいて、前記物体を識別する、
   処理を実行することを特徴とする物体識別方法。

Images