JP2021064320A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】対象部位を高精度に認識することが可能な情報処理装置、情報処理方法、及びプログラムを提供すること。【解決手段】上記目的を達成するため、本技術の一形態に係る情報処理装置は、選択部を具備する。上記選択部は、身体に含まれる対象部位に対して測距センサにより検出される第１の位置情報と、前記対象部位に対して機械学習により推定される第２の位置情報との差分に基づいて、前記第１の位置情報又は前記第２の位置情報を選択する。これにより、対象部位を高精度に認識することが可能である。【選択図】図３

Description

本技術は、物体の認識等に適用可能な情報処理装置、情報処理方法、及びプログラムに関する。

特許文献１に記載の情報処理装置では、撮影された手の画像から、複数の投影方向における注目点の存在確立を示す確率マップが推定される。確率マップに基づいて、注目点の３次元位置が特定される。例えば、ｘ方向における確率マップと、ｙ方向における確率マップと、ｚ方向における確率マップとに基づいて、指先や関節等の注目点の３次元位置が特定される。これにより、高精度に注目点の３次元位置を推定することが図られている（特許文献１の段落［００２８］［００４６］図２等）。

国際公開第２０１８／０８３９１０号

このように、手等の対象物を高精度に認識することを可能とする技術が求められている。

以上のような事情に鑑み、本技術の目的は、対象部位を高精度に認識することが可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。

上記目的を達成するため、本技術の一形態に係る情報処理装置は、選択部を具備する。
上記選択部は、身体に含まれる対象部位に対して測距センサにより検出される第１の位置情報と、前記対象部位に対して機械学習により推定される第２の位置情報との差分に基づいて、前記第１の位置情報又は前記第２の位置情報を選択する。

この情報処理装置では、身体に含まれる対象部位に対して測距センサにより検出される第１の位置情報と、対象部位に対して機械学習により推定される第２の位置情報との差分に基づいて、第１の位置情報又は第２の位置情報が選択される。これにより、対象部位を高精度に認識することが可能である。

前記選択部は、前記第１の位置情報と前記第２の位置情報との差分が所定の閾値より大きい場合、前記第２の位置情報を選択してもよい。

前記第１の位置情報及び前記第２の位置情報の各々は、前記測距センサの位置に基づいて規定される方向における位置情報であってもよい。

前記第１の位置情報及び前記第２の位置情報の各々は、前記測距センサの測定方向における位置情報であってもよい。

前記第１の位置情報及び前記第２の位置情報の各々は、３次元座標系を構成する第１の座標軸における座標値であってもよい。

前記情報処理装置であって、さらに、センサの検出結果により得られた前記対象部位を特定するための特定情報を取得するための取得部を具備してもよい。この場合、前記選択部は、取得された前記特定情報に基づいて、前記第１の位置情報及び前記第２の位置情報の少なくとも一方を取得してもよい。

前記特定情報は、前記３次元座標系を構成する、前記第１の座標軸とは異なる第２の座標軸及び第３の座標軸の各々における前記対象部位の座標値であってもよい。

前記情報処理装置であって、さらに、前記第１の位置情報及び前記第２の位置情報に基づいて、前記対象部位に関してオクルージョンの有無を判定するオクルージョン判定部を具備してもよい。

前記オクルージョン判定部は、前記第１の位置情報と前記第２の位置情報との差分に基づいて、前記オクルージョンの有無を判定してもよい。

前記オクルージョン判定部は、前記第１の位置情報と前記第２の位置情報との差分が所定の閾値より大きい場合、前記オクルージョンが発生していると判定してもよい。

前記オクルージョン判定部は、前記測距センサの位置を基準として、前記第１の位置情報よりも前記第２の位置情報の方が大きい場合に、前記オクルージョンが発生していると判定してもよい。

前記情報処理装置であって、さらに、前記オクルージョン判定部の判定結果に基づいて、前記対象部位の状態に関する状態情報を判定する状態判定部を具備してもよい。

前記状態情報は、前記対象部位の動作及び前記対象部位の形状を含んでもよい。

前記状態判定部は、前記対象部位に関する所定の特徴点にオクルージョンが発生していると判定された場合、前記状態情報を判定してもよい。

前記情報処理装置であって、さらに、前記測距センサにより検出される前記第１の位置情報の信頼度を判定する信頼度判定部を具備してもよい。

前記信頼度判定部は、前記第１の位置情報と前記第２の位置情報との差分に基づいて、前記第１の位置情報の信頼度を判定してもよい。

前記選択部は、前記第１の位置情報の前記信頼度が所定の閾値より低い場合、前記第２の位置情報を選択してもよい。

前記対象部位は、手を含んでもよい。

本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、身体に含まれる対象部位に対して測距センサにより検出される第１の位置情報と、前記対象部位に対して機械学習により推定される第２の位置情報との差分に基づいて、前記第１の位置情報又は前記第２の位置情報を選択することを含む。

本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
体に含まれる対象部位に対して測距センサにより検出される第１の位置情報と、前記対象部位に対して機械学習により推定される第２の位置情報との差分に基づいて、前記第１の位置情報又は前記第２の位置情報を選択するステップ。

情報選択システムの概要を説明するための模式図である。 情報選択システム及び情報処理装置の機能的な構成例を示すブロック図である。 位置情報が選択される方法の一例を示すフローチャートである。 対象部位における特徴点の一例を示す模式図である。 位置情報の選択とオクルージョンの判定との具体例を示す表である。 対象部位の状態の判定を行うフローチャートである。 対象部位の状態の判定及び結果の具体例を示す表である。 対象部位の状態の一例を示す模式図である。 対象部位の状態の一例を示す模式図である。 位置情報が選択される方法の他の例を示すフローチャートである。 情報処理装置のハードウェア構成例を示すブロック図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

［物体認識システム］
図１は、本技術に係る物体認識システムの概要を説明するための模式図である。
本技術に係る物体認識システム１００は、身体に含まれる対象部位２に対して測距センサ６により検出される第１の位置情報７と、対象部位２に対して機械学習により推定される第２の位置情報８との差分に基づいて、第１の位置情報７又は第２の位置情報８を選択することが可能である。
物体認識システム１００を用いることで、高精度に対象部位２を認識することが可能となる。例えば、物体認識システム１００による認識結果に基づいて、対象部位２を用いた種々の操作の判定等を高精度に実行することが可能となる。

対象部位２は、身体に含まれる任意の部位である。図１に示す例では、ユーザ１の腕や手が対象部位２として設定される。もちろん対象部位２は限定されない。例えば、ユーザ１の足等の部位が対象部位２として設定されてもよい。また身体全体（ユーザ１自身）が対象部位２として設定されてもよいし、両手や両足等の複数の部位が対象部位２として設定されてもよい。

位置情報は、対象部位２の位置を示す種々の情報を含む。
位置情報として、例えば、絶対座標系（ワールド座標系）により規定される座標値（例えばＸＹＺ座標値）が用いられてもよい。あるいは、所定の点を基準（原点）とした相対座標系により規定される座標値（例えばｘｙｚ座標値又はｕｖｄ座標値）が用いられてもよい。相対座標系が用いられる場合、基準となる原点は、任意に設定されてよい。
対象部位２の位置情報として、対象部位２に含まれる１以上の特徴点の各々の位置座標が用いられてもよい。例えば、対象部位２が手の場合、指の先端、第１関節、第２関節、及び手首等を特徴点として設定することが可能である。もちろんこれに限定される訳ではない。

第１の位置情報は、測距センサ６により検出される対象部位２の位置情報である。
本実施形態では、第１の位置情報として、所定の１方向における位置情報が算出される。所定の１方向は、測距センサ６の位置に基づいて規定される方向である。
典型的には、測距センサ６の測定方向における位置情報が用いられる。すなわち、典型的には、測距センサ６により検出される対象部位２までの距離が、第１の位置情報として用いられる。
例えば、測距センサ６の測定方向がＺ座標軸の軸方向と平行となるように、測距センサ６を配置する。そして、測距センサ６により検出される対象部位２までの距離に基づいて、Ｚ座標値を算出する。このＺ座標値は、原点の位置に応じて算出される値となり、測距センサ６により検出される対象部位２までの距離に応じた値となる。このＺ座標値を第１の位置情報として用いることが可能である。
測距センサ６の測定方向と、Ｚ座標軸の軸方向とが平行でないとする。この場合でも、測距センサ６により検出される対象部位２までの距離に対して射影変換等を実行することでＺ座標値を算出することが可能であり、第１の位置情報として用いることが可能である。
このように、第１の位置情報は、測距センサ６の位置に基づいて規定される方向（例えば、測定方向等）における位置情報や、３次元座標系を構成するＺ座標軸における座標値等を含む。なお、３次元座標系を構成するＺ座標軸は、本技術に係る第１の座標軸の一実施形態に相当する。

第２の位置情報は、機械学習により推定される対象部位２の位置情報である。
第２の位置情報は、測距センサ６により検出される対象部位２の第１の位置情報を、機械学習により推定した場合の位置情報となる。機械学習への入力されるデータ（情報）等は限定されず、任意のデータ（情報）が入力されてよい。例えば、測距センサ６により検出される対象部位２までの距離を入力として、機械学習により第２の位置情報が推定されてもよい。
例えば、第１の位置情報として、測距センサ６の位置に基づいて規定される方向における位置情報が検出されるとする。この場合には、機械学習により推定される、測距センサ６の位置に基づいて規定される方向における位置情報が、第２の位置情報として用いられる。
第１の位置情報として、測距センサ６の測定方向における位置情報が検出されるとする。この場合、機械学習により推定される、測距センサ６の測定方向における位置情報が、第２の位置情報として用いられる。
第１の位置情報として、３次元座標系を構成する第１の座標軸（例えばＺ座標軸）における座標値が検出されるとする。この場合、機械学習により推定される、３次元座標系を構成する第１の座標軸（例えばＺ座標軸）における座標値が、第２の位置情報として用いられる。

第２の位置情報を推定するための機械学習アルゴリズムの種類は限定されない。
例えばＤＮＮ（Deep Neural Network：深層ニューラルネットワーク）等を用いた任意の機械学習アルゴリズムを用いることが可能である。例えばディープラーニング（深層学習）を行うＡＩ（人工知能）等を用いることで、第２の位置情報の推定精度を向上させることが可能となる。
例えば第２の位置情報を推定するために学習部及び識別部が構築される。学習部は、入力された情報（学習データ）に基づいて機械学習を行い、学習結果を出力する。また、識別部は、入力された情報と学習結果に基づいて、当該入力された情報の識別（判断や予測等）を行う。
学習部における学習手法には、例えばニューラルネットワークやディープラーニングが用いられる。ニューラルネットワークとは、人間の脳神経回路を模倣したモデルであって、入力層、中間層（隠れ層）、出力層の３種類の層から成る。
ディープラーニングとは、多層構造のニューラルネットワークを用いたモデルであって、各層で特徴的な学習を繰り返し、大量データの中に潜んでいる複雑なパターンを学習することができる。
ディープラーニングは、例えば画像内のオブジェクトや音声内の単語を識別する用途として用いられる。例えば、画像や動画の認識に用いられる畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）等が用いられる。
また、このような機械学習を実現するハードウェア構造としては、ニューラルネットワークの概念を組み込まれたニューロチップ／ニューロモーフィック・チップが用いられ得る。

機械学習の問題設定には、教師あり学習、教師なし学習、半教師学習、強化学習、逆強化学習、能動学習、転移学習等がある。
例えば教師あり学習は、与えられたラベル付きの学習データ（教師データ）に基づいて特徴量を学習する。これにより、未知のデータのラベルを導くことが可能となる。
また、教師なし学習は、ラベルが付いていない学習データを大量に分析して特徴量を抽出し、抽出した特徴量に基づいてクラスタリングを行う。これにより、膨大な未知のデータに基づいて傾向の分析や未来予測を行うことが可能となる。
また、半教師学習は、教師あり学習と教師なし学習を混在させたものであって、教師あり学習で特徴量を学ばせた後、教師なし学習で膨大な訓練データを与え、自動的に特徴量を算出させながら繰り返し学習を行う方法である。
また、強化学習は、ある環境内におけるエージェントが現在の状態を観測して取るべき行動を決定する問題を扱うものである。エージェントは、行動を選択することで環境から報酬を習得し、一連の行動を通じて報酬が最も多く得られるような方策を学習する。このように、ある環境における最適解を学習することで、人間の判断力を再現し、また、人間を超える判断力をコンピュータに習得させることが可能となる。
機械学習によって、仮想的なセンシングデータを生成することも可能である。例えば、入力された画像情報から位置情報を生成するなど、あるセンシングデータから別のセンシングデータを予測して入力情報として使用することが可能である。
また、複数のセンシングデータから別のセンシングデータを生成することも可能である。また、必要な情報を予測し、センシングデータから所定の情報を生成することも可能である。
また、上記の機械学習とは異なる任意の学習アルゴリズム等が用いられてよい。例えば、対象部位２における第２の位置情報の平均値が予め登録されたルールベースにより第２の位置情報が推定されてもよい。所定の学習アルゴリズムに従って第２の位置情報を推定することで、第２の位置情報の推定精度を向上させることが可能となる。もちろん学習アルゴリズムが用いられる場合に限定される訳ではない。
なお学習アルゴリズムの適用は、本開示内の任意の処理に対して実行されてよい。

図１に示すように物体認識システム１００は、センサ部５と、情報処理装置１０と、プロジェクタ２０とを含む。
センサ部５、情報処理装置１０、及びプロジェクタ２０は、有線又は無線を介して、通信可能に接続されている。各デバイス間の接続形態は限定されず、例えばＷｉＦｉ等の無線ＬＡＮ通信や、Bluetooth（登録商標）等の近距離無線通信を利用することが可能である。

物体認識システム１００は、テーブル２５に表示物３を表示する。表示物３は、ユーザ１が操作可能なように表示される。このように、テーブル２５の天面２６に表示物３を表示する方式をプロジェクション型とも称する。またテーブル２５の天面２６に表示物３を表示する方式はテーブルトップスクリーンとも称される。
表示物３は、プロジェクタやディスプレイ等に表示されるオブジェクトを含む。例えば、表示物３は、スクリーンやテーブル等に投影される画像及び動画を含む。もちろんこれに限定されず、ホログラム等の虚像、及びＡＲ（Augmented Reality）等の仮想オブジェクトも表示物３に含まれる。

ユーザ１は、プロジェクタ２０がテーブル２５に表示する表示物３に対して、対象部位２などによって各種の操作を行うことができる。また、ユーザ１は、テーブル２５の天面２６に物体を置き、センサ部５に物体を認識させることによって、物体認識システム１００に、その物体に関する種々の処理を実行させることが可能である。

センサ部５は、測距センサ６及び撮像装置（符号は省略）を含み、対象部位２に関する種々のデータを検出することが可能である。
例えば、カメラ等の撮像装置により対象部位２を含む動画像を取得することが可能である。動画像は、動画及び画像を含む。
測距センサ６は、測定対象物までの距離を測定可能な任意の装置を含む。例えば、測距センサ６としては、ＴｏＦ（Time of Flight）カメラ、パッシブステレオ、アクティブステレオ、ステレオカメラ、レーザ測距センサ、及びＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）等が用いられる。
これ以外にも、センサ部５は任意の装置が用いられてもよい。例えば、デジタルカメラ、単眼カメラ、赤外線カメラ、偏光カメラ、及びその他の撮像装置が用いられる。また接触センサ、超音波センサ、ソナー、照度計及び生体センサ等のセンサデバイスが用いられてもよい。

またセンサ部５は、ユーザ１による操作に関する情報やテーブル２５に置かれている物体の形状や模様等に関する情報を取得する。
図１に示された例では、センサ部５及びプロジェクタ２０が、テーブル２５の上方に、天井から吊り下げられた状態で設けられている。このように、テーブル２５の上方からプロジェクタ２０によって照射し、テーブル２５の天面２６に情報を表示する方式を上方プロジェクション型とも称する。センサ部５としては、１つのレンズでテーブル２５を撮像するカメラが用いられてもよいし、２つのレンズでテーブル２５を撮像してＺ軸方向の情報を記録することが可能なステレオカメラが用いられてもよいし、ユーザ１が発する音声や環境音を収音するためのマイクロフォンが用いられてもよい。

またセンサ部５として、１つのレンズでテーブル２５を撮像するカメラが用いられる場合、撮像された画像が解析されることによって、テーブル２５に置かれた物体が認識されてもよい。またセンサ部５としてステレオカメラが用いられる場合、ステレオカメラにより取得された高さに基づいて、テーブル２５の上に置かれた対象部位２の認識が可能になる。
またセンサ部５としてマイクロフォンが用いられる場合、そのマイクロフォンは特定の方向の音声を収音するためのマイクロフォンアレイが用いられてもよい。センサ部５としてマイクロフォンアレイが用いられる場合、収音方向が任意の方向に調整されてもよい。

情報処理装置１０は、例えばＣＰＵやＧＰＵ、ＤＳＰ等のプロセッサ、ＲＯＭやＲＡＭ等のメモリ、ＨＤＤ等の記憶デバイス等、コンピュータの構成に必要なハードウェアを有する（図１１参照）。例えばＣＰＵがＲＯＭ等に予め記録されている本技術に係るプログラムをＲＡＭにロードして実行することにより、本技術に係る情報処理方法が実行される。
例えばＰＣ（Personal Computer）等の任意のコンピュータにより、情報処理装置１０を実現することが可能である。もちろんＦＰＧＡ、ＡＳＩＣ等のハードウェアが用いられてもよい。
本実施形態では、ＣＰＵが所定のプログラムを実行することで、機能ブロックとしての位置情報選択部１７が構成される。もちろん機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが用いられてもよい。
プログラムは、例えば種々の記録媒体を介して情報処理装置１０にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。
プログラムが記録される記録媒体の種類等は限定されず、コンピュータが読み取り可能な任意の記録媒体が用いられてよい。例えば、コンピュータが読み取り可能な非一過性の任意の記憶媒体が用いられてよい。

情報処理装置１０は、対象部位２の第１の位置情報７及び第２の位置情報８を取得する。なお、本開示において、情報の取得は、外部から送信された情報を受信する事、及び情報処理装置１０自身により情報を生成することの両方を含む。
図１に例示する情報処理装置１０は、取得された対象部位２の第１の位置情報７と対象部位２の第２の位置情報８の差分に基づいて、第１の位置情報７又は第２の位置情報８を選択する。

図２は、物体認識システム１００及び情報処理装置１０の機能的な構成例を示すブロック図である。

情報処理装置１０は、特徴点推定部１１、第１の位置情報生成部１２、特徴点比較部１３、信頼度判定部１４、オクルージョン判定部１５、状態判定部１６、位置情報選択部１７、及びコマンド実行部１８を有する。

特徴点推定部１１は、対象部位２の特徴点を推定する。本実施形態では、センサ部５の検出結果により得られた対象部位２における特徴点を推定する。また特徴点推定部１１は、機械学習により対象部位２における特徴点の第２の位置情報を推定することが可能である。すなわち、対象部位２における特徴点の第２の位置情報が生成されるとも言える。
特徴点の推定は、特徴点の種々の情報を取得することも含む。例えば、特徴点の位置を示す座標や、特徴点同士の位置関係等が推定されてもよい。
なお、特徴点を推定するための任意の技術（アルゴリズム等）が採用されてよい。また特徴点推定部１１により推定された特徴点に対して、機械学習により第２の位置情報を生成する第２の位置情報生成部が構成されてもよい。

第１の位置情報生成部１２は、対象部位２に対して第１の位置情報を生成する。本実施形態では、第１の位置情報生成部１２は、測距センサ６の検出結果を取得し、検出結果に基づいて第１の位置情報を生成する。例えば、特徴点推定部１１により推定された特徴点のＸＹ座標に基づいて、特徴点のＺ座標が検出される。
すなわち、第１の位置情報生成部１２は、特徴点のＸ座標及びＹ座標を特定情報として取得する。特定情報は、センサ部５の検出結果により得られた対象部位２を特定するための情報である。例えば、特定情報は、３次元座標系を構成する、第１の座標軸とは異なる第２の座標軸及び第３の座標軸の各々における座標値である。
なお、本実施形態において、Ｘ軸方向及びＹ軸方向における座標は、第２の座標軸及び第３の座標軸の各々における座標値に相当する。

特徴点比較部１３は、特徴点における第１の位置情報と第２の位置情報とを比較する。本実施形態では、特徴点推定部１１により推定された特徴点における、測距センサ６により検出されたＺ座標と機械学習により推定されたＺ座標との差分が比較される。

信頼度判定部１４は、位置情報の信頼度を判定する。本実施形態では、測距センサ６により検出される第１の位置情報の信頼度が判定される。例えば、測距センサ６により得られたＲＧＢ画像やＩＲ（Infra-Red）画像等に基づいて、第１の位置情報の信頼度が判定される。具体的な信頼度の判定方法は図１０で説明する。
第１の位置情報の信頼度が下がる原因の例は、例えば、太陽光（日差し）が強い屋外等で、測距センサ６としてＴＯＦが用いられた場合が挙げられる。
また例えば、同一色の背景等のパターンがない、又は同じ物体が並んでいる等の似たパターンで、測距センサ６としてパッシブステレオが用いられた場合が挙げられる。
また例えば、黒い物体や影、照明で白飛びしてる等のパターンが見えない、又は同じ物体が並んでいる等の似たパターンで、測距センサ６としてアクティブステレオが用いられた場合が挙げられる。
信頼度判定部１４により判定された第１の位置情報の信頼度が位置情報選択部１７に出力される。

オクルージョン判定部１５は、第１の位置情報及び第２の位置情報に基づいて、対象部位２に関してオクルージョンの有無を判定する。本実施形態では、特徴点比較部１３により比較された各特徴点のＺ座標の差分に基づいて、対象部位２における各特徴点がオクルージョンの有無が判定される。例えば、手が対象部位２として設定された場合、特徴点である指の先端がオクルージョンの有無が判定される。
オクルージョンとは、手前にある物体が背後にある物体を隠している（見えない）状態である。例えば、手を閉じている状態の時、手の甲から見て、指の先端が手の甲等により見えない場合である。このような、対象物を所定の点から見た（センサにより検出された）場合に、対象物が見えない（センサにより検出されない）場合がオクルージョンに含まれる。
もちろん、これ以外の状態がオクルージョンとして判定されてもよい。例えば、遮光性の高い筐体の内部に収容された対象物がオクルージョンとして判定されてもよい。すなわち、センサの検出結果の信頼度が低い場合がオクルージョンと判定されてもよい。
なお、以下の記載では、オクルージョン又はオクルージョンが発生していることを隠れていると記載することがある。またオクルージョンではない場合を隠れていないと記載することがある。

状態判定部１６は、対象部位２の状態に関する状態情報を判定する。本実施形態では、オクルージョン判定部１５の判定結果に基づいて、対象部位２の状態情報が判定される。具体的な例を図７で説明する。
状態情報は、対象部位２の動作、及び対象部位２の形状を含む。例えば、対象部位２における所定の特徴点がオクルージョンと判定された場合、対象部位２である手がグー（手が閉じられた状態）と判定される。
対象部位２の動作は、水平又は垂直方向の移動、振動、回転等の種々の動作を含む。これ以外にも、スポーツ等で用いられるハンドシグナル等の様々な動作が含まれてもよい。
対象部位２の形状は、例えば、対象部位２が手の場合、チョキ（人差指及び中指のみが伸びている状態）、パー（手が開かれている状態）等を含む。これ以外にも、対象部位２に応じて様々な形状が含まれてもよい。

位置情報選択部１７は、第１の位置情報又は第２の位置情報を選択する。本実施形態では、特徴点比較部１３により比較された第１の位置情報及び第２の位置情報の差分に基づいて、第１の位置情報又は第２の位置情報が選択される。
また本実施形態では、信頼度判定部１４により判定された第１の位置情報の信頼度に基づいて、第１の位置情報又は第２の位置情報が選択される。
具体的な第１の位置情報及び第２の位置情報の選択方法は図５で説明する。

コマンド実行部１８は、ユーザ１の行った行動に対応するコマンドを実行する。例えば、ユーザ１がテーブル２５の天面２６に表示された表示物３に対してタッチした状態で指を動かした場合、指の動きに追従するように表示物３を移動させる。なお、実行されるコマンドの種類は、実行されるアプリケーションに応じて適宜変更されてもよい。

プロジェクタ２０は、種々の表示物３を出力することが可能である。本実施形態では、コマンド実行部１８により実行されるコマンドに基づいてテーブル２５の天面２６に表示物３を出力する。なお、プロジェクタ２０によって表示物３が出力される領域は、テーブル２５の天面２６に限定されない。例えば、プロジェクタ２０によって表示物３が出力される領域は、床面であってもよいし、壁面であってもよいし、物体などであってもよい。またプロジェクタ２０は、スピーカや照明装置等を含んでもよい。

なお、本実施形態において、位置情報選択部１７は、身体に含まれる対象部位に対して測距センサ６により検出される第１の位置情報と、対象部位に対して機械学習により推定される第２の位置情報との差分に基づいて、第１の位置情報又は第２の位置情報を選択する選択部に相当する。
また本実施形態において、特徴点推定部１１は、センサの検出結果により得られた対象部位を特定するための特定情報を取得するための取得部に相当する。
また本実施形態において、信頼度判定部１４は、測距センサ６により検出される第１の位置情報の信頼度を判定する信頼度判定部に相当する。
また本実施形態において、オクルージョン判定部１５は、第１の位置情報及び第２の位置情報に基づいて、対象部位に関してオクルージョンの有無を判定するオクルージョン判定部に相当する。
また本実施形態において、状態判定部１６は、オクルージョン判定部の判定結果に基づいて、対象部位の状態に関する状態情報を判定する状態判定部に相当する。

図３は、位置情報が選択される方法の一例を示すフローチャートである。図４は、対象部位２における特徴点の一例を示す模式図である。図４では、手３０が対象部位２として設定される。

特徴点推定部１１により、センサ部５から得られた検出結果に基づいて、機械学習により特徴点が推定される（ステップ１０１）。また推定された特徴点における第２の位置情報が生成される。

図４Ａは、Ｚ軸方向から見た対象部位２の模式図である。
図４Ａに示すように、特徴点推定部１１により、手３０に対して特徴点が推定される。図４Ａでは、手３０の手首、指先、第１関節、第２関節、指の付け根、手首等に特徴点が図示されている。
例えば図４Ａでは、Ｚ方向から見た場合に、親指の第１関節、親指の先端３１、中指の第１関節、中指の先端３２、薬指の第１関節、薬指の第２関節、薬指の先端３３、小指の第１関節、小指の第２関節、及び小指の先端３４は隠れているため白丸で図示されている。
またＺ方向から見た場合に、手首、指の付け根、人差し指の第１関節、人差し指の第２関節、及び人差し指の先端３５の特徴点は隠れていないため黒丸で図示されている。
なお、図４における隠れているとは、Ｚ方向から見た場合に、オクルージョン判定部１５により特徴点にオクルージョンが発生していると判定されることを含む。

第１の位置情報生成部１２により、推定された各特徴点における第１の位置情報が生成される（ステップ１０２）。本実施形態では、図４Ａに図示される黒丸の特徴点における第１の位置情報と第２の位置情報とが生成される。また白丸の特徴点における第１の位置情報と第２の位置情報とが生成される。

特徴点比較部１３により、特徴点における第１の位置情報と第２の位置情報とが比較される（ステップ１０３）。本実施形態では、測距センサ６により検出される特徴点のＺ座標と、機械学習により推定される特徴点のＺ座標とが比較される。また本実施形態では、センサ部５を原点として設定される。すなわち、Ｚ座標は、センサ部５と特徴点との距離である。

図４Ｂは、Ｘ軸方向から見た対象部位２の模式図である。なお、図４Ｂでは図４Ａに図示された特徴点の一部が説明のために省略されている。
図４Ｂに示すように、人差し指の先端の特徴点３５の測距センサ６により検出されるＺ座標３６と、機械学習により推定されるＺ座標とが比較される。また中指の先端の特徴点３２の測距センサ６により検出されるＺ座標３７と、機械学習により推定されるＺ座標とが比較される。

例えば、人差し指の先端の特徴点３５のＺ座標と、測距センサ６により検出される特徴点３５のＺ座標３６との差分ａが設定された閾値よりも小さい場合（ステップ１０３のＮＯ）、位置情報選択部１７により第１の位置情報（特徴点３５のＺ座標３６）が選択される（ステップ１０４）。
また例えば、中指の先端の特徴点３２のＺ座標と、測距センサ６により検出される特徴点３２のＺ座標３７との差分ｂが設定された閾値よりも大きい場合（ステップ１０３のＹＥＳ）、特徴点比較部１３により機械学習により推定された値（特徴点３２のＺ座標）が測距センサ６により検出された値（特徴点３２のＺ座標３７）よりセンサ部５に対して離れているかが判定される（ステップ１０５）。
特徴点３２の機械学習により推定された値が、特徴点３２の測距センサ６により検出された値よりセンサ部５（測距センサ６）に対して離れている場合（ステップ１０５のＹＥＳ）、オクルージョン判定部１５により特徴点３２が隠れていると判定される（ステップ１０６）。また位置情報選択部１７により、特徴点３２の第２の位置情報が選択される（ステップ１０８）。

また特徴点の機械学習により推定された値が、測距センサ６により検出された値よりセンサ部５に対して離れていない場合（ステップ１０５のＮＯ）、オクルージョン判定部１５により特徴点が隠れていないと判定される（ステップ１０７）。
また位置情報選択部１７により、特徴点の第２の位置情報が選択される（ステップ１０８）。なお、位置情報が選択されるステップは限定されない。例えば、ステップ１０７のオクルージョン判定部１５により特徴点が隠れていないと判定された場合、ステップ１０４の第１の位置情報が選択されてもよい。

図５は、位置情報の選択とオクルージョンの判定との具体例を示す表である。図５では、ステップ１０３及び１０５の具体的な判定例が図示される。
ここで設定された閾値をｔと記載する。また測距センサ６により検出される特徴点のＺ座標の値を測距センサの値と記載する。また機械学習により推定された特徴点のＺ座標の値を機械学習推定値と記載する。なお、閾値は任意に設定されてもよい。例えば、子供の手の大きさを考慮して閾値が設定されてもよい。

特徴点における機械学習推定値と測距センサの値との差分の絶対値が閾値ｔ以下の場合、位置情報選択部１７により第１の位置情報が選択される。またオクルージョン判定部１５により特徴点隠れていないと判定される。
特徴点における機械学習推定値と測距センサの値との差分の絶対値が閾値ｔより大きい場合、位置情報選択部１７により第２の位置情報が選択される。またオクルージョン判定部１５により特徴点が隠れていると判定される。
特徴点における機械学習推定値が測距センサの値よりも大きく、かつ機械学習推定値と測距センサの値との差分の絶対値が閾値ｔより大きい場合、位置情報選択部１７により第２の位置情報が選択される。またオクルージョン判定部１５により特徴点が隠れていると判定される。
特徴点における機械学習推定値が測距センサの値よりも小さく、かつ機械学習推定値と測距センサの値との差分の絶対値が閾値ｔより大きい場合、位置情報選択部１７により第２の位置情報が選択される。またオクルージョン判定部１５により特徴点が隠れていないと判定される。
なお、特徴点のオクルージョン判定の基準は限定されない。例えば、画像認識や機械学習等により特徴点のオクルージョンが判定されてもよい。また「より大きい」は、「以上」を含んでもよい。また「より小さい」は、「以下」及び「未満」を含んでもよい。またオクルージョンの判定基準は「より大きい」「より小さい」「以上」「以下」「未満」が任意に組み合わされてもよい。
なお、位置情報の選択に用いられる閾値と、特徴点のオクルージョン判定の基準に用いられる閾値とが異なっていてもよい。

図６は、対象部位２の状態の判定を行うフローチャートである。図６では、図３に示すフローチャートのステップ１０１〜１０８の説明を簡略化する。
オクルージョン判定部１５により特徴点が隠れていると判定された場合（ステップ１０６）、状態判定部１６により対象部位２の状態情報が判定される（ステップ２０１）。本実施形態では、対象部位２である手の状態情報が判定される。

図７は、対象部位２の状態の判定及び結果の具体例を示す表である。図８は、対象部位２の状態の一例を示す模式図である。図９は、対象部位２の状態の一例を示す模式図である。

図８Ａに示すように、特徴点推定部１１により手４０の親指４１と人差し指４２に特徴点が推定される。図８Ａの左図では、親指４１と人差し指４２とが離れている状態である。ここで手を回転させ、センサ部５から見た手が図８Ａの右図になったとする。すなわち、センサ部５からは親指４１と人差し指４２とが隠れている状態である。この場合、状態判定部１６により手が予め指定した形状と判定される。または手４０が図８Ａの左図の形状（過去の状態）をキープ（維持）していると判定される。
例えば、図８Ｂの左図では、手４５の親指４６と人差し指４７とが接触している状態である。ここで図８Ａと同様に手を回転させ、センサ部５からは親指４６と人差し指４７とが隠れている状態となったとする。状態判定部１６は、手４５が親指４６と人差し指４７とが接触している状態と判定する。すなわち、手４５が図８Ｂの左図の形状をキープしていると判定される。
またこれ以外にも、所定の特徴点が隠れた場合に、手の形状を予め指定した形状として判定されてもよい。これにより、信頼性の低い隠れた特徴点を用いることでの誤動作を抑制できる。

また本実施形態では、隠れている特徴点の数や特徴点に対応する対象部位２の箇所に応じて、手の状態が判定される。例えば、関節と手中心との特徴点が隠れている場合、状態判定部１６により手が物体を把持していると判定される。また例えば、所定の特徴点の１つ又は複数が隠れている場合、状態判定部１６により手が物体を把持していると判定される。
図９Ａは、手５０が物体５１を把持している状態の模式図である。
図９Ａに示すように、親指の先端、親指の関節、人差し指の先端、中指の先端、薬指の先端、及び小指の先端における隠れていない特徴点５２と、人差し指の関節、中指の関節、薬指の関節、小指の関節、及び手中心における隠れている特徴点５３とが図示される。
例えば、センサ部５の検出結果により物体５１がオブジェクト認識され、かつ関節と手中心との特徴点が隠れている場合、状態判定部１６により手５０が物体５１を把持していると判定される。
また例えば、センサ部５の検出結果により物体５１がオブジェクト認識され、かつ所定の特徴点が隠れている場合、状態判定部１６により手５０が物体５１を把持していると判定される。
なお、物体５１の認識方法は限定されない。例えば、機械学習等で物体５１がオブジェクト認識されてもよい。

図９Ｂは、手５５が所定の形状の状態の模式図である。なお、図９Ｂでは、親指の第１関節や中指の第１関節等の特徴点が省略されている。
図９Ｂに示すように、手５５の形状は人差し指を伸ばし、その他の指を閉じている状態である。なお、この手５５の形状をポインティング形状と記載する。
図９Ｂでは、オクルージョン判定部１５により親指の先端５６、中指の先端５７、薬指の先端５８、及び小指の先端５９の特徴点が隠れていると判定される。状態判定部１６により隠れている特徴点がある状態と判定される。この場合、状態判定部１６により判定結果がコマンド実行部１８に出力される。コマンド実行部１８により隠れている特徴点に対応する指の種々の入力が行われないように制御される。すなわち、手５５の形状がポインティング形状の場合、突出している人差し指の入力のみが受け付けられる。
例えば、コマンド実行部１８は、親指の先端５６、中指の先端５７、薬指の先端５８、及び小指の先端５９の表示物３を触れるタッチ操作等の入力を受け付けないようにすることが可能である。これにより、隠れた特徴点に対応する対象部位２の誤操作を防ぐことが可能となる。
また状態判定部１６により指定した指の特徴点が隠れているため、隠れている指に応じた形状と判定される。例えば、人差し指の先端及び中指の先端以外の指の先端の特徴点が隠れていると判定された場合、手がピースサイン（人差し指及び中指のみが伸びている状態）と判定される。これにより、信頼性の低い隠れた特徴点の誤タッチを防ぐことができる。また対象部位２の簡単に形状を判断できる。

以上、本実施形態に係る情報処理装置１０は、身体に含まれる対象部位２に対してセンサ部５により検出される第１の位置情報７と、対象部位２に対して機械学習により推定される第２の位置情報８との差分に基づいて、第１の位置情報７又は第２の位置情報８が選択される。これにより、対象部位を高精度に認識することが可能となる。

機械学習による３次元座標系の特徴点の検出において、測距センサから得られる距離情報が機械学習で求めたＺ値より精度が良い場合がある。機械学習の場合、隠れている場所の特徴点を推定することが可能である。しかし、学習データに対する期待値が求まるため、学習データが少ない場合や分布に偏りがある場合に、機械学習の結果が正確ではない場合がある。
一方で、測距センサから得られる距離情報は、見えている表面であれば正確に求められる。しかし、隠れている場所の特徴点に対しては測定ができない。また太陽光や特徴のないパターン等の影響で正確に距離情報が得られない可能性がある。

そこで、本技術では、測距センサにより検出される第１の位置情報と、前記対象部位に対して機械学習により推定される第２の位置情報との差分に基づいて、第１の位置情報又は第２の位置情報を選択する。これにより、対象部位を高精度に認識することが可能となる。また１つのセンサ部による同視点の検出においても、オクルージョン等に頑健な認識を可能とする。

＜その他の実施形態＞
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

上記の実施形態では、オクルージョン判定部１５により特徴点のオクルージョンの有無が判定された。これに限定されず、特徴点のオクルージョンの判定は任意の方法が採用されてもよい。例えば、手の形状から予め登録されたルールベースにより特徴点のオクルージョンの有無が判定されてもよい。また機械学習を用いて特徴点のオクルージョンの有無が判定されてもよい。
また上記の実施形態では、オクルージョン判定部１５により特徴点のオクルージョンの有無が判定された後に、位置情報選択部１７により第２の位置情報が選択された。これに限定されず、特徴点のオクルージョンの有無が判定されなくてもよい。

図１０は、位置情報が選択される方法の他の例を示すフローチャートである。

特徴点推定部１１により、センサ部５から得られた検出結果に基づいて、機械学習により特徴点が推定される（ステップ３０１）。また推定された特徴点における第２の位置情報が生成される。
第１の位置情報生成部１２により、推定された各特徴点における第１の位置情報が生成される（ステップ３０２）。

信頼度判定部１４により、第１の位置情報の信頼度が所定の閾値より大きいかが判定される（ステップ３０３）。
対象部位２の第１の位置情報が検出される際に測距センサ６としてＴＯＦが用いられたとする。この場合、信頼度判定部１４は、照度計の値に基づいて、第１の位置情報の信頼度を判定する。例えば、照度計の値が高い場合、第１の位置情報の信頼度が低く判定される。
対象部位２の第１の位置情報が検出される際に測距センサ６としてパッシブステレオが用いられたとする。この場合、信頼度判定部１４は、予め設定された領域ごとの輝度のヒストグラムに基づいて、第１の位置情報の信頼度を判定する。もしくは、信頼度判定部１４は、所定の領域のパターンに対して行われたパターンマッチングに基づいて、第１の位置情報の信頼度を判定する。例えば、パターンマッチングにより対象部位２に似た物体があったと判定された場合に、第１の位置情報の信頼度が高く判定される。
対象部位２の第１の位置情報が検出される際に測距センサ６としてアクティブステレオが用いられたとする。この場合、信頼度判定部１４は、予め設定された領域ごとの輝度のヒストグラムに基づいて、第１の位置情報の信頼度を判定する。もしくは、信頼度判定部１４は、所定の領域のパターンに対して行われたパターンマッチングに基づいて、第１の位置情報の信頼度を判定する。例えば、パターンマッチングにより対象部位２に似た物体があったと判定された場合に、第１の位置情報の信頼度が高く判定される。
なお、第１の位置情報の信頼度の判定方法は限定されない。例えば、濃淡や色の輝度値に基づいて、信頼度が判定されてもよい。

第１の位置情報の信頼度が所定の閾値より小さい場合（ステップ３０３のＮＯ）、位置情報選択部１７により、特徴点の第２の位置情報が選択される（ステップ３０５）。
第１の位置情報の信頼度が所定の閾値より大きい場合（ステップ３０３のＹＥＳ）、特徴点比較部１３により、特徴点における第１の位置情報と第２の位置情報とが比較される（ステップ３０４）。
特徴点における第１の位置情報と第２の位置情報との差分が設定した閾値より大きい場合（ステップ３０４のＹＥＳ）、位置情報選択部１７により、特徴点の第２の位置情報が選択される（ステップ３０５）。
特徴点における第１の位置情報と第２の位置情報との差分が設定した閾値より小さい場合（ステップ３０４のＮＯ）、位置情報選択部１７により、特徴点の第２の位置情報が選択される（ステップ３０６）。

なお、閾値は任意に設定されてもよい。例えば、センサ部５の性能や周囲の環境に基づいて設定されてもよい。また閾値が設定されなくてもよい。例えば、上記の信頼度が低くなる要因が検出された場合に、ステップ３０３のＮＯの処理が実行されてもよい。もちろん信頼度が低くなる要因が検出されない場合は、ステップ３０３のＹＥＳの処理が実行されてもよい。

上記の実施形態では、センサ部５（測距センサ６）が対象部位２に対してＺ軸方向上に配置された。これに限定されず、センサ部５は任意に配置されてもよい。この場合、例えば、対象部位２の特徴点における第２の位置情報がセンサ部５の測定方向に応じた座標値に射影変換等が実行されてもよい。またセンサ部５とテーブル２５が正対していない等の座標系が異なる場合、回転行列や並進ベクトル等が用いられ計算されてもよい。例えば、テーブル２５の天面２６に垂直な法線ベクトルとセンサ部５の測定方向のベクトルとを一致させるために計算されてもよい。もちろんこれ以外にも回転ベクトル、並進行列、クォータニオン（４元数）、オイラー角等が用いられて計算されてもよい。

上記の実施形態では、対象部位２の形状が特徴点のオクルージョンの有無により判定された。これに限定されず、任意の方法で対象部位２の形状が判定されてもよい。例えば対象部位２が手の場合、手のテクスチャから突端を指先として、突端の数から予め登録されたルールベースにより形状が認識されてもよい。また骨格推定が実行されてもよい。骨格推定は、ボーン推定やスケルトン推定ともいわれ、周知の技術を用いて実行可能である。

上記の実施形態では、第１の位置情報の信頼度が判定された。これに限定されず、第２の位置情報の信頼度が判定されてもよい。例えば、機械学習の学習データが少ない場合に、第２の位置情報の信頼度が低く判定されてもよい。また例えば、機械学習により推定された値が実際の値に対して分布に偏りがある場合に、第２の位置情報の信頼度が低く判定されてもよい。

上記の実施形態では、特徴点のＸＹ座標に基づいて、測距センサ６により検出されたＺ座標の座標値と機械学習により推定されたＺ座標の座標値とが比較された。これに限定されず、機械学習により推定された特徴点に対して所定の範囲内の測距センサ６により検出されたＺ座標の座標値と、機械学習により推定されたＺ座標の座標値とが比較されてもよい。

上記の実施形態では、表示物３がプロジェクタ２０により表示された。これに限定されず、表示物３を表示するデバイスは、タッチパネル式のディスプレイであってもよいし、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro-Luminescence）ディスプレイなどであってもよい。

上記の実施形態では、物体認識システム１００には上方プロジェクション型の形態が用いられた。これに限定されず、プロジェクタ２０がテーブル２５の下方から表示物を照射することで、テーブル２５の天面２６に表示物３が表示されてもよい。この場合、テーブル２５の天面２６は、ガラス板やプラスチック板等の半透明な材質によって形成されてもよい。このような、プロジェクタ２０がテーブル２５の下方から表示物を照射することで、テーブル２５の天面２６に表示物３が表示される方式をリアプロジェクション型とも称する。

図１１は、情報処理装置１０のハードウェア構成例を示すブロック図である。

情報処理装置１０は、ＣＰＵ６１、ＲＯＭ（Read Only Memory）６２、ＲＡＭ６３、入出力インタフェース６５、及びこれらを互いに接続するバス６４を備える。入出力インタフェース６５には、表示部６６、入力部６７、記憶部６８、通信部６９、及びドライブ部７０等が接続される。

表示部６６は、例えば液晶、ＥＬ等を用いた表示デバイスである。入力部６７は、例えばキーボード、ポインティングデバイス、タッチパネル、その他の操作装置である。入力部６７がタッチパネルを含む場合、そのタッチパネルは表示部６６と一体となり得る。

記憶部６８は、不揮発性の記憶デバイスであり、例えばＨＤＤ、フラッシュメモリ、その他の固体メモリである。ドライブ部７０は、例えば光学記録媒体、磁気記録テープ等、リムーバブルの記録媒体７１を駆動することが可能なデバイスである。

通信部６９は、ＬＡＮ、ＷＡＮ等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部６９は、有線及び無線のどちらを利用して通信するものであってもよい。通信部６９は、情報処理装置１０とは別体で使用される場合が多い。
本実施形態では、通信部６９により、ネットワークを介した他の装置との通信が可能となる。

上記のようなハードウェア構成を有する情報処理装置１０による情報処理は、記憶部６８またはＲＯＭ６２等に記憶されたソフトウェアと、情報処理装置１０のハードウェア資源との協働により実現される。具体的には、ＲＯＭ６２等に記憶された、ソフトウェアを構成するプログラムをＲＡＭ６３にロードして実行することにより、本技術に係る情報処理方法が実現される。

プログラムは、例えば記録媒体６１を介して情報処理装置１０にインストールされる。あるいは、グローバルネットワーク等を介してプログラムが情報処理装置１０にインストールされてもよい。その他、コンピュータ読み取り可能な非一過性の任意の記憶媒体が用いられてよい。

通信端末に搭載されたコンピュータとネットワーク等を介して通信可能な他のコンピュータとが連動することにより本技術に係る情報処理装置、情報処理方法、及びプログラムが実行され、本技術に係る情報処理装置が構築されてもよい。

すなわち本技術に係る情報処理装置、情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお、本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。

コンピュータシステムによる本技術に係る情報処理装置、情報処理方法、及びプログラムの実行は、例えば、位置情報の生成、特徴点の比較、及び位置情報の選択等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部又は全部を他のコンピュータに実行させその結果を取得することを含む。

すなわち本技術に係る情報処理装置、情報処理方法、及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。

各図面を参照して説明した信頼度判定部、オクルージョン判定部、状態判定部、位置情報選択部等の各構成、通信システムの制御フロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。

なお、本開示中に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。上記の複数の効果の記載は、それらの効果が必ずしも同時に発揮されるということを意味しているのではない。条件等により、少なくとも上記した効果のいずれかが得られることを意味しており、もちろん本開示中に記載されていない効果が発揮される可能性もある。

以上説明した各形態の特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。

本開示において、「中心」「中央」「均一」「等しい」「同じ」「直交」「平行」「対称」「延在」「軸方向」「円柱形状」「円筒形状」「リング形状」「円環形状」等の、形状、サイズ、位置関係、状態等を規定する概念は、「実質的に中心」「実質的に中央」「実質的に均一」「実質的に等しい」「実質的に同じ」「実質的に直交」「実質的に平行」「実質的に対称」「実質的に延在」「実質的に軸方向」「実質的に円柱形状」「実質的に円筒形状」「実質的にリング形状」「実質的に円環形状」等を含む概念とする。

例えば「完全に中心」「完全に中央」「完全に均一」「完全に等しい」「完全に同じ」「完全に直交」「完全に平行」「完全に対称」「完全に延在」「完全に軸方向」「完全に円柱形状」「完全に円筒形状」「完全にリング形状」「完全に円環形状」等を基準とした所定の範囲（例えば±１０％の範囲）に含まれる状態も含まれる。

なお、本技術は以下のような構成も採ることができる。
（１）
身体に含まれる対象部位に対して測距センサにより検出される第１の位置情報と、前記対象部位に対して機械学習により推定される第２の位置情報との差分に基づいて、前記第１の位置情報又は前記第２の位置情報を選択する選択部
を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
前記選択部は、前記第１の位置情報と前記第２の位置情報との差分が所定の閾値より大きい場合、前記第２の位置情報を選択する
情報処理装置。
（３）（１）又は（２）に記載の情報処理装置であって、
前記第１の位置情報及び前記第２の位置情報の各々は、前記測距センサの位置に基づいて規定される方向における位置情報である
情報処理装置。
（４）（１）から（３）のうちいずれか１つに記載の情報処理装置であって、
前記第１の位置情報及び前記第２の位置情報の各々は、前記測距センサの測定方向における位置情報である
情報処理装置。
（５）（１）から（４）のうちいずれか１つに記載の情報処理装置であって、
前記第１の位置情報及び前記第２の位置情報の各々は、３次元座標系を構成する第１の座標軸における座標値である
情報処理装置。
（６）（１）から（５）のうちいずれか１つに記載の情報処理装置であって、さらに、
センサの検出結果により得られた前記対象部位を特定するための特定情報を取得するための取得部を具備し、
前記選択部は、取得された前記特定情報に基づいて、前記第１の位置情報及び前記第２の位置情報の少なくとも一方を取得する
情報処理装置。
（７）（６）に記載の情報処理装置であって、
前記特定情報は、前記３次元座標系を構成する、前記第１の座標軸とは異なる第２の座標軸及び第３の座標軸の各々における前記対象部位の座標値である
情報処理装置。
（８）（１）から（７）のうちいずれか１つに記載の情報処理装置であって、さらに、
前記第１の位置情報及び前記第２の位置情報に基づいて、前記対象部位に関してオクルージョンの有無を判定するオクルージョン判定部を具備する
情報処理装置。
（９）（８）に記載の情報処理装置であって、
前記オクルージョン判定部は、前記第１の位置情報と前記第２の位置情報との差分に基づいて、前記オクルージョンの有無を判定する
情報処理装置。
（１０）（８）又は（９）に記載の情報処理装置であって、
前記オクルージョン判定部は、前記第１の位置情報と前記第２の位置情報との差分が所定の閾値より大きい場合、前記オクルージョンが発生していると判定する
情報処理装置。
（１１）（８）から（１０）のうちいずれか１つに記載の情報処理装置であって、
前記オクルージョン判定部は、前記測距センサの位置を基準として、前記第１の位置情報よりも前記第２の位置情報の方が大きい場合に、前記オクルージョンが発生していると判定する
情報処理装置。
（１２）（８）から（１１）のうちいずれか１つに記載の情報処理装置であって、さらに、
前記オクルージョン判定部の判定結果に基づいて、前記対象部位の状態に関する状態情報を判定する状態判定部を具備する
情報処理装置。
（１３）（１２）に記載の情報処理装置であって、
前記状態情報は、前記対象部位の動作及び前記対象部位の形状を含む
情報処理装置。
（１４）（１２）又は（１３）に記載の情報処理装置であって、
前記状態判定部は、前記対象部位に関する所定の特徴点にオクルージョンが発生していると判定された場合、前記状態情報を判定する
情報処理装置。
（１５）（１）から（１４）のうちいずれか１つに記載の情報処理装置であって、さらに、
前記測距センサにより検出される前記第１の位置情報の信頼度を判定する信頼度判定部を具備する
情報処理装置。
（１６）（１５）に記載の情報処理装置であって、
前記信頼度判定部は、前記第１の位置情報と前記第２の位置情報との差分に基づいて、前記第１の位置情報の信頼度を判定する
情報処理装置。
（１７）（１５）又は（１６）に記載の情報処理装置であって、
前記選択部は、前記第１の位置情報の前記信頼度が所定の閾値より低い場合、前記第２の位置情報を選択する
情報処理装置。
（１８）（１）から（１７）のうちいずれか１つに記載の情報処理装置であって、
前記対象部位は、手を含む
情報処理装置。
（１９）
身体に含まれる対象部位に対して測距センサにより検出される第１の位置情報と、前記対象部位に対して機械学習により推定される第２の位置情報との差分に基づいて、前記第１の位置情報又は前記第２の位置情報を選択する
ことをコンピュータシステムが実行する情報処理方法。
（２０）
体に含まれる対象部位に対して測距センサにより検出される第１の位置情報と、前記対象部位に対して機械学習により推定される第２の位置情報との差分に基づいて、前記第１の位置情報又は前記第２の位置情報を選択するステップ
をコンピュータシステムに実行させるプログラム。

２…対象部位
５…センサ部
１０…情報処理装置
１１…特徴点推定部
１４…信頼度判定部
１５…オクルージョン判定部
１６…状態判定部
１７…位置情報選択部
１００…情報選択システム

Claims (20)

1. 身体に含まれる対象部位に対して測距センサにより検出される第１の位置情報と、前記対象部位に対して機械学習により推定される第２の位置情報との差分に基づいて、前記第１の位置情報又は前記第２の位置情報を選択する選択部
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記選択部は、前記第１の位置情報と前記第２の位置情報との差分が所定の閾値より大きい場合、前記第２の位置情報を選択する
   情報処理装置。
3. 請求項１に記載の情報処理装置であって、
   前記第１の位置情報及び前記第２の位置情報の各々は、前記測距センサの位置に基づいて規定される方向における位置情報である
   情報処理装置。
4. 請求項１に記載の情報処理装置であって、
   前記第１の位置情報及び前記第２の位置情報の各々は、前記測距センサの測定方向における位置情報である
   情報処理装置。
5. 請求項１に記載の情報処理装置であって、
   前記第１の位置情報及び前記第２の位置情報の各々は、３次元座標系を構成する第１の座標軸における座標値である
   情報処理装置。
6. 請求項１に記載の情報処理装置であって、さらに、
   センサの検出結果により得られた前記対象部位を特定するための特定情報を取得するための取得部を具備し、
   前記選択部は、取得された前記特定情報に基づいて、前記第１の位置情報及び前記第２の位置情報の少なくとも一方を取得する
   情報処理装置。
7. 請求項６に記載の情報処理装置であって、
   前記特定情報は、前記３次元座標系を構成する、前記第１の座標軸とは異なる第２の座標軸及び第３の座標軸の各々における前記対象部位の座標値である
   情報処理装置。
8. 請求項１に記載の情報処理装置であって、さらに、
   前記第１の位置情報及び前記第２の位置情報に基づいて、前記対象部位に関してオクルージョンの有無を判定するオクルージョン判定部を具備する
   情報処理装置。
9. 請求項８に記載の情報処理装置であって、
   前記オクルージョン判定部は、前記第１の位置情報と前記第２の位置情報との差分に基づいて、前記オクルージョンの有無を判定する
   情報処理装置。
10. 請求項８に記載の情報処理装置であって、
    前記オクルージョン判定部は、前記第１の位置情報と前記第２の位置情報との差分が所定の閾値より大きい場合、前記オクルージョンが発生していると判定する
    情報処理装置。
11. 請求項８に記載の情報処理装置であって、
    前記オクルージョン判定部は、前記測距センサの位置を基準として、前記第１の位置情報よりも前記第２の位置情報の方が大きい場合に、前記オクルージョンが発生していると判定する
    情報処理装置。
12. 請求項８に記載の情報処理装置であって、さらに、
    前記オクルージョン判定部の判定結果に基づいて、前記対象部位の状態に関する状態情報を判定する状態判定部を具備する
    情報処理装置。
13. 請求項１２に記載の情報処理装置であって、
    前記状態情報は、前記対象部位の動作及び前記対象部位の形状を含む
    情報処理装置。
14. 請求項１２に記載の情報処理装置であって、
    前記状態判定部は、前記対象部位に関する所定の特徴点にオクルージョンが発生していると判定された場合、前記状態情報を判定する
    情報処理装置。
15. 請求項１に記載の情報処理装置であって、さらに、
    前記測距センサにより検出される前記第１の位置情報の信頼度を判定する信頼度判定部を具備する
    情報処理装置。
16. 請求項１５記載の情報処理装置であって、
    前記信頼度判定部は、前記第１の位置情報と前記第２の位置情報との差分に基づいて、前記第１の位置情報の信頼度を判定する
    情報処理装置。
17. 請求項１５に記載の情報処理装置であって、
    前記選択部は、前記第１の位置情報の前記信頼度が所定の閾値より低い場合、前記第２の位置情報を選択する
    情報処理装置。
18. 請求項１に記載の情報処理装置であって、
    前記対象部位は、手を含む
    情報処理装置。
19. 身体に含まれる対象部位に対して測距センサにより検出される第１の位置情報と、前記対象部位に対して機械学習により推定される第２の位置情報との差分に基づいて、前記第１の位置情報又は前記第２の位置情報を選択する
    ことをコンピュータシステムが実行する情報処理方法。
20. 体に含まれる対象部位に対して測距センサにより検出される第１の位置情報と、前記対象部位に対して機械学習により推定される第２の位置情報との差分に基づいて、前記第１の位置情報又は前記第２の位置情報を選択するステップ
    をコンピュータシステムに実行させるプログラム。

Images