JP2023151420A - 情報処理装置、情報処理システム、および情報処理方法 - Google Patents

Abstract

【課題】ユーザにとって操作しやすい仮想操作領域を設定する。【解決手段】本開示の情報処理装置は、ユーザを撮像した画像を取得し、画像に基づいてユーザの腕部分を検出して、検出したユーザの腕部分の位置及びユーザの腕部分の長さに基づいて、機器への操作を受け付ける仮想操作領域を設定して、画像に基づいて、ユーザの指先と、仮想操作領域との位置関係に基づいて機器を操作する。【選択図】図５

Description

本開示は、情報処理装置、情報処理システム、および情報処理方法に関する。

従来、様々な機器において、ユーザの手の動きを検出して、ユーザの手の動きに応じて動作制御するものがある（例えば、特許文献１参照）。例えば、ディスプレイなどの操作対象について、ユーザがディスプレイに直接触れることなく、ユーザの手の動きに応じてディスプレイで表示している内容を変更する。

特開２０１８－３２０５５号公報

上記のような技術において、ユーザの選択操作等を特定するための仮想操作領域を設定することが考えられる。このような仮想操作領域は、ユーザにとって操作しやすいように設定されることが望まれる。

本開示は、ユーザにとって操作しやすい仮想操作領域を設定することができる情報処理装置を提供する。

本開示に係る情報処理装置では、ユーザを撮像した画像を取得する画像取得部と、画像に基づいてユーザの腕部分を検出する検出部と、検出部により検出されたユーザの腕部分の位置およびユーザの腕部分の長さに基づいて、機器への操作を受け付ける仮想操作領域を設定する設定部と、画像に基づいて、ユーザの指先と、仮想操作領域との位置関係に基づいて機器を操作する操作部と、を備える。

本開示に係る情報処理装置によれば、ユーザにとって操作しやすい仮想操作領域を設定することができることができる。

図１は、情報処理装置の例を示す図である。 図２Ａは、上面から見た操作指示の例を示す図である。 図２Ｂは、側面から見た操作指示の例を示す図である。 図３Ａは、検出範囲の例を示す図である。 図３Ｂは、各エリアの検出可否を示す表である。 図４Ａは、誤検出の一例を示す図である。 図４Ｂは、誤検出の別の例を示す図である。 図５は、第１の実施形態にかかる情報処理装置の機能構成を示すブロック図である。 図６Ａは、上面から見たタッチ判定面を示す図である。 図６Ｂは、側面から見たタッチ判定面を示す図である。 図７Ａは、上面から見たタッチ判定面を示す図である。 図７Ｂは、側面から見たタッチ判定面を示す図である。 図８Ａは、上面から見たタッチ判定面を示す図である。 図８Ｂは、側面から見たタッチ判定面を示す図である。 図９Ａは、上面から見たタッチ判定面を示す図である。 図９Ｂは、側面から見たタッチ判定面を示す図である。 図１０Ａは、上面から見た検出有効領域を示す図である。 図１０Ｂは、側面から見た検出有効領域を示す図である。 図１１は、第２の実施形態にかかる処理手順を示すフローチャートである。 図１２は、第２の実施形態にかかる制御装置による効果を示す図である。 図１３は、複数ユーザのそれぞれのタッチ判定面を設定する例を示す図である。 図１４は、第３の実施形態にかかる処理手順を示すフローチャートである。 図１５は、第４の実施形態にかかる画像除去の例を説明するための図である。 図１６Ａは、第４の実施形態にかかる画像除去の例を説明するための図である。 図１６Ｂは、第４の実施形態にかかる画像除去の例を説明するための図である。 図１７は、第４の実施形態にかかる処理手順を示すフローチャートである。 図１８は、変形例にかかるセンサの配置位置を示す図である。 図１９は、変形例にかかるセンサの配置位置を示す図である。 図２０は、変形例にかかるセンサの配置位置を示す図である。 図２１は、変形例にかかるディスプレイの例を示す図である。 図２２は、複数機器のタッチ判定面の例を示す図である。 図２３は、複数機器のタッチ判定面の例を示す図である。 図２４Ａは、左腕に基づくタッチ判定面を示す図である。 図２４Ｂは、右腕に基づくタッチ判定面を示す図である。 図２５Ａは、両腕に基づく検出有効領域を示す図である。 図２５Ｂは、両腕に基づく検出有効領域を示す図である。

以下、図面を参照しながら、本開示に係る情報処理装置の実施形態について説明する。

（第１の実施形態）
第１の実施形態にかかる情報処理装置について説明する前に、ユーザの腕部分の動きに基づいて動作する装置について説明する。

図１に、ユーザの腕部分の動きに基づいて動作する情報処理装置の例を示す。情報処理装置は、センサ５００と、ディスプレイ６００とを有する。センサ５００は、例えば、カメラである。センサ５００は、ユーザＵＲを撮像し続ける。ユーザＵＲは、腕７１を有する。ここで、腕７１は、上腕、前腕だけでなく手も含む。手は、指先７２も含む。情報処理装置は、ユーザＵＲの指先７２の位置に基づいて、ディスプレイ６００に表示しているデータを制御する。

情報処理装置は、機器（例えば、ディスプレイ６００）への操作を受け付けるタッチ判定面ＡＲ１００と、ユーザＵＲの指先７２の動きを検出する領域である検出有効領域ＡＲ２００とを設定している。この例では、タッチ判定面ＡＲ１００は、ディスプレイ６００の表示面と平行な平面として設定される。

指先７２がタッチ判定面ＡＲ１００よりもディスプレイ６００に近い範囲に入ると、情報処理装置は、情報処理装置への操作指示がされたと検知して、当該操作指示に基づく処理を実行し、実行結果をディスプレイ６００へ表示する。

続いて、図２Ａおよび図２Ｂに、ユーザＵＲにより情報処理装置の操作指示がされる例について、説明する。図２Ａは、上面から見たユーザＵＲの操作例を示す図であり、図２Ｂは、側面から見たユーザＵＲの操作例を示す図である。

図２Ａおよび図２Ｂに示すように、指先７２がタッチ判定面ＡＲ１００の範囲に入る（言い換えると、指先７２がタッチ判定面ＡＲ１００よりディスプレイ６００寄りに位置する）と、情報処理装置は、ディスプレイ６００の所定の場所をタッチしたものと判定する。タッチ判定面ＡＲ１００は、ディスプレイ６００への操作を受け付ける領域である。以下、情報処理装置が、ユーザＵＲの指先７２がディスプレイ６００の所定の場所をタッチしたものと判定することを、タッチ検出と呼ぶことがある。また、情報処理装置は、ユーザＵＲが軌跡ＴＲＫに沿って、指先７２をタッチ判定面ＡＲ１００から離れる方向に移動させると、情報処理装置１００は、ディスプレイ６００の所定の場所をタッチしていた状態からリリースした状態に遷移したと判定する。

続いて、図３Ａおよび図３Ｂを用いて、ユーザＵＲが指先７２を動作させることが可能な範囲と、タッチ判定面ＡＲ１００と、検出有効領域ＡＲ２００との関係を示す。なお、この例では車両に搭載されているディスプレイ６００を想定しており、ユーザＵＲが右側の座席に着席していることを想定している。そのため、ユーザＵＲは図において右寄りに位置している。ここで、検出有効領域ＡＲ２００においては、ユーザＵＲの指検出が可能である。指検出とは、ユーザＵＲの指が存在している位置を検出することである。検出有効領域ＡＲ２００にユーザＵＲの指が位置すると、指検出が可能となる。

図３Ａに示すように、ユーザＵＲが指先７２を動作させることが可能な範囲は、領域ＡＲ３００と、領域ＡＲ４００と、領域ＡＲ５００とを合わせた範囲である。

領域ＡＲ３００は、ユーザＵＲが指先７２を動作させることが可能な範囲のうち、タッチ判定面ＡＲ１００よりもディスプレイ６００に近い範囲に位置する領域である。そのため、図３Ｂに示すように、情報処理装置１００は、領域ＡＲ３００においてタッチ検出および指検出が可能である。

領域ＡＲ４００は、ユーザＵＲが指先７２を動作させることが可能な範囲のうち、タッチ判定面ＡＲ１００よりもディスプレイ６００から遠い範囲に位置するが、検出有効領域ＡＲ２００に含まれる領域である。よって、領域ＡＲ４００は、図３Ｂに示すように、タッチ検出はできないが、指検出ができる領域となる。

領域ＡＲ５００は、ユーザＵＲが指先７２を動作させることが可能な範囲のうち、タッチ判定面ＡＲ１００よりもディスプレイ６００から遠い範囲に位置し、検出有効領域ＡＲ２００にも含まれない領域である。よって、領域ＡＲ５００は、図３Ｂに示すように、タッチ検出も指検出もできない領域となる。

図３Ａに示す例では、ユーザＵＲが指先７２を動作させることが可能な範囲のうち、タッチ検出が可能となる領域、つまりユーザＵＲがディスプレイ６００を操作可能な範囲が少ないという問題点がある。

この問題点を解消する方法として、タッチ判定面ＡＲ１００をユーザＵＲの位置に近づける方法が考えられる。以下では、タッチ判定面ＡＲ１００よりもディスプレイ６００に近い範囲のことを、タッチ検出が可能な範囲と呼ぶことがある。

ここで、図４Ａおよび図４Ｂにタッチ判定面ＡＲ１００をユーザＵＲの位置に近づけた例を示す。タッチ判定面ＡＲ１００をユーザＵＲの位置に近づけると、図４Ａに示すように、タッチ検出が可能な範囲にユーザＵＲの指先７２が届きやすくなる。一方で、例えばユーザＵＲの膝など、ユーザＵＲの指先７２以外の部分がタッチ検出可能な範囲に入ってしまい、情報処理装置がユーザＵＲの指先７２以外の部分の動きをタッチ操作として誤検出してしまう可能性がある。また、図４Ｂに示すように、ユーザＵＲがスマートフォンＳＰを操作している等、ディスプレイ６００に対する操作をする意思が無いにも関わらず、情報処理装置が、ユーザＵＲの指先７２の動きをタッチ操作として誤検出してしまう可能性がある。

このように、タッチ判定面ＡＲ１００を単純にユーザＵＲに近づけても、誤検出につながってしまう可能性がある。そこで、第１の実施形態にかかる情報処理装置は、ユーザＵＲにとって操作しやすい仮想操作領域を設定するものである。

図５は、第１の実施形態にかかる情報処理装置である制御装置１を含む情報システムの概要構成を示す図である。第１の実施形態にかかる情報処理装置は、センサ５０と、制御装置１と、ディスプレイ６０とを備える。

センサ５０は、例えば、カメラ装置である。センサ５０は、一例として、可視光カメラである。センサ５０は、ユーザＵＲを撮像した画像を制御装置１へ出力する。なお、センサ５０は、可視光カメラに限らず、例えば、ＣＣＤカメラまたはＣＭＯＳカメラであってもよい。センサ５０は、撮像部の一例である。センサ５０は、継続して撮像処理を実行して、画像を制御装置１へ出力する。

ディスプレイ６０は、各種データを表示する表示部である。ディスプレイ６０は、機器の一例である。

制御装置１は、ユーザＵＲの指先７２の動きに応じてディスプレイ６０に表示しているデータの処理を実行する。

制御装置１は、制御部１０および記憶部３０を備える。制御部１０は、例えばＣＰＵ（Central Processing Unit）として構成され、制御装置１の各部の動作を統括的に制御する。制御部１０は、画像取得部１１と、画像加工部１２と、ランドマーク抽出部１３と、検出有効領域設定部１４と、タッチ判定面設定部１５と、３Ｄ座標演算部１６と、２Ｄ座標変換部１７と、判定部１８と、機能実行部１９と、表示出力部２０とを備える。

記憶部３０は、各種情報を記憶する。記憶部３０は、メモリまたはストレージのような、情報（言い換えるとデータ）を記憶するためのハードウェアにより実現される。具体的に、記憶部３０は、基準座標情報３１、検出有効領域情報３２、およびタッチ判定面情報３３を記憶する。基準座標情報３１は、センサ５０の設置位置の３Ｄ座標、センサ５０の取付角度の情報、ディスプレイ６０位置の３Ｄ座標等である。検出有効領域情報３２は、検出有効領域を示す座標情報である。検出有効領域とは、ユーザＵＲの指先７２の位置変更を検出する領域である。タッチ判定面情報は、タッチ判定面を示す座標情報である。タッチ判定面とは、ディスプレイ６０への操作を受け付ける領域である。

画像取得部１１は、センサ５０から画像を取得する。画像取得部１１は、画像取得部の一例である。画像加工部１２は、画像取得部１１のうち、ユーザＵＲが撮像されていない領域を除去対象として加工する。ランドマーク抽出部１３は、ユーザＵＲが撮像されている画像からユーザＵＲのランドマーク部分を検出して、当該ランドマークとなる部分を抽出する。ここで、ランドマークとは、ユーザＵＲの目、肩の３次元座標、ユーザの腕部分である。なお、ランドマーク抽出部１３は、ユーザの腕部分の長さを抽出してもよい。また、ランドマーク抽出部１３は、ユーザＵＲの目の位置に基づいたユーザＵＲの視野範囲を示す情報を抽出してもよい。

検出有効領域設定部１４は、検出有効領域を設定し、検出有効領域を示す座標である検出有効領域情報３２を記憶部３０へ登録する。検出有効領域設定部１４が検出有効領域を設定する方法については、後述する。検出有効領域設定部１４は、設定部の一例である。検出有効領域は、検出領域の一例である。

タッチ判定面設定部１５は、タッチ判定面を設定し、タッチ判定面座標を示す座標であるタッチ判定面情報３３を記憶部３０へ登録する。タッチ判定面設定部１５は、設定部の一例である。タッチ判定面設定部１５がタッチ判定面を設定する方法については、後述する。タッチ判定面は、仮想操作領域の一例である。

３Ｄ座標演算部１６は、ユーザＵＲの指先の３次元座標を算出する。２Ｄ座標変換部１７は、ユーザＵＲの指先の３次元座標からディスプレイ６０上の２次元座標へ変換する。

判定部１８は、タッチ判定面と、指先の３次元座標よりタッチの有無および処理内容を判定する。処理内容は、例えば、タッチ、フリック、ドラッグ等である。

機能実行部１９は、判定部１８で判定した結果に基づいて、処理内容を実行する。表示出力部２０は、処理内容を実行した結果をディスプレイ６０へ表示させる。判定部１８、機能実行部１９、および表示出力部２０は、操作部の一例である。

（タッチ判定面設定方法）
続いて、タッチ判定面設定部１５が、タッチ判定面を設定する方法について説明する。まず、図６Ａおよび図６Ｂを用いてタッチ判定面を設定する例について説明する。前提として、画像取得部１１が、ユーザＵＲを含む画像を取得する。そして、ランドマーク抽出部１３は、ユーザＵＲを含む画像から、ユーザＵＲの肩部分、腕部分、および目の部分を抽出している。なお、ランドマーク抽出部１３は、ユーザＵＲの腕部分の肘の位置を抽出してもよい。

図６Ａは、上面から見たタッチ判定面を示す図である。図６Ｂは、側面から見たタッチ判定面を示す図である。

図６Ａおよび図６Ｂに示すように、タッチ判定面設定部１５は、肩の部分を中心位置Ｓ（ｘｓ、ｙｓ、ｚｓ）として、腕の長さに基づいた距離Ｌからなる以下の球面の式（１）に基づいてタッチ判定面ＡＲ１を設定する。
（Ｘ－ｘｓ）^２＋（Ｙ－ｙｓ）^２＋（Ｚ－ｚｓ）^２＝Ｌ^２ ・・・（１）

なお、上記距離Ｌは、腕７１の長さに基づいた距離であり、例えば、腕７１全体の長さ以下の長さである。距離Ｌは、例えば、腕７１全体の長さである。このように、タッチ判定面設定部１５は、ユーザＵＲの肩の位置と、ユーザＵＲの腕７１の長さとに基づいてタッチ判定面ＡＲ１を設定する。また、タッチ判定面設定部１５は、上記式（１）に基づいてタッチ判定面ＡＲ１を設定することにより、球状の範囲に基づいたタッチ判定面を設定する。タッチ判定面ＡＲ１は、式（１）によって示される球面全体であってもよく、図６Ａおよび図６Ｂに示されるように、球面の一部であってもよい。例えば、ユーザＵＲの指先７２の可動範囲に基づいて、式（１）で示される球面の一部を、タッチ判定面ＡＲ１として設定してもよい。

なお、タッチ判定面設定部１５は、ユーザＵＲの視野範囲にさらに基づいてタッチ判定面ＡＲ１を設定してもよい。ここで、図７Ａおよび図７Ｂに、タッチ判定面設定部１５によるタッチ判定面ＡＲ１の設定方法について説明する。

図７Ａは、上面から見たタッチ判定面を示す図であり、図７Ｂは、側面から見たタッチ判定面を示す図である。ここで、ユーザの目の位置からディスプレイ６０の端部までを視野範囲とする。具体的には、上面から見た場合、ユーザＵＲの目の位置とディスプレイ６０の右端辺とを含む平面である平面Ｌ１１、ユーザＵＲの目の位置とディスプレイ６０の左端辺とを含む平面である平面Ｌ１２、およびディスプレイ６０に囲まれた範囲を視野範囲とする。図７Ａにおいては、平面Ｌ１１および平面Ｌ１２は直線として示される。また、側面から見た場合、ユーザＵＲの目の位置とディスプレイ６０の上端辺とを含む平面である平面Ｌ１３、ユーザＵＲの目の位置とディスプレイ６０の下端辺とを含む平面である平面Ｌ１４、およびディスプレイ６０に囲まれた範囲を視野範囲とする。図７Ｂにおいては、平面Ｌ１３および平面Ｌ１４は直線として示される。タッチ判定面設定部１５は、上述のような腕７１と、視野範囲とに基づいてタッチ判定面ＡＲ１を設定する。具体的には、タッチ判定面設定部１５は、式（１）で示される球面のうち、視野範囲に含まれる部分のみをタッチ判定面ＡＲ１として設定する。また、図７Ａに示すように、タッチ判定面ＡＲ１における位置Ｐ３は、ディスプレイ６０の位置Ｐ１に対応し、タッチ判定面ＡＲ１における位置Ｐ４は、ディスプレイ６０の位置Ｐ２に対応する。また、図７Ｂに示すように、タッチ判定面ＡＲ１における位置Ｐ７は、ディスプレイ６０の位置Ｐ５に対応し、タッチ判定面ＡＲ１における位置Ｐ８は、ディスプレイ６０の位置Ｐ６に対応する。

タッチ判定面ＡＲ１を設定する他の例について図８Ａおよび図８Ｂを用いて説明する。図８Ａは、上面から見たタッチ判定面を示す図であり、図８Ｂは、側面から見たタッチ判定面を示す図である。図８Ａおよび図８Ｂに示すように、タッチ判定面設定部１５は、腕における肘部分を中心としてタッチ判定面ＡＲ１を設定してもよい。この場合、タッチ判定面設定部１５は、腕７１における肘から手までの長さに基づいてタッチ判定面ＡＲ１を設定する。肘から手までの長さとは、肘から指先までの長さを指す。

タッチ判定面ＡＲ１を設定する他の例について図９Ａおよび図９Ｂを用いて説明する。図９Ａは、上面から見たタッチ判定面を示す図であり、図９Ｂは、側面から見たタッチ判定面を示す図である。図９Ａおよび図９Ｂに示すように、タッチ判定面設定部１５は、腕における肩および肘部分を中心にタッチ判定面ＡＲ１を設定してもよい。

なお、タッチ判定面設定部１５がタッチ判定面ＡＲ１を設定した後、判定部１８は、画像から取得したユーザＵＲの手の指部分の位置と、タッチ判定面ＡＲ１との位置関係に基づいて、ユーザＵＲの指先７２がタッチ判定面ＡＲ１を通過する状態である（言い換えると、タッチ検出状態にある）と判定した場合、機能実行部１９により機能を実行して、表示出力部２０が、実行結果をディスプレイ６０に表示させる。

第１の実施形態にかかる制御装置１では、画像取得部１１がユーザを撮像した画像を取得し、ランドマーク抽出部１３がユーザＵＲの腕部分を検出し、タッチ判定面設定部１５が、肩の部分を中心位置として、腕の長さに基づいてタッチ判定面ＡＲ１を設定する。判定部１８は、画像から取得したユーザＵＲの指先７２の位置と、タッチ判定面ＡＲ１との位置関係に基づいてタッチ検出状態にあると判定した場合、機能実行部１９により機能を実行して、表示出力部２０が実行結果をディスプレイ６０に表示させる。

このように、制御装置１は、ユーザＵＲの腕部分の長さに基づいてタッチ判定面ＡＲ１を設定するので、ユーザの動作に応じたタッチ判定面ＡＲ１を設定することができる。すなわち、ユーザにとって操作しやすい仮想操作領域を設定することができる。

また、制御装置１は、肩の部分を中心位置として、腕７１の長さに基づいてタッチ判定面ＡＲ１を設定しており、言い換えると、腕７１の可動範囲に基づいてタッチ判定面ＡＲ１を設定している。このように、制御装置１が、腕７１の可動範囲に基づいてタッチ判定面ＡＲ１を設定することで、図１で示したようなディスプレイ６００と平行にタッチ判定面ＡＲ６００を設定する場合と比較して、意図しないタッチ／リリース操作が行われにくくなる。

また、タッチ判定面設定部１５は、ユーザＵＲの肘から手の長さに基づいてタッチ判定面ＡＲ１を設定してもよいし、ユーザＵＲの腕７１全体の長さに基づいてタッチ判定面ＡＲ１を設定してもよい。この場合も、ユーザの動作に応じたタッチ判定面ＡＲ１を設定することができる。また、タッチ判定面設定部１５は、ユーザＵＲの視野範囲にさらに基づいてタッチ判定面ＡＲ１を設定してもよい。この場合、制御装置１は、ユーザＵＲの視野範囲にさらに制限するので、よりユーザにとって操作しやすいタッチ判定面ＡＲ１を設定することができる。

（第２の実施形態）
続いて、第２の実施形態にかかる制御装置１について説明する。第２の実施形態にかかる制御装置１では、ユーザにとって操作しやすい検出有効領域を設定する。

（検出有効領域設定方法）
検出有効領域設定部１４が、検出有効領域を設定する方法について説明する。まず、図１０Ａおよび図１０Ｂを用いて検出有効領域を設定する例について説明する。前提として、画像取得部１１が、ユーザＵＲを含む画像を取得する。そして、ランドマーク抽出部１３は、ユーザＵＲを含む画像から、ユーザＵＲの肩部分、腕部分、および目の部分を抽出している。なお、ランドマーク抽出部１３は、ユーザＵＲの腕部分の肘の位置を抽出してもよい。

図１０Ａは、上面から見たユーザＵＲとディスプレイ６０との位置関係を示す図である。図１０Ｂは、側面から見たユーザＵＲとディスプレイ６０との位置関係を示す図である。

図１０Ａおよび図１０Ｂに示すように、検出有効領域設定部１４は、肩の部分を中心位置Ｓ（ｘｓ、ｙｓ、ｚｓ）として、腕の長さに基づいた距離Ｌ１と、腕の長さに基づいた距離Ｌ２からなる以下の球の式（２）および式（３）に基づいて検出有効領域ＡＲ２を設定する。
（Ｘ－ｘｓ）^２＋（Ｙ－ｙｓ）^２＋（Ｚ－ｚｓ）^２≧Ｌ１^２ ・・・（２）
（Ｘ－ｘｓ）^２＋（Ｙ－ｙｓ）^２＋（Ｚ－ｚｓ）^２≦Ｌ２^２ ・・・（３）

検出有効領域設定部１４は、上記式（２）および式（３）を満たす領域を検出有効領域ＡＲ２として設定する。なお、Ｌ１＜Ｌ２である。また、第１の実施形態で説明した距離Ｌと、距離Ｌ１と、距離Ｌ２との関係を示すと、Ｌ１≦Ｌ≦Ｌ２となる。距離Ｌ１は、例えば腕７１全体の長さ以下の長さである。距離Ｌ１は、例えば腕における肩から肘までの長さである。距離Ｌ２は、例えば腕７１全体の長さ以下の長さである。距離Ｌ２は、例えば腕７１全体の長さである。

このように、検出有効領域設定部１４は、ユーザＵＲの腕７１の長さに基づいて検出有効領域ＡＲ２を設定する。検出有効領域ＡＲ２は、式（２）および式（３）によって示される領域全体であってもよく、図１０Ａおよび図１０Ｂに示されるように、式（２）および式（３）によって示される領域の一部であってもよい。例えば、ユーザＵＲの指先７２の可動範囲に基づいて、式（２）および式（３）で示される領域の一部を、検出有効領域ＡＲ２として設定してもよい。

また、検出有効領域設定部１４は、第１の実施形態の例と同様に、肘の部分を中心位置として検出有効領域ＡＲ２を設定してもよいし、肩と肘の両方を支点として検出有効領域ＡＲ２を設定してもよい。

また、検出有効領域設定部１４は、第１の実施形態の例と同様に、ユーザＵＲの視野範囲にさらに基づいて検出有効領域ＡＲ２を設定してもよい。

続いて、図１１を用いて、第２実施形態にかかる制御装置１の処理手順を説明する。図１１は、第２実施形態にかかる制御装置１の処理手順を示すフローチャートである。

まず、ランドマーク抽出部１３は、画像取得部１１により取得された画像からユーザが検出されるか否かを判断する（ステップＳ１）。ランドマーク抽出部１３が、画像からユーザを検出しなかった場合（ステップＳ１：Ｎｏ）、処理は再度ステップＳ１へ進む。また、ランドマーク抽出部１３は、画像からユーザを抽出した場合（ステップＳ１：Ｙｅｓ）、目、肩、肘などのランドマークを検出して、それぞれの３Ｄ座標を算出する（ステップＳ２）。

また、ランドマーク抽出部１３は、ランドマークの位置に基づいて、ユーザの腕の長さを算出する（ステップＳ３）。

検出有効領域設定部１４は、ランドマーク位置およびユーザの腕の長さに基づいて、検出有効領域を設定する（ステップＳ４）。また、タッチ判定面設定部１５は、ランドマーク位置およびユーザの腕の長さに基づいて、タッチ判定面を設定する（ステップＳ５）。３Ｄ座標演算部１６は、画像上でユーザＵＲの指先７２が検出されたか否かを判断する（ステップＳ６）。ステップＳ６において、３Ｄ座標演算部１６が、画像からユーザＵＲの指先を検出しなかった場合（ステップＳ６：Ｎｏ）、処理はステップＳ１へ進む。３Ｄ座標演算部１６は、画像からユーザＵＲの指先を検出した場合（ステップＳ６：Ｙｅｓ）、指先の３Ｄ座標を演算する（ステップＳ７）。判定部１８は、指先の３Ｄ座標が検出有効領域ＡＲ２内であるか否かを判断する（ステップＳ８）。判定部１８が、指先が検出有効領域ＡＲ２内ではないと判定した場合（ステップＳ８：Ｎｏ）、処理はステップＳ７へ進む。

また、判定部１８は、ステップＳ８において、指先の３Ｄ座標が検出有効領域ＡＲ２内であると判定した場合（ステップＳ８：Ｙｅｓ）、指先がタッチ判定面を通過したか否かを判定する（ステップＳ９）。判定部１８が、ステップＳ９において、指先がタッチ判定面ＡＲ１を通過したと判定した場合（ステップＳ９：Ｙｅｓ）、指先の動きに対応する操作を判定する。指先の動きに対応する操作とは、例えば、タッチ操作である。タッチ操作の具体例としては、クリック操作、ドラッグ操作、フリック操作が挙げられる。機能実行部１９は、判定された操作を実行する（ステップＳ１０）。判定部１８は、ステップＳ９において、指先がタッチ判定面ＡＲ１を通過していないと判定した場合（ステップＳ９：Ｎｏ）、指先の動きに対応する操作を判定する。指先の動きに対応する操作とは、例えばリリース操作、あるいはポインタ移動操作である。機能実行部１９は、判定された操作を実行する（ステップＳ１１）。

第２の実施形態にかかる制御装置１では、検出有効領域設定部１４が、肩の部分を中心位置として、腕の長さに基づいて検出有効領域ＡＲ２を設定する。判定部１８が、画像から取得したユーザＵＲの指先７２の位置と、検出有効領域ＡＲ２との位置関係に基づいて、指先の動きに対応する操作を判定し、機能実行部１９が当該操作に対応する機能を実行して、表示出力部２０が実行結果をディスプレイ６０に表示させる。

このように、制御装置１は、ユーザＵＲの腕部分の長さに基づいて検出有効領域ＡＲ２を設定するので、ユーザの動作に応じた検出有効領域ＡＲ２を設定することができる。すなわち、ユーザにとって操作しやすい検出有効領域を設定することができる。

また、図１２に示すように、制御装置１は、ユーザＵＲ１の腕７１の長さに基づいて検出有効領域ＡＲ２を設定する。これにより、仮にユーザＵＲ２が、ディスプレイ６０周辺で動作したとしても、ユーザＵＲ２は検出有効領域ＡＲ２には含まれない。これにより、制御装置１が別のユーザの動作を誤検知することを回避することができる。

（第３の実施形態）
続いて、第３の実施形態にかかる制御装置１について説明する。第３の実施形態にかかる制御装置１は、複数のユーザのそれぞれに検出有効領域およびタッチ判定面を設定し、ユーザの優先度に基づいてタッチ判定する。

画像取得部１１は、複数ユーザが撮像されている画像を取得する。ランドマーク抽出部１３は、複数ユーザのそれぞれのランドマークを抽出する。検出有効領域設定部１４は、それぞれのユーザの腕の長さに基づいて、それぞれのユーザの検出有効領域ＡＲ２を設定する。また、タッチ判定面設定部１５は、それぞれのユーザの腕の長さに基づいて、それぞれのユーザのタッチ判定面ＡＲ１を設定する。

制御装置１は、複数ユーザが撮像されている場合、優先度が高いユーザを設定する。判定部１８は、優先度が高いユーザの指先７２と、タッチ判定面ＡＲ１との位置関係に基づいてディスプレイ６０を操作する。

ここで、図１３に、複数ユーザと、ディスプレイ６０との位置関係の例を示す。図１３に示すように、ユーザＵＲ１およびユーザＵＲ２がディスプレイ６０の近くにいる場合、制御装置１は、ユーザＵＲ１のタッチ判定面ＡＲ１ａおよび検出有効領域ＡＲ２ａを設定する。また、制御装置１は、ユーザＵＲ２のタッチ判定面ＡＲ１ｂおよび検出有効領域ＡＲ２ｂを設定する。

そして、制御装置１は、所定の操作により、ユーザＵＲ１のタッチ判定面ＡＲ１ａおよび検出有効領域ＡＲ２ａの優先度を高めておく。これにより、制御装置１は、タッチ判定面ＡＲ１ａおよび検出有効領域ＡＲ２ａを有効状態にする。これに伴い、制御装置１は、タッチ判定面ＡＲ１ｂおよび検出有効領域ＡＲ２ｂを無効状態にする。

そして、制御装置１は、ユーザＵＲ１の指先７２の位置と、タッチ判定面ＡＲ１ａおよび検出有効領域ＡＲ２ａの位置関係に基づいてディスプレイ６０の表示状態を変更する。

続いて、図１４を用いて、第３実施形態にかかる制御装置１の処理手順を説明する。図１４は、第２実施形態にかかる制御装置１の処理手順を示すフローチャートである。

まず、ランドマーク抽出部１３は、画像取得部１１により取得された画像からユーザが検出されるか否かを判断する（ステップＳ２１）。ランドマーク抽出部１３が、画像からユーザを検出しなかった場合（ステップＳ２１：Ｎｏ）、処理は再度ステップＳ２１へ進む。また、ランドマーク抽出部１３は、画像からユーザを抽出した場合（ステップＳ２１：Ｙｅｓ）、目、肩、肘などのランドマークを検出して、それぞれの３Ｄ座標を算出する（ステップＳ２２）。

また、ランドマーク抽出部１３は、ランドマークの位置に基づいて、ユーザの腕の長さを算出する（ステップＳ２３）。

検出有効領域設定部１４は、ランドマーク位置およびユーザの腕の長さに基づいて、検出有効領域ＡＲ２を設定する（ステップＳ２４）。また、タッチ判定面設定部１５は、ランドマーク位置およびユーザの腕の長さに基づいて、タッチ判定面ＡＲ１を設定する（ステップＳ２５）。画像から検出されたユーザのうち、検出有効領域ＡＲ２およびタッチ判定面ＡＲ１を未設定のユーザがいる場合（ステップＳ２６：Ｙｅｓ）、処理はステップＳ２２へ進む。また、全てのユーザのタッチ判定面ＡＲ１および検出有効領域ＡＲ２を設定した場合、すなわち未設定のユーザがいない場合（ステップＳ２６：Ｎｏ）、制御装置１は、複数のタッチ判定面ＡＲ１および検出有効領域ＡＲ２の優先度を設定する（ステップＳ２７）。

制御装置１は、例えば、ディスプレイ６０に表示されているコンテンツに応じて、複数のタッチ判定面ＡＲ１および検出有効領域ＡＲ２の優先度を設定する。制御装置１は、後述するステップＳ２９の後に、優先度の設定を行ってもよい。制御装置１は、例えば、ステップＳ２９において３Ｄ座標を演算された指先のうち、先に動き出した指先の近くに位置するユーザに対応するタッチ判定面ＡＲ１および検出有効領域ＡＲ２を、優先度が高いと設定してもよい。

３Ｄ座標演算部１６は、画像上でいずれかのユーザの指先７２が検出されたか否かを判断する（ステップＳ２８）。ステップＳ２８において、３Ｄ座標演算部１６が、画像からユーザＵＲの指先を検出しなかった場合（ステップＳ２８：Ｎｏ）、処理はステップＳ２１へ進む。３Ｄ座標演算部１６は、画像からいずれかのユーザＵＲの指先を検出した場合（ステップＳ２８：Ｙｅｓ）、指先の３Ｄ座標を演算する（ステップＳ２９）。判定部１８は、指先の３Ｄ座標が最も優先度の高い検出有効領域ＡＲ２内であるか否かを判断する（ステップＳ３０）。判定部１８が、指先が検出有効領域ＡＲ２内ではないと判定した場合（ステップＳ３０：Ｎｏ）、処理はステップＳ２９へ進む。

また、判定部１８は、ステップＳ３０において、指先の３Ｄ座標が最も優先度の高い検出有効領域ＡＲ２内であると判定した場合（ステップＳ３０：Ｙｅｓ）、指先が最も優先度高いタッチ判定面ＡＲ１を通過したか否か判定する（ステップＳ３１）。判定部１８は、ステップＳ３１において、指先が最も優先度の高いタッチ判定面ＡＲ１を通過したと判定した場合（ステップＳ３１：Ｙｅｓ）、指先の動きに対応する操作を判定する。指先の動きに対応する操作とは、例えば、タッチ操作である。タッチ操作の具体例としては、クリック操作、ドラッグ操作、フリック操作が挙げられる。機能実行部１９は、判定されたタッチ操作を実行する（ステップＳ３２）。判定部１８は、ステップＳ３１において、指先がタッチ判定面ＡＲ１を通過していないと判定した場合（ステップＳ３１：Ｎｏ）、指先の動きに対応する操作を判定する。指先の動きに対応する操作とは、例えばリリース操作、あるいはポインタ移動操作である。機能実行部１９は、判定された操作を実行する（ステップＳ３３）。

このように、第３の実施形態にかかる制御装置１は、複数の検出有効領域ＡＲ２およびタッチ判定面ＡＲ１を設定した場合、優先度の高い方の検出有効領域ＡＲ２およびタッチ判定面ＡＲ１に基づいてディスプレイ６０を操作することができる。これにより、操作指示を行うものとしてより適切なユーザの動作に基づいて、ディスプレイ６０を操作することができる。

（第４の実施形態）
続いて、第４の実施形態にかかる制御装置１について説明する。第４の実施形態にかかる制御装置１は、画像からユーザが撮像されていない不要領域を除去し、不要領域が除去された画像から検出した指の位置と、検出有効領域ＡＲ２およびタッチ判定面ＡＲ１との位置関係に基づいてディスプレイ６０を操作する。

図１５に、ユーザと、ディスプレイ６０との位置関係の例を示す。図１５に示す例では、センサ５０が撮像可能な範囲は領域ＡＲ１１と領域ＡＲ１２を含む。領域ＡＲ１１は、検出有効領域ＡＲ２およびタッチ判定面ＡＲ１を含む。一方、領域ＡＲ１２は、検出有効領域ＡＲ２およびタッチ判定面ＡＲ１を含まない。よって、領域ＡＲ１２に指が位置していたとしても、制御装置１はその指の座標演算を行う必要がない。そこで、制御装置１の画像加工部１２は、画像における領域ＡＲ１２に対応する部分を除去する、除去処理を行う。画像加工部１２は、例えば領域ＡＲ１２に対応する部分をトリミングすることにより、除去処理を行う。除去処理を行うことにより、画像において座標演算が行われる領域である、座標演算領域を減少させることができる。

また、画像加工部１２は、画像におけるユーザが撮像された部分以外を除去することにより除去処理を行ってもよい。ここで、図１６Ａおよび図１６Ｂを用いて、除去処理の例を説明する。

画像加工部１２は、図１６Ａに示される画像から、ユーザが撮像された部分の領域ＡＲ１１１のみを残し、ユーザが撮像された部分でない領域ＡＲ１１２を除去する除去処理を行う。除去処理の結果、図１６Ｂに示すように、ユーザが撮像された部分の領域ＡＲ１１１のみが残った画像が得られる。この結果、座標演算領域が領域ＡＲ１１１のみとなる。

続いて、図１７を用いて、第４実施形態にかかる制御装置１の処理手順を説明する。図１７は、第４実施形態にかかる制御装置１の処理手順を示すフローチャートである。

まず、ランドマーク抽出部１３は、画像取得部１１により取得された画像からユーザが検出されるか否かを判断する（ステップＳ４１）。ランドマーク抽出部１３が、画像からユーザを検出しなかった場合（ステップＳ４１：Ｎｏ）、処理は再度ステップＳ１へ進む。また、ランドマーク抽出部１３は、画像からユーザを抽出した場合（ステップＳ４１：Ｙｅｓ）、目、肩、肘などのランドマークを検出して、それぞれの３Ｄ座標を算出する（ステップＳ４２）。

また、ランドマーク抽出部１３は、ランドマークの位置に基づいて、ユーザの腕の長さを算出する（ステップＳ４３）。

検出有効領域設定部１４は、ランドマーク位置およびユーザの腕の長さに基づいて、検出有効領域を設定する（ステップＳ４４）。また、タッチ判定面設定部１５は、ランドマーク位置およびユーザの腕の長さに基づいて、タッチ判定面を設定する（ステップＳ４５）。

画像加工部１２は、除去処理によって画像の座標演算領域を減少させる（ステップＳ４６）。３Ｄ座標演算部１６は、画像上の座標演算領域内においてユーザＵＲの指先７２が検出されたか否かを判断する（ステップＳ４７）。ステップＳ４７において、３Ｄ座標演算部１６が、画像上の座標演算領域内においてユーザＵＲの指先を検出しなかった場合（ステップＳ４７：Ｎｏ）、処理はステップＳ４１へ進む。３Ｄ座標演算部１６は、画像上の座標演算領域内においてユーザＵＲの指先を検出した場合（ステップＳ４７：Ｙｅｓ）、指先の３Ｄ座標を演算する（ステップＳ４８）。判定部１８は、指先の３Ｄ座標が検出有効領域ＡＲ２内であるか否かを判断する（ステップＳ４９）。判定部１８が、指先が検出有効領域ＡＲ２内ではないと判定した場合（ステップＳ４９：Ｎｏ）、処理はステップＳ４８へ進む。

また、判定部１８は、ステップＳ４９において、指先の３Ｄ座標が検出有効領域ＡＲ２内であると判定した場合（ステップＳ４９：Ｙｅｓ）、指先がタッチ判定面を通過したか否かを判定する（ステップＳ５０）。判定部１８は、ステップＳ５０において、指先がタッチ判定面ＡＲ１を通過したと判定した場合（ステップＳ５０：Ｙｅｓ）、指先の動きに対応する操作を判定する。指先の動きに対応する操作とは、例えば、タッチ操作である。タッチ操作の具体例としては、クリック操作、ドラッグ操作、フリック操作が挙げられる。機能実行部１９は、判定された操作を実行する（ステップＳ５１）。判定部１８は、ステップＳ５０において、指先がタッチ判定面ＡＲ１を通過していないと判定した場合（ステップＳ５０：Ｎｏ）、指先の動きに対応する操作を判定する。指先の動きに対応する操作とは、例えばリリース操作、あるいはポインタ移動操作である。機能実行部１９は、判定された操作を実行する（ステップＳ５２）。

このように、第４実施形態にかかる制御装置１は、画像における、検出有効領域ＡＲ２およびタッチ判定面ＡＲ１の位置から大きく外れる位置を座標演算対象から除去する。これにより、制御装置１における、処理負荷を軽減させることができる。

（変形例）
上述の実施形態では、特に述べなかったが、ユーザＵＲとディスプレイ６０との位置関係に基づいて、センサ５０の位置を適宜配置してもよい。例えば、図１８に示すように、センサ５０をディスプレイ６０より前の位置に配置してもよい。この場合、センサ５０が撮像する範囲であるセンシングエリアＡＲ３に、検出有効領域ＡＲ２およびタッチ判定面ＡＲ１をより確実に含めることができる。

また、図１９に示すように、センサ５０をユーザＵＲの方向に向けて配置してもよい。例えば、ユーザＵＲがディスプレイ６０に対して右側に位置する場合、センサ５０を右向きに配置してもよい。この場合、制御装置１は、センシングエリアＡＲ３をユーザＵＲの周囲に絞ることができるので、他のユーザの動きを制御装置１が誤検出する可能性を軽減させることができる。

また、図２０に示すように、センサ５０をディスプレイ６０より前の位置に配置し、且つセンサ５０をユーザＵＲの方向に向けて配置してもよい。

また、ディスプレイ６０の形状は、任意である。例えば、図２１に示すように、曲面状のディスプレイ６０を用いてもよい。

また、制御装置１は、複数の機器に対応する検出有効領域ＡＲ２およびタッチ判定面ＡＲ１を設定してもよい。例えば、図２２に示すように、制御装置１は、機器６１ａ、機器６１ｂ、および機器６１ｃのすべてに対応する検出有効領域ＡＲ２およびタッチ判定面ＡＲ１を設定してもよい。この場合、制御装置１は、機器毎に視野範囲を定めておき、ユーザＵＲの指の位置と、検出有効領域ＡＲ２およびタッチ判定面ＡＲ１との位置関係と、それぞれの機器の視野範囲に基づいて操作制御してもよい。

また、制御装置１は、各機器６１の視野範囲も考慮して、各機器６１に対応する検出有効領域ＡＲ２およびタッチ判定面ＡＲ１をそれぞれ設定してもよい。例えば、図２３に示すように、制御装置１は、各機器６１の視野範囲も考慮して、検出有効領域ＡＲ２a～検出有効領域ＡＲ２ｃと、タッチ判定面ＡＲ１a～タッチ判定面ＡＲ１ｃを設定する。このように、制御装置１は、タッチ判定面ＡＲ１a～タッチ判定面ＡＲ１ｃのそれぞれが重ならないようにタッチ判定面を設定する。

上述では、制御装置１が、右側の腕７１の位置や長さに基づいて検出有効領域ＡＲ２およびタッチ判定面ＡＲ１を設定する場合について述べたが、左側の腕７１の位置や長さに基づいて検出有効領域ＡＲ２およびタッチ判定面ＡＲ１を設定してもよい。また、図２４Ａおよび図２４Ｂに示すように、左側の腕７１の位置および長さに基づいた、左側の腕７１に対する検出有効領域ＡＲ２およびタッチ判定面ＡＲ１（図２４Ａ）と、右側の腕７１の位置および長さに基づいた、右側の腕７１に対する検出有効領域ＡＲ２およびタッチ判定面ＡＲ１（図２４Ｂ）と、をそれぞれ設定してもよい。

この場合、判定部１８は、画像から検出した指が右腕のものであるか左腕のものであるかを判定した上で、検出した指と、対応する検出有効領域ＡＲ２およびタッチ判定面ＡＲ１との位置関係を判定する。

なお、図２５Ａに示すような左側の腕７１に対応する検出有効領域ＡＲ２aと、右側の腕７１に対応する検出有効領域ＡＲ２ｂとを足し合わせた領域を検出有効領域としてもよい。また、図２５Ｂに示すように、図２５Ａに示した検出有効領域ＡＲ２aおよび検出有効領域ＡＲ２ｂを含む検出有効領域ＡＲ２ｃを設定してもよい。

この場合、判定部１８は、画像から検出した指が右腕のものであるか左腕のものであるかに関わらず、指の位置と、検出有効領域ＡＲ２ｃとの位置関係を判定する。また、判定部１８は、指とタッチ判定面ＡＲ１との位置関係の判定については、指が左腕のものか右腕のものかを区別して、それぞれ対応するタッチ判定面ＡＲ１と指との位置関係を判定する。

以上の実施形態に関し、以下を開示する。
ユーザを撮像した画像を取得する画像取得部と、
前記画像に基づいてユーザの腕部分を検出する検出部と、
前記検出部により検出されたユーザの腕部分の位置および前記ユーザの腕部分の長さに基づいて、前記ユーザの指先の位置変更を検出する領域である検出領域を設定する設定部と、
前記画像に基づいて、ユーザの指先と、前記検出領域との位置関係に基づいて機器を操作する操作部と、
を備える情報処理装置。

以上、本開示の実施形態を説明したが、上述の実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら新規な実施形態およびその変形は、発明の範囲および要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。さらに、異なる実施形態および変形例にわたる構成要素を適宜組み合わせてもよい。

また、上述した実施の形態における「・・・部」という表記は、「・・・回路（circuitry）」、「・・・アッセンブリ」、「・・・デバイス」、「・・・ユニット」、又は、「・・・モジュール」といった他の表記に置換されてもよい。

上記各実施形態では、本開示はハードウェアを用いて構成する例にとって説明したが、本開示はハードウェアとの連携においてソフトウェアでも実現することも可能である。

また、上記各実施形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。集積回路は、上記実施の形態の説明に用いた各機能ブロックを制御し、入力端子と出力端子を備えてもよい。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサおよびメモリを用いて実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、ＬＳＩ内部の回路セルの接続又は設定を再構成可能なリコンフィギュラブル プロセッサ（Reconfigurable Processor）を利用してもよい。

さらには、半導体技術の進歩又は派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックを集積化してもよい。バイオ技術の適用等が可能性としてありえる。

また、本明細書に記載された実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。

１ 制御装置
１０ 制御部
１１ 画像取得部
１２ 画像加工部
１３ ランドマーク抽出部
１４ 検出有効領域設定部
１５ タッチ判定面設定部
１６ ３Ｄ座標演算部
１７ ２Ｄ座標変換部
１８ 判定部
１９ 機能実行部
２０ 表示出力部
５０ センサ
６０ ディスプレイ

Claims (14)

1. ユーザを撮像した画像を取得する画像取得部と、
   前記画像に基づいてユーザの腕部分を検出する検出部と、
   前記検出部により検出された前記ユーザの腕部分の位置および前記ユーザの腕部分の長さに基づいて、機器への操作を受け付ける仮想操作領域を設定する設定部と、
   前記画像に基づいて、前記ユーザの指先と、前記仮想操作領域との位置関係に基づいて機器を操作する操作部と、
   を備える情報処理装置。
2. 前記設定部は、前記検出部により検出された前記ユーザの腕部分全体の長さに基づいて、前記仮想操作領域を設定する、請求項１に記載の情報処理装置。
3. 前記設定部は、前記検出部により検出された前記ユーザの腕部分のうち、肘から手の長さに基づいて、前記仮想操作領域を設定する、請求項１に記載の情報処理装置。
4. 前記検出部は、前記画像に基づいたユーザの視野範囲を検出し、
   前記設定部は、前記ユーザの視野範囲にさらに基づいて前記仮想操作領域を設定する、請求項１に記載の情報処理装置。
5. 前記設定部は、前記検出部により検出された前記ユーザの腕部分の位置および前記ユーザの腕部分の長さに基づいて、前記ユーザの指先の位置変更を検出する領域である検出領域を設定し、
   前記操作部は、前記画像に基づいて、前記ユーザの指先と、前記検出領域との位置関係に基づいて機器を操作する、
   請求項１に記載の情報処理装置。
6. 前記検出部は、前記画像に基づいたユーザの視野範囲を検出し、
   前記設定部は、前記ユーザの視野範囲にさらに基づいて前記検出領域を設定する、請求項５に記載の情報処理装置。
7. 前記検出部は、前記検出部により検出された複数のユーザの腕部分を検出し、
   前記設定部は、前記検出部により検出された前記複数のユーザの腕部分の長さに基づいて、それぞれのユーザの仮想操作領域を設定し、
   前記操作部は、前記画像に基づいて、前記複数のユーザのうちいずれかのユーザの指先と、優先度の高い前記仮想操作領域との位置関係に基づいて機器を操作する、請求項１に記載の情報処理装置。
8. 前記操作部は、前記画像の内、前記ユーザが撮像されていない領域が除去された画像から前記ユーザの指先を検出し、検出した手と、前記仮想操作領域との位置関係に基づいて機器を操作する、請求項１に記載の情報処理装置。
9. 前記機器は、複数並んで存在し、
   前記設定部は、前記機器のそれぞれの仮想操作領域を、ぞれぞれの仮想操作領域が重ならないように設定する、請求項１に記載の情報処理装置。
10. 前記検出部は、ユーザの左右の腕部分を検出し、
    前記設定部は、前記ユーザの左右の腕部分の長さに基づいて、左右それぞれの仮想操作領域を設定する、請求項１に記載の情報処理装置。
11. 前記設定部は、前記検出部により検出されたユーザの腕部分の長さと、前記ユーザの肩部分の位置とに基づいた球状の範囲に基づいて、前記仮想操作領域を設定する、請求項１に記載の情報処理装置。
12. 撮像部と、情報処理装置と、表示部とを備える情報処理システムであって、
    前記撮像部は、ユーザを含む画像を撮像し、
    前記情報処理システムは、
    前記画像を取得する画像取得部と、
    前記画像に基づいてユーザの腕部分を検出する検出部と、
    前記検出部により検出されたユーザの腕部分の位置及び前記ユーザの腕部分の長さに基づいて、表示部への操作を受け付ける仮想操作領域を設定する設定部と、
    前記画像に基づいて、前記ユーザの指先と、前記仮想操作領域との位置関係に基づいて表示部を操作する操作部と、
    を備える、情報処理システム。
13. 前記撮像部は、前記ユーザの位置と前記表示部との位置関係に基づいて配置されている、請求項１２に記載の情報処理システム。
14. 情報処理装置で実行する情報処理方法であって、
    ユーザを撮像した画像を取得する画像取得ステップと、
    前記画像に基づいてユーザの腕部分を検出する検出ステップと、
    前記検出ステップで検出したユーザの腕部分の位置及び前記ユーザの腕部分の長さに基づいて、機器への操作を受け付ける仮想操作領域を設定する設定ステップと、
    前記画像に基づいて、前記ユーザの指先と、前記仮想操作領域との位置関係に基づいて機器を操作する操作ステップと、
    を含む情報処理方法。

Images