JP2013257830A - 情報処理装置 - Google Patents
情報処理装置 Download PDFInfo
- Publication number
- JP2013257830A JP2013257830A JP2012134980A JP2012134980A JP2013257830A JP 2013257830 A JP2013257830 A JP 2013257830A JP 2012134980 A JP2012134980 A JP 2012134980A JP 2012134980 A JP2012134980 A JP 2012134980A JP 2013257830 A JP2013257830 A JP 2013257830A
- Authority
- JP
- Japan
- Prior art keywords
- pointer
- display
- feature point
- unit
- origin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】ポインタの表示範囲が表示領域内で偏ることがない。
【解決手段】3次元カメラ1からの画像により3次元計測部2で距離画像を生成し、人物検出部3で上記距離画像から人物部分をスケルトンモデルとして検出し、特徴点検出部4で上記スケルトンモデルから2つの特徴点を検出する。ポインタ位置演算部5で、第2特徴点「頭」を表示部7の中央の原点とする2次元座標を設定し、第1特徴点「右手」と上記原点との相対的な上記2次元座標上での座標値を算出する。表示制御部6で、上記相対座標値により表示部7にポインタを表示させる。こうして、操作者がジェスチャで操作を行なう際に、距離画像上での操作者の「頭」に対する「右手」の相対位置に対応する、表示部7上での原点に対する相対位置に、上記ポインタを表示する。したがって、表示部7上の原点の周囲に表示されるポインタの表示位置が、表示部7の表示画面内における一方に偏ることを低減できる。
【選択図】図1
【解決手段】3次元カメラ1からの画像により3次元計測部2で距離画像を生成し、人物検出部3で上記距離画像から人物部分をスケルトンモデルとして検出し、特徴点検出部4で上記スケルトンモデルから2つの特徴点を検出する。ポインタ位置演算部5で、第2特徴点「頭」を表示部7の中央の原点とする2次元座標を設定し、第1特徴点「右手」と上記原点との相対的な上記2次元座標上での座標値を算出する。表示制御部6で、上記相対座標値により表示部7にポインタを表示させる。こうして、操作者がジェスチャで操作を行なう際に、距離画像上での操作者の「頭」に対する「右手」の相対位置に対応する、表示部7上での原点に対する相対位置に、上記ポインタを表示する。したがって、表示部7上の原点の周囲に表示されるポインタの表示位置が、表示部7の表示画面内における一方に偏ることを低減できる。
【選択図】図1
Description
この発明は、ユーザのジェスチャを認識して機器の制御を行うユーザインターフェースに適用される情報処理装置に関する。
近年、テレビジョン(以下、単にTVと言う)やゲーム機あるいはパソコン等の情報機器の操作を行う場合に、ユーザが自身の手足を動かすジェスチャ動作で機器に対する操作を指示する方法が提案されている。この方法を用いることによって、従来のインターフェースであるリモコン,操作パッド,キーボードおよびマウス等を必要とせずに機器を遠隔的に操作することができる。
このようなジェスチャで機器操作を指示するインターフェースによれば、遠隔操作用の機器が手元に無い場合であっても目的の機器の操作ができるという利便性が得られ、今後発展して行くと考えられる。
ジェスチャによる機器の操作方法は、様々提案されている。例えば、TVを操作するのに、操作者をカメラで動画撮影し、右手を挙げると音量を大きくする一方、左手を挙げると音量を小さくする等の、ジェスチャそのものに機器動作の意味を持たせる方法がある。但し、このような方法の場合には、ジェスチャの種類を増やすと、紛らわしい動きと混同して誤動作する懸念がある。
別の操作方法として、操作者の手の位置をカメラで読取って、手の動きに追従するポインタあるいはカーソルを機器操作用の画面上に表示し、この画面に同時に表示される目的のアイコン上にポインタを移動させて、例えば一定時間ポインタをアイコン上に留めておくことによって、そのアイコンの機能を動作させるという機器制御方法がある。この操作方法は、上述したジェスチャそのものに機器動作の意味を持たせる方法に比べて、所望の動作をアイコンという形で選ぶことができるため、多くの操作をアイコンとして準備することができる。
上記ジェスチャとポインタとによる機器操作については、特開2012‐64233号公報(特許文献1)に開示されている。
上記特許文献1に開示された情報処理装置では、カメラで撮影した画像からユーザの手の位置を検出し、手の位置および手の位置の周辺領域に手が存在する確率から求めた評価値に基づいて、ディスプレイの画像上における手が存在する確率が最も高い箇所にポインタを移動させるようにしている。ここで、「手の位置の周辺領域に手が存在する確率」とは、検出された手の位置は真の手の位置を中心とした正規分布を取る仮定した場合に、検出された手の位置が真の手の位置である確率のことである。
しかしながら、上記従来の情報処理装置においては、ユーザがカメラ画像の端に居る場合には、手を動かせる範囲が上記カメラ画像内の片側に偏るため、ポインタを動かせる範囲も片側に偏ることになる。したがって、その場合には、所望の位置にポインタを容易に移動することができず、操作性が良くないという問題がある。
そこで、この発明の課題は、ポインタの表示範囲が表示領域内で偏ることがなく、ポインタによる機器の操作性が良好な情報処理装置を提供することにある。
上記課題を解決するため、この発明の情報処理装置は、
撮像部と、
上記撮像部によって取得された画像を、距離情報を含む画像として認識する3次元処理部と、
上記3次元処理部によって認識された画像から人物部分を検出する人物検出部と、
上記人物検出部によって検出された人物部分から複数の特徴点を検出する特徴点検出部と、
上記特徴点検出部によって検出された上記複数の特徴点の何れか一つによって指定された位置にポインタを表示する表示部と、
上記特徴点検出部によって検出された上記複数の特徴点の一つを原点とする2次元座標を上記表示部の表示領域上に設定すると共に、他の特徴点の上記原点に対する相対的な座標値を、上記表示領域上における上記ポインタの位置として算出するポインタ位置演算部と、
上記ポインタ位置演算部によって算出された座標値に基づいて、上記表示部の表示領域上に上記ポインタを表示させる表示制御部と
を備えたことを特徴としている。
撮像部と、
上記撮像部によって取得された画像を、距離情報を含む画像として認識する3次元処理部と、
上記3次元処理部によって認識された画像から人物部分を検出する人物検出部と、
上記人物検出部によって検出された人物部分から複数の特徴点を検出する特徴点検出部と、
上記特徴点検出部によって検出された上記複数の特徴点の何れか一つによって指定された位置にポインタを表示する表示部と、
上記特徴点検出部によって検出された上記複数の特徴点の一つを原点とする2次元座標を上記表示部の表示領域上に設定すると共に、他の特徴点の上記原点に対する相対的な座標値を、上記表示領域上における上記ポインタの位置として算出するポインタ位置演算部と、
上記ポインタ位置演算部によって算出された座標値に基づいて、上記表示部の表示領域上に上記ポインタを表示させる表示制御部と
を備えたことを特徴としている。
上記構成によれば、操作者がジェスチャにより対象物を操作する場合に、上記3次元処理部によって認識された画像上における人物(操作者)部分の一つの特徴点を原点とする上記表示部の2次元座標上における他の特徴点の位置に、上記ポインタを表示することが可能になる。すなわち、上記ポインタの表示範囲を常に操作者を原点として設定することができる。
したがって、上記表示部の表示領域上における原点の周囲に上記ポインタを表示することができ、上記ポインタの表示位置が上記表示部の表示領域内における一方に偏ることを低減できるのである。
また、1実施の形態の情報処理装置では、
上記ポインタ位置演算部によって上記表示部の表示領域上に設定される上記2次元座標の原点は、上記表示領域の中心に位置している。
上記ポインタ位置演算部によって上記表示部の表示領域上に設定される上記2次元座標の原点は、上記表示領域の中心に位置している。
この実施の形態によれば、上記2次元座標の原点は、上記表示部の表示領域の中心に位置しているので、上記ポインタの位置となる特徴点が上記2次元座標の原点となる特徴点の左右何れの側にあっても、上記ポインタの表示位置が上記表示部の表示領域内における一方に偏ることを低減できる。
また、1実施の形態の情報処理装置では、
上記特徴点検出部によって検出される上記複数の特徴点の一つは、上記人物検出部によって検出された人物部分の片方の手である。
上記特徴点検出部によって検出される上記複数の特徴点の一つは、上記人物検出部によって検出された人物部分の片方の手である。
この実施の形態によれば、操作者がジェスチャによって対象物の操作を行なう場合に通常用いる右手あるいは左手を上記特徴点の一つとして検出するので、上記手の特徴点を上記ポインタの位置となる特徴点とすることによって、操作性の向上を図ることができる。
また、1実施の形態の情報処理装置では、
上記特徴点検出部によって検出された上記複数の特徴点のうちの上記ポインタ位置演算部が上記2次元座標の原点とする特徴点は、
上記ポインタ位置演算部が上記ポインタの位置とする特徴点が右手である場合には、上記人物検出部によって検出された上記人物部分の略中心線上および上記中心線よりも上記右手側の略半分側に位置する特徴点であり、
上記ポインタ位置演算部が上記ポインタの位置とする特徴点が左手である場合には、上記人物検出部によって検出された上記人物部分の略中心線上および上記中心線よりも上記左手側の略半分側に位置する特徴点である。
上記特徴点検出部によって検出された上記複数の特徴点のうちの上記ポインタ位置演算部が上記2次元座標の原点とする特徴点は、
上記ポインタ位置演算部が上記ポインタの位置とする特徴点が右手である場合には、上記人物検出部によって検出された上記人物部分の略中心線上および上記中心線よりも上記右手側の略半分側に位置する特徴点であり、
上記ポインタ位置演算部が上記ポインタの位置とする特徴点が左手である場合には、上記人物検出部によって検出された上記人物部分の略中心線上および上記中心線よりも上記左手側の略半分側に位置する特徴点である。
この実施の形態によれば、上記原点となる特徴点は、上記人物部分の略中心線上に位置する特徴点、あるいは、上記中心線よりも上記ポインタとなる特徴点が在る側に位置する特徴点となるので、上記ポインタの表示位置が上記表示部の表示領域における一方に偏ることを更に低減することができる。
また、1実施の形態の情報処理装置では、
上記ポインタ位置演算部は、上記特徴点検出部によって検出された上記複数の特徴点のうちの上記2次元座標の原点とする特徴点が、上記3次元処理部が認識した画像上で移動した場合には、移動した後の上記画像上の位置に基づいて2次元座標上の新たな原点を設定するようになっている。
上記ポインタ位置演算部は、上記特徴点検出部によって検出された上記複数の特徴点のうちの上記2次元座標の原点とする特徴点が、上記3次元処理部が認識した画像上で移動した場合には、移動した後の上記画像上の位置に基づいて2次元座標上の新たな原点を設定するようになっている。
この実施の形態によれば、ジェスチャを行っている操作者の体が揺れたり、立ち位置が多少ずれたりしても、それに連れて上記表示部の表示領域に表示される上記ポインタの位置がずれることを抑制することができる。したがって、意図しない上記ポインタの位置ずれを修正する必要性を少なくし、操作性を大幅に向上させることができる。
また、1実施の形態の情報処理装置では、
上記撮像部は、2次元カメラを2個用いたステレオカメラである。
上記撮像部は、2次元カメラを2個用いたステレオカメラである。
この実施の形態によれば、通常3次元カメラとしてよく使用されるステレオカメラを用いることによって、上記3次元処理部が容易に上記距離情報を含む画像として認識を行うことができる画像を簡単に精度よく取得することができる。
以上より明らかなように、この発明の情報処理装置は、上記3次元処理部によって距離情報を含む画像として認識された画像上における人物(操作者)部分の一つの特徴点を原点とする上記表示部の2次元座標上における上記人物部分の他の特徴点の位置に、上記ポインタを表示するので、上記ポインタの表示範囲を常に操作者を原点として設定することができる。
したがって、上記表示部の表示領域上における原点の周囲に上記ポインタを表示することができ、上記ポインタの表示位置が上記表示部の表示領域における一方に偏ることを低減できる。
以下、この発明を図示の実施の形態により詳細に説明する。尚、以下の説明では、同一の機能および作用を示す物については同一の符号を付して、同じ説明を繰り返さないことにする。
図1に、本実施の形態の情報処理装置におけるブロック図を示す。図1において、3次元カメラ1は、撮影範囲の画像を3次元的に捉えることができるカメラであり、例えば2次元カメラを左右2個配置して構成されたステレオカメラを用いる。尚、上記ステレオカメラによる3次元計測原理については文献が多くあるので、ここでは説明を省略する。
3次元計測部2は、上記ステレオカメラ1からの画像に基づいて、例えば左カメラ画像を元画像にした距離画像を生成する。距離画像とは、左カメラ画像内の各画素値を距離の値に置き換えて表示したものであり、基本的にはグレースケール画像である。例えば、上記ステレオカメラ1から近い位置にある物体は明るく(白く)表示し、上記ステレオカメラ1から遠い位置にある物体は暗く(黒く)表示することで、距離を表現する。
人物検出部3は、上記3次元計測部2で得られた距離画像から、後に説明するようにして人物部分を検出する。ここで、人物検出部3として、後に説明する人体部位の識別器に相当するものを組み込んでおけば、3次元計測部2でリアルタイムに生成された距離画像から上記人物部分をスケルトンモデルとして検出することができる。ここで、上記スケルトンモデルとは、人物の関節および各関節間を線分(ボーン)でつないだ擬似的な骨格モデルを指すものとする(図4(c)参照)。
特徴点検出部4は、上記人物検出部3によって得られた上記スケルトンモデルから、指定した特徴点を検出する部分である。例えば、第1特徴点として「右手」を、第2特徴点として「頭」を予め指定しておくことによって、上記第1特徴点と上記第2特徴点とを検出する。後に詳述するように、上記スケルトンモデルでは人物の左右各関節および関節間ボーンが認識されているので、上記指定した特徴点に該当する部分を検出することは容易である。
ポインタ位置演算部5は、上記特徴点検出部4によって検出された特徴点の一つを原点とした2次元座標を設定して、他の特徴点の位置を上記設定した原点に対する座標値で相対的に算出する。演算方法は、後に詳細に説明する。
表示制御部6は、上記ポインタ位置演算部5によって得られた相対座標値に基づいて、表示部7にポインタを表示させる表示制御を行なう。
表示部7は、例えば液晶ディスプレイ等の表示ディスプレイである。
以下、上記人物検出部3によって行われる上記距離画像から上記人物部分を検出する方法について説明する。上記距離画像から上記人物部分を検出する処理を実行する方法として、例えば以下のようなものがある。
マイクロソフト社から出されている3次元カメラ「キネクト(Kinect)」と処理ソフトである「オープンNI(OpenNI:Open Natural Interaction)フレームワーク」とを用いて、撮像画像内から人物部分を検出する。より正確には、上記人物のスケルトンモデルを生成する。
上記人物のスケルトンモデルの生成は、夫々異なった形やサイズで夫々異なった姿勢を持った大量の人間のサンプル画像をコンピュータに学習させることによって、上記コンピュータに、ユーザーの体の一部分を別の一部分と区別させることによって行う。この方法によれば、大量の人物パターンを大量に機械学習させておくことによって、どのような人の形や姿勢でも識別できるような人体部位の識別器ができるのである。
上記キネクトのカメラは距離情報を計測できるので、遠くに居る背の高いユーザーと近くに居る背の低いユーザーを区別することができる。したがって、上記「キネクト」および「オープンNIフレームワーク」を用いることによって、リアルタイムに、手,頭,足のような人間の各部位の3次元空間上の位置を認識でき、人間のスケルトンモデル生成が実行できるのである。
上記キネクトと人体部位の識別器とを用いた処理の流れとしては、キネクトのカメラから各フレーム毎の距離画像を取得し、次に、各フレーム毎に体の推定各部位が各部位の何れに相当するのかの識別を識別器によって行う。そして、各フレーム毎に検出された各部位を用いて、運動力学的な拘束と時間的な一貫性とが保たれるように、3次元での各部位の配置(関節結合)を抽出する。最後に、得られた関節結合の仮説から、実際の人間の骨組み(スケルトン)の動きを推定する。そし、各仮説から確率的に一番尤もらしい3次元配置を計算し、人物のスケルトンの推定が確定する。
以上のことより、上記3次元計測部2で得られる距離画像とオープンNIフレームワークとによって、リアルタイムな人物スケルトンモデルが得られるのである。尚、キネクトおよびオープンNIフレームワークに関しては、インターネット等で情報が公開されているため、ここでは詳細な説明を省略する。
次に、本実施の形態におけるジェスチャによるポインタ表示および機器操作について説明する。操作対象の例として、液晶テレビジョンの操作を考える。
図2は、上記操作対象としての液晶TV(以下、単にTVと言う)と操作者との位置関係を示す。図2において、TV9の下部には、3次元カメラ1が設置されている。尚、3次元カメラ1はTV9と一体に構成されていても差し支えない)。操作者8は、3次元カメラ1の撮影画角内に位置しているものとする。
上記TV9の表示部7には、図3に示すような、アイコン11およびサムネイル12等が表示されているものとする。アイコン11には本TV9が有するアプリケーションが割り当てられており、例えば「写真」アイコンを実行するとメモリ(図示せず)に保存された写真の一覧が表示される等の写真アプリケーションが立ち上がる。また、登録されたTVチャンネルの放送中の各画像がサムネイル12として表示されており、選択されたサムネイル12の拡大画像が選択画像13として表示されている。
上記TV9の操作者8がTV9を操作する場合には、表示画面上にポインタ14を表示させ、そのポインタ14を所望のアイコン11あるいはサムネイル12上に移動させて実行動作を行なうことで実現できる。
上記3次元カメラ1で撮像された画像に基づいて3次元計測部2から得られた距離画像から、人物検出部3によって上記人物スケルトンモデルが得られることは上述した通りである。図4に、上記距離画像から上記スケルトンモデルが生成されるまでの過程を例示する。例えば、図4(a)のような距離画像が得られたとする。この距離画像には背景に壁や天井も含まれているが、この距離画像の中から上記距離データ等に基づいて、図4(b)の人物抽出および図4(c)のスケルトンモデル生成が行なわれる。
そうすると、次に、上記特徴点検出部4によって、上記スケルトンモデル内から指定した特徴点を検出する。例えば、予め、第1特徴点として「右手」を指定し、第2特徴点として「頭」を指定した場合、上記したようにスケルトンモデル生成時には、図4(c)に示すように人物の左右各関節および関節間ボーンが認識されているので、容易に指定した特徴点に相当する点を検出することができる。
次に、上記ポインタ位置演算部5によって、TV画面上に表示するポインタ14の位置が演算される。図5〜図7は、ポインタ14の位置の算出方法を示す。
上記特徴点検出部4によって検出された両特徴点の座標は、3次元計測部2から得られた距離画像の画素単位で定義される座標である。図5は、上記距離画像に基づいて生成されたスケルトンモデルであり、第1特徴点16である「右手」の座標(x1,y1)および第2特徴点17である「頭」の座標(x0,y0)が得られているとする。
一方において、上記TV9の表示部7で表示するために、表示画素単位で定義される表示用の座標系を考える。この表示座標は、図6に示すように、表示範囲の中央部を原点とし、縦が「2Ym」画素であり、横が「2Xm」画素である上記表示範囲を有する。
ここで、上記ポインタ14の動きを、上記第2特徴点17である「頭」の位置を原点とした場合の、第1特徴点16である「右手」の上記原点に対する動きに追従させるようにする。この場合、ポインタ14を表示する座標は、図5に示す距離画像座標から図6に示す表示座標に変換する必要がある。
今、図5に示すように、上記距離画像座標での表示範囲が、縦2ym×横2xmであるとする。これに対して、図6に示すように、上記表示座標での表示範囲が、縦2Ym×横2Xmであるとする。その場合には、以下のように、上記距離画像座標と上記表示座標とを関係付ける。
2xm=K・2Xm (Kは実数)
2ym=L・2Ym (Lは実数)
2xm=K・2Xm (Kは実数)
2ym=L・2Ym (Lは実数)
これらの式から、第1特徴点16である「右手」の表示座標系での座標(X1,Y1)は、次式で求められる。
X1=(x1−x0)/K
Y1=(y1−y0)/L
X1=(x1−x0)/K
Y1=(y1−y0)/L
但し、上記式での計算結果の座標は、上記TV9の表示部7における画素位置に相当するので、整数に丸める必要がある。
上記ポインタ位置演算部5は、上記式での演算を行って表示座標系での座標値を算出する。そして、表示制御部6によって、図7に示すように、上記得られた表示座標系での座標値に基づいて、TV9の表示部7における座標(X1,Y1)の位置にポインタ14を表示するのである。この場合におけるポインタ14の形状として「矢印」や「指」の形を用いる場合には、矢印および指の先端の点をポインタ14の位置とすることができる。
尚、上術の説明では、説明が煩雑になるために省略しているが、上記ポインタ位置演算部5は、上記表示部7の表示画面上に定義された2次元座標の原点となる第2特徴点17「頭」の、特徴点検出部4によって検出される上記距離画像上の座標での位置が移動した場合には、移動した後の上記距離画像上の座標での位置に基づいて、上記表示画面上の2次元座標における新たな原点を設定するようになっている。
こうすることにより、ジェスチャを行っている操作者8の体が揺れたり、立ち位置が多少ずれたりしても、それに連れて表示部7に表示されるポインタ14の位置がずれることを抑制することができる。したがって、意図しないポインタ14の位置ずれを修正する必要性を少なくし、操作性を大幅に向上させることができる。
以上のごとく、上記実施の形態においては、上記撮像部の一例としての3次元カメラ1によって撮像した画像を、上記3次元処理部の一例としての3次元計測部2によって距離情報を含む画像として認識して(所謂3次元的に認識して)距離画像を生成する。そして、人物検出部3によって上記距離画像から人物部分をスケルトンモデルとして検出し、特徴点検出部4によって上記スケルトンモデル(人物部分)から、少なくとも2つの特徴点(第1特徴点「右手」と第2特徴点「頭」)を検出する。そして、ポインタ位置演算部5によって、上記特徴点の一つ(第2特徴点「頭」)を表示部7の表示範囲における中央の原点とすると共に、表示部7の表示画素単位で定義された2次元座標を設定し、上記他の特徴点(第1特徴点「右手」)と上記原点との相対的な上記2次元座標上での座標値を算出する。そうした後、表示制御部6によって、上記得られた相対座標値に基づいて、表示部7にポインタ14を表示させる表示制御を行なうようにしている。
したがって、上記TV9を、図3に示すようなアイコン11およびサムネイル12を有するインターフェース上において、操作者8がジェスチャによって操作を行なう場合に、上記距離画像上における操作者8の「頭」に対する「右手」の相対位置に対応する、TV9の表示部7上における原点に対する相対位置に、ポインタ14を表示することが可能になる。すなわち、上記実施の形態によれば、表示部7上における原点の周囲にポインタ14が表示されることになり、ポインタ14の表示位置が表示部7の表示画面内における一方に偏ることを低減できるのである。
また、上記特徴点検出部4は、上記人物検出部3によって検出された上記スケルトンモデル(人物部分)のうちの片方の手の位置を、上記特徴点の一つとして検出するようにしている。したがって、操作者8がジェスチャによって操作を行なう場合に通常用いる右手あるいは左手を、上記特徴点の一つとして検出することによって、操作性の向上を図ることができる。
さらに、上記3次元カメラ1として、2次元カメラを2個用いたステレオカメラを用いている。したがって、通常3次元カメラとしてよく使用されるステレオカメラを用いることによって、3次元カメラ1を簡単に精度よく構成することができる。
尚、上記実施の形態においては、上記ポインタ位置演算部5を、特徴点検出部4が検出した特徴点のうち、表示部7上に設定された2次元座標の原点となる特徴点として、第2特徴点17である「頭」を選択するようにしている。しかしながら、この発明は、これに限定されるものではない。
要は、上記特徴点検出部4によって上記特徴点の一つとして検出された片方の手が右手である場合には、上記原点となる特徴点として、上記検出された人物部分内の略中心線上および上記中心線よりも右半分側で得られた特徴点を選択する。一方、特徴点検出部4によって上記特徴点の一つとして検出された片方の手が左手である場合には、上記原点となる特徴点として、上記検出された人物部分内の略中心線上および上記中心線よりも左半分側で得られた特徴点を選択すればよいのである。
このように、上記原点となる特徴点を選択することによって、ポインタ14の表示位置が表示部7の表示画面内における一方に偏ることを更に低減することができるのである。
1…3次元カメラ、
2…3次元計測部、
3…人物検出部、
4…特徴点検出部、
5…ポインタ位置演算部、
6…表示制御部、
7…表示部、
8…操作者、
9…TV、
11…アイコン、
12…サムネイル、
13…選択画像、
14…ポインタ、
16…第1特徴点、
17…第2特徴点。
2…3次元計測部、
3…人物検出部、
4…特徴点検出部、
5…ポインタ位置演算部、
6…表示制御部、
7…表示部、
8…操作者、
9…TV、
11…アイコン、
12…サムネイル、
13…選択画像、
14…ポインタ、
16…第1特徴点、
17…第2特徴点。
Claims (6)
- 撮像部と、
上記撮像部によって取得された画像を、距離情報を含む画像として認識する3次元処理部と、
上記3次元処理部によって認識された画像から人物部分を検出する人物検出部と、
上記人物検出部によって検出された人物部分から複数の特徴点を検出する特徴点検出部と、
上記特徴点検出部によって検出された上記複数の特徴点の何れか一つによって指定された位置にポインタを表示する表示部と、
上記特徴点検出部によって検出された上記複数の特徴点の一つを原点とする2次元座標を上記表示部の表示領域上に設定すると共に、他の特徴点の上記原点に対する相対的な座標値を、上記表示領域上における上記ポインタの位置として算出するポインタ位置演算部と、
上記ポインタ位置演算部によって算出された座標値に基づいて、上記表示部の表示領域上に上記ポインタを表示させる表示制御部と
を備えたことを特徴とする情報処理装置。 - 請求項1に記載の情報処理装置において、
上記ポインタ位置演算部によって上記表示部の表示領域上に設定される上記2次元座標の原点は、上記表示領域の中心に位置している
ことを特徴とする情報処理装置。 - 請求項1あるいは請求項2に記載の情報処理装置において、
上記特徴点検出部によって検出される上記複数の特徴点の一つは、上記人物検出部によって検出された人物部分の片方の手である
ことを特徴とする情報処理装置。 - 請求項1から請求項3までの何れか一つに記載の情報処理装置において、
上記特徴点検出部によって検出された上記複数の特徴点のうちの上記ポインタ位置演算部が上記2次元座標の原点とする特徴点は、
上記ポインタ位置演算部が上記ポインタの位置とする特徴点が右手である場合には、上記人物検出部によって検出された上記人物部分の略中心線上および上記中心線よりも上記右手側の略半分側に位置する特徴点であり、
上記ポインタ位置演算部が上記ポインタの位置とする特徴点が左手である場合には、上記人物検出部によって検出された上記人物部分の略中心線上および上記中心線よりも上記左手側の略半分側に位置する特徴点である
ことを特徴とする情報処理装置。 - 請求項1から請求項4までの何れか一つに記載の情報処理装置において、
上記ポインタ位置演算部は、上記特徴点検出部によって検出された上記複数の特徴点のうちの上記2次元座標の原点とする特徴点が、上記3次元処理部が認識した画像上で移動した場合には、移動した後の上記画像上の位置に基づいて2次元座標上の新たな原点を設定するようになっている
ことを特徴とする情報処理装置。 - 請求項1から請求項5までの何れか一つに記載の情報処理装置において、
上記撮像部は、2次元カメラを2個用いたステレオカメラである
ことを特徴とする情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012134980A JP2013257830A (ja) | 2012-06-14 | 2012-06-14 | 情報処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012134980A JP2013257830A (ja) | 2012-06-14 | 2012-06-14 | 情報処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013257830A true JP2013257830A (ja) | 2013-12-26 |
Family
ID=49954189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012134980A Pending JP2013257830A (ja) | 2012-06-14 | 2012-06-14 | 情報処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013257830A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017211988A (ja) * | 2016-05-27 | 2017-11-30 | トヨタ自動車株式会社 | 階層型コンテキストアウェアによる手足の検出 |
JP7182324B1 (ja) | 2022-03-14 | 2022-12-02 | mirrorX株式会社 | プログラム、情報処理装置及び方法 |
-
2012
- 2012-06-14 JP JP2012134980A patent/JP2013257830A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017211988A (ja) * | 2016-05-27 | 2017-11-30 | トヨタ自動車株式会社 | 階層型コンテキストアウェアによる手足の検出 |
US10043084B2 (en) | 2016-05-27 | 2018-08-07 | Toyota Jidosha Kabushiki Kaisha | Hierarchical context-aware extremity detection |
JP7182324B1 (ja) | 2022-03-14 | 2022-12-02 | mirrorX株式会社 | プログラム、情報処理装置及び方法 |
JP2023133885A (ja) * | 2022-03-14 | 2023-09-27 | mirrorX株式会社 | プログラム、情報処理装置及び方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10740976B2 (en) | Rendering virtual objects in 3D environments | |
US10511778B2 (en) | Method and apparatus for push interaction | |
US9134800B2 (en) | Gesture input device and gesture input method | |
US11029766B2 (en) | Information processing apparatus, control method, and storage medium | |
KR102147430B1 (ko) | 가상 공간 멀티 터치 인터랙션 장치 및 방법 | |
JP2015176253A (ja) | ジェスチャ認識装置およびジェスチャ認識装置の制御方法 | |
JP6344530B2 (ja) | 入力装置、入力方法、及びプログラム | |
EP2947549A1 (en) | Apparartus and method for navigating through volume image | |
JP2012238293A (ja) | 入力装置 | |
US20150277570A1 (en) | Providing Onscreen Visualizations of Gesture Movements | |
CN114047831B (zh) | 直接三维指向的计算系统和追踪指向/输入装置的方法 | |
JP2014029656A (ja) | 画像処理装置および画像処理方法 | |
KR101426378B1 (ko) | 깊이 정보를 이용한 프레젠테이션 이벤트 처리 장치 및 방법 | |
JPWO2018150569A1 (ja) | ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置 | |
TWI499938B (zh) | 觸控系統 | |
WO2011096571A1 (ja) | 入力装置 | |
JP2013257830A (ja) | 情報処理装置 | |
JP2010272078A (ja) | 電子情報ボードシステム、電子情報ボード制御装置およびカーソル制御方法 | |
US20130187890A1 (en) | User interface apparatus and method for 3d space-touch using multiple imaging sensors | |
US20220244788A1 (en) | Head-mounted display | |
JP2013218423A (ja) | 指向性映像コントロール装置及びその方法 | |
US20150070459A1 (en) | Information processing apparatus and information processing method | |
JP2015184986A (ja) | 複合現実感共有装置 | |
JP2014010684A (ja) | 情報処理装置 | |
KR101394604B1 (ko) | 모션 감지를 통한 사용자 인터페이스 구현 방법 및 그 장치 |