JP2004246578A - Interface method and device using self-image display, and program - Google Patents
Interface method and device using self-image display, and program Download PDFInfo
- Publication number
- JP2004246578A JP2004246578A JP2003035122A JP2003035122A JP2004246578A JP 2004246578 A JP2004246578 A JP 2004246578A JP 2003035122 A JP2003035122 A JP 2003035122A JP 2003035122 A JP2003035122 A JP 2003035122A JP 2004246578 A JP2004246578 A JP 2004246578A
- Authority
- JP
- Japan
- Prior art keywords
- image
- user
- real object
- inverted
- command
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】
【発明の属する技術分野】
本発明は、カメラからの画像を入力とし、人間の動作に基づき画面上でメニューを選択するインタフェース方法および装置に関する。
【0002】
【従来の技術】
従来、コンピュータと人間とのインタフェースにおいて、カメラからの画像を入力とし、人間の動作に基づき、画面上でメニュー選択するインタフェース装置としては、キーボードやマウス等のポインティング装置を用いる装置がある。また、体にマーカーを装着しカメラからの画像情報から動きを検出する方法や、体にセンサを装着し直接その動きを検出する方法がある。さらには、体に何も装着せずに、カメラからの入力画像等の情報から人間の動きを検出する方法もある。
【0003】
このような方法を用いたインタフェース装置の第1の従来例として、現在一般のコンピュータに接続可能で市販されている装置として、キーボード、マウス、タッチパネル型のディスプレイがある。これらはいずれもユーザの手の動きを検出し、入力情報に変換するものである。
【0004】
また、第2の従来例として、モーションキャプチャシステム関連の製品で、体にマーカーを装着し画像処理によって動きを検出する装置がある。例えば、Vicon Motion Systems Ltd.社の「3次元動作解析システムVicon」(販売元:株式会社ナックイメージテクノロジー)は、体の複数の部位に球形の反射マーカーを貼付け、複数台のカメラからの入力画像から画像処理により各マーカーの3次元座標を算出する方法である。
【0005】
また、第3の従来例として、体に動作計測可能なセンサを装着し、センサ情報から動きを検出する装置、例えば、磁気センサを用いた装置(ASCENSION社の「Motion Star」等)や、機械式センサを用いた装置(スパイス社の「Gypsy」、Immersion社の「Cyber Glove」等)などがある。
【0006】
また、第4の従来例として、体に何も装着せずにカメラ入力画像のみから動きを検出する装置がある(非特許文献1)。本方法は、画像処理によりマーカーやセンサを装着することなく人物の身振り認識をする方法で、画像から人物の動作に関わる特徴の抽出を行い動作認識を行う。
【0007】
また、第5の従来例として、Vivid Group社のGesture Xtreme Software関連製品(例えばSoccer GX, Volleyball等)がある。本製品は、CG背景画像上に自己画像を重ね合わせ、画像上でCGのボール等とユーザの体との接触判定を行い、その結果に基づいてゲーム等のCGソフトとユーザとのインタフェースを実現している。
【0008】
また、第6の従来例として、非特許文献2に記載の方法がある。本方法は、自画像上にCGのアイコンを表示させ、カメラに向かって行った動作に基づき希望のアイコンを選択(実行)するものである。
【0009】
【非特許文献1】
桐島ら、“注視点の学習と選択制御による身振りの実時間画像認識”、 PRMU2001−203, 2002.1
【非特許文献2】
佐木ら、“パソコン映像入力を用いたアクション・インタフェースの試み”、第12回ヒューマン・インタフェース・シンポジウム論文集、pp.21−218, 1996.
【0010】
【発明が解決しようとする課題】
しかしながら、上述した従来の方法では、以下に示す問題があった。
【0011】
第1の従来例は、操作者(ユーザ)の手の動きを検出する際に装置に接触する必要があることと、装置を利用するための固定し限定された場所が必要であることのため、接触型であることと、任意の場所での動作検出を行うことが困難であることである。
【0012】
第2、第3の従来例は、非接触型でありカメラ画像に写る範囲の任意の場所での動作を検出できるが、体の部位に常に何らかのマーカーまたはセンサを装着する必要があるため、家庭や職場等の通常生活におけるインタフェース装置としての利便性に欠ける。
【0013】
第4の従来例は、体に何も装着せずに動きを検出できるが、ユーザの動きが認識されているかどうか、目視で確認できないため、ユーザの利便性に欠ける。
【0014】
第5の従来例では、自画像を見ながら同じディスプレイに表示されたCGに体が触れることでユーザの位置を検出できるが、ユーザの体全体で接触判定を行うので、手指以外の部分(頭、腰、足等)がアイコン(接触すべきCG)に触っても区別なく接触とみなされることから、誤認識する可能性が高いため、認識精度が低い。また、ユーザの背後にアイコン(接触すべきCG)を置くことができないことから、インタフェース用のアイコンを任意の位置に置けないため、アイコン位置およびユーザ動作の自由度に制限がある。
【0015】
第5、第6の従来例は、自画像を見ながら同じディスプレイに表示されたCGの手指等を触れる(重ねる)ことでユーザの動きを検出できるが、背景に写っている実空間上の物体を指示することはできないため、応用範囲に制限がある。
【0016】
本発明の目的は、接触型である問題、任意の場所での動作検出を行うことが困難である問題、インタフェース装置としての利便性に欠ける問題を解決したインタフェース方法および装置を提供することにある。
【0017】
本発明の他の目的は、アイコン位置およびユーザの動作の自由度に制限がなく、かつ応用範囲に制限のないインタフェース方法および装置を提供することにある。
【0018】
【課題を解決するための手段】
上記目的を達成するために、本発明のインタフェース装置は、
操作者を含む画像(自己画像)を撮影する画像入力手段と、
入力された画像を左右反転した反転画像を生成する手段と、
該反転画像上で、操作者の指定する位置を検出する手段と、
該反転画像上で、操作者の指定するコマンドを選択する手段と、
該指定された位置とコマンドに基づき該反転画像上に情報を表示する手段とを有している。
【0019】
そのため、ユーザが装置と非接触で指定するコマンドを選択できるので、前記課題の(1)(2)(3)を解決できる。
【0020】
また、本発明の実施様態では、コマンドを選択する手段は、反転画像上に表示された実空間が撮影された画像中において、予め任意の実物体位置を登録する手段と、反転画像上で、操作者の指定する実物体を予め登録された複数の実物体の中から検出する手段とを有している。
【0021】
そのため、画像上に表示されたCGだけでなく実空間を撮影した画像中の実物体を指定することができるので、前記課題の(4)(5)を解決できる。
【0022】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【0023】
図1を参照すると、本発明の第1の実施形態のインタフェース装置は、操作者(ユーザ)を含む画像(自己画像)を入力画像とし、ユーザが自己画像を自分で見ながら、ユーザの動作に基づき、画像上でコマンド選択を実行するもので、画像入力部11と反転画像生成部12と指示位置検出部13と情報表示部14とコマンド選択部15で構成される。
【0024】
画像入力部11としては、図1のように1台のカメラを用いる。カメラは一般に用いられるビデオカメラでよく、白黒でもカラーでもよい。ただし下記で述べる色情報を使用した方法を用いる場合はカラーカメラが必要である。
【0025】
反転画像生成部12は、画像入力部11で入力された画像(入力画像)を入力し、左右反転させた画像(反転画像)を生成する(ステップ21)。コンピュータ内へ取り込んだ入力画像に対し汎用の画像処理ソフトウェア(例:HALCON)により、リアルタイムに反転画像を生成することができる。または、入力画像を入力し反転画像をリアルタイムに生成する機器(例:(株)朋栄の画面左右反転装置UPI―100LRF、またはカメラ一体型でSONYのEVY―D100)で実現できる。
【0026】
指示位置検出部13は、反転画像生成部12で得られた該反転画像上において、ユーザが手指等の体の部位で指し示す位置(ユーザ指示位置)を検出する(ステップ22)。
【0027】
指示位置検出部13の1つ目の例として、ユーザがマーカを持ち、反転画像中のマーカーを画像処理により検出する方法がある。例えば、まず、赤色(他の色でもよいが、背景画像中に少ない色が好ましい)の物体を手に持ちもしくは装着し、それをカメラ11の前で手振りして動かす。得られたカラー画像のRGB等の色情報の値から赤色成分を抽出し(ステップ21)、ラベリング処理(固まり毎にグループに分ける一般的な画像処理方法)を行い(ステップ22)、その中で最も面積の大きい赤色部分を1つ選び(ステップ23)、その位置の重心位置(x, y)を求め、得られた(x, y)座標をユーザ指示位置とする(ステップ24)。ここで、赤色の物体の代わりに、赤色(前記物体同様、他の色でもよい)の発光ダイオード(LED)を発光させた状態で、手に持ちもしくは装着し、当該色を抽出して同様に行う方法も可能である。(x, y)は重心位置(抽出した部分の全画素値のx座標の合計値の平均値、およびy座標の合計値の平均値)でなく、中心位置(抽出した部分のx座標の最大値と最小値の中心値、およびy座標の最大値と最小値の中心値)でもよい。
【0028】
指示位置検出部13の2つ目の例として、ユーザがマーカを持たずに、反転画像中の手の位置を画像処理により直接検出する方法がある。例えば、まず、得られたカラー画像のRGB等色情報の値から肌色成分を抽出し(ステップ31)、ラベリング処理を行う(ステップ32)。得られた複数の肌色部分の中から、手の大きさや位置等の制約情報を利用して、目的とする手を選択する。その選択する具体的な方法としては、通常ユーザが衣服を着ているとすると、肌色部分の候補となる可能性が高いのは両手と顔と考えられ、また最も面積の大きいのは顔と考えられるので、2つ目と3つ目の面積が大きい肌色部分を手の候補として選択する(ステップ33)。ユーザ指定位置が両手両方とした場合、その2つの肌色部分の候補に対する重心位置を、各々左右の手のユーザ指定位置とすればよい。また、ユーザ指定位置を1つとすると、2つの候補から1つ選ぶ必要があるが、予め例えば右手を指定する手としたら、体より右手側にある候補を(右手の可能性が高いことから)右手の肌色部分として選び、その重心位置を右手のユーザ指定位置とすればよい(ステップ34)。左手の場合も同様である。
【0029】
指示位置検出部13のこれらの例では、前述した検出処理をする前に、差分画像を用いた処理を加えることにより、精度を上げることもできる。差分画像を用いた処理とは、例えば、反転画像上で、予め撮影した背景画像(ユーザのいない状態で撮影した画像)と、現在撮影している現画像(ユーザがいる状態の画像)との間で差分画像を作成する。差分画像とは、例えば、全画素について、画素毎に背景画像の画素値と(同じ画素位置の)現画像の画素値の差の絶対値を求めることにより作成できる。この差分画像を用いることにより、予め体等の動く物体だけを抽出しておき、その後前述したような画像処理(例えば、体に付けたマーカを抽出する方法や、肌色を抽出する方法等)によりユーザ指定位置を検出しその座標を取得すれば、背景画像に含まれるマーカの色や肌色に似た色の誤検出を減らせることが容易に推測できる。
【0030】
このような指示位置検出部13により、コマンド選択のために、体全体を対象とせず、マーカや手のみを接触判定部位に用いることができるので、コマンド選択のためのアイコン等を任意の位置におけるその位置およびユーザ動作に関して高い自由度が得られる。
【0031】
コマンド選択部14は、指示位置検出部13で得られたユーザ指示位置と、情報表示部15で表示される複数のコマンド情報の表示位置を照らし合わせ、両者の位置関係からユーザが指示しようとするコマンド情報を探索し選択する(ステップ23)。例えば、ユーザ指示位置からある一定の距離範囲に表示されたコマンドがあればそれを選択すればよい。指示位置検出部13では、体全体で接触判定を行わずユーザの希望する体の部位で接触判定を行うので、情報表示部15で表示するコマンド情報の表示位置は、ユーザの体の部位で接触判定を行わない部位の後ろに隠れてもかまわないため、コマンド情報の表示位置も、ユーザ自身の位置も画面上で任意の位置に配置することができる。
【0032】
情報表示部15は、反転画像生成部12で得られた反転画像と、コマンド選択部14で選択されたコマンド情報とを重ね合わせてディスプレイに表示する(ステップ24)。ディスプレイは、コンピュータ用に使われる汎用のディスプレイでよく、コンピュータの画面とカメラ画像を表示できるものであればよい。コマンド情報としては、コンピュータで作成したCGで選択可能なコマンドを各々表示すればよい。
【0033】
ユーザは、自己画像が映った画面を見ながら、同じ画面上にCG表示されているコマンド情報に手指等を重ね合わせるだけでコマンド選択が可能であるため、わかりやすく間違いの少ない指示が可能になる。
【0034】
図4を参照すると、本発明の第2の実施形態のインタフェース装置は、操作者(ユーザ)を含む画像(自己画像)を入力画像とし、ユーザが自己画像を自分で見ながら、ユーザの動作に基づき、画像上に含まれる実空間中の実物体を選択するもので、画像入力部11と反転画像生成部12と指示位置検出部13と実物体検出部16と実物体登録部19と情報表示部15で構成される。
【0035】
本実施形態では第1の実施形態で示したコマンド選択部14に、実物体の検出ができる仕組みを装備する。具体的には、第1の実施形態のコマンド選択部14を実物体検出部16と実物体登録部19で構成する。実物体登録部19は実物体登録処理部17と実物体位置データ18で構成される。他の画像入力部11、反転画像生成部12、指示位置検出部13、情報表示部15は、第1の実施形態と同様である。
【0036】
実物体登録処理部17は、反転画像上に含まれている任意の実物体(例えば家の中とすると、テレビ、エアコン、コンピュータ、時計、窓、棚、椅子、机、引出し、書類、オーディオ機器、照明機器等)について、予め、該反転画像上での表示位置を各々求め、実物体位置データ18へ各々登録・保存する(ステップ25)。もしくは、予め固定の位置を求めておくのではなく、対象とする実物体毎に位置認識可能なセンサ(市販されている磁気センサや超音波センサ等)と取り付けておくことにより、各々の物体の位置をリアルタイムに認識することができるので、それらにより得られた位置情報から該実物体位置データを算出し、常時実物体位置データを更新していくことも可能である。この場合、物体を移動させてもその位置も移動させることができる。
【0037】
実物体位置データ18は、物体の中心座標(x, y)1個でもよいが、範囲を示す情報(例えば、矩形枠の始点座標(x1, y1)と終点座標(x2, y2)や、中心座標(x, y)と半径値rや、または物体の存在する全ドットの座標リスト等)を持たせておいてもよい。第1の実施形態の指示位置検出部13の処理と同様に中心座標は重心座標でもよい。
【0038】
実物体検出部19は、実物体位置データ18に保存されている複数の位置データと、指示位置検出部13で得られたユーザ指示位置とを照らし合わせ、第1の実施形態のコマンド選択部14と同様に、両者の位置関係に基づきユーザが指示しようとする実物体を検出し、選択する(ステップ26)。例えば、ユーザ指示位置からある一定の距離範囲に実物体の位置データがあればそれを選択すればよい。または、実物体位置データとして範囲を持たせておいた場合は、ユーザ指示位置の座標がその範囲に含まれる実物体を検出し選択する。
【0039】
図6に本実施形態によるインタフェース動作の例を示す。
【0040】
ユーザが見ている自己画像上に映っている実物体について、予め表示位置を求め、各々実物体位置データ18へ登録しておく(前述したように位置認識センサ等を用いた場合は自動的に実物体位置を検出し物体位置データ18へ登録更新させることもできる)。ユーザが指示動作をしていないときは何も反応しないが、ユーザがアクセスしたい実物体に手(やマーカ)等を重ねる動作を行い、実物体検出部16で実物体を検出したと判定したとき、検出された実物体の位置が明示される。その明示の仕方は、図のように、例えば実物体と同じ形もしくはほぼ同じ大きさのアイコン(必要に応じ色を変えたものや半透明もしくは透明にしたものや点滅させたもの等)を該実物体の上に重ねて表示する方法や、実物体の中心付近や実物体周囲にCGによるマーカ(必要に応じ色を変えたものや半透明もしくは透明にしたものや点滅させたもの等)を表示する方法など容易に考えられる。すなわち、実際は実物体位置上の仮想のアイコン、もしくは表示した(透明や半透明もしくはその他の色の)CGアイコンを触ることとなる。また、検出された実物体の周囲等に、関連する情報(名称や状態等)を表示してもよい。さらに、図のように、検出された実物体の位置の周囲等に、その後続けて選択すべきメニューリストをCG表示し、ユーザはそのメニューリストから同様の選択方法(すなわち手などを選択したいメニューアイコンに重ね合わせて選択する方法)等によりメニューを選択し実行することも可能である。
【0041】
これにより、ユーザは、画像上に表示されたCGアイコンを指定してコマンド選択できるだけでなく、実空間画像中の実物体を直接選択することも可能となる。第1の実施形態のようにCGコマンド選択と組み合わせれば、例えば、テレビ等を指し示して選択すると、テレビのスイッチやチャンネル等を制御するコマンド選択のためのCGメニューが該実物体(テレビ)の周辺に表示され、ユーザは続けてコマンド選択を行い、テレビ等を制御することが可能である。
【0042】
また、図6ではユーザが指示動作をしていないときは何も反応していないが、例えば、図7のように、実物体側でユーザに提示すべき情報が獲得していた場合、自己画像上の該実物体上または周囲に該情報を表示したり、もしくはアイコン(色を変えたものや半透明にしたものや点滅させたもの等)を該実物体上に重ねたりして明示し、見ているユーザに知らせるようにすることも考えられる。その後は前述と同様に、ユーザが該実物体を選択すると、必要な情報やメニューリストが表示される。
【0043】
なお、本発明は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、CD―ROM等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの(伝送媒体もしくは伝送波)、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【0044】
【発明の効果】
請求項1、3、5の発明によれば、ユーザは何も装着せずに、また直接何も触れずに、ユーザが指令するコマンドを選択できるため、非接触で、かつ任意の場所での動作検出を行うことが可能である。また、ユーザが自己画像上において、自分の体の任意の部位(手指等)を直接見ながら、該画像上に表示されたコマンドを選択できるため、ユーザにとって直感的なインタフェース装置を実現でき、利便性が向上する。
【0045】
請求項2、4、5の発明によれば、画像上に表示されたCGだけでなく実空間を撮影した画像中の実物体を指定することができるため、CGによるコマンド選択だけでなく、実物体の直接選択すること可能であり、応用範囲を拡大することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態のインタフェース装置のブロック図である。
【図2】第1の実施形態の全体の処理の流れを示すフローチャートである。
【図3】指定位置検出部13の処理の流れを示すフローチャートである。
【図4】本発明の第2の実施形態のインタフェース装置のブロック図である。
【図5】第2の実施形態の処理の流れを示すフローチャートである。
【図6】第2の実施形態におけるインタフェース動作の例を説明する図である。
【図7】第2の実施形態における実物体の情報表示の例を説明する図である。
【符号の説明】
11 画像入力部
12 反転画像生成部
13 指示位置検出部
14 コマンド選択部
15 情報表示部
16 実物体検出部
17 実物体登録処理部
18 実物体位置データ
19 実物体登録部
21〜26、31〜34 ステップ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an interface method and an apparatus for inputting an image from a camera and selecting a menu on a screen based on a human operation.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, in an interface between a computer and a human, as an interface device that receives an image from a camera and selects a menu on a screen based on a human operation, there is a device using a pointing device such as a keyboard and a mouse. There are also a method of attaching a marker to the body and detecting movement from image information from a camera, and a method of attaching a sensor to the body and directly detecting the movement. Further, there is a method of detecting a human motion from information such as an input image from a camera without wearing anything on the body.
[0003]
As a first conventional example of an interface device using such a method, there are a keyboard, a mouse, and a touch panel display as devices that can be connected to a general computer and are commercially available. These are all for detecting the movement of the user's hand and converting it into input information.
[0004]
In addition, as a second conventional example, there is a device for attaching a marker to a body and detecting a motion by image processing in a product related to a motion capture system. See, for example, Vicon Motion Systems Ltd. "3D motion analysis system Vicon" (sold by NAC Image Technology Co., Ltd.) pastes spherical reflective markers on multiple parts of the body and processes each marker by image processing from input images from multiple cameras. This is a method of calculating three-dimensional coordinates.
[0005]
Further, as a third conventional example, a device that attaches a sensor capable of measuring a motion to a body and detects a motion from the sensor information, for example, a device using a magnetic sensor (such as “Motion Star” manufactured by ASCENSION) or a machine There are devices using a type sensor ("Gypsy" by Spice, "Cyber Glove" by Immersion), and the like.
[0006]
In addition, as a fourth conventional example, there is a device that detects movement only from a camera input image without wearing anything on the body (Non-Patent Document 1). This method is a method of recognizing a gesture of a person without attaching a marker or a sensor by image processing, and extracts a feature related to a motion of the person from an image to perform a motion recognition.
[0007]
As a fifth conventional example, there is a product related to the Gesture Xstream Software of Vivid Group (for example, Soccer GX, Volleyball, etc.). This product superimposes the self-image on the CG background image, determines the contact between the CG ball etc. and the user's body on the image, and realizes the interface between the CG software such as games and the user based on the result. are doing.
[0008]
As a sixth conventional example, there is a method described in Non-Patent Document 2. In this method, a CG icon is displayed on a self-portrait, and a desired icon is selected (executed) based on an operation performed toward the camera.
[0009]
[Non-patent document 1]
Kirishima et al., “Real-time Image Recognition of Gestures by Learning Gaze Points and Selecting and Controlling,” PRMU 2001-203, 2002.1.
[Non-patent document 2]
Saki et al., “A trial of action interface using personal computer video input”, Proceedings of the 12th Human Interface Symposium, pp. 21-218, 1996.
[0010]
[Problems to be solved by the invention]
However, the conventional method described above has the following problems.
[0011]
In the first conventional example, it is necessary to contact the device when detecting the movement of the hand of the operator (user), and to require a fixed and limited place for using the device. That is, it is a contact type, and it is difficult to detect an operation at an arbitrary place.
[0012]
The second and third conventional examples are non-contact type and can detect an operation at an arbitrary position within a range shown in a camera image. However, since it is necessary to always attach some marker or sensor to a body part, Lacks the convenience as an interface device in normal life such as work and work.
[0013]
In the fourth conventional example, the movement can be detected without wearing anything on the body, but it is not convenient for the user because it is impossible to visually check whether the movement of the user is recognized.
[0014]
In the fifth conventional example, the position of the user can be detected by touching the CG displayed on the same display while watching the self-portrait. However, since contact determination is performed on the entire body of the user, portions other than the fingers (head, Even if the user touches an icon (CG to be touched) without any distinction, the recognition accuracy is low because the possibility of erroneous recognition is high. In addition, since an icon (CG to be touched) cannot be placed behind the user, an interface icon cannot be placed at an arbitrary position, which limits the icon position and the degree of freedom of user operation.
[0015]
In the fifth and sixth conventional examples, a user's movement can be detected by touching (overlapping) a finger or the like of a CG displayed on the same display while watching a self-portrait. There is a limitation in the application range because it cannot be instructed.
[0016]
SUMMARY OF THE INVENTION An object of the present invention is to provide an interface method and an apparatus that solve the problem of a contact type, the problem of difficulty in detecting motion at an arbitrary place, and the problem of lack of convenience as an interface apparatus. .
[0017]
It is another object of the present invention to provide an interface method and apparatus in which the position of icons and the degree of freedom of the user's operation are not limited and the application range is not limited.
[0018]
[Means for Solving the Problems]
In order to achieve the above object, an interface device of the present invention comprises:
Image input means for taking an image (self image) including the operator;
Means for generating an inverted image obtained by horizontally inverting the input image;
Means for detecting a position specified by the operator on the inverted image;
Means for selecting a command specified by the operator on the inverted image;
Means for displaying information on the inverted image based on the designated position and the command.
[0019]
Therefore, since the user can select a command to be specified without contacting the apparatus, the above problems (1), (2), and (3) can be solved.
[0020]
Further, in the embodiment of the present invention, the means for selecting a command includes, in an image obtained by photographing the real space displayed on the reverse image, a means for registering an arbitrary real object position in advance, and: Means for detecting a real object designated by the operator from a plurality of real objects registered in advance.
[0021]
Therefore, not only the CG displayed on the image but also the real object in the image obtained by photographing the real space can be designated, so that the problems (4) and (5) can be solved.
[0022]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings.
[0023]
Referring to FIG. 1, an interface device according to a first embodiment of the present invention uses an image (self image) including an operator (user) as an input image and allows the user to view the self image while watching the self image. The command selection is performed on the image based on the
[0024]
As the
[0025]
The inverted
[0026]
The designated
[0027]
As a first example of the designated
[0028]
As a second example of the pointing
[0029]
In these examples of the pointing
[0030]
With such an indicated
[0031]
The
[0032]
The
[0033]
The user can select a command simply by superimposing his / her finger on the command information displayed in the CG on the same screen while watching the screen on which the self-image is reflected, so that it is possible to give an easy-to-understand instruction with few errors. .
[0034]
Referring to FIG. 4, the interface device according to the second embodiment of the present invention uses an image (self image) including an operator (user) as an input image, and allows the user to view the self image while watching the self image. A real object in a real space included in an image is selected based on the
[0035]
In the present embodiment, the
[0036]
The real object
[0037]
The real
[0038]
The real object detection unit 19 collates the plurality of position data stored in the real
[0039]
FIG. 6 shows an example of the interface operation according to the present embodiment.
[0040]
The display position of the real object reflected on the self image viewed by the user is obtained in advance and registered in the real object position data 18 (when the position recognition sensor or the like is used as described above, the display position is automatically determined). The actual object position can be detected and registered and updated in the object position data 18). When the user does not perform the instructing operation, there is no reaction, but when the user performs an operation of superimposing a hand (or a marker) on the real object that the user wants to access, and determines that the real
[0041]
Thus, the user can not only select a command by specifying the CG icon displayed on the image, but also directly select a real object in the real space image. When combined with CG command selection as in the first embodiment, for example, when pointing to and selecting a television or the like, a CG menu for selecting a command for controlling a switch, channel, or the like of the television is displayed on the real object (television). Displayed in the vicinity, the user can continuously select a command and control a television or the like.
[0042]
In FIG. 6, when the user does not perform an instruction operation, nothing is reacted. For example, as shown in FIG. 7, when information to be presented to the user on the real object side is acquired, The information is displayed on or around the real object, or icons (colored, translucent, blinking, etc.) are clearly displayed on the real object by superimposition. It is also conceivable to notify the user who is in charge. Thereafter, as described above, when the user selects the real object, necessary information and a menu list are displayed.
[0043]
In addition, the present invention records a program for realizing the function other than that realized by dedicated hardware on a computer-readable recording medium, and stores the program recorded on the recording medium in a computer system. It may be read and executed. The computer-readable recording medium refers to a recording medium such as a floppy disk, a magneto-optical disk, a CD-ROM, or a storage device such as a hard disk device built in a computer system. Further, the computer-readable recording medium is one that dynamically holds the program for a short time (transmission medium or transmission wave), such as a case where the program is transmitted via the Internet, and serves as a server in that case. It also includes those that hold programs for a certain period of time, such as volatile memory inside a computer system.
[0044]
【The invention's effect】
According to the first, third and fifth aspects of the present invention, the user can select a command to be issued by the user without wearing anything or directly touching anything. Motion detection can be performed. In addition, since the user can select a command displayed on the self-image while directly looking at an arbitrary part (finger or the like) of his or her own body, an interface device intuitive for the user can be realized, which is convenient. The performance is improved.
[0045]
According to the invention of claims 2, 4, and 5, since not only the CG displayed on the image but also the real object in the image obtained by photographing the real space can be specified, not only command selection by CG but also real object It is possible to directly select the body, and the range of application can be expanded.
[Brief description of the drawings]
FIG. 1 is a block diagram of an interface device according to a first embodiment of the present invention.
FIG. 2 is a flowchart illustrating a flow of an entire process according to the first embodiment.
FIG. 3 is a flowchart showing a flow of processing of a designated
FIG. 4 is a block diagram of an interface device according to a second embodiment of the present invention.
FIG. 5 is a flowchart illustrating a flow of a process according to a second embodiment.
FIG. 6 is a diagram illustrating an example of an interface operation according to the second embodiment.
FIG. 7 is a diagram illustrating an example of information display of a real object according to the second embodiment.
[Explanation of symbols]
Claims (5)
操作者を含む画像を撮影する画像入力ステップと、
入力された画像を左右反転した反転画像を生成するステップと、
該反転画像上で、操作者の指定する位置を検出するステップと、
該反転画像上で、操作者の指定するコマンドを選択するステップと、
該指定された位置とコマンドに基づき該反転画像上に情報を表示するステップとを有するインタフェース方法。An interface method for inputting an image from a camera and recognizing human motion,
An image input step of capturing an image including the operator;
Generating an inverted image by inverting the input image horizontally,
Detecting a position specified by the operator on the inverted image;
Selecting a command specified by the operator on the inverted image;
Displaying information on the inverted image based on the designated position and the command.
該反転画像上に表示された実空間が撮影された画像中において、予め任意に実物体位置を登録するステップと、
該反転画像上で、操作者の指定する実物体を予め登録された複数の実物体の中から検出するステップとを含む請求項1記載のインタフェース方法。The step of selecting the command includes:
A step of arbitrarily registering a real object position in advance in an image obtained by photographing the real space displayed on the inverted image,
Detecting the real object specified by the operator from the plurality of pre-registered real objects on the inverted image.
操作者を含む画像を撮影する画像入力手段と、
入力された画像を左右反転した反転画像を生成する手段と、
該反転画像上で、操作者の指定する位置を検出する手段と、
該反転画像上で、操作者の指定するコマンドを選択する手段と、
該指定された位置とコマンドに基づき該反転画像上に情報を表示する手段とを有するインタフェース装置。An interface device that receives an image from a camera and recognizes human motion,
Image input means for capturing an image including the operator;
Means for generating an inverted image obtained by horizontally inverting the input image;
Means for detecting a position specified by the operator on the inverted image;
Means for selecting a command specified by the operator on the inverted image;
Means for displaying information on the inverted image based on the designated position and the command.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003035122A JP4323180B2 (en) | 2003-02-13 | 2003-02-13 | Interface method, apparatus, and program using self-image display |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003035122A JP4323180B2 (en) | 2003-02-13 | 2003-02-13 | Interface method, apparatus, and program using self-image display |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004246578A true JP2004246578A (en) | 2004-09-02 |
JP4323180B2 JP4323180B2 (en) | 2009-09-02 |
Family
ID=33020633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003035122A Expired - Lifetime JP4323180B2 (en) | 2003-02-13 | 2003-02-13 | Interface method, apparatus, and program using self-image display |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4323180B2 (en) |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004246856A (en) * | 2002-12-18 | 2004-09-02 | National Institute Of Advanced Industrial & Technology | Interface device |
JP2006221550A (en) * | 2005-02-14 | 2006-08-24 | Nippon Telegr & Teleph Corp <Ntt> | Method of interface, system, program, and recording medium |
JP2008065663A (en) * | 2006-09-08 | 2008-03-21 | Victor Co Of Japan Ltd | Electronic equipment |
CN100444612C (en) * | 2005-12-14 | 2008-12-17 | 日本胜利株式会社 | Electronic appliance |
JP2009070314A (en) * | 2007-09-18 | 2009-04-02 | Sony Corp | Image processor and image processing method, and program |
JP2009259117A (en) * | 2008-04-18 | 2009-11-05 | Panasonic Electric Works Co Ltd | Mirror system |
JP2009277195A (en) * | 2008-04-18 | 2009-11-26 | Panasonic Electric Works Co Ltd | Information display system |
US7629959B2 (en) | 2004-09-21 | 2009-12-08 | Victor Company Of Japan, Limited | Controller for electronic appliance |
US7679689B2 (en) | 2005-05-16 | 2010-03-16 | Victor Company Of Japan, Limited | Electronic appliance |
JP2010515170A (en) * | 2006-12-29 | 2010-05-06 | ジェスチャー テック,インコーポレイテッド | Manipulating virtual objects using an enhanced interactive system |
JP2010176510A (en) * | 2009-01-30 | 2010-08-12 | Sanyo Electric Co Ltd | Information display device |
JP2010539590A (en) * | 2007-09-14 | 2010-12-16 | インテレクチュアル ベンチャーズ ホールディング 67 エルエルシー | Gesture-based user interaction processing |
JP2011076255A (en) * | 2009-09-29 | 2011-04-14 | Fujitsu Ltd | Gesture recognizing device, gesture recognizing method and gesture recognizing program |
JP2011209965A (en) * | 2010-03-29 | 2011-10-20 | Sony Corp | Information processor, information processing method and program |
JP2012005653A (en) * | 2010-06-24 | 2012-01-12 | Panasonic Electric Works Co Ltd | Progressive loading training system |
JP2012065819A (en) * | 2010-09-22 | 2012-04-05 | Panasonic Corp | Range-of-motion training system |
JP2012196315A (en) * | 2011-03-22 | 2012-10-18 | Nagasakiken Koritsu Daigaku Hojin | Occupational therapy training support apparatus |
JP2012525230A (en) * | 2009-05-01 | 2012-10-22 | マイクロソフト コーポレーション | Virtual port management method and system |
JP2013224204A (en) * | 2012-04-23 | 2013-10-31 | Toshiba Elevator Co Ltd | Car |
US8595218B2 (en) | 2008-06-12 | 2013-11-26 | Intellectual Ventures Holding 67 Llc | Interactive display management systems and methods |
US8810803B2 (en) | 2007-11-12 | 2014-08-19 | Intellectual Ventures Holding 67 Llc | Lens system |
JP2014164406A (en) * | 2013-02-22 | 2014-09-08 | Yoshida Dental Mfg Co Ltd | Business support system |
US9128519B1 (en) | 2005-04-15 | 2015-09-08 | Intellectual Ventures Holding 67 Llc | Method and system for state-based control of objects |
JP2015191480A (en) * | 2014-03-28 | 2015-11-02 | 株式会社ソニー・コンピュータエンタテインメント | Information processor, operation method of object and operation program of object |
US9247236B2 (en) | 2008-03-07 | 2016-01-26 | Intellectual Ventures Holdings 81 Llc | Display with built in 3D sensing capability and gesture control of TV |
JP2016515325A (en) * | 2013-02-20 | 2016-05-26 | マイクロソフト テクノロジー ライセンシング,エルエルシー | Providing a remote immersive experience using a mirror metaphor |
US10080963B2 (en) | 2014-03-28 | 2018-09-25 | Sony Interactive Entertainment Inc. | Object manipulation method, object manipulation program, and information processing apparatus |
JP2023005985A (en) * | 2021-06-30 | 2023-01-18 | 賢一 丹羽 | user interface system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04123121A (en) * | 1990-09-13 | 1992-04-23 | Sony Corp | Image input device |
JPH07175587A (en) * | 1993-10-28 | 1995-07-14 | Hitachi Ltd | Information processor |
JP2002196855A (en) * | 2000-10-06 | 2002-07-12 | Sony Computer Entertainment Inc | Image processor, image processing method, recording medium, computer program and semiconductor device |
-
2003
- 2003-02-13 JP JP2003035122A patent/JP4323180B2/en not_active Expired - Lifetime
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04123121A (en) * | 1990-09-13 | 1992-04-23 | Sony Corp | Image input device |
JPH07175587A (en) * | 1993-10-28 | 1995-07-14 | Hitachi Ltd | Information processor |
JP2002196855A (en) * | 2000-10-06 | 2002-07-12 | Sony Computer Entertainment Inc | Image processor, image processing method, recording medium, computer program and semiconductor device |
Cited By (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004246856A (en) * | 2002-12-18 | 2004-09-02 | National Institute Of Advanced Industrial & Technology | Interface device |
US7629959B2 (en) | 2004-09-21 | 2009-12-08 | Victor Company Of Japan, Limited | Controller for electronic appliance |
JP4555701B2 (en) * | 2005-02-14 | 2010-10-06 | 日本電信電話株式会社 | Information processing method, interface device, program, and recording medium |
JP2006221550A (en) * | 2005-02-14 | 2006-08-24 | Nippon Telegr & Teleph Corp <Ntt> | Method of interface, system, program, and recording medium |
US9128519B1 (en) | 2005-04-15 | 2015-09-08 | Intellectual Ventures Holding 67 Llc | Method and system for state-based control of objects |
US7679689B2 (en) | 2005-05-16 | 2010-03-16 | Victor Company Of Japan, Limited | Electronic appliance |
CN100444612C (en) * | 2005-12-14 | 2008-12-17 | 日本胜利株式会社 | Electronic appliance |
JP2008065663A (en) * | 2006-09-08 | 2008-03-21 | Victor Co Of Japan Ltd | Electronic equipment |
JP4650381B2 (en) * | 2006-09-08 | 2011-03-16 | 日本ビクター株式会社 | Electronics |
US8559676B2 (en) | 2006-12-29 | 2013-10-15 | Qualcomm Incorporated | Manipulation of virtual objects using enhanced interactive system |
JP2010515170A (en) * | 2006-12-29 | 2010-05-06 | ジェスチャー テック,インコーポレイテッド | Manipulating virtual objects using an enhanced interactive system |
US10990189B2 (en) | 2007-09-14 | 2021-04-27 | Facebook, Inc. | Processing of gesture-based user interaction using volumetric zones |
JP2010539590A (en) * | 2007-09-14 | 2010-12-16 | インテレクチュアル ベンチャーズ ホールディング 67 エルエルシー | Gesture-based user interaction processing |
US10564731B2 (en) | 2007-09-14 | 2020-02-18 | Facebook, Inc. | Processing of gesture-based user interactions using volumetric zones |
US9811166B2 (en) | 2007-09-14 | 2017-11-07 | Intellectual Ventures Holding 81 Llc | Processing of gesture-based user interactions using volumetric zones |
US9058058B2 (en) | 2007-09-14 | 2015-06-16 | Intellectual Ventures Holding 67 Llc | Processing of gesture-based user interactions activation levels |
JP4636064B2 (en) * | 2007-09-18 | 2011-02-23 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
JP2009070314A (en) * | 2007-09-18 | 2009-04-02 | Sony Corp | Image processor and image processing method, and program |
US9098770B2 (en) | 2007-09-18 | 2015-08-04 | Sony Corporation | Image processing device and image processing method, and program |
US8379986B2 (en) | 2007-09-18 | 2013-02-19 | Sony Corporation | Device, method, and computer-readable storage medium for recognizing an object in an image |
US9968845B2 (en) | 2007-09-18 | 2018-05-15 | Sony Corporation | Image processing device and image processing method, and program |
US9229107B2 (en) | 2007-11-12 | 2016-01-05 | Intellectual Ventures Holding 81 Llc | Lens system |
US8810803B2 (en) | 2007-11-12 | 2014-08-19 | Intellectual Ventures Holding 67 Llc | Lens system |
US9247236B2 (en) | 2008-03-07 | 2016-01-26 | Intellectual Ventures Holdings 81 Llc | Display with built in 3D sensing capability and gesture control of TV |
US10831278B2 (en) | 2008-03-07 | 2020-11-10 | Facebook, Inc. | Display with built in 3D sensing capability and gesture control of tv |
JP2009259117A (en) * | 2008-04-18 | 2009-11-05 | Panasonic Electric Works Co Ltd | Mirror system |
JP2009277195A (en) * | 2008-04-18 | 2009-11-26 | Panasonic Electric Works Co Ltd | Information display system |
US8595218B2 (en) | 2008-06-12 | 2013-11-26 | Intellectual Ventures Holding 67 Llc | Interactive display management systems and methods |
JP2010176510A (en) * | 2009-01-30 | 2010-08-12 | Sanyo Electric Co Ltd | Information display device |
US8762894B2 (en) | 2009-05-01 | 2014-06-24 | Microsoft Corporation | Managing virtual ports |
JP2012525230A (en) * | 2009-05-01 | 2012-10-22 | マイクロソフト コーポレーション | Virtual port management method and system |
JP2011076255A (en) * | 2009-09-29 | 2011-04-14 | Fujitsu Ltd | Gesture recognizing device, gesture recognizing method and gesture recognizing program |
EP2372495B1 (en) * | 2010-03-29 | 2019-04-03 | Sony Corporation | Remote control of a target device using a camera and a display |
JP2011209965A (en) * | 2010-03-29 | 2011-10-20 | Sony Corp | Information processor, information processing method and program |
JP2012005653A (en) * | 2010-06-24 | 2012-01-12 | Panasonic Electric Works Co Ltd | Progressive loading training system |
JP2012065819A (en) * | 2010-09-22 | 2012-04-05 | Panasonic Corp | Range-of-motion training system |
JP2012196315A (en) * | 2011-03-22 | 2012-10-18 | Nagasakiken Koritsu Daigaku Hojin | Occupational therapy training support apparatus |
JP2013224204A (en) * | 2012-04-23 | 2013-10-31 | Toshiba Elevator Co Ltd | Car |
JP2016515325A (en) * | 2013-02-20 | 2016-05-26 | マイクロソフト テクノロジー ライセンシング,エルエルシー | Providing a remote immersive experience using a mirror metaphor |
JP2014164406A (en) * | 2013-02-22 | 2014-09-08 | Yoshida Dental Mfg Co Ltd | Business support system |
US10080963B2 (en) | 2014-03-28 | 2018-09-25 | Sony Interactive Entertainment Inc. | Object manipulation method, object manipulation program, and information processing apparatus |
JP2015191480A (en) * | 2014-03-28 | 2015-11-02 | 株式会社ソニー・コンピュータエンタテインメント | Information processor, operation method of object and operation program of object |
JP2023005985A (en) * | 2021-06-30 | 2023-01-18 | 賢一 丹羽 | user interface system |
JP7504839B2 (en) | 2021-06-30 | 2024-06-24 | 賢一 丹羽 | User Interface System |
Also Published As
Publication number | Publication date |
---|---|
JP4323180B2 (en) | 2009-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4323180B2 (en) | Interface method, apparatus, and program using self-image display | |
US20220382379A1 (en) | Touch Free User Interface | |
US10761612B2 (en) | Gesture recognition techniques | |
US10511778B2 (en) | Method and apparatus for push interaction | |
Shen et al. | Vision-based hand interaction in augmented reality environment | |
US9600078B2 (en) | Method and system enabling natural user interface gestures with an electronic system | |
Rautaray | Real time hand gesture recognition system for dynamic applications | |
US6594616B2 (en) | System and method for providing a mobile input device | |
US8666115B2 (en) | Computer vision gesture based control of a device | |
Lin et al. | Ubii: Physical world interaction through augmented reality | |
EP2480955B1 (en) | Remote control of computer devices | |
US20180292907A1 (en) | Gesture control system and method for smart home | |
JP6747446B2 (en) | Information processing apparatus, information processing method, and program | |
JPH0844490A (en) | Interface device | |
US20140053115A1 (en) | Computer vision gesture based control of a device | |
JP2004078977A (en) | Interface device | |
JP2004258766A (en) | Menu display method, device and program in interface using self-image display | |
Geer | Will gesture recognition technology point the way? | |
CN103502910B (en) | Method for operating laser diode | |
JP2005063225A (en) | Interface method, system and program using self-image display | |
JP6834197B2 (en) | Information processing equipment, display system, program | |
JP2004355494A (en) | Display interface method and device | |
JP6699406B2 (en) | Information processing device, program, position information creation method, information processing system | |
Ntelidakis et al. | Touch detection for planar interactive displays based on lateral depth views | |
WO2021075102A1 (en) | Information processing device, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050125 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050614 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060608 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060614 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060809 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070323 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070404 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20070622 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090604 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4323180 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130612 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140612 Year of fee payment: 5 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |