JP2004258766A - 自己画像表示を用いたインタフェースにおけるメニュー表示方法、装置、プログラム - Google Patents
自己画像表示を用いたインタフェースにおけるメニュー表示方法、装置、プログラム Download PDFInfo
- Publication number
- JP2004258766A JP2004258766A JP2003046128A JP2003046128A JP2004258766A JP 2004258766 A JP2004258766 A JP 2004258766A JP 2003046128 A JP2003046128 A JP 2003046128A JP 2003046128 A JP2003046128 A JP 2003046128A JP 2004258766 A JP2004258766 A JP 2004258766A
- Authority
- JP
- Japan
- Prior art keywords
- menu
- image
- operator
- display
- command
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
【課題】コマンドを増加させたり、階層的なメニューを表示させたりしたい場合でも、表示場所が不足したり、またメニューがユーザにとって使いにくい場所に表示されたりすることなく、メニューの表示を行うことができるようにする。
【解決手段】画像入力部１１はユーザを含む画像を入力する。反転画像生成部１２は入力された画像を左右反転した反転画像を生成する。指示位置検出部１３は該反転画像上で操作者の指示している位置を検出する。メニュー表示位置決定部１４は該反転画像上で操作者の動作からコマンドのメニューの表示位置を決定する。メニュー表示部１５は決定されたメニュー表示位置にコマンドのメニューを表示する。コマンド選択部１６は操作者が指定するコマンドを選択する。情報表示部１７は選択されたコマンドに基づき入力画像上に情報を表示する。
【選択図】 図１
【解決手段】画像入力部１１はユーザを含む画像を入力する。反転画像生成部１２は入力された画像を左右反転した反転画像を生成する。指示位置検出部１３は該反転画像上で操作者の指示している位置を検出する。メニュー表示位置決定部１４は該反転画像上で操作者の動作からコマンドのメニューの表示位置を決定する。メニュー表示部１５は決定されたメニュー表示位置にコマンドのメニューを表示する。コマンド選択部１６は操作者が指定するコマンドを選択する。情報表示部１７は選択されたコマンドに基づき入力画像上に情報を表示する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、操作者（ユーザ）を含む画像（自己画像）を入力画像とし、ユーザが自己画像を自分で見ながら、メニューの選択・実行ができるインタフェース装置におけるメニュー表示方法および装置に関する。
【０００２】
【従来の技術】
これまで、コンピュータと人間とのインタフェースに関し、カメラからの画像を入力とし、人間の動作に基づき、マウスやディスプレイ等のデバイスに触らずに非接触でコマンドの選択・実行を行うインタフェース装置において、画面上にメニューを表示し人間の動作に基づいてメニューを選択・実行するメニュー表示方法および装置としては、以下に挙げるような例がある。
【０００３】
第１の従来例として、コマンドのメニューを個別のアイコンで予め画面上の固定位置に表示しておき、操作者（ユーザ）の体の一部の画像がそのアイコンと重なったと判断したとき、そのコマンドを実行する方法がある。例えば、Ｖｉｖｉｄ Ｇｒｏｕｐ社のＧｅｓｔｕｒｅ Ｘｔｒｅｍｅ Ｓｏｆｔｗａｒｅ関連製品（例えばＳｏｃｃｅｒ ＧＸ，Ｖｏｌｌｅｙｂａｌｌ等）がある（非特許文献１）。本製品は、ＣＧ背景画像上に自己像を重ね合わせ、画像上でＣＧのキャラクタ等とユーザの体との接触判定を行い、その結果に基づいてゲーム等のＣＧソフトとユーザとのインタフェースを実現している。また、非特許文献２に記載された方法がある。本方法は、同様に画面上の固定位置に複数のコマンドアイコンを表示しておき、ユーザの手や体との接触判定を行い、その結果に基づいて情報の入力等のコマンド実行を行っている。
【０００４】
また、第２の従来例として、非特許文献３に記載の方法がある。本方法では、前述した第１の従来例で挙げたアクション・インタフェースに対して、そのメニュー表示位置をユーザの位置に応じて動的に変化させるメニュー表示方法が示されている。
【０００５】
【非特許文献１】
ｈｔｔｐ：／／ｗｗｗ．ｖｉｖｉｄｇｒｏｕｐ．ｃｏｍ／ｉｎｄｅｘ．ｈｔｍｌ
【非特許文献２】
高橋ら，“アクション・インタフェースのためのメニューの動的配置”，第１３回ヒューマン・インタフェース・シンポジウム論文集，ｐｐ．３２７−３３２，１９９７
【非特許文献３】
佐木ら，“パソコン映像入力を用いたアクション・インタフェースの試み”，第１２回ヒューマン・インタフェース・シンポジウム論文集，ｐｐ．２１３−２１８，１９９６
【０００６】
【発明が解決しようとする課題】
しかしながら、上述した従来の方法では、以下に示す問題があった。
【０００７】
第１の従来方法は、人間の動作によるコマンド選択が非接触にできるが、１個のコマンドは１個のアイコンに対応しサブメニューがないため、多数のコマンドや階層的なコマンドを必要とする場合にメニュー表示場所の不足や使い易さの低下等の問題があった。
【０００８】
また、第１の従来例は、メニューの表示場所が固定配置のため、ユーザの位置や動きによっては、ユーザと不必要に重なってコマンド選択ミスを生じたり、逆にメニューに届かずコマンド選択が困難になったりする問題があった。
【０００９】
第２の従来例は、メニューの表示場所が固定配置でなく、ユーザの位置に応じてメニューの表示位置を動的に変更でき、また階層的にも表示できるので、ユーザと不必要に重なってコマンド選択ミスを生じたり、逆に届かずコマンド選択が困難になったりする問題や、使いにくい問題は避けられる。しかしながら、メニューのアイコン表示方法（メニューリストの表示形態や表示方向等）は予め固定されており、例えばユーザ（またはユーザの手）の位置や向きによっては、メニュー選択のための動作がユーザにとって困難になる場合が生じる問題があった。
【００１０】
本発明の目的は、メニューが増えることによりメニュー表示場所が不足する問題、使い易さが低下する問題、またメニューの表示場所が固定配置のためユーザの位置や動きによってコマンド選択が困難になる問題を解決したメニュー表示方法および装置を提供することにある。
本発明の他の目的は、メニューのアイコン表示方法が予め固定されていることによりメニュー選択のためのユーザの動作が困難になる問題を解決したメニュー表示方法および装置を提供することにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するために、本発明のメニュー表示装置は、
入力された画像を左右反転した反転画像を生成する手段と、
該反転画像上で操作者の指示している位置を検出する手段と、
該反転画像上で操作者の動作からコマンドのメニューの表示位置を決定する手段と、
決定されたメニュー表示位置にコマンドのメニューを表示する手段と、
操作者が指定するコマンドを選択する手段と、
選択されたコマンドに基づき入力画像上に情報を表示する手段とを有している。
【００１２】
ユーザは任意の位置にメニューを表示できるため、コマンドを増加させたり、階層的なメニューを表示させたりしたい場合でも、表示場所が不足したり、またメニューがユーザにとって使いにくい場所に表示されたりすることなく、メニューの表示を行うことができ、インタフェースの利便性が向上する。
【００１３】
本発明の実施態様によれば、コマンドのメニューの表示位置を決定する手段は、操作者の指示している位置を検出する手段により検出された操作者指示位置を起点とし、起点から遠ざかる方向に伸ばした１本もしくは複数本の直線もしくは曲線上にメニューが表示されるように、メニューの表示位置を決定する。
【００１４】
ユーザはメニューの表示位置や表示方向、表示形態を任意に指定できるため、ユーザの位置や動きによらず、ユーザにとって操作しやすい位置、方向、形態をその都度変更してメニューリストを表示させることができ、インタフェースの利便性が向上する。
【００１５】
本発明の他の実施態様によれば、コマンドのメニューの表示位置を決定する手段は、反転画像上で操作者もしくは指定した物体の輪郭を抽出する手段を有し、抽出された輪郭情報を用いることにより、メニューが操作者もしくは指定した物体の表示部分と重ならないよう避けて表示されるように、メニューの表示位置を決定する。
【００１６】
ユーザの位置によらずメニューがユーザと常に重ならなくなるため、ユーザがメニューを表示させる際に、ユーザがユーザ自身の自己像等の重畳したくない画像領域を気にせず、メニュー表示の動作を行うことができ、インタフェースの利便性が向上する。
【００１７】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
（第１の実施形態）
図１は本発明の第１の実施形態のメニュー表示装置のブロック図、図２はその処理の流れを示すフローチャートである。
本実施形態のメニュー表示装置は、操作者（ユーザ）を含む画像（自己画像）を入力画像とし、ユーザが自己画像を自分で見ながら、メニューの選択・実行ができるインタフェース装置において、ユーザの動作に基づいた直感的なメニュー表示およびコマンド選択を実行するもので、画像入力部１１と反転画像生成部１２と指示位置検出部１３とメニュー表示部１５とメニュー表示位置決定部１４とコマンド選択部１６と情報表示部１７から構成される。
【００１８】
画像入力部１１は、図１のように１台のカメラを用いる。カメラは一般に用いられるヒデオカメラでよく、白黒でもカラーでもよい。ただし、下記で述べる色情報を使用した方法を用いる場合はカラーカメラが必要である。
【００１９】
反転画像生成部１２は、画像入力部１１で入力された画像（入力画像）を入力し、左右反転させた画像（反転画像）を生成する（ステップ２１）。コンピュータ内へ取り込んだ入力画像に対し汎用の画像処理ソフトウェア（例：ＨＡＬＣＯＮ）により、リアルタイムに反転画像を生成することができる。または、入力画像を入力し反転画像をリアルタイムに生成する機器（例：（株）朋栄の画面左右反転装置ＵＰＩ−１００ＬＲＦ、またはカメラ一体型でＳＯＮＹのＥＶＩ−Ｄ１００）で反転画像生成部１２を実現できる。
【００２０】
指示位置検出部１３は、反転画像生成部１２で得られた反転画像上において、ユーザが手指等の体の部位で指し示す位置（ユーザ指示位置）を検出する（ステップ２２）。
【００２１】
指示位置検出部１３の１つ目の方法例として、ユーザがマーカを持ち、反転画像中のマーカを画像処理により検出する方法がある。例えば、まず、赤色（他の色でもよいが、背景画像中に少ない色が好ましい）の物体を手に持ちもしくは装着し、それをカメラの前で手振りして動かす。得られたカラー画像のＲＧＢ等色情報の値から赤色成分を抽出し、ラベリング処理（固まり毎にグループに分ける一般的な画像処理方法）を行い、その中で最も面積の大きい赤色部分を１つ選び、その位置の重心位置（ｘ，ｙ）を求める。得られた（ｘ，ｙ）座標をユーザ指示位置とする。ここで、赤色の物体の代わりに、赤色（前記物体同様、他の色でもよい）の発光ダイオード（ＬＥＤ）を発光させた状態で、手に持ちもしくは装着し、当該色を抽出して同様に行う方法も可能である。（ｘ，ｙ）は重心位置（抽出した部分の全画素値のｘ座標の合計値の平均値、およびｙ座標の合計値の平均値）でなく、中心位置（抽出した部分のｘ座標の最大値と最小値の中心値、およびｙ座標の最大値と最小値の中心値）でもよい。
【００２２】
指示位置検出部１３の２つ目の方法例として、ユーザがマーカを持たずに、反転画像中の手の位置を画像処理により直接検出する方法がある。例えば、まず、得られたカラー画像に対しＲＧＢ等色情報の値から肌色成分を抽出し、ラベリング処理を行う。得られた複数の肌色部分の中から、手の大きさや位置等の制約情報を利用して、目的とする手を選択する。選択する具体的な方法の例としては、通常ユーザが衣服を着ているとすると、肌色部分の候補となる可能性が高いのは両手と顔と考えられ、また最も面積の大きいのは顔と考えられるので、２つ目と３つ目に面積が大きい肌色部分を手の候補として選択する。ユーザ指定位置が両手両方とした場合、その２つの肌色部分の候補に対する重心位置を、各々左右の手のユーザ指定位置とすればよい。また、ユーザ指定位置を１つとすると、２つの候補から１つを選ぶ必要があるが、予め例えば右手を指定する手としたら、体より右手側にある候補を（右手の可能性が高いことから）右手の肌色部分として選び、その重心位置を右手のユーザ指定位置とすればよい。左手の場合も同様である。
【００２３】
指示位置検出部１３のこれらの例では、前述した検出処理をする前に、差分画像を用いた処理を加えることにより、精度を上げることもできる。差分画像を用いた処理とは、例えば、反転画像上で、予め撮影した背景画像（ユーザのいない状態で撮影した画像）と、現在撮影している現画像（ユーザがいる状態の画像）との間で差分画像を作成する。差分画像は、例えば、全画素について、画素毎に背景画像の画素値と、（同じ画素位置の）現画像の画素値の差の絶対値を求めることにより作成できる。この差分画像を用いることにより、体等の動く物体だけを予め抽出しておき、その後前述したような画像処理（例えば体に付けたマーカを抽出する方法や、肌色を抽出する方法等）によりユーザ指定位置を検出し、その座標を取得すれば、背景画像に含まれるマーカの色や肌色に似た色の誤検出を減らせることが容易に推測できる。
【００２４】
メニュー表示位置決定部１４は、指示位置検出部１３で得られたユーザ指示位置に基づいてメニューの表示位置を決定する（ステップ２３）。例えば、複数のメニュー項目を持つメニューリストを表示するとした場合、そのメニュー項目のアイコンの表示方法（位置やタイミング等）を、ユーザ指示位置に基づいて、ユーザにとって利便性のよくなるように決定するものである。ユーザ指示位置に基づいたメニューリストのアイコン表示方法の例を以下に示す。また、図３にその説明図を示す。
【００２５】
１）メニューのスタート表示位置を決定
まず、メニューリストのスタート表示位置を決定する。メニューリストとは、ユーザが選択できる複数のメニュー項目（コマンド）を持ったメニューを意味する。メニューリストは、ユーザが何もしない間は何も表示せず、ユーザがメニューリストを出す動作（画面上でタッチする等）を行った時にスタート表示位置にスタート用のアイコン（スタートアイコン）を表示する（図３（１））。スタートアイコンは位置さえ決定されれば表示されなくても（もしくは透明なアイコンでも）よい。スタート表示位置の決定方法としては、例えば予め画面上の任意の固定座標を定めておき、ユーザが動作によりその座標を指示した時に、その位置を現在表示しようとするメニューリストのスタート表示位置とすることが考えられる。予め定めておく固定座標とは、画面上の任意の位置でもよいし、例えば画面上に映っている物体像（家電機器などの情報を表示したり操作しようとするもの）の画面上での座標（Ｘ，Ｙ）としてもよい。この座標は例えば（Ｘ０，Ｙ０）〜（Ｘ１，Ｙ１）のような範囲を設定してもよい。また、この座標は、複数あってもよい。さらに、この座標は、動作中も固定座標とするのでなく、本装置が動作中にリアルタイムに更新させることも可能である。具体的な方法としては、対象とする実物体毎に位置認識可能なセンサ（市販されている磁気センサや超音波センサ等）を取り付けておくことにより、各々の物体の位置をリアルタイムに認識することができるので、それらにより得られた位置情報から実物体位置データを算出し、実物体位置データを常時更新していくことが可能である。これにより、物体を移動させてもその座標位置をリアルタイムに追跡して更新できるので、物体の場所に応じてメニューのスタート表示位置を変更させることができる。
【００２６】
２）ユーザの動作に基づいたメニューリストを表示
ユーザが画面上でタッチする等の動作によりスタート表示位置を決定した後、ユーザがその動作によりメニューリストを好みの形態に表示させることができる。例えば、スタート表示位置から手（手指等）を横方向に動かすと、メニューリストに含まれる項目のアイコン（項目アイコン）がその方向に表示される方法がある（図３（２））。この時の具体的な表示方法の例を図４に示す。
（１）手の軌跡上に、メニューリストに含まれる項目アイコンを表示する。
（２）手の軌跡の最初の出だしの方向に延長した直線上に表示する。
（３）手の軌跡の終点とスタート位置との間の直線上に表示する。
また、項目アイコンを表示するタイミングについては、下記の方法が考えられる。
（ａ）手が動くにつれ、その手の位置に項目アイコンを順次表示する（図４（１）（２）（３）の場合）。
（ｂ）手が動き始めたらすぐ、すべての項目アイコンを表示する（図４（２）の場合のみ）。
（ｃ）手が動き終わってから、すべての項目アイコンを表示する（図４（１）（２）（３）の場合）。
すなわち、「起点から遠ざかる方向に伸ばした１本（もしくは複数本）の直線（もしくは曲線）上にメニューが表示される」ように、メニューの表示位置を決定することになる。
【００２７】
メニューリストの閉じ方（画面上での消去方法）は、ユーザがどれかコマンドを選択した後、全メニューを閉じる方法や、メニューリストの最後に「閉じるアイコン」（図３（２）参照）を追加しておき、それをタッチすると全メニューリストを閉じる方法や、時間が経過すると自動的に閉じる方法など各種容易に考えられる。
【００２８】
メニュー表示部１５は、メニュー表示位置決定部１４で決定された位置にメニュー（メニューリストに含まれる項目アイコン）を表示する（ステップ２４）。表示するメニューは、ＣＧで作成したアイコンを自分が映っている反転画像上に重ね合わせて表示する。この時、アイコンは不透明でも、半透明でも、透明でもよい。前述したように実物体像の位置をスタートアイコンの表示位置とした時は、該アイコンは透明でもよい。また、メニューリストの項目アイコンは、半透明にすることで、背景の反転画像が見えるので、ユーザにとって見やすい表示とすることも可能である。また、指示位置検出部１３では、体全体で接触判定を行わずユーザの希望する体の部位で接触判定を行うので、メニューの表示位置は、ユーザの体の部位の中で接触判定を行わない部位の後ろに隠れても構わないため、メニューの表示位置もユーザ自身の位置も画面上で任意の位置（手指等を除く）に配置することができる。
【００２９】
コマンド選択部１６は、指示位置検出部１３で得られたユーザ指示位置と、メニュー表示位置決定部１４で決定されメニュー表示部１５で表示されるメニューの表示位置とを照らし合わせ、両者の位置関係からユーザが指示しようとするメニュー中の項目アイコン（コマンド情報）を探して選択する（ステップ２５，図３（３））。選択する方法としては、例えば、ユーザ指示位置からある一定の距離範囲内に表示されているアイコンの項目アイコンを探し、該当するものがあればその項目アイコンを選択する。これにより、選択された項目アイコンに対応するコマンドが選択され実行されることになる。ユーザは、自己画像が映った画面を見ながら、同じ画面上にＣＧ表示されているメニューに手指等を重ね合わせるだけでコマンド選択が可能であるため、分かり易く間違いの少ない指示が可能になる。
【００３０】
情報表示部１７は、反転画像生成部１２で得られた反転画像と、メニュー表示部１５で表示するメニューリストや選択されたコマンドを実行した結果に関わる情報等を重ね合わせてディスプレイに表示する（ステップ２６）。ディスプレイは、コンピュータ用に使われる汎用のディスプレイでよく、コンピュータの画面とカメラ画像を表示できるものであればよい。
【００３１】
（第２の実施形態）
図５は本発明の第２の実施形態のメニュー表示装置のブロック図、図６はその処理の流れを示すフローチャートである。
【００３２】
本実施形態のメニュー表示装置は、メニュー表示位置決定部１４、メニュー表示部１５、およびコマンド選択部１６において、メニューを図７のように階層的に表示するものである。例えば１段階目のメニューリストに対して、ユーザが選択したコマンドが、更にサブメニューを表示するコマンドであった場合、図７のように例えば該選択した項目アイコンの表示位置から、あらためて新しいメニューリスト（サブメニューリスト）を表示できる。この時、該サブメニューリストの表示方法については、第１の実施形態で示した（１段階目の）メニューリストの表示方法と同様な方法が容易に考えられる。このため、コマンド選択部１６での処理結果は、メニュー表示位置決定部１４およびメニュー表示部１５へ逆方向にも情報が伝わるようになっている（ステップ２７）。その他の処理部に関しては、いずれも第１の実施形態と同様な方法を用いることができる。
【００３３】
（第３の実施形態）
本発明の第３の実施形態のメニュー表示装置は、第１の実施形態（図１）と同様である。図８に具体的な例を示す。本実施形態のメニュー表示装置は、第１の実施形態や第２の実施形態と同様に、ユーザがスタートアイコンをタッチすると、メニューリストが表示されるものであるが、本実施形態におけるメニュー表示位置決定部１４およびメニュー表示部１５は、図８のようにスタートアイコンから項目アイコンが同時に射出されるように表示されるものである。各項目アイコンの射出方向および射出距離は異なる方向および距離を予め定めておき、アイコン同士が重ならず、かつユーザに見やすい位置（例えば画面上の周囲等の位置）に表示することが可能である。また、スタートアイコンから射出されるので、アイコンの意味付けが分かりやすいものとなる。
【００３４】
また、本実施形態の変形例として、図９に示すように、メニューリストを射出する途中を省き、メニュー表示位置決定部１４で決められた位置ですべての項目アイコンが同時に表示されるようにしてもよい（図９）。この時は、項目アイコンを表示する際に、全てのアイコンが少しずつ大きくなって現れる方法や、少しずつ透明から半透明になって不透明になって現れる方法などが考えられる。表示位置については、射出型の場合と同様に、アイコン同士が重ならずかつユーザに見やすい位置を予め設定して表示することが可能である。
【００３５】
また、本実施形態のメニュー表示装置は、第２の実施形態と同様の手段により、メニューを階層的に表示させることも可能である（図８，図９）。
【００３６】
（第４の実施形態）
図１０は本発明の第３の実施形態のメニュー表示装置のブロック図、図１１はその処理の流れを示すフローチャートである。
【００３７】
本メニュー表示装置は、画像入力部１１と反転画像生成部１２と指示位置検出部１３とメニュー表示部１５とメニュー表示位置決定部１４とコマンド選択部１６と情報表示部１７と人物抽出部１８から構成される。
【００３８】
人物抽出部１８とメニュー表示位置決定部１４以外の部分は、第１から第３の実施形態と同様である。以下では、人物抽出部１８とメニュー表示位置決定部１４について説明する。人物抽出部１８は反転画像を入力し、ユーザが映っている場合、ユーザの体の輪郭（または体全体）を抽出する処理を行う（ステップ２８）。輪郭を抽出する処理の具体的な方法としては、例えば背景との差分画像（背景差分画像）を求める画像処理を行う方法がある。背景差分画像を用いた処理とは、例えば、予め撮影しておいた背景画像（ユーザのいない状態で撮影した画像）と、現在撮影している現画像（ユーザがいる状態の画像）との間で差分画像を作成する。差分画像は、例えば、全画素について、画素毎に背景画像の画素値と、（同じ画素位置の）現画像の画素値の差の絶対値を求めることにより作成できる。これにより得られた背景差分画像は、ユーザを抽出した画像となっており、人物抽出部２８はその情報（背景差分画像全体もしくは得られた人物部分の画素の情報）を出力するものである。
【００３９】
メニュー表示位置決定部１４は、第１の実施形態のメニュー表示位置決定部１４と同様に、指示位置検出部１３で得られたユーザ指示位置に基づいてメニューの表示位置を決定するものであるが、それに加え、人物抽出部１８で得られたユーザの体の輪郭（または体全体）に関する画素情報に基づき、メニュー表示位置を決定する際に人物に重ならないよう避けて表示するようなメニュー表示位置を求める処理を行う。図１２にその表示例を説明する図を示す。第１の実施形態では、手の軌跡上もしくは手の動きに基づいた直線上にメニュー表示位置を決定する方法を挙げているが、本装置では、例えばまず第１の実施形態と同様の方法でメニューの項目アイコン毎にメニュー表示位置を求め、それがユーザの体と重なっていたら、そこから周囲を探して、メニューの項目アイコンがユーザに重ならない位置を求め、それをメニュー表示位置として決定する方法が考えられる。各項目アイコン毎に同様にして各々の表示位置を求める。メニューの項目アイコンがユーザに重ならない位置を求める方法としては、例えば重なったメニュー表示位置から最も距離が近くてユーザに重ならない位置を探す方法や、手の軌跡をたどりユーザに重なった所からユーザの輪郭に沿った曲線の軌跡を作りその上に項目アイコンを順次表示させていく方法などが容易に考えられる。
【００４０】
本装置のこれらの方法は、第２の実施形態のような階層型のメニュー表示方法においても、サブメニューに対して同様の方法で適用することができる。また、第３の実施形態のような射出型のメニュー表示方法においても同様に、項目アイコンが射出して移動する軌跡を直線でなく、本装置のようにユーザを避ける曲線の軌跡に置き換えることで、同様の方法を適用できる。
【００４１】
これらによって、メニュー（の項目アイコン）はユーザに常に重ならず自動的にユーザを避けた表示を行うことが可能になり、ユーザにとって操作性のよいインタフェースを提供することができるようになる。
【００４２】
なお、本発明は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【００４３】
【発明の効果】
以上説明したように、本発明は下記の効果がある。
【００４４】
請求項１，４，７の発明は、ユーザは任意の位置にメニューを表示できるため、コマンドを増加させたり、階層的なメニューを表示させたりしたい場合でも、表示場所が不足したり、またメニューがユーザにとって使いにくい場所に表示されたりすることなく、メニューの表示を行うことができ、インタフェースの利便性を向上させることができる。
【００４５】
請求項２，５，７の発明は、ユーザはメニューの表示位置や表示方向、表示形態を任意に指定できるため、ユーザの位置や動きによらず、ユーザにとって操作しやすい位置、方向、形態をその都度変更してメニューリストを表示させることができ、インタフェースの利便性を向上させることができる。
【００４６】
請求項３，６，７の発明は、ユーザの位置によらず常にメニューがユーザと重ならなくなるため、ユーザがメニューを表示させる際に、ユーザがユーザ自身の自己像等の重畳したくない画像領域を気にせず、メニュー表示の動作を行うことができ、インタフェースの利便性を向上させることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態のメニュー表示装置のブロック図である。
【図２】第１の実施形態の処理の流れを示すフローチャートである。
【図３】第１の実施形態におけるメニュー表示の例を説明する図である。
【図４】第１の実施形態におけるメニュー表示の例を説明する図である。
【図５】本発明の第２の実施形態のメニュー表示装置のブロック図である。
【図６】本発明の第２の実施形態の処理の流れを示すフローチャートである。
【図７】第２の実施形態におけるメニュー表示の例を説明する図である。
【図８】第２の実施形態におけるメニュー表示の例を説明する図である。
【図９】本発明の第２の実施形態を説明する図である。
【図１０】本発明の第３の実施形態のメニュー表示装置のブロック図である。
【図１１】第３の実施形態の処理の流れを示すフローチャートである。
【図１２】第３の実施形態におけるメニュー表示の例を説明する図である。
【符号の説明】
１１ 画像入力部
１２ 反転画像生成部
１３ 指示位置検出部
１４ メニュー表示位置決定部
１５ メニュー表示部
１６ コマンド選択部
１７ 情報表示部
１８ 人物抽出部
２１〜２８ ステップ
【発明の属する技術分野】
本発明は、操作者（ユーザ）を含む画像（自己画像）を入力画像とし、ユーザが自己画像を自分で見ながら、メニューの選択・実行ができるインタフェース装置におけるメニュー表示方法および装置に関する。
【０００２】
【従来の技術】
これまで、コンピュータと人間とのインタフェースに関し、カメラからの画像を入力とし、人間の動作に基づき、マウスやディスプレイ等のデバイスに触らずに非接触でコマンドの選択・実行を行うインタフェース装置において、画面上にメニューを表示し人間の動作に基づいてメニューを選択・実行するメニュー表示方法および装置としては、以下に挙げるような例がある。
【０００３】
第１の従来例として、コマンドのメニューを個別のアイコンで予め画面上の固定位置に表示しておき、操作者（ユーザ）の体の一部の画像がそのアイコンと重なったと判断したとき、そのコマンドを実行する方法がある。例えば、Ｖｉｖｉｄ Ｇｒｏｕｐ社のＧｅｓｔｕｒｅ Ｘｔｒｅｍｅ Ｓｏｆｔｗａｒｅ関連製品（例えばＳｏｃｃｅｒ ＧＸ，Ｖｏｌｌｅｙｂａｌｌ等）がある（非特許文献１）。本製品は、ＣＧ背景画像上に自己像を重ね合わせ、画像上でＣＧのキャラクタ等とユーザの体との接触判定を行い、その結果に基づいてゲーム等のＣＧソフトとユーザとのインタフェースを実現している。また、非特許文献２に記載された方法がある。本方法は、同様に画面上の固定位置に複数のコマンドアイコンを表示しておき、ユーザの手や体との接触判定を行い、その結果に基づいて情報の入力等のコマンド実行を行っている。
【０００４】
また、第２の従来例として、非特許文献３に記載の方法がある。本方法では、前述した第１の従来例で挙げたアクション・インタフェースに対して、そのメニュー表示位置をユーザの位置に応じて動的に変化させるメニュー表示方法が示されている。
【０００５】
【非特許文献１】
ｈｔｔｐ：／／ｗｗｗ．ｖｉｖｉｄｇｒｏｕｐ．ｃｏｍ／ｉｎｄｅｘ．ｈｔｍｌ
【非特許文献２】
高橋ら，“アクション・インタフェースのためのメニューの動的配置”，第１３回ヒューマン・インタフェース・シンポジウム論文集，ｐｐ．３２７−３３２，１９９７
【非特許文献３】
佐木ら，“パソコン映像入力を用いたアクション・インタフェースの試み”，第１２回ヒューマン・インタフェース・シンポジウム論文集，ｐｐ．２１３−２１８，１９９６
【０００６】
【発明が解決しようとする課題】
しかしながら、上述した従来の方法では、以下に示す問題があった。
【０００７】
第１の従来方法は、人間の動作によるコマンド選択が非接触にできるが、１個のコマンドは１個のアイコンに対応しサブメニューがないため、多数のコマンドや階層的なコマンドを必要とする場合にメニュー表示場所の不足や使い易さの低下等の問題があった。
【０００８】
また、第１の従来例は、メニューの表示場所が固定配置のため、ユーザの位置や動きによっては、ユーザと不必要に重なってコマンド選択ミスを生じたり、逆にメニューに届かずコマンド選択が困難になったりする問題があった。
【０００９】
第２の従来例は、メニューの表示場所が固定配置でなく、ユーザの位置に応じてメニューの表示位置を動的に変更でき、また階層的にも表示できるので、ユーザと不必要に重なってコマンド選択ミスを生じたり、逆に届かずコマンド選択が困難になったりする問題や、使いにくい問題は避けられる。しかしながら、メニューのアイコン表示方法（メニューリストの表示形態や表示方向等）は予め固定されており、例えばユーザ（またはユーザの手）の位置や向きによっては、メニュー選択のための動作がユーザにとって困難になる場合が生じる問題があった。
【００１０】
本発明の目的は、メニューが増えることによりメニュー表示場所が不足する問題、使い易さが低下する問題、またメニューの表示場所が固定配置のためユーザの位置や動きによってコマンド選択が困難になる問題を解決したメニュー表示方法および装置を提供することにある。
本発明の他の目的は、メニューのアイコン表示方法が予め固定されていることによりメニュー選択のためのユーザの動作が困難になる問題を解決したメニュー表示方法および装置を提供することにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するために、本発明のメニュー表示装置は、
入力された画像を左右反転した反転画像を生成する手段と、
該反転画像上で操作者の指示している位置を検出する手段と、
該反転画像上で操作者の動作からコマンドのメニューの表示位置を決定する手段と、
決定されたメニュー表示位置にコマンドのメニューを表示する手段と、
操作者が指定するコマンドを選択する手段と、
選択されたコマンドに基づき入力画像上に情報を表示する手段とを有している。
【００１２】
ユーザは任意の位置にメニューを表示できるため、コマンドを増加させたり、階層的なメニューを表示させたりしたい場合でも、表示場所が不足したり、またメニューがユーザにとって使いにくい場所に表示されたりすることなく、メニューの表示を行うことができ、インタフェースの利便性が向上する。
【００１３】
本発明の実施態様によれば、コマンドのメニューの表示位置を決定する手段は、操作者の指示している位置を検出する手段により検出された操作者指示位置を起点とし、起点から遠ざかる方向に伸ばした１本もしくは複数本の直線もしくは曲線上にメニューが表示されるように、メニューの表示位置を決定する。
【００１４】
ユーザはメニューの表示位置や表示方向、表示形態を任意に指定できるため、ユーザの位置や動きによらず、ユーザにとって操作しやすい位置、方向、形態をその都度変更してメニューリストを表示させることができ、インタフェースの利便性が向上する。
【００１５】
本発明の他の実施態様によれば、コマンドのメニューの表示位置を決定する手段は、反転画像上で操作者もしくは指定した物体の輪郭を抽出する手段を有し、抽出された輪郭情報を用いることにより、メニューが操作者もしくは指定した物体の表示部分と重ならないよう避けて表示されるように、メニューの表示位置を決定する。
【００１６】
ユーザの位置によらずメニューがユーザと常に重ならなくなるため、ユーザがメニューを表示させる際に、ユーザがユーザ自身の自己像等の重畳したくない画像領域を気にせず、メニュー表示の動作を行うことができ、インタフェースの利便性が向上する。
【００１７】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
（第１の実施形態）
図１は本発明の第１の実施形態のメニュー表示装置のブロック図、図２はその処理の流れを示すフローチャートである。
本実施形態のメニュー表示装置は、操作者（ユーザ）を含む画像（自己画像）を入力画像とし、ユーザが自己画像を自分で見ながら、メニューの選択・実行ができるインタフェース装置において、ユーザの動作に基づいた直感的なメニュー表示およびコマンド選択を実行するもので、画像入力部１１と反転画像生成部１２と指示位置検出部１３とメニュー表示部１５とメニュー表示位置決定部１４とコマンド選択部１６と情報表示部１７から構成される。
【００１８】
画像入力部１１は、図１のように１台のカメラを用いる。カメラは一般に用いられるヒデオカメラでよく、白黒でもカラーでもよい。ただし、下記で述べる色情報を使用した方法を用いる場合はカラーカメラが必要である。
【００１９】
反転画像生成部１２は、画像入力部１１で入力された画像（入力画像）を入力し、左右反転させた画像（反転画像）を生成する（ステップ２１）。コンピュータ内へ取り込んだ入力画像に対し汎用の画像処理ソフトウェア（例：ＨＡＬＣＯＮ）により、リアルタイムに反転画像を生成することができる。または、入力画像を入力し反転画像をリアルタイムに生成する機器（例：（株）朋栄の画面左右反転装置ＵＰＩ−１００ＬＲＦ、またはカメラ一体型でＳＯＮＹのＥＶＩ−Ｄ１００）で反転画像生成部１２を実現できる。
【００２０】
指示位置検出部１３は、反転画像生成部１２で得られた反転画像上において、ユーザが手指等の体の部位で指し示す位置（ユーザ指示位置）を検出する（ステップ２２）。
【００２１】
指示位置検出部１３の１つ目の方法例として、ユーザがマーカを持ち、反転画像中のマーカを画像処理により検出する方法がある。例えば、まず、赤色（他の色でもよいが、背景画像中に少ない色が好ましい）の物体を手に持ちもしくは装着し、それをカメラの前で手振りして動かす。得られたカラー画像のＲＧＢ等色情報の値から赤色成分を抽出し、ラベリング処理（固まり毎にグループに分ける一般的な画像処理方法）を行い、その中で最も面積の大きい赤色部分を１つ選び、その位置の重心位置（ｘ，ｙ）を求める。得られた（ｘ，ｙ）座標をユーザ指示位置とする。ここで、赤色の物体の代わりに、赤色（前記物体同様、他の色でもよい）の発光ダイオード（ＬＥＤ）を発光させた状態で、手に持ちもしくは装着し、当該色を抽出して同様に行う方法も可能である。（ｘ，ｙ）は重心位置（抽出した部分の全画素値のｘ座標の合計値の平均値、およびｙ座標の合計値の平均値）でなく、中心位置（抽出した部分のｘ座標の最大値と最小値の中心値、およびｙ座標の最大値と最小値の中心値）でもよい。
【００２２】
指示位置検出部１３の２つ目の方法例として、ユーザがマーカを持たずに、反転画像中の手の位置を画像処理により直接検出する方法がある。例えば、まず、得られたカラー画像に対しＲＧＢ等色情報の値から肌色成分を抽出し、ラベリング処理を行う。得られた複数の肌色部分の中から、手の大きさや位置等の制約情報を利用して、目的とする手を選択する。選択する具体的な方法の例としては、通常ユーザが衣服を着ているとすると、肌色部分の候補となる可能性が高いのは両手と顔と考えられ、また最も面積の大きいのは顔と考えられるので、２つ目と３つ目に面積が大きい肌色部分を手の候補として選択する。ユーザ指定位置が両手両方とした場合、その２つの肌色部分の候補に対する重心位置を、各々左右の手のユーザ指定位置とすればよい。また、ユーザ指定位置を１つとすると、２つの候補から１つを選ぶ必要があるが、予め例えば右手を指定する手としたら、体より右手側にある候補を（右手の可能性が高いことから）右手の肌色部分として選び、その重心位置を右手のユーザ指定位置とすればよい。左手の場合も同様である。
【００２３】
指示位置検出部１３のこれらの例では、前述した検出処理をする前に、差分画像を用いた処理を加えることにより、精度を上げることもできる。差分画像を用いた処理とは、例えば、反転画像上で、予め撮影した背景画像（ユーザのいない状態で撮影した画像）と、現在撮影している現画像（ユーザがいる状態の画像）との間で差分画像を作成する。差分画像は、例えば、全画素について、画素毎に背景画像の画素値と、（同じ画素位置の）現画像の画素値の差の絶対値を求めることにより作成できる。この差分画像を用いることにより、体等の動く物体だけを予め抽出しておき、その後前述したような画像処理（例えば体に付けたマーカを抽出する方法や、肌色を抽出する方法等）によりユーザ指定位置を検出し、その座標を取得すれば、背景画像に含まれるマーカの色や肌色に似た色の誤検出を減らせることが容易に推測できる。
【００２４】
メニュー表示位置決定部１４は、指示位置検出部１３で得られたユーザ指示位置に基づいてメニューの表示位置を決定する（ステップ２３）。例えば、複数のメニュー項目を持つメニューリストを表示するとした場合、そのメニュー項目のアイコンの表示方法（位置やタイミング等）を、ユーザ指示位置に基づいて、ユーザにとって利便性のよくなるように決定するものである。ユーザ指示位置に基づいたメニューリストのアイコン表示方法の例を以下に示す。また、図３にその説明図を示す。
【００２５】
１）メニューのスタート表示位置を決定
まず、メニューリストのスタート表示位置を決定する。メニューリストとは、ユーザが選択できる複数のメニュー項目（コマンド）を持ったメニューを意味する。メニューリストは、ユーザが何もしない間は何も表示せず、ユーザがメニューリストを出す動作（画面上でタッチする等）を行った時にスタート表示位置にスタート用のアイコン（スタートアイコン）を表示する（図３（１））。スタートアイコンは位置さえ決定されれば表示されなくても（もしくは透明なアイコンでも）よい。スタート表示位置の決定方法としては、例えば予め画面上の任意の固定座標を定めておき、ユーザが動作によりその座標を指示した時に、その位置を現在表示しようとするメニューリストのスタート表示位置とすることが考えられる。予め定めておく固定座標とは、画面上の任意の位置でもよいし、例えば画面上に映っている物体像（家電機器などの情報を表示したり操作しようとするもの）の画面上での座標（Ｘ，Ｙ）としてもよい。この座標は例えば（Ｘ０，Ｙ０）〜（Ｘ１，Ｙ１）のような範囲を設定してもよい。また、この座標は、複数あってもよい。さらに、この座標は、動作中も固定座標とするのでなく、本装置が動作中にリアルタイムに更新させることも可能である。具体的な方法としては、対象とする実物体毎に位置認識可能なセンサ（市販されている磁気センサや超音波センサ等）を取り付けておくことにより、各々の物体の位置をリアルタイムに認識することができるので、それらにより得られた位置情報から実物体位置データを算出し、実物体位置データを常時更新していくことが可能である。これにより、物体を移動させてもその座標位置をリアルタイムに追跡して更新できるので、物体の場所に応じてメニューのスタート表示位置を変更させることができる。
【００２６】
２）ユーザの動作に基づいたメニューリストを表示
ユーザが画面上でタッチする等の動作によりスタート表示位置を決定した後、ユーザがその動作によりメニューリストを好みの形態に表示させることができる。例えば、スタート表示位置から手（手指等）を横方向に動かすと、メニューリストに含まれる項目のアイコン（項目アイコン）がその方向に表示される方法がある（図３（２））。この時の具体的な表示方法の例を図４に示す。
（１）手の軌跡上に、メニューリストに含まれる項目アイコンを表示する。
（２）手の軌跡の最初の出だしの方向に延長した直線上に表示する。
（３）手の軌跡の終点とスタート位置との間の直線上に表示する。
また、項目アイコンを表示するタイミングについては、下記の方法が考えられる。
（ａ）手が動くにつれ、その手の位置に項目アイコンを順次表示する（図４（１）（２）（３）の場合）。
（ｂ）手が動き始めたらすぐ、すべての項目アイコンを表示する（図４（２）の場合のみ）。
（ｃ）手が動き終わってから、すべての項目アイコンを表示する（図４（１）（２）（３）の場合）。
すなわち、「起点から遠ざかる方向に伸ばした１本（もしくは複数本）の直線（もしくは曲線）上にメニューが表示される」ように、メニューの表示位置を決定することになる。
【００２７】
メニューリストの閉じ方（画面上での消去方法）は、ユーザがどれかコマンドを選択した後、全メニューを閉じる方法や、メニューリストの最後に「閉じるアイコン」（図３（２）参照）を追加しておき、それをタッチすると全メニューリストを閉じる方法や、時間が経過すると自動的に閉じる方法など各種容易に考えられる。
【００２８】
メニュー表示部１５は、メニュー表示位置決定部１４で決定された位置にメニュー（メニューリストに含まれる項目アイコン）を表示する（ステップ２４）。表示するメニューは、ＣＧで作成したアイコンを自分が映っている反転画像上に重ね合わせて表示する。この時、アイコンは不透明でも、半透明でも、透明でもよい。前述したように実物体像の位置をスタートアイコンの表示位置とした時は、該アイコンは透明でもよい。また、メニューリストの項目アイコンは、半透明にすることで、背景の反転画像が見えるので、ユーザにとって見やすい表示とすることも可能である。また、指示位置検出部１３では、体全体で接触判定を行わずユーザの希望する体の部位で接触判定を行うので、メニューの表示位置は、ユーザの体の部位の中で接触判定を行わない部位の後ろに隠れても構わないため、メニューの表示位置もユーザ自身の位置も画面上で任意の位置（手指等を除く）に配置することができる。
【００２９】
コマンド選択部１６は、指示位置検出部１３で得られたユーザ指示位置と、メニュー表示位置決定部１４で決定されメニュー表示部１５で表示されるメニューの表示位置とを照らし合わせ、両者の位置関係からユーザが指示しようとするメニュー中の項目アイコン（コマンド情報）を探して選択する（ステップ２５，図３（３））。選択する方法としては、例えば、ユーザ指示位置からある一定の距離範囲内に表示されているアイコンの項目アイコンを探し、該当するものがあればその項目アイコンを選択する。これにより、選択された項目アイコンに対応するコマンドが選択され実行されることになる。ユーザは、自己画像が映った画面を見ながら、同じ画面上にＣＧ表示されているメニューに手指等を重ね合わせるだけでコマンド選択が可能であるため、分かり易く間違いの少ない指示が可能になる。
【００３０】
情報表示部１７は、反転画像生成部１２で得られた反転画像と、メニュー表示部１５で表示するメニューリストや選択されたコマンドを実行した結果に関わる情報等を重ね合わせてディスプレイに表示する（ステップ２６）。ディスプレイは、コンピュータ用に使われる汎用のディスプレイでよく、コンピュータの画面とカメラ画像を表示できるものであればよい。
【００３１】
（第２の実施形態）
図５は本発明の第２の実施形態のメニュー表示装置のブロック図、図６はその処理の流れを示すフローチャートである。
【００３２】
本実施形態のメニュー表示装置は、メニュー表示位置決定部１４、メニュー表示部１５、およびコマンド選択部１６において、メニューを図７のように階層的に表示するものである。例えば１段階目のメニューリストに対して、ユーザが選択したコマンドが、更にサブメニューを表示するコマンドであった場合、図７のように例えば該選択した項目アイコンの表示位置から、あらためて新しいメニューリスト（サブメニューリスト）を表示できる。この時、該サブメニューリストの表示方法については、第１の実施形態で示した（１段階目の）メニューリストの表示方法と同様な方法が容易に考えられる。このため、コマンド選択部１６での処理結果は、メニュー表示位置決定部１４およびメニュー表示部１５へ逆方向にも情報が伝わるようになっている（ステップ２７）。その他の処理部に関しては、いずれも第１の実施形態と同様な方法を用いることができる。
【００３３】
（第３の実施形態）
本発明の第３の実施形態のメニュー表示装置は、第１の実施形態（図１）と同様である。図８に具体的な例を示す。本実施形態のメニュー表示装置は、第１の実施形態や第２の実施形態と同様に、ユーザがスタートアイコンをタッチすると、メニューリストが表示されるものであるが、本実施形態におけるメニュー表示位置決定部１４およびメニュー表示部１５は、図８のようにスタートアイコンから項目アイコンが同時に射出されるように表示されるものである。各項目アイコンの射出方向および射出距離は異なる方向および距離を予め定めておき、アイコン同士が重ならず、かつユーザに見やすい位置（例えば画面上の周囲等の位置）に表示することが可能である。また、スタートアイコンから射出されるので、アイコンの意味付けが分かりやすいものとなる。
【００３４】
また、本実施形態の変形例として、図９に示すように、メニューリストを射出する途中を省き、メニュー表示位置決定部１４で決められた位置ですべての項目アイコンが同時に表示されるようにしてもよい（図９）。この時は、項目アイコンを表示する際に、全てのアイコンが少しずつ大きくなって現れる方法や、少しずつ透明から半透明になって不透明になって現れる方法などが考えられる。表示位置については、射出型の場合と同様に、アイコン同士が重ならずかつユーザに見やすい位置を予め設定して表示することが可能である。
【００３５】
また、本実施形態のメニュー表示装置は、第２の実施形態と同様の手段により、メニューを階層的に表示させることも可能である（図８，図９）。
【００３６】
（第４の実施形態）
図１０は本発明の第３の実施形態のメニュー表示装置のブロック図、図１１はその処理の流れを示すフローチャートである。
【００３７】
本メニュー表示装置は、画像入力部１１と反転画像生成部１２と指示位置検出部１３とメニュー表示部１５とメニュー表示位置決定部１４とコマンド選択部１６と情報表示部１７と人物抽出部１８から構成される。
【００３８】
人物抽出部１８とメニュー表示位置決定部１４以外の部分は、第１から第３の実施形態と同様である。以下では、人物抽出部１８とメニュー表示位置決定部１４について説明する。人物抽出部１８は反転画像を入力し、ユーザが映っている場合、ユーザの体の輪郭（または体全体）を抽出する処理を行う（ステップ２８）。輪郭を抽出する処理の具体的な方法としては、例えば背景との差分画像（背景差分画像）を求める画像処理を行う方法がある。背景差分画像を用いた処理とは、例えば、予め撮影しておいた背景画像（ユーザのいない状態で撮影した画像）と、現在撮影している現画像（ユーザがいる状態の画像）との間で差分画像を作成する。差分画像は、例えば、全画素について、画素毎に背景画像の画素値と、（同じ画素位置の）現画像の画素値の差の絶対値を求めることにより作成できる。これにより得られた背景差分画像は、ユーザを抽出した画像となっており、人物抽出部２８はその情報（背景差分画像全体もしくは得られた人物部分の画素の情報）を出力するものである。
【００３９】
メニュー表示位置決定部１４は、第１の実施形態のメニュー表示位置決定部１４と同様に、指示位置検出部１３で得られたユーザ指示位置に基づいてメニューの表示位置を決定するものであるが、それに加え、人物抽出部１８で得られたユーザの体の輪郭（または体全体）に関する画素情報に基づき、メニュー表示位置を決定する際に人物に重ならないよう避けて表示するようなメニュー表示位置を求める処理を行う。図１２にその表示例を説明する図を示す。第１の実施形態では、手の軌跡上もしくは手の動きに基づいた直線上にメニュー表示位置を決定する方法を挙げているが、本装置では、例えばまず第１の実施形態と同様の方法でメニューの項目アイコン毎にメニュー表示位置を求め、それがユーザの体と重なっていたら、そこから周囲を探して、メニューの項目アイコンがユーザに重ならない位置を求め、それをメニュー表示位置として決定する方法が考えられる。各項目アイコン毎に同様にして各々の表示位置を求める。メニューの項目アイコンがユーザに重ならない位置を求める方法としては、例えば重なったメニュー表示位置から最も距離が近くてユーザに重ならない位置を探す方法や、手の軌跡をたどりユーザに重なった所からユーザの輪郭に沿った曲線の軌跡を作りその上に項目アイコンを順次表示させていく方法などが容易に考えられる。
【００４０】
本装置のこれらの方法は、第２の実施形態のような階層型のメニュー表示方法においても、サブメニューに対して同様の方法で適用することができる。また、第３の実施形態のような射出型のメニュー表示方法においても同様に、項目アイコンが射出して移動する軌跡を直線でなく、本装置のようにユーザを避ける曲線の軌跡に置き換えることで、同様の方法を適用できる。
【００４１】
これらによって、メニュー（の項目アイコン）はユーザに常に重ならず自動的にユーザを避けた表示を行うことが可能になり、ユーザにとって操作性のよいインタフェースを提供することができるようになる。
【００４２】
なお、本発明は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【００４３】
【発明の効果】
以上説明したように、本発明は下記の効果がある。
【００４４】
請求項１，４，７の発明は、ユーザは任意の位置にメニューを表示できるため、コマンドを増加させたり、階層的なメニューを表示させたりしたい場合でも、表示場所が不足したり、またメニューがユーザにとって使いにくい場所に表示されたりすることなく、メニューの表示を行うことができ、インタフェースの利便性を向上させることができる。
【００４５】
請求項２，５，７の発明は、ユーザはメニューの表示位置や表示方向、表示形態を任意に指定できるため、ユーザの位置や動きによらず、ユーザにとって操作しやすい位置、方向、形態をその都度変更してメニューリストを表示させることができ、インタフェースの利便性を向上させることができる。
【００４６】
請求項３，６，７の発明は、ユーザの位置によらず常にメニューがユーザと重ならなくなるため、ユーザがメニューを表示させる際に、ユーザがユーザ自身の自己像等の重畳したくない画像領域を気にせず、メニュー表示の動作を行うことができ、インタフェースの利便性を向上させることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態のメニュー表示装置のブロック図である。
【図２】第１の実施形態の処理の流れを示すフローチャートである。
【図３】第１の実施形態におけるメニュー表示の例を説明する図である。
【図４】第１の実施形態におけるメニュー表示の例を説明する図である。
【図５】本発明の第２の実施形態のメニュー表示装置のブロック図である。
【図６】本発明の第２の実施形態の処理の流れを示すフローチャートである。
【図７】第２の実施形態におけるメニュー表示の例を説明する図である。
【図８】第２の実施形態におけるメニュー表示の例を説明する図である。
【図９】本発明の第２の実施形態を説明する図である。
【図１０】本発明の第３の実施形態のメニュー表示装置のブロック図である。
【図１１】第３の実施形態の処理の流れを示すフローチャートである。
【図１２】第３の実施形態におけるメニュー表示の例を説明する図である。
【符号の説明】
１１ 画像入力部
１２ 反転画像生成部
１３ 指示位置検出部
１４ メニュー表示位置決定部
１５ メニュー表示部
１６ コマンド選択部
１７ 情報表示部
１８ 人物抽出部
２１〜２８ ステップ
Claims (7)
- カメラで撮影された操作者を含む画像またはその左右反転した画像を入力画像とし、操作者がその入力画像を見ながら、該画面上の定められた場所へ、入力画像上に表示されている操作者の体の一部の部分画像もしくは装着したマーカの部分画像を移動させることにより、該部分画像の画面上での位置に基づき操作者の動作を認識するインタフェース装置において、
入力された画像を左右反転した反転画像を生成するステップと、
該反転画像上で操作者の指示している位置を検出するステップと、
該反転画像上で操作者の動作からコマンドのメニューの表示位置を決定するステップと、
決定されたメニュー表示位置にコマンドのメニューを表示するステップと、
操作者が指定するコマンドを選択するステップと、
選択されたコマンドに基づき入力画像上に情報を表示するステップと
を有するメニュー表示方法。 - 前記コマンドのメニューの表示位置を決定するステップは、操作者の指示している位置を検出するステップで検出された操作者指示位置を起点とし、起点から遠ざかる方向に伸ばした１本もしくは複数本の直線もしくは曲線上にメニューが表示されるように、メニューの表示位置を決定する、請求項１記載のメニュー表示方法。
- 前記コマンドのメニューの表示位置を決定するステップは、反転画像上で操作者もしくは指定した物体の輪郭を抽出し、抽出された該輪郭情報を用いることにより、メニューが該操作者もしくは指定した物体の表示部分と重ならないよう避けて表示されるように、メニューの表示位置を決定する、請求項１または２記載のメニュー表示方法。
- カメラで撮影された操作者を含む画像またはその左右反転した画像を入力画像とし、操作者がその入力画像を見ながら、該画面上の定められた場所へ、入力画像上に表示されている操作者の体の一部の部分画像もしくは装着したマーカの部分画像を移動させることにより、該部分画像の画面上での位置に基づき操作者の動作を認識するインタフェース装置において、
入力された画像を左右反転した反転画像を生成する手段と、
該反転画像上で操作者の指示している位置を検出する手段と、
該反転画像上で操作者の動作からコマンドのメニューの表示位置を決定する手段と、
決定されたメニュー表示位置にコマンドのメニューを表示する手段と、
操作者が指定するコマンドを選択する手段と、
選択されたコマンドに基づき入力画像上に情報を表示する手段と
を有するメニュー表示装置。 - 前記コマンドのメニューの表示位置を決定する手段は、前記操作者の指示している位置を検出する手段により検出された操作者指示位置を起点とし、起点から遠ざかる方向に伸ばした１本もしくは複数本の直線もしくは曲線上にメニューが表示されるように、メニューの表示位置を決定する、請求項４記載のメニュー表示装置。
- 前記コマンドのメニューの表示位置を決定する手段は、反転画像上で操作者もしくは指定した物体の輪郭を抽出する手段を有し、抽出された該輪郭情報を用いることにより、メニューが該操作者もしくは指定した物体の表示部分と重ならないよう避けて表示されるように、メニューの表示位置を決定する、請求項４または５記載のメニュー表示装置。
- 請求項１から３のいずれか１項に記載のメニュー表示方法をコンピュータに実行させるためのメニュー表示プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003046128A JP2004258766A (ja) | 2003-02-24 | 2003-02-24 | 自己画像表示を用いたインタフェースにおけるメニュー表示方法、装置、プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003046128A JP2004258766A (ja) | 2003-02-24 | 2003-02-24 | 自己画像表示を用いたインタフェースにおけるメニュー表示方法、装置、プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004258766A true JP2004258766A (ja) | 2004-09-16 |
Family
ID=33112763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003046128A Pending JP2004258766A (ja) | 2003-02-24 | 2003-02-24 | 自己画像表示を用いたインタフェースにおけるメニュー表示方法、装置、プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004258766A (ja) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004246856A (ja) * | 2002-12-18 | 2004-09-02 | National Institute Of Advanced Industrial & Technology | インタフェース装置 |
| JP2008040959A (ja) * | 2006-08-09 | 2008-02-21 | ▲うぇ▼▲ちん▼科技股▲ふん▼有限公司 | 受動式及びインタラクティブ式の即時影像認識方法 |
| JP2009020760A (ja) * | 2007-07-12 | 2009-01-29 | Hitachi Ltd | ユーザインターフェース方法、表示装置、および、ユーザインターフェースシステム |
| JPWO2007013652A1 (ja) * | 2005-07-29 | 2009-02-12 | パイオニア株式会社 | 画像表示制御装置、画像表示装置、遠隔操作器、画像表示システム |
| JP2009070314A (ja) * | 2007-09-18 | 2009-04-02 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム |
| JP2009519552A (ja) * | 2005-12-12 | 2009-05-14 | 株式会社ソニー・コンピュータエンタテインメント | 相互対話的な電子的にシミュレートされた環境の音声および映像制御 |
| US7629959B2 (en) | 2004-09-21 | 2009-12-08 | Victor Company Of Japan, Limited | Controller for electronic appliance |
| US7679689B2 (en) | 2005-05-16 | 2010-03-16 | Victor Company Of Japan, Limited | Electronic appliance |
| JP2011253273A (ja) * | 2010-06-01 | 2011-12-15 | Sony Corp | 表示方法および情報処理装置 |
| JP2012058882A (ja) * | 2010-09-07 | 2012-03-22 | Sony Corp | 情報処理装置、情報処理方法およびコンピュータプログラム |
| JP2012103800A (ja) * | 2010-11-08 | 2012-05-31 | Sharp Corp | 表示装置 |
| WO2012070250A1 (ja) * | 2010-11-25 | 2012-05-31 | パナソニック株式会社 | 通信機器 |
| JP2012529099A (ja) * | 2009-06-05 | 2012-11-15 | サムスン エレクトロニクス カンパニー リミテッド | ユーザ別ｕｉ提供方法及びそれを適用したデバイス |
| JP2013054756A (ja) * | 2012-10-30 | 2013-03-21 | Olympus Imaging Corp | 操作制御装置、カメラ、操作制御方法および操作制御用プログラム |
| JP2013533999A (ja) * | 2010-06-10 | 2013-08-29 | コーニンクレッカ フィリップス エヌ ヴェ | オプションを提示するための方法及び装置 |
| JP2014142773A (ja) * | 2013-01-23 | 2014-08-07 | Casio Comput Co Ltd | 電子機器、表示制御方法及びプログラム |
| JP2014149856A (ja) * | 2007-07-27 | 2014-08-21 | Qualcomm Inc | 高度なカメラをベースとした入力 |
| US9020432B2 (en) | 2009-11-30 | 2015-04-28 | Panasonic Intellectual Property Corporation Of America | Mobile communication device, communication method, integrated circuit, and program |
| JP2015181280A (ja) * | 2009-11-23 | 2015-10-15 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | ３Ｄ映像提供方法及びこれを適用した３Ｄディスプレイ装置｛Ｍｅｔｈｏｄｆｏｒｐｒｏｖｉｄｉｎｇ３Ｄｉｍａｇｅａｎｄ３Ｄｄｉｓｐｌａｙａｐｐａｒａｔｕｓ｝ |
| JP2015215911A (ja) * | 2015-06-24 | 2015-12-03 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
| JP2019521452A (ja) * | 2016-07-22 | 2019-07-25 | グーグル エルエルシー | 仮想現実ユーザインターフェイスのためのユーザの動きの範囲の検出 |
-
2003
- 2003-02-24 JP JP2003046128A patent/JP2004258766A/ja active Pending
Cited By (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004246856A (ja) * | 2002-12-18 | 2004-09-02 | National Institute Of Advanced Industrial & Technology | インタフェース装置 |
| US7629959B2 (en) | 2004-09-21 | 2009-12-08 | Victor Company Of Japan, Limited | Controller for electronic appliance |
| US7679689B2 (en) | 2005-05-16 | 2010-03-16 | Victor Company Of Japan, Limited | Electronic appliance |
| JP4712804B2 (ja) * | 2005-07-29 | 2011-06-29 | パイオニア株式会社 | 画像表示制御装置及び画像表示装置 |
| JPWO2007013652A1 (ja) * | 2005-07-29 | 2009-02-12 | パイオニア株式会社 | 画像表示制御装置、画像表示装置、遠隔操作器、画像表示システム |
| EP1960990B1 (en) * | 2005-12-12 | 2018-04-25 | Sony Interactive Entertainment Inc. | Voice and video control of interactive electronically simulated environment |
| JP2009519552A (ja) * | 2005-12-12 | 2009-05-14 | 株式会社ソニー・コンピュータエンタテインメント | 相互対話的な電子的にシミュレートされた環境の音声および映像制御 |
| JP2008040959A (ja) * | 2006-08-09 | 2008-02-21 | ▲うぇ▼▲ちん▼科技股▲ふん▼有限公司 | 受動式及びインタラクティブ式の即時影像認識方法 |
| JP2009020760A (ja) * | 2007-07-12 | 2009-01-29 | Hitachi Ltd | ユーザインターフェース方法、表示装置、および、ユーザインターフェースシステム |
| US11500514B2 (en) | 2007-07-27 | 2022-11-15 | Qualcomm Incorporated | Item selection using enhanced control |
| US10268339B2 (en) | 2007-07-27 | 2019-04-23 | Qualcomm Incorporated | Enhanced camera-based input |
| JP2014149856A (ja) * | 2007-07-27 | 2014-08-21 | Qualcomm Inc | 高度なカメラをベースとした入力 |
| JP2016194948A (ja) * | 2007-07-27 | 2016-11-17 | クアルコム，インコーポレイテッド | 高度なカメラをベースとした入力 |
| US10509536B2 (en) | 2007-07-27 | 2019-12-17 | Qualcomm Incorporated | Item selection using enhanced control |
| US11960706B2 (en) | 2007-07-27 | 2024-04-16 | Qualcomm Incorporated | Item selection using enhanced control |
| JP2009070314A (ja) * | 2007-09-18 | 2009-04-02 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム |
| JP4636064B2 (ja) * | 2007-09-18 | 2011-02-23 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| JP2012529099A (ja) * | 2009-06-05 | 2012-11-15 | サムスン エレクトロニクス カンパニー リミテッド | ユーザ別ｕｉ提供方法及びそれを適用したデバイス |
| US10462133B2 (en) | 2009-06-05 | 2019-10-29 | Samsung Electronics Co., Ltd | Method for providing user interface for each user, method for performing service, and device applying the same |
| US9548980B2 (en) | 2009-06-05 | 2017-01-17 | Samsung Electronics Co., Ltd | Method for providing user interface for each user, method for performing service, and device applying the same |
| US9063652B2 (en) | 2009-06-05 | 2015-06-23 | Samsung Electronics Co., Ltd | Method for providing user interface for each user, method for performing service, and device applying the same |
| US9438593B2 (en) | 2009-06-05 | 2016-09-06 | Samsung Electronics Co., Ltd | Method for providing user interface for each user and device applying the same |
| US8898588B2 (en) | 2009-06-05 | 2014-11-25 | Samsung Electronics Co., Ltd | Method for providing user interface for each user and device applying the same |
| JP2015181280A (ja) * | 2009-11-23 | 2015-10-15 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | ３Ｄ映像提供方法及びこれを適用した３Ｄディスプレイ装置｛Ｍｅｔｈｏｄｆｏｒｐｒｏｖｉｄｉｎｇ３Ｄｉｍａｇｅａｎｄ３Ｄｄｉｓｐｌａｙａｐｐａｒａｔｕｓ｝ |
| US9020432B2 (en) | 2009-11-30 | 2015-04-28 | Panasonic Intellectual Property Corporation Of America | Mobile communication device, communication method, integrated circuit, and program |
| CN102289446A (zh) * | 2010-06-01 | 2011-12-21 | 索尼公司 | 显示方法和信息处理设备 |
| JP2011253273A (ja) * | 2010-06-01 | 2011-12-15 | Sony Corp | 表示方法および情報処理装置 |
| JP2013533999A (ja) * | 2010-06-10 | 2013-08-29 | コーニンクレッカ フィリップス エヌ ヴェ | オプションを提示するための方法及び装置 |
| US9639151B2 (en) | 2010-06-10 | 2017-05-02 | Koninklijke Philips N.V. | Method and apparatus for presenting an option |
| US10296134B2 (en) | 2010-09-07 | 2019-05-21 | Sony Corporation | Information processor, information processing method, and computer program |
| US8952931B2 (en) | 2010-09-07 | 2015-02-10 | Sony Corporation | Information processor, information processing method, and computer program |
| US10503316B1 (en) | 2010-09-07 | 2019-12-10 | Sony Corporation | Information processor, information processing method, and computer program |
| US8736575B2 (en) | 2010-09-07 | 2014-05-27 | Sony Corporation | Information processor, information processing method, and computer program |
| US9671897B2 (en) | 2010-09-07 | 2017-06-06 | Sony Corporation | Information processor, information processing method, and computer program |
| JP2012058882A (ja) * | 2010-09-07 | 2012-03-22 | Sony Corp | 情報処理装置、情報処理方法およびコンピュータプログラム |
| JP2012103800A (ja) * | 2010-11-08 | 2012-05-31 | Sharp Corp | 表示装置 |
| US9262913B2 (en) | 2010-11-25 | 2016-02-16 | Panasonic Intellectual Property Corporation Of America | Communication device |
| CN103221986A (zh) * | 2010-11-25 | 2013-07-24 | 松下电器产业株式会社 | 通信设备 |
| WO2012070250A1 (ja) * | 2010-11-25 | 2012-05-31 | パナソニック株式会社 | 通信機器 |
| US9047759B2 (en) | 2010-11-25 | 2015-06-02 | Panasonic Intellectual Property Corporation Of America | Communication device |
| JP2013054756A (ja) * | 2012-10-30 | 2013-03-21 | Olympus Imaging Corp | 操作制御装置、カメラ、操作制御方法および操作制御用プログラム |
| JP2014142773A (ja) * | 2013-01-23 | 2014-08-07 | Casio Comput Co Ltd | 電子機器、表示制御方法及びプログラム |
| JP2015215911A (ja) * | 2015-06-24 | 2015-12-03 | ソニー株式会社 | 情報処理装置、情報処理方法およびコンピュータプログラム |
| JP2019521452A (ja) * | 2016-07-22 | 2019-07-25 | グーグル エルエルシー | 仮想現実ユーザインターフェイスのためのユーザの動きの範囲の検出 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11048333B2 (en) | System and method for close-range movement tracking | |
| JP2004258766A (ja) | 自己画像表示を用いたインタフェースにおけるメニュー表示方法、装置、プログラム | |
| JP4323180B2 (ja) | 自己画像表示を用いたインタフェース方法、装置、およびプログラム | |
| US10761610B2 (en) | Vehicle systems and methods for interaction detection | |
| US20240168602A1 (en) | Throwable interface for augmented reality and virtual reality environments | |
| US20230161415A1 (en) | Systems and methods of free-space gestural interaction | |
| US20220261112A1 (en) | Systems, devices, and methods for touch-free typing | |
| US9910498B2 (en) | System and method for close-range movement tracking | |
| US20190324552A1 (en) | Systems and methods of direct pointing detection for interaction with a digital device | |
| JP6480434B2 (ja) | デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法 | |
| TWI524210B (zh) | 基於自然姿勢之使用者介面方法及系統 | |
| US9030498B2 (en) | Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface | |
| US20180292907A1 (en) | Gesture control system and method for smart home | |
| CN117032519A (zh) | 用于与三维环境进行交互的设备、方法和图形用户界面 | |
| US20120274550A1 (en) | Gesture mapping for display device | |
| JP2013037675A5 (ja) | ||
| JP2009042796A (ja) | ジェスチャー入力装置および方法 | |
| KR20130105725A (ko) | 콘텐츠의 양 손 제어에 기반한 컴퓨터 비전 | |
| US20150058782A1 (en) | System and method for creating and interacting with a surface display | |
| CN106796810A (zh) | 在用户界面上从视频选择帧 | |
| Liang et al. | ShadowTouch: Enabling Free-Form Touch-Based Hand-to-Surface Interaction with Wrist-Mounted Illuminant by Shadow Projection | |
| CN109753154B (zh) | 有屏设备的手势控制方法和装置 | |
| CN113672158A (zh) | 一种增强现实的人机交互方法及设备 | |
| Tang et al. | CUBOD: a customized body gesture design tool for end users | |
| Fan | Practical ad hoc tangible interactions in augmented reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050124 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050614 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060608 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060614 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060809 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070124 |