JP2016095557A - 表示制御装置、及び、表示制御方法 - Google Patents

Abstract

【課題】ユーザーの動きを検出し、ディスプレイに表示されたオブジェクト画像を仮想的に操作できるユーザーインターフェースにおいて、より直感的な操作を可能とする。【解決手段】オブジェクト画像を含む入力画像を表示画面に表示させる表示制御部２１と、指示体の位置および形状を検出する検出部４０と、指示体画像を生成する画像生成部２２と、指示体の座標を求める座標検出部２４と、指示体画像の表示位置を設定する表示位置設定部２５と、入力画像に指示体画像を重畳して重畳画像を生成する重畳画像生成部２６と、操作を検出する操作検出部２７と、を備える。重畳画像生成部２６は、座標検出部２４が求める指示体の座標または座標の変化に基づきオブジェクト画像を変化させて指示体画像と重畳して重畳画像を生成し、表示制御部２１は、重畳画像生成部２６が生成した重畳画像を表示画面に表示させる。【選択図】図１

Description

本発明は、表示制御装置、及び、表示制御方法に関する。

従来、ディスプレイに表示されたオブジェクト画像を仮想的に操作するユーザーインタ
ーフェースが知られている。例えば、ユーザーのジェスチャをカメラで認識して、ジェス
チャの変化に基づいて、表示された画像オブジェクトの移動、リサイズ、回転等の操作を
実行できるものがある（例えば、特許文献１参照）。また、仮想作業領域を立体視表示す
るとともに、作業者の動きをモーションキャプチャにて捉え、作業者が仮想領域内で作業
対象物を取り、移動先へ移動するなどの作業を仮想的に行うことができるシステムがある
（例えば、特許文献２参照）。

特開２０１１−５１７３５７号公報 特開２００５−１３４５３６号公報

上述したように、ユーザーの動きを検出し、ディスプレイに表示されたオブジェクト画
像を仮想的に操作できるユーザーインターフェースにおいて、より直感的に操作できるこ
とが望まれていた。
本発明は、上述した事情に鑑みてなされたものであり、ユーザーの動きを検出し、ディ
スプレイに表示されたオブジェクト画像を仮想的に操作できるユーザーインターフェース
において、より直感的な操作を可能とする表示制御装置、及び、表示制御方法を提供する
ことを目的とする。

上記目的を達成するために、本発明の表示制御装置は、オブジェクト画像を含む画像を
表示画面に表示させる表示制御部と、少なくとも操作者の手を含む指示体の位置および形
状を検出する検出部と、前記検出部が検出した前記指示体の形状に基づき指示体画像を生
成する画像生成部と、前記指示体と前記表示画面との距離を検出する距離検出部と、前記
距離検出部が検出した距離に基づき、前記指示体の座標を求める座標検出部と、前記座標
検出部が求めた前記指示体の座標に基づき前記指示体画像の表示位置を設定する表示位置
設定部と、前記表示位置設定部が設定した表示位置に基づいて、前記画像に前記指示体画
像を重畳して重畳画像を生成する重畳画像生成部と、前記オブジェクト画像の表示位置と
前記表示位置設定部が設定した表示位置とに基づき、操作を検出する操作検出部と、を備
え、前記重畳画像生成部は、前記座標検出部が求める前記指示体の座標または座標の変化
に基づき前記オブジェクト画像を変化させて前記指示体画像と重畳して前記重畳画像を生
成し、前記表示制御部は、前記重畳画像生成部が生成した前記重畳画像を前記表示画面に
表示させることを特徴とする。
本発明によれば、指示体の形状に基づき指示体画像を生成し、指示体の座標または座標
の変化に基づきオブジェクト画像を変化させて指示体画像と重畳して表示し、指示体画像
とオブジェクト画像との表示位置に基づき操作を検出するため、表示画面内の仮想空間で
の直感的な操作が可能になる。

また、本発明は、上記表示制御装置において、前記操作検出部は、前記表示位置設定部
が設定した前記指示体画像の表示位置を示す表示座標データと、前記オブジェクト画像の
操作位置として予め定められた操作座標データとが重なるか否かを判定することにより、
前記オブジェクト画像に対する操作を検出すること、を特徴とする。
本発明によれば、操作者が実空間内で指示体を動かし、表示画面に表示された指示体画
像を画像に重ねることで操作を行うことができ、仮想空間での直感的な操作が可能になる
。

また、本発明は、上記表示制御装置において、前記座標検出部が、前記距離検出部が検
出した距離に基づき、前記表示画面を基準とする三次元の前記指示体の座標を求め、前記
画像生成部は、前記座標検出部が求める前記指示体の座標または座標の変化に基づき、前
記指示体画像を拡大、縮小または変形させること、を特徴とする。
本発明によれば、三次元空間での指示体の動きに基づいて、指示体画像を拡大、縮小ま
たは変形させることができ、より直感的な操作が可能になる。

また、本発明は、上記表示制御装置において、前記重畳画像生成部は、前記指示体画像
の拡大、縮小、または変形に伴って、前記オブジェクト画像を拡大、縮小、または変形さ
せた変形画像を生成し、前記変形画像を前記指示体画像と重畳して前記重畳画像を生成す
ることを特徴とする。
本発明によれば、指示体画像の拡大、縮小、または変形に対して、画像を拡大、縮小、
または変形して表示できるため、より直感的な操作が可能になる。

また、本発明は、上記表示制御装置において、制御対象の装置に接続する接続部と、前
記接続部に接続する前記制御対象の装置を制御する装置制御部と、を備え、前記装置制御
部は、前記操作検出部が検出する操作に基づいて、前記制御対象の装置を制御すること、
を特徴とする。
本発明によれば、表示制御装置を様々な制御対象の装置のユーザーインターフェースと
して利用できる。

また、本発明は、上記表示制御装置において、前記接続部は、前記表示画面を有する表
示装置に接続され、前記装置制御部は、前記操作検出部が検出する操作に基づいて前記表
示装置を制御すること、を特徴とする。
本発明によれば、表示制御装置と、表示装置とを別体に構成し、表示制御装置を、様々
な表示装置に対して利用できる。

また、本発明は、上記表示制御装置において、前記検出部の設置位置を変更可能に構成
されたこと、を特徴とする。
本発明によれば、検出部を、表示制御装置や表示装置とは別体に構成し、任意の場所に
設置して用いることができる。

また、本発明は、上記表示制御装置において、前記座標検出部は、前記検出部の設置位
置と、前記距離検出部が検出した距離とに基づいて前記指示体の座標を求め、前記座標検
出部に対して前記検出部の設置位置を設定する位置設定部を備えたこと、を特徴とする。
本発明によれば、検出部の設置位置を座標検出部に対して設定でき、検出部を任意の場
所に設置して用いることができる。

また、本発明は、上記表示制御装置において、前記画像生成部は、前記指示体の形状に
基づき立体画像である前記指示体画像を生成すること、を特徴とする。
本発明によれば、立体画像である指示体画像を生成し表示でき、より直感的な操作が可
能になる。

また、上記目的を達成するために、本発明の表示制御方法は、オブジェクト画像を含む
画像を表示画面に表示させる表示制御方法であって、少なくとも操作者の手を含む指示体
の位置および形状を検出し、検出した前記指示体の形状に基づき指示体画像を生成し、前
記指示体と前記表示画面との距離を検出し、検出した距離に基づき、前記指示体の座標を
求め、求めた前記指示体の座標に基づき前記指示体画像の表示位置を設定し、設定した表
示位置に基づいて、前記画像に前記指示体画像を重畳して重畳画像を生成し、生成した前
記重畳画像を前記表示画面に表示させ、前記画像内における前記オブジェクト画像の表示
位置と設定した表示位置とに基づき操作を検出し、前記指示体の座標または座標の変化に
基づき前記オブジェクト画像を変化させて前記指示体画像と重畳して前記重畳画像を生成
し、生成した前記重畳画像を前記表示画面に表示させること、を特徴とする。
本発明によれば、指示体の形状に基づき指示体画像を生成し、指示体の座標または座標
の変化に基づきオブジェクト画像を変化させて指示体画像と重畳して表示し、指示体画像
とオブジェクト画像との表示位置に基づき操作を検出するため、表示画面内の仮想空間で
の直感的な操作が可能になる。

表示制御装置の機能ブロック図。 表示制御装置の動作を示すフローチャート。 表示画像の例を示す図。 表示画像の別の例を示す図。

以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明を適用した実施形態に係る表示制御装置１０の概略構成を示すブロック
図である。
表示制御装置１０は、表示装置１００に接続部３０を介して接続され、表示装置１００
を制御し、表示装置１００の表示画面に画像を表示させる。表示装置１００は、３次元画
像を表示できる表示装置であっても良いし、２次元画像を表示する表示装置であってもよ
い。また、表示装置１００として、液晶表示パネルに画像を表示する液晶モニターまたは
液晶テレビを用いることができる。また、ＰＤＰ（プラズマディスプレイパネル）、ＣＲ
Ｔ（陰極線管）ディスプレイ、ＳＥＤ（ＳＵＲＦＡＣＥ−ＣＯＮＤＵＣＴＩＯＮ ＥＬＥ
ＣＴＲＯＮ−ＥＭＩＴＴＥＲ ＤＩＳＰＬＡＹ）等を表示装置１００として用いてもよい
。また、ＯＬＥＤ（ＯＲＧＡＮＩＣ ＬＩＧＨＴ−ＥＭＩＴＴＩＮＧ ＤＩＯＤＥ）、Ｏ
ＥＬ（ＯＲＧＡＮＩＣ ＥＬＥＣＴＲＯ ＬＵＭＩＮＥＳＣＥＮＣＥ）ディスプレイ等と
呼ばれる有機ＥＬ表示パネルに画像を表示する自発光型の表示装置１００を採用してもよ
い。また、表示装置１００は、スクリーンに画像を投射して表示するプロジェクターであ
っても良い。また、表示装置１００は、ヘッドマウントディスプレイ（ＨＥＡＤ ＭＯＵ
ＮＴＥＤ ＤＩＳＰＬＡＹ、ＨＭＤ）と呼ばれる頭部装着型の表示装置であっても良い。
なお、本実施形態では、表示制御装置１０は、表示装置１００と別体に設けられる構成
について説明するが、表示制御装置１０は、表示装置１００と一体に構成されていても良
い。

表示制御装置１０は、表示制御装置１０の各部を制御する制御部２０を備える。制御部
２０は、図示は省略するが、ＣＰＵ（ＣＥＮＴＲＡＬ ＰＲＯＣＥＳＳＩＮＧ ＵＮＩＴ
）、ＲＯＭ（ＲＥＡＤ ＯＮＬＹ ＭＥＭＯＲＹ）、ＲＡＭ（ＲＡＮＤＯＭ ＡＣＣＥＳ
Ｓ ＭＥＭＯＲＹ）等のハードウェアを備え、ＣＰＵが制御プログラムを実行することに
より、表示制御装置１０の各部を制御する。制御部２０には、接続部３０と、検出部４０
と、入力部５０とが接続される。
接続部３０は、通信用インターフェイスや画像入力インターフェイス規格に準拠したコ
ネクター及びインターフェイス回路を備える。通信用インターフェイスとしては、例えば
、有線ＬＡＮ、ＩＥＥＥ１３９４、ＵＳＢ等が挙げられる。画像入力インターフェイスと
しては、例えば、各種アナログインターフェイスのほか、ＭＨＬ（登録商標）、ＨＤＭＩ
（登録商標）、ＤｉｓｐｌａｙＰｏｒｔ（商標）、ＣｏａＸＰｒｅｓｓ（商標）等が挙げ
られる。また、接続部３０は、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）等に準拠し
た無線通信インターフェイスを備えてもよい。表示制御装置１０は、接続部３０を介して
表示装置１００に画像信号を出力する。

また、表示制御装置１０には、接続部３０を介して制御対象装置２００が接続される。
制御対象装置２００は、表示制御装置１０及び表示装置１００から構成されるユーザーイ
ンターフェースを介して入力される操作者の操作に基づいて制御される対象の装置である
。制御対象装置２００は、表示制御装置１０から接続部３０を介して受信する制御信号に
基づいて動作する装置であればいかなる装置であってもよい。

検出部４０は、３次元実空間内の操作者の腕、手、指等の指示体を撮影するカメラ４１
を備える。カメラ４１は、図示は省略するが、撮像光学系、撮像素子、インターフェイス
回路等を有する。撮像素子としては、赤外領域及び可視光領域の光を受光するＣＣＤやＣ
ＭＯＳが挙げられる。検出部４０のカメラ４１として、一般的に用いられるビデオカメラ
やＣＣＤカメラを用いても良い。また、検出部４０は、指示体を複数の方向から撮影する
複数のカメラ４１を備えている構成でも良い。検出部４０は、表示制御装置１０とは別体
に構成され、実空間内の任意の場所に自由に設置可能である。なお、検出部４０は、表示
装置１００に一体に設けられている構成であっても良い。検出部４０は、制御部２０の制
御に基づいて予め設定された周期で連続的にカメラ４１による撮影を実行し、各フレーム
での指示体の位置および形状を検出する。
また、検出部４０は、赤外線を出射して表示装置１００と操作者の指示体との距離を計
測する距離センサー４２を備える。検出部４０は、距離センサー４２での検出値を制御部
２０に出力する。

入力部５０は、外部の画像供給装置に接続される。外部の画像供給装置から入力部５０
を介して入力される入力画像は、表示装置１００の表示画面に表示される。画像供給装置
としては、パーソナルコンピューターや、ビデオ再生装置、ＤＶＤ（ＤＩＧＩＴＡＬ Ｖ
ＥＲＳＡＴＩＬＥ ＤＩＳＫ）再生装置、テレビチューナー装置、ＣＡＴＶ（ＣＡＢＬＥ
ＴＥＬＥＶＩＳＩＯＮ）のセットトップボックス、ビデオゲーム装置等の各種映像出力
装置が挙げられる。入力部５０は、通信用インターフェイスや画像入力インターフェイス
規格に準拠したコネクター及びインターフェイス回路を備える。入力部５０には、コネク
ターやインターフェイス回路を介して画像供給装置からデジタル画像データまたはアナロ
グ画像信号が入力される。

制御部２０は、表示制御部２１を備える。また、制御部２０は、画像生成部２２、距離
検出部２３、座標検出部２４、及び表示位置設定部２５を備える。また、制御部２０は、
重畳画像生成部２６を備える。また、制御部２０は、操作検出部２７を備える。また、制
御部２０は、位置設定部２８を備える。また、制御部２０は装置制御部２９を備える。
表示制御部２１は、表示装置１００を制御して、表示装置１００の表示画面に画像を表
示させる。
装置制御部２９は、表示制御装置１０に接続部３０を介して接続された制御対象装置２
００を制御し、操作検出部２７により検出された操作者の操作に基づいて制御対象装置２
００を動作させる。なお、本実施形態では、表示装置１００と、制御対象装置２００とは
別な装置である構成について説明するが、表示制御装置１０に接続されている表示装置１
００を、制御対象装置２００として兼用する構成であっても良い。

画像生成部２２は、検出部４０が検出した指示体の形状に基づいて指示体画像を生成す
る。画像生成部２２は、検出部４０が撮影した撮影画像から、画像認識で指示体の形状を
認識する。また、画像生成部２２は、検出部４０が撮影した撮影画像に基づいて、指示体
の形状を操作者から見た指示体の形状となるように適宜に画像処理を行う。また、不図示
の記憶部に、多方向から見た手のモデルを予め記憶し、当該手のモデルを検出部４０で検
出した指示体の形状に基づいて変形させることで、画像生成部２２が操作者から見た指示
体画像を生成する構成であっても良い。また、画像生成部２２は、検出部４０が備える複
数のカメラ４１の撮影画像に基づいて、指示体の３ＤＣＧや、立体画像を生成する構成で
あっても良い。例えば、表示装置１００が３次元画像を表示できる表示装置の場合には、
画像生成部２２は指示体の立体画像を生成し、表示装置１００が２次元画像を表示する表
示装置の場合には、画像生成部２２は指示体の３ＤＣＧを生成する構成であっても良い。

距離検出部２３は、検出部４０から入力された距離センサー４２の検出値に基づいて、
表示装置１００と指示体との距離を検出する。
座標検出部２４は、距離検出部２３が検出した表示装置１００と指示体との距離に基づ
いて、指示体の３次元実空間内での座標を検出する。検出部４０のカメラ４１で撮影する
撮影画像中に表示装置１００及び指示体が撮影される場合には、座標検出部２４は、撮影
画像中の表示装置１００と指示体との距離及び両者の相対的な位置関係に基づいて指示体
の３次元実空間内での座標を求めても良い。指示体の３次元実空間内での座標は、例えば
表示装置１００の表示画面を基準とした座標であっても良いし、或いは、３次元実空間内
の所定の点を基準とした座標であっても良い。さらに、検出部４０が複数のカメラ４１を
備えている場合には、座標検出部２４は、それぞれのカメラ４１からの撮影画像に基づい
て、指示体の３次元実空間内での３次元座標を求める構成であっても良い。また、座標検
出部２４は、操作者の腕、手、指等からなる指示体の複数の点についてそれぞれの３次元
実空間内での座標を求めてもよい。

表示位置設定部２５は、座標検出部２４が検出した指示体の３次元実空間内での３次元
座標に基づいて、指示体画像を表示装置１００の表示画面に表示するための表示位置を設
定し、表示座標データを生成する。表示位置設定部２５は、座標検出部２４が検出した指
示体の３次元座標を、表示装置１００上の座標に変換して、指示体画像の表示座標データ
を設定する。例えば、座標検出部２４は、３次元実空間内の予め設定された所定位置に操
作者が就き、当該操作者が腕を体の前方に水平方向に伸ばした状態の指示体の３次元座標
を始点として認識する。そして、表示位置設定部２５は、座標検出部２４により検出され
るこの始点からの指示体の座標の移動に基づいて、指示体画像の表示位置を実時間で設定
しても良い。表示位置設定部２５は、指示体画像における操作者の腕、手、指の複数の点
に対して表示装置１００上の座標である表示座標データを設定しても良い。

重畳画像生成部２６は、入力部５０を介して外部の画像供給装置から入力される入力画
像と、指示体画像と、を重畳した重畳画像を生成する。重畳画像生成部２６は、表示位置
設定部２５によって設定された指示体画像の表示装置１００上での座標を示す表示座標デ
ータに基づいて、指示体画像を入力画像に重畳する。重畳画像生成部２６が生成した重畳
画像は、表示制御部２１の機能により、表示装置１００の表示画面に表示される。

また、重畳画像生成部２６は、入力画像と、指示体画像と、を重畳するさいに、入力画
像中のオブジェクト画像に予め設定された表示装置１００上の座標と、指示体画像の表示
装置１００上での座標と、が一致するか否かを判断する。入力画像中のオブジェクト画像
に予め設定された表示装置１００上の座標は、オブジェクト画像を構成する各画素におけ
る画素座標であっても良い。上述したように、表示位置設定部２５は、指示体画像の複数
の点について表示装置１００上の座標を設定できる。重畳画像生成部２６は、表示装置１
００上の座標が設定された指示体画像の複数の点について、入力画像中のオブジェクト画
像との座標と一致するかを判断してもよい。
重畳画像生成部２６は、指示体画像の座標と、入力画像中のオブジェクト画像の座標と
が一致する場合には、これ以降、指示体画像の座標の変化に連動して、入力画像中のオブ
ジェクト画像を適宜に変形または移動させて、指示体画像と重畳して重畳画像を生成する
。なお、入力画像中のオブジェクト画像を変形させた画像は重畳画像生成部２６が生成す
る構成であっても良いし、重畳画像生成部２６から出力される制御信号に基づいて外部の
画像供給装置が生成する構成であっても良い。

操作検出部２７は、入力画像中のオブジェクト画像に対する操作者の操作を検出する。
操作検出部２７は、表示位置設定部２５が設定した指示体画像の表示位置を示す表示座標
データと、入力画像中のオブジェクト画像の座標と、に基づいて、入力画像中のオブジェ
クト画像に対する操作者の操作を検出する。例えば、入力画像中のオブジェクト画像に、
予め定められた操作座標データに対する制御コードを埋め込む。そして、重畳画像中で、
オブジェクト画像が所定の形状に変形した場合、または所定の場所に移動した場合等で、
オブジェクト画像の座標が予め定められた操作座標データと一致した場合に操作者の操作
を検出する構成とすることができる。そして、操作検出部２７は、オブジェクト画像の座
標が操作座標データと一致した場合に、当該操作座標データに紐付けられた制御コードを
検出しても良い。操作検出部２７の機能により検出された操作者による操作は、制御対象
装置２００に出力される。なお、操作検出部２７が検出する操作に基づいて制御する対象
の装置が表示装置１００の場合には、操作検出部２７が検出した操作は、表示装置１００
に出力される。

位置設定部２８は、座標検出部２４が指示体の３次元実空間ないでの座標を求める際に
必要な検出部４０の設置位置に関する情報を座標検出部２４に対して設定する。位置設定
部２８は、ユーザーが不図示のリモコンや操作パネルの操作により設定した検出部４０の
設置位置に関する情報に基づいて、検出部４０の設置位置を座標検出部２４に対して設定
してもよい。また、位置設定部２８は、検出部４０のカメラ４１で撮影した撮影画像と、
距離センサー４２の検出値とに基づいて、検出部４０の表示装置１００に対する相対的な
設置位置を座標検出部２４に対して設定してもよい。検出部４０が複数のカメラ４１を備
える場合には、それぞれのカメラ４１の撮影画像に基づいて、各カメラ４１の表示装置１
００に対する相対的な設置位置を座標検出部２４に対して設定してもよい。座標検出部２
４は、位置設定部２８により設定された検出部４０の設置位置に基づいて指示体の３次元
実空間内で座標を検出する。なお、位置設定部２８により検出部４０の設置位置を座標検
出部２４に対して設定する動作は、検出部４０の設置時や移動時に行われるものである。

次に、表示制御装置１０の動作について説明する。
図２は、表示制御装置１０の動作を示すフローチャートである。
入力部５０を介して外部の画像供給装置から画像が入力されると、制御部２０は、表示
制御部２１の機能により表示装置１００を制御し、接続部３０を介して入力画像を表示装
置１００に出力して表示させる（ステップＳ１）。制御部２０は、検出部４０の機能によ
り３次元実空間内の指示体を検出する。制御部２０は、検出部４０により指示体が検出さ
れたか否かを判定する（ステップＳ２）。３次元実空間内の指示体が検出されると（ステ
ップＳ２：Ｙｅｓ）、制御部２０は、検出部４０により入力される撮影画像に基づいて、
画像生成部２２の機能により指示体画像を生成する（ステップＳ３）。また、制御部２０
は、距離検出部２３の機能により、表示装置１００の表示画面と、３次元実空間内の指示
体との間の距離を検出する（ステップＳ４）。また、制御部２０は、座標検出部２４の機
能により、３次元実空間内での指示体の座標を求める（ステップＳ５）。

制御部２０は、指示体の３次元実空間内での座標に基づいて、表示装置１００の表示画
面に指示体画像を表示する位置を設定し、表示座標データを生成する（ステップＳ６）。
続いて、制御部２０は、重畳画像生成部２６の機能により、指示体画像を、入力画像に重
畳した重畳画像を生成する（ステップＳ７）。制御部２０は、生成した重畳画像を接続部
３０を介して表示装置１００に出力し、表示制御部２１の機能により表示装置１００を制
御して表示画面に重畳画像を表示させる（ステップＳ８）。

さらに、制御部２０は、操作検出部２７の機能により、入力画像中のオブジェクト画像
に対して操作者の操作が検出されたか否かを判定する（ステップＳ９）。操作者の操作が
検出されない場合には（ステップＳ９：Ｎｏ）、制御部２０は、検出部４０により指示体
が検出されているか否かの判定を行い（ステップＳ２）、指示体が検出されれば、入力画
像と指示体画像とを重畳させた重畳画像の表示を継続する。操作者の操作が検出されると
（ステップＳ９：Ｙｅｓ）、制御部２０は、検出した操作に基づく信号を制御対象装置２
００に出力する（ステップＳ１０）。続いて、制御部２０は、検出部４０により指示体が
検出されているか否かの判定を行い（ステップＳ２）、指示体が検出されれば、入力画像
と指示体画像とを重畳させた重畳画像の表示、及び、操作者の操作の検出を継続する。
また、指示体が検出されない場合（ステップＳ２；Ｎｏ）、制御部２０は本処理を終了
するが、所定時間毎に、ステップＳ２に戻って処理を実行してもよい。

図３は、入力画像にジョイスティックがオブジェクト画像ＯＢとして含まれている場合
の、表示装置１００の表示画面に表示される重畳画像を示している。図３（Ａ）に示すよ
うに、制御部２０は、表示制御部２１の機能により表示装置１００にジョイスティックを
含む入力画像を表示させる。そして、検出部４０の機能により指示体を検出すると、制御
部２０は、指示体画像ＩＤを生成し、指示体の３次元実空間内での座標に基づいて、指示
体画像ＩＤの表示装置１００上での座標を設定する。制御部２０は、指示体画像ＩＤを、
入力画像に重畳した重畳画像を生成して、表示装置１００を制御し、重畳画像を表示させ
る。

上述したように、制御部２０は、指示体画像ＩＤの座標と、入力画像中のオブジェクト
画像ＯＢの座標とが一致する場合には、これ以降、指示体画像ＩＤの座標の変化に連動し
て、入力画像中のオブジェクト画像ＯＢを適宜に変形または移動させて、重畳画像を生成
する。これにより、図３（Ｂ）に示すように、制御部２０は、入力画像中のオブジェクト
画像ＯＢとしてのジョイスティックを、操作者の手を含む指示体の形状に基づく指示体画
像ＩＤが握る重畳画像を生成して表示できる。操作者は、表示装置１００の表示画面に表
示される重畳画像を見ながら、あたかも自分の手でジョイスティックを握って操作してい
るかのように、入力画像中のジョイスティックに対する操作を行うことができる。
そして、操作者は、重畳画像内で自らの手に基づく指示体画像がジョイスティックを握
っている状態で、３次元実空間内で手を含む指示体を動かす操作を行う。制御部２０は、
図３（Ｃ）に示すように、操作者の手を含む指示体の３次元実空間内での座標の変形に基
づいて、指示体画像ＩＤの表示位置を設定するとともに、指示体画像ＩＤの表示位置に基
づいて、オブジェクト画像ＯＢを変形させる。

入力画像中のジョイスティックには、スティックに対する倒す、回す等の操作や倒す方
向、操作ボタンやスイッチに対する操作に予め制御コードが設定されている。例えば、図
３（Ｃ）に示すように、操作者が重畳画像内のジョイスティックを所定の方向に倒す操作
を行うと、倒れた方向が操作検出部２７により検出され、倒れた方向に対して予め設定さ
れた制御コードに基づく信号が制御対象装置２００に出力される。このように、操作者は
、表示装置１００の表示画面に表示されたオブジェクト画像を、実空間内で自らの手を含
む指示体を動かすだけで簡単に操作できる。また、表示装置１００の表示画面には実空間
の指示体に基づく指示体画像ＩＤが表示され、操作者は、指示体画像ＩＤを見ながらオブ
ジェクト画像ＯＢに対する操作を行うことができ、仮想空間での操作を直感的に行うこと
ができる。

図３では、オブジェクト画像ＯＢとしてジョイスティックを例に説明したが、オブジェ
クト画像ＯＢはユーザーインターフェースとして一般的に用いられる、キーボードやマウ
ス、様々なスイッチやタッチパネル等の画像でも良い。また、図４（Ａ）に示したように
、任意の立体画像をオブジェクト画像ＯＢとして表示装置１００の表示画面に表示しても
良い。図４（Ｂ）に示したように、操作者は、指示体画像ＩＤを見ながら仮想空間内でこ
の立体画像を掴む、移動させる、回転させるなどの操作を直感的に行うことができる。ま
た、図示は省略するが、座標検出部２４が始点として認識した指示体の位置から、操作者
が手前に手を含む指示体を動かした場合には、指示体画像を徐々に大きくしていくなど、
操作者の指示体の動きに合わせて、指示体画像を拡大、縮小、または変形させても良い。
さらに、例えば図４（Ｂ）に示したように、指示体画像ＩＤがオブジェクト画像ＯＢを掴
んでいる状態で、操作者が実空間内で手前に指示体を引き寄せる動作を行うと、重畳画像
生成部２６の機能により、指示体画像ＩＤ及びオブジェクト画像ＯＢを徐々に大きくする
構成であっても良い。重畳画像生成部２６は、指示体画像ＩＤの拡大、縮小、または変形
に伴って、オブジェクト画像ＯＢを拡大、縮小、または変形させた変形画像を生成する。
そして、この変形画像を指示体画像と重畳した重畳画像を生成する。これにより、操作者
は仮想空間での操作をより直感的に行うことができる。

上述したように、本発明は、ユーザーインターフェースとして広く応用可能である。例
えば、医療現場において、執刀医が機器等に直接触ることができない場合に適用すること
も可能である。また、公共の場での発券機器や飲食店におけるタッチパネル型注文機器な
ど不特定多数の人が接触する機器を非接触化するためのユーザーインターフェースとして
も用いることができる。また、時計形状のディスプレイを有する電子機器のように、接触
操作が難しい小型のディスプレイに対するユーザーインターフェースとしても応用可能で
ある。

また、上述した実施形態では、指示体画像の座標とオブジェクト画像の座標とが一致す
る場合に、それ以降の指示体画像の座標の変化に連動してオブジェクト画像を変形または
移動させるようにしているが、変形または移動によりオブジェクト画像が所定の状態にな
った場合（例えば、可動範囲の限界に達した場合）に、それ以上の変形または移動を停止
するようにしてもよい。また、上記２つの座標が一致することに加えて、指示体が所定の
形状であることを要件としてもよい。つまり、検出された指示体の形状が所定の形状（例
えば、物を掴むときの手の形状）で、かつ上記２つの座標が一致する場合に、それ以降の
指示体画像の座標の変化に連動してオブジェクト画像を変形または移動させるようにして
もよい。この場合、検出された指示体の形状が別の所定形状（例えば、広げた手の形状）
となった場合に、それ以降のオブジェクト画像の変形や移動を停止するようにしてもよい
。

以上説明したように、本実施形態の表示制御装置１０は、オブジェクト画像を含む入力
画像を表示装置１００の表示画面に表示させる表示制御部２１と、少なくとも操作者の手
を含む指示体の位置および形状を検出する検出部４０と、検出部４０が検出した指示体の
形状に基づき指示体画像を生成する画像生成部２２と、指示体と表示画面との距離を検出
する距離検出部２３と、距離検出部２３が検出した距離に基づき、指示体の座標を求める
座標検出部２４と、座標検出部２４が求めた指示体の座標に基づき指示体画像の表示位置
を設定する表示位置設定部２５と、表示位置設定部２５が設定した表示位置に基づいて、
入力画像に指示体画像を重畳して重畳画像を生成する重畳画像生成部２６と、入力画像内
におけるオブジェクト画像の表示位置と表示位置設定部２５が設定した表示位置とに基づ
き、操作を検出する操作検出部２７と、を備え、重畳画像生成部２６は、座標検出部２４
が求める指示体の座標または座標の変化に基づきオブジェクト画像を変化させて指示体画
像と重畳して重畳画像を生成し、表示制御部２１は、重畳画像生成部２６が生成した重畳
画像を表示画面に表示させる。この構成によれば、指示体の形状に基づき指示体画像を生
成し、指示体の座標または座標の変化に基づきオブジェクト画像を変化させて指示体画像
と重畳して表示し、指示体画像とオブジェクト画像との表示位置に基づき操作を検出する
ため、表示画面内の仮想空間での直感的な操作が可能になる。

また、本実施形態の表示制御装置１０は、操作検出部２７は、表示位置設定部２５が設
定した指示体画像の表示位置を示す表示座標データと、オブジェクト画像の操作位置とし
て予め定められた操作座標データとが重なるか否かを判定することにより、オブジェクト
画像に対する操作を検出する。この構成によれば、操作者が実空間内で指示体を動かし、
表示画面に表示された指示体画像を画像に重ねることで操作を行うことができ、仮想空間
での直感的な操作が可能となる。

また、本実施形態の表示制御装置１０は、座標検出部２４が、距離検出部２３が検出し
た距離に基づき、表示画面を基準とする三次元の指示体の座標を求め、画像生成部２２は
、座標検出部２４が求める指示体の座標または座標の変化に基づき、指示体画像を拡大、
縮小または変形させる。この構成によれば、三次元実空間での指示体の動きに基づいて、
指示体画像を拡大、縮小または変形させることができ、直感的な操作が可能になる。

また、本実施形態の表示制御装置１０は、重畳画像生成部２６は、指示体画像の拡大、
縮小、または変形に伴って、オブジェクト画像を拡大、縮小、または変形させた変形画像
を生成し、変形画像を指示体画像と重畳して重畳画像を生成する。この構成によれば、指
示体画像の拡大、縮小、または変形に伴って、オブジェクト画像を拡大、縮小、または変
形して表示することができるため、直感的な操作が可能になる。

また、本実施形態の表示制御装置１０は、制御対象装置２００に接続する接続部３０と
、接続部３０に接続する制御対象装置２００を制御する装置制御部２９と、を備え、装置
制御部２９は、操作検出部２７が検出する操作に基づいて、制御対象装置２００を制御す
る。この構成によれば、表示制御装置１０を様々な制御対象装置２００のユーザーインタ
ーフェースとして利用することができる。

また、本実施形態の表示制御装置１０は、接続部３０は、表示画面を有する表示装置１
００に接続され、装置制御部２９は、操作検出部２７が検出する操作に基づいて表示装置
１００を制御する。この構成によれば、表示制御装置１０と、表示装置１００と、を別体
に構成し、表示制御装置１０を、様々な表示装置１００に対して利用できる。

また、本実施形態の表示制御装置１０は、検出部４０の設置位置を変更可能に構成され
た。この構成によれば、検出部４０を、表示制御装置１０や表示装置１００とは別体に構
成し、任意の場所に設置して用いることができる。

また、本実施形態の表示制御装置１０は、座標検出部２４は、検出部４０の設置位置と
、距離検出部２３が検出した距離とに基づいて指示体の座標を求め、座標検出部２４に対
して検出部４０の設置位置を設定する位置設定部２８を備えた。この構成によれば、検出
部４０の設置位置を座標検出部２４に対して設定でき、検出部４０を任意の場所に設置し
て用いることができる。

また、本実施形態の表示制御装置１０は、画像生成部２２は、指示体の形状に基づき立
体画像である指示体画像を生成する。この構成によれば、立体画像である指示体画像を生
成し表示でき、直感的な操作が可能になる。

なお、上述した実施形態は本発明を適用した具体的態様の例に過ぎず、本発明を限定す
るものではなく、上記実施形態とは異なる態様として本発明を適用することも可能である
。例えば、指示体画像やオブジェクト画像の形状は、図３〜図４に示した例に限定されず
、操作者が操作対象であるオブジェクト画像および指示体を視認できる形状であればよい
。例えば、ボタン操作式の装置を非接触化するユーザーインターフェースとして利用する
場合に、オブジェクト画像をボタンを模した形状としてもよい。また、オブジェクト画像
の外形や表示色が操作に応じて変化する構成としてもよく、変化の態様は任意である。ま
た、オブジェクト画像及び指示体画像の色や数も任意である。また、例えば、図１に示し
た各機能部は機能的構成を示すものであって、具体的な実装形態は特に制限されない。つ
まり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つの
プロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とするこ
とも勿論可能である。また、上記実施形態においてソフトウェアで実現される機能の一部
をハードウェアで実現してもよく、あるいは、ハードウェアで実現される機能の一部をソ
フトウェアで実現してもよい。その他、表示制御装置１０の他の各部の具体的な細部構成
についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。

１０…表示制御装置、２０…制御部、２１…表示制御部、２２…画像生成部、２３…距
離検出部、２４…座標検出部、２５…表示位置設定部、２６…重畳画像生成部、２７…操
作検出部、２８…位置設定部、２９…装置制御部、３０…接続部、４０…検出部、４１…
カメラ、４２…距離センサー、５０…入力部、１００…表示装置、２００…制御対象装置
、ＩＤ…指示体画像、ＯＢ…オブジェクト画像。

Claims (10)

1. オブジェクト画像を含む画像を表示画面に表示させる表示制御部と、
   少なくとも操作者の手を含む指示体の位置および形状を検出する検出部と、
   前記検出部が検出した前記指示体の形状に基づき指示体画像を生成する画像生成部と、
   前記指示体と前記表示画面との距離を検出する距離検出部と、
   前記距離検出部が検出した距離に基づき、前記指示体の座標を求める座標検出部と、
   前記座標検出部が求めた前記指示体の座標に基づき前記指示体画像の表示位置を設定す
   る表示位置設定部と、
   前記表示位置設定部が設定した表示位置に基づいて、前記画像に前記指示体画像を重畳
   して重畳画像を生成する重畳画像生成部と、
   前記画像内における前記オブジェクト画像の表示位置と前記表示位置設定部が設定した
   表示位置とに基づき、操作を検出する操作検出部と、を備え、
   前記重畳画像生成部は、前記座標検出部が求める前記指示体の座標または座標の変化に
   基づき前記オブジェクト画像を変化させて前記指示体画像と重畳して前記重畳画像を生成
   し、
   前記表示制御部は、前記重畳画像生成部が生成した前記重畳画像を前記表示画面に表示
   させる
   ことを特徴とする表示制御装置。
2. 前記操作検出部は、前記表示位置設定部が設定した前記指示体画像の表示位置を示す表
   示座標データと、前記オブジェクト画像の操作位置として予め定められた操作座標データ
   とが重なるか否かを判定することにより、前記オブジェクト画像に対する操作を検出する
   こと、
   を特徴とする請求項１記載の表示制御装置。
3. 前記座標検出部が、前記距離検出部が検出した距離に基づき、前記表示画面を基準とす
   る三次元の前記指示体の座標を求め、
   前記画像生成部は、前記座標検出部が求める前記指示体の座標または座標の変化に基づ
   き、前記指示体画像を拡大、縮小または変形させること、
   を特徴とする請求項１または２に記載の表示制御装置。
4. 前記重畳画像生成部は、前記指示体画像の拡大、縮小、または変形に伴って、前記オブ
   ジェクト画像を拡大、縮小、または変形させた変形画像を生成し、前記変形画像を前記指
   示体画像と重畳して前記重畳画像を生成することを特徴とする請求項３に記載の表示制御
   装置。
5. 制御対象の装置に接続する接続部と、
   前記接続部に接続する前記制御対象の装置を制御する装置制御部と、を備え、
   前記装置制御部は、前記操作検出部が検出する操作に基づいて、前記制御対象の装置を
   制御すること、
   を特徴とする請求項１から４のいずれかに記載の表示制御装置。
6. 前記接続部は、前記表示画面を有する表示装置に接続され、
   前記装置制御部は、前記操作検出部が検出する操作に基づいて前記表示装置を制御する
   こと、
   を特徴とする請求項５記載の表示制御装置。
7. 前記検出部の設置位置を変更可能に構成されたこと、
   を特徴とする請求項１から６のいずれかに記載の表示制御装置。
8. 前記座標検出部は、前記検出部の設置位置と、前記距離検出部が検出した距離とに基づ
   いて前記指示体の座標を求め、
   前記座標検出部に対して前記検出部の設置位置を設定する位置設定部を備えたこと、
   を特徴とする請求項７記載の表示制御装置。
9. 前記画像生成部は、前記指示体の形状に基づき立体画像である前記指示体画像を生成す
   ること、
   を特徴とする請求項１から８のいずれかに記載の表示制御装置。
10. オブジェクト画像を含む画像を表示画面に表示させる表示制御方法であって、
    少なくとも操作者の手を含む指示体の位置および形状を検出し、
    検出した前記指示体の形状に基づき指示体画像を生成し、
    前記指示体と前記表示画面との距離を検出し、
    検出した距離に基づき、前記指示体の座標を求め、求めた前記指示体の座標に基づき前
    記指示体画像の表示位置を設定し、
    設定した表示位置に基づいて、前記画像に前記指示体画像を重畳して重畳画像を生成し
    、生成した前記重畳画像を前記表示画面に表示させ、
    前記画像内における前記オブジェクト画像の表示位置と設定した表示位置とに基づき操
    作を検出し、
    前記指示体の座標または座標の変化に基づき前記オブジェクト画像を変化させて前記指
    示体画像と重畳して前記重畳画像を生成し、
    生成した前記重畳画像を前記表示画面に表示させること、
    を特徴とする表示制御方法。

Images