JP2023079161A - 表示制御装置、表示制御方法、及びプログラム - Google Patents

Abstract

【課題】高品質な視聴体験を提供することが可能な表示制御装置、表示制御方法、及びプログラムを提供すること。【解決手段】上記目的を達成するため、本技術の一形態に係る表示制御装置は、制御部を具備する。前記制御部は、ユーザの視点、前記ユーザの操作部位の位置、及び仮想物体の位置に基づいて、前記操作部位の少なくとも一部の表示形式を制御する。これにより、高品質な視聴体験を提供することが可能となる。また操作対象である仮想物体に近づいて操作を行う際に、操作部位の透明度が制御されることで操作対象が詳細に確認できるようになり、操作時間や操作ミスを減らすことができる。また操作部位と操作対象との距離に基づいて、表示形式の制御が行われることで、操作対象との距離感を正確に把握することができる。【選択図】図１

Description

本技術は、ＶＲ（Virtual Reality）やＡＲ（Augmented Reality）等の表示制御に適用可能な表示制御装置、表示制御方法、及びプログラムに関する。

特許文献１に記載の表示システムは、撮影画像における仮想オブジェクトについて規定された表示位置と指定された位置との関係に基づいて仮想対象オブジェクトを特定し、仮想対象オブジェクトの画像を変化させる（特許文献１の段落［００４５］～［００６１］図５、６等）。

特開２０１２－１５５６７８号公報

このように、仮想空間における表示制御に関して、高品質な視聴体験を提供することが可能な技術が求められている。

以上のような事情に鑑み、本技術の目的は、高品質な視聴体験を提供することが可能な表示制御装置、表示制御方法、及びプログラムを提供することにある。

上記目的を達成するため、本技術の一形態に係る表示制御装置は、制御部を具備する。
前記制御部は、ユーザの視点、前記ユーザの操作部位の位置、及び仮想物体の位置に基づいて、前記操作部位の少なくとも一部の表示形式を制御する。

この表示制御装置では、ユーザの視点、前記ユーザの操作部位の位置、及び仮想物体の位置に基づいて、前記操作部位の少なくとも一部の表示形式が制御される。これにより、高品質な視聴体験を提供することが可能となる。

前記表示形式は、前記操作部位の透明度、輝度、拡大、縮小、強調表示、又は仮想オブジェクトの重畳の少なくとも１つを含んでもよい。

前記制御部は、前記操作部位と前記仮想物体との距離に基づいて、前記操作部位の少なくとも一部の透明度を高くしてもよい。

前記制御部は、前記仮想物体に接触している状態における前記操作部位の速度に基づいて、前記操作部位の少なくとも一部の透明度を高くしてもよい。

前記制御部は、前記操作部位の大きさに基づいて、前記操作部位の少なくとも一部の透明度を高くしてもよい。

前記操作部位は、前記ユーザの特徴を示す特徴情報を含んでもよい。この場合、前記制御部は、前記特徴情報以外の前記操作部位の少なくとも一部の透明度を高くしてもよい。

前記制御部は、前記操作部位と前記仮想物体との距離に基づいて、前記操作部位の少なくとも一部の透明度を高くし、前記操作部位の透明度の高い部位の輪郭を強調表示してもよい。

前記制御部は、前記操作部位と前記仮想物体との接触位置を強調表示し、前記接触位置以外の前記操作部位の少なくとも一部の透明度を高くしてもよい。

前記表示制御装置であって、さらに、前記操作部位によって実行される所定の操作に基づいて、前記表示形式の制御を抑制する抑制部を具備してもよい。

前記表示制御装置であって、さらに、前記ユーザの視点、前記操作部位の位置、及び前記仮想物体の位置に基づいて、前記ユーザが前記仮想物体を視認可能か否かを判定する第１の判定部を具備してもよい。

前記第１の判定部は、前記操作部位が前記仮想物体に接触し、前記操作部位が前記ユーザの視点と前記仮想物体との間に位置する場合、前記仮想物体を視認不可と判定してもよい。

前記表示制御装置であって、さらに、前記ユーザの視点、前記操作部位の位置、前記操作部位により操作される対象仮想物体の位置、及び前記対象仮想物体以外の他の仮想物体の位置に基づいて、前記他の仮想物体の少なくとも一部の表示形式を制御する表示制御部を具備してもよい。

前記表示形式は、前記他の仮想物体の透明度を含んでもよい。

前記表示制御装置であって、さらに、前記ユーザの視点、前記操作部位の位置、前記対象仮想物体の位置、及び前記他の仮想物体の位置に基づいて、前記ユーザが前記操作部位と前記対象仮想物体との接触位置を視認可能か否かを判定する第２の判定部を具備してもよい。

本技術の一形態に係る表示制御方法は、コンピュータシステムが実行する表示制御方法であって、ユーザの視点、前記ユーザの操作部位の位置、及び仮想物体の位置に基づいて、前記操作部位の少なくとも一部の表示形式を制御することを含む。

本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
ユーザの視点、前記ユーザの操作部位の位置、及び仮想物体の位置に基づいて、前記操作部位の少なくとも一部の表示形式を制御するステップ。

表示制御装置の概要を模式的に示す図である。 表示制御装置の構成例を示すブロック図である。 表示形式の制御例を示す模式図である。 表示形式の制御例を示す模式図である。 表示形式の制御例を示す模式図である。 表示形式の制御例を示す模式図である。 表示形式の制御例を示す模式図である。 他の仮想物体の表示形式の制御例を示す模式図である。 操作部位の表示形式の他の制御例を示す模式図である。 操作部位の表示形式の他の制御例を示す模式図である。 表示制御装置の他のハードウェア構成例を示すブロック図である。 表示制御装置の機能的な構成例を示すブロック図である。 登録オブジェクトの表示形式の制御例を示すフローチャートである。 コライダー及び仮想オブジェクトの重畳を模式的に示す図である。 登録オブジェクトに重畳される仮想オブジェクトの具体例を示す図である。 対象仮想オブジェクトの表示形式の制御例を示す図である。 登録オブジェクトに重畳される仮想オブジェクトの制御の一例を示す図である。 特定のジェスチャに応じた仮想オブジェクトの重畳を示す図である。 コライダーの領域外の登録オブジェクトに対して仮想オブジェクトが重畳される際の具体例を示す模式図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

図１は、本技術に係る表示制御装置１０の概要を模式的に示す図である。

表示制御装置１０は、仮想空間５におけるユーザ１の操作部位２の表示形式を制御する。本実施形態では、表示制御装置１０には、ＶＲヘッドセット等のＨＭＤ（Head Mounted Display）３０、コントローラ３１、及びセンサ部（図示せず）が用いられる。もちろん光学シースルー型ＡＲやビデオシースルー型ＡＲ等が用いられてもよい。

例えば、ＨＭＤ３０は、ユーザ１に仮想物体３（仮想空間５）及び操作部位２を視聴させ、またユーザ１の姿勢や眼の位置、視線等を検出できる各種センサを有する。また例えば、コントローラ３１は、操作部位２の操作に用いられ、ユーザ１の操作による加速度及び角速度等を検出する慣性計測装置（ＩＭＵ）等を有する。

ユーザ１は、操作部位２を介して、仮想空間５に配置される仮想物体３を操作することが可能である。操作部位２とは、ユーザ１により操作され、仮想物体３に対して所定の動作を実行可能なものを指す。

例えば、図１のようなＶＲにおけるハンドトラッキング機能で得られる仮想空間５上の手、ユーザ１により把持されるコントローラ３１や、ＡＲにおける仮想空間上のユーザ１自身の手が操作部位２として挙げられる。

これ以外にも、仮想空間５上の手（操作部位）が鉛筆やスコップ等の所定の動作に適した形状で表示（重畳）されてもよいし、コントローラ３１や別のオブジェクトが表示されてもよい。また例えば、ユーザ１の足の動きがトラッキングされることで仮想物体３を蹴る等の動作が可能な場合、足が操作部位に含まれてもよい。

なお、ユーザ１が鉛筆等の仮想物体を把持し別の仮想物体に書き込む場合、仮想物体である鉛筆も操作部位に含まれてもよい。すなわち、ユーザ１が仮想物体を介して間接的に仮想物体を操作する場合もユーザ１が直接操作する仮想物体が操作部位に含まれてもよい。

本実施形態では、表示制御装置１０は、ユーザ１の視点、操作部位２の位置、及び仮想物体３の位置に基づいて、操作部位２の少なくとも一部の表示形式を制御する。表示形式は、透明度、輝度、拡大、縮小、強調表示、又は仮想オブジェクトの重畳の少なくとも１つを含む。

例えば、図１では、ユーザ１の視点と、操作部位２（右手）と、操作部位２により操作される仮想物体６（以下、対象仮想物体と記載）との位置関係から、ユーザ１から見て対象仮想物体６の一部が視認できない状態である。この場合、表示制御装置１０は、操作部位２の透明度を高くする。表示形式の制御例は、図３から図１０にて後述する。

図２は、図１に示す表示制御装置１０の構成例を示すブロック図である。図２Ａは、表示制御装置１０のハードウェア構成例を示すブロック図である。図２Ｂは、表示制御装置１０の機能的な構成例を示すブロック図である。

図２Ａに示すように、表示制御装置１０は、ＣＰＵ１１、メモリ１２、及び入出力Ｉ／Ｆ１３を有する。

入出力Ｉ／Ｆ１３は、センサ部４０から取得されるユーザ１に関する種々の情報、及びコントローラ３１に関する操作情報を受信し、ＨＭＤ３０やコントローラ３１に映像、音、及び触覚を出力する。

ＨＭＤ３０は、ユーザが仮想現実を体験するための種々の機能が搭載されてもよい。例えば、ＨＭＤ３０は、液晶、ＥＬ（Electro-Luminescence）等を用いた任意のディスプレイ（映像表示部５０）、ユーザの左右の耳を覆うように配置されるヘッドフォン（音提示部５１）、ユーザ１の前方側の実空間を撮像することが可能なステレオカメラ等が搭載されてもよい。

コントローラ３１は、ユーザ１の手の動き（移動や回転）、ボタンの操作等の操作情報を入出力Ｉ／Ｆ１３へ出力する。またコントローラ３１は、アクチュエータ等を有し、ユーザ１に触覚を提示する触覚提示部５２として機能する。

センサ部４０は、ユーザの手や指の位置、ユーザの視線、傾き等を認識する。本実施形態では図２Ｂに示すように、センサ部４０は、ＲＧＢカメラやＤｅｐｔｈカメラ等を含むカメラ４１、ジャイロセンサ４２、加速度センサ４３、及び方位センサ４４を有する。なお、センサ部４０は、ＨＭＤ３０やコントローラ３１に搭載されてもよいし、ユーザ１の体や、壁及びポール等の周辺環境に各種センサが取り付けられ、センサ部４０として機能してもよい。また各種センサは、単数でもよいし複数でもよい。

また図２Ｂに示すように、表示制御装置１０は、情報取得部１４、操作部位姿勢判定部１５、頭部位置姿勢判定部１６、仮想物体制御部１７、表示変更判定部１８、表示変更部１９、及び出力制御部２０を有する。

情報取得部１４は、センサ部４０から取得されるユーザに関する種々の情報、及びコントローラ３１に関する操作情報を取得する。

操作部位姿勢判定部１５は、操作部位の姿勢を判定する。例えば、Ｄｅｐｔｈセンサ等により取得されたセンサ情報からユーザの各指のボーンの位置が取得され、手や指の位置姿勢情報が判定される。なお、操作部位の姿勢を判定する方法は限定されず、コントローラ３１に搭載された接触センサから判定されてもよい。

頭部位置姿勢判定部１６は、ユーザの頭部の位置を判定する。例えば、カメラ４１を用いたヴィジュアルＳＬＡＭ（Simultaneous Localization and Mapping）等により取得されたセンサ情報からユーザの頭部の位置が取得され、頭部の位置姿勢情報が判定される。

仮想物体制御部１７は、仮想物体の制御を行う。例えば、仮想物体制御部１７は、仮想物体の位置や姿勢を制御する。これ以外にも、操作部位によって仮想物体が移動、配置、及び除去等の操作が行われた場合の制御、仮想物体の拡大及び縮小、木から花が散る等の動き情報を含む仮想物体の制御、光源に対する影の描写等の種々の制御が行われてもよい。

表示変更判定部１８は、ユーザの頭部、操作部位、及び仮想物体の位置姿勢情報から操作部位や仮想物体の表示を変更するか否かを判定する。本実施形態では、表示変更判定部１８は、ユーザの視点、操作部位の位置、及び仮想物体の位置に基づいて、ユーザが仮想物体を視認可能か否かを判定する。

また表示変更判定部１８は、ユーザの視点、操作部位の位置、対象仮想物体の位置、及び対象仮想物体以外の他の仮想物体の位置に基づいて、ユーザが操作部位と対象仮想物体との接触位置を視認可能か否かを判定する。

なお、視認可能とは、ユーザにとって仮想物体や接触位置が見やすい状態である。もちろん、仮想物体や接触位置が完全に見えている場合は視認可能と扱われる。逆に、操作部位や他の仮想物体によって、仮想物体や接触位置が完全に隠れている場合は視認不可となる。仮想物体や接触位置の一部が隠れている場合に、視認可能か否かは任意に設定されてもよい。例えば、ユーザから見て仮想物体や接触位置の５０％が隠れている場合、視認不可と判定されてもよい。

本実施形態では、表示変更判定部１８は、操作部位や他の仮想物体がユーザの視点と仮想物体との間に位置する場合、すなわちユーザの視線上に操作部位や他の仮想物体が位置する場合、視認不可と判定する。また本実施形態では、表示変更判定部１８は、ユーザの視線上で操作部位と仮想物体とが接触している場合、視認不可と判定する。例えば、ユーザが仮想物体の表面を見ている場合に、操作部位が仮想物体の裏面と接触した場合は、視認可能と判定される。

表示変更部１９は、ユーザの視点、操作部位の位置、及び仮想物体の位置に基づいて、操作部位の少なくとも一部の表示形式を制御する。本実施形態では、表示変更判定部１８による判定結果に基づいて、操作部位の少なくとも一部の表示形式を制御する。

また表示変更部１９は、操作部位によって実行される所定の操作に基づいて、表示形式の制御を抑制する。例えば、操作部位を素早く移動させる動作をｎ回行った場合、表示形式の制御が抑制される。また例えば、中指と小指とを同時に立てる等の所定のハンドサインを行った場合に、表示形式の制御が抑制されてもよい。

また表示変更部１９は、ユーザの視点、操作部位の位置、対象仮想物体の位置、及び対象仮想物体以外の他の仮想物体の位置に基づいて、他の仮想物体の少なくとも一部の表示形式を制御する。本実施形態では、表示変更判定部１８による判定結果に基づいて、他の仮想物体の少なくとも一部の表示形式を制御する。

出力制御部２０は、仮想空間、仮想物体やコントローラから生じる、映像、音、及び触覚等の出力を制御する。例えば、操作部位が仮想物体に接触した際の衝撃を表現する触覚信号が触覚提示部５２に出力される。また例えば、ユーザから遠い仮想物体同士が衝突した際の音信号がユーザとの距離に基づいて、音提示部５１に出力される。また上記の例の映像信号が映像表示部５０に出力される。

なお、本実施形態において、表示変更判定部１８は、ユーザの視点、操作部位の位置、及び仮想物体の位置に基づいて、ユーザが仮想物体を視認可能か否かを判定する第１の判定部、及びユーザの視点、操作部位の位置、対象仮想物体の位置、及び他の仮想物体の位置に基づいて、ユーザが操作部位と対象仮想物体との接触位置を視認可能か否かを判定する第２の判定部として機能する。
なお、本実施形態において、表示変更部１９は、ユーザの視点、ユーザの操作部位の位置、及び仮想物体の位置に基づいて、操作部位の少なくとも一部の表示形式を制御する制御部、操作部位によって実行される所定の操作に基づいて、表示形式の制御を抑制する抑制部、及びユーザの視点、操作部位の位置、操作部位により操作される対象仮想物体の位置、及び対象仮想物体以外の他の仮想物体の位置に基づいて、他の仮想物体の少なくとも一部の表示形式を制御する表示制御部として機能する。

図３は、表示形式の制御例を示す模式図である。なお、図３から図１０では、対象仮想物体以外の他の仮想物体が図示されていない場合、対象仮想物体を仮想物体と記載する。

表示形式が制御されるフローとしては、情報取得部１４により、ユーザの視点、操作部位（コントローラ）の位置、及び仮想物体の位置が取得される。表示変更判定部１８により、取得された視点、操作部位、及び仮想物体の位置関係に基づいて、表示形式を変更するか否かが判定される。判定結果がＹＥＳの場合、表示変更部１９により、操作部位や他の仮想物体の表示形式が変更される。

図３Ａに示すように、表示変更部１９は、操作部位６０と仮想物体６１との距離に基づいて、操作部位６０の透明度を高くする。図３Ａでは、操作部位６０と仮想物体６１との距離が近づくにつれ、操作部位６０の透明度が高くなる。

図３Ｂに示すように、表示変更部１９は、操作部位６２がユーザ１の目線６３上に位置する場合に、操作部位６２の透明度を高くする。また図３Ｂでも、操作部位６２と仮想物体６４との距離に基づいて、操作部位６２の透明度が制御されてもよい。この場合、操作部位６２と仮想物体６４との距離に応じた透明度の制御と、操作部位６２がユーザ１の視点と仮想物体６４との間に位置する場合の透明度の制御との重み付けは任意に設定されてもよい。

例えば、操作部位６２と仮想物体６４とが近づくにつれ、操作部位６２の透明度が５０％に近づくという設定と、操作部位６２がユーザ１の視点と仮想物体６４との間に位置する場合に操作部位６２の透明度を９０％にするという設定とが設定されてもよい。

なお、ユーザの目線を取得する方法は限定されない。例えば、アイトラッキングにより取得されてもよいし、頭部から垂直方向にレイを伸ばすことで取得されてもよい。

図３Ｃでは、表示変更部１９は、操作部位の大きさ（太さ）に基づいて、操作部位の透明度を高くする。図３Ｃに示すように、操作部位６５が大きいほど、透明度が高くなる。すなわち、操作部位６５により仮想物体６６がどれだけ隠れているか（視認しやすさ）の程度に基づいて、表示形式の制御が行われるともいえる。

図４は、表示形式の制御例を示す模式図である。

図４Ａでは、操作部位７０は、ユーザの特徴を示す特徴情報を含む。例えば、特徴情報は、指輪等のアクセサリー、ネイル、タトゥー、包帯等の医療品、及び傷等のユーザに付随する情報や、仮想空間上で手等の操作部位に重畳される仮想オブジェクト（レイヤー）を含む。

図４Ａに示すように、表示変更部１９は、特徴情報である指輪７１以外の操作部位７０の透明度を高くする。これにより、ユーザ（操作者）のシンボルとなるアイテムを残すことが可能となり、ユーザの手を操作している感覚が損なわれることを防ぐ。

図４Ｂでは、操作部位７２は、鉛筆を模した形状をしており、表示形式の制御として輝度が制御される。例えば表示変更部１９は、操作部位７２と仮想物体７３との距離に基づいて、操作部位７２の輝度を制御する。図４Ｂに示すように、操作部位７２は、仮想物体７３に近づくにつれ、輝度が高くなる。

なお、表示形式の制御は任意に設定されてもよい。例えば、操作部位と仮想物体とが接触している状態における操作部位の速度に基づいて、操作部位の表示形式が制御されてもよい。例えば、操作部位が速く動く場合、ユーザが動作（仮想物体の接触位置）を細かく確認していない状況が想定されるため透明度が低くなってもよい。また例えば、操作部位がゆっくりと動く場合、ユーザが動作を細かく確認したい状況が想定されるため透明度が高くなってもよい。

図５は、表示形式の制御例を示す模式図である。図５では、操作部位の一部の表示形式が制御される。例えば、操作部位である手全体でなく、仮想物体を操作しようとする指（例えば人差し指）のみの表示形式が制御される。この場合、センサ部４０により人差し指を出しているジェスチャが認識されてもよい。また例えば、人差し指が他の指と比べて、仮想物体に対して最も近い場合に人差し指が操作部位（表示形式の制御対象）として選択されてもよい。

図５Ａに示すように、表示変更部１９は、操作部位８０と仮想物体８１との距離に基づいて、操作部位８０の少なくとも一部の透明度を高くする。図５Ａでは、ユーザの視点から見て、仮想物体と重なっている人差し指８２の透明度が高くなる。

図５Ｂでは、表示変更部１９は、操作部位８３と仮想物体８４との距離に基づいて、操作部位８３の少なくとも一部の透明度を高くし、操作部位８３の透明度の高い部位の輪郭を強調表示する。例えば図５Ｂに示すように、表示変更部１９は、操作部位８３と仮想物体８４との距離が近づくにつれ、人差し指の透明度を高くする。また表示変更部１９は、透明度の高い人差し指の輪郭８５を強調表示する。

なお輪郭の強調表示の制御方法は限定されない。例えば、輪郭が点滅してもよいし、色彩が変化してもよい。また操作部位の透明度に応じて輪郭の透明度が制御されてもよい。例えば、操作部位の透明度が高くなるにつれ、輪郭の透明度が低く制御されてもよい。

図５Ｃでは、表示変更部１９は、操作部位８６と仮想物体８７との接触位置８８を強調表示し、強調表示された接触位置８８以外の操作部位８６の少なくとも一部の透明度を高くする。例えば図５Ｃに示すように、操作部位８６が仮想物体８７に接触した場合、その接触位置を強調表示する。なお、接触位置の強調表示は限定されず、点滅、色彩、模様等の任意の強調表示が設定されてもよい。

また操作部位と仮想物体との距離以外にも、操作部位の大きさ（太さ）、速度等に基づいて、表示形式が制御されてもよい。また操作部位や接触位置の大きさに基づいて強調表示の度合いが変化してもよい。これにより、接触した面が理解でき、操作しやすくなる。

図６は、表示形式の制御例を示す模式図である。

図６では、表示変更部１９は、操作部位９０と仮想物体９１との距離に基づいて、操作部位９０の少なくとも一部の輝度を制御する。例えば図６Ａでは、操作部位９０と仮想物体９１との距離が近づくにつれ、輝度の高い領域９２が大きくなる。

図６Ｂでは、操作部位である手９３と仮想物体９４との距離が所定の距離以内に近づいた場合に、その所定の距離以内に位置する人差し指９５及び中指９６の輝度が高くなる。また図６Ｂでは、操作部位９３と仮想物体９４との距離が近づくにつれ、輝度が高くなる。例えば図６Ｂに示すように、仮想物体９４に対して手９３が近づく場合、手９３の各部位と仮想物体９４との距離に基づいて、輝度の高さ、輝度の高い領域が制御される。

なお、輝度以外にも、色彩の変化や模様の重畳等の制御が行われてもよい。また輝度の高い領域の輪郭が強調表示されてもよい。これにより、操作部位が仮想物体にどれだけ近づいているか、直観的に理解できるようになる。

図７は、表示形式の制御例を示す模式図である。

図７では、表示変更部１９は、操作部位と仮想物体との距離に基づいて、操作部位の少なくとも一部の拡縮率を制御する。

図７Ａでは、表示変更部１９は、操作部位である手１００と仮想部位１０１との距離が近づくにつれ、指１０２の拡大率が大きくなる。また図７Ｂでは、表示変更部１９は、操作部位である手１０３と仮想部位１０４との距離が近づくにつれ、指１０５の縮小率が大きくなる。

これにより、拡大率が大きい場合、操作部位が大きいことで作業効率が向上する。また縮小率が大きい場合、細かい作業を行うことが可能となる。

なお、表示形式が制御されている場合、「表示変更中」等の表示形式が制御されている旨をユーザに提示するメッセージ等が表示されてもよい。

図８は、他の仮想物体の表示形式の制御例を示す模式図である。

図８Ａに示すように、表示変更判定部１８は、ユーザの視点からでは他の仮想物体１１０により、操作部位１１１と対象仮想物体１１２との接触位置が視認不可と判定する。この場合、表示変更部１９は、他の仮想物体１１０の少なくとも一部の表示形式を制御する。本実施形態では、表示変更部１９は、他の仮想物体１１０の透明度を制御する。

例えば図８Ｂでは、ユーザの視線上に位置する他の仮想物体１１０の一部１１３の透明度が高くなる。なお図８におけるユーザの視線は、接触位置１１４とユーザの視点とを結ぶ直線である。

また図８Ｃに示すように、他の仮想物体１１０の透明度が高くなった箇所１１３の輪郭が強調表示されてもよい。なお他の仮想物体１１０の全体の透明度が一律に高くなってもよいし、ユーザの視線との距離に基づいて透明度が制御されてもよい。

これ以外にも、操作部位１１１の速度に基づいて、他の仮想物体１１０の表示形式が制御されてもよい。例えば、操作部位が速く動く場合、ユーザが対象仮想物体の接触位置を細かく確認していない状況が想定されるため透明度が低くなってもよい。また例えば、操作部位がゆっくりと動く場合、ユーザが動作を細かく確認したい状況が想定されるため透明度が高くなってもよい。

なお、対象仮想物体がＬ字や円筒形等の形状によっては、１つの対象仮想物体であっても接触位置が視認不可となる可能性がある。この場合、対象仮想物体の一部の透明度が高くなってもよい。すなわち、対象仮想物体の一部を他の仮想物体として扱ってもよい。

例えば、図８Ｄに示すように、仮想物体制御部１７により、対象仮想物体１１５が細分化されてもよい。細分化された対象仮想物体１１５の内、ユーザの視点と接触位置１１６とを結ぶユーザの視線１１７から所定の距離以内に位置するブロック１１８の透明度が高くなってもよい。

これ以外にも、複数のブロックの透明度が制御されてもよいし、ユーザ側の円筒半分の透明度が制御されてもよい。なお仮想物体は予め細分化されて仮想空間に配置されてもよいし、表示変更判定部１８により図８Ｄのような状況と判定された際に細分化されてもよい。

図９及び図１０は、操作部位の表示形式の他の制御例を示す模式図である。

図９では、表示変更部１９は、対象仮想物体に付与された情報に基づいて、操作部位の表示を制御する。例えば、対象仮想物体にメタ情報として変化する３Ｄモデルが登録され、操作部位がその３Ｄモデルに変化されてもよい。

例えば図９Ａでは、ユーザは操作部位１２０を用いて、土という属性情報が付与された対象仮想物体１２１を掘る動作を行う例が図示される。図９Ａに示すように、表示変更部１９は、操作部位１２０と対象仮想物体１２１との距離に基づいて、操作部位１２０を徐々にスコップ１２２に変化させるように制御する。

また図９Ｂに示すように、対象仮想物体１２３に操作を実行する操作部位１２４の大きさ（太さ）に応じて、表示される３Ｄモデルの大きさが制御されてもよい。例えば、対象仮想物体１２３に対して４本の指で操作を実行する場合、指１本を変化させた際のスコップ１２２よりも大きなスコップ１２５に変化させるように制御されてもよい。

図１０では、表示変更部１９は、操作部位の形状に基づいて、操作部位の表示を制御する。例えば、図１０に示すように、操作部位である手１３０が人差し指及び親指でつまむような形状になっている場合に、表示変更部１９は、対象仮想物体１３１と接触した際に手１３０をロボットアーム１３２に変化させる。

これ以外にも、対象仮想物体に接触した際に、手が人差し指及び親指でつまむような形状では無い場合は手がスコップに変化し、つまむような形状になった場合にロボットアームに変化してもよい。

また操作部位の速度に基づいて、特定の３Ｄモデルに変化させるか否かが制御されてもよい。例えば、操作部位である手がゆっくり動いている場合に、手の３Ｄモデルが変化してもよい。また例えば、操作部位である手が速く動いている場合に、手の３Ｄモデルの変化が抑制されてもよい。

また対象仮想物体に付与された情報に応じた、所定の動作を実行するための操作部位の形状及びその所定の動作に適した３Ｄモデルが登録されてもよい。例えば、対象仮想物体である岩に操作部位である手が閉じられた状態で近づくと、岩を破砕するためのハンマーを模した３Ｄモデルに変化するように制御されてもよい。なお、操作部位が他の３Ｄモデルに変化している間、操作部位が半透明で表示されてもよい。

すなわち、操作部位のオブジェクト（３Ｄモデル）を変化させることも表示形式の制御に含まれる。これにより、仮想物体の操作を容易にし、操作ミスを減らす等のユーザビリティの向上が可能となる。

以上、本実施形態に係る表示制御装置１０では、ユーザ１の視点、操作部位２の位置、及び仮想物体３の位置に基づいて、操作部位２の少なくとも一部の表示形式が制御される。これにより、高品質な視聴体験を提供することが可能となる。

従来、ＡＲやＶＲでは操作対象に手を近づけた時に、どのくらい近づいたかのフィードバックが必要となる。また操作対象に手を接触させて細かく操作する場合では、操作対象がコントローラや仮想オブジェクトによって見えない部分が発生する問題があった。

そこで本技術では、ユーザの視点、操作部位の位置、及び仮想物体の位置に基づいて、操作部位や仮想物体の表示形式が制御される。特に操作対象である仮想物体に近づいて操作を行う際に、操作部位の透明度が制御されることで操作対象が詳細に確認できるようになる。これにより、操作時間や操作ミスを減らすことができる。また操作部位と操作対象との距離に基づいて、表示形式の制御が行われることで、操作対象との距離感を正確に把握することができる。

＜その他の実施形態＞
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

上記の実施形態では、表示制御装置１０は、ＨＭＤ３０、センサ部４０、及びコントローラ３１と接続されることで機能した。これに限定されず、ＨＭＤ３０、コントローラ３１、及びセンサ部４０が独立した構成でもよい。

図１１は、表示制御装置の他のハードウェア構成例を示すブロック図である。

図１１に示すように、表示側装置１４０とセンサ側装置１５０とが通信部１４１（１５１）により、センサ情報の送受信をしてもいい。例えば通信部１４１（１５１）は、ＬＡＮ、ＷＡＮ等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器であってもよい。また通信部１４１（１５１）は、有線及び無線のどちらを利用して通信するものであってもよい。

上記の実施形態では、ＶＲヘッドセット等のＨＭＤ３０が用いられ、仮想空間５内に仮想物体３や操作部位２が表示された。これに限定されず、ビデオシースルー（Video See Through）型により、仮想物体が表示されてもよい。

ビデオシースルーにおいて、仮想物体が表示されている箇所にユーザ１の手やコントローラ等の実物体が存在する場合、必ず仮想物体が実物体の前に表示されてしまい、実物体が見えなくなってしまう。

このような、ビデオシースルーにおける仮想物体と実物体との表示関係を制御する例を図１２～図１９を用いて説明する。

図１２は、表示制御装置１６０の機能的な構成例を示すブロック図である。

図１２に示すように、表示制御装置１６０は、情報取得部１４、操作部位姿勢判定部１５、頭部位置姿勢判定部１６、仮想物体制御部１７、表示変更判定部１８、表示変更部１９、及び出力制御部２０に加え、登録オブジェクト位置情報取得部１６１と登録オブジェクト切り替え判定部とを有する。

登録オブジェクト位置情報取得部１６１は、情報取得部１４により取得された登録オブジェクトの位置情報を取得する。登録オブジェクトとは、ユーザ１の周囲に存在する実物体のうち登録された物体を指す。例えば、ユーザの手やコントローラ、ディスプレイ、ＰＣ（Personal Computer）、キーボード、マウス、コップ、ペン、壁、床、天井、又はライト等を含む。

なお、登録オブジェクトは任意に設定される。例えば、事前に設定されてもよいし、アプリケーション起動中にユーザがノック、タッチ、又はポインティング等の特定の動作により設定されてもよい。また例えば、ユーザが実物体を見ながら首を振る等の特定の動作の組み合わせにより設定されてもよいし、ユーザから１ｍ以内の全ての実物体が登録オブジェクトに設定されてもよい。また例えば、消費のバーコードやＱＲコード（登録商標）等を事前に読み取り、３Ｄモデルがロードされてもよい。また上記の方法が登録オブジェクトを解除する方法として用いられてもよい。

登録オブジェクト切り替え判定部１６２は、ユーザの目（頭部）の位置情報、登録オブジェクトの位置情報、及び仮想オブジェクトの位置情報に基づいて、ユーザの目と仮想オブジェクトの間に登録オブジェクトがあるか否かを判定する。

表示変更部１９は、登録オブジェクト切り替え判定部１６２の判定結果により、登録オブジェクトに仮想オブジェクトの重畳を行う。なお、ここで重畳される仮想オブジェクトは、ユーザの手を模した手の仮想オブジェクトやペン等のユーザが手で持っている物体の仮想オブジェクト等が重畳される。なお、重畳される仮想オブジェクトは大人や子供等のユーザの身長や手（登録オブジェクト）のサイズに応じてサイズが制御されてもよい。

すなわち、操作部位、又は操作部位に付随する実物体に応じた仮想オブジェクトが重畳される。これ以外にも登録オブジェクトがＶＲコントローラ、６ｄｏｆ（degrees of freedom）認識マウス、６ｄｏｆ認識ペン、６ｄｏｆ認識リングの場合、これらのデバイスに応じた仮想オブジェクトが重畳される。

なお、本実施形態において、登録オブジェクト切り替え判定部１６２は、ユーザの視点と仮想物体の位置とに基づく所定の領域に登録オブジェクトが含まれるか否かを判定する第３の判定部に相当する。

図１３は、登録オブジェクトの表示形式の制御例を示すフローチャートである。図１４は、コライダー及び仮想オブジェクトの重畳を模式的に示す図である。

図１３に示すように、頭部位置姿勢判定部１６によりユーザの目の位置情報が取得され、登録オブジェクト位置情報取得部１６１により登録オブジェクトの位置情報が取得され、仮想物体制御部１７により仮想物体の位置情報が取得される（ステップ１０１）。

登録オブジェクト切り替え判定部１６２により、ユーザの目と仮想物体との間に登録オブジェクトが存在するか否かが判定される（ステップ１０２）。本実施形態では、ユーザと仮想オブジェクトとの間にコライダーが設置され、そのコライダーと登録オブジェクトとが衝突（侵入）したか否かによりステップ１０２の判定が行われる。以下、コライダーが設置される対象となる仮想オブジェクトを、対象仮想オブジェクトと記載する。

図１４Ａに示すように、ＨＭＤを装着するユーザ１を基準に対象仮想オブジェクト１７０を覆うようにコライダー１７１が設置される。例えば、ユーザ１の視点や顔の向き、目線等の位置情報と対象仮想オブジェクト１７０との位置情報に基づいて、コライダー１７１が設置される。

コライダーの形状は限定されず、図１４Ａに示す円柱形状でもよいし、円錐形状、直方体、楕円形等の任意の形状に設定されてもよい。またコライダーのサイズも限定されない。典型的には、対象仮想オブジェクト１７０の全体を十分に含むことのできるサイズに設定される。しかし、対象仮想オブジェクト１７０の一部を含むようにサイズが設定されてもよい。例えば、対象仮想オブジェクト１７０で特に重要な部位が存在する場合、その部位のみを含むようなコライダーが設定されてもよい。

またコライダーの設置される数も限定されない。例えば、対象仮想オブジェクトが２つ以上ある場合、コライダーも対象仮想オブジェクトの数と同数設置されてもよい。また例えば、１つの対象仮想オブジェクトに対して複数のコライダーが設置されてもよい。

設置されたコライダー１７１に登録オブジェクト１７２（手）が衝突（含まれた）場合、ユーザの目と仮想物体との間に登録オブジェクトが存在すると判定される（ステップ１０２のＹＥＳ）。

表示変更部１９により、登録オブジェクトの表示形式が変更される（ステップ１０３）。図１４Ｂに示すように、登録オブジェクト１７２である手に仮想オブジェクトが重畳される。図１４Ｂでは、対象仮想オブジェクト１７０と登録オブジェクト１７２とが重なっている一部の登録オブジェクト１７２に対して、仮想オブジェクト１７３が重畳される。これに限定されず、ステップ１０２のＹＥＳの処理が行われた場合、登録オブジェクト１７２の全体を仮想オブジェクトが重畳してもよい。

なお、コライダー以外の方法でステップ１０２の判定が行われてもよい。例えば、図１４に示すように、ＨＭＤ上に表示されるレンダリングされた映像１７４から、登録オブジェクト１７２と対象仮想オブジェクト１７０とが重なった場合に、ユーザの目と仮想物体との間に登録オブジェクトが存在すると判定されてもよい。また例えば、対象仮想オブジェクトなしのレンダリング画像と、対象仮想オブジェクトありのレンダリング画像とが比較され、登録オブジェクトの領域の差分に基づいて判定されてもよい。

図１５は、登録オブジェクトに重畳される仮想オブジェクトの具体例を示す図である。

図１３で記載したように、本実施形態では、表示変更部１９によりコライダー１７１に登録オブジェクト１７２が侵入することで登録オブジェクト１７２に仮想オブジェクト１７３が重畳される。この場合、典型的には、登録オブジェクトがコライダー内にいる際に重畳される仮想オブジェクトは１種類のみである。例えば、手が登録オブジェクトの場合、手を模した仮想オブジェクトが重畳され続ける。

図１５では、１つの対象仮想オブジェクト１８０に対して、登録オブジェクト１８１の位置に応じて重畳される仮想オブジェクト１８２が変更される。図１５に示すように、対象仮想オブジェクト１８０の右側（１８０ａ）に登録オブジェクト１８１が存在する場合、手の仮想オブジェクト１８２が重畳される。また対象仮想オブジェクト１８０の左側（１８０ｂ）に登録オブジェクト１８１が存在する場合、鉛筆の仮想オブジェクト１８３が重畳される。

このような処理を行う場合、対象仮想オブジェクト１８０と登録オブジェクト１８１との相対的な位置情報から重畳される仮想オブジェクトが変更されてもよいし、左右に分割された対象仮想オブジェクト１８０に対してコライダーが２つ設定されることで、そのコライダーとの衝突判定により仮想オブジェクトが変更されてもよい。

図１６は、対象仮想オブジェクトの表示形式の制御例を示す図である。上記では、登録オブジェクトをユーザに視認できるように仮想オブジェクトが重畳された。これに限定されず、対象仮想オブジェクトの透明度が制御されることで登録オブジェクトが視認できるようになってもよい。

例えば、図１６Ａに示すように、表示変更部１９により対象仮想オブジェクト１９０と登録オブジェクト１９１（現実のユーザの手）とが重なっている部分の対象仮想オブジェクト１９０の透明度が低くされる。これにより、現実のユーザの手が見えるようになる。

また例えば、図１６Ｂに示すように、登録オブジェクト１９１が手を振る等のジェスチャを行うことで、重なっている部分の対象仮想オブジェクト１９０の透明度を下げる。このようにユーザが現実の手を見たい場合、特定の動作を行うことで対象仮想オブジェクト１９０の透明度が低くなるように制御されてもよい。

また特定の動作は登録オブジェクトによる動作に限定されず、ユーザが現実の手に重畳された仮想オブジェクトを所定の時間見続ける、首を横に振る等の登録オブジェクト以外の動作により対象仮想オブジェクトの一部又は全体の透明度が低くなってもよい。またそれと同時に、手に重畳している仮想オブジェクト１９２が消去されてもよい。

図１７は、登録オブジェクトに重畳される仮想オブジェクトの制御の一例を示す図である。図１７では、登録オブジェクト２００の向きや傾き等に基づいて、仮想オブジェクトが重畳される。

例えば図１７Ａに示すように、登録オブジェクト２００が手の場合、手の平が対象仮想オブジェクト２０１の方を向いている場合、仮想オブジェクト２０２が重畳される。また例えば、手の平がユーザ１の方を向いている場合、手の仮想オブジェクト２０３が重畳される。

すなわち、本実施形態では、登録オブジェクト２００である手の向きに応じて、ユーザ１が対象仮想オブジェクト２０１に対して操作を行いたいか否かが判定される。手の平が対象仮想オブジェクト２０１を向いているなら、操作を行いたいと判定され、操作に適した仮想オブジェクトが重畳される。手の平が対象仮想オブジェクト２０１を向いていないなら、操作しないと判定され、操作に関係ない仮想オブジェクトが重畳される。

なお、「操作に適した仮想オブジェクト」とは、対象仮想オブジェクトを含む仮想物体に対して、ユーザが行う操作に応じた仮想オブジェクトである。例えば、仮想物体のノートに対して文字を書きたい、というユーザが行いたい操作に対してペンや鉛筆等の筆記用具の仮想オブジェクトが重畳される。このユーザが行う操作は、仮想物体に対してメタデータが付与されることで設定されてもよいし、ユーザが筆記モード、保持モード等の操作を行うためのモード選択を行うことで予め設定されてもよい。

例えば、図１７Ｂに示すように、登録オブジェクト２００が手の場合、指により対象仮想オブジェクト２０１がポインティング（指差し）されているとする。この場合、登録オブジェクト２００にペンの仮想オブジェクト２０４が重畳される。また例えば、登録オブジェクト２００がポインターの場合、ポインターにより対象仮想オブジェクト２０１に光線が当てられることで仮想オブジェクトが重畳される。

また登録オブジェクト２００が対象仮想オブジェクト２０１の方向を向いていない場合、操作に関係ない仮想オブジェクト２０５が重畳される。

図１８は、特定のジェスチャに応じた仮想オブジェクトの重畳を示す図である。

図１８Ａは、操作オブジェクトが手２１０の場合、手２１０のジェスチャ（形状）に応じて仮想オブジェクト２１１が重畳されるか否かが判定される。図１８Ａに示すように、手２１０を開いている場合、仮想オブジェクトが重畳されず、対象仮想オブジェクト２１２により手２１０が隠れている。ここで、手２１０が人差し指のみを伸ばすジェスチャを行った場合、手を模した仮想オブジェクト２１１が重畳される。なお特定のジェスチャにより仮想オブジェクトが非表示となってもよいし、表示と非表示との切り替えが行われてもよい。

また図１８Ｂに示すように、操作オブジェクトが手２１０の場合、手２１０が特定の物体を把持した際に、その把持した物体を模した仮想オブジェクトが重畳される。例えば、手２１０が鉛筆２１３を把持した場合、鉛筆の仮想オブジェクト２１４が重畳される。また例えば、特定の物体を把持することで、手を模した仮想オブジェクトが重畳されてもよい。すなわち、特定の物体を把持することが仮想オブジェクトを重畳する条件として設定されてもよい。

なお、把持される物体は、登録オブジェクトに設定されていてもよいし、設定されていなくてもよい。例えば、登録オブジェクトに設定されていない場合、カメラ等のセンサにより物体が認識され、その物体を模した仮想オブジェクトが重畳されてもよい。

上記以外のジェスチャ以外にも種々のジェスチャにより仮想オブジェクトが制御されてもよい。例えば、操作オブジェクトを所定の時間を静止した場合、仮想オブジェクトの重畳が非表示に制御されてもよい。これはユーザが対象仮想オブジェクトを詳しく見たい状況と考えられるためである。

なお、操作オブジェクトの静止は、手全体が静止している（座標が変わらない）状態を指す。すなわち、指が動いている等の操作オブジェクトの一部が動いている場合、仮想オブジェクトが重畳されてもよい。

また例えば、操作オブジェクトを所定の速さで動かした場合、仮想オブジェクトの重畳が非表示に制御されてもよい。これは操作オブジェクトを早く動かした際に、仮想オブジェクトが重畳されると仮想オブジェクトの表示と非表示とが連続して提示されてしまうためである。また仮想オブジェクトの非表示以外にも、仮想オブジェクトの透明度が下げられてもよい。

なお、操作オブジェクトによるジェスチャ以外にも様々なユーザの行動に応じて仮想オブジェクトが重畳されてもよい。例えば、ユーザが仮想オブジェクトを所定の時間見続けた場合、操作オブジェクトに重畳された仮想オブジェクトが消去され、対象仮想オブジェクトの操作オブジェクトと重なっている部分の透明度が低くなってもよい（図１６Ａ参照）。

このように、仮想オブジェクトが重畳、又は非表示等の制御は、コライダーとの衝突に限定されず、上記に示すように操作オブジェクトのジェスチャやユーザの行動に応じて制御されてもよい。すなわち、コライダーとの衝突に加え、種々の条件により表示形式の制御が行われてもよい。

図１９は、コライダーの領域外の登録オブジェクトに対して仮想オブジェクトが重畳される際の具体例を示す模式図である。

上記の例では、登録オブジェクトがコライダーに衝突、すなわち、コライダーの領域内に存在することにより仮想オブジェクトが重畳された。これに限定されず、対象仮想オブジェクトが複数あり、その対象仮想オブジェクトの距離が短い場合、登録オブジェクトがコライダーの領域外にあっても仮想オブジェクトの重畳が継続されてもよい。

図１９に示すように、対象仮想オブジェクト２２０Ａ、及び対象仮想オブジェクト２２０Ｂに対して、ユーザ１を基準としたコライダー２２１Ａ、及びコライダー２２１Ｂが設定される。図１９では、登録オブジェクト２２２（手）がコライダー２２１Ａ及びＢの領域外に存在する。

典型的には、登録オブジェクト２１２がコライダー２２１と衝突していないため、仮想オブジェクトの重畳は行われない。しかし、対象仮想オブジェクト２２０Ａ、及び対象仮想オブジェクト２２０Ｂの距離が短い等の特定の条件を満たしている場合、仮想オブジェクト２２３の重畳が継続される。

これは、複数の対象仮想オブジェクトが存在する場合、その対象仮想オブジェクトの間に手が存在すると、一瞬重畳された仮想オブジェクトが消えてしまうことで、仮想オブジェクトの切り替わり処理が増えてしまうためである。

なお、コライダー２２１Ａの領域内に登録オブジェクト２２２が存在する場合、仮想オブジェクトとして手が重畳されるとする。またコライダー２２１Ｂの領域内に登録オブジェクト２２２が存在する場合、仮想オブジェクトとして鉛筆が重畳されるとする。このようにコライダーごとに重畳される仮想オブジェクトが異なる場合、登録オブジェクトがコライダー２２１Ａから出た場合、手の仮想オブジェクトの重畳が継続され、登録オブジェクトがコライダー２２１Ｂから出た場合、鉛筆の仮想オブジェクトの重畳が継続されてもよい。

上記の実施形態では、登録オブジェクトがコライダーに衝突することで仮想オブジェクトが重畳された。これに限定されず、仮想オブジェクトが重畳するモードと仮想オブジェクトを重畳しないモードとに切り替える機能が用いられてもよい。すなわち、仮想オブジェクトを重畳しないモードでは、コライダーが設定されない、又は登録オブジェクトがコライダーに衝突しても仮想オブジェクトが重畳されない状態となる。

上記の実施形態では、登録オブジェクトに重畳される仮想オブジェクトは、表示又は非表示の切り替えにより制御された。これに限定されず、登録オブジェクトと対象仮想オブジェクトとが重なっている部分から徐々に仮想オブジェクトが重畳されてもよい。すなわち、瞬時に仮想オブジェクトが重畳されず、所定の時間で不透明度が１００％になるように制御されてもよい。

上記の実施形態では、ユーザにより登録された登録オブジェクトに仮想オブジェクトが重畳された。これに限定されず、他人の手やコントローラ等が該ユーザを基準に設置されたコライダーと衝突した場合にその他人の手やコントローラ等に仮想オブジェクトが重畳されてもよい。これ以外にも他のユーザにより設定された登録オブジェクトに仮想オブジェクトが重畳されてもよい。

上記の実施形態では、仮想オブジェクトの表示または非表示のみが行われた。これに限定されず、仮想オブジェクトが重畳された際に音や触覚が提示されてもよい。ビジュアル、音、触覚等の全てが提示されてもよいし、いずれかだけが提示されてもよい。また例えば、対象仮想オブジェクトやユーザ、環境の色等に応じて重畳される仮想オブジェクトの色彩情報が制御されてもよい。すなわち、周囲の環境の色と重畳される仮想オブジェクトの色が似ている場合、ユーザにとって仮想オブジェクトが重畳されているか理解しづらくなるため、色、彩度、明度等の色彩情報が制御されてもよい。

上記の実施形態では、手が登録オブジェクトの場合、手により把持された物体に応じて仮想オブジェクトが重畳された。これに限定されず、はさみやカッター等の危険性の高い物体を把持している場合や、周囲に危険性の高い物体がある場合、周りで火事が発生した等の危険な状況の場合に、手に重畳される仮想オブジェクトを非表示にし、対象仮想オブジェクトの透明度が下げられてもよい。

上記の制御により、登録オブジェクトが対象仮想オブジェクトに被る時に登録オブジェクト上に仮想オブジェクトが重畳されることで位置関係が分かりやすくなる。また登録オブジェクトである手やコントローラの実際の情報を保ったまま、必要な時に位置関係を分かりやすくすることで操作が容易になる。またユーザの動きに応じて重畳される仮想オブジェクトが制御されることで、必要な時に必要な仮想オブジェクトの表示形式の制御が可能となる。

上記の実施形態では、１つの対象仮想物体に対して１つの操作部位の表示形式が制御された。これに限定されず、対象仮想物体が複数でもよいし、操作部位が複数でもよい。例えば、操作部位である手の各指で複数の仮想物体と接触してもよい。この場合、各指に対して各々異なる表示形式の制御が行われてもよい。同様に対象仮想物体以外の他の仮想物体が複数あってもよい。

上記の実施形態では、特徴情報以外の操作部位の少なくとも一部の表示形式が制御された。これに限定されず、特徴情報の表示形式を制御するか否かはユーザにより任意に設定されてもよい。

上記の実施形態では、操作部位の透明度が高い箇所の輪郭が強調表示された。これに限定されず、操作部位と仮想物体との距離に基づいて、操作部位が強調表示されてもよい。例えば、操作部位が点滅してもよいし、所定の色で発光してもよいし、操作部位に所定のアニメーションが重畳されてもよい。

上記の実施形態では、操作部位が仮想物体と接触している際に表示形式の制御が行われた。これに限定されず、操作部位が仮想物体と接触せずに遠隔操作を行っている場合でも上記の表示形式の制御が行われてもよい。例えば、ユーザの操作範囲外に位置する仮想物体に操作部位（手など）を向けることで、仮想物体の移動、引き寄せる、突き放す等の操作が可能とする。この場合、遠隔操作される仮想物体とユーザの視点とを結ぶ視線上に操作部位が位置する場合に表示形式の制御が行われてもよい。

なお、上記のハードウェア構成を有する表示制御装置１０による表示制御は、メモリやＲＯＭ等に記録されたソフトウェアと、表示制御装置１０のハードウェア資源との協働により実現されてもよい。具体的には、ＲＯＭ等に記憶された、ソフトウェアを構成するプログラムをＲＡＭにロードして実行することにより、本技術に係る表示制御方法が実現される。

プログラムは、例えば記録媒体を介して表示制御装置１０にインストールされる。あるいは、グローバルネットワーク等を介してプログラムが表示制御装置１０にインストールされてもよい。その他、コンピュータ読み取り可能な非一過性の任意の記憶媒体が用いられてよい。

通信端末に搭載されたコンピュータとネットワーク等を介して通信可能な他のコンピュータとが連動することにより本技術に係る表示制御装置、表示制御方法、及びプログラムが実行され、本技術に係る表示制御装置が構築されてもよい。

すなわち本技術に係る表示制御装置、表示制御方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお、本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。

コンピュータシステムによる本技術に係る表示制御装置、表示制御方法、及びプログラムの実行は、例えば、表示形式の制御、表示変更の判定、及び仮想物体の制御等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部又は全部を他のコンピュータに実行させその結果を取得することを含む。

すなわち本技術に係る表示制御装置、表示制御方法、及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。

各図面を参照して説明した仮想物体制御部、表示変更判定部、表示変更部等の各構成、通信システムの制御フロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。

なお、本開示中に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。上記の複数の効果の記載は、それらの効果が必ずしも同時に発揮されるということを意味しているのではない。条件等により、少なくとも上記した効果のいずれかが得られることを意味しており、もちろん本開示中に記載されていない効果が発揮される可能性もある。

以上説明した各形態の特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。

なお、本技術は以下のような構成も採ることができる。
（１）
ユーザの視点、前記ユーザの操作部位の位置、及び仮想物体の位置に基づいて、前記操作部位の少なくとも一部の表示形式を制御する制御部
を具備する表示制御装置。
（２）（１）に記載の表示制御装置であって、
前記表示形式は、前記操作部位の透明度、輝度、拡大、縮小、強調表示、又は仮想オブジェクトの重畳の少なくとも１つを含む
表示制御装置。
（３）（２）に記載の表示制御装置であって、
前記制御部は、前記操作部位と前記仮想物体との距離に基づいて、前記操作部位の少なくとも一部の透明度を高くする
表示制御装置。
（４）（２）に記載の表示制御装置であって、
前記制御部は、前記仮想物体に接触している状態における前記操作部位の速度に基づいて、前記操作部位の少なくとも一部の透明度を高くする
表示制御装置。
（５）（２）に記載の表示制御装置であって、
前記制御部は、前記操作部位の大きさに基づいて、前記操作部位の少なくとも一部の透明度を高くする
表示制御装置。
（６）（２）に記載の表示制御装置であって、
前記操作部位は、前記ユーザの特徴を示す特徴情報を含み、
前記制御部は、前記特徴情報以外の前記操作部位の少なくとも一部の透明度を高くする
表示制御装置。
（７）（２）に記載の表示制御装置であって、
前記制御部は、前記操作部位と前記仮想物体との距離に基づいて、前記操作部位の少なくとも一部の透明度を高くし、前記操作部位の透明度の高い部位の輪郭を強調表示する
表示制御装置。
（８）（２）に記載の表示制御装置であって、
前記制御部は、前記操作部位と前記仮想物体との接触位置を強調表示し、前記接触位置以外の前記操作部位の少なくとも一部の透明度を高くする
表示制御装置。
（９）（１）に記載の表示制御装置であって、さらに、
前記操作部位によって実行される所定の操作に基づいて、前記表示形式の制御を抑制する抑制部を具備する
表示制御装置。
（１０）（１）に記載の表示制御装置であって、さらに、
前記ユーザの視点、前記操作部位の位置、及び前記仮想物体の位置に基づいて、前記ユーザが前記仮想物体を視認可能か否かを判定する第１の判定部を具備する
表示制御装置。
（１１）（１０）に記載の表示制御装置であって、
前記第１の判定部は、前記操作部位が前記仮想物体に接触し、前記操作部位が前記ユーザの視点と前記仮想物体との間に位置する場合、前記仮想物体を視認不可と判定する
表示制御装置。
（１２）（１）に記載の表示制御装置であって、さらに、
前記ユーザの視点、前記操作部位の位置、前記操作部位により操作される対象仮想物体の位置、及び前記対象仮想物体以外の他の仮想物体の位置に基づいて、前記他の仮想物体の少なくとも一部の表示形式を制御する表示制御部を具備する
表示制御装置。
（１３）（１２）に記載の表示制御装置であって、
前記表示形式は、前記他の仮想物体の透明度を含む
表示制御装置。
（１４）（１２）に記載の表示制御装置であって、さらに、
前記ユーザの視点、前記操作部位の位置、前記対象仮想物体の位置、及び前記他の仮想物体の位置に基づいて、前記ユーザが前記操作部位と前記対象仮想物体との接触位置を視認可能か否かを判定する第２の判定部を具備する
表示制御装置。
（１５）
ユーザの視点、前記ユーザの操作部位の位置、及び仮想物体の位置に基づいて、前記操作部位の少なくとも一部の表示形式を制御する
ことをコンピュータシステムが実行する表示制御方法。
（１６）
ユーザの視点、前記ユーザの操作部位の位置、及び仮想物体の位置に基づいて、前記操作部位の少なくとも一部の表示形式を制御するステップ
をコンピュータシステムが実行するプログラム。
（１７）（２）に記載の表示制御装置であって、さらに、
前記操作部位を含む物体を登録オブジェクトとして設定する設定部を具備し、
前記制御部は、前記ユーザの視点、前記登録オブジェクトの位置、及び前記仮想物体の位置に基づいて、前記登録オブジェクトの少なくとも一部の前記表示形式を制御する
表示制御装置。
（１８）（１７）に記載の表示制御装置であって、さらに、
前記ユーザの視点と前記仮想物体の位置とに基づく所定の領域に前記登録オブジェクトが含まれるか否かを判定する第３の判定部を具備する
表示制御装置。
（１９）（１８）に記載の表示制御装置であって、
前記制御部は、前記所定の領域に前記登録オブジェクトが含まれる場合、前記登録オブジェクトの少なくとも一部に対して前記仮想オブジェクトを重畳する
表示制御装置。
（２０）（１９）に記載の表示制御装置であって、
前記制御部は、前記仮想物体に対する前記登録オブジェクトの姿勢に基づいて、前記登録オブジェクトの少なくとも一部に対して前記仮想オブジェクトを重畳する
表示制御装置。
（２１）（１９）に記載の表示制御装置であって、
前記表示形式は、前記仮想オブジェクトの色に関する色彩情報を含み、
前記制御部は、前記仮想物体、又は前記ユーザの周辺環境に基づいて、前記色彩情報を制御する
表示制御装置。
（２２）（９）に記載の表示制御装置であって、
前記抑制部は、前記ユーザの周辺環境、又は前記操作部位に追従する物体の危険度が高い場合、前記表示形式の制御を抑制する
表示制御装置。

１…ユーザ
２…操作部位
３…仮想物体
６…対象仮想物体
１０…表示制御装置
１８…表示変更判定部
１９…表示変更部
３１…コントローラ
４０…センサ部
１６２…登録オブジェクト切り替え判定部

Claims (14)

1. ユーザの視点、前記ユーザの操作部位の位置、及び仮想物体の位置に基づいて、前記操作部位の少なくとも一部の表示形式を制御する制御部
   を具備する表示制御装置。
2. 請求項１に記載の表示制御装置であって、
   前記表示形式は、前記操作部位の透明度、輝度、拡大、縮小、強調表示、又は仮想オブジェクトの重畳の少なくとも１つを含む
   表示制御装置。
3. 請求項２に記載の表示制御装置であって、
   前記制御部は、前記操作部位と前記仮想物体との距離に基づいて、前記操作部位の少なくとも一部の透明度を高くする
   表示制御装置。
4. 請求項２に記載の表示制御装置であって、
   前記制御部は、前記仮想物体に接触している状態における前記操作部位の速度に基づいて、前記操作部位の少なくとも一部の透明度を高くする
   表示制御装置。
5. 請求項２に記載の表示制御装置であって、
   前記制御部は、前記操作部位の大きさに基づいて、前記操作部位の少なくとも一部の透明度を高くする
   表示制御装置。
6. 請求項２に記載の表示制御装置であって、
   前記操作部位は、前記ユーザの特徴を示す特徴情報を含み、
   前記制御部は、前記特徴情報以外の前記操作部位の少なくとも一部の透明度を高くする
   表示制御装置。
7. 請求項２に記載の表示制御装置であって、
   前記制御部は、前記操作部位と前記仮想物体との距離に基づいて、前記操作部位の少なくとも一部の透明度を高くし、前記操作部位の透明度の高い部位の輪郭を強調表示する
   表示制御装置。
8. 請求項２に記載の表示制御装置であって、
   前記制御部は、前記操作部位と前記仮想物体との接触位置を強調表示し、前記接触位置以外の前記操作部位の少なくとも一部の透明度を高くする
   表示制御装置。
9. 請求項１に記載の表示制御装置であって、さらに、
   前記操作部位によって実行される所定の操作に基づいて、前記表示形式の制御を抑制する抑制部を具備する
   表示制御装置。
10. 請求項１に記載の表示制御装置であって、さらに、
    前記ユーザの視点、前記操作部位の位置、及び前記仮想物体の位置に基づいて、前記ユーザが前記仮想物体を視認可能か否かを判定する第１の判定部を具備する
    表示制御装置。
11. 請求項１０に記載の表示制御装置であって、
    前記第１の判定部は、前記操作部位が前記仮想物体に接触し、前記操作部位が前記ユーザの視点と前記仮想物体との間に位置する場合、前記仮想物体を視認不可と判定する
    表示制御装置。
12. 請求項１に記載の表示制御装置であって、さらに、
    前記ユーザの視点、前記操作部位の位置、前記操作部位により操作される対象仮想物体の位置、及び前記対象仮想物体以外の他の仮想物体の位置に基づいて、前記他の仮想物体の少なくとも一部の表示形式を制御する表示制御部を具備する
    表示制御装置。
13. ユーザの視点、前記ユーザの操作部位の位置、及び仮想物体の位置に基づいて、前記操作部位の少なくとも一部の表示形式を制御する
    ことをコンピュータシステムが実行する表示制御方法。
14. ユーザの視点、前記ユーザの操作部位の位置、及び仮想物体の位置に基づいて、前記操作部位の少なくとも一部の表示形式を制御するステップ
    をコンピュータシステムが実行するプログラム。

Images