JP2023024540A - 表示端末 - Google Patents

Abstract

【課題】仮想オブジェクトの表示位置によらず、現実感を保ちつつ、高い操作性を実現する仮想オブジェクト表示技術を提供する。【解決手段】表示端末は、予め定めた撮影範囲のカラー画像および距離画像をそれぞれ取得するカラー画像カメラ２１４ａおよび距離画像カメラ２１５ｂと表示制御部２２０とを備え、表示制御部２２０は、カラー画像と距離画像とを用いて構造物３００の３次元マップを生成する空間認識部２２１と、３次元マップと仮想オブジェクト１００の実空間上の配置位置データとに基づいて、視線方向の構造物３００の背後になる仮想オブジェクト１００の背面領域１０１を特定した表示データを生成し、背面領域１０１の、仮想オブジェクト１００に対する操作指示を受け付ける操作ポイント１１０を表示させるよう表示データを補正する。【選択図】図１

Description

本発明は、表示端末における仮想オブジェクトの表示技術に関する。

ＨＭＤ（ヘッドマウントディスプレイ；Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等の表示端末に表示する、現実空間の物体に対してコンピュータによる情報を付加する拡張現実（ＡＲ、Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）画像の視認性を向上させる技術がある。例えば、特許文献１には、「表示部に、透過して視認される外界に重ね合わせて所定の画像を表示させる重畳画像表示制御部と、前記透過して視認される外界のうちの所定範囲を少なくとも撮像する撮像部と、撮像部によって得られた撮像画像から、前記所定の画像と位置が対応する所定範囲の部分画像を特定する部分画像特定部と、前記特定された部分画像についての色情報に応じて、重畳画像表示制御部によって表示される所定の画像の見え方を補正する視認性補正部と、を備える（要約抜粋）」外界を透過視認可能な表示部を備えた頭部装着型表示装置が開示されている。

特開２０１６－１４２８８７号公報

ＡＲ画像で表示される仮想オブジェクト等は、当該仮想オブジェクトの周囲に予め設定された操作ポイントに対して指示を行うことにより、移動、回転、変形等の操作を行う。しかしながら、仮想オブジェクトの表示位置によっては、当該仮想オブジェクトの一部が周囲の構造物の背後となり、陰面消去され、それに伴い、必要な操作ポイントが表示されないことがある。このため、必ずしも高い操作性が得られない。一方、仮想オブジェクトの操作後の配置位置によらず、そのまま仮想オブジェクトを表示させると、現実感が得られない。

本発明は、上記事情に鑑みてなされたもので、仮想オブジェクトの表示位置によらず、現実感を保ちつつ、高い操作性を実現する仮想オブジェクト表示技術を提供することを目的とする。

本発明は、表示端末であって、ディスプレイと、予め定めた撮影範囲のカラー画像を取得するカラー画像カメラと、前記撮影範囲の距離画像を取得する距離画像カメラと、前記カラー画像と前記距離画像とを用いて前記撮影範囲内の構造物の３次元マップを生成する空間認識部と、制御部と、を備え、前記制御部は、前記空間認識部により生成された３元マップを用いて、仮想オブジェクトと前記仮想オブジェクトのミニチュアオブジェクトとを前記カラー画像に重畳して、前記ディスプレイに表示させるように制御することを特徴とする。

本発明によれば、仮想オブジェクトの表示位置によらず、現実感を保ちつつ、高い操作性を実現する仮想オブジェクト表示技術を提供できる。上記した以外の課題、構成および効果は、以下の実施形態の説明により明らかにされる。

（ａ）～（ｃ）は、本発明の実施形態の仮想オブジェクト表示処理の概要を説明するための説明図である。 （ａ）は、本発明の実施形態のＨＭＤのハードウェア構成図であり、（ｂ）は、本発明の実施形態のＨＭＤの外観図である。 本発明の実施形態のＨＭＤのコントローラの機能ブロック図である。 （ａ）および（ｂ）は、本発明の実施形態の仮想オブジェクト表示処理の概要を説明するための説明図である。 本発明の実施形態の仮想オブジェクト表示処理のフローチャートである。 （ａ）および（ｂ）は、本発明の実施形態のディスプレイ表示を説明するための説明図である。 （ａ）～（ｃ）は、本発明の実施形態の仮想オブジェクト表示の態様の一例を説明するための説明図である。 （ａ）～（ｃ）は、本発明の実施形態の仮想オブジェクト表示の態様の他の例を説明するための説明図である。 （ａ）および（ｂ）は、本発明の実施形態の仮想オブジェクト表示の態様の変形例１を説明するための説明図である。 本発明の実施形態の仮想オブジェクト表示の態様の変形例２を説明するための説明図である。 本発明の実施形態の仮想オブジェクト表示の態様の変形例３を説明するための説明図である。 本発明の実施形態の仮想オブジェクト表示の態様の変形例４を説明するための説明図である。 本発明の実施形態の仮想オブジェクト表示の態様の変形例５を説明するための説明図である。 本発明の実施形態の仮想オブジェクト表示の態様の変形例６を説明するための説明図である。

以下、本発明の実施の形態について、図面を用いて説明する。以下、本明細書において、同一機能を有するものは、特に断らない限り同一の符号を付し、繰り返しの説明は省略する。なお、本発明はここで説明する実施形態に限定されるものではない。

本実施形態では、表示端末として、ユーザ（装着者）が頭部に装着して用いるＨＭＤ（ヘッドマウントディスプレイ；Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）であって、透過型ディスプレイを備え、外界と表示画像との両方を視認可能な透過型（シースルー型）のＨＭＤを例にあげて説明する。

まず、本実施形態の概要を、図１（ａ）から図１（ｃ）を用いて説明する。本実施形態では、図１（ａ）に示すように、ユーザ２０１が、室内でＨＭＤ２００を装着し、仮想オブジェクト１００をＨＭＤ２００のディスプレイに表示させて、操作する。

ＨＭＤ２００は、実空間および仮想オブジェクト１００の、距離情報（奥行情報）を持つ。従来は、ＨＭＤ２００のディスプレイには、図１（ｂ）に示すように、実空間の壁等の構造物３００より奥に配置される仮想オブジェクト１００の部分は、表示されない。従って、このような場合、ユーザ２０１は、仮想オブジェクト１００の全容を把握することができない。

また、一般に、仮想オブジェクト１００は、仮想オブジェクト１００上または周囲近傍に設定される操作ポイント（トランスフォームコントローラ）１１０を操作することにより、移動、回転、変形等の操作を行う。従って、図１（ｂ）のように表示された場合、構造物３００の背後の部分の操作ポイント１１０は表示されないため、操作ができない。

本実施形態では、これを解決するため、図１（ｃ）に示すように、構造物３００があったとしても、仮想オブジェクト１００は、全ての操作ポイント１１０を表示させる。また、仮想オブジェクト１００自体もその全体を表示させてもよい。また、このとき、本来は、表示されない部分まで表示されていることがわかるよう、付加オブジェクト４００を表示してもよい。

以下、このような表示制御を実現する本実施形態のＨＭＤ２００について説明する。

［ハードウェア構成図］
図２（ａ）は、ＨＭＤ２００のハードウェア構成図である。また、図２（ｂ）は、本実施形態のＨＭＤ２００の外観図である。

本実施形態のＨＭＤ２００は、基本的に汎用のコンピュータ（情報処理装置）と同様の構成を有する。すなわち、ＨＭＤ２００は、本図に示すように、コントローラ２１０と、カメラ２１４と、ディスプレイ２１５と、音声インタフェース（Ｉ／Ｆ）２１６と、通信Ｉ／Ｆ２１７と、センサ２１８と、各部を電気的に接続するバス２１９と、視線検出装置２１４ｃと、を備える。さらに、本実施形態のＨＭＤ２００は、各部を支え、ユーザ２０１が装着するためのフレーム２４１を備える。

コントローラ２１０は、予め定めたプログラムに従って、各種の処理を行う。本実施形態では、コントローラ２１０は、例えば、ディスプレイ２１５の所定の位置に、仮想オブジェクト１００を表示させる。

本実施形態のコントローラ２１０は、ＣＰＵ２１１と、ＲＡＭ２１２と、ＲＯＭ２１３と、を備える。ＣＰＵ２１１は、予めＲＯＭ２１３に格納されたプログラムを、ＲＡＭ２１２にロードして実行することにより、各種の機能を実現する。なお、ＲＡＭ２１２およびＲＯＭ２１３は、特に区別する必要がない場合は、両者を合わせて記憶装置２３０（図３参照）と呼ぶ。なお、コントローラ２１０は、例えば、フレーム２４１上に配置される。

カメラ２１４は、カラー画像カメラ２１４ａと、距離画像カメラ２１４ｂと、を備える。カラー画像カメラ２１４ａは、ユーザ２０１の視野範囲を含む撮影範囲を撮影し、カラー画像を取得する。また、距離画像カメラ２１４ｂは、カラー画像カメラ２１４ａと略同範囲の撮影範囲の距離画像を取得する。カメラ２１４（カラー画像カメラ２１４ａおよび距離画像カメラ２１４ｂ）は、例えば、フレーム２４１の最前部（最もディスプレイ２１５側）の、上記撮影範囲を撮影可能な位置に配置される。

ディスプレイ２１５は、カメラ２１４で取得した画像、ＨＭＤ２００内で生成された表示データが表示されるデバイスである。ディスプレイ２１５は、例えば、透過型の液晶デバイスや有機ＥＬデバイス、あるいはＭＥＭＳ（ｍｉｃｒｏ ｅｌｅｃｔｒｏ ｍｅｃｈａｎｉｃａｌ ｓｙｓｔｅｍｓ）を用いた光走査型のデバイス等で構成される。しかしながら、デバイスはこれに限定されず、ディスプレイ２１５上に映像を表示しつつ、ディスプレイ２１５の向こう側が透けて見える透過型ディスプレイ構造を実現可能なデバイスであればよい。

本実施形態のＨＭＤ２００では、透過型のディスプレイ２１５が、ユーザ２０１の片眼または両眼の前で支持される。なお、ディスプレイ２１５は、任意の形状をとることができる。ディスプレイ２１５は、右および左の表示パネルを備えてもよい、また、ディスプレイ２１５には、グラフィカルユーザＩ／Ｆの１つまたは複数のＵＩオブジェクトが表示されてもよい。

音声Ｉ／Ｆ２１６は、例えば、マイク、スピーカ、ブザー等の音声出力装置である。音声Ｉ／Ｆ２１６は、外界の音の入力と、ＨＭＤ２００内で作成した音や通信Ｉ／Ｆ２１７を介して送られてくる音声や音楽等の音の出力とを行う。本実施形態では、音声Ｉ／Ｆ２１６は、備えなくてもよい。

通信Ｉ／Ｆ２１７は、符号回路や復号回路、アンテナ等を備え、ネットワークを介して、他装置とのデータの送受信（データ通信）を行う。本実施形態では、通信Ｉ／Ｆ２１７は、図示を省略したアクセスポイント等を介して、または、図示を省略した移動体電話通信網の基地局等を介して、ネットワークと接続するＩ／Ｆである。通信Ｉ／Ｆ２１７を介して、ＨＭＤ２００は、ネットワークに接続された各サーバとのデータ送受信を行う。

ＨＭＤ２００と前記アクセスポイントとの接続は、例えば、Ｗｉ－Ｆｉ（登録商標）等の無線通信方式やその他の通信方式により行われる。ＨＭＤ２００と前記移動体電話通信網の基地局との接続は、例えば、Ｗ－ＣＤＭＡ（登録商標）（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式やＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式、或いはその他の通信方式によって行われる。なお、本実施形態のＨＭＤ２００は、通信Ｉ／Ｆ２１７を備えなくてもよい。

センサ２１８は、ＨＭＤ２００の現在位置、傾き、速度、ユーザ２０１による操作等を検出する。ＨＭＤ２００は、センサ２１８として、例えば、ＧＰＳ受信機２１８ａ等の位置情報取得センサ、ジャイロセンサ２１８ｂ、加速度センサ２１８ｃ、地磁気センサ２１８ｄ、タッチセンサ２１８ｅ等を備える。なお、センサ２１８は、全てを備えなくてもよい。

視線検出装置２１４ｃは、ユーザ２０１の視線方向を検出する。視線検出装置２１４ｃは、例えば、ユーザ２０１の視線方向を検出する視線検出カメラ等で実現される。視線検出カメラは、ユーザ２０１の眼の虹彩、瞳孔等を撮影範囲に含むよう取り付けられる。

フレーム２４１は、ディスプレイ２１５、カメラ２１４、コントローラ２１０等のＨＭＤ２００の構成品を支持する。

［機能ブロック］
次に、本実施形態のコントローラ２１０が実現する、仮想オブジェクト表示に関連する機能を説明する。図３は、本実施形態のＨＭＤ２００の、仮想オブジェクト表示処理に関連する機能の機能ブロック図である。本図に示すように、本実施形態のコントローラ２１０は、画像取得部２２８と、表示制御部２２０と、音声出力制御部２２９と、の機能を実現する。また、表示制御部２２０は、空間認識部２２１と、指示受付部２２２と、表示データ生成部２２３と、表示補正部２２４と、を備える。

各機能は、ＣＰＵ２１１がＲＯＭ２１３に格納されたプログラムを、ＲＡＭ２１２にロードして実行することにより実現される。

また、記憶装置２３０には、カラー画像データ２３１と、距離画像データ２３２と、空間認識データ２３３と、仮想オブジェクトデータ（仮想ＯＪＴデータ）２３４と、付加オブジェクトデータ（付加ＯＪＴデータ）２３５と、音声データ２３６と、が記憶される。

カラー画像データ２３１は、カラー画像カメラ２１４ａで取得した画像である。距離画像データ２３２は、距離画像カメラ２１４ｂで取得した画像である。

画像取得部２２８は、カラー画像カメラ２１４ａおよび距離画像カメラ２１４ｂでそれぞれ取得したカラー画像および距離画像を、カラー画像データ２３１および距離画像データ２３２として、記憶装置２３０に記憶する。本実施形態では、カラー画像および距離画像は、略同期して取得される。

空間認識部２２１は、周囲の実空間を認識し、その結果を、空間認識データ２３３として、記憶装置２３０に記憶する。認識は、略同時に取得したカラー画像データ２３１および距離画像データ２３２を用いて行う。

空間認識部２２１は、ユーザ２０１のスキャン動作に従って、所定の時間間隔で、各画像データから、撮影範囲にある構造物３００の３次元データ（３次元マップ）である空間認識データ２３３を生成し、記憶装置２３０に記憶する。周囲のスキャンは、例えば、起動直後に、初期設定として、ユーザ２０１が行う。

空間認識データ２３３は、例えば、３次元空間全体を定義するワールド座標系で作成される。一例として、このワールド座標系の原点および各軸方向として、空間認識開始の指示を受け付けた際の、ＨＭＤ２００本体の位置および向き（初期姿勢）で特定される、ＨＭＤ２００のローカル座標系の原点および各軸方向を用いる。この座標系では、例えば、ＨＭＤ２００本体の初期姿勢において、ＨＭＤ２００のディスプレイ２１５上の所定位置を原点として、ディスプレイ２１５内をｘｙ平面として、ｚ軸方向は、ｘｙ平面（ディスプレイ２１５面）に垂直な方向とする。

なお、ユーザ２０１のスキャン動作によるＨＭＤ２００のローカル座標系の、ワールド座標系に対する変位量および回転量は、各種センサ２１８により得られるデータを用いて算出される。

なお、空間認識は、例えば、既存のＳｐａｔｉａｌ Ｍａｐｐｉｎｇ等の技術を用いて行う。すなわち、本実施形態のＨＭＤ２００は、カラー画像カメラ２１４ａおよび距離画像カメラ２１４ｂにより周囲をスキャンする。そして、その結果を用いて、空間認識部２２１が、Ｓｐａｔｉａｌ Ｍａｐｐｉｎｇ等のアプリケーションを用いて３次元データを生成する。空間認識データ２３３は、例えば、メッシュデータとして保持される。

また、このとき、３次元データだけでなく、構造物３００の種類を認識するＳｐａｔｉａｌ Ｕｎｄｅｒｓｔａｎｄｉｎｇも同時に行うよう構成してもよい。空間認識部２２１は、Ｓｐａｔｉａｌ Ｕｎｄｅｒｓｔａｎｄｉｎｇにより、撮影範囲内の構造物３００の材質、種類を認識できる。すなわち、構造物３００が、例えば、「壁」、「床」、「天井」のいずれであるか等を認識することができる。本実施形態の空間認識部２２１は、空間認識データ２３３の属性データとして、これらの認識結果を記憶装置２３０に格納する。

指示受付部２２２は、ユーザ２０１から、ディスプレイ２１５に表示される仮想オブジェクト１００に対する表示指示および操作指示を受け付ける。表示指示および操作指示は、例えば、視線（ゲイズ）によるもの、手指の動き（ジェスチャ）によるものなどがある。

ゲイズに用いられる視線方向の情報は、例えば、視線検出装置２１４ｃを用いて検出される。

ジェスチャには、例えば、仮想オブジェクト１００の操作ポイント１１０に対するクリックイベント（エアタップ）、タップアンドホールド、ブルーム等がある。指示受付部２２２は、カラー画像カメラ２１４ａおよび距離画像カメラ２１４ｂの撮影範囲内に設けられたジェスチャフレーム内での手指の動きを検出し、表示指示、操作指示等を検出する。

例えば、表示指示を受け付けた場合、指示受付部２２２は、仮想オブジェクトデータ２３４から指示された仮想オブジェクト１００のデータを抽出し、後述の表示データ生成部２２３に表示データを生成させる。

また、操作指示を受け付けた場合、指示受付部２２２は、当該操作を検出し、後述の表示データ生成部２２３に通知する。

表示データ生成部２２３は、指示受付部２２２を介したユーザ２０１の指示に従って、仮想オブジェクトデータ２３４から、指示された仮想オブジェクト１００をディスプレイ２１５の所定の位置に所定の形状で表示させる表示データを生成する。指示受付部２２２の指示に従って生成された表示データをディスプレイ２１５に表示することにより、仮想オブジェクト１００は、ユーザ２０１の指示に従って、移動し、回転し、変形するよう表示される。

このとき、表示データ生成部２２３は、ユーザ２０１の視線方向（ユーザ２０１が装着しているＨＭＤ２００の空間上の座標位置、上下左右の向きの情報から算出）で、構造物３００の背後になる仮想オブジェクト１００の領域を背面領域１０１として特定した表示データを生成する。背面領域１０１（図４）は、空間認識部２２１が生成した３次元マップ（空間認識データ２３３）と表示させる仮想オブジェクト１００の実空間上の配置位置データとに基づいて特定される。なお、実空間上の配置位置データは、上記空間認識部２２１が空間認識に用いる座標系と同じ座標系で登録される。

なお、仮想オブジェクト１００の実空間上の配置位置データは、表示させる仮想オブジェクト１００の、仮想オブジェクトデータ２３４から得る。仮想オブジェクトデータ２３４は、各仮想オブジェクト１００の、サイズ、形状、初期の配置位置情報を含む。初期の配置位置情報は、例えば、各仮想オブジェクト１００に予め設定された配置位置ポイント、操作ポイント１１０等について、登録される。配置位置ポイントは、例えば、仮想オブジェクト１００の３次元の重心位置等である。また、操作ポイント１１０は、上述のように、仮想オブジェクト１００の表示形状変形の指示を受け付けるポイントである。

表示データ生成部２２３は、指示受付部２２２の指示を現在の配置位置情報に反映することにより、表示させる仮想オブジェクト１００に対応した仮想オブジェクトデータ２３４の、最新の配置位置情報を得る。そして、表示データ生成部２２３は、配置位置ポイントの最新の配置位置情報と、サイズ、形状等の情報を用いて、仮想オブジェクト１００の実空間上の配置位置データを得る。

表示データ生成部２２３は、さらに、その最新の実空間上の配置位置データを用いて、表示させる仮想オブジェクト１００の背面領域１０１を特定する。例えば、表示データ生成部２２３は、仮想オブジェクト１００の実空間上の配置位置データに基づいて、仮想オブジェクト１００の、ユーザ２０１が装着しているＨＭＤ２００の空間上の座標位置、上下左右の向きの情報から算出される仮想オブジェクトまでの距離、仮想オブジェクト１００の形状データ、構造物３００の座標位置から奥行情報として特定する。

そして、奥行情報のうち、構造物３００の奥行情報より相対的に奥に位置する仮想オブジェクト１００の領域（部分）および操作ポイント１１０を、背面領域１０１とする。

なお、背面領域１０１は、通常の処理では、陰面処理を行う領域である。例えば、図４（ａ）に示すように、仮想オブジェクト１００の一部が壁、家具等の構造物３００の奥に配置される場合、従来、表示データ生成部２２３は、仮想オブジェクト１００のこの背面領域１０１に対し、陰面処理を施し、表示させないよう表示データを生成する。

しかしながら、本実施形態では、よりユーザフレンドリな表示を目指すため、表示補正部２２４が、このような場合であっても、図４（ｂ）に示すように、仮想オブジェクト１００の全体および付随する操作ポイント１１０を表示させるよう表示を補正する。このような処理を、表示補正部２２４が行う。

表示補正部２２４は、表示する仮想オブジェクトデータ２３４に背面領域１０１がある場合、当該仮想オブジェクトデータ２３４の表示データを補正する。

具体的には、表示補正部２２４は、背面領域１０１に対する陰面処理をキャンセルする。そして、背面領域１０１も、構造物３００が存在しないかのように表示されるよう表示データを補正する。すなわち、表示補正部２２４は、仮想オブジェクトデータ２３４の一部の領域が、構造物３００よりも奥の場合であっても、当該領域も表示されるよう、表示データを補正する。

さらに、表示補正部２２４は、このとき、仮想オブジェクト１００が本来の表示態様ではないことを示すため、付加オブジェクト４００を表示させる。付加オブジェクト４００は、例えば、仮想オブジェクト１００が、構造物３００を突き破っている様子、構造物３００に穴をあけた様子を表す等、仮想オブジェクト１００の表示を、より自然に、現実感があるよう見せるためのオブジェクトである。

表示させる付加オブジェクト４００のデータは、記憶装置２３０の付加オブジェクトデータ２３５として予め用意される。付加オブジェクトデータ２３５は、付加オブジェクト４００の表示態様、初期サイズ、仮想オブジェクト１００の表示位置に対する初期表示位置等の情報が対応づけて登録される。

なお、表示補正部２２４は、ユーザ２０１の操作により仮想オブジェクト１００の、ユーザ２０１の視線方向に対する表示方向が変化した場合、それに追随して、付加オブジェクト４００の表示形状を変形してもよい。さらに、ユーザ２０１の視線方向の移動により仮想オブジェクト１００の表示方向が変化した場合も、同様に、付加オブジェクト４００の表示形状を変形してもよい。付加オブジェクト４００の変形は、例えば、視線方向の変化に伴う仮想オブジェクト１００の表示を変形する処理に用いるプログラムと同じプログラムに従って行う。

次に、本実施形態のコントローラ２１０による、仮想オブジェクト１００の表示処理の流れを説明する。図５は、本実施形態の仮想オブジェクト表示処理の処理フローである。なお、空間認識処理は、初期処理として既に行われているものとする。また、仮想オブジェクト１００は、全体が表示される位置に表示されているものとする。

ユーザ２０１から指示受付部２２２を介して、終了指示を受け付けるまで、表示データ生成部２２３および表示補正部２２４は、以下の処理を繰り返す（ステップＳ１１０１）。

ユーザ２０１から指示受付部２２２を介して、仮想オブジェクト１００に対する移動操作を受け付けると（ステップＳ１１０２）、表示データ生成部２２３は、表示データを生成する（ステップＳ１１０３）。

ステップＳ１１０３では、表示データ生成部２２３は、まず、当該仮想オブジェクト１００のディスプレイ２１５上の表示位置を算出する。そして、表示データ生成部２２３は、視線方向を特定し、仮想オブジェクト１００の対応する仮想オブジェクトデータ２３４に従って、奥行情報を算出する。また、構造物３００の奥行情報も算出する。そして、表示データ生成部２２３は、表示データ上の背面領域１０１を特定する。

次に、表示データ生成部２２３は、表示する仮想オブジェクト１００に背面領域１０１があるか否かを判別する（ステップＳ１１０４）。

背面領域１０１が無い場合（Ｓ１１０４；Ｎｏ）、表示データ生成部２２３は、その旨、表示補正部２２４に通知する。そして、表示補正部２２４は、そのまま、ディスプレイ２１５の、ステップＳ１１０３で算出した位置に、当該仮想オブジェクト１００の表示データを表示する（ステップＳ１１１２）。そしてコントローラ２１０は、次の操作指示を待つ。

背面領域１０１が有る場合（Ｓ１１０４；Ｙｅｓ）、表示データ生成部２２３は、仮想オブジェクト１００の全体が背面領域１０１であるか否かを判別する（ステップＳ１１０５）。

全体が背面領域１０１であれば（Ｓ１１０５；Ｙｅｓ）、表示データ生成部２２３は、その旨、表示補正部２２４に通知する。そして、表示補正部２２４は、そのまま、当該仮想オブジェクト１００の表示を消去し（ステップＳ１１１１）、処理を終了する。

一方、全体が背面領域１０１でない場合（Ｓ１１０５；Ｎｏ）、すなわち、仮想オブジェクト１００の一部に背面領域１０１が有る場合、表示データ生成部２２３は、その旨、表示補正部２２４に通知する。そして、表示補正部２２４は、上述の手法で仮想オブジェクト１００の表示データを補正する（ステップＳ１１０６）。ここでは、表示補正部２２４は、仮想オブジェクト１００の全ての操作ポイント１１０および当該操作ポイント１１０により操作する仮想オブジェクト１００の部分を表示させるよう表示データを補正する。そして、表示補正部２２４は、補正後の表示データを、ディスプレイ２１５のステップＳ１１０３で算出した位置に表示する（ステップＳ１１０７）。

その後、表示補正部２２４は、記憶装置２３０から付加オブジェクトデータ２３５を取得し、仮想オブジェクト１００の背面領域１０１に重畳して表示する（ステップＳ１１０８）。そして、コントローラ２１０は、次の操作指示を待つ。

以上の処理を、具体例で説明する。なお、ディスプレイ２１５には、図６（ａ）に示すように、ディスプレイ２１５で規定される枠内２１５ａに、仮想オブジェクト１００および付加オブジェクト４００が表示される。ここで、構造物３００は、実空間の実オブジェクトである。以下の表示態様の説明では、ディスプレイ２１５の枠は省略し、図６（ｂ）に示すように、ディスプレイ２１５を通して見える実オブジェクトと、仮想オブジェクト１００等の表示データと、のみを記載し、説明する。

例えば、図７（ａ）に示す位置に、仮想オブジェクト１００が表示されているものとする。これに対し、ユーザ２０１が、実空間で、その手指２０２により、矢印２０３の方向に、押すように操作指示（ジェスチャ）を行う。これを続けることにより、仮想オブジェクト１００の、実空間の実オブジェクトである構造物３００に対する表示位置は移動する。

本実施形態によれば、図７（ｂ）に示すように、仮想オブジェクト１００の一部の領域の表示位置が、構造物３００より奥になっても、仮想オブジェクト１００は、その操作ポイント１１０とともに、全体が表示される。また、このとき、あたかも構造物３００である壁に、穴があいたかのように、付加オブジェクト４００が表示される。

さらに、このとき、図７（ｃ）に示すように、音声出力制御部２２９が、音声出力を行うよう構成してもよい。表示補正部２２４は、付加オブジェクト４００を表示させる場合、音声出力制御部２２９にその旨通知する。音声出力制御部２２９は、表示補正部２２４より通知を受けると、音声データ２３６から音声を抽出し、音声Ｉ／Ｆ２１６から出力する。

なお、音声データ２３６は、構造物３００の材質に対応づけて、異なるデータを登録しておいてもよい。構造物３００の材質は、例えば、上述の空間認識部２２１によるＳｐａｔｉａｌ Ｕｎｄｅｒｓｔａｎｄｉｎｇにより認識する。

さらに、このとき、出力される音声データ２３６を文字列で表す擬音語を表示させてもよい。例えば、図７（ｃ）に示す「バリッ」等である。この場合、記憶装置２３０に、音声データ２３６に対応づけて、当該音声データ２３６を文字列で表す擬音語データ２３７を予め登録しておく。そして、表示補正部２２４は、出力される音声データ２３６に対応づけて登録される擬音語データ２３７を、付加オブジェクト４００近傍に表示させるよう表示データを生成する。

なお、吹き出しをさらに表示し、擬音語データ２３７を、その吹き出しの中に表示させてもよい。また、音声データ２３６の出力無しに、擬音語データ２３７のみを表示させてもよい。

また、表示補正部２２４は、仮想オブジェクト１００が、構造物３００にめり込むほどに、付加オブジェクト４００の形状を、追随させて変化させる。例えば、図８（ａ）に示すように、仮想オブジェクト１００が、水平方向の幅の大きさが異なる２つの直方体を組み合わせた形状を有する場合を例にあげて説明する。ここでは、仮想オブジェクト１００は、矢印２０３の方向に、水平方向の幅が小さい直方体の方から構造物３００に押し込まれるものとする。

この場合、表示補正部２２４は、図８（ｂ）に示すように、仮想オブジェクト１００の、水平方向の幅に応じて付加オブジェクト４００の大きさを加工して表示させる。具体的には、図８（ａ）のように、水平方向の幅が小さい直方体の領域が構造物３００に仮想的にめり込んでいる場合は、小さいサイズで付加オブジェクト４００を表示させる。一方、水平方向の幅が、図８（ａ）の場合より大きい領域が構造物３００に仮想的にめりこんでいる場合は、図８（ｂ）に示すように、図８（ａ）よりも大きいサイズの付加オブジェクト４００を表示させる。

また、ユーザ２０１の立ち位置の変化により、視線方向が変化する。例えば、図８（ｃ）に示すように、ユーザ２０１が、構造物３００である壁に対向した場合、仮想オブジェクト１００のワールド座標系における表示位置が同じであっても、図８（ａ）や図８（ｂ）の場合とは、仮想オブジェクト１００の表示態様が変化する。これに伴い、仮想オブジェクト１００の表示形状も変化する。

この場合も、表示補正部２２４は、図８（ｃ）に示すように、仮想オブジェクト１００の表示形状の変化に追随し、付加オブジェクト４００の表示形状を変化させて表示させてもよい。

以上説明したように、本実施形態のＨＭＤ２００は、予め定めた撮影範囲のカラー画像を取得するカラー画像カメラ２１４ａと、略同じ撮影範囲の距離画像を取得する距離画像カメラ２１４ｂと、ディスプレイ２１５と、仮想オブジェクト１００をディスプレイ２１５に表示させる表示制御部２２０と、を備える。そして、表示制御部２２０は、カラー画像と距離画像とを用いて撮影範囲内の構造物３００の３次元マップを生成する空間認識部２２１と、３次元マップと表示させる仮想オブジェクト１００の実空間上の配置位置データとに基づいて、視線方向に関して構造物３００の背後になる仮想オブジェクト１００の領域を背面領域１０１として特定した表示データを生成する表示データ生成部２２３と、表示データを補正してディスプレイ２１５に表示させる表示補正部２２４と、を備える。また、表示補正部２２４は、背面領域１０１の操作ポイント１１０を表示させるよう表示データを補正する。そして、操作ポイント１１０は、当該操作ポイント１１０を介して仮想オブジェクト１００に対する操作指示を受け付けるポイントである。

このように、本実施形態によれば、本来ならば表示されない、構造物３００の背後になる、仮想オブジェクト１００の背面領域１０１の操作ポイント１１０も表示される。従って、ユーザ２０１の操作により、仮想オブジェクト１００が移動したとしても、移動後の仮想オブジェクト１００に対して操作を行うことができる。

また、表示補正部２２４は、背面領域１０１の操作ポイント１１０を表示させる際、当該背面領域１０１も表示させるとともに、仮想オブジェクト１００の周囲に付加オブジェクト４００を表示させる。このため、本実施形態によれば、仮想オブジェクト１００のディスプレイ２１５上の表示位置によらず、自然な見え方を犠牲にせず、現実感を保ちながら、高い操作性を実現できる。

［変形例１］
なお、一部に背面領域１０１のある仮想オブジェクト１００の表示は、上記に限定されない。例えば、表示補正部２２４は、仮想オブジェクト１００を、背面領域１０１と、それ以外の領域（以下、前面領域と呼ぶ。）１０２と、を区別可能なように表示してもよい。

例えば、図９（ａ）に示すように、表示補正部２２４は、背面領域１０１と前面領域１０２との間にライン１２１が表示されるよう表示データを補正する。また、図９（ｂ）に示すように、表示補正部２２４は、背面領域１０１が、本来の仮想オブジェクト１００の表面とは異なる表面態様１２２で表示されるよう、表示データを補正する。図９（ａ）および図９（ｂ）の補正態様は、組み合わせてもよい。

［変形例２］
また、付加オブジェクト４００は、強調表示されてもよい。強調表示される付加オブジェクト４００の一例を図１０に示す。付加オブジェクト４００の強調表示態様は、予め付加オブジェクトデータ２３５に登録しておいてもよい。また、各種の画像加工ソフトウェアを用いて、表示補正部２２４が登録されている付加オブジェクト４００を強調表示態様に加工し、表示させてもよい。

付加オブジェクト４００を、強調表示することにより、仮想オブジェクト１００が、本来の表示態様とは異なることを、ユーザ２０１は、把握し易い。すなわち、ユーザ２０１は、本来であれば、見えない領域まで表示されていることを、ユーザ２０１は、より直感的に把握することができる。

［変形例３］
また、付加オブジェクトデータ２３５として、仮想オブジェクト１００が押し込まれる構造物３００の材質および／または種類に応じて異なるテクスチャのものが用意されていてもよい。この場合、表示補正部２２４は、空間認識部２２１による空間認識データ２３３を参照し、構造物３００の材質および／または種類を特定する。そして、表示補正部２２４は、特定した材質および／または種類に応じたテクスチャの付加オブジェクトデータ２３５を抽出し、付加オブジェクト４００として表示させる。

例えば、構造物３００が、壁等の硬い材質である場合、図１０に示すような、壁が割れたような状態を表す付加オブジェクト４００が、付加オブジェクトデータ２３５として用意される。一方、構造物３００が、クッション等の柔らかい素材である場合、図１１に示すように、仮想オブジェクト１００が構造物３００に沈み込むような状態を表す付加オブジェクト４０２が用意され、表示される。

さらに、このとき、強調表示の態様も、構造物３００の材質および／または種類、あるいは、付加オブジェクト４００のテクスチャに応じて変更するよう構成してもよい。

［変形例４］
また、表示補正部２２４は、付加オブジェクト４００として、カラー画像データ２３１の一部を切り取って用いてもよい。特に、図１２に示すように、仮想オブジェクト１００が押し込まれる構造物３００の、さらに背後の構造物３０１と同じテクスチャの画像を用いてもよい。この場合、表示補正部２２４は、付加オブジェクト４００の配置位置に応じて、空間認識データ２３３を用いて、付加オブジェクトデータ２３５を加工する。そして、表示補正部２２４は、加工後の付加オブジェクトデータ２３５を配置する。

このように、付加オブジェクト４００として、背景画像と同じテクスチャのデータを用いることにより、ユーザ２０１は、本実施形態の仮想オブジェクト１００の表示態様を、より自然に受け止めることができる。

［変形例５］
なお、上記実施形態では、仮想オブジェクト１００が、全てが背面領域１０１になるような位置に移動操作された場合、仮想オブジェクト１００の表示を消去するよう構成しているが、これに限定されない。全体が背面領域１０１となる場合であっても、仮想オブジェクト１００および／または操作ポイント１１０を表示させてもよい。

例えば、図１３に示すように、表示補正部２２４は、算出された位置に仮想オブジェクト１００が表示されるよう表示データを補正する。さらに、表示補正部２２４は、手前に、付加オブジェクトとして、操作用のミニチュア仮想オブジェクト４０１を表示させてもよい。この場合、表示補正部２２４は、仮想オブジェクト１００からミニチュア仮想オブジェクト４０１を生成し、表示させる。

これにより、たとえ仮想オブジェクト１００の全体が、構造物３００よりも奥行方向奥に配置された場合であっても、ユーザ２０１は、現実感を保ちつつ、操作を行うことができる。

［変形例６］
また、ディスプレイ２１５は、非透過型であってもよい。この場合、図１４に示すように、表示補正部２２４は、カラー画像カメラ２１４ａで取得したカラー画像（スルー画像５００）に、仮想オブジェクト１００および付加オブジェクト４００を重畳表示させる。

この場合、例えば、表示端末は、透過型ディスプレイを備えるＨＭＤ２００に限定されない。例えは、非透過型ディスプレイを備えるＨＭＤ、携帯端末等の可搬型または携帯型情報処理装置であってもよい。

［変形例７］
また、操作指示の入力は、視線、ジェスチャだけに限定されない。音声、モーションコントローラ等を用いてもよい。

［変形例８］
なお、上記実施形態では、仮想オブジェクト１００の全ての操作ポイント１１０が表示されるよう、表示補正部２２４は、仮想オブジェクト１００の表示を補正しているが、これに限定されない。表示する操作ポイント１１０は、背面領域１０１の一部の操作ポイント１１０であってもよい。すなわち、背面領域１０１の、少なくとも１つの操作ポイント１１０が表示されてもよい。

また、仮想オブジェクト１００の形状についても同様で、必ずしも全体を表示させる必要はない。背面領域１０１の一部の領域を表示させてもよい。

なお、本発明は上記した実施形態および変形例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態および変形例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態または変形例の構成の一部を他の実施形態や変形例の構成に置き換えることが可能である。また、ある実施形態または変形例の構成に他の実施形態または変形例の構成を加えることも可能である。さらに、各実施形態または変形例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ部や、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００：仮想オブジェクト、１０１：背面領域、１０２：前面領域、１１０：操作ポイント、１２１：ライン、１２２：表面態様、
２００：ＨＭＤ、２０１：ユーザ、２０２：手指、２０３：矢印、２１０：コントローラ、２１１：ＣＰＵ、２１２：ＲＡＭ、２１３：ＲＯＭ、２１４：カメラ、２１４ａ：カラー画像カメラ、２１４ｂ：距離画像カメラ、２１４ｃ：視線検出装置、２１５：ディスプレイ、２１５ａ：枠内、２１６：音声Ｉ／Ｆ、２１７：通信Ｉ／Ｆ、２１８：センサ、２１８ａ：ＧＰＳ受信機、２１８ｂ：ジャイロセンサ、２１８ｃ：加速度センサ、２１８ｄ：地磁気センサ、２１８ｅ：タッチセンサ、２１９：バス、
２２０：表示制御部、２２１：空間認識部、２２２：指示受付部、２２３：表示データ生成部、２２４：表示補正部、２２８：画像取得部、２２９：音声出力制御部、
２３０：記憶装置、２３１：カラー画像データ、２３２：距離画像データ、２３３：空間認識データ、２３４：仮想オブジェクトデータ、２３５：付加オブジェクトデータ、２３６：音声データ、２３７：擬音語データ、
２４１：フレーム、
３００：構造物、３０１：構造物、４００：付加オブジェクト、４０１：ミニチュア仮想オブジェクト、４０２：付加オブジェクト、５００：スルー画像

Claims (10)

1. 表示端末であって、
   ディスプレイと、
   予め定めた撮影範囲のカラー画像を取得するカラー画像カメラと、
   前記撮影範囲の距離画像を取得する距離画像カメラと、
   前記カラー画像と前記距離画像とを用いて前記撮影範囲内の構造物の３次元マップを生成する空間認識部と、
   制御部と、を備え、
   前記制御部は、前記空間認識部により生成された３元マップを用いて、仮想オブジェクトと前記仮想オブジェクトのミニチュアオブジェクトとを前記カラー画像に重畳して、前記ディスプレイに表示させるように制御することを特徴とする表示端末。
2. 請求項１に記載の表示端末であって、
   前記ミニチュアオブジェクトは、前記表示端末のユーザが前記仮想オブジェクトを操作するための操作オブジェクトであることを特徴とする表示端末。
3. 表示端末であって、
   ディスプレイと、
   予め定めた撮影範囲のカラー画像を取得するカラー画像カメラと、
   前記撮影範囲の距離画像を取得する距離画像カメラと、
   前記表示端末のユーザの視線方向を検出する検出部と、
   前記カラー画像と前記距離画像とを用いて前記撮影範囲内の構造物の３次元マップを生成する空間認識部と、
   仮想オブジェクトを前記ディスプレイに表示させるように制御する制御部と、を備え、
   前記制御部は、前記３次元マップと前記仮想オブジェクトの実空間上の配置位置データとに基づいて、前記検出部により検出された視線方向に関して前記仮想オブジェクトが前記構造物の背後になる背面領域を特定したとき、前記表示端末のユーザが前記仮想オブジェクトを操作するための操作オブジェクトを前記仮想オブジェクトとは異なる位置に表示するように制御することを特徴とする表示端末。
4. 表示端末であって、
   ディスプレイと、
   予め定めた撮影範囲のカラー画像を取得するカラー画像カメラと、
   前記撮影範囲の距離画像を取得する距離画像カメラと、
   前記表示端末のユーザの視線方向を検出する検出部と、
   前記カラー画像と前記距離画像とを用いて前記撮影範囲内の構造物の３次元マップを生成する空間認識部と、
   仮想オブジェクトを前記ディスプレイに表示させるように制御する制御部と、を備え、
   前記制御部は、前記３次元マップと前記仮想オブジェクトの実空間上の配置位置データとに基づいて、前記検出部により検出された視線方向に関して前記構造物の背後になる前記仮想オブジェクトの領域として特定された背面領域を表示するとき、前記構造物が割れた状態または前記仮想オブジェクトが沈みこむことにより前記構造物が変化した状態を示す付加オブジェクトを前記仮想オブジェクトの周囲に表示させるとともに、前記表示端末のユーザが前記仮想オブジェクトを操作するための操作オブジェクトを前記ディスプレイに表示させるように制御することを特徴とする表示端末。
5. 表示端末であって、
   ディスプレイと、
   予め定めた撮影範囲のカラー画像を取得するカラー画像カメラと、
   前記撮影範囲の距離画像を取得する距離画像カメラと、
   前記表示端末のユーザの視線方向を検出する検出部と、
   前記カラー画像と前記距離画像とを用いて前記撮影範囲内の構造物の３次元マップを生成する空間認識部と、
   仮想オブジェクトを前記ディスプレイに表示させるように制御する制御部と、を備え、
   前記制御部は、前記３次元マップと前記仮想オブジェクトの実空間上の配置位置データとに基づいて、前記検出部により検出された視線方向に関して前記構造物の背後になる前記仮想オブジェクトの領域として特定された背面領域を表示するとき、前記構造物が突き破られている様子または前記構造物に穴が開いた様子を示す付加オブジェクトを前記仮想オブジェクトの周囲に表示させるとともに、前記表示端末のユーザが前記仮想オブジェクトを操作するための操作オブジェクトを前記ディスプレイに表示させるように制御することを特徴とする表示端末。
6. 請求項４または５に記載の表示端末はさらに、
   複数の付加オブジェクトを記憶する記憶部を備え、
   前記制御部は、空間認識部により認識した構造物の種類または材質に応じて、前記記憶部から抽出した付加オブジェクトを表示することを特徴とする表示端末。
7. 請求項４または５に記載の表示端末であって、
   前記制御部は、前記撮影範囲内に、前記構造物よりも大きい第二の構造物が前記構造物の背後にある場合、前記第二の構造物のカラー画像を用いて前記付加オブジェクトを表示させることを特徴とする表示端末。
8. 請求項３から５いずれか１項に記載の表示端末であって、
   前記操作オブジェクトは、前記仮想オブジェクトのミニチュアオブジェクトであることを特徴とする表示端末。
9. 請求項１から５いずれか１項に記載の表示端末であって、
   前記表示端末は、ヘッドマウントディスプレイであることを特徴とする表示端末。
10. 請求項１から５いずれか１項に記載の表示端末であって、
    前記表示端末は、携帯型情報処理装置であることを特徴とする表示端末。
    

Images