JP2021036438A - 情報処理装置、情報処理方法及び記録媒体 - Google Patents

情報処理装置、情報処理方法及び記録媒体 Download PDF

Info

Publication number
JP2021036438A
JP2021036438A JP2020173543A JP2020173543A JP2021036438A JP 2021036438 A JP2021036438 A JP 2021036438A JP 2020173543 A JP2020173543 A JP 2020173543A JP 2020173543 A JP2020173543 A JP 2020173543A JP 2021036438 A JP2021036438 A JP 2021036438A
Authority
JP
Japan
Prior art keywords
display
virtual object
display device
user
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020173543A
Other languages
English (en)
Inventor
満 西部
Mitsuru Nishibe
満 西部
石川　毅
Takeshi Ishikawa
毅 石川
浩丈 市川
Hirotake Ichikawa
浩丈 市川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2021036438A publication Critical patent/JP2021036438A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】ＡＲ技術を利用した仮想オブジェクトの表現方法をより多様化させることが可能な情報処理装置、情報処理方法及びプログラムを提案する。【解決手段】実空間において検出される実物体が有する平面領域に、仮想物体の表示の少なくとも一部を隣接させて表示、又は、重畳させて表示させる第１の処理と、実空間における空中に前記仮想物体の表示を重畳させて表示させる第２の処理と、を切り替えて行う表示制御部を備え、前記表示制御部は、前記平面領域に対応する位置に前記仮想物体の表示を配置するためのユーザ操作に基づいて、前記第１の処理に切り替える、情報処理装置。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。
近年、実世界に付加的な情報を重畳してユーザに提示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに提示される情報は、アノテーションとも呼ばれ、テキスト、アイコンまたはアニメーションなど様々な形態の仮想的なオブジェクトを用いて可視化され得る。例えば、特許文献１では、こうしたＡＲの仮想オブジェクト（仮想物体）を、実物体の表面に表示したり、実物体の上空に浮遊させて表示したりする等、実物体に紐付けて表示する技術が開示されている。
国際公開第２０１４／１６２８２３号公報
上記の特許文献１などで提案されているＡＲ技術は、未だ開発されてから日が浅く、さまざまな局面でＡＲを活用するための技術が十分に提案されているとはいいがたい。例えば、ＡＲ技術を利用した仮想オブジェクトの表現方法の多様化も、十分に提案されていないものの一つである。
そこで、本開示では、ＡＲ技術を利用した仮想オブジェクトの表現方法をより多様化させることが可能な、新規かつ改良された情報処理装置、情報処理方法及びプログラムを提案する。
本開示によれば、実空間において検出される実物体が有する平面領域に、仮想物体の表示の少なくとも一部を隣接させて表示、又は、重畳させて表示させる第１の処理と、実空間における空中に前記仮想物体の表示を重畳させて表示させる第２の処理と、を切り替えて行う表示制御部を備え、前記表示制御部は、前記平面領域に対応する位置に前記仮想物体の表示を配置するためのユーザ操作に基づいて、前記第１の処理に切り替える、情報処理装置が提供される。
また、本開示によれば、実空間における検出される実物体を基準とした位置に仮想物体の表示を実空間に重畳させて表示させる第１の処理、又は実空間における検出される実物体を基準としない位置に前記仮想物体の表示を実空間に重畳させて表示させる第２の処理をプロセッサにより行うこと、を含む情報処理方法が提供される。
また、本開示によれば、コンピュータを、実空間における検出される実物体を基準とした位置に仮想物体の表示を実空間に重畳させて表示させる第１の処理、又は実空間における検出される実物体を基準としない位置に前記仮想物体の表示を実空間に重畳させて表示させる第２の処理を行う表示制御部、として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、ＡＲ技術を利用した仮想オブジェクトの表現方法をより多様化させることが可能である。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本実施形態に係る表示装置の外観構成の一例を示す図である。 本実施形態に係る表示装置の内部構成の一例を示すブロック図である。 本実施形態に係る表示装置において実行される処理の概略を示す図である。 本実施形態に係る表示装置による表示制御処理を説明するための図である。 本実施形態に係る仮想オブジェクトの表示例を説明するための図である。 本実施形態に係る仮想オブジェクトの表示例を説明するための図である。 本実施形態に係る仮想オブジェクトの表示例を説明するための図である。 本実施形態に係る仮想オブジェクトの表示例を説明するための図である。 本実施形態に係る仮想オブジェクトの表示例を説明するための図である。 本実施形態に係る仮想オブジェクトの表示例を説明するための図である。 本実施形態に係る仮想オブジェクトの表示例を説明するための図である。 本実施形態に係る仮想オブジェクトの表示例を説明するための図である。 本実施形態に係る仮想オブジェクトの表示例を説明するための図である。 本実施形態に係る仮想オブジェクトの表示例を説明するための図である。 本実施形態に係る表示装置において実行される前処理の流れの一例を示すフローチャートである。 本実施形態に係る表示装置において実行される描画処理の流れの一例を示すフローチャートである。 本実施形態に係る表示装置において実行される描画処理の流れの一例を示すフローチャートである。 本実施形態に係る表示装置において実行されるインタラクションに係る表示制御処理の流れの一例を示すフローチャートである。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の要素を、必要に応じて撮像部１０Ａ及び１０Ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、撮像部１０Ａ及び１０Ｂを特に区別する必要が無い場合には、単に撮像部１０と称する。
なお、説明は以下の順序で行うものとする。
１．構成例
１．１．外観構成例
１．２．内部構成例
２．技術的特徴
２．１．処理の概要
２．２．表示処理のバリエーション
２．３．表示領域の設定基準
２．４．インタラクションに基づく表示制御
２．５．表示領域に応じた加工
２．６．ユーザに応じた表示制御
２．７．その他の表示制御
３．動作処理例
４．ハードウェア構成例
５．まとめ
＜＜１．構成例＞＞
＜１．１．外観構成例＞
まず、図１を参照して、本開示の一実施形態に係る情報処理装置の外観構成の一例について説明する。
図１は、本実施形態に係る表示装置１の外観構成の一例を示す図である。図１に示す表示装置１は、スマートグラスまたはＨＭＤ（Head Ｍｏｕｎｔｅｄ Display）とも称される装置である。表示装置１は、例えばユーザの頭部を周回するようなフレーム構造の装着ユニット５０を持ち、装着ユニット５０によりユーザの頭に固定される。そしてこの表示装置１は、図１に示すような装着状態において、ユーザの眼前に、左眼用と右眼用の一対の表示部２０Ａ及び２０Ｂが配置される構成とされている。この表示部２０には、例えば透過型のディスプレイが用いられ、表示装置１は透過型のディスプレイの透過率を制御することで、スルー状態、即ち透明または半透明の状態にできる。表示部２０がスルー状態とされることで、表示装置１を眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。
表示部２０は、透明または半透明の状態のまま、テキストや図等の画像を表示することで、実空間の風景にＡＲの仮想オブジェクトを重畳表示することができる。即ち、表示装置１は、透過型のＨＭＤとして実現されてもよい。なお、透過型のＨＭＤにおいては、図１に示したように、装着ユニット５０により表示装置１がユーザの頭に固定されて、ユーザの両眼と表示部２０との相対的な位置関係が固定化されることが望ましい。相対的な位置関係が変化すると、仮想オブジェクトを表示すべきディスプレイ上の位置が変化し得るためである。
また、表示部２０は、撮像部１０Ａ及び１０Ｂで撮像された実空間の撮像画像を表示しつつ、当該実空間の撮像画像に仮想オブジェクトを重畳表示することも可能である。また、表示部２０は、撮像部１０Ａ及び１０Ｂであたかも仮想空間を撮像したかのような画像を表示しつつ、当該仮想空間の画像に仮想オブジェクトを重畳表示することも可能である。即ち、表示装置１は、没入型（ビデオスルー型）のＨＭＤとして実現されてもよい。
他にも、表示部２０は、ユーザの網膜に直接的に画像を投影するＬＥＤ光源等として実現されてもよい。即ち、表示装置１は、プロジェクション型のＨＭＤとして実現されてもよい。
表示部２０には、多様なコンテンツが仮想オブジェクトとして表示され得る。コンテンツは、例えば映画やビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像された静止画コンテンツ、電子書籍等のデータであってもよい。また、かかるコンテンツは、ユーザがパーソナルコンピュータ等で作成した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、ゲームプログラムに基づくゲーム画像など、表示対象となるあらゆるデータが想定される。
撮像部１０Ａ及び１０Ｂは、ユーザが表示装置１を装着した状態において、ユーザが視認する方向の実空間を撮像範囲として撮像するように配置されている。撮像部１０Ａ及び１０Ｂは、ユーザが視認する方向の距離を示す情報（以下、深度情報とも称する）も取得可能なステレオカメラとして実現されてもよい。撮像部１０Ａ及び１０Ｂがステレオカメラとして実現される場合、表示装置１は、実空間に存在する実物体の形状及び姿勢を精度よく認識することが可能である。以下では、撮像部１０Ａ及び１０Ｂを、外向きステレオカメラ１０とも称する。
一方で、撮像部１０Ｃ及び１０Ｄは、ユーザが表示装置１を装着した状態において、ユーザの方向、より詳しくはユーザの両眼を撮像範囲として撮像するように配置されている。撮像部１０Ｃ及び１０Ｄは、ユーザの両眼の方向の深度情報も取得可能なステレオカメラとして実現されてもよい。撮像部１０Ｃ及び１０Ｄがステレオカメラとして実現される場合、表示装置１は、ユーザの眼球の位置、瞳孔の位置、及び視線の向き等をより精度よく認識することが可能である。以下では、撮像部１０Ｃ及び１０Ｄを、内向きステレオカメラ１０とも称する。
また、図１では図示していないが、表示装置１は、スピーカ又はイヤホンスピーカを有していてもよい。また、表示装置１は、外部音声を取得するマイクロフォンを有していてもよい。
なお、図１に示す表示装置１の外観は一例であり、表示装置１をユーザが装着するための構造は多様に考えられる。表示装置１は、一般に眼鏡型、あるいは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼前に近接して表示部２０が設けられていればよい。また、表示部２０は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。
また、スピーカ又はイヤホンスピーカも、左右の耳に対応して２つ設けられてもよいし、片方の耳に対応して１つ設けられてもよい。また、マイクロフォンも、ひとつ以上設けられてもよいし、その配置は任意である。
以上、本実施形態に係る表示装置１の外観構成の一例について説明した。続いて、図２を参照して、本実施形態に係る表示装置１の内部構成の一例を説明する。
なお、以下では、一例として、表示装置１が透過型のＨＭＤとして実現される場合を想定して説明する。表示装置１の表示部２０（透過型ディスプレイ）に表示される像（透過して視認される背景及び重畳表示される仮想オブジェクトを含む）を、以下では実空間画像とも称する。
＜１．２．内部構成例＞
図２は、本実施形態に係る表示装置１の内部構成の一例を示すブロック図である。図２に示すように、表示装置１は、撮像部１０、表示部２０、記憶部３０及び制御部４０を含む。
撮像部１０は、実空間を撮像して撮像画像を出力する機能を有する。例えば、撮像部１０は、図１に示した外向きステレオカメラ１０及び内向きステレオカメラ１０として実現され得る。
表示部２０は、画像を表示する機能を有する。例えば、表示部２０は、図１に示したユーザの両眼に配置された透過型のディスプレイとして実現され得る。
記憶部３０は、各種情報を記憶する機能を有する。例えば、記憶部３０は、表示部２０に表示される仮想オブジェクトを関する情報を記憶する。例えば、記憶部３０は、仮想オブジェクトの元となる画像又はテキスト等のコンテンツを記憶する。
制御部４０は、演算処理装置及び制御装置として機能し、各種プログラムに従って表示装置１内の動作全般を制御する機能を有する。制御部４０は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。なお、制御部４０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。さらに、制御部４０は、画像処理のためのＧＰＵ（Graphics Processing Unit）及びＶＲＡＭ（Video RAM）等を含んでいてもよい。
図２に示すように、制御部４０は、検出部４１、記憶制御部４３及び表示制御部４５として機能する。検出部４１は、撮像部１０から出力された撮像画像から各種情報を検出する機能を有する。記憶制御部４３は、記憶部３０に情報を記憶させたり、記憶部３０に記憶された情報を取得したりする機能を有する。表示制御部４５は、表示部２０に画像を表示させるための表示制御を行う機能を有する。詳しくは、表示制御部４５は、表示部２０を制御して、仮想オブジェクトの表示を実空間に重畳させて表示させる（以下では、表示装置１は仮想オブジェクトを重畳表示する、とも記載する）。
以上、本実施形態に係る表示装置１の内部構成の一例を説明した。
＜＜２．技術的特徴＞＞
続いて、本実施形態に係る表示装置１の技術的特徴を順に説明する。
＜２．１．処理の概要＞
まず、図３を参照して、表示装置１において行われる処理の概略を説明する。図３は、本実施形態に係る表示装置１において実行される処理の概略を示す図である。
（１）撮像処理
図３に示すように、まず、撮像部１０において撮像処理が行われて、撮像画像が取得される。
（２）空間認識処理
次いで、図３に示すように、検出部４１において、撮像部１０から出力された撮像画像に基づいて、空間認識処理が行われる。空間認識処理により、表示装置１の実空間における位置及び姿勢を示す空間情報が取得される。
例えば、空間情報は、ＳｆＭ（Structure from Motion）法またはＳＬＡＭ（Simultaneous Localization And Mapping）法などの公知の画像認識技術によって認識される環境認識行列でありうる。環境認識行列は、例えば表示装置１の装置固有の座標系に対する基準環境（実空間）の座標系の相対的な位置および姿勢を示す。例えば、ＳＬＡＭ法が利用される場合、表示装置１のプロセッサが、装置の位置、姿勢、速度および角速度、ならびに撮像画像に含まれる少なくとも１つの特徴点の位置を含む状態変数を、拡張カルマンフィルタの原理に基づいて撮像画像のフレームごとに更新する。これによって、装置の位置および姿勢を基準とする基準環境の位置および姿勢を、単眼カメラからの入力画像を利用して認識することができる。なお、ＳＬＡＭ法の詳しい説明は、例えば“Real-Time Simultaneous Localization and Mapping with a Single Camera”（Andrew J.Davison，Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410）に記載されている。
他にも、空間情報は、撮像部の実空間における相対的な位置および姿勢を示す情報であればどのようなものであってもよい。例えば、撮像部に設けられうる深度センサからの深度データに基づいて環境認識行列が認識されてもよい。また、赤外線測距システムまたはモーションキャプチャシステムなどの環境認識システムからの出力データに基づいて環境認識行列が認識されてもよい。こうした技術の一例は、例えばS.Izadi, et al, KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera, ACM Symposium on User Interface Software and Technology, 2011に記載されているが、この例には限られず、公知の様々な技術が空間情報の生成に利用可能である。
あるいは、空間情報は、実空間を撮像した一連のフレーム画像のステッチング解析によって、各フレーム画像の相対的な位置関係を特定することによって生成されてもよい。この場合、ステッチング解析は、基底平面上に各フレーム画像を貼りつける２次元ステッチング解析、または空間内の任意の位置に各フレーム画像を貼りつける３次元ステッチング解析でありうる。
さらに、空間情報は、表示装置１に含まれる加速度センサ又はジャイロセンサ等の慣性センサを併用して取得されてもよい。その場合、空間情報がより高速に推定され得る。また、高速にユーザ（カメラ位置）が動いたことによる動きボケなどで、撮像画像に基づく空間情報の取得が困難な場合にも、ある程度の精度で空間情報を取得することが可能である。
（３）実物体認識処理
また、図３に示すように、検出部４１において、撮像部１０から出力された撮像画像に基づいて、実物体認識処理が行われる。実物体認識処理により、表示装置１を装着したユーザの周辺の、例えば実空間画像に含まれる実物体が検出される。詳しくは、実物体認識処理により、実物体の位置及び形状、より正確には実空間画像における実物体の位置及び形状（即ち、撮像部１０からみた実空間の凹凸）を示す実物体情報が取得される。
例えば、実物体情報は、ステレオカメラにより得られる画像に基づく、画素毎の深度情報及び当該深度情報の信頼度でありうる。例えば、検出部４１は、異なる視点から同一の実空間を撮像対象とした複数の撮像画像上での実物体の違い（両眼視差）に基づいて、実物体情報を取得する。なお、ステレオ画像認識の特性上、色合い等の変化が少ない領域に係る深度情報の信頼度が低下し得る。また、深度情報は、ＴｏＦ（Time of Flight）方式のデプスセンサ等の任意の技術を用いて取得されてもよい。
また、実物体情報は、撮像部１０から出力された撮像画像から計算される特徴量を、予め記憶部３０に記憶された実物体の特徴量と照合することにより取得されてもよい。この場合、実物体情報には、対象の実物体の識別情報、位置及び姿勢を示す情報が含まれ得る。特徴量は、例えばＳＩＦＴ法またはＲａｎｄｏｍ Ｆｅｒｎｓ法などの公知の特徴量算出技術によって算出され得る。
他にも、実物体情報は、既知の図形若しくは記号、人工マーカ（例えば、バーコード若しくはＱＲコード（登録商標））又は自然マーカなどを認識することで取得されてもよい。
（４）ジェスチャ認識処理
また、図３に示すように、検出部４１において、撮像部１０から出力された撮像画像に基づいて、ジェスチャ認識処理が行われる。ジェスチャ認識処理により、表示装置１を装着したユーザ又は周辺のユーザによるジェスチャの内容を示すジェスチャ情報が取得される。ジェスチャ情報は、例えば、実物体認識処理と同様の技術を用いて取得され得る。
（５）視点位置推定処理
次いで、図３に示すように、表示制御部４５において、視点位置推定処理が行われる。視点位置推定処理により、表示装置１を装着したユーザの眼の位置を示す視点位置情報が取得される。例えば、表示制御部４５は、空間認識処理により取得された空間情報に基づいて、視点位置情報を推定する。表示制御部４５は、内向きステレオカメラ１０により取得された画像から認識されたユーザの眼球の位置、瞳孔の位置、及び視線の向き等にさらに基づいて、視点位置情報を推定してもよい。
（６）遮蔽物判定処理
また、図３に示すように、表示制御部４５において、遮蔽物判定処理が行われる。遮蔽物判定処理により、表示装置１を装着したユーザから見た実物体同士の重なりを示す遮蔽物情報が取得される。例えば、表示制御部４５は、実物体情報に基づいて実物体同士の位置関係、及び重なってユーザから見えなくなる領域等を認識する。
（７）表示領域設定処理
また、図３に示すように、表示制御部４５において、仮想オブジェクトの表示領域の設定処理が行われる。表示領域の設定処理においては、実空間上の一領域に、仮想オブジェクトが表示（重畳）される表示領域が設定される。
例えば、表示制御部４５は、実物体情報に基づいて平面領域を検出する。平面領域とは、実物体のうち平坦な（凹凸が無い又は少ない）面を指す。また、表示制御部４５は、平面領域の面積、法線、色及び色のばらつき度合等を、深度情報及び撮像画像に基づいて計算する。そして、表示制御部４５は、平面領域のうち、仮想オブジェクトを表示するのに適した領域を、表示領域として設定する。表示制御部４５は、信頼度が高い深度情報に基づき計算された平面領域を、信頼度が低い深度情報に基づき計算された平面領域よりも優先的に表示領域として設定してもよい。表示領域は、矩形、三角形、多角形又は円形等の多様な形状であり得る。適した領域とは、例えば、実物体の平坦な面であって、十分な面積があり、さらに撮像部１０から平面へのベクトルと平面の法線との角度が小さい（即ち、ユーザに正対している）面を指す。また、適した領域とは、色の変化が平坦な領域であってもよい。このように、表示に適した領域に表示領域が設定されることにより、実世界の情報と仮想オブジェクトとの衝突が回避又は軽減される。
一方で、表示制御部４５は、実物体の面以外の、例えば空間上の任意の領域（例えば、空中）を、表示領域として設定してもよい。例えば、表示制御部４５は、実物体に平坦な面が無い場合、十分な面積の面が無い又は撮像部１０から平面へのベクトルと平面の法線との角度が大きい場合（即ち、ユーザに正対していない、例えば視線方向と平面とが略平行な場合）等に空中を表示領域として設定する。
また、表示制御部４５は、ジェスチャ情報に基づいて、表示領域を設定してもよい。例えば、表示制御部４５は、表示領域をユーザの指示に応じて拡縮したり移動させたりする。
表示制御部４５は、設定した表示領域に合わせてコンテンツをレイアウトし、レイアウトしたコンテンツをレンダリングして仮想オブジェクトのテクスチャにする。
（８）仮想オブジェクト描画処理
そして、図３に示すように、表示制御部４５において、仮想オブジェクト描画処理が行われる。例えば、表示制御部４５は、視点位置情報及び空間情報に基づいて描画のための視点を決定する。具体的には、表示制御部４５は、視点位置情報及び空間情報に基づいて、表示領域設定処理において設定した表示領域を表示部２０上の座標に射影変換する。この射影変換後の表示領域も、以下では単に表示領域と称する。そして、表示制御部４５は、射影変換後の表示領域に相当するＶＲＡＭに、仮想オブジェクトのテクスチャをＧＰＵにより変形して書き込む。なお、表示制御部４５は、遮蔽物情報に基づいて仮想オブジェクトのうち遮蔽される部分を欠けさせてもよい。
（９）表示処理
最後に、図３に示すように、表示部２０において表示処理が行われる。例えば、表示部２０は、ディスプレイコントローラ（例えば、表示制御部４５）によりＶＲＡＭから読み出された画素情報に基づく表示を行う。これにより、実空間画像に仮想オブジェクトが重畳表示される。
＜２．２．表示制御処理のバリエーション＞
本実施形態に係る表示装置１（例えば、表示制御部４５）は、複数種類の重畳処理を同時に又は選択的に実行可能である。例えば、表示装置１は、実空間における検出される実物体を基準とした位置に仮想オブジェクトの表示を実空間に重畳させて表示させる第１の処理、又は実空間における検出される実物体を基準としない位置に仮想オブジェクトの表示を実空間に重畳させて表示させる第２の処理を行い得る。以下、図４を参照して、表示装置１による表示制御処理のバリエーションについて説明する。
図４は、本実施形態に係る仮想オブジェクトの表示例を説明するための図である。図４に示すように、表示装置１を装着したユーザがテーブルの方を見ている。仮想オブジェクト１１０Ａ及び１１０Ｂは、表示装置１により表示され、ユーザにより視認可能である。例えば、表示装置１は、第１の処理においては、実物体の位置、姿勢又は形状等に応じて仮想オブジェクトを表示する。例えば、図４に示した例においては、第１の処理により、テーブルの天面に貼り付くように仮想オブジェクト１１０Ａが表示されている。一方、表示装置１は、第２の処理においては、実物体とは無関係に仮想オブジェクトを表示する。例えば、図４に示した例においては、第２の処理により、ユーザの視線の先に追随して浮遊するように仮想オブジェクト１１０Ｂが表示されている。
ここで、本明細書における「位置」とは、ユーザが知覚する実空間における位置（即ち、実空間座標）を意味していてもよいし、表示部２０（例えば、透過型のディスプレイ）上の位置（即ち、画面上の座標）を意味していてもよい。ただし、いずれを意味するかによって、仮想オブジェクトの表示は異なり得る。例えば、ユーザが知覚する位置としては遠近感があっても、表示部２０上では同じ位置に表示されている場合がある。
仮想オブジェクトは、ユーザにより操作される対象である操作情報であってもよい。例えば、ユーザは、仮想オブジェクトにタッチすることにより、情報の入力等を行うことができる。仮想オブジェクトが空中に浮遊する場合、ユーザは、仮想オブジェクトを触って操作しているというフィードバックを受けながら操作することが困難であった。一方で、仮想オブジェクトが実物体の表面に表示される場合、ユーザは、仮想オブジェクトに触ると共に実物体を触ることになるので、フィードバックを受けながら操作することが可能である。
以下、第１の処理及び第２の処理について詳しく説明する。
（１）第１の処理
（１ａ）基本方針
例えば、表示装置１は、第１の処理において、検出される実物体の形状に基づいて、仮想オブジェクトの表示を変化させてもよい。これにより、ユーザから見て、仮想オブジェクトがより自然に実空間に重畳されることとなる。
具体的には、表示装置１は、検出される実物体に対する仮想オブジェクトの相対的な姿勢を変化させ、及び／又は仮想オブジェクトの形状を変形させることにより、仮想オブジェクトの表示を変化させる。例えば、検出される実物体のうち表示領域として設定された平面がユーザに対して正対しない場合、即ち表示領域がユーザの視線方向に直交しない場合、表示装置１は、表示領域と視線方向とが成す角度の分、仮想オブジェクトを回転させる。また、例えば、表示領域として設定された平面の形状が仮想オブジェクトのもともとの形状に合致しない場合、表示装置１は、表示領域の形状に合わせて仮想オブジェクトの形状を変形させる。これにより、ユーザから見て、仮想オブジェクトが実物体により一体化して見えるようになる。なお、仮想オブジェクトの実物体に対する相対的な姿勢を変化させる技術として、例えば特開２０１２−２２１２４９号公報に記載された技術等の公知技術が適用されてもよい。
（１ｂ）実物体の表面に重畳表示
表示装置１は、検出される実物体の表面に仮想オブジェクトを重畳表示してもよい。例えば、表示装置１は、実物体の表面を表示領域として設定し、実物体の表面に仮想オブジェクトをマッピングして表示する。これにより、ユーザから見て、仮想オブジェクトが実物体に貼り付いているように見えることとなる。仮想オブジェクトが実物体の表面に重畳表示される場合、背景との重なりが生じ得る空中に表示される場合と比較して、視認性が向上する。なお、表示装置１は、実物体の表面と同一の面（即ち、実物体の表面上）に重畳表示してもよいし、表面から離隔した面（例えば、実物体の平面領域から水平に数ミリ又は数センチメートル離隔させた平面領域）に重畳表示してもよい。
ここで、表示装置１は、検出される実物体の表面のうち一続きの面に仮想オブジェクトを重畳表示してもよい。一続きの面とは、例えば平面領域のうち遮蔽物が存在せず、及び遮蔽物等により分割されていない面である。また、一続きの面とは、例えば傾斜の変化が平坦であり、及び／又は色合いの変化が平坦な面として捉えることも可能である。これにより、ユーザから見て、仮想オブジェクトがより視認容易に表示される。ここで、図５及び図６を参照して本表示例を説明する。
図５は、本実施形態に係る仮想オブジェクトの表示例を説明するための図である。図５に示す例では、実空間画像１２０において、テーブル上に封筒１２２が置かれている。例えば、表示装置１は、傾斜の変化が平坦であり、且つ色合いの変化が平坦な封筒１２２の表面を表示領域として設定し、封筒１２２上に仮想オブジェクト１２４を表示する。
図６は、本実施形態に係る仮想オブジェクトの表示例を説明するための図である。図６に示す例では、実空間画像１３０において、テーブル上に封筒１３２が置かれており、さらに封筒１３２の上にケーブル１３４及びキーボード１３６が置かれている。例えば、表示装置１は、傾斜の変化が平坦であり、且つ色合いの変化が平坦な一続きの面として、封筒１３２の表面のうち、遮蔽物であるケーブル１３４及びキーボード１３６が存在しない部分を表示領域として設定し、仮想オブジェクト１３８を表示する。
また、表示装置１は、検出される実物体の表面のうち水平と判断される表面又は鉛直と判断される表面に仮想オブジェクトを重畳表示してもよい。表示装置１は、空間情報に基づいて水平又は鉛直を判断し得る。例えば、表示装置１は、水平と判断される地面若しくはテーブル等の天面、又は鉛直と判断される壁等に、仮想オブジェクトを表示する。これにより、ユーザから見て、仮想オブジェクトが視認容易に表示される。
なお、地面であるか否かは、加速度の方向、平面の大きさ、表示装置１からの相対位置、及び水平な平面のうち高さが最も低い平面であるか否か等に基づいて判断される。地面が表示領域となる場合、表示装置１は、地形に応じたナビゲーションを行うことが可能となる。
（１ｃ）空中に重畳表示
また、表示装置１は、検出される実物体から離隔した位置に仮想オブジェクトを重畳表示してもよい。例えば、表示装置１は、実物体の表面の延長線上の面、実物体の上方の空間、又は実物体とユーザとの間の空間等の多様な空間に表示領域を設定する。より簡易には、表示装置１は、仮想オブジェクトを空中に浮遊しているかのように表示する。これにより、例えば実物体の表面に適切な表示領域がない場合であっても、仮想オブジェクトを実物体に紐付けて表示することが可能となる。なお、空中に設定される表示領域は、ユーザに正対することが望ましい。
（２）第２の処理
例えば、表示装置１は、第２の処理において、ユーザの視線方向上の実空間に仮想オブジェクトを重畳表示してもよい。例えば、表示装置１は、空間情報、及び／又は内向きステレオカメラ１０の撮像画像の認識結果に基づいて、ユーザの視線の動きに仮想オブジェクトを追随させる。これにより、ユーザから見て、仮想オブジェクトが目の前の空中に所定の距離を保って追随しているように見えることとなる。
また、表示装置１は、第２の処理において、ユーザの頭を基準とした位置に仮想オブジェクトを重畳表示してもよい。例えば、表示装置１は、空間情報に基づいて、ユーザの頭の動きに仮想オブジェクトを追随させてもよい。これにより、ユーザから見て、例えば仮想オブジェクトが常に視界に入るものの、目の前を遮らない状態で維持され得る。同様の趣旨で、表示装置１は、第２の処理において、表示面（例えば、表示部２０）を基準とした位置に仮想オブジェクトを重畳表示してもよい。
また、表示装置１は、第２の処理において、実空間における任意の位置に仮想オブジェクトを重畳表示してもよい。例えば、表示装置１は、実物体にもユーザにも紐付かない位置に、仮想オブジェクトを表示する。例えば、表示装置１は、地理的位置に応じた位置に仮想オブジェクトを表示してもよい。
（３）切り替え
表示装置１は、上述した第１の処理及び第２の処理を切り替えてもよい。これにより、表示装置１は、ユーザの環境及び／又はコンテンツ等に応じた適切な処理を選択することができる。切り替え基準は多様に考えらえる。
例えば、表示装置１は、ユーザに関する情報及び／又は仮想オブジェクトに関する情報に基づいて切り替えを実行してもよい。ユーザに関する情報は多様に考えられる。例えば、ユーザに関する情報は、ユーザの環境に関する情報、ユーザによる指示を示す情報、生体情報、位置情報、動作情報、使用中のアプリケーションに関する情報、ユーザと実物体との関係性を示す情報等を含み得る。なお、関係性を示す情報とは、例えば位置関係を示す情報、姿勢関係を示す情報、又は属性情報の関係を示す情報等を意味し得る。仮想オブジェクトに関する情報も多様に考えられる。例えば、仮想オブジェクトに関する情報は、仮想オブジェクトの内容（コンテンツ）、鮮度、仮想オブジェクトと実物体との関係性等を示す情報を含み得る。ユーザに関する情報及び仮想オブジェクトに関する情報としては、上記の他、例えばユーザと仮想オブジェクトとの関係性を示す情報が考えられる。表示装置１は、これらの情報のうち少なくともいずれかに基づいて、切り替えを実行し得る。
例えば、表示装置１は、仮想オブジェクトの内容（コンテンツ）に応じて切り替えてもよい。例えば、表示装置１は、例えばコンテンツの緊急度が低い場合には実物体を基準とした位置（例えば、実物体の表面）に表示して、緊急度が高い場合には実物体を基準としない位置（例えば、ユーザの目の前の空中）に表示してもよい。また、表示装置１は、コンテンツが実物体に関連する場合には実物体を基準とした位置（例えば、実物体の表面又は付近の空中）に表示して、関連しない場合には実物体を基準としない位置（例えば、ユーザの目の前の空中）に表示してもよい。
例えば、表示装置１は、実物体とユーザとの距離に応じて切り替えてもよい。例えば、表示装置１は、表示領域を設定可能な実物体がユーザの近くに位置する場合には実物体を基準とした位置に表示して、ユーザの遠くに位置する場合には実物体を基準としない位置に表示してもよい。
例えば、表示装置１は、ユーザによる指示に応じて切り替えてもよい。
＜２．３．表示領域の設定基準＞
表示装置１（例えば、表示制御部４５）は、多様な基準で表示領域を設定し得る。
例えば、表示装置１は、実物体の表面、実物体を基準とした空間、及び実物体を基準としない空間に関し、優先順位を付けて表示領域を設定し得る。
例えば、表示装置１は、実物体の表面に優先的に表示領域を設定してもよい。そして、表示装置１は、適切な表示領域が実物体の表面にない場合、又はコンテンツが要求する場合に、空中に表示領域を設定してもよい。また、表示装置１は、色の変化は平坦だがユーザに対して正対しない平面領域に関しては、実物体の付近の空中に、ユーザに正対する表示領域を設定してもよい。他にも、表示装置１は、複数の仮想オブジェクトを表示している状態で、新たな仮想オブジェクトを表示するための表示領域が足りない場合には、空中に表示領域を設定したり、既に視界から外れた平面に表示領域を設定したりしてもよい。
例えば、表示装置１は、空中に仮想オブジェクトを表示する場合に、遮蔽物を避けて表示領域を設定してもよい。例えば、本来は実物体に隠れて見えない位置に表示領域が設定されたにも関わらず、実物体よりも手前に仮想オブジェクトが表示されてしまい得る。そのような場合、表示装置１は、実物体を避けるように、例えば実物体の左右のいずれかに表示位置を調整したり、表示領域を実物体の手前に設定したりする。これにより、視差の矛盾が解消されて、目の負担が軽減される。
例えば、表示装置１は、コンテンツの緊急度に応じて表示領域を設定してもよい。例えば、表示装置１は、緊急度が高いコンテンツに関しては、色の平坦さ等よりも、ユーザの視界の中央に位置することを評価して表示領域を設定する。さらに、表示装置１は、ユーザの視線に追随するように目の前の空中に表示領域を設定してもよい。これにより、ユーザは、緊急度の高い情報に容易に気付くことができる。
例えば、表示装置１は、表示領域を実世界に固定化してもよい。例えば、表示装置１は、表示領域の位置を記憶しておき、同一の表示領域に仮想オブジェクトを表示してもよい。また、表示装置１は、同一又は類似するコンテンツごとに、表示領域を固定化してもよい。例えば、表示装置１は、映像の仮想オブジェクトは壁面に表示し、テキストの仮想オブジェクトはテーブル上に表示してもよい。
例えば、表示装置１は、実物体とユーザとの距離に応じて仮想オブジェクトを重畳表示する位置を制御してもよい。例えば、表示装置１は、ユーザから近い位置にある実物体の表面に、優先的に表示領域を設定する。これにより、ユーザによる操作が容易な、例えば手が届く範囲で仮想オブジェクトが表示されることとなり、利便性が向上する。
例えば、表示装置１は、仮想オブジェクトの内容（コンテンツ）と関連性のある実物体の表面に、又は当該実物体の付近の領域に表示領域を設定してもよい。例えば、表示装置１は、テーブルの上に置かれた実物体の認識結果を表示する場合、当該実物体の横に認識結果を表示してもよい。
例えば、表示装置１は、実物体に関する情報に基づいて表示領域を設定してもよい。例えば、表示装置１は、ユーザが触れることが望ましくない実物体を避けて、表示領域を設定し得る。例えば、表示装置１は、赤外センサにより非常に高温であることが検知された実物体の表面に表示領域を設定しない。これにより、仮想オブジェクトがユーザの操作対象である場合に、ユーザの安全性を高めることが可能である。
例えば、表示装置１は、平面以外にも曲面を表示領域として設定してもよい。その場合、表示装置１は、曲面状に仮想オブジェクトをレイアウトして、曲面に貼り付くように仮想オブジェクトを表示する。また、表示領域に起伏が有る場合には、表示装置１は、その起伏に応じて仮想オブジェクトをレイアウトしてもよい。
例えば、表示装置１は、複数の仮想オブジェクトを表示する場合に、仮想オブジェクトが要する面積に応じて表示領域を選択してもよい。例えば、表示装置１は、コンテンツ内に記載された表示サイズ等を参照して、表示サイズが大きいものは大きい平面に表示し、表示サイズが小さいものは小さい平面に表示する。
＜２．４．インタラクションに基づく表示制御＞
表示装置１（例えば、表示制御部４５）は、ユーザとのインタラクションに応じた表示制御を行い得る。
例えば、表示装置１は、ユーザによる指示に応じて仮想オブジェクトを重畳表示する位置を制御する。他にも、表示装置１は、ユーザ指示に応じてコンテンツを切り替えたり、表示形態（色等）を制御したりしてもよい。これにより、ユーザにとってより望ましい表示が行われることとなり、仮想オブジェクトの快適な操作が実現される。ユーザによる指示は、例えば手等によるジェスチャ、視線、マーカの埋め込み等により行われ得る。ここで、図７〜図１０を参照して本表示例を説明する。
図７は、本実施形態に係る仮想オブジェクトの表示例を説明するための図である。図７に示す例は、表示装置１がジェスチャに応じて表示領域を設定する例である。図７に示すように、ユーザが、空中に表示されていた仮想オブジェクト１４０を平面１４２に指でドラッグすると、表示装置１は、仮想オブジェクト１４０を平面１４２の表面に移動させて表示する。
図８は、本実施形態に係る仮想オブジェクトの表示例を説明するための図である。図８に示す例は、表示装置１が視線に応じて表示領域を設定する例である。図８に示すように、ユーザが平面１４２を所定時間凝視すると、表示装置１は、空中に表示されていた仮想オブジェクト１４０を、凝視されていた平面１４２の表面に移動させて表示する。
図９は、本実施形態に係る仮想オブジェクトの表示例を説明するための図である。図９に示す例は、表示装置１がマーカに応じて表示領域を設定する例である。図９に示すように、表示装置１は、ＱＲコード（登録商標）等の特定のマーカ１５０が埋め込まれた平面１５２を検出すると、空中に表示されていた、マーカ１５０に対応する仮想オブジェクト１５４を平面１５２に移動させて表示する。
図１０は、本実施形態に係る仮想オブジェクトの表示例を説明するための図である。図１０に示す例は、表示装置１がマーカに応じて表示領域を設定する例である。図１０に示すように、マーカ１６２は、ガラスパネル等の透明なパネル１６４に埋め込まれている。例えば、表示装置１は、パネル１６４に特定の波長を照射することで、マーカ１６２を検出し得る。これにより、実空間画像１６０において、肉眼では単なる透明な平面に見えるパネル１６４が、仮想オブジェクト１６６の表示領域として利用される。
なお、図７〜図１０に示した例では、仮想オブジェクトを平面に移動させる例を説明したが、本技術はかかる例に限定されない。例えば、表示装置１は、ユーザ指示に応じて、仮想オブジェクトを平面から平面へ移動させてもよいし、空中から空中へ移動させてもよいし、平面から空中に移動させてもよい。
また、ユーザが、把持可能な平面を目の前に構えたり、手のひらで平面を作ったり場合には、表示装置１は、これらの平面に表示領域を設定することも可能である。このような平面に表示された仮想オブジェクトへのユーザ操作の検出方法として、表示装置１は、ユーザが身につけている時計型等のウェアラブルデバイスから振動情報を取得して、ユーザ操作の検出のために用いてもよい。この場合、表示装置１は、ユーザの指が平面に触れたか否かを振動情報により精度よく識別可能となり、タッチ操作に関する操作性がより向上する。さらに、表示装置１は、平面にタッチするタッチ操作と平面の手前で行われるジェスチャ操作とを識別可能となるので、これらの使い分け及び組み合わせによる操作がより精度よく実現可能となる。
＜２．５．表示領域に応じた加工＞
表示装置１（例えば、表示制御部４５）は、表示領域に応じた多様な加工を行い得る。
例えば、表示装置１は、仮想オブジェクトを、表示領域の形状に合わせて加工してもよい。具体的には、表示装置１は、表示領域の形状に合わせて、仮想オブジェクトのレイアウトを制御する。表示装置１は、レイアウトエンジンとして、例えばＨＴＭＬレンダラ等の公知の技術を採用可能である。例えば、ウィンドウサイズ及びデバイスの種類等に応じて画面のレイアウトを切り替える技術、及びＨＴＭＬ内の画像などの配置に応じてテキスト等のレイアウトを変更する技術が、採用され得る。ここで、図１１を参照して本表示例を説明する。
図１１は、本実施形態に係る仮想オブジェクトの表示例を説明するための図である。図１１に示す例では、実空間画像１７０において、実物体１７２を除いた表示領域に仮想オブジェクト１７４が表示されている。図１１に示すように、仮想オブジェクト１７４に含まれるテキストが、表示領域の形状に合わせて改行されている。
ただし、表示領域の形状は変化し得る。例えば、表示領域内に新たな実物体（遮蔽物）が追加されたり、存在していた実物体が削除されたり、移動されたりする場合がある。そのような場合、表示装置１は、表示領域の形状の変化に応じて仮想オブジェクトのレイアウトを制御してもよい。ここで、図１２を参照して本表示例を説明する。
図１２は、本実施形態に係る仮想オブジェクトの表示例を説明するための図である。図１２に示す表示例は、図１１に示した表示例からの変化を表している。図１２に示すように、実空間画像１８０では、図１１に示した実空間画像１７０においては表示領域となっていた領域に実物体１８２が移動しており、仮想オブジェクト１８４がその狭くなった形状に合わせて再レイアウトされ、テキストの改行位置が変化している。なお、新たな平面が表示領域となる場合には、場所、重畳先の実物体の属性、及び傾斜等が以前の表示領域と近しい平面に、新たな表示領域が設定されることが望ましい。
また、表示装置１は、仮想オブジェクトの内容を、表示領域に合わせて加工してもよい。例えば、表示装置１は、表示領域の形状、色、及び大きさ等に応じて、表示するコンテンツを切り替える。さらに、表示装置１は、表示領域がどの実物体を基準とした位置にあるか、及び表示領域の付近にどのような実物体があるか等に基づいて、表示するコンテンツを切り替えてもよい。ここで、図１３を参照して本表示例を説明する。
図１３は、本実施形態に係る仮想オブジェクトの表示例を説明するための図である。図１３に示す例では、実空間画像１９０においては、壁面にアナログ時計の仮想オブジェクト１９２が表示されている。これは、表示領域が壁面であること、及び表示領域の面積が大きいであること等に起因する。一方で、実空間画像１９４においては、テーブルの上にデジタル時計の仮想オブジェクト１９６が表示されている。これは、表示領域がテーブルの上であること、及び表示領域の面積が小さいこと等に起因する。
また、表示装置１は、背景に応じて表示領域を設定したり、仮想オブジェクトを加工したりしてもよい。
例えば、表示装置１は、仮想オブジェクトを重畳表示し得る領域の背景と仮想オブジェクトの表示形態に応じて仮想オブジェクトを重畳表示する位置を制御してもよい。例えば、背景の輝度によっては、仮想オブジェクトの内容が見え辛くなる可能性がある。また、背景の色合いと仮想オブジェクトの色合いとの関係によっては、仮想オブジェクトの内容が見え辛くなる可能性がある。表示装置１は、そのような場合を考慮して、仮想オブジェクトの視認が困難な領域を避けて表示領域を設定してもよい。これにより、ユーザから見て、仮想オブジェクトがより視認容易に表示される。ここで、図１４を参照して本表示例を説明する。
図１４は、本実施形態に係る仮想オブジェクトの表示例を説明するための図である。図１４に示す例では、実空間画像２００において、空中に浮遊する表示領域２０２、２０４及び２０６にそれぞれ仮想オブジェクトが表示されている。例えば、表示領域２０２は、背景に電灯があり、輝度の影響で仮想オブジェクトの内容が見え辛くなっている。また、表示領域２０４は、背景に実物体が混在している影響で、仮想オブジェクトの内容が見え辛くなっている。一方で、表示領域２０６は、背景が平坦であるので、仮想オブジェクトの内容が見えやすい。そのため、表示装置１は、表示領域２０６を優先的に採用する。
さらに、表示装置１は、仮想オブジェクトを重畳表示される領域の背景に応じて仮想オブジェクトの表示形態を制御してもよい。例えば、表示領域の背景の色合いと仮想オブジェクトの色合いとの関係によっては、仮想オブジェクトの内容が見え辛くなる可能性がある。表示装置１は、そのような場合を考慮して、例えば背景の色と補色関係にある色を使用して目立たせる、又は近い色を使用して目立たせない等の加工を行う。このような加工機能は、コンテンツ自身が有していてもよい。
また、表示装置１は、表示領域の付近の実物体に応じた表示制御を行ってもよい。例えば、表示装置１は、ユーザがテーブルでノートに文章を書いている場合、ノートの横のテーブル上に文章に関連する情報を含む仮想オブジェクトを表示してもよい。ユーザは、この仮想オブジェクトを操作することで、例えば情報の検索等を実行可能である。また、表示装置１は、ノートが動かされた場合、動いたことで新たに空いたテーブル上の領域に仮想オブジェクトを表示する等、表示領域をリアルタイムに更新してもよい。
＜２．６．ユーザに応じた表示制御＞
表示装置１（例えば、表示制御部４５）は、ユーザに応じた表示制御を行い得る。
例えば、表示装置１は、ユーザの行動に応じた表示制御を行ってもよい。例えば、表示装置１は、ユーザが自動車を運転中の場合、視界の中心を遮る領域は表示領域の設定対象からは除外する。また、表示装置１は、ユーザが静止中であるか否かに応じた表示制御を行ってもよい。例えば、ユーザがテーブルに向かっている等の静止中である場合はテーブル上に固定的な表示領域を設定し、ユーザがランニング等で移動中である場合はユーザと共に移動する表示領域を設定する。換言すると、表示装置１は、ユーザが静止中は実世界の座標系において固定的に表示領域を設定し、ユーザが移動中はユーザを原点した座標系において固定的に表示領域を設定する。
例えば、表示装置１は、ユーザの位置に応じた表示制御を行ってもよい。例えば、表示装置１は、地図情報を表示する場合、目的地から遠くにユーザがいる場合には地面に地図情報を表示し、目的地付近にユーザがいる場合には目的地付近に目的地であることを示す仮想オブジェクトを表示する。
例えば、表示装置１は、ユーザの視線に応じた表示制御を行ってもよい。例えば、表示装置１は、視界から表示領域が喪失した場合、その表示領域の位置を記憶しつつ、新たな表示領域を設定して仮想オブジェクトを表示し、以前の表示領域が視界に再度入った時には当該以前の表示領域に仮想オブジェクトを戻してもよい。また、表示装置１は、視線が集中していない仮想オブジェクトに関しては通常モードで表示し、視線が集中している仮想オブジェクトに関しては視認容易な目立つ色及びレイアウト等を用いる注目モードで表示してもよい。
＜２．７．その他の表示制御＞
表示装置１（例えば、表示制御部４５）は、その他多様な表示制御を行い得る。
例えば、表示装置１は、時間に応じた表示制御を行ってもよい。例えば、表示装置１は、朝はニュース又は天気予報等の仮想オブジェクトを表示し、夕方にはレシピサイトの仮想オブジェクトを表示する。
例えば、表示装置１は、複数の領域を合せてひとつの表示領域として扱ってもよい。例えば、テーブル上にケーブルが置いてあり平面が２分割されている場合、表示装置１は、この２分割された平面の両方を表示領域として設定し得る。その場合、表示装置１は、単にケーブルが置かれた領域を、描画を避ける領域として設定して、当該領域を避けるようにコンテンツのレイアウトを行う。
例えば、仮想オブジェクトの数が多い場合、又は仮想オブジェクトの色が周囲と馴染んでいる場合等、ユーザから見て、仮想オブジェクトの視認が困難な場合がある。そのような場合、表示装置１は、例えば新たに仮想オブジェクトが出現する場合又は変更がある場合等に、一時的に色を変えたり振動させたりしてもよい。これにより、ユーザは、新たな又は変更のあった仮想オブジェクトに気付くことができる。
以上、本実施形態に係る表示装置１の技術的特徴を説明した。続いて、図１５〜図１８を参照して、本実施懈怠に係る表示装置１の動作処理例を説明する。
＜＜３．動作処理例＞＞
（１）前処理
図１５は、本実施形態に係る表示装置１において実行される前処理の流れの一例を示すフローチャートである。本フローは、図３を参照して上記説明した、実物体認識処理、遮蔽物判定処理、及び表示領域設定処理に相当する。
図１５に示すように、検出部４１は、外向きステレオカメラ１０により得られた画像から、画素毎の深度情報及び当該深度情報の信頼度を取得する（ステップＳ１０２）。次いで、表示制御部４５は、深度情報及び信頼度に基づいて、実物体の表面の平面領域を検出する（ステップＳ１０４）。次に、表示制御部４５は、平面領域ごとの特徴を計算する（ステップＳ１０６）。平面領域ごとの特徴としては、平面領域の面積、法線、色及び色のばらつき度合等が挙げられ、例えば深度情報及び信頼度に基づいて計算され得る。
次いで、表示制御部４５は、表示に適した平面領域が存在する否かを判定する（ステップＳ１０８）。例えば、表示制御部４５は、色の変化が平坦であり、ユーザに正対し、且つユーザからの距離が近い平面領域であって、まだ仮想オブジェクトが表示されていない平面領域が存在する場合に、表示に適した平面領域が存在すると判定する。また、表示制御部４５は、これらの条件を満たす平面領域が存在しない場合に、表示に適した平面領域が存在しないと判定する。
表示に適した平面領域が存在すると判定された場合（ステップＳ１０８／ＹＥＳ）、表示制御部４５は、当該平面領域に表示領域を設定する（ステップＳ１１０）。一方で、表示に適した平面領域が存在しないと判定された場合（ステップＳ１０８／ＮＯ）、表示制御部４５は、空中に表示領域を設定する（ステップＳ１１２）。
そして、表示制御部４５は、設定した表示領域に応じてコンテンツをレイアウト及びレンダリングすることで、仮想オブジェクトのテクスチャを生成する（ステップＳ１１４）。以上で、本フローに係る処理は終了する。
（２）描画処理
図１６は、本実施形態に係る表示装置１において実行される描画処理の流れの一例を示すフローチャートである。本フローは、図３を参照して上記説明した、視点位置推定処理、仮想オブジェクト描画処理及び表示処理に相当し、図１５を参照して上記説明した前処理の後に実行される。
図１６に示すように、まず、検出部４１は、空間情報及び視点位置情報を取得する（ステップＳ２０２）。次いで、表示制御部４５は、空間情報及び視点位置情報に基づいて、前処理において設定した表示領域を表示部２０上の座標に射影変換する（ステップＳ２０４）。そして、表示制御部４５は、前処理において生成された仮想オブジェクトのテクスチャを、射影変換後の表示領域にマッピングして、仮想オブジェクトを表示する（ステップＳ２０６）。
表示装置１は、以上説明した処理をフレームごとに行う。描画処理を終了しない場合（ステップＳ２０８／ＮＯ）、次フレームで再度ステップＳ２０２から処理が行われる。描画処理を終了する場合（ステップＳ２０８／ＹＥＳ）、本フローに係る処理は終了する。
図１７は、本実施形態に係る表示装置１において実行される描画処理の流れの一例を示すフローチャートである。本フローは、図１６に示したフローの変形例である。
図１７に示すように、まず、ステップＳ３０２〜Ｓ３０６において、図１６を参照して上記説明したステップＳ２０２〜Ｓ２０６と同様の処理が行われる。次いで、ステップＳ３０８〜Ｓ３１２において、図１５を参照して上記説明したステップＳ１０２〜Ｓ１０６と同様の処理が行われる。
次に、表示制御部４５は、表示領域を変更するか否かを判定する（ステップＳ３１４）。例えば、表示制御部４５は、視界の移動、実物体の追加／削除／移動、コンテンツの緊急度の変化、ユーザ指示の有無等に応じて、より適した領域（平面領域又は空中）に表示領域を変更するか否かを判定する。
変更すると判定された場合（ステップＳ３１４／ＹＥＳ）、表示制御部４５は、新たな領域に表示領域を再設定する（ステップＳ３１６）。一方で、変更しないと判定された場合（ステップＳ３１４／ＮＯ）、表示領域の設定は維持される。
表示装置１は、以上説明した処理をフレームごとに行う。描画処理を終了しない場合（ステップＳ３１８／ＮＯ）、次フレームで再度ステップＳ３０２から処理が行われる。描画処理を終了する場合（ステップＳ３１８／ＹＥＳ）、本フローに係る処理は終了する。
（３）インタラクションに係る表示制御処理
図１８は、本実施形態に係る表示装置１において実行されるインタラクションに係る表示制御処理の流れの一例を示すフローチャートである。
図１８に示すように、まず、検出部４１は、表示領域の設定に関するユーザ指示を取得する（ステップＳ４０２）。例えば、検出部４１は、ジェスチャ、視線、又はマーカが埋め込まれた平面等を検出する。
次いで、表示制御部４５は、ユーザ指示に基づいて表示領域を設定する（ステップＳ４０４）。例えば、表示制御部４５は、ユーザが仮想オブジェクトを指でドラッグした先の平面に表示領域を設定する。また、表示制御部４５は、ユーザが所定時間凝視した平面に表示領域を設定する。また、表示制御部４５は、特定のマーカが埋め込まれた平面に表示領域を設定する。
次に、表示制御部４５は、設定した表示領域に仮想オブジェクトを表示する（ステップＳ４０６）。
次いで、検出部４１は、仮想オブジェクトへのユーザ指示を取得する（ステップＳ４０８）。例えば、検出部４１は、表示領域が設定された平面又は空中へのタッチを、深度情報等に基づいて認識する。また、検出部４１は、ウェラブルデバイスがユーザに装着されているか否かを判定し（ステップＳ４１０）、装着されている場合には当該ウェラブルデバイスから振動情報を取得する（ステップＳ４１２）。そして、表示制御部４５は、取得したユーザ指示に対するフィードバックを表示する（ステップＳ４１４）。振動情報が取得された場合、表示制御部４５は、振動情報にさらに基づいてフィードバックを表示する。以上で、本フローに係る処理は終了する。
＜＜４．ハードウェア構成例＞＞
最後に、図１９を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図１９は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図１９に示す情報処理装置９００は、例えば、図２に示した表示装置１を実現し得る。本実施形態に係る表示装置１による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
図１９に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図２に示す検出部４１、記憶制御部４３及び表示制御部４５を形成し得る。
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
入力装置９０６は、例えば撮像装置として実現されてもよい。撮像装置は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。撮像装置は、デジタル信号とされた撮影画像のデータを出力する。撮像装置は、例えば、図１及び図２に示す撮像部１０を形成し得る。
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。上記表示装置は、例えば、図１及び図２に示す表示部２０を形成し得る。
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図２に示す記憶部３０を形成し得る。
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
＜＜５．まとめ＞＞
以上、図１〜図１９を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る表示装置１は、実物体を基準とした位置に仮想オブジェクトの表示を実空間に重畳させて表示させる第１の処理、又は実物体を基準としない位置に仮想オブジェクトの表示を実空間に重畳させて表示させる第２の処理を行う。これにより、ＡＲ技術を利用した仮想オブジェクトの表現方法の多様化が実現される。
例えば、第１の処理に関しては、検出される実物体の形状に応じて仮想オブジェクトの表示が変化され得る。より具体的には、実物体の形状に沿うように、実物体の表面に仮想オブジェクトが表示される。このような表示により、仮想オブジェクトが、より実世界に馴染むこととなり、ユーザは、仮想オブジェクトと実物体との混在を違和感なく受け入れることができる。また、表示装置１は、場所を問わずに壁の空いている領域等に時計、ニュース、メール、ＳＮＳの新着情報等を重要度に応じて目立たせながら表示することも可能である。これにより、ユーザは、スマートフォン等の端末を逐一確認せずとも、容易に情報を取得することが可能である。また、表示装置１は、壁の前に家具が並んでいたり、テーブルの上に物が散在していたりする場合であっても、空いた領域の形状に合わせて仮想オブジェクトを表示することが可能である。
また、第２の処理に関しては、ユーザの頭を基準とした位置に仮想オブジェクトが重畳表示され得る。これにより、ユーザから見て、例えば仮想オブジェクトが常に視界に入るものの、目の前を遮らない状態で維持され得る。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、表示装置１が単独の装置として形成される例を説明したが、本技術はかかる例に限定されない。例えば、表示装置１の一部又は全部が別々の装置として形成されてもよい。例えば、図２に示した表示装置１の機能構成例のうち、記憶部３０及び制御部４０が、撮像部１０及び表示部２０を含む表示装置とネットワーク等で接続されたクラウド上のサーバ等の装置に備えられてもよい。
また、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
実空間における検出される実物体を基準とした位置に仮想物体の表示を実空間に重畳させて表示させる第１の処理、又は実空間における検出される実物体を基準としない位置に前記仮想物体の表示を実空間に重畳させて表示させる第２の処理を行う表示制御部、
を備える情報処理装置。
（２）
前記表示制御部は、前記第１の処理及び前記第２の処理を切り替える、前記（１）に記載の情報処理装置。
（３）
前記表示制御部は、ユーザに関する情報及び／又は前記仮想物体に関する情報に基づいて前記切り替えを実行する、前記（２）に記載の情報処理装置。
（４）
前記表示制御部は、前記仮想物体の内容に応じて前記切り替えを実行する、前記（３）に記載の情報処理装置。
（５）
前記表示制御部は、実物体とユーザとの距離に応じて前記切り替えを実行する、前記（３）又は（４）に記載の情報処理装置。
（６）
前記表示制御部は、前記第１の処理において、検出される実物体の形状に基づいて、前記仮想物体の表示を変化させる、前記（１）に記載の情報処理装置。
（７）
前記表示制御部は、検出される実物体に対する前記仮想物体の相対的な姿勢を変化させ、及び／又は前記仮想物体の形状を変形させることにより、前記仮想物体の表示を変化させる、前記（６）に記載の情報処理装置。
（８）
前記表示制御部は、検出される実物体の表面に前記仮想物体を重畳させて表示させる、前記（６）又は（７）に記載の情報処理装置。
（９）
前記表示制御部は、検出される実物体の表面のうち一続きの面に前記仮想物体を重畳させて表示させる、前記（８）に記載の情報処理装置。
（１０）
前記表示制御部は、検出される実物体の表面のうち水平と判断される表面又は鉛直と判断される表面に前記仮想物体を重畳させて表示させる、前記（８）又は（９）に記載の情報処理装置。
（１１）
前記表示制御部は、検出される実物体から離隔した位置に前記仮想物体を重畳させて表示させる、前記（８）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記表示制御部は、前記第２の処理において、ユーザの頭を基準とした位置又は前記ユーザの視線方向上の実空間に前記仮想物体を重畳させて表示させる、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記表示制御部は、前記第２の処理において、実空間における任意の位置に前記仮想物体を重畳させて表示させる、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１４）
前記表示制御部は、実物体とユーザとの距離に応じて前記仮想物体を重畳させて表示させる位置を制御する、前記（１）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記表示制御部は、ユーザによる指示に応じて前記仮想物体を重畳させて表示させる位置を制御する、前記（１）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記表示制御部は、前記仮想物体を重畳させて表示させ得る領域の背景と前記仮想物体の表示形態に応じて前記仮想物体を重畳させて表示させる位置を制御する、前記（１）〜（１５）のいずれか一項に記載の情報処理装置。
（１７）
前記表示制御部は、前記仮想物体を重畳させて表示される領域の背景に応じて前記仮想物体の表示形態を制御する、前記（１）〜（１６）のいずれか一項に記載の情報処理装置。
（１８）
前記仮想物体は、ユーザにより操作される対象である、前記（１）〜（１７）のいずれか一項に記載の情報処理装置。
（１９）
実空間における検出される実物体を基準とした位置に仮想物体の表示を実空間に重畳させて表示させる第１の処理、又は実空間における検出される実物体を基準としない位置に前記仮想物体の表示を実空間に重畳させて表示させる第２の処理をプロセッサにより行うこと、
を含む情報処理方法。
（２０）
コンピュータを、
実空間における検出される実物体を基準とした位置に仮想物体の表示を実空間に重畳させて表示させる第１の処理、又は実空間における検出される実物体を基準としない位置に前記仮想物体の表示を実空間に重畳させて表示させる第２の処理を行う表示制御部、
として機能させるためのプログラム。
１ 表示装置
１０ 撮像部
２０ 表示部
３０ 記憶部
４０ 制御部
４１ 検出部
４３ 記憶制御部
４５ 表示制御部
５０ 装着ユニット

Claims (1)

  1. 実空間において検出される実物体が有する平面領域に、仮想物体の表示の少なくとも一部を隣接させて表示、又は、重畳させて表示させる第１の処理と、
    実空間における空中に前記仮想物体の表示を重畳させて表示させる第２の処理と、
    を切り替えて行う表示制御部を備え、
    前記表示制御部は、前記平面領域に対応する位置に前記仮想物体の表示を配置するためのユーザ操作に基づいて、前記第１の処理に切り替える、
    情報処理装置。
JP2020173543A 2015-06-15 2020-10-14 情報処理装置、情報処理方法及び記録媒体 Pending JP2021036438A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015120186 2015-06-15
JP2015120186 2015-06-15

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017524661A Division JP6780642B2 (ja) 2015-06-15 2016-03-03 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2021036438A true JP2021036438A (ja) 2021-03-04

Family

ID=57546642

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017524661A Active JP6780642B2 (ja) 2015-06-15 2016-03-03 情報処理装置、情報処理方法及びプログラム
JP2020173543A Pending JP2021036438A (ja) 2015-06-15 2020-10-14 情報処理装置、情報処理方法及び記録媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017524661A Active JP6780642B2 (ja) 2015-06-15 2016-03-03 情報処理装置、情報処理方法及びプログラム

Country Status (4)

Country Link
US (2) US10832479B2 (ja)
JP (2) JP6780642B2 (ja)
CN (1) CN107683497B (ja)
WO (1) WO2016203792A1 (ja)

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10444930B2 (en) * 2014-08-05 2019-10-15 Lg Electronics Inc. Head-mounted display device and control method therefor
US10726625B2 (en) 2015-01-28 2020-07-28 CCP hf. Method and system for improving the transmission and processing of data regarding a multi-user virtual environment
US10725297B2 (en) 2015-01-28 2020-07-28 CCP hf. Method and system for implementing a virtual representation of a physical environment using a virtual reality environment
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
US10521941B2 (en) 2015-05-22 2019-12-31 Samsung Electronics Co., Ltd. System and method for displaying virtual image through HMD device
KR20230098927A (ko) 2016-03-31 2023-07-04 매직 립, 인코포레이티드 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과상호작용들
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A2 (en) 2016-12-30 2024-01-03 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US10437343B2 (en) * 2017-01-06 2019-10-08 Samsung Electronics Co., Ltd. Augmented reality control of internet of things devices
US10438399B2 (en) * 2017-02-10 2019-10-08 Sony Interactive Entertainment LLC Paired local and global user interfaces for an improved augmented reality experience
KR102544062B1 (ko) * 2017-02-21 2023-06-16 삼성전자주식회사 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
US20200066116A1 (en) * 2017-03-28 2020-02-27 Sony Corporation Information processing apparatus, information processing method, and program
IL270002B2 (en) * 2017-04-19 2023-11-01 Magic Leap Inc Multimodal task execution and text editing for a wearable system
KR102555443B1 (ko) 2017-05-01 2023-07-12 매직 립, 인코포레이티드 콘텐츠를 공간 3d 환경에 매칭
US10405060B2 (en) * 2017-06-28 2019-09-03 At&T Intellectual Property I, L.P. Method and apparatus for augmented reality presentation associated with a media program
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US10733799B2 (en) * 2017-07-26 2020-08-04 Daqri, Llc Augmented reality sensor
US11280937B2 (en) 2017-12-10 2022-03-22 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
WO2019126331A1 (en) 2017-12-20 2019-06-27 Magic Leap, Inc. Insert for augmented reality viewing device
AU2018388581A1 (en) 2017-12-22 2020-07-23 Magic Leap, Inc. Methods and system for managing and displaying virtual content in a mixed reality system
US10699485B2 (en) * 2018-01-04 2020-06-30 Universal City Studios Llc Systems and methods for textual overlay in an amusement park environment
JP6976186B2 (ja) * 2018-02-01 2021-12-08 Kddi株式会社 端末装置及びプログラム
WO2019155735A1 (ja) * 2018-02-07 2019-08-15 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
EP3756079A4 (en) 2018-02-22 2021-04-28 Magic Leap, Inc. OBJECT GENERATION WITH PHYSICAL MANIPULATION
CN111819603B (zh) 2018-02-26 2024-03-08 三菱电机株式会社 虚拟物体显示控制装置、方法、记录介质及虚拟物体显示系统
JP2019152794A (ja) * 2018-03-05 2019-09-12 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN108347657B (zh) * 2018-03-07 2021-04-20 北京奇艺世纪科技有限公司 一种显示弹幕信息的方法和装置
CN110244459B (zh) 2018-03-09 2021-10-08 财团法人工业技术研究院 增强现实装置
TWI664438B (zh) 2018-03-09 2019-07-01 Industrial Technology Research Institute 擴增實境裝置
JP2021081757A (ja) * 2018-03-12 2021-05-27 ソニーグループ株式会社 情報処理装置、情報処理方法、および、プログラム
US11417296B2 (en) * 2018-03-13 2022-08-16 Sony Corporation Information processing device, information processing method, and recording medium
US10755676B2 (en) 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
CN108958469B (zh) * 2018-05-07 2020-01-24 中德（珠海）人工智能研究院有限公司 一种基于增强现实的在虚拟世界增加超链接的方法
JP7319303B2 (ja) 2018-05-31 2023-08-01 マジック リープ， インコーポレイテッド レーダ頭部姿勢位置特定
JP7136931B2 (ja) * 2018-06-05 2022-09-13 マジック リープ， インコーポレイテッド 空間３ｄ環境へのコンテンツのマッチング
EP3803545A4 (en) * 2018-06-08 2022-01-26 Magic Leap, Inc. AUGMENTED REALITY VIEWER WITH AUTOMATED SURFACE SELECTION PLACEMENT AND CONTENT ALIGNMENT PLACEMENT
US11087545B2 (en) * 2018-06-19 2021-08-10 Guangdong Virtual Reality Technology Co., Ltd. Augmented reality method for displaying virtual object and terminal device therefor
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
JP7426982B2 (ja) 2018-07-24 2024-02-02 マジック リープ， インコーポレイテッド 移動検出デバイスの温度依存較正
CN112740665A (zh) 2018-08-02 2021-04-30 奇跃公司 基于头部运动的瞳孔间距离补偿的观察系统
CN116820239A (zh) 2018-08-03 2023-09-29 奇跃公司 图腾在用户交互系统中的融合姿势的基于未融合姿势的漂移校正
JP2021182174A (ja) * 2018-08-07 2021-11-25 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
CN109284456B (zh) * 2018-08-30 2022-04-12 广东越维信息科技有限公司 网页控件在ar中的空间定位方法和ar系统
US11348316B2 (en) * 2018-09-11 2022-05-31 Apple Inc. Location-based virtual element modality in three-dimensional content
WO2020066682A1 (ja) * 2018-09-28 2020-04-02 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP7180253B2 (ja) * 2018-09-28 2022-11-30 大日本印刷株式会社 透過型表示装置、情報処理方法及びプログラム
CN109379581A (zh) * 2018-12-05 2019-02-22 北京阿法龙科技有限公司 一种头戴式双屏幕立体显示系统的坐标变换及显示方法
JP6656477B1 (ja) * 2018-12-07 2020-03-04 三菱電機株式会社 入力表示制御装置、入力表示制御方法及び入力表示システム
EP3921720A4 (en) 2019-02-06 2022-06-29 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
EP3939030A4 (en) 2019-03-12 2022-11-30 Magic Leap, Inc. REGISTRATION OF LOCAL CONTENT BETWEEN FIRST AND SECOND VIEWERS OF AUGMENTED REALITY
WO2020188655A1 (ja) * 2019-03-15 2020-09-24 マクセル株式会社 複合現実表示装置および複合現実表示方法
EP3948747A4 (en) 2019-04-03 2022-07-20 Magic Leap, Inc. MANAGEMENT AND DISPLAY OF WEB PAGES IN A VIRTUAL THREE-DIMENSIONAL SPACE USING A MIXED REALITY SYSTEM
JP2020177534A (ja) * 2019-04-19 2020-10-29 京セラドキュメントソリューションズ株式会社 透過型ウェアラブル端末
US10922892B1 (en) * 2019-04-30 2021-02-16 Splunk Inc. Manipulation of virtual object position within a plane of an extended reality environment
CN114127837A (zh) 2019-05-01 2022-03-01 奇跃公司 内容提供系统和方法
JP2020197835A (ja) * 2019-05-31 2020-12-10 ファナック株式会社 産業用機械のデータ収集設定装置
WO2021020068A1 (ja) * 2019-07-26 2021-02-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN114174895A (zh) 2019-07-26 2022-03-11 奇跃公司 用于增强现实的系统和方法
US11854444B2 (en) 2019-07-26 2023-12-26 Sony Group Corporation Display device and display method
US20220365588A1 (en) * 2019-09-04 2022-11-17 Sony Group Corporation Information processing apparatus, information processing method, and program
US10699124B1 (en) * 2019-09-09 2020-06-30 Ar, Llc Augmented reality content selection and display based on printed objects having security features
US11961294B2 (en) 2019-09-09 2024-04-16 Techinvest Company Limited Augmented, virtual and mixed-reality content selection and display
JP2023502927A (ja) 2019-11-15 2023-01-26 マジック リープ， インコーポレイテッド 外科手術環境において使用するための視認システム
JP2022025475A (ja) * 2020-07-29 2022-02-10 株式会社AniCast RM アニメーション制作システム
CN112053449A (zh) * 2020-09-09 2020-12-08 脸萌有限公司 基于增强现实的显示方法、设备及存储介质
JP6892961B1 (ja) * 2020-09-29 2021-06-23 Kddi株式会社 制御装置、表示制御方法及び表示制御プログラム
CN112684885B (zh) * 2020-12-25 2023-05-02 联想(北京)有限公司 一种显示控制方法及装置
WO2023037547A1 (ja) * 2021-09-13 2023-03-16 マクセル株式会社 携帯情報端末及びオブジェクト表示方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012221249A (ja) * 2011-04-08 2012-11-12 Sony Corp 表示制御装置、表示制御方法、およびプログラム
JP2014518596A (ja) * 2011-03-29 2014-07-31 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
WO2014181380A1 (ja) * 2013-05-09 2014-11-13 株式会社ソニー・コンピュータエンタテインメント 情報処理装置およびアプリケーション実行方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3666352B1 (en) 2011-10-28 2021-12-01 Magic Leap, Inc. Method and device for augmented and virtual reality
KR101874895B1 (ko) * 2012-01-12 2018-07-06 삼성전자 주식회사 증강 현실 제공 방법 및 이를 지원하는 단말기
US9310611B2 (en) * 2012-09-18 2016-04-12 Qualcomm Incorporated Methods and systems for making the use of head-mounted displays less obvious to non-users
JP2014149712A (ja) * 2013-02-01 2014-08-21 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム
JP2014191718A (ja) * 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
WO2014162823A1 (ja) 2013-04-04 2014-10-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9245388B2 (en) * 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
JP6362391B2 (ja) * 2014-04-10 2018-07-25 キヤノン株式会社 情報処理端末、情報処理方法及びコンピュータプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014518596A (ja) * 2011-03-29 2014-07-31 クアルコム，インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
JP2012221249A (ja) * 2011-04-08 2012-11-12 Sony Corp 表示制御装置、表示制御方法、およびプログラム
WO2014181380A1 (ja) * 2013-05-09 2014-11-13 株式会社ソニー・コンピュータエンタテインメント 情報処理装置およびアプリケーション実行方法

Also Published As

Publication number Publication date
JP6780642B2 (ja) 2020-11-04
US20210056765A1 (en) 2021-02-25
US11386626B2 (en) 2022-07-12
CN107683497B (zh) 2022-04-08
US20180174366A1 (en) 2018-06-21
CN107683497A (zh) 2018-02-09
WO2016203792A1 (ja) 2016-12-22
JPWO2016203792A1 (ja) 2018-04-05
US10832479B2 (en) 2020-11-10

Similar Documents

Publication Publication Date Title
JP6780642B2 (ja) 情報処理装置、情報処理方法及びプログラム
US11366516B2 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
US11348316B2 (en) Location-based virtual element modality in three-dimensional content
AU2014281726B2 (en) Virtual object orientation and visualization
CN113168007A (zh) 用于增强现实的系统和方法
US9933853B2 (en) Display control device, display control program, and display control method
US9979946B2 (en) I/O device, I/O program, and I/O method
JP2017531222A (ja) ホログラフィックオブジェクトのためのスマート透明度
EP3847530B1 (en) Display device sharing and interactivity in simulated reality (sr)
CN107209565B (zh) 用于显示固定大小的增强现实对象的方法和系统
US10171800B2 (en) Input/output device, input/output program, and input/output method that provide visual recognition of object to add a sense of distance
JPWO2019044188A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2024512040A (ja) マップのためのデバイス、方法、及びグラフィカルユーザインタフェース
WO2020202747A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
US10885716B1 (en) Mixed reality system user interface placement
CN109313823A (zh) 信息处理装置、信息处理方法和程序
JP6332658B1 (ja) 表示制御装置、及びプログラム
CN112578983A (zh) 手指取向触摸检测

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201112

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211217

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220510