JP2014191718A - 表示制御装置、表示制御方法および記録媒体 - Google Patents

表示制御装置、表示制御方法および記録媒体 Download PDF

Info

Publication number
JP2014191718A
JP2014191718A JP2013068395A JP2013068395A JP2014191718A JP 2014191718 A JP2014191718 A JP 2014191718A JP 2013068395 A JP2013068395 A JP 2013068395A JP 2013068395 A JP2013068395 A JP 2013068395A JP 2014191718 A JP2014191718 A JP 2014191718A
Authority
JP
Japan
Prior art keywords
virtual object
display control
control unit
space
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013068395A
Other languages
English (en)
Inventor
Shingo Tsurumi
辰吾 鶴見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013068395A priority Critical patent/JP2014191718A/ja
Priority to US14/169,474 priority patent/US9261954B2/en
Priority to CN201410108001.8A priority patent/CN104077023B/zh
Publication of JP2014191718A publication Critical patent/JP2014191718A/ja
Priority to US15/045,246 priority patent/US9886798B2/en
Priority to US15/855,377 priority patent/US10733807B2/en
Priority to US16/927,665 priority patent/US10922902B2/en
Priority to US17/162,535 priority patent/US11348326B2/en
Priority to US17/745,295 priority patent/US11836883B2/en
Priority to US18/470,971 priority patent/US11954816B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Abstract

【課題】ＡＲ空間に配置された仮想オブジェクトの位置をユーザの意図に従って変更することを可能とする技術を提供する。
【解決手段】撮像部により撮像された画像に映る実オブジェクトの認識結果に応じて実空間に対応する拡張現実空間内に仮想オブジェクトを配置する表示制御部と、ユーザ操作を取得する操作取得部と、を備え、前記表示制御部は、前記ユーザ操作が第１の操作である場合には、前記仮想オブジェクトを前記拡張現実空間内において移動させる、表示制御装置が提供される。
【選択図】図１

Description

本開示は、表示制御装置、表示制御方法および記録媒体に関する。
近年、実空間に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに呈示される情報は、テキスト、アイコンまたはアニメーションなどの様々な形態の仮想的なオブジェクトを用いて可視化され得る。ＡＲ空間へのアノテーションの配置は、通常、画像に映る実空間の３次元構造の認識に基づいて行われる。
実空間の３次元構造を認識するための手法としては、例えば、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）法およびＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）法が知られている。ＳｆＭ法では、視点を変えながら撮像される複数の画像から、それら画像に映る実空間の３次元構造が視差を利用して認識される。ＳＬＡＭ法についての説明は、下記非特許文献１においてなされている。下記特許文献１は、ＳＬＡＭ法において初期化の際に選択される特徴点の３次元位置をＳｆＭ法を用いて認識する手法を開示している。
特開２００９−２３７８４５号公報
Ａｎｄｒｅｗ Ｊ．Ｄａｖｉｓｏｎ，"Ｒｅａｌ−Ｔｉｍｅ Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ ｗｉｔｈ ａ Ｓｉｎｇｌｅ Ｃａｍｅｒａ"，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ９ｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ Ｖｏｌｕｍｅ ２， ２００３， ｐｐ．１４０３−１４１０
一般的に、ＡＲ空間への仮想オブジェクトの配置がなされた後は、仮想オブジェクトはユーザの意図に依らずに事前に定められた状態を維持する。しかし、ユーザは、仮想オブジェクトが配置された後に仮想オブジェクトの状態を変更したいと考える場合がある。例えば、ユーザは、仮想オブジェクトが配置された後に仮想オブジェクトのＡＲ空間における位置を変更したいと考える場合がある。
そこで、本開示において、ＡＲ空間に配置された仮想オブジェクトの位置をユーザの意図に従って変更することを可能とする技術を提案する。
本開示によれば、撮像部により撮像された画像に映る実オブジェクトの認識結果に応じて実空間に対応する拡張現実空間内に仮想オブジェクトを配置する表示制御部と、ユーザ操作を取得する操作取得部と、を備え、前記表示制御部は、前記ユーザ操作が第１の操作である場合には、前記仮想オブジェクトを前記拡張現実空間内において移動させる、表示制御装置が提供される。
また、本開示によれば、撮像部により撮像された画像に映る実オブジェクトの認識結果に応じて実空間に対応する拡張現実空間内に仮想オブジェクトを配置することと、ユーザ操作を取得することと、前記ユーザ操作が第１の操作である場合には、前記仮想オブジェクトを前記拡張現実空間内において移動させることと、を含む、表示制御方法が提供される。
また、本開示によれば、コンピュータを、撮像部により撮像された画像に映る実オブジェクトの認識結果に応じて実空間に対応する拡張現実空間内に仮想オブジェクトを配置する表示制御部と、ユーザ操作を取得する操作取得部と、を備え、前記表示制御部は、前記ユーザ操作が第１の操作である場合には、前記仮想オブジェクトを前記拡張現実空間内において移動させる、表示制御装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体が提供される。
以上説明したように本開示によれば、ＡＲ空間に配置された仮想オブジェクトの位置をユーザの意図に従って変更することが可能である。
本開示の実施形態に係る表示制御装置の概要について説明するための図である。 本開示の実施形態に係る表示制御装置の機能構成例を示す図である。 重力ベクトルを考慮しない場合における仮想オブジェクトの初期表示例を示す図である。 重力ベクトルを考慮しない場合と重力ベクトルを考慮する場合との比較結果を示す図である。 重力ベクトルを考慮する場合における仮想オブジェクトの初期表示例を示す図である。 仮想オブジェクトの初期表示の動作例を示すフローチャートである。 仮想オブジェクトを拡張現実空間内に固定する場合を説明するための図である。 仮想オブジェクトを拡張現実空間内に固定する場合の表示例を示す図である。 仮想オブジェクトを拡張現実空間内において移動させる場合の仮想オブジェクト移動前の表示例を示す図である。 仮想オブジェクトを拡張現実空間内において移動させる場合を説明するための図である。 仮想オブジェクトの位置を移動可能領域にシフトさせる場合を説明するための図である。 仮想オブジェクトを拡張現実空間内において移動させる場合の仮想オブジェクト移動後の表示例を示す図である。 仮想オブジェクトの位置姿勢制御の動作例を示すフローチャートである。 仮想オブジェクトを拡張現実空間内において拡大する場合の仮想オブジェクト拡大前の表示例を示す図である。 仮想オブジェクトを拡張現実空間内において拡大する場合を説明するための図である。 仮想オブジェクトを拡張現実空間内において拡大する場合の仮想オブジェクト拡大後の表示例を示す図である。 仮想オブジェクトのサイズ制御の動作例を示すフローチャートである。 複数の仮想オブジェクトのうちの１の仮想オブジェクトを拡張現実空間内において拡大する場合の仮想オブジェクト拡大前の表示例を示す図である。 複数の仮想オブジェクトのうちの１の仮想オブジェクトを拡張現実空間内において拡大する場合の仮想オブジェクト拡大後の表示例を示す図である。 本開示の実施形態に係る表示制御装置のハードウェア構成例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットまたは数字を付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．実施形態
１−１．表示制御装置の概要
１−２．表示制御装置の機能構成例
１−３．仮想オブジェクトの初期表示
１−４．仮想オブジェクトの位置姿勢制御
１−５．仮想オブジェクトのサイズ制御
１−６．ハードウェア構成例
２．むすび
＜＜１．実施形態＞＞
［１−１．表示制御装置の概要］
最初に、本開示の実施形態に係る表示制御装置１０の概要について説明する。図１は、本開示の実施形態に係る表示制御装置１０の概要について説明するための図である。図１を参照すると、ユーザＵａが有する表示制御装置１０が示されている。表示制御装置１０は、実空間１に向けられた撮像部１２０と操作部１４０と表示部１６０とを備える。撮像部１２０は、実空間１を撮像することによって画像を生成する。
図１に示した例では、表示部１６０は、撮像部１２０によって撮像された画像Ｉｍ１を表示している。ユーザＵａは表示部１６０によって表示された画像Ｉｍ１に視点を当てることにより実空間１を把握することが可能である。しかし、画像Ｉｍ１は必ずしも表示部１６０によって表示されなくてもよい。例えば、表示部１６０が透過型ＨＭＤ（ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）である場合には、表示部１６０によって画像Ｉｍ１は表示されず、ユーザＵａは、画像Ｉｍ１の代わりに実空間１に直接視点を当ててもよい。
また、画像Ｉｍ１には、実オブジェクトＡ１が映っている。例えば、画像Ｉｍ１から実オブジェクトＡ１が認識されると、表示制御装置１０は、実オブジェクトＡ１の認識結果に基づいて、仮想オブジェクトを実空間１に対応するＡＲ空間に配置する。そうすれば、ユーザＵａは、表示制御装置１０によってＡＲ空間に配置された仮想オブジェクトを、表示部１６０を介して閲覧することができる。実オブジェクトＡ１の認識は、表示制御装置１０によってなされてもよいし、表示制御装置１０とは異なる装置（例えば、サーバなど）によってなされてもよい。
ここで、一般的に、ＡＲ空間への仮想オブジェクトの配置がなされた後は、仮想オブジェクトはユーザの意図に依らずに事前に定められた状態を維持する。しかし、ユーザＵａは、仮想オブジェクトが配置された後に仮想オブジェクトの状態を変更したいと考える場合がある。そこで、本開示においては、ＡＲ空間に配置された仮想オブジェクトの状態をユーザの意図に従って変更することを可能とする技術を提案する。
なお、以下の説明においては、表示制御装置１０がカメラ機能付きのスマートフォンに適用される場合を例として説明するが、表示制御装置１０は、スマートフォン以外の装置に適用されてもよい。例えば、表示制御装置１０は、ビデオカメラ、デジタルカメラ、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、携帯電話、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器、望遠鏡、双眼鏡等に適用されてもよい。
以上、本開示の実施形態に係る表示制御装置の概要について説明した。
［１−２．表示制御装置の機能構成例］
続いて、本開示の実施形態に係る表示制御装置１０の機能構成例について説明する。図２は、本開示の実施形態に係る表示制御装置１０の機能構成例を示す図である。図２に示すように、表示制御装置１０は、制御部１１０、撮像部１２０、センサ部１３０、操作部１４０、記憶部１５０および表示部１６０を備える。
制御部１１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのプロセッサに相当する。制御部１１０は、記憶部１５０または他の記憶媒体に記憶されるプログラムを実行することにより、制御部１１０が有する様々な機能を発揮する。制御部１１０は、操作取得部１１１、センサデータ取得部１１２、画像認識部１１３、環境認識部１１４および表示制御部１１５などの各機能ブロックを有する。これら各機能ブロックが有する機能については後に説明する。
撮像部１２０は、画像を撮像するカメラモジュールである。撮像部１２０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を用いて実空間を撮像し、画像を生成する。撮像部１２０により生成される画像は、制御部１１０に出力される。なお、図２に示した例では、撮像部１２０は表示制御装置１０と一体化されているが、撮像部１２０は、表示制御装置１０と別体に構成されていてもよい。例えば、表示制御装置１０と有線または無線で接続される撮像装置が撮像部１２０として扱われてもよい。
センサ部１３０は、センサデータを取得する。例えば、センサ部１３０は、３軸加速度センサを含む。３軸加速度センサは、撮像部１２０に加わる重力加速度を測定し、重力加速度の大きさおよび方向を３次元的に表すセンサデータ（加速度データ）を生成する。追加的に、センサ部１３０は、地磁気センサを含んでもよい。地磁気センサは、撮像部１２０の座標系における地磁気の方向を表すセンサデータ（地磁気データ）を生成する。さらに、センサ部１３０は、測位センサ（例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサ）を含んでもよい。測位センサは、実空間における表示制御装置１０の緯度および経度を表すセンサデータ（測位データ）を生成する。なお、図２に示した例では、センサ部１３０は表示制御装置１０と一体化されているが、センサ部１３０は、表示制御装置１０と別体に構成されていてもよい。
操作部１４０は、ユーザによる操作を検出して制御部１１０に出力する。本明細書においては、操作部１４０がタッチパネルにより構成される場合を想定しているため、ユーザによる操作はタッチパネルをタップする操作に相当する。しかし、操作部１４０はタッチパネル以外のハードウェア（例えば、ボタン等）により構成されていてもよい。なお、図２に示した例では、操作部１４０は表示制御装置１０と一体化されているが、操作部１４０は、表示制御装置１０と別体に構成されていてもよい。
記憶部１５０は、半導体メモリまたはハードディスクなどの記憶媒体を用いて、制御部１１０を動作させるためのプログラムを記憶する。また、例えば、記憶部１５０は、プログラムによって使用される各種のデータ（例えば、各種のセンサデータ、仮想オブジェクトなど）を記憶することもできる。なお、図２に示した例では、記憶部１５０は表示制御装置１０と一体化されているが、記憶部１５０は表示制御装置１０と別体に構成されていてもよい。
表示部１６０は、表示制御部１１５による制御に従って、各種情報の表示を行う。表示部１６０は、例えば、表示制御装置１０により生成されるＡＲアプリケーションの画像を表示する。表示部１６０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ装置などにより構成される。なお、図２に示した例では、表示部１６０は表示制御装置１０と一体化されているが、表示部１６０は表示制御装置１０と別体に構成されていてもよい。例えば、表示制御装置１０と有線または無線で接続される表示装置が表示部１６０として扱われてもよい。
以上、本開示の実施形態に係る表示制御装置１０の機能構成例について説明した。
次節以降においては、本開示の表示制御装置１０が有する機能として、「仮想オブジェクトの初期表示」、「仮想オブジェクトの位置姿勢制御」および「仮想オブジェクトのサイズ制御」の順に説明を続ける。なお、「仮想オブジェクトの初期表示」、「仮想オブジェクトの位置姿勢制御」および「仮想オブジェクトのサイズ制御」それぞれにおいて説明する機能は、すべてが組み合わされて用いられてもよいし、一部のみが組み合わされて用いられてもよい。
［１−３．仮想オブジェクトの初期表示］
まず、仮想オブジェクトの初期表示について説明する。図３を参照すると、撮像部１２０によって撮像された画像Ｉｍ２には、実オブジェクトＡ１が映っている。また、画像認識部１１３によって実オブジェクトＡ１が認識され、認識結果に応じた仮想オブジェクトＶ１が表示制御部１１５によって実空間に対応するＡＲ空間に配置されている。したがって、表示部１６０には、ＡＲ空間に配置された仮想オブジェクトＶ１が表示されている。
より詳細には、画像認識部１１３によって実オブジェクトＡ１の位置および姿勢が認識されると、表示制御部１１５は、実オブジェクトＡ１の位置に従って仮想オブジェクトＶ１の位置を特定するとともに実オブジェクトＡ１の姿勢に従って仮想オブジェクトＶ１の姿勢を特定し、特定した位置および姿勢に従って仮想オブジェクトＶ１を配置する。実オブジェクトＡ１の位置と仮想オブジェクトＶ１の位置との関係は、あらかじめ定められていてよい。また、実オブジェクトＡ１の姿勢と仮想オブジェクトＶ１の姿勢との関係もあらかじめ定められていてよい。
例えば、画像認識部１１３は、画像Ｉｍ２に含まれる部分画像と、特徴データに含まれる各特徴点のパッチとを照合し、画像Ｉｍ２に含まれる特徴点を検出する。画像認識部１１３は、画像Ｉｍ２内のある領域に実オブジェクトＡ１に属する特徴点が高い密度で検出された場合には、その領域に実オブジェクトＡ１が映っていると認識し得る。画像認識部１１３は、検出された特徴点の間の位置関係と３次元形状データとに基づいて、認識された実オブジェクトＡ１の位置および姿勢をさらに認識し得る。
図３に示した例では、ユーザＵａが水族館に訪れた際に、水槽の奥の壁面に実オブジェクトＡ１が存在している。ユーザＵａが撮像部１２０を実オブジェクトＡ１にかざし、画像認識部１１３によって実オブジェクトＡ１が認識されると、認識結果に応じた仮想オブジェクトＶ１の例としてのサメが、表示制御部１１５によって実空間に対応するＡＲ空間に配置される。しかし、仮想オブジェクトＶ１はサメ以外のいかなる仮想オブジェクトであってもよい。
また、図３に示した例では、表示制御部１１５が、仮想オブジェクトＶ１のＡＲ空間におけるサイズをサイズＭ１として表示させている。仮想オブジェクトＶ１のＡＲ空間におけるサイズは後に説明するような手法によって定められていてよい。また、表示制御部１１５が、仮想オブジェクトＶ１の実物大に対する仮想オブジェクトＶ１のＡＲ空間における現在のサイズの割合を割合Ｎ１として表示させている。例えば、仮想オブジェクトＶ１の実物大もあらかじめ登録されていてよい。なお、仮想オブジェクトの実物大とは、仮想オブジェクトに対応する実オブジェクトのサイズを意味する。仮想オブジェクトとしてサメを想定する場合には、仮想オブジェクトの実物大とは、実オブジェクトとしてのサメのサイズを意味する。
ここで、例えば、実オブジェクトＡ１の姿勢が正常ではない場合などには、ＡＲ空間に配置される仮想オブジェクトＶ１の姿勢が正常ではなくなることが想定される。例えば、実オブジェクトＡ１が水平面上に置かれた場合に、仮想オブジェクトＶ１の姿勢が正常となるように実オブジェクトＡ１の姿勢と仮想オブジェクトＶ１の姿勢との関係が定められている場合を想定する。かかる場合、図３に示したように、実オブジェクトＡ１が壁面に存在する場合には、仮想オブジェクトＶの姿勢が正常ではなくなることが予想される。
そこで、本節においては、実オブジェクトＡ１の姿勢が正常であるか否かに関わらず、仮想オブジェクトＶ１の初期表示を正常に行うための技術を提案する。
図４に示したように、正常な姿勢で実オブジェクトＡ０が置かれているとする。かかる場合には、実オブジェクトＡ０の位置および姿勢に従ってＡＲ空間に配置される仮想オブジェクトＶ０も正常となる。一方、上記したように、正常ではない姿勢で実オブジェクトＡ１が置かれているとする。かかる場合には、実オブジェクトＡ１の位置および姿勢に従ってＡＲ空間に配置される仮想オブジェクトＶ１も正常ではなくなる。
このような場合、例えば、表示制御部１１５は、重力ベクトルＧに応じた姿勢となるように仮想オブジェクトＶ２を配置すればよい。重力ベクトルＧは、センサ部１３０によって加速度データが検出された場合には、その加速度センサがセンサデータ取得部１１２によって重力ベクトルＧとして取得され得る。例えば、表示制御部１１５は、重力ベクトルＧが示す方向と仮想オブジェクトＶ１の姿勢とが満たすべき関係があらかじめ定められていれば、かかる関係を満たすように仮想オブジェクトＶ１を回転させればよい。
図４を参照すると、重力ベクトルＧが示す方向と仮想オブジェクトＶ１の姿勢とが満たすべき関係を満たすように仮想オブジェクトＶ１が回転された結果が、仮想オブジェクトＶ２として示されている。また、図５を参照すると、画像Ｉｍ３が撮像されており、かかる関係を満たすように仮想オブジェクトＶ１が回転された結果が、仮想オブジェクトＶ２として示されている。このように、重力ベクトルＧを考慮して仮想オブジェクトＶ１の姿勢を変更することにより、正常な姿勢となるようにＡＲ空間内に仮想オブジェクトＶ１を配置することが可能となる。

より詳細には、表示制御部１１５は、重力ベクトルＧが示す方向と実オブジェクトＡ１の法線ベクトルの反対ベクトルとの関係によって、実オブジェクトＡ１がどのような姿勢であるかを把握し、実オブジェクトＡ１の姿勢に応じて仮想オブジェクトＶ１の回転度合いを決めてもよい。
例えば、表示制御部１１５は、重力ベクトルＧが示す方向と実オブジェクトＡ１の法線ベクトルの反対ベクトルとのなす角が０度以上の場合であり、かつ、４５度未満（または４５度以下）である場合には、実オブジェクトＡ１が床面に配置されていると判断してもよい。かかる場合において、実オブジェクトＡ１の法線ベクトル方向に仮想オブジェクトＶ１が配置される場合には、表示制御部１１５は、仮想オブジェクトＶを回転させなくてよい。
また、例えば、表示制御部１１５は、重力ベクトルＧが示す方向と実オブジェクトＡ１の法線ベクトルの反対ベクトルとのなす角が４５度以上の場合（または４５度を上回る場合）であり、かつ、１３５度未満である場合には、実オブジェクトＡ１が壁面に貼られていると判断してもよい。かかる場合において、実オブジェクトＡ１の法線ベクトル方向に仮想オブジェクトＶ１が配置される場合には、表示制御部１１５は、仮想オブジェクトＶを重力ベクトルＧが示す方向に９０度回転させてもよい。
また、例えば、表示制御部１１５は、重力ベクトルＧが示す方向と実オブジェクトＡ１の法線ベクトルの反対ベクトルとのなす角が１３５度以上の場合（または１３５度を上回る場合）であり、かつ、１８０度以下である場合には、実オブジェクトＡ１が天井に貼られていると判断してもよい。かかる場合において、実オブジェクトＡ１の法線ベクトル方向に仮想オブジェクトＶ１が配置される場合には、表示制御部１１５は、仮想オブジェクトＶを重力ベクトルＧが示す方向に１８０度回転させてもよい。
図６は、仮想オブジェクトＶ２の初期表示の動作例を示すフローチャートである。まず、撮像部１２０により画像が撮像されると、画像認識部１１３は、撮像部１２０により撮像された画像から実オブジェクトＡ１を認識する（Ｓ１１）。画像認識部１１３は、実オブジェクトＡ１の位置および姿勢を算出する（Ｓ１２）。また、センサデータ取得部１１２は、センサ部１３０により検出されたセンサデータを取得し、センサデータに基づいて重力ベクトルを特定する（Ｓ１４）。例えば、センサデータとして加速度データが取得された場合には、加速度データを重力ベクトルとして特定してよい。
表示制御部１１５は、実オブジェクトＡ１の位置に応じて仮想オブジェクトＶ１の位置を特定する（Ｓ１５）。続いて、表示制御部１１５は、重力ベクトルに応じて仮想オブジェクトの姿勢を特定する（Ｓ１６）。表示制御部１１５は、特定した位置および姿勢に基づいてＡＲ空間に仮想オブジェクトＶ２を配置する（Ｓ１７）。制御部１１０は、画像認識部１１３による実オブジェクトＡ１の認識が継続していれば（Ｓ１８で「Ｙｅｓ」）、動作を終了してもよいが、画像認識部１１３による実オブジェクトＡ１の認識が継続中であれば、ステップＳ１１に戻ってよい。
以上、仮想オブジェクトの初期表示について説明した。
［１−４．仮想オブジェクトの位置姿勢制御］
続いて、仮想オブジェクトの位置姿勢制御について説明する。図７を参照すると、ＡＲ空間２には、表示制御部１１５により仮想オブジェクトＶ２が配置されている。ここで、図７に示したように、撮像部１２０の位置および姿勢は、それぞれＰ１およびＱ１であり、仮想オブジェクトＶ２の位置および姿勢は、それぞれｐ１およびｑ１であるとする。この状態で撮像部１２０の位置および姿勢が、それぞれＰ２およびＱ２に変化したとする。この場合、一般的には、仮想オブジェクトＶ２は、ＡＲ空間内に固定される。しかし、ユーザＵａは、仮想オブジェクトＶ２が配置された後に仮想オブジェクトＶ２のＡＲ空間における位置を変更したいと考える場合がある。
例えば、ユーザＵａがこれから仮想オブジェクトＶ２の写真撮影を行おうとしている場面を想定すれば、仮想オブジェクトＶ２を移動させて背景を決めた後に仮想オブジェクトＶ２の写真撮影を行いたいと望む場合も想定される。また、例えば、実オブジェクトＡ１を撮像範囲内に収めたくないとユーザＵａが考えた場合には、実オブジェクトＡ１が撮像範囲から外れるような位置に仮想オブジェクトＶ２を移動させてから仮想オブジェクトＶ２の写真撮影を行いたいと望む場合も想定される。
そこで、本節においては、ＡＲ空間に配置された仮想オブジェクトＶ２の位置をユーザの意図に従って変更することを可能とする技術を提案する。
まず、ＡＲ空間に配置された仮想オブジェクトＶ２の位置を変更しない場合を説明する。例えば、表示制御部１１５は、第１の操作がなされていない間は、仮想オブジェクトＶ２をＡＲ空間内に固定すればよい。第１の操作はどのような操作であってもよいが、仮想オブジェクトＶ２を指定する操作であってもよい。以下では、第１の操作として、仮想オブジェクトＶ２を指定する操作を用いる場合を例に説明する。仮想オブジェクトＶ２を指定する操作は、例えば、仮想オブジェクトＶ２を１または複数の操作体を用いて指定する操作を含んでもよい。
仮想オブジェクトＶ２を指定する操作は、例えば、仮想オブジェクトＶ２をタップする操作であってもよい。また、仮想オブジェクトＶ２を指定する操作は、表示部１６０が透過型ＨＭＤの場合には、仮想オブジェクトＶ２を二本の操作体（例えば、二本の指）で挟み込む操作であってもよい。あるいは、仮想オブジェクトＶ２を指定する操作は、仮想オブジェクトＶ２に視線を当てるというジェスチャであってもよい。例えば、仮想オブジェクトＶ２の指定が開始されてから解除されるまでの間、仮想オブジェクトＶ２を指定する操作がなされているとしてよい。
図７に示したように、仮想オブジェクトＶ２を指定しない状態で撮像部１２０の位置および姿勢が、それぞれＰ２およびＱ２に変化したとする。表示制御部１１５は、仮想オブジェクトＶ２を指定しない状態では、仮想オブジェクトＶ２をＡＲ空間内に固定すればよい。例えば、表示制御部１１５は、仮想オブジェクトＶ２を指定しない状態では、撮像部１２０と仮想オブジェクトＶ２との距離に応じて仮想オブジェクトＶ２の画像におけるサイズを変化させればよい。
例えば、図８を参照すると、画像Ｉｍ４が撮像されている。図８に示したように、表示制御部１１５は、仮想オブジェクトＶ２を指定しない状態では、ユーザＵａが仮想オブジェクトＶ２から遠ざかり、撮像部１２０と仮想オブジェクトＶ２とが遠ざかるにつれて、仮想オブジェクトＶ２の画像Ｉｍ４におけるサイズを小さくすればよい。
また、表示制御部１１５は、仮想オブジェクトＶ２を指定しない状態では、撮像部１２０を基準とした仮想オブジェクトＶ２の姿勢に応じて仮想オブジェクトＶ２の画像における姿勢を変化させればよい。例えば、表示制御部１１５は、仮想オブジェクトＶ２を指定しない状態では、ユーザＵａが撮像方向を変更し、撮像部１２０を基準とした仮想オブジェクトＶ２の姿勢が変化した場合には、変化後の姿勢に応じて仮想オブジェクトＶ２の画像における姿勢を変化させればよい。
一方、表示制御部１１５は、操作取得部１１１によって取得されたユーザ操作が、仮想オブジェクトＶ２を指定する操作である場合には、仮想オブジェクトＶ２をＡＲ空間内において移動させればよい。表示制御部１１５は、仮想オブジェクトＶ２をＡＲ空間内において移動させている間、何らかの出力を制御してもよい。例えば、表示制御部１１５は、仮想オブジェクトＶ２をＡＲ空間内において移動させている間、仮想オブジェクトＶ２を移動させている旨を表示させてもよい。
例えば、図９に示したように、表示制御部１１５は、仮想オブジェクトＶ２が「移動中」である旨を示すメッセージＬ１を表示させてもよい。しかし、仮想オブジェクトＶ２を移動させている旨はメッセージ以外であってもよい。例えば、表示制御部１１５は、仮想オブジェクトＶ２を移動させている旨を、仮想オブジェクトＶ２に動きを持たせることにより表示させてもよい。
仮想オブジェクトＶ２をどのように移動させるかについては限定されない。一例として、図１０に示したように、表示制御部１１５は、仮想オブジェクトＶ２を指定した状態で、撮像部１２０の位置がＰ２からＰ３に変化し、撮像部１２０の姿勢がＱ２からＱ３に変化した場合、表示制御部１１５は、撮像部１２０と仮想オブジェクトＶ２との相対的な位置関係を維持した状態で、仮想オブジェクトＶ２をＡＲ空間内において移動させればよい。
このようにして仮想オブジェクトＶ２をＡＲ空間内において移動させる場合には、仮想オブジェクトＶ２が撮像範囲に固定され得る。したがって、表示制御部１１５は、仮想オブジェクトＶ２が撮像範囲に固定されることを示す何らかの仮想オブジェクト（例えば、仮想オブジェクトＶ２に刺し込まれる串など）を表示させてもよい。図１０に示した例では、仮想オブジェクトＶ２の位置がｐ１からｐ２に移動され、仮想オブジェクトＶ２の姿勢がｑ１からｑ２に変化されている。
また、表示制御部１１５は、どのような手法によって撮像部１２０の位置および姿勢を把握してもよい。例えば、表示制御部１１５は、環境認識部１１４による環境認識の結果に基づいて、撮像部１２０の位置および姿勢を把握してもよい。環境認識部１１４による環境認識としては、ＳＬＡＭ法に従った演算を用いることが可能である。ＳＬＡＭ法に従った演算によれば、撮像部１２０により撮像される画像に映る実空間の三次元構造と撮像部１２０の位置および姿勢とを動的に認識することが可能である。
なお、図１０には、表示制御部１１５が仮想オブジェクトＶ２を指定する操作により指定される１の仮想オブジェクトＶ２をＡＲ空間内において移動される例を示したが、移動される仮想オブジェクトの数は１つでなくてもよい。表示制御部１１５は、操作取得部１１１によって取得されたユーザ操作が、仮想オブジェクトを指定する操作である場合には、仮想オブジェクトを指定する操作により指定される１または複数の仮想オブジェクトをＡＲ空間内において移動させてもよい。
かかる構成によって、ユーザＵａは、仮想オブジェクトＶ２を指定する操作を開始してから解除するまでの間に撮像部１２０の位置および姿勢を変化させることで、仮想オブジェクトＶ２を移動させることが可能である。したがって、あたかもドラッグ＆ドロップ操作を用いて仮想オブジェクトＶ２を移動させるような感覚をユーザＵａに与えることができ、ＡＲ空間内における仮想オブジェクトＶ２の移動をユーザＵａに対して直感的に行わせることができる。
ここで、仮想オブジェクトＶ２の移動先の環境は様々な環境であることが予想される。したがって、表示制御部１１５は、移動先の仮想オブジェクトＶ２の環境に基づいて、仮想オブジェクトＶ２を制御してもよい。例えば、図１１に示したように、表示制御部１１５は、仮想オブジェクトＶ２の移動先の環境が移動不可能領域Ｒ２である場合には、仮想オブジェクトＶ２の位置を移動可能領域Ｒ１にシフトさせてもよい。移動不可能領域Ｒ２は、例えば、柱や壁などといった実オブジェクトであれば外部から侵入し得ないような領域であってもよい。
あるいは、表示制御部１１５は、仮想オブジェクトＶ２の移動先の環境に応じた動きを仮想オブジェクトＶ２に行わせるようにしてもよい。例えば、仮想オブジェクトＶ２の移動先の環境が海である場合には、仮想オブジェクトＶ２が泳ぎ始めるようなアニメーションを仮想オブジェクトＶ２に対して施してもよい。また、例えば、仮想オブジェクトＶ２の移動先の環境が陸である場合には、仮想オブジェクトＶ２の泳ぎが停止するようなアニメーションを仮想オブジェクトＶ２に対して施してもよい。
図１２は、仮想オブジェクトＶ２をＡＲ空間内において移動させた場合における仮想オブジェクトＶ２の移動後の表示例を示す図である。図１２を参照すると、画像Ｉｍ５が撮像されており、仮想オブジェクトＶ２が移動されている。このようにして、ＡＲ空間に配置された仮想オブジェクトＶ２の位置をユーザの意図に従って変更することが可能となる。図１２に示した例では、水族館を背景とし、ユーザＵａの家族と仮想オブジェクトＶ２とを同一の撮像範囲内に収めることが可能となっている。
図１３は、仮想オブジェクトＶ２の位置姿勢制御の動作例を示すフローチャートである。まず、環境認識部１１４により環境認識が開始され（Ｓ２１）、操作取得部１１１によってユーザ操作が取得される。表示制御部１１５は、仮想オブジェクトＶ２を指定する操作がなされていない場合には（Ｓ２２で「Ｎｏ」）、仮想オブジェクトＶ２をＡＲ空間に固定し、制御部１１０はＳ２７に進む。
一方、表示制御部１１５は、仮想オブジェクトＶ２を指定する操作がなされた場合には（Ｓ２２で「Ｙｅｓ」）、仮想オブジェクトＶ２をＡＲ空間において移動させ（Ｓ２４）、移動先の環境に基づいて仮想オブジェクトＶ２を制御する（Ｓ２５）。さらに、表示制御部１１５は、仮想オブジェクトＶ２を移動させている旨を表示させ（Ｓ２６）、制御部１１０はＳ２７に進む。制御部１１０は、環境認識部１１４による環境認識が継続していれば（Ｓ２７で「Ｙｅｓ」）、動作を終了してもよいが、環境認識部１１４による環境認識が継続中であれば、Ｓ２２に戻ってよい。
以上、仮想オブジェクトの位置姿勢制御について説明した。
［１−５．仮想オブジェクトのサイズ制御］
続いて、仮想オブジェクトのサイズ制御について説明する。図１４を参照すると、ＡＲ空間２には、表示制御部１１５により仮想オブジェクトＶ２が配置されている。ここで、一般的には、実オブジェクトＡ１の画像におけるサイズに応じて、仮想オブジェクトＶ２の画像におけるサイズが決定される。しかし、ユーザＵａは、仮想オブジェクトＶ２が配置された後に仮想オブジェクトＶ２のＡＲ空間におけるサイズを変更したいと考える場合がある。
例えば、ユーザＵａがこれから仮想オブジェクトＶ２の写真撮影を行おうとしている場面を想定すれば、実物大までＡＲ空間におけるサイズを大きくしてから仮想オブジェクトＶ２の写真撮影を行いたいと望む場合も想定される。そこで、本節においては、ＡＲ空間に配置された仮想オブジェクトＶ２のＡＲ空間におけるサイズをユーザの意図に従って変更することを可能とする技術を提案する。
具体的には、表示制御部１１５は、ユーザ操作が第２の操作である場合には、第２の操作に基づいて仮想オブジェクトＶ２のＡＲ空間におけるサイズを変更すればよい。第２の操作はどのような操作であってもよいが、例えば、図１４に示すように、複数の操作体の間の距離を変更する操作を含んでもよい。例えば、ユーザ操作が、複数の操作体の間の距離を近づける操作（例えば、ピンチイン操作）である場合には、仮想オブジェクトＶ２のＡＲ空間におけるサイズを縮小させればよい。
また、例えば、ユーザ操作が、複数の操作体の間の距離を遠ざける操作（例えば、ピンチアウト操作）である場合には、仮想オブジェクトＶ２のＡＲ空間におけるサイズを拡大させればよい。図１５を参照すると、仮想オブジェクトのＡＲ空間におけるサイズが拡大された結果、ＡＲ空間に配置されている仮想オブジェクトが仮想オブジェクトＶ２から仮想オブジェクトＶ３に変更された様子が示されている。
図１６は、仮想オブジェクトをＡＲ空間内において拡大する場合の仮想オブジェクト拡大後の表示例を示す図である。図１６に示したように、仮想オブジェクトＶ３を拡大することが可能である場合において、仮想オブジェクトＶ３の拡大に限度を設けてもよい。（あるいは、仮想オブジェクトＶ３を縮小することが可能である場合において、仮想オブジェクトＶ３の縮小に限度を設けてもよい。）例えば、図１６には画像Ｉｍ６が示されているが、図１６に示したように、表示制御部１１５は、仮想オブジェクトのＡＲ空間におけるサイズが仮想オブジェクトの実物大に達した場合には、仮想オブジェクトの拡大を停止すればよい。
また、表示制御部１１５は、仮想オブジェクトのＡＲ空間におけるサイズが仮想オブジェクトの実物大に達した場合には、仮想オブジェクトのＡＲ空間におけるサイズが仮想オブジェクトの実物大に達した旨を表示させてもよい。例えば、図１６に示したように、表示制御部１１５は、仮想オブジェクトのＡＲ空間におけるサイズが実物大に達した旨を示すメッセージＬ２を表示させてもよい。
また、図１６に示した例では、表示制御部１１５が、仮想オブジェクトＶ３のＡＲ空間におけるサイズをサイズＭ２として表示させている。また、表示制御部１１５が、仮想オブジェクトＶ３の実物大に対する仮想オブジェクトＶ３のＡＲ空間における現在のサイズの割合を割合Ｎ２として表示させている。
ここで、仮想オブジェクトのＡＲ空間におけるサイズが仮想オブジェクトの実物大に達したか否かを判断する手法は特に限定されない。一例として、表示制御部１１５は、実オブジェクトＡ１の実物大に関する既知のデータと、実オブジェクトＡ１の画像におけるサイズと、仮想オブジェクトの実物大に関する既知のデータとに基づいて、仮想オブジェクトのＡＲ空間におけるサイズが仮想オブジェクトの実物大に達したか否かを判断すればよい。
より詳細には、表示制御部１１５は、既知のデータとして、実オブジェクトＡ１の実物大が登録されている場合、実オブジェクトＡ１の画像におけるサイズに対する実オブジェクトＡ１の実物大の割合を算出すればよい。そうすれば、表示制御部１１５は、実オブジェクトＡ１と仮想オブジェクトとが撮像部１２０から同じ距離に存在するときには、算出した割合を仮想オブジェクトの画像におけるサイズに乗じることにより仮想オブジェクトのＡＲ空間におけるサイズを算出することができる。
なお、実オブジェクトＡ１と仮想オブジェクトとが撮像部１２０から異なる距離に存在しても、仮想オブジェクトのＡＲ空間におけるサイズを算出することができる。例えば、実オブジェクトＡ１の画像におけるサイズに対する実オブジェクトＡ１の実物大の割合を用いれば、撮像部１２０の位置を基準とした実オブジェクトＡ１の実空間における位置を把握することができる。また、ユーザＵａが撮像範囲に仮想オブジェクトが収まる位置まで撮像部１２０を移動させたとしても、表示制御部１１５は、環境認識の結果に基づいて、撮像部１２０の位置を基準とした実オブジェクトＡ１の実空間における位置および仮想オブジェクトのＡＲ空間における位置を把握することができる。
そして、表示制御部１１５は、撮像部１２０の位置を基準とした仮想オブジェクトのＡＲ空間における位置を用いて、仮想オブジェクトの画像におけるサイズから仮想オブジェクトのＡＲ空間におけるサイズを把握することができる。既知のデータとして、仮想オブジェクトの実物大が登録されている場合には、表示制御部１１５は、仮想オブジェクトの実物大と仮想オブジェクトのＡＲ空間におけるサイズとを比較することによって、仮想オブジェクトのＡＲ空間におけるサイズが仮想オブジェクトの実物大に達したか否かを判断することができる。
一般的には、実オブジェクトの画像におけるサイズに応じて仮想オブジェクトの画像におけるサイズが決定されるため、ＡＲ空間において所望のサイズの仮想オブジェクトを配置するためには、実オブジェクトの実空間におけるサイズを調整するか、画像に映る実オブジェクトのサイズを調整する必要があった。本実施形態に係る仮想オブジェクトのサイズ制御によれば、ユーザ操作に従ってＡＲ空間において所望のサイズの仮想オブジェクトを配置することが可能となる。
図１７は、仮想オブジェクトのサイズ制御の動作例を示すフローチャートである。まず、環境認識部１１４により環境認識が開始され（Ｓ３１）、操作取得部１１１によってユーザ操作が取得される。制御部１１０は、サイズ変更操作がなされていない場合には（Ｓ３２で「Ｎｏ」）、Ｓ３７に進む。
一方、表示制御部１１５は、サイズ変更操作がなされた場合には（Ｓ３２で「Ｙｅｓ」）、仮想オブジェクトのＡＲ空間におけるサイズを調整し（Ｓ３３）、制御部１１０は、仮想オブジェクトのＡＲ空間におけるサイズが実物大に達していない場合には（Ｓ３４で「Ｎｏ」）、Ｓ３７に進む。一方、表示制御部１１５は、仮想オブジェクトのＡＲ空間におけるサイズが実物大に達した場合には（Ｓ３４で「Ｙｅｓ」）、仮想オブジェクトの拡大を停止し（Ｓ３５）、仮想オブジェクトのＡＲ空間におけるサイズが実物大に達した旨を表示させ（Ｓ３６）、制御部１１０は、Ｓ３７に進む。
制御部１１０は、環境認識部１１４による環境認識が継続していれば（Ｓ３７で「Ｙｅｓ」）、動作を終了してもよいが、環境認識部１１４による環境認識が継続中であれば、Ｓ３１に戻ってよい。
以上においては、仮想オブジェクトが１つである場合を説明したが、仮想オブジェクトは複数存在する場合も想定される。かかる場合には、複数の仮想オブジェクトの一部のサイズを調整してもよいし、複数の仮想オブジェクトの全部のサイズを調整してもよい。例えば、表示制御部１１５は、撮像部１２０と複数の仮想オブジェクトそれぞれとの距離に応じてサイズ変更対象の仮想オブジェクトを選択してもよい。
図１８は、仮想オブジェクトＶ１１、Ｖ２のうち、仮想オブジェクトＶ２をＡＲ空間内において拡大する場合の仮想オブジェクトＶ２拡大前の表示例を示す図である。図１８を参照すると、画像Ｉｍ７が撮像されている。図１９は、仮想オブジェクトＶ２拡大後の表示例を示す図である。図１８を参照すると、画像Ｉｍ８が撮像されている。これらの図に示した例では、表示制御部１１５は、撮像部１２０から最も近い仮想オブジェクト（撮像部１２０から見て最も手前に存在する仮想オブジェクト）をサイズ変更対象として選択している。
かかる場合、例えば、撮像部１２０から最も近い仮想オブジェクトは他の仮想オブジェクトと区別される態様によって表示されてもよい。例えば、撮像部１２０から最も近い仮想オブジェクトは動きを有し、他の仮想オブジェクトは静止するように表示されてもよい。しかし、複数の仮想オブジェクトの一部のサイズを調整する手法は、かかる例に限定されない。
例えば、表示制御部１１５は、ユーザＵａによって選択操作がなされた場合には、選択操作に基づいてサイズ変更対象の仮想オブジェクトを選択してもよい。選択操作は限定されないが、例えば、タップ操作であってもよい。あるいは、サイズ変更操作が、ピンチアウト操作やピンチイン操作である場合には、表示制御部１１５は、ピンチアウト操作やピンチイン操作のときに操作体によって直接的に指定された仮想オブジェクトを選択してもよい。
以上、仮想オブジェクトのサイズ制御について説明した。
［１−６．ハードウェア構成例］
続いて、本開示の実施形態に係る表示制御装置１０のハードウェア構成例について説明する。図１９は、本開示の実施形態に係る表示制御装置１０のハードウェア構成例を示す図である。ただし、図１９に示したハードウェア構成例は、表示制御装置１０のハードウェア構成の一例を示したに過ぎない。したがって、表示制御装置１０のハードウェア構成は、図１９に示した例に限定されない。
図１９に示したように、表示制御装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８０３と、センサ８０４と、入力装置８０８と、出力装置８１０と、ストレージ装置８１１と、ドライブ８１２と、撮像装置８１３と、通信装置８１５とを備える。
ＣＰＵ８０１は、演算処理装置および制御装置として機能し、各種プログラムに従って表示制御装置１０内の動作全般を制御する。また、ＣＰＵ８０１は、マイクロプロセッサであってもよい。ＲＯＭ８０２は、ＣＰＵ８０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ８０３は、ＣＰＵ８０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバスにより相互に接続されている。
センサ８０４は、表示制御装置１０の状態を検知するための端末状態検知センサなどの各種検知用センサとその周辺回路からなる。センサ８０４としては、一例として、傾きセンサ、加速度センサ、方位センサ、温度センサ、湿度センサ、照度センサなどを挙げることができる。センサ８０４による検知信号は、ＣＰＵ８０１に送られる。これにより、ＣＰＵ８０１は、表示制御装置１０の状態（傾き、加速度、方位、温度、湿度、照度など）を知ることができる。
入力装置８０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力部と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ８０１に出力する入力制御回路などから構成されている。表示制御装置１０のユーザは、該入力装置８０８を操作することにより、表示制御装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置８１０は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置およびランプなどの表示装置を含む。さらに、出力装置８１０は、スピーカおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、撮像された画像や生成された画像などを表示する。一方、音声出力装置は、音声データ等を音声に変換して出力する。
ストレージ装置８１１は、表示制御装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置８１１は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置８１１は、ＣＰＵ８０１が実行するプログラムや各種データを格納する。
ドライブ８１２は、記憶媒体用リーダライタであり、表示制御装置１０に内蔵、あるいは外付けされる。ドライブ８１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体７１に記録されている情報を読み出して、ＲＡＭ８０３に出力する。また、ドライブ８１２は、リムーバブル記憶媒体７１に情報を書き込むこともできる。
撮像装置８１３は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系、およびＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの信号変換素子を備える。撮像光学系は、被写体から発せられる光を集光して信号変換部に被写体像を形成し、信号変換素子は、形成された被写体像を電気的な画像信号に変換する。
通信装置８１５は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置８１５は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。通信装置８１５は、例えば、ネットワーク３０を介して他の装置と通信を行うことが可能である。
以上、本開示の実施形態に係る表示制御装置１０のハードウェア構成例について説明した。
＜＜２．むすび＞＞
以上説明したように、本開示の実施形態によれば、撮像部１２０により撮像された画像に映る実オブジェクトＡ１の認識結果に応じて実空間に対応するＡＲ空間内に仮想オブジェクトを配置する表示制御部１１５と、ユーザ操作を取得する操作取得部１１１と、を備え、表示制御部１１５は、ユーザ操作が第１の操作である場合には、仮想オブジェクトをＡＲ空間内において移動させる、表示制御装置１０が提供される。かかる構成によれば、ＡＲ空間に配置された仮想オブジェクトの位置をユーザの意図に従って変更することが可能となる。
また、本開示の実施形態に係る仮想オブジェクトの位置姿勢制御とサイズ制御とによれば、例えば、ユーザＵａは、実物大まで仮想オブジェクトを拡大させる操作を行った場合、拡大させる操作の過程において仮想オブジェクトを撮像範囲内に収めるために仮想オブジェクトから遠ざかる必要が生じる場合が起こり得る。このような動作をユーザＵａに行わせることによって、仮想オブジェクトの実物大をより直感的にユーザＵａに把握させることが可能となる。
本開示の実施形態においては、仮想オブジェクトをＡＲ空間内において移動させたりサイズ調整したりする場面として、仮想オブジェクトを撮像範囲内に収めた写真撮影を行う場面を主に想定した。しかし、本開示の実施形態はかかる場面以外のあらゆる場面に適用することが可能である。例えば、ゲームアプリケーションにおいて登場する仮想オブジェクトをＡＲ空間内において移動させたりサイズ調整したりする場面にも、本開示の実施形態は有効に適用され得る。
また、本開示の実施形態においては、表示制御装置１０によって仮想オブジェクトを制御した結果が、表示制御装置１０のＡＲ空間において反映される例を主に説明した。しかし、例えば、表示制御装置１０と当該他の装置との間で同一のＡＲ空間を共有している場合などには、表示制御装置１０によって仮想オブジェクトを制御した結果は、表示制御装置１０と通信可能な他の装置のＡＲ空間に反映されてもよい。
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、コンピュータに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上記した表示制御装置１０が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像部により撮像された画像に映る実オブジェクトの認識結果に応じて実空間に対応する拡張現実空間内に仮想オブジェクトを配置する表示制御部と、
ユーザ操作を取得する操作取得部と、を備え、
前記表示制御部は、前記ユーザ操作が第１の操作である場合には、前記仮想オブジェクトを前記拡張現実空間内において移動させる、
表示制御装置。
（２）
前記表示制御部は、前記ユーザ操作が前記第１の操作である場合には、前記撮像部と前記仮想オブジェクトとの相対的な位置関係を維持した状態で、前記仮想オブジェクトを前記拡張現実空間内において移動させる、
前記（１）に記載の表示制御装置。
（３）
前記表示制御部は、前記ユーザ操作が前記第１の操作である場合には、前記第１の操作により指定される１または複数の仮想オブジェクトを前記拡張現実空間内において移動させる、
前記（１）または（２）に記載の表示制御装置。
（４）
前記表示制御部は、前記仮想オブジェクトを前記拡張現実空間内において移動させている間、前記仮想オブジェクトを移動させている旨を表示させる、
前記（１）〜（３）のいずれか一項に記載の表示制御装置。
（５）
前記表示制御部は、前記第１の操作がなされていない間は、前記仮想オブジェクトを前記拡張現実空間内に固定する、
前記（１）〜（４）のいずれか一項に記載の表示制御装置。
（６）
前記表示制御部は、前記第１の操作がなされていない間は、前記撮像部と前記仮想オブジェクトとの距離に応じて前記仮想オブジェクトの前記画像におけるサイズを変化させる、
前記（５）に記載の表示制御装置。
（７）
前記表示制御部は、前記第１の操作がなされていない間は、前記撮像部を基準とした前記仮想オブジェクトの姿勢に応じて前記仮想オブジェクトの前記画像における姿勢を変化させる、
前記（５）に記載の表示制御装置。
（８）
前記表示制御部は、移動先の前記仮想オブジェクトの環境に基づいて、前記仮想オブジェクトを制御する、
前記（１）〜（７）のいずれか一項に記載の表示制御装置。
（９）
前記表示制御部は、移動先の前記仮想オブジェクトの環境が移動不可能領域である場合には、前記仮想オブジェクトの位置を移動可能領域にシフトさせる、
前記（８）に記載の表示制御装置。
（１０）
前記第１の操作は、前記仮想オブジェクトを１または複数の操作体を用いて指定する操作を含む、
前記（１）〜（９）のいずれか一項に記載の表示制御装置。
（１１）
前記表示制御部は、前記ユーザ操作が第２の操作である場合には、前記第２の操作に基づいて前記仮想オブジェクトの前記拡張現実空間におけるサイズを変更する、
前記（１）に記載の表示制御装置。
（１２）
前記表示制御部は、前記仮想オブジェクトの前記拡張現実空間におけるサイズが前記仮想オブジェクトの実物大に達した場合には、前記仮想オブジェクトの拡大を停止する、
前記（１１）に記載の表示制御装置。
（１３）
前記表示制御部は、前記仮想オブジェクトの前記拡張現実空間におけるサイズが前記仮想オブジェクトの実物大に達した場合には、前記仮想オブジェクトの前記拡張現実空間におけるサイズが前記仮想オブジェクトの実物大に達した旨を表示させる、
前記（１１）または（１２）に記載の表示制御装置。
（１４）
前記表示制御部は、前記実オブジェクトの実物大に関する既知のデータと、前記実オブジェクトの前記画像におけるサイズと、前記仮想オブジェクトの実物大に関する既知のデータとに基づいて、前記仮想オブジェクトの前記拡張現実空間におけるサイズが前記仮想オブジェクトの実物大に達したか否かを判断する、
前記（１１）〜（１３）のいずれか一項に記載の表示制御装置。
（１５）
前記表示制御部は、選択操作がなされた場合には、前記選択操作に基づいてサイズ変更対象の仮想オブジェクトを選択する、
前記（１１）〜（１４）のいずれか一項に記載の表示制御装置。
（１６）
前記表示制御部は、前記撮像部と１または複数の仮想オブジェクトそれぞれとの距離に応じてサイズ変更対象の仮想オブジェクトを選択する、
前記（１１）〜（１４）のいずれか一項に記載の表示制御装置。
（１７）
前記第２の操作は、複数の操作体の間の距離を遠ざける操作を含む、
前記（１１）〜（１６）のいずれか一項に記載の表示制御装置。
（１８）
前記表示制御部は、重力ベクトルに応じた姿勢となるように前記仮想オブジェクトを配置する、
前記（１）に記載の表示制御装置。
（１９）
撮像部により撮像された画像に映る実オブジェクトの認識結果に応じて実空間に対応する拡張現実空間内に仮想オブジェクトを配置することと、
ユーザ操作を取得することと、
前記ユーザ操作が第１の操作である場合には、前記仮想オブジェクトを前記拡張現実空間内において移動させることと、
を含む、表示制御方法。
（２０）
コンピュータを、
撮像部により撮像された画像に映る実オブジェクトの認識結果に応じて実空間に対応する拡張現実空間内に仮想オブジェクトを配置する表示制御部と、
ユーザ操作を取得する操作取得部と、を備え、
前記表示制御部は、前記ユーザ操作が第１の操作である場合には、前記仮想オブジェクトを前記拡張現実空間内において移動させる、
表示制御装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体。
１ 実空間
２ ＡＲ空間
１０ 表示制御装置
１１０ 制御部
１１１ 操作取得部
１１２ センサデータ取得部
１１３ 画像認識部
１１４ 環境認識部
１１５ 表示制御部
１２０ 撮像部
１３０ センサ部
１４０ 操作部
１５０ 記憶部
１６０ 表示部
Ｉｍ１、Ｉｍ２ 画像
Ａ０、Ａ１ 実オブジェクト
Ｖ０、Ｖ１、Ｖ２、Ｖ３、Ｖ１１ 仮想オブジェクト
Ｍ１、Ｍ２ サイズ
Ｎ１ 割合
Ｌ１、Ｌ２ メッセージ
Ｒ１ 移動可能領域
Ｒ２ 移動不可能領域
Ｕａ ユーザ
Ｇ 重力ベクトル

Claims (20)

  1. 撮像部により撮像された画像に映る実オブジェクトの認識結果に応じて実空間に対応する拡張現実空間内に仮想オブジェクトを配置する表示制御部と、
    ユーザ操作を取得する操作取得部と、を備え、
    前記表示制御部は、前記ユーザ操作が第１の操作である場合には、前記仮想オブジェクトを前記拡張現実空間内において移動させる、
    表示制御装置。
  2. 前記表示制御部は、前記ユーザ操作が前記第１の操作である場合には、前記撮像部と前記仮想オブジェクトとの相対的な位置関係を維持した状態で、前記仮想オブジェクトを前記拡張現実空間内において移動させる、
    請求項１に記載の表示制御装置。
  3. 前記表示制御部は、前記ユーザ操作が前記第１の操作である場合には、前記第１の操作により指定される１または複数の仮想オブジェクトを前記拡張現実空間内において移動させる、
    請求項１に記載の表示制御装置。
  4. 前記表示制御部は、前記仮想オブジェクトを前記拡張現実空間内において移動させている間、前記仮想オブジェクトを移動させている旨を表示させる、
    請求項１に記載の表示制御装置。
  5. 前記表示制御部は、前記第１の操作がなされていない間は、前記仮想オブジェクトを前記拡張現実空間内に固定する、
    請求項１に記載の表示制御装置。
  6. 前記表示制御部は、前記第１の操作がなされていない間は、前記撮像部と前記仮想オブジェクトとの距離に応じて前記仮想オブジェクトの前記画像におけるサイズを変化させる、
    請求項５に記載の表示制御装置。
  7. 前記表示制御部は、前記第１の操作がなされていない間は、前記撮像部を基準とした前記仮想オブジェクトの姿勢に応じて前記仮想オブジェクトの前記画像における姿勢を変化させる、
    請求項５に記載の表示制御装置。
  8. 前記表示制御部は、移動先の前記仮想オブジェクトの環境に基づいて、前記仮想オブジェクトを制御する、
    請求項１に記載の表示制御装置。
  9. 前記表示制御部は、移動先の前記仮想オブジェクトの環境が移動不可能領域である場合には、前記仮想オブジェクトの位置を移動可能領域にシフトさせる、
    請求項８に記載の表示制御装置。
  10. 前記第１の操作は、前記仮想オブジェクトを１または複数の操作体を用いて指定する操作を含む、
    請求項１に記載の表示制御装置。
  11. 前記表示制御部は、前記ユーザ操作が第２の操作である場合には、前記第２の操作に基づいて前記仮想オブジェクトの前記拡張現実空間におけるサイズを変更する、
    請求項１に記載の表示制御装置。
  12. 前記表示制御部は、前記仮想オブジェクトの前記拡張現実空間におけるサイズが前記仮想オブジェクトの実物大に達した場合には、前記仮想オブジェクトの拡大を停止する、
    請求項１１に記載の表示制御装置。
  13. 前記表示制御部は、前記仮想オブジェクトの前記拡張現実空間におけるサイズが前記仮想オブジェクトの実物大に達した場合には、前記仮想オブジェクトの前記拡張現実空間におけるサイズが前記仮想オブジェクトの実物大に達した旨を表示させる、
    請求項１１に記載の表示制御装置。
  14. 前記表示制御部は、前記実オブジェクトの実物大に関する既知のデータと、前記実オブジェクトの前記画像におけるサイズと、前記仮想オブジェクトの実物大に関する既知のデータとに基づいて、前記仮想オブジェクトの前記拡張現実空間におけるサイズが前記仮想オブジェクトの実物大に達したか否かを判断する、
    請求項１１に記載の表示制御装置。
  15. 前記表示制御部は、選択操作がなされた場合には、前記選択操作に基づいてサイズ変更対象の仮想オブジェクトを選択する、
    請求項１１に記載の表示制御装置。
  16. 前記表示制御部は、前記撮像部と１または複数の仮想オブジェクトそれぞれとの距離に応じてサイズ変更対象の仮想オブジェクトを選択する、
    請求項１１に記載の表示制御装置。
  17. 前記第２の操作は、複数の操作体の間の距離を遠ざける操作を含む、
    請求項１１に記載の表示制御装置。
  18. 前記表示制御部は、重力ベクトルに応じた姿勢となるように前記仮想オブジェクトを配置する、
    請求項１に記載の表示制御装置。
  19. 撮像部により撮像された画像に映る実オブジェクトの認識結果に応じて実空間に対応する拡張現実空間内に仮想オブジェクトを配置することと、
    ユーザ操作を取得することと、
    前記ユーザ操作が第１の操作である場合には、前記仮想オブジェクトを前記拡張現実空間内において移動させることと、
    を含む、表示制御方法。
  20. コンピュータを、
    撮像部により撮像された画像に映る実オブジェクトの認識結果に応じて実空間に対応する拡張現実空間内に仮想オブジェクトを配置する表示制御部と、
    ユーザ操作を取得する操作取得部と、を備え、
    前記表示制御部は、前記ユーザ操作が第１の操作である場合には、前記仮想オブジェクトを前記拡張現実空間内において移動させる、
    表示制御装置として機能させるためのプログラムを記録した、コンピュータに読み取り可能な記録媒体。
JP2013068395A 2013-03-28 2013-03-28 表示制御装置、表示制御方法および記録媒体 Pending JP2014191718A (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2013068395A JP2014191718A (ja) 2013-03-28 2013-03-28 表示制御装置、表示制御方法および記録媒体
US14/169,474 US9261954B2 (en) 2013-03-28 2014-01-31 Display control device, display control method, and recording medium
CN201410108001.8A CN104077023B (zh) 2013-03-28 2014-03-21 显示控制设备、显示控制方法以及记录介质
US15/045,246 US9886798B2 (en) 2013-03-28 2016-02-16 Display control device, display control method, and recording medium
US15/855,377 US10733807B2 (en) 2013-03-28 2017-12-27 Display control device, display control method, and recording medium
US16/927,665 US10922902B2 (en) 2013-03-28 2020-07-13 Display control device, display control method, and recording medium
US17/162,535 US11348326B2 (en) 2013-03-28 2021-01-29 Display control device, display control method, and recording medium
US17/745,295 US11836883B2 (en) 2013-03-28 2022-05-16 Display control device, display control method, and recording medium
US18/470,971 US11954816B2 (en) 2013-03-28 2023-09-20 Display control device, display control method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013068395A JP2014191718A (ja) 2013-03-28 2013-03-28 表示制御装置、表示制御方法および記録媒体

Publications (1)

Publication Number Publication Date
JP2014191718A true JP2014191718A (ja) 2014-10-06

Family

ID=51598324

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013068395A Pending JP2014191718A (ja) 2013-03-28 2013-03-28 表示制御装置、表示制御方法および記録媒体

Country Status (3)

Country Link
US (7) US9261954B2 (ja)
JP (1) JP2014191718A (ja)
CN (1) CN104077023B (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016099996A (ja) * 2014-11-20 2016-05-30 財団法人 資訊工業策進会Ｉｎｓｔｉｔｕｔｅ Ｆｏｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｉｎｄｕｓｔｒｙ モバイルデバイス、操作方法及び非一時的なコンピュータ読取可能な記憶媒体
JP2016167217A (ja) * 2015-03-10 2016-09-15 株式会社コロプラ ヘッドマウントディスプレイへ表示するためのユーザインタフェース表示方法、及びプログラム
JP2017199237A (ja) * 2016-04-28 2017-11-02 株式会社カプコン 仮想空間表示システム、ゲームシステム、仮想空間表示プログラムおよびゲームプログラム
JP6242473B1 (ja) * 2016-12-22 2017-12-06 株式会社コロプラ 仮想空間を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP2018530043A (ja) * 2015-08-13 2018-10-11 ノキア テクノロジーズ オーユー イメージコンテンツ検索
JP6410874B1 (ja) * 2017-05-30 2018-10-24 株式会社タカラトミー Ａｒ映像生成装置
JP2018190171A (ja) * 2017-05-02 2018-11-29 京セラドキュメントソリューションズ株式会社 表示装置
WO2019131143A1 (ja) 2017-12-27 2019-07-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2020198108A (ja) * 2017-04-28 2020-12-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム
WO2021020068A1 (ja) * 2019-07-26 2021-02-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2021012511A (ja) * 2019-07-05 2021-02-04 株式会社スクウェア・エニックス プログラム、画像処理方法及び画像処理システム
WO2022014700A1 (ja) * 2020-07-16 2022-01-20 株式会社ドワンゴ 端末装置、仮想オブジェクト操作方法、及び仮想オブジェクト操作プログラム
WO2022196199A1 (ja) * 2021-03-16 2022-09-22 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
JP2023000947A (ja) * 2021-06-18 2023-01-04 ヤフー株式会社 表示制御装置、表示制御方法および表示制御プログラム
WO2023067836A1 (ja) * 2021-10-18 2023-04-27 東芝デジタルソリューションズ株式会社 コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法、及びコンテンツ表示システム
JP2023060799A (ja) * 2021-10-18 2023-04-28 東芝デジタルソリューションズ株式会社 コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法、及びコンテンツ表示システム
US11960660B2 (en) 2020-07-16 2024-04-16 Popopo Inc Terminal device, virtual object manipulation method, and virtual object manipulation program

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016057997A1 (en) * 2014-10-10 2016-04-14 Pantomime Corporation Support based 3d navigation
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2014191718A (ja) 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
US9704295B2 (en) * 2013-11-05 2017-07-11 Microsoft Technology Licensing, Llc Construction of synthetic augmented reality environment
KR102182161B1 (ko) 2014-02-20 2020-11-24 엘지전자 주식회사 Hmd 및 그 제어 방법
US10043319B2 (en) 2014-11-16 2018-08-07 Eonite Perception Inc. Optimizing head mounted displays for augmented reality
US9916002B2 (en) * 2014-11-16 2018-03-13 Eonite Perception Inc. Social applications for augmented reality technologies
WO2016077798A1 (en) 2014-11-16 2016-05-19 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
US20160196693A1 (en) * 2015-01-06 2016-07-07 Seiko Epson Corporation Display system, control method for display device, and computer program
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US10832479B2 (en) * 2015-06-15 2020-11-10 Sony Corporation Information processing apparatus, information processing method, and program
KR101666561B1 (ko) * 2015-07-13 2016-10-24 한국과학기술원 증강 공간 내 부분 공간 획득 시스템 및 방법
JP6597235B2 (ja) * 2015-11-30 2019-10-30 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN106371571B (zh) 2015-11-30 2019-12-13 北京智谷睿拓技术服务有限公司 信息处理方法、信息处理装置及用户设备
JP6665572B2 (ja) * 2016-02-16 2020-03-13 富士通株式会社 制御プログラム、制御方法およびコンピュータ
JP2017191378A (ja) * 2016-04-11 2017-10-19 富士通テン株式会社 拡張現実情報表示装置および拡張現実情報表示方法
EP3455700A1 (en) * 2016-05-12 2019-03-20 Google LLC System and method relating to movement in a virtual reality environment
CN106200916B (zh) * 2016-06-28 2019-07-02 Oppo广东移动通信有限公司 增强现实图像的控制方法、装置及终端设备
US10482662B2 (en) * 2016-06-30 2019-11-19 Intel Corporation Systems and methods for mixed reality transitions
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
JP6809034B2 (ja) * 2016-08-17 2021-01-06 富士ゼロックス株式会社 表示システム、制御装置、および、プログラム
DE102016010037A1 (de) * 2016-08-22 2018-02-22 Michael Schick Verändern einer Darstellung einer Realität für Informationszwecke
US9928660B1 (en) 2016-09-12 2018-03-27 Intel Corporation Hybrid rendering for a wearable display attached to a tethered computer
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
GB2555841A (en) * 2016-11-11 2018-05-16 Sony Corp An apparatus, computer program and method
EP3336805A1 (en) 2016-12-15 2018-06-20 Thomson Licensing Method and device for a placement of a virtual object of an augmented or mixed reality application in a real-world 3d environment
JP6866646B2 (ja) * 2017-01-16 2021-04-28 オムロン株式会社 センサ支援システム、端末、センサおよびセンサ支援方法
US10643397B2 (en) * 2017-03-19 2020-05-05 Purdue Research Foundation Window-shaping virtual reality system
US10509556B2 (en) * 2017-05-02 2019-12-17 Kyocera Document Solutions Inc. Display device
CN107168532B (zh) * 2017-05-05 2020-09-11 武汉秀宝软件有限公司 一种基于增强现实的虚拟同步显示方法及系统
CN107320955B (zh) * 2017-06-23 2021-01-29 武汉秀宝软件有限公司 一种基于多客户端的ar场馆界面交互方法及系统
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
CN108355351A (zh) * 2017-11-28 2018-08-03 岳阳市数博环球实业有限公司 一种基于实时背景的电子游戏的生成方法
CN108332365B (zh) * 2018-01-04 2019-10-18 珠海格力电器股份有限公司 空调控制方法及装置
CN110119189B (zh) * 2018-02-05 2022-06-03 浙江商汤科技开发有限公司 Slam系统的初始化、ar控制方法、装置和系统
WO2019172704A1 (en) * 2018-03-08 2019-09-12 Samsung Electronics Co., Ltd. Method for intent-based interactive response and electronic device thereof
CN108427501B (zh) * 2018-03-19 2022-03-22 网易（杭州）网络有限公司 虚拟现实中移动控制方法和装置
CN108520552A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108479060B (zh) * 2018-03-29 2021-04-13 联想(北京)有限公司 一种显示控制方法及电子设备
CN110827412A (zh) * 2018-08-09 2020-02-21 北京微播视界科技有限公司 自适应平面的方法、装置和计算机可读存储介质
CN109508093B (zh) * 2018-11-13 2022-08-09 江苏视睿迪光电有限公司 一种虚拟现实交互方法及装置
DE102019218787A1 (de) * 2018-12-04 2020-06-04 Apple Inc. Verfahren, vorrichtung und system zum erzeugen von mit einer darstellung eines artikels verbundenen angeboten
USD900925S1 (en) * 2019-02-01 2020-11-03 Apple Inc. Type font and electronic device with graphical user interface
KR20200098034A (ko) * 2019-02-11 2020-08-20 삼성전자주식회사 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법
USD914762S1 (en) * 2019-03-27 2021-03-30 Mi Hee Lee Display screen or portion thereof with icon
CN110286754B (zh) * 2019-06-11 2022-06-24 Oppo广东移动通信有限公司 基于眼球追踪的投射方法及相关设备
US11397503B2 (en) * 2019-06-28 2022-07-26 Snap Inc. Association of user identifiers to augmented-reality content
CN114174895A (zh) * 2019-07-26 2022-03-11 奇跃公司 用于增强现实的系统和方法
CN110533780B (zh) * 2019-08-28 2023-02-24 深圳市商汤科技有限公司 一种图像处理方法及其装置、设备和存储介质
USD914763S1 (en) * 2019-09-17 2021-03-30 Mi Hee Lee Display screen or portion thereof with icon
US20210097731A1 (en) * 2019-09-26 2021-04-01 Apple Inc. Presenting environment based on physical dimension
EP4075392A4 (en) * 2019-12-10 2023-02-22 Sony Group Corporation INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD AND PROGRAM
CN111311741B (zh) * 2020-03-23 2023-07-07 重庆忽米网络科技有限公司 一种基于5g通信的交互式室内空间构建装置及方法
CN114201028B (zh) * 2020-09-01 2023-08-04 宏碁股份有限公司 扩增实境系统与其锚定显示虚拟对象的方法
CN112068703B (zh) * 2020-09-07 2021-11-16 北京字节跳动网络技术有限公司 目标物体的控制方法、装置、电子设备及存储介质
CN112774195B (zh) * 2021-02-05 2023-03-10 腾讯科技（深圳）有限公司 信息显示方法、装置、终端及存储介质

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002157607A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
JP3944019B2 (ja) * 2002-07-31 2007-07-11 キヤノン株式会社 情報処理装置および方法
US7427996B2 (en) * 2002-10-16 2008-09-23 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2004199496A (ja) * 2002-12-19 2004-07-15 Sony Corp 情報処理装置および方法、並びにプログラム
US8072470B2 (en) * 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7991220B2 (en) * 2004-09-01 2011-08-02 Sony Computer Entertainment Inc. Augmented reality game system using identification information to display a virtual object in association with a position of a real object
JP4500632B2 (ja) * 2004-09-07 2010-07-14 キヤノン株式会社 仮想現実感提示装置および情報処理方法
EP1929430A4 (en) * 2005-08-29 2011-06-29 Evryx Technologies Inc INTERACTIVITY OF MOBILITY RECOGNITION
JP4804256B2 (ja) * 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
JP2008108246A (ja) * 2006-10-23 2008-05-08 Internatl Business Mach Corp <Ibm> 閲覧者の位置に従って仮想画像を生成するための方法、システム、およびコンピュータ・プログラム
US8902227B2 (en) * 2007-09-10 2014-12-02 Sony Computer Entertainment America Llc Selective interactive mapping of real-world objects to create interactive virtual-world objects
JP4989383B2 (ja) * 2007-09-10 2012-08-01 キヤノン株式会社 情報処理装置、情報処理方法
DE102007045835B4 (de) 2007-09-25 2012-12-20 Metaio Gmbh Verfahren und Vorrichtung zum Darstellen eines virtuellen Objekts in einer realen Umgebung
JP4985516B2 (ja) 2008-03-27 2012-07-25 ソニー株式会社 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
GB2465791A (en) * 2008-11-28 2010-06-02 Sony Corp Rendering shadows in augmented reality scenes
KR101633359B1 (ko) * 2009-10-20 2016-06-27 삼성전자 주식회사 투사 불변량을 이용한 무표식 증강 현실 구현 시스템 및 그 방법
JP5602618B2 (ja) * 2010-06-10 2014-10-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP5514637B2 (ja) * 2010-06-11 2014-06-04 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
EP2395765B1 (en) * 2010-06-14 2016-08-24 Nintendo Co., Ltd. Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
US9098182B2 (en) * 2010-07-30 2015-08-04 Apple Inc. Device, method, and graphical user interface for copying user interface objects between content regions
JP2012058968A (ja) 2010-09-08 2012-03-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP4869430B1 (ja) * 2010-09-24 2012-02-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
JP5799521B2 (ja) * 2011-02-15 2015-10-28 ソニー株式会社 情報処理装置、オーサリング方法及びプログラム
US9329469B2 (en) * 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US8872854B1 (en) * 2011-03-24 2014-10-28 David A. Levitt Methods for real-time navigation and display of virtual worlds
EP3654146A1 (en) * 2011-03-29 2020-05-20 QUALCOMM Incorporated Anchoring virtual images to real world surfaces in augmented reality systems
JP5724543B2 (ja) 2011-03-31 2015-05-27 ソニー株式会社 端末装置、オブジェクト制御方法及びプログラム
JP5765019B2 (ja) * 2011-03-31 2015-08-19 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP5741160B2 (ja) * 2011-04-08 2015-07-01 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP5702653B2 (ja) * 2011-04-08 2015-04-15 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
EP2521097B1 (en) * 2011-04-15 2020-01-22 Sony Interactive Entertainment Europe Limited System and Method of Input Processing for Augmented Reality
JP2012243147A (ja) * 2011-05-20 2012-12-10 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
US20120306850A1 (en) * 2011-06-02 2012-12-06 Microsoft Corporation Distributed asynchronous localization and mapping for augmented reality
US8885883B2 (en) 2011-07-22 2014-11-11 Raytheon Company Enhancing GMAPD LADAR images using 3-D wallis statistical differencing
US9345957B2 (en) * 2011-09-30 2016-05-24 Microsoft Technology Licensing, Llc Enhancing a sport using an augmented reality display
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
JP6121647B2 (ja) * 2011-11-11 2017-04-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9497501B2 (en) * 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
WO2013095383A1 (en) * 2011-12-20 2013-06-27 Intel Corporation User-to-user communication enhancement with augmented reality
US20130194304A1 (en) * 2012-02-01 2013-08-01 Stephen Latta Coordinate-system sharing for augmented reality
JP6044079B2 (ja) * 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2013174642A (ja) * 2012-02-23 2013-09-05 Toshiba Corp 映像表示装置
JP6040564B2 (ja) * 2012-05-08 2016-12-07 ソニー株式会社 画像処理装置、投影制御方法及びプログラム
US9041622B2 (en) * 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
US20130335405A1 (en) * 2012-06-18 2013-12-19 Michael J. Scavezze Virtual object generation within a virtual environment
US9310611B2 (en) * 2012-09-18 2016-04-12 Qualcomm Incorporated Methods and systems for making the use of head-mounted displays less obvious to non-users
US9552673B2 (en) * 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
US9430877B2 (en) * 2013-01-25 2016-08-30 Wilus Institute Of Standards And Technology Inc. Electronic device and method for selecting augmented content using the same
EP2953098B1 (en) * 2013-02-01 2019-03-13 Sony Corporation Information processing device, terminal device, information processing method, and programme
JP2014149712A (ja) * 2013-02-01 2014-08-21 Sony Corp 情報処理装置、端末装置、情報処理方法及びプログラム
US20140282220A1 (en) * 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US9418629B2 (en) * 2013-03-15 2016-08-16 Disney Enterprises, Inc. Optical illumination mapping
JP2014191718A (ja) * 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
JP5790692B2 (ja) * 2013-03-29 2015-10-07 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
JP6089898B2 (ja) * 2013-04-09 2017-03-08 ソニー株式会社 画像処理装置および記憶媒体
US9639984B2 (en) * 2013-06-03 2017-05-02 Daqri, Llc Data manipulation based on real world object manipulation

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016099996A (ja) * 2014-11-20 2016-05-30 財団法人 資訊工業策進会Ｉｎｓｔｉｔｕｔｅ Ｆｏｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｉｎｄｕｓｔｒｙ モバイルデバイス、操作方法及び非一時的なコンピュータ読取可能な記憶媒体
JP2016167217A (ja) * 2015-03-10 2016-09-15 株式会社コロプラ ヘッドマウントディスプレイへ表示するためのユーザインタフェース表示方法、及びプログラム
JP2018530043A (ja) * 2015-08-13 2018-10-11 ノキア テクノロジーズ オーユー イメージコンテンツ検索
JP2017199237A (ja) * 2016-04-28 2017-11-02 株式会社カプコン 仮想空間表示システム、ゲームシステム、仮想空間表示プログラムおよびゲームプログラム
JP6242473B1 (ja) * 2016-12-22 2017-12-06 株式会社コロプラ 仮想空間を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP2018106258A (ja) * 2016-12-22 2018-07-05 株式会社コロプラ 仮想空間を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
US11896893B2 (en) 2017-04-28 2024-02-13 Sony Interactive Entertainment Inc. Information processing device, control method of information processing device, and program
JP2020198108A (ja) * 2017-04-28 2020-12-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理装置の制御方法、及びプログラム
US11260287B2 (en) 2017-04-28 2022-03-01 Sony Interactive Entertainment Inc. Information processing device, control method of information processing device, and program
US11617942B2 (en) 2017-04-28 2023-04-04 Sony Interactive Entertainment Inc. Information processing device, control method of information processing device, and program
JP2018190171A (ja) * 2017-05-02 2018-11-29 京セラドキュメントソリューションズ株式会社 表示装置
JP2018205828A (ja) * 2017-05-30 2018-12-27 株式会社タカラトミー Ａｒ映像生成装置
JP6410874B1 (ja) * 2017-05-30 2018-10-24 株式会社タカラトミー Ａｒ映像生成装置
WO2019131143A1 (ja) 2017-12-27 2019-07-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR20200100059A (ko) 2017-12-27 2020-08-25 소니 주식회사 정보 처리 장치, 정보 처리 방법, 및 프로그램
US11156844B2 (en) 2017-12-27 2021-10-26 Sony Corporation Information processing apparatus, information processing method, and program
US11386612B2 (en) 2019-07-05 2022-07-12 Square Enix Co., Ltd. Non-transitory computer-readable medium, image processing method, and image processing system for controlling progress of information processing in response to a user operation
JP2021012511A (ja) * 2019-07-05 2021-02-04 株式会社スクウェア・エニックス プログラム、画像処理方法及び画像処理システム
WO2021020068A1 (ja) * 2019-07-26 2021-02-04 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2022018697A (ja) * 2020-07-16 2022-01-27 株式会社バーチャルキャスト 端末装置、仮想オブジェクト操作方法、及び仮想オブジェクト操作プログラム
WO2022014700A1 (ja) * 2020-07-16 2022-01-20 株式会社ドワンゴ 端末装置、仮想オブジェクト操作方法、及び仮想オブジェクト操作プログラム
US11960660B2 (en) 2020-07-16 2024-04-16 Popopo Inc Terminal device, virtual object manipulation method, and virtual object manipulation program
WO2022196199A1 (ja) * 2021-03-16 2022-09-22 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
JP2023000947A (ja) * 2021-06-18 2023-01-04 ヤフー株式会社 表示制御装置、表示制御方法および表示制御プログラム
WO2023067836A1 (ja) * 2021-10-18 2023-04-27 東芝デジタルソリューションズ株式会社 コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法、及びコンテンツ表示システム
JP2023060799A (ja) * 2021-10-18 2023-04-28 東芝デジタルソリューションズ株式会社 コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法、及びコンテンツ表示システム
JP7330323B2 (ja) 2021-10-18 2023-08-21 東芝デジタルソリューションズ株式会社 コンテンツ表示装置、コンテンツ表示プログラム、コンテンツ表示方法、及びコンテンツ表示システム

Also Published As

Publication number Publication date
US20180122149A1 (en) 2018-05-03
US20200342687A1 (en) 2020-10-29
US20140292645A1 (en) 2014-10-02
US10733807B2 (en) 2020-08-04
US9886798B2 (en) 2018-02-06
US11348326B2 (en) 2022-05-31
US9261954B2 (en) 2016-02-16
US20220277531A1 (en) 2022-09-01
CN104077023A (zh) 2014-10-01
US20210150823A1 (en) 2021-05-20
US11954816B2 (en) 2024-04-09
CN104077023B (zh) 2018-03-30
US11836883B2 (en) 2023-12-05
US10922902B2 (en) 2021-02-16
US20240013503A1 (en) 2024-01-11
US20160163117A1 (en) 2016-06-09

Similar Documents

Publication Publication Date Title
US11954816B2 (en) Display control device, display control method, and recording medium
US11188187B2 (en) Information processing apparatus, information processing method, and recording medium
US10412379B2 (en) Image display apparatus having live view mode and virtual reality mode and operating method thereof
US9307153B2 (en) Method and apparatus for previewing a dual-shot image
WO2019141100A1 (zh) 附加对象显示方法、装置、计算机设备及存储介质
US11122193B2 (en) Focusing lighting module
US11636644B2 (en) Output of virtual content
US9794495B1 (en) Multiple streaming camera navigation interface system
US20140168262A1 (en) User Interface for Augmented Reality Enabled Devices
JP2019047167A (ja) 撮像装置、画像表示システム、操作方法、プログラム
US10375312B2 (en) Imaging device and video generation method by imaging device
JPWO2017169369A1 (ja) 情報処理装置、情報処理方法、プログラム
WO2015068447A1 (ja) 情報処理装置、情報処理方法および情報処理システム
US20230215098A1 (en) Method and system for creating and storing map target
CN114764295A (zh) 立体场景切换方法、装置、终端及存储介质