JP2021182174A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2021182174A
JP2021182174A JP2018148857A JP2018148857A JP2021182174A JP 2021182174 A JP2021182174 A JP 2021182174A JP 2018148857 A JP2018148857 A JP 2018148857A JP 2018148857 A JP2018148857 A JP 2018148857A JP 2021182174 A JP2021182174 A JP 2021182174A
Authority
JP
Japan
Prior art keywords
user
virtual object
information processing
distance
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018148857A
Other languages
English (en)
Inventor
賢次 杉原
Kenji Sugihara
真里 斎藤
Mari Saito
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2018148857A priority Critical patent/JP2021182174A/ja
Priority to US17/250,513 priority patent/US12033380B2/en
Priority to PCT/JP2019/029877 priority patent/WO2020031795A1/ja
Publication of JP2021182174A publication Critical patent/JP2021182174A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0181Adaptation to the pilot/driver
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】仮想オブジェクトの誘目性を高めることが可能な技術が提供されることが望まれる。【解決手段】実空間においてユーザが移動している間に第1の仮想オブジェクトの表示を開始するよう表示装置を制御し、前記ユーザと前記第1の仮想オブジェクトとの距離を実質的に維持する距離維持制御を行い、所定の条件が満たされた場合、前記距離維持制御を終了して前記ユーザと前記第1の仮想オブジェクトの距離を変化させる表示制御部を備える、情報処理装置が提供される。【選択図】図1

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。
近年、仮想オブジェクトを表示する技術が知られている。例えば、ユーザの行動に基づいて仮想オブジェクトの奥行方向の位置を制御する技術が開示されている(例えば、特許文献1参照)。また、ユーザと仮想オブジェクトとの距離に応じて情報の視認性を変化させる技術が開示されている(例えば、特許文献2参照)。
特開2014−225727号公報 国際公開第2017/169272号
しかし、仮想オブジェクトの誘目性を高めることが可能な技術が提供されることが望まれる。
本開示によれば、実空間においてユーザが移動している間に第1の仮想オブジェクトの表示を開始するよう表示装置を制御し、前記ユーザと前記第1の仮想オブジェクトとの距離を実質的に維持する距離維持制御を行い、所定の条件が満たされた場合、前記距離維持制御を終了して前記ユーザと前記第1の仮想オブジェクトの距離を変化させる表示制御部を備える、情報処理装置が提供される。
本開示によれば、実空間においてユーザが移動している間に第1の仮想オブジェクトの表示を開始するよう表示装置を制御し、前記ユーザと前記第1の仮想オブジェクトとの距離を実質的に維持する距離維持制御を行い、所定の条件が満たされた場合、前記距離維持制御を終了して前記ユーザと前記第1の仮想オブジェクトの距離を変化させることを含む、情報処理方法が提供される。
本開示によれば、コンピュータを、実空間においてユーザが移動している間に第1の仮想オブジェクトの表示を開始するよう表示装置を制御し、前記ユーザと前記第1の仮想オブジェクトとの距離を実質的に維持する距離維持制御を行い、所定の条件が満たされた場合、前記距離維持制御を終了して前記ユーザと前記第1の仮想オブジェクトの距離を変化させる表示制御部を備える、情報処理装置として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、仮想オブジェクトの誘目性を高めることが可能な技術が提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る情報処理システムの構成例を示す図である。 情報処理装置の機能構成例を示す図である。 制御部の詳細構成例を示す図である。 仮想オブジェクト定義情報の構成例を示す図である。 マップ情報の構成例を示す図である。 本開示の第1の実施形態に係る仮想オブジェクトの制御例について説明するための図である。 同実施形態に係る仮想オブジェクトの制御例について説明するための図である。 同実施形態に係る仮想オブジェクトの制御例について説明するための図である。 同実施形態に係る仮想オブジェクトの制御例について説明するための図である。 同実施形態に係る仮想オブジェクトの制御例について説明するための図である。 同実施形態に係る仮想オブジェクトの制御例について説明するための図である。 同実施形態に係る仮想オブジェクトの制御例について説明するための図である。 同実施形態に係る情報処理装置の動作の例を示すフローチャートである。 同実施形態に係る情報処理装置の動作の例を示すフローチャートである。 本開示の第2の実施形態に係る仮想オブジェクトの制御例について説明するための図である。 同実施形態に係る仮想オブジェクトの制御例について説明するための図である。 同実施形態に係る仮想オブジェクトの制御例について説明するための図である。 同実施形態に係る仮想オブジェクトの制御例について説明するための図である。 同実施形態に係る仮想オブジェクトの制御例について説明するための図である。 同実施形態に係る仮想オブジェクトの制御例について説明するための図である。 同実施形態に係る仮想オブジェクトの制御例について説明するための図である。 本開示の第2の実施形態に係る情報処理装置の動作の例を示すフローチャートである。 同実施形態に係る情報処理装置の動作の例を示すフローチャートである。 情報処理装置のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
0.概要
1.実施形態の詳細
1.1.システム構成例
1.2.情報処理装置の機能構成例
1.3.各種情報の例
2.第1の実施形態の詳細
2.1.情報処理装置の機能詳細
2.2.情報処理装置の動作
2.3.各種の変形例
3.第2の実施形態の詳細
3.1.情報処理装置の機能詳細
3.2.情報処理装置の動作
3.3.各種の変形例
4.ハードウェア構成例
5.むすび
<0.概要>
まず、本開示の実施形態の概要を説明する。近年、仮想オブジェクトを表示する技術が知られている。例えば、ユーザの行動に基づいて仮想オブジェクトの奥行方向の位置を制御する技術が開示されている。また、ユーザと仮想オブジェクトとの距離に応じて情報の視認性を変化させる技術が開示されている。本明細書においては、仮想オブジェクトの誘目性を高めることが可能な技術について主に説明する。
具体的に、本開示の実施形態においては、ユーザと第1の仮想オブジェクトとの距離を実質的に維持する距離維持制御が行われる。そして、所定の条件が満たされた場合、距離維持制御が終了し、ユーザと第1の仮想オブジェクトの距離が変化される。これによって、所定の条件が満たされるまでは、ユーザと第1の仮想オブジェクトとの距離が維持される一方、所定の条件が満たされてからは、ユーザと第1の仮想オブジェクトとの距離が変化するため、第1の仮想オブジェクトの誘目性を高めることができる。
以上において、本開示の実施形態の概要について説明した。
<1.実施形態の詳細>
まず、本開示の実施形態の詳細について説明する。
[1.1.システム構成例]
まず、図面を参照しながら、本開示の実施形態に係る情報処理システムの構成例について説明する。図1は、本開示の実施形態に係る情報処理システムの構成例を示す図である。図1に示したように、本開示の実施形態に係る情報処理システムは、情報処理装置10を備える。情報処理装置10は、ユーザ20によって利用される。
なお、本実施形態においては、情報処理装置10がユーザ20の頭部に装着されるHMD(Head Mounted Display)である場合を主に説明する。情報処理装置10がHMDである場合には、画角に制約があっても視野を容易に移動させることが可能である。特に、本実施形態においては、情報処理装置10がシースルー型のHMDである場合を主に説明する。しかし、情報処理装置10はHMDに限定されない。例えば、情報処理装置10は、スマートフォンであってもよいし、携帯電話であってもよいし、タブレット端末であってもよいし、カメラであってもよいし、PC(Personal Computer)であってもよいし、他の機器であってもよい。
ユーザ20は、実空間を視認可能である。図1に示した例では、情報処理装置10が視野を形成し、ユーザ20は、視野を通して実空間を視認可能である。実空間には、どのようなオブジェクトが存在していてもよい。図1に示した例では、オブジェクトの例として、実オブジェクト31−1(飲食店)が実空間に存在している。しかし、実オブジェクト31−1(飲食店)はオブジェクトの一例に過ぎない。したがって、実オブジェクト31−1(飲食店)の代わりに他のオブジェクトが実空間に存在してもよい。
以上、本開示の実施形態に係る情報処理システムの構成例について説明した。
[1.2.情報処理装置の機能構成例]
続いて、情報処理装置10の機能構成例について説明する。図2は、情報処理装置10の機能構成例を示す図である。図2に示したように、情報処理装置10は、センサ部110、制御部120、記憶部130、通信部140および表示部150を有している。また、情報処理装置10は、通信ネットワークを介してサーバ装置(不図示)と接続されていてもよい。通信ネットワークは、例えば、インターネットを含む。
センサ部110は、センサを含んで構成され、センサによってユーザの行動情報を検出する。ユーザの行動情報には、ユーザの行動履歴(例えば、歩行中、電車乗車中など)、ユーザの行動履歴から推定される行動傾向、ユーザの動き、ユーザが存在する時刻(例えば、現在時刻)、ユーザの位置(例えば、ユーザの現在位置)、ユーザの視線、ユーザの生体情報、ユーザの音声などが含まれてよい。例えば、センサ部110が加速度センサおよびジャイロセンサの少なくともいずれか一方を含んで構成されている場合、加速度センサおよびジャイロセンサの少なくともいずれか一方に基づいて、ユーザの行動履歴およびユーザの動きが検出されてよい。
また、センサ部110が時計を含んで構成されている場合、時計によってユーザが存在する時刻(例えば、現在時刻)が検出されてよい。センサ部110が位置センサ(例えば、GPS(Global Positioning System)センサなど)を含んで構成されている場合、位置センサによってユーザの位置(例えば、ユーザの現在位置)が検出されてよい。
また、センサ部110がイメージセンサを含んで構成されている場合、イメージセンサによって撮像された画像に基づいて、ユーザの視線が検出されてよい。ここでは、イメージセンサによって撮像された画像から瞳孔の中心位置およびプルキニエ像の位置関係が検出され、当該位置関係に基づいて視線が検出される場合を主に想定する。しかし、ユーザの視線はどのようにして検出されてもよい。例えば、ユーザの頭部の姿勢がユーザの視線として検出されてもよい。
また、センサ部110が生体センサを含んで構成されている場合、生体センサによって生体情報が検出されてよい。例えば、生体センサが脳波センサを含んで構成される場合、生体情報は、脳波センサによって検出された脳波を含んでもよい。例えば、センサ部110がマイクロフォンを含んで構成されている場合、マイクロフォンによってユーザの音声が検出されてよい。
また、センサ部110は、ユーザの頭部(センサ部110)の位置および姿勢を検出する機能を有する。例えば、センサ部110は、位置センサ(例えば、GPS(Global Positioning System)センサなど)を含んで構成され、ユーザの位置(例えば、ユーザの現在位置)と同様に、位置センサによってユーザの頭部の位置を検出してよい。
また、センサ部110は、地磁気センサを含んで構成され、地磁気センサによってユーザの頭部の姿勢を検出してよい。さらに、センサ部110は、地磁気センサに加えて、または、地磁気センサの代わりに、加速度センサおよびジャイロセンサの少なくともいずれか一方に基づいて、より高精度にユーザの頭部の姿勢を検出してもよい。あるいは、情報処理装置10の外部にカメラが設置されている場合には、当該カメラによって撮像された画像から認識される顔または身体の向きがユーザの頭部の姿勢として検出されてもよい。
通信部140は、通信回路を含んで構成され、通信ネットワークに接続されたサーバ装置(不図示)からのデータの取得および当該サーバ装置(不図示)へのデータの提供を、通信ネットワークを介して行う機能を有する。例えば、通信部140は、通信インターフェースにより構成される。なお、通信ネットワークに接続されるサーバ装置(不図示)は、1つであってもよいし、複数であってもよい。
記憶部130は、メモリを含んで構成され、制御部120によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部130は、制御部120による演算のためにデータを一時的に記憶する。記憶部130は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または、光磁気記憶デバイスなどにより構成される。
表示部150は、各種の画面を表示する機能を有する。表示部150の種類は限定されない。例えば、表示部150は、ユーザに視認可能な表示を行うことが可能なディスプレイであればよく、液晶ディスプレイであってもよいし、有機EL(Electro−Luminescence)ディスプレイであってもよい。
制御部120は、情報処理装置10の各部の制御を実行する。制御部120は、例えば、1または複数のCPU(Central Processing Unit;中央演算処理装置)などで構成されていてよい。制御部120がCPUなどといった処理装置によって構成される場合、かかる処理装置は、電子回路によって構成されてよい。制御部120は、かかる処理装置によってプログラムが実行されることによって実現され得る。
図3は、制御部120の詳細構成例を示す図である。図3に示したように、制御部120は、コンテキスト取得部121、興味判定部122、環境情報取得部123および表示制御部129を備える。これらの各機能ブロックについての詳細は、後に説明する。
以上、本実施形態に係る情報処理装置10の機能構成例について説明した。
[1.3.各種情報の例]
図4および図5を参照しながら、仮想オブジェクトの制御に利用される各種情報の例について説明する。図4および図5を参照すると、仮想オブジェクトの制御に利用される各種情報の例として、仮想オブジェクト定義情報131およびマップ情報135が示されている。仮想オブジェクトの制御に利用される各種情報は、記憶部130によって記憶されており、記憶部130から適宜に取得されて利用され得る。
図4は、仮想オブジェクト定義情報131の構成例を示す図である。図4に示されるように、仮想オブジェクト定義情報131は、コンテキストと仮想オブジェクトとが関連付けられて構成されている。例えば、コンテキストには、上記した行動情報(例えば、ユーザの行動履歴(現在の行動も含み得る)、ユーザの行動傾向、ユーザの動き、ユーザが存在する時刻(例えば、現在時刻)、ユーザの位置(例えば、ユーザの現在位置)、ユーザの視線、ユーザの生体情報、ユーザの音声など)の他、ユーザの予定情報(例えば、ユーザが何時から何時まで何をする予定であるのかを示す情報など)、ユーザのプロファイル(例えば、ユーザの性別、年齢、趣味など)が含まれてもよい。
図5は、マップ情報135の構成例を示す図である。図5に示されるように、マップ情報135は、センサデータと実オブジェクトの情報とが関連付けられて構成されている。センサデータの例としては、ユーザの位置情報(例えば、緯度経度など)が挙げられる。また、実オブジェクトの情報としては、実オブジェクトの種類に関する情報が挙げられる。ここで、実オブジェクトの種類は限定されない。例えば、実オブジェクトの種類は、店舗の種類(例えば、コンビニエンスストア、喫茶店、飲食店など)であってもよいし、施設の種類(例えば、駅など)などであってもよい。
以上、仮想オブジェクトの制御に利用される各種情報の例について説明した。
ここで、情報処理装置10において、表示制御部129は、実空間においてユーザが移動している間に第1の仮想オブジェクトの表示を開始するよう表示部150(表示装置)を制御し、ユーザと第1の仮想オブジェクトとの距離を実質的に維持する距離維持制御を行う。そして、表示制御部129は、所定の条件が満たされた場合、距離維持制御を終了してユーザと第1の仮想オブジェクトの距離を変化させる。
かかる構成によれば、ユーザと第1の仮想オブジェクトとの距離制御によって、第1の仮想オブジェクトの誘目性を高めることが可能となる。
<2.第1の実施形態の詳細>
まず、本開示の第1の実施形態の詳細について説明する。
本開示の第1の実施形態では、第1の仮想オブジェクトが、実空間における所定の位置に関連する情報を示す。特に、本開示の第1の実施形態では、実空間における所定の位置に、実オブジェクトの例として飲食店が存在する。しかし、実空間における所定の位置には、飲食店以外の実オブジェクトが存在してもよい。そして、本開示の第1の実施形態では、所定の位置に関連する情報が、所定の位置に存在する店舗の情報(例えば、飲食店のおすすめメニュー)を含む。しかし、所定の位置に関連する情報は、所定の位置に存在する何らかの実オブジェクト(例えば、施設など)に関連する情報であってもよい。
[2.1.情報処理装置の機能詳細]
本開示の第1の実施形態に係る情報処理装置10の機能詳細について説明する。以下では、図6〜図12を参照しながら(適宜に図1〜図5も参照しながら)、本開示の第1の実施形態に係る情報処理装置10の機能詳細について説明する。
図6〜図12は、本開示の第1の実施形態に係る仮想オブジェクトの制御例について説明するための図である。図6を参照すると、情報処理装置10は、ユーザ20の視野を形成している。実空間には実オブジェクト31−1(飲食店)が存在しており、ユーザ20の視野には実オブジェクト31−1(飲食店)が存在している。ユーザ20は、実オブジェクト31−1(飲食店)に近づくように移動している。
なお、本実施形態では、ユーザが歩行によって移動する場合を想定する。しかし、ユーザの移動は歩行による移動に限定されない。例えば、ユーザの移動は乗り物(例えば、自転車、自動車など)による移動であってもよい。
また、マップ情報135(図5)として、実オブジェクトの種類とその実オブジェクトの位置情報とが関連付けられてなる情報が登録されている。また、仮想オブジェクト定義情報131(図4)として、コンテキスト「ユーザの現在位置が飲食店の位置から所定の距離以内に移動」と、仮想オブジェクト(飲食店のおすすめメニュー)とが関連付けられてなる情報が登録されている場合を想定する。仮想オブジェクト(飲食店のおすすめメニュー)は、上記した第1の仮想オブジェクトに相当し得る。
このとき、環境情報取得部123は、環境情報を取得する。より具体的に、環境情報取得部123は、センサ部110によってユーザ20の位置および姿勢が検出された場合、ユーザ20の位置および姿勢とマップ情報135(図5)とに基づいて、ユーザ20と実オブジェクト31−1(飲食店)との相対的な位置関係(例えば、ユーザ20の視野における実オブジェクト31−1(飲食店)の位置)を環境情報として取得する。
ユーザ20と実オブジェクト31−1(飲食店)との相対的な位置関係は、どのようにして取得されてもよい。例えば、ユーザ20と実オブジェクト31−1(飲食店)との相対的な位置関係は、ユーザ20の視野の撮像画像から直接認識されてもよい。さらに、環境情報は、ユーザ20と実オブジェクト31−1(飲食店)との相対的な位置関係に限定されない。例えば、環境情報は、マイクロフォンによって検出されるユーザ20の周囲の環境音であってもよいし、照度センサによって検出される照度であってもよい。
コンテキスト取得部121は、環境情報に基づいて、ユーザ20の位置(現在位置)が実オブジェクト31−1(飲食店)の位置から所定の距離以内に移動したことを取得する。表示制御部129は、コンテキスト取得部121によって、ユーザ20の位置(現在位置)が実オブジェクト31−1(飲食店)の位置から所定の距離以内に移動したことが取得された場合、仮想オブジェクト定義情報131(図4)に基づいて、コンテキスト「ユーザの位置(現在位置)が実オブジェクト31−1(飲食店)の位置から所定の距離以内に移動」に対応する仮想オブジェクト(飲食店のおすすめメニュー)を取得する。
図6に示されるように、表示制御部129は、実空間においてユーザ20が移動している間に(実空間においてユーザ20が移動しているという判定に基づいて)、仮想オブジェクト(飲食店のおすすめメニュー)が、仮想オブジェクト50−1(飲食店のおすすめメニュー)として、ユーザ20の視野内に表示開始されるよう表示部150を制御する。
ここで、視野における仮想オブジェクト50−1(飲食店のおすすめメニュー)の位置は限定されない。例えば、表示制御部129は、ユーザの略正面に仮想オブジェクト50−1(飲食店のおすすめメニュー)を表示するよう表示部150を制御する。すなわち、仮想オブジェクト50−1(飲食店のおすすめメニュー)は、ユーザ20の真正面に表示されてもよいし、ユーザ20の歩行を妨げないようユーザ20の前方横(図6に示された例では、ユーザ20の前方左)に表示されてもよい。具体的に、ユーザ20の前方横は、周辺視野であってもよい。
仮想オブジェクト50−1(飲食店のおすすめメニュー)の姿勢も限定されない。例えば、表示制御部129は、ユーザ20から仮想オブジェクト50−1(飲食店のおすすめメニュー)を視認しやすくするために、仮想オブジェクト50−1(飲食店のおすすめメニュー)のうち、情報が記載されている面(すなわち、仮想オブジェクト50−1(飲食店のおすすめメニュー)の正面51)がユーザ20から仮想オブジェクト50−1(飲食店のおすすめメニュー)への方向に対して略垂直になるように、仮想オブジェクト50−1(飲食店のおすすめメニュー)の姿勢を維持してもよい。
なお、図6に示された例では、ユーザ20の視野内に表示される仮想オブジェクト(第1の仮想オブジェクト)の数は1つである。しかし、ユーザ20の視野内に表示される仮想オブジェクト(第1の仮想オブジェクト)の数は1つに限定されない。例えば、ユーザ20の視野内に表示される仮想オブジェクト(第1の仮想オブジェクト)の数は、複数であってもよい。
例えば、表示制御部129は、複数の仮想オブジェクト(第1の仮想オブジェクト)を表示するよう表示部150を制御する場合、ユーザ20から複数の仮想オブジェクト(第1の仮想オブジェクト)が重なって見えないよう、複数の仮想オブジェクト(第1の仮想オブジェクト)の表示タイミングまたは表示位置(または姿勢)を制御するとよい。例えば、表示制御部129は、複数の仮想オブジェクト(第1の仮想オブジェクト)が異なるタイミングで表示されるように制御してもよいし、複数の仮想オブジェクト(第1の仮想オブジェクト)の少なくともいずれか一つの位置(または姿勢)を変更してもよい。これによって、複数の仮想オブジェクト(第1の仮想オブジェクト)それぞれを別々に制御しやすくなる。
ユーザ20が歩行を継続すると、図7に示された例では、図6に示された例と比較して、ユーザ20が実オブジェクト31−1(飲食店)に近づいている。このとき、表示制御部129は、ユーザ20と仮想オブジェクト50−1(飲食店のおすすめメニュー)との距離を実質的に維持する距離維持制御を行う。そのため、ユーザ20と仮想オブジェクト50−1(飲食店のおすすめメニュー)との距離は実質的に変化していない。
なお、表示制御部129は、ユーザ20の移動速度に関わらず、ユーザ20と仮想オブジェクト50−1(飲食店のおすすめメニュー)との距離を同じにしてもよい。しかし、ユーザ20は移動速度が大きいほど遠くを視認しやすい。そこで、表示制御部129は、ユーザ20の移動速度が大きいほどユーザ20と仮想オブジェクト50−1(飲食店のおすすめメニュー)との距離を大きくして距離維持制御を行ってもよい。
表示制御部129は、所定の条件が満たされた場合、ユーザ20と仮想オブジェクト50−1(飲食店のおすすめメニュー)との距離を実質的に維持する距離維持制御を終了する。そして、表示制御部129は、ユーザ20と仮想オブジェクト50−1(飲食店のおすすめメニュー)の距離を変化させる。所定の条件は、ユーザ20が実オブジェクト31−1(飲食店)の位置(所定の位置)に近づいたという条件を含んでよい。
以下では、ユーザ20と実オブジェクト31−1(飲食店)とが第1の距離よりも近づいた場合に、ユーザ20と仮想オブジェクト50−1(飲食店のおすすめメニュー)の距離を減少させる場合を想定する。また、以下では、ユーザ20と実オブジェクト31−1(飲食店)とが(第1の距離よりも小さい)第2の距離よりも近づいた場合に、ユーザ20と仮想オブジェクト50−1(飲食店のおすすめメニュー)の距離を増加させる場合を想定する。なお、ユーザ20が実オブジェクト31−1(飲食店)の位置に近づいたという条件の代わりに、仮想オブジェクト50−1(飲食店のおすすめメニュー)が所定の時間表示されたという条件が用いられてもよい。
興味判定部122は、ユーザ20と実オブジェクト31−1(飲食店)とが第1の距離よりも近づいた場合に、仮想オブジェクト50−1(飲食店のおすすめメニュー)に対してユーザ20が興味を持ったか否かを判定する。仮想オブジェクト50−1(飲食店のおすすめメニュー)に対してユーザ20が興味を持ったか否かはどのように判定されてもよい。例えば、興味判定部122は、仮想オブジェクト50−1(飲食店のおすすめメニュー)にユーザ20の視線が移動したか否かに基づいて、仮想オブジェクト50−1(飲食店のおすすめメニュー)に対してユーザ20が興味を持ったか否かを判定してもよい。
表示制御部129は、仮想オブジェクト50−1(飲食店のおすすめメニュー)に対してユーザ20が興味を持ったという判定に基づいて、仮想オブジェクト50−1(飲食店のおすすめメニュー)とユーザ20との距離を減少させる。図7に示された例では、仮想オブジェクト50−1(飲食店のおすすめメニュー)に対してユーザ20の視線が移動したため、興味判定部122によって、仮想オブジェクト50−1(飲食店のおすすめメニュー)に対してユーザ20が興味を持ったと判定される。
かかる場合には、図7に示されたように、表示制御部129は、仮想オブジェクト50−1(飲食店のおすすめメニュー)とユーザ20との距離を減少させればよい。すなわち、表示制御部129は、仮想オブジェクト50−1(飲食店のおすすめメニュー)を減速させればよい。
なお、表示制御部129は、仮想オブジェクト50−1(飲食店のおすすめメニュー)に対してユーザ20が興味を持った場合に、無条件に仮想オブジェクト50−1(飲食店のおすすめメニュー)とユーザ20との距離を減少させてもよい。あるいは、表示制御部129は、仮想オブジェクト50−1(飲食店のおすすめメニュー)に対してユーザ20が興味を持った場合、かつ、ユーザ20が十分に歩行を継続することができるといった条件が満たされた場合に、仮想オブジェクト50−1(飲食店のおすすめメニュー)とユーザ20との距離を減少させてもよい。
例えば、表示制御部129は、環境情報(ユーザ20と実オブジェクトとの相対的な位置関係)に基づいて歩行継続可能な時間または距離を予測してもよい。例えば、表示制御部129は、環境情報に基づいてユーザ20が歩行不可能なエリア(例えば、河川、高速道路など)を実空間から除外した歩行可能なエリアを特定し、歩行可能エリアに基づいて歩行継続可能な時間または距離を予測してよい。そして、表示制御部129は、歩行継続可能な時間または距離が閾値よりも大きい場合に、仮想オブジェクト50−1(飲食店のおすすめメニュー)とユーザ20との距離を減少させればよい。
図7に示された例では、表示制御部129は、仮想オブジェクト50−1(飲食店のおすすめメニュー)とユーザ20との距離を減少させつつ、仮想オブジェクト50−1(飲食店のおすすめメニュー)の情報量を一定に維持している。しかし、仮想オブジェクト50−1(飲食店のおすすめメニュー)に対するユーザ20の興味を増すために、表示制御部129は、仮想オブジェクト50−1(飲食店のおすすめメニュー)とユーザ20との距離を減少させつつ、仮想オブジェクト50−1(飲食店のおすすめメニュー)の情報量を増加させてもよい。
表示制御部129は、仮想オブジェクト50−1(飲食店のおすすめメニュー)とユーザ20の距離を減少させつつ、仮想オブジェクト50−1(飲食店のおすすめメニュー)のユーザ20に対する相対的な姿勢が維持されるように仮想オブジェクト50−1(飲食店のおすすめメニュー)の姿勢を変化させるのがよい。仮想オブジェクト50−1(飲食店のおすすめメニュー)のユーザ20に対する相対的な姿勢が維持されれば、ユーザ20から仮想オブジェクト50−1(飲食店のおすすめメニュー)を視認しやすくなる。
例えば、図8に示されるように、表示制御部129は、仮想オブジェクト50−1(飲食店のおすすめメニュー)とユーザ20の距離を減少させつつ、仮想オブジェクト50−1(飲食店のおすすめメニュー)のうち、仮想オブジェクト50−1(飲食店のおすすめメニュー)の正面51がユーザ20から仮想オブジェクト50−1(飲食店のおすすめメニュー)への方向に対して略垂直になるように、仮想オブジェクト50−1(飲食店のおすすめメニュー)の姿勢を維持すればよい。
図8に示された例では、図7に示された例と比較して、仮想オブジェクト50−1(飲食店のおすすめメニュー)とユーザ20の距離が減少している。一方、図8に示された例では、図7に示された例と比較して、仮想オブジェクト50−1(飲食店のおすすめメニュー)のユーザ20に対する相対的な姿勢が維持されるように、仮想オブジェクト50−1(飲食店のおすすめメニュー)の姿勢が変化している。
ユーザ20が仮想オブジェクト50−1(飲食店のおすすめメニュー)に対して強い興味を持っていれば、仮想オブジェクト50−1(飲食店のおすすめメニュー)とユーザ20との距離が減少している間にユーザ20の移動速度も減少すると考えられる。ユーザ20が仮想オブジェクト50−1(飲食店のおすすめメニュー)に対して強い興味を持った場合には、表示制御部129は、仮想オブジェクト50−1(飲食店のおすすめメニュー)に関連する仮想オブジェクト(第2の仮想オブジェクト)を表示するよう表示部150を制御してよい。
図9に示された例では、仮想オブジェクト(第2の仮想オブジェクト)の例として、仮想オブジェクト50−2(メニュー詳細)が表示されている。ここでは、仮想オブジェクト50−2(メニュー詳細)が、仮想オブジェクト50−1(飲食店のおすすめメニュー)(図8)においてユーザ20の視線が当てられたメニュー「ハンバーガー」の詳細である場合を想定する。しかし、仮想オブジェクト(第2の仮想オブジェクト)は限定されない。
例えば、仮想オブジェクト(第2の仮想オブジェクト)は、ユーザ20の現在位置と実オブジェクト31−1(飲食店)の位置とに応じたナビゲーション情報(例えば、ユーザ20の現在位置から実オブジェクト31−1(飲食店)の位置までの道順を示すナビゲーション情報など)を含んでもよい。ナビゲーション情報は、メニューの予約操作(例えば、予約操作画面内のメニューに対する選択操作、メニューが表示されている状態で頭部を振る操作など)がなされた場合に表示されてもよいし、ユーザ20の現在位置と実オブジェクト31−1(飲食店)の位置とが、閾値よりも離れている場合に表示されてもよい。
表示制御部129は、仮想オブジェクト50−1(飲食店のおすすめメニュー)とユーザ20との距離が減少している間にユーザ20の移動速度が減少した場合、仮想オブジェクト50−2(メニュー詳細)を表示するよう表示部150を制御してよい。なお、表示制御部129は、ユーザ20の移動速度をどのようにして算出してもよい。例えば、表示制御部129は、ユーザ20の位置の時間微分に基づいてユーザ20の移動速度を算出してもよい。
例えば、仮想オブジェクト50−2(メニュー詳細)の情報量は、仮想オブジェクト50−1(飲食店のおすすめメニュー)の情報量よりも多くてよい。例えば、仮想オブジェクト50−1(飲食店のおすすめメニュー)は、おすすめメニューの名称を示すテキストを含んでいる一方、仮想オブジェクト50−2(メニュー詳細)は、メニューの画像(ハンバーガーの画像)なども含んでいる。そのため、仮想オブジェクト50−2(メニュー詳細)の情報量は、仮想オブジェクト50−1(飲食店のおすすめメニュー)の情報量よりも多くなっている。
図10に示されるように、表示制御部129は、仮想オブジェクト50−1(飲食店のおすすめメニュー)に対してユーザ20が興味を持たなかった場合、仮想オブジェクト50−1(飲食店のおすすめメニュー)とユーザ20との距離を減少させなくてよい(距離を維持したままでもよい)。また、図11に示されるように、表示制御部129は、仮想オブジェクト50−1(飲食店のおすすめメニュー)とユーザ20との距離が減少している間にユーザ20の移動速度が減少しなかった場合、仮想オブジェクト50−2(メニュー詳細)を表示せず、引き続き仮想オブジェクト50−1(飲食店のおすすめメニュー)を表示するよう表示部150を制御してよい。
図12に示されるように、仮想オブジェクト50−1(飲食店のおすすめメニュー)に対してユーザ20が興味を持たないまま、ユーザ20がさらに実オブジェクト31−1(飲食店)に近づき、所定の条件が満たされた場合(より具体的には、ユーザ20と実オブジェクト31−1(飲食店)とが第2の距離よりも近づいた場合)を想定する。かかる場合、仮想オブジェクト50−1(飲食店のおすすめメニュー)に対するユーザ20の興味は高まっていないと考えられる。
そこで、かかる場合には、表示制御部129は、仮想オブジェクト50−1(飲食店のおすすめメニュー)がユーザ20の移動方向(例えば、ユーザ20の移動経路)から離れるよう仮想オブジェクト50−1(飲食店のおすすめメニュー)を移動させつつ、仮想オブジェクト50−1(飲食店のおすすめメニュー)の姿勢を変化させるとよい。
より具体的に、表示制御部129は、所定の条件が満たされた場合(より具体的には、ユーザ20と実オブジェクト31−1(飲食店)とが第2の距離よりも近づいた場合)、仮想オブジェクト50−1(飲食店のおすすめメニュー)の正面51とユーザ20の移動方向とのなす角度が小さくなるように仮想オブジェクト50−1(飲食店のおすすめメニュー)の姿勢を変化させるとよい。図12には、表示制御部129が、仮想オブジェクト50−1(飲食店のおすすめメニュー)の正面51とユーザ20の移動方向とが平行になるように仮想オブジェクト50−1(飲食店のおすすめメニュー)の姿勢を変化させた例が示されている。
以上、本開示の第1の実施形態に係る情報処理装置10の機能詳細について説明した。
[2.2.情報処理装置の動作]
図13および図14を参照しながら、本開示の第1の実施形態に係る情報処理装置10の動作の例について説明する。図13および図14は、本開示の第1の実施形態に係る情報処理装置10の動作の例を示すフローチャートである。なお、図13および図14に示したフローチャートは、本開示の第1の実施形態に係る情報処理装置10の動作の一例を示すに過ぎない。したがって、本開示の第1の実施形態に係る情報処理装置10の動作は、図13および図14に示した例に限定されない。
図13に示されたように、本開示の第1の実施形態では、実空間における所定の位置に紐づく情報(仮想オブジェクト)の表示(場所に紐づく表示)が開始される。制御部120は、処理終了指示が検出された場合(S11において「Yes」)、場所に紐づく表示を終了させる。一方、環境情報取得部123は、処理終了指示が検出されない場合(S11において「No」)、センサ部110によって検出されたユーザの位置および姿勢を取得する(S12)。なお、処理終了指示は、ユーザの注目が仮想オブジェクトから外れたことによって検出されてもよい。
環境情報取得部123は、ユーザの位置および姿勢とマップ情報135(図5)とに基づいて、ユーザと実オブジェクトとの相対的な位置関係(例えば、ユーザの視野における実オブジェクトの位置)を環境情報として取得する(S13)。コンテキスト取得部121は、環境情報に基づいて、ユーザの位置(現在位置)が実オブジェクトの位置から所定の距離以内に移動したことを取得する。
制御部120は、コンテキスト「ユーザの位置(現在位置)が実オブジェクトの位置から所定の距離以内に移動」に対応する仮想オブジェクトが無い場合(S14において「No」)、S11に動作を移行させる。一方、表示制御部129は、コンテキスト「ユーザの位置(現在位置)が実オブジェクトの位置から所定の距離以内に移動」に対応する仮想オブジェクトが有る場合(S14において「Yes」)、場所に紐づく表示処理を実行する(S15)。
表示制御部129は、ユーザの位置(現在位置)に応じた場所(実オブジェクトの位置)を仮目的地に設定する(S21)。そして、表示制御部129は、ユーザの位置、姿勢、環境情報および仮目的地に基づいて、仮想オブジェクトの表示位置を決定する(S22)。表示制御部129は、決定した表示位置に仮想オブジェクトを表示するよう表示部150を制御する。このとき、表示制御部129は、ユーザとの距離が維持されるように仮想オブジェクトの位置姿勢を制御する(S23)。
表示制御部129は、興味判定部122によってユーザが仮想オブジェクトに興味を持ったと判定されない場合(S24において「No」)、S25に動作を移行させる。制御部120は、処理終了指示が検出されない場合(S25において「No」)、S22に動作を移行させる。一方、制御部120は、処理終了指示が検出された場合(S25において「Yes」)、場所に紐づく表示を終了させる。
一方、表示制御部129は、興味判定部122によってユーザが仮想オブジェクトに興味を持ったと判定された場合(S24において「Yes」)、ユーザと仮想オブジェクトとの距離を減少させる(S26)。表示制御部129は、ユーザが立ち止まらない場合(S27において「No」)、S28に動作を移行させる。なお、ユーザが立ち止まらない場合は、ユーザが減速しない場合に置き換えられてよい。制御部120は、処理終了指示が検出されない場合(S28において「No」)、S26に動作を移行させる。一方、制御部120は、処理終了指示が検出された場合(S28において「Yes」)、場所に紐づく表示を終了させる。
一方、表示制御部129は、ユーザが立ち止まった場合(S27において「Yes」)、詳細情報を表示するよう表示部150を制御する(S29)。ユーザが立ち止まった場合は、ユーザが減速した場合に置き換えられてよい。制御部120は、処理終了指示が検出されない場合(S30において「No」)、S29に動作を移行させる。一方、制御部120は、処理終了指示が検出された場合(S30において「Yes」)、ナビゲーションが必要か否かを判定する(S31)。ナビゲーションが必要ではない場合(S31において「No」)、場所に紐づく表示を終了させる。一方、ナビゲーションが必要である場合(S31において「Yes」)、仮目的地を目的地としてナビゲーションを行い(S32)、場所に紐づく表示を終了させる。
以上、本開示の第1の実施形態に係る情報処理装置10の動作の例について説明した。
[2.3.各種の変形例]
上記のようにして、本開示の本開示の第1の実施形態に係る情報処理装置10の機能が実現される。しかし、本開示の本開示の第1の実施形態に係る情報処理装置10の機能は、上記した例に限定されない。例えば、上記では、第1の仮想オブジェクトとして、仮想オブジェクト(飲食店のおすすめメニュー)が表示される例を説明した。しかし、第1の仮想オブジェクトは、飲食店のおすすめメニューを掲げたエージェントであってもよい。このとき、エージェントはユーザ20に視線を向けていてもよい。
また、上記では、仮想オブジェクト50−1(飲食店のおすすめメニュー)に対してユーザ20が興味を持ったという判定に基づいて、仮想オブジェクト50−1(飲食店のおすすめメニュー)とユーザ20との距離を減少させる例を説明した。仮想オブジェクト50−1(飲食店のおすすめメニュー)に対するユーザ20の興味を増すために、表示制御部129は、仮想オブジェクト50−1(飲食店のおすすめメニュー)とユーザ20との距離を減少させつつ、エージェントがユーザ20に話しかけるようにしてもよい。
また、上記では、仮想オブジェクト50−1(飲食店のおすすめメニュー)に対してユーザ20が興味を持ったか否かを、ユーザ20の視線に基づいて判定する例を説明した。しかし、仮想オブジェクト50−1(飲食店のおすすめメニュー)に対してユーザ20が興味を持ったか否かを、ユーザ20とエージェントとの対話に基づいて判定してもよい。また、上記では、第2の仮想オブジェクトとして、仮想オブジェクト50−2(メニュー詳細)が表示される例を説明した。しかし、第2の仮想オブジェクトは、「エージェントからのおすすめメニュー」であってもよい。
上記では、実空間における所定の位置に店舗が存在する例を説明した。しかし、実空間における所定の位置に商業施設の休憩スペースが存在してもよい。そして、所定の位置に関連する情報は、所定の位置に存在する商業施設の休憩スペースの情報(例えば、休憩スペースで購入可能なメニュー)を含んでもよい。かかる場合には、メニューの予約操作の代わりにメニューの購入操作が行われてよく、予約操作画面の代わりに購入操作画面が表示されてよい。
<3.第2の実施形態の詳細>
続いて、本開示の第2の実施形態の詳細について説明する。
本開示の第2の実施形態では、第1の仮想オブジェクトが、実空間における所定の位置と関連しない情報を示してよい。本開示の第2の実施形態では、情報処理装置10によって情報(例えば、電子メールなど)が受信されると、情報処理装置10による情報受信をユーザに知らせるための通知オブジェクトを含む第1の仮想オブジェクトが表示される。
[3.1.情報処理装置の機能詳細]
本開示の第2の実施形態に係る情報処理装置10の機能詳細について説明する。以下では、図15〜図21を参照しながら(適宜に図1〜図5も参照しながら)、本開示の第2の実施形態に係る情報処理装置10の機能詳細について説明する。
図15〜図21は、本開示の第2の実施形態に係る仮想オブジェクトの制御例について説明するための図である。図15を参照すると、情報処理装置10は、ユーザ20の視野を形成している。ユーザ20は、所望の方向に移動している。第2の実施形態においても、ユーザが歩行によって移動する場合を想定する。しかし、ユーザの移動は歩行による移動に限定されない。例えば、ユーザの移動は乗り物(例えば、自転車、自動車など)による移動であってもよい。
また、マップ情報135(図5)として、実オブジェクトの種類とその実オブジェクトの位置情報とが関連付けられてなる情報が登録されている。環境情報取得部123は、環境情報を取得する。より具体的に、環境情報取得部123は、センサ部110によってユーザ20の位置および姿勢が検出された場合、ユーザ20の位置および姿勢とマップ情報135(図5)とに基づいて、ユーザ20と実オブジェクトとの相対的な位置関係(例えば、ユーザ20の視野における実オブジェクトの位置)を環境情報として取得する。
ユーザ20と実オブジェクトとの相対的な位置関係は、どのようにして取得されてもよい。例えば、ユーザ20と実オブジェクトとの相対的な位置関係は、ユーザ20の視野の撮像画像から直接認識されてもよい。さらに、環境情報は、ユーザ20と実オブジェクトとの相対的な位置関係に限定されない。例えば、環境情報は、マイクロフォンによって検出されるユーザ20の周囲の環境音であってもよいし、照度センサによって検出される照度であってもよい。
コンテキスト取得部121は、通信部140によって通知情報(例えば、電子メールなど)が受信されると、通信部140によって受信された通知情報を取得する。表示制御部129は、コンテキスト取得部121によって通知情報が取得された場合、通信部140による通知情報の受信をユーザに知らせるための通知オブジェクトとして、仮想オブジェクト50−3(Aさんからのメッセージ)を取得する。表示制御部129は、取得した仮想オブジェクト50−3(Aさんからのメッセージ)を視野内に表示するよう表示部150を制御する。
なお、図15に示された例では、仮想オブジェクト50−3(Aさんからのメッセージ)に、送信者の名前「Aさん」と送信者の画像と題名「メッセージ」とが含まれている。しかし、仮想オブジェクト50−3(Aさんからのメッセージ)には、どのような情報が含まれていてもよい。
ここで、視野における仮想オブジェクト50−3(Aさんからのメッセージ)の位置は限定されない。例えば、表示制御部129は、ユーザの略正面に仮想オブジェクト50−3(Aさんからのメッセージ)を表示するよう表示部150を制御する。すなわち、仮想オブジェクト50−3(Aさんからのメッセージ)は、ユーザ20の真正面に表示されてもよいし、ユーザ20の歩行を妨げないようユーザ20の前方横(図15に示された例では、ユーザ20の前方左)に表示されてもよい。具体的に、ユーザ20の前方横は、周辺視野であってもよい。
仮想オブジェクト50−3(Aさんからのメッセージ)の姿勢も限定されない。例えば、表示制御部129は、ユーザ20から仮想オブジェクト50−3(Aさんからのメッセージ)を視認しやすくするために、仮想オブジェクト50−3(Aさんからのメッセージ)のうち、情報が記載されている面(すなわち、仮想オブジェクト50−3(Aさんからのメッセージ)の正面51)がユーザ20から仮想オブジェクト50−3(Aさんからのメッセージ)への方向に対して略垂直になるように、仮想オブジェクト50−3(Aさんからのメッセージ)の姿勢を維持してもよい。
なお、図15に示された例では、ユーザ20の視野内に表示される仮想オブジェクト(第1の仮想オブジェクト)の数は1つである。しかし、ユーザ20の視野内に表示される仮想オブジェクト(第1の仮想オブジェクト)の数は1つに限定されない。例えば、ユーザ20の視野内に表示される仮想オブジェクト(第1の仮想オブジェクト)の数は、複数であってもよい。
例えば、表示制御部129は、複数の仮想オブジェクト(第1の仮想オブジェクト)を表示するよう表示部150を制御する場合、ユーザ20から複数の仮想オブジェクト(第1の仮想オブジェクト)が重なって見えないよう、複数の仮想オブジェクト(第1の仮想オブジェクト)の表示タイミングまたは表示位置(または姿勢)を制御するとよい。例えば、表示制御部129は、複数の仮想オブジェクト(第1の仮想オブジェクト)が異なるタイミングで表示されるように制御してもよいし、複数の仮想オブジェクト(第1の仮想オブジェクト)の少なくともいずれか一つの位置(または姿勢)を変更してもよい。これによって、複数の仮想オブジェクト(第1の仮想オブジェクト)それぞれを別々に制御しやすくなる。
ユーザ20が歩行を継続すると、図16に示された例では、図15に示された例と比較して、ユーザ20の位置が移動している。このとき、表示制御部129は、ユーザ20と仮想オブジェクト50−3(Aさんからのメッセージ)との距離を実質的に維持する距離維持制御を行う。そのため、ユーザ20と仮想オブジェクト50−3(Aさんからのメッセージ)との距離は実質的に変化していない。
なお、表示制御部129は、ユーザ20の移動速度に関わらず、ユーザ20と仮想オブジェクト50−3(Aさんからのメッセージ)との距離を同じにしてもよい。しかし、ユーザ20は移動速度が大きいほど遠くを視認しやすい。そこで、表示制御部129は、ユーザ20の移動速度が大きいほどユーザ20と仮想オブジェクト50−3(Aさんからのメッセージ)との距離を大きくして距離維持制御を行ってもよい。
表示制御部129は、所定の条件が満たされた場合、ユーザ20と仮想オブジェクト50−1(飲食店のおすすめメニュー)との距離を実質的に維持する距離維持制御を終了する。そして、表示制御部129は、ユーザ20と仮想オブジェクト50−3(Aさんからのメッセージ)の距離を変化させる。所定の条件は、仮想オブジェクト50−3(Aさんからのメッセージ)が所定の時間表示されたという条件を含んでよい。
以下では、仮想オブジェクト50−3(Aさんからのメッセージ)が第1の時間表示された場合に、ユーザ20と仮想オブジェクト50−3(Aさんからのメッセージ)の距離を減少させる場合を想定する。また、以下では、仮想オブジェクト50−3(Aさんからのメッセージ)が(第1の時間よりも長い)第2の時間表示された場合に、ユーザ20と仮想オブジェクト50−3(Aさんからのメッセージ)の距離を増加させる場合を想定する。
興味判定部122は、仮想オブジェクト50−3(Aさんからのメッセージ)が第1の時間表示された場合に、仮想オブジェクト50−3(Aさんからのメッセージ)に対してユーザ20が興味を持ったか否かを判定する。仮想オブジェクト50−3(Aさんからのメッセージ)に対してユーザ20が興味を持ったか否かはどのように判定されてもよい。例えば、興味判定部122は、仮想オブジェクト50−3(Aさんからのメッセージ)にユーザ20の視線が移動したか否かに基づいて、仮想オブジェクト50−3(Aさんからのメッセージ)に対してユーザ20が興味を持ったか否かを判定してもよい。
表示制御部129は、仮想オブジェクト50−3(Aさんからのメッセージ)に対してユーザ20が興味を持ったという判定に基づいて、仮想オブジェクト50−3(Aさんからのメッセージ)とユーザ20との距離を減少させる。図16に示された例では、仮想オブジェクト50−3(Aさんからのメッセージ)に対してユーザ20の視線が移動したため、興味判定部122によって、仮想オブジェクト50−3(Aさんからのメッセージ)に対してユーザ20が興味を持ったと判定される。
かかる場合には、図16に示されたように、表示制御部129は、仮想オブジェクト50−3(Aさんからのメッセージ)とユーザ20との距離を減少させればよい。すなわち、表示制御部129は、仮想オブジェクト50−3(Aさんからのメッセージ)を減速させればよい。
なお、表示制御部129は、仮想オブジェクト50−3(Aさんからのメッセージ)に対してユーザ20が興味を持った場合に、無条件に仮想オブジェクト50−3(Aさんからのメッセージ)とユーザ20との距離を減少させてもよい。あるいは、表示制御部129は、仮想オブジェクト50−3(Aさんからのメッセージ)に対してユーザ20が興味を持った場合、かつ、ユーザ20が十分に歩行を継続することができるといった条件が満たされた場合に、仮想オブジェクト50−3(Aさんからのメッセージ)とユーザ20との距離を減少させてもよい。
例えば、表示制御部129は、環境情報(ユーザ20と実オブジェクトとの相対的な位置関係)に基づいて歩行継続可能な時間または距離を予測してもよい。例えば、表示制御部129は、環境情報に基づいてユーザ20が歩行不可能なエリア(例えば、河川、高速道路など)を実空間から除外した歩行可能なエリアを特定し、歩行可能エリアに基づいて歩行継続可能な時間または距離を予測してよい。そして、表示制御部129は、歩行継続可能な時間または距離が閾値よりも大きい場合に、仮想オブジェクト50−3(Aさんからのメッセージ)とユーザ20との距離を減少させればよい。
図16に示された例では、表示制御部129は、仮想オブジェクト50−3(Aさんからのメッセージ)とユーザ20との距離を減少させつつ、仮想オブジェクト50−3(Aさんからのメッセージ)の情報量を一定に維持している。しかし、仮想オブジェクト50−3(Aさんからのメッセージ)に対するユーザ20の興味を増すために、表示制御部129は、仮想オブジェクト50−3(Aさんからのメッセージ)とユーザ20との距離を減少させつつ、仮想オブジェクト50−3(Aさんからのメッセージ)の情報量を増加させてもよい。
表示制御部129は、仮想オブジェクト50−3(Aさんからのメッセージ)とユーザ20の距離を減少させつつ、仮想オブジェクト50−3(Aさんからのメッセージ)のユーザ20に対する相対的な姿勢が維持されるように仮想オブジェクト50−3(Aさんからのメッセージ)の姿勢を変化させるのがよい。仮想オブジェクト50−3(Aさんからのメッセージ)のユーザ20に対する相対的な姿勢が維持されれば、ユーザ20から仮想オブジェクト50−3(Aさんからのメッセージ)を視認しやすくなる。
例えば、図17に示されるように、表示制御部129は、仮想オブジェクト50−3(Aさんからのメッセージ)とユーザ20の距離を減少させつつ、仮想オブジェクト50−3(Aさんからのメッセージ)のうち、仮想オブジェクト50−3(Aさんからのメッセージ)の正面51がユーザ20から仮想オブジェクト50−3(Aさんからのメッセージ)への方向に対して略垂直になるように、仮想オブジェクト50−3(Aさんからのメッセージ)の姿勢を維持すればよい。
図17に示された例では、図16に示された例と比較して、仮想オブジェクト50−3(Aさんからのメッセージ)とユーザ20の距離が減少している。一方、図17に示された例では、図16に示された例と比較して、仮想オブジェクト50−3(Aさんからのメッセージ)のユーザ20に対する相対的な姿勢が維持されるように、仮想オブジェクト50−3(Aさんからのメッセージ)の姿勢が変化している。
ユーザ20が仮想オブジェクト50−3(Aさんからのメッセージ)に対して強い興味を持っていれば、仮想オブジェクト50−3(Aさんからのメッセージ)とユーザ20との距離が減少している間にユーザ20の移動速度も減少すると考えられる。ユーザ20が仮想オブジェクト50−3(Aさんからのメッセージ)に対して強い興味を持った場合には、表示制御部129は、仮想オブジェクト50−3(Aさんからのメッセージ)に関連する仮想オブジェクト(第2の仮想オブジェクト)を表示するよう表示部150を制御してよい。
図18に示された例では、仮想オブジェクト(第2の仮想オブジェクト)の例として、仮想オブジェクト50−4(Aさんからのメッセージ本文)が表示されている。すなわち、表示制御部129は、仮想オブジェクト50−3(Aさんからのメッセージ)とユーザ20との距離が減少している間にユーザ20の移動速度が減少した場合、仮想オブジェクト50−4(Aさんからのメッセージ本文)を表示するよう表示部150を制御してよい。 例えば、仮想オブジェクト50−4(Aさんからのメッセージ本文)の情報量は、仮想オブジェクト50−3(Aさんからのメッセージ)の情報量よりも多くてもよい。
図19に示されるように、表示制御部129は、仮想オブジェクト50−3(Aさんからのメッセージ)に対してユーザ20が興味を持たなかった場合、仮想オブジェクト50−3(Aさんからのメッセージ)とユーザ20との距離を減少させなくてよい(距離を維持したままでもよい)。また、図20に示されるように、表示制御部129は、仮想オブジェクト50−3(Aさんからのメッセージ)とユーザ20との距離が減少している間にユーザ20の移動速度が減少しなかった場合、仮想オブジェクト50−4(Aさんからのメッセージ本文)を表示せず、引き続き仮想オブジェクト50−3(Aさんからのメッセージ)を表示するよう表示部150を制御してよい。
図21に示されるように、仮想オブジェクト50−3(Aさんからのメッセージ)に対してユーザ20が興味を持たないまま、所定の条件が満たされた場合(より具体的には、仮想オブジェクト50−3(Aさんからのメッセージ)が第2の時間表示された場合)を想定する。かかる場合、仮想オブジェクト50−3(Aさんからのメッセージ)に対するユーザ20の興味は高まっていないと考えられる。
そこで、かかる場合には、表示制御部129は、仮想オブジェクト50−3(Aさんからのメッセージ)がユーザ20の移動方向(例えば、ユーザ20の移動経路)から離れるよう仮想オブジェクト50−3(Aさんからのメッセージ)を移動させつつ、仮想オブジェクト50−3(Aさんからのメッセージ)の姿勢を変化させるとよい。
より具体的に、表示制御部129は、所定の条件が満たされた場合(より具体的には、仮想オブジェクト50−3(Aさんからのメッセージ)が第2の時間表示された場合)、仮想オブジェクト50−3(Aさんからのメッセージ)の正面51とユーザ20の移動方向とのなす角度が小さくなるように仮想オブジェクト50−3(Aさんからのメッセージ)の姿勢を変化させるとよい。図21には、表示制御部129が、仮想オブジェクト50−3(Aさんからのメッセージ)の正面51とユーザ20の移動方向とが平行になるように仮想オブジェクト50−3(Aさんからのメッセージ)の姿勢を変化させた例が示されている。
以上、本開示の第2の実施形態に係る情報処理装置10の機能詳細について説明した。
[3.2.情報処理装置の動作]
図22および図23を参照しながら、本開示の第2の実施形態に係る情報処理装置10の動作の例について説明する。図22および図23は、本開示の第2の実施形態に係る情報処理装置10の動作の例を示すフローチャートである。なお、図22および図23に示したフローチャートは、本開示の第2の実施形態に係る情報処理装置10の動作の一例を示すに過ぎない。したがって、本開示の第2の実施形態に係る情報処理装置10の動作は、図22および図23に示した例に限定されない。
図22に示されたように、本開示の第2の実施形態では、実空間における所定の位置に紐づかない情報(仮想オブジェクト)の表示(場所に紐づかない表示)が開始される。制御部120は、処理終了指示が検出された場合(S11において「Yes」)、場所に紐づかない表示を終了させる。一方、環境情報取得部123は、処理終了指示が検出されない場合(S11において「No」)、センサ部110によって検出されたユーザの位置および姿勢を取得する(S12)。なお、処理終了指示は、ユーザの注目が仮想オブジェクトから外れたことによって検出されてもよい。
環境情報取得部123は、ユーザの位置および姿勢とマップ情報135(図5)とに基づいて、ユーザと実オブジェクトとの相対的な位置関係(例えば、ユーザの視野における実オブジェクトの位置)を環境情報として取得する(S13)。コンテキスト取得部121は、通信部140によって通知情報(例えば、電子メールなど)が受信されると、通信部140によって受信された通知情報を取得する(S16)。制御部120は、コンテキスト取得部121によって通知情報が取得された場合、通信部140による通知情報の受信をユーザに知らせるための通知オブジェクトとして、仮想オブジェクトが存在するかを判定する。
制御部120は、仮想オブジェクトが無い場合(S14において「No」)、S11に動作を移行させる。一方、表示制御部129は、仮想オブジェクトが有る場合(S14において「Yes」)、場所に紐づかない表示処理を実行する(S15)。
表示制御部129は、ユーザの位置、姿勢および環境情報に基づいて、仮想オブジェクトの表示位置を決定する(S32)。表示制御部129は、決定した表示位置に仮想オブジェクトを表示するよう表示部150を制御する。このとき、表示制御部129は、ユーザとの距離が維持されるように仮想オブジェクトの位置姿勢を制御する(S23)。
表示制御部129は、興味判定部122によってユーザが仮想オブジェクトに興味を持ったと判定されない場合(S24において「No」)、S25に動作を移行させる。制御部120は、処理終了指示が検出されない場合(S25において「No」)、S22に動作を移行させる。一方、制御部120は、処理終了指示が検出された場合(S25において「Yes」)、場所に紐づかない表示を終了させる。
一方、表示制御部129は、興味判定部122によってユーザが仮想オブジェクトに興味を持ったと判定された場合(S24において「Yes」)、ユーザと仮想オブジェクトとの距離を減少させる(S26)。表示制御部129は、ユーザが立ち止まらない場合(S27において「No」)、S28に動作を移行させる。なお、ユーザが立ち止まらない場合は、ユーザが減速しない場合に置き換えられてよい。制御部120は、処理終了指示が検出されない場合(S28において「No」)、S26に動作を移行させる。一方、制御部120は、処理終了指示が検出された場合(S28において「Yes」)、場所に紐づかない表示を終了させる。
一方、表示制御部129は、ユーザが立ち止まった場合(S27において「Yes」)、詳細情報を表示するよう表示部150を制御する(S29)。ユーザが立ち止まった場合は、ユーザが減速した場合に置き換えられてよい。制御部120は、処理終了指示が検出されない場合(S30において「No」)、S29に動作を移行させる。一方、制御部120は、処理終了指示が検出された場合(S30において「Yes」)、場所に紐づかない表示を終了させる。
以上、本開示の第2の実施形態に係る情報処理装置10の動作の例について説明した。
[3.3.各種の変形例]
上記のようにして、本開示の本開示の第1の実施形態に係る情報処理装置10の機能が実現される。しかし、本開示の本開示の第1の実施形態に係る情報処理装置10の機能は、上記した例に限定されない。例えば、上記では、第1の仮想オブジェクトとして、仮想オブジェクト50−3(Aさんからのメッセージ)が表示される例を説明した。しかし、第1の仮想オブジェクトは、店舗で利用可能なクーポンであってもよい。このとき、第2の仮想オブジェクトは、クーポンの詳細情報であってよい。
<4.ハードウェア構成例>
次に、図24を参照して、本開示の実施形態に係る情報処理装置10のハードウェア構成例について説明する。図24は、本開示の実施形態に係る情報処理装置10のハードウェア構成例を示すブロック図である。
図24に示されるように、情報処理装置10は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、情報処理装置10は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含む。さらに、情報処理装置10は、撮像装置933、およびセンサ935を含む。情報処理装置10は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置10内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置915は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置10の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、情報処理装置10に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置933も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro−Luminescence)ディスプレイ、プロジェクタなどの表示装置、ホログラムの表示装置、スピーカおよびヘッドホンなどの音声出力装置、ならびにプリンタ装置などであり得る。出力装置917は、情報処理装置10の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音声として出力したりする。また、出力装置917は、周囲を明るくするためライトなどを含んでもよい。
ストレージ装置919は、情報処理装置10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、情報処理装置10に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
接続ポート923は、機器を情報処理装置10に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどであり得る。また、接続ポート923は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High−Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、情報処理装置10と外部接続機器929との間で各種のデータが交換され得る。
通信装置925は、例えば、通信ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどであり得る。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続される通信ネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。
撮像装置933は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
センサ935は、例えば、測距センサ、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサなどの各種のセンサである。センサ935は、例えば情報処理装置10の筐体の姿勢など、情報処理装置10自体の状態に関する情報や、情報処理装置10の周辺の明るさや騒音など、情報処理装置10の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPSセンサを含んでもよい。
<5.むすび>
以上説明したように、本開示の実施形態によれば、実空間においてユーザが移動している間に第1の仮想オブジェクトの表示を開始するよう表示装置を制御し、前記ユーザと前記第1の仮想オブジェクトとの距離を実質的に維持する距離維持制御を行い、所定の条件が満たされた場合、前記距離維持制御を終了して前記ユーザと前記第1の仮想オブジェクトの距離を変化させる表示制御部を備える、情報処理装置が提供される。かかる構成によれば、仮想オブジェクトの誘目性を高めることが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、コンピュータに内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上記した制御部120が有する機能と同等の機能を発揮させるためのプログラムも作成可能である。また、該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
例えば、上記した情報処理装置10の動作が実現されれば、各構成の位置は特に限定されない。情報処理装置10における各部の処理の一部または全部はサーバ装置(不図示)によって行われてもよい。具体的な一例として、情報処理装置10における制御部120が有する各ブロックの一部または全部は、サーバ装置(不図示)などに存在していてもよい。例えば、情報処理装置10におけるコンテキスト取得部121、興味判定部122、環境情報取得部123および表示制御部129の一部または全部は、サーバ装置(不図示)などに存在していてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
実空間においてユーザが移動している間に第1の仮想オブジェクトの表示を開始するよう表示装置を制御し、前記ユーザと前記第1の仮想オブジェクトとの距離を実質的に維持する距離維持制御を行い、所定の条件が満たされた場合、前記距離維持制御を終了して前記ユーザと前記第1の仮想オブジェクトの距離を変化させる表示制御部を備える、
情報処理装置。
(2)
前記所定の条件は、前記ユーザが前記実空間の所定の位置に近づいたという条件を含む、
前記(1)に記載の情報処理装置。
(3)
前記第1の仮想オブジェクトは、前記所定の位置に関連する情報を示す、
前記(2)に記載の情報処理装置。
(4)
前記所定の位置に関連する情報は、前記所定の位置に存在する店舗の情報を含む、
前記(3)に記載の情報処理装置。
(5)
前記表示制御部は、
前記ユーザが移動しているという判定に基づいて前記ユーザの略正面に前記第1の仮想オブジェクトを表示するよう前記表示装置を制御し、
前記所定の条件が満たされた場合、前記第1の仮想オブジェクトが前記ユーザの移動方向から離れるよう前記第1の仮想オブジェクトを移動させつつ、前記第1の仮想オブジェクトの姿勢を変化させる、
前記(1)〜(4)のいずれか一項に記載の情報処理装置。
(6)
前記表示制御部は、前記所定の条件が満たされた場合、前記第1の仮想オブジェクトの正面と前記ユーザの移動方向とのなす角度が小さくなるように前記第1の仮想オブジェクトの姿勢を変化させる、
前記(5)に記載の情報処理装置。
(7)
前記情報処理装置は、
前記表示された第1の仮想オブジェクトに対し前記ユーザが興味を持ったか否かを判定する興味判定部をさらに備え、
前記表示制御部は、前記表示された第1の仮想オブジェクトに対し前記ユーザが興味を持ったという判定に基づいて、前記表示された第1の仮想オブジェクトと前記ユーザの距離を減少させる、
前記(1)〜(6)のいずれか一項に記載の情報処理装置。
(8)
前記興味判定部は、前記ユーザの視線が前記第1の仮想オブジェクトに移動した場合に、前記第1の仮想オブジェクトに対して前記ユーザが興味を持ったと判定する、
前記(7)に記載の情報処理装置。
(9)
前記表示制御部は、前記第1の仮想オブジェクトと前記ユーザの前記距離を減少させつつ、前記第1の仮想オブジェクトの前記ユーザに対する相対的な姿勢が維持されるように前記第1の仮想オブジェクトの姿勢を変化させる、
前記(7)または(8)に記載の情報処理装置。
(10)
前記表示制御部は、環境情報に基づいて予測された歩行継続可能な時間または距離が閾値よりも大きい場合に、前記第1の仮想オブジェクトと前記ユーザの距離を減少させる、
前記(7)〜(9)のいずれか一項に記載の情報処理装置。
(11)
前記表示制御部は、前記第1の仮想オブジェクトと前記ユーザの前記距離を減少させつつ、前記第1の仮想オブジェクトの情報量を増加させる、
前記(7)〜(10)のいずれか一項に記載の情報処理装置。
(12)
前記表示制御部は、前記第1の仮想オブジェクトと前記ユーザの前記距離が減少している間に前記ユーザの移動速度が減少した場合、前記第1の仮想オブジェクトに関連する第2の仮想オブジェクトを表示するよう前記表示装置を制御する、
前記(7)〜(11)のいずれか一項に記載の情報処理装置。
(13)
前記第2の仮想オブジェクトの情報量は、前記第1の仮想オブジェクトよりも情報量が多い、
前記(12)に記載の情報処理装置。
(14)
前記第2の仮想オブジェクトは、前記ユーザの現在位置と前記第1の仮想オブジェクトに関連する所定の位置とに応じたナビゲーション情報を含む、
前記(12)または(13)に記載の情報処理装置。
(15)
前記第1の仮想オブジェクトは、前記情報処理装置による情報受信を前記ユーザに知らせるための通知オブジェクトを含む、
前記(1)〜(14)のいずれか一項に記載の情報処理装置。
(16)
前記表示制御部は、前記ユーザの移動速度が大きいほど前記ユーザと前記第1の仮想オブジェクトとの距離を大きくして前記距離維持制御を行う、
前記(1)〜(15)のいずれか一項に記載の情報処理装置。
(17)
前記表示制御部は、複数の前記第1の仮想オブジェクトを表示するよう制御する場合、前記ユーザから前記複数の第1の仮想オブジェクトが重なって見えないよう、前記複数の第1の仮想オブジェクトの表示タイミングまたは表示位置を制御する、
前記(1)〜(16)のいずれか一項に記載の情報処理装置。
(18)
前記情報処理装置は、HMD(Head Mounted Display)である、
前記(1)〜(17)のいずれか一項に記載の情報処理装置。
(19)
実空間においてユーザが移動している間に第1の仮想オブジェクトの表示を開始するよう表示装置を制御し、前記ユーザと前記第1の仮想オブジェクトとの距離を実質的に維持する距離維持制御を行い、所定の条件が満たされた場合、前記距離維持制御を終了して前記ユーザと前記第1の仮想オブジェクトの距離を変化させることを含む、
情報処理方法。
(20)
コンピュータを、
実空間においてユーザが移動している間に第1の仮想オブジェクトの表示を開始するよう表示装置を制御し、前記ユーザと前記第1の仮想オブジェクトとの距離を実質的に維持する距離維持制御を行い、所定の条件が満たされた場合、前記距離維持制御を終了して前記ユーザと前記第1の仮想オブジェクトの距離を変化させる表示制御部を備える、
情報処理装置として機能させるためのプログラム。
10 情報処理装置
20 ユーザ
31 実オブジェクト
50 仮想オブジェクト
51 正面
110 センサ部
120 制御部
121 コンテキスト取得部
122 興味判定部
123 環境情報取得部
129 表示制御部
130 記憶部
131 仮想オブジェクト定義情報
135 マップ情報
140 通信部
150 表示部

Claims (20)

  1. 実空間においてユーザが移動している間に第1の仮想オブジェクトの表示を開始するよう表示装置を制御し、前記ユーザと前記第1の仮想オブジェクトとの距離を実質的に維持する距離維持制御を行い、所定の条件が満たされた場合、前記距離維持制御を終了して前記ユーザと前記第1の仮想オブジェクトの距離を変化させる表示制御部を備える、
    情報処理装置。
  2. 前記所定の条件は、前記ユーザが前記実空間の所定の位置に近づいたという条件を含む、
    請求項1に記載の情報処理装置。
  3. 前記第1の仮想オブジェクトは、前記所定の位置に関連する情報を示す、
    請求項2に記載の情報処理装置。
  4. 前記所定の位置に関連する情報は、前記所定の位置に存在する店舗の情報を含む、
    請求項3に記載の情報処理装置。
  5. 前記表示制御部は、
    前記ユーザが移動しているという判定に基づいて前記ユーザの略正面に前記第1の仮想オブジェクトを表示するよう前記表示装置を制御し、
    前記所定の条件が満たされた場合、前記第1の仮想オブジェクトが前記ユーザの移動方向から離れるよう前記第1の仮想オブジェクトを移動させつつ、前記第1の仮想オブジェクトの姿勢を変化させる、
    請求項1に記載の情報処理装置。
  6. 前記表示制御部は、前記所定の条件が満たされた場合、前記第1の仮想オブジェクトの正面と前記ユーザの移動方向とのなす角度が小さくなるように前記第1の仮想オブジェクトの姿勢を変化させる、
    請求項5に記載の情報処理装置。
  7. 前記情報処理装置は、
    前記表示された第1の仮想オブジェクトに対し前記ユーザが興味を持ったか否かを判定する興味判定部をさらに備え、
    前記表示制御部は、前記表示された第1の仮想オブジェクトに対し前記ユーザが興味を持ったという判定に基づいて、前記表示された第1の仮想オブジェクトと前記ユーザの距離を減少させる、
    請求項1に記載の情報処理装置。
  8. 前記興味判定部は、前記ユーザの視線が前記第1の仮想オブジェクトに移動した場合に、前記第1の仮想オブジェクトに対して前記ユーザが興味を持ったと判定する、
    請求項7に記載の情報処理装置。
  9. 前記表示制御部は、前記第1の仮想オブジェクトと前記ユーザの前記距離を減少させつつ、前記第1の仮想オブジェクトの前記ユーザに対する相対的な姿勢が維持されるように前記第1の仮想オブジェクトの姿勢を変化させる、
    請求項7に記載の情報処理装置。
  10. 前記表示制御部は、環境情報に基づいて予測された歩行継続可能な時間または距離が閾値よりも大きい場合に、前記第1の仮想オブジェクトと前記ユーザの距離を減少させる、
    請求項7に記載の情報処理装置。
  11. 前記表示制御部は、前記第1の仮想オブジェクトと前記ユーザの前記距離を減少させつつ、前記第1の仮想オブジェクトの情報量を増加させる、
    請求項7に記載の情報処理装置。
  12. 前記表示制御部は、前記第1の仮想オブジェクトと前記ユーザの前記距離が減少している間に前記ユーザの移動速度が減少した場合、前記第1の仮想オブジェクトに関連する第2の仮想オブジェクトを表示するよう前記表示装置を制御する、
    請求項7に記載の情報処理装置。
  13. 前記第2の仮想オブジェクトの情報量は、前記第1の仮想オブジェクトよりも情報量が多い、
    請求項12に記載の情報処理装置。
  14. 前記第2の仮想オブジェクトは、前記ユーザの現在位置と前記第1の仮想オブジェクトに関連する所定の位置とに応じたナビゲーション情報を含む、
    請求項12に記載の情報処理装置。
  15. 前記第1の仮想オブジェクトは、前記情報処理装置による情報受信を前記ユーザに知らせるための通知オブジェクトを含む、
    請求項1に記載の情報処理装置。
  16. 前記表示制御部は、前記ユーザの移動速度が大きいほど前記ユーザと前記第1の仮想オブジェクトとの距離を大きくして前記距離維持制御を行う、
    請求項1に記載の情報処理装置。
  17. 前記表示制御部は、複数の前記第1の仮想オブジェクトを表示するよう制御する場合、前記ユーザから前記複数の第1の仮想オブジェクトが重なって見えないよう、前記複数の第1の仮想オブジェクトの表示タイミングまたは表示位置を制御する、
    請求項1に記載の情報処理装置。
  18. 前記情報処理装置は、HMD(Head Mounted Display)である、
    請求項1に記載の情報処理装置。
  19. 実空間においてユーザが移動している間に第1の仮想オブジェクトの表示を開始するよう表示装置を制御し、前記ユーザと前記第1の仮想オブジェクトとの距離を実質的に維持する距離維持制御を行い、所定の条件が満たされた場合、前記距離維持制御を終了して前記ユーザと前記第1の仮想オブジェクトの距離を変化させることを含む、
    情報処理方法。
  20. コンピュータを、
    実空間においてユーザが移動している間に第1の仮想オブジェクトの表示を開始するよう表示装置を制御し、前記ユーザと前記第1の仮想オブジェクトとの距離を実質的に維持する距離維持制御を行い、所定の条件が満たされた場合、前記距離維持制御を終了して前記ユーザと前記第1の仮想オブジェクトの距離を変化させる表示制御部を備える、
    情報処理装置として機能させるためのプログラム。


JP2018148857A 2018-08-07 2018-08-07 情報処理装置、情報処理方法およびプログラム Pending JP2021182174A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018148857A JP2021182174A (ja) 2018-08-07 2018-08-07 情報処理装置、情報処理方法およびプログラム
US17/250,513 US12033380B2 (en) 2018-08-07 2019-07-30 Information processing apparatus and information processing method
PCT/JP2019/029877 WO2020031795A1 (ja) 2018-08-07 2019-07-30 情報処理装置、情報処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018148857A JP2021182174A (ja) 2018-08-07 2018-08-07 情報処理装置、情報処理方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2021182174A true JP2021182174A (ja) 2021-11-25

Family

ID=69414159

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018148857A Pending JP2021182174A (ja) 2018-08-07 2018-08-07 情報処理装置、情報処理方法およびプログラム

Country Status (2)

Country Link
JP (1) JP2021182174A (ja)
WO (1) WO2020031795A1 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6056178B2 (ja) * 2012-04-11 2017-01-11 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
JP2016018367A (ja) * 2014-07-08 2016-02-01 沖電気工業株式会社 情報処理装置、情報処理方法、及びプログラム
JP6683127B2 (ja) * 2014-08-01 2020-04-15 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP6780642B2 (ja) * 2015-06-15 2020-11-04 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10101803B2 (en) * 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
CN108027652B (zh) * 2015-09-16 2021-06-22 索尼公司 信息处理设备、信息处理方法以及记录介质
US11037532B2 (en) * 2016-02-08 2021-06-15 Sony Corporation Information processing apparatus and information processing method
JP6693223B2 (ja) * 2016-03-29 2020-05-13 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
US20210295049A1 (en) 2021-09-23
WO2020031795A1 (ja) 2020-02-13

Similar Documents

Publication Publication Date Title
JP6121647B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2015072195A1 (ja) 表示制御装置、表示制御方法、およびプログラム
US11181376B2 (en) Information processing device and information processing method
JPWO2017104207A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20160078311A1 (en) Image processing device, image processing method, and program
WO2016125672A1 (ja) 情報処理装置、画像処理方法及びプログラム
US10771707B2 (en) Information processing device and information processing method
US10962738B2 (en) Information processing apparatus and information processing method to calibrate line-of-sight of a user
WO2018139036A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2016088410A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2015190141A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2016109726A (ja) 情報処理装置、情報処理方法およびプログラム
JP7156301B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP6992799B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2021182174A (ja) 情報処理装置、情報処理方法およびプログラム
JP6065084B2 (ja) 情報処理装置、情報処理方法およびプログラム
US11487355B2 (en) Information processing apparatus and information processing method
US11372473B2 (en) Information processing apparatus and information processing method
US12033380B2 (en) Information processing apparatus and information processing method
JP2017138698A (ja) 情報処理装置、情報処理方法およびプログラム
WO2018139050A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2020183602A1 (ja) 情報処理装置および情報処理方法
JP2016170584A (ja) 情報処理装置、情報処理方法およびプログラム
WO2016147693A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2015198672A1 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222