JP2017181666A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2017181666A
JP2017181666A JP2016066277A JP2016066277A JP2017181666A JP 2017181666 A JP2017181666 A JP 2017181666A JP 2016066277 A JP2016066277 A JP 2016066277A JP 2016066277 A JP2016066277 A JP 2016066277A JP 2017181666 A JP2017181666 A JP 2017181666A
Authority
JP
Japan
Prior art keywords
virtual object
information processing
processing apparatus
display area
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016066277A
Other languages
English (en)
Other versions
JP6736944B2 (ja
Inventor
友久 田中
Tomohisa Tanaka
友久 田中
翼 塚原
Tsubasa Tsukahara
翼 塚原
遼 深澤
Ryo Fukazawa
遼 深澤
茜 矢野
Akane Yano
茜 矢野
賢次 杉原
Kenji Sugihara
賢次 杉原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2016066277A priority Critical patent/JP6736944B2/ja
Priority to CN201780019078.XA priority patent/CN108885856B/zh
Priority to US16/086,876 priority patent/US10755482B2/en
Priority to PCT/JP2017/003644 priority patent/WO2017169081A1/ja
Publication of JP2017181666A publication Critical patent/JP2017181666A/ja
Application granted granted Critical
Publication of JP6736944B2 publication Critical patent/JP6736944B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/373Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/62Semi-transparency
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/066Adjustment of display parameters for control of contrast
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】表示領域に表示される仮想オブジェクトに対するユーザの没入感または現実感の低下を抑制することが可能な仕組みを提供する。
【解決手段】表示領域に移動を伴って表示される仮想オブジェクトの表示を制御し、前記表示領域の境界を跨いで前記仮想オブジェクトが移動する際に、前記仮想オブジェクトの態様を変化させる表示制御部、を備える情報処理装置。プロセッサを用いて、表示領域に移動を伴って表示される仮想オブジェクトの表示を制御することと、前記表示領域の境界を跨いで前記仮想オブジェクトが移動する際に、前記仮想オブジェクトの態様を変化させることと、を含む情報処理方法。上記情報処理装置を動作させるためのプログラム。
【選択図】図4

Description

本開示は、情報処理装置、情報処理方法およびプログラムに関する。
近年、情報処理技術および表示技術の発展に伴い、現実感のある映像を表示する技術が提供されるようになってきている。そのような技術として、AR(Augmented Reality)技術がある。
例えば、特許文献1では、HMD(Head Mount Display)により外界像である操作対象の実オブジェクト(例えば、テレビジョン装置)について重畳するように表示されるユーザインタフェースをユーザのジェスチャに基づいて制御する情報処理装置に係る発明が開示されている。また、特許文献2では、透過型のHMDの物理的な構造に係る発明が開示されている。
特開2014−186361号公報 特開2013−109203号公報
しかし、従来技術では、HMDの表示内容に対して没入感または現実感が低下する場合がある。例えば、上述のユーザインタフェースのような仮想オブジェクトを表示することが可能な表示領域(例えばHMDの表示領域)には限りがある。そのため、当該仮想オブジェクトが当該表示領域内から外へ移動して消える際には、表示領域と仮想オブジェクトが表示できない領域との境界(以下、表示領域の境界とも称する。)に差し掛かった当該仮想オブジェクトの部分から当該仮想オブジェクトが消えていくことになる。それにより、ユーザは当該表示領域の境界を意識してしまい、表示内容に対する没入感または現実感が低下しかねない。
そこで、本開示では、表示領域に表示される仮想オブジェクトに対するユーザの没入感または現実感の低下を抑制することが可能な仕組みを提案する。
本開示によれば、表示領域に移動を伴って表示される仮想オブジェクトの表示を制御し、前記表示領域の境界を跨いで前記仮想オブジェクトが移動する際に、前記仮想オブジェクトの態様を変化させる表示制御部、を備える情報処理装置が提供される。
また、本開示によれば、プロセッサを用いて、表示領域に移動を伴って表示される仮想オブジェクトの表示を制御することと、前記表示領域の境界を跨いで前記仮想オブジェクトが移動する際に、前記仮想オブジェクトの態様を変化させることと、を含む情報処理方法が提供される。
また、本開示によれば、表示領域に移動に伴って表示される仮想オブジェクトの表示を制御し、前記表示領域の境界を跨いで前記仮想オブジェクトが移動する際に、前記仮想オブジェクトの態様を変化させる表示制御機能と、をコンピュータシステムに実現させるためのプログラムが提供される。
以上説明したように本開示によれば、表示領域に表示される仮想オブジェクトに対するユーザの没入感または現実感の低下を抑制することが可能な仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
AR技術による表示の例を説明するための図である。 AR技術による表示の他の例を説明するための図である。 本開示の第1の実施形態に係る情報処理装置の機能構成の例を概略的に示すブロック図である。 同実施形態における仮想オブジェクトの態様の変化例を説明するための図である。 同実施形態に係る情報処理装置の処理の例を概念的に示すフローチャートである。 同実施形態の第1の変形例における仮想オブジェクトの態様の変化例を説明するための図である。 同実施形態の第2の変形例における仮想オブジェクトの態様の変化例を説明するための図である。 同実施形態の第3の変形例における仮想オブジェクトの態様の変化例を説明するための図である。 本開示の第2の実施形態における仮想オブジェクトの態様の変化例を説明するための図である。 同実施形態に係る情報処理装置の初期化処理の例を概念的に示すフローチャートである。 同実施形態に係る情報処理装置の表示制御処理の例を概念的に示すフローチャートである。 同実施形態に係る情報処理装置の表示制御処理の例を概念的に示すフローチャートである。 同実施形態に係る情報処理装置の表示制御処理の例を概念的に示すフローチャートである。 本開示の第3の実施形態における仮想オブジェクトの態様の変化例を説明するための図である。 同実施形態に係る情報処理装置の処理の例を概念的に示すフローチャートである。 本開示の一実施形態に係る情報処理装置のハードウェア構成を示した説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる番号を付して区別する場合もある。例えば、実質的に同一の機能を有する複数の構成を、必要に応じて表示領域10Aおよび表示領域10Bなどのように区別する。ただし、実質的に同一の機能構成を区別する必要が無い場合、同一符号のみを付する。例えば、表示領域10Aおよび表示領域10Bを特に区別する必要がない場合には、単に表示領域10と称する。
なお、説明は以下の順序で行うものとする。
1.序論
2.第1の実施形態(ユーザが移動する例)
2−1.装置の構成
2−2.装置の処理
2−3.第1の実施形態のまとめ
2−4.変形例
3.第2の実施形態(ユーザが回転する例)
3−1.装置の構成
3−2.装置の処理
3−3.第2の実施形態のまとめ
4.第3の実施形態(仮想オブジェクトが移動する例)
4−1.装置の構成
4−2.装置の処理
4−3.第3の実施形態のまとめ
5.本開示の一実施形態に係る情報処理装置のハードウェア構成
6.むすび
<1.序論>
始めに、図1および図2を参照して、本開示の各実施形態に係る情報処理装置に関わるAR技術について説明する。図1は、AR技術による表示の例を説明するための図である。図2は、AR技術による表示の他の例を説明するための図である。
AR技術に係る装置(以下、AR装置とも称する。)は、概して空間処理機能および表示機能を備える。空間処理機能は、仮想オブジェクトが管理される仮想空間と現実空間とのマッピングを行う。また、表示機能は、外界像を透過する表示領域上の指定される位置に仮想オブジェクトを表示する。そのため、AR装置は、仮想空間上の仮想オブジェクトを現実空間である外界像に即して表示することができる。
例えば、AR装置は、HMD装置であり、図1に示したように、表示領域10において仮想オブジェクト20が外界像に重畳されるように当該仮想オブジェクト20を表示する。当該AR装置は、当該AR装置を装着するユーザの移動に伴って、当該仮想オブジェクト20の表示位置を移動させる。
ここで、概して仮想オブジェクトを表示するAR装置の表示領域は外界像に対して狭い。例えば、図1に示したように、表示領域10は外界像よりも狭い矩形である。そのため、当該仮想オブジェクトが当該表示領域内から外へ移動して消える際には、表示領域の境界に差し掛かった当該仮想オブジェクトの部分から当該仮想オブジェクトが消えていくことになる。例えば、図1に示したように、仮想オブジェクト20の表示領域10の外に位置する部分は表示されず、表示領域10内に位置する仮想オブジェクト20の部分は表示される。そして、仮想オブジェクト20の表示領域10外への移動に伴って徐々に仮想オブジェクト20が消える。このように、ユーザが注視する仮想オブジェクト20の一部が欠けることにより、ユーザは当該表示領域の境界を意識してしまい、表示内容に対する没入感または現実感が低下しかねない。
これに対して、表示領域の境界に近づくにつれて仮想オブジェクトをフェードアウトさせる技術がある。例えば、図2に示したように、仮想オブジェクト20が表示領域10の境界に近づくにつれて、表示領域10の境界付近の仮想オブジェクト20の透明度が高くなる。そして、仮想オブジェクト20は透明度が高められながら表示領域10外に消えていく。この場合、表示領域10の境界付近で仮想オブジェクト20がユーザに視認されにくくなるため、表示領域10の境界をユーザが意識しにくくなる。
しかし、当該技術では、表示領域の境界付近において仮想オブジェクトが視認されなくなるため、表示領域が実質的に狭くなることになる。
そこで、本開示の各実施形態では、表示領域に表示される仮想オブジェクトに対するユーザの没入感または現実感の低下を抑制することが可能な情報処理装置100が提供される。以下、当該情報処理装置について実施形態ごとに詳細に説明する。なお、説明の便宜上、第1〜第3の実施形態に係る情報処理装置100を、情報処理装置100−1〜情報処理装置100−3のように、末尾に実施形態に対応する番号を付することにより区別する。
<2.第1の実施形態(ユーザが移動する例)>
まず、本開示の第1の実施形態について説明する。第1の実施形態では、ユーザが移動することにより表示される仮想オブジェクトが移動する場合について説明する。
<2−1.装置の構成>
図3を参照して、本開示の第1の実施形態に係る情報処理装置100−1の機能構成について説明する。図3は、本開示の第1の実施形態に係る情報処理装置100−1の機能構成の例を概略的に示すブロック図である。
図3に示したように、情報処理装置100−1は、測定部102、表示制御部104、記憶部106および表示部108を備える。
(測定部)
測定部102は、ユーザの動きを測定し、取得部としてセンサ情報に相当する測定情報を生成する。具体的には、測定部102は、ユーザの移動に関する測定を行い、測定結果に基づいてユーザの移動に係る測定情報(以下、移動測定情報とも称する。)を生成する。例えば、測定部102は、ユーザの変位または移動の速度もしくは加速度を測定し、測定される変位または移動の速度もしくは加速度を示す移動測定情報を生成する。なお、測定部102は、GPS(Global Positioning System)センサなどから得られる位置情報またはカメラセンサにより得られる画像情報に基づいてユーザの変位または移動の速度もしくは加速度を推定してもよい。
(表示制御部)
表示制御部104は、表示領域に移動を伴って表示される仮想オブジェクトの表示を制御する。具体的には、表示制御部104は、測定情報に応じて仮想オブジェクトの表示を制御する。より具体的には、表示制御部104は、測定部102から入力される測定情報に基づいてユーザの変位を把握する。次に、表示制御部104は、把握されるユーザの変位に応じて、仮想空間上の仮想オブジェクトの位置を変更する。次に、表示制御部104は、変更後の仮想空間上の仮想オブジェクトの位置とマッピングされる現実空間の位置に仮想オブジェクトが存在するようにユーザに当該仮想オブジェクトの表示位置を決定する。そして、表示制御部104は、決定された表示位置において仮想オブジェクトを表示部108に表示させる。例えば、表示制御部104は、SLAM(Simultaneous Localization and Mapping)などの既存の自己位置推定技術を用いて上述の処理を行ってもよい。
また、表示制御部104は、表示領域の境界を跨いで仮想オブジェクトが移動する際に、仮想オブジェクト全体の態様を変化させる。具体的には、表示制御部104は、当該仮想オブジェクトの態様を測定情報に応じた態様と異なる態様に変化させる。より具体的には、表示制御部104は、仮想オブジェクトの一部が表示領域の外に位置する間、仮想オブジェクトの移動の速さを変化させる。さらに、表示制御部104は、仮想オブジェクトの移動に応じて仮想オブジェクトの移動の速さを変化させる。例えば、表示制御部104は、測定情報に応じた仮想オブジェクトの態様の制御に別の制御を付加することにより、仮想オブジェクトの移動の速さを変化させる。さらに、図4を参照して、本実施形態に係る表示制御処理について説明する。図4は、本実施形態における仮想オブジェクトの態様の変化例を説明するための図である。
なお、以下の表示制御処理では、付加される制御についてのみ説明する。例えば、仮想オブジェクトは現実空間に固定されるように表示され、移動するユーザに対する仮想オブジェクトの加速度は0である。また、特に言及されない限り、左右上下などの方向はユーザを基準とした方向であり、仮想オブジェクトの位置はユーザについての相対的な位置であるとする。
まず、表示制御部104は、測定情報を取得する。例えば、表示制御部104は、測定部102により測定されるユーザの移動の速さVを示す測定情報を測定部102から取得する。
次に、表示制御部104は、測定情報に基づいて仮想オブジェクトを加速させるかを判定する。具体的には、表示制御部104は、仮想オブジェクトの表示についての次フレームおよび所定の時間経過後において仮想オブジェクトの全体が表示領域に含まれるかを判定する。例えば、表示制御部104は、1秒間に60フレームの単位で表示部108の表示を制御してよい。表示制御部104は、移動測定情報の示すユーザの移動の速さVと現時点の仮想オブジェクト20Aの位置Lとに基づいて次フレームの表示時すなわち1/60秒後の仮想オブジェクト20Aの位置L1を推定する。次に、表示制御部104は、推定される位置L1において仮想オブジェクト20Aが、視錐台10A2からはみ出すかを判定する。さらに、表示制御部104は、所定の時間mの経過後における仮想オブジェクト20Aの位置L2を推定する。そして、表示制御部104は、推定される位置L2において仮想オブジェクト20Aが、視錐台10A4から完全に外れるかを判定する。
仮想オブジェクトを加速させると判定される場合、表示制御部104は、仮想オブジェクトの加速度を設定する。具体的には、表示制御部104は、次フレームにおいて仮想オブジェクトの少なくとも一部が表示領域外に位置すると判定され、所定の時間経過後において仮想オブジェクトが表示領域から完全に外れると判定されると、仮想オブジェクトの加速度を設定する。例えば、図4に示したように、次フレームにおいて仮想オブジェクト20Aの少なくとも一部は視錐台10A2の外に位置し、所定の時間mの経過後において仮想オブジェクト20Aの全体は視錐台10A4から完全に外れる。この場合、表示制御部104は、仮想オブジェクト20Aを測定情報の示す速度Vの方向と反対の方向に加速度αで加速させる。すなわち、仮想オブジェクト20Aは、速さα*t(t:時間)でユーザに向かって移動し、図4に示したような位置30A1、次いで位置30A2のように移動させられる。従って、仮想オブジェクト20の移動の速さを変化させない場合に比べて早期に視錐台10から仮想オブジェクト20が消え、視錐台10と仮想オブジェクト20とが交差している時間が短縮される。
なお、仮想オブジェクトに付加される加速度αは、定数であってもよく、以下に説明するような変数であってもよい。具体的には、加速度αは、仮想オブジェクトが視錐台に接触してから仮想オブジェクト全体が視錐台の外に移動するまでの時間Tが短縮される値に設定される。例えば、当該時間TをT/2に短縮させる場合には、以下の式(1)が成り立つ。
Figure 2017181666
上記の式(1)を用いて加速度αは4v/Tに設定される。なお、上記では短縮させる時間がT/2である例を説明したが、当該短縮させる時間は仮想オブジェクト毎に異なる値であってよい。また、加速度αが定数である場合、加速度αは仮想オブジェクト毎に異なる値であってよい。
また、所定の時間mは、フレーム間隔よりも長い時間である。例えば、所定の時間mは、1/60秒よりも長い時間であり得る。また、所定の時間mは、予め設定されてもよく、事後的に変更されてもよい。
(記憶部)
図3を参照して、情報処理装置100−1の機能構成の説明に戻ると、記憶部106は、表示制御部104の処理に用いられる情報を記憶する。具体的には、記憶部106は、表示部108に表示される仮想オブジェクトならびに仮想オブジェクトの位置を記憶する。例えば、記憶部106は、画像情報、仮想オブジェクトの仮想空間上の位置および表示領域上の位置を記憶する。なお、記憶部106の代わりに、情報処理装置100−1の外部からこれらの情報が入力される入力部が備えられてもよい。
(表示部)
表示部108は、表示制御部104の指示に基づいて仮想オブジェクトを表示する。具体的には、表示部108は、表示制御部104に指定される仮想オブジェクトが外界像に重畳されるように、表示制御部104から指示される位置に基づいて仮想オブジェクトを表示する。例えば、表示部108は、外界像が透過される画面に仮想オブジェクトを表示してよい。また、表示部108は、ユーザの眼に仮想オブジェクトを映す画像光を直接的に投射することにより、ユーザの眼に映る外界像に画像を重畳させてもよい。
<2−2.装置の処理>
次に、図5を参照して、本実施形態に係る情報処理装置100−1の処理について説明する。図5は、本実施形態に係る情報処理装置100−1の処理の例を概念的に示すフローチャートである。
情報処理装置100−1は、仮想オブジェクトの加速度が0であるかを判定する(ステップS202)。具体的には、表示制御部104は、1フレーム毎に、表示領域(視錐台)に表示される仮想オブジェクトの加速度が0であるかを判定する。
仮想オブジェクトの加速度が0であると判定されると、情報処理装置100−1は、ユーザの移動速度から次フレームにおける仮想オブジェクトの位置を推定する(ステップS204)。具体的には、仮想オブジェクトの加速度が0であると判定されると、表示制御部104は、測定部102から得られる移動測定情報からユーザの移動速度Vを算出する。次に、表示制御部104は、算出されたユーザの移動速度Vから次フレーム(例えば、1/60秒後)における仮想オブジェクトの位置L1を推定する。
次に、情報処理装置100−1は、推定位置で仮想オブジェクトが視錐台からはみ出すかを判定する(ステップS206)。具体的には、表示制御部104は、推定される次フレームにおける仮想オブジェクトの位置L1に基づいて、仮想オブジェクトが視錐台からはみ出すかを判定する。
推定位置で仮想オブジェクトが視錐台からはみ出すと判定されると、情報処理装置100−1は、ユーザの移動速度から所定の時間経過後における仮想オブジェクトの位置を推定する(ステップS208)。具体的には、表示制御部104は、次フレームにおいて仮想オブジェクトが視錐台からはみ出すと判定されると、算出されたユーザの移動速度から所定の時間経過後における仮想オブジェクトの位置L2を推定する。
次に、情報処理装置100−1は、推定位置で仮想オブジェクト全体が視錐台外に位置するかを判定する(ステップS210)。具体的には、表示制御部104は、推定される所定の時間経過後における仮想オブジェクトの位置L2に基づいて、仮想オブジェクト全体が視錐台外に位置するかを判定する。
推定位置で仮想オブジェクト全体が視錐台外に位置すると判定されると、情報処理装置100−1は、仮想オブジェクトの加速度を設定する(ステップS212)。具体的には、次フレームにおいて仮想オブジェクトが視錐台からはみ出し、所定の時間経過後に仮想オブジェクト全体が視錐台の外に位置すると判定されると、表示制御部104は、仮想オブジェクトの加速度としてユーザの移動方向と反対方向の加速度αを設定する。
次に、情報処理装置100−1は、仮想オブジェクトの速度を設定する(ステップS214)。具体的には、表示制御部104は、設定された仮想オブジェクトの加速度αを用いて仮想オブジェクトの速度u(例えば、α*(1/60))を設定する。
また、ステップS202にて仮想オブジェクトの加速度が0でないと判定されると、情報処理装置100−1は、仮想オブジェクトの位置を仮想オブジェクトの速度で更新する(ステップS216)。具体的には、表示制御部104は、現在位置Lを現在位置Lからu*(1/60)だけ移動した位置に更新する。
次に、情報処理装置100−1は、仮想オブジェクトの速度を仮想オブジェクトの加速度で更新する(ステップS218)。具体的には、表示制御部104は、設定された仮想オブジェクトの加速度αを用いて仮想オブジェクトの速度uにα*(1/60)を加算する。
<2−3.第1の実施形態のまとめ>
このように、本開示の第1の実施形態によれば、情報処理装置100−1は、表示領域に移動を伴って表示される仮想オブジェクトの表示を制御し、当該表示領域の境界を跨いで仮想オブジェクトが移動する際に、当該仮想オブジェクトの態様を変化させる。このため、仮想オブジェクトが表示領域からはみ出している状態であるとユーザに気付かれにくい態様に仮想オブジェクトの態様を変化させることにより、ユーザに表示領域の境界が意識されることを抑制できる。従って、表示領域に表示される仮想オブジェクトに対するユーザの没入感または現実感の低下を抑制することが可能となる。
また、当該仮想オブジェクトの態様の変化は、仮想オブジェクトの移動に関わる移動情報に応じた態様と異なる態様への変化を含む。このため、ユーザまたは仮想オブジェクトの移動により変化する仮想オブジェクトの見え方と異なるように仮想オブジェクトの表示が制御されることより、表示領域の境界をより効果的に意識されにくくすることができる。また、仮想オブジェクト全体の態様が変化させられる場合には、仮想オブジェクトの一部の態様が変化させられる場合、例えば表示領域の境界に近い仮想オブジェクトの部分が透明化されるような場合に比べて、仮想オブジェクトの全体についての視認性を向上させることができる。
また、上記仮想オブジェクトは、外界像に重畳され、上記表示領域は、当該外界像の一部と重複する。このため、現実空間に仮想オブジェクトが存在するかのように仮想オブジェクトをユーザに見せることができる。従って、表示内容についての現実感または没入感を向上させることが可能となる。
また、情報処理装置100−1は、上記仮想オブジェクトの一部が上記表示領域の外に位置する間、仮想オブジェクトの態様を変化させる。このため、仮想オブジェクトが表示領域からはみ出すことが避けられない場合であっても、仮想オブジェクトが表示領域からはみ出していることをユーザに気付かれにくくすることができる。
また、上記仮想オブジェクトの態様の変化は、仮想オブジェクトの移動の速さの変化を含む。このため、例えば仮想オブジェクトが表示領域に跨っている状態において仮想オブジェクトの移動速度を高くすることにより、仮想オブジェクトが表示領域からはみ出している時間を短縮することができる。また、表示領域の境界は、概してユーザの視野の中央よりも外側に位置する。そして、人間は、視野の外側に向かって移動する物体の移動速度が速いほど、物体を注視しづらいといわれている。そのため、例えば仮想オブジェクトが表示領域に跨っている状態において仮想オブジェクトの移動速度を高くすることにより、ユーザが仮想オブジェクトを注視しにくくすることができる。従って、ユーザが表示領域の境界を意識しにくくすることが可能となる。
また、上記仮想オブジェクトの態様の変化の程度は、仮想オブジェクトの移動に応じて変化する。このため、表示領域からはみ出している仮想オブジェクトの部分が大きくなるほど、例えば仮想オブジェクトの移動速度などの態様の程度を大きくすることができる。また、はみ出しの程度が大きくなるほど、ユーザは表示領域の境界を意識しやすいと考えられる。従って、本構成によれば、仮想オブジェクトの表示領域からのはみ出しの程度が大きくなる期間が短縮されることにより、表示領域の境界をさらに意識しにくくすることが可能となる。
また、上記移動情報は、ユーザの動きに係るセンサ情報を含む。このため、ユーザに表示領域の境界を意識させずに、ユーザの動きに忠実に仮想オブジェクトを移動させることができる。従って、表示内容についての現実感または没入感を向上させることが可能となる。
また、上記センサ情報は、ユーザの移動に係る情報を含む。ここで、ユーザの移動に応じてユーザの視野は変化する。そのため、現実空間と対応する仮想オブジェクトの位置もユーザの移動に応じて変化し、仮想オブジェクトが表示領域の境界を跨いで移動する可能性がある。これに対し、本構成によれば、ユーザが移動する場合に表示領域の境界を意識されることを抑制できる。
<2−4.変形例>
以上、本開示の第1の実施形態について説明した。なお、本実施形態は、上述の例に限定されない。以下に、本実施形態の第1〜第4の変形例について説明する。
(第1の変形例)
本実施形態の第1の変形例として、情報処理装置100−1は、仮想オブジェクトの移動の速さを変化させる代わりにまたはそれに加えて、仮想オブジェクトの姿勢を変化させてもよい。具体的には、表示制御部104は、仮想オブジェクトの一部が表示領域の外に位置すると推定される間、仮想オブジェクトの姿勢を変化させる。さらに、図6を参照して、本変形例の表示制御処理について説明する。図6は、本実施形態の第1の変形例における仮想オブジェクトの態様の変化例を説明するための図である。
表示制御部104は、取得される測定情報に基づいて仮想オブジェクトの姿勢を変更するかを判定する。例えば、表示制御部104は、次フレームにおける仮想オブジェクト20Bの位置L1を推定する。次に、表示制御部104は、仮想オブジェクト20Bの位置L1において仮想オブジェクト20Bが視錐台10B2からはみ出すかを判定する。さらに、表示制御部104は、所定の時間mの経過後における仮想オブジェクト20Bの位置L2を推定する。そして、表示制御部104は、推定される仮想オブジェクト20Bの位置L2において仮想オブジェクト20Bが視錐台10B4から完全に外れるかを判定する。
仮想オブジェクトの姿勢を変更すると判定される場合、表示制御部104は、仮想オブジェクトの姿勢の変更を開始する。具体的には、表示制御部104は、次フレームにおいて仮想オブジェクトの少なくとも一部が表示領域外に位置すると判定され、所定の時間経過後において仮想オブジェクトが表示領域から完全に外れると判定されると、仮想オブジェクトを回転させる。例えば、次フレームにおいて仮想オブジェクト20Bの少なくとも一部は視錐台10B2の外に位置し、所定の時間mの経過後において仮想オブジェクト20Bの全体は視錐台10B4から完全に外れるとする。この場合、表示制御部104は、仮想オブジェクト20Bを測定情報の示す速度Vの方向と水平面で直交する方向を軸に所定の角度θ1だけ回転させる。詳細には、表示制御部104は、図6に示したように、次フレームにおいて姿勢30B1のように回転させ、最終的に回転角が角度θ1である姿勢30B2のようになるまで仮想オブジェクト20Bを回転させる。従って、仮想オブジェクト20の姿勢を変化させない場合に比べて仮想オブジェクト20を早期に視錐台10の外へ移動させることができる。
なお、仮想オブジェクトの回転は、角速度の付加により実現される。付加される角速度は、定数であってもよく、以下に説明するような変数であってもよい。具体的には、角速度は、仮想オブジェクトが視錐台に接触してから仮想オブジェクト全体が視錐台の外に移動するまでの時間Tが短縮される値に設定される。例えば、当該時間Tを時間T/2に短縮させる場合には、角速度は、時間T/2の経過でθ1だけオブジェクトが回転し、仮想オブジェクトの姿勢が仮想オブジェクトに近接する視錐台の側面に平行となる値に設定される。なお、θ1は視錐台の視野角(FOV:Field of View)θ2を用いた式θ1=90°−θ2/2で算出される。
また、図6では仮想オブジェクトは視錐台の左側面付近において時計回りに回転させられる例すなわち視錐台の側面に平行となる回転角が少ない回転方向に仮想オブジェクトが回転させられる例を説明したが、仮想オブジェクトは反時計回りに回転させられてもよい。この場合、ユーザに対して仮想オブジェクトが正面を向いたまま仮想オブジェクトを回転させることができる。従って、仮想オブジェクトから得られる情報量を維持することが可能となる。なお、仮想オブジェクトが回転により裏返る場合に、仮想オブジェクトの裏側に正面と同じ情報が表示されてもよい。
このように、本実施形態の第1の変形例によれば、情報処理装置100−1は、上記移動情報に応じた態様では仮想オブジェクトの一部が表示領域の外に位置すると推定される間、仮想オブジェクトの態様を変化させる。このため、移動情報に応じた態様では仮想オブジェクトが表示領域外にはみ出す期間に、仮想オブジェクトが表示領域外にはみ出しにくい態様に仮想オブジェクトの態様を変化させることができる。従って、ユーザに表示領域の境界を意識されにくくすることが可能となる。また、仮想オブジェクトがはみ出しにくくなるため、仮想オブジェクトの示す情報量を維持することができる。
また、上記仮想オブジェクトの態様の変化は、仮想オブジェクトの姿勢の変化を含む。このため、仮想オブジェクトの姿勢を変化させない場合に比べて、仮想オブジェクトが表示領域からはみ出している期間を短縮できる。さらに、仮想オブジェクトが加速させられる場合と比べて仮想オブジェクトが視錐台からはみ出しにくくすることができる。また、仮想オブジェクトが視錐台からはみ出し始めたとしても、仮想オブジェクトが加速させられる場合と比べて、はみ出していることを視認しづらくすることができる。
また、上記姿勢の変化は、ユーザの視野に係る視錐台の側面に平行な方向への仮想オブジェクトの回転を含む。このため、ユーザが同じ方向に移動を継続する場合には、仮想オブジェクトが視錐台(表示領域)の外に完全に位置するまでの時間が短縮される。従って、仮想オブジェクトが表示領域をはみ出している時間が短縮され、表示領域の境界が意識されることを抑制できる。
(第2の変形例)
本実施形態の第2の変形例として、情報処理装置100−1は、仮想オブジェクトの移動の速さを変化させる代わりにまたはそれに加えて、仮想オブジェクトの移動方向を変化させてもよい。具体的には、表示制御部104は、仮想オブジェクトの移動方向を、ユーザの視野に係る視錐台の側面に垂直な方向へ変化させる。さらに、図7を参照して、本変形例の表示制御処理について説明する。図7は、本実施形態の第2の変形例における仮想オブジェクトの態様の変化例を説明するための図である。
表示制御部104は、取得される測定情報に基づいて仮想オブジェクトをユーザの移動方向と異なる方向に加速させるかを判定する。なお、当該判定処理は、第1の変形例で説明した判定処理と実質的に同一である。
仮想オブジェクトをユーザの移動方向と異なる方向に加速させると判定される場合、表示制御部104は、当該異なる方向の加速度を仮想オブジェクトの加速度として設定する。具体的には、表示制御部104は、次フレームにおいて仮想オブジェクトの少なくとも一部が表示領域外に位置すると判定され、所定の時間mの経過後において仮想オブジェクトが表示領域から完全に外れると判定されると、視錐台の側面に垂直な方向の加速度を仮想オブジェクトの加速度として設定する。例えば、表示制御部104は、図7に示したような視錐台10C1の左側面と垂直な方向に仮想オブジェクト20Cを加速させ、仮想オブジェクト20Cは位置30Cへ移動させられる。なお、加速度αは、上述した時間Tについて、時間T/2の経過で仮想オブジェクト全体が視錐台10の外に移動する値に設定される。従って、仮想オブジェクト20の移動態様を変化させない場合に比べて仮想オブジェクト20を視錐台10の外に早期に移動させることができる。
このように、本実施形態の第2の変形例によれば、仮想オブジェクトの態様の変化は、仮想オブジェクトの移動方向の変化を含む。このため、ユーザが予想する方向と異なる方向に仮想オブジェクトが移動させられることにより、表示領域をはみ出している状態の仮想オブジェクトを注視されにくくすることができる。従って、表示領域の境界をユーザに意識されにくくすることが可能となる。
また、上記移動方向の変化は、ユーザの視野に係る視錐台の側面に垂直な方向への変化を含む。このため、他のいずれの方向よりもユーザの視界から仮想オブジェクトが消えるまでの時間が短いと推測される方向に仮想オブジェクトを移動させることができる。従って、表示領域をはみ出している状態の仮想オブジェクトをさらに注視されにくくすることが可能となる。
(第3の変形例)
本実施形態の第3の変形例として、情報処理装置100−1は、仮想オブジェクトの移動の速さを変化させる代わりにまたはそれに加えて、仮想オブジェクトのサイズを変化させてもよい。具体的には、表示制御部104は、所定のサイズになるまで仮想オブジェクトのサイズを変化させる。さらに、図8を参照して、本変形例の表示制御処理について説明する。図8は、本実施形態の第3の変形例における仮想オブジェクトの態様の変化例を説明するための図である。
表示制御部104は、取得される測定情報に基づいて仮想オブジェクトのサイズを変更するかを判定する。なお、当該判定処理は、第1の変形例で説明した判定処理と実質的に同一である。
仮想オブジェクトのサイズを変更すると判定される場合、表示制御部104は、所定のサイズに向けた仮想オブジェクトのサイズ変更を開始する。具体的には、表示制御部104は、次フレームにおいて仮想オブジェクトの少なくとも一部が表示領域外に位置すると判定され、所定の時間経過後において仮想オブジェクトが表示領域から完全に外れると判定されると、仮想オブジェクトが視錐台内に含まれるように仮想オブジェクトのサイズの縮小を開始する。例えば、表示制御部104は、仮想オブジェクト20D1の位置Lの変化に応じて、仮想オブジェクト20D1から仮想オブジェクト20D2へサイズを縮小していく。仮想オブジェクト20のサイズは、フレーム毎に1/2倍のサイズに変更される。そして、仮想オブジェクト20のサイズが所定のサイズ以下になると、表示制御部104は、仮想オブジェクト20を消去する。従って、仮想オブジェクト20が視錐台10をはみ出すことを抑制できる。
なお、上記では、仮想オブジェクトのサイズがフレーム毎に1/2倍される例を説明したが、上述した時間Tについて、時間T/2の経過で所定のサイズになるようにフレーム毎にサイズ変更が行われるとしてもよい。また、サイズの変更は、スケールの変更であってもよい。
また、表示制御部104は、仮想オブジェクトのサイズを変化させる代わりにまたはそれに加えて、仮想オブジェクトの透明度を変化させてもよい。例えば、表示制御部104は、ユーザの移動による仮想オブジェクトの位置Lの変化に応じてアルファ値を低下させることにより、仮想オブジェクト20の透明度を向上させていく。そして、仮想オブジェクト20の透明度が所定の透明度以下になると、表示制御部104は、仮想オブジェクト20を消去する。なお、表示制御部104は、仮想オブジェクト20が完全に透明化されるまで透明化の処理を継続してもよい。
このように、本実施形態の第3の変形例によれば、上記仮想オブジェクトの態様の変化は、仮想オブジェクトのサイズの変化を含む。このため、表示領域の変化に応じて仮想オブジェクトのサイズが変更されることにより、仮想オブジェクトが表示領域をはみ出すことを抑制できる。従って、表示領域の境界をユーザが意識するおそれを低下させることが可能となる。
また、上記仮想オブジェクトの態様の変化は、仮想オブジェクトの透明度の変化を含む。このため、仮想オブジェクトの視認性を低下させることにより、当該仮想オブジェクトが表示領域をはみ出していることをユーザに気づかれにくくすることができる。従って、表示領域の境界をユーザが意識するおそれを低下させることが可能となる。
(第4の変形例)
本実施形態の第4の変形例として、情報処理装置100−1は、仮想オブジェクトの態様を変化させている間、仮想オブジェクトに視覚的効果を付与してもよい。具体的には、表示制御部104は、仮想オブジェクトの態様の変化に応じて、当該仮想オブジェクトと表示領域とのコントラストを変化させる。例えば、表示制御部104は、フレーム毎に仮想オブジェクトの表示領域とのコントラストを低下させる。なお、表示制御部104は、仮想オブジェクトと外界像とのコントラストを変化させてもよい。
また、表示制御部104は、仮想オブジェクトの態様の変化に応じて、当該仮想オブジェクトの明るさを変化させる。例えば、表示制御部104は、フレーム毎に仮想オブジェクトの明度または輝度を低下させる。なお、仮想オブジェクトのみならず仮想オブジェクト周辺の明るさも変更されてよい。
また、表示制御部104は、仮想オブジェクトの態様の変化に応じて、当該仮想オブジェクトにぼかしてもよい。例えば、表示制御部104は、フレーム毎に仮想オブジェクトに付与されるぼかし(ブラー)の程度を強くする。
なお、上記の視覚的効果は、仮想オブジェクト全体に付与されてもよく、仮想オブジェクトの一部にのみ付与されてもよい。
このように、本実施形態の第4の変形例によれば、情報処理装置100−1は、仮想オブジェクトの態様を変化させている間、仮想オブジェクトに視覚的効果を付与する。このため、表示領域の境界付近に位置する仮想オブジェクトの視認性を低下させることができる。従って、表示領域の境界についてより意識されにくくすることが可能となる。
また、上記視覚的効果は、仮想オブジェクトと表示領域とのコントラストの変化を含む。このため、仮想オブジェクトが表示される表示領域とのコントラストが低下することにより、ユーザの違和感を抑制しながら、仮想オブジェクトに対するユーザの視認性を低下させることができる。
また、上記視覚的効果は、仮想オブジェクトの明るさの変化を含む。このため、ユーザ周辺の明るさに応じて仮想オブジェクトの明るさを変更することにより、ユーザの違和感を抑制しながら、仮想オブジェクトに対するユーザの視認性を低下させることができる。
また、上記視覚的効果は、ぼかしを含む。このため、仮想オブジェクトの輪郭が曖昧になることにより、表示領域から仮想オブジェクトがはみ出しているかを認識しづらくすることができる。
<3.第2の実施形態(ユーザが回転する例)>
以上、本開示の第1の実施形態について説明した。次に、本開示の第2の実施形態について説明する。第2の実施形態では、ユーザが回転することにより表示される仮想オブジェクトが移動する場合について説明する。
<3−1.装置の構成>
まず、本開示の第2の実施形態に係る情報処理装置100−2の機能構成について説明する。なお、構成要素は、第1の実施形態に係る情報処理装置100−1と実質的に同一である。以下では、第1の実施形態との差異についてのみ説明する。
(測定部)
測定部102は、ユーザの回転に関する測定を行い、測定結果に基づいてユーザの回転に係る測定情報(以下、回転測定情報とも称する。)を生成する。例えば、測定部102は、情報処理装置100−2を装着するユーザの頭部の回転角度、角速度または角加速度を測定し、測定される回転角度、角速度または角加速度を示す回転測定情報を生成する。なお、ユーザの回転は、頭部のみの回転のほか、体の回転であってもよい。
(表示制御部)
表示制御部104は、回転測定情報に応じて仮想オブジェクトの表示を制御する。具体的には、表示制御部104は、回転測定情報に基づいてユーザの視界を推定し、推定される視界の範囲に相当する仮想空間上の範囲を決定する。そして、表示制御部104は、決定される仮想空間上の範囲に含まれる仮想オブジェクトを表示部108に表示させる。
また、表示制御部104は、表示領域の境界を跨いで仮想オブジェクトが移動する際に、仮想オブジェクト全体の態様を回転測定情報に応じた態様と異なる態様に変化させる。具体的には、表示制御部104は、仮想オブジェクトが表示領域の中から外へ移動させられる際または仮想オブジェクトが表示領域の外から中へ移動させられる際に、仮想オブジェクトの移動の速さを変化させる。さらに、図9を参照して、本実施形態に係る表示制御処理について説明する。図9は、本実施形態における仮想オブジェクトの態様の変化例を説明するための図である。
先に、仮想オブジェクトが表示領域の中から外へ移動させられる場合について説明する。
まず、表示制御部104は、仮想オブジェクトを表示部108の表示領域に表示させる。例えば、ユーザの視野に係る視錐台10E1について、表示制御部104は、仮想オブジェクト20E、20Fおよび20Gを表示部108に表示させる。仮想オブジェクト20Hは、視錐台10E1に含まれないため、表示されない。なお、表示される仮想オブジェクト20の各々は、ユーザに正面を向いてユーザを取り囲むように配置される。以下、仮想オブジェクト20Gに着目して説明する。
次に、表示制御部104は、取得される回転測定情報に基づいて仮想オブジェクトが表示領域からはみ出すかを判定する。例えば、ユーザが頭部を反時計回りに回転させると、表示制御部104は、測定部102から得られる回転測定情報に基づいて次フレームにおける仮想オブジェクト20Gの位置を推定する。そして、表示制御部104は、次フレームにて仮想オブジェクト20Gが視錐台10をはみ出すかを判定する。
仮想オブジェクトが表示領域からはみ出すと判定されると、表示制御部104は、当該仮想オブジェクトを表示領域の外側に向けて加速させる。例えば、次フレームにて仮想オブジェクト20Gは視錐台10E2をはみ出すため、表示制御部104は、仮想オブジェクト20Gを加速度α1で視錐台10E2の外側の位置30Gに向けて移動させる。その結果、仮想オブジェクト20Gが視錐台10すなわち表示領域10からはじき出されるようにユーザに見せることができる。
続いて、仮想オブジェクトが表示領域の外から中へ移動させられる場合について説明する。
表示制御部104は、取得される回転測定情報に基づいて未表示の仮想オブジェクトが表示領域内に表示可能となるかを判定する。例えば、ユーザが頭部を反時計回りに回転させると、表示制御部104は、測定部102から得られる回転測定情報に基づいて次フレームにおける仮想オブジェクト20Hの位置を推定する。そして、表示制御部104は、次フレームにて仮想オブジェクト20H全体が視錐台10内に表示されるかを判定する。
未表示の仮想オブジェクトが表示領域内に表示可能となると判定されると、表示制御部104は、当該未表示の仮想オブジェクトを表示領域の内側に向けて加速させる。例えば、次フレームでは仮想オブジェクト20H3の一部が視錐台10E2からはみ出すため、表示制御部104は、仮想オブジェクト20Hを表示させない。しかし、その後のフレームにおいては仮想オブジェクト20H3の全体が視錐台10E3内に収まるため、表示制御部104は、仮想オブジェクト20H1を加速度α2で視錐台10の内側の位置30Hに向けて移動させる。その結果、仮想オブジェクト20Hが視錐台10内に飛び込んでくるようにユーザに見せることができる。
なお、仮想オブジェクトが表示領域の中から外へ移動させられる場合と外から中へ移動させられる場合とで、設定される加速度は同一であってもよく、異なってもよい。
<3−2.装置の処理>
次に、本実施形態に係る情報処理装置100−2の処理について説明する。まず、図10を参照して、情報処理装置100−2の初期化処理について説明する。図10は、本実施形態に係る情報処理装置100−2の初期化処理の例を概念的に示すフローチャートである。なお、仮想オブジェクトは、表示状態、移動状態、初期位置L0、現在位置L、表示開始位置LS、移動先位置LG、向き、幅w、速度u、加速度αといった属性を有する。
情報処理装置100−2は、仮想オブジェクト全体が視錐台内に位置するかを判定する(ステップS302)。具体的には、表示制御部104は、表示対象の仮想オブジェクトの各々について、当該仮想オブジェクトの各々が視錐台に完全に含まれるかを判定する。
仮想オブジェクト全体が視錐台内に位置すると判定されると、情報処理装置100−2は、表示状態を「可視」に設定し(ステップS304)、そうでない場合、表示状態を「不可視」に設定する(ステップS306)。具体的には、表示制御部104は、仮想オブジェクト全体が視錐台に完全に含まれる場合、当該仮想オブジェクトの表示状態を「可視」に設定する。また、表示制御部104は、仮想オブジェクトの一部または全部が視錐台の外に位置する場合、当該仮想オブジェクトの表示状態を「不可視」に設定する。
次に、情報処理装置100−2は、現在位置を初期位置に設定する(ステップS308)。具体的には、表示制御部104は、仮想オブジェクトの各々について、仮想オブジェクトの現在位置Lを初期位置L0に設定する。
次に、情報処理装置100−2は、移動状態を「停止中」に設定する(ステップS310)。具体的には、表示制御部104は、仮想オブジェクトの各々について、仮想オブジェクトの移動状態を「停止中」に設定する。
なお、仮想オブジェクトの他の属性についても初期化処理が行われる。例えば、仮想オブジェクトの速度および加速度が0に設定される。
続いて、図11〜図13を参照して、情報処理装置100−2の表示制御処理について説明する。図11〜図13は、本実施形態に係る情報処理装置100−2の表示制御処理の例を概念的に示すフローチャートである。なお、以下の処理は、例えば1フレーム毎(1/60秒毎)に行われる。
まず、図11を参照すると、情報処理装置100−2は、移動状態が「停止中」であるかを判定する(ステップS402)。具体的には、表示制御部104は、仮想オブジェクトの移動状態が「停止中」であるかを判定する。なお、初期化処理直後は、全ての仮想オブジェクトの移動状態が「停止中」であるため、ステップS404に処理が進められる。
移動状態が「移動中」である場合、図12のステップS508に処理が進められる。詳細については後述する。
移動状態が「停止中」であると判定されると、情報処理装置100−2は、表示状態が「可視」であるかを判定する(ステップS404)。具体的には、仮想オブジェクトの移動状態が「停止中」であると判定されると、表示制御部104は、当該仮想オブジェクトの表示状態が「可視」であるかを判定する。
表示状態が「不可視」である場合、図13のステップS602に処理が進められる。詳細については後述する。
表示状態が「可視」であると判定されると、情報処理装置100−2は、仮想オブジェクト全体が視錐台内に位置するかを判定する(ステップS406)。具体的には、表示制御部104は、当フレームにおいて、表示状態が「可視」である仮想オブジェクトの全体が視錐台内に位置するかを判定する。
仮想オブジェクトの一部または全部が視錐台の外に位置すると判定されると、情報処理装置100−2は、仮想オブジェクトが視錐台の側面と交差しているかを判定する(ステップS408)。具体的には、表示制御部104は、仮想オブジェクトの一部または全部が視錐台の外に位置すると判定されると、当該仮想オブジェクトが視錐台の左側面または右側面と交差しているかを判定する。
仮想オブジェクトが視錐台の側面と交差すると判定されると、図12のステップS502に処理が進められる。詳細については後述する。
仮想オブジェクトが視錐台の側面と交差していないと判定された場合、情報処理装置100−2は、仮想オブジェクトの表示状態を「不可視」に設定する(ステップS410)。具体的には、表示制御部104は、仮想オブジェクトの全部が視錐台の外に位置する場合、当該仮想オブジェクトの表示状態を「不可視」に設定する。
なお、ステップS406にて仮想オブジェクト全体が視錐台内に位置すると判定された場合、情報処理装置100−2は、処理を終了させる。
続いて、図12を参照すると、情報処理装置100−2は、ステップS408にて仮想オブジェクトが視錐台の側面と交差すると判定されると、視錐台外へ向かう方向の加速度を設定する(ステップS502)。具体的には、表示制御部104は、仮想オブジェクトが視錐台の左側面と交差すると判定される場合、左方向の加速度αを当該仮想オブジェクトの加速度として設定する。また、表示制御部104は、仮想オブジェクトが視錐台の右側面と交差すると判定される場合、右方向の加速度αを当該仮想オブジェクトの加速度として設定する。
次に、情報処理装置100−2は、仮想オブジェクトの移動先位置を設定する(ステップS504)。具体的には、表示制御部104は、仮想オブジェクトが視錐台の左側面と交差すると判定される場合、仮想オブジェクトの移動先位置LGを現在位置Lから左方向に幅wに相当する距離だけ離れた位置に設定する。また、表示制御部104は、仮想オブジェクトが視錐台の右側面と交差すると判定される場合、仮想オブジェクトの移動先位置LGを現在位置Lから右方向に幅wに相当する距離だけ離れた位置に設定する。
次に、情報処理装置100−2は、移動状態を「移動中」に設定する。具体的には、表示制御部104は、仮想オブジェクトの移動状態を「移動中」に設定する。なお、後述するステップS612から本ステップに処理が進められることもある。
次に、情報処理装置100−2は、仮想オブジェクトの速度を仮想オブジェクトの加速度で更新する(ステップS508)。具体的には、表示制御部104は、仮想オブジェクトの速度uを仮想オブジェクトの加速度αを用いて速度(u+α*(1/60))に更新する。
次に、情報処理装置100−2は、現在位置を仮想オブジェクトの速度で更新する(ステップS510)。具体的には、表示制御部104は、現在位置Lを現在位置Lからu*(1/60)だけ移動した位置に更新する。
次に、情報処理装置100−2は、現在位置が初期位置と移動先位置との間にあるかを判定する(ステップS512)。具体的には、表示制御部104は、仮想オブジェクトの現在位置Lが初期位置L0と移動先位置LGとの線分(端点を含まず。)上にあるかを判定する。言い換えると、表示制御部104は、仮想オブジェクトの移動が完了したかを判定する。
現在位置が初期位置と移動先位置との間にないと判定されると、情報処理装置100−2は、移動状態を「停止中」に設定する(ステップS514)。具体的には、仮想オブジェクトの現在位置Lが上記線分上にないと判定されると、表示制御部104は、当該仮想オブジェクトの移動状態を「停止中」に設定する。これは、仮想オブジェクトの移動が完了したためである。
また、情報処理装置100−2は、現在位置を移動先位置に設定する(ステップS516)。具体的には、表示制御部104は、仮想オブジェクトの現在位置Lが上記線分上にないと判定されると、当該仮想オブジェクトの現在位置Lを移動先位置LGに設定する。これは、仮想オブジェクトが目標となる移動先位置LGを通り過ぎている場合があり、その場合に仮想オブジェクトの位置を補正するためである。
なお、ステップS512にて現在位置が初期位置と移動先位置との間にあると判定されると、情報処理装置100−2は、処理を終了させる。これは、仮想オブジェクトがまだ移動途中であるためである。
続いて、図13を参照すると、情報処理装置100−2は、ステップS404にて表示状態が「不可視」であると判定されると、初期位置にて仮想オブジェクト全体が視錐台内に位置するかを判定する(ステップS602)。具体的には、表示制御部104は、表示状態が「不可視」である仮想オブジェクトの初期位置L0において当該仮想オブジェクトの全体が視錐台内に位置するかを判定する。
初期位置にて仮想オブジェクト全体が視錐台に位置すると判定されると、情報処理装置100−2は、視錐台内へ向かう方向の加速度を設定する(ステップS604)。具体的には、表示制御部104は、初期位置L0にて仮想オブジェクトの全体が視錐台内に位置すると判定されると、当該仮想オブジェクトの初期位置L0が視錐台の左側面に近い場合、右方向の加速度αを設定する。また、表示制御部104は、当該仮想オブジェクトの初期位置L0が視錐台の右側面に近い場合、左方向の加速度αを設定する。
次に、情報処理装置100−2は、表示開始位置を設定する(ステップS606)。具体的には、表示制御部104は、仮想オブジェクトの初期位置L0が視錐台の左側面に近い場合、表示開始位置LSを初期位置L0から幅wに相当する距離だけ左方向に移動した位置に設定する。また、表示制御部104は、当該仮想オブジェクトの初期位置L0が視錐台の右側面に近い場合、表示開始位置LSを初期位置L0から幅wに相当する距離だけ右方向に移動した位置に設定する。これは、仮想オブジェクトが視錐台の外から中に移動する際に、仮想オブジェクトが視錐台からはみ出している期間を短縮させるためである。
次に、情報処理装置100−2は、現在位置を表示開始位置に設定する(ステップS608)。具体的には、表示制御部104は、仮想オブジェクトの現在位置Lを設定された表示開始位置LSに設定する。
次に、情報処理装置100−2は、移動先位置を初期位置に設定する(ステップS610)。具体的には、表示制御部104は、仮想オブジェクトの移動先位置LGを初期位置L0に設定する。
次に、情報処理装置100−2は、表示状態を「可視」に設定する(ステップS612)。具体的には、表示制御部104は、仮想オブジェクトの表示状態を「可視」に設定する。
ステップS612の実行後に、上述したステップS506に処理が進められ、仮想オブジェクトの移動が開始される。
なお、ステップS602にて初期位置にて仮想オブジェクトの一部または全部が視錐台の外に位置すると判定されると、情報処理装置100−2は、処理を終了させる。これは、当フレームでは、当該仮想オブジェクトを表示するだけの領域が確保されないためである。
<3−3.第2の実施形態のまとめ>
このように、本開示の第2の実施形態によれば、情報処理装置100−2は、表示領域の境界を跨いで仮想オブジェクトが移動する際に、仮想オブジェクト全体の態様をユーザの回転に係る情報に応じた態様と異なる態様に変化させる。ここで、ユーザが移動しない場合であっても、ユーザの回転に応じてユーザの視野は変化する。そのため、現実空間と対応する仮想オブジェクトの位置もユーザの回転に応じて変化し、仮想オブジェクトが表示領域の境界を跨いで移動する可能性がある。これに対し、本構成によれば、ユーザが回転する場合に表示領域の境界を意識されることを抑制できる。
また、情報処理装置100−2は、仮想オブジェクトが表示領域の外から中へ移動する場合、仮想オブジェクト全体が表示される領域が確保されるまで仮想オブジェクトを表示領域に表示させない。このため、仮想オブジェクトが表示領域からはみ出した状態で表示され続けることを防止できる。従って、ユーザが表示領域の境界を意識することを抑制することが可能となる。
<4.第3の実施形態(仮想オブジェクトが移動する例)>
以上、本開示の第2の実施形態について説明した。次に、本開示の第3の実施形態について説明する。第3の実施形態では、ユーザは静止したまま、現実空間とマッピングされる仮想空間上で仮想オブジェクトが移動することにより、表示される仮想オブジェクトが移動する場合について説明する。
<4−1.装置の構成>
まず、本開示の第3の実施形態に係る情報処理装置100−3の機能構成について説明する。なお、構成要素は、第1の実施形態に係る情報処理装置100−1と実質的に同一である。以下では、第1および第2の実施形態との差異についてのみ説明する。
(表示制御部)
表示制御部104は、仮想オブジェクトの仮想空間上の移動情報(以下、仮想移動情報とも称する。)に応じて仮想オブジェクトの表示を制御する。具体的には、表示制御部104は、仮想移動情報に基づいて仮想空間上の仮想オブジェクトの位置を決定し、決定される仮想空間上の位置とマッピングされる現実空間の位置に仮想オブジェクトが存在するように当該仮想オブジェクトの表示位置を決定する。そして、表示制御部104は、決定された位置において仮想オブジェクトを表示部108に表示させる。
また、表示制御部104は、第1の実施形態と同様に、表示領域の境界を跨いで移動する仮想オブジェクトの態様を変化させる。具体的には、表示制御部104は、仮想移動情報に基づいて移動する仮想オブジェクトの一部が表示領域の外に位置する間、当該仮想オブジェクトの移動の速さを変化させる。さらに、図14を参照して、本実施形態に係る表示制御処理について説明する。図14は、本実施形態における仮想オブジェクトの態様の変化例を説明するための図である。
まず、表示制御部104は、仮想移動情報を取得する。例えば、表示制御部104は、仮想オブジェクトの移動速度vを示す仮想移動情報を取得する。なお、仮想移動情報は、情報処理装置100−3の別途に備えるアプリケーションまたは情報処理装置100−3の外部装置から取得され得る。
次に、表示制御部104は、仮想移動情報に基づいて仮想オブジェクトを加速させるかを判定する。例えば、表示制御部104は、仮想移動情報の示す仮想オブジェクトの移動速度vと現時点の仮想オブジェクト20Iの位置Lとに基づいて次フレームにおける仮想オブジェクト20Iの位置L1すなわち位置30I1を推定する。次に、表示制御部104は、推定される位置30I1において仮想オブジェクト20Iが、視錐台10Fからはみ出すかを判定する。さらに、表示制御部104は、所定の時間mの経過後における仮想オブジェクト20Iの位置L2すなわち位置30I2を推定する。そして、表示制御部104は、推定される位置30I2において仮想オブジェクト20Iが、視錐台10Fから完全に外れるかを判定する。なお、ユーザは移動しないため視錐台10Fの位置は変化しない。
仮想オブジェクトを加速させると判定される場合、表示制御部104は、仮想オブジェクトの加速度を設定する。例えば、図14に示したように、次フレームすなわち位置40I1において仮想オブジェクト20Iの少なくとも一部は視錐台10Fの外に位置し、所定の時間mの経過後すなわち位置40I2において仮想オブジェクト20Iの全体は視錐台10Fから完全に外れる。この場合、表示制御部104は、仮想オブジェクト20Iを仮想移動情報の示す速度vの方向に加速度αで加速させる。すなわち、仮想オブジェクト20Iは、速さv+α*t(t:時間)でユーザに向かって移動させられる。従って、仮想オブジェクト20Iの移動の速さを変化させない場合に比べて早期に視錐台10Fから仮想オブジェクト20Iが消え、視錐台10Fと仮想オブジェクト20Iとが交差している時間が短縮される。
<4−2.装置の処理>
次に、図15を参照して、本実施形態に係る情報処理装置100−3の処理について説明する。図15は、本実施形態に係る情報処理装置100−3の処理の例を概念的に示すフローチャートである。なお、第1の実施形態における処理と実質的に同一の処理については説明を省略する。
情報処理装置100−3は、仮想オブジェクトの加速度が0であるかを判定し(ステップS702)、そうであるならば、仮想オブジェクトの移動速度から次フレームにおける仮想オブジェクトの位置を推定する(ステップS704)。具体的には、表示制御部104は、表示領域に表示される仮想オブジェクトの加速度が0である場合、取得される仮想移動情報から仮想オブジェクトの移動速度vを算出する。次に、表示制御部104は、算出された仮想オブジェクトの移動速度vから次フレーム(例えば、1/60秒後)における仮想オブジェクトの位置L1を推定する。
次に、情報処理装置100−3は、推定位置で仮想オブジェクトが視錐台からはみ出すかを判定し(ステップS706)、そうであるならば、仮想オブジェクトの移動速度から所定の時間経過後における仮想オブジェクトの位置を推定する(ステップS708)。具体的には、表示制御部104は、推定される次フレームにおける仮想オブジェクトの位置L1において当該仮想オブジェクトが視錐台からはみ出す場合、算出された仮想オブジェクトの移動速度vから所定の時間経過後における仮想オブジェクトの位置L2を推定する。
次に、情報処理装置100−3は、推定位置で仮想オブジェクト全体が視錐台の外に位置するかを判定し(ステップS710)、そうであるならば、仮想オブジェクトの加速度を設定する(ステップS712)。具体的には、表示制御部104は、推定される所定の時間経過後における仮想オブジェクトの位置L2において当該仮想オブジェクトの全体が視錐台外に位置する場合、仮想オブジェクトの加速度として仮想オブジェクトの移動方向の加速度αを設定する。
次に、情報処理装置100−3は、仮想オブジェクトの速度を仮想オブジェクトの加速度で更新し(ステップS714)、仮想オブジェクトの位置を仮想オブジェクトの速度で更新する(ステップS716)。
<4−3.第3の実施形態のまとめ>
このように、本開示の第3の実施形態によれば、情報処理装置100−3は、仮想オブジェクトの仮想空間上の移動情報に応じて仮想オブジェクトの表示を制御する。このため、ユーザの動きによらずに仮想オブジェクトが仮想空間上の動きに応じて表示領域上を移動する場合であっても、表示領域の境界を跨いで仮想オブジェクトが表示される時間を短縮できる。従って、ユーザに表示領域の境界を意識されることを抑制することが可能となる。
なお、上記では、ユーザは停止した状態で仮想オブジェクトが仮想空間上を移動する例を説明したが、仮想オブジェクトが仮想空間上を移動しながら、第1または第2の実施形態のようにユーザが移動したり、回転したりしてもよい。
<5.本開示の一実施形態に係る情報処理装置のハードウェア構成>
以上、本開示の各実施形態に係る情報処理装置100について説明した。上述した情報処理装置100の処理は、ソフトウェアと、以下に説明する情報処理装置100のハードウェアとの協働により実現される。
図16は、本開示の一実施形態に係る情報処理装置100のハードウェア構成を示した説明図である。図16示したように、情報処理装置100は、プロセッサ132、メモリ134、ブリッジ136、バス138、測定装置140、入力装置142、出力装置144、接続ポート146および通信装置148を備える。
(プロセッサ)
プロセッサ132は、演算処理装置として機能し、各種プログラムと協働して情報処理装置100内の表示制御部104の機能を実現する。プロセッサ132は、制御回路を用いてメモリ134または他の記憶媒体に記憶されるプログラムを実行することにより、情報処理装置100の様々な論理的機能を動作させる。例えば、プロセッサ132は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)またはSoC(System-on-a-Chip)であり得る。
(メモリ)
メモリ134は、プロセッサ132が使用するプログラムまたは演算パラメタなどを記憶する。例えば、メモリ134は、RAM(Random Access Memory)を含み、プロセッサ132の実行において使用するプログラムまたは実行において適宜変化するパラメタなどを一時記憶する。また、メモリ134は、ROM(Read Only Memory)を含み、RAMおよびROMにより記憶部106の機能を実現する。なお、接続ポート146または通信装置148などを介して外部のストレージ装置がメモリ134の一部として利用されてもよい。
なお、プロセッサ132およびメモリ134は、CPUバスなどから構成される内部バスにより相互に接続されている。
(ブリッジおよびバス)
ブリッジ136は、バス間を接続する。具体的には、ブリッジ136は、プロセッサ132およびメモリ134が接続される内部バスと、測定装置140、入力装置142、出力装置144、接続ポート146および通信装置148間を接続するバス138と、を接続する。
(測定装置)
測定装置140は、情報処理装置100およびその周辺についての測定を行い、測定部102の機能を実現する。具体的には、測定装置140は、カメラセンサ(ステレオであってもよい。)、加速度センサ、角速度センサ、地磁気センサまたはGPSセンサを含み、これらセンサから得られる信号からセンサ情報として測定情報を生成する。
(入力装置)
入力装置142は、ユーザが情報処理装置100を操作しまたは情報処理装置100へ情報を入力するために使用される。例えば、入力装置142は、ユーザが情報を入力するための入力手段、およびユーザによる入力に基づいて入力信号を生成し、プロセッサ132に出力する入力制御回路などから構成されている。なお、当該入力手段は、マウス、キーボード、タッチパネル、スイッチ、レバーまたはマイクロフォンなどであってもよい。情報処理装置100のユーザは、入力装置142を操作することにより、情報処理装置100に対して各種のデータを入力したり処理動作を指示したりすることができる。
(出力装置)
出力装置144は、ユーザに情報を通知するために使用される。例えば、出力装置144は、透過型のHMD、HUD(Head UP Display)または網膜投射型の表示装置であり、表示部108の機能を実現する。なお、出力装置144として、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、OLED(Organic Light Emitting Diode)装置、プロジェクタ、スピーカまたはヘッドフォンなどの装置または当該装置への出力を行うモジュールが含まれてもよい。
(接続ポート)
接続ポート146は、機器を情報処理装置100に直接接続するためのポートである。例えば、接続ポート146は、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどであり得る。また、接続ポート146は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート146に外部機器を接続することで、情報処理装置100と当該外部機器との間でデータが交換されてもよい。
(通信装置)
通信装置148は、情報処理装置100と外部装置との間の通信を仲介する。具体的には、通信装置148は、無線通信方式に従って通信を実行する。例えば、通信装置148は、Bluetooth(登録商標)、NFC(Near Field Communication)、ワイヤレスUSBもしくはTransferJet(登録商標)などの近距離無線通信方式、WCDMA(登録商標)(Wideband Code Division Multiple Access)、WiMAX(登録商標)、LTE(Long Term Evolution)もしくはLTE−Aなどのセルラ通信方式、またはWi−Fi(登録商標)などの無線LAN(Local Area Network)方式といった、任意の無線通信方式に従って無線通信を実行してもよい。また、通信装置148は、信号線通信または有線LAN通信などの有線通信を実行してもよい。
なお、情報処理装置100は、図16を用いて説明した構成の一部を有しなくてもよく、または追加的な構成を有していてもよい。また、図16を用いて説明した構成の全体または一部を集積したワンチップの情報処理モジュールが提供されてもよい。
<6.むすび>
以上、本開示の第1の実施形態によれば、仮想オブジェクトが表示領域からはみ出している状態であるとユーザに気付かれにくい態様に仮想オブジェクトの態様を変化させることにより、ユーザに表示領域の境界が意識されることを抑制できる。従って、表示領域に表示される仮想オブジェクトに対するユーザの没入感または現実感の低下を抑制することが可能となる。
また、本開示の第2の実施形態によれば、ユーザが回転する場合に表示領域の境界を意識されることを抑制できる。
また、本開示の第3の実施形態によれば、ユーザの動きによらずに仮想オブジェクトが仮想空間上の動きに応じて表示領域上を移動する場合であっても、表示領域の境界を跨いで仮想オブジェクトが表示される時間を短縮できる。従って、ユーザに表示領域の境界を意識されることを抑制することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、移動情報に応じた制御に別の制御が付加されるとしたが、本技術はかかる例に限定されない。上記実施形態で説明したように仮想オブジェクトの態様が変化させられるのであれば、他の制御方法が用いられてもよい。具体的には、表示制御部104は、移動情報に応じた制御自体を変化させてもよい。例えば、表示制御部104は、測定情報の示すユーザの移動速度に応じて表示位置が移動させられる仮想オブジェクトの移動速度を変更したり、測定情報の示すユーザの回転方向に応じて表示位置がさせられる仮想オブジェクトの姿勢を所定角度だけ回転させたりしてもよい。
また、上記実施形態では、仮想オブジェクトが表示領域外へ移動して消える例を主に説明したが、本開示の各実施形態の構成は、第2の実施形態のように、仮想オブジェクトが表示領域の外から中へ移動し、新たに表示されるようになる場合に適用されてもよい。
また、上記実施形態では、次フレームにおいて仮想オブジェクトが視錐台からはみ出す場合に態様を変化させる例を説明したが、2以上先のフレームにおいて仮想オブジェクトが視錐台からはみ出す場合に態様を変化させてもよい。
また、上記実施形態では、情報処理装置100において全ての処理が行われるとしたが、一部の処理が別の装置において行われてもよい。例えば、情報処理装置100はサーバ装置であり、ユーザの装着する装置において測定部102および表示部108の処理が行われてもよい。この場合、通信を介して、測定情報が情報処理装置100に送信され、また表示部108への指示情報が情報処理装置100から送信される。
また、上記実施形態では、仮想オブジェクトの移動方向がユーザの視野における左右方向すなわち水平方向である例を一部で説明したが、仮想オブジェクトの移動方向は上下方向すなわち垂直方向であってもよい。また、上記実施形態における仮想オブジェクトの態様の制御は、所定の方向の仮想オブジェクトの移動にのみ適用されてもよい。例えば、上記左右方向についてのみ当該制御が行われ、上記上下方向については当該制御が行われないとしてもよい。
なお、仮想オブジェクトの性質に応じて上記実施形態における仮想オブジェクトの態様の制御が行われてもよい。例えば、仮想オブジェクトの性質としては、仮想オブジェクトの重要度、優先度、種類、用途、大きさなどがある。当該仮想オブジェクトの性質は、メタ情報として仮想オブジェクトに紐付けられてよい。
また、ユーザの視線に基づいて上記実施形態における仮想オブジェクトの態様の制御が行われてもよい。例えば、情報処理装置100は、ユーザの視線を検出し、検出される視線上にある仮想オブジェクトについてのみ上記実施形態における仮想オブジェクトの態様の制御を行う。また、情報処理装置100は、表示領域における検出される視線周辺においてのみ、上記実施形態における仮想オブジェクトの態様の制御を行うとしてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
また、上記の実施形態のフローチャートに示されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的にまたは個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。
また、コンピュータシステムに上述した情報処理装置100の各論理構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムが記憶された記憶媒体も提供される。ここで、上記コンピュータシステムは、情報処理装置100に内蔵されるハードウェアのような単体のコンピュータまたは一連の処理を実行する複数のコンピュータを含む。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
表示領域に移動を伴って表示される仮想オブジェクトの表示を制御し、
前記表示領域の境界を跨いで前記仮想オブジェクトが移動する際に、前記仮想オブジェクトの態様を変化させる表示制御部、
を備える情報処理装置。
(2)
前記仮想オブジェクトの態様の変化は、前記仮想オブジェクトの移動に関わる移動情報に応じた態様と異なる態様への変化を含む、
前記(1)に記載の情報処理装置。
(3)
前記仮想オブジェクトは、外界像に重畳され、
前記表示領域は、前記外界像の一部と重複する、
前記(2)に記載の情報処理装置。
(4)
前記表示制御部は、前記仮想オブジェクトの一部が前記表示領域の外に位置する間、前記仮想オブジェクトの態様を変化させる、
前記(2)または(3)に記載の情報処理装置。
(5)
前記表示制御部は、前記移動情報に応じた態様では前記仮想オブジェクトの一部が前記表示領域の外に位置すると推定される間、前記仮想オブジェクトの態様を変化させる、
前記(2)〜(4)のいずれか1項に記載の情報処理装置。
(6)
前記仮想オブジェクトの態様の変化は、前記仮想オブジェクトの移動の速さの変化を含む、
前記(2)〜(5)のいずれか1項に記載の情報処理装置。
(7)
前記仮想オブジェクトの態様の変化は、前記仮想オブジェクトの移動方向の変化を含む、
前記(2)〜(6)のいずれか1項に記載の情報処理装置。
(8)
前記移動方向の変化は、ユーザの視野に係る視錐台の側面に垂直な方向への変化を含む、
前記(7)に記載の情報処理装置。
(9)
前記仮想オブジェクトの態様の変化は、前記仮想オブジェクトの姿勢の変化を含む、
前記(2)〜(8)のいずれか1項に記載の情報処理装置。
(10)
前記姿勢の変化は、ユーザの視野に係る視錐台の側面に平行な方向への前記仮想オブジェクトの回転を含む、
前記(9)に記載の情報処理装置。
(11)
前記仮想オブジェクトの態様の変化は、前記仮想オブジェクトのサイズの変化を含む、
前記(2)〜(10)のいずれか1項に記載の情報処理装置。
(12)
前記仮想オブジェクトの態様の変化は、前記仮想オブジェクトの透明度の変化を含む、
前記(2)〜(11)のいずれか1項に記載の情報処理装置。
(13)
前記仮想オブジェクトの態様の変化の程度は、前記仮想オブジェクトの移動に応じて変化する、
前記(2)〜(12)のいずれか1項に記載の情報処理装置。
(14)
前記表示制御部は、前記仮想オブジェクトの態様を変化させている間、前記仮想オブジェクトに視覚的効果を付与する、
前記(2)〜(13)のいずれか1項に記載の情報処理装置。
(15)
前記視覚的効果は、前記仮想オブジェクトと前記表示領域とのコントラストの変化、前記仮想オブジェクトの明るさの変化またはぼかしを含む、
前記(14)に記載の情報処理装置。
(16)
前記移動情報は、ユーザの動きに係るセンサ情報を含む、
前記(2)〜(15)のいずれか1項に記載の情報処理装置。
(17)
前記表示制御部は、前記仮想オブジェクトが前記表示領域の外から中へ移動する場合、前記仮想オブジェクト全体が表示される領域が確保されるまで前記仮想オブジェクトを前記表示領域に表示させない、
前記(2)〜(16)のいずれか1項に記載の情報処理装置。
(18)
前記移動情報は、前記仮想オブジェクトの仮想空間上の移動情報を含む、
前記(2)〜(17)のいずれか1項に記載の情報処理装置。
(19)
プロセッサを用いて、
表示領域に移動を伴って表示される仮想オブジェクトの表示を制御することと、
前記表示領域の境界を跨いで前記仮想オブジェクトが移動する際に、前記仮想オブジェクトの態様を変化させることと、
を含む情報処理方法。
(20)
表示領域に移動に伴って表示される仮想オブジェクトの表示を制御し、
前記表示領域の境界を跨いで前記仮想オブジェクトが移動する際に、前記仮想オブジェクトの態様を変化させる表示制御機能と、
をコンピュータシステムに実現させるためのプログラム。
10 視錐台(表示領域)
20 仮想オブジェクト
100 情報処理装置
102 測定部
104 表示制御部
106 記憶部
108 表示部

Claims (20)

  1. 表示領域に移動を伴って表示される仮想オブジェクトの表示を制御し、
    前記表示領域の境界を跨いで前記仮想オブジェクトが移動する際に、前記仮想オブジェクトの態様を変化させる表示制御部、
    を備える情報処理装置。
  2. 前記仮想オブジェクトの態様の変化は、前記仮想オブジェクトの移動に関わる移動情報に応じた態様と異なる態様への変化を含む、
    請求項1に記載の情報処理装置。
  3. 前記仮想オブジェクトは、外界像に重畳され、
    前記表示領域は、前記外界像の一部と重複する、
    請求項2に記載の情報処理装置。
  4. 前記表示制御部は、前記仮想オブジェクトの一部が前記表示領域の外に位置する間、前記仮想オブジェクトの態様を変化させる、
    請求項2に記載の情報処理装置。
  5. 前記表示制御部は、前記移動情報に応じた態様では前記仮想オブジェクトの一部が前記表示領域の外に位置すると推定される間、前記仮想オブジェクトの態様を変化させる、
    請求項2に記載の情報処理装置。
  6. 前記仮想オブジェクトの態様の変化は、前記仮想オブジェクトの移動の速さの変化を含む、
    請求項2に記載の情報処理装置。
  7. 前記仮想オブジェクトの態様の変化は、前記仮想オブジェクトの移動方向の変化を含む、
    請求項2に記載の情報処理装置。
  8. 前記移動方向の変化は、ユーザの視野に係る視錐台の側面に垂直な方向への変化を含む、
    請求項7に記載の情報処理装置。
  9. 前記仮想オブジェクトの態様の変化は、前記仮想オブジェクトの姿勢の変化を含む、
    請求項2に記載の情報処理装置。
  10. 前記姿勢の変化は、ユーザの視野に係る視錐台の側面に平行な方向への前記仮想オブジェクトの回転を含む、
    請求項9に記載の情報処理装置。
  11. 前記仮想オブジェクトの態様の変化は、前記仮想オブジェクトのサイズの変化を含む、
    請求項2に記載の情報処理装置。
  12. 前記仮想オブジェクトの態様の変化は、前記仮想オブジェクトの透明度の変化を含む、
    請求項2に記載の情報処理装置。
  13. 前記仮想オブジェクトの態様の変化の程度は、前記仮想オブジェクトの移動に応じて変化する、
    請求項2に記載の情報処理装置。
  14. 前記表示制御部は、前記仮想オブジェクトの態様を変化させている間、前記仮想オブジェクトに視覚的効果を付与する、
    請求項2に記載の情報処理装置。
  15. 前記視覚的効果は、前記仮想オブジェクトと前記表示領域とのコントラストの変化、前記仮想オブジェクトの明るさの変化またはぼかしを含む、
    請求項14に記載の情報処理装置。
  16. 前記移動情報は、ユーザの動きに係るセンサ情報を含む、
    請求項2に記載の情報処理装置。
  17. 前記表示制御部は、前記仮想オブジェクトが前記表示領域の外から中へ移動する場合、前記仮想オブジェクト全体が表示される領域が確保されるまで前記仮想オブジェクトを前記表示領域に表示させない、
    請求項2に記載の情報処理装置。
  18. 前記移動情報は、前記仮想オブジェクトの仮想空間上の移動情報を含む、
    請求項2に記載の情報処理装置。
  19. プロセッサを用いて、
    表示領域に移動を伴って表示される仮想オブジェクトの表示を制御することと、
    前記表示領域の境界を跨いで前記仮想オブジェクトが移動する際に、前記仮想オブジェクトの態様を変化させることと、
    を含む情報処理方法。
  20. 表示領域に移動に伴って表示される仮想オブジェクトの表示を制御し、
    前記表示領域の境界を跨いで前記仮想オブジェクトが移動する際に、前記仮想オブジェクトの態様を変化させる表示制御機能と、
    をコンピュータシステムに実現させるためのプログラム。
JP2016066277A 2016-03-29 2016-03-29 情報処理装置、情報処理方法およびプログラム Active JP6736944B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016066277A JP6736944B2 (ja) 2016-03-29 2016-03-29 情報処理装置、情報処理方法およびプログラム
CN201780019078.XA CN108885856B (zh) 2016-03-29 2017-02-01 信息处理设备、信息处理方法和程序
US16/086,876 US10755482B2 (en) 2016-03-29 2017-02-01 Information processing device and information processing method
PCT/JP2017/003644 WO2017169081A1 (ja) 2016-03-29 2017-02-01 情報処理装置、情報処理方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016066277A JP6736944B2 (ja) 2016-03-29 2016-03-29 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2017181666A true JP2017181666A (ja) 2017-10-05
JP6736944B2 JP6736944B2 (ja) 2020-08-05

Family

ID=59962829

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016066277A Active JP6736944B2 (ja) 2016-03-29 2016-03-29 情報処理装置、情報処理方法およびプログラム

Country Status (4)

Country Link
US (1) US10755482B2 (ja)
JP (1) JP6736944B2 (ja)
CN (1) CN108885856B (ja)
WO (1) WO2017169081A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018081162A (ja) * 2016-11-15 2018-05-24 株式会社リコー 表示装置、表示システム、及びプログラム
WO2019087658A1 (ja) * 2017-11-01 2019-05-09 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2021076864A (ja) * 2021-02-01 2021-05-20 株式会社リコー 表示装置、表示システム、及びプログラム
WO2021131991A1 (ja) * 2019-12-23 2021-07-01 ソニーグループ株式会社 映像生成装置、映像生成方法および映像生成プログラム
WO2022004422A1 (ja) * 2020-07-02 2022-01-06 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体
JP6991396B1 (ja) * 2020-12-28 2022-01-14 三菱電機株式会社 表示装置、制御システムおよび作画方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10459230B2 (en) 2016-02-02 2019-10-29 Disney Enterprises, Inc. Compact augmented reality / virtual reality display
US9996984B2 (en) * 2016-07-05 2018-06-12 Disney Enterprises, Inc. Focus control for virtual objects in augmented reality (AR) and virtual reality (VR) displays
WO2018020661A1 (ja) * 2016-07-29 2018-02-01 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
WO2020047486A1 (en) 2018-08-31 2020-03-05 Magic Leap, Inc. Spatially-resolved dynamic dimming for augmented reality device
WO2020146760A1 (en) 2019-01-11 2020-07-16 Magic Leap, Inc. Time-multiplexed display of virtual content at various depths
JP2020149216A (ja) * 2019-03-12 2020-09-17 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005049996A (ja) * 2003-07-30 2005-02-24 Canon Inc 画像表示方法及び装置
JP2011258161A (ja) * 2010-06-11 2011-12-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
US20140125698A1 (en) * 2012-11-05 2014-05-08 Stephen Latta Mixed-reality arena
JP2015084150A (ja) * 2013-10-25 2015-04-30 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1202885C (zh) * 2002-09-25 2005-05-25 威盛电子股份有限公司 虚拟实境阶梯型跑步机
JP4817425B2 (ja) * 2005-08-22 2011-11-16 株式会社リコー 画像表示システム及び画像表示方法
JP4898529B2 (ja) * 2007-04-06 2012-03-14 株式会社エヌ・ティ・ティ・ドコモ エリア案内装置およびプログラム
JP4989383B2 (ja) * 2007-09-10 2012-08-01 キヤノン株式会社 情報処理装置、情報処理方法
WO2009054619A2 (en) * 2007-10-22 2009-04-30 Moon Key Lee Augmented reality computer device
US9736368B2 (en) * 2013-03-15 2017-08-15 Spatial Cam Llc Camera in a headframe for object tracking
JP2012120594A (ja) * 2010-12-06 2012-06-28 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理方法および情報処理システム
JP5780129B2 (ja) 2011-11-22 2015-09-16 ソニー株式会社 光ビーム伸長装置、画像表示装置及び光学装置
JP5900393B2 (ja) 2013-03-21 2016-04-06 ソニー株式会社 情報処理装置、操作制御方法及びプログラム
RU2015145510A (ru) 2013-03-26 2017-05-03 Сейко Эпсон Корпорейшн Наголовное устройство отображения, способ управления наголовным устройством отображения и система отображения
US10089786B2 (en) * 2013-08-19 2018-10-02 Qualcomm Incorporated Automatic customization of graphical user interface for optical see-through head mounted display with user interaction tracking
US20160027214A1 (en) * 2014-07-25 2016-01-28 Robert Memmott Mouse sharing between a desktop and a virtual world
US10438399B2 (en) * 2017-02-10 2019-10-08 Sony Interactive Entertainment LLC Paired local and global user interfaces for an improved augmented reality experience

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005049996A (ja) * 2003-07-30 2005-02-24 Canon Inc 画像表示方法及び装置
JP2011258161A (ja) * 2010-06-11 2011-12-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
US20140125698A1 (en) * 2012-11-05 2014-05-08 Stephen Latta Mixed-reality arena
JP2015084150A (ja) * 2013-10-25 2015-04-30 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018081162A (ja) * 2016-11-15 2018-05-24 株式会社リコー 表示装置、表示システム、及びプログラム
US11216906B2 (en) 2016-11-15 2022-01-04 Ricoh Company, Ltd. Display apparatus to control display form of virtual object
JP7009057B2 (ja) 2016-11-15 2022-01-25 株式会社リコー 表示装置、表示システム、及びプログラム
WO2019087658A1 (ja) * 2017-11-01 2019-05-09 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JPWO2019087658A1 (ja) * 2017-11-01 2020-11-26 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US11508084B2 (en) 2017-11-01 2022-11-22 Sony Corporation Information processing apparatus and information processing method for accurately estimating a self location
JP7147775B2 (ja) 2017-11-01 2022-10-05 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
WO2021131991A1 (ja) * 2019-12-23 2021-07-01 ソニーグループ株式会社 映像生成装置、映像生成方法および映像生成プログラム
WO2022004422A1 (ja) * 2020-07-02 2022-01-06 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体
WO2022145014A1 (ja) * 2020-12-28 2022-07-07 三菱電機株式会社 表示装置、制御システムおよび作画方法
JP6991396B1 (ja) * 2020-12-28 2022-01-14 三菱電機株式会社 表示装置、制御システムおよび作画方法
JP2021076864A (ja) * 2021-02-01 2021-05-20 株式会社リコー 表示装置、表示システム、及びプログラム
JP7180702B2 (ja) 2021-02-01 2022-11-30 株式会社リコー 表示装置、表示システム、及びプログラム

Also Published As

Publication number Publication date
JP6736944B2 (ja) 2020-08-05
CN108885856B (zh) 2021-11-09
CN108885856A (zh) 2018-11-23
US10755482B2 (en) 2020-08-25
WO2017169081A1 (ja) 2017-10-05
US20190088021A1 (en) 2019-03-21

Similar Documents

Publication Publication Date Title
WO2017169081A1 (ja) 情報処理装置、情報処理方法およびプログラム
US11210993B2 (en) Optimized display image rendering
EP3368965B1 (en) Remote rendering for virtual images
US9928655B1 (en) Predictive rendering of augmented reality content to overlay physical structures
KR102291777B1 (ko) 바디 락 증강 현실과 월드 락 증강 현실 사이의 전환 기법
US10884576B2 (en) Mediated reality
EP4052115A1 (en) Porting physical object into virtual reality
ES2930598T3 (es) Re-proyección de imágenes para renderizado foveado
US11533468B2 (en) System and method for generating a mixed reality experience
JP2015095802A (ja) 表示制御装置、表示制御方法、およびプログラム
US10565767B2 (en) Systems and methods for utilizing a device as a marker for augmented reality content
US10395418B2 (en) Techniques for predictive prioritization of image portions in processing graphics
WO2020003860A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20200097068A1 (en) Method and apparatus for providing immersive reality content
CN111066081B (zh) 用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术
KR20180055637A (ko) 전자 장치 및 그의 제어 방법
CN108140357B (zh) 信息处理装置
US20240029363A1 (en) Late stage occlusion based rendering for extended reality (xr)
US20240219998A1 (en) Method And Device For Dynamic Sensory And Input Modes Based On Contextual State

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190320

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200629

R151 Written notification of patent or utility model registration

Ref document number: 6736944

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151