JP2021103341A - 情報処理装置、情報処理方法、および、プログラム - Google Patents

情報処理装置、情報処理方法、および、プログラム Download PDF

Info

Publication number
JP2021103341A
JP2021103341A JP2018066736A JP2018066736A JP2021103341A JP 2021103341 A JP2021103341 A JP 2021103341A JP 2018066736 A JP2018066736 A JP 2018066736A JP 2018066736 A JP2018066736 A JP 2018066736A JP 2021103341 A JP2021103341 A JP 2021103341A
Authority
JP
Japan
Prior art keywords
region
information processing
virtual object
user
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018066736A
Other languages
English (en)
Inventor
智彦 後藤
Tomohiko Goto
智彦 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2018066736A priority Critical patent/JP2021103341A/ja
Priority to PCT/JP2019/000422 priority patent/WO2019187488A1/ja
Priority to DE112019001690.3T priority patent/DE112019001690T5/de
Priority to US17/040,142 priority patent/US20210026142A1/en
Publication of JP2021103341A publication Critical patent/JP2021103341A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】仮想オブジェクトの視認性低下を回避する表示制御を行うことが可能な情報処理装置、情報処理方法、および、プログラムを提供する。【解決手段】第１の視認性が得られる実空間の第１の領域と前記第１の視認性よりも高い第２の視認性が得られる実空間の第２の領域のうち、前記第１の領域よりも前記第２の領域に優先的に仮想オブジェクトを配置するよう表示制御を行う制御部を備える、情報処理装置。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法、および、プログラムに関する。
近年、実空間に付加的な情報を重畳して人間の知覚する現実環境を拡張するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）やＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）と称される技術が広く用いられるようになり、ＡＲ、ＭＲ技術を応用した情報提示が行われている。ユーザに提示される情報は、テキスト、アイコン、画像、３Ｄモデル等の様々な形態の仮想的なオブジェクトを用いて可視化される。
ＡＲ、ＭＲ技術において、実世界に仮想の３Ｄ物体等を重畳表示するディスプレイとして主に使われているのは、光学透過型ディスプレイとビデオ透過型ディスプレイの２つの方式のディスプレイ（表示装置）が挙げられる。
ビデオ透過型ディスプレイは、視界をディスプレイで覆う構造であり、実世界と仮想物をリアルタイムに撮影した映像として視覚される。一方、光学透過型ディスプレイは、実世界を肉眼で視覚しながら同時に仮想物を視認することができ、安全面や映像のクオリティの面で、屋外でのＡＲ、ＭＲに適しており、ＡＲ、ＭＲのコンテンツを屋外で楽しむ機器として今後さらに普及していく可能性が大きい。光学透過型ディスプレイに関し、例えば下記特許文献１では、表示領域の透過率を外光光量に応じて調整してもよい旨が記載されている。
特開２０１３−２１０６４３号公報
しかしながら、光学透過型ディスプレイの場合、機器による投影光によって透過型スクリーンに仮想物を描画することで映像表示を行うため、原理上、特に太陽の直射等の非常に高い照度の環境下では、表示された仮想物に比べて実世界が極端に明るくなり、仮想物が非常に見え難くなる。
そこで、本開示では、仮想オブジェクトの視認性低下を回避する表示制御を行うことが可能な情報処理装置、情報処理方法、および、プログラムを提案する。
本開示によれば、第１の視認性が得られる実空間の第１の領域と前記第１の視認性よりも高い第２の視認性が得られる実空間の第２の領域のうち、前記第１の領域よりも前記第２の領域に優先的に仮想オブジェクトを配置するよう表示制御を行う制御部を備える情報処理装置を提案する。
本開示によれば、プロセッサが、第１の視認性が得られる実空間の第１の領域と前記第１の視認性よりも高い第２の視認性が得られる実空間の第２の領域のうち、前記第１の領域よりも前記第２の領域に優先的に仮想オブジェクトを配置するよう表示制御を行うことを含む、情報処理方法を提案する。
本開示によれば、コンピュータを、第１の視認性が得られる実空間の第１の領域と前記第１の視認性よりも高い第２の視認性が得られる実空間の第２の領域のうち、前記第１の領域よりも前記第２の領域に優先的に仮想オブジェクトを配置するよう表示制御を行う制御部として機能させる、プログラムを提案する。
以上説明したように本開示によれば、仮想オブジェクトの視認性低下を回避する表示制御を行うことが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 本実施形態に係る情報処理装置の外観例を示すブロック図である。 本実施形態に係る情報処理装置の構成例を示すブロック図である。 本実施形態に係る光源が太陽の場合における光源位置推定アルゴリズムの一例について説明する図である。 本実施形態に係る仮想オブジェクトの移動先を決定するアルゴリズムの一例について説明する図である。 本実施形態に係る出力制御処理の流れの一例を示すフローチャートである。 本実施形態に係るユーザの視界推定処理の流れの一例を示すフローチャートである。 本実施形態に係る光源位置の推定処理の流れの一例を示すフローチャートである。 本実施形態に係る仮想オブジェクトの移動先決定処理の一例を示すフローチャートである。 本実施形態に係る仮想オブジェクトの移動経路変更を伴う移動先決定処理の一例を示すフローチャートである。 本実施形態に係る仮想オブジェクトの移動経路の変更について説明する図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．構成例
３．動作処理
３−１．出力制御処理
３−２．ユーザの視界推定処理
３−３．太陽位置推定処理
３−４．移動先決定処理
４．ユースケース
５．まとめ
＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。図１に示すように、本実施形態による情報処理システムは、ユーザが頭部に装着する光学透過型ディスプレイ（情報処理装置１０）を用いて実空間の任意の位置に仮想オブジェクトを表示し、ゲームや情報提供などのＡＲ、ＭＲコンテンツ（以下、ＡＲコンテンツと称す）を提示し得る。
（背景）
ここで、上述したように、光学透過型ディスプレイの場合、機器による投影光によって透過型スクリーンに仮想物（仮想オブジェクト）を描画することで映像表示を行うため、原理上、特に太陽の直射等の非常に高い照度の環境下では、表示された仮想物に比べて実世界が極端に明るくなり、仮想物が非常に見え難くなるという問題が発生する。例えば屋外で実空間の位置に紐付けて敵キャラクターやアイテムを出現させるようなＡＲゲームコンテンツの場合、図１左に示すように、太陽の光が明る過ぎて仮想オブジェクト２０が見えなくなるといった現象が生じ得る。
また、ＡＲコンテンツとのインタラクション等の目的で、機器に搭載されたカメラによりユーザの手の認識等を行う場合も、屋外で利用した際に逆光によってカメラの露出調整範囲を超えてしまい、正しく手の形が認識できないことが生じ得る。例えば実空間に出現した敵キャラクターに手をかざして攻撃を行うといったインタラクションを行う際、逆光によってユーザの手が正しく認識出来ないとインタラクションを起こすことができず、ユーザがゲームを楽しむことができない。
このような外光の影響による視認性低下の対策としては、遮光グラスや透過型ディスプレイの調光機能によって透過する入射光の光量を抑える方法が考え得るが、実世界が全体的に暗く見えることになり、実世界が自然に見える中に仮想物が重畳されるＡＲコンテンツの体験価値が大きく損なわれることになる。
そこで、本実施形態では、外光による仮想オブジェクトの視認性低下を回避する表示制御を行う情報処理システムを提案する。具体的には、本実施形態による情報処理システムは、第１の視認性が得られる実空間の第１の領域と第１の視認性よりも高い第２の視認性が得られる実空間の第２の領域のうち、第１の領域よりも第２の領域に優先的に仮想オブジェクトを配置するよう表示制御することで、外光による仮想オブジェクトの視認性低下を回避する。視認性とは、仮想オブジェクトの視認性であって、例えば照度環境に基づいて第１の視認性よりも高い第２の視認性が得られる第２の領域を判断し得る。照度環境とは、（情報処理装置１０に設けられている照度センサや環境側に設置されている照度センサによるリアルタイムの）センシングにより得られた照度情報であってもよいし、光源の位置情報であってもよい。
例えば照度環境がセンシングにより得られた照度情報の場合、第１の領域は、第１の閾値を超える照度を有する領域であり、第２の領域は、当該第１の閾値を下回る照度を有する領域としてもよい。第１の閾値を超える照度を有する領域とは、例えば太陽などの自然光源またはスポットライト等の人工光源による強い光により照らされている領域を想定する。明る過ぎる領域では仮想オブジェクトが見え難い（視認性が低下する）ためである。一方、照度環境が光源の位置情報の場合、第１の領域は、ユーザの位置に対して光源が位置する方向を含む領域であって、第２の領域は、ユーザの位置に対して光源が位置する方向と対向する方向を含む領域としてもよい。光源は、太陽等の自然光源であってもよいし、スポットライト等の人工光源であってもよい。本実施形態による情報処理システムは、光源の位置を既知の位置情報データベースや計算により推定し、ユーザの現在位置との位置関係に基づいて、仮想オブジェクトの配置制御を行う。例えば、「ユーザの位置に対して光源が位置する方向を含む領域」（第１の領域）とは、ユーザの視界に光源が入る範囲であって、「ユーザの位置に対して光源が位置する方向と対向する方向を含む領域」（第２の領域）とは、ユーザの視界に光源が入らない範囲である。また、照度環境には、さらに遮蔽物の位置情報が含まれ、遮蔽物により影となる領域を第２の領域としてもよい。また、本実施形態による情報処理システムは、照度環境として、センシングにより得られた照度情報と、光源の位置情報の両方を考慮し、第１、第２の領域を判断してもよい。
以上説明したように、例えば本実施形態による情報処理システムは、仮想オブジェクトをユーザの視界に光源が入らない範囲（第２の領域の一例）に配置するよう制御することで、外光による仮想オブジェクトの視認性低下を回避することが可能となる。例えば図１右に示すように、本実施形態による情報処理装置１０がユーザの視界に光源が入らない場所に仮想オブジェクト２０を移動させると、ユーザは移動する仮想オブジェクト２０を目で追って視線を動かすため、ユーザは自然と太陽に対して背を向けることになり、ユーザは、視界に光源が入らない視認性の高い場所で仮想オブジェクト２０を見ることができる。
また、ユーザが自然と太陽に対して背を向けることで、逆光状態も解消され、カメラによる認識の精度低下を防ぐことも可能となる。
（情報処理装置１０の外観例）
図２は、本実施形態による情報処理装置１０の外観例を説明する図である。図２に示すように、本実施形態による情報処理装置１０は、例えばユーザの頭部に装着されるメガネ型のヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）により実現される。装着時にユーザの眼前に位置するメガネレンズ部分に相当する表示部１２０は、光学透過性を有する所謂光学シースルーディスプレイであってもよい。情報処理装置１０は、表示部１２０に仮想オブジェクトを表示することで、ユーザの視界内に仮想オブジェクトを提示することができる。また、情報処理装置１０の一例であるＨＭＤは、両眼に画像を提示するものに限定されず、片眼のみに画像を提示するものであってもよい。例えばＨＭＤは、片方の眼に画像を提示する表示部１２０が設けられた片目タイプのものであってもよい。
また、情報処理装置１０には、装着時にユーザの視線方向、すなわちユーザの視界を撮像する外向きカメラ１１１が設けられている。さらに、図２に図示しないが、情報処理装置１０には、装着時にユーザの眼を撮像する内向きカメラやマイクロホン（以下、「マイク」と示す。）等の各種センサが設けられていてもよい。外向きカメラ１１１、および内向きカメラは、それぞれ複数設けられていてもよい。
なお情報処理装置１０の形状は図２に示す例に限定されない。例えば情報処理装置１０は、ヘッドバンド型（頭部の全周を回るバンドで装着されるタイプ。また、側頭部だけでなく頭頂部を通るバンドが設ける場合もある）のＨＭＤや、ヘルメットタイプ（ヘルメットのバイザー部分が表示部１２０に相当する）のＨＭＤであってもよい。
ここで、例えば表示部１２０が光学的透過性を有する場合、ユーザは表示部１２０を通して実空間を視認しつつ、表示部１２０に表示された情報を視認することが可能である。したがって、表示部１２０に表示される仮想オブジェクトは、実空間に表示されると言える。
さらに、仮想オブジェクトが実空間に存在するかのようにユーザに感じさせるような制御が行われ得る。例えば、外向きカメラ１１１の撮像により得られる実空間の情報、例えば、実空間に存在する実オブジェクトの位置や形状の情報に基づいて仮想オブジェクトの配置や形状等を制御することが行われ得る。
表示部１２０に表示される仮想オブジェクトは多様であり得る。例えば、仮想オブジェクトは、情報処理装置１０が提供するアプリケーションに依存した多様なコンテンツを示す仮想オブジェクトであってもよい。または、仮想オブジェクトは、実空間に存在する実オブジェクトのうち、ユーザに注目させたい実オブジェクトを強調するための仮想オブジェクトであってもよい。
以上、本開示の一実施形態による情報処理システムについて説明した。続いて、本実施形態による情報処理システムを実現する情報処理装置１０の具体的な構成および動作処理について、より詳細に説明する。
＜＜２．構成例＞＞
図３は、本実施形態に係る情報処理装置１０の構成例を示すブロック図である。図３に示すように、情報処理装置１０は、センサ部１１０、制御部１００、表示部１２０、スピーカ１３０、通信部１４０、操作入力部１５０、および記憶部１６０を有する。
＜２−１．センサ部１１０＞
センサ部１１０は、ユーザまたは周辺環境に関する各種情報を取得（センシング）する機能を有する。例えばセンサ部１１０は、外向きカメラ１１１、内向きカメラ１１２、マイク１１３、ジャイロセンサ１１４、加速度センサ１１５、方位センサ１１６、位置測位部１１７、および照度センサ１１８を含む。なおここで挙げるセンサ部１１０の具体例は一例であって、本実施形態はこれに限定されない。例えば、生体センサ、または内向きカメラ等を含んでもよい。また、各センサはそれぞれ複数であってもよい。
外向きカメラ１１１および内向きカメラ１１２は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を各々有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。
なお、本実施形態において、外向きカメラ１１１は、実空間におけるユーザの視界に相当する領域を撮像するように、画角および向きが設定されることが望ましい。また、外向きカメラ１１１は、複数設けられていてもよい。さらに、外向きカメラ１１１は、センシングによりデプスマップを取得可能なデプスカメラを含んでもよい。
マイク１１３は、ユーザの音声や周囲の環境音を収音し、音声データとして制御部１００に出力する。
ジャイロセンサ１１４は、例えば３軸ジャイロセンサにより実現され、角速度（回転速度）を検出する。
加速度センサ１１５は、例えば３軸加速度センサにより実現され、移動時の加速度を検出する。
方位センサ１１６は、例えば３軸地磁気センサ（コンパス）により実現され、絶対方向（方位）を検出する。
位置測位部１１７は、情報処理装置１０の自己位置を算出する。例えば位置測位部１１７は、自己位置推定の手法として、いわゆるＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）を用いてもよい。ＳＬＡＭのアルゴリズムについては特に限定しないが、例えば、地図に点座標で表現されたランドマークを使用するＬａｎｄｍａｒｋ ｂａｓｅｄ ＳＬＡＭを用いてもよい。Ｌａｎｄｍａｒｋ ｂａｓｅｄ ＳＬＡＭでは、特徴的な物体をランドマークとして認識し、そのランドマークの地図を生成すると共に、そのランドマークの座標情報を用いて自己位置推定にフィードバックする。
また、位置測位部１１７は、外部からの取得信号に基づいて情報処理装置１０の現在位置を検知してもよい。具体的には、例えば位置測位部１１７は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）測位部により実現され、ＧＰＳ衛星からの電波を受信して、情報処理装置１０が存在している位置を検知し、検知した位置情報を制御部１００に出力する。また、位置測位部１１７は、ＧＰＳの他、例えばＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。
照度センサ１１８は、例えばフォトダイオードなどにより実現され、明るさを検出する。
＜２−２．制御部１００＞
制御部１００は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。制御部１００は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んでいてもよい。また、本実施形態による制御部１００は、各種情報処理機能と、出力制御機能とを有する。
（２−２−１．情報処理機能）
制御部１００は、図３に示すように、デバイス姿勢認識部１０１、空間マップ情報処理部１０２、光源位置推定部１０３、および画像認識部１０４として機能し得る。
デバイス姿勢認識部１０１は、センサ部１１０によりセンシングされた各種センサ情報（センシング結果）に基づいて、ユーザの頭部に装着されたデバイス、すなわち情報処理装置１０の姿勢（ユーザの頭部姿勢に相当）を認識する機能を有する。デバイスの姿勢情報としては、例えばユーザの顔の向きや身体の傾き等の情報が認識され得る。より具体的には、例えばデバイス姿勢認識部１０１は、外向きカメラ１１１、ジャイロセンサ１１４、加速度センサ１１５、および方位センサ１１６の検出結果から、デバイス姿勢を検出することが可能である。また、デバイス姿勢認識部１０１は、これらの情報に基づいて、ユーザ頭部の、実空間における３次元的な位置を認識することも可能である。
空間マップ情報処理部１０２は、空間マップデータＤＢ（データベース）１６１に予め登録されている空間マップデータと、センサ部１１０によりセンシングされた各種センサ情報（センシング結果）に基づいて、ユーザ周辺の空間情報を取得し得る。空間マップデータには、所定範囲における実空間の３次元的認識結果や、実空間に存在する実物体に関する認識結果が含まれている。例えば空間マップ情報処理部１０２は、デバイス姿勢結果から得られるユーザの顔向きと、位置測位部１１７により得られる３次元位置情報と、空間マップデータとを照合し、ユーザの視界にどのような実物体が存在しているか（ユーザの視界範囲に何が入っているか）を判断し得る。また、空間マップ情報処理部１０２は、センサ部１１０によりセンシングされた各種センサ情報（センシング結果）に基づいて、周辺の空間認識を行い、新たに空間マップデータを生成したり、更新したりすることも可能である。
光源位置推定部１０３は、センサ部１１０によりセンシングされた各種センサ情報（センシング結果）に基づいて、光源位置の推定を行う。光源は例えば太陽（自然光源）、若しくは外灯、スポットライト、スタジアム等にある電照塔等の照明装置（人工光源）を想定する。また、ガラス張りの壁に反射する太陽や照明も想定し得る。照明装置等の人工光源やガラス張りの壁等の位置は、既知の空間マップデータ（人工光源等が既知となっている位置情報データベース）から取得できるため、光源位置推定部１０３は、これらの光源推定にはかかる既知の位置情報を利用する。一方、光源が太陽の場合、時間によって光源位置が変化するため、光源位置推定部１０３は、所定のアルゴリズムによって適宜算出する。なお本実施形態は、太陽と人工光源の両者を考慮してコンテンツの表示位置を制御することも当然可能である。
ここで、図４を参照して光源が太陽の場合における光源位置推定アルゴリズムの一例について説明する。地上での太陽の高度（仰角）hと、方位角Ａ（北を０°として時計回りが正とする）は、図４を参照し、下記式のように求められる。
なお下記式において、太陽赤緯（太陽光線と地球の赤道面との角度）をδ、現在位置の北緯をφ、東経をθとする。
・高度（仰角）：h
h=asin(sin(φ)sin(δ)+cos(φ)cos(δ)cos(t))
・方位角：A（北=0,東=90,南=180,西=270°）
sin A=cos(δ)sin(t)/cos(h)
cos A=(sin(h)sin(φ)-sin(δ))/cos(h)/cos(φ)
A=atan2(sinA,cosA)+π
このうち、現在位置(φ,θ)はデバイスの位置測位から取得できる。また、太陽赤緯δは日付によって決まる定数であるため、太陽位置データＤＢ１６２にテーブルとして記憶しておくことで、計算を省くことができる。
画像認識部１０４は、外向きカメラ１１１や内向きカメラ１１２で撮像された画像の認識処理を行い得る。例えば画像認識部１０４は、外向きカメラ１１１で撮像した画像から、ユーザの手の形を認識する。
（２−２−２．出力制御機能）
また、制御部１００は、図３に示すように、コンテンツ再生制御部１０５として機能し得る。
コンテンツ再生制御部１０５は、センサ部１１０によりセンシングされた各種センサ情報（センシング結果）や、上述した各種情報処理（デバイス姿勢認識結果、空間マップ情報処理結果、光源位置推定結果、および画像認識結果）に基づいて、表示部１２０やスピーカ１３０を用いて、太陽位置データＤＢ１６２から取得したコンテンツの再生出力制御（コンテンツ表示制御、コンテンツ音声制御）を行う。具体的には、コンテンツ再生制御部１０５は、光学的透過性を有する表示部１２０による表示を制御し、仮想オブジェクトを実空間に表示させる。コンテンツ再生制御部１０５は、仮想オブジェクトが実空間に存在するかのようにユーザに感じさせるために、例えば実空間に存在する実オブジェクトと仮想オブジェクトとの位置関係において違和感が生じないよう表示制御を行う。例えばコンテンツ再生制御部１０５は、実オブジェクトの位置や形状の情報に基づいて、当該実オブジェクトと仮想オブジェクトとの位置関係が適切に表現されるように、ユーザから見て実オブジェクトの奥側に存在する部分を遮蔽して仮想オブジェクトを表示させる等の表示制御を行う。
また、コンテンツ再生制御部１０５は、仮想オブジェクト毎に、出現位置、出現範囲、および移動経路等のルールが設定されている場合、ルールに従って再生出力制御を行う。これらのルールは、コンテンツデータＤＢ１６３にコンテンツデータとして記憶され得る。
また、コンテンツ再生制御部１０５は、ユーザの動きや発話等に応じたコンテンツとのインタラクション制御も行い得る。例えば、ユーザが所定のアクションを行った場合、コンテンツ再生制御部１０５は、ユーザのアクションに応じて効果音や仮想オブジェクトの表示変化等、所定のインタラクションを起こす制御を行う。
さらに、本実施形態によるコンテンツ再生制御部１０５は、上記ルールに従って仮想オブジェクトを表示または移動させる際、ユーザ位置および光源位置を参照し、光源により仮想オブジェクトの視認性が低下することを回避すべく、仮想オブジェクトを所定の範囲に移動させたり、移動経路を変更したりする処理を行う。これにより、ＡＲコンテンツ体験価値をより向上させることを可能とする。
より具体的には、コンテンツ再生制御部１０５は、ユーザの視界と光源推定位置とに基づいて、ユーザの視界に光源が入らない範囲に仮想オブジェクトを配置する制御を行う。ここで、図５を参照してユーザの位置と光源位置とに応じて仮想オブジェクトの移動先を決定するアルゴリズムの一例について説明する。
図５に示すように、例えばコンテンツ再生制御部１０５は、ユーザの視点位置３１（例えば眼間中心など）を中心とし、仮想オブジェクトの表示最大距離ｄを半径とする球体面と、ユーザの視点位置３１と光源位置３２を結ぶ直線（ここでは光軸線３３と呼ぶ）に直交する面３４とで囲まれたエリアのうち、光源から遠い方（光源と反対側の）領域（ここでは、光背エリア３５と称する）を仮想オブジェクトの移動先とする。光背エリア３５に移動する仮想オブジェクトをユーザが目で追うことで、ユーザは自然と光源に背を向けることとなる。この場合、視界内に光源が入らない状況で仮想オブジェクトを見ることができ、仮想オブジェクトの視認性が高まる。
また、コンテンツ再生制御部１０５は、光背エリア３５内で移動先を決定する際、移動先が地面３６の下に入らないようにする。なお、仮想オブジェクトの表示最大距離ｄは、空間マップ照合の可能な範囲（例えば、空間マップデータＤＢ１６１に予め登録されている空間マップデータの範囲内）、または、センサによる距離計測の可能な範囲等から決定されてもよい。仮想オブジェクトの表示最大距離ｄが取得できない場合、コンテンツ再生制御部１０５は、例えば１５ｍ程度を想定するようにしてもよい。また、光背エリア３５は、図５に示す例では単に半球型としているが、本実施形態はこれに限定されない。
また、コンテンツ再生制御部１０５は、ユーザの移動を予測し、ユーザがある程度移動しても視界に光源が入らない範囲を光背エリア３５として算出し、仮想オブジェクトの移動先を決定するようにしてもよい。
また、コンテンツ再生制御部１０５は、複数ユーザに共通して仮想オブジェクトを提示するコンテンツの場合、複数ユーザの視界を考慮し、全てのユーザの視界に光源が入らない範囲を光背エリア３５として算出し、仮想オブジェクトの移動先を決定するようにしてもよい。
＜２−３．表示部１２０＞
表示部１２０は、光学透過性を有し、例えばホログラム光学技術を用いて表示を行うレンズ部、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置等により実現される。表示部１２０は、透過型、半透過型、または非透過型であってもよい。また、表示部１２０の光学透過性は、制御部１００により制御されてもよい。
＜２−４．スピーカ１３０＞
スピーカ１３０は、制御部１００の制御に従って、音声信号を再生する。
＜２−５．通信部１４０＞
通信部１４０は、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部１４０は、例えば有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、Ｗｉ−Ｆｉ（登録商標）（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離／非接触通信等の方式で、外部機器と直接またはネットワークアクセスポイントを介して無線通信する。
＜２−６．操作入力部１５０＞
操作入力部１５０は、スイッチ、ボタン、またはレバー等の物理的な構造を有する操作部材により実現される。
＜２−７．記憶部１６０＞
記憶部１６０は、上述した制御部１００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）により実現される。
また、記憶部１６０は、空間マップデータＤＢ１６１、太陽位置データＤＢ１６２、およびコンテンツデータＤＢ１６３を格納する。空間マップデータＤＢ１６１は、実空間かデプスカメラ等により３次元的に認識され、空間内に存在する実オブジェクトの位置や形状等を示す空間マップを記憶する。空間マップデータは、空間マップ情報処理部１０２により生成されてもよいし、予め所定の範囲（例えばＡＲゲームコンテンツの提供範囲）の空間マップデータが登録されていてもよい。太陽位置データＤＢ１６２は、太陽の位置を推定する際に用いられるパラメータを記憶する。上述したように、例えば、太陽赤緯δは日付によって決まる定数であるため、太陽位置データＤＢ１６２にテーブルとして記憶しておくことで、計算を省くことができる。コンテンツデータＤＢ１６３は、ＡＲゲームコンテンツなど、様々なコンテンツデータを記憶する。なお、空間マップデータ、太陽位置データ、およびコンテンツデータは、情報処理装置１０内に記憶されていてもよいし、通信部１４０を通してネットワーク上の所定サーバから取得してもよい。
以上、本実施形態による情報処理装置１０の構成について具体的に説明したが、本実施形態による情報処理装置１０の構成は図３に示す例に限定されない。例えば、情報処理装置１０は、複数の装置により構成されていてもよい。具体的には、例えば、本実施形態による情報処理装置１０は、ユーザが装着しているＨＭＤとスマートフォンにより構成されるシステム構成であってもよい。この場合、例えば制御部１００が有する機能がスマートフォンに設けられ、スマートフォンの制御に従って、ＨＭＤで情報提示が行われるようにしてもよい。
また、センサ部１１０の少なくとも一部が、外部センサ（例えば部屋に設置されているカメラ、デプスセンサ、マイク、赤外線センサ、照度センサ等の環境側センサ）であってもよい。
また、情報処理装置１０の制御部１００が有する少なくとも一部の機能が、通信部１４０を介して通信接続される他の装置に存在してもよい。例えば、情報処理装置１０の制御部１００が有する少なくとも一部の機能が、中間サーバまたはインターネット上のクラウドサーバ等に設けられていてもよい。また、制御部１００で行う処理のレベルを簡易なものとし、高度な処理は外部装置、例えばユーザ所有のスマートフォン等の他のモバイルデバイス、ホームサーバ、エッジサーバ、中間サーバ、またはクラウドサーバで行う構成としてもよい。このように複数の装置に処理を分散させることで、負荷の軽減が図られる。
本実施形態に係る情報処理装置１０の機能構成は、仕様や運用に応じて柔軟に変形可能である。
＜＜３．動作処理＞＞
続いて、本実施形態による情報処理システムの動作処理について図面を用いて具体的に説明する。
＜３−１．出力制御処理＞
まず、図６を参照して本実施形態による出力制御処理について説明する。図６は、本実施形態に係る出力制御処理の流れの一例を示すフローチャートである。
図６に示すように、まず、情報処理装置１０の制御部１００は、ユーザの視界推定と（ステップＳ１０３）、光源位置の推定（ステップＳ１０６）を行う。これらの推定処理は、常に行っていてもよいし、定期的に行っていてもよい。ユーザの視界推定処理と、光源位置の推定処理は、図６に示すステップの順次で行われもよいし、逆の順序で行われもよいし、並列に行われてもよい。ユーザの視界推定処理および光源位置の推定処理の詳細については、図７および図８を参照して後述する。
次に、制御部１００は、ユーザ位置、光源推定位置、および空間マップデータに基づいて、ユーザの位置から見た際に、光源が遮蔽物（屋根や建物等の人工物または自然物）により遮蔽されているか否かを判断する（ステップＳ１０９）。
次いで、光源が遮蔽物により遮蔽されていない場合（ステップＳ１０９／Ｎｏ）、コンテンツ再生制御部１０５は、ユーザの視界および光源推定位置に基づいて、ユーザの視界内に光源が入るか否かを判断する（ステップＳ１１２）。コンテンツ再生制御部１０５は、ユーザの現在の視界内に光源が入るか否かの判断、または／および、ユーザの現在位置と仮想オブジェクトに予め設定された移動経路とに基づいて、移動経路上を移動する仮想オブジェクトをユーザが目で追った際にユーザの視界内に光源が入るか否かの判断を行う。なお、コンテンツ再生制御部１０５は、外向きカメラ１１１により取得された、ユーザの視界に相当する撮像画像を解析し、白飛び箇所の有無に基づいてユーザの視界内に光源が入っているか否かを判断することも可能である。
次に、視界内に光源が入る場合（ステップＳ１１２／Ｙｅｓ）、コンテンツ再生制御部１０５は、コンテンツデータＤＢ１６３からコンテンツデータを取得し（ステップＳ１１５）、仮想オブジェクトの移動先を決定する処理を行う（ステップＳ１１８）。具体的には、コンテンツ再生制御部１０５は、仮想オブジェクトに設定された実空間における表示位置または移動経路を、ユーザの視界内に光源が入らない範囲（図５を参照して説明した光背エリア３５）に変更する処理を行う。詳細については、図９および図１０を参照して後述する。
そして、コンテンツ再生制御部１０５は、決定した位置または経路に仮想オブジェクトを表示する制御を行う（ステップＳ１２１）。これにより、外光による仮想オブジェクトの視認性低下を回避する表示制御を行うことが可能となる。なお、コンテンツ再生制御部１０５は、仮想オブジェクトを移動先に移動させる間、変更した移動経路上を移動させる間、若しくは、移動先に出現させた際に、所定の効果音等の音源を移動先に定位させる音声信号処理を行い、移動先がユーザの視界外（すなわち表示部１２０による表示領域外）（例えば背面）であっても、音により移動先をユーザに知らせることが可能である。また、コンテンツ再生制御部１０５は、まずは予め設定された実空間内の位置に仮想オブジェクトを表示した上で、当該仮想オブジェクトがユーザの視界内に入り、かつ、ユーザの視界内に光源も入っている場合に、移動先を決定して移動させるようにしてもよい。仮想オブジェクトを移動させる際は、当該仮想オブジェクトを表示状態のまま移動先に移動させてもよいし、当該仮想オブジェクトを非表示にした上で、移動先に当該仮想オブジェクトを出現させるようにしてもよい。
一方、光源が遮蔽されている場合や（ステップＳ１０９／Ｙｅｓ）、ユーザの視界内に光源が入っていない場合（ステップＳ１１２／Ｎｏ）、コンテンツ再生制御部１０５は、仮想オブジェクトの移動処理は行わず、仮想オブジェクトに予め設定された位置情報や移動経路情報に基づいて所定の実空間の位置または移動経路上に表示するよう制御する。この際、制御部１００は、照度情報（外光量）に応じて、表示部１２０（透過型ディスプレイ）の調光機能により視界が暗くなり過ぎない程度に遮光するようにして仮想オブジェクトの視認性を高める制御を行ってもよい。
＜３−２．ユーザの視界推定処理＞
図７は、本実施形態によるユーザの視界推定処理の流れの一例を示すフローチャートである。図７に示すように、まず、制御部１００は、センサ部１１０からセンサ情報を取得し（ステップＳ１２３）、デバイス姿勢認識部１０１によりデバイス姿勢を推定する（ステップＳ１２６）。デバイス姿勢とは、ユーザの頭部に装着された情報処理装置１０であるＨＭＤの向きや仰角であり、デバイス姿勢認識部１０１は、例えばジャイロセンサ１１４、加速度センサ１１５、および方位センサ１１６によるセンサ情報に基づいて算出され得る。
次に、制御部１００は、デバイス（情報処理装置１０）の位置情報を取得する（ステップＳ１２９）。デバイスの位置情報（例えば緯度経度情報）は、位置測位部１１７により取得され得る。位置測位部１１７は、上述したように、ＳＬＡＭ技術を用いてデバイスの現在位置を算出してもよいし、ＧＰＳ等の外部電波を受信してデバイスの現在位置を算出してもよい。
次いで、制御部１００は、デバイス姿勢推定結果とデバイス位置情報とに基づいて、空間マップ情報処理部１０２により空間マップデータを照合し（ステップＳ１３２）、ユーザの視界を推定する（ステップＳ１３５）。具体的には、制御部１００は、空間マップデータ上のどの範囲がユーザの視界範囲となっているか、ユーザの視界内にはどのような実オブジェクトが位置しているか等を推定し得る。視界内に位置する実オブジェクトの情報を得ることで、上記ステップＳ１０９において、光源を遮蔽する遮蔽物の存在を把握することが可能となる。
＜３−３．太陽位置推定処理＞
図８は、本実施形態による太陽位置推定処理の流れの一例を示すフローチャートである。図８に示すように、まず、制御部１００は、照度センサ１１８から照度情報を取得し（ステップＳ１４３）、照度が閾値以上であるか否かを判断する（ステップＳ１４６）。
照度が閾値以上ではない場合（ステップＳ１４６／Ｎｏ）、コンテンツ再生制御部１０５は、仮想オブジェクトの移動処理は行わず、仮想オブジェクトに予め設定された位置情報や移動経路情報に基づいて所定の実空間の位置または移動経路上に表示するよう制御する（図６に示すステップＳ１１８）。
一方、照度が閾値以上である場合（ステップＳ１４６／Ｙｅｓ）、制御部１００は、光源位置推定部１０３により、光源位置推定を行う（ステップＳ１４９）。光源位置推定部１０３は、図４を参照して上述したようにユーザの位置情報（デバイス位置情報）、日付、および太陽位置データＤＢ１６２のパラメータを用いて、光源位置を推定する。なお、図８に示す例では、照度（外光量）が閾値以上である場合（すなわち、ある程度以上の明るさが検出されている場合）に光源位置の推定処理を行っているが、本実施形態はこれに限定されず、照度の閾値判断を行わずに（ステップＳ１４３〜Ｓ１４６をスキップして）、光源位置の推定処理を行ってもよい。
次いで、制御部１００は、空間マップ情報処理部１０２により、空間マップ照合を行い（ステップＳ１５２）、光源の遮蔽状況を推定する（ステップＳ１５５）。具体的には、制御部１００は、光源推定位置と、空間マップデータに含まれる実オブジェクトの位置および形状等に基づいて、空間内で陰が生じている領域、すなわち光源が遮蔽されている領域等を推定する。このように光源の遮蔽状況を推定することで、上記ステップＳ１０９において、ユーザが居る場所が、光源が遮蔽されている領域であるか否かを判断することができる。
なお、図７のステップＳ１３２に示すユーザの視界推定処理における空間マップ照合処理と、図８のステップＳ１５２に示す太陽位置推定処理における空間マップ照合処理は、比較的処理が重いため、空間マップ情報処理部１０２において同タイミングで併せて行うことで、処理負担を軽減するようにしてもよい。
＜３−４．仮想オブジェクトの移動先決定処理＞
続いて、図６のステップＳ１１５に示す仮想オブジェクトの移動先の決定処理について、図９および図１０を参照して具体的に説明する。本実施形態において、仮想オブジェクトの移動先の決定処理は、具体的には、予め設定された表示位置の移動（ユーザの視界に光源が入らない範囲に仮想オブジェクトを配置する制御）と、移動経路の変更を伴う表示位置の移動（ユーザの視界に光源が入らない範囲を通る仮想オブジェクトの移動制御）が想定される。
（仮想オブジェクトの移動先の決定）
図９は、本実施形態に係る仮想オブジェクトの移動先決定処理の一例を示すフローチャートである。図９に示すように、まず、コンテンツ再生制御部１０５は、コンテンツデータＤＢ１６３から各仮想オブジェクトの表示位置情報を取得し、仮想オブジェクトがユーザの視界内に表示されるか否かを判断する（ステップＳ２０３）。仮想オブジェクトの表示位置情報は、例えば予めコンテンツ提供者側により設定された実空間内における所定の出現位置（浮遊したり多少移動する仮想オブジェクトの場合、「出現範囲」であってもよい）の情報である。コンテンツ再生制御部１０５は、ユーザの現在位置、視界、および空間マップと、コンテンツデータとを参照し、ユーザの視界内に仮想オブジェクトが表示されるか否かを判断する。この際、コンテンツ再生制御部１０５は、仮想オブジェクトを、表示位置情報に基づいて、既にユーザの視界内に表示していてもよい。
次に、コンテンツ再生制御部１０５は、ユーザの視界に光源が入らない範囲に、仮想オブジェクトの移動先を決定する（ステップＳ２０６）。ユーザの視界に光源が入らない範囲とは、例えば図５を参照して説明した光背エリア３５である。
以上、仮想オブジェクトの移動処理について説明した。なお、ここでは、仮想オブジェクトに予め表示位置情報が設定されている場合について説明したが、本実施形態はこれに限定されず、仮想オブジェクトの表示位置は、所定のルールに従ってランダムに設定されるものであってもよい。この場合、コンテンツ再生制御部１０５は、ランダムに設定された表示位置がユーザの視界内に光源が入る範囲であった場合に、表示位置を移動する処理を行う（例えば再度ランダムに設定して判定してもよいし、光背エリア３５に移動先を決定してもよい）。
また、コンテンツ再生制御部１０５は、仮想オブジェクトを、初期設定の表示位置に出現させてから移動先に移動させてもよいし、初期設定の表示位置には出現させずに移動先（配置先）に出現させるようにしてもよい。
（仮想オブジェクトの移動経路の変更）
図１０は、本実施形態に係る仮想オブジェクトの移動経路変更を伴う移動先決定処理の一例を示すフローチャートである。コンテンツによっては、仮想オブジェクト毎に所定の実空間上の移動経路を設定しておくことも可能である。若しくは、仮想オブジェクト毎に所定のルール（ユーザから逃げるように動く、ユーザの周りを回る、上空で回転する、地面に沿って動く等）で移動経路をその都度ランダムに決定する決定するように設定しておくことも可能である。この場合、移動経路上を移動する仮想オブジェクトをユーザが目で追う際に光源が視界に入ると、仮想オブジェクトが見え難くなり、移動する仮想オブジェクトを見失ってしまうことも想定され、屋外でのＡＲコンテンツ体験を十分に楽しむことができない。そこで、本実施形態では、予め設定された／ランダムに決定された移動経路と、ユーザの現在位置と、光源推定位置とに基づいて、ユーザの視界に光源が入らない範囲を通る移動経路を設定し、仮想オブジェクトの移動先を決定する処理を行う。
具体的には、図１０に示すように、まず、コンテンツ再生制御部１０５は、コンテンツデータに基づいて、仮想オブジェクトの実空間における移動経路を判定（取得）する（ステップＳ２１３）。所定のルールに従ってランダムに移動経路を設定する場合は、コンテンツ再生制御部１０５は、ランダムに移動経路を設定して実空間における移動経路を判定（取得）する。
次に、コンテンツ再生制御部１０５は、移動経路がユーザと光源位置の間を通るか否かを判断する（ステップＳ２１６）。すなわち、コンテンツ再生制御部１０５は、ユーザの現在位置と、光源推定位置とに基づいて、移動経路がユーザの視界に光源が入る範囲を通るか否かを判断する。移動経路上を移動する仮想オブジェクトをユーザが目で追うことが想定されるため、コンテンツ再生制御部１０５は、現在のユーザの視界のみならず、移動経路上を移動する仮想オブジェクトをユーザが目で追った場合のユーザの視界範囲の変化を予測し、移動経路がユーザの視界に光源が入る範囲を通るか否かを判断する。
次いで、移動経路がユーザと光源位置の間を通る場合（ステップＳ２１６／Ｙｅｓ）、コンテンツ再生制御部１０５は、移動経路を再設定する（ステップＳ２１９）。例えば、コンテンツ再生制御部１０５は、再度所定ルールに従ってランダムに移動経路を設定してもよいし、図５を参照して説明した光背エリア３５を通る移動経路に設定してもよい。
そして、移動経路がユーザと光源位置の間を通らない場合（ステップＳ２１６／Ｎｏ）、コンテンツ再生制御部１０５は、当該移動経路および仮想オブジェクトの移動先を決定する（ステップＳ２２２）。例えば図１１に示すように、仮想オブジェクト２０の初期の移動経路Ｒ１が、ユーザと光源（太陽）との間を通る場合、移動経路の再設定を行い、ユーザと光源位置の間を通らない移動経路Ｒ２に決定する。
＜＜４．ユースケース＞＞
次に、本実施形態のユースケースについて具体例を挙げて説明する。
＜ユースケース１：実世界の特定の場所から登場した仮想キャラクターを見えやすい位置に移動する＞
情報処理装置１０は、下記のデータを用いて次に説明する動作を実行する。
・コンテンツデータ…ゲームエンジン上で実行されるゲームコンテンツデータ
・空間マップデータ…ゲームの舞台となる実世界の通りやエリアの空間マップとキャラクター出現位置（例えばマンホール位置など）のデータ
（動作例）
ユーザが情報処理装置１０（光学透過型ＨＭＤ）を装着した状態でゲームエリアを歩き、マンホール（仮想オブジェクト出現位置の一例）に近付くと、仮想キャラクター（例えば、ゴースト。仮想オブジェクトの一例）が効果音と共にマンホールから飛び出すＡＲ表示制御が行われる。
次いで、情報処理装置１０は、光源位置推定の結果、ユーザの視界内にキャラクターと太陽が入っていた場合、キャラクターを光背エリアに移動する。
ユーザはキャラクターの方に視線を向けることで、自然と太陽方向とは逆の方向を向くことになり、キャラクターをしっかりと視認することができる。
（実施バリエーション）
情報処理装置１０は、特定エリアの空間マップデータではなく、画像認識によるマーカー認識若しくは一般物体認識によってキャラクターの登場位置を規定してもよい（例えば、特定のマーカーからキャラクターが出てくる、マンホールを画像認識するとキャラクターが出てくる等）。
また、情報処理装置１０は、キャラクターがマンホールから飛び出す音や移動する音を、位置に応じた音響効果がかかる３Ｄ音響で表現してもよい（例えば、ＶＰＴ（Virtualphones Technology）技術を用いる）。
＜ユースケース２：エリア内を移動する仮想キャラクターの移動経路をユーザが見つけやすいように設定する＞
情報処理装置１０は、下記のデータを用いて次に説明する動作を実行する。
・コンテンツデータ…ゲームエンジン上で実行されるゲームコンテンツデータ
・空間マップデータ…ゲームの舞台となる実世界の通りやエリアの空間マップにキャラクターの移動可能範囲が設定されたデータ
（動作例）
ユーザが情報処理装置１０（光学透過型ＨＭＤ）を装着した状態でゲームエリアを歩くと、仮想キャラクター（例えば風船にぶらさがったプレゼント）が効果音と共に登場し、初期設定された移動経路に沿った移動を開始するＡＲ表示制御が行われる。
次いで、情報処理装置１０は、光源位置推定の結果、ユーザの位置と太陽の位置の間をキャラクターが移動する経路になっていた場合、キャラクターの移動経路を、太陽側を避けるように再設定する。
ユーザはキャラクターの方に視線を向けることで、自然と太陽方向とは逆の方向を向くことになり、キャラクターをしっかりと視認することができる。
（実施バリエーション）
キャラクターの移動経路は、予め決められた複数のパターンから選択されてもよいし、ＡＩ（Artificial Intelligence）によって自律的に設定されてもよい。
また、情報処理装置１０は、キャラクターが登場する音や移動する音は、位置に応じた音響効果がかかる３Ｄ音響で表現してもよい。
＜ユースケース３：実世界の特定の場所から登場した仮想キャラクターを手が認識しやすい位置に移動させる＞
情報処理装置１０は、下記のデータと画像認識機能を用いて次に説明する動作を実行する。
・コンテンツデータ…ゲームエンジン上で実行されるゲームコンテンツデータであり、手を認識すると仮想キャラクターとインタラクションができる（例えば手からビームが出て見えるＡＲ表示および効果音が提示され、さらにビームによりキャラクターを倒すＡＲ表示および効果音が提示される等のインタラクション）。
・空間マップデータ…ゲームの舞台となる実世界の通りやエリアの空間マップとキャラクター出現位置（例えばマンホール位置）のデータ
・手認識機能…ユーザが伸ばした手をデバイス（情報処理装置１０）に装着された外向きカメラ１１１の画像から認識する機能（画像認識部１０４）
（動作例）
ユーザが情報処理装置１０（光学透過型ＨＭＤ）を装着した状態でゲームエリアを歩き、マンホールに近付くと、仮想キャラクター（例えばゴースト）が効果音と共にマンホールから飛び出すＡＲ表示制御が行われる。
次いで、情報処理装置１０は、光源位置推定の結果、ユーザの視界内にキャラクターと太陽が入っていた場合、キャラクターを光背エリアに移動する。
ユーザはキャラクターの方に視線を向けることで、自然と太陽方向とは逆の方向を向くことになり、キャラクターをしっかりと視認することができると共に、キャラクターに向けて伸ばした手が逆光にならずに画像認識部１０４によりしっかりと認識され、ビームで倒すインタラクションを行うことができる。
（実施バリエーション）
キャラクターとのインタラクションは、手からビームを出すだけでなく、手を使ってなでる、手で押す、等であってもよい。
また、情報処理装置１０は、特定エリアの空間マップデータではなく、画像認識によるマーカー認識若しくは一般物体認識によってキャラクターの登場位置を規定してもよい。
また、情報処理装置１０は、キャラクターがマンホールから飛び出す音や移動する音を、位置に応じた音響効果がかかる３Ｄ音響で表現してもよい。
＜ユースケース４：エリア内を移動する仮想キャラクターの経路を手が認識しやすいように設定する＞
情報処理装置１０は、下記のデータと画像認識機能を用いて次に説明する動作を実行する。
・コンテンツデータ…ゲームエンジン上で実行されるゲームコンテンツデータであり、手を認識すると仮想キャラクターとインタラクションができる（例えば手からビームが出てキャラクターを倒す等）。
・空間マップデータ…ゲームの舞台となる実世界の通りやエリアの空間マップにキャラクターの移動可能範囲が設定されたデータ
・手認識機能…ユーザが伸ばした手をデバイス（情報処理装置１０）に装着された外向きカメラ１１１の画像から認識する機能（画像認識部１０４）
（動作例）
ユーザが情報処理装置１０（光学透過型ＨＭＤ）を装着した状態でゲームエリアを歩くと、仮想キャラクター（例えば風船にぶらさがったプレゼント）が効果音と共に登場し、初期設定された移動経路に沿った移動を開始するＡＲ表示制御が行われる。
次いで、情報処理装置１０は、光源位置推定の結果、ユーザの位置と太陽の位置の間をキャラクターが移動する経路になっていた場合、キャラクターの移動経路を、太陽側を避けるように再設定する。
ユーザはキャラクターの方に視線を向けることで、自然と太陽方向とは逆の方向を向くことになり、キャラクターをしっかりと視認することができると共に、キャラクターに向けて伸ばした手が逆光にならずに画像認識部１０４によりしっかりと認識され、ビームで倒すインタラクションを行うことができる。
（実施バリエーション）
キャラクターとのインタラクションは、手からビームを出すだけでなく、手を使ってなでる、手で押す、等であってもよい。
また、キャラクターの移動経路は、予め決められた複数のパターンから選択されてもよいし、ＡＩによって自律的に設定されてもよい。
また、情報処理装置１０は、キャラクターが登場する音や移動する音は、位置に応じた音響効果がかかる３Ｄ音響で表現してもよい。
＜＜５．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、外光による仮想オブジェクトの視認性低下を回避する表示制御を行うことが可能となる。
本実施形態による情報処理システムでは、屋外に対応したＡＲ、ＭＲゲームコンテンツの遊びやすさの向上、ＡＲ、ＭＲを使った屋外ナビゲーションアプリでのユーザの誘導性の向上、屋外テーマパーク等でのＡＲ、ＭＲショーにおけるユーザの注目度の向上、また、ＡＲ、ＭＲを使った屋外での広告やＣＭ（Commercial Message）表示における広告効果の向上といった効果が奏する。
また、本実施形態による情報処理システムでは、３Ｄゲーム開発ツールでのプラグイン化によるＡＲ、ＭＲゲームの屋外対応の簡略化を実現することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した情報処理装置１０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
（１）
第１の視認性が得られる実空間の第１の領域と前記第１の視認性よりも高い第２の視認性が得られる実空間の第２の領域のうち、前記第１の領域よりも前記第２の領域に優先的に仮想オブジェクトを配置するよう表示制御を行う制御部を備える、情報処理装置。
（２）
前記制御部は、照度環境に基づいて、前記第１の領域よりも視認性の高い前記第２の領域を判断する、前記（１）に記載の情報処理装置。
（３）
前記照度環境は、センシングにより得られた照度情報であって、
前記第１の領域は、第１の閾値を超える照度を有する領域であって、
前記第２の領域は、前記第１の閾値を下回る照度を有する領域である、
前記（２）に記載の情報処理装置。
（４）
前記照度環境は、光源の位置情報であって、
前記第１の領域は、ユーザの位置に対して前記光源が位置する方向を含む領域であって、
前記第２の領域は、前記ユーザの位置に対して前記光源が位置する方向と対向する方向を含む領域である、前記（２）に記載の情報処理装置。
（５）
前記照度環境には、さらに遮蔽物の位置情報が含まれ、
前記制御部は、前記遮蔽物により影となる領域を前記第２の領域とする、前記（４）に記載の情報処理装置。
（６）
前記光源は、太陽であって、
前記制御部は、前記ユーザの現在位置、および日時に基づいて、前記光源推定位置として前記太陽の位置を推定する、前記（４）または（５）に記載の情報処理装置。
（７）
前記制御部は、
前記仮想オブジェクトに予め設定された、前記実空間の３次元位置に対応する表示位置情報を取得し、
前記表示位置情報で示される位置が、前記第１の領域の範囲内の場合、前記第２の領域の範囲内に変更する制御を行う、前記（１）〜（６）のいずれか１項に記載の情報処理装置。
（８）
前記制御部は、
前記仮想オブジェクトに予め設定された、前記実空間の３次元位置に対応する表示位置情報を取得し、
前記表示位置情報に基づいて前記仮想オブジェクトの移動経路を判定し、
前記移動経路が前記第１の領域の範囲を通る場合、前記仮想オブジェクトの前記移動経路を、前記第２の領域の範囲に変更する制御を行う、前記（１）〜（７）のいずれか１項に記載の情報処理装置。
（９）
前記ユーザの位置に対して前記光源が位置する方向と対向する方向を含む領域は、前記ユーザの視点を中心として前記仮想オブジェクトの表示最大距離を半径とする球体面と、前記ユーザの視点と前記光源の位置とを結ぶ直線に直交する面とで囲まれた、前記光源と反対側のエリアである、前記（１）〜（８）のいずれか１項に記載の情報処理装置。
（１０）
前記制御部は、
前記仮想オブジェクトの配置先に所定の音源を定位させる音声信号処理を行い、
前記音声信号処理を行った音声信号を音声出力部から出力する制御を行う、前記（１）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
前記制御部は、
前記仮想オブジェクトの移動経路上に所定の音源を定位させる音声信号処理を行い、
前記音声信号処理を行った音声信号を音声出力部から出力する制御を行う、前記（８）に記載の情報処理装置。
（１２）
前記制御部は、
複数のユーザの位置を参照し、前記複数のユーザに共通する前記第１の領域および前記第２の領域を判断する、前記（４）〜（６）のいずれか１項に記載の情報処理装置。
（１３）
前記制御部は、
透過型の表示部を介して前記実空間に前記仮想オブジェクトを配置する表示制御を行う、前記（１）〜（１２）のいずれか１項に記載の情報処理装置。
（１４）
プロセッサが、
第１の視認性が得られる実空間の第１の領域と前記第１の視認性よりも高い第２の視認性が得られる実空間の第２の領域のうち、前記第１の領域よりも前記第２の領域に優先的に仮想オブジェクトを配置するよう表示制御を行うことを含む、情報処理方法。
（１５）
コンピュータを、
第１の視認性が得られる実空間の第１の領域と前記第１の視認性よりも高い第２の視認性が得られる実空間の第２の領域のうち、前記第１の領域よりも前記第２の領域に優先的に仮想オブジェクトを配置するよう表示制御を行う制御部として機能させる、プログラム。
１０ 情報処理装置
１００ 制御部
１０１ デバイス姿勢認識部
１０２ 空間マップ情報処理部
１０３ 光源位置推定部
１０４ 画像認識部
１０５ コンテンツ再生制御部
１１０ センサ部
１１１ 外向きカメラ
１１２ 内向きカメラ
１１３ マイク
１１４ ジャイロセンサ
１１５ 加速度センサ
１１６ 方位センサ
１１７ 位置測位部
１２０ 表示部
１３０ スピーカ
１４０ 通信部
１５０ 操作入力部
１６０ 記憶部
１６１ 空間マップデータＤＢ
１６２ 太陽位置データＤＢ
１６３ コンテンツデータＤＢ

Claims (15)

  1. 第１の視認性が得られる実空間の第１の領域と前記第１の視認性よりも高い第２の視認性が得られる実空間の第２の領域のうち、前記第１の領域よりも前記第２の領域に優先的に仮想オブジェクトを配置するよう表示制御を行う制御部を備える、情報処理装置。
  2. 前記制御部は、照度環境に基づいて、前記第１の領域よりも視認性の高い前記第２の領域を判断する、請求項１に記載の情報処理装置。
  3. 前記照度環境は、センシングにより得られた照度情報であって、
    前記第１の領域は、第１の閾値を超える照度を有する領域であって、
    前記第２の領域は、前記第１の閾値を下回る照度を有する領域である、
    請求項２に記載の情報処理装置。
  4. 前記照度環境は、光源の位置情報であって、
    前記第１の領域は、ユーザの位置に対して前記光源が位置する方向を含む領域であって、
    前記第２の領域は、前記ユーザの位置に対して前記光源が位置する方向と対向する方向を含む領域である、請求項２に記載の情報処理装置。
  5. 前記照度環境には、さらに遮蔽物の位置情報が含まれ、
    前記制御部は、前記遮蔽物により影となる領域を前記第２の領域とする、請求項４に記載の情報処理装置。
  6. 前記光源は、太陽であって、
    前記制御部は、前記ユーザの現在位置、および日時に基づいて、前記光源の位置情報として前記太陽の位置を推定する、請求項４に記載の情報処理装置。
  7. 前記制御部は、
    前記仮想オブジェクトに予め設定された、前記実空間の３次元位置に対応する表示位置情報を取得し、
    前記表示位置情報で示される位置が、前記第１の領域の範囲内の場合、前記第２の領域の範囲内に変更する制御を行う、請求項１に記載の情報処理装置。
  8. 前記制御部は、
    前記仮想オブジェクトに予め設定された、前記実空間の３次元位置に対応する表示位置情報を取得し、
    前記表示位置情報に基づいて前記仮想オブジェクトの移動経路を判定し、
    前記移動経路が前記第１の領域の範囲を通る場合、前記仮想オブジェクトの前記移動経路を、前記第２の領域の範囲に変更する制御を行う、請求項１に記載の情報処理装置。
  9. 前記ユーザの位置に対して前記光源が位置する方向と対向する方向を含む領域は、前記ユーザの視点を中心として前記仮想オブジェクトの表示最大距離を半径とする球体面と、前記ユーザの視点と前記光源の位置とを結ぶ直線に直交する面とで囲まれた、前記光源と反対側のエリアである、請求項４に記載の情報処理装置。
  10. 前記制御部は、
    前記仮想オブジェクトの配置先に所定の音源を定位させる音声信号処理を行い、
    前記音声信号処理を行った音声信号を音声出力部から出力する制御を行う、請求項１に記載の情報処理装置。
  11. 前記制御部は、
    前記仮想オブジェクトの移動経路上に所定の音源を定位させる音声信号処理を行い、
    前記音声信号処理を行った音声信号を音声出力部から出力する制御を行う、請求項８に記載の情報処理装置。
  12. 前記制御部は、
    複数のユーザの位置を参照し、前記複数のユーザに共通する前記第１の領域および前記第２の領域を判断する、請求項４に記載の情報処理装置。
  13. 前記制御部は、
    透過型の表示部を介して前記実空間に前記仮想オブジェクトを配置する表示制御を行う、請求項１に記載の情報処理装置。
  14. プロセッサが、
    第１の視認性が得られる実空間の第１の領域と前記第１の視認性よりも高い第２の視認性が得られる実空間の第２の領域のうち、前記第１の領域よりも前記第２の領域に優先的に仮想オブジェクトを配置するよう表示制御を行うことを含む、情報処理方法。
  15. コンピュータを、
    第１の視認性が得られる実空間の第１の領域と前記第１の視認性よりも高い第２の視認性が得られる実空間の第２の領域のうち、前記第１の領域よりも前記第２の領域に優先的に仮想オブジェクトを配置するよう表示制御を行う制御部として機能させる、プログラム。
JP2018066736A 2018-03-30 2018-03-30 情報処理装置、情報処理方法、および、プログラム Pending JP2021103341A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018066736A JP2021103341A (ja) 2018-03-30 2018-03-30 情報処理装置、情報処理方法、および、プログラム
PCT/JP2019/000422 WO2019187488A1 (ja) 2018-03-30 2019-01-10 情報処理装置、情報処理方法、および、プログラム
DE112019001690.3T DE112019001690T5 (de) 2018-03-30 2019-01-10 Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Programm
US17/040,142 US20210026142A1 (en) 2018-03-30 2019-01-10 Information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018066736A JP2021103341A (ja) 2018-03-30 2018-03-30 情報処理装置、情報処理方法、および、プログラム

Publications (1)

Publication Number Publication Date
JP2021103341A true JP2021103341A (ja) 2021-07-15

Family

ID=68058040

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018066736A Pending JP2021103341A (ja) 2018-03-30 2018-03-30 情報処理装置、情報処理方法、および、プログラム

Country Status (4)

Country Link
US (1) US20210026142A1 (ja)
JP (1) JP2021103341A (ja)
DE (1) DE112019001690T5 (ja)
WO (1) WO2019187488A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023228585A1 (ja) * 2022-05-24 2023-11-30 株式会社Ｎｔｔドコモ 表示制御装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11436640B2 (en) * 2020-10-30 2022-09-06 At&T Intellectual Property I, L.P. System for nostalgic content links and playback
KR20220129769A (ko) * 2021-03-17 2022-09-26 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
JP7354186B2 (ja) * 2021-06-18 2023-10-02 ヤフー株式会社 表示制御装置、表示制御方法および表示制御プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9448404B2 (en) * 2012-11-13 2016-09-20 Qualcomm Incorporated Modifying virtual object display properties to increase power performance of augmented reality devices
JP6168872B2 (ja) * 2013-06-19 2017-07-26 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6376807B2 (ja) * 2014-04-02 2018-08-22 キヤノン株式会社 表示装置、表示制御方法及びプログラム
EP3723391A1 (en) * 2015-05-18 2020-10-14 Sony Corporation Information processing device, information processing method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023228585A1 (ja) * 2022-05-24 2023-11-30 株式会社Ｎｔｔドコモ 表示制御装置

Also Published As

Publication number Publication date
DE112019001690T5 (de) 2021-02-25
US20210026142A1 (en) 2021-01-28
WO2019187488A1 (ja) 2019-10-03

Similar Documents

Publication Publication Date Title
KR102544062B1 (ko) 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
WO2019187488A1 (ja) 情報処理装置、情報処理方法、および、プログラム
US10521026B2 (en) Passive optical and inertial tracking in slim form-factor
US10809530B2 (en) Information processing apparatus and information processing method
JP6780642B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR101845350B1 (ko) 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법
US10169923B2 (en) Wearable display system that displays a workout guide
US8963956B2 (en) Location based skins for mixed reality displays
CN103472909B (zh) 用于头戴式、增强现实显示器的逼真遮挡
Caggianese et al. Natural interaction and wearable augmented reality for the enjoyment of the cultural heritage in outdoor conditions
US10510137B1 (en) Head mounted display (HMD) apparatus with a synthetic targeting system and method of use
US11178344B2 (en) Head-mounted display apparatus, display system, and method of controlling head-mounted display apparatus
WO2019142560A1 (ja) 視線を誘導する情報処理装置
CN107771342A (zh) 一种增强现实显示方法及头戴式显示设备
CN110998666B (zh) 信息处理装置、信息处理方法以及程序
WO2019155840A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2015192436A (ja) 送信端末、受信端末、送受信システム、およびそのプログラム
WO2019150880A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20230252691A1 (en) Passthrough window object locator in an artificial reality system
CN108351689A (zh) 使用全息显示系统的交互方法和系统
CN117043722A (zh) 用于地图的设备、方法和图形用户界面
US20240103686A1 (en) Methods for controlling and interacting with a three-dimensional environment
JP6828235B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム
CN105842853A (zh) 一种基于智能手表的虚拟现实头盔及其控制方法
JP2024040034A (ja) プロセッサ、画像処理装置、眼鏡型情報表示装置、画像処理方法、及び画像処理プログラム