JP2019028603A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP2019028603A
JP2019028603A JP2017145590A JP2017145590A JP2019028603A JP 2019028603 A JP2019028603 A JP 2019028603A JP 2017145590 A JP2017145590 A JP 2017145590A JP 2017145590 A JP2017145590 A JP 2017145590A JP 2019028603 A JP2019028603 A JP 2019028603A
Authority
JP
Japan
Prior art keywords
user
information processing
processing apparatus
attraction
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017145590A
Other languages
English (en)
Inventor
茜 近藤
Akane Kondo
茜 近藤
遼 深澤
Ryo Fukazawa
遼 深澤
慧 新田
Kei NITTA
慧 新田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2017145590A priority Critical patent/JP2019028603A/ja
Priority to DE112018003820.3T priority patent/DE112018003820T5/de
Priority to US16/631,907 priority patent/US20200159318A1/en
Priority to CN201880048572.3A priority patent/CN110998673A/zh
Priority to PCT/JP2018/018108 priority patent/WO2019021573A1/ja
Priority to KR1020207001258A priority patent/KR20200031098A/ko
Publication of JP2019028603A publication Critical patent/JP2019028603A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0181—Adaptation to the pilot/driver
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】情報処理装置、情報処理方法、及びプログラムを提供する。
【解決手段】ユーザの視界内で、相対的に前記ユーザの視覚的な注意を誘引しやすい誘目領域を特定する誘目領域特定部と、前記誘目領域に仮想オブジェクトを配置する表示制御を実行する表示制御部と、を備える、情報処理装置。
【選択図】図２

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
近年、実空間に仮想オブジェクトを重畳してユーザに提示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されている。例えば、ユーザの頭部に装着された際にユーザの眼前に位置するディスプレイを有するヘッドマウントディスプレイ（Head Mounted Display：以下、「ＨＭＤ」とも称する）や、プロジェクタを用いて、実空間に仮想オブジェクトを重畳表示させることが可能である。
このようなＡＲ技術において仮想オブジェクトは、例えば実空間の情報に基づいて配置され得る。例えば下記特許文献１には、実空間の位置情報や実空間に存在する実オブジェクトを基準にして仮想オブジェクトを配置する技術が開示されている。
国際公開第２０１４／１６２８２３号
しかし、このように実空間の情報に基づいて仮想オブジェクトが配置される場合、ユーザにとって望ましい位置に仮想オブジェクトが表示されるとは限らず、例えばユーザが気づきにくい位置に仮想オブジェクトが表示されてしまう場合があった。
そこで、本開示では、ユーザが気づきやすい配置で仮想オブジェクトを表示させることが可能な、新規かつ改良された、情報処理装置、情報処理方法、及びプログラムを提案する。
本開示によれば、ユーザの視界内で、相対的に前記ユーザの視覚的な注意を誘引しやすい誘目領域を特定する誘目領域特定部と、前記誘目領域に仮想オブジェクトを配置する表示制御を実行する表示制御部と、を備える、情報処理装置が提供される。
また、本開示によれば、ユーザの視界内で、相対的に前記ユーザの視覚的な注意を誘引しやすい誘目領域を特定することと、前記誘目領域に仮想オブジェクトを配置する表示制御をプロセッサが実行することと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータに、ユーザの視界内で、相対的に前記ユーザの視覚的な注意を誘引しやすい誘目領域を特定する機能と前記誘目領域に仮想オブジェクトを配置する表示制御を実行する機能と、を実現させるための、プログラムが提供される。
以上説明したように本開示によれば、ユーザが気づきやすい配置で仮想オブジェクトを表示させることが可能である。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理装置１の概要を説明する図である。 同実施形態に係る情報処理装置１の構成例を示すブロック図である。 同実施形態に係る情報処理装置１の動作例を示すフローチャート図である。 図３に示したステップＳ４０の処理をより詳細に示すフローチャート図である。 仮想オブジェクトが注視点近傍のエッジに沿う誘目領域に配置される例を説明するための説明図である。 仮想オブジェクトが誘目領域に配置される他の例を説明するための説明図である。 同実施形態に係る変形例１を説明するための説明図である。 同実施形態に係る変形例２を説明するための説明図である。 ハードウェア構成例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
＜＜１．概要＞＞
＜＜２．構成＞＞
＜＜３．動作＞＞
＜＜４．仮想オブジェクトが誘目領域に配置される具体例＞＞
＜４−１．具体例１＞
＜４−２．具体例２＞
＜＜５．変形例＞＞
＜５−１．変形例１＞
＜５−２．変形例２＞
＜５−３．変形例３＞
＜＜６．ハードウェア構成例＞＞
＜＜７．むすび＞＞
＜＜１．概要＞＞
まず、本開示の一実施形態による情報処理装置の概要について説明する。図１は、本実施形態による情報処理装置１の概要を説明する図である。図１に示すように、本実施形態による情報処理装置１は、例えばユーザＵの頭部に装着されるメガネ型のヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）により実現される。装着時にユーザＵの眼前に位置するメガネレンズ部分に相当する表示部１３は、透過型または非透過型であってもよい。情報処理装置１は、表示部１３に仮想オブジェクトを表示することで、ユーザＵの視界内に仮想オブジェクトを提示することができる。また、情報処理装置１の一例であるＨＭＤは、両眼に画像を提示するものに限定されず、片眼のみに画像を提示するものであってもよい。例えばＨＭＤは、片方の眼に画像を提示する表示部１３が設けられた片目タイプのものであってもよい。
また、情報処理装置１には、装着時にユーザＵの視線方向、すなわちユーザの視界を撮像する外向きカメラ１１０が設けられている。さらに、図１に図示しないが、情報処理装置１には、装着時にユーザＵの眼を撮像する内向きカメラやマイクロホン（以下、「マイク」と示す。）等の各種センサが設けられている。外向きカメラ１１０、および内向きカメラは、それぞれ複数設けられていてもよい。
なお情報処理装置１の形状は図１に示す例に限定されない。例えば情報処理装置１は、ヘッドバンド型（頭部の全周を回るバンドで装着されるタイプ。また、側頭部だけでなく頭頂部を通るバンドが設ける場合もある）のＨＭＤや、ヘルメットタイプ（ヘルメットのバイザー部分がディスプレイに相当する）のＨＭＤであってもよい。また、情報処理装置１は、リストバンド型（例えばスマートウォッチ。ディスプレイがある場合または無い場合を含む）、ヘッドフォン型（ディスプレイなし）、またはネックフォン型（首掛けタイプ。ディスプレイがある場合または無い場合を含む）等のウェアラブル装置により実現されてもよい。
ここで、例えば表示部１３が透過型である場合には、情報処理装置１は、外向きカメラ１１０の撮影により得られる実空間（ユーザの視界の一例）の情報に基づいて、仮想オブジェクトを実空間に配置する表示制御を実行することが可能である。
ここで、仮想オブジェクトが配置される位置によっては、ユーザＵが仮想オブジェクトに気づきにくいことがあった。また、仮想オブジェクトが操作入力に係る仮想オブジェクトである場合、仮想オブジェクトが配置される位置によっては、ユーザＵが仮想オブジェクトまでの距離感をつかみにくく、操作入力が困難であったり、誤操作の原因となったりする恐れがあった。
そこで、本実施形態に係る情報処理装置１は、ユーザが気づきやすく、距離感をつかみやすいような仮想オブジェクトの配置を実現する。具体的には、本実施形態に係る情報処理装置１は、ユーザの視界内（実空間の一部）で、相対的にユーザの視覚的な注意を誘引しやすい誘目領域に仮想オブジェクトを配置する表示制御を実行する。
＜＜２．構成＞＞
以上、本実施形態に係る情報処理装置１の概要について説明した。続いて、本実施形態に係る情報処理装置１の構成について図２を参照して説明する。図２は、本実施形態に係る情報処理装置１の構成例を示すブロック図である。図２に示すように、情報処理装置１は、センサ部１１、制御部１２、表示部１３、スピーカー１４、通信部１５、操作入力部１６、および記憶部１７を有する。
（センサ部１１）
センサ部１１は、ユーザまたは周辺環境に関する各種情報を取得する機能を有する。例えばセンサ部１１は、外向きカメラ１１０、内向きカメラ１１１、マイク１１２、ジャイロセンサ１１３、加速度センサ１１４、方位センサ１１５、位置測位部１１６、および生体センサ１１７を含む。なおここで挙げるセンサ部１１の具体例は一例であって、本実施形態はこれに限定されない。また、各センサはそれぞれ複数であってもよい。
外向きカメラ１１０および内向きカメラ１１１は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を各々有する。固体撮像素子アレイは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。
なお、本実施形態において、外向きカメラ１１０は、実空間におけるユーザの視界に相当する領域を撮像するように、画角、及び向きが設定されることが望ましい。
マイク１１２は、ユーザの音声や周囲の環境音を収音し、音声データとして制御部１２に出力する。
ジャイロセンサ１１３は、例えば３軸ジャイロセンサにより実現され、角速度（回転速度）を検出する。
加速度センサ１１４は、例えば３軸加速度センサ（Ｇセンサとも称す）により実現され、移動時の加速度を検出する。
方位センサ１１５は、例えば３軸地磁気センサ（コンパス）により実現され、絶対方向（方位）を検出する。
位置測位部１１６は、外部からの取得信号に基づいて情報処理装置１の現在位置を検知する機能を有する。具体的には、例えば位置測位部１１６は、ＧＰＳ（Global Positioning System）測位部により実現され、ＧＰＳ衛星からの電波を受信して、情報処理装置１が存在している位置を検知し、検知した位置情報を制御部１２に出力する。また、位置測位部１１６は、ＧＰＳの他、例えばＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。
生体センサ１１７は、ユーザの生体情報を検知する。具体的には、例えば心拍、体温、発汗、血圧、発汗、脈拍、呼吸、瞬目、眼球運動、凝視時間、瞳孔径の大きさ、血圧、脳波、体動、体位、皮膚温度、皮膚電気抵抗、ＭＶ（マイクロバイブレーション）、筋電位、またはＳＰＯ２（血中酸素飽和度））などを検知し得る。
（制御部１２）
制御部１２は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１内の動作全般を制御する。また、本実施形態による制御部１２は、図２に示すように、認識部１２０、誘目領域特定部１２２、配置設定取得部１２４、及び表示制御部１２６として機能する。
認識部１２０は、センサ部１１によりセンシングされた各種センサ情報を用いてユーザに関する情報、または周辺状況に関する情報の認識（検出を含む）を行う機能を有する。
例えば、認識部１２０は、ユーザに関する情報として、ユーザの頭部の位置と姿勢（身体に対する顔の向きまたは傾きを含む）、ユーザの視線、ユーザの注視点等を認識してもよい。認識部１２０は、ユーザの視線に基づき、ユーザの注視点を検出してもよい。例えば認識部１２０は、所定時間以上、一定範囲にユーザの視線が滞留していた場合に、当該ユーザの視線の先の点（三次元位置）を注視点として検出してもよい。なお、認識部１２０によるユーザの注視点の検出方法は係る例に限定されず、周知の様々な方法で行われてよい。
また、認識部１２０は、周辺状況に関する情報として、ユーザの視界内の三次元形状を認識してもよい。例えば、外向きカメラ１１０が複数設けられている場合、認識部１２０は、視差情報によりデプス画像（距離画像）を得て、ユーザの視界内の三次元形状を認識してよい。また、外向きカメラ１１０が１つしか設けられていない場合であっても、認識部１２０は、時系列的に取得された画像から、ユーザの視界内の三次元形状を認識し得る。
また、認識部１２０は、周辺状況に関する情報として、ユーザの視界内から実オブジェクトの境界面を検出してもよい。なお、本明細書において境界面との表現は、例えば実オブジェクトと他の実オブジェクトとの間の面、または実オブジェクトが存在しない空間と実オブジェクトとの間の面等を含む表現として用いられる。また、境界面は曲面であってもよい。
認識部１２０は、外向きカメラ１１０により取得された画像から境界面を検出してもよいし、認識されたユーザの視界内の三次元形状に基づいて、境界面を検出してもよい。例えばユーザの視界内の三次元形状が点群データとして表現されている場合、認識部１２０は、点群データをクラスタリングすることで、境界面を検出し得る。なお、認識部１２０による境界面の検出方法は係る例に限定されず、周知の様々な方法で行われてよい。
認識部１２０は、認識されたユーザに関する情報、及び周辺状況に関する情報を誘目領域特定部１２２、及び表示制御部１２６へ提供する。
誘目領域特定部１２２は、ユーザの視界内で、相対的に当該ユーザの視覚的な注意を誘引しやすい誘目領域を特定する。本明細書において、視覚的な注意を誘引しやすいとは、人目を引きつけやすい視覚的特徴を有していることを意味すると見做されてもよい。誘目領域特定部１２２は、例えば認識部１２０により認識された情報に基づいて誘目領域を特定してもよい。なお、誘目領域特定部１２２が特定した誘目領域は、後述する表示制御部１２６へ提供され、表示制御部１２６は、当該誘目領域に仮想オブジェクトを配置する表示制御を実行する。
誘目領域特定部１２２は、例えば認識部１２０により視界内から検出された境界面において、誘目領域を特定してもよい。後述する表示制御部１２６は、誘目領域に仮想オブジェクトを配置する表示制御を実行するため、係る構成により、境界面に仮想オブジェクトを配置することが可能である。そのため、係る構成により、実オブジェクトが存在しない空間に仮想オブジェクトが配置される場合と比較して、ユーザは仮想オブジェクトまでの距離感をつかみやすくなる。
誘目領域特定部１２２は、視界内から検出される境界面のエッジに基づいて、誘目領域を特定してもよい。誘目領域特定部１２２は、例えば認識部１２０により検出された境界面の端の部分をエッジとして検出し得る。誘目領域特定部１２２により検出されるエッジは、直線状であってもよいし、曲線状であってもよい。誘目領域特定部１２２は、外向きカメラ１１０により取得された画像からエッジを検出してもよいし、境界面の三次元形状に基づいて、エッジを検出してもよい。エッジはユーザにとってわかりやすく、見失いにくいため、誘目領域がエッジに基づいて特定されることで、誘目領域に配置される仮想オブジェクトをユーザが見失いにくい、という効果がある。
誘目領域特定部１２２は、例えば、エッジに沿う領域を誘目領域として特定してもよいし、エッジと後述する他の要素と組み合わせに基づいて誘目領域を特定してもよい。
誘目領域特定部１２２は、認識部１２０により検出されるユーザの注視点に基づいて、誘目領域を特定してもよい。例えば、誘目領域特定部１２２は、ユーザの注視点が、ある境界面上に検出された場合、当該注視点が位置する当該境界面において誘目領域を特定してもよい。係る構成によれば、ユーザが注視している境界面に仮想オブジェクトを配置することが可能であり、ユーザが注視していない境界面に仮想オブジェクトが配置される場合と比較して、ユーザは仮想オブジェクトに気づきやすくなる。
また、誘目領域特定部１２２は、ユーザの注視点が、ある境界面上に検出された場合、当該注視点が位置する当該境界面を対象としてエッジを検出してもよい。そして、誘目領域特定部１２２は、当該注視点の近傍にエッジが検出された場合に、検出された当該エッジに沿う、当該境界面上の領域を誘目領域として特定してもよい。なお、当該注視点の近傍に複数のエッジが検出された場合、誘目領域特定部１２２は、当該注視点から最も近いエッジに沿う当該境界面上の領域を誘目領域として特定してもよい。係る構成によれば、ユーザの注視点に近く、かつ相対的に当該ユーザの視覚的な注意を誘引しやすい領域に仮想オブジェクトを配置することが可能であり、ユーザは仮想オブジェクトにより気づきやすくなる。
なお、誘目領域特定部１２２は、ユーザの注視点が、ある境界面上に検出されたが、当該注視点の近傍にエッジが検出されなかった場合には誘目領域を特定しなくてもよい。
また、誘目領域特定部１２２は、注視点が検出されなかった場合、検出された注視点がいずれの境界面にも位置しない場合、または注視点が位置する境界面が好適な境界面でない場合には、以下に説明する注視点を用いない方法で誘目領域を特定してもよい。なお、境界面が好適な境界面でない場合とは、例えば当該境界面上で誘目領域を特定しても、当該誘目領域に仮想オブジェクトを配置するのが困難な場合であり、例えば当該境界面の面積が所定の閾値以下の場合であってもよい。
例えば、誘目領域特定部１２２は、視界内の色情報に基づいて、誘目領域を特定してもよい。視界内の色情報は、例えば外向きカメラ１１０により取得された画像から取得され得る。
例えば、誘目領域特定部１２２は、色情報に基づいて、ユーザの視覚的な注意の誘引しやすさを示す誘目スコアを特定し、当該誘目スコアに基づいて誘目領域を特定してもよい。色情報に基づく誘目スコアの特定方法は特に限定されないが、例えば、誘目領域特定部１２２は、背景の色、色の大きさ、色の強さ、色の持続時間、色の動き等に基づいて誘目スコアを特定してもよい。また、誘目領域特定部１２２は、無彩色よりも有彩色の方が誘目スコアが高くなるように誘目スコアを特定してもよい。また、誘目領域特定部１２２は、黒色に近い色よりも白色に近い色の方が誘目スコアが高くなるように誘目スコアを特定してもよい。また、誘目領域特定部１２２は、寒色系の色よりも暖色系の色の方が誘目スコアが高くなるように誘目スコアを特定してもよい。また、誘目領域特定部１２２は、低彩度色よりも高彩度色の方が誘目スコアが高くなるように誘目スコアを特定してもよい。
なお、誘目領域特定部１２２による誘目スコアの特定方法は、色情報に基づく特定方法に限定されない。例えば、誘目領域特定部１２２は、上述したエッジに基づいて誘目スコアを特定してもよく、エッジに沿った領域の誘目スコアが高くなるように誘目スコアを特定してもよい。上述した色情報に基づく特定方法と、エッジに基づく特定方法の組み合わせによって誘目スコアが特定されてもよい。
例えば、誘目領域特定部１２２は、認識部１２０により検出された境界面ごとに、上述した誘目スコアを特定し、最も高い誘目スコアを有する境界面において、誘目領域を特定してもよい。係る構成によれば、ユーザの視界内で最も当該ユーザの視覚的な注意を誘引しやすい境界面に仮想オブジェクトを配置することが可能であり、ユーザは仮想オブジェクトにより気づきやすくなる。
また、誘目領域特定部１２２は、最も高い誘目スコアを有する当該境界面上の各位置ごとに誘目スコアを特定し、当該境界面上の各位置ごとに特定された誘目スコアに基づいて誘目領域を特定してもよい。なお、当該境界面上の各位置ごとに特定された誘目スコアに基づく誘目領域の特定方法は特に限定されない。または、誘目領域特定部１２２は、エッジに沿った領域と、色情報に基づく誘目スコアが最も高い点を中心とした所定範囲との重複領域を誘目領域として特定してもよい。例えば、誘目領域特定部１２２は、誘目スコアが所定の閾値以上である領域と、最も誘目スコアの高い点を中心とした所定範囲との重複領域を誘目領域として特定してもよい。
なお、誘目領域特定部１２２は、最も高い誘目スコアを有する境界面の誘目スコアが所定の閾値以下である場合や、当該境界面上の各位置ごとの誘目スコアが、全て所定の閾値以下である場合には、誘目領域を特定しなくてもよい。
配置設定取得部１２４は、予め定められた仮想オブジェクトの配置に係る設定の情報（以下、配置設定と呼称する）を取得する。配置設定取得部１２４は、例えば配置設定を例えば記憶部１７から取得してもよいし、通信部１５を介して他の装置から取得してもよい。配置設定取得部１２４は、取得した配置設定を表示制御部１２６へ提供する。
配置設定は、例えば仮想オブジェクトの形状、数、並び順、大きさ、配置方向、大きさの変更可否、配置方向の変形可否、等の情報を含んでもよい。
表示制御部１２６は、表示部１３に係る表示制御を実行し、例えば配置設定に基づいて仮想オブジェクトをユーザの視界内に配置する。例えば、表示制御部１２６は、誘目領域特定部１２２により誘目領域が特定された場合には、誘目領域に仮想オブジェクトを配置する表示制御を実行してよい。
表示制御部１２６は、誘目領域に仮想オブジェクトを配置する場合、誘目領域に応じて、仮想オブジェクトの大きさを変更したり、仮想オブジェクトの配置方向を変形したりしてもよい。例えば、表示制御部１２６は、誘目領域に収まるように仮想オブジェクトの大きさを変更してもよい。また、誘目領域の形状に応じて、仮想オブジェクトの配置方向を変形し、誘目領域の形状に応じた配置方向で仮想オブジェクトを配置してもよい。例えば、上述したようにエッジに沿う領域が誘目領域として特定された場合、仮想オブジェクトがエッジに沿うように配置されてもよい。
なお、表示制御部１２６は、配置設定に含まれる仮想オブジェクトの大きさの変更可否の情報、または仮想オブジェクトの配置方向の変形可否の情報に従って、仮想オブジェクトを配置してもよい。例えば、仮想オブジェクトの大きさが変更不可である場合には、表示制御部１２６は仮想オブジェクトの大きさを変更せず、例えば誘目領域だけでなく、誘目領域の外側にも仮想オブジェクトを配置してもよい。また、仮想オブジェクトの配置方向が変形不可である場合には、表示制御部１２６は仮想オブジェクトの配置方向を変形せず、配置設定に基づき予め設定された配置方向で、仮想オブジェクトを配置してもよい。
また、表示制御部１２６は、誘目領域特定部１２２により誘目領域が特定されなかった場合にも仮想オブジェクトを配置してよい。例えば、表示制御部１２６は、ユーザの注視点が、ある境界面上に検出されたが、当該注視点の近傍にエッジが検出されなかったことで誘目領域が特定されなかった場合に、当該注視点の近傍に仮想オブジェクトを配置してもよい。また、表示制御部１２６は、誘目領域特定部１２２により誘目領域が特定されなかった他の場合に、ユーザの目の前（例えば視界の中心近傍）に仮想オブジェクトを配置してもよい。係る構成によれば、誘目領域が特定されなかった場合であっても、ユーザは仮想オブジェクトに気づきやすくなる。
（表示部１３）
表示部１３は、例えばホログラム光学技術を用いて表示を行うレンズ部（透過型表示部の一例）、液晶ディスプレイ（LCD）装置、ＯＬＥＤ（Organic Light Emitting Diode）装置等により実現される。また、表示部１３は、透過型、半透過型、または非透過型であってもよい。
（スピーカー１４）
スピーカー１４は、制御部１２の制御に従って、音声信号を再生する。
（通信部１５）
通信部１５は、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部１５は、例えば有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、Ｗｉ−Ｆｉ（Wireless Fidelity、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離／非接触通信等の方式で、外部機器と直接またはネットワークアクセスポイントを介して無線通信する。
（操作入力部１６）
操作入力部１６は、スイッチ、ボタン、またはレバー等の物理的な構造を有する操作部材により実現される。
（記憶部１７）
記憶部１７は、上述した制御部１２が各機能を実行するためのプログラムやパラメータを記憶する。例えば記憶部１７には、仮想オブジェクトに関する情報（配置設定を含んでもよい）が記憶されている。
以上、本実施形態による情報処理装置１の構成について具体的に説明したが、本実施形態による情報処理装置１の構成は図２に示す例に限定されない。例えば情報処理装置１の制御部１２が有する少なくとも一部の機能が、通信部１５を介して接続される他の装置に存在してもよい。
＜＜３．動作＞＞
以上、本実施形態に係る情報処理装置１の構成例について説明した。続いて、本実施形態に係る情報処理装置１の動作について図３、図４を参照して説明する。図３は本実施形態に係る情報処理装置１の動作例を示すフローチャート図である。
図３に示すように、まず配置設定取得部１２４が、配置設定を記憶部１７から、または通信部１５を介して他の装置から取得する（Ｓ１０）。
続いて、センサ部１１によりセンシングが行われ（Ｓ２０）、センシングされた各種センサ情報を用いてユーザに関する情報、または周辺状況に関する情報の認識を行う（Ｓ３０）。
続いて、誘目領域特定部１２２と表示制御部１２６により、仮想オブジェクトの配置が決定される（Ｓ４０）。以下では、ステップＳ４０の処理について、図４を参照してより詳細に説明する。図４は、図３に示したステップＳ４０の処理をより詳細に示すフローチャート図である。
注視点が検出され、かつ注視点が好適な境界面上に位置する場合（Ｓ４０２においてＹＥＳ）、誘目領域特定部１２２は、当該境界面においてエッジ検出を行う（Ｓ４０４）。注視点の近傍にエッジが検出された場合（Ｓ４０６においてＹＥＳ）、誘目領域特定部１２２は、検出された注視点近傍のエッジに沿う領域を誘目領域として特定し、表示制御部１２６は当該誘目領域に仮想オブジェクトを配置することを決定する（Ｓ４０８）。
一方、注視点の近傍にエッジが検出されなかった場合（Ｓ４０６においてＮＯ）、表示制御部１２６は、当該注視点の近傍に仮想オブジェクトを配置することを決定する（Ｓ４１０）。
注視点が検出なかった場合、または注視点が好適な境界面上に位置しなかった場合（Ｓ４０２においてＮＯ）、誘目領域特定部１２２は、注視点を用いない方法で誘目領域を特定する（Ｓ４１２）。ステップＳ４１２において、誘目領域特定部１２２は、例えば色情報やエッジに基づいて誘目領域を特定してもよい。
ステップＳ４１２において誘目領域が特定された場合（Ｓ４１４においてＹＥＳ）、表示制御部１２６は当該誘目領域に仮想オブジェクトを配置することを決定する（Ｓ４１６）。一方、ステップＳ４１２において誘目領域が特定されなかった場合（Ｓ４１４においてＮＯ）、ユーザの目の前（例えば視界の中心近傍）に仮想オブジェクトを配置することを決定する（Ｓ４１８）。
図３に戻って説明を続ける。表示制御部１２６は、ステップＳ４０で決定されたように、仮想オブジェクトを配置する表示制御を実行して、表示部１３に仮想オブジェクトを表示させる（Ｓ５０）。
＜＜４．仮想オブジェクトが誘目領域に配置される具体例＞＞
以上、本実施形態に係る情報処理装置１の動作について説明した。続いて、本実施形態において、仮想オブジェクトが誘目領域に配置される場合の例について、図５、図６を参照して具体的に説明する。図５、図６において、ユーザＵは図１に示したようなメガネ型のＨＭＤである情報処理装置１を装着している。また、ユーザＵの眼前に位置する情報処理装置１の表示部１３は透過型であり、表示部１３に表示される仮想オブジェクトＶ１１〜Ｖ１３は、実空間に存在するかのようにユーザＵに視認される。
＜４−１．具体例１＞
図５は、仮想オブジェクトが注視点近傍のエッジに沿う誘目領域に配置される例を説明するための説明図である。図５に示す例では、机３の境界面Ｂ１０上にユーザＵの注視点Ｇ１０が位置している。そして、誘目領域特定部１２２により、注視点Ｇ１０の近傍のエッジＥ１０に沿う誘目領域Ｒ１０が特定され、誘目領域Ｒ１０に仮想オブジェクトＶ１１〜Ｖ１３が配置されている。
ユーザＵの注視点Ｇ１０の近傍に存在するエッジＥ１０に沿って仮想オブジェクトＶ１１〜Ｖ１３が配置されるため、ユーザＵは仮想オブジェクトＶ１１〜Ｖ１３に気づきやすく、距離感がつかみやすいと共に、見失いにくい。
＜４−２．具体例２＞
図６は、仮想オブジェクトが誘目領域に配置される他の例を説明するための説明図である。図６に示す例では、ユーザＵの視界内に机３Ａと机３Ｂが含まれる。ここで、認識部１２０が注視点を検出することができなかった、または検出された注視点が好適な境界面上に位置していなかった場合、誘目領域特定部１２２は注視点を用いずに誘目領域を特定する。
図６に示す例では、誘目領域特定部１２２が境界面ごとに誘目スコアを特定した結果、机３Ａの境界面Ｂ２０が最も高い誘目スコアを有していたため、誘目領域特定部１２２により、境界面Ｂ２０において、誘目領域Ｒ２０が特定されている。そして、誘目領域Ｒ２０に仮想オブジェクトＶ１１〜Ｖ１３が配置されている。
境界面Ｂ２０において、ユーザＵの視覚的注意を誘引しやすい誘目領域Ｒ２０に仮想オブジェクトＶ１１〜Ｖ１３が配置されるため、ユーザＵは仮想オブジェクトＶ１１〜Ｖ１３に気づきやすく、距離感がつかみやすい。また、誘目領域Ｒ２０がエッジに基づいて特定される場合には、エッジの近傍に誘目領域Ｒ２０が特定されて、ユーザＵは仮想オブジェクトＶ１１〜Ｖ１３を見失いにくい。
＜＜５．変形例＞＞
以上、本開示の一実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。
＜５−１．変形例１＞
表示制御部１２６が表示させる仮想オブジェクトは、静止した仮想オブジェクトに限定されず、アニメーションを含んでもよく、係る場合、表示制御部１２６は誘目領域に基づいてアニメーションを表示させてもよい。係る例について、変形例１として図７を参照して説明する。図７は、本変形例を説明するための説明図である。
図７に示す例では、境界面である壁Ｗ３０と境界面である床Ｆ３０の間のエッジに沿う誘目領域Ｒ３０が特定されている。そして、表示制御部１２６は誘目領域Ｒ３０に仮想オブジェクトＶ１１〜Ｖ１３を配置している。さらに表示制御部１２６は、誘目領域Ｒ３０に点滅するアニメーションである補助的な仮想オブジェクトＶ３０を表示させている。係る構成により、ユーザはより仮想オブジェクトＶ１１〜Ｖ１３に気づきやすくなる。
なお、誘目領域に基づくアニメーションの表示は係る例に限定されない。例えば、表示制御部１２６は誘目領域内のある位置を開始位置としたアニメーションを表示させてもよい。
ユーザに仮想オブジェクトを気づかせるための補助的な仮想オブジェクトとして、注視点（例えば図７の例では注視点Ｇ３０）の近傍を開始位置として、気づかせたい仮想オブジェクトへ向かうアニメーションを表示させることも考えられる。しかし、気づかせたい仮想オブジェクトと注視点との距離が大きい場合にはユーザの視界のうち大きな領域をアニメーションが覆ってしまう恐れがある。一方、誘目領域内のある位置を開始位置としたアニメーションを表示させる場合には、ユーザの視界を覆わないような比較的小さいアニメーションであっても、ユーザに仮想オブジェクトを気付かせることが可能となる。
＜５−２．変形例２＞
上記では、注視点が位置する境界面において特定された誘目領域に仮想オブジェクトが配置される例を説明したが、本技術は係る例に限定されない。例えば、表示制御部１２６は、ユーザの注視時間が所定の閾値より大きい場合に、注視点が位置する境界面以外に、仮想オブジェクトを配置してもよい。係る例について、変形例２として図８を参照して説明する。図８は、本変形例を説明するための説明図である。
図８に示す例では、ディスプレイ４の境界面Ｂ４０上にユーザの注視点Ｇ４０が位置している。そのため、誘目領域特定部１２２は、注視点Ｇ４０の近傍に検出されたエッジＥ４０に沿う誘目領域Ｒ４０を特定することが可能である。
しかし、ユーザの注視時間が大きい場合には、ユーザは当該ディスプレイ４を注視することに集中しており、ディスプレイ４の境界面Ｂ４０における誘目領域Ｒ４０に仮想オブジェクトを配置してしまうと、ユーザの妨げとなる恐れがある。そこで、ユーザの注視時間が大きい場合には、表示制御部１２６は、誘目領域Ｒ４０ではなく、境界面Ｂ４０以外の場所に仮想オブジェクトを表示することが有効であろう。例えば、表示制御部１２６はユーザの注視時間が大きい場合に、図８に示すように、境界面Ｂ４０とは反対側に、エッジＥ４０に沿うように仮想オブジェクトＶ１１〜Ｖ１３を配置する。係る構成により、ユーザの妨げとなることを避けつつ、ユーザが気づきやすく見失いにくい位置に仮想オブジェクトＶ１１〜Ｖ１３を配置することが可能である。
＜５−３．変形例３＞
上記では、ユーザの視界が実空間であり、透過型の表示部に仮想オブジェクトが配置される例を説明したが、本技術は係る例に限定されない。
例えば、表示部１３が非透過型である場合にも、外向きカメラ１１０の撮影により得られる実空間の画像に仮想オブジェクトを重畳させて表示させることで、上述した効果と同様の効果を得ることが可能である。また、表示部１３がプロジェクタである場合にも、実空間に仮想オブジェクトを投影することで上述した効果と同様の効果を実現することが可能である。
また、ユーザの視界が仮想空間であってもよく、当該仮想空間は、非透過型の表示部１３に表示されてもよい。係る場合、表示制御部１２６は、当該仮想空間に係る表示制御を実行する。
係る場合には、上述した実オブジェクトの代わりに、仮想空間に既に配置された仮想オブジェクトが用いられ得る。そして、例えば既に配置された仮想オブジェクトの境界面において誘目領域が特定され、当該誘目領域に新たな仮想オブジェクトが配置され得る。
＜＜６．ハードウェア構成＞＞
以上、本開示の実施形態を説明した。最後に、図９を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図９は、本実施形態に係る情報処理装置１のハードウェア構成の一例を示すブロック図である。本実施形態に係る情報処理装置１による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
図９に示すように、情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置１は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置１は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、制御部１２を形成し得る。
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置１の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置１のユーザは、この入力装置９０６を操作することにより、情報処理装置１に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置１が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置１が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば表示部１３を形成し得る。
ストレージ装置９０８は、情報処理装置１の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置９０８は、例えば、記憶部１７を形成し得る。
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置１に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、通信部１５を形成し得る。
センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置１の姿勢、移動速度等、情報処理装置１自身の状態に関する情報や、情報処理装置１の周辺の明るさや騒音等、情報処理装置１の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。センサ９１５は、例えば、センサ部１１を形成し得る。
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
以上、本実施形態に係る情報処理装置１の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
なお、上述のような本実施形態に係る情報処理装置１の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
＜＜７．むすび＞＞
以上説明したように、本開示の実施形態によれば、ユーザが気づきやすい配置で仮想オブジェクトを表示させることが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザの視界内で、相対的に前記ユーザの視覚的な注意を誘引しやすい誘目領域を特定する誘目領域特定部と、
前記誘目領域に仮想オブジェクトを配置する表示制御を実行する表示制御部と、
を備える、情報処理装置。
（２）
前記誘目領域特定部は、前記視界内から検出される境界面において前記誘目領域を特定する、前記（１）に記載の情報処理装置。
（３）
前記誘目領域特定部は、前記視界内から検出される前記境界面のエッジに基づいて、前記誘目領域を特定する、前記（２）に記載の情報処理装置。
（４）
前記誘目領域特定部は、前記ユーザの注視点にさらに基づいて、前記誘目領域を特定する、前記（３）に記載の情報処理装置。
（５）
前記誘目領域特定部は、前記ユーザの注視点が位置する前記境界面において前記誘目領域を特定する、前記（４）に記載の情報処理装置。
（６）
前記誘目領域特定部は、前記注視点の近傍に前記エッジが検出された場合に、検出された前記エッジに沿う領域を前記誘目領域として特定する、前記（５）に記載の情報処理装置。
（７）
前記表示制御部は、前記ユーザの注視点の近傍に前記エッジが検出されなかった場合に、前記注視点の近傍に前記仮想オブジェクトを配置する、前記（６）に記載の情報処理装置。
（８）
前記表示制御部は、前記ユーザの注視時間が所定の閾値より大きい場合に、前記注視点が位置する前記境界面以外に、前記仮想オブジェクトを配置する、前記（４）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記誘目領域特定部は、前記視界内の色情報に基づいて、前記誘目領域を特定する、前記（２）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記表示制御部は、前記境界面ごとに、前記ユーザの視覚的な注意の誘引しやすさを示す誘目スコアを特定し、最も高い前記誘目スコアを有する前記境界面において、前記誘目領域を特定する、前記（２）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記表示制御部は、前記誘目領域の形状に応じた配置方向で前記仮想オブジェクトを配置する、前記（１）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
前記表示制御部は、前記誘目領域に基づいてアニメーションを表示させる、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記ユーザの視界は実空間であり、
前記表示制御部は、透過型の表示部に係る前記表示制御を実行する、前記（１）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記ユーザの視界は仮想空間であり、
前記表示制御部は、仮想空間に係る前記表示制御を実行する、前記（１）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
ユーザの視界内で、相対的に前記ユーザの視覚的な注意を誘引しやすい誘目領域を特定することと、
前記誘目領域に仮想オブジェクトを配置する表示制御をプロセッサが実行することと、
を含む、情報処理方法。
（１６）
コンピュータに、
ユーザの視界内で、相対的に前記ユーザの視覚的な注意を誘引しやすい誘目領域を特定する機能と
前記誘目領域に仮想オブジェクトを配置する表示制御を実行する機能と、
を実現させるための、プログラム。
１ 情報処理装置
１１ センサ部
１２ 制御部
１３ 表示部
１４ スピーカー
１５ 通信部
１６ 操作入力部
１７ 記憶部
１１０ 外向きカメラ
１１１ 内向きカメラ
１１２ マイク
１１３ ジャイロセンサ
１１４ 加速度センサ
１１５ 方位センサ
１１６ 位置測位部
１１７ 生体センサ
１２０ 認識部
１２２ 誘目領域特定部
１２４ 配置設定取得部
１２６ 表示制御部

Claims (16)

  1. ユーザの視界内で、相対的に前記ユーザの視覚的な注意を誘引しやすい誘目領域を特定する誘目領域特定部と、
    前記誘目領域に仮想オブジェクトを配置する表示制御を実行する表示制御部と、
    を備える、情報処理装置。
  2. 前記誘目領域特定部は、前記視界内から検出される境界面において前記誘目領域を特定する、請求項１に記載の情報処理装置。
  3. 前記誘目領域特定部は、前記視界内から検出される前記境界面のエッジに基づいて、前記誘目領域を特定する、請求項２に記載の情報処理装置。
  4. 前記誘目領域特定部は、前記ユーザの注視点にさらに基づいて、前記誘目領域を特定する、請求項３に記載の情報処理装置。
  5. 前記誘目領域特定部は、前記ユーザの注視点が位置する前記境界面において前記誘目領域を特定する、請求項４に記載の情報処理装置。
  6. 前記誘目領域特定部は、前記注視点の近傍に前記エッジが検出された場合に、検出された前記エッジに沿う領域を前記誘目領域として特定する、請求項５に記載の情報処理装置。
  7. 前記表示制御部は、前記ユーザの注視点の近傍に前記エッジが検出されなかった場合に、前記注視点の近傍に前記仮想オブジェクトを配置する、請求項６に記載の情報処理装置。
  8. 前記表示制御部は、前記ユーザの注視時間が所定の閾値より大きい場合に、前記注視点が位置する前記境界面以外に、前記仮想オブジェクトを配置する、請求項４に記載の情報処理装置。
  9. 前記誘目領域特定部は、前記視界内の色情報に基づいて、前記誘目領域を特定する、請求項２に記載の情報処理装置。
  10. 前記表示制御部は、前記境界面ごとに、前記ユーザの視覚的な注意の誘引しやすさを示す誘目スコアを特定し、最も高い前記誘目スコアを有する前記境界面において、前記誘目領域を特定する、請求項２に記載の情報処理装置。
  11. 前記表示制御部は、前記誘目領域の形状に応じた配置方向で前記仮想オブジェクトを配置する、請求項１に記載の情報処理装置。
  12. 前記表示制御部は、前記誘目領域に基づいてアニメーションを表示させる、請求項１に記載の情報処理装置。
  13. 前記ユーザの視界は実空間であり、
    前記表示制御部は、透過型の表示部に係る前記表示制御を実行する、請求項１に記載の情報処理装置。
  14. 前記ユーザの視界は仮想空間であり、
    前記表示制御部は、仮想空間に係る前記表示制御を実行する、請求項１に記載の情報処理装置。
  15. ユーザの視界内で、相対的に前記ユーザの視覚的な注意を誘引しやすい誘目領域を特定することと、
    前記誘目領域に仮想オブジェクトを配置する表示制御をプロセッサが実行することと、
    を含む、情報処理方法。
  16. コンピュータに、
    ユーザの視界内で、相対的に前記ユーザの視覚的な注意を誘引しやすい誘目領域を特定する機能と
    前記誘目領域に仮想オブジェクトを配置する表示制御を実行する機能と、
    を実現させるための、プログラム。
JP2017145590A 2017-07-27 2017-07-27 情報処理装置、情報処理方法、及びプログラム Pending JP2019028603A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2017145590A JP2019028603A (ja) 2017-07-27 2017-07-27 情報処理装置、情報処理方法、及びプログラム
DE112018003820.3T DE112018003820T5 (de) 2017-07-27 2018-05-10 Informationsverarbeitungseinrichtung, informationsverarbeitungsverfahren und programm
US16/631,907 US20200159318A1 (en) 2017-07-27 2018-05-10 Information processing device, information processing method, and computer program
CN201880048572.3A CN110998673A (zh) 2017-07-27 2018-05-10 信息处理装置、信息处理方法和计算机程序
PCT/JP2018/018108 WO2019021573A1 (ja) 2017-07-27 2018-05-10 情報処理装置、情報処理方法、及びプログラム
KR1020207001258A KR20200031098A (ko) 2017-07-27 2018-05-10 정보 처리 장치, 정보 처리 방법 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017145590A JP2019028603A (ja) 2017-07-27 2017-07-27 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2019028603A true JP2019028603A (ja) 2019-02-21

Family

ID=65040125

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017145590A Pending JP2019028603A (ja) 2017-07-27 2017-07-27 情報処理装置、情報処理方法、及びプログラム

Country Status (6)

Country Link
US (1) US20200159318A1 (ja)
JP (1) JP2019028603A (ja)
KR (1) KR20200031098A (ja)
CN (1) CN110998673A (ja)
DE (1) DE112018003820T5 (ja)
WO (1) WO2019021573A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11508130B2 (en) 2020-06-13 2022-11-22 Snap Inc. Augmented reality environment enhancement
US11630511B2 (en) 2020-12-31 2023-04-18 Snap Inc. Determining gaze direction to generate augmented reality content

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9317972B2 (en) * 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
EP2983137B1 (en) 2013-04-04 2019-05-22 Sony Corporation Information processing device, information processing method and program

Also Published As

Publication number Publication date
KR20200031098A (ko) 2020-03-23
WO2019021573A1 (ja) 2019-01-31
CN110998673A (zh) 2020-04-10
DE112018003820T5 (de) 2020-04-09
US20200159318A1 (en) 2020-05-21

Similar Documents

Publication Publication Date Title
US10342428B2 (en) Monitoring pulse transmissions using radar
US9495008B2 (en) Detecting a primary user of a device
US20200202161A1 (en) Information processing apparatus, information processing method, and program
JP6841241B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6094190B2 (ja) 情報処理装置および記録媒体
US20190079590A1 (en) Head mounted display device and control method for head mounted display device
CN110506249A (zh) 信息处理设备、信息处理方法和记录介质
WO2016208261A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2019150880A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US11288869B2 (en) Information processing device, and information processing method
JP2019028603A (ja) 情報処理装置、情報処理方法、及びプログラム
WO2019021566A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2020044916A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11328187B2 (en) Information processing apparatus and information processing method
US20200135139A1 (en) Display system, device, program, and method of controlling device
WO2019150668A1 (ja) 画像処理装置、画像処理方法、及びプログラム
US11240482B2 (en) Information processing device, information processing method, and computer program
US20200348749A1 (en) Information processing apparatus, information processing method, and program
US20220180583A1 (en) Information processing device, information processing method, and recording medium
CN111325083A (zh) 记录考勤信息的方法和装置
US20230196765A1 (en) Software-based user interface element analogues for physical device elements
WO2017169499A1 (ja) 制御装置、制御方法及びコンピュータプログラム