JP2020024744A - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

情報処理装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
JP2020024744A
JP2020024744A JP2019198778A JP2019198778A JP2020024744A JP 2020024744 A JP2020024744 A JP 2020024744A JP 2019198778 A JP2019198778 A JP 2019198778A JP 2019198778 A JP2019198778 A JP 2019198778A JP 2020024744 A JP2020024744 A JP 2020024744A
Authority
JP
Japan
Prior art keywords
sound
unit
user
processing
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019198778A
Other languages
English (en)
Inventor
中川　俊之
Toshiyuki Nakagawa
俊之 中川
博隆 石川
Hirotaka Ishikawa
博隆 石川
泰樹 金間
Yasuki KANEMA
泰樹 金間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2020024744A publication Critical patent/JP2020024744A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Stereophonic System (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】表示領域外に存在する位置を、より的確に示すことができるようにする。【解決手段】表示領域外位置指定部は、画像表示部における表示領域外の位置を指定し、描画・音制御部は、ARオブジェクトを指定した位置に向けて移動させながら、音出力部からのARオブジェクトの音の出力を制御する。本技術は、例えば、左眼用と右眼用の一対の画像表示部を有する眼鏡型デバイスなどのウェアラブルコンピュータに適用することができる。【選択図】図５

Description

本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、表示領域外に存在する位置を、より的確に示すことができるようにした情報処理装置、情報処理方法、及び、プログラムに関する。
近年、ユーザが身につけて持ち歩くことができるウェアラブルコンピュータ(Wearable Computer)の研究が行われている（例えば、特許文献１参照）。この種のウェアラブルコンピュータとしては、ヘッドマウントディスプレイ（以下、HMD(Head Mounted Display)という）などの頭部に装着するディスプレイ装置が知られている。
また、仮想的なコンテンツを、実空間の対象物に重畳してユーザに提示する拡張現実(AR：Augmented Reality)と称される技術が注目されている（例えば、特許文献２参照）。このAR技術を利用することで、例えば、ユーザの現在位置に応じて、そのユーザがHMD等の透過型のディスプレイを通して見た風景に、その場所に関する情報（ARオブジェクト）をオーバーレイ表示させることができる。
さらに、特許文献３には、ユーザの現在位置と、目的地までの経路に応じて特定された方向に基づいて、音楽ソースの再生を制御する技術が開示されている。
特開２０１１−２８７６３号公報 特開２０１３−９２９６４号公報 特開２００３−０２８６６３号公報
上述したように、HMD等のディスプレイに表示可能な領域は限られているため、その狭い表示領域内に、ユーザの視野外の情報はもちろん、ユーザの視野内の情報であっても表示することが困難となる場合がある。すなわち、画像による情報の表示は直感的で明確ではあるが、ディスプレイに表示可能な領域が限定的であるため、そのすべての情報を表示するには限界がある。
また、上述した特許文献３において、ヘッドホンは2chで再生するため、ユーザは一直線上の左右の位置であれば認識できるが、頭部伝達関数(HRTF：Head Related Transfer Function)を用いて立体的な音を表現した場合に、音のみを用いた位置表示では前後を誤認識してしまう可能性がある。その理由の一つとして、HRTFは本人のものではない場合に、普段耳で聞く自然界の音の聞こえ方とは異なっているために、位置を把握できないことがある。また、仮に、HRTFが本人のものであったとしても、再生するヘッドホンや再生装置の特性により聞こえ方が異なってしまう。
このように、表示領域が限られているディスプレイ装置においては、表示領域外の情報を示したいという要求があるが、特許文献３に開示されている音の再生方法を用いても、的確に表示領域外の情報を示すことはできない。
本技術はこのような状況に鑑みてなされたものであり、表示領域外に存在する位置を、より的確に示すことができるようにするものである。
本技術の一側面の情報処理装置は、音を出力する音出力部と、ユーザの視覚領域を示す領域情報を取得する領域情報取得部と、前記ユーザの視覚領域外の位置を指定する位置指定部と、前記ユーザの視覚領域内の位置から前記位置指定部によって指定された指定位置の範囲内で音像定位処理を行う制御部とを備え、前記制御部は、前記ユーザの位置を角度の頂点とする前記ユーザの視覚領域内の位置から前記指定位置との範囲内に基づいて音像定位処理を行う情報処理装置である。
本技術の一側面の情報処理方法又はプログラムは、本技術の一側面の情報処理装置に対応する情報処理方法又はプログラムである。
本技術の一側面の情報処理装置、情報処理方法、及び、プログラムにおいては、音が出力され、ユーザの視覚領域を示す領域情報が取得され、前記ユーザの視覚領域外の位置が指定され、前記ユーザの視覚領域内の位置から指定された指定位置の範囲内で音像定位処理が行われ、前記ユーザの位置を角度の頂点とする前記ユーザの視覚領域内の位置から前記指定位置との範囲内に基づいて音像定位処理が行われる。
本技術の一側面によれば、表示領域外に存在する位置を、より的確に示すことができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用したARシステムの一実施の形態の構成を示すブロック図である。 コントロールボックスとHMDの詳細構成を示すブロック図である。 スマートフォンの詳細構成を示すブロック図である。 ARサーバの詳細構成を示すブロック図である。 AR処理部の詳細構成を示すブロック図である。 ARシステムを構成する各装置で実行される処理を説明するフローチャートである。 ARオブジェクト対応処理１を説明するフローチャートである。 ARシステムにおける円筒座標系を示す図である。 円筒座標系における表示領域とARオブジェクトとの関係を示す図である。 円筒座標系における表示領域と音付ARオブジェクトとの関係を示す図である。 音付ARオブジェクト対応処理１を説明するフローチャートである。 ターゲットの位置の指定の例を示す図である。 音付ARオブジェクトの軌跡の設定の例を示す図である。 音オブジェクト画像の表示例を示す図である。 音付ARオブジェクト対応処理２を説明するフローチャートである。 ターゲットの位置の指定の例を示す図である。 音付ARオブジェクトの軌跡の設定の例を示す図である。 音オブジェクト画像の表示例を示す図である。 ARオブジェクト対応処理２を説明するフローチャートである。 音オブジェクト画像の表示例を示す図である。 音オブジェクトの２方向移動の例を示す図である。 ARオブジェクトの画像描画パスの例を示す図である。 VPTの概念を示す図である。 VPTの信号処理の例を示す図である。 ARオブジェクトの第１の音声パスを説明するための図である。 基本形の音処理を説明するための図である。 ２方向移動の音処理を説明するための図である。 中間位置の音処理を説明するための図である。 連続音の音処理を説明するための図である。 ARオブジェクトの第２の音声パスを説明するための図である。 基本形の音処理を説明するための図である。 ARシステムの具体的な運用例１を示す図である。 ARシステムの具体的な運用例２を示す図である。
以下、図面を参照しながら本技術の実施の形態について説明する。
＜ARシステムの構成＞
図１は、本技術を適用したARシステムの一実施の形態の構成を示すブロック図である。
ARシステム１は、HMD(Head Mounted Display)２０を装着したユーザに対して、その現在位置に応じた情報を、AR（拡張現実）技術により提示するものである。図１に示すように、ARシステム１は、コントロールボックス１０、HMD２０、スマートフォン３０、及び、ARサーバ４０から構成される。ただし、コントロールボックス１０とHMD２０とは、所定の規格に対応したケーブルにより接続されている。また、スマートフォン３０とARサーバ４０とは、無線ネットワークやインターネット８０等介して相互に接続されている。
コントロールボックス１０は、HMD２０の制御用の機器であって、ユーザによる各種のボタンの操作に応じて、HMD２０の動作を制御する。HMD２０は、ウェアラブルコンピュータの一例であって、透過型のディスプレイやヘッドホンなどを有する眼鏡型デバイスである。HMD２０では、通常の眼鏡においてフレームに取り付けられているレンズの位置に、左眼用と右眼用の一対の透過型のディスプレイが配置されており、ユーザの頭部に装着される。
また、コントロールボックス１０は、近距離無線通信部を有しており、Bluetooth（登録商標）等の近距離無線通信規格に従い、スマートフォン３０との間で無線通信を行い、各種のデータをやりとりすることができる。スマートフォン３０は、GPS（Global Positioning System）機能を有しており、GPS衛星９０からの信号を受信することで、HMD２０を装着したユーザの現在位置を取得することができる。そして、スマートフォン３０は、現在位置を示す情報を、インターネット８０を介してARサーバ４０に送信することで、その現在位置に応じたARオブジェクト情報を取得する。スマートフォン３０は、無線通信によりARオブジェクト情報を、コントロールボックス１０に送信する。
ここで、ARオブジェクト情報は、座標、画像、及び、音などの情報を含んでいる。座標情報は、例えば、HMD２０を装着したユーザを中心としたその周囲の円筒座標系上の座標であって、ARオブジェクトの配置位置を示す。画像情報は、ARオブジェクトとして表示される画像に関する情報である。また、音情報は、ARオブジェクトを示すための音に関する情報である。以下の説明では、ARオブジェクトにおける、画像情報を「画像オブジェクト」と称し、音情報を「音オブジェクト」と称する。
ただし、ARオブジェクト情報は、画像オブジェクトとその座標情報を少なくとも含むが、音オブジェクトを含むかどうかは任意である。従って、ARオブジェクトのうち、音オブジェクトを含むものを、特に、「音付ARオブジェクト」と称する。また、音オブジェクトは、画像情報をさらに含んでおり、その画像を、「音オブジェクト画像」と称するものとする。
コントロールボックス１０は、スマートフォン３０から受信したARオブジェクト情報をHMD２０に出力する。これにより、例えばHMD２０を装着したユーザが透過型のディスプレイを通して見る対象物に、その対象物に関連した画像オブジェクトを重ねて表示したりすることができる。また、HMD２０のヘッドホンから音オブジェクトに対応する音声を出力することができる。
ARシステム１は、以上のように構成される。
＜各装置の構成例＞
次に、図２乃至図５を参照して、図１のARシステム１を構成する各装置の構成例について説明する。
（コントロールボックスとHMDの詳細構成）
図２は、図１のコントロールボックス１０とHMD２０の詳細構成を示すブロック図である。上述したように、コントロールボックス１０とHMD２０とは、所定の規格に対応したケーブルにより接続されている。
図２に示すように、コントロールボックス１０において、CPU（Central Processing Unit）１０１、ROM（Read Only Memory）１０２、RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。CPU１０１は、ROM１０２に記録された制御プログラムを実行することで、コントロールボックス１０の各部の動作を制御する。また、RAM１０３には、各種のデータが適宜記録される。
バス１０４には、さらに、入出力インターフェース１０５が接続されている。入出力インターフェース１０５には、操作部１０６、接続部１０７、及び、無線通信部１０８が接続されている。操作部１０６は、コントロールボックス１０に設けられた物理的なボタン等であり、ユーザの操作に応じて操作信号をCPU１０１に供給する。CPU１０１は、操作部１０６からの操作信号に応じて、HMD２０の各部の動作を制御する。
接続部１０７は、所定の規格に対応したケーブルを介してHMD２０と接続され、CPU１０１からの制御に従い、HMD２０との間で各種のデータのやりとりを行う。無線通信部１０８は、近距離無線通信機能を有し、CPU１０１からの制御に従い、スマートフォン３０との間で、所定の近距離無線通信規格による無線通信を行い、各種のデータをやりとりする。
また、図２に示すように、HMD２０は、接続部２０１、地磁気センサ２０３、ジャイロセンサ２０４、加速度センサ２０５、ディスプレイ２０６、ヘッドホン２０７、及び、カメラ部２０８から構成され、それらは、入出力インターフェース２０２に接続されている。
地磁気センサ２０３は、HMD２０の近傍の地磁気を検出する。ジャイロセンサ２０４は、HMD２０の回転角度を検出する。加速度センサ２０５は、HMD２０の重力加速度を検出する。地磁気センサ２０３、ジャイロセンサ２０４、及び、加速度センサ２０５による検出結果は、センサ値として、入出力インターフェース２０２を介して、接続部２０１に供給される。
接続部２０１は、地磁気センサ２０３、ジャイロセンサ２０４、及び、加速度センサ２０５からのセンサ値を、コントロールボックス１０に出力する。これにより、コントロールボックス１０では、それらのセンサ値を用い、HMD２０の姿勢や向きを検出することができる。なお、コントロールボックス１０は、それらのセンサ値を用い、いわゆる自律航法によりGPS機能を用いずに、ユーザの現在位置を取得するようにしてもよい。
ディスプレイ２０６は、上述した左眼用と右眼用の一対の透過型のディスプレイである。ディスプレイ２０６は、コントロールボックス１０からの制御に従い、各種の画像を表示する。また、ヘッドホン２０７は、ユーザの左右の耳に近接した位置に配置される小型のヘッドホンである。ヘッドホン２０７は、コントロールボックス１０からの制御に従い、各種の音声を出力する。
カメラ部２０８は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサ等の固体撮像素子を含んで構成される外向きカメラであり、ディスプレイ２０６を通して見える被写体を撮影するための機能を有する。カメラ部２０８は、被写体を撮影して所定の画像処理が施された画像データを、接続部２０１に供給する。接続部２０１は、カメラ部２０８からの画像データを、コントロールボックス１０に出力する。これにより、コントロールボックス１０では、画像データを用い、各種の処理を行うことができる。
（スマートフォンの詳細構成）
図３は、図１のスマートフォン３０の詳細構成を示すブロック図である。
図３に示すように、スマートフォン３０において、CPU３０１、ROM３０２、RAM３０３は、バス３０４により相互に接続されている。CPU３０１は、ROM３０２に記録された制御プログラムを実行することで、スマートフォン３０の各部の動作を制御する。また、RAM３０３には、各種のデータが適宜記録される。
バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、タッチパネル３０６、スピーカ３０７、GPS部３０８、無線通信部３０９、及び、携帯通信部３１０が接続されている。
タッチパネル３０６は、表示部３２１と、その画面上に重畳されるタッチセンサ３２２とから構成される。表示部３２１は、液晶ディスプレイ（LCD：Liquid Crystal Display）等で構成され、CPU３０１からの制御に従い、各種の情報を表示する。また、タッチセンサ３２２は、ユーザによりタッチパネル３０６に対して行われる入力操作を、その操作が行われた場所のタッチパネル３０６上での位置とともに検出し、その検出信号をCPU３０１に供給する。CPU３０１は、タッチセンサ３２２からの検出信号に応じて、スマートフォン３０の各部の動作を制御する。
スピーカ３０７は、CPU３０１からの制御に従い、音声信号に応じた音声を出力する。また、GPS部３０８は、CPU３０１からの制御に従い、アンテナを介して、GPS衛星９０からの信号を受信することで、ユーザの現在位置を取得する。
無線通信部３０９は、近距離無線通信機能を有し、CPU３０１からの制御に従い、コントロールボックス１０との間で、所定の近距離無線通信規格による無線通信を行い、各種のデータをやりとりする。また、携帯通信部３１０は、CPU３０１からの制御に従い、インターネット８０を介してARサーバ４０等との通信を行い、各種のデータをやりとりする。なお、詳細は図示していないが、スマートフォン３０は、携帯電話機としての通話機能などのその他の機能を有している。
（ARサーバの詳細構成）
図４は、図１のARサーバ４０の詳細構成を示すブロック図である。
図４に示すように、ARサーバ４０において、CPU４０１、ROM４０２、RAM４０３は、バス４０４により相互に接続されている。CPU４０１は、ROM４０２に記録された制御プログラムを実行することで、ARサーバ４０の各部の動作を制御する。また、RAM４０３には、各種のデータが適宜記録される。
バス４０４には、さらに、入出力インターフェース４０５が接続されている。入出力インターフェース４０５には、入力部４０６、表示部４０７、スピーカ４０８、通信部４０９、ARオブジェクト保持部４１０、及び、ドライブ４１１が接続されている。
入力部４０６は、キーボード、マウス、マイクロフォンなどから構成され、入力された情報を、CPU４０１に供給する。表示部４０７は、液晶ディスプレイ等で構成され、CPU４０１からの制御に従い、各種の情報を表示する。また、スピーカ４０８は、CPU４０１からの制御に従い、音声を出力する。通信部４０９は、CPU４０１からの制御に従い、インターネット８０を介してスマートフォン３０との通信を行い、各種のデータをやりとりする。
ARオブジェクト保持部４１０は、ARオブジェクト情報を保持している。ARオブジェクト情報は、例えば、実空間の対象物に重畳させるデータとしてあらかじめ用意され、ARオブジェクト保持部４１０に記録される。ARオブジェクト保持部４１０は、CPU４０１からの制御に従い、ARオブジェクト情報を通信部４０９に供給する。通信部４０９は、ARオブジェクト保持部４１０から読み出されたARオブジェクト情報を、インターネット８０を介してスマートフォン３０に送信する。
ドライブ４１１は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブルメディアが適宜装着され、CPU４０１からの制御に従い、それらのリムーバブルメディアを駆動する。
（AR処理部の詳細構成）
図５は、AR処理部５００の詳細構成を示す図である。AR処理部５００は、例えば、コントロールボックス１０のCPU１０１が制御プログラムを実行することで、ソフトウェア的に実現される。ただし、HMD２０等の他の電子機器によって、AR処理部５００の機能が実現されるようにしてもよい。また、例えば、コントロールボックス１０とHMD２０、さらにはスマートフォン３０などの機能を一体化した電子機器によって、AR処理部５００の機能が実現されるようにしてもよい。
図５に示すように、AR処理部５００は、センサ値取得部５０１、ARオブジェクト情報取得部５０２、HMD向き算出部５０３、表示領域座標算出部５０４、描画処理部５０５、音処理部５０６、及び、音付ARオブジェクト対応処理部５０７から構成される。
センサ値取得部５０１は、HMD２０の地磁気センサ２０３、ジャイロセンサ２０４、及び、加速度センサ２０５により検出されたセンサ値を取得し、HMD向き算出部５０３に供給する。また、ARオブジェクト情報取得部５０２は、ARサーバ４０から受信した現在位置に応じたARオブジェクト情報を取得し、ARオブジェクト情報に含まれる情報を、描画処理部５０５、音処理部５０６、及び、音付ARオブジェクト対応処理部５０７にそれぞれ供給する。具体的には、ARオブジェクト情報に含まれる情報のうち、座標情報は、描画処理部５０５及び音付ARオブジェクト対応処理部５０７に供給され、画像オブジェクトは、描画処理部５０５及び音付ARオブジェクト対応処理部５０７に供給され、音オブジェクトは、音処理部５０６及び音付ARオブジェクト対応処理部５０７に供給され、音オブジェクト画像は、音付ARオブジェクト対応処理部５０７に供給される。
HMD向き算出部５０３は、センサ値取得部５０１から供給されるセンサ値に基づいて、ユーザの頭部に装着されたHMD２０の向きを算出し、表示領域座標算出部５０４及び音付ARオブジェクト対応処理部５０７に供給する。
表示領域座標算出部５０４は、HMD向き算出部５０３から供給されるHMD２０の向きを示す情報に基づいて、HMD２０のディスプレイ２０６の表示領域（以下、「表示領域Ａ」とも記述する）の座標を算出し、その算出結果を表示領域情報として、描画処理部５０５及び音付ARオブジェクト対応処理部５０７に供給する。
描画処理部５０５には、表示領域座標算出部５０４からの表示領域情報と、ARオブジェクト情報取得部５０２からの座標情報及び画像オブジェクトがそれぞれ供給される。描画処理部５０５は、表示領域情報及び座標情報に基づいて、画像オブジェクトを、HMD２０のディスプレイ２０６に表示させる。また、描画処理部５０５は、音付ARオブジェクト対応処理部５０７からの制御に従い、音オブジェクト画像を、HMD２０のディスプレイ２０６に表示させる。
音処理部５０６は、音付ARオブジェクト対応処理部５０７からの制御に従い、ARオブジェクト情報取得部５０２から供給される音オブジェクトの音声信号に対応する音声を、HMD２０のヘッドホン２０７から出力させる。
音付ARオブジェクト対応処理部５０７は、音付ARオブジェクトに関する処理を行う。音付ARオブジェクト対応処理部５０７は、表示領域外位置指定部５２１、軌跡設定部５２２、及び、描画・音制御部５２３から構成される。
表示領域外位置指定部５２１は、表示領域座標算出部５０４から供給される表示領域情報に基づいて、表示領域Ａ外の示したい場所（以下、「ターゲットＴ」と称する）の位置を指定する。例えば、表示領域Ａ外に存在するARオブジェクトをターゲットＴとする場合には、その画像オブジェクトの座標情報が、ターゲットＴの位置として指定される。ただし、ターゲットＴはARオブジェクトに限らず、例えば、実空間に存在する対象物など、その位置を指定できる対象であればいずれであってもよい。
軌跡設定部５２２は、ARオブジェクト情報取得部５０２から供給される音オブジェクトの軌跡を設定する。ただし、軌跡設定部５２２は、音オブジェクトの軌跡として、少なくとも一度、表示領域Ａ上を通過する軌跡を設定するようにする。
描画・音制御部５２３は、軌跡設定部５２２により設定された軌跡に従い、描画処理部５０５を制御して、音オブジェクト画像を、HMD２０のディスプレイ２０６に表示させる。また、描画・音制御部５２３は、軌跡設定部５２２により設定された軌跡などの情報に従い、音処理部５０６を制御して、音オブジェクトの音声信号に対応する音声を、HMD２０のヘッドホン２０７から出力させる。
また、描画・音制御部５２３は、HMD向き算出部５０３から供給されるHMD２０の向きを示す情報に基づいて、音処理部５０６を制御して、ARオブジェクト（音オブジェクト）の高さを、HMD２０のディスプレイ２０の表示領域の中心高さに合わせる。
＜各装置で実行される具体的な処理の内容＞
まず、図６のフローチャートを参照して、ARシステム１を構成する各装置で実行される処理と、その処理に応じた情報の流れについて説明する。ただし、図６のフローチャートにおいて、ステップＳ１０１乃至Ｓ１０３の処理は、コントロールボックス１０１により実行され、ステップＳ２０１乃至Ｓ２０４の処理は、HMD２０により実行される。また、ステップＳ３０１乃至Ｓ３０５の処理は、スマートフォン３０により実行され、ステップＳ４０１乃至Ｓ４０３の処理は、ARサーバ４０により実行される。
図６に示すように、HMD２０においては、各センサによるセンシングを行うタイミングである、所定の間隔時間が経過したかどうかが判定され（Ｓ２０１）、所定の間隔時間が経過した場合、処理はステップＳ２０２に進められる。そして、地磁気センサ２０３、ジャイロセンサ２０４、及び、加速度センサ２０５によりセンシングが行われるので、接続部２０１は、それらのセンサの検出結果を、センサ値として、コントロールボックス１０に出力する（Ｓ２０２）。なお、HMD２０は、例えば１秒に30回、センサ値を取得する処理を行う。
コントロールボックス１０において、センサ値取得部５０１は、接続部１０７を制御して、HMD２０から出力されたセンサ値を取得する（Ｓ１０１）。
また、図６に示すように、スマートフォン３０においては、GPS衛星９０から現在位置を取得するタイミングである、所定の間隔時間が経過したかどうかが判定され（Ｓ３０１）、所定の間隔時間が経過した場合、処理はステップＳ３０２に進められる。そして、GPS部３０８は、CPU３０１からの制御に従い、アンテナを介して、GPS衛星９０からの信号を受信することで、ユーザの現在位置を取得する（Ｓ３０２）。携帯通信部３１０は、CPU３０１からの制御に従い、インターネット８０を介して、ユーザの現在位置を示す情報を、ARサーバ４０に送信する（Ｓ３０３）。
ARサーバ４０において、通信部４０９は、スマートフォン３０から現在位置を示す情報が送信された場合、CPU４０１からの制御に従い、インターネット８０を介してスマートフォン３０から送信される現在位置を示す情報を取得する（Ｓ４０１）。そして、CPU４０１は、通信部４０９により取得された現在位置を示す情報に応じたARオブジェクト情報を、ARオブジェクト保持部４１０から取得する（Ｓ４０２）。通信部４０９は、CPU４０１からの制御に従い、現在位置を示す情報に応じたARオブジェクト情報を、インターネット８０を介して、要求元のスマートフォン３０に送信する（Ｓ４０３）。
スマートフォン３０において、携帯通信部３１０は、CPU３０１からの制御に従い、インターネット８０を介してARサーバ４０から送信されてくるARオブジェクト情報を受信する（Ｓ３０４）。また、無線通信部３０９は、CPU３０１からの制御に従い、コントロールボックス１０との間で、所定の近距離無線通信規格による無線通信を行い、ARオブジェクト情報を送信する（Ｓ３０５）。なお、スマートフォン３０は、例えば10秒に１回、現在位置に応じたARオブジェクト情報を取得する処理を行う。
コントロールボックス１０において、ARオブジェクト情報取得部５０２は、無線通信部１０８を制御して、スマートフォン３０との間で、所定の近距離無線通信規格による無線通信を行い、ARオブジェクト情報を受信する（Ｓ１０２）。そして、AR処理部５００によって、HMD２０から取得したセンサ値や、ARサーバ４０から提供されるユーザの現在位置に応じたARオブジェクト情報に応じて、ARオブジェクト対応処理が行われる（Ｓ１０３）。このARオブジェクト対応処理では、HMD２０のディスプレイ２０６の表示領域Ａ内のARオブジェクトについてはその画像オブジェクトが表示され、表示領域Ａ外のARオブジェクトについてはその音オブジェクトによりその存在する位置が示される。このARオブジェクト対応処理の詳細については、図７及び図１９のフローチャートを参照して後述する。
そして、ARオブジェクト対応処理が行われることで、HMD２０のディスプレイ２０６には、ARオブジェクト対応処理に応じた画像が表示され（Ｓ２０３）、HMD２０のヘッドホン２０７からは、ARオブジェクト対応処理に応じた音が出力される（Ｓ２０４）。
以上、ARシステム１を構成する各装置で実行される処理と、その処理に応じた情報の流れについて説明した。
（ARオブジェクト対応処理１）
次に、図７のフローチャートを参照して、AR処理部５００により実行される、図６のステップＳ１０３に対応するARオブジェクト対応処理１について説明する。
ステップＳ５０１において、HMD向き算出部５０３は、センサ値取得部５０１からのセンサ値に基づいて、HMD２０の向きを算出し、表示領域座標算出部５０４に供給する。
ステップＳ５０２において、表示領域座標算出部５０４は、HMD向き算出部５０３からのHMD２０の向きを示す情報に基づいて、HMD２０におけるディスプレイ２０６の表示領域Ａの座標を算出し、その算出結果を表示領域情報として、描画処理部５０５及び音付ARオブジェクト対応処理部５０７に供給する。
ステップＳ５０３において、描画処理部５０５は、ARオブジェクト情報取得部５０２からの画像オブジェクトの座標情報と、表示領域座標算出部５０４からの表示領域情報に基づいて、ディスプレイ２０６の表示領域Ａと、対象の画像オブジェクト（ARオブジェクト）にオーバーラップ部分があるかどうかを判定する。ステップＳ５０３において、オーバーラップ部分があると判定された場合、処理はステップＳ５０４に進められる。
ステップＳ５０４において、描画処理部５０５は、ステップＳ５０３の判定結果に従い、ディスプレイ２０６の表示領域Ａに、オーバーラップ部分の画像オブジェクトを描画する。ここで、図８乃至図９を参照して、画像オブジェクト（ARオブジェクト）の描画処理の具体的な処理手順について説明する。
図８に示すように、HMD２０を装着したユーザ２に、画像オブジェクト（ARオブジェクト）を提示する場合、ユーザ２を中心としてその周囲に円筒座標系Ｃを定義して、その円筒座標系Ｃ上で、表示領域Ａや画像オブジェクトObの位置を定めることになる。すなわち、図８の円筒座標系Ｃでは、HMD２０の向きに応じた表示領域Ａと、ユーザの現在位置に応じた画像オブジェクトOb1，Ob2が配置されている。また、図９に示すように、表示領域Ａと画像オブジェクトOb1は、オーバーラップOLの部分が重複している。したがって、図７のステップＳ５０４の画像オブジェクトの描画処理では、画像オブジェクトOb1のうち、オーバーラップOLの部分が、ディスプレイ２０６の表示領域Ａに描画されることになる。
図７のフローチャートに戻り、ステップＳ５０３において、オーバーラップ部分がないと判定された場合、ステップＳ５０４の処理はスキップされ、処理はステップＳ５０５に進められる。例えば、図８の画像オブジェクトOb2は、表示領域Ａ外となるので、ステップＳ５０４の描画処理の対象とはならない。
ステップＳ５０５においては、対象のARオブジェクトに音が付いているかどうかを判定する。ステップＳ５０５において、対象のARオブジェクトに音が付いている、すなわち、音付ARオブジェクトであると判定された場合、処理はステップＳ５０６に進められる。
ステップＳ５０６において、音付ARオブジェクト対応処理部５０７は、ARオブジェクト情報取得部５０２により取得されたARオブジェクト情報と、表示領域座標算出部５０４により算出された表示領域の座標に基づいて、音付ARオブジェクト対応処理を行う。この音付ARオブジェクト対応処理では、表示領域Ａ外に存在するターゲットＴの位置を、HMD２０を装着したユーザ２に示すための処理が行われる。
すなわち、図１０に示すように、例えば、図８の円筒座標系Ｃを上方から見た場合に、表示領域ＡとオーバーラップしているARオブジェクトが存在せずに、表示領域Ａ外の音付ARオブジェクトObのみが存在するとき、HMD２０を装着したユーザの視線の方向（前方の方向）と、音付ARオブジェクトObの方向との差分角度を、オブジェクト方向情報として算出する。そして、このオブジェクト方向情報を用い、音付ARオブジェクトOb（ターゲットＴ）を指し示す方向から、その音オブジェクトの音が聴こえるように音の出力を制御することで、表示領域Ａ外に存在する音付ARオブジェクトOb（ターゲットＴ）の位置を示すようにする。この音付ARオブジェクト対応処理の詳細については、図１１及び図１５のフローチャートを参照して後述する。
図７のフローチャートに戻り、ステップＳ５０５において、対象のARオブジェクトに音が付いていないと判定された場合、ステップＳ５０６の処理はスキップされ、処理はステップＳ５０７に進められる。ステップＳ５０７においては、ARオブジェクト情報取得部５０２により取得されたすべてのARオブジェクトを処理したかどうかが判定される。ステップＳ５０７において、すべてのARオブジェクトを処理していないと判定された場合、処理はステップＳ５０８に進められる。
ステップＳ５０８においては、まだ処理を行っていないARオブジェクトの１つが、次の対象のARオブジェクトとして選択される。そして、上述したステップＳ５０３乃至Ｓ５０６の処理が繰り返されることで、選択された対象のARオブジェクトの画像オブジェクトが表示領域Ａ上にあれば、そのオーバーラップ部分が描画され（Ｓ５０４）、さらに選択されたARオブジェクトが音付ARオブジェクトである場合には、音付ARオブジェクト対応処理が実行される（Ｓ５０６）。
このようにして、ARオブジェクト情報取得部５０２により取得された１又は複数のARオブジェクトに対する処理が順次実行され、ステップＳ５０７において、すべてのARオブジェクトを処理したと判定された場合、図７のARオブジェクト対応処理１は終了する。その後、処理は、図６のステップＳ１０３に戻り、それ以降の処理が実行される。
以上、ARオブジェクト対応処理１について説明した。ARオブジェクト対応処理１においては、音付ARオブジェクト対応処理が行われることで、HMD２０のディスプレイ２０６の表示領域Ａ外の位置（例えば音付ARオブジェクト等のターゲットＴの位置）が指定され、音付ARオブジェクトを指定された位置に向けて移動させながら、その音オブジェクトの音の出力が制御されることになる。その結果、表示領域Ａ外に存在する位置を、より的確に示して、ユーザに気付かせることができる。
なお、図７のARオブジェクト対応処理１においては、例えば１秒に30回、ARオブジェクト１個ごとに処理が行われる。
（音付ARオブジェクト対応処理１）
次に、図１１のフローチャートを参照して、音付ARオブジェクト対応処理部５０７により実行される、図７のステップＳ５０６に対応する音付ARオブジェクト対応処理１について説明する。
ステップＳ５２１において、表示領域外位置指定部５２１は、表示領域Ａ外に示したいターゲットＴが存在するかどうかを判定する。ステップＳ５２１において、表示領域Ａ外に示したいターゲットＴが存在すると判定された場合、処理は、ステップＳ５２２に進められる。
ステップＳ５２２において、表示領域外位置指定部５２１は、表示領域Ａ外のターゲットＴの位置を指定する。例えば、図１２に示すように、円筒座標系Ｃにおける表示領域Ａ外に存在するターゲットＴ（例えば、音付ARオブジェクト等）の位置が指定されることになる。
図１１のフローチャートに戻り、ステップＳ５２３において、軌跡設定部５２２は、音オブジェクトの軌跡を設定する。ただし、音オブジェクトの軌跡としては、少なくとも一度、表示領域Ａ上を通過する軌跡であることが望ましい。例えば、図１３に示すように、音オブジェクトの軌跡として、円筒座標系Ｃ上の位置Ｐ１乃至Ｐ７が設定される。図１３の軌跡では、円筒座標系Ｃの中心にいるユーザ２に対して、音オブジェクトが、円筒座標系Ｃ上の位置Ｐ１乃至Ｐ７を順次移動することになる。図１３では、位置Ｐ４乃至Ｐ６の軌跡の一部が、表示領域Ａ上を通過している。
図１１のフローチャートに戻り、ステップＳ５２４において、描画・音制御部５２３は、音オブジェクト画像を設定する。音オブジェクト画像は、音オブジェクトが表示領域Ａを通過する際に、表示領域Ａ上に表示される画像であって、ターゲットＴを容易に特定できるような画像であると好適である。従って、音オブジェクト画像としては、例えばターゲットＴを指し示す矢印などとすることができる。ただし、音オブジェクト画像は、デフォルトで固定の画像が設定されているようにしてもよく、その場合、ステップＳ５２４の処理は省略される。
ステップＳ５２５において、描画・音制御部５２３は、音処理部５０６を制御して、円筒座標系Ｃ上の始点、すなわち、図１３の軌跡における位置Ｐ１に音オブジェクトを生成する。音オブジェクトが生成されると、処理はステップＳ５２６に進められる。ステップＳ５２６において、描画・音制御部５２３は、軌跡設定部５２２により設定された軌跡に従い、音処理部５０６を制御して、音オブジェクトを等速で移動させる。ステップＳ５２７において、描画・音制御部５２３は、音オブジェクトが表示領域Ａ内を通過するかどうかを判定する。ステップＳ５２７において、音オブジェクトが表示領域Ａ内を通過すると判定された場合、処理はステップＳ５２８に進められる。
ステップＳ５２８において、描画・音制御部５２３は、描画処理部５０５を制御して、音オブジェクト画像を、HMD２０のディスプレイ２０６に表示させる。一方、ステップＳ５２７において、音オブジェクトが表示領域Ａ内を通過しないと判定された場合、ステップＳ５２８の処理はスキップされ、処理はステップＳ５２９に進められる。ステップＳ５２９において、描画・音制御部５２３は、音オブジェクトが終点に達したかどうかを判定する。ステップＳ５２９において、音オブジェクトが終点に達していないと判定された場合、処理はステップＳ５２６に戻され、それ以降の処理が繰り返される。
すなわち、ステップＳ５２６乃至Ｓ５２９の処理が繰り返されることで、図１３の軌跡において、音オブジェクトは、始点となる位置Ｐ１から音の出力を開始し、その音の出力を継続しながら等速で、円筒座標系Ｃ上の位置Ｐ２乃至Ｐ７を移動して、位置Ｐ７に達したところで、音の出力を停止することになる。ただし、軌跡全体のうち、一部の区間（例えば位置Ｐ４乃至位置Ｐ５の区間等）は、音オブジェクトが表示領域Ａ内を通過するため、ディスプレイ２０６の表示領域Ａに、矢印などの音オブジェクト画像が表示される。
ステップＳ５２９において、音オブジェクトが終点、すなわち、位置Ｐ７に達したと判定された場合、処理は、ステップＳ５３０に進められる。ステップＳ５３０において、描画・音制御部５２３は、音処理部５０６を制御して、終点に達した音オブジェクトを消去する。
具体的には、図１４に示すように、図中の上下方向を時間軸とした場合に、時刻t1において、音オブジェクトが位置Ｐ２にあるときには、円筒座標系Ｃt1に示すように、音オブジェクトObは、表示領域Ａ外となるので、音の出力のみがなされ、音オブジェクト画像の表示はなされていない。その後、時刻t2において、音オブジェクトObが位置Ｐ５に移動したときには、円筒座標系Ｃt2に示すように、音オブジェクトObは、表示領域Ａ内となるので、音の出力とともに、音オブジェクト画像の表示がなされる。なお、実際には、矢印の音オブジェクト画像が等速に移動して、表示領域Ａを左から右方向に横切るような画像が表示されることになる。
これにより、ユーザ２の視界に音オブジェクト画像が入って、音オブジェクトObの移動速度が見えることになるため、ユーザ２は、音だけでなく、矢印の画像を視覚的に認識して、表示領域Ａの右方向にターゲットＴが存在することを直感的に理解することができる。
その後、時刻t3において、音オブジェクトObが位置Ｐ７に移動したときには、円筒座標系Ｃt3に示すように、音オブジェクトObは表示領域Ａを通過して、その領域外となるので、音の出力のみがなされる。そして、音オブジェクトObが位置Ｐ７に達すると、時刻t4における円筒座標系Ｃt4に示すように、音オブジェクトは消去され、音の出力が停止されることになる。
これにより、ユーザ２は、表示領域Ａ内を等速に移動する音オブジェクト画像を認識した後に、音オブジェクト画像が視界から外れてから、音が消えるまでの時間がわかるため、ターゲットＴが、自分が今向いている方向からどれだけ右側の位置に存在するかを直感的に理解することができる。
図１１のフローチャートに戻り、ステップＳ５３１においては、ユーザ２がターゲットＴの位置の方向を向いたかどうかが判定される。ここでは、例えば、HMD２０に設けられた各種のセンサのセンサ値を用い、音オブジェクトが位置Ｐ７に達して消去された後のユーザ２の顔の向きを算出することで、ユーザ２がターゲットＴの位置の方向を向いたかどうかが判定される。ステップＳ５３１において、ユーザ２がターゲットＴの位置の方向を向いていないと判定された場合、処理はステップＳ５２５に戻される。
そして、ステップＳ５２５乃至Ｓ５３１の処理が繰り返されることで、再度、音オブジェクトの音とその音オブジェクト画像によって、表示領域Ａ外に存在するターゲットＴの位置を指し示すための処理が行われ、ユーザ２がターゲットＴの位置の方向を向いたと判定された場合、図１１の音付ARオブジェクト対応処理１は終了する。また、ステップＳ５２１において、表示領域Ａ外に示したいターゲットＴが存在しないと判定された場合においても、図１１の音付ARオブジェクト対応処理１は終了する。その後、処理は、図７のステップＳ５０６に戻り、それ以降の処理が繰り返される。
以上、音付ARオブジェクト対応処理１について説明した。音付ARオブジェクト対応処理１においては、音付ARオブジェクトを指定された位置（例えば音付ARオブジェクト等のターゲットＴの位置）に向けて移動させながら、その音オブジェクトの音の出力を制御するとともに、音オブジェクトが表示領域Ａ内を通る場合には、その音オブジェクト画像が表示領域Ａ内に表示されることになる。その結果、表示領域Ａ外に存在する位置を音と画像によって、より的確に示して、ユーザに気付かせることができる。
（音付ARオブジェクト対応処理２）
次に、図１５のフローチャートを参照して、音付ARオブジェクト対応処理部５０７により実行される、図７のステップＳ５０６に対応する音付ARオブジェクト対応処理２について説明する。
ステップＳ５４１乃至Ｓ５４２においては、図１１のステップＳ５２１乃至Ｓ５２２と同様に、HMD２０のディスプレイ２０６における表示領域Ａ外に示したいターゲットＴが存在する場合、そのターゲットＴの位置が指定される。ここでは、例えば、図１６に示すように、円筒座標系Ｃにおける表示領域Ａ外に存在するターゲットＴ（例えば、音付ARオブジェクト等）の位置が指定される。
図１５のフローチャートに戻り、ステップＳ５４３乃至Ｓ５４４においては、図１１のステップＳ５２３乃至Ｓ５２４と同様に、音オブジェクトの軌跡と音オブジェクト画像がそれぞれ設定される。ここでは、例えば、図１７示すように、音オブジェクトの軌跡として、円筒座標系Ｃにおける位置Ｐ１乃至Ｐ７が設定される。図１７の軌跡では、音オブジェクトが位置Ｐ１乃至Ｐ５を順次移動して、円筒座標系Ｃの中心にいるユーザ２にある程度近づいたあと、位置Ｐ５乃至Ｐ７を順次移動して、ユーザ２に対して右方向に移動することになる。図１７では、位置Ｐ１乃至Ｐ５の軌跡のほか、位置Ｐ５乃至Ｐ６の軌跡の一部が表示領域Ａ内となる。また、音オブジェクト画像としては、例えば、「！」（感嘆符）などを設定することができる。
図１５のフローチャートに戻り、ステップＳ５４５において、描画・音制御部５２３は、音処理部５０６を制御して、円筒座標系Ｃ上の始点、すなわち、図１７の軌跡における位置Ｐ１に音オブジェクトを生成する。音オブジェクトが生成されると、処理はステップＳ５４６に進められる。
ステップＳ５４６において、描画・音制御部５２３は、音オブジェクトの一時停止のタイミングであるかどうかを判定する。ステップＳ５４６において、音オブジェクトの一時停止のタイミングであると判定された場合、処理は、ステップＳ５４７に進められる。
ステップＳ５４７において、描画・音制御部５２３は、音処理部５０６を制御して、音オブジェクトの移動を一時的に停止させる。これにより、音オブジェクトは、軌跡上のある位置に止まることになる。そして、ステップＳ５４８において、一時的に停止している音オブジェクトの一時停止終了のタイミングであるかどうかが判定される。ステップＳ５４８において、一時停止終了のタイミングでないと判定された場合、ステップＳ５４８の判定処理が繰り返される。すなわち、この場合、音オブジェクトはある軌跡上のある位置に止まり続けることになる。
一方、ステップＳ５４８において、一時停止終了のタイミングであると判定された場合、処理はステップＳ５４９に進められる。また、ステップＳ５４６において、音オブジェクトの一時停止のタイミングではないと判定された場合、ステップＳ５４７乃至Ｓ５４８の処理はスキップされ、処理はステップＳ５４９に進められる。
ステップＳ５４９において、描画・音制御部５２３は、軌跡設定部５２２により設定された軌跡に従い、音処理部５０６を制御して、音オブジェクトを等速で移動させる。
ステップＳ５５０乃至Ｓ５５１においては、図１１のステップＳ５２７乃至Ｓ５２８と同様に、音オブジェクトが表示領域Ａ内を通過するかどうかが判定され、音オブジェクトが表示領域Ａ内を通過する場合には、音オブジェクト画像が、HMD２０のディスプレイ２０６に表示される。また、ステップＳ５５２において、描画・音制御部５２３は、音オブジェクトが終点に達したかどうかを判定する。ステップＳ５５２において、音オブジェクトが終点に達していないと判定された場合、処理はステップＳ５４６に戻され、それ以降の処理が繰り返される。
すなわち、ステップＳ５４６乃至Ｓ５５２の処理が繰り返されることで、図１７の軌跡において、音オブジェクトは、始点となる位置Ｐ１から音の出力を開始し、その音の出力を継続しながら等速でその直線上の位置Ｐ２乃至Ｐ５を順次移動する。そして、位置Ｐ５に達したところで、一時停止して所定の期間その位置に止まる。その後、音オブジェクトは移動を再開して、直線の軌跡の終点となる位置Ｐ５から進行方向を、ターゲットＴの方向に変えて、位置Ｐ５乃至Ｐ７を移動して、位置Ｐ７に達したところで、音の出力を停止することになる。
ただし、軌跡全体のうち、一部の区間（例えば位置Ｐ１乃至Ｐ５の区間等）は、ユーザ２から見て表示領域Ａ内にあるため、音オブジェクトがそれらの区間上にある場合には、ディスプレイ２０６の表示領域Ａに、音オブジェクト画像が表示され、さらに位置Ｐ５で一時的に停止することになる。これにより、例えば、音オブジェクト画像として感嘆符（「！」）が設定されている場合、ユーザは、自身に近づいてきたその感嘆符に注目する可能性が高くなるが、感嘆符が一時的に表示領域内に止まることで、その可能性をさらに高めることができる。
ステップＳ５５２において、音オブジェクトが終点、すなわち、位置Ｐ７に達したと判定された場合、処理は、ステップＳ５５３に進められる。ステップＳ５５３において、描画・音制御部５２３は、音処理部５０６を制御して、終点に達した音オブジェクトを消去する。
具体的には、図１８に示すように、図中の上下方向を時間軸とした場合に、時刻t1において、音オブジェクトが位置Ｐ１にあるときには、円筒座標系Ｃt1に示すように、音オブジェクトObは、表示領域Ａ内にあるので、音の出力とともに、音オブジェクト画像の表示がなされる。この場合、位置Ｐ１は、位置Ｐ５と比べてユーザ２と離れているため、感嘆符の音オブジェクト画像の表示は小さいものとなる。
その後、時刻t2において、音オブジェクトが位置Ｐ５に移動したときには、円筒座標系Ｃt2に示すように、音オブジェクトObは、表示領域Ａ内にあるので、音の出力とともに、音オブジェクト画像の表示がなされる。この場合、位置Ｐ５は、位置Ｐ１と比べてユーザ２と近づいているため、感嘆符の音オブジェクト画像の表示は大きくなる。すなわち、実際には、音オブジェクトが位置Ｐ１乃至Ｐ５の軌跡を順次移動することで、表示領域Ａ内に表示される感嘆符の音オブジェクト画像が徐々に拡大されることになる。これにより、ユーザ２は、音だけでなく、感嘆符の音オブジェクト画像を視覚的に認識して、表示領域Ａ外にターゲットＴが存在することを直感的に理解することができる。
また、その後、音オブジェクトは、直線の軌跡の終点となる位置Ｐ５から進行方向を、ターゲットＴの方向に変えて、位置Ｐ５乃至Ｐ７を移動することになるが、位置Ｐ５乃至Ｐ６の区間の一部が表示領域Ａ内に含まれている。したがって、ユーザ２からすれば、自身に近づいてきた感嘆符の音オブジェクト画像が一時的に停止したあと、右側に移動するように見えるので、表示領域Ａの右側にターゲットＴが存在することを直感的に理解することができる。
そして、時刻t3において、音オブジェクトObが位置Ｐ７に移動したときには、円筒座標系Ｃt3に示すように、音オブジェクトObは表示領域Ａ外となるので、音の出力のみがなされる。そして、音オブジェクトObが位置Ｐ７に達すると、時刻t4における円筒座標系Ｃt4に示すように、音オブジェクトは消去され、音の出力が停止されることになる。
図１５のフローチャートに戻り、ステップＳ５５３の処理により終点に達した音オブジェクトが消去されると、処理は、ステップＳ５５４に進められる。ステップＳ５５４においては、図１１のステップＳ５３１と同様に、ユーザ２がターゲットＴの位置の方向を向いたかどうかが判定される。ステップＳ５５４において、ユーザ２がターゲットＴの位置の方向を向いていないと判定された場合、処理はステップＳ５４５に戻される。
そして、ステップＳ５４５乃至Ｓ５５４の処理が繰り返されることで、再度、音オブジェクトの音とその音オブジェクト画像によって、表示領域Ａ外に存在するターゲットＴを指し示すための処理が行われ、ユーザ２がターゲットＴの位置の方向を向いたと判定された場合、図１５の音付ARオブジェクト対応処理２は終了する。その後、処理は、図７のステップＳ５０６に戻り、それ以降の処理が繰り返される。
以上、音付ARオブジェクト対応処理２について説明した。音付ARオブジェクト対応処理２においては、音付ARオブジェクトを指定された位置（例えば音付ARオブジェクト等のターゲットＴの位置）に向けて移動させながら、その音オブジェクトの音の出力を制御するとともに、音オブジェクトが表示領域Ａ内を通る場合には、その音オブジェクト画像が表示領域Ａ内に表示されることになる。また、表示領域Ａ内の音オブジェクト画像を一時的に停止させることができるため、表示領域Ａ外に存在する位置を音と画像によって、より的確に示して、確実に、ユーザに気付かせることができる。
（ARオブジェクト対応処理２）
次に、図１９のフローチャートを参照して、AR処理部５００により実行される、図６のステップＳ１０３に対応するARオブジェクト対応処理２について説明する。
ステップＳ５６１乃至Ｓ５６２においては、図７のステップＳ５０１乃至Ｓ５０２と同様に、HMD２０の向きが算出され、さらに、HMD２０におけるディスプレイ２０６の表示領域座標Ａの座標が算出される。
ステップＳ５６３において、描画・音制御部５２３は、HMD向き算出部５０３からのHMD２０の向きを示す情報に基づいて、音オブジェクト（ARオブジェクト）の高さを、HMD２０の表示領域Ａの中心高さに合わせる。
具体的には、図２０に示すように、図中の上下方向を時間軸とした場合に、時刻t1においては、円筒座標系Ｃt1に示すように、音オブジェクトOb（ARオブジェクトOb）がターゲットＴに向かって移動しているが、例えば、HMD２０を頭部に装着したユーザ２が首を上下に振った場合、表示領域Ａの中心高さが変化する。時刻t2において、ユーザ２は首を下に向けているため、円筒座標系Ｃt2に示すように、表示領域Ａの中心高さが図中の下方向に移動しているが、音オブジェクトObの高さを表示領域Ａの中心高さに合わせるようにする。また、時刻t3において、ユーザ２は首を上に向けているため、円筒座標系Ｃt3に示すように、表示領域Ａの中心高さが図中の上方向に移動しているが、音オブジェクトObの高さを表示領域Ａの中心高さに合わせるようにする。
このような制御を行うことで、音オブジェクトOb（ARオブジェクトOb）は、常に、HMD２０の表示領域Ａの中心高さと同じ高さに制御されることになるため、その結果、必ず一度は、音オブジェクトObが表示領域Ａ内を通ることになって、ユーザ２は、首を上下に振った場合などであっても、矢印などの音オブジェクト画像を視覚的に認識することになる。
図１９のフローチャートに戻り、ステップＳ５６４乃至Ｓ５６９においては、図７のステップＳ５０３乃至Ｓ５０８と同様に、表示領域Ａのオーバーラップ部分の画像オブジェクトが描画され、ARオブジェクトが音付ARオブジェクトである場合には、図１１又は図１５の音付ARオブジェクト対応処理が行われる。
以上、ARオブジェクト対応処理２について説明した。ARオブジェクト対応処理２においては、音付ARオブジェクト対応処理を行うに際して、円筒座標系Ｃにおける音オブジェクト（ARオブジェクト）の高さを、HMD２０のディスプレイ２０の表示領域Ａの中心高さに合わせるため、ユーザが首を振った場合などであっても、表示領域Ａ外に存在する位置を、より的確に示して、ユーザに気付かせることができる。
なお、図２０においては、音オブジェクトObが表示領域Ａ内で上方や下方にずれている場合について説明したが、ARオブジェクト対応処理２は、音オブジェクトObが表示領域Ａ外で、上方や下方にずれている場合にも適用することができる。例えば、HMD２０を頭部に装着したユーザ２が首を上下に振ることで、表示領域Ａの中心高さが変化し、音オブジェクトObが表示領域Ａ外の上方や下方を移動する場合でも、音オブジェクトObの高さを表示領域Ａの中心高さに合わせることができる。
これにより、例えばユーザ２の首が上下方向に大きく動くことで、音オブジェクトObが表示領域Ａから大きく外れてしまっている場合でも、音オブジェクトObを、表示領域Ａ内を横切らせることができるため、ユーザ２に対して、音オブジェクト画像を、的確に気付かせることができる。
また、図２０においては、上方や下方にずれた音オブジェクトObの高さを、表示領域Ａの中心高さに合わせる場合を説明したが、音オブジェクトObの高さは、表示領域Ａの中心高さに限らず、音オブジェクトOb（音オブジェクト画像）が表示領域Ａ内を通過できるのであれば、その高さは任意に設定することができる。
なお、図１９のARオブジェクト対応処理２においては、例えば１秒に30回、ARオブジェクト１個ごとに処理が行われる。
（音オブジェクトの２方向移動）
上述した例では、１個の音オブジェクトの移動を制御することによって、ターゲットＴの位置を示すようにしたが、複数個の音オブジェクトの移動を制御することで、ターゲットＴの位置を示すようにしてもよい。
図２１に示すように、ターゲットＴの位置を示すための音オブジェクトとして、音オブジェクトOb1と音オブジェクトOb2を生成して、ターゲットＴの位置を示すように移動を制御する。具体的には、図中の左右方向を時間軸とした場合に、時刻t1において、２個の音オブジェクトOb1，Ob2は、ユーザ２の左後方に位置している。その後、時刻t1から所定間隔時間経過後の時刻t2において、音オブジェクトOb1はユーザ２の正面に移動する一方、音オブジェクトOb2はユーザ２の右後方に移動している。また、時刻t2から所定間隔時間経過後の時刻t3において、２個の音オブジェクトOb1，Ob2は、ユーザ２の右前方のターゲットＴの近傍に移動している。
このように、図２１の例では、複数の音オブジェクトOb1，Ob2を生成して、一方の音オブジェクトOb1を時計回りでターゲットＴの位置に向けて移動させつつ、他方の音オブジェクトOb2を反時計回りでターゲットＴの位置に向けて移動させながら、それらの音オブジェクトの音の出力を制御する。ただし、音オブジェクトOb1の音と、音オブジェクトOb2の音としては離散的な音をそれぞれ与えて、音を出力するタイミングをずらすことで、それらの音を独立に再生することができる。つまり、音オブジェクトOb1と音オブジェクトOb2の音が同一の場合に、音の立体化を識別し難くなることは知られているが、例えば、周波数やテンポ、音楽のジャンルなどを変更することでも、複数の音オブジェクトの音を独立して再生させることが可能となる。
これにより、複数の音オブジェクトがターゲットＴの位置に向けて移動する際に、ユーザ２の前後、左右、又は上下など、ユーザ２の両側を移動することになるため、例えば、ユーザ２が動いて、HMD２０の表示領域Ａが円筒座標系Ｃ上を移動した場合でも、音オブジェクト画像を、確実に表示領域Ａ内に通過させることができる。
＜描画処理の詳細＞
（AR描画パス）
図２２は、ARオブジェクトの描画パスの例を示す図である。
図２２に示すように、描画処理部５０５においては、画像オブジェクト処理部５５１−１乃至５５１−ｎ（ｎは１以上の整数）が設けられており、１又は複数のARオブジェクトに含まれる画像オブジェクトに対する描画処理が行われる。具体的には、画像オブジェクト処理部５５１−１は、オーバーラップ検出部５６１−１及び描画部５６２−１から構成される。
オーバーラップ検出部５６１−１には、ARオブジェクト１乃至ｎのうち、ARオブジェクト１に含まれる画像オブジェクトの座標情報と、表示領域情報が入力される。オーバーラップ検出部５６１−１は、画像オブジェクトの座標情報と、表示領域情報に基づいて、表示領域Ａと対象の画像オブジェクト（ARオブジェクト１）のオーバーラップ部分を検出し、その検出結果をオーバーラップ情報として、描画部５６２−１に供給する。
描画部５６２−１は、オーバーラップ検出部５６１−１からのオーバーラップ情報に基づいて、ディスプレイ２０６の表示領域Ａに、オーバーラップ部分の画像オブジェクトを描画する。
画像オブジェクト処理部５５１−２乃至５５１−ｎは、画像オブジェクト処理部５５１−１と同様に構成される。すなわち、画像オブジェクト処理部５５１−２乃至５５１−ｎにおいては、各ARオブジェクトに含まれる画像オブジェクトごとに、表示領域Ａとのオーバーラップ部分を描画する処理が行われる。ただし、ARオブジェクトが複数存在する場合には、Mix部５５２によるミックス処理が施された後で、HMD２０のディスプレイ２０６に出力されることになる。
＜音処理の詳細＞
（VPTの概要）
HMD２０のヘッドホン２０７によって、上述したような音オブジェクトの音の出力を実現するためには、バーチャルサラウンド技術を用いることになる。本技術では、このようなバーチャルサラウンド技術として、VPT（ソニー株式会社の登録商標）を利用するのが好適である。VPT(Virtualphones Technology)は、図２３に示すように、音をユーザの頭内ではなく、頭外に定位させて、あたかも前方や後方に配置したスピーカから、音が自然に再生されているような音場を作り出すことができる。
具体的には、図２４に示すように、VPTでは、音源から両耳までの伝達特性として、頭部伝達関数(HRTF：Head Related Transfer Function)を測定して、入力信号に測定されたHRTFを畳み込むことで、ヘッドホン再生でありながら、例えば5.1chや7.1chをスピーカで聴いているときと同じような音場を実現することができる。以下、VPTを適用した本技術の音処理について説明する。ただし、VPTとしては、7chサラウンド（0.1chのサブウーハーは使用しない）を適用するものとする。
（第１の音声パス）
図２５は、ARオブジェクトの第１の音声パスを説明するための図である。
図２５に示すように、音処理部５０６においては、音オブジェクト処理部５７１−１乃至５７１−ｎ（ｎは１以上の整数）が設けられており、１又は複数のARオブジェクトに含まれる音オブジェクトに対する音処理が行われる。具体的には、音オブジェクト処理部５７１−１は、VPTフィルタ算出処理部５８１−１及びVPT処理部５８２−１から構成される。
VPTフィルタ算出処理部５８１−１には、ARオブジェクト１乃至ｎのうち、ARオブジェクト１のオブジェクト方向情報が入力される。オブジェクト方向情報は、HMD２０を装着したユーザ２を基準にしたときの音オブジェクトの方向を示すものであって、例えば、図１０の差分角度に相当する情報を用いることができる。
VPTフィルタ算出処理部５８１−１は、ARオブジェクト１のオブジェクト方向情報に基づいて、VPTフィルタ値を算出し、VPT処理部５８２−１に供給する。例えば、このVPTフィルタ値には、7chサラウンドのVPTを用いる場合、音オブジェクトのすべての位置により近くに配置されるように、ファントム処理などを実行して、7chのうち、複数のchに音情報を与えるような値が求められる。ただし、VPTフィルタ値には、必要に応じて表示領域Ａの座標が反映されるようにしてもよい。
VPT処理部５８２−１は、VPTフィルタ算出処理部５８１−１からVPTフィルタ値が供給された場合、VPTフィルタ値を更新する。例えば、オブジェクト方向情報は、１秒間に30回算出されるので、その間隔に応じてVPTフィルタ値が算出され、更新される。また、VPT処理部５８２−１には、ARオブジェクト情報取得部５０２から、音オブジェクトの音声ストリームが供給される。VPT処理部５８２−１は、VPTフィルタ値に従い、入力信号としての音声ストリームに、HRTFを畳み込む。VPT処理後の音声ストリームは、Mix部５７２に供給される。例えば、7chサラウンドのVPTを用いる場合には、入力信号に、7chのHRTF係数をかけて、これらを畳み込むことで、2chの出力を得ることができる。
音オブジェクト処理部５７１−２乃至５７１−ｎは、音オブジェクト処理部５７１−１と同様に構成される。すなわち、音オブジェクト処理部５７１−２乃至５７１−ｎにおいては、各ARオブジェクトに含まれる音オブジェクトの音声ストリームごとに、VPTフィルタ値に応じたVPT処理が施される。これにより、Mix部５７２には、ARオブジェクト２乃至ｎのVPT処理後の音声ストリームが供給される。Mix部５７２は、VPT処理後の音声ストリーム１乃至ｎに対して、ミックス処理を施し、HMD２０のヘッドホン２０７に出力する。例えば、音声ストリームは、wavファイル形式の波形からなり、VPT処理後の音声信号の波形がヘッドホン２０７により再生されることになる。
（基本形の音処理）
図２６は、第１の音声パスにおける基本形の音処理を説明するための図である。
図２６に示すように、7.1chサラウンドでは、サブウーハーを使用しない場合、スピーカの位置は、Ｃ，Ｌ，Ｒ，ＳＬ，ＳＲ，ＳＢＬ，ＳＢＲの７箇所となる。すなわち、7chサラウンドでは、円の中心に位置するユーザ２の正面に、センタスピーカ(Ｃ)が配置され、前方から左右30°の位置には、フロントスピーカ(Ｌ，Ｒ)が配置される。また、前方から左右75°には、サラウンドスピーカ(ＳＬ，ＳＲ)が配置され、さらに前方から左右145°には、サラウンドバックスピーカ(ＳＢＬ，ＳＢＲ)が配置される。これらのスピーカのそれぞれが、左耳用と右耳用のHRTFを有している。
ここで、図２６に示すように、ARオブジェクト１に含まれる音オブジェクトの軌跡として、位置Ｐａ（始点）から位置Ｐｅ（終点）まで、位置Ｐｇ，位置Ｐｆを順に通過する軌跡が設定された場合を想定する。この場合、音オブジェクトの位置と、7chサラウンドのスピーカの配置とは、ほぼ一致しているため、１方向に移動する音オブジェクトに対し、その位置に対応するスピーカのHRTFを割り当てればよい。
具体的には、時刻t1（１順目）において、VPTフィルタ算出処理部５８１−１は、オブジェクト方向情報に従い、位置Ｐａ，すなわち、7chサラウンドのSL-ch(a)のHRTFを使用することを決定し、VPT処理部５８２−１のVPTフィルタ値を更新する。ただし、位置Ｐｂ乃至Ｐｇに相当するチャンネルには無音が割り当てられる。VPT処理部５８２−１は、VPTフィルタ値に従い、音声信号として入力されるwavファイル形式の波形（例えば「ピ」音）に、SL-ch(a)の左耳用のHRTFを畳み込む。また、同様にして、別途、音声信号にSL-ch(a)の右耳用のHRTFが畳み込まれる。この基本形の音処理の例では、音オブジェクトが１方向のみであり、音声パスは１本となるので、Mix部５７２は、VPT処理部５８２−１によるVPT処理後の音声信号を、ヘッドホン２０７に出力する。これにより、HMD２０のヘッドホン２０７によって、VPT処理後の音声信号の波形が再生される。
次に、時刻t1から所定の間隔時間経過後の時刻t2（２順目）において、オブジェクト方向情報が、位置Ｐｇを示している場合、VPTフィルタ算出処理部５８１−１は、7chサラウンドのSBL-ch(g)のHRTFを使用することを決定し、VPTフィルタ値を更新する。VPT処理部５８２−１においては、VPTフィルタ値に従い、音声信号にSBL-ch(g)のHRTFが畳み込まれる。これにより、HMD２０のヘッドホン２０７では、SBL-ch(g)のHRTFを適用したVPT処理後の音声信号の波形が再生される。
次に、時刻t2から所定の間隔時間経過後の時刻t3（３順目）において、オブジェクト方向情報が、位置Ｐｆを示している場合、VPTフィルタ算出処理部５８１−１は、7chサラウンドのSBR-ch(f)のHRTFを使用することを決定し、VPTフィルタ値を更新する。VPT処理部５８２−１においては、VPTフィルタ値に従い、音声信号にSBR-ch(f)のHRTFが畳み込まれる。これにより、HMD２０のヘッドホン２０７では、SBR-ch(f)のHRTFを適用したVPT処理後の音声信号の波形が再生される。
そして、時刻t3所定の間隔時間経過後の時刻t4（４順目）において、オブジェクト方向情報が、位置Ｐｅを示している場合、VPTフィルタ算出処理部５８１−１は、7chサラウンドのSR-ch(e)のHRTFを使用することを決定し、VPTフィルタ値を更新する。VPT処理部５８２−１においては、VPTフィルタ値に従い、音声信号にSR-ch(e)のHRTFが畳み込まれる。これにより、HMD２０のヘッドホン２０７では、SR-ch(e)のHRTFを適用したVPT処理後の音声信号の波形が再生される。
このような一連の処理が行われることで、HMD２０のヘッドホン２０７で再生される音（出力）は、2chのヘッドホンを使用しているのにも関わらず、あたかも、位置Ｐａ，位置Ｐｇ，位置Ｐｆ，位置Ｐｅの立体位置に、「ピ」音が順に移動するかのように聴くことができる。なお、音オブジェクトの音情報として与えられる「ピ」音は一例であり、他の単発音を用いるようにしてもよい。
（２方向移動の音処理）
図２７は、第１の音声パスにおける２方向移動の音処理を説明するための図である。
図２７に示すように、ARオブジェクト１に含まれる音オブジェクト１の軌跡として、位置Ｐａ（始点）から位置Ｐｅ（終点）まで、位置Ｐｂ，位置Ｐｄを順に通過する第１の軌跡と、ARオブジェクト２に含まれる音オブジェクト２の軌跡として、位置Ｐａ（始点）から位置Ｐｅ（終点）まで、位置Ｐｇ，位置Ｐｆを順に通過する第２の軌跡が設定された場合を想定する。この場合、第１の軌跡及び第２の軌跡における音オブジェクト１，２の位置と、7chサラウンドのスピーカの配置とは、ほぼ一致しているため、２方向に移動する音オブジェクト１，２に対し、その位置に対応するスピーカのHRTFを割り当てればよい。ただし、第１の軌跡における音の出力タイミングと、第２の軌跡における音の出力タイミングは、ずらして出力するものとする。
具体的には、時刻t1（１順目）において、オブジェクト方向情報が、第１の軌跡と第２の軌跡の始点となる位置Ｐａを示している場合、VPTフィルタ算出処理部５８１−１，５８１−２は、7chサラウンドのSL-ch(a)のHRTFを使用することを決定し、VPTフィルタ値を更新する。ただし、位置Ｐｂ乃至Ｐｇに相当するチャンネルには無音が割り当てられる。VPT処理部５８２−１，５８２−２においては、VPTフィルタ値に従い、音声信号にSL-ch(a)の左耳用のHRTFが畳み込まれる。また、同様にして、別途、音声信号にSL-ch(a)の右耳用のHRTFが畳み込まれる。この２方向移動の音処理の例では、音オブジェクトの音声パスは２本となるので、Mix部５７２は、VPT処理部５８２−１，５８２−２によるVPT処理後の音声信号のうち、一方の音声信号を交互に選択して、HMD２０のヘッドホン２０７に出力する。これにより、例えば、HMD２０のヘッドホン２０７によって、VPT処理後の音声信号の波形が再生される。
次に、時刻t1から所定の間隔時間経過後の時刻t2（２順目）において、オブジェクト方向情報が、位置Ｐｂを示している場合、VPTフィルタ算出処理部５８１−１は、7chサラウンドのL-ch(b)のHRTFを使用することを決定し、VPTフィルタ値を更新する。VPT処理部５８２−１においては、VPTフィルタ値に従い、音声信号にL-ch(b)のHRTFが畳み込まれる。これにより、HMD２０のヘッドホン２０７では、L-ch(b)のHRTFを適用したVPT処理後の音声信号の波形が再生される。
次に、時刻t1から所定の間隔時間経過後の時刻t3（３順目）において、オブジェクト方向情報が、位置Ｐｇを示している場合、VPTフィルタ算出処理部５８１−２は、7chサラウンドのSBL-ch(g)のHRTFを使用することを決定し、VPTフィルタ値を更新する。VPT処理部５８２−２においては、VPTフィルタ値に従い、音声信号にSBL-ch(g)のHRTFが畳み込まれる。これにより、HMD２０のヘッドホン２０７では、SBL-ch(g)のHRTFを適用したVPT処理後の音声信号の波形が再生される。
次に、時刻t2から所定の間隔時間経過後の時刻t4（４順目）において、オブジェクト方向情報が、位置Ｐｄを示している場合、VPTフィルタ算出処理部５８１−１は、7chサラウンドのR-ch(d)のHRTFを使用することを決定し、VPTフィルタ値を更新する。VPT処理部５８２−１においては、VPTフィルタ値に従い、音声信号にR-ch(d)のHRTFが畳み込まれる。これにより、HMD２０のヘッドホン２０７では、R-ch(d)のHRTFを適用したVPT処理後の音声信号の波形が再生される。
次に、時刻t3から所定の間隔時間経過後の時刻t5（５順目）において、オブジェクト方向情報が、位置Ｐｆを示している場合、VPTフィルタ算出処理部５８１−２は、7chサラウンドのSBR-ch(f)のHRTFを使用することを決定し、VPTフィルタ値を更新する。VPT処理部５８２−２においては、VPTフィルタ値に従い、音声信号にSBR-ch(f)のHRTFが畳み込まれる。これにより、HMD２０のヘッドホン２０７では、SBR-ch(f)のHRTFを適用したVPT処理後の音声信号の波形が再生される。
そして、時刻t4,t5から所定の間隔時間経過後の時刻t6（６順目）において、オブジェクト方向情報が、位置Ｐｅを示している場合、VPTフィルタ算出処理部５８１−１，５８１−２は、7chサラウンドのSR-ch(e)のHRTFを使用することを決定し、VPTフィルタ値を更新する。VPT処理部５８２−１，５８２−２においては、VPTフィルタ値に従い、音声信号にSR-ch(e)のHRTFが畳み込まれる。これにより、HMD２０のヘッドホン２０７では、SR-ch(e)のHRTFを適用したVPT処理後の音声信号の波形が再生される。
このような一連の処理が行われることで、HMD２０のヘッドホン２０７で再生される音（出力）は、2chのヘッドホンを使用しているのにも関わらず、あたかも、位置Ｐａ，位置Ｐｂ，位置Ｐｄ，位置Ｐｅの立体位置に、「ピ」音が順に移動し、さらに、位置Ｐａ，位置Ｐｇ，位置Ｐｆ，位置Ｐｅの立体位置に、「ピ」音が順に移動するかのように聴くことができる。なお、音オブジェクトの音情報として与えられる「ピ」音は一例であり、他の単発音を用いるようにしてもよい。
（中間位置の音処理）
図２８は、第１の音声パスにおける中間位置の音処理を説明するための図である。
図２８に示すように、音オブジェクトの軌跡として、位置Ｐａ（始点）から位置Ｐｅ（終点）まで、位置Ｐｇ，位置Ｐｆを順に通過する軌跡が設定された場合を想定する。この場合において、例えば音情報が「ピー」のような連続音である場合などに、それらの位置の中間位置での音を出力可能にすることで、位置Ｐａ，位置Ｐｇ，位置Ｐｆ，位置Ｐｅごとの散発位置と比べて、音オブジェクトを連続的に移動させることができる。
具体的には、時刻t1（１順目）において、オブジェクト方向情報が、軌跡の始点となる位置Ｐａを示している場合、VPTフィルタ算出処理部５８１−１は、7chサラウンドのSL-ch(a)のHRTFを使用することを決定し、VPTフィルタ値を更新する。ただし、位置Ｐｂ乃至Ｐｇに相当するチャンネルには無音が割り当てられる。VPT処理部５８２−１においては、VPTフィルタ値に従い、音声信号にSL-ch(a)の左耳用のHRTFが畳み込まれる。また、同様にして、別途、音声信号にSL-ch(a)の右耳用のHRTFが畳み込まれる。この中間位置の音処理の例では、音オブジェクトが１方向のみであり、音声パスは１本となるので、Mix部５７２は、VPT処理部５８２−１によるVPT処理後の音声信号を、HMD２０のヘッドホン２０７に出力する。これにより、例えば、HMD２０のヘッドホン２０７によって、VPT処理後の音声信号の波形が再生される。
次に、時刻t1から所定の間隔時間経過後の時刻t2（２順目）において、オブジェクト方向情報が、位置Ｐａと位置Ｐｇとの中間位置である位置Ｐｘを示している場合、VPTフィルタ算出処理部５８１−１は、7chサラウンドのSL-ch(a)のHRTFとSL-ch(g)のHRTFを使用することを決定し、VPTフィルタ値を更新する。ただし、位置Ｐｂ乃至Ｐｆに相当するチャンネルには無音が割り当てられる。VPT処理部５８２−１は、VPTフィルタ値に従い、音声信号として入力されるwavファイル形式の波形（例えば「ピ」音）に、SL-ch(a)の左耳用のHRTFを畳み込む。また、同様にして、別途、音声信号にSL-ch(a)の右耳用のHRTFが畳み込まれる。さらに、VPT処理部５８２−１は、VPTフィルタ値に従い、音声信号として入力されるwavファイル形式の波形（例えば「ピ」音）に、SL-ch(g)の左耳用のHRTFを畳み込む。また、同様にして、別途、音声信号にSL-ch(g)の右耳用のHRTFが畳み込まれる。
ただし、SL-ch(a)とSL-ch(g)の両者のゲインであるが、位置Ｐｘが、位置Ｐａと位置Ｐｇの中間位置となるので、同一のゲインを与えるようにする。例えば、SL-ch(a)の値を0.7倍し、SL-ch(g)の値を0.7倍することで、それらを合成して得られる出力は、位置Ｐａ単発と同等とすることができる。これにより、HMD２０のヘッドホン２０７では、SL-ch(a)とSL-ch(g)のHRTFを適用したVPT処理後の音声信号の波形が再生され、位置Ｐａと位置Ｐｇとの中間位置である位置Ｐｘからも「ピ」音を聴くことができる。
以降、図２６の基本形の音処理と同様に、位置Ｐｇ，位置Ｐｆ，位置ＰｅにおけるVPT処理が行われるが、中間位置の音処理においては、位置Ｐｇと位置Ｐｆの中間位置、及び、位置Ｐｆと位置Ｐｅの中間位置においても、中間位置である位置Ｐｘと同様のVPT処理が行われ、それらの中間位置からも「ピ」音を聴くことができる。
このような一連の処理が行われることで、HMD２０のヘッドホン２０７で再生される音（出力）は、2chのヘッドホンを使用しているのにも関わらず、あたかも、位置Ｐａ，位置Ｐｇ，位置Ｐｆ，位置Ｐｅの立体位置だけでなく、さらに、それらの位置の中間位置においても音が順に移動して、「ピ」音が連続的に移動するかのように聴くことができる。
（連続音の音処理）
図２９は、第１の音声パスにおける連続音の音処理を説明するための図である。
図２９に示すように、音オブジェクトの軌跡として、位置Ｐａ（始点）から位置Ｐｅ（終点）まで、位置Ｐｇ，位置Ｐｆを順に通過する軌跡が設定された場合を想定する。この場合において、例えば音情報が「ピー」のような連続音である場合などに、それらの位置の各区間においても音を出力可能にすることで、位置Ｐａ，位置Ｐｇ，位置Ｐｆ，位置Ｐｅごとの散発位置と比べて、音オブジェクトを連続的に移動させることができる。
具体的には、時刻t1（１順目）において、オブジェクト方向情報が、軌跡の始点となる位置Ｐａを示している場合、VPTフィルタ算出処理部５８１−１は、7chサラウンドのSL-ch(a)のHRTFを使用することを決定し、VPTフィルタ値を更新する。ただし、位置Ｐｂ乃至Ｐｇに相当するチャンネルには無音が割り当てられる。VPT処理部５８２−１においては、VPTフィルタ値に従い、音声信号にSL-ch(a)の左耳用のHRTFが畳み込まれる。また、同様にして、別途、音声信号にSL-ch(a)の右耳用のHRTFが畳み込まれる。この中間位置の例では、音オブジェクトが１方向のみであり、音声パスは１本となるので、Mix部５７２は、VPT処理部５８２−１によるVPT処理後の音声信号を、HMD２０のヘッドホン２０７に出力する。これにより、例えば、HMD２０のヘッドホン２０７によって、VPT処理後の音声信号の波形が再生される。
次に、時刻t1から所定の間隔時間経過後の時刻t2（２順目）において、オブジェクト方向情報が、位置Ｐｇを示している場合、VPTフィルタ算出処理部５８１−１は、7chサラウンドのSL-ch(a)とSBL-ch(g)のHRTFを使用することを決定し、VPTフィルタ値を更新する。ただし、位置Ｐｂ乃至Ｐｆに相当するチャンネルには無音が割り当てられる。VPT処理部５８２−１は、VPTフィルタ値に従い、音声信号として入力されるwavファイル形式の波形（例えば「ピ」音）に、SL-ch(a)の左耳用のHRTFを畳み込む。さらに、VPT処理部５８２−１は、VPTフィルタ値に従い、音声信号として入力されるwavファイル形式の波形（例えば「ピ」音）に、SBL-ch(g)の左耳用のHRTFを畳み込む。また、同様にして、別途、音声信号にSL-ch(a)の右耳用のHRTFとSBL-ch(g)の右耳用のHRTFが畳み込まれる。
ここで、位置Ｐａ乃至Ｐｇにおける、SL-ch(a)とSBL-ch(g)の両者のゲインの比率であるが、例えば、SL-ch(a)のレベルを、最大値から最小値に推移させる一方、SBL-ch(g)のレベルを最小値から最大値に推移させるなどして、両者のゲインの比率が相互に変更されるようにする。これにより、HMD２０のヘッドホン２０７では、VPT処理後の音声信号の波形が再生され、位置Ｐａ乃至Ｐｇの区間において、「ピー」の連続音を聴くことができる。
以降、図２６の基本形の音処理と同様に、位置Ｐｇ，位置Ｐｆ，位置ＰｅにおけるVPT処理が行われるが、連続音の音処理においては、それらの位置の各区間において、位置Ｐａ乃至Ｐｇの区間と同様のVPT処理が行われ、位置Ｐｇ乃至Ｐｆの区間と、位置Ｐｆ乃至Ｐｅの区間においても、「ピー」の連続音を聴くことができる。すなわち、始点から終点までの全ての区間において、「ピー」の音が連続的に移動するかのように聴くことができる。
なお、上述した連続音の音処理では、例えば位置Ｐｇにおいて１つ前の位置Ｐａのチャンネルの情報を用いて位置Ｐａ乃至Ｐｇの区間の連続音を出力するようにしたが、次の位置Ｐｆのチャンネルの情報を得ることができるのであれば、その情報を用い、位置Ｐａ乃至Ｐｇの区間の連続音を出力するようにしてもよい。これにより、ユーザ２は、さらに好適に音が連続的に移動するかのように聴くことができる。
（第２の音声パス）
図３０は、ARオブジェクトの第２の音声パスを説明するための図である。
図３０に示すように、音処理部５０６は、対応ch制御部５９１、HRTF処理部５９２、及び、2ch化部５９３から構成される。
対応ch制御部５９１には、ARオブジェクト１乃至ｎ（ｎは１以上の整数）の情報が入力される。対応ch制御部５９１は、複数のARオブジェクトの情報が入力された場合、各ARオブジェクトの情報に従い、所定のチャンネルにミックス音を生成して配置する。また、対応ch制御部５９１は、使用するHRTFを決定し、HRTF処理部５９２に供給する。
HRTF処理部５９２は、対応ch制御部５９１から供給されるHRTFに従い、音声信号の波形に、HRTFを畳み込む。2ch化部５９３は、HRTF処理部５９２からの音声信号を最終出力チャンネル数に応じて2ch化して、HMD２０のヘッドホン２０７に出力する。
なお、対応ch制御部５９１は、各チャンネル間を移動するファイル（例えばwav形式のファイル）をあらかじめ用意して、これを所定のタイミングで再生することで、HRTF処理部５９２によって、各チャンネルのHRTFを畳み込み、2ch化部５９３によって、2ch化されるようにしてもよい。
（基本形の音処理）
図３１は、第２の音声パスにおける基本形の音処理を説明するための図である。
図３１に示すように、音オブジェクトの軌跡として、位置Ｐａ（始点）から位置Ｐｅ（終点）まで、位置Ｐｇ，位置Ｐｆを順に通過する軌跡が設定された場合を想定する。この場合、音オブジェクトの位置と、7chサラウンドのスピーカの配置とは、ほぼ一致しているため、１方向に移動する音オブジェクトに対し、その位置に対応するスピーカのHRTFを割り当てればよい。
具体的には、時刻t1（１順目）において、対応ch制御部５９１は、オブジェクト方向情報に従い、位置Ｐａ，すなわち、7chサラウンドのSL-ch(a)のHRTFを使用することを決定し、その他の位置Ｐｂ乃至Ｐｇに相当するチャンネルには無音を割り当てる。ただし、この例では、ARオブジェクトが１つ（１方向のみ）であるため、さらに足されることはない。続いて、HRTF処理部５９２は、音声信号として入力されるwavファイル形式の波形（例えば「ピ」音）に、SL-ch(a)の左耳用のHRTFを畳み込む。また、同様にして、別途、音声信号にSL-ch(a)の右耳用のHRTFが畳み込まれる。そして、2ch化部５９３は、7chからなる音声信号を、最終出力チャンネル数に応じて2ch化して、HMD２０のヘッドホン２０７に出力する。これにより、HMD２０のヘッドホン２０７によって、VPT処理後の音声信号の波形が再生される。
次に、時刻t1から所定の間隔時間経過後の時刻t2（２順目）において、オブジェクト方向情報が、位置Ｐｇを示している場合、対応ch制御部５９１は、7chサラウンドのSBL-ch(g)のHRTFを使用することを決定する。続いて、HRTF処理部５９２は、音声信号として入力されるwavファイル形式の波形に、SBL-ch(g)の左耳用のHRTFを畳み込む。また、同様にして、別途、音声信号にSBL-ch(g)の右耳用のHRTFが畳み込まれる。そして、2ch化部５９３は、7chからなる音声信号を2ch化することで、HMD２０のヘッドホン２０７によって、VPT処理後の音声信号の波形が再生される。
次に、時刻t2から所定の間隔時間経過後の時刻t3（３順目）において、オブジェクト方向情報が、位置Ｐｆを示している場合、対応ch制御部５９１は、7chサラウンドのSBR-ch(f)のHRTFを使用することを決定する。続いて、HRTF処理部５９２は、音声信号として入力されるwavファイル形式の波形に、SBR-ch(f)の左耳用のHRTFを畳み込む。また、同様にして、別途、音声信号にSBR-ch(f)の右耳用のHRTFが畳み込まれる。そして、2ch化部５９３は、7chからなる音声信号を2ch化することで、HMD２０のヘッドホン２０７によって、VPT処理後の音声信号の波形が再生される。
そして、時刻t3所定の間隔時間経過後の時刻t4（４順目）において、オブジェクト方向情報が、位置Ｐｅを示している場合、対応ch制御部５９１は、7chサラウンドのSR-ch(e)のHRTFを使用することを決定する。続いて、HRTF処理部５９２は、音声信号として入力されるwavファイル形式の波形に、SR-ch(e)の左耳用のHRTFを畳み込む。また、同様にして、別途、音声信号にSR-ch(e)の右耳用のHRTFが畳み込まれる。そして、2ch化部５９３は、7chからなる音声信号を2ch化することで、HMD２０のヘッドホン２０７によって、VPT処理後の音声信号の波形が再生される。
このような一連の処理が行われることで、HMD２０のヘッドホン２０７で再生される音（出力）は、2chのヘッドホンを使用しているのにも関わらず、あたかも、位置Ｐａ，位置Ｐｇ，位置Ｐｆ，位置Ｐｅの立体位置に、「ピ」音が順に移動するかのように聴くことができる。
（変形例）
上述した音処理においては、音オブジェクトを等速で移動させる例について説明したが、音オブジェクトは必ずしも等速で移動させる必要はない。つまり、ユーザ２が好適に音の移動を聴くことができればよいのであって、音オブジェクトの移動速度を可変とすることもできる。
また、上述したように、音情報として与えられる「ピ」音は一例であって、他の単発音を用いることができるが、他の単発音だけに限定されず、さらにその他の複合音などであってもよい。要は、ユーザ２が、好適に音の移動を聴くことができればよい。
さらに、図１５の音付ARオブジェクト対応処理２においては、ステップＳ５４３の処理で、音オブジェクトの軌跡として、図１７に示した軌跡を設定するとして説明した。この図１７の軌跡では、音オブジェクトが、左右方向以外の位置Ｐ１乃至Ｐ５を順次移動して、円筒座標系Ｃの遠方から近方に移動することになる。このとき、音オブジェクトは水平方向には移動していないが、音処理によって、位置に応じて音の大きさなどを変更することができる。
例えば、図１７において、遠方の位置Ｐ１の音量を1.0とした場合に、位置Ｐ２の音量を位置Ｐ１の音量の1.1倍、位置Ｐ３の音量を位置Ｐ１の音量の1.2倍、位置Ｐ４の音量を位置Ｐ１の音量の1.3倍、位置Ｐ５の音量を位置Ｐ１の音量の1.4倍とすることができる。また、例えば、図１７において、遠方の位置Ｐ１におけるHRTF残響量（図２４）に対して、位置Ｐ２，Ｐ３，Ｐ４，Ｐ５と近接するごとに、徐々に残響量を減らすようにしてもよい。このような音処理を行うことで、例えば、ユーザ２に対して、音が近づいてくるような印象を与えることができる。なお、この音処理は一例であって、ユーザ２が、好適に音の移動を聴くことができるような音処理であれば、他の音処理を適用することができる。
また、上述したVPTの7chサラウンドにおいては、音オブジェクトを水平方向に移動させる構成を説明したが、例えばフロントスピーカ(Ｌ，Ｒ)の真上の位置に、フロントハイスピーカ(Ｌ(ＦＨ)，Ｒ(ＦＨ))を配置するなど、上方向にVPT構成をとることで、水平方向のみならず、垂直方向にも音オブジェクトを移動させる構成を採用することができる。またさらに、上述した7ch以上の多チャンネルとし、それらのVPT構成をとることで、より立体的に音オブジェクトを構成することもできる。
例えば、フロントハイスピーカを配置して、音オブジェクトを垂直方向に移動可能とした場合に、ユーザ２が首を上下に振ることなどによって、音オブジェクトが表示領域Ａ外の上方や下方を移動するときには、図２０に示したように、音オブジェクトの高さを、HMD２０の表示領域Ａの中心高さなどに合わせる制御が行われることなる。
上述した図２０の例の場合、音オブジェクトとその音オブジェクト画像の両方が、表示領域Ａの中心付近に移動されることになるが、音オブジェクトの高さはそのままに、音オブジェクト画像のみを表示領域Ａ内に移動させるようにしてもよい。すなわち、音オブジェクトとその音オブジェクト画像を分離して、音オブジェクトが表示領域Ａ外の上方や下方を移動するような音処理を行う一方、その音オブジェクトの移動に伴い、音オブジェクト画像が表示領域Ａ内を通過するようにする。このとき、表示領域Ａ内を横切る音オブジェクト画像としては、例えば、矢印などの音オブジェクト画像そのものを表示してもよいが、音オブジェクトの高さに応じた矢印の影などを表示することで、ユーザ２は、音の移動を、より立体的に捉えることができる。
このように、音オブジェクトの音の出力位置は、表示領域Ａ内を通過する音オブジェクト画像の表示位置と同一にしてもよいし、異なるようにしてもよい。
＜具体的な運用例＞
次に、図３２及び図３３を参照しながら、図１のARシステム１の具体的な運用例を説明する。
図３２には、運用例１として、ARシステム１によって、地図検索用のアプリケーションを提供する場合を示している。例えば、地図検索用のアプリケーションによって、北の方向を指し示すように指示された場合、ターゲットＴの位置として北の方向が指定される。そして、図中の右側の円筒座標系Ｃを上方から見た図に示すように、所定の始点からターゲットＴ（北の方向）の位置に向けて、音オブジェクトOb1，Ob2が、ユーザ２の両側をそれぞれ移動して、ターゲットＴの位置の近傍に到達することになる。ただし、図中の左側の画面に示すように、音オブジェクトによる音の出力とともに、音オブジェクトOb1が表示領域Ａを通過する場合には、矢印からなる音オブジェクト画像が表示されることになる。
このように、例えば、北の方向を誘導するための音の出力とともに、北の方向を指し示す矢印の画像が表示領域Ａ内を横切るため、ユーザ２に対して、より直感的な位置情報を提供することができる。
図３３は、運用例２として、ARシステム１によって、SNS(Social Networking Service)アプリケーションを提供する場合を示している。例えば、SNSアプリケーションを起動中に、ユーザ２の現在位置付近で、他のユーザによるつぶやきが行われた場合、ターゲットＴの位置として、他のユーザがつぶやきを行った位置が指定される。すると、時刻t1において、音オブジェクトObの音を伴い、その音オブジェクト画像としての通知アイコンが表示領域Ａ内に表示される。そして、時刻t1から所定間隔時間経過後の時刻t2，t3において、音オブジェクトObは、つぶやきのあった位置に向かって音を出力しながら移動するが、表示領域Ａ内を移動している場合には、通知アイコンからなる音オブジェクト画像が表示されることになる。
このように、例えば、あるイベントに参加している他のユーザが、イベントに関するつぶやきを行った場合に、ARオブジェクトによる音と通知アイコンによって、そのつぶやいた場所が指し示されるので、ユーザ２は即座にその場所に移動して、イベントに参加することが可能となる。
＜本技術を適用したコンピュータの説明＞
前述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
また、コンピュータ（CPU）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディアに記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディアをドライブに装着することにより、入出力インターフェースを介して、記録部にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部で受信し、記録部にインストールすることができる。その他、プログラムは、ROMや記録部に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
また、プログラムは、１のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、前述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、前述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本技術は、以下のような構成をとることができる。
（１）
画像を表示する画像表示部と、
音を出力する音出力部と、
前記画像表示部における表示領域外の位置を指定する位置指定部と、
AR(Augmented Reality)オブジェクトを指定した前記位置に向けて移動させながら、前記ARオブジェクトの音の出力を制御する制御部と
を備える情報処理装置。
（２）
前記制御部は、前記ARオブジェクトが前記画像表示部における表示領域内を通る場合、前記ARオブジェクトの画像を表示させる
（１）に記載の情報処理装置。
（３）
前記ARオブジェクトは、複数存在している
（１）又は（２）に記載の情報処理装置。
（４）
前記制御部は、前記ARオブジェクトを指定した前記位置に向けて移動させる際に、ユーザの両側を移動させる
（３）に記載の情報処理装置。
（５）
前記制御部は、複数の前記ARオブジェクトの音を、タイミングをずらして出力する
（３）又は（４）に記載の情報処理装置。
（６）
前記画像表示部の向きを検出する検出部をさらに備え、
前記制御部は、前記画像表示部の向きに応じて、前記ARオブジェクトを移動させる
（１）又は（２）に記載の情報処理装置。
（７）
前記制御部は、前記ARオブジェクトの画像が前記表示領域内に表示されるように、前記ARオブジェクトを移動させる
（６）に記載の情報処理装置。
（８）
前記制御部は、前記ARオブジェクトの音の出力位置を、前記表示領域内の前記ARオブジェクトの画像の表示位置と同一になるようにする
（７）に記載の情報処理装置。
（９）
前記制御部は、前記ARオブジェクトの音の出力位置を、前記表示領域内の前記ARオブジェクトの画像の表示位置と異なるようにする
（７）に記載の情報処理装置。
（１０）
前記情報処理装置は、左眼用と右眼用の一対の前記画像表示部を有する眼鏡型デバイスである
（１）に記載の情報処理装置。
（１１）
情報処理装置の情報処理方法において、
前記情報処理装置が、
画像表示部における表示領域外の位置を指定し、
ARオブジェクトを指定した前記位置に向けて移動させながら、音出力部からの前記ARオブジェクトの音の出力を制御する
ステップを含む情報処理方法。
（１２）
コンピュータを、
画像表示部における表示領域外の位置を指定する位置指定部と、
ARオブジェクトを指定した前記位置に向けて移動させながら、音出力部からの前記ARオブジェクトの音の出力を制御する制御部と
して機能させるためのプログラム。
１ ARシステム， １０ コントロールボックス， ２０ HMD， ３０ スマートフォン， ４０ ARサーバ， １０１ CPU， １０７ 接続部， １０８ 無線通信部， ２０１ 接続部， ２０３ 地磁気センサ， ２０４ ジャイロセンサ， ２０５ 加速度センサ， ２０６ ディスプレイ， ２０７ ヘッドホン， ３０１ CPU， ３０９ 無線通信部， ３１０ 携帯通信部， ４０１ CPU， ４０９ 通信部， ４１０ ARオブジェクト保持部， ５００ AR処理部， ５０１ センサ値取得部， ５０２ ARオブジェクト情報取得部， ５０３ HMD向き算出部， ５０４ 表示領域座標算出部， ５０５ 描画処理部， ５０６ 音処理部， ５０７ 音付ARオブジェクト対応処理部， ５２１ 表示領域外位置指定部， ５２２ 軌跡設定部， ５２３ 描画・音制御部

Claims (3)

  1. 音を出力する音出力部と、
    ユーザの視覚領域を示す領域情報を取得する領域情報取得部と、
    前記ユーザの視覚領域外の位置を指定する位置指定部と、
    前記ユーザの視覚領域内の位置から前記位置指定部によって指定された指定位置の範囲内で音像定位処理を行う制御部と
    を備え、
    前記制御部は、前記ユーザの位置を角度の頂点とする前記ユーザの視覚領域内の位置から前記指定位置との範囲内に基づいて音像定位処理を行う
    情報処理装置。
  2. 情報処理装置が、
    音を出力し、
    ユーザの視覚領域を示す領域情報を取得し、
    前記ユーザの視覚領域外の位置を指定し、
    前記ユーザの視覚領域内の位置から指定された指定位置の範囲内で音像定位処理を行うに際し、前記ユーザの位置を角度の頂点とする前記ユーザの視覚領域内の位置から前記指定位置との範囲内に基づいて音像定位処理を行う
    情報処理方法。
  3. コンピュータを、
    音を出力する音出力部と、
    ユーザの視覚領域を示す領域情報を取得する領域情報取得部と、
    前記ユーザの視覚領域外の位置を指定する位置指定部と、
    前記ユーザの視覚領域内の位置から前記位置指定部によって指定された指定位置の範囲内で音像定位処理を行う制御部と
    を備え、
    前記制御部は、前記ユーザの位置を角度の頂点とする前記ユーザの視覚領域内の位置から前記指定位置との範囲内に基づいて音像定位処理を行う
    情報処理装置として機能させるためのプログラム。
JP2019198778A 2013-11-05 2019-10-31 情報処理装置、情報処理方法、及び、プログラム Pending JP2020024744A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013229121 2013-11-05
JP2013229121 2013-11-05

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015546599A Division JP6610258B2 (ja) 2013-11-05 2014-10-24 情報処理装置、情報処理方法、及び、プログラム

Publications (1)

Publication Number Publication Date
JP2020024744A true JP2020024744A (ja) 2020-02-13

Family

ID=53041369

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015546599A Active JP6610258B2 (ja) 2013-11-05 2014-10-24 情報処理装置、情報処理方法、及び、プログラム
JP2019198778A Pending JP2020024744A (ja) 2013-11-05 2019-10-31 情報処理装置、情報処理方法、及び、プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015546599A Active JP6610258B2 (ja) 2013-11-05 2014-10-24 情報処理装置、情報処理方法、及び、プログラム

Country Status (7)

Country Link
US (5) US9851936B2 (ja)
EP (1) EP3067781B1 (ja)
JP (2) JP6610258B2 (ja)
KR (1) KR102343578B1 (ja)
CN (2) CN111736696A (ja)
RU (1) RU2678481C2 (ja)
WO (1) WO2015068587A1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8307086B2 (en) * 2008-08-19 2012-11-06 Facebook, Inc. Resource management of social network applications
CN104246864B (zh) * 2013-02-22 2016-06-29 索尼公司 头戴式显示器和图像显示装置
KR102343578B1 (ko) 2013-11-05 2021-12-28 소니그룹주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
KR102288060B1 (ko) * 2014-08-06 2021-08-10 삼성전자 주식회사 피사체의 소리를 수신하는 방법 및 이를 구현하는 전자장치
GB2534921B (en) * 2015-02-06 2021-11-17 Sony Interactive Entertainment Inc Head-mountable display system
JP6474278B2 (ja) * 2015-02-27 2019-02-27 株式会社ソニー・インタラクティブエンタテインメント 画像生成システム、画像生成方法、プログラム及び情報記憶媒体
KR102551239B1 (ko) * 2015-09-02 2023-07-05 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 확장된 장면에서의 내비게이션을 용이하게 하기 위한 방법, 장치 및 시스템
US11445305B2 (en) 2016-02-04 2022-09-13 Magic Leap, Inc. Technique for directing audio in augmented reality system
EP3469462A1 (en) 2016-06-14 2019-04-17 Orcam Technologies Ltd. Systems and methods for directing audio output of a wearable apparatus
US20190221184A1 (en) * 2016-07-29 2019-07-18 Mitsubishi Electric Corporation Display device, display control device, and display control method
WO2018042658A1 (ja) * 2016-09-05 2018-03-08 マクセル株式会社 携帯情報端末、頭部装着表示システム、及びその音声出力制御方法
CN109804644B (zh) * 2016-10-13 2021-06-01 连株式会社 声音输出方法、计算机装置及计算机可读记录介质
JP2018082308A (ja) 2016-11-16 2018-05-24 ソニー株式会社 情報処理装置、方法及びプログラム
JP6992767B2 (ja) * 2016-12-12 2022-01-13 ソニーグループ株式会社 Ｈｒｔｆ測定方法、ｈｒｔｆ測定装置、およびプログラム
CN106604200A (zh) * 2017-01-19 2017-04-26 浪潮（苏州）金融技术服务有限公司 一种音频数据处理方法和装置
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
EP3585254B1 (en) 2017-02-24 2024-03-20 Masimo Corporation Medical device cable and method of sharing data between connected medical devices
CN110337318B (zh) * 2017-02-28 2024-06-14 奇跃公司 混合现实装置中的虚拟和真实对象记录
WO2018208616A1 (en) 2017-05-08 2018-11-15 Masimo Corporation System for pairing a medical system to a network controller by use of a dongle
US10264380B2 (en) * 2017-05-09 2019-04-16 Microsoft Technology Licensing, Llc Spatial audio for three-dimensional data sets
CN110999327B (zh) * 2017-07-31 2022-01-14 索尼公司 信息处理装置、信息处理方法以及程序
JP6966165B2 (ja) * 2017-08-04 2021-11-10 日本テレビ放送網株式会社 映像音声信号処理装置、その方法とプログラム
CN107632703A (zh) * 2017-09-01 2018-01-26 广州励丰文化科技股份有限公司 基于双目摄像头的混合现实音频控制方法及服务设备
WO2019081747A1 (en) * 2017-10-26 2019-05-02 Sony Semiconductor Solutions Corporation CAP DETERMINATION DEVICE AND METHOD, DEVICE, AND RENDERING METHOD
WO2019173566A1 (en) * 2018-03-08 2019-09-12 Bose Corporation Augmented reality software development kit
US20190378334A1 (en) * 2018-06-08 2019-12-12 Vulcan Inc. Augmented reality portal-based applications
WO2019237085A1 (en) 2018-06-08 2019-12-12 Vulcan Inc. Session-based information exchange
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US10996831B2 (en) 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
KR102278342B1 (ko) * 2018-09-27 2021-07-16 주식회사 더픽트 가상현실 영상 편집 시스템 및 방법
CN118075651A (zh) 2018-10-05 2024-05-24 奇跃公司 用于音频空间化的加重
US10638248B1 (en) * 2019-01-29 2020-04-28 Facebook Technologies, Llc Generating a modified audio experience for an audio system
US10602302B1 (en) * 2019-02-06 2020-03-24 Philip Scott Lyren Displaying a location of binaural sound outside a field of view
KR102297532B1 (ko) * 2019-10-17 2021-10-06 실버라이닝스튜디오 주식회사 가상현실 사운드 기반의 컨텐츠 제공 방법 및 시스템
CN113467603B (zh) 2020-03-31 2024-03-08 抖音视界有限公司 音频处理方法、装置、可读介质及电子设备
US11126574B1 (en) 2021-02-12 2021-09-21 SambaNova Systems, Inc. Instrumentation profiling for reconfigurable processors
US12001750B2 (en) * 2022-04-20 2024-06-04 Snap Inc. Location-based shared augmented reality experience system

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5682172A (en) * 1994-12-30 1997-10-28 Forte Technologies, Inc. Headset for presenting video and audio signals to a wearer
JP4631987B2 (ja) 1998-10-19 2011-02-16 ソニー株式会社 情報処理端末、情報処理システム及び情報処理方法
US20030007648A1 (en) * 2001-04-27 2003-01-09 Christopher Currell Virtual audio system and techniques
JP3815270B2 (ja) * 2001-07-17 2006-08-30 ヤマハ株式会社 ナビゲーション装置及び制御プログラム
JP2003134510A (ja) * 2001-08-16 2003-05-09 Space Tag Inc 画像情報配信システム
JP4433385B2 (ja) * 2004-02-25 2010-03-17 ソニー・エリクソン・モバイルコミュニケーションズ株式会社 目的地案内装置および携帯端末装置
FI20045513A (fi) * 2004-12-31 2006-07-01 Nokia Corp Kynätyyppinen virtuaalinäyttö
JP4737215B2 (ja) * 2008-03-25 2011-07-27 富士ゼロックス株式会社 情報処理装置、画像読取装置及びプログラム
US8170222B2 (en) * 2008-04-18 2012-05-01 Sony Mobile Communications Ab Augmented reality enhanced audio
US9037468B2 (en) * 2008-10-27 2015-05-19 Sony Computer Entertainment Inc. Sound localization for user in motion
EP2465114B1 (en) * 2009-08-14 2020-04-08 Dts Llc System for adaptively streaming audio objects
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
JP5675470B2 (ja) 2011-04-01 2015-02-25 オリンパス株式会社 画像生成システム、プログラム及び情報記憶媒体
JP5821526B2 (ja) 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9454849B2 (en) * 2011-11-03 2016-09-27 Microsoft Technology Licensing, Llc Augmented reality playspaces with adaptive game rules
JP5832666B2 (ja) * 2011-12-20 2015-12-16 インテル・コーポレーション 複数のデバイスにまたがる拡張現実表現
JP6065370B2 (ja) * 2012-02-03 2017-01-25 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
RU131226U1 (ru) * 2012-12-10 2013-08-10 Общество с ограниченной ответственностью "АВИАРЕАЛ" Тренажерный комплекс для обучения сотрудников службы авиационной безопасности с применением системы дополненной реальности
KR102249577B1 (ko) * 2013-05-30 2021-05-07 찰스 안소니 스미스 Ｈｕｄ 객체 설계 및 방법
US9129430B2 (en) * 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
EP2830049A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for efficient object metadata coding
KR102343578B1 (ko) * 2013-11-05 2021-12-28 소니그룹주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
EP3441966A1 (en) * 2014-07-23 2019-02-13 PCMS Holdings, Inc. System and method for determining audio context in augmented-reality applications

Also Published As

Publication number Publication date
US20180088893A1 (en) 2018-03-29
US20210326097A1 (en) 2021-10-21
US11068227B2 (en) 2021-07-20
US20190250875A1 (en) 2019-08-15
RU2678481C2 (ru) 2019-01-29
WO2015068587A1 (ja) 2015-05-14
RU2016116990A3 (ja) 2018-07-03
US20200183638A1 (en) 2020-06-11
CN105745602A (zh) 2016-07-06
EP3067781A1 (en) 2016-09-14
JPWO2015068587A1 (ja) 2017-03-09
US9851936B2 (en) 2017-12-26
US10599382B2 (en) 2020-03-24
US10303421B2 (en) 2019-05-28
KR20160079788A (ko) 2016-07-06
EP3067781B1 (en) 2023-03-08
JP6610258B2 (ja) 2019-11-27
RU2016116990A (ru) 2017-11-02
CN105745602B (zh) 2020-07-14
CN111736696A (zh) 2020-10-02
EP3067781A4 (en) 2017-07-26
KR102343578B1 (ko) 2021-12-28
US20160239252A1 (en) 2016-08-18

Similar Documents

Publication Publication Date Title
JP2020024744A (ja) 情報処理装置、情報処理方法、及び、プログラム
CN108141696B (zh) 用于空间音频调节的系统和方法
US20200264006A1 (en) Spatial audio navigation
EP3292378B1 (en) Binaural navigation cues
US20140153751A1 (en) Audio control based on orientation
JP6263098B2 (ja) 仮想音源を提供情報位置に配置する携帯端末、音声提示プログラム及び音声提示方法
KR20080080873A (ko) 입체 음향을 이용한 방향 안내 처리 방법 및 그를 적용한네비게이션 시스템
US11806621B2 (en) Gaming with earpiece 3D audio
US10667073B1 (en) Audio navigation to a point of interest
JP2017138277A (ja) 音声ナビゲーションシステム
WO2019045622A1 (en) HEADSET AND METHOD OF OPERATING THE HEADSET
US20190187954A1 (en) Content Discovery
JP6651231B2 (ja) 携帯情報端末、情報処理装置、及びプログラム
JP6957426B2 (ja) 再生装置、再生方法、及びプログラム
JP7384222B2 (ja) 情報処理装置、制御方法及びプログラム
WO2022070337A1 (ja) 情報処理装置、ユーザ端末、制御方法、非一時的なコンピュータ可読媒体、及び情報処理システム
US20230247380A1 (en) Information processing apparatus, information processing method, and sound output apparatus
KR20160073879A (ko) 3차원 오디오 효과를 이용한 실시간 내비게이션 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200824

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200908