CN105745602B - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN105745602B
CN105745602B CN201480059236.0A CN201480059236A CN105745602B CN 105745602 B CN105745602 B CN 105745602B CN 201480059236 A CN201480059236 A CN 201480059236A CN 105745602 B CN105745602 B CN 105745602B
Authority
CN
China
Prior art keywords
sound
display area
unit
image
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480059236.0A
Other languages
English (en)
Other versions
CN105745602A (zh
Inventor
中川俊之
石川博隆
金间泰树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN202010537954.1A priority Critical patent/CN111736696A/zh
Publication of CN105745602A publication Critical patent/CN105745602A/zh
Application granted granted Critical
Publication of CN105745602B publication Critical patent/CN105745602B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Stereophonic System (AREA)
  • Position Input By Displaying (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本技术涉及可以更准确地指示在显示区域外的位置的一种信息处理装置、信息处理方法和程序。显示区域外位置指定单元指定在图像显示单元的显示区域外的位置，并且绘图/声音控制单元在AR对象朝指定位置移动时控制所述AR对象的声音从声音输出单元的输出。可以将本技术应用于可穿戴式计算机，例如具有用于左眼和右眼的一对图像显示单元的眼镜型装置。

Description

信息处理装置、信息处理方法和程序
技术领域
本技术涉及一种信息处理装置、信息处理方法和程序，并且特定而言涉及可以更准确地指示在显示区域外的位置的一种信息处理装置、信息处理方法和程序。
背景技术
近年来，已开展对使用者可以在行走时携带的可穿戴式计算机的研究(例如，专利文献1)。作为此种可穿戴式计算机，可以安装在头部的如头戴式显示器(其将称为HMD)等的显示装置是已知的。
另外，一种向使用者呈现覆盖在实空间的对象上的虚拟内容的被称为增强现实(AR)的技术已获得关注(例如，例如，参考专利文献2)。通过使用这种AR技术，例如，使用者透过透射型显示器所看到的场景的信息(AR对象)可以根据使用者的当前位置显示为覆盖在某个地方上。
此外，专利文献3公开了一种基于使用者的当前位置和根据到目的地的路径所指定的方向来控制音源的再现的技术。
引用列表
专利文献
专利文献1：JP 2011-28763A
专利文献2：JP 2013-92964A
专利文献3：JP 2003-028663A
发明内容
技术问题
由于在显示器(例如，如上文所描述的HMD)中仅可以显示有限的区域，所以存在其中难以在所述窄显示区域中既显示在使用者视野内的信息又显示在使用者视野外的信息的情况。因此，尽管存在使用图像来显示信息是直观的和明确的事实，但在显示器上还是会显示有限的区域且因此对显示所有信息存在限制。
另外，在上文所描述的专利文献3中，因为耳机使用两个通道进行再现，所以使用者可以辨识直线的左右区域；但是，当使用头相关查函数(HRTF)来表达立体声音时，存在在使用声音进行位置显示的情况下错误地辨识前后侧的可能性。其中一个原因是，当HRTF不属于使用者时，听到声音的方式不同于使用者用他或她的耳朵正常地听到自然世界的声音的方式，并且因此使用者可能不能够捕捉到声音的位置。另外，即使HRTF属于使用者，听到的方式由于耳机或执行再现的再现装置的性质而仍可不同。
如上文所描述，需要指示在具有有限显示区域的显示装置的显示区域外的信息，但即使使用专利文献3中所公开的声音再现方法，仍不可能准确地指示在显示区域外的信息。
本技术考虑到以上情况，并且旨在更准确地指示在显示区域外的位置。
问题的解决方案
根据本技术的方面，一种信息处理装置包含：图像显示单元，其被配置成显示图像；声音输出单元，其被配置成输出声音；位置指定单元，其被配置成指定在图像显示单元的显示区域外的位置；以及控制单元，其被配置成在将增强现实(AR)对象朝指定位置移动时控制所述AR对象的声音的输出。
控制单元可在AR对象穿过图像显示单元的显示区域时使显示AR对象的图像。
可存在多个AR对象。
控制单元在AR对象朝指定位置移动时致使AR对象在使用者的两边移动。
控制单元可致使多个AR对象的声音以不同的定时进行输出。
信息处理装置可进一步包含检测单元，所述检测单元被配置成检测图像显示单元的方向。控制单元可致使AR对象根据图像显示单元的方向来移动。
控制单元可致使AR对象以在显示区域中显示AR对象的图像的方式来移动。
控制单元可致使AR对象的声音的输出位置与在显示区域内的AR对象的图像的显示位置相同。
控制单元可致使AR对象的声音的输出位置与在显示区域内的AR对象的图像的显示位置不同。
信息处理装置可为具有用于左眼和右眼的一对图像显示单元的眼镜型装置。
信息处理装置可为独立装置或构成一个装置的内部块。
根据本技术的方面的信息处理方法和程序是与根据本技术的方面的信息处理装置相容的信息处理方法和程序。
在根据本技术的方面的信息处理装置、信息处理方法和程序中，指定在图像显示单元的显示区域外的位置，并且在AR对象朝指定位置移动时控制AR对象的声音从声音输出单元的输出。
本发明的有利效应
根据本技术的方面，有可能更准确地指示在显示区域外的位置。
应注意，本文中所公开的效应未必为限制性的，并且可展现本公开中所公开的任何效应。
附图说明
[图1]图1是示出AR系统的实施例的配置的框图，本技术被应用于所述AR系统。
[图2]图2是示出控制箱和HMD的详细配置的框图。
[图3]图3是示出智能手机的详细配置的框图。
[图4]图4是示出AR服务器的详细配置的框图。
[图5]图5是示出AR处理单元的详细配置的框图。
[图6]图6是描述由构成AR系统的每个装置执行的处理的流程图。
[图7]图7是描述AR对象通信处理1的流程图。
[图8]图8是示出AR系统的圆柱坐标系的图式。
[图9]图9是示出在圆柱坐标系中显示区域和AR对象之间的关系的图式。
[图10]图10是示出在圆柱坐标系中显示区域和加入声音的AR对象之间的关系的图式。
[图11]图11是描述加入声音的AR对象通信处理1的流程图。
[图12]图12是示出对目标的位置的指定的示例的图式。
[图13]图13是示出设定加入声音的AR对象的轨迹的示例的图式。
[图14]图14是示出声音对象图像的显示示例的图式。
[图15]图15是描述加入声音的AR对象通信处理2的流程图。
[图16]图16是示出对目标的位置的指定的示例的图式。
[图17]图17是示出设定加入声音的AR对象的轨迹的示例的图式。
[图18]图18是示出声音对象图像的显示示例的图式。
[图19]图19是描述AR对象通信处理2的流程图。
[图20]图20是示出声音对象图像的显示示例的图式。
[图21]图21是示出声音对象的双向移动的示例的图式。
[图22]图22是示出AR对象的图像绘图路径的示例的图式。
[图23]图23是示出VPT的概念的图式。
[图24]图24是示出VPT的信号处理的示例的图式。
[图25]图25是用于描述AR对象的第一声路的图式。
[图26]图26是用于描述基本声音处理的图式。
[图27]图27是用于描述对双向移动的声音处理的图式。
[图28]图28是用于描述在中间位置处的声音处理的图式。
[图29]图29是用于描述对连续声音的声音处理的图式。
[图30]图30是用于描述AR对象的第二声路的图式。
[图31]图31是用于描述基本声音处理的图式。
[图32]图32是示出AR系统的特定操作示例1的图式。
[图33]图33是示出AR系统的特定操作示例2的图式。
具体实施方式
下文将参考图式来描述本技术的实施例。
<AR系统的配置>
图1是示出AR系统的实施例的配置的框图，本技术被应用于所述AR系统。
AR系统1使用增强现实(AR)技术向穿戴有头戴式显示器(HMD)20的使用者呈现关于所述使用者的当前位置的信息。如图1中所示，AR系统1由控制箱10、HMD 20、智能手机30和AR服务器40构成。控制箱10和HMD20通过符合预定标准的电缆而彼此连接。另外，智能手机30和AR服务器40经由无线网络、因特网80等而彼此连接。
控制箱10为用于控制HMD 20的设备，并且根据由使用者对各种按钮的操纵来控制HMD 20的操作。HMD 20为可穿戴式计算机的示例，并且为具有透射型显示器、耳机等的眼镜型装置。HMD 20具有用于左眼和右眼的一对透射型显示器并且戴在使用者头上，所述一对透射型显示器安置在被放置于普通眼镜的框架中的透镜的位置处。
另外，控制箱10具有短程无线通信单元，并且可以基于短程无线通信标准(例如，蓝牙(注册商标))与智能手机30执行无线通信以交换各种种类的数据。智能手机30具有全球定位系统(GPS)功能，并且可以通过从GPS卫星90接收信号来获取穿戴有HMD 20的使用者的当前位置。接着，智能收集30经由因特网80将指示当前位置的信息传输到AR服务器40以获取当前位置的AR对象信息。智能手机30经由无线通信将AR对象信息传输到控制箱10。
此处，AR对象信息包含坐标、图像、声音等的信息。坐标信息是指(例如)AR对象在围绕穿戴有HMD 20的使用者的圆柱坐标系上的坐标，所述坐标指示HMD 20的安置位置。图像信息是指关于被显示为AR对象的图像的信息。另外，声音信息是指关于指示AR对象的声音的信息。在以下描述中，AR对象的图像信息将被称为“图像对象”，并且其声音信息将被称为“声音对象”。
但是，AR对象信息至少包含其图像对象和坐标信息，并且所述信息任意地包含声音对象。因此，在AR对象当中，包含声音对象的AR对象特别地将被称为“加入声音的AR对象”。另外，声音对象进一步包含图像信息，并且其图像将被称为“声音对象图像”。
控制箱10将从智能手机30接收到的AR对象信息输出到HMD 20。相应地，例如，与穿戴有HMD 20的使用者透过透射型显示器所看到的对象有关的图像对象可以被覆盖和显示于对象上。另外，对应于声音对象的声音可以从HMD 20的耳机输出。
AR系统1被配置成如上文所描述。
<相应装置的配置示例>
接下来，将参考图2到图5来描述构成图1的AR系统1的相应装置的配置示例。
(控制箱和HMD的详细配置)
图2是示出图1的控制箱10和HMD 20的详细配置的框图。如上文所描述，控制箱10和HMD 20通过符合预定标准的电缆而彼此连接。
如图2中所示，中央处理单元(CPU)101、只读存储器(ROM)102和随机存取存储器(RAM)103在控制箱10中通过总线104而彼此连接。CPU 101执行ROM 102中所记录的控制程序以控制控制箱10的每个单元的操作。另外，RAM 103包含被适当地记录在其中的各种种类的数据。
输入输出接口105进一步连接到总线104。输入输出接口105连接到操纵单元106、连接单元107和无线通信单元108。操纵单元106是控制箱10中所提供的实体按钮等，并且根据使用者的操纵将操纵信号供应到CPU 101。CPU101根据来自操纵单元106的操纵信号来控制HMD 20的每个单元的操作。
连接单元107通过符合预定标准的电缆连接到HMD 20，并且根据对CPU101的控制来执行与HMD 20的各种种类的数据的交换。无线通信单元108具有短程无线通信功能，其基于预定短程无线通信标准根据对CPU 101的控制来执行与智能手机30的无线通信以交换各种种类的数据。
另外，如图2中所示，HMD 20由以下各者构成：连接单元201、地磁传感器203、陀螺仪传感器204、加速度传感器205、显示器206、耳机207和相机单元208，并且这些构成元件连接到输入输出接口202。
地磁传感器203检测HMD 20周围的地磁。陀螺仪传感器204检测HMD 20的旋转角度。加速度传感器205检测HMD 20的重力加速度。来自地磁传感器203、陀螺仪传感器204和加速度传感器205的检测结果作为传感器值经由输入输出接口202被供应到连接单元201。
连接单元201将来自地磁传感器203、陀螺仪传感器204和加速度传感器205的传感器值输出到控制箱10。相应地，控制箱10可以使用所述传感器值来检测HMD 20的姿势或方向。应注意，控制箱10可使用传感器值而非使用基于所谓的自主导航的GPS功能来获取使用者的当前位置。
显示器206包含上文所描述的用于左眼和右眼的一对透射型显示器。显示器206根据对控制箱10的控制来显示各种图像。另外，耳机207为放置于靠近使用者左耳和右耳的位置处的小型耳机。耳机207根据对控制箱10的控制来输出各种声音。
相机单元208是配置有固态图像传感器(例如，互补金氧半导体(CMOS)图像传感器)的外向式相机，并且具有为透过显示器206观看到的主体照相的功能。相机单元208将通过为主体照相并执行预定图像处理所获得的图像数据供应到连接单元201。连接单元201将来自相机单元208的图像数据输出到控制箱10。相应地，控制箱10可以对图像数据执行各种种类的处理。
(智能手机的详细配置)
图3是示出图1的智能手机30的详细配置的框图。
如图3中所示，CPU 301、ROM 302和RAM 303在智能手机30中通过总线304而彼此连接。CPU 301执行ROM 302中所记录的控制程序以控制智能手机30的各种操作。另外，RAM303具有被适当地记录在其中的各种种类的数据。
输入输出接口305进一步连接到总线304。触控面板306、扬声器307、GPS单元308、无线通信单元309和移动通信单元310连接到输入输出接口305。
触控面板306由显示单元321和覆盖在显示单元的屏幕上的触控传感器322构成。显示单元321由液晶显示器(LCD)等配置而成，并且根据CPU 301的控制来显示各种种类的信息。另外，触控传感器322检测由使用者在触控面板306上执行的输入操纵连同触控面板306上的执行所述操纵所在的位置，并将检测信号供应到CPU 301。CPU 301根据来自触控传感器322的检测信号来控制智能手机30的单元的操作。
扬声器307根据CPU 301的控制来输出对应于声音信号的声音。另外，GPS单元308根据CPU 301的控制通过经由天线从GPS卫星90接收信号来获取使用者的当前位置。
无线通信单元309具有短程无线通信功能，并且因此根据CPU 301的控制来执行与控制箱10的符合预定短程无线通信标准的无线通信以交换各种种类的数据。另外，移动通信单元310根据CPU 301的控制经由因特网80来执行与AR服务器40等的通信以交换各种种类的数据。应注意，虽然未说明细节，但智能手机30具有其它功能(例如，如移动电话的呼叫功能)。
(AR服务器的详细配置)
图4是示出图1的AR服务器40的详细配置的框图。
如图4中所示，CPU 401、ROM 402和RAM 403在AR服务器40中通过总线404而彼此连接。CPU 401执行ROM 402中所记录的控制程序以控制AR服务器40的单元的各种操作。另外，RAM 403具有被适当地记录在其中的各种种类的数据。
输入输出接口405进一步连接到总线404。输入单元406、显示单元407、扬声器408、通信单元409、AR对象保留单元410和驱动器411连接到输入输出接口405。
输入单元406包含键盘、鼠标、麦克风等，并且将输入信息供应到CPU 401。显示单元407由液晶显示器等配置而成，并且根据对CPU 401的控制来显示各种种类的信息。另外，扬声器408根据对CPU 401的控制来输出声音。通信单元409根据对CPU 401的控制经由因特网80来执行与智能手机30的通信以交换各种种类的数据。
AR对象保留单元410保留AR对象信息。AR对象信息例如被预先准备作为待覆盖在实空间的对象上的数据，并且被记录在AR对象保留单元410中。AR对象保留单元410根据对CPU 401的控制将AR对象信息供应到通信单元409。通信单元409经由因特网80将从AR对象保留单元410读取到的AR对象信息传输到智能手机30。
驱动器411用于适当地加载移动介质(例如，磁盘、光盘、磁光盘或半导体存储器)以根据对CPU 401的控制来驱动移动介质。
(AR处理单元的详细配置)
图5是示出AR处理单元500的详细配置的图式。当例如控制箱10的CPU101执行控制程序时，AR处理单元500被实现为软件。但是，AR处理单元500的功能可通过另一电子设备例如，HMD 20来实现。另外，AR处理单元500的功能可通过例如具有控制箱10、HMD 20和甚至智能手机30的集成功能的电子设备来实现。
如图5中所示，AR处理单元500包含传感器值获取单元501、AR对象信息获取单元502、HMD方向计算单元503、显示区域坐标计算单元504、绘图处理单元505、声音处理单元506和加入声音的AR对象通信处理单元507。
传感器值获取单元501获取由HMD 20的地磁传感器203、陀螺仪传感器204和加速度传感器205检测到的传感器值，并将所述值供应到HMD检测计算单元503。另外，AR对象信息获取单元502获取从AR服务器40接收到的当前位置的AR对象信息，并将包含在AR对象信息中的信息供应到绘图处理单元505、声音处理单元506和加入声音的AR对象通信处理单元507中的每一者。具体而言，出自包含在AR对象信息中的信息的坐标信息被供应到绘图处理单元505和加入声音的AR对象通信处理单元507，图像对象被供应到绘图处理单元505和加入声音的AR对象通信处理单元507，声音对象被供应到声音处理单元506和加入声音的AR对象通信处理单元507，并且声音对象图像被供应到加入声音的AR对象通信处理单元507。
HMD方向计算单元503基于从传感器值获取单元501供应的传感器值来计算戴在使用者头上的HMD 20的方向，并且将所述方向供应到显示区域坐标计算单元504和加入声音的AR对象通信处理单元507。
显示区域坐标计算单元504基于从HMD方向计算单元503供应的指示HMD 20方向的信息来计算HMD 20的显示器206的显示区域(其将在下文中被称为“显示区域A”)的坐标，并且将计算结果作为显示区域信息供应到绘图处理单元505和加入声音的AR对象通信处理单元507。
绘图处理单元505接收来自显示区域坐标计算单元504的显示区域信息、坐标信息和来自AR对象信息获取单元502的图像对象的供应。绘图处理单元505基于显示区域信息和坐标信息而致使在HMD 20的显示器206上显示图像对象。另外，绘图处理单元505根据对加入声音的AR对象通信处理单元507的控制而致使在HMD 20的显示器206上显示声音对象图像。
声音处理单元506根据对加入声音的AR对象通信处理单元507的控制而致使从HDM20的耳机207输出声音，所述声音对应于从AR对象信息获取单元502供应的声音对象的声音信号。
加入声音的AR对象通信处理单元507执行针对加入声音的AR对象的处理。加入声音的AR对象通信处理单元507由显示区域外位置指定单元521、轨迹设定单元522和绘图/声音控制单元523构成。
显示区域外位置指定单元521基于从显示区域坐标计算单元504供应的显示区域信息来指定在显示区域A外的需要指示的地方(下文中被称为“目标T”)的位置。举例来说，当将显示区域A外存在的AR对象设定为目标T时，图像对象的坐标信息被指定为目标T的位置。但是，目标T并不限于AR对象，并且其可为任何对象，例如，存在于实空间中并且可以指定其位置的对象
轨迹设定单元522设定从AR对象信息获取单元502供应的声音对象的轨迹。但是，轨迹设定单元522将穿过显示区域A的轨迹设定为声音对象的轨迹至少一次。
绘图/声音控制单元523根据由轨迹设定单元522设定的轨迹来控制绘图处理单元505以在HMD 20的显示器206上显示声音对象图像。另外，绘图/声音控制单元523根据例如由轨迹设定单元522设定的轨迹的信息来控制声音处理单元506以从HMD 20的耳机207输出对应于声音对象的声音信号的声音。
另外，绘图/声音控制单元523基于从HMD方向计算单元503供应的指示HMD 20方向的信息来控制声音处理单元506以使AR对象(声音对象)的高度与HMD 20的显示器20的显示区域的中心高度匹配。
<由相应装置执行的特定处理的细节>
首先，将参考图6的流程图来描述由构成AR系统1的相应装置执行的处理以及根据所述处理的信息流动。但是，在图6的流程图中，来自步骤S101到S103的处理由控制箱101执行，来自步骤S201到S204的处理由HMD 20执行。另外，来自步骤S301到S305的处理由智能手机30执行，并且来自步骤S401到S403的处理由AR服务器40执行。
如图6中所示，HMD 20确定预定时间间隔(其为每个传感器执行感测的时序)是否已流逝(S201)，并且当预定时间间隔已流逝时，处理进行到步骤S202。接着，由于地磁传感器203、陀螺仪传感器204和加速度传感器205执行感测，所以连接单元201将所述传感器的检测结果作为传感器值输出到控制箱10(S202)。应注意，HMD 20例如每秒30次来执行获取传感器值的处理。
在控制箱10中，传感器值获取单元501控制连接单元107以获取从HMD20输出的传感器值(S101)。
另外，智能手机30确定预定时间间隔(其为GPS卫星90获取当前位置的时序)是否已流逝(S301)，并且当预定时间间隔已流逝时，处理进行到步骤S302，如图6中所示。接着，GPS单元308根据CPU 301的控制经由天线从GPS卫星90接收信号以获取使用者的当前位置(S302)。移动通信单元310根据CPU 301的控制经由因特网80将指示使用者的当前位置的信息传输到AR服务器40(S303)。
在AR服务器40中，当从智能手机30传输指示当前位置的信息时，通信单元409根据对CPU 401的控制经由因特网80来获取从智能手机30传输的指示当前位置的信息(S401)。接着，CPU 401获取AR对象信息(S402)，所述AR对象信息对应于由通信单元409从AR对象保留单元410获取的指示当前位置的信息。通信单元409根据对CPU 401的控制经由因特网80将对应于指示当前位置的信息的AR对象信息传输到智能手机30(S403)。
在智能手机30中，移动通信单元310根据CPU 301的控制经由因特网80来接收从AR服务器40传输的AR对象信息(S304)。另外，无线通信单元309根据CPU 301的控制基于预定短程无线通信标准来执行与控制箱10的无线通信以传输AR对象信息(S305)。应注意，智能手机30例如每10秒一次来执行获取对应于当前位置的AR对象信息的处理。
在控制箱10中，AR对象信息获取单元502控制无线通信单元108以基于预定短程无线通信标准来执行与智能手机30的无线通信，并由此接收AR对象信息(S102)。接着，AR处理单元500基于从HMD 20获取的传感器值和从AR服务器40提供的使用者当前位置根据AR对象信息来执行AR对象通信处理(S103)。在AR对象通信处理中，显示在HMD 20的显示器206的显示区域A内的AR对象的图像对象，并且在显示区域A外的AR对象由声音对象来指示。下文将参考图7和图19的流程图来描述AR对象通信处理的细节。
接着，通过执行AR对象通信处理，在HMD 20的显示器206上显示对应于AR对象通信处理的图像(S203)，并且从HMD 20的耳机207输出对应于AR对象通信处理的声音(S204)。
上文已描述了由构成AR系统1的相应装置执行的处理以及根据所述处理的信息流动。
(AR对象通信处理1)
接下来，将参考图7的流程图来描述AR对象通信处理1，所述AR对象通信处理对应于由AR处理单元500执行的图6的步骤S103。
在步骤S501中，HMD党项计算单元503基于来自传感器值获取单元501的传感器值来计算HMD 20的方向，并且将所述方向供应到显示区域坐标计算单元504。
在步骤S502中，显示区域坐标计算单元504基于来自HMD方向计算单元503的指示HMD 20方向的信息来计算HMD 20的显示器206的显示区域A的坐标，并且将计算结果作为显示区域信息供应到绘图处理单元505和加入声音的AR对象通信处理单元507。
在步骤S503中，绘图处理单元505基于来自AR对象信息获取单元502的图像对象的坐标信息和来自显示区域坐标计算单元504的显示区域信息来确定在显示器206的显示区域A和目标图像对象(AR对象)之间是否存在重叠部分。如果在步骤S503中确定存在重叠部分，那么处理进行到步骤S504。
在步骤S504中，绘图处理单元505根据步骤S503的确定结果在显示器206的显示区域A中绘制所述重叠部分的图像对象。此处，将参考图8和图9来描述图像对象(AR对象)的绘图处理的详细过程。
如图8中所示，当将向穿戴有HMD 20的使用者2呈现图像对象(AR对象)时，围绕使用者2(充当圆柱坐标系C的中心)定义圆柱坐标系C，并且在圆柱坐标系C上决定显示区域A和图像对象Ob的位置。换句话说，根据HMD 20方向的显示区域A以及根据使用者当前位置的图像对象Ob1和Ob2安置在图8的圆柱坐标系C中。另外，如图9中所示，显示区域A和图像对象Ob1在重叠部分OL中彼此重叠。因此，在图7的步骤S504的图像对象的绘图处理中，在显示器206的显示区域A中绘制图像对象Ob1的重叠部分OL。
返回到图7的流程图，如果在步骤S503中确定不存在重叠部分，那么跳过步骤S504的处理，并且处理进行到步骤S505。举例来说，由于图8的图像对象Ob2在显示区域A外，所以其非为步骤S504的绘图处理的目标。
在步骤S505中，确定是否将声音加入到目标AR对象。如果在步骤S505中确定声音被加入到目标AR对象(换句话说，如果确定对象为加入声音的AR对象)，那么处理进行到步骤S506。
在步骤S506中，加入声音的AR对象通信处理单元507基于由AR对象信息获取单元502获取的AR对象信息以及由显示区域坐标计算单元504计算的显示区域坐标来执行加入声音的AR对象通信处理。在加入声音的AR对象通信处理中，执行用于向穿戴有HMD 20的使用者2指示在显示区域A外的目标T的位置的处理。换句话说，当(例如)如图10中所示从上面观看图8的圆柱坐标系C时，并且当不存在与显示区域A重叠的AR对象而是仅存在在显示区域A外的加入声音的AR对象Ob时，计算形成于穿戴有HMD 20的使用者的视线方向(前方向)和加入声音的AR对象Ob的方向之间的差动角以作为对象方向信息。接着，使用这个对象方向信息来控制声音的输出使得从指示加入声音的AR对象Ob(目标T)的方向听到声音对象的声音，并且因此指示在显示区域A外的加入声音的AR对象Ob(目标T)的位置。将参考图11和图15的流程图来描述加入声音的AR对象通信处理的细节。
返回到图7的流程图，当在步骤S505中确定目标AR对象没有加入有声音时，跳过步骤S506的处理，并且处理进行到步骤S507。在步骤S507中，确定是否已处理由AR对象信息获取单元502获取的所有AR对象。如果在步骤S507中确定未处理所有AR对象，那么处理进行到步骤S508。
在步骤S508中，将尚未经历处理的一个AR对象选择作为下一目标AR对象。另外，当重复上文所描述的步骤S503到S506的处理且接着所选目标AR对象的图像对象位于显示区域A上时，绘制其重叠部分(S504)，并且当另外的所选AR对象为加入声音的AR对象时，执行加入声音的AR对象通信处理(S506)。
当如上文所描述对由AR对象信息获取单元502获取的一个或多个AR对象顺序地执行处理并且在步骤S507中已处理了所有AR对象时，图7的AR对象通信处理1结束。处理其后返回到图6的步骤S103，并且执行随后的处理。
上文已描述了AR对象通信处理1。当在AR对象通信处理1中执行加入声音的AR对象通信处理时，指定在HMD 20的显示器206的显示区域A外的位置(例如，目标T(例如，加入声音的AR对象)的位置)，并且在加入声音的AR对象朝指定位置移动时控制声音对象的声音的输出。结果，可以更准确地指示在显示区域A外的位置，并且因此使用者可以注意到所述位置。
应注意，关于图7的AR对象通信处理1，(例如)针对一个AR对象每秒30次来执行处理。
(加入声音的AR对象通信处理1)
接下来，将参考图11的流程图来描述加入声音的AR对象通信处理1，所述处理对应于由加入声音的AR对象通信处理单元507执行的图7的步骤S506。
在步骤S521中，显示区域外位置指定单元521确定在显示区域A外是否存在需要指示的目标T。当在步骤S521中确定在显示区域A外存在需要指示的目标T时，处理进行到步骤S522。
在步骤S522中，显示区域外位置指定单元521指定在显示区域A外的目标T的位置。举例来说，指定在显示区域A外的目标T(例如，加入声音的AR对象等)在圆柱坐标系C中的位置，如图12中所示。
返回到图11的流程图，轨迹设定单元522在步骤S523中设定声音对象的轨迹。但是，声音对象的轨迹需要为穿过显示区域A至少一次的轨迹。举例来说，圆柱坐标系C中的位置P1到P7被设定为声音对象的轨迹，如图13中所示。在图13的轨迹上，声音对象相对于使用者2(其为圆柱坐标系C的中心)顺序地移动穿过圆柱坐标系C中的位置P1到P7。在图13中，从位置P4到P6的一部分轨迹穿过显示区域A。
返回到图11的流程图，绘图/声音控制单元523在步骤S524中设定声音对象图像。声音对象图像是当声音对象穿过显示区域A时显示在显示区域A上的图像，并且可以便于识别目标T的图像是优选的。因此，作为声音对象图像，例如指向目标T等的箭头是有可能的。但是，对于声音对象图像来说，可将固定图像设定为默认值，并且在这种情况下，省略步骤S524的处理。
在步骤S525中，绘图/声音控制单元523控制声音处理单元506以产生圆柱坐标系C中的起始点(即，在图13的轨迹的位置P1处的声音对象)。在产生声音对象之后，处理进行到步骤S526。在步骤S526中，绘图/声音控制单元523根据由轨迹设定单元522设定的轨迹来控制声音处理单元506以恒定速度移动声音对象。在步骤S527中，绘图/声音控制单元523确定声音对象是否穿过显示区域A。如果在步骤S527中确定声音对象穿过显示区域A，那么处理进行到步骤S528。
在步骤S528中，绘图/声音控制单元523控制绘图处理单元505以在HMD20的显示器206上显示声音对象图像。另一方面，当在步骤S527中确定声音对象不穿过显示区域A时，跳过步骤S528的处理，并且处理进行到步骤S529在骤S529中，绘图/声音控制单元523确定声音对象是否已到达终点。当在步骤S529中确定声音对象尚未到达终点时，处理返回到步骤S526，并且重复随后的处理。
另外，当重复从步骤S526到S529的处理时，声音对象从充当图13的轨迹上的起始点的位置P1开始输出声音并在继续输出声音的同时以恒定速度移动到圆柱坐标系C中的位置P2到P7，并且当其到达位置P7时声音对象停止输出声音。由于整个轨迹上的部分段(例如，从位置P4到位置P5的段等)是声音对象所穿过的显示区域A，所以声音对象图像(例如，箭头)被显示在显示器206的显示区域A中。
如果在步骤S529中确定声音对象已到达终点(即，位置P7)，那么处理进行到步骤S530。在步骤S530中，绘图/声音控制单元523控制声音处理单元506以擦除已到达终点的声音对象。
具体而言，如图14中所示，当将绘图的上下方向设定为时间轴且声音对象在时间t1处于位置P2时，声音对象Ob在显示区域A外，如圆柱坐标系Ct1中所示，并且因此仅执行声音的输出而不执行声音对象图像的显示。接着，当声音对象Ob在时间t2移动到位置P5时，声音对象Ob被定位在显示区域A中，如圆柱坐标系Ct2中所示，并且因此执行声音对象图像的显示连同声音的输出。应注意，在实践中，显示以恒定速度移动并且从左边横越显示区域A到右边的如箭头的声音对象图像的图像。
因此，由于声音对象图像进入到使用者2的视野中并且可以看到声音对象Ob的移动速度，所以使用者2可以在视觉上辨识箭头的图像以及声音，并且因此可以直观地在显示区域A的右边捕捉到目标T的存在。
接着，当声音对象Ob在时间t3移动到位置P7时，声音对象Ob穿过显示区域A并被定位在所述区域外，如圆柱坐标系Ct3中所示，并且仅输出声音。接着，当声音对象Ob到达位置P7时，声音对象在时间t4被擦除并且停止输出声音，如圆柱坐标系Ct4中所示。
因此，在使用者2辨识出以恒定速度在显示区域A中移动的声音对象图像之后，使用者察觉到从当声音对象图像离开视野时到当声音被擦除时所花费的时间，并且因此使用者可以直观地察觉到在右边目标T的位置离使用者所面对的方向有多远。
返回到图11的流程图，在步骤S531中确定使用者2是否面向目标T的位置的方向。此处，使用HMD 20中所提供的各种传感器的传感器值，例如，计算在声音对象到达位置P7且被擦除后使用者2的脸部的方向，并且确定使用者2是否面向目标T的位置的方向。如果在步骤S531中确定使用者2面向目标T的位置的方向，那么处理返回到步骤S525。
接着，通过重复步骤S525到S531的处理，再次使用声音对象的声音和声音对象图像来执行用于指示在显示区域A外的目标T的位置的处理，并且如果确定使用者2面向目标T的位置的方向，那么图11的加入声音的AR对象通信处理1结束。另外，当在步骤S521中确定在显示区域A外不存在需要指示的目标T时，图11的加入声音的AR对象通信处理1结束。接着，处理返回到图7的步骤S506，并且重复随后的处理。
上文已描述了加入声音的AR对象通信处理1。在加入声音的AR对象通信处理1中，在这种情况下，当加入声音的AR对象移动到指定位置(例如，目标T(例如，加入声音的AR对象)的位置)时，控制对声音对象的声音的输出，并且当声音对象穿过显示区域A时，其声音对象图像被显示在显示区域A中。结果，声音和图像更准确地指示在显示区域A外的其位置，并且因此使用者可以注意到所述位置。
(加入声音的AR对象通信处理2)
接下来，将参考图15的流程图来描述加入声音的AR对象通信处理2，所述处理对应于由加入声音的AR对象通信处理单元507执行的图7的步骤S506。
与在图11的步骤S521和S522中一样，当在步骤S541到S542中在HMD20的显示器206的显示区域A外存在需要指示的目标T时，指定目标T的位置。此处，在圆柱坐标系C中指定在显示区域A外的目标T(例如，加入声音的AR对象等)的位置，如(例如)图16中所示。
返回到图15，与在图11的步骤S523和S524中一样，分别在步骤S543和S544中设定声音对象的轨迹和声音对象图像。此处，例如，圆柱坐标系C的位置P1到P7被设定为声音对象的轨迹，如图17中所示。在图17的轨迹上，声音对象顺序地移动穿过位置P1到P5，在某种程度上接近处于圆柱坐标系C的中心的使用者2，接着顺序地移动穿过位置P5到P7，并在使用者2的右方向移动。在图17中，除位置P1到P5的轨迹之外，位置P5和P6的一部分轨迹也在显示区域A内。另外，作为声音对象，例如可以设定“！”(感叹号)等。
返回到图15的流程图，绘图/声音控制单元523在步骤S545中控制声音处理单元506以在圆柱坐标系C中的起始点(即，图17的轨迹上的位置P1)处产生声音对象。当产生声音对象时，处理进行到步骤S546。
绘图/声音控制单元523在步骤S546中确定其是否为暂时停止声音对象的时序。当在步骤S546中确定其为暂时停止声音对象的的时序时，处理进行到步骤S547。
绘图/声音控制单元523在步骤S547中控制声音处理单元506以暂时停止声音对象的移动。相应地，声音对象停在轨迹上的某个位置处。接着，在步骤S548中确定其是否为用于终止对暂时停止的声音对象的暂时停止的时序。当在步骤S548中确定其非为用于终止暂时停止的时序，那么重复步骤S548的确定处理。换句话说，在所述情况下，声音对象继续停留在某个轨迹上的某个位置处。
另一方面，当在步骤S548中确定其为用于终止暂时停止的时序时，处理进行到步骤S549。另外，当在步骤S546中确定其非为暂时停止声音对象的时序时，跳过步骤S547和S548的处理，并且处理进行到步骤S549。
在步骤S549中，绘图/声音控制单元523控制声音处理单元506以恒定速度移动声音对象，从而遵循由轨迹设定单元522设定的轨迹。
与在图11的步骤S527和S528中一样，在步骤S550和S551中，确定声音对象是否穿过显示区域A，并且当声音对象穿过显示区域A时，在HMD 20的显示器206上显示声音对象图像。另外，在步骤S552中，绘图/声音控制单元523确定声音对象是否已到达终点。当在步骤S552中确定声音对象未到达终点时，处理返回到步骤S546，并且重复随后的处理。
换句话说，通过重复步骤S546到S552的处理，声音对象从充当图17的轨迹上的起始点的位置P1开始输出声音，并在继续输出声音的同时声音对象以恒定速度顺序地移动穿过直线上的位置P2到P5。接着，当到达位置P5时，声音对象暂时停止而停留在所述位置上历时预定的一段时间。接着，声音对象恢复移动，从位置P5(其为直线轨迹的终点)将其行进方向改变到目标T的方向，并接着从位置P5移动到P7，并且当其到达位置P7时停止输出声音。
但是，在整个轨迹上，如从使用者2观看，部分段(例如，从位置P1到P5的段等)是在显示区域A中，并且当声音对象在所述段中时，声音对象图像被显示在显示器206的显示区域A中，并且此外其暂时停在位置P5处。因此，当感叹号(“！”)被设定为声音对象图像时，例如，存在使用者注意到感叹号接近他或她的较高可能性，并且可以进一步提高所述可能性，因为感叹号暂时停在显示区域中。
如果在步骤S552中确定声音对象已到达终点(即，位置P7)，那么处理进行到步骤S553。在步骤S553中，绘图/声音控制单元523控制声音处理单元506以擦除已到达终点的声音对象。
如图18中所示，具体而言，在其中将绘图的上下方向设定为时间轴的情况下，当声音对象在时间t1处于位置P1时，声音对象Ob在显示区域A中，如圆柱坐标系Ct1中所示，并且因此执行声音的输出以及声音对象图像的显示。在这种情况下，由于位置P1比位置P5离使用者2更远，所以感叹号的声音对象图像被显示为较小。
接着，当声音对象在时间t2移动到位置P5时，声音对象Ob在显示区域A中，如圆柱坐标系Ct2中所示，并且因此执行声音的输出以及声音对象图像的显示。在这种情况下，由于位置P5比位置P1更靠近使用者2，所以感叹号的声音对象图像被显示为较大。换句话说，当在实践中声音对象在位置P1到P5的轨迹上顺序地移动时，显示在显示区域A中的感叹号的声音对象图像逐渐被放大。相应地，使用者2在视觉上辨识感叹号的声音对象图像以及声音，并且因此可以直观地察觉到目标T在显示区域A外。
另外，声音对象其后从位置P5(其充当直线轨迹的终点)将其行进方向改变到目标T的方向以从位置P5移动到P7，并且位置P5和P6的段的一部分被包含在显示区域A中。因此，使用者2看到接近他或她的感叹号的声音对象图像暂时停止且接着移动到右边，并且因此可以直观地察觉到目标T在显示区域A的右边。
接着，当声音对象Ob在时间t3移动到位置P7时，声音对象Ob被定位在显示区域A外，如圆柱坐标系Ct3中所示，并且仅输出声音。接着，当声音对象Ob到达位置P7时，声音对象在时间t4被擦除并且停止输出声音，如圆柱坐标系Ct4中所示。
返回到图15的流程图，当在步骤S553的处理中擦除已到达终点的声音对象时，处理进行到步骤S554。与在图11的步骤S531中一样，在步骤S554中，确定使用者2是否面向目标T的位置的方向。当在步骤S554中确定使用者2不面向目标T的位置的方向时，处理返回到步骤S545。
接着，通过重复步骤S545到S554的处理，再次使用声音对象的声音和其声音对象图像来执行用于指示在显示区域A外的目标T的处理，并且当确定使用者2面向目标T的位置的方向时，图15的加入声音的AR对象通信处理2结束。接着，处理返回到图7的步骤S506，并且重复随后的处理。
上文已描述了加入声音的AR对象通信处理2。在加入声音的AR对象通信处理2中，在这种情况下，当加入声音的AR对象移动到指定位置(例如，目标T(例如，加入声音的AR对象)的位置)时，控制对声音对象的声音的输出，并且当声音对象穿过显示区域A时，其声音对象图像被显示在显示区域A中。结果，由于声音对象图像可以暂时停在显示区域A中，所以得以使用声音和图像来更准确地指示在显示区域A外的位置，并且因此使用者必定可以注意到所述位置。
(AR对象通信处理2)
接下来，将参考图19的流程图来描述AR对象通信处理2，所述AR对象通信处理对应于由AR处理单元500执行的图6的步骤S103。
计算HMD 20的方向，并且此外，与在图7的步骤S501和S502中一样，在步骤S561和S562中计算在HMD 20的显示器206上的显示区域坐标A的坐标。
在步骤S563中，绘图/声音控制单元523基于来自HMD方向计算单元503的指示HMD20方向的信息来使声音对象(AR对象)的高度与HMD 20的显示区域A的中心高度匹配。
如图20中所示，当绘图的上下方向被设定为时间轴时，具体而言，声音对象Ob(AR对象Ob)在时间t1朝目标T移动，如圆柱坐标系Ct1中所示；但是，当将HMD 20戴在他或她的头上的使用者2上下摇动时，例如，显示区域A的中心高度改变。由于使用者2在时间t2使他或她的头面向下，所以显示区域A的中心高度在绘图的下部方向上移动，如圆柱坐标系Ct2中所示，但声音对象Ob的高度与显示区域A的中心高度匹配。另外，由于使用者2在时间t3使他或她的头面向上，所以显示区域A的中心高度在绘图的上部方向上移动，如圆柱坐标系Ct3中所示，但声音对象Ob的高度与显示区域A的中心高度匹配。
通过执行如上文所描述的控制，得以控制声音对象Ob(AR对象Ob)以在所有时间具有与HMD 20的显示区域A的中心高度相同的高度，且结果，声音对象Ob穿过显示区域A至少一次，并且因此即使当使用者2上下摇动他或她的头时，他或她仍可以在视觉上辨识声音对象图像(例如，箭头)。
返回到图19的流程图，绘制显示区域A的重叠部分的图像对象，并且当AR对象是加入声音的AR对象时，与在图7的步骤S503到S508中一样，在步骤S564到S569中执行图11或图15的加入声音的AR对象通信处理。
上文已描述了AR对象通信处理2。当在AR对象通信处理2中执行加入声音的AR对象通信处理时，在圆柱坐标系C中使声音对象(AR对象)的高度与HMD 20的显示器20的显示区域A的中心高度匹配，并且因此即使当使用者摇动他或她的头等时，仍更准确地指示在显示区域A外的位置，并且使用者可以注意到所述位置。
应注意，虽然在图20中已描述了其中声音对象Ob在显示区域A中上下摇动的情况，但当声音对象Ob在显示区域A外上下摇动时也可以应用AR对象通信处理2。举例来说，当将HMD 20戴在他或她的头上的使用者2上下摇动头时，显示区域A的中心高度改变，并且即使当声音对象Ob在显示区域A外上下移动时，声音对象Ob的高度仍可以与显示区域A的中心高度匹配。
因此，即使当使用者2显著地上下移动他或她的头且因此声音对象Ob显著地偏离显示区域A时，例如，仍可以致使声音对象Ob横越显示区域A，并且使用者2可以准确地注意到声音对象图像。
另外，虽然在图20中已描述了其中已上下移位的声音对象Ob的高度与显示区域A的中心高度匹配的情况，但声音对象Ob的高度可以任意地设定而不限于显示区域A的中心高度，只要声音对象Ob(或声音对象图像)可以穿过显示区域A即可。
应注意，(例如)针对每个AR对象每秒30次来执行图19的AR对象通信处理2。
(声音对象的双向移动)
虽然上文所描述的示例示出控制一个声音对象的移动以指示目标T的位置，但可通过控制多个声音对象的移动来指示目标T的位置。
如图21中所示，产生声音对象Ob1和声音对象Ob2以作为用于指示目标T的位置的声音对象，并且控制其移动以指示目标T的位置。具体而言，当绘图的左右方向被设定为时间轴时，两个声音对象Ob1和Ob2在时间t1被定位在使用者2的左边。接着，在从时间t1流逝掉预定时间间隔之后的时间t2，声音对象Ob1移动到使用者2的前面，并且声音对象Ob2移动到使用者2的右后边。另外，在从时间t2流逝掉预定时间间隔之后的时间t3，两个声音对象Ob1和Ob2移动到在使用者2的右前边的目标T附近。
在如上文所描述的图21的示例中，产生多个声音对象Ob1和Ob2，并且当一个声音对象Ob1保持朝目标T的位置顺时针移动且另一声音对象Ob2朝目标T的位置逆时针移动时，控制对声音对象的声音的输出。但是，通过将离散声音指派为声音对象Ob1的声音和声音对象Ob2的声音并且区分用于输出所述声音的时序，可以独立地再现声音。换句话说，已知：当声音对象Ob1和声音对象Ob2的声音相同时，难以区别立体声音；但是，如果改变音乐的频率、音乐速度、流派等，例如有可能独立地再现多个声音对象的声音。
相应地，当多个声音对象朝目标T的位置移动时，所述对象移动到使用者2的两边，例如使用者2的前后边、左右边或上下边，并且因此例如即使当使用者2移动且相应地HMD20的显示区域A在圆柱坐标系C中移动时，声音对象图像仍必定可以穿过显示区域A。
<绘图处理的细节>
(AR绘图的路径)
图22是示出AR对象的绘图路径的示例的图式。
如图22中所示，绘图处理单元505具备图像对象处理单元551-1到551-n(n为等于或大于1的整数)，并对包含在一个或多个AR对象中的图像对象执行绘图处理。具体而言，图像对象处理单元551-1由重叠检测单元561-1和绘图单元562-1构成。
在AR对象1到n当中，重叠检测单元561-1接收包含在AR对象1中的图像对象的坐标信息和显示区域信息的输入。重叠检测单元561-1基于图像对象的坐标信息和显示区域信息来检测显示区域A与目标图像对象(AR对象1)的重叠部分，并将检测结果作为重叠信息供应到绘图单元562-1。
绘图单元562-1基于来自重叠检测单元561-1的重叠信息在显示器206的显示区域A中绘制所述重叠部分的图像对象。
图像对象处理单元551-2到551-n被配置成与图像对象处理单元551-1相同。换句话说，图像对象处理单元551-2到551-n针对包含在每个AR对象中的每个图像对象来执行绘制与显示区域A的重叠部分的处理。但是，当存在多个AR对象时，混合单元552执行混合处理，并且接着将结果输出到HMD 20的显示器206。
<声音处理的细节>
(VPT的概述)
为了实现如上文所描述的使用HMD 20的耳机207来输出声音对象的声音，使用虚拟环绕技术。在本技术中，优选地，将VPT(索尼公司的注册商标)用作此类虚拟环绕技术。在VPT(虚拟耳机技术)中，声音被定位在使用者头部外而非头部内，如图23中所示，并且因此可以创建其中声音似乎是从安置在前边和后边的扬声器自然再现的声场。
具体而言，在VPT中，将头相关传递函数(HRTF)测量作为从声源到两耳的传递过程的特性，所测得的HRTF被卷绕到输入信号中，如图24中所示，并且由此当从耳机再现声音时，可以实现与在从(例如)5.1通道和7.1通道的扬声器听到声音时所产生的声场相同的声场。下文将描述VPT被应用到的本技术的声音处理。但是，作为VPT，设定应用7通道环绕(不使用0.1通道低音炮)。
(第一声路)
图25是用于描述AR对象的第一声路的图式。
如图25中所示，声音处理单元506具备声音对象处理单元571-1到571-n(n为等于或大于1的整数)，并对包含在一个或多个AR对象中的声音对象执行声音处理。具体而言，声音对象处理单元571-1由VPT滤波器计算处理单元581-1和VPT处理单元582-1构成。
VPT滤波器计算处理单元581-1接收AR对象1到n当中的AR对象1的对象方向信息的输入。对象方向信息表示来自穿戴有HMD 20的使用者2的声音对象的方向，并且(例如)可以使用图10的差动角的信息。
VPT滤波器计算处理单元581-1基于AR对象1的对象方向信息来计算VPT滤波器值，并将所述值供应到VPT处理单元582-1。当使用7通道环绕的VPT时，例如，对VPT滤波器值执行幻影处理等以安置成更靠近声音对象的所有位置，并且获得可能向7个通道当中的多个通道给出声音信息的值。但是，如果有必要，显示区域A的坐标可以反映在VPT滤波器值上。
当供应有来自VPT滤波器计算处理单元581-1的VPT滤波器值时，VPT处理单元582-1更新VPT滤波器值。举例来说，由于每秒30次来计算对象方向信息，所以根据所述时间间隔来计算和更新VPT滤波器值。另外，VPT处理单元582-1从AR对象信息获取单元502接收声音对象的声音流的供应。VPT处理单元582-1根据VPT滤波器值将HRTF卷绕到充当输入信号的声音流中。经VPT处理的声音流被供应到混合单元572。当使用7通道环绕的VPT时，例如，当7个通道的HRTF系数乘以待卷绕到其中的输入信号时，可以获得两个通道的输出。
声音对象处理单元571-2到571-n各自被配置成与声音对象处理单元571-1相同。换句话说，声音对象处理单元571-2到571-n针对包含在相应AR对象中的声音对象的每个声音流根据VPT滤波器值来执行VPT处理。相应地，混合单元572接收AR对象2到n的经VPT处理的声音流的供应。混合单元572对经VPT处理的声音流1到n执行混合处理，并将结果输出到HMD 20的耳机207。所述声音流具有(例如)wav文件格式的波形，并且从耳机207来再现经VPT处理的声音信号的波形。
(基本声音处理)
图26是用于描述第一声路的基本声音处理的图式。
当在7.1通道环绕中不使用低音炮时，存在7个扬声器位置C、L、R、SL、SR、SBL和SBR，如图26中所示。换句话说，在7通道环绕中，中央扬声器(C)安置在被定位于圆圈中心处的使用者2的前面，且前扬声器(L和R)安置在与前面形成30°的角度的左边和右边的位置处。另外，环绕扬声器(SL和SR)安置在与前面形成75°的角度的左边和右边的位置处，并且后环绕扬声器(SBL和SBR)进一步安置在与前面形成145°的角度的左边和右边的位置处。每个扬声器具有用于左耳和右耳的HRTF。
此处，假设其中将从位置Pa(起始点)顺序地穿过位置Pg和位置Pf到位置Pe(终点)的轨迹设定为包含在AR对象1中的声音对象的轨迹的情况，如图26中所示。在这种情况下，声音对象的位置实质上与7通道环绕的扬声器的安排一致，并且因此在一个方向上移动的声音对象可指派有对应于所述声音对象的位置的扬声器的HRTF。
具体而言，在时间t1(第一级)，VPT滤波器计算处理单元581-1根据对象方向信息决定使用位置Pa的(即，7通道环绕的SL-ch(a)的)HRTF，并更新VPT处理单元582-1的VPT滤波器值。但是，静音被指派给对应于位置Pb和Pg的通道。VPT处理单元582-1根据VPT滤波器值将左耳的SL-ch(a)的HRTF卷绕到被输入作为声音信号的wav文件格式(例如，“p”声音)的波形中。另外，右耳的SL-ch(a)的HRTF以类似方式被单独地卷绕到声音信号中。由于声音对象仅针对一个方向并且在基本声音处理中存在一个声路，所以混合单元572将由VPT处理单元582-1进行VPT处理的声音信号输出到耳机207。相应地，从HMD 20的耳机207来再现经VPT处理的声音信号的波形。
接下来，当对象方向信息指示位置Pg时，VPT滤波器计算处理单元581-1决定使用7通道环绕的SBL-ch(g)的HRTF，并在从时间t1流逝掉预定时间间隔之后的时间t2(第二级)更新VPT滤波器值。VPT处理单元582-1根据VPT滤波器值将SBL-ch(g)的HRTF卷绕到声音信号中。相应地，从HMD 20的耳机207来再现SBL-ch(g)的HRTF被应用到的经VPT处理的声音信号的波形。
接下来，当对象方向信息指示位置Pf时，VPT滤波器计算处理单元581-1决定使用7通道环绕的SBL-ch(f)的HRTF，并在从时间t2流逝掉预定时间间隔之后的时间t3(第三级)更新VPT滤波器值。VPT处理单元582-1根据VPT滤波器值将SBL-ch(f)的HRTF卷绕到声音信号中。相应地，从HMD 20的耳机207来再现SBL-ch(f)的HRTF被应用到的经VPT处理的声音信号的波形。
随后，当对象方向信息指示位置Pe时，VPT滤波器计算处理单元581-1决定使用7通道环绕的SBL-ch(e)的HRTF，并在从时间t3流逝掉预定时间间隔之后的时间t4(第四级)更新VPT滤波器值。VPT处理单元582-1根据VPT滤波器值将SBL-ch(e)的HRTF卷绕到声音信号中。相应地，从HMD 20的耳机207来再现SBL-ch(e)的HRTF被应用到的经VPT处理的声音信号的波形。
当如上文所描述执行一系列处理时，可以听到从HMD 20的耳机207再现的声音，就好像”p”声音顺序地移动穿过位置Pa、位置Pg、位置Pf和位置Pe的立体位置而不管事实上使用的是2通道耳机。应注意，被给定作为声音对象的声音信息的”p”声音是示例，并且可使用另一个单音。
(双向移动的声音处理)
图27是用于描述第一声路上的双向移动的声音处理的图式。
如图27中所示，假设其中将从位置Pa(起始点)顺序地穿过位置Pb和位置Pd到位置Pe(终点)的第一轨迹设定为包含在AR对象1中的声音对象1的轨迹以及将从位置Pa(起始点)顺序地穿过位置Pg和位置Pf到位置Pe(终点)的第二轨迹设定为包含在AR对象2中的声音对象2的轨迹的情况。在这种情况下，第一轨迹和第二轨迹上的声音对象1和2的位置实质上与7通道环绕的扬声器的安排一致，并且因此在两个方向上移动的声音对象1和2可指派有对应于所述声音对象的位置的扬声器的HRTF。第一轨迹上的声音的输出时序和第二轨迹上的声音的输出时序被设定为不同。
具体而言，当对象方向信息指示充当第一轨迹和第二轨迹的起始点的位置Pa时，VPT滤波器计算处理单元581-1和581-2决定使用7通道环绕的SL-ch(a)的HRTF，并在时间t1(第一级)更新VPT滤波器值。但是，静音被指派给对应于位置Pb到Pg的通道。VPT处理单元582-1和582-2根据VPT滤波器值将左耳的SBL-ch(a)的HRTF卷绕到声音信号中。另外，右耳的SL-ch(a)的HRTF以类似方式被单独地卷绕到声音信号中。在双向移动的声音处理的这个示例中，存在声音对象的两个声路，并且因此混合单元572以交替方式在由VPT处理单元582-1和582-2进行VPT处理的声音信号当中选择一个声音信号，并将所述声音信号输出到HMD 20的耳机207。相应地，例如，从HMD 20的耳机207来再现经VPT处理的声音信号的波形。
接下来，当对象方向信息指示位置Pb时，VPT滤波器计算处理单元581-1决定使用7通道环绕的L-ch(b)的HRTF，并在从时间t1流逝掉预定时间间隔之后的时间t2(第二级)更新VPT滤波器值。VPT处理单元582-1根据VPT滤波器值将L-ch(b)的HRTF卷绕到声音信号中。相应地，从HMD 20的耳机207来再现L-ch(b)的HRTF被应用到的经VPT处理的声音信号的波形。
接下来，当对象方向信息指示位置Pg时，VPT滤波器计算处理单元581-2决定使用7通道环绕的SBL-ch(g)的HRTF，并在从时间t1流逝掉预定时间间隔之后的时间t3(第三级)更新VPT滤波器值。VPT处理单元582-2根据VPT滤波器值将SBL-ch(g)的HRTF卷绕到声音信号中。相应地，从HMD 20的耳机207来再现SBL-ch(g)的HRTF被应用到的经VPT处理的声音信号的波形。
随后，当对象方向信息指示位置Pd时，VPT滤波器计算处理单元581-1决定使用7通道环绕的R-ch(d)的HRTF，并在从时间t2流逝掉预定时间间隔之后的时间t4(第四级)更新VPT滤波器值。VPT处理单元582-1根据VPT滤波器值将R-ch(d)的HRTF卷绕到声音信号中。相应地，从HMD 20的耳机207来再现R-ch(d)的HRTF被应用到的经VPT处理的声音信号的波形。
接下来，当对象方向信息指示位置Pf时，VPT滤波器计算处理单元581-2决定使用7通道环绕的SBR-ch(f)的HRTF，并在从时间t3流逝掉预定时间间隔之后的时间t5(第五级)更新VPT滤波器值。VPT处理单元582-2根据VPT滤波器值将SBR-ch(f)的HRTF卷绕到声音信号中。相应地，从HMD 20的耳机207来再现SBR-ch(f)的HRTF被应用到的经VPT处理的声音信号的波形。
随后，当对象方向信息指示位置Pe时，VPT滤波器计算处理单元581-1和581-2决定使用7通道环绕的SR-ch(e)的HRTF，并在从时间t4和t5流逝掉预定时间间隔之后的时间t6(第六级)更新VPT滤波器值。VPT处理单元582-2根据VPT滤波器值将SR-ch(e)的HRTF卷绕到声音信号中。相应地，从HMD20的耳机207来再现SR-ch(e)的HRTF被应用到的经VPT处理的声音信号的波形。
当如上文所描述执行一系列处理时，可以听到从HMD 20的耳机207再现(输出)的声音，就好像”p”声音顺序地移动穿过位置Pa、位置Pb、位置Pd和位置Pe的立体位置且p”音顺序地移动穿过位置Pa、位置Pg、位置Pf和位置Pe的立体位置而不管事实上使用的是2通道耳机。应注意，被给定作为声音对象的声音信息的”p”声音是示例，并且可使用另一个单声音。
(中间位置的声音处理)
图28是用于描述在第一声路上的中间位置处的声音处理的图式。
如图28中所示，假设其中将从位置Pa(起始点)顺序地穿过位置Pg和位置Pf到位置Pe(终点)的轨迹设定为声音对象的轨迹的情况。在这种情况下，有可能通过致使在当(例如)声音信息是如“p”的连续声音时的位置之间的中间位置处输出声音来连续地移动声音对象，这与例如位置Pa、位置Pg、位置Pf和位置Pe的分散位置形成对比。
具体而言，当对象方向信息指示充当轨迹的起始点的位置Pa时，VPT滤波器计算处理单元581-1决定使用7通道环绕的SL-ch(a)的HRTF，并在时间t1(第一级)更新VPT滤波器值。但是，静音被指派给对应于位置Pb到Pg的通道。VPT处理单元582-1根据VPT滤波器值将左耳的SL-ch(a)的HRTF卷绕到声音信号中。另外，右耳的SL-ch(a)的HRTF同样地被单独地卷绕到声音信号中。在中间位置处进行声音处理的这个示例中，声音对象仅针对一个方向且存在一个声路，并且因此混合单元572将由VPT处理单元582-1进行VPT处理的声音信号输出到HMD 20的耳机207。相应地，例如，从HMD 20的耳机207来再现经VPT处理的声音信号的波形。
接下来，当对象方向信息指示为位置Pa和位置Pg之间的中间位置的位置Px时，VPT滤波器计算处理单元581-1决定使用7通道环绕的SL-ch(g)的HRTF，并在从时间t1流逝掉预定时间间隔之后的时间t2(第二级)更新VPT滤波器值。但是，静音被指派给对应于位置Pb到Pf的通道。VPT处理单元582-1根据VPT滤波器值将左耳的SL-ch(a)的HRTF卷绕到被输入作为声音信号的wav文件格式(例如，“p”声音)的波形中。另外，右耳的SL-ch(a)HRTF以类似方式被单独地卷绕到声音信号中。此外，VPT处理单元582-1根据VPT滤波器值将左耳的SL-ch(g)的HRTF卷绕到被输入作为声音信号的wav文件格式(例如，“p”声音)的波形中。另外，右耳的SL-ch(g)的HRTF以类似方式被单独地卷绕到声音信号中。
但是，虽然位置Px是SL-ch(a)和SL-ch(g)两者的增益，但是其为位置Pa和位置Pg之间的中间位置，并且因此给出相同增益。举例来说，SL-ch(a)的值乘以0.7且SL-ch(g)的值乘以0.7，并且通过其组合获得的输出可以等于来自位置Pa的单个输出。相应地，从HMD20的耳机207来再现SL-ch(a)和SL-ch(g)的HRTF被应用到的经VPT处理的声音信号的波形，并且因此也可以从为位置Pa和位置Pg之间的中间位置的位置Px来听到“p”声音。
其后，以与图26的基本声音处理相同的方式在位置Pg、位置Pf和位置Pe处执行VPT处理，并且关于中间位置处的声音处理，也在位置Pg和位置Pf之间的中间位置以及位置Pf和位置Pe之间的中间位置处执行与为中间位置的位置Px处的处理相同的处理，并且因此也可以从这些中间位置听到“p”声音。
当如上文所描述执行一系列处理时，可以听到从HMD 20的耳机207再现(输出)的声音，就好像“p”声音不仅顺序地移动到位置Pa、位置Pg、位置Pf和位置Pe的立体位置而且移动到以上位置的中间位置且因此“p”声音连续地移动，而不管事实上使用的是2通道耳机。
(连续声音的声音处理)
图29是用于描述第一声路上的连续声音的声音处理的图式。
如图29中所示，假设其中将从位置Pa(起始点)顺序地穿过位置Pg和位置Pf到位置Pe(终点)的轨迹设定为声音对象的轨迹的情况。在这种情况下，有可能通过致使在当(例如)声音信息是如“p”的连续声音时的位置之间的每个段处输出声音来连续地移动声音对象，这与例如位置Pa、位置Pg、位置Pf和位置Pe的分散位置形成对比。
具体而言，当对象方向信息指示充当轨迹的起始点的位置Pa时，VPT滤波器计算处理单元581-1决定使用7通道环绕的SL-ch(a)的HRTF，并在时间t1(第一级)更新VPT滤波器值。但是，静音被指派给对应于位置Pb到Pg的通道。VPT处理单元582-1根据VPT滤波器值将左耳的SL-ch(a)的HRTF卷绕到声音信号中。另外，右耳的SL-ch(a)的HRTF同样地被单独地卷绕到声音信号中。在中间位置的这个示例中，声音对象仅针对一个方向且存在一个声路，并且因此混合单元572将由VPT处理单元582-1进行VPT处理的声音信号输出到HMD 20的耳机207。相应地，例如，从HMD 20的耳机207来再现经VPT处理的声音信号的波形。
接下来，当对象方向信息指示位置Pg时，VPT滤波器计算处理单元581-1决定使用7通道环绕的SL-ch(a)和SBL-ch(g)的HRTF，并在从时间t1流逝掉预定时间间隔之后的时间t2(第二级)更新VPT滤波器值。但是，静音被指派给对应于位置Pb到Pf的通道。VPT处理单元582-1根据VPT滤波器值将左耳的SL-ch(a)的HRTF卷绕到被输入作为声音信号的wav文件格式(例如，“p”声音)的波形中。此外，VPT处理单元582-1根据VPT滤波器值将左耳的SBL-ch(g)的HRTF卷绕到被输入作为声音信号的wav文件格式(例如，“p”声音)的波形中。另外，右耳的SL-ch(a)的HRTF和右耳的SBL-ch(g)的HRTF同样地被单独地卷绕到声音信号中。
此处，关于位置Pa到Pg处的SL-ch(a)和SBL-ch(g)两者的增益比，当SL-ch(a)的水平从最大值移位到最小值时，例如，SBL-ch(g)的水平从最小值移位到最大值，并且因此其增益比被改变。相应地，从HMD 20的耳机207来再现经VPT处理的声音信号的波形，并且可以在位置Pa到Pg的段中听到连续声音“p”。
其后，虽然在位置Pg、位置Pf和位置Pe处以与图26的基本声音处理相同的方式执行VPT处理，但关于连续声音的声音处理，在以上位置的每个段中均执行在位置Pa到Pg的段中所执行的相同VPT处理，并且因此不仅可以在位置Pg到Pf的段中听到连续声音“p”，而且可以在位置Pf到Pe的段中听到连续声音“p”。换句话说，在从起始点到终点的所有段中均可以听到“p”声音，就好象“p”声音是连续移动。
应注意，虽然在位置Pa到Pg的段中使用位置Pa(在上文所描述的连续声音的声音处理中，其为在位置Pg前面的一个位置)的信息来输出连续声音，例如，但如果可以获得下一位置Pf的通道信息，那么所述信息可以用来在位置Pa到Pg的段中输出连续声音。相应地，可以由使用者2更满意地听到声音，就好象所述声音是连续移动。
(第二声路)
图30是用于描述AR对象的第二声路的图式。
如图30中所示，声音处理单元506包含对应通道控制单元591、HRTF处理单元592和双通道化(dual-channeling)单元593。
对应通道控制单元591接收AR对象1到n(n为等于或大于1的整数)的信息的输入。当接收多个AR对象的信息的输入时，对应通道控制单元591产生混合声音并根据每个AR对象的信息将声音安置在预定通道上。另外，对应通道控制单元591决定使用HRTF，并将HRTF供应到HRTF处理单元592。
HRTF处理单元592根据从对应通道控制单元591供应的HRTF将HRTF卷绕到声音信号的波形中。双通道化单元593根据输出通道的数目对来自HRTF处理单元592的声音信号执行双通道化，并将结果输出到HMD 20的耳机207。
应注意，对应通道控制单元591可使移动若干通道的文件(例如，呈wav格式的文件)预先准备好，致使所述文件在预定时序再现，接着致使HRTF处理单元592将每个通道的HRTF卷绕到其中，并致使双通道化单元593对结果执行双通道化。
(基本声音处理)
图31是用于描述第二声路的基本声音处理的图式。
假设其中将从位置Pa(起始点)顺序地穿过位置Pg和位置Pf到位置Pe(终点)的轨迹设定为声音对象的轨迹的情况，如图31中所示。在这种情况下，声音对象的位置实质上与7通道环绕的扬声器的安排一致，并且因此在一个方向上移动的声音对象可指派有对应于所述声音对象的位置的扬声器的HRTF。
具体而言，对应通道控制单元591根据对象方向信息决定使用位置Pa(即，7通道环绕的SL-ch(a))的HRTF，并在时间t1(第一级)将静音指派给对应于其它位置Pb到Pg的通道。但是，在这个示例中，存在一个AR对象(仅在一个方向上)，并且因此没有进一步的补充。接着，HRTF处理单元592将左耳的SL-ch(a)的HRTF卷绕到被输入作为声音信号的wav文件格式(例如，“p”声音)的波形中。另外，右耳的SL-ch(a)的HRTF以类似方式被单独地卷绕到声音信号中。接着，双通道化单元593根据最终输出通道的数目对具有7个通道的声音信号执行双通道化，并将结果输出到HMD 20的耳机207。相应地，从HMD 20的耳机207来再现经VPT处理的声音信号的波形。
接下来，当对象方向信息指示位置Pg时，对应通道控制单元591决定在从时间t1流逝掉预定时间间隔之后的时间t2(第二级)使用7通道环绕的SBL-ch(g)的HRTF。接着，HRTF处理单元592将左耳的SBL-ch(g)的HRTF卷绕到被输入作为声音信号的wav文件格式的波形中。另外，右耳的SBL-ch(g)的HRTF以类似方式被单独地卷绕到声音信号中。接着，双通道化单元593对具有7个通道的声音信号执行双通道化，并由此从HMD 20的耳机207来再现经VPT处理的声音信号的波形。
接下来，当对象方向信息指示位置Pf时，对应通道控制单元591决定在从时间t2流逝掉预定时间间隔之后的时间t3(第三级)使用7通道环绕的SBR-ch(f)的HRTF。接着，HRTF处理单元592将左耳的SBR-ch(f)的HRTF卷绕到被输入作为声音信号的wav文件格式的波形中。另外，右耳的SBR-ch(f)的HRTF以类似方式被单独地卷绕到声音信号中。接着，双通道化单元593对具有7个通道的声音信号执行双通道化，并由此从HMD 20的耳机207来再现经VPT处理的声音信号的波形。
随后，当对象方向信息指示位置Pe时，对应通道控制单元591决定在从时间t3流逝掉预定时间间隔之后的时间t4(第四级)使用7通道环绕的SR-ch(e)的HRTF。接着，HRTF处理单元592将左耳的SR-ch(e)的HRTF卷绕到被输入作为声音信号的wav文件格式的波形中。另外，右耳的SR-ch(e)的HRTF以类似方式被单独地卷绕到声音信号中。接着，双通道化单元593对具有7个通道的声音信号执行双通道化，并由此从HMD 20的耳机207来再现经VPT处理的声音信号的波形。
当如上文所描述执行一系列处理时，可以听到从HMD 20的耳机207再现(输出)的声音，就好像“p”声音顺序地移动到位置Pa、位置Pg、位置Pf和位置Pe的立体位置而不管事实上使用的是2通道耳机。
(经修改的示例)
虽然关于上文所描述的声音处理已描述了其中声音对象以恒定速度移动的示例，但声音对象可未必以恒定速度移动。换句话说，只要使用者2可以满意地听到声音的移动，声音对象的移动速度便可改变。
另外，虽然被给定作为声音信息的”p”声音是示例并且如上文所描述可以使用另一个单声音，但其并不限于任何单声音并且可以进一步使用其它组合声音。简言之，只要使用者2可以满意地听到声音的移动，便可以使用任何声音。
此外，在图15的加入声音的AR对象通信处理2中，已将图17中所示的轨迹描述为在步骤S543的处理中被设定为声音对象的轨迹。在图17的轨迹上，声音对象顺序地移动穿过位置P1到P5而不是在左右方向上移动，所述左右方向上的移动是在圆柱坐标系C中从远方到近处的移动。在这种情况下，虽然声音对象不是在水平方向上移动，但可以根据位置通过声音处理来改变声音的量值等。
在图17中，例如，如果将位置P1(其为远方)的体积设定为1.0，那么可以将位置P2的体积设定为位置P1的体积的1.1倍，可以将位置P3的体积设定为位置P1的体积的1.2倍，可以将位置P4的体积设定为位置P1的体积的1.3倍，以及可以将位置P5的体积设定为位置P1的体积的1.4倍。另外，在图17中，关于位置P1(其为远方)处的HRTF混响量(图24)，例如，可将混响量设定成在每次声音接近位置P2、P3、P4和P5时逐渐减小。通过执行此类声音处理，有可能给使用者2以(例如)接近声音的印象。应注意，所述声音处理是示例，并且只要使用者2可以经由声音处理满意地听到声音的移动，便可以应用另一类型的声音处理。
另外，虽然已描述了其中声音对象在上述VPT的7通道环绕中在水平方向上移动的配置，但可以通过在上部方向上采用VPT配置(例如，通过将前高扬声器(L(FH)和R(FH))安置在紧位于前扬声器(L和R)上方的位置处)来使用其中声音对象不仅在水平方向上移动而且在垂直方向上移动的配置。此外，可以通过采用其中使用多于上文所描述的7个通道的多个通道的VPT配置来配置更立体的声音对象。
当(例如)将前高扬声器安置成致使声音对象在垂直方向上移动并且因此当使用者2上下摇动他或她的头时声音对象移动到在显示区域A外的上部地方和下部地方，并且执行对使声音对象的高度与HMD 20的显示区域的中心高度匹配等的控制，如图20中所示。
在上文所描述的图20的示例中，声音对象及其声音对象图像两者移动靠近显示区域A的中心，但仅声音对象图像可移动到显示区域A中同时维持声音对象的高度。换句话说，当将声音对象与声音对象图像分开并且执行声音处理以使声音对象移动到在显示区域A外的上部地方或下部地方时，可根据声音对象的移动将声音对象图像设定成穿过显示区域A。此时，当声音对象图像横越显示区域A时，例如，可显示声音对象图像自身(例如，箭头)；但是，通过根据声音对象的高度显示箭头等的阴影，使用者2可以更立体地捕捉到声音的移动。
声音对象的输出位置可与穿过显示区域A的声音对象图像的显示位置相同(如上文所描述)，或可与之不同。
<特定操作示例>
接下来，将参考图32和图33来描述图1的AR系统1的特定操作示例。
作为操作示例1，图32中示出其中AR系统1提供用于地图搜索的应用程序的情况。举例来说，当由用于地图搜索的应用程序给出指示北部的指令时，北部被指定为目标T的位置。接着，如图式中所示(其中在图式右边从顶部观看圆柱坐标系C)，声音对象Ob1和Ob2分别在使用者2的两边从预定起始点朝目标T的位置(在北部)移动，并且接着到达靠近目标T的位置。如在位于图式左侧的屏幕中所示，当根据声音对象输出声音并且声音对象Ob1穿过显示区域A时，显示由箭头形成的声音对象图像。
由于输出用于引导(例如)到北部的声音并且指示北部的箭头的图像横越显示区域A(如上文所描述)，所以可以向使用者2提供更直观的位置信息。
作为操作示例2，图33示出其中AR系统1提供社交网络服务(SNS)应用程序的情况。当另一使用者在激活SNS应用程序期间在使用者2的当前位置附近发推文时，例如，将另一使用者发推文所处的位置指定为目标T的位置。接着，连同声音对象Ob的声音，在时间t1在显示区域A中显示充当其声音对象图像的通知图标。接着，在从时间t1流逝掉预定时间间隔之后的时间t2和t3，声音对象Ob朝发推文的位置移动同时输出声音，但当声音对象移动到显示区域A中时，显示由通知图标形成的声音对象图像。
以与上文所描述的方式相同的方式，当参与某个事件的另一使用者关于所述事件发推文时，例如，通过AR对象的声音和通知图标来指示发推文的地方，并且因此使用者2可以立即移动到所述地方以参与所述事件。
<被应用到本公开的计算机的描述>
上文所描述的一系列处理可以通过硬件来执行，但也可以通过软件来执行。当通过软件来执行所述一系列处理时，将建构此类软件的程序安装到计算机中。此处，措辞“计算机”包含其中合并有专用硬件的计算机以及能够在安装各种程序时执行各种功能的通用个人计算机等。
作为一个示例，由计算机(CPU)执行的程序可以通过将其记录在作为封装式媒体的移动介质等上而提供。也可以经由有线或无线转移媒体(例如，局域网、因特网或数字卫星广播)来提供程序。
在计算机中，通过将移动介质加载到驱动器中，可以经由输入/输出接口将程序安装到记录单元中。也有可能使用通信单元从有线或无线转移媒体接收程序并将程序安装到记录单元中。作为另一替代例，可以预先将程序安装到ROM或记录单元中。
应注意，由计算机执行的程序可为其中以本说明书中所描述的次序按时间序列来实施处理的程序，或可为其中并行或在必要时序(例如，当调用处理时)实施处理的程序。
本文中的用于描述致使计算机执行各种处理的程序的处理步骤不一定要按流程图中所描述的次序按时间顺序来处理。其也包含并行或个别地执行的处理(例如，并行处理或由对象进行处理)。
程序可为由单个计算机执行的程序，或可为以分布方式由多个计算机执行的程序。可向计算机远程传输待执行的程序。
此外，在本公开中，系统具有一组多个已配置元件(例如，设备或模块(零件))的含义，并且不考虑所有已配置元件是否在同一个罩壳中。因此，系统可为存储在单独罩壳中并经由网络连接的多个设备，或者可为在单个罩壳内的多个模块。
本公开的实施例并不限于上文所描述的实施例，并且在不背离本公开的范围的情况下可作出各种改变和修改。举例来说，本公开可以采用通过由多个设备经由网络来分配和连接一个功能以进行处理的云计算的配置。
此外，可以由一个设备或通过分配多个设备来执行由上文所提及的流程图描述的每个步骤。另外，在其中多个处理被包含在一个步骤中的情况下，可以由一个设备或通过共用多个设备来执行包含在这一个步骤中的多个处理。
另外，也可如下配置本技术。
(1)
一种信息处理装置，其包含：
图像显示单元，其被配置成显示图像；
声音输出单元，其被配置成输出声音；
位置指定单元，其被配置成指定在所述图像显示单元的显示区域外的位置；以及
控制单元，其被配置成在增强现实(AR)对象朝所述指定位置移动时控制所述AR对象的声音的输出。
(2)
根据(1)所述的信息处理装置，其中所述控制单元在所述AR对象穿过所述图像显示单元的所述显示区域时使显示所述AR对象的图像。
(3)
根据(1)或(2)所述的信息处理装置，其中存在多个AR对象。
(4)
根据(3)所述的信息处理装置，其中所述控制单元在所述AR对象朝所述指定位置移动时使所述AR对象在使用者的两边移动。
(5)
根据(3)或(4)所述的信息处理装置，其中所述控制单元使所述多个AR对象的声音以不同的定时进行输出。
(6)
根据(1)或(2)所述的信息处理装置，其进一步包含：
检测单元，其被配置成检测所述图像显示单元的方向，
其中所述控制单元使所述AR对象根据所述图像显示单元的所述方向来移动。
(7)
根据(6)所述的信息处理装置，其中所述控制单元使所述AR对象以在所述显示区域中显示所述AR对象的所述图像的方式来移动。
(8)
根据(7)所述的信息处理装置，其中所述控制单元使所述AR对象的声音的输出位置与在所述显示区域内的所述AR对象的所述图像的显示位置相同。
(9)
根据(7)所述的信息处理装置，其中所述控制单元使所述AR对象的声音的输出位置与在所述显示区域内的所述AR对象的所述图像的显示位置不同。
(10)
根据(1)所述的信息处理装置，其为具有用于左眼和右眼的一对所述图像显示单元的眼镜型装置。
(11)
一种信息处理装置的信息处理方法，所述方法使所述信息处理装置执行以下步骤：
指定在图像显示单元的显示区域外的位置；以及
当AR对象朝所述指定位置移动时，控制所述AR对象的声音从声音输出单元的输出。
(12)
一种程序，其使计算机充当以下各者：
位置指定单元，其被配置成指定在图像显示单元的显示区域外的位置；以及
控制单元，其被配置成当AR对象朝所述指定位置移动时控制所述AR对象的声音从声音输出单元的输出。
参考符号列表
1 AR系统
10 控制箱
20 头戴式显示器(HMD)
30 智能手机
40 AR服务器
101 中央处理单元(CPU)
107 连接单元
108 无线通信单元
201 连接单元
203 地磁传感器
204 陀螺仪传感器
205 加速度传感器
206 显示器
207 耳机
301 中央处理单元(CPU)
309 无线通信单元
310 移动通信单元
401 中央处理单元(CPU)
409 通信单元
410 AR对象保留单元
500 AR处理单元
501 传感器值获取单元
502 AR对象信息获取单元
503 HMD方向计算单元
504 显示区域坐标计算单元
505 绘图处理单元
506 声音处理单元
507 加入声音的AR对象交付处理单元
521 显示区域外位置指定单元
522 轨迹设定单元
523 绘图/声音控制单元

Claims (12)

1.一种信息处理装置，其包括：
扬声器，其被配置成输出声音；以及
中央处理单元，其被配置成：
指定在图像显示屏幕的显示区域外的位置；以及
基于以用户的第三位置作为角度的顶点、所述显示区域的第一位置与AR对象的第二位置之间的所述角度，以及基于所述AR对象朝所指定的位置的移动来控制所述AR对象的声音的输出。
2.根据权利要求1所述的信息处理装置，其中所述中央处理单元进一步被配置为基于所述AR对象与所述图像显示屏幕之间的重叠来控制所述AR对象的图像的显示。
3.根据权利要求2所述的信息处理装置，其中具有多个AR对象。
4.根据权利要求3所述的信息处理装置，其中所述中央处理单元进一步被配置为基于所述多个AR对象朝向所述指定的位置的移动控制所述多个AR对象在所述用户两侧移动。
5.根据权利要求4所述的信息处理装置，其中所述中央处理单元进一步被配置为控制所述多个AR对象的声音在不同的时刻被输出。
6.根据权利要求2所述的信息处理装置，其中所述中央处理单元进一步被配置为：
检测所述图像显示屏幕的方向；以及
控制所述AR对象基于所述图像显示屏幕的方向来移动。
7.根据权利要求6所述的信息处理装置，其中所述中央处理单元进一步被配置为控制所述AR对象的移动以使得所述AR对象的图像被显示在所述显示区域中。
8.根据权利要求7所述的信息处理装置，其中所述中央处理单元进一步被配置为控制所述AR对象的声音的输出位置与所述显示区域内的所述AR对象的图像的显示位置相同。
9.根据权利要求7所述的信息处理装置，其中所述中央处理单元进一步被配置为控制所述AR对象的声音的输出位置与所述显示区域内的所述AR对象的图像的显示位置不同。
10.根据权利要求1所述的信息处理装置，其中所述信息处理装置为具有用于左眼和右眼的一对图像显示屏幕的眼镜型装置。
11.一种信息处理装置的信息处理方法，所述方法使所述信息处理装置执行：
指定在图像显示屏幕的显示区域外的位置；以及
基于以用户的第三位置作为角度的顶点、所述显示区域的第一位置与AR对象的第二位置之间的所述角度，以及基于所述AR对象朝所指定的位置的移动来控制所述AR对象的声音的输出。
12.一种存储程序的非易失性计算机存储介质，所述程序使计算机作用为：
中央处理单元，其被配置为：
指定在图像显示屏幕的显示区域外的位置；以及
基于以用户的第三位置作为角度的顶点、所述显示区域的第一位置与AR对象的第二位置之间的所述角度，以及基于所述AR对象朝所指定的位置的移动来控制所述AR对象的声音的输出。
CN201480059236.0A 2013-11-05 2014-10-24 信息处理装置、信息处理方法和程序 Active CN105745602B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010537954.1A CN111736696A (zh) 2013-11-05 2014-10-24 信息处理装置、信息处理方法和存储介质

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013229121 2013-11-05
JP2013-229121 2013-11-05
PCT/JP2014/078305 WO2015068587A1 (ja) 2013-11-05 2014-10-24 情報処理装置、情報処理方法、及び、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010537954.1A Division CN111736696A (zh) 2013-11-05 2014-10-24 信息处理装置、信息处理方法和存储介质

Publications (2)

Publication Number Publication Date
CN105745602A CN105745602A (zh) 2016-07-06
CN105745602B true CN105745602B (zh) 2020-07-14

Family

ID=53041369

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201480059236.0A Active CN105745602B (zh) 2013-11-05 2014-10-24 信息处理装置、信息处理方法和程序
CN202010537954.1A Withdrawn CN111736696A (zh) 2013-11-05 2014-10-24 信息处理装置、信息处理方法和存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010537954.1A Withdrawn CN111736696A (zh) 2013-11-05 2014-10-24 信息处理装置、信息处理方法和存储介质

Country Status (7)

Country Link
US (5) US9851936B2 (zh)
EP (1) EP3067781B1 (zh)
JP (2) JP6610258B2 (zh)
KR (1) KR102343578B1 (zh)
CN (2) CN105745602B (zh)
RU (1) RU2678481C2 (zh)
WO (1) WO2015068587A1 (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8307086B2 (en) * 2008-08-19 2012-11-06 Facebook, Inc. Resource management of social network applications
WO2014128810A1 (ja) * 2013-02-22 2014-08-28 ソニー株式会社 ヘッドマウントディスプレイ及び画像表示装置
KR102343578B1 (ko) 2013-11-05 2021-12-28 소니그룹주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
US10600245B1 (en) 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
KR102288060B1 (ko) * 2014-08-06 2021-08-10 삼성전자 주식회사 피사체의 소리를 수신하는 방법 및 이를 구현하는 전자장치
GB2534921B (en) * 2015-02-06 2021-11-17 Sony Interactive Entertainment Inc Head-mountable display system
JP6474278B2 (ja) * 2015-02-27 2019-02-27 株式会社ソニー・インタラクティブエンタテインメント 画像生成システム、画像生成方法、プログラム及び情報記憶媒体
EP3345184A1 (en) * 2015-09-02 2018-07-11 THOMSON Licensing Method, apparatus and system for facilitating navigation in an extended scene
US11445305B2 (en) 2016-02-04 2022-09-13 Magic Leap, Inc. Technique for directing audio in augmented reality system
US10602264B2 (en) 2016-06-14 2020-03-24 Orcam Technologies Ltd. Systems and methods for directing audio output of a wearable apparatus
JP6440910B2 (ja) * 2016-07-29 2018-12-19 三菱電機株式会社 表示装置、表示制御装置および表示制御方法
WO2018042658A1 (ja) * 2016-09-05 2018-03-08 マクセル株式会社 携帯情報端末、頭部装着表示システム、及びその音声出力制御方法
WO2018070564A1 (ko) * 2016-10-13 2018-04-19 라인 가부시키가이샤 다중 디스플레이를 위한 사운드 출력 방법 및 장치
JP2018082308A (ja) * 2016-11-16 2018-05-24 ソニー株式会社 情報処理装置、方法及びプログラム
US11159906B2 (en) 2016-12-12 2021-10-26 Sony Corporation HRTF measurement method, HRTF measurement device, and program
CN106604200A (zh) * 2017-01-19 2017-04-26 浪潮（苏州）金融技术服务有限公司 一种音频数据处理方法和装置
US11024064B2 (en) * 2017-02-24 2021-06-01 Masimo Corporation Augmented reality system for displaying patient data
EP3585254B1 (en) 2017-02-24 2024-03-20 Masimo Corporation Medical device cable and method of sharing data between connected medical devices
US10725729B2 (en) 2017-02-28 2020-07-28 Magic Leap, Inc. Virtual and real object recording in mixed reality device
EP3622529A1 (en) 2017-05-08 2020-03-18 Masimo Corporation System for pairing a medical system to a network controller by use of a dongle
US10264380B2 (en) 2017-05-09 2019-04-16 Microsoft Technology Licensing, Llc Spatial audio for three-dimensional data sets
US11051120B2 (en) * 2017-07-31 2021-06-29 Sony Corporation Information processing apparatus, information processing method and program
JP6966165B2 (ja) * 2017-08-04 2021-11-10 日本テレビ放送網株式会社 映像音声信号処理装置、その方法とプログラム
CN107632703A (zh) * 2017-09-01 2018-01-26 广州励丰文化科技股份有限公司 基于双目摄像头的混合现实音频控制方法及服务设备
WO2019081747A1 (en) * 2017-10-26 2019-05-02 Sony Semiconductor Solutions Corporation CAP DETERMINATION DEVICE AND METHOD, DEVICE, AND RENDERING METHOD
WO2019173566A1 (en) * 2018-03-08 2019-09-12 Bose Corporation Augmented reality software development kit
US11195336B2 (en) 2018-06-08 2021-12-07 Vulcan Inc. Framework for augmented reality applications
WO2019237085A1 (en) 2018-06-08 2019-12-12 Vulcan Inc. Session-based information exchange
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US10996831B2 (en) 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
KR102278342B1 (ko) * 2018-09-27 2021-07-16 주식회사 더픽트 가상현실 영상 편집 시스템 및 방법
JP2022504203A (ja) 2018-10-05 2022-01-13 マジック リープ， インコーポレイテッド オーディオ空間化のための強調
US10638248B1 (en) * 2019-01-29 2020-04-28 Facebook Technologies, Llc Generating a modified audio experience for an audio system
US10602302B1 (en) * 2019-02-06 2020-03-24 Philip Scott Lyren Displaying a location of binaural sound outside a field of view
KR102297532B1 (ko) * 2019-10-17 2021-10-06 실버라이닝스튜디오 주식회사 가상현실 사운드 기반의 컨텐츠 제공 방법 및 시스템
CN113467603B (zh) 2020-03-31 2024-03-08 抖音视界有限公司 音频处理方法、装置、可读介质及电子设备
US11126574B1 (en) 2021-02-12 2021-09-21 SambaNova Systems, Inc. Instrumentation profiling for reconfigurable processors
US12001750B2 (en) * 2022-04-20 2024-06-04 Snap Inc. Location-based shared augmented reality experience system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003028663A (ja) * 2001-07-17 2003-01-29 Yamaha Corp ナビゲーション装置及び制御プログラム
JP2003134510A (ja) * 2001-08-16 2003-05-09 Space Tag Inc 画像情報配信システム
CN101547280A (zh) * 2008-03-25 2009-09-30 富士施乐株式会社 信息处理装置和信息处理方法
JP2012216135A (ja) * 2011-04-01 2012-11-08 Olympus Corp 画像生成システム、プログラム及び情報記憶媒体
JP2013162285A (ja) * 2012-02-03 2013-08-19 Sony Corp 情報処理装置、情報処理方法、及びプログラム
CN103516737A (zh) * 2012-06-21 2014-01-15 中兴通讯股份有限公司 增强现实内容的获取方法和移动增强现实服务器及客户端

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5682172A (en) * 1994-12-30 1997-10-28 Forte Technologies, Inc. Headset for presenting video and audio signals to a wearer
JP4631987B2 (ja) 1998-10-19 2011-02-16 ソニー株式会社 情報処理端末、情報処理システム及び情報処理方法
US20030007648A1 (en) * 2001-04-27 2003-01-09 Christopher Currell Virtual audio system and techniques
JP4433385B2 (ja) * 2004-02-25 2010-03-17 ソニー・エリクソン・モバイルコミュニケーションズ株式会社 目的地案内装置および携帯端末装置
FI20045513A (fi) * 2004-12-31 2006-07-01 Nokia Corp Kynätyyppinen virtuaalinäyttö
US8170222B2 (en) * 2008-04-18 2012-05-01 Sony Mobile Communications Ab Augmented reality enhanced audio
US9037468B2 (en) * 2008-10-27 2015-05-19 Sony Computer Entertainment Inc. Sound localization for user in motion
US8396576B2 (en) * 2009-08-14 2013-03-12 Dts Llc System for adaptively streaming audio objects
US8941559B2 (en) * 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
JP5821526B2 (ja) 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US9454849B2 (en) * 2011-11-03 2016-09-27 Microsoft Technology Licensing, Llc Augmented reality playspaces with adaptive game rules
CN103959344B (zh) * 2011-12-20 2017-03-01 英特尔公司 跨越多个设备的增强现实表示
RU131226U1 (ru) * 2012-12-10 2013-08-10 Общество с ограниченной ответственностью "АВИАРЕАЛ" Тренажерный комплекс для обучения сотрудников службы авиационной безопасности с применением системы дополненной реальности
US10217285B2 (en) * 2013-05-30 2019-02-26 Charles Anthony Smith HUD object design and method
US9129430B2 (en) * 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
EP2830049A1 (en) * 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for efficient object metadata coding
KR102343578B1 (ko) * 2013-11-05 2021-12-28 소니그룹주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
EP3441966A1 (en) * 2014-07-23 2019-02-13 PCMS Holdings, Inc. System and method for determining audio context in augmented-reality applications

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003028663A (ja) * 2001-07-17 2003-01-29 Yamaha Corp ナビゲーション装置及び制御プログラム
JP2003134510A (ja) * 2001-08-16 2003-05-09 Space Tag Inc 画像情報配信システム
CN101547280A (zh) * 2008-03-25 2009-09-30 富士施乐株式会社 信息处理装置和信息处理方法
JP2012216135A (ja) * 2011-04-01 2012-11-08 Olympus Corp 画像生成システム、プログラム及び情報記憶媒体
JP2013162285A (ja) * 2012-02-03 2013-08-19 Sony Corp 情報処理装置、情報処理方法、及びプログラム
CN103516737A (zh) * 2012-06-21 2014-01-15 中兴通讯股份有限公司 增强现实内容的获取方法和移动增强现实服务器及客户端

Also Published As

Publication number Publication date
JP6610258B2 (ja) 2019-11-27
CN105745602A (zh) 2016-07-06
KR20160079788A (ko) 2016-07-06
KR102343578B1 (ko) 2021-12-28
WO2015068587A1 (ja) 2015-05-14
US20180088893A1 (en) 2018-03-29
EP3067781B1 (en) 2023-03-08
US20200183638A1 (en) 2020-06-11
US9851936B2 (en) 2017-12-26
US11068227B2 (en) 2021-07-20
CN111736696A (zh) 2020-10-02
US20210326097A1 (en) 2021-10-21
RU2678481C2 (ru) 2019-01-29
RU2016116990A3 (zh) 2018-07-03
EP3067781A4 (en) 2017-07-26
RU2016116990A (ru) 2017-11-02
JP2020024744A (ja) 2020-02-13
US10303421B2 (en) 2019-05-28
US20190250875A1 (en) 2019-08-15
US20160239252A1 (en) 2016-08-18
JPWO2015068587A1 (ja) 2017-03-09
EP3067781A1 (en) 2016-09-14
US10599382B2 (en) 2020-03-24

Similar Documents

Publication Publication Date Title
CN105745602B (zh) 信息处理装置、信息处理方法和程序
US10645519B2 (en) Information processing apparatus, information processing method, and program
CN108141696B (zh) 用于空间音频调节的系统和方法
EP3292378B1 (en) Binaural navigation cues
US9271103B2 (en) Audio control based on orientation
JP6263098B2 (ja) 仮想音源を提供情報位置に配置する携帯端末、音声提示プログラム及び音声提示方法
US11586280B2 (en) Head motion prediction for spatial audio applications
US20170201847A1 (en) Position Determination Apparatus, Audio Apparatus, Position Determination Method, and Program
KR20180118034A (ko) 시선추적에 따른 공간 오디오 제어 장치 및 그 방법
JP6651231B2 (ja) 携帯情報端末、情報処理装置、及びプログラム
JP6957426B2 (ja) 再生装置、再生方法、及びプログラム
JP7384222B2 (ja) 情報処理装置、制御方法及びプログラム
WO2022070337A1 (ja) 情報処理装置、ユーザ端末、制御方法、非一時的なコンピュータ可読媒体、及び情報処理システム
JP7501652B2 (ja) 情報処理装置、制御方法、制御プログラム、及び情報処理システム
JPWO2020213116A5 (zh)

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant