CN107534824A - 信息处理设备、信息处理方法和程序 - Google Patents

信息处理设备、信息处理方法和程序 Download PDF

Info

Publication number
CN107534824A
CN107534824A CN201680027350.4A CN201680027350A CN107534824A CN 107534824 A CN107534824 A CN 107534824A CN 201680027350 A CN201680027350 A CN 201680027350A CN 107534824 A CN107534824 A CN 107534824A
Authority
CN
China
Prior art keywords
user
sound
virtual
audiovideo
sound source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680027350.4A
Other languages
English (en)
Other versions
CN107534824B (zh
Inventor
木村健太郎
后藤智彦
望月俊助
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107534824A publication Critical patent/CN107534824A/zh
Application granted granted Critical
Publication of CN107534824B publication Critical patent/CN107534824B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42365—Presence services providing information on the willingness to communicate or the ability to communicate in terms of media capability or network connectivity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Stereophonic System (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

[问题]为了提供可以呈现在真实空间中虚拟对象的存在感的信息处理设备、信息处理方法及程序。[解决方案]一种信息处理设备设置有：计算单元，用于基于与用户状态有关的信息和与要通过听觉定位而感知为存在于真实空间中的虚拟对象有关的信息来计算虚拟对象的声源相对于用户的相对定位位置；以及听觉定位单元，用于处理声源的声音信号，以使得音频图像被定位在所计算的定位位置处。

Description

信息处理设备、信息处理方法和程序
技术领域
本公开内容涉及信息处理设备、信息处理方法和程序。
背景技术
随着信息处理技术和信息通信技术的发展，计算机在日常生活中广泛且有效地用于娱乐和支持。近年来，计算机处理还用在娱乐领域。不仅向在诸如办公室或住房的特定地点工作的用户而且还向在旅行中的用户提供这样的娱乐。
关于旅行中的娱乐，例如，专利文献1提出了一种信息处理设备，该信息处理设备被配置成根据旅行用户的身体的节奏来控制与屏幕上显示的角色的交互，使用户感觉到角色的亲和性，并且使得旅行本身成为娱乐内容。
引用列表
专利文献
专利文献1：JP 2003-305278A
发明内容
技术问题
然而，在专利文献1中，角色的图像显示在显示屏幕上。因此，在难以看到屏幕的情况下(诸如，在步行或跑步期间)难以享受娱乐内容。另外，虽然根据专利文献1，有时根据用户的身体的节奏输出对应于与角色的交互的声音或振动，但是在专利文献1中并未考虑使用户感觉到好像角色实际上存在于那里的真实性。
因此，本公开内容提出了能够呈现虚拟对象在真实空间中的存在的信息处理设备、控制方法和程序。
针对问题的方案
根据本公开内容，提供了一种信息处理设备，该信息处理设备包括：计算单元，其被配置成基于关于虚拟对象的信息和关于用户的状态的信息来计算虚拟对象的声源相对于用户的定位位置，虚拟对象通过声音图像定位使用户感觉到好像虚拟对象存在于真实空间中；以及声音图像定位单元，其被配置成对声源执行声音信号处理，以使得声音图像被定位在所计算的定位位置处。
根据本公开内容，提供了一种信息处理方法，该信息处理方法包括：由计算单元基于关于虚拟对象的信息和关于用户的状态的信息来计算虚拟对象的声源相对于用户的定位位置，虚拟对象通过声音图像定位使用户感觉到好像虚拟对象存在于真实空间中；以及由声音图像定位单元对声源执行声音信号处理，以使得声音图像被定位在所计算的定位位置处。
根据本公开内容，提供了一种程序，该程序使计算机用作：计算单元，其被配置成基于关于虚拟对象的信息和关于用户的状态的信息来计算虚拟对象的声源相对于用户的定位位置，虚拟对象通过声音图像定位使用户感觉到好像虚拟对象存在于真实空间中；以及声音图像定位单元，其被配置成对声源执行声音信号处理，以使得声音图像被定位在所计算的定位位置处。
发明的有益效果
如上所述，根据本公开内容，能够呈现虚拟对象在真实空间中的存在。
注意，以上所描述的效果不一定是限制性的。与上述效果一起或代替上述效果，可以实现本说明书中所描述的效果或者根据本说明书可以领会的其他效果中的任一效果。
附图说明
图1是示出根据本公开内容的实施方式的信息处理设备的概况的说明图。
图2是示出根据实施方式的信息处理设备的外部配置的示例的透视图。
图3是示出根据实施方式的信息处理设备的内部配置的示例的框图。
图4是示出根据实施方式的用户的预设体格数据的说明图。
图5是示出根据实施方式的虚拟角色的部位与声源类型之间的对应关系的说明图。
图6是示出根据实施方式的、根据用户的状态以及虚拟角色的行为和高度进行的声音图像定位的示例的说明图。
图7是示出根据实施方式的、根据用户的状态以及虚拟角色的行为和高度进行的声音图像定位的示例的说明图。
图8是示出根据实施方式的、根据用户的状态以及虚拟角色的行为和高度进行的声音图像定位的示例的说明图。
图9是示出由根据实施方式的信息处理设备执行的声音处理的流程图。
图10是示出根据实施方式的、根据用户的状态以及虚拟角色的行为和高度进行的声音图像定位的另一示例的说明图。
具体实施方式
在下文中，将参照附图来详细描述本公开内容的优选实施方式。在本说明书和附图中，用相同的附图标记来表示具有基本上相同的功能和结构的结构元件，并且省略对这些结构元件的重复说明。
注意，按以下顺序给出描述。
1.根据本公开内容的实施方式的信息处理设备的概况
2.配置
2-1.外部配置
2-2.内部配置
3.操作
4.结论
<<1.根据本公开内容的实施方式的信息处理设备的概况>>
首先，将参照图1来描述根据本公开内容的实施方式的信息处理设备的概况。如图1所示，例如，根据实施方式的信息处理设备1是被配置成佩戴在用户A的颈部上的颈带型信息处理终端。信息处理设备1包括扬声器和各种传感器(例如，加速度传感器、陀螺仪传感器、地磁传感器以及绝对位置测量单元)。信息处理设备1具有以下功能：通过用于在空间上分配声音信息的声音图像定位技术，使用户感觉到好像虚拟角色20实际上存在于真实空间中。注意，虚拟角色20是虚拟对象的示例。
此处，在向用户A提供与真实世界强烈相关的内容就好像如图1所示那样虚拟角色20存在于用户A站立的地方一样的情况下，应当注意以下问题。
例如，在提供声音信息就好像170厘米高的虚拟角色正站在170厘米高的用户的右侧的情况下，可以通过在用户停下时将虚拟角色的语音定位在用户的右侧而使用户感觉到好像虚拟角色邻近用户站立。然而，在用户为150厘米高的情况下，当虚拟角色的语音被以与用户为170厘米高的情况下的方式相同的方式定位在用户的右侧时，用户感觉到好像虚拟角色与用户一样为150厘米高。因此，用户感觉不到虚拟角色的实际高度的真实性。
另外，当在用户停下的情况下虚拟角色的语音被定位在用户的右侧时，用户感觉到好像虚拟角色存在于用户的右侧。然而，当用户开始向前移动而虚拟角色的语音的位置没有改变时，用户无法感觉到虚拟角色的移动，并且真实性被破坏。更具体地，如果虚拟角色实际上存在，则虚拟角色会稍晚于用户的移动而开始步行。因此，语音的位置应该改变为用户的右后侧，并且用户应该听到步行中的虚拟角色的脚步声、虚拟角色携带的包的声音等。另外，用户应该听到与虚拟角色的移动对应的声音，诸如在虚拟角色正跑步的情况下的脚步声和短促呼吸声、或者在虚拟角色正骑自行车的情况下的自行车声。如上所述，当用户无法听到根据与用户的移动对应的虚拟角色的移动和虚拟角色的语音的位置应该产生的声音时，虚拟角色的真实性被严重破坏，并且这会带来陌生的感觉。
因此，根据实施例的信息处理设备1能够执行如下操作：基于关于用户的状态和虚拟角色的信息来适当地计算声音要被定位的相对三维位置，并且呈现虚拟对象在真实空间中的存在，就好像虚拟对象实际上存在一样。声音使用户感觉到虚拟角色。具体地，例如，信息处理设备1能够通过以下操作来使用户感觉到虚拟角色的大小：基于用户A的高度和状态(站立、坐下等)以及虚拟角色的高度信息来计算虚拟角色的语音要被定位的相对高度；以及定位声音图像。另外，信息处理设备1还能够通过根据用户A的状态和移动改变虚拟角色的声音来向虚拟角色的移动添加真实性。在这种情况下，信息处理设备1执行控制，以使得基于声音的类型将声音定位在虚拟角色的相应部位上，如将虚拟角色的语音的声音定位在虚拟角色的嘴唇(头部)上，以及将虚拟角色的脚步声定位在虚拟角色的脚上。
以上描述了根据实施方式的信息处理设备1的概况。接下来，将参照图2和图3来描述根据实施方式的信息处理设备1的配置。
<<2.配置>>
<2-1.外部配置>
图2是示出根据实施方式的信息处理设备1的外部配置的示例的透视图。如图2所示，颈带型信息处理设备1具有通过颈部的背部(背部侧)从颈部的一侧到颈部的另一侧、围绕颈部的一半的可佩戴单元(可佩戴部)。颈带型信息处理设备1围绕用户的颈部悬挂并且被用户佩戴。图2示出了用户佩戴的可佩戴单元的透视图。注意，在本说明书中，使用指示诸如上、下、右、左、前和后的方向的措辞。这样的方向是在用户站直时相对于用户的身体的中心(诸如上腹部位置)的方向。例如，“右”指的是用户的身体的右侧方向，“左”指的是用户的身体的左侧方向，“上”指的是用户的头侧的方向，以及“下”指的是用户的脚侧的方向。另外，“前”指的是用户的身体面向的方向，以及“后”指的是用户的背部侧的方向。
如图2所示，可佩戴单元可以以与用户的颈部紧密接触的方式佩戴在用户的颈部上，或者可以以某一间隔佩戴在用户的颈部上。注意，颈部悬挂型可佩戴单元的其他形状的示例包括：悬吊型可佩戴单元，其被配置成用户通过项圈带佩戴；以及耳机型可佩戴单元，其包括颈带，该颈带代替被配置成佩戴在头部上的头带而围绕颈部的背部侧。
另外，使用可佩戴单元的方式可以是在将可佩戴单元直接佩戴在人体上时使用可佩戴单元的方式。在将可佩戴单元直接佩戴在人体上时使用可佩戴单元的方式指的是在没有对象置于可佩戴单元与人体之间的状态下使用可佩戴单元的方式。例如，如图2所示，可佩戴单元以与用户的颈部的皮肤接触的方式佩戴在用户的颈部上的情况归入上述的使用可佩戴单元的方式。另外，考虑各种类型的方式，诸如直接佩戴在头部上的耳机型可佩戴设备和眼镜型可佩戴设备。
替选地，使用可佩戴单元的方式可以是在将可佩戴单元间接佩戴在人体上时使用可佩戴单元的方式。在将可佩戴单元间接佩戴在人体上时使用可佩戴单元的方式指的是在某一对象介于可佩戴单元与人体之间的状态下使用可佩戴单元的方式。例如，图2所示的可佩戴单元以通过介于用户与可佩带单元之间的衣服与用户接触的方式被佩戴的情况(诸如，可佩戴单元隐藏在衬衫衣领下面的情况)归入上述的使用可佩戴单元的方式。另外，考虑各种类型的方式，例如。被配置成由用户通过项圈带佩戴的悬吊型可佩戴单元以及被配置成通过使用夹子等穿在衣服上的饰针型可佩戴单元。
另外，如图2所示，信息处理设备1包括多个麦克风12(12A和12B)、摄像装置13(13A和13B)以及扬声器15(15A和15B)。麦克风12获取诸如用户的语音和设备周围的环境声音的声音数据。摄像装置13通过捕获周围环境的图像来获取捕获图像数据。另外，扬声器15播放声音数据。具体地，根据实施方式的扬声器15播放虚拟角色的经受声音图像定位处理的声音信号。声音信号使用户感觉到好像虚拟角色实际上存在于真实空间中。
注意，图2示出了包括两个麦克风12、两个摄像装置13以及两个扬声器15的信息处理设备1的配置。然而，实施方式不限于此。例如，信息处理设备1可以包括一个麦克风12和一个摄像装置13，或者可以包括三个麦克风12、三个摄像装置13以及三个扬声器15。
<2-2.内部配置>
接下来，将参照图3来描述根据实施方式的信息处理设备1的内部配置。图3是示出根据实施方式的信息处理设备1的内部配置的示例的框图。如图3所示，信息处理设备1包括控制单元10、通信单元11、麦克风12、摄像装置13、9轴传感器14、扬声器15、位置测量单元16以及存储单元17。
(控制单元10)
控制单元10用作用于根据各种程序来控制信息处理设备1的整体操作的运算设备和控制设备。例如，控制单元10由中央处理单元(CPU)和诸如微处理器等电子电路来实现。另外，控制单元10可以包括用于存储要使用的程序和算术参数的只读存储器(ROM)和用于临时存储任意改变的参数等的随机存取存储器(RAM)。
另外，如图3所示，根据实施方式的控制单元10用作状态/行为检测单元10a、虚拟角色行为决定单元10b、情景更新单元10c、相对位置计算单元10d、声音图像定位单元10e、声音输出控制单元10f以及播放历史/反馈存储控制单元10g。
状态/行为检测单元10a检测用户的状态，基于所检测到的状态来识别行为，并且将所检测到的状态和所识别的行为输出至虚拟角色行为决定单元10b。具体地，状态/行为检测单元10a获取位置信息和诸如移动速度、方向、耳朵(或头部)的高度的信息作为关于用户的状态的信息。用户状态是可以在检测定时唯一指定的信息以及可以从各种传感器计算和获取作为数值的信息。
例如，从位置测量单元16获取位置信息。另外，从位置测量单元16、包括在9轴传感器14中的加速度传感器、摄像装置13等获取移动速度。从摄像装置13或包括在9轴传感器14中的陀螺仪传感器、加速度传感器和地磁传感器获取方向。从用户的体格数据、加速度传感器和陀螺仪传感器获取耳朵(头部)的高度。另外，可以通过用于基于由摄像装置13连续捕获的周围环境的视频中的特征点的变化来计算移动的同时定位和地图构建(SLAM)来获取移动速度和方向。
另外，可以基于用户的体格数据来计算耳朵(或头部)的高度。如图4的左侧所示，将身高H1、坐高H2以及耳朵与头顶之间的距离H3设置为用户的体格数据并存储在存储单元17中。例如，状态/行为检测单元10a如下所述那样计算耳朵的高度。注意，如图4的右侧所示，加速度传感器、陀螺仪传感器等可以检测“E1(头部的倾角)”作为上身的倾角。
(式1)
在用户站立的情况下：
耳朵的高度＝身高-坐高+(坐高-耳朵与头顶之间的距离)×E1(头部的倾角)
(式2)
在用户坐下或躺下的情况下：
耳朵的高度＝(坐高-耳朵与头顶之间的距离)×E1(头部的倾角)
替选地，在头部的倾角接近于零(用户站直)的情况下，状态/行为检测单元10a可以如下所述那样计算耳朵的近似高度。
(式3)
在用户站立的情况下：
耳朵的高度≈身高-耳朵与头顶之间的距离
(式4)
在用户坐下或躺下的情况下：
耳朵的高度≈坐高-耳朵与头顶之间的距离
另外，状态/行为检测单元10a能够参考前后状态来识别用户的行为。例如，假设用户的行为包括“停下”、“步行”、“跑步”、“坐下”、“躺下”、“乘坐汽车”、“骑自行车”、“面向角色”等。另外，状态/行为检测单元10a还能够基于由9轴传感器14(加速度传感器、陀螺仪传感器和地磁传感器)检测到的信息和由位置测量单元16检测到的位置信息、通过使用预定行为识别引擎来识别用户的行为。
虚拟角色行为决定单元10b根据由状态/行为检测单元10a识别的用户的行为来决定虚拟角色20在实际空间中的虚拟行为(或选择情景)，并且从情景中选择与所决定的行为对应的声音内容。
例如，虚拟角色行为决定单元10b使虚拟角色执行与用户的行为相同的行为。例如，虚拟角色行为决定单元10b在用户正步行时使虚拟角色20步行，并且在用户正跑步时使虚拟角色20跟在用户后面跑步。这使得能够呈现虚拟角色的存在。
另外，当决定虚拟角色的行为时，虚拟角色行为决定单元10b从预先存储作为内容情景的声源列表(声音内容)中选择与虚拟角色的行为对应的声源。在这种情况下，虚拟角色行为决定单元10b基于播放日志来确定是否以有限数量的播放次数来播放声源。另外，虚拟角色行为决定单元10b可以选择与虚拟角色的行为对应的声源，该声源与用户的偏好匹配(诸如用户喜欢的虚拟角色的声源)或者是与当前位置(地点)相关联的特定角色的声源。
例如，在所决定的虚拟角色的行为是停下行为的情况下，虚拟角色行为决定单元10b选择语音声音内容(例如，对话或呼吸)。在所决定的虚拟角色的行为是步行行为的情况下，虚拟角色行为决定单元10b选择语音声音内容和脚步声音内容(例如，被设置为虚拟角色佩戴的高跟鞋的脚步声)。另外，在所决定的虚拟角色的行为是跑步行为的情况下，虚拟角色行为决定单元10b选择短促的呼吸声作为语音声音内容，或者选择衣服摩擦声、包的声音(附接至包的钥匙链等的声音)、跑步脚步声等。另外，在所决定的虚拟角色的行为是骑自行车的行为的情况下，虚拟角色行为决定单元10b选择自行车声、踏板声、放置在自行车篮中的包的声音等。如上所述，根据虚拟角色的行为来选择声音内容，并且根据行为来播放不同的声音内容(换言之，不选择或播放与行为不对应的声音内容)。
由于从情景中选择与由虚拟角色行为决定单元10b决定的虚拟角色的行为对应的声音内容并且情景演变，因此情景更新单元10c更新情景。例如，情景存储在存储单元17中。
相对位置计算单元10d计算由虚拟角色行为决定单元10b选择的虚拟角色的声源(声音内容)要被定位的相对三维位置(xy坐标位置和高度)。具体地，首先，相对位置计算单元10d参考由虚拟角色行为决定单元10b决定的虚拟角色的行为来设置与声源类型对应的虚拟角色的部位的位置。此处，将参照图5来描述虚拟角色20的部位和对应的声源类型。
图5是示出虚拟角色20的部位与声源类型之间的对应关系的说明图。如图5所示，虚拟角色20被划分成诸如头部21、躯干22、脚24以及手持附件23(例如，握在她手中的包)的部位。例如，假设声源类型包括语音声源、衣服摩擦声源、附属物(例如包或附接至包的钥匙链)声源、脚步声源、交通工具声源等。语音声源与头部21(尤其是嘴唇)相关联，衣服摩擦声源与躯干22相关联，附属物声源与手持附件23相关联，以及脚步声源与脚24相关联。另外，在假设虚拟角色正在乘坐交通工具(例如自行车、摩托车或汽车)时，交通工具声源与虚拟角色的周围环境相关联。另外，可以基于虚拟角色20的高度C1来计算各部位的高度(C2至C4)，或者可以预先存储各部位的高度。例如，将诸如虚拟角色20的高度C1、各部位的高度(C2至C4)、部位与声源类型之间的对应关系等信息作为虚拟角色20的设置信息存储在存储单元17中。
相对位置计算单元10d还根据虚拟角色20的状态/行为来计算基于对应部位的声源的高度。例如，相对位置计算单元10d根据虚拟角色停下的状态、虚拟角色正在步行的情况、虚拟角色正在跑步(同时身体倾斜)的情况、虚拟角色坐下的状态或虚拟角色躺下的状态来计算头部的位置、铜的位置、脚的位置、附属物的位置等。
另外，相对位置计算单元10d根据用户的耳朵(或头部)的高度和方位以及各个声源的高度之间的位置关系来计算声音内容相对于用户的高度。除了高度之外，相对位置计算单元10d根据用户的行为和虚拟角色的行为来计算xy坐标位置。将参照图6至图8来描述由相对位置计算单元10d以这样的方式计算的声音图像定位位置(包括xy坐标位置和高度的三维位置)的示例。
图6至图8均是示出根据实施方式的、根据用户的状态以及虚拟角色的行为和高度进行声音图像定位的示例的说明图。这里，假设如下情景：在用户A在放学或下班后从距他家最近的车站步行回家的情况下，虚拟角色发现用户A并且对用户A说话，并且他们开始一起步行。当状态/行为检测单元10a检测到用户A到达距他家最近的车站、走出检票口并且开始步行时，触发要由虚拟角色行为决定单元10b开始的事件(声音内容提供)。
首先，如图6所示，例如，发生虚拟角色20发现步行的用户A并且对用户A说话的事件。具体地，如图6的上部所示，相对位置计算单元10d计算在用户A后方若干米的、相对于用户的耳朵成角度F1的定位方向，作为要首先播放的语音声音内容V1(哇！)的声源的xy坐标位置。接下来，相对位置计算单元10d计算脚步声音内容V2的声源的xy坐标位置(相对于用户的耳朵成角度F2的定位方向)，就好像虚拟角色20跟在用户后面跑步并且逐渐接近用户A。随后，相对位置计算单元10d计算紧跟在用户A后方的、相对于用户的耳朵成角度F3的定位方向，作为语音声音内容V3(嗨，A！)的声源的xy坐标位置。如上所述，根据虚拟角色的行为和对话来计算声音图像定位位置(相对于用户的定位方向和距离)，以使得在假设虚拟角色实际上存在于真实空间中并且在真实空间中行动的情况下用户不会感觉到陌生。因此，能够使用户感觉虚拟角色的行为是真实的。
另外，相对位置计算单元10d根据与声音内容类型对应的虚拟角色的部位来计算声音图像定位位置的高度。例如，在如图6的下部所示那样用户的耳朵的高度高于虚拟角色的头部的情况下，虚拟角色的语音声音内容V1和V3的声源的高度低于用户的耳朵的高度(比用户的耳朵低了角度G1)。另外，由于虚拟角色的脚步声音内容V2的声源位于虚拟角色的脚部处，因此脚步声音内容V2的声源低于语音声源(比用户的耳朵低了角度G2)。如上所述，在假设虚拟角色实际上存在于实际空间中的情况下，考虑到虚拟角色的状态(站立、坐下等)和尺寸(高度)来计算声音图像定位位置的高度。因此，能够使用户感觉虚拟角色的存在是真实的。
接下来，在如图7的上部所示那样用户A停下并且转向虚拟角色20的情况下，相对位置计算单元10d计算虚拟角色的语音声音内容V4的声源的位置，以使得语音声音内容V4的声源的位置出现在用户A的前面。注意，在这种情况下，虚拟角色20的语音的声源的高度还是相对于虚拟角色的高度和用户的高度的高度(例如，比用户的耳朵低了角度G1)，如图7的下部所示。
随后，当用户A开始步行时，决定虚拟角色20的行为是速度与用户A相同的步行行为，并且发生虚拟角色20在步行期间对用户A说话的事件。例如，虚拟角色行为决定单元10b选择诸如与今天的天气和温度对应的“今天很冷，不是吗？”的对话、或者诸如与今天的新闻和用户A的偏好对应的“我听说今天在J辖区发生了事故”或“今天的股票市场…”的对话。可以根据实时新闻信息自动地生成这样的对话。另外，由于虚拟角色20以与用户A的速度相同的速度步行，因此虚拟角色行为决定单元10b还选择脚步声音内容。如图8所示，例如，相对位置计算单元10d根据以与用户A的速度相同的速度步行的虚拟角色20的行为来在用户A的右侧分配声音内容V5和V6。另外，如图8的下部所示，相对位置计算单元10d计算声音图像定位位置，以使得语音声音内容V5被置于稍低于用户A(比用户低了角度G1)并且脚步声音内容V6被置于虚拟角色20的脚处(比用户低了角度G2)。
注意，情景可能具有多个分支点(bifurcation point)，并且根据用户的行为，可能发生不同事件。例如，在不同于图7、用户A没有停下或转向虚拟角色的情况下，可能发生以下事件：输出声音内容“停下！请等等！”，虚拟角色20的语音变小(由于用户A继续步行)，并且情景结束。
另外，当在虚拟角色对用户A的陈述中宣传音乐会信息等并且用户执行操作(例如轻击颈带型可佩戴单元)以回答是时，信息处理设备1可以执行将音乐会信息登记到用户A的日程中的处理。
以上描述了声音图像定位位置的具体示例。相对位置计算单元10d将所计算的各个声音内容的声音图像定位位置(三维位置)输出至声音图像定位单元10e。
声音图像定位单元10e对声音内容执行声音信号处理，以使得由虚拟角色行为决定单元10b选择的相应声音内容(声源)被定位在由相对位置计算单元10d针对每个声音内容计算出的声音图像定位位置处。
声音输出控制单元10f执行控制，以使得扬声器15播放经声音图像定位单元10e处理的声音信号。因此，根据实施方式的信息处理设备1可以将与取决于用户的状态/行为的虚拟角色的行为对应的声音内容的声音图像定位在相对于用户的适当位置、距离、高度处，呈现行为的真实性和虚拟角色的大小，并且在真实空间中增加虚拟角色的存在。
播放历史/反馈存储控制单元10g执行控制，以使得存储单元17将由声音输出控制单元10f输出的声源(声音内容)存储作为历史(播放日志)。
另外，播放历史/反馈存储控制单元10g还执行控制，以使得存储单元17将用户的响应存储作为反馈。用户的响应的示例包括当声音输出控制单元10f输出语音时用户转向语音方向或者停下来聆听语音对话。这使得控制单元10能够学习用户的偏好，并且虚拟角色行为决定单元10b可以根据用户的偏好来选择声音内容。
(通信单元11)
通信单元11是用于以有线/无线方式将数据发送至另一设备/从另一设备接收数据的通信模块。通信单元11借助于有线局域网(LAN)、无线LAN、无线保真(Wi-Fi)(注册商标)、红外通信、蓝牙(注册商标)等、通过使用近场通信、非接触式通信等，与外部设备直接通信或者经由网络接入点与外部设备进行无线通信。
例如，在控制单元10的上述功能包括在诸如智能手机或云上的服务器的另一设备中的情况下，通信单元11可以发送由麦克风12、摄像装置13和9轴传感器14获取的数据。在这种情况下，另一设备决定虚拟角色的行为，选择声音内容，计算声音图像定位位置，或者执行声音图像定位处理。替选地，例如，在另一设备包括麦克风12、摄像装置13或9轴传感器14的情况下，通信单元11可以接收由它们获取的数据并且将所接收到的数据输出至控制单元10。另外，通信单元11可以从诸如云上的服务器的另一设备接收由控制单元10选择的声音内容。
(麦克风12)
麦克风12对用户的语音和周围环境进行收音，并且将其作为声音数据输出至控制单元10。
(摄像装置13)
摄像装置13包括透镜系统、驱动系统以及固态图像传感器阵列等。透镜系统包括成像透镜、光圈、变焦透镜、聚焦透镜等。驱动系统使透镜系统执行聚焦操作和变焦操作。固态图像传感器阵列对通过透镜系统获取的成像光执行光电转换，以生成成像信号。例如，固态图像传感器阵列可以由电荷耦合器件(CCD)传感器阵列或互补金属氧化物半导体(CMOS)传感器阵列来实现。例如，摄像装置13可以被配置成在用户佩戴信息处理设备1(可佩戴单元)的状态下捕获用户的前方的图像。在这种情况下，摄像装置13能够捕获例如跟随用户的移动的周围风景的图像。另外，摄像装置13可以被配置成在用户佩戴信息处理设备1的状态下捕获用户的脸部的图像。在这种情况下，信息处理设备1能够根据所捕获的图像来指定用户的耳朵的位置和用户的面部表情。另外，摄像装置13将已转换成数字信号的捕获图像的数据输出至控制单元10。
(9轴传感器14)
9轴传感器14包括三轴陀螺仪传感器(被配置成检测角速度(旋转速度))、三轴加速度传感器(被配置成检测移动时的加速度，还被称为G传感器)以及三轴地磁传感器(被配置成检测绝对方向(方位)并且用作罗盘)。9轴传感器14具有感测佩戴信息处理设备1的用户的状态或周围状态的功能。虽然9轴传感器14是传感器单元的示例，但是实施方式不限于此。例如，还可以使用速度传感器、振动传感器等，或者可以使用加速度传感器、陀螺仪传感器和地磁传感器中的至少一个。另外，传感器单元可以安装在不同于信息处理设备1(可佩戴单元)的设备中，或者可以分散和安装在多个设备中。例如，加速度传感器、陀螺仪传感器和地磁传感器可以安装在被配置成佩戴在头部上的设备(例如耳机)中，并且速度传感器和振动传感器可以安装在智能手机中。9轴传感器14将指示感测结果的信息输出至控制单元10。
(扬声器15)
在声音输出控制单元10f的控制下，扬声器15播放经声音图像定位单元10e处理后的声音信号。另外，扬声器15还能够将处于任意位置/方向的多个声源在转换成立体声之后输出。
(位置测量单元16)
位置测量单元16具有基于从外部获取的信号来检测信息处理设备1的当前位置的功能。具体地，例如，位置测量单元16由全球定位系统(GPS)单元实现，从GPS卫星接收信号，检测信息处理设备1的位置，并且将关于所检测到的位置的信息输出至控制单元10。除了GPS之外，信息处理设备1还可以通过Wi-Fi(注册商标)、蓝牙(注册商标)、至/从移动电话、PHS、智能手机等的发送/接收、近场通信等来检测位置。
(存储单元17)
存储单元17存储执行上述功能的控制单元10要使用的程序和参数。另外，根据实施方式的存储单元17存储情景(各种声音内容)、虚拟角色的设置信息(外形、高度等)以及用户信息(名字、年龄、家庭、工作、办公室、体格数据、爱好、偏好等)。注意，存储在存储单元17中的至少一条信息可以存储在诸如云上的服务器的另一设备中。
以上描述了根据实施方式的信息处理设备1的具体配置。
<<3.操作>>
接下来，将参照图9来描述根据实施方式的信息处理设备1执行的声音处理。图9是示出根据实施方式的声音处理的流程图。
如图9所示，在步骤S103中，信息处理设备1的状态/行为检测单元10a首先基于由各种传感器(麦克风12、摄像装置13、9轴传感器14或位置测量单元16)检测到的信息来检测用户的状态和行为。
接下来，在步骤S106中，虚拟角色行为决定单元10b根据所检测到的用户的状态和行为来决定要播放的虚拟角色的行为。例如，虚拟角色行为决定单元10b决定执行与所检测到的用户的行为相同的行为(在用户正在步行时虚拟角色一起步行，在用户正在跑步时虚拟角色一起跑步，在用户坐下时虚拟角色一起坐下，以及在用户躺下时虚拟角色躺下)。
接下来，在步骤S109中，虚拟角色行为决定单元10b从情景中选择与所决定的虚拟角色的行为对应的声源(声音内容)。
接下来，在步骤S112中，相对位置计算单元10d基于所检测到的用户的状态和行为、预先登记的用户的体格数据(诸如高度)、所决定的虚拟角色的行为以及预先登记的虚拟角色的设置信息(诸如高度)，计算所选择的声源的相对位置(三维位置)。
接下来，在步骤S115中，情景更新单元10c根据所决定的虚拟角色的行为和所选择的声音内容来更新情景(换言之，进行至下一事件)。
接下来，在步骤S118中，声音图像定位单元10e对相应的声音内容执行声音图像定位处理，以使得声音图像被定位在所计算的声音图像的相对位置处。
接下来，在步骤S121中，声音输出控制单元10f执行控制，以使得扬声器15播放经受声音图像定位处理的声音信号。
接下来，在步骤S124中，播放历史/反馈存储控制单元10g使存储单元17存储已播放的声音内容的历史(换言之，已输出声音内容的声音)和来自用户的关于声音内容的反馈。
接下来，在步骤S127中，重复上述的S103至S124，直到情景中的事件结束为止。例如，在用户在到达最近的车站后、到家以前的情景的情况下，当用户离开最近的车站并且开始步行时触发情景的开始，并且当用户到家时情景结束。
注意，根据实施方式的情景不限于上述示例，并且可以使用各种情景。例如，可以使用与商店(诸如售卖目标物品的便利店)相关联的情景。在这种情况下，当用户进入预定便利店时触发情景的开始，并且当用户离开便利店时情景结束。例如，当状态/行为检测单元10a检测到用户进入便利店并且用户查看商店处的预定海报(诸如，由用户最近观看过的动画节目中的动画角色或由用户喜欢的流行明星宣传的物品的海报)时，宣传物品的情景开始。具体地，信息处理设备1将虚拟角色的语音的声音图像定位在用户附近并播放声音，以使得便利店的开门声和接近的脚步声被听到，并且虚拟角色说“哦！你看到我们的海报了吗？我们的歌曲被用作这个零食的宣传广告歌！”在这种情况下，信息处理设备1考虑到用户的高度和虚拟角色的高度而将虚拟角色的语音的声源定位在相对于用户的耳朵成预定角度的高度处。因此，用户能够感觉到好像虚拟角色实际上进入了商店、接近用户并且对用户说话。因此，促使用户查看所推荐的物品，并且能够获得改进的宣传效果。
另外，如图10所示，当从摄像装置13捕获的图像中检测到用户位于货架上的目标物品的前方时，信息处理设备1通过使用宣传该物品的虚拟角色的语音来播放诸如“这个零食非常美味！”的声音内容V7。虚拟角色的示例包括诸如动画角色或戏剧中的角色的虚构角色、诸如流行明星、男演员/女演员和电视角色的真实的人、以及动物。
例如，如图10所示，信息处理设备1执行控制，以使得声音内容V7的声音图像定位位置在用户A的右后侧并且在虚拟角色的相对于用户A的高度的适当高度处。由此，用户A能够感觉到虚拟角色(例如用户A喜欢的流行明星)的存在是真实的。另外，当用户感觉到好像虚拟角色实际上靠近用户并且对用户说话时，促使用户A购买所推荐的物品，并且能够获得改进的宣传效果。
<<4.结论>>
如上所述，根据实施方式的信息处理设备能够基于关于用户的状态和虚拟角色的信息来适当地计算声音要被定位的相对三维位置，并且更真实地呈现虚拟角色在真实空间中的存在。声音使用户感觉到虚拟角色(虚拟对象的示例)。
例如，通过考虑到用户的高度和虚拟角色的高度而计算虚拟角色的语音的声音图像定位位置的高度，可以使用户感觉到在真实空间中虚拟角色的大小是真实的。这使得用户更多地了解虚拟角色并且变得深深地依恋于虚拟角色。例如，虽然用户认为角色比他/她高，但是当角色的语音的声音图像根据实施方式被定位在真实空间中并播放时，用户了解到角色比他/她小。
另外，信息处理设备1根据所决定的虚拟角色的移动执行的对声音(诸如，脚步声、衣服摩擦声、包移动声等)的播放可以呈现虚拟角色的移动的真实性。
另外，即使在虚拟角色不说话时，也可以通过提供根据虚拟角色的行为所产生的声音(诸如，脚步声或衣服摩擦声)来向用户呈现虚拟角色存在于真实空间中。
尽管上面已参照附图描述了本公开内容的优选实施方式，但是本公开内容不限于上述示例。在所附权利要求的范围内，本领域技术人员可以发现各种变型和修改，并且应当理解，各种变型和修改将自然地落入本公开内容的技术范围内。
例如，还可以创建用于使嵌入上述信息处理设备1中的硬件(诸如CPU、ROM和RAM)执行信息处理设备1的上述功能的计算机程序。此外，可以提供存储有计算机程序的计算机可读记录介质。
另外，根据实施方式的信息处理设备1可以由包括移动终端(例如智能手机)的信息处理系统实现，该移动终端主要具有设置有扬声器15的耳机(或听筒、眼部佩戴物等)的功能和控制单元10的功能。在这种情况下，移动终端将经受声音图像定位处理的声音信号传送至耳机，并且使耳机播放声音信号。另外，扬声器15不限于安装在被配置成由用户佩戴的设备中的扬声器。例如，扬声器15可以由安装在用户周围的环境扬声器实现。在这种情况下，环境扬声器能够将声音图像定位在用户周围的任何位置处。
另外，根据上述实施方式，仅通过语音呈现虚拟角色的存在。然而，实施方式不限于此。例如，在信息处理设备1是眼部佩戴物型设备的情况下，还可以通过组合根据实施方式的声音图像定位和虚拟角色的视频在真实空间的叠加显示来增加虚拟角色的真实性。
此外，在本说明书中所描述的效果仅仅是说明性或例示效果，并且不是限制性的。也就是说，与上述效果一起或代替上述效果，根据本公开内容的技术可以实现本领域技术人员根据本说明书的描述显而易见的其他效果。
另外，本技术还可以进行如下配置。
(1)一种信息处理设备，包括：
计算单元，所述计算单元被配置成基于关于虚拟对象的信息和关于用户的状态的信息来计算所述虚拟对象的声源相对于所述用户的定位位置，所述虚拟对象通过声音图像定位使所述用户感觉到好像所述虚拟对象存在于真实空间中；以及
声音图像定位单元，所述声音图像定位单元被配置成对所述声源执行声音信号处理，以使得声音图像被定位在所计算的定位位置处。
(2)根据(1)所述的信息处理设备，
其中，所述声音图像的相对定位位置是包括高度的三维位置。
(3)根据(2)所述的信息处理设备，还包括：
声音输出控制单元，所述声音输出控制单元被配置成执行控制，以使得声音输出单元播放经所述声音图像定位单元处理后的声音信号。
(4)根据(3)所述的信息处理设备，
其中，关于所述用户的状态的信息包括所述用户的绝对位置、移动速度、方向、头部的位置、耳朵的高度以及根据前述各项识别的行为。
(5)根据(4)所述的信息处理设备，其中，
所述虚拟对象是虚拟角色，并且
所述信息处理设备还包括：
行为决定单元，所述行为决定单元被配置成根据识别的所述用户的行为来决定所述虚拟角色在真实空间中的虚拟行为，并且从情景中选择与所决定的行为对应的声音内容作为所述虚拟对象的声音图像。
(6)根据(5)所述的信息处理设备，
其中，所述计算单元基于所选择的声音内容的声源类型来计算所选择的声音内容的定位位置。
(7)根据(6)所述的信息处理设备，其中，
所述声音内容的声源类型包括语音声源、脚步声源、衣服摩擦声源、附属物声源以及交通工具声源，并且
所述计算单元基于与所述声源类型对应的、所述虚拟角色的部位的高度与基于所述关于用户的状态的信息的、所述用户的头部的高度之间的相对关系来计算所述声音内容要被定位的高度。
(8)根据(7)所述的信息处理设备，
其中，所述计算单元基于与所述用户的耳朵的相对位置关系来计算所述高度。
(9)根据(7)或(8)所述的信息处理设备，其中，
所述虚拟角色的部位是头部、躯干、腿部、鞋、所述虚拟角色携带的包或所述虚拟角色乘坐的交通工具，并且
所述虚拟角色的部位的位置是基于关于所述虚拟对象的信息和所决定的所述虚拟角色的行为而计算的。
(10)根据(5)至(9)中任一项所述的信息处理设备，还包括：
更新单元，所述更新单元被配置成在从所述情景中选择了与所决定的所述虚拟角色的行为对应的所述声音内容时更新所述情景。
(11)一种信息处理方法，包括：
由计算单元基于关于虚拟对象的信息和关于用户的状态的信息来计算所述虚拟对象的声源相对于所述用户的定位位置，所述虚拟对象通过声音图像定位使所述用户感觉到好像所述虚拟对象存在于真实空间中；以及
由声音图像定位单元对所述声源执行声音信号处理，以使得声音图像被定位在所计算的定位位置处。
(12)一种程序，其使计算机用作：
计算单元，所述计算单元被配置成基于关于虚拟对象的信息和关于用户的状态的信息来计算所述虚拟对象的声源相对于所述用户的定位位置，所述虚拟对象通过声音图像定位使所述用户感觉到好像所述虚拟对象存在于真实空间中；以及
声音图像定位单元，所述声音图像定位单元被配置成对所述声源执行声音信号处理，以使得声音图像被定位在所计算的定位位置处。
附图标记列表
1 信息处理设备
10 控制单元
10a 状态/行为检测单元
10b 虚拟角色行为决定单元
10c 情景更新单元
10d 相对位置计算单元
10e 声音图像定位单元
10f 声音输出控制单元
10g 播放历史/反馈存储控制单元
11 通信单元
12 麦克风
13 摄像装置
14 9轴传感器
15 扬声器
16 位置测量单元
17 存储单元
20 虚拟角色

Claims (12)

1.一种信息处理设备，包括：
计算单元，所述计算单元被配置成基于关于虚拟对象的信息和关于用户的状态的信息来计算所述虚拟对象的声源相对于所述用户的定位位置，所述虚拟对象通过声音图像定位使所述用户感觉到好像所述虚拟对象存在于真实空间中；以及
声音图像定位单元，所述声音图像定位单元被配置成对所述声源执行声音信号处理，以使得声音图像被定位在所计算的定位位置处。
2.根据权利要求1所述的信息处理设备，
其中，所述声音图像的相对定位位置是包括高度的三维位置。
3.根据权利要求2所述的信息处理设备，还包括：
声音输出控制单元，所述声音输出控制单元被配置成执行控制，以使得声音输出单元播放经所述声音图像定位单元处理后的声音信号。
4.根据权利要求3所述的信息处理设备，
其中，所述关于用户的状态的信息包括所述用户的绝对位置、移动速度、方向、头部位置、耳朵的高度以及根据前述各项识别的行为。
5.根据权利要求4所述的信息处理设备，其中，
所述虚拟对象是虚拟角色，并且
所述信息处理设备还包括：
行为决定单元，所述行为决定单元被配置成根据识别的所述用户的行为来决定所述虚拟角色在真实空间中的虚拟行为，并且从情景中选择与所决定的行为对应的声音内容作为所述虚拟对象的声音图像。
6.根据权利要求5所述的信息处理设备，
其中，所述计算单元基于所选择的声音内容的声源类型来计算所选择的声音内容的定位位置。
7.根据权利要求6所述的信息处理设备，其中，
所述声音内容的声源类型包括语音声源、脚步声源、衣服摩擦声源、附属物声源以及交通工具声源，并且
所述计算单元基于与所述声源类型对应的、所述虚拟角色的部位的高度与基于所述关于用户的状态的信息的、所述用户的头部的高度之间的相对关系来计算所述声音内容要被定位的高度。
8.根据权利要求7所述的信息处理设备，
其中，所述计算单元基于与所述用户的耳朵的相对位置关系来计算所述高度。
9.根据权利要求7所述的信息处理设备，其中，
所述虚拟角色的部位是头部、躯干、腿部、鞋、所述虚拟角色携带的包或所述虚拟角色乘坐的交通工具，并且
所述虚拟角色的部位的位置是基于关于所述虚拟对象的信息和所决定的所述虚拟角色的行为而计算的。
10.根据权利要求5所述的信息处理设备，还包括：
更新单元，所述更新单元被配置成在从所述情景中选择了与所决定的所述虚拟角色的行为对应的所述声音内容时更新所述情景。
11.一种信息处理方法，包括：
由计算单元基于关于虚拟对象的信息和关于用户的状态的信息来计算所述虚拟对象的声源相对于所述用户的定位位置，所述虚拟对象通过声音图像定位使所述用户感觉到好像所述虚拟对象存在于真实空间中；以及由声音图像定位单元对所述声源执行声音信号处理，以使得声音图像被定位在所计算的定位位置处。
12.一种程序，其使计算机用作：
计算单元，所述计算单元被配置成基于关于虚拟对象的信息和关于用户的状态的信息来计算所述虚拟对象的声源相对于所述用户的定位位置，所述虚拟对象通过声音图像定位使所述用户感觉到好像所述虚拟对象存在于真实空间中；以及
声音图像定位单元，所述声音图像定位单元被配置成对所述声源执行声音信号处理，以使得声音图像被定位在所计算的定位位置处。
CN201680027350.4A 2015-05-18 2016-02-08 信息处理设备、信息处理方法和程序 Expired - Fee Related CN107534824B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015100638 2015-05-18
JP2015-100638 2015-05-18
PCT/JP2016/053681 WO2016185740A1 (ja) 2015-05-18 2016-02-08 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN107534824A true CN107534824A (zh) 2018-01-02
CN107534824B CN107534824B (zh) 2019-10-18

Family

ID=57319795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680027350.4A Expired - Fee Related CN107534824B (zh) 2015-05-18 2016-02-08 信息处理设备、信息处理方法和程序

Country Status (5)

Country Link
US (2) US10477336B2 (zh)
EP (2) EP3723391A1 (zh)
JP (1) JP6673346B2 (zh)
CN (1) CN107534824B (zh)
WO (1) WO2016185740A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492363A (zh) * 2018-03-26 2018-09-04 广东欧珀移动通信有限公司 基于增强现实的结合方法、装置、存储介质及电子设备
CN109597481A (zh) * 2018-11-16 2019-04-09 Oppo广东移动通信有限公司 Ar虚拟人物绘制方法、装置、移动终端及存储介质
CN111903136A (zh) * 2018-03-29 2020-11-06 索尼公司 信息处理装置、信息处理方法和程序
CN111903135A (zh) * 2018-03-29 2020-11-06 索尼公司 信息处理装置、信息处理方法以及程序
CN112612445A (zh) * 2020-12-28 2021-04-06 维沃移动通信有限公司 音频播放方法和装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3280154B1 (en) * 2016-08-04 2019-10-02 Harman Becker Automotive Systems GmbH System and method for operating a wearable loudspeaker device
US10579879B2 (en) 2016-08-10 2020-03-03 Vivint, Inc. Sonic sensing
JP2018101452A (ja) * 2016-12-20 2018-06-28 カシオ計算機株式会社 出力制御装置、コンテンツ記憶装置、出力制御方法、コンテンツ記憶方法、プログラム及びデータ構造
CN110495190B (zh) * 2017-04-10 2021-08-17 雅马哈株式会社 语音提供设备、语音提供方法和程序记录介质
EP3664476A4 (en) * 2017-07-31 2020-12-23 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
KR102590801B1 (ko) * 2017-11-23 2023-10-17 주식회사 넥슨코리아 게임 서비스를 제공하기 위한 장치, 방법 및 컴퓨터 프로그램
US10674305B2 (en) * 2018-03-15 2020-06-02 Microsoft Technology Licensing, Llc Remote multi-dimensional audio
JP2021103341A (ja) * 2018-03-30 2021-07-15 ソニーグループ株式会社 情報処理装置、情報処理方法、および、プログラム
JP6953354B2 (ja) * 2018-05-24 2021-10-27 グリー株式会社 ゲーム処理プログラム、ゲーム処理方法、および、ゲーム処理装置
CN108744516B (zh) 2018-05-29 2020-09-29 腾讯科技（深圳）有限公司 获取定位信息的方法和装置、存储介质及电子装置
CN108854069B (zh) * 2018-05-29 2020-02-07 腾讯科技（深圳）有限公司 音源确定方法和装置、存储介质及电子装置
EP3859516A1 (en) * 2020-02-03 2021-08-04 Nokia Technologies Oy Virtual scene
US20220312144A1 (en) * 2021-03-24 2022-09-29 Sony Group Corporation Sound signal generation circuitry and sound signal generation method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1574870A (zh) * 2003-05-26 2005-02-02 株式会社日立制作所 人际通信系统
US20060287748A1 (en) * 2000-01-28 2006-12-21 Leonard Layton Sonic landscape system
CN101668567A (zh) * 2007-05-10 2010-03-10 索尼爱立信移动通讯有限公司 利用多维空间音频的个人训练装置
CN102855116A (zh) * 2011-06-13 2013-01-02 索尼公司 信息处理设备、信息处理方法及程序
CH706680A2 (de) * 2012-06-25 2013-12-31 Fritz Menzer Verfahren und Vorrichtung zur auditorischen Unterstützung von sportlicher Betätigung.

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003305278A (ja) 2002-04-15 2003-10-28 Sony Corp 情報処理装置及び情報処理方法、記憶媒体、並びにコンピュータ・プログラム
JP2005020455A (ja) * 2003-06-26 2005-01-20 Ricoh Co Ltd 音声ガイダンス装置およびオフィス機器
US20120031487A1 (en) 2010-02-24 2012-02-09 Iowa State University Research Foundation, Inc. Nanoscale High-Aspect-Ratio Metallic Structure and Method of Manufacturing Same
US9361729B2 (en) * 2010-06-17 2016-06-07 Microsoft Technology Licensing, Llc Techniques to present location information for social networks using augmented reality
US9111326B1 (en) * 2010-12-21 2015-08-18 Rawles Llc Designation of zones of interest within an augmented reality environment
US20140133658A1 (en) * 2012-10-30 2014-05-15 Bit Cauldron Corporation Method and apparatus for providing 3d audio
US8903104B2 (en) * 2013-04-16 2014-12-02 Turtle Beach Corporation Video gaming system with ultrasonic speakers

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060287748A1 (en) * 2000-01-28 2006-12-21 Leonard Layton Sonic landscape system
CN1574870A (zh) * 2003-05-26 2005-02-02 株式会社日立制作所 人际通信系统
CN101668567A (zh) * 2007-05-10 2010-03-10 索尼爱立信移动通讯有限公司 利用多维空间音频的个人训练装置
CN102855116A (zh) * 2011-06-13 2013-01-02 索尼公司 信息处理设备、信息处理方法及程序
CH706680A2 (de) * 2012-06-25 2013-12-31 Fritz Menzer Verfahren und Vorrichtung zur auditorischen Unterstützung von sportlicher Betätigung.

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492363A (zh) * 2018-03-26 2018-09-04 广东欧珀移动通信有限公司 基于增强现实的结合方法、装置、存储介质及电子设备
CN108492363B (zh) * 2018-03-26 2020-03-10 Oppo广东移动通信有限公司 基于增强现实的结合方法、装置、存储介质及电子设备
CN111903136A (zh) * 2018-03-29 2020-11-06 索尼公司 信息处理装置、信息处理方法和程序
CN111903135A (zh) * 2018-03-29 2020-11-06 索尼公司 信息处理装置、信息处理方法以及程序
CN109597481A (zh) * 2018-11-16 2019-04-09 Oppo广东移动通信有限公司 Ar虚拟人物绘制方法、装置、移动终端及存储介质
WO2020098462A1 (zh) * 2018-11-16 2020-05-22 Oppo广东移动通信有限公司 Ar虚拟人物绘制方法、装置、移动终端及存储介质
CN112612445A (zh) * 2020-12-28 2021-04-06 维沃移动通信有限公司 音频播放方法和装置

Also Published As

Publication number Publication date
US10477336B2 (en) 2019-11-12
EP3300392A4 (en) 2018-12-12
JPWO2016185740A1 (ja) 2018-03-08
EP3723391A1 (en) 2020-10-14
WO2016185740A1 (ja) 2016-11-24
JP6673346B2 (ja) 2020-03-25
US11128972B2 (en) 2021-09-21
CN107534824B (zh) 2019-10-18
EP3300392A1 (en) 2018-03-28
US20180048976A1 (en) 2018-02-15
EP3300392B1 (en) 2020-06-17
US20200053498A1 (en) 2020-02-13

Similar Documents

Publication Publication Date Title
CN107534824B (zh) 信息处理设备、信息处理方法和程序
US11044544B2 (en) Headphones with interactive display
US11017431B2 (en) Information processing apparatus and information processing method
US11683471B2 (en) Information processing device and information processing method
US9915545B2 (en) Smart necklace with stereo vision and onboard processing
US20170032787A1 (en) Smart necklace with stereo vision and onboard processing
CN110999327B (zh) 信息处理装置、信息处理方法以及程序
WO2015108882A1 (en) Smart necklace with stereo vision and onboard processing
AU2018329647B2 (en) Headphones with interactive display
WO2018101279A1 (ja) 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム
CN109074125A (zh) 信息处理设备、控制方法和程序
JP2003134510A (ja) 画像情報配信システム
CN110312144A (zh) 进行直播的方法、装置、终端和存储介质
US11518036B2 (en) Service providing system, service providing method and management apparatus for service providing system
JP2019075805A (ja) 移動手段においてコンテンツを提供するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、コンテンツ提供装置、およびコンテンツ提供システム
WO2022149496A1 (ja) エンタテインメントシステムおよびロボット
CN116185465A (zh) 服务模式的更新方法、计算机设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191018