CN103869968A - 功能控制设备和程序 - Google Patents

功能控制设备和程序 Download PDF

Info

Publication number
CN103869968A
CN103869968A CN201310628111.2A CN201310628111A CN103869968A CN 103869968 A CN103869968 A CN 103869968A CN 201310628111 A CN201310628111 A CN 201310628111A CN 103869968 A CN103869968 A CN 103869968A
Authority
CN
China
Prior art keywords
user
sound source
function
virtual
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310628111.2A
Other languages
English (en)
Other versions
CN103869968B (zh
Inventor
山下功诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103869968A publication Critical patent/CN103869968A/zh
Application granted granted Critical
Publication of CN103869968B publication Critical patent/CN103869968B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Abstract

本发明公开了一种功能控制设备和程序。本发明涉及一种电子装置,其包括处理电路,该处理电路配置成产生来自虚拟声源位置的音频声音。该电路还从用户输入获取感知声源位置的声音位置信息,然后基于虚拟声源位置与所述感知声源位置之间的关系来控制电子装置的功能的启用或禁用。

Description

功能控制设备和程序
技术领域
本公开涉及功能控制设备和程序。
本公开包含与2012年12月7日在日本专利局提交的日本在先专利申请JP2012-268048中公开的主题相关的主题,其全部内容通过引用合并于此。
背景技术
近年来,诸如PC(个人计算机)和便携式电话(智能电话)之类的电子装置变得深入到人们的生活中。这样的电子装置向用户提供了各种功能。这样的功能包括数量不定的用户不一定期望访问的功能。为了保护这样的功能,通常对电子装置自身或者其某些功能执行锁定。例如,在专利文献1中描述了用于简单执行这种锁定的技术。
用于锁定/解锁的通常操纵是输入密码,如同样在上述的专利文献1中描述的。然而,正如在专利文献1中所指出的,密码可能会通过被秘密地观察而被泄露,并且安全等级不能说是很高。因此,在专利文献1中,已提出了利用触摸面板上的按压位置与在每个位置处的按压力的结合作为输入的技术。
引用列表
专利文献
PTL1
日本专利公开公报第2011-48665号
发明内容
技术问题
然而,即使在专利文献1中所描述的技术中,由于可以从外面观看到输入的样子,所以输入操纵可被模仿,因此安全等级不能说足够高。此外,即使当使用了密码或者即使当使用了按压位置和按压力,用户仍需要为了执行解锁而记住之前设定的输入模式。当用户忘记了该输入模式时,会不能使用该功能,所以就可用性而言仍存在改善的空间。
因此,在本公开中,提出了一种新的改善的功能控制设备和程序,其中在确保电子装置的功能的锁定的安全级别的同时改善了可用性。
问题的解决方案
一种电子装置包括处理电路,该处理电路配置成产生来自虚拟声源位置的音频声音。该电路还从用户输入获取感知声源位置的声音位置信息,然后基于虚拟声源位置与感知声源位置之间的关系来控制电子装置的功能的启用或禁用。
一种信息处理方法包括利用扬声器产生来自虚拟声源位置的音频声音和从用户输入接口获取感知声源位置的声音位置信息。处理电路基于虚拟声源位置与感知声源位置之间的关系来控制电子装置的功能的启用或禁用。
一种非暂时性计算机可读存储介质,其具有存储在其中的计算机可读指令,当指令由处理电路执行时使处理电路执行信息处理方法,该方法包括:利用扬声器产生来自虚拟声源位置的音频声音并且从用户输入接口获取感知声源位置的声音位置信息。处理电路基于虚拟声源位置与感知声源位置之间的关系来控制电子装置的功能的启用或禁用。
发明的有益效果
如上所述,根据本公开的实施例,可在确保电子装置的功能的锁定的安全级别的同时改善可用性。
附图说明
图1是例示在三维声学空间中的声源的示图。
图2是例示在三维声学空间中的头相关传递函数的示图。
图3是例示虚拟声源的再现的示图。
图4是例示用于再现虚拟声源的设备配置的示例的示图。
图5是概念性地例示利用头相关传递函数的用户辨识的示例的示图。
图6是概念性地例示利用头相关传递函数的用户辨识的另一示例的示图。
图7是例示根据本公开的第一实施例的系统的示意性配置的示图。
图8是例示根据本公开的第一实施例的HMD的安装状态的示图。
图9是根据本公开的第一实施例的HMD当从下面被观看时的透视图。
图10是例示根据本公开的第一实施例的功能控制设备的示意性功能配置的框图。
图11是例示在本公开的第一实施例中的虚拟声源的位置的示例的示图。
图12是例示在本公开的第一实施例中的虚拟声源的位置的在水平方向上的布置的示图。
图13是例示在本公开的第一实施例中的虚拟声源的位置的在垂直方向上的布置的示图。
图14是例示在本公开的第一实施例中的锁定控制处理的示例的流程图。
图15是例示图14中所示的处理的变形的流程图。
图16是例示根据本公开的第一实施例的变形的功能控制设备的示意性功能配置的框图。
图17是例示根据本公开的第二实施例的功能控制设备的示意性功能配置的框图。
图18是例示在本公开的第二实施例中的虚拟声源的轨迹(locus)的示例的示图。
图19是例示在本公开的第二实施例中的解锁处理的示例的流程图。
图20是例示图19中所示的处理的变形的流程图。
图21是例示根据本公开的第三实施例的功能控制设备的示意性配置的框图。
图22是例示在本公开的第三实施例中的解锁处理的示例的流程图。
图23是例示根据本公开的第四实施例的功能控制设备的示意性配置的框图。
图24是例示在本公开的第四实施例中的解锁处理的示例的流程图。
图25是例示信息处理设备的硬件配置的框图。
具体实施方式
下文中,将参考附图详细描述本公开的优选实施例。此外,在本说明书和附图中,具有大致相同功能配置的组件通过相同的附图标记来表示并且省略重复的描述。
此外,将按照下面的顺序给出描述。
1.利用头相关传递函数的用户辨识(recognition)的基本思想
2.本公开的实施例
2-1.第一实施例
2-2.第二实施例
2-3.第三实施例
2-4.第四实施例
3.硬件配置
4.附加备注
(1.利用头相关传递函数的用户辨识的基本思想)
在下面将描述的本公开的实施例中,利用头相关传递函数辨识用户。首先,将参考图1至图6来描述利用这个头相关传递函数的用户辨识的基本思想。
(头相关传递函数)
图1是例示在三维声学空间中的声源的示图。
三维声学空间R是在作为听者的用户U周围的空间并且具有出现在其中的声源S。在下面的描述中,在用户的位置作为原点的极坐标系中,利用移动半径r和偏转角θ和
Figure BDA0000425792250000041
来表示声源S的位置。用户U的位置可以正好在连接用户U的左耳和右耳的线的中间点。移动半径r是从这个点至声源S的位置的距离。此外,偏转角θ是在用户U的前方的方向与声源S的方向之间形成的在水平平面内的角。偏转角
Figure BDA0000425792250000042
是在包括用户U的位置的水平平面与声源S的方向之间形成的在垂直平面内的角。
图2是例示在三维声学空间中的头相关传递函数的示图。
这里,在到达用户U的耳膜处的声波(在下文中称为所听声音)中,从声源S发射的声波(下文中称为原始声音)的特定频率分量由于在用户U的头或耳朵处的反射和衍射而加强或减弱。由于反射或衍射原始声音的处理在用户U的左耳和右耳之间可能会不同,所以所听声音的频率分量不同。此外,由于相距声源S的距离在用户U的左耳和右耳之间不同,所以所听声音的相位也会不同。
在这种情况下,表示从原始声音变成所听声音的变化的传递函数是头相关传递函数(HRTF)。HRTF很大地取决于特别是用户的头形状、外耳形状、外耳道形状、皮肤声阻抗等。换言之,HRTF是根据每个用户变化的函数。此外,HRTF根据声源S在三维声学空间R中的位置变化。
在图2中,来自声源S的声波按照头相关传递函数HRTF_L变化并且到达用户U的左耳的耳膜,并且按照头相关传递函数HRTF_R变化并且到达用户U的右耳的耳膜。如上所述,HRTF对于每个用户是特有的并且根据声源S的位置变化。因此,HRTF_L和HRTF_R是取决于用户U和指示声源S的位置的移动半径r和偏转角θ和
Figure BDA0000425792250000051
的函数并且表示为
Figure BDA0000425792250000052
Figure BDA0000425792250000053
作为用户U的感觉中枢的大脑通过经验来辨识声源S的位置
Figure BDA0000425792250000055
与头相关传递函数HRTF之间的关系。因此,用户U能够基于在
Figure BDA0000425792250000056
Figure BDA0000425792250000057
中改变了的所听声音来辨识声源S的位置
HRTF是在频域中表示的在原始声音与所听声音之间的传递特性。当对此HRTF进行离散傅里叶逆变换时,可以获得头相关脉冲响应(HRIR)。HRIR是在时域中表示的在原始声音与所听声音之间的传递特性并且广义上包括在头相关传递函数中。与HRTF类似,HRIR在左耳和右耳之间也不同,是取决于用户U和指示声源S的位置的移动半径r和偏转角θ和
Figure BDA0000425792250000059
的函数并且表示为
Figure BDA00004257922500000510
Figure BDA00004257922500000511
图3是例示虚拟声源的再现的示图。
三维声学空间V是被看作作为听者的用户U周围的空间的虚拟空间。当对所测量的头相关脉冲响应
Figure BDA00004257922500000512
Figure BDA00004257922500000514
执行与原始声音X的卷积时,原始声音X类似地变成从实际三维声学空间R中的位置处出现的声源S发射并且到达用户U的耳膜的所听声音。因此,当卷积之后的声波从用户U的耳膜的附近发射时,用户感知为声源位于虚拟三维声学空间V中的位置
Figure BDA0000425792250000061
处。这可以称为一种声错觉。在这种情况下,至用户的左耳的输出信号YL和至右耳的输出信号YR分别通过下列的数学等式1和2来表示。此外,“*”指示卷积操作。
Figure BDA0000425792250000062
(等式1)
Figure BDA0000425792250000063
(等式2)
通过如在实际声音空间R中的声源S一样再现脉冲信号、TSP(时间展宽脉冲)信号等、通过使用安装在用户U的左耳和右耳上的麦克风接收所听声音而在频域中测量HRTF_L和HRTF_R,以及对HRTF_L和HRTF_R执行离散傅里叶逆变换来获得用户U的HRIR。此外,可根据所测量的脉冲应答信号在时域中直接获得HRIR。
由于如上所述HRIR取决于指示声源S的位置的移动半径r和偏转角θ和
Figure BDA0000425792250000064
所以期望在声源S可能定位的每个位置处测量HRIR。例如,可以考虑:在将最大到声源S的移动半径r固定于预定距离(诸如1米)并且将偏转角θ或偏转角
Figure BDA0000425792250000065
改变1度的同时测量偏转角θ和的所有组合中的HRIR。尽管通过听辨识的方位角的最小分辨率也取决于方向,但是由于是约1度,所以在三维声学空间V中相距用户U为r的任意位置中所出现的虚拟声源能够通过测量在偏转角θ和
Figure BDA0000425792250000067
以1度来变化的网格上的观察点处的HRIR来再现。
此外,例如,耳机(包括内耳式耳机)等用于从用户U的耳膜附近发射声波。在这种情况下,通过考虑到耳机的安装位置来对外耳道的传递特性、耳机的扬声器驱动器的声学特征等进行校正,能够使声源的位置被用户U更精确地感知到。此外,下面将要描述的听觉传输系统(transauralsystem)可用于将声波发射至用户U的耳膜的附近。
图4是例示用于再现虚拟声源的设备配置的示例的示图。
在设备10中,通过左右FIR(有限脉冲响应)滤波器11L和11R来执行输入原始声音数据(单声)与HRIR_L或HRIR_R的卷积。原始声音数据例如作为采样频率为44.1KHz并且量化比特数为16位的数字信号被输入。这里,当假定HRIR系数的抽头长度(tap length)是512个采样时,FIR滤波器11L和11R中的卷积是512个抽头的乘积和(product-sum)运算处理。FIR滤波器可安装为诸如DSP(数字信号处理器)的运算硬件或者可安装为CPU(中央处理单元)的软件信号处理。
可获得至用户的左耳的输出信号YL和至用户的右耳的输出信号YR,作为FIR滤波器11L和11R中的卷积的结果。这些信号通过D/A转换器12L和12R从数字信号转换成模拟信号,通过放大器13L和13R放大并且从扬声器14L和14R输出至作为听者的用户U。扬声器14L和14R是具有向用户的左耳和右耳输出单独的声音的功能的耳机或扬声器,诸如,将在下面描述的构成听觉传输系统的扬声器。
这里,由CPU15控制FIR滤波器11L和11R。CPU15根据输入声源位置从存储装置等中所存储的HRIR系数表16获取HRIR系数。HRIR系数例如绑定于标识用户U的用户ID并且针对指示声源S的位置的移动半径r和偏转角θ和
Figure BDA0000425792250000075
的每个组合的HRIR_L和HRIR_R中的每一个进行存储。
(利用头相关传递函数的用户辨识)
作为头相关传递函数的HRTF和HRIR如上所述是对各个用户而言特有的函数。用户U凭经验获知从在位置
Figure BDA0000425792250000071
出现的声源S发射的原始声音如何通过他的或她的HRTF变成所听声音。用户U能够通过这种认知根据所听声音来辨识声源S的位置。
因此,例如,在再现图3中所示的虚拟三维声学空间V中的声源过程中,即使当通过执行其他用户U'的头相关脉冲响应
Figure BDA0000425792250000072
Figure BDA0000425792250000073
与原始声音X的卷积而获得的声音是从用户U的耳膜附近发射时,用户仍未感知到声源位于该虚拟三维声学空间V中的位置
Figure BDA0000425792250000074
这是因为通过其他用户U'的HRTF造成的原始声音X的变化不同于通过用户U凭经验获知的用户U的HRTF的变化。因此,通常众所周知的现象是,在虚拟声源的位置的认知上的个体差异相当大。
当根据不是用户的HRTF的HRTF计算的HRIR与其进行卷积的原始声音X呈现于用户U时,不能如上所述正确地感知声源的位置。具体地,很难在前面或垂直位置执行精确的定位(前面定位和垂直定位)。在这种情况下,声源定位在用户U的头内(头内定位)或者用户U后面的不正确位置(后向定位)并且被感知。
另一方面,当用户U的头相关脉冲响应
Figure BDA0000425792250000081
Figure BDA0000425792250000082
Figure BDA0000425792250000083
与其进行卷积的原始声音X被呈现时,仅用户U能够正确地感知声音出现在位置
Figure BDA0000425792250000084
利用头相关传递函数的用户辨识的基本思想是基于上述的发现。换言之,利用头相关传递函数的用户辨识是通过利用头相关传递函数如用户U的HRIR作为模板并且利用头相关传递函数估计虚拟产生的声源的位置来辨识用户U。在这种辨识中,仅当在预定是微小误差范围内精确估计虚拟产生的声源的位置时,用户U被辨识为是他或她自身。
此外,利用头相关传递函数的用户辨识可不仅如上所述用于辨识用户他或她自身,而且用于辨识用户的属性。由于HRTF是例如如上所述取决于用户的头的形状、外耳的形状、外耳道的形状、皮肤的声阻抗等确定的函数,所以也可认为HRTF在具有这种类似属性的用户之间在某种程度上类似。因此,辨识的等级可从限于用户他或她自身的严格辨识调整成能够通过规定辨识中所允许的误差范围来辨识具有预定属性的用户组的相对宽松的辨识。因此,在下面的描述中“用户U的辨识”可以用“辨识一个用户是否是具有预定属性的用户”来代替。
图5是概念性地例示利用头相关传递函数的用户辨识的示例的示图。
例如,在用户U的前面的位置(r、θ1、0)中出现的声源ST通过执行头相关脉冲响应HRIR_L(U,r,θ1,0)和HRIR_R(U,r,θ1,0)与原始声音X的卷积被虚拟地再现,并且呈现于听者。在这种情况下,如果听者是用户U,则听者可正确地感知声源ST的位置。另一方面,如果听者不是用户U,则听者不能正确地感知声源ST的位置并且错误地感知位置,如感知为位于听者之后的声源SF。因此,如果估计出声源ST的位置出现在用户U的前面,则能够以高精度辨识用户U。
图6是概念性地例示利用头相关传递函数的用户辨识的另一示例的示图。
如上所述,当根据不是用户U的HRTF的HRTF计算的HRIR与其进行卷积的原始声音X呈现于用户U时,声源被定位在用户U的头内或用户U之后的不正确位置并且被感知。这个不正确的位置所分布的范围在用户U的垂直方向上特别窄。换言之,当根据不是用户U的HRTF的HRTF计算的HRIR与其进行卷积的原始声音X被呈现时,听者很难识别声源的高度。
例如,在用户U的前面的位置
Figure BDA0000425792250000093
中出现的声源ST通过执行头相关脉冲响应
Figure BDA0000425792250000091
Figure BDA0000425792250000092
与原始声音X的卷积被虚拟地再现并且呈现于听者。在这种情况下,如果听者是用户U,则听者可正确地感知声源ST的位置。另一方面,如果听者不是用户U,则听者不能正确地感知声源ST的位置并且在许多情况下错误地将位置感知为位于在听者之后与听者相同高度的声源SF。因此,如果当从用户U观看时对出现在不同高度的多个不同位置中的任意一个位置处的声源ST的位置进行估计,则能够以高精度辨识用户U。
(2.本公开的实施例)
接下来,将描述利用上述的基本思想来控制电子装置的锁定状态的一些实施例。
(2-1.第一实施例)
首先,将参考图7至图16描述本公开的第一实施例。在本实施例中,从头戴式显示器(HMD)的耳机输出利用头相关传递函数再现的虚拟声源。听见输出的声源的用户例如利用HMD的输入按钮等应答估计的声源位置。当应答正确时,HMD的功能,向HMD提供内容的转换器或回放装置被解锁。
这里,用于再现虚拟声源的头相关传递函数可以是例如预先测量的特定用户的头相关传递函数。此外,头相关传递函数可以是例如具有预定属性的用户组的平均头相关传递函数。如上所述,头相关传递函数对每个用户而言是特定的,但当根据如成人和孩子一样的属性而存在用户的头的大小和皮肤的状态上的差异时,认为可存在针对每个属性的在平均头相关传递函数上的差异。因此,能够通过利用平均头相关传递函数的声源再现来确定用户是否具有该属性,例如,用户是否是成人。
(系统配置)
图7是例示根据本公开的第一实施例的系统的示意性配置的示图。参考图7,系统40包括HMD20和转换器30。HMD20是安装在用户的头上用于显示用户的左右眼中的每一只眼的图像并且向用户的左右耳中的每只耳朵输出声音的装置。例如,转换器30将从回放装置如录音机、游戏机或电视调谐器输出的(例如,为了在正常显示器中的再现而构建的)图像和声音数据转换成能够在HMD20上输出的图像和声音数据,并且将经转换的数据提供至HMD20。
在例示的示例中,HMD20和转换器30通过电缆连接。然而,在本公开的其他实施例中,HMD20和转换器30可以无线地连接或者HMD20和转换器30可以集成地形成。可替选地,当HMD20预先再现为了在HMD中的再现而构建的图像和声音时,转换器30是不需要的,并且从诸如录音机、游戏机或电视调谐器的回放装置输出的图像和声音数据可直接输入至HMD20。
此外,由于如例如在日本专利公开公报第2008-83290中所描述的公知技术可用作用于利用HDM20再现图像和声音的构造,所以在本文中省略详细的描述。
图8是例示根据本公开的第一实施例的HMD的安装状态的示图。参考图8,HMD20安装在用户U的头上以覆盖用户的左右眼。此外,连接至HMD20的内耳式耳机21安装在用户U的左右耳中。
此外,在例示的示例中,HMD20是不透明型,但是在本公开的其他实施例中HMD可以是透明型的。在那种情况下,HMD可以具有如例如在日本专利公开公报第2008-83290中所描述眼镜形状。此外,耳机21可以不必连接至HMD20,而可以连接至例如与HMD分开的转换器30。
图9是当从下面观看根据本公开的第一实施例的HMD时的透视图。参考图9,HMD20除了耳机21之外还包括显示单元22和操纵单元23。耳机21包括安装在用户U的左耳上的耳机21L和安装在用户U的右耳上的耳机21R。此外,显示单元22包括朝着用户的左眼显示图像的显示单元22L和朝着用户的右眼显示图像的显示单元22R。通过耳机21和显示单元22,向用户的右耳和左耳独立地输出声音并且向用户的左眼和右眼独立地显示图像。例如,LCD(液晶显示器)或有机EL(电致发光)显示器可用于显示单元22。
操纵单元23包括设置在HMD20的下表面上的按钮。在例示的示例中,操纵单元23包括电源按钮23a、方向/菜单按钮23b以及音量按钮23c。此外,在本公开的其他实施例中,操纵单元23可包括与例示的示例中的那些按钮不同的按钮类型,或者非按钮的开关或控制杆。由于在用户戴着HMD20的同时用户的视野被显示单元22上所显示图像(包括当HMD是透明型时通过透射看到的外部世界的图像)所占据,所以用户盲(即,在不观看操纵单元23的情况下)操纵该操纵单元23。
就图像的美丽、用户所感受到的真实感,或者身临其境而言,如上所述的HMD20相比于一般的显示器展现出极好的性能。另一方面,由于显示单元与用户的眼睛之间的距离短,所以会影响正在成长的孩子的健康。因此,例如,推荐设定所谓的孩童锁定以防止孩童使用HMD20。
孩童锁定是这样的机构,其中,例如,当确定为已安装HMD20时为了防止孩童使用HMD20,要求输入密码,并且只有在输入正确的密码时,解除HMD20的功能锁定设定,以允许使用HMD20。然而,由于如上所述用户盲操纵HMD20的操纵单元23,所以尽管简单操纵如内容的再现控制或音量调节不存在问题,但复杂操纵如密码的输入并不容易。
此外,如上所述,不能说通过密码的输入,锁定设定的保密等级就高。例如,父母设定的密码可能很容易被与他们生活在一起的孩子猜到。当设定了孩子难以猜到的复杂密码时,如上所述利用操纵单元23输入密码就很麻烦并且父母很可能忘记密码而不能使用HMD20。
因此,在本实施例中,提供了如将在下面描述的功能控制设备,以在确保功能的锁定的安全等级的同时改善可用性。
(功能控制设备的配置)
图10是例示根据本公开的第一实施例的功能控制设备的示意性功能配置的框图。参考图10,功能控制设备100包括安装检测单元101、头相关传递函数获取单元103、虚拟声源位置设定单元107、产生单元109、解码电路113、再现单元115、应答获取单元117、确定单元119和锁定单元121。此外,功能控制设备100参考在存储装置等中存储的头相关传递函数数据105和原始声音数据111。
功能控制设备100包括在系统40中并且控制HMD20的功能的锁定。例如,功能控制设备100可以结合在HMD20中。此外,功能控制设备100可结合在转换器30中。可替选地,功能控制设备100可作为独立的设备包括在系统40中。当功能控制设备100没有结合在HMD20中时,可通过与HMD20的有线或无线通信来执行通过安装检测单元101的安装检测、通过再现单元115的声音数据的再现、通过应答获取单元117的应答获取以及通过锁定单元121的功能锁定的控制。功能控制设备100可例如通过将在下面描述的信息处理设备的硬件配置来实现。
安装检测单元101例如基于HMD20中设置的传感器(接触传感器、陀螺传感器、加速度传感器等)的检测值来检测用户已安装HMD20。可替选地,当HMD20中设置的机械开关由于用户佩戴上HMD20或者由于用户的明确的操纵而被切换时,安装检测单元101可检测到用户已安装了HMD20。当检测到用户已安装了HMD20时,安装检测单元101使虚拟声源位置设定单元107开始解锁HMD20的功能的处理。此外,安装检测单元101的功能可以例如用HMD20由于用户按下操纵单元23的电源按钮23a而从待机状态到启动状态的状态变化的检测来取代。
头相关传递函数获取单元103参考头相关传递函数数据105获取预先准备的头相关传递函数。这里,所获取的头相关传递函数可以是针对HMD20的用户预先测量的头相关传递函数。可替选地,头相关传递函数可以是作为具有共同属性的用户组的平均头相关传递函数提供的头相关传递函数。如上所述,头相关传递函数除了取决于用户U(或者用户U的属性)之外还取决于声源S的位置
Figure BDA0000425792250000121
因此,头相关传递函数获取单元103利用从虚拟声源位置设定单元107获取的虚拟声源的位置参考头相关传递函数数据105获取预先测量并且存储的头相关传递函数的信息。这里,所获取的头相关传递函数是例如HRIR。头相关传递函数获取单元103向产生单元109提供所获取的头相关传递函数的信息。
虚拟声源位置设定单元107随机地设定虚拟声源的位置
Figure BDA0000425792250000122
虚拟声源位置设定单元107将虚拟三维声学空间V的任意位置设定为虚拟声源的位置(在下文中称为第一位置)。在本实施例中,由于如下面将描述的通过从九个选项选择来执行虚拟声源的位置的应答,所以虚拟声源位置设定单元107将三维声学空间V中对应于这九个选项的九个位置中的任意一个设定为虚拟声源的位置。虚拟声源位置设定单元107将虚拟声源的设定位置的信息提供至头相关传递函数获取单元103和确定单元119。
如上所述,头相关传递函数获取单元103基于虚拟声源位置设定单元107设定的位置从头相关传递函数数据105获取头相关传递函数。这里,通过虚拟声源位置设定单元107设定的位置是九个位置中的任意一个。因此,在头相关传递函数数据105中预先准备了上述至少九个位置的头相关传递函数。
产生单元109产生通过利用头相关传递函数来虚拟地再现在三维声学空间V中的第一位置中出现的声源而获得的声音数据。产生单元109从头相关传递函数获取单元103获取通过虚拟声源位置设定单元107设定的第一位置中的头相关传递函数的信息。产生单元109可以利用FIR滤波器来实现,类似于例如图4中所示的设备10的情况。产生单元109利用头相关传递函数处理从解码电路113提供的原始声音的数据并且产生虚拟声源的声音数据。产生单元109向再现单元115提供所产生的声音数据。
解码电路113解码原始声音数据111。原始声音数据111是例如在44.1KHz的采样频率并且在16位的量化比特数下经MP3压缩的单声道声音数据。解码电路113对此声音数据进行解码,将该声音数据解调成PCM信号,并且将PCM信号提供至产生单元109。
再现单元115向用户再现从产生单元109提供的声音数据。再现单元115可以是例如连接至耳机21的接口并且可包括D/A转换器、放大器等。再现单元115向耳机21提供要向用户输出的声音数据。在这种情况下,图9中所示的耳机21L和21R用作图4中所示的扬声器14L和14R。
应答获取单元117获取通过耳机21听到再现单元115所产生的声音数据的用户所估计的在三维声学空间V中的虚拟声源位置(在下文中称为第二位置)作为应答。应答获取单元117是例如连接至操纵单元23的接口并且获取指示用户利用操纵单元23(具体地,方向/菜单按钮23b)输入的位置的信息。应答获取单元117将所获取的第二位置的信息提供至确定单元119。
确定单元119基于通过虚拟声源位置设定单元107设定的第一位置与通过应答获取单元117获取的第二位置之间的关系确定是否对HMD20进行解锁以使诸如内容观看的功能有效。例如,当利用用户U的头相关传递函数产生声音数据时,如果第一位置与第二位置匹配,则确定单元119可确定出HMD20要被解锁。这是因为正确地感知虚拟声源的位置的用户估计是用户U他或她自身。此外,例如,当利用具有共同属性的用户如是“成人”的用户的平均头相关传递函数产生声音数据时,如果第一位置与第二位置之间的误差在预定的范围内,则确定单元119可确定HMD20要被解锁。这是因为正确地感知虚拟声源的位置的用户在一定程度上估计是预定年龄或以上的“成人”。确定单元119向锁定单元121输出确定的结果。
锁定单元121基于确定单元119中的确定结果执行HMD20的锁定控制。例如,当确定单元119确定HMD20要被解锁时,锁定单元121解锁HMD20,以使HMD20的内容再现功能有效。另一方面,当确定单元119确定不对HMD进行解锁时,锁定单元121继续保持锁定状态,保持HMD20的内容再现功能无效。
此外,在上述的组件中,例如,通过CPU、RAM(随机存取存储器)、ROM(只读存储器)等来实现除如特定构件所例示的部件之外的部件。这同样适用于将在下面的实施例中描述的部件。
(虚拟声源的位置的示例)
图11是例示在本公开的第一实施例中的虚拟声源位置的示例的示图。参考图11,在本实施例中,向观察者呈现虚拟屏幕150。虚拟屏幕150是通过HMD20的显示单元22L和22R向用户的左右眼显示图像而由用户辨识的虚拟屏幕。在虚拟屏幕150上,当用户观看时,位置S5布置在中间,而位置S1至S4和位置S6至S9分别布置在位置S5周围的上、下、左、右、左上、右上、左下和右下位置。如上所述,在本实施例中,通过虚拟声源位置设定单元107设定的第一位置从九个位置中来选择。此外,响应于其,通过应答获取单元117所获取的用户应答所指示的第二位置也可从九个位置中来选择。
因此,可通过从预定位置组选择第一位置和第二位置中的每一个来针对至少一个预定位置组中所包括的位置预先准备头相关传递函数,从而简化了头相关传递函数的测量或产生。此外,估计虚拟声源位置的用户应答可通过从选项中选择来获取,从而简化应答的输入和确定。此外,位置组中所包括的位置数量不限于9,而可以是任意数量。
此外,如例示,虚拟声源的位置S1至S9可作为图像显示在虚拟屏幕150上。由于显示了位置S1至S9,所以用户当听到声音数据并且用虚拟声源的位置应答时,可(例如)通过输入分别附接于位置S1至S9的任意数字“1”至“9”容易地应答。此外,数字可以不附接于位置S1至S9。在这种情况下,用户可(例如)通过利用操纵单元23的方向/菜单按钮23b输入与虚拟声源的位置对应的方向来应答。
可替选地,可基于用户的视线或姿势的检测结果来获取用户应答。例如,由于检测用户视线的摄像机安装在HMD20中,并且当声音数据被再现时最接近用户注视点的位置作为用户应答来获取。此外,例如,用于检测用户姿势的摄像机可安装在HMD20的与用户前额对应的部分中或者在佩戴HMD20的用户能够被摄取的位置,并且当声音数据被再现时可根据用户的姿势辨识用户应答。在这种情况下,例如,可针对位置S1至S9中的每个位置预先设定对应姿势(例如,当应答位置S1时,左臂向左侧伸出并且臂端从肘部向上弯曲)。此外,由于众所周知的技术可以用于用来检测用户视线的配置或者用来检测用户姿势的配置,所以在本文中省略详细的描述。
图12是例示在本公开的第一实施例中的虚拟声源的位置的在水平方向上的布置的示图。在图12中,示意性地示出了用户周围虚拟三维声学空间V在用户头高度处的水平剖视图。在本实施例中,虚拟声源的位置布置在用户前面距离为r处的虚拟屏幕150上。距离r可设定为与HMD20的虚拟观看距离(即从用户U至虚拟屏幕150的虚拟距离)相同。例如,当虚拟观看距离是20m时,距离r可以是20m。
在例示的示例中,虚拟声源的位置S5在三维声学空间V中是(r,0,0)。此外,虚拟声源的位置S4在三维声学空间V中是(r,-θ1,0),并且虚拟声源的位置S6是(r,θ1,0)。因此,位置S4与位置S5或位置S5与位置S6之间的距离是r*tanθ1。在这种情况下,从用户视点至虚拟屏幕150上设定的位置S4和位置S6的距离稍大于r,但是,例如,当r是约20m并且θ1是约3度至5度时,其之间的差异在作为误差可忽略的范围内。当从用户视点至虚拟屏幕150上的位置S4和位置S6的距离正好是r时,HMD20的虚拟观看距离,即,从用户至位置S5的虚拟距离(例如,20m)是r*cosθ1并且在位置S4与位置S5之间的距离和在位置S5与位置S6之间的距离可设定为r*sinθ1
图13是例示在本公开的第一实施例中的虚拟声源的位置的在垂直方向上的布置的示图。在图13中,示意性地示出了用户周围虚拟三维声学空间V在用户的前后方向上的垂直剖视图。如上面所描述的,在本实施例中,虚拟声源的位置布置在用户前面距离r处的虚拟屏幕150上。距离r可设定为与HMD20的虚拟观看距离相同。
在例示的示例中,虚拟声源的位置S5在三维声学空间V中是(r,0,0)。此外,虚拟声源的位置S2在三维声学空间V中是
Figure BDA0000425792250000151
并且虚拟声源的位置S8
Figure BDA0000425792250000152
因此,位置S2与位置S5之间的距离和位置S5与位置S8之间的距离是
Figure BDA0000425792250000153
在这种情况下,从用户视点至虚拟屏幕150上设定的位置S2和位置S8的距离稍大于r,但是,例如,当r是约20m并且
Figure BDA0000425792250000154
是约3度至5度时,其之间的差异作为误差可忽略。当从用户视点至虚拟屏幕150上的位置S2和位置S8的距离正好是r时,HMD20的虚拟观看距离,即,从用户至位置S5的虚拟距离(例如,20m)是r*cosθ1并且在位置S2与位置S5之间的距离和在位置S5与位置S8之间的距离可设定为r*sinθ1
未例示的位置S1、S3、S7以及S9在三维声学空间V中的位置与上述的位置S2、S4、S6以及S8类似地设定。换言之,位置S1
Figure BDA0000425792250000161
位置S3位置S7
Figure BDA0000425792250000163
以及位置S9
Figure BDA0000425792250000164
在上面的示例中,θ1
Figure BDA0000425792250000165
的、允许用户识别虚拟声源位置之间的差异的最小值(最小分辨率)是约3度。如果θ1
Figure BDA0000425792250000166
的值太大,则声源位置之间的差异可被用户U之外的人识别,所以期望θ1
Figure BDA0000425792250000167
的值在约3度至约5度之间。此外,当利用具有共同属性的用户组的平均头相关传递函数来再现虚拟声源时,用户的虚拟声源位置识别准确率不是非常高并且期望属于该用户组的每个用户能够识别虚拟声源的同一位置,因此,θ1的值可设定成例如大于5度的值。
(处理流程)
图14是例示在本公开的第一实施例中的锁定控制处理的示例的流程图。
如上所述,在本实施例中,在功能控制设备100中,当安装检测单元101检测到用户已安装了HMD20时开始解锁处理(步骤S101)。首先,虚拟声源位置设定单元107随机地设定虚拟声源的位置(步骤S103)。这里,虚拟声源位置设定单元107从上述位置S1至S9中随机地选择虚拟声源位置。
接下来,头相关传递函数获取单元103从作为头相关传递函数数据105预先存储的数据获取在步骤S103中设定的虚拟声源的位置处的HRIR函数(步骤S105)。这里,所获取的HRIR函数可以是,例如,预先针对特定用户测量的HRIR函数,或者可以是作为具有预定属性的用户的平均头相关传递函数提供的HRIR函数。
然后,产生单元109通过执行在步骤S105中获取的HRIR函数与原始声音数据的卷积来产生虚拟声源的声音数据(步骤S107)。然后,再现单元115通过HMD20的耳机21向用户输出声音数据(步骤S109)。
然后,应答获取单元117获取应答,该应答指示了用户经由HMD20的操纵单元23所估计的虚拟声源的位置(步骤S111)。这里,在步骤S109与步骤S111之间,可考虑到用户的思考和操作所花费时间来设定预定待机时间。
然后,确定单元119确定通过在步骤S111中获取的应答所指示的位置(第二位置)是否匹配在步骤S103中设定的虚拟声源的位置(第一位置)(步骤S113)。这里,当确定出位置不匹配时,确定单元119确定“解锁失败”并且锁定单元121不对HMD20解锁,保持功能无效(步骤S115)。
另一方面,当在步骤S113中确定出应答所指示的位置与虚拟声源的位置匹配时,确定单元119进一步确定步骤S103至S109中的虚拟声源的再现是否已重复了预定的次数(步骤S117)。这里,当确定出虚拟声源的再现已重复了预定的次数时,确定单元119确定“解锁成功”并且锁定单元121对HMD20解锁以使功能有效(步骤S119)。
另一方面,当在步骤S117中确定出虚拟声源的再现还未被重复预定次数时,虚拟声源的再现处理再次从步骤S103执行。在这种情况下,虚拟声源的位置可在步骤S103中再次随机地设定。此外,预定的次数可以是1,在这种情况下,不执行步骤S117。
在例示的示例中,在改变虚拟声源的位置(但是,作为随机选择的结果的相同位置可以是连续的)的同时,虚拟声源的再现和来自用户的应答的获取重复了预定次数。因此,例如,可防止当孩子(其对HMD20的使用期望被阻止)通过猜测输入应答时意外地执行解锁的情况。
图15是例示图14中所示的处理的变形的流程图。
在例示的示例中,在步骤S111之后,确定单元119确定所获取的应答是正确的应答还是不正确的应答并且更新正确应答/不正确应答的计数(步骤S121)。计数可例如在RAM等中作为数值来存储。确定单元119然后执行步骤S117。
当在步骤S117中确定出虚拟声源的再现已重复了预定次数时,确定单元119根据预定次数和正确应答/不正确应答的计数来计算听者的正确应答的数量,并且确定正确应答的数量或者正确应答率是否等于或大于阈值(步骤S123)。这里,当确定出正确应答的数量或正确应答率等于或大于该阈值时,确定单元119确定“解锁成功”并且锁定单元121解锁HMD20以使功能有效(步骤S119)。另一方面,当确定出正确应答的数量或者正确应答率并不等于或大于该阈值时,确定单元119确定“解锁失败”并且锁定单元121不对HMD20解锁,保持该功能无效(步骤S115)。
在上述的变形中,例如,当在虚拟声源的再现的重复期间存在一个不正确应答时,解锁不是立刻就失败,而是当随后做出正确的应答时解锁很可能发生。因此,即使当由于HRIR函数或耳机21的不完全或者平均HRIR函数的使用而使虚拟声源的位置并不一定每次都正好被感知时,仍可防止用户(他或她)自身或具有预定属性的用户解锁失败。
这里,作为附加的配置,当在步骤S121中检测到不正确的应答时确定单元119可增加重复虚拟声源的再现的次数。例如,确定单元119可以以“从开始或者在不正确的应答之后,连续三次做出正确应答”或者“虚拟声源的再现被重复三次或以上,如果其间正确应答率是75%或以上,则解锁成功,如果正确应答率小于50%,则确定出解锁失败”为条件动态地设定重复虚拟声源的再现的次数。
(头相关传递函数的测量)
在上述本公开的第一实施例中,头相关传递函数数据105预先存储进功能控制设备100。例如,当用户U所特有的头相关传递函数用于上述解锁处理时,例如,利用如参考图3描述策略,针对用户U预先测量头相关传递函数。为了获取高精度的头相关传递函数,期望在无回声空间中执行测量以去除墙壁上的反射的影响。当通过这样的测量获得了诸如HRIR的头相关传递函数时,在测量时所使用的任何声音以及脉冲或TSP(时间展宽脉冲)可用作原始声音数据111。
然而,HMD20的所有用户在无回声空间中测量头相关传递函数是不现实的。因此,可考虑某些替代策略。一种替代策略是使用具有预定属性(例如,是“成人”的用户)的用户的平均头相关传递函数作为头相关传递函数,如上所述。在这种情况下,例如,基于在无回声空间中的足够数量的采样的测量头相关传递函数的结果,计算头相关传递函数。因此,HMD20的用户(他或她)自身可以不测量头相关传递函数。然而,例如,当用户的头形当中的平均差异巨大时,会将这些用户辨识为不具有这种属性。
此外,可以在用户使用HMD20的地方(诸如,在家)执行测量。在这种情况下,例如,设置在与HMD20的耳机21相同的位置处的用于噪声消除的麦克风可用于测量。在家里的情况下,由于,不像专门的测量环境,不容易移动声源的位置,所以在多个不同声源位置处的测量可例如通过在诸如扬声器的声源固定于预定位置的状态中用户移动来执行。在这种情况下,为了用户能够移动至正确的位置,可在HMD20中包括规定与声源的位置关系的表等。可替选地,通过在与HMD20的用户的前额对应的部分中安装扬声器或者将扬声器通过电线附接至HMD20并且在该线伸长的状态中移动扬声器,可在规定了声源与HMD20之间的位置关系的状态中执行测量。
当如上所述简化测量时,墙壁上的反射或吸收对测量结果的影响增加。此外,由于根据用户的移动和操纵来设定声源的位置,所以测量时声源的位置的精确度不高。因此,可能难以根据测量的情况获得头相关传递函数(诸如合适HRIR)。在这种情况下,可测量用户的所听声音,即,根据头相关传递函数变化的声波,而不是头相关传递函数。如果当声源布置在某个位置时用户耳膜附近记录的声波在其他时候在同一耳膜附近再现,则用户感知声源实际上位于该位置。然而,在这种情况下,在解锁处理时所使用原始声音与在测量时所再现的声音一样。
图16是例示根据本公开的第一实施例的变形的功能控制设备的示意性功能配置的框图。在这个变形中,预先测量用户所听声音,而不是头相关传递函数。参考图16,功能控制设备160包括安装检测单元101、虚拟声源位置设定单元107、声音数据选择单元163、解码电路113、再现单元115、应答获取单元117、确定单元119以及锁定单元121。此外,功能控制设备160参考在存储装置等中存储的声音数据161。下文中,将结合描述功能控制设备160与上述图10中所示的功能控制设备100的差异来描述功能控制设备160。
在功能控制设备160中,虚拟声源位置设定单元107向声音数据选择单元163和确定单元119提供了第一设定位置的信息。声音数据选择单元163参考声音数据161从声音数据组选择通过将声源定位在第一设定位置处所测量的声音数据,该声音数据组通过将声源定位在虚拟声学空间V的预定位置组中来测量。所获得的声音数据通过解码电路113解码并且通过再现电路115再现。因此,在功能控制设备160中,例如,由于所存储的数据是已反映了头相关传递函数的声音数据,所以不需要诸如图10中所示的功能控制设备100的产生单元109的功能的功能。
(2-2.第二实施例)
接下来,将参考图17至图20描述本公开的第二实施例。本实施例不同于上述的第一实施例之处在于在再现过程中虚拟声源的位置不断移动。由于本实施例在其他要点类似于第一实施例,所以省略其详细描述。
(功能控制设备的配置)
图17是例示根据本公开的第二实施例的功能控制设备的示意性功能配置的框图。参考图17,功能控制设备200包括安装检测单元101、头相关传递函数获取单元103、虚拟声源位置设定单元207、产生单元209、解码电路113、再现单元115、视线输入单元217、确定单元219以及锁定单元121。此外,功能控制设备200参考在存储装置等中存储的头相关传递函数数据105和原始声音数据111。下文中,将结合功能控制设备200与根据上述第一实施例的功能控制设备之间的差异来描述功能控制设备200。
在功能控制设备200中,虚拟声源位置设定单元207将第一位置设定为轨迹。换言之,虚拟声源位置设定单元207在声音数据再现过程中设定连续移动的虚拟声源的位置。头相关传递函数获取单元103从头相关传递函数数据105获取在第一位置的轨迹中包括的每个位置
Figure BDA0000425792250000201
的头相关传递函数,并且将该头相关传递函数提供至产生单元209。产生单元209产生通过利用所提供的头相关传递函数虚拟地再现在三维声学空间V中移动的声源所获得的声音数据。更具体地,产生单元209通过在声音数据的再现过程中利用每次都不同的头相关传递函数处理原始声音的数据来产生通过虚拟再现移动声源获得的声音数据。
视线输入单元217不断地获取听到再现单元115所产生的声音数据的用户的视线的检测结果。换言之,视线输入单元217获取用户的视线的移动轨迹。视线的移动轨迹作为指示声源轨迹的应答来对待,该声源轨迹由听到通过虚拟地再现移动声源获得的声音数据的用户来估计,该声源轨迹即作为第二位置的轨迹。为了检测用户的视线,例如,HMD20中布置的摄像机可用于辨识用户的左眼和右眼。在这种情况下,例如,可通过根据摄像机的图像来辨识用户的眼睛的虹膜和眼白的区域并且确定眼睛的虹膜正对着哪里来识别用户的视线(注视点)。此外,除了这个示例,各种已知的技术也可用作用于检测用户的视线的配置。
确定单元219基于通过虚拟声源位置设定单元207设定的第一位置轨迹与通过视线输入单元217获取的第二位置轨迹之间的关系来确定HMD20是否要被解锁以使诸如内容观看的功能有效。例如,当利用用户U的头相关传递函数产生声音数据时,如果第一位置轨迹与第二位置轨迹匹配,则确定单元219可确定HMD20要解锁。此外,例如,当利用具有共同属性的用户的平均头相关传递函数产生声音数据时,如果第一位置轨迹与第二位置轨迹之间的误差在预定的范围内,则确定单元219可确定HMD20要解锁。这里,例如,用于两维图形的图案辨识的已知技术可用于轨迹的匹配和轨迹之间误差的评价。
(虚拟声源的轨迹示例)
图18是例示在本公开的第二实施例中的虚拟声源的轨迹示例的示图。参考图18,在本实施例中,向观察者呈现了与上述第一实施例中的虚拟屏幕类似的虚拟屏幕150。在例示的示例中,在虚拟屏幕150上,当用户观看时,虚拟声源的轨迹设定为在从左上位置SS至右下位置SE的倾斜方向上的直线。一旦听到声音,用户通过他的或她的眼睛追随在虚拟屏幕150上、声音所在处的位置。如果用户能够正确地感知虚拟声源的位置,则视线LS的轨迹会与虚拟声源的轨迹匹配或接近。
在本实施例中,以这种方式利用轨迹确定用户是否正确地感知虚拟声源的位置。由于基于视线轨迹形状的确定是可能的,所以虚拟屏幕150上设定的虚拟声源的坐标系统和通过诸如摄像机的机制获得的用户视线的坐标系统不用完全匹配。换言之,在例示的示例中,考虑到坐标系的偏差等,即使当视线LS不完全从位置SS至位置SE画出轨迹时,如果当用户观看时视线SL从左上区域至右下区域画出轨迹,则仍会确定出用户正确地感知了虚拟声源的位置。此外,由于类似的原因,虚拟声源的位置的图像可以不显示在虚拟屏幕150上。
此外,要设定的虚拟声源的轨迹不限于如在上述示例中的直线。例如,用户通过他或她的眼睛追随的、允许其被容易地识别的任意形式(诸如Z形、N形、O形或L形)可设定为虚拟声源的轨迹。
此外,在本实施例中,为了用户容易地辨识虚拟声源的轨迹,期望针对设定了轨迹的区域中的多个点来准备头相关传递函数。例如,期望已测量的头相关传递函数的位置以图1中所示的3度至5度的偏转角θ和
Figure BDA0000425792250000212
间隔存在。如上所述,用户对偏转角θ和
Figure BDA0000425792250000211
的最小分辨率通常是约3度。
作为本实施例的变形,可基于姿势检测结果来获取用户的应答。例如,用于检测用户姿势的摄像机可以安装在与HMD20的用户的前额对应的部分或者在能够摄取佩戴HMD20的用户的位置处,以在声音数据再现时连续地获取检测用户姿势的结果。在这种情况下,例如,用户的身体的特定部分(例如,手、手指或脚)的作为姿势被辨识的移动轨迹作为第二位置的轨迹对待。此外,由于已知的技术可用于用来检测用户姿势的配置,所以在本文中将省略详细的描述。
(处理流程)
图19是例示在本公开的第二实施例中的解锁处理的示例的流程图。
在本实施例中,在功能控制设备200中,当安装检测单元101检测到用户已安装了HMD20时,解锁处理开始,与第一实施例中一样(步骤S201)。首先,虚拟声源位置设定单元207随机地设定虚拟声源的轨迹(步骤S203)。这里,虚拟声源位置设定单元207例如从预先准备的轨迹图案中随机地选择轨迹。
然后,头相关传递函数获取单元103从预先作为头相关传递函数数据105存储的数据之中获取在步骤S203中设定的虚拟声源的轨迹中所包括的每个位置中的HRIR函数(步骤S205)。这里,获取的HRIR函数可以是例如针对特定用户预先测量的HRIR函数并且可以是作为具有预定属性的用户的平均头相关传递函数提供的HRIR函数。
然后,产生单元209通过执行在步骤S205中获取的HRIR函数与原始声音数据的卷积来产生虚拟声源的声音数据(步骤S207)。这里,产生单元209通过执行每次都不同的HRIR函数与原始声音数据的卷积产生通过虚拟地再现移动声源获得的声音数据。然后,再现单元115通过HMD20的耳机21向用户输出声音数据(步骤S209)。
然后,视线输入单元217获取在声音数据再现的同时用户视线的移动轨迹(步骤S211)。这里,在步骤S209与步骤S211之间,可考虑到从用户听到声音到移动视线的反应所花费时间来设定预定待机时间。
然后,确定单元219确定在步骤S211中获取的用户视线轨迹是否与在步骤203中设定的虚拟声源的轨迹匹配(步骤S213)。这里,当确定出视线的轨迹与虚拟声源的轨迹不匹配时,确定单元219确定“解锁失败”并且锁定单元121不对HMD20解锁,保持该功能无效(步骤S215)。
另一方面,当确定出用户的视线轨迹与在步骤213中的虚拟声源的轨迹匹配时,确定单元219确定步骤S203至S209中虚拟声源的再现是否已重复了预定次数(步骤S217)。这里,当确定出,虚拟声源的再现已重复了预定次数时,确定单元219确定“解锁成功”并且锁定单元121对HMD20解锁以使该功能有效(步骤S219)。
另一方面,当在步骤S217确定出虚拟声源的再现还未重复预定的次数时,再次执行从步骤S203开始的再现虚拟声源的处理。在这种情况下,在步骤S203中,可再次随机地设定虚拟声源的轨迹。此外,预定的次数可以是1,并且在这种情况下,不执行步骤S217。
在例示的示例中,在改变虚拟声源的轨迹(但是可连续地使用作为随机选择的结果的相同的轨迹)的同时,虚拟声源的再现和用户视线的检测被重复了预定次数。因此,例如,可防止当孩子(其对HMD20的使用期望被阻止)通过猜测输入视线时意外地执行解锁的情况。
图20是例示图19中所示的处理的变形的流程图。
在例示的示例中,在步骤S211之后,确定单元219确定所获取的视线的轨迹是否与虚拟声源的轨迹匹配并且更新匹配/不匹配的计数(步骤S211)。计数可例如作为数值存储在RAM等中。确定单元219然后执行步骤S217。
当在步骤S217中确定虚拟声源的再现已重复了预定次数时,确定单元219根据预定次数和匹配/不匹配计数来计算轨迹匹配的次数并且确定匹配次数或匹配率是否等于或大于阈值(步骤S223)。这里,当确定出匹配次数或匹配率等于或大于阈值时,确定单元219确定“解锁成功”并且锁定单元121对HMD20解锁以使该功能有效(步骤S219)。另一方面,当确定出匹配次数或匹配率不等于或不大于阈值时,确定单元219确定“解锁失败”并且锁定单元121不对HMD20解锁,保持该功能无效(步骤S215)。
在上述的变形中,解锁不是立刻就失败,例如,当在虚拟声源的再现的重复过程中存在一个轨迹不匹配时,当轨迹匹配随后出现时解锁很可能出现。因此,即使当由于HRIR函数或耳机21的不完全或者平均HRIR函数使用而使虚拟声源的轨迹并不一定每次都正好被感知时,仍可防止用户(他或她)自身或具有预定属性的用户解锁失败。
这里,当在步骤S221中检测到不正确的应答时确定单元219可增加用以重复虚拟声源的再现的次数,作为附加的配置。例如,确定单元219可以以“从开始或者在不正确的应答之后连续三次轨迹匹配”或者“虚拟声源的再现被重复三次或以上,如果其间正确应答率是75%或以上,则确定解锁成功,如果正确应答率小于50%,则确定出解锁失败”为条件动态地设定用以重复虚拟声源的再现的次数。
(应用示例)
在本实施例中,在利用虚拟声源解锁的过程中图像可以不显示在虚拟屏幕上。利用这一点,可存在各种应用示例。
例如,当在HMD中使用AR(增强现实)应用时可应用本实施例。在AR应用中,例如,各种信息可叠加并且显示在通过透明型HMD中的透视观看的外界图像上或者利用不透明型HMD上安装的摄像机成像的外界图像上。
这样的AR应用包括能够通过用户的视线操纵的AR应用。在这种情况下,例如,当用户注视任意一条所显示的信息时,在这种信息上的其他细节信息呈现。此外,例如,用于启动诸如消息的传输和接收的另一功能的图标可以与关于外界图像的信息分开地显示在屏幕的边缘上,并且可通过用户注视该图标来停止AR应用以开始该另一功能。
在这种情况下,当该另一功能已设定为根据用户的注视立即启动时,很可能出现故障。例如,当用户追随移动对象并且将视线移动至屏幕的边缘时,由于视线偶然地碰到在那里显示的消息功能的图标,消息功能很可能启动。然后,尽管不是故意的,但AR应用停止并且用户感到不舒服。为了防止这种情况,例如,可考虑当注视图标时显示确认对话框,但是由于确认对话框的显示也会干扰AR应用,所以可能对用户而言不是最好的。
这里,考虑了本实施例的应用。例如,当用户的视线在AR应用的启动过程中碰到了诸如消息的另一功能的图标,则执行如上所述的解锁处理。换言之,当用户的视线碰到了功能的图标,则虚拟声源在沿着预定轨迹移动的同时被再现。如果用户打算启动该功能而确实注视该图标,则用户通过他或她的眼睛追随虚拟声源的轨迹。然后,通过将视线的轨迹与虚拟声源的轨迹匹配来使该功能有效,并且AR应用停止。另一方面,如果用户不打算启动该功能,则用户可忽略再现的声音。然后,由于视线的轨迹和虚拟声源的轨迹不匹配,所以不能使该功能有效并且AR应用继续执行。
根据上述示例,用户能够确认是否要启动另一功能而无需停止AR应用的显示。因此,在确保通过图标的显示访问其他功能的同时可舒服地欣赏AR应用。
类似地,本实施例可应用于可通过用户的姿势操纵的AR应用。例如,存在一种AR应用,其通过利用设置在与HMD的用户的前额对应的部分中的摄像机等辨识作为命令的用户姿势来进行操作。在这种情况下,例如,当用户身体的预定部分,诸如手,通过摄像机来辨识并且做出了预定的动作时,则AR应用停止并且诸如传输和接收消息的另一功能启动。
在这种情况下,如果另一功能被设定为当摄像机摄取了用户的手或者做出了预定的动作时立即启动,则很可能出现故障。例如,如果当用户抬起他或她的手向朋友打招呼时摄像机偶然地摄取了用户的手并且手的动作偶然地与预定动作匹配,则AR很可能停止并且诸如消息功能的另一功能很可能启动,与用户的意愿相违背。就像上述示例,可以考虑对应显示一个确认对话框,但确认对话框的指示干扰AR应用的指示,所以对用户而言并不是最好的。
因此,如果应用了本实施例,则,例如,当在AR应用的启动过程中摄像机摄取了用户的手或者执行了手的预定动作时,执行上述的解锁处理。换言之,当辨识了用户的手或手的动作的时候,虚拟声源在沿着预定轨迹移动的同时被再现。如果用户打算启动该功能而确实做出了姿势,则手的姿势应追随虚拟声源的轨迹。然后,通过将用户的手的轨迹与虚拟声源的轨迹匹配来使该功能有效,并且AR应用停止。另一方面,如果用户不打算启动该功能,则用户可忽略再现的声音。然后,由于用户的手的轨迹和虚拟声源的轨迹不匹配,所以不能使该功能有效并且AR应用继续执行。
此外,在AR应用之外的应用中,可能有类似的应用示例。例如,甚至在观看电影等的内容过程中或在游戏过程中,可以实现利用视线或姿势的操纵输入。在这种情况下,例如,可以执行上述的解锁处理,以确实确认当执行通过视线或姿势(注视屏幕内的预定位置,检测用户的手等的图像、手的预定检测动作等)输入的命令伴随着停止观看内容和玩游戏时是否确实要启动该功能。
这里,如果当伴随声音观看诸如游戏的所提供内容或应用时毫无关系的声音作为虚拟声源再现,则可认为干扰了应用。因此,例如,应用的声音可暂时单声道地再现并且声音自身可作为虚拟声源沿预定轨迹再现。通过这样做,能够在不存在被混合非应用声音的声音的情况下执行解锁处理。此外,期望准备测量的环境并且以高精度获取头相关传递函数以利用任何声源执行虚拟声源的再现,如上所述。
(2-3.第三实施例)
接下来,将参考图21和图22来描述本公开的第三实施例。本实施例不同于上述的第一和第二实施例之处在于针对任意选择的用户属性来再现虚拟声源。由于本实施例在其他要点类似于第一实施例或第二实施例,所以省略其详细描述。此外,在下面的描述中,将描述基于第一实施例的示例,但是类似地可以有基于第二实施例的示例。
(功能控制设备的配置)
图21是例示根据本公开的第三实施例的功能控制设备的示意性配置的框图。参考图21,功能控制设备300包括用户属性设定单元301、头相关传递函数获取单元303、虚拟声源位置设定单元107、产生单元109、解码电路113、再现单元115、应答获取单元117、确定单元119以及锁定单元121。此外,功能控制设备300参考在存储装置等中存储的头相关传递函数数据305和原始声音数据111。下文中,将结合功能控制设备300与根据上述第一实施例的功能控制设备之间的差异来描述功能控制设备300。
用户属性设定单元301设定用于解锁的用户属性并且向头相关传递函数获取单元303提供所设定属性的信息。头相关传递函数获取单元303参考头相关传递函数数据305获取与指定的属性相关联的头相关传递函数。这里,获取的头相关传递函数可以是作为具有共同属性的用户组的平均头相关传递函数提供的头相关传递函数。在本实施例中,预先针对多个属性准备头相关传递函数数据,并且头相关传递函数获取单元303选择与由用户属性设定单元301从多个属性之中设定的属性对应的头相关传递函数。
作为上述的第一和第二实施例与本实施例之间的差异,在第一和第二实施例中利用预先确定的头相关传递函数(例如,HMD20的用户的原始头相关传递函数或具有属性“成人”的用户的平均头相关传递函数)执行解锁,而在本实施例中,从多个属性之中选择用于解锁的属性。换言之,在本实施例中,用户属性设定单元301可以例如响应于用户的操纵输入和来自应用的请求从多个属性,诸如“16岁以上”、“18岁以上”或“20岁以上”,之中选择目标属性。对应于可选属性中的每一个的头相关传递函数包括在头相关传递函数数据305中。
作为这种配置的具体使用示例,例如,用户属性设定单元301可以在启动或安装HMD20时设定属性“16岁以上”(认为在这个年龄使用HMD观看内容不影响健康)。此外,当在HMD20中再现已设定了分级的内容时,用户属性设定单元301可根据该分级设定属性(例如,“18岁以上”)。通过这样做,可将利用HMD20的内容的观看限制于HMD自身或更适合于该内容的用户。
可替选地,用户属性设定单元301可通过在HMD20启动时设定多个属性并且执行与每个属性对应的虚拟声源再现来辨识HMD20的用户的属性。例如,用户属性设定单元301可在HMD20的启动或安装时设定“成人”、“孩子”、“男性”和“女性”的属性。在这种情况下,在头相关传递函数获取单元303随后的单元中,利用上述各个属性的头相关传递函数产生的虚拟声源的声音数据全都连续地再现或者至少一些声音数据同时再现(例如,“成人”和“孩子”的声音数据同时再现,并且“男性”和“女性”的声音数据)同时再现。在这种情况下,虚拟声源位置设定单元107针对每个属性设定不同位置(或者位置图案或轨迹)作为虚拟声源的位置。根据哪一个属性与位置对应,其中听到再现的虚拟声源的声音数据的用户以这种方式通过该位置来应答,可识别用户的属性。例如,如果对应于成对属性(例如,“成人”和“孩子”)的声音数据同时再现,则由于选择地应答与任意一个属性对应的位置而可容易地识别用户的属性。
在上面的示例中,可以使用识别年龄属性的结果,例如,用来确定HMD20自身是否可用或者是否允许观看内容。此外,可以使用识别性别属性的结果,例如,用于内容的推荐和广告的显示。
(处理流程)
图22是例示在本公开的第三实施例中的解锁处理的示例的流程图。
首先,用户属性设定单元301设定用于解锁处理的用户属性(步骤S301)。然后,虚拟声源位置设定单元107随机地设定虚拟声源的位置(步骤S303)。这里,虚拟声源位置设定单元107例如从上述的位置S1至S9之中随机地选择虚拟声源的位置。当用户属性设定单元301设定多个属性时,虚拟声源位置设定单元107可针对每个属性设定不同位置。
然后,头相关传递函数获取单元303从预先作为头相关传递函数数据305存储的数据之中获取在步骤S303中设定的虚拟声源的位置处与步骤S301中设定的属性对应的HRIR函数(步骤S305)。这里,所获取的HRIR函数可以是作为具有预定属性的用户的平均头相关传递函数预先提供的HRIR函数。
然后,产生单元109通过执行在步骤S305中获取的HRIR函数与原始声音数据的卷积来产生虚拟声源的声音数据(步骤S307)。然后,再现单元115通过HMD20的耳机21向用户输出声音数据(步骤S309)。这里,当用户属性设定单元设定了多个属性时,再现单元115可连续地输出对应于每个属性的声音数据或者可同时输出对应于至少一些属性的声音数据。
然后,应答获取单元117获取应答,该应答指示用户通过HMD20的操纵单元23估计的虚拟声源位置(步骤S311)。这里,可考虑到在步骤S309与S311之间用户思考和行动所花费时间来设定预定待机时间。此外,当在步骤S309中连续地输出多条声音数据时,可以获得针对每条声音数据的应答。
例如,当在步骤S309中同时再现对应于属性“成人”和“孩子”的声音数据并且随后同时再现对应于属性“男性”和“女性”的声音数据时,应答获取单元117能够获取第一应答(用于识别用户是“成人”还是“孩子”)和第二应答(用于识别用户是“男性”还是“女性”)。
然后,确定单元119确定通过在步骤S311中获取的应答指示的位置(第二位置)是否匹配在步骤S303中设定的虚拟声源的位置(第一位置)(步骤S313)。此外,当在步骤S301中设定多个属性时,可针对每个属性执行这里的确定。在这种情况下,这组属性中的至少一个属性(例如,“成人”或“孩子”)用于在步骤S313确定是否要解锁HMD20的功能。不用于此确定的属性经历其他处理的属性适宜确定,例如,作为内容的推荐、广告的显示等的信息被提供。
当在上述的步骤S313中确定位置不匹配时,确定单元119确定“解锁失败”并且锁定单元121保持该功能无效(步骤S315)。在本文中所引用的功能可以是例如与在上述的第一实施例中一样的HMD的所有功能或者可以是观看根据年龄来保护的某些内容的功能。
另一方面,当在步骤S313中确定出回放所示的位置与虚拟声源的位置匹配时,确定单元119进一步确定在步骤S303至S309中的虚拟声源的再现是否重复了预定次数(步骤S317)。这里,当再现对应于多个属性的声源时,针对每个属性设定的次数可以不同。
当在步骤S317中确定虚拟声源的再现已重复了预定的次数时,确定单元119确定“解锁成功”并且锁定单元121使该功能有效(步骤S319)。另一方面,当确定出虚拟声源的再现还未重复预定的次数时,再次执行从步骤S303开始的再现虚拟声源的处理。在这种情况下,在步骤S303中,可再次随机地设定虚拟声源的位置。此外,预定的次数可以是1,并且在那种情况下,不执行步骤S317。
此外,尽管未示出,但在本实施例中,可以有这样的变形,其中,不管是正确的应答或是错误的应答,虚拟声源的再现都被重复预定的次数,基于再现过程中的正确应答率来确定用户的属性,以及解除锁定,如在第一实施例中的参考图15所描述的。此外,可以这样的配置,其中,虚拟声源位置设定单元设定虚拟声源的轨迹,产生单元产生通过虚拟地再现移动声源获得的声音数据,以及应答获取单元基于用户的视线或姿势来获取用户的应答,如在第二实施例中参考图19和图20描述的。
在上述的本公开的第三实施例中,可通过允许任意地设定属性来控制与所提供内容的年龄限制对应的锁定/解锁以及在HMD的启动或安装时的锁定/解锁。此外,能够获得关于用于其它使用的属性以及用于锁定控制的属性的信息。
(2-4.第四实施例)
接下来,将参考图23和图24描述本公开的第四实施例。此实施例与上述的第一和第二实施例不同之处在于针对任意一个所选用户ID再现虚拟声源。由于本实施例在其他要点类似于第一实施例或第二实施例,所以省略其详细描述。此外,尽管在下面的描述中将描述基于第一实施例的示例,但类似地可以有基于第二实施例的示例。
(功能控制设备的配置)
图23是例示根据本公开第四实施例的功能控制设备的示意性配置的框图。参考图23,功能控制设备400包括用户ID设定单元401、头相关传递函数获取单元403、虚拟声源位置设定单元107、产生单元109、解码电路113、再现单元115、应答获取单元117、确定单元119以及锁定单元121。此外,功能控制设备400参考在存储装置等中存储的头相关传递函数数据405和原始声音数据111。下文中,将结合功能控制设备400与根据上述第一实施例的功能控制设备之间的差异来描述功能控制设备400。
用户ID设定单元401设定用于解锁的用户ID并且将所设定ID的信息提供至头相关传递函数获取单元403。头相关传递函数获取单元403参考头相关传递函数数据405获取与指定的ID相关联的头相关传递函数。这里,所获取的头相关传递函数可以是预先针对对应于ID的用户测量的头相关传递函数。在本实施例中,预先针对多个ID准备头相关传递函数的数据,并且头相关传递函数获取单元403选择与用户ID设定单元401从多个ID中设定的ID对应的头相关传递函数。
作为上述的第一和第二实施例与本实施例的差异,在第一和第二实施例中利用预先确定的头相关传递函数执行解锁,而在本实施例中,用于解锁的ID从多个用户ID中选择。换言之,在本实施例中,用户ID设定单元401可例如响应于用户的操纵输入或者来自应用的请求从多个用户ID选择目标用户ID。与可选择的用户ID中的每一个对应的头相关传递函数可包括在头相关传递函数数据405中。
作为这种配置的具体使用示例,例如,用户ID设定单元401在HMD20启动或安装时显示登记为用户的用户列表并且通过操纵输入将从列表中选择的用户ID设定为用于解锁的用户ID。因此,功能能够通过后面仅针对对应于用户ID的用户执行利用虚拟声源的解锁处理来解锁。可替选地,当在HMD20的启动过程中必须访问再现仅允许特定用户访问的个人内容(包括消息等)或者支付内容的功能时,用户ID设定单元401可利用允许访问该内容的用户ID执行解锁处理。
例如,当在HMD20能够再现每个用户的个人内容的情况下能够再现的个人内容限于在启动或安装时作为解锁目标的用户的个人内容时,这样的配置是有效的。此外,当用户的用户ID与年龄、性别等已经相关联时,根据用户的年龄的内容再现的有效/无效设定、根据用户属性的内容推荐、根据用户属性的广告显示等变得可能。此外,当HMD20能够再现支付内容时,可仅针对购买所支付内容的用户来使再现该内容的功能有效。
(处理流程)
图24是例示本公开的第四实施例中的解锁处理的示例的流程图。
首先,用户ID设定单元401设定用于解锁处理的用户ID(步骤S401)。然后,虚拟声源位置设定单元107随机地设定虚拟声源的位置(步骤S403)。这里,虚拟声源位置设定单元107从上述的位置S1至S9随机地选择虚拟声源的位置。
然后,头相关传递函数获取单元403从预先作为头相关传递函数数据405存储的数据之中获取在步骤S403中设定的虚拟声源位置中的与在步骤S401中设定的用户ID对应的HRIR函数(步骤S405)。这里,所获取的HRIR函数可以是预先针对与ID相关联的用户测量的HRIR函数。
由于随后的处理(步骤S107至S119)类似于第一实施例中参考图14描述的处理,所以省略其详细描述。此外,尽管未示出,但是即使在本实施例中,仍可以有这样的变形,其中,不管是正确的应答或是错误的应答,虚拟声源的再现都被重复预定的次数,基于再现过程中的正确应答率来确定用户的属性,以及解除锁定,如在第一实施例中参考图15所描述的。此外,可以这样的配置,其中,虚拟声源位置设定单元设定虚拟声源的轨迹,产生单元产生通过虚拟地再现移动声源获得的声音数据,以及应答获取单元基于用户的视线或姿势来获取用户的应答,如在第二实施例中参考图19和图20描述的。
在上述的本公开的第四实施例中,通过允许任意地设定用户ID,可控制,例如,与所提供内容的持有者、使用权限等对应的锁定/解锁以及在HMD的启动或安装时的锁定/解锁。
(3.硬件配置)
接下来,将参考图25描述根据本公开的实施例的信息处理设备的硬件配置。图25是例示信息处理设备的硬件配置的框图。例示的信息处理设备900可实现例如上述实施例中的功能控制设备。
信息处理设备900包括CPU(中央处理器)901、ROM(只读存储器)903以及RAM(随机存取存储器)905。另外,信息处理设备900可包括主机总线907、桥909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923、以及通信装置925。此外,信息处理设备900可根据需要包括成像装置933和传感器935。信息处理设备900可包括对CPU901而言是备选或附加的诸如DSP(数字信号处理器)的处理电路。
CPU901用作操作处理器和控制器,并且根据ROM903、RAM905、存储装置919或可移除记录介质927中记录的各种程序来控制信息处理设备900中的全部或者一些操作。ROM903存储由CPU901使用的程序和操作参数。RAM905主要存储在CPU901的执行过程中所使用的程序和在执行过程中适当修改的参数。CPU901、ROM903以及RAM905通过主机总线907彼此连接,主机总线907配置成包括诸如CPU总线的内部总线。另外,主机总线907经由桥909连接至诸如PCI(外围组件互连/接口)的外部总线911。
输入装置915可以是由用户操作的装置,诸如,鼠标、键盘、触摸面板、按钮、开关以及操作杆。输入装置915可以是,例如,使用例如红外线或其他无线电波的遥控单元,或者可以是外部连接装置929,诸如,可响应于信息处理设备900的操作进行操作的便携式电话。此外,输入装置915包括输入控制电路,该输入控制电路基于由用户输入的信息来产生输入信号并且将该输入信号输出至CPU901。通过操作输入装置915,用户能够向信息处理设备900输入各种类型的数据或者发出用于使信息处理设备900执行处理操作的指令。
输出装置917包括能够以可视或可听见的方式将获取的信息通知用户的装置。输出装置917可包括:显示装置,诸如LCD(液晶显示器)、PDP(等离子显示面板)以及有机EL(电致发光)显示器;音频输出装置,诸如扬声器和耳机;以及外围装置,诸如打印机。输出装置917可输出根据信息处理设备900的处理获得的、以诸如文本或图像的视频和诸如语音或声音的音频的形式的结果。
存储装置919是配置为信息处理设备900的存储单元的示例的用于数据存储的装置。存储装置919包括,例如,诸如HDD(硬盘驱动器)的磁性存储装置、半导体存储装置、光存储装置或者磁光存储装置。存储装置919存储要由CPU901执行的程序、各种数据以及从外部获得的数据。
驱动器921是用于诸如磁盘、光盘、磁光盘或半导体存储器的可移除记录介质927的读写器并且嵌入到信息处理设备900中或者外部附接于信息处理设备900。驱动器921读取附接至其上的可移除记录介质927中所记录的信息并且将读取的信息输出至RAM905。此外,驱动器921能够在附接至其上的可移除记录介质927中进行写入。
连接端口923是用于将装置直接连接至信息处理设备900的端口。连接端口923可包括USB(通用串行总线)端口、IEEE1394端口以及SCSI(小型计算机系统接口)端口。连接端口923可进一步包括RS-232C端口、光纤音频终端(optical audio terminal)、HDMI(高清晰度多媒体接口)端口等。外部连接装置929至连接端口923的连接使得可在信息处理设备900与外部连接装置929之间交换各种数据。
通信装置925是,例如,包括用于连接至通信网络931的通信装置等的通信接口。通信装置925可以是,例如,用于有线的或无线的LAN(局域网)、蓝牙(注册商标)、WUSB(无线USB)等的通信卡。另外,通信装置925可以是光通信的路由器、ADSL(非对称数字用户线路)的路由器、各种通信的调制解调器等。通信装置925能够基于诸如TCP/IP的预定协议将信号传输至例如因特网或其他通信装置并且从因特网或其他通信装置接收信号。另外,连接至通信装置925的通信网络931可以是以有线或无线的方式连接的网络等,并且可以是例如因特网、家庭LAN、红外通信、无线电波通信、卫星通信等。
例如,成像装置933是通过利用诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器的图像传感器以及诸如用于控制图像传感器上的主题图像的形成的一个或多个透镜的各种部件来成像真实空间以产生图像的装置。成像装置933可以是摄取静态图像的装置并且还可以是摄取移动图像的装置。
例如,传感器935是各种传感器中的任意一种,诸如,加速度传感器、陀螺传感器、地磁传感器、光学传感器、或声音传感器。例如,传感器935获取与信息处理设备900的状态有关的信息,诸如信息处理设备900的外壳的取向,以及与信息处理设备900的周围环境有关的信息,诸如信息处理设备900周围的亮度或噪声。传感器935还可包括接收GPS信号并且测量该设备的经度、纬度和海拔的全球定位系统(GPS)传感器。
前文如此例示了信息处理设备900的示例性硬件配置。上面的组件中的每一个可以利用通用部件来实现,但是也可以实现为专用于每个组件的功能的硬件。这种配置还可根据实现时的技术水平酌情修改。
(4.附加备注)
例如,本公开的实施例包括如前文所描述的功能控制设备(信息处理设备)和系统,通过功能控制设备或系统执行的功能控制方法,用于使功能控制设备起作用的程序以及存储这种程序的非暂时性计算机可读介质。
本领域的技术人员应当理解的是,根据设计需要和其他因素可存在各种修改、组合、子组合以及变化,只要它们在所附权利要求或其等价物的范围内即可。
另外,本技术还可配置如下。
(1)一种电子装置:包括:
处理电路,配置成:
产生来自虚拟声源位置的音频声音;
从用户输入获取感知声源位置的声音位置信息;以及
基于所述虚拟声源位置与所述感知声源位置之间的关系来控制所述电子装置的功能的启用或禁用。
(2)根据(1)的电子装置,其中,
所述处理电路进一步配置成确定是否启用或禁用所述功能。
(3)根据(1)的电子装置,其中,
所述处理电路是执行用于确定是否启用或禁用所述功能的处理的单个CPU。
(4)根据(1)的电子装置,其中,
所述虚拟声源位置基于头相关传递函数HRTF产生。
(5)根据(4)的电子装置,其中,
所述HRTF是用户特定的,并且包括:
右函数HRTF_R,其取决于用户U、移动半径r以及偏转角θ和并且表示为
Figure BDA0000425792250000342
以及
左函数HRTF_L,其表示为
Figure BDA0000425792250000343
(6)根据(5)的电子装置,其中,
所述处理电路配置成通过对HRTF执行离散傅里叶逆变换来产生头相关脉冲响应HRIR。
(7)根据(6)的电子装置,其中,
所述HRIR具有表示为
Figure BDA0000425792250000344
的左侧部分和表示为
Figure BDA0000425792250000345
的右侧部分。
(8)根据(7)的电子装置,其中,所述处理电路配置成将所述音频声音产生为:
至所述用户的左耳的输出声学信号YL,以及
至所述用户的右耳的输出声学信号YR,其中,YL和YR通过根据下列等式的
Figure BDA0000425792250000346
Figure BDA0000425792250000347
与原始声音X的卷积*产生,
Figure BDA0000425792250000348
(等式1)
Figure BDA0000425792250000349
(等式2)。
(9)根据(1)的电子装置,进一步包括:
头戴式显示器,其配置成佩戴在用户的头上并且具有左扬声器和右扬声器,所述左扬声器和右扬声器配置成在所述用户的左耳和右耳中产生声音。
(10)根据(1)的电子装置,其中,
所述处理电路:
从多个不同虚拟声源位置中的一个选择所述虚拟声源位置,
将所述虚拟声源位置与从所述用户输入获取的所述感知声源位置信息做比较,以及
当所述处理电路确定为与所述多个不同虚拟声源位置中的任意其他虚拟声源位置相比,所述感知声源位置更匹配于所选择的虚拟声源位置时控制所述电子装置的功能的启用。
(11)根据(10)的电子装置,其中,
所述功能是解锁所述电子装置以使用的解锁功能。
(12)根据(4)的电子装置,其中,
所述HRTF是具有共同属性的用户的平均头相关传递函数。
(13)根据(12)的电子装置,其中,
所述功能是解锁所述电子装置以使用的解锁功能。
(14)根据(1)的电子装置,进一步包括:
头戴式显示器,其配置成佩戴在用户的头上并且具有显示器,其中,
所述处理电路:
从多个不同虚拟声源位置中的一个选择所述虚拟声源位置,
显示与所述多个不同虚拟声源位置相关联的标记。
(15)根据(1)的电子装置,其中,
所述处理电路配置成在所述处理电路获取针对多个感知声源位置的所述声音位置信息的用户输入时移动所述虚拟声源位置。
(16)根据(15)的电子装置,进一步包括:
视线输入单元,其通过跟踪用户在显示图像上的视线来识别针对所述声音位置信息的所述用户输入。
(17)根据(1)的电子装置,其中,
所述处理电路配置成再现与用户可选属性对应的所述虚拟源的所述音频声音。
(18)根据(1)的电子装置,其中,
所述处理电路将多个不同用户的ID相关联,
所述用户输入还从所述多个不同用户识别特定用户,以及
所述功能是当选择了所述特定用户的ID并且在所述虚拟声源位置与那个特定用户的感知声源位置之间存在匹配时解锁所述电子装置以使用的解锁功能。
(19)一种信息处理方法,包括:
利用扬声器产生来自虚拟声源位置的音频声音;
从用户输入接口获取感知声源位置的声音位置信息;以及
利用处理电路基于所述虚拟声源位置与所述感知声源位置之间的关系来控制所述电子装置的功能的启用或禁用。
(20)一种非暂时性计算机可读存储介质,其中存储有计算机可读指令,当所述计算机可读指令被处理电路执行时使所述处理电路执行信息处理方法,所述方法包括:
利用扬声器产生来自虚拟声源位置的音频声音;
从用户输入接口获取感知声源位置的声音位置信息;以及
利用处理电路基于所述虚拟声源位置与所述感知声源位置之间的关系来控制所述电子装置的功能的启用或禁用。
另外,本发明还可以配置如下。
(1)一种功能控制设备,包括:
再现单元,其向用户再现声音数据,所述声音数据通过利用头相关传递函数虚拟地定位在所述用户周围的空间的第一位置中存在的声源而获得;
估计位置信息获取单元,其获取指示在所述用户周围的空间的第二位置的信息,所述第二位置是听到所再现声源数据的用户所估计的所述声源的位置;以及
确定单元,其基于所述第一位置与所述第二位置之间的关系来确定是否要使电子装置的至少一些功能有效。
(2)根据(1)的功能控制设备,其中,
所述头相关传递函数是对应于所述用户的头相关传递函数,以及
当所述第一位置与所述第二位置匹配时,所述确定单元确定使所述至少一些功能有效。
(3)根据(2)的功能控制设备,其中,
当所述第一位置与所述第二位置匹配时,所述确定单元确定使再现允许所述用户访问的内容的功能有效。
(4)根据(1)的功能控制设备,其中,
所述头相关传递函数是与具有第一属性的用户组对应的第一头相关传递函数,以及
当基于所述第一位置与所述第二位置之间的关系估计出所述用户具有所述第一属性时,所述确定单元确定使所述至少一些功能有效。
(5)根据(4)的功能控制设备,其中,
所述再现单元向所述用户再现第一声音数据和第二声音数据,所述第一声音数据是通过利用所述第一头相关传递函数虚拟地定位所述声源而获得的,所述第二声音数据是通过利用与具有不同于所述第一属性的第二属性的用户组对应的第二头相关传递函数虚拟地定位所述声源而获得的,以及
确定单元基于所述第二位置是否对应于所述第一声音数据和所述第二声音数据中的任意一个的第一位置来确定所述用户是否具有所述第一属性或是所述第二属性。
(6)根据(1)至(5)中任意一项的功能控制设备,其中,所述估计位置信息获取单元获取检测所述用户的视线的结果作为指示所述第二位置的信息。
(7)根据(1)至(5)中任意一项的功能控制设备,其中,所述估计位置信息获取单元获取检测所述用户的姿势的结果作为指示所述第二位置的信息。
(8)根据(1)至(5)中任意一项的功能控制设备,其中,所述第一位置在所述声音数据的再现过程中连续移动,所述估计位置信息获取单元连续地获取指示所述第二位置的信息,以及
所述确定单元基于所述第一位置的轨迹与所述第二位置的轨迹之间的关系来确定是否使所述至少一些功能有效。
(9)根据(8)的功能控制设备,其中,
所述估计位置信息获取单元连续地获取检测所述用户的视线的结果作为指示所述第二位置的信息。
(10)根据(8)的功能控制设备,其中,
所述估计位置信息获取单元连续地获取检测所述用户的姿势的结果作为指示所述第二位置的信息。
(11)根据(1)至(7)中任意一项的功能控制设备,其中,所述第一位置是在所述用户周围的空间中预先确定的位置组中的任意一个位置。
(12)根据(1)至(11)中任意一项的功能控制设备,其中,
所述再现单元重复所述声音数据的再现达预定次数,
所述估计位置信息获取单元重复获取指示所述第二位置的信息达所述预定次数,以及
当在所述预定次数的重复期间所述第一位置和所述第二位置已经满足预定关系的次数等于或大于阈值时,所述确定单元确定为使所述至少一些功能有效。
(13)根据(1)至(12)中任意一项的功能控制设备,进一步包括:
产生单元,其产生所述声音数据。
(14)根据(1)至(12)中任意一项的功能控制设备,进一步包括:
声音数据选择单元,其从定位在所述用户周围的空间的预定位置组中的声音数据组选择所述声音数据并且将所述声音数据提供至所述再现单元。
(15)根据(1)至(14)中任意一项的功能控制设备,其中,
所述电子装置是头戴式显示器,以及
当基于所述第一位置与所述第二位置之间的关系估计所述用户在预定年龄或以上时,所述确定单元确定使所述头戴式显示器的内容再现功能有效。
(16)根据(15)的功能控制设备,其中,所述再现单元通过所述头戴式显示器的耳机再现所述声音数据。
(17)根据(15)或(16)的功能控制设备,进一步包括:
安装检测单元,其检测用户已安装了头戴式显示器,
其中,当安装检测单元检测到已安装了所述头戴式显示器时,所述再现单元再现所述声音数据。
(18)一种用于使计算机实现下列功能的程序,所述功能包括:
向用户再现声音数据,所述声音数据通过利用头相关传递函数虚拟地定位在所述用户周围的空间的第一位置中存在的声源而获得;
获取指示在所述用户周围的空间的第二位置的信息,所述第二位置是听到所再现声音数据的用户所估计的所述声源的位置;以及
基于所述第一位置与所述第二位置之间的关系来确定是否要使电子装置的至少一些功能有效。
附图标记列表
20  头戴式显示器(HMD)
21  耳机
22  显示单元
23  操纵单元
30  转换器
40  系统
100、160、200、300、400  功能控制设备
101  安装检测单元
103、303、403  头相关传递函数获取单元
107、207  虚拟声源位置设定单元
109、209  产生单元
115  再现单元
117  应答获取单元
119、219  确定单元
121  锁定单元
163  声音数据选择单元
217  视线输入单元
301  用户属性设定单元
401  用户ID设定单元

Claims (20)

1.一种电子装置,其包括:
处理电路,配置成:
产生来自虚拟声源位置的音频声音;
从用户输入获取感知声源位置的声音位置信息;以及
基于所述虚拟声源位置与所述感知声源位置之间的关系来控制所述电子装置的功能的启用或禁用。
2.根据权利要求1所述的电子装置,其中,
所述处理电路进一步配置成确定是否启用或禁用所述功能。
3.根据权利要求1所述的电子装置,其中,
所述处理电路是执行用于确定是否启用或禁用所述功能的处理的单个CPU。
4.根据权利要求1所述的电子装置,其中,
所述虚拟声源位置基于头相关传递函数HRTF产生。
5.根据权利要求4所述的电子装置,其中,
所述HRTF是用户特定的,并且包括:
右函数HRTF_R,其取决于用户U、移动半径r以及偏转角θ和
Figure FDA0000425792240000011
并且表示为
Figure FDA0000425792240000012
以及
左函数HRTF_L,其表示为
6.根据权利要求5所述的电子装置,其中,
所述处理电路配置成通过对HRTF执行离散傅里叶逆变换来产生头相关脉冲响应HRIR。
7.根据权利要求6所述的电子装置,其中,
所述HRIR具有表示为
Figure FDA0000425792240000014
的左侧部分和表示为
Figure FDA0000425792240000015
的右侧部分。
8.根据权利要求7所述的电子装置,其中,所述处理电路配置成将所述音频声音产生为:
至所述用户的左耳的输出声学信号YL,以及
至所述用户的右耳的输出声学信号YR,其中,YL和YR通过根据下列等式的
Figure FDA0000425792240000021
Figure FDA0000425792240000022
与原始声音X的卷积*产生,
Figure FDA0000425792240000023
   (等式1)
Figure FDA0000425792240000024
   (等式2)。
9.根据权利要求1所述的电子装置,进一步包括:
头戴式显示器,其配置成佩戴在用户的头上并且具有左扬声器和右扬声器,所述左扬声器和右扬声器配置成在所述用户的左耳和右耳中产生声音。
10.根据权利要求1所述的电子装置,其中,
所述处理电路:
从多个不同虚拟声源位置中的一个选择所述虚拟声源位置,
将所述虚拟声源位置与从所述用户输入获取的所述感知声源位置信息做比较,以及
当所述处理电路确定为与所述多个不同虚拟声源位置中的任意其他虚拟声源位置相比,所述感知声源位置更匹配于所选择的虚拟声源位置时控制所述电子装置的功能的启用。
11.根据权利要求10所述的电子装置,其中,
所述功能是解锁所述电子装置以使用的解锁功能。
12.根据权利要求4所述的电子装置,其中,
所述HRTF是具有共同属性的用户的平均头相关传递函数。
13.根据权利要求12所述的电子装置,其中,
所述功能是解锁所述电子装置以使用的解锁功能。
14.根据权利要求1所述的电子装置,进一步包括:
头戴式显示器,其配置成佩戴在用户的头上并且具有显示器,其中,
所述处理电路:
从多个不同虚拟声源位置中的一个选择所述虚拟声源位置,
显示与所述多个不同虚拟声源位置相关联的标记。
15.根据权利要求1所述的电子装置,其中,
所述处理电路配置成在所述处理电路获取针对多个感知声源位置的所述声音位置信息的用户输入时移动所述虚拟声源位置。
16.根据权利要求15所述的电子装置,进一步包括:
视线输入单元,其通过跟踪用户在显示图像上的视线来识别针对所述声音位置信息的所述用户输入。
17.根据权利要求1所述的电子装置,其中,
所述处理电路配置成再现与用户可选属性对应的所述虚拟源的所述音频声音。
18.根据权利要求1所述的电子装置,其中,
所述处理电路将多个不同用户的ID相关联,
所述用户输入还从所述多个不同用户识别特定用户,以及
所述功能是当选择了所述特定用户的ID并且在所述虚拟声源位置与那个特定用户的感知声源位置之间存在匹配时解锁所述电子装置以使用的解锁功能。
19.一种信息处理方法,包括:
利用扬声器产生来自虚拟声源位置的音频声音;
从用户输入接口获取感知声源位置的声音位置信息;以及
利用处理电路基于所述虚拟声源位置与所述感知声源位置之间的关系来控制所述电子装置的功能的启用或禁用。
20.一种非暂时性计算机可读存储介质,其中存储有计算机可读指令,当所述计算机可读指令被处理电路执行时使所述处理电路执行信息处理方法,所述方法包括:
利用扬声器产生来自虚拟声源位置的音频声音;
从用户输入接口获取感知声源位置的声音位置信息;以及
利用处理电路基于所述虚拟声源位置与所述感知声源位置之间的关系来控制所述电子装置的功能的启用或禁用。
CN201310628111.2A 2012-12-07 2013-11-29 功能控制设备和程序 Active CN103869968B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-268048 2012-12-07
JP2012268048A JP5954147B2 (ja) 2012-12-07 2012-12-07 機能制御装置およびプログラム

Publications (2)

Publication Number Publication Date
CN103869968A true CN103869968A (zh) 2014-06-18
CN103869968B CN103869968B (zh) 2018-06-19

Family

ID=49293804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310628111.2A Active CN103869968B (zh) 2012-12-07 2013-11-29 功能控制设备和程序

Country Status (5)

Country Link
US (2) US9661439B2 (zh)
EP (1) EP2929428B1 (zh)
JP (1) JP5954147B2 (zh)
CN (1) CN103869968B (zh)
WO (1) WO2014087558A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106154231A (zh) * 2016-08-03 2016-11-23 厦门傅里叶电子有限公司 虚拟现实中声场定位的方法
CN107211230A (zh) * 2014-12-03 2017-09-26 株式会社索思未来 声音再现系统
CN107409266A (zh) * 2015-02-26 2017-11-28 安特卫普大学 确定个体化头部相关传输函数和耳间时间差函数的计算机程序和方法
CN109416562A (zh) * 2016-06-27 2019-03-01 诺基亚技术有限公司 装置和相关联的方法
CN110915240A (zh) * 2017-06-26 2020-03-24 雷.拉蒂波夫 向用户提供交互式音乐创作的方法
CN111372167A (zh) * 2020-02-24 2020-07-03 Oppo广东移动通信有限公司 音效优化方法及装置、电子设备、存储介质
US11039264B2 (en) 2014-12-23 2021-06-15 Ray Latypov Method of providing to user 3D sound in virtual environment
CN114513738A (zh) * 2022-02-21 2022-05-17 北京华建云鼎科技股份公司 一种用于模拟虚拟驾驶环境的数据处理系统
US11785411B2 (en) 2018-08-08 2023-10-10 Sony Corporation Information processing apparatus, information processing method, and information processing system

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3114859B1 (en) * 2014-03-06 2018-05-09 Dolby Laboratories Licensing Corporation Structural modeling of the head related impulse response
JP6344125B2 (ja) * 2014-07-31 2018-06-20 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
CN104166518A (zh) * 2014-08-15 2014-11-26 北京数字天域科技股份有限公司 一种屏幕解锁的方法和装置
CN104267810B (zh) * 2014-09-22 2017-09-01 广东欧珀移动通信有限公司 一种控制面板的锁定方法及装置
JP6304145B2 (ja) * 2015-06-30 2018-04-04 京セラドキュメントソリューションズ株式会社 情報処理装置、画像形成装置の設定条件指定方法
JP6578813B2 (ja) 2015-08-20 2019-09-25 株式会社Jvcケンウッド 頭外定位処理装置、及びフィルタ選択方法
CN105184646B (zh) * 2015-10-20 2019-04-30 中国民生银行股份有限公司 自助银行信息推送方法及装置
KR20170067058A (ko) * 2015-12-07 2017-06-15 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10142755B2 (en) * 2016-02-18 2018-11-27 Google Llc Signal processing methods and systems for rendering audio on virtual loudspeaker arrays
US9591427B1 (en) * 2016-02-20 2017-03-07 Philip Scott Lyren Capturing audio impulse responses of a person with a smartphone
CN105847974A (zh) * 2016-03-30 2016-08-10 乐视控股(北京)有限公司 一种解锁方法、装置及智能电视
WO2017203028A1 (en) * 2016-05-27 2017-11-30 Institut National De La Sante Et De La Recherche Medicale (Inserm) Method and apparatus for acquiring a spatial map of auditory perception of a subject
US9584946B1 (en) * 2016-06-10 2017-02-28 Philip Scott Lyren Audio diarization system that segments audio input
US10698477B2 (en) * 2016-09-01 2020-06-30 Motorola Mobility Llc Employing headset motion data to determine audio selection preferences
US9848273B1 (en) * 2016-10-21 2017-12-19 Starkey Laboratories, Inc. Head related transfer function individualization for hearing device
EP3343348A1 (en) * 2016-12-30 2018-07-04 Nokia Technologies Oy An apparatus and associated methods
WO2018143313A1 (ja) * 2017-02-01 2018-08-09 コニカミノルタ株式会社 ウェアラブル電子機器
KR101916380B1 (ko) 2017-04-05 2019-01-30 주식회사 에스큐그리고 영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치
US10469974B2 (en) * 2018-03-15 2019-11-05 Philip Scott Lyren Method to expedite playing of binaural sound to a listener
US10650118B2 (en) * 2018-05-04 2020-05-12 Microsoft Technology Licensing, Llc Authentication-based presentation of virtual content
JP7167562B2 (ja) * 2018-09-05 2022-11-09 トヨタ紡織株式会社 メガネ型端末、個人認証システム、及びカーシェアリングシステム
CN109145566A (zh) 2018-09-08 2019-01-04 太若科技(北京)有限公司 基于注视点信息解锁ar眼镜的方法、装置及ar眼镜
US20200089855A1 (en) * 2018-09-19 2020-03-19 XRSpace CO., LTD. Method of Password Authentication by Eye Tracking in Virtual Reality System
US10425762B1 (en) * 2018-10-19 2019-09-24 Facebook Technologies, Llc Head-related impulse responses for area sound sources located in the near field
US11853533B1 (en) * 2019-01-31 2023-12-26 Splunk Inc. Data visualization workspace in an extended reality environment
US11625222B2 (en) * 2019-05-07 2023-04-11 Apple Inc. Augmenting control sound with spatial audio cues
CN110673819A (zh) * 2019-09-18 2020-01-10 联想(北京)有限公司 信息处理方法及电子设备
EP4287647A1 (en) * 2021-01-29 2023-12-06 Sony Group Corporation Information processing apparatus, information processing method, and program
JP2022153776A (ja) * 2021-03-30 2022-10-13 セイコーエプソン株式会社 装着型画像表示装置
FR3123467A1 (fr) * 2021-05-31 2022-12-02 Orange Procédé et dispositif de caractérisation d’un utilisateur, et dispositif de fourniture de services l’utilisant

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020057805A1 (en) * 2000-11-08 2002-05-16 Matsushita Electric Industrial Co., Ltd. Individual authentication method, individual authentication apparatus, information communication apparatus equipped with the apparatus, and individual authentication system including the apparatus
WO2004099851A2 (en) * 2003-05-12 2004-11-18 Elbit Systems Ltd. Method and system for audiovisual communication
CN101263741A (zh) * 2005-09-13 2008-09-10 皇家飞利浦电子股份有限公司 产生和处理表示hrtf的参数的方法和设备
CN101483797A (zh) * 2008-01-07 2009-07-15 昊迪移通(北京)技术有限公司 一种针对耳机音响系统的人脑音频变换函数(hrtf)的生成方法和设备
US20110153044A1 (en) * 2009-12-22 2011-06-23 Apple Inc. Directional audio interface for portable media device

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2827777B2 (ja) * 1992-12-11 1998-11-25 日本ビクター株式会社 音像定位制御における中間伝達特性の算出方法並びにこれを利用した音像定位制御方法及び装置
JP4669340B2 (ja) * 2005-07-28 2011-04-13 富士通株式会社 情報処理装置、情報処理方法および情報処理プログラム
US7876903B2 (en) * 2006-07-07 2011-01-25 Harris Corporation Method and apparatus for creating a multi-dimensional communication space for use in a binaural audio system
JP5119636B2 (ja) 2006-09-27 2013-01-16 ソニー株式会社 表示装置、表示方法
JP2008113118A (ja) * 2006-10-05 2008-05-15 Sony Corp 音響再生システムおよび音響再生方法
US20100262419A1 (en) * 2007-12-17 2010-10-14 Koninklijke Philips Electronics N.V. Method of controlling communications between at least two users of a communication system
JP5482023B2 (ja) 2009-08-27 2014-04-23 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20120200601A1 (en) * 2010-02-28 2012-08-09 Osterhout Group, Inc. Ar glasses with state triggered eye control interaction with advertising facility
NL2006997C2 (en) * 2011-06-24 2013-01-02 Bright Minds Holding B V Method and device for processing sound data.

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020057805A1 (en) * 2000-11-08 2002-05-16 Matsushita Electric Industrial Co., Ltd. Individual authentication method, individual authentication apparatus, information communication apparatus equipped with the apparatus, and individual authentication system including the apparatus
WO2004099851A2 (en) * 2003-05-12 2004-11-18 Elbit Systems Ltd. Method and system for audiovisual communication
CN101263741A (zh) * 2005-09-13 2008-09-10 皇家飞利浦电子股份有限公司 产生和处理表示hrtf的参数的方法和设备
CN101483797A (zh) * 2008-01-07 2009-07-15 昊迪移通(北京)技术有限公司 一种针对耳机音响系统的人脑音频变换函数(hrtf)的生成方法和设备
US20110153044A1 (en) * 2009-12-22 2011-06-23 Apple Inc. Directional audio interface for portable media device

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107211230A (zh) * 2014-12-03 2017-09-26 株式会社索思未来 声音再现系统
US11039264B2 (en) 2014-12-23 2021-06-15 Ray Latypov Method of providing to user 3D sound in virtual environment
CN107409266A (zh) * 2015-02-26 2017-11-28 安特卫普大学 确定个体化头部相关传输函数和耳间时间差函数的计算机程序和方法
CN109416562A (zh) * 2016-06-27 2019-03-01 诺基亚技术有限公司 装置和相关联的方法
CN109416562B (zh) * 2016-06-27 2022-03-01 诺基亚技术有限公司 用于虚拟现实的装置、方法和计算机可读介质
CN106154231A (zh) * 2016-08-03 2016-11-23 厦门傅里叶电子有限公司 虚拟现实中声场定位的方法
CN110915240A (zh) * 2017-06-26 2020-03-24 雷.拉蒂波夫 向用户提供交互式音乐创作的方法
CN110915240B (zh) * 2017-06-26 2022-06-14 雷.拉蒂波夫 向用户提供交互式音乐创作的方法
US11785411B2 (en) 2018-08-08 2023-10-10 Sony Corporation Information processing apparatus, information processing method, and information processing system
CN111372167A (zh) * 2020-02-24 2020-07-03 Oppo广东移动通信有限公司 音效优化方法及装置、电子设备、存储介质
CN111372167B (zh) * 2020-02-24 2021-10-26 Oppo广东移动通信有限公司 音效优化方法及装置、电子设备、存储介质
CN114513738A (zh) * 2022-02-21 2022-05-17 北京华建云鼎科技股份公司 一种用于模拟虚拟驾驶环境的数据处理系统

Also Published As

Publication number Publication date
WO2014087558A1 (en) 2014-06-12
US9661439B2 (en) 2017-05-23
EP2929428A1 (en) 2015-10-14
US9936326B2 (en) 2018-04-03
US20170289728A1 (en) 2017-10-05
JP5954147B2 (ja) 2016-07-20
US20150304790A1 (en) 2015-10-22
JP2014116722A (ja) 2014-06-26
EP2929428B1 (en) 2018-03-21
CN103869968B (zh) 2018-06-19

Similar Documents

Publication Publication Date Title
CN103869968A (zh) 功能控制设备和程序
EP3163401B1 (en) Mobile terminal and control method thereof
US10108143B2 (en) Mobile terminal and method for controlling the same
US10397728B2 (en) Differential headtracking apparatus
EP2413225B1 (en) Mobile terminal with 3D display and method of controlling operation of the mobile terminal
WO2019128630A1 (zh) 音频信号的处理方法、装置、终端及存储介质
WO2019128629A1 (zh) 音频信号的处理方法、装置、终端及存储介质
US20120207308A1 (en) Interactive sound playback device
CN112425187A (zh) 用于实现头部跟踪耳机的方法和装置
CN105487657A (zh) 声音响度的确定方法及装置
CN102915734A (zh) 用户验证方法、用户验证装置和程序
US10746996B2 (en) Head mounted display and method for controlling the same
CN110573225A (zh) 视觉数据上的直观增强现实协作
CN106067833B (zh) 移动终端及其控制方法
CN112506336A (zh) 具有触觉输出的头戴式显示器
JP2013105183A (ja) 情報処理装置、情報処理方法及びプログラム
EP3173848B1 (en) Head mounted display and control method thereof
KR20170060473A (ko) 이동 단말기 및 그 이동 단말기의 제어 방법
CN108882112B (zh) 音频播放控制方法、装置、存储介质及终端设备
CN114339582B (zh) 双通道音频处理、方向感滤波器生成方法、装置以及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant