CN107249166A - 一种完全沉浸式的耳机立体声实现方法及系统 - Google Patents

Abstract

本发明实施例提供一种完全沉浸式的耳机立体声实现方法及系统，所述方法包括：移动终端的前置摄像头实时监控，并将成像数据实时传输给DSP进行处理；DSP根据图像识别算法识别人脸，并分析人脸是否在指定距离内；通过切换移动终端前后置摄像头获取人脸数据，监控人的头部转动状态；通过移动终端的内置陀螺仪的角度检测数据，监控移动终端转动状态，综合分析人头与移动终端之间的实际相对转动状态；DSP根据计算的实际相对转动状态对标准音源进行处理，调整虚拟环绕音频参数。本发明可实现完全避免“头中效应”的虚拟环绕声，无论用户头部或手持的移动终端处于何种方位，均可实现与画面信息一致的虚拟环绕声，大大提高了用户体验。

Description

一种完全沉浸式的耳机立体声实现方法及系统

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种完全沉浸式的耳机立体声实现方法及系统。

背景技术

随着虚拟现实的画面日趋逼真，人们逐渐发现虚拟现实音频对于人脑的3D画面重建不可或缺的作用。对于一般的消费型电子终端设备来说，耳机是最实惠有效的实现虚拟现实音频的载体，多声道音频信号经过处理后由耳机输出，从而使用户在游戏和电影中有较好的身临其境的体验。然而，当人脑转动时，相应的声音方向也会随着人脑的转动而转动，产生了所谓的“头中效应”，从而破坏了虚拟现实音频的沉浸感。很多互联网/音频厂商均作了不少努力去解决这个问题，但还远远没有达到完全沉浸式的效果。如Waves提出通过在耳机上小配件或利用手机摄像头来实现对人头转动方向的监控，从而相对应地调整虚拟环绕声的音频参数，使听者感觉到声场方向不随人头转动而转动。但此技术需要在耳机上增加一个小配件，提高了实现沉浸式虚拟环绕声的复杂程度和携带难度。

另一种方式是通过移动终端上的摄像头来监视人头转动，从而及时调整虚拟环绕声的音频参数来实现声场方向的调整，此方法能不需要增加小配件，对用户来说更为方便。然而，用户使用尺寸较小的移动终端时经常是采用手持的方式，移动终端本身的方向会随着用户游戏的投入而发生变化，从而对用户人头转动方向产生较大的误判或误差。当用户人头未移动而手持的移动终端发生方向的变化，会使声场方向调整，从而造成对虚拟环绕声沉浸感的破坏。

另外，用户在观看虚拟现实/3D视频时，或在体验虚拟现实游戏时，人们会在画面中对声音方向产生一定的判断(如左侧的敌人跑过来时会伴随左侧方位传来的脚步声)，这时候如果用户手持的移动终端方向发生转动，应使声场方向伴随屏幕方向的变化而变化，使画面和声场方向所传递的信息难以保持一致。这就需要使虚拟音频的声场方向综合人头转动方向和移动终端转动方向信息来进行调整，使用户完全沉浸于虚拟现实游戏/视频中的画面的虚拟环绕声中。而当前各大虚拟音频厂商所提出的方案均无法实现对移动终端方向和人头转动方向的同时监测和声场方向调整，无法实现完全沉浸式的虚拟环绕声体验。

发明内容

本发明实施例提供一种完全沉浸式的耳机立体声实现方法及系统，使用户在不佩戴任何其它配件情况下，仅需要具备陀螺仪和摄像头的移动终端和普通耳机即可实现完全避免“头中效应”的虚拟环绕声，大大提高了用户在体验3D视频或游戏时的音频体验。无论用户头部如何转动，或手持的移动终端处于何种方位，均可实现与画面信息一致的虚拟环绕声。

一方面，本发明实施例提供了一种完全沉浸式的耳机立体声实现方法，所述方法包括：

移动终端的前置摄像头实时监控，并将成像数据实时传输给DSP进行处理；

DSP根据图像识别算法识别人脸，并分析人脸是否在指定距离内；若人脸在指定距离内，通过移动终端前置摄像头获取人脸数据，监控人的头部转动状态；若人脸不在指定距离内，通过移动终端后置摄像头获取人脸数据，监控人的头部转动状态；

通过移动终端的内置陀螺仪的角度检测数据，监控移动终端转动状态，结合摄像头监控的人头部转动状态，综合分析人头与移动终端之间的实际相对转动状态；

DSP根据计算的实际相对转动状态对标准音源进行处理，调整虚拟环绕音频参数。

另一方面，本发明实施例提供了一种完全沉浸式的耳机立体声实现系统，其特征在于，包括：

DSP、前置摄像头、后置摄像头、陀螺仪、音源和耳机，所述DSP与前置摄像头、后置摄像头、陀螺仪、音源均电连接，所述音源和耳机连接，所述DSP、前置摄像头、后置摄像头、陀螺仪、音源均集成在移动终端上。

上述技术方案具有如下有益效果：

1、本发明使用户在不佩戴任何其它配件情况下，仅需要具备陀螺仪和摄像头的移动终端和普通耳机即可实现完全避免“头中效应”的虚拟环绕声，大大提高了用户在体验3D视频或游戏时的音频体验。无论用户头部如何转动，或手持的移动终端处于何种方位，均可实现与画面信息一致的虚拟环绕声。

2、本发明所述的耳机虚拟环绕声实现方式的优势还在于，其方案可集成于智能移动终端上，并不需要在现有方案添加更多组件就可实现，实现成本低，可行性强。用户只需要佩戴普通耳机就可以体验，无需其它配件，对用户来说更容易接受。

3、另外，本发明所述方案综合利用移动终端的前置和后置摄像头来全角度监控人头运动状态，使用户能尽情投入于游戏或视频中而不致影响虚拟环绕声体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一种完全沉浸式的耳机立体声实现方法流程图；

图2是本发明实施例一种完全沉浸式的耳机立体声实现系统结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明实施例一种完全沉浸式的耳机立体声实现方法，所述方法包括：

101、移动终端的前置摄像头实时监控，并将成像数据实时传输给DSP进行处理；

102、DSP根据图像识别算法识别人脸，并分析人脸是否在指定距离内；若人脸在指定距离内，进入步骤103；若人脸不在指定距离内，进入步骤104；

103、通过移动终端前置摄像头获取人脸数据，监控人的头部转动状态；

104、通过移动终端后置摄像头获取人脸数据，监控人的头部转动状态；

105、通过移动终端的内置陀螺仪的角度检测数据，监控移动终端转动状态，结合摄像头监控的人头部转动状态，综合分析人头与移动终端之间的实际相对转动状态；

106、DSP根据计算的实际相对转动状态对标准音源进行处理，调整虚拟环绕音频参数。

优选的，所述指定距离为结合图像识别算法制定的距离值。

优选的，所述调整虚拟环绕音频参数，即将人头与移动终端之间的实际相对转动状态调整输入到耳机的声场方向。

优选的，DSP根据图像识别算法识别人脸，并分析人脸是否在指定距离内，具体为：测量成像大小、高度，结合摄像头的焦距、放大倍数、像素信息，来计算人头成像到手机摄像头之间的距离。

优选的，所述虚拟环绕音频参数为头相关传输函数HRTF和耳机到耳道传输函数HpTFs的仰角和水平角。

如图2所示，为本发明实施例一种完全沉浸式的耳机立体声实现系统，其特征在于，包括移动终端和耳机，所述移动终端包括：

DSP1，用于对摄像头和陀螺仪采集的监测数据进行处理，监控人的头部转动状态和终端转动状态，并综合分析人头与移动终端之间的实际相对转动状态；

前置摄像头2，用于人脸在指定距离内时，监测人头部转动状态；

后置摄像头3，用于人脸不在指定距离内时，监测人头部转动状态；

陀螺仪4，用于监测移动终端转动状态；

音源5，用于提供虚拟现实音频信号；

其中，所述DSP1与前置摄像头2、后置摄像头3、陀螺仪4、音源5均电连接，所述音源5和耳机6连接，所述DSP1、前置摄像头2、后置摄像头3、陀陀螺仪4螺仪4、音源5均集成在移动终端上。

优选的，所述音源5为声卡。

优选的，所述前置摄像头2、后置摄像头3、陀螺仪4、音源5内置于移动终端。

优选的，所述移动终端为手机、笔记本电脑、iPad任意一种。

优选的，所述陀螺仪4为一个或者多个。

视觉导向是耳朵的主要功能之一，人耳能分辨左右上下及前后方向的声音，逼真的声音效果对于3D视频或游戏的“临场感”的塑造非常重要。双耳主要通过双耳时间差、双耳强度差、耳廓散射和头部运动来确定声音方位信息。在电影院/家庭影院中，环绕声的实现需要一系列音箱组成5.1声道或7.1声道来实现，但移动终端尺寸受限，无法形成多声道。虚拟立体/环绕声可通过调整左右耳两声道的相关参数来控制上述因素，尽可能还原声源声场，从而让人产生立体/环绕声的效果。然而，头部运动会破坏通过调整左右声道相关参数而营造的虚拟环绕声，让用户感觉出声中心即位于头中，此即“头中效应”。

本发明提供一种不受移动终端和人头转动状态影响的虚拟音频解决方案和移动终端，该方案利用移动终端的摄像头和陀螺仪来监测用户人头和终端设备的转动状态，调制虚拟音频参数，从而根据人头与移动终端两者的转动状态调整输入到耳机的声场方向，确保用户在虚拟环境中灵活变动自己和移动终端的方向而不影响虚拟现实音频体验效果。同时，该方案充分利用移动终端的前后摄像头，当用户方位处于移动终端屏幕背面时，及时切换后置摄像头来对用户头部转动进行采集分析，使得无论用户和智能终端处于什么样的相对位置，均可以实现转动状态监测和声场方向调整。该方案还使相应移动终端集成了实现沉浸式虚拟现实音频效果所需的所有硬件，不对用户使用的耳机作出特别要求，增加了其通用性。

本发明中所述耳机虚拟环绕声实现方式的原理，如图1所示。本发明的核心部分是结合移动终端自带的摄像头和陀螺仪来实现对人头转动状态的监控，并相应地调制虚拟环绕声音频的参数，虚拟音频参数为头相关传输函数HRTF和耳机到耳道传输函数HpTFs的仰角和水平角，头相关传输函数HRTF的数据由假人头上测试而得，其可对多通路环绕声信号进行滤波，而合成具有空间信息的双耳声信号。HRTF与耳机到耳道传输函数HpTFs综合作用，构成虚拟环绕音频参数，HpTFs一般用作均衡处理。通过两个函数作滤波器可以定制虚拟环绕声的方向、定位等信息。

首先通过移动终端的摄像头来监控人头转动并计算转动角度，当用户使用移动终端开始游戏或观看3D视频时，移动终端即调用前置摄像头并采集镜头前画面。然后，系统将成像画面数据实时传输至DSP中进行图形算法处理，图像识别算法在所拍到的图片中识别出人头，并测量成像大小、高度，再结合摄像头的焦距、放大倍数、像素等信息，来计算人头成像到手机摄像头之间的距离。在距离设定一个阈值，当距离大于此值时系统认为当时工作的摄像头前面没有用户，此时启用另外一颗摄像头。具体为：如果DSP计算出人脸距离小于此距离值，系统便持续调用前摄像头来监控人头的转动情况。如果出现人脸的距离大于规定距离值的情况，系统及时切换调用后摄像头来监控人头转动情况，从而实现全方位监控，不受用户相对镜头的方向束缚。

光监控人头转动，仍无法获取准确的人头相对于移动终端屏幕的转动信息，因为当用户手持移动终端时，移动终端的位置并不固定，也有着一定程度的偏移和转动。此时如果仅依靠摄像头的监控数据来调整虚拟环绕声的方向，不但无法解决“头中效应”，反而提供了紊乱的方向调整。因此，本发明所述方案调用移动终端的内置陀螺仪来实现对移动终端本身运动状态的监控，并结合移动终端的摄像头采集到的人头转动信息，综合计算出人头相对于移动终端之间的实际相对转动状态。DSP根据所计算的实际相对运动状态对标准音源进行处理，调整虚拟环绕声音频参数，即调整头相关传输函数HRTF和耳机到耳道传输函数HpTFs的仰角和水平角等参数，使人耳听到的声场方向不受转动的影响，从而使虚拟环绕声声像不为“头中效应”所破坏。

如图2所示，要想在移动终端产品上实现本发明所述方案，移动终端需要前后两颗较高成像质量的摄像头，并具备陀螺仪。同时，为了实现实时监控、图像算法和虚拟音频参数计算，本发明所述方案需要配备高性能DSP。本发明所述的耳机虚拟环绕声实现方式的优势在于，实现监测功能的硬件均集成于智能移动终端上，并不需要在现有方案添加更多组件就可实现，实现成本低，可行性强。用户只需要佩戴普通耳机就可以体验，无需其它配件，对用户来说更容易接受。另外，本发明所述方案综合利用移动终端的前置和后置摄像头来全角度监控人头运动状态，使用户能尽情投入于游戏或视频中而不致影响虚拟环绕声体验。

应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。

上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种完全沉浸式的耳机立体声实现方法，其特征在于，所述方法包括：

移动终端的前置摄像头实时监控，并将成像数据实时传输给DSP进行处理；

DSP根据图像识别算法识别人脸，并分析人脸是否在指定距离内；若人脸在指定距离内，通过移动终端前置摄像头获取人脸数据，监控人的头部转动状态；若人脸不在指定距离内，通过移动终端后置摄像头获取人脸数据，监控人的头部转动状态；

通过移动终端的内置陀螺仪的角度检测数据，监控移动终端转动状态，结合摄像头监控的人头部转动状态，综合分析人头与移动终端之间的实际相对转动状态；

DSP根据计算的实际相对转动状态对标准音源进行处理，调整虚拟环绕音频参数。

2.如权利要求1所述完全沉浸式的耳机立体声实现方法，其特征在于，所述指定距离为结合图像识别算法制定的距离值。

3.如权利要求1所述完全沉浸式的耳机立体声实现方法，其特征在于，所述调整虚拟环绕音频参数，即将人头与移动终端之间的实际相对转动状态调整输入到耳机的声场方向。

4.如权利要求1所述完全沉浸式的耳机立体声实现方法，其特征在于，所述DSP根据图像识别算法识别人脸，并分析人脸是否在指定距离内，具体为：测量成像大小、高度，结合摄像头的焦距、放大倍数、像素信息，来计算人头成像到手机摄像头之间的距离。

5.如权利要求1所述完全沉浸式的耳机立体声实现方法，其特征在于，所述虚拟环绕音频参数为头相关传输函数HRTF和耳机到耳道传输函数HpTFs的仰角和水平角。

6.一种完全沉浸式的耳机立体声实现系统，其特征在于，包括移动终端和耳机，所述移动终端包括：

DSP(1)，用于对摄像头和陀螺仪采集的监测数据进行处理，监控人的头部转动状态和终端转动状态，并综合分析人头与移动终端之间的实际相对转动状态；

前置摄像头(2)，用于人脸在指定距离内时，监测人头部转动状态；

后置摄像头(3)，用于人脸不在指定距离内时，监测人头部转动状态；

陀螺仪(4)，用于监测移动终端转动状态；

音源(5)，用于提供虚拟现实音频信号；

其中，所述DSP(1)与前置摄像头(2)、后置摄像头(3)、陀螺仪(4)、音源(5)均电连接，所述音源(5)和耳机(6)连接，所述DSP(1)、前置摄像头(2)、后置摄像头(3)、陀陀螺仪(4)螺仪(4)、音源(5)均集成在移动终端上。

7.如权利要求6所述完全沉浸式的耳机立体声实现系统，其特征在于，所述音源(5)为声卡。

8.如权利要求6所述完全沉浸式的耳机立体声实现系统，其特征在于，所述前置摄像头(2)、后置摄像头(3)、陀螺仪(4)、音源(5)内置于移动终端。

9.如权利要求6所述完全沉浸式的耳机立体声实现系统，其特征在于，所述移动终端为手机、笔记本电脑、iPad任意一种。

10.如权利要求6所述完全沉浸式的耳机立体声实现系统，其特征在于，所述陀螺仪(4)为一个或者多个。