CN103607550A

CN103607550A - 一种根据观看者位置调整电视虚拟声道的方法及电视

Info

Publication number: CN103607550A
Application number: CN201310624708.XA
Authority: CN
Inventors: 刘巍
Original assignee: Beijing Haier IC Design Co Ltd
Current assignee: Beijing Haier IC Design Co Ltd
Priority date: 2013-11-27
Filing date: 2013-11-27
Publication date: 2014-02-26
Anticipated expiration: 2033-11-27
Also published as: CN103607550B

Abstract

本发明涉及一种根据观看者位置调整电视扬声器的最佳虚拟声道的方法及电视。该方法包括：实时感知观看者的位移和头部宽度；对感知信息采用脸部识别技术进行处理，当识别到脸部时，检测得到观看者的方位信息和头部宽度信息；基于此信息找到最接近实际的观看者和其方位，查询得到对应的头相关传输函数HRTF；根据电视的原始声道数据和所述HRTF计算虚拟声道数据，所述虚拟信道数据通过电视的扬声器播放。本发明解决了皇帝位和参数设置需要手动的问题，能够自适应调整最佳听音区对应的虚拟声道，以及自动调整参数，有利于改善用户观看电视的效果。

Description

一种根据观看者位置调整电视虚拟声道的方法及电视

技术领域

本发明涉及电视虚拟声道技术领域，特别涉及根据观看者位置调整电视虚拟声道的方法及电视。

背景技术

传统的立体声系统依靠在空间内放置多个音箱来模拟实际声场，音箱摆放位置有较高的要求，具有“皇帝位”即最佳听音区，而即便如此听者的感受是声音明显的来自音箱，缺乏3D立体感和空间感，且成本较高。虚拟环绕声技术的发展，根据人类听觉系统的声音传递函数HRTF对立体声信号进行处理，重现3D音效。最具有代表性的3D立体声技术SRS，利用两个扬声器便可以获得环绕立体声的效果，以其相对低廉的成本，广泛的应用在电视、音频播放器等产品中。但SRS音效需要用户手动设置多个参数，参数设置存在一定技巧，设置不恰当会导致声音的发散、失真、定位模糊等问题。

发明内容

本发明的目的在于，解决传统的“皇帝位”以及参数需要手动设置的问题。

为了实现上述发明目的，在第一方面，本发明提供了一种根据观看者位置调整电视虚拟声道的方法，所述方法包括：实时感知观看者的位移和头部宽度信息；对该位移和头部宽度信息采用脸部识别技术进行处理，当未识别到脸部时，视为观看者已离开，当识别到脸部时，通过视频处理技术检测得到观看者的方位信息和头部宽度信息；根据所述观看者方位信息和头部宽度信息，找到最接近的观看者和其方位，查询得到对应于所述最接近的观看者的方位的头相关传输函数HRTF；根据电视的原始声道数据和所述HRTF，采用频域合成虚拟声道数据的计算方法实时地计算虚拟声道数据，并将计算结果发送给扬声器。

优选地，所述实时感知观看者的位移和头部宽度，将获取到的信号传送给识别模块，具体为：通过所述摄像头对观看者进行视频监测，将获取到的观看者的位移和头部宽度图像信息实时地发送给所述识别模块。

优选地，所述识别到观看者的脸部时，通过视频处理技术检测得到观看者的方位和头部宽度，具体为：通过视频处理技术检测脸部成像清晰度最佳时摄像头的焦距、像距，进而得到物距，所述物距即人的距离，通过所述物距、以及头部宽度在视频图像中的像素点数量和摄像头的分辨率信息计算得出观看者的方位和头部宽度。

优选地，所述根据电视的原始声道数据和所述HRTF，采用频域合成虚拟声道数据的计算方法实时地计算虚拟声道数据，具体为：将原始声道数据进行傅里叶变换得到原始声道数据的频域表示；将原始声道的频域数据与HRTF相乘；将相乘结果进行傅里叶反变换得到输出的虚拟声道数据。

在第二方面，本发明提供了一种根据观看者位置调整电视虚拟声道的方法，所述方法包括：通过传感器模块实时感知观看者的位移和头部宽度，将获取到的信号传送给识别模块；识别模块接收所述信号，并对该信号采用脸部识别技术进行处理，当未识别到脸部时，视为观看者已离开，当识别到脸部时，通过视频处理技术检测得到观看者的方位信息和头部宽度信息；转换模块根据所述观看者方位信息和头部宽度信息，找到最接近的观看者和其方位，查询得到对应于所述最接近的观看者的方位的头相关传输函数HRTF，并将所述HRTF发送给虚拟环绕声计算模块；虚拟环绕声计算模块根据电视的原始声道数据和所述HRTF，采用频域合成虚拟声道数据的计算方法实时地计算虚拟声道数据，并将计算结果发送给扬声器。

优选地，所述传感器模块包括摄像头，所传感器模块实时感知观看者的位移和头部宽度，将获取到的信号传送给识别模块，具体为：通过所述摄像头对观看者进行视频监测，将获取到的观看者的位移和头部宽度图像信息实时地发送给所述识别模块。

优选地，所述识别模块识别到观看者的脸部时，通过视频处理技术检测得到观看者的方位和头部宽度，具体为：通过视频处理技术检测脸部成像清晰度最佳时摄像头的焦距、像距，进而得到物距，所述物距即人的距离，通过所述物距、以及头部宽度在视频图像中的像素点数量和摄像头的分辨率信息计算得出观看者的方位和头部宽度。

优选地，所述虚拟环绕声计算模块根据电视的原始声道数据和所述HRTF，采用频域合成虚拟声道数据的计算方法实时地计算虚拟声道数据，具体为：将原始声道数据进行傅里叶变换得到原始声道数据的频域表示；将原始声道的频域数据与HRTF相乘；将相乘结果进行傅里叶反变换得到输出的虚拟声道数据。

在第三方面，本发明提供了一种根据观看者位置调整电视虚拟声道的方法，所述方法包括：实时捕获观看者的图像；采用脸部识别技术处理所述图像，当识别到脸部时，通过视频处理技术检测得到观看者的方位信息和头部宽度信息；根据所述观看者方位信息和头部宽度信息，找到最接近的观看者和其方位，查询得到对应于所述最接近的观看者的方位的头相关传输函数HRTF；根据电视的原始声道数据和所述HRTF，采用频域合成虚拟声道数据的计算方法实时地计算虚拟声道数据，并将计算结果发送给扬声器。

优选地，所述实时捕获观看者的图像，具体为：通过摄像头实时捕获观看者的图像。

在第四方面，本发明提供一种电视，包含传感器模块，识别模块，转换模块，以及虚拟环绕声计算模块，所述传感器模块用于实时感知观看者的位移和头部宽度，将获取到的信号传送给识别模块；识别模块，用于接收所述信号，并对该信号采用脸部识别技术进行处理，当未识别到脸部时，视为观看者已离开，当识别到脸部时，通过视频处理技术检测得到观看者的方位信息和头部宽度信息；转换模块，根据所述识别模块提供的所述观看者方位信息和头部宽度信息，找到最接近的观看者和其方位，查询得到对应于所述最接近的观看者的方位的头相关传输函数HRTF，并将所述HRTF发送给虚拟环绕声计算模块；虚拟环绕声计算模块，用于根据电视的原始声道数据和所述HRTF，采用频域合成虚拟声道数据的计算方法实时地计算虚拟声道数据，并将计算结果发送给扬声器。

优选地，所述电视还包括扬声器，用于在所述虚拟声道进行播放。

优选地，所述电视还包括输出模块，用于从所述虚拟环绕声计算模块接收虚拟声道数据，并将其发送给所述扬声器。

优选地，所述识别模块识别到观看者的脸部时，通过视频处理技术检测得到观看者的方位和头部宽度，具体为：识别到脸部时，通过视频处理技术检测脸部成像清晰度最佳时摄像头的焦距、像距，进而得到物距，所述物距即人的距离，通过所述物距、以及头部宽度在视频图像中的像素点数量和摄像头的分辨率信息计算得出观看者的方位和头部宽度。

优选地，所述虚拟环绕声计算模块采用频域合成虚拟声道数据的计算方法实时地计算虚拟声道数据，具体为：将原始声道数据进行傅里叶变换得到原始声道数据的频域表示；将原始声道的频域数据与HRTF相乘；将相乘结果进行傅里叶反变换得到输出的虚拟声道数据。

在第五方面，本发明提供了一种电视，包含传感器模块，识别模块，转换模块，以及虚拟环绕声计算模块，所述传感器模块用于实时捕获观看者的图像，将图像传送给识别模块；识别模块，用于接收所述图像，并对该图像采用脸部识别技术进行处理，当识别到脸部时，通过视频处理技术检测得到观看者的方位信息和头部宽度信息；转换模块，根据所述识别模块提供的所述观看者方位信息和头部宽度信息，找到成像清晰度最佳时的观看者和其方位，查询得到对应于所述成像清晰度最佳时的观看者的方位的头相关传输函数HRTF，并将所述HRTF发送给虚拟环绕声计算模块；虚拟环绕声计算模块，用于根据电视的原始声道数据和所述HRTF，采用频域合成虚拟声道数据的计算方法实时地计算虚拟声道数据，并将计算结果发送给扬声器。

优选地，所述传感器模块包括摄像头，所传感器模块实时捕获观看者的图像，具体为：通过所述摄像头实时捕获观看者的图像。

本发明的优点在于通过摄像头等传感器利用图像识别等技术，实时确定观看者的位置及头部宽度等信息，根据这些信息的改变实时计算虚拟立体声的配置参数以达到立体声最佳听音点根据观看者的位移动态调整，使立体声虚拟声道始终追踪观看者，使听者与虚拟扬声器的位置关系构成最佳立体声系统，使电视观众始终获得最优立体声效果。

附图说明

图1为本发明实施例的虚拟声道播放示意图；

图2为本发明实施例的根据观看者位置调整电视虚拟声道的方法示意图；

图3A-3C为本发明实施例的电视示意图。

具体实施方式

下面结合附图和具体实施方式，对本发明的方法进行进一步详细的说明。

传统的立体声音效要求两个扬声器与听者的位置关系为正三角形或等腰三角形，即存在皇帝位，也就是最佳听音点。采用虚拟环绕声技术后，不再需要精准的考虑扬声器的摆放，通过在固定位置虚拟出的左右声道即可达到立体环绕的音效，但仍然存在皇帝位的限制。本实施例通过传感器实时地识别出观看者的位置信息和头部宽度信息，确定HRTF，输入给虚拟环绕声计算模块，计算出虚拟声道数据来使听者始终获得最佳听音效果。

如图1所示，虚拟声道的应用可以将实际的扬声器虚拟成虚拟的扬声器，或者说，将实际扬声器的声道改变了，使得听者觉得的扬声器的位置与实际位置并不一致。

图2是本发明实施例的根据观看者位置调整电视虚拟声道的方法示意图。所述方法包括：

步骤200，通过传感器模块实时感知观看者的位移和头部宽度，将获取到的信号/信息传送给识别模块。

所述传感器模块可以是/包括，但不限于摄像头、距离传感器、红外传感器。

一个例子中，通过摄像头等传感器模块实时捕捉观看者图像，将获取到的图像传送给识别模块。所述图像显然可以包含观看者的位移和头部宽度信息。

步骤202，识别模块接收所述图像/信号/信息，并对该图像/信号/信息采用脸部识别技术进行处理，当未识别到脸部时，视为观看者已离开（即可以不再进行最佳听音点的调整，识别模块可以直接输出原始声道数据给后续将提及的虚拟环绕声计算模块、输出模块，或者扬声器），当识别到脸部时，计算出观看者的方位信息和头部宽度信息。

一个例子中，识别模块接收到的传感器（一个实施例是摄像头）信号就是摄像头实时录制的图像，可以统称为信号，本质是图像。

要说明的是，一个例子中，原始声道数据可以认为一直位于某个存储模块，而识别模块可以一直处于工作状态，只要检测到有人脸就需要后续的虚拟环绕声计算模块工作；如果暂时没有人脸，则虚拟环绕声计算模块不工作，原始声道数据经由存储模块直接输出到扬声器，也不影响收听声音，只是没有了虚拟环绕声带来的空间感。

一个例子中，所述脸部识别过程如下：通过对摄像头采集得到的图像进行人脸轮廓提取和眼睛定位，根据人脸的对称性和眼睛在灰度上的特性来实现人脸检测。首先对摄像头采集得到的图像进行滤波和二值化处理，得到二值化图像。将二值化图像采用肤色区域边界提取算法确定人脸区域，在人脸区域内采用轮廓跟踪技术提取出人脸轮廓。将二值化图像进行形态学操作包括膨胀和腐蚀操作得到眼睛定位。人脸轮廓和眼睛满足对称性时视为有观看者，根据人脸轮廓占用的像素点数计算头部宽度。否则，视为观看者已离开。

一个例子中，所述计算过程包括：头部宽度信息根据物距和像距的比例通过人脸成像的像素宽度反算实际人脸的块/快宽度，通过成像人偏离中心的距离反算人实际偏离中心的距离，比例都是物距和像距比。

步骤204，转换模块根据所述观看者方位信息和头部宽度信息，找到观看者和其方位，查询得到对应于所述观看者的方位的头相关传输函数HRTF，并将所述HRTF发送给虚拟环绕声计算模块。

这里的观看者方位信息和头部宽度信息可以理解为观看者实际的方位信息和头部宽度信息、或者最接近观看者实际位置的方位信息和头部宽度信息，可以表现为一个小的时间区间里观看者成像最清晰时的方位信息和头部宽度信息。所述一个小的时间区间可以理解为一个或者多个虚拟声道调整周期,也可以是其他时间期限，在此不做特别限制。

其中，所述头相关传输函数HRTF定义为自由场条件下从声源到双耳的频域声学传输函数，它表达了人体生理结构对声波的综合滤波作用。

\{\begin{matrix} H_{L} = H_{L} (r, θ, φ, f, a) = \frac{P_{L} (r, θ, φ, f, a)}{P_{0} (r, f)} \\ H_{R} = H_{R} (r, θ, φ, f, a) = \frac{P_{R} (r, θ, φ, f, a)}{P_{0} (r, f)} \end{matrix}

式中：P_L和P_R分别是点声源在听者左、右耳的鼓膜处产生的复数频域声压；P₀是听者头移开后点声源在原来头中心位置处的声压。

一般情况下，双耳HRTF是声源到头部的距离r、声源位置方位角θ和仰角φ、频率f的函数，并且因个体的生理结构和尺寸而异（这里a是一组生理参数的集合）。对于远场r>1m的情况，H_L和H_R基本上与声源距离r无关。从生理结构看，由于不同人的生理结构差异而具有个性的HRTF。例如：头宽等个性化特征参数。

HRTF的时域形式是头相关脉冲响应（head-related impulse response，简记为HRIR），其傅里叶变换即为HRTF。

一个例子中，作为所述查询的基础是预存的头宽和方位信息与头相关传输函数的对照表，其可以包含45个测试对象的HRTF数据和头部宽度数据。该数据来源为加州大学戴维斯分校图像处理和集成计算中心（CIPIC）实验室提供的数据库，该数据库中包含45个测试对象的HRIR数据和人体参数（参考文档:Algazi V R,Duda RO,Thompson D M,et al.The CIPIC HRTF database.In:Proceeding of2001IEEEWorkshop on the Applications of Signal Processing to Audio and Acoustics.NewPaltz,NY:IEEE,2001,99-102）。该数据库具有较高的空间分辨率。从实际应用的角度考虑，本实施例可以未存储全部数据库的内容，截取了方位角[-45°，45°]之间的HRTF数据以节省成本。具体地，所述头宽和方位信息与头相关传输函数的对照表如下所示：根据CIPIC数据库，共45个头部宽度信息，分别对应方位角在[-45°，45°]步距为5°即共计19个方位信息的HRTF。其中d_i表示第i个头部宽度信息，θ_j表示第j个方位信息，H_ij表示第i个头部宽度信息和第j个方位信息对应的HRTF，其中i＝1,2...45，j＝1,2...19。根据测得的头宽信息

和方位信息来得到H_ij。

步骤206，虚拟环绕声计算模块根据电视的原始声道数据和所述HRTF，采用频域合成虚拟声道数据的计算方法实时地计算虚拟声道数据，并将计算结果发送给扬声器。

一个例子中，根据识别模块给出的观看者位置信息和头部宽度信息，与已经预存的45个测试对象的头部宽度数据和位置数据通过如下公式分别进行相似性比对，找到最接近的对象和最接近的位置，将该对象在该位置的HRTF输出到虚拟环绕声计算模块，以便其将来计算虚拟声道数据。

一个例子中，相似性

,其中：

和d分别为待测参数和预存参数，σ为存储模块中同一参数的方差。

优选地，所述传感器模块包括摄像头，所传感器模块实时感知观看者的位移和头部宽度，将获取到的信号传送给识别模块，具体为：通过所述摄像头对观看者进行视频监测，将获取到的观看者的位移和头部宽度图像信息实时地发送给所述识别模块。或者说，传感器模块采用摄像头，对电视前方空间进行视频监测，将获取到的图像信息实时地发送给识别模块。

一个例子中，所述计算过程是：头部宽度信息根据物距和像距的比例通过人脸成像的像素宽度反算出实际人脸的块宽度/快宽度，通过成像人偏离中心的距离反算出人实际偏离中心的距离，比例都是物距和像距比。所述人即指观看电视者。

图3A是本发明实施例的电视示意图。所述电视包含传感器模块，识别模块，转换模块，虚拟环绕声计算模块，以及扬声器。所述传感器模块用于实时感知观看者的位移和头部宽度，将获取到的信号传送给识别模块；识别模块，用于接收所述信号，并对该信号采用脸部识别技术进行处理，当未识别到脸部时，视为观看者已离开，当识别到脸部时，通过视频处理技术检测得到观看者的方位信息和头部宽度信息；转换模块，根据所述识别模块提供的所述观看者方位信息和头部宽度信息，找到最接近的观看者和其方位，查询得到对应于所述最接近的观看者的方位的头相关传输函数HRTF，并将所述HRTF发送给虚拟环绕声计算模块；虚拟环绕声计算模块，用于根据电视的原始声道数据和所述HRTF，采用频域合成虚拟声道数据的计算方法实时地计算虚拟声道数据，并将计算结果发送给扬声器。

所述扬声器对所述虚拟声道数据进行播放。即在原始声道数据经过虚拟环绕声处理后得到所述虚拟声道数据，扬声器播放该虚拟声道数据。

所述电视也可以称为环绕声电视。

优选地，所述电视还包括输出模块，用于从所述虚拟环绕声计算模块接收虚拟声道数据，并将其发送给所述扬声器。此时的电视参见图3B。

优选地，所述电视还包括存储模块模块，用于从存储电视的原始声道数据和作为所述查询基础的所述HRTF-方位关系表。此时的电视参见图3C。

本发明实施例的优点在于通过摄像头等传感器利用图像识别等技术，实时确定观看者的位置及头部宽度等信息，根据这些信息的改变实时计算虚拟立体声的配置参数以达到立体声最佳听音点根据观看者的位移动态调整，使立体声虚拟声道始终追踪观看者，使听者与虚拟扬声器的位置关系构成最佳立体声系统，使电视观众始终获得最优立体声效果。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例模块及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种根据观看者位置调整电视虚拟声道的方法，其特征在于，所述方法包括：

实时感知观看者的位移和头部宽度信息；

对该位移和头部宽度信息采用脸部识别技术进行处理，当识别到脸部时，计算出观看者的方位信息和头部宽度信息；

根据所述观看者方位信息和头部宽度信息，找到观看者和其方位，查询得到对应于所述观看者的方位的头相关传输函数HRTF；

根据电视的原始声道数据和所述HRTF，采用频域合成虚拟声道数据的计算方法实时地计算虚拟声道数据。

2.根据权利要求1所述的方法，其特征在于：所述方法还包括：将计算结果发送给扬声器。

3.根据权利要求1或2所述的方法，其特征在于：所述识别到脸部时，计算出观看者的方位和头部宽度，具体为：检测脸部成像清晰度最佳时摄像头的焦距、像距，进而得到物距，通过所述物距、以及头部宽度在视频图像中的像素点数量和摄像头的分辨率信息计算得出观看者的方位和头部宽度。

4.根据权利要求1或2所述的方法，其特征在于：所述根据电视的原始声道数据和所述HRTF，采用频域合成虚拟声道数据的计算方法实时地计算虚拟声道数据，具体为：将原始声道数据进行傅里叶变换得到原始声道数据的频域表示；将原始声道的频域数据与HRTF相乘；将相乘结果进行傅里叶反变换得到虚拟声道数据。

5.一种电视，包含传感器模块，识别模块，转换模块，以及虚拟环绕声计算模块，其特征在于：

所述传感器模块用于实时感知观看者的位移和头部宽度信息，将图像传送给识别模块；

识别模块，用于接收所述图像，并对该图像采用脸部识别技术进行处理，当识别到脸部时，计算出观看者的方位信息和头部宽度信息；

转换模块，根据所述识别模块提供的所述观看者方位信息和头部宽度信息，找到观看者和其方位，查询得到对应于所述观看者的方位的头相关传输函数HRTF，并将所述HRTF发送给虚拟环绕声计算模块；

虚拟环绕声计算模块，用于根据电视的原始声道数据和所述HRTF，采用频域合成虚拟声道数据的计算方法实时地计算虚拟声道数据。

6.根据权利要求5所述的电视，其特征在于：所述电视还包括扬声器，用于接收所述计算结果，以及播放所述虚拟声道数据。

7.根据权利要求5或6所述的电视，其特征在于：所述传感器模块包括摄像头，所述识别模块识别到脸部时，计算出观看者的方位和头部宽度，具体为：检测脸部成像清晰度最佳时摄像头的焦距、像距，进而得到物距，通过所述物距、以及头部宽度在视频图像中的像素点数量和摄像头的分辨率信息计算得出观看者的方位和头部宽度。

8.根据权利要求5或6所述的电视，其特征在于：所述虚拟环绕声计算模块采用频域合成虚拟声道数据的计算方法实时地计算虚拟声道数据，具体为：将原始声道数据进行傅里叶变换得到原始声道数据的频域表示；将原始声道的频域数据与HRTF相乘；将相乘结果进行傅里叶反变换得到输出的虚拟声道数据。