CN108270984A - 图像识别式消音播放控制系统 - Google Patents

Abstract

本发明涉及一种图像识别式消音播放控制系统，包括：图像解析设备，设置在电视机外壳内，用于接收观众碎片和拟合处理图像，并基于所述观众碎片在所述识别图像中的位置确定观众相对于电视机的当前方向以作为当前观众方向输出；扬声器，设置在电视机外壳内，用于向外播放与电视机当前节目对应的音频信号；定向消音设备，与所述扬声器和所述图像解析设备分别连接，用于在所述扬声器的音频信号在播放之前，对所述扬声器的音频信号进行基于所述当前观众方向的定向消音处理。通过本发明，能够避免外部消音设备对室内面积的占用，提高观众的观看效果以及电视的播放效果。

Description

图像识别式消音播放控制系统

技术领域

本发明涉及图像识别领域，尤其涉及一种图像识别式消音播放控制系统。

背景技术

图像识别是人工智能的一个重要领域。为了编制模拟人类图像识别活动的计算机程序，人们提出了不同的图像识别模型。例如模板匹配模型。这种模型认为，识别某个图像，必须在过去的经验中有这个图像的记忆模式，又叫模板。当前的刺激如果能与大脑中的模板相匹配，这个图像也就被识别了。例如有一个字母A,如果在脑中有个A模板,字母A的大小、方位、形状都与这个A模板完全一致,字母A就被识别了。这个模型简单明了，也容易得到实际应用。但这种模型强调图像必须与脑中的模板完全符合才能加以识别，而事实上人不仅能识别与脑中的模板完全一致的图像，也能识别与模板不完全一致的图像。例如,人们不仅能识别某一个具体的字母A,也能识别印刷体的、手写体的、方向不正、大小不同的各种字母A。同时,人能识别的图像是大量的，如果所识别的每一个图像在脑中都有一个相应的模板，也是不可能的。

为了解决模板匹配模型存在的问题，格式塔心理学家又提出了一个原型匹配模型。这种模型认为，在长时记忆中存储的并不是所要识别的无数个模板，而是图像的某些“相似性”。从图像中抽象出来的“相似性”就可作为原型，拿它来检验所要识别的图像。如果能找到一个相似的原型，这个图像也就被识别了。这种模型从神经上和记忆探寻的过程上来看，都比模板匹配模型更适宜，而且还能说明对一些不规则的，但某些方面与原型相似的图像的识别。但是，这种模型没有说明人是怎样对相似的刺激进行辨别和加工的，它也难以在计算机程序中得到实现。因此又有人提出了一个更复杂的模型，即“泛魔”识别模型。

一般工业使用中，采用工业相机拍摄图片，然后利用软件根据图片灰阶差做处理后识别出有用信息，图像识别软件国外代表的有康耐视等，国内代表的有图智能等。

发明内容

本发明提供了一种图像识别式消音播放控制系统，能够基于所述观众碎片在所述识别图像中的位置确定观众相对于电视机的当前方向以作为当前观众方向，并在电视机中引入了定向消音设备，对扬声器的音频信号进行基于当前观众方向的定向消音处理包括：将音频信号中与当前观众方向不匹配的声道信息消除，将音频信号中与当前观众方向匹配的声道信息增强。

根据本发明的一方面，提供了一种图像识别式消音播放控制系统，所述系统包括：

图像解析设备，设置在电视机外壳内，与所述目标分析设备连接，用于接收观众碎片和拟合处理图像，并基于所述观众碎片在所述识别图像中的位置确定观众相对于电视机的当前方向以作为当前观众方向输出；

扬声器，设置在电视机外壳内，用于向外播放与电视机当前节目对应的音频信号；

定向消音设备，设置在电视机外壳内，与所述扬声器和所述图像解析设备分别连接，用于在所述扬声器的音频信号在播放之前，对所述扬声器的音频信号进行基于所述当前观众方向的定向消音处理，并将定向消音处理后的音频信号发送给所述扬声器，以便于所述扬声器播放，在所述定向消音设备中，对所述扬声器的音频信号进行基于所述当前观众方向的定向消音处理包括：将所述音频信号中与所述当前观众方向不匹配的声道信息消除，将所述音频信号中与所述当前观众方向匹配的声道信息增强；

目标分析设备，设置在电视机外壳内，与图像组合设备连接，用于接收拟合处理图像，并对所述拟合处理图像执行基于人体灰度值分布范围的人体像素点搜索，并将所述拟合处理图像中所有的人体像素点组合成的图像碎片作为观众碎片输出；

定时数据捕获设备，设置在电视机外壳上，用于对电视机周围环境进行定时数据捕获，以输出时间上连续的多帧周围环境影像。

基于上述内容，本发明具有以下四个关键发明点：

(1)采用归一化处理的方式，减少图像数据的运算量，采用多帧判断模式，提高了判断的精度；

(2)基于G数值与图像亮度的对应关系，构造了基于图像数据统计的高效图像亮度分析机制；

(3)基于已采集图像的统计结果，确定对图像进行分区平滑的区域分割数量，以及实现平滑处理的分区域处理，从而不断提高图像平滑处理的自我学习能力；

(4)在电视机的扬声器发声之前，对声音进行定向消音处理以及定向增强处理，从而避免了外部消音设备对室内面积的占用，提高观众的观看效果。

附图说明

以下将结合附图对本发明的实施方案进行描述，其中：

图1为根据本发明实施方案示出的图像识别式消音播放控制系统的结构示意图。

具体实施方式

下面将参照附图对本发明的图像识别式消音播放控制系统的实施方案进行详细说明。

当前，电视机的发音方向是固定的，根据为电视机配置的音量播放设备的特性而专门设计的，在设计时并没有考虑到现实中观众的方位，由于现有硬件的限制，也不可能基于现实中观众的方位实现基于当前观众方向的定向消音处理以及基于非观众方向的定向增音处理。

然而，在实际观看中，非观众方向的音频播放是无效的，不仅仅浪费了播放功率，增加了电力损耗，而且对于非观众方向的其他人员造成听觉上的干扰。现有技术中缺乏对电视机播放系统的优化方案，导致仍只能维持现有的固定模式的声音播放。

为了克服上述不足，本发明搭建了一种图像识别式消音播放控制系统。

图1为根据本发明实施方案示出的图像识别式消音播放控制系统的结构示意图，所述系统包括：

图像解析设备，设置在电视机外壳1内，与所述目标分析设备连接，用于接收观众碎片和拟合处理图像，并基于所述观众碎片在所述识别图像中的位置确定观众相对于电视机的当前方向以作为当前观众方向输出；

扬声器3，设置在电视机外壳内，用于向外播放与电视机当前节目对应的音频信号；

定向消音设备，设置在电视机外壳内，与所述扬声器和所述图像解析设备分别连接，用于在所述扬声器的音频信号在播放之前，对所述扬声器的音频信号进行基于所述当前观众方向的定向消音处理，并将定向消音处理后的音频信号发送给所述扬声器，以便于所述扬声器播放，在所述定向消音设备中，对所述扬声器的音频信号进行基于所述当前观众方向的定向消音处理包括：将所述音频信号中与所述当前观众方向不匹配的声道信息消除，将所述音频信号中与所述当前观众方向匹配的声道信息增强；

目标分析设备，设置在电视机外壳内，与图像组合设备连接，用于接收拟合处理图像，并对所述拟合处理图像执行基于人体灰度值分布范围的人体像素点搜索，并将所述拟合处理图像中所有的人体像素点组合成的图像碎片作为观众碎片输出；

定时数据捕获设备2，设置在电视机外壳上，用于对电视机周围环境进行定时数据捕获，以输出时间上连续的多帧周围环境影像；

单帧检测设备，与所述定时数据捕获设备连接，用于接收时间上连续的预设帧数的多帧周围环境影像，对每一帧周围环境影像执行以下处理：对所述周围环境影像中的每一个像素点的R、G、B数值进行归一化处理，以将所述周围环境影像中的每一个像素点的R、G、B数值都归一化调整到0到10的数值区间内，以获得并输出调整后R数值、调整后G数值和调整后B数值，针对每一个像素点，将10减去调整后G数值以获得第一提取数据，将10减去调整后R数值以获得第二提取数据，将10减去调整后B数值以获得第三提取数据，将所述第二提取数据和所述第三提取数据的乘积除以所述第一提取数据以获得数据运算结果，取各个像素点的数据运算结果的平均值以作为比较因子；

多帧判断设备，与所述单帧检测设备连接，用于接收每一帧周围环境影像的比较因子，累计多帧周围环境影像的比较因子，并将累计结果除以预设帧数以获得并输出待分析因子；

信号判断设备，与所述多帧判断设备连接，用于当所述待分析因子小于预设比例阈值时，输出弱背景光信号，当所述待分析因子大于等于预设比例阈值时，确定所述周围环境影像为强背景光信号；

分区平滑设备，分别与所述定时数据捕获设备和所述信号判断设备连接，用于在所述信号判断设备完成信号判断后，接收所述待分析因子以及最新一帧周围环境影像，基于所述待分析因子确定对所述最新一帧周围环境影像切割得到的区域数量，基于所述区域数据对所述最新一帧周围环境影像进行区域切割处理，以获得多个图像区域，以及还基于每一个图像区域自身的不规则度确定对所述图像区域执行图像平滑的力度，以获得并输出多个已处理图像区域；

图像组合设备，与所述分区平滑设备连接，用于接收所述多个已处理图像区域，并将所述多个已处理图像区域进行图像组合处理以获得组合图像，以及将所述组合图像执行拟合处理以获得拟合处理图像。

接着，继续对本发明的图像识别式消音播放控制系统的具体结构进行进一步的说明。

所述图像识别式消音播放控制系统中还可以包括：

定时设备，设置在电视机外壳内，与所述定时数据捕获设备连接；

其中，所述定时设备用于在所述定时数据捕获设备对电视机周围环境进行定时数据捕获时，为所述定时数据捕获设备提供定时参考数据。

在所述图像识别式消音播放控制系统中：

在所述信号判断设备中，所述预设比例阈值是预先对基准照明环境下多个不同场景拍摄的多个基准图像进行像素点分析所获得的选定阈值。

在所述图像识别式消音播放控制系统中：

在所述分区平滑设备中，所述待分析因子越小，对所述周围环境影像切割得到的区域数量越多；

以及，在所述分区平滑设备中，对所述周围环境影像切割得到的区域数量大于等于所述周围环境影像的像素点总数的四分之一。

同时，根据本发明实施方案示出的图像识别式消音播放控制方法包括：

使用图像解析设备，设置在电视机外壳内，与所述目标分析设备连接，用于接收观众碎片和拟合处理图像，并基于所述观众碎片在所述识别图像中的位置确定观众相对于电视机的当前方向以作为当前观众方向输出；

使用扬声器，设置在电视机外壳内，用于向外播放与电视机当前节目对应的音频信号；

使用定向消音设备，设置在电视机外壳内，与所述扬声器和所述图像解析设备分别连接，用于在所述扬声器的音频信号在播放之前，对所述扬声器的音频信号进行基于所述当前观众方向的定向消音处理，并将定向消音处理后的音频信号发送给所述扬声器，以便于所述扬声器播放，在所述定向消音设备中，对所述扬声器的音频信号进行基于所述当前观众方向的定向消音处理包括：将所述音频信号中与所述当前观众方向不匹配的声道信息消除，将所述音频信号中与所述当前观众方向匹配的声道信息增强；

使用目标分析设备，设置在电视机外壳内，与图像组合设备连接，用于接收拟合处理图像，并对所述拟合处理图像执行基于人体灰度值分布范围的人体像素点搜索，并将所述拟合处理图像中所有的人体像素点组合成的图像碎片作为观众碎片输出；

使用定时数据捕获设备，设置在电视机外壳上，用于对电视机周围环境进行定时数据捕获，以输出时间上连续的多帧周围环境影像；

使用单帧检测设备，与所述定时数据捕获设备连接，用于接收时间上连续的预设帧数的多帧周围环境影像，对每一帧周围环境影像执行以下处理：对所述周围环境影像中的每一个像素点的R、G、B数值进行归一化处理，以将所述周围环境影像中的每一个像素点的R、G、B数值都归一化调整到0到10的数值区间内，以获得并输出调整后R数值、调整后G数值和调整后B数值，针对每一个像素点，将10减去调整后G数值以获得第一提取数据，将10减去调整后R数值以获得第二提取数据，将10减去调整后B数值以获得第三提取数据，将所述第二提取数据和所述第三提取数据的乘积除以所述第一提取数据以获得数据运算结果，取各个像素点的数据运算结果的平均值以作为比较因子；

使用多帧判断设备，与所述单帧检测设备连接，用于接收每一帧周围环境影像的比较因子，累计多帧周围环境影像的比较因子，并将累计结果除以预设帧数以获得并输出待分析因子；

使用信号判断设备，与所述多帧判断设备连接，用于当所述待分析因子小于预设比例阈值时，输出弱背景光信号，当所述待分析因子大于等于预设比例阈值时，确定所述周围环境影像为强背景光信号；

使用分区平滑设备，分别与所述定时数据捕获设备和所述信号判断设备连接，用于在所述信号判断设备完成信号判断后，接收所述待分析因子以及最新一帧周围环境影像，基于所述待分析因子确定对所述最新一帧周围环境影像切割得到的区域数量，基于所述区域数据对所述最新一帧周围环境影像进行区域切割处理，以获得多个图像区域，以及还基于每一个图像区域自身的不规则度确定对所述图像区域执行图像平滑的力度，以获得并输出多个已处理图像区域；

使用图像组合设备，与所述分区平滑设备连接，用于接收所述多个已处理图像区域，并将所述多个已处理图像区域进行图像组合处理以获得组合图像，以及将所述组合图像执行拟合处理以获得拟合处理图像。

接着，继续对本发明的图像识别式消音播放控制方法的具体步骤进行进一步的说明。

所述图像识别式消音播放控制方法还可以包括：

使用定时设备，设置在电视机外壳内，与所述定时数据捕获设备连接；

其中，所述定时设备用于在所述定时数据捕获设备对电视机周围环境进行定时数据捕获时，为所述定时数据捕获设备提供定时参考数据。

所述图像识别式消音播放控制方法中：

在所述信号判断设备中，所述预设比例阈值是预先对基准照明环境下多个不同场景拍摄的多个基准图像进行像素点分析所获得的选定阈值。

所述图像识别式消音播放控制方法中：

在所述分区平滑设备中，所述待分析因子越小，对所述周围环境影像切割得到的区域数量越多；

以及，在所述分区平滑设备中，对所述周围环境影像切割得到的区域数量大于等于所述周围环境影像的像素点总数的四分之一。

另外，所述图像识别式消音播放控制方法还可以包括ZigBee通信设备，与所述图像解析设备连接，用于获取所述当前观众方向，并通过ZigBee通信链路发送所述当前观众方向给收视分析中心，以便于收视分析中心进行数据分析。

ZigBee是基于IEEE802.15.4标准的低功耗局域网协议。根据国际标准规定，ZigBee技术是一种短距离、低功耗的无线通信技术。这一名称(又称紫蜂协议)来源于蜜蜂的八字舞，由于蜜蜂(bee)是靠飞翔和“嗡嗡”(zig)地抖动翅膀的“舞蹈”来与同伴传递花粉所在方位信息，也就是说蜜蜂依靠这样的方式构成了群体中的通信网络。其特点是近距离、低复杂度、自组织、低功耗、低数据速率。主要适合用于自动控制和远程控制领域，可以嵌入各种设备。简而言之，ZigBee就是一种便宜的，低功耗的近距离无线组网通讯技术。

采用本发明的图像识别式消音播放控制系统，针对现有技术中电视机声音播放模式固化的技术问题，通过采用归一化处理的方式，减少图像数据的运算量，采用多帧判断模式，提高了判断的精度，基于G数值与图像亮度的对应关系，构造了基于图像数据统计的高效图像亮度分析机制，从而提高观众所在方向判断的精度，更为重要的是，还在电视机的扬声器发声之前，对声音进行定向消音处理以及定向增强处理。

可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (4)

1.一种图像识别式消音播放控制系统，其特征在于，所述系统包括：

图像解析设备，设置在电视机外壳内，与所述目标分析设备连接，用于接收观众碎片和拟合处理图像，并基于所述观众碎片在所述识别图像中的位置确定观众相对于电视机的当前方向以作为当前观众方向输出；

扬声器，设置在电视机外壳内，用于向外播放与电视机当前节目对应的音频信号；

定向消音设备，设置在电视机外壳内，与所述扬声器和所述图像解析设备分别连接，用于在所述扬声器的音频信号在播放之前，对所述扬声器的音频信号进行基于所述当前观众方向的定向消音处理，并将定向消音处理后的音频信号发送给所述扬声器，以便于所述扬声器播放，在所述定向消音设备中，对所述扬声器的音频信号进行基于所述当前观众方向的定向消音处理包括：将所述音频信号中与所述当前观众方向不匹配的声道信息消除，将所述音频信号中与所述当前观众方向匹配的声道信息增强；

目标分析设备，设置在电视机外壳内，与图像组合设备连接，用于接收拟合处理图像，并对所述拟合处理图像执行基于人体灰度值分布范围的人体像素点搜索，并将所述拟合处理图像中所有的人体像素点组合成的图像碎片作为观众碎片输出；

定时数据捕获设备，设置在电视机外壳上，用于对电视机周围环境进行定时数据捕获，以输出时间上连续的多帧周围环境影像；

单帧检测设备，与所述定时数据捕获设备连接，用于接收时间上连续的预设帧数的多帧周围环境影像，对每一帧周围环境影像执行以下处理：对所述周围环境影像中的每一个像素点的R、G、B数值进行归一化处理，以将所述周围环境影像中的每一个像素点的R、G、B数值都归一化调整到0到10的数值区间内，以获得并输出调整后R数值、调整后G数值和调整后B数值，针对每一个像素点，将10减去调整后G数值以获得第一提取数据，将10减去调整后R数值以获得第二提取数据，将10减去调整后B数值以获得第三提取数据，将所述第二提取数据和所述第三提取数据的乘积除以所述第一提取数据以获得数据运算结果，取各个像素点的数据运算结果的平均值以作为比较因子；

多帧判断设备，与所述单帧检测设备连接，用于接收每一帧周围环境影像的比较因子，累计多帧周围环境影像的比较因子，并将累计结果除以预设帧数以获得并输出待分析因子；

信号判断设备，与所述多帧判断设备连接，用于当所述待分析因子小于预设比例阈值时，输出弱背景光信号，当所述待分析因子大于等于预设比例阈值时，确定所述周围环境影像为强背景光信号；

分区平滑设备，分别与所述定时数据捕获设备和所述信号判断设备连接，用于在所述信号判断设备完成信号判断后，接收所述待分析因子以及最新一帧周围环境影像，基于所述待分析因子确定对所述最新一帧周围环境影像切割得到的区域数量，基于所述区域数据对所述最新一帧周围环境影像进行区域切割处理，以获得多个图像区域，以及还基于每一个图像区域自身的不规则度确定对所述图像区域执行图像平滑的力度，以获得并输出多个已处理图像区域；

图像组合设备，与所述分区平滑设备连接，用于接收所述多个已处理图像区域，并将所述多个已处理图像区域进行图像组合处理以获得组合图像，以及将所述组合图像执行拟合处理以获得拟合处理图像。

2.如权利要求1所述的图像识别式消音播放控制系统，其特征在于，还包括：

定时设备，设置在电视机外壳内，与所述定时数据捕获设备连接；

其中，所述定时设备用于在所述定时数据捕获设备对电视机周围环境进行定时数据捕获时，为所述定时数据捕获设备提供定时参考数据。

3.如权利要求1所述的图像识别式消音播放控制系统，其特征在于：

在所述信号判断设备中，所述预设比例阈值是预先对基准照明环境下多个不同场景拍摄的多个基准图像进行像素点分析所获得的选定阈值。

4.如权利要求1-3任一所述的图像识别式消音播放控制系统，其特征在于：

在所述分区平滑设备中，所述待分析因子越小，对所述周围环境影像切割得到的区域数量越多；

以及，在所述分区平滑设备中，对所述周围环境影像切割得到的区域数量大于等于所述周围环境影像的像素点总数的四分之一。