CN108573493B - 镜片反射图像大数据分析系统 - Google Patents

Abstract

本发明涉及一种镜片反射图像大数据分析系统，包括：手动输入设备，设置在移动播放终端的侧面，用于根据用户的操作，输入眼镜用户信号或输入非眼镜用户信号；前置摄像头，设置在移动播放终端的前面板上，与所述手动输入设备连接，用于在接收到所述眼镜用户信号时，对所述移动播放终端的前方景象进行图像捕获，以获得即时前方图像，并输出所述即时前方图像；直方图均衡设备，位于大数据处理端，与所述前置摄像头连接，用于接收所述即时前方图像，对所述即时前方图像执行亮度直方图均衡处理，以获得并输出亮度均衡图像。通过本发明，能够降低移动播放终端的播放功耗和播放温度。

Description

镜片反射图像大数据分析系统

技术领域

本发明涉及大数据领域，尤其涉及一种镜片反射图像大数据分析系统。

背景技术

大数据的世界不只是一个单一的、巨大的计算机网络，而是一个由大量活动构件与多元参与者元素所构成的生态系统，终端设备提供商、基础设施提供商、网络服务提供商、网络接入服务提供商、数据服务使能者、数据服务提供商、触点服务、数据服务零售商等等一系列的参与者共同构建的生态系统。而今，这样一套数据生态系统的基本雏形已然形成，接下来的发展将趋向于系统内部角色的细分，也就是市场的细分；系统机制的调整，也就是商业模式的创新；系统结构的调整，也就是竞争环境的调整等等，从而使得数据生态系统复合化程度逐渐增强。目前大数据分析已经应用到各种领域中。

随着互联网技术的进步和硬件水平的提高，各种移动播放终端进入千家万户。目前，移动播放终端的最主要的功能在于播放各种视频内容，提高用户的视觉体验，为用户提供舒适的视听享受环境。

然而，由于网络的原因或者移动播放终端的软硬件的原因，或者视频源的原因，移动播放终端的视频播放过程中经常出现卡顿现象，卡顿现象严重影响了人们的视觉体验，因此，需要检测出卡顿现象并进行相应的故障排除。

现有技术中，对上述卡顿现象的检测是在移动播放终端的后台进行，只要相关视频一播放，立即启动相关的卡顿检测处理，这样，导致移动播放终端在播放视频内容时，耗电量非常高，带来硬件温度的上升以及运算量的相应增加。

为了解决上述问题，本发明提供了一种镜片反射图像大数据分析系统，借助眼镜用户的镜片反射图像原理，实现对卡顿现象的触发检测，以替换不间断的检测模式，同时，在检测到卡顿现象时，采用有针对性的图像处理模式，识别出问题帧并进行相应的替换。

发明内容

根据本发明的一方面，提供了一种镜片反射图像大数据分析系统，所述系统包括：

手动输入设备，设置在移动播放终端的侧面，用于根据用户的操作，输入眼镜用户信号或输入非眼镜用户信号；

前置摄像头，设置在移动播放终端的前面板上，与所述手动输入设备连接，用于在接收到所述眼镜用户信号时，对所述移动播放终端的前方景象进行图像捕获，以获得即时前方图像，并输出所述即时前方图像；

直方图均衡设备，位于大数据处理端，与所述前置摄像头连接，用于接收所述即时前方图像，对所述即时前方图像执行亮度直方图均衡处理，以获得并输出亮度均衡图像；

边缘检测设备，与所述直方图均衡设备连接，用于接收所述亮度均衡图像，对所述亮度均衡图像中的每一个像素点进行边缘判断，以确定该像素点是否为边缘像素点；

图形拟合处理设备，与所述边缘检测设备连接，用于接收所述亮度均衡图像中的各个边缘像素点，将所述各个边缘像素点在所述亮度均衡图像中组成的各个图形进行拟合处理，以获得一个或多个拟合后图案；

外形辨识设备，与所述图形拟合处理设备连接，用于接收所述亮度均衡图像以及所述一个或多个拟合后图案，并将每一个拟合后图案与预设基准镜片图案进行比较，以确定二者的吻合程度，将与预设基准镜片图案吻合程度最高的拟合后图案作为镜片确认图案；

卡顿分析设备，与所述外形辨识设备连接，用于接收所述镜片确认图案，对所述镜片确认图案中的移动播放终端的播放屏幕方框进行识别，以确定识别到的播放屏幕方框内的内容显示外观，并在所述内容显示外观中存在马赛克情况时，发出卡顿识别信号，以及在所述内容显示外观中不存在马赛克情况时，发出无卡顿信号。

因此，本发明至少具有以下三个重要发明点：

(1)借助眼镜用户的镜片反射图像原理，通过对镜片反射图像的图像处理和辨识，获取眼镜用户当前观看的移动播放终端的屏幕内容，以便于进一步辨识所述屏幕内容是否出现卡顿情况，从而启动后续的播放流的分析处理，避免了一直对播放流进行分析处理而引起的移动播放终端的功耗的增加和温度的上升；

(2)在出现问题帧的情况下，基于后续数帧的图像内容获得问题帧的替换内容，从而不影响用户的观看体验；

(3)通过提取图像的各列的特征值，进行基于各列的特征值的均方差分析，并在均方差过大即图像内容在列方向变化过于剧烈时，判断所述图像存在内容偏差。

附图说明

以下将结合附图对本发明的实施方案进行描述，其中：

图1为根据本发明实施方案示出的镜片反射图像大数据分析系统的前置摄像头的结构示意图。

具体实施方式

下面将参照附图对本发明的镜片反射图像大数据分析系统的实施方案进行详细说明。

为了克服上述不足，本发明搭建了一种镜片反射图像大数据分析系统，有效降低了播放系统的功耗。

根据本发明实施方案的镜片反射图像大数据分析系统包括：

手动输入设备，设置在移动播放终端的侧面，用于根据用户的操作，输入眼镜用户信号或输入非眼镜用户信号；

如图1所示，前置摄像头，设置在移动播放终端的前面板上，与所述手动输入设备连接，用于在接收到所述眼镜用户信号时，对所述移动播放终端的前方景象进行图像捕获，以获得即时前方图像，并输出所述即时前方图像；

直方图均衡设备，位于大数据处理端，与所述前置摄像头连接，用于接收所述即时前方图像，对所述即时前方图像执行亮度直方图均衡处理，以获得并输出亮度均衡图像。

接着，继续对本发明的镜片反射图像大数据分析系统的具体结构进行进一步的说明。

在所述镜片反射图像大数据分析系统中，还包括：

边缘检测设备，与所述直方图均衡设备连接，用于接收所述亮度均衡图像，对所述亮度均衡图像中的每一个像素点进行边缘判断，以确定该像素点是否为边缘像素点；

图形拟合处理设备，与所述边缘检测设备连接，用于接收所述亮度均衡图像中的各个边缘像素点，将所述各个边缘像素点在所述亮度均衡图像中组成的各个图形进行拟合处理，以获得一个或多个拟合后图案；

外形辨识设备，与所述图形拟合处理设备连接，用于接收所述亮度均衡图像以及所述一个或多个拟合后图案，并将每一个拟合后图案与预设基准镜片图案进行比较，以确定二者的吻合程度，将与预设基准镜片图案吻合程度最高的拟合后图案作为镜片确认图案；

卡顿分析设备，与所述外形辨识设备连接，用于接收所述镜片确认图案，对所述镜片确认图案中的移动播放终端的播放屏幕方框进行识别，以确定识别到的播放屏幕方框内的内容显示外观，并在所述内容显示外观中存在马赛克情况时，发出卡顿识别信号，以及在所述内容显示外观中不存在马赛克情况时，发出无卡顿信号；

抓流处理设备，与所述卡顿分析设备连接，用于在接收到所述卡顿识别信号时，从所述移动播放终端的播放码流中抓取后续播放帧，并输出后续播放帧；

内容解析设备，与所述抓流处理设备连接，用于在接收所述后续播放帧之后，对所述后续播放帧中每一列的各个像素点的红色颜色值进行求均值计算，以获得每一列的颜色均值，并输出所述每一列的颜色均值；

内容匹配设备，与所述内容解析设备连接，用于接收所述后续播放帧中的各列的颜色均值，并计算所述各列的颜色均值的均方差，当获得的均方差大于等于预设限量时，发出图像插值请求，还用于当获得的均方差小于预设限量时，发出正常播放请求；

图像替换设备，与所述内容匹配设备连接，用于在接收到所述图像插值请求时，触发所述抓流处理设备抓取所述后续播放帧的后方三帧图像以基于所述后方三帧图像获取所述后续播放帧的替换播放帧，以将所述替换播放帧发送到所述移动播放终端的播放缓存中，以替换所述后续播放帧。

在所述镜片反射图像大数据分析系统中：

所述图像替换设备还用于在接收到所述正常播放请求时，直接将所述后续播放帧发送到所述移动播放终端的播放缓存中。

在所述镜片反射图像大数据分析系统中：

所述前置摄像头还用于在接收到所述非眼镜用户信号时，中断对所述即时前方图像的图像捕获。

在所述镜片反射图像大数据分析系统中：

所述手动输入设备为上下可移动式滑块，当用户向上拨动所述上下可移动式滑块时，输入眼镜用户信号，当用户向下拨动所述上下可移动式滑块时，输入非眼镜用户信号。

在所述镜片反射图像大数据分析系统中，还包括：

播放缓存，设置在所述移动播放终端的集成电路板上，与所述移动播放终端的播放屏幕连接；

其中，所述播放缓存用于缓存即将由所述移动播放终端的播放屏幕播放的时间上连续的各帧图像。

另外，在所述镜片反射图像大数据分析系统中，所述前置摄像头还内置滤波器，用于根据用户的操作，确定是否对所述前置摄像头获取的即时前方图像进行输出前的滤波操作。

滤波器，顾名思义，是对波进行过滤的器件。“波”是一个非常广泛的物理概念，在电子技术领域，“波”被狭义地局限于特指描述各种物理量的取值随时间起伏变化的过程。该过程通过各类传感器的作用，被转换为电压或电流的时间函数，称之为各种物理量的时间波形，或者称之为信号。因为自变量时间是连续取值的，所以称之为连续时间信号，又习惯地称之为模拟信号。

随着数字式电子计算机技术的产生和飞速发展，为了便于计算机对信号进行处理，产生了在抽样定理指导下将连续时间信号变换成离散时间信号的完整的理论和方法。也就是说，可以只用原模拟信号在一系列离散时间坐标点上的样本值表达原始信号而不丢失任何信息，波、波形、信号这些概念既然表达的是客观世界中各种物理量的变化，自然就是现代社会赖以生存的各种信息的载体。信息需要传播，靠的就是波形信号的传递。信号在它的产生、转换、传输的每一个环节都可能由于环境和干扰的存在而畸变，甚至是在相当多的情况下，这种畸变还很严重，导致信号及其所携带的信息被深深地埋在噪声当中了。为了滤除这些噪声，恢复原本的信号，需要使用各种滤波器进行滤波处理。

采用本发明的镜片反射图像大数据分析系统，针对现有技术中移动播放终端卡顿检测不间断的技术问题，通过提取图像的各列的特征值，进行基于各列的特征值的均方差分析，并在均方差过大即图像内容在列方向变化过于剧烈时，判断所述图像存在内容偏差，借助眼镜用户的镜片反射图像原理，通过对镜片反射图像的图像处理和辨识，获取眼镜用户当前观看的移动播放终端的屏幕内容，以便于进一步辨识所述屏幕内容是否出现卡顿情况，从而启动后续的播放流的分析处理，避免了一直对播放流进行分析处理而引起的移动播放终端的功耗的增加和温度的上升，同时，在出现问题帧的情况下，基于后续数帧的图像内容获得问题帧的替换内容，从而不影响用户的观看体验。

可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (4)

1.一种镜片反射图像大数据分析系统，其特征在于，包括：

手动输入设备，设置在移动播放终端的侧面，用于根据用户的操作，输入眼镜用户信号或输入非眼镜用户信号；

前置摄像头，设置在移动播放终端的前面板上，与所述手动输入设备连接，用于在接收到所述眼镜用户信号时，对所述移动播放终端的前方景象进行图像捕获，以获得即时前方图像，并输出所述即时前方图像；

直方图均衡设备，位于大数据处理端，与所述前置摄像头连接，用于接收所述即时前方图像，对所述即时前方图像执行亮度直方图均衡处理，以获得并输出亮度均衡图像；

边缘检测设备，与所述直方图均衡设备连接，用于接收所述亮度均衡图像，对所述亮度均衡图像中的每一个像素点进行边缘判断，以确定该像素点是否为边缘像素点；

图形拟合处理设备，与所述边缘检测设备连接，用于接收所述亮度均衡图像中的各个边缘像素点，将所述各个边缘像素点在所述亮度均衡图像中组成的各个图形进行拟合处理，以获得一个或多个拟合后图案；

外形辨识设备，与所述图形拟合处理设备连接，用于接收所述亮度均衡图像以及所述一个或多个拟合后图案，并将每一个拟合后图案与预设基准镜片图案进行比较，以确定二者的吻合程度，将与预设基准镜片图案吻合程度最高的拟合后图案作为镜片确认图案；

卡顿分析设备，与所述外形辨识设备连接，用于接收所述镜片确认图案，对所述镜片确认图案中的移动播放终端的播放屏幕方框进行识别，以确定识别到的播放屏幕方框内的内容显示外观，并在所述内容显示外观中存在马赛克情况时，发出卡顿识别信号，以及在所述内容显示外观中不存在马赛克情况时，发出无卡顿信号；

抓流处理设备，与所述卡顿分析设备连接，用于在接收到所述卡顿识别信号时，从所述移动播放终端的播放码流中抓取后续播放帧，并输出后续播放帧；

内容解析设备，与所述抓流处理设备连接，用于在接收所述后续播放帧之后，对所述后续播放帧中每一列的各个像素点的红色颜色值进行求均值计算，以获得每一列的颜色均值，并输出所述每一列的颜色均值；

内容匹配设备，与所述内容解析设备连接，用于接收所述后续播放帧中的各列的颜色均值，并计算所述各列的颜色均值的均方差，当获得的均方差大于等于预设限量时，发出图像插值请求，还用于当获得的均方差小于预设限量时，发出正常播放请求；

图像替换设备，与所述内容匹配设备连接，用于在接收到所述图像插值请求时，触发所述抓流处理设备抓取所述后续播放帧的后方三帧图像以基于所述后方三帧图像获取所述后续播放帧的替换播放帧，以将所述替换播放帧发送到所述移动播放终端的播放缓存中，以替换所述后续播放帧。

2.如权利要求1所述的镜片反射图像大数据分析系统，其特征在于：

所述图像替换设备还用于在接收到所述正常播放请求时，直接将所述后续播放帧发送到所述移动播放终端的播放缓存中。

3.如权利要求2所述的镜片反射图像大数据分析系统，其特征在于：

所述前置摄像头还用于在接收到所述非眼镜用户信号时，中断对所述即时前方图像的图像捕获。

4.如权利要求3所述的镜片反射图像大数据分析系统，其特征在于：

所述手动输入设备为上下可移动式滑块，当用户向上拨动所述上下可移动式滑块时，输入眼镜用户信号，当用户向下拨动所述上下可移动式滑块时，输入非眼镜用户信号。