CN111429376A - 高低精度融合的高效数字图像处理方法 - Google Patents

Abstract

本发明实施例公开了一种高低精度融合的高效数字图像处理方法，包括采集视频信息，按照原始采样频率截取数字图像，处理后得灰度化的降噪图像；计算降噪图像中像素的灰度值与经灰度化降噪处理的基准图像中对应像素的灰度值之间的绝对差值，得绝对差值矩阵；将绝对差值矩阵中的元素与差值阈值比较，若元素大于差值阈值，元素被赋予第一元素值，反之元素被赋予第二元素值，得到赋值矩阵；计算赋值矩阵中元素平均值，若元素平均值大于均值阈值，则对数字图像进行高精度图像处理。本发明先使用低精度图像识别，以检测目标的存在性，后只对敏感范围调用高精度识别处理，有效跳过无效的视频帧，有效提高识别速度，合理分配系统资源，节省算力。

Description

高低精度融合的高效数字图像处理方法

技术领域

本发明实施例涉及数字图像处理技术领域，具体涉及一种高低精度融合的高效数字图像处理方法。

背景技术

随着安防监控科技的发展，对于传统行业从施工安全到工作效率均具有全面的促进。而煤矿安全更是重中之重，由于其施工面广、危险程度高、涉及人员多等特点，因此特别需要安防监控技术的辅助。

现有的民爆作业现场以及矿山现场多使用大量的摄像头与人工关卡结合，而摄像头的作用仅是采集区域视频图像，并集中管控，投到一个大屏幕上，安排中控人员实时关注屏幕，并发现违章。这种方式需要依赖人程度、专业水平过高、效率低、出错率高。而且屏幕有限，随着摄像头越来越多，屏幕以无法满足同时展示监控内容的需求。因此智能图像识别技术的需求越来越高。

现有的图像处理技术均是通过高精度识别处理每张数字图像，以识别数字图像中存在什么目标物，占用系统算力高、效率低。由于民爆项目面积大、摄像头数量多，因此需要同时处理大量图像信息，这对系统的要求很高，因此需要一种能够降低系统运算成本的技术。

发明内容

为此，本发明实施例提供一种高低精度融合的高效数字图像处理方法，以解决现有技术中由于现有技术运算成本大而导致效率低、无法及时发现问题的问题。

为了实现上述目的，本发明的实施方式提供如下技术方案：

一种高低精度融合的高效数字图像处理方法，包括如下步骤：

采集检测区域的视频信息，并按照原始采样频率截取视频信息中的数字图像；对数字图像进行灰度处理与降噪处理，得到降噪图像；计算降噪图像中像素的灰度值与经灰度处理与降噪处理后的基准图像中对应像素的灰度值之间的绝对差值，得到绝对差值矩阵；将绝对差值矩阵中的元素与阈值比较，若元素大于阈值，所述元素赋予第一元素值，反之所述元素赋予第二元素值，得到赋值矩阵；计算赋值矩阵的元素平均值，若元素平均值大于均值阈值，则对数字图像进行高精度图像处理，识别候选人信息、位置标识信息及标牌标识信息。

进一步的，所述降噪处理为对数字图像进行归一化的高斯模糊处理；使用二维高斯函数得到数字图像中每个像素点的权重，然后对权重归一化处理，得到已归一化的权重矩阵；使用数字图像中像素的灰度值与已归一化的权重矩阵中对应位置的权值相乘，得到灰度权重矩阵；计算灰度权重矩阵中心点的高斯模糊值，遍历全部像素，得降噪图像。

进一步的，所述二维高斯函数为：

x，y代表像素的二维正态分布坐标，二维正态分布中心为原点；

σ为二维正态分布半径。

进一步的，若元素平均值大于均值阈值，则提升原始采样频率；反之，若元素平均值小于均值阈值，则恢复或维持原始采样频率。

进一步的，所述高精度识别处理之前先对关键帧的数字图像进行灰度处理与高斯平滑去噪，然后采用边缘检测算法提取数字图像中目标轮廓数据，依据轮廓数据库识别目标轮廓数据的轮廓种类，根据轮廓种类选择对应的高精度识别处理。

进一步的，所述高精度识别处理包括人面识别处理，所述人面识别处理的步骤包括：对数字图像进行人脸提取，获得数字图像中人脸区域；对人脸区域进行编码，获得包含脸部的特征向量的脸部编码列表；将脸部编码列表与候选人编码列表的特征向量进行比对，若特征向量的距离在阈值范围之内，则提取所述候选人编码列表对应的候选人信息；反之，若特征向量的距离在阈值范围之外，则换后一个的候选人信息编码列表。

进一步的，所述高精度识别处理包括标识识别处理，所述标识识别处理的步骤包括：提取标识特征包含的标识区域图像；对标识区域图像进行二值化处理，分割标识区域中的字符，得到按顺序排列的字符图像；使用训练好的卷积神经网络模型识别数字图像中的字符组合，得到字符标识，匹配与字符标识对应的位置标识信息或标牌标识信息。

进一步的，所述使用训练好的卷积神经网络模型对字符图像识别包括：先制作字符载体样本；使用字符载体样本对数字图像进行载体样本匹配；若匹配度高于阈值，则调用文字识别软件识别所述数字图像中的字符，并按顺序排列呈字符串，筛选字符串中关键的字符组合。

进一步的，所述视频信息由固定摄像头与非固定摄像头所采集，所述视频信息被采集后会携带摄像头标识；将携带相同摄像头标识的候选人信息与位置标识信息、标牌标识信息与位置标识信息配对，得到候选人定位信息或物定位信息；计算候选人定位信息或物定位信息中两个信息的识别时间差，若识别时间差小于时间差阈值，则将候选人定位信息或物定位信息进行更新。

进一步的，计算绝对差值矩阵之前，先识别数字图像携带的摄像头标识，若摄像头标识属于固定摄像头，则提取预设的基准图像；若摄像头标识属于非固定摄像头，则将上一帧的数字图像设置为基准图像。

根据本发明的实施方式，具有如下优点：

本发明实施例所述的一种高低精度融合的高效数字图像处理方法对视频中待识别的信息，如人脸、车牌、文字等，将对其的识别任务拆分成低精度识别和高精度识别处理两个过程。其中先使用低精度识别待检测目标的存在性，然后只对敏感范围调用高精度识别处理也能有效提高识别速度。如果使用低精度识别无法找到待识别的信息，则可以认为从该视频帧中不能有效提取出需求的敏感信息，对此此类情况，不需要再调用高精度识别处理。另外，当视频帧中待识别物体数量发生了变化(如人脸的数量发生了变化)，则意味着此视频帧中可能出现了高价值的信息(同时也可能是因为已识别完成的高价值信息已消失)，应对每一个待识别物体(例中为人脸)进行高精度识别处理。

使用高低精度组合的方法对视频中的帧进行识别，可以有效跳过无效的视频帧，同时对有效帧的画面进行裁剪，降低高精度识别处理的计算量，提高识别速率。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明的一实施例提供的一种高低精度融合的高效数字图像处理方法的方法流程图。

图2为图1中高精度识别处理的方法流程图。

图3为图2中标识识别处理的方法流程图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

如图1所示，一种高低精度融合的高效数字图像处理方法，包括如下步骤：

采集检测区域的视频信息，并按照原始采样频率截取视频信息中的数字图像；

对数字图像进行灰度处理与降噪处理，得到降噪图像；

计算降噪图像中像素的灰度值与经灰度处理与降噪处理后的基准图像中对应像素的灰度值之间的绝对差值，得到绝对差值矩阵；

将绝对差值矩阵中的元素与差值阈值比较，若元素大于差值阈值，所述元素被赋予第一元素值，反之所述元素被赋予第二元素值，得到赋值矩阵；

计算赋值矩阵中元素平均值，若元素平均值大于均值阈值，则对数字图像进行高精度图像处理，识别候选人信息、位置标识信息及标牌标识信息。

下面结合例子具体说明上述方法的各个步骤：

1、采集管控区域视频信息，截取视频信息中的数字图像。采集方式包括固定区域采集方式与非固定区域采集方式，具体如下：

固定区域采集方式针对固定检测区域安装监控作用的固定摄像头，所述固定摄像头采集固定检测区域内的第一视频信息，从第一视频信息中按照原始采样频率截取数字图像。由于固定区域采集的视频信息，其背景变化是固定的或人为控制的，因此其背景变化相对稳定，背景干扰问题可控，因此仅需要检测是否有目标物进入固定检测区域，原始采样频率较小，采集数字图像较少。本实施例中固定区域采集的原始采样频率优选于30帧/秒，对应的采样间隔为33ms。

非固定区域采集方式针对非固定场景的视频信息采集，如设置在工作人员或巡逻设备身上的非固定摄像头，用于随着工作人员或巡逻设备的移动而灵活采集视频信息，再从该视频信息中按照原始采样频率截取数字图像，以弥补固定摄像头的采集死角。由于非固定摄像头采集的视频信息中图像背景的变化频率较大，存在背景干扰问题，因此需要提高原始采样频率(如35帧/秒，对应的采样间隔为28ms)，以稀释背景变化而带来的干扰。

视频信息中需要高精度识别处理并提取的数字图像均位于关键帧，关键帧与其前帧或后帧的数字图像所包含的图像内容变化较小，因此可以忽略不计，而位于前后两个关键帧的数字图像之间的图像内容往往有较大差别，如从一个背景变换为另一个背景，变换之前帧或变换之后帧的数字图像中背景内容是相对不变的，但背景内容变换过程中采集的前后两帧中后一帧为关键帧，对关键帧的数字图像进行高精度识别处理，而前一帧的数字图像可设为基准图像。

由于固定区域采集方式中所采集数字图像包含的图像内容相对固定，因此可提前将无目标物的数字图像设为基准图像。具体方法为，所述视频信息由固定摄像头与非固定摄像头所采集，所述视频信息被采集后会携带摄像头标识，截取下的数字图像会携带与视频信息相同的摄像头标识。数字图像被上传后根据摄像头标识数据库识别该数字图像所携带的摄像头标识，若摄像头标识属于固定摄像头，则提取预设的基准图像；若摄像头标识属于非固定摄像头，则将关键帧的上一帧数字图像设置为基准图像。基准图像被设置后需要进行灰度处理与降噪处理，得到灰度化降噪的基准图像，参与后续图像处理步骤。

2、对数字图像进行灰度处理与降噪处理，得到灰度化的降噪图像。图像的灰度处理为现有技术，本实施例不再赘述。

所述降噪处理包括高斯模糊处理、开运算降噪处理(即先腐蚀后膨胀)或二者兼有，本实施例中使用前者，即对采集的数字图像进行归一化的高斯模糊处理，得到降噪图像。其中所述归一化的高斯模糊处理通过使用二维高斯函数得到各像素点的权重，所述二维高斯函数为：

x，y代表像素的二维正态分布坐标，二维正态分布中心为原点；

σ为二维正态分布半径。

对每个权重进行归一化处理，用于让滤镜的权重总值等于1；否则使用总值大于1的滤镜会让图像偏亮，而使用总值小于1的滤镜会让图像偏暗，最终得到已归一化的权重矩阵。

提取数字图像中像素的灰度值，并与已归一化的权重矩阵中对应位置的权重相乘，得到灰度权重矩阵，计算灰度权重矩阵中全部数值之和，灰度权重矩阵中的数值之和是权重中心点在高斯模糊之后的灰度值。灰度权重矩阵中其他点的高斯模糊值通过以权重中心点为核心的矩阵重新计算，得到灰度矩阵中心的高斯模糊值，依照该方法遍历全部像素，得到降噪图像。

计算降噪图像中像素的灰度值与经处理后的基准图像中对应像素的灰度值之间的绝对差值，若绝对差值超过差值阈值，则矩阵中对应位置的元素赋予第一元素值为1，反之，元素赋予第二元素值为0，得到由0与1组成的绝对差值矩阵。再计算绝对差值矩阵中全部元素的平均值，得到一个介于0-1之间的元素平均值，若元素平均值超过均值阈值(如均值阈值为0.3)，则认为数字图像中的图像内容进入新的关键区域，则位于该帧为关键帧，位于该帧的数字图像需要进行高精度处理及图像信息提取。若平均值未超过均值阈值(如0.3)，则认为数字图像中的图像内容变化很小，即图像背景稳定或目标物稳定，由于该图像背景或目标物已被高精度识别处理过，此数字图像内的关键信息已被提取完成，无需继续高频率进行高精度识别处理。

3、采集频率调节方法

由于固定区域采集方式与非固定区域采集方式分别依照前述的原始采样频率随机舍弃视频信息中的部分帧，以较低的采样频率获得输入视频中的数字图像。为了减少多余算力的浪费，合理分配系统资源，避免关键帧的丢失，则检测到关键帧后调节采集频率，具体方法为：

若绝对差值矩阵中的元素平均值超过均值阈值，则提升采集数字图像的采样频率(如采样频率与输入视频的采样频率相等)以防止漏过关键信息，对该频率下所采集的数字图像进行高精度处理。

若绝对差值灰度矩阵中元素平均值未超过均值阈值，则降低或维持采样频率，恢复到原始采样频率，使用不同情形下的采样频率，针对性的调节采样频率及图像处理程度，减少多余算力的浪费，合理分配系统资源，在保证图像识别工作质量前提下提高工作效率。

4、高精度识别处理

如图2所示，高精度识别处理包括先识别数字图像中目标物的特定性，对关键帧的数字图像进行灰度处理与高斯平滑去噪，然后采用边缘检测算法(如OpenCV的Canny边缘检测算法)提取目标轮廓数据，如依据国家规定的车牌大小、比例筛选矩形轮廓或安全帽的尺寸筛选人轮廓，然后依据轮廓数据库识别目标轮廓数据所对应的轮廓种类，即人轮廓或物轮廓。若轮廓种类为人轮廓，则对目标轮廓数据内的数字图像进行人面识别处理；若轮廓种类为物轮廓，则对目标轮廓数据内的数字图像进行标识识别处理。使用高低精度组合的方法对视频中的帧进行识别，可以有效跳过无效的视频帧，同时对有效帧的画面进行裁剪，降低高精度识别处理的计算量，提高识别速率。

a、人面识别处理

使用Haar级联分类器等方法，提取目标轮廓数据内的数字图像，获得人脸区域。

对人脸区域进行编码，获得包含脸部的特征向量的脸部编码列表。例如使用dlib标准库，则应获得128维的脸部编码列表，该列表中记录了128个人脸关键点的坐标，包括下巴、眼睛、鼻子、嘴唇等的轮廓。常用的方法有CNN深度学习模型、以及方向梯度直方图<Histogram of Oriented Gradient，HOG>等，其中CNN深度学习模型的识别精度较高，但HOG则运算速度较快。

将脸部编码列表与候选人编码列表的特征向量进行比对，若两个特征向量间的距离在距离阈值范围之内，则提取该候选人编码列表对应的候选人信息；反之，若两个特征向量间的距离在距离阈值范围之外，则换后面的候选人信息编码列表进行比较。

b、标识识别处理

如图3所示，提取目标轮廓数据内的数字图像，对标识区域图像进行二值化处理，分割标识区域中的字符图像，字符图像带有顺序标识，按顺序排列的字符图像，如从左到右，从上到下。

使用训练好的卷积神经网络模型对字符图像识别，具体包括：先制作文字载体样本，文字载体样本包括通知栏、车牌、标示牌等图像样本。使用已制作好的文字载体样本对字符图像匹配，如使用直方图反向投影等方法，由于文字载体种类较少，如白纸、包装用瓦楞纸板、车牌、包装说明等，其色彩空间较小，可通过色彩比对初步筛选字符图像。比对方法为计算字符图像中处于文字载体样本的目标色彩空间中像素个数，将满足条件的像素个数与全体像素个数比较，得到匹配度，若匹配度高于匹配阈值，认为所述字符图像可能为需要识别的标识内容，则调用成熟的文字识别软件(如百度OCR)识别字符图像中的字符信息，将识别的全部字符信息按顺序排列，得到字符串。

最后依据字符组合库寻找字符串中关键的字符组合。字符组合库分为标牌字符库与位置字符库，所述标牌字符库内储存全部车牌、物品包装标牌、人员身上标牌上显示的字符组合，所述位置字符库内储存位置标牌上显示的字符组合，在煤矿、铁矿等井下作业中，每隔一段距离，均会在支撑柱或墙体上设置位置标牌，记录位置信息。根据关键的字符组合所匹配的字符组合库，识别字符组合的信息种类，信息种类为位置标识信息与标牌标识信息，如字符组合为“不能与雷管混装”，则该字符组合为炸药包装的标牌标识信息，又如字符组合为“坐标(32，58)”，则字符组合为位置标识信息。若识别出的字符组合为车牌标识、人员标识，则调取与该字符组合对应的候选人信息。

最后将携带相同摄像头标识的字符组合放在一起配对，包括候选人信息与位置标识信息配对、标牌标识信息与位置标识信息配对，得到候选人定位信息或物定位信息。计算候选人定位信息或物定位信息中两个信息的识别时间差，若识别时间差≤时间差阈值，则将候选人定位信息或物定位信息进行更新，实现对人员或物的定位。若信息对的摄像头标识属于固定摄像头，则时间差阈值为0，如候选人定位信息中，候选人信息的识别时间为20190308：14：30，位置标识信息的识别时间为20190308：14：30，二者的时间差为0分钟，则将该候选人定位信息存入候选人数据库，更新该候选人的定位信息。由于非固定摄像头移动的随意性，不能保证其实施都能采集到包含位置标牌的图像信息，因此若物定位信息的摄像头标识属于非固定摄像头，则本实施例中时间差阈值为5分钟，如候选人定位信息中，候选人信息的识别时间为20190308：14：30，位置标识信息的识别时间为20190308：14：32，二者的时间差为2分钟，则将物定位信息存入物数据库，更新该物的定位信息

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种高低精度融合的高效数字图像处理方法，其特征在于，包括如下步骤：

采集检测区域的视频信息，并按照原始采样频率截取视频信息中的数字图像；

对数字图像进行灰度处理与降噪处理，得到降噪图像；

计算降噪图像中像素的灰度值与经灰度处理与降噪处理后的基准图像中对应像素的灰度值之间的绝对差值，得到绝对差值矩阵；

将绝对差值矩阵中的元素与差值阈值比较，若元素大于差值阈值，所述元素被赋予第一元素值，反之所述元素被赋予第二元素值，得到赋值矩阵；

计算赋值矩阵中元素平均值，若元素平均值大于均值阈值，则对数字图像进行高精度图像处理，识别候选人信息、位置标识信息及标牌标识信息。

2.根据权利要求1所述的高低精度融合的高效数字图像处理方法，其特征在于，所述降噪处理为对数字图像进行归一化的高斯模糊处理；

使用二维高斯函数得到数字图像中每个像素点的权重，然后对权重归一化处理，得到已归一化的权重矩阵；

使用数字图像中像素的灰度值与已归一化的权重矩阵中对应位置的权值相乘，得到灰度权重矩阵；

计算灰度权重矩阵中心点的高斯模糊值，遍历全部像素，得降噪图像。

3.根据权利要求2所述的高低精度融合的高效数字图像处理方法，其特征在于，所述二维高斯函数为：

x，y代表像素的二维正态分布坐标，二维正态分布中心为原点；

σ为二维正态分布半径。

4.根据权利要求1所述的高低精度融合的高效数字图像处理方法，其特征在于，包括：若元素平均值大于均值阈值，则提升原始采样频率；反之，若元素平均值小于均值阈值，则恢复或维持原始采样频率。

5.根据权利要求1所述的高低精度融合的高效数字图像处理方法，其特征在于，所述高精度识别处理之前先对关键帧的数字图像进行灰度处理与高斯平滑去噪，然后采用边缘检测算法提取数字图像中目标轮廓数据，依据轮廓数据库识别目标轮廓数据的轮廓种类，根据轮廓种类选择对应的高精度识别处理。

6.根据权利要求1所述的高低精度融合的高效数字图像处理方法，其特征在于，所述高精度识别处理包括人面识别处理，所述人面识别处理的步骤包括：

对数字图像进行人脸提取，获得数字图像中人脸区域；

对人脸区域进行编码，获得包含脸部的特征向量的脸部编码列表；

将脸部编码列表与候选人编码列表的特征向量进行比对，若特征向量的距离在阈值范围之内，则提取所述候选人编码列表对应的候选人信息；反之，若特征向量的距离在阈值范围之外，则换后一个的候选人信息编码列表。

7.根据权利要求1所述的高低精度融合的高效数字图像处理方法，其特征在于，所述高精度识别处理包括标识识别处理，所述标识识别处理的步骤包括：

提取标识特征包含的标识区域图像；

对标识区域图像进行二值化处理，分割标识区域中的字符，得到按顺序排列的字符图像；

使用训练好的卷积神经网络模型识别数字图像中的字符组合，得到字符标识，匹配与字符标识对应的位置标识信息或标牌标识信息。

8.根据权利要求7所述的高低精度融合的高效数字图像处理方法，其特征在于，所述使用训练好的卷积神经网络模型对字符图像识别包括：

先制作字符载体样本；

使用字符载体样本对数字图像进行载体样本匹配；

若匹配度高于阈值，则调用文字识别软件识别所述数字图像中的字符，并按顺序排列呈字符串，筛选字符串中关键的字符组合。

9.根据权利要求1所述的高低精度融合的高效数字图像处理方法，其特征在于：所述视频信息由固定摄像头与非固定摄像头所采集，所述视频信息被采集后会携带摄像头标识；

将携带相同摄像头标识的候选人信息与位置标识信息、标牌标识信息与位置标识信息配对，得到候选人定位信息或物定位信息；

计算候选人定位信息或物定位信息中两个信息的识别时间差，若识别时间差小于时间差阈值，则将候选人定位信息或物定位信息进行更新。

10.根据权利要求9所述的高低精度融合的高效数字图像处理方法，其特征在于，计算绝对差值矩阵之前，先识别数字图像携带的摄像头标识，若摄像头标识属于固定摄像头，则提取预设的基准图像；若摄像头标识属于非固定摄像头，则将上一帧的数字图像设置为基准图像。

Images