CN109598195B - 一种基于监控视频的清晰人脸图像处理方法与装置 - Google Patents

Abstract

本发明公开了一种基于监控视频的清晰人脸图像处理方法与装置，适用于设有固定焦距和固定对焦模式的监控摄像头，包括：根据所述监控摄像头采集的监控视频，提取所述监控视频中若干帧原始人脸图像；对所述原始人脸图像进行标准化处理，得到像素一致的人脸图像；对所述像素一致的人脸图像进行对比度计算，得到对比度最大值对应的人脸图像，作为清晰人脸图像，采用基于整体对比度检测的被动式自动对焦筛选人脸图像的方式，能有效解决现有技术监控摄像头自动对焦不能追焦和对焦速度慢导致难以识别人脸的问题，能有效提高对焦效率，图像成像质量稳定。

Description

一种基于监控视频的清晰人脸图像处理方法与装置

技术领域

本发明涉及人脸识别与图像处理技术领域，尤其涉及一种基于监控视频的清晰人脸图像处理方法与装置。

背景技术

随着人脸识别技术的成熟，通过监控摄像头对于行人的无打扰识别正成为新的应用点，如：无侵入考勤。通常的监控摄像头为广角镜头，用于环境监控，其通过超焦距原理解决对焦问题，视频图像虽然清晰，但人脸所占的像素太小，不能正确识别。为了拍摄到清晰的人脸，需要监控摄像头具备中长焦距和大通光量的镜头，这类镜头焦内范围小，即使具有自动对焦功能，但自动对焦不能追焦和速度也不能赶上迎面走来的行人速度，从而导致对焦失败。在未正确对焦的情况之下，所获得的模糊人脸图像将导致人与人之间有极大的相似性，可能检测不到人脸，或者识别有误。并且此类高速自动对焦镜头价格昂贵。

发明内容

本发明实施例提供一种基于监控视频的清晰人脸图像处理方法与装置，采用基于整体对比度检测的被动式自动对焦筛选人脸图像的方式，能有效解决现有技术监控摄像头自动对焦不能追焦和对焦速度慢导致难以识别人脸的问题，能有效提高对焦效率，图像成像质量稳定。

本发明一实施例提供一种基于监控视频的清晰人脸图像处理方法，适用于设有固定焦距和固定对焦模式的监控摄像头，包括：

根据所述监控摄像头采集的监控视频，提取所述监控视频中若干帧原始人脸图像；

对所述原始人脸图像进行标准化处理，得到像素一致的人脸图像；

对所述像素一致的人脸图像进行对比度计算，得到对比度最大值对应的人脸图像，作为清晰人脸图像。

作为上述方案的改进，所述根据所述监控摄像头采集的监控视频，提取所述监控视频中若干帧原始人脸图像，包括：

采用OpenCV对所述监控视频的帧画面进行人脸检测，得到原始人脸图像；其中，所述监控视频为行人进入监控区域时刻至离开监控区域时刻的时长对应的视频；

提取所述帧画面中的若干帧所述原始人脸图像。

作为上述方案的改进，所述对所述原始人脸图像进行标准化处理，得到像素一致的人脸图像，包括：

采用OpenCV对所述原始人脸图像进行图像像素处理，得到像素一致的人脸图像。

作为上述方案的改进，所述对所述像素一致的人脸图像进行对比度计算，得到对比度最大值对应的人脸图像，作为清晰人脸图像，包括：

对所述像素一致的人脸图像中每个像素的亮度进行计算；

根据所述像素一致的人脸图像中每个像素的亮度，计算所述像素一致的人脸图像的整体对比度，筛选出对比度最大值对应的人脸图像，作为目标人脸图像。

作为上述方案的改进，所述方法还包括：

判断所述目标人脸图像的对比度是否超过预设的对比度阈值，若是，则所述目标人脸图像为清晰人脸图像；若否，则重新提取所述监控视频中若干帧原始人脸图像；其中，所述对比度阈值为所述监控视频中焦内成像阶段的开始时刻至结束时刻的帧画面的对比度，所述焦内成像阶段为行人进入所述摄像头的对焦区域时刻至离开所述对焦区域时刻的时长对应的视频。

与现有技术相比，本发明实施例公开的基于监控视频的清晰人脸图像处理方法，适用于设有固定焦距和固定对焦模式的监控摄像头，根据所述监控摄像头采集的监控视频，提取所述监控视频中若干帧原始人脸图像，对所述原始人脸图像进行标准化处理，得到像素一致的人脸图像，对所述像素一致的人脸图像进行对比度计算，得到对比度最大值对应的人脸图像，作为清晰人脸图像，采用基于对比度计算的被动式自动对焦的方式，能有效解决现有技术监控摄像头自动对焦不能追焦和对焦速度慢导致难以识别人脸的问题，不依赖昂贵的高速自动对焦镜头，并且不局限于行人静止状态以获取清晰的人脸图像，能有效提高对焦效率，图像成像质量稳定，以及设有固定焦距和固定对焦模式的监控摄像头结构设计简单，有利于产品化。

本发明另一实施例对应提供了一种基于监控视频的清晰人脸图像处理装置，包括：

提取模块，用于根据所述监控摄像头采集的监控视频，提取所述监控视频中若干帧原始人脸图像；

标准化模块，用于对所述原始人脸图像进行标准化处理，得到像素一致的人脸图像；

计算模块，用于对所述像素一致的人脸图像进行对比度计算，得到对比度最大值对应的人脸图像，作为清晰人脸图像。

本发明另一实施例提供了一种基于监控视频的清晰人脸图像处理装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现以上任意一项所述的基于监控视频的清晰人脸图像处理方法。

本发明另一实施例提供了一种存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行以上任意一项所述的基于监控视频的清晰人脸图像处理方法。

附图说明

图1是本发明一实施例提供的一种基于监控视频的清晰人脸图像处理方法的流程示意图；

图2是本发明一实施例提供的监控摄像头部署原理示意图；

图3是本发明一实施例提供的一种基于监控视频的清晰人脸图像处理装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，是本发明一实施例提供的一种基于监控视频的清晰人脸图像处理方法的流程示意图，所述适用于设有固定焦距和固定对焦模式的监控摄像头，包括：

S1、根据所述监控摄像头采集的监控视频，提取所述监控视频中若干帧原始人脸图像。

优选地，本实施例适用于设有固定焦距和固定对焦模式的监控摄像头。例如，该监控摄像头可以是定焦镜头，该定焦镜头的结构设计简单，对焦速度快，成像质量稳定，所拍摄的动态物体图像清晰而稳定。

S2、对所述原始人脸图像进行标准化处理，得到像素一致的人脸图像。

S3、对所述像素一致的人脸图像进行对比度计算，得到对比度最大值对应的人脸图像，作为清晰人脸图像。

本发明实施例提供的一种基于监控视频的清晰人脸图像处理方法，根据所述监控摄像头采集的监控视频，提取所述监控视频中若干帧原始人脸图像，对所述原始人脸图像进行标准化处理，得到像素一致的人脸图像，对所述像素一致的人脸图像进行对比度计算，得到对比度最大值对应的人脸图像，作为清晰人脸图像，采用基于整体对比度检测的被动式自动对焦筛选人脸图像的方式，能有效解决现有技术监控摄像头自动对焦不能追焦和对焦速度慢导致难以识别人脸的问题，不依赖昂贵的高速自动对焦镜头以获得清晰的人脸图像，并且不局限于行人静止状态以获取清晰的人脸图像，能有效提高对焦效率，图像成像质量稳定，以及设有固定焦距和固定对焦模式的监控摄像头结构设计简单，有利于产品化，进而根据得到的清晰人脸图像，作为人脸识别的输入图像，能有效保证人脸识别高精度和自动化。

在另一优选实施例中，在上述实施例的基础上，参见图2，是本发明一实施例提供的监控摄像头部署原理示意图。

需要说明的是，本实施例采用被动式自动对焦的方式，被动式自动对焦有固定焦距和焦点，当行人面向摄像头走来时，所拍摄的监控视频分成焦后成像、焦内成像、以及焦前成像三个阶段视频，其中，当行人移动到对焦点处即处于焦内成像阶段时，图像成像较为清晰，焦前和焦后阶段成像均是模糊的。而现有监控技术中常用自动对焦，焦点对人移动，此类镜焦内范围小，对焦速度慢，导致自动对焦不能追焦，需随人移动重新对焦，人脸图像的清晰度低以及效率低。

进一步，步骤S1包括：

采用OpenCV对所述监控视频的帧画面进行人脸检测，得到原始人脸图像；其中，所述监控视频为行人进入监控区域时刻至离开监控区域时刻的时长对应的视频；

提取所述帧画面中的若干帧所述原始人脸图像。

可以理解的是，该若干帧人脸图像中包括上述监控视频的后焦成像、焦内成像、以及前焦成像三个阶段视频的人脸图像。

优选地，步骤S2具体为采用OpenCV对所述人脸图像进行图像像素处理，得到像素一致的人脸图像。

需要说明的是，将人脸图像输入OpenCV进行图像处理，采取线性归一化处理来统一图像的尺寸，线性归一化可以放大和缩小原始人脸图像的长度和宽度，保留图像的线性性质。为了方便后续操作的特征提取的计算和减少特征的维数，如人脸识别。

其中，OpenCV为基于BSD许可发行的跨平台计算机视觉库，常应用于人脸识别、动作识别、动作分析、动作追踪等领域。

具体地，步骤S3为：

对所述像素一致的人脸图像中每个像素的亮度进行计算；

根据所述像素一致的人脸图像中每个像素的亮度，计算所述像素一致的人脸图像的整体对比度，筛选出对比度最大值对应的人脸图像，作为目标人脸图像。

优选地，对比度计算步骤如下：

(1)计算人脸图像中每个像素的亮度，设为lumxy＝(0.2126*红色值)+(0.7152*绿色值)+(0.0722*蓝色值)；

(2)根据人脸图像中每个像素的亮度，计算人脸图像中所有像素的平均亮度，设为avg＝所有lumxy之和/总像素；

(3)计算人脸图像中每个像素的亮度与平均亮度之差的平方，设为diffxy＝(lumxy–avg)²；

(4)计算人脸图像的整体对比度，设为Contrast＝所有diffxy之和/总像素。

需要说明的是，计算该像素一致的人脸图像的整体对比度，根据反差对焦的原理，即当人脸图像的整体对比度最大时，该人脸图像的清晰度最高。高对比度对于图像的清晰度、细节表现、灰度层次表现都有很大帮助。

在一种优选的实施例中，该人脸图像处理方法还包括：

判断所述目标人脸图像的对比度是否超过预设的对比度阈值，若是，则所述目标人脸图像为清晰人脸图像；若否，则重新提取所述监控视频中若干帧原始人脸图像。

其中，所述对比度阈值为所述监控视频中焦内成像阶段的开始时刻至结束时刻的帧画面的对比度，所述焦内成像阶段为行人进入所述摄像头的对焦区域时刻至离开所述对焦区域时刻的时长对应的视频。

其中，焦内成像阶段的图像成像较为清晰，焦前和焦后成像阶段的图像均是模糊的。因此，根据视频中焦内成像阶段的帧画面设置对比度阈值。

可以理解的是，当所述目标人脸图像的对比度不超过预设的对比度阈值时，所述目标人脸图像对应该监控视频的焦前成像阶段或者焦后成像阶段的帧画面，图像清晰度不高，则需重新根据采集的监控视频重新提取若干帧原始图像，对此进行对比度筛选，以得到清晰度高的人脸图像。

本发明实施例提供的一种基于监控视频的清晰人脸图像处理方法，采用基于整体对比度检测的被动式自动对焦筛选清晰人脸图像，能有效解决现有技术监控摄像头自动对焦不能追焦和对焦速度慢导致难以识别人脸的问题，不依赖昂贵的高速自动对焦镜头以获得清晰的人脸图像，并且不局限于行人静止状态以获取清晰的人脸图像，能有效提高对焦效率，图像成像质量稳定，以及设有固定焦距和固定对焦模式的监控摄像头结构设计简单，有利于产品化，进而根据得到的清晰人脸图像，作为人脸识别的输入图像，能有效保证人脸识别高精度和自动化。

参见图3，是本发明一实施例提供的一种基于监控视频的清晰人脸图像处理装置的结构示意图，包括：

提取模块1，用于根据所述监控摄像头采集的监控视频，提取所述监控视频中若干帧人脸图像；

标准化模块2，用于对所述人脸图像进行标准化处理，得到像素一致的人脸图像；

计算模块3，用于对所述像素一致的人脸图像进行对比度计算，得到对比度最大值对应的人脸图像，作为清晰人脸图像。

在一种可选的实施例中，该提取模块1包括：

检测单元，用于采用OpenCV对所述监控视频的帧画面进行人脸检测，得到原始人脸图像；其中，所述监控视频为行人进入监控区域时刻至离开监控区域时刻的时长对应的视频；

图像提取单元，用于提取所述帧画面中的若干帧所述原始人脸图像。

在一种可选的实施例中，该标准化模块2包括：

图像像素处理单元，用于采用OpenCV对所述原始人脸图像进行图像像素处理，得到像素一致的人脸图像。

在一种可选的实施例中，该计算模块3包括：

亮度计算单元，用于对所述像素一致的人脸图像中每个像素的亮度进行计算；

整体对比度计算单元，用于根据所述像素一致的人脸图像中每个像素的亮度，计算所述像素一致的人脸图像的整体对比度，筛选出对比度最大值对应的人脸图像，作为目标人脸图像。

在一种可选的实施例中，该计算模块3还包括：

判断单元，用于判断所述目标人脸图像的对比度是否超过预设的对比度阈值，若是，则所述目标人脸图像为清晰人脸图像；若否，则重新提取所述监控视频中若干帧原始人脸图像；其中，所述对比度阈值为所述监控视频中焦内成像阶段的开始时刻至结束时刻的帧画面的对比度，所述焦内成像阶段为行人进入所述摄像头的对焦区域时刻至离开所述对焦区域时刻的时长对应的视频。

示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述基于监控视频的清晰人脸图像处理装置中的执行过程。

所述基于监控视频的清晰人脸图像处理装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述基于监控视频的清晰人脸图像处理装置可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述示意图仅仅是基于监控视频的清晰人脸图像处理装置的示例，并不构成对基于监控视频的清晰人脸图像处理装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于监控视频的清晰人脸图像处理装置还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于监控视频的清晰人脸图像处理装置的控制中心，利用各种接口和线路连接整个基于监控视频的清晰人脸图像处理装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于监控视频的清晰人脸图像处理装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

其中，所述基于监控视频的清晰人脸图像处理装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (7)

1.一种基于监控视频的清晰人脸图像处理方法，其特征在于，适用于设有固定焦距和固定对焦模式的监控摄像头，包括：

根据所述监控摄像头采集的监控视频，提取所述监控视频中若干帧原始人脸图像；

对所述原始人脸图像进行标准化处理，得到像素一致的人脸图像；

对所述像素一致的人脸图像进行对比度计算，得到对比度最大值对应的人脸图像，作为清晰人脸图像；其中，判断目标人脸图像的对比度是否超过预设的对比度阈值，若是，则所述目标人脸图像为清晰人脸图像；若否，则重新提取所述监控视频中若干帧原始人脸图像；其中，所述对比度阈值为所述监控视频中焦内成像阶段的开始时刻至结束时刻的帧画面的对比度，所述焦内成像阶段为行人进入所述摄像头的对焦区域时刻至离开所述对焦区域时刻的时长对应的视频，所述目标人脸图像为所述对比度最大值对应的人脸图像。

2.如权利要求1所述的基于监控视频的清晰人脸图像处理方法，其特征在于，所述根据所述监控摄像头采集的监控视频，提取所述监控视频中若干帧原始人脸图像，包括：

采用OpenCV对所述监控视频的帧画面进行人脸检测，得到原始人脸图像；其中，所述监控视频为行人进入监控区域时刻至离开监控区域时刻的时长对应的视频；

提取所述帧画面中的若干帧所述原始人脸图像。

3.如权利要求1所述的基于监控视频的清晰人脸图像处理方法，其特征在于，所述对所述原始人脸图像进行标准化处理，得到像素一致的人脸图像，包括：

采用OpenCV对所述原始人脸图像进行图像像素处理，得到像素一致的人脸图像。

4.如权利要求1所述的基于监控视频的清晰人脸图像处理方法，其特征在于，所述对所述像素一致的人脸图像进行对比度计算，得到对比度最大值对应的人脸图像，作为清晰人脸图像，包括：

对所述像素一致的人脸图像中每个像素的亮度进行计算；

根据所述像素一致的人脸图像中每个像素的亮度，计算所述像素一致的人脸图像的整体对比度，筛选出对比度最大值对应的人脸图像，作为目标人脸图像。

5.一种基于监控视频的清晰人脸图像处理装置，其特征在于，包括：

提取模块，用于根据监控摄像头采集的监控视频，提取所述监控视频中若干帧原始人脸图像；

标准化模块，用于对所述原始人脸图像进行标准化处理，得到像素一致的人脸图像；

计算模块，用于对所述像素一致的人脸图像进行对比度计算，得到对比度最大值对应的人脸图像，作为清晰人脸图像；其中，判断目标人脸图像的对比度是否超过预设的对比度阈值，若是，则所述目标人脸图像为清晰人脸图像；若否，则重新提取所述监控视频中若干帧原始人脸图像；其中，所述对比度阈值为所述监控视频中焦内成像阶段的开始时刻至结束时刻的帧画面的对比度，所述焦内成像阶段为行人进入所述摄像头的对焦区域时刻至离开所述对焦区域时刻的时长对应的视频，所述目标人脸图像为所述对比度最大值对应的人脸图像。

6.一种基于监控视频的清晰人脸图像处理装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任意一项所述的基于监控视频的清晰人脸图像处理方法。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，其中，在处理器运行所述计算机程序时控制所述计算机可读存储介质所在设备执行如权利要求1至4中任意一项所述的基于监控视频的清晰人脸图像处理方法。

Images