CN109544446A - 一种基于超分辨率的人脸摄像系统及其控制方法 - Google Patents

一种基于超分辨率的人脸摄像系统及其控制方法 Download PDF

Info

Publication number
CN109544446A
CN109544446A CN201811241261.7A CN201811241261A CN109544446A CN 109544446 A CN109544446 A CN 109544446A CN 201811241261 A CN201811241261 A CN 201811241261A CN 109544446 A CN109544446 A CN 109544446A
Authority
CN
China
Prior art keywords
image
face
super
module
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811241261.7A
Other languages
English (en)
Inventor
杨军
郑翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Fiberhome Zhongzhi Digital Technology Co Ltd
Original Assignee
Guangzhou Fiberhome Zhongzhi Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Fiberhome Zhongzhi Digital Technology Co Ltd filed Critical Guangzhou Fiberhome Zhongzhi Digital Technology Co Ltd
Priority to CN201811241261.7A priority Critical patent/CN109544446A/zh
Publication of CN109544446A publication Critical patent/CN109544446A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于超分辨率的人脸摄像系统及其控制方法，包括：采集模块，用于以设定时间间隔连续采集至少两个第一图像；第一处理模块，用于从其中一个第一图像中识别出人脸在照片中的位置，然后根据人脸在照片中的位置，对所述至少两个第一图像进行裁剪，得到至少两个第二图像；第二处理模块，用于对所述至少两个第二图像进行超分辨率处理，得到一个第三图像；第三处理模块，用于从第三图像中提取人脸特征；通信模块，用于将人脸特征上传至后台服务器。本发明将超分辨率处理和人脸识别放在摄像头前端进行处理，在识别后仅将人脸特征回传到后台服务器，降低了服务器和带宽的要求，提升了处理效率。本发明可以广泛应用于图像处理技术。

Description

一种基于超分辨率的人脸摄像系统及其控制方法
技术领域
本发明涉及图像处理技术，尤其是一种基于超分辨率的人脸摄像系统及其控制方法。
背景技术
目前在城市中，遍布大街小巷的摄像头，这些摄像头可以帮助公安部门追踪和识别嫌疑人。当然，公安专用的手持机的摄像头也可以起到相同的作用。
随着技术的发展，人脸识别技术和超分辨率(Super-Resolution)技术在图像处理领域已经非常成熟，其中人脸识别技术可以从图片中提取人脸的特征，并通过数据库进行查找锁定被识别的人脸的身份。而超分辨率技术，可以通过将多张模糊的照片，进行叠加处理，得到一张更加清晰的图像。
目前通过摄像头去进行人脸识别或者超分辨率处理的系统，均将人脸识别或者超分辨率处理的部分放置在后台服务器，摄像头所起到的作用就是采集图像。这样的技术方案存在不少问题，首先这样的技术方案需要将摄像头所采集的全部图像实时地上传到服务器，这对带宽的要求极高，并且大量的数据传输会导致较长的传输时间，减低了识别的及时性；同时，这样的技术方案将所有的运算量都集中在后台服务器，后台服务器的性能要求非常高，如果服务器性能不足，会导致识别缓慢。
发明内容
为解决上述技术问题，本发明的目的在于：提供一种处理效率高的基于超分辨率的人脸摄像系统及其控制方法。
本发明所采取的第一种技术方案是：
一种基于超分辨率的人脸摄像系统，包括：
采集模块，用于以设定时间间隔连续采集至少两个第一图像；
第一处理模块，用于从其中一个第一图像中识别出人脸在照片中的位置，然后根据人脸在照片中的位置，对所述至少两个第一图像进行裁剪，得到至少两个第二图像；
第二处理模块，用于对所述至少两个第二图像进行超分辨率处理，得到一个第三图像；
第三处理模块，用于从第三图像中提取人脸特征；
通信模块，用于将人脸特征上传至后台服务器；
所述第一处理模块分别与采集模块和第二处理模块连接，所述第三处理模块分别与第二处理模块和通信模块连接。
进一步，所述第一处理模块包括：
划分单元，用于将第一图像划分为若干个子图；
粗识别单元，用于从若干个子图中识别出可能包含人脸的子图；
定位单元，用于确定所述子图在第一图像中的位置；
裁剪单元，用于根据所述子图在第一图像中的位置，对所有第一图像进行裁剪，得到至少两个第二图像。
进一步，还包括存储模块，所述存储模块用于存储采集模块采集的所有第一图像以及所有第三处理模块提取的人脸特征。
进一步，所述通信模块包括：
压缩单元，用于将其中一个第一图像的拍摄时间和人脸特征进行数据压缩，得到压缩数据；
加密单元，用于对压缩数据进行加密，得到加密数据；
封装单元，用于将加密数据封装为通信数据包；
发送单元，用于将通信数据包上传至后台服务器。
进一步，所述第一处理模块、第二处理模块和第三处理模块均集成在一个FPGA中。
进一步，所述通信模块为4G模块。
本发明所采取的第二种技术方案是：
一种基于超分辨率的人脸摄像系统的控制方法，包括以下步骤：
获取采集模块以设定时间间隔连续采集的至少两个第一图像；
从其中一个第一图像中识别出人脸在照片中的位置，然后根据人脸在照片中的位置，对所述至少两个第一图像进行裁剪，得到至少两个第二图像；
对所述至少两个第二图像进行超分辨率处理，得到一个第三图像；
从第三图像中提取人脸特征；
将人脸特征上传至后台服务器。
进一步，所述从其中一个第一图像中识别出人脸在照片中的位置，然后根据人脸在照片中的位置，对所述至少两个第一图像进行裁剪，得到至少两个第二图像，其具体包括：
将其中一个第一图像划分为若干个子图；
从若干个子图中识别出可能包含人脸的子图；
确定所述子图在第一图像中的位置；
根据所述子图在第一图像中的位置，对所有第一图像进行裁剪，得到至少两个第二图像。
进一步，还包括以下步骤：
将所述至少两个第一图像和人脸特征存储在存储模块中。
进一步，所述将人脸特征上传至后台服务器，其具体包括：
将其中一个第一图像的拍摄时间和人脸特征进行数据压缩，得到压缩数据；
对压缩数据进行加密，得到加密数据；
将加密数据封装为通信数据包；
将通信数据包上传至后台服务器。
本发明的有益效果是：本发明将超分辨率处理和人脸识别放在摄像头端进行处理，在回传识别结果时，可以仅将人脸特征回传到后台服务器，减少了对带宽资源的占用，减少网络传输时间，使得公安系统可以更及时地进行特征匹配；同时，本发明也将大大降低对后台服务器和网络带宽的性能要求，后台服务器仅需完成特征匹配即可，不容易因运算量过大导致处理不及时或者宕机等问题，进一步提升了识别效率。
附图说明
图1为本发明一种具体实施例的基于超分辨率的人脸摄像系统的模块框图；
图2为本发明一种具体实施例的基于超分辨率的人脸摄像系统的控制方法的流程图。
具体实施方式
下面结合说明书附图和具体的实施例对本发明进行进一步的说明。
参照图1，一种基于超分辨率的人脸摄像系统，所述系统可以是监控摄像头或者手持机，所述系统包括：
采集模块，用于以设定时间间隔连续采集至少两个第一图像。所述采集模块可以是普通的摄像头或者相机等等。
第一处理模块，用于从其中一个第一图像中识别出人脸在照片中的位置，然后根据人脸在照片中的位置，对所述至少两个第一图像进行裁剪，得到至少两个第二图像。假定采集模块所采集的第一图像中包含人脸，那么我们可以对第一图像进行粗识别，大致判断出人脸的位置，然后根据人脸的位置，对所有的第一图像进行裁剪。裁剪后得到的第二图像的大小会小于第一图像，那么在后续的超分辨率处理和人脸特征的提取会降低大部分的运算量。本处理模块可以采用多种处理逻辑。第一种处理逻辑效率优先，在这种处理逻辑中可以先将第一图像按照固定的方式划分出若干个子图，例如划分为3*3张子图，从每张子图中进行粗识别，发现子图中的人脸。然后将存在人脸的子图裁剪出来进行后续的处理，这种方法由于划分方式固定，所以效率高，但是这样可能会丢失位于划分边界的人脸。不过摄像机的拍摄是连续的，如果该人脸在一定时间内还停留在拍摄范围内，仍然可以通过多次采集来捕抓到该人脸。第二种处理逻辑是性能优先，在这种处理逻辑中可以先直接从第一图像中识别出所有可能为人脸的区域，并按照该区域的位置和大小进行裁剪，采用这样的方式，不会漏检，但是处理效率相对于第一种处理逻辑要低。
第二处理模块，用于对所述至少两个第二图像进行超分辨率处理，得到一个第三图像；所述超分辨率处理，可以采用现有的超分辨率处理技术实现。超分辨率(Super-Resolution)即通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像)序列换取空间分辨率，实现时间分辨率向空间分辨率的转换。
第三处理模块，用于从第三图像中提取人脸特征。经过第二处理模块处理后得到的第三图像，已经是一张较为清晰的图像，此时我们可以从中提取出人脸特征。提取人脸特征的可以采用现有的方法实现。
通信模块，用于将人脸特征上传至后台服务器。所述通信模块可以是WIFI模块、4G模块和物联网通信模块等。
所述第一处理模块分别与采集模块和第二处理模块连接，所述第三处理模块分别与第二处理模块和通信模块连接。目前随着芯片技术的发展，如FPGA等类型的芯片已经基本可以满足图像处理的需要。本实施例采用一片FPGA实现第一处理模块、第二处理模块和第三处理模块所要完成的全部功能。
作为优选的实施例，为了提升处理效率，所述第一处理模块包括：
划分单元，用于将第一图像划分为若干个子图；
粗识别单元，用于从若干个子图中识别出可能包含人脸的子图；
定位单元，用于确定所述子图在第一图像中的位置；
裁剪单元，用于根据所述子图在第一图像中的位置，对所有第一图像进行裁剪，得到至少两个第二图像。
本实施例首先将第一图像按照设定的规则划分为若干个子图，然后针对每个子图进行粗识别，识别出是否存在人脸。所述若干个子图可以是4*4、3*3或者5*5等等，可以根据实际需要调整。
作为优选的实施例，为了实现冗余备份以及方便调看第一图像，还包括存储模块，所述存储模块用于存储采集模块采集的所有第一图像以及所有第三处理模块提取的人脸特征。在本实施例中，后台服务器可以根据实际需要调取所述第一图像。当然，多个连续第一图像可以组成视频。
作为优选的实施例，为了进一步提升传输效率，降低占据的带宽资源，同时提升传输的安全性，所述通信模块包括：
压缩单元，用于将其中一个第一图像的拍摄时间和人脸特征进行数据压缩，得到压缩数据；
加密单元，用于对压缩数据进行加密，得到加密数据；
封装单元，用于将加密数据封装为通信数据包；
发送单元，用于将通信数据包上传至后台服务器。
作为优选的实施例，为了保证传输速度和便捷性，所述通信模块为4G模块。
参照图2，一种基于超分辨率的人脸摄像系统的控制方法，包括以下步骤：
S1、获取采集模块以设定时间间隔连续采集的至少两个第一图像；
S2、从其中一个第一图像中识别出人脸在照片中的位置，然后根据人脸在照片中的位置，对所述至少两个第一图像进行裁剪，得到至少两个第二图像；
S3、对所述至少两个第二图像进行超分辨率处理，得到一个第三图像；
S4、从第三图像中提取人脸特征；
S5、将人脸特征上传至后台服务器。
作为优选的实施例，所述步骤S2具体包括：
S21、将其中一个第一图像划分为若干个子图；
S22、从若干个子图中识别出可能包含人脸的子图；
S23、确定所述子图在第一图像中的位置；
S24、根据所述子图在第一图像中的位置，对所有第一图像进行裁剪，得到至少两个第二图像。
作为优选的实施例，还包括以下步骤：
S6、将所述至少两个第一图像和人脸特征存储在存储模块中。
作为优选的实施例，所述步骤S5具体包括：
S51、将其中一个第一图像的拍摄时间和人脸特征进行数据压缩，得到压缩数据；
S52、对压缩数据进行加密，得到加密数据；
S53、将加密数据封装为通信数据包；
S54、将通信数据包上传至后台服务器。
对于上述方法实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (10)

1.一种基于超分辨率的人脸摄像系统，其特征在于：包括：
采集模块，用于以设定时间间隔连续采集至少两个第一图像；
第一处理模块，用于从其中一个第一图像中识别出人脸在照片中的位置，然后根据人脸在照片中的位置，对所述至少两个第一图像进行裁剪，得到至少两个第二图像；
第二处理模块，用于对所述至少两个第二图像进行超分辨率处理，得到一个第三图像；
第三处理模块，用于从第三图像中提取人脸特征；
通信模块，用于将人脸特征上传至后台服务器；
所述第一处理模块分别与采集模块和第二处理模块连接，所述第三处理模块分别与第二处理模块和通信模块连接。
2.根据权利要求1所述的一种基于超分辨率的人脸摄像系统，其特征在于：所述第一处理模块包括：
划分单元，用于将第一图像划分为若干个子图；
粗识别单元，用于从若干个子图中识别出可能包含人脸的子图；
定位单元，用于确定所述子图在第一图像中的位置；
裁剪单元，用于根据所述子图在第一图像中的位置，对所有第一图像进行裁剪，得到至少两个第二图像。
3.根据权利要求1所述的一种基于超分辨率的人脸摄像系统，其特征在于：还包括存储模块，所述存储模块用于存储采集模块采集的所有第一图像以及所有第三处理模块提取的人脸特征。
4.根据权利要求1所述的一种基于超分辨率的人脸摄像系统，其特征在于：所述通信模块包括：
压缩单元，用于将其中一个第一图像的拍摄时间和人脸特征进行数据压缩，得到压缩数据；
加密单元，用于对压缩数据进行加密，得到加密数据；
封装单元，用于将加密数据封装为通信数据包；
发送单元，用于将通信数据包上传至后台服务器。
5.根据权利要求1所述的一种基于超分辨率的人脸摄像系统，其特征在于：所述第一处理模块、第二处理模块和第三处理模块均集成在一个FPGA中。
6.根据权利要求1所述的一种基于超分辨率的人脸摄像系统，其特征在于：所述通信模块为4G模块。
7.一种基于超分辨率的人脸摄像系统的控制方法，其特征在于：包括以下步骤：
获取采集模块以设定时间间隔连续采集的至少两个第一图像；
从其中一个第一图像中识别出人脸在照片中的位置，然后根据人脸在照片中的位置，对所述至少两个第一图像进行裁剪，得到至少两个第二图像；
对所述至少两个第二图像进行超分辨率处理，得到一个第三图像；
从第三图像中提取人脸特征；
将人脸特征上传至后台服务器。
8.根据权利要求7所述的一种基于超分辨率的人脸摄像系统的控制方法，其特征在于：所述从其中一个第一图像中识别出人脸在照片中的位置，然后根据人脸在照片中的位置，对所述至少两个第一图像进行裁剪，得到至少两个第二图像，其具体包括：
将其中一个第一图像划分为若干个子图；
从若干个子图中识别出可能包含人脸的子图；
确定所述子图在第一图像中的位置；
根据所述子图在第一图像中的位置，对所有第一图像进行裁剪，得到至少两个第二图像。
9.根据权利要求7所述的一种基于超分辨率的人脸摄像系统的控制方法，其特征在于：还包括以下步骤：
将所述至少两个第一图像和人脸特征存储在存储模块中。
10.根据权利要求7所述的一种基于超分辨率的人脸摄像系统的控制方法，其特征在于：所述将人脸特征上传至后台服务器，其具体包括：
将其中一个第一图像的拍摄时间和人脸特征进行数据压缩，得到压缩数据；
对压缩数据进行加密，得到加密数据；
将加密数据封装为通信数据包；
将通信数据包上传至后台服务器。
CN201811241261.7A 2018-10-24 2018-10-24 一种基于超分辨率的人脸摄像系统及其控制方法 Pending CN109544446A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811241261.7A CN109544446A (zh) 2018-10-24 2018-10-24 一种基于超分辨率的人脸摄像系统及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811241261.7A CN109544446A (zh) 2018-10-24 2018-10-24 一种基于超分辨率的人脸摄像系统及其控制方法

Publications (1)

Publication Number Publication Date
CN109544446A true CN109544446A (zh) 2019-03-29

Family

ID=65844694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811241261.7A Pending CN109544446A (zh) 2018-10-24 2018-10-24 一种基于超分辨率的人脸摄像系统及其控制方法

Country Status (1)

Country Link
CN (1) CN109544446A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104917963A (zh) * 2015-05-25 2015-09-16 深圳市金立通信设备有限公司 一种图像处理方法及终端
CN108197318A (zh) * 2018-02-01 2018-06-22 广州市君望机器人自动化有限公司 人脸识别方法、装置、机器人及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104917963A (zh) * 2015-05-25 2015-09-16 深圳市金立通信设备有限公司 一种图像处理方法及终端
CN108197318A (zh) * 2018-02-01 2018-06-22 广州市君望机器人自动化有限公司 人脸识别方法、装置、机器人及存储介质

Similar Documents

Publication Publication Date Title
CN104243920B (zh) 一种基于基本流视频数据封装的图像拼接方法及装置
CN111698555B (zh) 一种视频抽帧处理方法及装置
US8964126B2 (en) Video processing system, video processing method, database for video processing and generating method thereof, video processing apparatus, control method thereof and control program thereof
CN109167979B (zh) 多路监控视频人工智能分析的处理方法及系统
CN104750808A (zh) 基于Hadoop大数据平台的卡口数据过边界实施方法
WO2014183533A1 (zh) 一种图像处理方法、用户终端、图像处理终端及系统
CN111510680B (zh) 一种图像数据的处理方法、系统及存储介质
WO2018121705A1 (zh) 一种流数据的双向传输方法和装置
CN109544446A (zh) 一种基于超分辨率的人脸摄像系统及其控制方法
CN115729683A (zh) 任务处理方法、装置、系统、计算机设备和存储介质
CN111263113B (zh) 数据包的发送方法及装置、数据包的处理方法及装置
CN110855947B (zh) 一种图像抓拍处理方法及装置
CN112039936B (zh) 数据传输方法、第一数据处理设备及监控系统
CN104767964A (zh) 视频存储控制和优化的方法及其装置、视频监控系统
WO2016197659A1 (zh) 网络媒体流收包方法、装置及系统
CN108683643B (zh) 一种基于流式处理的数据脱敏系统及其脱敏方法
CN106603977B (zh) 基于Linux多核环境的视频采集方法及装置
CN110222206A (zh) 一种客户端、服务器及图像识别系统
CN115278211A (zh) 图像处理方法、装置、系统及图像采集设备
CN114095725A (zh) 一种判断摄像头是否异常的方法和系统
WO2020001431A1 (zh) 摄像装置和播放装置
WO2017054515A1 (zh) 一种色情图像检测方法和系统
JP2015528260A5 (zh)
CN104539581B (zh) 信息搜索实现方法、装置和网络端设备
CN115361262B (zh) 一种传输设备性能文件ftp上报的实现方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination