CN108320267A - 用于人脸图像的超分辨率处理方法 - Google Patents
用于人脸图像的超分辨率处理方法 Download PDFInfo
- Publication number
- CN108320267A CN108320267A CN201810110918.XA CN201810110918A CN108320267A CN 108320267 A CN108320267 A CN 108320267A CN 201810110918 A CN201810110918 A CN 201810110918A CN 108320267 A CN108320267 A CN 108320267A
- Authority
- CN
- China
- Prior art keywords
- resolution
- super
- image
- facial image
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 230000001815 facial effect Effects 0.000 title claims abstract 11
- 238000013507 mapping Methods 0.000 claims abstract description 20
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 230000003321 amplification Effects 0.000 claims abstract 2
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract 2
- 238000012545 processing Methods 0.000 claims description 33
- 238000000034 method Methods 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims 1
- 238000000605 extraction Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及用于人脸图像的超分辨率处理方法，包括：A.从摄像设备采集的图像中提取出人脸图像的原始图Il；B.通过函数映射将低分辨率的原始图放大，得到高分辨率图Ih(t)其中t表示函数映射时的迭代次数，再通过高斯滤波对放大的原始图进行锐化，得到平滑清晰的初始超分辨图像IhG；C.通过反向投影迭代将形成初始超分辨图像IhG的过程中产生的误差去掉，得到目标超分辨率图像。本发明的用于人脸图像的超分辨率处理方法，能够有效的将低分辨率的人脸图像进行处理后，得到清晰的高分辨图像，极大程度提高了人脸的清晰度和识别度。
Description
技术领域
本发明涉及图像处理的方法，具体的讲是用于人脸图像的超分辨率处理方法，特别适合但不仅限于用于公共安全方面的图像提取及处理的方法。
背景技术
移动边缘计算(Mobile Edge Computing，MEC)是基于5G演进的一种计算架构，是将移动接入网与互联网业务深度融合的一种技术。MEC可利用无线接入网络就近提供电信用户IT所需服务和云端计算功能，从而创造出一个具备高性能、低延迟与高带宽的电信级服务环境，加速网络中各项内容、服务及应用的快速下载，让消费者享有不间断的高质量网络体验。
将针MEC用于公共安全监测时，在很多情况下都需要对人脸图像进行识别。而人脸图像通常是从电子眼等设备拍摄的一些图像视频(如交通路口监控图像，酒店监控视频等)中提取出来的，因此这些人脸图像分辨率会比较低。由于人脸图像分辨率过低可能导致无法通过分析获得照片的细节特征，导致无法获得准确的人脸细节信息，为公共安全问题的处理带来了障碍。
发明内容
本发明提供了一种用于人脸图像的超分辨率处理方法，将低分辨率的人脸图像处理后得到清晰的高分辨图像，提高人脸的识别度。
本发明用于人脸图像的超分辨率处理方法，包括：
A.从摄像设备采集的图像中提取出人脸图像的原始图Il；
B.通过函数映射将低分辨率的原始图放大，得到高分辨率图Ih(t)其中t表示函数映射时的迭代次数，再通过高斯滤波对放大的原始图进行锐化，得到平滑清晰的初始超分辨图像IhG；高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。高斯滤波是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的具体操作是：用一个模板(或称卷积、掩模)扫描图像中的每一个像素，再用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。
C.通过反向投影迭代将形成初始超分辨图像IhG的过程中产生的误差去掉，得到目标超分辨率图像。所述的超分辨率指的是通过相应的方法得到的高于原有图像分辨率的图像。
进一步的，步骤C包括：将接收到的初始超分辨图像IhG进行4倍的下采样，得到与原始图Il相同大小的低分辨率图像Ild(t)，将该低分辨率图像Ild(t)与原始图Il进行差值比较得到误差图E(t)，将该误差图E(t)进行与步骤B相同的放大处理得到超分辨率误差图Eh(t)，最后进行反向投影，将超分辨率误差图Eh(t)与步骤B得到的高分辨率图Ih(t)进行加法处理得到该次迭代的处理结果Ih(t+1)，按上述步骤进行多次迭代直到误差图E(t)在可被忽略范围内，则当前的Ih(t+1)为最终得到的目标超分辨率图像。
可选的，步骤B中的映射函数为双三次插值与小波变换函数。双三次插值又叫双立方插值，用于在图像中“插值”(Interpolating)或增加“像素”(Pixel)数量/密度的一种方法。通常利用插值技术增加图形数据，以便在图像打印或其他形式输出的时候，能够增大打印面积和/或分辨率。
可选的，步骤B中的映射函数为卷积神经网络函数。卷积神经网络(ConvolutionalNeural Networks，CNN)是一种前馈神经网络，可以用于大型图像处理。CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，有着非常广泛的应用。
进一步的，将得到的目标超分辨率图像通过网络发送至云平台中保存。
本发明的用于人脸图像的超分辨率处理方法，能够有效的将低分辨率的人脸图像进行处理后，得到清晰的高分辨图像，极大程度提高了人脸的清晰度和识别度。
以下结合实施例的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本发明的范围内。
附图说明
图1为本发明用于人脸图像的超分辨率处理方法的流程图。
具体实施方式
实施例1：
如图1所示本发明用于人脸图像的超分辨率处理方法，本实施例中具有一个用于拍摄的电子眼设备，一个云服务器，一个移动终端。将人脸图像提取模块，超分辨率处理模块以及精准化处理模块都配置在电子眼上，该电子眼拍摄图像，并且提取人脸图像并做相关超分辨率处理以及精准化处理，然后将目标超分辨率图像发送给云服务器，移动终端可以随时调取云服务器的相关图片来获取图像信息。过程如下：
A.人脸图像提取。电子眼拍摄到图像，并通过其中现有的人脸图像提取模块将该图像中的人脸部分提取出来形成人脸的原始图Il，将原始图Il送到电子眼的超分辨率处理模块中。
B.提取出人脸图像的原始图。电子眼内的超分辨率处理模块首先基于函数映射来对Il做4倍放大处理，该函数映射关系既可以是双三次插值与小波变换函数，也可以是卷积神经网络函数。本实施例中采用双三次插值加小波变换做函数映射，即通过原始图Il的像素值基于Bicubic基函数求出Il的各像素值相近的16个像素值的影响系数，通过相近16个像素值的影响系数以及各自像素值计算出对应超分辨率图像像素值，从而得到4倍放大的图像。然后通过离散小波变换将放大后的图像分成4个高小波子带，用2×Il来替换LL小波子带，然后对替换后的图像做逆离散小波变换形成函数映射结果图Ih(t)。然后对该函数映射结果图Ih(t)通过高斯滤波器做高斯滤波得到初始超分辨率图IhG。将IhG发送到精准化处理模块做最终处理。
C.精准化处理模块。电子眼内的精准化处理模块主要针对Il形成IhG过程中产生的误差做处理，具体为：
下采样：将从超分辨率处理模块得到的初始超分辨率图IhG做4倍的下采样处理，即通过将四个相邻像素值做平均得到一个与原始图Il尺寸一样的低分辨率图像Ild(t)；
计算误差：将下采样得到低分辨率图像Ild(t)与原始图Il做像素值差值处理，用原始图Il的像素值减去低分辨率图像Ild(t)的像素值得到误差图E(t)；
放大误差：通过与超分辨率处理模块中的函数映射过程一样的方法将误差图E(t)转化成超分辨率误差图Eh(t)；
消除误差：通过反向投影法来消除误差，即通过将超分辨率误差图Eh(t)与函数映射结果图Ih(t)做和处理得到第t次迭代的结果图Ih(t+1)，如果误差图E(t)基本可以忽略不计，可以将Ih(t+1)作为目标超分辨率图像，如果不可忽略则将Ih(t+1)作为下次迭代初始图来重复上述步骤直到误差图E(t)基本可以忽略不计为止，从而得到目标超分辨率图像，然后将目标分辨率图像发送到云服务器。
云服务器存储得到的目标分辨率图像，待移动终端发送应用请求到云服务器时，云服务器将该图片发送到移动终端中。
实施例2：
本实施例中具有一个电子眼设备，一个边缘服务器MEC，一个云服务器以及一个移动终端。人脸图像提取模块配置在电子眼上，而超分辨率处理模块以及精准化处理模块都配置在MEC上，该电子眼拍摄图像，并且提取图像中人脸部分，将提取的人脸图像发送到MEC做处理后发送备份到云服务器，移动终端需要相关图片时，可以先向MEC发送请求，若MEC存有相关图像，则直接发送给移动终端，若没有，则发送告知信息给移动终端。过程如下：
A.人脸图像提取。电子眼拍摄到图像，电子眼通过其人脸图像提取模块将该图像中的人脸部分提取出来形成原始图Il，将原始图Il送到MEC的超分辨率处理模块。
B.超分辨率处理。MEC的超分辨率处理模块首先基于函数映射来对Il做4倍放大处理，该函数映射关系既可以是双三次插值与小波变换函数，也可以是卷积神经网络函数。本实施例采用双三次插值加小波变换做函数映射，即通过原始图Il的像素值基于Bicubic基函数求出Il的各像素值相近的16个像素值的影响系数，通过相近16个像素值的影响系数以及各自像素值计算出对应超分辨率图像像素值，从而得到4倍放大的图像。然后通过离散小波变换将放大后的图像分成4个高小波子带，用2×Il来替换LL小波子带，然后对替换后的图像做逆离散小波变换形成函数映射结果图Ih(t)。然后对该函数映射结果图Ih(t)通过高斯滤波器做高斯滤波得到初始超分辨率图IhG，再将初始超分辨率图IhG发送到精准化处理模块做最终处理。
B.精准化处理模块。MEC的精准化处理模块主要针对Il形成IhG过程中产生的误差做处理，过程为：
下采样：将从超分辨率处理模块得到的初始超分辨率图IhG做4倍的下采样处理，即通过将四个相邻像素值做平均得到一个与原始图Il尺寸一样的低分辨率图像Ild(t)；
计算误差：将下采样得到低分辨率图像Ild(t)与原始图Il做像素值差值处理，用原始图Il的像素值减去低分辨率图像Ild(t)的像素值得到误差图E(t)；
放大误差：通过与超分辨率处理模块中函数映射过程一样的方法将误差图E(t)转化成超分辨率误差图Eh(t)；
消除误差：通过反向投影法来消除误差，即通过将超分辨率误差图Eh(t)与函数映射结果图Ih(t)做和处理得到第t次迭代的结果图Ih(t+1)，如果E(t)基本可以忽略不计，可以将Ih(t+1)作为目标超分辨率图像，如果不可忽略则将Ih(t+1)作为下次迭代初始图来重复上述步骤直到E(t)基本可以忽略不计为止，从而得到目标超分辨率图像。然后MEC将目标分辨率图像备份发送到云服务器，云服务器存储该图片。
待移动终端需要该图片时，向MEC发送请求，若MEC存有相关图像，则直接发送给移动终端，若没有，则发送告知信息给移动终端，移动终端可以通过云服务器来获得相关图片。
Claims (5)
1.用于人脸图像的超分辨率处理方法，其特征包括：
A.从摄像设备采集的图像中提取出人脸图像的原始图Il；
B.通过函数映射将低分辨率的原始图放大，得到高分辨率图Ih(t)其中t表示函数映射时的迭代次数，再通过高斯滤波对放大的原始图进行锐化，得到平滑清晰的初始超分辨图像IhG；
C.通过反向投影迭代将形成初始超分辨图像IhG的过程中产生的误差去掉，得到目标超分辨率图像。
2.如权利要求1所述的用于人脸图像的超分辨率处理方法，其特征为：步骤C包括：将接收到的初始超分辨图像IhG进行4倍的下采样，得到与原始图Il相同大小的低分辨率图像Ild(t)，将该低分辨率图像Ild(t)与原始图Il进行差值比较得到误差图E(t)，将该误差图E(t)进行与步骤B相同的放大处理得到超分辨率误差图Eh(t)，最后进行反向投影，将超分辨率误差图Eh(t)与步骤B得到的高分辨率图Ih(t)进行加法处理得到该次迭代的处理结果Ih(t+1)，按上述步骤进行多次迭代直到误差图E(t)在可被忽略范围内，则当前的Ih(t+1)为最终得到的目标超分辨率图像。
3.如权利要求1或2所述的用于人脸图像的超分辨率处理方法，其特征为：步骤B中的映射函数为双三次插值与小波变换函数。
4.如权利要求1或2所述的用于人脸图像的超分辨率处理方法，其特征为：步骤B中的映射函数为卷积神经网络函数。
5.如权利要求1或2所述的用于人脸图像的超分辨率处理方法，其特征为：将得到的目标超分辨率图像通过网络发送至云平台中保存。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810110918.XA CN108320267A (zh) | 2018-02-05 | 2018-02-05 | 用于人脸图像的超分辨率处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810110918.XA CN108320267A (zh) | 2018-02-05 | 2018-02-05 | 用于人脸图像的超分辨率处理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108320267A true CN108320267A (zh) | 2018-07-24 |
Family
ID=62903450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810110918.XA Pending CN108320267A (zh) | 2018-02-05 | 2018-02-05 | 用于人脸图像的超分辨率处理方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108320267A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109214310A (zh) * | 2018-08-16 | 2019-01-15 | 安徽超清科技股份有限公司 | 提高人脸识别效率的方法和人脸识别系统 |
| CN110490796A (zh) * | 2019-04-11 | 2019-11-22 | 福建师范大学 | 一种高低频成分融合的人脸超分辨率处理方法及系统 |
| CN112053282A (zh) * | 2019-06-06 | 2020-12-08 | 北京京东尚科信息技术有限公司 | 识别分辨率的设置方法、系统、设备及存储介质 |
| CN113628116A (zh) * | 2021-10-12 | 2021-11-09 | 腾讯科技（深圳）有限公司 | 图像处理网络的训练方法、装置、计算机设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090180705A1 (en) * | 2008-01-15 | 2009-07-16 | Samsung Electronics Co., Ltd. | Method and system for image restoration using frequency-based image model |
| CN102222320A (zh) * | 2011-05-24 | 2011-10-19 | 西安电子科技大学 | 基于全变分迭代反向投影的单帧图像空间分辨率增强方法 |
| CN103020936A (zh) * | 2012-12-12 | 2013-04-03 | 湖北微驾技术有限公司 | 一种人脸图像超分辨率重构方法 |
| CN105960657A (zh) * | 2014-06-17 | 2016-09-21 | 北京旷视科技有限公司 | 使用卷积神经网络的面部超分辨率 |
-
2018
- 2018-02-05 CN CN201810110918.XA patent/CN108320267A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090180705A1 (en) * | 2008-01-15 | 2009-07-16 | Samsung Electronics Co., Ltd. | Method and system for image restoration using frequency-based image model |
| CN102222320A (zh) * | 2011-05-24 | 2011-10-19 | 西安电子科技大学 | 基于全变分迭代反向投影的单帧图像空间分辨率增强方法 |
| CN103020936A (zh) * | 2012-12-12 | 2013-04-03 | 湖北微驾技术有限公司 | 一种人脸图像超分辨率重构方法 |
| CN105960657A (zh) * | 2014-06-17 | 2016-09-21 | 北京旷视科技有限公司 | 使用卷积神经网络的面部超分辨率 |
Non-Patent Citations (3)
| Title |
|---|
| 张生兵: "航空影像的超分辨率显示", 《中国优秀博硕士学位论文全文数据库(硕士) 基础科学辑》 * |
| 沈婧: "基于Handel-C的可重构图像处理系统研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 郭伟伟 等: "基于迭代反投影的超分辨率图像重建", 《计算机科学与探索》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109214310A (zh) * | 2018-08-16 | 2019-01-15 | 安徽超清科技股份有限公司 | 提高人脸识别效率的方法和人脸识别系统 |
| CN110490796A (zh) * | 2019-04-11 | 2019-11-22 | 福建师范大学 | 一种高低频成分融合的人脸超分辨率处理方法及系统 |
| CN110490796B (zh) * | 2019-04-11 | 2023-02-14 | 福建师范大学 | 一种高低频成分融合的人脸超分辨率处理方法及系统 |
| CN112053282A (zh) * | 2019-06-06 | 2020-12-08 | 北京京东尚科信息技术有限公司 | 识别分辨率的设置方法、系统、设备及存储介质 |
| CN112053282B (zh) * | 2019-06-06 | 2025-01-14 | 北京京东尚科信息技术有限公司 | 识别分辨率的设置方法、系统、设备及存储介质 |
| CN113628116A (zh) * | 2021-10-12 | 2021-11-09 | 腾讯科技（深圳）有限公司 | 图像处理网络的训练方法、装置、计算机设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7542156B2 (ja) | 人物画像修復方法、装置、電子機器、記憶媒体及びプログラム製品 | |
| Wang et al. | Real-esrgan: Training real-world blind super-resolution with pure synthetic data | |
| CN111275626B (zh) | 一种基于模糊度的视频去模糊方法、装置及设备 | |
| Zhang et al. | One-two-one networks for compression artifacts reduction in remote sensing | |
| CN110163237B (zh) | 模型训练及图像处理方法、装置、介质、电子设备 | |
| CN108320267A (zh) | 用于人脸图像的超分辨率处理方法 | |
| CN110136055B (zh) | 图像的超分辨率方法和装置、存储介质、电子装置 | |
| CN108182669A (zh) | 一种基于多个图片尺寸的生成对抗网络的超分辨率复原方法 | |
| KR102493492B1 (ko) | 초해상도 모델의 메타 러닝을 통한 빠른 적응 방법 및 장치 | |
| CN112734642A (zh) | 多尺度纹理转移残差网络的遥感卫星超分辨率方法及装置 | |
| Guan et al. | Srdgan: learning the noise prior for super resolution with dual generative adversarial networks | |
| Del Gallego et al. | Multiple-image super-resolution on mobile devices: an image warping approach | |
| CN115937794A (zh) | 小目标对象检测方法、装置、电子设备及存储介质 | |
| CN105335930B (zh) | 边缘数据驱动的鲁棒性人脸超分辨率处理方法及系统 | |
| Liu et al. | Single image super-resolution using a deep encoder–decoder symmetrical network with iterative back projection | |
| CN112651911A (zh) | 一种基于偏振图像的高动态范围成像生成方法 | |
| Cristóbal et al. | Superresolution imaging: a survey of current techniques | |
| US20140010440A1 (en) | Image processing method and device | |
| Oh et al. | Fpanet: Frequency-based video demoireing using frame-level post alignment | |
| WO2021245982A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| CN105160630A (zh) | 一种光学超分辨率图像重建方法 | |
| CN114913095B (zh) | 基于域适应的深度去模糊方法 | |
| CN117544863A (zh) | 一种基于记录仪的信息采集方法、系统及记录仪 | |
| CN113012071B (zh) | 一种基于深度感知网络的图像失焦去模糊方法 | |
| Noor et al. | Multi-frame super resolution with deep residual learning on flow registered non-integer pixel images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180724 |
|
| RJ01 | Rejection of invention patent application after publication |