CN111738934B - 基于mtcnn的红眼自动修复方法 - Google Patents

基于mtcnn的红眼自动修复方法 Download PDF

Info

Publication number
CN111738934B
CN111738934B CN202010413910.8A CN202010413910A CN111738934B CN 111738934 B CN111738934 B CN 111738934B CN 202010413910 A CN202010413910 A CN 202010413910A CN 111738934 B CN111738934 B CN 111738934B
Authority
CN
China
Prior art keywords
red
face
eye
eyes
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010413910.8A
Other languages
English (en)
Other versions
CN111738934A (zh
Inventor
苏雪平
高蒙
陈宁
任劼
李云红
朱丹尧
段嘉伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Polytechnic University
Original Assignee
Xian Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Polytechnic University filed Critical Xian Polytechnic University
Priority to CN202010413910.8A priority Critical patent/CN111738934B/zh
Publication of CN111738934A publication Critical patent/CN111738934A/zh
Application granted granted Critical
Publication of CN111738934B publication Critical patent/CN111738934B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于MTCNN的红眼自动修复方法，具体按照以下步骤实施：步骤1、将红眼图像输入到MTCNN网络中，MTCNN网络检测人脸并返回人脸的位置以及人脸的双眼瞳孔、鼻尖和左右嘴角的横纵坐标；步骤2、针对步骤1得到的人脸的双眼瞳孔坐标来计算双眼瞳孔距离，然后再进行比例拓展，经过参数调整后得到ROI；步骤3、对步骤2得到的ROI，进行遮蔽红眼、清理瞳孔掩膜以及修复红眼的操作，最后将处理后的图像复制到原始图像的眼睛区域，得到修复后的人脸图像。本发明的方法具有全自动、误检率低、红眼修复速度快的优点。

Description

基于MTCNN的红眼自动修复方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于MTCNN的红眼自动修复方法。
背景技术
红眼是相片中人眼瞳孔处的红色斑点，它是由相机的闪光灯造成的。环境亮度较暗时人类的瞳孔会适当地放大，当眼睛突然接收到强烈的光线时就会发生血管反射，并反射给镜头血色的光线，这使得相片中眼睛瞳孔处呈现红色。红眼与人们以往所认知的眼睛颜色有较大反差，它降低了相片的质量。红眼是摄影中常见的不协调的因素，诸多学者提出了多种红眼修复的方法，主要包括全自动修复和半自动修复两种方法。半自动红眼修复算法的原理：首先手动选择红眼的ROI(Region of Interest，感兴趣区域)，然后使用相应的算法确定眼睛位置，最后调整眼睛像素以修复红眼。虽然半自动红眼修复算法较为精确，但需要手动处理，无法适用于处理大规模数据。自动红眼修复算法的基本原理：首先使用眼睛的某些特征，采用相应的方法自动确定红眼位置，最后对红眼进行修复。虽然自动红眼修复算法无需手动处理，但效率不高、速度慢、易受噪声干扰、鲁棒性差，因此综合来看，目前的红眼修复方法存在红眼修复的速度比较慢，且误检率比较高的问题。
发明内容
本发明的目的是提供一种基于MTCNN的红眼自动修复方法，解决了现有技术中红眼修复方法存在的红眼修复的速度比较慢，且误检率比较高的问题。
本发明所采用的技术方案是，
基于MTCNN的红眼自动修复方法，具体按照以下步骤实施：
步骤1、将红眼图像输入到MTCNN网络中，MTCNN网络检测人脸并返回人脸的位置以及人脸的双眼瞳孔、鼻尖和左右嘴角的横纵坐标；
步骤2、针对步骤1得到的人脸的双眼瞳孔坐标来计算双眼瞳孔距离，然后再进行比例拓展，经过参数调整后得到ROI；
步骤3、对步骤2得到的ROI，进行遮蔽红眼、清理瞳孔掩膜以及修复红眼的操作，最后将处理后的图像复制到原始图像的眼睛区域，得到修复后的人脸图像。
本发明的特点还在于，
步骤1具体按照以下步骤实施：
步骤1.1将输入的红眼图像依据设定的尺寸创建图像金字塔，将红眼图像进行多级缩放，得到一组不同尺寸的输入图像；
步骤1.2、将一组不同尺寸的图像输入到P-Net中，依次通过不同尺寸的卷积层与池化层生成特征图，最后通过特征图判断人脸轮廓点，图像由P-Net分析处理后产生人脸候选框和边框回归向量，再校准后得到若干个人脸候选框；
步骤1.3、将步骤1.2中得到的若干个人脸候选框输入到R-Net中做进一步训练；通过所设阈值继续去除掉不达标的人脸候选框，并用非极大值抑制再去掉高度重叠的人脸候选框，得到进一步训练后的若干个人脸候选框；
步骤1.4、将步骤1.3得到的进一步训练后的若干个人脸候选框输入到O-Net网络中，O-Net网络进行进一步精准定位人脸位置后，最后输出人脸位置以及人脸的双眼瞳孔、鼻尖和左右嘴角的横纵坐标的特征点。
步骤2中，双眼瞳孔距离的计算具体按照如下步骤实施：
通过人脸检测返回的双眼坐标使用如下公式(6)计算双眼瞳孔的距离：
其中，Dlr为人脸左右眼瞳孔的距离，和/>为左眼的横纵坐标，/>和为右眼的横纵坐标。
步骤2中，比例拓展具体按照如下步骤实施：
通过双眼瞳孔距离，按一定的比例调整，分别用矩形框标记出人脸左右眼的ROI，其计算公式如下：
其中，LELx,y为左眼矩形框左上角坐标，LERx,y为左眼矩形框右下角坐标，RELx,y右眼矩形框左上角坐标，RERx,y右眼矩形框右下角坐标，imw和imh分别表示人脸图像的宽和高。
步骤3具体按照如下步骤实施：
步骤3.1、将ROI分割成红、绿以及蓝三个通道，然后创建掩膜，仅处理红色瞳孔区域；最后将提取出的红色瞳孔区域置为白色，其它区域置为黑色；
步骤3.2、对创建的掩膜进行轮廓检测，提取出掩膜中可能为红眼的白色区域，然后计算每个白色区域轮廓所构成的面积，并将具有最大面积的轮廓区域与像素点保存，精准定位出红眼区域，最后对红眼区域进行闭运算操作，去掉红眼区域内的噪声点；
步骤3.3、通过平均绿色通道和蓝色通道来创建平均通道，并使用其像素值替换红眼区域内的红绿蓝三个通道的所有像素值，然后合并红绿蓝三个通道，再采用双边滤波对修复区域进行平滑去噪处理，最后得到修复后的人脸图像。
步骤3.3中，双边滤波对修复区域进行平滑去噪处理具体按照如下公式(13)进行：
其中w(i,j,k,l)由空间域核wd(i,j,k,l)和值域核wr(i,j,k,l)相乘得到，具体如下公式(14)：
其中q(i,j)为模板窗口的其它系数的坐标；p(k,l)为模板窗口的中心坐标点；σd与σr为高斯函数的标准差；f(i,j)表示图像在点q(i,j)处的像素值；f(k,l)表示图像在点p(k,l)处的像素值。
本发明的有益效果是：本发明基于MTCNN的红眼自动修复方法，以近年来卷积神经网路的人脸检测研究结果为基础，结合MTCNN的优势，提高人脸检测率和检测速度，改善图像中红眼的不和谐因素，修复人脸图像中的红眼，实现全自动、人眼检测率为94.74％、人眼误检率为3.57％，红眼修复率为84.11％，红眼图像修复速度为347.51毫秒。
附图说明
图1是本发明基于MTCNN的红眼自动修复方法的原理图；
图2是本发明基于MTCNN的红眼自动修复方法的P-Net网络图；
图3是本发明基于MTCNN的红眼自动修复方法的R-Net网络图；
图4是本发明基于MTCNN的红眼自动修复方法的O-Net网络图。
具体实施方式
下面结合附图和具体实施方式对本发明一种基于MTCNN的红眼自动修复方法进行详细说明。
如图1所示，基于MTCNN的红眼自动修复方法，具体按照以下步骤实施：
步骤1、将红眼图像输入到MTCNN网络中，MTCNN网络检测人脸并返回人脸的位置以及人脸的双眼瞳孔、鼻尖和左右嘴角的横纵坐标；
步骤2、针对步骤1得到的人脸的双眼瞳孔坐标来计算双眼瞳孔距离，然后再进行比例拓展，经过参数调整后得到ROI(Region of Interest，感兴趣区域)；
步骤3、对步骤2得到的ROI，进行遮蔽红眼、清理瞳孔掩膜以及修复红眼的操作，最后将处理后的图像复制到原始图像的眼睛区域，得到修复后的人脸图像。
进一步地，步骤1.1将输入的红眼图像依据设定的尺寸创建图像金字塔，将红眼图像进行多级缩放，得到一组不同尺寸的输入图像；
步骤1.2、将一组不同尺寸的图像输入到全卷积神经网络(P-Net)中，依次通过不同尺寸的卷积层与池化层生成特征图，最后通过特征图判断人脸轮廓点，图像由P-Net分析处理后产生人脸候选框和边框回归向量，再校准后得到若干个人脸候选框；
步骤1.3、将步骤1.2中得到的若干个人脸候选框输入到R-Net中做进一步训练；通过所设阈值继续去除掉不达标的人脸候选框，并用非极大值抑制(Non-MaximumSuppression，NMS)再去掉高度重叠的人脸候选框，得到进一步训练后的若干个人脸候选框；
步骤1.4、将步骤1.3得到的进一步训练后的若干个人脸候选框输入到O-Net网络中，O-Net网络进行进一步精准定位人脸位置后，最后输出人脸位置以及人脸的双眼瞳孔、鼻尖和左右嘴角的横纵坐标的特征点。
进一步地，步骤2中，双眼瞳孔距离的计算具体按照如下步骤实施：
通过人脸检测返回的双眼坐标使用如下公式(6)计算双眼瞳孔的距离：
其中，Dlr为人脸左右眼瞳孔的距离，和/>为左眼的横纵坐标，/>和为右眼的横纵坐标。
进一步地，步骤2中，比例拓展具体按照如下步骤实施：
通过双眼瞳孔距离，按一定的比例调整，分别用矩形框标记出人脸左右眼的ROI，其计算公式如下：
其中，LELx,y为左眼矩形框左上角坐标，LERx,y为左眼矩形框右下角坐标，RELx,y右眼矩形框左上角坐标，RERx,y右眼矩形框右下角坐标，imw和imh分别表示人脸图像的宽和高。
进一步地，步骤3具体按照如下步骤实施：
步骤3.1、将ROI分割成红、绿以及蓝三个通道，然后创建掩膜，仅处理红色瞳孔区域；最后将提取出的红色瞳孔区域置为白色，其它区域置为黑色；
步骤3.2、对创建的掩膜进行轮廓检测，提取出掩膜中可能为红眼的白色区域，然后计算每个白色区域轮廓所构成的面积，并将具有最大面积的轮廓区域与像素点保存，精准定位出红眼区域，最后对红眼区域进行闭运算操作，去掉红眼区域内的噪声点；
步骤3.3、通过平均绿色通道和蓝色通道来创建平均通道，并使用其像素值替换红眼区域内的红绿蓝三个通道的所有像素值，然后合并红绿蓝三个通道，再采用双边滤波对修复区域进行平滑去噪处理，最后得到修复后的人脸图像。
步骤3.3中，双边滤波对修复区域进行平滑去噪处理具体按照如下公式(13)进行：
其中w(i,j,k,l)由空间域核wd(i,j,k,l)和值域核wr(i,j,k,l)相乘得到，具体如下公式(14)：
其中q(i,j)为模板窗口的其它系数的坐标；p(k,l)为模板窗口的中心坐标点；σd与σr为高斯函数的标准差；f(i,j)表示图像在点q(i,j)处的像素值；f(k,l)表示图像在点p(k,l)处的像素值。
下面通过具体的实施例对本发明基于MTCNN的红眼自动修复方法进行进一步详细说明。
实施例
本发明基于MTCNN的红眼自动修复方法，具体按照如下步骤进行：
基于MTCNN人脸检测
针对输入的红眼图像，首先输入到MTCNN网络中检测人脸并返回人脸位置和人脸关键坐标，具体步骤如下：
Step1：对于给定输入图像首先依据设定的尺寸(minsize)创建图像金字塔(Image_Pychramid)，将图像进行多级缩放(scale)操作，得到一组不同尺寸的输入图像。本文选取的scale＝0.7，minsize＝12。
Step2：将Step1中图像金字塔得到的一组不同尺寸的图像输入到全卷积神经网络(P-Net)中，如图2所示。P-Net网络的输入层大小为12*12*3，第一个卷积层大小为3*3*10，采用最大池化层大小为2*2，生成10个5*5的特征图；第二个卷积层的大小为3*3*16，生成16个3*3的特征图；第三个卷积层的大小为3*3*32，生成32个1*1的特征图。最后针对32个1*1的特征图，首先，通过2个1*1*32的卷积核，生成2个1*1的特征图用于人脸分类；其次，通过4个1*1*32的卷积核，生成4个1*1的特征图用于判断回归框；最后通过10个1*1*32的卷积核，生成10个1*1的特征图用于判断人脸轮廓点。图像由P-Net分析处理后产生人脸候选框和边框回归向量，该层网络首先根据所设阈值(threshold)校准，去掉不达标的人脸候选框，并用非极大值抑制(Non-Maximum Suppression，NMS)再去掉高度重叠的人脸候选框。
Step3：将Step2中生成的若干候选框输入到R-Net中做进一步训练，通过所设阈值继续去除掉不达标的人脸候选框，并用NMS再去掉高度重叠的人脸候选框。R-Net网络如图3所示，R-Net输入层大小为24*24*3，第一个卷积层大小为3*3*28,采用最大池化层大小为3*3，生成28个11*11的特征图。第二个卷积层大小为3*3*48，采用最大池化层大小为3*3，生成48个4*4的特征图。第三个卷积层大小为2*2*64，生成64个3*3的特征图。将64个3*3的特征图输入到一个128维的全连接层。与step2不同的是，最后使用维度为2的全连接层进行人脸分类，使用维度为4的全连接层进行边界框回归，使用维度为10的全连接层进行人脸关键点定位。
Step4：将Step3中生成的若干候选框输入到O-Net网络中，如图4所示。O-Net输入层大小为48*48*3，第一个卷积层大小为3*3*32，采用3*3大小的最大池化层，生成32个23*23的特征图；第二个卷积层大小为3*3*63，采用3*3大小的最大池化层，生成64个10*10的特征图；第三个卷积层大小为3*3*64，采用2*2大小的最大池化层，生成64个4*4的特征图；第四个卷积层大小为2*2*128，生成128个3*3大小的特征图；最后将128个3*3大小的特征图连接一个256维的全连接层。最后分别使用维度为2、4、10大小的全连接层分别进行人脸分类、边界框回归和人脸关键点定位。O-Net对人脸候选框的去除与前两步类似，与两个网络不同的是会进一步精准定位人脸位置，最后输出人脸的5个特征点(双眼瞳孔、鼻尖、左右嘴角)。
上述三个网络选取的阈值threshold分别为0.6，0.7，0.7，卷积层滑动步长均为1，不采取全零填充，池化层滑动步长为2，采取全零填充，且激活函数为PReLu，函数表达式为：
对于样本xi人脸的判定交叉熵损失函数为：
其中表示人脸的真实类别标签，0代表非人脸，1代表人脸，pi表示xi为人脸的概率。
人脸候选框回归采用欧式距离损失函数：
其中表示人脸候选框的真实坐标，/>表示从网络中得到的人脸候选框，包含人脸候选框的左上角横纵坐标、高和宽。
人脸的特征点定位采用欧式距离损失函数：
其中表示人脸5个特征点的真实坐标，/>包含人脸的双眼瞳孔横纵坐标，鼻尖横纵坐标，左右嘴角的横纵坐标。
MTCNN网络最终的目标函数为：
其中N代表样本总数。α表示人脸判定、候选框回归和特征点定位在当前阶段网络中的权重，β表示样本的真实标签；在P-Net和R-net网络中，face、box、point的α值分别为1、0.5、0.5，而在O-Net网络中，face、box、point的α值分别为1、0.5、1。
(2)人眼定位
针对上一步人脸检测获得的双眼瞳孔坐标，计算双眼瞳孔距离再进行一定的比例拓展并经过适量的参数调整就可得到较好的眼部区域(即，红眼修复的ROI)，并减少计算量，提高鲁棒性。具体步骤如下：
Step 1：通过人脸检测返回的双眼坐标使用如下公式(6)计算双眼瞳孔的距离：
其中，Dlr为人脸左右眼瞳孔的距离，和/>为左眼的横纵坐标，/>和为右眼的横纵坐标。
Step 2：通过Step 1中计算的人脸双眼瞳孔距离按一定的比例调整，分别用矩形框标记出人脸左右眼的ROI，其计算公式如下：
其中LELx,y为左眼矩形框左上角坐标，LERx,y为左眼矩形框右下角坐标，RELx,y右眼矩形框左上角坐标，RERx,y右眼矩形框右下角坐标，imw和imh分别表示人脸图像的宽和高。
(3)红眼修复
本发明提出的红眼修复方法包括遮蔽红眼、清理瞳孔掩膜、修复红眼3个步骤，具体步骤如下：
Step1：首先将矩形框标记出的人眼ROI分割成R、G、B三个通道(即红色、绿色和蓝色通道)；其次创建红眼检测器，即创建一个红色通道像素值大于50且大于蓝色通道和绿色通道像素值之和的掩膜，其目的是用掩膜作屏蔽，仅处理红色瞳孔区域；最后将提取出的红色瞳孔区域置为白色，其它区域置为黑色。计算公式如下：
其中mask表示掩膜，N表示图像尺寸，ri、bi和gi分别表示像素点i在红色通道、蓝色通道和绿色通道的像素值。该步骤可初步定位红眼区域，但红眼区域周围或内部可能存在噪声干扰点，因此需要进一步精准定位并去噪。
Step2：由Step1中可知红眼区域被置为白色，其它区域被置为黑色，因此为了进一步精准定位红眼区域。首先对创建的掩膜进行轮廓检测，提取出掩膜中可能为红眼的白色区域，然后计算每个白色区域轮廓所构成的面积，并将具有最大面积的轮廓区域与像素点保存下来，即可精准定位出红眼区域。由于精准定位出的红眼区域内外可能存在噪声点的干扰，因此需要去噪处理。采用5*5大小的十字形结构对红眼区域进行闭运算操作，去掉红眼区域内的噪声点，同时使瞳孔区域较为圆润。
Step3：通过上述步骤操作，每个眼睛都有一个包含红色部分的掩膜，因为红眼会充实图像中的红色通道，使之饱和，且红色的眼睛仅在红色通道中破坏纹理，在绿色通道和蓝色通道效果依然很好，因此应该找到一个合理的纹理来修复它。首先通过平均绿色通道和蓝色通道来创建平均通道，公式为：
然后用该平均通道像素值替换红眼区域内的三通道的所有像素值，最后合并R、G、B三个通道，通过上述操作修复后的眼睛区域边界与周围像素存在显著差别，为了使修复后的人眼更加自然，采用双边滤波对修复区域进行平滑去噪处理，计算公式如下：
其中w(i,j,k,l)由空间域核wd(i,j,k,l)和值域核wr(i,j,k,l)相乘得到，公式如下：
其中q(i,j)为模板窗口的其它系数的坐标；p(k,l)为模板窗口的中心坐标点；σd和σr为高斯函数的标准差；f(i,j)表示图像在点q(i,j)处的像素值；f(k,l)表示图像在点p(k,l)处的像素值。
最后将处理后的图像复制到原始图像的眼睛区域，输出并保存修复后的人脸图像。
本发明基于MTCNN的红眼自动修复方法，具有人脸检测速度快、在非约束条件下鲁棒性好且能够通过回归获取人眼关键点坐标等优点，该方法具有全自动、误检率低、红眼修复速度快的优点。

Claims (4)

1.基于MTCNN的红眼自动修复方法，其特征在于，具体按照以下步骤实施：
步骤1、将红眼图像输入到MTCNN网络中，MTCNN网络检测人脸并返回人脸的位置以及人脸的双眼瞳孔、鼻尖和左右嘴角的横纵坐标；
步骤2、针对步骤1得到的人脸的双眼瞳孔坐标来计算双眼瞳孔距离，然后再进行比例拓展，经过参数调整后得到ROI；
步骤3、对步骤2得到的ROI，进行遮蔽红眼、清理瞳孔掩膜以及修复红眼的操作，最后将处理后的图像复制到原始图像的眼睛区域，得到修复后的人脸图像；
所述步骤3具体按照如下步骤实施：
步骤3.1、将ROI分割成红、绿以及蓝三个通道，然后创建掩膜，仅处理红色瞳孔区域；最后将提取出的红色瞳孔区域置为白色，其它区域置为黑色；
其中mask表示掩膜，N表示图像尺寸，ri、bi和gi分别表示像素点i在红色通道、蓝色通道和绿色通道的像素值；
步骤3.2、对创建的掩膜进行轮廓检测，提取出掩膜中可能为红眼的白色区域，然后计算每个白色区域轮廓所构成的面积，并将具有最大面积的轮廓区域与像素点保存，精准定位出红眼区域，最后对红眼区域进行闭运算操作，去掉红眼区域内的噪声点；
其中mean表示像素点i在蓝色通道和蓝色通道的像素值平均值；
步骤3.3、通过平均绿色通道和蓝色通道来创建平均通道，并使用其像素值替换红眼区域内的红绿蓝三个通道的所有像素值，然后合并红绿蓝三个通道，再采用双边滤波对修复区域进行平滑去噪处理，最后得到修复后的人脸图像；
所述步骤3.3中，所述双边滤波对修复区域进行平滑去噪处理具体按照如下公式(13)进行：
其中w(i,j,k,l)由空间域核wd(i,j,k,l)和值域核wr(i,j,k,l)相乘得到，具体如下公式(14)：
w(i,j,k,l)＝wd(i,j,k,l)*wr(i,j,k,l)
其中q(i,j)为模板窗口的其他系数的坐标；p(k,l)为模板窗口的中心坐标点；σd和σr为高斯函数的标准差；f(i,j)表示图像在点q(i,j)处的像素值；f(k,l)表示图像在点p(k,l)处的像素值。
2.根据权利要求1所述的基于MTCNN的红眼自动修复方法，其特征在于，所述步骤1具体按照以下步骤实施：
步骤1.1将输入的红眼图像依据设定的尺寸创建图像金字塔，将红眼图像进行多级缩放，得到一组不同尺寸的输入图像；
步骤1.2、将一组不同尺寸的图像输入到P-Net中，依次通过不同尺寸的卷积层与池化层生成特征图，最后通过特征图判断人脸轮廓点，图像由P-Net分析处理后产生人脸候选框和边框回归向量，再校准后得到若干个人脸候选框；
步骤1.3、将步骤1.2中得到的若干个人脸候选框输入到R-Net中做进一步训练；通过所设阈值继续去除掉不达标的人脸候选框，并用非极大值抑制再去掉高度重叠的人脸候选框，得到进一步训练后的若干个人脸候选框；
步骤1.4、将步骤1.3得到的进一步训练后的若干个人脸候选框输入到O-Net网络中，O-Net网络进行进一步精准定位人脸位置后，最后输出人脸位置以及人脸的双眼瞳孔、鼻尖和左右嘴角的横纵坐标的特征点。
3.根据权利要求1所述的基于MTCNN的红眼自动修复方法，其特征在于，步骤2中，所述双眼瞳孔距离的计算具体按照如下步骤实施：
通过人脸检测返回的双眼坐标使用如下公式(6)计算双眼瞳孔的距离：
其中，Dlr为人脸左右眼瞳孔的距离，和/>为左眼的横纵坐标，/>和/>为右眼的横纵坐标。
4.根据权利要求3所述的基于MTCNN的红眼自动修复方法，其特征在于，步骤2中，所述比例拓展具体按照如下步骤实施：
通过所述双眼瞳孔距离，按一定的比例调整，分别用矩形框标记出人脸左右眼的ROI，其计算公式如下：
其中，LELx,y为左眼矩形框左上角坐标，LERx,y为左眼矩形框右下角坐标，RELx,y右眼矩形框左上角坐标，RERx,y右眼矩形框右下角坐标，imw和imh分别表示人脸图像的宽和高。
CN202010413910.8A 2020-05-15 2020-05-15 基于mtcnn的红眼自动修复方法 Active CN111738934B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010413910.8A CN111738934B (zh) 2020-05-15 2020-05-15 基于mtcnn的红眼自动修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010413910.8A CN111738934B (zh) 2020-05-15 2020-05-15 基于mtcnn的红眼自动修复方法

Publications (2)

Publication Number Publication Date
CN111738934A CN111738934A (zh) 2020-10-02
CN111738934B true CN111738934B (zh) 2024-04-02

Family

ID=72647320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010413910.8A Active CN111738934B (zh) 2020-05-15 2020-05-15 基于mtcnn的红眼自动修复方法

Country Status (1)

Country Link
CN (1) CN111738934B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989884B (zh) * 2021-10-21 2024-05-14 武汉博视电子有限公司 基于脸部肌肤图像紫外深层及浅层色斑的识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1750017A (zh) * 2005-09-29 2006-03-22 上海交通大学 基于人脸检测的红眼去除方法
CN109389562A (zh) * 2018-09-29 2019-02-26 深圳市商汤科技有限公司 图像修复方法及装置
CN109409303A (zh) * 2018-10-31 2019-03-01 南京信息工程大学 一种基于深度的级联多任务人脸检测与配准方法
CN110175504A (zh) * 2019-04-08 2019-08-27 杭州电子科技大学 一种基于多任务级联卷积网络的目标检测和对齐方法
EP3531377A1 (en) * 2018-02-23 2019-08-28 Samsung Electronics Co., Ltd. Electronic device for generating an image including a 3d avatar reflecting face motion through a 3d avatar corresponding to a face
DE102019114666A1 (de) * 2018-06-01 2019-12-05 Apple Inc. Rote-augen-korrektur-techniken
CN110619319A (zh) * 2019-09-27 2019-12-27 北京紫睛科技有限公司 一种基于改进的mtcnn模型人脸检测方法和系统
CN110969109A (zh) * 2019-11-26 2020-04-07 华中科技大学 一种非受限条件下眨眼检测模型及其构建方法和应用

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7155058B2 (en) * 2002-04-24 2006-12-26 Hewlett-Packard Development Company, L.P. System and method for automatically detecting and correcting red eye
US7567707B2 (en) * 2005-12-20 2009-07-28 Xerox Corporation Red eye detection and correction
US8811683B2 (en) * 2011-06-02 2014-08-19 Apple Inc. Automatic red-eye repair using multiple recognition channels
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1750017A (zh) * 2005-09-29 2006-03-22 上海交通大学 基于人脸检测的红眼去除方法
EP3531377A1 (en) * 2018-02-23 2019-08-28 Samsung Electronics Co., Ltd. Electronic device for generating an image including a 3d avatar reflecting face motion through a 3d avatar corresponding to a face
DE102019114666A1 (de) * 2018-06-01 2019-12-05 Apple Inc. Rote-augen-korrektur-techniken
CN109389562A (zh) * 2018-09-29 2019-02-26 深圳市商汤科技有限公司 图像修复方法及装置
CN109409303A (zh) * 2018-10-31 2019-03-01 南京信息工程大学 一种基于深度的级联多任务人脸检测与配准方法
CN110175504A (zh) * 2019-04-08 2019-08-27 杭州电子科技大学 一种基于多任务级联卷积网络的目标检测和对齐方法
CN110619319A (zh) * 2019-09-27 2019-12-27 北京紫睛科技有限公司 一种基于改进的mtcnn模型人脸检测方法和系统
CN110969109A (zh) * 2019-11-26 2020-04-07 华中科技大学 一种非受限条件下眨眼检测模型及其构建方法和应用

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
MTCNN一些小问题讲解;薛定谔的炼丹炉！;《CSDN博客》;全文 *
人工智能关于视盘区多任务深度学习模型在青光眼分类中的应用;张悦;余双;马锴;初春燕;张莉;庞睿奇;王宁利;刘含若;;中华眼科医学杂志(电子版);20200428(02);全文 *
医学图像边缘检测的Levy-DNA-ACO算法研究;张经宇等;计算机工程与应用;20181215(24);全文 *
基于MTCNN和Facenet的人脸识别;刘长伟;《邮电设计技术》(第02期);全文 *
基于改进MTCNN模型的人脸检测与面部关键点定位;陈雨薇;《中国优秀硕士学位论文全文数据库（电子期刊）》(第01期);全文 *

Also Published As

Publication number Publication date
CN111738934A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN111223088B (zh) 一种基于深层卷积神经网络的铸件表面缺陷识别方法
CN105894484B (zh) 一种基于直方图归一化与超像素分割的hdr重建算法
CN112819772B (zh) 一种高精度快速图形检测识别方法
CN106228528B (zh) 一种基于决策图与稀疏表示的多聚焦图像融合方法
CN108876768B (zh) 导光板暗影缺陷检测方法
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
JP2005078646A (ja) 映像に基づいたフォトリアリスティックな３次元の顔モデリング方法及び装置
CN114118144A (zh) 抗干扰的航空遥感图像阴影精准检测方法
CN108133216B (zh) 基于机器视觉的可实现小数点读取的数码管读数识别方法
CN108932493A (zh) 一种面部皮肤质量评价方法
CN112991193B (zh) 深度图像修复方法、设备及计算机可读存储介质
CN112907519A (zh) 一种基于深度学习的金属曲面缺陷分析系统及方法
CN111932572B (zh) 一种铝合金熔池轮廓提取方法
CN114926407A (zh) 一种基于深度学习的钢材表面缺陷检测系统
CN108154496B (zh) 一种适用于电力作业机器人的电力设备外观变化识别方法
CN111325688B (zh) 融合形态学聚类优化大气光的无人机图像去雾方法
CN111738934B (zh) 基于mtcnn的红眼自动修复方法
CN116843581B (zh) 一种多场景图的图像增强方法、系统、设备和存储介质
CN112200755B (zh) 一种图像去雾方法
CN111192280B (zh) 一种基于局部特征的视盘边缘检测方法
CN115526811B (zh) 一种适应于多变光照环境的自适应视觉slam方法
CN114333073B (zh) 基于视觉感知的智能台灯辅助调节方法与系统
CN116596987A (zh) 一种基于双目视觉的工件三维尺寸高精度测量方法
CN113610091A (zh) 一种空气开关状态的智能识别方法、识别装置及存储介质
CN113888632A (zh) 结合rgbd图像水池污渍定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant