CN111008929A - 图像矫正方法及电子设备 - Google Patents
图像矫正方法及电子设备 Download PDFInfo
- Publication number
- CN111008929A CN111008929A CN201911318536.7A CN201911318536A CN111008929A CN 111008929 A CN111008929 A CN 111008929A CN 201911318536 A CN201911318536 A CN 201911318536A CN 111008929 A CN111008929 A CN 111008929A
- Authority
- CN
- China
- Prior art keywords
- illumination compensation
- eye region
- network
- eye
- pixel point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000003702 image correction Methods 0.000 title abstract description 11
- 238000012937 correction Methods 0.000 claims abstract description 96
- 238000005286 illumination Methods 0.000 claims description 112
- 230000033001 locomotion Effects 0.000 claims description 54
- 238000012549 training Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000005067 remediation Methods 0.000 claims 1
- 238000005070 sampling Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 13
- 230000009466 transformation Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 7
- 238000011176 pooling Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 208000004350 Strabismus Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种图像矫正方法及电子设备，该方法包括：将目标图像输入预设眼神矫正模型，得到所述目标图像中眼部区域各个像素点对应的矫正参数；根据所述眼部区域各个像素点对应的矫正参数矫正所述目标图像中眼部区域的眼神。通过本发明提供的图像矫正方法，不仅可以减少视线偏差对图像质量的影响，还可以减少眼神矫正对图像整体色调的影响。
Description
技术领域
本发明涉及通信技术领域，尤其涉及一种图像矫正方法及电子设备。
背景技术
在利用移动终端等电子设备自拍过程中，由于摄像头通常设置于电子设备的顶部位置或是边角位置，而拍照时人眼一般都是看向电子设备屏幕中的预览图像，而不是正视着摄像头，导致最终成像后人的眼神视线整体趋势都是眼睛向下看或者往旁边看，且眼睛不聚光，从而降低了自拍图像的质量。
可见，现有技术中存在因拍摄时视线偏差导致图像质量较差的问题。
发明内容
本发明实施例提供一种图像矫正方法及电子设备，能够解决因拍摄时视线偏差导致图像质量较差的问题。
为了解决上述技术问题，本发明是这样实现的：
第一方面，本发明实施例提供了一种图像矫正方法。该方法包括：
将目标图像输入预设眼神矫正模型，得到所述目标图像中眼部区域各个像素点对应的矫正参数；
根据所述眼部区域各个像素点对应的矫正参数矫正所述目标图像中眼部区域的眼神。
第二方面，本发明实施例还提供一种电子设备。该电子设备包括：
输入模块，用于将目标图像输入预设眼神矫正模型，得到所述目标图像中眼部区域各个像素点对应的矫正参数；
矫正模块，用于根据所述眼部区域各个像素点对应的矫正参数矫正所述目标图像中眼部区域的眼神。
第三方面，本发明实施例还提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述的图像矫正方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的图像矫正方法的步骤。
本发明实施例中，通过预设眼神矫正模型预测到的矫正参数对目标图像的眼部区域的眼神进行矫正，进而可以减少视线偏差对图像质量的影响，此外，由于眼神矫正后的图像的各个像素点均来源于眼神矫正前的图像的各个像素点，这样可以减少眼神矫正对图像整体色调的影响。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的图像矫正方法的流程图；
图2a是本发明实施例提供的眼部区域的特征点的示意图之一；
图2b是本发明实施例提供的眼部区域的特征点的示意图之二；
图3是本发明又一实施例提供的图像矫正方法的流程图；
图4是本发明又一实施例提供的图像矫正方法的流程图；
图5a是本发明实施例提供的深度卷积网络的结构图；
图5b是本发明实施例提供的卷积块的结构图；
图6是本发明实施例提供的图像样本的示意图；
图7是本发明实施例提供的移动参数预测的示意图；
图8是本发明实施例提供的电子设备的结构图；
图9为实现本发明各个实施例的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种图像矫正方法，应用于电子设备。上述电子设备可以是手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)、个人数字助理(personal digital assistant，简称PDA)或可穿戴式设备(Wearable Device)等。
参见图1，图1是本发明实施例提供的图像矫正方法的流程图，如图1所示，包括以下步骤：
步骤101、将目标图像输入预设眼神矫正模型，得到所述目标图像中眼部区域各个像素点对应的矫正参数。
本实施例中，上述目标图像可以是任意包括眼部区域的图像，例如，拍摄的图像或者采集的视频中的图像帧。可选的，可以在视频采集过程(例如，视频通话过程中)中对采集的各个图像帧利用本实施例提供的图像矫正方法进行眼神矫正。
具体的，可以在步骤101之前先检测目标图像的眼部区域的特征点，以定位目标图像的眼部区域，进而可以基于预设眼神矫正模型得到眼部区域各个像素点对应的矫正参数；也可以通过预设眼神矫正模型检测目标图像的眼部区域的特征点，以定位目标图像的眼部区域，再基于预设眼神矫正模型得到眼部区域各个像素点对应的矫正参数。可选的，本实施例还可以基于目标图像的眼部区域的特征点从目标图像中裁剪出眼部区域，进而将裁剪的眼部区域输入预设眼神矫正模型，得到眼部区域各个像素点对应的矫正参数。
其中，上述眼部区域的特征点可以包括眼睛的多个轮廓点和瞳孔中心点，如图2a所示。可选的，上述眼部区域的特征点还可以包括眼睛其他位置的至少一个特征点，如图2b所示。需要说明的是，可以基于神经网络算法或者SDM((Supervised Descent Method)，监督下降方法)方法等定位图像中的眼部区域的特征点，本实施例对此不做限定。
上述预设眼神矫正模型可以是基于深度卷积网络训练得到的模型，例如，全卷积网络(即FCN网络)、SegNet网络、DenseNet网络或者Unet网络等。实际应用中，可以基于多个图像样本对对上述深度卷积网络进行训练，得到上述预设眼神矫正模型，其中，上述图像样本对可以包括需要眼神矫正的图像和期望图像(也即期望眼神矫正后得到的图像)。
上述矫正参数可以用于矫正眼部区域的眼神，以使矫正后的眼部区域的眼神处于预设视角，例如，正视视角或直视视角等。需要说明的是，上述预设视角与用于训练预设眼神矫正模型的图像样本对中的期望图像相关，例如，若期望图像均为正视视角，则矫正后的眼部区域的眼神也处于正视视角，若期望图像均为左斜视视角，则矫正后的眼部区域的眼神也处于正视视角。
可选的，上述矫正参数可以包括移动参数，或者包括移动参数和光照补偿参数等。上述每个像素点对应的移动参数可以包括每个像素点对应移动距离和移动方向，或者每个像素点沿水平方向的移动距离和沿垂直方向的移动距离等。
步骤102、根据所述眼部区域各个像素点对应的矫正参数矫正所述目标图像中眼部区域的眼神。
本实施例中，可以分别根据眼部区域中各个像素点对应的矫正参数对该像素点进行矫正，以矫正眼部区域的眼神，使其处于预设视角，例如正视视角或直视视角等，进而可以减少视线偏差对图像质量的影响，此外，由于眼神矫正后的图像的各个像素点均来源于眼神矫正前的图像的各个像素点，这样可以减少眼神矫正对图像整体色调的影响。
参见图3，图3是本发明又一实施例提供的图像矫正方法的流程图。本发明实施例与上一实施例的区别主要在于进一步限定了矫正参数包括移动参数，本发明实施例中，所述根据所述眼部区域各个像素点对应的矫正参数矫正所述目标图像中眼部区域的眼神，包括：分别根据所述眼部区域中各个像素点对应的移动参数移动所述各个像素点，以矫正所述眼部区域的眼神。
步骤301、将目标图像输入预设眼神矫正模型，得到所述目标图像中眼部区域各个像素点对应的移动参数。
本实施例中，上述移动参数也可以称为扭曲变换参数。
步骤302、分别根据所述眼部区域中各个像素点对应的移动参数移动所述各个像素点，以矫正所述眼部区域的眼神。
在一实施方式中，上述移动参数可以包括移动距离和移动方向，所述分别根据所述眼部区域中各个像素点对应的移动参数移动所述各个像素点，以矫正所述眼部区域的眼神，可以包括：分别将所述眼部区域中各个像素点沿其对应的移动方向移动其对应的移动距离。
在另一实施方式中，所述移动参数可以包括沿长度方向或X轴方向需移动的像素个数u以及沿宽度方向或Y轴方向需移动的像素个数v；所述分别根据所述眼部区域中各个像素点对应的移动参数移动所述各个像素点，可以包括：
按照公式O(x，y)＝I(x+u(x，y)，y+v(x，y))，对所述眼部区域中各个像素点进行移动，以矫正所述眼部区域的眼神；
其中，O(x，y)表示眼神矫正后的眼部区域的像素点(x，y)的像素值，u(x，y)表示眼神矫正前的眼部区域的像素点(x，y)沿长度方向或X轴方向需移动的像素个数，v(x，y)表示眼神矫正前的眼部区域的像素点(x，y)沿宽度方向或Y轴方向需移动的像素个数。
本实施例分别根据所述眼部区域中各个像素点对应的移动参数移动所述各个像素点，以矫正目标图像的眼部区域的眼神，实现较为简单。此外，由于矫正后的图像中的每一个像素点都是源自于目标图像，可以保证矫正后的图像在整体色调上与目标图像是趋于一致的。
可选的，本实施例还可以在矫正眼部区域的眼神之前或之后，对眼部区域进行光照补偿，以提高得到的图像的质量。例如，可以将眼神矫正后的目标图像输入预先训练的光照补偿模型，以得到目标图像的眼部区域每个像素点对应的光照补偿参数，并基于眼部区域的每个像素点对应的光照补偿参数分别对眼部区域每个像素点进行光照补偿。
可选的，本实施例也可以对上述的深度卷积网络进行多任务训练，也即进行扭曲变换和光照补偿的联合训练，使得训练得到的预设眼神矫正模型可以同时输出眼部图像的每个像素点对应的移动参数和光照补偿参数，以提高光照补偿效果。
以下以在矫正眼部区域的眼神之后对眼部区域进行光照补偿为例进行说明：
参见图4，图4是本发明又一实施例提供的图像矫正方法的流程图。
如图4所示，本发明实施例提供的图像矫正方法包括以下步骤：
步骤401、将目标图像输入预设眼神矫正模型，得到所述目标图像中眼部区域各个像素点对应的矫正参数，其中，所述矫正参数包括移动参数和光照补偿参数。
该步骤中，上述预设眼神矫正模型可以同时输出目标图像的眼部区域的每个像素点对应的移动参数和光照补偿参数。具体的，可以在训练过程中对深度卷积网络进行多任务训练，也即进行扭曲变换和光照补偿的联合训练，不仅可以提高学习效果，使得训练得到的预设眼神矫正模型输出的输入图像的眼部区域每个像素点对应的移动参数和光照补偿参数，不仅可以更有效地进行图像矫正，还可以提高训练效率。
步骤402、分别根据所述眼部区域中各个像素点对应的移动参数移动所述各个像素点，以矫正所述眼部区域的眼神。
该步骤同上述步骤302，为避免重复，在此不做赘述。
步骤403、分别根据所述眼部区域中各个像素点对应的光照补偿参数，对所述眼部区域中各个像素点进行光照补偿。
本实施例中，上述光照补偿参数可以是光照补偿值或光照补偿权值等。具体的，可以分别基于眼部区域各个像素点对应的光照补偿参数对眼部区域中各个像素点进行光照补偿，以使得矫正后的图像更加真实自然。
本发明实施例中预设眼神矫正模型可以同时输出眼部区域的每个像素点对应的移动参数和光照补偿参数，并基于眼部区域的每个像素点对应的移动参数对每个像素点进行扭曲变换，以矫正眼部区域的眼神，基于眼部区域每个像素点对应的光照补偿参数进行光照补偿，以使得矫正后的图像更加真实自然，提高矫正后的图像质量。
可选的，所述光照补偿参数包括光照补偿权值；
上述步骤403，也即所述分别根据所述眼部区域中各个像素点对应的光照补偿参数，对所述眼部区域中各个像素点进行光照补偿，包括：
按照计算公式O2(x，y)＝O1(x，y)*(1-M(x，y))+M(x，y)，对所述眼部区域各个像素点进行光照补偿；
其中，O2(x，y)表示光照补偿后的眼部区域中的像素点(x，y)的像素值，O1(x，y)表示光照补偿前的眼部区域的像素点(x，y)的像素值，M(x，y)表示像素点(x，y)的光照补偿权值，(x，y)表示像素点的坐标索引值。
本实施例中，上述x的取值范围可以为[0，H]，其中，H为所述眼神矫正后的图像的长度。上述y的取值范围可以为[0，W]，其中，W为所述眼神矫正后的图像的宽度。具体的，对于眼神矫正后的图像中每个像素点，均可以按照上述计算公式对该像素点进行光照补偿。
本实施例采用上述计算公式对眼神矫正后的眼部区域中各个像素点进行光照补偿，可以提高光照补偿效果，使得矫正后的图像更加真实自然。
可选的，所述预设眼神矫正模型可以为基于深度卷积网络训练得到的模型。
本实施例中，上述深度卷积网络可以包括但不限于FCN网络、SegNet网络、DenseNet网络或者Unet网络等。
本实施例中，基于深度卷积网络训练预设眼神矫正模型，可以获得更加精确的眼神矫正效果。
可选的，所述矫正参数包括移动参数和光照补偿参数；
所述深度卷积网络包括U-Net主网络、移动参数预测子网络和光照补偿参数预测子网络；
其中，所述U-Net主网络分别与所述移动参数预测子网络和所述光照补偿参数预测子网络连接，用于提取输入图像的特征信息；所述移动参数预测子网络用于输出移动参数；所述光照补偿参数预测子网络用于输出光照补偿参数。
本实施例中，基于深度卷积网络对移动变换和光照补偿进行联合训练，使得训练得到的预设眼神矫正模型可以同时输出移动参数(也可称为扭曲变换参数)和光照补偿参数。
具体的，上述深度卷积网络可以包括U-Net主网络，用于提取输入图像的特征信息。
例如，如图5a所示的U-Net主网络10包括上采样网络和下采样网络，其中，上采样网络包括卷积块01(即ConvBlock01)至卷积块04(即ConvBlock04)，且卷积块01至卷积块04中每个卷积块的输出端均连接有池化层(即Pooling层)，其中，池化层用于对输入特征图进行降采样以减少需学习的参数量，此外，该池化层还可以用于增加输入特征图的通道数。U-Net主网络10包括的下采样网络包括卷积块05(即ConvBlock05)至卷积块08(即ConvBlock08)，且卷积块05至卷积块08中每个卷积块的输出端均连接有上采样层(即UpSampling层)。可选的，该上采样层可以对输入特征图进行双线性插值的上采样操作。上述上采样网络各层输出的特征图分别和下采样网络中输出的相同尺寸的特征图进行结合，以最大程度的保留降采样过程丢失的一些重要的特征信息。需要说明的是，上述卷积块可以是标准卷积网络、可分离卷积网络或残差卷积网络等，本实施例对此不做限定。
上述深度卷积网络还包括移动参数预测子网络(也可称为扭曲变换参数预测子网络)和光照补偿参数预测子网络。其中，上述移动参数预测子网络可以包括卷积层，该卷积层的卷积核的大小以及通道数可以根据移动参数预测子网络的输出参数进行合理设置，例如，若移动参数预测子网络的输出参数为位移向量，则该卷积层的卷积核可以为1x1，如图5a中的conv_1x1，通道数可以为2。上述光照补偿参数预测子网络也可以包括卷积层，该卷积层的卷积核的大小以及通道数可以根据光照补偿参数预测子网络的输出参数进行合理设置，例如，若光照补偿参数预测子网络的输出参数为光照补偿权值，则该卷积层的卷积核可以为1x1，如图5a中的conv_1x1，通道数可以为1。
本实施例基于深度卷积网络对扭曲变换和光照补偿进行联合训练，不仅可以提高学习效果，使得训练得到的预设眼神矫正模型输出的输入图像的每个像素点对应的移动参数和光照补偿参数可以更有效地进行图像矫正，还可以提高训练效率。采用U-Net主网络可以很好的保留输入图像中的特征信息，从而能够更加精准的预测位移向量，此外，U-Net主网络基本可以对任意形状大小的图像进行卷积操作，这样可以使得眼神矫正后的图像不会变的模糊。
可选的，上述深度卷积网络可以不包括全连接层，以减少需要训练的参数量。
可选的，所述U-Net主网络包括下采样网络和上采样网络，其中，所述下采样网络和所述上采样网络均包括至少两个卷积块，所述卷积块为残差卷积网络。
例如，如图5b所示，残差卷积网络结构每一层均包括卷积层(即Convolution层)、批量归一化层(即BatchNorm层)和激活层(即Relu层)。
本实施例中U-Net主网络中的卷积块采用残差卷积网络结构，可以提高网络的学习能力，进而可以提高训练得到的预设眼神矫正模型进行眼神矫正的有效性。
以下结合图5a对基于深度卷积网络进行预设眼神矫正模型训练进行说明：
本实施例可以采集N个不同光照和不同视线的人眼图像，并标注人眼的视线方向和人眼特征点以作为用于训练的图像样本。其中，N的取值可以根据实际需求进行合理设置，例如，10000、50000或者100000等。具体的，可以采集多人在不同光照和不同视线下的人眼图像，并标注人眼的视线方向和人眼特征点，部分图像样本可以如图6所示。
在训练过程中，可以将如图7所示的图像样本对输入至如图5a所示的深度卷积网络，其中，图像样本对中的待矫正图像11(也即图5a所示的输入图像)经过深度卷积网络输出扭曲变换参数13(也可称为移动参数)和光照补偿权值，输入图像通过扭曲变换参数完成扭曲变换，扭曲变换后的图像利用光照补偿权值完成光照补偿，最终输出眼神矫正的图像。训练过程通过不断迭代使得输出图像和图像样本对中的期望图像12之间的差异越来越小的过程。其中，用于衡量该差异的损失函数可以是最小均方误差损失函数，采用的训练方法可以是经典的反向传播算法，采用的优化方法可以是经典的随机梯度下降算法。本实施例经过多次迭代，最终输出的扭曲变换参数和光照补偿权值会逐渐趋于稳定，当这两个输出参数基本保持不变或者达到训练终止条件时训练结束。
参见图8，图8是本发明实施例提供的电子设备的结构图。如图8所示，电子设备800包括：
输入模块801，用于将目标图像输入预设眼神矫正模型，得到所述目标图像中眼部区域各个像素点对应的矫正参数；
矫正模块802，用于根据所述眼部区域各个像素点对应的矫正参数矫正所述目标图像中眼部区域的眼神。
可选的，所述矫正参数包括移动参数；
所述矫正模块具体用于：
分别根据所述眼部区域中各个像素点对应的移动参数移动所述各个像素点，以矫正所述眼部区域的眼神。
可选的，所述矫正参数还包括光照补偿参数；
所述电子设备还包括：
光照补偿模块，用于分别根据所述眼部区域中各个像素点对应的光照补偿参数，对所述眼部区域中各个像素点进行光照补偿。
可选的，所述光照补偿参数包括光照补偿权值；
所述光照补偿模块具体用于：
按照计算公式O2(x，y)＝O1(x，y)*(1-M(x，y))+M(x，y)，对所述眼部区域各个像素点进行光照补偿；
其中，O2(x，y)表示光照补偿后的眼部区域中的像素点(x，y)的像素值，O1(x，y)表示光照补偿前的眼部区域的像素点(x，y)的像素值，M(x，y)表示像素点(x，y)的光照补偿权值，(x，y)表示像素点的坐标索引值。
可选的，所述矫正参数包括移动参数和光照补偿参数；
所述预设眼神矫正模型为基于深度卷积网络训练得到的模型，所述深度卷积网络包括U-Net主网络、移动参数预测子网络和光照补偿参数预测子网络；
其中，所述U-Net主网络分别与所述移动参数预测子网络和所述光照补偿参数预测子网络连接，用于提取输入图像的特征信息；所述移动参数预测子网络用于输出移动参数；所述光照补偿参数预测子网络用于输出光照补偿参数。
可选的，所述U-Net主网络包括下采样网络和上采样网络，其中，所述下采样网络和所述上采样网络均包括至少两个卷积块，所述卷积块为残差卷积网络。
本发明实施例提供的电子设备800能够实现上述图像矫正方法实施例中的各个过程，为避免重复，这里不再赘述。
本发明实施例的电子设备800，输入模块801，用于将目标图像输入预设眼神矫正模型，得到所述目标图像中眼部区域各个像素点对应的矫正参数；矫正模块802，用于根据所述眼部区域各个像素点对应的矫正参数矫正所述目标图像中眼部区域的眼神，可以减少视线偏差对图像质量的影响，此外，由于眼神矫正后的图像的各个像素点均来源于眼神矫正前的图像的各个像素点，这样可以减少眼神矫正对图像整体色调的影响。
图9为实现本发明各个实施例的一种电子设备的硬件结构示意图。参见图9，该电子设备900包括但不限于：射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909、处理器910、以及电源911等部件。本领域技术人员可以理解，图9中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
其中，处理器910，用于将目标图像输入预设眼神矫正模型，得到所述目标图像中眼部区域各个像素点对应的矫正参数；根据所述眼部区域各个像素点对应的矫正参数矫正所述目标图像中眼部区域的眼神。
本发明实施例通过预设眼神矫正模型预测到的矫正参数对眼部区域的眼神进行矫正，可以减少视线偏差对图像质量的影响，此外，由于眼神矫正后的图像的各个像素点均来源于眼神矫正前的图像的各个像素点，这样可以减少眼神矫正对图像整体色调的影响。
可选的，所述矫正参数包括移动参数；
所述处理器910还用于：
分别根据所述眼部区域中各个像素点对应的移动参数移动所述各个像素点，以矫正所述眼部区域的眼神。
可选的，所述矫正参数还包括光照补偿参数；
所述处理器910还用于：
分别根据所述眼部区域中各个像素点对应的光照补偿参数，对所述眼部区域中各个像素点进行光照补偿。
可选的，所述光照补偿参数包括光照补偿权值；
所述处理器910还用于：
按照计算公式O2(x，y)＝O1(x，y)*(1-M(x，y))+M(x，y)，对所述眼部区域各个像素点进行光照补偿；
其中，O2(x，y)表示光照补偿后的眼部区域中的像素点(x，y)的像素值，O1(x，y)表示光照补偿前的眼部区域的像素点(x，y)的像素值，M(x，y)表示像素点(x，y)的光照补偿权值，(x，y)表示像素点的坐标索引值。
可选的，所述矫正参数包括移动参数和光照补偿参数；
所述预设眼神矫正模型为基于深度卷积网络训练得到的模型，所述深度卷积网络包括U-Net主网络、移动参数预测子网络和光照补偿参数预测子网络；
其中，所述U-Net主网络分别与所述移动参数预测子网络和所述光照补偿参数预测子网络连接，用于提取输入图像的特征信息；所述移动参数预测子网络用于输出移动参数；所述光照补偿参数预测子网络用于输出光照补偿参数。
可选的，所述U-Net主网络包括下采样网络和上采样网络，其中，所述下采样网络和所述上采样网络均包括至少两个卷积块，所述卷积块为残差卷积网络。
应理解的是，本发明实施例中，射频单元901可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器910处理；另外，将上行的数据发送给基站。通常，射频单元901包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元901还可以通过无线通信系统与网络和其他设备通信。
电子设备通过网络模块902为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元903可以将射频单元901或网络模块902接收的或者在存储器909中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元903还可以提供与电子设备900执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元903包括扬声器、蜂鸣器以及受话器等。
输入单元904用于接收音频或视频信号。输入单元904可以包括图形处理器(Graphics Processing Unit，GPU)9041和麦克风9042，图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元906上。经图形处理器9041处理后的图像帧可以存储在存储器909(或其它存储介质)中或者经由射频单元901或网络模块902进行发送。麦克风9042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元901发送到移动通信基站的格式输出。
电子设备900还包括至少一种传感器905，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板9061的亮度，接近传感器可在电子设备900移动到耳边时，关闭显示面板9061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器905还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。
显示单元906用于显示由用户输入的信息或提供给用户的信息。显示单元906可包括显示面板9061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板9061。
用户输入单元907可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元907包括触控面板9071以及其他输入设备9072。触控面板9071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板9071上或在触控面板9071附近的操作)。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器910，接收处理器910发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板9071。除了触控面板9071，用户输入单元907还可以包括其他输入设备9072。具体地，其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
进一步的，触控面板9071可覆盖在显示面板9061上，当触控面板9071检测到在其上或附近的触摸操作后，传送给处理器910以确定触摸事件的类型，随后处理器910根据触摸事件的类型在显示面板9061上提供相应的视觉输出。虽然在图9中，触控面板9071与显示面板9061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板9071与显示面板9061集成而实现电子设备的输入和输出功能，具体此处不做限定。
接口单元908为外部装置与电子设备900连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元908可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备900内的一个或多个元件或者可以用于在电子设备900和外部装置之间传输数据。
存储器909可用于存储软件程序以及各种数据。存储器909可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器909可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器910是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器909内的软件程序和/或模块，以及调用存储在存储器909内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器910可包括一个或多个处理单元；优选的，处理器910可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器910中。
电子设备900还可以包括给各个部件供电的电源911(比如电池)，优选的，电源911可以通过电源管理系统与处理器910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外，电子设备900包括一些未示出的功能模块，在此不再赘述。
优选的，本发明实施例还提供一种电子设备，包括处理器910，存储器909，存储在存储器909上并可在所述处理器910上运行的计算机程序，该计算机程序被处理器910执行时实现上述图像矫正方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像矫正方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。
Claims (12)
1.一种图像矫正方法，应用于电子设备，其特征在于，包括：
将目标图像输入预设眼神矫正模型，得到所述目标图像中眼部区域各个像素点对应的矫正参数；
根据所述眼部区域各个像素点对应的矫正参数矫正所述目标图像中眼部区域的眼神。
2.根据权利要求1所述的方法，其特征在于，所述矫正参数包括移动参数；
所述根据所述眼部区域各个像素点对应的矫正参数矫正所述目标图像中眼部区域的眼神，包括：
分别根据所述眼部区域中各个像素点对应的移动参数移动所述各个像素点，以矫正所述眼部区域的眼神。
3.根据权利要求2所述的方法，其特征在于，所述矫正参数还包括光照补偿参数；所述方法还包括：
分别根据所述眼部区域中各个像素点对应的光照补偿参数，对所述眼部区域中各个像素点进行光照补偿。
4.根据权利要求3所述的方法，其特征在于，所述光照补偿参数包括光照补偿权值；
所述分别根据所述眼部区域中各个像素点对应的光照补偿参数，对所述眼部区域中各个像素点进行光照补偿，包括：
按照计算公式O2(x，y)＝O1(x，y)*(1-M(x，y))+M(x，y)，对所述眼部区域各个像素点进行光照补偿；
其中，O2(x，y)表示光照补偿后的眼部区域中的像素点(x，y)的像素值，O1(x，y)表示光照补偿前的眼部区域的像素点(x，y)的像素值，M(x，y)表示像素点(x，y)的光照补偿权值，(x，y)表示像素点的坐标索引值。
5.根据权利要求1所述的方法，其特征在于，所述矫正参数包括移动参数和光照补偿参数；
所述预设眼神矫正模型为基于深度卷积网络训练得到的模型，所述深度卷积网络包括U-Net主网络、移动参数预测子网络和光照补偿参数预测子网络；
其中，所述U-Net主网络分别与所述移动参数预测子网络和所述光照补偿参数预测子网络连接，用于提取输入图像的特征信息；所述移动参数预测子网络用于输出移动参数；所述光照补偿参数预测子网络用于输出光照补偿参数。
6.一种电子设备，其特征在于，包括：
输入模块，用于将目标图像输入预设眼神矫正模型，得到所述目标图像中眼部区域各个像素点对应的矫正参数；
矫正模块，用于根据所述眼部区域各个像素点对应的矫正参数矫正所述目标图像中眼部区域的眼神。
7.根据权利要求6所述的电子设备，其特征在于，所述矫正参数包括移动参数；
所述矫正模块具体用于：
分别根据所述眼部区域中各个像素点对应的移动参数移动所述各个像素点，以矫正所述眼部区域的眼神。
8.根据权利要求6所述的电子设备，其特征在于，所述矫正参数还包括光照补偿参数；
所述电子设备还包括：
光照补偿模块，用于分别根据所述眼部区域中各个像素点对应的光照补偿参数，对所述眼部区域中各个像素点进行光照补偿。
9.根据权利要求8所述的电子设备，其特征在于，所述光照补偿参数包括光照补偿权值；
所述光照补偿模块具体用于：
按照计算公式O2(x，y)＝O1(x，y)*(1-M(x，y))+M(x，y)，对所述眼部区域各个像素点进行光照补偿；
其中，O2(x，y)表示光照补偿后的眼部区域中的像素点(x，y)的像素值，O1(x，y)表示光照补偿前的眼部区域的像素点(x，y)的像素值，M(x，y)表示像素点(x，y)的光照补偿权值，(x，y)表示像素点的坐标索引值。
10.根据权利要求6所述的电子设备，其特征在于，所述矫正参数包括移动参数和光照补偿参数；
所述预设眼神矫正模型为基于深度卷积网络训练得到的模型，所述深度卷积网络包括U-Net主网络、移动参数预测子网络和光照补偿参数预测子网络；
其中，所述U-Net主网络分别与所述移动参数预测子网络和所述光照补偿参数预测子网络连接，用于提取输入图像的特征信息；所述移动参数预测子网络用于输出移动参数；所述光照补偿参数预测子网络用于输出光照补偿参数。
11.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至5中任一项所述的图像矫正方法的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的图像矫正方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911318536.7A CN111008929B (zh) | 2019-12-19 | 2019-12-19 | 图像矫正方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911318536.7A CN111008929B (zh) | 2019-12-19 | 2019-12-19 | 图像矫正方法及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111008929A true CN111008929A (zh) | 2020-04-14 |
| CN111008929B CN111008929B (zh) | 2023-09-26 |
Family
ID=70116616
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911318536.7A Active CN111008929B (zh) | 2019-12-19 | 2019-12-19 | 图像矫正方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111008929B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112733797A (zh) * | 2021-01-22 | 2021-04-30 | 腾讯科技（深圳）有限公司 | 人脸图像的视线矫正方法、装置、设备及存储介质 |
| CN112733795A (zh) * | 2021-01-22 | 2021-04-30 | 腾讯科技（深圳）有限公司 | 人脸图像的视线矫正方法、装置、设备及存储介质 |
| CN112733794A (zh) * | 2021-01-22 | 2021-04-30 | 腾讯科技（深圳）有限公司 | 人脸图像的视线矫正方法、装置、设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070159655A1 (en) * | 2006-01-11 | 2007-07-12 | Lexmark International, Inc. | Method and apparatus for compensating two-dimensional images for illumination non-uniformities |
| US20120162458A1 (en) * | 2010-12-28 | 2012-06-28 | Qiaoling Bian | Method of automatically performing pet eye correction |
| CN107194356A (zh) * | 2017-05-25 | 2017-09-22 | 湖南警察学院 | 基于人工神经网络的人脸检测识别方法 |
| WO2018153322A1 (zh) * | 2017-02-23 | 2018-08-30 | 北京市商汤科技开发有限公司 | 关键点检测方法、神经网络训练方法、装置和电子设备 |
| CN108491775A (zh) * | 2018-03-12 | 2018-09-04 | 维沃移动通信有限公司 | 一种图像修正方法及移动终端 |
| CN109086713A (zh) * | 2018-07-27 | 2018-12-25 | 腾讯科技（深圳）有限公司 | 眼部识别方法、装置、终端及存储介质 |
| CN109978804A (zh) * | 2019-03-08 | 2019-07-05 | 清华大学 | 基于深度学习的人眼视线矫正方法及系统 |
| CN109993137A (zh) * | 2019-04-09 | 2019-07-09 | 安徽大学 | 一种基于卷积神经网络的快速人脸矫正方法 |
| CN110288518A (zh) * | 2019-06-28 | 2019-09-27 | 北京三快在线科技有限公司 | 图像处理方法、装置、终端及存储介质 |
-
2019
- 2019-12-19 CN CN201911318536.7A patent/CN111008929B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070159655A1 (en) * | 2006-01-11 | 2007-07-12 | Lexmark International, Inc. | Method and apparatus for compensating two-dimensional images for illumination non-uniformities |
| US20120162458A1 (en) * | 2010-12-28 | 2012-06-28 | Qiaoling Bian | Method of automatically performing pet eye correction |
| WO2018153322A1 (zh) * | 2017-02-23 | 2018-08-30 | 北京市商汤科技开发有限公司 | 关键点检测方法、神经网络训练方法、装置和电子设备 |
| CN107194356A (zh) * | 2017-05-25 | 2017-09-22 | 湖南警察学院 | 基于人工神经网络的人脸检测识别方法 |
| CN108491775A (zh) * | 2018-03-12 | 2018-09-04 | 维沃移动通信有限公司 | 一种图像修正方法及移动终端 |
| CN109086713A (zh) * | 2018-07-27 | 2018-12-25 | 腾讯科技（深圳）有限公司 | 眼部识别方法、装置、终端及存储介质 |
| CN109978804A (zh) * | 2019-03-08 | 2019-07-05 | 清华大学 | 基于深度学习的人眼视线矫正方法及系统 |
| CN109993137A (zh) * | 2019-04-09 | 2019-07-09 | 安徽大学 | 一种基于卷积神经网络的快速人脸矫正方法 |
| CN110288518A (zh) * | 2019-06-28 | 2019-09-27 | 北京三快在线科技有限公司 | 图像处理方法、装置、终端及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 韩江鸿等: "水下图像光照补偿预处理方法研究", pages 14 - 15 * |
| 高阳: "人脸检测与识别算法研究", 《中国优秀硕士论文全文数据库》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112733797A (zh) * | 2021-01-22 | 2021-04-30 | 腾讯科技（深圳）有限公司 | 人脸图像的视线矫正方法、装置、设备及存储介质 |
| CN112733795A (zh) * | 2021-01-22 | 2021-04-30 | 腾讯科技（深圳）有限公司 | 人脸图像的视线矫正方法、装置、设备及存储介质 |
| CN112733794A (zh) * | 2021-01-22 | 2021-04-30 | 腾讯科技（深圳）有限公司 | 人脸图像的视线矫正方法、装置、设备及存储介质 |
| CN112733794B (zh) * | 2021-01-22 | 2021-10-15 | 腾讯科技（深圳）有限公司 | 人脸图像的视线矫正方法、装置、设备及存储介质 |
| WO2022156626A1 (zh) * | 2021-01-22 | 2022-07-28 | 腾讯科技（深圳）有限公司 | 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品 |
| WO2022156640A1 (zh) * | 2021-01-22 | 2022-07-28 | 腾讯科技（深圳）有限公司 | 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111008929B (zh) | 2023-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108513070B (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
| CN107957839B (zh) | 一种显示控制方法及移动终端 | |
| CN108491775B (zh) | 一种图像修正方法及移动终端 | |
| CN111031234B (zh) | 一种图像处理方法及电子设备 | |
| CN110262737A (zh) | 一种视频数据的处理方法及终端 | |
| CN109685915B (zh) | 一种图像处理方法、装置及移动终端 | |
| CN111145087B (zh) | 一种图像处理方法及电子设备 | |
| CN110213485B (zh) | 一种图像处理方法及终端 | |
| CN111008929B (zh) | 图像矫正方法及电子设备 | |
| CN111147752B (zh) | 变焦倍数调节方法、电子设备及介质 | |
| CN111031253B (zh) | 一种拍摄方法及电子设备 | |
| CN110766610A (zh) | 一种超分辨率图像的重建方法及电子设备 | |
| CN109819166B (zh) | 一种图像处理方法和电子设备 | |
| CN111355863A (zh) | 一种图像畸变校正方法、装置、电子设备及存储介质 | |
| CN107153500B (zh) | 一种实现图像显示的方法及设备 | |
| CN111459233A (zh) | 显示方法、电子设备及存储介质 | |
| CN110312070B (zh) | 一种图像处理方法及终端 | |
| CN107798662B (zh) | 一种图像处理方法及移动终端 | |
| CN111147754B (zh) | 图像处理方法及电子设备 | |
| CN111432154B (zh) | 视频播放方法、视频处理方法及电子设备 | |
| CN110443752B (zh) | 一种图像处理方法和移动终端 | |
| CN107566738A (zh) | 一种全景拍摄方法、移动终端及计算机可读存储介质 | |
| CN108628508B (zh) | 一种调整剪裁窗口的方法及移动终端 | |
| CN111405226B (zh) | 一种视频会话方法及电子设备 | |
| CN111093031B (zh) | 图像生成方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |