CN112381749A - 一种图像处理方法、图像处理装置和电子设备 - Google Patents
一种图像处理方法、图像处理装置和电子设备 Download PDFInfo
- Publication number
- CN112381749A CN112381749A CN202011331349.5A CN202011331349A CN112381749A CN 112381749 A CN112381749 A CN 112381749A CN 202011331349 A CN202011331349 A CN 202011331349A CN 112381749 A CN112381749 A CN 112381749A
- Authority
- CN
- China
- Prior art keywords
- image
- definition
- neural network
- processing method
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 66
- 238000003672 processing method Methods 0.000 title claims abstract description 54
- 239000011159 matrix material Substances 0.000 claims abstract description 40
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 40
- 238000000034 method Methods 0.000 claims description 34
- 238000013528 artificial neural network Methods 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 20
- 238000003062 neural network model Methods 0.000 claims description 19
- 238000010606 normalization Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 210000000887 face Anatomy 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 210000001508 eye Anatomy 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 210000000697 sensory organ Anatomy 0.000 description 5
- 230000017105 transposition Effects 0.000 description 4
- 230000037303 wrinkles Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 2
- 238000007599 discharging Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像处理方法、图像处理装置和电子设备，属于图像处理技术领域。其中，图像处理方法包括：获取相同对象的第一图像和第二图像，其中，第二图像的清晰度高于第一图像的清晰度；获取流动矩阵；通过流动矩阵，对第二图像的像素点进行位置偏移，得到第三图像，其中，第三图像是与第一图像相对齐的图像；将第三图像和第一图像进行图像融合，生成第四图像，其中，第四图像的清晰度高于第一图像。本申请实施例通过流动矩阵，将高清人脸图像中的细节信息准确的还原到模糊人脸图像中，保证高清处理后的照片与原照片拍摄主体的原有细节保持一致，在有效提高照片清晰度的同时保证照片主体的原有细节不变。
Description
技术领域
本申请属于图像处理技术领域，具体涉及一种图像处理方法、一种图像处理装置和一种电子设备。
背景技术
在相关技术中，由于拍摄设备限制、网络限制、图像压缩或其他原因，导致照片的清晰度低，影响照片观感。目前，基于图像处理技术可以在一定程度上提高照片的分辨率，但照片细节的补充需要依靠于网络的“凭空想象”。
对于人脸等高辨识度的照片，网络“凭空想象”的细节与照片主体原有的细节不同，会导致人脸身份细节被改变。如何解决在提高照片清晰度的同时保证照片主体的原有细节不变，是目前亟待解决的技术问题。
发明内容
本申请实施例的目的是提供一种图像处理方法、装置、电子设备和可读存储介质，能够解决如何在提高照片清晰度的同时保证照片主体的原有细节不变的问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供了一种图像处理方法，该方法包括：
获取相同对象的第一图像和第二图像，其中，第二图像的清晰度高于第一图像的清晰度；
获取流动矩阵；
通过流动矩阵，对第二图像的像素点进行位置偏移，得到第三图像，其中，第三图像是与与第一图像相对齐的图像；
将第三图像和第一图像进行图像融合，生成第四图像，其中，第四图像的清晰度高于第一图像。
第二方面，本申请实施例提供了一种图像处理装置，包括：
获取模块，用于获取相同对象的第一图像和第二图像，其中，第二图像的清晰度高于第一图像的清晰度；
处理模块，用于获取流动矩阵，通过流动矩阵对第二图像的像素点进行位置偏移，得到第三图像，其中，第三图像是与第一图像相对齐的图像；以及
对第三图像和第一图像进行图像融合，生成第四图像，其中，第四图像的清晰度高于第一图像。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令，程序或指令被处理器执行时实现如第一方面提供的图像处理方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，该可读存储介质上存储程序或指令，该程序或指令被处理器执行时实现如第一方面提供的图像处理方法的步骤。
第五方面，本申请实施例提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现如第一方面提供的图像处理方法的步骤。
在本申请实施例中，在对第清晰度的第一图像进行高清化处理时，通过流动矩阵，将拍摄主体为同一对象的，且清晰度高于第一图像的第二图像的像素点进行偏移，通过像素偏移的方式，将第二图像处理成与第一图像相对齐的第三图像。
具体地，假设第一图像和第二图像均为人脸图像，则对第二图像进行像素偏移后，得到人脸部分与第一图像的人脸部分相对齐的人脸图像，即上述第三图像。其中，“对齐”指的是人脸的轮廓重合，或眼睛、鼻子、嘴等关键五官的位置重合。
在得到与第一图像对齐，且由于清晰度更高而保留了更多细节的第三图像之后，对第一图像和第三图像进行融合。从而一方面提高第一图像的清晰度，同时将第三图像上的人脸细节，如皱纹、痣、酒窝等细节叠加补充到第一图像上，从而使得在第一图像上补充的细节为同一个人物的面部细节，有效地保证了提高清晰度后的照片细节，与照片拍摄主体的原有细节保持一致，从而有效地解决了如何在提高照片清晰度的同时保证照片主体的原有细节不变的技术问题，能够显著提高图片高清化处理的处理效果。
附图说明
图1示出了根据本申请实施例的图像处理方法的流程图之一；
图2示出了根据本申请实施例的图像处理方法的流程图之二；
图3示出了根据本申请实施例的图像处理方法的流程图之三；
图4示出了根据本申请实施例的图像处理方法的流程图之四；
图5示出了流动矩阵中单通道点流动方向的示意图；
图6示出了根据本申请实施例的图像处理方法的流程图之五；
图7示出了根据本申请实施例的图像处理方法的流程图之六；
图8示出了根据本申请实施例的图像处理方法的流程图之七；
图9示出了根据本申请实施例的图像处理方法的流程图之八；
图10示出了根据本申请实施例的图像处理方法的流程图之九；
图11示出了根据本申请实施例的图像处理装置的结构框图；
图12示出了根据申请实施例的电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法、图像处理装置和电子设备进行详细地说明。
在本申请的一些实施例中，提供了一种图像处理方法，图1示出了根据本申请实施例的图像处理方法的流程图之一，具体地，该图像处理方法可以包括以下步骤：
步骤102，获取相同对象的第一图像和第二图像；
在步骤102中，第二图像的清晰度高于第一图像的清晰度。
步骤104，获取流动矩阵；
步骤106，通过流动矩阵对第二图像的像素点进行位置偏移，得到第三图像；
在步骤106中，第三图像是与第一图像相对齐的图像。
步骤108，将第三图像和第一图像进行图像融合，生成第四图像。
在步骤108中，第四图像的清晰度高于第一图像。
在本申请实施例中，在对低清晰度的第一图像进行高清化处理时，通过获取相同对象的第二图像，该第二图像的清晰度高于第一图像，因此第二图像上相较于第一图像保留有更多的细节信息。且同时，第二图像与第一图像中的主体为相同对象，比如第一图像和第二图像为人脸图像时，第二图像和第一图像中的“人脸”属于同一个人物，但可以是不同时间、不同姿势、不同表情下的人脸图像。
相同对象还可以是相同的物体，如同一个苹果、同一张桌子等。
在对第一图像进行处理的过程中，通过流动矩阵对第二图像的像素点进行偏移，从而将第二图像处理成与第一图像相对齐的第三图像。具体地，假设第一图像和第二图像均为人脸图像，则对第二图像进行像素偏移后，得到人脸部分与第一图像的人脸部分相对齐的人脸图像，即上述第三图像。其中，“对齐”指的是人脸的轮廓重合，或眼睛、鼻子、嘴等关键五官的位置重合。
能够理解的时，当照片拍摄主体是人脸外的其他物体时，可通过使物体外轮廓相重合的方式来“对齐”处理后的图像与原始照片。
在得到与第一图像对齐，且由于清晰度更高而保留了更多细节的第三图像之后，对第一图像和第三图像进行融合。从而一方面提高第一图像的清晰度，同时将第三图像上的人脸细节，如皱纹、痣、酒窝等细节叠加补充到第一图像上，从而使得在第一图像上补充的细节为同一个人物的面部细节，有效地保证了提高清晰度后的照片细节，与照片拍摄主体的原有细节保持一致，从而有效地解决了如何在提高照片清晰度的同时保证照片主体的原有细节不变的技术问题，能够显著提高图片高清化处理的处理效果。
在本申请的一些实施例中，图2示出了根据本申请实施例的图像处理方法的流程图之二，具体地，在通过流动矩阵，对第二图像的像素点进行位置偏移，得到第三图像，具体可以包括以下步骤：
步骤202，确定第一关键点坐标集合和第二关键点坐标集合；
在步骤202中，第一关键点坐标集合包括第一图像中至少一个第一关键点的坐标，第二关键点坐标集合包括第二图像中至少一个第二关键点的坐标。
步骤204，通过流动矩阵，对第二坐标集合进行坐标转换，得到位置偏移后的第三关键点坐标集合；
在步骤204中，第三关键点坐标集合包括至少一个与第一关键点集合重合的关键点的坐标。
步骤206，确定第三关键点坐标集合相对与第二关键点坐标集合的第一偏移量；
步骤208，根据第一偏移量，通过双线性插值法，确定第二图像中的其余像素点坐标集合对应的第二偏移量；
步骤210，根据第二偏移量，对第二图像中的其余像素点坐标进行位置偏移，得到第三图像。
在本申请实施例中，在将高清晰度的第二图像，向低清晰度的第一图像进行转化的过程中，分别确定第一图像和第二图像中的第一关键点和第二关键点。
其中，对于人脸图像，“关键点”可以是眼睛、鼻子、嘴巴等关键五官的位置，也可以是其他关键点，如通过人脸关键点检测，分别在两张人脸图像中检测出相对应的关键点位置。
在本申请实施例中，可使用开源的Dlib库(一种基于C++开发的工具库，包含机器学习算法、图像处理、网络和其他工具类库)对第一图像和第二图像中的人脸进行关键点检测，得到相同人物的人脸landmark数据，从而实现关键点检测。
在得到第一关键点的坐标集合，以及第二关键点的坐标集合后，以第一坐标集合为目标，通过预设置的流动矩阵对第二坐标进行坐标转换，进而将第二关键点“偏移”到第一关键点的位置，得到第三关键点坐标集合，并形成为能够与全部第一关键点近似重合的第三关键点，从而实现第一图像关键与第二图像关键点的对齐。
其中，将第一图像转化为二通道数据，可以得到第一图像中所有像素点的二通道数据，然后建立第一图像对应的二次坐标系，即将二通道数据转化为每个像素点的坐标数据，将其中关键点的坐标数据进行标记，并作为第一关键点坐标集合。
同样的，将第二图像转化为二通道数据，可得到第二图像中所有像素的二通道数据，并按照同样的方法建立坐标系，从而得到第二关键点对应的第二关键点坐标集合。
在第二图像的坐标系下，以第一关键点坐标集合为目标，对第二关键点坐标集合进行坐标转换，可将第二关键点转移到与第一关键点对齐的第三关键点。
对于非关键点的其他像素点，可以使用双线性插值的方法，根据周围关键点的偏移量插值出该点的偏移量，之后对相同坐标系下的其他像素进行偏移，得到偏移后的像素点位置。
具体地，在完成第二关键点到第三关键点的位置偏移后，确定第三关键点坐标集合中，每个第三关键点坐标，与对应的第二关键点坐标之间的偏移量，并记为该关键点坐标的第一偏移量。其中，可通过第二关键点坐标，与第三关键点坐标的差确定第一偏移量，第一偏移量为向量，指示了第二关键点偏移到第三关键点的偏移距离和偏移方向。
在得到每个关键点对应的第一偏移量后，对于该关键附近的其他像素点，可通过双线性插值的方法，将像素点进行移动，从而实现对第二图像中全部像素点的位置偏移，并得到与第一图像对齐的第三图像。
本申请实施例可以通过流动矩阵，准确地实现将高清人脸向模糊人脸的对齐，从而将高清人脸图像中的细节信息准确的还原到模糊人脸图像中，且能够保证还原的细节与原模糊人脸的身份细节相符合，保证高清处理后的照片与原照片拍摄主体的原有细节保持一致，从而有效地解决了如何在提高照片清晰度的同时保证照片主体的原有细节不变的技术问题，能够显著提高图片高清化处理的处理效果。
在本申请的一些实施例中，图3示出了根据本申请实施例的图像处理方法的流程图之三，具体地，在获取相同对象的第一图像和第二图像时，具体可以包括以下步骤：
步骤302，获取第一原始图像和第二原始图像；
在步骤302中，第一原始图像和第二原始图像，是包括了人脸图像的“全图”，其中可能包括人脸、人物肢体、背景和与人物互动的物体等。
步骤304，在第一原始图像中，抠取对象的第一图像，并在第二原始图像中，抠取对象的第二图像。
在步骤304中，“抠取”对象的第一图像，和“抠取”对象的第二图像，指的是将“对象”的人脸部分，在原始图像中分离出来，即去掉原始图像中的背景部分，仅保留人脸部分。
由于人的视觉对于人脸细节的敏感程度远高于对齐他物体，如背景、景物等细节的敏感程度，因此在对原始图像进行高清化处理时，可通过人脸检测算法，在模糊图像中进行人脸检测，从而在原始的模糊图像中“抠图”出人脸图像，即第一图像。
同样地，在另一张相同人物的高清晰度照片中“抠图”相同人物的高清人脸图像，即第二图像
其中，人脸检测可使用开源的工具库，如opencv等。
通过仅对人脸图像进行细节融合，能够有效的减少运算量，从而提高图像处理的效率，使得图像处理方法能够在性能较低的设备上运行实现，如智能手表、智能眼镜等可穿戴设备上运行实现，提高了图像高清化处理的泛用性。
在本申请的一些实施例中，图4示出了根据本申请实施例的图像处理方法的流程图之四，具体地，获取预设的流动矩阵，具体可以包括以下步骤：
步骤402，获取预设的目标编码-解码模型；
在步骤402中，目标编码-解码模型包括编码神经网络和解码神经网络，其中解码神经网络包括转置卷积网络和普通卷积网络；
步骤404，按照自然三原色通道合并第一图像和第二图像，得到合并图像；
步骤406，通过编码神经网络对合并图像进行卷积，并对卷积后的合并图像进行归一化处理，得到编码神经网络输出的编码数据；
步骤408，通过解码神经网络对编码数据进行转置卷积，对转至卷积后的编码数据进行归一化处理，并对归一化处理后的编码数据进行普通卷积，得到解码神经网络输出的流动矩阵。
在本申请实施例中，通过编码解码(encoder-decoder)的网络结构(如warpNet网络结构)，来确定模糊图像与高清图像之间转化时的流动矩阵。
其中，编码(encoder)神经网络可以使用卷积核大小为3，步长为2的卷积。解码(decoder)神经网络可以包括转置卷积网络和普通卷积网络的两种卷积方式。其中，转置卷积的卷积核为3，步长为2。在转置卷积后，通过普通卷积来增加网络深度，从而增强网络计算能力。
具体地，将模糊人脸图像和高清人脸图像，即第一图像和第二图像按照三原色通道(RGB通道)合并，得到6通道的合并图像。其中6通道为第一图像的R通道、G通道和B通道，以及第二图像的R通道、G通道和B通道。
将合并图像输入至编码神经网络，编码神经网络对合并图像进行卷积，并对卷积后的图像进行归一化处理，其中可通过InstanceNorm(Instance Normalization，实列正则化)的方法进行归一化处理。在该过程中，使用ReLU(Rectified Linear Unit，修正线性单元)函数作为激活函数，能够增加编码神经网络的非线性。在编码神经网络中，上述卷积-归一化-增加非线性的结构多次重复，具体可重复4次。
经过编码神经网络卷积处理过程中，合并图像的特征图在卷积过程中缩小，能够有效减少计算量，并增加感受野。编码神经网络输出为多通道的特征图的编码数据，该编码数据在四次步长为2的卷积后，编码长度能够缩减到原始图像的十六分之一。
将上述编码神经网络输出的编码数据输入到解码神经网络中，解码神经网络首先对该编码数据进行转置卷积，在转置卷积后同样通过InstanceNorm的方法进行归一化处理，并使用ReLU函数作为激活函数，然后再进行一次普通卷积，最终编码器网络输出为图像大小相同的2通道(x、y通道)矩阵，即上述流动矩阵。在流动矩阵中，每个点对应的位置分别为一个像素点在x方向和y方向上的偏移量。
图5示出了流动矩阵中单通道点流动方向的示意图，通过该流动矩阵能够实现模糊图像与高清图像之间的相互转换，能够准确地实现将高清人脸向模糊人脸的对齐，从而将高清人脸图像中的细节信息准确的还原到模糊人脸图像中。
在本申请的一些实施例中，图6示出了根据本申请实施例的图像处理方法的流程图之五，具体地，在通过流动矩阵对第二图像的像素点进行位置偏移时，具体可以包括以下步骤：
步骤602，获取预设的编码-解码模型；
步骤604，基于第一关键点和第二关键点，确定第一目标损失函数；
步骤606，通过第一目标损失函数对预设编码-解码模型进行训练，得到目标编码-解码模型。
在本申请实施例中，对预设编码-解码模型进行训练，得到目标编码-解码模型。具体地，可以使用检测到的第一图像和第二图像中的关键点，来设置该预设编码-解码模型的损失函数。
具体地，损失函数如下：
其中，LossLandmark为上述损失函数的损失值，
为第一关键点，
为第二关键点。
通过上述损失函数对神经网络进行训练，得到目标编码-解码模型，能够有效地提高流动矩阵的准确度，从而提高高清化图像处理的准确度。
在本申请的一些实施例中，图7示出了根据本申请实施例的图像处理方法的流程图之六，具体地，在对第三图像和第一图像进行图像融合时，具体包括以下步骤：
步骤702，获取目标神经网络模型；
步骤704，通过目标神经网络模型，将第三图像和第一图像进行图像融合，得到目标神经网络模型输出的第四图像。
在本申请实施例中，通过机器学习训练好的目标神经网络，对与模糊人脸图像对齐的高清人脸图像和模糊人脸图像进行图像融合，即对第三图像和第一图像进行图像融合，自动将高清人脸图像上的细节信息补充至处理后的第一图像上，最终生成清晰度提高，且保留有人脸身份细节的第四图像。
且由于第三图像和待处理的第一图像为同一个人物的人脸图像，从而使得在提高第一图像清晰度时，补充的细节为同一个人物的面部细节，有效地保证了提高清晰度后的照片细节，与照片拍摄主体的原有细节保持一致，从而有效地解决了如何在提高照片清晰度的同时保证照片主体的原有细节不变的技术问题，能够显著提高图片高清化处理的处理效果。
在本申请的一些实施例中，图8示出了根据本申请实施例的图像处理方法的流程图之七，具体地，在对第三图像和第一图像进行图像融合之前，图像处理方法还可以包括以下步骤：
步骤802，获取预设的神经网络模型、判别器网络模型、图像训练集和对比图像集合；
步骤804，将图像训练集输入至神经网络模型，得到中间图像；
步骤806，将中间图像和对比图像集合中对应的对比图像输入至判别器网络模型，对预设神经网络模型进行对抗训练；
步骤808，通过预设的第二目标损失函数对完成对抗训练的预设神经网络模型进行训练，得到目标神经网络模型。
在本申请实施例中，对预设的神经网络模型进行机器学习训练，从而得到能够准确融合对齐后的高清人脸图像和模糊人脸图像的目标神经挽留过模型。
具体地，预设神经网络模型可以使用U-Net网络作为生成器网络，同时引用判别器网络模型，组成生成式对抗网络。其中判别器网络模型可以使用resblock形式的网络结构。
在训练时，分别获取大量模糊人脸图像组成的图像训练集，以及与模糊人脸图像分别一一对应的高清人脸图像组成的对比图像集合。
首先，将图像训练集输入至预设神经网络模型的生成器网络，得到中间图像，然后将中间图像，和在对比图像集合中，与输入的模糊人脸图像对应的对比图像输入至判别器网络模型，使得生成式对抗网络交替对抗训练，直到生成器网络和判别器网络同时变强，并达到均和状态。
其中，对于中间图像和对应的模糊图像，可使用感知一致性的损失函数来保证语义信息不变，该损失函数可通过将中间图像和对应的模糊图像分别输入至预训练好的vgg网络(一种由牛津大学计算机视觉组和Google Deep Mind公司的研究员一起开发的深度卷积神经网络)中，并在最后一个卷积的ReLU激活函数后提取特征图，通过模糊图像和中间图像的两个特征图做L1 loss，即上述第二损失函数，具体地，第二损失函数包括：
Lpercept＝||θ(Ip)-θ(Ir)||1； (1)
其中，函数(1)为图像的感知损失函数，用于确保图像内容的一致性，θ为上述预训练的vgg网络，Ip为上述模糊图像，Ir为上述中间图像，对于特征图方面，上述感知损失函数能够在忽略细节的情况下保证整体内容不变。
函数(2)为Gan(Generative Adversarial Network，对抗式生成网络)损失函数，用于确保图像的真实性和清晰度，minGmaxD表示当判别器网络最大化函数(2)时，生成器网络最小化该函数(2)，
表示在图像训练集中随机选取某张模糊图像，D为判别器网络，D(Ip)代表上述随机选取的模糊图像经判别器网络输出的得分。
在训练过程中，使用将原始的模糊人脸图像和经流动矩阵位置转换后，与模糊人脸图像对齐的高清人脸图像进行拼接后，得到的6通道图像数据，将上述6通道图像数据输入生成器网络，可以将高清人脸图像中提取到的细节特征融合到模糊人脸图像上，使得模糊人脸图像清晰化，且保证清晰化的人脸细节特征与原人脸特征相同，保证人脸图像的身份特征不变。
其中，将练时生成的中间图像(高清化的人脸图像)和模糊图像(原始人脸图像)带入函数(1)，并最小化函数(1)，能够保证中间图像和原始图像信息一致。将上述中间图像和上述模糊图像带入函数(2)，能够保证中间图像人脸的清晰度，最终提高人脸图像高清化处理的图像处理效果。
在本申请的一些实施例中，图9示出了根据本申请实施例的图像处理方法的流程图之八，具体地，在得到第四图像之后，图像处理方法还可以包括以下步骤：
步骤902，通过泊松融合算法将第四图像与第一原始图像数据进行融合；
步骤904，得到处理后的目标图像。
在本申请实施例中，在得到高清化的第四图像，也即得到提高了清晰度，并补充了细节特征的人脸图像之后，将第四图像与第一原始图像进行融合，将高清化的人脸图像“放回”初始照片中，进而完成了对初始照片中人脸图像的高清化处理。
其中，通过使用泊松融合算法(即seamlessClone算法)，对第四图像和第一原始图像进行融合，能够使融合的边界更加自然并更加平滑，能够有效地保证图像处理的效果。
在一些实时方式中，还可以对第一原始图像数据，即初始照片中除了人像部分的其他背景图像，通过基于深度学习和生成式对抗网络的图像处理算法，对齐他背景图像部分进行高清化处理，从而使得最终生成的目标图像更加自然。
在本申请的一些实施例中，图10示出了根据本申请实施例的图像处理方法的流程图之九，具体地，图像处理方法的完成流程包括：
步骤1002，对待处理照片和高清照片进行人脸检测，得到模糊人脸图像和高清人脸图像；
步骤1004，对人脸图像进行关键点检测，得到关键点坐标；
步骤1006，通过关键点坐标对高清图像进行像素偏移，得到偏移后与模糊人脸图像对齐的细节人脸图像；
步骤1008，通过生成式对抗网络对融合模糊人脸图像和细节人脸图像，得到高清化人脸图像；
步骤1010，将高清化人脸图像与待处理照片进行拼接，得到输出图像。
本申请实施例使用点流动的方式使图像对齐，从而提取高清图像中的细节和模糊图像的轮廓，使用生成式对抗网络将图像细节融合到模糊轮廓上，实现了将模糊图像清晰化，同时能够保证人脸细节与真实人脸相同，保证了被拍摄人物的人脸特征不变。
在本申请的一些实施例中，需要说明的是，本申请实施例提供的图像处理方法，执行主体可以为图像处理装置，或者，或者该图像处理装置中的用于执行加载图像处理方法的控制模块。本申请实施例中以图像处理装置执行加载图像处理方法为例，说明本申请实施例提供的图像处理方法。
图11示出了根据本申请实施例的图像处理装置的结构框图，具体地，图像处理装置1100包括：
获取模块1102，用于获取相同对象的第一图像和第二图像，其中，第二图像的清晰度高于第一图像的清晰度；
处理模块1104，用于获取流动矩阵，通过流动矩阵对第二图像的像素点进行位置偏移，得到第三图像，其中第三图像是与第一图像相对齐的图像；以及
将第三图像和第一图像进行图像融合，生成第四图像，其中，第四图像的清晰度高于第一图像。
在本申请实施例中，在对低清晰度的第一图像进行高清化处理时，通过获取相同对象的第二图像，该第二图像的清晰度高于第一图像，因此第二图像上相较于第一图像保留有更多的细节信息。且同时，第二图像与第一图像中的主体为相同对象，比如第一图像和第二图像为人脸图像时，第二图像和第一图像中的“人脸”属于同一个人物，但可以是不同时间、不同姿势、不同表情下的人脸图像。
相同对象还可以是相同的物体，如同一个苹果、同一张桌子等。
在对第一图像进行处理的过程中，通过流动矩阵对第二图像的像素点进行偏移，从而将第二图像处理成与第一图像相对齐的第三图像。具体地，假设第一图像和第二图像均为人脸图像，则对第二图像进行像素偏移后，得到人脸部分与第一图像的人脸部分相对齐的人脸图像，即上述第三图像。其中，“对齐”指的是人脸的轮廓重合，或眼睛、鼻子、嘴等关键五官的位置重合。
能够理解的时，当照片拍摄主体是人脸外的其他物体时，可通过使物体外轮廓相重合的方式来“对齐”处理后的图像与原始照片。
在得到与第一图像对齐，且由于清晰度更高而保留了更多细节的第三图像之后，对第一图像和第三图像进行融合。从而一方面提高第一图像的清晰度，同时将第三图像上的人脸细节，如皱纹、痣、酒窝等细节叠加补充到第一图像上，从而使得在第一图像上补充的细节为同一个人物的面部细节，有效地保证了提高清晰度后的照片细节，与照片拍摄主体的原有细节保持一致，从而有效地解决了如何在提高照片清晰度的同时保证照片主体的原有细节不变的技术问题，能够显著提高图片高清化处理的处理效果。
本申请实施例中的图像处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现图1至图10的方法实施例中图像处理装置实现的各个过程，为避免重复，这里不再赘述。
可选的，本申请实施例还提供一种电子设备1900，包括处理器1910，存储器1909，存储在存储器1909上并可在处理器1910上运行的程序或指令，该程序或指令被处理器1910执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要注意的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
图12示出了根据申请实施例的电子设备的硬件结构示意图。
该电子设备1900包括但不限于：射频单元1901、网络模块1902、音频输出单元1903、输入单元1904、传感器1905、显示单元1906、用户输入单元1907、接口单元1908、存储器1909、以及处理器1910等部件。
本领域技术人员可以理解，电子设备1900还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图12中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
处理器1910，用于对第一原始图像数据和第二原始图像数据进行人脸检测，从而得到相同对象的第一图像和第二图像，并对第一图像和第二图像的关键点进行检测，根据关键点坐标，通过流动矩阵将高清的第二图像处理为与第一图像相对齐的第三图像，同时通过生成式对抗网络，将第三图像和第一图像进行融合，从而得到高清化的第四图像，并将第四图像与第一原始图像数据进行融合，最终实现对原始模糊照片中的人脸进行高清化处理。
应理解的是，本申请实施例中，射频单元1901可用于收发信息或收发通话过程中的信号，具体的，接收基站的下行数据或向基站发送上行数据。射频单元1901包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。
网络模块1902为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元1903可以将射频单元1901或网络模块1902接收的或者在存储器1909中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元1903还可以提供与电子设备1900执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元1903包括扬声器、蜂鸣器以及受话器等。
输入单元1904用于接收音频或视频信号。输入单元1904可以包括图形处理器(Graphics Processing Unit，GPU)5082和麦克风5084，图形处理器5082对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元1906上，或者存储在存储器1909(或其它存储介质)中，或者经由射频单元1901或网络模块1902发送。麦克风5084可以接收声音，并且能够将声音处理为音频数据，处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元1901发送到移动通信基站的格式输出。
电子设备1900还包括至少一种传感器1905，比如指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器、光传感器、运动传感器以及其他传感器。
显示单元1906用于显示由用户输入的信息或提供给用户的信息。显示单元1906可包括显示面板5122，可以采用液晶显示器、有机发光二极管等形式来配置显示面板5122。
用户输入单元1907可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元1907包括触控面板5142以及其他输入设备5144。触控面板5142也称为触摸屏，可收集用户在其上或附近的触摸操作。触控面板5142可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1910，接收处理器1910发来的命令并加以执行。其他输入设备5144可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
进一步地，触控面板5142可覆盖在显示面板5122上，当触控面板5142检测到在其上或附近的触摸操作后，传送给处理器1910以确定触摸事件的类型，随后处理器1910根据触摸事件的类型在显示面板5122上提供相应的视觉输出。触控面板5142与显示面板5122可作为两个独立的部件，也可以集成为一个部件。
接口单元1908为外部装置与电子设备1900连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/0)端口、视频I/0端口、耳机端口等等。接口单元1908可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备1900内的一个或多个元件或者可以用于在电子设备1900和外部装置之间传输数据。
存储器1909可用于存储软件程序以及各种数据。存储器1909可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据移动终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1909可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器1910通过运行或执行存储在存储器1909内的软件程序和/或模块，以及调用存储在存储器1909内的数据，执行电子设备1900的各种功能和处理数据，从而对电子设备1900进行整体监控。处理器1910可包括一个或多个处理单元；优选的，处理器1910可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。
电子设备1900还可以包括给各个部件供电的电源1911，优选的，电源1911可以通过电源管理系统与处理器1910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
本申请实施例对第清晰度的第一图像进行高清化处理时，通过流动矩阵，将拍摄主体为同一目标的，且清晰度高于第一图像的第二图像的像素点进行偏移，通过像素偏移的方式，将第二图像处理成与第一图像相对齐的第三图像。
具体地，假设第一图像和第二图像均为人脸图像，则对第二图像进行像素偏移后，得到人脸部分与第一图像的人脸部分相对齐的人脸图像，即上述第三图像。其中，“对齐”指的是人脸的轮廓重合，或眼睛、鼻子、嘴等关键五官的位置重合。
在得到与第一图像对齐，且由于清晰度更高而保留了更多细节的第三图像之后，对第一图像和第三图像进行融合。从而一方面提高第一图像的清晰度，同时将第三图像上的人脸细节，如皱纹、痣、酒窝等细节叠加补充到第一图像上，从而使得在第一图像上补充的细节为同一个人物的面部细节，有效地保证了提高清晰度后的照片细节，与照片拍摄主体的原有细节保持一致，从而有效地解决了如何在提高照片清晰度的同时保证照片主体的原有细节不变的技术问题，能够显著提高图片高清化处理的处理效果。
本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，处理器为上述实施例中的电子设备中的处理器。可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取相同对象的第一图像和第二图像，其中，所述第二图像的清晰度高于所述第一图像的清晰度；
获取流动矩阵；
通过所述流动矩阵，对所述第二图像的像素点进行位置偏移，得到第三图像，其中，所述第三图像是与所述第一图像相对齐的图像；
将所述第三图像和所述第一图像进行图像融合，生成第四图像，其中，所述第四图像的清晰度高于所述第一图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述通过所述流动矩阵，对所述第二图像的像素点进行位置偏移，得到第三图像，包括：
确定第一关键点坐标集合和第二关键点坐标集合，所述第一关键点坐标集合包括所述第一图像中至少一个第一关键点的坐标，所述第二关键点坐标集合包括所述第二图像中至少一个第二关键点的坐标；
通过所述流动矩阵，对所述第二坐标集合进行坐标转换，得到位置偏移后的第三关键点坐标集合，其中，所述第三关键点坐标集合包括至少一个与所述第一关键点集合重合的关键点的坐标；
确定所述第三关键点坐标集合相对与所述第二关键点坐标集合的第一偏移量；
根据所述第一偏移量，通过双线性插值法，确定所述第二图像中的其余像素点坐标集合对应的第二偏移量；
根据所述第二偏移量，对所述第二图像中的其余像素点坐标进行位置偏移，得到所述第三图像。
3.根据权利要求1所述的图像处理方法，其特征在于，所述获取相同对象的第一图像和第二图像，包括：
获取第一原始图像和第二原始图像；
在所述第一原始图像中，抠取所述对象的所述第一图像，并在所述第二原始图像中，抠取所述对象的所述第二图像。
4.根据权利要求2所述的图像处理方法，其特征在于，所述获取流动矩阵，包括：
获取预设的目标编码-解码模型，所述目标编码-解码模型包括编码神经网络和解码神经网络，其中，所述解码神经网络包括转置卷积网络和普通卷积网络；
按照自然三原色通道，合并所述第一图像和所述第二图像，得到合并图像；
通过所述编码神经网络，对所述合并图像进行卷积，并对卷积后的所述合并图像进行归一化处理，得到所述编码神经网络输出的编码数据；
通过所述解码神经网络，对所述编码数据进行转置卷积，对转至卷积后的所述编码数据进行归一化处理，并对归一化处理后的所述编码数据进行普通卷积，得到所述解码神经网络输出的所述流动矩阵。
5.根据权利要求4所述的图像处理方法，其特征在于，在所述通过流动矩阵对所述第二图像的像素点进行位置偏移的步骤之前，所述图像处理方法还包括：
获取预设的编码-解码模型；
基于所述第一关键点和所述第二关键点，确定第一目标损失函数；
通过所述第一目标损失函数，对所述预设的编码-解码模型进行训练，得到所述目标编码-解码模型。
6.根据权利要求1至5中任一项所述的图像处理方法，其特征在于，所述对所述第三图像和所述第一图像进行图像融合，生成第四图像，包括：
获取目标神经网络模型；
通过所述目标神经网络模型，将所述第三图像和所述第一图像进行图像融合，得到所述目标神经网络模型输出的所述第四图像。
7.根据权利要求6所述的图像处理方法，其特征在于，在所述对所述第三图像和所述第一图像进行图像融合之前，所述图像处理方法还包括：
获取预设的神经网络模型、判别器网络模型、图像训练集和对比图像集合；
将所述图像训练集输入至所述神经网络模型，得到中间图像；
将所述中间图像和所述对比图像集合中对应的对比图像输入至所述判别器网络模型，对所述预设神经网络模型进行对抗训练；
通过预设的第二目标损失函数，对完成所述对抗训练的所述预设神经网络模型进行训练，得到所述目标神经网络模型。
8.根据权利要求3所述的图像处理方法，其特征在于，在得到所述第四图像之后，所述图像处理方法还包括：
通过泊松融合算法，将所述第四图像与所述第一原始图像数据进行融合，得到处理后的目标图像。
9.一种图像处理装置，其特征在于，包括：
获取模块，用于获取相同对象的第一图像和第二图像，其中，所述第二图像的清晰度高于所述第一图像的清晰度；
处理模块，用于获取流动矩阵，通过所述流动矩阵，对所述第二图像的像素点进行位置偏移，得到第三图像，其中，所述第三图像是与所述第一图像相对齐的图像；以及
将所述第三图像和所述第一图像进行图像融合，生成第四图像，其中，所述第四图像的清晰度高于所述第一图像。
10.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至8中任一项所述的图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011331349.5A CN112381749A (zh) | 2020-11-24 | 2020-11-24 | 一种图像处理方法、图像处理装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011331349.5A CN112381749A (zh) | 2020-11-24 | 2020-11-24 | 一种图像处理方法、图像处理装置和电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112381749A true CN112381749A (zh) | 2021-02-19 |
Family
ID=74588032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011331349.5A Pending CN112381749A (zh) | 2020-11-24 | 2020-11-24 | 一种图像处理方法、图像处理装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112381749A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116523792A (zh) * | 2023-05-09 | 2023-08-01 | 武汉科技大学 | 一种基于神经网络的图像高清还原方法及系统 |
| CN117729445A (zh) * | 2024-02-07 | 2024-03-19 | 荣耀终端有限公司 | 一种图像处理方法、电子设备以及计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978754A (zh) * | 2017-12-28 | 2019-07-05 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110532871A (zh) * | 2019-07-24 | 2019-12-03 | 华为技术有限公司 | 图像处理的方法和装置 |
| CN111368685A (zh) * | 2020-02-27 | 2020-07-03 | 北京字节跳动网络技术有限公司 | 关键点的识别方法、装置、可读介质和电子设备 |
| CN111476709A (zh) * | 2020-04-09 | 2020-07-31 | 广州华多网络科技有限公司 | 人脸图像处理方法、装置及电子设备 |
| CN111768356A (zh) * | 2020-06-28 | 2020-10-13 | 北京百度网讯科技有限公司 | 一种人脸图像融合方法、装置、电子设备及存储介质 |
-
2020
- 2020-11-24 CN CN202011331349.5A patent/CN112381749A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978754A (zh) * | 2017-12-28 | 2019-07-05 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110532871A (zh) * | 2019-07-24 | 2019-12-03 | 华为技术有限公司 | 图像处理的方法和装置 |
| CN111368685A (zh) * | 2020-02-27 | 2020-07-03 | 北京字节跳动网络技术有限公司 | 关键点的识别方法、装置、可读介质和电子设备 |
| CN111476709A (zh) * | 2020-04-09 | 2020-07-31 | 广州华多网络科技有限公司 | 人脸图像处理方法、装置及电子设备 |
| CN111768356A (zh) * | 2020-06-28 | 2020-10-13 | 北京百度网讯科技有限公司 | 一种人脸图像融合方法、装置、电子设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116523792A (zh) * | 2023-05-09 | 2023-08-01 | 武汉科技大学 | 一种基于神经网络的图像高清还原方法及系统 |
| CN117729445A (zh) * | 2024-02-07 | 2024-03-19 | 荣耀终端有限公司 | 一种图像处理方法、电子设备以及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11989350B2 (en) | Hand key point recognition model training method, hand key point recognition method and device | |
| US11481923B2 (en) | Relocalization method and apparatus in camera pose tracking process, device, and storage medium | |
| CN111242090B (zh) | 基于人工智能的人脸识别方法、装置、设备及介质 | |
| US9111171B2 (en) | Method for correcting user's gaze direction in image, machine-readable storage medium and communication terminal | |
| CN110706179B (zh) | 一种图像处理方法及电子设备 | |
| CN109684980B (zh) | 自动阅卷方法及装置 | |
| WO2021078001A1 (zh) | 一种图像增强方法及装置 | |
| CN110909654A (zh) | 训练图像的生成方法及装置、电子设备和存储介质 | |
| WO2022152001A1 (zh) | 手势识别方法和装置、电子设备、可读存储介质和芯片 | |
| CN112434546A (zh) | 人脸活体检测方法及装置、设备、存储介质 | |
| CN112381749A (zh) | 一种图像处理方法、图像处理装置和电子设备 | |
| AU2020309094B2 (en) | Image processing method and apparatus, electronic device, and storage medium | |
| CN111080747B (zh) | 一种人脸图像处理方法及电子设备 | |
| CN116048244A (zh) | 一种注视点估计方法及相关设备 | |
| CN110956571A (zh) | 基于slam进行虚实融合的方法及电子设备 | |
| CN113342157B (zh) | 眼球追踪处理方法及相关装置 | |
| CN110232417B (zh) | 图像识别方法、装置、计算机设备及计算机可读存储介质 | |
| CN110675413B (zh) | 三维人脸模型构建方法、装置、计算机设备及存储介质 | |
| CN110443752B (zh) | 一种图像处理方法和移动终端 | |
| CN111401283A (zh) | 面部识别方法及装置、电子设备及存储介质 | |
| CN114973347B (zh) | 一种活体检测方法、装置及设备 | |
| CN113837019B (zh) | 一种化妆进度检测方法、装置、设备及存储介质 | |
| CN112528760B (zh) | 图像处理方法、装置、计算机设备及介质 | |
| CN113706430A (zh) | 一种图像处理方法、装置和用于图像处理的装置 | |
| CN111145083B (zh) | 一种图像处理方法、电子设备及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |