CN110415171A - 图像处理方法、装置及存储介质、电子设备 - Google Patents
图像处理方法、装置及存储介质、电子设备 Download PDFInfo
- Publication number
- CN110415171A CN110415171A CN201910611797.1A CN201910611797A CN110415171A CN 110415171 A CN110415171 A CN 110415171A CN 201910611797 A CN201910611797 A CN 201910611797A CN 110415171 A CN110415171 A CN 110415171A
- Authority
- CN
- China
- Prior art keywords
- pixel
- target
- feature
- image
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 16
- 230000003993 interaction Effects 0.000 claims abstract description 61
- 238000013507 mapping Methods 0.000 claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 41
- 238000000034 method Methods 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 239000012141 concentrate Substances 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 102000002274 Matrix Metalloproteinases Human genes 0.000 description 1
- 108010000684 Matrix Metalloproteinases Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本公开提供了一种图像处理方法、装置及存储介质、电子设备，涉及图像处理领域。首先通过对目标图像中的像素点进行特征信息交互；然后根据关键点识别模型对第二目标图像进行关键点识别，得到特征像素点集，其中，特征点像素集中包含有目标像素点及与目标像素点相邻的特征像素点；最后根据目标特征像素点集中的目标像素点及与目标像素点相邻的特征像素点的像素值及像素坐标，确定目标像素点的映射像素坐标，由于对于映射像素坐标的确定考虑了目标像素点及与所述目标像素点相邻的特征像素点的像素值及像素坐标，最终得到的映射像素坐标更加精确，实现了低分辨率的目标图像映射回高分辨率图像时，提高了高分辨率图像的精确度。
Description
技术领域
本公开涉及图像处理领域，具体地，涉及一种图像处理方法、装置及存储介质、电子设备。
背景技术
用户采集目标对象时会进行各种识别，比如以人脸识别为例，计算机人脸识别将根据人脸来辨别未知人物身份的能力赋予了计算机系统，使得计算机系统基于已知的人脸样本库，利用计算机分析和模式识别技术从静态或者动态的场景中，识别或验证一个或多个人脸，该技术已经被广泛的应用于公共安全，身份识别等场合。人脸识别系统包括有人脸检测、人脸关键点定位、识别和跟踪等步骤，而人脸关键点检测以及跟踪是人脸识别中非常重要的一环，也是人脸验证，人脸识别，以及各种3D人脸建模，人脸的美化、疲劳和分神的判断等应用的基础，因此，人脸关键点的检测及跟踪精度至关重要。
发明内容
本公开的目的是提供一种图像处理方法、装置及存储介质、电子设备，以改善在目标图像关键识别的过程中，从低分辨率图像映射回高分辨率图像时，映射回的目标图像精确度低的问题。
为了实现上述目的，本公开实施例第一方面提供了一种图像处理方法，所述方法包括：
对所述目标图像中的像素点进行特征信息交互；
根据关键点识别模型对第二目标图像进行关键点识别，得到特征像素点集，其中，所述特征点像素集中包含有目标像素点及与所述目标像素点相邻的特征像素点；
根据所述目标特征像素点集中的目标像素点及与所述目标像素点相邻的特征像素点的像素值及像素坐标，确定目标像素点的映射像素坐标。
可选地，所述对所述第二目标图像中的像素点进行特征信息交互包括：
对所述第二目标图像中，针对每个像素点关联的指定区域范围内的像素点进行图像特征信息交互。
可选地，在所述对所述第二目标图像中，针对每个像素点关联的指定区域范围内的像素点进行图像特征信息交互之后，所述方法还包括：
基于多个依次相连的修正线性单元将初始的所述第二目标图像进行逐层级的卷积操作，以使每个层级的修正线性单元输出一个特征交互图像，直到生成的所有的特征交换图像包含的特征通道数量的和等于初始的第二目标图像的特征通道数量；
将每个层级的修正线性单元输出的特征交换图像进行特征通道叠加以生成第三目标图像；
将所述第三目标图像与初始的所述第二目标图像中的处于同一特征通道的像素值相加，以回归至所述初始的所述第二目标图像。
可选地，所述基于多个依次相连的修正线性单元将初始的所述第二目标图像进行逐层级的卷积操作，以使每个层级的修正线性单元输出一个特征交互图像，直到生成的所有的特征交换图像包含的特征通道数量的和等于初始的第二目标图像的特征通道数量包括：
将初始的所述第二目标图像进行卷积操作，以生成特征交互图像，其中，所述第二目标图像的特征通道数量为M，所述特征交互图像的特征通道数量为N，且M大于N；
在所述特征交互图像中，针对每个像素点关联的指定区域范围内的像素点进行图像特征信息交互；
将信息交互完毕的所述特征交互图像作为新的第二目标图像，返回所述将第二目标图像进行卷积操作，以生成特征交互图像的步骤，直到生成的所有的特征交换图像包含的特征通道数量的和等于初始的第二目标图像的特征通道数量。
可选地，所述根据所述目标特征像素点集中的每个特征像素点的像素值及像素坐标，确定目标像素点的映射像素坐标包括：
将所述目标特征像素点集中的每个特征像素点的像素值及像素坐标输入双向柔性函数求参模型，以确定并输出目标像素点的映射像素坐标；
所述方法还包括：将所述多个区域的目标像素点的映射像素坐标输入到带有激活函数的全连接层，以对所述映射像素坐标进行调整。
可选地，所述将所述多个区域的目标像素点的映射像素坐标输入到带有激活函数的全连接层，以对所述映射像素坐标进行调整包括：
基于所述带有激活函数的全连接层生成所述映射像素坐标的调整权值，所述激活函数的全连接层是基于与所述第二目标图像相同类型的图像上的不同区域的像素点之间的坐标位置特征训练得到的；
根据所述调整权值对所述映射像素坐标进行调整。
可选地，所述根据所述目标特征像素点集中的每个特征像素点的像素值及像素坐标，确定目标像素点的映射像素坐标包括：
基于坐标转换模型对第一等差矩阵进行水平翻转、第二等差矩阵进行竖直翻转，然后根据翻转后的第一等差矩阵、第二等差矩阵以及目标特征像素点集中的每个特征像素点的像素值及像素坐标确定目标像素点的映射像素坐标。
可选地，基于算式 确定目标像素点的映射像素坐标，其中，flipx(x)为水平翻转，flipy(y)为竖直翻转，z为目标特征像素点集中的每个特征像素点的像素值及像素坐标的矩阵，x为第一等差矩阵、y为第二等差矩阵、K为第一等差矩阵、第二等差矩阵中的最大值。
本公开实施例第二方面还提供了一种图像处理装置，所述装置包括：
信息交互模块，被配置成对所述第二目标图像中的像素点进行特征信息交互；
关键点识别模块，被配置成根据关键点识别模型对第二目标图像进行关键点识别，得到特征像素点集，其中，所述特征点像素集中包含有目标像素点及与所述目标像素点相邻的特征像素点；
坐标确定模块，被配置成根据所述目标特征像素点集中的目标像素点及与所述目标像素点相邻的特征像素点的像素值及像素坐标，确定目标像素点的映射像素坐标。
本公开实施例第三方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开实施例第一方面提供的任一项所述方法的步骤。
本公开实施例第四方面还提供了一种电子设备，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现本公开实施例第一方面提供的所述方法的步骤。
通过上述技术方案，本公开实施例还提供了一种图像处理方法、装置及存储介质、电子设备，首先通过对所述目标图像中的像素点进行特征信息交互；然后根据关键点识别模型对第二目标图像进行关键点识别，得到特征像素点集，其中，所述特征点像素集中包含有目标像素点及与所述目标像素点相邻的特征像素点；最后根据所述目标特征像素点集中的目标像素点及与所述目标像素点相邻的特征像素点的像素值及像素坐标，确定目标像素点的映射像素坐标，由于对于映射像素坐标的确定考虑了目标像素点及与所述目标像素点相邻的特征像素点的像素值及像素坐标，因而最终得到的映射像素坐标更加精确，实现了低分辨率的目标图像映射回高分辨率图像时，提高了高分辨率图像的精确度。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是本公开实施例提供的一种图像处理方法的流程图；
图2是图1中S11的具体流程图；
图3是本公开实施例提供的一种图像处理方法的流程图；
图4是本公开实施例提供的一种图像处理装置的功能模块框图；
图5是图4中的信息交互模块的具体功能模块框图；
图6是图5中的卷积操作子模块的具体功能模块框图；
图7是本公开实施例提供的一种图像处理装置的功能模块框图；
图8是本公开实施例提供的电子设备的电路连接框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
本公开实施例提供了一种图像处理方法，所述方法包括：
S11：对第二目标图像中的像素点进行特征信息交互。
需要说明的是，可将先第二目标图像为高分辨率图像转换后的低分辨率图像，进行特征交互后的像素点包含的特征信息更加丰富。其中，第二目标图像可以为人体图像、人脸图像、设备模型图像、室内设计图像等等，在本实施例中，以目标图像采用人脸图像进行举例说明。对所述目标图像中的像素点进行特征信息交互，可以实现每个像素点具有与该像素点进行特征交互的像素点的特征信息，从而可以更精准有效地对图像进行关键点识别。
S12：根据关键点识别模型对第二目标图像进行关键点识别，得到特征像素点集。
关键点识别模型可以为级联姿态回归模型、基于人脸图像深度学习的模型等等关键点识别模型，在此不做限定。其中，所述特征点像素集中包含有目标像素点及与所述目标像素点相邻的特征像素点。例如，需要进行关键点识别的人脸图像区域为瞳孔，则特征像素点集中包含的特征像素点为与瞳孔关联的像素点。
S13：根据所述目标特征像素点集中的目标像素点及与所述目标像素点相邻的特征像素点的像素值及像素坐标，确定目标像素点的映射像素坐标。
目标像素点可以为目标特征像素点集中像素值最大的像素点，例如，目标特征像素点集为5×5像素点矩阵中，则像素值为0.6的像素点为目标像素点；与所述目标像素点相邻的特征像素点为像素值分别为0.1、0.2、0.2及0.3的像素点。
可选地，S13包括：基于坐标转换模型对第一等差矩阵进行水平翻转、第二等差矩阵进行竖直翻转，然后根据翻转后的第一等差矩阵、第二等差矩阵以及目标特征像素点集中的每个特征像素点的像素值及像素坐标确定目标像素点的映射像素坐标。
可选地，基于算式 确定目标像素点的映射像素坐标，其中，flipx(x)为水平翻转，flipy(y)为竖直翻转，z为目标特征像素点集中的每个特征像素点的像素值及像素坐标的矩阵，x为第一等差矩阵、y为第二等差矩阵、K为第一等差矩阵、第二等差矩阵中的最大值，其中，第一等差矩阵可以为：
第二等差矩阵可以为：
可以理解地，此时K的值为32。
本公开实施例提供的图像处理方法，首先通过对所述目标图像中的像素点进行特征信息交互；然后根据关键点识别模型对第二目标图像进行关键点识别，得到特征像素点集，其中，所述特征点像素集中包含有目标像素点及与所述目标像素点相邻的特征像素点；最后根据所述目标特征像素点集中的目标像素点及与所述目标像素点相邻的特征像素点的像素值及像素坐标，确定目标像素点的映射像素坐标，由于对于映射像素坐标的确定考虑了目标像素点及与所述目标像素点相邻的特征像素点的像素值及像素坐标，因而最终得到的映射像素坐标更加精确，从而实现了低分辨率的目标图像映射回高分辨率图像时，提高了高分辨率图像的精确度。
可选地，如图2所示，S11包括：
S21：对所述第二目标图像中，针对每个像素点关联的指定区域范围内的像素点进行图像特征信息交互。
其中，指定区域范围可以为，例如，针对像素点A进行图像特征信息交互，则以像素点A为中心的3×3的矩阵内的像素点分别与像素点A进行像素交互。
S22：基于多个依次相连的修正线性单元将初始的所述第二目标图像进行逐层级的卷积操作，以使每个层级的修正线性单元输出一个特征交互图像，直到生成的所有的特征交换图像包含的特征通道数量的和等于初始的第二目标图像的特征通道数量。
具体地，S22可以按照如下方式执行：将初始的所述第二目标图像进行卷积操作，以生成特征交互图像，其中，所述第二目标图像的特征通道数量为M，所述特征交互图像的特征通道数量为N，且M大于N；在所述特征交互图像中，针对每个像素点关联的指定区域范围内的像素点进行图像特征信息交互；将信息交互完毕的所述特征交互图像作为新的第二目标图像，返回所述将第二目标图像进行卷积操作，以生成特征交互图像的步骤，直到生成的所有的特征交换图像包含的特征通道数量的和等于初始的第二目标图像的特征通道数量。
例如，初始的所述第二目标图像的为特征通道数量为192，将初始的所述第二目标图像进行卷积操作生成特征通道数量为96的特征交互图像；针对特征通道数量为96的特征交互图像，进行每个像素点关联的指定区域范围(如每个像素点为中心的3×3的矩阵内的像素点)内的像素点进行图像特征信息交互，得到新的第二目标图像；将新的第二目标图像进行卷积操作生成特征通道数量为48的特征交互图像，针对特征通道数量为48的特征交互图像，进行每个像素点关联的指定区域范围(如每个像素点为中心的3×3的矩阵内的像素点)内的像素点进行图像特征信息交互，得到新的第二目标图像；将新的第二目标图像进行卷积操作生成特征通道数量为24的特征交互图像，针对特征通道数量为24的特征交互图像，进行每个像素点关联的指定区域范围(如每个像素点为中心的3×3的矩阵内的像素点)内的像素点进行图像特征信息交互，以得到新的第二目标图像；将新的第二目标图像进行卷积操作生成新的特征通道数量为24的特征交互图像。可以理解地，生成的所有的特征交换图像包含的特征通道数量的和为24+24+48+96＝196，196即为初始的所述第二目标图像的为特征通道数量。
S23：将每个层级的修正线性单元输出的特征交换图像进行特征通道叠加以生成第三目标图像。
可以理解地，每个层级的修正线性单元包含两路输出，一路作为下一层级的修正线性单元的输入，另一路即为特征通道叠加的输入。可以理解地，由于上述的图像特征信息的交互，第三目标图像的每个像素点均包含有丰富的图像特征信息，从而可以明显地提高关键点识别的精度。
S24：将所述第三目标图像与初始的所述第二目标图像中的处于同一特征通道的像素值相加，以回归至所述初始的所述第二目标图像。
可选地，如图3所示，S13包括：
S31：将所述目标特征像素点集中的每个特征像素点的像素值及像素坐标输入双向柔性函数求参模型，以确定并输出目标像素点的映射像素坐标。
所述方法还包括：S32：将所述多个区域的目标像素点的映射像素坐标输入到带有激活函数的全连接层，以对所述映射像素坐标进行调整。
当待调整的映射像素坐标为瞳孔的映射像素坐标时，多个区域的目标像素点的映射像素坐标可以为预先得到的眉毛的映射像素坐标、鼻子的映射像素坐标、嘴巴的映射像素坐标等等，通过全连接层基于与第二目标图像相同类型的图像上的不同区域的像素点之间的坐标位置特征，生成映射像素坐标的调整权值。
具体地，可以基于所述带有激活函数的全连接层生成所述映射像素坐标的调整权值，所述激活函数的全连接层是基于与所述第二目标图像相同类型的图像上的不同区域的像素点之间的坐标位置特征训练得到的；根据所述调整权值对所述映射像素坐标进行调整，从而可以得到更精确地映射像素坐标。
请结合参阅图4，本公开实施例还提供了一种图像处理装置400，所述装置包括信息交互模块401、关键点识别模块402以及坐标确定模块403，其中，
信息交互模块401被配置成对所述第二目标图像中的像素点进行特征信息交互。
关键点识别模块402被配置成根据关键点识别模型对第二目标图像进行关键点识别，得到特征像素点集。
其中，所述特征点像素集中包含有目标像素点及与所述目标像素点相邻的特征像素点。
坐标确定模块403被配置成根据所述目标特征像素点集中的目标像素点及与所述目标像素点相邻的特征像素点的像素值及像素坐标，确定目标像素点的映射像素坐标。
可选地，如图5所示，信息交互模块401包括：
特征信息交互子模块501，被具体配置成对所述第二目标图像中，针对每个像素点关联的指定区域范围内的像素点进行图像特征信息交互。
卷积操作子模块502，被配置成基于多个依次相连的修正线性单元将初始的所述第二目标图像进行逐层级的卷积操作，以使每个层级的修正线性单元输出一个特征交互图像，直到生成的所有的特征交换图像包含的特征通道数量的和等于初始的第二目标图像的特征通道数量。
通道叠加子模块503，被配置成将每个层级的修正线性单元输出的特征交换图像进行特征通道叠加以生成第三目标图像。
图像回归子模块504，被配置成将所述第三目标图像与初始的所述第二目标图像中的处于同一特征通道的像素值相加，以回归至所述初始的所述第二目标图像。
可选地，如图6所示，卷积操作子模块502包括：
卷积操作单元601，被配置成将初始的所述第二目标图像进行卷积操作，以生成特征交互图像，其中，所述第二目标图像的特征通道数量为M，所述特征交互图像的特征通道数量为N，且M大于N。
特征交互单元602，被配置成在所述特征交互图像中，针对每个像素点关联的指定区域范围内的像素点进行图像特征信息交互。
卷积操作单元601还被配置成将信息交互完毕的所述特征交互图像作为新的第二目标图像，所述将第二目标图像进行卷积操作，以生成特征交互图像，直到生成的所有的特征交换图像包含的特征通道数量的和等于初始的第二目标图像的特征通道数量。
可选地，坐标确定模块403被具体配置成将所述目标特征像素点集中的每个特征像素点的像素值及像素坐标输入双向柔性函数求参模型，以确定并输出目标像素点的映射像素坐标。
如图7所示，所在装置还包括：坐标调整模块701，被配置成将所述多个区域的目标像素点的映射像素坐标输入到带有激活函数的全连接层，以对所述映射像素坐标进行调整。
坐标调整模块701被具体配置成基于所述带有激活函数的全连接层生成所述映射像素坐标的调整权值，所述激活函数的全连接层是基于与所述第二目标图像相同类型的图像上的不同区域的像素点之间的坐标位置特征训练得到的；根据所述调整权值对所述映射像素坐标进行调整。
坐标确定模块403被具体配置成基于坐标转换模型对第一等差矩阵进行水平翻转、第二等差矩阵进行竖直翻转，然后根据翻转后的第一等差矩阵、第二等差矩阵以及目标特征像素点集中的每个特征像素点的像素值及像素坐标确定目标像素点的映射像素坐标。
例如，坐标确定模块403被具体配置成基于算式
确定目标像素点的映射像素坐标，其中，flipx(x)为水平翻转，flipy(y)为竖直翻转，z为目标特征像素点集中的每个特征像素点的像素值及像素坐标的矩阵，x为第一等差矩阵、y为第二等差矩阵、K为第一等差矩阵、第二等差矩阵中的最大值。
本公开实施例还提供了一种图像处理装置，可以实现如下功能：首先通过对所述目标图像中的像素点进行特征信息交互；然后根据关键点识别模型对第二目标图像进行关键点识别，得到特征像素点集，其中，所述特征点像素集中包含有目标像素点及与所述目标像素点相邻的特征像素点；最后根据所述目标特征像素点集中的目标像素点及与所述目标像素点相邻的特征像素点的像素值及像素坐标，确定目标像素点的映射像素坐标，由于对于映射像素坐标的确定考虑了目标像素点及与所述目标像素点相邻的特征像素点的像素值及像素坐标，因而最终得到的映射像素坐标更加精确，从而实现了低分辨率的目标图像映射回高分辨率图像时，提高了高分辨率图像的精确度。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图8是根据一示例性实施例示出的一种电子设备800的框图。例如，电子设备800可以被提供为一服务器。参照图8，电子设备800包括处理器822，其数量可以为一个或多个，以及存储器832，用于存储可由处理器822执行的计算机程序。存储器832中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器822可以被配置为执行该计算机程序，以执行上述的图像处理方法。
另外，电子设备800还可以包括电源组件826和通信组件850，该电源组件826可以被配置为执行电子设备800的电源管理，该通信组件850可以被配置为实现电子设备800的通信，例如，有线或无线通信。此外，该电子设备800还可以包括输入/输出(I/O)接口858。电子设备800可以操作基于存储在存储器832的操作系统，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM等等。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的图像处理方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器832，上述程序指令可由电子设备800的处理器822执行以完成上述的图像处理方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的图像处理方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
Claims (11)
1.一种图像处理方法，其特征在于，所述方法包括：
对第二目标图像中的像素点进行特征信息交互；
根据关键点识别模型对第二目标图像进行关键点识别，得到特征像素点集，其中，所述特征点像素集中包含有目标像素点及与所述目标像素点相邻的特征像素点；
根据所述目标特征像素点集中的目标像素点及与所述目标像素点相邻的特征像素点的像素值及像素坐标，确定目标像素点的映射像素坐标。
2.根据权利要求1所述的方法，其特征在于，所述对所述第二目标图像中的像素点进行特征信息交互包括：
对所述第二目标图像中，针对每个像素点关联的指定区域范围内的像素点进行图像特征信息交互。
3.根据权利要求1所述的方法，其特征在于，在所述对所述第二目标图像中，针对每个像素点关联的指定区域范围内的像素点进行图像特征信息交互之后，所述方法还包括：
基于多个依次相连的修正线性单元将初始的所述第二目标图像进行逐层级的卷积操作，以使每个层级的修正线性单元输出一个特征交互图像，直到生成的所有的特征交换图像包含的特征通道数量的和等于初始的第二目标图像的特征通道数量；
将每个层级的修正线性单元输出的特征交换图像进行特征通道叠加以生成第三目标图像；
将所述第三目标图像与初始的所述第二目标图像中的处于同一特征通道的像素值相加，以回归至所述初始的所述第二目标图像。
4.根据权利要求3所述的方法，其特征在于，所述基于多个依次相连的修正线性单元将初始的所述第二目标图像进行逐层级的卷积操作，以使每个层级的修正线性单元输出一个特征交互图像，直到生成的所有的特征交换图像包含的特征通道数量的和等于初始的第二目标图像的特征通道数量包括：
将初始的所述第二目标图像进行卷积操作，以生成特征交互图像，其中，所述第二目标图像的特征通道数量为M，所述特征交互图像的特征通道数量为N，且M大于N；
在所述特征交互图像中，针对每个像素点关联的指定区域范围内的像素点进行图像特征信息交互；
将信息交互完毕的所述特征交互图像作为新的第二目标图像，返回所述将第二目标图像进行卷积操作，以生成特征交互图像的步骤，直到生成的所有的特征交换图像包含的特征通道数量的和等于初始的第二目标图像的特征通道数量。
5.根据权利要求1所述的方法，其特征在于，所述根据所述目标特征像素点集中的每个特征像素点的像素值及像素坐标，确定目标像素点的映射像素坐标包括：
将所述目标特征像素点集中的每个特征像素点的像素值及像素坐标输入双向柔性函数求参模型，以确定并输出目标像素点的映射像素坐标；
所述方法还包括：将所述多个区域的目标像素点的映射像素坐标输入到带有激活函数的全连接层，以对所述映射像素坐标进行调整。
6.根据权利要求5所述的方法，其特征在于，所述将所述多个区域的目标像素点的映射像素坐标输入到带有激活函数的全连接层，以对所述映射像素坐标进行调整包括：
基于所述带有激活函数的全连接层生成所述映射像素坐标的调整权值，所述激活函数的全连接层是基于与所述第二目标图像相同类型的图像上的不同区域的像素点之间的坐标位置特征训练得到的；
根据所述调整权值对所述映射像素坐标进行调整。
7.根据权利要求1所述的方法，其特征在于，所述根据所述目标特征像素点集中的每个特征像素点的像素值及像素坐标，确定目标像素点的映射像素坐标包括：
基于坐标转换模型对第一等差矩阵进行水平翻转、第二等差矩阵进行竖直翻转，然后根据翻转后的第一等差矩阵、第二等差矩阵以及目标特征像素点集中的每个特征像素点的像素值及像素坐标确定目标像素点的映射像素坐标。
8.根据权利要求7所述的方法，其特征在于，基于算式确定目标像素点的映射像素坐标，其中，flipx(x)为水平翻转，flipy(y)为竖直翻转，z为目标特征像素点集中的每个特征像素点的像素值及像素坐标的矩阵，x为第一等差矩阵、y为第二等差矩阵、K为第一等差矩阵、第二等差矩阵中的最大值。
9.一种图像处理装置，其特征在于，所述装置包括：
信息交互模块，被配置成对第二目标图像中的像素点进行特征信息交互；
关键点识别模块，被配置成根据关键点识别模型对第二目标图像进行关键点识别，得到特征像素点集，其中，所述特征点像素集中包含有目标像素点及与所述目标像素点相邻的特征像素点；
坐标确定模块，被配置成根据所述目标特征像素点集中的目标像素点及与所述目标像素点相邻的特征像素点的像素值及像素坐标，确定目标像素点的映射像素坐标。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8中任一项所述方法的步骤。
11.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-8中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910611797.1A CN110415171B (zh) | 2019-07-08 | 2019-07-08 | 图像处理方法、装置及存储介质、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910611797.1A CN110415171B (zh) | 2019-07-08 | 2019-07-08 | 图像处理方法、装置及存储介质、电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110415171A true CN110415171A (zh) | 2019-11-05 |
| CN110415171B CN110415171B (zh) | 2021-06-25 |
Family
ID=68360692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910611797.1A Active CN110415171B (zh) | 2019-07-08 | 2019-07-08 | 图像处理方法、装置及存储介质、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110415171B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111062261A (zh) * | 2019-11-25 | 2020-04-24 | 维沃移动通信（杭州）有限公司 | 一种图像处理方法及装置 |
| CN113838002A (zh) * | 2021-08-25 | 2021-12-24 | 网易（杭州）网络有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106599830A (zh) * | 2016-12-09 | 2017-04-26 | 中国科学院自动化研究所 | 人脸关键点定位方法及装置 |
| CN107767419A (zh) * | 2017-11-07 | 2018-03-06 | 广州深域信息科技有限公司 | 一种人体骨骼关键点检测方法及装置 |
| CN108765279A (zh) * | 2018-03-19 | 2018-11-06 | 北京工业大学 | 一种面向监控场景的行人人脸超分辨率重建方法 |
| US10282864B1 (en) * | 2018-09-17 | 2019-05-07 | StradVision, Inc. | Method and device for encoding image and testing method and testing device using the same |
| CN109886121A (zh) * | 2019-01-23 | 2019-06-14 | 浙江大学 | 一种遮挡鲁棒的人脸关键点定位方法 |
-
2019
- 2019-07-08 CN CN201910611797.1A patent/CN110415171B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106599830A (zh) * | 2016-12-09 | 2017-04-26 | 中国科学院自动化研究所 | 人脸关键点定位方法及装置 |
| CN107767419A (zh) * | 2017-11-07 | 2018-03-06 | 广州深域信息科技有限公司 | 一种人体骨骼关键点检测方法及装置 |
| CN108765279A (zh) * | 2018-03-19 | 2018-11-06 | 北京工业大学 | 一种面向监控场景的行人人脸超分辨率重建方法 |
| US10282864B1 (en) * | 2018-09-17 | 2019-05-07 | StradVision, Inc. | Method and device for encoding image and testing method and testing device using the same |
| CN109886121A (zh) * | 2019-01-23 | 2019-06-14 | 浙江大学 | 一种遮挡鲁棒的人脸关键点定位方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111062261A (zh) * | 2019-11-25 | 2020-04-24 | 维沃移动通信（杭州）有限公司 | 一种图像处理方法及装置 |
| CN111062261B (zh) * | 2019-11-25 | 2023-07-07 | 维沃移动通信（杭州）有限公司 | 一种图像处理方法及装置 |
| CN113838002A (zh) * | 2021-08-25 | 2021-12-24 | 网易（杭州）网络有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110415171B (zh) | 2021-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110399809A (zh) | 多特征融合的人脸关键点检测方法及装置 | |
| CN103400119B (zh) | 基于人脸识别技术的混合显示眼镜交互展示方法 | |
| CN108550190A (zh) | 增强现实数据处理方法、装置、计算机设备和存储介质 | |
| CN107977633A (zh) | 人脸图像的年龄识别方法、装置及存储介质 | |
| CN104346612B (zh) | 信息处理装置和显示方法 | |
| CN110021051A (zh) | 一种基于生成对抗网络通过文本指导的人物图像生成方法 | |
| CN106778506A (zh) | 一种融合深度图像和多通道特征的表情识别方法 | |
| CN105760836A (zh) | 基于深度学习的多角度人脸对齐方法、系统及拍摄终端 | |
| CN109598234A (zh) | 关键点检测方法和装置 | |
| CN109637664A (zh) | 一种bmi评测方法、装置及计算机可读存储介质 | |
| GB2560340A (en) | Verification method and system | |
| CN104899563A (zh) | 一种二维人脸关键特征点定位方法及系统 | |
| RU2606874C1 (ru) | Способ управления устройством формирования среды дополненной реальности | |
| CN111027403A (zh) | 手势估计方法、装置、设备及计算机可读存储介质 | |
| CN110263768A (zh) | 一种基于深度残差网络的人脸识别方法 | |
| US20200327726A1 (en) | Method of Generating 3D Facial Model for an Avatar and Related Device | |
| CN110415171A (zh) | 图像处理方法、装置及存储介质、电子设备 | |
| KR20210049655A (ko) | 특징맵 생성방법 및 특징맵 생성장치 | |
| CN106600669A (zh) | 基于可变色荧光画板和增强现实的装置及运行方法 | |
| CN109635021A (zh) | 一种基于人体检测的数据信息录入方法、装置及设备 | |
| CN107179839A (zh) | 用于终端的信息输出方法、装置及设备 | |
| CN111459269A (zh) | 一种增强现实显示方法、系统及计算机可读存储介质 | |
| CN110287831A (zh) | 一种基于地标的控制点的获取方法、装置和电子设备 | |
| CN110427849A (zh) | 人脸姿态确定方法、装置、存储介质和电子设备 | |
| CN108121951A (zh) | 特征点定位方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |