CN112381740B - 图像处理方法、装置和电子设备 - Google Patents

图像处理方法、装置和电子设备 Download PDF

Info

Publication number
CN112381740B
CN112381740B CN202011332655.0A CN202011332655A CN112381740B CN 112381740 B CN112381740 B CN 112381740B CN 202011332655 A CN202011332655 A CN 202011332655A CN 112381740 B CN112381740 B CN 112381740B
Authority
CN
China
Prior art keywords
region
image
face
pixel point
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011332655.0A
Other languages
English (en)
Other versions
CN112381740A (zh
Inventor
赵偲斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202011332655.0A priority Critical patent/CN112381740B/zh
Publication of CN112381740A publication Critical patent/CN112381740A/zh
Application granted granted Critical
Publication of CN112381740B publication Critical patent/CN112381740B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像处理方法、装置和电子设备，属于计算机技术领域。其中，方法包括：获取第一图像；对所述第一图像进行识别，确定所述第一图像中的人脸区域、第一显著性区域和第二显著性区域，其中，所述第一显著性区域的视觉显著性高于所述第二显著性区域的视觉显著性；根据所述人脸区域的第一预设权重、所述第一显著性区域的第二预设权重和所述第二显著性区域的第三预设权重，确定所述第一图像中目标像素点的目标位置；将所述第一图像中的所述目标像素点调整至所述目标位置，得到第二图像。上述中，根据不同的预设权重，分别对人脸区域、第一显著性区域和第二显著性区域进行校正，可以提高第一图像的校正效果。

Description

图像处理方法、装置和电子设备
技术领域
本申请属于计算机技术领域，具体涉及一种图像处理方法、装置和电子设备。
背景技术
电子设备的视场角越大，拍摄获取的图像位于边缘部位的人脸会发生畸变。视场角越大，离成像中心越远，人脸的拉伸、扭曲程度越大。
现有技术中，使用网格优化的方式，对人像进行局部球极平面投影，然后优化人像与背景之间的过渡区域，对背景进行一定程度的拉伸，从而达到校正人像的目的，但是这种处理方式，校正的效果较差，会使背景图像不自然。
发明内容
本申请实施例的目的是提供一种图像处理方法、装置和电子设备，能够解决现有技术中在对人脸进行校正时，校正效果较差的问题。
第一方面，本申请实施例提供了一种图像处理方法，包括：
获取第一图像；
对所述第一图像进行识别，确定所述第一图像中的人脸区域、第一显著性区域和第二显著性区域，其中，所述第一显著性区域的视觉显著性高于所述第二显著性区域的视觉显著性；
根据所述人脸区域的第一预设权重、所述第一显著性区域的第二预设权重和所述第二显著性区域的第三预设权重，确定所述第一图像中目标像素点的目标位置；
将所述第一图像中的所述目标像素点调整至所述目标位置，得到第二图像。
第二方面，本申请实施例提供了一种图像处理装置，包括：
第一获取模块，用于获取第一图像；
第一确定模块，用于对所述第一图像进行识别，确定所述第一图像中的人脸区域、第一显著性区域和第二显著性区域，其中，所述第一显著性区域的视觉显著性高于所述第二显著性区域的视觉显著性；
第二确定模块，用于根据所述人脸区域的第一预设权重、所述第一显著性区域的第二预设权重和所述第二显著性区域的第三预设权重，确定所述第一图像中目标像素点的目标位置；
调整模块，用于将所述第一图像中的所述目标像素点调整至所述目标位置，得到第二图像。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
在本申请实施例中，获取第一图像；对所述第一图像进行识别，确定所述第一图像中的人脸区域、第一显著性区域和第二显著性区域，其中，所述第一显著性区域的视觉显著性高于所述第二显著性区域的视觉显著性；根据所述人脸区域的第一预设权重、所述第一显著性区域的第二预设权重和所述第二显著性区域的第三预设权重，确定所述第一图像中目标像素点的目标位置；将所述第一图像中的所述目标像素点调整至所述目标位置，得到第二图像。上述中，根据不同的预设权重，分别对人脸区域、第一显著性区域和第二显著性区域进行校正，可以提高第一图像的校正效果。
附图说明
图1是本申请实施例提供的图像处理方法的流程图；
图2a是本申请实施例提供的第一图像的示意图；
图2b是本申请实施例提供的第二图像的示意图；
图3是本申请实施例提供的图像处理装置的结构图；
图4是本申请实施例提供的电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。
图1为本申请实施例提供的一种图像处理方法的流程图，如图1所示，图像处理方法，由电子设备执行，包括：
步骤101、获取第一图像，所述第一图像包括人脸区域和非人脸区域。
第一图像可通过电子设备上的摄像头获取，也可以由其他电子设备将第一图像发送给电子设备。
步骤102、对所述第一图像进行识别，确定所述第一图像中的人脸区域、第一显著性区域和第二显著性区域，其中，所述第一显著性区域的视觉显著性高于所述第二显著性区域的视觉显著性。
第一图像包括人脸区域和非人脸区域。可对非人脸区域采用视觉显著性检测(Visual Saliency Detection)，检测出非人脸区域的第一显著性区域和第二显著性区域，具体的，对非人脸区域采用视觉显著性检测，检测出高显著性区域，将高显著性区域作为第一显著性区域，将非人脸区域中除高显著性区域的其他区域作为第二显著性区域。视觉显著性检测是指通过智能算法模拟人的视觉特点，提取图像中的显著区域(即人类感兴趣的区域)。第一显著性区域比第二显著性区域的视觉显著性高，也就是说，人类对第一显著性区域的兴趣比对第二显著性区域要高。采用视觉显著性检测，可将非人脸区域划分为第一显著性区域和第二显著性区域。
步骤103、根据所述人脸区域的第一预设权重、所述第一显著性区域的第二预设权重和所述第二显著性区域的第三预设权重，确定所述第一图像中目标像素点的目标位置。
根据所述人脸区域的第一预设权重，确定所述人脸区域的第一像素点的第一目标位置。
第一预设权重、第二预设权重、第三预设权重均可预先设置，例如，基于经验数据来确定第一预设权重，或者，基于网络模型来确定第一预设权重。
第一预设权重、第二预设权重与第三预设权重可相同，也可不相同。目标像素点包括位于人脸区域的第一像素点、位于第一显著性区域的第二像素点，以及位于第二显著性区域的第三像素点。目标位置包括第一像素点的第一目标位置、第二像素点的第二目标位置，以及第三像素点的第三目标位置。
步骤104、将所述第一图像中的所述目标像素点调整至所述目标位置，得到第二图像。
即，将第一图像中的第一像素点调整至第一目标位置，将第一图像中的第二像素点调整至第二目标位置，以及将第一图像中的第三像素点调整至第三目标位置，得到第二图像。
示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，本申请实施例不作具体限定。
本实施例中，获取第一图像；对所述第一图像进行识别，确定所述第一图像中的人脸区域、第一显著性区域和第二显著性区域，其中，所述第一显著性区域的视觉显著性高于所述第二显著性区域的视觉显著性；根据所述人脸区域的第一预设权重、所述第一显著性区域的第二预设权重和所述第二显著性区域的第三预设权重，确定所述第一图像中目标像素点的目标位置；将所述第一图像中的所述目标像素点调整至所述目标位置，得到第二图像。上述中，根据不同的预设权重，分别对人脸区域、第一显著性区域和第二显著性区域进行校正，可以提高第一图像的校正效果，防止了对人像进行校正时，造成背景扭曲的情况。
可选地，对所述第一图像进行识别，确定所述第一图像中的人脸区域、第一显著性区域和第二显著性区域，包括：
对所述第一图像进行人脸识别，确定所述第一图像中的人脸矩形区域，所述人脸矩形区域包括所述人脸区域；
对所述第一图像进行人像分割处理，确定人像区域；
根据所述人像区域和所述人脸矩形区域，确定所述人脸区域；
将所述第一图像中除所述人脸区域之外的区域确定为非人脸区域；
对所述非人脸区域进行视觉显著性检测，获得所述第一显著性区域和所述第二显著性区域。
具体的，可以先对第一图像进行人脸识别，获取人脸矩形区域，人脸矩形区域包括所述人脸区域；对第一图像进行人像分割处理，将人像区域从背景中分割出来，人像区域包括人脸区域和身体区域，将人像区域和人脸矩形区域中的像素取交集，获得人脸区域，即属于人像区域且属于人脸矩形区域的像素即为人脸区域的像素，这些像素所在的区域即为人脸区域。
在获得人脸区域之后，将第一图像中除人脸区域之外的区域视为非人脸区域。对第一图像中的非人脸区域进行视觉显著性检测，获得第一显著性区域和第二显著性区域。对第一显著性区域和第二显著性区域使用不同的处理方式进行处理，可使得人脸区域周围的区域可以保持平滑过渡。
可选地，所述根据所述人脸区域的第一预设权重、所述第一显著性区域的第二预设权重和所述第二显著性区域的第三预设权重，确定所述第一图像中目标像素点的目标位置，包括：
根据所述人脸区域的第一预设权重，确定所述人脸区域的第一像素点的第一优化方程；
根据所述第一显著性区域的第二预设权重，确定所述第一显著性区域的第二像素点的第二优化方程；
根据所述第二显著性区域的第三预设权重，确定所述第二显著性区域的第三像素点的第三优化方程；
对所述第一优化方程、所述第二优化方程和所述第三优化方程进行求解，确定所述第一像素点的第一目标位置，所述第二像素点的第二目标位置以及所述第三像素点的第三目标位置，所述目标像素点包括所述第一像素点、所述第二像素点和所述第三像素点。
可选地，所述第一优化方程为：
Ef＝(S(r)Pf，x+tx-Pu，x)2+(S(r)Pf，y+ty-Pu，y)2
E1＝Wf 2·Ef
其中，S(r)为人脸缩放系数函数，tx、ty为人脸平移量，Wf为第一预设权重，所述第一像素点的第一目标位置坐标为(Pf，x，Pf，y)，所述第一像素点的球极平面投影的坐标为(Pu，x，Pu，y)，E1为人脸的能量函数，E1趋近于0；
所述第二优化方程为：
Ehs＝(1+|cos(θ)|)(Phs，x-Po，x)2+(1+|sin(θ)|)(Phs，y-Po，y)2
E2＝Whs 2·Ehs
其中，θ为主方向角度，第二像素点坐标为(Po，x，Po，y)，第二像素点坐标对应的第二目标位置坐标为((Phs，x，Phs，y)，Whs为第二预设权重，E2为第一显著性区域的能量函数，E2趋近于0；
所述第三优化方程为：
Els＝(Pls，x-Po1，x)2+(Pls，y-Po1，y)2
E3＝Wls 2·Els
其中，第三像素点坐标为(Po1，x，Po1，y)，第三像素点坐标对应的第三目标位置坐标为(Pls，x，Pls，y)，Wls为第三预设权重，E3为第二显著性区域的能量函数，E3趋近于0。
上述中，根据人脸区域，第一显著性区域和第二显著性区域，可获得人脸区域中多个第一像素的第一方程，第一显著性区域中多个第二像素的第二方程，第三显著性区域中多个第三像素的第三方程。将多个第一方程、多个第二方程和多个第三方程联立方程组进行求解，例如，采用最小二乘法求解。求解能量函数的过程是最小化方程组的平方和的过程。
可选地，根据所述人脸区域的第一预设权重，确定所述人脸区域的第一像素点的第一优化方程，包括：
获取所述第一像素点对应的球极平面投影坐标；根据所述第一预设权重和所述球极平面投影坐标，确定所述第一像素点的第一优化方程。具体参见第一优化方程，使用球极平面投影坐标对人脸区域进行校正，可以提高人脸区域的校正效果。
进一步的，可选地，所述根据所述第一显著性区域的第二预设权重，获得所述第一显著性区域的第二像素点的第二优化方程，包括：
获取所述第一显著性区域中的连通区域；
获取所述连通区域的梯度方向直方图；
根据所述梯度方向直方图，确定所述连通区域对应的主方向角度；
根据所述第二预设权重和所述主方向角度，确定所述第一显著性区域的第二像素点的第二优化方程。
具体的，获取第一显著性区域中的连通区域，连通区域可有一个或多个。若两个像素点相邻，则这两个像素点属于同一个连通区域。对于每一个连通区域，获得连通区域中的像素点组成的点集，根据点集求取梯度方向直方图，并根据梯度方向直方图，求取主方向角度。一个连通区域对应一个主方向角度，相同连通区域中的像素点，采用相同的主方向角度确定对应的目标位置。根据所述第二预设权重和所述主方向角度，构建第二优化方程，对高显著性区域的形变方向进行限制，可以减小背景扭曲程度，使得第二图像过渡平滑。
采用上述方式分别对人脸区域，第一显著性区域和第二显著性区域中的像素点进行位置调整，可兼顾人脸区域与非人脸区域的校正，获得人脸区域和非人脸区域过渡平滑的图像，提高了图像校正的质量。
如图2a、图2b所示，图2a所示为第一图像，图2b所示为采用上述图像处理方法对第一图像进行处理之后(即第二图像)的效果示意图。对比第一图像和第二图像，第一图像的人脸出现了人脸畸变，第二图像中的人脸区域得到校正，同时背景区域的靠近人脸区域的区域过渡平滑。
本申请实施例提供的图像处理方法，执行主体可以为图像处理装置，或者该图像处理装置中的用于执行加载图像处理的方法的控制模块。本申请实施例中以图像处理装置执行加载图像处理的方法为例，说明本申请实施例提供的图像处理的方法。
如图3所示，图3为本申请实施例提供的一种图像处理装置的结构图，本实施例提供的图像处理装置300，由电子设备执行，包括：
获取模块301，用于获取第一图像；
第一确定模块302，用于对所述第一图像进行识别，确定所述第一图像中的人脸区域、第一显著性区域和第二显著性区域，其中，所述第一显著性区域的视觉显著性高于所述第二显著性区域的视觉显著性；
第二确定模块303，用于根据所述人脸区域的第一预设权重、所述第一显著性区域的第二预设权重和所述第二显著性区域的第三预设权重，确定所述第一图像中目标像素点的目标位置；
调整模块304，用于将所述第一图像中的所述目标像素点调整至所述目标位置，得到第二图像。
可选地，所述第二确定模块303，包括：
第一确定子模块，用于根据所述人脸区域的第一预设权重，确定所述人脸区域的第一像素点的第一优化方程；
第二确定子模块，用于根据所述第一显著性区域的第二预设权重，确定所述第一显著性区域的第二像素点的第二优化方程；
第三确定子模块，用于根据所述第二显著性区域的第三预设权重，确定所述第二显著性区域的第三像素点的第三优化方程；
第四确定子模块，用于对所述第一优化方程、所述第二优化方程和所述第三优化方程进行求解，确定所述第一像素点的第一目标位置，所述第二像素点的第二目标位置以及所述第三像素点的第三目标位置，所述目标像素点包括所述第一像素点、所述第二像素点和所述第三像素点。
可选地，所述第二确定子模块，包括：
第一获取子模块，用于获取所述第一显著性区域中的连通区域；
第二获取子模块，用于获取所述连通区域的梯度方向直方图；
第五确定子模块，用于根据所述梯度方向直方图，确定所述连通区域对应的主方向角度；
第六确定子模块，用于根据所述第二预设权重和所述主方向角度，确定所述第一显著性区域的第二像素点的第二优化方程。
可选地，所述第一确定模块302，包括：
第七确定子模块，用于对所述第一图像进行人脸识别，确定所述第一图像中的人脸矩形区域，所述人脸矩形区域包括所述人脸区域；
第八确定子模块，用于对所述第一图像进行人像分割处理，确定人像区域；
第九确定子模块，用于根据所述人像区域和所述人脸矩形区域，确定所述人脸区域；
第十确定子模块，用于将所述第一图像中除所述人脸区域之外的区域确定为非人脸区域；
第十一确定子模块，用于对所述非人脸区域进行视觉显著性检测，确定所述第一显著性区域和所述第二显著性区域。
可选地，所述第一优化方程为：
Ef＝(S(r)Pf，x+tx-Pu，x)2+(S(r)Pf，y+ty-Pu，y)2
E1＝Wf 2·Ef
其中，S(r)为人脸缩放系数函数，tx、ty为人脸平移量，Wf为第一预设权重，所述第一像素点的第一目标位置坐标为(Pf，x，Pf，y)，所述第一像素点的球极平面投影的坐标为(Pu，x，Pu，y)，E1趋近于0；
所述第二优化方程为：
Ehs＝(1+|cos(θ)|)(Phs，x-Po，x)2+(1+|sin(θ)|)(Phs，y-Po，y)2
E2＝Whs 2·Ehs
其中，θ为主方向角度，第二像素点坐标为(Po，x，Po，y)，第二像素点坐标对应的第二目标位置坐标为((Phs，x，Phs，y)，Whs为第二预设权重，E2趋近于0；
所述第三优化方程为：
Els＝(Pls，x-Po1，x)2+(Pls，y-Po1，y)2
E3＝Wls 2·Els
其中，第三像素点坐标为(Po1，x，Po1，y)，第三像素点坐标对应的第三目标位置坐标为(Pls，x，Pls，y)，Wls为第三预设权重，E3趋近于0。
本申请实施例提供的图像处理装置300能够实现图1的方法实施例中电子设备实现的各个过程以及达到相同的技术效果，为避免重复，这里不再赘述。
图4为实现本申请实施例的一种电子设备的硬件结构示意图。如图4所示，本申请实施例还提供一种电子设备，包括处理器610，存储器609，存储在存储器609上并可在所述处理器610上运行的程序或指令，该程序或指令被处理器610执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要注意的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
该电子设备600包括但不限于：射频单元601、网络模块602、音频输出单元603、输入单元604、传感器605、显示单元606、用户输入单元607、接口单元608、存储器609、以及处理器610等部件。
本领域技术人员可以理解，电子设备600还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器610逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图4中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，处理器610，用于获取第一图像；
对所述第一图像进行识别，确定所述第一图像中的人脸区域、第一显著性区域和第二显著性区域，其中，所述第一显著性区域的视觉显著性高于所述第二显著性区域的视觉显著性；
根据所述人脸区域的第一预设权重、所述第一显著性区域的第二预设权重和所述第二显著性区域的第三预设权重，确定所述第一图像中目标像素点的目标位置；
将所述第一图像中的所述目标像素点调整至所述目标位置，得到第二图像。
可选地，处理器610，用于根据所述人脸区域的第一预设权重，确定所述人脸区域的第一像素点的第一优化方程；
根据所述第一显著性区域的第二预设权重，确定所述第一显著性区域的第二像素点的第二优化方程；
根据所述第二显著性区域的第三预设权重，确定所述第二显著性区域的第三像素点的第三优化方程；
对所述第一优化方程、所述第二优化方程和所述第三优化方程进行求解，确定所述第一像素点的第一目标位置，所述第二像素点的第二目标位置以及所述第三像素点的第三目标位置，所述目标像素点包括所述第一像素点、所述第二像素点和所述第三像素点。
可选地，处理器610，用于获取所述第一显著性区域中的连通区域；
获取所述连通区域的梯度方向直方图；
根据所述梯度方向直方图，确定所述连通区域对应的主方向角度；
根据所述第二预设权重和所述主方向角度，确定所述第一显著性区域的第二像素点的第二优化方程。
可选地，处理器610，用于对所述第一图像进行人脸识别，确定所述第一图像中的人脸矩形区域，所述人脸矩形区域包括所述人脸区域；
对所述第一图像进行人像分割处理，确定人像区域；
根据所述人像区域和所述人脸矩形区域，确定所述人脸区域；
将所述第一图像中除所述人脸区域之外的区域确定为非人脸区域；
对所述非人脸区域进行视觉显著性检测，获得所述第一显著性区域和所述第二显著性区域。
进一步的，所述第一优化方程为：
Ef＝(S(r)Pf，x+tx-Pu，x)2+(S(r)Pf，y+ty-Pu，y)2
E1＝Wf 2·Ef
其中，S(r)为人脸缩放系数函数，tx、ty为人脸平移量，Wf为第一预设权重，所述第一像素点的第一目标位置坐标为(Pf，x，Pf，y)，所述第一像素点的球极平面投影的坐标为(Pu，x，Pu，y)，E1趋近于0；
所述第二优化方程为：
Ehs＝(1+|cos(θ)|)(Phs，x-Po，x)2+(1+|sin(θ)|)(Phs，y-Po，y)2
E2＝Whs 2·Ehs
其中，θ为主方向角度，第二像素点坐标为(Po，x，Po，y)，第二像素点坐标对应的第二目标位置坐标为((Phs，x，Phs，y)，Whs为第二预设权重，E2趋近于0；
所述第三优化方程为：
Els＝(Pls，x-Po1，x)2+(Pls，y-Po1，y)2
E3＝Wls 2·Els
其中，第三像素点坐标为(Po1，x，Po1，y)，第三像素点坐标对应的第三目标位置坐标为(Pls，x，Pls，y)，Wls为第三预设权重，E3趋近于0。
本实施例中的电子设备600，获取第一图像；对所述第一图像进行识别，确定所述第一图像中的人脸区域、第一显著性区域和第二显著性区域，其中，所述第一显著性区域的视觉显著性高于所述第二显著性区域的视觉显著性；根据所述人脸区域的第一预设权重、所述第一显著性区域的第二预设权重和所述第二显著性区域的第三预设权重，确定所述第一图像中目标像素点的目标位置；将所述第一图像中的所述目标像素点调整至所述目标位置，得到第二图像。上述中，根据不同的预设权重，分别对人脸区域、第一显著性区域和第二显著性区域进行校正，可以提高第一图像的校正效果。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (8)

1.一种图像处理方法，其特征在于，包括：
获取第一图像；
对所述第一图像进行识别，确定所述第一图像中的人脸区域、第一显著性区域和第二显著性区域，其中，所述第一显著性区域和所述第二显著性区域为非人脸区域，所述第一显著性区域的视觉显著性高于所述第二显著性区域的视觉显著性；
根据所述人脸区域的第一预设权重、所述第一显著性区域的第二预设权重和所述第二显著性区域的第三预设权重，确定所述第一图像中目标像素点的目标位置；
将所述第一图像中的所述目标像素点调整至所述目标位置，得到第二图像；
所述根据所述人脸区域的第一预设权重、所述第一显著性区域的第二预设权重和所述第二显著性区域的第三预设权重，确定所述第一图像中目标像素点的目标位置，包括：
根据所述人脸区域的第一预设权重，确定所述人脸区域的第一像素点的第一优化方程；
根据所述第一显著性区域的第二预设权重，确定所述第一显著性区域的第二像素点的第二优化方程；
根据所述第二显著性区域的第三预设权重，确定所述第二显著性区域的第三像素点的第三优化方程；
对所述第一优化方程、所述第二优化方程和所述第三优化方程进行求解，确定所述第一像素点的第一目标位置，所述第二像素点的第二目标位置以及所述第三像素点的第三目标位置，所述目标像素点包括所述第一像素点、所述第二像素点和所述第三像素点。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一显著性区域的第二预设权重，确定所述第一显著性区域的第二像素点的第二优化方程，包括：
获取所述第一显著性区域中的连通区域；
获取所述连通区域的梯度方向直方图；
根据所述梯度方向直方图，确定所述连通区域对应的主方向角度；
根据所述第二预设权重和所述主方向角度，确定所述第一显著性区域的第二像素点的第二优化方程。
3.根据权利要求1所述的方法，其特征在于，对所述第一图像进行识别，确定所述第一图像中的人脸区域、第一显著性区域和第二显著性区域，包括：
对所述第一图像进行人脸识别，确定所述第一图像中的人脸矩形区域，所述人脸矩形区域包括所述人脸区域；
对所述第一图像进行人像分割处理，确定人像区域；
根据所述人像区域和所述人脸矩形区域，确定所述人脸区域；
将所述第一图像中除所述人脸区域之外的区域确定为非人脸区域；
对所述非人脸区域进行视觉显著性检测，确定所述第一显著性区域和所述第二显著性区域。
4.根据权利要求2所述的方法，其特征在于，所述第一优化方程为：
Ef＝(S(r)Pf，x+tx-Pu，x)2+(S(r)Pf，y+ty-Pu，y)2
E1＝Wf 2·Ef
其中，S(r)为人脸缩放系数函数，tx、ty为人脸平移量，Wf为第一预设权重，所述第一像素点的第一目标位置坐标为(Pf，x，Pf，y)，所述第一像素点的球极平面投影的坐标为(Pu，x，Pu，y)，E1趋近于0；
所述第二优化方程为：
Ehs＝(1+|cos(θ)|)(Phs，x-Po，x)2+(1+|sin(θ)|)(Phs，y-Po，y)2
E2＝Whs 2·Ehs
其中，θ为所述主方向角度，第二像素点坐标为(Po，x，Po，y)，第二像素点坐标对应的第二目标位置坐标为(Phs，x，Phs，y)，Whs为第二预设权重，E2趋近于0；
所述第三优化方程为：
Els＝(Pls，x-Po1，x)2+(Pls，y-Po1，y)2
E3＝Wls 2·Els
其中，第三像素点坐标为(Po1，x，Po1，y)，第三像素点坐标对应的第三目标位置坐标为(Pls,x，Pls,y)，Wls为第三预设权重，E3趋近于0。
5.一种图像处理装置，其特征在于，包括：
获取模块，用于获取第一图像；
第一确定模块，用于对所述第一图像进行识别，确定所述第一图像中的人脸区域、第一显著性区域和第二显著性区域，其中，所述第一显著性区域和所述第二显著性区域为非人脸区域，所述第一显著性区域的视觉显著性高于所述第二显著性区域的视觉显著性；
第二确定模块，用于根据所述人脸区域的第一预设权重、所述第一显著性区域的第二预设权重和所述第二显著性区域的第三预设权重，确定所述第一图像中目标像素点的目标位置；
调整模块，用于将所述第一图像中的所述目标像素点调整至所述目标位置，得到第二图像；
所述第二确定模块，包括：
第一确定子模块，用于根据所述人脸区域的第一预设权重，确定所述人脸区域的第一像素点的第一优化方程；
第二确定子模块，用于根据所述第一显著性区域的第二预设权重，确定所述第一显著性区域的第二像素点的第二优化方程；
第三确定子模块，用于根据所述第二显著性区域的第三预设权重，确定所述第二显著性区域的第三像素点的第三优化方程；
第四确定子模块，用于对所述第一优化方程、所述第二优化方程和所述第三优化方程进行求解，确定所述第一像素点的第一目标位置，所述第二像素点的第二目标位置以及所述第三像素点的第三目标位置，所述目标像素点包括所述第一像素点、所述第二像素点和所述第三像素点。
6.根据权利要求5所述的装置，其特征在于，所述第二确定子模块，包括：
第一获取子模块，用于获取所述第一显著性区域中的连通区域；
第二获取子模块，用于获取所述连通区域的梯度方向直方图；
第五确定子模块，用于根据所述梯度方向直方图，确定所述连通区域对应的主方向角度；
第六确定子模块，用于根据所述第二预设权重和所述主方向角度，确定所述第一显著性区域的第二像素点的第二优化方程。
7.根据权利要求5所述的装置，其特征在于，所述第一确定模块，包括：
第七确定子模块，用于对所述第一图像进行人脸识别，确定所述第一图像中的人脸矩形区域，所述人脸矩形区域包括所述人脸区域；
第八确定子模块，用于对所述第一图像进行人像分割处理，确定人像区域；
第九确定子模块，用于根据所述人像区域和所述人脸矩形区域，确定所述人脸区域；
第十确定子模块，用于将所述第一图像中除所述人脸区域之外的区域确定为非人脸区域；
第十一确定子模块，用于对所述非人脸区域进行视觉显著性检测，确定所述第一显著性区域和所述第二显著性区域。
8.根据权利要求6所述的装置，其特征在于，所述第一优化方程为：
Ef＝(S(r)Pf，x+tx-Pu，x)2+(S(r)Pf，y+ty-Pu，y)2
E1＝Wf 2·Ef
其中，S(r)为人脸缩放系数函数，tx、ty为人脸平移量，Wf为第一预设权重，所述第一像素点的第一目标位置坐标为(Pf，x，Pf，y)，所述第一像素点的球极平面投影的坐标为(Pu，x，Pu，y)，E1趋近于0；
所述第二优化方程为：
Ehs＝(1+|cos(θ)|(Phs，x-Po，x)2+(1+|sin(θ)|)(Phs，y-Po，y)2
E2＝Whs 2·Ehs
其中，θ为所述主方向角度，第二像素点坐标为(Po，x，Po，y)，第二像素点坐标对应的第二目标位置坐标为(Phs，x，Phs，y)，Whs为第二预设权重，E2趋近于0；
所述第三优化方程为：
Els＝(Pls，x-Po1，x)2+(Pls，y-Po1，y)2
E3＝Wls 2·Els
其中，第三像素点坐标为(Po1，x，Po1，y)，第三像素点坐标对应的第三目标位置坐标为(Pls，x，Pls，y)，Wls为第三预设权重，E3趋近于0。
CN202011332655.0A 2020-11-24 2020-11-24 图像处理方法、装置和电子设备 Active CN112381740B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011332655.0A CN112381740B (zh) 2020-11-24 2020-11-24 图像处理方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011332655.0A CN112381740B (zh) 2020-11-24 2020-11-24 图像处理方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN112381740A CN112381740A (zh) 2021-02-19
CN112381740B true CN112381740B (zh) 2024-02-06

Family

ID=74588045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011332655.0A Active CN112381740B (zh) 2020-11-24 2020-11-24 图像处理方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN112381740B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013134736A (ja) * 2011-12-27 2013-07-08 Canon Inc 画像処理装置、その制御方法、及びプログラム
CN110309831A (zh) * 2019-06-10 2019-10-08 北京工业大学 基于机器视觉的非智能水表识读方法
CN110400266A (zh) * 2019-06-13 2019-11-01 北京小米移动软件有限公司 一种图像矫正的方法及装置、存储介质
CN110475067A (zh) * 2019-08-26 2019-11-19 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN111027474A (zh) * 2019-12-09 2020-04-17 Oppo广东移动通信有限公司 人脸区域获取方法、装置、终端设备和存储介质
CN111105367A (zh) * 2019-12-09 2020-05-05 Oppo广东移动通信有限公司 人脸畸变校正方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013134736A (ja) * 2011-12-27 2013-07-08 Canon Inc 画像処理装置、その制御方法、及びプログラム
CN110309831A (zh) * 2019-06-10 2019-10-08 北京工业大学 基于机器视觉的非智能水表识读方法
CN110400266A (zh) * 2019-06-13 2019-11-01 北京小米移动软件有限公司 一种图像矫正的方法及装置、存储介质
CN110475067A (zh) * 2019-08-26 2019-11-19 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN111027474A (zh) * 2019-12-09 2020-04-17 Oppo广东移动通信有限公司 人脸区域获取方法、装置、终端设备和存储介质
CN111105367A (zh) * 2019-12-09 2020-05-05 Oppo广东移动通信有限公司 人脸畸变校正方法、装置、电子设备及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Automatic color correction: region-based approach and performance evaluation using full reference metrics;Ly, Dieu Sang et al;《JOURNAL OF ELECTRONIC IMAGING》;第1-10页 *
Huanxiang Lu et al.DIFFUSION WEIGHTED IMAGING DISTORTION CORRECTION USING HYBRID MULTIMODAL IMAGE REGISTRATION.《2011 IEEE International Symposium on Biomedical Imaging: From Nano to Macro》.2011,第594-597页. *
基于3DMM 的人脸姿态校正算法;张海燕 等;《电子测量与仪器学报》;第99-105页 *
适应内容的广角图像拉伸畸变自动校正算法;杨波;冯华君;徐之海;李奇;陈阔;;浙江大学学报(工学版)(09);全文 *

Also Published As

Publication number Publication date
CN112381740A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
JP6789402B2 (ja) 画像内の物体の姿の確定方法、装置、設備及び記憶媒体
CN110147744B (zh) 一种人脸图像质量评估方法、装置及终端
CN107808147B (zh) 一种基于实时人脸点跟踪的人脸置信度判别方法
CN108961175B (zh) 人脸亮度调整方法、装置、计算机设备及存储介质
WO2022199583A1 (zh) 图像处理方法、装置、计算机设备和存储介质
CN109344727B (zh) 身份证文本信息检测方法及装置、可读存储介质和终端
CN108564579B (zh) 一种基于时空相关的混凝土裂缝检测方法及检测装置
CN111383232B (zh) 抠图方法、装置、终端设备及计算机可读存储介质
CN111241924A (zh) 基于尺度估计的人脸检测及对齐方法、装置、存储介质
CN112333385B (zh) 电子防抖控制方法及装置
CN112712569B (zh) 一种肤色检测方法、装置、移动终端和存储介质
CN111898610B (zh) 卡片缺角检测方法、装置、计算机设备及存储介质
WO2022194079A1 (zh) 天空区域分割方法、装置、计算机设备和存储介质
WO2021147437A1 (zh) 证卡边缘检测方法、设备及存储介质
US11709914B2 (en) Face recognition method, terminal device using the same, and computer readable storage medium
WO2022063321A1 (zh) 图像处理方法、装置、设备及存储介质
WO2023010661A1 (zh) 图像裁剪方法及相关产品
CN112381740B (zh) 图像处理方法、装置和电子设备
CN112446845A (zh) 地图构建方法、装置、slam系统以及存储介质
CN114255493A (zh) 图像检测方法、人脸检测方法及装置、设备及存储介质
CN114372993A (zh) 一种基于图像矫正的斜拍货架分层检测方法及系统
CN111754411B (zh) 图像降噪方法、图像降噪装置及终端设备
CN112069885A (zh) 人脸属性识别方法、装置及移动终端
CN111627037A (zh) 图像区域提取方法、装置、设备及存储介质
CN113628095B (zh) 人像区域网格点信息存储方法及相关产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant