CN111028169B - 图像校正方法、装置、终端设备和存储介质 - Google Patents

图像校正方法、装置、终端设备和存储介质 Download PDF

Info

Publication number
CN111028169B
CN111028169B CN201911252839.3A CN201911252839A CN111028169B CN 111028169 B CN111028169 B CN 111028169B CN 201911252839 A CN201911252839 A CN 201911252839A CN 111028169 B CN111028169 B CN 111028169B
Authority
CN
China
Prior art keywords
face
area
image
correction
standard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911252839.3A
Other languages
English (en)
Other versions
CN111028169A (zh
Inventor
王运
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911252839.3A priority Critical patent/CN111028169B/zh
Publication of CN111028169A publication Critical patent/CN111028169A/zh
Priority to EP20899659.5A priority patent/EP4064177A4/en
Priority to PCT/CN2020/129243 priority patent/WO2021115040A1/zh
Priority to US17/744,101 priority patent/US20220270219A1/en
Application granted granted Critical
Publication of CN111028169B publication Critical patent/CN111028169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G06T3/18—
    • G06T5/80—
    • G06T5/77—
    • G06T5/94—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本申请提出一种图像校正方法、装置、终端设备和存储介质，其中，方法包括：提取图像中各人脸对应的标准区域的人脸属性，根据人脸属性从标准区域中获取具有人脸校正属性的第一区域，根据人脸属性从标准区域中获取具有人脸保护属性的第二区域，对第一区域的人脸进行图像校正，并根据图像的背景像素对第一区域在校正过程中产生的空白区域进行像素补偿，其中，图像的背景像素不包括第二区域中的像素，解决了现有技术中对原本不需要进行校正处理的目标对象进行了校正，从而影响校正处理效率和校正效果的技术问题，实现了通过图像的背景像素对校正过程中产生的空白区域进行像素补偿，提高图像校正处理效率，保证图像校正处理效果。

Description

图像校正方法、装置、终端设备和存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像校正方法、装置、终端设备和存储介质。
背景技术
目前，终端设备配有广角摄像头，通过广角摄像头进行拍摄的图像一直存在畸变，通常通过畸变系数表示图像畸变的程度，然而，当前终端设备中仅对一个摄像头标定一组畸变系数来获取需要进行畸变校正的图像，以及采用全局优化方法对图像进行去畸变处理，导致对原本不需要进行校正处理的目标对象进行了校正，从而影响校正处理效率和校正效果的技术问题。
发明内容
本申请提出一种图像校正方法、装置、终端设备和存储介质，解决了现有技术中对原本不需要进行校正处理的目标对象进行了校正，从而影响校正处理效率和校正效果的技术问题，实现了通过图像的背景像素对校正过程中产生的空白区域进行像素补偿，提高图像校正处理效率，保证图像校正处理效果。
本申请一方面实施例提供了一种图像校正方法，所述方法包括以下步骤：提取图像中各人脸对应的标准区域的人脸属性；根据所述人脸属性从标准区域中获取具有人脸校正属性的第一区域；根据所述人脸属性从标准区域中获取具有人脸保护属性的第二区域；对所述第一区域的人脸进行图像校正，并根据所述图像的背景像素对所述第一区域在校正过程中产生的空白区域进行像素补偿，其中，所述图像的背景像素不包括所述第二区域中的像素。
本申请另一方面实施例提供了一种图像校正装置，所述装置包括：提取模块，用于提取图像中各人脸对应的标准区域的人脸属性；第一获取模块，用于根据所述人脸属性从标准区域中获取具有人脸校正属性的第一区域；第二获取模块，用于根据所述人脸属性从标准区域中获取具有人脸保护属性的第二区域；校正模块，用于对所述第一区域的人脸进行图像校正，并根据所述图像的背景像素对所述第一区域在校正过程中产生的空白区域进行像素补偿，其中，所述图像的背景像素不包括所述第二区域中的像素。
本申请又一方面实施例提供了一种终端设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述实施例所述的图像校正方法。
本申请还一方面实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例所描述的图像校正方法。
本申请提供的图像处理方法实施例，至少包括如下有益技术效果：
提取图像中各人脸对应的标准区域的人脸属性，根据人脸属性从标准区域中获取具有人脸校正属性的第一区域，根据人脸属性从标准区域中获取具有人脸保护属性的第二区域，对第一区域的人脸进行图像校正，并根据图像的背景像素对第一区域在校正过程中产生的空白区域进行像素补偿，其中，图像的背景像素不包括第二区域中的像素，解决了现有技术中对原本不需要进行校正处理的目标对象进行了校正，从而影响校正处理效率和校正效果的技术问题，实现了通过图像的背景像素对校正过程中产生的空白区域进行像素补偿，提高图像校正处理效率，保证图像校正处理效果。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本申请一个实施例的图像校正方法的流程图；
图2是根据本申请另一个实施例的图像校正方法的流程图；
图3是根据本申请一个实施例的图像校正装置的结构示意图；
图4是根据本申请另一个实施例的图像校正装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的图像校正方法、装置、终端设备和存储介质。本申请实施例的图像校正方法的应用主体可以是任意拥有摄像头的终端设备。
为了解决了现有技术中对原本不需要进行校正处理的目标对象进行了校正，从而影响校正处理效率和校正效果的技术问题，本申请中提供了一种图像校正方法，在本申请的实施例中，提取图像中各人脸对应的标准区域的人脸属性，根据人脸属性从标准区域中获取具有人脸校正属性的第一区域，根据人脸属性从标准区域中获取具有人脸保护属性的第二区域，对第一区域的人脸进行图像校正，并根据图像的背景像素对第一区域在校正过程中产生的空白区域进行像素补偿，其中，图像的背景像素不包括第二区域中的像素，由此，实现了通过图像的背景像素对校正过程中产生的空白区域进行像素补偿，提高图像校正处理效率，保证图像校正处理效果。
下面参考附图描述本申请实施例的图像校正方法。
图1是根据本申请一个实施例的图像校正方法的流程图，如图1所示，该方法包括：
步骤101，提取图像中各人脸对应的标准区域的人脸属性。
具体地，本申请的图像校正方法，主要是针对图像中人脸存在畸变的一种校正，可以理解的是，在实际拍摄的图像中可以有一个或者多个人脸，人脸可以是正脸、侧脸和半脸等，在存在多个人脸的情况下，本申请可以将各个人脸区分为需要畸变校正的人脸，需要保护、不被作为背景处理的人脸，以及可作为背景的人脸，在校正时能够对需要进行校正的人脸进行处理，对需要保护的人脸进行保护，减少了对没必要的人脸校正同时保证了保护的人脸不被拉伸变形。
其中，标准区域指的是人脸的精确区域，可以根据实际应用需要进行选择调整，人脸属性可以是人脸面积、人脸与图像中心的距离等。
可以理解的是，可以通过很多方式来获取人脸的标准区域，比如通过人脸检测算法直接获取人脸的标准区域，再比如通过实例分割算法获取人体区域，再从人体区域中获取人脸区域作为人脸的标准区域，还可以是将人脸检测算法得到的人脸框和实例分割算法得到的人体区域进行叠加处理得到人脸的标准区域，作为一种可能实现方式，检测图像中各人脸的人脸框，按照预设算法从各人脸框中标定人脸的标准区域，计算各标准区域的人脸面积，计算各人脸框的中央点坐标到图像的中心坐标的人脸径向距离。
步骤102，根据人脸属性从标准区域中获取具有人脸校正属性的第一区域。
步骤103，根据人脸属性从标准区域中获取具有人脸保护属性的第二区域。
可以理解的是，图像中每个人脸都有对应的标准区域，并提取标准区域的人脸属性，通过选择预设判断策略对人脸属性的判断可以从各个标准区域中获取具有人脸校正属性的标准区域作为第一区域和具有人脸保护属性的标准区域作为第二区域，其中，可以根据实际应用需要选择调整预设判断策略，以人脸属性为人脸面积、人脸与图像中心的距离为例，举例说明如下：
第一种示例，将人脸面积和预设的第一面积阈值进行比较，将人脸径向距离与预设的第一距离阈值进行比较，根据比较结果确定人脸面积大于第一面积阈值，和/或，人脸径向距离大于第一距离阈值对应的标准区域为具有人脸校正属性的第一区域。
第二种示例，将人脸面积和预设的第二面积阈值进行比较，以及将人脸径向距离与预设的第二距离阈值进行比较；其中，第一面积阈值大于第二面积阈值，第一距离阈值大于第二距离阈值，根据比较结果确定人脸面积小于第一面积阈值且大于第二面积阈值，同时人脸径向距离小于第一距离阈值且大于第二距离阈值对应的标准区域为具有人脸保护属性的第二区域。
步骤104，对第一区域的人脸进行图像校正，并根据图像的背景像素对第一区域在校正过程中产生的空白区域进行像素补偿，其中，图像的背景像素不包括第二区域中的像素。
进一步地，在确定需要去畸变校正的第一区域的人脸，需要保护、不被作为背景处理的第二区域的人脸后，对第一区域的人脸进行图像校正，并根据图像的背景像素对第一区域在校正过程中产生的空白区域进行像素补偿，其中，图像的背景像素不包括第二区域中的像素。
也就是在，对图像进行去畸变的过程中，需要对第一区域的人脸进行调整，在调整之后会出现空白区域，需要通过插值补偿等方式进行处理，比如将原本圆形的第一区域的人脸进行图像校正即变成椭圆形之后产生的空白区域通过不包括第二区域中的像素的图像的背景像素进行像素补偿，使得在畸变校正时能够对需要进行校正的人脸进行处理，对需要保护的人脸进行保护，减少了对没必要的人脸校正同时避免了保护的人脸被当作背景进行拉伸变形的情况。
综上，本申请实施例的图像校正方法，提取图像中各人脸对应的标准区域的人脸属性，根据人脸属性从标准区域中获取具有人脸校正属性的第一区域，根据人脸属性从标准区域中获取具有人脸保护属性的第二区域，对第一区域的人脸进行图像校正，并根据图像的背景像素对第一区域在校正过程中产生的空白区域进行像素补偿，其中，图像的背景像素不包括第二区域中的像素，解决了现有技术中对原本不需要进行校正处理的目标对象进行了校正，从而影响校正处理效率和校正效果的技术问题，实现了通过图像的背景像素对校正过程中产生的空白区域进行像素补偿，提高图像校正处理效率，保证图像校正处理效果。
为了更加清楚描述上述实施例，下面结合图2进行详细说明，如图2所示，该方法包括：
步骤201，检测图像中各人脸的人脸框，按照预设算法从各人脸框中标定人脸的标准区域。
具体地，对图像进行人脸检测可以得到各人脸的人脸框，为了获取人脸对应的标准区域，可以通过实体分割、语义分割等预设算法结合人脸框进行处理确定人脸的标准区域。
比如通过实体分割的方式将物体从背景中分离，接着对检测到的物体进行像素提取，对检测到的物体进行类别划分，一般示例分割结果中非人体区域掩模(mask)像素值为0，不同的人体区域的mask像素值对应不同非零值。
进一步地，获得各人脸的人脸框，判断该人脸框中是否存在实例分割出的人体区域，若该人脸框中只存在一个人体区域的实例分割结果，则寻找该对应人体mask在人脸框中所在部分，即为该人脸的标准区域；若该人脸框中存在多个人体区域的实例分割结果，则取人脸框中所占面积最大的人体区域的分割结果作为该人脸的标准区域。
步骤202，计算各标准区域的人脸面积，计算各人脸框的中央点坐标到图像的中心坐标的人脸径向距离。
步骤203，将人脸面积和预设的第一面积阈值进行比较，以及将人脸径向距离与预设的第一距离阈值进行比较。
步骤204，根据比较结果确定人脸面积大于第一面积阈值，和/或，人脸径向距离大于第一距离阈值对应的标准区域为具有人脸校正属性的第一区域。
步骤205，将人脸面积和预设的第二面积阈值进行比较，以及将人脸径向距离与预设的第二距离阈值进行比较；其中，第一面积阈值大于第二面积阈值，第一距离阈值大于第二距离阈值。
步骤206，根据比较结果确定人脸面积小于第一面积阈值且大于第二面积阈值，同时人脸径向距离小于第一距离阈值且大于第二距离阈值对应的标准区域为具有人脸保护属性的第二区域。
具体地，首先对各标准区域的人脸面积，比如可以通过语义分割、实例分割得到的人像区域部分与人脸检测得到的人脸矩形框的重叠部分得到该人脸的面积大小，接着计算各人脸框的中央点坐标到图像的中心坐标的人脸径向距离，比如可以根据人脸检测得到的人脸框四个顶点的坐标计算得到人脸的中央点坐标，通过计算该人脸框中央点坐标到图像中心的径向距离得到该人脸的距离。
进一步地，当人脸面积大于第一面积阈值、或者是人脸径向距离大于第一距离阈值，以及人脸面积大于第一面积阈值且人脸径向距离大于第一距离阈值对应的标准区域为具有人脸校正属性的第一区域。
当人脸面积小于第一面积阈值且大于第二面积阈值，同时人脸径向距离小于第一距离阈值且大于第二距离阈值对应的标准区域为具有人脸保护属性的第二区域；其中，第一面积阈值大于第二面积阈值，第一距离阈值大于第二距离阈值，第一面积阈值、第二面积阈值、第一距离阈值和第二距离阈值都可以根据实际应用需要进行选择设置。
步骤207，根据比较结果确定人脸面积小于第二面积阈值，同时人脸径向距离小于第二距离阈值对应的标准区域为具有人脸背景属性的第三区域。
步骤208，根据第一区域周边的具有人脸背景属性的第三区域中的像素对第一区域在校正过程中产生的空白区域进行像素补偿。
具体地，确定人脸面积小于第二面积阈值，同时人脸径向距离小于第二距离阈值对应的标准区域为具有人脸背景属性的第三区域，即可作为背景的人脸对应的第三区域。
需要说明的是，上述第一区域、第二区域和第三区域的划分方式可以根据具体应用来选择调整。
需要说明的是，上述实施例描述中若该人脸框中不存在人体区域的实例分割结果，则认为该人脸框可信度较低，将该人脸对应的标准区域设置为具有人脸背景属性的第三区域。
从而，在校正过程中对需要进行畸变校正，对需要保护的人脸进行保护，对可作为背景的人脸作为背景，并根据第一区域周边的具有人脸背景属性的第三区域中的像素对第一区域在校正过程中产生的空白区域进行像素补偿。
由此，通过引入人脸属性，综合人脸检测结果以及实例分割结果，以及每个人脸的面积大小以及人脸径向距离，计算得到每个人脸是否需要做校正、保护还是作为背景，使得最终校正结果中每张人脸都得到较好的处理效果。
综上，本申请实施例的图像校正方法，检测图像中各人脸的人脸框，按照预设算法从各人脸框中标定人脸的标准区域，计算各标准区域的人脸面积，计算各人脸框的中央点坐标到图像的中心坐标的人脸径向距离，将人脸面积和预设的第一面积阈值进行比较，以及将人脸径向距离与预设的第一距离阈值＝进行比较，，根据比较结果确定人脸面积大于第一面积阈值，和/或，人脸径向距离大于第一距离阈值对应的标准区域为具有人脸校正属性的第一区域，根据比较结果确定人脸面积小于第一面积阈值且大于第二面积阈值，同时人脸径向距离小于第一距离阈值且大于第二距离阈值对应的标准区域为具有人脸保护属性的第二区域，根据比较结果确定人脸面积小于第二面积阈值，同时人脸径向距离小于第二距离阈值对应的标准区域为具有人脸背景属性的第三区域，根据第一区域周边的具有人脸背景属性的第三区域中的像素对第一区域在校正过程中产生的空白区域进行像素补偿。解决了现有技术中不能够准确获取图像上不同区域的畸变情况，以及对原本不需要进行校正处理的目标对象进行了校正，从而影响校正处理效率和校正效果的技术问题，实现了针对图像不同区域的具体畸变情况进行不同的处理，通过第一区域周边的具有人脸背景属性的第三区域中的像素对第一区域在校正过程中产生的空白区域进行像素补偿，提高图像校正处理效率，保证去畸变处理效果。
为了实现上述实施例，本申请还提出一种图像校正装置，图3是根据本申请一个实施例的图像校正装置的结构试示意图，如图3所示，该装置包括：提取模块310、第一获取模块320、第二获取模块330和校正模块340，
其中，提取模块310，用于提取图像中各人脸对应的标准区域的人脸属性。
第一获取模块320，用于根据人脸属性从标准区域中获取具有人脸校正属性的第一区域。
第二获取模块330，用于根据人脸属性从标准区域中获取具有人脸保护属性的第二区域。
校正模块340，用于对第一区域的人脸进行图像校正，并根据图像的背景像素对第一区域在校正过程中产生的空白区域进行像素补偿，其中，图像的背景像素不包括第二区域中的像素。
在本申请的一个实施例中，如图4所示，在图3的基础上，提取模块310，包括：检测单元3101、第一计算单元3102和第二计算单元3103。
检测单元3101，用于检测图像中各人脸的人脸框，按照预设算法从各所述人脸框中标定人脸的标准区域；
第一计算单元3102，用于计算各所述标准区域的人脸面积；
第二计算单元3103，用于计算各所述人脸框的中央点坐标到所述图像的中心坐标的人脸径向距离。
在本申请的一个实施例中，第一获取模块320，具体用于：
将人脸面积和预设的第一面积阈值进行比较，以及将人脸径向距离与预设的第一距离阈值进行比较；根据比较结果确定所述人脸面积大于第一面积阈值，和/或，人脸径向距离大于第一距离阈值对应的标准区域为具有人脸校正属性的第一区域。
在本申请的一个实施例中，第二获取模块330，具体用于：
将人脸面积和预设的第二面积阈值进行比较，以及将人脸径向距离与预设的第二距离阈值进行比较；其中，第一面积阈值大于第二面积阈值，第一距离阈值大于第二距离阈值，根据比较结果确定人脸面积小于所述第一面积阈值且大于第二面积阈值，同时人脸径向距离小于第一距离阈值且大于第二距离阈值对应的标准区域为具有人脸保护属性的第二区域。
在本申请的一个实施例中，根据比较结果确定人脸面积小于第二面积阈值，同时人脸径向距离小于第二距离阈值对应的标准区域为具有人脸背景属性的第三区域，校正模块 340，具体用于：
根据第一区域周边的具有人脸背景属性的第三区域中的像素对第一区域在校正过程中产生的空白区域进行像素补偿。
需要说明的是，前述对图像校正方法的说明，也适用于本申请实施例的图像校正装置，其实现原理类似，在此不再赘述。
综上，本申请实施例的图像校正装置，提取图像中各人脸对应的标准区域的人脸属性，根据人脸属性从标准区域中获取具有人脸校正属性的第一区域，根据人脸属性从标准区域中获取具有人脸保护属性的第二区域，对第一区域的人脸进行图像校正，并根据图像的背景像素对第一区域在校正过程中产生的空白区域进行像素补偿，其中，图像的背景像素不包括第二区域中的像素，解决了现有技术中对原本不需要进行校正处理的目标对象进行了校正，从而影响校正处理效率和校正效果的技术问题，实现了通过图像的背景像素对校正过程中产生的空白区域进行像素补偿，提高图像校正处理效率，保证图像校正处理效果。
为了实现上述实施例，本申请还提出了一种终端设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如前述实施例所描述的图像校正方法。
为了实现上述实施例，本申请还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施例所描述的图像校正方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种图像校正方法，其特征在于，包括以下步骤：
提取图像中各人脸对应的标准区域的人脸属性；
根据所述人脸属性从标准区域中获取具有人脸校正属性的第一区域；
根据所述人脸属性从标准区域中获取具有人脸保护属性的第二区域；
对所述第一区域的人脸进行图像校正，并根据所述图像的背景像素对所述第一区域在校正过程中产生的空白区域进行像素补偿，其中，所述图像的背景像素不包括所述第二区域中的像素；
所述提取图像中各人脸对应的标准区域的人脸属性，包括：
检测图像中各人脸的人脸框，按照预设算法从各所述人脸框中标定人脸的标准区域；
计算各所述标准区域的人脸面积；
计算各所述人脸框的中央点坐标到所述图像的中心坐标的人脸径向距离；
将所述人脸面积和预设的第二面积阈值进行比较，以及将所述人脸径向距离与预设的第二距离阈值进行比较；
根据比较结果确定所述人脸面积小于所述第二面积阈值，同时所述人脸径向距离小于所述第二距离阈值对应的标准区域为具有人脸背景属性的第三区域；
所述根据所述图像的背景像素对所述第一区域在校正过程中产生的空白区域进行像素补偿，包括：
根据所述第一区域周边的具有人脸背景属性的所述第三区域中的像素对所述第一区域在校正过程中产生的空白区域进行像素补偿。
2.如权利要求1所述的方法，其特征在于，所述根据所述人脸属性从标准区域中获取具有人脸校正属性的第一区域，包括：
将所述人脸面积和预设的第一面积阈值进行比较，以及将所述人脸径向距离与预设的第一距离阈值进行比较；
根据比较结果确定所述人脸面积大于所述第一面积阈值，和/或，所述人脸径向距离大于所述第一距离阈值对应的标准区域为具有人脸校正属性的第一区域。
3.如权利要求2所述的方法，其特征在于，所述根据所述人脸属性从标准区域中获取具有人脸保护属性的第二区域，包括：
根据比较结果确定所述人脸面积小于所述第一面积阈值且大于所述第二面积阈值，同时所述人脸径向距离小于所述第一距离阈值且大于所述第二距离阈值对应的标准区域为具有人脸保护属性的第二区域；其中，所述第一面积阈值大于所述第二面积阈值，所述第一距离阈值大于所述第二距离阈值。
4.一种图像校正装置，其特征在于，所述装置包括：
提取模块，用于提取图像中各人脸对应的标准区域的人脸属性；
第一获取模块，用于根据所述人脸属性从标准区域中获取具有人脸校正属性的第一区域；
第二获取模块，用于根据所述人脸属性从标准区域中获取具有人脸保护属性的第二区域；
校正模块，用于对所述第一区域的人脸进行图像校正，并根据所述图像的背景像素对所述第一区域在校正过程中产生的空白区域进行像素补偿，其中，所述图像的背景像素不包括所述第二区域中的像素；
校正模块还用于根据所述第一区域周边的具有人脸背景属性的第三区域中的像素对所述第一区域在校正过程中产生的空白区域进行像素补偿；
所述提取模块，具体用于：
检测单元，用于检测图像中各人脸的人脸框，按照预设算法从各所述人脸框中标定人脸的标准区域；
第一计算单元，用于计算各所述标准区域的人脸面积；
第二计算单元，用于计算各所述人脸框的中央点坐标到所述图像的中心坐标的人脸径向距离；
所述第二获取模块用于将所述人脸面积和预设的第二面积阈值进行比较，以及将所述人脸径向距离与预设的第二距离阈值进行比较；根据比较结果确定所述人脸面积小于所述第二面积阈值，同时所述人脸径向距离小于所述第二距离阈值对应的标准区域为具有人脸背景属性的第三区域。
5.如权利要求4所述的装置，其特征在于，所述第一获取模块，具体用于：
将所述人脸面积和预设的第一面积阈值进行比较，以及将所述人脸径向距离与预设的第一距离阈值；
根据比较结果确定所述人脸面积大于所述第一面积阈值，和/或，所述人脸径向距离大于所述第一距离阈值对应的标准区域为具有人脸校正属性的第一区域。
6.一种终端设备，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-3中任一所述的图像校正方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-3中任一所述的图像校正方法。
CN201911252839.3A 2019-12-09 2019-12-09 图像校正方法、装置、终端设备和存储介质 Active CN111028169B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201911252839.3A CN111028169B (zh) 2019-12-09 2019-12-09 图像校正方法、装置、终端设备和存储介质
EP20899659.5A EP4064177A4 (en) 2019-12-09 2020-11-17 IMAGE CORRECTION METHOD AND DEVICE, TERMINAL DEVICE AND STORAGE MEDIUM
PCT/CN2020/129243 WO2021115040A1 (zh) 2019-12-09 2020-11-17 图像校正方法、装置、终端设备和存储介质
US17/744,101 US20220270219A1 (en) 2019-12-09 2022-05-13 Image correction method, terminal device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911252839.3A CN111028169B (zh) 2019-12-09 2019-12-09 图像校正方法、装置、终端设备和存储介质

Publications (2)

Publication Number Publication Date
CN111028169A CN111028169A (zh) 2020-04-17
CN111028169B true CN111028169B (zh) 2024-02-06

Family

ID=70205043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911252839.3A Active CN111028169B (zh) 2019-12-09 2019-12-09 图像校正方法、装置、终端设备和存储介质

Country Status (4)

Country Link
US (1) US20220270219A1 (zh)
EP (1) EP4064177A4 (zh)
CN (1) CN111028169B (zh)
WO (1) WO2021115040A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028169B (zh) * 2019-12-09 2024-02-06 Oppo广东移动通信有限公司 图像校正方法、装置、终端设备和存储介质
CN115578762A (zh) * 2022-09-07 2023-01-06 浙江大华技术股份有限公司 侧脸矫正的方法、矫正装置及计算机可读存储介质
CN115273210B (zh) * 2022-09-30 2022-12-09 平安银行股份有限公司 抗图像旋转的合影图像识别方法、装置、电子设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104994281A (zh) * 2015-06-30 2015-10-21 广东欧珀移动通信有限公司 一种人脸畸变校正的方法及终端
CN105554403A (zh) * 2016-02-29 2016-05-04 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN107451965A (zh) * 2017-07-24 2017-12-08 深圳市智美达科技股份有限公司 畸变人脸图像校正方法、装置、计算机设备和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7082211B2 (en) * 2002-05-31 2006-07-25 Eastman Kodak Company Method and system for enhancing portrait images
JP2011257502A (ja) * 2010-06-07 2011-12-22 Sony Corp 画像安定化装置、画像安定化方法、及びプログラム
US9600869B2 (en) * 2013-03-14 2017-03-21 Cyberlink Corp. Image editing method and system
JP2014213107A (ja) * 2013-04-30 2014-11-17 ブラザー工業株式会社 刺繍データ作成装置およびコンピュータ読取り可能な媒体
CN103391361A (zh) * 2013-07-05 2013-11-13 中科创达软件股份有限公司 一种智能终端自拍构图自动提醒方法及装置
US9514524B2 (en) * 2015-02-27 2016-12-06 Sony Corporation Optical distortion compensation
CN105611142B (zh) * 2015-09-11 2018-03-27 广东欧珀移动通信有限公司 一种拍照方法及装置
JP7158499B2 (ja) * 2018-05-07 2022-10-21 グーグル エルエルシー 顔に対する射影歪み補正
CN110139033B (zh) * 2019-05-13 2020-09-22 Oppo广东移动通信有限公司 拍照控制方法及相关产品
CN110533729A (zh) * 2019-08-22 2019-12-03 深圳传音控股股份有限公司 智能终端、像素处理方法及计算机可读存储介质
CN111028169B (zh) * 2019-12-09 2024-02-06 Oppo广东移动通信有限公司 图像校正方法、装置、终端设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104994281A (zh) * 2015-06-30 2015-10-21 广东欧珀移动通信有限公司 一种人脸畸变校正的方法及终端
CN105554403A (zh) * 2016-02-29 2016-05-04 广东欧珀移动通信有限公司 控制方法、控制装置及电子装置
CN107451965A (zh) * 2017-07-24 2017-12-08 深圳市智美达科技股份有限公司 畸变人脸图像校正方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
WO2021115040A1 (zh) 2021-06-17
CN111028169A (zh) 2020-04-17
EP4064177A4 (en) 2023-05-24
EP4064177A1 (en) 2022-09-28
US20220270219A1 (en) 2022-08-25

Similar Documents

Publication Publication Date Title
CN111028169B (zh) 图像校正方法、装置、终端设备和存储介质
US9070042B2 (en) Image processing apparatus, image processing method, and program thereof
EP2819091B1 (en) Method and apparatus for processing a gray image
KR101899866B1 (ko) 병변 경계의 오류 검출 장치 및 방법, 병변 경계의 오류 수정 장치 및 방법 및, 병변 경계의 오류 검사 장치
CN111080661B (zh) 基于图像的直线检测方法、装置以及电子设备
US8391612B2 (en) Edge detection with adaptive threshold
US8290265B2 (en) Method and apparatus for segmenting an object region of interest from an image
KR20160060403A (ko) 영상 보정 방법 및 장치
CN111047615B (zh) 基于图像的直线检测方法、装置以及电子设备
CN109859240B (zh) 视频对象跟踪方法和装置、车辆
US8750622B2 (en) Image processing device and image processing method
CN112597846B (zh) 车道线检测方法、装置、计算机设备和存储介质
CN110971827B (zh) 人像模式拍摄方法、装置、终端设备和存储介质
US10013619B2 (en) Method and device for detecting elliptical structures in an image
US9747507B2 (en) Ground plane detection
JP2014009975A (ja) ステレオカメラ
CN108898148A (zh) 一种数字图像角点检测方法、系统及计算机可读存储介质
JP2013115751A5 (zh)
CN112509003A (zh) 解决目标跟踪框漂移的方法及系统
CN111027474B (zh) 人脸区域获取方法、装置、终端设备和存储介质
CN111080545B (zh) 人脸畸变校正方法、装置、终端设备和存储介质
KR101582800B1 (ko) 적응적으로 컬러 영상 내의 에지를 검출하는 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
CN112116660B (zh) 视差图校正方法、装置、终端及计算机可读介质
CN113379639A (zh) 一种复杂环境中红外目标抗干扰检测跟踪方法
CN110599511A (zh) 一种保留图像边缘的图像滤波方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant