CN107680128B - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN107680128B
CN107680128B CN201711045673.9A CN201711045673A CN107680128B CN 107680128 B CN107680128 B CN 107680128B CN 201711045673 A CN201711045673 A CN 201711045673A CN 107680128 B CN107680128 B CN 107680128B
Authority
CN
China
Prior art keywords
distance
image
shooting distance
portrait
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201711045673.9A
Other languages
English (en)
Other versions
CN107680128A (zh
Inventor
曾元清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201711045673.9A priority Critical patent/CN107680128B/zh
Publication of CN107680128A publication Critical patent/CN107680128A/zh
Priority to US16/142,272 priority patent/US10825150B2/en
Priority to JP2020519299A priority patent/JP7027537B2/ja
Priority to KR1020207008877A priority patent/KR102291081B1/ko
Priority to PCT/CN2018/111283 priority patent/WO2019085786A1/en
Priority to EP18202029.7A priority patent/EP3477939B1/en
Application granted granted Critical
Publication of CN107680128B publication Critical patent/CN107680128B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。上述方法，包括：对待处理图像进行人脸识别；当检测所述待处理图像包含人像时，获取所述人像的拍摄距离；当所述拍摄距离满足预设距离条件时，获取与满足的距离条件匹配的参数关系；根据所述参数关系选取与所述拍摄距离对应的美颜参数；根据所述美颜参数对所述人像进行美颜处理。上述图像处理方法、装置、电子设备及计算机可读存储介质，可以根据拍摄距离自适应选取美颜参数，可提高美颜效果，使图像的视觉显示效果更好。

Description

图像处理方法、装置、电子设备及计算机可读存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。
背景技术
在电子设备通过摄像头等采集人物图像后，可通过美颜技术对采集的人物图像进行美颜处理，其中，美颜处理可包括美白、磨皮、增大眼睛、瘦脸、瘦身等。传统的美颜处理中，都是预先设置固定的美颜参数，针对每一张采集的人物图像均是通过该固定的美颜参数进行统一处理。
发明内容
本申请实施例提供一种图像处理方法、装置、电子设备及计算机可读存储介质，可以根据拍摄距离自适应选取美颜参数，可提高美颜效果，使图像的视觉显示效果更好。
一种图像处理方法，包括：
对待处理图像进行人脸识别；
当检测所述待处理图像包含人像时，获取所述人像的拍摄距离；
当所述拍摄距离满足预设距离条件时，获取与满足的距离条件匹配的参数关系；
根据所述参数关系选取与所述拍摄距离对应的美颜参数；
根据所述美颜参数对所述人像进行美颜处理。
一种图像处理装置，包括：
识别模块，用于对待处理图像进行人脸识别；
距离获取模块，用于当检测所述待处理图像包含人像时，获取所述人像的拍摄距离；
关系获取模块，用于当所述拍摄距离满足预设距离条件时，获取与满足的距离条件匹配的参数关系；
参数选取模块，用于根据所述参数关系选取与所述拍摄距离对应的美颜参数；
处理模块，用于根据所述美颜参数对所述人像进行美颜处理。
一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上所述的方法。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
上述图像处理方法、装置、电子设备及计算机可读存储介质，当检测到待处理图像包含人像时，获取人像的拍摄距离，当拍摄距离满足预设距离条件时，获取与满足的距离条件匹配的参数关系，并根据该参数关系选取与拍摄距离对应的美颜参数，再根据美颜参数对人像进行美颜处理，可以根据拍摄距离自适应选取美颜参数，可提高美颜效果，使图像的视觉显示效果更好。
附图说明
图1为一个实施例中电子设备的框图；
图2为一个实施例中图像处理方法的架构图；
图3为一个实施例中图像处理方法的流程示意图；
图4为一个实施例中获取人像的拍摄距离的流程示意图；
图5为一个实施例中根据人脸区域比例获取拍摄距离的示意图；
图6为另一个实施例中获取人像的拍摄距离的流程示意图；
图7为一个实施例中计算景深信息的示意图；
图8为一个实施例中获取参数关系的流程示意图；
图9(a)为一个实施例中拍摄距离小于第一距离阈值时，美颜参数与拍摄距离的参数关系示意图；
图9(b)为一个实施例中拍摄距离大于第二距离阈值时，美颜参数与拍摄距离的参数关系示意图；
图10为一个实施例中图像处理装置的框图；
图11为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一客户端称为第二客户端，且类似地，可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端，但其不是同一客户端。
图1为一个实施例中电子设备的框图。如图1所示，该电子设备包括通过系统总线连接的处理器、存储器、显示屏和输入装置。其中，存储器可包括非易失性存储介质及处理器。电子设备的非易失性存储介质存储有操作系统及计算机程序，该计算机程序被处理器执行时以实现本申请实施例中提供的一种图像处理方法。该处理器用于提供计算和控制能力，支撑整个电子设备的运行。电子设备中的内存储器为非易失性存储介质中的计算机程序的运行提供环境。电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏等，输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，也可以是外接的键盘、触控板或鼠标等。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
图2为一个实施例中图像处理方法的架构图。如图2所示，电子设备中涉及美颜处理可包括有三层架构，分别是特征层、适配层及处理层。特征层用于提取输入的图像的人脸特征信息，人脸特征信息可包括但不限于肤色特征、肤质特征、年龄特征、性别特征、妆容特征等。
适配层用于根据提取的人脸特征信息及采集的物理拍摄参数等自适应选取美颜参数，其中，物理拍摄参数可包括但不限于拍摄距离、环境亮度、色温、曝光度等。可选地，适配层中可预先存储有参数选取模型，可通过参数选取模型对人脸特征信息及采集的物理拍摄参数等进行分析，从而选取与人脸特征信息及物理拍摄参数对应的美颜参数，其中，参数选取模型可通过机器深度学习进行构建。适配层选取的美颜参数可包括但不限于美白参数、磨皮参数、大眼参数、瘦脸参数等。
处理层用于根据适配层选取的美颜参数，调用相应的美颜组件对输入的图像进行美颜处理，美颜组件可包括但不限于磨皮组件、美白组件、大眼组件、瘦脸组件及美唇组件等，不同的美颜组件可根据对应类型的美颜参数进行处理，例如，磨皮组件可根据磨皮参数对输入的图像进行磨皮处理，美白组件可根据美白参数对输入的图像进行美白处理等。各个美颜组件之间可相互独立，在一个实施例中，处理层可获取与各个美颜组件对应的标志位，其中，标志位为第一标志位的美颜组件需要对输入的图像进行美颜处理，标志位为第二标志位的美颜组件可不对输入的图像进行美颜处理，第一标志位及第二标志位可根据需求进行设定，例如，第一标志位为1，第二标志位为0等，但不限于此。当美颜组件需要对输入的图像进行美颜处理，美颜组件可获取对应类型的美颜参数，并根据该美颜参数对输入的图像进行美颜处理。处理层根据适配层选取的美颜参数对输入的图像进行美颜处理后，可输出处理后的图像，并将处理后的图像在显示屏进行展示。
如图3所示，在一个实施例中，提供一种图像处理方法，包括以下步骤：
步骤310，对待处理图像进行人脸识别。
电子设备可获取待处理图像，待处理图像可以是电子设备通过摄像头等成像设备采集的可在显示屏预览的预览图像，也可以是已经生成并存储的图像。电子设备可对待处理图像进行人脸识别，判断待处理图像中是否包含人像。电子设备可提取待处理图像的图像特征，并通过预设的人脸识别模型对图像特征进行分析，判断待处理图像中是否包含人脸，若包含，则可判定待处理图像中包含人像。图像特征可包括形状特征、空间特征及边缘特征等，其中，形状特征指的是待处理图像中局部的形状，空间特征指的是待处理图像中分割出来的多个区域之间的相互的空间位置或相对方向关系，边缘特征指的是待处理图像中组成两个区域之间的边界像素等。
在一个实施例中，人脸识别模型可以是预先通过机器学习构建的决策模型，构建人脸识别模型时，可获取大量的样本图像，样本图像中包含有人脸图像及无人图像，可根据每个样本图像是否包含人脸对样本图像进行标记，并将标记的样本图像作为人脸识别模型的输入，通过机器学习进行训练，得到人脸识别模型。
步骤320，当检测待处理图像包含人像时，获取人像的拍摄距离。
当电子设备检测到待处理图像包含人像时，可获取待处理图像中包含的人像的拍摄距离，该拍摄距离可指的是采集待处理图像时人像与摄像头成像面的距离，也可以是采集待处理图像时人像与电子设备的距离。
在一个实施例中，待处理图像可以是电子设备通过摄像头采集的可在显示屏预览的预览图像，进行图像采集时，电子设备可通过距离传感器实时获取人像的拍摄距离，可选地，距离传感器可向外发送光源，并可测量该光源被人像反射回来的时间，根据该时间确定人像的拍摄距离。电子设备也可采用其他的方式获取待处理图像中人像的拍摄距离，并不仅限于此。
步骤330，当拍摄距离满足预设距离条件时，获取与满足的距离条件匹配的参数关系。
电子设备可判断待处理图像中人像的拍摄距离是否满足预设距离条件，距离条件指的是可能出现采集的图像模糊的距离范围。距离条件可根据需求预先进行设置，距离条件可以为一个或多个，每个距离条件可对应一个具体的距离范围，电子设备可将待处理图像中人像的拍摄距离与每个距离条件对应的距离范围进行比较，判断人像的拍摄距离是否落入距离范围内，若落入，则满足对应的距离条件。例如，可预先设置两个距离条件，分别为小于30厘米及大于60厘米，若待处理图像中人像的拍摄距离为20厘米，则满足小于30厘米的距离条件。
在一个实施例中，当电子设备开启摄像头采集图像时，可先采集当前场景中的多帧图像，可获取采集的多帧图像中各个被摄物体的拍摄距离，并检测采集的多帧图像中各个被摄物体的清晰程度，再根据清晰程度确定距离条件。电子设备可获取当前场景中清晰程度小于预设值的被摄物体，并根据该被摄物体的拍摄距离确定距离条件。例如，电子设备获取当前场景中清晰程度小于预设值的被摄物体的拍摄距离为25厘米，可直接确定距离条件为小于25厘米。电子设备也可根据被摄物体的清晰程度设定浮动值，再根据浮动值及被摄物体的拍摄距离确定距离条件，清晰程度越小，浮动值可越大，清晰程度越大，越贴近预设值，浮动值可越小。例如，电子设备获取当前场景中清晰程度小于预设值的被摄物体的拍摄距离为25厘米，可根据被摄物体的清晰程度设定浮动值为5厘米，则可确定距离条件为小于30厘米等。
不同的距离条件可匹配有不同的参数关系，参数关系可用于描述距离条件与美颜参数的对应关系，当拍摄距离满足预设距离条件时，美颜参数可随着人像拍摄距离的变化而变化，其变化的过程可符合满足的距离条件匹配的参数关系。当待处理图像中人像的拍摄距离满足预设距离条件，电子设备可获取与满足的距离条件匹配的参数关系，并根据该匹配的参数关系选取与拍摄距离对应的美颜参数。
步骤340，根据参数关系选取与拍摄距离对应的美颜参数。
电子设备可根据与满足的距离条件匹配的参数关系，选取与人像的拍摄距离对应的美颜参数，其中，美颜参数可包括但不限于美白参数、磨皮参数、大眼参数、瘦脸参数等。在一个实施例中，不同距离条件中，人像的拍摄距离可影响不同类型的美颜参数，受拍摄距离影响的美颜参数可随着拍摄距离的变化而发生变化。例如，可预先设置两个距离条件，分别为小于30厘米及大于60厘米，其中，小于30厘米的距离条件可影响美白参数、磨皮参数及大眼参数，而大于60厘米的距离条件可影响美白参数及磨皮参数，但不限于此。
在预设的距离条件中，不同类型的美颜参数可与拍摄距离具备不同的参数关系。当人像的拍摄距离满足预设距离条件，电子设备可先获取与满足的距离条件对应的美颜参数类型，再获取与美颜参数类型匹配的参数关系，并根据获取的各个参数关系分别选取对应类型的美颜参数。例如，待处理图像中人像的拍摄距离满足小于30厘米的距离条件，该距离条件下拍摄距离可影响美白参数、磨皮参数及大眼参数，电子设备可分别获取美白参数、磨皮参数及大眼参数的参数关系，并根据获取的参数关系分别选取与拍摄距离对应的参数关系。
步骤350，根据美颜参数对人像进行美颜处理。
电子设备可根据选取的美颜参数对待处理图像中的人像进行美颜处理。美颜处理可包括但不限于美白处理、磨皮处理、大眼处理等，其中，美白处理可以是根据美白参数调整人像的皮肤区域中各个像素点的色彩值，色彩值可以是像素点在RGB(红、绿、蓝)、HSV(色调、饱和度、明度)或YUV(明亮度、色度)等颜色空间的值；磨皮处理可以是选取目标窗口，并根据目标窗口人像的对皮肤区域进行滤波处理；大眼处理可以是对人脸的眼部区域进行局部放大处理，但不限于此。
在本实施例中，当检测到待处理图像包含人像时，获取人像的拍摄距离，当拍摄距离满足预设距离条件时，获取与满足的距离条件匹配的参数关系，并根据该参数关系选取与拍摄距离对应的美颜参数，再根据美颜参数对人像进行美颜处理，可以根据拍摄距离自适应选取美颜参数，可提高美颜效果，使图像的视觉显示效果更好。
如图4所示，在一个实施例中，步骤获取人像的拍摄距离，包括以下步骤：
步骤402，获取人像的人脸区域，并计算人脸区域占待处理图像的比例。
电子设备对待处理图像进行人脸识别，若检测到待处理图像中包含人脸，可确定人脸区域。可选地，人脸区域可为正方形或矩形。电子设备可计算人脸区域的面积，并计算人脸区域面积占待处理图像面积的比例，可将人脸区域的面积除以待处理图像的面积，得到比例。
步骤404，根据预设的对应关系获取与比例对应的拍摄距离。
不同的人脸区域占待处理图像的比例可对应不同的拍摄距离，电子设备可根据预设的对应关系获取与计算得到的比例对应的拍摄距离。在一个实施例中，预设的对应关系可如表1所示。
表1
比例 90％ 80％ 60％ 50％ 20％
拍摄距离 10厘米 20厘米 35厘米 50厘米 1米
可以理解地，人脸区域面积占待处理图像面积的比例与拍摄距离的对应关系并不仅限于表1所示，还可以是其它的对应关系。
图5为一个实施例中根据人脸区域比例获取拍摄距离的示意图。如图5所示，图像(1)、图像(2)及图像(3)可为电子设备通过摄像头在不同拍摄距离下，对同一个人像进行拍摄采集得到的图像。电子设备采集图像(1)，可对图像(1)进行人脸识别，并可确定人脸区域502，可计算人脸区域502的面积，并计算人脸区域502的面积占图像(1)面积的比例。假设图像(1)中人脸区域502的面积占图像(1)面积的比例为80％，则可获取对应的拍摄距离为20厘米。电子设备采集图像(2)，可对图像(2)进行人脸识别，并可确定人脸区域504，可计算人脸区域504的面积，并计算人脸区域504的面积占图像(2)面积的比例。假设图像(2)中人脸区域504的面积占图像(2)面积的比例为40％，则可获取对应的拍摄距离为70厘米。电子设备采集图像(3)，可对图像(3)进行人脸识别，并可确定人脸区域506，可计算人脸区域506的面积，并计算人脸区域506的面积占图像(3)面积的比例。假设图像(3)中人脸区域506的面积占图像(3)面积的比例为15％，则可获取对应的拍摄距离为1.5米。
在一个实施例中，电子设备计算人脸区域占待处理图像的比例后，可获取采集待处理图像的摄像头的焦距信息，并获取与焦距信息匹配的对应关系，再根据该匹配的对应关系获取与比例对应的拍摄距离。焦距是光学系统中衡量光的聚集或发散的度量方式，指的是平行光入射时从透镜光心到光聚集之焦点的距离。摄像头的焦距信息不同，表示可拍摄的视角范围不同。针对不同的焦距信息，人脸区域面积占待处理图像面积的比例与拍摄距离的对应关系可不同。针对同一人脸区域占待处理图像的比例，焦距越长，其对应的拍摄距离可越长。例如，人脸区域占待处理图像的比例为80％，若摄像头的焦距信息为16毫米，则对应的拍摄距离可为20厘米，若摄像头的焦距信息为24毫米，则对应的拍摄距离可为45厘米等。
在本实施例中，可根据人脸区域占待处理图像的比例获取人像的拍摄距离，可获取准确的拍摄距离，方便后续根据拍摄距离自适应选取美颜参数，可以提高美颜效果，使图像的视觉显示效果更好。
如图6所示，在一个实施例中，步骤获取人像的拍摄距离，包括以下步骤：
步骤602，获取待处理图像的景深信息。
电子设备可获取待处理图像中每个像素点的景深信息，其中，景深是指在摄影机镜头或其他成像设备前沿能够取得清晰图像的成像所测定的被摄物体前后距离范围，在本实施例中，景深信息可以理解为待处理图像的每个物体到电子设备的距离。在一个实施例中，电子设备可在背面设置有两个摄像头，包括第一摄像头及第二摄像头，第一摄像头及第二摄像头可设置在同一水平线上，水平左右排列，也可设置在同一竖直线上，竖直上下排列。在本实施例中，第一摄像头及第二摄像头可以是不同像素的摄像头，其中，第一摄像头可以是像素较高的摄像头，主要用于成像，第二摄像头可以是像素较低的辅助景深摄像头，用于获取采集的图像的景深信息。
进一步地，电子设备可先通过第一摄像头采集场景的第一图像，同时通过第二摄像头采集同一场景的第二图像，可先对第一图像及第二图像进行校正及标定，将校正及标定后的第一图像及第二图像进行合成，得到待处理图像。电子设备可根据校正及标定后的第一图像及第二图像生成视差图，再根据视差图生成待处理图像的景深图，景深图中可包含有待处理图像中各个像素点的景深信息，在景深图中，相近的景深信息的区域可用相同的颜色进行填充，颜色变化可反映景深的变化。在一个实施例中，电子设备可根据第一摄像头及第二摄像头的光心距离、光心在水平线上的高度差以及两个摄像头的镜头高低差等计算较正参数，并根据较正参数对第一图像及第二图像进行校正及标定。
电子设备计算同一被摄物在第一图像及第二图像的视差，并根据视差得到该被摄物在待处理图像中的景深信息，其中，视差指的是在两个点上观察同一个目标所产生的方向差异。图7为一个实施例中计算景深信息的示意图。如图7所示，第一摄像头及第二摄像头左右排列在同一水平线上，两个摄像头的主光轴到达平行，OL及OR分别为第一摄像头及第二摄像头的光心，光心到对应像面的最短距离为焦距长度f。若P为世界坐标系中的一点，它在左相面及右相面的成像点为PL、PR，PL和PR到各自像面的左边缘的距离分别为XL、XR，P的视差即为XL-XR或XR-XL。第一摄像头的光心OL与第二摄像头的光心OR之间的距离为b，根据OL、OR之间的距离b、焦距长度f及视差XL-XR或XR-XL，即可计算得到点P的景深Z，其计算方法如式(1)所示：
Figure BDA0001452224730000101
或
Figure BDA0001452224730000102
电子设备可对第一图像及第二图像进行特征点匹配，提取第一图像的特征点并在第二图像中的对应行找到最佳的匹配点，可认为第一图像的特征点及第二图像的对应的最佳匹配点为同一点分别在第一图像及第二图像的成像点，即可计算二者的视差，即可生成视差图，再根据式(1)计算待处理图像中各个像素点的景深信息。
在其他的实施例中，也可采用别的方式获取待处理图像的景深信息，例如利用结构光或TOF(Time of flight，飞行时间测距法)等方式计算待处理图像的景深信息，并不限于上述方式。
步骤604，根据景深信息计算人像的人脸区域的平均景深。
电子设备确定待处理图像的人脸区域后，可获取人脸区域中各个像素点的景深信息，并计算人脸区域的平均景深。
步骤606，根据平均景深确定人像的拍摄距离。
电子设备可直接将人脸区域的平均景深作为人像的拍摄距离，也可建立人脸区域的平均景深跟人像拍摄距离的对应关系，并根据该对应关系获取与人脸区域的平均景深对应的拍摄距离。例如，待处理图像中人脸区域的平均景深为50厘米，则可直接确定人像的拍摄距离为50厘米，或是预先建立人脸区域的平均景深跟人像拍摄距离的对应关系，根据该对应关系，可获取与人脸区域的平均景深50厘米对应的拍摄距离为60厘米等，但不限于此。
在本实施例中，可根据待处理图像的景深信息确定人像的拍摄距离，方便后续根据拍摄距离自适应选取美颜参数，可以提高美颜效果，使图像的视觉显示效果更好。
如图8所示，在一个实施例中，步骤330当拍摄距离满足预设距离条件时，获取与满足的距离条件匹配的参数关系，还包括以下步骤：
步骤802，当拍摄距离小于第一距离阈值时，获取的参数关系包括拍摄距离与美颜参数呈正相关关系。
电子设备可预先设置距离条件，每个距离条件可对应一个具体的距离范围，距离范围中可包含有距离阈值，距离阈值可用于判定待处理图像中人像的拍摄距离是否满足距离条件。在一个实施例中，电子设备可设置有两个距离条件，第一距离条件可为小于第一距离阈值，第二距离条件可为大于第二距离阈值。
当待处理图像中人像的拍摄距离小于第一距离阈值，拍摄距离满足第一距离条件，可获取第一距离条件的参数关系，该参数关系可以是拍摄距离与美颜参数呈正相关关系。当待处理图像中人像的拍摄距离小于第一距离阈值时，拍摄距离越近，可能导致采集的待处理图像越模糊，美颜参数可随着拍摄距离的减小而减小。
步骤804，当拍摄距离大于第二距离阈值时，获取的参数关系包括拍摄距离与美颜参数呈负相关关系。
当待处理图像中人像的拍摄距离大于第二距离阈值，拍摄距离满足第二距离条件，可获取第二距离条件的参数关系，该参数关系可以是拍摄距离与美颜参数呈负相关关系。当待处理图像中人像的拍摄距离大于第二距离阈值时，拍摄距离越远，可能导致采集的待处理图像越模糊，美颜参数可随着拍摄距离的增大而减小。进一步地，第一距离阈值与第二距离阈值对应的参数关系可以是线性关系。
图9(a)为一个实施例中拍摄距离小于第一距离阈值时，美颜参数与拍摄距离的参数关系示意图。如图9(a)所示，当拍摄距离小于第一距离阈值时，拍摄距离满足第一距离条件，拍摄距离与美颜参数可呈正相关关系，美颜参数可随着拍摄距离的减小而减小。进一步地，该正相关关系可以是线性关系。
图9(b)为一个实施例中拍摄距离大于第二距离阈值时，美颜参数与拍摄距离的参数关系示意图。如图9(b)所示，当拍摄距离大于第二距离阈值时，拍摄距离满足第二距离条件，拍摄距离与美颜参数可呈负相关关系，美颜参数可随着拍摄距离的增大而减小。进一步地，该负相关关系可以是线性关系。可以理解地，美颜参数与拍摄距离的参数关系并不仅限于图9(a)及图9(b)所示的关系，也可以是其他关系。
在一个实施例中，电子设备可获取采集待处理图像的摄像头的焦距信息，并根据焦距信息确定第一距离阈值及第二距离阈值。针对不同焦距的摄像头，其可拍摄的距离不同，拍摄清晰的距离范围也不同。焦距较长，采集较近的物体时容易发生模糊，其对应的第一距离阈值与第二距离阈值可较大，焦距较短，采集较远的物体时容易发生模糊，其对应的第一距离阈值与第二距离阈值可较小。根据采集图像的摄像头的焦距信息确定第一距离阈值及第二距离阈值，可使选取的美颜参数更为准确，可以提高美颜效果。
在一个实施例中，当拍摄距离不满足预设距离条件时，属于摄像头的清晰成像范围，采集的待处理图像中的人像清晰程度较高，拍摄距离可不影响美颜参数。当拍摄距离大于或等于第一距离阈值，且小于或等于第二距离阈值时，电子设备获取待处理图像的人脸区域后，可提取人脸区域的人脸特征信息，并根据人脸特征信息选取美颜参数，再根据美颜参数对待处理图像的人脸区域进行美颜处理。人脸特征信息可包括但不限于肤色特征、肤质特征、脸型特征、五官特征等，其中，肤色特征可包含人脸的皮肤区域中各个像素点的色彩值、亮度值等信息；肤质特征可包含人脸的皮肤区域的纹理信息、边缘信息、边缘强度等；脸型特征可包含用于组成人脸轮廓的特征点信息等；五官特征可包含用于表示五官形状及位置的特征点信息等。
在一个实施例中，当拍摄距离大于或等于第一距离阈值，且小于或等于第二距离阈值时，电子设备获取待处理图像的人脸区域，可确定人脸区域的皮肤区域，并提取皮肤区域的肤质特征，可通过预设的分类模型分析肤质特征，得到肤质级别。电子设备可获取与肤质级别对应的磨皮参数，并根据磨皮参数对皮肤区域进行磨皮处理。分类模型可预先通过机器学习进行构建。在一个实施例中，电子设备可预先构建分类模型，可获取大量的样本图像，每个样本图像中可标记有肤质级别。可选地，肤质级别可根据需求进行划分，样本图像中的人脸皮肤较为光滑、干净的，可对应较低的肤质级别，样本图像中的人脸皮肤中包含较多的斑、痘或是皱纹，是有较多瑕疵的，可对应较高的肤质级别。电子设备可将样本图像作为分类模型的输入，通过机器学习等方式进行训练，构建分类模型。
电子设备可获取与肤质级别对应的磨皮参数，不同的肤质级别可对应不同的磨皮参数，磨皮参数可包括窗口半径等参数。电子设备可获取与肤质级别对应的窗口半径，选取与窗口半径对应的目标窗口，并根据目标窗口对皮肤区域进行滤波处理，滤波处理可以是保边的平滑滤波、双边滤波、高斯滤波等。当磨皮参数较大时，对应的磨皮程度较强，电子设备可选取窗口半径较大的目标窗口进行滤波处理，可得到较好的平滑效果，但是损失的信息也较多；当磨皮参数较小时，对应的磨皮程度较弱，电子设备可选取窗口半径较小的目标窗口进行滤波处理，可保留较多的信息，但是平滑效果较差。根据皮肤区域的肤质级别自适应选取磨皮参数，可根据皮肤区域的实际情况选取相应的磨皮程度，可减少出现因磨皮程度过小导致平滑效果差，或是因磨皮程度过大导致皮肤细节丢失等情况。
在本实施例中，可以根据满足的距离条件匹配的参数关系选取与拍摄距离对应的美颜参数，根据拍摄距离自适应选取美颜参数，可提高美颜效果，使图像的视觉显示效果更好。
在一个实施例中，上述图像处理方法，还包括：当拍摄距离满足预设距离条件时，获取与拍摄距离对应的增强系数，根据增强系数对人像进行锐化处理。
当待处理图像中人像的拍摄距离满足预设距离条件时，电子设备可获取与拍摄距离对应的增强系数，并根据该增强系数对人像进行锐化，增强人像的边缘细节，使人像更为清晰。进一步地，电子设备可根据增强系数对人像的人脸区域进行锐化。当拍摄距离小于第一距离阈值时，增强系数与拍摄距离可呈负相关关系，拍摄距离越小，对应的增强系数可越大。当拍摄距离大于第二距离阈值时，增强系数与拍摄距离可呈正相关关系，拍摄距离越大，对应的增强系统可越大。
在一个实施例中，当拍摄距离满足预设距离条件时，电子设备可获取人像的清晰程度，根据该清晰程度选取增强系数，并根据该增强系数对人像进行锐化处理。
在本实施例中，当待处理图像中人像的拍摄距离满足预设距离条件时，可对人像进行锐化处理，可使图像中的人像更为清晰，提高了图像的视觉显示效果。
在一个实施例中，提供一种图像处理方法，包括以下步骤：
步骤(1)，对待处理图像进行人脸识别。
步骤(2)，当检测待处理图像包含人像时，获取人像的拍摄距离。
可选地，获取人像的拍摄距离，包括：获取人像的人脸区域，并计算人脸区域占待处理图像的比例；根据预设的对应关系获取与比例对应的拍摄距离。
可选地，获取人像的拍摄距离，包括：通过距离传感器获取人像的拍摄距离。
可选地，获取人像的拍摄距离，包括：获取待处理图像的景深信息；根据景深信息计算人像的人脸区域的平均景深；根据平均景深确定人像的拍摄距离。
步骤(3)，当拍摄距离满足预设距离条件时，获取与满足的距离条件匹配的参数关系。
可选地，当拍摄距离小于第一距离阈值时，获取的参数关系包括拍摄距离与美颜参数呈正相关关系；当拍摄距离大于第二距离阈值时，获取的参数关系包括拍摄距离与美颜参数呈负相关关系。
可选地，在步骤(3)之前，可包括：获取采集待处理图像的摄像头的焦距信息，并根据焦距信息确定第一距离阈值及第二距离阈值。
步骤(4)，根据参数关系选取与拍摄距离对应的美颜参数。
步骤(5)，根据美颜参数对人像进行美颜处理。
步骤(6)，当拍摄距离满足预设距离条件时，获取与拍摄距离对应的增强系数；根据增强系数对人像进行锐化处理。
在本实施例中，当检测到待处理图像包含人像时，获取人像的拍摄距离，当拍摄距离满足预设距离条件时，获取与满足的距离条件匹配的参数关系，并根据该参数关系选取与拍摄距离对应的美颜参数，再根据美颜参数对人像进行美颜处理，可以根据拍摄距离自适应选取美颜参数，可提高美颜效果，使图像的视觉显示效果更好。
如图10所示，在一个实施例中，提供一种图像处理装置1000，包括识别模块1010、距离获取模块1020、关系获取模块1030、参数选取模块1040及处理模块1050。
识别模块1010，用于对待处理图像进行人脸识别。
距离获取模块1020，用于当检测待处理图像包含人像时，获取人像的拍摄距离。
可选地，距离获取模块1020，还用于通过距离传感器获取人像的拍摄距离。
关系获取模块1030，用于当拍摄距离满足预设距离条件时，获取与满足的距离条件匹配的参数关系。
参数选取模块1040，用于根据参数关系选取与拍摄距离对应的美颜参数。
处理模块1050，用于根据美颜参数对人像进行美颜处理。
在本实施例中，当检测到待处理图像包含人像时，获取人像的拍摄距离，当拍摄距离满足预设距离条件时，获取与满足的距离条件匹配的参数关系，并根据该参数关系选取与拍摄距离对应的美颜参数，再根据美颜参数对人像进行美颜处理，可以根据拍摄距离自适应选取美颜参数，可提高美颜效果，使图像的视觉显示效果更好。
在一个实施例中，距离获取模块1020，包括比例计算单元及距离获取单元。
比例计算单元，用于获取人像的人脸区域，并计算人脸区域占待处理图像的比例。
距离获取单元，用于根据预设的对应关系获取与比例对应的拍摄距离。
在本实施例中，可根据人脸区域占待处理图像的比例获取人像的拍摄距离，可获取准确的拍摄距离，方便后续根据拍摄距离自适应选取美颜参数，可以提高美颜效果，使图像的视觉显示效果更好。
在一个实施例中，距离获取模块1020，包括景深获取单元、景深计算单元及确定单元。
景深获取单元，用于获取待处理图像的景深信息。
景深计算单元，用于根据景深信息计算人像的人脸区域的平均景深。
确定单元，用于根据平均景深确定人像的拍摄距离。
在本实施例中，可根据待处理图像的景深信息确定人像的拍摄距离，方便后续根据拍摄距离自适应选取美颜参数，可以提高美颜效果，使图像的视觉显示效果更好。
在一个实施例中，参数选取模块1040，还用于当拍摄距离小于第一距离阈值时，获取的参数关系包括拍摄距离与美颜参数呈正相关关系；以及当拍摄距离大于第二距离阈值时，获取的参数关系包括拍摄距离与美颜参数呈负相关关系。
可选地，上述图像处理装置1000，除了包括识别模块1010、距离获取模块1020、关系获取模块1030、参数选取模块1040及处理模块1050，还包括阈值确定模块。
阈值确定模块，用于获取采集待处理图像的摄像头的焦距信息，并根据焦距信息确定第一距离阈值及第二距离阈值。
在本实施例中，可以根据满足的距离条件匹配的参数关系选取与拍摄距离对应的美颜参数，根据拍摄距离自适应选取美颜参数，可提高美颜效果，使图像的视觉显示效果更好。
在一个实施例中，上述图像处理装置1000，除了包括识别模块1010、距离获取模块1020、关系获取模块1030、参数选取模块1040、处理模块1050及阈值确定模块，还包括：
锐化模块，用于当拍摄距离满足预设距离条件时，获取与拍摄距离对应的增强系数，并根据增强系数对人像进行锐化处理。
在本实施例中，当待处理图像中人像的拍摄距离满足预设距离条件时，可对人像进行锐化处理，可使图像中的人像更为清晰，提高了图像的视觉显示效果。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图11为一个实施例中图像处理电路的示意图。如图11所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图11所示，图像处理电路包括ISP处理器1140和控制逻辑器1150。成像设备1110捕捉的图像数据首先由ISP处理器1140处理，ISP处理器1140对图像数据进行分析以捕捉可用于确定和/或成像设备1110的一个或多个控制参数的图像统计信息。成像设备1110可包括具有一个或多个透镜1112和图像传感器1114的照相机。图像传感器1114可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器1114可获取用图像传感器1114的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器1140处理的一组原始图像数据。传感器1120(如陀螺仪)可基于传感器1120接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器1140。传感器1120接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外，图像传感器1114也可将原始图像数据发送给传感器1120，传感器1120可基于传感器1120接口类型把原始图像数据提供给ISP处理器1140，或者传感器1120将原始图像数据存储到图像存储器1130中。
ISP处理器1140按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器1140可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器1140还可从图像存储器1130接收图像数据。例如，传感器1120接口将原始图像数据发送给图像存储器1130，图像存储器1130中的原始图像数据再提供给ISP处理器1140以供处理。图像存储器1130可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自图像传感器1114接口或来自传感器1120接口或来自图像存储器1130的原始图像数据时，ISP处理器1140可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器1130，以便在被显示之前进行另外的处理。ISP处理器1140还可从图像存储器1130接收处理数据，对上述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器1180，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器1140的输出还可发送给图像存储器1130，且显示器1180可从图像存储器1130读取图像数据。在一个实施例中，图像存储器1130可被配置为实现一个或多个帧缓冲器。此外，ISP处理器1140的输出可发送给编码器/解码器1170，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1180设备上之前解压缩。
ISP处理器1140处理图像数据的步骤包括：对图像数据进行VFE(Video FrontEnd，视频前端)处理和CPP(Camera Post Processing，摄像头后处理)处理。对图像数据的VFE处理可包括修正图像数据的对比度或亮度、修改以数字方式记录的光照状态数据、对图像数据进行补偿处理(如白平衡，自动增益控制，γ校正等)、对图像数据进行滤波处理等。对图像数据的CPP处理可包括对图像进行缩放、向每个路径提供预览帧和记录帧。其中，CPP可使用不同的编解码器来处理预览帧和记录帧。
ISP处理器1140处理后的图像数据可发送给美颜模块1160，以便在被显示之前对图像进行美颜处理。美颜模块1160对图像数据美颜处理可包括：美白、祛斑、磨皮、瘦脸、祛痘、增大眼睛等。其中，美颜模块1160可为电子设备中的CPU(Central Processing Unit，中央处理器)、GPU或协处理器等。美颜模块1160处理后的数据可发送给编码器/解码器1170，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器1180设备上之前解压缩。其中，美颜模块1160还可位于编码器/解码器1170与显示器1180之间，即美颜模块对已成像的图像进行美颜处理。上述编码器/解码器1170可为电子设备中CPU、GPU或协处理器等。
ISP处理器1140确定的统计数据可发送给控制逻辑器1150单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜1112阴影校正等图像传感器1114统计信息。控制逻辑器1150可包括执行一个或多个例(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备1110的控制参数以及ISP处理器1140的控制参数。例如，成像设备1110的控制参数可包括传感器1120控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜1112控制参数(例如聚焦或变焦用焦距)，或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜1112阴影校正参数。
在本实施例中，运用图11中图像处理技术可实现上述的图像处理方法。
在一个实施例中，提供一种电子设备，包括存储器及处理器，存储器中存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
对待处理图像进行人脸识别；
当检测待处理图像包含人像时，获取人像的拍摄距离；
当拍摄距离满足预设距离条件时，获取与满足的距离条件匹配的参数关系；
根据参数关系选取与拍摄距离对应的美颜参数；
根据美颜参数对人像进行美颜处理。
在一个实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的图像处理方法。
在一个实施例中，提供一种包含计算机程序的计算机程序产品，当其在电子设备上运行时，使得电子设备执行时实现上述的图像处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
如此处所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种图像处理方法，其特征在于，包括：
对待处理图像进行人脸识别；
当检测所述待处理图像包含人像时，获取所述人像的拍摄距离；
当所述拍摄距离满足预设距离条件时，获取与满足的距离条件匹配的参数关系；
根据所述参数关系选取与所述拍摄距离对应的美颜参数；
根据所述美颜参数对所述人像进行美颜处理；
其中，所述距离条件为采集的图像出现模糊的距离范围；
所述当所述拍摄距离满足预设距离条件时，获取与满足的距离条件匹配的参数关系，包括：
当所述拍摄距离小于第一距离阈值时，获取的参数关系包括所述拍摄距离与所述美颜参数呈正相关关系；
当所述拍摄距离大于第二距离阈值时，获取的参数关系包括所述拍摄距离与所述美颜参数呈负相关关系；
当所述拍摄距离大于等于第一距离阈值，且所述拍摄距离小于等于第二距离阈值时，获取的参数关系包括磨皮参数与肤质级别相对应；
所述方法还包括：
当所述拍摄距离满足预设距离条件时，获取与所述拍摄距离对应的增强系数；
根据所述增强系数对所述人像进行锐化处理；
其中，获取与所述拍摄距离对应的增强系数包括：
当拍摄距离小于第一距离阈值时，增强系数与拍摄距离呈负相关关系；
当拍摄距离大于第二距离阈值时，增强系数与拍摄距离呈正相关关系。
2.根据权利要求1所述的方法，其特征在于，所述获取所述人像的拍摄距离，包括：
获取所述人像的人脸区域，并计算所述人脸区域占所述待处理图像的比例；
根据预设的对应关系获取与所述比例对应的拍摄距离。
3.根据权利要求1所述的方法，其特征在于，所述获取所述人像的拍摄距离，包括：通过距离传感器获取所述人像的拍摄距离。
4.根据权利要求1所述的方法，其特征在于，所述获取人像的拍摄距离，包括：
获取所述待处理图像的景深信息；
根据所述景深信息计算所述人像的人脸区域的平均景深；
根据所述平均景深确定所述人像的拍摄距离。
5.根据权利要求1所述的方法，其特征在于，在所述当所述拍摄距离满足预设距离条件时，获取与满足的距离条件匹配的参数关系之前，所述方法还包括：
获取采集所述待处理图像的摄像头的焦距信息，并根据所述焦距信息确定所述第一距离阈值及第二距离阈值。
6.一种图像处理装置，其特征在于，包括：
识别模块，用于对待处理图像进行人脸识别；
距离获取模块，用于当检测所述待处理图像包含人像时，获取所述人像的拍摄距离；
关系获取模块，用于当所述拍摄距离满足预设距离条件时，获取与满足的距离条件匹配的参数关系；其中，所述距离条件为采集的图像出现模糊的距离范围；
参数选取模块，用于根据所述参数关系选取与所述拍摄距离对应的美颜参数；
处理模块，用于根据所述美颜参数对所述人像进行美颜处理；
所述参数选取模块，还用于当所述拍摄距离小于第一距离阈值时，获取的参数关系包括所述拍摄距离与所述美颜参数呈正相关关系；当所述拍摄距离大于第二距离阈值时，获取的参数关系包括所述拍摄距离与所述美颜参数呈负相关关系；当所述拍摄距离大于等于第一距离阈值，且所述拍摄距离小于等于第二距离阈值时，获取的参数关系包括磨皮参数与肤质级别相对应；
还包括：
锐化模块，用于当所述拍摄距离满足预设距离条件时，获取与所述拍摄距离对应的增强系数，并根据所述增强系数对所述人像进行锐化处理；
其中，获取与所述拍摄距离对应的增强系数包括：
当拍摄距离小于第一距离阈值时，增强系数与拍摄距离呈负相关关系；
当拍摄距离大于第二距离阈值时，增强系数与拍摄距离呈正相关关系。
7.根据权利要求6所述的装置，其特征在于，所述距离获取模块包括比例计算单元和距离获取单元；
所述比例计算单元，用于获取所述人像的人脸区域，并计算所述人脸区域占所述待处理图像的比例；
所述距离获取单元，用于根据预设的对应关系获取与所述比例对应的拍摄距离。
8.根据权利要求6所述的装置，其特征在于，
所述距离获取模块，还用于通过距离传感器获取人像的拍摄距离。
9.根据权利要求6所述的装置，其特征在于，所述距离获取单元包括景深获取单元、景深计算单元和确定单元；
所述景深获取单元，用于获取所述待处理图像的景深信息；
所述景深计算单元，用于根据所述景深信息计算所述人像的人脸区域的平均景深；
所述确定单元，用于根据所述平均景深确定所述人像的拍摄距离。
10.根据权利要求6所述的装置，其特征在于，还包括：
阈值确定模块，用于获取采集所述待处理图像的摄像头的焦距信息，并根据所述焦距信息确定所述第一距离阈值及第二距离阈值。
11.一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至5任一所述的方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一所述的方法。
CN201711045673.9A 2017-10-31 2017-10-31 图像处理方法、装置、电子设备及计算机可读存储介质 Expired - Fee Related CN107680128B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201711045673.9A CN107680128B (zh) 2017-10-31 2017-10-31 图像处理方法、装置、电子设备及计算机可读存储介质
US16/142,272 US10825150B2 (en) 2017-10-31 2018-09-26 Image processing method and device, electronic device and computer-readable storage medium
JP2020519299A JP7027537B2 (ja) 2017-10-31 2018-10-22 画像処理方法および装置、電子機器、ならびにコンピュータ可読記憶媒体
KR1020207008877A KR102291081B1 (ko) 2017-10-31 2018-10-22 이미지 처리 방법 및 장치, 전자 장치 및 컴퓨터-판독 가능 저장 매체
PCT/CN2018/111283 WO2019085786A1 (en) 2017-10-31 2018-10-22 Image processing method and device, electronic device and computer-readable storage medium
EP18202029.7A EP3477939B1 (en) 2017-10-31 2018-10-23 Image processing method and device and computer-readable storage medium storing a program for performing beauty processing on face portrait images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711045673.9A CN107680128B (zh) 2017-10-31 2017-10-31 图像处理方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN107680128A CN107680128A (zh) 2018-02-09
CN107680128B true CN107680128B (zh) 2020-03-27

Family

ID=61143038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711045673.9A Expired - Fee Related CN107680128B (zh) 2017-10-31 2017-10-31 图像处理方法、装置、电子设备及计算机可读存储介质

Country Status (6)

Country Link
US (1) US10825150B2 (zh)
EP (1) EP3477939B1 (zh)
JP (1) JP7027537B2 (zh)
KR (1) KR102291081B1 (zh)
CN (1) CN107680128B (zh)
WO (1) WO2019085786A1 (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107680128B (zh) * 2017-10-31 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN108281880A (zh) * 2018-02-27 2018-07-13 广东欧珀移动通信有限公司 控制方法、控制装置、终端、计算机设备和存储介质
CN108376251B (zh) * 2018-02-27 2020-04-17 Oppo广东移动通信有限公司 控制方法、控制装置、终端、计算机设备和存储介质
WO2019165956A1 (zh) 2018-02-27 2019-09-06 Oppo广东移动通信有限公司 控制方法、控制装置、终端、计算机设备和存储介质
CN108376252B (zh) * 2018-02-27 2020-01-10 Oppo广东移动通信有限公司 控制方法、控制装置、终端、计算机设备和存储介质
CN111474818B (zh) * 2018-03-12 2022-05-20 Oppo广东移动通信有限公司 控制方法、控制装置、深度相机和电子装置
CN108594451B (zh) * 2018-03-12 2020-01-24 Oppo广东移动通信有限公司 控制方法、控制装置、深度相机和电子装置
CN108333860B (zh) * 2018-03-12 2020-01-10 Oppo广东移动通信有限公司 控制方法、控制装置、深度相机和电子装置
EP3567427B1 (en) 2018-03-12 2023-12-13 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Control method and control device for a depth camera
CN108227361B (zh) * 2018-03-12 2020-05-26 Oppo广东移动通信有限公司 控制方法、控制装置、深度相机和电子装置
CN108491780B (zh) * 2018-03-16 2021-05-04 Oppo广东移动通信有限公司 图像美化处理方法、装置、存储介质及终端设备
CN110163050B (zh) * 2018-07-23 2022-09-27 腾讯科技（深圳）有限公司 一种视频处理方法及装置、终端设备、服务器及存储介质
CN109003246A (zh) * 2018-08-26 2018-12-14 朱丽萍 眼部修图参数检测方法
CN109068060B (zh) * 2018-09-05 2021-06-08 Oppo广东移动通信有限公司 图像处理方法和装置、终端设备、计算机可读存储介质
TWI707307B (zh) * 2018-11-08 2020-10-11 瑞昱半導體股份有限公司 影像調整方法
CN109660724A (zh) * 2018-12-20 2019-04-19 惠州Tcl移动通信有限公司 一种图像处理方法、装置及存储介质
CN109712177B (zh) * 2018-12-25 2021-07-09 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN109961426B (zh) * 2019-03-11 2021-07-06 西安电子科技大学 一种人脸皮肤肤质的检测方法
CN110012226A (zh) * 2019-03-27 2019-07-12 联想(北京)有限公司 一种电子设备及其图像处理方法
CN110225240A (zh) * 2019-04-28 2019-09-10 努比亚技术有限公司 一种拍摄控制方法、终端及计算机可读存储介质
CN112446251A (zh) * 2019-08-30 2021-03-05 深圳云天励飞技术有限公司 图像处理方法及相关装置
WO2021049824A1 (en) * 2019-09-12 2021-03-18 Samsung Electronics Co., Ltd. Method and electronic device for applying beauty effect setting
CN110658918B (zh) * 2019-09-25 2023-12-12 京东方科技集团股份有限公司 用于视频眼镜的眼球追踪相机的定位方法、设备及介质
EP3815601A1 (en) * 2019-11-01 2021-05-05 Koninklijke Philips N.V. Evaluating skin
CN110992283A (zh) * 2019-11-29 2020-04-10 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备和可读存储介质
CN111246093B (zh) * 2020-01-16 2021-07-20 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111275650B (zh) * 2020-02-25 2023-10-17 抖音视界有限公司 美颜处理方法及装置
CN113569592B (zh) * 2020-04-28 2024-06-28 佛山市顺德区美的电热电器制造有限公司 一种距离检测方法、设备及存储介质
CN111726531B (zh) * 2020-06-29 2022-03-01 北京小米移动软件有限公司 图像拍摄方法、处理方法、装置、电子设备及存储介质
CN114503160A (zh) 2020-08-01 2022-05-13 商汤国际私人有限公司 一种对象关联方法及装置、系统、电子设备、存储介质和计算机程序
KR102435893B1 (ko) 2020-08-10 2022-08-24 주식회사 타키온비앤티 유저의 페이셜 인식을 통한 선택적 메이크업 이펙팅 적용 시스템
CN112188102A (zh) * 2020-09-30 2021-01-05 上海传英信息技术有限公司 拍照方法、移动终端及存储介质
CN112565604A (zh) * 2020-11-30 2021-03-26 维沃移动通信有限公司 视频录制方法、装置及电子设备
CN113014810B (zh) * 2021-02-25 2023-01-31 深圳市慧鲤科技有限公司 定位方法及装置、电子设备和存储介质
CN113397480B (zh) * 2021-05-10 2023-02-10 深圳数联天下智能科技有限公司 美容仪的控制方法、装置、设备及存储介质
CN113421196B (zh) * 2021-06-08 2023-08-11 杭州逗酷软件科技有限公司 图像处理方法及相关装置
US20220414193A1 (en) * 2021-06-28 2022-12-29 Capital One Services, Llc Systems and methods for secure adaptive illustrations
CN114095656A (zh) * 2021-11-17 2022-02-25 维沃移动通信有限公司 图像处理方法、装置及电子设备
CN114973487B (zh) * 2022-05-13 2024-04-30 杭州魔点科技有限公司 一种基于动态磨皮的人脸检测方法、系统、装置和介质
CN115063380A (zh) * 2022-06-29 2022-09-16 东集技术股份有限公司 工业相机参数选择方法、装置、存储介质及计算机设备
CN116703692B (zh) * 2022-12-30 2024-06-07 荣耀终端有限公司 一种拍摄性能优化方法和装置
CN115841432B (zh) * 2023-02-09 2023-08-08 北京达佳互联信息技术有限公司 美颜特效数据确定和模型训练方法、装置、设备和介质

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004147288A (ja) 2002-10-25 2004-05-20 Reallusion Inc 顔画像の補正方法
US7039222B2 (en) 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
US7440593B1 (en) 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
JP4934326B2 (ja) 2005-09-29 2012-05-16 富士フイルム株式会社 画像処理装置およびその処理方法
US7627149B2 (en) 2005-11-25 2009-12-01 Quantum Signal, Llc Dot templates for object detection in images
US8660319B2 (en) 2006-05-05 2014-02-25 Parham Aarabi Method, system and computer program product for automatic and semi-automatic modification of digital images of faces
JP4420909B2 (ja) * 2006-06-02 2010-02-24 富士フイルム株式会社 撮像装置
KR100762640B1 (ko) * 2006-07-18 2007-10-01 삼성전자주식회사 촬영 모드를 자동 선택하는 휴대 단말기 및 그 방법
JP2008064797A (ja) 2006-09-04 2008-03-21 Canon Inc 光学装置、撮像装置、光学装置の制御方法
JP2008294785A (ja) 2007-05-25 2008-12-04 Sanyo Electric Co Ltd 画像処理装置、撮像装置、画像ファイル及び画像処理方法
US8570429B2 (en) 2009-02-27 2013-10-29 Samsung Electronics Co., Ltd. Image processing method and apparatus and digital photographing apparatus using the same
JP5451302B2 (ja) 2009-10-19 2014-03-26 キヤノン株式会社 画像処理装置及び方法、プログラム及び記憶媒体
JP5636964B2 (ja) 2010-01-22 2014-12-10 株式会社リコー 画像形成システム、制御装置および画像形成装置
JP5560766B2 (ja) 2010-02-25 2014-07-30 株式会社ニコン 画像処理装置、撮像装置、及びプログラム
JP2011223294A (ja) 2010-04-09 2011-11-04 Sanyo Electric Co Ltd 撮像装置
JP2011230491A (ja) 2010-04-30 2011-11-17 Canon Inc 画像処理装置、画像処理方法、印刷システムおよびプログラム
US8723912B2 (en) 2010-07-06 2014-05-13 DigitalOptics Corporation Europe Limited Scene background blurring including face modeling
JP5263989B2 (ja) 2010-10-22 2013-08-14 Ｎｅｃシステムテクノロジー株式会社 画像配信システムおよび画像配信方法と画像配信プログラム
JP5693271B2 (ja) 2011-02-03 2015-04-01 キヤノン株式会社 画像処理装置及び方法
JP5760727B2 (ja) 2011-06-14 2015-08-12 リコーイメージング株式会社 画像処理装置および画像処理方法
US8824808B2 (en) 2011-08-19 2014-09-02 Adobe Systems Incorporated Methods and apparatus for automated facial feature localization
JP2013164796A (ja) 2012-02-13 2013-08-22 Ricoh Co Ltd 画像処理装置、画像処理方法およびプログラム
US9002109B2 (en) 2012-10-09 2015-04-07 Google Inc. Color correction based on multiple images
US9779527B2 (en) 2013-08-15 2017-10-03 Xiaomi Inc. Method, terminal device and storage medium for processing image
CN103413270A (zh) 2013-08-15 2013-11-27 北京小米科技有限责任公司 一种图像的处理方法、装置和终端设备
JP6351238B2 (ja) * 2013-11-15 2018-07-04 キヤノン株式会社 画像処理装置、撮像装置および距離補正方法
CN103716547A (zh) 2014-01-15 2014-04-09 厦门美图之家科技有限公司 一种智能模式的拍照方法
CN104537612A (zh) 2014-08-05 2015-04-22 华南理工大学 一种自动的人脸图像皮肤美化方法
CN104159032B (zh) 2014-08-20 2018-05-29 广东欧珀移动通信有限公司 一种实时调整相机拍照美颜效果的方法及装置
WO2016026135A1 (en) 2014-08-22 2016-02-25 Microsoft Technology Licensing, Llc Face alignment with shape regression
CN104503749B (zh) 2014-12-12 2017-11-21 广东欧珀移动通信有限公司 照片处理方法和电子设备
CN104580901B (zh) 2014-12-25 2018-07-06 魅族科技（中国）有限公司 确定拍摄参数的方法和终端
CN104754221B (zh) * 2015-03-11 2018-11-16 广东欧珀移动通信有限公司 一种拍照方法及移动终端
US10033941B2 (en) 2015-05-11 2018-07-24 Google Llc Privacy filtering of area description file prior to upload
WO2016185079A1 (en) * 2015-05-18 2016-11-24 Nokia Technologies Oy Filtering depth map image
CN107770452B (zh) 2015-05-19 2020-01-14 Oppo广东移动通信有限公司 一种拍照方法及终端和相关介质产品
CN104902177B (zh) 2015-05-26 2018-03-02 广东欧珀移动通信有限公司 一种智能拍照方法及终端
CN105096241A (zh) 2015-07-28 2015-11-25 努比亚技术有限公司 人脸图像美化装置及方法
CN105812652B (zh) * 2015-07-29 2019-11-26 维沃移动通信有限公司 一种终端的对焦方法及终端
JP6179569B2 (ja) 2015-08-20 2017-08-16 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
TW201730813A (zh) 2016-02-26 2017-09-01 國立交通大學 具有深度資訊之影像處理方法及其電腦程式產品
WO2017177259A1 (en) 2016-04-12 2017-10-19 Phi Technologies Pty Ltd System and method for processing photographic images
CN106331492B (zh) * 2016-08-29 2019-04-16 Oppo广东移动通信有限公司 一种图像处理方法及终端
CN107124548A (zh) * 2017-04-25 2017-09-01 深圳市金立通信设备有限公司 一种拍照方法及终端
CN106993137A (zh) 2017-04-26 2017-07-28 广东小天才科技有限公司 一种终端拍摄模式的确定方法及装置
CN107302662A (zh) 2017-07-06 2017-10-27 维沃移动通信有限公司 一种拍照的方法、装置及移动终端
CN107302663B (zh) 2017-07-31 2020-07-14 珠海大横琴科技发展有限公司 一种图像亮度调整方法、终端及计算机可读存储介质
CN107680128B (zh) 2017-10-31 2020-03-27 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN107798652A (zh) 2017-10-31 2018-03-13 广东欧珀移动通信有限公司 图像处理方法、装置、可读存储介质和电子设备

Also Published As

Publication number Publication date
JP2020536457A (ja) 2020-12-10
JP7027537B2 (ja) 2022-03-01
KR20200044093A (ko) 2020-04-28
EP3477939A1 (en) 2019-05-01
US10825150B2 (en) 2020-11-03
US20190130538A1 (en) 2019-05-02
WO2019085786A1 (en) 2019-05-09
KR102291081B1 (ko) 2021-08-19
CN107680128A (zh) 2018-02-09
EP3477939B1 (en) 2021-07-07

Similar Documents

Publication Publication Date Title
CN107680128B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN108537155B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN107730445B (zh) 图像处理方法、装置、存储介质和电子设备
CN107509031B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
US10997696B2 (en) Image processing method, apparatus and device
CN107451969B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN107945135B (zh) 图像处理方法、装置、存储介质和电子设备
CN107730446B (zh) 图像处理方法、装置、计算机设备及计算机可读存储介质
CN107862659B (zh) 图像处理方法、装置、计算机设备及计算机可读存储介质
CN108537749B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN107818305B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN108012080B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN107493432B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN107730444B (zh) 图像处理方法、装置、可读存储介质和计算机设备
CN107886484B (zh) 美颜方法、装置、计算机可读存储介质和电子设备
CN107993209B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
WO2019085792A1 (en) Image processing method and device, readable storage medium and electronic device
EP3480784B1 (en) Image processing method, and device
CN108024107B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN113766125B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN109242794B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN107368806B (zh) 图像矫正方法、装置、计算机可读存储介质和计算机设备
CN107862658B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN107945106B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN110191287B (zh) 对焦方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1250084

Country of ref document: HK

CB02 Change of applicant information

Address after: 523860 No. 18, Wu Sha Beach Road, Changan Town, Dongguan, Guangdong

Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Address before: 523860 No. 18, Wu Sha Beach Road, Changan Town, Dongguan, Guangdong

Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200327

CF01 Termination of patent right due to non-payment of annual fee