CN108665498B - 图像处理方法、装置、电子设备和存储介质 - Google Patents

图像处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN108665498B
CN108665498B CN201810462277.4A CN201810462277A CN108665498B CN 108665498 B CN108665498 B CN 108665498B CN 201810462277 A CN201810462277 A CN 201810462277A CN 108665498 B CN108665498 B CN 108665498B
Authority
CN
China
Prior art keywords
image
point
position information
data
user image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810462277.4A
Other languages
English (en)
Other versions
CN108665498A (zh
Inventor
黄明杨
石建萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201810462277.4A priority Critical patent/CN108665498B/zh
Publication of CN108665498A publication Critical patent/CN108665498A/zh
Application granted granted Critical
Publication of CN108665498B publication Critical patent/CN108665498B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Abstract

本公开实施例提供了一种图像处理方法、装置、电子设备和存储介质，其中，所述方法包括：获取用户图像的关键点数据和融合数据，所述融合数据用于指示所述用户图像的纹理信息和/或灰度信息；基于所述关键点数据确定所述用户图像的定位区域；根据所述融合数据和所述定位区域生成所述用户图像的目的图像。本公开实施例在获取用户图像的关键点数据和融合数据之后，基于关键点数据确定用户图像的定位区域，提高了定位黑眼圈位置的准确性。再根据融合数据和定位区域生成用户图像的目的图像，保护了目的图像的纹理细节，并达到了明暗过渡的效果，使得目的图像更加真实、自然，从而提高了黑眼圈的祛除效果。

Description

图像处理方法、装置、电子设备和存储介质
技术领域
本公开实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备和存储介质。
背景技术
随着近几年互联网的发展，图像增强技术已经越来越多地应用到各个领域，如人脸美化。黑眼圈的祛除就是人脸美化中的重要环节。
目前的黑眼圈祛除算法，不能准确定位黑眼圈位置。而且，仅仅是对黑眼圈位置进行提亮操作。
发明内容
本公开实施例提供了图像处理技术方案。
根据本公开实施例的第一方面，提供了一种图像处理方法，包括：获取用户图像的关键点数据和融合数据，所述融合数据用于指示所述用户图像的纹理信息和/或灰度信息；基于所述关键点数据确定所述用户图像的定位区域；根据所述融合数据和所述定位区域生成所述用户图像的目的图像。
可选地，所述基于所述关键点数据确定所述用户图像的定位区域，包括：根据所述关键点数据计算得到所述定位区域的上边缘点的位置信息和下边缘点的位置信息；根据所述上边缘点的位置信息和所述下边缘点的位置信息，将所述上边缘点和所述下边缘点围成的区域确定为所述定位区域。
可选地，所述根据所述关键点数据计算得到所述定位区域的上边缘点的位置信息和下边缘点的位置信息，包括：根据所述关键点数据确定眼睛的垂直方向和宽度信息；基于所述垂直方向和所述宽度信息确定所述定位区域的最低点的位置信息；根据所述最低点的位置信息和所述关键点数据，按照预设第一比例插值计算得到所述定位区域的下边缘点的位置信息；根据所述下边缘点的位置信息和所述关键点数据，按照预设第二比例插值计算得到所述定位区域的上边缘点的位置信息。
可选地，所述关键点数据包括：左眼角点的位置信息、右眼角点的位置信息和瞳孔的中心点的位置信息；所述根据所述关键点数据确定眼睛的垂直方向和宽度信息，包括：根据所述左眼角点的位置信息和所述右眼角点的位置信息，对所述左眼角点和所述右眼角点进行连线，得到所述左眼角点和所述右眼角点之间的线段；根据所述瞳孔的中心点的位置信息，将穿过所述瞳孔的中心点，且与所述线段垂直的方向确定为眼睛的垂直方向；将所述线段的长度信息确定为眼睛的宽度信息。
可选地，所述基于所述垂直方向和所述宽度信息确定所述定位区域的最低点的位置信息，包括：将沿所述垂直方向，与所述瞳孔的中心点之间的距离为所述宽度信息的点的位置信息确定为所述定位区域的最低点的位置信息。
可选地，所述获取用户图像的融合数据，包括：将所述用户图像和全白图像进行混合处理，得到融合图像。
可选地，所述获取用户图像的融合数据，包括：获取所述用户图像的灰度图像；对所述灰度图像进行增强处理，得到融合权值。
可选地，所述根据所述融合数据和所述定位区域生成所述用户图像的目的图像，包括：根据所述融合权值对所述用户图像和所述融合图像进行加权处理，得到中间图像；在所述中间图像中选取所述定位区域对应的图像，得到所述用户图像的目的图像。
可选地，所述方法还包括：根据所述用户图像和混合比例对所述目的图像进行力度调节。
可选地，所述用户图像为用户的眼睛图像。
根据本公开实施例的第二方面，提供了一种图像处理装置，包括：获取模块，用于获取用户图像的关键点数据和融合数据，所述融合数据用于指示所述用户图像的纹理信息和/或灰度信息；确定模块，用于基于所述关键点数据确定所述用户图像的定位区域；生成模块，用于根据所述融合数据和所述定位区域生成所述用户图像的目的图像。
可选地，所述确定模块，包括：位置计算模块，用于根据所述关键点数据计算得到所述定位区域的上边缘点的位置信息和下边缘点的位置信息；区域确定模块，用于根据所述上边缘点的位置信息和所述下边缘点的位置信息，将所述上边缘点和所述下边缘点围成的区域确定为所述定位区域。
可选地，所述位置计算模块，包括：第一确定模块，用于根据所述关键点数据确定眼睛的垂直方向和宽度信息；第二确定模块，用于基于所述垂直方向和所述宽度信息确定所述定位区域的最低点的位置信息；第一计算模块，用于根据所述最低点的位置信息和所述关键点数据，按照预设第一比例插值计算得到所述定位区域的下边缘点的位置信息；第二计算模块，用于根据所述下边缘点的位置信息和所述关键点数据，按照预设第二比例插值计算得到所述定位区域的上边缘点的位置信息。
可选地，所述关键点数据包括：左眼角点的位置信息、右眼角点的位置信息和瞳孔的中心点的位置信息；所述第一确定模块，用于根据所述左眼角点的位置信息和所述右眼角点的位置信息，对所述左眼角点和所述右眼角点进行连线，得到所述左眼角点和所述右眼角点之间的线段；根据所述瞳孔的中心点的位置信息，将穿过所述瞳孔的中心点，且与所述线段垂直的方向确定为眼睛的垂直方向；将所述线段的长度信息确定为眼睛的宽度信息。
可选地，所述第二确定模块，用于将沿所述垂直方向，与所述瞳孔的中心点之间的距离为所述宽度信息的点的位置信息确定为所述定位区域的最低点的位置信息。
可选地，所述获取模块，用于将所述用户图像和全白图像进行混合处理，得到融合图像。
可选地，所述获取模块，还用于获取所述用户图像的灰度图像；对所述灰度图像进行增强处理，得到融合权值。
可选地，所述生成模块，包括：加权处理模块，用于根据所述融合权值对所述用户图像和所述融合图像进行加权处理，得到中间图像；图像选取模块，用于在所述中间图像中选取所述定位区域对应的图像，得到所述用户图像的目的图像。
可选地，所述装置还包括：调节模块，用于根据所述用户图像和混合比例对所述目的图像进行力度调节。
可选地，所述用户图像为用户的眼睛图像。
根据本公开实施例的第三方面，提供了一种电子设备，包括：处理器和存储器；所述存储器用于存放至少一个可执行指令，所述可执行指令使所述处理器执行如第一方面所述的图像处理方法。
根据本公开实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有：用于获取用户图像的关键点数据和融合数据的可执行指令，所述融合数据用于指示所述用户图像的纹理信息和/或灰度信息；用于基于所述关键点数据确定所述用户图像的定位区域的可执行指令；用于根据所述融合数据和所述定位区域生成所述用户图像的目的图像的可执行指令。
根据本公开实施例的第五方面，提供了一种计算机程序产品，包括：至少一个可执行指令，所述可执行指令被处理器执行时用于实现如第一方面所述的图像处理方法。
本公开实施例在获取用户图像的关键点数据和融合数据之后，基于关键点数据确定用户图像的定位区域，提高了定位黑眼圈位置的准确性。再根据融合数据和定位区域生成用户图像的目的图像，保护了目的图像的纹理细节，并达到了明暗过渡的效果，使得目的图像更加真实、自然，从而提高了黑眼圈的祛除效果。
附图说明
图1是根据本公开一些实施例的图像处理方法的流程图；
图2是根据本公开另一些实施例的图像处理方法的流程图；
图3是根据本公开一些实施例的图像处理装置的结构框图；
图4是根据本公开另一些实施例的图像处理装置的结构框图；
图5是根据本公开一些实施例的电子设备的结构示意图。
具体实施方式
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本公开实施例的具体实施方式作进一步详细说明。以下实施例用于说明本公开，但不用来限制本公开的范围。
本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
参照图1，示出了根据本公开一些实施例的图像处理方法的流程图。
步骤S100、获取用户图像的关键点数据和融合数据。
从用户图像包含的内容来讲，用户图像可包括用户的眼部图像或者头部图像，例如，用户的双眼图像，用户的正面头部图像，用户的正面半身图像，用户的正面全身图像等。从用户图像的类别来讲，用户图像可为静态图像，或者为视频序列中的视频帧图像，也可以是合成图像等。本公开实施例对用户图像的具体实现不作限定。
关键点数据可包括眼部特征数据或头部特征数据或上半身特征数据或人体特征数据等，关键点数据可以为一个关键点数据或多个关键点数据。在一些可选实施例中，关键点数据可以具体为特征向量，例如关键点数据为从用户图像中获取的原始的特征向量或经过处理的特征向量，本公开实施例对该关键点数据的具体实现不做限定。
在一些可选实施例中，可以首先获取用户图像，然后再对获取的用户图像进行特征提取处理，获得用户图像的关键点数据。例如，可通过用于特征提取的神经网络，从用户图像中提取得到用户图像的关键点数据。可以理解的是，本公开实施例不限于此，任何从用户图像中获取关键点数据的实施方式均可适用于此，此外，还可以通过其他方式获取关键点数据，例如从其他设备处接收该关键点数据，在一个具体例子中，服务器可以从终端设备接收该关键点数据，等等，本公开实施例对此不作任何限制。
融合数据用于指示用户图像的纹理信息和/或灰度信息，可包括纹理图像和RGB灰度图像等，本公开实施例对该融合数据的具体实现不做限定。
在一些可选实施例中，可以首先获取用户图像，然后再对获取的用户图像进行柔光和增强处理，获得用户图像的融合数据。
在一些可选实施例中，也可以在对用户图像进行特征提取、柔光处理或增强处理之前，确定用户图像是否满足预设图像条件，并且只有在满足预设图像条件的情况下才进行特征提取、柔光处理或增强处理，但本公开实施例对此不做限定。
步骤S102、基于关键点数据确定用户图像的定位区域。
本公开实施例中，定位区域可认为是对用户图像进行图像处理的目标区域，即对定位区域对应的图像进行图像处理。
在一些可选实施例中，定位区域可为一个的或者多个，例如，对用户图像进行黑眼圈祛除，则定位区域为两个，分别位于用户图像中的左眼下方位置处和右眼下方位置处。
本公开实施例中，可以将根据多个关键点数据，将多个关键点围成的区域确定为定位区域。例如，根据关键点g1、g2、g3、g4、g5的关键点数据，将关键点g1、g2、g3、g4、g5围成的区域确定为定位区域q1，根据关键点g6、g7、g8、g9、g10、g11的关键点数据，将关键点g6、g7、g8、g9、g10、g11围成的区域确定为定位区域q2。
步骤S104、根据融合数据和定位区域生成用户图像的目的图像。
本公开实施例中，可以通过定位区域对用户图像中的相应的区域进行限定，并通过融合数据对该相应的区域进行融合处理，得到祛除黑眼圈之后的目的图像。
本公开实施例在获取用户图像的关键点数据和融合数据之后，基于关键点数据确定用户图像的定位区域，提高了定位黑眼圈位置的准确性。再根据融合数据和定位区域生成用户图像的目的图像，保护了目的图像的纹理细节，并达到了明暗过渡的效果，使得目的图像更加真实、自然，从而提高了黑眼圈的祛除效果。
本公开实施例的图像处理方法可以由任意适当的具有图像或数据处理能力的终端设备或服务器执行，其中，该终端设备包括但不限于：摄像头、移动终端、PC机、车载设备、娱乐设备、广告设备、个人数码助理(PDA)、平板电脑、笔记本电脑、掌上游戏机、智能眼镜、智能手表、可穿戴设备、虚拟显示设备或显示增强设备(如Google Glass、Oculus Rift、Hololens、Gear VR)等，本公开实施例对此不做限定。
参照图2，示出了根据本公开另一些实施例的图像处理方法的流程图。
步骤S200、获取用户图像的关键点数据和融合数据。
本公开实施例中，用户图像可以为用户的人眼图像。在一些可选实施例中，可以借助终端设备内置的摄像头或者外接的摄像头获取用户图像，或者，服务器也可以接收终端设备发送的用户图像，本公开实施例对此不做限定。
在一些可选实施例中，步骤S200可以包括两部分内容，一部分为获取用户图像的关键点数据，另一部分为获取用户图像的融合数据。该两部分内容可以顺序执行，也可以并列执行，本公开实施例对此不做限制。
在一些可选实施例中，在获取用户图像的关键点数据时，关键点数据可以为眼睛周围的多个关键点数据，例如，左眼角点数据、右眼角点数据、上眼皮各点数据和下眼皮各点数据。具体地，可以通过神经网络模型对用户图像进行识别，得到关键点数据，还可以通过其他方式获取关键点数据，本公开实施例对获取关键点数据的具体内容不做限制。
在一些可选实施例中，在获取用户图像的融合数据时，可以分别获取融合图像和融合权值。其中，在获取融合图像时，可以将用户图像和全白图像进行混合处理，得到融合图像。具体地，可以按照如下公式得到融合图像：
Figure BDA0001661188850000071
其中，a为用户图像中像素点Xa的像素值，b为全白图像中像素点Xb的像素值，y为融合图像中像素点Xy的像素值，像素点Xa、像素点Xb和像素点Xy的坐标相对应，a和b均大于0且小于1。
在获取融合权值时，可以获取用户图像的灰度图像，再对灰度图像进行增强处理，得到融合权值。具体地，可以按照如下公式得到融合权值：
Figure BDA0001661188850000072
其中，c为灰度图像中像素点Xc的像素值，z为融合权值中像素点Xz的像素值，像素点Xc和像素点Xz的坐标相对应，c大于0且小于1。
可选地，终端设备或服务器可以在获取到用户图像之后，直接获取关键点数据和融合数据，或者，也可以在获取关键点数据和融合数据之前，确定获取的用户图像是否满足预设图像条件，其中，预设图像条件包括下列中的任意一种或多种：图像中包含人眼、图像质量达到预设质量条件、处于睁眼状态、人眼姿态满足预设姿态条件、眼部区域的大小达到预设大小条件、眼部区域中被遮挡部分满足预设遮挡条件、图像光照条件满足预设光照条件等，本公开实施例对此不做限定。
步骤S202、基于关键点数据确定用户图像的定位区域。
本公开实施例中，定位区域可以认为是黑眼圈的粗略区域。在一些可选实施例中，可以根据关键点数据计算得到定位区域的上边缘点和下边缘点，再将上边缘点和下边缘点围成的区域确定为定位区域。
在计算上边缘点和下边缘点时，可以根据关键点数据中的左眼角点的位置信息、右眼角点的位置信息和瞳孔的中心点的位置信息确定眼睛的垂直方向，具体地，根据左眼角点m的位置信息和右眼角点n的位置信息，对左眼角点m和右眼角点n进行连线，得到左眼角点m和右眼角点n之间的线段mn；根据瞳孔的中心点o的位置信息，将穿过瞳孔的中心点o，且与线段mn垂直的方向确定为眼睛的垂直方向。将线段mn的长度信息确定为眼睛的宽度信息。再基于垂直方向和宽度信息确定定位区域的最低点。具体地，将沿垂直方向，与瞳孔的中心点o之间的距离为宽度信息的点p确定为定位区域的最低点。在确定最低点的位置信息之后，可以根据最低点的位置信息和关键点数据，按照预设第一比例插值计算得到定位区域的下边缘点的位置信息。具体地，可以根据最低点的位置信息和关键点数据中的左眼角点的位置信息、右眼角点的位置信息按照预设第一比例插值计算得到定位区域的下边缘点的位置信息。其中，预设第一比例可以根据实际情况进行设定，本公开实施对此不做限制。在得到下边缘点的位置信息之后，可以根据下边缘点的位置信息和关键点数据，按照预设第二比例插值计算得到定位区域的上边缘点的位置信息。具体地，可以根据下边缘点的位置信息和关键点数据中的下眼皮点的位置信息，按照预设第二比例插值计算得到定位区域的上边缘点的位置信息。其中，预设第二比例可以根据实际情况进行设定，本公开实施对此不做限制。而且，预设第一比例与预设第二比例可以相同，也可以不相同。
步骤S204、根据融合数据和定位区域生成用户图像的目的图像。
在一些可选实施例中，可以根据融合权值对用户图像和融合图像进行加权处理，得到中间图像；在中间图像中选取定位区域对应的图像，得到用户图像的目的图像。
本公开实施例中，通过柔光混合处理得到的融合图像，保护了眼部皮肤的纹理细节。在用户图像的灰度图像的基础之上，进行增强处理得到的融合权值，起到了明暗过渡的作用。
本公开实施例中，可以分别针对左眼和右眼执行上述步骤S200至步骤S204，得到祛除左眼黑眼圈之后的效果图和祛除右眼黑眼圈之后的效果图。
在一些可选实施例中，还可以进一步对得到的目的图像，即祛除黑眼圈之后的效果图进行力度调节，如步骤S206、根据用户图像和混合比例对目的图像进行力度调节。具体地，按照如下公式进行力度调节：
目的图像＝(1-α)*用户图像+α*最大力度图
其中，α为用户图像与目的图像的混合比例，α大于0且小于1，α的取值可以根据实际情况进行设定，最大力度图为进行最大程度的力度调节之后的效果图。通过力度调节可以满足用户对黑眼圈祛除的轻重需求。
本公开实施例在获取用户图像的关键点数据和融合数据之后，基于关键点数据确定用户图像的定位区域，提高了定位黑眼圈位置的准确性。
本公开实施例根据融合数据和定位区域生成用户图像的目的图像，通过柔光混合处理得到的融合图像，保护了眼部皮肤的纹理细节，根据融合图像生成最终的目的图像，也相应的保护了黑眼圈位置的纹理细节，使得黑眼圈的祛除更加真实、自然，黑眼圈的祛除效果更好。
本公开实施例在用户图像的灰度图像的基础之上，进行增强处理得到的融合权值，采用黑眼圈位置的灰度值作为融合权重，达到保护明暗过渡的效果，使得黑眼圈的祛除更加真实、自然，黑眼圈的祛除效果更好。
参照图3，示出了根据本公开一些实施例的图像处理装置的结构框图。
本公开实施例提供的图像处理装置包括：获取模块300，用于获取用户图像的关键点数据和融合数据，融合数据用于指示用户图像的纹理信息和/或灰度信息；确定模块302，用于基于关键点数据确定用户图像的定位区域；生成模块304，用于根据融合数据和定位区域生成用户图像的目的图像。
本公开实施例的图像处理装置用于实现上述实施例中相应的图像处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。
参照图4，示出了根据本公开另一些实施例的图像处理装置的结构框图。
本公开实施例提供的图像处理装置包括：获取模块400，用于获取用户图像的关键点数据和融合数据，融合数据用于指示用户图像的纹理信息和/或灰度信息；确定模块402，用于基于关键点数据确定用户图像的定位区域；生成模块404，用于根据融合数据和定位区域生成用户图像的目的图像。
可选地，确定模块402，包括：位置计算模块4020，用于根据关键点数据计算得到定位区域的上边缘点的位置信息和下边缘点的位置信息；区域确定模块4022，用于根据上边缘点的位置信息和下边缘点的位置信息，将上边缘点和下边缘点围成的区域确定为定位区域。
可选地，位置计算模块4020，包括：第一确定模块40200，用于根据关键点数据确定眼睛的垂直方向和宽度信息；第二确定模块40202，用于基于垂直方向和宽度信息确定定位区域的最低点的位置信息；第一计算模块40204，用于根据最低点的位置信息和关键点数据，按照预设第一比例插值计算得到定位区域的下边缘点的位置信息；第二计算模块40206，用于根据下边缘点的位置信息和关键点数据，按照预设第二比例插值计算得到定位区域的上边缘点的位置信息。
可选地，关键点数据包括：左眼角点的位置信息、右眼角点的位置信息和瞳孔的中心点的位置信息；第一确定模块40200，用于根据左眼角点的位置信息和右眼角点的位置信息，对左眼角点和右眼角点进行连线，得到左眼角点和右眼角点之间的线段；根据瞳孔的中心点的位置信息，将穿过瞳孔的中心点，且与线段垂直的方向确定为眼睛的垂直方向；将线段的长度信息确定为眼睛的宽度信息。
可选地，第二确定模块40202，用于将沿垂直方向，与瞳孔的中心点之间的距离为宽度信息的点的位置信息确定为定位区域的最低点的位置信息。
可选地，获取模块400，用于将用户图像和全白图像进行混合处理，得到融合图像。
可选地，获取模块400，还用于获取用户图像的灰度图像；对灰度图像进行增强处理，得到融合权值。
可选地，生成模块404，包括：加权处理模块4040，用于根据融合权值对用户图像和融合图像进行加权处理，得到中间图像；图像选取模块4042，用于在中间图像中选取定位区域对应的图像，得到用户图像的目的图像。
可选地，本公开实施例提供的图像处理装置还包括：调节模块406，用于根据用户图像和混合比例对目的图像进行力度调节。
可选地，用户图像为用户的眼睛图像。
本公开实施例的图像处理装置用于实现上述实施例中相应的图像处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。
本公开实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图5，其示出了适于用来实现本公开实施例的图像处理装置的电子设备500的结构示意图：如图5所示，电子设备500可以包括存储器和处理器。具体地，电子设备500包括一个或多个处理器、通信元件等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)501，和/或一个或多个图像处理器(GPU)513等，处理器可以根据存储在只读存储器(ROM)502中的可执行指令或者从存储部分508加载到随机访问存储器(RAM)503中的可执行指令而执行各种适当的动作和处理。通信元件包括通信组件512和/或通信接口509。其中，通信组件512可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，通信接口509包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，通信接口509经由诸如因特网的网络执行通信处理。
处理器可与只读存储器502和/或随机访问存储器503中通信以执行可执行指令，通过通信总线504与通信组件512相连、并经通信组件512与其他目标设备通信，从而完成本公开实施例提供的任一项图像处理方法对应的操作，例如，获取用户图像的关键点数据和融合数据，所述融合数据用于指示所述用户图像的纹理信息和/或灰度信息；基于所述关键点数据确定所述用户图像的定位区域；根据所述融合数据和所述定位区域生成所述用户图像的目的图像。
此外，在RAM503中，还可存储有装置操作所需的各种程序和数据。CPU501或GPU513、ROM502以及RAM503通过通信总线504彼此相连。在有RAM503的情况下，ROM502为可选模块。RAM503存储可执行指令，或在运行时向ROM502中写入可执行指令，可执行指令使处理器执行上述通信方法对应的操作。输入/输出(I/O)接口505也连接至通信总线504。通信组件512可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在通信总线链接上。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信接口509。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
需要说明的，如图5所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图5的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信元件可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本公开的保护范围。
本公开实施例的电子设备可以用于实现上述实施例中相应的图像处理方法，该电子设备中的各个器件可以用于执行上述方法实施例中的各个步骤，例如，上文中描述的图像处理方法可以通过电子设备的处理器调用存储器存储的相关指令来实现，为了简洁，在此不再赘述。
根据本公开实施例，上文参考流程图描述的过程可以被实现为计算机程序产品。例如，本公开实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本公开实施例提供的方法步骤对应的指令，例如，获取用户图像的关键点数据和融合数据，所述融合数据用于指示所述用户图像的纹理信息和/或灰度信息；基于所述关键点数据确定所述用户图像的定位区域；根据所述融合数据和所述定位区域生成所述用户图像的目的图像。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被处理器执行时，执行本公开实施例的方法中公开的功能。
可能以许多方式来实现本公开的方法和装置、电子设备和存储介质。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开实施例的方法和装置、电子设备和存储介质。用于方法的步骤的上述顺序仅是为了进行说明，本公开实施例的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开实施例的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开实施例的方法的程序的记录介质。
本公开实施例的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式，很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (20)

1.一种图像处理方法，其特征在于，包括：
获取用户图像的关键点数据和融合数据，所述融合数据用于指示所述用户图像的纹理信息和/或灰度信息；
基于所述关键点数据确定所述用户图像的定位区域；
根据所述融合数据和所述定位区域生成所述用户图像的目的图像；
其中，所述目的图像是基于融合权值对所述用户图像和融合图像进行加权处理得到的，所述融合权值是对所述用户图像的灰度图像进行增强处理得到的；
所述对所述用户图像的灰度图像进行增强处理，包括：
按照如下公式对所述用户图像的灰度图像进行增强处理得到融合权值：
Figure FDA0004097867710000011
其中，c为灰度图像中像素点Xc的像素值，z为融合权值中像素点Xz的像素值，像素点Xc和像素点Xz的坐标相对应，c大于0且小于1。
2.根据权利要求1所述的方法，其特征在于，所述基于所述关键点数据确定所述用户图像的定位区域，包括：
根据所述关键点数据计算得到所述定位区域的上边缘点的位置信息和下边缘点的位置信息；
根据所述上边缘点的位置信息和所述下边缘点的位置信息，将所述上边缘点和所述下边缘点围成的区域确定为所述定位区域。
3.根据权利要求2所述的方法，其特征在于，所述根据所述关键点数据计算得到所述定位区域的上边缘点的位置信息和下边缘点的位置信息，包括：
根据所述关键点数据确定眼睛的垂直方向和宽度信息；
基于所述垂直方向和所述宽度信息确定所述定位区域的最低点的位置信息；
根据所述最低点的位置信息和所述关键点数据，按照预设第一比例插值计算得到所述定位区域的下边缘点的位置信息；
根据所述下边缘点的位置信息和所述关键点数据，按照预设第二比例插值计算得到所述定位区域的上边缘点的位置信息。
4.根据权利要求3所述的方法，其特征在于，所述关键点数据包括：左眼角点的位置信息、右眼角点的位置信息和瞳孔的中心点的位置信息；
所述根据所述关键点数据确定眼睛的垂直方向和宽度信息，包括：
根据所述左眼角点的位置信息和所述右眼角点的位置信息，对所述左眼角点和所述右眼角点进行连线，得到所述左眼角点和所述右眼角点之间的线段；
根据所述瞳孔的中心点的位置信息，将穿过所述瞳孔的中心点，且与所述线段垂直的方向确定为眼睛的垂直方向；
将所述线段的长度信息确定为眼睛的宽度信息。
5.根据权利要求4所述的方法，其特征在于，所述基于所述垂直方向和所述宽度信息确定所述定位区域的最低点的位置信息，包括：
将沿所述垂直方向，与所述瞳孔的中心点之间的距离为所述宽度信息的点的位置信息确定为所述定位区域的最低点的位置信息。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述获取用户图像的融合数据，包括：
将所述用户图像和全白图像进行混合处理，得到融合图像。
7.根据权利要求1所述的方法，其特征在于，所述根据所述融合数据和所述定位区域生成所述用户图像的目的图像，包括：
根据所述融合权值对所述用户图像和所述融合图像进行加权处理，得到中间图像；
在所述中间图像中选取所述定位区域对应的图像，得到所述用户图像的目的图像。
8.根据权利要求1-7中任一项所述的方法，其特征在于，所述方法还包括：
根据所述用户图像和混合比例对所述目的图像进行力度调节。
9.根据权利要求1-8中任一项所述的方法，其特征在于，所述用户图像为用户的眼睛图像。
10.一种图像处理装置，其特征在于，包括：
获取模块，用于获取用户图像的关键点数据和融合数据，所述融合数据用于指示所述用户图像的纹理信息和/或灰度信息；
确定模块，用于基于所述关键点数据确定所述用户图像的定位区域；
生成模块，用于根据所述融合数据和所述定位区域生成所述用户图像的目的图像；
其中，所述目的图像是基于融合权值对所述用户图像和融合图像进行加权处理得到的，所述融合权值是对所述用户图像的灰度图像进行增强处理得到的；
所述获取模块，还用于按照如下公式对所述用户图像的灰度图像进行增强处理得到融合权值：
Figure FDA0004097867710000031
其中，c为灰度图像中像素点Xc的像素值，z为融合权值中像素点Xz的像素值，像素点Xc和像素点Xz的坐标相对应，c大于0且小于1。
11.根据权利要求10所述的装置，其特征在于，所述确定模块，包括：
位置计算模块，用于根据所述关键点数据计算得到所述定位区域的上边缘点的位置信息和下边缘点的位置信息；
区域确定模块，用于根据所述上边缘点的位置信息和所述下边缘点的位置信息，将所述上边缘点和所述下边缘点围成的区域确定为所述定位区域。
12.根据权利要求11所述的装置，其特征在于，所述位置计算模块，包括：
第一确定模块，用于根据所述关键点数据确定眼睛的垂直方向和宽度信息；
第二确定模块，用于基于所述垂直方向和所述宽度信息确定所述定位区域的最低点的位置信息；
第一计算模块，用于根据所述最低点的位置信息和所述关键点数据，按照预设第一比例插值计算得到所述定位区域的下边缘点的位置信息；
第二计算模块，用于根据所述下边缘点的位置信息和所述关键点数据，按照预设第二比例插值计算得到所述定位区域的上边缘点的位置信息。
13.根据权利要求12所述的装置，其特征在于，所述关键点数据包括：左眼角点的位置信息、右眼角点的位置信息和瞳孔的中心点的位置信息；
所述第一确定模块，用于根据所述左眼角点的位置信息和所述右眼角点的位置信息，对所述左眼角点和所述右眼角点进行连线，得到所述左眼角点和所述右眼角点之间的线段；根据所述瞳孔的中心点的位置信息，将穿过所述瞳孔的中心点，且与所述线段垂直的方向确定为眼睛的垂直方向；将所述线段的长度信息确定为眼睛的宽度信息。
14.根据权利要求13所述的装置，其特征在于，所述第二确定模块，用于将沿所述垂直方向，与所述瞳孔的中心点之间的距离为所述宽度信息的点的位置信息确定为所述定位区域的最低点的位置信息。
15.根据权利要求10-14中任一项所述的装置，其特征在于，所述获取模块，用于将所述用户图像和全白图像进行混合处理，得到融合图像。
16.根据权利要求10所述的装置，其特征在于，所述生成模块，包括：
加权处理模块，用于根据所述融合权值对所述用户图像和所述融合图像进行加权处理，得到中间图像；
图像选取模块，用于在所述中间图像中选取所述定位区域对应的图像，得到所述用户图像的目的图像。
17.根据权利要求10-16中任一项所述的装置，其特征在于，所述装置还包括：
调节模块，用于根据所述用户图像和混合比例对所述目的图像进行力度调节。
18.根据权利要求10-17中任一项所述的装置，其特征在于，所述用户图像为用户的眼睛图像。
19.一种电子设备，其特征在于，包括：处理器和存储器；
所述存储器用于存放至少一个可执行指令，所述可执行指令使所述处理器执行如权利要求1-9中任一项所述的图像处理方法。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有：
用于获取用户图像的关键点数据和融合数据的可执行指令，所述融合数据用于指示所述用户图像的纹理信息和/或灰度信息；
用于基于所述关键点数据确定所述用户图像的定位区域的可执行指令；
用于根据所述融合数据和所述定位区域生成所述用户图像的目的图像的可执行指令；
其中，所述目的图像是基于融合权值对所述用户图像和融合图像进行加权处理得到的，所述融合权值是对所述用户图像的灰度图像进行增强处理得到的；
用于按照如下公式对所述用户图像的灰度图像进行增强处理得到融合权值：
Figure FDA0004097867710000051
其中，c为灰度图像中像素点Xc的像素值，z为融合权值中像素点Xz的像素值，像素点Xc和像素点Xz的坐标相对应，c大于0且小于1。
CN201810462277.4A 2018-05-15 2018-05-15 图像处理方法、装置、电子设备和存储介质 Active CN108665498B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810462277.4A CN108665498B (zh) 2018-05-15 2018-05-15 图像处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810462277.4A CN108665498B (zh) 2018-05-15 2018-05-15 图像处理方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN108665498A CN108665498A (zh) 2018-10-16
CN108665498B true CN108665498B (zh) 2023-05-12

Family

ID=63779642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810462277.4A Active CN108665498B (zh) 2018-05-15 2018-05-15 图像处理方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN108665498B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376649A (zh) * 2018-10-20 2019-02-22 张彦龙 一种从眼部灰度图像缩小似然图计算识别上下眼皮的方法
CN109919029A (zh) * 2019-01-31 2019-06-21 深圳和而泰数据资源与云技术有限公司 黑眼圈类型识别方法、装置、计算机设备和存储介质
CN113228045A (zh) * 2020-05-18 2021-08-06 深圳市大疆创新科技有限公司 图像处理方法、设备、可移动平台和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447641A (zh) * 2016-08-29 2017-02-22 努比亚技术有限公司 图像生成装置及方法
CN107862673A (zh) * 2017-10-31 2018-03-30 北京小米移动软件有限公司 图像处理方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574285B (zh) * 2013-10-23 2017-09-19 厦门美图网科技有限公司 一种自动祛除图像黑眼圈的方法
JP6421794B2 (ja) * 2016-08-10 2018-11-14 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447641A (zh) * 2016-08-29 2017-02-22 努比亚技术有限公司 图像生成装置及方法
CN107862673A (zh) * 2017-10-31 2018-03-30 北京小米移动软件有限公司 图像处理方法及装置

Also Published As

Publication number Publication date
CN108665498A (zh) 2018-10-16

Similar Documents

Publication Publication Date Title
CN108122234B (zh) 卷积神经网络训练及视频处理方法、装置和电子设备
CN106331492B (zh) 一种图像处理方法及终端
CN108665498B (zh) 图像处理方法、装置、电子设备和存储介质
CN108234858B (zh) 图像虚化处理方法、装置、存储介质及电子设备
CN108230384B (zh) 图像深度计算方法、装置、存储介质和电子设备
US9600864B2 (en) Skin tone tuned image enhancement
CN108701355B (zh) Gpu优化和在线基于单高斯的皮肤似然估计
CN108351962B (zh) 具有自适应性通道特征的对象检测
CN112468796B (zh) 注视点生成方法、系统及设备
US10891471B2 (en) Method and system for pose estimation
CN110706283B (zh) 用于视线追踪的标定方法、装置、移动终端及存储介质
CN110335330A (zh) 图像模拟生成方法及其系统、深度学习算法训练方法及电子设备
CN109144250B (zh) 一种位置调节的方法、装置、设备及存储介质
CN109214996A (zh) 一种图像处理方法及装置
WO2018076172A1 (zh) 一种图像显示方法及终端
CN108573192A (zh) 匹配人脸的眼镜试戴方法和装置
EP4093015A1 (en) Photographing method and apparatus, storage medium, and electronic device
CN113240576A (zh) 风格迁移模型的训练方法、装置、电子设备及存储介质
CN110047126B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN110059739B (zh) 图像合成方法、装置、电子设备和计算机可读存储介质
CN116309158A (zh) 网络模型的训练方法、三维重建方法、装置、设备和介质
EP2798614B1 (en) Method of and apparatus for low-complexity detection of periodic textures
CN110097622B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN113470028A (zh) 染色体核型图像质量评估方法、染色体分析仪和存储介质
CN113362260A (zh) 图像优化方法及装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant