CN107392874B - 美颜处理方法、装置及移动设备 - Google Patents
美颜处理方法、装置及移动设备 Download PDFInfo
- Publication number
- CN107392874B CN107392874B CN201710643375.3A CN201710643375A CN107392874B CN 107392874 B CN107392874 B CN 107392874B CN 201710643375 A CN201710643375 A CN 201710643375A CN 107392874 B CN107392874 B CN 107392874B
- Authority
- CN
- China
- Prior art keywords
- depth information
- face
- image
- sub
- structured light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000003796 beauty Effects 0.000 title claims description 67
- 238000012545 processing Methods 0.000 claims abstract description 57
- 238000003672 processing method Methods 0.000 claims abstract description 32
- 230000002087 whitening effect Effects 0.000 claims description 5
- 230000037303 wrinkles Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 239000002537 cosmetic Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 17
- 230000001815 facial effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 14
- 210000001061 forehead Anatomy 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种美颜处理方法、装置及移动设备，该方法包括基于投射在人脸的结构光，采集所述人脸对应的散斑图案；根据所述散斑图案的深度信息，对所述人脸对应的平面图像进行美颜处理。本发明由于是基于结构光采集到的散斑图案的深度信息，数据来源精准，且，执行具有针对性的美颜处理，提升美颜效果。
Description
技术领域
本发明涉及移动设备技术领域，尤其涉及一种美颜处理方法、装置及移动设备。
背景技术
随着移动设备的发展，用户可以使用移动设备进行拍照，在拍照的过程中，有对拍照所得的照片进行美化的需求。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明提出一种美颜处理方法、装置及移动设备，由于是基于结构光采集到的散斑图案的深度信息，数据来源精准，且，执行具有针对性的美颜处理，提升美颜效果。
本发明第一方面实施例提出的美颜处理方法，包括：基于投射在人脸的结构光，采集所述人脸对应的散斑图案；根据所述散斑图案的深度信息，对所述人脸对应的平面图像进行美颜处理。
本发明第一方面实施例提出的美颜处理方法，通过基于投射在人脸的结构光，采集人脸对应的散斑图案，根据散斑图案的深度信息，对人脸对应的平面图像进行美颜处理，由于是基于结构光采集到的散斑图案的深度信息，数据来源精准，且，执行具有针对性的美颜处理，提升美颜效果。
本发明第二方面实施例提出的美颜处理装置，包括：采集模块，用于基于投射在人脸的结构光，采集所述人脸对应的散斑图案；美颜模块，用于根据所述散斑图案的深度信息，对所述人脸对应的平面图像进行美颜处理。
本发明第二方面实施例提出的美颜处理装置，通过基于投射在人脸的结构光，采集人脸对应的散斑图案，根据散斑图案的深度信息，对人脸对应的平面图像进行美颜处理，由于是基于结构光采集到的散斑图案的深度信息，数据来源精准，且，执行具有针对性的美颜处理，提升美颜效果。
本发明第三方面实施例提出的美颜处理装置，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：基于投射在人脸的结构光，采集所述人脸对应的散斑图案；根据所述散斑图案的深度信息，对所述人脸对应的平面图像进行美颜处理。
本发明第三方面实施例提出的美颜处理装置，通过基于投射在人脸的结构光，采集人脸对应的散斑图案，根据散斑图案的深度信息，对人脸对应的平面图像进行美颜处理，由于是基于结构光采集到的散斑图案的深度信息，数据来源精准，且，执行具有针对性的美颜处理，提升美颜效果。
本发明第四方面实施例提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行一种美颜处理方法，所述方法包括：基于投射在人脸的结构光，采集所述人脸对应的散斑图案；根据所述散斑图案的深度信息，对所述人脸对应的平面图像进行美颜处理。
本发明第四方面实施例提出的非临时性计算机可读存储介质，通过基于投射在人脸的结构光，采集人脸对应的散斑图案，根据散斑图案的深度信息，对人脸对应的平面图像进行美颜处理，由于是基于结构光采集到的散斑图案的深度信息，数据来源精准，且，执行具有针对性的美颜处理，提升美颜效果。
本发明第五方面还提出一种移动设备，该移动设备包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如本发明第一方面实施例提出的美颜处理方法。
本发明第五方面实施例提出的移动设备，通过基于投射在人脸的结构光，采集人脸对应的散斑图案，根据散斑图案的深度信息，对人脸对应的平面图像进行美颜处理，由于是基于结构光采集到的散斑图案的深度信息，数据来源精准，且，执行具有针对性的美颜处理，提升美颜效果。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一实施例提出的美颜处理方法的流程示意图；
图2为相关技术中结构光示意图；
图3为本发明实施例中结构光的投影集合示意图；
图4是本发明另一实施例提出的美颜处理方法的流程示意图；
图5为一个投射结构光的装置示意图；
图6是本发明另一实施例提出的美颜处理方法的流程示意图；
图7a为本发明实施例中一个子图像区域示意图；
图7b为本发明实施例中另一个子图像区域示意图；
图8为本发明实施例中美颜处理效果示意图；
图9是本发明另一实施例提出的美颜处理方法的流程示意图；
图10是本发明一实施例提出的美颜处理装置的结构示意图；
图11是本发明另一实施例提出的美颜处理装置的结构示意图；
图12为一个实施例中图像处理电路的示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
图1是本发明一实施例提出的美颜处理方法的流程示意图。
本发明的实施例可以应用在用户使用移动设备进行拍照的过程中，或者，也可以应用在用户使用摄像机设备进行拍照的过程中，对此不作限制。
进一步地，用户可以通过设置在移动设备中的拍照类应用程序在拍照过程中进行美颜处理，对此不作限制。
其中，应用程序可以是指运行在电子设备上的软件程序，电子设备例如为个人电脑(Personal Computer，PC)，云端设备或者移动设备，移动设备例如智能手机，或者平板电脑等。终端可以是智能手机、平板电脑、个人数字助理、电子书等具有各种操作系统的硬件设备，对此不作限制。
需要说明的是，本发明实施例的执行主体，在硬件上可以例如为移动设备的中央处理器(Central Processing Unit，CPU)，在软件上可以例如为移动设备中的拍照类的相关服务，对此不作限制。
参见图1，该方法包括：
步骤101：基于投射在人脸的结构光，采集人脸对应的散斑图案。
其中，已知空间方向光束的投影集合称为结构光，如图2所示，图2为相关技术中结构光示意图，生成结构光的设备可以是将光点、线、光栅、格网或斑纹投影到被测物体上的某种投影设备或仪器，也可以是生成激光束的激光器。
可选地，参见图3，图3为本发明实施例中结构光的投影集合示意图。以结构光的投影集合为点的集合进行示例，该点的集合可以被称为散斑集合。
本发明实施例中的结构光对应的投影集合具体为散斑集合，即，该用于投射结构光的装置具体是将光点投射到被测物体上，通过将光点投射到被测物体上，使得生成被测物体在结构光下的散斑集合，而不是将线、光栅、格网或斑纹投影到被测物体上，由于散斑集合所需的存储空间较小，因而，能够避免影响移动设备的运行效率，节约设备的存储空间。
在本发明的实施例中，可以将结构光投射至人脸上，采集基于结构光下人脸相关的一些图像数据。由于结构光的物理特性，通过结构光所采集到的图像数据，能够反映出人脸的深度信息，该深度信息可以例如为人脸的3D信息，由于是基于人脸的深度信息在拍照过程中进行美颜处理，因而，提升美颜效果。
可选地，一些实施例中，参见图4，在步骤101之前，还包括：
步骤100：在拍照区域识别出人脸时，投射结构光。
在本发明的实施例中，可以预先在移动设备中配置能够投射结构光的装置，进而，在拍照区域识别出人脸时，开启该用于投射结构光的装置，以投射结构光。
参见图5，图5为一个投射结构光的装置示意图，以结构光的投影集合为线进行示例，对于投影集合为散斑的结构光的原理类似，该装置可以包括光学投射器和摄像机，其中，光学投射器将一定模式的结构光投射于被测物体表面，在表面上形成由被测物体表面形状所调制的线的三维图像。该三维图像由处于另一位置的摄像机探测，从而获得线的二维畸变图像。线的畸变程度取决于光学投射器与摄像机之间的相对位置和被测物体表面轮廓，直观上，沿线显示出的位移(或偏移)与被测物体表面高度成比例，线的扭曲表示了被测物体平面的变化，不连续显示了被测物体表面的物理间隙，当光学投射器与摄像机之间的相对位置一定时，由线的二维畸变图像坐标便可重现被测物体表面三维轮廓。
其中，拍照区域可以例如为，开启移动设备拍照类应用程序之后，进行拍照的对焦区域，用户可以基于该对焦区域对待拍照的人脸进行识别，并在识别出人脸时，触发开启一个投射结构光的装置，以投射结构光。
通过在拍照区域识别出人脸时，才投射结构光，能够节约移动设备的能耗。
步骤102：根据散斑图案的深度信息，对人脸对应的平面图像进行美颜处理。
其中，该深度信息可以具体例如，人脸的轮廓以及人脸的距离，轮廓可以例如为，人脸上的每个点在空间直角坐标系中的坐标值，距离可以例如为人脸上的每个点相对于一个基准位置的距离，该基准位置可以是移动设备上的某个位置，对此不作限制。
具体地，可以根据散斑图像的扭曲获取深度信息。
根据结构光的物理特性，若将其投射在一个立体的被测物体上，则其投影集合的散斑图像会出现散斑扭曲，即，某一些散斑的排布方式与其它散斑出现偏移。
因此，在本发明的实施例中，可以基于这些偏移信息，确定出扭曲的二维散斑图像坐标作为对应的深度信息，并直接根据该深度信息还原出人脸的3D信息。
其中，人脸对应的平面图像可以是通过移动设备的摄像头采集到的，例如，可以在采集人脸对应的散斑图案时，还采集人脸对应的平面图像。
可以理解的是，基于人脸的构造特征，人脸对应的平面图像中，不同的像素点相对应的深度信息不同或者相同。
因此，本发明的实施例，可以对人脸对应的平面图像进行与散斑图案的深度信息对应的美颜处理，即，对平面图像中不同深度信息的子图像区域进行针对性的美颜，通过基于散斑图案的深度信息和平面图像进行针对性的美颜，其中，是基于结构光采集到的散斑图案的深度信息，数据来源精准，且，执行具有针对性的美颜处理，提升美颜效果。
本实施例中，通过基于投射在人脸的结构光，采集人脸对应的散斑图案，根据散斑图案的深度信息，对人脸对应的平面图像进行美颜处理，由于是基于结构光采集到的散斑图案的深度信息，数据来源精准，且，执行具有针对性的美颜处理，提升美颜效果。
图6是本发明另一实施例提出的美颜处理方法的流程示意图。
参见图6，该方法包括：
步骤601：基于投射在人脸的结构光，采集人脸对应的散斑图案。
在本发明的实施例中，可以将结构光投射至人脸上，采集基于结构光下人脸相关的一些图像数据。由于结构光的物理特性，通过结构光所采集到的图像数据，能够反映出人脸的深度信息，该深度信息可以例如为人脸的3D信息，由于是基于人脸的深度信息在拍照过程中进行美颜处理，因而，提升美颜效果。
步骤602：根据散斑图案的深度信息，确定出平面图像中不同深度信息对应的多个子图像区域。
其中，该深度信息可以具体例如，人脸的轮廓以及人脸的距离，轮廓可以例如为，人脸上的每个点在空间直角坐标系中的坐标值，距离可以例如为人脸上的每个点相对于一个基准位置的距离，该基准位置可以是移动设备上的某个位置，对此不作限制。
具体地，可以根据散斑图像的扭曲获取深度信息。
根据结构光的物理特性，若将其投射在一个立体的被测物体上，则其投影集合的散斑图像会出现散斑扭曲，即，某一些散斑的排布方式与其它散斑出现偏移。
因此，在本发明的实施例中，可以基于这些偏移信息，确定出扭曲的二维散斑图像坐标作为对应的深度信息，并直接根据该深度信息还原出人脸的3D信息。
其中，人脸对应的平面图像可以是通过移动设备的摄像头采集到的，例如，可以在采集人脸对应的散斑图案时，还采集人脸对应的平面图像。
可以理解的是，基于人脸的构造特征，人脸对应的平面图像中，不同的像素点相对应的深度信息不同或者相同。
因此，在本发明的实施例中，可以首先确定出平面图像中不同深度信息对应的多个子图像区域，例如，可以对平面图像中，深度信息相同，且位置两两相邻的多个像素点确定为一个子图像区域，基于相同的方法可以确定出多个子图像区域，该子图像区域中，每个像素点的深度信息一致，且，不同的子图像区域中像素点的深度信息不一致。
参见图7a和图7b，图7a为本发明实施例中一个子图像区域示意图，该图中的子图像区域位于额头靠近眉峰处，图7b为本发明实施例中另一个子图像区域示意图，该图中的子图像区域位于额头靠近发际线处，可以理解的是，每个平面图像中可以包括一个或者多个的子图像区域。
步骤603：分别采用与每种深度信息对应的美颜处理方法，对与每种深度信息对应的子图像区域进行美颜处理。
可以理解的是，不同深度信息对应的多个子图像区域，在人脸的平面图像中的位置不相同，因此，在本发明的实施例中，可以分别采用与每种深度信息对应的美颜处理方法，对不同的子图像区域进行针对性的美颜处理，即，对不同深度信息的子图像区域，采用不同或者相同的美颜处理方法进行美颜处理。
可选地，美颜处理方法包括以下中的一种或者多种：美白、高光、阴影、去皱、光影、去瑕疵。
例如，参见图8，图8为本发明实施例中美颜处理效果示意图，该图中包含有至少四个的子图像区域(参见图8中平面图像的左半部分)，分别位于额头靠近发际线处的子图像区域81、颧骨下方脸颊部位的子图像区域82、鼻梁处的子图像区域83，以及颧骨部位的子图像区域84，可以例如，针对子图像区域81采用阴影进行美颜处理，针对子图像区域82采用阴影进行美颜处理，针对子图像区域83采用光影进行美颜处理，针对子图像区域84采用阴影进行高光处理，处理效果如图8中平面图像的右半部分。
本实施例中，通过基于投射在人脸的结构光，采集人脸对应的散斑图案，根据散斑图案的深度信息，对人脸对应的平面图像进行美颜处理，由于是基于结构光采集到的散斑图案的深度信息，数据来源精准，且，执行具有针对性的美颜处理，提升美颜效果。通过确定出平面图像中不同深度信息对应的多个子图像区域，分别采用与每种深度信息对应的美颜处理方法，对与每种深度信息对应的子图像区域进行美颜处理，简单易实现，并且使得美颜效果更加精准。
图9是本发明另一实施例提出的美颜处理方法的流程示意图。
参见图9，该方法包括：
步骤901：预先设定与每种深度信息与对应的美颜处理方法之间的对应关系。
步骤902：将对应关系存储至本地存储中。
其中，可以根据美颜相关应用的实验数据，确定多种深度信息，以及在每种深度信息下，效果较佳的美颜处理方法作为对应的美颜处理方法，本发明实施例中可以对每种深度信息确定一种或者多种的对应的美颜处理方法，对此不作限制。
进一步地，在确定出每种深度信息与对应的美颜处理方法之后，可以生成二者之间的对应关系，并将对应关系存储至本地存储中，通过将每种深度信息与对应的美颜处理方法之间的对应关系存储在本地存储中，能够便于后续直接从本地存储中读取对应的美颜处理方法，提升美颜处理效率。
步骤903：基于投射在人脸的结构光，采集人脸对应的散斑图案。
在本发明的实施例中，可以将结构光投射至人脸上，采集基于结构光下人脸相关的一些图像数据。由于结构光的物理特性，通过结构光所采集到的图像数据，能够反映出人脸的深度信息，该深度信息可以例如为人脸的3D信息，由于是基于人脸的深度信息在拍照过程中进行美颜处理，因而，提升美颜效果。
步骤904：根据散斑图案的深度信息，确定出平面图像中不同深度信息对应的多个子图像区域。
其中，该深度信息可以具体例如，人脸的轮廓以及人脸的距离，轮廓可以例如为，人脸上的每个点在空间直角坐标系中的坐标值，距离可以例如为人脸上的每个点相对于一个基准位置的距离，该基准位置可以是移动设备上的某个位置，对此不作限制。
具体地，可以根据散斑图像的扭曲获取深度信息。
根据结构光的物理特性，若将其投射在一个立体的被测物体上，则其投影集合的散斑图像会出现散斑扭曲，即，某一些散斑的排布方式与其它散斑出现偏移。
因此，在本发明的实施例中，可以基于这些偏移信息，确定出扭曲的二维散斑图像坐标作为对应的深度信息，并直接根据该深度信息还原出人脸的3D信息。
其中，人脸对应的平面图像可以是通过移动设备的摄像头采集到的，例如，可以在采集人脸对应的散斑图案时，还采集人脸对应的平面图像。
可以理解的是，基于人脸的构造特征，人脸对应的平面图像中，不同的像素点相对应的深度信息不同或者相同。
因此，在本发明的实施例中，可以首先确定出平面图像中不同深度信息对应的多个子图像区域，例如，可以对平面图像中，深度信息相同，且位置两两相邻的多个像素点确定为一个子图像区域，基于相同的方法可以确定出多个子图像区域，该子图像区域中，每个像素点的深度信息一致，且，不同的子图像区域中像素点的深度信息不一致。
参见图7a和图7b，图7a为本发明实施例中一个子图像区域示意图，该图中的子图像区域位于额头靠近眉峰处，图7b为本发明实施例中另一个子图像区域示意图，该图中的子图像区域位于额头靠近发际线处，可以理解的是，每个平面图像中可以包括一个或者多个的子图像区域。
步骤905：直接从本地存储中，读取与每种深度信息对应的美颜处理方法。
通过直接从本地存储中，读取与每种深度信息对应的美颜处理方法，提升美颜处理效率。
步骤906：分别采用与每种深度信息对应的美颜处理方法，对与每种深度信息对应的子图像区域进行美颜处理。
可以理解的是，不同深度信息对应的多个子图像区域，在人脸的平面图像中的位置不相同，因此，在本发明的实施例中，可以分别采用与每种深度信息对应的美颜处理方法，对不同的子图像区域进行针对性的美颜处理，即，对不同深度信息的子图像区域，采用不同或者相同的美颜处理方法进行美颜处理。
可选地，美颜处理方法包括以下中的一种或者多种：美白、高光、阴影、去皱、光影、去瑕疵。
例如，参见图8，图8为本发明实施例中美颜处理效果示意图，该图中包含有至少四个的子图像区域(参见图8中平面图像的左半部分)，分别位于额头靠近发际线处的子图像区域81、颧骨下方脸颊部位的子图像区域82、鼻梁处的子图像区域83，以及颧骨部位的子图像区域84，可以例如，针对子图像区域81采用阴影进行美颜处理，针对子图像区域82采用阴影进行美颜处理，针对子图像区域83采用光影进行美颜处理，针对子图像区域84采用阴影进行高光处理，处理效果如图8中平面图像的右半部分。
本实施例中，通过基于投射在人脸的结构光，采集人脸对应的散斑图案，根据散斑图案的深度信息，对人脸对应的平面图像进行美颜处理，由于是基于结构光采集到的散斑图案的深度信息，数据来源精准，且，执行具有针对性的美颜处理，提升美颜效果。通过确定出平面图像中不同深度信息对应的多个子图像区域，分别采用与每种深度信息对应的美颜处理方法，对与每种深度信息对应的子图像区域进行美颜处理，简单易实现，并且使得美颜效果更加精准。通过直接从本地存储中，读取与每种深度信息对应的美颜处理方法，提升美颜处理效率。
图10是本发明一实施例提出的美颜处理装置的结构示意图。
参见图10，该装置100包括：采集模块101和美颜模块102，其中，
采集模块101，用于基于投射在人脸的结构光，采集人脸对应的散斑图案。
美颜模块102，用于根据散斑图案的深度信息，对人脸对应的平面图像进行美颜处理。
可选地，一些实施例中，参见图11，美颜模块102，还包括：
确定子模块1021，用于根据散斑图案的深度信息，确定出平面图像中不同深度信息对应的多个子图像区域。
美颜子模块1022，用于分别采用与每种深度信息对应的美颜处理方法，对与每种深度信息对应的子图像区域进行美颜处理。
读取子模块1023，用于直接从本地存储中，读取与每种深度信息对应的美颜处理方法。
可选地，一些实施例中，参见图11，该装置100还包括：
投射模块103，用于在拍照区域识别出人脸时，投射结构光。
设定模块104，用于预先设定与每种深度信息与对应的美颜处理方法之间的对应关系。
存储模块105，用于将对应关系存储至本地存储中。
可选地，美颜处理方法包括以下中的一种或者多种：
美白、高光、阴影、去皱、光影、去瑕疵。
需要说明的是，前述图1-图9实施例中对美颜处理方法实施例的解释说明也适用于该实施例的美颜处理装置100，其实现原理类似，此处不再赘述。
本实施例中，通过基于投射在人脸的结构光，采集人脸对应的散斑图案，根据散斑图案的深度信息，对人脸对应的平面图像进行美颜处理，由于是基于结构光采集到的散斑图案的深度信息，数据来源精准，且，执行具有针对性的美颜处理，提升美颜效果。
本发明实施例还提供一种移动设备。上述移动设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图12为一个实施例中图像处理电路的示意图。如图12所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。
如图12所示，图像处理电路包括成像设备910、ISP处理器930和控制逻辑器940。成像设备910可包括具有一个或多个透镜912、图像传感器914的照相机和结构光投射器916。结构光投射器916将结构光投影至被测物。其中，该结构光图案可为激光条纹、格雷码、正弦条纹、或者，随机排列的散斑图案等。图像传感器914捕捉投影至被测物形成的结构光图像，并将结构光图像发送至ISP处理器930，由ISP处理器930对结构光图像进行解调获取被测物的深度信息。同时，图像传感器914也可以捕捉被测物的色彩信息。当然，也可以由两个图像传感器914分别捕捉被测物的结构光图像和色彩信息。
其中，以散斑结构光为例，ISP处理器930对结构光图像进行解调，具体包括，从该结构光图像中采集被测物的散斑图像，将被测物的散斑图像与参考散斑图像按照预定算法进行图像数据计算，获取被测物上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值，并根据该深度值得到被测物的深度信息。
当然，还可以通过双目视觉的方法或基于飞行时差TOF的方法来获取该深度图像信息等，在此不做限定，只要能够获取或通过计算得到被测物的深度信息的方法都属于本实施方式包含的范围。
在ISP处理器930接收到图像传感器914捕捉到的被测物的色彩信息之后，可被测物的色彩信息对应的图像数据进行处理。ISP处理器930对图像数据进行分析以获取可用于确定和/或成像设备910的一个或多个控制参数的图像统计信息。图像传感器914可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器914可获取用图像传感器914的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器930处理的一组原始图像数据。
ISP处理器930按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器930可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器930还可从图像存储器920接收像素数据。图像存储器920可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct MemoryAccess，直接直接存储器存取)特征。
当接收到原始图像数据时，ISP处理器930可进行一个或多个图像处理操作。
在ISP处理器930获取到被测物的色彩信息和深度信息后，可对其进行融合，得到三维图像。其中，可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的被测物的特征。例如通过主动形状模型法ASM、主动外观模型法AAM、主成分分析法PCA、离散余弦变换法DCT等方法，提取被测物的特征，在此不做限定。再将分别从深度信息中提取到被测物的特征以及从色彩信息中提取到被测物的特征进行配准和特征融合处理。这里指的融合处理可以是将深度信息以及色彩信息中提取出的特征直接组合，也可以是将不同图像中相同的特征进行权重设定后组合，也可以有其他融合方式，最终根据融合后的特征，生成三维图像。
三维图像的图像数据可发送给图像存储器920，以便在被显示之前进行另外的处理。ISP处理器930从图像存储器920接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。三维图像的图像数据可输出给显示器960，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器930的输出还可发送给图像存储器920，且显示器960可从图像存储器920读取图像数据。在一个实施例中，图像存储器920可被配置为实现一个或多个帧缓冲器。此外，ISP处理器930的输出可发送给编码器/解码器950，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器960设备上之前解压缩。编码器/解码器950可由CPU或GPU或协处理器实现。
ISP处理器930确定的图像统计信息可发送给控制逻辑器940单元。控制逻辑器940可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的图像统计信息，确定成像设备910的控制参数。
本发明实施例中，运用图12中图像处理技术实现美颜处理方法的步骤可以参见上述实施例，在此不再赘述。
为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，当存储介质中的指令由终端的处理器执行时，使得终端能够执行一种美颜处理方法，方法包括：基于投射在人脸的结构光，采集人脸对应的散斑图案；根据散斑图案的深度信息，对人脸对应的平面图像进行美颜处理。
本实施例中的非临时性计算机可读存储介质，通过基于投射在人脸的结构光，采集人脸对应的散斑图案，根据散斑图案的深度信息，对人脸对应的平面图像进行美颜处理，由于是基于结构光采集到的散斑图案的深度信息，数据来源精准，且，执行具有针对性的美颜处理，提升美颜效果。
为了实现上述实施例，本发明还提出一种计算机程序产品，当计算机程序产品中的指令被处理器执行时，执行一种美颜处理方法，方法包括：基于投射在人脸的结构光，采集人脸对应的散斑图案；根据散斑图案的深度信息，对人脸对应的平面图像进行美颜处理。
本实施例中的计算机程序产品，通过基于投射在人脸的结构光，采集人脸对应的散斑图案，根据散斑图案的深度信息，对人脸对应的平面图像进行美颜处理，由于是基于结构光采集到的散斑图案的深度信息，数据来源精准，且，执行具有针对性的美颜处理，提升美颜效果。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种美颜处理方法，其特征在于，包括以下步骤：
基于投射在人脸的结构光，采集所述人脸对应的散斑图案；
根据散斑图案出现的散斑扭曲，确定出扭曲的二维散斑图像坐标作为对应的深度信息；所述深度信息包括人脸的轮廓以及人脸的距离，所述轮廓为人脸上的每个点在空间直角坐标系中的坐标值，所述距离为人脸上的每个点相对于一个基准位置的距离；根据该深度信息能够直接还原出人脸的3D信息；
根据所述散斑图案的深度信息确定出平面图像中不同深度信息对应的多个子图像区域，子图像区域中，每个像素点的深度信息一致，且，不同的子图像区域中像素点的深度信息不一致，对所述人脸对应的平面图像，分别采用与每种深度信息对应的美颜处理方法，对与每种深度信息对应的子图像区域进行美颜处理。
2.如权利要求1所述的美颜处理方法，其特征在于，在所述基于投射在人脸的结构光，采集所述人脸对应的散斑图案之前，还包括：
在拍照区域识别出所述人脸时，投射所述结构光。
3.如权利要求1所述的美颜处理方法，其特征在于，还包括：
预先设定与每种深度信息与对应的美颜处理方法之间的对应关系；
将所述对应关系存储至本地存储中；
在所述分别采用与每种深度信息对应的美颜处理方法，对与所述每种深度信息对应的子图像区域进行美颜处理之前，还包括：
直接从所述本地存储中，读取与所述每种深度信息对应的美颜处理方法。
4.如权利要求1或3所述的美颜处理方法，其特征在于，所述美颜处理方法包括以下中的一种或者多种：
美白、高光、阴影、去皱、光影、去瑕疵。
5.一种美颜处理装置，其特征在于，包括：
采集模块，用于基于投射在人脸的结构光，采集所述人脸对应的散斑图案；
美颜模块，用于根据所述散斑图案的深度信息，确定出平面图像中不同深度信息对应的多个子图像区域，子图像区域中，每个像素点的深度信息一致，且，不同的子图像区域中像素点的深度信息不一致，对所述人脸对应的平面图像，分别采用与每种深度信息对应的美颜处理方法，对与每种深度信息对应的子图像区域进行美颜处理；所述深度信息包括人脸的轮廓以及人脸的距离，所述轮廓为人脸上的每个点在空间直角坐标系中的坐标值，所述距离为人脸上的每个点相对于一个基准位置的距离；根据该深度信息能够直接还原出人脸的3D信息；所述深度信息为根据散斑图案出现的散斑扭曲，确定出扭曲的二维散斑图像坐标作为对应的深度信息。
6.如权利要求5所述的美颜处理装置，其特征在于，还包括：
投射模块，用于在拍照区域识别出所述人脸时，投射所述结构光。
7.如权利要求5所述的美颜处理装置，其特征在于，还包括：
设定模块，用于预先设定与每种深度信息与对应的美颜处理方法之间的对应关系；
存储模块，用于将所述对应关系存储至本地存储中；
所述美颜模块，还包括：
读取子模块，用于直接从所述本地存储中，读取与所述每种深度信息对应的美颜处理方法。
8.如权利要求5或7所述的美颜处理装置，其特征在于，所述美颜处理方法包括以下中的一种或者多种：
美白、高光、阴影、去皱、光影、去瑕疵。
9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的美颜处理方法。
10.一种移动设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求1至4中任一项所述的美颜处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710643375.3A CN107392874B (zh) | 2017-07-31 | 2017-07-31 | 美颜处理方法、装置及移动设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710643375.3A CN107392874B (zh) | 2017-07-31 | 2017-07-31 | 美颜处理方法、装置及移动设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107392874A CN107392874A (zh) | 2017-11-24 |
| CN107392874B true CN107392874B (zh) | 2021-04-09 |
Family
ID=60344283
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710643375.3A Active CN107392874B (zh) | 2017-07-31 | 2017-07-31 | 美颜处理方法、装置及移动设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107392874B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108040208A (zh) * | 2017-12-18 | 2018-05-15 | 信利光电股份有限公司 | 一种深度美颜方法、装置、设备及计算机可读存储介质 |
| CN108335276A (zh) * | 2018-03-05 | 2018-07-27 | 广东欧珀移动通信有限公司 | 图像美颜方法、装置和终端设备 |
| CN108510471A (zh) * | 2018-03-05 | 2018-09-07 | 广东欧珀移动通信有限公司 | 图像牙齿矫正方法、装置和终端设备 |
| CN109194943B (zh) * | 2018-08-29 | 2020-06-02 | 维沃移动通信有限公司 | 一种图像处理方法及终端设备 |
| CN111145119B (zh) * | 2019-12-25 | 2023-06-02 | 维沃移动通信（杭州）有限公司 | 一种图像处理方法及电子设备 |
| CN113902790B (zh) * | 2021-12-09 | 2022-03-25 | 北京的卢深视科技有限公司 | 美容指导方法、装置、电子设备和计算机可读存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105513007A (zh) * | 2015-12-11 | 2016-04-20 | 惠州Tcl移动通信有限公司 | 一种基于移动终端的拍照美颜方法、系统及移动终端 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102710951B (zh) * | 2012-05-09 | 2014-06-25 | 天津大学 | 基于散斑结构光深度相机的多视点计算成像方法 |
| RU2014116610A (ru) * | 2014-04-24 | 2015-10-27 | ЭлЭсАй Корпорейшн | Генерирование изображений глубины с использованием псевдокадров, каждый из которых содержит множество фазовых изображений |
| CN103971405A (zh) * | 2014-05-06 | 2014-08-06 | 重庆大学 | 一种激光散斑结构光及深度信息的三维重建方法 |
| CN104112115A (zh) * | 2014-05-14 | 2014-10-22 | 南京国安光电科技有限公司 | 一种三维人脸检测与识别技术 |
| CN103971408B (zh) * | 2014-05-21 | 2017-05-03 | 中国科学院苏州纳米技术与纳米仿生研究所 | 三维人脸模型生成系统及方法 |
| US9582888B2 (en) * | 2014-06-19 | 2017-02-28 | Qualcomm Incorporated | Structured light three-dimensional (3D) depth map based on content filtering |
| CN105160680B (zh) * | 2015-09-08 | 2017-11-21 | 北京航空航天大学 | 一种基于结构光的无干扰深度相机的设计方法 |
| CN105915689A (zh) * | 2016-06-07 | 2016-08-31 | 江苏慧明智能科技有限公司 | 一种居家养老智能平板电脑 |
| CN106407914B (zh) * | 2016-08-31 | 2019-12-10 | 北京旷视科技有限公司 | 用于检测人脸的方法、装置和远程柜员机系统 |
-
2017
- 2017-07-31 CN CN201710643375.3A patent/CN107392874B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105513007A (zh) * | 2015-12-11 | 2016-04-20 | 惠州Tcl移动通信有限公司 | 一种基于移动终端的拍照美颜方法、系统及移动终端 |
Non-Patent Citations (1)
| Title |
|---|
| Reduced Depth and Visual Hulls of Complex 3D Scenes;Alexander Bogomjakov等;《EUROGRAPHICS》;20081231;第27卷;第1-8页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107392874A (zh) | 2017-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107392874B (zh) | 美颜处理方法、装置及移动设备 | |
| CN107480613B (zh) | 人脸识别方法、装置、移动终端和计算机可读存储介质 | |
| CN107480615B (zh) | 美颜处理方法、装置及移动设备 | |
| CN107563304B (zh) | 终端设备解锁方法及装置、终端设备 | |
| CN108447017B (zh) | 人脸虚拟整容方法和装置 | |
| CN107517346B (zh) | 基于结构光的拍照方法、装置及移动设备 | |
| CN107481304B (zh) | 在游戏场景中构建虚拟形象的方法及其装置 | |
| CN107564050B (zh) | 基于结构光的控制方法、装置和终端设备 | |
| CN107465906B (zh) | 场景的全景拍摄方法、装置及终端设备 | |
| CN107452034B (zh) | 图像处理方法及其装置 | |
| CN107491744B (zh) | 人体身份识别方法、装置、移动终端和存储介质 | |
| CN107610171B (zh) | 图像处理方法及其装置 | |
| CN107370950B (zh) | 对焦处理方法、装置和移动终端 | |
| CN107592449B (zh) | 三维模型建立方法、装置和移动终端 | |
| CN107590828B (zh) | 拍摄图像的虚化处理方法和装置 | |
| CN107481101B (zh) | 穿衣推荐方法及其装置 | |
| CN107370951B (zh) | 图像处理系统及方法 | |
| CN107463659B (zh) | 物体搜索方法及其装置 | |
| CN109191393B (zh) | 基于三维模型的美颜方法 | |
| CN107360354B (zh) | 拍照方法、装置、移动终端和计算机可读存储介质 | |
| CN107509043B (zh) | 图像处理方法、装置、电子装置及计算机可读存储介质 | |
| CN107659985B (zh) | 降低移动终端功耗的方法、装置、存储介质和移动终端 | |
| CN107483815B (zh) | 运动物体的拍摄方法和装置 | |
| CN107705278B (zh) | 动态效果的添加方法和终端设备 | |
| CN107493452B (zh) | 视频画面处理方法、装置和终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 523860 No. 18, Wu Sha Beach Road, Changan Town, Dongguan, Guangdong Applicant after: OPPO Guangdong Mobile Communications Co., Ltd. Address before: 523860 No. 18, Wu Sha Beach Road, Changan Town, Dongguan, Guangdong Applicant before: Guangdong OPPO Mobile Communications Co., Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |