CN106991654A - 基于深度的人体美化方法和装置及电子装置 - Google Patents

基于深度的人体美化方法和装置及电子装置 Download PDF

Info

Publication number
CN106991654A
CN106991654A CN201710137947.0A CN201710137947A CN106991654A CN 106991654 A CN106991654 A CN 106991654A CN 201710137947 A CN201710137947 A CN 201710137947A CN 106991654 A CN106991654 A CN 106991654A
Authority
CN
China
Prior art keywords
human
depth
human body
face region
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710137947.0A
Other languages
English (en)
Other versions
CN106991654B (zh
Inventor
曾元清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201710137947.0A priority Critical patent/CN106991654B/zh
Publication of CN106991654A publication Critical patent/CN106991654A/zh
Application granted granted Critical
Publication of CN106991654B publication Critical patent/CN106991654B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度的人体美化方法,用于处理电子装置采集的场景数据。场景数据包括场景主图像。人体美化方法包括:根据场景数据的深度信息识别场景主图像中的人像区域;根据人像区域识别脸部区域和/或人物肢体区域;根据预设处理方式处理脸部区域和/或人物肢体区域以得到人体美化图像。本发明还公开了一种基于深度的人体美化装置和电子装置。本发明实施方式的基于深度的人体美化方法、基于深度的人体美化装置和电子装置基于深度信息进行人体的脸部及肢体等部位的准确识别,并根据识别到的脸部及肢体信息进行美白、瘦脸、瘦腰等人体美化处理,无需用户手动操作即可实现人体的自动美化,提升用户的使用体验。

Description

基于深度的人体美化方法和装置及电子装置
技术领域
本发明涉及图像处理技术,尤其涉及一种基于深度的人体美化方法和装置及电子装置。
背景技术
相关技术中,对人物照片进行美白、、瘦脸、瘦腰等美化处理时需要用户手动操作,例如用户需要点选脸部进行美白、瘦脸,然后点选腰部进行瘦腰处理,用户体验较差。
发明内容
本发明的实施例提供了一种基于深度的人体美化方法、基于深度的人体美化装置和电子装置。
本发明实施方式的基于深度的人体美化方法,用于处理电子装置采集的场景数据。场景数据包括场景主图像。人体美化方法包括以下步骤:
根据所述场景数据的深度信息识别所述场景主图像中的人像区域;
根据所述人像区域识别脸部区域和/或人物肢体区域;和
根据预设处理方式处理所述脸部区域和/或所述人物肢体区域以得到人体美化图像。
本发明实施方式的基于深度的人体美化装置包括第一识别模块、第二识别模块和处理模块。第一识别模块用于根据所述场景数据的深度信息识别所述场景主图像中的人像区域;第二识别模块用于根据所述人像区域识别脸部区域和/或人物肢体区域;处理模块用于根据预设处理方式处理所述脸部区域和/或所述人物肢体区域以得到人体美化图像。
本发明实施方式的电子装置包括成像装置和上述的人体美化装置。所述人体美化装置和所述成像装置点连接。
本发明实施方式的基于深度的人体美化方法、基于深度的人体美化装置和电子装置基于深度信息进行人体的脸部及肢体等部位的准确识别,并根据识别到的脸部及肢体信息进行美白、瘦脸、瘦腰等人体美化处理,无需用户手动操作即可实现人体的自动美化,提升用户的使用体验。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本发明实施方式的基于深度的人体美化方法的流程示意图;
图2是本发明实施方式的电子装置的功能模块示意图;
图3是本发明实施方式的人体美化方法的状态示意图;
图4是本发明某些实施方式的人体美化方法的流程示意图;
图5是本发明某些实施方式的第一识别模块的功能模块示意图;
图6是本发明某些实施方式的人体美化方法的状态示意图;
图7是本发明某些实施方式的人体美化方法的流程示意图;
图8是本发明某些实施方式的第一确定子模块的功能模块示意图;
图9是本发明某些实施方式的人体美化方法的流程示意图;
图10是本发明某些实施方式的处理单元的功能模块示意图;
图11是本发明某些实施方式的人体美化方法的流程示意图;
图12是本发明某些实施方式的处理单元的功能模块示意图;
图13是本发明某些实施方式的人体美化方法的流程示意图;
图14是本发明某些实施方式的确定单元的功能模块示意图;
图15是本发明某些实施方式的人体美化方法的状态示意图;
图16是本发明某些实施方式的人体美化方法的流程示意图;
图17是本发明某些实施方式的人体美化装置的功能模块示意图;
图18是本发明某些实施方式的人体美化方法的流程示意图;和
图19是本发明某些实施方式的第二识别模块的功能模块示意图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
请一并参阅图1至2,本发明实施方式的基于深度的人体美化方法,用于处理电子装置100采集的场景数据。场景数据包括场景主图像。人体美化方法包括以下步骤:
S11:根据场景数据的深度信息识别场景主图像中的人像区域;
S13:根据人像区域识别脸部区域和/或人物肢体区域;和
S15:根据预设处理方式处理脸部区域和/或人物肢体区域以得到人体美化图像。
本发明实施方式的基于深度的人体美化方法可以由本发明实施方式的基于深度的人体美化装置10实现。本发明实施方式的基于深度的人体美化装置10包括第一识别模块11、第二识别模块13和处理模块15。步骤S11可以由第一识别模块11实现,步骤S13可以由第二识别模块13实现,步骤S15可以由处理模块15实现。
也即是说,第一识别模块11用于根据场景数据的深度信息识别场景主图像中的人像区域;第二识别模块13用于根据人像区域识别脸部区域和/或人物肢体区域;处理模块15根据预设处理方式处理脸部区域和/或人物肢体区域以得到人体美化图像。
本发明实施方式的人体美化装置10可以应用于本发明实施方式的电子装置100。也即是说,本发明实施方式的电子装置100包括本发明实施方式的人体美化装置10。当然,本发明实施方式的电子装置100还包括成像装置20。其中,人体美化装置10和成像装置20电连接。
在某些实施方式中,电子装置100包括手机、平板电脑、笔记本电脑、智能手环、智能手表、智能眼镜、智能头盔等,在此不做任何限制。在本发明的具体实施例中,电子装置100包括手机。
在某些实施方式中,预设处理方式包括人脸美白、磨皮、瘦脸、瘦腰和/或瘦腿处理方式。
请参阅图3,可以理解,传统的人体美化方无法智能地对人体进行美化处理,需要用户点选相应的人体部位再进行美化处理,用户体验较差。本发明实施方式的人体美化方法首先根据深度信息识别出人体的脸部及肢体等部位,并根据预设的处理方式对脸部或肢体进行例如瘦脸、美白、瘦腰等美化处理。一方面,基于深度信息的脸部及肢体识别由于不受光照等环境因素的影响,识别的效率和准确度较高。另一方面,无需用户手动操作即可实现人体的自动美化,提升用户的使用体验。
请参阅图4,在某些实施方式中,步骤S11根据场景数据的深度信息识别场景主图像中的人像区域包括以下步骤:
S111:处理所场景主图像以判断是否存在人脸区域;
S112:在存在人脸区域时识别人脸区域;和
S113:根据场景数据的深度信息和人脸区域确定人像区域。
请参阅图5,在某些实施方式中,第一识别模块11包括判断子模块111、识别子模块112和第一确定子模块113。捕捉S111可以由判断子模块111实现,步骤S112可以由识别子模块112实现,步骤S113可以由第一确定子模块113实现。
也即是说,判断子模块111用于处理所场景主图像以判断是否存在人脸区域;识别子模块112用于在存在人脸区域时识别人脸区域;第一确定子模块113用于根据场景数据的深度信息和人脸区域确定人像区域。
请参阅图6,可以理解,人脸区域是人像区域的一部分,也即是说,人像区域的深度信息和人脸区域的深度信息同处于一个深度范围内。因此,在识别出人脸区域后,可以根据人脸区域即人脸区域的深度信息确定人像区域。
较佳地,对于人脸区域的识别过程,可以采用已经训练好的基于彩色信息和深度信息的深度学习模型检测场景主图像中是否存在人脸。深度学习模型在给定训练集时,训练集中的数据包括人脸的彩色信息和深度信息。因此,训练过后的深度学习模型可以根据当前场景的彩色信息和深度信息推断当前场景中是否存在人脸区域。由于人脸区域的深度信息的获取不易受光照等环境因素的影响,可以提升人脸检测和识别的准确性。
请参阅图7,在某些实施方式中,步骤S113根据场景数据的深度信息和人脸区域确定人像区域包括以下步骤:
S1131:处理场景数据以获得人脸区域的深度信息;和
S1132:根据人脸区域和人脸区域的深度信息确定人像区域。
请参阅图8,在某些实施方式中,第一确定子模块113包括处理单元1131和确定单元1132。步骤S1131可以由处理单元1131实现,步骤S1132可以由确定单元1132实现。
也即是说,处理单元1131用于处理场景数据以获得人脸区域的深度信息;确定单元1132用于根据人脸区域和人脸区域的深度信息确定人像区域。
可以理解,由于人像区域的深度信息和人脸区域的深度信息同处于一个深度范围内,处理场景数据获取到人脸区域的深度信息后,便可根据人脸区域的深度信息确定人像区域的深度信息,从而进一步确定人像区域。
请参阅图9,在某些实施方式中,场景数据包括与场景主图像对应的深度图像,步骤S1131处理场景数据以获得人脸区域的深度信息包括以下步骤:
S11311:处理深度图像以获得人脸区域的深度数据;和
S11312:处理所人脸区域的深度数据以获得人脸区域的深度信息。
请参阅图10,在某些实施方式中,处理单元1131包括第一处理子单元11311和第二处理子单元11312。步骤S11311可以由第一处理子单元11311实现,步骤S11312可以由第二处理子单元11312实现。
也即是说,第一处理子单元11311用于处理深度图像以获得人脸区域的深度数据;第二处理子单元11312用于处理所人脸区域的深度数据以获得人脸区域的深度信息。
可以理解,场景数据包括与场景主图像对应的深度图像。其中,场景主图像为RGB彩色图像,深度图像包含场景中各个人或物体的深度信息。由于场景主图像的色彩信息与深度图像的深度信息是一一对应的关系,因此,若检测到人脸区域,即可在对应的深度图像中获取到人脸区域的深度信息。
需要说明的是,由于由于人脸区域包括鼻子、眼睛、耳朵等特征,因此,在深度图像中,人脸区域中鼻子、耳朵、眼睛等特征在深度图像中对应的深度数据是不同的,例如对于人脸正对成像装置20的情况下所拍摄得的深度图像中,鼻子对应的深度数据可能较小,而耳朵对应的深度数据可能较大。因此,在某些示例中,处理人脸区域的深度数据得到的人脸区域的深度信息可能为一个数值或一个数值范围。其中,当人脸区域的深度信息为一个数值时,该数值可通过对人脸区域的深度数据求取平均值得到,或通过人脸区域的深度数据求中值得到。
在某些实施方式中,成像装置20包括深度摄像头。深度摄像头可用来获取深度图像。其中,深度摄像头包括基于结构光深度测距的深度摄像头和基于TOF测距的深度摄像头。
具体地,基于结构光深度测距的深度摄像头包括摄像头和投射器。投射器将一定模式的光结构投射到当前待拍摄的场景中,在场景中的各个人或物体表面形成由该场景中的人或物调制后的光条三维图像,再通过摄像头探测上述的光条三维图像即可获得光条二维畸变图像。光条的畸变程度取决于投射器与摄像头之间的相对位置以及当前待拍摄场景中的各个人或物体的表面形廓或高度。由于深度摄像头中的摄像头和投射器之间的相对位置是一定的,因此,由畸变的二维光条图像坐标便可重现场景中各个人或物体的表面三维轮廓,从而可以获取深度信息。结构光深度测距具有较高的分辨率和测量精度,可以提升获取的深度信息的精确度。
基于TOF(time of flight)测距的深度摄像头是通过传感器记录从发光单元发出的调制红外光发射到物体,再从物体反射回来的相位变化,在一个波长的范围内根据光速,可以实时的获取整个场景深度距离。当前待拍摄的场景中各个人或物体所处的深度位置不一样,因此调制红外光从发出到接收所用时间是不同的,如此,便可获取场景的深度信息。基于TOF深度测距的深度摄像头计算深度信息时不受被摄物表面的灰度和特征的影响,且可以快速地计算深度信息,具有很高的实时性。
请参阅图11,在某些实施方式中,场景数据包括与场景主图像对应的场景副图像。步骤S1131处理场景数据以获得人脸区域的深度信息包括以下步骤:
S11313:处理场景主图像和场景副图像以获得人脸区域的深度数据;和
S11314:处理人脸区域的深度数据以获得人脸区域的深度信息。
请参阅图12,在某些实施方式中,处理单元1131包括第三处理子单元11313和第四处理子单元11314。步骤S11313可以由第三处理子单元11313实现,步骤S11314可以由第四处理子单元11314实现。
也即是说,第三处理子单元11313用于处理场景主图像和场景副图像以获得人脸区域的深度数据;第四处理子单元11314用于处理人脸区域的深度数据以获得人脸区域的深度信息。
在某些实施方式中,成像装置20包括主摄像头和副摄像头。
可以理解,深度信息可以通过双目立体视觉测距方法进行获取,此时场景数据包括场景主图像和场景副图像。其中,场景主图像由主摄像头拍摄得到,场景副图像由副摄像头拍摄得到,且场景主图像与场景副图像均为RGB彩色图像。在一些示例中,主摄像头和副摄像头可以是相同规格的两个摄像头,双目立体视觉测距是运用两个规格相同的摄像头对同一场景从不同的位置成像以获得场景的立体图像对,再通过算法匹配出立体图像对的相应像点,从而计算出视差,最后采用基于三角测量的方法恢复深度信息。在另一些示例中,主摄像头与副摄像头可以是不同规格的摄像头,主摄像头用于获取当前场景彩色信息,副摄像头则用于记录场景的深度数据。如此,通过对场景主图像和场景副图像这一立体图像对进行匹配便可获得人脸区域的深度数据。随后,对人脸区域的深度数据进行处理获得人脸区域的深度信息。由于人脸区域中包含有多个特征,各个特征对应的深度数据可能不一样,因此,人脸区域的深度信息可以为一个数值范围;或者,可对深度数据进行求平均值处理以得到人脸区域的深度信息,或取深度数据的中值以获得人脸区域的深度信息。
请参阅图13,在某些实施方式中,步骤S1132根据人脸区域和人脸区域的深度信息确定人像区域包括以下步骤:
S11321:根据所人脸区域的深度信息设定预设深度范围;
S11322:根据预设深度范围确定与人脸区域相连接且落入预设深度范围内的初始人像区域;
S11323:划分初始人像区域为多个子区域;
S11324:获取各个子区域的各个像素点的灰度值;
S11325:在每个子区域中选取一个像素点作为原点;
S11326:判断各个子区域中除原点外的其他像素点与原点的灰度值之差是否大于预定阈值;和
S11327:将所有与原点的灰度值之差小于预定阈值的像素点归并为人像区域。
请参阅图14,在某些实施方式中,确定单元1132包括设定子单元11321、确定子单元11322、划分子单元11323、获取子单元11324、选取子单元11325、判断子单元11326和归并子单元11327。步骤S11321可以由设定子单元11321实现,步骤S11322可以由确定子单元11322实现,步骤S11323可以与划分子单元11323实现,步骤S11324可以由获取子单元11324实现,步骤S11325可以由选取子单元11325实现,步骤S11326可以由判断子单元11326实现,步骤S11327可以由归并子单元11327实现。
也即是说,设定子单元11321用于根据所人脸区域的深度信息设定预设深度范围;确定子单元11322用于根据预设深度范围确定与人脸区域相连接且落入预设深度范围内的初始人像区域;划分子单元11323用于划分初始人像区域为多个子区域;获取子单元11324用于获取各个子区域的各个像素点的灰度值;选取子单元11325用于在每个子区域中选取一个像素点作为原点;判断子单元11326用于判断各个子区域中除原点外的其他像素点与原点的灰度值之差是否大于预定阈值;归并子单元11327用于将所有与原点的灰度值之差小于预定阈值的像素点归并为人像区域。
请参阅图15,具体地,基于人脸区域属于人像区域的一部分的特点可根据人脸区域的深度信息设定一个预设深度范围并根据这个预设深度范围确定一个初始人像区域。由于拍摄场景中可能有其他物体与人体同处于一个深度位置,如处于用户左右两侧的盆栽等于用户同处于一个深度位置。因此,可以利用区域生长法对初始人像区域进行进一步的修正。区域生长法是从区域的某个像素点开始,按照一定的判定准则,向四周扩展以逐步加入邻近像素。具体地,可将初始人像区域划分为多个子区域,并计算出各个子区域的各个像素点的灰度值,再从各个子区域中选取一个像素点作为原点,从原点向四周扩展将与原点的灰度值之差小于预定阈值的像素点均归并为人像区域。如此,可以修正初始人像区域,去除与人像区域落入同一深度范围内的其他物体。
请参阅图16,在某些实施方式中,人体美化方法在步骤S13根据人像区域识别脸部区域和/或人物肢体区域还包括以下步骤:
S12:处理场景主图像以判断人像区域是否存在遮挡物;和
在不存在遮挡物时进入步骤S13根据人像区域识别脸部区域和/或人物肢体区域的步骤。
请参阅图17,在某些实施方式中,人体美化装置10还包括判断模块12。步骤S12可以由判断模块13实现。
也即是说,判断模块13用于处理场景主图像以判断人像区域是否存在遮挡物;第二识别模块13还可以用于在不存在遮挡物时进入步骤S13根据人像区域识别脸部区域和/或人物肢体区域的步骤。
可以理解,人像区域是根据预设深度范围进行确定的,在预设深度范围内可能有不属于人体的遮挡物,如处于人像所在位置前方的桌椅等。若在存在遮挡物时进行人物肢体识别及后续的瘦腰、瘦腿等处理,可能会导致图像中的遮挡物发生形变,影响图像的视觉效果。因此,在存在遮挡物时不对场景主图像中的人像区域进行进一步的处理,在不存在遮挡物时才进行脸部区域或人物肢体区域的识别,并对脸部区域和人物肢体区域进行美化处理。其中,判断人像区域是否存在遮挡物可通过判断人像区域的深度信息的变化是否是平滑过渡的,若不是平滑过渡的则表明人像区域存在遮挡物。
请参阅图18,在某些实施方式中,步骤S13根据人像区域识别脸部区域和/或人物肢体区域包括以下步骤:
S131:处理人像区域以获得人体骨骼图像;
S132:在人体模板库中寻找与人体骨骼图像相匹配的人体模板;和
S133:根据人体模板确定脸部区域和/或人物肢体区域。
请参阅图19,在某些实施方式中,第二识别模块13包括处理子模块131、匹配子模块132和第二确定子模块133。步骤S131可以由处理子模块131实现,步骤S132可以由匹配子模块132实现,步骤S133可以由第二确定子模块133实现。
也即是说,处理子模块131用于处理人像区域以获得人体骨骼图像;匹配子模块132用于在人体模板库中寻找与人体骨骼图像相匹配的人体模板;步骤S133用于根据人体模板确定脸部区域和/或人物肢体区域。
具体地,首先对人像区域进行骨骼提取以得到人体骨骼图像,随后在肢体模板库中找到与人体骨骼图像相匹配的人体模板。匹配过程可以从头部开始匹配,在头部匹配成功后,进行上半身躯干的匹配,上半身躯干匹配完成后进行四肢的匹配。在找到与人体骨骼图像匹配的人体模板后,由于人体模板的躯干、肢体等信息是已知的,便可根据人体模板确定人像区域对应的人体的脸部区域及人物肢体区域。如此,实现场景主图像中的人脸部分及肢体部分的自主识别。进一步地,可以对脸部区域和人物肢体区域进行例如瘦脸、美白、瘦腰、瘦腿等美化处理。
电子装置100还包括壳体、存储器、电路板和电源电路。其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路用于为电子装置100的各个电路或器件供电;存储器用于存储可执行程序代码;人体美化装置10通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序以实现上述的本发明任一实施方式的人体美化方法。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (21)

1.一种基于深度的人体美化方法,用于处理电子装置采集的场景数据,其特征在于,所述场景数据包括场景主图像,所述人体美化方法包括以下步骤:
根据所述场景数据的深度信息识别所述场景主图像中的人像区域;
根据所述人像区域识别脸部区域和/或人物肢体区域;和
根据预设处理方式处理所述脸部区域和/或所述人物肢体区域以得到人体美化图像。
2.如权利要求1所述的人体美化方法,其特征在于,所述根据所述场景数据的深度信息识别所述场景主图像中的人像区域的步骤包括以下步骤:
处理所述场景主图像以判断是否存在人脸区域;
在存在所述人脸区域时识别所述人脸区域;和
根据所述场景数据的深度信息和所述人脸区域确定所述人像区域。
3.如权利要求2所述的人体美化方法,其特征在于,所述根据所述场景数据的深度信息和所述人脸区域确定所述人像区域的步骤包括以下步骤:
处理所述场景数据以获得所述人脸区域的深度信息;和
根据所述人脸区域和所述人脸区域的深度信息确定所述人像区域。
4.如权利要求3所述的人体美化方法,其特征在于,所述场景数据包括与所述场景主图像对应的深度图像,所述处理所述场景数据以获得所述人脸区域的深度信息的步骤包括以下步骤:
处理所述深度图像以获得所述人脸区域的深度数据;和
处理所述人脸区域的深度数据以获得所述人脸区域的深度信息。
5.如权利要求3所述的人体美化方法,其特征在于,所述场景数据包括与所述场景主图像对应的场景副图像,所述处理所述场景数据以获得所述人脸区域的深度信息的步骤包括以下步骤:
处理所述场景主图像和所述场景副图像以获得所述人脸区域的深度数据;和
处理所述人脸区域的深度数据以获得所述人脸区域的深度信息。
6.如权利要求3所述的人体美化方法,其特征在于,所述根据所述人脸区域和所述人脸区域的深度信息确定所述人像区域的步骤包括以下步骤:
根据所述人脸区域的深度信息设定预设深度范围;
根据所述预设深度范围确定与所述人脸区域相连接且落入所述预设深度范围内的初始人像区域;
划分所述初始人像区域为多个子区域;
获取各个所述子区域的各个像素点的灰度值;
在每个所述子区域中选取一个所述像素点作为原点;
判断各个所述子区域中除所述原点外的其他所述像素点与所述原点的灰度值之差是否大于预定阈值;和
将所有与所述原点的灰度值之差小于所述预定阈值的所述像素点归并为所述人像区域。
7.如权利要求1所述的人体美化方法,其特征在于,所述人体美化方法在所述根据所述人像区域识别脸部区域和/或人物肢体区域的步骤前还包括以下步骤:
处理场景主图像以判断所述人像区域是否存在遮挡物;和
在不存在所述遮挡物时进入根据所述人像区域识别脸部区域和/或人物肢体区域的步骤。
8.如权利要求7所述的人体美化方法,其特征在于,所述电子装置包括人体模板库,所述根据所述人像区域识别脸部区域和/或人物肢体区域的步骤包括以下步骤:
处理所述人像区域以获得人体骨骼图像;
在人体模板库中寻找与所述人体骨骼图像相匹配的人体模板;和
根据所述人体模板确定所述脸部区域和/或所述人物肢体区域。
9.如权利要求1所述的人体美化方法,其特征在于,所述预设处理方式包括人脸美白、磨皮、瘦脸、瘦腰和/或瘦腿处理方式。
10.一种基于深度的人体美化装置,用于处理电子装置采集的场景数据,其特征在于,所述场景数据包括场景主图像,所述人体美化装置包括:
第一识别模块,所述第一识别模块用于根据所述场景数据的深度信息识别所述场景主图像中的人像区域;
第二识别模块,所述第二识别模块用于根据所述人像区域识别脸部区域和/或人物肢体区域;和
处理模块,所述处理模块用于根据预设处理方式处理所述脸部区域和/或所述人物肢体区域以得到人体美化图像。
11.如权利要求10所述的人体美化装置,其特征在于,所述第一识别模块包括:
判断子模块,所述判断子模块用于处理所述场景主图像以判断是否存在人脸区域;
识别子模块,所述识别子模块用于在存在所述人脸区域时识别所述人脸区域;和
第一确定子模块,所述第一确定子模块用于根据所述场景数据的深度信息和所述人脸区域确定所述人像区域。
12.如权利要求11所述的人体美化装置,其特征在于,所述第一确定子模块包括:
处理单元,所述处理单元用于处理所述场景数据以获得所述人脸区域的深度信息;和
确定单元,所述确定单元用于根据所述人脸区域和所述人脸区域的深度信息确定所述人像区域。
13.如权利要求12所述的人体美化装置,其特征在于,所述场景数据包括与所述场景主图像对应的深度图像,所述处理单元包括:
第一处理子单元,所述第一处理子单元用于处理所述深度图像以获得所述人脸区域的深度数据;和
第二处理子单元,所述第二处理子单元用于处理所述人脸区域的深度数据以获得所述人脸区域的深度信息。
14.如权利要求12所述的人体美化装置,其特征在于,所述场景数据包括与所述场景主图像对应的场景副图像,所述处理单元包括:
第三处理子单元,所述第三处理子单元用于处理所述场景主图像和所述场景副图像以获得所述人脸区域的深度数据;和
第四处理子单元,所述第四处理子单元用于处理所述人脸区域的深度数据以获得所述人脸区域的深度信息。
15.如权利要求12所述的人体美化装置,其特征在于,所述确定单元包括:
设定子单元,所述设定子单元用于根据所述人脸区域的深度信息设定预设深度范围;
确定子单元,所述确定子单元用于根据所述预设深度范围确定与所述人脸区域相连接且落入所述预设深度范围内的初始人像区域;
划分子单元,所述划分子单元用于划分所述初始人像区域为多个子区域;
获取子单元,所述获取子单元用于获取各个所述子区域的各个像素点的灰度值;
选取子单元,所述选取子单元用于在每个所述子区域中选取一个所述像素点作为原点;
判断子单元,所述判断子单元用于判断各个所述子区域中除所述原点外的其他所述像素点与所述原点的灰度值之差是否大于预设阈值;和
归并子单元,所述归并子单元用于将所有与所述原点的灰度值之差小于所述预定阈值的所述像素点归并为所述人像区域。
16.如权利要求10所述的人体美化装置,其特征在于,所述人体美化装置还包括:
判断模块,所述判断模块用于处理场景主图像以判断所述人像区域是否存在遮挡物;和
所述第二识别模块还用于在不存在所述遮挡物时根据所述人像区域识别脸部区域和/或人物肢体区域。
17.如权利要求16所述的人体美化装置,其特征在于,所述第二识别模块包括:
处理子模块,所述处理子模块用于处理所述人像区域以获得人体骨骼图像;
匹配子模块,所述匹配子模块用于在人体模板库中寻找与所述人体骨骼图像相匹配的人体模板;和
根据所述人体模板确定所述脸部区域和/或人物肢体区域。
第二确定子模块,所述第二确定子模块用于根据所述人体模板确定所述脸部区域和/或所述人物肢体区域。
18.如权利要求10所述的人体美化装置,其特征在于,所述预设处理方式包括人脸美白、磨皮、瘦脸、瘦腰和/或瘦腿处理方式。
19.一种电子装置,其特征在于,所述电子装置包括:
成像装置;和
如权利要求10至18任意一项所述的人体美化装置,所述人体美化装置和所述成像装置电连接。
20.如权利要求19所述的成像装置,其特征在于,所述成像装置包括主摄像头和副摄像头。
21.如权利要求19所述的成像装置,其特征在于,所述成像装置包括深度摄像头。
CN201710137947.0A 2017-03-09 2017-03-09 基于深度的人体美化方法和装置及电子装置 Active CN106991654B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710137947.0A CN106991654B (zh) 2017-03-09 2017-03-09 基于深度的人体美化方法和装置及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710137947.0A CN106991654B (zh) 2017-03-09 2017-03-09 基于深度的人体美化方法和装置及电子装置

Publications (2)

Publication Number Publication Date
CN106991654A true CN106991654A (zh) 2017-07-28
CN106991654B CN106991654B (zh) 2021-02-05

Family

ID=59411725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710137947.0A Active CN106991654B (zh) 2017-03-09 2017-03-09 基于深度的人体美化方法和装置及电子装置

Country Status (1)

Country Link
CN (1) CN106991654B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107481317A (zh) * 2017-07-31 2017-12-15 广东欧珀移动通信有限公司 人脸3d模型的面部调整方法及其装置
CN107493452A (zh) * 2017-08-09 2017-12-19 广东欧珀移动通信有限公司 视频画面处理方法、装置和终端
CN107610079A (zh) * 2017-09-11 2018-01-19 广东欧珀移动通信有限公司 图像处理方法及装置、电子装置和计算机可读存储介质
CN107730445A (zh) * 2017-10-31 2018-02-23 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质和电子设备
CN107808137A (zh) * 2017-10-31 2018-03-16 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN107845076A (zh) * 2017-10-31 2018-03-27 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN108009982A (zh) * 2017-12-18 2018-05-08 信利光电股份有限公司 一种照片美化方法、装置、设备及计算机可读存储介质
CN108965770A (zh) * 2018-08-30 2018-12-07 Oppo广东移动通信有限公司 图像处理模板生成方法、装置、存储介质及移动终端
CN109194943A (zh) * 2018-08-29 2019-01-11 维沃移动通信有限公司 一种图像处理方法及终端设备
CN109284694A (zh) * 2018-08-31 2019-01-29 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109389076A (zh) * 2018-09-29 2019-02-26 深圳市商汤科技有限公司 图像分割方法及装置
CN109461124A (zh) * 2018-09-21 2019-03-12 维沃移动通信(杭州)有限公司 一种图像处理方法及终端设备
CN109495688A (zh) * 2018-12-26 2019-03-19 华为技术有限公司 电子设备的拍照预览方法、图形用户界面及电子设备
CN109963140A (zh) * 2017-12-25 2019-07-02 深圳超多维科技有限公司 裸眼立体显示方法及装置、设备和计算机可读存储介质
CN111353439A (zh) * 2020-03-02 2020-06-30 北京文香信息技术有限公司 一种教学行为的分析方法、装置、系统及设备
CN112070815A (zh) * 2020-09-07 2020-12-11 哈尔滨工业大学(威海) 一种基于人体外轮廓变形的自动瘦身方法
CN112488965A (zh) * 2020-12-23 2021-03-12 联想(北京)有限公司 一种图像处理方法和装置
CN112532854A (zh) * 2019-09-17 2021-03-19 华为技术有限公司 一种图像处理方法与电子设备
CN112561790A (zh) * 2020-12-23 2021-03-26 作业帮教育科技(北京)有限公司 一种直播课人像瘦身处理方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104243951A (zh) * 2013-06-07 2014-12-24 索尼电脑娱乐公司 图像处理设备、图像处理系统以及图像处理方法
CN104333748A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 获取图像主体对象的方法、装置及终端
CN104902177A (zh) * 2015-05-26 2015-09-09 广东欧珀移动通信有限公司 一种智能拍照方法及终端
CN104994363A (zh) * 2015-07-02 2015-10-21 广东欧珀移动通信有限公司 一种基于服饰的美颜方法、装置及智能终端
CN105513007A (zh) * 2015-12-11 2016-04-20 惠州Tcl移动通信有限公司 一种基于移动终端的拍照美颜方法、系统及移动终端
CN105825486A (zh) * 2016-04-05 2016-08-03 北京小米移动软件有限公司 美颜处理的方法及装置
CN105956576A (zh) * 2016-05-18 2016-09-21 广东欧珀移动通信有限公司 一种图像美颜方法、装置及移动终端

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104243951A (zh) * 2013-06-07 2014-12-24 索尼电脑娱乐公司 图像处理设备、图像处理系统以及图像处理方法
CN104333748A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 获取图像主体对象的方法、装置及终端
CN104902177A (zh) * 2015-05-26 2015-09-09 广东欧珀移动通信有限公司 一种智能拍照方法及终端
CN104994363A (zh) * 2015-07-02 2015-10-21 广东欧珀移动通信有限公司 一种基于服饰的美颜方法、装置及智能终端
CN105513007A (zh) * 2015-12-11 2016-04-20 惠州Tcl移动通信有限公司 一种基于移动终端的拍照美颜方法、系统及移动终端
CN105825486A (zh) * 2016-04-05 2016-08-03 北京小米移动软件有限公司 美颜处理的方法及装置
CN105956576A (zh) * 2016-05-18 2016-09-21 广东欧珀移动通信有限公司 一种图像美颜方法、装置及移动终端

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107481317A (zh) * 2017-07-31 2017-12-15 广东欧珀移动通信有限公司 人脸3d模型的面部调整方法及其装置
CN107493452A (zh) * 2017-08-09 2017-12-19 广东欧珀移动通信有限公司 视频画面处理方法、装置和终端
CN107493452B (zh) * 2017-08-09 2021-08-20 Oppo广东移动通信有限公司 视频画面处理方法、装置和终端
CN107610079A (zh) * 2017-09-11 2018-01-19 广东欧珀移动通信有限公司 图像处理方法及装置、电子装置和计算机可读存储介质
CN107610079B (zh) * 2017-09-11 2020-06-23 Oppo广东移动通信有限公司 图像处理方法及装置、电子装置和计算机可读存储介质
CN107808137A (zh) * 2017-10-31 2018-03-16 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN107845076A (zh) * 2017-10-31 2018-03-27 广东欧珀移动通信有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN107730445A (zh) * 2017-10-31 2018-02-23 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质和电子设备
CN108009982A (zh) * 2017-12-18 2018-05-08 信利光电股份有限公司 一种照片美化方法、装置、设备及计算机可读存储介质
CN109963140A (zh) * 2017-12-25 2019-07-02 深圳超多维科技有限公司 裸眼立体显示方法及装置、设备和计算机可读存储介质
CN109194943A (zh) * 2018-08-29 2019-01-11 维沃移动通信有限公司 一种图像处理方法及终端设备
CN108965770A (zh) * 2018-08-30 2018-12-07 Oppo广东移动通信有限公司 图像处理模板生成方法、装置、存储介质及移动终端
CN109284694A (zh) * 2018-08-31 2019-01-29 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109461124A (zh) * 2018-09-21 2019-03-12 维沃移动通信(杭州)有限公司 一种图像处理方法及终端设备
CN109389076A (zh) * 2018-09-29 2019-02-26 深圳市商汤科技有限公司 图像分割方法及装置
CN109389076B (zh) * 2018-09-29 2022-09-27 深圳市商汤科技有限公司 图像分割方法及装置
CN109495688A (zh) * 2018-12-26 2019-03-19 华为技术有限公司 电子设备的拍照预览方法、图形用户界面及电子设备
WO2020134891A1 (zh) * 2018-12-26 2020-07-02 华为技术有限公司 电子设备的拍照预览方法、图形用户界面及电子设备
CN109495688B (zh) * 2018-12-26 2021-10-01 华为技术有限公司 电子设备的拍照预览方法、图形用户界面及电子设备
CN112532854A (zh) * 2019-09-17 2021-03-19 华为技术有限公司 一种图像处理方法与电子设备
CN112532854B (zh) * 2019-09-17 2022-05-31 华为技术有限公司 一种图像处理方法与电子设备
CN111353439A (zh) * 2020-03-02 2020-06-30 北京文香信息技术有限公司 一种教学行为的分析方法、装置、系统及设备
CN112070815A (zh) * 2020-09-07 2020-12-11 哈尔滨工业大学(威海) 一种基于人体外轮廓变形的自动瘦身方法
CN112070815B (zh) * 2020-09-07 2024-01-05 哈尔滨工业大学(威海) 一种基于人体外轮廓变形的自动瘦身方法
CN112488965A (zh) * 2020-12-23 2021-03-12 联想(北京)有限公司 一种图像处理方法和装置
CN112561790A (zh) * 2020-12-23 2021-03-26 作业帮教育科技(北京)有限公司 一种直播课人像瘦身处理方法、装置及电子设备

Also Published As

Publication number Publication date
CN106991654B (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN106991654A (zh) 基于深度的人体美化方法和装置及电子装置
CN106909911A (zh) 图像处理方法、图像处理装置和电子装置
CN108765278B (zh) 一种图像处理方法、移动终端及计算机可读存储介质
CN105933589B (zh) 一种图像处理方法及终端
CN106991688A (zh) 人体跟踪方法、人体跟踪装置和电子装置
CN110168562B (zh) 基于深度的控制方法、基于深度的控制装置和电子装置
Premebida et al. Pedestrian detection combining RGB and dense LIDAR data
CN106991377A (zh) 结合深度信息的人脸识别方法、人脸识别装置和电子装置
CN103810478B (zh) 一种坐姿检测方法和装置
CN106937049A (zh) 基于景深的人像色彩的处理方法、处理装置和电子装置
Neal et al. Measuring shape
CN106851238A (zh) 白平衡控制方法、白平衡控制装置及电子装置
CN106997457A (zh) 人物肢体识别方法、人物肢体识别装置及电子装置
CN106993112A (zh) 基于景深的背景虚化方法及装置和电子装置
US9195904B1 (en) Method for detecting objects in stereo images
CN107018323B (zh) 控制方法、控制装置和电子装置
CN107016348A (zh) 结合深度信息的人脸检测方法、检测装置和电子装置
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
CN110378946A (zh) 深度图处理方法、装置以及电子设备
CN110400338A (zh) 深度图处理方法、装置和电子设备
US20180189955A1 (en) Augumented reality (ar) method and system enhanced through efficient edge detection of image objects
US20120120196A1 (en) Image counting method and apparatus
CN102812474A (zh) 头部识别方法
JP2002216129A (ja) 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体
CN106991378A (zh) 基于深度的人脸朝向检测方法、检测装置和电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: OPPO Guangdong Mobile Communications Co., Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: Guangdong OPPO Mobile Communications Co., Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant