CN107862663A - 图像处理方法、装置、可读存储介质和计算机设备 - Google Patents

图像处理方法、装置、可读存储介质和计算机设备 Download PDF

Info

Publication number
CN107862663A
CN107862663A CN201711097366.5A CN201711097366A CN107862663A CN 107862663 A CN107862663 A CN 107862663A CN 201711097366 A CN201711097366 A CN 201711097366A CN 107862663 A CN107862663 A CN 107862663A
Authority
CN
China
Prior art keywords
region
color
area
pending
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711097366.5A
Other languages
English (en)
Inventor
曾元清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201711097366.5A priority Critical patent/CN107862663A/zh
Publication of CN107862663A publication Critical patent/CN107862663A/zh
Pending legal-status Critical Current

Links

Classifications

    • G06T5/77
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Abstract

本申请实施例涉及一种图像处理方法、装置、可读存储介质和计算机设备。上述方法,包括:对待处理图像进行人脸识别,确定所述待处理图像的人脸区域;根据颜色比例获取所述人脸区域中的正常肤色区域;确定所述人脸区域中具有皮肤瑕疵的待处理区域;获取所述正常肤色区域中与所述待处理区域大小相同的像素块,将所述待处理区域的像素块替换为所述正常肤色区域的像素块。通过上述方法,能够有效地清除图像中人脸上的大面积斑点、胎记等瑕疵,并且不对人脸特征产生影响,提升了图像的美颜效果。

Description

图像处理方法、装置、可读存储介质和计算机设备
技术领域
本申请涉及计算机技术领域,特别是涉及图像处理方法、装置、可读存储介质和计算机设备。
背景技术
随着互联网技术的不断发展,移动终端的智能化给用户带来了极大的便利,例如拍照功能,移动终端的像素越来越高,拍照效果甚至媲美于专业摄影仪器,并且移动终端具有携带及使用上的便捷性,因此通过移动终端进行拍照成为了人们生活中不可或缺的娱乐项目。
在拍照或图像进行处理的过程中,通常通过对照片中的人物脸部区域进行磨皮的方式来达到人像美颜的效果,但这样的方式仅仅能够处理人脸图像上的一些小斑点,对于人脸上的大面积斑点,例如伤疤、胎记等瑕疵部分无法去除,因此仅通过磨皮操作不能很好的去除人像脸部的大面积斑点。
发明内容
本申请实施例提供一种图像处理方法、装置、可读存储介质和计算机设备,可以提升图像处理过程中对人脸的美颜效果。
一种图像处理方法,包括:
对待处理图像进行人脸识别,确定所述待处理图像的人脸区域;
根据颜色比例获取所述人脸区域中的正常肤色区域;
确定所述人脸区域中具有皮肤瑕疵的待处理区域;
获取所述正常肤色区域中与所述待处理区域大小相同的像素块,将所述待处理区域的像素块替换为所述正常肤色区域的像素块。
一种图像处理装置,包括:
人脸识别模块,用于对待处理图像进行人脸识别,确定所述待处理图像的人脸区域;
肤色区域获取模块,用于根据颜色比例获取所述人脸区域中的正常肤色区域;
处理区域确定模块,用于确定所述人脸区域中具有皮肤瑕疵的待处理区域;
图像处理模块,用于获取所述正常肤色区域中与所述待处理区域大小相同的像素块,将所述待处理区域的像素块替换为所述正常肤色区域的像素块。
一种计算机设备,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如上所述的方法。
一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如上所述的方法。
上述图像处理方法、装置、可读存储介质和计算机设备,通过对待处理图像进行人脸识别,确定所述待处理图像的人脸区域,根据颜色比例获取所述人脸区域中的正常肤色区域,确定所述人脸区域中具有皮肤瑕疵的待处理区域,获取所述正常肤色区域中与所述待处理区域大小相同的像素块,将所述待处理区域的像素块替换为所述正常肤色区域的像素块。能够有效地清除图像中人脸上的大面积斑点、胎记等瑕疵,并且不对人脸特征产生影响,提升了图像的美颜效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的应用环境图;
图2为一个实施例中计算机设备的内部结构示意图;
图3为一个实施例中图像处理方法的流程示意图;
图4为另一个实施例中图像处理方法的流程示意图;
图5为再一个实施例中图像处理方法的流程示意图;
图6为再一个实施例中图像处理方法的流程示意图;
图7为一个实施例中图像处理装置的结构框图;
图8为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为一个实施例中图像处理方法的应用环境图。参考如图1所示,终端110可调用其上的摄像头进行拍摄,如对环境中的物体120进行实时扫描得到帧图像,根据该帧图像生成拍摄的图像。可选地,该摄像头内包含第一摄像头模组112和第二摄像头模组124,根据该第一摄像头模组112和第二摄像头模组124共同实现拍摄,生成图像。终端110可将该帧图像或者生成的图像,作为待处理图像,识别该待处理图像中的人脸区域;并进一步识别该人脸区域内的人脸所属的人脸类型;获取与人脸类型对应的人脸模板特征;根据人脸模板特征对人脸区域进行美颜处理。
图2为一个实施例中计算机设备的内部结构示意图。如图2所示,该计算机设备包括通过系统总线连接的处理器、存储器、显示屏和摄像头。其中,该处理器用于提供计算和控制能力,支撑整个计算机设备的运行。存储器用于存储数据、程序等,存储器上存储至少一个计算机程序,该计算机程序可被处理器执行,以实现本申请实施例中提供的适用于计算机设备的图像处理方法。存储器可包括磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等非易失性存储介质,或随机存储记忆体(Random-Access-Memory,RAM)等。例如,在一个实施例中,存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。摄像头包括上述的第一摄像头模组和第二摄像头模组,均可用于生成帧图像。显示屏可以是触摸屏,比如为电容屏或电子屏,用于显示帧图像或拍摄图像等可视信息,还可以被用于检测作用于该显示屏的触摸操作,生成相应的指令。本领域技术人员可以理解,图2中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。该计算机设备可以是手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、POS(Point of Sales,销售移动终端)、车载电脑、穿戴式设备等。
如图3所示,在一个实施例中,提供了一种图像处理方法,本实施例主要以该方法应用于如图1所示的终端中进行说明,该方法包括以下步骤:
步骤302:对待处理图像进行人脸识别,确定所述待处理图像的人脸区域。
其中,待处理图像是指需要进行美颜处理的图像,可为已经拍摄生成的图像,还可为在拍摄模式下,通过摄像头实时扫描得到帧图像。电子设备可从待处理图像中提取相关的特征数据,检测该特征数据中是否和人脸特征相匹配,若匹配,则进一步获取检测出的人脸在该待处理图像中的区域,该区域即为人脸区域。
人脸识别模型可以是预先通过机器学习构建的决策模型,构建人脸识别模型时,可获取大量的样本图像,样本图像中包含有人脸图像及无人图像,可根据每个样本图像是否包含人脸对样本图像进行标记,并将标记的样本图像作为人脸识别模型的输入,通过机器学习进行训练,得到人脸识别模型。
此外,也可通过人脸检测算法获取待处理图像中的人脸区域。人脸检测算法可以包括基于几何特征的检测方法、特征脸检测方法、线性判别分析方法、基于隐马尔柯夫模型检测方法等。
终端可从本地或服务器获取待处理图像。终端通过摄像头等成像设备拍摄图像,并将拍摄的图像作为待处理图像,也可从本地相册库中获取图像,作为待处理图像。再者,终端从服务器获取的互联网图像或者用户个人网络相册中的图像,作为待处理图像。其中,终端可为移动终端、台式计算机等。移动终端可为智能手机、平板电脑、个人数字助理、穿戴式设备等。
步骤304:根据颜色比例获取所述人脸区域中的正常肤色区域。
具体地,颜色比例指的是人脸区域中皮肤的不同色彩占皮肤区域面积的比例,根据不同色彩的色彩值和色彩面积确定人脸的肤色。其中,色彩值可以通过RGB(Red、Green、Blue,红、绿、蓝)颜色值来表示,RGB色彩模式是通过对红、绿、蓝三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的,RGB即是代表红、绿、蓝三个通道的颜色,例如黄色的RGB颜色值为255,255,0。可选地,还可以通过十六进制颜色码来表示颜色值,十六进制颜色码指的是在软件中设定颜色值的代码,每一种颜色对应一个十六进制颜色码,例如黄色的十六进制码为#FFFF00。可以理解的是,RGB颜色值可以与十六进制颜色码相互转换。
步骤306:确定所述人脸区域中具有皮肤瑕疵的待处理区域。
其中,人脸上的皮肤瑕疵包括但不限于斑点、痘、痣、胎记和疤痕。终端根据预设模型定位人脸区域中的皮肤瑕疵所在的位置,将具有皮肤瑕疵的位置确定为待处理区域。
在一个实施例中,终端通过对人脸区域进行扫描和比对,若发现存在与正常肤色的色彩存在差异的区域,根据预设条件判断该区域是否为皮肤瑕疵部分,预设条件包括颜色差异是否超过预设阈值范围、是否为需要保留的标志区域、是否由于光线造成的阴影部分等。通过判断后确定皮肤瑕疵部分作为待处理区域,等待进行下一步处理。
步骤308:获取所述正常肤色区域中与所述待处理区域大小相同的像素块,将所述待处理区域的像素块替换为所述正常肤色区域的像素块。
具体地,终端以正常肤色区域中的肤色作为参考,对待处理区域内的皮肤瑕疵部分进行调整,使得调整后的皮肤瑕疵部分所对应的颜色特征与该正常肤色区域的肤色更加接近,实现对该待处理区域的美颜处理。
可选地,还可以提取该待处理区域内的皮肤细节特征,将该皮肤细节特征与正常肤色区域的皮肤细节进行比较,得到两者的皮肤细节特征差异信息,根据该皮肤细节特征差异信息来调整待处理区域的皮肤细节,使得调整后的待处理区域对应的皮肤细节与正常肤色区域的皮肤细节更加接近,以实现对待处理区域进行美颜处理。当该人脸的待处理区域与正常肤色区域之间的差异较大时,可对待处理区域的做对应较大的调整,当差异较小时,可做对应较小的调整。
在一个实施例中,差异信息包含人脸区域内皮肤瑕疵部分与正常皮肤之间的差异信息,包含皮肤的颜色差异信息、形状差异信息、位置差异信息等其中的一种或多种。根据该差异信息对待处理图片中,该人脸区域内的人脸的皮肤进行颜色、形状、以及在人脸内的位置等其中的一种或多种进行调整,实现对人脸区域的皮肤进行美颜处理,处理后的图像中的皮肤细节特征与正常皮肤对应的皮肤细节特征更加接近。
该图像处理方法,通过对待处理图像进行人脸识别,确定所述待处理图像的人脸区域,根据颜色比例获取所述人脸区域中的正常肤色区域,确定所述人脸区域中具有皮肤瑕疵的待处理区域,获取所述正常肤色区域中与所述待处理区域大小相同的像素块,将所述待处理区域的像素块替换为所述正常肤色区域的像素块。能够有效地清除图像中人脸上的大面积斑点、胎记等瑕疵,并且不对人脸特征产生影响,提升了图像的美颜效果。
如图4所示,在一个实施例中,步骤根据颜色比例获取所述人脸区域中的正常肤色区域,包括以下步骤:
步骤402:对所述待处理图像的人脸区域进行颜色特征提取,得到不同色彩的色彩值以及对应的色彩面积。
具体地,移动终端可获取待处理图像的颜色特征,根据颜色特征确定待处理图像的正常肤色区域以及皮肤瑕疵区域。颜色特征是应用在图像检索中的视觉特征,颜色特征可为RGB颜色特征、HIS(Hue Intensity Saturation,色调、亮度、色饱和度)颜色特征、HSV(Hue Saturation Value,色调、色饱和度、亮度)颜色特征等。色彩面积指的是不同色彩在人脸区域中所占的面积。
在一个实施例中通过RGB颜色特征表示不同色彩的色彩值,移动终端在获取到待处理图像人脸区域的不同色彩值后,计算各色彩值对应所占色彩面积,结合色彩值与色彩面积判断该人脸区域中正常肤色对应的颜色。可选地,在其他实施例中,还可以通过上述的HIS颜色特征或HSV颜色特征来表示色彩值,更进一步地,可以结合多个颜色特征共同表示色彩值。
步骤404:提取不同色彩中色彩面积占比最大的色彩值,根据所述色彩值确定正常肤色区域。
具体地,终端获取人脸区域中的色彩面积占比最大的色彩,确定该占比最大的色彩为人脸的肤色,人脸的肤色对应的区域作为正常肤色区域。由于在人脸区域中,人的脸部上正常的肤色是占比最大的,人脸上的皮肤瑕疵部分的色彩会区别于正常的肤色,并且人脸上的皮肤瑕疵部分在人脸区域的面积占比较小并且相对分散,因此通过识别人脸区域中面积占比最大的色彩可以确定人脸的正常肤色,通过正常肤色的色彩值可以确定正常肤色区域。
如图5所示,在一个实施例中,步骤确定所述人脸区域中具有皮肤瑕疵的待处理区域,包括以下步骤:
步骤502:获取所述人脸区域中去除五官特征外的皮肤区域。
具体地,移动终端针对待处理图像提取相关的图像特征数据,根据该图像特征数据进行人脸检测,以判定其中是否存在人脸。当判定存在人脸时,进一步识别该人脸在图形中的区域,即人脸区域。进一步地,对该人脸区域做进一步的人脸五官特征检测,识别出人脸各个部位在该图像中的坐标位置。五官特征包括眉、眼、耳、鼻、口,在识别出人脸区域中五官特征的轮廓之后,获取人脸区域中去除该五官特征轮廓之外的区域,即人脸皮肤区域。
在一个实施例中,可以通过人脸检测算法获取待处理图像的人脸中的皮肤区域,人脸检测算法可以包括基于几何特征的检测方法、特征脸检测方法、线性判别分析方法、基于隐马尔柯夫模型检测方法等,在此不做限定。
步骤504:将所述正常肤色区域中的色彩值与所述皮肤区域中的色彩值进行比对。
具体地,移动终端分别遍历该皮肤区域中的每个像素点,计算每个像素点的色彩值与正常肤色区域的色彩值之间的相识度值,根据不同的相识度值确定皮肤区域中的皮肤瑕疵位置。
步骤506:根据色彩值的差异度确定所述皮肤区域中的皮肤瑕疵。
具体地,色彩值的差异度表示为不同颜色特征之间的差异程度,可通过预设色彩值的阈值范围来表示差异度,当皮肤区域中的像素点的色彩值超过预设阈值范围时,即可判断为皮肤瑕疵部分。
在一个实施例中,移动终端根据肤色的阴暗度识别人脸的阴影区域,若确定的待处理区域为人脸的阴影区域,则保留所述阴影区域。进一步地,移动终端获取所述人脸区域中的眉毛和嘴巴位置,判断该待处理区域的位置与眉毛或嘴巴的位置之间是否相距小于预设像素间距,若是,确定所述待处理区域为标志区域,并保留所述标志区域。例如移动终端检测到长在眉心的或者嘴旁的“美人痣”,则应保留人脸中的“美人痣”特征。
如图6所示,在一个实施例中,步骤获取所述正常肤色区域中与所述待处理区域大小相同的像素块,将所述待处理区域的像素块替换为所述正常肤色区域的像素块,包括以下步骤:
步骤602:获取所述待处理区域的形状及面积,并在所述正常肤色区域中选取与所述待处理区域形状和面积相同的像素块。
步骤604:将所述待处理区域的像素块替换为所述正常肤色区域的像素块。
步骤606:获得处理后的图像。
具体地,移动终端根据待处理区域的像素块计算待处理区域的形状及面积,提取正常肤色区域中相同的形状及面积大小的像素块。可选地,移动终端还可以通过拷贝正常肤色区域中对应形状及面积大小的像素块,将该对应形状及面积大小的像素块粘贴至该待处理区域后合成图像。或者,移动终端还可以通过遍历待处理区域中的各个像素块,将待处理区域中的像素块逐一替换为正常肤色区域中的像素块,以此实现上述正常肤色区域的像素块替换为待处理区域的像素块。可以理解的是,在其他实施例中,还可以通过其他方式将待处理区域的像素块替换为正常肤色区域的像素块,在此不作限定。
在一个实施例中,在获得处理后的图像过后,移动终端显该处理后的图像并存储该处理后的图像。
上述图像处理方法,通过对待处理图像进行人脸识别,确定所述待处理图像的人脸区域,根据颜色比例获取所述人脸区域中的正常肤色区域,确定所述人脸区域中具有皮肤瑕疵的待处理区域,获取所述正常肤色区域中与所述待处理区域大小相同的像素块,将所述待处理区域的像素块替换为所述正常肤色区域的像素块。能够有效地清除图像中人脸上的大面积斑点、胎记等瑕疵,并且不对人脸特征产生影响,提升了图像的美颜效果。
如图7所示,在一个实施例中,提供了一种图像处理装置,该装置包括人脸识别模块701、肤色区域获取模块702、处理区域确定模块703和图像处理模块704。
人脸识别模块701,用于对待处理图像进行人脸识别,确定所述待处理图像的人脸区域.
肤色区域获取模块702,用于根据颜色比例获取所述人脸区域中的正常肤色区域。
处理区域确定模块703,用于确定所述人脸区域中具有皮肤瑕疵的待处理区域。
图像处理模块704,用于获取所述正常肤色区域中与所述待处理区域大小相同的像素块,将所述待处理区域的像素块替换为所述正常肤色区域的像素块。
在一个实施例中,肤色区域获取模块702包括颜色特征提取单元和肤色确定单元。
颜色特征提取单元,用于对所述待处理图像的人脸区域进行颜色特征提取,得到不同色彩的色彩值以及对应的色彩面积。
肤色确定单元,用于提取不同色彩中色彩面积占比最大的色彩值,根据所述色彩值确定正常肤色区域。
在一个实施例中,处理区域确定模块703包括皮肤区域获取单元、色彩比对单元和皮肤差异确定单元。
皮肤区域获取单元,用于获取所述人脸区域中去除五官特征外的皮肤区域。
色彩比对单元,用于将所述正常肤色区域中的色彩值与所述皮肤区域中的色彩值进行比对;
皮肤差异确定单元,用于根据色彩值的差异度确定所述皮肤区域中的皮肤瑕疵。
在一个实施例中,图像处理模块704包括像素提取单元、像素替换单元和图像获取单元。
像素提取单元,用于提取所述正常肤色区域中与待处理区域面积相同的像素块。
像素替换单元,用于将所述正常肤色区域的像素块替换为所述待处理区域的像素块。
图像获取单元,用于获得处理后的图像。
上述图像处理装置,通过对待处理图像进行人脸识别,确定所述待处理图像的人脸区域,根据颜色比例获取所述人脸区域中的正常肤色区域,确定所述人脸区域中具有皮肤瑕疵的待处理区域,获取所述正常肤色区域中与所述待处理区域大小相同的像素块,将所述待处理区域的像素块替换为所述正常肤色区域的像素块。能够有效地清除图像中人脸上的大面积斑点、胎记等瑕疵,并且不对人脸特征产生影响,提升了图像的美颜效果。
上述图像处理装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像处理装置按照需要划分为不同的模块,以完成上述图像处理装置的全部或部分功能。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行如上述各实施例中所描述的图像处理方法。
本申请实施例还提供了一种计算机程序产品。一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各实施例中所描述的图像处理方法。
本申请实施例还提供一种计算机设备。上述计算机设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image SignalProcessing,图像信号处理)管线的各种处理单元。图8为一个实施例中图像处理电路的示意图。如图8所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图8所示,图像处理电路包括ISP处理器840和控制逻辑器850。成像设备810捕捉的图像数据首先由ISP处理器840处理,ISP处理器840对图像数据进行分析以捕捉可用于确定和/或成像设备810的一个或多个控制参数的图像统计信息。成像设备810可包括具有一个或多个透镜812和图像传感器814的照相机。图像传感器814可包括色彩滤镜阵列(如Bayer滤镜),图像传感器814可获取用图像传感器814的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器840处理的一组原始图像数据。传感器820(如陀螺仪)可基于传感器820接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器840。传感器820接口可以利用SMIA(Standard Mobile Imaging Architecture,标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外,图像传感器814也可将原始图像数据发送给传感器820,传感器820可基于传感器820接口类型把原始图像数据提供给ISP处理器840,或者传感器820将原始图像数据存储到图像存储器830中。
ISP处理器840按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器840可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器840还可从图像存储器830接收图像数据。例如,传感器820接口将原始图像数据发送给图像存储器830,图像存储器830中的原始图像数据再提供给ISP处理器840以供处理。图像存储器830可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像传感器814接口或来自传感器820接口或来自图像存储器830的原始图像数据时,ISP处理器840可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器830,以便在被显示之前进行另外的处理。ISP处理器840还可从图像存储器830接收处理数据,对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器880,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器840的输出还可发送给图像存储器830,且显示器880可从图像存储器830读取图像数据。在一个实施例中,图像存储器830可被配置为实现一个或多个帧缓冲器。此外,ISP处理器840的输出可发送给编码器/解码器870,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器880设备上之前解压缩。
ISP处理器840处理图像数据的步骤包括:对图像数据进行VFE(Video Front End,视频前端)处理和CPP(Camera Post Processing,摄像头后处理)处理。对图像数据的VFE处理可包括修正图像数据的对比度或亮度、修改以数字方式记录的光照状态数据、对图像数据进行补偿处理(如白平衡,自动增益控制,γ校正等)、对图像数据进行滤波处理等。对图像数据的CPP处理可包括对图像进行缩放、向每个路径提供预览帧和记录帧。其中,CPP可使用不同的编解码器来处理预览帧和记录帧。ISP处理器840处理后的图像数据可发送给美颜模块860,以便在被显示之前对图像进行美颜处理。美颜模块860对图像数据美颜处理可包括:美白、祛斑、磨皮、瘦脸、祛痘、增大眼睛等。其中,美颜模块860可为移动终端中CPU(Central Processing Unit,中央处理器)、GPU或协处理器等。美颜模块860处理后的数据可发送给编码器/解码器870,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器880设备上之前解压缩。其中,美颜模块860还可位于编码器/解码器870与显示器880之间,即美颜模块对已成像的图像进行美颜处理。上述编码器/解码器870可为移动终端中CPU、GPU或协处理器等。
ISP处理器840确定的统计数据可发送给控制逻辑器850单元。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜812阴影校正等图像传感器814统计信息。控制逻辑器850可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定成像设备810的控制参数以及ISP处理器840的控制参数。例如,成像设备810的控制参数可包括传感器820控制参数(例如增益、曝光控制的积分时间)、照相机闪光控制参数、透镜812控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及透镜812阴影校正参数。
运用图8中图像处理技术可实现如上所述的图像处理方法。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法,包括:
对待处理图像进行人脸识别,确定所述待处理图像的人脸区域;
根据颜色比例获取所述人脸区域中的正常肤色区域;
确定所述人脸区域中具有皮肤瑕疵的待处理区域;
获取所述正常肤色区域中与所述待处理区域大小相同的像素块,将所述待处理区域的像素块替换为所述正常肤色区域的像素块。
2.根据权利要求1所述的方法,其特征在于,所述根据颜色比例获取所述人脸区域中的正常肤色区域,包括:
对所述待处理图像的人脸区域进行颜色特征提取,得到不同色彩的色彩值以及对应的色彩面积;
提取不同色彩中色彩面积占比最大的色彩值,根据所述色彩值确定正常肤色区域。
3.根据权利要求1所述的方法,其特征在于,所述确定所述人脸区域中具有皮肤瑕疵的待处理区域,包括:
获取所述人脸区域中去除五官特征外的皮肤区域;
将所述正常肤色区域中的色彩值与所述皮肤区域中的色彩值进行比对;
根据色彩值的差异度确定所述皮肤区域中的皮肤瑕疵。
4.根据权利要求1所述的方法,其特征在于,所述获取所述正常肤色区域中与所述待处理区域大小相同的像素块,将所述待处理区域的像素块替换为所述正常肤色区域的像素块,包括:
获取所述待处理区域的形状及面积,并在所述正常肤色区域中选取与所述待处理区域形状和面积相同的像素块;
将所述待处理区域的像素块替换为所述正常肤色区域的像素块;
获得处理后的图像。
5.根据权利要求3所述的方法,其特征在于,在所述获取所述正常肤色区域中与所述待处理区域大小相同的像素块,将所述待处理区域的像素块替换为所述正常肤色区域的像素块之前,还包括:
根据肤色的阴暗度识别人脸的阴影区域,若确定的所述待处理区域为人脸的阴影区域,则保留所述阴影区域。
6.根据权利要求3所述的方法,其特征在于,在所述获取所述正常肤色区域中与所述待处理区域大小相同的像素块,将所述待处理区域的像素块替换为所述正常肤色区域的像素块之前,还包括:
获取所述人脸区域中的眉毛和嘴巴位置;
判断所述待处理区域的位置与眉毛或嘴巴的位置之间是否相距小于预设像素间距;
若是,确定所述待处理区域为标志区域,并保留所述标志区域。
7.根据权利要求1所述的方法,其特征在于,还包括:
提取正常肤色区域中的皮肤细节特征;
根据人脸区域中的皮肤细节与正常肤色区域的皮肤细节的差异度确定待处理区域;
将所述待处理区域中的皮肤细节替换为所述正常肤色区域的皮肤细节。
8.一种图像处理装置,其特征在于,包括:
人脸识别模块,用于对待处理图像进行人脸识别,确定所述待处理图像的人脸区域;
肤色区域获取模块,用于根据颜色比例获取所述人脸区域中的正常肤色区域;
处理区域确定模块,用于确定所述人脸区域中具有皮肤瑕疵的待处理区域;
图像处理模块,用于获取所述正常肤色区域中与所述待处理区域大小相同的像素块,将所述待处理区域的像素块替换为所述正常肤色区域的像素块。
9.一种计算机设备,包括存储器及处理器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器实现如权利要求1至7任一所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一所述的方法。
CN201711097366.5A 2017-11-09 2017-11-09 图像处理方法、装置、可读存储介质和计算机设备 Pending CN107862663A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711097366.5A CN107862663A (zh) 2017-11-09 2017-11-09 图像处理方法、装置、可读存储介质和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711097366.5A CN107862663A (zh) 2017-11-09 2017-11-09 图像处理方法、装置、可读存储介质和计算机设备

Publications (1)

Publication Number Publication Date
CN107862663A true CN107862663A (zh) 2018-03-30

Family

ID=61701316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711097366.5A Pending CN107862663A (zh) 2017-11-09 2017-11-09 图像处理方法、装置、可读存储介质和计算机设备

Country Status (1)

Country Link
CN (1) CN107862663A (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764180A (zh) * 2018-05-31 2018-11-06 Oppo广东移动通信有限公司 人脸识别方法、装置、电子设备及可读存储介质
CN108898587A (zh) * 2018-06-19 2018-11-27 Oppo广东移动通信有限公司 图片处理方法、图片处理装置及终端设备
CN109325905A (zh) * 2018-08-29 2019-02-12 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109381165A (zh) * 2018-09-12 2019-02-26 维沃移动通信有限公司 一种皮肤检测方法及移动终端
CN109543567A (zh) * 2018-11-05 2019-03-29 深圳和而泰数据资源与云技术有限公司 一种数量确定方法及装置
CN109951634A (zh) * 2019-03-14 2019-06-28 Oppo广东移动通信有限公司 图像合成方法、装置、终端及存储介质
CN110099287A (zh) * 2019-05-20 2019-08-06 新联智慧信息技术(深圳)有限公司 色情短视频的验证方法及相关产品
CN110111245A (zh) * 2019-05-13 2019-08-09 Oppo广东移动通信有限公司 图像处理方法、装置、终端及计算机可读存储介质
CN110443747A (zh) * 2019-07-30 2019-11-12 Oppo广东移动通信有限公司 图像处理方法、装置、终端及计算机可读存储介质
WO2020015629A1 (zh) * 2018-07-20 2020-01-23 华为技术有限公司 一种图像获取的方法、装置及终端
CN110855897A (zh) * 2019-12-20 2020-02-28 维沃移动通信有限公司 图像拍摄方法、装置、电子设备及存储介质
CN111064942A (zh) * 2019-10-18 2020-04-24 青岛海信电器股份有限公司 图像处理方法和设备
CN111275725A (zh) * 2020-03-18 2020-06-12 展讯通信(上海)有限公司 图像的色温与色调的确定方法及装置、存储介质、终端
CN111583127A (zh) * 2020-04-03 2020-08-25 浙江大华技术股份有限公司 人脸肤色校正方法、装置、计算机设备和可读存储介质
CN112052806A (zh) * 2020-09-10 2020-12-08 广州繁星互娱信息科技有限公司 图像处理方法、装置、设备及存储介质
CN112102154A (zh) * 2020-08-20 2020-12-18 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和存储介质
CN112565601A (zh) * 2020-11-30 2021-03-26 Oppo(重庆)智能科技有限公司 图像处理方法、装置、移动终端及存储介质
CN113409185A (zh) * 2021-05-14 2021-09-17 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
WO2021218729A1 (zh) * 2020-04-26 2021-11-04 华为技术有限公司 以增强现实方式显示皮肤细节的方法及电子设备
WO2023143229A1 (zh) * 2022-01-28 2023-08-03 北京字跳网络技术有限公司 图像处理方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927718A (zh) * 2014-04-04 2014-07-16 北京金山网络科技有限公司 一种图片处理方法及装置
CN104574307A (zh) * 2014-12-30 2015-04-29 北京科技大学 一种绘画作品图像的主要颜色提取方法
CN105243371A (zh) * 2015-10-23 2016-01-13 厦门美图之家科技有限公司 一种人脸美颜程度的检测方法、系统及拍摄终端
CN105354810A (zh) * 2015-12-07 2016-02-24 厦门美图之家科技有限公司 一种图像祛斑处理的方法、系统及拍摄终端
CN106067167A (zh) * 2016-06-06 2016-11-02 广东欧珀移动通信有限公司 图像处理方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103927718A (zh) * 2014-04-04 2014-07-16 北京金山网络科技有限公司 一种图片处理方法及装置
CN104574307A (zh) * 2014-12-30 2015-04-29 北京科技大学 一种绘画作品图像的主要颜色提取方法
CN105243371A (zh) * 2015-10-23 2016-01-13 厦门美图之家科技有限公司 一种人脸美颜程度的检测方法、系统及拍摄终端
CN105354810A (zh) * 2015-12-07 2016-02-24 厦门美图之家科技有限公司 一种图像祛斑处理的方法、系统及拍摄终端
CN106067167A (zh) * 2016-06-06 2016-11-02 广东欧珀移动通信有限公司 图像处理方法及装置

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764180A (zh) * 2018-05-31 2018-11-06 Oppo广东移动通信有限公司 人脸识别方法、装置、电子设备及可读存储介质
CN108898587A (zh) * 2018-06-19 2018-11-27 Oppo广东移动通信有限公司 图片处理方法、图片处理装置及终端设备
US11810277B2 (en) 2018-07-20 2023-11-07 Huawei Technologies Co., Ltd. Image acquisition method, apparatus, and terminal
WO2020015629A1 (zh) * 2018-07-20 2020-01-23 华为技术有限公司 一种图像获取的方法、装置及终端
CN109325905A (zh) * 2018-08-29 2019-02-12 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109325905B (zh) * 2018-08-29 2023-10-13 Oppo广东移动通信有限公司 图像处理方法、装置、计算机可读存储介质和电子设备
CN109381165A (zh) * 2018-09-12 2019-02-26 维沃移动通信有限公司 一种皮肤检测方法及移动终端
CN109543567B (zh) * 2018-11-05 2020-11-13 深圳和而泰数据资源与云技术有限公司 一种数量确定方法及装置
CN109543567A (zh) * 2018-11-05 2019-03-29 深圳和而泰数据资源与云技术有限公司 一种数量确定方法及装置
CN109951634A (zh) * 2019-03-14 2019-06-28 Oppo广东移动通信有限公司 图像合成方法、装置、终端及存储介质
CN109951634B (zh) * 2019-03-14 2021-09-03 Oppo广东移动通信有限公司 图像合成方法、装置、终端及存储介质
CN110111245A (zh) * 2019-05-13 2019-08-09 Oppo广东移动通信有限公司 图像处理方法、装置、终端及计算机可读存储介质
CN110111245B (zh) * 2019-05-13 2023-12-08 Oppo广东移动通信有限公司 图像处理方法、装置、终端及计算机可读存储介质
CN110099287A (zh) * 2019-05-20 2019-08-06 新联智慧信息技术(深圳)有限公司 色情短视频的验证方法及相关产品
CN110443747B (zh) * 2019-07-30 2023-04-18 Oppo广东移动通信有限公司 图像处理方法、装置、终端及计算机可读存储介质
CN110443747A (zh) * 2019-07-30 2019-11-12 Oppo广东移动通信有限公司 图像处理方法、装置、终端及计算机可读存储介质
CN111064942A (zh) * 2019-10-18 2020-04-24 青岛海信电器股份有限公司 图像处理方法和设备
CN110855897A (zh) * 2019-12-20 2020-02-28 维沃移动通信有限公司 图像拍摄方法、装置、电子设备及存储介质
CN111275725A (zh) * 2020-03-18 2020-06-12 展讯通信(上海)有限公司 图像的色温与色调的确定方法及装置、存储介质、终端
CN111275725B (zh) * 2020-03-18 2022-08-19 展讯通信(上海)有限公司 图像的色温与色调的确定方法及装置、存储介质、终端
CN111583127A (zh) * 2020-04-03 2020-08-25 浙江大华技术股份有限公司 人脸肤色校正方法、装置、计算机设备和可读存储介质
CN111583127B (zh) * 2020-04-03 2023-08-15 浙江大华技术股份有限公司 人脸肤色校正方法、装置、计算机设备和可读存储介质
WO2021218729A1 (zh) * 2020-04-26 2021-11-04 华为技术有限公司 以增强现实方式显示皮肤细节的方法及电子设备
CN112102154A (zh) * 2020-08-20 2020-12-18 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和存储介质
CN112052806A (zh) * 2020-09-10 2020-12-08 广州繁星互娱信息科技有限公司 图像处理方法、装置、设备及存储介质
CN112565601A (zh) * 2020-11-30 2021-03-26 Oppo(重庆)智能科技有限公司 图像处理方法、装置、移动终端及存储介质
CN113409185A (zh) * 2021-05-14 2021-09-17 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113409185B (zh) * 2021-05-14 2024-03-05 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
WO2023143229A1 (zh) * 2022-01-28 2023-08-03 北京字跳网络技术有限公司 图像处理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN107862663A (zh) 图像处理方法、装置、可读存储介质和计算机设备
CN107945107A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN107730444A (zh) 图像处理方法、装置、可读存储介质和计算机设备
WO2019085792A1 (en) Image processing method and device, readable storage medium and electronic device
CN108537749B (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN107766831A (zh) 图像处理方法、装置、移动终端和计算机可读存储介质
CN107886484A (zh) 美颜方法、装置、计算机可读存储介质和电子设备
CN107945135B (zh) 图像处理方法、装置、存储介质和电子设备
CN107730445A (zh) 图像处理方法、装置、存储介质和电子设备
CN108009999A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN107818305A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN110149482A (zh) 对焦方法、装置、电子设备和计算机可读存储介质
CN107862274A (zh) 美颜方法、装置、电子设备和计算机可读存储介质
CN107808136A (zh) 图像处理方法、装置、可读存储介质和计算机设备
CN107742274A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108805103A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108810413A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN108537155A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN107911625A (zh) 测光方法、装置、可读存储介质和计算机设备
CN107800965B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN107993209B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108734676A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN107743200A (zh) 拍照的方法、装置、计算机可读存储介质和电子设备
CN108022207A (zh) 图像处理方法、装置、存储介质和电子设备
CN107862658A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180330