CN111047520A - 图像处理装置、图像处理方法以及记录介质 - Google Patents

图像处理装置、图像处理方法以及记录介质 Download PDF

Info

Publication number
CN111047520A
CN111047520A CN201910961762.0A CN201910961762A CN111047520A CN 111047520 A CN111047520 A CN 111047520A CN 201910961762 A CN201910961762 A CN 201910961762A CN 111047520 A CN111047520 A CN 111047520A
Authority
CN
China
Prior art keywords
image
pixel
processing
region
pixel region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910961762.0A
Other languages
English (en)
Other versions
CN111047520B (zh
Inventor
佐藤武志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN111047520A publication Critical patent/CN111047520A/zh
Application granted granted Critical
Publication of CN111047520B publication Critical patent/CN111047520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Abstract

本发明提供一种图像处理装置、图像处理方法以及记录介质。摄像装置(1)具备修正执行部(113)、减轻像素确定部(114)、修正控制部(115)。修正执行部(113)针对图像中的肤色的像素区域进行修正处理。减轻像素确定部(114)获取图像中的饱和度与周边像素不同的像素区域。修正控制部(115)进行控制,以使得对于由减轻像素确定部(114)所获取的像素区域减轻由修正执行部(113)进行的修正处理。

Description

图像处理装置、图像处理方法以及记录介质
技术领域
本发明涉及图像处理装置、图像处理方法以及记录介质。
背景技术
以往,已知如下技术:如JP特开2012-124715号公报所记载那样,检测图像中的脸部的肤色的区域,针对该肤色的区域进行肤色修正处理。
-发明要解决的课题-
在上述专利文献所公开的技术等的一般性的技术中,针对被检测出的肤色的区域一律进行修正处理。
但是,若这样一律进行修正处理,则会产生被检测出的肤色的区域中的局部与肤色不同颜色的区域(例如,实施了化妆的区域、具有肌肤本来的清洁感的区域)通过修正处理而变得不显眼等问题。
发明内容
本发明是鉴于这种状况而提出的,其目的在于,在针对包含肌肤的图像的图像处理中进行更为合适的修正。
-解决课题的手段-
本发明的一方式的图像处理装置具备处理器,所述处理器从图像中的肤色的图像区域,获取第1像素的像素区域、和饱和度比该第1像素高的第2像素的像素区域,所述处理器对所述图像中的肤色的像素区域的亮度分量进行平滑化处理,以使得所述第2像素的像素区域的所述肤色的亮度分量的平滑化处理的强度比所述第1像素的像素区域的所述肤色的亮度分量的平滑化处理的强度减轻,并且,所述图像处理装置还具备存储器,所述存储器对具有被进行了所述平滑化处理的像素区域的图像进行存储。
此外,本发明的一方式的图像处理方法包括:获取步骤,从图像中的肤色的图像区域,获取第1像素的像素区域、和饱和度比该第1像素高的第2像素的像素区域;处理步骤,对所述图像中的肤色的像素区域的亮度分量进行平滑化处理,以使得所述第2像素的像素区域的所述肤色的亮度分量的平滑化处理的强度比所述第1像素的像素区域的所述肤色的亮度分量的平滑化处理的强度减轻;和存储步骤,使存储器存储具有被进行了所述平滑化处理的像素区域的图像。
此外,本发明的一方式的记录介质记录有图像处理装置所具备的计算机能够读取的程序,所述程序使该计算机作为如下单元发挥功能:获取单元,从图像中的肤色的图像区域,获取第1像素的像素区域、和饱和度比该第1像素高的第2像素的像素区域;处理单元,对所述图像中的肤色的像素区域的亮度分量进行平滑化处理,以使得所述第2像素的像素区域的所述肤色的亮度分量的平滑化处理的强度比所述第1像素的像素区域的所述肤色的亮度分量的平滑化处理的强度减轻;和存储单元,使存储器存储具有被进行了所述平滑化处理的像素区域的图像。
-发明效果-
根据本发明,能够在针对包含肌肤的图像的图像处理中进行更为合适的修正。
附图说明
图1是表示本发明的图像处理装置的一实施方式所涉及的摄像装置的硬件结构的框图。
图2是用于说明本发明的图像处理装置的一实施方式所涉及的摄像装置进行的肌肤图像修正处理的处理过程的示意图。
图3是用于对本发明的图像处理装置的一实施方式所涉及的摄像装置进行的肌肤图像修正处理中的图像的合成进行说明的示意图。
图4是表示图1的摄像装置的功能结构之中的用于执行肌肤图像修正处理的功能结构的功能框图。
图5是说明具有图4的功能结构的图1的摄像装置执行的肌肤图像修正处理的流程的流程图。
具体实施方式
以下,利用附图对本发明的实施方式进行说明。
[硬件结构]
图1是表示本发明的图像处理装置的一实施方式所涉及的摄像装置1的硬件结构的框图。
摄像装置1例如被构成为具备图像处理功能的数码相机。
如图1所示,摄像装置1具备:CPU(Central Processing Unit:中央处理单元)11、ROM(Read Only Memory:只读存储器)12、RAM(Random Access Memory:随机存取存储器)13、总线14、输入输出接口15、摄像部16、输入部17、输出部18、存储部19、通信部20、驱动器21。
CPU11是按照ROM12中所记录的程序、或者从存储部19载入至RAM13的程序来执行各种处理的处理器。
RAM13中也适当存储关于CPU11执行各种处理所需的数据等。
CPU11、ROM12以及RAM13经由总线14而相互被连接。该总线14还连接输入输出接口15。输入输出接口15连接有摄像部16、输入部17、输出部18、存储部19、通信部20以及驱动器21。
尽管并未图示,但摄像部16具备光学镜头部和图像传感器。
为了拍摄被摄体,光学镜头部由对光进行聚光的透镜例如聚焦透镜、变焦透镜等构成。
聚焦透镜是在图像传感器的受光面使被摄体像成像的透镜。变焦透镜是使焦距在一定的范围自由变化的透镜。
在光学镜头部根据需要还设有对焦点、曝光、白平衡等的设定参数进行调整的外围电路。
图像传感器包含光电变换元件、AFE(Analog Front End:模拟前端)等。
光电变换元件例如包含CMOS(Complementary Metal Oxide Semiconductor:互补金属氧化物半导体)型的光电变换元件等。光电变换元件中从光学镜头部入射被摄体像。在此,光电变换元件对被摄体像进行光电变换(摄像)并对图像信号进行一定时间的积累,将积累的图像信号作为模拟信号依次提供至AFE。
AFE针对该模拟的图像信号,执行A/D(Analog/Digital)变换处理等的各种信号处理。通过各种信号处理,生成数字信号,作为摄像部16的输出信号而被输出。
这种的摄像部16的输出信号作为被拍摄的图像而适当提供至CPU11、未图示的图像处理部等。
输入部17包含各种按键等,根据用户的指示操作而输入各种信息。
输出部18包含显示器、扬声器等,输出图像、声音。
存储部19包含硬盘或者DRAM(Dynamic Random Access Memory:动态随机存取存储器)等,存储各种图像。
通信部20对经由包含互联网的网络在与其他装置(未图示)之间进行的通信进行控制。
在驱动器21适当安装包含磁盘、光盘、光磁盘、或半导体存储器等的可移动介质31。由驱动器21从可移动介质31读出的程序根据需要而被安装于存储部19。此外,可移动介质31也能够与存储部19同样地存储在存储部19中所存储的图像等的各种数据。
这样被构成的摄像装置1进行肌肤图像修正处理。这里,肌肤图像修正处理是针对包含肌肤的图像进行修正处理、并且进行控制以使得对于规定的区域减轻修正处理的一连串的处理。
具体而言,在肌肤图像修正处理中,摄像装置1针对图像中的肤色的像素区域进行修正处理。此外,摄像装置1获取图像中的、饱和度与周边像素不同的像素区域。进而,摄像装置1进行控制以使得对于所获取的像素区域减轻修正处理。
这样,摄像装置1进行控制以使得对一部分的区域减轻修正处理,由此在针对包含肌肤的图像的图像处理中能够进行更为合适的修正。例如,通过减轻修正,能够残留基于化妆的效果、肌肤本来的清洁感的变现,并且修正肌肤的质感的变现。也就是说,能够进行兼顾这2个表现的图像处理。
因此,摄像装置1能够消除如下这种的问题:如一般性技术那样,若一律进行修正处理,则局部与肤色不同颜色的区域(例如实施了化妆的区域、存在清洁感的区域)通过修正处理而变得不显眼。
[肌肤图像修正处理]
接下来,参照图2以及图3,对肌肤图像修正处理进行说明。图2是用于说明肌肤图像修正处理的处理过程的示意图。此外,图3是用于对肌肤图像修正处理中的图像的合成进行说明的示意图。
<A1:原图像的获取>
首先,如图2所示,摄像装置1获取作为肌肤图像修正处理的对象的图像(以下,称为“原图像”。)。原图像是那种图像并未特别限定,但是,这里假定作为原图像是包含人物的脸部的图像,将作为图像参数而由YUV表现的图像设为原图像。在此,在YUV中,基于亮度分量的信号Y、蓝色分量的差分信号Cb、以及红色分量的差分信号Cr分别表示的数字值来表现图像。
<A2:第1ε处理(肤色修正)>
接下来,摄像装置1针对原图像进行利用了ε滤波的平滑化处理(以下称为“ε处理”。)。在利用了ε滤波的平滑化处理中,针对所获取的原图像,维持图像内的急剧的亮度值的变化并且除去小信号噪声。由此,通过保留边缘并除去小的凹凸从而能够生成平坦的图像。利用了ε滤波的平滑化处理可以将原图像的肤色区域所对应的像素作为对象来进行,也可以将原图像整体的像素作为对象来进行。
在第1ε处理中,摄像装置1将YUV中的Y分量作为对象来进行利用了ε滤波的平滑化处理。由此,能够对原图像中的亮度分量进行平滑化,来进行肤色修正。
<A3:第2ε处理(灰度保护)>
接下来,摄像装置1针对第1ε处理后的图像进行第2ε处理。在该第2ε处理中,摄像装置1将YUV中的UV分量作为对象,进行利用了ε滤波的平滑化处理。
该第2ε处理中所使用的ε滤波被设定规定的滤波系数。具体而言,使用被设定了滤波系数的ε滤波,以使得对于UV值比周边像素(第1像素)的像素值低规定值的中心像素(也就是,饱和度比周边像素低的像素即第2像素),周边像素的UV值的影响被减轻(或者忽视周边像素的UV值的影响)。
由此,能够修正图像整体中的颜色不均匀,并且对于UV值比周边像素的像素值低规定值的中心像素,能够减轻针对UV值的修正。由此,对于由UV值比周边像素的像素值低规定值的中心像素构成的区域,能够进行灰度保护,因此能够表现肌肤本来的清洁感。
<A4:肌肤图创建>
另一方面,摄像装置1创建对了进行后述的“A5:化妆掩藏(mask)”所需的肌肤图。另外,该肌肤图创建可以在上述“A2:第1ε处理”以及“A3:第2ε处理”之后进行,也可以在之前进行。或者,也可以通过基于运算处理部的时分处理、基于多个运算处理部的并行处理来并行地进行。
图3表示肌肤图的一例。肌肤图GA4是在合成图像的情况下设定各像素的透射率的图。在对第1图像和第2图像进行合成的情况下,以在各像素被设定的透射率使第1图像透射,从而与第2图像合成。例如,以在各像素被设定的透射率置换第1图像与第2图像来进行合成。
该透射率也可以被设定为零。该情况下,对于被设定为零的像素,第1图像未合成于第2图像。也就是说,该情况下,肌肤图发挥功能以使得掩藏第1图像。在图中的肌肤图中,由白色表示透射率高的像素,由黑色表示透射率为零的像素,通过阴影表示其中间的透射率。
肌肤图GA4的形状例如按作为合成对象的图像中包含的、脸部的规定器官的周边所对应的形状来进行创建。例如,通过图像解析,检测图像中的规定器官的特征点、轮廓,按照基于该检测结果的形状来进行创建。此外,越是饱和度比周边像素高的像素,透射率被设定得越高。另外,对于将哪些范围设为周边,可以根据被检测的规定的器官的种类而预先确定。例如,如果检测出的规定器官是眼睛,则可以将实施化妆的情况较多的眼周的上部外侧确定为周边。此外,如果检测出的规定器官是嘴唇,则可以将实施化妆的情况较多的嘴唇整体确定为周边。
例如,如图3所示,在作为合成对象的图像中包含用户的眼睛的情况下,创建与眼睛的周边(即眼周)的上部外侧对应的椭圆形状的肌肤图GA4。在该例中,通过化妆,越是饱和度比周边像素高的眼周的中心部则透射率被设定得越高,越是眼周的外侧则透射率被设定得越低。
另外,肌肤图GA4的形状可以每次处理重新生成,但是也可以利用模板来创建。该情况下,根据规定的器官而分别存储表示脸部的规定器官的周边样子的模板。并且,使该模板符合于图像中的规定器官的大小、朝向。例如,通过图像解析,检测图像中的规定器官的特征点、轮廓,基于该检测结果使模板放大、缩小、以及旋转等,由此使其符合。
此外,该情况下,对于模板中的透射率也可以预先确定。例如,可以预先进行确定,以使得越是规定器官的中心部则透射率被设定得越高,越是规定器官的外侧则透射率被设定得越低。或者,也可以根据规定器官各自的种类,被确定为基于预先规定的条件而被设定。这样也能够创建肌肤图GA4。
<A5:化妆掩藏(复原)>
接下来,摄像装置1基于肌肤图GA4的透射率,对第1ε处理以及第2ε处理前的原图像GA1和第2ε处理后的图像GA3进行合成。例如,以各像素中被设定的透射率对原图像的UV分量和第2ε处理后图像的UV分量进行置换,由此进行合成。通过该合成而被创建的图像成为肌肤图像修正处理中的最终图像。
在此,如上述那样,在肌肤图GA4中,对于透射率,越是饱和度比周边像素的像素,则透射率被设定得越高。因此,关于实施了化妆的像素(即,饱和度比周边像素高的像素),以更多的比例合成未被平滑化的原图像GA1。也就是说,针对实施了化妆的像素的修正被减轻。由此,能够维持基于化妆的效果。
上述的“A4:肌肤图创建”和该化妆掩藏可以将原图像GA1整体作为对象来进行。但是,该情况下,针对还包含不是修正的减轻对象的区域的原图像GA1内的所有的像素进行处理。因此,运算处理中的处理量增多。为此,“A4:肌肤图创建”和该化妆掩藏可以按检测出的每个规定器官来进行。该情况下,以包含检测出的规定器官的规定的尺寸来创建肌肤图GA4。此外,以该规定的尺寸来剪切原图像GA1和第2ε处理后的图像GA3。然后,将剪切出的图像彼此合成,将合成后的最终图像(被剪切出的规定的尺寸)与第2ε处理后的图像GA3(图像整体)的对应的部分置换。然后,针对检测出的规定器官分别进行该处理。例如,针对被检测出的右眼、左眼、以及嘴分别进行该处理。由此,仅将规定的尺寸作为对象来进行“A4:肌肤图创建”和化妆掩藏即可。因此,能够削减作为整体的处理量,能够更高速地结束处理。
<A6:最终图像输出>
最后,摄像装置1输出通过“A5:化妆掩藏”而被创建的最终图像GA6。该最终图像GA6是通过“A2:第1ε处理”以及“A3:第2ε处理”分别针对YUV的分量进行平滑化由此肌肤的质感的表现被修正、另一方面通过“A3:第2ε处理”以及“A5:化妆掩藏”来根据饱和度减轻修正由此保留了基于化妆的效果、肌肤本来的清洁感的表现的图像。也就是说,通过如上述那样进行肌肤图像修正处理,在针对包含肌肤的图像的图像处理中能够进行更为合适的修正。
[功能结构]
图4是表示图1的摄像装置1的功能结构之中的用于执行上述的肌肤图像修正处理的功能结构的功能框图。
在执行肌肤图像修正处理的情况下,如图4所示,在CPU11中,图像获取部111、脸部检测部112、修正执行部113、减轻像素确定部114、修正控制部115、合成部116。
此外,在存储部19的一区域设定图像存储部191和肌肤图存储部192。也包含以下未特别提及的情况,在这些功能模块间,在合适的定时对实现肌肤图像修正处理所需的数据进行适当收发。
图像存储部191中存储从摄像部16输出的图像。此外,图像存储部191中也存储在肌肤图像修正处理中被创建的第1ε处理后的图像、第2ε处理后的图像、以及最终图像。
肌肤图存储部192中存储在肌肤图像修正处理中被创建的肌肤图。另外,如上述,在利用模板来创建肌肤图的情况下,肌肤图存储部192中还存储该模板。
图像获取部111获取由摄像部16拍摄并进行了显像处理的图像、或者从图像存储部191获取作为处理对象的图像。该图像相当于上述的原图像。
脸部检测部112从图像获取部111获取到的图像检测脸部,并且在检测出的脸部检测构成脸部的各器官。脸部检测以及各器官的检测能够利用现有的脸部检测技术以及现有的器官技术。
修正执行部113进行对图像获取部111获取到的图像进行平滑化的这种修正处理。也就是说,修正执行部113进行上述的第1ε处理、以及第2ε处理。由修正执行部113进行第1ε处理以及第2ε处理基于后述的修正控制部115的控制来进行。
减轻像素确定部114基于脸部检测部112的检测结果,来确定减轻修正的像素。也就是说,减轻像素确定部114确定饱和度比周边像素低的像素、饱和度比周边像素高的像素。
修正控制部115基于图像获取部111以及减轻像素确定部114的检测结果,控制修正执行部113执行的修正处理。也就是说,修正控制部115控制由修正执行部113进行的第1ε处理以及第2ε处理。此外,修正控制部115还进行用于控制复原处理的肌肤图的创建。
合成部116进行上述的复原处理。该复原处理基于修正控制部115所创建的肌肤图来进行。此外,合成部116输出由复原处理创建的最终图像。例如,合成部116通过输出最终图像,使最终图像存储于图像存储部191、或者使最终图像显示于输出部18。
[动作]
图5是说明具有图4的功能结构的图1的摄像装置1所执行的肌肤图像修正处理的流程的流程图。通过由用户向输入部17的肌肤图像修正处理开始的操作,开始肌肤图像修正处理。肌肤图像修正处理开始的操作可以是摄影指示操作,根据该摄影指示操作由摄像部16进行拍摄,针对进行了显像处理的图像继续进行肌肤图像修正处理,此外,也可以是选择图像存储部191中所存储的图像并针对该选择的图像的肌肤图像修正处理开始的操作。
首先,图像获取部111作为原图像获取由摄像部16拍摄并进行了显像处理的图像、或者从图像存储部191获取作为处理对象的图像(步骤S11)。该步骤S11相当于上述的“A1:原图像获取”。
修正执行部113基于修正控制部115的控制,进行针对原图像的Y分量的第1ε滤波处理(步骤S12)。该步骤S12相当于上述的“A2:第1ε处理”。
脸部检测部112在进行了第1ε滤波处理的图像中进行脸部检测,判定是否检测出脸部(步骤S13)。在未检测出脸部的情况下(步骤S13中否),结束肌肤图像修正处理。由此,进行了第1ε滤波处理的图像被创建。另一方面,在检测出脸部的情况下(步骤S13中是),处理进入步骤S14。
脸部检测部112检测步骤S13中被检测出的脸部中的器官(步骤S14)。
减轻像素确定部114确定减轻修正的像素(步骤S15)。也就是说,减轻像素确定部114确定饱和度以规定的像素值水平不同于周边像素的像素、具体而言饱和度比周边低的像素、相反饱和度比周边像素高的像素。另外,减轻修正的像素区域的确定可以在输入处理对象的图像之后进行,在作为减轻对象的像素区域的位置被固定的情况下,也可以预先针对该位置的像素区域设定为是应减轻修正的像素区域,事先使其存储于存储部19的规定的存储区域。并且,在该步骤S15中,也可以通过读出该存储的应减轻修正的像素区域,来确定要减轻修正的像素。
修正执行部113基于修正控制部115的控制,进行针对UV分量的第2ε滤波处理(步骤S16)。该步骤S16相当于上述的“A3:第2ε处理”。
修正控制部115创建肌肤图(步骤S17)。该步骤S17相当于上述的“A4:肌肤图创建”。
合成部116针对步骤S14中检测出的任意的器官,如参照图3所述那样进行图像合成(步骤S18)。
合成部116针对所有的器官判断是否完成图像合成(步骤S19)。在未针对所有的器官进行图像合成的情况下(步骤S19中否),在步骤S18中,将未处理的器官作为对象来进行图像合成。另一方面,在针对所有的器官进行了图像合成的情况下(步骤S19中是),处理进入步骤S20。该步骤S18以及步骤S19相当于上述的“A5:复原处理”。
合成部116输出被创建的最终图像(步骤S20)。由此,肌肤图像修正处理结束。该步骤S20相当于上述的“A6:最终图像输出”。
根据以上所说明的肌肤图像修正处理,通过控制以使得针对一部分的区域减轻修正处理,由此在针对包含肌肤的图像的图像处理中能够进行更为合适的修正。例如,通过减轻修正能够保留基于化妆的效果、肌肤本来的清洁感的表现的同时修正肌肤的质感的表现。也就是说,能够进行兼顾这样的2个表现的图像处理。
[结构例]
如以上那样构成的摄像装置1具备:修正执行部113、减轻像素确定部114、修正控制部115。修正执行部113针对图像中的肤色的像素区域进行修正处理。减轻像素确定部114获取图像中的饱和度与周边像素不同的像素区域。修正控制部115进行控制,以使得对于由减轻像素确定部114获取到的像素区域减轻基于修正执行部113的修正处理。由此,在针对包含肌肤的图像的图像处理中,能够进行更为合适的修正。例如,能够进行兼顾基于化妆的效果、肌肤本来的清洁感的表现表现、和肌肤的质感的表现的图像处理。
摄像装置1还具备脸部检测部112。图像包含脸部的区域。脸部检测部112检测存在于脸部的区域的器官。减轻像素确定部114在由脸部检测部112检测出的器官周边,获取其饱和度比周边像素高的像素区域。由此,通过在器官周边的饱和度比周边像素高的像素区域,其他像素区域中的较低的饱和度被平滑化,由此能够防止颜色消失而化妆的效果消失。也就是说,能够保留对器官周边实施的化妆所带来的效果的情况下进行更为合适的修正。
所谓器官是眼睛,所谓器官周边是眼周。由此,能够保留特别针对眼周实施的眼影、眼线这种的化妆所带来的效果的状态下进行更为合适的修正。
所谓器官是嘴,所谓器官周边是嘴唇。由此,能够保留特别针对嘴唇实施的口红、光泽这种的化妆所带来的效果的状态下进行更为合适的修正。
减轻像素确定部114获取其饱和度比周边像素低的像素区域。由此,能够保护饱和度比周边像素低的像素区域中的灰度。因此,在饱和度比周边像素低的像素区域中,其他的像素区域中的高的饱和度被平滑化,由此,能够防止带有颜色而肌肤的清洁感消失。
摄像装置1还具备:图像获取部111、图像存储部191、合成部116。图像存储部191保存由图像获取部111输入的图像。修正执行部113对由图像获取部111输入、未保存于图像存储部191的图像中的肤色的像素区域进行修正处理。合成部116利用设定了像素的透射率的图,对由修正控制部115减轻了修正处理的图像、和被保存于图像存储部191的图像进行合成。由此,能够创建兼顾了未进行修正的图像和进行了修正的图像双方的特征的图像。
减轻像素确定部114在进行基于修正执行部113的修正处理之前的图像设定减轻修正处理的像素区域。由此,能够不需要每次执行减轻修正处理的处理都确定减轻修正处理的像素区域。
修正控制部115进行控制,以使得对于由修正执行部113进行了修正处理之后的图像,减轻基于修正执行部113的修正处理。由此,能够如通常那样进行了修正处理之后减轻修正处理。也就是说,能够不需要为了减轻修正处理而进行特别的修正处理。
[变形例]
本发明并不限定于上述的实施方式,能够实现本发明的目的的范围内的变形、改良等包含在本发明中。例如,可以使上述的实施方式如以下的变形例那样进行变形。
<不进行置换的变形例>
在上述的实施方式中,在“A3:第2ε处理”中,进行了利用ε滤波的平滑化处理之后,在“A5:复原处理”中,基于饱和度比周边像素越高的像素则透射率被设定得越高的肌肤图来进行置换,由此进行合成。并不限于此,也可以不进行置换。该情况下,在“A3:第2ε处理”中,对于饱和度比周边像素高的像素,设为利用ε滤波的平滑化处理的对象外,针对该像素不进行平滑化处理即可。
<关于修正处理的变形例>
在上述的实施方式中,在“A2:第1ε处理”和“A3:第2ε处理”中分别进行利用ε滤波的平滑化处理,修正肤色。并不限定于此,是修正图像中的肤色的处理即可,也可以通过利用ε滤波的平滑化处理以外的其他处理来进行修正。
<有关用户的特性的变形例>
在上述的实施方式中,与图像中的用户的特性无关地,进行了肌肤图像修正处理。并不限于此,也可以基于用户的特性不进行肌肤图像修正处理。例如,摄像装置1还追加通过解析图像来进行性别检测的功能模块,在检测出图像中的用户是男性的情况下,由于进行了化妆的可能性低,因此可以不进行肌肤图像修正处理。
<有关复原处理的对象的变形例>
在上述的实施方式中,针对器官的周边进行基于“A4:肌肤图创建”的肌肤图的创建,在“A5:复原处理”中将器官的周边作为对象来进行置换由此进行合成。并不限于此,也可以将器官以外的部位作为对象来进行置换。例如,可以在将器官的周边作为对象进行了置换之后,对于器官以外的部位中的饱和度比周边像素高的像素也进行基于“A4:肌肤图创建”的肌肤图的创建,在“A5:复原处理”中将该部位作为对象进行置换由此进行合成。由此,例如对于实施了化妆的脸颊(cheek)的区域也减轻平滑化处理。此外,在本变形例与上述的<不进行置换的变形例>组合的情况下,例如对于实施了化妆的脸颊(cheek)的区域也不进行平滑化处理。
<其他变形例>
此外,在上述的实施方式中,应用本发明的摄像装置1将数码相机作为例子进行了说明,但是并不特别限定于此。例如,本发明能够应用于具有美白处理功能的一般电子设备。具体而言,例如本发明能够应用于笔记本型个人计算机、打印机、电视接收器、摄像机、便携式导航设备、便携电话、智能手机、便携式游戏机等。
上述的一连串的处理既能够通过硬件执行,也能够通过软件执行。换言之,图4的功能结构仅仅是例示,并没有特别限定。也就是说,能够将上述的一连串的处理作为整体执行的功能被配备于摄像装置1即可,为了实现该功能而使用哪种功能模块并特别不限定于图4的例子。此外,一个功能模块可以由硬件单体构成,也可以由软件单体构成,还可以通过它们的组合来构成。本实施方式中的功能结构由执行运算处理的处理器实现,能够用于本实施方式的处理器中除了包含由单处理器、多处理器以及多核处理器等的各种处理装置单体构成的结构以外,还包含这些的各种处理装置与ASIC(Application SpecificIntegrated Circuit:专用集成电路)、FPGA(Field-Programmable Gate Array:现场可编程门阵列)等的处理电路被组合的结构。
在通过软件来执行一连串的处理的情况下,构成该软件的程序从网络或记录介质被安装于计算机等。计算机可以是被嵌入专用硬件的计算机。此外,计算机可以是通过安装各种程序而能够执行各种功能的计算机、例如通用个人计算机。
包含这种程序的记录介质不仅由为了向用户提供程序而与装置主体分立发布的图1的可移动介质31构成,还由预先嵌入装置主体的状态下提供于用户的记录介质等构成。可移动介质31例如包含磁盘(包含软盘)、光盘、或者光磁盘等。光盘例如包含CD-ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk)、Blu-ray(注册商标)盘(蓝光光盘)等。光磁盘包含MD(Mini-Disk)等。此外,在预先嵌入装置主体而被提供给用户的记录介质例如包含记录有程序的图1的ROM12、图1的存储部19中包含的硬盘等。
另外,本说明书中,描述被记录于记录介质的程序的步骤当然包含沿着该顺序按时间序列进行的处理,也包含未按时间序列进行处理而并行或者单独被执行的处理。
以上,对本发明的几个实施方式进行了说明,但是这些实施方式仅仅是示例,并不是限定本发明的技术范围。本发明能够取得其他的各种实施方式,在不脱离本发明的主旨的范围内还能够进行省略、置换等各种的变更。这些实施方式或其变形包含于本说明书等所记载的发明的范围和主旨,并且包含于与权利要求书所记载的发明和其等同的范围。

Claims (15)

1.一种图像处理装置,具备处理器,
所述处理器从图像中的肤色的图像区域,获取第1像素的像素区域、和饱和度比所述第1像素高的第2像素的像素区域,
所述处理器对所述图像中的肤色的像素区域的亮度分量进行平滑化处理,以使得所述第2像素的像素区域的所述肤色的亮度分量的平滑化处理的强度比所述第1像素的像素区域的所述肤色的亮度分量的平滑化处理的强度减轻,
所述图像处理装置还具备存储器,所述存储器对具有被进行了所述平滑化处理的像素区域的图像进行存储。
2.根据权利要求1所述的图像处理装置,其中,
所述处理器根据所述图像,生成针对所述肤色的图像区域实施所述平滑化处理之前的图像、和针对所述肤色的图像区域以预先被设定的强度实施了平滑化处理之后的图像,
所述处理器通过将预先准备的被设定为越是饱和度高的像素则透射率越高的图用作为所述平滑化处理的强度的信息,从而对所生成的实施所述平滑化处理之前的图像和实施了所述平滑化处理之后的图像进行合成。
3.根据权利要求1所述的图像处理装置,其中,
所述图像包含脸部的图像,
所述处理器检测存在于所述脸部的器官所对应的图像,
所述第2像素的像素区域是被检测出的所述器官所对应的图像的周边的像素区域。
4.根据权利要求3所述的图像处理装置,其中,
所述器官是眼睛,所述第2像素的图像区域是眼周所对应的像素区域。
5.根据权利要求3所述的图像处理装置,其中,
所述器官是嘴,所述第2像素的图像区域是嘴唇所对应的像素区域。
6.一种图像处理方法,包括:
获取步骤,从图像中的肤色的图像区域,获取第1像素的像素区域、和饱和度比所述第1像素高的第2像素的像素区域;
处理步骤,对所述图像中的肤色的像素区域的亮度分量进行平滑化处理,以使得所述第2像素的像素区域的所述肤色的亮度分量的平滑化处理的强度比所述第1像素的像素区域的所述肤色的亮度分量的平滑化处理的强度减轻;和
存储步骤,使存储器存储具有被进行了所述平滑化处理的像素区域的图像。
7.根据权利要求6所述的图像处理方法,其中,
所述图像处理方法还包括:生成步骤,根据所述图像,生成针对所述肤色的图像区域实施所述平滑化处理之前的图像、和针对所述肤色的图像区域以预先被设定的强度实施了平滑化处理之后的图像,
所述处理步骤包含:合成步骤,通过将预先准备的被设定为越是饱和度高的像素则透射率越高的图用作为所述平滑化处理的强度的信息,从而对所生成的实施所述平滑化处理之前的图像和实施了所述平滑化处理之后的图像进行合成。
8.根据权利要求6所述的图像处理方法,其中,
所述图像包含脸部的图像,
所述图像处理方法还包含:检测步骤,检测存在于所述脸部的器官所对应的图像,
所述第2像素的像素区域是通过所述检测步骤而被检测出的所述器官所对应的图像的周边的像素区域。
9.根据权利要求8所述的图像处理方法,其中,
所述器官是眼睛,所述第2像素的图像区域是眼周所对应的像素区域。
10.根据权利要求8所述的图像处理方法,其中,
所述器官是嘴,所述第2像素的图像区域是嘴唇所对应的像素区域。
11.一种记录介质,记录有图像处理装置所具备的计算机能够读取的程序,所述程序使该计算机作为如下单元发挥功能:
获取单元,从图像中的肤色的图像区域,获取第1像素的像素区域、和饱和度比所述第1像素高的第2像素的像素区域;
处理单元,对所述图像中的肤色的像素区域的亮度分量进行平滑化处理,以使得所述第2像素的像素区域的所述肤色的亮度分量的平滑化处理的强度比所述第1像素的像素区域的所述肤色的亮度分量的平滑化处理的强度减轻;和
存储单元,使存储器存储具有被进行了所述平滑化处理的像素区域的图像。
12.根据权利要求11所述的记录介质,其中,
使所述计算机还作为如下单元发挥功能:
生成单元,根据所述图像,生成针对所述肤色的图像区域实施所述平滑化处理之前的图像、和针对所述肤色的图像区域以预先被设定的强度实施了平滑化处理之后的图像;和
合成单元,通过将预先准备的被设定为越是饱和度高的像素则透射率越高的图用作为所述平滑化处理的强度的信息,从而对所生成的实施所述平滑化处理之前的图像和实施了所述平滑化处理之后的图像进行合成。
13.根据权利要求11所述的记录介质,其中,
所述图像包含脸部的图像,
使所述计算机还作为检测单元发挥功能,所述检测单元检测存在于所述脸部的器官所对应的图像,
所述第2像素的像素区域是被检测出的所述器官所对应的图像的周边的像素区域。
14.根据权利要求13所述的记录介质,其中,
所述器官是眼睛,所述第2像素的图像区域是眼周所对应的像素区域。
15.根据权利要求13所述的记录介质,其中,
所述器官是嘴,所述第2像素的图像区域是嘴唇所对应的像素区域。
CN201910961762.0A 2018-10-11 2019-10-10 图像处理装置、图像处理方法以及记录介质 Active CN111047520B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018192562A JP6908013B2 (ja) 2018-10-11 2018-10-11 画像処理装置、画像処理方法及びプログラム
JP2018-192562 2018-10-11

Publications (2)

Publication Number Publication Date
CN111047520A true CN111047520A (zh) 2020-04-21
CN111047520B CN111047520B (zh) 2024-01-26

Family

ID=70159033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910961762.0A Active CN111047520B (zh) 2018-10-11 2019-10-10 图像处理装置、图像处理方法以及记录介质

Country Status (3)

Country Link
US (1) US20200118304A1 (zh)
JP (2) JP6908013B2 (zh)
CN (1) CN111047520B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034748A (ja) * 1999-07-26 2001-02-09 Nippon Telegr & Teleph Corp <Ntt> 画像補正方法及びその装置及びその方法を記録した記録媒体及びその装置を組み込んだ画像撮影装置及びその装置を組み込んだ画像表示装置
JP2006133874A (ja) * 2004-11-02 2006-05-25 Canon Inc 画像処理方法及びその装置
JP2006325253A (ja) * 2006-07-31 2006-11-30 Canon Inc 画像処理方法およびプログラム
US20090116762A1 (en) * 2005-06-07 2009-05-07 Shu Lin Content-based gaussian noise reduction for still image, video and film
JP2009124417A (ja) * 2007-11-14 2009-06-04 Fuji Xerox Co Ltd 画像処理装置およびプログラム
US20100026833A1 (en) * 2008-07-30 2010-02-04 Fotonation Ireland Limited Automatic face and skin beautification using face detection
CN103024302A (zh) * 2011-09-20 2013-04-03 卡西欧计算机株式会社 进行图像处理的图像处理装置
US20130343647A1 (en) * 2011-03-10 2013-12-26 Omron Corporation Image processing device, image processing method, and control program
US20140334728A1 (en) * 2013-05-09 2014-11-13 Orise Technology Co., Ltd. Method and device of skin tone optimization in a color gamut mapping system
US20150365562A1 (en) * 2014-06-11 2015-12-17 Canon Kabushiki Kaisha Image processing apparatus and image processing method
WO2016151850A1 (ja) * 2015-03-26 2016-09-29 日立マクセル株式会社 撮像装置、信号処理装置、および肌診断システム
CN106375747A (zh) * 2016-08-31 2017-02-01 广州市百果园网络科技有限公司 一种图像处理方法、及设备
JP2017220078A (ja) * 2016-06-09 2017-12-14 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2018117289A (ja) * 2017-01-19 2018-07-26 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3557115B2 (ja) * 1998-12-24 2004-08-25 大日本スクリーン製造株式会社 画像フィルタの決定方法および装置、並びに、その処理を実行するためのプログラムを記録した記録媒体
JP3319727B2 (ja) 1999-10-20 2002-09-03 日本放送協会 画像処理装置
JP2009253324A (ja) 2008-04-01 2009-10-29 Seiko Epson Corp 画像処理装置、画像処理方法、及びプログラム
JP6111738B2 (ja) 2013-02-28 2017-04-12 フリュー株式会社 画像管理システム、管理サーバ、管理サーバの処理方法、および制御プログラム
JP5854333B2 (ja) 2013-04-24 2016-02-09 株式会社メイクソフトウェア 画像出力装置
JP6288816B2 (ja) * 2013-09-20 2018-03-07 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP2015211233A (ja) * 2014-04-23 2015-11-24 キヤノン株式会社 画像処理装置および画像処理装置の制御方法
CN105488472B (zh) 2015-11-30 2019-04-09 华南理工大学 一种基于样本模板的数字化妆方法
JP2017102642A (ja) * 2015-12-01 2017-06-08 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP6685827B2 (ja) 2016-05-09 2020-04-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2018049564A (ja) * 2016-09-23 2018-03-29 カシオ計算機株式会社 検出装置、及び検出方法
JP2018153561A (ja) 2017-03-21 2018-10-04 株式会社日立製作所 超音波画像処理装置
JP2018032442A (ja) * 2017-11-21 2018-03-01 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001034748A (ja) * 1999-07-26 2001-02-09 Nippon Telegr & Teleph Corp <Ntt> 画像補正方法及びその装置及びその方法を記録した記録媒体及びその装置を組み込んだ画像撮影装置及びその装置を組み込んだ画像表示装置
JP2006133874A (ja) * 2004-11-02 2006-05-25 Canon Inc 画像処理方法及びその装置
US20090116762A1 (en) * 2005-06-07 2009-05-07 Shu Lin Content-based gaussian noise reduction for still image, video and film
JP2006325253A (ja) * 2006-07-31 2006-11-30 Canon Inc 画像処理方法およびプログラム
JP2009124417A (ja) * 2007-11-14 2009-06-04 Fuji Xerox Co Ltd 画像処理装置およびプログラム
US20100026833A1 (en) * 2008-07-30 2010-02-04 Fotonation Ireland Limited Automatic face and skin beautification using face detection
US20130343647A1 (en) * 2011-03-10 2013-12-26 Omron Corporation Image processing device, image processing method, and control program
CN103024302A (zh) * 2011-09-20 2013-04-03 卡西欧计算机株式会社 进行图像处理的图像处理装置
US20140334728A1 (en) * 2013-05-09 2014-11-13 Orise Technology Co., Ltd. Method and device of skin tone optimization in a color gamut mapping system
US20150365562A1 (en) * 2014-06-11 2015-12-17 Canon Kabushiki Kaisha Image processing apparatus and image processing method
WO2016151850A1 (ja) * 2015-03-26 2016-09-29 日立マクセル株式会社 撮像装置、信号処理装置、および肌診断システム
JP2017220078A (ja) * 2016-06-09 2017-12-14 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
CN106375747A (zh) * 2016-08-31 2017-02-01 广州市百果园网络科技有限公司 一种图像处理方法、及设备
JP2018117289A (ja) * 2017-01-19 2018-07-26 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US20200118304A1 (en) 2020-04-16
JP2021170343A (ja) 2021-10-28
JP7279741B2 (ja) 2023-05-23
JP6908013B2 (ja) 2021-07-21
JP2020061009A (ja) 2020-04-16
CN111047520B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
US10885616B2 (en) Image processing apparatus, image processing method, and recording medium
JP6421794B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN108337450B (zh) 图像处理装置、图像处理方法以及记录介质
JP5949331B2 (ja) 画像生成装置、画像生成方法及びプログラム
CN109639959B (zh) 图像处理装置、图像处理方法以及记录介质
CN111526279B (zh) 图像处理装置、图像处理方法和记录介质
HK1069242A1 (en) Method and system for enhancing portrait images that are processed in a batch mode
JP2008234342A (ja) 画像処理装置及び画像処理方法
US20170154437A1 (en) Image processing apparatus for performing smoothing on human face area
US10861140B2 (en) Image processing apparatus, image processing method, and recording medium
JP6677221B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6432399B2 (ja) 画像処理装置および画像処理方法
JP2017220078A (ja) 画像処理装置、画像処理方法及びプログラム
CN109104601B (zh) 检测装置、图像处理装置、检测方法以及图像处理方法
CN111047520B (zh) 图像处理装置、图像处理方法以及记录介质
JP7318251B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7015009B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7375313B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2018032442A (ja) 画像処理装置、画像処理方法及びプログラム
JP2020160489A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2010199866A (ja) 画像処理装置
JP2017120998A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant