CN105979122B - 图像处理装置以及图像处理方法 - Google Patents
图像处理装置以及图像处理方法 Download PDFInfo
- Publication number
- CN105979122B CN105979122B CN201510711088.2A CN201510711088A CN105979122B CN 105979122 B CN105979122 B CN 105979122B CN 201510711088 A CN201510711088 A CN 201510711088A CN 105979122 B CN105979122 B CN 105979122B
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- area
- face
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 49
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000012937 correction Methods 0.000 claims abstract description 70
- 230000001815 facial effect Effects 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims 2
- 210000004709 eyebrow Anatomy 0.000 description 54
- 238000000034 method Methods 0.000 description 21
- 238000005516 engineering process Methods 0.000 description 7
- 230000037303 wrinkles Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 210000004209 hair Anatomy 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 235000002673 Dioscorea communis Nutrition 0.000 description 1
- 241000544230 Dioscorea communis Species 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 208000035753 Periorbital contusion Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
提供一种图像处理装置以及图像处理方法。一种图像处理装置，进行从作为包括人物的面部的图像的面部图像去除目标的校正，包括：图像取得部件，取得面部图像；代表像素值决定部件，基于在所述面部图像中包含的像素，决定作为代表皮肤区域的像素值的代表像素值；区域生成部件，生成作为包括所述目标的区域的第一区域；校正像素决定部件，基于与所述代表像素值的相似度，从位于所述第一区域的附近的多个像素中，决定作为用于校正的一个以上的像素的校正像素；部分图像生成部件，使用所述校正像素，生成部分图像，所述部分图像是用于置换与所述目标对应的像素的像素的集合；以及校正部件，通过将所述部分图像合成到所述面部图像，从而进行校正。
Description
技术领域
本发明涉及删除在图像中包含的不需要的目标的图像处理技术。
背景技术
近年来，对使用数码相机等而拍摄的包括人的面部的图像(面部图像)进行自动校正的技术开始普及。这样的技术之一，有删除在图像中包含的不需要的目标的技术。例如，通过去除在面部中的黑痣或皱纹，从而使皮肤看起来漂亮。此外，通过检测眉毛而去除，能够重新描画眉毛。
作为删除在图像中包含的不需要的目标的技术，例如有在专利文献1中记载的图像处理装置。在该图像处理装置中，通过从图像内搜索与存在不需要的目标的区域相似的区域，并按每个区域进行置换，从而去除不需要的目标。
现有技术文献
专利文献
专利文献1:(日本)特开2011－170838号公报
想要使用在专利文献1中记载的装置来去除在人的面部中包含的不需要的目标(黑痣、皱纹、眉毛等)的情况下，存在在处理后的图像中残留不自然性的情况。这是因为如下原因：由于照明的照射法等原因，产生的阴影因每个部位而异。例如，即使区域之间的像素的运算值(例如，亮度值的差的合计)相似，若选择了阴影的附着法不同的区域，则也会成为不自然的校正结果。
为了解决这个问题，需要只去除对象的目标而不对位于去除对象的目标的周边的像素值大幅改变的技术。
发明内容
本发明是考虑上述的课题而完成的，其目的在于，提供一种不会不协调地去除在图像中包含的不需要的目标的技术。
为了解决前述的课题，本发明的图像处理装置是，
一种图像处理装置，进行从面部图像中去除目标的校正，所述面部图像是包括人物的面部的图像，其特征在于，包括：图像取得部件，取得面部图像；代表像素值决定部件，基于在所述面部图像中包含的像素，决定代表像素值，所述代表像素值是代表皮肤区域的像素值；区域生成部件，生成第一区域，所述第一区域是包括所述目标的区域；校正像素决定部件，基于与所述代表像素值的相似度，从位于所述第一区域的附近的多个像素中，决定校正像素，所述校正像素是用于校正的一个以上的像素；部分图像生成部件，使用所述校正像素，生成部分图像，所述部分图像是用于置换与所述目标对应的像素的像素的集合；以及校正部件，通过将所述部分图像合成到所述面部图像，从而进行校正。
本发明的图像处理装置是进行去除在面部图像中包含的对象目标的图像校正的装置。对象的目标只要是在皮肤的表面的目标，则可以是眉毛、黑痣、皱纹、斑点、痣、伤等的任意的目标。
代表像素值决定部件是决定代表在图像中包含的面部的表面区域(皮肤区域)的像素值的部件。代表像素值例如能够基于对与皮肤对应的多个像素进行了采样的结果而求出。
此外，区域生成部件是生成包括去除对象的目标的区域(第一区域)的部件。例如，在有与去除对象的目标对应的特征点相关的信息的情况下，第一区域可以基于该信息而生成，也可以由装置的用户直接指定。
校正像素决定部件是决定在进行校正第一区域、即去除目标的图像处理时使用的像素(校正像素)的部件。从位于第一区域的附近的像素中，基于与代表像素值的相似度而选择校正像素。例如，相似度可以基于与代表像素值的亮度分量的差而决定，也可以基于色调的差而决定。
此外，部分图像生成部件是生成基于所决定的校正像素而去除了目标的部分图像的部件。部分图像生成部件例如基于校正像素，生成将第一区域进行了插补的图像作为部分图像。
这样生成的部分图像由于应用存在于第一区域的周围的像素的亮度或色调等的信息，且成为基于更接近代表像素值的像素而生成的图像，所以在校正的前后像素值不会大幅变动。即，能够进行自然的校正。
此外，其特征也可以在于，所述校正像素由隔着(挟んでいる)所述第一区域而相对的第一校正像素和第二校正像素的多个对构成，所述部分图像生成部件通过按每个对生成像素串，从而生成所述第一区域被插补了的部分图像，该像素串将所述第一校正像素和所述第二校正像素进行连接，在所述像素串中包含的像素的颜色从所述第一校正像素具有的颜色逐渐地变化为所述第二校正像素具有的颜色。
校正像素优选为隔着第一区域而相对的像素的对。通过这样，能够将存在于中间的像素(位于第一区域内的像素)的颜色进行插补。此外，通过使像素的颜色逐渐地变化，能够进行无不协调的插补。
此外，其特征也可以在于，所述第一区域是椭圆形状的区域，所述第一校正像素以及第二校正像素是沿着所述椭圆形状的短轴方向、隔着所述第一区域而相对的像素。
在第一区域为椭圆形状的情况下，优选沿短轴方向进行插补。通过这样，应插补的信息量减少，能够获得更加自然的校正结果。
此外，其特征也可以在于，所述区域生成部件进一步生成包含在所述第一区域中且包括所述目标的第二区域，该第二区域中包含的皮肤区域比所述第一区域小，所述校正部件通过对所述第二区域的内部合成所述部分图像，从而校正所述面部图像。
用于获得校正像素的区域优选为包括皮肤区域的区域。另一方面，进行校正的对象的区域优选为只包括目标的小的区域。因此，也可以在生成在第一区域中包含的第二区域之后，对第二区域进行校正。
此外，其特征也可以在于，所述部分图像生成部件对所生成的部分图像进一步应用平滑化滤波器。
在生成了单纯地将第一校正像素和第二校正像素进行连结的像素串的情况下，存在沿生成了像素的方向产生边缘的情况。因此，通过进一步应用对部分图像进行平滑化的滤波器，能够减少边缘。
另外，本发明能够特定为包括上述部件的至少一部分的图像处理装置。此外，本发明也能够特定为上述图像处理装置进行的图像处理方法。此外，本发明也能够特定为使计算机执行上述图像处理方法的程序。上述处理或部件只要不产生技术性的矛盾，则能够自由组合而实施。
根据本发明，能够无不协调地去除在图像中包含的不需要的目标。
附图说明
图1是实施方式的图像处理装置的系统结构图。
图2是图像处理装置进行的处理的流程图。
图3是详细说明取得代表像素值的处理的流程图。
图4是提取去除对象的目标的处理的流程图。
图5(A)～图5(B)是面部图像以及眉图像的例。
图6是说明生成校正区域的处理的流程图。
图7是说明与眉毛对应的特征点的配置的图。
图8是表示基于特征点的位置而决定的第一眉毛区域的图。
图9是表示第一眉毛区域和第二眉毛区域的关系的图。
图10是说明生成部分图像的处理的图。
标号说明
10 图像处理装置
11 图像取得部
12 代表像素值取得部
13 目标提取部
14 校正区域生成部
15 部分图像生成部
16 图像校正部
具体实施方式
以下，参照附图说明本发明的优选的实施方式。
本实施方式的图像处理装置是取得包括面部的图像，并对该图像进行去除眉毛的校正的装置。图1是本实施方式的图像处理装置10的系统结构图。
(第一实施方式)
第一实施方式的图像处理装置10由图像取得部11、代表像素值取得部12、目标提取部13、校正区域生成部14、部分图像生成部15、图像校正部16构成。
图像取得部11是取得处理对象的图像(包括人的面部的图像。以下，称为面部图像)的部件，典型而言，是固定盘驱动器或闪存这样的存储装置。另外，图像取得部11既可以是从装置的外部取得图像的部件(例如，接口装置或无线通信装置)，也可以是经由镜头和摄像元件而拍摄图像的部件。此外，处理对象的图像也可以是与构成运动图像的各帧对应的图像。
另外，在本实施方式中，设面部图像的色空间为YCbCr，但也可以是RGB或Lab等。
代表像素值取得部12是取得代表在面部图像中包含的人物的皮肤的像素值(以下，称为代表像素值)的部件。具体而言，从与面部的表面对应的区域中采样多个像素，并基于采样结果，算出单一的像素值。关于具体的处理方法，在后面叙述。
目标提取部13是从面部图像中检测应去除的目标，并切出包括该目标的图像的部件。具体而言，从面部图像中检测与人的眼睛或眉毛对应的特征点，确定了存在眉毛的区域之后，剪裁该区域。要检测的特征点优选为与眉毛的轮廓对应的点、与外眼角、内眼角对应的点等。以后，将剪裁后的图像称为眉图像。
另外，在本实施方式中，举去除对象的目标为眉毛的例，但对象的目标只要是在面部的表面存在的目标，则也可以是黑痣或皱纹等。
校正区域生成部14是生成进行用于去除眉毛的图像处理的对象区域(以下，称为第一眉毛区域)和比第一眉毛区域大且包含第一眉毛区域的区域(以下，称为第二眉毛区域)的部件。关于第一眉毛区域以及第二眉毛区域的细节和具体的处理方法，在后面叙述。
部分图像生成部15是基于与校正区域生成部14生成的包含区域有关的信息和代表像素值取得部12取得的代表像素值，生成部分图像的部件。部分图像是用于通过合成到第一眉毛区域而进行眉毛的去除的图像。
图像校正部16是使用部分图像生成部15生成的部分图像，进行对于面部图像的校正的部件。通过图像校正部16进行校正，去除在面部图像中包含的不需要的目标(本实施方式中为眉毛)。
另外，以上说明的各部件既可以通过设计为专用的硬件而实现，也可以通过软件模块而实现。此外，也可以通过FPGA(现场可编程门阵列(Field Programmable GateArray))或ASIC(专用集成电路(Application Specific Integrated Circuit))等而实现，也可以通过它们的组合而实现。
在前述的部件作为软件而构成的情况下，通过在辅助存储装置中存储的程序加载到主存储装置中，由CPU执行，从而各部件发挥作用。(CPU、辅助存储装置、主存储装置都未图示)
此外，执行程序的部件并不限定于CPU，也可以是ISP(图像信号处理器(ImageSignal Processor))或DSP(数字信号处理器(Digital Signal Processor))、GPU(图形处理单元(Graphics Processing Unit))等。
接着，参照图像处理装置10进行的处理流程图即图2依次说明去除在所取得的面部图像中包含的眉毛的处理。图2的处理基于来自装置的用户的指示而开始。
首先，图像取得部11取得面部图像(步骤S11)。在本实施方式中，设从存储装置取得预先存储的面部图像，但也可以经由通信部件或摄像部件取得面部图像。
接着，代表像素值取得部12取得图像取得部11取得的面部图像和作为代表面部的像素值的代表像素值(步骤S12)。图3是详细表示在步骤S12中进行的处理的内容的流程图。
首先，取得面部的中心点(步骤S121)。面部的中心点例如能够设定为鼻头或鼻周围附近，但优选设定为难以受到化妆或照明的影响的部位。
接着，在所检测的中心点的附近配置用于进行像素的采样的点(以下，称为采样点)(步骤S122)。例如，在以在步骤S121中取得的中心点作为中心的16×16像素的区域，配置256个采样点。另外，采样点配置成与像素重叠。
接着，关于配置了采样点的每个像素，取得Y分量、Cb分量、Cr分量，生成各自的值的直方图(步骤S123)。
接着，关于生成的3个直方图，计算平均值μ，只提取3个值都属于以平均值作为中心的预定的范围的像素，并设为采样像素(步骤S124)。例如，在将标准偏差设为σ，将预定的范围设为±2σ的情况下，只提取Y分量、Cb分量、Cr分量全部存在于以平均值作为中心的±2σ的范围的采样像素。
接着，在步骤S125中，使用所提取的采样像素，决定皮肤区域的代表像素值。代表像素值能够使用采样像素的Y分量、Cb分量、Cr分量的各平均值等而决定，但也可以使用其他的方法而决定。
通过以上的处理，决定与面部对应的代表像素值。
接着，目标提取部13从面部图像中检测去除对象的眉毛，剪裁包括该眉毛的区域，从而生成眉图像(步骤S13)。图4是详细表示了在步骤S13中进行的处理的内容的流程图。
首先，在步骤S131中，提取与在图像中包含的面部对应的矩形区域(以下，称为面部区域)。由于从图像中提取面部区域的方法是公知的，所以省略详细的说明。
接着，在步骤S132中，检测在面部区域中包含的眉毛。在本实施方式中，通过已知的方法而检测与人的眉毛的轮廓对应的特征点、与外眼角、内眼角对应的特征点。另外，在特征点的检测中失败的情况下，也可以在进行滤波之后，通过匹配处理而检测眉毛。
接着，在步骤S133中，进行图像的归一化。具体而言，以与眉毛的左端和右端对应的特征点到达预定的坐标的方式，剪裁面部区域，生成预定的尺寸的矩形图像。此时，也可以使用任意的插补方法而进行分辨率的变换。此外，在面部图像中包含的眉毛不是水平的情况下，也可以在通过仿射变换等而进行以眉毛成为水平的方式旋转的处理之后进行剪裁。
另外，眉图像既可以是彩色图像，也可以是将彩色信息进行了分离的多个图像的组。例如，在面部图像的色空间为YCbCr的情况下，也可以以将Y分量和、Cb分量和、Cr分量分别分离的3张图像的组作为眉图像。
图5(A)是面部图像的例，图5(B)是眉图像的例。此外，图5(B)所示的黑点是表示眉毛的左端和右端的特征点。另外，在本例中，只将左边的眉毛作为处理对象，但在将双方的眉毛作为处理对象的情况下，在步骤S133以后重复通过本说明书而说明的处理即可。
接着，校正区域生成部14基于在步骤S13中生成的眉图像，生成校正区域(步骤S14)。图6是详细表示了在步骤S14中进行的处理的内容的流程图。
首先，在步骤S141中，生成第一眉毛区域。第一眉毛区域是，通过3个椭圆而表示了眉毛的形状的区域。
眉毛区域的生成使用在步骤S132中所检测的特征点而进行。图7是表示了位于眉毛的周边的特征点的位置关系的图。标号701是眉毛的轮廓线，图中的黑点表示特征点。在图7所示的特征点中，“外眼角点”以及“内眼角点”是以眼睛作为基准而检测的特征点，除此以外的点是以眉毛作为基准而检测的特征点(与眉毛的轮廓对应的特征点)。
第一眉毛区域由如图8的虚线所示的左圆(标号801)、中央圆(标号802)、右圆(标号803)这3个椭圆构成。
另外，在本实施方式中，使用3个椭圆而生成了第一眉毛区域，但只要第一眉毛区域是包括眉毛的区域，则也可以是例示的形状以外的形状，也可以通过例示的方法以外而生成。
椭圆能够由中心的X坐标以及Y坐标、长轴的矢量、短轴的矢量来定义。以下，关于使用特征点定义各个椭圆的方法，在后面叙述。
(1)左圆(标号801)的定义方法
中心X坐标：左点和左上点的中间点的X坐标
中心Y坐标：左下点和左上点的中间点的Y坐标
长轴矢量：将上点、和点(左点的X坐标、左点和外眼角点的中间点的Y坐标)连接的矢量
短轴矢量：与左圆的长轴矢量正交，长度等于上点和下点的距离的矢量
(2)中央圆(标号802)的定义方法
中心X坐标：左圆的中心点和右圆的中心点的中间点的X坐标
中心Y坐标：左圆的中心点和右圆的中心点的中间点的Y坐标
长轴矢量：将右点和左点连接的矢量
短轴矢量：与中央圆的长轴矢量正交，长度等于上点和下点的距离的矢量
(3)右圆(标号803)的定义方法
中心X坐标：右点和右上点的中间点的X坐标
中心Y坐标：右下点和右上点的中间点的Y坐标
长轴矢量：将上点、和点(右点的X坐标、右点和内眼角点的中间点的Y坐标)连接的矢量
短轴矢量：与右圆的长轴矢量正交，长度等于上点和下点的距离的矢量
通过以上定义的方法，生成第一眉毛区域。
接着，生成第一眉毛区域内切的椭圆区域(标号901)，并设为第二眉毛含区域(步骤S142)。图9是表示了第一眉毛区域和第二眉毛区域的位置关系的图。另外，在本例中，以第一眉毛区域内切的方式生成第二眉毛含区域，但只要能够生成包括第一眉毛区域且包括较多的皮肤区域的区域，则并不限定于这个方法。
接着，部分图像生成部15使用在步骤S12中生成的代表像素值和在步骤S14中生成的第一眉毛区域以及第二眉毛区域，生成用于校正面部图像的部分图像(步骤S15)。
在说明步骤S15的处理之前，说明本实施方式的图像处理装置校正面部图像的方法的概要。
通过步骤S14为止的处理，生成了第一眉毛区域和第二眉毛区域。由于眉毛存在的区域是第一眉毛区域，所以基本上通过在第一眉毛区域的内部配置肤色的像素(例如，具有代表像素值的像素)，能够去除眉毛。但是，若通过单一的像素值来涂抹第一眉毛区域的内部，则成为只有该部分没有阴影的不自然的图像。
因此，本实施方式的图像处理装置不是直接合成代表像素值，而是基于代表像素值，从眉毛的周边选择用于校正的像素(校正像素)，并基于校正像素，计算进行合成时的像素值。
通过这样，由于能够应用在眉毛的周围存在的阴影的信息，所以能够获得自然的校正结果。
参照图10，具体说明步骤S15的处理内容。图10的由虚线所示的区域是第一眉毛区域，由影线所示的区域是第二眉毛区域。
在本实施方式中，从第二眉毛区域的位于边界线上的像素起向外侧扫描预定的距离，确定亮度分量最接近代表像素值的亮度分量的像素。另外，亮度的相似度例如能够通过亮度的差分的绝对值而判定。
在图10的例中，设在从像素1001起向Y轴正方向进行了扫描的结果，在像素1003中有亮度最相似的像素。同样地，设在从像素1002起向Y轴负方向进行了扫描的结果，在像素1004中有亮度最相似的像素。
这里，将像素1003的色调设为A，将像素1004的色调设为B。
接着，生成将像素1003和像素1004连接的像素串。此时，以颜色从色调A到色调B依次转变的方式，进行线性插补而决定各像素的色调。由此，从像素1003到像素1004，生成色调通过渐变而逐渐地转变的像素串。
若关于全部的X坐标进行这个处理，则获得全面涂抹第一眉毛区域的图像。并且，最后对该图像应用平滑化滤波器。例如，也可以通过3×3的模糊滤波器等而施加模糊。由此，能够减轻纵向的边缘。
这样获得的图像是本发明中的部分图像。
生成的部分图像发送到图像校正部16，图像校正部16使用所取得的部分图像，执行去除在面部图像中包含的眉毛的处理(步骤S16)。
具体而言，将在面部图像的第二眉毛区域中包含的像素置换为部分图像具有的像素。另外，在面部图像分离成Y分量、Cb分量、Cr分量等的多个通道的情况下，只对各通道进行了处理之后，合并该多个通道即可。
校正后的图像被存储在未图示的存储装置中，或者发送到外部，提供给用户。
另外，图像的校正也可以只将在第二眉毛区域中包含的像素单纯地置换，但此时，存在境域的边界变得不自然的情况。因此，也可以在第二眉毛区域的边界附近，缓慢地改变在第二眉毛区域中包含的像素和部分图像具有的像素的混合比率。例如，也可以生成在第二眉毛区域的边界的外侧校正的程度缓慢地变弱的掩膜图像，并使用该掩膜图像而进行合成。
如以上所说明，本实施方式的图像处理装置使用位于第二眉毛区域的附近的像素，对第一眉毛区域的内部进行插补，从而去除眉毛。由于用于插补的像素是接近面部的代表像素值且具有关于眉毛周边的阴影的信息的像素，所以与通过单一色来进行插补的情况、或单纯地复制位于附近的像素的情况相比，能够进行自然的校正。
(变形例)
上述的实施方式终究是一例，本发明在不脱离其要旨的范围内能够进行适当变更而实施。
例如，在实施方式的说明中，举去除人的眉毛的例，但进行去除的对象只要是在人的面部中包含的对象，则也可以是任意的对象。例如，也可以是黑痣、斑点、鼻唇沟、皱纹、痣、黑眼圈儿、伤、治疗痕迹、胡须等。尤其，对象物越细长则能够进行越自然的校正。
另外，在将眉毛以外的目标作为去除对象的情况下，在步骤S141中，生成包括对象的目标的第一区域，且在步骤S142中，生成包括该第一区域且包括较多的皮肤区域的第二区域即可。
此外，在实施方式的说明中，基于所检测的特征点来决定了去除对象，但去除对象也可以由装置的用户指定。例如，也可以使用指示设备等而指定对象的区域。
此外，在实施方式的说明中，如图10所示，在沿Y轴的方向生成了像素串，但也可以沿与椭圆(第一眉毛区域)的短轴平行的方向生成像素串。生成像素串的方向越接近椭圆的短轴方向则进行插补的像素的数目越减少，所以能够获得更加自然的校正结果。
此外，在实施方式的说明中，以对在存储装置中存储的图像进行处理的图像处理装置为例进行了说明，但图像不必从存储装置取得，例如，也可以从装置的外部经由有线或者无线网络而取得。
此外，本发明也可以将拍摄图像的摄像部件和前述的图像处理装置进行组合，作为具有去除任意的目标的功能的摄像装置而实施。
此外，也可以在进行了去除眉毛的校正之后，进行新合成(描画)眉毛的校正。
Claims (5)
1.一种图像处理装置，进行从面部图像中去除目标的校正，所述面部图像是包括人物的面部的图像，其特征在于，包括：
图像取得部件，取得面部图像；
代表像素值决定部件，基于在所述面部图像中包含的像素，决定与面部对应的代表像素值，所述代表像素值是代表皮肤区域的像素值；
区域生成部件，生成第一区域，所述第一区域是包括所述目标的区域；
校正像素决定部件，基于与所述代表像素值的相似度，从位于所述第一区域的附近的多个像素中，通过从所述第一区域的位于边界线上的像素起向外侧扫描预定的距离，确定亮度分量最接近代表像素值的亮度分量的像素，选择用于校正的像素即校正像素，所述校正像素由隔着所述第一区域而相对的第一校正像素和第二校正像素的多个对构成；
部分图像生成部件，使用所述校正像素，生成部分图像，所述部分图像是用于置换与所述目标对应的像素的像素的集合；以及
校正部件，通过将所述部分图像合成到所述面部图像，从而进行校正，
所述部分图像生成部件通过按每个对生成像素串，从而生成所述第一区域被插补了的部分图像，该像素串将所述第一校正像素和所述第二校正像素进行连接，
在所述像素串中包含的像素的颜色从所述第一校正像素具有的颜色逐渐地变化为所述第二校正像素具有的颜色。
2.如权利要求1所述的图像处理装置，其特征在于，
所述第一区域是椭圆形状的区域，
所述第一校正像素以及第二校正像素是沿着所述椭圆形状的短轴方向、隔着所述第一区域而相对的像素。
3.如权利要求1或2所述的图像处理装置，其特征在于，
所述区域生成部件进一步生成包含在所述第一区域中且包括所述目标的第二区域，所述第二区域中包含的皮肤区域比所述第一区域小，
所述校正部件通过对所述第二区域的内部合成所述部分图像，从而校正所述面部图像。
4.如权利要求1所述的图像处理装置，其特征在于，
所述部分图像生成部件对所生成的部分图像进一步应用平滑化滤波器。
5.一种由图像处理装置进行的图像处理方法，所述图像处理装置进行从面部图像去除目标的校正，所述面部图像是包括人物的面部的图像，所述图像处理方法的特征在于，包括：
图像取得步骤，取得面部图像；
代表像素值决定步骤，基于在所述面部图像中包含的像素，决定与面部对应的代表像素值，所述代表像素值是代表皮肤区域的像素值；
区域生成步骤，生成第一区域，所述第一区域是包括所述目标的区域；
校正像素决定步骤，基于与所述代表像素值的相似度，从位于所述第一区域的附近的多个像素中，通过从所述第一区域的位于边界线上的像素起向外侧扫描预定的距离，确定亮度分量最接近代表像素值的亮度分量的像素，选择用于校正的像素即校正像素，所述校正像素由隔着所述第一区域而相对的第一校正像素和第二校正像素的多个对构成；
部分图像生成步骤，使用所述校正像素，生成部分图像，所述部分图像是用于置换与所述目标对应的像素的像素的集合；以及
校正步骤，通过将所述部分图像合成到所述面部图像，从而进行校正，所述部分图像生成步骤通过按每个对生成像素串，从而生成所述第一区域被插补了的部分图像，该像素串将所述第一校正像素和所述第二校正像素进行连接，
在所述像素串中包含的像素的颜色从所述第一校正像素具有的颜色逐渐地变化为所述第二校正像素具有的颜色。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015-049733 | 2015-03-12 | ||
| JP2015049733A JP6458569B2 (ja) | 2015-03-12 | 2015-03-12 | 画像処理装置および画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105979122A CN105979122A (zh) | 2016-09-28 |
| CN105979122B true CN105979122B (zh) | 2019-05-28 |
Family
ID=54360874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510711088.2A Active CN105979122B (zh) | 2015-03-12 | 2015-10-28 | 图像处理装置以及图像处理方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10248843B2 (zh) |
| EP (1) | EP3067865B1 (zh) |
| JP (1) | JP6458569B2 (zh) |
| KR (1) | KR20160110038A (zh) |
| CN (1) | CN105979122B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9984282B2 (en) * | 2015-12-10 | 2018-05-29 | Perfect Corp. | Systems and methods for distinguishing facial features for cosmetic application |
| JP7007551B2 (ja) * | 2017-07-06 | 2022-02-10 | 富士通株式会社 | 画像類否判断プログラム、画像類否判断装置および画像類否判断方法 |
| US10284789B2 (en) * | 2017-09-15 | 2019-05-07 | Sony Corporation | Dynamic generation of image of a scene based on removal of undesired object present in the scene |
| JP7003558B2 (ja) * | 2017-10-12 | 2022-01-20 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| JP7110657B2 (ja) | 2018-03-26 | 2022-08-02 | カシオ計算機株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP7194348B2 (ja) * | 2018-07-11 | 2022-12-22 | オムロン株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
| CN111667403B (zh) * | 2020-07-02 | 2023-04-18 | 北京爱笔科技有限公司 | 一种有遮挡的人脸图像的生成方法及装置 |
| CN113409185B (zh) * | 2021-05-14 | 2024-03-05 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3577154B2 (ja) | 1995-02-02 | 2004-10-13 | 松下電器産業株式会社 | 画像処理装置 |
| US6141431A (en) * | 1995-02-02 | 2000-10-31 | Matsushita Electric Industrial Co., Ltd. | Image processing apparatus |
| JP3510040B2 (ja) | 1996-03-26 | 2004-03-22 | コニカミノルタホールディングス株式会社 | 画像処理方法 |
| JP3444148B2 (ja) * | 1997-07-07 | 2003-09-08 | 株式会社ナビタイムジャパン | 眉描画方法 |
| JP4056594B2 (ja) * | 1997-08-29 | 2008-03-05 | 株式会社市川ソフトラボラトリー | 電子画像の色修正方法及びその色修正装置を内蔵する電子カメラ並びに色修正プログラムを記録した記録媒体 |
| JP3993029B2 (ja) * | 2002-06-24 | 2007-10-17 | デジタルファッション株式会社 | 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム及びそのプログラムを記録した記録媒体 |
| JP4457586B2 (ja) * | 2002-07-15 | 2010-04-28 | 株式会社ニコン | 赤目領域補正方法、赤目領域補正処理プログラム、記録媒体、画像処理装置 |
| JP4461789B2 (ja) * | 2003-03-20 | 2010-05-12 | オムロン株式会社 | 画像処理装置 |
| JP4519681B2 (ja) * | 2004-02-26 | 2010-08-04 | 大日本印刷株式会社 | 人物の唇領域マスクデータの作成方法および作成装置 |
| JP4507078B2 (ja) | 2004-07-21 | 2010-07-21 | ノーリツ鋼機株式会社 | 自動顔画像補正方法及び装置 |
| JP4799101B2 (ja) | 2005-09-26 | 2011-10-26 | 富士フイルム株式会社 | 画像処理方法および装置ならびにプログラム |
| JP5354842B2 (ja) | 2006-05-26 | 2013-11-27 | キヤノン株式会社 | 画像処理方法および画像処理装置 |
| JP4984247B2 (ja) | 2007-09-14 | 2012-07-25 | シンフォニアテクノロジー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP2011170838A (ja) | 2010-01-20 | 2011-09-01 | Sanyo Electric Co Ltd | 画像処理装置及び電子機器 |
| JP4862955B1 (ja) * | 2010-10-29 | 2012-01-25 | オムロン株式会社 | 画像処理装置、画像処理方法、および制御プログラム |
| JP2013161348A (ja) | 2012-02-07 | 2013-08-19 | Nikon Corp | 画像補正装置、方法、及びプログラム、並びに記録媒体 |
| JP5880121B2 (ja) * | 2012-02-21 | 2016-03-08 | 株式会社リコー | 画像処理装置 |
| CN104798101B (zh) * | 2013-08-30 | 2018-11-23 | 松下知识产权经营株式会社 | 化妆辅助装置、化妆辅助方法以及化妆辅助程序 |
-
2015
- 2015-03-12 JP JP2015049733A patent/JP6458569B2/ja active Active
- 2015-10-20 KR KR1020150146008A patent/KR20160110038A/ko not_active Application Discontinuation
- 2015-10-21 EP EP15190703.7A patent/EP3067865B1/en active Active
- 2015-10-28 CN CN201510711088.2A patent/CN105979122B/zh active Active
- 2015-11-02 US US14/930,333 patent/US10248843B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160110038A (ko) | 2016-09-21 |
| JP2016170612A (ja) | 2016-09-23 |
| EP3067865B1 (en) | 2020-07-08 |
| US20160267320A1 (en) | 2016-09-15 |
| US10248843B2 (en) | 2019-04-02 |
| EP3067865A1 (en) | 2016-09-14 |
| CN105979122A (zh) | 2016-09-28 |
| JP6458569B2 (ja) | 2019-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105979122B (zh) | 图像处理装置以及图像处理方法 | |
| US10304166B2 (en) | Eye beautification under inaccurate localization | |
| US7953251B1 (en) | Method and apparatus for detection and correction of flash-induced eye defects within digital images using preview or other reference images | |
| KR101446975B1 (ko) | 얼굴 검출 기능을 사용한 얼굴 및 피부의 자동 미화 | |
| US8520089B2 (en) | Eye beautification | |
| CN107862663A (zh) | 图像处理方法、装置、可读存储介质和计算机设备 | |
| JP6327071B2 (ja) | 画像処理装置および画像処理方法 | |
| CN107808136A (zh) | 图像处理方法、装置、可读存储介质和计算机设备 | |
| CN107818305A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| CN108009999A (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| JP2008518334A (ja) | 取得したデジタル画像での赤目検出方法及び装置 | |
| JP5949331B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
| JP2008234342A (ja) | 画像処理装置及び画像処理方法 | |
| CN107730444A (zh) | 图像处理方法、装置、可读存储介质和计算机设备 | |
| CN107886484A (zh) | 美颜方法、装置、计算机可读存储介质和电子设备 | |
| CN105825494A (zh) | 一种图像处理方法及移动终端 | |
| JP2008226194A (ja) | 瞳色補正装置およびプログラム | |
| CN106022205B (zh) | 图像处理装置以及图像处理方法 | |
| JP6111723B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
| KR101682830B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
| JP2007272435A (ja) | 顔特徴抽出装置及び顔特徴抽出方法 | |
| CN111526279B (zh) | 图像处理装置、图像处理方法和记录介质 | |
| TWI255429B (en) | Method for adjusting image acquisition parameters to optimize objection extraction | |
| JP2007087123A (ja) | 画像補正方法および装置並びにプログラム | |
| CN110766631A (zh) | 人脸图像的修饰方法、装置、电子设备和计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |