CN109658339B - 图像处理装置、图像处理方法以及记录介质 - Google Patents
图像处理装置、图像处理方法以及记录介质 Download PDFInfo
- Publication number
- CN109658339B CN109658339B CN201811181452.9A CN201811181452A CN109658339B CN 109658339 B CN109658339 B CN 109658339B CN 201811181452 A CN201811181452 A CN 201811181452A CN 109658339 B CN109658339 B CN 109658339B
- Authority
- CN
- China
- Prior art keywords
- image
- region
- specific
- area
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 100
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 206010008570 Chloasma Diseases 0.000 claims abstract description 50
- 208000003351 Melanosis Diseases 0.000 claims abstract description 50
- 208000007256 Nevus Diseases 0.000 claims abstract description 40
- 238000000034 method Methods 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 32
- 238000001514 detection method Methods 0.000 claims description 15
- 230000002093 peripheral effect Effects 0.000 claims description 10
- 206010027145 Melanocytic naevus Diseases 0.000 abstract description 39
- 239000000463 material Substances 0.000 abstract description 6
- 238000000605 extraction Methods 0.000 description 22
- 238000003384 imaging method Methods 0.000 description 9
- 238000002156 mixing Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 5
- 210000004209 hair Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000000611 regression analysis Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 235000019256 formaldehyde Nutrition 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 206010000496 acne Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 208000002874 Acne Vulgaris Diseases 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Classifications
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
提供图像处理装置、图像处理方法以及记录介质。根据从图像处理部(107)输入的脸部图像的图像数据,制作成为用于检测黄褐斑区域、痣区域的材料的材料数据。接下来,提取黄褐斑区域。接下来,提取痣区域。并且,对黄褐斑区域与痣区域进行整合,设定为插补处理的处理对象区域。
Description
技术领域
本发明涉及图像处理装置、图像处理方法以及记录介质。
背景技术
以往,提出了修正脸部图像的技术。例如在日本特开平11-73498号公报中记载了实施美肤化(除痣)、美白、美黑加工的方案。其中,关于除痣,记载了局部地检测与周边像素不同的区域并将其视为痣而与周边像素进行替换处理。
但是,上述技术由于没有正确地判别该检测到的区域是否为痣,所以在最差的情况下存在本来不希望去除的图像区域被去除的问题。
发明内容
本发明是针对这样的问题而做出的,目的在于能够高精度地设定处理对象的图像区域。
本发明的图像处理装置,特征在于,具备取得脸部图像的取得部、和控制部,所述控制部从所述取得单元取得的脸部图像生成由构成色彩空间的多种参数之一表现的图像,从生成的所述图像,设定多种尺寸而检测特异的图像区域,将检测到的所述图像区域设定为应实施规定处理的区域。
本发明的图像处理装置,特征在于,具备取得脸部图像的取得部、和控制部,所述控制部从所述取得部取得的脸部图像生成由构成色彩空间的多种参数之一表现的图像,从生成的所述图像检测特异的图像区域,根据检测到的所述特异的图像区域的大小,将该特异的图像区域设定为应实施规定处理的区域。
本发明的图像处理方法,其特征在于,包含:取得脸部图像的取得步骤;生成步骤,从在所述取得步骤中取得的脸部图像,生成由构成色彩空间的多种参数之一表现的图像;检测步骤,从在所述生成步骤中生成的图像,设定多种尺寸而检测特异的图像区域;设定步骤,将在所述检测步骤中检测到的图像区域设定为应实施规定处理的区域。
本发明的图像处理方法,其特征在于,包含:取得脸部图像的取得步骤;生成步骤,从在所述取得步骤中取得的脸部图像,生成由构成色彩空间的多种参数之一表现的图像;检测步骤,从在所述生成步骤中生成的图像,检测特异的图像区域;设定步骤,根据在所述检测步骤中检测到的特异的图像区域的大小,将该特异的图像区域设定为应实施规定处理的区域。
本发明的记录介质,记录使计算机作为以下各单元发挥功能的程序,取得单元,取得脸部图像;生成单元,从所述取得单元取得的脸部图像,生成由构成色彩空间的多种参数之一表现的图像;检测单元,从所述生成单元生成的图像,设定多种尺寸而检测特异的图像区域;设定单元,将所述检测单元检测到的图像区域设定为应实施规定处理的区域。
本发明的记录介质,记录使计算机作为以下各单元发挥功能的程序,取得单元,取得脸部图像;生成单元,从所述取得单元取得的脸部图像,生成由构成色彩空间的多种参数之一表现的图像;检测单元,从所述生成单元生成的图像检测特异的图像区域;设定单元,根据所述检测单元检测到的特异的图像区域的大小,将该特异的图像区域设定为应实施规定处理的区域。
附图说明
图1是表示本实施方式的摄像装置的功能性结构的框图。
图2是表示通过图1的区域设定部执行的材料数据的制作的处理顺序的流程图。
图3是表示通过图1的区域设定部执行的黄褐斑区域的提取的处理顺序的流程图。
图4是表示通过图1的区域设定部执行的痣区域的提取的处理顺序的流程图。
图5是表示通过图1的区域设定部执行的整合处理的提取的处理顺序的流程图。
图6是表示图1的插补处理部的各功能部的数据的流动的图。
具体实施方式
以下参照附图具体地对本发明的实施方式进行说明。另外,本发明并不限定于图示例。
[摄像装置1的结构]
图1是表示本实施方式的摄像装置1的功能性结构的框图。如图1所示,摄像装置1具备控制部101、存储部102、显示部103、通信部104、操作部105、摄像部106、图像处理部107、图像存储器108、区域设定部109、插补处理部110、点亮控制部111、发光部112等而构成。控制部101与各部通过总线连接。
控制部101具备CPU(Central Processing Unit)、RAM(Random Access Memory)等而构成,执行在存储部102中存储的各种程序来进行规定的运算及各部的控制。
存储部102由非易失性的半导体存储器、硬盘等构成。在存储部102中,存储有由控制部101执行的系统程序、各种处理程序、执行这些程序所需的数据等。
显示部103由LCD(Liquid Crystal Display:液晶显示器)等构成,按照来自控制部101的显示控制信号,显示例如表示由摄像部106拍摄的状态的实时取景图像、根据摄影指示而由摄像部106取得的图像等。
通信部104是用于通过无线或有线的方式与外部设备进行数据通信的接口。
操作部105具备以快门键为代表的各种功能键钮,受理用户对各键钮的按压输入并将其操作信息向控制部101输出。
摄像部106具备摄像镜头106a、由未图示的CCD(Charge Coupled Device)、CMOS(Complementary Metal-oxide Semiconductor)等图像传感器等构成的摄像元件、A/D变换电路等而构成,利用摄像元件将通过了摄像镜头106a的光学像变换为二维的图像信号,取得图像数据(RGB的图像数据)。
图像处理部107在对由摄像部106取得的RGB数据进行包含像素插补处理及γ校正处理的色彩处理后,变换为由数字值的亮度信号Y及色差信号Cb、Cr构成的图像数据(Y、U、V的各成分的图像数据)。另外,图像处理部107在设定了美肤模式的情况下对变换后的图像数据的肤色区域实施规定的平滑化处理等美肤处理。美肤模式是对利用摄像部106取得的图像数据实施美肤处理的模式。
图像存储器108例如由闪存等构成,是存储由摄像部106拍摄并由图像处理部107进行了处理的图像数据的记录单元。
区域设定部109,在设定了美肤模式的情况下,从由摄像部106取得并由图像处理部107进行了美肤处理的图像数据,检测特异区域(黄褐斑区域、痣区域),将检测到的特异区域设定为插补处理的处理对象区域。
插补处理部110对于由摄像部106取得并由图像处理部107进行了美肤处理的图像数据中的、由区域设定部109设定了的处理对象区域,实施插补处理。在本实施方式中,对于处理对象区域,使用周围的像素实施插补处理,由此实施将处理对象区域的黄褐斑、痣除去而使肌肤靓丽的处理。
区域设定部109、插补处理部110通过控制部101与在存储部102中存储的程序的协同动作来执行,但也可以通过专用的硬件来实现。
点亮控制部111(驱动器)与发光部112的各LED(Light Emitting Diode)分别连接,按照来自控制部101的指示,对发光部112的光量、点亮/熄灭进行控制。
发光部112由LED等构成,向被摄体照射光。
[摄像装置1的动作]
接下来,对摄像装置1的区域设定部109以及插补处理部110的动作进行说明。
区域设定部109制作材料数据,该材料数据成为用于在从图像处理部107输入且实施了规定的平滑化处理等美肤处理的图像数据(输入图像)中检测存在痤疮、疙瘩等的黄褐斑区域、痣区域的材料(参照图2)。
接下来,区域设定部109进行黄褐斑区域的提取(参照图3)以及痣区域的提取(参照图4)。
并且,区域设定部109对黄褐斑区域与痣区域进行整合,将该整合结果作为插补处理的处理对象区域进行设定(参照图5)。
插补处理部110对于由区域设定部109设定了的处理对象区域实施插补处理(参照图6)。
以下对由区域设定部109及插补处理部110执行的各处理进行说明。
(材料数据的制作)
首先,参照图2,对在区域设定部109中执行的材料数据的制作处理进行说明。
首先,区域设定部109对输入图像实施脸部区域检测处理(步骤A01)。脸部区域检测处理例如能够采用图案识别等公知的图像处理技术来进行。
接下来,区域设定部109将检测到的脸部区域的图像(脸部图像)切出并进行缩小化(步骤A02)。在这里,缩小化为256像素×256像素。
接下来,区域设定部109生成脸部图像中的脸部区域的轮廓信息(步骤A03),生成检测到的脸部区域(轮廓中)的Y成分图像数据及V成分图像数据(步骤A04)。
接下来,区域设定部109对于在步骤A04生成的V成分图像数据,使用在存储部102中存储的四个大小的环滤波器(ring filter)进行检测,将用其中的两个检测到的区域基于预先确定的阈值进行分类从而生成黄褐斑区域(强、中、弱)的图像(步骤A05)。这里,环滤波器是对某坐标的像素值与指定的周边坐标群的像素值的最大值进行比较、检测其差为基准值以上的坐标的环状的滤色器。
另外,区域设定部109对于在步骤A04生成的V成分图像数据进行边缘检测,分类为将检测到的正方向的边缘二值化而得到的明部、将负方向的边缘二值化而得到的暗部(步骤A06)。
另外,区域设定部109对于在步骤A04生成的Y成分图像数据检测负方向的边缘(A07),基于预先确定的不同的两个阈值将检测到的边缘区域二值化,作为黄褐斑用扩展区域、痣用扩展区域进行输出(步骤A08)。另外,区域设定部109对于在步骤A07检测到的边缘区域,使用在存储部102中存储的四个大小的环滤波器进行检测,基于预先确定的阈值将利用其中的两个检测到的区域进行分类,从而生成痣区域(强、中、弱)的图像(步骤A09)。
另外,区域设定部109将在步骤A04生成的Y成分图像数据平滑化,以预先确定的阈值进行二值化,生成Y成分暗部图像(步骤A10)。
另外,区域设定部109基于在步骤A03检测到的轮廓信息,确定眼、鼻、口、眉等特征部位,生成遮盖了特征部位的脸部区域的内侧的图像(步骤A12)。另外,区域设定部109将缩小化后的脸部区域的图像变换为灰阶(gray scale),生成皮肤映射数据(skin mappingdata)(步骤A11),并以规定的阈值将皮肤映射数据二值化(步骤A13)。
并且,生成满足在步骤A12生成的遮盖了特征部位的脸部区域的内侧的图像以及在步骤A13生成的以规定的阈值将皮肤映射数据二值化后的图像这两方的区域、即皮肤区域遮盖数据(步骤A14)。
通过以上的步骤A01~A14,生成用于检测黄褐斑区域、痣区域的材料数据。
(黄褐斑区域的提取)
接下来,参照图3,对在区域设定部109中提取黄褐斑区域的处理进行说明。
首先,区域设定部109判断在步骤A05生成的黄褐斑区域(弱)图像与在步骤A06生成的V成分图像数据的明部的提取结果之间的位置关系,在两者不重叠的情况下,将黄褐斑区域(弱)设定为黄褐斑区域1,在两者重叠的情况下,将包含两者中的至少一方的区域设定为黄褐斑区域1(步骤B01)。
接下来,区域设定部109判断在步骤B01生成的黄褐斑区域1与在步骤A08生成的黄褐斑用扩展区域之间的位置关系,在两者不重叠的情况下,设定为非黄褐斑区域,在两者重叠的情况下,将包含两者中的至少一方的区域设定为黄褐斑区域2(步骤B02)。
另外,区域设定部109提取在步骤A06生成的V成分图像数据的明部与暗部各自的较大区域(预先确定的尺寸以上的区域)并相加(步骤B04),并将在步骤B04得到的区域、在步骤A10生成的Y成分暗部图像、以及皮肤区域遮盖数据相加,将规定尺寸以下的区域排除(步骤B05)。接下来,将通过步骤B05得到的图像与在步骤A08生成的黄褐斑用扩展区域相加(步骤B06)。
接下来,区域设定部109对在步骤A08生成的痣用扩展区域进行开放(opening)处理(步骤B07),提取由通过步骤B06生成的图像与进行了开放处理的痣用扩展区域连结的区域的外侧(步骤S08),将提取的区域与通过步骤B06的相加得到的区域相加,去除规定尺寸以下的区域(步骤B09)。
并且,区域设定部109判断在步骤B02设定的黄褐斑区域2和通过步骤B09得到的区域之间的位置关系,在两者不重叠的情况下,将黄褐斑区域2设定为黄褐斑区域3,在两者重叠的情况下,设定为非黄褐斑区域(步骤B03)。
(痣区域的提取)
接下来,参照图4,说明在区域设定部109中提取痣区域的处理。
首先,区域设定部109判断在步骤A08生成的痣用扩展区域与在步骤A09生成的痣区域(弱)图像之间的位置关系,在两者不重叠的情况下,该区域设定为不是痣区域,在两者重叠的情况下,将包含两者中的至少一方的区域设定为痣区域1(步骤C01)。
接下来,区域设定部109判断痣区域1与通过步骤B09得到的区域之间的位置关系,在两者不重叠的情况下,将痣区域1设定为痣区域2,在两者重叠的情况下,设定为不是痣区域(步骤C02)。
(整合处理)
接下来,参照图5,说明对黄褐斑区域3与痣区域2进行整合并将它们作为插补处理的处理对象区域进行设定的整合处理。
首先,区域设定部109判断在步骤B03设定的黄褐斑区域3与在步骤C02设定的痣区域2的位置关系(步骤D01)。
对于黄褐斑区域3与痣区域2的位置重叠的区域(步骤D02:是),区域设定部109参照在步骤A05生成的黄褐斑区域(中/强)图像与在步骤A09生成的痣区域(中/强)图像(步骤D03),判断黄褐斑区域3与痣区域2双方的强度是相同还是不同(步骤D04)。
在判断为黄褐斑区域3和痣区域2的强度不同的情况下(步骤D04:不同),区域设定部109将强度较低的一方的区域排除(步骤D05),转入步骤D10。
在判断为黄褐斑区域3和痣区域2的强度相同的情况下(步骤D04:相同),区域设定部109对黄褐斑区域3和痣区域2的尺寸进行比较(步骤D06)。
在判断为黄褐斑区域3和痣区域2的尺寸不同的情况下(步骤D06:不同),区域设定部109将尺寸较小的一方的区域排除(步骤D07),转入步骤D10。
在判断为黄褐斑区域3和痣区域2的尺寸相同的情况下(步骤D06:相同),区域设定部109将黄褐斑区域3排除(步骤D08)并转入步骤D10。
另一方面,在步骤D02,对于黄褐斑区域3和痣区域2不重叠的区域(步骤D02:否),将两者的区域保持(步骤D09),转入步骤D10。
在步骤D10,区域设定部109将在步骤D5、D7、D8或D9得到的各区域,以在皮肤区域遮盖数据的区域内不与在步骤B09得到的区域重叠的方式放大区域,并设定为插补处理的处理对象区域(步骤D10)。
由此,以黄褐斑区域与痣区域不重复且不与眼、鼻、口等特定部位重叠的方式设定处理对象区域。
(插补处理)
接下来,参照图6,说明对于在区域设定部109中设定的处理对象区域、在插补处理部110中实施插补处理的流程。
另外,插补处理部110的功能被分类为边缘区域提取处理部110A、保护区域提取部110B、加入边缘(addition edge)生成部110C、区域插补部110D、原图像替换部110E这五个功能块。
首先,在边缘区域提取处理部110A中,将在步骤D10设定的各处理对象区域的矩形的位置信息调整为原图像(缩小前的脸部图像)的尺寸,在调整尺寸后的矩形的内侧生成椭圆遮盖(oval mask),使用生成的椭圆遮盖从原图像切出各处理对象区域(称为YUV区域)。
切出的YUV区域被分别输出至区域插补部110D、原图像替换部110E。
另外,在边缘区域提取处理部110A中,对于切出的各YUV区域,进行边缘提取,提取出的边缘区域被输出至加入边缘生成部110C。
另外,提取出的正方向的边缘被二值化,边缘区域及正方向边缘二值化信息被输出至保护区域提取部110B。
此外,提取出的负方向的边缘被二值化,以周边的边缘连结的方式将区域晕化而再度二值化,通过标记(labeling),提取与椭圆遮盖连结的区域和不与椭圆遮盖连结的区域即边缘调整对象。
并且,该标记结果被输出至保护区域提取部110B。
在保护区域提取部110B中,为了保护头发等与处理对象区域不同的区域,提取保护对象区域。
当从边缘区域提取部110A输入边缘区域、正方向边缘二值化信息、标记结果,在保护区域提取部110B中,被标记的区域根据尺寸而被赋值并设定了混合率(blendingratio),以使大的边缘浅而小的边缘深。
并且,正方向边缘二值化信息和设定了混合率的混合映射(blending map)被输出至加入边缘生成部110C。
另外,在保护区域提取部110B,与椭圆遮盖连结的区域被提取,通过封闭处理(closing processing)将不自然的区域排除。
另外,将与椭圆遮盖连结的区域中不包含的区域中的最大的区域作为插补对象区域提取,将提取出的大区域二值化(保护部为0、插补部为255)并输出至区域插补部110D和原图像替换部110E。
对于处理对象区域,由于仅将区域进行插补会变得不自然,所以在加入边缘生成部110C中,生成表现因插补而被除去的区域的分辨率的加入边缘。
在加入边缘生成部110C中,生成无边缘的平坦的灰度图像(grayimage),使用由保护区域提取部110B生成的混合映射,对在边缘区域提取处理部110A中提取出的边缘区域与灰度图像进行α混合。
α混合后的边缘图像被输出至区域插补部110D。
在区域插补部110D中,为了没有不适感地对处理对象区域进行插补,进行由保护区域提取部110B提取出的大区域的边界值的修正、和插补后的边缘加入(edge addition)。
在区域插补部110D中,首先,对在边缘区域提取处理部110A中切出的YUV区域的、与在保护区域提取部110B中提取出的大区域的插补部之间的边界值进行回归分析(regression analysis),并修正极端地偏离的值。
另外,通过回归分析算出无线性相关的区域的比例(可靠性),可靠性低者在插补时由于导致不适感而中止处理。
接下来,通过例如四点线性插补(four-point linear interpolation),对切出的YUV区域的插补部进行插补,利用平均滤波器(average filter),进行用来防止插补时的细微噪声的晕化(日语:ぼかし)处理。
另外,为了确保所需的分辨率,将在加入边缘生成部110C中生成的边缘图像加入到插补区域,将得到的插补图像输出至原图像替换部110E。
在原图像替换部110E中,为了防止插补后的不适感,决定了插补图像与原图像的混合率,并将原图像的处理对象区域替换为插补图像。
在原图像替换部110E中,首先,在边缘区域提取处理部110A中切出的YUV区域的图像与在区域插补部110D中生成的插补图像之间的差分被算出并以规定阈值被二值化(I1),提取变得比原图像暗的部分。
接下来,为了消除插补图像与原图像的边界,利用平均滤波器对从保护区域提取部110B输入的被二值化了的大区域的保护部进行晕化处理(I2),通过从I2减去I1而生成混合映射。
并且,利用生成的混合值进行α混合,将原图像的处理对象区域替换为插补图像。
这样,摄像装置1中的区域设定部109,基于从由摄像部106取得并被进行了美肤处理的图像数据的V成分图像数据中检测出的边缘、以及使用四个尺寸的环滤波器检测出的(基于与周边像素的像素值的关系检测出的)黄褐斑区域图像,来确定黄褐斑区域。
另外,基于从Y成分图像数据中检测出的边缘以及使用四个尺寸的环滤波器检测出的(基于与周边像素的像素值的关系检测出的)痣区域图像,来确定痣区域。
并且,在确定了的区域中,将排除了眼、眉毛、鼻、口等区域的区域设定为处理对象区域。
因此,不会将本应从处理对象中除外的特定的图像区域设定为处理对象区域,能够高精度地进行处理对象的图像区域的设定。
<变形例1>
另外,在上述实施方式中,在对切出的YUV区域的、与在保护区域提取部110B中提取出的大区域的插补部之间的边界值进行回归分析而算出的结果中,关于无线性相关、在插补时导致不适感的可能性高的算出结果,中止与之关联的区域插补处理。
但是,也可以取而代之,在处理对象区域周边的边界上依次1个像素1个像素地进行搜索,在急剧变暗的情况下判断为是有头发的区域即保护区域。
该情况下,也可以是,将即将急剧变暗之前搜索的肤色的像素替换为周边边界上的像素,或从其周边的像素利用插补处理生成新的像素并替换暗的像素,使用该替换的周边边界来进行基于线性插补算法的除去处理。
<变形例2>
此外,除了上述实施方式以外,由于在对痣、黄褐斑进行插补处理时若在该区域有头发则有可能错误地对头发的区域进行插补处理,因此也可以对处理对象区域中的痣区域、黄褐斑区域的边界上的像素进行搜索,提取与较近的像素相比值变小的边缘。
并且,其结果是,没有检测出边缘的痣区域中,使提取的边缘的强度减弱。
另外,没有检测出边缘的黄褐斑区域中,进行现有的边缘的追加。
这样,在处理区域被较粗的头发覆盖的情况下,边缘的强度强,并且比检测的边缘范围大,所以较粗的头发不被处理而保留。
以上对本发明的实施方式进行了说明,但是仅为本发明的摄像装置的较佳的一例而并不限定于此。
例如,在上述实施方式中,以对设定的处理对象区域实施插补处理的情况为例进行了说明,但对设定的处理对象区域进行的处理可以是其它处理,而并不限定于插补处理。
另外,在上述实施方式中,使用四种尺寸的环滤波器来检测黄褐斑区域、痣区域,但也可以不使用环滤波器,在Y成分、V成分的图像数据中检测特异区域(例如,将与周围不同的像素值(突发地产生的像素值)的区域等检测为特异区域),并根据该区域的大小来判断是否为黄褐斑或痣,将判断为黄褐斑或痣的特异区域设定为处理对象区域。
另外,在上述实施方式中,以本发明的图像处理装置被设置在摄像装置中的情况为例进行了说明,但本发明的图像处理装置也可以独立于摄像装置。
例如,也可以是对于从摄像装置接收到的图像数据进行使用图2~图6说明的处理的图像处理装置。
另外,在上述实施方式中,以在YUV的图像数据中设定处理对象区域并实施插补处理的情况为例进行了说明,但图像数据的种类并无特别限定。
此外,例如,在上述的说明中,作为有关本发明的程序的计算机可读取的介质,公开了使用硬盘、半导体非易失性存储器等的例子,但是并不限定于此例。作为其它的计算机可读取的介质,能够采用CD-ROM等可移动记录介质。另外,作为将有关本发明的程序的数据经由通信线路进行提供的介质,也可以采用载波。
此外,关于构成摄像装置的各装置的细部结构以及细部动作,也能够在不脱离发明宗旨的范围内适当地进行变更。
虽然对本发明的若干实施方式进行了说明,本发明的范围并不限定于上述的实施方式,而是包含权利要求书记载的发明的范围以及与其相当的范围。
Claims (6)
1.一种图像处理装置,其特征在于,具备:
取得部,取得脸部图像;以及
控制部,
所述控制部,
从所述取得部取得的脸部图像,生成由构成色彩空间的多种参数之一表现的图像,
根据生成的所述图像,设定比所述脸部图像的尺寸小的多种尺寸,检测在所述脸部图像中包含的与周边像素的关系特异的特异的图像区域,
将检测到的所述特异的图像区域设定为应实施规定处理的区域,
所述多种参数是定义了色差成分中的特定方向的参数,
所述控制部,基于检测到的所述特异的图像区域的大小、和由所述色差成分中的特定方向构成的图像的边缘的检测结果,将该特异的图像区域设定为应实施规定处理的区域,
所述控制部,
预先准备多种尺寸的环滤波器,
使用这些多种环滤波器,设定应检测的特异的图像区域的多种尺寸,检测在所述脸部图像中包含的与周边像素的关系特异的特异的图像区域,
所述环滤波器是对某坐标的像素值与指定的周边坐标群的像素值的最大值进行比较,检测其差为基准值以上的坐标的环状的滤色器。
2.根据权利要求1所述的图像处理装置,其特征在于,
所述特异的图像区域是脸部图像中的局部的黄褐斑区域。
3.根据权利要求1所述的图像处理装置,其特征在于,
所述多种参数是亮度成分,
所述控制部,基于检测到的所述特异的图像区域的大小、和所述亮度成分的边缘的检测结果,将该特异的图像区域设定为应实施规定处理的区域。
4.根据权利要求1所述的图像处理装置,其特征在于,
所述特异的图像区域是脸部图像中的存在痣的区域。
5.一种图像处理方法,其特征在于,包含:
取得步骤,取得脸部图像;
生成步骤,从在所述取得步骤中取得的脸部图像,生成由构成色彩空间的多种参数之一表现的图像;
检测步骤,根据在所述生成步骤中生成的图像,设定比所述脸部图像的尺寸小的多种尺寸,检测在所述脸部图像中包含的与周边像素的关系特异的特异的图像区域;以及
设定步骤,将在所述检测步骤中检测到的图像区域设定为应实施规定处理的区域,
所述多种参数是定义了色差成分中的特定方向的参数,
在所述设定步骤中,基于检测到的所述特异的图像区域的大小、和由所述色差成分中的特定方向构成的图像的边缘的检测结果,将该特异的图像区域设定为应实施规定处理的区域,
在所述检测步骤中,使用预先准备的多种环滤波器,设定应检测的特异的图像区域的多种尺寸,检测在所述脸部图像中包含的与周边像素的关系特异的特异的图像区域,
所述环滤波器是对某坐标的像素值与指定的周边坐标群的像素值的最大值进行比较,检测其差为基准值以上的坐标的环状的滤色器。
6.一种记录介质,是图像处理装置的计算机可读取的记录介质,记录有使该计算机作为以下各单元发挥功能的程序,
取得单元,取得脸部图像;
生成单元,从所述取得单元取得的脸部图像,生成由构成色彩空间的多种参数之一表现的图像;
检测单元,根据所述生成单元生成的图像,设定比所述脸部图像的尺寸小的多种尺寸,检测在所述脸部图像中包含的与周边像素的关系特异的特异的图像区域;以及
设定单元,将所述检测单元检测到的图像区域设定为应实施规定处理的区域,
所述多种参数是定义了色差成分中的特定方向的参数,
所述设定单元,基于检测到的所述特异的图像区域的大小、和由所述色差成分中的特定方向构成的图像的边缘的检测结果,将该特异的图像区域设定为应实施规定处理的区域,
所述检测单元,使用预先准备的多种环滤波器,设定应检测的特异的图像区域的多种尺寸,检测在所述脸部图像中包含的与周边像素的关系特异的特异的图像区域,
所述环滤波器是对某坐标的像素值与指定的周边坐标群的像素值的最大值进行比较,检测其差为基准值以上的坐标的环状的滤色器。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-198578 | 2017-10-12 | ||
JP2017198578A JP7003558B2 (ja) | 2017-10-12 | 2017-10-12 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109658339A CN109658339A (zh) | 2019-04-19 |
CN109658339B true CN109658339B (zh) | 2023-12-08 |
Family
ID=66097265
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811181452.9A Active CN109658339B (zh) | 2017-10-12 | 2018-10-11 | 图像处理装置、图像处理方法以及记录介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10872229B2 (zh) |
JP (1) | JP7003558B2 (zh) |
CN (1) | CN109658339B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113808027B (zh) | 2020-06-16 | 2023-10-17 | 北京达佳互联信息技术有限公司 | 一种人体图像处理方法、装置、电子设备及存储介质 |
CN113763286A (zh) * | 2021-09-27 | 2021-12-07 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1475969A (zh) * | 2002-05-31 | 2004-02-18 | ��˹���´﹫˾ | 用于增强人像图像的方法和系统 |
CN1525401A (zh) * | 2003-02-28 | 2004-09-01 | ��˹���´﹫˾ | 增强以批模式处理的肖像图像的方法和系统 |
JP2004303193A (ja) * | 2003-03-20 | 2004-10-28 | Omron Corp | 画像処理装置 |
JP2006018467A (ja) * | 2004-06-30 | 2006-01-19 | Canon Inc | 画像処理装置及び方法 |
CN101142812A (zh) * | 2005-03-15 | 2008-03-12 | 欧姆龙株式会社 | 图像处理装置和方法、程序、及记录介质 |
KR20100024263A (ko) * | 2008-08-25 | 2010-03-05 | 삼성디지털이미징 주식회사 | 디지털 영상 처리기에서 뷰티처리 장치 및 방법 |
CN101964874A (zh) * | 2009-07-23 | 2011-02-02 | 卡西欧计算机株式会社 | 图像处理装置及图像处理方法 |
CN102104728A (zh) * | 2009-12-17 | 2011-06-22 | 三洋电机株式会社 | 图像处理装置以及摄像装置 |
CN102236896A (zh) * | 2010-03-30 | 2011-11-09 | 株式会社尼康 | 图像处理方法及装置、计算机可读取存储介质及摄影装置 |
JP2012044243A (ja) * | 2010-08-12 | 2012-03-01 | Nikon Corp | 画像処理装置、撮像装置及び画像処理プログラム |
CN102436581A (zh) * | 2010-09-29 | 2012-05-02 | 株式会社尼康 | 图像处理装置以及图像处理方法 |
CN103037156A (zh) * | 2011-09-29 | 2013-04-10 | 卡西欧计算机株式会社 | 图像处理装置以及图像处理方法 |
JP2013090751A (ja) * | 2011-10-25 | 2013-05-16 | Fujifilm Corp | シミ検出方法、シミ検出装置およびシミ検出プログラム、並びに、シミ分類方法、シミ分類装置およびシミ分類プログラム |
CN104125442A (zh) * | 2013-04-26 | 2014-10-29 | 索尼公司 | 图像处理方法、装置以及电子设备 |
CN104469138A (zh) * | 2013-09-20 | 2015-03-25 | 卡西欧计算机株式会社 | 图像处理装置以及图像处理方法 |
JP2016051302A (ja) * | 2014-08-29 | 2016-04-11 | カシオ計算機株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
CN105654445A (zh) * | 2016-01-28 | 2016-06-08 | 东南大学 | 一种基于小波变换边缘检测的手机图像去噪方法 |
CN105979122A (zh) * | 2015-03-12 | 2016-09-28 | 欧姆龙株式会社 | 图像处理装置以及图像处理方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4056594B2 (ja) | 1997-08-29 | 2008-03-05 | 株式会社市川ソフトラボラトリー | 電子画像の色修正方法及びその色修正装置を内蔵する電子カメラ並びに色修正プログラムを記録した記録媒体 |
JP2000105815A (ja) | 1998-09-28 | 2000-04-11 | Yasuhiko Arakawa | 顔画像処理方法および顔画像処理装置 |
JP2013012089A (ja) | 2011-06-29 | 2013-01-17 | Nikon Corp | 画像処理装置、カメラおよび画像処理プログラム |
JP6379519B2 (ja) | 2014-02-27 | 2018-08-29 | カシオ計算機株式会社 | 肌処理装置、肌処理方法及びプログラム |
JP6201938B2 (ja) * | 2014-09-09 | 2017-09-27 | カシオ計算機株式会社 | 画像補正装置、画像補正方法及びプログラム |
JP6550827B2 (ja) | 2015-03-23 | 2019-07-31 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2018049564A (ja) * | 2016-09-23 | 2018-03-29 | カシオ計算機株式会社 | 検出装置、及び検出方法 |
JP2017130976A (ja) | 2017-04-17 | 2017-07-27 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
-
2017
- 2017-10-12 JP JP2017198578A patent/JP7003558B2/ja active Active
-
2018
- 2018-10-11 CN CN201811181452.9A patent/CN109658339B/zh active Active
- 2018-10-12 US US16/159,292 patent/US10872229B2/en active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1475969A (zh) * | 2002-05-31 | 2004-02-18 | ��˹���´﹫˾ | 用于增强人像图像的方法和系统 |
CN1525401A (zh) * | 2003-02-28 | 2004-09-01 | ��˹���´﹫˾ | 增强以批模式处理的肖像图像的方法和系统 |
JP2004303193A (ja) * | 2003-03-20 | 2004-10-28 | Omron Corp | 画像処理装置 |
JP2006018467A (ja) * | 2004-06-30 | 2006-01-19 | Canon Inc | 画像処理装置及び方法 |
CN101142812A (zh) * | 2005-03-15 | 2008-03-12 | 欧姆龙株式会社 | 图像处理装置和方法、程序、及记录介质 |
KR20100024263A (ko) * | 2008-08-25 | 2010-03-05 | 삼성디지털이미징 주식회사 | 디지털 영상 처리기에서 뷰티처리 장치 및 방법 |
CN101964874A (zh) * | 2009-07-23 | 2011-02-02 | 卡西欧计算机株式会社 | 图像处理装置及图像处理方法 |
CN102104728A (zh) * | 2009-12-17 | 2011-06-22 | 三洋电机株式会社 | 图像处理装置以及摄像装置 |
CN102236896A (zh) * | 2010-03-30 | 2011-11-09 | 株式会社尼康 | 图像处理方法及装置、计算机可读取存储介质及摄影装置 |
JP2012044243A (ja) * | 2010-08-12 | 2012-03-01 | Nikon Corp | 画像処理装置、撮像装置及び画像処理プログラム |
CN102436581A (zh) * | 2010-09-29 | 2012-05-02 | 株式会社尼康 | 图像处理装置以及图像处理方法 |
CN103037156A (zh) * | 2011-09-29 | 2013-04-10 | 卡西欧计算机株式会社 | 图像处理装置以及图像处理方法 |
JP2013090751A (ja) * | 2011-10-25 | 2013-05-16 | Fujifilm Corp | シミ検出方法、シミ検出装置およびシミ検出プログラム、並びに、シミ分類方法、シミ分類装置およびシミ分類プログラム |
CN104125442A (zh) * | 2013-04-26 | 2014-10-29 | 索尼公司 | 图像处理方法、装置以及电子设备 |
CN104469138A (zh) * | 2013-09-20 | 2015-03-25 | 卡西欧计算机株式会社 | 图像处理装置以及图像处理方法 |
JP2016051302A (ja) * | 2014-08-29 | 2016-04-11 | カシオ計算機株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
CN105979122A (zh) * | 2015-03-12 | 2016-09-28 | 欧姆龙株式会社 | 图像处理装置以及图像处理方法 |
CN105654445A (zh) * | 2016-01-28 | 2016-06-08 | 东南大学 | 一种基于小波变换边缘检测的手机图像去噪方法 |
Non-Patent Citations (2)
Title |
---|
基于具有面部明显色差特征的人脸识别方法研究;王哲;《中国优秀硕士学位论文全文数据库 信息科技辑》;I138-846 * |
基于图像分析的皮肤色斑检测技术研究;刘喜凤;《中国优秀硕士学位论文全文数据库 信息科技辑》;I138-835 * |
Also Published As
Publication number | Publication date |
---|---|
CN109658339A (zh) | 2019-04-19 |
US20190114466A1 (en) | 2019-04-18 |
JP7003558B2 (ja) | 2022-01-20 |
US10872229B2 (en) | 2020-12-22 |
JP2019074795A (ja) | 2019-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10769435B2 (en) | Method of avoiding biometrically identifying a subject within an image | |
KR102175164B1 (ko) | 이미지의 화질 개선을 위한 장치 및 방법 | |
JP5538909B2 (ja) | 検出装置およびその方法 | |
KR101614193B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 제어 프로그램이 기록된 기록 매체 | |
US10719704B2 (en) | Information processing device, information processing method, and computer-readable storage medium storing a program that extracts and corrects facial features in an image | |
EP2615577A1 (en) | Image-processing device, image-processing method, and control program | |
KR101590868B1 (ko) | 피부색을 보정하는 영상 처리 방법, 장치, 디지털 촬영 장치, 및 컴퓨터 판독가능 저장매체 | |
US10248843B2 (en) | Image processing apparatus and method for removing a facial object | |
WO2012000800A1 (en) | Eye beautification | |
US10964070B2 (en) | Augmented reality display method of applying color of hair to eyebrows | |
CN109658339B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
WO2018233637A1 (zh) | 视频处理方法、装置、电子设备及存储介质 | |
CN107705279B (zh) | 实现双重曝光的图像数据实时处理方法及装置、计算设备 | |
JP2000339471A (ja) | 画像抽出方法およびその装置 | |
US9600735B2 (en) | Image processing device, image processing method, program recording medium | |
JP2009111947A (ja) | 画像補正装置 | |
JP2000268172A (ja) | 画像正規化装置 | |
JP7400198B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
Corcoran et al. | Detection and repair of flash-eye in handheld devices | |
JP6942752B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP7409440B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN111047520B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
JP2020160489A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2010199866A (ja) | 画像処理装置 | |
CN117750212A (zh) | 一种处理方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |