CN1777913A - 图像处理装置 - Google Patents
图像处理装置 Download PDFInfo
- Publication number
- CN1777913A CN1777913A CN 200480010741 CN200480010741A CN1777913A CN 1777913 A CN1777913 A CN 1777913A CN 200480010741 CN200480010741 CN 200480010741 CN 200480010741 A CN200480010741 A CN 200480010741A CN 1777913 A CN1777913 A CN 1777913A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- zone
- colouring component
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 157
- 238000000034 method Methods 0.000 claims description 148
- 230000008569 process Effects 0.000 claims description 143
- 238000004040 coloring Methods 0.000 claims description 98
- 208000002173 dizziness Diseases 0.000 claims description 80
- 230000003750 conditioning effect Effects 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims 5
- 238000005728 strengthening Methods 0.000 claims 2
- 230000003313 weakening effect Effects 0.000 claims 2
- 238000003702 image correction Methods 0.000 abstract description 53
- 239000000284 extract Substances 0.000 description 21
- 238000000605 extraction Methods 0.000 description 21
- 238000001914 filtration Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 238000005070 sampling Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 210000004709 eyebrow Anatomy 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000037303 wrinkles Effects 0.000 description 3
- 208000002874 Acne Vulgaris Diseases 0.000 description 2
- 206010000496 acne Diseases 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000036512 infertility Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008719 thickening Effects 0.000 description 2
- 241000983670 Ficus natalensis subsp. leprieurii Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 206010042772 syncope Diseases 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Abstract
自动指定成为图像校正处理对象的区域,例如包含人物像的图像中的人物像的区域,仅对所指定的区域实施晕映处理等的图像校正处理。
Description
技术领域
本发明涉及应用于对所拍摄的图像,特别是以人物为被摄体的图像的图像处理的有效技术。
背景技术
以往,具有通过对以人物为被摄体的图像进行图像校正,使被摄体的皮肤显现光滑美观的技术。作为这种图像校正的具体例子,具有:通过使用ε滤波器,对图像整体的边缘和亮度差实施局部晕映处理的技术,以及仅对图像整体中的肤色分量的区域实施晕映处理的技术(例如,参照专利文献1)。
并且,作为以修正/去除脸图像内所包含的不期望的分量,例如皱纹、污点、皮肤粗糙、粉刺等为目的的技术,还具有以下技术(参照专利文献2)。
首先,针对形成以脸为主体的图像的各像素的信号值,差分检测部检测各像素与周围各像素的信号电平差。阈值判定部把该信号电平差与基准值进行比较。运算部根据该比较结果使信号电平差与规定系数相乘,并与各像素值相加。根据该相加结果,通过按照像素的位置和图像选择比较中的基准值和乘法部中的系数,可获得消除了脸图像内所包含的不期望的分量的图像。
并且,作为现有技术,具有针对人物图像的身体部分,特别是其脸部分和头部分,能够在不使装饰重叠之后附加装饰的人物图像处理装置(参照专利文献3)。该人物图像处理装置具有:根据构成人物图像的身体部分的至少一个要素设定身体部分区域的位置和范围的单元,以及把装饰仅附加给除了身体部分区域以外的背景区域的单元。并且,该人物图像处理装置往往也被构成为具有:根据构成人物图像的身体部分的至少一个要素设定身体部分区域的位置和范围的单元,以及沿着身体部分区域的外周围附加装饰的单元。
[专利文献1]
特许第3319727号公报
[专利文献2]
特开2000-105815号公报
[专利文献3]
特开2000-022929号公报
在现有技术中,在进行对被摄体的皮肤的晕映处理的情况下,以图像内存在的具有与肤色接近的分量的颜色的物体为对象执行晕映处理。因此,要防止连具有与肤色不同的分量的颜色的物体都成为晕映处理对象而模糊。
然而,在现有技术中,在图像内存在具有与肤色接近的分量的颜色的物体或背景的情况下,连该部分都成为晕映处理对象。因此,具有的问题是,连被摄体的人物以外的具有与肤色接近的分量的颜色的背景都模糊了。
并且,在现有技术中,预先固定地保持成为晕映处理对象的肤色分量。因此,在现有技术中,往往不能与由人种或个人差异所引起的肤色差异对应起来。在这种情况下,往往不能准确实施对皮肤区域的晕映处理。
并且,上述晕映处理中的问题不限于晕映处理,在其他图像处理中也成为问题。
发明内容
在本发明中,目的是解决这种问题,防止对本来不成为晕映处理等的图像处理的对象的区域实施图像处理。
例如,目的是通过仅限于成为被摄体的人物的指定区域(例如脸的皮肤部分)进行图像处理(例如晕映处理),防止具有与肤色接近的分量的颜色的背景因图像处理而处于不自然的状态(例如变得模糊)。
并且,例如,目的是通过从图像中指定用于决定成为图像处理(例如晕映处理)对象的区域的色分量,例如肤色分量,来实施与由人种或个人差异所引起的肤色差异对应的图像处理。
为了解决上述问题,本发明采用以下结构。本发明的第一方式是图像处理装置,具有规定区域指定单元和图像生成单元。
规定区域指定单元指定以作为图像中的被摄体的人物的身体部分为基准所决定的规定区域。规定区域指定单元可以被构成为由用户通过手动来指定规定区域。即,规定区域指定单元可以被构成为,根据由用户所指定的图像中的区域来指定上述身体部分,以所指定的该身体部分为基准还指定上述规定区域。例如,规定区域指定单元可以被构成为把由用户所指定的区域指定为身体部分,也可以被构成为根据由用户所指定的点、区域、颜色、形状等指定身体部分。而且,规定区域指定单元可以被构成为以这样指定的身体部分为基准来指定规定区域。
并且,规定区域指定单元可以被构成为独立于用户的输入来指定规定区域。例如,规定区域指定单元可以被构成为具有:检测作为图像中的被摄体的人物的身体部分的检测单元,以及以由检测单元所检测的身体部分为基准来指定规定区域的指定单元。
具体地说,检测单元检测被摄体的身体部分的位置和范围(大小)等。“身体部分”是指头、脸、手、足、躯体等的人物身体的一部分或整体。检测单元使用现有的任何单元来构成均可。
图像生成单元生成对由规定区域指定单元所指定的规定区域实施了图像处理的图像。这里所说的“图像处理”是操作图像的处理。作为图像处理的例子,具有图像校正、纹理测绘等的处理。
并且,这里所说的“图像校正”,是指不改变图像的被摄体的本质来操作图像的处理。作为图像校正的例子,具有晕映处理、边缘增强、亮度校正、色校正等。晕映处理在此是指用于通过使皮肤的皱纹或污点等的图像部分晕映,使成为被摄体的人物的皮肤平滑显现的处理。晕映处理是使用例如称为平滑化的技术进行的处理,通过去除皮肤图像中的高频分量来实施。例如,具有使用移动平均滤波器、加权平均滤波器(包含高斯滤波器)或ε滤波器的方法。
根据本发明的第一方式,可取得对由规定区域指定单元所指定的规定区域以外的部分不实施图像处理的图像。即,可取得仅限于以成为被摄体的人物的身体部分为基准的规定区域实施了图像处理的图像。因此,可防止与应成为图像处理对象的被摄体不同的部分(例如背景)因图像处理而处于不自然的状态。换句话说,可防止对用户不想要的部分实施图像处理。
例如,在对图像所实施的图像处理是晕映处理的情况下,可取得对由规定区域指定单元所指定的规定区域以外的部分不实施晕映处理的图像。换句话说,可取得仅限于成为被摄体的人物的规定区域实施了晕映处理的图像。因此,可防止与被摄体不同的部分(例如背景)因晕映处理而成为模糊的图像。
图像生成单元可以被构成为,生成实施了基于从成为由规定区域指定单元所指定的规定区域的基准的身体部分所抽出的作为被摄体的人物的肤色的色分量的图像处理的图像。
通过按上述方式构成图像生成单元,执行与作为被摄体的人物各自的肤色对应的图像处理。因此,与由人种或个人差异所引起的肤色差异对应,可取得对不同肤色的被摄体各自准确实施了图像处理的图像。
作为取得相同效果的结构,图像生成单元可以被构成为,生成对由规定区域指定单元所指定的规定区域内的区域,即具有与主要占据成为该规定区域的基准的身体部分的色分量相等或接近的色分量的区域实施了图像处理的图像。
在本发明的第二方式中,第一方式中的图像生成单元被构成为具有强度值计算单元、掩模单元、图像处理单元以及色分量计算单元。
强度值计算单元针对成为处理对象的图像的各像素,算出表示各像素的色分量如何接近预定的肤色分量的强度值。色分量可以是基于任何色空间的值,具有例如Lab值、RGB值、xy值等。肤色分量是预定的值,被存储在例如图像校正装置的RAM(Random Access Memory:随机存取存储器)内。例如,强度值由从0到255的256级灰度值来表现。例如,强度值是0的情况下表示最远离肤色分量,是255的情况下表示最接近肤色分量(是肤色分量自身)。
掩模单元把由规定区域指定单元所指定的规定区域以外的像素的强度值设定为表示远离肤色分量的值。
例如,可应用0作为表示最远离肤色分量的值,可应用255作为表示最接近肤色分量的值。掩模单元生成用于对规定区域以外的区域进行掩模处理的掩模图像,通过进行所生成的掩模图像和表示各像素的强度值的图像的乘法处理,可以按上述方式设定强度值。在上述例示的情况下,被构成为,规定区域以外的区域的强度值是0,规定区域内的强度值是大于等于0的值。
图像处理单元对成为处理对象的图像实施图像处理。图像处理单元实施的图像处理的定义与在图像生成单元的说明中所定义的图像处理相同。
在色分量计算单元中,各像素中的强度值越是表示远离肤色分量,就越是能算出接近上述原图像的像素的色分量的色分量作为该像素的新色分量,各像素中的强度值越是表示接近肤色分量,就越是能算出接近由上述图像处理单元所生成的图像的像素的色分量作为该像素的新色分量。色分量计算单元根据由强度值计算单元和掩模单元所算出的强度值,算出各像素的新色分量(即成为输出的图像的各像素的色分量)。
例如,在图像处理是晕映处理的情况下,色分量计算单元被构成为,生成其强度值越大,就越是强烈地反映晕映图像(对原图像实施晕映处理后所获得的图像)的色分量的图像。并且,色分量计算单元被构成为,生成其强度值越小,就越是强烈地反映原图像的色分量的图像。通过这样构成,可防止图像处理的影响及于肤色以外的区域等。在要最显著地获得这种效果的情况下,可把规定区域以外的像素的强度值设定成表示最远离肤色分量的值。
在本发明的第三方式中,本发明的第一方式中的图像生成单元被构成为具有强度值计算单元、掩模单元以及图像处理单元。在本发明的第三方式中,图像生成单元不具有色分量计算单元,由图像处理单元算出成为输出的图像的色分量。第三方式中的强度值计算单元和掩模单元与第二方式中的强度值计算单元和掩模单元相同。另一方面,第三方式中的图像处理单元针对成为处理对象的图像,各像素中的强度值越是表示远离肤色分量,就越是减弱图像处理的影响而实施对该像素的图像处理,各像素中的强度值越是表示接近肤色分量,就越是增强图像处理的影响而实施对该像素的图像处理。该图像处理单元根据由强度值计算单元和掩模单元所获得的该图像的各像素的强度值实施图像处理。这样,在本发明的第三方式中,没有必要具有色分量计算单元。因此,可实现装置的小型化、处理的高速化、成本削减等。
在本发明的第四方式中,图像生成单元具有强度值计算单元、图像处理单元以及色分量计算单元。在第四方式中,强度值计算单元所算出的强度值的定义与第二方式不同。在第四方式中,强度值表示各像素的色分量多么接近主要占据成为规定区域的基准的身体部分的色分量。因此,第四方式中的强度值计算单元针对成为处理对象的图像的各像素,算出表示各像素的色分量多么接近主要占据成为规定区域的基准的身体部分的色分量的强度值。
并且,在第四方式中,与第二方式的不同点是,可以具有或不具有掩模单元。在不具有掩模单元的情况下,当然,色分量计算单元不使用掩模图像中的强度值而算出各像素的新色分量。并且,在不具有掩模单元的情况下,图像处理单元被构成为对成为处理对象的图像的规定区域实施图像处理。
除了上述三点以外,第四方式和第二方式取相同的构成。在第四方式中,与第二方式不同,强度值随着规定区域指定单元的处理结果而变化。即,执行与作为被摄体的人物各自的身体部分中的肤色对应的图像处理。因此,与由人种或个人差异所引起的肤色差异对应地,可对不同肤色的被摄体分别准确地实施图像处理。
在本发明的第五方式中,图像生成单元被构成为具有强度值计算单元和图像处理单元。并且,在本发明的第五方式中,与本发明的第三方式一样,没有必要具有色分量计算单元,使用图像处理单元算出成为输出的图像的色分量。因此,根据本发明的第五方式,与本发明的第三方式一样,可实现装置的小型化、处理的高速化、成本削减等。然而,在本发明的第五方式中,与本发明的第四方式一样,强度值不是以预定的肤色分量为基准来求出的,而是根据主要占据成为规定区域的基准的身体部分的色分量来求出的。因此,根据本发明的第五方式,与由人种或个人差异所引起的肤色差异对应地,可对不同肤色的被摄体分别准确地实施图像处理。并且,在本发明的第五方式中,与第四方式一样,可以具有或不具有掩模单元。
在本发明的第二至第五方式中,图像处理单元可以被构成为对具有规定范围的强度值的像素不执行图像处理。“规定范围的强度值”是指表示不期望成为图像处理对象的区域的强度值。作为具体的例子,具有表示最远离肤色分量或主要占据成为规定区域的基准的身体部分的色分量的强度值。第二和第四方式中的色分量计算单元及第三和第五方式中的图像处理单元往往被设定成针对具有规定范围的强度值的像素生成不出现图像处理影响的输出图像。在这种设定的情况下,没有必要对具有规定范围的强度值的像素特意执行图像处理。因此,通过省略对这种像素的图像处理,可削减图像处理单元的图像处理所需要的时间。特别是,在不这样构成的第二和第四方式中,图像处理单元不根据各像素的强度值来实施图像处理。而且,与强度值对应的处理由色分量计算单元执行,其结果是,往往产生不完全反映由图像处理单元所实施的图像处理的像素。因此,这样,图像处理单元根据强度值判断是否实施图像处理的构成在第二和第四方式中是特别有效的。
在本发明的第六方式中,图像生成单元根据成为由规定区域指定单元所指定的规定区域的基准的身体部分的大小来决定所实施的图像处理的内容。例如,图像生成单元根据成为规定区域的基准的身体部分的大小来决定实施规定图像处理时的参数。作为这种参数的例子,具有:晕映处理的晕映程度(更具体地说,在使用高斯滤波器执行晕映处理的情况下,其半径的大小等),边缘增强程度,亮度校正程度等。作为图像处理种类的决定例,具有是否执行边缘增强、是否执行亮度校正、是否执行晕映处理等的判断。
以晕映处理为例进行说明,当对小区域过度执行完晕映处理时,区域整体模糊,不能获得期望图像(例如对皮肤进行了适度平滑校正的图像)。另一方面,当对大区域执行完轻微的晕映处理时,应晕映的部位(例如,脸图像内所包含的不期望分量,例如皱纹、污点、皮肤粗糙、粉刺等)得不到充分晕映,不能获得期望图像。对于边缘增强程度等的其他图像处理也是一样。对于该问题,在本发明的第六方式中,决定和执行与成为规定区域的基准的身体部分的大小对应的恰当的图像处理的内容,可获得用户期望的图像。
并且,图像生成单元可以被构成为根据由检测单元所检测的身体部分的大小来决定所实施的图像处理的内容。
在本发明的第七方式中,还具有要素抽出单元。要素抽出单元是构成成为处理对象的图像中的被摄体的人物的身体部分的要素,即,将规定区域内所包含的要素抽出至少一个。“要素”是指构成身体部分的部位。作为这种要素的例子,具有脸的要件(具体地说,具有眼、睑、唇、鼻、鼻孔、眉、睫毛等)。在此情况下,脸是身体部分,脸的要件是要素。现有的任何技术可以应用于要素抽出单元。
在本发明的第七方式中,图像生成单元限制并实施对以由要素抽出单元所抽出的要素为基准所决定的要素区域的图像处理。具体地说,图像生成单元可以被构成为对上述规定区域不进行图像处理。并且,图像生成单元可以被构成为,在对上述规定区域实施图像处理时,实施与实施图像处理的其他区域相比参数不同的(图像处理程度受到抑制的)处理。
在本发明的第七方式中,图像生成单元对以由要素抽出单元所抽出的要素为基准所决定的要素区域实施受限制的图像处理。因此,对要素区域的图像处理的影响受到抑制。在本发明的其他方式中,根据色分量和成为规定区域的基准的身体部分等决定图像处理的内容。在此情况下,针对在规定区域内具有肤色分量或接近主要占据成为该规定区域的基准的身体部分的色分量的色分量的像素,即使对与上述要素相当的像素也无条件地实施图像处理。然而,实际上具有要限制(要抑制)对这些要素的图像处理的影响的要求。例如,根据化妆方法,唇色(口红色)和眉毛等的要素往往由接近肤色分量的色分量构成。在这种情况下,往往不期望对各要素实施与其他皮肤部分相同的图像处理(例如晕映处理)。在这种情况下,本发明的第七方式是有效的。即,可准确地抑制对不能由强度值计算单元和掩模单元充分地区别的要素的图像处理。
在本发明的第二至第五方式中,图像生成单元可以被构成为还具有边缘掩模单元。边缘掩模单元针对成为处理对象的图像的各像素取得边缘强度,把表示所抽出的边缘强度越强,就越远离肤色分量或主要占据成为规定区域的基准的身体部分的色分量的强度值提供给各像素。通过取得基于边缘强度的上述强度值,构成被摄体的身体部分的要素的边缘可作为具有表示远离上述色分量的强度值的像素来取得。边缘掩模单元可以被构成为,把针对某像素所取得的边缘强度也提供给位于距该像素规定范围内的周围像素。
在这样构成的本发明的第二至第五方式中,色分量计算单元和图像处理单元被构成为,还根据由边缘掩模单元所取得的强度值,取得各像素中的新色分量。在这样构成的本发明的第二至第五方式中,可获得与第七方式相同的效果。
并且,在这样构成的本发明的第二至第五方式中,边缘掩模单元可以被构成为,将成为处理对象的图像缩小后把强度值提供给各像素,再放大成原来大小的图像。
对于由边缘掩模单元所抽出的边缘,如上述那样限制并实施图像处理。然而,以对例如皮肤的不需要分量进行晕映处理为例,皮肤的不需要分量作为边缘在边缘掩模单元被检测,而对这种皮肤的不需要分量的晕映处理未有效地发挥功能。因此,有必要控制成使这些不需要分量的边缘不由边缘掩模单元抽出。
另外,图像在被缩小时丧失原图像中的微少边缘信息。因此,当在缩小图像中取得边缘强度时,不能取得原图像中的微少边缘。并且,成为晕映处理对象的皮肤的不需要分量一般来说多由微少边缘构成。通过利用这种特征如上述那样构成,可防止边缘掩模单元取得皮肤的不需要分量的边缘。即,通过如上述那样构成边缘掩模单元,可实施期望的晕映处理。为了获得相同效果,在实施中值滤波器等的平滑化处理后实施边缘抽出,以及把边缘抽出处理中使用的滤波器的半径设定得较大等也是有效的。并且,由于在缩小的图像中抽出边缘,也能削减边缘抽出处理所需要的时间。
本发明的第八方式涉及图像处理装置,具有像指定单元和图像处理单元。像指定单元指定包含图像中的任意像的区域的位置和范围。任意像是成为图像处理单元的图像处理对象的像,也可以是任意像。例如,是脸或手等的人物身体的一部分或整体、食物或汽车等的物体、天空或山等的背景。
像指定单元可以使用现有的任何技术来构成。例如,像指定单元可以被构成为执行使用与所注目的任意像相似形状的图形的图形匹配。
图像处理单元生成对由像指定单元所指定的区域内的区域,即具有与主要占据该区域的色分量相等或接近的色分量的区域实施了图像处理的图像。作为图像处理单元所执行的图像处理的例子,具有使用低通滤波器或高通滤波器的处理。此外,还有在本发明的第一方式中所定义的图像处理、色反转处理、图像反转处理等的各种处理。
根据本发明的第八方式,即使是所指定的区域内的区域,也能防止对与主要部不同的部位实施图像处理。例如,在要仅变更车的车身(主要部)的颜色的情况下,可防止窗玻璃和减震器等(与主要部不同的部位)的色变更。
本发明的第一至第八方式可以通过由信息处理装置执行程序来实现。即,本发明可指定为用于使信息处理装置执行由上述第一至第八方式中的各单元所执行的处理的程序、或者记录有该程序的记录介质。
根据本发明,可仅限于成为被摄体的人物的特定区域进行图像校正。因此,可防止与被摄体不同的部分(例如背景)因图像校正而处于不自然的状态。并且,可实施与人种或个人差异所引起的肤色差异对应的图像处理。
附图说明
图1是示出图像校正装置的第一实施方式的功能方框的图;
图2是示出图像校正装置的第一实施方式的处理流程的图;
图3是示出掩模处理的概要的图;
图4是示出第一实施方式中的肤色区域抽出处理的概要的图;
图5是示出肤色强度抽出处理的概要的图;
图6是示出肤色分量的直方图的例子的图;
图7是示出第一实施方式中的美肤处理的概要的图;
图8是示出n×n的算符的例子的图;
图9是示出图像校正装置的第二实施方式的功能方框的图;
图10是示出图像校正装置的第二实施方式的处理流程的图;
图11是示出图像校正装置的第三实施方式的功能方框的图;
图12是示出图像校正装置的第三实施方式的处理流程的图;
图13是示出索贝尔滤波器的例子的图;
图14是示出肤色强度图像与边缘掩模图像的不同的例子的图。
具体实施方式
[第一实施方式]
下面,用附图对本发明的实施方式中的图像校正装置进行说明。在以下说明中,作为图像校正装置的具体例,对用于进行人物图像中的皮肤区域的图像校正的图像校正装置的第一实施方式的图像校正装置1a进行说明。具体地说,作为所实施的图像处理的例子,对晕映处理的情况进行说明。然而,图像校正装置1a可以应用于人物图像以外的图像,例如车的图像或风景的图像。在此情况下,考虑有变换颜色的图像校正和使用高通滤波器的图像校正等各种图像处理。
在该说明中,人物图像是至少包含有人物的脸的一部分或全部的图像的图像。因此,人物图像可以包含人物整体的图像,也可以仅包含人物的脸或上半身的图像。并且,可以包含多个人物的图像。而且,背景可以包含有人物以外的风景(背景:也包含作为被摄体而受注目的物体)和图案等的任何图形。
另外,本实施方式的说明是例示,本发明的结构不限于以下的说明。
[系统结构]
图像校正装置1a在硬件方面具有通过总线所连接的CPU(中央运算处理装置)、主存储装置(RAM)、辅助存储装置等。辅助存储装置使用非易失性存储装置来构成。这里所说的非易失性存储装置是指所谓的ROM(Read-Only Memory(只读存储器),其包含:EPROM(ErasableProgrammable Read-Only Memory:可擦除可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory:电可擦除可编程只读存储器)、掩模ROM等)、FRAM(Ferroelectric(铁电)RAM)、硬盘等。
图1是示出图像校正装置1a的功能方框的图。图像校正装置1a通过把存储在辅助存储装置内的各种程序(OS、应用程序等)装入主存储装置内由CPU执行,作为包含脸检测部2、掩模处理部3、肤色区域抽出部4a、美肤处理部5a以及存储部St等的装置执行功能。脸检测部2、掩模处理部3、肤色区域抽出部4a、以及美肤处理部5a通过由CPU执行本发明的图像校正程序来实现。
并且,存储部St使用所谓的RAM来构成。存储部St在由脸检测部2、掩模处理部3、肤色区域抽出部4a以及美肤处理部5a执行各处理时得到利用。例如,在存储部St内读写有:成为处理对象的原图像6的数据,作为中间生成数据的掩模图像7、肤色强度图像8、加掩模后的肤色强度图像9、肤色区域图像10a和晕映图像11等的数据,以及作为输出数据的美肤图像12的数据。
图2是示出由图1所示的各功能部所执行的处理和作为图像校正装置1a的整体的处理流程的图。以下,使用图13对各功能部进行说明。
<脸检测部>
脸检测部2执行脸检测处理。以下,对脸检测处理进行说明。在脸检测处理中,输入原图像6的数据,通过执行脸位置检测处理S01,输出脸矩形坐标。即,在脸检测处理中,检测作为被摄体的身体部分的脸。根据该脸矩形坐标,指定成为原图像6中的被摄体的人物的脸的位置。
原图像6的数据是指输入到图像校正装置1a中的人物图像的数据。脸矩形是指作为包含原图像6内所包含的人物的脸部的矩形所识别的矩形(以下称为脸矩形:参照图3(a)的17)。脸矩形坐标是指表示原图像6中的脸矩形的位置和大小的数据。
脸位置检测处理S01可以使用现有的任何方法来实现(例如,参照专利文献3)。例如,可以通过使用与脸整体的轮廓对应的基准模板的模板匹配获得脸矩形坐标。并且,可以通过基于脸的构成要素(眼、鼻、耳等)的模板匹配来获得脸矩形坐标。并且,通过色度键处理检测头发的顶点,可以根据该顶点获得脸矩形坐标。并且,在脸位置检测处理S01中,脸矩形和脸矩形坐标可以由用户通过手动指定。同样,可以根据由用户所输入的信息,即半自动地指定脸矩形和脸矩形坐标。
<掩模处理部>
掩模处理部3执行掩模处理。以下,对掩模处理进行说明。在掩模处理中,输入脸矩形坐标,通过执行掩模图像生成处理S02,输出掩模图像7的数据。
在掩模图像生成处理S02中,根据成为被摄体的人物的脸位置,即根据在本装置1中所输入的脸矩形坐标,推测成为被摄体的人物的脸和脸下部的区域,生成用于在所推测的区域以外施加掩模的掩模图像7。换句话说,在掩模图像生成处理S02中,以作为身体部分的脸的位置为基准指定规定区域(这里为脸和脸下部的区域),生成用于在该区域以外施加掩模的掩模图像7。这样,作为规定区域指定单元的一例,在本实施方式中应用脸检测部2和掩模处理部3。并且,作为指定单元和掩模单元的一例,在本实施方式中应用掩模处理部3。
图3是示出掩模图像生成处理S02的概要的图。在掩模图像生成处理S02中,首先,使用以下式1的公式算出与所输入的脸矩形坐标对应的二个椭圆13、14的坐标。具体地说,首先,算出或输入脸矩形的宽度(w)和高度(h)。然后,通过使预先设定的椭圆纵轴系数(p0,p1)和椭圆横轴系数(q0,q1)与w和h分别相乘,获得二个椭圆的长轴和短轴的长度(a0,b0,a1,b1)。
椭圆13是表示成为被摄体的人物的脸区域的图形,椭圆14是表示成为被摄体的人物的脸下部(头、胸口、肩等)的区域的图形。在本发明中,椭圆13被设定成与脸矩形17的4点相接。并且,椭圆14被设定成在其长轴为水平的状态下,与椭圆13的最下部外接。
[式1]
a0=h×p0
b0=w×q0
a1=h×p1
b1=w×q1
在掩模图像生成处理S02中,接下来,通过将所获得的二个椭圆13、14各自放大,获得椭圆15、16。这里,椭圆13和椭圆15与椭圆14和椭圆16各自具有同一中心(长轴与短轴的交点)。然后,使用所获得的椭圆13~16,获得掩模图像7。
例如,首先把椭圆13的内侧和椭圆14的内侧设定成透过区域(未加掩模的区域)。然后,在椭圆15与椭圆13之间的区域、以及椭圆16与椭圆14之间的区域中,生成从外侧(椭圆15、16侧)朝内侧(椭圆13、14侧)透过比例增大的透过率的灰度。该灰度可以是线性,也可以是非线性。然后,把作为椭圆15的外侧且椭圆16的外侧的区域设定成不透过区域(施加掩模的区域)。
通过这种掩模图像生成处理S02,输出掩模图像7的数据。掩模图像7可以使用椭圆以外的任何图形来生成。例如,可以使用具有人物的上半身形状的特殊图形来生成。
<肤色区域抽出部>
肤色区域抽出部4a执行肤色区域抽出处理。以下,对肤色区域抽出处理进行说明。在肤色区域抽出处理中,输入原图像6的数据、脸矩形坐标以及掩模图像7的数据,通过执行肤色强度抽出处理S03、合成处理S04a以及肤色区域校正处理S05,输出肤色区域图像10a的数据。这样,作为强度值计算单元的一例,在本实施方式中应用肤色区域抽出部4a。
<<肤色强度抽出处理>>
图4是示出肤色区域抽出处理的概要的图。在肤色区域抽出处理中,首先,输入原图像6的数据和脸矩形坐标,执行肤色强度抽出处理S03。
图5是示出肤色强度抽出处理S03的概要的图。图6是示出在肤色强度抽出处理S03中使用的肤色分量的直方图的图。以下,使用图5和图6对肤色强度抽出处理S03进行说明。
在肤色强度抽出处理S03中,首先,使用所输入的脸矩形坐标在脸矩形17的内侧指定抽样区域18。抽样区域18由例如脸矩形17的中心坐标和使脸矩形17的w和h乘以常数后的值指定。抽样区域18也可以由其他方法指定。所期望的是,抽样区域18被设定成不包含眼和鼻孔等具有与肤色明显不同的颜色的区域。
在肤色强度抽出处理S03中,接下来,对抽样区域18内的像素值(色分量的值)进行抽样(肤色抽样)。在该抽样中,主要对被摄体的脸中的肤色进行抽样。根据所抽样的色分量的值,形成图6所示的直方图。在图6中,以根据Lab色空间所形成的直方图为例示出。当形成直方图时,横轴(L或a、b的值)中的上下10%的分量(图6斜线部)被切除。这里所说的10%的数值可以由设计者做适当变更。之后,使用在肤色分量的直方图中未被切除的部分的Lab的值,算出抽样区域18内的标准偏差和重心。然后,根据使用所算出的这六个值的式2的公式,算出原图像6的各像素中的肤色程度(以下称为肤色强度:相当于强度值)(肤色强度抽出),生成肤色强度图像8。
[式2]
L′、a′、b′:抽样区域的Lab值的重心
WL、Wa、Wb:抽样区域的Lab值的标准偏差×常数
在肤色分量的直方图的形成中,由于从图6中的横轴的两端切除累积10%的部分,因而可去除噪声分量,更准确获得肤色分量的分布。这里所说的噪声分量是关于主要具有例如抽样区域18内的鼻孔和眼等的肤色以外的色分量的像素的信息。通过这种处理,即使在抽样区域18内包含有鼻孔和眼等的肤色以外的色分量的情况下,也能删除关于它们的信息。
<<合成处理>>
在肤色区域抽出处理中,接下来,输入肤色强度图像8的数据和掩模图像7的数据,执行合成处理S04a。
在合成处理S04a中,将所输入的肤色强度图像8与掩模图像7合成。即,执行使用了由肤色强度抽出处理S03所生成的肤色强度图像8和由掩模处理所生成的掩模图像7的乘法处理。通过执行合成处理S04a,生成加掩模后的肤色强度图像9。
<<肤色区域校正处理>>
在肤色区域抽出处理中,接下来,输入加掩模后的肤色强度图像9的数据,执行肤色区域校正处理S05。
在肤色区域校正处理S05中,对由合成处理S04a所生成的加掩模后的肤色强度图像9执行简并处理。通过执行简并处理,使眼和口的周边肤色强度下降。即,成为晕映处理对象外的黑区域(肤色强度低或为0的区域)扩大到外侧。通过该简并处理,可防止对眼和口的周边执行晕映处理。换句话说,可防止应取得清晰图像的眼和口的周边变得模糊。通过执行肤色区域校正处理S05,生成肤色区域图像10a。在肤色区域图像10a中,肤色强度高的像素由大的像素值表现,肤色强度低的像素由小的像素值表现。
<美肤处理部>
美肤处理部5a执行美肤处理。以下,对由美肤处理部5a所执行的美肤处理进行说明。在该美肤处理中,输入原图像6的数据和肤色区域图像10a的数据,通过执行晕映滤波处理S06a和美肤合成处理S07,输出美肤图像12的数据。这样,作为图像生成单元的一例,在该实施方式中,应用掩模处理部3、肤色区域抽出部4a以及美肤处理部5a。并且,作为色分量计算单元的一例,在该实施方式中,应用美肤处理部5a。该美肤图像12的数据也是由图像校正装置1a所输出的数据。
<<晕映滤波处理>>
在美肤处理中,首先,输入原图像6的数据和肤色区域图像10a的数据,执行晕映滤波处理S06a。在晕映滤波处理S06a中,对原图像6执行晕映处理。这里所说的晕映处理可以是现有的任何晕映处理。作为该例,具有例如使用移动平均滤波器或加权平均滤波器(包含高斯滤波器)或ε滤波器的方法。
在晕映滤波处理S06a中,仅对原图像6的各像素中的在肤色区域图像10a中肤色强度值大于0的像素执行晕映处理。因此,对肤色强度是0的像素,即明显不是肤色的像素和由合成处理S04a施加了掩模的像素,不执行晕映处理。通过执行晕映滤波处理S06a,生成晕映图像11。
<<美肤合成处理>>
在美肤处理中,接下来,输入原图像6的数据、肤色区域图像10a的数据以及晕映图像11的数据,执行美肤合成处理S07。在美肤合成处理S07中,对原图像6和晕映图像11执行使用了肤色区域图像10a中的肤色强度的半透明合成。式3是在美肤合成处理S07中所执行的半透明合成的公式。
[式3]
R=Rorg×(1-V)+Rsmooth×V
G=Gorg×(1-V)+Gsmooth×V
B=Borg×(1-V)+Bsmooth×V
Rorg、Gorg、Borg:原图像的RGB分量
Rsmooth、Gsmooth、Bsmooth:晕映图像的RGB分量
V:肤色区域图像的肤色强度(0~1)
在使用式3的半透明合成中,执行与肤色强度对应的合成处理。具体地说,对于肤色强度高的像素,强烈地反映晕映图像11的像素值(RGB分量),对于肤色强度低的像素,强烈地反映原图像6的像素值(RGB分量)。通过这种半透明合成,对于肤色强度高的区域(即肤色的区域),晕映程度增强,对于肤色强度低的区域(即不是肤色的区域),晕映程度减弱。通过执行美肤合成处理S07,生成美肤图像12。
[作用/效果]
在本发明的图像校正装置1a中,通过脸位置检测处理S01,从成为处理对象的图像中检测被摄体的脸,获得脸矩形坐标。根据脸矩形坐标生成用于对被摄体的上半身以外施加掩模的掩模图像7。然后,在美肤处理中,执行反映了该掩模图像7的掩模处理的晕映处理。因此,当对具有被摄体的脸等的肤色分量的区域执行晕映处理时,对具有同一图像中的肤色分量的被摄体以外的区域(例如背景)不执行晕映处理。因此,当对被摄体的脸等实施晕映处理时,可防止连具有肤色分量的背景都变得模糊,可依然鲜明地维持这种背景。即,只限于使被摄体的脸及其周边的图像平滑,可消除皱折和污点等。
并且,在本发明的图像校正装置1a中,从抽样区域18的内部,即由脸位置检测处理S01所检测到的被摄体的脸区域的内部抽出被摄体的肤色分量。然后,根据所抽出的肤色分量,决定成为晕映处理对象的区域。即,根据所抽出的肤色分量,决定在肤色强度图像8生成时作为肤色而被识别的肤色分量。因此,如果例如皮肤白的人是被摄体,则根据所抽出的白肤色的色分量生成肤色强度图像8,如果皮肤黑的人是被摄体,则根据所抽出的黑肤色的色分量生成肤色强度图像8。这样,在本发明的图像校正装置1a中,并非以固定方式决定肤色,而是从原图像6的脸位置对肤色进行抽样。因此,可与由人种或个人差异所引起的肤色不同相对应,可获得稳定的校正效果。
并且,在掩模图像生成处理S02中,在外侧的椭圆与内侧的椭圆之间实施关于不透明度的灰度。因此,可防止在作为未施加掩模的区域的透过区域和施加掩模的不透过区域的边界处生成不自然的图像。
另外,本发明的图像校正装置1a可以被安装在现有的各种装置上。例如,可以被安装在打印机、显示器、数字照相机、MPEG(Moving PictureExperts Group:运动图像专家组)播放器等上。在这种情况下,输入到各装置中的图像的数据作为原图像6的数据被输入到存储部St中。然后,作为图像校正装置1a的输出的美肤图像12的数据根据各装置的特性而得到利用。例如,在图像校正装置1a安装在打印机上的情况下,美肤图像12由打印机打印。
并且,本发明的图像校正装置1a通过由CPU执行图2中的各处理S01~S07,在具有CPU的信息处理装置上假想地得到实现。在此情况下,使信息处理装置执行各处理S01~S07的程序成为本申请的发明。该程序可以被记录在CD-ROM等的记录介质上,由个人计算机或服务器(例如设置在ASP(Application Service Provider:应用服务提供器)内的服务器)直接执行,也可以被存储在硬盘或ROM等的非易失性存储装置内由这些装置执行。在此情况下,原图像6的数据可以从与信息处理装置连接的扫描器或数字照相机等输入。并且,原图像6的数据可以通过经由因特网等网络从其他装置上载或下载而被输入。
[变例]
脸检测部2、掩模处理部3、肤色区域抽出部4a以及美肤处理部5a各自可以使用作为硬件而安装的芯片来构成。并且,存储部St可以使用安装有图像校正装置1a的其他装置的RAM来构成。即,存储部St不一定必需配备在图像校正装置1a的内部,只要被构成为可从脸检测部2、掩模处理部3、肤色区域抽出部4a以及美肤处理部5a进行存取,就可以被配备在图像校正装置1a的外部。在此情况下,存储部St可以被构成为由其他装置(例如,安装有图像校正装置1a的装置的CPU)和图像校正装置1a的各处理部2~5共用。
并且,在晕映滤波处理S06a中,可以根据由脸位置检测处理S01所检测到的脸矩形的大小决定晕映程度。具体地说,脸矩形越大,就越执行强(大)的晕映程度的晕映处理。反之,脸矩形越小,就越执行弱(小)的晕映程度的晕映处理。例如,可通过操作移动平均滤波器和加权平均滤波器的半径等的参数来实现。并且,在高斯滤波器的情况下,通过在以下公式中改变标准偏差σ,可使晕映程度变化。
[式4]
并且,在简单平滑化滤波器的情况下,通过在n×n的算符中改变n的值,可使晕映程度变化。图8是示出n×n的算符的具体例的图。图8(a)示出n=3的情况的算符的例子,图8(b)示出n=5的情况的算符的例子,图8(c)示出n=7的情况的算符的例子。N的值越大,晕映程度就越大。
通过这样构成,可根据脸的大小实施适当晕映程度的晕映处理。因此,可防止由对小脸实施过度晕映程度的晕映处理所发生的脸整体变得模糊等的问题。
并且,尽管在美肤处理中实施晕映处理,然而可以被构成为实施晕映处理以外的图像处理(例:边缘增强、亮度校正、色校正、纹理测绘)。
并且,不一定需要配备掩模处理部3。然而,在不配备掩模处理部3的情况下,不实施基于掩模图像7的处理。因此,有可能使到获得美肤图像12所需要的时间增加。
[第二实施方式]
[系统结构]
下面,对图像校正装置的第二实施方式的图像校正装置1b进行说明。图9是示出图像校正装置1b的功能方框的图。图像校正装置1b与图像校正装置1a的不同点是,具有美肤处理部5b来取代美肤处理部5a。以下,对图像校正装置1b和与图像校正装置1a的不同点进行说明。
图10是示出由图9所示的各功能部所执行的处理和作为图像校正装置1b的整体处理流程的图。以下,使用图9和图10对图像校正装置1b的各功能部进行说明。
<美肤处理部>
美肤处理部5b与美肤处理部5a的不同点是,不实施美肤合成处理S07,实施晕映滤波处理S06b以取代晕映滤波处理S06a。以下,对由美肤处理部5b所实施的美肤处理进行说明。
<<晕映滤波处理>>
在由美肤处理部5b所实施的美肤处理中,输入原图像6的数据和肤色区域图像10a的数据,执行晕映滤波处理S06b。在晕映滤波处理S06b中,对原图像6的各像素执行与肤色区域图像10a内所包含的肤色强度对应的晕映处理。具体地说,对肤色强度高的像素的晕映处理把晕映程度设定得较大,对肤色强度低的像素的晕映处理把晕映程度设定得较低。并且,晕映滤波处理06b可以按以下那样构成。
在图像校正装置1a中,通过晕映滤波处理S06a生成晕映图像11,美肤合成处理S07使用晕映图像11、原图像6以及肤色区域图像10a生成美肤图像12。另一方面,在美肤校正装置1b中,可以生成美肤图像12,而不生成晕映图像11。具体地说,当根据式3的公式算出美肤图像12的各像素的值时,每次都执行对成为处理对象的像素的晕映处理。即,被构成为,仅针对所需要的像素每次都算出在式3中使用的晕映图像的RGB分量的各值。通过这样构成,没有必要对晕映图像11进行缓冲存储,可节约存储区域。
[作用/效果]
在本发明的图像校正装置1b中,在美肤处理中,不生成晕映图像11,而直接生成作为输出图像的美肤图像12。因此,可削减用于生成晕映图像11的晕映滤波处理S06a和美肤合成处理S07所需要的时间。
[第三实施方式]
[系统结构]
下面,对图像校正装置的第三实施方式的图像校正装置1c进行说明。图11是示出图像校正装置1c的功能方框的图。图像校正装置1c与图像校正装置1b的不同点是,具有肤色区域抽出部4c来取代肤色区域抽出部4a,以及具有边缘掩模处理部19。以下,对图像校正装置1c和与图像校正装置1b的不同点进行说明。
图12是示出由图11所示的各功能部所执行的处理和作为图像校正装置1c的整体处理流程的图。以下,使用图11和图12对图像校正装置1c的各功能部进行说明。
<边缘掩模处理部>
边缘掩模处理部19执行边缘掩模处理。以下,对边缘掩模处理进行说明。在边缘掩模处理中,输入原图像6,通过执行边缘掩模图像生成处理S08,输出边缘掩模图像20的数据。
在边缘掩模图像生成处理S08中,首先,将所输入的原图像6缩小,取得缩小图像。例如,通过进一步输入脸矩形的大小,可以根据脸矩形的大小决定缩小比例。例如,可以把所输入的脸矩形中的最大的脸矩形的宽度缩小成规定的像素(数十像素~百像素程度)程度。
然后,根据缩小图像实施边缘的抽出,即边缘强度的取得。该边缘抽出处理可以使用现有的任何技术来实施。例如,实施使用索贝尔滤波器的边缘抽出。图13是示出索贝尔滤波器的例子的图。图13(a)示出下方向的索贝尔滤波器,图13(b)示出上方向的索贝尔滤波器。实施使用各个索贝尔滤波器的边缘抽出处理,取得各索贝尔滤波器的边缘图像。在此情况下,取得二个边缘图像。
然后,通过使所取得的各个边缘图像灰度化和合成,取得合成边缘图像。通过该合成处理,把由下方向的索贝尔滤波器所抽出的边缘和由上方向的索贝尔滤波器所抽出的边缘表示为合成边缘图像。
然后,使所取得的合成边缘图像反转,取得反转边缘图像。然后,对反转边缘图像实施简并处理。通过执行简并处理,取得使所抽出的边缘扩大到周围的图像。然后,把实施了简并处理的反转边缘图像放大到原图像6的大小,取得边缘掩模图像20。在以后的处理中,边缘掩模图像20中的像素值被用作肤色强度。即,所取得的边缘部分的像素由于通过反转处理而使像素值低或为0,因而被用作肤色强度低的像素。并且,通过简并处理,使所抽出的边缘的影响及于其周围。即,作为表示所抽出的边缘及其周围的肤色强度低的图像,生成边缘掩模图像20。
<肤色区域抽出部>
肤色区域抽出部4c与肤色区域抽出部4b的不同点是,实施合成处理S04c以取代合成处理S04a。以下,对由肤色区域抽出部4c所实施的肤色区域抽出处理,特别是合成处理S04c进行说明。
<<合成处理>>
在由肤色区域抽出部4c所实施的肤色区域抽出处理中,在实施了肤色强度抽出处理S03之后,输入肤色强度图像8、掩模图像7以及边缘掩模图像20,执行合成处理S04c。
在合成处理S04c中,将所输入的肤色强度图像8、掩模图像7以及边缘掩模图像20进行合成。即,执行使用了由肤色强度抽出处理S03所生成的肤色强度图像8、由掩模处理所生成的掩模图像7以及由边缘掩模处理所生成的边缘掩模图像20的乘法处理。通过执行合成处理S04c,生成加掩模后的肤色强度图像9c。
在由肤色区域抽出部4c所实施的肤色区域抽出处理中,在合成处理S04c后,实施使用了加掩模后的肤色强度图像9c的肤色区域校正处理S05,输出肤色区域图像10c。
[作用/效果]
在图像校正装置1c中,在合成处理S04c中使用边缘掩模图像20。在边缘掩模图像20中,把所抽出的边缘及其周围的肤色强度设定得低或为0。因此,通过合成处理S04c,取得把边缘及其周围的肤色强度设定得低或为0的加掩模后的肤色强度图像9c。然后,由于使用这种加掩模后的肤色强度图像9c实施美肤处理,因而可在原样维持边缘及其周围,即眼睛、眉、嘴角等的清晰度的状态下,对其他的肤色部分实施晕映处理。特别是,在对具有接近肤色的口红、接近肤色的眉(例如淡的眉毛等)等的脸图像进行美肤处理时是有效的。
图14是用于示出肤色强度图像8和边缘掩模图像20的差异的图。图14(a)是肤色强度图像8的例子,图14(b)是边缘掩模图像20的例子。在此情况下,由于原图像6中的左边人物的眉色接近肤色,因而在肤色强度图像8中,眉部分的肤色强度成为示出接近肤色的值。并且,由于原图像6中的右边人物的唇色接近肤色,因而在肤色强度图像8中,唇部分的肤色强度成为示出接近肤色的值。在该状态下,连左边人物的眉部分和右边人物的唇部分都实施晕映处理,取得眉毛和唇模糊的美肤图像12。另一方面,在边缘掩模图像20中,由于抽出了左边人物的眉部分和右边人物的唇部分的边缘,因而左边人物的眉部分和右边人物的唇部分的肤色强度成为示出远离肤色的值。因此,通过使用边缘掩模图像20,对眉部分和唇部分等不实施晕映处理,可维持这些部分的清晰度。
[变例]
在边缘掩模图像生成处理S08中,放大处理、反转处理以及简并处理可以根据需要变更所实施的顺序。然而,在反转处理前实施简并处理的情况下,像素值(肤色强度)低或为0的区域不扩大到外侧,像素值(肤色强度)高或为255(在肤色强度的情况下是“1”)的区域扩大到外侧。
可以执行脸要素掩模处理部(相当于脸要素抽出单元)的脸要素掩模图像生成处理来取代边缘掩模处理部19的边缘掩模图像生成处理S08,可以生成脸要素掩模图像来取代边缘掩模图像20。在脸要素掩模图像生成处理中,不抽出边缘,而抽出被摄体的脸内所包含的要素(脸要素)。该脸要素通过例如进行模板匹配来抽出。而且,被构成为,在脸要素掩模图像中,把所抽出的脸要素和与该脸要素相距规定范围的像素的肤色强度设定得低或为0。
Claims (18)
1.一种图像处理装置,其特征在于,具有:
规定区域指定单元,指定以作为图像中的被摄体的人物的身体部分为基准所决定的规定区域;以及
图像生成单元,生成对由上述规定区域指定单元所指定的规定区域实施了图像处理的图像。
2.一种图像处理装置,其特征在于,具有:
规定区域指定单元,指定以作为图像中的被摄体的人物的身体部分为基准所决定的规定区域;以及
图像生成单元,生成对由上述规定区域指定单元所指定的规定区域实施了作为图像处理的晕映处理的图像。
3.根据权利要求1或2所述的图像处理装置,其特征在于,
上述规定区域指定单元具有:
检测单元,检测作为图像中的被摄体的人物的身体部分;以及
指定单元,以由上述检测单元所检测的身体部分为基准指定上述规定区域。
4.根据权利要求1~3中的任何一项所述的图像处理装置,其特征在于,
上述图像生成单元生成对由上述规定区域指定单元所指定的规定区域内的区域,即具有与主要占据成为该规定区域的基准的身体部分的色分量相等或接近的色分量的区域实施了图像处理的图像。
5.根据权利要求1~3中的任何一项所述的图像处理装置,其特征在于,
上述图像生成单元具有:
强度值计算单元,针对成为处理对象的图像的各像素,算出表示各像素的色分量接近主要占据成为上述规定区域的基准的身体部分的色分量的程度的强度值;
图像处理单元,对成为处理对象的图像的上述规定区域实施图像处理;以及
色分量计算单元,各像素中的强度值越是表示远离主要占据成为上述规定区域的基准的身体部分的色分量,就越是能算出接近上述原图像的像素的色分量的色分量来作为该像素的新色分量,各像素中的强度值越是表示接近主要占据成为上述规定区域的基准的身体部分的色分量,就越是能算出接近由上述图像处理单元所生成的图像的像素的色分量的色分量来作为该像素的新色分量,
上述色分量计算单元根据由上述强度值计算单元所算出的强度值,算出各像素的新色分量。
6.根据权利要求1~3中的任何一项所述的图像处理装置,其特征在于,
上述图像生成单元具有:
强度值计算单元,针对成为处理对象的图像的各像素,算出表示各像素的色分量接近主要占据成为上述规定区域的基准的身体部分的色分量的程度的强度值;
图像处理单元,对成为处理对象的图像实施图像处理;
掩模单元,把由上述规定区域指定单元所指定的规定区域以外的像素的上述强度值设定为表示远离主要占据成为上述规定区域的基准的身体部分的色分量的值;以及
色分量计算单元,各像素中的强度值越是表示远离主要占据成为上述规定区域的基准的身体部分的色分量,就越是能算出接近上述原图像的像素的色分量的色分量来作为该像素的新色分量,各像素中的强度值越是表示接近主要占据成为上述规定区域的基准的身体部分的色分量,就越是能算出接近由上述图像处理单元所生成的图像的像素的色分量的色分量来作为该像素的新色分量,
上述色分量计算单元根据由上述强度值计算单元和上述掩模单元所算出的强度值,算出各像素的新色分量。
7.根据权利要求1~3中的任何一项所述的图像处理装置,其特征在于,
上述图像生成单元具有:
强度值计算单元,针对成为处理对象的图像的各像素,算出表示各像素的色分量接近主要占据成为上述规定区域的基准的身体部分的色分量的程度的强度值;以及
图像处理单元,针对成为处理对象的图像的上述规定区域,各像素中的强度值越是表示远离主要占据成为上述规定区域的基准的身体部分的色分量,就越是能减弱图像处理的影响而实施对该像素的图像处理,各像素中的强度值越是表示接近主要占据成为上述规定区域的基准的身体部分的色分量,就越是能增强图像处理的影响而实施对该像素的图像处理,
上述图像处理单元根据由上述强度值计算单元所获得的该图像的各像素的上述强度值实施图像处理。
8.根据权利要求1~3中的任何一项所述的图像处理装置,其特征在于,
上述图像生成单元具有:
强度值计算单元,针对成为处理对象的图像的各像素,算出表示各像素的色分量接近主要占据成为上述规定区域的基准的身体部分的色分量的程度的强度值;
掩模单元,把由上述规定区域指定单元所指定的规定区域以外的像素的上述强度值设定为表示远离主要占据成为上述规定区域的基准的身体部分的色分量的值;以及
图像处理单元,针对成为处理对象的图像,各像素中的强度值越是表示远离主要占据成为上述规定区域的基准的身体部分的色分量,就越是能减弱图像处理的影响而实施对该像素的图像处理,各像素中的强度值越是表示接近主要占据成为上述规定区域的基准的身体部分的色分量,就越是能增强图像处理的影响而实施对该像素的图像处理,
上述图像处理单元根据由上述强度值计算单元和上述掩模单元所获得的该图像的各像素的上述强度值实施图像处理。
9.根据权利要求6所述的图像处理装置,其特征在于,
上述图像处理单元对具有规定范围的强度值的像素不执行图像处理。
10.根据权利要求1~9中的任何一项所述的图像处理装置,其特征在于,
上述图像生成单元根据成为由上述规定区域指定单元所指定的规定区域的基准的身体部分的大小决定所实施的图像处理的内容。
11.根据权利要求1~10中的任何一项所述的图像处理装置,其特征在于,
还具有:要素抽出单元,将构成成为处理对象的图像中的被摄体的人物的身体部分的要素,即上述规定区域内所包含的要素至少抽出一个,
上述图像生成单元限制实施对以由上述要素抽出单元所抽出的要素为基准所决定的要素区域的图像处理。
12.根据权利要求5或6所述的图像处理装置,其特征在于,
上述图像生成单元还具有:边缘掩模单元,针对成为处理对象的图像的各像素取得边缘强度,把表示所抽出的边缘强度越强,就越远离主要占据成为上述规定区域的基准的身体部分的色分量的上述强度值提供给上述各像素,
上述色分量计算单元还根据由上述边缘掩模单元所算出的强度值算出各像素的新色分量。
13.根据权利要求7或8所述的图像处理装置,其特征在于,
上述图像生成单元还具有:边缘掩模单元,针对成为处理对象的图像的各像素取得边缘强度,把表示所抽出的边缘强度越强,就越远离主要占据成为上述规定区域的基准的身体部分的色分量的上述强度值提供给上述各像素,
上述图像处理单元还根据由上述边缘掩模单元所获得的该图像的各像素的上述强度值实施图像处理。
14.根据权利要求12或13所述的图像处理装置,其特征在于,
上述边缘掩模单元将成为处理对象的图像缩小后把上述强度值提供给各像素,再放大成原来大小的图像。
15.一种程序,其特征在于,用于使信息处理装置执行以下步骤:
指定以作为图像中的被摄体的人物的身体部分为基准所决定的规定区域的步骤;以及
生成对所指定的规定区域实施了图像处理的图像的步骤。
16.一种程序,其特征在于,用于使信息处理装置执行以下步骤:
指定以作为图像中的被摄体的人物的身体部分为基准所决定的规定区域的步骤;以及
生成对所指定的规定区域实施了晕映处理的图像的步骤。
17.根据权利要求15或16所述的程序,其特征在于,
用于在生成上述图像的步骤中使上述信息处理装置执行:生成施加了基于从成为上述所指定的规定区域的基准的身体部分所抽出的作为被摄体的人物的肤色的色分量的图像处理的图像。
18.一种程序,其特征在于,用于使信息处理装置执行以下步骤:
指定包含图像中的任意像的区域的位置和范围的步骤;以及
生成对所指定的区域内的区域,即具有与主要占据该区域的色分量相等或接近的色分量的区域实施了图像处理的图像的步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003078467 | 2003-03-20 | ||
JP078467/2003 | 2003-03-20 | ||
JP409264/2003 | 2003-12-08 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1777913A true CN1777913A (zh) | 2006-05-24 |
CN100458848C CN100458848C (zh) | 2009-02-04 |
Family
ID=36766681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2004800107412A Expired - Lifetime CN100458848C (zh) | 2003-03-20 | 2004-03-19 | 图像处理装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100458848C (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102819857A (zh) * | 2012-07-26 | 2012-12-12 | 拓维信息系统股份有限公司 | 一种基于增白嫩肤的手机动漫人物脸谱创作方法 |
CN103180873A (zh) * | 2010-10-29 | 2013-06-26 | 欧姆龙株式会社 | 图像处理装置、图像处理方法及控制程序 |
CN103763539A (zh) * | 2008-08-06 | 2014-04-30 | 索尼公司 | 图像处理装置和图像处理方法 |
CN105787878A (zh) * | 2016-02-25 | 2016-07-20 | 杭州格像科技有限公司 | 一种美颜处理方法及装置 |
CN108053377A (zh) * | 2017-12-11 | 2018-05-18 | 北京小米移动软件有限公司 | 图像处理方法及设备 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109389562B (zh) * | 2018-09-29 | 2022-11-08 | 深圳市商汤科技有限公司 | 图像修复方法及装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3015641B2 (ja) * | 1993-10-18 | 2000-03-06 | 三洋電機株式会社 | 部品位置認識装置 |
US6456328B1 (en) * | 1996-12-18 | 2002-09-24 | Lucent Technologies Inc. | Object-oriented adaptive prefilter for low bit-rate video systems |
JP3476641B2 (ja) * | 1997-01-21 | 2003-12-10 | シャープ株式会社 | 画像処理方法および画像処理装置 |
JP2000105815A (ja) * | 1998-09-28 | 2000-04-11 | Yasuhiko Arakawa | 顔画像処理方法および顔画像処理装置 |
JP3455123B2 (ja) * | 1998-12-24 | 2003-10-14 | 大日本スクリーン製造株式会社 | 画像の鮮鋭度強調方法、並びに、その処理を実行するためのプログラムを記録した記録媒体 |
JP3557115B2 (ja) * | 1998-12-24 | 2004-08-25 | 大日本スクリーン製造株式会社 | 画像フィルタの決定方法および装置、並びに、その処理を実行するためのプログラムを記録した記録媒体 |
JP4542666B2 (ja) * | 2000-04-24 | 2010-09-15 | アンリツ産機システム株式会社 | 画像処理による異物検出方法および装置 |
JP2002199179A (ja) * | 2000-12-27 | 2002-07-12 | Oki Electric Ind Co Ltd | 傾き検出装置 |
JP2003016445A (ja) * | 2001-06-29 | 2003-01-17 | Minolta Co Ltd | 画像処理のための装置と方法 |
-
2004
- 2004-03-19 CN CNB2004800107412A patent/CN100458848C/zh not_active Expired - Lifetime
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103763539A (zh) * | 2008-08-06 | 2014-04-30 | 索尼公司 | 图像处理装置和图像处理方法 |
CN103180873A (zh) * | 2010-10-29 | 2013-06-26 | 欧姆龙株式会社 | 图像处理装置、图像处理方法及控制程序 |
CN103180873B (zh) * | 2010-10-29 | 2016-01-20 | 欧姆龙株式会社 | 图像处理装置及图像处理方法 |
CN102819857A (zh) * | 2012-07-26 | 2012-12-12 | 拓维信息系统股份有限公司 | 一种基于增白嫩肤的手机动漫人物脸谱创作方法 |
CN102819857B (zh) * | 2012-07-26 | 2014-09-24 | 拓维信息系统股份有限公司 | 一种基于增白嫩肤的手机动漫人物脸谱创作方法 |
CN105787878A (zh) * | 2016-02-25 | 2016-07-20 | 杭州格像科技有限公司 | 一种美颜处理方法及装置 |
CN105787878B (zh) * | 2016-02-25 | 2018-12-28 | 杭州格像科技有限公司 | 一种美颜处理方法及装置 |
CN108053377A (zh) * | 2017-12-11 | 2018-05-18 | 北京小米移动软件有限公司 | 图像处理方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN100458848C (zh) | 2009-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1596573B1 (en) | Image correction apparatus | |
CN1714372A (zh) | 图像信号处理 | |
EP2187620B1 (en) | Digital image processing and enhancing system and method with function of removing noise | |
JP4461789B2 (ja) | 画像処理装置 | |
JP4481333B2 (ja) | 視覚処理装置、視覚処理方法、画像表示装置、テレビジョン、情報携帯端末、カメラおよびプロセッサ | |
CN1297941C (zh) | 自适应增强彩色图像中色彩的方法和设备 | |
CN1475969A (zh) | 用于增强人像图像的方法和系统 | |
CN1870715A (zh) | 手抖动校正装置 | |
CN100345159C (zh) | 图像编辑装置及图像的裁剪方法 | |
JP4924727B2 (ja) | 画像処理装置及び画像処理プログラム | |
CN1696959A (zh) | 特定被摄体检测装置 | |
JP6818463B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN1655583A (zh) | 生成具有多个前景平面的高压缩图像数据文件的系统和方法 | |
CN1871847A (zh) | 信号处理系统、信号处理方法以及信号处理程序 | |
EP1453002A3 (en) | Enhancing portrait images that are processed in a batch mode | |
CN1691740A (zh) | 放大显示装置和放大图像控制装置 | |
CN1741038A (zh) | 面部中央位置检测设备、方法及程序 | |
US20140064617A1 (en) | Image generation apparatus, image generation method, and recording medium | |
CN1910613A (zh) | 图像中的人物候选区域抽取方法及人物候选区域抽取系统、人物候选区域抽取程序、以及人物像的上下判定方法、上下判定系统、上下判定程序 | |
CN1195284C (zh) | 图像处理设备 | |
CN1454011A (zh) | 彩色编辑装置和彩色编辑方法 | |
CN1960431A (zh) | 图像处理装置、方法及其程序和存储该程序的存储介质 | |
JP2007241424A (ja) | 画像処理装置および画像処理方法 | |
JP2014157557A (ja) | 画像生成装置、画像生成方法及びプログラム | |
CN1757046A (zh) | 图像处理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CX01 | Expiry of patent term | ||
CX01 | Expiry of patent term |
Granted publication date: 20090204 |