CN1928889A - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN1928889A
CN1928889A CNA2006101513734A CN200610151373A CN1928889A CN 1928889 A CN1928889 A CN 1928889A CN A2006101513734 A CNA2006101513734 A CN A2006101513734A CN 200610151373 A CN200610151373 A CN 200610151373A CN 1928889 A CN1928889 A CN 1928889A
Authority
CN
China
Prior art keywords
pixel
image
input picture
pixel value
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006101513734A
Other languages
English (en)
Other versions
CN100435165C (zh
Inventor
西山正志
山口修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN1928889A publication Critical patent/CN1928889A/zh
Application granted granted Critical
Publication of CN100435165C publication Critical patent/CN100435165C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • G06V20/647Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及图像处理装置和方法。实施例中的目标识别装置包括图像输入单元、目标检测单元、漫反射图像产生单元、目标模型存储单元、差分图像产生单元、权重计算单元、加权高斯滤波器应用单元、滤波处理单元以及辨识单元。要分配给加权高斯滤波器的权重是考虑了输入图像的像素的反射分量和照明条件的变化而确定的。

Description

图像处理装置和方法
技术领域
本发明涉及图像处理装置和方法,其通过从具有待识别目标的图像消除照明所引起的影响,并通过提取目标固有的特征,来提高图像处理精度。
背景技术
当要从图像识别目标时,有必要使会减小识别成功率的照明变化所引起的影响最小化。为此,在WANG(Haitao Wang,Stan Z.Li,Yangsheng Wang,Generalized Quotient Image,Proceedings IEEEConference on Computer Vision and Pattern Recognition,Vol.2,(2004)498-505)中,提出了一种方法,在该方法中,在面部识别中,称为“自商图像(self Quotient Image)”的滤波处理被应用到输入图像,使得对变化的照明有鲁棒性的固有特征被提取,并且进行目标识别。
“自商图像”是这样的方法,在该方法中扩展了RAHMAN的“中心/环境Retinex(Center/Surround Retinex)”方法(METHOD OFIMPROVING A DIGITAL IMAGE,美国专利5,991,456)。对于输入图像I(x,y)的中心/环境Retinex的输出图像R(x,y)由式(1)定义。
R ( x , y ) = I ( x , y ) G ( x , y ) * I ( x , y ) - - - ( 1 )
其中,G(x,y)指高斯函数,“*”指卷积。在RAHMAN的文献中,高斯滤波器被应用于输入图像以产生平滑图像。在WANG的文献中,加权高斯滤波器被应用于输入图像以产生平滑图像。
有一个好处就是对变化的照明有鲁棒性的固有特征可以只从一个给定图像计算出,并且这一方法在只可以获得一个注册图像的情况下尤其有效。
在中心/环境Retinex中,如在RAHMAN的文献中描述的,当在输入图像的局部区域中,法线方向和照明条件都不变时,可以获得对漫反射的不变性。漫反射是由变化的照明引起的分量之一。
但是,在照明条件在局部区域中改变的情况下,主要是在形成阴影的情况下,不能获得不变性,并且会导致错误的识别或辨识。当来自第一光源的光束被其它物体挡住时,在目标上就会形成阴影区。因为阴影区是被第二光源(例如,环境光)而非第一光源照射,所以在阴影区中的照明条件与其它区域中的照明条件是不同的。
图8示出了中心/环境Retinex被应用于面部图像的示例。
在图像502中,由照明引起的影响被抑制。图像502是从面部图像501产生的,在面部图像510中,在面部的右侧区域和鼻子下方形成了阴影。但是,因为阴影区的照明条件与其它区域中的照明条件不同,所以不可能完全除去由照明变化所引起的影响,如在面部图像502中示意性地示出的。
为了防止边缘周围的晕圈效应,在自商图像中,当产生平滑图像时,使用加权高斯滤波器(具有各向异性波形的加权函数被应用于具有各向同性波形的高斯函数)。加权函数使用二值化将局部区域分成两个子区域。
但是,在二值化中,有可能具有低反射系数的区域(例如,在面部识别的情况中的瞳孔或眉毛)也被错误地检测为阴影区。代表目标特征的重要信息也将被除去。
此外,在如同在阴影区轮廓部分中形成的柔和阴影一样像素值被逐渐改变的区域中,因为难以设置合适的阈值,所以在二值化技术中将会发生不规则的或不适当的识别。
此外,在例如发生镜面反射并且反射分量改变的区域中,因为难以仅仅从给出的一个输入图像提取漫反射分量的值,在该传统方法中不能计算出不变性。
发明内容
根据本发明的实施例,一种图像处理装置包括:权重计算单元,被配置以计算加权平滑滤波器的权重;第一滤波器单元,被配置以通过将加权平滑滤波器应用于输入图像来产生平滑图像;以及第二滤波器单元,被配置以通过将输入图像的像素值除以平滑图像的像素值来获得特征图像,其中,权重计算单元包括:(1)漫反射图像产生单元,被配置以通过使用具有漫反射分量作为主要分量的模型来产生漫反射图像,该漫反射图像近似输入图像,以及(2)差分图像产生单元,被配置以产生漫反射图像与输入图像之间的差分图像,并且权重计算单元估计差分图像中每个关注像素与其周围像素的像素值的差值,并给周围像素分配随着差值的增加而减小的权重。
附图说明
图1是第一实施例的目标识别装置的结构图。
图2是示出了第一实施例的目标识别装置的处理的流程图。
图3是第二实施例的目标识别装置的结构图。
图4是第三实施例的目标识别装置的结构图。
图5第四实施例的目标识别装置的结构图。
图6是示出了其中根据在输入图像中随机选择的三个点并通过使用基底图像来估计系数的示例的图。
图7是示出了其中通过使用多个基底图像而将输入图像转换成漫反射图像,并且通过使用输入图像与漫反射图像之间的差分图像而将输入图像转换成特征图像的示例的图。
图8是示出了其中从面部图像中提取对照明变化有鲁棒性的特征图像的示例的图。
具体实施方式
下面,将参照附图描述本发明的实施例。
将使用面部图像识别作为示例来描述本发明的实施例。每个实施例的概要如下。
在第一实施例中,将给出对目标识别装置100的描述,其中,即使在面部图像中形成阴影区的情况下,对人的识别或辨识有效的固有特征也被提取以便于面部识别。
在第二实施例中,将给出对目标识别装置200的描述,其中,即使在面部图像中形成阴影区和镜面反射区的情况下,对辨识有效的固有特征也被提取以便于面部识别。
在第三实施例中,将给出对目标识别装置300的描述,其中,即使在图像上的人的面部的面对或凝视方向不仅朝向前方而且还朝向各种方向的情况下,对照明变化有鲁棒性的固有特征也被提取以便于面部识别。
在第四实施例中,将给出对目标识别装置400的描述,其中,噪声被除去,对照明变化有鲁棒性的固有特征被提取以便于面部识别。
(第一实施例)
下面将参照图1、2、6和7描述第一实施例的目标识别装置100。
在该实施例中,通过使用面部模型计算将要分配给加权高斯滤波器的权重。
(1)目标识别装置100的结构
图1示出了目标识别装置100的结构,图2示出了目标识别装置100的处理的流程图。
目标识别装置100包括图像输入单元101、目标检测单元102、漫反射图像产生单元103、目标模型存储单元104、差分图像产生单元105、权重计算单元106、加权高斯滤波器应用单元107、滤波处理单元108以及辨识单元109。单元101到109的每个的功能可以通过存储在计算机中的程序来实现。
(2)图像输入单元101
如图2中步骤1所示,图像输入单元101通过使用相机获取作为待识别的目标的人的图像。取得一个图像,或者时间上连续地取得多个图像。将在如下假设上进行描述:被拍照目标的面部方向朝向相对于相机的前方,并且光源是在无限远处的单光源。
(3)目标检测单元102
如步骤2所示,目标检测单元102从由图像输入单元101输出的图像中裁剪出面部区,并确定输入图像I。I(x,y)表示输入图像I上像素(x,y)的像素值。提取面部的特征点,例如瞳孔和鼻孔,并且可以基于这些点的位置关系来确定输入图像。此外,面部区域的部分区域,例如眼睛或鼻子,可以被用作输入图像。通过将面部区域分成相等的部分而得到的图像可以被用作输入图像。
(4)漫反射图像产生单元103
如步骤3所示,漫反射图像产生单元103使用存储在目标模型存储部分104中的漫反射图像产生模型,并将从目标检测单元102输出的输入图像I转换成漫反射图像。顺便说一下,虽然漫反射图像是由在“I”上放置“~”的符号来表示的,但是因为该符号在说明书中不能被表示出来,所以漫反射图像将由“I~”表示,I~(x ,y)表示漫反射图像I~上的像素(x,y)的像素值。
作为漫反射图像产生模型,可以如在MUKAIGAWA(YasuhiroMukaigawa,Hajime Miyaki,Sadahiko Mihashi,Takeshi Shakunage,Photo-metric,Image-Based Rendering for Image Generation inArbitrary Illumination,IEEE International Conference on ComputerVision,vol.2,(2001)9652-659)中描述地那样使用基底图像。这基于式(2)的原理,在图像I~由漫反射分量组成时,在任意光源条件下的图像I~的每个像素值I~(x,y)可以通过三个基底图像Ii的像素值Ii(x,y)的线性组合来表示。
I(x,y)=max(c1I1(x,y)+c2I2(x,y)+c3I3(x,y),0)       (2)
其中,max(·,0)表示从负值到0的替换。假设基底图像Ii中目标的方向是不变的。
如图6所示,通过估计对输入图像I的系数ci,输入图像被转换成漫反射图像。可以通过利用在由基底图像Ii所张开的子空间上的投影使用最小二乘法,或者通过使用如在MUKAIGAWA的文献中所述的鲁棒性的估计,以在除去异常值(outlier)(阴影区或镜面反射区)的同时进行处理,来估计系数。
作为基底图像Ii,三个面部图像被使用,这三个面部图像是在改变光源方向使得不发生阴影和镜面反射的情况下取得的。三个基底图像I1、I2和I3彼此必须是线性独立的。替换地,基底图像还可以通过对四个或更多个图像应用奇异值分解来产生。
当从与输入图像I相同的人准备基底图像Ii时,式(2)的系数ci就可以在很小的误差下被估计。可以对于包括光源方向和照明强度的每个条件来估计系数ci。
还可以从另一个人的基底图像来估计系数。这种情况是通过增加基底图像的数量来处理的。输入图像I被分成多个区,可以对每个区来估计系数。
作为另一种漫反射图像产生模型,可以使用通过测距仪得到的面部的三维形状和漫反射系数。
(5)差分图像产生单元105
如步骤4中所示,差分图像产生单元105根据从漫反射图像产生单元103输出的漫反射图像I~和输入图像I产生差分图像I’,如图7所示。使用漫反射图像I~的每个像素值I~(x,y)和输入图像I的每个像素值来计算差分图像I’的每个像素值I’(x,y)。
I′(x,y)=I(x,y)- I(x,y)              (3)
其中差分图像I’的像素值I’(x,y)具有负值的区域对应于输入图像I中的阴影区,并且其中差分图像I’的像素值I’(x,y)具有正值的区域对应于输入图像I中的镜面反射区。如前面所述的,差分图像I’的像素值I’(x,y)指示输入图像I的照明条件和反射分量上的差别。
(6)权重计算单元106
如在步骤5中指示的,权重计算单元106通过使用从差分图像产生单元105输出的差分图像I’来计算将被分配给加权高斯滤波器的权重。
权重通过将与高斯滤波器的中心或原点坐标相对应的关注像素的照明条件和与高斯滤波器的周围坐标相对应的像素的照明条件相比较来确定。
例如,当与高斯滤波器中心相对应的关注像素的坐标是(x0,y0)时,权重W(x,y)由式(4)确定。
W ( x , y ) = 1 1 + α | I ′ ( x , y ) - I ′ ( x 0 , y 0 ) | - - - ( 4 )
其中,α表示任意系数,|·|表示绝对值。
下面将描述式(4)的含义。当与高斯滤波器的中心坐标相对应的关注像素(x0,y0)的像素值I’(x0,y0)和周围像素(x,y)的像素值I’(x,y)之间的差值变得更大时,周围像素与关注像素之间的照明条件或反射分量的差变得更大;从而,被分配给周围像素的权重变得更小。
例如,在关注像素属于漫反射区,并且其周围像素属于阴影区的情况下,关注像素和周围像素的照明条件彼此是非常不同的,因此,差值变大,而要被分配给周围像素的权重变小。
另一方面,在关注像素属于漫反射区,并且其周围像素也属于漫反射区的情况下,照明条件是相同种类的。这样,差值变小,并且将被分配给周围像素的权重变大。
(7)加权高斯滤波器应用单元107
如在步骤6中指示的,加权高斯滤波器应用单元107使用由权重计算单元106输出的权重W(x,y),将加权高斯滤波器应用于从目标检测单元102输出的输入图像I,并输出平滑图像S。S(x,y)指平滑图像S上的像素(x,y)的像素值。
当平均值为0、并且方差为σ2时,高斯函数G(x,y)由式(5)定义。
G ( x , y ) = 1 2 π σ 2 exp ( - ( x 2 + y 2 ) 2 σ 2 ) - - - ( 5 )
加权高斯滤波器(W(x,y)G(x,y))通过式(6)被应用于输入图像I。
S(x,y)=(W(x,y)G(x,y))*I(x,y))        (6)
= ∫ ∫ 1 1 + α | I ′ ( u , v ) - I ′ ( x , y ) | G ( x - u , y - v ) I ( u , v ) dudv - - - ( 7 )
其中,“*”指卷积。
(8)滤波处理单元108
如在步骤7中指出的,滤波处理单元108使用从加权高斯滤波器应用单元107输出的平滑图像S,并将式(8)的处理应用于从目标检测单元102输出的输入图像I。
R ^ ( x , y ) = I ( x , y ) S ( x , y ) - - - ( 8 )
顺便提一下,虽然特征图像由其中“^”被放在“R”上面的符号表示,但是因为该符号在说明书中不能被表示出来,所以特征图像将由“R^”表示。R^(x,y)表示特征图像R^上的像素(x,y)的像素值。在滤波处理之后的图像就成为特征图像R^,并且通过光栅扫描该特征图像,输入向量被转换。在式(8)中,当S(x,y)接近0时,特征图像R^的像素值R^(x,y)具有极大的值并且变得不稳定。这样,特征图像R^可以根据其中引入了用于抑制异常值的函数的式(9)获得。
R ^ ( x , y ) = f ( I ( x , y ) S ( x , y ) ) - - - ( 9 )
作为f(·),逻辑斯蒂(logistic)函数或对数函数被使用。
(9)辨识单元109
如在步骤8中指示的,辨识单元109通过估计从滤波处理器单元108输出的输入向量与预先注册的词典向量之间的距离,并通过使用例如最相邻分类法或辨识技术,来辨识人。
还可以通过使用模式识别的子空间方法或者类似方法来进行辨识。
(10)第一实施例的有利效果
在该实施例的目标识别装置100中,即使在面部图像中产生阴影区的情况下,人的面部固有的并且未被照明变化影响的特征量也被提取;这样,实现了高精确度的面部识别。
(第二实施例)
下面将参照图3描述第二实施例的目标识别装置200。
(1)目标识别装置200的结构
图3示出了目标识别装置200的结构。
目标识别装置200包括图像输入单元201、目标检测单元202、漫反射图像产生单元203、目标模型存储单元204、差分图像产生单元205、反射分量判断单元206、像素值替换单元207、差分图像校正单元208、权重计算单元209、加权高斯滤波器应用单元210、滤波处理单元211以及辨识单元212。
顺便提一下,图像输入单元201执行与图像输入单元101相同的处理;目标检测单元202执行与目标检测单元102相同的处理;漫反射图像产生单元203执行与漫反射图像产生单元103相同的处理;目标模型存储单元204执行与目标模型存储单元104相同的处理;差分图像产生单元205执行与差分图像产生单元105相同的处理。
此外,权重计算单元209进行与图1中的权重计算单元106相同的处理;加权高斯滤波器应用单元210执行与图1中的加权高斯滤波器应用单元107相同的处理;滤波处理单元211执行与图1中的滤波处理单元108相同的处理;辨识单元212执行与图1中的辨识单元109相同的处理。
(2)反射分量判断单元206
反射分量判断单元206使用从差分图像产生单元205输出的差分图像I’的像素值I’(x,y),判断输入图像I每个像素(x,y)的反射分量。当差分图像I’的像素值I’(x,y)具有正值并且超过阈值时,输出的结果是:像素是镜面反射区。
(3)像素值替换单元207
像素值替换单元207将已经在反射分量判断单元206中被输出作为镜面反射区的输入图像I的像素值I(x,y)替换为从周围像素插值的像素值,或者将其替换为从漫反射图像产生单元203输出的漫反射图像I~的像素值I~(x,y)。
为了防止在输入图像I中替换后的像素值变得与周围像素的像素值不连续,可以使用输入图像I和漫反射图像I~的加权线性组合。
当差分图像I’上像素的像素值很小时,大的权重被分配给输入图像I上的对应的像素;并且当差分图像I’上的像素的像素值很大时,大权重被分配给漫反射图像I~上的对应的像素。
(4)差分图像校正单元208
差分图像校正单元208将已经在反射分量判断单元206中被输出作为镜面反射区的差分图像I’的像素值替换为预定值(例如0)。
(5)第二实施例的有利效果
在该实施例的目标识别装置200中,即使在面部图像中产生阴影区和镜面反射区的情况下,对识别有效的固有特征也被提取;这样,实现了高精确度的面部识别。
(第三实施例)
下面将参照图4描述第三实施例的目标识别装置300。
图4示出了目标识别装置300的结构。目标识别装置300包括图像输入单元301、目标检测单元302、目标模型选择单元303、目标模型存储单元304、漫反射图像产生单元305、差分图像产生单元306、权重计算单元307、加权高斯滤波器应用单元308、滤波处理单元309以及辨识单元310。
图像输入单元301执行与图1中图像输入单元101相同的处理;目标检测单元302执行与图1中的目标检测单元102相同的处理。
目标模型选择单元303估计从目标检测单元302输出的面部图像的面部方向,并从存储在目标模型存储单元304中的多个漫反射图像产生模型中选择合适的模型。存储在目标模型存储单元304中的漫反射图像产生模型是分别用于不同面部朝向和不同面部部分的模型。
漫反射图像产生单元305使用由目标模型选择单元303选择的漫反射图像产生模型,并执行与图1中的漫反射图像产生单元103相同的处理。
差分图像产生单元306执行与图1中的差分图像产生单元105相同的处理;权重计算单元307执行与图1中的权重计算单元106相同的处理;加权高斯滤波器应用单元308执行与图1中的加权高斯滤波器应用单元107相同的处理;滤波处理单元309执行与滤波处理单元108相同的处理;并且辨识单元310执行与图1中的辨识单元109相同的处理。
在该实施例的目标识别装置300中,即使在面部图像的面部朝向不仅仅朝向前方而且朝向各种方向的情况下,对变化的照明有鲁棒性的固有特征也被提取;这样,实现了高精确度的面部识别。
(第四实施例)
下面将参照图5描述第四实施例的目标识别装置400。
(1)目标识别装置400的结构
图5示出了目标识别装置400的结构。
目标识别装置400包括图像输入单元401、目标检测单元402、漫反射图像产生单元403、目标模型存储单元404、差分图像产生单元405、权重计算单元406、微分处理单元407、加权高斯滤波器应用单元408、滤波处理单元409和辨识单元410。
顺便提一下,图像输入单元401执行与图1中图像输入单元101相同的处理;目标检测单元402执行与图1中的目标检测单元102相同的处理;漫反射图像产生单元403执行与图1中的漫反射图像产生单元103相同的处理;目标模型存储单元404执行与图1中的目标模型存储单元104相同的处理;差分图像产生单元405执行与图1中的差分图像产生单元105相同的处理;权重计算单元406执行与图1中的权重计算单元106相同的处理。此外,辨识单元410执行与图1中的辨识单元109相同的处理。
(2)微分处理单元407
微分处理单元407取得输入图像的关注像素与其周围像素之间的差以除去噪声。当可以假设在关注像素附近产生均匀的噪声时,噪声可以通过例如式(10)而被除去。
I ^ ( x , y ) = | I ( x , y ) - I ( x , y + 1 ) | - - - ( 10 )
替代式(10),可以使用差分高斯滤波器、通过应用离散傅立叶变换的带通滤波器等。
当假设在关注像素附近的像素处的镜面反射分量的值也是均匀的时,镜面反射分量可以通过类似方法除去;换句话说,当假设局部区域内的像素具有相同的镜面反射分量值时,像素区的法线方向在局部区域内也是均匀的,并且视点是无限远的点。但是,这限于其中观察值落在相机动态范围中的情况。
(3)加权高斯滤波器应用单元408
加权高斯滤波器应用单元408使用从权重计算单元406输出的权重,并将加权高斯滤波器应用于从微分处理单元407输出的微分输入图像。
加权高斯滤波器W(x,y)G(x,y)通过式(11)被应用于差分图像I~(x,y)。
S ( x , y ) = ( W ( x , y ) G ( x , y ) ) * I ^ ( x , y ) ) - - - ( 11 )
其中,|·|表示绝对值,*表示卷积。
(4)滤波处理单元409
滤波处理单元409使用从加权高斯滤波器应用单元408输出的平滑图像,并将式(12)的处理应用于从微分处理单元407输出的图像。
R ^ ( x , y ) = I ^ ( x , y ) S ( x , y ) - - - ( 12 )
为了除去特征图像R^中的异常值,可以执行使用像素值平均值和方差的阈值处理。通过光栅扫描特征图像R^进行到特征向量的转换。
(5)第四实施例的有利效果
在该实施例的目标识别装置400中,在照明条件很坏(如在黑暗环境中)的情况中产生的相机系统的噪声被除去,对变化的照明有鲁棒性的固有特征被提取,实现了高精确度的个人辨识。
(修改的实施例)
本发明不限于上述实施例,而是可以在不脱离本发明要点的范围内有各种变化。
一般地,本发明可以被应用于使用图像的目标识别。例如,本发明不仅可以应用于人的面部,而且可以应用于其图像可以被捕获的各种实际目标。
滤波处理之后且从滤波处理单元108输出的图像可以被存储在护照等中,并且可以用于人的识别。
此外,替代加权高斯滤波器,可以使用任何加权平滑滤波器。例如,线性滤波器或由COSn(n>2)定义的滤波器可以被用作平滑滤波器。

Claims (18)

1、一种图像处理装置,包括:
权重计算单元,被配置以计算加权平滑滤波器的权重;
第一滤波器单元,被配置以通过将加权平滑滤波器应用于输入图像来产生平滑图像;以及
第二滤波器单元,被配置以通过将输入图像每个像素的像素值除以平滑图像的对应的像素的像素值,来获得特征图像,
其中,权重计算单元包括:
(1)漫反射图像产生单元,被配置以通过使用具有漫反射分量作为主要分量的模型来产生漫反射图像,该漫反射图像近似输入图像,以及
(2)差分图像产生单元,被配置以产生漫反射图像与输入图像之间的差分图像,并且
权重计算单元比较差分图像中每个关注像素与其周围像素的像素值,来计算权重,其差值越大,周围像素的权重越小。
2.根据权利要求1的图像处理装置,还包括:
反射分量判断单元,被配置以通过使用差分图像上与输入图像上的每个像素相对应的像素的像素值来判断输入图像上的每个像素是否属于镜面反射区;
像素值替换单元,被配置以通过使用漫反射图像上与已经被判断属于镜面反射区的每个像素相对应的像素的像素值来修改或替换已经被判断是镜面反射区的每个像素的像素值,并获得替换后的输入图像;以及
差分图像校正单元,被配置以校正差分图像上所述对应的像素的像素值,并获得校正后的差分图像,所述对应的像素对应于已经被判断为属于镜面反射区的每个像素,
其中,权重计算单元使用校正后的差分图像来计算权重,并且
第一和第二滤波器单元使用替换后的输入图像来分别获得平滑图像和特征图像。
3.根据权利要求1的图像处理装置,还包括目标模型选择单元,用于估计输入图像的目标的方向,并根据所估计的方向选择模型。
4.根据权利要求1的图像处理装置,还包括微分处理单元,用于通过将微分滤波器应用于输入图像以获得微分输入图像,
其中,第一和第二滤波器单元使用微分输入图像来分别获得平滑图像和特征图像。
5.根据权利要求1的图像处理装置,其中,权重计算单元获得加权平滑滤波器上的关注像素与其周围像素的像素值之间的另一个差值,来计算权重,所述另一个差值越大,周围像素的权重越小。
6.根据权利要求2的图像处理装置,其中,像素值替换单元将已经被判断为属于镜面反射区的每个像素的像素值替换为漫反射图像上对应的像素的像素值;或者将其替换为从漫反射图像上对应的像素周围的像素的像素值通过进行插值而得到的值。
7.根据权利要求1的图像处理装置,其中,加权平滑滤波器是加权高斯滤波器。
8.根据权利要求1的图像处理装置,其中,从目标出现在其上的特征图像上辨识目标。
9.根据权利要求1的图像处理装置,其中,权重计算单元使用包括差分图像上的关注像素的区域中的多个像素作为周围像素。
10.一种图像处理方法,包括:
计算加权平滑滤波器的权重;
通过将加权平滑滤波器应用于输入图像来产生平滑图像;以及
通过将输入图像上每个像素的像素值除以平滑图像上对应的像素的像素值,来获得特征图像,
其中,计算权重的步骤包括:
通过使用具有漫反射分量作为主要分量的模型来获得近似输入图像的漫反射图像,
产生漫反射图像与输入图像之间的差分图像,以及
比较差分图像中每个关注像素与其周围像素的像素值,来计算权重,其差值越大,周围像素的权重越小,以及
给周围像素分配随着差值的增加而减小的权重。
11.根据权利要求10的图像处理方法,还包括:
通过使用差分图像上与输入图像上每个像素相对应的像素的像素值来判断输入图像上每个像素是否属于镜面反射区;
通过使用漫反射图像上与已被判断为属于镜面反射区的每个像素对应的像素的像素值,来改变或替换已被判断为属于镜面反射区的每个像素的像素值,以获得替换后的输入图像;
校正差分图像上所述对应的像素的像素值,以获得校正后的差分图像,所述对应的像素对应于已经被判断为是镜面反射区的每个像素;
通过使用校正后的差分图像来计算权重;
通过使用替换后的输入图像来产生平滑图像;以及
通过将替换后的输入图像上每个像素的像素值除以平滑图像上对应的像素的像素值,来获得特征图像。
12.根据权利要求10的图像处理方法,还包括:估计输入图像上的目标的方向;以及根据所估计的方向选择模型。
13.根据权利要求10的图像处理方法,还包括:
将微分滤波器应用于输入图像以获得微分输入图像;
将加权平滑滤波器应用于微分输入图像以获得平滑图像;以及
将微分输入图像上每个像素的像素值除以平滑图像上对应的像素的像素值,以获得特征图像。
14.根据权利要求10的图像处理方法,所述计算权重的步骤包括:获得加权平滑滤波器上的关注像素与其周围像素的像素值之间的另一个差值,来计算权重,所述另一个差值越大,周围像素的权重越小。
15.根据权利要求11的图像处理方法,所述改变或替换包括:将已经被判断为属于镜面反射区的每个像素的像素值替换为漫反射图像上对应的像素的像素值;或者将其替换为从漫反射图像上对应的像素周围的像素的像素值进行插值获得的值。
16.根据权利要求10的图像处理方法,其中,所述加权平滑滤波器是加权高斯滤波器。
17.根据权利要求10的图像处理方法,其中,从目标出现在其上的特征图像中辨识目标。
18.根据权利要求10的图像处理方法,其中,在所述权重的计算中使用包括差分图像上的关注像素的区域中的多个像素作为周围像素。
CNB2006101513734A 2005-09-07 2006-09-07 图像处理装置和方法 Expired - Fee Related CN100435165C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005259895 2005-09-07
JP2005259895A JP4459137B2 (ja) 2005-09-07 2005-09-07 画像処理装置及びその方法
JP2005-259895 2005-09-07

Publications (2)

Publication Number Publication Date
CN1928889A true CN1928889A (zh) 2007-03-14
CN100435165C CN100435165C (zh) 2008-11-19

Family

ID=37858847

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006101513734A Expired - Fee Related CN100435165C (zh) 2005-09-07 2006-09-07 图像处理装置和方法

Country Status (3)

Country Link
US (1) US7679621B2 (zh)
JP (1) JP4459137B2 (zh)
CN (1) CN100435165C (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101828384A (zh) * 2007-09-14 2010-09-08 赛普拉斯半导体公司 数字影像截取装置和方法
CN102567740A (zh) * 2010-12-14 2012-07-11 苏州大学 一种图像识别方法及系统
CN103250183A (zh) * 2011-09-05 2013-08-14 株式会社摩如富 脸认证系统、脸认证方法、以及脸认证程序
CN103716503A (zh) * 2012-09-28 2014-04-09 日立民用电子株式会社 图像处理装置和投影仪
CN106094192A (zh) * 2015-04-30 2016-11-09 卡尔蔡司显微镜有限公司 用于图像的反射校正的方法和在这方面的装置
CN106464816A (zh) * 2014-06-18 2017-02-22 佳能株式会社 图像处理设备及其图像处理方法
CN113222936A (zh) * 2021-05-13 2021-08-06 北京百度网讯科技有限公司 皮肤图像处理方法、装置、设备以及存储介质

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007101573A (ja) * 2005-09-30 2007-04-19 Fujifilm Corp プリント注文受付装置
JP4241763B2 (ja) * 2006-05-29 2009-03-18 株式会社東芝 人物認識装置及びその方法
US8442344B2 (en) * 2006-08-07 2013-05-14 Qualcomm Incorporated Adaptive spatial image filter for filtering image information
US8064726B1 (en) 2007-03-08 2011-11-22 Nvidia Corporation Apparatus and method for approximating a convolution function utilizing a sum of gaussian functions
US8538183B1 (en) * 2007-03-08 2013-09-17 Nvidia Corporation System and method for approximating a diffusion profile utilizing gathered lighting information associated with an occluded portion of an object
KR100874088B1 (ko) 2007-05-28 2008-12-16 에스케이 텔레콤주식회사 영상변이 센싱을 활용한 얼굴인식 방법 및 시스템
KR20090062049A (ko) * 2007-12-12 2009-06-17 삼성전자주식회사 영상 데이터 압축 전처리 방법 및 이를 이용한 영상 데이터압축 방법과, 영상 데이터 압축 시스템
JP4676978B2 (ja) * 2007-12-20 2011-04-27 旭化成株式会社 顔検出装置、顔検出方法、及び、顔検出プログラム
JP5033014B2 (ja) * 2008-02-14 2012-09-26 パナソニック株式会社 顔認証装置
JP5047005B2 (ja) * 2008-02-29 2012-10-10 キヤノン株式会社 画像処理方法、パターン検出方法、パターン認識方法及び画像処理装置
US8452058B2 (en) * 2008-03-04 2013-05-28 International Business Machines Corporation Method and apparatus for repeatable facial distortion
JP5136965B2 (ja) * 2008-09-03 2013-02-06 日本電気株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US20100142846A1 (en) * 2008-12-05 2010-06-10 Tandent Vision Science, Inc. Solver for image segregation
JP4720913B2 (ja) * 2009-02-19 2011-07-13 ソニー株式会社 学習装置、学習方法、識別装置、識別方法、及び、プログラム
US8391601B2 (en) * 2009-04-30 2013-03-05 Tandent Vision Science, Inc. Method for image modification
WO2011055164A1 (en) * 2009-11-06 2011-05-12 Vesalis Method for illumination normalization on a digital image for performing face recognition
US8582889B2 (en) 2010-01-08 2013-11-12 Qualcomm Incorporated Scale space normalization technique for improved feature detection in uniform and non-uniform illumination changes
JP2011154501A (ja) * 2010-01-27 2011-08-11 Sony Corp 学習装置、学習方法、識別装置、識別方法、プログラム、及び情報処理システム
WO2012018130A1 (en) 2010-08-05 2012-02-09 Nec Corporation Group security in machine-type communication
JP5780053B2 (ja) * 2011-08-22 2015-09-16 富士通株式会社 生体認証装置、生体認証方法、及びプログラム
CN102289670B (zh) * 2011-08-31 2013-03-20 长安大学 一种具有光照鲁棒性的图像特征提取方法
JPWO2013035150A1 (ja) * 2011-09-05 2015-03-23 株式会社モルフォ 顔認証システム、顔認証方法、および顔認証プログラム
JP5443533B2 (ja) * 2012-03-22 2014-03-19 株式会社東芝 画像処理装置、画像表示装置及び画像処理方法
JP2014078808A (ja) 2012-10-09 2014-05-01 Toshiba Corp 画像処理装置、画像処理方法
US9165180B2 (en) * 2012-10-12 2015-10-20 Microsoft Technology Licensing, Llc Illumination sensitive face recognition
KR101490909B1 (ko) * 2013-05-10 2015-02-06 현대자동차 주식회사 차량용 영상 처리 장치 및 방법
TWI628601B (zh) * 2016-05-11 2018-07-01 國立高雄應用科技大學 人臉影像處理方法及其系統
WO2018097677A1 (en) * 2016-11-28 2018-05-31 Samsung Electronics Co., Ltd. Image processing apparatus, image processing method, and computer-readable recording medium thereof
US10339622B1 (en) 2018-03-02 2019-07-02 Capital One Services, Llc Systems and methods for enhancing machine vision object recognition through accumulated classifications
JP7342517B2 (ja) * 2019-08-21 2023-09-12 富士通株式会社 画像処理装置、方法、及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991456A (en) * 1996-05-29 1999-11-23 Science And Technology Corporation Method of improving a digital image
US6466685B1 (en) * 1998-07-14 2002-10-15 Kabushiki Kaisha Toshiba Pattern recognition apparatus and method
JP3536908B2 (ja) * 1999-12-15 2004-06-14 日本電気株式会社 画像合成方法、画像合成装置、記録媒体、及び指紋入力装置
US6731821B1 (en) * 2000-09-29 2004-05-04 Hewlett-Packard Development Company, L.P. Method for enhancing compressibility and visual quality of scanned document images
WO2002048964A1 (en) * 2000-12-14 2002-06-20 Matsushita Electric Works, Ltd. Image processor and pattern recognition apparatus using the image processor
US6947178B2 (en) * 2001-02-26 2005-09-20 International Business Machines Corporation De-screening halftones using sigma filters
US6639594B2 (en) * 2001-06-03 2003-10-28 Microsoft Corporation View-dependent image synthesis
TWI220505B (en) * 2001-08-13 2004-08-21 Ulead Systems Inc Image enhancement method
US20030123734A1 (en) * 2001-12-28 2003-07-03 Koninklijke Philips Electronics N.V. Methods and apparatus for object recognition
JP3952301B2 (ja) * 2003-08-29 2007-08-01 ノーリツ鋼機株式会社 画像処理装置、方法、及びプログラム
JP3981744B2 (ja) * 2003-11-21 2007-09-26 中部電力株式会社 画像補正方法及び画像補正装置
JP3930493B2 (ja) * 2004-05-17 2007-06-13 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像処理方法、画像処理装置およびx線ct装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101828384A (zh) * 2007-09-14 2010-09-08 赛普拉斯半导体公司 数字影像截取装置和方法
CN102567740A (zh) * 2010-12-14 2012-07-11 苏州大学 一种图像识别方法及系统
CN102567740B (zh) * 2010-12-14 2014-07-16 苏州大学 一种图像识别方法及系统
US9042609B2 (en) 2011-09-05 2015-05-26 Morpho, Inc. Face authentication system, face authentication method, and face authentication program
CN103250183A (zh) * 2011-09-05 2013-08-14 株式会社摩如富 脸认证系统、脸认证方法、以及脸认证程序
CN103716503B (zh) * 2012-09-28 2016-08-17 日立麦克赛尔株式会社 图像处理装置和投影仪
CN103716503A (zh) * 2012-09-28 2014-04-09 日立民用电子株式会社 图像处理装置和投影仪
CN106464816A (zh) * 2014-06-18 2017-02-22 佳能株式会社 图像处理设备及其图像处理方法
US10574961B2 (en) 2014-06-18 2020-02-25 Canon Kabushiki Kaisha Image processing apparatus and image processing method thereof
CN106094192A (zh) * 2015-04-30 2016-11-09 卡尔蔡司显微镜有限公司 用于图像的反射校正的方法和在这方面的装置
CN106094192B (zh) * 2015-04-30 2020-12-22 卡尔蔡司显微镜有限公司 用于图像的反射校正的方法和在这方面的装置
CN113222936A (zh) * 2021-05-13 2021-08-06 北京百度网讯科技有限公司 皮肤图像处理方法、装置、设备以及存储介质
CN113222936B (zh) * 2021-05-13 2023-11-17 北京百度网讯科技有限公司 皮肤图像处理方法、装置、设备以及存储介质

Also Published As

Publication number Publication date
JP4459137B2 (ja) 2010-04-28
JP2007072814A (ja) 2007-03-22
US7679621B2 (en) 2010-03-16
US20070065015A1 (en) 2007-03-22
CN100435165C (zh) 2008-11-19

Similar Documents

Publication Publication Date Title
CN1928889A (zh) 图像处理装置和方法
JP5041458B2 (ja) 三次元物体を検出する装置
JP6550723B2 (ja) 画像処理装置、文字認識装置、画像処理方法、およびプログラム
CN1977286A (zh) 对象识别方法及其设备
JP2008059197A (ja) 画像照合装置、画像照合方法、コンピュータプログラム及び記憶媒体
CN1738426A (zh) 一种视频运动目标分割与跟踪方法
CN101079952A (zh) 图像处理方法和图像处理设备
CN101038629A (zh) 生物认证方法和生物认证装置
CN1828632A (zh) 目标检测装置、学习装置、目标检测系统及目标检测方法
US20120314103A1 (en) Glare and shadow mitigation by fusing multiple frames
CN1687959A (zh) 基于人脸几何尺寸归一化的人脸图像识别方法
CN1822024A (zh) 一种人脸特征点定位方法
CN1648936A (zh) 先验知识、水平集表示和可视分组
CN1866271A (zh) 基于aam的头部姿态实时估算方法及系统
CN1379364A (zh) 图形对照装置及其图形对照方法
CN101048801A (zh) 法线信息估计装置、注册图像群制作装置、图像对照装置以及法线信息估计方法
CN1643540A (zh) 比较图案
CN1220877C (zh) 织物平整度等级客观评定方法
CN113205099B (zh) 一种镀镍金属表面去料字符视觉检测系统及方法
CN109982063A (zh) 一种tof深度相机的aa方法及装置
CN1512453A (zh) 图像处理方法及装置
JP2005275447A5 (zh)
CN1920852A (zh) 一种确定一组不同特征的级联分类器的连接顺序和特征阈值的方法
CN112434581A (zh) 一种室外目标颜色识别方法、系统、电子设备及存储介质
CN1949247A (zh) 用于识别图像中的脸部的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081119

Termination date: 20160907