CN103295186A - 图像描述符生成方法和系统、图像检测方法和系统 - Google Patents
图像描述符生成方法和系统、图像检测方法和系统 Download PDFInfo
- Publication number
- CN103295186A CN103295186A CN2012100456918A CN201210045691A CN103295186A CN 103295186 A CN103295186 A CN 103295186A CN 2012100456918 A CN2012100456918 A CN 2012100456918A CN 201210045691 A CN201210045691 A CN 201210045691A CN 103295186 A CN103295186 A CN 103295186A
- Authority
- CN
- China
- Prior art keywords
- pixel region
- bit
- pixel
- sign indicating
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了图像描述符生成方法和系统以及图像检测方法和系统。该图像描述符生成方法包括:编码步骤,对于多个像素区域中的每个像素区域,将该像素区域编码成M个N比特二值码;区域类别确定步骤,以确定所述像素区域的像素区域类别;以及描述符生成步骤,通过基于所确定的像素区域类别利用特征提取以生成图像的描述符,其中,M是大于等于1的整数,并且N是大于等于3的整数。
Description
技术领域
本发明涉及图像描述符生成方法和系统,以及图像检测方法和系统。
特别地,本发明涉及用于基于图像中包含的多个像素区域各自的像素区域类别生成该图像的描述符的方法和系统。
本发明还涉及利用上述的图像描述符生成方法的图像检测方法和系统。
背景技术
在图像处理、计算机视觉和图案识别等领域中,如文档1和文档2所公开的,诸如脸部、人、汽车等的特定对象或类别的检测在近数十年来得到飞速发展。可通过训练大量的样本来提取公共的而且有辨别力(discriminative)的图案或特征以描述图像的形态(morphology)。然而对于一般的或者无训练的对象检测,有效的且鲁棒的特征描述符是最重要的。
传统的图像区域描述方法利用特征向量,该特征向量代表图像的特征的全局分布而具有任何空间或结构相关信息,因此其具有有限的辨别力并且易于误检(false positive)。
近年来,基于图像分割的方法已被提出。一般来说,基于图像分割的方法首先将整个图像分割成预先限定的区域;然后独立地对于每个分割后的图像区域生成特征向量,最后将所有生成的特征向量集合成用于整个图像的单个描述符。因此,用于整个图像的单个描述符集成了该图像的空间或结构相关信息,并且将更加有效地代表该图像。
特别地,两种类型的基于图像分割的方法已被广泛使用。一种基于图像分割的方法被称为基于网格的图像分割方法,如图1所示。基于网格的图像分割方法首先将图像划分成多个规则的网格,例如方形网格,然后提取每个网格区域中的特征向量,最终依次将所有网格区域特征向量集合成单个图像向量以获得图像的描述符。
用于整个图像的单个描述符通常以如图1所示的直方图的形式被示出,在图1中横坐标指示特定颜色空间中的分区段的颜色分量,而纵坐标指示与每种颜色分量对应的像素的出现频率,该出现频率通常由像素数表示。
但是,基于网格的图像分割方法对于面内旋转敏感,例如当图像旋转90°时,描述符的直方图将大不相同。也就是说,通过基于网格的图像分割方法生成的描述符对于面内旋转敏感并且不是那么鲁棒。
另一种基于图像分割的方法被称为基于圆的图像分割方法,如图2所示。基于圆的图像分割方法将图像划分成多个同心圆区域,该多个同心圆区域的共同中心为该图像的中心。因此,通过基于圆的图像分割方法生成的描述符对于面内旋转是鲁棒的。但是,该基于圆的图像分割方法没有考虑图像特征,这样限制了其的鲁棒性。此外,该方法对于面外旋转和变形是敏感的。
如上文描述可见,尽管基于图像分割的方法可产生包括图像的空间或结构相关信息并且可相对有效地代表图像的图像描述符,但是基于图像分割的方法对于图像的旋转(诸如图像的面内旋转或面外旋转)是敏感的,因此通过基于图像分割的方法生成的描述符的鲁棒性受限。
近年来,基于像素分类的方法已被提出以克服基于图像分割的方法的不足并且实现更加鲁棒的描述符。基于像素分类的方法首先将图像中所包含的像素分成若干类别,然后生成各类别的特征向量,最后将所有特征向量组合成单个描述符。
两种基于像素分类的颜色特征描述方法已被引入并且被广泛用于基于内容的图像检索。
一种基于像素分类的方法被称为如文档3中所引用的BIC(边界/内部颜色)方法。BIC方法首先利用预定量化方案将指定颜色空间中的像素量化;此后,将像素分类为边界像素或内部像素。当像素位于图像本身的边界时(例如,如图3所示,位于图像外边界处的像素)或者该像素的四个相邻像素之中的至少一个具有不同的量化颜色时(例如,位于量化边界处的像素),该像素被分类为边界像素,当像素的全部四个相邻像素都具有相同的量化颜色时,该像素被分类为内部像素。最后,生成由两个颜色直方图构成的描述符(如图3所示),这两个颜色直方图分别代表内部和边界像素的统计颜色分布。
但是,尽管通过BIC方法生成的描述符的鲁棒性稍有提高,但是由于图像边界对于照度变化和噪声敏感,因此该描述符对于照度变化和噪声是敏感的。此外,由于量化后的边界依赖于颜色量化方案,这使得量化过程与颜色特征相耦合,因此该描述符也是特征相关的。
另一种基于像素分类的方法被称为如文档4中所引用的CCV(颜色连贯向量(color coherent vector))方法。CCV分类方法基于相连分量的大小并且引入了经验大小阈值。当像素为具有大于该预定的阈值的大小的连续区域的一部分时,将该像素分类为连贯像素(例如,图4中的红色和绿色像素);否则,将该像素分类为不连贯像素(例如,图4中的蓝色像素)。
基于上述状态,只有当图像中的至少一种颜色充满纹理或者构成小的分散的斑块时,CCV方法是高效的;否则,其将变弱为简单的全局颜色直方图(GCH)方法。此外,该方法得到的描述符不具有空间或拓扑信息,因此该方法并不比GCH方法有效。
如从上文描述可见,尽管基于像素分类的方法相对于面内旋转或面外旋转是鲁棒的,但是这种方法对于照度变化和噪声是敏感的。此外,BIC方法和CCV方法两者都在像素分类之前进行量化,因此这两种方法的生成结果依赖于颜色量化方案,这使得这两种方法的分类过程与颜色特征耦合。因此,通过像素分类方法生成的描述符仍受限于图像的颜色空间,也就是说,是特征相关的。
考虑到上文,现有技术几乎不能获得对于照度变化、观看点改变、非刚性变形等鲁棒的并且是特征无关的图像的描述符。
引用文献列表
[1].P.Viola and M.Jones.Rapid object detection using a boosted cascade of simpleteatures.IEEE CVPR,2001.
[2].K Mikolajczyk,B Leibe,B Schiele.Multiple object class detection with agenerative model.IEEE Computer Society Conference on Computer Vision and PatternRecognition,pp.26-36,2006
[3].R.O.Stehling,M.A.Nascimentp,A.X.Falcao.A compact and efficient imageretrieval approach based on border/interior pixel classification.In processed of the 11thinternational conference on Information and Knowledge Management,pp.102-109,2002
[4].G.Pass,R.Zabih,and J.Miller.Comparing images using color coherencevectors.In proc.OfACM Multimedia,Intl.Conf.pp.65-73,1996
发明内容
本发明旨在解决上述问题。本发明的一个目标是提供一种解决上述问题中的任一个的方法和系统。
根据本发明的第一方面,提出了一种图像描述符生成方法,所述图像包括多个像素区域,所述方法包括:编码步骤,对于多个像素区域中的每个像素区域,将该像素区域编码成M个N比特二值码,其中每一N比特二值码中的每一个比特对应于该像素区域的多个相邻像素区域中的每一个;区域类别确定步骤,对于所述多个像素区域中的要被确定类别的每一个像素区域,所述要被确定类别的像素区域的所述M个N比特二值码的至少一个N比特二值码与对应的特定模式相匹配,以确定所述像素区域的像素区域类别;以及描述符生成步骤,通过基于在该区域类别确定步骤中确定的像素区域类别对于图像中所包含的像素利用特征向量提取以生成图像的描述符,其中,M是大于等于1的整数,并且N是大于等于3的整数。
根据本发明的第二方面,提出了一种图像描述符生成系统,所述图像包括多个像素区域,所述系统包括:编码单元,被配置用于对于多个像素区域中的每个像素区域,将该像素区域编码成M个N比特二值码,其中每一N比特二值码中的每一个比特对应于该像素区域的多个相邻像素区域中的每一个;区域类别确定单元,被配置用于对于所述多个像素区域中的要被确定类别的每一个像素区域,所述要被确定类别的像素区域的所述M个N比特二值码的至少一个N比特二值码与对应的特定模式相匹配,以确定所述像素区域的像素区域类别;以及描述符生成单元,被配置用于通过基于在该区域类别确定步骤中确定的像素区域类别对于图像中所包含的像素利用特征提取以生成图像的描述符,其中,M是大于等于1的整数,并且N是大于等于3的整数。
根据本发明的第三方面,提出了一种图像检测方法,包括:输入步骤,输入对象图像的区域图像;图像描述符生成步骤,对于输入的区域图像执行根据本发明的第一方面的方法,以生成图像描述符作为该输入的区域图像的区域图像描述符;计算步骤,计算所述区域图像描述符与特定目标图像描述符之间的差;以及确定步骤,当该差小于特定阈值时,确定输入的区域图像与目标图像对应,否则调整输入的区域图像的位置和/或大小以获得下一要被处理的区域图像。
根据本发明的第四方面,提出了一种图像检测系统,包括:输入单元,被配置用于输入对象图像的区域图像;图像描述符生成单元,被配置用于对于输入的区域图像执行根据本发明的第一方面的方法,以生成图像描述符作为该输入的区域图像的区域图像描述符;计算单元,被配置用于计算所述区域图像描述符与特定目标图像描述符之间的差;以及确定单元,被配置用于当该差小于特定阈值时,确定输入的区域图像与目标图像对应,否则调整输入的区域图像的位置和/或大小以获得下一要被处理的区域图像。
从参照附图的示例性实施例的以下描述,本发明的其它特征将变得清晰。
附图说明
并入说明书中并且构成说明书的一部分的附图示出了本发明的实施例,并且与描述一起用于解释本发明的原理。在附图中,相似的附图标记指示相似的项目。
图1-4示出现有技术中的一些颜色特征描述符生成方法。
图5是示出用于实现根据本发明的方法和系统的计算设备的布置的框图。
图6是示出根据本发明的第一实施例的图像描述符生成方法的流程图。
图7是示出图6中的编码步骤的处理的流程图。
图8示出编码步骤的处理的示例。
图9是示出图6中的区域类别确定步骤的处理的流程图。
图10A和10B示出用于确定像素区域类别的两种特定模式,其中图10A示出第一特定模式并且图10B示出第二特定模式。
图11示意性地示出根据确定的像素区域类别的图像的像素分类。
图12是示出图6中的描述符生成步骤的处理的流程图。
图13A和13B示出特征向量提取的示例。
图14示出通过根据本发明的第一实施例的方法实现的描述符生成示意性结果。
图15是示出根据本发明的第一实施例的图像的描述符生成系统的框图。
图16A至16C示出应用根据本发明的第一实施例的方法的应用示例,其中图16A示出要被描述的原始图像,图16B示出通过本方法实现的原始图像的像素分类结果,并且图16C示出所获得的原始图像的颜色特征。
图17A至17B示出用于根据本发明的第一实施例的描述符生成方法与基于圆的图像分割方法之间的比较的图像,其中图17A示出从原始图像经受面内旋转所得到的图像,并且图17B示出从原始图像经受面外旋转所得到的图像。
图18是示出根据本发明的第二实施例的图像检测方法的流程图。
图19是示出根据本发明的第二实施例的图像检测系统的框图。
具体实施方式
在本发明中,提出了一种基于像素分类的图像区域描述方法。图像中所包含的像素基于它们的区域特性以及局部结构被分类。因此,本发明的方法使得特征描述符与上述方法相比更加鲁棒且更有辨别力。此外,对于每个像素类别提取的特征并不局限于颜色特征,所有其他的特征(例如纹理)也是可能的。因此,所得到的描述符也是特征无关的并且不局限于图像的颜色特征。
下文将参照附图详细描述本发明的实施例。
为了有助于透彻地并且适当地理解本发明,下文将首先解释本发明的说明书以及权利要求书中所使用的术语。
在本说明书以及权利要求书中,尤其当用于包含要被检测或识别的对象的图像时,图像中的“像素区域”指的是该图像中的可包含一个或多个像素的区域。一般来说,图像可包括边界像素区域以及除该边界像素区域之外的多个像素区域。在一些情况下,图像可被划分成多个图像区域,并且每个图像区域可包含多个像素区域。
像素区域的“像素区域值”通常指的是该像素区域中包含的一个或多个像素的算术平均值、几何平均值、加权值或中值等,并且当像素区域值与颜色特征相关时,该像素区域值可以是该像素区域中的像素的平均照度(illumination intensity),其可由像素区域中的像素计数表示。
图像可具有多种特征,例如颜色、纹理或形状。图像的“描述符”通常反映该图像的特定特征,并且图像的最常用的描述符反映该图像的颜色特征。颜色特征可指的是与图像相关的颜色空间中的每一颜色分量相对应的像素数。在一些情况下,颜色分量可以是被量化的颜色分量。一般来说,图像描述符可被表示为图像的特征向量的形式。
“特征向量”表示图像的向量形式的特征。此外,图像的特征向量可由分别与图像中包含的每个像素区域对应的特征向量构成。
对于图像的给定特征,该特征仅代表图像的少数方面,因此具有有限的辨别力。将多个特征标记(feature cue)合并入单个区段非常有希望获得非常有区别性的描述符。在本发明中,基于像素的局部区域特性对像素进行分类,因此在每一像素类别中可保留图像的局部特征,从而可实现有利的技术效果。
下文,为了简化描述,采用每个像素类别的颜色特征来描述图像以及针对图像的处理。当然,通过本发明的技术方案所生成的图像的描述符可独立地或者相组合地结合其他特征。
图5是示出用于实施根据本发明的图像描述符生成方法和系统的计算设备的布置的框图。为了简化起见,该系统被示出为置于单个计算设备中。但是,不管该系统被置于单个计算设备中还是被置于作为网络系统的多个计算设备中,该系统都是有效的。
如图5所示,计算设备100用于图像描述符生成。此外,计算设备100可执行图像检测。计算设备100可包括CPU 101、芯片组102、RAM 103、存储控制器104、显示控制器105、硬盘驱动器106、CD-ROM驱动器107、以及显示器108。计算设备100还可包括连接于CPU 101和芯片组102之间的信号线111、连接于芯片组102和RAM103之间的信号线112、连接于芯片组102和各种外围设备之间的外围设备总线113、连接于存储控制器104和硬盘驱动器106之间的信号线114、连接于存储控制器104和CD-ROM驱动器107之间的信号线115、以及连接于显示控制器105和显示器108之间的信号线116。
客户设备120可直接或经由网络130连接到计算设备100。客户设备120可例如向计算设备100发送生成图像描述符或者执行图像检测的处理所需要的指令和/或参数,并且计算设备100可将信息返回给客户设备120或者在显示器108上显示信息。
[第一实施例]
下文,将参照图6描述本发明的图像描述符生成方法,并且图6是示出根据本发明的第一实施例的图像描述符生成方法的流程图。
一般来说,包含要被检测或识别的对象的图像可包含多个像素区域,并且多个像素区域中的每一个可包含一个或多个像素。
在该方法的步骤S100(下文将被称为编码步骤)中,对于多个像素区域中的每个像素区域,将该像素区域编码成M个N比特二值码,其中每一N比特二值码中的每一个比特对应于该像素区域的多个相邻像素中的每一个。
在步骤S200(下文将被称为区域类别确定步骤)中,对于多个像素区域中的要被确定类别的每一个像素区域,将所述要被确定类别的像素区域的该M个N比特二值码中的至少一个N比特二值码与多个特定模式中的一种对应的特定模式相匹配,以确定该像素区域的像素区域类别。
在步骤S300(下文将被称为描述符生成步骤)中,通过利用特征向量提取基于在该区域类别确定步骤中确定的像素区域类别生成该图像的描述符。
在该方法中,M可以是大于等于1的整数,并且N是大于等于3的整数。
这里,像素区域的相邻像素区域通常位于该像素区域周围并且紧邻该像素区域。相邻像素区域通常可与该像素区域具有相同大小,但是它们的大小也可不同,只要可实现类似的确定结果即可,并且可由操作者根据实际操作环境、性能要求等选择。像素区域通常具有多个相邻像素区域,并且相邻像素区域的数量可根据像素区域的形状、实际操作环境等改变,并且可由操作者任意选定。此外,相邻像素区域的位置可由操作者根据实际操作环境、性能要求等确定。
在优选实现中,像素区域的多个相邻像素区域为以该像素为中心的与该像素一起形成3×3像素区域阵列的8个像素区域,并且该3×3像素区域阵列为矩形。
接下来,将参照附图描述根据本发明的第一实施例的方法的步骤S100至S300中的每一个。
首先,将详细描述编码步骤。
编码步骤可将多个像素区域中的每个像素区域编码成M个N比特二值码。在M个N比特二值码中,第m个N比特二值码指示其像素区域值位于M个像素区域值范围中的第m个像素区域值范围中的相邻像素区域,并且该第m个N比特二值码中的与该相邻像素区域中的每一个对应的每个比特为特定二值水平,其中1≤m≤M。在二值方式中,特定二值水平通常为二值记数法中的“1”。当然,在不背离本发明的范围的情况下特定二值水平也可以是“0”,并且仍可实现类似的效果。在优选实现中,M是3并且N是8,因此M个N比特二值码对应于3个8比特二值码。
该M个像素区域值范围中的每一个可基于要被编码的像素区域的像素区域值被获得,并且通常通过组合该像素区域的像素区域值与一个或多个对应的阈值而获得。
像素区域的M个N比特二值码可基于该像素区域的像素区域值以及该像素区域的相邻像素区域的像素区域值直接地或间接地获得。
在直接方式中,一个像素区域的M个N比特二值码可通过如下方式确定,即对于该像素区域的多个相邻像素区域中的每一个,通过将该相邻像素区域的像素区域值与M个像素区域值范围相比较来确定M个N比特二值码中的与该相邻像素区域相关的一个N比特二值码,并且基于确定结果将该个N比特二值码中的与该相邻像素区域对应的比特的值设定为特定二值水平(例如“1”)。
可替换地,像素区域的M个N比特二值码可被以间接方式获得。该间接方式指的是像素区域的M个N比特二值码可从以前获得的该像素区域的其他形式的编码获得。在优选实现中,像素区域的M个N比特二值码可由该像素区域的三值码间接获得,并且该三值码也可基于该像素区域的像素区域值以及该像素区域的相邻像素区域的像素区域值获得,并且然后被转换成M个N比特二值码。
这里,三值码可通过多种技术获得。其中之一是基于LTP(局部三值图案)的方法。LTP是表现局部强度对比的有效的局部纹理描述符,并且已被广泛地用于图像识别,而且LTP是相对计算高效的。基于LTP的方法例如可从Xiaoyang Tan and Bill Triggs,“Enhanced Local TextureFeature Sets for Face Recognition Under Difficult Lighting Conditions”,IEEE Transactionson Image Processing,pp.1635-1650,19(6),2010,T.Ojala,M.Pietikainen and T.Maenpaa,“Multi-resolution Gray-Scale and Rotation Invariant Texture Classification with LocalBinary Patterns”,IEEE Transaction on pattern analysis and machine intelligence,24(7),2002已知。而且,在本发明中,LTP中的局部计算结构和双重阈值使得已确定类别的像素区域对于大的照度变化和噪声更加稳定和鲁棒。但是,很清楚,还可使用其他的三值码生成方法。
图7示意性地示出M=3以及N=8的情况下的编码步骤的间接方式。
在步骤S101(下文将被称为三值码编码子步骤)中,将该像素区域编码成一个8比特三值码,其中该8比特三值码中的每一个比特对应于该像素区域的8个相邻像素区域中的每一个。在一个8比特三值码中,其值是三值记数法中的第m个水平的比特指示该8个相邻像素区域中的如下这样的相邻像素区域,即该相邻像素区域的像素区域值位于三个像素区域值范围中的第m个像素区域值范围内。
该三个像素区域值范围可包括第一像素区域值范围、第二像素区域值范围以及第三像素区域值范围。第一像素区域值范围是其中相邻像素区域的像素区域值与该像素区域的像素区域值之差大于第一阈值的范围,第二像素区域值范围是其中相邻像素区域的像素区域值与该像素区域的像素区域值之差不大于第一阈值并且不小于第二阈值的范围,并且第三像素区域值范围是其中相邻像素区域的像素区域值与该像素区域的像素区域值之差小于第二阈值的范围。
在步骤S102(下文将被称为码转换步骤)中,该一个8比特三值码可被转换成3个8比特二值码。在优选实现中,码转换步骤包括将该一个8比特三值码中的其值为第m水平的比特反映到第m个8比特二值码中,并且在该第m个8比特二值码中的对应的比特的值是二值记数法中的特定水平。
此外,在上述编码步骤中,设1≤m≤3。
下文,将参照图8中所示的数字详细描述基于LTP的编码步骤,使得编码步骤的处理更易于理解。首先,如图8所示,对于选定的像素区域指定一个3×3编码结构,该选定的像素区域包括作为中心区域的要被编码的像素区域以及8个等大小的相邻像素区域,该像素区域可以是S×S区域,其中,S是指定的像素标度并且对应于像素计数。然后,对于每个像素区域获得平均像素区域值,例如对应于强度的值。像素区域的平均像素区域值通常被从该像素区域中所包含的所有像素确定。如图8所示,该3×3阵列中所示的每个数字分别代笔对应像素区域的平均像素区域值。
然后,基于该像素区域的平均像素区域值及其相邻像素区域的平均像素区域值获得中心像素区域的LTP码。更具体来说,如图8所示,基于中心像素区域的平均像素区域值以及容许常数T确定相邻区域的代码,该容许常数T可根据实际操作环境、性能要求等被人为任意设定,并且在图8中被设定为10。
当相邻像素区域的平均像素区域值与该中心像素区域的平均像素区域值之差大于T,即大于10时,该相邻像素区域将在LTP码中被指定为“1”。这可意味着该相邻像素区域的像素区域值位于第一像素区域值范围内,并且在此情况下,常数T对应于第一阈值。
当相邻像素区域的平均像素区域值与该中心像素区域的平均像素区域值之差小于等于10并且大于等于-10时,该相邻像素区域将在LTP码中被指定为“0”。这可意味着该相邻像素区域的像素区域值位于第二像素区域值范围内,并且在此情况下,值“-T”对应于第二阈值。
当相邻像素区域的平均像素区域值与该中心像素区域的平均像素区域值之差小于-10时,该相邻像素区域将在LTP码中被指定为“-1”。这可意味着该相邻像素区域的像素区域值位于第三像素区域值范围内。
当然,第一阈值和第二阈值可以是其他值。
最后,该LTP码将被分成分别与中心像素的3个8比特二值码对应的三个LBP(局部二值图案)码,包括uLBP(上部LBP)码、cLBP(中心LBP)码和ILBP(下部LBP)码,其中,uLBP码可反映较亮的像素区域的布置,即uLBP代表其像素区域值位于第一像素区域值范围内并且可能被视为足够亮的相邻像素区域,cLBP码可反映具有与中心像素相似的强度的像素区域的布置,即cLBP代表其像素区域值位于第二像素区域值范围内的相邻像素区域,并且ILBP码可反映较暗的像素区域的布置,即ILBP代表其像素区域值位于第三像素区域值范围内并且可能被视为足够暗的相邻像素区域。
下文,将参照图9描述区域类别确定步骤。
在本发明中,可确定像素区域是显著区域(salient region)(第一像素区域类别)还是非显著区域(第二像素区域类别)。显著区域看上去与其相邻区域明显不同,并且对于照度变化、观看点改变以及非刚性变形鲁棒并且可重复。因此,其是特征无关的。也就是说,其至少可与量化无关。
在步骤S201中,对于多个像素区域中的要确定类别的每个像素区域,通过将该像素区域的N比特二值码与多个特定模式相比较来确定该像素区域的类别。
在本发明中,多个特定模式被预先定义。在优选实现中,多个特定模式对应于具有代表显著的局部对比并且限定重要LBP图案的重要特征的一组图案,其中重要LBP图案可以是重要的旋转不变LBP图案,并且可具有连续或对称特性,并且仅如下这样的像素区域将被视为显著区域,即该像素区域的LBP码中的相邻像素区域布置符合预先定义的重要LBP图案。
在本发明中,多个特定模式包括第一特定模式和第二特定模式,该第一特定模式对应于第一和第三8比特二值码,并且该第二特定模式对应于第二8比特二值码。第一特定模式是如下这样的模式,其中,由8比特二值码中所包含的各特定水平比特在定位在对应的圆8等分位置上的情况下所形成的图案是一个点或一条连续线,并且第二特定模式是如下这样的模式,其中,由8比特二值码中所包含的各特定水平比特在定位在对应的圆8等分位置上的情况下所形成的图案关于圆心或者至少一条轴线对称,该至少一条轴线中的任一轴线通过该圆心。
图10A和10B分别示出第一特定模式和第二特定模式中所包含的一些特定图案。应清楚,除图10A和10B中所示的图案之外的其它图案也是可能的,只要它们符合上述关于第一特定模式和第二特定模式的定义即可。
图10A示出第一特定模式中所包含的一些图案,它们可被称为用于uLBP和ILBP码的相邻重要LBP图案。相邻重要LBP图案可以是一个点或一条连续的曲线,并且代表斑点和角部特征。对于uLBP和ILBP码,对应的相邻像素区域与中心像素区域大不相同,并且有效LBP图案可为如图所示的那些曲线和斑点。
图10B示出第二特定模式中所包含的一些图案,它们可被称为用于cLBP的中心重要LBP图案。中心重要LBP图案可以是关于圆心或者至少一条轴线对称的图案,并且代表连接部、线以及弧线特征。该轴线代表通过圆心的任一轴线。对于cLBP码,中心像素区域与相邻像素区域处于相同阈值范围内,它们共同构成重要图像特征。因此,与此代码对应的有效图案可是轴对称图案。
步骤S201可被如下地实现。对于多个像素区域中的要被确定类别的每个像素区域,在该像素区域的第一8比特二值码和第三8比特二值码之一中所包含的所有比特都不是二值记数法中的特定水平而第一8比特二值码和第三8比特二值码中的另一8比特二值码与第一特定模式匹配的情况下,或者在除该情况之外、该像素区域的第二8比特二值码与第二特定模式匹配的情况下,确定该像素区域属于第一像素区域类别,否则确定该像素区域属于第二像素区域类别。
更具体而言,当像素区域的三个LBP码包括uLBP(ILBP)而不包括ILBP(uLBP)时(这意味着在所选择像素区域的3×3相邻区域中存在与所选择像素区域相比足够亮(足够暗)的像素区域而不存在与所选择区域相比足够暗(足够亮)的像素区域),只有当已有uLBP(ILBP)码的图案属于预先限定的相邻重要LBP图案集合时,该区域才是显著的。在其他情况下,当cLBP码的图案属于预先限定的中心重要LBP图案集合时,所选择像素区域是显著的。
可替换地,可使用其他类别确定方式而不会明显降低类别确定效果。一种可能的方式是仅利用像素区域的uLBP或ILBP码。在这样的情况下,uLBP或ILBP将与如上所述的第一特定模式相比较,以便确定该像素区域的类别。在此情况下,像素区域的M个N比特二值码将是两个N比特二值码。要被用于确定这两个N比特二值码的两个像素区域值范围可分别对应于如上所述的第一像素区域值范围和第三像素区域值范围。
另一种可能的方式是仅利用像素区域的cLBP码。在这样的方式下,cLBP码将与如上所述的第二特定模式相比较,以便确定该像素区域的类别。在此情况下,像素区域的M个N比特二值码将是一个N比特二值码。要用于确定这一个N比特二值码的一个像素区域值范围可对应于如上所述的第二像素区域值范围。
此外,应注意,上述类别确定处理是针对图像中所包含的除了边界像素区域之外的像素区域进行的。在优选实施例中,该图像中所包含的边界像素区域被认为属于第二像素区域类别。
在优选实施例中,区域类别确定步骤进一步包括用于进一步将属于第一像素区域类别的像素区域(显著区域)分类的步骤。
更具体而言,在图9的步骤S202中,可将属于第一像素区域类别的像素区域分类为第一子像素区域类别和第二子像素区域类别。其中,对于属于第一像素区域类别的每一个像素区域,当在该像素区域的多个相邻像素区域中,其像素区域值大于该像素区域的像素区域值的相邻像素区域的数量大于其像素区域值小于该像素区域的像素区域值的相邻像素区域的数量时,该像素区域被归类为第一子像素区域类别(黑显著区域),否则,该像素区域将被归类为第二子像素区域类别(白显著区域)。
下文将参照图8进一步详细描述上述的进一步分类处理。在分类时,该分类将基于中心像素区域的像素区域值与其相邻像素区域的像素区域值的比较。更具体而言,参照图8,中心像素区域的像素区域值为54,其像素区域值大于中心像素区域的像素区域值(即,其像素区域值大于54)的相邻像素区域的数量为4,而其像素区域值小于中心像素区域的像素区域值(即,其像素区域值小于54)的相邻像素区域的数量为4。因为前一数量和后一数量相等,中心像素区域将被视为白显著区域。
通过上述的像素区域类别确定,一个像素区域可最终被归类为三种类别:白显著区域、黑显著区域和非显著区域中所包含的一种类别。
下文将参照图12描述描述符生成步骤。
在步骤S301(下文将被称为特征向量提取步骤)中,对于由区域类别确定步骤所确定的每一像素区域类别,提取属于该像素区域类别的所有像素区域中的所有像素的颜色特征作为该像素区域类别的特征向量。
在步骤S302(下文将被称为组合步骤)中,将所提取的每一像素区域类别的特征向量组合成单个向量以获得该图像的描述符。
接下来,将描述步骤S301中的处理。在此处理中,图像中的所有像素首先根据确定的像素区域类别被分类。更具体而言,如图11所示,图像中所包含的像素区域可包含三种类别,即白显著区域、黑显著区域和非显著区域,因而,图像中的所有像素可被分类为与预定的三种像素区域类别一一对应的三种类别。其中,属于白显著区域的所有像素被分类为白显著类别,属于黑显著区域的所有像素被分类为黑显著类别,并且所有其他像素被分类为非显著类别。但是,一个像素可能属于黑显著类别和白显著类别两者。其理由如下。
在通常的实现中,本发明的描述符产生方法可从图像的任一侧(例如,左侧)开始被应用于图像中所包含的像素区域。这样,描述符产生方法可被依次应用于像素区域,就如同扫描像素区域一样。更具体而言,描述符产生方法的编码步骤和类别确定步骤可被依次应用于每一像素区域,以便确定每一像素区域中的像素的像素类别,并且最终确定图像中所包含的所有像素的类别。
像素区域的扫描可逐步地执行,并且该步长对应于由像素计数表示的距离而且可由操作者根据实际操作环境、性能要求等选定。例如,该步长可等于沿扫描方向的一个像素区域的长度,诸如上述标度S。当然,该步长可以是沿扫描方向的不同于一个像素区域的长度的其他值。在此情况下,对于当前像素区域和前一像素区域公共的一些像素可能被确定为属于白显著类别和黑显著类别两者。
应注意,图11仅是说明像素分类的原理的示意图,并且该像素类别的布局仅是说明性的,并且可根据像素区域类别的任何全局分布而改变。
在图像中的所有像素已被分类为多种类别之后,将提取每一类别的特征(例如,颜色特征)。将参照图13A和13B描述本发明的特征提取过程。应注意,本领域已知的其他特征提取过程可被使用,而不会背离本发明的精神以及对本发明的技术效果造成不利影响。
图13A和13B示出本发明的特征向量提取过程的示例。首先,对在HLS颜色空间中的图像像素进行量化。其中,整个空间被分割成灰色部分和彩色部分,然后将灰色部分量化成6个颜色区段,并且将彩色部分量化成6×3×6个颜色区段,如图13A所示。然后,将整个图像区域量化成2个环形区域,如图13B所示。最后,生成每个环形区域的量化颜色特征的统计值并且将它们组合成向量以代表类别特征。
组合步骤可进一步包括将所提取的每个像素类别的特征向量进行加权组合以获得图像的单个向量。该组合步骤可进一步包括将所提取的每个像素类别的特征向量依次组合成该图像的单个向量,以获得图像的描述符。
在一个示例中,特征向量的组合可被如下地执行,即对于每一类别特征向量分配加权因子,并且将所有被分配相应的加权因子的类别特征向量组合成单个更有辨别力的特征描述符以描述源图像。
由此,可通过利用根据本发明的第一实施例的方法来生成区域图像的描述符,如图14所示。
图15是示出根据本发明的第一实施例的图像描述符生成系统的框图。
如图15所示,描述符生成系统500可包括编码单元501,被配置用于对于多个像素区域中的每个像素区域,将该像素区域编码成M个N比特二值码,其中每一N比特二值码中的每一个比特对应于该像素区域的多个相邻像素中的每一个;区域类别确定单元502,被配置用于对于多个像素区域中的要被确定类别的每一个像素区域,将所述要被确定类别的像素区域的该M个N比特二值码的至少一个N比特二值码与多个特定模式中的一种对应的特定模式相匹配,以确定该像素区域的像素区域类别;以及描述符生成单元503,被配置用于通过利用特征提取基于由该区域类别确定单元确定的像素区域类别生成该图像的描述符。
优选地,该编码单元501可包括二值码编码单元5011,被配置为如下地直接获得像素区域的M个N比特二值码,即对于该像素区域的相邻像素区域中的每一个,确定M个N比特二值码中的与该相邻像素区域相关的N比特二值码,并且基于确定结果将该N比特二值码中的与该相邻像素区域相对应的比特的值设定为特定二值水平。
优选地,该编码单元501可包括三值码编码单元5012,被配置用于将一个像素区域编码成一个8比特三值码,其中该8比特三值码中的每一个比特对应于该像素区域的8个相邻像素区域中的每一个;以及码转换单元5013,被配置用于将该一个8比特三值码转换成该像素区域的3个8比特二值码,其中该一个8比特三值码中的其值为第m水平的比特反映到第m个8比特二值码中。
优选地,该区域类别确定单元501可包括单元5021,被配置用于对于多个像素区域中的要被确定类别的每个像素区域,在该像素区域的第一8比特二值码和第三8比特二值码之一中所包含的所有比特都不是二值记数法中的特定水平而第一8比特二值码和第三8比特二值码中的另一8比特二值码与第一特定模式匹配的情况下,或者在除该情况之外、该像素区域的第二8比特二值码与第二特定模式匹配的情况下,确定该像素区域属于第一像素区域类别。该单元502可确定除上述情况之外的像素区域属于第二像素区域类别。区域类别确定单元502可进一步包括单元5022,被配置用于将属于第一像素区域类别的像素区域分类为第一子像素区域类别和第二子像素区域类别。
优选地,描述符生成单元503可包括特征向量提取单元5031,被配置用于对于由区域类别确定单元所确定的每一像素区域类别,提取属于该像素区域类别的所有像素区域中的所有像素的颜色特征作为该像素区域类别的特征向量,以及组合单元5032,被配置用于将所提取的每一像素区域类别的特征向量组合成单个向量以获得该图像的描述符。
该组合单元5031可进一步包括单元50311,被配置用于将所提取的每个像素区域类别的特征向量进行加权组合以获得单个向量。该组合单元5031可进一步包括单元50312,被配置用于将所提取的每一像素区域类别的特征向量依次组合成单个向量以获得图像的描述符。
根据本发明的第一实施例的图像描述符生成方法和系统可用于涉及图像检测、识别、辨别等的多种应用。一种应用示例是照相机中对于用户登记对象的自动聚焦。更具体而言,对于由用户登记的样本图像,图像描述符生成方法和系统可被用于生成该样本图像的描述符,并且该图像描述符生成方法和系统可被应用于生成由照相机实时捕获的图像的描述符,然后这两个描述符将被比较以检测出符合该用户登记的对象的区域图像,从而可获得更好的图像和视频。
[有利效果]
根据本发明的第一实施例的描述符生成方法和系统使得生成的图像的描述符对于大的照度变化、观看点改变以及非刚性变形更加鲁棒,并且保留了图像的更多的局部结构;而且,所生成的描述符是特征无关的,并且可与基于图像分割的方法相组合以更有辨别力。此外,该方法计算高效,因此可被用于图像和视频的对象检测、识别、跟踪和检索。
[应用示例]
下文,将参照图16A至16C描述应用根据本发明的第一实施例的描述符生成方法的示例。图16A示出要被描述的原始图像,图16B示出通过本发明实现的原始图像的像素分类结果,并且图16C示出所获得的原始图像的颜色特征向量。
如图16A所示,原始图像可以是狗脸。如图16B所示,黑色像素(像素1)是非显著类别,红色像素(像素3)是黑显著类别,蓝色像素(像素2)是白显著类别,并且品红色像素(像素4)是黑显著类别和白显著类别两者。
请注意,图16B仅是示出像素分类的示意图,并且像素类别的形状仅是说明性的,并且可根据像素区域类别的任何全局分布而改变。更具体而言,尽管在图16B中,黑色像素、红色像素和蓝色像素均为方形形状,但是它们的形状可依赖于如上所述的像素区域的扫描时的步长而改变。
如图16C所示的颜色特征向量从左侧起分别对应于非显著类别、黑显著类别和白显著类别,其中属于黑显著类别和白显著类别两者的像素可在分别与黑显著类别和白显著类别对应的区段中的每一个内计数,并且很清楚,通过依次组合非显著类别、黑显著类别和白显著列别获得颜色特征向量。
下文,将描述两个比较示例以便使得本发明的技术方案的改进清晰。
[比较示例1]
下文将参照图17A至17D描述本发明的方法与基于圆的图像分割方法之间的比较,以便验证本发明的描述符生成方法的有效性。
图17A示出从原始图像(例如狗脸)得到的已经受90°的面内旋转的图像,并且图17B示出从原始图像得到的已经受(15°,15°,0°)的面外旋转的图像。
对于图17A和17B中所示的旋转后图像,本发明的描述符生成方法和基于圆的图像分割方法分别被应用以基于相同的颜色量化方法获得对应的颜色特征向量。为了更清楚地理解各种方法之间的性能差异,使用与原始图像的相似性来代表各种方法的抵抗面内旋转以及面外旋转的鲁棒性。两个直方图距离度量被引入:如在以下公式(1)中的直方图交集(histogram intersection)以及如以下公式(2)中的卡方(chi-square).
其中d是直方图中所包含的区段的数量,xi、xi’分别代表这两个直方图中的第i区段的值,并且i代表该直方图中的第i区段。
这里,直方图交集的值越大,这两个直方图就越相似。卡方值越小,则两个直方图就越相似。
与原始图像的相似性由以下公式测量:
旋转后的图像与原始图像之间的相似性如表1所示。
表1
从表1可见,与本发明对应的直方图交集值和卡方优于基于圆的分割方法。因此,通过本发明实现的描述符优于基于圆的分割方法所实现的描述符。
[比较示例2]
下文将描述本发明的描述符产生方法与BIC方法之间的比较示例。
本发明的描述符生成方法和BIC方法两者都用于用户登记对象检测(UROD)系统中以便进行评价。在特定过程中,由用户给定指定对象的拍摄样本作为正样本,提取颜色特征以便获得描述符;并且然后利用该描述符以在输入视频帧中的每一个中检测并定位用户登记对象。
评价标准涉及被检测区域的正确性。其中,评价标准使用PASCAL评价标准,并且当(标记区域∪被检测区域)/(标记区域∩被检测区域)>T时,则该被检测区域被视为正确的被检测区域。
更具体而言,评价指标可包括各方法的查全率(recall rate)和拒绝率(reject rate)。查全率和拒绝率的定义如下:
查全率:对于每个视频,从同一视频的不同帧获取若干正样本。测量正样本的误检性能和正确检测性能。并且在视频之中对检测性能进行平均。
拒绝率:对于不具有相同目标对象的一组视频,从该视频中获取若干正样本。测量正样本的误检性能,并且将检测性能进行平均。
以下表2中示出了评价操作环境。表2示出用于评价的软件和硬件配置。
表2
评价结果如表3所示。
表3
UROD系统 | 帧中的目标 | 查全率(检测) | 总帧数 | 拒绝率(错误报警) |
BIC | 123130 | 78.68% | 1660915 | 39.00% |
本发明 | 123130 | 85.62% | 1660915 | 22.81% |
从表3清楚可见,根据本发明的第一实施例的描述符产生方法可降低拒绝率(错误报警),其中本发明的拒绝率大约为BIC方法的1/2,并且提高了查全率(检测),其中本发明的性能提高了大约7%。
因此,本发明的描述符产生方法可正确且有效地产生描述符,并且相对于BIC方法效率提高。
[第二实施例]
下文,将参照附图描述根据本发明的第二实施例的方法和系统。根据第二实施例的方法和系统利用了根据第一实施例的方法和系统。
图18是示出根据本发明的第二实施例的图像检测方法的流程图。
在步骤S1801(下文将被称为输入步骤)中,输入对象图像的区域图像。
在步骤S1802(下文将被称为图像描述符生成步骤)中,对于输入的区域图像执行根据本发明的第一实施例的方法,以生成图像描述符作为该输入的区域图像的区域图像描述符。
在步骤S1803(下文将被称为计算步骤)中,计算该区域图像描述符与特定目标图像描述符之间的差。
在随后的处理(下文将被称为确定步骤)中,当该差小于特定阈值时,输入的区域图像被确定为与目标图像对应,否则调整输入的区域图像的位置和/或大小以获得下一要被处理的区域图像。
在根据本发明的第二实施例的方法中,可通过执行根据本发明的第一实施例的方法来形成特定目标图像描述符。当然,特定目标描述符可通过其他描述符生成方法形成。
图19是示出根据本发明的第二实施例的图像检测系统的框图。
如图19所示,图像检测系统900可包括在输入单元901,被配置用于输入对象图像的区域图像;图像描述符生成单元902,被配置用于对于输入的区域图像执行根据本发明的第一实施例的方法,以生成图像描述符作为该输入的区域图像的区域图像描述符;计算单元904,被配置用于计算该区域图像描述符与特定目标图像描述符之间的差;以及确定单元904,被配置用于当该差小于特定阈值时,输入的区域图像被确定为与目标图像对应,否则调整输入的区域图像的位置和/或大小以获得下一要被处理的区域图像。
在根据本发明的第二实施例的系统中,可通过执行根据本发明的第一实施例的方法来形成特定目标图像描述符。当然,特定目标描述符可通过其他描述符生成方法形成。
此外,图像描述符生成单元902可以是根据本发明的第一实施例的系统。
此外,根据本发明的第二实施例的图像检测方法和系统可用于许多应用。一种应用示例是照相机中对于用户登记对象的自动聚焦。更具体而言,对于照相机实时获取的整个图像,本发明的图像检测方法和系统可用于检测与用户登记对象一致的区域图像,然后照相机可基于检测结果自动聚焦,从而可获得更好的图像和视频。当然,图像检测方法和系统可应用于涉及图像检测、识别、辨别等的任何其他应用。
尽管已经参照附图进行了描述,但是特征向量提取和组合方法和/或单元不限于文中所述的那些方法和/或单元,并且本领域那些技术人员应理解,其他特征向量提取和组合方法也可被应用于本发明。另外,应注意,实施例中所示的阈值仅是示例,并且它们并不局限于这些值。
另外,可采用多种方式来实行本发明的方法和系统。例如,可通过软件、硬件、固件或它们的任何组合来实行本发明的方法和系统。上文所述的该方法的步骤的顺序仅是说明性的,并且除非另外具体说明,否则本发明的方法的步骤不限于上文具体描述的顺序。此外,在一些实施例中,本发明还可具体化为记录介质中记录的程序,包括用于实施根据本发明的方法的机器可读指令。因此,本发明还涵盖了存储用于实施根据本发明的方法的程序的记录介质。
虽然已经参考示例实施例描述了本发明,应当理解,本发明不限于公开的示例实施例。下面的权利要求的范围将被给予最宽泛的解释,以便包含所有这些修改以及等同结构和功能。
Claims (30)
1.一种图像描述符生成方法,所述图像包括多个像素区域,所述方法包括:
编码步骤,对于多个像素区域中的每个像素区域,将该像素区域编码成M个N比特二值码,其中每一N比特二值码中的每一个比特对应于该像素区域的多个相邻像素区域中的每一个;
区域类别确定步骤,对于所述多个像素区域中的要被确定类别的每一个像素区域,所述要被确定类别的像素区域的所述M个N比特二值码的至少一个N比特二值码与对应的特定模式相匹配,以确定所述像素区域的像素区域类别;以及
描述符生成步骤,基于在该区域类别确定步骤中确定的像素区域类别通过对于图像中所包含的像素利用特征向量提取以生成图像的描述符,
其中,M是大于等于1的整数,并且N是大于等于3的整数。
2.根据权利要求1所述的方法,其中,M为3,N为8,并且所述M个N比特二值码为3个8比特二值码。
3.根据权利要求1所述的方法,其中,所述M个N比特二值码中的第m个N比特二值码指示像素区域值位于M个像素区域值范围中的第m个像素区域值范围中的相邻像素区域,并且所述第m个N比特二值码中的与所述相邻像素区域中的每一个对应的每个比特的值为特定二值水平,并且
其中,1≤m≤M。
4.根据权利要求2所述的方法,其中,所述编码步骤进一步包括:
三值码编码子步骤,将像素区域编码成一个8比特三值码,其中所述一个8比特三值码中的每一个比特对应于所述像素区域的8个相邻像素区域中的每一个;以及
码转换步骤,将所述一个8比特三值码转换成3个8比特二值码,
其中,在所述一个8比特三值码中,其值是三值记数法中的第m个水平的比特指示所述8个相邻像素区域中的像素区域值位于三个像素区域值范围中的第m个像素区域值范围内的相邻像素区域,
其中,所述码转换步骤包括将所述一个8比特三值码中的其值为第m水平的比特反映到第m个8比特二值码中,并且在所述第m个8比特二值码中与该比特对应的比特的值是二值记数法中的特定水平,并且,
其中,1≤m≤3。
5.根据权利要求4所述的方法,其中,
所述三个像素区域值范围包括第一像素区域值范围、第二像素区域值范围以及第三像素区域值范围,
所述第一像素区域值范围是其中相邻像素区域的像素区域值与该像素区域的像素区域值之差大于第一阈值的范围,
所述第二像素区域值范围是其中相邻像素区域的像素区域值与该像素区域的像素区域值之差不大于第一阈值并且不小于第二阈值的范围,并且
所述第三像素区域值范围是其中相邻像素区域的像素区域值与该像素区域的像素区域值之差小于第二阈值的范围。
6.根据权利要求2所述的方法,其中,
所述对应的特定模式被包含在多个特定模式中,所述多个特定模式包括第一特定模式和第二特定模式,所述第一特定模式对应于第一和第三8比特二值码,并且所述第二特定模式对应于第二8比特二值码,
其中,所述第一特定模式是如下这样的模式,其中,由8比特二值码中所包含的各特定水平比特在定位在对应的圆8等分位置上的情况下所形成的图案是一个点或一条连续线,并且
其中,所述第二特定模式是如下这样的模式,其中,由8比特二值码中所包含的各特定水平比特在定位在对应的圆8等分位置上的情况下所形成的图案关于圆心或者至少一条轴线对称,该至少一条轴线中的任一轴线通过该圆心。
7.根据权利要求6所述的方法,其中,所述区域类别确定步骤进一步包括:
对于所述多个像素区域中的要被确定类别的每个像素区域,在所述像素区域的第一8比特二值码和第三8比特二值码之一中所包含的所有比特都不是二值记数法中的特定水平而第一8比特二值码和第三8比特二值码中的另一8比特二值码与第一特定模式匹配的情况下,或者在除该情况之外、该像素区域的第二8比特二值码与第二特定模式匹配的情况下,确定该像素区域属于第一像素区域类别,
否则,确定该像素区域属于第二像素区域类别。
8.根据权利要求7所述的方法,其中,所述区域类别确定步骤进一步包括:
将属于所述第一像素区域类别的像素区域分类为第一子像素区域类别和第二子像素区域类别;
其中,对于属于所述第一像素区域类别的每一个像素区域,当在所述像素区域的多个相邻像素区域中,其像素区域值大于所述像素区域的像素区域值的相邻像素区域的数量大于其像素区域值小于所述像素区域的像素区域值的相邻像素区域的数量时,所述像素区域被归类为第一子像素区域类别,否则,所述像素区域将被归类为第二子像素区域类别。
9.根据权利要求1所述的方法,其中,
所述多个像素区域是图像中的除边界像素区域之外的所有像素区域,以及
所述边界像素区域属于第二像素区域类别。
10.根据权利要求1所述的方法,其中,所述描述符生成步骤进一步包括:
特征向量提取步骤,对于由所述区域类别确定步骤所确定的像素区域类别中的每一个像素区域类别,提取属于该像素区域类别的所有像素区域中的所有像素的特征作为该像素区域类别的特征向量;以及
组合步骤,将所提取的每个像素区域类别的特征向量组合成单个向量以获得图像的描述符。
11.根据权利要求10所述的方法,其中,所述组合步骤进一步包括对所提取的每个像素区域类别的特征向量进行加权组合以获得所述单个向量。
12.根据权利要求10所述的方法,其中,所述组合步骤进一步包括将所提取的每个像素区域类别的特征向量依次集合成所述单个向量以获得图像的描述符。
13.根据权利要求3-5中任一项所述的方法,其中,所述像素区域值是所述像素区域中的一个或多个像素的像素值的算术平均值、几何平均值、加权平均值和中值中的任一个。
14.根据权利要求2所述的方法,其中,
所述像素区域的多个相邻像素区域包括8个像素区域,在所述像素区域为中心的情况下所述8个像素区域与所述像素区域一起形成3*3的像素区域阵列。
15.一种图像检测方法,包括:
输入步骤,输入对象图像的区域图像;
图像描述符生成步骤,对于输入的区域图像执行根据权利要求1的方法,以生成图像描述符作为该输入的区域图像的区域图像描述符;
计算步骤,计算所述区域图像描述符与特定目标图像描述符之间的差;以及
确定步骤,当该差小于特定阈值时,确定输入的区域图像与目标图像对应,否则调整输入的区域图像的位置和/或大小以获得下一要被处理的区域图像。
16.一种图像描述符生成系统,所述图像包括多个像素区域,所述系统包括:
编码单元,被配置用于对于多个像素区域中的每个像素区域,将该像素区域编码成M个N比特二值码,其中每一N比特二值码中的每一个比特对应于该像素区域的多个相邻像素区域中的每一个;
区域类别确定单元,被配置用于对于所述多个像素区域中的要被确定类别的每一个像素区域,所述要被确定类别的像素区域的所述M个N比特二值码的至少一个N比特二值码与对应的特定模式相匹配,以确定所述像素区域的像素区域类别;以及
描述符生成单元,被配置用于基于在该区域类别确定单元所确定的像素区域类别通过对于图像中所包含的像素利用特征向量提取以生成图像的描述符,
其中,M是大于等于1的整数,并且N是大于等于3的整数。
17.根据权利要求16所述的系统,其中,M为3,N为8,并且所述M个N比特二值码为3个8比特二值码。
18.根据权利要求16所述的系统,其中,所述M个N比特二值码中的第m个N比特二值码指示像素区域值位于M个像素区域值范围中的第m个像素区域值范围中的相邻像素区域,并且所述第m个N比特二值码中的与所述相邻像素区域中的每一个对应的每个比特的值为特定二值水平,并且
其中,1≤m≤M。
19.根据权利要求17所述的系统,其中,所述编码单元进一步包括:
三值码编码子单元,被配置用于将像素区域编码成一个8比特三值码,其中所述一个8比特三值码中的每一个比特对应于所述像素区域的8个相邻像素区域中的每一个;以及
码转换单元,被配置用于将所述一个8比特三值码转换成3个8比特二值码,
其中,在所述一个8比特三值码中,其值是三值记数法中的第m个水平的比特指示所述8个相邻像素区域中的像素区域值位于三个像素区域值范围中的第m个像素区域值范围内的相邻像素区域,
其中,所述码转换单元包括被配置用于将所述一个8比特三值码中的其值为第m水平的比特反映到第m个8比特二值码中的单元,并且在所述第m个8比特二值码中与该比特对应的比特的值是二值记数法中的特定水平,并且,
其中,1≤m≤3。
20.根据权利要求19所述的系统,其中,
所述三个像素区域值范围包括第一像素区域值范围、第二像素区域值范围以及第三像素区域值范围,
所述第一像素区域值范围是其中相邻像素区域的像素区域值与该像素区域的像素区域值之差大于第一阈值的范围,
所述第二像素区域值范围是其中相邻像素区域的像素区域值与该像素区域的像素区域值之差不大于第一阈值并且不小于第二阈值的范围,并且
所述第三像素区域值范围是其中相邻像素区域的像素区域值与该像素区域的像素区域值之差小于第二阈值的范围。
21.根据权利要求17所述的系统,其中,
所述对应的特定模式被包含在多个特定模式中,所述多个特定模式包括第一特定模式和第二特定模式,所述第一特定模式对应于第一和第三8比特二值码,并且所述第二特定模式对应于第二8比特二值码,
其中,所述第一特定模式是如下这样的模式,其中,由8比特二值码中所包含的各特定水平比特在定位在对应的圆8等分位置上的情况下所形成的图案是一个点或一条连续线,并且
其中,所述第二特定模式是如下这样的模式,其中,由8比特二值码中所包含的各特定水平比特在定位在对应的圆8等分位置上的情况下所形成的图案关于圆心或者至少一条轴线对称,该至少一条轴线中的任一轴线通过该圆心。
22.根据权利要求21所述的系统,其中,所述区域类别确定单元进一步包括:
被配置用于对于所述多个像素区域中的要被确定类别的每个像素区域,在所述像素区域的第一8比特二值码和第三8比特二值码之一中所包含的所有比特都不是二值记数法中的特定水平而第一8比特二值码和第三8比特二值码中的另一8比特二值码与第一特定模式匹配的情况下,或者在除该情况之外、该像素区域的第二8比特二值码与第二特定模式匹配的情况下,确定该像素区域属于第一像素区域类别,否则,确定该像素区域属于第二像素区域类别的单元。
23.根据权利要求22所述的系统,其中,所述区域类别确定单元进一步包括:
被配置用于将属于所述第一像素区域类别的像素区域分类为第一子像素区域类别和第二子像素区域类别的单元;
其中,对于属于所述第一像素区域类别的每一个像素区域,当在所述像素区域的多个相邻像素区域中,其像素区域值大于所述像素区域的像素区域值的相邻像素区域的数量大于其像素区域值小于所述像素区域的像素区域值的相邻像素区域的数量时,所述像素区域被归类为第一子像素区域类别,否则,所述像素区域将被归类为第二子像素区域类别。
24.根据权利要求16所述的系统,其中,
所述多个像素区域是图像中的除边界像素区域之外的所有像素区域,以及
所述边界像素区域属于第二像素区域类别。
25.根据权利要求16所述的系统,其中,所述描述符生成单元进一步包括:
特征向量提取单元,被配置用于对于由所述区域类别确定单元所确定的像素区域类别中的每一个像素区域类别,提取属于所述像素区域类别的所有像素区域中的所有像素的特征作为所述像素区域类别的特征向量;以及
组合单元,被配置用于将所提取的每个像素区域类别的特征向量组合成单个向量以获得图像的描述符。
26.根据权利要求25所述的系统,其中,所述组合单元进一步包括被配置用于对所提取的每个像素区域类别的特征向量进行加权组合以获得所述单个向量的单元。
27.根据权利要求25所述的系统,其中,所述组合单元进一步包括被配置用于将所提取的每个像素区域类别的特征向量依次集合成所述单个向量以获得图像的描述符的单元。
28.根据权利要求18-20中任一项所述的系统,其中,所述像素区域值是所述像素区域中的一个或多个像素的像素值的算术平均值、几何平均值、加权平均值和中值中的任一个。
29.根据权利要求17所述的系统,其中,
所述像素区域的多个相邻像素区域包括8个像素区域,在所述像素区域为中心的情况下所述8个像素区域与所述像素区域一起形成3*3的像素区域阵列。
30.一种图像检测系统,包括:
输入单元,被配置用于输入对象图像的区域图像;
图像描述符生成单元,被配置用于对于输入的区域图像执行根据权利要求1的方法,以生成图像描述符作为该输入的区域图像的区域图像描述符;
计算单元,被配置用于计算所述区域图像描述符与特定目标图像描述符之间的差;以及
确定单元,被配置用于当该差小于特定阈值时,确定输入的区域图像与目标图像对应,否则调整输入的区域图像的位置和/或大小以获得下一要被处理的区域图像。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210045691.8A CN103295186B (zh) | 2012-02-24 | 2012-02-24 | 图像描述符生成方法和系统、图像检测方法和系统 |
US13/774,281 US9275300B2 (en) | 2012-02-24 | 2013-02-22 | Method and apparatus for generating image description vector, image detection method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210045691.8A CN103295186B (zh) | 2012-02-24 | 2012-02-24 | 图像描述符生成方法和系统、图像检测方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103295186A true CN103295186A (zh) | 2013-09-11 |
CN103295186B CN103295186B (zh) | 2016-03-09 |
Family
ID=49095995
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210045691.8A Active CN103295186B (zh) | 2012-02-24 | 2012-02-24 | 图像描述符生成方法和系统、图像检测方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103295186B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107358244A (zh) * | 2017-07-17 | 2017-11-17 | 湖南优象科技有限公司 | 一种快速局部不变特征提取与描述方法 |
CN111860533A (zh) * | 2019-04-30 | 2020-10-30 | 深圳数字生命研究院 | 图像的识别方法及装置、存储介质和电子装置 |
CN117409529A (zh) * | 2023-10-13 | 2024-01-16 | 国网江苏省电力有限公司南通供电分公司 | 一种多场景电气火灾在线监测方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1384464A (zh) * | 2001-01-20 | 2002-12-11 | 三星电子株式会社 | 根据图像中分段区域之间的特征匹配提取目标的方法和装置 |
CN1568479A (zh) * | 2001-10-11 | 2005-01-19 | 皇家飞利浦电子股份有限公司 | 用于辨别图像不同区域的方法和装置 |
-
2012
- 2012-02-24 CN CN201210045691.8A patent/CN103295186B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1384464A (zh) * | 2001-01-20 | 2002-12-11 | 三星电子株式会社 | 根据图像中分段区域之间的特征匹配提取目标的方法和装置 |
CN1568479A (zh) * | 2001-10-11 | 2005-01-19 | 皇家飞利浦电子股份有限公司 | 用于辨别图像不同区域的方法和装置 |
Non-Patent Citations (1)
Title |
---|
PIETIKäINEN等: "《Computer Vision Using Local Binary Patterns》", 31 December 2011, article "Local Binary Patterns for Still Images", pages: 16-33 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107358244A (zh) * | 2017-07-17 | 2017-11-17 | 湖南优象科技有限公司 | 一种快速局部不变特征提取与描述方法 |
CN107358244B (zh) * | 2017-07-17 | 2019-08-20 | 湖南优象科技有限公司 | 一种快速局部不变特征提取与描述方法 |
CN111860533A (zh) * | 2019-04-30 | 2020-10-30 | 深圳数字生命研究院 | 图像的识别方法及装置、存储介质和电子装置 |
CN111860533B (zh) * | 2019-04-30 | 2023-12-12 | 深圳数字生命研究院 | 图像的识别方法及装置、存储介质和电子装置 |
CN117409529A (zh) * | 2023-10-13 | 2024-01-16 | 国网江苏省电力有限公司南通供电分公司 | 一种多场景电气火灾在线监测方法及系统 |
CN117409529B (zh) * | 2023-10-13 | 2024-05-24 | 国网江苏省电力有限公司南通供电分公司 | 一种多场景电气火灾在线监测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN103295186B (zh) | 2016-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8139852B2 (en) | Color classification method, color recognition method, color classification apparatus, color recognition apparatus, color recognition system, computer program, and recording medium | |
Gao et al. | Automatic change detection in synthetic aperture radar images based on PCANet | |
CN110991465B (zh) | 一种物体识别方法、装置、计算设备及存储介质 | |
CN107665324B (zh) | 一种图像识别方法及终端 | |
US20130223683A1 (en) | Method and Apparatus for Generating Image Description Vector, Image Detection Method and Apparatus | |
CN104408429A (zh) | 一种视频代表帧提取方法及装置 | |
CN102176208B (zh) | 基于三维空时特征的鲁棒视频指纹方法 | |
CN104217221A (zh) | 基于纹理特征的书画作品检测方法 | |
CN108710916B (zh) | 图片分类的方法及装置 | |
CN109740572A (zh) | 一种基于局部彩色纹理特征的人脸活体检测方法 | |
CN104182763A (zh) | 一种基于花朵特征的植物种类识别系统 | |
CN104036284A (zh) | 基于Adaboost算法的多尺度行人检测方法 | |
CN108846831B (zh) | 基于统计特征和图像特征相结合的带钢表面缺陷分类方法 | |
CN103034838A (zh) | 一种基于图像特征的特种车辆仪表类型识别与标定方法 | |
CN111259756A (zh) | 基于局部高频次特征和混合度量学习的行人重识别方法 | |
Bhuiyan et al. | Person re-identification by discriminatively selecting parts and features | |
CN109635799B (zh) | 一种燃气表字轮数字的识别方法 | |
CN113221881B (zh) | 一种多层级的智能手机屏幕缺陷检测方法 | |
CN113963041A (zh) | 一种图像纹理识别方法及系统 | |
CN105320970A (zh) | 一种马铃薯病害诊断装置、诊断系统及诊断方法 | |
CN111931700A (zh) | 一种基于多分类器的玉米品种真伪鉴别方法和鉴别系统 | |
CN114863464B (zh) | 一种pid图纸图件信息的二阶识别方法 | |
CN115082776A (zh) | 一种基于图像识别的电能表自动检测系统及方法 | |
CN103295186B (zh) | 图像描述符生成方法和系统、图像检测方法和系统 | |
Li et al. | The research on traffic sign recognition based on deep learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |