CN103106668B - 基于颜色直方图来描述图像区域的方法和系统 - Google Patents

基于颜色直方图来描述图像区域的方法和系统 Download PDF

Info

Publication number
CN103106668B
CN103106668B CN201110352118.7A CN201110352118A CN103106668B CN 103106668 B CN103106668 B CN 103106668B CN 201110352118 A CN201110352118 A CN 201110352118A CN 103106668 B CN103106668 B CN 103106668B
Authority
CN
China
Prior art keywords
color
histogram
hsv
scope
hsl
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110352118.7A
Other languages
English (en)
Other versions
CN103106668A (zh
Inventor
姜涌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN201110352118.7A priority Critical patent/CN103106668B/zh
Priority to JP2012245613A priority patent/JP2013101615A/ja
Priority to US13/671,240 priority patent/US9275447B2/en
Publication of CN103106668A publication Critical patent/CN103106668A/zh
Application granted granted Critical
Publication of CN103106668B publication Critical patent/CN103106668B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration by the use of histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/44Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Abstract

提供了一种基于颜色直方图来描述图像区域的方法和系统。所述基于颜色直方图来描述图像区域的方法包括:颜色量化步骤,用于将所述图像区域量化为量化后颜色区域,其中在所述量化中不同地处理特定颜色范围和该特定颜色范围之外的颜色;颜色直方图计算步骤,用于根据所述量化后颜色区域来计算一个或多个颜色直方图;以及直方图组装步骤,用于通过使用所述一个或多个颜色直方图来产生唯一矢量。

Description

基于颜色直方图来描述图像区域的方法和系统
技术领域
本发明涉及图像处理,更具体地,涉及一种基于颜色直方图来描述图像区域的方法和系统、一种用于登记一个或多个图像中的图像区域的方法和系统、以及一种基于所述登记从图像中检测对象的方法和系统。
背景技术
图像描述技术是基于内容的图像检测或基于内容的图像检索的基础。由于由计算机自动提取的图像的视觉特征与由人感知的图像内容显著不同,需要一种图像描述技术用于供计算机从图像提取特征,所述特征可被计算机处理并用来区分图像。
在现有技术中,可以使用传统的诸如颜色、纹理、形状等的低级视觉特征进行图像描述。然而,本发明主要关注于基于颜色信息的图像描述。
在诸如其中图像描述被用作图像索引和检索的基础的数字图像库的许多应用中,基于颜色信息的图像描述是有用的。
为了使图像描述实用和有效,从图像提取特征(颜色信息)的结果应该:(1)足以区分不同的图像;(2)对于图像的某些类型的变换是不变的,(3)对噪声不敏感;(4)易于计算。
然而,基于颜色信息的图像描述很少被应用于对象检测,这是因为颜色特征通常受到诸如光源、照相机的感光器件等的许多因素的干扰。例如,在作为US6850639公布的美国专利申请中所公开的使用颜色信息作为图像特征的图像描述方法中,颜色特征受到光照和照相机的参数设置(白平衡、焦距等)的干扰。可能无法把在不同的光照下或者利用不同的照相机设置所拍摄的图像中的相同对象进行相互区分。
因此,需要一种能够在不会受到光照、照相机设置等的大幅影响的情况下基于颜色信息精确地描述图像区域的技术。基于较少受到光照、照相机设置等的影响的本发明的图像描述技术,自然地,将会获得高检测精度。
发明内容
考虑到前述的现有技术中存在的技术问题,提供了一种基于颜色直方图来描述图像区域的新颖的方法和系统,其不仅能够解决上述技术问题,还能够带来其它期望的技术效果,诸如对象姿态鲁棒性、色像差鲁棒性以及旋转不变性。
在根据基于颜色信息的图像描述技术的图像检测中,除了高检测精度之外,还期望具有良好的对象姿态鲁棒性、色像差鲁棒性以及旋转不变性。也就是说,不管要描述的图像区域中的对象的姿态如何、光照和照相机设置如何以及图像区域的如何旋转,都期望确保高检测精度。
本发明的发明人发现,颜色特征通常受到诸如光源、照相机的感光器件等的许多因素的干扰的原因在于:白色、黑色和灰色没有被特别地对待。在当前的基于颜色信息的图像描述技术中,这些颜色的信息被隐藏在除了黑色、灰色和白色以外的颜色中。正是这些颜色的信息受到光照和照相机的参数设置(白平衡、焦距等)的大幅影响。
基于该新发现,本发明提出了在图像区域描述中不同地处理黑色、灰色和白色、以及除了黑色、灰色和白色以外的颜色。
根据本发明的一个方面,提供了一种基于颜色直方图来描述图像区域的方法,包括:颜色量化步骤,用于将所述图像区域量化为量化后颜色区域,其中在所述量化中不同地处理特定颜色范围和该特定颜色范围之外的颜色;颜色直方图计算步骤,用于根据所述量化后颜色区域来计算一个或多个颜色直方图;以及直方图组装步骤,用于通过使用所述一个或多个颜色直方图来产生唯一矢量。
根据本发明的另一个方面,提供了一种基于颜色直方图来描述图像区域的系统,包括:颜色量化单元,被配置为将所述图像区域量化为量化后颜色区域,其中在所述量化中不同地处理特定颜色范围和该特定颜色范围之外的颜色;颜色直方图计算单元,被配置为根据所述量化后颜色区域来计算一个或多个颜色直方图;以及直方图组装单元,被配置为通过使用所述一个或多个颜色直方图来产生唯一矢量。
根据本发明的另一个方面,提供了一种用于登记一个或多个图像中的对象的方法,包括:在所述一个或多个图像上指定要登记的一个或多个对象区域;对于所述一个或多个对象区域中的每一个,把该对象区域量化为量化后颜色区域,其中在所述量化中不同地处理特定颜色范围和所述特定颜色范围之外的颜色,根据所述量化后颜色区域计算一个或多个颜色直方图,通过使用所述一个或多个颜色直方图产生唯一矢量;如果产生了多个矢量,则从所述多个矢量计算最终特征矢量;以及针对所述对象,登记所述最终特征矢量。
根据本发明的另一个方面,提供了一种用于登记一个或多个图像中的对象的系统,包括:被配置为在所述一个或多个图像上指定要登记的一个或多个对象区域的单元;被配置为对于所述一个或多个对象区域中的每一个执行以下处理的单元:把该对象区域量化为量化后颜色区域,其中在所述量化中不同地处理特定颜色范围和所述特定颜色范围之外的颜色,根据所述量化后颜色区域计算一个或多个颜色直方图,通过使用所述一个或多个颜色直方图产生唯一矢量;被配置为如果产生了多个矢量,则从所述多个矢量计算最终特征矢量的单元;以及被配置为针对所述对象,登记所述最终特征矢量的单元。
根据本发明的另一个方面,提供了一种基于根据上述方法登记的对象的第一矢量,从图像中检测该对象的方法,包括:从所述图像裁剪任意的部分区域;对于每个部分区域,把该部分区域量化为量化后颜色区域,其中在所述量化中不同地处理特定颜色范围和所述特定颜色范围之外的颜色,根据所述量化后颜色区域计算一个或多个颜色直方图,通过使用所述一个或多个颜色直方图产生第二矢量,以及比较所述第一矢量和所述第二矢量以确定在所述部分区域中是否存在所述对象。
根据本发明的另一个方面,提供了一种基于由所述用于登记对象的系统登记的对象的第一矢量,从图像中检测该对象的系统,包括:被配置为从所述图像裁剪任意的部分区域的单元;被配置为对于每个部分区域执行以下处理的单元:把该部分区域量化为量化后颜色区域,其中在所述量化中不同地处理特定颜色范围和所述特定颜色范围之外的颜色,根据所述量化后颜色区域计算一个或多个颜色直方图;通过使用所述一个或多个颜色直方图产生第二矢量,以及比较所述第一矢量和所述第二矢量以确定在所述部分区域中是否存在所述对象。
根据本发明的方法和系统,除了高检测精度之外,还获得了良好的对象姿态鲁棒性、色像差鲁棒性以及旋转不变性。图17至图20示出了关于检测精度、对象姿态鲁棒性、色像差鲁棒性以及旋转不变性的有益效果,这将在稍后详细描述。
通过参照附图的以下说明,本发明的另外的特征和优点将变得明显。
附图说明
包含在说明书中并且构成说明书的一部分的附图例示了本发明的实施例,并且与说明一起用来解释本发明的原理。
图1是例示了根据本发明的基于颜色直方图来描述图像区域的计算装置的布置的框图。
图2是示出了根据本发明的实施例的基于颜色直方图来描述图像区域的系统的一般结构的功能框图。
图3是示出了根据本发明的实施例的基于颜色直方图来描述图像区域的方法的流程图。
图4是示出了根据本发明的实施例的图3中的步骤S100中的颜色量化处理的流程图。
图5示出了HSV颜色空间的倒锥体的示意图,其中由虚线指示特定颜色范围。
图6示出了HSL空间的双锥体的示意图,其中由虚线指示特定颜色范围。
图7示出了HSL颜色空间中的特定颜色范围的量化的例子。
图8示出了HSV颜色空间中的某普通颜色范围的量化的例子。
图9示出了通过分割量化后图像区域而产生的环形块的例子。
图10示出了直方图区间(histogrambin)的顺序。
图11示出了颜色直方图区间平滑化的效果。
图12示出了用于针对从量化后颜色区域的对应分割块计算的各个直方图计算最终颜色直方图的方法的流程图。
图13示出了用于将来自量化后颜色区域的每个分割块的颜色直方图收集到一个唯一矢量中的方法的流程图。
图14示出了块的加权的例子。
图15示出了根据本发明的用于登记一个或多个图像中的对象的方法的流程图。
图16示出了基于图15中的方法登记的对象的特征矢量从图像中检测该对象的方法的流程图。
图17示出了根据本发明的对象检测方法获得的检测结果的例子。
图18示出了不管对象姿态如何都能够正确检测对象(狗的面部)的事实。
图19示出了不管色像差如何都能够正确检测对象(狗的面部)的事实。
图20示出了不管对象如何旋转都能够正确检测对象(狗的面部)的事实。
具体实施方式
在下面将参照附图详细说明本发明的实施例。
在本说明书中,术语“图像区域”指的是图像中的选择的部分。不必说的是,可以选择整个图像作为图像区域。在此情况下,术语“图像区域”也表示整个图像。
在本说明书中,术语“特定颜色范围”指的是HSL或HSV颜色空间中的颜色范围(立体),其不是仅仅指示纯的黑色、灰色和白色,而是包括被人的视觉感知为黑色、灰色和白色的颜色。为了简化说明,在本说明书中,HSL或HSV颜色空间中的位于特定颜色范围之外的各个颜色被称为“普通颜色”并且属于一个对应的“普通颜色范围(立体)”,该普通颜色范围是一个位于HSL或HSV颜色空间中但位于所述特定颜色范围之外的立体。
图1是例示了用于实现根据本发明的基于颜色直方图来描述图像区域的系统的计算装置的布置的框图。为了简明起见,该系统被示出为建立在单个计算装置中。然而,无论该系统是建立在单个计算装置中还是建立在作为网络系统的多个计算装置中,该系统都是有效的。
如图1中所示,计算装置100用于实现基于颜色直方图来描述图像区域的处理。计算装置100可以包含CPU101、芯片组102、RAM103、存储控制器104、显示控制器105、硬盘驱动器106、CD-ROM驱动器107、以及显示器108。计算装置100还可以包括连接在CPU101和芯片组102之间的信号线111、连接在芯片组102和RAM103之间的信号线112、连接在芯片组102和各种外围装置之间的外围装置总线113、连接在存储控制器104和硬盘驱动器106之间的信号线114、连接在存储控制器104和CD-ROM驱动器107之间的信号线115、以及连接在显示控制器105和显示器108之间的信号线116。
客户端120可以直接或经由网络130连接到计算装置100。客户端120可以将图像区域描述任务发送给计算装置100,并且计算装置100可以将用于描述图像区域的特征矢量返回给客户端120。
图2是示出了由各个模块单元构成的基于颜色直方图来描述图像区域的系统的一般结构的框图。
如图2中所示,基于颜色直方图来描述图像区域的图像区域描述系统200包括:颜色量化单元201,被配置为将所述图像区域量化为量化后颜色区域,其中在所述量化中不同地处理特定颜色范围和该特定颜色范围之外的颜色;颜色直方图计算单元203,被配置为根据所述量化后颜色区域计算一个或多个颜色直方图;以及直方图组装单元205,被配置为通过使用所述一个或多个颜色直方图来产生唯一矢量。
在另一个实施例中,图像区域描述系统200还可以包括块分割单元,该块分割单元被配置为将所述量化后颜色区域分割为多个图像块。在此情况下,所述颜色直方图计算单元203被配置为针对所述多个图像块中的每一个计算一个颜色直方图,并且所述直方图组装单元205被配置为通过使用计算出的多个颜色直方图产生所述唯一矢量。
在另一个实施例中,图像区域描述系统200还可以包括块分割单元,该块分割单元被配置为将所述图像区域分割为多个图像块。在此情况下,所述颜色量化单元201被配置为针对所述多个图像块中的每一个执行所述量化,形成包含多个图像块的量化后颜色区域,所述颜色直方图计算单元203被配置为针对所述多个图像块中的每一个计算一个颜色直方图,并且所述直方图组装单元205被配置为通过使用计算出的多个颜色直方图产生所述唯一矢量。
上述单元是用于实现下面要描述的处理的示例性优选模块,可以通过硬件或软件实现。以上并未穷尽地描述用于实现各步骤的模块。然而,当存在执行特定处理的步骤时,就存在用于实现该处理的对应的功能模块或单元。
图3是示出了根据本发明的实施例的基于颜色直方图来描述图像区域的方法的流程图。该方法包括:颜色量化步骤,用于将所述图像区域量化为量化后颜色区域,其中在所述量化中不同地处理特定颜色范围和该特定颜色范围之外的颜色(S100);颜色直方图计算步骤,用于根据所述量化后颜色区域计算颜色直方图(S300);以及直方图组装步骤,用于通过使用所述颜色直方图来产生唯一矢量(S400)。
在步骤S100中,由用户选择或者由计算机系统自动选择的图像区域被输入。例如,输入的图像区域可以是具有30×30像素的区域。也就是说,该图像区域具有30行及30列的像素。该图像区域的尺寸可以是任意的,诸如40×60像素或者100×100像素,而30×30像素的尺寸仅仅是一个例子。输入的图像区域将被量化为量化后颜色区域。在量化的处理中,特定颜色范围和该特定颜色范围之外的颜色被不同地处理。具体地,从HSV或HSL颜色空间中提取包括被人的视觉感知为黑色、灰色和白色的颜色的特定颜色范围。基于针对所提取的特定颜色范围和该特定颜色范围之外的颜色的不同量化,输入的图像区域被量化为量化后颜色区域。
图4是示出了根据本发明的实施例的图3中的步骤S100中的颜色量化处理的流程图。
首先,在步骤S110中,将所述图像区域中的像素的在RGB颜色空间中的颜色变换到HSV或HSL颜色空间中。
HSL和HSV是RGB颜色模型中的点的两种最常用的圆柱坐标表示,其重新布置RGB的几何形状以试图与RGB模型的笛卡尔坐标表示相比在感觉上更为相关,同时具有较低的计算复杂性。
HSL代表色相(Hue)、饱和度(Saturation)和光度(Lightness),并且也常被称为HSI(I代表强度Intensity)。HSV代表色相、饱和度和明度(Value),并且也常被称为HSB(B代表亮度Brightness)。不幸的是,这些定义没有被标准化,HSI和HSB通常被解释为与HSL和HSV同义。这些模型的定义是众所周知的并且能够在下述出版物中找到:“DigitalImageProcessing”,GonzalezRafaelC.,RichardEugeneWoods,PrenticeHall,pp.407-413,ISBN013168728X,2007;″TheHSB/HLSColorModel-ColorModels-TechnicalGuides″,Adobe;″Colors:HSB″,TomJewett,http://www.tomjewett.com/colors/hsb.html,2009年6月29日检索;“AdobePhotoshopCS2:studiotechniques”,BenWillmore,AdobePress,pp.280,ISBN0321321898,2005。
在下面的说明中,尽管HSL和HSV被用作例子,但是本发明同样适用于HSI和HSB模型。
HSL和HSV都可以被认为是将颜色描述为圆柱体(称为颜色立体)中的点,该圆柱体的中心轴从底部处的黑色渐变为顶部处的白色,在顶部和底部之间为中间色。绕中心垂直轴的角度对应于“色相”,距该轴的距离对应于“饱和度”,并且沿着该轴的距离对应于“光度”、“明度”或“亮度”。
这两种表示在目的上是相似的,但是方法有些不同。这两种表示在数学上都是圆柱的,但是HSV(hue,saturation,value)在概念上可被认为是在底部具有黑色点的颜色的倒锥体(参见图5),并且全饱和色处于顶部的外圆处;而HSL(hue,saturation,lightness)在概念上表示一个白色位于顶部且黑色位于底部的双锥体或球体,全饱和色位于水平截面的边缘处且中灰色位于该水平截面的中心(参见图6)。图5示出了HSV颜色空间的倒锥体的示意图。图6示出了HSL颜色空间的双锥体的示意图。要注意的是,虽然“色相”在HSL和HSV中是指相同的属性,但是它们的“饱和度”的定义显著不同。
因为HSL和HSV是依赖于装置的RGB模型的简单变换,通过(h,s,l)或(h,s,v)三元组定义的物理颜色取决于装置的或特定RGB空间的红色、绿色和蓝色原色以及用于表示这些原色的量的伽玛校正。每个独特的RGB装置因此伴有独特的HSL和HSV空间,因此,(h,s,l)或(h,s,v)三元组当被绑定到诸如sRGB的特定RGB颜色空间时就变得明确了。
这两种模型在1978年被AlvyRaySmith首次正式说明,但是以三维描述颜色的概念可以追朔到18世纪。例如,在以下的出版物中正式说明了这些模型:″ColorGamutTransformPairs″,AlvyRaySmith,ComputerGraphics12(3):12,doi:10.1145/965139.807361,1978年8月;″TheearlydevelopmentoftheMunsellsystem″,Kuehni,RolfG.,ColorResearchandApplication27(1):20-27,doi:10.1002/col.10002,2002年2月。
在步骤S110中,令r,g,b∈[0,1]分别为RGB颜色空间中的颜色的红色、绿色和蓝色坐标。令max为r,g和b中的最大的一个,并且令min为r,g和b中的最小的一个。对于HSL或HSV空间,根据下面的式(1)计算色相角h∈[0°,360°]:
对于HSL空间,根据下面的式(2)和式(3)计算饱和度和光度s,l∈[0,1]:
l = 1 2 ( max + min ) - - - ( 2 )
通常将h的值归一化为介于0°和360°之间,并且当max=min时(即,对于灰色)使用h=0°,但是色相在饱和度s=0的位置处没有几何意义。类似地,当l等于0或1时(即,黑色或白色)选择0作为s的值是任意的。
HSL和HSV具有相同的色相的定义,但是其它分量不同。根据下面的式(4)和式(5)定义HSV颜色空间的s和v(v[0,1])的值:
u=max(5)
例如,对于RGB颜色空间中的红色、绿色和蓝色,它们的坐标(r,g,b)分别为(1,0,0),(0,1,0)和(0,0,1)。根据式(1)至式(3),变换后的红色、绿色和蓝色的HSL坐标(h,s,l)分别为(0°,1,1/2),(120°,1,1/2),(240°,1,1/2)。根据式(1)以及式(4)至(5),变换后的红色、绿色和蓝色的HSV坐标(h,s,v)分别为(0°,1,1),(120°,1,1),(240°,1,1)。原色被用作说明该变换的例子。RGB颜色空间中的其它颜色被类似地变换到HSL或HSV空间。在步骤S110之后,所述图像区域中的所有像素的颜色被变换到HSL或HSV空间。
在步骤S120中,从HSL或HSV颜色空间提取特定颜色范围(立体)。
如上所述,HSV或HSL颜色模型重新布置RGB的几何形状以试图与RGB模型的表示相比与感觉更加相关。因此,在步骤S110中执行的变换之后,在HSV或HSL颜色空间中,人的视觉所感知的相似颜色被聚集在一起。例如,各种红色位于色相平面的0°附近,各种绿色位于色相平面的120°附近,各种蓝色位于色相平面的240°附近。另外,黑色以及被人的视觉感知为黑色的颜色位于椎体的下尖端部分附近,而白色以及被人的视觉感知为白色的颜色对于HSL颜色空间而言位于椎体的上尖端部分附近,对于HSV颜色空间而言则位于顶面的中心附近。此外,人的视觉所感知的灰色在HSL或HSV颜色空间中分布在椎体的中心轴上或附近。
在本发明中,所提取的特定颜色范围包括人的视觉感知为黑色、灰色和白色的颜色。按此方式,提取属于该特定颜色范围的颜色信息并将其与属于普通颜色(特定颜色范围之外的颜色)的颜色信息分离。图5示出了根据本发明的一个实施例的HSV颜色空间中的特定颜色范围,其是由虚线指示的立体。图6示出了根据本发明的一个实施例的HSL颜色空间中的特定颜色范围,其是由虚线指示的立体。在图5中,整个HSV颜色空间是倒锥体。在图6中,整个HSL颜色空间是双锥体。
在HSV颜色空间中,如果通过(h,s,v)定义物理颜色,则由式(6)定义所述特定颜色范围的立体:
其中
bt代表黑色阈值(即,明度小于该阈值的颜色将被视为黑色),推荐使用0.15作为bt的值;
gwt代表灰色和白色阈值(即,饱和度小于该阈值的颜色将被视为白色或灰色),推荐使用0.15作为gwt的值。
尽管0.15是推荐值,但是bt和gwt的诸如0.1或0.2的其它值也是适用的。
在图5中,式(6)中的“v<bt”部分表示倒锥体的由虚线指示的尖端部分(在下文中也称为黑色立体),并且式(6)中的“s<gwt&v≥bt”部分表示倒锥体的中间的由虚线指示的截锥体(在下文中也称为灰色和白色立体)。对于HSV颜色空间,所述特定颜色范围等于黑色立体与灰色和白色立体之和。
在HSL颜色空间中,如果通过(h,s,l)定义物理颜色,则由式(7)定义所述特定颜色范围的立体:
其中
bt代表黑色阈值(即,光度小于该阈值的颜色将被视为黑色),推荐使用0.15作为bt的值;
gt代表灰色阈值(即,饱和度小于该阈值的颜色将被视为灰色),推荐使用0.15作为gt的值;
wt代表白色阈值(即,光度大于该阈值的颜色将被视为白色),推荐使用0.85作为wt的值。
相似地,可以使用其它值作为bt、gt和wt。
在图6中,式(7)中的“l<bt”部分表示双锥体的由虚线指示的下尖端部分(在下文中也称为黑色立体);式(7)中的“s<gt&l≥bt&l≤wt”部分表示双锥体的中间的由虚线指示的其底面重合的两个截锥体(在下文中也称为灰色立体);并且式(7)中的“l>wt”部分表示双锥体的由虚线指示的上尖端部分(在下文中也称为白色立体)。对于HSL颜色空间,所述特定颜色范围等于黑色立体、灰色立体和白色立体之和。
在步骤S120之后,定义并提取了表示特定颜色范围的立体,如图5和图6中由虚线所指示的立体部分所示。
在步骤S130中,根据色相平面,把HSV或HSL颜色空间的(除了特定颜色范围以外)的其余部分分割为多个普通颜色范围。
在本发明中,在HSV或HSL颜色空间中,除了特定颜色范围之外,颜色的类型都通过色相平面描述。色相的值域为[0°,360°)。如果想要N个普通颜色范围(除了特定颜色范围之外),则根据下面的式(8)来分割HSV或HSL颜色空间的所述其余部分:
其中,i=0,1,…,N-1,并且N是大于1的整数。
此步骤中的分割实际上如图11所示切割HSV或HSL颜色空间(除了中央的特定颜色范围以外)的其余部分,这将在稍后说明。在图11的情况下,N=C-1,即,HSV或HSL颜色空间的所述其余部分被分割为C-1个普通颜色范围。
在步骤S140中,对包括特定颜色范围和普通颜色范围的所有颜色范围进行量化。在量化中,不同地处理特定颜色范围和该特定颜色范围之外的颜色(普通颜色范围)。具体地,根据明度(或光度)平面来量化特定颜色范围,而根据明度(或光度)平面和饱和度平面来量化普通颜色范围。
首先,详细描述特定颜色范围的量化。
对于HSL颜色空间,如果通过(h,s,l)定义物理颜色,则根据下面的式(9)对特定颜色ColorS进行量化:
Color s = N b L B &times; N b B &le; l < L B &times; ( N b + 1 ) B , N b = 0,1 &CenterDot; &CenterDot; &CenterDot; B - 1 B + N g L G &times; N g G &le; l < L G &times; ( N g + 1 ) G , N g = 0,1 &CenterDot; &CenterDot; &CenterDot; G - 1 B + G + N w L W &times; N w W &le; l < L W &times; ( N w + 1 ) W , N w = 0,1 &CenterDot; &CenterDot; &CenterDot; W - 1 - - - ( 9 )
根据式(9),根据光度平面来分割所述特定颜色范围。在所述量化中,将特定颜色范围的黑色立体分割为B个部分,每个部分具有沿着光度轴的厚度LB;将特定颜色范围的灰色立体分割为G个部分,每个部分具有沿着光度轴的厚度LG;并且将特定颜色范围的白色立体分割为W个部分,每个部分具有沿着光度轴的厚度LW
图7示出了HSL颜色空间中的特定颜色范围的量化的例子。在图7中,B=W=1且G=4,这仅仅是用于描述的例子,可以使用大于零的任何整数作为B、W和G。HSV颜色空间中的特定颜色范围的量化与图7中的类似。
类似地,对于HSV颜色空间,如果通过(h,s,v)定义物理颜色,则根据下面的式(10)对特定颜色ColorS进行量化:
Color s = N b V B &GreaterEqual; N b B &le; v < V B &times; ( N b + 1 ) B , N b = 0,1 &CenterDot; &CenterDot; &CenterDot; B - 1 B + N gw V GW &times; N gw V &le; v < V GW &times; ( N gw + 1 ) V , N gw = 0,1 &CenterDot; &CenterDot; &CenterDot; V - 1 - - - ( 10 )
根据式(10),根据明度平面来分割所述特定颜色范围。在所述量化中,将特定颜色范围的黑色立体分割为B个部分,每个部分具有沿着明度轴的厚度VB;将特定颜色范围的灰色和白色立体分割为V个部分,每个部分具有沿着明度轴的厚度VGW。类似地,可以使用大于零的任何整数作为B和V。
在式(9)和式(10)中,Nb表示从黑色立体分割出的部分的序号,Ng表示从灰色立体分割出的部分的序号,Nw表示从白色立体分割出的部分的序号,并且Ngw表示从灰色和白色立体分割出的部分的序号。因此,所获得的ColorS(量化的结果)表示该颜色所属于的分割部分的序号。
在量化之后,特定颜色范围中的颜色(h,s,l)或(h,s,v)被量化为该颜色所属于分割部分的序号。
接下来,详细描述普通颜色范围的量化。
如果在HSV或HSL颜色空间中定义了特定颜色范围之外的颜色(普通颜色),则根据下面的式(11)对普通颜色ColorC进行量化:
根据式(11),根据明度(光度)平面和饱和度平面来分割普通颜色范围。这里,对在步骤S130中获得的N个普通颜色范围分别进行量化。
在式(11)中,根据饱和度平面将普通颜色范围分割成S个部分,每个部分具有沿着径向方向的厚度SC。同时,对于HSV颜色空间,还根据明度平面将该普通颜色范围分割成V个部分,每个部分具有沿着明度轴的厚度VC;对于HSL颜色空间,还根据光度平面将该普通颜色范围分割成L个部分,每个部分具有沿着光度轴的厚度LC。可以使用大于零的任何整数作为S、L和V。
图8示出了HSV颜色空间中的某普通颜色范围的量化的例子。在图8中,S=3并且V=4,这仅仅是用于说明的例子,可以使用大于零的任何整数作为S和V。HSL颜色空间中的普通颜色范围的量化与图8中的类似。
在式(11)中,NS表示根据饱和度平面分割的分割部分的序号(参见图8的左部)并且NS=0,1,…,S-1,Nv表示根据明度平面分割的分割部分的序号(参见图8的右部)并且Nv=0,1,…,V-1,Nl表示根据光度平面分割的分割部分的序号并且Nl=0,1,…,L-1。
因此,所获得的ColorC(量化的结果)表示该普通颜色所属于的分割部分的序号。
在所述量化之后,某普通颜色范围中的颜色(h,s,l)或(h,s,v)被量化为该颜色所属于的分割部分的序号。针对在步骤S130中获得的每个普通颜色范围执行以上的量化处理。
在针对所提取的特定颜色范围和该特定颜色范围之外的颜色的不同量化之后,输入的图像区域被量化为量化后颜色区域。
在上面的实施例中,整个图像区域被量化为量化后颜色区域,并且可直接使用该量化后颜色区域用作对于步骤S300的输入。
在另一个实施例中,在执行步骤S300之前,可以执行块分割步骤S200。该步骤S200是可选的。在步骤S200中,在步骤S100中获得的量化后颜色区域被分割成多个图像块。
事实上,可以以许多方法对分割块进行布置,诸如网格形方法、放射形方法和环形方法。在网格形方法中,量化后颜色区域被按照网格分割成块。在放射形方法中,量化后颜色区域被按照扇形分割成块。在本发明中,推荐环形方法,因为它具有旋转不变性。
当采用环形方法时,首先,由用户设置或者由计算机系统自动设置量化后颜色区域的中心点。然后,以所设置的中心点作为中心点设置多个块。所述多个块具有不同的半径或边长,从而使它们形成环形块。
图9示出了通过分割量化后颜色区域而产生的环形块的例子。在图9中,环形块可以具有圆形、椭圆形、正方形或矩形。对于每个环形块,其具有内径和外径。最内侧块(图9中的块B0)一定是实心形状的,而不是环形,所以最内侧块(图9中的块B0)的内径为0。每个块的面积不需要完全相等,但是最好相似。作为环形块的内径和外径之间的差的环宽度不能过小。优选地,该环宽度大于3个像素(条件1)。在一个实施例中,分割的块不重叠。在如图9中的另一个实施例中,所述多个图像块中的一些可以重叠,诸如块B1和块B2。重叠比率(重叠部分的环宽度/此块的环宽度)可以为0(这意味着在两个相邻块之间没有重叠部分),优选地不大于0.5(条件2)。块的数量取决于以上的条件1和条件2,并且优选地为4或5。
在另一个实施例中,可以在步骤S100之前执行块分割步骤,在该块分割步骤中,将所述图像区域分割为多个图像块。在此情况下,在颜色量化步骤S100中针对所述多个图像块中的每一个执行所述量化,形成包含多个图像块的量化后颜色区域,在颜色直方图计算步骤S300中针对所述多个图像块中的每一个计算一个颜色直方图,并且在直方图组装步骤S400中通过使用计算出的多个颜色直方图产生所述唯一矢量。此时进行的块分割可以具有与图9所示相似的形状。
在步骤S300中,根据所述量化后颜色区域计算颜色直方图。这可以通过简单地对包括所述特定颜色范围和普通颜色范围的每个颜色范围中的像素的数目进行计数来完成。
在该步骤中,根据彩色图像区域中的像素的不同量化值来计算直方图。在彩色图像区域的每个像素中存在一个特定值,称为量化值(这是在步骤S140中计算出的),并且是上述的序号。
在该直方图中,每个区间中的值代表对于某量化值的像素计数。在图10中示出了直方图区间的顺序。
在图10中,Color1至ColorC-1是普通颜色。该直方图中的颜色的类型总计为C种类型,对应于C个颜色范围,包括一个特定颜色范围和C-1个普通颜色范围。U是每个普通颜色范围中的量化值的数目,并且V是所述特定颜色范围中的量化值的数目。通常,所述特定颜色范围要比各普通颜色范围更重要。因此,V不小于U。
在步骤S300之后,针对所述图像区域计算了颜色直方图,并且使用所述颜色直方图作为对步骤S400的输入。
在另一个实施例中,在步骤S300中计算颜色直方图之后,可以执行可选的颜色直方图区间平滑化步骤,以进一步减小色像差的影响。
在该颜色直方图区间平滑化步骤中,对来自(除了特定颜色范围之外的)普通颜色范围的直方图区间进行平滑化。针对HSL或HSV颜色空间,通过色相角h∈[0°,360°]定义(除了特定颜色范围之外的)普通颜色范围。颜色直方图区间平滑化尝试使相邻的区间(颜色范围)相互影响。图11示出了颜色直方图区间平滑化的效果。
如图11中所示,根据下面的式(12)执行颜色直方图区间平滑化:
Color′i,j=w×(Colori-1,j+Colori+1,j)+Colori,j(12)
其中,w是加权值,j代表每个普通颜色范围中的量化值,i代表普通颜色范围的序号,i=1,2,……C-1。当i=1时,令Colori-1,j=ColorC-1,j
在上述的将量化后颜色区域分割为多个块的实施例中,可以执行图12中示出的处理以计算每个块的颜色直方图。图12示出了用于针对从量化后颜色区域的对应分割块计算的各个直方图计算最终颜色直方图的方法的流程图。
该方法包括以下步骤:针对所述量化后颜色区域中的每个图像块计算一个直方图(S310);对来自除了特定颜色范围之外的所有普通颜色范围的直方图区间进行平滑化(S320);以及把每个图像块的直方图进行归一化作为最终颜色直方图(S330)。
除了针对每个块计算一个直方图之外,步骤S310中的计算与上述的步骤S300中的计算类似。除了针对每个块执行颜色直方图区间平滑化之外,步骤S320中的平滑化与上述的颜色直方图区间平滑化步骤中的平滑化类似。
在步骤S330中,每个块的直方图将被归一化为最终颜色直方图。因为每个分割块的面积可能不同,所以对于进行块分割的情况,该处理步骤是必要的。
根据下面的式(13)执行所述归一化:
h &prime; i = h i / &Sigma; i = 0 C - 1 h i - - - ( 13 )
其中hi是每个直方图区间的计数,并且i是颜色的类型的序号。
在块分割的情况下,用步骤S310至步骤S330代替上面的步骤S300。
在步骤S300之后,产生了一个颜色直方图(在正常情况下)或者多个颜色直方图(在块分割的情况下)。
在步骤S400中,通过使用在步骤S300中产生的颜色直方图产生一个唯一矢量。
当没有将量化后颜色区域分割成块时,一个颜色直方图被输入到步骤S400。在此情况下,产生唯一矢量V。矢量V={N,M1,…,MC-1},其中该矢量中的N代表N个元素,M1至MC-1中的每个代表M个元素,这些元素的值对应于图10中的直方图中的像素的计数值。
至此,获得了输入的图像区域的特征矢量,并将使用它来描述该图像区域。
另一方面,当量化后颜色区域被分割成块时,多个颜色直方图(其数量等于块的数量)被输入到步骤S400。在此情况下,用图13中示出的方法代替步骤S400。图13示出了用于将来自量化后颜色区域的每个分割块的颜色直方图收集到一个唯一矢量中的方法的流程图。该方法包括以下步骤:为来自不同图像块的颜色直方图设置不同的权重(S410);将所述多个图像块的加权的颜色直方图收集到一个唯一矢量中(S420);以及对该唯一矢量进行归一化(S430)。
在步骤S410中,为每个输入的颜色直方图设置权重。根据人的视觉,靠近视觉中心的事物更为重要。因此,来自靠近中心的块的直方图被加以较大的加权值。图14示出了块的加权的例子。如图14中所示,颜色越深,所加的权重越大。
在步骤S420中,把加权的颜色直方图收集到一个唯一矢量中。
例如,该唯一矢量B={w1B1,w2B2,…,wNBN},其中N是块的数目,B1代表第一块的特征矢量,BN代表第N块的特征矢量,并且w1至wN分别是B1至BN的权重。对于B1至BN中的每一个,其具有上述的矢量V的形式。
在步骤S430中,把所述唯一矢量B归一化为最终特征矢量B′。根据下面的式(14)执行该归一化:
B &prime; i = w i B i / &Sigma; i = 1 N w i B i - - - ( 14 )
其中Bi是各个块的特征矢量,wi是各个块的权重,并且N是分割块的数目。
因此,最终矢量为至此,获得了输入的图像区域的特征矢量,并使用它来描述该图像区域。
应该注意的是,当量化后颜色区域被分割成块时,所获得的特征矢量要长于在不把量化后颜色区域分割成块的情况下获得的特征矢量。长的矢量能够更准确地描述图像区域,但是涉及更高的计算复杂性。
根据本发明的基于颜色直方图来描述图像区域的方法可被应用于对象检测、对象跟踪和图像查询。
图15示出了根据本发明的用于登记一个或多个图像中的对象的方法500的流程图。该方法包括以下步骤:在所述一个或多个图像上指定要登记的一个或多个对象区域(S510);对于所述一个或多个对象区域中的每一个,把该对象区域量化为量化后颜色区域,其中在所述量化中不同地处理特定颜色范围和所述特定颜色范围之外的颜色,根据所述量化后颜色区域计算颜色直方图并且通过使用所述颜色直方图产生唯一矢量(S520);如果产生了多个矢量,则从所述多个矢量计算最终特征矢量(S530);以及针对所述对象,登记所述最终特征矢量(S540)。
在步骤S510中,在所述一个或多个图像上指定要登记的一个或多个对象区域。在指定对象区域时,用户可以在一个或多个图像上指定要登记的对象区域。为了使性能更好,对象区域最好不包含背景,因为仅使用一个或几个对象区域,该方法无法区分对象和背景。也就是说,用户应该提供有效的对象样本。对象区域应该包含具有不大幅变化的不同特定颜色的几个区域。
应该注意的是,基于本发明的图像描述方法,通过仅提供一个样本图像就能够实现对象的登记。与现有技术的其它图像描述方法(其中,为了检测对象,需要登记与该对象相关的许多样本图像以使得检测器可以进行训练和学习)相比,本发明的图像登记得到大大简化。
在步骤S520中,对于每个指定的对象区域,使用根据上述实施例中的任一实施例的图像描述方法将其描述为特征矢量。在一个实施例中,为了更好的旋转不变性,所指定的对象区域被分割成环形的块(参见图9中的第一种块分割)。
在步骤S530中,当在步骤S510中指定了多个对象区域时,产生相同数量的对象特定特征矢量。如果产生了多个矢量,则从所述多个矢量计算最终特征矢量。如果仅仅产生了一个特征矢量,则直接使用该特征矢量作为最终特征矢量。在该步骤中可以使用统计和机器学习的许多方法,作为一种容易的方法推荐均值计算算法。
给定一组对象特定特征矢量(x1,x2,…,xn),根据下面的式(15)计算均值:
x &OverBar; = &Sigma; i = 1 n x i / | &Sigma; i = 1 n x i | - - - ( 15 )
其中是最终对象特定特征矢量。
在步骤S540中,登记用于所述对象的最终特征矢量。例如,将该最终特征矢量存储在存储装置中。
在步骤S540之后,图像登记完成。由用户指定的对象区域通过特征矢量来刻画特征。特征矢量像关键字一样将被用来在其它图像中检测该对象。
图16示出了基于图15中的方法登记的对象的特征矢量(在下文中称为第一矢量)从图像中检测该对象的方法600的流程图。该方法包括以下步骤:从所述图像裁剪任意的部分区域(S610),对于每个部分区域,把该部分区域量化为量化后颜色区域,其中在所述量化中不同地处理特定颜色范围和所述特定颜色范围之外的颜色,根据所述量化后颜色区域计算颜色直方图并且通过使用所述颜色直方图产生第二矢量(S620);以及比较所述第一矢量和所述第二矢量以确定在所述部分区域中是否存在所述对象(S630)。
在步骤S610中,从要检测的图像中剪裁出多个部分区域。可以如下地剪裁所述部分区域:采用与登记的样本对象区域具有相同尺寸的搜索窗口;在要检测的图像上渐进地移动该搜索窗口,并且在每次移动前提取该搜索窗口内包含的像素以创建一个部分区域;在移动该搜索窗口遍历了要检测的图像之后,在保持搜索窗口的尺寸不变的同时调整(缩小)要检测的图像的尺寸;重复移动和尺寸调整(缩小)处理动作,直到达到预定限制为止。
这仅仅是遍历要检测的图像的方法的一个例子。本领域技术人员能够容易地想到其它遍历方法。例如,在另一个实施例中,不调整要检测的图像的尺寸,而是调整搜索窗口的尺寸,然后再将搜索窗口中的部分区域调整到登记的样本对象区域的尺寸。
在步骤S620中,对于每个部分区域,使用根据上述实施例中的任一实施例的图像描述方法将其描述为特征矢量。在该步骤中的所有参数应该与步骤S520中的产生对象特定特征矢量的参数相同。
在步骤S630中,比较部分区域的特征矢量与(对象的)登记的特征矢量以确定在所述部分区域中是否存在该对象。在该步骤中可以使用关于矢量比较的许多方法,诸如相关法(Correlation),Chi-square,Bhattacharyya,交叉法(intersection)等等。作为简单的计算方法,这里推荐Chi-square算法。
例如,给定两个特征矢量H1,H2,H1是用户登记的对象区域的特征矢量,H2是当前的部分区域的特征矢量,通过下面的式(16)表示H1和H2之间的距离:
d ( H 1 , H 2 ) = &Sigma; i H 1 ( i ) - H 2 ( i ) H 1 ( i ) + H 2 ( i ) - - - ( 16 )
其中H(i)是特征矢量H的第i维的值。当d(H1,H2)<TH时,意味着该部分区域包含用户登记的对象;并且当d(H1,H2)≥TH时,意味着该部分区域不包含用户登记的对象,其中TH是一个经验值,其取决于特征矢量的维数以及特征矢量的精度。
图17示出了根据本发明的对象检测方法获得的检测结果的例子。在图17中,左部示出了在步骤S510中由用户指定的样本对象区域的例子,即,要在其它图像中检测的对象,并且该对象区域的特征矢量被登记(存储)。图17的右部示出了与左部中的输入样本对象区域对应的对象检测方法600的检测结果。在图17的右部,通过矩形框示出了图像的包括登记的对象的、不同尺寸的部分区域。
根据对象检测方法600的实际性能,本发明的发明人获得了以下数据:为了检测登记的对象总计已输入了图像(1280*720像素)的344300个区域,774个区域已被确定为包含该对象(狗的面部),这在图17的右部被示出。从图17中,我们可以看到:检测精度高并且每个检测到的部分区域(矩形框)都包含狗的面部。
在针对精度的另一种评价方法中,输入具有所述对象(狗的面部)的1100个图像区域,正确检测率(即,该区域包含狗的面部)为94.77%;输入不具有该对象(狗的面部)的30000个随机的图像区域,正确检测率(即,该区域不包含狗的面部)为99.99%。
对象检测方法600的另一个优点是它的高速度。对于每帧图像(1280*720像素),可以在0.37秒之内完成检测。
使用本发明的图像区域描述方法和对象检测方法,获得了高的对象姿态鲁棒性。使用仅仅需要一个样本对象图像区域的对象检测方法600,可以检测到许多不同姿态的狗的面部。图18示出了不管对象姿态如何都能够正确检测对象(狗的面部)的事实。
使用本发明的图像区域描述方法和对象检测方法,获得了高的色像差鲁棒性。由光源和照相机的感光器件引起的色像差对本发明的图像区域描述方法几乎没有影响。图19示出了不管色像差如何都能够正确检测对象(狗的面部)的事实。
使用本发明的图像区域描述方法和对象检测方法,检测结果不受对象的旋转的影响,即,获得了旋转不变性。如果在图像区域描述方法中使用了环形块分割方法,则对象的旋转对本发明的对象识别没有影响。图20示出了不管对象如何旋转都能够正确检测对象(狗的面部)的事实。
在本说明书中,作为例子描述了静止图像。然而,不必说的是,本发明同样适用于视频,因为视频是由多帧图像形成的。也就是说,本发明的图像区域描述和对象检测可以应用于运动图像(视频)。
在本说明书中,所有阈值的值仅仅是示例,而不是要限制本发明的范围。
可以通过许多方式来实施本发明的方法和系统。例如,可以通过软件、硬件、固件、或其任何组合来实施本发明的方法和系统。上述的方法步骤的次序仅是说明性的,本发明的方法步骤不限于以上具体描述的次序,除非以其他方式明确说明。此外,在一些实施例中,本发明还可以被实施为记录在记录介质中的程序,其包括用于实现根据本发明的方法的机器可读指令。因而,本发明还覆盖存储用于实现根据本发明的方法的程序的记录介质。
虽然已通过示例详细展示了本发明的一些具体实施例,但是本领域技术人员应当理解,上述示例仅意图是示例性的而非限制本发明的范围。本领域技术人员应该理解,上述实施例可以被修改而不脱离本发明的范围和实质。本发明的范围是通过所附的权利要求限定的。

Claims (20)

1.一种基于颜色直方图来描述图像区域的方法,包括:
颜色量化步骤,用于将所述图像区域量化为量化后颜色区域,其中,所述颜色量化步骤包括以下步骤:将所述图像区域变换到HSV或HSL颜色空间;从所述HSV或HSL颜色空间提取特定颜色范围,所述特定颜色范围包括被人的视觉感知为黑色、灰色和白色的颜色;以及将HSV颜色空间或HSL颜色空间的所述特定颜色范围之外的颜色范围根据HSV颜色空间或HSL颜色空间的色相平面分割为多个第二颜色范围;并且其中,所述特定颜色范围被根据HSV颜色空间的明度平面或者HSL颜色空间的光度平面而进行量化,所述多个第二颜色范围中的每个颜色范围被根据HSV颜色空间的明度平面和饱和度平面或者HSL颜色空间的光度平面和饱和度平面而进行量化;
颜色直方图计算步骤,用于根据所述量化后颜色区域来计算一个或多个颜色直方图;
平滑化步骤,用于对颜色直方图中的所述多个第二颜色范围中的相邻颜色范围的直方图区间进行平滑化,以使得相邻颜色范围相互影响;以及
直方图组装步骤,用于通过使用所述一个或多个颜色直方图来产生唯一矢量。
2.根据权利要求1所述的方法,还包括把所述量化后颜色区域分割成多个图像块的块分割步骤,
其中,在所述颜色直方图计算步骤中,针对所述多个图像块中的每一个计算一个颜色直方图,并且
其中,在所述直方图组装步骤中,通过使用计算的多个颜色直方图产生所述唯一矢量。
3.根据权利要求1所述的方法,还包括把所述图像区域分割成多个图像块的块分割步骤,
其中,在所述颜色量化步骤中,针对所述多个图像块中的每一个执行所述量化,形成包含多个图像块的量化后颜色区域,
其中,在所述颜色直方图计算步骤中,针对所述多个图像块中的每一个计算一个颜色直方图,并且
其中,在所述直方图组装步骤中,通过使用计算出的多个颜色直方图产生所述唯一矢量。
4.根据权利要求2或3所述的方法,其中,所述多个图像块中的一些是重叠的。
5.根据权利要求2或3所述的方法,其中,所述多个图像块是环形的,具有相同的圆心和不同的半径。
6.根据权利要求2或3所述的方法,其中,所述多个图像块是网格形的或放射形的。
7.根据权利要求2或3所述的方法,其中,所述颜色直方图计算步骤包括:
针对所述量化后颜色区域中的每个图像块计算一个直方图;
对来自除了所述特定颜色范围之外的所有第二颜色范围的直方图区间进行平滑化;以及
把每个图像块的直方图归一化为最终颜色直方图。
8.根据权利要求2或3所述的方法,其中,所述直方图组装步骤包括:
为来自不同图像块的颜色直方图设置不同的权重;
把所述多个图像块的加权的颜色直方图收集到一个唯一矢量中;以及
对所述唯一矢量进行归一化。
9.一种用于登记一个或多个图像中的对象的方法,包括:
在所述一个或多个图像上指定要登记的对象的一个或多个对象区域;
对于所述一个或多个对象区域中的每一个,
把该对象区域量化为量化后颜色区域,其中,该量化包括:将所述对象区域变换到HSV或HSL颜色空间;从所述HSV或HSL颜色空间提取特定颜色范围,所述特定颜色范围包括被人的视觉感知为黑色、灰色和白色的颜色;以及将HSV颜色空间或HSL颜色空间的所述特定颜色范围之外的颜色范围根据HSV颜色空间或HSL颜色空间的色相平面分割为多个第二颜色范围;并且其中,所述特定颜色范围被根据HSV颜色空间的明度平面或者HSL颜色空间的光度平面而进行量化,所述多个第二颜色范围中的每个颜色范围被根据HSV颜色空间的明度平面和饱和度平面或者HSL颜色空间的光度平面和饱和度平面而进行量化;
根据所述量化后颜色区域计算一个或多个颜色直方图;
对颜色直方图中的所述多个第二颜色范围中的相邻颜色范围的直方图区间进行平滑化,以使得相邻颜色范围相互影响;以及
通过使用所述一个或多个颜色直方图产生唯一矢量;
如果产生了多个矢量,则根据所述多个矢量计算最终特征矢量;以及
针对所述对象,登记所述最终特征矢量。
10.一种基于由权利要求9的方法登记的对象的最终特征矢量,从图像中检测该对象的方法,包括:
从所述图像裁剪任意的部分区域;
对于每个部分区域,
把该部分区域量化为量化后颜色区域,其中,该量化包括:将所述部分区域变换到所述HSV或HSL颜色空间;从所述HSV或HSL颜色空间提取所述特定颜色范围;以及将HSV颜色空间或HSL颜色空间的所述特定颜色范围之外的颜色范围根据HSV颜色空间或HSL颜色空间的色相平面分割为多个第二颜色范围;并且其中,所述特定颜色范围被根据HSV颜色空间的明度平面或者HSL颜色空间的光度平面而进行量化,所述多个第二颜色范围中的每个颜色范围被根据HSV颜色空间的明度平面和饱和度平面或者HSL颜色空间的光度平面和饱和度平面而进行量化;
根据所述量化后颜色区域计算一个或多个颜色直方图;
对颜色直方图中的所述多个第二颜色范围中的相邻颜色范围的直方图区间进行平滑化,以使得相邻颜色范围相互影响;
通过使用所述一个或多个颜色直方图产生第二矢量;以及
比较所述最终特征矢量和所述第二矢量以确定在所述部分区域中是否存在所述对象。
11.一种基于颜色直方图来描述图像区域的系统,包括:
颜色量化单元,被配置为将所述图像区域量化为量化后颜色区域,其中,所述颜色量化单元包括:被配置为将所述图像区域变换到HSV或HSL颜色空间的单元;被配置为从所述HSV或HSL颜色空间提取特定颜色范围的单元,所述特定颜色范围包括被人的视觉感知为黑色、灰色和白色的颜色;以及被配置为将HSV颜色空间或HSL颜色空间的所述特定颜色范围之外的颜色范围根据HSV颜色空间或HSL颜色空间的色相平面分割为多个第二颜色范围的单元;并且其中,所述特定颜色范围被根据HSV颜色空间的明度平面或者HSL颜色空间的光度平面而进行量化,所述多个第二颜色范围中的每个颜色范围被根据HSV颜色空间的明度平面和饱和度平面或者HSL颜色空间的光度平面和饱和度平面而进行量化;
颜色直方图计算单元,被配置为根据所述量化后颜色区域来计算一个或多个颜色直方图;
平滑化单元,被配置为对颜色直方图中的所述多个第二颜色范围中的相邻颜色范围的直方图区间进行平滑化,以使得相邻颜色范围相互影响;以及
直方图组装单元,被配置为通过使用所述一个或多个颜色直方图来产生唯一矢量。
12.根据权利要求11所述的系统,还包括把所述量化后颜色区域分割成多个图像块的块分割单元,
其中,所述颜色直方图计算单元被配置为针对所述多个图像块中的每一个计算一个颜色直方图,并且
其中,所述直方图组装单元被配置为通过使用计算的多个颜色直方图产生所述唯一矢量。
13.根据权利要求11所述的系统,还包括把所述图像区域分割成多个图像块的块分割单元,
其中,所述颜色量化单元被配置为针对所述多个图像块中的每一个执行所述量化,形成包含多个图像块的量化后颜色区域,
其中,所述颜色直方图计算单元被配置为针对所述多个图像块中的每一个计算一个颜色直方图,并且
其中,所述直方图组装单元被配置为通过使用计算出的多个颜色直方图产生所述唯一矢量。
14.根据权利要求12或13所述的系统,其中,所述多个图像块中的一些是重叠的。
15.根据权利要求12或13所述的系统,其中,所述多个图像块是环形的,具有相同的圆心和不同的半径。
16.根据权利要求12或13所述的系统,其中,所述多个图像块是网格形的或放射形的。
17.根据权利要求12或13所述的系统,其中,所述颜色直方图计算单元包括:
被配置为针对所述量化颜色区域中的每个图像块计算一个直方图的单元;
被配置为对来自除了所述特定颜色范围之外的所有第二颜色范围的直方图区间进行平滑化的单元;以及
被配置为把每个图像块的直方图归一化为最终颜色直方图的单元。
18.根据权利要求12或13所述的系统,其中,所述直方图组装单元包括:
被配置为为来自不同图像块的颜色直方图设置不同的权重的单元;
被配置为把所述多个图像块的加权的颜色直方图收集到一个唯一矢量中的单元;以及
被配置为对所述唯一矢量进行归一化的单元。
19.一种用于登记一个或多个图像中的对象的系统,包括:
被配置为在所述一个或多个图像上指定要登记的对象的一个或多个对象区域的单元;
被配置为对于所述一个或多个对象区域中的每一个执行以下处理的单元:
把该对象区域量化为量化后颜色区域,其中,该量化处理包括以下处理:将所述对象区域变换到HSV或HSL颜色空间;从所述HSV或HSL颜色空间提取特定颜色范围,所述特定颜色范围包括被人的视觉感知为黑色、灰色和白色的颜色;以及将HSV颜色空间或HSL颜色空间的所述特定颜色范围之外的颜色范围根据HSV颜色空间或HSL颜色空间的色相平面分割为多个第二颜色范围;并且其中,所述特定颜色范围被根据HSV颜色空间的明度平面或者HSL颜色空间的光度平面而进行量化,所述多个第二颜色范围中的每个颜色范围被根据HSV颜色空间的明度平面和饱和度平面或者HSL颜色空间的光度平面和饱和度平面而进行量化;
根据所述量化后颜色区域计算一个或多个颜色直方图;
对颜色直方图中的所述多个第二颜色范围中的相邻颜色范围的直方图区间进行平滑化,以使得相邻颜色范围相互影响;以及通过使用所述一个或多个颜色直方图产生唯一矢量;
被配置为如果产生了多个矢量,则根据所述多个矢量计算最终特征矢量的单元;以及
被配置为针对所述对象,登记所述最终特征矢量的单元。
20.一种基于由权利要求19的系统登记的对象的最终特征矢量,从图像中检测该对象的系统,包括:
被配置为从所述图像裁剪任意的部分区域的单元;
被配置为对于每个部分区域执行以下处理的单元:
把该部分区域量化为量化后颜色区域,其中,该量化处理包括以下处理:将所述部分区域变换到所述HSV或HSL颜色空间;从所述HSV或HSL颜色空间提取所述特定颜色范围;以及将HSV颜色空间或HSL颜色空间的所述特定颜色范围之外的颜色范围根据HSV颜色空间或HSL颜色空间的色相平面分割为多个第二颜色范围;并且其中,所述特定颜色范围被根据HSV颜色空间的明度平面或者HSL颜色空间的光度平面而进行量化,所述多个第二颜色范围中的每个颜色范围被根据HSV颜色空间的明度平面和饱和度平面或者HSL颜色空间的光度平面和饱和度平面而进行量化;
根据所述量化后颜色区域计算一个或多个颜色直方图;
对颜色直方图中的所述多个第二颜色范围中的相邻颜色范围的直方图区间进行平滑化,以使得相邻颜色范围相互影响;
通过使用所述一个或多个颜色直方图产生第二矢量;以及
比较所述最终特征矢量和所述第二矢量以确定在所述部分区域中是否存在所述对象。
CN201110352118.7A 2011-11-09 2011-11-09 基于颜色直方图来描述图像区域的方法和系统 Active CN103106668B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201110352118.7A CN103106668B (zh) 2011-11-09 2011-11-09 基于颜色直方图来描述图像区域的方法和系统
JP2012245613A JP2013101615A (ja) 2011-11-09 2012-11-07 色ヒストグラムに基づき画像領域を記述する方法およびシステム
US13/671,240 US9275447B2 (en) 2011-11-09 2012-11-07 Method and system for describing image region based on color histogram

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110352118.7A CN103106668B (zh) 2011-11-09 2011-11-09 基于颜色直方图来描述图像区域的方法和系统

Publications (2)

Publication Number Publication Date
CN103106668A CN103106668A (zh) 2013-05-15
CN103106668B true CN103106668B (zh) 2016-08-03

Family

ID=48314495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110352118.7A Active CN103106668B (zh) 2011-11-09 2011-11-09 基于颜色直方图来描述图像区域的方法和系统

Country Status (3)

Country Link
US (1) US9275447B2 (zh)
JP (1) JP2013101615A (zh)
CN (1) CN103106668B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530656B (zh) * 2013-09-10 2017-01-11 浙江大学 基于隐结构学习的图像摘要生成方法
CN104778833B (zh) * 2014-01-10 2018-05-08 北京信路威科技股份有限公司 识别交通信号灯的方法
CN104023165A (zh) * 2014-06-05 2014-09-03 江苏紫光吉地达环境科技有限公司 一种快速色彩判别方法
CN104023249B (zh) 2014-06-12 2015-10-21 腾讯科技(深圳)有限公司 电视频道识别方法和装置
CN104392443B (zh) * 2014-11-18 2017-05-24 浙江工商大学 用于检测二维24位彩色图像的主要特征色的方法
US10026003B2 (en) 2016-03-08 2018-07-17 Accuware, Inc. Method and arrangement for receiving data about site traffic derived from imaging processing
US10824878B2 (en) 2016-03-08 2020-11-03 Accuware, Inc. Method and arrangement for receiving data about site traffic derived from imaging processing
CN106503094A (zh) * 2016-10-13 2017-03-15 广州视睿电子科技有限公司 一种基于文档的用户偏好分析方法
CN110536172B (zh) * 2019-07-09 2022-10-18 咪咕视讯科技有限公司 一种视频图像显示的调节方法、终端及可读存储介质
CN116152623B (zh) * 2023-04-04 2023-07-18 江西财经大学 基于多粒度特征融合的全景图像描述方法与系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6633407B1 (en) * 1998-04-29 2003-10-14 Lg Electronics, Inc. HMMD color space and method for quantizing color using HMMD space and color spreading
US6310969B1 (en) * 1998-05-28 2001-10-30 Lg Electronics Inc. Color coordinate space structure and color quantizing and variable gray area designating method therein
US7417640B1 (en) * 1999-01-29 2008-08-26 Lg Electronics Inc. Method for dominant color setting of video region and data structure and method of confidence measure extraction
US7046842B2 (en) * 1999-08-17 2006-05-16 National Instruments Corporation System and method for color characterization using fuzzy pixel classification with application in color matching and color match location
US6549643B1 (en) * 1999-11-30 2003-04-15 Siemens Corporate Research, Inc. System and method for selecting key-frames of video data
KR100422697B1 (ko) 1999-12-27 2004-03-12 엘지전자 주식회사 색공간 양자화 묘사자
US6674907B1 (en) * 2000-02-17 2004-01-06 Microsoft Corporation Color image quantization using a hierarchical color perception model
KR20010081894A (ko) * 2000-02-18 2001-08-29 구자홍 이종 시스템간의 내용기반 멀티미디어 검색을 가능하게하는 칼라 히스토그램 변환방법, 멀티미디어 검색 방법,데이터 구조 및 멀티미디어 검색 시스템
JP3438719B2 (ja) * 2000-11-28 2003-08-18 ミノルタ株式会社 画像検出装置、画像検出方法、ディジタルカメラおよびプリンタ
US6859552B2 (en) * 2000-11-07 2005-02-22 Minolta Co., Ltd. Image retrieving apparatus
US7062084B2 (en) * 2000-12-01 2006-06-13 Sharp Laboratories Of America, Inc. Method for image description using color and local spatial information
KR100413341B1 (ko) * 2001-03-20 2003-12-31 주식회사 코난테크놀로지 Hsv 칼라 히스토그램 추출 방법
JP4664047B2 (ja) * 2004-11-10 2011-04-06 株式会社エヌ・ティ・ティ・ドコモ 画像処理装置及び画像処理方法
US7864365B2 (en) * 2006-06-15 2011-01-04 Sharp Laboratories Of America, Inc. Methods and systems for segmenting a digital image into regions
WO2008019524A1 (en) * 2006-07-17 2008-02-21 Thomson Licensing Method and apparatus for encoding video color enhancement data, and method and apparatus for decoding video color enhancement data
US8004576B2 (en) * 2008-10-31 2011-08-23 Digimarc Corporation Histogram methods and systems for object recognition
US8520966B2 (en) * 2009-03-30 2013-08-27 The Neat Company Image background enhancement for color images
CN101551823B (zh) 2009-04-20 2011-06-08 浙江师范大学 一种综合多特征图像检索方法
US8320665B2 (en) * 2009-05-13 2012-11-27 Tata Consultancy Services Ltd. Document image segmentation system

Also Published As

Publication number Publication date
JP2013101615A (ja) 2013-05-23
US20130129215A1 (en) 2013-05-23
US9275447B2 (en) 2016-03-01
CN103106668A (zh) 2013-05-15

Similar Documents

Publication Publication Date Title
CN103106668B (zh) 基于颜色直方图来描述图像区域的方法和系统
US8385638B2 (en) Detecting skin tone in images
CN107248159A (zh) 一种基于双目视觉的金属工件缺陷检测方法
CN104537625A (zh) 一种基于方向标志位的Bayer彩色图像插值方法
CN106412619A (zh) 一种基于hsv颜色直方图和dct感知哈希的镜头边界检测方法
US9064178B2 (en) Edge detection apparatus, program and method for edge detection
CN104318266B (zh) 一种图像智能分析处理预警方法
CN103813095B (zh) 测试图及其使用方法
CN105957107A (zh) 行人检测与跟踪方法及装置
WO2022105655A1 (zh) 图像处理方法、图像处理装置、电子设备和计算机可读存储介质
CN105046701A (zh) 一种基于构图线的多尺度显著目标检测方法
CN103745197B (zh) 一种车牌检测方法及装置
CN107451976A (zh) 一种图像处理方法及装置
CN104143077A (zh) 基于图像的行人目标检索方法和系统
CN102567969B (zh) 一种彩色图像边缘检测方法
CN106970709B (zh) 一种基于全息成像的3d交互方法和装置
CN110334581B (zh) 一种多源遥感影像变化检测方法
CN104282013B (zh) 一种用于前景目标检测的图像处理方法及装置
CN110120012A (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法
Zheng et al. Study on image retrieval based on image texture and color statistical projection
JP5615344B2 (ja) 色特徴を抽出するための方法および装置
US20140193085A1 (en) Image manipulating system and method
You et al. The technique of color and shape-based multi-feature combination of trademark image retrieval
CN101777127B (zh) 一种人体头部检测方法
CN107491712A (zh) 一种基于rgb‑d图像的人体识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant