CN101751556A - 物件外观模型产生方法、物件辨识方法以及监控系统 - Google Patents
物件外观模型产生方法、物件辨识方法以及监控系统 Download PDFInfo
- Publication number
- CN101751556A CN101751556A CN200910145935A CN200910145935A CN101751556A CN 101751556 A CN101751556 A CN 101751556A CN 200910145935 A CN200910145935 A CN 200910145935A CN 200910145935 A CN200910145935 A CN 200910145935A CN 101751556 A CN101751556 A CN 101751556A
- Authority
- CN
- China
- Prior art keywords
- type display
- hierarchy type
- display model
- stratum
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/24—Character recognition characterised by the processing or recognition method
- G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
- G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Alarm Systems (AREA)
Abstract
物件外观模型产生方法、物件辨识方法以及监控系统。首先接收该物件的一图像,据以建立一阶层式外观模型(hierarchical appearance model)。该阶层式外观模型具有多个阶层,每一阶层包含一或多节点。每一阶层中的节点包含物件信息,具有与阶层相关的详细度。不同阶层的节点,其详细度也不同。
Description
技术领域
本发明涉及产生一物件的阶层式外观模型(Hierarchy AppearanceModule)的方法和系统。
背景技术
企业和政府通常会采用监控系统来监视管区内的活动,以增强安全性。监控的主要议题之一,就是物件的检测以及已知物件的辨识。举例来说,在停车场大楼内,监控系统可检测在特定时间离开的对象,并判断其是否为已知的人员。
一个智慧型的监控系统仰赖计算机技术来进行物件辨识。一个智慧型的监控系统通常包含图像截取单元,例如视频摄影机,藉此获取物件的图像。此外还包含一计算机系统,用以处理图像并媒合物件。为了建立一物件数据库,该图像截取单元必须能捕捉所有目标物件的图像,并将之传送至该计算机系统。该计算机系统始能处理这些图像并将之以特定的格式存储在数据库中。当图像截取单元捕捉到一待辨识物件的图像时,该计算机系统便接着尝试将该图像与物件数据库中的已知物件进行媒合比对。
同样一个物件的图像,在不同的时间点或不同的设定上,会有所不同,因为各方面的条件例如物件的姿态、以及环境因素如光线亮度均有可能不同。因此,两个相同物件于不同时间不同条件下的图像,要进行详细比对,对计算机而言是一项重大负担,而且所产生的结果通常并不可靠。因此,在监控系统中的计算机通常会采用统计模型来降低并简化图像中的已知信息。举例来说,直方图是一种广泛范围的数据分布图,可以用来代表各形各色的参数。更确切地说,参数的范围可以分割成许多小范围或子范围。一直方图中包含许多区间(bin),每一区间代表一特定宽度的子范围,而高度则代表落入该子范围的数据量。
举例来说,一彩色图像可以表示为多个彩色频道,例如三原色中的红色、黄色和绿色频道。该彩色图像的直方图可显示特定颜色频道中的像素分布情形,而每一区间的宽度(区间宽度)对应该特定颜色频道的一子范围,而该区间的高度则代表颜色值落入该区间的所有像素的数量。因此物件辨识的技术就牵涉到两个物件的直方图比对。如果两个物件的直方图符合,则可以将两个物件视为是同一物件。
在该物件数据库中存储的信息越多,计算机能提供的辨识准确度就越高。一般监控系统可以通过一或多个视频摄影机的连续/同时捕捉,为该物件数据库中的每一物件提供大量图像信息。藉此,计算机可以利用这些图像信息为每一物件产生多个直方图。为了辨识待辨识物件,计算机必须将该待辨识物件的直方图拿来与物件数据库中的物件的所有直方图进行比对,藉此提高准确度。另一种做法是,计算机先将一物件的多个图像进行结合,建立一外观模型用以代表该物件。在辨识待辨识物件的时候,计算机便可直接判断该待辨识物件的图像是否符合该物件数据库中的一物件的外观模型。
研究者曾经提出许多不同的外观模型,适用于不同的目的。举例来说,在“Global Color Model Based Object Matching in the Multi-CameraEnvironment,”Proceedings of the 2006IEEE/RSJ International Conference onIntelligent Robots and Systems,October 9-15,2006,pp.2644-49,Morioka提出一种可适性模型,结合一物件的多个直方图,并利用主成分分析来减少直方图的维度。藉此,所有直方图中的信息被整合在一起。然而这个方面的缺点是,当图像中的物件被遮档住的时候,判断就会出问题。
在另一篇论文“Appearance models for occlusion handling,”Image andVision Computing,24(11),1233-43(2006)中,Senior统计每一像素以建立该外观模型。这个方法的缺点是,当该物件改变姿势的时候,关联性就会降低。在“Distinctive Image Features from Scale-Invariant Keypoints,”International Journal of Computer Vision,60(2),91-110,2004的论文中,Lowe提出一种方法称为尺度不变性特征转换(SIFT),在环境因素改变的时候,仍可解读出不受到影响而变化的重点特征。然而,SIFT法的计算量相当庞大。如果图像数据的数量大幅成长,这个方法变得不敷使用。
除此之外还有人提出分割法,将一物件分割成多个部分,然后为每一部分建立外观模型。然而对计算机而言,要能识别多个图像中互相对应的部分仍然是一大挑战。
发明内容
实施例之一,是一种物件外观模型产生方法。首先接收一物件的一图像。接着产生该图像一阶层式外观模型,该阶层式外观模型包含多个阶层,每一阶层包含一或多个节点,其中每一阶层中的节点包含该物件的信息,其详细度与阶层相关;而不同阶层的节点具有不同的详细度。
另提出一监控系统实施例,包含至少一摄影机以及一计算机。该摄影机产生一物件的至少一图像,而该计算机根据该物件的至少一图像产生该物件的一阶层式外观模型,该阶层式外观模型包含多个阶层,每一阶层包含一或多个节点,其中每一阶层中的节点包含该物件的信息,其详细度与阶层相关。不同阶层的节点具有不同的详细度。
进一步提出一物件辨识方法的实施例,用以从一堆物件中辨识一待辨识物件,其中该堆物件具有制式阶层式外观模型。接收该待辨识物件的一图像,根据该图像产生该待辨识物件的一阶层式外观模型,包含多个阶层,每一阶层包含一或多个节点,其中每一阶层中的节点包含该待辨识物件的信息,其详细度与该节点所属阶层相关;而该待辨识物件的阶层式外观模型中的不同阶层的节点具有不同的详细度。以及将该待辨识物件的阶层式外观模型与这些制式阶层式外观模型进行比较。
又提出一监控系统的实施例。至少一摄影机从一堆物件中产生至少一图像,并产生一待辨识物件的一图像。一计算机根据该至少一图像产生该堆物件的制式阶层式外观模型,根据该待辨识物件的图像产生该待辨识物件的一阶层式外观模型,以及比较该待辨识物件的阶层式外观模型与该堆物件的制式阶层式外观模型;其中该待辨识物件的阶层式外观模型及该堆制式阶层式外观模型包含多个阶层,每一阶层包含一或多个节点,其中每一阶层中的节点包含所属物件的信息,其详细度与该节点所属阶层相关;而不同阶层的节点具有不同的详细度。
附图说明
图1是一阶层式外观模型的实施例;
图2(a)是一产生阶层式外观模型的实施例流程图;
图2(b)-图2(e)是使用阶层式外观模型来辨识物件的实施例;
图3为图像中环境变化和物件的姿势改变造成的影响;
图4为实施例之一的从一物件的图像所产生的直方图;
图5为实施例之一的从一物件的图像所产生的直方图;
图6为实施例之一的从一物件产生直方图的方法;
图7为图6实施例的阶层式外观模型;
图8(a)-图8(i)为实施例中当背景光线改变时阶层式外观模型的执行结果;
图9(a)-图9(i)为实施例中当物件距离改变时阶层式外观模型的执行结果;
图10(a)-图10(g)为实施例中当摄影机视角及方向改变时阶层式外观模型的执行结果;
图11(a)-图11(j)为实施例中当物件的姿势改变时阶层式外观模型的执行结果;
图12(a)-图12(h)为实施例中区分不同物件时的阶层式外观模型的执行结果;
图13为本发明实施例之一的制式阶层式外观模型;以及
图14为安装于一建筑物的一监控系统。
【主要元件符号说明】
1400监控系统 1404计算机
1402-1~1402-5摄影机
具体实施方式
以下将搭配图示详细说明可能的实施例。通篇说明书中对于相同或类似的元件将尽可能使用相同的标号。
提出一为物件建立阶层式外观模型的方法和系统,并使用该阶层式外观模型来进行物件辨识的实施例。在本实施例中,阶层式外观模型是一种多阶层的架构,每一阶层包含该物件相关的信息,其详细度则随着不同阶层而异。阶层式外观模型是一种由详细度粗到细的渐次辨识方法。本发明的监控系统采用一或多个图像感测器来捕捉物件的图像,同时包含一计算机以进行物件的阶层式外观模型的建立、存储以及比对。
图1为一实施例的阶层式外观模型的简化示意图。一阶层式外观模型中包含多个阶层。每一阶层包含一或多个节点,各具有可代表该物件的信息。每一阶层中的节点的信息详细度随着阶层而异。换句话说,一个阶层式外观模型中不同阶层具有不同的解析度。详细度越高即代表解析度越高。如图1所示,阶层式外观模型的最高阶层为「layer 1」,包含一个节点。该layer 1中的该节点所包含的信息以最低的详细度来代表该物件。阶层式外观模型的次高阶层是「layer 2」,其中的节点详细度,略高于「layer 1」的节点。同样地,「layer 3」中的节点详细度,又再略高于「layer 2」中的节点。依此类推,该阶层式外观模型中越深的阶层,具有越高的详细度。
虽然图1中显示阶层式外观模型中的每一节点发散两个子节点。本发明不限定于此。每一阶层式外观模型中的节点也可以有好几个子节点。
图2(a)和图2(b)说明了建立阶层式外观模型和使用阶层式外观模型的实施例。图2(a)是使用阶层式外观模型建立一物件数据库的方法,而图2(b)是根据该物件数据库辨识待辨识物件的方法。
在图2(a)中,系统首先定义了一物件数据库,用以辨识一待辨识物件(202)。该系统选择该物件数据库中的一物件(204)并建立一阶层式外观模型以代表该被选择的物件(206)。该系统重复该选择(204)和建立阶层式外观模型(206)的步骤,直到物件数据库中所有的物件都被建立了阶层式外观模型(208)。最后,建立一数据库,用以存储该物件数据库中所有物件的阶层式外观模型(210)。
在图2(b)中,当该系统检测到一待辨识物件(252),该系统为该待辨识物件建立一待辨识物件的阶层式外观模型(254)。接着,该系统从物件数据库中选择一物件(256)的阶层式外观模型,与前者的阶层式外观模型进行比对(258)。如果两个阶层式外观模型的特征互相符合(260-是),则系统判断该待辨识物件就是该被选择的物件(262)。另一方面,如果两个阶层式外观模型不相符合(260-否),则该系统进一步选择下一物件(256)并重复比对的步骤(258)。直到该物件数据库所有的物件都没有找到任何符合,该系统始判断该待辨识物件并不存在于该物件数据库中(266)。
该物件数据库的定义随着特定的应用场合而不同。所谓的物件可以是人物或是任何移动物体如汽车。举例来说,如果待辨识物件定义为一个在某日某特定时间点上走出商店的人物,则该物件数据库将当日该特定时间之前进入该商店的所有人物列为比对对象。再举另一例来说,如果待辨识物件定义为一台离开车库的汽车,则该物件数据库将该汽车离开时间点之前进入车库的所有汽车列为比对对象。
在本实施例中,一阶层式外观模型具有特定数量的阶层。而阶层的数量则是根据应用场合的需要或是模拟结果来决定。如果模拟结果发现只要四个阶层的阶层式外观模型便能获得足够准确的物件辨识效果,那么就只需要实作四个阶层的阶层式外观模型。
此外,该阶层式外观模型中所包含的物件信息,不会受到环境或物件姿态改变的影响。举例来说,一个进入商站的人物,其身上的颜色分布,不太可能会在走出商店的时候改变。于是,该阶层式外观模型可将移动物体的颜色分布列纳入判断条件。值得一提的是,在不同的情境下,颜色分布以外的其他参数,例如维度,速度等,可能会更适合应用在一阶层式外观模型中。
图2(b)的步骤258中,可采用一个由粗到细的比较方法,来比较一待辨识物件的阶层式外观模型和该物件数据库中的一候选物件。更确切地说,如图2(c)所示,该系统首先比较该待辨识物件的阶层式外观模型和该候选物件的阶层式外观模型的最上层的节点(258-1)。如果最上层节点的比较结果得到一肯定值(260-1-是),表示符合,则该系统进行下一层节点的比较(258-2)。每当结束一阶层的比较,如果需要进一步比较下一阶层(260-2-是),该系统会进一步进行下一阶层的比较(258-2)。
这个由粗到细的比较法,并不需要将阶层式外观模型的所有阶层都进行比较。相对地,详细度的需求是根据特定应用场合而定。比较程序可能在某一阶层就结束。模拟分析可以协助判断实际上所需要的阶层数。举例来说,如果模拟分析告诉我们只要比较阶层式外观模型的三个阶层就能获得足够准确的结果,该系统就只需要处理三个阶层。
由于在不同的图像中,环境或是物件姿态可能会改变,因此针对相同物件的不同图像进行比较时,可能仍然无法在阶层式外观模型的每一阶层中找到理想的符合。因此,图2(d)提出一种统计方法,将可能发生的环境改变和物件姿态改变纳入考虑。更确切地说,如图2(d)所示,一监控系统比较该待辨识物件和一候选物件的阶层式外观模型的多个阶层(258-1到258-3)。在每一阶层中,该系统计算一符合机率(258-1)。然后,多个阶层的符合机率被结合在一起统计(258-4),藉此该系统可根据结合结果来判断该待辨识物件是否符合该候选物件(260)。现有的各种统计工具,例如平均值,加权总和或未加权总和,均可用来结合多个阶层的统计结果。
图2(e)是另一种物件辨识方法的实施例。一监控系统根据阶层式外观模型来比较该待辨识物件与该物件数据库中所有物件(256,258-1到258-4,及264),结合阶层式外观模型中每一阶层的符合机率,而产生该物件数据库中所有物件的结合机率(258-4),最后将该物件数据库中具有最高结合机率的物件视为该待辨识物件的辨识结果(262)。
在一方面,该阶层式外观模型中多个阶层中求得的符合机率被加总在一起,产生一候选物件的一总符合机率(图2(d)和图2(e)的258-4)。而在另一方面,不同阶层的符合机率可先被加权,之后才相加在一起(图2(d)和图2(e)的258-4)。加权的做法可让系统决定是否要强调详细度。如果详细度很重要,则在计算符合机率的时候,可指派较高的权重系数给阶层式外观模型中较深的阶层。
以下介绍一实施例。假设物件定义为人物,在一建筑物附近活动。一或多个摄影机安装在该建筑物中以监控周遭人物的活动。一计算机则连接到这些摄影机,接收捕捉到的图像以进行分析处理。当有任何活动发生时,摄影机可捕捉待辨识人物并将图像传送至计算机进行辨识。
这些摄影机可以是位于该建筑物的不同位置,所以捕捉到的图像会具有不同的光线条件。这些摄影机也可能从不同的距离和角度拍到同一个图像。除此之外,人物会改变位置和姿势,造成多个图像之间的差异。图3显示了同一个人的五对图像,包含了上述所有可能的变化差异。图3最顶端的一对图像302,为由不同距离拍摄的同一人的两张图像。图3左边那对图像304,为不同光线条件的两张图像。图3左下角的那对图像306,为不同视角的两张图像。而最后两对图像308和310,则显示了人物改变姿势的情形。
阶层式外观模型可以从改变环境条件的图像中辨识物件。尤其是阶层式外观模型所用的物件参数,例如人物,其实并不会随着环境而有太大的变异。如图3所示。举例来说,人物外观的相对颜色分布,并不会因为背景光,摄影机视角,摄影机距离或人物姿势而改变。因此,以下的例子采用颜色分布来当成参数以建立一阶层式外观模型。然而值得注意的是其他的参数也可能适合用来建立阶层式外观模型,依据应用的场合为何而定。
在建立该阶层式外观模型之前,该计算机首先要确认并解读出目标物件,例如,在这个例子中,可用消去法将具有该人物的图像减去不具有该人物的图像。这个程序又称为背景消去法,属于已知技术。值得注意的是目标物件不见得一定要完整地出现在图像中。目标物件可以只有一部分出现在画面上,例如只有一个人的脸部。接下来假设目标物件是一完整的人物为例来说明。
该计算机随后根据该人物的色彩分布而建立一阶层式外观模型。如同已知技术,图像中的一像素的颜色,可以用很多种方式来表达。举例来说,最常见的就是RGB格式,以红绿蓝三原色的值来组成一像素。HSV格式也很常见,是由色调(hue),饱和度(saturation)和亮度(value)为参数来呈现一个像素。除此之外,每一像素也具有强度(intensity)。对于黑色画面来说,只需要强度就能描述每一像素的颜色。不论是用哪一种方法来呈现色彩,一个物件可由一或多个参数来描述。
该计算机首先为每一描述图像颜色的参数产生一组直方图。藉此,对于纯黑白画面,只会有一组直方图。如果该图像是彩色画面,则会产生一组以上的直方图。
每一组直方图包含多个不同详细度的直方图。图4显示出不同的区间宽度可以得到不同的直方图。考虑像素的强度为例,整个强度范围可以区分为两个子范围,而产生一第一直方图1-1,包含两个区间,对应至两个子范围。进一步地,该第一直方图1-1的其中一区间再切割为两半,可产生一第二直方图2-1。同样地,第一直方图1-1的另一区间切割为两半,产生一第三直方图2-2。依此类推地,更多的直方图,例如图4所示的3-1,3-2,3-3,3-4,可依序从直方图2-1和2-2的分割中生。随着区间宽度的缩减,图像的详细度也越来越高。
本发明的实施例所建立的阶层式外观模型,可将直方图视为该阶层式外观模型中的节点。以图4为例,一阶层式外观模型可将直方图1-1当成最上阶层的节点。而直方图2-1和2-2则是第二阶层的节点。直方图3-1,3-2,3-3和3-4是第三阶层的节点,以下类推。换句话说,阶层式外观模型的树状结构和图4的直方图相同。
虽然图4的例子显示每一直方图在进入下一阶层时分裂为二,但是值得注意的是区间的分割可以更细,使每一直方图分割为超过两个子直方图,换句话说每一阶层的节点可以具有超过两个子节点。
在本实施例中,每一参数各产生一组直方图,用以描述该图像。而一阶层式外观模型则根据这些直方图而建立。于是,一个图像可由多个参数来描述,进而建立多个阶层式外观模型。另一种做法是,将多种不同参数的所有的直方图结合成单一阶层式外观模型。举例来说,如果所有的直方图具有如图4所示的相同结构,则可以整合在一起建立单一阶层式外观模型,其中每一节点包含多个直方图,各代表该图像的一种参数。图5的实施例显示了一个阶层式外观模型中的节点包含四个直方图,各对应四种不同的参数。
一物件的一阶层式外观模型中的每一节点可存储对应的一或多个直方图的完整信息。另一个做法是,该阶层式外观模型中的每一节点只存储没有被母节点存储的信息。举例来说,以图4为例,该阶层式外观模型中包含直方图2-1的节点,其实不需要存储虚线部分所示的区间信息。只有区间a和b的信息是需要被存储的。除此之外,该阶层式外观模型中的每一节点只需要存储用来产生新区间的分割点和区间宽度。以图4为例,该阶层式外观模型中的节点包含直方图2-2,只需要记载用来分割区间a和区间b的分割点d,以及区间a和区间b的高度。
在一方面来说,每一直方图中的区间具有相同宽度。而在另一方面来说,每一直方图中的区间宽度可以不同,例如图4和图5所示。图6显示了一种可动态调整区间宽度的直方图。
在图6中,一图像具有7x7=49个像素。其中一参数是强度,具有数值1到9。在第一直方图中,整个范围的参数根据强度的平均数而被切为两个子范围,即3.8。所以,第一直方图包含两个区间,第一个区间标示为0,代表强度小于3.8的所有像素数量。相对地,第二个区间标示为1,代表强度大于3.8的所有像素数量。如图6所示,该两个区间的大小各别24和25。
根据平均值将一范围分割为子范围的步骤依此类推地递回进行,以产生多个子直方图。在强度低于3.8的24个像素中,平均值为2.17,所以范围1到3.8被切成两个子范围:1-2.17和2.17-3.8。其对应的子直方图(未图示)是将该24个像素分类至上述两个子范围中。同样地,对于强度高于3.8的那一半,平均值是5.76。所以范围3.8-9被分为两个子范围:3.8-5.76和5.76-9。藉此,可以将25个像素分别归类至两个对应的子直方图(未图示)。虽然图6显示了一个直方图,但是其他可能的直方图可以依此类推。
根据图6的实施例所产生的直方图,可用来建立一图像强度阶层式外观模型。图7进一步显示基于图6而产生的阶层式外观模型。该阶层式外观模型中的每一节点存储对应直方图中所有像素的平均值。最顶层的节点存储平均值M1=3.8。在第二阶层中,第一个节点存储平均值M2-1=2.17,而另一节点存储另一平均值M2-2=5.76。
在某一方面来说,该阶层式外观模型中的每一节点存储一像素比值,例如该直方图中的像素数量相对全部总像素数量。举例来说,图6的第一直方图显示了49个像素,所以该阶层式外观模型的第一阶层的节点存储一像素比值W-1=1。而第二直方图显示强度低于3.8的像素有24个,所以第二阶层的节点存储一像素比值W2-1=24/49=0.4898。同样地,图7中该阶层式外观模型的节点,存储了对应该第三直方图的一像素比值,W-2-2=0.5102。
同样地,如果该图像使用多个参数来表达该图像,一阶层式外观模型中的每一节点可包含每一参数的平均值和对应的像素比值。
该阶层式外观模型中每一节点的平均值和像素比值的计算方式如下。首先,平均值M1为该图像中所有像素的一参数的平均值,而W1=1。R1代表该图像中所有像素的集合。接着,对该阶层式外观模型中的节点i(i>1),定义Ri集合如下:
其中|Ri|代表属于Ri集合的像素数量。藉此,该阶层式外观模型建立时,节点1,2,......i可扩展到子节点2i和2i+1。
由于该阶层式外观模型系基于颜色分布而建立,所以对于背景光线,拍摄距离,拍摄视角和物件姿态的变化有免疫能力,不受影响。
举例来说,图8(a)-8(e)为同一个人物在不同背景光线下拍摄的五张图像。更确切地说,背景光的强度,在图8(a)到图8(b)之间增加了20%,在图8(a)到图8(c)之间增加了80%,在图8(a)到图8(d)之间减少了20%,而在图8(a)到图8(e)之间减少了40%。从图8(a)到图8(e)可产生五个阶层式外观模型。而图8(f)到图8(g)则代表该阶层式外观模型的第二阶层中两个节点的像素亮度对应的平均值和像素比值。图8(h)到图8(i)则代表该阶层式外观模型的第三阶层中四个节点的像素亮度对应的平均值和像素比值。图8(f)到图8(i)中的标记a,b,c,d和e相对地代表图8(a)到图8(e)中所计算出来的数值。图8(f)到图8(g)中的标记1和2相对地代表该阶层式外观模型的第二阶层中的两个节点。图8(h)到图8(i)中的标记1,2,3和4相对地代表该阶层式外观模型的第三阶层中的四个节点。
如图8(f)到图8(h)所示,因为背景光在图8(a)到图8(e)之间有变化,平均值和强度值均不相同。然而,如图8(g)和图8(i)所示,像素比值反应了低于或高于平均值的相对像素数量,不论背景光大小均保持相对恒定。所以基于该亮度强度为参数的阶层式外观模型不受到亮光变化的影响,可以得到可靠的辨识结果。
图9(a)-9(i)为本发明实施例中当物件大小,例如拍摄距离改变时阶层式外观模型的执行结果。更确切地说,图9(a)到图9(e)显示同一人物在不同距离下拍摄的图像。人物的大小,从图9(a)到图9(b)下降了20%,从图9(a)到图9(c)下降了80%,从图9(a)到图9(d)上升了20%,而从图9(a)到图9(e)上升了80%。从图9(a)到图9(e)可产生五个阶层式外观模型。而图9(f)和图9(g)对应地表示该阶层式外观模型的第二阶层中两个节点的像素亮度平均值和画值比值。图9(h)和图9(i)对应地表示该阶层式外观模型的第三阶层中四个节点的像素亮度平均值和画值比值。图9(f)到图9(i)中的标记a,b,c,d和e相对地代表图9(a)到9(e)中所计算出来的数值。图9(f)到图9(g)中的标记1和2相对地代表该阶层式外观模型的第二阶层中的两个节点。图9(h)到图9(i)中的标记1,2,3和4相对地代表该阶层式外观模型的第三阶层中的四个节点。
如图9(f)到图9(i)所示,虽然人物大小在每个图像中并不相同,亮度的平均值和像素比值仍然相对地维持恒定。因此,基于亮度强度为参数的阶层式外观模型对于大小变化不敏感,可以在物件改变大小的情况下继续提供可靠的辨识结果。
本发明的阶层式外观模型对于视角改变或是画面旋转方向也具有抵抗力。图10(a)-图10(g)为本发明实施例中当摄影机旋转方向时阶层式外观模型的执行结果。具体地说,图10(a)到图10(c)为同一人物拍摄了三张不同的角度。图10(d)和10(e)相对地显示了根据图10(a)到图10(c)产生的阶层式外观模型的第二阶层中两个节点的像素亮度平均值和画值比值。图10(f)和图10(g)对应地表示该阶层式外观模型的第三阶层中四个节点的像素亮度平均值和画值比值。图10(d)到图10(g)中的标记a,b和c相对地代表图10(a)到图10(c)中所计算出来的数值。图10(d)到图10(e)中的标记1和2相对地代表该阶层式外观模型的第二阶层中的两个节点。图10(f)到图10(g)中的标记1,2,3和4相对地代表该阶层式外观模型的第三阶层中的四个节点。
如图10(d)到10(g)所示,虽然视角已经改变,但是亮度平均值和像素比值维持相对恒定,因此,该阶层式外观模型对视角的转动有抵抗力。
图11(a)-图11(j)为本发明实施例中当物件的姿势改变时阶层式外观模型的执行结果。图11(a)至11(f)显示了同一人物在不同姿势下拍摄的六张图像。于是产生了六个阶层式外观模型。图11(g)和图11(h)相对地显示了根据图11(a)到图11(f)产生的阶层式外观模型的第二阶层中两个节点的像素亮度平均值和画值比值。图11(i)和图11(j)对应地表示该阶层式外观模型的第三阶层中四个节点的像素亮度平均值和画值比值。图11(g)到图11(j)中的标记a,b,c,d,e和f相对地代表图11(a)到图11(f)中所计算出来的数值。图11(g)到图11(h)中的标记1和2相对地代表该阶层式外观模型的第二阶层中的两个节点。图11(i)到图11(j)中的标记1,2,3和4相对地代表该阶层式外观模型的第三阶层中的四个节点。
如图11(g)到11(j)所示,虽然该物件的姿态已经改变,但是亮度平均值和像素比值保持相对恒定。所以本发明的阶层式外观模型对于物件姿态的改变具有抵抗力。
图12(a)-图12(h)为本发明实施例中当物件为不同人物时阶层式外观模型的执行结果。图12(a)至12(d)显示了四个不同人物在不同姿势下拍摄的四张图像。于是产生了四个阶层式外观模型。图12(e)和12(f)相对地显示了根据图12(a)到图12(d)产生的阶层式外观模型的第二阶层中两个节点的像素亮度平均值和画值比值。图12(g)和图12(h)对应地表示该阶层式外观模型的第三阶层中四个节点的像素亮度平均值和画值比值。图12(e)到图12(h)中的标记a,b,c和d相对地代表图12(a)到图12(d)中所计算出来的数值。图12(e)到图12(f)中的标记1和2相对地代表该阶层式外观模型的第二阶层中的两个节点。图12(g)到图12(h)中的标记1,2,3和4相对地代表该阶层式外观模型的第三阶层中的四个节点。
如图12(e)到12(h)所示,不同物件产生的图像,会具有不同的平均值和像素比值。因此本发明的阶层式外观模型可以很轻易地分辨不同的物件。
本发明还提供一方法,结合一物件的多个图像来产生一制式阶层式外观模型(Uniform HAM),可更有效率地分辨一物件的属性,如图13所示。如果一物件具有多个图像,则可各别据以建立多个阶层式外观模型,表示为AM1,AM2,......AMN。这些阶层式外观模型可接着以逐节点结合或逐阶层结合的方式整合起来,产生一新的,制式的阶层式外观模型(制式阶层式外观模型)。该制式阶层式外观模型中的每一阶层或每一节点包含用来描述这些图像的参数的一统计模型。
举例来说,在根据亮度计算出当该平均值和像素比值之后,该阶层式外观模型中的每一节点包含两个数字,即对应的平均值和像素比值,如图13所示。每一阶层中对应的每一节点的平均值和像素比值接着被结合起来以建立一统计模型,例如高斯混合模型(Gaussian Mixture Model)。该高斯混合模型为一多维度模型,可代表一物件的多个元件或参数。因此,与其采用多个阶层式外观模型各别描述各参数分布,本实施例取而代之是采用单一的制式阶层式外观模型,使用高斯混合模型来描述一物件的多种属性。该制式阶层式外观模型的每一阶层包含一高斯混合模型,用以描述每一阶层的多个节点。基于应用的场合,该制式阶层式外观模型中的一阶层中的每一节点可包含一或多个高斯混合模型的元素。在辨识元件的程序中,一待辨识物件的阶层式外观模型中一阶层的多个节点被拿来分析,以判断是否符合一候选物件的制式阶层式外观模型中对应阶层的高斯混合模型。
图2(b)至2(e)中显示的不同的辨识程序,也可以应用在使用制式阶层式外观模型的系统中。当该系统采用如高斯混合模型的一统计模型时,每一阶层中参数的符合机率(图2(d)和图2(e)的258-3)可以直接通过高斯混合模型求得。
值得注意的是,本发明的制式阶层式外观模型并不限定是采用高斯混合模型。任何统计模型均可用来结合多个图像以描述一物件的属性。
当多个参数,例如HSV和亮度,被用来描述这些图像时,一辨识程序使用每一参数为物件数据库中的每一候选物件计算符合机率,如图2(e)所示。在一方面,如果一物件的所有参数均具有最高符合机率,则该待辨识物件被判断为符合该候选物件。然而,如果该物件数据库中不同物件在不同参数上具有最高符合机率,则可判断该物件数据库中不存在此待辨识物件。在另一方面来说,每一候选物件的多个参数的符合机率可进一步结合起来产生一总机率,而该物件数据库中具有最高总机率的候选物件,则可以视为是该待辨识物件的符合物件。
虽然上述的例子已说明了计算待辨识物件与候选物件之间符合机率的方法,但是本领域技术人员应该知道本发明并不限定于任何特定的方法。各种现今存在的统计工具均可适用于使用阶层式外观模型的系统,来辨识待辨识物件。
为了提供一物件的多个图像来建立一制式阶层式外观模型,一系统可采用一或多个摄影机来连续或同时捕捉多个图像。多个摄影机各自安装在建筑物的不同位置,可在物件移动的时候捕捉图像,或是结合上述各种方式来捕捉图像。举例来说,图14为安装于一建筑物(未标号)的一监控系统1400。该监控系统1400包含多个摄影机1402-1,1402-2,1402-3,1402-4和1402-5,各自具有捕捉一或多个图像的能力。该监控系统1400亦包含一计算机1404,连接这些摄影机1402-1,1402-2,1402-3,1402-4和1402-5,用以收集并处理捕捉到的图像,以建立并比对阶层式外观模型。
虽然本发明以优选实施例说明如上,但可以理解的是本发明的范围未必如此限定。相对地,任何基于相同精神或对本发明所属领域技术人员为显而易见的改良均在本发明涵盖范围内。因此权利要求书必须以最广义的方式解读。
Claims (61)
1.一种物件外观模型产生方法,包含:
接收一物件的一图像;以及
产生该图像的一阶层式外观模型,该阶层式外观模型包含多个阶层,每一阶层包含一或多个节点,其中每一阶层中的节点包含该物件的信息,其详细度与阶层相关;而不同阶层的节点具有不同的详细度。
2.如权利要求1所述的物件外观模型产生方法,其中产生该阶层式外观模型的步骤包含,从该图像中将每一节点所包含的不同详细度的信息解读出来,并将解读出来的信息存储在这些节点中。
3.如权利要求2所述的物件外观模型产生方法,进一步包含:
接收该物件的附加图像;以及
其中产生该阶层式外观模型的步骤进一步包含,从附加图像中解读出每一节点所包含的信息,并将解读出来的信息存储在这些节点中。
4.如权利要求1所述的物件外观模型产生方法,其中每一节点包含该物件多种属性的信息。
5.如权利要求4所述的物件外观模型产生方法,其中这些多种属性包含颜色和亮度。
6.如权利要求1所述的物件外观模型产生方法,其中:
产生该阶层式外观模型的步骤包含:查出用以描述该物件的一参数;以及对该阶层式外观模型的每一节点,根据该参数产生一直方图,其中该直方图的区间宽度与该节点的详细度有关;以及
产生该直方图的步骤包含计算该参数的一平均值,并根据该平均值定义该直方图的区间宽度。
7.如权利要求6所述的物件外观模型产生方法,进一步包含:
接收该物件的多个附加图像;其中:
产生该阶层式外观模型的步骤包含:查出描述该物件的一参数;以及对该阶层式外观模型的每一节点,根据该参数产生该附加图像的多个直方图,其中这些直方图的区间宽度与该节点的详细度有关;以及
产生该阶层式外观模型的步骤包含各别存储这些节点的直方图于各别的节点中。
8.如权利要求7所述的物件外观模型产生方法,其中:
产生该阶层式外观模型的步骤包含,对每一节点:结合该节点所属的多个直方图;以及将结合结果存储于该节点;
为一阶层的每一节点结合直方图的步骤包含,根据该阶层中为所有节点产生的直方图,产生一高斯混合模型;以及
存储结合结果的步骤包含,存储该高斯混合模型于该阶层。
9.如权利要求1所述的物件外观模型产生方法,其中该阶层式外观模型的每一节点包含物件的多种属性的信息,而产生该阶层式外观模型的步骤包含,为该阶层式外观模型的每一节点的每一属性产生一直方图,其中该直方图的区间宽度与该节点的详细度有关。
10.如权利要求1所述的物件外观模型产生方法,进一步包含:
接收多个附加物件的图像;以及
为这些附加物件各别产生一附加阶层式外观模型。
11.一种监控系统,包含:
至少一摄影机,用以产生一物件的至少一图像;以及
一计算机,用以根据该物件的至少一图像产生该物件的一阶层式外观模型,该阶层式外观模型包含多个阶层,每一阶层包含一或多个节点,其中每一阶层中的节点包含该物件的信息,其详细度与阶层相关;而不同阶层的节点具有不同的详细度。
12.如权利要求11所述的监控系统,其中该计算机从该至少一图像将每一节点所包含的不同详细度的信息解读出来,并将解读出来的信息存储在这些节点中。
13.如权利要求11所述的监控系统,其中每一节点包含该物件多种属性的信息。
14.如权利要求13所述的监控系统,其中这些多种属性包含颜色和亮度。
15.如权利要求11所述的监控系统,其中该至少一摄影机产生该物件的多个图像,其中,对该阶层式外观模型的每一节点而言,该计算机从这些图像中解读出具有该节点的详细度的信息,并将这些信息存储至该节点中。
16.如权利要求11所述的监控系统,其中:
该计算机查出用以描述该物件的一参数;
对该阶层式外观模型的每一节点,该计算机根据该参数产生一直方图,其中该直方图的区间宽度与该节点的详细度有关;以及
该计算机计算该参数的一平均值,并根据该平均值定义该直方图的区间宽度。
17.如权利要求11所述的监控系统,其中:
该至少一摄影机产生该物件的多个图像;
该计算机查出描述该物件的一参数;
对该阶层式外观模型的每一节点,该计算机根据该参数产生这些图像的多个直方图;其中这些直方图的区间宽度与该节点的详细度有关;以及
该计算机各别存储这些节点的直方图于各别的节点中。
18.如权利要求17所述的监控系统,其中:
对该阶层式外观模型中的每一节点,该计算机结合该节点所属的多个直方图,并将结合结果存储于该节点;以及
该计算机为一阶层的每一节点结合直方图的步骤包含,该计算机根据该阶层中为所有节点产生的直方图产生一高斯混合模型,并存储该高斯混合模型于该阶层。
19.如权利要求11所述的监控系统,其中:
该计算机存储该物件的多种属性的信息于该阶层式外观模型的每一节点;以及
该计算机为该阶层式外观模型的每一节点的每一属性产生该物件的该至少一图像的一直方图,其中每一直方图的区间宽度与该节点的详细度有关。
20.一种物件辨识方法,用以从一堆物件中辨识一待辨识物件,其中该堆物件具有制式阶层式外观模型,该物件辨识方法包含:
接收该待辨识物件的一图像;
根据该图像产生一待辨识物件的阶层式外观模型,包含多个阶层,每一阶层包含一或多个节点,其中每一阶层中的节点包含该待辨识物件的信息,其详细度与该节点所属阶层相关;而该待辨识物件的阶层式外观模型中的不同阶层的节点具有不同的详细度;以及
将该待辨识物件的阶层式外观模型与这些制式阶层式外观模型进行比较。
21.如权利要求20所述的物件辨识方法,其中:
该堆物件中的每一制式阶层式外观模型包含多个阶层,每一阶层包含一或多个节点;
每一阶层中的节点包含该物件的信息,其详细度与阶层相关,而不同阶层的节点具有不同的详细度;以及
该待辨识物件的阶层式外观模型的每一阶层对应该堆制式阶层式外观模型的其中一阶层。
22.如权利要求21所述的物件辨识方法,其中将该待辨识物件的阶层式外观模型与该堆物件的阶层式外观模型进行比较的步骤包含:将该待辨识物件的阶层式外观模型中的阶层与这些制式阶层式外观模型的对应阶层进行比较。
23.如权利要求22所述的物件辨识方法,其中这些制式阶层式外观模型的每一阶层包含一统计模型,用以描述具有对应详细度的物件,其中将该待辨识物件的阶层式外观模型与该堆物件的阶层式外观模型进行比较的步骤包含,判断该待辨识物件的阶层式外观模型的一阶层是否与这些制式阶层式外观模型中对应阶层的统计模型一致。
24.如权利要求23所述的物件辨识方法,其中该统计模型为一高斯混合模型。
25.如权利要求23所述的物件辨识方法,其中判断该待辨识物件的阶层式外观模型的一阶层是否与这些制式阶层式外观模型中对应阶层的统计模型一致的步骤包含:针对该堆物件的其中一个,根据该待辨识物件的阶层式外观模型中的一阶层的信息,以及该堆物件中的一物件的制式阶层式外观模型中对应的阶层的统计模型,计算一符合机率
26.如权利要求25所述的物件辨识方法,其中比较的步骤包含:
为多个对应阶层返覆计算该符合机率;以及
结合这些对应阶层的符合机率。
27.如权利要求26所述的物件辨识方法,其中结合符合机率的步骤包含:将这些对应阶层的符合机率相加。
28.如权利要求26所述的物件辨识方法,其中结合符合机率的步骤包含:计算这些对应阶层的符合机率的一加权总和。
29.如权利要求21所述的物件辨识方法,其中比较该待辨识物件的阶层式外观模型与这些制式阶层式外观模型的步骤包含:
比较该待辨识物件的阶层式外观模型的一第一阶层与该堆物件中的一第一物件的制式阶层式外观模型中对应的一第一阶层;以及
如果该待辨识物件的阶层式外观模型的一第一阶层符合该制式阶层式外观模型中对应的一第一阶层,比较该待辨识物件的阶层式外观模型的一第二阶层与该第一物件的制式阶层式外观模型中对应的一第二阶层,其中该待辨识物件的阶层式外观模型的一第二阶层和该制式阶层式外观模型中第二阶层所对应的信息的详细度,高于该待辨识物件的阶层式外观模型的第一阶层和该制式阶层式外观模型中第一阶层所对应的信息的详细度。
30.如权利要求21所述的物件辨识方法,进一步包含:根据该待辨识物件的阶层式外观模型中的多个阶层与该堆物件中的一物件的制式阶层式外观模型中对应阶层的符合情形,判断该待辨识物件是否符合该堆物件中的该物件。
31.如权利要求21所述的物件辨识方法,其中比较该待辨识物件的阶层式外观模型与这些制式阶层式外观模型的步骤包含:比较该待辨识物件的阶层式外观模型与这些阶层式外观模型中的对应阶层;该待辨识物件辨识方法进一步包含:
根据这些制式阶层式外观模型与该待辨识物件的阶层式外观模型中对应阶层的比较结果在统计上的结合结果,判断该待辨识物件是否符合该堆物件中之一。
32.如权利要求20所述的物件辨识方法,其中该待辨识物件的阶层式外观模型和这些制式阶层式外观模型各包含所属物件的多种属性的信息,而其中比较该待辨识物件的阶层式外观模型与这些制式阶层式外观模型的步骤包含,使用该待辨识物件的阶层式外观模型和该堆物件中的一物件的制式阶层式外观模型,来比较该待辨识物件和该堆物件中的该物件的每一项属性。
33.如权利要求32所述的物件辨识方法,进一步包含:如果该待辨识物件的所有属性均符合该堆物件中的一物件,则判断该待辨识物件符合该堆物件中的该物件。
34.如权利要求32所述的物件辨识方法,进一步包含:结合该待辨识物件与该堆物件中的一物件的所有属性的比较结果,来判断该待辨识物件是否符合该堆物件中的该物件。
35.如权利要求30所述的物件辨识方法,其中产生该待辨识物件的阶层式外观模型的步骤包含,针对该待辨识物件中的每一节点:
从该待辨识物件的图像中解读出具有对应详细度的信息;以及
将解读出的信息存储至该节点。
36.如权利要求20所述的物件辨识方法,其中产生该待辨识物件的阶层式外观模型的步骤包含:
查出用以描述该待辨识物件的一参数;以及
针对该阶层式外观模型的每一节点,使用该参数产生该待辨识物件的一图像的一直方图;其中该直方图的区间宽度与该节点的详细度有关。
37.如权利要求36所述的物件辨识方法,其中产生该直方图的步骤包含,计算该参数的一平均值,并根据该平均值定义该直方图的区间宽度。
38.如权利要求20所述的物件辨识方法,其中该待辨识物件的阶层式外观模型中的每一节点包含该待辨识物件的多种属性的信息,而其中产生该待辨识物件的阶层式外观模型的步骤包含,针对每一节点,为该待辨识物件的图像的各项属性产生一直方图,其中该直方图的区间宽度与该节点的详细度有关。
39.一种监控系统,包含:
至少一摄影机,用以从一堆物件中产生至少一图像,并产生一待辨识物件的一图像;以及
一计算机,用以根据该至少一图像产生该堆物件的制式阶层式外观模型,根据该待辨识物件的图像产生该待辨识物件的一阶层式外观模型,以及比较该待辨识物件的阶层式外观模型与这些制式阶层式外观模型;其中该待辨识物件的阶层式外观模型及这些制式阶层式外观模型包含多个阶层,每一阶层包含一或多个节点,其中每一阶层中的节点包含所属物件的信息,其详细度与该节点所属阶层相关;而不同阶层的节点具有不同的详细度。
40.如权利要求39所述的监控系统,其中,针对该堆物件中的一物件的制式阶层式外观模型中的每一节点,该计算机从该至少一图像中解读出具有对应详细度的信息,并将解读出来的信息存储至该节点。
41.如权利要求39所述的监控系统,其中该堆物件中的一物件的制式阶层式外观模型中的每一节点,包含该物件的多种属性的信息
42.如权利要求39所述的监控系统,其中:
该至少一摄影机产生该堆物件中的一物件的多个图像;
针对该物件的制式阶层式外观模型中的每一节点,该计算机从这些图像中解读出具有该节点的详细度的该物件的信息,并将解读出来的信息存储至该节点。
43.如权利要求39所述的监控系统,其中:
该计算机查出描述该堆物件的一参数;
针对该堆物件中的一物件的制式阶层式外观模型中的每一节点,该计算机根据该参数产生该至少一图像的一直方图;以及
这些直方图的区间宽度与该节点的详细度有关。
44.如权利要求43所述的监控系统,其中该计算机根据该参数判断一平均值,并根据该平均值定义该直方图的区间宽度。
45.如权利要求39所述的监控系统,其中:
该至少一摄影机产生该堆物件中的一物件的多个图像;
该计算机查出一参数,用以描述该物件;
针对该物件的制式阶层式外观模型中的每一节点,该计算机根据该参数产生该物件的多个图像的多个直方图;以及
每一直方图的区间宽度与该节点的详细度有关。
46.如权利要求45所述的监控系统,针对该堆物件中的一物件的制式阶层式外观模型的每一节点,该计算机结合为该节点产生的所有直方图,并将结合结果存储至该节点中。
47.如权利要求45所述的监控系统,该计算机为该堆物件中的一物件的制式阶层式外观模型的一阶层的每一节点结合直方图的步骤包含,该计算机根据该阶层中为所有节点产生的直方图产生一高斯混合模型,并存储该高斯混合模型于该阶层。
48.如权利要求39所述的监控系统,其中:
该计算机该堆物件中的一物件的多种属性的信息存储于该物件的制式阶层式外观模型的每一节点中;以及
针对该堆物件中的一物件的制式阶层式外观模型中的每一节点,该计算机为该物件的该至少一图像的每一属性产生一直方图,其中每一直方图的区间宽度与该节点的详细度有关。
49.如权利要求48所述的监控系统,其中该计算机使用待辨识物件的阶层式外观模型和该堆物件中的一物件的制式阶层式外观模型,来比较该待辨识物件与该物件的每一项属性。
50.如权利要求49所述的监控系统,其中如果该待辨识物件符合该堆物件中的一物件的所有属性,该计算机判断该待辨识物件符合该物件。
51.如权利要求49所述的监控系统,其中该计算机结合该待辨识物件与该堆物件中的一物件的所有属性的比较结果,判断该待辨识物件是否符合该物件。
52.如权利要求39所述的监控系统,其中该计算机比较待辨识物件的阶层式外观模型和这些制式阶层式外观模型中对应的阶层。
53.如权利要求52所述的监控系统,其中:
该堆物件中每一物件的制式阶层式外观模型中的每一阶层包含一统计模型,用以描述具有对应详细度的物件;
该计算机将该待辨识物件的阶层式外观模型与该堆物件的阶层式外观模型进行比较的步骤包含,判断该待辨识物件的阶层式外观模型中的一阶层是否与这些制式阶层式外观模型中对应阶层的统计模型一致。
54.如权利要求53所述的监控系统,其中该统计模型为一高斯混合模型。
55.如权利要求53所述的监控系统,其中该计算机判断该待辨识物件的阶层式外观模型中的一阶层是否与这些制式阶层式外观模型中对应阶层的统计模型一致的步骤包含:针对该堆物件的其中一个,根据该待辨识物件的阶层式外观模型中的一阶层的信息,以及该堆物件中的一物件的制式阶层式外观模型中对应的阶层的统计模型,计算一符合机率
56.如权利要求55所述的监控系统,其中:
该计算机为该待辨识物件的阶层式外观模型和该堆物件中的一物件的制式阶层式外观模型中的多个对应阶层反复计算该符合机率,并结合这些对应阶层的符合机率。
57.如权利要求56所述的监控系统,其中该计算机将这些对应阶层的符合机率相加,以结合这些符合机率。
58.如权利要求56所述的监控系统,其中该计算机计算这些对应阶层的符合机率的一加权总和,以结合这些符合机率。
59.如权利要求39所述的监控系统,其中该计算机比较该待辨识物件的阶层式外观模型与该堆物件其中的一物件的制式阶层式外观模型时:
该计算机比较该待辨识物件的阶层式外观模型的一第一阶层与该堆物件中的一第一物件的制式阶层式外观模型中对应的一第一阶层;以及
如果该第一待辨识物件的阶层符合该制式阶层式外观模型第一阶层,则该计算机比较该待辨识物件的阶层式外观模型的一第二阶层与该第一物件的制式阶层式外观模型中对应的一第二阶层,其中该待辨识物件的阶层式外观模型第二阶层和该制式阶层式外观模型第二阶层所对应的信息的详细度,高于该待辨识物件的阶层式外观模型第一阶层和该制式阶层式外观模型第一阶层所对应的信息的详细度。
60.如权利要求39所述的监控系统,其中该计算机根据该待辨识物件的阶层式外观模型中的多个阶层与该堆物件中的一物件的制式阶层式外观模型中对应阶层的符合情形,判断该待辨识物件是否符合该堆物件中的该物件。
61.如权利要求60所述的监控系统,其中该计算机根据该堆物件中的一物件的制式阶层式外观模型与该待辨识物件的阶层式外观模型中对应阶层的比较结果在统计上的结合结果,判断该待辨识物件是否符合该堆物件中的该物件。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/327,031 | 2008-12-03 | ||
US12/327,031 US8422781B2 (en) | 2008-12-03 | 2008-12-03 | Methods and systems for creating a hierarchical appearance model |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101751556A true CN101751556A (zh) | 2010-06-23 |
CN101751556B CN101751556B (zh) | 2013-04-17 |
Family
ID=40591862
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009101459358A Active CN101751556B (zh) | 2008-12-03 | 2009-06-11 | 物件外观模型产生方法、物件辨识方法以及监控系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8422781B2 (zh) |
EP (1) | EP2194487B1 (zh) |
JP (1) | JP4975801B2 (zh) |
CN (1) | CN101751556B (zh) |
TW (1) | TWI421797B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102902704A (zh) * | 2011-07-26 | 2013-01-30 | 索尼公司 | 信息处理设备、短语输出方法和程序 |
CN104714976A (zh) * | 2013-12-17 | 2015-06-17 | 阿里巴巴集团控股有限公司 | 数据处理方法及设备 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8266168B2 (en) * | 2008-04-24 | 2012-09-11 | Lexisnexis Risk & Information Analytics Group Inc. | Database systems and methods for linking records and entity representations with sufficiently high confidence |
JP2010278724A (ja) * | 2009-05-28 | 2010-12-09 | Olympus Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
KR101129328B1 (ko) * | 2010-03-03 | 2012-03-26 | 광주과학기술원 | 타겟 추적 장치 및 방법 |
TWI599964B (zh) * | 2010-09-03 | 2017-09-21 | 國立台灣科技大學 | 手指靜脈辨識系統與方法 |
JP6509762B2 (ja) * | 2016-03-03 | 2019-05-08 | 日本電信電話株式会社 | 物体領域特定方法、装置、及びプログラム |
US11651621B2 (en) | 2019-10-23 | 2023-05-16 | Samsung Electronics Co., Ltd. | Electronic device and method for controlling the electronic device |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60142788A (ja) * | 1983-12-29 | 1985-07-27 | Hitachi Ltd | パターン認識における特微量評価方法および装置 |
JPS63298523A (ja) * | 1987-05-29 | 1988-12-06 | Ricoh Co Ltd | クラスタリング法による2進木構造辞書の作成方式 |
US6002807A (en) * | 1996-01-11 | 1999-12-14 | Northrop Grumman Corporation | Rotationally invariant correlator |
GB2359971A (en) * | 1999-11-18 | 2001-09-05 | Anthropics Technology Ltd | Image processing system using hierarchical set of functions |
US6826292B1 (en) * | 2000-06-23 | 2004-11-30 | Sarnoff Corporation | Method and apparatus for tracking moving objects in a sequence of two-dimensional images using a dynamic layered representation |
US6973201B1 (en) * | 2000-11-01 | 2005-12-06 | Koninklijke Philips Electronics N.V. | Person tagging in an image processing system utilizing a statistical model based on both appearance and geometric features |
US7200270B2 (en) * | 2001-12-13 | 2007-04-03 | Kabushiki Kaisha Toshiba | Pattern recognition apparatus and method using distributed model representation of partial images |
US7113185B2 (en) * | 2002-11-14 | 2006-09-26 | Microsoft Corporation | System and method for automatically learning flexible sprites in video layers |
US7246745B2 (en) * | 2004-02-27 | 2007-07-24 | Evolution Robotics Retail, Inc. | Method of merchandising for checkout lanes |
JP4605445B2 (ja) * | 2004-08-24 | 2011-01-05 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
DE602006017977D1 (de) * | 2005-03-17 | 2010-12-16 | British Telecomm | Verfolgen von objekten in einer videosequenz |
JP2006350498A (ja) * | 2005-06-14 | 2006-12-28 | Fujifilm Holdings Corp | 画像処理装置および方法並びにプログラム |
US7720257B2 (en) * | 2005-06-16 | 2010-05-18 | Honeywell International Inc. | Object tracking system |
CN1924928A (zh) * | 2005-08-30 | 2007-03-07 | 美国西门子医疗解决公司 | 自动食管分割的概率最小路径 |
US7949186B2 (en) * | 2006-03-15 | 2011-05-24 | Massachusetts Institute Of Technology | Pyramid match kernel and related techniques |
JP4842197B2 (ja) * | 2007-04-17 | 2011-12-21 | 財団法人ソフトピアジャパン | 多重分割画像を用いた異常動作検出装置、異常動作検出方法及び異常動作検出用プログラム |
-
2008
- 2008-12-03 US US12/327,031 patent/US8422781B2/en active Active
- 2008-12-19 EP EP08254068A patent/EP2194487B1/en active Active
-
2009
- 2009-04-30 TW TW098114357A patent/TWI421797B/zh active
- 2009-06-11 CN CN2009101459358A patent/CN101751556B/zh active Active
- 2009-12-01 JP JP2009273547A patent/JP4975801B2/ja active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102902704A (zh) * | 2011-07-26 | 2013-01-30 | 索尼公司 | 信息处理设备、短语输出方法和程序 |
CN102902704B (zh) * | 2011-07-26 | 2017-06-16 | 索尼公司 | 信息处理设备、短语输出方法 |
CN104714976A (zh) * | 2013-12-17 | 2015-06-17 | 阿里巴巴集团控股有限公司 | 数据处理方法及设备 |
CN104714976B (zh) * | 2013-12-17 | 2018-08-24 | 阿里巴巴集团控股有限公司 | 数据处理方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
TW201023102A (en) | 2010-06-16 |
EP2194487B1 (en) | 2011-06-01 |
TWI421797B (zh) | 2014-01-01 |
US20100135530A1 (en) | 2010-06-03 |
JP4975801B2 (ja) | 2012-07-11 |
US8422781B2 (en) | 2013-04-16 |
CN101751556B (zh) | 2013-04-17 |
JP2010134927A (ja) | 2010-06-17 |
EP2194487A1 (en) | 2010-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101751556B (zh) | 物件外观模型产生方法、物件辨识方法以及监控系统 | |
US8139852B2 (en) | Color classification method, color recognition method, color classification apparatus, color recognition apparatus, color recognition system, computer program, and recording medium | |
Broggi et al. | Real time road signs recognition | |
Recky et al. | Windows detection using k-means in cie-lab color space | |
CN102867417B (zh) | 一种出租车防伪系统及方法 | |
CN108629319B (zh) | 图像检测方法及系统 | |
CN106919910B (zh) | 一种基于hog-cth组合特征的交通标志识别方法 | |
US8831357B2 (en) | System and method for image and video search, indexing and object classification | |
CN110096981A (zh) | 一种基于深度学习的视频大数据交通场景分析方法 | |
CA2502529A1 (en) | Model of documents and method for automatically classifying a document | |
CN104143077B (zh) | 基于图像的行人目标检索方法和系统 | |
CN104077605A (zh) | 一种基于颜色拓扑结构的行人搜索识别方法 | |
CN110889398A (zh) | 一种基于相似度网络的多模态图像能见度检测方法 | |
CN104573685A (zh) | 一种基于线性结构提取的自然场景文本检测方法 | |
CN102915433A (zh) | 基于字符组合的车牌定位和识别方法 | |
CN105678318B (zh) | 交通标牌的匹配方法及装置 | |
CN111681259A (zh) | 基于无Anchor机制检测网络的车辆跟踪模型建立方法 | |
CN107659799A (zh) | 摄像装置、图像处理方法和存储介质 | |
CN106971397A (zh) | 基于改进jseg算法的城市高分辨率遥感影像分割方法 | |
CN113888754A (zh) | 一种基于雷达视觉融合的车辆多属性识别方法 | |
CN112749741B (zh) | 一种基于深度学习的手闸紧固故障识别方法 | |
CN116665305A (zh) | 基于计算机视觉和知识图谱的工人行为检测方法和系统 | |
CN110969135A (zh) | 自然场景中的车标识别方法 | |
CN109919973A (zh) | 基于多特征联合的多视角目标关联方法、系统及介质 | |
CN109325946A (zh) | 一种危险化学品堆垛监测方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |