CN101388077A - 目标形状检测方法及装置 - Google Patents
目标形状检测方法及装置 Download PDFInfo
- Publication number
- CN101388077A CN101388077A CNA2007101487560A CN200710148756A CN101388077A CN 101388077 A CN101388077 A CN 101388077A CN A2007101487560 A CNA2007101487560 A CN A2007101487560A CN 200710148756 A CN200710148756 A CN 200710148756A CN 101388077 A CN101388077 A CN 101388077A
- Authority
- CN
- China
- Prior art keywords
- point
- detected
- shape
- target
- target shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20156—Automatic seed setting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20168—Radial search
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Abstract
本发明提供一种目标形状检测和跟踪方法,包括步骤:接收待检测图像,在待检测图像中设定检测区域,并在检测区域中生成多个采样点;沿预定方向对采样点进行延拓,并通过计算获得在延拓方向上的边缘点;根据获得的边缘点,构造待检测形状的候选边缘,并基于构造的候选边缘针对待测形状的特征点进行投票操作;对投票操作结果进行统计,以确定是否存在投票峰值;在存在所述投票峰值的情况下,确定存在与待检测形状对应的特征点。
Description
技术领域
本发明涉及一种目标形状检测和跟踪方法及装置,特别是,涉及检测和识别诸如交通形状之类的具有一定形状轮廓的移动目标,以及能够在检测出相应形状后,通过对该形状的搜索范围进行限定从而跟踪目标形状的方法及装置。
背景技术
诸如形状之类的目标检测是机器视觉的一项重要任务。随着计算机和电子技术的快速发展,对具有一定形状轮廓的移动目标的检测和识别,特别是对交通标识的检测和识别的研究和开发日益受到重视。交通标识的自动识别是智能交通技术中的重要组成部分。准确地识别诸如交通标识之类的目标能够有效降低交通事故发生的几率,增强汽车的安全性。另外,识别交通标识可以向驾驶员提供更多驾驶信息,舒缓疲劳,提供更加舒适的驾车和乘车环境。
在交通标识的自动识别过程中,如何高效准确地识别出道路场景中存在的各种交通标识是该研究的关键和难点之一。借助跟踪的方法可以有效地提高交通标识的识别率和系统的运行效率。
自动目标检测和跟踪是视频分析和理解的基本步骤之一,同时又是视觉监控的重要研究内容。如何有效地对视频序列中感兴趣的目标进行有效的检测和跟踪是计算机视觉领域中的一个主要课题。根据摄像机的状态视频进行目标检测和跟踪的问题可以分为两类,即,假设摄像机相对于背景被固定安置,或者摄像机处于运动状态。在后一种情况下,由于背景、目标均可能处于移动状态,而无法在前景目标与背景之间建立模型,检测、和跟踪的难度较大。
图1示出了由摄像头拍摄的道路交通的一帧视频场景的示意图。在现有技术中,可以通过图像边缘的灰度变化,利用已有的边缘化算法,提取出图像中包含的各种图形的边缘。如果这些图形中包含要检测的形状,可以通过检测形状的边缘得到相应形状的图案。
移动目标的识别和跟踪面临着多种困难。例如,目标在移动过程中可能受其它移动物体的干扰,其它物体的遮挡和阴影的干扰,来自各种光源的反光和强光照射使目标变得不清晰,目标移动过程中尺度、角度上的变化,以及距目标距离较远时目标成像模糊等等。目形状别算法往往不能保证较高的目标检测和识别率,结合目标跟踪算法可以有效的提高系统效率和提供识别率。
日本专利申请公开No.JP2004—240801(专利文献1)揭示了一种使用人工muck的智能型系统的自己位置识别装置和方法以及使用该装置和方法的智能型系统。日本专利申请公开No.JP2004—332258(专利文献2)揭示了一种形状检测装置及形状检测方法。这两篇专利文献主要采用CONDENSATION(条件概率密度传播,也即粒子滤波)的跟踪方法。该方法首先在一定的区域内选择具有不同权重的粒子,并通过运动模型预测这些粒子的可能的运动位置,然后对每个粒子添加一定的随机位移量。此后,通过模版匹配、颜色等各种特征量度量粒子在新位置的权重。权重大的粒子进行分裂,权重小的粒子则衰亡。最终通过对所有粒子的统计分析计算目标可能的位置。
尽管该类方法具有多目标跟踪的能力,而且可以解决非线性的动态模型问题,效率较高的优点。然而,该方法也存在一些问题。例如,对交通形状的跟踪问题,一方面无法采用较为简单的粒子权重计算方法(模版匹配或者颜色模型等无法采用)。另一方面则由多个粒子计算目标的真实位置存在一定的困难。
日本专利申请公开No.JP2005—100997(专利文献3)揭示了一种通过局部边缘特性的似然计算,推定边缘模型的跟踪位置的技术。专利文献3所公开的方法如下:1.确定跟踪对象的边缘模型;2.将边缘模型投影到输入画面;3.在边缘模型的投影的局部区域,检测输入画面的边缘点,并使之组织化;4.通过组织化的参数,进行似然计算;5.通过多个似然的组合推定跟踪位置和跟踪形状;6.更新边缘模型。然后,该方法重复从步骤2起的过程。
然而,该方法存在下列问题。首先,该方法完全以边缘图像为前提条件,因此很难用于低画质的图像。另外,在边缘模型的投影位置和输入图像的边缘分布之间,需要紧密接触的关系。然而,在车载摄影图像的情况下,道路状况和运行状态等变化很多,所以不能保证这种关系。此外,似然计算和模型的更新等对非刚体有优点。然而,在刚体的情况下,局部边缘特征少,所以很难进行正确的似然计算。
中国专利申请No.200610105667.3(专利文献4)揭示了一种检测图像的几何形状的方法及装置。专利文献4所揭示的方法是通过对边缘点进行投票以计算正多边形的中心来检出特定形状的目标。该专利文献提供了两个重要的发明点:对投票边缘点的方向加以区分,进而降低了目标的误检率,并可以同时检出多个具有多边形轮廓的目标;通过对非正多边形的分解,综合多边形多个内切圆的圆心检出结果,实现对非正多边形的检测。然而,专利文献4揭示的技术目前尚存在以下问题:需要对边缘点分别进行处理,存在着多个方向的边缘可以杂凑出虚假目标的可能性,导致误检增多。另一方面,由于边缘点投影与中心点累积操作较为耗时,该专利文献提供的算法的运行效率较低。
然而,结合目标跟踪的方法则可以避免以上的问题,消除杂凑虚假目标并提升系统效率。
发明内容
鉴于现有技术中存在的问题,提出了本发明。本发明的目的是提供一种目标形状检测方法及装置。该方法和装置能够有效地检测诸如交通形状之类具有一定形状轮廓的移动目标形状,并且能够在检测出相应形状后,通过对该形状的搜索范围进行限定从而对形状进行跟踪。
根据本发明的一个方面,提供一种目标形状检测和跟踪方法,包括步骤:接收待检测图像,在待检测图像中设定检测区域,并在检测区域中生成多个采样点;沿预定方向对所述多个采样点进行延拓,并通过计算获得延拓方向上的边缘点;根据获得的边缘点,构造待检测形状的候选边缘,并基于构造的候选边缘针对待测形状的特征点进行投票操作;对投票操作结果进行统计,以确定是否存在投票峰值,在存在所述投票峰值的情况下,确定存在与待检测形状对应的特征点。
根据本发明的另一个方面,提供一种目标形状检测和跟踪装置,包括:采样点确定单元,用于在待检测的图像或视频数据中设定检测区域,并在确定的区域中生成多个采样点;边缘点产生单元,用于根据检测区域中确定的所述多个采样点,沿预定方向对所述多个采样点进行延拓,并并进行计算以获得采样点在延拓方向的边缘点,利用所获得的边缘点构造待检测形状的候选边缘;形状特征点确定单元,用于基于构造的候选边缘针对待测形状的特征点进行投票操作;和目标形状确定单元,用于统计投票操作结果,以确定是否存在投票峰值,在存在所述投票峰值的情况下,确定存在与待检测形状对应的特征点。
根据本发明的方法和装置可以在复杂的背景模型下检测出诸如标识之类的目标形状,而与摄像机的状态无关,并且具有较高的稳定的效率和鲁棒性。
附图说明
通过下面结合附图说明本发明的优选实施例,将使本发明的上述及其它目的、特征和优点更加清楚,其中:
图1示出了由摄像头拍摄的、包含有目标形状的一帧画面的示意图;
图2a至2d示出了对正三角形目标进行检测的过程的示意图;
图3是根据本发明以三角形为实例进行检测目标的流程图;
图4示出了对四边形目标进行延拓的延拓方向的示意图;
图5a和5b示出了对圆形目标进行检测的过程的示意图;
图6a和6b示出了对五边形目标进行检测的过程的示意图;
图7示出了任意多边形骨架交叉点的示意图;和
图8是根据本发明实施例检测任意多边形目标形状的流程图;
图9是根据本发明一个实施例的图像目标检测装置的方框图。
具体实施方式
下面参照附图对本发明的实施例进行详细说明,在描述过程中省略了对于本发明来说是不必要的细节和功能,以防止对本发明的理解造成混淆。
第一实施例(三角形检测和跟踪)
为了便于理解本发明,首先以正三角形为例描述检测和跟踪正三角形的过程。为了简化起见,可以假设正三角形的底边在上方,且处在水平方向。图2a至2d示出了在t和t+1时刻对正三角形目标进行检测和跟踪的过程。
可以假设要检测的正三角形在给定的t时刻图像当前帧中的目标所在位置为pt(x,y),在t+1时刻帧中的目标可能出现的位置位于一个w×h矩形盒R内。其中w表示矩形框R的宽度,h表示矩形盒R的高度。矩形框R只需要给出目标大致可能出现的区域,而不需要明确的运动模型或计算概率分布。矩形框R的大小主要影响采样点的数量和跟踪的效率。另外,检测区域的形状不限于矩形,也可以是其它形状。应该指出,t+1时刻的图像帧与t时刻的图像帧可以是不同的两帧视频图像,也可以是同一帧视频图像。这对本发明的检测结果没有任何影响。
为了检测和跟踪上述正三角形,可以设定检测和跟踪三角形的预定区域,即假设待检测的正三角形处在所设定的区域中。应该指出,该预定区域的大小可以根据诸如计算能力或对计算时间的限制等之类因素的而改变。为了检测该预定区域中是否具有该正三角形,可以在该预定区域中按照一定的间距针对正三角形设置采样点,如图2b所示。采样点的间距可以是等间距,也可以根据具体要求而改变。例如,间距可以是非等距的,而不会改变根据本发明的检测方法得到的检测结果。
在确定预定区域中的采样点后,对每个采样点进行相同的操作。下面针对一个采样点进行描述。由于假设待检测的图形为正三角形,其底边在上,且处在水平方向,例如,以图2c中所示的正三角形中的任意采样点p为例,可以使采样点在与正三角形底边垂直的方向延拓(直线La所示方向),以便在该延拓方向上寻找边缘点。根据本发明,延拓是指,例如,已知某点P,从该点P沿方向Q作射线,沿该射线进行延伸的过程定义为P点在Q方向上的延拓,其中方向Q即为延拓方向。可以理解,可以在采样点p的延拓方向上找到许多边缘点。由于图像边缘的灰度具有明显的变化,可以通过边缘算子找到相应的边缘点。同样,采样点p可以在与正三角形的另外两条边垂直的方向延拓(例如,直线Lb和Lc的方向),并得到相应的边缘点。可以理解,根据采样点p在延拓方向的边缘点,可以在与延拓方向垂直的方向构造出待检测形状相应的边。这样,根据在三个延拓方向所得到的边缘点构造的边可以构成不同的三角形,如图2d所示。
对于所构造出的多个三角形,可以选择能够指示三角形特征的特征点进行投票。三角形的投票特征点是三角形内的一点,该点具有唯一性。依据采样点在多个延拓方向上获取的边缘点可以计算出投票特征点的位置。因此,为了运算简便,三角形的投票特征点通常选择为三角形的垂心或者重心等具有一定对称性的点。
根据得到的边缘点构造出不同的三角形之后,对于本例中给出的正三角形,可以基于采样点针对不同三角形的中心处进行投票。由于所构造出的三角形的是不同的,其中心所在位置也是不同的。因此一个采样点可以针对其所构造的不同三角形的中心进行投票。如果对预定区域中的每个采样点进行如上所述的操作,可以理解,落在三角形内部的每个采样点在相应方向进行延拓的过程中会遇到该三角形真正的边缘点。虽然还不能确定延拓方向的边缘点中的哪些边缘点是待检测三角形的真正边缘点,通过对这些边缘点的边构成的三角形中心的位置投票,会在待检测的真正正三角形的中心位置产生投票峰值。由于其它边缘点的位置是随机的,其对虚拟的三角形中心的投票结果产生的是类似于背景噪声之类的图形,而不可能产生投票峰值。根据投票产生的峰值点找到待检测三角形的中心后,根据上述投票特征点的特性,可以构造真正的三角形图形,从而检测出该正三角形形状。可以理解,如果没有产生投票峰值,则表明在该预定区域中没有待检测的目标形状。
为了确定投票操作中产生的峰值,可以假定投票峰值的阈值为Th。对预定区域R进行均匀采样,如图2b所示,如果落在目标区域内的采样点数量不低于Th*a,则表明产生了投票峰值,其中a为损耗系数。通常,依据视频图像质量,可以a的取值在0.4<a<=0.8范围,即可获得满意的结果。
对于一般的三角形,为了确定采样点的延拓方向,可以假设目标三角形三边的角度分别为θ1,θ2,θ3,则采样点的延拓方向角度为θ1-90,θ2-90,θ3-90,即每个采样点具有三个延拓方向,分别与目标三角形三边垂直,如图2c所示。在此,目标三角形三边的角度是指三角形的三条边或其延迟线与水平方向的夹角。
对每个采样点沿其延拓方向进行延拓,计算每个方向上可能存在的边缘点,并记入对应列表。可以假定采样点pt(x,y)在三个方向上分别存在边缘点A,B,和C,与采样点的距离分别是La,Lb,Lc,如图2c所示。通过获得的边缘点,构造待检测形状的候选边缘,并基于构造的候选边缘针对待测形状的特征点进行投票操作。
此后,对投票矩阵进行统计,获取投票峰值位置。如果该峰值超出阈值Th,则可以认定在候选区域内确实存在对应的特征点。通过合理地设置阈值Th,考虑到投票随机噪声通常远小于真实目标产生的峰值,可以从噪声中可靠地检出真实目标三角形。依据产生投票峰值的边缘点A,B,和C,以及产生投票峰值的特征点(例如,三角形的中心)可以构造目标三角形ΔA′B′C′,如图2d所示。
在该方法中,在对每个采样点进行延拓时需要计算其边缘点。当候选区域R较小时,可以首先针对该区域计算其边缘图像,延拓时直接读取边缘强度信息。反之,当候选区域R较大时,计算整个区域的边缘图像将导致效率低下,而沿延拓方向计算边缘可以节省运算量。提高算法的效率。
从以上过程可以看出,由于直接基于灰度图像数据对每个采样点进行处理,而不需要对整幅图像或者候选区域进行处理,并且每个采样点的处理过程一致,因此该算法的效率依赖于采样点的数量。通过合理地估计目标在下一帧视频中的候选区域和投票阈值,可以有效地控制系统的运行效率。试验表明,采用汽车上安装的摄像装置跟踪真实环境中的日文标识Tomale,采样点数量设定大约为600个至1000个,在主频为1.8G,内存为512M的个人计算机的环境下,跟踪一帧大约耗时15毫秒,达到了实时跟踪和处理目标标识的要求。
可以理解,虽然上面以典型的正三角形为例描述了检测三角形形状的过程,但本发明不限于此。例如,如前所述,采样点延拓方向上的边缘点可以针对三角形的垂心、重心之类的其它特征点进行投票,并依据相应的三角形的特征点检测出三角形图形。同样,该方法也可以应用于对诸如正五边形之类的正多边形进行检测和跟踪。
例如,可以针对由在三角形三条边中点、分别与三条边垂直延伸的垂线的交点构成的重心进行投票,得到相应的投票峰值,确定出重心,并根据重心到三角形三条边的距离构造作为真实目标的三角形。由此可以将本发明的方法推广到对任意形状三角形的检测和跟踪。
图3示出了检测三角形形状流程。首先,在步骤S31,从采集的图像或视频数据中确定采样点。可以依据目标的大小对目标可能存在的区域均匀采样。可以依据诸如图像质量、目标大小之类的因素确定采样点的间隔。应该指出,采样范围是要被检测或跟踪的目标可能位于的区域。可以通过先验知识获取该区域,也可通过概率分布密度函数估计得到该区域。另外,采样区域可由一个或者多个子区域组成。在利用先验知识不易获取或者运动估计不易计算时也可以通过粗略估计得到采样点。在没有先验知识或者目标的运动不可估计时,也可以将整个画面作为采样区域。对该方法而言,需要保证待检测或跟踪的目标位于采样区域内,较大的采样区域只影响效率,对鲁棒性和检测跟踪的准确率影响较小。获得的边缘点,构造待检测形状的候选边缘,并基于构造的候选边缘针对待测形状的特征点进行投票操作
此后,在步骤S32,沿预定方向对采样点进行延拓,并获得采样点在延拓方向的边缘点。根据采样点在延拓方向的边缘点,可以在与延拓方向垂直的方向构造出候选边缘,并基于构造的候选边缘确定待检测形状的特征点。另外,也可以基于构造的候选边缘生成进行投票操作的投票图形。接下来,在步骤S33,采样点针对确定的特征点,或生成的投票图形的特征点进行投票峰值。形状特征点是携带待检测目标形状的特征信息的点。例如,三角形的中心,重心等反映三角形形状的点可以作为形状特征点。形状特征点可以是形状边缘点,也可以是符合某种自定义的计算方式。由于携带的是部分边缘信息量,因此可能存在虚假的形状信息点。通过投票计算,多个真实的形状信息点可能恢复出目标的全部形状信息。最后,在步骤S34,对投票操作的结果进行统计,以确定是否存在投票峰值。如上所述,通过投票操作,会在真正形状的特征点所在位置产生投票峰值。基于该投票峰值可以确定存在与待检测形状对应的特征点,并且可以根据该特征点检测出目标形状。每个采样点针对特征点只进行一次投票。
应该指出,虽然上面以三角形为例描述了三角形轮廓形状的目标形状检测流程,可以理解,上述目标形状检测方法不限于三角形,而是可以应用于其它形状,例如,四边形,圆形,或多边形等等。
第二实施例(四边形检测)
下面以四边形为例描述检测四边形形状的过程。为了简单起见,在此省略与三角形的检测和跟踪方法相同部分的说明,只描述与三角形形状目标的跟踪方法的不同之处。
图4示出了对规则四边形目标形状进行延拓的延拓方向的示意图。四边形目标形状检测过程中的采样点可以具有4个延拓方向。四个延拓方向可以与组成四边形的四条边垂直。不失一般性,可以假设目标四角形四边的角度分别为θ1,θ2,θ3,θ4,则采样点的延拓方向角度为θ1-90,θ2-90,θ3-90,θ4-90。就是说,每个采样点的四个延拓方向分别与目标四角形四边垂直,如图4所示。这些采样点在其延拓方向的边缘点可以针对凸四边形的特征点进行投票操作。对于凸四边形,其特征点可以是对角线的交叉点。检测到凸四边形的对角线的交点之后,可以根据四边形的边缘,或交叉点到各边的距离恢复出真实的四边形形状。
在投票操作中,基于落在待检测目标内部的采样点进行的投票操作在对角线的交叉点产生投票峰值,而基于落在待检测目标外部的采样点进行的投票操作所组成的规则四边形是随机,不会产生投票峰值,而只有真正的待检测目标会产生投票峰值,由此可以检测和跟踪四边形目标。
第三实施例(圆形检测)
下面参考图5a和5b描述圆形轮廓目标的检测和跟踪方法。对于圆形而言,如果针对每个采样点在垂直方向进行延拓,那么由于采样点的位置不同,通过其产生的边缘点的候选边的方向是不同的。
对于圆形目标,每个采样点可以固定沿4个延拓方向。为了计算方便,通常选择0,90,180,和270度四个延拓方向,如图5(a)所示。应该指出,本发明不限于此,每个采样点也可以沿8个方向或16个方向延拓。在沿8个方向延拓的情况下,延拓方向可以分别是0,45,90,135,180,225,270,和315度,如图5(b)所示。同样,如果沿16个方向进行延拓,可以按照将360度等分成16个方向进行延拓。
可以理解,采样点在其延拓方向上会遇到边缘点,这些边缘点具有方向性。考虑每个采样点沿边缘点所在处圆弧的切线方向针对作为特征点的圆心进行投票操作。这种情况下,目标圆形内部的采样点在目标图形真正的圆心处会产生投票峰值,由此可以检测出目标圆形。
第四实施例(多边形检测)
下面以五边形为例,对多边形目标的检测和跟踪方法进行描述。图6a和6b示出了针对五边形目标的检测和跟踪方法。五边形形状的检测方法与上述跟踪方法有所不同,这主要是由于以下两方面的原因。
1.五边形的采样点需要计算五个延拓方向,计算量较大,而且落在目标内部的采样点在延拓方向上可能与某些多边形的某些边无法相交在一起,这样无法通过延拓方向上的边缘点构造五边形的信息,这些采样点称为无效采样点。
2.随着多边形的边数增加,无效采样点的数量将急剧增加。
解决该问题的一种方法是将多边形划分为多个线段组,最终对检测的结果进行融合处理。
如图6所示,五边形分为三个边缘线段组AB,CD,EA;AB,BC,CD和CD,DE,EA,三个边缘线段组分别对应于内切圆O1,O2和O3。结合第二实施例中描述的针对四边形的检测方法,基于采样点分别向这些圆心投票,最终根据三个圆心处的投票结果综合判定候选区域是否存在待检测的五边形形状。
以上描述了三角形、四边形、五边形、和圆形等形状目标的检测和跟踪过程。在边数不超过五边的情况下,采样点的延拓方向为多边形各个边的垂直方向,延拓方向的数量即为多边形的边数。
然而,在多边形的边数较多时,采用这种方法会导致效率降低。这种情况下,有效采样点的数量减少,依据处理五边形目标的思路,可以对多边形进行划分和组合,将形状划分为多个局部区域,对局部区域的中心点进行跟踪和投票,最终融合分析多个局部中心点的投票数量,判定目标的确定位置。可以对多边形采取内切圆的方法划分形状,以内切圆的圆心作为采样点的投票中心,将分多边形划分为多个局部投票区域。
形状骨架可以从数学形态学的角度严格定义。有关形状骨架的说明,可以参考崔屹编写的《图像处理与分析——数学形态学方法及其应用》(科学出版社,2000年出版)。具体地讲,形状骨架由形状中所有最大内切圆的圆心组成,最大内切圆本身完全包含于形状,且不包含于形状中的任意其它圆的子集,它至少与形状边界相切于两点。形状骨架反映了形状的基本特征。对于闭合的线段组合形状,以其骨架交叉点为圆心的最大内切圆能够尽可能多地与形状中的线段相切(至少三条),这些交叉点充分包含了待检测的目标形状的几何信息。因此,可以通过选取骨架交叉点所对应的最大内切圆圆心作为局部投票中心,划分局部区域。图7示出了骨架交叉点的示意图。其中的细线是四边形的形状骨架,圆点表示多条骨架线的交点,被称作骨架交叉点。
综合五边形目标的检出过程,可以得到任意多边形形状的目标检出和跟踪过程。该方法同时还可以扩展为某些组合形状目标的检测与跟踪过程中,如圆弧与多边形结合等形状。
图8示出了根据本发明实施例检测任意多边形形状目标的流程。首先,步骤S81,对组成多边形的边进行分解,例如,可以分解成直线段和曲线段的形状。在步骤S82,检测直线段组合所确定的内切圆及圆心,然后利用内切圆与其余曲线段间的几何关系验证曲线段是否存在。此后,在步骤S83,从组成多边形的边中确定采样点。接下来,在步骤S84,对采样点进行延拓,从而确定边缘点。基于确定的边缘点生成待检测形状的候选边缘,并由候选边缘确定与待检测形状对应的特征点,或产生对应于待检测形状的投票图形。此后,在步骤S85,基于所确定的特征点,或选取的采样点针对产生的投票图形的特征点进行投票操作,并找出投票峰值。在步骤S86,根据特征点的投票峰值构造出待测目标图形的局部图形的线段组。对多个线段组的投票结果进行融合处理。最后,在步骤S87,利用在步骤S86检测的线段组,组成要检测的目标形状。
应该指出,为了建立每一个采样点与投票点之间的关系,需要将采样点沿多个方向延拓,以获取边缘点,进而通过这些边缘点计算可能的候选形状的投票点。延拓方向的数量可以固定,也可以不固定。固定延拓方向数量的情况适用于多边形检测或跟踪,如对三角形目标而言,延拓方向可以有三个,分别与三角形的三边垂直方向。对四边形目标而言,延拓方向可以有四个,分别与四边形的四边垂直的方向。对任意多边形目标而言,通过对多边形的内接圆形状分解,可以在骨架交叉点处投票。
不固定延拓方向数量的适应范围较小,但是具有较强的针对性,计算简单,由于延拓方向少,效率较高。固定延拓方向数量的方向适应范围大,但针对性弱,计算量较大。
下面参考图9描述本发明的目标形状检测和跟踪装置的配置实施例。如图9所示,根据本实施例,目标形状检测和跟踪装置包括图像采集单元91、采样点确定单元92,边缘点产生单元93,形状特征点确定单元94,目标图形确定单元95,和结果显示/提醒单元95。
图像采集单元91采集序列图像或者视频信号,并提供给采样点确定单元92。采样点确定单元92从采集的图像或视频数据中设定检测区域,并确定该区域中的采样点。采样点确定单元92可以依据待检测和跟踪的目标形状的大小对目标可能存在的区域均匀采样,并将采样点提供给边缘点产生单元93。可以依据诸如图像质量、目标大小之类的因素确定采样点的间隔。
边缘点产生单元93根据在预定区域中确定的采样点,沿预定方向对采样点进行延拓,并通过计算得到采样点在延拓方向的边缘点。另外,边缘点产生单元93利用在延拓方向产生边缘点构造待检测形状的候选边缘。另外,也可以通过候选边缘生成进行投票操作的投票图形。形状特征点确定单元94根据边缘点产生单元93产生的候选边缘或投票图形来确定待检测形状的特征点。在此,形状特征点是携带待检测目标形状的特征信息的点。例如,三角形的中心,重心等反映三角形形状的点可以作为形状特征点,或反映其它形状的特征的特征点。形状特征点可以是形状边缘点,也可以是符合某种自定义的计算方式。由于携带的是部分边缘信息量,因此可能存在虚假的形状信息点。通过投票计算,多个真实的形状信息点可能恢复出目标的全部形状信息。目标图形确定单元95基于构造的候选边缘或投票图形针对待测形状的特征点进行投票操作。通过投票操作,会在真正形状的特征点所在位置产生投票峰值。如果存在针对形状特征点的投票峰值,则可以确定存在真正的待检测形状的特征点。可以根据检测出的形状特征点构造待检测的目标形状,并将检测出目标形状提供给结果显示/提醒单元96,并通过显示/提醒单元96告知使用者有关识别结果的信息。
根据本发明,能够在检测出相应的目标形状后,通过对该形状的搜索范围进行限定从而达到跟踪形状的目的。根据本发明的目标检测和跟踪方法及装置,对遮挡、干扰或者边缘模糊具有较强的鲁棒性,图像遮挡部分或者收到干扰的部分仅影响部分采样点的投票结果。
另外,本发明直接基于灰度图像的处理方法,不针对待识别区域作整图的增强去噪或者求边缘的处理,仅计算采样点延拓方向上的边缘点,因此具有较高的效率和较强的鲁棒性。
此外,本发明的方法具有较高的灵活性,可以依据边缘点的延拓方向动态地选择合适的边缘滤波算子计算边缘点恢复多边形。由于每个采样点至少需要计算三个以上的延拓方向,由延拓方向上边缘点恢复候选目标轮廓,减少了由于杂凑出现虚假目标的现象
至此已经结合优选实施例对本发明进行了描述。本领域技术人员应该理解,在不脱离本发明的精神和范围的情况下,可以进行各种其它的改变、替换和添加。因此,本发明的范围不应该被理解为被局限于上述特定实施例,而应由所附权利要求所限定。
Claims (14)
1.一种目标形状检测和跟踪方法,包括步骤:
接收待检测图像,在待检测图像中设定检测区域,并在检测区域中生成多个采样点;
沿预定方向对所述多个采样点进行延拓,并通过计算获得延拓方向上的边缘点;
根据获得的边缘点,构造待检测形状的候选边缘,并基于构造的候选边缘针对待测形状的特征点进行投票操作;
对投票操作结果进行统计,以确定是否存在投票峰值,在存在所述投票峰值的情况下,确定存在与待检测形状对应的特征点。
2.根据权利要求1所述的方法,其中所述采样点的延拓方向分别与组成待检测目标形状的各个边垂直。
3.根据权利要求1所述的方法,其中所述采样点在沿360度等分的方向的延拓。
4.根据权利要求1所述的方法,进一步包括根据检测出的特征点,确定与所述特征点对应的目标形状的步骤。
5.根据权利要求1所述的方法,其中预定区域中所述多个采样点之间的间距相同。
6.根据权利要求1所述的方法,其中预定区域中所述多个采样点之间的间距可以不同。
7.根据权利要求1所述的方法,其中预定区域可以包括多个子区域。
8.根据权利要求1所述的方法,进一步包括针对构造待检测目标形状的边缘的局部图形的线段组的特征点进行投票操作,以检测出待检测目标形状的局部形状的线段组的步骤。
9.根据权利要求8所述的方法,进一步包括针对不同的局部图形的线段组的特征点进行投票操作,以检测出待检测目标形状的所述不同局部形状的线段组,并对检测出的不同局部形状的线段组进行组合以构成要检测的目标形状。
10.根据权利要求1所述的方法,其中在待检测目标形状是三角形的情况下,所述特征点是三角形的垂心或重心。
11.根据权利要求1所述的方法,其中当待检测目标形状是凸四边形时,所述特征点是所述凸四边形的对角线的交点。
12.一种目标形状检测和跟踪装置,包括:
采样点确定单元,用于在待检测的图像或视频数据中设定检测区域,并在确定的区域中生成多个采样点;
边缘点产生单元,用于根据检测区域中确定的所述多个采样点,沿预定方向对所述多个采样点进行延拓,并进行计算以获得采样点在延拓方向的边缘点,利用所获得的边缘点构造待检测形状的候选边缘;
形状特征点确定单元,用于基于构造的候选边缘针对待测形状的特征点进行投票操作;和
目标形状确定单元,用于统计投票操作结果,以确定是否存在投票峰值,在存在所述投票峰值的情况下,确定存在与待检测形状对应的特征点。
13.根据权利要求12所述的目标形状检测装置,其中所述特征点是携带待检测目标形状的特征信息的点。
14.根据权利要求12所述的目标形状检测装置,进一步包括结果显示/提醒单元,用于将所述检测的目标形状通知使用者。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2007101487560A CN101388077A (zh) | 2007-09-11 | 2007-09-11 | 目标形状检测方法及装置 |
PCT/JP2008/002505 WO2009034709A1 (ja) | 2007-09-11 | 2008-09-10 | 画像処理装置及び画像処理方法 |
CN2008801040314A CN101785028B (zh) | 2007-09-11 | 2008-09-10 | 图像处理装置和图像处理方法 |
EP08830919A EP2189944A1 (en) | 2007-09-11 | 2008-09-10 | Image processing device and image processing method |
JP2008557542A JP4856197B2 (ja) | 2007-09-11 | 2008-09-10 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2007101487560A CN101388077A (zh) | 2007-09-11 | 2007-09-11 | 目标形状检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101388077A true CN101388077A (zh) | 2009-03-18 |
Family
ID=40451729
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2007101487560A Pending CN101388077A (zh) | 2007-09-11 | 2007-09-11 | 目标形状检测方法及装置 |
CN2008801040314A Expired - Fee Related CN101785028B (zh) | 2007-09-11 | 2008-09-10 | 图像处理装置和图像处理方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008801040314A Expired - Fee Related CN101785028B (zh) | 2007-09-11 | 2008-09-10 | 图像处理装置和图像处理方法 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP2189944A1 (zh) |
JP (1) | JP4856197B2 (zh) |
CN (2) | CN101388077A (zh) |
WO (1) | WO2009034709A1 (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101882312A (zh) * | 2010-06-07 | 2010-11-10 | 河南理工大学 | 数字图像中基于基元表示的多边形检测方法 |
CN103383729A (zh) * | 2013-05-27 | 2013-11-06 | 中国农业大学 | 行列排列目标的定位方法及系统 |
CN104331876A (zh) * | 2014-10-09 | 2015-02-04 | 北京配天技术有限公司 | 直线检测、图像处理的方法及相关装置 |
CN104933397A (zh) * | 2014-03-18 | 2015-09-23 | 元智大学 | 图像描述及其图像识别方法 |
CN105069454A (zh) * | 2015-08-24 | 2015-11-18 | 广州视睿电子科技有限公司 | 图像识别的方法及装置 |
CN105957114A (zh) * | 2016-05-09 | 2016-09-21 | 北京小米移动软件有限公司 | 对图像中多边形进行检测的方法及装置 |
CN106355744A (zh) * | 2016-08-24 | 2017-01-25 | 深圳怡化电脑股份有限公司 | 一种图像识别方法及装置 |
CN106706656A (zh) * | 2017-03-14 | 2017-05-24 | 杭州汇萃智能科技有限公司 | 一种基于机器视觉的拉链检测装置及方法 |
CN107256377A (zh) * | 2012-09-12 | 2017-10-17 | 威智伦富智堡公司 | 用于检测视频中的对象的方法、设备和系统 |
CN108764344A (zh) * | 2018-05-29 | 2018-11-06 | 北京物灵智能科技有限公司 | 一种基于边缘识别卡片的方法、装置及存储设备 |
CN108960252A (zh) * | 2018-06-01 | 2018-12-07 | 广西大学 | 一种二维图像中任意曲线的圆弧表示及检测方法 |
CN109557533A (zh) * | 2018-11-28 | 2019-04-02 | 中国人民解放军国防科技大学 | 一种基于模型的联合跟踪与识别方法 |
CN110060270A (zh) * | 2019-04-25 | 2019-07-26 | 宁锐慧创信息科技南京有限公司 | 一种适用于低成像质量多边形管状物体的边缘检测方法 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2478911B (en) * | 2010-03-22 | 2014-01-08 | Timocco Ltd | Object locating and tracking in video frames using smoothness check along specified line sections |
CN101976237A (zh) * | 2010-08-13 | 2011-02-16 | 苏州瀚瑞微电子有限公司 | 序列式图像检索方法 |
JP5800549B2 (ja) * | 2011-03-31 | 2015-10-28 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
JP2012243051A (ja) * | 2011-05-19 | 2012-12-10 | Fuji Heavy Ind Ltd | 環境認識装置および環境認識方法 |
US10402661B2 (en) | 2013-07-22 | 2019-09-03 | Opengate Development, Llc | Shape/object recognition using still/scan/moving image optical digital media processing |
CN103366190B (zh) * | 2013-07-26 | 2017-03-29 | 中国科学院自动化研究所 | 一种识别交通标志的方法 |
CN108352070B (zh) * | 2015-11-13 | 2021-10-08 | 松下知识产权经营株式会社 | 移动体追踪方法、移动体追踪装置以及程序 |
JP6762108B2 (ja) * | 2016-02-19 | 2020-09-30 | 三菱重工業株式会社 | 目標物検知装置、処理方法、プログラム |
EP3261018A1 (en) * | 2016-06-23 | 2017-12-27 | Conti Temic microelectronic GmbH | Device and method for object recognition of an input image for a vehicle |
CN108898551B (zh) * | 2018-06-14 | 2020-07-31 | 北京微播视界科技有限公司 | 图像合并的方法和装置 |
CN110058263B (zh) * | 2019-04-16 | 2021-08-13 | 广州大学 | 一种车辆行驶过程中的物体定位方法 |
CN110702705B (zh) * | 2019-11-20 | 2022-04-29 | 大连交通大学 | 一种基于原子分辨电镜的负载金属催化剂分散度测算方法 |
CN111079560B (zh) * | 2019-11-26 | 2023-09-01 | 深圳市中电数通智慧安全科技股份有限公司 | 一种摔倒监测方法、装置及终端设备 |
CN113487480A (zh) * | 2021-06-30 | 2021-10-08 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09138471A (ja) * | 1995-09-13 | 1997-05-27 | Fuji Photo Film Co Ltd | 特定形状領域の抽出方法、特定領域の抽出方法及び複写条件決定方法 |
WO2004051575A1 (ja) * | 2002-12-05 | 2004-06-17 | Seiko Epson Corporation | 特徴領域抽出装置、特徴領域抽出方法および特徴領域抽出プログラム |
JP2004295776A (ja) * | 2003-03-28 | 2004-10-21 | Minolta Co Ltd | 画像認識装置および画像認識プログラム |
US7437226B2 (en) | 2003-08-20 | 2008-10-14 | Samsung Electronics Co., Ltd. | Method of constructing artificial mark for autonomous driving, apparatus and method of determining position of intelligent system using artificial mark and intelligent system employing the same |
KR100506095B1 (ko) | 2003-11-17 | 2005-08-03 | 삼성전자주식회사 | 지능형 시스템에 있어서 표식검출방법 및 장치 |
CN1256696C (zh) * | 2004-04-01 | 2006-05-17 | 上海交通大学 | 利用限制性随机霍夫变换进行椭圆检测的图像处理方法 |
JP4836065B2 (ja) | 2005-03-31 | 2011-12-14 | 株式会社国際電気通信基礎技術研究所 | エッジトラッキング方法及びそのコンピュータプログラム |
JP4042780B2 (ja) * | 2005-11-04 | 2008-02-06 | オムロン株式会社 | 物体認識方法、物体認識用のプログラムならびにその記憶媒体、および物体認識装置 |
CN101110100B (zh) | 2006-07-17 | 2012-05-02 | 松下电器产业株式会社 | 检测包含任意线段组合的形状的方法及装置 |
-
2007
- 2007-09-11 CN CNA2007101487560A patent/CN101388077A/zh active Pending
-
2008
- 2008-09-10 JP JP2008557542A patent/JP4856197B2/ja not_active Expired - Fee Related
- 2008-09-10 EP EP08830919A patent/EP2189944A1/en not_active Withdrawn
- 2008-09-10 WO PCT/JP2008/002505 patent/WO2009034709A1/ja active Application Filing
- 2008-09-10 CN CN2008801040314A patent/CN101785028B/zh not_active Expired - Fee Related
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101882312B (zh) * | 2010-06-07 | 2011-12-14 | 河南理工大学 | 数字图像中基于基元表示的多边形检测方法 |
CN101882312A (zh) * | 2010-06-07 | 2010-11-10 | 河南理工大学 | 数字图像中基于基元表示的多边形检测方法 |
CN107256377A (zh) * | 2012-09-12 | 2017-10-17 | 威智伦富智堡公司 | 用于检测视频中的对象的方法、设备和系统 |
CN103383729A (zh) * | 2013-05-27 | 2013-11-06 | 中国农业大学 | 行列排列目标的定位方法及系统 |
CN103383729B (zh) * | 2013-05-27 | 2016-09-21 | 中国农业大学 | 行列排列目标的定位方法及系统 |
CN104933397A (zh) * | 2014-03-18 | 2015-09-23 | 元智大学 | 图像描述及其图像识别方法 |
CN104331876A (zh) * | 2014-10-09 | 2015-02-04 | 北京配天技术有限公司 | 直线检测、图像处理的方法及相关装置 |
CN105069454A (zh) * | 2015-08-24 | 2015-11-18 | 广州视睿电子科技有限公司 | 图像识别的方法及装置 |
WO2017032190A1 (zh) * | 2015-08-24 | 2017-03-02 | 广州视睿电子科技有限公司 | 图像识别的方法及装置 |
CN105957114A (zh) * | 2016-05-09 | 2016-09-21 | 北京小米移动软件有限公司 | 对图像中多边形进行检测的方法及装置 |
CN105957114B (zh) * | 2016-05-09 | 2018-12-11 | 北京小米移动软件有限公司 | 对图像中多边形进行检测的方法及装置 |
CN106355744A (zh) * | 2016-08-24 | 2017-01-25 | 深圳怡化电脑股份有限公司 | 一种图像识别方法及装置 |
CN106355744B (zh) * | 2016-08-24 | 2019-07-26 | 深圳怡化电脑股份有限公司 | 一种印尼盾币值的识别方法及装置 |
CN106706656A (zh) * | 2017-03-14 | 2017-05-24 | 杭州汇萃智能科技有限公司 | 一种基于机器视觉的拉链检测装置及方法 |
CN108764344A (zh) * | 2018-05-29 | 2018-11-06 | 北京物灵智能科技有限公司 | 一种基于边缘识别卡片的方法、装置及存储设备 |
CN108764344B (zh) * | 2018-05-29 | 2021-08-24 | 北京物灵智能科技有限公司 | 一种基于边缘识别卡片的方法、装置及存储设备 |
CN108960252A (zh) * | 2018-06-01 | 2018-12-07 | 广西大学 | 一种二维图像中任意曲线的圆弧表示及检测方法 |
CN109557533A (zh) * | 2018-11-28 | 2019-04-02 | 中国人民解放军国防科技大学 | 一种基于模型的联合跟踪与识别方法 |
CN110060270A (zh) * | 2019-04-25 | 2019-07-26 | 宁锐慧创信息科技南京有限公司 | 一种适用于低成像质量多边形管状物体的边缘检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101785028A (zh) | 2010-07-21 |
WO2009034709A1 (ja) | 2009-03-19 |
JP4856197B2 (ja) | 2012-01-18 |
CN101785028B (zh) | 2012-05-23 |
JPWO2009034709A1 (ja) | 2010-12-24 |
EP2189944A1 (en) | 2010-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101388077A (zh) | 目标形状检测方法及装置 | |
CN105654021B (zh) | 检测人群对目标位置关注度的方法及设备 | |
CN102393904B (zh) | 图像处理装置以及图像处理方法 | |
CN101900567B (zh) | 基于像素的无纹理畅通路径检测 | |
US20210342606A1 (en) | Parking Detection Method, System, Processing Device and Storage Medium | |
EP1564704B1 (en) | Method and apparatus for processing pictures of vehicles | |
CN106991820B (zh) | 违规车辆处理方法及装置 | |
Song et al. | Vehicle behavior analysis using target motion trajectories | |
CN103605967A (zh) | 一种基于图像识别的地铁防逃票系统及其工作方法 | |
CN104392239A (zh) | 一种车牌识别方法及系统 | |
KR101772438B1 (ko) | 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 장치 및 방법 | |
CN112241969A (zh) | 基于交通监控视频的目标检测跟踪方法、装置及存储介质 | |
CN104616006A (zh) | 一种面向监控视频的胡须人脸检测方法 | |
CN111540023A (zh) | 图像采集设备的监测方法、装置、电子设备及存储介质 | |
CN114360261B (zh) | 车辆逆行的识别方法、装置、大数据分析平台和介质 | |
CN108520528A (zh) | 基于改进差分阈值和位移匹配模型的移动车辆跟踪方法 | |
Yu et al. | Training-free monocular 3d event detection system for traffic surveillance | |
CN105427281A (zh) | 一种变化区域检测方法及装置 | |
CN103077403B (zh) | 行人计数方法及装置 | |
CN111753587B (zh) | 一种倒地检测方法及装置 | |
EP2709065A1 (en) | Concept for counting moving objects passing a plurality of different areas within a region of interest | |
Sala et al. | Measuring traffic lane‐changing by converting video into space–time still images | |
CN103093204B (zh) | 行为监测方法及装置 | |
CN114137512B (zh) | 一种毫米波雷达与深度学习视觉融合的前方多车辆跟踪方法 | |
US20150178577A1 (en) | Image processing apparatus, and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20090318 |