CN104574434A - 物体检测方法和装置 - Google Patents
物体检测方法和装置 Download PDFInfo
- Publication number
- CN104574434A CN104574434A CN201310508594.2A CN201310508594A CN104574434A CN 104574434 A CN104574434 A CN 104574434A CN 201310508594 A CN201310508594 A CN 201310508594A CN 104574434 A CN104574434 A CN 104574434A
- Authority
- CN
- China
- Prior art keywords
- edge
- sample
- self
- view
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/753—Transform-based matching, e.g. Hough transform
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
提供了一种物体检测装置和方法,该方法包括:提取图像中的边缘;对边缘进行分段;获取样本自身角度和样本参考角度关系数据;对于各个分段后的边缘,获得该边缘的自身角度;基于检测到的自身角度和获取的样本自身角度和样本参考角度关系数据,获得与检测到的自身角度对应的参考角度;从边缘上的预定点做直线,该直线与该边缘所成的角度等于所获得的参考角度;从各个直线之间的交点之中,基于通过交点的直线数目,确定物体的参考点;保留从其预定点所做的直线通过该确定的物体的参考点的边缘;以及基于所保留的边缘来检测物体。该物体检测装置和方法不易受到图像中对象尺寸变化的影响,能够准确地定位和检测物体。
Description
技术领域
本发明总体地涉及图像处理,具体地,涉及物体检测方法和装置。
背景技术
已经提出了一些检测图像中特定形状的物体的技术。
在D.H.Ballard,University of Rochester等的文章“Generalizing the HoughTransform to Detect Arbitrary Shapes”,Pattern Recognition13.2:111-122,1981)中,提出了一种推广霍夫变化来检测任意形状的方法,该方法的目标是检测一个任意图形,具体做法是扫描图形边缘上所有的点,然后记录下一组角度和距离的参数对,并且对应在霍夫空间中。
在QIN Kaihuai,WANG Haiying,ZHENG Jitao,Tsinghua University等的文章“A Unified Approach Based on Hough Transform for Quick Detection ofCircles and Rectangles”,Vol.15,No.1,Journal of Image and Graphics,Jan.2010中,提出了一种基于霍夫变换来快速区分圆形和矩形的技术,其中使用角度信息来获取累计形状角度值,基于此来区分物体形状。
发明内容
本发明的一个目的在于提供一种能够较少受到图像中对象尺寸的变化以及准确地定位和检测物体的物体检测方法和装置。
根据本发明的一个方面,提供了一种检测图像中的待检测物体的物体检测方法,可以包括:接收图像;提取图像中的边缘;对提取的边缘进行分段,得到分段后的边缘;获取样本自身角度和样本参考角度关系数据,其中,样本自身角度和样本参考角度相关联,样本自身角度表示物体样本图像中的边缘分段和预定方向的直线所成的角度、样本参考角度表示边缘上的预定点和物体上的参考点之间的连线与边缘所成的角度;对于各个分段后的边缘,获得该边缘和该预定方向的直线所成的角度作为检测到的自身角度;基于检测到的自身角度和所获取的的样本自身角度和样本参考角度关系数据,获得与检测到的自身角度对应的参考角度;从边缘上的预定点做直线,该直线与该边缘所成的角度等于所获得的与检测到的自身角度对应的参考角度;从各个直线之间的交点之中,基于通过交点的直线数目,确定物体的参考点;保留从其预定点所做的直线通过所确定的物体的参考点的边缘;以及基于所保留的边缘来检测物体。
根据本发明的另一方面,提供了一种检测图像中的待检测物体的物体检测装置,可以包括:样本自身角度和样本参考角度关系获取部件,用于获取样本自身角度和样本参考角度关系数据,其中,样本自身角度和样本参考角度关系数据相关联,样本自身角度表示物体样本图像中的边缘分段和该预定方向的直线所成的角度、样本参考角度表示边缘上的预定点和物体上的参考点之间的连线与边缘所成的角度;图像接收部件,接收图像;边缘提取部件,提取图像中的边缘;边缘分段部件,对提取的边缘进行分段,得到分段后的边缘;自身角度获得部件,用于对于各个分段后的边缘,获得该边缘和该预定方向的直线所成的角度作为检测到的自身角度;参考角度获得部件,用于基于检测到的自身角度,参考由样本自身角度和样本参考角度关系获取部件获取的样本自身角度和样本参考角度关系数据,获得与检测到的自身角度对应的参考角度;直线引出部件,用于从边缘上的预定点做直线,该直线与该边缘所成的角度等于所获得的与检测到的自身角度对应的参考角度;参考点确定部件,用于从各个直线之间的交点之中,基于通过交点的直线数目,确定物体的参考点;边缘保留部件,保留从其预定点所做的直线通过该确定的物体的参考点的边缘;以及物体检测部件,用于基于所保留的边缘来检测物体。
利用本发明的物体检测方法和装置,因为依据边缘的绝对角度和相对角度间关系来确定物体的参考点,进而保留物体的边缘,从而检测物体,因此能够较少受到对象图像的尺寸变化的影响,较准确地对物体定位和检测物体。
附图说明
从下面结合附图对本发明实施例的详细描述中,本发明的这些和/或其它方面和优点将变得更加清楚并更容易理解,其中:
图1示出了根据本发明一个实施例的物体检测系统的系统框图示例。
图2示出了根据本发明实施例的物体检测装置的示例性结构框图。
图3示出了根据本发明一个实施例的从物体样本图像准备样本自身角度和样本参考角度关系数据的示例性方法的总体流程图。
图4中的(a)示出了车辆的视差图图像,其中,分段后的边缘片段示例分别被标注以1、2、3、4;图4中的(b)记录了每个边缘片段的标识符和相关联的自身角度和参考角度;图4中的(c)示意性地示出了边缘角度分布的直方图示例;以及图4中的(d)示意性地示出了边缘自身角度和参考角度之间的关系表格。
图5中的(a)示意性示出了从示例性边缘片段1和3所引出的直线,图5中的(b)示意性地示出了物体的参考点分布的概率图。
图6示出了根据本发明实施例的检测图像中的待检测物体的物体检测方法的流程图。
图7示出了适于用来实现本发明实施方式的示例性计算系统的框图。
具体实施方式
为了使本领域技术人员更好地理解本发明,下面结合附图和具体实施方式对本发明作进一步详细说明。
在进一步详细介绍之前,为了便于理解,首先介绍一下本发明的核心思想。
本发明人发现对于具有特定形状的物体来说,可以通过检测物体的形状来检测物体。而且,为了尽可能地克服因为成像远近导致的图像尺寸比例变化的影响,希望能够提取对图像中对象的尺寸大小的变化而言具有一定程度的不变性的特性。为此,发明人想到提取物体样本的边缘和确定物体上的一个固定参考点,然后分别确定物体的边缘的自身绝对角度,以及边缘与物体上的固定参考点之间所成的相对角度,并将自身绝对角度和相对角度之间相关联地存储。在接收到一个图像,要从中检测感兴趣的物体时,可以提取图像中的边缘,确定边缘的自身绝对角度,并基于自身绝对角度和事先相关联地存储的样本自身绝对角度和相对角度之间的关系,来获得对应的相对角度,从而可以确定该待测物体的参考点,进而保留对应的边缘,最后基于保留的边缘来进行物体检测。
下面的描述中,为描述方便,以道路相关对象,例如车辆,作为检测对象的示例。不过这仅为示例,本发明并不局限于此,可以检测其它道路相关对象,例如行人,建筑物等,或者检测与道路无关的其它对象。
图1示出了根据本发明一个实施例的物体检测系统的系统框图示例。该系统的输入0为视差图和/或对应的灰度图,例如可以由安装在车辆的双目相机来拍摄得到,如其右侧的灰度图示例所示。该输入经过物体检测系统1后,输出为物体检测结果,输出2形式可以是多样的,例如在显示器上输出指示检测到的物体的可视形式,或者以麦克风形式进行语音提示,或者以文本形式输出物体检测结果信息等,其中右侧的灰度图示出了检测的结果,其中检测到的部分用白色方框指示出来。图1中的顶部的较小的灰度图像表示对象的样本图像,该样本图像可以在后续的样本自身角度和样本参考角度关系制备中使用。
需要说明的是,图1中所示的系统输入为视差图和/或对应的灰度图,不过当然输入也可以为例如双目相机左图像和右图像,然后在物体检测系统内部来例如以左图像作为灰度图,而从左图像和右图像来得到对应的视差图。
图2示出了根据本发明实施例的物体检测装置100的示例性结构框图。
物体检测装置100可以包括:样本自身角度和样本参考角度关系获取部件101、图像接收部件110、边缘提取部件120、边缘分段部件130、自身角度获得部件140、参考角度获得部件150、直线引出部件160、参考点确定部件170、边缘保留部件180、物体检测部件190。
样本自身角度和样本参考角度关系获取部件101用于获取样本自身角度和样本参考角度关系数据,其中,样本自身角度和参考角度关系数据相关联,样本自身角度表示物体样本图像中的边缘分段和预定方向的直线所成的角度、样本参考角度表示边缘上的预定点和物体上的参考点之间的连线与边缘所成的角度。
关于样本自身角度和样本参考角度关系数据可以是从物体的样本图像中得到的。下面参考图3描述准备这样的样本自身角度和样本参考角度关系数据的示例性方法。
图3示出了根据本发明一个实施例的从物体样本图像准备样本自身角度和样本参考角度关系数据的示例性方法1010的总体流程图。
准备这样的样本自身角度和样本参考角度关系数据可以视为模型训练部分,其通过分析物体的一个或多个样本图像来获得物体的边缘绝对角度和相对参考点的相对角度的关联关系,并存储该关联关系,供以后在一个测试图像到来时,通过参考该关联关系来确定图像中感兴趣的物体的参考点,从而帮助进行物体的定位和检测。该训练操作可以是实时进行的,也可以是离线预先进行的。
该训练操作的输入为物体的一个或多个样本图像,例如图1中顶部所示的车辆样本图像。在一个示例中,可以为人工抽取的物体的图像部分。
如图3所示,在步骤S1011中,从物体样本图像提取物体的边缘。边缘检测方法可以是任何已知的边缘检测方法,例如Sobel边缘检测,检测主要边缘的目的是为了提取图像中的物体轮廓信息同时避免噪声干扰。有关Sobel算子的介绍可以参考ME Sobel于1982年发表于Sociological methodology的题为“Asymptotic confidence intervals for indirect effects in structural equationmodels”的文章。边缘检测方法还可以是例如canny边缘检测方法等。另外,在提取边缘特征之后,可以进行额外的平滑或者增强处理。
在步骤S1020中,确定物体的参考点。
该物体的参考点供后续计算边缘分段相对该参考点的相对角度时使用。在一个示例中,物体的参考点为物体的质心。在另一示例中,物体的参考点可以为物体的某个拐角点。在另一个示例中,物体的参考点可以其为外接圆或外接矩形的中心。对物体的参考点没有特别的限制。不过,优选地,选用物体的质心作为物体的参考点。因为这样可以得到分布较均衡的边缘相对角度。
物体的参考点可以手动选取或者由机器自动确定。
在步骤S1030中,对物体的边缘进行分段,得到分段后的边缘。
在一个示例中,采用等长度的原则对于边缘进行分段。
在一个示例中,每个片段的长度可以是预先确定的,并且是固定的。
在一个示例中,长度的选取可以根据物体的尺寸确定,以尽可能使得每个小段是直线或近似直线。
在一个示例中,在可以知道拍摄对象和拍摄相机的距离信息的情况下,分段的长度的大小可以根据距离的不同而不同。总的原则是,拍摄对象和拍摄相机之间的距离越远,对象在图像的尺寸将越小,因此,采用的分段的长度也越小。
在一个示例中,在图像为视差图的情况下,对物体的边缘进行分段的边缘长度根据该边缘的视差不同而不同,视差越小,边缘的长度越小。
在另一个示例,在所述图像为灰度图并且具有相关联的拍摄相机距离被摄对象的距离信息的情况下,例如,在从红外测距设备或者测距雷达获得距离信息的情况下,如前所述,对物体的边缘进行分段的边缘长度根据相关的距离的不同而不同,距离越远,边缘的长度越小。
图4中的(a)示出了车辆的视差图图像,其中,分段后的边缘片段示例分别被标注以1、2、3、4。
在步骤S1030中,对于各个分段后的边缘,获得该边缘和该预定方向的直线所成的角度作为样本自身角度,以及获得该边缘上的预定点与物体的参考点之间的连线与该边缘所成的角度作为样本参考角度。
在一个示例中,边缘片段的自身角度(本文中,有时也称为绝对角度或者自身绝对角度,这些说法可互换使用)由该边缘片段与水平直线所成的角度来表示。当然,不一定限制为必需是水平直线,而可以是其它预定方向的直线,例如垂直直线等。在一个示例中,可以取边缘角度顺时针转到该预定直线所扫过的角度作为边缘的自身绝对角度。在一个示例中,边缘角度的取值范围为[0°,180°]。
在一个示例中,边缘片段的参考角度(在本文中,有时也成为相对角度,两者可互换使用)可以如下获得:获得由连接边缘上的预定点与物体的参考点得到的直线,将当该直线顺时针旋转到与该边缘片段重合时所扫过的角度,作为参考角度。在一个示例中,边缘片段上的预定点可以取该边缘片段的中点。在另一个示例中,边缘片段上的预定点可以取该边缘片段的端点之一(例如左端点,或者上端点等)。
图4中的(b)记录了每个边缘片段的标识符和相关联的自身角度和参考角度。其中,边缘片段1的自身角度为75度,参考角度为95;边缘片段2的自身角度为105度,参考角度为65度;边缘片段3的自身角度为75度,参考角度为75度;以及边缘片段4的自身角度为30度,参考角度为120度。
在步骤S1040中,将所获得的边缘的样本自身角度值和对应的样本参考角度取值相关联地存储。
在一个示例中,分析角度分布,并且计算出自身角度和对应的参考角度的统计信息,例如在图4(b)中示出的自身角度和对应参考角度中,自身角度为75度的边缘出现两次,对应参考角度分别为95度和75度,而自身角度为30度的边缘出现一次,对应参考角度120度,等等。在一个示例中,依据统计信息可以获得边缘角度分布的直方图。如图4中的(c)所示,该直方图可以为二维直方图,记录了具有某自身角度和对应参考角度取值对的边缘数目。
在一个示例中,基于这样的自身角度和对应的参考角度的统计信息,将自身角度和参考角度以及相关的概率相关联地存储。图4(d)中给出了一个这样自身角度和参考角度关系数据的表格。在本示例中,自身角度为30度的边缘出现一次,对应参考角度120度,因此自身角度为30度对应参考角度为120的概率是1.00;自身角度75度出现两次,对应参考角度分别95度和75度,则自身角度为75度,对应参考角度为95度和75度的概率分别是0.50和0.50。
实际应用中,角度的分布更加多样和复杂,可同样进行各个边缘片段的自身角度和对应参考角度的统计分析,并进行存储,由此建立起边缘自身角度和参考角度之间的关系表格,这实际上也是一种角度分布特征的概率表。
在图4(d)的边缘自身角度和参考角度之间的关系表格中,除了自身角度值、对应的参考角度取值之外,还相关联地存储了该参考角度取值的权重。在一个示例中,参考角度取值的权重根据该参考角度取值出现的概率确定。不过,在另一个示例中,可以不存储参考角度取值的权重,而默认为所有参考角度取值的权重相同。
回到图2,物体检测装置中的样本自身角度和样本参考角度关系获取部件101获取例如图4(c)所示格式的样本自身角度和样本参考角度关系表。
需要说明的是,样本自身角度和样本参考角度关系获取部件101获取的样本自身角度和样本参考角度关系可以是由物体检测装置自身计算得到的,也可以是从外部获得的,而且可以是实时训练得到的,也可以是事先训练得到的。
图像接收部件110用于从本地或者远程接收图像。例如,以车辆检测为例,假设诸如双目相机、多目相机等的图像摄取设备安装于车辆的顶部,物体检测装置在合并于车辆的自动控制系统中,在此情况下,例如通过USB连线等直接从图像摄取设备获取灰度图像或者视差图像。不过,也可以远程通过例如有线或者无线通信接收图像。
图像可以为视差图或者灰度图。在图像为视差图的情况下,图像自身携带了距离或深度信息。在图像为灰度图的情况下,同样也可以为之提供相关联的拍摄相机距离被摄对象的距离信息,例如从红外测距设备、雷达设备等获取的距离信息。
边缘提取部件120从接收的图像提取边缘。同样,边缘检测方法可以是任何已知的边缘检测方法,例如Sobel边缘检测。有关Sobel算子的介绍可以参考ME Sobel于1982年发表于Sociological methodology的题为“Asymptoticconfidence intervals for indirect effects in structural equation models”的文章。边缘检测方法还可以是例如canny边缘检测方法等。另外,在提取边缘特征之后,可以进行额外的平滑或者增强处理。
需要说明的是,在进行边缘提取之前,可以进行一些额外处理,例如去除图像中明显不包括待检测对象的部分等,以降低后续处理的计算量。
边缘分段部件130对提取的边缘进行分段,得到分段后的边缘。
在一个示例中,对于每个提取的边缘,将之分成等长度的小段。每段的长度的选取原则与前面描述的在准备样本自身角度和样本参考角度关系数据时对边缘分段的长度选取原则相同。
如前所述,优选地,在可以知道距离信息的情况下,分段的长度的大小应该根据距离的不同而不同。例如,在根据拍摄对象与拍摄相机之间的距离,估计图像中对象的大小约变大20%的情况下,可以将边缘分段的长度也相应地增大20%。
自身角度获得部件140如先前在参考图3描述在自身角度和参考角度关系数据制备中那样,对于各个分段后的边缘,获得该边缘和预定方向的直线所成的角度作为检测到的自身角度。
参考角度获得部件150,对于各个分段后的边缘,基于自身角度获得部件140检测到的自身角度,参考由样本自身角度和样本参考角度关系获取部件101获取的样本自身角度和样本参考角度关系数据,获得与检测到的自身角度对应的参考角度。
具体地,例如,对于一个边缘片段,如果自身角度获得部件140检测到其自身角度为75,则利用该自身角度75检索在样本自身角度和样本参考角度关系获取部件101中获取的样本自身角度和样本参考角度关系数据,以图4(d)中的关系数据表为例,将得到对应参考角度分别为95度和75度,各自的权重(或概率)为0.5。
类似地,在本示例中,对于一个边缘片段,如果自身角度获得部件140检测到其自身角度为30,则得到对应参考角度为120,权重为1.0;对于一个边缘片段,如果自身角度获得部件140检测到其自身角度为105,则得到对应参考角度为65,权重为1.0。
由此,参考角度获得部件150可以获得各个边缘片段的参考角度和对应的权重。
在有些情况下,对于某个检测到的边缘片段的自身角度,在样本自身角度和样本参考角度关系获取部件101获取的样本自身角度和样本参考角度关系数据中,可能不存在相同的样本自身角度。
在这种情况下,在一个示例中,可以跳过该边缘,不再进行后续处理,也就是说,该边缘对后续物体的参考点的确定没有贡献。
在另一个示例中,可以寻找与该边缘的检测到的自身角度最接近的存储的边缘的样本自身角度值,并获得与该最接近的存储的边缘的样本自身角度值对应的样本参考角度,作为与边缘的检测到的自身角度对应的参考角度。
在另一个示例中,可以寻找与该边缘的检测到的自身角度最接近的存储的边缘的自身角度值,并确定两者之差是否小于预定差值阈值,当两者之差小于预定差值阈值时,获得与最接近的存储的边缘的样本自身角度值对应的样本参考角度,作为与边缘的检测到的自身角度对应的参考角度。
直线引出部件160对于各个边缘片段,基于参考角度获得部件150所获得的边缘片段的参考角度,从该边缘片段的预定点做直线,使得该直线与该边缘所成的角度等于所获得的边缘片段的参考角度。
图5中的(a)示意性示出了从示例性边缘片段1和3所引出的直线,其中边缘片段1和3的自身角度均为75,如前所述,在图4中的(a)-(d)所示的示例中,对应的参考角度有两种取值,即95度和75度,权重均为0.5。在本示例中,边缘片段的预定点为中点,因此从边缘片段1的中点引出两条直线,一条与边缘片段1的夹角为95度,另一条与边缘片段1的夹角为75度。从边缘片段3类似地也引出两条直线,一条与边缘片段3的夹角为95度,另一条与边缘片段3的夹角为75度。
对于各个边缘片段,进行类似处理,可以得到对应引出的直线。
参考点确定部件170从各个直线之间的交点之中,基于通过交点的直线数目,确定物体的参考点。
由直线引出部件160针对各个边缘片段引出的直线存在各种相交关系,从而得到了许多交点。参考点确定部件170分析这些交点存在的概率,来确定物体的参考点。
在一个示例中,如果通过某个交点的直线的数目最多,则将该交点确定为物体的参考点。
在另一个示例中,各个直线被赋予对应的参考角度相关联的权重,由此确定通过各个交点的基于加权后的直线数目,并以加权后的直线数目最多的交点作为物体的参考点。
换个角度看,各个交点依据通过其的直线数目以及对应的直线的权重,可以被赋予存在的概率,由此可以得到物体的参考点分布的概率图,如图5中的(b)所示。概率图中最亮的点,也即概率最高的点,可以被确定为物体的参考点。
边缘保留部件180确定从其预定点所做的直线通过该确定的物体的参考点的边缘,并保留这样的边缘。这样做的原因是认为对确定物体的参考点有贡献的边缘更有可能是物体的边缘,因此予以保留,而去除掉所有其它的边缘。
在一个示例中,可以通过平滑滤波或者中心聚类的方法来确定聚集度比较高的边缘位置为物体所在位置,并且依据所确定的物体位置来进一步滤除噪声边缘。
物体检测部件190基于所保留的边缘来检测物体。这里对检测方法没有限制,任何基于边缘来检测物体的方法均可以用于本发明。例如,可以以已知的物体的长度范围、宽度范围、长宽比中的一个或多个来验证保留下来的边缘形成的轮廓,或者以拐角点特征等进行验证,或者利用物体形状模板来进行匹配等。
物体检测部件190可以输出检测出的物体的可视形状、文字定位信息等。
利用本发明实施例的物体检测装置,因为依据边缘的绝对角度和相对角度间关系来确定物体的参考点,进而保留物体的边缘,从而检测物体,因此能够较少受到对象图像的尺寸变化的影响,较准确地对物体定位和检测物体。
需要说明的是,在上面的示例中,边缘的参考角度用边缘与连接边缘和参考点的连线所成的角度来表示。不过,在另一个示例中,该参考角度也可以例如用该连线与预定方向的直线,例如水平线、垂直线等,所成的角度来表示。
需要说明的是,在上面的示例中,预定方向的直线是用水平线或垂直线作为示例,不过这仅为示例。在另一示例中,可以事先检测到路面,则可以用与路面平行的横穿路面的线作为预定方向的直线。
需要说明的是,图2中所示的箭头只表示两个部件的功能之间存在逻辑关系,两个部件之间可以直接或者间接地操作性地连接。另外,即便图2中的某两个部件之间未示出某方向的箭头连接,但是这并不表明两者之间必然不存在该方向的逻辑关系,相反,两者之间可以存在相互协作关系,例如样本自身角度和样本参考角度关系存储部件101和边缘提取部件120、边缘分段部件130、自身角度获得部件140之间可以存在逻辑关系,边缘提取部件120、边缘分段部件130、自身角度获得部件140可以在样本自身角度和样本参考角度关系制备过程中进行对应操作并且最终协同其他部件一起获得样本自身角度和样本参考角度关系并将其存储在样本自身角度和样本参考角度关系存储部件101中。
上述各个部件的结构和数量不对本发明的范围构成限制。物体检测装置100可以包括额外的部件来实现其他的或补充的功能,例如显示部件,用于例如显示物体检测部件190的检测结果,以及例如通信部件,用于将有关信息传递到外部等。另外,根据本发明的一个实施例,上述各个部件中的多个可以合并到一个独立的部件中来执行和实现相应的功能和操作,或者可以将上述各个部件进一步拆分为更小的部件来实现他们各自的功能和操作。
下面参考图6描述根据本发明实施例的检测图像中的待检测物体的物体检测方法2000。
如图6所示,在步骤S2010中,接收图像。
在步骤S2020中,提取图像中的边缘。
在步骤S2030中,对提取的边缘进行分段,得到分段后的边缘。
在步骤S2040中,获取样本自身角度和样本参考角度关系数据,其中,样本自身角度和样本参考角度相关联,样本自身角度表示物体样本图像中的边缘分段和预定方向的直线所成的角度,样本参考角度表示边缘上的预定点和物体上的参考点之间的连线与边缘之间的角度。
对于各个分段后的边缘:在步骤S2050中,获得该边缘和该预定方向的直线所成的角度作为检测到的自身角度;在步骤S2060中,基于检测到的自身角度和所获取的样本自身角度和样本参考角度关系数据,获得与检测到的自身角度对应的参考角度;在步骤S2070中,从边缘上的预定点做直线,该直线与该边缘所成的角度等于所获得的与检测到的自身角度对应的参考角度。
在步骤S2080中,从各个直线之间的交点之中,基于通过交点的直线数目,确定物体的参考点。
在步骤S2090中,保留从其预定点所做的直线通过所确定的物体的参考点的边缘。
在步骤S2100中,基于所保留的边缘来检测物体。
有关上述各个步骤S2010、S2020、S2030、S2040、S2050、S2060、S2070、S2080、S2090、S2100的操作和实现可以参考前面结合图2中的图像接收部件110、边缘提取部件120、边缘分段部件130、样本自身角度和样本参考角度关系获取部件101、自身角度获得部件140、参考角度获得部件150、直线引出部件160、参考点确定部件170、边缘保留部件180、物体检测部件190所进行的描述,这里不再赘述。
本发明还可以通过一种用于识别视差深度图像中噪声的计算系统来实施。图7示出了适于用来实现本发明实施方式的示例性计算系统400的框图。如图7所示,计算系统400可以包括:CPU(中央处理单元)401、RAM(随机存取存储器)402、ROM(只读存储器)403、系统总线404、硬盘控制器405、键盘控制器406、串行接口控制器407、并行接口控制器408、显示控制器409、硬盘410、键盘411、串行外部设备412、并行外部设备413和显示器414。在这些设备中,与系统总线404耦合的有CPU401、RAM402、ROM403、硬盘控制器405、键盘控制器406、串行接口控制器407、并行接口控制器408和显示控制器409。硬盘410与硬盘控制器405耦合,键盘411与键盘控制器406耦合,串行外部设备412与串行接口控制器407耦合,并行外部设备413与并行接口控制器48耦合,以及显示器414与显示控制器409耦合。应当理解,图7所述的结构框图仅仅是为了示例的目的,而不是对本发明范围的限制。在某些情况下,可以根据具体情况增加或减少某些设备。
所属技术领域的技术人员知道,本发明可以实现为系统、装置、方法或计算机程序产品。因此,本发明可以具体实现为以下形式,即:可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等),还可以是硬件和软件结合的形式,本文一般称为“电路”、“模块”、“装置”或“系统”。此外,在一些实施例中,本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式,该计算机可读介质中包含计算机可读的程序代码。
可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
上面参照本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,这些计算机程序指令通过计算机或其它可编程数据处理装置执行,产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。
也可以把这些计算机程序指令存储在能使得计算机或其它可编程数据处理装置以特定方式工作的计算机可读介质中,这样,存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instruction means)的制造品(manufacture)。
也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (10)
1.一种检测图像中的待检测物体的物体检测方法,包括:
接收图像;
提取图像中的边缘;
对提取的边缘进行分段,得到分段后的边缘;
获取样本自身角度和样本参考角度关系数据,其中,样本自身角度和样本参考角度相关联,样本自身角度表示物体样本图像中的边缘分段和预定方向的直线所成的角度,样本参考角度表示边缘上的预定点和物体上的参考点之间的连线与边缘所成的角度;
对于各个分段后的边缘,
获得该边缘和该预定方向的直线所成的角度作为检测到的自身角度;
基于检测到的自身角度和所获取的样本自身角度和样本参考角度关系数据,获得与检测到的自身角度对应的参考角度;
从边缘上的预定点做直线,该直线与该边缘所成的角度等于所获得的与检测到的自身角度对应的参考角度;
从各个直线之间的交点之中,基于通过交点的直线数目,确定物体的参考点;
保留从其预定点所做的直线通过所确定的物体的参考点的边缘;以及基于所保留的边缘来检测物体。
2.如权利要求1所述的物体检测方法,还包括:
样本自身角度和样本参考角度关系数据准备步骤,包括:
对于物体的一个或多个样本图像:
提取物体的边缘;
确定物体的参考点;
对物体的边缘进行分段,得到分段后的边缘;
对于各个分段后的边缘,获得该边缘和该预定方向的直线所成的角度作为样本自身角度,以及获得该边缘上的预定点与物体的参考点之间的连线与该边缘所成的角度作为样本参考角度;以及
将所获得的边缘的样本自身角度值和对应的样本参考角度取值相关联地存储。
3.根据权利要求1或2的物体检测方法,所述物体的参考点为物体的质心。
4.根据权利要求1或2的物体检测方法,其中,所述图像为视差图,对物体的边缘进行分段的边缘长度根据该边缘的视差不同而不同,视差越小,边缘的长度越小,或者
所述图像为灰度图并且具有相关联的拍摄相机距离被摄对象的距离信息,对物体的边缘进行分段的边缘长度根据相关的距离的不同而不同,距离越远,边缘的长度越小。
5.根据权利要求1或2的物体检测方法,所述样本自身角度值和样本参考角度取值相关联包括:
将样本自身角度值、对应的样本参考角度取值、该参考角度取值相关联地,
其中,在所述从各个直线之间的交点之中,基于通过交点的直线的数目,确定物体的参考点的操作中,通过交点的直线数目为考虑到与各个直线对应的样本参考角度取值的权重而确定的加权后的直线数目。
6.根据权利要求5的物体检测方法,当边缘的一样本自身角度值具有多个对应的样本参考角度取值时,每个对应的样本参考角度取值的权重根据该样本参考角度取值出现的概率确定。
7.根据权利要求1的物体检测方法,所述边缘上的预定点为边缘的中点或者端点。
8.根据权利要求1的物体检测方法,对于待检测物体的图像,当针对一边缘的检测到的自身角度,不存在与其相同的存储的边缘的样本自身角度值时,则进行下述处理之一:
跳过该边缘,进行对后续边缘的处理;
寻找与该边缘的检测到的自身角度最接近的存储的边缘的样本自身角度值,并获得与最接近的存储的边缘的样本自身角度值对应的样本参考角度,来作为与边缘的检测到的自身角度对应的参考角度;
寻找与该边缘的检测到的自身角度最接近的存储的边缘的样本自身角度值,并确定两者之差是否小于预定差值阈值,当两者之差小于预定差值阈值时,获得与最接近的存储的边缘的样本自身角度值对应的样本参考角度,来作为与边缘的检测到的自身角度对应的参考角度。
9.一种检测图像中的待检测物体的物体检测装置,包括:
样本自身角度和样本参考角度关系获取部件,用于获取样本自身角度和样本参考角度关系数据,其中,样本自身角度和样本参考角度相关联,样本自身角度表示物体样本图像中的边缘分段和该预定方向的直线所成的角度,样本参考角度表示边缘上的预定点和物体上的参考点之间的连线与边缘所成的角度;
图像接收部件,接收图像;
边缘提取部件,提取图像中的边缘;
边缘分段部件,对提取的边缘进行分段,得到分段后的边缘;
自身角度获得部件,用于对于各个分段后的边缘,获得该边缘和该预定方向的直线所成的角度作为检测到的自身角度;
参考角度获得部件,用于基于检测到的自身角度,参考由样本自身角度和样本参考角度关系获取部件获取的样本自身角度和样本参考角度关系数据,获得与检测到的自身角度对应的参考角度;
直线引出部件,用于从边缘上的预定点做直线,该直线与该边缘所成的角度等于所获得的与检测到的自身角度对应的参考角度;
参考点确定部件,用于从各个直线之间的交点之中,基于通过交点的直线数目,确定物体的参考点;
边缘保留部件,保留从其预定点所做的直线通过该确定的物体的参考点的边缘;以及
物体检测部件,用于基于所保留的边缘来检测物体。
10.如权利要求9所述的物体检测装置,还包括:
样本自身角度和样本参考角度关系数据准备部件,被配置为:
对于物体的一个或多个样本图像:
提取物体的边缘;
确定物体的参考点;
对物体的边缘进行分段,得到分段后的边缘;
对于各个分段后的边缘,获得该边缘和该预定方向的直线所成的角度作为样本自身角度,以及获得该边缘上的预定点与物体的参考点之间的连线与该边缘所成的角度作为样本参考角度;以及
将所获得的边缘的样本自身角度值和对应的样本参考角度取值相关联地存储。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310508594.2A CN104574434B (zh) | 2013-10-24 | 2013-10-24 | 物体检测方法和装置 |
JP2014208473A JP6428130B2 (ja) | 2013-10-24 | 2014-10-10 | 物体検出方法及び装置 |
EP14189700.9A EP2866171A3 (en) | 2013-10-24 | 2014-10-21 | Object detection method and device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310508594.2A CN104574434B (zh) | 2013-10-24 | 2013-10-24 | 物体检测方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104574434A true CN104574434A (zh) | 2015-04-29 |
CN104574434B CN104574434B (zh) | 2017-09-29 |
Family
ID=51795503
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310508594.2A Active CN104574434B (zh) | 2013-10-24 | 2013-10-24 | 物体检测方法和装置 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP2866171A3 (zh) |
JP (1) | JP6428130B2 (zh) |
CN (1) | CN104574434B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106296628A (zh) * | 2015-05-11 | 2017-01-04 | 株式会社理光 | 检测异常情形的方法和装置 |
CN107368837A (zh) * | 2016-05-13 | 2017-11-21 | 株式会社理光 | 对象检测方法和对象检测装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105975910A (zh) * | 2016-04-27 | 2016-09-28 | 梧州市自动化技术研究开发院 | 一种用于对运动物体进行视频识别的技术处理方法及其系统 |
US11100352B2 (en) | 2018-10-16 | 2021-08-24 | Samsung Electronics Co., Ltd. | Convolutional neural network for object detection |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7444002B2 (en) * | 2004-06-02 | 2008-10-28 | Raytheon Company | Vehicular target acquisition and tracking using a generalized hough transform for missile guidance |
KR20090092906A (ko) * | 2008-02-28 | 2009-09-02 | 숭실대학교산학협력단 | 카메라 영상의 선분 세그먼트 기반 임의 허프변환을 이용한실시간 자동 원형물체 검출 시스템의 구현 |
CN102147857A (zh) * | 2011-03-22 | 2011-08-10 | 黄晓华 | 利用改进霍夫变换进行类圆形检测的图像处理方法 |
US8249387B2 (en) * | 2008-03-31 | 2012-08-21 | Sungkyunkwan University Foundation For Corporate Collaboration | Image processing method and apparatus for detecting lines of images and start and end points of lines |
CN102831578A (zh) * | 2011-06-15 | 2012-12-19 | 富士通株式会社 | 图像处理方法和图像处理设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3027680B2 (ja) * | 1994-02-23 | 2000-04-04 | 松下電工株式会社 | 部品認識方法 |
JP2007183999A (ja) * | 1998-04-07 | 2007-07-19 | Omron Corp | 画像処理装置および方法,画像処理のためのプログラムを記憶した媒体,ならびに検査装置 |
JP4042780B2 (ja) * | 2005-11-04 | 2008-02-06 | オムロン株式会社 | 物体認識方法、物体認識用のプログラムならびにその記憶媒体、および物体認識装置 |
JP5290229B2 (ja) * | 2010-03-30 | 2013-09-18 | セコム株式会社 | 学習装置及び対象物検知装置 |
-
2013
- 2013-10-24 CN CN201310508594.2A patent/CN104574434B/zh active Active
-
2014
- 2014-10-10 JP JP2014208473A patent/JP6428130B2/ja not_active Expired - Fee Related
- 2014-10-21 EP EP14189700.9A patent/EP2866171A3/en not_active Withdrawn
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7444002B2 (en) * | 2004-06-02 | 2008-10-28 | Raytheon Company | Vehicular target acquisition and tracking using a generalized hough transform for missile guidance |
KR20090092906A (ko) * | 2008-02-28 | 2009-09-02 | 숭실대학교산학협력단 | 카메라 영상의 선분 세그먼트 기반 임의 허프변환을 이용한실시간 자동 원형물체 검출 시스템의 구현 |
US8249387B2 (en) * | 2008-03-31 | 2012-08-21 | Sungkyunkwan University Foundation For Corporate Collaboration | Image processing method and apparatus for detecting lines of images and start and end points of lines |
CN102147857A (zh) * | 2011-03-22 | 2011-08-10 | 黄晓华 | 利用改进霍夫变换进行类圆形检测的图像处理方法 |
CN102831578A (zh) * | 2011-06-15 | 2012-12-19 | 富士通株式会社 | 图像处理方法和图像处理设备 |
Non-Patent Citations (5)
Title |
---|
A.A. KASSIM 等: "A comparative study of efficient generalised Hough transform techniques", 《IMAGE AND VISION COMPUTING》 * |
D.H.BALLARD 等: "Generalizing the Hough Transform to Detect Arbitrary Shapes", 《PATTERN RECOGNITION》 * |
LARRY S. DAVIS: "HIERARCHICAL GENERALIZED HOUGH TRANSFORMS AND LINE-SEGMENT BASED GENERALIZED HOUGH TRANSFORMS", 《PATTERN RECOGNITION》 * |
SHENG-CHING JENG 等: "Scale and Orientation Invariant Generalized Hough Transform-A New Approach", 《PATTERN RECOGNITION》 * |
秦开怀 等: "一种基于 Hough变换的圆和矩形的快速检测方法", 《中国图象图形学报》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106296628A (zh) * | 2015-05-11 | 2017-01-04 | 株式会社理光 | 检测异常情形的方法和装置 |
CN106296628B (zh) * | 2015-05-11 | 2019-03-05 | 株式会社理光 | 检测异常情形的方法和装置 |
CN107368837A (zh) * | 2016-05-13 | 2017-11-21 | 株式会社理光 | 对象检测方法和对象检测装置 |
CN107368837B (zh) * | 2016-05-13 | 2020-08-04 | 株式会社理光 | 对象检测方法和对象检测装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6428130B2 (ja) | 2018-11-28 |
EP2866171A3 (en) | 2015-05-20 |
CN104574434B (zh) | 2017-09-29 |
EP2866171A2 (en) | 2015-04-29 |
JP2015082323A (ja) | 2015-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10198623B2 (en) | Three-dimensional facial recognition method and system | |
CN109711243B (zh) | 一种基于深度学习的静态三维人脸活体检测方法 | |
US10217007B2 (en) | Detecting method and device of obstacles based on disparity map and automobile driving assistance system | |
CN104596929B (zh) | 确定空气质量的方法及设备 | |
CN104599287B (zh) | 对象跟踪方法和装置、对象识别方法和装置 | |
CN106033601B (zh) | 检测异常情形的方法和装置 | |
CN105096307B (zh) | 在成对的立体图像中检测物体的方法 | |
CN111460922A (zh) | 共享车辆停放区域三维模型图像识别停放是否合理的系统 | |
CN109344804A (zh) | 一种激光点云数据的识别方法、装置、设备和介质 | |
JP5538868B2 (ja) | 画像処理装置、その画像処理方法及びプログラム | |
CN105740910A (zh) | 一种车辆物件检测方法及装置 | |
CN104574434A (zh) | 物体检测方法和装置 | |
CN105913013A (zh) | 双目视觉人脸识别算法 | |
CN108229375B (zh) | 用于检测人脸图像的方法和装置 | |
CN111242925B (zh) | 针对ct影像数据的目标检测方法、装置及电子设备 | |
CN101510295B (zh) | 基于PCIe和Vision Assistant的机器视觉系统的设计方法 | |
CN108052909B (zh) | 一种基于心血管oct影像的薄纤维帽斑块自动检测方法和装置 | |
CN115035546B (zh) | 三维人体姿态检测方法、装置及电子设备 | |
CN110675442B (zh) | 一种结合目标识别技术的局部立体匹配方法及系统 | |
CN115965934A (zh) | 一种停车位检测方法及装置 | |
CN109697409B (zh) | 一种运动图像的特征提取方法及起立动作图像的识别方法 | |
CN104299219A (zh) | 物体检测方法和装置 | |
CN114445843A (zh) | 固定版式的卡证图像文字识别方法和装置 | |
Huang et al. | Multi‐class obstacle detection and classification using stereovision and improved active contour models | |
CN108682021A (zh) | 快速手部跟踪方法、装置、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |