CN104969261B - 用于检测移动物体的方法和系统 - Google Patents

用于检测移动物体的方法和系统 Download PDF

Info

Publication number
CN104969261B
CN104969261B CN201380072134.8A CN201380072134A CN104969261B CN 104969261 B CN104969261 B CN 104969261B CN 201380072134 A CN201380072134 A CN 201380072134A CN 104969261 B CN104969261 B CN 104969261B
Authority
CN
China
Prior art keywords
feature point
group
point group
correlation
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380072134.8A
Other languages
English (en)
Other versions
CN104969261A (zh
Inventor
周允
洪初阳
张燕昆
诺曼·韦里奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Crown Audio Inc
Original Assignee
Crown Audio Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Crown Audio Inc filed Critical Crown Audio Inc
Publication of CN104969261A publication Critical patent/CN104969261A/zh
Application granted granted Critical
Publication of CN104969261B publication Critical patent/CN104969261B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种移动物体检测方法。所述方法可包括:基于多个视频帧识别多个特征点;基于所述多个特征点之间的相关性从所述多个特征点中进行选择来形成第一特征点组和第二特征点组;以及分别基于所述第一特征点组和所述第二特征点组在至少一个视频帧中识别两个片段来作为检测到的移动物体,其中两个特征点之间的相关性可包括距离分量和移动差异分量,其中所述距离分量与所述两个特征点之间的距离相关,并且所述移动差异分量与所述两个特征点的对应移动之间的差异相关。本发明还提供一种移动物体检测系统。

Description

用于检测移动物体的方法和系统
技术领域
本申请大体涉及移动物体检测方法和移动物体检测系统。
背景技术
如今,有许多基于图像的检测方法来检测移动物体(如行人和车辆),并且这些方法可以用来检测车辆周围的移动物体并且提醒驾驶员检测到的移动物体,因此降低交通事故的可能性。但是,常规检测方法使用迭代算法来减少误判,所述迭代算法的计算是复杂的。因此,需要更有效的移动物体检测方法和系统。
发明内容
在一个实施方案中,提供一种移动物体检测方法。移动物体检测方法可包括:基于多个视频帧识别多个特征点;基于多个特征点之间的相关性从多个特征点中进行选择来形成第一特征点组和第二特征点组;以及基于第一特征点组和第二特征点组在至少一个视频帧中识别两个片段,来作为检测到的移动物体,其中两个特征点之间的相关性可包括距离分量和移动差异分量,其中距离分量与两个特征点之间的距离相关,并且移动差异分量与两个特征点的对应移动之间的差异相关。
在一些实施方案中,可根据方程式(1)计算两个特征点之间的相关性:
其中C12表示两个特征点P1和P2之间的相关性;
ds12表示两个特征点之间的距离;
dv12表示两个特征点的移动差异;并且
σdis和σv分别表示距离和移动的统计方差。
在一些实施方案中,如果ds12大于σdis,或者如果dv12大于σv的两倍,那么相关性C12可设为零。这样,可避免对具有“松散”关系的特征点的相关性计算,因此减少计算的工作量和复杂性。
在一些实施方案中,σdis可设为在的范围中的值,其中W表示视频帧的宽度,并且H表示视频帧的高度。在一些实施方案中,σv可设为在6到10范围中的值。
在一些情况下,不同的组可具有共同特征点。在一些实施方案中,所述方法还包括:如果第一组和第二组具有共同特征点,那么通过以下操作将共同特征点分类到第一组和第二组中的一个:从第一特征点组中识别第一基准点,所述第一基准点具有与第一组的其它特征点的相关性的最大总和;从第二特征点组中识别第二基准点,所述第二基准点具有与第二组的其它特征点的相关性的最大总和;以及将共同特征点分类到第一组和第二组中的一个来获得更新的第一特征点组和第二特征点组,所述一个组的基准点与共同特征点有较大的相关性,其中基于更新的第一特征点组和第二特征点组可识别两个片段。
在一些实施方案中,还可通过以下操作来识别第一基准点:针对第一组的每一个特征点计算所述特征点与第一组的其他特征点的相关性的总和;在第一组中识别预定比例的具有相关性的最大总和的特征点;针对预定比例的特征点中的每一个特征点计算所述特征点与预定比例的特征点中的其它特征点的相关性的总和;以及识别第一基准点,所述第一基准点具有与预定比例的特征点中的其它特征点的相关性的最大总和。可使用同一方法来识别第二基准点。
在一些实施方案中,预定比例的特征点可以是第一组中的特征点的数量的一半。可根据如计算工作量等的特定条件和需求来设定所述比例的值。
在一些实施方案中,可使用表示用于捕获视频帧的摄像机的移动的基本矩阵来改善移动物体的检测。在一些实施方案中,所述方法还包括:使用以RANSAC为基础的单应性识别优势面;基于优势面上的特征点计算基本矩阵;以及确定更新的第一特征点组和第二特征点组的移动是否遵循基本矩阵,如果特征点组的移动遵循基本矩阵,那么将基于所述特征点组来识别的物体归类为静态物体。
在一个实施方案中,提供一种移动物体检测方法。移动物体检测方法可包括:基于多个视频帧识别多个特征点;基于多个特征点之间的相关性从多个特征点中进行选择来形成特征点组;以及基于特征点组在至少一个视频帧中识别一个片段来作为检测到的移动物体,其中两个特征点之间的相关性可包括距离分量和移动差异分量,其中距离分量与两个特征点之间的距离相关,并且移动差异分量与两个特征点的对应移动之间的差异相关。
在本申请的一个实施方案中,提供一种移动物体检测系统。移动物体检测系统可包括处理设备,所述处理设备被配置来:基于多个视频帧识别多个特征点;基于多个特征点之间的相关性从多个特征点中进行选择来形成第一特征点组和第二特征点组;并且基于第一特征点组和第二特征点组在至少一个视频帧中识别两个片段来作为检测到的移动物体,其中两个特征点之间的相关性可包括距离分量和移动差异分量,其中距离分量与两个特征点之间的距离相关,并且移动差异分量与两个特征点的对应移动之间的差异相关。
在一些实施方案中,移动物体检测系统可还包括用于捕获视频帧的摄像机。
在一些实施方案中,可根据方程式(1)计算两个特征点之间的相关性:
其中C12表示两个特征点P1和P2之间的相关性;
ds12表示两个特征点之间的距离;
dv12表示两个特征点的移动差异;并且
σdis和σv分别表示距离和移动的统计方差。
在一些实施方案中,如果ds12大于σdis,或者如果dv12大于σv的两倍,那么相关性C12可设为零。这样,可避免对具有“松散”关系的特征点的相关性计算,因此减少计算的工作量和复杂性。
在一些实施方案中,σdis可设为在的范围中的值,其中W表示视频帧的宽度,并且H表示视频帧的高度。在一些实施方案中,σv可设为在6到10范围中的值。
在一些情况下,不同的组可具有共同特征点。在一些实施方案中,处理设备还可被配置来:检查第一组和第二组是否具有共同特征点,如果有,那么从第一特征点组中识别第一基准点,所述第一基准点具有与第一组的其它特征点的相关性的最大总和;从第二特征点组中识别第二基准点,所述第二基准点具有与第二组的其它特征点的相关性的最大总和;并且将共同特征点分类到第一组和第二组中的一个来获得更新的第一特征点组和第二特征点组,所述一个组的基准点与共同特征点有较大的相关性,其中基于更新的第一特征点组和第二特征点组可识别两个片段。
在一些实施方案中,处理设备还可被配置来:检查第一组和第二组是否具有共同特征点,如果有,那么针对第一组的每一个特征点计算所述特征点与第一组的其他特征点的相关性的总和;在第一组中识别预定比例的具有相关性的最大总和的特征点来获得第三特征点组;针对第三特征点组的每一个特征点计算所述特征点与第三特征点组的其它特征点的相关性的总和;针对第一组识别第一基准点,所述第一基准点具有与第三特征点组的其它特征点的相关性的最大总和;针对第二组的每一个特征点计算所述特征点与第二组的其他特征点的相关性的总和;在第二组中识别预定比例的具有相关性的最大总和的特征点来获得第四特征点组;针对第四特征点组的每一个特征点计算所述特征点与第四特征点组的其它特征点的相关性的总和;针对第二组识别第二基准点,所述第二基准点具有与第四特征点组的其它特征点的相关性的最大总和;并且将共同特征点分类到第一组和第二组中的一个来获得更新的第一特征点组和第二特征点组,所述一个组的基准点与共同特征点有较大的相关性,其中基于更新的第一特征点组和第二特征点组可识别两个片段。
在一些实施方案中,预定比例的特征点可以是第一组中的特征点的数量的一半。可根据如计算工作量等的特定条件和需求来设定所述比例的值。
在一些实施方案中,可使用表示用于捕获视频帧的摄像机的移动的基本矩阵来改善移动物体的检测。在一些实施方案中,处理设备还可被配置来:使用以RANSAC为基础的单应性识别优势面;基于优势面上的特征点计算基本矩阵;并且如果特征点组的移动遵循基本矩阵,那么将基于特征点组来识别的物体归类为静态物体。
在本申请的一个实施方案中,提供一种移动物体检测系统。移动物体检测系统可包括处理设备,所述处理设备被配置来:基于多个视频帧识别多个特征点;基于多个特征点之间的相关性从多个特征点中进行选择来形成特征点组;并且基于特征点组在至少一个视频帧中识别一个片段来作为检测到的移动物体,其中两个特征点之间的相关性可包括距离分量和移动差异分量,其中距离分量与两个特征点之间的距离相关,并且移动差异分量与两个特征点的对应移动之间的差异相关。
在本申请的一个实施方案中,提供一种移动物体检测系统。移动物体检测系统可包括处理设备,所述处理设备用于:基于多个视频帧识别多个特征点;基于多个特征点之间的相关性从多个特征点中进行选择来形成第一特征点组和第二特征点组;以及基于第一特征点组和第二特征点组在至少一个视频帧中识别两个片段来作为检测到的移动物体,其中两个特征点之间的相关性可包括距离分量和移动差异分量,其中距离分量与两个特征点之间的距离相关,并且移动差异分量与两个特征点的对应移动之间的差异相关。
在本申请的一个实施方案中,提供一种移动物体检测系统。移动物体检测系统可包括处理设备,所述处理设备用于:基于多个视频帧识别多个特征点;基于多个特征点之间的相关性从多个特征点中进行选择来形成第一特征点组和第二特征点组;检查第一特征点组和第二特征点组是否具有共同特征点,如果有,那么从第一特征点组中识别第一基准点,所述第一基准点具有与第一组的其它特征点的相关性的最大总和;从第二特征点组中识别第二基准点,所述第二基准点具有与第二组的其它特征点的相关性的最大总和;以及将共同特征点分类到第一组和第二组中的一个来获得没有共同特征点的更新的第一特征点组和第二特征点组,所述一个组的基准点与共同特征点有较大的相关性;并且基于更新的第一特征点组和第二特征点组分别在至少一个视频帧中识别两个片段来作为检测到的移动物体。
在本申请的一个实施方案中,提供一种计算机可读介质,所述计算机可读介质中存储有用于检测移动物体的计算机程序。当处理器执行计算机程序时,可命令处理器实施移动物体检测方法,所述方法包括:基于多个视频帧识别多个特征点;基于多个特征点之间的相关性从多个特征点中进行选择来形成第一特征点组和第二特征点组;以及基于第一特征点组和第二特征点组在至少一个视频帧中识别两个片段来作为检测到的移动物体,其中两个特征点之间的相关性可包括距离分量和移动差异分量,其中距离分量与两个特征点之间的距离相关,并且移动差异分量与两个特征点的对应移动之间的差异相关。
在本申请的一个实施方案中,提供一种计算机可读介质,所述计算机可读介质中存储有用于检测移动物体的计算机程序。当处理器执行计算机程序时,可命令处理器实施移动物体检测方法,所述方法包括:基于多个视频帧识别多个特征点;基于多个特征点之间的相关性从多个特征点中进行选择来形成特征点组;以及基于特征点组在至少一个视频帧中识别一个片段来作为检测到的移动物体,其中两个特征点之间的相关性可包括距离分量和移动差异分量,其中距离分量与两个特征点之间的距离相关,并且移动差异分量与两个特征点的对应移动之间的差异相关。
在本申请的一个实施方案中,提供一种计算机可读介质,所述计算机可读介质中存储有用于检测移动物体的计算机程序。当处理器执行计算机程序时,可命令处理器实施移动物体检测方法,所述方法包括:基于多个视频帧识别多个特征点;基于多个特征点之间的相关性从多个特征点中进行选择来形成第一特征点组和第二特征点组;检查第一特征点组和第二特征点组是否具有共同特征点,如果有,那么基于共同特征点与第一特征点组和第二特征点组的相关性将共同特征点分类到第一组或第二组中,来获得没有共同特征点的更新的第一特征点组和第二特征点组;以及在至少一个视频帧中识别由更新的第一特征点组和第二特征点组定义的两个片段来作为检测到的移动物体。
与常规方法相比,本申请的方法具有较低的计算复杂性,因此提高移动物体检测的效率。
附图说明
本公开的前述和其它特征将从以下结合附图进行的描述和所附权利要求书变得更充分明显。应理解,这些图仅描绘根据本公开的一些实施方案,且因此不应被视为对本公开范围的限制,因而将通过使用附图来更特定且更详细地描述本公开。
图1示出根据本申请的一个实施方案的移动物体检测方法的示意性流程图;
图2示出根据本申请的一个实施方案的用于在第一组中识别第一基准点的方法的示意性流程图;
图3示出根据本申请的一个实施方案的用于在第一组中识别第一基准点的方法的示意性流程图;
图4示出具有共同特征点的两个特征点组的实例;
图5示出表1,所述表1展示特征点与如图4中所示出的组的基准点的相关性;以及
图6示出没有共同特征点的两个更新的组的实例。
具体实施方式
在以下详述中,参考附图,所述附图形成本发明的一部分。在附图中,除非上下文另外指明,否则类似的符号通常标识类似的部件。在详细描述、附图以及权利要求书中所描述的说明性实施方案并不意图具有限制性。在不脱离本文提出的主题的精神或范围的情况下,可使用其它实施方案并且可做出其它改变。将容易理解的是,如本文中大体所描述和图中所示出的本公开的各方面可以多种不同的配置加以布置、替换、组合和设计,所有这些不同的配置都被本公开明确涵盖并且成为本公开的一部分。
参照图1,示出根据本申请的一个实施方案的移动物体检测方法S10的示意性流程图。
在S11中,获得多个视频帧。在一些实施方案中,当使用所述方法来检测车辆周围的移动物体时,可使用安装在车辆上的单目摄影机来捕获视频帧以用于移动物体检测。在一些实施方案中,可在均匀间隔的时间点捕获多个视频帧。在一些实施方案中,可按预定时间间隔捕获多个视频帧。
在S12中,基于多个视频帧识别多个特征点。在一些实施方案中,可通过使用特征点检测和追踪法来识别多个特征点。
在一些实施方案中,可使用由Tomasi和Shi提议的“良好追踪特征”方法来从视频帧中检测多个特征点。在一些实施方案中,可使用Kanade-Lucas-Tomasi(KLT)追踪法来从多个视频帧中追踪检测到的特征点。上文提到的特征点检测和追踪法是本领域技术人员熟知的,并且未在本文中详细描述。除了“良好追踪特征”方法和KLT追踪法,可使用其它特征点检测和追踪法。
在S13中,计算基本矩阵。
在一些实施方案中,可使用表示用于捕获视频帧的摄像机的移动的基本矩阵来改善移动物体的检测。在一些实施方案中,可使用以RANSAC为基础的单应性来识别静态特征点组。然后可基于所述静态特征点组计算摄像机借助于延伸焦点的移动,所述移动由基本矩阵表示。因为基本矩阵的计算在本领域中是熟知的,所以未在本文中详细描述。
在S14中,基于两个特征点的距离和移动差异计算每两个特征点的相关性。
在一些实施方案中,可在视频帧中随机选择特征点P1(x1n,y1n)和P2(x2n,y2n),其中(x1n,y1n)表示P1的坐标,(x2n,y2n)表示P2的坐标,并且n表示对应的所追踪视频帧的帧索引。在一些实施方案中,可根据方程式(1)计算两个特征点P1和P2之间的相关性C12
其中运算符‘exp’表示指数函数;
ds12表示两个特征点P1和P2之间的欧几里得距离,所述欧几里得距离由ds12=(x1n-x2n)2+(y1n-y2n)2给出;
dv12表示特征点P1和P2之间的累积运动矢量差异,所述累积运动矢量差异由方程式(2)给出:
其中表示P1的运动矢量,并且表示P2的运动矢量;(x1j+1,y1j+1)和(x2j+1,y2j+1)分别是帧索引为j+1的视频帧中的P1和P2的坐标;并且(x1j,y1j)和(x2j,y2j)分别是帧索引为j的视频帧中的P1和P2的坐标;并且
σdis和σv分别表示距离和运动矢量的统计方差。
在一些实施方案中,除了欧几里得距离,ds12也可以是绝对距离和(SAD)和平方距离和(SSD)。在一些实施方案中,dv12也可以是运动矢量的12范数距离或运动矢量的正规化内积。
在S15中,基于计算出的相关性从多个特征点中进行选择来形成第一特征点组和第二特征点组。在一些实施方案中,形成组以使得所述组中的每两个特征点具有大于零的相关性。在一些实施方案中,可形成组以使得所述组中的每两个特征点具有大于预定值的相关性。
在一些实施方案中,如果两个特征点之间的距离大于预定的第一阈值,或者如果两个特征点之间的移动差异大于预定的第二阈值,那么两个特征点的相关性可设为零。
在一些实施方案中,如果ds12大于σdis(ds12dis),那么相关性C12可设为零。
应注意的是,可基于所捕获视频帧的分辨率来设定σdis。在一些实施方案中,σdis可设为在的范围中的值,其中W表示视频帧的宽度,并且H表示视频帧的高度。可基于所捕获视频帧的分辨率来改变σdis的动态范围。
在一些实施方案中,如果dv12大于σv(dv12>2σv)的两倍,那么相关性C12可设为零。
在一些实施方案中,可基于车辆的速度来设定σv。在一些实施方案中,如果车辆在低速(例如小于或等于20km/h)行驶,那么可将σv设定为在6到10的范围中的值。
通过这样做,如果两个特征点P1和P2具有“松散关系”,例如ds12dis或dv12>2σv,那么可以不计算两个特征点P1和P2的相关性C12,因此减少计算量。
在一些实施方案中,两个不同的组可具有共同特征点。本申请的一个实施方案还提供一种用于将共同特征点分类到第一组和第二组中的一个中的方法,所述方法在S16到S18中示出。
在S16中,从第一特征点组中识别第一基准点,所述第一基准点可大致表示第一特征点组的位置和移动。
在一些实施方案中,如果具有相关性的最大总和的特征点可充当基准点。基准点可大致表示基准点所属的组的位置和移动。在一些实施方案中,如果特征点Pj可大致表示组G,那么它应满足能量最大化,其可表达为方程式(3)
其中“argmax”代表最大幅角,也就是函数达到它的最大值时给定幅角的点集。
图2示出根据本申请的一个实施方案的用于在第一组中识别第一基准点的方法S16的示意性流程图。方法S16包括:在S1601中,针对第一组的每一个特征点计算所述特征点与第一组的其它特征点的相关性的总和;在S1602中,识别具有与第一组的其它特征点的相关性的最大总和的第一基准点。
在S17中,从第二特征点组中识别可大致表示第二特征点组的位置和移动的第二基准点。
识别第二组的第二基准点类似于识别第一组的第一基准点,并且未在本文中详细描述。
因为视频帧可能包含会影响识别一个组的基准点的准确性的一些“不相干的”信息(如噪声点),所以需要用于识别特征点组的基准点的更稳健方法。图3示出用于识别第一组中的第一基准点的另一种方法的示意性流程图。
参照图3,在S1611中,针对第一组的每一个特征点计算所述特征点与第一组的其它特征点的相关性的总和。为了更好的理解,假定第一组包括N个特征点。
在S1612中,在第一组中识别预定比例的具有相关性的最大总和的特征点。可根据如计算工作量等的特定条件和需求设定所述比例的值。在一些实施方案中,根据在S1611中的计算结果,可选择第一组中具有相关性的最大总和的M个特征点,其中M小于N。在一些实施方案中,M可以是N的一半。
在S1613中,针对预定比例的特征点中的每一个特征点计算所述特征点与预定比例的特征点中的其它特征点的相关性的总和。换句话说,计算M个特征点中的每一个特征点与M个特征点中的其它特征点的相关性的总和。
在S1614中,识别第一基准点,所述第一基准点具有与预定比例的特征点中的其它特征点的相关性的最大总和。第一基准点可大致表示第一组的位置和移动。
通过S1611到S1614,可减少由噪声点导致的干扰。应注意的是,S1611到S1614也可用来识别第二基准点。
图4示出具有共同特征点的两个组的实例。参照图4,有两个组(例如,G1和G2),其中特征点P2是组G1和G2的共同特征点。如果两个特征点组具有共同特征点,那么对应于两个组的检测到的移动物体将具有重叠区域。为了更清楚地分割移动物体,需要将共同特征点分类到仅一个组中。
图5示出表1,所述表1展示特征点P1到P3与如图4中所示出的两个组的基准点的相关性。在表1中,L1和L2分别表示组G1和G2的基准点。P1到P3与组G1和G2的相关性可分别由P1到P3与基准点L1和L2的相关性来表示。
以P2为例,P2与两个基准点L1和L2的相关性可以是C2L1和C2L2,可使用方程式(1)计算C2L1和C2L2。因为P2属于组G1和G2,所以C2L1和C2L2不等于零。因为P1不属于组G2并且P3不属于组G1,所以C1L2和C3L1等于零。
在S18中,将共同基准点分类到第一组或第二组中的一个中,所述一个组的基准点与共同特征点有较大的相关性。
在一些实施方案中,如果将特征点分类到多个组中的一个中,所述特征点是所述多个组的共同特征点,那么所述特征点应满足相关性最大化,其可表示为方程式(4):
其中‘argmax’代表最大幅角,也就是函数Cpl达到它的最大值时给定幅角的点集;并且
Cpl表示特征点P与特征点P所属的组的基准点的相关性。
在一些实施方案中,如果多个组具有共同特征点,那么可将所述共同特征点分类到多个组中的一个中来获得没有共同特征点的多个更新的组,所述一个组的基准点具有与共同特征点的最大相关性。
图6示出没有共同特征点的两个更新的组的实例。对于P2,假定C2L2大于C2L1,P2被识别为属于组G2。
应注意的是,如果在不同的组之间没有共同特征点,那么S16到S18是任选的。在这种情况下,可根据第一特征点组和第二特征点组在至少一个视频帧中识别第一移动物体和第二移动物体。
在S19中,通过确定这些特征点组是否遵循基本矩阵来确定基于没有共同特征点的更新的第一特征点组和第二特征点组来识别的物体中的任一个是否是静态的。
本申请的发明人发现,在移动物体的分割完成后将基本矩阵应用于特征点组,可增加检测率,因此提高移动物体检测的效率。
在一些实施方案中,如果第一特征点组的移动遵循基本矩阵,那么将第一特征点组识别为静态点。否则,如果第一特征点组的移动不遵循基本矩阵,那么将第一特征点组识别为移动点。也可将基本矩阵应用于第二特征点组来改善第二移动物体的检测。
例如,可将基本矩阵应用于图6中的组G1’、G2’和G3’。应注意的是,如果不需要改善移动物体的检测,那么S20是任选的。
在一些实施方案中,迭代算法可用于本申请的方法,以便改善移动物体的检测。但是,根据实验结果,本申请的发明人发现,没有迭代的本申请的方法可以大致满足移动物体检测的需要。因此,与常规领域相比,计算的工作量和复杂性显著减少并且移动物体检测的效率大大提高。
根据本公开的实施方案的方法可在移动物体检测系统中实施。在一些实施方案中,移动物体检测系统可安装在车辆上来检测车辆附近的移动物体。
移动物体检测系统可包括摄像机和处理设备。摄像机适合于捕获多个视频帧。处理设备可被配置来执行根据本公开的实施方案的上述方法。在一些实施方案中,处理设备可以是CPU、GPU、DSP等,或其任何组合。在一些实施方案中,处理单元可以是多个计算部件与其它部件的组合。
虽然已在本文中公开各个方面和实施方案,但是本领域技术人员将清楚其它的方面和实施方案。本文公开的各个方面和实施方案是出于示出目的并且不意图具有限制性,而真实的范围和精神是由以下权利要求书来指示。

Claims (18)

1.一种移动物体检测方法,其包括:
基于多个视频帧识别多个特征点;
基于所述多个特征点之间的相关性从所述多个特征点中进行选择来形成第一特征点组和第二特征点组;
检查所述第一特征点组和所述第二特征点组是否具有共同特征点;
如果有,从所述第一特征点组中识别第一基准点,从所述第二特征点组中识别第二基准点;
将所述共同特征点分类到所述第一特征点组和所述第二特征点组中的一个组来获得更新的第一特征点组和更新的第二特征点组,所述第一特征点组和所述第二特征点组中的所述一个组的基准点与所述共同特征点的相关性最大;以及
分别基于所述更新的第一特征点组和所述更新的第二特征点组在至少一个视频帧中识别两个片段来作为检测到的移动物体,
其中两个特征点之间的相关性包括距离分量和移动差异分量,其中所述距离分量与所述两个特征点之间的距离相关,并且所述移动差异分量与所述两个特征点的对应移动之间的差异相关。
2.根据权利要求1所述的方法,其中根据方程式(1)计算两个特征点之间的相关性:
其中C12表示两个特征点P1和P2之间的相关性;
ds12表示所述两个特征点之间的距离;
dv12表示所述两个特征点的移动差异;并且
σdis和σv分别表示距离和移动的统计方差。
3.根据权利要求2所述的方法,其中如果ds12大于σdis,或者如果dv12大于σv的两倍,那么所述相关性C12被设为零。
4.根据权利要求3所述的方法,其中σdis被设为在的范围中的值,其中W表示所述视频帧的宽度,并且H表示所述视频帧的高度。
5.根据权利要求3所述的方法,其中σv被设为在6到10的范围中的值。
6.根据权利要求1所述的方法,其中所述第一基准点具有与所述第一特征点组的其它特征点的相关性的最大总和,
所述第二基准点具有与所述第二特征点组的其它特征点的相关性的最大总和。
7.根据权利要求1所述的方法,其还包括:
如果所述第一特征点组和所述第二特征点组具有共同特征点,
那么针对所述第一特征点组的每一个特征点计算所述特征点与所述第一特征点组的其它特征点的相关性的总和;
从所述第一特征点组中识别预定比例的具有相关性的最大总和的特征点来获得第三特征点组;
针对所述第三特征点组的每一个特征点计算所述特征点与所述第三特征点组的其它特征点的相关性的总和;
针对所述第一特征点组识别所述第一基准点,所述第一基准点具有与所述第三特征点组的其它特征点的相关性的最大总和;
针对所述第二特征点组的每一个特征点计算所述特征点与所述第二特征点组的其它特征点的相关性的总和;
从所述第二特征点组中识别预定比例的具有相关性的最大总和的特征点来获得第四特征点组;
针对所述第四特征点组的每一个特征点计算所述特征点与所述第四特征点组的其它特征点的相关性的总和;以及
针对所述第二特征点组识别所述第二基准点,所述第二基准点具有与所述第四特征点组的其它特征点的相关性的最大总和。
8.根据权利要求7所述的方法,其中所述预定比例是50%。
9.根据权利要求1所述的方法,其还包括:
使用以RANSAC为基础的单应性识别优势面;
基于所述优势面上的特征点计算基本矩阵;以及
确定所述第一特征点组和所述第二特征点组的移动是否遵循所述基本矩阵,如果特征点组的移动遵循所述基本矩阵,那么将基于所述特征点组来识别的物体分类为静态物体。
10.一种移动物体检测系统,其包括:
摄像机;以及
处理设备,其被配置来:
基于由所述摄像机捕获的多个视频帧识别多个特征点;
基于所述多个特征点之间的相关性从所述多个特征点中进行选择来形成第一特征点组和第二特征点组;
检查所述第一特征点组和所述第二特征点组是否具有共同特征点;
如果有,从所述第一特征点组中识别第一基准点,从所述第二特征点组中识别第二基准点;
将所述共同特征点分类到所述第一特征点组和所述第二特征点组中的一个组来获得更新的第一特征点组和更新的第二特征点组,所述第一特征点组和所述第二特征点组中的所述一个组的基准点与所述共同特征点的相关性最大;并且
分别基于所述更新的第一特征点组和所述更新的第二特征点组在至少一个视频帧中识别两个片段来作为检测到的移动物体,
其中两个特征点之间的相关性包括距离分量和移动差异分量,其中所述距离分量与所述两个特征点之间的距离相关,并且所述移动差异分量与所述两个特征点的对应移动之间的差异相关。
11.根据权利要求10所述的移动物体检测系统,其中根据方程式(1)计算两个特征点之间的相关性:
其中C12表示两个特征点P1和P2之间的相关性;
ds12表示所述两个特征点之间的距离;
dv12表示所述两个特征点的移动差异;并且
σdis和σv分别表示距离和移动的统计方差。
12.根据权利要求11所述的移动物体检测系统,其中如果ds12大于σdis,或者如果dv12大于σv的两倍,那么所述相关性C12被设为零。
13.根据权利要求12所述的移动物体检测系统,其中σdis被设为在的范围中的值,其中W表示所述视频帧的宽度,并且H表示所述视频帧的高度。
14.根据权利要求12所述的移动物体检测系统,其中σv被设为在6到10的范围中的值。
15.根据权利要求10所述的移动物体检测系统,其中所述第一基准点具有与所述第一特征点组的其它特征点的相关性的最大总和,
所述第二基准点具有与所述第二特征点组的其它特征点的相关性的最大总和。
16.根据权利要求10所述的移动物体检测系统,其中所述处理设备还被配置来:
如果所述第一特征点组和所述第二特征点组具有共同特征点,
那么针对所述第一特征点组的每一个特征点计算所述特征点与所述第一特征点组的其它特征点的相关性的总和;
从所述第一特征点组中识别预定比例的具有相关性的最大总和的特征点来获得第三特征点组;
针对所述第三特征点组的每一个特征点计算所述特征点与所述第三特征点组的其它特征点的相关性的总和;
针对所述第一特征点组识别所述第一基准点,所述第一基准点具有与所述第三特征点组的其它特征点的相关性的最大总和;
针对所述第二特征点组的每一个特征点计算所述特征点与所述第二特征点组的其它特征点的相关性的总和;
从所述第二特征点组中识别预定比例的具有相关性的最大总和的特征点来获得第四特征点组;
针对所述第四特征点组的每一个特征点计算所述特征点与所述第四特征点组的其它特征点的相关性的总和;以及
针对所述第二特征点组识别所述第二基准点,所述第二基准点具有与所述第四特征点组的其它特征点的相关性的最大总和。
17.根据权利要求16所述的移动物体检测系统,其中所述预定比例是50%。
18.根据权利要求10所述的移动物体检测系统,其中处理设备还被配置来:
使用以RANSAC为基础的单应性识别优势面;
基于所述优势面上的特征点计算基本矩阵;并且
确定所述第一特征点组和所述第二特征点组的移动是否遵循所述基本矩阵,如果特征点组的移动遵循所述基本矩阵,那么将基于所述特征点组来识别的物体分类为静态物体。
CN201380072134.8A 2013-02-04 2013-02-04 用于检测移动物体的方法和系统 Active CN104969261B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/071335 WO2014117403A1 (en) 2013-02-04 2013-02-04 Method and system for detecting moving objects

Publications (2)

Publication Number Publication Date
CN104969261A CN104969261A (zh) 2015-10-07
CN104969261B true CN104969261B (zh) 2018-07-10

Family

ID=51261448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380072134.8A Active CN104969261B (zh) 2013-02-04 2013-02-04 用于检测移动物体的方法和系统

Country Status (5)

Country Link
US (1) US9852341B2 (zh)
EP (1) EP2951783B1 (zh)
JP (1) JP6139706B2 (zh)
CN (1) CN104969261B (zh)
WO (1) WO2014117403A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9852341B2 (en) * 2013-02-04 2017-12-26 Harman International Industries, Incorporation Method and system for detecting moving objects
US10957068B2 (en) * 2017-01-06 2021-03-23 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same
JP6894707B2 (ja) * 2017-01-06 2021-06-30 キヤノン株式会社 情報処理装置およびその制御方法、プログラム
WO2018220681A1 (ja) * 2017-05-29 2018-12-06 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
DE102017113794A1 (de) * 2017-06-22 2018-12-27 Connaught Electronics Ltd. Klassifizierung statischer und dynamischer Bildsegmente in einer Fahrerassistenzvorrichtung eines Kraftfahrzeugs
CN109325962B (zh) * 2017-07-31 2022-04-12 株式会社理光 信息处理方法、装置、设备以及计算机可读存储介质
WO2019108905A1 (en) * 2017-11-30 2019-06-06 University Of Kansas Fatigue crack detection using feature tracking
JP7206938B2 (ja) * 2019-01-18 2023-01-18 株式会社デンソーテン 移動量算出装置
CN109977322B (zh) * 2019-03-05 2021-03-23 百度在线网络技术(北京)有限公司 出行方式推荐方法、装置、计算机设备和可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4500563B2 (ja) * 2004-03-04 2010-07-14 学校法人慶應義塾 車両検出方法及び車両検出システム
US8446468B1 (en) * 2007-06-19 2013-05-21 University Of Southern California Moving object detection using a mobile infrared camera
US8249299B1 (en) * 2009-08-17 2012-08-21 Adobe Systems Incorporated Systems and methods of tracking objects in video
CN102111530B (zh) 2009-12-24 2013-01-02 财团法人工业技术研究院 移动物体检测装置与方法
JP2013537661A (ja) 2010-06-30 2013-10-03 タタ コンサルタンシー サービシズ リミテッド ステレオビジョン技術を使用することによる移動物体の自動検出
WO2012014430A1 (ja) 2010-07-27 2012-02-02 パナソニック株式会社 移動体検出装置および移動体検出方法
WO2012137621A1 (ja) 2011-04-07 2012-10-11 富士フイルム株式会社 画像処理方法及び装置
WO2012145819A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Image processing method for detecting objects using relative motion
CN103733607B (zh) * 2011-08-10 2015-08-26 富士胶片株式会社 用于检测运动物体的装置和方法
US9852341B2 (en) * 2013-02-04 2017-12-26 Harman International Industries, Incorporation Method and system for detecting moving objects

Also Published As

Publication number Publication date
EP2951783A1 (en) 2015-12-09
US9852341B2 (en) 2017-12-26
US20150379354A1 (en) 2015-12-31
JP2016505181A (ja) 2016-02-18
CN104969261A (zh) 2015-10-07
WO2014117403A1 (en) 2014-08-07
EP2951783B1 (en) 2019-04-03
EP2951783A4 (en) 2016-10-26
JP6139706B2 (ja) 2017-05-31

Similar Documents

Publication Publication Date Title
CN104969261B (zh) 用于检测移动物体的方法和系统
US7957557B2 (en) Tracking apparatus and tracking method
CN106934333B (zh) 一种手势识别方法及系统
JP4429298B2 (ja) 対象個数検出装置および対象個数検出方法
CN104123529B (zh) 人手检测方法及系统
JP5381569B2 (ja) ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム
KR101130963B1 (ko) 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법
JP6454984B2 (ja) 深度画像に基づく手の位置確定方法と装置
JP2012088881A (ja) 人物動作検出装置およびそのプログラム
JP2015032001A (ja) 情報処理装置および情報処理手法、プログラム
CN110084830A (zh) 一种视频运动目标检测与跟踪方法
Park et al. Hand detection and tracking using depth and color information
CN113297963A (zh) 多人姿态的估计方法、装置、电子设备以及可读存储介质
JP2020109644A (ja) 転倒検出方法、転倒検出装置及び電子機器
KR101521136B1 (ko) 얼굴 인식 방법 및 얼굴 인식 장치
Xu et al. Pedestrian detection based on motion compensation and HOG/SVM classifier
JP6393495B2 (ja) 画像処理装置および物体認識方法
JP2011090708A (ja) 対象個数検出装置および対象個数検出方法
JP4674920B2 (ja) 対象個数検出装置および対象個数検出方法
JP2004295416A (ja) 画像処理装置
Hati et al. Review and improvement areas of mean shift tracking algorithm
JP2002358526A (ja) 映像オブジェクト検出・追跡装置
KR101491413B1 (ko) 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기
WO2020152878A1 (ja) 動作分析装置、動作分析方法、動作分析プログラム及び動作分析システム
KR101396098B1 (ko) 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant