CN107025658B - 采用单个相机检测运动物体的方法和系统 - Google Patents

采用单个相机检测运动物体的方法和系统 Download PDF

Info

Publication number
CN107025658B
CN107025658B CN201611272294.9A CN201611272294A CN107025658B CN 107025658 B CN107025658 B CN 107025658B CN 201611272294 A CN201611272294 A CN 201611272294A CN 107025658 B CN107025658 B CN 107025658B
Authority
CN
China
Prior art keywords
point
moving object
view
epipolar
trajectory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611272294.9A
Other languages
English (en)
Other versions
CN107025658A (zh
Inventor
陈盛
A·艾瓦希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN107025658A publication Critical patent/CN107025658A/zh
Application granted granted Critical
Publication of CN107025658B publication Critical patent/CN107025658B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明涉及采用单个相机检测运动物体的方法和系统。具体地，一种检测运动物体的计算机执行方法包括获取由相机捕捉的串流影像；从串流影像中提取包括一系列图像的输入图像序列；对于系列图像中的至少一个追踪点轨迹并且保留点轨迹的集合；使用来自多视图几何图形的约束测量每个点轨迹的似然性以确定是否其属于运动物体；并且确定整个帧上的条件随机域(CRF)以获取运动物体分割。

Description

采用单个相机检测运动物体的方法和系统
相关申请
本申请要求2015年11月13日提交的、题目为“采用单个相机检测运动物体的方法和系统”的美国临时申请62/255,289的优先权，其整体内容通过引用结合到本文中。
技术领域
本公开的方面涉及通过在单个单目相机获得的串流影像中分割运动物体来检测运动物体的方法和系统。更特别地，本公开的方面涉及获取和分析输入图像序列，其包括多个时帧{I1，I2，I3…It}，并对于每个It，确定和输出二元掩模Yt，其中Yt中的每个元表示相关的像素是否属于运动物体。
发明内容
本公开可以在线跟踪点特征并保存点轨迹的集合。对于每个点轨迹，通过使用来自多视图几何图形的约束条件来测量似然性，以确定其是否属于运动物体。另外，基于从点轨迹接收到的响应，可以在全部帧上构建条件随机域(CRF)以获得运动物体分割。
本公开的这些方面的其他益处和新颖特征的一部分通过以下的说明书列出，一部分对于本领域技术人员来说在检验以下内容或通过实践本公开而学习时将变得更加显而易见。
附图说明
所述系统和方法的不同示例性方面将参考以下附图进行详细描述，其中：
图1显示了根据本公开的不同方面的追踪和检测不同运动物体的示例，所述运动物体包括公共街道上的运动货车、骑车人和行人；
图2显示了根据本公开的不同方面的极线约束的理论和相关数学方程；
图3显示了根据本公开的不同方面的用于产生点轨迹的相邻帧之间的示例性光流；
图4显示了根据本公开的不同方面的用于点轨迹的极线运动物体分数(EMS)的示例性示意图；
图5显示了根据本公开的不同方面的用于不同点轨迹的EMS的示例性示意图和列表；
图6A-6E是显示了根据本公开的不同方面的极线约束结果的示例性屏幕截图；
图7显示了根据本公开的不同方面的极线约束的退化情况的示例性示意图；
图8显示了根据本公开的不同方面的三焦距约束理论和相关的数学方程；
图9A-9E是显示了根据本公开的不同方面的三焦距约束结果的示例性屏幕截图；
图10显示了根据本公开的不同方面的在超像素上形成条件随机域(CRF)的示例性结果；
图11A-11B是根据本公开的不同方面的示例性运动分割结果；
图12A-12I是显示了根据本公开的不同方面的另外的定性结果的示例性屏幕截图；
图13显示了根据本公开的不同方面的检测运动物体的方法的示例性流程图；
图14提供了根据本公开的不同方面的不同硬件部件和其他特征的示例性系统图；
图15是根据本公开的不同方面的不同示例性系统部件的示例性框图。
具体实施方式
本公开的这些和其他特征和益处在以下的不同示例性方面的详细说明中描述，或从中变得明显。然而，很明显，这些方面可以在没有这些具体细节的情况下实施。
参考图1，本公开特别是在由单个相机捕捉的串流影像中检测运动物体，例如，运动的车辆、行人和实质上的任何运动的物体。运动物体的检测和基于运动的追踪对于动作识别、交通监测和自动车辆安全来说是重要的。例如，在驾驶的情况下，运动物体在安全问题上来说通常是重要的。而且，当运动物体被其他物体完全地或部分地阻碍时会发生阻塞。当部分阻塞时，从静止的图像中检测运动物体是困难的。然而，如果运动的部分可以在影像中被检测到的话，这可以帮助解决阻塞问题。如图1所示，对于由单目相机获得的影像的每一帧来说，对于每个运动物体(例如左边的运动货车，中间的骑车人，和右边的行人)的二元掩模或片段集合可以被输出以指示像素是否属于运动物体。这里，二元掩模可以指二元图像，其具有和正在处理的图像相同的尺寸，并且掩模可以对于所有像素包括1’s，其为感兴趣区域的部分，并且其他任何地方包括0’s。根据本公开的方面，可以输出全部帧的二元掩模，其中每个像素可以被标记为运动的或静止的。为了在帧t实现该目的，可以计算前方和后方的光流场直到可以形成帧t和长期点轨迹的集合。每个轨迹可以通过点的集合表示。当前集合中的每个轨迹可以在当前帧t结束。基于指示轨迹是否在运动物体上的几何图形，可以向每个轨迹分配运动物体分数。每个轨迹上的分数可以被用于将图像划分为运动的物体区域和静止的物体区域。
物体的运动状态(在本文中可交换地称为运动物体)可以使用几何图形进行测量。例如，在最基本的情况下，当相机以严格向前的方向运动时，人们通常看见从相机中心运动远离的所有静止的点并且在图像的中心具有扩展焦点。用于检测运动物体的提示可以包括外观和紧凑性，以及其他提示。例如，在处理运动分割时，可以提取点轨迹并且可以基于诸如速度的属性对这些轨迹执行聚类。然而，虽然该方法执行聚类，可能缺乏对哪些聚类对应于真实运动物体的理解。可替代地，可以执行后处理以通过检查颜色以及其他因素来提取运动物体。子空间跟踪也可以基于使用正交相机模型的假设来进行，其中所有背景点轨迹都位于低维空间中。此外，可以在运动物体检测中通过对先前帧应用局部仿射变换来补偿相机运动，之后进行背景减除以获得运动掩模，来执行自运动补偿背景减除。
根据本公开的方面，选择的几何约束可以被用于获取运动提示，特别考虑物体可以从静止到运动的转变或其他方式的转变。令I：
Figure GDA0003358851630000041
(x，t)→It(x)是在域D上定义的图像序列，并且It表示在时间t的帧。图像序列I中的特征点可以被追踪，并且轨迹集合
Figure GDA0003358851630000042
可以被构建，其中对于每个轨迹，τ是初始帧并且t是最终或当前帧。轨迹
Figure GDA0003358851630000043
可以通过点的集合
Figure GDA0003358851630000044
表示。对于每一帧，可以将分数分配给这些轨迹以确定是否它们在运动的或静止的物体上。运动物体分数可以被另外用于将图像域划分成静止物体的区域和运动物体的区域。在图像序列I中，静止物体的轨迹可以遵循由相机运动引起的几何性约束。
几何运动约束可以比如外貌以及其他的提示提供更多信息。例如，真实的运动提示可以被需要以捕捉汽车从运动状态到静止状态的转变。
当相机是静止的，3D点可以被投影到图像平面内的相同点上，当相机运动时，由于相机运动，静止的3D点的投影可以在图像平面上运动，并且可以遵循某些约束。如此，为了检测运动物体，或更特别地，为了测量点轨迹的运动，两种多视图几何图形信息可以被使用，也就是说，双视图之间的极线约束，和来自三视图中的三焦距约束。在不同视图中的场景中的静止点的投影中的偏移可能由相机运动引起。假设场景中的多数点是静止的，从点对应变化的相对相机姿态变化可以被估计。运动物体上的点通常是这样的估计值的离群值，并且根据其如何拟合模型，点的运动可以因此被测量。
极线约束
如图2所示，通过建立左视图中的点与右视图中的线之间的映射，极线约束描述了两幅视图之间的静止3D点的投影之间的关系，反之亦然。极线约束由两个相机之间的基本矩阵或基础矩阵描述。给定两个帧中的静止点的m个点对应，满足以下方程：
Figure GDA0003358851630000051
其中fij表示基础矩阵的系数。在本公开中，如图3中所示，连续的帧之间的光流可以被计算以获取点对应，并且产生密集的长期点轨迹。在图像序列中给定两个随意的帧，对于场景中任何固定的背景点，满足以下方程：
Figure GDA0003358851630000052
其中
Figure GDA0003358851630000053
和
Figure GDA0003358851630000054
分别是帧τ和τ′中3D点的投影，并且
Figure GDA0003358851630000055
是基础矩阵，其将两个帧之间的相机的相对姿态变化编码。对于任意两个帧，从点轨迹给定对应，可以使用最小中值平方(LMEDS)来估计F。在帧t，从帧τ到t的每个帧对之间可以估计基础矩阵。几何上，一个视图内的静止点的投影可以位于由在另一视图中的投影产生的极线上。对于运动物体，大体除了下面更详细讨论的退化情况之外，方程(1)可以不成立。根据本公开的方面，如图4所示，一对点对应的极线运动物体分数可以基于如下的极线约束计算：
Figure GDA0003358851630000056
其中
Figure GDA0003358851630000057
和
Figure GDA0003358851630000058
限定了各视图中的相对极线，并且函数dpl(·)计算点到线的距离。该距离越大，轨迹属于运动物体的似然性越大。在帧t，给定当前的点轨迹集合Zt，基础矩阵可以在当前帧T和所有的先前帧(只要在该帧和It之间存在足够数量的点轨迹)之间使用LMEDS和8点算法进行估计。对于每个轨迹
Figure GDA0003358851630000059
人们可以计算轨迹
Figure GDA00033588516300000510
上的当前帧
Figure GDA00033588516300000511
和所有先前点之间的极线运动物体分数。
为了考虑如图5所示的轨迹的历史，基于当前极线运动分数(EMS)和先前的EMS的两个测量可以被限定。第一测量可以使用轨迹的所有EMS的加权平均，即，EMS的加权平均(EMSavg)如下限定：
Figure GDA0003358851630000061
这里，β∈[0，1]是衰减系数，其对来自先前帧的EMS给予较小的权重，并且
Figure GDA0003358851630000062
是归一化系数，如此较老的EMS接收较小的权重。
除了平均极线运动物体分数，时间上的误差
Figure GDA0003358851630000063
的变化也可以被分析以测量轨迹在运动物体上的似然性。根据本公开的方面，可以假定当τ＞τ′＞τ″时
Figure GDA0003358851630000064
当目标物体持续地远离其初始位置运动时，该不等式可以特定地保持。尽管该假定可以被认为是限制性的，但是在城市驾驶场景中往往如此，这时目标物体通常不会返回到它们被观察到的初始位置。在该假设下，对于t＞τ，
Figure GDA0003358851630000065
和
Figure GDA0003358851630000066
都是增长的序列。为了捕捉这种直觉，可以如下定义另一个极线运动物体分数：
Figure GDA0003358851630000067
其中[·]是指标函数，如果输入的不等式保持时其为1，并且其他情况为0，v是公差变量且
Figure GDA0003358851630000068
是归一化系数。
图6A-6E显示了根据本公开的方面的检测运动物体中多个示例性极线约束结果。例如，在图6A中，左边的运动车辆和右边的骑车人可以通过使用上述讨论的极线约束被检测和识别。另外，在图6A-6E的每一个中，不仅运动物体与背景相比进行识别，而且还实时地跟踪每个运动物体的运动。
三焦距约束
然而，极线约束不能检测某个种类的运动，即，当物体以与相机相同的方向运动时，或更普通地，当物体在极面内运动时。在这样的情况下，特定点可以沿着极线运动，并且因此不能被极线约束检测。这被称为退化情况，如图7所示。为了克服退化情况中的问题，三个视图之间的三焦距约束可以被使用，如图8中所示，通过对三个帧内的静止点或线的投影的关系进行编码，并且可以通过张量T表示。对于三个点对应，满足以下约束：
Figure GDA0003358851630000071
这里，下标编码点的三个坐标，并且等式对于所有i,j＝1,2,3保持。和在两个视图的情况不同，在第三幅视图中点的位置可以通过在两个视图中给定它的位置来确定。
给定三视图点对应
Figure GDA0003358851630000072
其中t≥p＞n＞m≥τ在轨迹
Figure GDA0003358851630000073
上，三聚焦运动物体分数(TMS)可以如下限定：
Figure GDA0003358851630000074
其中
Figure GDA0003358851630000075
是使用xm、xn在第三视图中的估计位置并且dpp(·)计算各点之间的欧几里得距离。三焦距张量可以使用LMEDS估计，但是这样的三焦距张量的估计易于产生噪音。为了解决该问题，来自基础矩阵的极线可以首先被估计并且约束来自三焦距张量的极线不会远离这些估计值。不同于极线约束的情况，当前帧t和t-η和t-2η之间的三焦距张量可以被估计，其中η是帧差距，用于对于每个轨迹
Figure GDA0003358851630000076
产生一个三焦距运动物体分数。而且，可以使用轨迹的时间支持来计算加权平均值以考虑历史，如下：
Figure GDA0003358851630000077
其中β∈[0，1]。
图9A-9E显示了根据本公开的方面的检测运动物体中的多个示例性三焦距约束结果。例如，在图9A中，使用上述讨论的三焦距约束，左边的运动车辆和右边的骑车人可以被检测和识别。另外，在图9B-9E的每一个中，不仅运动物体与背景相比进行识别，而且还实时地跟踪每个运动物体的运动。
运动物体分割
在关于点轨迹的运动对象/运动分数的上述讨论的观点中，这样的信息可以被传播到整个帧。这可以通过首先对帧分割来实现，以获取超像素并且用0/1标记来标记超像素，其中1指示超像素属于运动物体，并且0指示静止物体。接着，可以对超像素构建成对的CRF，如图10所示。通过表示当前帧t中的每个超级像素为si和其对应的标记为yi，yi∈y，CRF目标可以被如下限定：
Figure GDA0003358851630000081
其中ε是所有相邻超像素对的集合，并且Eu,Ep分别表示一元和成对特征。对于Eu，以上方程(1)-(6)对于当前帧可以被连接。接下来，通过获取超像素内的所有轨迹的中值，来自点轨迹的响应可以被转移到超像素，并且如果对于各特征在超像素内没有轨迹时标记“0”。为了保持标记在时间上一致，可以将另一个特征添加到对点轨迹标记的历史进行编码的一元项。在帧t-1，在超像素标记之后，点轨迹的标记可以通过将超像素的标记分配到其内部的所有点轨迹来获得。在帧t，对于每个超像素，可以计算其中的前景点轨迹的百分比以确保时间上的平滑标记。可替换地，时间上的CRF可以被建立，其中帧上的超像素可以被链接。两个超像素之间的成对特征Ep可以由两个超像素的颜色和光流直方图之间的Bhattacharyya系数组成。在该优化问题中，权重向量Wu和Wp可以通过结构支持向量机(SVM)学习，并且优化问题可以通过对偶分解来解决。
图11A-11B显示了根据本公开的方面的多个检测运动物体中的示例性运动物体分割的结果。另外，图12A-12I是显示根据本公开的方面的检测运动物体中的定性结果的示例性屏幕截图。追踪数据集可以被建立成与不同输入图像序列相关联。本公开可以为每个物体添加二进制标记以辅助指示它是否正在运动。
图13是显示根据本公开的多个方面的用于检测运动物体的方法1400的示例性流程图。在图13中，本方法开始于框1302，获取由相机捕捉的串流影像。本方法还包括在框1304提取输入图像序列，其包括来自串流影像的一系列图像；在框1306对于系列图像中的至少一个追踪点特征并保留点轨迹的集合；在框1308，通过使用来自多视图几何图形的约束，对于每个点轨迹，测量似然性，以确定是否其属于运动物体；并且在框1310确定整个帧上的条件随机域(CRF)以获得运动物体分割。
图14展示了用于根据本公开的方面的不同硬件部件和其他特征的示例性系统示意图。本公开可以使用硬件、软件、或其组合进行实施，并且可以在一个或多个计算机系统或其他处理系统中实施。在一个方面，本公开针对能够执行本文描述的功能的一个或多个计算机系统。这样的计算机系统的一个示例1400显示在图14中，并且计算机系统1400可以被实施以执行图13的方法1300。
计算机系统1400包括一个或多个处理器，例如处理器1404。处理器1404被连接到通信基础设施1406(例如通信总线、交叉后备地址寄存器或网络)。按照该示例性计算机系统描述不同软件方面。在阅读该说明后，对于相关领域技术人员来说如何使用其他计算机系统和/或架构实施本发明将变得清楚。
计算机系统1400可以包括显示交互装置1402，其从通信基础设施1406(或从未示出的帧缓存器)转发图形、文本和其他数据用于在显示单元1430显示。计算机系统1400还包括主存储器1408，优选为随机存取存储器(RAM)，并且还包括辅助存储器1410。辅助存储器1410可以包括例如硬盘驱动1412和/或可移除存储驱动1414，代表为软盘驱动、磁带驱动、光盘驱动等。可移除存储驱动1414以公知的方式从可移除存储单元1418读取和/或写入可移除存储单元1418。可移除存储单元1418，代表为软盘、磁带、光盘等，其通过可移除存储驱动1414读取和写入。需要明了的是，可移除存储单元1418包括计算机可用存储介质，其中已经存储了计算机软件和/或数据。
在可替代方面中，辅助存储器1410可以包括其他类似设备，其允许计算机程序或其他指令加载到计算机系统1400中。这样的设备可以包括例如，可移除存储单元1422和交互装置1420。这些的实例包括程序盒式存储器和盒式交互装置(例如在视频游戏设备中发现的)，可移除存储器芯片(例如可擦除可编程只读存储器(EPROM)，或可编程只读存储器(PROM))和相关套接件，和其他可移除存储单元1422和交互装置1420，其允许软件和数据被从可移除存储单元1422传送到计算机系统1400。
计算机系统1400也可以包括通信交互装置1424。通信交互装置1424允许软件和数据在计算机系统1400和外界设备之间传送。通信交互装置1424的实例可以包括调制解调器、网络交互装置(例如以太网卡)、通信端口、个人计算机存储卡国际协会(PCMCIA)插槽和卡等。经通信交互装置1424传送的软件和数据是信号1428的形式，其可以是电子的、电磁的、光的或能够被通信交互装置1424接收的其他信号。这些信号1428通过通信路径(例如频道)1426被提供给通信交互装置1424。该路径1426运载信号1428并可以使用线或电缆、光纤、电话线、蜂窝链路、无线电频率(RF)链路和/或其他通信频道来实施。在该文件中，术语“计算机程序介质”和“计算机可用介质”被用于一般地表示例如可移除存储驱动1480、安装在硬盘驱动1470中的硬盘、和信号1428的介质。这些计算机程序产品向计算机系统1400提供软件。本公开涉及这样的计算机程序产品。
计算机程序(也指的是计算机控制逻辑)被存储在主存储器1408和/或辅助存储器1410中。计算机程序还可以经过通信交互装置1424被接收。这样的计算机程序，当被执行时，能够使得计算机系统1400实施本公开的特征，如本文所讨论的。特别地，计算机程序，当被执行时，能够使得处理器1410实施本公开的特征。因此，这样的计算机程序代表计算机系统1400的控制器。
在本公开使用软件执行的一个方面，所述软件可以被存储在计算机程序产品并使用可移除存储驱动1414、硬盘驱动1412或通信交互装置1420加载到计算机系统1400。控制逻辑(软件)当被处理器1404执行时，使得处理器1404执行本公开的功能，如本文所描述的。在另一方面，本公开主要通过硬件执行，例如使用例如特定用途集成电路(ASIC)的硬件部件。硬件状态机的应用以便执行本文所描述的功能对于相关领域的技术人员将是显而易见的。
在另一方面，本公开使用硬件和软件的结合执行。
图15是根据本公开的一个方面的不同示例性系统部件的框图。图15显示了根据本公开可用的通信系统1500。通信系统1500包括一个或多个存取器1560、1562(也指的是在本文中可互换地称为的一个或多个“用户”)和一个或多个终端1542、1566。在一个方面，根据本公开使用的数据是例如经终端1542、1566(例如个人计算机(PC)、小型计算机、大型计算机、微型计算机、电话设备或无线设备(例如个人数字助手(“PDA”)或耦连到服务器1543(例如PC、小型计算机、大型计算机、微型计算机或其他设备包括处理器和数据存储器和/或经由例如网络1544(如因特网或内联网)连接到数据存储器，和耦合1545、1546、1564)的手持无线设备))通过存储器1560、1562输入和/或访问。耦合1545、1546、1564包括例如有线的、无线的或光纤链路。在另一方面，本公开的方法和系统在独立环境中运行，例如在单独的终端。
虽然本公开的多个方面已经结合上面列出的多个示例性特征进行了描述，不同替代物、改型、变型、改进和/或有效等价物，无论是已知的还是目前无法预见的，对于本领域至少普通技术人员来说都是显而易见的。因此，本公开的示例性方面如以上所列出的，意在是展示性的，而非限制性的。不同变化可以在没有背离其精神的前提下做出。因此，本公开的方面旨在包括所有已知的或以后开发的替代物、改型、变型、改进和/或有效等价物。

Claims (13)

1.一种用于检测运动物体的计算机执行方法，包括：
获取由相机捕捉的串流影像；
提取输入图像序列，其包括来自串流影像的一系列图像；
对于系列图像中的至少一个追踪点轨迹并保留点轨迹的集合；
使用来自多视图几何图形的约束测量各点轨迹的似然性以确定其是否属于运动物体；和
在整个帧上确定条件随机域(CRF)以获取运动物体分割；
对于每个帧T：
计算光流和点轨迹；
估计基础矩阵和三焦距张量；
对各轨迹计算极线运动物体分数和三焦距运动物体分数；
其中，一对点对应的极线运动物体分数，计算如下：
Figure FDA0003541328040000011
式中，
Figure FDA0003541328040000012
和
Figure FDA0003541328040000013
限定各视图中的相对极线，
Figure FDA0003541328040000014
和
Figure FDA0003541328040000015
是3D点在帧τ和τ'中的投影，i是3D点的指数，并且函数dpl(·)计算点到线的距离；
其中，三焦距运动物体分数，限定如下：
Figure FDA0003541328040000016
式中，
Figure FDA0003541328040000017
是使用第一视图
Figure FDA0003541328040000018
中点的位置和第二视图
Figure FDA0003541328040000019
中点的位置在第三视图中的点的估计位置，并且dpp(·)计算第三视图中的点的估计位置和实际位置
Figure FDA00035413280400000110
之间的欧几里得距离，和
在超像素上形成CRF以确定运动标记。
2.根据权利要求1所述的方法，其中所述相机包括单目相机。
3.根据权利要求1所述的方法，其中来自多视图几何图形的约束包括以下中的至少一种：两个视图之间的极线约束和来自三个视图的三焦距约束。
4.根据权利要求1所述的方法，其中所述一对点对应基于连续帧之间的光流确定。
5.根据权利要求1所述的方法，进一步包括确定轨迹的所有极线运动物体分数的加权平均，如下：
Figure FDA0003541328040000021
其中β是衰减系数，
Figure FDA0003541328040000022
是轨迹，t是帧，并且
Figure FDA0003541328040000023
是归一化系数。
6.根据权利要求1所述的方法，进一步包括确定另一极线运动物体分数，如下：
Figure FDA0003541328040000024
其中[·]是指标函数，v是公差变量且
Figure FDA0003541328040000025
是归一化系数。
7.根据权利要求1所述的方法，进一步包括确定所有三焦距运动物体分数的加权平均以考虑各轨迹的历史，如下：
Figure FDA0003541328040000026
其中β是衰减系数，T是表示三个帧中静止点或线的投影关系的张量，并且是用于产生每个轨迹
Figure FDA0003541328040000027
的一个三焦距运动物体分数的帧差距。
8.一种检测运动物体的系统，所述系统包括：
获取由相机捕捉的串流影像的设备；
提取包括来自串流影像的一系列图像的输入图像序列的设备；
对于所述系列图像中的至少一个追踪点轨迹的设备和保留点轨迹的集合的设备；
使用来自多视图几何图形的约束测量各点轨迹的似然性以确定其是否属于运动物体的设备；和
确定整个帧的条件随机域(CRF)以获取密集的运动物体分割的设备；
对于每个帧T：
计算光流和点轨迹的设备；
估计基础矩阵和三焦距张量的设备；
对各轨迹计算极线运动物体分数和三焦距运动物体分数的设备；
其中，一对点对应的极线运动物体分数，计算如下：
Figure FDA0003541328040000031
式中，
Figure FDA0003541328040000032
和
Figure FDA0003541328040000033
限定各视图中的相对极线，
Figure FDA0003541328040000034
和
Figure FDA0003541328040000035
是3D点在帧τ和τ'中的投影，i是3D点的指数，并且函数dpl(·)计算点到线的距离；
其中，三焦距运动物体分数，限定如下：
Figure FDA0003541328040000036
式中，
Figure FDA0003541328040000037
是使用第一视图
Figure FDA0003541328040000038
中点的位置和第二视图
Figure FDA0003541328040000039
中点的位置在第三视图中的点的估计位置，并且dpp(·)计算第三视图中的点的估计位置和实际位置
Figure FDA00035413280400000310
之间的欧几里得距离，和
在超像素上形成CRF以确定运动标记的设备。
9.根据权利要求8所述的系统，其中来自多视图几何图形的约束包括以下的至少一种：两个视图之间的极线约束和来自三个视图的三焦距约束。
10.根据权利要求8所述的系统，进一步包括如下确定轨迹的所有极线运动物体分数的加权平均的设备：
Figure FDA00035413280400000311
其中β是衰减系数，
Figure FDA00035413280400000312
是轨迹，t是帧，并且
Figure FDA00035413280400000313
是归一化系数。
11.根据权利要求8所述的系统，进一步包括如下确定另一极线运动物体分数的设备：
Figure FDA0003541328040000041
其中[·]是指标函数，v是公差变量且
Figure FDA0003541328040000042
是归一化系数。
12.根据权利要求8所述的系统，进一步包括如下确定所有三焦距运动物体分数的加权平均以考虑各轨迹的历史的设备：
Figure FDA0003541328040000043
其中β是衰减系数，T是表示三个帧中静止点或线的投影关系的张量，并且是用于产生每个轨迹
Figure FDA0003541328040000044
的一个三焦距运动物体分数的帧差距。
13.一种非暂时性计算机可读存储介质，其具有存储在其上的控制逻辑，用于使得计算机检测运动物体，所述控制逻辑包括如下的机器可执行代码，用于：
获取由相机捕捉的串流影像；
提取输入图像序列，其包括来自串流影像的一系列图像；
对于系列图像中的至少一个追踪点轨迹并保留点轨迹的集合；
使用来自多视图几何图形的约束测量各点轨迹的似然性以确定其是否属于运动物体；和
在整个帧上确定条件随机域(CRF)以获取密集的运动物体分割；
对于每个帧T，进一步包括如下的代码，用于：
计算光流和点轨迹；
估计基础矩阵和三焦距张量；
对各轨迹计算极线运动物体分数和三焦距运动物体分数；
其中，一对点对应的极线运动物体分数，计算如下：
Figure FDA0003541328040000045
式中，
Figure FDA0003541328040000046
和
Figure FDA0003541328040000047
限定各视图中的相对极线，
Figure FDA0003541328040000048
和
Figure FDA0003541328040000049
是3D点在帧τ和τ'中的投影，i是3D点的指数，并且函数dpl(·)计算点到线的距离；
其中，三焦距运动物体分数，限定如下：
Figure FDA0003541328040000051
式中，
Figure FDA0003541328040000052
是使用第一视图
Figure FDA0003541328040000053
中点的位置和第二视图
Figure FDA0003541328040000054
中点的位置在第三视图中的点的估计位置，并且dpp(·)计算第三视图中的点的估计位置和实际位置
Figure FDA0003541328040000055
之间的欧几里得距离，和
在超像素上形成CRF以确定运动标记。
CN201611272294.9A 2015-11-13 2016-11-13 采用单个相机检测运动物体的方法和系统 Active CN107025658B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562255289P 2015-11-13 2015-11-13
US62/255,289 2015-11-13
US15/349,556 US10019637B2 (en) 2015-11-13 2016-11-11 Method and system for moving object detection with single camera
US15/349,556 2016-11-11

Publications (2)

Publication Number Publication Date
CN107025658A CN107025658A (zh) 2017-08-08
CN107025658B true CN107025658B (zh) 2022-06-28

Family

ID=58691210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611272294.9A Active CN107025658B (zh) 2015-11-13 2016-11-13 采用单个相机检测运动物体的方法和系统

Country Status (4)

Country Link
US (2) US10019637B2 (zh)
JP (1) JP6849403B2 (zh)
CN (1) CN107025658B (zh)
DE (1) DE102016222267A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3391339A2 (en) * 2015-12-18 2018-10-24 Iris Automation, Inc. Real-time visual situational awareness system
WO2018009567A1 (en) 2016-07-05 2018-01-11 Nauto Global Limited System and method for automatic driver identification
US10209081B2 (en) 2016-08-09 2019-02-19 Nauto, Inc. System and method for precision localization and mapping
WO2018053175A1 (en) 2016-09-14 2018-03-22 Nauto Global Limited Systems and methods for near-crash determination
US10733460B2 (en) 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
WO2018085804A1 (en) 2016-11-07 2018-05-11 Nauto Global Limited System and method for driver distraction determination
WO2018119744A1 (zh) * 2016-12-28 2018-07-05 深圳前海达闼云端智能科技有限公司 一种虚警障碍物检测方法及装置
EP3364336B1 (en) * 2017-02-20 2023-12-20 Continental Autonomous Mobility Germany GmbH A method and apparatus for estimating a range of a moving object
US10453150B2 (en) * 2017-06-16 2019-10-22 Nauto, Inc. System and method for adverse vehicle event determination
US10417816B2 (en) 2017-06-16 2019-09-17 Nauto, Inc. System and method for digital environment reconstruction
WO2018229548A2 (en) 2017-06-16 2018-12-20 Nauto Global Limited System and method for contextualized vehicle operation determination
CN107507224B (zh) * 2017-08-22 2020-04-24 明见（厦门）技术有限公司 运动物体检测方法、装置、介质及计算设备
US10678257B2 (en) * 2017-09-28 2020-06-09 Nec Corporation Generating occlusion-aware bird eye view representations of complex road scenes
US11392131B2 (en) 2018-02-27 2022-07-19 Nauto, Inc. Method for determining driving policy
US10460156B2 (en) * 2018-03-06 2019-10-29 Sony Corporation Automated tracking and retaining of an articulated object in a sequence of image frames
CN110826385A (zh) * 2018-06-07 2020-02-21 皇家飞利浦有限公司 康复设备及方法
JP7427614B2 (ja) * 2018-06-29 2024-02-05 ズークス インコーポレイテッド センサ較正
CN109615640B (zh) * 2018-11-19 2021-04-30 北京陌上花科技有限公司 相关滤波目标跟踪方法及装置
CN109727264A (zh) * 2019-01-10 2019-05-07 南京旷云科技有限公司 图像生成方法、神经网络的训练方法、装置和电子设备
WO2020150371A1 (en) * 2019-01-15 2020-07-23 Martin Wyeth System and method for low-cost gamified golfing
JP7330708B2 (ja) * 2019-01-28 2023-08-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN109902725A (zh) * 2019-01-31 2019-06-18 北京达佳互联信息技术有限公司 移动目标的检测方法、装置及电子设备和存储介质
CN110263236B (zh) * 2019-06-06 2022-11-08 太原理工大学 基于动态多视图学习模型的社交网络用户多标签分类方法
CN110440902B (zh) * 2019-08-29 2021-05-14 合肥工业大学 一种非接触式微小振动视觉测量方法
US11361548B2 (en) * 2019-10-23 2022-06-14 Tata Consultancy Services Limited Method and system for multi instance visual tracking based on observer motion modelling
CN111144015A (zh) * 2019-12-30 2020-05-12 吉林大学 一种自动驾驶汽车虚拟场景库构建方法
US11270137B2 (en) 2020-06-17 2022-03-08 Fotonation Limited Event detector and method of generating textural image based on event count decay factor and net polarity
US11301702B2 (en) * 2020-06-17 2022-04-12 Fotonation Limited Object detection for event cameras
US11164019B1 (en) * 2020-06-17 2021-11-02 Fotonation Limited Object detection for event cameras
CN112598706B (zh) * 2020-12-21 2024-02-02 西北工业大学 无需精确时空同步的多相机运动目标三维轨迹重建方法
US11328601B1 (en) 2021-02-22 2022-05-10 Volvo Car Corporation Prevention of low-speed sideswipe collisions with non-moving objects
CN115393585B (zh) * 2022-08-11 2023-05-12 江苏信息职业技术学院 一种基于超像素融合网络的运动目标检测方法
CN117470248B (zh) * 2023-12-27 2024-04-02 四川三江数智科技有限公司 一种移动机器人室内定位方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101120382A (zh) * 2005-04-01 2008-02-06 三菱电机株式会社 跟踪用相机获得的场景视频中的移动物体的方法
CN102938153A (zh) * 2012-11-21 2013-02-20 清华大学 基于约束谱聚类和马尔科夫随机场的视频图像分割方法
CN103403764A (zh) * 2011-03-10 2013-11-20 欧姆龙株式会社 对象物追踪装置、对象物追踪方法、以及控制程序
CN103413322A (zh) * 2013-07-16 2013-11-27 南京师范大学 序列视频关键帧提取方法
CN103679186A (zh) * 2012-09-10 2014-03-26 华为技术有限公司 检测和跟踪目标的方法和装置
CN104156932A (zh) * 2013-05-13 2014-11-19 哈尔滨点石仿真科技有限公司 一种基于光流场聚类的运动目标分割方法
CN104200492A (zh) * 2014-08-25 2014-12-10 西北工业大学 基于轨迹约束的航拍视频目标自动检测跟踪方法
CN104616320A (zh) * 2015-02-03 2015-05-13 中国人民解放军国防科学技术大学 低空航拍视频中基于梯度抑制和极线约束的车辆检测方法
KR20150082823A (ko) * 2014-01-08 2015-07-16 주식회사 만도 교통 표지판 탐지 방법 및 장치

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6353678B1 (en) * 1999-07-14 2002-03-05 Sarnoff Corporation Method and apparatus for detecting independent motion in three-dimensional scenes
US7164800B2 (en) * 2003-02-19 2007-01-16 Eastman Kodak Company Method and system for constraint-consistent motion estimation
JP4777433B2 (ja) * 2005-10-27 2011-09-21 エヌイーシー ラボラトリーズ アメリカ インク ビデオ前景の分割方法
US8073196B2 (en) * 2006-10-16 2011-12-06 University Of Southern California Detection and tracking of moving objects from a moving platform in presence of strong parallax
US8300887B2 (en) * 2007-05-10 2012-10-30 Honda Motor Co., Ltd. Object detection apparatus, object detection method and object detection program
EP2368216B1 (de) * 2008-10-10 2012-12-26 ADC Automotive Distance Control Systems GmbH Verfahren und einrichtung zur analyse von umgebungsobjekten und/oder umgebungsszenen, wie zur objekt- und szenenklassensegmentierung
JP5347799B2 (ja) * 2009-07-24 2013-11-20 コニカミノルタ株式会社 トナー濃度調整システム及び画像形成装置
US9411037B2 (en) * 2010-08-18 2016-08-09 RetailNext, Inc. Calibration of Wi-Fi localization from video localization
JP5872818B2 (ja) * 2010-08-20 2016-03-01 パナソニック株式会社 測位処理装置、測位処理方法、および画像処理装置
JP2012118923A (ja) * 2010-12-03 2012-06-21 Toyota Motor Corp 領域分割装置及び領域分割方法
KR20130141657A (ko) * 2010-12-29 2013-12-26 톰슨 라이센싱 제스처 인식을 위한 시스템 및 방법
US9117147B2 (en) * 2011-04-29 2015-08-25 Siemens Aktiengesellschaft Marginal space learning for multi-person tracking over mega pixel imagery
US20130329987A1 (en) * 2012-06-11 2013-12-12 Genesis Group Inc. Video segmentation method
US9129192B2 (en) * 2013-12-16 2015-09-08 Adobe Systems Incorporated Semantic object proposal generation and validation
US9235904B1 (en) * 2014-06-20 2016-01-12 Nec Laboratories America, Inc. Object detection with Regionlets re-localization

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101120382A (zh) * 2005-04-01 2008-02-06 三菱电机株式会社 跟踪用相机获得的场景视频中的移动物体的方法
CN103403764A (zh) * 2011-03-10 2013-11-20 欧姆龙株式会社 对象物追踪装置、对象物追踪方法、以及控制程序
CN103679186A (zh) * 2012-09-10 2014-03-26 华为技术有限公司 检测和跟踪目标的方法和装置
CN102938153A (zh) * 2012-11-21 2013-02-20 清华大学 基于约束谱聚类和马尔科夫随机场的视频图像分割方法
CN104156932A (zh) * 2013-05-13 2014-11-19 哈尔滨点石仿真科技有限公司 一种基于光流场聚类的运动目标分割方法
CN103413322A (zh) * 2013-07-16 2013-11-27 南京师范大学 序列视频关键帧提取方法
KR20150082823A (ko) * 2014-01-08 2015-07-16 주식회사 만도 교통 표지판 탐지 방법 및 장치
CN104200492A (zh) * 2014-08-25 2014-12-10 西北工业大学 基于轨迹约束的航拍视频目标自动检测跟踪方法
CN104616320A (zh) * 2015-02-03 2015-05-13 中国人民解放军国防科学技术大学 低空航拍视频中基于梯度抑制和极线约束的车辆检测方法

Also Published As

Publication number Publication date
JP6849403B2 (ja) 2021-03-24
US20180285662A1 (en) 2018-10-04
JP2017091549A (ja) 2017-05-25
US10176390B2 (en) 2019-01-08
US20170140231A1 (en) 2017-05-18
US10019637B2 (en) 2018-07-10
CN107025658A (zh) 2017-08-08
DE102016222267A1 (de) 2017-06-14

Similar Documents

Publication Publication Date Title
CN107025658B (zh) 采用单个相机检测运动物体的方法和系统
CN108027877B (zh) 用于非障碍区检测的系统和方法
Hu et al. Moving object detection and tracking from video captured by moving camera
Wu et al. Lane-mark extraction for automobiles under complex conditions
JP6095018B2 (ja) 移動オブジェクトの検出及び追跡
Klappstein et al. Moving object segmentation using optical flow and depth information
Borges et al. Practical infrared visual odometry
Zhang et al. Robust metric reconstruction from challenging video sequences
Zamalieva et al. A multi-transformational model for background subtraction with moving cameras
Ricco et al. Dense lagrangian motion estimation with occlusions
Bian et al. Learning pixel trajectories with multiscale contrastive random walks
KR101681104B1 (ko) 부분적 가림을 갖는 영상 객체 내의 주요 특징점 기반 다중 객체 추적 방법
Hajimolahoseini et al. Robust vehicle tracking algorithm for nighttime videos captured by fixed cameras in highly reflective environments
Makino et al. Moving-object detection method for moving cameras by merging background subtraction and optical flow methods
CN115187941A (zh) 目标检测定位方法、系统、设备及存储介质
KR20170006356A (ko) 이차원 영상 기반 고객 분석 방법 및 장치
Kryjak et al. Real-time implementation of foreground object detection from a moving camera using the vibe algorithm
Thomas et al. Fast approach for moving vehicle localization and bounding box estimation in highway traffic videos
Mendes et al. Vehicle Tracking and Origin-Destination Counting System for Urban Environment.
McCraith et al. Calibrating self-supervised monocular depth estimation
Rajagopal et al. Vision-based system for counting of moving vehicles in different weather conditions
Thormahlen et al. Merging of feature tracks for camera motion estimation from video
Truong et al. Single object tracking using particle filter framework and saliency-based weighted color histogram
Tsai et al. Multiple human objects tracking in crowded scenes
Real-Moreno et al. Fast template match algorithm for spatial object detection using a stereo vision system for autonomous navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant