CN107507224B - 运动物体检测方法、装置、介质及计算设备 - Google Patents

运动物体检测方法、装置、介质及计算设备 Download PDF

Info

Publication number
CN107507224B
CN107507224B CN201710722346.6A CN201710722346A CN107507224B CN 107507224 B CN107507224 B CN 107507224B CN 201710722346 A CN201710722346 A CN 201710722346A CN 107507224 B CN107507224 B CN 107507224B
Authority
CN
China
Prior art keywords
point
frame image
images
points
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710722346.6A
Other languages
English (en)
Other versions
CN107507224A (zh
Inventor
陈海沯
陈从华
叶德焰
林雅
谢超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mingjian Xiamen Technology Co ltd
Original Assignee
Mingjian Xiamen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mingjian Xiamen Technology Co ltd filed Critical Mingjian Xiamen Technology Co ltd
Priority to CN201710722346.6A priority Critical patent/CN107507224B/zh
Publication of CN107507224A publication Critical patent/CN107507224A/zh
Application granted granted Critical
Publication of CN107507224B publication Critical patent/CN107507224B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及图像处理技术领域，尤其涉及运动物体检测方法、装置、介质及设备。本申请实施例中获取连续N帧图像后对所述N帧图像进行极点校正，以使所述N帧图像中的各极点相等且各极线相等；针对所述N帧图像中待确定前景点和背景点的图像中的每个像素点，确定该像素点是否位于该图像的极线上；若是，则确定该像素点为初始背景点；若否，则确定该像素点为前景点；针对提取的每个初始背景点，确定该初始背景点在所述N帧图像中的光流是否相同；若不相同，则确定该初始背景点为前景点；否则，确定该初始背景点为最终背景点。本申请实施例通过极线约束条件和光流约束条件的结合可以实现运动物体的检测，计算量小，可以提高检测效率，降低计算负担。

Description

运动物体检测方法、装置、介质及计算设备
技术领域
本申请涉及图像处理技术领域，尤其涉及运动物体检测方法、装置、介质及计算设备。
背景技术
运动物体检测的目的在于检测出在连续帧图像中位置改变的物体。运动物体检测已经成为安防领域的重要检测内容。例如其是高级辅助驾驶技术和智能车技术的一项核心技术。通过检测图像中的运动物体，可以警告提醒驾驶人员危险环境的出现，这可以有效的减少驾驶人员驾车发生碰撞和行人被撞的危险。
运动物体检测的难点在于物体运动的同时，采集图像的相机自身也存在运动。在相机运动的情况下，图像背景会不断改变，图像局部的信息无法使用。当前大部分相机运动条件下的运动物体检测都是利用稠密的光流信息。但是获得稠密的光流信息会带来巨大的计算负担，无法到达实时的处理速度。还有一些方案采用背景减除法，分割，或者跟踪算法，但是背景减除法需要背景建模，背景复杂建模过程耗费时间，计算量增大；而且建模方法准确率不高。此外，也有方案从双目出发，结合立体匹配和光流信息，但是该种方法需要双目相机，成本增加，而且计算量也很大。
综上所述，需要一种新的运动物体检测方法，来降低计算量。
发明内容
本申请实施例提供运动物体检测方法、装置、介质及计算设备，用以解决现有技术中存在运动物体检测的计算负担过大等的问题。
本申请实施例提供了一种运动物体检测方法，包括：
获取连续N帧图像，其中N为大于或等于3的正整数；
对所述N帧图像进行极点校正，以使所述N帧图像中的各极点相等且各极线相等；
针对所述N帧图像中待确定前景点和背景点的图像中的每个像素点，确定该像素点是否位于该图像的极线上；
若是，则确定该像素点为初始背景点；若否，则确定该像素点为前景点；
针对提取的每个初始背景点，确定该初始背景点在所述N帧图像中的光流是否相同；
若不相同，则确定该初始背景点为前景点；否则，确定该初始背景点为最终背景点。
申请另一实施例还提供一种运动物体检测装置，该装置包括：
连续图像获取模块，用于获取连续N帧图像，其中N为大于或等于3的正整数；
极点校正模块，用于对所述N帧图像进行极点校正，以使所述N帧图像中的各极点相等且各极线相等；
极线约束模块，用于针对所述N帧图像中待确定前景点和背景点的图像中的每个像素点，确定该像素点是否位于该图像的极线上；
极线约束判决模块，用于若是，则确定该像素点为初始背景点；若否，则确定该像素点为前景点；
光流约束模块，用于针对提取的每个初始背景点，确定该初始背景点在所述N帧图像中的光流是否相同；
光流约束判决模块，用于若不相同，则确定该初始背景点为前景点；否则，确定该初始背景点为最终背景点。
本申请另一实施例还提供了一种计算设备，其包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序指令执行本申请实施例中的任一运动物体检测方法。
本申请另一实施例还提供了一种计算机存储介质，其中，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行本申请实施例中的任一运动物体检测方法。
本申请实施例中通过极线约束条件既可以提取前景点和背景点实现运动物体的检测，由于极线约束条件实现简单，计算量小，故而可以提高检测效率，降低计算负担。此外，结合光流约束条件，能够进一步提高确定前景点和背景点的准确性，提高运动物体检测的可靠性。
附图说明
图1为本申请实施例一提供的运动物体检测方法流程示意图；
图2为本申请实施例一提供的静止物体在世界坐标系下的模型示意图；
图3为本申请实施例二提供的运动物体检测装置的结构示意图；
图4为本申请实施例三提供的计算设备的结构示意图。
具体实施方式
发明人发现，在图像坐标中，相机运动，所有的像素点就运动。但是在世界坐标中，物体的位置和相机的运动是独立的。即，静止物体的位置不会改变即使相机存在运动。这意味着即使相机运动，静止物体的像素依然在极线当中。而运动物体的像素就不符合这个约束条件。
有鉴于此，本申请实施例提出了一种基于极线约束的运动物体检测方法。此外，发明人还发现，如果物体沿着极线方向运动，则运动物体也会符合极线约束条件。为了弥补这个缺陷，发明人研究发现，背景点在连续多帧之间的光流是一致的，而前景点在连续多帧之间的光流存在一定的差异。故此，本申请实施例中，在使用极线约束的前提下，对极线约束确定的背景点再次通过光流约束，提取出极线约束条件下的背景点中的前景点，从而区分出沿着极线方向运动的前景点。通过比较连续多帧之间的光流，前景点会存在差异，通过该差异可以提取出前景点作为检测出的运动物体的点。
较佳的，本申请实施例中在使用光流约束的条件下，尤其适用于相机帧率足够高的应用场景下。基于相机帧率足够高(即相机帧率大于预设帧率)，则满足背景点在连续多帧之间的光流一致的前提。
下面结合说明书附图对本申请实施例作进一步详细描述。
实施例一
参照图1，为本申请实施例一提供的运动物体检测方法的流程示意图，该方法包括以下步骤：
步骤101：获取连续N帧图像，其中N为大于或等于3的正整数。
步骤102：对所述N帧图像进行极点校正，以使所述N帧图像中的各极点相等且各极线相等。
其中，极点校正的目的是让极点在连续N帧的位置一致，这样根据前述极线约束条件，提取的前景点和背景点才有实际意义。
为了校正极点，必须计算相机自身运动，世界坐标系下的相机自身运动被投影到图像坐标系下的极线流。
点p的极线流由两个分量组成，旋转分量ur(p)和平移分量ut(p,d(p))，如公式(1)所示
u(p)＝ur(p)+ut(p,d(p)) (1)
其中，d(p)是相机到像素点的距离，即图像平面上点到相机光心之间的距离。
平移分量和距离有关，沿着极线方向投影，因此主要评估计算旋转分量并依此对图像进行极点校正即可。为了能够更好的使用极线约束条件，本申请实施例中假设背景点的数目远远多于前景点，故此，为了降低前景点的数量，可以采用一定的方法来去除一些前景点，这样还可以实现降低前景点用来评估旋转分量引入的错误。
进一步的，N帧图像可以取3帧图像。则具体实施时，可以根据以下方法进行极点校正，包括以下步骤A1-A6：
步骤A1：基于SIFT(Scale-invariant feature transform，尺度不变特征变换)方法提取各帧图像的特征点。
需要说明的是，为了降低计算负担，本申请实施例采用SIFT方法提取特征点，当然具体实施时，也可以参照本申请实施例的原理采用其他的方法，均适用于本申请实施例。
步骤A2：针对连续3帧图像的每幅图像，基于RANSAC(RANdom SAmple Consensus，随机抽样一致)方法去除各帧图像中的特征点的异常点。
RANSAC方法，能够以较少的计算量粗略地剔除部分前景点，故而能够减少前景点在计算旋转分量时引入的误差。当然，具体实施时，也可以参照本申请实施例的原理采用其他的方法，均适用于本申请实施例。
步骤A3：确定各帧图像中的对应特征点，其中，世界坐标系中的同一特征点在三幅图像中的投影点构成一组对应特征点。
也即，不同帧中的对应世界坐标系中的同一点的点构成对应特征点。例如，假设世界坐标中点A，在第一图像中的投影点为A1，在第二帧图像中的投影点为A2，则A1和A2构成对应点。具体实施时，可以根据现有技术确定对应点，本申请对此不作赘述。
步骤A4：根据对应特征点的图像坐标，确定3帧图像中的中间一帧图像和其上一帧图像之间的旋转分量，以及中间一帧图像与其下一帧图像之间的旋转分量。
具体实施时，可以根据以下方法确定旋转分量；
设旋转分量表达式为a＝(a1,a2,a3,a4,a5)T；
对待计算旋转分量的两帧图像，根据对应特征点之间旋转特征相等的原理，以及以下公式(2)确定该两帧图像之间的旋转分量；
Figure BDA0001385236440000061
其中：
Figure BDA0001385236440000062
其中，ur(p)表示特征点p的旋转特征；x、y表示特征点p的图像坐标；xc和yc是x轴和y轴的中心点。
例如，对于第n-1帧和第n帧图像，可以从这两帧图像中选取5组对应特征点，根据根据对应特征点之间旋转特征相等的原理，构建5组等式，则，根据构建的5组等式可以求解出旋转分量a。
当然具体实施时，也可以采用8点法，根据对应特征点之间旋转特征相等的原理，以及公式(2)确定该两帧图像之间的旋转分量
步骤A5：根据中间一帧图像和其上一帧图像之间的旋转分量，对该上一帧图像进行极点校正。
步骤A6：根据中间一帧图像和其下一帧图像之间的旋转分量，对该下一帧图像进行极点校正。
需要说明的是，具体实施时，步骤A5和步骤A6的执行顺序不受限。极点校正时可以采用确定出的旋转分量乘以相应图像的相机坐标来实现对相应图像的极点校正。
当然，对应N为3帧以上的情况，基于需要将N帧图像进行极点校正的原理设计校正的方案。例如，针对N帧图像的场景，第1帧图像校正到和第2帧图像的极点和极线一致，第3帧图像校正到和第2帧图像的极点和极线一致，依次类推，后一帧图像校正到和前一帧图像的极点和极线一致，从而实现连续N帧图像的极点校正。
步骤103：针对所述N帧图像中待确定前景点和背景点的图像中的每个像素点，确定该像素点是否位于该图像的极线上。
步骤104：若是，则确定该像素点为初始背景点；若否，则确定该像素点为前景点。
继续以N为3帧图像为例，具体实施时，可以根据以下方法确定初始背景点和前景点，包括以下步骤B1-B2：
步骤B1：确定所述3帧图像中的对应点，其中，世界坐标系中的同一点在三幅图像中的投影点构成一组对应点。
步骤B2：针对3帧图像的中间一帧图像的每个像素点，根据以下公式(3)确定该像素点是否位于该图像的极线上：
Figure BDA0001385236440000071
其中，n表示3帧图像的中间一帧图像；n-1表示第n帧图像的上一帧图像；n+1表示第n帧图像的下一帧图像；pn表示第n帧图像上的像素点p；L(p)表示像素点p是初始背景点还是前景点，其中，为0表示是初始背景点，1表示前景点；λ1是判断像素点是否位于极线上的阈值；pn-1表示第n-1帧图像中与pn对应的点；pn+1表示第n+1帧图像中与pn对应的点；ln表示第n帧图像的极线。
为便于理解，下面对采用公式(3)作为极线约束条件的原理做进一步说明：
极点校正过后，就可以通过连续3帧之间的极线约束来分开前景和背景像素。极点校正后，对于背景像素，补偿过后的背景像素点一定位于极线ln上，对于前景像素，补偿过后的前景像素点一定不位于极线ln上。该关系式可以采用公式(4)来表示：
ln(pn 0)Tpn-1 0＝0
ln(pn 0)Tpn+1 0＝0 (4)
ln(pn 1)Tpn-1 1≠0
ln(pn 1)Tpn+1 1≠0
其中，0和1均表示要求对应点。
具体实施时，为了能够具有一定的容错能力(即并不一定背景点都严格在极线上，极线附近的点也可能是背景点)，所以在公式(3)中引入λ1来作为最终的极线约束条件。
极线约束无法判断沿着极线方向运动的物体，在此本申请结合光流约束来弥补这个缺陷。故此，本申请实施例中，继步骤104之后，继续执行以下步骤105-106。
步骤105：针对提取的每个初始背景点，确定该初始背景点在所述N帧图像中的光流是否相同。
步骤106：若不相同，则确定该初始背景点为前景点；否则，确定该初始背景点为最终背景点。
具体实施时，以连续3帧图像为例，通过比较n-1帧和n帧，n帧和n+1帧之间的光流，如果两个光流不同则为运动物体，相同则为静止物体。
在极限约束的前提条件下，本申请定义了静止物体在世界坐标系下的模型，如图2所示。图中On为第n帧中相机的位置，On-1和On+1意义类似。P为点在世界坐标系下的坐标。V为P和消失线的正交点，D为V和P的距离，Zn是V和On的距离，其他Z类似，Mn为On和On-1的距离，其他M类似，定义f为焦距，dn为en和pn之间的距离，其他d类似。
根据相似三角形法则，可得公式(5)：
D:Zn-1＝dn-1:f
D:Zn＝dn:f (5)
D:Zn+1＝dn+1:f
替换Zn-1＝Zn+Mn和Zn+1＝Zn-Mn+1公式变为D:(Zn+Mn)＝dn-1:f和D:(Zn-Mn+1)＝dn-1:f。变换后得公式(6)：
Figure BDA0001385236440000081
如果图像帧率满足要求，即自身运动在前后连续两帧之间是不变的，则Mn＝Mn+1，因此背景点的公式(6)等于1。利用公式(6)可以在极限约束的基础上将沿着极线方向的运动物体分离出来。
基于以上分析，则，针对提取的每个初始背景点，根据以下公式(7)确定该初始背景点在所述N帧图像中的光流是否相同：
Figure BDA0001385236440000091
其中，L'(P)表示初始背景点是前景点还是最终背景点，其中0表示前景点，1表示最终背景点；λ2表示光流约束的阈值；n表示第n帧图像；n+1表示第n+1帧图像；n-1表示第n-1帧图像；d表示同一帧图像中极点和初始背景点之间的距离。
综上所述，本申请实施例通过极线约束条件既可以提取前景点和背景点实现运动物体的检测，由于极线约束条件实现简单，计算量小，故而可以提高检测效率，降低计算负担。
此外，结合光流约束条件，能够进一步提高确定前景点和背景点的准确性，提高运动物体检测的可靠性。
实施例二
基于相同的发明构思，本申请实施例还提供一种运动物体检测装置，该装置的原理和有益效果与上述方法实施例中所述的类似，在此不再赘述。
如图3所示，为该装置的结构示意图，包括：
连续图像获取模块301，用于获取连续N帧图像，其中N为大于或等于3的正整数；
极点校正模块302，用于对所述N帧图像进行极点校正，以使所述N帧图像中的各极点相等且各极线相等；
极线约束模块303，用于针对所述N帧图像中待确定前景点和背景点的图像中的每个像素点，确定该像素点是否位于该图像的极线上；
极线约束判决模块304，用于若是，则确定该像素点为初始背景点；若否，则确定该像素点为前景点；
光流约束模块305，用于针对提取的每个初始背景点，确定该初始背景点在所述N帧图像中的光流是否相同；
光流约束判决模块306，用于若不相同，则确定该初始背景点为前景点；否则，确定该初始背景点为最终背景点。
进一步的，所述N为3。
进一步的，极线约束模块具体包括：
对应点确定单元，用于确定所述3帧图像中的对应点，其中，世界坐标系中的同一点在三幅图像中的投影点构成一组对应点；
极线判断单元，用于针对3帧图像的中间一帧图像的每个像素点，根据以下公式确定该像素点是否位于该图像的极线上：
Figure BDA0001385236440000101
其中，n表示3帧图像的中间一帧图像；n-1表示第n帧图像的上一帧图像；n+1表示第n帧图像的下一帧图像；pn表示第n帧图像上的像素点p；L(p)表示像素点p是初始背景点还是前景点，其中，为0表示是初始背景点，1表示前景点；λ1是判断像素点是否位于极线上的阈值；pn-1表示第n-1帧图像中与pn对应的点；pn+1表示第n+1帧图像中与pn对应的点；ln表示第n帧图像的极线。
进一步的，光流约束模块，具体用于针对提取的每个初始背景点，根据以下公式确定该初始背景点在所述N帧图像中的光流是否相同：
Figure BDA0001385236440000102
其中，L'(P)表示初始背景点是前景点还是最终背景点，其中0表示前景点，1表示最终背景点；λ2表示光流约束的阈值；n表示第n帧图像；n+1表示第n+1帧图像；n-1表示第n-1帧图像；d表示同一帧图像中极点和初始背景点之间的距离。
进一步的，极点校正模块，具体包括：
特征点提取单元，用于基于SIFT方法提取各帧图像的特征点；
异常点去除单元，用于针对连续3帧图像的每幅图像，基于RANSAC方法去除各帧图像中的特征点的异常点；
对应特征点确定单元，用于确定各帧图像中的对应特征点，其中，世界坐标系中的同一特征点在三幅图像中的投影点构成一组对应特征点；
旋转分量确定单元，用于根据对应特征点的图像坐标，确定3帧图像中的中间一帧图像和其上一帧图像之间的旋转分量，以及中间一帧图像与其下一帧图像之间的旋转分量；
校正单元，用于根据中间一帧图像和其上一帧图像之间的旋转分量，对该上一帧图像进行极点校正；以及，根据中间一帧图像和其下一帧图像之间的旋转分量，对该下一帧图像进行极点校正。
进一步的，旋转分量确定单元，具体用于根据以下方法确定旋转分量：
设旋转分量表达式为a＝(a1,a2,a3,a4,a5)T；
对待计算旋转分量的两帧图像，根据对应特征点之间旋转特征相等的原理，以及以下公式确定该两帧图像之间的旋转分量；
Figure BDA0001385236440000111
其中：
Figure BDA0001385236440000112
其中，ur(p)表示特征点p的旋转特征；x、y表示特征点p的图像坐标；xc和yc是x轴和y轴的中心点。
实施例三
本申请实施例三还提供了一种计算设备，该计算设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)等。如图4所示，该计算设备可以包括中央处理器(Center Processing Unit，CPU)401、存储器402、输入设备403，输出设备404等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(Liquid Crystal Display，LCD)、阴极射线管(Cathode RayTube，CRT)等。
存储器可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器提供存储器中存储的程序指令和数据。在本申请实施例中，存储器可以用于存储运动物体检测方法的程序指令。
处理器通过调用存储器存储的程序指令，处理器用于按照获得的程序指令执行：获取连续N帧图像，其中N为大于或等于3的正整数；
对所述N帧图像进行极点校正，以使所述N帧图像中的各极点相等且各极线相等；
针对所述N帧图像中待确定前景点和背景点的图像中的每个像素点，确定该像素点是否位于该图像的极线上；
若是，则确定该像素点为初始背景点；若否，则确定该像素点为前景点；
针对提取的每个初始背景点，确定该初始背景点在所述N帧图像中的光流是否相同；
若不相同，则确定该初始背景点为前景点；否则，确定该初始背景点为最终背景点。
实施例四
本申请实施例四提供了一种计算机存储介质，用于储存为上述计算设备所用的计算机程序指令，其包含用于执行上述运动物体检测方法的程序。
所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (9)

1.一种运动物体检测方法，其特征在于，所述方法包括：
获取连续N帧图像，其中N为大于或等于3的正整数；
对所述N帧图像进行极点校正，以使所述N帧图像中的各极点相等且各极线相等；
针对所述N帧图像中待确定前景点和背景点的图像中的每个像素点，确定该像素点是否位于该图像的极线上；
若是，则确定该像素点为初始背景点；若否，则确定该像素点为前景点；
针对提取的每个初始背景点，根据以下公式确定该初始背景点在所述N帧图像中的光流是否相同：
Figure FDA0002269522530000011
其中，L'(P)表示初始背景点是前景点还是最终背景点，其中0表示前景点，1表示最终背景点；λ2表示光流约束的阈值；n表示第n帧图像；n+1表示第n+1帧图像；n-1表示第n-1帧图像；d表示同一帧图像中极点和初始背景点之间的距离；
若不相同，则确定该初始背景点为前景点；否则，确定该初始背景点为最终背景点。
2.根据权利要求1所述的方法，其特征在于，所述N为3。
3.根据权利要求2所述的方法，其特征在于，针对所述N帧图像中待确定前景点和背景点的图像中的每个像素点，确定该像素点是否位于该图像的极线上，具体包括：
确定所述3帧图像中的对应点，其中，世界坐标系中的同一点在三幅图像中的投影点构成一组对应点；
针对3帧图像的中间一帧图像的每个像素点，根据以下公式确定该像素点是否位于该图像的极线上：
Figure FDA0002269522530000021
其中，n表示3帧图像的中间一帧图像；n-1表示第n帧图像的上一帧图像；n+1表示第n帧图像的下一帧图像；pn表示第n帧图像上的像素点p；L(p)表示像素点p是初始背景点还是前景点，其中，为0表示是初始背景点，1表示前景点；λ1是判断像素点是否位于极线上的阈值；pn-1表示第n-1帧图像中与pn对应的点；pn+1表示第n+1帧图像中与pn对应的点；ln表示第n帧图像的极线。
4.根据权利要求3所述的方法，其特征在于，对所述N帧图像进行极点校正，具体包括：
基于尺度不变特征变换SIFT方法提取各帧图像的特征点；
针对连续3帧图像的每幅图像，基于随机抽样一致RANSAC方法去除各帧图像中的特征点的异常点；
确定各帧图像中的对应特征点，其中，世界坐标系中的同一特征点在三幅图像中的投影点构成一组对应特征点；
根据对应特征点的图像坐标，确定3帧图像中的中间一帧图像和其上一帧图像之间的旋转分量，以及中间一帧图像与其下一帧图像之间的旋转分量；
根据中间一帧图像和其上一帧图像之间的旋转分量，对该上一帧图像进行极点校正；以及，
根据中间一帧图像和其下一帧图像之间的旋转分量，对该下一帧图像进行极点校正。
5.根据权利要求4所述的方法，其特征在于，根据对应特征点的图像坐标，确定3帧图像中的中间一帧图像和其上一帧图像之间的旋转分量，以及中间一帧图像与其下一帧图像之间的旋转分量，具体包括：
根据以下方法确定旋转分量：
设旋转分量表达式为a＝(a1,a2,a3,a4,a5)T；
对待计算旋转分量的两帧图像，根据对应特征点之间旋转特征相等的原理，以及以下公式确定该两帧图像之间的旋转分量；
Figure FDA0002269522530000031
其中：
Figure FDA0002269522530000032
其中，ur(p)表示特征点p的旋转特征；x、y表示特征点p的图像坐标；xc和yc是x轴和y轴的中心点。
6.一种运动物体检测装置，其特征在于，所述装置包括：
连续图像获取模块，用于获取连续N帧图像，其中N为大于或等于3的正整数；
极点校正模块，用于对所述N帧图像进行极点校正，以使所述N帧图像中的各极点相等且各极线相等；
极线约束模块，用于针对所述N帧图像中待确定前景点和背景点的图像中的每个像素点，确定该像素点是否位于该图像的极线上；
极线约束判决模块，用于若是，则确定该像素点为初始背景点；若否，则确定该像素点为前景点；
光流约束模块，用于针对提取的每个初始背景点，根据以下公式确定该初始背景点在所述N帧图像中的光流是否相同：
Figure FDA0002269522530000033
其中，L'(P)表示初始背景点是前景点还是最终背景点，其中0表示前景点，1表示最终背景点；λ2表示光流约束的阈值；n表示第n帧图像；n+1表示第n+1帧图像；n-1表示第n-1帧图像；d表示同一帧图像中极点和初始背景点之间的距离；
光流约束判决模块，用于若不相同，则确定该初始背景点为前景点；否则，确定该初始背景点为最终背景点。
7.根据权利要求6所述的装置，其特征在于，所述N为3，极线约束模块具体包括：
对应点确定单元，用于确定所述3帧图像中的对应点，其中，世界坐标系中的同一点在三幅图像中的投影点构成一组对应点；
极线判断单元，用于针对3帧图像的中间一帧图像的每个像素点，根据以下公式确定该像素点是否位于该图像的极线上：
Figure FDA0002269522530000041
其中，n表示3帧图像的中间一帧图像；n-1表示第n帧图像的上一帧图像；n+1表示第n帧图像的下一帧图像；pn表示第n帧图像上的像素点p；L(p)表示像素点p是初始背景点还是前景点，其中，为0表示是初始背景点，1表示前景点；λ1是判断像素点是否位于极线上的阈值；pn-1表示第n-1帧图像中与pn对应的点；pn+1表示第n+1帧图像中与pn对应的点；ln表示第n帧图像的极线。
8.一种计算设备，其特征在于，包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序指令执行如权利要求1～5任一所述的运动物体检测方法。
9.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行如权利要求1～5任一所述的运动物体检测方法。
CN201710722346.6A 2017-08-22 2017-08-22 运动物体检测方法、装置、介质及计算设备 Active CN107507224B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710722346.6A CN107507224B (zh) 2017-08-22 2017-08-22 运动物体检测方法、装置、介质及计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710722346.6A CN107507224B (zh) 2017-08-22 2017-08-22 运动物体检测方法、装置、介质及计算设备

Publications (2)

Publication Number Publication Date
CN107507224A CN107507224A (zh) 2017-12-22
CN107507224B true CN107507224B (zh) 2020-04-24

Family

ID=60692441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710722346.6A Active CN107507224B (zh) 2017-08-22 2017-08-22 运动物体检测方法、装置、介质及计算设备

Country Status (1)

Country Link
CN (1) CN107507224B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156932A (zh) * 2013-05-13 2014-11-19 哈尔滨点石仿真科技有限公司 一种基于光流场聚类的运动目标分割方法
CN104616320A (zh) * 2015-02-03 2015-05-13 中国人民解放军国防科学技术大学 低空航拍视频中基于梯度抑制和极线约束的车辆检测方法
CN105711498A (zh) * 2014-12-18 2016-06-29 富士通天株式会社 物体检测装置、物体检测系统、物体检测方法以及程序
CN107025658A (zh) * 2015-11-13 2017-08-08 本田技研工业株式会社 采用单个相机检测运动物体的方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104156932A (zh) * 2013-05-13 2014-11-19 哈尔滨点石仿真科技有限公司 一种基于光流场聚类的运动目标分割方法
CN105711498A (zh) * 2014-12-18 2016-06-29 富士通天株式会社 物体检测装置、物体检测系统、物体检测方法以及程序
CN104616320A (zh) * 2015-02-03 2015-05-13 中国人民解放军国防科学技术大学 低空航拍视频中基于梯度抑制和极线约束的车辆检测方法
CN107025658A (zh) * 2015-11-13 2017-08-08 本田技研工业株式会社 采用单个相机检测运动物体的方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Detection of Independently Moving Objects in Non-planar Scenes via Multi-Frame Monocular Epipolar Constraint;Soumyabrata Dey 等;《European Conference on Computer Vision，ECCV 2012》;20121031;860-873 *
基于视觉的驾驶行为建模;谭论正;《中国博士学位论文全文数据库 工程科技Ⅱ辑》;20141215(第12期);第C034-83页第2.3，2.4.1节 *
相机运动状态下动目标检测关键技术研究;丁祺;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170215(第02期);第I138-3352页第3.2节 *

Also Published As

Publication number Publication date
CN107507224A (zh) 2017-12-22

Similar Documents

Publication Publication Date Title
CN108805917B (zh) 空间定位的方法、介质、装置和计算设备
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
CN113286194A (zh) 视频处理方法、装置、电子设备及可读存储介质
CN105308618B (zh) 借助于并行检测和跟踪和/或分组特征运动移位跟踪的人脸识别
CN108921131B (zh) 一种生成人脸检测模型、三维人脸图像的方法及装置
CN110248048B (zh) 一种视频抖动的检测方法及装置
US11900676B2 (en) Method and apparatus for detecting target in video, computing device, and storage medium
EP2898473A1 (en) Systems and methods for reducing noise in video streams
CN110956131B (zh) 单目标追踪方法、装置及系统
CN111325798A (zh) 相机模型纠正方法、装置、ar实现设备及可读存储介质
CN111914756A (zh) 一种视频数据处理方法和装置
CN112966654A (zh) 唇动检测方法、装置、终端设备及计算机可读存储介质
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
CN105049706A (zh) 一种图像处理方法及终端
US20200193637A1 (en) Image processing apparatus and image processing method
CN111192312A (zh) 基于深度学习的深度图像获取方法、装置、设备及介质
CN111724421B (zh) 图像处理方法及装置、电子设备及存储介质
CN109523573A (zh) 目标对象的跟踪方法和装置
CN113470065B (zh) 移动物体检测和跟踪方法以及装置
CN107507224B (zh) 运动物体检测方法、装置、介质及计算设备
CN116188535A (zh) 基于光流估计的视频跟踪方法、装置、设备及存储介质
CN113762027B (zh) 一种异常行为的识别方法、装置、设备及存储介质
CN113762017B (zh) 一种动作识别方法、装置、设备及存储介质
CN113989334A (zh) 一种视频移动对象的跟踪方法、装置、设备及存储介质
CN109493349B (zh) 一种图像特征处理模块、增强现实设备和角点检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Method, device, medium, and computing equipment for detecting moving objects

Granted publication date: 20200424

Pledgee: Xiamen Huli Sub branch of Agricultural Bank of China Co.,Ltd.

Pledgor: MINGJIAN (XIAMEN) TECHNOLOGY CO.,LTD.

Registration number: Y2024980009494

PE01 Entry into force of the registration of the contract for pledge of patent right