CN114973175A - 运动物体检测方法、装置、终端设备以及存储介质 - Google Patents

运动物体检测方法、装置、终端设备以及存储介质 Download PDF

Info

Publication number
CN114973175A
CN114973175A CN202210571210.0A CN202210571210A CN114973175A CN 114973175 A CN114973175 A CN 114973175A CN 202210571210 A CN202210571210 A CN 202210571210A CN 114973175 A CN114973175 A CN 114973175A
Authority
CN
China
Prior art keywords
optical flow
moving object
motion estimation
camera
camera motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210571210.0A
Other languages
English (en)
Other versions
CN114973175B (zh
Inventor
曾杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Hangsheng Electronic Co Ltd
Original Assignee
Shenzhen Hangsheng Electronic Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Hangsheng Electronic Co Ltd filed Critical Shenzhen Hangsheng Electronic Co Ltd
Priority to CN202210571210.0A priority Critical patent/CN114973175B/zh
Publication of CN114973175A publication Critical patent/CN114973175A/zh
Application granted granted Critical
Publication of CN114973175B publication Critical patent/CN114973175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种运动物体检测方法、装置、终端设备以及存储介质，该方法包括：获取车载摄像头采集的视频流；基于稠密光流法和SURF方法进行特征点相融合的方式，对视频流进行相机运动估计，得到相机运动估计结果；基于相机运动估计结果和所述视频流的光流信息进行背景建模，得到背景模型；基于背景模型进行前景提取，得到提取的前景图像；对所述前景图像进行后处理，得到完整的运动物体区域。本发明能够更加准确和稳定的估计出摄像机的运动幅度和方向，减少由于摄像机的运动而造成的误检情况；此外，结合实际图像光流与相机运动光流间的运动幅值以及角度差值信息，减少移动物体误检的情况，从而能够达到实时准确的检测出移动物体的目的。

Description

运动物体检测方法、装置、终端设备以及存储介质
技术领域
本发明涉及车载设备技术领域，尤其涉及一种运动物体检测方法、装置、终端设备以及存储介质。
背景技术
汽车驾驶安全一直是备受关注的问题。为了提高车辆驾驶安全性，通常在汽车上设置有车载摄像头，通过车载摄像头监测车辆周边的环境信息，比如监测车辆周边的移动物体。
目前，在车辆静止或者低速状态下，车载摄像头能够实时的检测出场景中的运动物体。但是，现有运用于车载摄像头上的运动物体检测方法要么没有考虑摄像机的运动，要么估计摄像机运动的方法不够精准，这些方法都会造成误检的产生。
发明内容
本发明的主要目的在于提供一种运动物体检测方法、装置、终端设备以及存储介质，旨在提高车载摄像头对运动物体检测的准确性。
为实现上述目的，本发明提供一种运动物体检测方法，包括：
获取车载摄像头采集的视频流；
基于稠密光流法和SURF方法进行特征点相融合的方式，对所述视频流进行相机运动估计，得到相机运动估计结果；
基于所述相机运动估计结果和所述视频流的光流信息进行背景建模，得到背景模型；
基于所述背景模型进行前景提取，得到提取的前景图像；
对所述前景图像进行后处理，得到完整的运动物体区域。
可选地，所述基于稠密光流法和SURF方法进行特征点相融合的方式，对所述视频流进行相机运动估计，得到相机运动估计结果的步骤包括：
从所述视频流中提取第t-k帧和第t帧，t为大于1的整数，k为预设值；
采用稠密光流法对第t-k帧与第t帧进行光流估计，获得第t-k帧到第t帧图像之间的光流图信息；
对第t-k帧图像采用Harris角点提取，获得所述第t-k帧图像的若干光流特征点；
基于所述第t-k帧图像的光流特征点，并结合所述光流图信息，计算得到第t帧图像的光流特征点，进而得到光流特征点对；
分别对第t-k帧和第t帧图像采用SURF方法提取SURF特征点；
采用BruteForce方法对提取的SURF特征点进行一一匹配，得到匹配好的SURF特征点对；
对所述光流特征点对和SURF特征点对进行融合，得到融合特征点对；
根据所述融合特征点对进行相机运动估计，得到相机运动估计结果。
可选地，所述基于所述相机运动估计结果和所述视频流的光流信息进行背景建模，得到背景模型的步骤包括：
基于所述相机运动估计结果、第t-k帧到第t帧图像之间的光流图信息，以及第t帧图像的坐标点进行背景建模，得到相机运动光流图信息的背景模型。
可选地，所述基于所述背景模型进行前景提取，得到提取的前景图像的步骤包括：
基于所述背景模型，根据所述第t-k帧到第t帧图像之间的光流图信息与相机运动光流图信息间的运动幅值提取前景区域；
根据所述第t-k帧到第t帧图像之间的光流图信息与相机运动光流图信息之间的角度差值提取前景区域；
根据提取的前景区域得到前景图像。
可选地，所述对所述前景图像进行后处理，得到完整的运动物体区域的步骤包括：
采用连通域分析法对所述前景图像进行分析，获得相连通的区域块；
对所述区域块进行面积分析；
如果所述区域块的面积小于预设阈值，则判断为噪声；
否则，判断为候选的移动物体区域块；
对获得的候选移动物体区域块进行形态学操作，获得完整的区域块；
对所述完整的区域块进行LBP纹理信息分析；
如果LBP值小于预设阈值，则判断为噪声，否则判断为移动物体区域块。
可选地，所述方法还包括：
当检测出移动物体时，向驾驶员发出提示信息。
可选地，所述k取值[1,5]。
可选地，所述相机运动估计结果通过单应性矩阵体现。
此外，本发明还提出一种运动物体检测装置，所述运动物体检测装置包括：
获取模块，用于获取车载摄像头采集的视频流；
运动估计模块，用于基于稠密光流法和SURF方法进行特征点相融合的方式，对所述视频流进行相机运动估计，得到相机运动估计结果；
背景建模模块，用于基于所述相机运动估计结果和所述视频流的光流信息进行背景建模，得到背景模型；
前景提取模块，用于基于所述背景模型进行前景提取，得到提取的前景图像；
后处理模块，用于对所述前景图像进行后处理，得到完整的运动物体区域。
此外，本发明还提出一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的运动物体检测程序，所述运动物体检测程序被所述处理器执行时实现如上所述的运动物体检测方法的步骤。
此外，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有运动物体检测程序，所述运动物体检测程序被处理器执行时实现如上所述的运动物体检测方法的步骤。
本发明实施例提出的一种运动物体检测方法、装置、终端设备以及存储介质，通过获取车载摄像头采集的视频流；基于稠密光流法和SURF方法进行特征点相融合的方式，对所述视频流进行相机运动估计，得到相机运动估计结果；基于所述相机运动估计结果和所述视频流的光流信息进行背景建模，得到背景模型；基于所述背景模型进行前景提取，得到提取的前景图像；对所述前景图像进行后处理，得到完整的运动物体区域。本发明基于光流法的实时运动物体检测方法应用于车辆上，当车辆处于静止或者低速场景下，可实时地检测出离车近处的移动物体，当检测出移动物体时，可以向驾驶员发出提示信息，从而提高了交通安全性；相比现有技术，本发明方案基于稠密光流和surf特征点相融合，考虑了特征点在整个图像的均匀分布情况，因而能够更加准确和稳定的估计出摄像机的运动幅度和方向，减少了由于摄像机的运动而造成的误检情况；此外，结合实际图像光流与相机运动光流间的运动幅值以及角度差值信息，减少移动物体误检的情况，从而能够达到实时准确的检测出移动物体的目的。
附图说明
图1为本发明运动物体检测装置所属终端设备的功能模块示意图；
图2为本发明运动物体检测方法第一实施例的流程示意图；
图3为本发明实施例运动物体检测的原理示意图；
图4为本发明实施例中特征点提取与匹配示意图；
图5为本发明实施例中特征点融合示意图；
图6为本发明实施例中后处理的示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的主要解决方案是：通过获取车载摄像头采集的视频流；基于稠密光流法和surf方法进行特征点相融合的方式，对所述视频流进行相机运动估计，得到相机运动估计结果；基于所述相机运动估计结果和所述视频流的光流信息进行背景建模，得到背景模型；基于所述背景模型进行前景提取，得到提取的前景图像；对所述前景图像进行后处理，得到完整的运动物体区域。本发明基于光流法的实时运动物体检测方法应用于车辆上，当车辆处于静止或者低速场景下，可实时地检测出离车近处的移动物体，当检测出移动物体时，可以向驾驶员发出提示信息，从而提高了交通安全性；相比现有技术，本发明方案基于稠密光流和surf特征点相融合，考虑了特征点在整个图像的均匀分布情况，因而能够更加准确和稳定的估计出摄像机的运动幅度和方向，减少了由于摄像机的运动而造成的误检情况；此外，结合实际图像光流与相机运动光流间的运动幅值以及角度差值信息，减少移动物体误检的情况，从而能够达到实时准确的检测出移动物体的目的。
本发明实施例涉及的技术术语：
稠密光流法：光流问题涉及尝试找出一幅图像中的许多点在第二幅图像中移动的位置--通常是以视频序列完成的，因此可以假定第一幅图像中的大部分点框架都可以在第二幅图像中找到。光流可以用于场景中物体的运动估计，设置用于相机相对于整个场景的自运动估计。光流算法的理想输出是两帧图像中每个像素的速度的估计关联，或者等效的，一幅图像中每个像素的位移矢量，指示该像素在另一幅图像中的相对位置，如果图像中的每个像素都采用这种方法通常称为“稠密光流”。还有一种算法称为“稀疏光流”，仅仅只跟踪图像中某些点的子集，该算法通常是快速且可靠的，因为其将注意力只放在容易跟踪的特定点上，稀疏跟踪的计算成本远远低于稠密跟踪，这也导致了后者的研究基本被限制在了学术圈。
SURF方法：Speeded Up Robust Features
一种新型的具有尺度和旋转不变特性的兴趣点检测和描述方法，简称为SURF(Speeded Up Robust Features)。在可重复性、独特性和鲁棒性方面，与前人提出的方法相比，该方法性能接近甚至更好，但其计算和匹配的速度更快。
该方法得以实现，是依赖于用积分图像来计算图像卷积，建立在现有的先进检测和描述算子(基于Hessian矩阵的检测算子，基于分布特性的描述算子)的基础上，并将这些方法进行简化，只保留必要的部分。该方法是将新型的检测、描述和匹配步骤组合在一起而得到。
BruteForce方法：
Brute Force算法也被称为朴素的模式匹配算法，是一种简单、直观的模式匹配算法。简单来说，就是对主串的每一个字符作为子串开头，与要匹配的字符串进行匹配。对主串做大循环，每个字符开头做次数为子串长度的小循环，直到匹配成功或全部遍历完成为止。
LBP纹理信息分析：在数字图像处理和模式识别领域，LBP指局部二值模式，即Local Binary Patterns。最初功能为辅助图像局部对比度，后来提升为一种有效的纹理描述算子，度量和提取图像局部的纹理信息，对光照具有不变性。该描述方法还用于质量检测，人脸图像分析等领域，取得了很好的效果。
本发明实施例考虑到，在车辆静止或者低速状态下，车载摄像头能够实时的检测出场景中的运动物体，但是，现有运用于车载摄像头上的运动物体检测方法要么没有考虑摄像机的运动，要么估计摄像机运动的方法不够精准，这些方法都会造成误检的产生。
因此，本发明实施例提出解决方案，基于稠密光流法和SURF方法进行特征点相融合的方式，减少由于摄像机的运动而造成的误检情况。结合实际图像光流与相机运动光流间的运动幅值以及角度差值信息，减少移动物体误检的情况，从而提高车载摄像头对运动物体检测的准确性。
具体地，参照图1，图1为本发明运动物体检测方装置所属终端设备的功能模块示意图。该作业管理装置可以为独立于终端设备的、能够进行数据处理的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动终端，还可以为具有数据处理功能的固定终端设备或服务器等。
在本实施例中，该运动物体检测方装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
存储器130中存储有操作系统以及运动物体检测方程序；输出模块110可以为显示屏等。通信模块140可以包括Wi-Fi模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。
其中，存储器130中的运动物体检测方程序被处理器执行时实现以下步骤：
获取车载摄像头采集的视频流；
基于稠密光流法和SURF方法进行特征点相融合的方式，对所述视频流进行相机运动估计，得到相机运动估计结果；
基于所述相机运动估计结果和所述视频流的光流信息进行背景建模，得到背景模型；
基于所述背景模型进行前景提取，得到提取的前景图像；
对所述前景图像进行后处理，得到完整的运动物体区域。
进一步地，存储器130中的运动物体检测方程序被处理器执行时还实现以下步骤：
从所述视频流中提取第t-k帧和第t帧，t为大于1的整数，k为预设值；
采用稠密光流法对第t-k帧与第t帧进行光流估计，获得第t-k帧到第t帧图像之间的光流图信息；
对第t-k帧图像采用Harris角点提取，获得所述第t-k帧图像的若干光流特征点；
基于所述第t-k帧图像的光流特征点，并结合所述光流图信息，计算得到第t帧图像的光流特征点，进而得到光流特征点对；
分别对第t-k帧和第t帧图像采用SURF方法提取SURF特征点；
采用BruteForce方法对提取的SURF特征点进行一一匹配，得到匹配好的SURF特征点对；
对所述光流特征点对和SURF特征点对进行融合，得到融合特征点对；
根据所述融合特征点对进行相机运动估计，得到相机运动估计结果。
进一步地，存储器130中的运动物体检测方程序被处理器执行时还实现以下步骤：
基于所述相机运动估计结果、第t-k帧到第t帧图像之间的光流图信息，以及第t帧图像的坐标点进行背景建模，得到相机运动光流图信息的背景模型。
进一步地，存储器130中的运动物体检测方程序被处理器执行时还实现以下步骤：
基于所述背景模型，根据所述第t-k帧到第t帧图像之间的光流图信息与相机运动光流图信息间的运动幅值提取前景区域；
根据所述第t-k帧到第t帧图像之间的光流图信息与相机运动光流图信息之间的角度差值提取前景区域；
根据提取的前景区域得到前景图像。
进一步地，存储器130中的运动物体检测方程序被处理器执行时还实现以下步骤：
采用连通域分析法对所述前景图像进行分析，获得相连通的区域块；
对所述区域块进行面积分析；
如果所述区域块的面积小于预设阈值，则判断为噪声；
否则，判断为候选的移动物体区域块；
对获得的候选移动物体区域块进行形态学操作，获得完整的区域块；
对所述完整的区域块进行LBP纹理信息分析；
如果LBP值小于预设阈值，则判断为噪声，否则判断为移动物体区域块。
进一步地，存储器130中的运动物体检测方程序被处理器执行时还实现以下步骤：
当检测出移动物体时，向驾驶员发出提示信息。
本实施例通过上述方案，具体通过获取车载摄像头采集的视频流；基于稠密光流法和SURF方法进行特征点相融合的方式，对所述视频流进行相机运动估计，得到相机运动估计结果；基于所述相机运动估计结果和所述视频流的光流信息进行背景建模，得到背景模型；基于所述背景模型进行前景提取，得到提取的前景图像；对所述前景图像进行后处理，得到完整的运动物体区域。本发明基于光流法的实时运动物体检测方法应用于车辆上，当车辆处于静止或者低速场景下，可实时地检测出离车近处的移动物体，当检测出移动物体时，可以向驾驶员发出提示信息，从而提高了交通安全性；相比现有技术，本发明方案基于稠密光流和surf特征点相融合，考虑了特征点在整个图像的均匀分布情况，因而能够更加准确和稳定的估计出摄像机的运动幅度和方向，减少了由于摄像机的运动而造成的误检情况；此外，结合实际图像光流与相机运动光流间的运动幅值以及角度差值信息，减少移动物体误检的情况，从而能够达到实时准确的检测出移动物体的目的。
基于上述终端设备架构但不限于上述架构，提出本发明方法实施例。
参照图2，图2为本发明运动物体检测方法第一实施例的流程示意图。所述运动物体检测方法包括：
步骤S101，获取车载摄像头采集的视频流；
本发明方案应用于车载摄像头，实现对车辆周围环境的移动物体的检测。
本发明方案基于稠密光流和SURF特征点相融合，考虑特征点在整个图像的均匀分布情况，能够更加准确和稳定的估计出摄像机的运动幅度和方向，减少由于摄像机的运动而造成的误检情况；此外，结合实际图像光流与相机运动光流间的运动幅值以及角度差值信息，减少移动物体误检的情况，实时准确的检测出移动物体。
具体地，首先，获取车载摄像头采集的视频流，视频流包括若干帧图像。
步骤S102，基于稠密光流法和SURF方法进行特征点相融合的方式，对所述视频流进行相机运动估计，得到相机运动估计结果；
具体地，作为一种实施方式，所述基于稠密光流法和surf方法进行特征点相融合的方式，对所述视频流进行相机运动估计，得到相机运动估计结果的步骤可以包括：
从所述视频流中提取第t-k帧和第t帧，t为大于1的整数，k为预设值；
采用稠密光流法对第t-k帧与第t帧进行光流估计，获得第t-k帧到第t帧图像之间的光流图信息；
对第t-k帧图像采用Harris角点提取，获得所述第t-k帧图像的若干光流特征点；
基于所述第t-k帧图像的光流特征点，并结合所述光流图信息，计算得到第t帧图像的光流特征点，进而得到光流特征点对；
分别对第t-k帧和第t帧图像采用SURF方法提取SURF特征点；
采用BruteForce方法对提取的SURF特征点进行一一匹配，得到匹配好的SURF特征点对；
对光流特征点对和SURF特征点对进行融合，得到融合特征点对；
根据所述融合特征点对进行相机运动估计，得到相机运动估计结果。
更为具体地，如图3所示，本实施例运动物体检测流程中，相机运动估计包括：
步骤1：从摄像头取出第t-k帧和第t帧，k值可根据实际情况选值，可以是大于0的正整数，比如可以取[1,5]，采用稠密光流法(GunnerFarneback)对第t-k帧与第t帧进行光流估计，获得光流图信息F。
步骤2：对第t-k帧图像采用Harris角点提取，可获得一系列角点pt-k，再结合光流图信息F可得：
pt＝pt-k+ft-k,t；
其中，pt表示第t帧图像的光流特征点，pt-k表示第t-k帧图像的光流特征点，ft-k,t表示第t-k帧到第t帧图像之间的光流图信息，进而得到光流特征点对。
步骤3：分别对第t-k帧和第t帧图像采用SURF方法提取特征点，并采用BruteForce方法对提取的SURF特征点进行一一匹配，得到匹配好的SURF特征点对；其过程如图4所示。
步骤4：对以上采用光流法以及SURF方法匹配好的特征点对进行融合，其过程如图5所示：
步骤5：根据融合后的特征点对进行相机运动估计H，H矩阵的估计如下：
Ht->t-k*Pt＝Pt-k (1)；
采用RANSAC算法解等式(1)可获得H矩阵，其中Pt表示第t帧图像的融合特征点，Pt-k表示第t-k帧图像的融合特征点；其中Ht->t-k表示第t帧图像到第t-k帧图像之间的单应性矩阵。
步骤S103，基于所述相机运动估计结果和所述视频流的光流信息进行背景建模，得到背景模型；
具体地，基于所述相机运动估计结果、第t-k帧到第t帧图像之间的光流图信息，以及第t帧图像的坐标点进行背景建模，得到相机运动光流图信息的背景模型。
背景建模的过程具体包括：
步骤1：根据H矩阵以及第t-k帧到第t帧图像之间的光流图信息F可得：
Ht->t-k*Pt＝Pt+Ft,t-k (2)；
其中，Ht->t-k表示第t帧图像到第t-k帧图像之间的单应性矩阵，
Figure BDA0003660352520000101
表示第t帧到第t-k帧图像之间的光流图信息，
Figure BDA0003660352520000111
表示第t帧图像的坐标点。
步骤2：理想的背景模型为：
Figure BDA0003660352520000112
其中
Figure BDA0003660352520000113
是相机运动造成的光流图信息。
步骤S104，基于所述背景模型进行前景提取，得到提取的前景图像；
基于所述背景模型，根据所述第t-k帧到第t帧图像之间的光流图信息与相机运动光流图信息间的运动幅值提取前景区域；
根据所述第t-k帧到第t帧图像之间的光流图信息与相机运动光流图信息之间的角度差值提取前景区域；
根据提取的前景区域得到前景图像。
具体实现过程包括：
步骤1：根据第t-k帧到第t帧图像之间的实际图像光流与相机运动光流间的运动幅值来提取前景区域，其表达式如下：
Figure BDA0003660352520000114
Figure BDA0003660352520000115
其中Mt表示第t帧图像的运动物体区域，dv表示实际光流ft,t-k与相机运动光流
Figure BDA0003660352520000116
之间的2阶范式值，Ta表示尺度阈值，a1是固定因子，取值范围[0.5,2]，a2是动态因子，取值范围[0.1,0.5]。
步骤2：利用实际光流与相机运动光流之间的角度差值提取前景区域，其表达式为：
Figure BDA0003660352520000117
其中Mo表示运动物体区域，dc表示实际光流ft,t-k与相机运动光流
Figure BDA0003660352520000118
之间的余弦值，Tc评价角度阈值，取值0.99。
步骤S105，对所述前景图像进行后处理，得到完整的运动物体区域。
通过前面的步骤处理，可以获得大致的前景图像，前景图像经过后处理，可以获得比较完整的运动物体区域。
后处理过程可以包括连通域分析、面积分析、形态学操作以及纹理分析等过程，其流程可以参照图6所示，具体包括：
步骤1，初始获得的前景图像会存在很多噪声，采用连通域分析法对所述前景图像进行分析，获得相连通的区域块；
步骤2，对所述区域块进行面积分析；如果所述区域块的面积小于预设阈值(该值可以根据实际情况设置)，则判断为噪声；否则，判断为候选的移动物体区域块；
步骤3，对获得的候选移动物体区域块进行形态学(膨胀，腐蚀)操作，获得比较完整的区域块；
步骤4，对较为完整的区域块进行LBP纹理信息分析；如果LBP值小于预设阈值(该值可以根据实际情况设置，排除光照产生阴影的影响)，则判断为噪声，否则判断为移动物体区域块。
进一步地，所述方法还可以包括：
当检测出移动物体时，向驾驶员发出提示信息。
本发明基于光流法的实时运动物体检测方法应用于车辆上，当车辆处于静止或者低速场景下，可实时地检测出离车近处的移动物体，当检测出移动物体时，可以向驾驶员发出提示信息，从而提高了交通安全性；相比现有技术，本发明方案基于稠密光流和surf特征点相融合，考虑了特征点在整个图像的均匀分布情况，因而能够更加准确和稳定的估计出摄像机的运动幅度和方向，减少了由于摄像机的运动而造成的误检情况；此外，结合实际图像光流与相机运动光流间的运动幅值以及角度差值信息，减少移动物体误检的情况，从而能够达到实时准确的检测出移动物体的目的。
此外，本发明还提出一种运动物体检测装置，所述运动物体检测装置包括：
获取模块，用于获取车载摄像头采集的视频流；
运动估计模块，用于基于稠密光流法和surf方法进行特征点相融合的方式，对所述视频流进行相机运动估计，得到相机运动估计结果；
背景建模模块，用于基于所述相机运动估计结果和所述视频流的光流信息进行背景建模，得到背景模型；
前景提取模块，用于基于所述背景模型进行前景提取，得到提取的前景图像；
后处理模块，用于对所述前景图像进行后处理，得到完整的运动物体区域。
本实施例实现运动物体检测的原理及实施过程，请参照上述各实施例，在此不再赘述。
此外，本发明还提出一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的运动物体检测程序，所述运动物体检测程序被所述处理器执行时实现如上所述的运动物体检测方法的步骤。
由于本运动物体检测程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
此外，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有运动物体检测程序，所述运动物体检测程序被处理器执行时实现如上所述的运动物体检测方法的步骤。
由于本运动物体检测程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
本发明实施例提出的一种运动物体检测方法、装置、终端设备以及存储介质，通过获取车载摄像头采集的视频流；基于稠密光流法和surf方法进行特征点相融合的方式，对所述视频流进行相机运动估计，得到相机运动估计结果；基于所述相机运动估计结果和所述视频流的光流信息进行背景建模，得到背景模型；基于所述背景模型进行前景提取，得到提取的前景图像；对所述前景图像进行后处理，得到完整的运动物体区域。本发明基于光流法的实时运动物体检测方法应用于车辆上，当车辆处于静止或者低速场景下，可实时地检测出离车近处的移动物体，当检测出移动物体时，可以向驾驶员发出提示信息，从而提高了交通安全性；相比现有技术，本发明方案基于稠密光流和surf特征点相融合，考虑了特征点在整个图像的均匀分布情况，因而能够更加准确和稳定的估计出摄像机的运动幅度和方向，减少了由于摄像机的运动而造成的误检情况；此外，结合实际图像光流与相机运动光流间的运动幅值以及角度差值信息，减少移动物体误检的情况，从而能够达到实时准确的检测出移动物体的目的。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本发明每个实施例的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种运动物体检测方法，其特征在于，包括：
获取车载摄像头采集的视频流；
基于稠密光流法和SURF方法进行特征点相融合的方式，对所述视频流进行相机运动估计，得到相机运动估计结果；
基于所述相机运动估计结果和所述视频流的光流信息进行背景建模，得到背景模型；
基于所述背景模型进行前景提取，得到提取的前景图像；
对所述前景图像进行后处理，得到完整的运动物体区域。
2.根据权利要求1所述的方法，其特征在于，所述基于稠密光流法和SURF方法进行特征点相融合的方式，对所述视频流进行相机运动估计，得到相机运动估计结果的步骤包括：
从所述视频流中提取第t-k帧和第t帧，t为大于1的整数，k为预设值；
采用稠密光流法对第t-k帧与第t帧进行光流估计，获得第t-k帧到第t帧图像之间的光流图信息；
对第t-k帧图像采用Harris角点提取，获得所述第t-k帧图像的若干光流特征点；
基于所述第t-k帧图像的光流特征点，并结合所述光流图信息，计算得到第t帧图像的光流特征点，进而得到光流特征点对；
分别对第t-k帧和第t帧图像采用SURF方法提取SURF特征点；
采用BruteForce方法对提取的SURF特征点进行一一匹配，得到匹配好的SURF特征点对；
对所述光流特征点对和SURF特征点对进行融合，得到融合特征点对；
根据所述融合特征点对进行相机运动估计，得到相机运动估计结果。
3.根据权利要求2所述的方法，其特征在于，所述基于所述相机运动估计结果和所述视频流的光流信息进行背景建模，得到背景模型的步骤包括：
基于所述相机运动估计结果、第t-k帧到第t帧图像之间的光流图信息，以及第t帧图像的坐标点进行背景建模，得到相机运动光流图信息的背景模型。
4.根据权利要求3所述的方法，其特征在于，所述基于所述背景模型进行前景提取，得到提取的前景图像的步骤包括：
基于所述背景模型，根据所述第t-k帧到第t帧图像之间的光流图信息与相机运动光流图信息间的运动幅值提取前景区域；
根据所述第t-k帧到第t帧图像之间的光流图信息与相机运动光流图信息之间的角度差值提取前景区域；
根据提取的前景区域得到前景图像。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述对所述前景图像进行后处理，得到完整的运动物体区域的步骤包括：
采用连通域分析法对所述前景图像进行分析，获得相连通的区域块；
对所述区域块进行面积分析；
如果所述区域块的面积小于预设阈值，则判断为噪声；
否则，判断为候选的移动物体区域块；
对获得的候选移动物体区域块进行形态学操作，获得完整的区域块；
对所述完整的区域块进行LBP纹理信息分析；
如果LBP值小于预设阈值，则判断为噪声，否则判断为移动物体区域块。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
当检测出移动物体时，向驾驶员发出提示信息。
7.根据权利要求1-4中任一项所述的方法，其特征在于，所述k取值[1,5]；所述相机运动估计结果通过单应性矩阵体现。
8.一种运动物体检测装置，其特征在于，所述运动物体检测装置包括：
获取模块，用于获取车载摄像头采集的视频流；
运动估计模块，用于基于稠密光流法和SURF方法进行特征点相融合的方式，对所述视频流进行相机运动估计，得到相机运动估计结果；
背景建模模块，用于基于所述相机运动估计结果和所述视频流的光流信息进行背景建模，得到背景模型；
前景提取模块，用于基于所述背景模型进行前景提取，得到提取的前景图像；
后处理模块，用于对所述前景图像进行后处理，得到完整的运动物体区域。
9.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的运动物体检测程序，所述运动物体检测程序被所述处理器执行时实现如权利要求1-7中任一项所述的运动物体检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有运动物体检测程序，所述运动物体检测程序被处理器执行时实现如权利要求1-7中任一项所述的运动物体检测方法的步骤。
CN202210571210.0A 2022-05-24 2022-05-24 运动物体检测方法、装置、终端设备以及存储介质 Active CN114973175B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210571210.0A CN114973175B (zh) 2022-05-24 2022-05-24 运动物体检测方法、装置、终端设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210571210.0A CN114973175B (zh) 2022-05-24 2022-05-24 运动物体检测方法、装置、终端设备以及存储介质

Publications (2)

Publication Number Publication Date
CN114973175A true CN114973175A (zh) 2022-08-30
CN114973175B CN114973175B (zh) 2024-06-25

Family

ID=82954985

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210571210.0A Active CN114973175B (zh) 2022-05-24 2022-05-24 运动物体检测方法、装置、终端设备以及存储介质

Country Status (1)

Country Link
CN (1) CN114973175B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030117611A1 (en) * 2001-12-24 2003-06-26 Jae Choon Chon Apparatus for calculating optical flow and camera motion using correlation matching and system model in moving image
US8446468B1 (en) * 2007-06-19 2013-05-21 University Of Southern California Moving object detection using a mobile infrared camera
CN103325108A (zh) * 2013-05-27 2013-09-25 浙江大学 一种融合光流与特征点匹配的单目视觉里程计的设计方法
CN104268882A (zh) * 2014-09-29 2015-01-07 深圳市热活力科技有限公司 基于双线阵摄像头的高速运动物体检测与测速方法及系统
CN104408743A (zh) * 2014-11-05 2015-03-11 百度在线网络技术（北京）有限公司 图像分割方法和装置
CN105427345A (zh) * 2015-11-30 2016-03-23 北京正安维视科技股份有限公司 基于相机投影矩阵的三维人流运动分析方法
US20180365843A1 (en) * 2015-07-01 2018-12-20 China University Of Mining And Technology Method and system for tracking moving objects based on optical flow method
CN109544592A (zh) * 2018-10-26 2019-03-29 天津理工大学 针对相机移动的运动目标检测算法
JP2020042715A (ja) * 2018-09-13 2020-03-19 株式会社デンソーテン 移動情報推定装置、異常検出装置、および、移動情報推定方法
CN112802053A (zh) * 2021-01-27 2021-05-14 广东工业大学 一种面向动态环境稠密建图的动态物体检测方法
WO2022027931A1 (zh) * 2020-08-07 2022-02-10 东南大学 基于视频图像的运动车辆前景检测方法
CN114038067A (zh) * 2022-01-07 2022-02-11 深圳市海清视讯科技有限公司 煤矿人员行为检测方法、设备及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030117611A1 (en) * 2001-12-24 2003-06-26 Jae Choon Chon Apparatus for calculating optical flow and camera motion using correlation matching and system model in moving image
US8446468B1 (en) * 2007-06-19 2013-05-21 University Of Southern California Moving object detection using a mobile infrared camera
CN103325108A (zh) * 2013-05-27 2013-09-25 浙江大学 一种融合光流与特征点匹配的单目视觉里程计的设计方法
CN104268882A (zh) * 2014-09-29 2015-01-07 深圳市热活力科技有限公司 基于双线阵摄像头的高速运动物体检测与测速方法及系统
CN104408743A (zh) * 2014-11-05 2015-03-11 百度在线网络技术（北京）有限公司 图像分割方法和装置
US20180365843A1 (en) * 2015-07-01 2018-12-20 China University Of Mining And Technology Method and system for tracking moving objects based on optical flow method
CN105427345A (zh) * 2015-11-30 2016-03-23 北京正安维视科技股份有限公司 基于相机投影矩阵的三维人流运动分析方法
JP2020042715A (ja) * 2018-09-13 2020-03-19 株式会社デンソーテン 移動情報推定装置、異常検出装置、および、移動情報推定方法
CN109544592A (zh) * 2018-10-26 2019-03-29 天津理工大学 针对相机移动的运动目标检测算法
WO2022027931A1 (zh) * 2020-08-07 2022-02-10 东南大学 基于视频图像的运动车辆前景检测方法
CN112802053A (zh) * 2021-01-27 2021-05-14 广东工业大学 一种面向动态环境稠密建图的动态物体检测方法
CN114038067A (zh) * 2022-01-07 2022-02-11 深圳市海清视讯科技有限公司 煤矿人员行为检测方法、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAN G等: "A robust object detection algorithm based on background difference and LK optical flow", 《2014 11TH INTERNATIONAL CONFERENCE ON FUZZY SYSTEMS AND KNOWLEDGE DISCOVERY (FSKD)》, 11 December 2014 (2014-12-11), pages 554 - 559 *
陈广;王毅刚;李仕;杜鹏;: "快速鲁棒的摄像机运动跟踪方法", 计算机工程与设计, no. 10, 31 October 2017 (2017-10-31), pages 153 - 157 *

Also Published As

Publication number Publication date
CN114973175B (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
Fan et al. Pothole detection based on disparity transformation and road surface modeling
JP7221089B2 (ja) 動的な交通参加者の除去による位置推定と地図生成の安定した同時実行
CN108242062B (zh) 基于深度特征流的目标跟踪方法、系统、终端及介质
EP1329850B1 (en) Apparatus, program and method for detecting both stationary objects and moving objects in an image
US9811742B2 (en) Vehicle-surroundings recognition device
US7747075B2 (en) Salient motion detection system, method and program product therefor
CN108229475B (zh) 车辆跟踪方法、系统、计算机设备及可读存储介质
JP4429298B2 (ja) 対象個数検出装置および対象個数検出方法
CN111553247B (zh) 一种基于改进骨干网络的视频结构化系统、方法及介质
CN111738032B (zh) 一种车辆行驶信息确定方法及装置、车载终端
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
CN112435278B (zh) 一种基于动态目标检测的视觉slam方法及装置
CN111382637B (zh) 行人检测跟踪方法、装置、终端设备及介质
US11482007B2 (en) Event-based vehicle pose estimation using monochromatic imaging
CN112435223B (zh) 目标检测方法、装置及存储介质
CN114267041A (zh) 场景中对象的识别方法及装置
Lashkov et al. Edge-computing-facilitated nighttime vehicle detection investigations with CLAHE-enhanced images
CN117911827A (zh) 多模态目标检测方法、装置、设备及存储介质
JP4918615B2 (ja) 対象個数検出装置および対象個数検出方法
CN114973175B (zh) 运动物体检测方法、装置、终端设备以及存储介质
CN112819859B (zh) 一种应用于智慧安防的多目标跟踪方法及装置
JP2018151940A (ja) 障害物検出装置および障害物検出方法
CN113642493A (zh) 一种手势识别方法、装置、设备及介质
JP2009205695A (ja) 対象個数検出装置および対象個数検出方法
Zhou et al. A self-adaptive learning method for motion blur kernel estimation of the single image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zeng Yang

Inventor after: Yin Yutao

Inventor before: Zeng Yang

GR01 Patent grant
GR01 Patent grant