CN111899279A - 一种目标对象的运动速度检测方法及装置 - Google Patents

一种目标对象的运动速度检测方法及装置 Download PDF

Info

Publication number
CN111899279A
CN111899279A CN202010664372.XA CN202010664372A CN111899279A CN 111899279 A CN111899279 A CN 111899279A CN 202010664372 A CN202010664372 A CN 202010664372A CN 111899279 A CN111899279 A CN 111899279A
Authority
CN
China
Prior art keywords
target
target object
dimensional
point
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010664372.XA
Other languages
English (en)
Inventor
柴志文
魏乃科
潘华东
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010664372.XA priority Critical patent/CN111899279A/zh
Publication of CN111899279A publication Critical patent/CN111899279A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Abstract

本发明提供了一种目标对象的运动速度检测方法及装置，其中，该方法包括：在目标视频中采集目标对象在运动过程中的多个目标图像，并分别获取该多个目标图像的深度信息；根据深度学习和背景建模检测该多个目标图像中的该目标对象；根据深度信息对该目标对象所在区域进行点云定位，并对该目标对象所在区域的点云进行聚类，得到该多个目标图像中该目标对象的三维信息；根据该三维信息对该目标对象进行跟踪，得到该目标对象的三维运动轨迹，并根据该三维运动轨迹确定该目标对象的运动速度，可以解决相关技术中二维图像无法获得精确的真实运动速度的问题，根据不含背景的三维信息确定行人的运动速度，可以精度确定行人的运动速度。

Description

一种目标对象的运动速度检测方法及装置
技术领域
本发明涉及视频监控领域，具体而言，涉及一种目标对象的运动速度检测方法及装置。
背景技术
在视频监控领域，尤其在金融、监狱、地铁、车站等安全性要求较高的场景下，人体运动速度是判定人体是否属于异常行为的方法之一。
人体目标速度快慢是最基本的行为属性，通常可采用三轴加速度传感器来测量速度，属于接触式测速方法。考虑到需要随时携带速度测量装置，这种方法普适性不强。在监控领域所获取的信息通常是视频或图像流，因此，在不使用传统三轴加速度传感器的前提下，使用非接触方法监控人体实时速度的方式对人体异常行为的检测与预报显得尤为重要。
相关技术中采用背景差分算法从监控视频中提取人体目标，然后对包含人体目标的二值图像进行数学形态学的开/闭运算后计算人体目标最小外接矩阵的中点，最后通过计算最小外接矩形中点的移动距离，实现对监控视频中人体目标运动速度的估计。根据背景差分法得到人体目标计算像素位移，无法获得精确的速度。
针对相关技术中二维图像无法获得精确的真实运动速度的问题，尚未提出解决方案。
发明内容
本发明实施例提供了一种目标对象的运动速度检测方法及装置，以至少解决相关技术中二维图像无法获得精确的真实运动速度的问题。
根据本发明的一个实施例，提供了一种目标对象的运动速度检测方法，包括：
在目标视频中采集目标对象在运动过程中的多个目标图像，并分别获取所述多个目标图像的深度信息；
根据深度学习和背景建模检测所述多个目标图像中的所述目标对象；
根据所述深度信息对所述目标对象所在区域进行点云定位；
对所述目标对象所在区域的点云进行聚类，得到所述多个目标图像中所述目标对象的三维信息；
根据所述三维信息对所述目标对象进行跟踪，得到所述目标对象的三维运动轨迹，并根据所述三维运动轨迹确定所述目标对象的运动速度。
可选地，根据深度学习和背景建模检测所述多个目标图像中的所述目标对象包括：
根据所述深度学习确定所述多个目标图像中的目标对象矩形框；
根据所述背景建模确定所述多个目标图像的目标对象前景；
将所述多个目标图像中的所述目标对象矩形框和所述目标对象前景的重合区域，确定为所述多个目标图像中所述目标对象所在区域，并确定所述目标对象所在区域的像素集合。
可选地，根据所述深度信息对所述目标对象所在区域进行点云定位包括：
根据所述目标对象的像素集合、每个像素对应的深度信息、相机焦距以及所述目标图像的主点坐标，确定所述像素集合中每一个像素点相对于相机的三维坐标；
将所述目标对象所在区域内全部三维坐标点组合，得到所述目标对象所在区域的点云。
可选地，对所述目标对象所在区域的点云进行聚类，得到所述多个目标图像中所述目标对象的三维信息包括：
分别对所述多个目标图像中所述目标对象所在区域的点云进行下采样；
对所述下采样后得到的数据建立三维树数据结构，其中，所述三维树数据结构中，每一个点的周围P个点为与该点的欧式距离最小的点，P为大于1的整数；
从所述目标对象所在区域内随机选取一个目标点，确定所述目标点与周围N个点的欧式距离，当所述欧式距离小于预设阈值时加入点云聚类集合，其中，N为大于1的整数；
对加入所述点云聚类集合中的目标点重复确定所述目标点与所述周围N个点的欧式距离，当所述欧式距离小于所述预设阈值时加入所述点云聚类集合，直至所述点云聚类集合内所有点均已确定与周围N个点的欧式距离且无新的目标点加入所述点云聚类集合，得到所述多个目标图像中所述目标对象所在区域的点云聚类集合；
分别将所述多个目标图像中所述点云聚类集合中所有目标点在X、Y、Z方向上的均值确定为所述多个目标图像中所述目标对象的三维信息。
可选地，分别对所述多个目标图像中所述目标对象所在区域的点云进行下采样包括：
分别获取所述多个目标图像中所述目标对象所在区域的点云在X、Y、Z方向的范围；
根据所述范围将所述目标对象所在区域划分为预定体积的立方体栅格；
从每个栅格内选取一个点完成下采样，其中，若立方体栅格内存在多个三维点，选取的点为所述多个三维点的加权平均值所在的三维点。
可选地，所述方法还包括：
在确定所述目标对象所在区域的像素集合之后，在二维层面对所述目标对象进行跟踪得到所述目标对象的ID与二维运动轨迹；
将所述二维运动轨迹与所述三维运动轨迹进行目标关联，得到具有对应关系的所述目标对象的ID、所述二维运动轨迹以及所述三维运动轨迹。
可选地，根据所述三维信息对所述目标对象进行跟踪，得到所述目标对象的三维运动轨迹，并根据所述三维运动轨迹确定所述目标对象的运动速度包括：
获取采集所述多个目标图像中相邻两个图像的间隔帧数；
获取所述相机的帧率，根据所述帧率确定所述间隔帧数对应的时间间隔；
根据所述三维运动轨迹确定所述相邻两个图像之间的运动距离；
将所述运动距离与对应的时间间隔的比值确定为所述相邻两个图像之间的运动速度。
根据本发明的另一个实施例，还提供了一种目标对象的运动速度检测装置，包括：
获取模块，用于在目标视频中采集目标对象在运动过程中的多个目标图像，并分别获取所述多个目标图像的深度信息；
检测模块，用于根据深度学习和背景建模检测所述多个目标图像中的所述目标对象；
定位模块，用于根据所述深度信息对所述目标对象所在区域进行点云定位；
聚类模块，用于对所述目标对象所在区域的点云进行聚类，得到所述多个目标图像中所述目标对象的三维信息；
确定模块，用于根据所述三维信息对所述目标对象进行跟踪，得到所述目标对象的三维运动轨迹，并根据所述三维运动轨迹确定所述目标对象的运动速度。
可选地，所述检测模块包括：
第一确定子模块，用于根据所述深度学习确定所述多个目标图像中的目标对象矩形框；
获取子模块，用于根据所述背景建模确定所述多个目标图像的目标对象前景；
第二确定子模块，用于将所述多个目标图像中的所述目标对象矩形框和所述目标对象前景的重合区域，确定为所述多个目标图像中所述目标对象所在区域，并确定所述目标对象所在区域的像素集合。
可选地，所述定位模块包括：
第三确定子模块，用于根据所述目标对象的像素集合、每个像素对应的深度信息、相机焦距以及所述目标图像的主点坐标，确定所述像素集合中每一个像素点相对于相机的三维坐标；
组合子模块，用于将所述目标对象所在区域内全部三维坐标点组合，得到所述目标对象所在区域的点云。
可选地，所述聚类模块包括：
采样子模块，用于分别对所述多个目标图像中所述目标对象所在区域的点云进行下采样；
建立子模块，用于对所述下采样后得到的数据建立三维树数据结构，其中，所述三维树数据结构中，每一个点的周围P个点为与该点的欧式距离最小的点，P为大于1的整数；
选取子模块，用于从所述目标对象所在区域内随机选取一个目标点，确定所述目标点与周围N个点的欧式距离，当所述欧式距离小于预设阈值时加入点云聚类集合，其中，N为大于1的整数；
重复子模块，用于对加入所述点云聚类集合中的目标点重复确定所述目标点与所述周围N个点的欧式距离，当所述欧式距离小于所述预设阈值时加入所述点云聚类集合，直至所述点云聚类集合内所有点均已确定与周围N个点的欧式距离且无新的目标点加入所述点云聚类集合，得到所述多个目标图像中所述目标对象所在区域的点云聚类集合；
第四确定子模块，用于分别将所述多个目标图像中所述点云聚类集合中所有目标点在X、Y、Z方向上的均值确定为所述多个目标图像中所述目标对象的三维信息。
可选地，所述采样子模块包括：
计算单元，用于分别获取所述多个目标图像中所述目标对象所在区域的点云在X、Y、Z方向的范围；
划分单元，用于根据所述范围将所述目标对象所在区域划分为预定体积的立方体栅格；
采样单元，用于从每个栅格内选取一个点完成下采样，其中，若立方体栅格内存在多个三维点，选取的点为所述多个三维点的加权平均值所在的三维点。
可选地，所述装置还包括：
跟踪子模块，用于在确定所述目标对象所在区域的像素集合之后，在二维层面对所述目标对象进行跟踪得到所述目标对象的ID与二维运动轨迹；
关联子模块，用于将所述二维运动轨迹与所述三维运动轨迹进行目标关联，得到所述目标对象的ID、所述二维运动轨迹以及所述三维运动轨迹。
可选地，所述确定模块包括：
获取子模块，用于获取采集所述多个目标图像中相邻两个图像的间隔帧数；
第五确定子模块，用于获取所述相机的帧率，根据所述帧率确定所述间隔帧数对应的时间间隔；
第六确定子模块，用于根据所述三维运动轨迹确定所述相邻两个图像之间的运动距离；
第七确定子模块，用于将所述运动距离与对应的时间间隔的比值确定为所述相邻两个图像之间的运动速度。
根据本发明的又一个实施例，还提供了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，在目标视频中采集目标对象在运动过程中的多个目标图像，并分别获取所述多个目标图像的深度信息；根据深度学习和背景建模检测所述多个目标图像中的所述目标对象；根据所述深度信息对所述目标对象所在区域进行点云定位，并对所述目标对象所在区域的点云进行聚类，得到所述多个目标图像中所述目标对象的三维信息；根据所述三维信息对所述目标对象进行跟踪，得到所述目标对象的三维运动轨迹，并根据所述三维运动轨迹确定所述目标对象的运动速度，可以解决相关技术中根据背景差分法得到人体目标计算像素位移，无法获得精确的速度的问题，根据深度信息检测目标对象，对目标对象的点云进行聚类，可以精确的对行人所在区域进行三维重建，得到不含背景的三维信息，根据三维信息确定行人的运动速度，可以精度确定行人的运动速度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的目标对象的运动速度检测方法的移动终端的硬件结构框图；
图2是根据本发明实施例的目标对象的运动速度检测方法的流程图；
图3是根据本发明实施例的行人速度精准测量方法的流程图；
图4是根据本发明实施例的目标对象的运动速度检测装置的框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的目标对象的运动速度检测方法的移动终端的硬件结构框图，如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的目标对象的运动速度检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端或网络架构的目标对象的运动速度检测方法，图2是根据本发明实施例的目标对象的运动速度检测方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，在目标视频中采集目标对象在运动过程中的多个目标图像，并分别获取所述多个目标图像的深度信息；
步骤S204，根据深度学习和背景建模检测所述多个目标图像中的所述目标对象；
进一步的，上述步骤S204具体可以包括：根据所述深度学习确定所述多个目标图像中的目标对象矩形框；根据所述背景建模确定所述多个目标图像的目标对象前景；将所述多个目标图像中的所述目标对象矩形框和所述目标对象前景的重合区域，确定为所述多个目标图像中所述目标对象所在区域，并确定所述目标对象所在区域的像素集合。
步骤S206，根据所述深度信息对所述目标对象所在区域进行点云定位；
进一步的，上述步骤S206具体可以包括：根据所述目标对象的像素集合、每个像素对应的深度信息、相机焦距以及所述目标图像的主点坐标，确定所述像素集合中每一个像素点相对于相机的三维坐标；
将所述目标对象所在区域内全部三维坐标点组合，得到所述目标对象所在区域的点云。
步骤S208，对所述目标对象所在区域的点云进行聚类，得到所述多个目标图像中所述目标对象的三维信息；
步骤S210，根据所述三维信息对所述目标对象进行跟踪，得到所述目标对象的三维运动轨迹，并根据所述三维运动轨迹确定所述目标对象的运动速度。
进一步的，上述步骤S210具体可以包括：获取采集所述多个目标图像中相邻两个图像的间隔帧数；获取所述相机的帧率，根据所述帧率确定所述间隔帧数对应的时间间隔；根据所述三维运动轨迹确定所述相邻两个图像之间的运动距离；将所述运动距离与对应的时间间隔的比值确定为所述相邻两个图像之间的运动速度。
通过上述步骤S202至S208，可以解决相关技术中二维图像无法获得精确的真实运动速度的问题，根据深度信息检测目标对象，对目标对象的点云进行聚类，可以精确的对行人所在区域进行三维重建，得到不含背景的三维信息，根据三维信息确定行人的运动速度，可以精度确定行人的运动速度。
可选地，上述步骤S208具体可以包括：
分别对所述多个目标图像中所述目标对象所在区域的点云进行下采样，具体的，分别获取所述多个目标图像中所述目标对象所在区域的点云在X、Y、Z方向的范围；根据所述范围将所述目标对象所在区域划分为预定体积的立方体栅格；从每个栅格内选取一个点完成下采样，其中，若立方体栅格内存在多个三维点，选取的点为所述多个三维点的加权平均值所在的三维点；
对所述下采样后得到的数据建立三维树数据结构，其中，所述三维树数据结构中，每一个点的周围P个点为与该点的欧式距离最小的点，P为大于1的整数；
从所述目标对象所在区域内随机选取一个目标点，确定所述目标点与周围N个点的欧式距离，当所述欧式距离小于预设阈值时加入点云聚类集合，其中，N为大于1的整数；
对加入所述点云聚类集合中的目标点重复确定所述目标点与所述周围N个点的欧式距离，当所述欧式距离小于所述预设阈值时加入所述点云聚类集合，直至所述点云聚类集合内所有点均已确定与周围N个点的欧式距离且无新的目标点加入所述点云聚类集合，得到所述多个目标图像中所述目标对象所在区域的点云聚类集合；
分别将所述多个目标图像中所述点云聚类集合中所有目标点在X、Y、Z方向上的均值确定为所述多个目标图像中所述目标对象的三维信息。
在一可选的实施例中，在确定所述目标对象所在区域的像素集合之后，在二维层面对所述目标对象进行跟踪得到所述目标对象的ID与二维运动轨迹；将所述二维运动轨迹与所述三维运动轨迹进行目标关联，得到具有对应关系的所述目标对象的ID、所述二维运动轨迹以及所述三维运动轨迹。将目标二维跟踪与三维跟踪相结合，进一步提高了目标轨迹的鲁棒性。
图3是根据本发明实施例的行人速度精准测量方法的流程图，如图3所示，包括如下步骤：
步骤S301，获取RGB图像及对应深度信息，其中深度信息的获取方式不做限制(多目三维重建、深度相机、结构光、激光雷达等)；
步骤S302，目标检测与前景检测：具体的，使用目标检测神经网络得到所述RGB图像中人体矩形框；使用背景建模方法获得所述RGB图像运动目标前景；根据所述人体矩形框和所述运动目标前景重合区域，确定运动人体像素集合，并在二维层面对人体进行跟踪得到目标id_2d(跟踪方法不限)；
步骤S303，人体区域点云定位，具体的，根据步骤S302得到的所述运动人体像素集合及每个像素对应的深度信息Z、RGB相机焦距f、RGB图片主点坐标(u0，v0)，主点坐标可以为中心坐标，确定所述人体像素集合中每一个像素点(u，v)相对于相机的三维坐标(X，Y，Z)，人体区域内全部三维坐标点构成人体区域点云，具体通过以下公式实现：
Figure BDA0002579802510000111
步骤S304，点云聚类，具体的，包括：
a)点云进行下采样：计算人体区域点云X、Y、Z方向范围，将人体点云区域划分为m*n*w个立方体栅格，每个栅格内取一个点完成下采样；若立方体栅格内存在多个三维点，则对所有点加权平均；
b)对所述下采样后数据根据K-DTree方法建立三维树数据结构，在K-DTree中，每一个点的周围P个点都是与其欧式距离最小的P个点；例如，P为100；
c)从人体区域内任取一点，计算其与周围N个点的欧式距离，当欧式距离小于阈值R时加入点云聚类集合；
d)对点云聚类集合中新加入三维点重复(4c)步骤，直至点云聚类集合内所有点都已计算其与周围N个点的欧式距离且无新的三维点加入点云聚类集合，得到最终人体区域点云聚类集合；
步骤S305，计算人体整体三维信息：根据步骤S304中得到的所述最终人体区域点云聚类集合，加权平均计算人体点云在x、y、z方向的均值；
步骤S306，根据三维信息进行三维目标跟踪，具体的，根据人体点云的均值，对人体目标在三维层面进行跟踪(跟踪方法不限)得到三维目标ID_3d；
步骤S307，根据目标检测的结果进行二维目标跟踪，得到二维目标ID；
步骤S308，目标ID关联，将二维目标ID与三维目标ID相关联，具体的，根据是否属于同一人，将所述三维目标ID_3d及步骤二所述二维目标id_2d相关联，得到目标最终ID及其二维和三维轨迹；
步骤S309，确定运动速度，具体的，在已知相机帧数的前提下，根据步骤六所述目标最终ID及其二维及三维轨迹，即可精准计算二维像素层面及三维空间层面的行人单方向运动速度及行人整体运动速度。
本发明实施例，可在三维层面得到精准的行人真实速度。采用了基于深度学习的目标检测技术及运动前景检测技术准确定位画面中的行人，可以精确的对行人区域进行三维重建，且不含背景三维信息。在人体区域点云的基础上，对人体点云进行精准聚类得到人体三维信息，最后根据相机帧率精准计算行人运动速度。
实施例2
根据本发明的另一个实施例，还提供了一种目标对象的运动速度检测装置，图4是根据本发明实施例的目标对象的运动速度检测装置的框图，如图4所示，包括：
获取模块42，用于在目标视频中采集目标对象在运动过程中的多个目标图像，并分别获取所述多个目标图像的深度信息；
检测模块44，用于根据深度学习和背景建模检测所述多个目标图像中的所述目标对象；
定位模块46，用于根据所述深度信息对所述目标对象所在区域进行点云定位；
聚类模块48，用于对所述目标对象所在区域的点云进行聚类，得到所述多个目标图像中所述目标对象的三维信息；
确定模块410，用于根据所述三维信息对所述目标对象进行跟踪，得到所述目标对象的三维运动轨迹，并根据所述三维运动轨迹确定所述目标对象的运动速度。
可选地，所述检测模块44包括：
第一确定子模块，用于根据所述深度学习确定所述多个目标图像中的目标对象矩形框；
获取子模块，用于根据所述背景建模确定所述多个目标图像的目标对象前景；
第二确定子模块，用于将所述多个目标图像中的所述目标对象矩形框和所述目标对象前景的重合区域，确定为所述多个目标图像中所述目标对象所在区域，并确定所述目标对象所在区域的像素集合。
可选地，所述定位模块46包括：
第三确定子模块，用于根据所述目标对象的像素集合、每个像素对应的深度信息、相机焦距以及所述目标图像的主点坐标，确定所述像素集合中每一个像素点相对于相机的三维坐标；
组合子模块，用于将所述目标对象所在区域内全部三维坐标点组合，得到所述目标对象所在区域的点云。
可选地，所述聚类模块48包括：
采样子模块，用于分别对所述多个目标图像中所述目标对象所在区域的点云进行下采样；
建立子模块，用于对所述下采样后得到的数据建立三维树数据结构，其中，所述三维树数据结构中，每一个点的周围P个点为与该点的欧式距离最小的点，P为大于1的整数；
选取子模块，用于从所述目标对象所在区域内随机选取一个目标点，确定所述目标点与周围N个点的欧式距离，当所述欧式距离小于预设阈值时加入点云聚类集合，其中，N为大于1的整数；
重复子模块，用于对加入所述点云聚类集合中的目标点重复确定所述目标点与所述周围N个点的欧式距离，当所述欧式距离小于所述预设阈值时加入所述点云聚类集合，直至所述点云聚类集合内所有点均已确定与周围N个点的欧式距离且无新的目标点加入所述点云聚类集合，得到所述多个目标图像中所述目标对象所在区域的点云聚类集合；
第四确定子模块，用于分别将所述多个目标图像中所述点云聚类集合中所有目标点在X、Y、Z方向上的均值确定为所述多个目标图像中所述目标对象的三维信息。
可选地，所述采样子模块包括：
计算单元，用于分别获取所述多个目标图像中所述目标对象所在区域的点云在X、Y、Z方向的范围；
划分单元，用于根据所述范围将所述目标对象所在区域划分为预定体积的立方体栅格；
采样单元，用于从每个栅格内选取一个点完成下采样，其中，若立方体栅格内存在多个三维点，选取的点为所述多个三维点的加权平均值所在的三维点。
可选地，所述装置还包括：
跟踪子模块，用于在确定所述目标对象所在区域的像素集合之后，在二维层面对所述目标对象进行跟踪得到所述目标对象的ID与二维运动轨迹；
关联子模块，用于将所述二维运动轨迹与所述三维运动轨迹进行目标关联，得到具有对应关系的所述目标对象的ID、所述二维运动轨迹以及所述三维运动轨迹。
可选地，所述确定模块410包括：
获取子模块，用于获取采集所述多个目标图像中相邻两个图像的间隔帧数；
第五确定子模块，用于获取所述相机的帧率，根据所述帧率确定所述间隔帧数对应的时间间隔；
第六确定子模块，用于根据所述运动轨迹确定所述相邻两个图像之间的运动距离；
第七确定子模块，用于将所述运动距离与对应的时间间隔的比值确定为所述相邻两个图像之间的运动速度。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，在目标视频中采集目标对象在运动过程中的多个目标图像，并分别获取所述多个目标图像的深度信息；
S2，根据深度学习和背景建模检测所述多个目标图像中的所述目标对象；
S3，根据所述深度信息对所述目标对象所在区域进行点云定位；
S4，对所述目标对象所在区域的点云进行聚类，得到所述多个目标图像中所述目标对象的三维信息；
S5，根据所述三维信息对所述目标对象进行跟踪，得到所述目标对象的三维运动轨迹，并根据所述三维运动轨迹确定所述目标对象的运动速度。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
实施例4
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，在目标视频中采集目标对象在运动过程中的多个目标图像，并分别获取所述多个目标图像的深度信息；
S2，根据深度学习和背景建模检测所述多个目标图像中的所述目标对象；
S3，根据所述深度信息对所述目标对象所在区域进行点云定位；
S4，对所述目标对象所在区域的点云进行聚类，得到所述多个目标图像中所述目标对象的三维信息；
S5，根据所述三维信息对所述目标对象进行跟踪，得到所述目标对象的三维运动轨迹，并根据所述三维运动轨迹确定所述目标对象的运动速度。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种目标对象的运动速度检测方法，其特征在于，包括：
在目标视频中采集目标对象在运动过程中的多个目标图像，并分别获取所述多个目标图像的深度信息；
根据深度学习和背景建模检测所述多个目标图像中的所述目标对象；
根据所述深度信息对所述目标对象所在区域进行点云定位；
对所述目标对象所在区域的点云进行聚类，得到所述多个目标图像中所述目标对象的三维信息；
根据所述三维信息对所述目标对象进行跟踪，得到所述目标对象的三维运动轨迹，并根据所述三维运动轨迹确定所述目标对象的运动速度。
2.根据权利要求1所述的方法，其特征在于，根据所述深度学习和所述背景建模检测所述多个目标图像中的所述目标对象包括：
根据所述深度学习确定所述多个目标图像中的目标对象矩形框；
根据所述背景建模确定所述多个目标图像的目标对象前景；
将所述多个目标图像中的所述目标对象矩形框和所述目标对象前景的重合区域，确定为所述多个目标图像中所述目标对象所在区域，并确定所述目标对象所在区域的像素集合。
3.根据权利要求2所述的方法，其特征在于，根据所述深度信息对所述目标对象所在区域进行点云定位包括：
根据所述目标对象的像素集合、每个像素对应的深度信息、相机焦距以及所述目标图像的主点坐标，确定所述像素集合中每一个像素点相对于相机的三维坐标；
将所述目标对象所在区域内全部三维坐标点组合，得到所述目标对象所在区域的点云。
4.根据权利要求2所述的方法，其特征在于，对所述目标对象所在区域的点云进行聚类，得到所述多个目标图像中所述目标对象的三维信息包括：
分别对所述多个目标图像中所述目标对象所在区域的点云进行下采样；
对所述下采样后得到的数据建立三维树数据结构，其中，所述三维树数据结构中，每一个点的周围P个点为与该点的欧式距离最小的点，P为大于1的整数；
从所述目标对象所在区域内随机选取一个目标点，确定所述目标点与周围N个点的欧式距离，当所述欧式距离小于预设阈值时加入点云聚类集合，其中，N为大于1的整数；
对加入所述点云聚类集合中的目标点重复确定所述目标点与所述周围N个点的欧式距离，当所述欧式距离小于所述预设阈值时加入所述点云聚类集合，直至所述点云聚类集合内所有点均已确定与周围N个点的欧式距离且无新的目标点加入所述点云聚类集合，得到所述多个目标图像中所述目标对象所在区域的点云聚类集合；
分别将所述多个目标图像中所述点云聚类集合中所有目标点在X、Y、Z方向上的均值确定为所述多个目标图像中所述目标对象的三维信息。
5.根据权利要求4所述的方法，其特征在于，分别对所述多个目标图像中所述目标对象所在区域的点云进行下采样包括：
分别获取所述多个目标图像中所述目标对象所在区域的点云在X、Y、Z方向的范围；
根据所述范围将所述目标对象所在区域划分为预定体积的立方体栅格；
从每个栅格内选取一个点完成下采样，其中，若立方体栅格内存在多个三维点，选取的点为所述多个三维点的加权平均值所在的三维点。
6.根据权利要求2至5中任一项所述的方法，其特征在于，所述方法还包括：
在确定所述目标对象所在区域的像素集合之后，在二维层面对所述目标对象进行跟踪得到所述目标对象的ID与二维运动轨迹；
将所述二维运动轨迹与所述三维运动轨迹进行目标关联，得到具有对应关系的所述目标对象的ID、所述二维运动轨迹以及所述三维运动轨迹。
7.根据权利要求1至5中任一项所述的方法，其特征在于，根据所述三维信息对所述目标对象进行跟踪，得到所述目标对象的三维运动轨迹，并根据所述三维运动轨迹确定所述目标对象的运动速度包括：
获取采集所述多个目标图像中相邻两个图像的间隔帧数；
获取所述相机的帧率，根据所述帧率确定所述间隔帧数对应的时间间隔；
根据所述三维运动轨迹确定所述相邻两个图像之间的运动距离；
将所述运动距离与对应的时间间隔的比值确定为所述相邻两个图像之间的运动速度。
8.一种目标对象的运动速度检测装置，其特征在于，包括：
获取模块，用于在目标视频中采集目标对象在运动过程中的多个目标图像，并分别获取所述多个目标图像的深度信息；
检测模块，用于根据深度学习和背景建模检测所述多个目标图像中的所述目标对象；
定位模块，用于根据所述深度信息对所述目标对象所在区域进行点云定位；
聚类模块，用于对所述目标对象所在区域的点云进行聚类，得到所述多个目标图像中所述目标对象的三维信息；
确定模块，用于根据所述三维信息对所述目标对象进行跟踪，得到所述目标对象的三维运动轨迹，并根据所述三维运动轨迹确定所述目标对象的运动速度。
9.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7中任一项所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7中任一项所述的方法。
CN202010664372.XA 2020-07-10 2020-07-10 一种目标对象的运动速度检测方法及装置 Pending CN111899279A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010664372.XA CN111899279A (zh) 2020-07-10 2020-07-10 一种目标对象的运动速度检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010664372.XA CN111899279A (zh) 2020-07-10 2020-07-10 一种目标对象的运动速度检测方法及装置

Publications (1)

Publication Number Publication Date
CN111899279A true CN111899279A (zh) 2020-11-06

Family

ID=73192316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010664372.XA Pending CN111899279A (zh) 2020-07-10 2020-07-10 一种目标对象的运动速度检测方法及装置

Country Status (1)

Country Link
CN (1) CN111899279A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112554853A (zh) * 2020-12-11 2021-03-26 成都北方石油勘探开发技术有限公司 一种控制注水或注气的方法及系统
CN113689491A (zh) * 2021-09-02 2021-11-23 广州市奥威亚电子科技有限公司 目标定位方法、多目标跟踪方法及装置
CN116523962A (zh) * 2023-04-20 2023-08-01 北京百度网讯科技有限公司 针对目标对象的视觉跟踪方法、装置、系统、设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346608A (zh) * 2013-07-26 2015-02-11 株式会社理光 稀疏深度图稠密化方法和装置
US20160335491A1 (en) * 2015-05-14 2016-11-17 Ricoh Company, Ltd. Method and device for detecting gathering of objects based on stereo vision as well as non-transitory computer-readable medium
CN106384079A (zh) * 2016-08-31 2017-02-08 东南大学 一种基于rgb‑d信息的实时行人跟踪方法
CN110246159A (zh) * 2019-06-14 2019-09-17 湖南大学 基于视觉和雷达信息融合的3d目标运动分析方法
CN110675431A (zh) * 2019-10-08 2020-01-10 中国人民解放军军事科学院国防科技创新研究院 一种融合图像和激光点云的三维多目标跟踪方法
CN110675418A (zh) * 2019-09-26 2020-01-10 深圳市唯特视科技有限公司 一种基于ds证据理论的目标轨迹优化方法
CN111291708A (zh) * 2020-02-25 2020-06-16 华南理工大学 融合深度相机的变电站巡检机器人障碍物检测识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346608A (zh) * 2013-07-26 2015-02-11 株式会社理光 稀疏深度图稠密化方法和装置
US20160335491A1 (en) * 2015-05-14 2016-11-17 Ricoh Company, Ltd. Method and device for detecting gathering of objects based on stereo vision as well as non-transitory computer-readable medium
CN106384079A (zh) * 2016-08-31 2017-02-08 东南大学 一种基于rgb‑d信息的实时行人跟踪方法
CN110246159A (zh) * 2019-06-14 2019-09-17 湖南大学 基于视觉和雷达信息融合的3d目标运动分析方法
CN110675418A (zh) * 2019-09-26 2020-01-10 深圳市唯特视科技有限公司 一种基于ds证据理论的目标轨迹优化方法
CN110675431A (zh) * 2019-10-08 2020-01-10 中国人民解放军军事科学院国防科技创新研究院 一种融合图像和激光点云的三维多目标跟踪方法
CN111291708A (zh) * 2020-02-25 2020-06-16 华南理工大学 融合深度相机的变电站巡检机器人障碍物检测识别方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112554853A (zh) * 2020-12-11 2021-03-26 成都北方石油勘探开发技术有限公司 一种控制注水或注气的方法及系统
CN113689491A (zh) * 2021-09-02 2021-11-23 广州市奥威亚电子科技有限公司 目标定位方法、多目标跟踪方法及装置
CN113689491B (zh) * 2021-09-02 2023-12-01 广州市奥威亚电子科技有限公司 目标定位方法、多目标跟踪方法及装置
CN116523962A (zh) * 2023-04-20 2023-08-01 北京百度网讯科技有限公司 针对目标对象的视觉跟踪方法、装置、系统、设备和介质

Similar Documents

Publication Publication Date Title
Luo et al. Fast and furious: Real time end-to-end 3d detection, tracking and motion forecasting with a single convolutional net
CN110428448B (zh) 目标检测跟踪方法、装置、设备及存储介质
Chen et al. Crowd map: Accurate reconstruction of indoor floor plans from crowdsourced sensor-rich videos
CN109035304B (zh) 目标跟踪方法、介质、计算设备和装置
US9501699B2 (en) Systems and methods for estimating the geographic location at which image data was captured
CN104715471B (zh) 目标定位跟踪方法及其装置
CN111899279A (zh) 一种目标对象的运动速度检测方法及装置
CN105279484A (zh) 对象检测方法和对象检测装置
CN111753757B (zh) 一种图像识别处理方法及装置
US20130080111A1 (en) Systems and methods for evaluating plane similarity
CN105160649A (zh) 基于核函数非监督聚类的多目标跟踪方法及系统
Dendorfer et al. Quo vadis: Is trajectory forecasting the key towards long-term multi-object tracking?
CN109063549A (zh) 基于深度神经网络的高分辨率航拍视频运动目标检测方法
Min et al. Human fall detection using normalized shape aspect ratio
WO2023284358A1 (zh) 相机标定方法、装置、电子设备及存储介质
CA2787856A1 (en) Systems and methods for estimating the geographic location at which image data was captured
CN114241012A (zh) 一种高空抛物的判定方法及装置
CN114155278A (zh) 目标跟踪及相关模型的训练方法和相关装置、设备、介质
CN111652168B (zh) 基于人工智能的群体检测方法、装置、设备及存储介质
CN117132649A (zh) 人工智能融合北斗卫星导航的船舶视频定位方法及装置
CN113610967B (zh) 三维点检测的方法、装置、电子设备及存储介质
CN115830342A (zh) 检测框的确定方法、装置、存储介质及电子装置
CN114782496A (zh) 一种对象的跟踪方法、装置、存储介质及电子装置
Li et al. Low-cost 3D building modeling via image processing
CN113469130A (zh) 一种遮挡目标检测方法、装置、存储介质及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination