CN112037250A - 一种目标车辆矢量轨迹追踪和工程视图建模方法、装置 - Google Patents

一种目标车辆矢量轨迹追踪和工程视图建模方法、装置 Download PDF

Info

Publication number
CN112037250A
CN112037250A CN202010729335.2A CN202010729335A CN112037250A CN 112037250 A CN112037250 A CN 112037250A CN 202010729335 A CN202010729335 A CN 202010729335A CN 112037250 A CN112037250 A CN 112037250A
Authority
CN
China
Prior art keywords
target
tracking
vehicle
vector
vehicle body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010729335.2A
Other languages
English (en)
Other versions
CN112037250B (zh
Inventor
吕俊杰
范荣全
刘俊勇
朱峰
贺含峰
张劲
杨义琨
刘克亮
都亮
谢伟
董斌
王霆
赵星俨
游杨均
殷立浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Sichuan Electric Power Co Ltd
Original Assignee
State Grid Sichuan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Sichuan Electric Power Co Ltd filed Critical State Grid Sichuan Electric Power Co Ltd
Priority to CN202010729335.2A priority Critical patent/CN112037250B/zh
Publication of CN112037250A publication Critical patent/CN112037250A/zh
Application granted granted Critical
Publication of CN112037250B publication Critical patent/CN112037250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20104Interactive definition of region of interest [ROI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20116Active contour; Active surface; Snakes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种目标车辆矢量轨迹追踪和工程视图建模方法、装置。包括:对采集的连续视频帧进行目标工程车辆的检测和定位,获取各视频帧中目标工程车辆所在的目标区域的步骤;对各视频帧中获取的目标区域进行滤波预处理的步骤;确定滤波后的各目标区域的车身主轮廓及追踪点的步骤;车身方向矢量和运动方向矢量标定的步骤;对运动方向矢量轨迹进行定点跟踪的步骤;将目标工程车辆的碾压轨迹面在平面空间内进行复现的步骤和工程视图建模的步骤。本发明提供了一种便于对工程车辆矢量轨迹跟踪、碾压面复现和便于统计碾压遍数的方案,方案高效、实用、客观、准确。

Description

一种目标车辆矢量轨迹追踪和工程视图建模方法、装置
技术领域
本发明涉及图像分析和处理领域,尤其是一种目标车辆矢量轨迹追踪和工程视图建模方法、装置。
背景技术
在道路施工及大型建筑施工的工程实践中,常常需要多类型的工程车配合以完成工程实践,压路机就是其中一种。压路机主要用于压实道路及大型建筑面,从而增强道路及建筑面的压实度,提升道路等施工面的质量,增加工作面的使用寿命。施工面的质量与压路机在压实过程中的碾压轨迹及碾压遍数直接相关,因此监测压路机在作业时的轨迹路线及碾压遍数非常重要。
在常规的施工过程中,压路机工作的监测主要是通过现场监管人员的主观判断来评估压路机的工作状况,包括观察碾压轨迹及统计碾压遍数。人工监管的方式常常会存在疏漏,难以保证施工面的施工质量,特别是施工过程较为复杂、施工量大的情况下,需要耗费大量的人力且无法确保每一施工区域的施工量是否达标。
近年来,施工管理的信息化,即“智慧工地”,是一个研究热点。但相比于其他行业,建筑业的施工及相关管理活动依然主要采用人完成。在此背景下,探索运用新技术变革传统施工管理方式,构建智慧工地系统,具有显著的探索意义和实践价值。
为了实现对压路机施工工作更好的监督,解放人力,目前已有一些研究者开展了相关的研究,这些研究主要从两个角度出发:1)通过GPS/GIS等工具定位坐标追踪轨迹及统计碾压遍数。研究者们通过GPS等定位工具建立空间坐标系,再结合投影变换将大地坐标转换为压路机所在地对应的平面坐标,从而定位压路机的位置。根据压路机的位置变化进行轨迹跟踪和压路机碾压遍数的统计。该方法可以很好地实现对压路机碾压遍数的统计及轨迹跟踪,但是未结合压路机具体的施工面,无法直观地反映压路机施工面的碾压情况和判断哪些施工面需要进一步的碾压。2)通过多传感器实时反馈信号统计压路机碾压遍数。研究者们通过在压路机上面放置不同的传感器(水平传感器、坡度传感器、压式传感器等),并结合通讯模块及服务器处理信号统计压路机工作时的碾压遍数及评估压路机的压实质量。这些方法通过结合多传感器的综合信息实现了压路机碾压遍数的统计及压实质量的评估,但需要在压路机上安装多个传感器且要求有序的通讯和数据处理,具有一定的实现难度;且一旦有传感器出现障碍,将影响整体的统计及评估。
因此,为了适应不同监督者的需求,使得监督过程更为直观、高效和低成本,迫切需要新的监督方式来监督压路机的工程实践过程,从而更好地监督及保证施工面的施工质量。
发明内容
本发明为了定位施工车辆倾轧路径,提出了一种目标车辆矢量轨迹追踪和建模方法、装置,通过图像处理技术对工程车辆进行跟踪和分析,实现对目标工程车辆施工状况的精准掌控。
本发明采用的技术方案如下:
一种目标工程车辆矢量轨迹追踪方法,其包括:
A.对采集的连续视频帧进行目标工程车辆的检测和定位,获取各视频帧中目标工程车辆所在的目标区域的步骤;
B.对各视频帧中获取的目标区域进行滤波预处理的步骤;
C.确定滤波后的各目标区域的车身主轮廓及追踪点的步骤;
D.根据各目标区域的车身主轮廓及追踪点,基于质点多对称域进行车身方向矢量标定、基于多视频帧质点位移进行运动方向矢量标定的步骤;
E.根据各目标区域的追踪点,对运动方向矢量轨迹进行定点跟踪的步骤。
上述利用图像处理实现目标工程车辆矢量轨迹追踪的方法,可以实现在复杂环境下对目标工程车辆车身方位及车辆行驶轨迹的追踪,从而掌握车辆的行驶轨迹,并可根据行驶轨迹线掌握在复杂工程环境下的作业轨迹和碾压遍数。
进一步的,步骤B中,对各视频帧中获取的目标区域进行同态滤波处理。
采用同态滤波的方法可以弱化车身阴影的强边缘,弱化对阴影去除的要求,进而使得后续提取的车身轮廓更加完整。
进一步的,步骤C中,确定目标区域的车身主轮廓及追踪点的方法包括:
C1:利用全局阈值算法提取目标区域对应的车身主轮廓。该方法提取出的车身主轮廓可判断出车身方位及车型等信息,包含对车辆跟踪有用的信息。
C2:求取车身主轮廓上各连通域的质心。
C3:滤除干扰质心。由于施工现场具备复杂的环境,C2中可能包含与车辆无关的质心,因此,滤除干扰质心可以使对车辆的矢量标定和追踪更加准确。
C4:以过滤后剩余的所有质心的预定特征点作为追踪点。所谓的预定特征点,是具备代表车身整体轮廓的特征点,其具有不易发生变化的特点。
进一步的,C3中,滤除干扰质心的方法包括以下步骤:
C301:构建椭圆标定区域,其中,所构建椭圆的长轴和短轴根据各质点的分布位置计算得出;
C302:将标定的椭圆区域外的质点及质点标定的背景滤除。
就车辆本身而言,其质点分布是具备一定规律的,且不易变化,因此,可将整体轮廓的质点分布视为一整体,将该整体上分布区域外的质点视为干扰背景进行滤除,可以保留下最具代表性的质点分布。
进一步的,C4中,所述追踪点的坐标为(Finalx,Finaly),
Figure BDA0002602411500000031
Figure BDA0002602411500000032
其中,Mrx和Mry分别为经过滤后剩余质点的横、纵坐标;K为目标工程车辆主轮廓连通域的总和,m为各个连通域的序列号。
进一步的,步骤D包括:
对于各目标区域,对车身主轮廓分布的质点分别建立十字对称域和交叉对称域;
分别构建十字对称域矩阵和交叉对称域矩阵,两对称域矩阵分别由对应对称域的各区域所包含质点的比率关系构建而成;
将十字对称域矩阵和交叉对称域矩阵中的元素进行比较,根据最大比率值及对应相比的质点区域标定车身方向矢量;
根据多视频帧中的质点位移方向标定运动方向矢量。
所谓的多视频帧中的质点位移方向,即将依次排列的各视频帧中相对应的质点进行对比,质点的位移方向即代表车身的移动方向。
为解决上述全部或部分问题,本发明还提供了一种目标工程车辆矢量轨迹追踪装置,包括输入端口和处理器,输入端口用于接收视频,处理器用于根据上述的目标工程车辆矢量轨迹追踪方法对所述视频进行处理。视频由连续的视频帧组成,处理器则为对连续的视频帧进行对应的处理。
另一方面本发明还提供了一种工程视图建模方法,以在平面坐标系内直观地还原出目标工程车辆在复杂工程环境下的碾压轨迹、碾压遍数、具体碾压区域的视图。该工程视图建模方法包括:
S1:通过上述的目标工程车辆矢量轨迹追踪方法完成对目标工程车辆运动方向矢量轨迹的定点跟踪,得到运动轨迹线路径。即上述的目标工程车辆矢量轨迹追踪方法中对于目标工程车辆运动方向矢量轨迹的定点跟踪结果即得到运动轨迹线路径。
S2:根据所述运动轨迹线路径及车身方向矢量,基于目标工程车辆的结构参数,将目标工程车辆的碾压轨迹面在平面空间内进行复现。所谓的目标工程车辆的结构参数,即至少包括钢轮的宽度,将钢轮宽度对应到运动轨迹线路径,并结合车身方向矢量,即可复现出碾压面。
S3:在平面空间内标记出目标工程车辆的碾压面区域,并突出对运动方向矢量标定的方向及车身方向矢量。将车辆运动方向标定方向及车身方向矢量突出展示,便于掌握车辆的行驶正、反向,不同区域的碾压次数等。
为解决上述全部或部分问题,本发明还提供了一种工程视图建模装置,包括数据接收单元、数据处理单元和展示单元,其中:
数据接收单元用于接收视频数据;
数据处理单元用于根据上述的工程视图建模方法处理所述视频数据;
展示单元用于展示所述数据处理单元的处理结果。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
本发明提供的目标车辆矢量轨迹追踪和工程视图建模方法、装置,通过采集复杂工程环境下压路机的工作视频图像,用于压路机矢量轨迹跟踪、碾压面复现、碾压遍数统计及提出了新的平面工程视图模型。提出的跟踪算法初步实现了以往研究没有实现的对压路机轨迹的定点跟踪,并通过计算不同对称域的质点比率,实现对压路机车身矢量方向的标注,并由轨迹跟踪较为精准的实现轨迹面的计算。通过不同的碾压面、结合运行方向、运动轨迹进行压路机施工过程的一体化复现,整体呈现压路机施工过程的复现建模。本发明基于复杂的工程环境研究,有效的复杂工程背景中检测出压路机,并基于车身主轮廓离散质点实现定点追踪,较为准确的复现施工轨迹、施工面,能为工程实践中压路机的施工监督提供一种新的参考方案,有助于实时监测工地倾轧情况,提升施工工地的管控效率,方案高效实用客观准确。
附图说明
图1是复杂环境下目标工程车辆工作视频的处理流程图。
图2是基于光流场的目标工程车辆检测和定位流程图。
图3是目标工程车辆的光流场图。
图4是在视频帧中标记出目标工程车辆的示图。
图5是同态滤波流程图。
图6是目标工程车辆车身主轮廓检测结果示图。
图7是对应图6中车身主轮廓的质点分布图。
图8是追踪点定位示图。
图9是目标工程车辆车身一般明显标识物示图。
图10是多对称域矢量标定示图。
图11是目标工程车辆车身矢量方向标定流程图。
图12是目标工程车辆运行矢量标定示图。
图13是目标工程车辆运行矢量跟踪轨迹示图。
图14是目标工程车辆碾压轨迹面复现示图。
图15是目标工程车辆工作平面示图。
具体实施方式
为了使本领域的人员更好地理解本发明的技术方案,下面结合本发明的附图,对本发明的技术方案进行清楚、完整的描述,基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它类同实施例,都应当属于本申请保护的范围。
以下实施例中将选取压路机作为目标工程车辆,从而对具体方案进行详细说明,在其他实施例中所述目标工程车辆还可以是其他类型的工程车辆,或者类似场景中的非工程车辆,其仅仅是本发明技术方案所针对的分析对象,以适用于本发明方案并解决对应的技术问题为准。
实施例1
如图1所示,本实施例为一种复杂工程环境下的目标工程车辆矢量轨迹追踪方法,包括如下步骤:
S01,对采集的连续视频帧进行目标定位,获取各视频帧中目标车辆所在的目标区域;
本实施例采用基于光流场的跟踪方法,实现对压路机所在目标区别的定位和跟踪,通过处理原始视频帧,在复杂背景下定位压路机并框出,返回区域坐标,为后续定点跟踪奠定基础,其流程如图2所示,具体包括:
首先读入视频文件得到视频帧序列,将所有视频帧转换为灰度图并进行中值滤波;
然后计算视频帧的光流场矢量,返回为一个复数矩阵为flow,显示为光流矢量的像素点;每隔5行5列选择一个像素点,将其幅值放大20倍,绘制其光流图,并将光流矢量添加至视频帧,添加光流场后的图像如图3所示;
计算光流矢量幅值magnitude,将复数矩阵flow与其共轭复数相乘,计算其平均值,作为速度阈值,以此分割提取运动对象,然后滤波去噪;
使用形态学腐蚀去除较小杂物,然后使用闭操作填补孔洞,以及一系列形态学组合操作将无关区域剔除;
统计目标连通域面积,以目标中心进行画框,并和边框面积进行比值计算,当比值大于 50%则可认为是识别目标,得到目标区域;
将边框加在视频帧中的目标区域,输出带框目标。
加上边框的目标区域如图4所示。
S02,对确定目标区域的图像帧进行滤波预处理;
在对目标车辆进行目标区域定位后,由于工程车一般作业于晴天或阴天,在阴天的条件下采集视频图像光照比较均匀,阴影影响较小,而在晴天工作时,常常由于采集角度及光照方向导致阴影的产生,因此阴影的存在会干扰压路机轮廓信息的提取。在以往的研究中,常常强调阴影去除的效果,本发明方法主要基于车身主轮廓的提取去定位跟踪点,弱化了对阴影去除的要求,因此在该步骤中主要通过同态滤波来弱化车身阴影的强边缘。同态滤波的实现步骤如图5所示。
S03,对滤波后的目标图像进行确定车身主轮廓以及跟踪点,具体包括:
S301,车身主轮廓提取:对车身主轮廓的求取利用全局阈值算法,基于全局阈值进行图像二值化,图像在经同态滤波以后,使用全局阈值算法后也能得到较为清晰的主轮廓,如图6所示,其中图a-b表示压路机侧面和正面的原始图,图c-d表示对应的主轮廓图。
由图6可看出车身的主轮廓已经被检测出来,通过主轮廓,已经可以判断出车身方位及车型,由此可见,车身主轮廓已经包含了对于跟踪算法有用的信息。
S302,车身主轮廓连通域质心提取:求取主轮廓各连通域(高于8连通的区域)的质心,针对每一连通域,其质心坐标计算公式如下:
Figure BDA0002602411500000061
Figure BDA0002602411500000062
其中,Mx和My为计算的某一连通域的质心横坐标和纵坐标,N为连通域的像素点总和, i,j为横坐标和纵坐标的序列号,L代表其中,L(i,j)x为连通域的所有横坐标,L(i,j)y为连通域的所有纵坐标坐标。
通过式子(1)和(2),可以求得压路机主轮廓各个连通域的质心,如图7,给出了侧面和正面两个角度的压路机轮廓质点分布图。
S303,对离散分布质点计算标定椭圆参数并去除干扰质点:
由图7可看出,车身主轮廓的质点分布具有一定的规律。车头由于其轮廓的复杂性,质点分布较密集,而车尾(钢轮部分)质点分布由于本身轮廓特点分布较稀疏。此外,由于压路机工作于较复杂的工程环境下,行驶过程中会受到不同的背景干扰,可以看到车身主轮廓外存在一些干扰质点。为了去除对整体质心分布干扰较大的边缘质心点,因此本实施例提出了一种基于离散点分布统计的随机区域椭圆标定方法。该部分方法的实现主要有以下几个实现步骤。
所述基于离散分布质点计算标定椭圆参数包括:确定任一质心分布的标定椭圆,首先要基于所有质点分布建立关于质点位置分布的坐标体系,然后基于坐标体系建立标定椭圆的轴心、焦点、长轴、短轴。
干扰质点存在于整个车身轮廓外,大部分质点存在于车身。首先通过离散质点的分布位置确定标定椭圆的长轴和短轴,如下面的计算式(3)-(8)。
l1=min[Mx,x=1,2,3,…,N] (3)
l2=max[Mx,x=1,2,3,…,N] (4)
Figure BDA0002602411500000071
s1=min[My,y=1,2,3,…,N] (6)
s2=max[My,y=1,2,3,…,N] (7)
Figure BDA0002602411500000072
在实际中,压路机可能工作于不同的角度和行驶方向,因此无法直接确定长轴和短轴的位置,需要对求取得到的la和lb进行比较。若la大于lb,则la为长轴,lb为短轴,接下来的公式计算以la为长轴,lb为短轴来进行示例。根据椭圆的定义式,若la为长轴,lb为短轴,则标定椭圆计算公式如下:
Figure BDA0002602411500000073
此时(l1+la,s1+lb)为标定椭圆的轴心,根据标定的椭圆进行边缘离散质点统计,将所标定椭圆区域外的质点及质点标定背景干扰块去除。判断一个点与椭圆的位置关系,需要以标注椭圆的焦点作为标准。基于la为长轴,lb为短轴的假设,其焦点距离及焦点坐标计算如下:
Figure BDA0002602411500000074
F1=(l1+la-lc,s1+lb) (11)
F2=(l1+la+lc,s1+lb) (12)
根据椭圆的定义,椭圆曲线上的点到焦点的距离之和等于2la,在椭圆内部分布的点到焦点的距离之和小于2la。则判定非椭圆标注区域内离散点P的定义为:
|PF1|+|PF2|>2lc (13)
由式子(13),通过标定椭圆的区域划分,去除了背景噪声所导致的干扰质点。压路机工作环境较复杂,背景会出现不同特征的物体,因此上述方法步骤可以较好地去抑制这些干扰,强调压路机主体。
S304,通过上面的处理去除了这些干扰质点后,接下来结合标定区域内的质点分布,来建立压路机运动时的跟踪点,定位一个核心质点,计算公式如下:
Figure BDA0002602411500000081
Figure BDA0002602411500000082
其中,Mrx和Mry为通过椭圆标定抑制背景无关干扰以后的质点横纵坐标;Finalx和Finaly为压路机最终的跟踪点的质心横坐标和纵坐标,K为压路机主轮廓符合连通域(8连通及以上)的总和,m为各个连通域的序列号。通过式子(14)和(15),得到最终的运动跟踪点,如图8所示。
由图8可以看出,可以看到针对不同角度的压路机,都能够很好的定位到整个车型轮廓的质心(图中蓝色的原点)。通过对车型轮廓的整体质心进行追踪,能够一定程度上减少追踪点在追踪目标标识物时的偏移量。
实现定点跟踪在复杂工程环境下几乎是不可能的,除非人为介入其他突出标识物,但这在许多工程环境下是不允许的。一般的压路机车身标识物,如下图9,例如车头突出物、钢轮、轮胎等,都容易因为数据采集角度、车身运动时的各个方位导致遮挡等问题,可能中断跟踪或是出现跟踪错误。
通过求取车身轮廓主质点作为跟踪点进行轮廓追踪的方法具有较好的稳定性和较强的运动鲁棒性。
S04,对目标进行基于质点多对称域的车身矢量方向和运动方向的标定:
矢量方向标定主要用于压路机工作时的车身矢量方向,可以很好的进行压路机运动跟踪和异常检测。本实施例提出了一种简单的基于质点多对称域的矢量标记方法,根据多对称域的质点分布,实现车身方向标定及并结合多帧追踪质点位移实现车身运动方向的标定,多对称域如图10所示。
由图10可知,根据求取得到的车身主轮廓质点分布按照其对应的像素点位置重新构建相同位置的分布矩阵,建立十字对称域及交叉对称域。根据不同对称域所包含质点的比率来确定压路机的位置方向信息,所有质点单位值均为1,计算公式如下:
1)十字对称域比率
Figure BDA0002602411500000091
Figure BDA0002602411500000092
Figure BDA0002602411500000093
其中,ru-d为十字对称域上下对称域质点比率,rl-r为十字对称域左右对称域质点比率。 u1,u2,u3和u4分别为十字对称域各个区间的质点单位值总和。
Figure BDA0002602411500000094
为通过十字对称域建立的对称域矩阵。
2)交叉对称域比率
Figure BDA0002602411500000095
Figure BDA0002602411500000096
Figure BDA0002602411500000097
其中,rla为交叉对称域左上右下对称域质点比率,rra为交叉对称域右上左下对称域质点比率。
Figure BDA0002602411500000098
为通过交叉对称域建立的对称域矩阵。
通过对两个对称域矩阵进行处理,根据最大比率值及对应相比的质点区域确定车身方向,首先建立车身矢量轴,再根据多帧质点位移确定车身移动方向与车头一致还是相反,然后标定具体行驶方向。常用的8个主矢量方向已经能够满足对压路机车身方向的标定需求。这8个车身矢量方向将结合两个对称域比率矩阵来实现。该判定流程如图11:
通过如图11所示的流程,首先标定车身方向,再结合具体的多帧质点位移标定行驶方向,在标定运动方向的同时判断车辆为正向行驶还是后退行驶。矢量标记结果如图12所示,根据对应比率得到矢量角。
如图12所示,可以看到通过质点分布的矢量标记方向与车身行驶方向一致,实现了车身矢量标记的目的,本实施例步骤提出的基于对称质点区域分布的算法能够有效的实现跟踪点的矢量标定。
S05,根据追踪点对车身矢量轨迹进行定点跟踪:
通过前述步骤实现了追踪点的定位及矢量方向的标定,此时还需要根据前面建立的追踪点,进行压路机工作过程的运动轨迹跟踪,跟踪结果如下图13所示。
由图13所示,压路机运行矢量轨迹线已经标出,矢量轨迹上有两个箭头方向,说明压路机在此次跟踪中总共有两个行驶方向。较大的虚线箭头为车身方向的矢量向,始终向前,说明压路机存在后退行驶的动作,通过两个方向的标注,可以更好地跟踪压路机的碾压过程,即通过对车身矢量轨迹的跟踪,可以得到压路机行驶的轨迹线路,根据轨迹线路方向的变化次数,即可确定压路机在对应碾压面的碾压遍数。
实施例二
本实施例提供了一种目标工程车辆矢量轨迹追踪装置,其包括输入端口和处理器,输入端口用于接收视频,视频由连续的视频帧组成,处理器则根据实施例一中的方法,对接收的视频进行对应的处理。
实施例三
在实施例一的基础上进一步提供了一种工程视图建模方法,还包括:
S06,根据顶点跟踪结果,对目标车辆的碾压轨迹面进行复现:
在实际的施工过程中,压路机的工作效果主要通过观察碾压面及碾压遍数来进行预估,通过定点追踪,可以直接根据碾压轴长进行碾压面的复现,因为跟踪点比较固定,则可以直接根据轨迹线复现压路机在实际工程环境中的碾压面和较为准确的计算碾压面积。图14 为压路机碾压面复现的结果图。
由图14所示,根据矢量轨迹跟踪的示意图,对应碾压钢轮的轴长,还原压路机实际的碾压面,该方法可以克服由于视角所造成的碾压面轨迹偏差,较为准确的计算实际的碾压面积及具体的碾压面区域。
步骤S07,基于对对目标车辆施工工作平面工程视图进行建模。
在以往研究压路机工作的研究中,研究者们主要关注于实现压路机工作轨迹的跟踪及碾压遍数的统计,且主要是通过安装传感器接或通过GPS定位去进行坐标还原跟踪。这些方法在追踪轨迹及碾压遍数都有较好的效果,但存在一定的误差,且无法直观的复现压路机在具体施工环境中的整体施工效果及施工情况。本实施例进一步基于提出的矢量跟踪算法,通过平面建模,直观复现压路机在施工作业中的施工情况。通过平面模型,可以直接观察到压路机在具体施工面的碾压情况,根据矢量标注,还能清晰明确压路机的碾压遍数及具体行驶方向,包括压路机是倒行还是正向行驶等等。
该平面建模首先基于矢量轨迹线路径实现平面空间内的轨迹面复现及矢量标定。再通过跟踪轨迹线的位置,在平面模型内计算相应的碾压面区域,并突出标定矢量方向,明确每一碾压面的碾压过程,最终得到的平面建模视图如图15所示。
图15为压路机在单个视频的运动轨迹跟踪建模图,该模型简单并且直观,将压路机的行驶轨迹、不同区域的碾压次数及具体的碾压方向都进行了标注,给出了压路机在施工过程中的关键信息。
前述实施例中提供的测试视频数据通由大疆无人机在国家电网施工现场30米高度实地航拍得到。无人机采集视频格式为mp4,视频分辨率为1080P,即图片像素为1920*1080,帧率为25,视频中无人机在压路机工作采集时控制固定位置在高空,以跟踪得到压路机完整工作路径。
本发明实施例基于现有对压路机施工过程监督的研究现状,并基于复杂工程下压路机的工作视频图像提出了一套新的压路机轨迹跟踪、碾压遍数统计及平面视图的建模方法。本发明提出的矢量质点跟踪算法初步实现了对压路机轨迹的定点跟踪,并通过计算不同对称域的质点比率,实现了对压路机车身方向及轨迹矢量方向的双重监督;并根据跟踪轨迹较为精准的复现压路机实际施工的碾压面,通过不同的碾压面、结合矢量方向、运动轨迹实现压路机的平面工程视图建模。通过建立的平面工程视图,实现了更为直观的压路机工程监督,使得压路机的施工监督更为高效。实验结果表明本发明提出的方法可以较为准确的复现施工轨迹、施工面,能为工程实践中压路机的施工监督提供一种新的参考方案。
实施例四
本实施例提供了一种工程视图建模装置,其包括数据接收单元、数据处理单元和展示单元。数据接收单元接收视频数据,数据处理单元根据上一实施例中的工程视图建模方法处理该视频数据,然后交由展示单元进行展示。
本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合,以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (9)

1.一种目标工程车辆矢量轨迹追踪方法,其特征在于,包括:
A.对采集的连续视频帧进行目标工程车辆的检测和定位,获取各视频帧中目标工程车辆所在的目标区域的步骤;
B.对各视频帧中获取的目标区域进行滤波预处理的步骤;
C.确定滤波后的各目标区域的车身主轮廓及追踪点的步骤;
D.根据各目标区域的车身主轮廓及追踪点,基于质点多对称域进行车身方向矢量标定、基于多视频帧质点位移进行运动方向矢量标定的步骤;
E.根据各目标区域的追踪点,对运动方向矢量轨迹进行定点跟踪的步骤。
2.如权利要求1所述的目标工程车辆矢量轨迹追踪方法,其特征在于,所述步骤B中,对各视频帧中获取的目标区域进行同态滤波处理。
3.如权利要求1所述的目标工程车辆矢量轨迹追踪方法,其特征在于,所述步骤C中,确定目标区域的车身主轮廓及追踪点的方法包括:
C1:利用全局阈值算法提取目标区域对应的车身主轮廓;
C2:求取车身主轮廓上各连通域的质心;
C3:滤除干扰质心;
C4:以过滤后剩余的所有质心的预定特征点作为追踪点。
4.如权利要求3所述的目标工程车辆矢量轨迹追踪方法,其特征在于,所述C3中,滤除干扰质心的方法包括以下步骤:
C301:构建椭圆标定区域,其中,所构建椭圆的长轴和短轴根据各质点的分布位置计算得出;
C302:将标定的椭圆区域外的质点及质点标定的背景滤除。
5.如权利要求3所述的目标工程车辆矢量轨迹追踪方法,其特征在于,所述C4中,所述追踪点的坐标为(Finalx,Finaly),
Figure FDA0002602411490000011
Figure FDA0002602411490000012
其中,Mrx和Mry分别为经过滤后剩余质点的横、纵坐标;K为目标工程车辆主轮廓连通域的总和,m为各个连通域的序列号。
6.如权利要求1~5任一所述的目标工程车辆矢量轨迹追踪方法,其特征在于,所述步骤D包括:
对于各目标区域,对车身主轮廓分布的质点分别建立十字对称域和交叉对称域;
分别构建十字对称域矩阵和交叉对称域矩阵,两对称域矩阵分别由对应对称域的各区域所包含质点的比率关系构建而成;
将十字对称域矩阵和交叉对称域矩阵中的元素进行比较,根据最大比率值及对应相比的质点区域标定车身方向矢量;
根据多视频帧中的质点位移方向标定运动方向矢量。
7.一种目标工程车辆矢量轨迹追踪装置,包括输入端口和处理器,其特征在于,所述输入端口用于接收视频,所述处理器用于根据如权利要求1~6任一所述的目标工程车辆矢量轨迹追踪方法对所述视频进行处理。
8.一种工程视图建模方法,其特征在于,包括:
S1:通过如权利要求1~6任一所述的目标工程车辆矢量轨迹追踪方法完成对目标工程车辆运动方向矢量轨迹的定点跟踪,得到运动轨迹线路径;
S2:根据所述运动轨迹线路径及车身方向矢量,基于目标工程车辆的结构参数,将目标工程车辆的碾压轨迹面在平面空间内进行复现;
S3:在平面空间内标记出目标工程车辆的碾压面区域,并突出对运动方向矢量标定的方向及车身方向矢量。
9.一种工程视图建模装置,其特征在于,包括数据接收单元、数据处理单元和展示单元,其中:
数据接收单元用于接收视频数据;
数据处理单元用于根据权利要求8所述的工程视图建模方法处理所述视频数据;
展示单元用于展示所述数据处理单元的处理结果。
CN202010729335.2A 2020-07-27 2020-07-27 一种目标车辆矢量轨迹追踪和工程视图建模方法、装置 Active CN112037250B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010729335.2A CN112037250B (zh) 2020-07-27 2020-07-27 一种目标车辆矢量轨迹追踪和工程视图建模方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010729335.2A CN112037250B (zh) 2020-07-27 2020-07-27 一种目标车辆矢量轨迹追踪和工程视图建模方法、装置

Publications (2)

Publication Number Publication Date
CN112037250A true CN112037250A (zh) 2020-12-04
CN112037250B CN112037250B (zh) 2024-04-05

Family

ID=73583218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010729335.2A Active CN112037250B (zh) 2020-07-27 2020-07-27 一种目标车辆矢量轨迹追踪和工程视图建模方法、装置

Country Status (1)

Country Link
CN (1) CN112037250B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724294A (zh) * 2021-08-31 2021-11-30 天津大学 精子活动能力特征提取方法及检测装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060140447A1 (en) * 2004-12-28 2006-06-29 Samsung Electronics Co., Ltd. Vehicle-monitoring device and method using optical flow
CN103971521A (zh) * 2014-05-19 2014-08-06 清华大学 道路交通异常事件实时检测方法及装置
CN106875424A (zh) * 2017-01-16 2017-06-20 西北工业大学 一种基于机器视觉的城市环境行驶车辆行为识别方法
CN110472496A (zh) * 2019-07-08 2019-11-19 长安大学 一种基于目标检测与跟踪的交通视频智能分析方法
CN111199554A (zh) * 2019-12-31 2020-05-26 中国船舶重工集团公司第七一七研究所 一种目标跟踪抗遮挡的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060140447A1 (en) * 2004-12-28 2006-06-29 Samsung Electronics Co., Ltd. Vehicle-monitoring device and method using optical flow
CN103971521A (zh) * 2014-05-19 2014-08-06 清华大学 道路交通异常事件实时检测方法及装置
CN106875424A (zh) * 2017-01-16 2017-06-20 西北工业大学 一种基于机器视觉的城市环境行驶车辆行为识别方法
CN110472496A (zh) * 2019-07-08 2019-11-19 长安大学 一种基于目标检测与跟踪的交通视频智能分析方法
CN111199554A (zh) * 2019-12-31 2020-05-26 中国船舶重工集团公司第七一七研究所 一种目标跟踪抗遮挡的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
单玉刚;汪家宝;李世兴;董爽;: "基于运动检测的多车辆跟踪方法研究", 计算机测量与控制, no. 03 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113724294A (zh) * 2021-08-31 2021-11-30 天津大学 精子活动能力特征提取方法及检测装置
CN113724294B (zh) * 2021-08-31 2023-08-18 天津大学 精子活动能力特征提取方法及检测装置

Also Published As

Publication number Publication date
CN112037250B (zh) 2024-04-05

Similar Documents

Publication Publication Date Title
CN101488222B (zh) 一种基于运动目标表象和运动信息的摄像机自标定方法
CN103164858B (zh) 基于超像素和图模型的粘连人群分割与跟踪方法
CN101389004B (zh) 一种基于在线学习的运动目标分类方法
CN112800860B (zh) 一种事件相机和视觉相机协同的高速抛撒物检测方法和系统
CN104978567B (zh) 基于场景分类的车辆检测方法
CN110517288A (zh) 基于全景多路4k视频图像的实时目标检测跟踪方法
CN106355166A (zh) 一种基于监控视频与遥感图像的灰霾扩散路径绘制与来源确定方法
CN105203552A (zh) 一种360°踏面图像检测系统及其检测方法
CN112329747B (zh) 基于视频识别和深度学习的车辆参数检测方法及相关装置
CN105225482A (zh) 基于双目立体视觉的车辆检测系统和方法
CN108197583A (zh) 基于图割优化和影像结构特征的建筑物变化检测方法
CN104183127A (zh) 交通监控视频检测方法和装置
CN101141633A (zh) 一种复杂场景中的运动目标检测与跟踪方法
CN104134222A (zh) 基于多特征融合的车流监控图像检测和跟踪系统及方法
CN105719283A (zh) 一种基于Hessian矩阵多尺度滤波的路面裂缝图像检测方法
CN104301712A (zh) 一种基于视频分析的监控摄像头抖动检测方法
CN112070756B (zh) 一种基于无人机倾斜摄影的路面立体病害测量方法
CN112731440A (zh) 高速铁路边坡形变检测方法及装置
CN103632376A (zh) 一种两级框架的车辆部分遮挡消除方法
CN106709432B (zh) 基于双目立体视觉的人头检测计数方法
CN117994987A (zh) 基于目标检测技术的交通参数提取方法及相关装置
CN112037250A (zh) 一种目标车辆矢量轨迹追踪和工程视图建模方法、装置
Wu et al. Registration-based moving vehicle detection for low-altitude urban traffic surveillance
CN104637062A (zh) 融合颜色与surf特征的基于粒子滤波的目标追踪方法
CN104123569A (zh) 一种基于有监督学习的视频人数信息统计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201210

Address after: No.366, shuxiu West Road, Wuhou District, Chengdu City, Sichuan Province, 610000

Applicant after: STATE GRID SICHUAN ELECTRIC POWER Corp.

Applicant after: ABA POWER SUPPLY COMPANY, STATE GRID SICHUAN ELECTRIC POWER Co.

Address before: No.366, shuxiu West Road, Wuhou District, Chengdu City, Sichuan Province, 610000

Applicant before: STATE GRID SICHUAN ELECTRIC POWER Corp.

GR01 Patent grant
GR01 Patent grant