CN110187334B - 一种目标监控方法、装置及计算机可读存储介质 - Google Patents

一种目标监控方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN110187334B
CN110187334B CN201910451719.XA CN201910451719A CN110187334B CN 110187334 B CN110187334 B CN 110187334B CN 201910451719 A CN201910451719 A CN 201910451719A CN 110187334 B CN110187334 B CN 110187334B
Authority
CN
China
Prior art keywords
target
targets
information
class
marked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910451719.XA
Other languages
English (en)
Other versions
CN110187334A (zh
Inventor
李良群
贺勇
李小香
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunshan Ruixiang Xuntong Communication Technology Co Ltd
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201910451719.XA priority Critical patent/CN110187334B/zh
Publication of CN110187334A publication Critical patent/CN110187334A/zh
Application granted granted Critical
Publication of CN110187334B publication Critical patent/CN110187334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50Systems of measurement based on relative movement of target
    • G01S13/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

根据本发明实施例公开的一种目标监控方法、装置及计算机可读存储介质,分别获取预设监控区域当前时刻的视频检测信息和雷达检测信息;根据所述视频检测信息和雷达检测信息,计算所有所述视频检测目标以及所述雷达检测目标的质心矩阵;确定质心矩阵各行中用于表征各视频检测目标相对最近的雷达检测目标的距离的最小值;将最小值与预设距离阈值进行比较,根据比较结果确定质心匹配成功的目标、视频检测目标以及雷达检测目标中分别剔除匹配成功的目标后所剩余的目标。通过本发明的实施,考虑到雷达检测结果与视频检测结果存在差异,对两类检测信息进行融合处理,经过质心匹配来将所有检测目标划分为三类目标,有效提高了目标监控的准确性、全面性以及效率。

Description

一种目标监控方法、装置及计算机可读存储介质
技术领域
本发明涉及监控技术领域,尤其涉及一种目标监控方法、装置及计算机可读存储介质。
背景技术
多传感器融合的目标监控技术已成为智能交通系统、辅助驾驶系统、无人驾驶系统、安防系统等诸多领域的研究热点。依赖单一的传感器较难处理各种复杂场景,融合多源信息的监控技术可以充分利用各类传感器的优势,全面提高目标监控技术的精度与稳定性。
其中,构建雷达和摄像机视频融合的目标检测框架能够利用视频信息的丰富性,以及雷达信息的高精度和稳定性,从而可以应对各种复杂场景。然而,目前在对目标进行监控时,通常仍是主要依赖于视频信息与雷达信息中的某一类来对目标进行监控,而另一类信息则未得到充分利用,从而使得目标监控的准确性和效率仍较为局限。
发明内容
本发明实施例的主要目的在于提供一种目标监控方法、装置及计算机可读存储介质,至少能够解决相关技术中主要依赖于视频信息与雷达信息中的某一类来对目标进行监控,而另一类信息则未得到充分利用,所导致的目标监控的准确性和效率仍较为局限的问题。
为实现上述目的,本发明实施例第一方面提供了一种目标监控方法,该方法包括:
分别获取预设监控区域当前时刻的视频检测信息和雷达检测信息;所述视频检测信息包括各视频检测目标的边界框信息(x,y,w,h)、类别信息ci以及目标所属类别的概率pi,所述雷达检测信息包括各雷达检测目标的位置信息(x,y)以及速度信息v;
根据所述视频检测信息和雷达检测信息,计算所有所述视频检测目标以及所述雷达检测目标的质心矩阵DN×M
确定所述DN×M各行的最小值dkj,所述dkj用于表征所述各视频检测目标相对最近的所述雷达检测目标的距离;
将所述dkj与预设距离阈值dth进行比较,根据比较结果将所述监控区域内的所有检测目标分别输出为Md类目标、A′类目标或B′类目标;其中,所述Md类目标为所述dkj小于或等于所述dth的目标对,所述A′类目标为所有雷达检测目标中剔除所述目标对后所剩余的目标,所述B′类目标为所有视频检测目标中剔除所述目标对后所剩余的目标。
为实现上述目的,本发明实施例第二方面提供了一种目标监控装置,该装置包括:
获取模块,用于分别获取预设监控区域当前时刻的视频检测信息和雷达检测信息;所述视频检测信息包括各视频检测目标的边界框信息(x,y,w,h)、类别信息ci以及目标所属类别的概率pi,所述雷达检测信息包括各雷达检测目标的位置信息(x,y)以及速度信息v;
计算模块,用于根据所述视频检测信息和雷达检测信息,计算所有所述视频检测目标以及所述雷达检测目标的质心矩阵DN×M
确定模块,用于确定所述DN×M各行的最小值dkj,所述dkj用于表征所述各视频检测目标相对最近的所述雷达检测目标的距离;
输出模块,用于将所述dkj与预设距离阈值dth进行比较,根据比较结果将所述监控区域内的所有检测目标分别输出为Md类目标、A′类目标或B′类目标;其中,所述Md类目标为所述dkj小于或等于所述dth的目标对,所述A′类目标为所有雷达检测目标中剔除所述目标对后所剩余的目标,所述B′类目标为所有视频检测目标中剔除所述目标对后所剩余的目标。
为实现上述目的,本发明实施例第三方面提供了一种电子装置,该电子装置包括:处理器、存储器和通信总线;
所述通信总线用于实现所述处理器和存储器之间的连接通信;
所述处理器用于执行所述存储器中存储的一个或者多个程序,以实现上述任意一种目标监控方法的步骤。
为实现上述目的,本发明实施例第四方面提供了一种计算机可读存储介质,该计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现上述任意一种目标监控方法的步骤。
根据本发明实施例提供的目标监控方法、装置及计算机可读存储介质,分别获取预设监控区域当前时刻的视频检测信息和雷达检测信息;根据所述视频检测信息和雷达检测信息,计算所有所述视频检测目标以及所述雷达检测目标的质心矩阵;确定质心矩阵各行中用于表征各视频检测目标相对最近的雷达检测目标的距离的最小值;将最小值与预设距离阈值进行比较,根据比较结果确定质心匹配成功的目标、视频检测目标以及雷达检测目标中分别剔除匹配成功的目标后所剩余的目标。通过本发明的实施,考虑到雷达检测结果与视频检测结果存在差异,对两类检测信息进行融合处理,经过质心匹配来将所有检测目标划分为三类目标,有效提高了目标监控的准确性、全面性以及效率。
本发明其他特征和相应的效果在说明书的后面部分进行阐述说明,且应当理解,至少部分效果从本发明说明书中的记载变的显而易见。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明第一实施例提供的一种目标监控方法的流程示意图;
图2为本发明第一实施例提供的质心微调方法的流程示意图;
图3为本发明第一实施例提供的另一种目标监控方法的流程示意图;
图4为本发明第二实施例提供的目标监控装置的结构示意图;
图5为本发明第三实施例提供的电子装置的结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而非全部实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
第一实施例:
为了解决相关技术中完全依赖雷达信息进行目标定位,针对雷达定位所得的目标感兴趣区域进行相应的图像处理,然而此类方法未能充分利用视频信息,容易出现目标的虚假检测以及单个目标多次检测等的技术问题,本实施例提出了一种目标监控方法,以对目标进行检测,如图1所示为本实施例提供的目标监控方法的基本流程示意图,本实施例提出的目标监控方法包括以下的步骤:
步骤101、分别获取预设监控区域当前时刻的视频检测信息和雷达检测信息;视频检测信息包括各视频检测目标的边界框信息(x,y,w,h)、类别信息ci以及目标所属类别的概率pi,雷达检测信息包括各雷达检测目标的位置信息(x,y)以及速度信息v。
具体的,本实施例中在同一时刻分别通过摄像机和雷达来对同一监控区域进行数据采集,在采集到视频数据和雷达数据之后,再分别基于视频数据和雷达数据来获取六维的视频检测信息和三维的雷达检测信息,对各自所检测的目标进行表征。
应当说明的是,本实施例基于深度学习算法是来对视频数据中的目标进行检测,也即将视频数据输入至所构建的神经网络模型来输出视频检测目标,其中,所采用的神经网络可以包括深度神经网络(DNN),卷积神经网络(CNN)以及循环神经网络(RNN)中任意一种。
在一些实施方式中,本实施例的神经网络模型可以为基于预设的训练样本集对YOLO卷积神经网络进行训练得到的YOLO(You Only Look Once,只看一眼)卷积神经网络模型,训练样本分为S×S个网格,每个网格预测B个可能包括检测目标的边界框。将视频数据输入至该YOLO卷积神经网络,输出各目标所对应的边界框信息(x,y,w,h)、类别信息ci以及目标所属类别的概率pi,应当理解的是,这里目标的边界框信息也即目标的位置信息,其中,x和y为边界框的中心相对于所处网格的左上角的位置偏移量,w和h为边界框的宽度和高度。还应当说明的是,本实施例中的YOLO卷积神经网络可以包括24个卷积层和2个全连接层,卷积层和全连接层的激活函数为Leaky ReLU函数,卷积层用于提取训练样本中目标的图像特征,全连接层用于预测目标的边界框信息。
步骤102、根据视频检测信息和雷达检测信息,计算所有视频检测目标以及雷达检测目标的质心矩阵DN×M
具体的,在本实施例中,可以将雷达检测目标设为A类目标,视频检测目标设为B类目标,其中,计算A类目标与B类目标的质心矩阵DN×M的公式可以表示如下:
DN×M={dij|dij=centroid_dis(ai,bj)}
ai∈A,bj∈B 1≤i≤N,1≤j≤M
其中,ai表示雷达检测目标的位置信息,也即雷达检测目标的质心,bj表示视频检测目标所对应的边界框的集合中心点位置信息,也即视频检测目标的质心。
步骤103、确定DN×M各行的最小值dkj,dkj用于表征各视频检测目标相对最近的雷达检测目标的距离。
具体的,在本实施例中,质心矩阵各行的最小值表示与第k个雷达检测目标位置最接近的第j个视频检测目标之间的距离。应当说明的是,本实施例中计算dkj的公式可以表示如下:
D′=min{dkj|1≤j≤M},(1≤k≤N)
其中,D′表示质心矩阵DN×M各行的最小值组成的新的N×1维矩阵。
步骤104、将dkj与预设距离阈值dth进行比较,根据比较结果将监控区域内的所有检测目标分别输出为Md类目标、A′类目标或B′类目标;其中,Md类目标为dkj小于或等于dth的目标对,A′类目标为所有雷达检测目标中剔除目标对后所剩余的目标,B′类目标为所有视频检测目标中剔除目标对后所剩余的目标。从而充分利用视频与雷达信息,对检测目标进行筛选与定位修正,大大降低了单个传感器的误检率,达到准确高效的目标检测效果。
具体的,本实施例中在计算得到两类目标的质心距离dkj之后,对该质心距离进行阈值判断,判断公式表示如下:Md={(k,j)|dkj≤dth,dkj∈D′},其中,dth表示距离阈值,Md表示雷达目标与视频目标的质心距离小于等于设定阈值的匹配对。
而在质心距离大于设定阈值时,剔除匹配成功目标对的A类目标为一类,记为A′,剔除匹配成功目标对的B类目标为一类,记为B′,表示如下:
Figure BDA0002075348220000051
在正常检测场景下,A′类目标较少,若在外界环境恶劣时(大雨、大雾等)此类目标较多;而对于B′类目标,此类目标表明视频检测到的目标区域,雷达并未检测到目标,此类情况可能由于雷达漏检或者视频误检,发生概率相对较低。
经过质心距离匹配,如果同一时刻某两个目标的质心距离小于设定的阈值,则判定两个目标为同一个目标,反之视为两个不同的目标。
进一步地,在根据比较结果将监控区域内的所有检测目标分别输出为Md类目标、A′类目标或B′类目标之后,还包括:按照预设规则对各A′类目标进行边界框指定;对指定边界框的A′类目标以及B′类目标,进行质心微调处理。
具体的,本实施例中在完成对目标的分类之后,还对目标的质心进行调整,从而可以更加精确的定位目标。由于A′类目标表明在雷达检测的位置,视频检测并未检测到该目标,针对此类目标,由于缺乏视频信息,需要对该类目标进行边界框指定,也即可以进行人为指定或按照预设指定规则自动指定。在对A′类目标完成边界框指定后,才能对A′类目标进行质心微调。
可选的,本实施例提供了一种质心微调方法,如图2为本实施例提供的质心微调方法的流程示意图,具体包括以下步骤:
步骤201、对边界框作中垂线,将边界框划分为左右两部分;
步骤202、获取左右两部分图块的颜色直方图;
步骤203、计算左右两部分图块的颜色直方图的相似度;
步骤204、根据相似度计算结果,将A′类目标以及B′类目标的质心移动至相似度最高的位置。
具体的,本实施例基于目标的几何对称性来对目标的质心进行微调,即以雷达检测目标所指定的边界框和视频检测目标的边界框的中垂线为边界,将边界框划分为左右两部分,分别求取左右部分图块的颜色直方图,计算目标边界框左右两侧的颜色直方图相似度,然后将质心向相似度增大的方向移动,求得相似度最高的位置,以此位置作为目标的最终质心点。
可选的,在进行相似度计算时,相似度的计算公式表示如下:
Figure BDA0002075348220000061
其中,Hl和Hr分别为左右两部分图块的颜色直方图向量,N为颜色直方图的维度。
在算法实现中,本实施例采用巴氏距离进行相似度计算,巴氏距离的值域为[0,1],其值越小则标识相似度越高,其中,0表示左右部分图块的直方图完美匹配,1则表示完全不匹配。
应当说明的是,由于各类目标的最终输出维度必须相同,需要为B′类目标添加模拟雷达检测信息,也即位置信息(x,y)和速度信息v,本实施例可以利用距离视频检测边界框最近的雷达检测目标充当此模拟雷达检测信息。
进一步地,针对相关技术中的目标跟踪方法仅仅依赖于视频检测信息,未能充分考虑目标的其他信息,如通过雷达检测获得的目标速度信息,容易出现定位不精确以及目标漏检等的技术问题,在根据比较结果将监控区域内的所有检测目标分别输出为Md类目标、A′类目标或B′类目标之后,本实施例还提供了另一种目标监控方法,以对目标进行跟踪,如图3为本实施例提供的另一种目标监控方法的流程示意图,具体包括以下步骤:
步骤301、获取Md类目标、A′类目标以及B′类目标的第一特征信息;
步骤302、基于当前时刻所标记的目标的第一特征信息,以及历史时刻所标记的目标的第二特征信息,计算特征相似性度量参数;
步骤303、基于特征相似性度量参数,计算各当前时刻所标记的目标与各历史时刻所标记的目标的匹配度,得到匹配度矩阵;
步骤304、在基于匹配度,确定连续n帧均能与已有目标匹配成功的目标,并将匹配成功的目标的标号设置为已有目标的标号,以及确定未在连续n帧均与已有目标匹配成功的目标,并将未匹配成功的目标的标号进行新编;其中,在初始状态下,对所标记的目标进行标号分配。
具体的,由于雷达检测的数据特征与视频处理提取的数据特征来自不同类型传感器,故称两类目标特征为异源特征。异源特征可以包含以下三类信息中的至少一种:位置信息(xi,yi,wi,hi)、速度信息vi和表征信息afi,afi为位置信息所对应的边界框内的图像深层特征信息,也即对感兴趣区域所提取的目标表观特征。
在本实施例一种可选的实施方式中,在第一特征信息包括速度信息、位置信息以及表征信息时,计算特征相似性度量参数包括:
计算速度相似性度量参数d1,计算公式表示如下:
Figure BDA0002075348220000071
其中,vi、vj分别为当前时刻所标记的目标的速度信息,以及历史时刻所标记的目标的速度信息;
计算位置相似性度量参数d2,计算公式表示如下:d2=(li-lj)TSj -1(li-lj),其中,li、lj分别为当前时刻所标记的目标的位置信息,以及历史时刻所标记的目标的位置信息,li=[xi,yi,wi,hi],lj=[xj,yj,wj,hj],Sj为目标状态协方差矩阵,T为矩阵转置;
计算表征相似性度量参数d3,计算公式表示如下:d3=1-cos(afi-afj),其中,afi、afj分别为当前时刻所标记的目标的表征信息,以及历史时刻所标记的目标的表征信息。
另外,在本实施例中,基于特征相似性度量参数,计算各当前时刻所标记的目标与各历史时刻所标记的目标的匹配度,得到匹配度矩阵可以包括:将d1、d2与d3代入特征融合计算公式,计算各当前时刻所标记的目标与各历史时刻所标记的目标的匹配度wij,得到匹配度矩阵WN×M,相似度的计算公式表示如下:
Figure BDA0002075348220000081
其中,λ1、λ2与λ3分别为d1、d2与d3所对应的权重参数,N、M分别为当前时刻所标记的目标的数量,以及历史时刻所标记的目标的数量。
还应当说明的是,至于λ1、λ2、λ3三个权重参数的设置,需要利用环境判断因子mp。外界环境的判断因子是基于视频检测数据进行设定,视频检测数据包括:目标的位置信息、目标类别信息以及目标所属类别的概率信息。当目标所属类别的概率越高,表明模型检测的效果越好,侧面反映采集到的视频是较为清晰的。基于以上的认知,本实施例可以提取视频检测结果的前K帧,然后选取每帧中所有目标所述类别的概率信息中,概率值最大的概率信息,再对所选取的K个最大概率值计算前K帧检测概率值的均值,环境判断因子mp的计算公式表示如下:
Figure BDA0002075348220000082
其中,pi表示目标所属类别的概率信息,K为帧数。应当理解的是,当mp越大,表明视频检测结果越好,在进行数据融合时视频检测信息的比重越高;相反mp越小,表明视频检测结果越差,侧面反映外界环境较为恶劣(大雾、暴雨等天气),在进行数据融合时,应降低对视频检测信息的依赖度。
应当说明的是,本实施例中对表征相似性度量参数d3对应的权重参数λ3进行了fλ(x)函数设计,表示如下:
Figure BDA0002075348220000083
从而,权重参数λ3表示如下:
Figure BDA0002075348220000084
对应于速度相似性度量参数d1的权重参数λ1,以及对应于速度相似性度量参数d1的权重参数λ2分别表示如下:
Figure BDA0002075348220000091
Figure BDA0002075348220000092
其中,ξ为预设超参,取值为[0,1],用于调配权重参数。
此外,本实施例在得到匹配度矩阵之后,进行目标匹配与管理时,具体的,匹配检测结果与已有标号目标时可以采用传统的匈牙利算法,匈牙利算法是针对任务分配问题的,在处理目标关联仍然适用。主要的规则表述如下:在初始状态下,连续k(例如5)帧均检测到的目标进行目标标号(ID号)的分配;后续新检测的目标,若连续n(例如3)帧能够与已有目标匹配成功,则设置为激活状态,分配目标ID号,而若未在连续n帧均匹配成功,则为该目标分配新ID。另外,对于已有ID号的目标,若在连续m(取大于n的值,例如20)帧内未能与新检测到的目标匹配成功,则删除此目标的ID号(视为目标已经离开检测范围)。其中,m、n、k均取大于0的正整数。从而,高效融合雷达与视频检测特征,大大改善单个传感器视频目标跟踪的虚假检测与标号跳变等问题,达到多目标的准确跟踪效果。
根据本发明实施例提供的目标监控方法,分别获取预设监控区域当前时刻的视频检测信息和雷达检测信息;根据所述视频检测信息和雷达检测信息,计算所有所述视频检测目标以及所述雷达检测目标的质心矩阵;确定质心矩阵各行中用于表征各视频检测目标相对最近的雷达检测目标的距离的最小值;将最小值与预设距离阈值进行比较,根据比较结果确定质心匹配成功的目标、视频检测目标以及雷达检测目标中分别剔除匹配成功的目标后所剩余的目标。通过本发明的实施,考虑到雷达检测结果与视频检测结果存在差异,对两类检测信息进行融合处理,经过质心匹配来将所有检测目标划分为三类目标,有效提高了目标监控的准确性、全面性以及效率。
第二实施例:
为了解决相关技术中主要依赖于视频信息与雷达信息中的某一类来对目标进行监控,而另一类信息则未得到充分利用,所导致的目标监控的准确性和效率仍较为局限的技术问题,本实施例示出了一种目标监控装置,具体请参见图4,本实施例的目标监控装置包括:
获取模块401,用于分别获取预设监控区域当前时刻的视频检测信息和雷达检测信息;视频检测信息包括各视频检测目标的边界框信息(x,y,w,h)、类别信息ci以及目标所属类别的概率pi,雷达检测信息包括各雷达检测目标的位置信息(x,y)以及速度信息v;
计算模块402,用于根据视频检测信息和雷达检测信息,计算所有视频检测目标以及雷达检测目标的质心矩阵DN×M
确定模块403,用于确定DN×M各行的最小值dkj,dkj用于表征各视频检测目标相对最近的雷达检测目标的距离;
输出模块404,用于将dkj与预设距离阈值dth进行比较,根据比较结果将监控区域内的所有检测目标分别输出为Md类目标、A′类目标或B′类目标;其中,Md类目标为dkj小于或等于dth的目标对,A′类目标为所有雷达检测目标中剔除目标对后所剩余的目标,B′类目标为所有视频检测目标中剔除目标对后所剩余的目标。
在本实施例的一些实施方式中,本实施例的目标监控装置还包括:质心微调模块,用于在根据比较结果将监控区域内的所有检测目标分别输出为Md类目标、A′类目标或B′类目标之后,按照预设规则对各A′类目标进行边界框指定;对指定边界框的A′类目标以及B′类目标,进行质心微调处理。
进一步地,在本实施例的一些实施方式中,质心微调模块在进行质心微调处理时,具体用于对边界框作中垂线,将边界框划分为左右两部分;获取左右两部分图块的颜色直方图;计算左右两部分图块的颜色直方图的相似度;根据相似度计算结果,将A′类目标以及B′类目标的质心移动至相似度最高的位置。
更进一步地,在本实施例的一些实施方式中,相似度的计算公式表示如下:
Figure BDA0002075348220000101
其中,Hl和Hr分别为左右两部分图块的颜色直方图向量,N为颜色直方图的维度。
本实施例的目标监控装置还包括:跟踪模块,用于在根据比较结果将监控区域内的所有检测目标分别输出为Md类目标、A′类目标或B′类目标之后,获取Md类目标、A′类目标以及B′类目标的第一特征信息;基于当前时刻所标记的目标的第一特征信息,以及历史时刻所标记的目标的第二特征信息,计算特征相似性度量参数;基于特征相似性度量参数,计算各当前时刻所标记的目标与各历史时刻所标记的目标的匹配度,得到匹配度矩阵;在基于匹配度,确定连续n帧均能与已有目标匹配成功的目标,并将匹配成功的目标的标号设置为已有目标的标号,以及确定未在连续n帧均与已有目标匹配成功的目标,并将未匹配成功的目标的标号进行新编;其中,在初始状态下,对所标记的目标进行标号分配。
进一步地,在本实施例的一些实施方式中,在第一特征信息包括速度信息、位置信息以及表征信息时,跟踪模块在计算特征相似性度量参数时,具体用于计算速度相似性度量参数d1,计算公式表示如下:
Figure BDA0002075348220000111
其中,vi、vj分别为当前时刻所标记的目标的速度信息,以及历史时刻所标记的目标的速度信息;计算位置相似性度量参数d2,计算公式表示如下:d2=(li-lj)TSj -1(li-lj),其中,li、lj分别为当前时刻所标记的目标的位置信息,以及历史时刻所标记的目标的位置信息,li=[xi,yi,wi,hi],lj=[xj,yj,wj,hj],Sj为目标状态协方差矩阵,T为矩阵转置;计算表征相似性度量参数d3,计算公式表示如下:d3=1-cos(afi-afj),其中,afi、afj分别为当前时刻所标记的目标的表征信息,以及历史时刻所标记的目标的表征信息。
更进一步地,在本实施例的一些实施方式中,跟踪模块在基于特征相似性度量参数,计算各当前时刻所标记的目标与各历史时刻所标记的目标的匹配度,得到匹配度矩阵时,具体用于将d1、d2与d3代入特征融合计算公式,计算各当前时刻所标记的目标与各历史时刻所标记的目标的匹配度wij,得到匹配度矩阵WN×M,相似度的计算公式表示如下:
Figure BDA0002075348220000112
其中,λ1、λ2与λ3分别为d1、d2与d3所对应的权重参数,N、M分别为当前时刻所标记的目标的数量,以及历史时刻所标记的目标的数量。
应当说明的是,前述实施例中的目标监控方法均可基于本实施例提供的目标监控装置实现,所属领域的普通技术人员可以清楚的了解到,为描述的方便和简洁,本实施例中所描述的目标监控装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
采用本实施例提供的目标监控装置,分别获取预设监控区域当前时刻的视频检测信息和雷达检测信息;根据所述视频检测信息和雷达检测信息,计算所有所述视频检测目标以及所述雷达检测目标的质心矩阵;确定质心矩阵各行中用于表征各视频检测目标相对最近的雷达检测目标的距离的最小值;将最小值与预设距离阈值进行比较,根据比较结果确定质心匹配成功的目标、视频检测目标以及雷达检测目标中分别剔除匹配成功的目标后所剩余的目标。通过本发明的实施,考虑到雷达检测结果与视频检测结果存在差异,对两类检测信息进行融合处理,经过质心匹配来将所有检测目标划分为三类目标,有效提高了目标监控的准确性、全面性以及效率。
第三实施例:
本实施例提供了一种电子装置,参见图5所示,其包括处理器501、存储器502及通信总线503,其中:通信总线503用于实现处理器501和存储器502之间的连接通信;处理器501用于执行存储器502中存储的一个或者多个计算机程序,以实现上述实施例一中的目标监控方法中的至少一个步骤。
本实施例还提供了一种计算机可读存储介质,该计算机可读存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、计算机程序模块或其他数据)的任何方法或技术中实施的易失性或非易失性、可移除或不可移除的介质。计算机可读存储介质包括但不限于RAM(Random Access Memory,随机存取存储器),ROM(Read-Only Memory,只读存储器),EEPROM(Electrically Erasable Programmable read only memory,带电可擦可编程只读存储器)、闪存或其他存储器技术、CD-ROM(Compact Disc Read-Only Memory,光盘只读存储器),数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。
本实施例中的计算机可读存储介质可用于存储一个或者多个计算机程序,其存储的一个或者多个计算机程序可被处理器执行,以实现上述实施例一中的方法的至少一个步骤。
本实施例还提供了一种计算机程序,该计算机程序可以分布在计算机可读介质上,由可计算装置来执行,以实现上述实施例一中的方法的至少一个步骤;并且在某些情况下,可以采用不同于上述实施例所描述的顺序执行所示出或描述的至少一个步骤。
本实施例还提供了一种计算机程序产品,包括计算机可读装置,该计算机可读装置上存储有如上所示的计算机程序。本实施例中该计算机可读装置可包括如上所示的计算机可读存储介质。
可见,本领域的技术人员应该明白,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件(可以用计算装置可执行的计算机程序代码来实现)、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。
此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、计算机程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。所以,本发明不限制于任何特定的硬件和软件结合。
以上内容是结合具体的实施方式对本发明实施例所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。

Claims (9)

1.一种目标监控方法,其特征在于,包括:
分别获取预设监控区域当前时刻的视频检测信息和雷达检测信息;所述视频检测信息包括各视频检测目标的边界框信息(x,y,w,h)、类别信息ci以及目标所属类别的概率pi,所述雷达检测信息包括各雷达检测目标的位置信息(x,y)以及速度信息v;
根据所述视频检测信息和雷达检测信息,计算所有所述视频检测目标以及所述雷达检测目标的质心矩阵DN×M
确定所述DN×M各行的最小值dkj,所述dkj用于表征所述各视频检测目标相对最近的所述雷达检测目标的距离;
将所述dkj与预设距离阈值dth进行比较,根据比较结果将所述监控区域内的所有检测目标分别输出为Md类目标、A′类目标或B′类目标;其中,所述Md类目标为所述dkj小于或等于所述dth的目标对,所述A′类目标为所有雷达检测目标中剔除所述目标对后所剩余的目标,所述B′类目标为所有视频检测目标中剔除所述目标对后所剩余的目标;
获取所述Md类目标、所述A′类目标以及所述B′类目标的第一特征信息;
基于当前时刻所标记的目标的第一特征信息,以及历史时刻所标记的目标的第二特征信息,计算特征相似性度量参数;
基于所述特征相似性度量参数,计算各所述当前时刻所标记的目标与各所述历史时刻所标记的目标的匹配度,得到匹配度矩阵;
在基于所述匹配度,确定连续n帧均能与已有目标匹配成功的目标,并将所述匹配成功的目标的标号设置为所述已有目标的标号,以及确定未在连续n帧均与已有目标匹配成功的目标,并将未匹配成功的目标的标号进行新编;其中,在初始状态下,对所标记的目标进行标号分配;其中,所述n取大于0的正整数。
2.如权利要求1所述的目标监控方法,其特征在于,在根据比较结果将所述监控区域内的所有检测目标分别输出为Md类目标、A′类目标或B′类目标之后,还包括:
按照预设规则对各所述A′类目标进行边界框指定;
对指定边界框的所述A′类目标以及所述B′类目标,进行质心微调处理。
3.如权利要求2所述的目标监控方法,其特征在于,所述进行质心微调处理包括:
对所述边界框作中垂线,将所述边界框划分为左右两部分;
获取左右两部分图块的颜色直方图;
计算所述左右两部分图块的颜色直方图的相似度;
根据相似度计算结果,将所述A′类目标以及所述B′类目标的质心移动至相似度最高的位置。
4.如权利要求3所述的目标监控方法,其特征在于,所述相似度的计算公式表示如下:
Figure FDA0002923720290000021
其中,所述Hl和Hr分别为所述左右两部分图块的颜色直方图向量,所述N为颜色直方图的维度。
5.如权利要求1所述的目标监控方法,其特征在于,在所述第一特征信息包括速度信息、位置信息以及表征信息时,所述表征信息为对感兴趣区域所提取的目标表观特征,所述计算特征相似性度量参数包括:
计算速度相似性度量参数d1,计算公式表示如下:
Figure FDA0002923720290000022
其中,所述vi、vj分别为所述当前时刻所标记的目标的速度信息,以及历史时刻所标记的目标的速度信息;
计算位置相似性度量参数d2,计算公式表示如下:d2=(li-lj)TSj -1(li-lj),其中,所述li、lj分别为所述当前时刻所标记的目标的位置信息,以及历史时刻所标记的目标的位置信息,所述li=[xi,yi,wi,hi],所述lj=[xj,yj,wj,hj],所述Sj为目标状态协方差矩阵,所述T为矩阵转置;
计算表征相似性度量参数d3,计算公式表示如下:d3=1-cos(afi-afj),其中,所述afi、afj分别为所述当前时刻所标记的目标的表征信息,以及历史时刻所标记的目标的表征信息。
6.如权利要求5所述的目标监控方法,其特征在于,所述基于所述特征相似性度量参数,计算各所述当前时刻所标记的目标与各所述历史时刻所标记的目标的匹配度,得到匹配度矩阵包括:
将所述d1、d2与d3代入特征融合计算公式,计算各所述当前时刻所标记的目标与各所述历史时刻所标记的目标的匹配度wij,得到匹配度矩阵WN×M,所述相似度的计算公式表示如下:
Figure FDA0002923720290000031
其中,所述λ1、λ2与λ3分别为所述d1、d2与d3所对应的权重参数,所述N、M分别为当前时刻所标记的目标的数量,以及历史时刻所标记的目标的数量。
7.一种目标监控装置,其特征在于,包括:
获取模块,用于分别获取预设监控区域当前时刻的视频检测信息和雷达检测信息;所述视频检测信息包括各视频检测目标的边界框信息(x,y,w,h)、类别信息ci以及目标所属类别的概率pi,所述雷达检测信息包括各雷达检测目标的位置信息(x,y)以及速度信息v;
计算模块,用于根据所述视频检测信息和雷达检测信息,计算所有所述视频检测目标以及所述雷达检测目标的质心矩阵DN×M
确定模块,用于确定所述DN×M各行的最小值dkj,所述dkj用于表征所述各视频检测目标相对最近的所述雷达检测目标的距离;
输出模块,用于将所述dkj与预设距离阈值dth进行比较,根据比较结果将所述监控区域内的所有检测目标分别输出为Md类目标、A′类目标或B′类目标;其中,所述Md类目标为所述dkj小于或等于所述dth的目标对,所述A′类目标为所有雷达检测目标中剔除所述目标对后所剩余的目标,所述B′类目标为所有视频检测目标中剔除所述目标对后所剩余的目标;
跟踪模块,用于在根据比较结果将监控区域内的所有检测目标分别输出为Md类目标、A′类目标或B′类目标之后,获取Md类目标、A′类目标以及B′类目标的第一特征信息;基于当前时刻所标记的目标的第一特征信息,以及历史时刻所标记的目标的第二特征信息,计算特征相似性度量参数;基于特征相似性度量参数,计算各当前时刻所标记的目标与各历史时刻所标记的目标的匹配度,得到匹配度矩阵;在基于匹配度,确定连续n帧均能与已有目标匹配成功的目标,并将匹配成功的目标的标号设置为已有目标的标号,以及确定未在连续n帧均与已有目标匹配成功的目标,并将未匹配成功的目标的标号进行新编;其中,在初始状态下,对所标记的目标进行标号分配。
8.一种电子装置,其特征在于,包括:处理器、存储器和通信总线;
所述通信总线用于实现所述处理器和存储器之间的连接通信;
所述处理器用于执行所述存储器中存储的一个或者多个程序,以实现如权利要求1至6中任意一项所述的目标监控方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1至6中任意一项所述的目标监控方法的步骤。
CN201910451719.XA 2019-05-28 2019-05-28 一种目标监控方法、装置及计算机可读存储介质 Active CN110187334B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910451719.XA CN110187334B (zh) 2019-05-28 2019-05-28 一种目标监控方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910451719.XA CN110187334B (zh) 2019-05-28 2019-05-28 一种目标监控方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110187334A CN110187334A (zh) 2019-08-30
CN110187334B true CN110187334B (zh) 2021-06-08

Family

ID=67718325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910451719.XA Active CN110187334B (zh) 2019-05-28 2019-05-28 一种目标监控方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110187334B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111144505B (zh) * 2019-12-30 2023-09-01 北京三快在线科技有限公司 基于维度切片的变量分类方法、装置、设备及介质
CN113255397A (zh) * 2020-02-10 2021-08-13 富士通株式会社 目标检测方法和装置
CN113359125A (zh) * 2020-03-05 2021-09-07 富士通株式会社 数据融合方法、装置和数据处理设备
CN111619584B (zh) * 2020-05-27 2021-09-21 北京经纬恒润科技股份有限公司 一种无人驾驶汽车的状态监管方法及装置
CN114624711B (zh) * 2020-12-11 2024-05-17 中寰卫星导航通信有限公司 一种不同雷达信息的融合方法、装置、存储介质及设备
CN112987014A (zh) * 2021-02-20 2021-06-18 纳瓦电子(上海)有限公司 车辆及其探测系统和探测方法
CN115082712B (zh) * 2022-08-23 2022-11-22 浙江大华技术股份有限公司 一种基于雷视融合的目标检测方法、装置和可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160326A (zh) * 2015-09-15 2015-12-16 杭州中威电子股份有限公司 一种高速公路上停车的自动检测方法与装置
CN106846378A (zh) * 2017-01-23 2017-06-13 中山大学 一种结合时空拓扑估计的跨摄像机目标匹配与跟踪方法
CN109581345A (zh) * 2018-11-28 2019-04-05 深圳大学 基于毫米波雷达的目标检测与跟踪方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180324390A1 (en) * 2017-05-05 2018-11-08 Innovative Logistics, Inc. Perimeter optical security system e-fence (posse) with integrated closed circuit television (cctv) system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105160326A (zh) * 2015-09-15 2015-12-16 杭州中威电子股份有限公司 一种高速公路上停车的自动检测方法与装置
CN106846378A (zh) * 2017-01-23 2017-06-13 中山大学 一种结合时空拓扑估计的跨摄像机目标匹配与跟踪方法
CN109581345A (zh) * 2018-11-28 2019-04-05 深圳大学 基于毫米波雷达的目标检测与跟踪方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A Novel Multi-source Vehicle Detection Algorithm based on Deep Learning;Yong He等;《Proceedings of ICSP2018》;20181231;第979页右栏第2段至第982页左栏第1段及图1-2 *
Online Multi-Obj ect Tracking via maximum entropy Intuitionistic Fuzzy Data Association;Zhan Xi-yang等;《Proceedings of ICSP2018》;20181231;全文 *
Yong He等.A Novel Multi-source Vehicle Detection Algorithm based on Deep Learning.《Proceedings of ICSP2018》.2018, *
基于融合的全向三维视觉理论及在车道检测和定位中的应用研究;李传祥;《中国博士学位论文全文数据库工程科技II辑》;20171115;第88页第3段至第95页第1段 *

Also Published As

Publication number Publication date
CN110187334A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
CN110187334B (zh) 一种目标监控方法、装置及计算机可读存储介质
CN111127513B (zh) 一种多目标跟踪方法
CN114092820B (zh) 目标检测方法及应用其的移动目标跟踪方法
CN110349187B (zh) 基于tsk模糊分类器的目标跟踪方法、装置及存储介质
CN103699905B (zh) 一种车牌定位方法及装置
CN111882586B (zh) 一种面向剧场环境的多演员目标跟踪方法
CN110363165B (zh) 基于tsk模糊系统的多目标跟踪方法、装置及存储介质
CN111709975A (zh) 多目标跟踪方法、装置、电子设备及存储介质
CN110349188B (zh) 基于tsk模糊模型的多目标跟踪方法、装置及存储介质
CN113221750A (zh) 车辆追踪方法、装置、设备及存储介质
CN115063454B (zh) 多目标跟踪匹配方法、装置、终端及存储介质
CN114049382A (zh) 一种智能网联环境下目标融合跟踪方法、系统和介质
CN114663471A (zh) 一种目标跟踪方法、装置及计算机可读存储介质
CN116311063A (zh) 监控视频下基于人脸识别的人员细粒度跟踪方法及系统
CN115376109A (zh) 障碍物检测方法、障碍物检测装置以及存储介质
WO2020237501A1 (zh) 一种多源协同道路车辆监控系统
Mirthubashini et al. Video based vehicle counting using deep learning algorithms
CN114898314A (zh) 驾驶场景的目标检测方法、装置、设备及存储介质
CN114820765A (zh) 图像识别方法、装置、电子设备及计算机可读存储介质
Steiger et al. Automatic detection of transmission towers
CN116681730A (zh) 一种目标物追踪方法、装置、计算机设备和存储介质
CN115272493B (zh) 一种基于连续时序点云叠加的异常目标检测方法及装置
CN115327529A (zh) 一种融合毫米波雷达和激光雷达的3d目标检测与追踪方法
CN112183204A (zh) 一种停车事件的检测方法和装置
CN115840227B (zh) 道路边缘的检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210714

Address after: 215300 no.1689-5 Zizhu Road, Yushan Town, Kunshan City, Suzhou City, Jiangsu Province

Patentee after: KUNSHAN RUIXIANG XUNTONG COMMUNICATION TECHNOLOGY Co.,Ltd.

Address before: 518060 No. 3688 Nanhai Road, Shenzhen, Guangdong, Nanshan District

Patentee before: SHENZHEN University

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 215300 Room 009, No. 55, Shengchuang Road, Yushan Town, Kunshan, Suzhou, Jiangsu Province

Patentee after: KUNSHAN RUIXIANG XUNTONG COMMUNICATION TECHNOLOGY Co.,Ltd.

Country or region after: China

Address before: 215300 no.1689-5 Zizhu Road, Yushan Town, Kunshan City, Suzhou City, Jiangsu Province

Patentee before: KUNSHAN RUIXIANG XUNTONG COMMUNICATION TECHNOLOGY Co.,Ltd.

Country or region before: China