CN113469130A - 一种遮挡目标检测方法、装置、存储介质及电子装置 - Google Patents

一种遮挡目标检测方法、装置、存储介质及电子装置 Download PDF

Info

Publication number
CN113469130A
CN113469130A CN202110839786.6A CN202110839786A CN113469130A CN 113469130 A CN113469130 A CN 113469130A CN 202110839786 A CN202110839786 A CN 202110839786A CN 113469130 A CN113469130 A CN 113469130A
Authority
CN
China
Prior art keywords
target
radar
mapping
detection frame
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110839786.6A
Other languages
English (en)
Inventor
陈向阳
李冬冬
李乾坤
殷俊
王凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110839786.6A priority Critical patent/CN113469130A/zh
Publication of CN113469130A publication Critical patent/CN113469130A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供了一种遮挡目标检测方法、装置、存储介质及电子装置，其中，该方法包括：获取同时采集的雷达数据与图像数据；将该雷达数据中的雷达目标映射到图像坐标系中，得到雷达映射目标；将该雷达映射目标与该图像数据中的视觉目标进行匹配，得到匹配结果；根据该匹配结果对遮挡目标进行检测，可以解决相关技术中雷达和视觉的融合检测若遇到视觉目标被遮挡，融合检测的准确率将会受到很大影响的问题，通过对多台相机的客流进出统计结果进行同一目标的去重处理，提高了客流进出统计的精确度，将雷达目标映射到图像坐标系中，与视觉目标进行匹配，根据匹配结果检测目标间的遮挡情况，可以提高融合检测的准确率。

Description

一种遮挡目标检测方法、装置、存储介质及电子装置
技术领域
本发明涉及图像处理领域，具体而言，涉及一种遮挡目标检测方法、装置、存储介质及电子装置。
背景技术
基于雷达和视频一体机的监控技术在安防领域越来越受到重视。雷达以高检测概率获得移动目标的量测信息(空间位置和运动速度信息)，但雷达无法获得较高的目标识别类率；视频/图像可获得目标高准确率的识别信息，但不易获得目标的运动信息和空间位置信息。若将雷达和视频数据有效融合，便可获得更高的目标识别准确率、运动信息和空间位置信息。
雷达和视觉的融合检测若遇到视觉目标被遮挡，融合检测的准确率将会受到很大影响。
针对相关技术中雷达和视觉的融合检测若遇到视觉目标被遮挡，融合检测的准确率将会受到很大影响的问题，尚未提出解决方案。
发明内容
本发明实施例提供了一种遮挡目标检测方法、装置、存储介质及电子装置，以至少解决相关技术中雷达和视觉的融合检测若遇到视觉目标被遮挡，融合检测的准确率将会受到很大影响的问题。
根据本发明的一个实施例，提供了一种遮挡目标检测方法，包括：
获取同时采集的雷达数据与图像数据；
将所述雷达数据中的雷达目标映射到图像坐标系中，得到雷达映射目标；
将所述雷达映射目标与所述图像数据中的视觉目标进行匹配，得到匹配结果；
根据所述匹配结果对遮挡目标进行检测。
可选地，将所述雷达数据中的雷达目标映射到图像坐标系中，得到雷达映射目标包括：
从所述雷达数据中获取所述雷达目标的距离信息；
根据所述距离信息按由近到远的顺序对所述雷达目标进行排序，并记录所述雷达目标的序号；
依次将所述雷达目标映射到所述图像坐标系中，得到所述雷达映射目标。
可选地，将所述雷达映射目标与所述图像数据中的视觉目标进行匹配，得到匹配结果包括：
在所述图像数据中，以所述雷达映射目标的中心点为中心，生成待检区域；
使用预先训练好的深度神经网络模型对所述待检区域进行视觉目标检测，得到视觉目标的检测结果；
根据所述检测结果获取所述视觉目标外接的矩形检测框；
确定所述矩形检测框的中心点与所述雷达映射目标的中心点的距离；
确定所述距离最小的所述矩形检测框与所述雷达目标的所述匹配结果为匹配。
可选地，根据所述匹配结果对遮挡目标进行检测包括：
若所述匹配结果为匹配，判断所述距离最小的矩形检测框是否为未匹配；
在所述距离最小的矩形检测框为未匹配的情况下，确定所述距离最小的矩形检测框为所述雷达目标的匹配目标，并记录所述距离最小的矩形检测框的匹配序号，将所述距离最小的矩形检测框设置为已匹配；
在所述距离最小的矩形检测框为已匹配的情况下，确定所述距离最小的矩形检测框对应的视觉目标为被遮挡目标，确定所述距离最小的矩形检测框的匹配序号对应的视觉目标为遮挡目标，并为所述被遮挡目标构造虚拟目标框。
可选地，为所述被遮挡目标构造虚拟目标框包括：
获取所述遮挡目标对应的雷达映射目标的第一中心点与所述被遮挡目标对应的雷达映射目标的第二中心点的坐标；
获取所述遮挡目标的矩形检测框的第三中心点的坐标；
根据所述第一中心点、所述第二中心点以及所述第三中心点的坐标确定所述被遮挡目标的矩形检测框的第四中心点的坐标；
确定所述虚拟目标框的大小；
根据所述第四中心点的坐标与所述虚拟目标框的大小构造所述虚拟目标框。
可选地，确定所述虚拟目标框的大小包括：
获取所述遮挡目标的矩形检测框的长度和宽度；
通过所述雷达数据获取所述遮挡目标匹配的雷达目标距离雷达相机的第一距离与所述被遮挡目标匹配的雷达目标距离雷达相机的第二距离；
根据所述长度、所述宽度、所述第一距离以及所述第二距离确定所述被遮挡目标的矩形检测框的长度与宽度。
可选地，所述方法还包括：
通过以下方式根据所述长度、所述宽度、所述第一距离以及所述第二距离确定所述被遮挡目标的矩形检测框的长度与宽度：
Figure BDA0003178438360000031
Figure BDA0003178438360000032
其中，w′、h′分别为所述被遮挡目标的矩形检测框的长度与宽度，w、h分别为所述遮挡目标的矩形检测框的长度和宽度，d1、d2分别为所述第一距离、所述第二距离。
根据本发明的另一个实施例，还提供了一种遮挡目标检测装置，包括：
获取模块，用于获取同时采集的雷达数据与图像数据；
映射模块，用于将所述雷达数据中的雷达目标映射到图像坐标系中，得到雷达映射目标；
匹配模块，用于将所述雷达映射目标与所述图像数据中的视觉目标进行匹配，得到匹配结果；
检测模块，用于根据所述匹配结果对遮挡目标进行检测。
可选地，所述映射模块包括：
第一获取子模块，用于从所述雷达数据中获取所述雷达目标的距离信息；
排序子模块，用于根据所述距离信息按由近到远的顺序对所述雷达目标进行排序，并记录所述雷达目标的序号；
映射子模块，用于依次将所述雷达目标映射到所述图像坐标系中，得到所述雷达映射目标。
可选地，所述匹配模块包括：
生成子模块，用于在所述图像数据中，以所述雷达映射目标的中心点为中心，生成待检区域；
检测子模块，用于使用预先训练好的深度神经网络模型对所述待检区域进行视觉目标检测，得到视觉目标的检测结果；
第二获取子模块，用于根据所述检测结果获取所述视觉目标外接的矩形检测框；
确定子模块，用于确定所述矩形检测框的中心点与所述雷达映射目标的中心点的距离；并确定所述距离最小的所述矩形检测框与所述雷达目标的所述匹配结果为匹配。
可选地，所述检测模块包括：
判断子模块，用于若所述匹配结果为匹配，判断所述距离最小的矩形检测框是否为未匹配；
设置子模块，用于在所述距离最小的矩形检测框为未匹配的情况下，确定所述距离最小的矩形检测框为所述雷达目标的匹配目标，并记录所述距离最小的矩形检测框的匹配序号，将所述距离最小的矩形检测框设置为已匹配；
构造子模块，用于在所述距离最小的矩形检测框为已匹配的情况下，确定所述距离最小的矩形检测框对应的视觉目标为被遮挡目标，确定所述距离最小的矩形检测框的匹配序号对应的视觉目标为遮挡目标，并为所述被遮挡目标构造虚拟目标框。
可选地，所述构造子模块包括：
获取单元，用于获取所述遮挡目标对应的雷达映射目标的第一中心点与所述被遮挡目标对应的雷达映射目标的第二中心点的坐标；并获取所述遮挡目标的矩形检测框的第三中心点的坐标；
第一确定单元，用于根据所述第一中心点、所述第二中心点以及所述第三中心点的坐标确定所述被遮挡目标的矩形检测框的第四中心点的坐标；
第二确定单元，用于确定所述虚拟目标框的大小；
构造单元，用于根据所述第四中心点的坐标与所述虚拟目标框的大小构造所述虚拟目标框。
可选地，所述第二确定单元，还用于
获取所述遮挡目标的矩形检测框的长度和宽度；
通过所述雷达数据获取所述遮挡目标匹配的雷达目标距离雷达相机的第一距离与所述被遮挡目标匹配的雷达目标距离雷达相机的第二距离；
根据所述长度、所述宽度、所述第一距离以及所述第二距离确定所述被遮挡目标的矩形检测框的长度与宽度。
可选地，所述第二确定单元，还用于
通过以下方式根据所述长度、所述宽度、所述第一距离以及所述第二距离确定所述被遮挡目标的矩形检测框的长度与宽度：
Figure BDA0003178438360000061
Figure BDA0003178438360000062
其中，w′、h′分别为所述被遮挡目标的矩形检测框的长度与宽度，w、h分别为所述遮挡目标的矩形检测框的长度和宽度，d1、d2分别为所述第一距离、所述第二距离。
根据本发明的又一个实施例，还提供了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，获取同时采集的雷达数据与图像数据；将所述雷达数据中的雷达目标映射到图像坐标系中，得到雷达映射目标；将所述雷达映射目标与所述图像数据中的视觉目标进行匹配，得到匹配结果；根据所述匹配结果对遮挡目标进行检测，可以解决相关技术中雷达和视觉的融合检测若遇到视觉目标被遮挡，融合检测的准确率将会受到很大影响的问题，通过对多台相机的客流进出统计结果进行同一目标的去重处理，提高了客流进出统计的精确度，将雷达目标映射到图像坐标系中，与视觉目标进行匹配，根据匹配结果检测目标间的遮挡情况，可以提高融合检测的准确率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的遮挡目标检测方法的移动终端的硬件结构框图；
图2是根据本发明实施例的遮挡目标检测方法的流程图；
图3是根据本发明实施例的目标遮挡时雷达与视觉匹配检测的示意图；
图4是根据本发明实施例的雷达与双目视觉融合目标检测的流程图；
图5是根据本发明实施例的遮挡目标检测装置的框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的遮挡目标检测方法的移动终端的硬件结构框图，如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的遮挡目标检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及远程登录的控制，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端或网络架构的遮挡目标检测方法，图2是根据本发明实施例的遮挡目标检测方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取同时采集的雷达数据与图像数据；
本发明实施例中，雷达相机采集雷达数据，视频相机采集图像数据，获取雷达相机与视频相机同时采集的雷达数据与图像数据。
步骤S204，将所述雷达数据中的雷达目标映射到图像坐标系中，得到雷达映射目标；
本发明实施例中，上述步骤S204具体可以包括：
S2041，从所述雷达数据中获取所述雷达目标的距离信息；
S2042，根据所述距离信息按由近到远的顺序对所述雷达目标进行排序，并记录所述雷达目标的序号；
S2043，依次将所述雷达目标映射到所述图像坐标系中，得到所述雷达映射目标。
步骤S206，将所述雷达映射目标与所述图像数据中的视觉目标进行匹配，得到匹配结果；
本发明实施例中，上述步骤S206具体可以包括：
S2061，在所述图像数据中，以所述雷达映射目标的中心点为中心，生成待检区域；
S2062，使用预先训练好的深度神经网络模型对所述待检区域进行视觉目标检测，得到视觉目标的检测结果；
S2063，根据所述检测结果获取所述视觉目标外接的矩形检测框；
S2064，确定所述矩形检测框的中心点与所述雷达映射目标的中心点的距离；
S2065，确定所述距离最小的所述矩形检测框与所述雷达目标的所述匹配结果为匹配。
步骤S208，根据所述匹配结果对遮挡目标进行检测。
通过上述步骤S202至S208，可以解决相关技术中雷达和视觉的融合检测若遇到视觉目标被遮挡，融合检测的准确率将会受到很大影响的问题，通过对多台相机的客流进出统计结果进行同一目标的去重处理，提高了客流进出统计的精确度，将雷达目标映射到图像坐标系中，与视觉目标进行匹配，根据匹配结果检测目标间的遮挡情况，可以提高融合检测的准确率。
本发明实施例中，上述步骤S208具体可以包括：
S2081，若所述匹配结果为匹配，判断所述距离最小的矩形检测框是否为未匹配；
S2082，在所述距离最小的矩形检测框为未匹配的情况下，确定所述距离最小的矩形检测框为所述雷达目标的匹配目标，并记录所述距离最小的矩形检测框的匹配序号，将所述距离最小的矩形检测框设置为已匹配；
S2083，在所述距离最小的矩形检测框为已匹配的情况下，确定所述距离最小的矩形检测框对应的视觉目标为被遮挡目标，确定所述距离最小的矩形检测框的匹配序号对应的视觉目标为遮挡目标，并为所述被遮挡目标构造虚拟目标框，
进一步的，上述步骤S2083中，为所述被遮挡目标构造虚拟目标框具体可以包括：获取所述遮挡目标对应的雷达映射目标的第一中心点与所述被遮挡目标对应的雷达映射目标的第二中心点的坐标；获取所述遮挡目标的矩形检测框的第三中心点的坐标；根据所述第一中心点、所述第二中心点以及所述第三中心点的坐标确定所述被遮挡目标的矩形检测框的第四中心点的坐标；确定所述虚拟目标框的大小；根据所述第四中心点的坐标与所述虚拟目标框的大小构造所述虚拟目标框。
在一可选的实施例中，上述确定所述虚拟目标框的大小具体可以包括：获取所述遮挡目标的矩形检测框的长度和宽度；通过所述雷达数据获取所述遮挡目标匹配的雷达目标距离雷达相机的第一距离与所述被遮挡目标匹配的雷达目标距离雷达相机的第二距离；根据所述长度、所述宽度、所述第一距离以及所述第二距离确定所述被遮挡目标的矩形检测框的长度与宽度，具体可以通过以下方式确定所述被遮挡目标的矩形检测框的长度与宽度：
Figure BDA0003178438360000101
Figure BDA0003178438360000102
其中，w′、h′分别为所述被遮挡目标的矩形检测框的长度与宽度，w、h分别为所述遮挡目标的矩形检测框的长度和宽度，d1、d2分别为所述第一距离、所述第二距离。
本发明实施例充分利用了雷达获取到的目标距离信息，按由近到远的依据对雷达目标进行排序，依次将雷达目标映射到像素坐标系中，与视觉目标进行匹配，并通过对视觉目标设置标志位记录其匹配状态，从而判断目标间的遮挡情况，并依据遮挡情况，构造虚拟目标框，用虚拟的目标框标记出被遮挡的目标，检测结果更加准确。
使用先进的Yolo v4模型进行视觉图像的目标检测，相比于之前的Yolo v3模型，检测精度更高，同时检测速度也更快。
毫米波雷达可以测量目标的速度和位置，相机可以获得目标的外观细节信息。
对于真实世界中的目标，在雷达坐标系中是以点云坐标的形式表现的，在视觉中，通过神经网络模型对图像进行处理，包含目标的像素会被矩形框标记出来。如果一个目标能被雷达和相机同时观测到，通过对雷达坐标系点云目标和相机坐标系像素目标进行目标匹配，既可以获得目标的外观细节信息，又能获得速度位置信息。
图3是根据本发明实施例的目标遮挡时雷达与视觉匹配检测的示意图，如图3所示，外围的矩形表示一幅图像，五角星表示雷达目标经过映射函数变换后在视觉图像上的投影，以该五角星为中心，构建一个指定大小的待检测ROI区域，以虚线矩形表示，一个五角星表示一个雷达目标，对应生成的ROI为虚线框，且在图像中，远的视觉目标被遮挡。在每个ROI内使用深度神经网络模型进行目标检测，由于视觉目标被遮挡，所以无法被深度神经网络模型检测出来，通过构造虚拟目标框(小虚线框)，表示目标检测结果。
遮挡发生时，视觉上的效果表现为近处的目标遮挡远处的目标。由于雷达可以检测到目标到传感器的距离，因此可以对目标的距离信息进行排序，判断出目标到传感器的远近。按照由近到远的顺序，依次将雷达目标映射到视觉坐标系中，并生成对应的ROI待检区域，使用深度神经网络模型对待检测区域进行目标检测，遍历检测到的视觉目标矩形框的中心点(uci,vci)，计算其与雷达映射目标中心点(uri,vri)的距离
Figure BDA0003178438360000111
取距离最小的，并且标志位为未匹配的视觉检测框作为对应的视觉目标，同时设置该视觉目标的标志位为已匹配，并记录下匹配对应的序号。当雷达目标对应的ROI区域内，距离雷达映射目标中心点最近的像素目标的标志位为已匹配，此时可判定为出现遮挡，通过匹配序号找到遮挡目标，构造虚拟目标框。
虚拟目标框的位置可以通过以下方式确定：假设由近到远的两个雷达目标A和B映射到像素坐标系上分别为(ur1,vr1)和(ur2,vr2)，在视觉图像上表现为A遮挡B。由于相机和雷达的空间标定存在误差，A实际对应的视觉检测目标框中心点为(uc1,vc1)，以此为基准，求解B对应的虚拟目标框中心点(uc2,vc2)，其中，
Figure BDA0003178438360000121
Figure BDA0003178438360000122
算得(u2c,vc2)。
虚拟目标框的大小
假设目标A遮挡了目标B，且目标A对应的视觉目标框的长和宽分别为w和h，A到传感器的距离为d1，B到传感器的距离为d2，则目标B对应的虚拟目标框的长和宽分别为：
Figure BDA0003178438360000123
Figure BDA0003178438360000124
图4是根据本发明实施例的雷达与双目视觉融合目标检测的流程图，如图4所示，雷达与双目视觉融合目标检测的过程包括：
S1，采集雷达数据和视频数据。该采集过程数据延迟对标注结果存在显著影响。从设备终端(图像传感器和雷达传感器)到SOC(计算机处理器)中间节点尽可能少(提高数据传输效率，减小时间延迟)。跳转到S2。
S2，时间同步。时间同步可分为软件时间同步和硬件时间同步。软件时间同步方法，误差较大，但成本低、灵活可配置。硬件时间同步方法，误差较小，但成本高、需额外设计电路，不易修改。针对低速目标跟踪场景，建议采用软件时间同步方法；针对高速目标跟踪场景，建议采用硬件时间同步方法。时间同步过程执行之后，雷达帧和视频帧中的信息几乎是同一时刻的目标信息(二者时间误差最小)，因此需绑定一起输出。
S3，提取雷达数据。从绑定对象中提取雷达数据。跳转到S4。
S4，使用卡尔曼滤波器对雷达数据进行预测和更新，过滤干扰信号。跳转到S5。
S5，获得雷达目标，并根据雷达目标到传感器的距离，按照由近到远的顺序进行排序，跳转到S6。
S6，根据坐标系映射函数，依次将雷达点云目标映射到像素坐标系中，为(uri,vri)。跳转到S7。
S7，获取相机图像数据。跳转到S8。
S8，以(uri,vri)为中心，生成一个指定大小的ROI待检区域。跳转到S9。
S9，在ROI内，使用已经训练好的深度神经网络模型进行目标检测，获得目标的最小外接矩形，包括坐标和长宽等参数。跳转到S10。
S10，遍历检测到的视觉目标矩形框的中心点(uci,vci)，计算其与雷达映射目标中心点(uri,vri)的距离
Figure BDA0003178438360000131
跳转到S11。
S11，判断S10中，距离最小的视觉检测框的标志位是否为未匹配的状态，如果是，跳转到S12，如果否，跳转到S13。
S12，选取该视觉检测框作为雷达目标对应的匹配目标，记录匹配序号，跳转到S13。
S13，结束。
S14，判定此时出现了遮挡情况，跳转到S15；
S15，通过匹配序号找到遮挡目标，构造虚拟目标框。跳转到S16。
S16，结束。
实施例2
根据本发明的另一个实施例，还提供了一种遮挡目标检测装置，图5是根据本发明实施例的遮挡目标检测装置的框图，如图5所示，包括：
获取模块52，用于获取同时采集的雷达数据与图像数据；
映射模块54，用于将所述雷达数据中的雷达目标映射到图像坐标系中，得到雷达映射目标；
匹配模块56，用于将所述雷达映射目标与所述图像数据中的视觉目标进行匹配，得到匹配结果；
检测模块58，用于根据所述匹配结果对遮挡目标进行检测。
可选地，所述映射模块54包括：
第一获取子模块，用于从所述雷达数据中获取所述雷达目标的距离信息；
排序子模块，用于根据所述距离信息按由近到远的顺序对所述雷达目标进行排序，并记录所述雷达目标的序号；
映射子模块，用于依次将所述雷达目标映射到所述图像坐标系中，得到所述雷达映射目标。
可选地，所述匹配模块56包括：
生成子模块，用于在所述图像数据中，以所述雷达映射目标的中心点为中心，生成待检区域；
检测子模块，用于使用预先训练好的深度神经网络模型对所述待检区域进行视觉目标检测，得到视觉目标的检测结果；
第二获取子模块，用于根据所述检测结果获取所述视觉目标外接的矩形检测框；
确定子模块，用于确定所述矩形检测框的中心点与所述雷达映射目标的中心点的距离；并确定所述距离最小的所述矩形检测框与所述雷达目标的所述匹配结果为匹配。
可选地，所述检测模块58包括：
判断子模块，用于若所述匹配结果为匹配，判断所述距离最小的矩形检测框是否为未匹配；
设置子模块，用于在所述距离最小的矩形检测框为未匹配的情况下，确定所述距离最小的矩形检测框为所述雷达目标的匹配目标，并记录所述距离最小的矩形检测框的匹配序号，将所述距离最小的矩形检测框设置为已匹配；
构造子模块，用于在所述距离最小的矩形检测框为已匹配的情况下，确定所述距离最小的矩形检测框对应的视觉目标为被遮挡目标，确定所述距离最小的矩形检测框的匹配序号对应的视觉目标为遮挡目标，并为所述被遮挡目标构造虚拟目标框。
可选地，所述构造子模块包括：
获取单元，用于获取所述遮挡目标对应的雷达映射目标的第一中心点与所述被遮挡目标对应的雷达映射目标的第二中心点的坐标；并获取所述遮挡目标的矩形检测框的第三中心点的坐标；
第一确定单元，用于根据所述第一中心点、所述第二中心点以及所述第三中心点的坐标确定所述被遮挡目标的矩形检测框的第四中心点的坐标；
第二确定单元，用于确定所述虚拟目标框的大小；
构造单元，用于根据所述第四中心点的坐标与所述虚拟目标框的大小构造所述虚拟目标框。
可选地，所述第二确定单元，还用于
获取所述遮挡目标的矩形检测框的长度和宽度；
通过所述雷达数据获取所述遮挡目标匹配的雷达目标距离雷达相机的第一距离与所述被遮挡目标匹配的雷达目标距离雷达相机的第二距离；
根据所述长度、所述宽度、所述第一距离以及所述第二距离确定所述被遮挡目标的矩形检测框的长度与宽度。
可选地，所述第二确定单元，还用于
通过以下方式根据所述长度、所述宽度、所述第一距离以及所述第二距离确定所述被遮挡目标的矩形检测框的长度与宽度：
Figure BDA0003178438360000161
Figure BDA0003178438360000162
其中，w′、h′分别为所述被遮挡目标的矩形检测框的长度与宽度，w、h分别为所述遮挡目标的矩形检测框的长度和宽度，d1、d2分别为所述第一距离、所述第二距离。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取同时采集的雷达数据与图像数据；
S2，将所述雷达数据中的雷达目标映射到图像坐标系中，得到雷达映射目标；
S3，将所述雷达映射目标与所述图像数据中的视觉目标进行匹配，得到匹配结果；
S4，根据所述匹配结果对遮挡目标进行检测。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
实施例4
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取同时采集的雷达数据与图像数据；
S2，将所述雷达数据中的雷达目标映射到图像坐标系中，得到雷达映射目标；
S3，将所述雷达映射目标与所述图像数据中的视觉目标进行匹配，得到匹配结果；
S4，根据所述匹配结果对遮挡目标进行检测。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种遮挡目标检测方法，其特征在于，包括：
获取同时采集的雷达数据与图像数据；
将所述雷达数据中的雷达目标映射到图像坐标系中，得到雷达映射目标；
将所述雷达映射目标与所述图像数据中的视觉目标进行匹配，得到匹配结果；
根据所述匹配结果对遮挡目标进行检测。
2.根据权利要求1所述的方法，其特征在于，将所述雷达数据中的雷达目标映射到图像坐标系中，得到雷达映射目标包括：
从所述雷达数据中获取所述雷达目标的距离信息；
根据所述距离信息按由近到远的顺序对所述雷达目标进行排序，并记录所述雷达目标的序号；
依次将所述雷达目标映射到所述图像坐标系中，得到所述雷达映射目标。
3.根据权利要求1所述的方法，其特征在于，将所述雷达映射目标与所述图像数据中的视觉目标进行匹配，得到匹配结果包括：
在所述图像数据中，以所述雷达映射目标的中心点为中心，生成待检区域；
使用预先训练好的深度神经网络模型对所述待检区域进行视觉目标检测，得到视觉目标的检测结果；
根据所述检测结果获取所述视觉目标外接的矩形检测框；
确定所述矩形检测框的中心点与所述雷达映射目标的中心点的距离；
确定所述距离最小的所述矩形检测框与所述雷达目标的所述匹配结果为匹配。
4.根据权利要求1至3中任一项所述的方法，其特征在于，根据所述匹配结果对遮挡目标进行检测包括：
若所述匹配结果为匹配，判断所述距离最小的矩形检测框是否为未匹配；
在所述距离最小的矩形检测框为未匹配的情况下，确定所述距离最小的矩形检测框为所述雷达目标的匹配目标，并记录所述距离最小的矩形检测框的匹配序号，将所述距离最小的矩形检测框设置为已匹配；
在所述距离最小的矩形检测框为已匹配的情况下，确定所述距离最小的矩形检测框对应的视觉目标为被遮挡目标，确定所述距离最小的矩形检测框的匹配序号对应的视觉目标为遮挡目标，并为所述被遮挡目标构造虚拟目标框。
5.根据权利要求4所述的方法，其特征在于，为所述被遮挡目标构造虚拟目标框包括：
获取所述遮挡目标对应的雷达映射目标的第一中心点与所述被遮挡目标对应的雷达映射目标的第二中心点的坐标；
获取所述遮挡目标的矩形检测框的第三中心点的坐标；
根据所述第一中心点、所述第二中心点以及所述第三中心点的坐标确定所述被遮挡目标的矩形检测框的第四中心点的坐标；
确定所述虚拟目标框的大小；
根据所述第四中心点的坐标与所述虚拟目标框的大小构造所述虚拟目标框。
6.根据权利要求5所述的方法，其特征在于，确定所述虚拟目标框的大小包括：
获取所述遮挡目标的矩形检测框的长度和宽度；
通过所述雷达数据获取所述遮挡目标匹配的雷达目标距离雷达相机的第一距离与所述被遮挡目标匹配的雷达目标距离雷达相机的第二距离；
根据所述长度、所述宽度、所述第一距离以及所述第二距离确定所述被遮挡目标的矩形检测框的长度与宽度。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
通过以下方式根据所述长度、所述宽度、所述第一距离以及所述第二距离确定所述被遮挡目标的矩形检测框的长度与宽度：
Figure FDA0003178438350000031
Figure FDA0003178438350000032
其中，w′、h′分别为所述被遮挡目标的矩形检测框的长度与宽度，w、h分别为所述遮挡目标的矩形检测框的长度和宽度，d1、d2分别为所述第一距离、所述第二距离。
8.一种遮挡目标检测装置，其特征在于，包括：
获取模块，用于获取同时采集的雷达数据与图像数据；
映射模块，用于将所述雷达数据中的雷达目标映射到图像坐标系中，得到雷达映射目标；
匹配模块，用于将所述雷达映射目标与所述图像数据中的视觉目标进行匹配，得到匹配结果；
检测模块，用于根据所述匹配结果对遮挡目标进行检测。
9.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7中任一项所述的方法。
CN202110839786.6A 2021-07-23 2021-07-23 一种遮挡目标检测方法、装置、存储介质及电子装置 Pending CN113469130A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110839786.6A CN113469130A (zh) 2021-07-23 2021-07-23 一种遮挡目标检测方法、装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110839786.6A CN113469130A (zh) 2021-07-23 2021-07-23 一种遮挡目标检测方法、装置、存储介质及电子装置

Publications (1)

Publication Number Publication Date
CN113469130A true CN113469130A (zh) 2021-10-01

Family

ID=77882244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110839786.6A Pending CN113469130A (zh) 2021-07-23 2021-07-23 一种遮挡目标检测方法、装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN113469130A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023083164A1 (zh) * 2021-11-12 2023-05-19 北京万集科技股份有限公司 目标追踪方法、信号融合方法、装置、终端和存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110363158A (zh) * 2019-07-17 2019-10-22 浙江大学 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法
EP3579013A1 (en) * 2018-06-08 2019-12-11 KPIT Technologies Ltd. System and method for detecting a vehicle in night time
CN110942449A (zh) * 2019-10-30 2020-03-31 华南理工大学 一种基于激光与视觉融合的车辆检测方法
WO2020103533A1 (zh) * 2018-11-20 2020-05-28 中车株洲电力机车有限公司 一种轨道和道路障碍物检测方法
CN111324115A (zh) * 2020-01-23 2020-06-23 北京百度网讯科技有限公司 障碍物位置检测融合方法、装置、电子设备和存储介质
CN111368706A (zh) * 2020-03-02 2020-07-03 南京航空航天大学 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法
CN111582256A (zh) * 2020-04-26 2020-08-25 智慧互通科技有限公司 一种基于雷达和视觉信息的停车管理方法及装置
CN111753757A (zh) * 2020-06-28 2020-10-09 浙江大华技术股份有限公司 一种图像识别处理方法及装置
CN111862157A (zh) * 2020-07-20 2020-10-30 重庆大学 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法
CN112528773A (zh) * 2020-11-27 2021-03-19 深兰科技（上海）有限公司 障碍物信息融合方法、装置、电子设备和存储介质
CN112541416A (zh) * 2020-12-02 2021-03-23 深兰科技（上海）有限公司 跨雷达障碍物跟踪方法、装置、电子设备和存储介质
CN112613381A (zh) * 2020-12-17 2021-04-06 浙江大华技术股份有限公司 一种图像映射方法、装置、存储介质及电子装置
CN112651359A (zh) * 2020-12-30 2021-04-13 深兰科技（上海）有限公司 障碍物检测方法、装置、电子设备和存储介质
CN112766302A (zh) * 2020-12-17 2021-05-07 浙江大华技术股份有限公司 一种图像融合方法、装置、存储介质及电子装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3579013A1 (en) * 2018-06-08 2019-12-11 KPIT Technologies Ltd. System and method for detecting a vehicle in night time
WO2020103533A1 (zh) * 2018-11-20 2020-05-28 中车株洲电力机车有限公司 一种轨道和道路障碍物检测方法
CN110363158A (zh) * 2019-07-17 2019-10-22 浙江大学 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法
CN110942449A (zh) * 2019-10-30 2020-03-31 华南理工大学 一种基于激光与视觉融合的车辆检测方法
CN111324115A (zh) * 2020-01-23 2020-06-23 北京百度网讯科技有限公司 障碍物位置检测融合方法、装置、电子设备和存储介质
CN111368706A (zh) * 2020-03-02 2020-07-03 南京航空航天大学 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法
CN111582256A (zh) * 2020-04-26 2020-08-25 智慧互通科技有限公司 一种基于雷达和视觉信息的停车管理方法及装置
CN111753757A (zh) * 2020-06-28 2020-10-09 浙江大华技术股份有限公司 一种图像识别处理方法及装置
CN111862157A (zh) * 2020-07-20 2020-10-30 重庆大学 一种机器视觉与毫米波雷达融合的多车辆目标跟踪方法
CN112528773A (zh) * 2020-11-27 2021-03-19 深兰科技（上海）有限公司 障碍物信息融合方法、装置、电子设备和存储介质
CN112541416A (zh) * 2020-12-02 2021-03-23 深兰科技（上海）有限公司 跨雷达障碍物跟踪方法、装置、电子设备和存储介质
CN112613381A (zh) * 2020-12-17 2021-04-06 浙江大华技术股份有限公司 一种图像映射方法、装置、存储介质及电子装置
CN112766302A (zh) * 2020-12-17 2021-05-07 浙江大华技术股份有限公司 一种图像融合方法、装置、存储介质及电子装置
CN112651359A (zh) * 2020-12-30 2021-04-13 深兰科技（上海）有限公司 障碍物检测方法、装置、电子设备和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
GAO, F (GAO FEI) ; MA, F (MA FEI) ; LUO, XL (LUO XILING); WANG, J (WANG JUN) ; SUN, JP (SUN JINPING): "Hierarchical Feature-Based Detection Method for SAR Targets Under Complex Environment", CHINESE JOURNAL OF ELECTRONICS, vol. 26, no. 3, 31 May 2017 (2017-05-31), XP006072295, DOI: 10.1049/cje.2017.04.012 *
ZHOU, Y (ZHOU, YI) ; WANG, T (WANG, TIAN) ; HU, RH (HU, RONGHUA) ; SU, H (SU, HANG) ; LIU, Y (LIU, YI) ; LIU, XM (LIU, XIAOMING: "Multiple Kernelized Correlation Filters (MKCF) for Extended Object Tracking Using X-Band Marine Radar Data", IEEE TRANSACTIONS ON SIGNAL PROCESSING, vol. 67, no. 14, 27 June 2019 (2019-06-27) *
何勇;蒋浩;方慧;王宇;刘羽飞: "车辆智能障碍物检测方法及其农业应用研究进展", 农业工程学报, vol. 34, no. 09, 8 May 2018 (2018-05-08) *
胡延平，刘菲，魏振亚，赵林峰: "毫米波雷达与视觉传感器信息融合的车辆跟踪", 中国机械工程, vol. 32, no. 18, 12 November 2020 (2020-11-12) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023083164A1 (zh) * 2021-11-12 2023-05-19 北京万集科技股份有限公司 目标追踪方法、信号融合方法、装置、终端和存储介质

Similar Documents

Publication Publication Date Title
CN109658454B (zh) 一种位姿信息确定方法、相关装置及存储介质
CN111753757B (zh) 一种图像识别处理方法及装置
CN111222395A (zh) 目标检测方法、装置与电子设备
CN110991506B (zh) 一种车辆品牌识别方法、装置、设备及存储介质
CN111866468B (zh) 对象跟踪分配方法、装置、存储介质及电子装置
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN112364843A (zh) 插拔式航拍图像目标定位检测方法、系统、设备
CN111899279A (zh) 一种目标对象的运动速度检测方法及装置
CN110796135A (zh) 目标的定位方法及装置、计算机设备、计算机存储介质
CN114611635B (zh) 一种对象的识别方法、装置、存储介质及电子装置
CN111736190B (zh) 一种无人机机载目标检测系统及方法
CN112434715A (zh) 基于人工智能的目标识别方法、装置及存储介质
CN112613381A (zh) 一种图像映射方法、装置、存储介质及电子装置
CN115331151A (zh) 一种视频测速方法、装置、电子设备和存储介质
CN113469130A (zh) 一种遮挡目标检测方法、装置、存储介质及电子装置
CN112631333B (zh) 无人机的目标跟踪方法、装置及图像处理芯片
CN113505720A (zh) 图像处理方法及装置、存储介质、电子装置
CN113077018A (zh) 一种目标对象识别方法、装置、存储介质及电子装置
CN112585944A (zh) 跟随方法、可移动平台、装置和存储介质
CN116363628A (zh) 标志检测方法、装置、非易失性存储介质及计算机设备
CN115830342A (zh) 检测框的确定方法、装置、存储介质及电子装置
CN112396630A (zh) 目标对象状态的确定方法、装置、存储介质及电子装置
CN114782496A (zh) 一种对象的跟踪方法、装置、存储介质及电子装置
CN115249407B (zh) 指示灯状态识别方法、装置、电子设备、存储介质及产品
CN111932584B (zh) 图像中运动对象的确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination