CN111856445B - 一种目标检测方法、装置、设备及系统 - Google Patents
一种目标检测方法、装置、设备及系统 Download PDFInfo
- Publication number
- CN111856445B CN111856445B CN201910289114.5A CN201910289114A CN111856445B CN 111856445 B CN111856445 B CN 111856445B CN 201910289114 A CN201910289114 A CN 201910289114A CN 111856445 B CN111856445 B CN 111856445B
- Authority
- CN
- China
- Prior art keywords
- target
- candidate
- candidate target
- feature
- visible light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本发明实施例提供了一种目标检测方法、装置、设备及系统，方法包括：将可见光图像中检测出的目标与基于雷达数据检测出的目标进行匹配，匹配成功后再对两种目标进行特征提取及特征融合，基于融合后的特征判断检测出的目标是否为误检目标；可见，本方案中，结合可见光图像及雷达数据两方面进行目标检测，两种数据(相比于一种数据)携带的特征更丰富，利用从这两种数据中提取出的特征进行目标检测的准确度更高，而且基于可见光图像及雷达数据识别误检目标，降低了目标误检率，进一步提高了检测准确度。
Description
技术领域
本发明涉及目标检测技术领域，特别是涉及一种目标检测方法、装置、设备及系统。
背景技术
一些场景中，图像采集设备采集到可见光图像后，可以在可见光图像中检测出人员、车辆、障碍物等目标。另一些场景中，可以通过雷达检测人员、车辆、障碍物等目标。
通过可见光图像检测目标的方式易受环境因素影响，比如，光照较差的环境下，如夜晚或阴雨天，采集的可见光图像清晰度较差，因而检测结果的准确度也较差。而通过雷达检测目标的方式，噪声较大，漏检率、误检率较高，检测结果准确度较差。
发明内容
本发明实施例的目的在于提供一种目标检测方法、装置、设备及系统，以提高检测准确度。
为达到上述目的，本发明实施例提供了一种目标检测方法，包括：
获取可见光图像及雷达数据，所述雷达数据中包括雷达图像；
检测所述可见光图像中的目标，作为第一候选目标；以及基于所述雷达数据检测第二候选目标；
将所述第一候选目标与所述第二候选目标进行匹配；
若匹配成功，提取所述可见光图像中的第一候选目标的特征，作为第一目标特征，提取所述雷达图像中的第二候选目标的特征，作为第二目标特征；
将所述第一目标特征与所述第二目标特征进行特征融合，得到第一融合后的特征；
基于所述第一融合后的特征，对所述第一候选目标和/或所述第二候选目标进行误检识别。
可选的，所述将所述第一候选目标与所述第二候选目标进行匹配，包括：
将所述第一候选目标与所述第二候选目标转换到同一坐标系；
在所述同一坐标系中，判断所述第一候选目标的位置与所述第二候选目标的位置之间的距离是否小于预设距离阈值；
如果小于，确定所述第一候选目标与所述第二候选目标匹配成功。
可选的，所述方法还包括：
通过对所述可见光图像中的第一候选目标进行跟踪，得到所述第一候选目标的速度，作为第一速度；
基于所述雷达数据确定第二候选目标的速度，作为第二速度；
判断所述第一速度与所述第二速度的差值是否小于预设速度差阈值；
所述如果小于，确定所述第一候选目标与所述第二候选目标匹配成功，包括：
若所述第一候选目标的位置与所述第二候选目标的位置之间的距离小于预设距离阈值、并且所述第一速度与所述第二速度的差值小于预设速度差阈值，则确定所述第一候选目标与所述第二候选目标匹配成功。
可选的，所述将所述第一候选目标与所述第二候选目标进行匹配，包括：
将所述第一候选目标与所述第二候选目标进行时间戳对齐；
将时间戳相同的第一候选目标与第二候选目标进行匹配。
可选的，所述方法还包括：
根据相机与雷达之间的标定数据，将未匹配成功的第二候选目标映射至所述可见光图像中；其中，所述相机为采集所述可见光图像的相机；所述雷达为采集所述雷达数据的雷达；
根据映射结果确定所述可见光图像中漏检的第一候选目标；
提取所述可见光图像中、所述漏检的第一候选目标的特征，作为第三目标特征，提取所述雷达图像中、所述未匹配成功的第二候选目标的特征，作为第四目标特征；
将所述第三目标特征与所述第四目标特征进行特征融合，得到第二融合后的特征；
基于所述第二融合后的特征，对所述未匹配成功的第二候选目标和/或所述漏检的第一候选目标进行误检识别。
可选的，所述提取所述可见光图像中的第一候选目标的特征，作为第一目标特征，提取所述雷达图像中的第二候选目标的特征，作为第二目标特征，包括：
将可见光图像中的第一候选目标和雷达图像中的第二候选目标输入至预先训练得到的神经网络模型；
利用所述神经网络模型中的第一层级对所述第一候选目标进行特征提取，得到第一目标特征；以及利用所述神经网络模型中的第二层级对所述第二候选目标进行特征提取，得到第二目标特征；
所述将所述第一目标特征与所述第二目标特征进行特征融合，得到第一融合后的特征，包括：
利用所述神经网络模型中的第三层级，对所述第一目标特征和所述第二目标特征进行融合，得到第一融合后的特征；
所述基于所述第一融合后的特征，对所述第一候选目标和/或所述第二候选目标进行误检识别，包括：
利用所述神经网络模型中的第四层级，对所述第一融合后的特征进行分类，得到所述第一候选目标和/或所述第二候选目标是否为误检目标的分类结果。
为达到上述目的，本发明实施例还提供了一种目标检测装置，包括：
获取模块，用于获取可见光图像及雷达数据，所述雷达数据中包括雷达图像；
检测模块，用于检测所述可见光图像中的目标，作为第一候选目标；以及基于所述雷达数据检测第二候选目标；
匹配模块，用于将所述第一候选目标与所述第二候选目标进行匹配；如果匹配成功，触发特征融合模块；
特征融合模块，用于提取所述可见光图像中的第一候选目标的特征，作为第一目标特征，提取所述雷达图像中的第二候选目标的特征，作为第二目标特征；将所述第一目标特征与所述第二目标特征进行特征提取及特征融合，得到第一融合后的特征；
误检识别模块，用于基于所述第一融合后的特征，对所述第一候选目标和/或所述第二候选目标进行误检识别。
可选的，所述匹配模块，具体用于：
将所述第一候选目标与所述第二候选目标转换到同一坐标系；
在所述同一坐标系中，判断所述第一候选目标的位置与所述第二候选目标的位置之间的距离是否小于预设距离阈值；
如果小于，确定所述第一候选目标与所述第二候选目标匹配成功。
可选的，所述装置还包括：
跟踪模块，用于通过对所述可见光图像中的第一候选目标进行跟踪，得到所述第一候选目标的速度，作为第一速度；基于所述雷达数据确定第二候选目标的速度，作为第二速度；
判断模块，用于判断所述第一速度与所述第二速度的差值是否小于预设速度差阈值；
所述匹配模块还用于：在所述第一候选目标的位置与所述第二候选目标的位置之间的距离小于预设距离阈值、并且所述第一速度与所述第二速度的差值小于预设速度差阈值的情况下，确定所述第一候选目标与所述第二候选目标匹配成功。
可选的，所述匹配模块，具体用于：
将所述第一候选目标与所述第二候选目标进行时间戳对齐；
将时间戳相同的第一候选目标与第二候选目标进行匹配。
可选的，所述装置还包括：映射模块和确定模块，其中，
所述映射模块，用于根据相机与雷达之间的标定数据，将未匹配成功的第二候选目标映射至所述可见光图像中；其中，所述相机为采集所述可见光图像的相机；所述雷达为采集所述雷达数据的雷达；
所述确定模块，用于根据映射结果确定所述可见光图像中漏检的第一候选目标；
所述特征融合模块，还用于提取所述可见光图像中、所述漏检的第一候选目标的特征，作为第三目标特征，提取所述雷达图像中、所述未匹配成功的第二候选目标的特征，作为第四目标特征；将所述第三目标特征与所述第四目标特征进行特征融合，得到第二融合后的特征；
所述误检识别模块，还用于基于所述第二融合后的特征，对所述未匹配成功的第二候选目标和/或所述漏检的第一候选目标进行误检识别。
可选的，所述特征融合模块，具体用于：
将可见光图像中的第一候选目标和雷达图像中的第二候选目标输入至预先训练得到的神经网络模型；
利用所述神经网络模型中的第一层级对所述第一候选目标进行特征提取，得到第一目标特征；以及利用所述神经网络模型中的第二层级对所述第二候选目标进行特征提取，得到第二目标特征；
利用所述神经网络模型中的第三层级，对所述第一目标特征和所述第二目标特征进行融合，得到第一融合后的特征；
所述误检识别模块，具体用于：
利用所述神经网络模型中的第四层级，对所述第一融合后的特征进行分类，得到所述第一候选目标和/或所述第二候选目标是否为误检目标的分类结果。
为达到上述目的，本发明实施例还提供了一种电子设备，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一种目标检测方法。
为达到上述目的，本发明实施例还提供了一种目标检测系统，包括：相机、雷达和检测设备；其中，所述相机与所述雷达针对同一场景进行数据采集；
所述检测设备，用于获取所述相机采集的可见光图像、以及通过所述雷达获取雷达数据，所述雷达数据中包括雷达图像；检测所述可见光图像中的目标，作为第一候选目标；以及基于所述雷达数据检测第二候选目标；将所述第一候选目标与所述第二候选目标进行匹配；若匹配成功，提取所述可见光图像中的第一候选目标的特征，作为第一目标特征，提取所述雷达图像中的第二候选目标的特征，作为第二目标特征；将所述第一目标特征与所述第二目标特征进行特征融合，得到第一融合后的特征；基于所述第一融合后的特征，对所述第一候选目标和/或所述第二候选目标进行误检识别。
为达到上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种目标检测方法。
应用本发明实施例，将可见光图像中检测出的目标与基于雷达数据检测出的目标进行匹配，匹配成功后再对两种目标进行特征提取及特征融合，基于融合后的特征判断检测出的目标是否为误检目标；可见，本方案中，结合可见光图像及雷达数据两方面进行目标检测，两种数据(相比于一种数据)携带的特征更丰富，利用从这两种数据中提取出的特征进行目标检测的准确度更高，而且基于可见光图像及雷达数据识别误检目标，降低了目标误检率，进一步提高了检测准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的目标检测方法的第一种流程示意图；
图2为本发明实施例提供的目标检测方法的第二种流程示意图；
图3为本发明实施例提供的一种虚拟装置的结构示意图；
图4为本发明实施例提供的一种图像处理模块的结构示意图；
图5为本发明实施例提供的一种雷达处理模块的结构示意图；
图6为本发明实施例提供的一种目标匹配流程示意图；
图7为本发明实施例提供的一种特征提取、融合、分类流程示意图；
图8为本发明实施例提供的一种目标检测装置的结构示意图；
图9为本发明实施例提供的一种电子设备的结构示意图；
图10为本发明实施例提供的一种目标检测系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了解决上述技术问题，本发明实施例提供了一种目标检测方法、装置、设备及系统。该方法及装置可以应用于车载设备，也可以应用于手机、电脑等各种电子设备，具体不做限定。下面先对本发明实施例提供的目标检测方法进行详细介绍。
图1为本发明实施例提供的目标检测方法的第一种流程示意图，包括：
S101：获取可见光图像及雷达数据，雷达数据中包括雷达图像。
举例来说，如果执行主体为车载设备，车载设备可以与车载相机、车载雷达通信连接，车载设备可以通过车载相机获取可见光图像，通过车载雷达获取雷达数据。或者，车载设备中可以包括相机组件和雷达组件，车载设备通过相机组件获取可见光图像，通过雷达组件获取雷达数据。或者，执行主体也可以为其他电子设备，该电子设备获取相机采集的可见光图像、以及通过雷达获取雷达数据。为了方便描述，以下内容中将执行主体称为电子设备。
一种情况下，雷达数据可以包括原始数据和功率分布图。比如，雷达可以发射调制连续波，之后雷达可以接收到该调制连续波经反射后的回波信号；然后雷达可以对该回波信号进行采样处理，得到数据块，该数据块即可以理解为上述原始数据。
一种实施方式中，电子设备可以获取雷达发送的原始数据；利用傅利叶转换算法对所述原始数据进行转换处理，得到功率分布图，得到包括所述原始数据和所述功率分布图的雷达数据。
举例来说，雷达将上述原始数据发送至电子设备，电子设备可以利用傅利叶转换算法、FFT(Fast Fourier Transformation，快速傅氏变换)算法等，对原始数据进行时频转换，得到能够表达距离速度的功率分布图，或者称为距离速度功率分布图。
举例来说，该功率分布图中像素点的颜色表示功率大小，背景物的功率为0，颜色可以为蓝色，运动目标的功率较大，可以为红色，等等，具体的功率分布图不做限定。
S101中获取的可见光图像可以为连续的视频帧图像，或者也可以为单帧图像，S101中获取的雷达数据可以为连续的雷达数据，或者也可以为单帧雷达数据。S101中获取的可见光图像与雷达数据针对的场景相同。
S102：检测可见光图像中的目标，作为第一候选目标；以及基于雷达数据检测第二候选目标。
举例来说，检测的目标可以为车辆、障碍物、人员等等，具体不做限定。由于S102中检测到的目标可能为误检目标，并不是最终的检测结果，因此将S102中检测得到的目标称为候选目标。
对于可见光图像来说，如果S101中获取到的可见光图像为单帧图像，可以利用目标检测算法，检测可见光图像中的目标，为了方便描述，将基于可见图像检测到的目标称为第一候选目标。通过检测可以在可见光图像中得到目标框。
如果S101中获取到的可见光图像为连续的视频帧图像，可以先利用目标检测算法，对可见光图像进行检测，得到可见光图像中的目标框；然后再基于相机的标定数据，利用单目测距、单目跟踪等算法，或者利用其他目标跟踪算法，对连续视频帧图像中的第一候选目标进行跟踪。通过对第一候选目标进行跟踪，可以得到第一候选目标的速度，为了方便描述，将该速度称为第一速度。
对于雷达数据来说，可以通过恒虚警率(CFAR，Constant False-Alarm Rate)检测、聚类或非极大值抑制(NMS，Non-Maximum Suppression)、参数解算等步骤，对上述原始数据进行处理，得到第二候选目标的位置、速度和角度等信息。为了方便描述，将基于雷达数据检测到的目标称为第二候选目标，将第二候选目标的速度称为第二速度。
或者，另一种情况下，可以采用卡尔曼滤波跟踪算法，对第二候选目标进行跟踪，得到第二候选目标的位置、速度和角度等信息。采用卡尔曼滤波跟踪算法，可以抑制检测出的虚假目标，提高目标的检测准确度。
S103：将第一候选目标与第二候选目标进行匹配。若匹配成功，则执行S104。
如上所述，S101中获取的可见光图像与雷达数据针对的场景相同，理想情况下，可见光图像中检测出的第一候选目标与基于雷达数据检测出的第二候选目标应当一一对应。
举例来说，假设相机与雷达都位于场景A中，场景A中存在三个目标：目标1、目标2和目标3，获取相机针对场景A采集的可见光图像，并通过雷达获取到雷达数据。对可见光图像进行目标检测，假设存在漏检的情况，只检测到了两个第一候选目标：目标1和目标2。基于雷达数据进行目标检测，假设存在误检的情况，检测到了四个第二候选目标：目标1、目标2、目标3和目标4，目标4为误检目标。
将可见光图像中检测到的两个第一候选目标，与基于雷达数据检测到的四个第二候选目标进行匹配。
一种实施方式中，S103可以包括：将所述第一候选目标与所述第二候选目标转换到同一坐标系；在所述同一坐标系中，判断所述第一候选目标的位置与所述第二候选目标的位置之间的距离是否小于预设距离阈值；如果小于，确定所述第一候选目标与所述第二候选目标匹配成功。
延续上述例子，对本实施方式进行举例说明。可以先将可见光图像中检测到的两个第一候选目标、以及基于雷达数据检测到的四个第二候选目标转换到同一坐标系中。然后，假设先对第一候选目标中的目标1进行处理，分别判断第一候选目标中的目标1的位置与四个第二候选目标的位置之间的距离是否小于预设距离阈值。假设第一候选目标中的目标1的位置与第二候选目标中的目标1的位置之间的距离小于预设距离阈值，第一候选目标中的目标1的位置与其他三个第二候选目标的位置之间的距离均不小于预设距离阈值，这表示第一候选目标中的目标1与第二候选目标中的目标1匹配成功。
假设再对第一候选目标中的目标2进行处理，分别判断第一候选目标中的目标2的位置与四个第二候选目标的位置之间的距离是否小于预设距离阈值。假设第一候选目标中的目标2的位置与第二候选目标中的目标2的位置之间的距离小于预设距离阈值，第一候选目标中的目标2的位置与其他三个第二候选目标的位置之间的距离均不小于预设距离阈值，这表示第一候选目标中的目标2与第二候选目标中的目标2匹配成功。
第一候选目标匹配完毕，可以认为匹配过程结束。或者，另一种情况下，也可以分别对四个第二候选目标进行匹配，处理过程类似，不再赘述。
一些相关方案中，将可见光图像和雷达数据转换至同一坐标系中，也就是将可见光图像中的每个像素点、雷达数据中的每个坐标点都进行坐标转换，这样计算量很大，而且转换的准确度较差；而本实施方式中，仅将可见光图像中的部分区域、雷达数据中的部分数据，也就是第一候选目标所在的图像区域和第二候选目标的相关雷达数据进行坐标转换，减少了计算量，并且提高了转换的准确度。
另一种实施方式中，所述方法还包括：通过对所述可见光图像中的第一候选目标进行跟踪，得到所述第一候选目标的速度，作为第一速度；基于所述雷达数据确定第二候选目标的速度，作为第二速度；判断所述第一速度与所述第二速度的差值是否小于预设速度差阈值。这种实施方式中，若所述第一候选目标的位置与所述第二候选目标的位置之间的距离小于预设距离阈值、并且所述第一速度与所述第二速度的差值小于预设速度差阈值，则确定所述第一候选目标与所述第二候选目标匹配成功。
如上所述，如果S101中获取到的可见光图像为连续的视频帧图像，可以基于相机的标定数据，利用单目测距、单目跟踪等算法，或者利用其他一些目标跟踪算法，对连续视频帧图像中的第一候选目标进行跟踪，得到第一候选目标的速度，作为第一速度。另外，可以通过恒虚警率检测、聚类或非极大值抑制、参数解算等步骤，对雷达发送的原始数据进行处理，得到第二候选目标的速度，称为第二速度；或者采用卡尔曼滤波跟踪算法，得到第二候选目标的速度，称为第二速度。
这样，便可以基于目标的位置和速度两方面来进行目标匹配。举例来说，一种情况下，可以基于目标的速度，判断目标是静态目标还是动态目标。比如，如果第一候选目标的位置与第二候选目标的位置之间的距离小于预设距离阈值、并且第一候选目标与第二候选目标均为静态目标，则可以认为该第一候选目标与第二候选目标匹配成功。再比如，如果第一候选目标的位置与第二候选目标的位置之间的距离小于预设距离阈值，但第一候选目标为静态目标，第二候选目标为动态目标，则认为该第一候选目标与第二候选目标匹配不成功。
或者，另一种情况下，可以更精确的确定目标速度，并设定速度差阈值。比如，如果第一候选目标的位置与第二候选目标的位置之间的距离小于预设距离阈值、并且第一速度与所述第二速度的差值小于预设速度差阈值，则可以认为该第一候选目标与第二候选目标匹配成功。再比如，如果第一候选目标的位置与第二候选目标的位置之间的距离小于预设距离阈值，但第一速度与第二速度的差值不小于预设速度差阈值，则认为该第一候选目标与第二候选目标匹配不成功。
举例来说，假设第一候选目标有N个，可以将第一候选目标表示为
j表示第一候选目标的序号，Vj表示第j个第一候选目标；第二候选目标有M个，可以将第二候选目标表示为/>
i表示第二候选目标的序号，Ri表示第i个第二候选目标；M和N均为正整数。匹配过程可以理解为寻找第一候选目标与第二候选目标之间的匹配关系{{Ri，Vj}k}，k表示匹配成功的目标对的序号，一个目标对包括一个第一候选目标和一个第二候选目标，{Ri，Vj}表示第k个目标对。
一种情况下，可以根据第一候选目标的位置与第二候选目标的位置之间的距离、以及第一速度与第二速度的差值，构造代价函数；基于该代价函数，构建第一候选目标与第二候选目标两两匹配的代价矩阵；采用匈牙利算法求解该代价矩阵，得到最优的匹配结果，也就是得到第一候选目标与第二候选目标之间的匹配关系{{Ri，Vj}k}。
一种实施方式中，可以将第一候选目标与第二候选目标进行时间戳对齐；这样，S103可以包括：将时间戳相同的第一候选目标与第二候选目标进行匹配。
本实施方式中，可以先对第一候选目标和第二候选目标进行时间戳对齐处理，再对第一候选目标和第二候选目标进行匹配，这样可以提高匹配准确度。
举例来说，电子设备(执行主体)可以判断接收到的相机发送的数据与雷达发送的数据在时间上是否同步，如果同步，则针对同一时刻的可见光图像和雷达数据，将基于该可见光图像检测到的第一候选目标与基于该雷达数据检测到的第二候选目标进行匹配。如果不同步，可以对雷达和相机进行同步配置，或者也可以在不同步的可见光图像及雷达数据中，确定时间戳相同的可见光图像及雷达数据，然后再针对时间戳相同的可见光图像和雷达数据，将基于该可见光图像检测到的第一候选目标与基于该雷达数据检测到的第二候选目标进行匹配。
S104：提取可见光图像中的第一候选目标的特征，作为第一目标特征，提取雷达图像中的第二候选目标的特征，作为第二目标特征。
如上所述，S101中获取到的雷达数据中包括雷达图像，可以对可见光图像和雷达图像这两种图像进行特征提取。
举例来说，可以采用颜色直方图、小波变换、不变矩等各种算法，对目标进行特征提取，或者，也可以采用深度学习算法，对目标进行特征提取，具体算法不做限定。为了方便描述，将从第一候选目标中提取得到的特征称为第一目标特征，将从第二候选目标中提取得到的特征称为第二目标特征。
S105：将第一目标特征与第二目标特征进行特征融合，得到第一融合后的特征。
然后对第一目标特征和第二目标特征进行融合，得到第一融合后的特征。举例来说，可以对第一目标特征和第二目标特征进行加权融合，或者，也可以利用神经网络模型中的融合层级对第一目标特征和第二目标特征进行融合，具体融合方式不做限定。
S106：基于第一融合后的特征，对第一候选目标和/或第二候选目标进行误检识别。
对第一候选目标和/或第二候选目标进行误检识别，也就是判断第一候选目标和/或第二候选目标是否为误检目标。基于S106的识别结果，可以将检测结果中的误检目标剔除，提高目标检测的准确度。
一种情况下，可以利用预先训练得到的分类模型，对第一融合后的特征进行分类处理，分类结果可以包括：是误检目标、不是误检目标。这样，便可以根据分类结果识别误检目标。或者，分类结果也可以进一步包括具体的目标种类，比如，目标是车辆还是障碍物，等等，具体分类结果不做限定。
一种实施方式中，如果S103中存在未匹配成功的第二候选目标，则可以根据相机与雷达之间的标定数据，将未匹配成功的第二候选目标映射至所述可见光图像中；其中，所述相机为采集所述可见光图像的相机；所述雷达为采集所述雷达数据的雷达；根据映射结果确定所述可见光图像中漏检的第一候选目标；提取所述可见光图像中、所确定的漏检的第一候选目标的特征，作为第三目标特征，提取所述雷达图像中、所述未匹配成功的第二候选目标的特征，作为第四目标特征；将所述第三目标特征与所述第四目标特征进行特征融合，得到第二融合后的特征；基于所述第二融合后的特征，对所述未匹配成功的第二候选目标和/或所确定的漏检的第一候选目标进行误检识别。
对所述未匹配成功的第二候选目标和/或所确定的漏检的第一候选目标进行误检识别，也就是判断所述未匹配成功的第二候选目标和/或所确定的漏检的第一候选目标是否为误检目标。
由于环境因素影响，可见光图像中可能存在漏检目标。延续上述例子，对可见光图像进行目标检测，存在漏检的情况，只检测到了两个第一候选目标：目标1和目标2；存在误检的情况，检测到了四个第二候选目标：目标1、目标2、目标3和目标4，目标4为误检目标。这种情况下，存在两个未匹配成功的第二候选目标：目标3和目标4。
如果采用本实施方式，则根据相机与雷达之间的标定数据，将这两个未匹配成功的第二候选目标(目标3和目标4)映射至可见光图像中，可以根据映射结果对可见光图像中的相应区域重新进行检测。举例来说，重新检测时可以降低置信度阈值，以重新确定漏检的第一候选目标。经重新检测，在可见光图像中确定出了漏检的第一候选目标：目标3，这种情况下，可以将“未匹配成功的第二候选目标：目标3”和“可见光图像中确定出的漏检的第一候选目标：目标3”组成一个匹配成功的目标对，针对这一目标对进行特征提取、特征融合及分类处理，处理过程与上面内容类似，这里不再赘述。
应用本实施方式，将未匹配成功的第二候选目标映射至可见光图像中，并根据映射结果确定可见光图像中漏检的第一候选目标，这样，减少了可见光图像中的漏检情况。
一种实施方式中，可以采用神经网络模型进行特征提取、特征融合及分类处理。比如，可以将可见光图像中的第一候选目标和雷达图像中的第二候选目标输入至预先训练得到的神经网络模型；利用所述神经网络模型中的第一层级对所述第一候选目标进行特征提取，得到第一目标特征；以及利用所述神经网络模型中的第二层级对所述第二候选目标进行特征提取，得到第二目标特征；利用所述神经网络模型中的第三层级，对所述第一目标特征和所述第二目标特征进行融合，得到第一融合后的特征；利用所述神经网络模型中的第四层级，对所述第一融合后的特征进行分类，得到所述第一候选目标和/或所述第二候选目标是否为误检目标的分类结果。
本实施方式中，神经网络模型中包括四个层级，或者也可以认为包括四个子神经网络模型。
相比于可见光图像，雷达图像更直观，一种情况下，可以利用复杂度较高的网络结构对可见光图像中的第一候选目标进行处理，利用复杂度较低的网络结构对雷达图像中的第二候选目标进行处理，这样的网络结构更合理，特征提取效果更佳。举例来说，第一层级可以采用Resnet(residual-net，残差网络)50的网络结构，第二层级可以采用Resnet18的网络结构。Resnet的网络结构中引入了残差，具有较好的分类性能。
举例来说，可以在Resnet网络中进行全局平均池化(Avgpooling)之前，对第一目标特征和所述第二目标特征进行连接(concat)处理，也就是进行特征融合。
将第一融合后的特征输入第四层级，第四层级可以理解为一个分类器，输出分类结果。分类结果可以包括：是误检目标、不是误检目标。这样，便可以根据分类结果识别误检目标。或者，分类结果也可以进一步包括具体的目标种类，比如，目标是车辆还是障碍物，等等，具体分类结果不做限定。
一种情况，在得到分类结果后，可以基于分类结果，对神经网络模型进行校正，以得到更准确的神经网络模型。
上述实施方式中，将“未匹配成功的第二候选目标”和“可见光图像中确定出的漏检的第一候选目标”也组成了匹配成功的目标对，这样，也可以将该目标对输入至预先训练得到的神经网络模型。
也就是将“可见光图像中确定出的漏检的第一候选目标”和雷达图像中的“未匹配成功的第二候选目标”输入至预先训练得到的神经网络模型；利用所述神经网络模型中的第一层级对该漏检的第一候选目标进行特征提取，得到第三目标特征；以及利用所述神经网络模型中的第二层级对该未匹配成功的第二候选目标进行特征提取，得到第四目标特征；利用所述神经网络模型中的第三层级，对所述第三目标特征和所述第四目标特征进行融合，得到第二融合后的特征；利用所述神经网络模型中的第四层级，对所述第二融合后的特征进行分类，得到“未匹配成功的第二候选目标”和“可见光图像中确定出的漏检的第一候选目标”是否为误检目标的分类结果。
利用神经网络模型对“可见光图像中确定出的漏检的第一候选目标”和雷达图像中的“未匹配成功的第二候选目标”的处理过程、与对匹配成功的第一候选目标和第二候选目标的处理过程类似，这里不再赘述。
应用本发明图1所示实施例，将可见光图像中检测出的目标与基于雷达数据检测出的目标进行匹配，匹配成功后再对两种目标进行特征提取及特征融合，基于融合后的特征判断检测出的目标是否为误检目标；可见，本方案中，结合可见光图像及雷达数据两方面进行目标检测，两种数据(相比于一种数据)携带的特征更丰富，利用从这两种数据中提取出的特征进行目标检测的准确度更高，而且基于可见光图像及雷达数据识别误检目标，降低了目标误检率，进一步提高了检测准确度。
图2为本发明实施例提供的目标检测方法的第二种流程示意图，包括：
S201：获取相机采集的可见光图像及雷达发送的原始数据。
一种情况下，雷达数据可以包括原始数据和功率分布图。比如，雷达可以发射调制连续波，之后雷达可以接收到该调制连续波经反射后的回波信号；然后雷达可以对该回波信号进行采样处理，得到数据块，该数据块即可以理解为该原始数据。雷达将该原始数据发送至电子设备(执行主体)。
S201中获取的可见光图像可以为连续的视频帧图像，或者也可以为单帧图像，S201中获取的原始数据可以为连续的数据，或者也可以为单帧原始数据。S201中获取的可见光图像与S201中获取的原始数据针对的场景相同。
S202：利用傅利叶转换算法对该原始数据进行转换处理，得到功率分布图，作为雷达图像。
举例来说，雷达将上述原始数据发送至电子设备，电子设备可以利用傅利叶转换算法、FFT(Fast Fourier Transformation，快速傅氏变换)算法等，对原始数据进行时频转换，得到能够表达距离速度的功率分布图，或者称为距离速度功率分布图。
举例来说，雷达图像可以为功率分布图，比如，该功率分布图中像素点的颜色表示功率大小，背景物的功率为0，颜色可以为蓝色，运动目标的功率较大，可以为红色，等等，具体的功率分布图不做限定。
S203：检测可见光图像中的第一候选目标，并对第一候选目标进行跟踪，得到第一速度；以及基于雷达数据确定第二候选目标的速度，作为第二速度。
举例来说，检测的目标可以为车辆、障碍物等等，具体不做限定。由于S203中检测到的目标可能为误检目标，并不是最终的检测结果，因此将S203中检测得到的目标称为候选目标。
对于可见光图像来说，S201中获取到的可见光图像可以为连续的视频帧图像，可以先利用目标检测算法，对每帧可见光图像进行检测，得到每帧可见光图像中的目标框；然后再基于相机的标定数据，利用单目测距、单目跟踪等算法，或者利用其他一些目标跟踪算法，对连续视频帧图像中的第一候选目标进行跟踪。通过对第一候选目标进行跟踪，可以得到第一候选目标的速度，为了方便描述，将该速度称为第一速度。
对于雷达数据来说，可以通过恒虚警率(CFAR，Constant False-Alarm Rate)检测、聚类或非极大值抑制(NMS，Non-Maximum Suppression)、参数解算等步骤，对该原始数据进行处理，得到第二候选目标的位置、速度和角度等信息，为了方便描述，将第二候选目标的速度称为第二速度。
或者，另一种情况下，可以采用卡尔曼滤波跟踪算法，对第二候选目标进行跟踪，得到第二候选目标的位置、速度和角度等信息。采用卡尔曼滤波跟踪算法，可以抑制检测出的虚假目标，提高目标的检测准确度。
S204：将第一候选目标与第二候选目标进行时间戳对齐，并将第一候选目标与第二候选目标转换到同一坐标系。
S204可以理解为对第一候选目标与第二候选目标进行数据对齐，该对齐包括时间上的对齐和空间上的对齐。
时间上的对齐也就是时间戳对齐，比如，电子设备(执行主体)可以判断接收到的相机发送的数据与雷达发送的数据在时间上是否同步，如果同步，则继续执行后续步骤。如果不同步，可以对雷达和相机进行同步配置，然后再执行后续步骤。
空间上的对齐可以包括将第一候选目标与第二候选目标转换到同一坐标系。以车载场景为例来说，可以将第一候选目标与第二候选目标转换到车辆坐标系中。
S205：在该同一坐标系中，判断第一候选目标的位置与第二候选目标的位置之间的距离是否小于预设距离阈值；如果小于，执行S206，如果不小于，表示第一候选目标与第二候选目标匹配不成功，这种情况下，执行S210-S213。
S206：判断第一速度与第二速度的差值是否小于预设速度差阈值；如果小于，表示第一候选目标与第二候选目标匹配成功，这种情况下，执行S207-S209，如果不小于，表示第一候选目标与第二候选目标匹配不成功，这种情况下，执行执行S210-S213。
S205与S206的执行顺序不做限定。
S207：提取可见光图像中的第一候选目标的特征，作为第一目标特征，提取雷达图像中的第二候选目标的特征，作为第二目标特征。
S208：将第一目标特征与第二目标特征进行特征融合，得到第一融合后的特征。
S209：基于第一融合后的特征，对第一候选目标和/或第二候选目标进行误检识别。
对第一候选目标和/或第二候选目标进行误检识别，也就是判断第一候选目标和/或第二候选目标是否为误检目标。
S210：根据相机与雷达之间的标定数据，将未匹配成功的第二候选目标映射至可见光图像中；根据映射结果确定可见光图像中漏检的第一候选目标。
S211：提取可见光图像中该漏检的第一候选目标的特征，作为第三目标特征，提取雷达图像中该未匹配成功的第二候选目标的特征，作为第四目标特征。
S212：将第三目标特征与第四目标特征进行特征融合，得到第二融合后的特征。
S213：基于第二融合后的特征，对该未匹配成功的第二候选目标和/或该漏检的第一候选目标进行误检识别。
对该未匹配成功的第二候选目标和/或该漏检的第一候选目标进行误检识别，也就是判断该未匹配成功的第二候选目标和/或该漏检的第一候选目标是否为误检目标。
举例来说，可以采用颜色直方图、小波变换、不变矩等各种算法，对目标进行特征提取，或者，也可以采用深度学习算法，对目标进行特征提取，具体算法不做限定。为了方便描述，将从第一候选目标中提取得到的特征称为第一目标特征，将从第二候选目标中提取得到的特征称为第二目标特征。
然后对第一目标特征和第二目标特征进行融合，得到第一融合后的特征。举例来说，可以对第一目标特征和第二目标特征进行加权融合，或者，也可以利用神经网络模型中的融合层级对第一目标特征和第二目标特征进行融合，具体融合方式不做限定。
一种情况下，可以利用预先训练得到的分类模型，对第一融合后的特征进行分类处理，分类结果可以包括：是误检目标、不是误检目标。这样，便可以根据分类结果识别误检目标。或者，分类结果也可以进一步包括具体的目标种类，比如，目标是车辆还是障碍物，等等，具体分类结果不做限定。
基于S209和S213的识别结果，可以将检测结果中的误检目标剔除，提高目标检测的准确度。
应用本发明图2所示实施例，第一方面，结合可见光图像及雷达数据两方面进行目标检测，两种数据(相比于一种数据)携带的特征更丰富，利用从这两种数据中提取出的特征进行目标检测的准确度更高，而且基于可见光图像及雷达数据识别误检目标，降低了目标误检率，进一步提高了检测准确度。第二方面，基于目标的位置和速度两方面来进行目标匹配，提高了匹配准确度。第三方面，对第一候选目标和第二候选目标进行时间上的对齐、并转换至同一坐标系，然后再进行目标的匹配，提高了匹配准确度。第四方面，将未匹配成功的第二候选目标映射至可见光图像中，并根据映射结果确定可见光图像中漏检的第一候选目标，这样，减少了可见光图像中的漏检情况。
下面参考图3-7介绍一种具体的实施方式：
参考图3，电子设备包括图像处理模块、雷达处理模块、数据对齐模块、特征融合模块、检测结果输出模块。图像处理模块与相机通信连接，相机将采集的可见光图像发送至图像处理模块。雷达处理模块与毫米波雷达通信连接，毫米波雷达将采集的原始数据发送至雷达处理模块。
图像处理模块对相机发送的每帧可见光图像进行分析。分析过程可以包括：通过目标检测算法，检测得到车辆或障碍物等目标的目标框。根据相机的标定数据与检测得到的目标框，利用单目测距、单目测速等算法，可以得到目标的位置信息、速度信息等。为了方便描述，将可见图像中检测得到的目标称为第一候选目标，将第一候选目标的速度称为第一速度。
具体来说，参考图4，图像处理模块可以包括：离线训练单元、在线检测单元和第一信息获取单元。
离线训练单元：可以训练得到用于检测可见光图像的检测模型。举例来说，可以采集一些可见光图像样本，对这些可见光图像样本进行人工标定，人工标定可以理解为框选各种目标框。然后基于人工标定过的图像，利用图像检测算法，训练得到检测模型。图像检测算法可以为YOLO(You only look once，你只需看一次)v2(Version2，第二版本)，这种算法的实时性和准确性较佳。
在线检测单元：可以利用离线训练单元训练得到的检测模型，对相机采集到的可见光图像进行实时处理，得到第一候选目标的目标框。
第一信息获取单元：可以根据单目测距、单目测速算法，获取第一候选目标的位置和速度信息(第一速度)。具体来说，可以对在线检测单元检测到的第一候选目标进行跟踪处理，获取第一候选目标的航迹编号；基于该航迹及编号可以得到第一候选目标的位置和第一速度。另外，第一信息获取单元还可以根据相机的标定数据，将第一候选目标的位置和速度信息(第一速度)转换到车辆坐标系，以方便后续进行数据对齐。
雷达处理模块对毫米波雷达将发送的原始数据进行处理，得到功率分布图。举例来说，该功率分布图中像素点的颜色表示功率大小，背景物的功率为0，颜色可以为蓝色，运动目标的功率较大，可以为红色，等等，具体的功率分布图不做限定。
具体来说，参考图5，雷达处理模块可以包括：信号处理单元、目标检测单元和第二信息获取单元。
信号处理单元：可以对毫米波雷达发送的原始数据进行二维FFT(Fast FourierTransformation，快速傅氏变换)运算，剔除杂波，获取距离速度功率分布图。通过恒虚警检测、聚类或非极大值抑制、参数解算等步骤，对该原始数据进行处理，可以得到第二候选目标的位置、速度(第二速度)和角度等信息。
目标跟踪单元：可以采用卡尔曼滤波跟踪算法，对第二候选目标进行跟踪，得到第二候选目标的航迹，基于该航迹可以对上述获取到的第二候选目标的位置、第二速度进行校正。这样，可以抑制检测出的虚假目标，提高目标的检测准确度。
第二信息获取单元：根据毫米波雷达标定参数，可以将上述校正后的第二候选目标的位置、第二速度，转换到车辆坐标系，以方便后续进行数据对齐。
数据对齐模块：可以对上述转换到车辆坐标系的数据(第一候选目标的位置和第一速度、第二候选目标的位置和第二速度)进行对齐处理，以便后续进行融合处理。
一些情况下，由于相机与毫米波雷达的刷新帧率不同，需要将相机相关数据和雷达相关数据进行时间上的对齐处理，其中，相机相关数据包括：上述转换到车辆坐标系的第一候选目标的位置和第一速度，雷达相关数据包括：上述转换到车辆坐标系的第二候选目标的位置和第二速度。另外，数据对齐也可以包括第一候选目标与第二候选目标的匹配过程。
具体的对齐过程可以参考图6：
S601：输入数据为上述转换到车辆坐标系的数据，包括雷达相关数据和相机相关数据，其中，相机相关数据包括：第一候选目标的位置和第一速度，雷达相关数据包括：第二候选目标的位置和第二速度。
S602：判断雷达相关数据和相机相关数据时间上是否同步。
如果毫米波雷达与相机之间存在帧率差异，可能会导致时间不同步。如果时间不同步，可以进行同步配置，然后重新输入雷达相关数据和相机相关数据，也就是重新获得转换至车辆坐标系中的第一候选目标的位置和第一速度，以及第二候选目标的位置和第二速度。如果时间同步，执行S603。
S603：利用匹配算法，对第一候选目标和第二候选目标进行匹配。
举例来说，假设第一候选目标有N个，可以将第一候选目标表示为
j表示第一候选目标的序号，Vj表示第j个第一候选目标；第二候选目标有M个，可以将第二候选目标表示为/>
i表示第二候选目标的序号，Ri表示第i个第二候选目标；M和N均为正整数。匹配过程可以理解为寻找第一候选目标与第二候选目标之间的匹配关系{{Ri，Vj}k}，k表示匹配成功的目标对的序号，一个目标对包括一个第一候选目标和一个第二候选目标，{Ri，Vj}表示第k个目标对。
一种情况下，可以根据第一候选目标的位置与第二候选目标的位置之间的距离、以及第一速度与第二速度的差值，构造代价函数；基于该代价函数，构建第一候选目标与第二候选目标两两匹配的代价矩阵；采用匈牙利算法求解该代价矩阵，得到最优的匹配结果，也就是得到第一候选目标与第二候选目标之间的匹配关系{{Ri，Vj}k}。
S604：针对每个第二候选目标，判断是否存在与该第二候选目标匹配成功的第一候选目标。如果不存在，执行S605；如果存在，执行S606。
S605：根据毫米波雷达和相机联合标定的参数，把未匹配成功的第二候选目标向相机前视图(可见光图像)进行投影，得到可见光图像中的目标框，作为漏检的第一候选目标。
一些情况下，由于可见光图像成像质量不佳、或者检测模型的局限性，可见光图像中可能会存在遗漏的第一候选目标。本步骤中，将未匹配成功的第二候选目标投影到可见光图像中，得到的目标框为可能遗漏的第一候选目标。
S606：输出第一候选目标与第二候选目标的匹配关系。
该匹配关系包括S604中匹配成功的第一候选目标和第二候选目标，也包括S605中未匹配成功的第二候选目标及其投影得到的第一候选目标；该匹配关系可以为经数据对齐后的匹配关系。
特征融合模块：可以对S606中输出的匹配关系中包括的第一候选目标和第二候选目标进行特征提取及融合。
特征融合模块可以包括离线分类训练和在线分类两个过程。首先离线采集相应样本数据，对这些样本数据进行人工标注，利用人工标注后的样本数据训练得到分类模型。然后便可以利用该分类模型对在线采集的数据进行处理，也就是根据S606的输出，对存在匹配关系的第一候选目标和第二候选目标进行处理。
具体处理过程可以参考图7，包括：特征提取、特征融合和分类输出。
特征提取：可以采用颜色直方图、小波变换、不变矩等算法，或者也可以采用深度学习算法，如卷积神经网络(CNN，Convolutional Neural Networks)等，提取可见光图像中的第一候选目标的特征，以及提取雷达图像中的第二候选目标的特征。
一种情况下，可以采用Resnet50的网络结构，对第一候选目标进行特征提取，可以采用Resnet18的网络结构，对第二候选目标进行特征提取。第一方面，Resnet的网络结构中引入了残差，具有较好的分类性能。第二方面，相比于可见光图像，雷达图像更直观，利用复杂度较高的网络结构(Resnet50)对可见光图像中的第一候选目标进行处理，利用复杂度较低的网络结构对雷达图像(Resnet18)的第二候选目标进行处理，这样的网络结构更合理，特征提取效果更佳。第三方面，卷积神经网络提取算法具有鲁棒性强的特点，更能学到本质特征，具有更强的可分性。
特征融合：对第一候选目标中提取得到的特征和第二候选目标中提取得到的特征进行融合处理。一种情况下，可以在Resnet网络中进行全局平均池化(Avgpooling)之前，对“第一候选目标中提取得到的特征”和“第二候选目标中提取得到的特征”进行连接(concat)处理，也就是进行特征融合。
分类输出：使用上述训练得到的分类模型对融合后的特征进行分类，输出分类结果。分类结果可以包括：是误检目标、不是误检目标。这样，便可以根据分类结果识别误检目标。或者，分类结果也可以进一步包括具体的目标种类，比如，目标是车辆还是障碍物，等等，具体分类结果不做限定。
检测结果输出模块：可以利用特征融合模块输出的分类结果，对图像处理模块得到的检测目标进行矫正，比如，剔除误检目标，补充漏检的目标等，从而提升目标检测的质量。
与上述方法实施例相对应，本发明实施例提供了一种目标检测装置，如图8所示，包括：
获取模块801，用于获取可见光图像及雷达数据，所述雷达数据中包括雷达图像；
检测模块802，用于检测所述可见光图像中的目标，作为第一候选目标；以及基于所述雷达数据检测第二候选目标；
匹配模块803，用于将所述第一候选目标与所述第二候选目标进行匹配；如果匹配成功，触发特征融合模块804；
特征融合模块804，用于提取所述可见光图像中的第一候选目标的特征，作为第一目标特征，提取所述雷达图像中的第二候选目标的特征，作为第二目标特征；将所述第一目标特征与所述第二目标特征进行特征提取及特征融合，得到第一融合后的特征；
误检识别模块805，用于基于所述第一融合后的特征，对所述第一候选目标和/或所述第二候选目标进行误检识别。
检测模块802可以对应于图3实施例中的图像处理模块和雷达处理模块，匹配模块803可以对应于图3实施例中的数据对齐模块，特征融合模块804可以对应于图3实施例中的特征融合模块，误检识别模块805可以对应于图3实施例中的检测结果输出模块。
作为一种实施方式，匹配模块803具体用于：
将所述第一候选目标与所述第二候选目标转换到同一坐标系；
在所述同一坐标系中，判断所述第一候选目标的位置与所述第二候选目标的位置之间的距离是否小于预设距离阈值；
如果小于，确定所述第一候选目标与所述第二候选目标匹配成功。
作为一种实施方式，所述装置还包括：跟踪模块和判断模块(图中未示出)，其中，
跟踪模块，用于通过对所述可见光图像中的第一候选目标进行跟踪，得到所述第一候选目标的速度，作为第一速度；基于所述雷达数据确定第二候选目标的速度，作为第二速度；
判断模块，用于判断所述第一速度与所述第二速度的差值是否小于预设速度差阈值；
匹配模块803还用于：在所述第一候选目标的位置与所述第二候选目标的位置之间的距离小于预设距离阈值、并且所述第一速度与所述第二速度的差值小于预设速度差阈值的情况下，确定所述第一候选目标与所述第二候选目标匹配成功。
作为一种实施方式，匹配模块803具体用于：
将所述第一候选目标与所述第二候选目标进行时间戳对齐；
将时间戳相同的第一候选目标与第二候选目标进行匹配。
作为一种实施方式，所述装置还包括：映射模块和确定模块(图中未示出)，其中，
所述映射模块，用于根据相机与雷达之间的标定数据，将未匹配成功的第二候选目标映射至所述可见光图像中；其中，所述相机为采集所述可见光图像的相机；所述雷达为采集所述雷达数据的雷达；
所述确定模块，用于根据映射结果确定所述可见光图像中漏检的第一候选目标；
特征融合模块804，还用于提取所述可见光图像中、所述漏检的第一候选目标的特征，作为第三目标特征，提取所述雷达图像中、所述未匹配成功的第二候选目标的特征，作为第四目标特征；将所述第三目标特征与所述第四目标特征进行特征融合，得到第二融合后的特征；
误检识别模块805，还用于基于所述第二融合后的特征，对所述未匹配成功的第二候选目标和/或所述漏检的第一候选目标进行误检识别。
作为一种实施方式，特征融合模块804具体用于：
将可见光图像中的第一候选目标和雷达图像中的第二候选目标输入至预先训练得到的神经网络模型；
利用所述神经网络模型中的第一层级对所述第一候选目标进行特征提取，得到第一目标特征；以及利用所述神经网络模型中的第二层级对所述第二候选目标进行特征提取，得到第二目标特征；
利用所述神经网络模型中的第三层级，对所述第一目标特征和所述第二目标特征进行融合，得到第一融合后的特征；
所述误检识别模块，具体用于：
利用所述神经网络模型中的第四层级，对所述第一融合后的特征进行分类，得到所述第一候选目标和/或所述第二候选目标是否为误检目标的分类结果。
作为一种实施方式，获取模块801还用于：
获取雷达发送的原始数据；
利用傅利叶转换算法对所述原始数据进行转换处理，得到功率分布图，得到包括所述原始数据和所述功率分布图的雷达数据。
应用本发明实施例，将可见光图像中检测出的目标与基于雷达数据检测出的目标进行匹配，匹配成功后再对两种目标进行特征提取及特征融合，基于融合后的特征判断检测出的目标是否为误检目标；可见，本方案中，结合可见光图像及雷达数据两方面进行目标检测，两种数据(相比于一种数据)携带的特征更丰富，利用从这两种数据中提取出的特征进行目标检测的准确度更高，而且基于可见光图像及雷达数据识别误检目标，降低了目标误检率，进一步提高了检测准确度。
本发明实施例还提供了一种电子设备，如图9所示，包括处理器901和存储器902；
存储器902，用于存放计算机程序；
处理器901，用于执行存储器902上所存放的程序时，实现上述任一种目标检测方法。
该电子设备可以为车载设备，也可以应用于手机、电脑等各种设备，具体不做限定。
上述电子设备提到的存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供一种目标检测系统，如图10所示，包括：相机、雷达和检测设备；其中，所述相机与所述雷达针对同一场景进行数据采集；
所述检测设备，用于获取所述相机采集的可见光图像、以及通过所述雷达获取雷达数据，所述雷达数据中包括雷达图像；检测所述可见光图像中的目标，作为第一候选目标；以及基于所述雷达数据检测第二候选目标；将所述第一候选目标与所述第二候选目标进行匹配；若匹配成功，提取所述可见光图像中的第一候选目标的特征，作为第一目标特征，提取所述雷达图像中的第二候选目标的特征，作为第二目标特征；将所述第一目标特征与所述第二目标特征进行特征融合，得到第一融合后的特征；基于所述第一融合后的特征，对所述第一候选目标和/或所述第二候选目标进行误检识别。
该检测设备还可以实现上述任一种目标检测方法。该雷达可以为毫米波雷达，具体不做限定。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种目标检测方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例、设备实施例、系统实施例、计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (13)
1.一种目标检测方法，其特征在于，包括：
获取可见光图像及雷达数据，所述雷达数据中包括雷达图像；
检测所述可见光图像中的目标，作为第一候选目标；以及基于所述雷达数据检测第二候选目标；
将所述第一候选目标与所述第二候选目标进行匹配；
若匹配成功，提取所述可见光图像中的第一候选目标的特征，作为第一目标特征，提取所述雷达图像中的第二候选目标的特征，作为第二目标特征；
将所述第一目标特征与所述第二目标特征进行特征融合，得到第一融合后的特征；
基于所述第一融合后的特征，对所述第一候选目标和/或所述第二候选目标进行误检识别；
根据相机与雷达之间的标定数据，将未匹配成功的第二候选目标映射至所述可见光图像中；其中，所述相机为采集所述可见光图像的相机；所述雷达为采集所述雷达数据的雷达；
根据映射结果确定所述可见光图像中漏检的第一候选目标；
在降低所述可见光图像的置信度阈值的情况下，提取所述可见光图像中、所述漏检的第一候选目标的特征，作为第三目标特征，提取所述雷达图像中、所述未匹配成功的第二候选目标的特征，作为第四目标特征；
将所述第三目标特征与所述第四目标特征进行特征融合，得到第二融合后的特征；
基于所述第二融合后的特征，对所述未匹配成功的第二候选目标和所述漏检的第一候选目标进行误检识别。
2.根据权利要求1所述的方法，其特征在于，所述将所述第一候选目标与所述第二候选目标进行匹配，包括：
将所述第一候选目标与所述第二候选目标转换到同一坐标系；
在所述同一坐标系中，判断所述第一候选目标的位置与所述第二候选目标的位置之间的距离是否小于预设距离阈值；
如果小于，确定所述第一候选目标与所述第二候选目标匹配成功。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
通过对所述可见光图像中的第一候选目标进行跟踪，得到所述第一候选目标的速度，作为第一速度；
基于所述雷达数据确定第二候选目标的速度，作为第二速度；
判断所述第一速度与所述第二速度的差值是否小于预设速度差阈值；
所述如果小于，确定所述第一候选目标与所述第二候选目标匹配成功，包括：
若所述第一候选目标的位置与所述第二候选目标的位置之间的距离小于预设距离阈值、并且所述第一速度与所述第二速度的差值小于预设速度差阈值，则确定所述第一候选目标与所述第二候选目标匹配成功。
4.根据权利要求1所述的方法，其特征在于，所述将所述第一候选目标与所述第二候选目标进行匹配，包括：
将所述第一候选目标与所述第二候选目标进行时间戳对齐；
将时间戳相同的第一候选目标与第二候选目标进行匹配。
5.根据权利要求1所述的方法，其特征在于，所述提取所述可见光图像中的第一候选目标的特征，作为第一目标特征，提取所述雷达图像中的第二候选目标的特征，作为第二目标特征，包括：
将可见光图像中的第一候选目标和雷达图像中的第二候选目标输入至预先训练得到的神经网络模型；
利用所述神经网络模型中的第一层级对所述第一候选目标进行特征提取，得到第一目标特征；以及利用所述神经网络模型中的第二层级对所述第二候选目标进行特征提取，得到第二目标特征；
所述将所述第一目标特征与所述第二目标特征进行特征融合，得到第一融合后的特征，包括：
利用所述神经网络模型中的第三层级，对所述第一目标特征和所述第二目标特征进行融合，得到第一融合后的特征；
所述基于所述第一融合后的特征，对所述第一候选目标和/或所述第二候选目标进行误检识别，包括：
利用所述神经网络模型中的第四层级，对所述第一融合后的特征进行分类，得到所述第一候选目标和/或所述第二候选目标是否为误检目标的分类结果。
6.一种目标检测装置，其特征在于，包括：
获取模块，用于获取可见光图像及雷达数据，所述雷达数据中包括雷达图像；
检测模块，用于检测所述可见光图像中的目标，作为第一候选目标；以及基于所述雷达数据检测第二候选目标；
匹配模块，用于将所述第一候选目标与所述第二候选目标进行匹配；如果匹配成功，触发特征融合模块；
特征融合模块，用于提取所述可见光图像中的第一候选目标的特征，作为第一目标特征，提取所述雷达图像中的第二候选目标的特征，作为第二目标特征；将所述第一目标特征与所述第二目标特征进行特征提取及特征融合，得到第一融合后的特征；
误检识别模块，用于基于所述第一融合后的特征，对所述第一候选目标和/或所述第二候选目标进行误检识别；
所述装置还包括：映射模块和确定模块，其中，
所述映射模块，用于根据相机与雷达之间的标定数据，将未匹配成功的第二候选目标映射至所述可见光图像中；其中，所述相机为采集所述可见光图像的相机；所述雷达为采集所述雷达数据的雷达；
所述确定模块，用于根据映射结果确定所述可见光图像中漏检的第一候选目标；
所述特征融合模块，还用于在降低所述可见光图像的置信度阈值的情况下，提取所述可见光图像中、所述漏检的第一候选目标的特征，作为第三目标特征，提取所述雷达图像中、所述未匹配成功的第二候选目标的特征，作为第四目标特征；将所述第三目标特征与所述第四目标特征进行特征融合，得到第二融合后的特征；
所述误检识别模块，还用于基于所述第二融合后的特征，对所述未匹配成功的第二候选目标和所述漏检的第一候选目标进行误检识别。
7.根据权利要求6所述的装置，其特征在于，所述匹配模块，具体用于：
将所述第一候选目标与所述第二候选目标转换到同一坐标系；
在所述同一坐标系中，判断所述第一候选目标的位置与所述第二候选目标的位置之间的距离是否小于预设距离阈值；
如果小于，确定所述第一候选目标与所述第二候选目标匹配成功。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
跟踪模块，用于通过对所述可见光图像中的第一候选目标进行跟踪，得到所述第一候选目标的速度，作为第一速度；基于所述雷达数据确定第二候选目标的速度，作为第二速度；
判断模块，用于判断所述第一速度与所述第二速度的差值是否小于预设速度差阈值；
所述匹配模块还用于：在所述第一候选目标的位置与所述第二候选目标的位置之间的距离小于预设距离阈值、并且所述第一速度与所述第二速度的差值小于预设速度差阈值的情况下，确定所述第一候选目标与所述第二候选目标匹配成功。
9.根据权利要求6所述的装置，其特征在于，所述匹配模块，具体用于：
将所述第一候选目标与所述第二候选目标进行时间戳对齐；
将时间戳相同的第一候选目标与第二候选目标进行匹配。
10.根据权利要求6所述的装置，其特征在于，所述特征融合模块，具体用于：
将可见光图像中的第一候选目标和雷达图像中的第二候选目标输入至预先训练得到的神经网络模型；
利用所述神经网络模型中的第一层级对所述第一候选目标进行特征提取，得到第一目标特征；以及利用所述神经网络模型中的第二层级对所述第二候选目标进行特征提取，得到第二目标特征；
利用所述神经网络模型中的第三层级，对所述第一目标特征和所述第二目标特征进行融合，得到第一融合后的特征；
所述误检识别模块，具体用于：
利用所述神经网络模型中的第四层级，对所述第一融合后的特征进行分类，得到所述第一候选目标和/或所述第二候选目标是否为误检目标的分类结果。
11.一种电子设备，其特征在于，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
12.一种目标检测系统，其特征在于，包括：相机、雷达和检测设备；其中，所述相机与所述雷达针对同一场景进行数据采集；
所述检测设备，用于获取所述相机采集的可见光图像、以及通过所述雷达获取雷达数据，所述雷达数据中包括雷达图像；检测所述可见光图像中的目标，作为第一候选目标；以及基于所述雷达数据检测第二候选目标；将所述第一候选目标与所述第二候选目标进行匹配；若匹配成功，提取所述可见光图像中的第一候选目标的特征，作为第一目标特征，提取所述雷达图像中的第二候选目标的特征，作为第二目标特征；将所述第一目标特征与所述第二目标特征进行特征融合，得到第一融合后的特征；基于所述第一融合后的特征，对所述第一候选目标和/或所述第二候选目标进行误检识别，根据相机与雷达之间的标定数据，将未匹配成功的第二候选目标映射至所述可见光图像中；其中，所述相机为采集所述可见光图像的相机；所述雷达为采集所述雷达数据的雷达；根据映射结果确定所述可见光图像中漏检的第一候选目标；在降低所述可见光图像的置信度阈值的情况下，提取所述可见光图像中、所述漏检的第一候选目标的特征，作为第三目标特征，提取所述雷达图像中、所述未匹配成功的第二候选目标的特征，作为第四目标特征；将所述第三目标特征与所述第四目标特征进行特征融合，得到第二融合后的特征；基于所述第二融合后的特征，对所述未匹配成功的第二候选目标和所述漏检的第一候选目标进行误检识别。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910289114.5A CN111856445B (zh) | 2019-04-11 | 2019-04-11 | 一种目标检测方法、装置、设备及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910289114.5A CN111856445B (zh) | 2019-04-11 | 2019-04-11 | 一种目标检测方法、装置、设备及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111856445A CN111856445A (zh) | 2020-10-30 |
| CN111856445B true CN111856445B (zh) | 2023-07-04 |
Family
ID=72951929
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910289114.5A Active CN111856445B (zh) | 2019-04-11 | 2019-04-11 | 一种目标检测方法、装置、设备及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111856445B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113447923A (zh) * | 2021-06-29 | 2021-09-28 | 上海高德威智能交通系统有限公司 | 目标检测方法、装置、系统、电子设备及存储介质 |
| CN114187328B (zh) * | 2022-02-15 | 2022-07-05 | 智道网联科技(北京)有限公司 | 一种物体检测方法、装置和电子设备 |
| CN114842003B (zh) * | 2022-07-04 | 2022-11-01 | 杭州健培科技有限公司 | 一种医学影像随访目标配对方法、装置及应用 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013190949A (ja) * | 2012-03-13 | 2013-09-26 | Toyota Central R&D Labs Inc | 歩行者検出装置及びプログラム |
| CN108985204A (zh) * | 2018-07-04 | 2018-12-11 | 北京师范大学珠海分校 | 行人检测跟踪方法及装置 |
| CN109444911A (zh) * | 2018-10-18 | 2019-03-08 | 哈尔滨工程大学 | 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法 |
| CN109541632A (zh) * | 2018-09-30 | 2019-03-29 | 天津大学 | 一种基于四线激光雷达辅助的目标检测漏检改进方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5963653A (en) * | 1997-06-19 | 1999-10-05 | Raytheon Company | Hierarchical information fusion object recognition system and method |
| JP5787845B2 (ja) * | 2012-08-24 | 2015-09-30 | 株式会社東芝 | 画像認識装置、方法、及びプログラム |
| US10565468B2 (en) * | 2016-01-19 | 2020-02-18 | Aptiv Technologies Limited | Object tracking system with radar/vision fusion for automated vehicles |
| CN106485268B (zh) * | 2016-09-27 | 2020-01-21 | 东软集团股份有限公司 | 一种图像识别方法及装置 |
| US10067509B1 (en) * | 2017-03-10 | 2018-09-04 | TuSimple | System and method for occluding contour detection |
| CN107609522B (zh) * | 2017-09-19 | 2021-04-13 | 东华大学 | 一种基于激光雷达和机器视觉的信息融合车辆检测系统 |
| CN107909609B (zh) * | 2017-11-01 | 2019-09-20 | 欧阳聪星 | 一种图像处理方法及装置 |
| CN108229366B (zh) * | 2017-12-28 | 2021-12-14 | 北京航空航天大学 | 基于雷达和图像数据融合的深度学习车载障碍物检测方法 |
| CN108663677A (zh) * | 2018-03-29 | 2018-10-16 | 上海智瞳通科技有限公司 | 一种多传感器深度融合提高目标检测能力的方法 |
| CN109085570A (zh) * | 2018-06-10 | 2018-12-25 | 南京理工大学 | 基于数据融合的车辆检测跟踪算法 |
| CN109581345A (zh) * | 2018-11-28 | 2019-04-05 | 深圳大学 | 基于毫米波雷达的目标检测与跟踪方法及系统 |
| CN109490890B (zh) * | 2018-11-29 | 2023-06-02 | 重庆邮电大学 | 一种面向智能车的毫米波雷达与单目相机信息融合方法 |
-
2019
- 2019-04-11 CN CN201910289114.5A patent/CN111856445B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013190949A (ja) * | 2012-03-13 | 2013-09-26 | Toyota Central R&D Labs Inc | 歩行者検出装置及びプログラム |
| CN108985204A (zh) * | 2018-07-04 | 2018-12-11 | 北京师范大学珠海分校 | 行人检测跟踪方法及装置 |
| CN109541632A (zh) * | 2018-09-30 | 2019-03-29 | 天津大学 | 一种基于四线激光雷达辅助的目标检测漏检改进方法 |
| CN109444911A (zh) * | 2018-10-18 | 2019-03-08 | 哈尔滨工程大学 | 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法 |
Non-Patent Citations (2)
| Title |
|---|
| 多源遥感图像舰船目标特征提取与融合技术研究;雷琳;《中国博士学位论文全文数据库 工程科技Ⅱ辑》;第1-136页 * |
| 王青 ; 毕靖.基于雷达/红外神经网络融合目标跟踪算法.《系统仿真学报》.2003,486-487+491. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111856445A (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101647370B1 (ko) | 카메라 및 레이더를 이용한 교통정보 관리시스템 | |
| CN111462200A (zh) | 一种跨视频行人定位追踪方法、系统及设备 | |
| CN111856445B (zh) | 一种目标检测方法、装置、设备及系统 | |
| CN107560592B (zh) | 一种用于光电跟踪仪联动目标的精确测距方法 | |
| CN114022830A (zh) | 一种目标确定方法以及目标确定装置 | |
| CN111144207B (zh) | 一种基于多模态信息感知的人体检测和跟踪方法 | |
| CN112215306A (zh) | 一种基于单目视觉与毫米波雷达融合的目标检测方法 | |
| WO2023155483A1 (zh) | 一种车型识别方法、装置和系统 | |
| KR20200095888A (ko) | 무인 선박 시스템의 상황인지 방법 및 장치 | |
| CN115376109B (zh) | 障碍物检测方法、障碍物检测装置以及存储介质 | |
| CN106803262A (zh) | 利用双目视觉自主解算汽车速度的方法 | |
| CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 | |
| CN116148801A (zh) | 一种基于毫米波雷达的目标检测方法及系统 | |
| CN113496163B (zh) | 障碍物识别方法和装置 | |
| CN113243015B (zh) | 视频监控系统 | |
| CN116862832A (zh) | 一种基于三维实景模型的作业人员定位方法 | |
| Bardas et al. | 3D tracking and classification system using a monocular camera | |
| US10970861B2 (en) | Method of determining a transformation matrix | |
| CN112270241B (zh) | 行人重识别方法、装置、电子设备及计算机可读存储介质 | |
| CN113792645A (zh) | 一种融合图像和激光雷达的ai眼球 | |
| RU2664411C2 (ru) | Способ обработки последовательности изображений для распознавания воздушных объектов | |
| CN111339840A (zh) | 人脸检测方法和监控系统 | |
| US20230199135A1 (en) | Method for generating a bird's eye view image | |
| Zhu et al. | Robust target detection of intelligent integrated optical camera and mmWave radar system | |
| CN117113284B (zh) | 多传感器融合的数据处理方法、装置与多传感器融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |