CN112766302A - 一种图像融合方法、装置、存储介质及电子装置 - Google Patents

一种图像融合方法、装置、存储介质及电子装置 Download PDF

Info

Publication number
CN112766302A
CN112766302A CN202011504134.9A CN202011504134A CN112766302A CN 112766302 A CN112766302 A CN 112766302A CN 202011504134 A CN202011504134 A CN 202011504134A CN 112766302 A CN112766302 A CN 112766302A
Authority
CN
China
Prior art keywords
initial
target
image
radar image
region information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011504134.9A
Other languages
English (en)
Other versions
CN112766302B (zh
Inventor
李冬冬
李乾坤
卢维
殷俊
陈文博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202011504134.9A priority Critical patent/CN112766302B/zh
Publication of CN112766302A publication Critical patent/CN112766302A/zh
Application granted granted Critical
Publication of CN112766302B publication Critical patent/CN112766302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明实施例提供了一种图像融合方法、装置、存储介质及电子装置，其方法包括：获取对目标场景进行同步拍摄后所得到目标场景的初始像素图像以及初始雷达图像；对初始雷达图像进行聚类标定处理，以得到目标对象在初始雷达图像中的第一区域信息；确定初始像素图像中包括的目标对象在初始雷达图像中的映射区域，并将映射区域确定为第二区域信息；基于第一区域信息和第二区域信息确定初始像素图像与初始雷达图像之间的目标关联序列；根据目标关联序列，对初始雷达图像与初始像素图像进行融合。通过本发明，解决了相关技术中图像识别精度低的问题，进而达到了提高图像识别精度的效果。

Description

一种图像融合方法、装置、存储介质及电子装置
技术领域
本发明实施例涉及通信领域，具体而言，涉及一种图像融合方法、装置、存储介质及电子装置。
背景技术
在智能监控中，无歧义和完备的数据是重中之重，而随着智能监控设备的发展，对场景中的对象进行监控的精确度也越来越高；而目前的智能监控设备的监控精度仍有提高的空间。
例如，在对道路进行监控时，若对车辆的目标识别错误，将会导致对车辆的轨迹监控出现错误，从而影响后续的预警和处理，如声音警示或车牌抓拍等。
现有的对象识别均依赖于高精度的传感器或高精度的标定算法，前述识别方式对使用环境有较高要求或需要较高的技术支持，因而不能适用于普通环境；而在不采用高精度的传感器或高精度的标定算法的情况下，则会出现图像识别精度低的问题。
而目前并没有针对上述问题提出有效的解决方案。
发明内容
本发明实施例提供了一种图像融合方法、装置、存储介质及电子装置，以至少解决相关技术中图像识别精度低的问题。
根据本发明的一个实施例，提供了一种图像融合方法，包括：
获取对所述目标场景进行同步拍摄后所得到目标场景的初始像素图像以及初始雷达图像；
对所述初始雷达图像进行聚类标定处理，以得到目标对象在所述初始雷达图像中的第一区域信息；
确定所述初始像素图像中包括的所述目标对象在所述初始雷达图像中的映射区域，并将所述映射区域确定为第二区域信息；
基于所述第一区域信息和所述第二区域信息确定所述初始像素图像与所述初始雷达图像之间的目标关联序列；
根据所述目标关联序列，对所述初始雷达图像与所述初始像素图像进行融合。
在一个示例性实施例中，对所述初始雷达图像进行聚类处理，以得到目标对象在所述初始雷达图像中的第一区域信息包括：
对所述初始雷达图像进行聚类计算，以得到所述目标对象所对应的目标点云数据；
在所述初始雷达图像中对所述目标点云数据进行轮廓标定处理，以得到所述第一区域信息。
在一个示例性实施例中，基于所述第一区域信息和所述第二区域信息确定所述初始像素图像与所述初始雷达图像之间的目标关联序列包括：
确定所述第一区域信息和所述第二区域信息的重合度；
基于所述重合度确定所述初始像素图像与所述初始雷达图像之间的所述目标关联序列。
在一个示例性实施例中，基于所述重合度确定所述初始像素图像与所述初始雷达图像之间的所述目标关联序列包括：
基于所述重合度建立所述初始像素图像与所述初始雷达图像之间的初始关联序列，其中，所述初始关联序列用于指示所述第一区域信息和所述第二区域信息的映射关系；
对所述初始关联序列进行拆组，以获取多个关联子序列；
对所述关联子序列进行损失值计算，以得到损失值最小的目标关联子序列；
将所述目标关联子序列确定为所述目标关联序列。
在一个示例性实施例中，对所述初始关联序列进行拆组，以获取多个关联子序列包括：
根据预设规则对所述初始关联序列进行拆解，以得到多个子序列；
对多个所述子序列进行组合，以得到多个所述关联子序列。
在一个示例性实施例中，对所述关联子序列进行损失值计算，以得到损失值最小的目标关联子序列包括：
根据所述第一区域信息和所述第二区域信息的重合度确定惩罚值；
基于所述惩罚值，对所述关联子序列进行损失值计算，以得到所述关联子序列的损失值；
对所述损失值进行比较，以得到最小损失值；
将所述最小损失值对应的关联子序列确定为目标关联子序列。
根据本发明的另一个实施例，提供了一种图像融合装置，包括：
图像采集模块，用于获取对所述目标场景进行同步拍摄后所得到目标场景的初始像素图像以及初始雷达图像；
聚类模块，用于对所述初始雷达图像进行聚类标定处理，以得到目标对象在所述初始雷达图像中的第一区域信息；
映射确定模块，用于确定所述初始像素图像中包括的所述目标对象在所述初始雷达图像中的映射区域，并将所述映射区域确定为第二区域信息；
关联序列确定模块，用于基于所述第一区域信息和所述第二区域信息确定所述初始像素图像与所述初始雷达图像之间的目标关联序列；
融合模块，用于根据所述目标关联序列，对所述初始雷达图像与所述初始像素图像进行融合。
在一个示例性实施例中，所述聚类模块包括：
聚类计算单元，用于对所述初始雷达图像进行聚类计算，以得到所述目标对象所对应的目标点云数据；
轮廓标定单元，用于在所述初始雷达图像中对所述目标点云数据进行轮廓标定处理，以得到所述第一区域信息。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，由于将采像素图像中的目标对象映射至雷达图像中，并将像素图像与雷达图像相融合，因而能够对雷达图像中的目标对象进行精确识别，从而提高了雷达图像的识别精度，因此，可以解决相关技术中图像识别精度低的问题，达到提高图像识别精度的效果。
附图说明
图1是本发明实施例的一种图像融合方法的移动终端的硬件结构框图；
图2是根据本发明实施例的一种图像融合方法的流程图；
图3是根据本发明实施例的一种图像融合装置的结构框图；
图4是根据本发明的具体实施例的雷达图；
图5是根据本发明的具体实施例的点云标识过程；
图6是根据本发明的具体实施例的图像映射过程一；
图7是根据本发明的具体实施例的图像映射过程二；
图8是根据本发明的具体实施例的序列建立过程；
图9是根据本发明的具体实施例的流程图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种图像融合方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种图像融合方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为 NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种图像融合方法，图2是根据本发明实施例的一种图像融合方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取对目标场景进行同步拍摄后所得到目标场景的初始像素图像以及初始雷达图像；
在本实施例中，获取同步拍摄后得到的目标场景的初始像素图像以及初始雷达图像是为了保证初始像素图像以及初始雷达图像的时间戳一致，从而减少时间戳不一致的图像对于图像识别造成的干扰，进而提高图像识别效率和精度。
其中，初始像素图像可以(但不限于)是图片，也可以是视频，图片的数量可以是一帧，从而减少计算量，也可以是多帧，从而提高图像标定精度；初始像素图像可以(但不限于)是红外图像，也可以是可见光图像，还可以是二者的融合；初始像素图像的获取可以(但不限于)是通过可见光摄像机或可见光传感器对目标区域进行采集得到的，也可以是通过红外光摄像机或红外传感器对目标区域进行采集得到的；初始雷达图像可以 (但不限于)是通过雷达传感器对目标场景进行采集的到的；同步拍摄可以(但不限于)是通过对图像采集设备进行同步处理来实现，也可以是通过根据时间戳对获取的初始像素图像和初始雷达图像进行同步化处理来实现的，还可以是通过其它方式进行处理来实现的；目标场景可以是符合预设条件的理想场景，其中，理想环境是指环境中，存在非常稀疏的目标对象，且目标对象的量测质量好、雷达视频目标匹配无歧义的情况。
步骤S204，对初始雷达图像进行聚类标定处理，以得到目标对象在初始雷达图像中的第一区域信息；
在本实施例中，进行聚类标定处理是为了确定初始雷达图像中的目标对象的具体位置；例如，当目标对象是车辆时，由于车辆体积足够大，车辆的不同部位均可产生反射点，此时初始雷达图像中的车辆目标的点云数据则会出现聚集现象，而其它的事物如源自于地面上偶然反射或系统噪声生成的点云个数较少，且出现聚集现象概率很低，因此，将这些聚集的点云通过标识框或其它标识方式进行标定则能够确定目标对象的具体位置。
其中，聚类标定处理是对点云数据进行的标识处理，其处理方式可以是用标识框将初始雷达图像中聚集的点云数据进行标识，也可以是用标识块对初始雷达图像中聚集的点云数据进行覆盖，还可以是通过其它方式进行聚类标定；目标对象可以(但不限于)是目标场景中的行人、建筑(如水池、栏杆、道路)、车辆、动物、植物等事物，第一区域信息可以(但不限于)是目标对象在初始雷达图像中的区域坐标信息、区域大小等信息；聚类标定处理可以(但不限于)通过神经网络来实现，也可以是通过预设算法来实现，还可以是通过预设算法以及神经网络的结合来实现；聚类标定处理的执行可以(但不限于)是通过内设的CPU、FPGA等逻辑运算模块来实现，也可以通过外设的计算机、云处理端来实现，在通过外设的设备实现场景设备的情况下，其数据的传输可以是通过以太网来实现，也可以是通过3G/4G/5G等无线传输网络来实现，还可以是通过其它方式来实现。
步骤S206，确定初始像素图像中包括的目标对象在初始雷达图像中的映射区域，并将映射区域确定为第二区域信息；
在本实施例中，将初始像素图像中包括的目标对象映射至初始雷达图像中是为了确定初始雷达图像中的目标对象与初始像素图像中包括的目标对象之间的关系，从而方便对目标对象进行跟踪。
其中，映射区域的确定过程可以(但不限于)是将初始像素图像中的像素点(U,V)映射为初始雷达图像中的2D位置坐标(X,Y)，确定方式可以是根据图像采集设备的内外参数进行标定的相机内外参标定方法来实现，也可以是通过四点标定法来实现；确定过程可以通过神经网络模型，也可以是通过预设算法以及神经网络的结合来实现；确定过程的执行可以(但不限于)是通过内设的CPU、FPGA等逻辑运算模块来实现，也可以通过外设的计算机、云处理端来实现，在通过外设的设备实现场景设备的情况下，其数据的传输可以是通过以太网来实现，也可以是通过3G/4G/5G等无线传输网络来实现，还可以是通过其它方式来实现；第二区域信息可以(但不限于)为初始像素图像中的目标对象映射至初始雷达图像中的区域坐标信息、区域大小等信息。
步骤S208，基于第一区域信息和第二区域信息确定初始像素图像与初始雷达图像之间的目标关联序列；
在本实施例中，确定初始像素图像与初始雷达图像之间的目标关联序列是为了确定初始像素图像中的目标对象与初始雷达图像中的目标对象的映射关系，即确定初始像素图像中的目标对象映射至初始雷达图像中的具体位置。
其中，关联序列可以(但不限于)是根据第一区域信息与第二区域信息之间的误差的大小建立的关联序列，也可以是其它能够反映初始像素图像中目标对象与初始雷达图像中的目标对象之间的映射关系的序列；关联序列的数量可以是一个，也可以是多个。
例如，关联序列的建立过程可以(但不限于)是先获得第一区域信息和第二区域信息之间的误差，随后根据误差大小将满足误差阈值的误差设置为1，不满足的设置为0，再建立误差矩阵，并将误差绝阵作为关联序列。
步骤S2010，根据目标关联序列，对初始雷达图像与初始像素图像进行融合。
在本实施例中，将初始雷达图像与初始像素图像进行融合是为了令使用人员能够同时了解到初始雷达图像以及像素图像的内容。
其中，融合操作可以(但不限于)是将初始雷达图像和初始像素图像在同一个可视化界面按照相同大小的方式进行并排显示，也可以是在同一个可视化界面按照一大一小的方式进行并排显示，还可以是按照一大一小的方式将较大的图像在可视化界面的中心处进行显示，并将较小的图像在可视化界面的边缘处(例如，右下角)进行显示；融合操作还可以是将其中一个图像中的目标对象截取并粘贴至另一个图像中的对应位置，或者是其它融合方式。
通过上述步骤，由于将采像素图像中的目标对象映射至雷达图像中，并将像素图像与雷达图像相融合，因而能够对雷达图像中的目标对象进行精确识别，从而提高了雷达图像的识别精度，因此，可以解决相关技术中图像识别精度低的问题，提高了图像识别精度。
其中，上述步骤的执行主体可以为基站、终端等，但不限于此。
在一个可选的实施例中，对初始雷达图像进行聚类处理，以得到目标对象在初始雷达图像中的第一区域信息包括：
步骤S2042，对初始雷达图像进行聚类计算，以得到目标对象所对应的目标点云数据；
步骤S2044，在初始雷达图像中对目标点云数据进行轮廓标定处理，以得到第一区域信息。
在本实施例中，对初始雷达图像进行聚类计算是为了确定目标对象在初始雷达图像上所显示的点云的数量、位置等信息，而对目标点云数据进行轮廓标定处理则是为了将多个聚集的点云进行标识，从而能够确定目标对象所在的区域位置信息。
其中，聚类计算可以(但不限于)是计算目标雷达图像中聚集的点云的数量、点云的坐标、点云之间的距离等，并将计算结果作为目标点云信息，也可以是计算点云的其它信息；轮廓标定处理可以是根据目标区域中的点云的最大坐标和最小坐标确定需要标识的轮廓，再用特定形状的标识框将目标区域中的点云进行框定，需要说明的是，标识框可以是方形，也可以是圆形，还可以是其它形状，或者是沿位于边缘的点云标识的曲线框；标识框的大小可以(但不限于)是根据点云的最大坐标和最小坐标之间的差值进行确定，也可以是固定的大小。
例如，依据局部量测聚集现象获得目标点云的个数，并通过量测聚类获得目标的空间位置，以完成聚类计算；随后，采用矩形框确定聚集量测的外轮廓，其中，矩形位置可以通过四个边缘点进行标识，也可以通过其它方法进行标识。
在一个可选的实施例中，基于第一区域信息和第二区域信息确定初始像素图像与初始雷达图像之间的目标关联序列包括：
步骤S2082，确定第一区域信息和第二区域信息的重合度；
步骤S2084，基于重合度确定初始像素图像与初始雷达图像之间的目标关联序列。
在本实施例中，确定第一区域信息和第二区域信息的重合度是为了确定初始像素图像中的目标对象映射至初始雷达图像时，与初始雷达图像中的点云的重合度，从而确定映射结果是否符合要求；而通过对目标关联序列进行计算则可以判断映射结果是否符合要求。
其中，第一区域信息和第二区域信息的重合度可以是矩形区域的标定度量,即当初始雷达图像中的点云被矩形框标识，且初始像素图像中的目标对象映射至初始雷达图像为矩形块时，计算矩形框与矩形块的面距离，其中，面距离的计算公式如下：
Figure BDA0002844389210000101
其中，当矩形框与矩形块无重合时，则面距离为0，并定义：
Dis(Vid-Rid)＝DisNon，式中，DisNon为惩罚值。
在一个可选的实施例中，基于重合度确定初始像素图像与初始雷达图像之间的目标关联序列包括：
步骤S20842，基于重合度建立初始像素图像与初始雷达图像之间的初始关联序列，其中，初始关联序列用于指示第一区域信息和第二区域信息的映射关系；
步骤S20844，对初始关联序列进行拆组，以获取多个关联子序列；
步骤S20846，对关联子序列进行损失值计算，以得到损失值最小的目标关联子序列；
步骤S20848，将目标关联子序列确定为目标关联序列。
在本实施例中，确定损失值最小的目标关联子序列是为了确定雷达图像与像素图像的最优关联方式。
其中，根据重合度建立的关联矩阵如表1所示：
表1
Figure BDA0002844389210000111
表中，行表示初始像素图像中的目标对象，列表示初始雷达图像中的目标对象，Disij表示第i个初始像素图像中的目标对象与第j个初始雷达图像中的目标对象在直角坐标系中的面距离，且满足Disij>0。
该表可进一步简化为表2：
表2
Dis11 Dis12 Dis13 Dis14
Dis21 Dis22 Dis23 Dis24
Dis31 Dis32 Dis33 Dis34
Dis41 Dis42 Dis43 Dis44
在一个可选的实施例中，对初始关联序列进行拆组，以获取多个关联子序列包括：
步骤S208442，根据预设规则对初始关联序列进行拆解，以得到多个子序列；
步骤S208444，对多个子序列进行组合，以得到多个关联子序列。
在本实施例中，预设规则可以是如下之一或其组合：
1)任意一行中非零元素个数最多为1(表示一个视频目标最多与一个雷达目标相关联)；
2)任意一列中非零元素个数最多为1(表示一个雷达目标最多与一个视频目标相关联)。
其中，基于上述规则，则表2对应的关联序列的部分拆解结果如下：
Figure BDA0002844389210000121
Figure BDA0002844389210000122
其中，
第1组中，只有对角线元素非零，关联列表为：A-1,B-2,C-3,D-4。
第2组表达的关联列表为：A-2,B-1,C-4,D-3。
第4组表达的关联列表为：A-0,B-0,0-1,0-2,C-3,D-4。
第6组表达的关联列表为：A-3,B-2,C-1,D-4。
需要说明的是，上述序列的拆组结果只是所有拆组结果的一部分，还有其它很多关联子矩阵未呈现。且每一个关联子阵唯一对应一个关联列表，所有的关联子矩阵可描述所有的关联列表。
在一个可选的实施例中，对关联子序列进行损失值计算，以得到损失值最小的目标关联子序列包括：
步骤S208462，根据第一区域信息和第二区域信息的重合度确定惩罚值；
步骤S208464，基于惩罚值，对关联子序列进行损失值计算，以得到关联子序列的损失值；
步骤S208466，对损失值进行比较，以得到最小损失值；
步骤S208468，将最小损失值对应的关联子序列确定为目标关联子序列。
在本实施例中，惩罚值用于对没有关联的目标匹配结果设定的一个默认的距离值，该距离值通常比较大。例如前述序列中第4组关联子矩阵中， A-0表示像素图像中的目标对象A未与任何雷达图像中的任何目标对象进行关联，0-1表示雷达图像中的目标对象1未与任何像素图像中的目标对象进行关联，即：
Dis(A-0)＝DisNon；
Dis(0-1)＝DisNon。
其中，损失值的计算可以通过如下公式进行计算：
lossk＝∑Dis(Vid-Rid)
式中，lossk为第k个关联子矩阵的损失值，例如，前述第1组序列的损失值为：Dis11+Dis22+Dis33+Dis44，第5组序列的损失值为： Dis12+Dis23+Dis41+2*DisNon。
随后得到的损失值最小的关联子矩阵为：
AssoMat＝min{lossk}
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如 ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种图像融合装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3是根据本发明实施例的一种图像融合装置的结构框图，如图3所示，该装置包括：
图像采集模块32，用于获取对目标场景进行同步拍摄后所得到目标场景的初始像素图像以及初始雷达图像；
聚类模块34，用于对初始雷达图像进行聚类标定处理，以得到目标对象在初始雷达图像中的第一区域信息；
映射确定模块36，用于确定初始像素图像中包括的目标对象在初始雷达图像中的映射区域，并将映射区域确定为第二区域信息；
关联序列确定模块38，用于基于第一区域信息和第二区域信息确定初始像素图像与初始雷达图像之间的目标关联序列；
融合模块310，用于根据目标关联序列，对初始雷达图像与初始像素图像进行融合。
在一个可选的实施例中，聚类模块34包括：
聚类计算单元342，用于对初始雷达图像进行聚类计算，以得到目标对象所对应的目标点云数据；
轮廓标定单元344，用于在初始雷达图像中对目标点云数据进行轮廓标定处理，以得到第一区域信息。
在一个可选的实施例中，关联序列确定模块38包括：
重合度计算单元382，用于确定第一区域信息和第二区域信息的重合度；
序列确定单元384，用于基于重合度确定初始像素图像与初始雷达图像之间的目标关联序列。
在一个可选的实施例中，序列确定单元384包括：
初始序列确定子单元3842，用于基于重合度建立初始像素图像与初始雷达图像之间的初始关联序列，其中，初始关联序列用于指示第一区域信息和第二区域信息的映射关系；
序列拆组子单元3844，用于对初始关联序列进行拆组，以获取多个关联子序列；
损失值计算子单元3846，用于对关联子序列进行损失值计算，以得到损失值最小的目标关联子序列；
序列确定子单元3848，用于将目标关联子序列确定为目标关联序列。
在一个可选的实施例中，序列拆组子单元3844包括：
拆解子单元38442，用于根据预设规则对初始关联序列进行拆解，以得到多个子序列；
序列组合子单元38444，用于对多个子序列进行组合，以得到多个关联子序列。
在一个可选的实施例中，损失值计算子单元3846包括：
惩罚值确定子单元38462，用于根据第一区域信息和第二区域信息的重合度确定惩罚值；
损失计算子单元38464，用于基于惩罚值，对关联子序列进行损失值计算，以得到关联子序列的损失值；
比较子单元38466，用于对损失值进行比较，以得到最小损失值；
目标序列确定子38468，用于将最小损失值对应的关联子序列确定为目标关联子序列。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
下面结合具体的实施例对本发明进行说明。
视频智能和雷达跟踪算法均可准确地检测车辆的个数和位置(除去目标在传感器监控范围之外和遮挡情况)，其中，视频跟踪算法可实时给出目标框的位置，因而可建立目标序列以及对应的目标框序列如下：
Vtrg1，BoxPt1
Vtrg2，BoxPt2
Vtrg3，BoxPt3
…
其中Vtrgi表示视频目标ID，BoxPti表示视频目标框位置。即：
Figure BDA0002844389210000161
同理，雷达可检测和跟踪目标的个数和点云数据，可建立如下目标序列和对应的点云集合序列：
Rtrg1，CartPtSet1
Rtrg2，CartPtSet2
Rtrg3，CartPtSet3
…
其中Rtrgi表示雷达目标ID，CartPtSeti表示雷达目标点云位置集合。
经过匹配算法处理的视频雷达量测数据组。基于视频雷达量测数据组，可构建如下映射关系：
Rtrgi＝F(Vtrgj) (2)
Vtrgi＝G(Rtrgj) (3)
F＝G-1 (4)
G＝F-1 (5)
其中，F(*)将视频目标ID一一映射为雷达目标ID，G(*)将雷达目标 ID一一映射为视频目标ID。
其中，点云数据的计算如图4及图5所示。
如图4所示的雷达目标点云数据，一个红色矩形框内对应于一辆车。因为车辆体积足够大，车辆的不同部位均可产生反射点，且车辆目标的点云数据出现聚集现象。图4中黄色框中的点则是虚假目标点，可能源自于地面上偶然反射，或系统噪声，虚假目标点个数较少，且出现聚集现象概率很低。
因此可依据局部量测聚集现象获得目标个数，量测聚类获得目标的空间位置，聚类完成之后，采用矩形框确定聚集量测的外轮廓，如所示。可用四个点等其它方法描述该矩形的位置。
随后建立视频像素到雷达坐标系之间标定函数以获得视频像素点 (U,V)对应的雷达2D位置(X,Y)，其中，常用的标定方法有相机内外参标定方法和四点标定方法。
再将视频目标框映射到雷达坐标系中的矩形区域，如图6及图7所示，在视频目标框对应的四个点，只需转换左上角点和右下角点即可，即图6 左图中的点1和点3。转换至图6右图中，该步骤基于视频框中像素(U,V) 获得雷达目标位置(X,Y)，以及前述标定函数来完成。
其中，为便于区分，将视频映射而来的雷达坐标系下的矩形区域，称为虚拟雷达目标(或区域)。
随后再计算虚拟雷达目标与真实雷达目标之间的面距离。
如图7所示，虚拟雷达目标与真实雷达目标之间的面距离，实质上是一种针对矩形区域的标定度量，结合进行说明。右图中白色+深色区域是虚拟雷达目标区域，记作
Figure DEST_PATH_DEST_PATH_IMAGE017
；浅色+深色区域是真实雷达目标区域，记作
Figure DEST_PATH_465707DEST_PATH_IMAGE018
；深色区域是两者的重合区域，记作
Figure DEST_PATH_DEST_PATH_IMAGE019
。则对应于该虚拟雷达目标区域和真实雷达目标区域面距离为：
Figure BDA0002844389210000181
当虚拟雷达目标和真实雷达目标无重合时，即So值为零，则定义：
Dis(Vid-Rid)＝DisNon (6)
式中，DisNon即是惩罚值。
如图8所示，关联矩阵是在直角坐标系下描述任意一对视频雷达目标框之间的距离。
依据前述的距离函数，获得任意一个虚拟雷达目标框和真实雷达目标框之间的距离。并建立如前述表1即表2所述的序列表。
随后再对上述序列表进行拆解，拆解关联矩阵的目的是，在某一规则下，创建所有可能的关联组合，并以子矩阵的形式表达。常见的拆解规则为：
1)任意一行中非零元素个数最多为1(表示一个视频目标最多与一个雷达目标相关联)；
2)任意一列中非零元素个数最多为1(表示一个雷达目标最多与一个视频目标相关联)；
基于此，部分可行的拆解结果序列罗列如下：
Figure BDA0002844389210000182
Figure BDA0002844389210000183
其中，第1组中，只有对角线元素非零，关联列表为：A-1,B-2,C-3,D-4。
第2组表达的关联列表为：A-2,B-1,C-4,D-3。
第4组表达的关联列表为：A-0,B-0,0-1,0-2,C-3,D-4。
第6组表达的关联列表为：A-3,B-2,C-1,D-4。
需要说明的是，还有其它很多关联子矩阵未呈现，且每一个关联子阵唯一对应一个关联列表，所有的关联子矩阵可描述所有的关联列表。
随后再确定惩罚值，其中，惩罚值是对没有关联的目标匹配结果设定一个默认的距离值，该距离值通常比较大。例如第4组关联子矩阵中，A-0 表示视频目标A未与任何雷达目标关联，0-1表示雷达目标1未与任何视频目标关联。则：
Dis(A-0)＝DisNon；
Dis(0-1)＝DisNon。
其中，损失值的计算可以通过如下公式进行计算：
lossk＝∑Dis(Vid-Rid)
例如,对于第1组，其损失是为：Dis11+Dis22+Dis33+Dis44。
对于第5组，其损失值是为：Dis12+Dis23+Dis41+2*DisNon。
再选择损失值最小的子矩阵，并将损失值最小的子矩阵作为最终的关联结果，即：
AssoMat＝min{lossk}
上述步骤的整体流程如图9所示：
Step 1:初始化。设置惩罚值、融合目标类型、局部密度阈值等(对应图9中的步骤1)。
Step 2：相机内外参/四点标记。该步的目的是配置视频雷达标定方法所依赖的参数(对应图9中的步骤2)。随后跳转至Step3和Step7。
Step 3：视频目标检测。采用深度学习等人工智能方法，检测目标的个数和位置，并赋予每一个目标唯一的ID(对应图9中的步骤3)，跳转至Step4。
Step 4：视频目标跟踪。该步骤的目的是同一个目标拥有一个稳定的 ID(对应图9中的步骤4),跳转至Step5。
Step 5：提取目标框位置点。基于视频中目标框位置，提取目标框左上点和右下点(对应图9中的步骤5),跳转至Step6。
Step 6：获得虚拟雷达区域。基于视频中目标框位置点，依据视频雷达标定函数和图像映射，计算对应的雷达坐标系中的雷达目标区域。因为该目标在雷达坐标系中的区域是计算而来，记作虚拟雷达目标区域(对应图9中的步骤6)。跳转Step10。
Step 7：获得雷达点云数据。雷达传感器可获得环境中的量测，其中包含源自真实目标的点云数据和其他虚假目标的点云数据(对应图9中的步骤7)。
Step 8：聚类。采用密度聚类方法，获得目标个数以及每个目标对应的点云数据(对应图9中的步骤8)。
Step 9：雷达目标区域。确定每个雷达目标点云数据的矩形外轮廓(对应图9中的步骤9)。
Step 10：时间同步。基于时间戳，可获得成对的雷达和视频数据(对应图9中的步骤10)。
Step 11：任意虚拟和真实雷达目标之间的面距离，确定任意一对虚拟雷达目标和真实雷达目标之间面距离(对应图9中的步骤11)。
Step 12：创建关联矩阵(对应图9中的步骤12)。
Step 13：拆解关联矩阵为子关联矩阵(对应图9中的步骤13)。
Step 14：获得子阵的关联列表。针对每一个子关联矩阵，获得其对应的关联列表(对应图9中的步骤14)。
Step 15：计算损失值。针对每一个关联子阵，计算其损失值(对应图9中的步骤15)。
Step 16：选择最佳关联。从所有关联子阵以及其对应的损失值中，选择损失值最小的关联子阵，并将其作为当前帧融合结果(对应图9中的步骤16)。
Step 17：结束。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于： U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器 (Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像融合方法，其特征在于，包括：
获取对目标场景进行同步拍摄后所得到目标场景的初始像素图像以及初始雷达图像；
对所述初始雷达图像进行聚类标定处理，以得到目标对象在所述初始雷达图像中的第一区域信息；
确定所述初始像素图像中包括的所述目标对象在所述初始雷达图像中的映射区域，并将所述映射区域确定为第二区域信息；
基于所述第一区域信息和所述第二区域信息，确定所述初始像素图像与所述初始雷达图像之间的目标关联序列；
根据所述目标关联序列，对所述初始雷达图像与所述初始像素图像进行融合。
2.根据权利要求1所述的方法，其特征在于，对所述初始雷达图像进行聚类处理，以得到目标对象在所述初始雷达图像中的第一区域信息包括：
对所述初始雷达图像进行聚类计算，以得到所述目标对象所对应的目标点云数据；
在所述初始雷达图像中对所述目标点云数据进行轮廓标定处理，以得到所述第一区域信息。
3.根据权利要求1所述的方法，其特征在于，基于所述第一区域信息和所述第二区域信息确定所述初始像素图像与所述初始雷达图像之间的目标关联序列包括：
确定所述第一区域信息和所述第二区域信息的重合度；
基于所述重合度确定所述初始像素图像与所述初始雷达图像之间的所述目标关联序列。
4.根据权利要求3所述的方法，其特征在于，基于所述重合度确定所述初始像素图像与所述初始雷达图像之间的所述目标关联序列包括：
基于所述重合度，建立所述初始像素图像与所述初始雷达图像之间的初始关联序列，其中，所述初始关联序列用于指示所述第一区域信息和所述第二区域信息的映射关系；
对所述初始关联序列进行拆组，以获取多个关联子序列；
对所述关联子序列进行损失值计算，以得到损失值最小的目标关联子序列；
将所述目标关联子序列确定为所述目标关联序列。
5.根据权利要求4所述的方法，其特征在于，对所述初始关联序列进行拆组，以获取多个关联子序列包括：
根据预设规则对所述初始关联序列进行拆解，以得到多个子序列；
对多个所述子序列进行组合，以得到多个所述关联子序列。
6.根据权利要求4所述的方法，其特征在于，对所述关联子序列进行损失值计算，以得到损失值最小的目标关联子序列包括：
根据所述第一区域信息和所述第二区域信息的重合度确定惩罚值；
基于所述惩罚值，对所述关联子序列进行损失值计算，以得到所述关联子序列的损失值；
对所述损失值进行比较，以得到最小损失值；
将所述最小损失值对应的关联子序列确定为目标关联子序列。
7.一种图像融合装置，其特征在于，包括：
图像采集模块，用于获取对目标场景进行同步拍摄后所得到目标场景的初始像素图像以及初始雷达图像；
聚类模块，用于对所述初始雷达图像进行聚类标定处理，以得到目标对象在所述初始雷达图像中的第一区域信息；
映射确定模块，用于确定所述初始像素图像中包括的所述目标对象在所述初始雷达图像中的映射区域，并将所述映射区域确定为第二区域信息；
关联序列确定模块，用于基于所述第一区域信息和所述第二区域信息确定所述初始像素图像与所述初始雷达图像之间的目标关联序列；
融合模块，用于根据所述目标关联序列，对所述初始雷达图像与所述初始像素图像进行融合。
8.根据权利要求7所述的装置，其特征在于，所述聚类模块包括：
聚类计算单元，用于对所述初始雷达图像进行聚类计算，以得到所述目标对象所对应的目标点云数据；
轮廓标定单元，用于在所述初始雷达图像中对所述目标点云数据进行轮廓标定处理，以得到所述第一区域信息。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法。
CN202011504134.9A 2020-12-17 2020-12-17 一种图像融合方法、装置、存储介质及电子装置 Active CN112766302B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011504134.9A CN112766302B (zh) 2020-12-17 2020-12-17 一种图像融合方法、装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011504134.9A CN112766302B (zh) 2020-12-17 2020-12-17 一种图像融合方法、装置、存储介质及电子装置

Publications (2)

Publication Number Publication Date
CN112766302A true CN112766302A (zh) 2021-05-07
CN112766302B CN112766302B (zh) 2024-03-29

Family

ID=75695300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011504134.9A Active CN112766302B (zh) 2020-12-17 2020-12-17 一种图像融合方法、装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN112766302B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114358662A (zh) * 2022-03-17 2022-04-15 北京闪马智建科技有限公司 一种数据质量评估方法、装置、存储介质及电子装置
CN114840700A (zh) * 2022-05-30 2022-08-02 来也科技(北京)有限公司 结合rpa和ai实现ia的图像检索方法、装置及电子设备
CN115222791A (zh) * 2022-07-15 2022-10-21 小米汽车科技有限公司 目标关联方法、装置、可读存储介质及芯片
CN116071431A (zh) * 2021-11-03 2023-05-05 北京三快在线科技有限公司 一种标定方法、装置、存储介质及电子设备
CN117238143A (zh) * 2023-09-15 2023-12-15 北京卓视智通科技有限责任公司 基于雷达双光谱相机的交通数据融合方法、系统和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法
US10037472B1 (en) * 2017-03-21 2018-07-31 Delphi Technologies, Inc. Automated vehicle object detection system with camera image and radar data fusion
CN108509918A (zh) * 2018-04-03 2018-09-07 中国人民解放军国防科技大学 融合激光点云与图像的目标检测与跟踪方法
CN111462237A (zh) * 2020-04-03 2020-07-28 清华大学 利用多源信息构建四通道虚拟图像的目标距离检测方法
CN111476099A (zh) * 2020-03-09 2020-07-31 深圳市人工智能与机器人研究院 一种目标检测方法、目标检测装置及终端设备
CN111753757A (zh) * 2020-06-28 2020-10-09 浙江大华技术股份有限公司 一种图像识别处理方法及装置
CN111965624A (zh) * 2020-08-06 2020-11-20 北京百度网讯科技有限公司 激光雷达与相机的标定方法、装置、设备和可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106908783A (zh) * 2017-02-23 2017-06-30 苏州大学 基于多传感器信息融合的障碍物检测方法
US10037472B1 (en) * 2017-03-21 2018-07-31 Delphi Technologies, Inc. Automated vehicle object detection system with camera image and radar data fusion
CN108509918A (zh) * 2018-04-03 2018-09-07 中国人民解放军国防科技大学 融合激光点云与图像的目标检测与跟踪方法
CN111476099A (zh) * 2020-03-09 2020-07-31 深圳市人工智能与机器人研究院 一种目标检测方法、目标检测装置及终端设备
CN111462237A (zh) * 2020-04-03 2020-07-28 清华大学 利用多源信息构建四通道虚拟图像的目标距离检测方法
CN111753757A (zh) * 2020-06-28 2020-10-09 浙江大华技术股份有限公司 一种图像识别处理方法及装置
CN111965624A (zh) * 2020-08-06 2020-11-20 北京百度网讯科技有限公司 激光雷达与相机的标定方法、装置、设备和可读存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116071431A (zh) * 2021-11-03 2023-05-05 北京三快在线科技有限公司 一种标定方法、装置、存储介质及电子设备
CN114358662A (zh) * 2022-03-17 2022-04-15 北京闪马智建科技有限公司 一种数据质量评估方法、装置、存储介质及电子装置
CN114358662B (zh) * 2022-03-17 2022-09-13 北京闪马智建科技有限公司 一种数据质量评估方法、装置、存储介质及电子装置
CN114840700A (zh) * 2022-05-30 2022-08-02 来也科技(北京)有限公司 结合rpa和ai实现ia的图像检索方法、装置及电子设备
CN115222791A (zh) * 2022-07-15 2022-10-21 小米汽车科技有限公司 目标关联方法、装置、可读存储介质及芯片
CN115222791B (zh) * 2022-07-15 2023-08-15 小米汽车科技有限公司 目标关联方法、装置、可读存储介质及芯片
CN117238143A (zh) * 2023-09-15 2023-12-15 北京卓视智通科技有限责任公司 基于雷达双光谱相机的交通数据融合方法、系统和装置
CN117238143B (zh) * 2023-09-15 2024-03-22 北京卓视智通科技有限责任公司 基于雷达双光谱相机的交通数据融合方法、系统和装置

Also Published As

Publication number Publication date
CN112766302B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
CN112766302A (zh) 一种图像融合方法、装置、存储介质及电子装置
Wu et al. Rachis detection and three-dimensional localization of cut off point for vision-based banana robot
US10891500B2 (en) Method and apparatus for acquiring traffic sign information
CN112613381A (zh) 一种图像映射方法、装置、存储介质及电子装置
WO2021037086A1 (zh) 定位方法及装置
CN112700552A (zh) 三维物体检测方法、装置、电子设备及介质
CN113537049B (zh) 地面点云数据处理方法、装置、终端设备及存储介质
WO2021007100A1 (en) Cross-modal sensor data alignment
US11606478B2 (en) Adaptive color transformation to aid computer vision
CN112767496B (zh) 标定方法、设备及系统
WO2022222291A1 (zh) 光轴检测系统的光轴标定方法、装置、终端、系统和介质
CN112348909A (zh) 一种目标定位方法、装置、设备及存储介质
CN110738703A (zh) 定位方法及装置、终端、存储介质
CN115359130B (zh) 雷达和相机的联合标定方法、装置、电子设备及存储介质
CN111709988A (zh) 一种物体的特征信息的确定方法、装置、电子设备及存储介质
CN112991459A (zh) 一种相机标定方法、装置、设备以及存储介质
WO2022088613A1 (zh) 一种机器人的定位方法及装置、设备、存储介质
CN114882115B (zh) 车辆位姿的预测方法和装置、电子设备和存储介质
CN116091701A (zh) 三维重建方法、装置、计算机设备及存储介质
EP3820267A1 (en) Calibrating a crop row computer vision system
CN114419564B (zh) 车辆位姿检测方法、装置、设备、介质及自动驾驶车辆
WO2022083529A1 (zh) 一种数据处理方法及装置
CN114611635A (zh) 一种对象的识别方法、装置、存储介质及电子装置
CN114782496A (zh) 一种对象的跟踪方法、装置、存储介质及电子装置
CN113674205A (zh) 一种基于单目深度摄像头的人体测量的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant