CN112613381A - 一种图像映射方法、装置、存储介质及电子装置 - Google Patents

一种图像映射方法、装置、存储介质及电子装置 Download PDF

Info

Publication number
CN112613381A
CN112613381A CN202011497697.XA CN202011497697A CN112613381A CN 112613381 A CN112613381 A CN 112613381A CN 202011497697 A CN202011497697 A CN 202011497697A CN 112613381 A CN112613381 A CN 112613381A
Authority
CN
China
Prior art keywords
initial
sequence
image
target
association
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011497697.XA
Other languages
English (en)
Inventor
李冬冬
李乾坤
卢维
殷俊
陈文博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202011497697.XA priority Critical patent/CN112613381A/zh
Publication of CN112613381A publication Critical patent/CN112613381A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明实施例提供了一种图像映射方法、装置、存储介质及电子装置，其方法包括：获取对目标场景进行同步拍摄后所得到目标场景的初始像素图像以及初始雷达图像；确定初始像素图像中包括的目标对象在初始雷达图像中的映射坐标，并将映射坐标确定为第一坐标信息；基于第一坐标信息，建立像素图像与雷达图像之间的初始关联序列；对初始关联序列进行拆组，以获取多个关联子序列；对关联子序列进行损失值计算，以得到目标关联序列；根据目标关联序列，对初始雷达图像与初始像素图像进行融合通过本发明，解决了相关技术中图像识别精度低的问题，进而达到了提高图像识别精度的效果。

Description

一种图像映射方法、装置、存储介质及电子装置
技术领域
本发明实施例涉及通信领域，具体而言，涉及一种图像映射方法、装置、存储介质及电子装置。
背景技术
在智能监控中，无歧义和完备的数据是重中之重，而随着智能监控设备的发展，对场景中的对象进行监控的精确度也越来越高；而目前的智能监控设备的监控精度仍有提高的空间。
例如，在对园区进行监控时，若对行人的目标识别错误，将会导致对行人的轨迹监控出现错误，从而影响后续的预警和处理，如声音警示或行人人脸抓拍等。
现有的对象识别均依赖于高精度的传感器或高精度的标定算法，前述识别方式对使用环境有较高要求或需要较高的技术支持，因而不能适用于普通环境；而在不采用高精度的传感器或高精度的标定算法的情况下，则会出现图像识别精度低的问题。
而目前并没有针对上述问题提出有效的解决方案。
发明内容
本发明实施例提供了一种图像映射方法、装置、存储介质及电子装置，以至少解决相关技术中图像识别精度低的问题。
根据本发明的一个实施例，提供了一种图像映射方法，包括：
获取对目标场景进行同步拍摄后所得到目标场景的初始像素图像以及初始雷达图像；
确定所述初始像素图像中包括的所述目标对象在所述初始雷达图像中的映射坐标，并将所述映射坐标确定为第一坐标信息；
基于所述第一坐标信息，建立所述初始像素图像与所述初始雷达图像之间的初始关联序列，其中，所述初始关联序列用于指示所述初始像素图像与所述初始雷达图像之间的映射关系；
对所述初始关联序列进行拆组，以获取多个关联子序列；
对所述关联子序列进行损失值计算，以得到目标关联序列；
根据所述目标关联序列，对所述初始雷达图像与所述初始像素图像进行融合。
在一个示例性实施例中，基于所述第一坐标信息，建立所述像素图像与所述雷达图像之间的初始关联序列包括：
确定所述初始雷达图像中包括的所述目标对象的第二坐标信息；
确定所述第一坐标信息与所述第二坐标信息之间的距离差值；
基于所述距离差值，确定所述初始像素图像与所述初始雷达图像之间的所述初始关联序列。
在一个示例性实施例中，对所述关联子序列进行损失值计算，以得到目标关联序列包括：
对所述关联子序列进行损失值计算，以得到损失值最小的目标关联子序列；
将所述目标关联子序列确定为所述目标关联序列。
在一个示例性实施例中，对所述关联子序列进行损失值计算，以得到损失值最小的目标关联子序列包括：
根据所述第一区域信息和所述第二区域信息的重合度确定惩罚值；
基于所述惩罚值，对所述关联子序列进行损失值计算，以得到所述关联子序列的损失值；
对所述损失值进行比较，以得到最小损失值；
将所述最小损失值对应的关联子序列确定为目标关联子序列。
在一个示例性实施例中，对所述初始关联序列进行拆组，以获取多个关联子序列包括：
根据预设规则对所述初始关联序列进行拆解，以得到多个子序列；
对多个所述子序列进行组合，以得到多个所述关联子序列。
根据本发明的另一个实施例，提供了一种图像映射装置，包括：
图像采集模块，用于获取对目标场景进行同步拍摄后所得到目标场景的初始像素图像以及初始雷达图像；
第一坐标模块，用于确定所述初始像素图像中包括的所述目标对象在所述初始雷达图像中的映射坐标，并将所述映射坐标确定为第一坐标信息；
初始序列模块，用于基于所述第一坐标信息，建立所述像素图像与所述雷达图像之间的初始关联序列，其中，所述初始关联序列用于指示所述像素图像与所述雷达图像之间的映射关系；
序列拆组模块，用于对所述初始关联序列进行拆组，以获取多个关联子序列；
损失计算模块，用于对所述关联子序列进行损失值计算，以得到目标关联序列；
融合模块，根据所述目标关联序列，对所述初始雷达图像与所述初始像素图像进行融合。
在一个示例性实施例中，所述初始序列模块包括：
第二坐标单元，用于确定所述初始雷达图像中包括的所述目标对象的第二坐标信息；
差值计算单元，用于确定所述第一坐标信息与所述第二坐标信息之间的距离差值；
序列确定单元，用于基于所述距离差值，确定所述初始像素图像与所述初始雷达图像之间的所述初始关联序列。
在一个示例性实施例中，所述损失计算模块包括：
损失计算单元，用于对所述关联子序列进行损失值计算，以得到损失值最小的目标关联子序列；
目标序列确定单元，用于将所述目标关联子序列确定为所述目标关联序列。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，由于将采像素图像中的目标对象映射至雷达图像中，并将像素图像与雷达图像相融合，因而能够对像素图像中的目标对象进行精确识别，从而提高了像素图像的识别精度，因此，可以解决相关技术中图像识别精度低的问题，达到提高图像识别精度的效果。
附图说明
图1是本发明实施例的一种图像映射方法的移动终端的硬件结构框图；
图2是根据本发明实施例的一种图像映射方法的流程图；
图3是根据本发明实施例的表示映射过程的示例图；
图4是根据本发明实施例的一种图像映射装置的结构框图；
图5是根据本发明实施例的具体实施例的表示采集得到的初始雷达图像和初始像素图像；
图6是根据本发明的具体实施例的流程图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种图像映射方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种图像映射方法对应的计算机程序，处理器 102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为 NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中，提供了一种图像映射方法，图2是根据本发明实施例的一种图像映射方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取对目标场景进行同步拍摄后所得到目标场景的初始像素图像以及初始雷达图像；
在本实施例中，获取同步拍摄后得到的目标场景的初始像素图像以及初始雷达图像是为了保证初始像素图像以及初始雷达图像的时间戳一致，从而减少时间戳不一致的图像对于图像识别造成的干扰，进而提高图像识别效率和精度。
其中，初始像素图像可以(但不限于)是图片，也可以是视频，图片的数量可以是一帧，从而减少计算量，也可以是多帧，从而提高图像标定精度；初始像素图像可以(但不限于)是红外图像，也可以是可见光图像，还可以是二者的融合；初始像素图像的获取可以(但不限于)是通过可见光摄像机或可见光传感器对目标区域进行采集得到的，也可以是通过红外光摄像机或红外传感器对目标区域进行采集得到的；初始雷达图像可以 (但不限于)是通过雷达传感器对目标场景进行采集的到的；同步拍摄可以(但不限于)是通过对图像采集设备进行同步处理来实现，也可以是通过根据时间戳对获取的初始像素图像和初始雷达图像进行同步化处理来实现的，还可以是通过其它方式进行处理来实现的；目标场景可以是符合预设条件的理想场景，其中，理想环境是指环境中，存在非常稀疏的目标对象，且目标对象的量测质量好、雷达视频目标匹配无歧义的情况。
步骤S204，确定初始像素图像中包括的目标对象在初始雷达图像中的映射坐标，并将映射坐标确定为第一坐标信息；
在本实施例中，将初始像素图像中包括的目标对象映射至初始雷达图像中是为了确定初始雷达图像中的目标对象与初始像素图像中包括的目标对象之间的关系，从而方便对目标对象进行跟踪。
其中，映射坐标的确定过程可以(但不限于)是将初始像素图像中的像素点(U,V)映射为初始雷达图像中的2D位置坐标(X,Y)，确定方式可以是根据图像采集设备的内外参数进行标定的相机内外参标定方法来实现，也可以是通过四点标定法来实现；确定过程可以通过神经网络模型，也可以是通过预设算法以及神经网络的结合来实现；确定过程的执行可以(但不限于)是通过内设的CPU、FPGA等逻辑运算模块来实现，也可以通过外设的计算机、云处理端来实现，在通过外设的设备实现场景设备的情况下，其数据的传输可以是通过以太网来实现，也可以是通过3G/4G/5G等无线传输网络来实现，还可以是通过其它方式来实现；第一坐标信息可以(但不限于)为初始像素图像中的目标对象映射至初始雷达图像中的坐标信息、区域大小、目标对象的标识ID等信息。
步骤S206，基于第一坐标信息，建立像素图像与雷达图像之间的初始关联序列，其中，初始关联序列用于指示初始像素图像与初始雷达图像之间的映射关系；
在本实施例中，建立初始关联序列是为了确定初始像素图像与初始雷达图像之间的映射关系。
其中，建立的关联序列可以如表1所示：
表1
雷达/视频ID 1 2 3
A Dis11 Dis12 Dis13
B Dis21 Dis22 Dis23
C Dis31 Dis32 Dis33
表中，行表示初始雷达图像中的目标对象，列表示初始像素图像中的目标对象；Disij表示第i个雷达目标与第j个视频目标在直角坐标系中的距离，且满足Disij>0。
进一步的，表1所表示的关联矩阵可进一步简化为如表2所示：
表2
Dis11 Dis12 Dis13
Dis21 Dis22 Dis23
Dis31 Dis32 Dis33
步骤S208，对初始关联序列进行拆组，以获取多个关联子序列；
在本实施例中，对初始关联序列进行拆组是为了获得不同的目标对象的映射方式，从而得到最优的映射方式。
其中，对初始关联序列的拆组可以包括拆解和重组两个步骤，或只包括拆解一个步骤；对初始关联序列的拆组方式可以是以下之一或其组合：
1)任意一行中非零元素个数最多为1(表示一个视频目标最多与一个雷达目标相关联)；
2)任意一列中非零元素个数最多为1(表示一个雷达目标最多与一个视频目标相关联)。
其中，基于上述规则，则表2对应的关联序列的部分拆解结果如下：
Figure RE-GDA0002950889240000091
第1组中，只有对角线元素非零，表达的关联列表为：A-1,B-2,C-3。
第2组表达的关联列表为：A-2,B-1,C-3。
第4组表达的关联列表为：A-0,B-2,C-3,0-1。
第6组表达的关联列表为：A-0,B-1,C-0,0-2,0-3。
需要说明的是，上述序列的拆组结果只是所有拆组结果的一部分，还有其它很多关联子矩阵未呈现。且每一个关联子阵唯一对应一个关联列表，所有的关联子矩阵可描述所有的关联列表。
步骤S2010，对关联子序列进行损失值计算，以得到目标关联序列；
在本实施例中，计算损失值是为了得到映射过程中，像素等元素的损失最少的映射方式。
其中，损失值的计算可以通过如下公式进行计算：
lossk＝∑Dis(Vid-Rid)
式中，lossk为第k个关联子矩阵的损失值。
例如，例如对于第1组，其损失是为：Dis11+Dis22+Dis33。
对于第6组，其损失值是为：Dis21+4*DisNon。
式中，DisNon为惩罚值，而惩罚值用于对没有关联的目标匹配结果设定的一个默认的距离值，该距离值通常比较大。例如前述序列中第4组关联子矩阵中，A-0表示像素图像中的目标对象A未与任何雷达图像中的任何目标对象进行关联，0-1表示雷达图像中的目标对象1未与任何像素图像中的目标对象进行关联，即：
Dis(A-0)＝DisNon；
Dis(0-1)＝DisNon。
步骤S2012，根据目标关联序列，对初始雷达图像与初始像素图像进行融合。
在本实施例中，将初始雷达图像与初始像素图像进行融合是为了令使用人员能够同时了解到初始雷达图像以及像素图像的内容。
其中，融合操作可以(但不限于)是将初始雷达图像和初始像素图像在同一个可视化界面按照相同大小的方式进行并排显示，也可以是在同一个可视化界面按照一大一小的方式进行并排显示，还可以是按照一大一小的方式将较大的图像在可视化界面的中心处进行显示，并将较小的图像在可视化界面的边缘处(例如，右下角)进行显示；融合操作还可以是将其中一个图像中的目标对象截取并粘贴至另一个图像中的对应位置，或者是其它融合方式。
通过上述步骤，由于将采像素图像中的目标对象映射至雷达图像中，并将像素图像与雷达图像相融合，因而能够对像素图像中的目标对象进行精确识别，从而提高了像素图像的识别精度。
其中，上述步骤的执行主体可以为基站、终端等，但不限于此。
在一个可选的实施例中，确定初始像素图像中包括的目标对象在初始雷达图像中的映射坐标，并将映射坐标确定为第一坐标信息包括：
步骤S2042，对初始像素图像进行标识处理，以得到目标对象在初始像素图像中的中心坐标信息；
步骤S2044，根据中心坐标信息，确定初始像素图像中包括的目标对象在初始雷达图像中的映射坐标。
在本实施例中，对初始像素图像进行标识处理是为了确定目标对象在初始像素图像中的位置，随后再对初始像素图像进行映射，以减少映射过程产生的误差。
其中，对初始像素图像进行标识处理可以是用标识框将初始像素图像中的目标对象进行标识，也可以是通过四点标识的方法标识目标对象的轮廓，再用特定形状的标识框将目标对象进行框定，需要说明的是，标识框可以是方形，也可以是圆形，还可以是其它形状，或者是沿位于边缘的目标对象边缘点进行标识的曲线框；标识框的大小可以(但不限于)是根据四点标识的最大坐标和最小坐标之间的差值进行确定，也可以是固定的大小；在采用四点标识的方法进行标识的情况下，可以确定目标对象的中心点的位置，从而得到目标对象在初始像素图像中的中心坐标信息，中心坐标信息包括(但不限于)目标对象的中心点的坐标、标识ID等信息；映射坐标包括目标对象的中心点映射至初始雷达图像的坐标信息，其中，映射方式可以是通过相机内外参标定方法和/或四点标定方法来实现。
例如，如图3所示，基于目标框获得目标对象的中心点，如图3中左图，基于四个标识点提取目标对象的中心点；再依据预设的标定函数，基于每一个目标的中心点，获得对应的雷达坐标；如图3中的右图的三个矩形实心框，此时，右图中的所有标记均是与像素图像的中心点对应的点，而非区域。
在一个可选的实施例中，基于第一坐标信息，建立像素图像与雷达图像之间的初始关联序列包括：
步骤S2062，确定初始雷达图像中包括的目标对象的第二坐标信息；
步骤S2064，确定第一坐标信息与第二坐标信息之间的距离差值；
步骤S2066，基于距离差值，确定初始像素图像与初始雷达图像之间的初始关联序列。
在本实施例中，确定初始雷达图像中包括的目标对象的第二坐标信息是为了确定初始雷达图像中的目标对象的位置，以方便确定初始雷达图像中的目标对象与初始像素图像的目标对象的之间的坐标差异，即确定第一坐标信息与第二坐标信息之间的距离差值，从而判断映射方式是否精确。
其中，第二坐标信息包括(但不限于)初始雷达图像中包括的目标对象的坐标、目标对象的标识ID等信息；第二坐标信息的确定可以(但不限于)是通过雷达图像采集设备对获取的雷达图像进行扫描获得，也可以是将才对目标场景进行雷达图像采集时直接记录目标对象的雷达坐标来获得，还可以是通过其它方式获得；距离差值的计算是计算初始像素图像中的目标对象的中心点的坐标与初始雷达图像中的目标对象的坐标的差值，以确定初始像素图像中的目标对象的映射坐标是否与初始像素图像中的目标对象的雷达坐标重合情况，从而确定映射是否精确；距离差值的计算可以(但不限于)是通过内设的CPU、FPGA等逻辑运算模块来实现，也可以通过外设的计算机、云处理端来实现，在通过外设的设备实现场景设备的情况下，其数据的传输可以是通过以太网来实现，也可以是通过 3G/4G/5G等无线传输网络来实现，还可以是通过其它方式来实现。
需要说明的是，计算得到的距离差值即为前述表1和表2中的Disij 的值；其中，为方便设备识别，可以将大于预设阈值的Disij的值设为1，并将小于预设阈值的Disij的值设为0，也可以是相反的设置方式，即将大于预设阈值的Disij的值设为0，并将小于预设阈值的Disij的值设为 1，还可以是其它设置方式；而当距离为0时，则定义：
Dis(Vid-Rid)＝DisNon，式中，DisNon为惩罚值；
需要说明的是，惩罚值用于对没有关联的目标匹配结果设定的一个默认的距离值，该距离值通常比较大。例如前述序列中第4组关联子矩阵中， A-0表示像素图像中的目标对象A未与任何雷达图像中的任何目标对象进行关联，0-1表示雷达图像中的目标对象1未与任何像素图像中的目标对象进行关联，即：
Dis(A-0)＝DisNon；
Dis(0-1)＝DisNon。
在一个可选的实施例中，对关联子序列进行损失值计算，以得到目标关联序列包括：
步骤S20102，对关联子序列进行损失值计算，以得到损失值最小的目标关联子序列；
步骤S20104，将目标关联子序列确定为目标关联序列。
在本实施例中，确定损失值最小的目标关联子序列是为了确定初始雷达图像与初始像素图像的最优关联方式。
其中，损失值的计算可以通过如下公式进行计算：
lossk＝∑Dis(Vid-Rid)
而损失值最小的关联子矩阵可以表示为：
AssoMat＝min{lossk}
例如，前述序列中，对于第1组，其损失是为：Dis11+Dis22+Dis33。
对于第6组，其损失值是为：Dis21+4*DisNon。
在一个可选的实施例中，对关联子序列进行损失值计算，以得到损失值最小的目标关联子序列包括：
步骤S201022，根据第一坐标信息和第二坐标信息的距离差值确定惩罚值；
步骤S201024，基于惩罚值，对关联子序列进行损失值计算，以得到关联子序列的损失值；
步骤S201026，对损失值进行比较，以得到最小损失值；
步骤S201028，将最小损失值对应的关联子序列确定为目标关联子序列。
在本实施例中，对损失值的比较方式可以(但不限于)是将获得的损失值依次与所有的损失值进行比较，并进行排序来获得，也可以是两两进行比较，并将两两比较中的较小值与另一组比较得到的较小值进行比较，以此类推，还可以是通过其它比较方式来获得。
在一个可选的实施例中，对初始关联序列进行拆组，以获取多个关联子序列包括：
步骤S2082，根据预设规则对初始关联序列进行拆解，以得到多个子序列；
步骤S2084，对多个子序列进行组合，以得到多个关联子序列。
在本实施例中，对初始关联序列进行拆解是为了确定不同区域的目标对象的映射结果；对多个子序列进行组合是为了确定不同的映射方式。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如 ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种图像映射装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本发明实施例的一种图像映射装置的结构框图，如图4所示，该装置包括：
图像采集模块42，用于获取对目标场景进行同步拍摄后所得到目标场景的初始像素图像以及初始雷达图像；
第一坐标模块44，用于确定初始像素图像中包括的目标对象在初始雷达图像中的映射坐标，并将映射坐标确定为第一坐标信息；
初始序列模块46，用于基于第一坐标信息，建立像素图像与雷达图像之间的初始关联序列，其中，初始关联序列用于指示像素图像与雷达图像之间的映射关系；
序列拆组模块48，用于对初始关联序列进行拆组，以获取多个关联子序列；
损失计算模块410，用于对关联子序列进行损失值计算，以得到目标关联序列；
融合模块412，根据目标关联序列，对初始雷达图像与初始像素图像进行融合。
在一个可选的实施例中，第一坐标模块44包括：
标识单元442，对初始像素图像进行标识处理，以得到目标对象在初始像素图像中的中心坐标信息；
映射单元444，根据中心坐标信息，确定初始像素图像中包括的目标对象在初始雷达图像中的映射坐标。
在一个可选的实施例中，初始序列模块46包括：
第二坐标单元462，用于确定初始雷达图像中包括的目标对象的第二坐标信息；
差值计算单元464，用于确定第一坐标信息与第二坐标信息之间的距离差值；
序列确定单元466，用于基于距离差值，确定初始像素图像与初始雷达图像之间的初始关联序列。
在一个可选的实施例中，损失计算模块410包括：
损失计算单元4102，用于对关联子序列进行损失值计算，以得到损失值最小的目标关联子序列；
目标序列确定单元4104，用于将目标关联子序列确定为目标关联序列。
在一个可选的实施例中，损失计算单元4102包括：
惩罚值确定子单元41022，用于根据第一坐标信息和第二坐标信息的距离差值确定惩罚值；
损失值计算子单元41024，用于基于惩罚值，对关联子序列进行损失值计算，以得到关联子序列的损失值；
比较子单元41026，用于对损失值进行比较，以得到最小损失值；
序列确定子单元41028，用于将最小损失值对应的关联子序列确定为目标关联子序列。
在一个可选的实施例中，序列拆组模块48包括：
序列拆解单元482，用于根据预设规则对初始关联序列进行拆解，以得到多个子序列；
序列组合单元484，用于对多个子序列进行组合，以得到多个关联子序列。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
下面结合具体实施例对本发明进行说明。
如图5所示，视频智能图像(对应图5中的左图)和雷达跟踪图像(对应图5中的右图)均可准确地检测行人的个数和位置(除去目标在传感器监控范围之外和遮挡情况)，其中，视频跟踪算法可实时给出目标框的位置，因此，可建立目标序列以及对应的目标框序列：
Vtrg1，BoxPt1
Vtrg2，BoxPt2
Vtrg3，BoxPt3
…
其中，Vtrgi表示视频目标序列，BoxPti表示视频目标框位置，即：
Figure RE-GDA0002950889240000171
式中，
Figure RE-GDA0002950889240000172
分别表示左上，右上，左下，右下四个点的像素坐标。
同理，雷达可检测和跟踪行人的个数和位置，可建立如下目标序列：
Rtrg1，CartPt1
Rtrg2，CartPt2
Rtrg3，CartPt3
…
其中Rtrgi表示雷达目标序列，CartPti表示雷达目标点位置。
随后经过匹配算法处理的视频雷达量测数据组。基于视频雷达量测数据组，可构建如下映射关系：
Rtrgi＝F(Vtrgj) (2)
Vtrgi＝G(Rtrgj) (3)
F＝G-1 (4)
G＝F-1 (5)
其中，F(*)将视频目标ID一一映射为雷达目标ID，G(*)将雷达目标 ID一一映射为视频目标ID。
其中，F(*)和G(*)可以通过如下方式得到：
先通过相机内外参标定方法和/或四点标定方法获得视频像素点(U,V) 对应的雷达2D位置(X,Y)，再建立如前述表1和表2所示的关联序列，并根据如下规则对关联序列进行拆组：
1)任意一行中非零元素个数最多为1(表示一个雷达目标最多与一个视频目标相关联)；
2)任意一列中非零元素个数最多为1(表示一个视频目标最多与一个雷达目标相关联)；
基于此，部分可行/可能的拆解结果序列罗列如下：
Figure RE-GDA0002950889240000181
第1组中，只有对角线元素非零，表达的关联列表为：A-1,B-2,C-3。
第2组表达的关联列表为：A-2,B-1,C-3。
第4组表达的关联列表为：A-0,B-2,C-3,0-1。
第6组表达的关联列表为：A-0,B-1,C-0,0-2,0-3。
需要说明的是，还有其它很多关联子矩阵未呈现。每一个关联子阵唯一对应一个关联列表，也对应一种可能的关联/匹配关系，所有的关联子矩阵可描述所有的匹配关系。
随后根据上述序列设置惩罚值，并计算序列的损失值，以得到损失值最小的关联序列，并将损失值最小的关联序列作为目标关联序列，随后根据目标关联序列对图像进行融合。
上述步骤如图6所示：
Step 1:初始化。设置惩罚值，融合目标类型等(对应图6中步骤1)，并跳转Step2。
Step 2：相机内外参/四点标记。该步的目的是配置视频雷达标定方法所依赖的参数(对应图6中步骤2)，并跳转Step3和Step7。
Step 3：视频目标检测(对应图6中步骤3)。在本实施例中，采用深度学习等人工智能方法，检测目标的个数和位置，并赋予每一个目标唯一的ID，并跳转Step4。
Step 4：视频目标跟踪(对应图6中步骤4)。该步骤的目的是同一个目标拥有一个稳定的ID，并跳转Step5。
Step 5：提取目标中心点(对应图6中步骤5)。基于视频中目标框位置，提取目标中心点，并跳转Step6。
Step 6：获得虚拟雷达位置(对应图6中步骤6)。基于视频中目标框位置，依据视频雷达标定函数，计算对应的雷达坐标系中的目标位置。因为该目标在雷达坐标系中的点位置是计算而来，记作虚拟雷达目标位置，对应于图3右图中的矩形点，并跳转Step8。
Step 7：雷达传感器目标(对应图6中步骤7)。雷达传感器可获得目标的个数以及对应的目标点位置，对应于图3右图中圆形点，并跳转Step8。
Step 8：时间同步(对应图6中步骤8)。基于时间戳，可获得成对的雷达和视频数据，并跳转Step9。
Step 9：创建关联矩阵(对应图6中步骤9)，并跳转Step10。
Step 10：拆解关联矩阵为子关联矩阵(对应图6中步骤10)，并跳转 Step11。
Step 11：获得子阵的关联列表(对应图6中步骤11)。针对每一个子关联矩阵，获得其对应的关联列表，跳转Step12。
Step 12：计算损失值(对应图6中步骤12)。针对每一个关联子阵，计算其损失值，跳转Step13。
Step 13：选择最佳关联(对应图6中步骤13)。从所有关联子阵以及其对应的损失值中，选择损失值最小的关联子阵，并将其作为当前帧融合结果。跳转Step14。
Step 14：结束。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于： U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器 (Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像映射方法，其特征在于，包括：
获取对目标场景进行同步拍摄后所得到目标场景的初始像素图像以及初始雷达图像；
确定所述初始像素图像中包括的目标对象在所述初始雷达图像中的映射坐标，并将所述映射坐标确定为第一坐标信息；
基于所述第一坐标信息，建立所述初始像素图像与所述初始雷达图像之间的初始关联序列，其中，所述初始关联序列用于指示所述初始像素图像与所述初始雷达图像之间的映射关系；
对所述初始关联序列进行拆组，以获取多个关联子序列；
对所述关联子序列进行损失值计算，以得到目标关联序列；
根据所述目标关联序列，对所述初始雷达图像与所述初始像素图像进行融合。
2.根据权利要求1所述的方法，其特征在于，基于所述第一坐标信息，建立所述像素图像与所述雷达图像之间的初始关联序列包括：
确定所述初始雷达图像中包括的所述目标对象的第二坐标信息；
确定所述第一坐标信息与所述第二坐标信息之间的距离差值；
基于所述距离差值，确定所述初始像素图像与所述初始雷达图像之间的所述初始关联序列。
3.根据权利要求2所述的方法，其特征在于，对所述关联子序列进行损失值计算，以得到目标关联序列包括：
对所述关联子序列进行损失值计算，以得到损失值最小的目标关联子序列；
将所述目标关联子序列确定为所述目标关联序列。
4.根据权利要求3所述的方法，其特征在于，对所述关联子序列进行损失值计算，以得到损失值最小的目标关联子序列包括：
根据所述第一坐标信息和所述第二坐标信息的距离差度确定惩罚值；
基于所述惩罚值，对所述关联子序列进行损失值计算，以得到所述关联子序列的损失值；
对所述损失值进行比较，以得到最小损失值；
将所述最小损失值对应的关联子序列确定为目标关联子序列。
5.根据权利要求1所述的方法，其特征在于，对所述初始关联序列进行拆组，以获取多个关联子序列包括：
根据预设规则对所述初始关联序列进行拆解，以得到多个子序列；
对多个所述子序列进行组合，以得到多个所述关联子序列。
6.一种图像映射装置，其特征在于，包括：
图像采集模块，用于获取对目标场景进行同步拍摄后所得到目标场景的初始像素图像以及初始雷达图像；
第一坐标模块，用于确定所述初始像素图像中包括的目标对象在所述初始雷达图像中的映射坐标，并将所述映射坐标确定为第一坐标信息；
初始序列模块，用于基于所述第一坐标信息，建立所述初始像素图像与所述初始雷达图像之间的初始关联序列，其中，所述初始关联序列用于指示所述初始像素图像与所述初始雷达图像之间的映射关系；
序列拆组模块，用于对所述初始关联序列进行拆组，以获取多个关联子序列；
损失计算模块，用于对所述关联子序列进行损失值计算，以得到目标关联序列；
融合模块，根据所述目标关联序列，对所述初始雷达图像与所述初始像素图像进行融合。
7.根据权利要求6所述的装置，其特征在于，所述初始序列模块包括：
第二坐标单元，用于确定所述初始雷达图像中包括的所述目标对象的第二坐标信息；
差值计算单元，用于确定所述第一坐标信息与所述第二坐标信息之间的距离差值；
序列确定单元，用于基于所述距离差值，确定所述初始像素图像与所述初始雷达图像之间的所述初始关联序列。
8.根据权利要求6所述的装置，其特征在于，所述损失计算模块包括：
损失计算单元，用于对所述关联子序列进行损失值计算，以得到损失值最小的目标关联子序列；
目标序列确定单元，用于将所述目标关联子序列确定为所述目标关联序列。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至5任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至5任一项中所述的方法。
CN202011497697.XA 2020-12-17 2020-12-17 一种图像映射方法、装置、存储介质及电子装置 Pending CN112613381A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011497697.XA CN112613381A (zh) 2020-12-17 2020-12-17 一种图像映射方法、装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011497697.XA CN112613381A (zh) 2020-12-17 2020-12-17 一种图像映射方法、装置、存储介质及电子装置

Publications (1)

Publication Number Publication Date
CN112613381A true CN112613381A (zh) 2021-04-06

Family

ID=75240307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011497697.XA Pending CN112613381A (zh) 2020-12-17 2020-12-17 一种图像映射方法、装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN112613381A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113469130A (zh) * 2021-07-23 2021-10-01 浙江大华技术股份有限公司 一种遮挡目标检测方法、装置、存储介质及电子装置
CN113542800A (zh) * 2021-06-28 2021-10-22 宜宾中星技术智能系统有限公司 视频画面定标方法、装置、终端设备
CN114710228A (zh) * 2022-05-31 2022-07-05 杭州闪马智擎科技有限公司 一种时间的同步方法、装置、存储介质及电子装置
CN115409839A (zh) * 2022-11-01 2022-11-29 北京闪马智建科技有限公司 基于像素分析模型的道路声屏障隐患识别方法及装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542800A (zh) * 2021-06-28 2021-10-22 宜宾中星技术智能系统有限公司 视频画面定标方法、装置、终端设备
CN113469130A (zh) * 2021-07-23 2021-10-01 浙江大华技术股份有限公司 一种遮挡目标检测方法、装置、存储介质及电子装置
CN114710228A (zh) * 2022-05-31 2022-07-05 杭州闪马智擎科技有限公司 一种时间的同步方法、装置、存储介质及电子装置
CN114710228B (zh) * 2022-05-31 2022-09-09 杭州闪马智擎科技有限公司 一种时间的同步方法、装置、存储介质及电子装置
CN115409839A (zh) * 2022-11-01 2022-11-29 北京闪马智建科技有限公司 基于像素分析模型的道路声屏障隐患识别方法及装置

Similar Documents

Publication Publication Date Title
CN112613381A (zh) 一种图像映射方法、装置、存储介质及电子装置
CN110738143B (zh) 定位方法及装置、设备、存储介质
CN108335353B (zh) 动态场景的三维重建方法、装置和系统、服务器、介质
CN112766302B (zh) 一种图像融合方法、装置、存储介质及电子装置
US20180307924A1 (en) Method and apparatus for acquiring traffic sign information
CN110675457B (zh) 定位方法及装置、设备、存储介质
CN110197510B (zh) 双目相机的标定方法、装置、无人机和存储介质
CN113592989B (zh) 一种三维场景的重建系统、方法、设备及存储介质
CN111862180B (zh) 一种相机组位姿获取方法、装置、存储介质及电子设备
WO2023016188A1 (zh) 地图的绘制方法和装置、扫地机、存储介质、电子装置
CN110738703B (zh) 定位方法及装置、终端、存储介质
CN112700552A (zh) 三维物体检测方法、装置、电子设备及介质
CN113132717A (zh) 数据处理方法、终端和服务器
CN112348909A (zh) 一种目标定位方法、装置、设备及存储介质
CN113537049A (zh) 地面点云数据处理方法、装置、终端设备及存储介质
CN115953483A (zh) 一种参数标定方法、装置、计算机设备及存储介质
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
JP2023503750A (ja) ロボットの位置決め方法及び装置、機器、記憶媒体
CN115471574B (zh) 外参的确定方法、装置、存储介质及电子装置
CN114611635B (zh) 一种对象的识别方法、装置、存储介质及电子装置
CN116091701A (zh) 三维重建方法、装置、计算机设备及存储介质
CN111311690B (zh) 一种深度相机的标定方法、装置、终端及计算机存储介质
CN114359425A (zh) 正射图像生成方法及装置、正射指数图生成方法及装置
CN113469130A (zh) 一种遮挡目标检测方法、装置、存储介质及电子装置
CN113674205A (zh) 一种基于单目深度摄像头的人体测量的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination