CN114371475A - 一种优化标定参数的方法、系统、设备及计算机存储介质 - Google Patents

一种优化标定参数的方法、系统、设备及计算机存储介质 Download PDF

Info

Publication number
CN114371475A
CN114371475A CN202111622510.9A CN202111622510A CN114371475A CN 114371475 A CN114371475 A CN 114371475A CN 202111622510 A CN202111622510 A CN 202111622510A CN 114371475 A CN114371475 A CN 114371475A
Authority
CN
China
Prior art keywords
radar
image
target
coordinate system
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111622510.9A
Other languages
English (en)
Inventor
陈向阳
李冬冬
李乾坤
殷俊
向超
李响
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202111622510.9A priority Critical patent/CN114371475A/zh
Publication of CN114371475A publication Critical patent/CN114371475A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/585—Velocity or trajectory determination systems; Sense-of-movement determination systems processing the video signal in order to evaluate or display the velocity value
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明涉及计算机技术领域，提供了一种优化标定参数的方法、系统、设备及计算机存储介质，该方法包括：获取同一时刻采集的雷达数据和图像数据，根据雷达数据确定当前时刻的雷达目标，对图像数据进行目标检测，获得当前时刻的图像目标；利用标定参数将图像目标和雷达目标映射至雷达坐标系中，获得图像目标对应的图像坐标和雷达目标对应的雷达坐标，当连续多个时刻图像坐标和雷达坐标之间的距离小于预设值时，根据图像坐标和雷达坐标计算修正矩阵；其中，标定参数为雷达坐标系和图像坐标系之间的映射参数，修正矩阵为图像坐标系经过标定参数映射后和雷达坐标系之间的误差；使用修正矩阵修正标定参数。

Description

一种优化标定参数的方法、系统、设备及计算机存储介质
技术领域
本发明涉及计算机技术领域，特别涉及一种优化标定参数的方法、系统、设备及计算机存储介质。
背景技术
目前，基于雷达和视频一体机的监控技术在安防领域越来越受到重视。雷达以高检测概率获得移动目标的量测信息(空间位置和运动速度信息)，但雷达无法获得较高的目标识别类率；视频或图像可获得高准确率的目标识别信息，但不易获得目标的运动信息和空间位置信息。若将雷达和视频数据有效融合，便可获得更高的目标识别准确率、运动信息和空间位置信息，因此，雷达和视频一体机(简称：雷视设备)得到了广泛应用。
但在实际应用中，通常将雷视设备安装在一些需要进行监控的场所，例如公园、工地、十字路口、道路、园区出入口、闸机等。而雷视设备在首次安装完成后，需要进行毫米波雷达与相机的联合标定，即确定雷达坐标系与图像坐标系之间的映射关系。融合结果没有反馈给标定算法，无法对标定参数进行修正。标定过程完成后，标定参数随即被确定，匹配融合不具备动态调节能力，对环境的适应能力也不高。
鉴于此，如何提高雷视设备中雷达和视频目标匹配融合结果的环境适应能力，成为了亟待解决的技术问题。
发明内容
本发明提供一种优化标定参数的方法、系统、设备及计算机存储介质，用于解决现有技术中雷视设备中雷达和视频目标匹配融合结果的环境适应能力较低的技术问题。
本发明第一方面提供了一种优化标定参数的方法，所述优化标定参数的方法包括：
获取同一时刻采集的雷达数据和图像数据，根据所述雷达数据确定当前时刻的雷达目标，对所述图像数据进行目标检测，获得当前时刻的图像目标；
利用标定参数将所述图像目标和所述雷达目标映射至雷达坐标系中，获得所述图像目标对应的图像坐标和所述雷达目标对应的雷达坐标，当连续多个时刻所述图像坐标和所述雷达坐标之间的距离小于预设值时，根据所述图像坐标和所述雷达坐标计算修正矩阵；其中，所述标定参数为所述雷达坐标系和图像坐标系之间的映射参数，所述修正矩阵为所述图像坐标系经过所述标定参数映射后和所述雷达坐标系之间的误差；
使用所述修正矩阵修正所述标定参数。
可选的，根据所述雷达数据确定当前时刻的雷达目标，包括：
使用卡尔曼滤波过滤所述雷达数据中的干扰数据，对过滤后的雷达数据进行识别，获得所述雷达数据对应的雷达目标。
可选的，对所述图像数据进行目标检测，获得当前时刻的图像目标，包括：
利用所述标定参数将所述雷达目标映射至图像坐标系中，获得所述雷达目标在所述图像坐标系中对应的雷达目标坐标；
根据所述雷达目标坐标，在所述图像数据中生成一个预设大小的感兴趣区域；
在所述感兴趣区域中进行目标检测，获得所述图像数据对应的图像目标。
可选的，在所述感兴趣区域中进行目标检测，获得所述图像数据对应的图像目标，包括：
在所述感兴趣区域中进行目标检测，获得所述感兴趣区域的目标检测结果；其中，所述目标检测结果为在所述感兴趣区域中检测到的目标的最小外接矩形；
将和所述雷达目标坐标之间的距离最小的目标检测结果作为所述图像目标。
可选的，利用标定参数将所述图像目标和所述雷达目标映射至雷达坐标系中，获得所述图像目标对应的图像坐标和所述雷达目标对应的雷达坐标，包括：
根据所述标定参数，将所述图像目标映射至所述雷达坐标系中，将所述图像目标在所述雷达坐标系统中映射的位置对应的坐标作为所述图像坐标；
使用所述标定参数计算所述雷达目标在所述雷达坐标系中的坐标，将所述雷达目标在所述雷达坐标系中的坐标作为所述雷达坐标。
可选的，连续多个时刻所述图像坐标和所述雷达坐标之间的距离小于预设值时，根据所述图像坐标和所述雷达坐标计算修正矩阵，包括：
当连续多个时刻所述图像坐标和所述雷达坐标之间的距离小于预设值时，将所述多个时刻的所述图像坐标和所述雷达坐标配对存储；
将配对存储的所述多个时刻的所述图像坐标和所述雷达坐标输入预设的误差函数中，根据非线性优化的方法计算出当所述误差函数的函数值最小时对应的所述修正矩阵；其中所述预设的误差函数用于表征图像坐标和雷达坐标之间的误差，所述修正矩阵用于表征所述图像目标的实际位置和所述图像坐标所表示的位置之间的误差。
第二方面，本申请实施例提供一种优化标定参数的装置，应用于雷视设备中，所述雷视设备中包含雷达装置和摄像头装置，所述装置包括：
数据采集单元，用于获取同一时刻采集的雷达数据和图像数据，根据所述雷达数据确定当前时刻的雷达目标，对所述图像数据进行目标检测，获得当前时刻的图像目标；
修正矩阵计算单元，用于利用标定参数将所述图像目标和所述雷达目标映射至雷达坐标系中，获得所述图像目标对应的图像坐标和所述雷达目标对应的雷达坐标，当连续多个时刻所述图像坐标和所述雷达坐标之间的距离小于预设值时，根据所述图像坐标和所述雷达坐标计算修正矩阵；其中，所述标定参数为所述雷达坐标系和图像坐标系之间的映射参数，所述修正矩阵为所述图像坐标系经过所述标定参数映射后和所述雷达坐标系之间的误差；
标定参数调整单元，用于使用所述修正矩阵修正所述标定参数。
第三方面，本申请实施例提供一种优化标定参数的设备，包括：
至少一个处理器，以及
与所述至少一个处理器连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令执行如第一方面任一项所述的方法。
第四方面，本申请实施例提供一种计算机存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如第一方面任一项所述的方法。
第五方面，本申请实施例提供一种计算机程序产品，所述计算机程序产品包括可执行程序，该可执行程序被处理器执行实现如第一方面任一项所述的方法。
本申请实施例中的技术方案具有以下有益效果：获取同一时刻采集的雷达数据和图像数据，根据雷达数据确定当前时刻的雷达目标，对图像数据进行目标检测，获得当前时刻的图像目标；利用标定参数将图像目标和雷达目标映射至雷达坐标系中，获得图像目标对应的图像坐标和雷达目标对应的雷达坐标，当连续多个时刻图像坐标和雷达坐标之间的距离小于预设值时，根据图像坐标和雷达坐标计算修正矩阵；其中，标定参数为雷达坐标系和图像坐标系之间的映射参数，修正矩阵为图像坐标系经过标定参数映射后和雷达坐标系之间的误差；使用修正矩阵修正标定参数，从而让标定参数能够根据实时的雷视目标检测结果，进行动态修正，降低了标定参数的误差，同时降低了雷视设备对标定过程的依赖，增强了在不同场景中的适应性。
附图说明
图1是本发明实施例提供的一种优化标定参数的方法的流程图；
图2是本发明实施例提供的一种雷视设备的结构示意图；
图3是本发明实施例提供的一种获取图像目标和雷达目标的示意图；
图4是本发明实施例提供的一种从图像数据中获取图像目标的示意图；
图5是本发明实施例提供的一种优化标定参数的装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
现有技术中，雷视设备通常会通过摄像头和雷达，分别识别视频目标和雷达目标，然后将视频目标和雷达目标进行匹配融合获得融合结果。在进行雷达目标与视频目标的匹配融合之前，需要进行毫米波雷达与相机的联合标定，即确定雷达坐标系与图像坐标系之间的映射关系。但在现有技术中融合结果没有反馈给标定算法，无法对标定参数进行修正。标定过程完成后，标定参数随即被确定，匹配融合不具备动态调节能力，对环境的适应能力也不高。
本发明提供一种优化标定参数的方法、系统、设备及计算机存储介质，用于解决现有技术中雷视设备中雷达和视频目标匹配融合结果的环境适应能力较低的技术问题。
下面结合说明书附图介绍本申请实施例提供的技术方案。
请参见图1，本发明提供一种优化标定参数的方法，该方法包括：
S101、获取同一时刻采集的雷达数据和图像数据，根据雷达数据确定当前时刻的雷达目标，对图像数据进行目标检测，获得当前时刻的图像目标；
S102、利用标定参数将图像目标和雷达目标映射至雷达坐标系中，获得图像目标对应的图像坐标和雷达目标对应的雷达坐标，当连续多个时刻图像坐标和雷达坐标之间的距离小于预设值时，根据图像坐标和雷达坐标计算修正矩阵；其中，标定参数为雷达坐标系和图像坐标系之间的映射参数，修正矩阵为图像坐标系经过标定参数映射后和雷达坐标系之间的误差；
S103、使用修正矩阵修正标定参数。
其中，根据雷达数据确定当前时刻的雷达目标，包括：使用卡尔曼滤波过滤雷达数据中的干扰数据，对过滤后的雷达数据进行识别，获得雷达数据对应的雷达目标。
其中，根据标定参数，将图像目标映射至雷达坐标系中，将图像目标在雷达坐标系统中映射的位置对应的坐标作为图像坐标；
使用标定参数计算雷达目标在雷达坐标系中的坐标，将雷达目标在雷达坐标系中的坐标作为雷达坐标。
例如，请参见图2和图3，图2为本发明实施例提供的一种雷视设备的结构示意图，其中包括摄像头21、雷达22和处理器23，摄像头21和雷达22分别采集同一区域同一时刻的图像数据和雷达数据；图3为本发明实施例提供的一种获取图像目标和雷达目标的示意图。用户预设的图像坐标和雷达坐标之间的距离预设值为
Figure BDA0003438644280000061
预先标定获得的标定参数为T。
处理器23接收摄像头21和雷达22采集到的图像数据和雷达数据，首先执行时间同步操作，时间同步执行后，摄像头21和雷达22可以绑定输出同一时刻的雷达数据和图像数据。
当处理器23获取同一时刻的雷达数据和图像数据后，先利用卡曼滤波器处理雷达数据，对处理后的雷达数据进行识别获得对应的雷达目标31。随后在图像数据中使用深度神经网络算法进行目标检测，获得图像数据中的图像目标32此时雷达目标31和图像目标32为一对融合匹配目标。
处理器23根据标定参数T将图像目标32映射至利用雷达数据构建的雷达坐标系统中，获得和图像目标32对应的图像坐标321(2,2)，再计算得到雷达目标31在雷达坐标系统中的雷达坐标311(2,3)。此时雷达坐标311和图像坐标321之间的距离为1，小于预设值
Figure BDA0003438644280000062
因此作为有效目标用于计算修正矩阵。当连续多个时刻均获得有效目标时，构造误差函数为θ＝‖P-MP′‖2，其中P为雷达坐标，P′为图像坐标321，M为修正矩阵。处理器23通过列文伯格-马夸尔特非线性优化方法，计算当误差θ最小化时的修正矩阵M。处理器23利用修正矩阵M修正标定参数T。
在实际应用中，非线性优化方法可以根据实际情况，选择高斯牛顿法、列文伯格-马夸尔特法等方法。
在本发明提供的实施例中，获取同一时刻采集的雷达数据和图像数据，根据雷达数据确定当前时刻的雷达目标，对图像数据进行目标检测，获得当前时刻的图像目标；利用标定参数将图像目标和雷达目标映射至雷达坐标系中，获得图像目标对应的图像坐标和雷达目标对应的雷达坐标，当连续多个时刻图像坐标和雷达坐标之间的距离小于预设值时，根据图像坐标和雷达坐标计算修正矩阵；其中，标定参数为雷达坐标系和图像坐标系之间的映射参数，修正矩阵为图像坐标系经过标定参数映射后和雷达坐标系之间的误差；使用修正矩阵修正标定参数，从而让标定参数能够根据实时的雷视目标检测结果，进行动态修正，降低了标定参数的误差，同时降低了雷视设备对标定过程的依赖，增强了在不同场景中的适应性。
一种可能的实施方式，对图像数据进行目标检测，获得当前时刻的图像目标，包括：
利用标定参数将雷达目标映射至图像坐标系中，获得雷达目标在图像坐标系中对应的雷达目标坐标；根据雷达目标坐标，在图像数据中生成一个预设大小的感兴趣区域；在感兴趣区域中进行目标检测，获得图像数据对应的图像目标。
其中，在感兴趣区域中进行目标检测，获得图像数据对应的图像目标，包括：
在感兴趣区域中进行目标检测，获得感兴趣区域的目标检测结果；其中，目标检测结果为在感兴趣区域中检测到的目标的最小外接矩形；将和雷达目标坐标之间的距离最小的目标检测结果作为图像目标。
例如，请参见图4，图4为本发明实施例提供的一种从图像数据中获取图像目标的示意图，假设当前的标定参数为T。
当处理器23获取同一时刻的雷达数据和图像数据后，先利用卡曼滤波器处理雷达数据，获得对应的雷达目标31。然后利用标定参数T将雷达目标31映射至根据图像数据构建的图像坐标系中，获得和雷达目标31对应的雷达目标坐标312。以雷达目标坐标312为中心，按照用户预设的大小，在摄像头21采集到的同一时刻的图像数据上生成一个指定大小感兴趣区域(region of interest，ROI)313。在ROI313中，利用深度神经网络进行图像目标检测，获得ROI313中所有的图像目标检测结果，将与雷达目标坐标312距离最近的图像目标检测结果作为和雷达目标31对应的图像目标32。
在本发明提供的实施例中，雷视设备通过将雷达目标在图像坐标系中的位置为中心的一定范围设置为ROI，在ROI中进行目标检测，同时选择和雷达目标在图像坐标系中的位置最近的目标检测结果作为图像目标，有效的避免了当图像中干扰目标较多时目标检测结果出现错误的问题，进而提高了雷视设备识别图像目标的准确性。
一种可能的实施方式，当连续多个时刻图像坐标和雷达坐标之间的距离小于预设值时，根据图像坐标和雷达坐标计算修正矩阵，包括：
当连续多个时刻图像坐标和雷达坐标之间的距离小于预设值时，将多个时刻的图像坐标和雷达坐标配对存储；将配对存储的多个时刻的图像坐标和雷达坐标输入预设的误差函数中，根据非线性优化的方法计算出当误差函数的函数值最小时对应的修正矩阵；其中预设的误差函数用于表征图像坐标和雷达坐标之间的误差，修正矩阵用于表征图像目标的实际位置和图像坐标所表示的位置之间的误差。
例如，假设处理器23存储有三个连续时刻下距离小于预设值的图像坐标和雷达坐标，雷达坐标311分别为(x1,y1)、(x2,y2)、(x3,y3)，对应的图像目标32在图像坐标系中的坐标分别为(u1,v1)、(u2,v2)、(u3,v3)，构建的误差函数为θ＝‖P-MP′‖2，标定参数为T。
处理器23首先根据标定参数T计算图像目标32在雷达坐标系统中的图像坐标321，计算方式为：
Figure BDA0003438644280000091
其中(x′，y′)为图像坐标321。则，(u1,v1)对应的图像坐标为(x1′，y1′)、(u2，v2)对应的图像坐标为(x2′，y2′)、(u3，v3)对应的图像坐标为(x3′，y3′)。将雷达坐标311和图像坐标一一对应起来，得到3组有效目标为{(x1,y1),(x1′，y1′)}、{(x2,y2)，(x2′，y2′)}和{(x3,y3)，(x3′，y3′)}。
但由于标定参数T一般有误差，因此计算获得的图像坐标321和图像目标32在雷达坐标系中的真实位置之间也存在误差，而雷达坐标311由于是雷达目标31在雷达坐标系统中的坐标，一般认为没有误差。又因为图像目标32和雷达目标31为同一目标，所以将雷达坐标作为图像目标在雷达坐标系统中的真实位置的坐标，构建一个修正矩阵M，M满足以下公式：
Figure BDA0003438644280000092
其中(x，y)为雷达坐标31。此时，按照处理器23中预设的误差函数θ＝‖P-MP′‖2，让
Figure BDA0003438644280000093
将图像坐标321和雷达坐标311对应的3组有效目标代入误差函数中，利用高斯牛顿法求出当θ最小化时，修正矩阵M的值。
在本发明提供的实施例中，雷视设备通过连续多个时刻的距离小于预设值图像坐标和雷达坐标，计算误差最小时的修正矩阵，进而用修正矩阵修正标定设备，从而让标定参数能够根据实时的雷视目标检测结果，进行动态修正，降低了标定参数的误差。
基于同一发明构思，本发明提供一种优化标定参数的装置，请参见图5，该优化标定参数的装置应用于雷视设备中，雷视设备中包含雷达装置和摄像头装置，装置包括：
数据采集单元501，用于获取同一时刻采集的雷达数据和图像数据，根据雷达数据确定当前时刻的雷达目标，对图像数据进行目标检测，获得当前时刻的图像目标；
修正矩阵计算单元502，用于利用标定参数将图像目标和雷达目标映射至雷达坐标系中，获得图像目标对应的图像坐标和雷达目标对应的雷达坐标，当连续多个时刻图像坐标和雷达坐标之间的距离小于预设值时，根据图像坐标和雷达坐标计算修正矩阵；其中，标定参数为雷达坐标系和图像坐标系之间的映射参数，修正矩阵为图像坐标系经过标定参数映射后和雷达坐标系之间的误差；
标定参数调整单元503，用于使用修正矩阵修正标定参数。
一种可能的实施方式，数据采集单元501还用于：
使用卡尔曼滤波过滤雷达数据中的干扰数据，对过滤后的雷达数据进行识别，获得雷达数据对应的雷达目标。
一种可能的实施方式，数据采集单元501还用于：
用标定参数将雷达目标映射至图像坐标系中，获得雷达目标在图像坐标系中对应的雷达目标坐标；根据雷达目标坐标，在图像数据中生成一个预设大小的感兴趣区域；在感兴趣区域中进行目标检测，获得图像数据对应的图像目标。
一种可能的实施方式，数据采集单元501还用于：
在感兴趣区域中进行目标检测，获得感兴趣区域的目标检测结果；其中，目标检测结果为在感兴趣区域中检测到的目标的最小外接矩形；将和雷达目标坐标之间的距离最小的目标检测结果作为图像目标。
一种可能的实施方式，修正矩阵计算单元502还用于：
根据标定参数，将图像目标映射至雷达坐标系中，将图像目标在雷达坐标系统中映射的位置对应的坐标作为图像坐标；使用标定参数计算雷达目标在雷达坐标系中的坐标，将雷达目标在雷达坐标系中的坐标作为雷达坐标。
一种可能的实施方式，修正矩阵计算单元502还用于：
当连续多个时刻图像坐标和雷达坐标之间的距离小于预设值时，将多个时刻的图像坐标和雷达坐标配对存储；将配对存储的多个时刻的图像坐标和雷达坐标输入预设的误差函数中，根据非线性优化的方法计算出当误差函数的函数值最小时对应的修正矩阵；其中预设的误差函数用于表征图像坐标和雷达坐标之间的误差，修正矩阵用于表征图像目标的实际位置和图像坐标所表示的位置之间的误差。
基于同一发明构思，本发明一实施例提供一种优化标定参数的装置，该基于可见光系统的数据传输的装置可以是个人电脑等电子设备，该装置可以包括：
至少一个处理器，处理器用于执行存储器中存储的计算机程序时实现本申请实施例提供的如上的优化标定参数的方法的步骤。
可选的，处理器具体可以是中央处理器、特定应用集成电路(英文：ApplicationSpecific Integrated Circuit，简称：ASIC)，可以是一个或多个用于控制程序执行的集成电路。
可选的，该数据完整性保护的设备还包括与至少一个处理器连接的存储器，存储器可以包括只读存储器(英文：Read Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)和磁盘存储器。存储器用于存储处理器运行时所需的数据，即存储有可被至少一个处理器执行的指令，至少一个处理器通过执行存储器存储的指令，执行如图一所示的方法。其中，存储器的数量为一个或多个。
基于同一发明构思，本申请实施例还提供一种计算机存储介质，其中，计算机存储介质存储有计算机指令，当计算机指令在计算机上运行时，使得计算机执行如上的优化标定参数的方法的步骤。
基于同一发明构思，本申请实施例还提供一种计算机程序产品，其中计算机程序产品包括可执行程序，该可执行程序被处理器执行实现如上的优化标定参数的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种优化标定参数的方法，应用于雷视设备中，所述雷视设备中包含雷达装置和摄像头装置，其特征在于，所述方法包括：
获取同一时刻采集的雷达数据和图像数据，根据所述雷达数据确定当前时刻的雷达目标，对所述图像数据进行目标检测，获得当前时刻的图像目标；
利用标定参数将所述图像目标和所述雷达目标映射至雷达坐标系中，获得所述图像目标对应的图像坐标和所述雷达目标对应的雷达坐标，当连续多个时刻所述图像坐标和所述雷达坐标之间的距离小于预设值时，根据所述图像坐标和所述雷达坐标计算修正矩阵；其中，所述标定参数为所述雷达坐标系和图像坐标系之间的映射参数，所述修正矩阵为所述图像坐标系经过所述标定参数映射后和所述雷达坐标系之间的误差；
使用所述修正矩阵修正所述标定参数。
2.如权利要求1所述的方法，其特征在于，根据所述雷达数据确定当前时刻的雷达目标，包括：
使用卡尔曼滤波过滤所述雷达数据中的干扰数据，对过滤后的雷达数据进行识别，获得所述雷达数据对应的雷达目标。
3.如权利要求1所述的方法，其特征在于，对所述图像数据进行目标检测，获得当前时刻的图像目标，包括：
利用所述标定参数将所述雷达目标映射至图像坐标系中，获得所述雷达目标在所述图像坐标系中对应的雷达目标坐标；
根据所述雷达目标坐标，在所述图像数据中生成一个预设大小的感兴趣区域；
在所述感兴趣区域中进行目标检测，获得所述图像数据对应的图像目标。
4.如权利要求3所述的方法，其特征在于，在所述感兴趣区域中进行目标检测，获得所述图像数据对应的图像目标，包括：
在所述感兴趣区域中进行目标检测，获得所述感兴趣区域的目标检测结果；其中，所述目标检测结果为在所述感兴趣区域中检测到的目标的最小外接矩形；
将和所述雷达目标坐标之间的距离最小的目标检测结果作为所述图像目标。
5.如权利要求1所述的方法，其特征在于，利用标定参数将所述图像目标和所述雷达目标映射至雷达坐标系中，获得所述图像目标对应的图像坐标和所述雷达目标对应的雷达坐标，包括：
根据所述标定参数，将所述图像目标映射至所述雷达坐标系中，将所述图像目标在所述雷达坐标系统中映射的位置对应的坐标作为所述图像坐标；
使用所述标定参数计算所述雷达目标在所述雷达坐标系中的坐标，将所述雷达目标在所述雷达坐标系中的坐标作为所述雷达坐标。
6.如权利要求1所述的方法，其特征在于，当连续多个时刻所述图像坐标和所述雷达坐标之间的距离小于预设值时，根据所述图像坐标和所述雷达坐标计算修正矩阵，包括：
当连续多个时刻所述图像坐标和所述雷达坐标之间的距离小于预设值时，将所述多个时刻的所述图像坐标和所述雷达坐标配对存储；
将配对存储的所述多个时刻的所述图像坐标和所述雷达坐标输入预设的误差函数中，根据非线性优化的方法计算出当所述误差函数的函数值最小时对应的所述修正矩阵；其中所述预设的误差函数用于表征图像坐标和雷达坐标之间的误差，所述修正矩阵用于表征所述图像目标的实际位置和所述图像坐标所表示的位置之间的误差。
7.一种优化标定参数的装置，应用于雷视设备中，所述雷视设备中包含雷达装置和摄像头装置，其特征在于，所述装置包括：
数据采集单元，用于获取同一时刻采集的雷达数据和图像数据，根据所述雷达数据确定当前时刻的雷达目标，对所述图像数据进行目标检测，获得当前时刻的图像目标；
修正矩阵计算单元，用于利用标定参数将所述图像目标和所述雷达目标映射至雷达坐标系中，获得所述图像目标对应的图像坐标和所述雷达目标对应的雷达坐标，当连续多个时刻所述图像坐标和所述雷达坐标之间的距离小于预设值时，根据所述图像坐标和所述雷达坐标计算修正矩阵；其中，所述标定参数为所述雷达坐标系和图像坐标系之间的映射参数，所述修正矩阵为所述图像坐标系经过所述标定参数映射后和所述雷达坐标系之间的误差；
标定参数调整单元，用于使用所述修正矩阵修正所述标定参数。
8.一种优化标定参数的设备，其特征在于，包括：
至少一个处理器，以及
与所述至少一个处理器连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令执行权利要求1-6中任一项所述的方法。
9.一种计算机存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令在计算机上运行时，使得计算机执行如权利要求1-6中任一项所述的方法。
10.一种计算机程序产品，其特征在于，所述计算机程序产品包括可执行程序，该可执行程序被处理器执行实现如权利要求1-6中任一项所述的方法。
CN202111622510.9A 2021-12-28 2021-12-28 一种优化标定参数的方法、系统、设备及计算机存储介质 Pending CN114371475A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111622510.9A CN114371475A (zh) 2021-12-28 2021-12-28 一种优化标定参数的方法、系统、设备及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111622510.9A CN114371475A (zh) 2021-12-28 2021-12-28 一种优化标定参数的方法、系统、设备及计算机存储介质

Publications (1)

Publication Number Publication Date
CN114371475A true CN114371475A (zh) 2022-04-19

Family

ID=81142891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111622510.9A Pending CN114371475A (zh) 2021-12-28 2021-12-28 一种优化标定参数的方法、系统、设备及计算机存储介质

Country Status (1)

Country Link
CN (1) CN114371475A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782548A (zh) * 2022-04-20 2022-07-22 深圳市旗扬特种装备技术工程有限公司 基于全局图像的雷视数据标定方法、装置、设备及介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114782548A (zh) * 2022-04-20 2022-07-22 深圳市旗扬特种装备技术工程有限公司 基于全局图像的雷视数据标定方法、装置、设备及介质
CN114782548B (zh) * 2022-04-20 2024-03-29 深圳市旗扬特种装备技术工程有限公司 基于全局图像的雷视数据标定方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
US20220180642A1 (en) Object detection for distorted images
CN112336342B (zh) 手部关键点检测方法、装置及终端设备
CN111582054B (zh) 点云数据处理方法及装置、障碍物检测方法及装置
CN105335955A (zh) 对象检测方法和对象检测装置
CN115376109B (zh) 障碍物检测方法、障碍物检测装置以及存储介质
CN108564604B (zh) 基于平面约束和三角剖分的双目视觉立体匹配方法及装置
CN112927309A (zh) 一种车载相机标定方法、装置、车载相机及存储介质
CN112241978A (zh) 一种数据处理的方法和装置
CN111798422A (zh) 棋盘格角点识别方法、装置、设备及存储介质
CN114371475A (zh) 一种优化标定参数的方法、系统、设备及计算机存储介质
CN116977671A (zh) 基于图像空间定位的目标跟踪方法、装置、设备及存储介质
CN116358528A (zh) 地图更新方法、地图更新装置、自移动设备及存储介质
CN107480710B (zh) 特征点匹配结果处理方法和装置
CN111208785B (zh) 一种运动控制方法及装置
CN108022429B (zh) 一种车辆检测的方法及装置
CN112669388B (zh) 激光雷达与摄像装置的标定方法及装置、可读存储介质
CN111028264B (zh) 一种旋转鲁棒的三维物体检测优化方法及装置
CN113643359A (zh) 一种目标对象定位方法、装置、设备及存储介质
CN112686155A (zh) 图像识别方法、装置、计算机可读存储介质及处理器
WO2011047505A1 (en) Data processing system and method
CN117554949B (zh) 一种联动式目标接力跟踪方法和系统
CN116228820B (zh) 一种障碍物检测方法、装置和电子设备、存储介质
CN113487746B (zh) 一种车载点云着色中最优关联影像选择方法及系统
CN117784162B (zh) 目标标注数据获取方法、目标跟踪方法、智能设备及介质
Subedi et al. An extended method of multiple-camera calibration for 3D vehicle tracking at intersections

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination