CN116068504A - 雷达和视频采集设备的标定方法、装置、设备及存储介质 - Google Patents

雷达和视频采集设备的标定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116068504A
CN116068504A CN202111277254.4A CN202111277254A CN116068504A CN 116068504 A CN116068504 A CN 116068504A CN 202111277254 A CN202111277254 A CN 202111277254A CN 116068504 A CN116068504 A CN 116068504A
Authority
CN
China
Prior art keywords
image
target
radar
calibration
newly added
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111277254.4A
Other languages
English (en)
Inventor
张尚迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202111277254.4A priority Critical patent/CN116068504A/zh
Publication of CN116068504A publication Critical patent/CN116068504A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明提供了一种雷达和视频采集设备的标定方法、装置、设备及存储介质，包括：从雷达和视频采集设备针对同一场景采集的数据中，截取雷达图像和对应视频图像并列显示，获取用户选择的雷达目标与对应图像目标作为匹配目标对，基于此计算标定矩阵，得到雷达目标位置标记并在视频图像中显示，作为标定结果，若标定结果不满足要求，则获取用户选择的新增匹配目标对，并重新计算标定矩阵，直至标定结果满足要求。本发明实施例中，用户可从并列显示的针对同一场景的同时刻的雷达数据及视频图像中确定标定点及对应图像目标，无需用户测量标定点准确的雷达坐标和图像坐标，即可以基于实际采集的数据进行标定，提高标定的准确性和可操作性。

Description

雷达和视频采集设备的标定方法、装置、设备及存储介质
技术领域
本发明涉及设备标定技术领域，特别是涉及一种雷达和视频采集设备的标定方法、装置、设备及存储介质。
背景技术
目前，在很多领域为了准确地检测目标对象，会基于雷达采集点云数据和视频采集设备采集的图像来进行定位。例如：交通、安防、汽车等领域，会采用雷达和视频图像进行目标对象检测。
为了保证目标对象的雷达数据和视频图像相对应，需要进行雷达和视频采集设备的标定。标定就是确定两个坐标系之间的转换关系，本申请中指雷达坐标系和图像坐标系之间的转换。
相关技术中，雷达和视频采集设备的标定方法，通常是：首先，在拍摄场景中没有要检测目标对象的情况下，对场景环境进行视频图像采集。再由标定人员的基于对场景环境的认知和场景环境的视频图像，人工在场景环境的雷达显示屏上选择一个四边形，将四边形的四个顶点设置为参与标定的目标点，并估计各个目标点在雷达坐标系中的坐标值。例如：基于视频图像中人行横道的四个点，在雷达显示屏上选择一个四边形与人行横道的四个点对应，为这四个点估计坐标值。然后，基于目标点在雷达坐标系的坐标和视频图像中的坐标，得到标定矩阵。最后，再用标定矩阵，对雷达数据中的其他点进行坐标转换，基于坐标转换结果，得到标定效果，在标定效果满足要求的情况下，完成标定。
这个过程中，需要标定人员不断地根据标定效果调整目标点在雷达坐标系的坐标值，来实现标定。
或者由人工实际测量四个标定点在雷达坐标系中的坐标，通常消耗巨大的人力资源，尤其在设备较多的情况下。
可见，相关技术的标定方法，目标点在雷达坐标系的坐标值是标定人员人工估计的，基于人工估计的坐标值进行的标定，准确性不够高。
发明内容
本发明实施例的目的在于提供一种雷达和视频采集设备的标定方法、装置、设备及存储介质，以提高标定的准确性。具体技术方案如下：
本发明实施的一个方面，提供了一种雷达和视频采集设备的标定方法，包括：
获取雷达和视频采集设备针对同一场景采集的雷达数据和视频数据；
基于所述雷达数据和视频数据，截取包含多个雷达目标的雷达图像和对应的包含多个图像目标的同时刻的视频图像；
将所述视频图像和雷达图像并列显示在显示器上；
获得用户基于当前显示内容选择的至少四个非共线的雷达目标作为标定点，以及各个标定点对应的图像目标，将所述标定点以及对应的图像目标作为匹配目标对；
基于所述各匹配目标对的图像坐标信息和雷达坐标信息，计算当前标定矩阵；
基于所述当前标定矩阵，对所述雷达图像中的各个雷达目标，进行坐标转换，得到各个雷达目标在图像坐标系中的转换后位置信息；
基于所述各个雷达目标的转换后位置信息，生成对应的雷达目标位置标记，在所述视频图像中显示各个雷达目标位置标记，作为标定结果；
获得用户在确定标定结果不满足要求的情况下，基于当前显示内容选择的至少一个非标定点雷达目标作为新增的标定点，以及各个新增的标定点对应的新增的图像目标，将所述新增的标定点以及对应的新增的图像目标作为新增的匹配目标对；返回所述基于所述各匹配目标对的图像坐标信息和雷达坐标信息，计算当前标定矩阵的步骤，直至用户确定标定结果满足要求。
在本发明的一种实施例中，所述获得用户基于当前显示内容选择的至少四个非共线的雷达目标作为标定点，以及各个标定点对应的图像目标的步骤，包括：
基于用户将在所述雷达图像中的至少四个非共线的雷达目标拖拽到所述视频图像中的操作，将该至少四个雷达目标作为标定点，确定各标定点的图像被拖拽到视频图像中的当前位置，获得当前位置对应的图像目标作为该标定点对应的图像目标；
或，
基于用户针对选中的各标定点对视频图像中图像目标的点击操作，将被点击选中的图像目标确定为各标定点对应的图像目标。
在本发明的一种实施例中，所述获得用户在确定标定结果不满足要求的情况下，基于当前显示内容选择的至少一个非标定点雷达目标作为新增的标定点，以及各个新增的标定点对应的新增的图像目标的步骤，包括：
基于用户将在雷达图像中选中的非标定点雷达目标拖拽到视频图像中的操作，将该非标定点雷达目标作为新增的标定点，确定各新增的标定点被拖拽到视频图像的当前位置，获得当前位置对应的图像目标作为该新增的标定点对应的新增的图像目标；
或，
基于用户针对选中的各新增的标定点在视频图像中对图像目标的点击操作，将被点击选中的图像目标确定为各新增的标定点对应的新增的图像目标。
在本发明的一种实施例中，所述图像目标包括：采用图像检测算法检测出目标框的第一图像目标或采用图像检测算法未检测出的第二图像目标；
所述获得用户基于当前显示内容选择的至少四个非共线的雷达目标作为标定点，以及各个标定点对应的图像目标，将所述标定点以及对应的图像目标作为匹配目标对的步骤，包括：
获得用户基于当前显示内容选择的至少四个非共线的雷达目标作为标定点；
基于用户针对选中的各标定点在所述视频图像中，对所述第一图像目标和/或第二图像目标的点击操作，将被点击选中的第一图像目标和/或第二图像目标确定为各标定点对应的图像目标；
所述基于当前显示内容选择的至少一个非标定点雷达目标作为新增的标定点，以及各个新增的标定点对应的新增的图像目标的步骤，包括：
获得用户针对基于当前显示内容选择的至少一个非标定点雷达目标作为新增的标定点；
基于用户针对选中的各新增的标定点在视频图像中，对所述第一图像目标和/或第二图像目标的点击操作，将被点击选中的第一图像目标和/或第二图像目标确定为新增的标定点对应的新增的图像目标。
在本发明的一种实施例中，在所述获得用户基于当前显示内容选择的至少四个非共线的雷达目标作为标定点，以及各个标定点对应的图像目标的步骤中，还包括：基于用户针对图像不清晰的局部输入的图像局部放大指令，对图像局部执行放大操作；和/或，在基于当前显示内容选择的至少一个非标定点雷达目标作为新增的标定点，以及各个新增的标定点对应的新增的图像目标的步骤中，还包括：基于用户针对图像不清晰的局部输入的图像局部放大指令，对图像局部执行放大操作。
本发明实施的第二方面，提供了一种雷达和视频采集设备的标定装置，包括：
数据获取模块，用于获取雷达和视频采集设备针对同一场景采集的雷达数据和视频数据；
截取模块，用于基于所述雷达数据和视频数据，截取包含多个雷达目标的雷达图像和对应的包含多个图像目标的同时刻的视频图像；
显示模块，用于将所述视频图像和雷达图像并列显示在显示器上；
匹配目标对确定模块，用于获得用户基于当前显示内容选择的至少四个非共线的雷达目标作为标定点，以及各个标定点对应的图像目标，将所述标定点以及对应的图像目标作为匹配目标对；
标定矩阵计算模块，用于基于所述各匹配目标对的图像坐标信息和雷达坐标信息，计算当前标定矩阵；
坐标转换模块，用于基于所述当前标定矩阵，对所述雷达图像中的各个雷达目标，进行坐标转换，得到各个雷达目标在图像坐标系中的转换后位置信息；
标定结果获取模块，用于基于所述各个雷达目标的转换后位置信息，生成对应的雷达目标位置标记，在所述视频图像中显示各个雷达目标位置标记，作为标定结果；
新增匹配目标对获取模块，用于获得用户在确定标定结果不满足要求的情况下，基于当前显示内容选择的至少一个非标定点雷达目标作为新增的标定点，以及各个新增的标定点对应的新增的图像目标，将所述新增的标定点以及对应的新增的图像目标作为新增的匹配目标对；返回所述基于所述各匹配目标对的图像坐标信息和雷达坐标信息，计算当前标定矩阵的步骤，直至用户确定标定结果满足要求。
在本发明的一种实施例中，所述匹配目标对确定模块，用于基于用户将在所述雷达图像中的至少四个非共线的雷达目标拖拽到所述视频图像中的操作，将该至少四个雷达目标作为标定点，确定各标定点的图像被拖拽到视频图像中的当前位置，获得当前位置对应的图像目标作为该标定点对应的图像目标；
或，
基于用户针对选中的各标定点对视频图像中图像目标的点击操作，将被点击选中的图像目标确定为各标定点对应的图像目标。
在本发明的一种实施例中，所述新增匹配目标对获取模块，用于基于用户将在雷达图像中选中的非标定点雷达目标拖拽到视频图像中的操作，将该非标定点雷达目标作为新增的标定点，确定各新增的标定点被拖拽到视频图像的当前位置，获得当前位置对应的图像目标作为该新增的标定点对应的新增的图像目标；
或，
基于用户针对选中的各新增的标定点在视频图像中对图像目标的点击操作，将被点击选中的图像目标确定为各新增的标定点对应的新增的图像目标。
在本发明的一种实施例中，所述图像目标包括：采用图像检测算法检测出目标框的第一图像目标或采用图像检测算法未检测出的第二图像目标；
所述匹配目标对确定模块，用于获得用户基于当前显示内容选择的至少四个非共线的雷达目标作为标定点；
基于用户针对选中的各标定点在所述视频图像中，对所述第一图像目标和/或第二图像目标的点击操作，将被点击选中的第一图像目标和/或第二图像目标确定为各标定点对应的图像目标；
所述新增匹配目标对获取模块，用于获得用户针对基于当前显示内容选择的至少一个非标定点雷达目标作为新增的标定点；
基于用户针对选中的各新增的标定点在视频图像中，对所述第一图像目标和/或第二图像目标的点击操作，将被点击选中的第一图像目标和/或第二图像目标确定为新增的标定点对应的新增的图像目标。
在本发明的一种实施例中，所述匹配目标对确定模块，还用于基于用户针对图像不清晰的局部输入的图像局部放大指令，对图像局部执行放大操作；和/或，
所述新增匹配目标对获取模块，还用于基于用户针对图像不清晰的局部输入的图像局部放大指令，对图像局部执行放大操作。
本发明实施的另一方面，还提供了一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的雷达和视频采集设备的标定方法步骤。
本发明实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的雷达和视频采集设备的标定方法步骤
本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的雷达和视频采集设备的标定方法。
本发明实施例有益效果：
本发明实施例提供的雷达和视频采集设备的标定方法，从获取的雷达和视频采集设备针对同一场景采集的雷达数据和视频数据中，截取包含多个雷达目标的雷达图像和对应的包含多个图像目标的同时刻的视频图像，并将该视频图像与雷达图像并列显示，之后获取用户选择的至少四个非共线雷达目标作为标定点，并确定各标定点对应的图像目标，将标定点以及对应的图像目标作为匹配目标对，基于各匹配目标对的图像坐标信息和雷达坐标信息，计算当前标定矩阵，基于该当前标定矩阵，对雷达图像中的各个雷达目标，进行坐标转换，得到各个雷达目标在图像坐标系中的转换后位置信息，基于该位置信息生成对应的雷达目标位置标记，并在所述视频图像中显示各个雷达目标位置标记，作为标定结果，若标定结果不满足要求，则获取用户基于当前显示内容选择的至少一个非标定点雷达目标作为新增的标定点，以及各个新增的标定点对应的新增的图像目标，将新增的标定点及对应的新增图像目标作为新增的匹配目标对，并基于各匹配目标对重新计算标定矩阵，获得标定结果，直至用户确定标定结果满足要求。本发明实施例中，用户可从并列显示的针对同一场景的同时刻的雷达数据及视频图像中确定标定点及对应的图像目标，无需用户给出标定点准确的雷达坐标和图像坐标，使得标定时可以基于实际采集的各数据进行标定，从而提高雷达和视频采集设备标定的准确性和可操作性。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。
图1为本发明实施例提供的雷达和视频采集设备的标定方法的一种流程图；
图2为本发明实施例中视频图像与雷达图像的一种实际显示情况示意图；
图3为本发明实施例中视频图像与雷达图像的一种显示示意图；
图4为本发明实施例中一次标定后的一种效果示意图；
图5为本发明实施例中预设标定位置和坐标转换位置的偏差示例图；
图6为本发明实施例中获取新增标定点对应图像目标的示意图；
图7为本发明实施例中最终标定效果的一种示意图；
图8为本发明实施中实际最终标定效果的示意图；
图9为本发明实施例提供的雷达和视频采集设备的标定装置的一种结构示意图；
图10为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本发明保护的范围。
为了提高雷达和视频采集设备标定的准确性，本发明实施例提供了一种雷达和视频采集设备的标定方法、装置、电子设备及存储介质。
参见图1，图1为本发明实施例提供的雷达和视频采集设备的标定方法的一种流程示意图，该方法具体可以包括以下步骤：
步骤S110，获取雷达和视频采集设备针对同一场景采集的雷达数据和视频数据；
步骤S120，基于所述雷达数据和视频数据，截取包含多个雷达目标的雷达图像和对应的包含多个图像目标的同时刻的视频图像；
步骤S130，将所述视频图像和雷达图像并列显示在显示器上；
步骤S140，获得用户基于当前显示内容选择的至少四个非共线的雷达目标作为标定点，以及各个标定点对应的图像目标，将所述标定点以及对应的图像目标作为匹配目标对；
步骤S150，基于所述各匹配目标对的图像坐标信息和雷达坐标信息，计算当前标定矩阵；
步骤S160，基于所述当前标定矩阵，对所述雷达图像中的各个雷达目标，进行坐标转换，得到各个雷达目标在图像坐标系中的转换后位置信息；
步骤S170，基于所述各个雷达目标的转换后位置信息，生成对应的雷达目标位置标记，在所述视频图像中显示各个雷达目标位置标记，作为标定结果；
步骤S180，获得用户在确定标定结果不满足要求的情况下，基于当前显示内容选择的至少一个非标定点雷达目标作为新增的标定点，以及各个新增的标定点对应的新增的图像目标，将所述新增的标定点以及对应的新增的图像目标作为新增的匹配目标对；返回步骤S150，基于所述各匹配目标对的图像坐标信息和雷达坐标信息，计算当前标定矩阵的步骤，直至用户确定标定结果满足要求。
本发明实施例提供的雷达和视频采集设备的标定方法，从获取的雷达和视频采集设备针对同一场景采集的雷达数据和视频数据中，截取包含多个雷达目标的雷达图像和对应的包含多个图像目标的同时刻的视频图像，并将该视频图像与雷达图像并列显示，之后获取用户选择的至少四个非共线雷达目标作为标定点，并确定各标定点对应的图像目标，将标定点以及对应的图像目标作为匹配目标对，基于各匹配目标对的图像坐标信息和雷达坐标信息，计算当前标定矩阵，基于该当前标定矩阵，对雷达图像中的各个雷达目标，进行坐标转换，得到各个雷达目标在图像坐标系中的转换后位置信息，基于该位置信息生成对应的雷达目标位置标记，并在所述视频图像中显示各个雷达目标位置标记，作为标定结果，若标定结果不满足要求，则获取用户基于当前显示内容选择的至少一个非标定点雷达目标作为新增的标定点，以及各个新增的标定点对应的新增的图像目标，将新增的标定点及对应的新增图像目标作为新增的匹配目标对，并基于各匹配目标对重新计算标定矩阵，获得标定结果，直至用户确定标定结果满足要求。本发明实施例中，用户可从并列显示的针对同一场景的同时刻的雷达数据及视频图像中确定标定点及对应的图像目标，无需用户给出标定点准确的雷达坐标和图像坐标，使得标定时可以基于实际采集的各数据进行标定，从而提高雷达和视频采集设备标定的准确性和可操作性。
本发明实施例中，上述雷达和视频采集设备是针对同一场景安装即可，二者的安装位置可以有角度差异，即可以不安装在同一位置，但二者的安装位置最好保持在同一高度，使得两者采集的雷达数据以及视频数据较为一致。例如，对于路口车辆监控来说，雷达设备和视频采集设备可以统一安装在道路左边，也可以将雷达设备和视频采集设备分别安装在道路的左右两边，且均可安装在离地面5～6m的位置。
本发明实施例中，上述视频采集设备可以是架设在路口的摄像头、相机等，此处不做具体限定，而上述雷达可以是毫米波雷达。毫米波雷达，即工作在毫米波波段探测的雷达，毫米雷达穿透雾、烟、灰尘的能力强，具有全天候(大雨天除外)全天时的特点。同时，毫米波雷达可同时识别多个目标，且可分辨识别很小的目标，另外，毫米波雷达也具备较好的抗干扰性，因此，本发明实施例中，通过使用毫米波雷达可以使得获取的雷达数据较为准确，进一步提高雷达和视频采集设备标定的准确性。
本发明实施例中，在截取雷达图像和同时刻的视频图像时，可以使得雷达图像中的雷达目标或视频图像中的图像目标尽量分布均匀，以进一步提高标定的准确性。
本发明实施例中，在截取上述雷达图像和对应的同时刻视频图像后，可将二者并列显示在显示器上，用户则可基于并列显示的雷达图像中的雷达目标与视频图像中的图像目标，清晰直观地确定出各雷达目标对应的图像目标。
如图2所示，图2是本公开实施例中雷达图像和同时刻视频图像的实际显示示意图，图2中并列显示了从针对同一场景采集的雷达数据和视频数据中截取的雷达图像和对应的同时刻视频图像。图2左侧图像是从视频采集设备采集的视频数据中截取的视频图像，该图像中显示车辆目标外，还可以显示车道号、车辆编号、车型、车速等信息。图2右侧图像则是对应的雷达图像，该雷达图像中除显示车辆对应的雷达目标外，还可以显示车辆编号、行驶轨迹信息。
图3则是本发明实施例中，对实际显示图进行简化得到的雷达目标和视频图像的显示示意图，该视频图像(图3左侧)中包含8个图像目标(小车)，标号分别为1、2、3、4、5、6、7、8，同时刻的雷达图像(图3右侧)中也包含对应的8个由圆点示意的雷达目标，标号也为1、2、3、4、5、6、7、8。
图2、图3所示的雷达图像和视频图像中的各目标都分布地较为均匀，且通过将两张图像并列显示，使得用户可以直观地从该图中看出雷达目标与图像目标的对应关系。
作为本发明实施例的一种具体实施方式，上述步骤S140中，获得用户基于当前显示内容选择的至少四个非共线的雷达目标作为标定点，以及各个标定点对应的图像目标的步骤，具体可以包括：
基于用户将在所述雷达图像中的至少四个非共线的雷达目标拖拽到所述视频图像中的操作，将该至少四个雷达目标作为标定点，确定各标定点的图像被拖拽到视频图像中的当前位置，获得当前位置对应的图像目标作为该标定点对应的图像目标。
用户在选择标定点时，可以使标定点的分布也尽量均匀，避免标定点选取的过于分散或者过于集中，导致标定矩阵的计算误差偏大。用户选取的标定点的数量最好不少于4个，且为了可以正常计算标定矩阵，选取的四个标定点最好不在同一条直线上。
用户选择好标定点后，即可将各标定点拖拽至视频图像中的对应位置。具体的，可以是通过鼠标或触屏拖拽的方式，将上述标定点拖拽到对应的图像目标的下边缘中心位置，系统即可确定标定点被拖拽到的位置是与该标定点对应的图像目标。
在其他的实施例中，还可以通过用户点击的方式确定标定点对应的图像目标。具体的，可以是：基于用户针对选中的各标定点对视频图像中图像目标的点击操作，将被点击选中的图像目标确定为各标定点对应的图像目标。
本公开实施例中，针对一个标定点，可以将该标定点以及其对应的图像目标作为匹配目标对。本公开实施例中，上述匹配目标对可以有多个。
确定上述各匹配目标对后，即可基于各匹配目标对中图像目标的图像坐标信息，以及标定点的雷达坐标信息计算当前标定矩阵。上述雷达坐标即标定点在雷达数据中(雷达坐标系中)的坐标，上述图像坐标即标定点对应的图像目标在视频数据中(图像坐标系中)的坐标。
本发明实施例中，上述当前标定矩阵可采用以下方法计算：
在齐次坐标中，假设一点p(xi,yi,1)经过H矩阵的变换变为p'(x'i,y'i,1)，即p'＝H*p，H即待求的当前标定矩阵，xi,yi为标定点的雷达坐标，i为标定点的标号，x'i,y'i为标定点对应的图像目标的图像坐标。
Figure BDA0003329894120000111
通常，对于透视变换，令h33＝1，此时H矩阵有8个自由度，这样至少需要4对特征点对求解。对于有n>4对特征点的情况(超定方程)，解p′＝H*p方程组可以转化为对齐次方程组A*h＝b的求解。
由公式(1)可知：
Figure BDA0003329894120000121
当标定点数为4时，将其写成矩阵形式：
Figure BDA0003329894120000122
对于有n>4对特征点的情况(超定方程)，解p′＝H*p方程组可以转化为对齐次方程组A*h＝b的求解，可以通过最小二乘的方式求解。通过对系数矩阵A求取特征值和特征向量得到。H矩阵已经求取，后续可以通过随机采样一致性(RANSC)进行精选。
在基于上述标定点及对应图像目标计算出当前标定矩阵后，即可基于该当前标定矩阵以及截取的雷达图像中的各个雷达目标的雷达坐标，对各雷达坐标进行坐标转换，得到各雷达坐标在图像坐标系中的转换后位置信息。
对上述各雷达目标进行坐标转换后，即可按照转换后的位置信息，将各雷达目标显示在视频图像中的对应位置，并观察各雷达目标在视频图像中的对应位置与各雷达目标对应的图像目标的位置的相似情况，判断标定效果是否满足要求，若满足要求，则完成标定。关于标定效果是否满足要求，可以由用户基于实际的实验、使用需求判断。
作为本发明实施例的一种具体实施方式，为了使得标定效果更加直观，可以用不同的颜色区分标定点与非标定点。
基于图3所示的例子，如图4所示，图4是本发明实施例中经过一次标定后的效果示意图：
图4中，用户选择雷达目标1、2、3、5为标定点，并将上述四个标定点拖拽至视频图像中的图像目标1、2、3、5下边缘中央的位置，该位置的坐标可以作为标定点在视频图像的图像坐标系中的坐标。之后基于上述标定点的雷达坐标以及对应的图像坐标计算标定矩阵，并将雷达图像中的所有雷达目标基于上述标定矩阵投影至视频图像中，如图4中左边的图像所示，标定点的投影位置与其对应的图像目标位置完全一致，非标定点中，雷达目标4的投影位置与其对应的图像目标位置之间的误差较小，但距离标定点1、2、3、5较远的雷达目标6、7、8的投影点与其对应的图像目标还是有较大的差距，也就是说，图4中所示的标定效果还未满足要求。
在标定结果不满足要求的情况下，用户可以基于当前显示内容选择其他的非标定点雷达目标作为新增标定点，并选择新增标定点对应的新增图像目标。作为本发明实施例的一种具体实施方式，用户可以基于上述坐标转换结果，从所述雷达数据中非标定点的其他雷达目标中，选择至少一个误差大于预设阈值的雷达目标作为新增标定点。
通过上述步骤S170即可将图像目标与对应雷达标定点的投影点在同一张图像上显示，用户可以直观地从该图中看出与实际的图像目标误差较大的雷达目标的投影点，从而就可选择出各误差较大的投影点对应的雷达目标作为新增标定点。
上述误差一般是指预设标定位置和坐标转换位置的偏差。如在交通场景中，以雷达检测点作为标定点，以图像检测框的下边缘中点作为其预设标定位置，则理论上任一目标的雷达坐标转换后，其在视频图像上坐标转换后的位置都应在图像框的下边缘中点。但由于各种原因，导致标定存在误差，标定点与预设标定位置存在一定偏差。
参见图5，其中，远离车辆图像的深色点P′(x′,y′)为雷达目标根据标定矩阵投射到视频图像上后的坐标位置，邻近车辆图像的浅色点P(x,y)是预设标定位置(即雷达目标在视频图像中的准确位置)。在没有误差的情况下，深色点P′(x′,y′)应与浅色点P(x,y)重合。此时，误差定义为：
x方向误差：Δx＝abs(x-x′)
y方向误差：Δy＝abs(y-y′)
误差的阈值一般根据经验给出，通常，可将Δx、Δy的误差阈值定义为不大于该目标图像检测框的宽、高的一半。
本发明实施例中，可以预设一个x方向阈值和y方向阈值，若上述任一方向误差大于对应的阈值，则可以选择对应的非标定点的雷达目标作为新增的标定点。
本发明实施例中，用户在基于选择的新增标定点选择对应的新增图像目标时，同样可以采用用户拖拽或点击的方式来得到新增图像目标。具体的，可以基于用户将在雷达图像中选中的非标定点雷达目标拖拽到视频图像中的操作，将该非标定点雷达目标作为新增的标定点，确定各新增的标定点被拖拽到视频图像的当前位置，获得当前位置对应的图像目标作为该新增的标定点对应的新增的图像目标。或者，可以基于用户针对选中的各新增的标定点在视频图像中对图像目标的点击操作，将被点击选中的图像目标确定为各新增的标定点对应的新增的图像目标。
作为一种具体实施方式，用户在确定新增标定点之后，即可将上述新增标定点通过鼠标或触屏拖拽的方式，移动到对应的图像目标处。系统即可确定标定点被移动到的位置为标定点对应的图像目标。当然，本发明实施例中，用户也可以通过点击的方式来选择新增标定点以及新增标定点对应的图像目标。具体的，可以是用户通过点击鼠标或屏幕点击的方式选中一个新增标定点，并在图像目标图像中通过点击鼠标或屏幕点击新增标定点对应的图像目标，系统即可将用户选中新增标定点后点击的图像目标确定为标定点对应的图像目标，用户可每选中一个新增标定点，都相应在图像目标图像中点击其对应的图像目标。
在本发明的一种实施例中，图像目标可以包括：采用图像检测算法检测出目标框的第一图像目标或采用图像检测算法未检测出的第二图像目标。
这样，在用户从雷达目标数据中选中标定点或新增标定点后，可以基于用户针对选中的各标定点在所述视频图像中，对所述第一图像目标和/或第二图像目标的点击操作，将被点击选中的第一图像目标和/或第二图像目标确定为各标定点对应的图像目标。也可以，基于用户针对选中的各新增的标定点在视频图像中，对所述第一图像目标和/或第二图像目标的点击操作，将被点击选中的第一图像目标和/或第二图像目标确定为新增的标定点对应的新增的图像目标。
例如：如果采用鼠标或者触屏拖拽的方式确定对应的图像目标，如果图像目标是采用图像检测算法检测出的目标框的第一目标图像，则用户可以将对应的雷达目标拖到图像目标框下边缘中心位置；如果图像目标是采用图像检测算法未检测出的目标框的第二目标图像，则用户可以将对应的雷达目标直接拖到第二目标图像下的中心位置。
如果采用点击方式确定对应的图像目标，则用户可以直接点击第一目标图像的目标框或第二目标图像，即可确定该目标框中的目标或第二目标图像对应的目标为图像目标。
另外，本实施例中，对于在视频图像中远处的目标，由于在图像上尺寸较小，用户看起来不够清晰的情况下。在确定图像目标或新增图像目标的过程中，还可以接收用户针对图像不清晰的局部输入的图像局部放大指令，基于该指令对图像局部执行放大操作，以使用户确定出与标定点或新增标定点准确对应的图像目标。
本发明实施例中，在选定新增标定点以及对应的新增图像目标之后，可以将新增标定点和对应的新增图像目标作为新增匹配目标对，并基于新增匹配目标对和原先的匹配目标对的图像坐标信息和雷达坐标信息，计算新的标定矩阵，并重新对雷达图像中的各雷达目标进行投影，确定标定效果是否满足要求。
基于上述图4举例，如图6所示，由于非标定点6、7、8的投影位置与其对应的图像目标的位置相差较大，因此，可以将雷达目标6、7、8这三个偏差较大的非标定点拖拽至对应图像目标的下边缘中央，并将雷达目标6、7、8加入标定点，重新基于标定点1、2、3、5、6、7、8计算标定矩阵，得到新的当前标定矩阵。
如图7所示，基于新的标定矩阵，将各雷达目标投影至视频图像中，标定点1、2、3、5、6、7、8，以及非标定点4的投影位置均与其对应的图像目标的位置相差较小，因此，标定满足要求，完成标定。
如图8所示，图8是本发明实施例中一种实际标定结果示意图，该图中，各车辆的雷达目标框(车辆上较小的框)与图像目标框(车辆上较大的框)位置重合，也就是说标定结果满足要求，且达到较好的标定效果。
本发明实施例中，上述新增标定点可以是用户手动选择，也可以是通过自动目标匹配实现。
可见，与传统的雷达和视频采集设备的标定方法中，需要标定人员具备一定的专业知识，才能选择合适的四边形并估计各个目标点在雷达坐标系中的坐标。而且需要标定人员不断地根据标定效果调整目标点的坐标值，因此很难在短时间内给出标定结果。相比，本发明实施例提供的雷达和视频采集设备的标定方法基于实际采集的数据进行标定，不需要标定人员去估计雷达目标的坐标值，使得标定结果更加准确。也就使得用户在不具备一定专业知识的情况下，可以快捷、方便地对视频采集设备和雷达进行标定，可以在各种场景中使用。
基于与上述雷达和视频采集设备的标定方法相同的发明构思，本发明实施例还提供了一种雷达和视频采集设备的标定装置，如图9所示，该装置可以包括：
数据获取模块910，可以用于获取雷达和视频采集设备针对同一场景采集的雷达数据和视频数据；
截取模块920，可以用于基于所述雷达数据和视频数据，截取包含多个雷达目标的雷达图像和对应的包含多个图像目标的同时刻的视频图像；
显示模块930，可以用于将所述视频图像和雷达图像并列显示在显示器上；
匹配目标对确定模块940，可以用于获得用户基于当前显示内容选择的至少四个非共线的雷达目标作为标定点，以及各个标定点对应的图像目标，将所述标定点以及对应的图像目标作为匹配目标对；
标定矩阵计算模块950，可以用于基于所述各匹配目标对的图像坐标信息和雷达坐标信息，计算当前标定矩阵；
坐标转换模块960，可以用于基于所述当前标定矩阵，对所述雷达图像中的各个雷达目标，进行坐标转换，得到各个雷达目标在图像坐标系中的转换后位置信息；
标定结果获取模块970，可以用于基于所述各个雷达目标的转换后位置信息，生成对应的雷达目标位置标记，在所述视频图像中显示各个雷达目标位置标记，作为标定结果；
新增匹配目标对获取模块980，可以用于获得用户在确定标定结果不满足要求的情况下，基于当前显示内容选择的至少一个非标定点雷达目标作为新增的标定点，以及各个新增的标定点对应的新增的图像目标，将所述新增的标定点以及对应的新增的图像目标作为新增的匹配目标对；返回所述基于所述各匹配目标对的图像坐标信息和雷达坐标信息，计算当前标定矩阵的步骤，直至用户确定标定结果满足要求。
本发明实施例提供的雷达和视频采集设备的标定装置，从获取的雷达和视频采集设备针对同一场景采集的雷达数据和视频数据中，截取包含多个雷达目标的雷达图像和对应的包含多个图像目标的同时刻的视频图像，并将该视频图像与雷达图像并列显示，之后获取用户选择的至少四个非共线雷达目标作为标定点，并确定各标定点对应的图像目标，将标定点以及对应的图像目标作为匹配目标对，基于各匹配目标对的图像坐标信息和雷达坐标信息，计算当前标定矩阵，基于该当前标定矩阵，对雷达图像中的各个雷达目标，进行坐标转换，得到各个雷达目标在图像坐标系中的转换后位置信息，基于该位置信息生成对应的雷达目标位置标记，并在所述视频图像中显示各个雷达目标位置标记，作为标定结果，若标定结果不满足要求，则获取用户基于当前显示内容选择的至少一个非标定点雷达目标作为新增的标定点，以及各个新增的标定点对应的新增的图像目标，将新增的标定点及对应的新增图像目标作为新增的匹配目标对，并基于各匹配目标对重新计算标定矩阵，获得标定结果，直至用户确定标定结果满足要求。本发明实施例中，用户可从并列显示的针对同一场景的同时刻的雷达数据及视频图像中确定标定点及对应的图像目标，无需用户给出标定点准确的雷达坐标和图像坐标，使得标定时可以基于实际采集的各数据进行标定，从而提高雷达和视频采集设备标定的准确性和可操作性。
作为本发明实施例的一种具体实施方式，所述匹配目标对确定模块940，可以用于基于用户将在所述雷达图像中的至少四个非共线的雷达目标拖拽到所述视频图像中的操作，将该至少四个雷达目标作为标定点，确定各标定点的图像被拖拽到视频图像中的当前位置，获得当前位置对应的图像目标作为该标定点对应的图像目标；
或，
基于用户针对选中的各标定点对视频图像中图像目标的点击操作，将被点击选中的图像目标确定为各标定点对应的图像目标。
作为本发明实施例的一种具体实施方式，所述新增匹配目标对获取模块980，可以用于基于用户将在雷达图像中选中的非标定点雷达目标拖拽到视频图像中的操作，将该非标定点雷达目标作为新增的标定点，确定各新增的标定点被拖拽到视频图像的当前位置，获得当前位置对应的图像目标作为该新增的标定点对应的新增的图像目标；
或，
基于用户针对选中的各新增的标定点在视频图像中对图像目标的点击操作，将被点击选中的图像目标确定为各新增的标定点对应的新增的图像目标。
作为本发明实施例的一种具体实施方式，所述图像目标包括：采用图像检测算法检测出目标框的第一图像目标或采用图像检测算法未检测出的第二图像目标；
所述匹配目标对确定模块940，可以用于获得用户基于当前显示内容选择的至少四个非共线的雷达目标作为标定点；
基于用户针对选中的各标定点在所述视频图像中，对所述第一图像目标和/或第二图像目标的点击操作，将被点击选中的第一图像目标和/或第二图像目标确定为各标定点对应的图像目标；
所述新增匹配目标对获取模块980，可以用于获得用户针对基于当前显示内容选择的至少一个非标定点雷达目标作为新增的标定点；
基于用户针对选中的各新增的标定点在视频图像中，对所述第一图像目标和/或第二图像目标的点击操作，将被点击选中的第一图像目标和/或第二图像目标确定为新增的标定点对应的新增的图像目标。
作为本发明实施例的一种具体实施方式，所述匹配目标对确定模块940，还可以用于基于用户针对图像不清晰的局部输入的图像局部放大指令，对图像局部执行放大操作；和/或，
所述新增匹配目标对获取模块，还用于基于用户针对图像不清晰的局部输入的图像局部放大指令，对图像局部执行放大操作。
本发明实施例还提供了一种电子设备，如图10所示，包括处理器1001、通信接口1002、存储器1003和通信总线1004，其中，处理器1001，通信接口1002，存储器1003通过通信总线1004完成相互间的通信，
存储器1003，用于存放计算机程序；
处理器1001，用于执行存储器1003上所存放的程序时，实现如下步骤：
获取雷达和视频采集设备针对同一场景采集的雷达数据和视频数据；
基于所述雷达数据和视频数据，截取包含多个雷达目标的雷达图像和对应的包含多个图像目标的同时刻的视频图像；
将所述视频图像和雷达图像并列显示在显示器上；
获得用户基于当前显示内容选择的至少四个非共线的雷达目标作为标定点，以及各个标定点对应的图像目标，将所述标定点以及对应的图像目标作为匹配目标对；
基于所述各匹配目标对的图像坐标信息和雷达坐标信息，计算当前标定矩阵；
基于所述当前标定矩阵，对所述雷达图像中的各个雷达目标，进行坐标转换，得到各个雷达目标在图像坐标系中的转换后位置信息；
基于所述各个雷达目标的转换后位置信息，生成对应的雷达目标位置标记，在所述视频图像中显示各个雷达目标位置标记，作为标定结果；
获得用户在确定标定结果不满足要求的情况下，基于当前显示内容选择的至少一个非标定点雷达目标作为新增的标定点，以及各个新增的标定点对应的新增的图像目标，将所述新增的标定点以及对应的新增的图像目标作为新增的匹配目标对；返回所述基于所述各匹配目标对的图像坐标信息和雷达坐标信息，计算当前标定矩阵的步骤，直至用户确定标定结果满足要求。
本发明实施例提供的雷达和视频采集设备的标定方法，从获取的雷达和视频采集设备针对同一场景采集的雷达数据和视频数据中，截取包含多个雷达目标的雷达图像和对应的包含多个图像目标的同时刻的视频图像，并将该视频图像与雷达图像并列显示，之后获取用户选择的至少四个非共线雷达目标作为标定点，并确定各标定点对应的图像目标，将标定点以及对应的图像目标作为匹配目标对，基于各匹配目标对的图像坐标信息和雷达坐标信息，计算当前标定矩阵，基于该当前标定矩阵，对雷达图像中的各个雷达目标，进行坐标转换，得到各个雷达目标在图像坐标系中的转换后位置信息，基于该位置信息生成对应的雷达目标位置标记，并在所述视频图像中显示各个雷达目标位置标记，作为标定结果，若标定结果不满足要求，则获取用户基于当前显示内容选择的至少一个非标定点雷达目标作为新增的标定点，以及各个新增的标定点对应的新增的图像目标，将新增的标定点及对应的新增图像目标作为新增的匹配目标对，并基于各匹配目标对重新计算标定矩阵，获得标定结果，直至用户确定标定结果满足要求。本发明实施例中，用户可从并列显示的针对同一场景的同时刻的雷达数据及视频图像中确定标定点及对应的图像目标，无需用户给出标定点准确的雷达坐标和图像坐标，使得标定时可以基于实际采集的各数据进行标定，从而提高雷达和视频采集设备标定的准确性和可操作性。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一雷达和视频采集设备的标定方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一雷达和视频采集设备的标定方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、存储介质及程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种雷达和视频采集设备的标定方法，其特征在于，包括：
获取雷达和视频采集设备针对同一场景采集的雷达数据和视频数据；
基于所述雷达数据和视频数据，截取包含多个雷达目标的雷达图像和对应的包含多个图像目标的同时刻的视频图像；
将所述视频图像和雷达图像并列显示在显示器上；
获得用户基于当前显示内容选择的至少四个非共线的雷达目标作为标定点，以及各个标定点对应的图像目标，将所述标定点以及对应的图像目标作为匹配目标对；
基于所述各匹配目标对的图像坐标信息和雷达坐标信息，计算当前标定矩阵；
基于所述当前标定矩阵，对所述雷达图像中的各个雷达目标，进行坐标转换，得到各个雷达目标在图像坐标系中的转换后位置信息；
基于所述各个雷达目标的转换后位置信息，生成对应的雷达目标位置标记，在所述视频图像中显示各个雷达目标位置标记，作为标定结果；
获得用户在确定标定结果不满足要求的情况下，基于当前显示内容选择的至少一个非标定点雷达目标作为新增的标定点，以及各个新增的标定点对应的新增的图像目标，将所述新增的标定点以及对应的新增的图像目标作为新增的匹配目标对；返回所述基于所述各匹配目标对的图像坐标信息和雷达坐标信息，计算当前标定矩阵的步骤，直至用户确定标定结果满足要求。
2.根据权利要求1所述的方法，其特征在于，
所述获得用户基于当前显示内容选择的至少四个非共线的雷达目标作为标定点，以及各个标定点对应的图像目标的步骤，包括：
基于用户将在所述雷达图像中的至少四个非共线的雷达目标拖拽到所述视频图像中的操作，将该至少四个雷达目标作为标定点，确定各标定点的图像被拖拽到视频图像中的当前位置，获得当前位置对应的图像目标作为该标定点对应的图像目标；
或，
基于用户针对选中的各标定点对视频图像中图像目标的点击操作，将被点击选中的图像目标确定为各标定点对应的图像目标。
3.根据权利要求1所述的方法，其特征在于，
所述获得用户在确定标定结果不满足要求的情况下，基于当前显示内容选择的至少一个非标定点雷达目标作为新增的标定点，以及各个新增的标定点对应的新增的图像目标的步骤，包括：
基于用户将在雷达图像中选中的非标定点雷达目标拖拽到视频图像中的操作，将该非标定点雷达目标作为新增的标定点，确定各新增的标定点被拖拽到视频图像的当前位置，获得当前位置对应的图像目标作为该新增的标定点对应的新增的图像目标；
或，
基于用户针对选中的各新增的标定点在视频图像中对图像目标的点击操作，将被点击选中的图像目标确定为各新增的标定点对应的新增的图像目标。
4.根据权利要求1所述的方法，其特征在于，
所述图像目标包括：采用图像检测算法检测出目标框的第一图像目标或采用图像检测算法未检测出的第二图像目标；
所述获得用户基于当前显示内容选择的至少四个非共线的雷达目标作为标定点，以及各个标定点对应的图像目标，将所述标定点以及对应的图像目标作为匹配目标对的步骤，包括：
获得用户基于当前显示内容选择的至少四个非共线的雷达目标作为标定点；
基于用户针对选中的各标定点在所述视频图像中，对所述第一图像目标和/或第二图像目标的点击操作，将被点击选中的第一图像目标和/或第二图像目标确定为各标定点对应的图像目标；
所述基于当前显示内容选择的至少一个非标定点雷达目标作为新增的标定点，以及各个新增的标定点对应的新增的图像目标的步骤，包括：
获得用户针对基于当前显示内容选择的至少一个非标定点雷达目标作为新增的标定点；
基于用户针对选中的各新增的标定点在视频图像中，对所述第一图像目标和/或第二图像目标的点击操作，将被点击选中的第一图像目标和/或第二图像目标确定为新增的标定点对应的新增的图像目标。
5.根据权利要求1所述的方法，其特征在于，
在所述获得用户基于当前显示内容选择的至少四个非共线的雷达目标作为标定点，以及各个标定点对应的图像目标的步骤中，还包括：
基于用户针对图像不清晰的局部输入的图像局部放大指令，对图像局部执行放大操作；和/或，
在基于当前显示内容选择的至少一个非标定点雷达目标作为新增的标定点，以及各个新增的标定点对应的新增的图像目标的步骤中，还包括：
基于用户针对图像不清晰的局部输入的图像局部放大指令，对图像局部执行放大操作。
6.一种雷达和视频采集设备的标定装置，其特征在于，包括：
数据获取模块，用于获取雷达和视频采集设备针对同一场景采集的雷达数据和视频数据；
截取模块，用于基于所述雷达数据和视频数据，截取包含多个雷达目标的雷达图像和对应的包含多个图像目标的同时刻的视频图像；
显示模块，用于将所述视频图像和雷达图像并列显示在显示器上；
匹配目标对确定模块，用于获得用户基于当前显示内容选择的至少四个非共线的雷达目标作为标定点，以及各个标定点对应的图像目标，将所述标定点以及对应的图像目标作为匹配目标对；
标定矩阵计算模块，用于基于所述各匹配目标对的图像坐标信息和雷达坐标信息，计算当前标定矩阵；
坐标转换模块，用于基于所述当前标定矩阵，对所述雷达图像中的各个雷达目标，进行坐标转换，得到各个雷达目标在图像坐标系中的转换后位置信息；
标定结果获取模块，用于基于所述各个雷达目标的转换后位置信息，生成对应的雷达目标位置标记，在所述视频图像中显示各个雷达目标位置标记，作为标定结果；
新增匹配目标对获取模块，用于获得用户在确定标定结果不满足要求的情况下，基于当前显示内容选择的至少一个非标定点雷达目标作为新增的标定点，以及各个新增的标定点对应的新增的图像目标，将所述新增的标定点以及对应的新增的图像目标作为新增的匹配目标对；返回所述基于所述各匹配目标对的图像坐标信息和雷达坐标信息，计算当前标定矩阵的步骤，直至用户确定标定结果满足要求。
7.根据权利要求6所述的装置，其特征在于，
所述匹配目标对确定模块，用于基于用户将在所述雷达图像中的至少四个非共线的雷达目标拖拽到所述视频图像中的操作，将该至少四个雷达目标作为标定点，确定各标定点的图像被拖拽到视频图像中的当前位置，获得当前位置对应的图像目标作为该标定点对应的图像目标；
或，
基于用户针对选中的各标定点对视频图像中图像目标的点击操作，将被点击选中的图像目标确定为各标定点对应的图像目标。
8.根据权利要求6所述的装置，其特征在于，
所述新增匹配目标对获取模块，用于基于用户将在雷达图像中选中的非标定点雷达目标拖拽到视频图像中的操作，将该非标定点雷达目标作为新增的标定点，确定各新增的标定点被拖拽到视频图像的当前位置，获得当前位置对应的图像目标作为该新增的标定点对应的新增的图像目标；
或，
基于用户针对选中的各新增的标定点在视频图像中对图像目标的点击操作，将被点击选中的图像目标确定为各新增的标定点对应的新增的图像目标。
9.根据权利要求6所述的装置，其特征在于，
所述图像目标包括：采用图像检测算法检测出目标框的第一图像目标或采用图像检测算法未检测出的第二图像目标；
所述匹配目标对确定模块，用于获得用户基于当前显示内容选择的至少四个非共线的雷达目标作为标定点；
基于用户针对选中的各标定点在所述视频图像中，对所述第一图像目标和/或第二图像目标的点击操作，将被点击选中的第一图像目标和/或第二图像目标确定为各标定点对应的图像目标；
所述新增匹配目标对获取模块，用于获得用户针对基于当前显示内容选择的至少一个非标定点雷达目标作为新增的标定点；
基于用户针对选中的各新增的标定点在视频图像中，对所述第一图像目标和/或第二图像目标的点击操作，将被点击选中的第一图像目标和/或第二图像目标确定为新增的标定点对应的新增的图像目标。
10.根据权利要求6所述的装置，其特征在于，
所述匹配目标对确定模块，还用于基于用户针对图像不清晰的局部输入的图像局部放大指令，对图像局部执行放大操作；和/或，
所述新增匹配目标对获取模块，还用于基于用户针对图像不清晰的局部输入的图像局部放大指令，对图像局部执行放大操作。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
CN202111277254.4A 2021-10-29 2021-10-29 雷达和视频采集设备的标定方法、装置、设备及存储介质 Pending CN116068504A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111277254.4A CN116068504A (zh) 2021-10-29 2021-10-29 雷达和视频采集设备的标定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111277254.4A CN116068504A (zh) 2021-10-29 2021-10-29 雷达和视频采集设备的标定方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116068504A true CN116068504A (zh) 2023-05-05

Family

ID=86168514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111277254.4A Pending CN116068504A (zh) 2021-10-29 2021-10-29 雷达和视频采集设备的标定方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116068504A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197182A (zh) * 2023-11-07 2023-12-08 华诺星空技术股份有限公司 雷视标定方法、设备及存储介质
CN118643255A (zh) * 2024-08-12 2024-09-13 浙江大华技术股份有限公司 标定矩阵确定方法、设备及计算机可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117197182A (zh) * 2023-11-07 2023-12-08 华诺星空技术股份有限公司 雷视标定方法、设备及存储介质
CN117197182B (zh) * 2023-11-07 2024-02-27 华诺星空技术股份有限公司 雷视标定方法、设备及存储介质
CN118643255A (zh) * 2024-08-12 2024-09-13 浙江大华技术股份有限公司 标定矩阵确定方法、设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
Sochor et al. Traffic surveillance camera calibration by 3d model bounding box alignment for accurate vehicle speed measurement
US10504244B2 (en) Systems and methods to improve camera intrinsic parameter calibration
CN116068504A (zh) 雷达和视频采集设备的标定方法、装置、设备及存储介质
WO2021037086A1 (zh) 定位方法及装置
US20090146972A1 (en) Apparatus and method for detecting a pointer relative to a touch surface
CN109784250B (zh) 自动引导小车的定位方法和装置
WO2020259506A1 (zh) 一种确定摄像头的畸变参数的方法及装置
CN109118537B (zh) 一种画面匹配方法、装置、设备和存储介质
CN113763478B (zh) 无人车相机标定方法、装置、设备、存储介质及系统
CN110599489A (zh) 一种目标空间定位方法
CN111025283A (zh) 雷达与球机联动的方法及装置
CN112419405B (zh) 一种目标跟踪联合显示方法、安防系统及电子设备
CN114283201A (zh) 相机标定方法、装置和路侧设备
CN113256740A (zh) 一种雷达与相机的标定方法、电子设备及存储介质
CN113744348A (zh) 一种参数标定方法、装置及雷视融合检测设备
CN110873863A (zh) 一种目标展示方法、雷达系统及电子设备
WO2020114234A1 (zh) 一种确定目标gps的方法及摄像机
CN112967344A (zh) 相机外参标定的方法、设备、存储介质及程序产品
CN103607558A (zh) 一种视频监控系统及其目标匹配方法和装置
Pei et al. Improved Camshift object tracking algorithm in occluded scenes based on AKAZE and Kalman
Galego et al. Uncertainty analysis of the DLT-Lines calibration algorithm for cameras with radial distortion
Laureshyn et al. Automated video analysis as a tool for analysing road user behaviour
CN112861832B (zh) 交通标识的检测方法、装置、电子设备及存储介质
CN113112551B (zh) 相机参数的确定方法、装置、路侧设备和云控平台
JP7258101B2 (ja) 画像の手ぶれ補正方法、装置、電子機器、記憶媒体、コンピュータプログラム製品、路側機およびクラウド制御プラットフォーム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination