CN114820725A - 目标显示方法、装置、电子设备及存储介质 - Google Patents

目标显示方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114820725A
CN114820725A CN202210254694.6A CN202210254694A CN114820725A CN 114820725 A CN114820725 A CN 114820725A CN 202210254694 A CN202210254694 A CN 202210254694A CN 114820725 A CN114820725 A CN 114820725A
Authority
CN
China
Prior art keywords
camera
target
radar
pan
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210254694.6A
Other languages
English (en)
Inventor
罗伟
孙立国
吕品
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202210254694.6A priority Critical patent/CN114820725A/zh
Publication of CN114820725A publication Critical patent/CN114820725A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种目标显示方法、装置、电子设备及存储介质，其中方法包括：基于云台相机在预设位姿下的相机内参和所述相机外参，将雷达观测目标在世界坐标系下的真实位置信息转换为雷达图像信息；将所述雷达图像信息显示至所述云台相机基于所述预设位姿得到的目标图像。本发明通过建立世界坐标系，并获取雷达观测目标在世界坐标系下的真实位置信息，根据云台相机在预设位姿下的相机内参和所述相机外参，将获取到的真实位置信息转换为雷达图像信息，并将雷达图像信息显示在云台相机基于预设位姿得到的目标图像上，实现对雷达观测目标进行准确观测。

Description

目标显示方法、装置、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种目标显示方法、装置、电子设备及存储介质。
背景技术
航海雷达在海域监视和船舶感知系统中有着广泛应用，具有测距精度高、覆盖面积广、不受光照影响等优点，航海雷达的量程较大，一般在几公里到几十公里，并且波束宽度宽，不会因船舶晃动影响正常工作，可以测量目标相对于雷达的距离和方位。但是雷达探测的目标特征较少，并且存在海杂波、地杂波、虚假回波等问题，所以仅靠雷达不能完全可靠地分辨是否为真实目标。
云台相机(Pan Tilt Zoom,PTZ)在安防、监控和日常生活中十分常用，具有价格低廉、获取信息丰富、安装使用方便、可以进行物理变焦等特点，但是PTZ相机的视场角范围有限，为了看清远处的目标需要将焦距拉长，导致视场角变小。通过处理后，可以得到目标在相机图像中的位置，但是难以从相机图像中获取准确的深度信息。
针对雷达和PTZ相机各自的优缺点，对雷达和PTZ相机进行配准融合可以有效提高目标检测识别的鲁棒性和准确性。但现有的配准方法难以适用于PTZ相机，无法达到准确地将雷达观测目标转换到相机图像上。
发明内容
本发明提供一种目标显示方法、装置、电子设备及存储介质，用以解决现有技术中无法达到准确地将雷达观测目标转换到PTZ相机图像上的缺陷，实现准确地将雷达观测目标转换到PTZ相机图像上的目的。
本发明提供一种目标显示方法，包括：
基于云台相机在预设位姿下的相机内参和所述相机外参，将雷达观测目标在世界坐标系下的真实位置信息转换为雷达图像信息；
将所述雷达图像信息显示至所述云台相机基于所述预设位姿得到的目标图像。
根据本发明提供的一种目标显示方法，所述将所述雷达图像信息显示至所述云台相机基于所述预设位姿得到的目标图像之后，还包括：
将所述雷达图像信息与所述目标图像中的目标位置信息进行位置信息匹配；
若所述雷达图像信息与所述目标位置信息不匹配，则对所述雷达图像信息进行位置参数修正，并生成参数修正数据。
根据本发明提供的一种目标显示方法，还包括：
改变所述云台相机的位姿，获取所述位姿的参数修正数据；
基于所述位姿的参数修正数据对所述位姿下的相机外参进行参数修正。
根据本发明提供的一种目标显示方法，所述基于云台相机在预设位姿下的相机内参和所述相机外参，将雷达观测目标在世界坐标系下的真实位置信息转换为雷达图像信息之前，还包括：
基于所述云台相机的真实高度和相机偏移角度，获取所述相机外参；
基于所述云台相机在至少两个焦距下的视场角，获取所述相机内参。
根据本发明提供的一种目标显示方法，所述基于所述云台相机的真实高度和相机偏移角度，获取所述相机外参，包括：
基于所述真实高度，获取所述相机外参的平移向量参数；
基于所述相机偏移角度，获取所述相机外参的旋转矩阵参数。
根据本发明提供的一种目标显示方法，所述基于所述相机内参和所述相机外参，将所述真实位置信息转换为雷达图像信息，包括：
基于所述平移向量参数和所述旋转矩阵参数，将所述真实位置信息转换为相机坐标系下的相机位置信息；
基于三角函数和所述视场角，将所述相机位置信息转换为像素坐标系下的雷达图像位置信息。
本发明还提供一种目标显示装置，包括信息转换模块和图像显示模块，其中：
信息转换模块，用于基于云台相机在预设位姿下的相机内参和所述相机外参，将雷达观测目标在世界坐标系下的真实位置信息转换为雷达图像信息；
图像显示模块，用于将所述雷达图像信息显示至所述云台相机基于所述预设位姿得到的目标图像。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述目标显示方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述目标显示方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述目标显示方法。
本发明提供的目标显示方法、装置、电子设备及存储介质，通过建立世界坐标系，并获取雷达观测目标在世界坐标系下的真实位置信息，根据云台相机在预设位姿下的相机内参和所述相机外参，将获取到的真实位置信息转换为雷达图像信息，并将雷达图像信息显示在云台相机基于预设位姿得到的目标图像上，实现对雷达观测目标进行准确观测。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的目标显示方法的流程示意图之一；
图2是本发明提供的目标显示方法的流程示意图之二；
图3是本发明提供的目标显示装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图4描述本发明提供的目标显示方法、装置、电子设备及存储介质。
图1是本发明提供的目标显示方法的流程示意图之一，如图1所示，本发明提供了一种目标显示方法，其中执行主体可以为终端，如：计算机、车载终端等，该方法包括如下步骤：
步骤101、基于云台相机在预设位姿下的相机内参和所述相机外参，将雷达观测目标在世界坐标系下的真实位置信息转换为雷达图像信息。
可以理解为，在将雷达观测目标显示到PTZ相机的目标图像之前，先根据雷达所在的区域设定世界坐标系，并获取雷达观测目标在世界坐标系中的真实位置信息。同时通过获取用于监控、摄像的PTZ相机的预设位姿，进一步获取到PTZ相机在该位姿下的相机内参和相机外参。再根据获取到的相机内参和相机外参，将雷达观测目标在世界坐标系下的真实位置信息转换为显示在光电屏幕上的雷达图像信息。雷达图像信息中包含了雷达观测目标的位置距离，坐标等深度信息。
其中，相机内参描述了相机内部的一些参数，用于确定如何将相机坐标转化到图像坐标，包括相机焦距、畸变参数等。
相机外参描述了相机在某个三维空间中的位置和朝向，用于确定如何将世界坐标转化到相机坐标，通常包括空间位置坐标、俯仰角、偏航角和翻滚角等。
例如，可通过航海雷达作为雷达观测目标数据的采集传感器，PTZ球机作为目标图像的可见光图像传感器，PTZ球机吊装在雷达下方。算法服务端在Ubuntu18.04操作系统上运行，包括雷达、PTZ相机模块，采用Python语言开发，可运用numpy、opencv、onvif等Python库，显控客户端在Windos10操作系统上，采用Qt(C++开发框架)开发。
通过用户数据报协议(User Datagram Protocol,UDP)接收雷达输出的雷达航迹，解析协议得到雷达观测目标的方位距离信息，再由极坐标系转化为直角坐标系，即雷达观测目标在世界坐标系中的真实位置信息。
再根据Python库获取PTZ相机的参数信息，得到相机内参和相机外参。并根据该相机内参和相机外参，将雷达观测目标的真实位置信息转换成雷达图像信息。
步骤102、将所述雷达图像信息显示至所述云台相机基于所述预设位姿得到的目标图像。
可以理解为，在将雷达观测目标的真实位置信息转换成雷达图像信息之后，会将获取到的雷达图像信息显示至目标图像中。
其中，目标图像是根据PTZ相机在相同的预设位姿下得到的。
本发明通过建立世界坐标系，并获取雷达观测目标在世界坐标系下的真实位置信息，根据云台相机在预设位姿下的相机内参和所述相机外参，将获取到的真实位置信息转换为雷达图像信息，并将雷达图像信息显示在云台相机基于预设位姿得到的目标图像上，实现对雷达观测目标进行准确观测。
进一步地，所述将所述雷达图像信息显示至所述云台相机基于所述预设位姿得到的目标图像之后，还包括：
将所述雷达图像信息与所述目标图像中的目标位置信息进行位置信息匹配；
若所述雷达图像信息与所述目标位置信息不匹配，则对所述雷达图像信息进行位置参数修正，并生成参数修正数据。
可以理解为，在安装PTZ相机的过程中，可能会存在一定的安装角度误差，因为导致PTZ相机在生成目标图像时，目标图像中的各个目标位置信息会存在一定的偏差。
所以在将获取到的雷达图像信息显示至目标图像之后，会将获取到的雷达图像信息与目标图像中的目标位置信息进行位置匹配，判断雷达图像信息是否与目标图像中的各光电目标位置存在偏差。
在判断出雷达图像信息与目标图像中的目标位置信息不匹配时，对雷达图像信息进行位置参数修正，即将每个雷达观测目标的深度信息显示到与目标图像中的目标位置信息对应区域处，并记录下在该预设位姿下，对雷达图像信息进行修正的参数修正数据。
其中，参数修正数据是指PTZ相机的角度信息，如方位、俯仰角等信息的修正量。
例如，在目标图像中设置光电目标框，该光电目标框上可设置编号，用于标记PTZ相机拍摄的观测目标，如在目标图像中存在6搜船，每艘船会附带一个用于跟踪观测目标的光电目标框。雷达图像信息通过标签的方式显示在目标图像中，其中标签上可带有坐标、距离等信息。在包含雷达图像信息的6个标签显示至目标图像之后，识别标签是否落在对应的光电目标框中。如果有包含雷达图像信息的标签没有落在对应的光电目标框中，则将该标签调整至光电目标框中，并记录下调整的参数修正数据。
本发明通过述雷达图像信息与目标图像中的目标位置信息进行位置信息匹配，并对存在位置偏差的雷达图像信息进行位置修正，提高雷达图像信息显示的准确性。
进一步地，还包括：
改变所述云台相机的位姿，获取所述位姿的参数修正数据；
基于所述位姿的参数修正数据对所述位姿下的相机外参进行参数修正。
可以理解为，在本发明中，通过一个预先设定的位姿，PTZ相机可获取一个对应的相机外参，并根据相机内参和相机外参生成的对应的雷达图像信息以及目标图像，当雷达图像信息显示在目标图像上时，会生成对应该预设位姿的参数修正数据，当雷达图像信息与目标图像中的目标位置信息对应时，参数修正数据为零。
通过改变PTZ相机的位姿，获取PTZ在多个角度下的参数修正数据，并将多个角度下的参数修正数据记录到表格中，得到一个相机外参误差修正表。可根据外参误差修正表中的参数修正数据对相应位姿下的相机外参进行参数修正。
例如，即在原有相机外参的情况下，得到的雷达图像信息显示在目标图像上时，会与对应的目标位置信息存在位置偏差，再将雷达图像信息修正至与目标位置信息对应后，记录下修正数据。
图2是本发明提供的目标显示方法的流程示意图之二，如图2所示，在后续使用该位姿进行观测时，可根据参数修正数据对相机外参进行修正，如在原先设定的角度上增加一定的角度等，并得到新的相机外参。并根据获取到的相机外参和相机内参，将雷达检测到的雷达航迹(雷达观测目标)转换为雷达图像信息，在生成雷达图像信息后，将雷达图像信息显示至包含目标图像的配准界面中，目标图像中的目标位置信息包含有用于跟踪检测的光电目标框，将雷达图像信息与光电目标框进行对准确认，确保准确显示雷达观测目标的信息。
PTZ相机使用一段时间后，由于机械、电机等多种原因，可能会导致相机外参误差修正表不准，在实际使用中如果发现出现明显误差，可根据上述步骤，对参数修正数据进行更新。
本发明通过获取PTZ相机在每个位姿下的参数修正数据，对相机外参进行修正，有利于雷达图像信息准确地显示在目标图像上。
进一步地，所述基于云台相机在预设位姿下的相机内参和所述相机外参，将雷达观测目标在世界坐标系下的真实位置信息转换为雷达图像信息之前，还包括：
基于所述云台相机的真实高度和相机偏移角度，获取所述相机外参；
基于所述云台相机在至少两个焦距下的视场角，获取所述相机内参。
可以理解为，根据雷达所在区域建立世界坐标系之后，再根据相机外参和相机内参，将雷达观测目标在世界坐标系中的真实位置信息要转化为与相机的图像信息对应的雷达图像信息。
根据PTZ相机的真实高度和相机偏移角度，即水平方向的方位角和垂直方向的俯仰角的角度，获取相机外参。
根据PTZ相机在至少两个焦距下的视场角，计算得到PTZ相机的焦距，并进一步获取相机内参。
本发明通过PTZ相机的真实高度、相机偏移角度和PTZ相机在至少两个焦距下的视场角，可准确地获取到PTZ相机的相机外参和相机内参。
进一步地，所述基于所述云台相机的真实高度和相机偏移角度，获取所述相机外参，包括：
基于所述真实高度，获取所述相机外参的平移向量参数；
基于所述相机偏移角度，获取所述相机外参的旋转矩阵参数。
可以理解为，在本发明中世界坐标系倒相机图像的转变，先要从世界坐标系转换到根据PTZ相机设置的相机坐标系，世界坐标系到相机坐标系的转换是刚体变换，只有旋转和平移。所以，可根据PTZ相机的真实高度获取相机外参的平移向量参数和根据相机偏移角度，获取所述相机外参的旋转矩阵参数，通过平移向量参数和旋转矩阵参数组成的矩阵是相机外参，会随着相机运动而改变。
本发明通过PTZ相机的真实高度和相机偏移角度获取相机外参的平移向量参数和旋转矩阵参数，生成构成相机外参的矩阵，有利于准确地将雷达观测目标显示至目标图像上。
进一步地，所述基于所述相机内参和所述相机外参，将所述真实位置信息转换为雷达图像信息，包括：
基于所述平移向量参数和所述旋转矩阵参数，将所述真实位置信息转换为相机坐标系下的相机位置信息；
基于三角函数和所述视场角，将所述相机位置信息转换为像素坐标系下的雷达图像位置信息。
可以理解为，在本发明中，先设定世界坐标系和相机坐标系。世界坐标系Ow-XwYwZw，世界坐标系地坐标原点为雷达正下方和海平面的交点(单位为m)，x轴沿雷达P显90度方向，z轴沿雷达P显0度方向，y轴沿雷达固定杆向上。所有的雷达观测目标都在Ow-XwZw平面即海平面上移动，该平面上y坐标值保持为0。
相机坐标系Oc-XcYcZc是PTZ相机所在平面上的坐标系(单位为m)，坐标原点为相机光心，z轴沿相机正前方，x轴沿相机正右方，y轴沿相机正上方，在使用中，可认为PTZ相机中的P(方位)围绕y轴旋转，T(俯仰)围绕x轴旋转。
世界坐标系到相机坐标系的转换是刚体变换，通过旋转矩阵R和平移向量T组成的矩阵是相机外参。绕x，y，z轴旋转的角度叫做欧拉角，可以由欧拉角得到旋转矩阵参数，由PTZ相机的真实高度得到平移向量参数。
例如，可通过如下转坐标变换公式表示绕z轴旋转的坐标变换关系，绕z轴旋转z坐标不变，x、y坐标各自在新的坐标轴上做投影，所述坐标变换公式如下：
Figure BDA0003548104390000101
式中，x、y、z分别表示坐标轴上三个方向的位置，x’、y’、z’分别表示位置转换后坐标轴上三个方向的位置。
再将上述坐标变换公式转换为旋转矩阵，所述旋转矩阵如下所示：
Figure BDA0003548104390000102
式中，x、y、z分别表示坐标轴上三个方向的位置，x’、y’、z’分别表示位置转换后坐标轴上三个方向的位置。
将世界坐标系中真实位置信息转换为相机坐标系下的相机位置信息之后，再获取相机内参，将相机坐标系中的相机位置信息到像素坐标系中像素点中。相机内参描述的是像素点到物理世界的相似三角形关系，可以由相机坐标系(单位m)根据焦距转换到图像坐标系(单位mm)，再从图像坐标系转到像素坐标系(单位pix)。
或者，可采用内参矩阵公式计算出PTZ相机的焦距，在采用三角函数可以计算出焦距fx、fy，然后即可得到内参矩阵。所述内参矩阵公式如下：
tan(fovx/2)＝u0/fx
tan(fovy/2)＝v0/fy
Figure BDA0003548104390000111
式中，K为内参矩阵，fov为视场角，u0和v0分别为目标图像长和宽的一半像素。
在获取到相机内参和相机外参之后，可通过转换公式将世界坐标系中的真实位置信息转换为像素坐标系的雷达图像信息。所述转换公式如下：
Figure BDA0003548104390000112
式中，ZC为雷达图像信息，u、v分别为像素坐标系下两个方向的位置，fx、fy为PTZ相机的焦距，R为旋转矩阵参数，T为俯仰角。
本发明通过平移向量参数和所述旋转矩阵参数，将真实位置信息转换为相机坐标系下的相机位置信息，再根据三角函数和视场角，可准确地将相机位置信息转换为像素坐标系下的雷达图像位置信息，有利于在不同方位、俯仰和焦距下都能准确将雷达观测目标的真实位置信息显示在目标图像上。
下面对本发明提供的目标显示装置进行描述，下文描述的目标显示装置与上文描述的目标显示方法可相互对应参照。
本发明提供了一种目标显示装置，图3是本发明提供的目标显示装置的结构示意图，如图3所示，主要包括信息转换模块301和图像显示模块302；其中：
信息转换模块301，用于基于云台相机在预设位姿下的相机内参和所述相机外参，将雷达观测目标在世界坐标系下的真实位置信息转换为雷达图像信息；图像显示模块302，用于将所述雷达图像信息显示至所述云台相机基于所述预设位姿得到的目标图像。
本发明提供的目标显示装置，通过建立世界坐标系，并获取雷达观测目标在世界坐标系下的真实位置信息，根据云台相机在预设位姿下的相机内参和所述相机外参，将获取到的真实位置信息转换为雷达图像信息，并将雷达图像信息显示在云台相机基于预设位姿得到的目标图像上，实现对雷达观测目标进行准确观测。
进一步地，还包括：
将所述雷达图像信息与所述目标图像中的目标位置信息进行位置信息匹配；
若所述雷达图像信息与所述目标位置信息不匹配，则对所述雷达图像信息进行位置参数修正，并生成参数修正数据。
进一步地，还包括：
改变所述云台相机的位姿，获取所述位姿的参数修正数据；
基于所述位姿的参数修正数据对所述位姿下的相机外参进行参数修正。
进一步地，所述信息转换模块，还包括：
基于所述云台相机的真实高度和相机偏移角度，获取所述相机外参；
基于所述云台相机在至少两个焦距下的视场角，获取所述相机内参。
进一步地，所述信息转换模块，还包括：
基于所述真实高度，获取所述相机外参的平移向量参数；
基于所述相机偏移角度，获取所述相机外参的旋转矩阵参数。
进一步地，所述信息转换模块，还包括：
基于所述平移向量参数和所述旋转矩阵参数，将所述真实位置信息转换为相机坐标系下的相机位置信息；
基于三角函数和所述视场角，将所述相机位置信息转换为像素坐标系下的雷达图像位置信息。
图4是本发明提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(processor)401、通信接口(Communications Interface)402、存储器(memory)403和通信总线404，其中，处理器401，通信接口402，存储器403通过通信总线404完成相互间的通信。处理器401可以调用存储器403中的逻辑指令，以执行上述各方法实施例提供的目标显示方法，该方法例如包括：基于云台相机在预设位姿下的相机内参和所述相机外参，将雷达观测目标在世界坐标系下的真实位置信息转换为雷达图像信息；将所述雷达图像信息显示至所述云台相机基于所述预设位姿得到的目标图像。
此外，上述的存储器403中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法实施例提供的目标显示方法，该方法例如包括：基于云台相机在预设位姿下的相机内参和所述相机外参，将雷达观测目标在世界坐标系下的真实位置信息转换为雷达图像信息；将所述雷达图像信息显示至所述云台相机基于所述预设位姿得到的目标图像。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法实施例提供的目标显示方法，该方法例如包括：基于云台相机在预设位姿下的相机内参和所述相机外参，将雷达观测目标在世界坐标系下的真实位置信息转换为雷达图像信息；将所述雷达图像信息显示至所述云台相机基于所述预设位姿得到的目标图像。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种目标显示方法，其特征在于，包括：
基于云台相机在预设位姿下的相机内参和所述相机外参，将雷达观测目标在世界坐标系下的真实位置信息转换为雷达图像信息；
将所述雷达图像信息显示至所述云台相机基于所述预设位姿得到的目标图像。
2.根据权利要求1所述的目标显示方法，其特征在于，所述将所述雷达图像信息显示至所述云台相机基于所述预设位姿得到的目标图像之后，还包括：
将所述雷达图像信息与所述目标图像中的目标位置信息进行位置信息匹配；
若所述雷达图像信息与所述目标位置信息不匹配，则对所述雷达图像信息进行位置参数修正，并生成参数修正数据。
3.根据权利要求2所述的目标显示方法，其特征在于，还包括：
改变所述云台相机的位姿，获取所述位姿的参数修正数据；
基于所述位姿的参数修正数据对所述位姿下的相机外参进行参数修正。
4.根据权利要求1所述的目标显示方法，其特征在于，所述基于云台相机在预设位姿下的相机内参和所述相机外参，将雷达观测目标在世界坐标系下的真实位置信息转换为雷达图像信息之前，还包括：
基于所述云台相机的真实高度和相机偏移角度，获取所述相机外参；
基于所述云台相机在至少两个焦距下的视场角，获取所述相机内参。
5.根据权利要求4所述的目标显示方法，其特征在于，所述基于所述云台相机的真实高度和相机偏移角度，获取所述相机外参，包括：
基于所述真实高度，获取所述相机外参的平移向量参数；
基于所述相机偏移角度，获取所述相机外参的旋转矩阵参数。
6.根据权利要求5所述的目标显示方法，其特征在于，所述基于所述相机内参和所述相机外参，将所述真实位置信息转换为雷达图像信息，包括：
基于所述平移向量参数和所述旋转矩阵参数，将所述真实位置信息转换为相机坐标系下的相机位置信息；
基于三角函数和所述视场角，将所述相机位置信息转换为像素坐标系下的雷达图像位置信息。
7.一种目标显示装置，其特征在于，包括：
信息转换模块，用于基于云台相机在预设位姿下的相机内参和所述相机外参，将雷达观测目标在世界坐标系下的真实位置信息转换为雷达图像信息；
图像显示模块，用于将所述雷达图像信息显示至所述云台相机基于所述预设位姿得到的目标图像。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述目标显示方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述目标显示方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述目标显示方法。
CN202210254694.6A 2022-03-15 2022-03-15 目标显示方法、装置、电子设备及存储介质 Pending CN114820725A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210254694.6A CN114820725A (zh) 2022-03-15 2022-03-15 目标显示方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210254694.6A CN114820725A (zh) 2022-03-15 2022-03-15 目标显示方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114820725A true CN114820725A (zh) 2022-07-29

Family

ID=82529802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210254694.6A Pending CN114820725A (zh) 2022-03-15 2022-03-15 目标显示方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114820725A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115184917A (zh) * 2022-09-13 2022-10-14 湖南华诺星空电子技术有限公司 一种融合毫米波雷达与相机的区域目标跟踪方法
CN117008122A (zh) * 2023-08-04 2023-11-07 江苏苏港智能装备产业创新中心有限公司 基于多雷达融合定位工程机械设备周围物体的方法和系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115184917A (zh) * 2022-09-13 2022-10-14 湖南华诺星空电子技术有限公司 一种融合毫米波雷达与相机的区域目标跟踪方法
CN115184917B (zh) * 2022-09-13 2023-03-10 湖南华诺星空电子技术有限公司 一种融合毫米波雷达与相机的区域目标跟踪方法
CN117008122A (zh) * 2023-08-04 2023-11-07 江苏苏港智能装备产业创新中心有限公司 基于多雷达融合定位工程机械设备周围物体的方法和系统

Similar Documents

Publication Publication Date Title
CN111435162B (zh) 激光雷达与相机同步方法、装置、设备和存储介质
US10060739B2 (en) Method for determining a position and orientation offset of a geodetic surveying device and such a surveying device
CN112949478B (zh) 基于云台相机的目标检测方法
WO2016199605A1 (ja) 画像処理装置および方法、並びにプログラム
CN111179358A (zh) 标定方法、装置、设备及存储介质
CN112907676A (zh) 传感器的标定方法、装置、系统、车辆、设备及存储介质
CN114820725A (zh) 目标显示方法、装置、电子设备及存储介质
CN107729893B (zh) 一种合模机的视觉定位方法、系统和存储介质
Yan et al. Joint camera intrinsic and lidar-camera extrinsic calibration
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
CN113029128B (zh) 视觉导航方法及相关装置、移动终端、存储介质
CN108596117B (zh) 一种基于二维激光测距仪阵列的场景监控方法
CN113965721A (zh) 图像与深度传输监视系统的对齐方法
Lee et al. Nontarget-based displacement measurement using LiDAR and camera
CN117848234A (zh) 物体扫描机构、方法及相关设备
CN114119652A (zh) 用于三维重构的方法和装置以及电子设备
CN111583388A (zh) 一种三维扫描系统的扫描方法及设备
JP2006317418A (ja) 画像計測装置、画像計測方法、計測処理プログラム及び記録媒体
CN113034615B (zh) 一种用于多源数据融合的设备标定方法及相关装置
CN114359338A (zh) 位姿估计方法、装置、终端设备及计算机可读存储介质
CN114726978A (zh) 信息处理装置、信息处理方法以及程序
CN117934636B (zh) 一种多深度相机动态外参标定方法及其装置
Hrabar et al. PTZ camera pose estimation by tracking a 3D target
JP3761458B2 (ja) 物体長算出方法および物体長算出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination