CN116934829B - 无人机目标深度估计的方法、装置、存储介质及电子设备 - Google Patents

无人机目标深度估计的方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN116934829B
CN116934829B CN202311190257.3A CN202311190257A CN116934829B CN 116934829 B CN116934829 B CN 116934829B CN 202311190257 A CN202311190257 A CN 202311190257A CN 116934829 B CN116934829 B CN 116934829B
Authority
CN
China
Prior art keywords
aerial vehicle
unmanned aerial
matrix
images
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311190257.3A
Other languages
English (en)
Other versions
CN116934829A (zh
Inventor
陈方平
闫凯
陆煜衡
王霜
白利敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Yunsheng Intelligent Technology Co ltd
Original Assignee
Tianjin Yunsheng Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Yunsheng Intelligent Technology Co ltd filed Critical Tianjin Yunsheng Intelligent Technology Co ltd
Priority to CN202311190257.3A priority Critical patent/CN116934829B/zh
Publication of CN116934829A publication Critical patent/CN116934829A/zh
Application granted granted Critical
Publication of CN116934829B publication Critical patent/CN116934829B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本申请的一些实施例提供了一种无人机目标深度估计的方法、装置、存储介质及电子设备，该方法包括：将无人机平移过程中的两张图像输入至预先训练好的特征点匹配模型中，获取所述两张图像的特征点匹配对；利用所述特征点匹配对计算特征矩阵；通过所述特征矩阵，获取无人机旋转参量；利用所述无人机旋转参量和无人机平移向量，计算所述两张图像中待检测目标对象同名点对应的目标深度信息。本申请的一些实施例可以降低目标深度估计的计算量，效率较高。

Description

无人机目标深度估计的方法、装置、存储介质及电子设备
技术领域
本申请涉及无人机深度估计技术领域，具体而言，涉及一种无人机目标深度估计的方法、装置、存储介质及电子设备。
背景技术
在计算机视觉领域获取场景深度信息，即为探测某一特定区域内各点到探测系统的距离，其探测结果可以由灰度图或三维重建图像表示。场景深度信息由于数据量少且描述对象特征直接，被广泛应用。
目前，在对无人机的目标深度估计时一般通过深度学习的方式，但是通过深度学习获取目标深度的方法无论是从学习效率和学习所需资源都有较高要求，不适于资源受限的设备中，另外现有的估计算法估计得到的坐标与实际差异较大且计算量大。
因此，如何提供一种计算量小且较为准确的无人机目标深度估计的方法的技术方案成为亟需解决的技术问题。
发明内容
本申请的一些实施例的目的在于提供一种无人机目标深度估计的方法、装置、存储介质及电子设备，通过本申请的实施例的技术方案可以在降低计算量的同时实现对无人机的目标深度的准确估计。
第一方面，本申请的一些实施例提供了一种无人机目标深度估计的方法，包括：将无人机平移过程中的两张图像输入至预先训练好的特征点匹配模型中，获取所述两张图像的特征点匹配对；利用所述特征点匹配对计算特征矩阵；通过所述特征矩阵，获取无人机旋转参量；利用所述无人机旋转参量和无人机平移向量，计算所述两张图像中待检测目标对象同名点对应的目标深度信息。
本申请的一些实施例通过预先训练好的特征点匹配模型得到无人机图像的特征点匹配对，然后基于特征点匹配对得到特征矩阵后得到无人机旋转参量，最后通过无人机旋转参量和无人机平移向量，得到无人机的目标深度信息。本申请的一些实施例通过引入特征点匹配模型可以降低整个过程的计算量，同时提升了获取的无人机旋转参量的准确度，进而提升了最终的结果的准确度。
在一些实施例，所述无人机平移向量是通过如下方法获取的：获取所述无人机在世界固定坐标系中的位姿信息；实时检测所述无人机的吊舱云台的关节角度，确定所述吊舱的姿态坐标变化信息；通过所述姿态坐标变化信息和所述位姿信息，确定所述吊舱云台在所述世界固定坐标系下的位姿矩阵，并将所述位姿矩阵的平移部分作为所述无人机平移向量。
本申请的一些实施例通过对无人机的吊舱云台的关节角度变化情况进行检测得到吊舱的姿态坐标变化信息，再结合无人机的位姿信息，确定无人机平移向量，准确度较高。
在一些实施例，在所述将无人机平移过程中的两张图像输入至预先训练好的特征点匹配模型中之前，所述方法还包括：利用训练集对图像匹配模型进行训练，得到待优化图像匹配模型；通过深度学习推理优化器对所述待优化图像匹配模型进行优化，得到所述特征点匹配模型。
本申请的一些实施例通过对图像匹配模型进行训练和优化得到特征点匹配模块，为获取准确度较高的无人机旋转参量提供支持。
在一些实施例，所述利用所述特征点匹配对计算特征矩阵，包括：确实所述特征点匹配对中各特征点的归一化坐标；通过所述各特征点的归一化坐标与所述第一矩阵参数的关系式，求解出所述第一矩阵参数；将所述第一矩阵参数左乘相机内参的转置矩阵的逆矩阵，右乘所述相机内参的逆矩阵，得到所述特征矩阵。
本申请的一些实施例通过上述方式可以得到特征矩阵，进而后续可以得到精准度较高的无人机旋转参量R。
在一些实施例，所述通过所述特征矩阵，获取无人机旋转参量，包括：通过所述特征矩阵、所述无人机平移向量以及所述相机内参，确定所述无人机旋转参量。
本申请的一些实施例通过上述方式可以得到精准度较高的无人机旋转参量R。
在一些实施例，在所述利用所述无人机旋转参量和无人机平移向量，计算所述两张图像中待检测目标对象同名点对应的目标深度信息之前，所述方法还包括：将所述两张图像输入至目标检测模型，得到与所述待检测目标对象相关的目标识别框；将所述目标识别框的中心点作为所述同名点。
本申请的一些实施例通过目标检测模型可以确定同名点，效率较高。
在一些实施例，所述利用所述无人机旋转参量和无人机平移向量，计算所述两张图像中待检测目标对象同名点对应的目标深度信息，包括：将所述两张图像中第一张图像像素点转换至相机坐标系下的第一坐标；将所述两张图像中第二张图像像素点转换至相机坐标系下的第二坐标；对所述第一坐标、所述第二坐标、所述无人机旋转参量和所述无人机平移向量进行计算，得到所述目标深度信息，其中，所述目标深度信息包括：所述第一张图像中所述待检测目标对象的第一深度和所述第二张图像中所述待检测目标对象的第二深度。
本申请的一些实施例通过对两张图像中的图像像素点进行转换，然后对第一坐标、第二坐标、无人机旋转参量和无人机平移向量进行计算，得到目标深度信息，计算量小且准确度高。
第二方面，本申请的一些实施例提供了一种无人机目标深度估计的装置，包括：视觉特征模块，用于将无人机平移过程中的两张图像输入至预先训练好的特征点匹配模型中，获取所述两张图像的特征点匹配对；计算模块，用于利用所述特征点匹配对计算特征矩阵；获取模块，用于通过所述特征矩阵，获取无人机旋转参量；深度估计模块，用于利用所述无人机旋转参量和无人机平移向量，计算所述两张图像中待检测目标对象同名点对应的目标深度信息。
在一些实施例，所述深度估计模块，用于：获取所述无人机在世界固定坐标系中的位姿信息；实时检测所述无人机的吊舱云台的关节角度，确定所述吊舱的姿态坐标变化信息；通过所述姿态坐标变化信息和所述位姿信息，确定所述吊舱云台在所述世界固定坐标系下的位姿矩阵，并将所述位姿矩阵的平移部分作为所述无人机平移向量。
第三方面，本申请的一些实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如第一方面任一实施例所述的方法。
第四方面，本申请的一些实施例提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现如第一方面任一实施例所述的方法。
第五方面，本申请的一些实施例提供一种计算机程序产品，所述的计算机程序产品包括计算机程序，其中，所述的计算机程序被处理器执行时可实现如第一方面任一实施例所述的方法。
附图说明
为了更清楚地说明本申请的一些实施例的技术方案，下面将对本申请的一些实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请的一些实施例提供的一种无人机目标深度估计的系统图；
图2为本申请的一些实施例提供的无人机目标深度估计的方法流程图之一；
图3为本申请的一些实施例提供的无人机目标深度估计的方法流程图之二；
图4为本申请的一些实施例提供的一种无人机目标深度估计的装置组成框图；
图5为本申请的一些实施例提供的一种电子设备示意图。
具体实施方式
下面将结合本申请的一些实施例中的附图，对本申请的一些实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
相关技术中，在计算机视觉领域中场景深度信息由于数据量少且描述对象特征直接，可广泛应用于定位、识别、人机交互等重要机器视觉研究项目中，其在视觉SlAM（simultaneous localization and mapping，即时定位与地图构建）有着广阔的应用前景。
传统的获取深度图像方法都需要特殊的图像采集设备，如激光雷达、TOF相机、双目摄像机等，且对使用场景有较强的约束，因此在现实应用中难以推广。现有技术中通常利用深度学习来解决无人机中单幅图像的深度估计问题，但通过深度学习获取深度的方法无论是从学习效率和学习所需资源都有较高要求，不适于资源受限的设备中。另外现有的无人机的深度位置估计算法估计得到的坐标与实际差异较大，且计算量较大。
由上述相关技术可知，现有技术中目标深度估计的准确度较差且计算量较大。
鉴于此，本申请的一些实施例提供了一种无人机目标深度估计的方法，该方法通过预先训练好的特征点匹配模型中，得到无人机的两张图像的特征点匹配对。之后通过特征点匹配对可以获得第一矩阵参数和特征矩阵，进而获取无人机选择参量。最后通过无人机旋转参量和无人机平移向量，可以得到两张图像中待检测目标对象同名点对应的目标深度信息。本申请的一些实施例通过特征点匹配模型获取特征点匹配对可以获取较精准的无人机旋转参量，进而可以提升目标深度信息估计的准确度，而且整个过程涉及到的计算量较小，提升了深度信息估计的效率。
下面结合附图1示例性阐述本申请的一些实施例提供的无人机目标深度估计的系统的整体组成结构。
如图1所示，本申请的一些实施例提供了一种无人机目标深度估计的系统，该无人机目标深度估计的系统包括：无人机100以及部署在无人机100上的相机110和处理器120。相机110可以采集无人机100在平移过程中的两张图像，然后将图像给到处理器120。处理器120将两张图像输入至部署的预先训练好的特征点匹配模型中，获取两张图像的特征点匹配对，然后基于特征点匹配对进行计算得到无人机旋转参量。最后处理器120通过无人机旋转参量和无人机平移参量得到同名点的目标深度信息。
在本申请的一些实施例中，相机110的类型可以根据实际情况进行选择，本申请实施例在此不作具体限定。两张图像可以为无人机平移过程中前后相邻的两帧，或者是相隔预设时段内的两帧，本申请实施例在此不作具体限定。
下面结合附图2示例性阐述本申请的一些实施例提供的由处理器120执行的无人机目标深度估计的实现过程。
请参见附图2，图2为本申请的一些实施例提供的一种无人机目标深度估计的方法流程图，该无人机目标深度估计的方法至少包括：
S210，将无人机平移过程中的两张图像输入至预先训练好的特征点匹配模型中，获取所述两张图像的特征点匹配对。
例如，在本申请的一些实施例中，对无人机100平移前后两张图像利用预先训练好的SuperPoint-SuperGlue特征点匹配框架模型（作为特征点匹配模型的一个具体示例）进行特征点检测，得到两者图像的特征点匹配对p1-p2。
在本申请的一些实施例中，在执行S210之前，无人机目标深度估计的方法还可以包括：利用训练集对图像匹配模型进行训练，得到待优化图像匹配模型；通过深度学习推理优化器对所述待优化图像匹配模型进行优化，得到所述特征点匹配模型。
例如，在本申请的一些实施例中，图像匹配模型选择SuperPoint-SuperGlue特征点匹配框架，深度学习推理优化器选择TensorRT。通过构建的与无人机的特征点匹配相关的样本数据相关的训练集对SuperPoint-SuperGlue特征点匹配框架进行训练，并采用TensorRT进行加速优化，得到预先训练好的SuperPoint-SuperGlue特征点匹配框架模型。可以理解的是，图像匹配模型和深度学习推理优化器的具体类型可以根据实际情况进行选择，本申请实施例并不局限于此。
S220，利用所述特征点匹配对计算特征矩阵。
例如，在本申请的一些实施例中，根据相机110采集的无人机平移的两张图像中两个位置下成像和投影关系，可以通过特征点匹配对p1-p2计算得到第一矩阵参数M或第二矩阵参数F（作为特征矩阵的一个具体示例）。
S230，通过所述特征矩阵，获取无人机旋转参量。
在本申请的一些实施例中，S220可以包括：确实所述特征点匹配对中各特征点的归一化坐标；通过所述各特征点的归一化坐标与所述第一矩阵参数的关系式，求解出所述第一矩阵参数；将所述第一矩阵参数左乘相机内参的转置矩阵的逆矩阵，右乘所述相机内参的逆矩阵，得到所述特征矩阵。
例如，在本申请的一些实施例中，设定第一矩阵参数M为3×3的矩阵，其具体形式为：
然后，对p1-p2进行处理，得到p1-p2的归一化坐标（作为各特征点的归一化坐标的一个具体示例）分别为：和/>；
其次，通过如下关系式，求解得到M：
之后，通过M和F之间的关系，通过下式得到F，F=K -T MK -1。其中，K为搭载在无人机100上的相机110的相机内参，K -T为相机内参K的转置矩阵的逆矩阵，K -1为相机内参的逆矩阵。
在本申请的一些实施例中，S230可以包括：通过所述特征矩阵、所述无人机平移向量以及所述相机内参，确定所述无人机旋转参量。
例如，在本申请的一些实施例中，通过求解得到无人机旋转参量R，t为无人机平移向量。
需要说明的是，由于通常R通过坐标变换法，刚体的坐标变换得到，但是姿态误差由于飞机和云台等角度误差比较大，计算无人机旋转参量R（简称旋转参量R）与实际存在很大误差，因此本申请上述实施例创造性的提出了采用视觉图像特征点法（也就是上述通过预先训练好的特征点匹配模型获取特征点匹配对后再通过关系式得到第一矩阵参数M进而计算得到R的过程）恢复无人机平移前后旋转参量R，使得得到的R的精准度更高。
在本申请的一些实施例中，在执行S240之前，无人机目标深度估计的方法还可以包括：通过如下方法获取无人机平移向量：获取所述无人机在世界固定坐标系中的位姿信息；实时检测所述无人机的吊舱云台的关节角度，确定所述吊舱的姿态坐标变化信息；通过所述姿态坐标变化信息和所述位姿信息，确定所述吊舱云台在所述世界固定坐标系下的位姿矩阵，并将所述位姿矩阵的平移部分作为所述无人机平移向量。
例如，在本申请的一些实施例中，由于现有技术中的单目两帧图像是没有尺度的，而无人机平移向量t（简称平移向量t）由无人机定位信息得到，所以采用坐标变换法可以获取平移向量t。
具体的，平移向量t通过坐标变换及标定得到：首先，得到无人机在odom坐标系（也就是世界固定坐标系）下的位姿信息，通过标定无人机到吊舱云台的坐标变换情况，实时监测吊舱云台的三轴关节角度，得到吊舱相较于原始位置到当前的吊舱姿态下的坐标变换（作为姿态坐标变化信息的一个具体示例），结合无人机的位姿信息就能得到吊舱云台在odom坐标系下的位姿矩阵，只取位姿矩阵的平移部分即获取平移向量t。
在本申请的一些实施例中，在执行S240之前，无人机目标深度估计的方法还可以包括：将所述两张图像输入至目标检测模型，得到与所述待检测目标对象相关的目标识别框；将所述目标识别框的中心点作为所述同名点。
例如，在本申请的一些实施例中，在检测待检测目标对象的同名点在该位姿信息下成像的对应像素点P1及P2时，可以具体待检测目标对象的位置坐标，通过采用大模型检测模型（作为目标检测模型的一个具体示例）分别检测两张图像中在两个位置下成像中得到目标识别框，并以目标识别框中心点作为同名点P1及P2。
S240，利用所述无人机旋转参量和无人机平移向量，计算所述两张图像中待检测目标对象同名点对应的目标深度信息。
例如，在本申请的一些实施例中，通过对R和t进行计算，可以得到待检测目标对象的目标深度信息s 1和s 2。其中，待检测目标对象可以是无人机拍摄到的物体。
在本申请的一些实施例中，S240可以包括：将所述两张图像中第一张图像像素点转换至相机坐标系下的第一坐标；将所述两张图像中第二张图像像素点转换至相机坐标系下的第二坐标；对所述第一坐标、所述第二坐标、所述无人机旋转参量和所述无人机平移向量进行计算，得到所述目标深度信息，其中，所述目标深度信息包括：所述第一张图像中所述待检测目标对象的第一深度和所述第二张图像中所述待检测目标对象的第二深度。
例如，在本申请的一些实施例中，将无人机平移前的第一张图像作为参考图像，将参考图像帧像素点转换到相机坐标系的坐标，得到第一坐标x 1，将无人机平移后的第二张图像的像素坐标转换到相机坐标系的坐标，得到第二坐标x 2。之后通过如下公式估计和求解三维空间中对应同名点P1及P2对应的目标深度信息：。也就是利用最小二乘即可求得无人机平移位置前后两帧图像中目标深度信息s 1和s 2。
另外，在得到目标深度信息后还可以结合目标检测得到的空间平面坐标信息，即得到目标对象在物理空间的三维位置信息。
下面结合附图3示例性阐述本申请的一些实施例提供的无人机目标深度估计的具体过程。
请参见附图3，图3为本申请的一些实施例提供的一种无人机目标深度估计的方法流程图。
下面示例性阐述上述过程。
S310，将无人机平移过程中的两张图像输入至预先训练好的特征点匹配模型中，获取两张图像的特征点匹配对p1-p2。
S320，利用特征点匹配对计算特征矩阵。
S330，通过坐标转换法获取平移向量t；通过特征矩阵和搭载在无人机100上相机内部参数K和平移向量t，获取无人机旋转参量R。
S340，检测待检测目标对象的同名点在R和t下成像的对应像素点P1及P2。
S350，利用R和t，计算两张图像中待检测目标对象同名点P1及P2对应的目标深度信息。
需要说明的是，S310~S350的具体实现过程可以参照上文提供的方法实施例，为避免重复在此不作赘述。
通过上述本申请的一些实施例可知，本申请提出的一种基于无人机视觉的目标深度估计方法，通过目标特征点匹配算法优化旋转参量R的计算和坐标转换得到t，通过得到优化的参数，使得目标深度信息估计更为准确。基于目标特征点检测算法（也就是目标检测模型）得到目标对象的同名点，基于同名点可以快速计算得到目标深度信息，还可以融合检测位置坐标信息得到目标在物理空间的三维位置信息。
请参考图4，图4示出了本申请的一些实施例提供的无人机目标深度估计的装置的组成框图。应理解，该无人机目标深度估计的装置与上述方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该无人机目标深度估计的装置的具体功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。
图4的无人机目标深度估计的装置包括至少一个能以软件或固件的形式存储于存储器中或固化在无人机目标深度估计的装置中的软件功能模块，该无人机目标深度估计的装置包括：视觉特征模块410，用于将无人机平移过程中的两张图像输入至预先训练好的特征点匹配模型中，获取所述两张图像的特征点匹配对；计算模块420，用于利用所述特征点匹配对计算特征矩阵；获取模块430，用于通过所述特征矩阵，获取无人机旋转参量；深度估计模块440，用于利用所述无人机旋转参量和无人机平移向量，计算所述两张图像中待检测目标对象同名点对应的目标深度信息。
在本申请的一些实施例中，深度估计模块440，用于：获取所述无人机在世界固定坐标系中的位姿信息；实时检测所述无人机的吊舱云台的关节角度，确定所述吊舱的姿态坐标变化信息；通过所述姿态坐标变化信息和所述位姿信息，确定所述吊舱云台在所述世界固定坐标系下的位姿矩阵，并将所述位姿矩阵的平移部分作为所述无人机平移向量。
在本申请的一些实施例中，视觉特征模块410，用于利用训练集对图像匹配模型进行训练，得到待优化图像匹配模型；通过深度学习推理优化器对所述待优化图像匹配模型进行优化，得到所述特征点匹配模型。
在本申请的一些实施例中，计算模块420，用于确实所述特征点匹配对中各特征点的归一化坐标；通过所述各特征点的归一化坐标与所述第一矩阵参数的关系式，求解出所述第一矩阵参数；将所述第一矩阵参数左乘相机内参的转置矩阵的逆矩阵，右乘所述相机内参的逆矩阵，得到所述特征矩阵。
在本申请的一些实施例中，获取模块430，用于通过所述特征矩阵、所述无人机平移向量以及所述相机内参，确定所述无人机旋转参量。
在本申请的一些实施例中，深度估计模块440，用于：将所述两张图像输入至目标检测模型，得到与所述待检测目标对象相关的目标识别框；将所述目标识别框的中心点作为所述同名点。
在本申请的一些实施例中，深度估计模块440，用于：将所述两张图像中第一张图像像素点转换至相机坐标系下的第一坐标；将所述两张图像中第二张图像像素点转换至相机坐标系下的第二坐标；对所述第一坐标、所述第二坐标、所述无人机旋转参量和所述无人机平移向量进行计算，得到所述目标深度信息，其中，所述目标深度信息包括：所述第一张图像中所述待检测目标对象的第一深度和所述第二张图像中所述待检测目标对象的第二深度。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
本申请的一些实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时可实现如上述实施例提供的上述方法中的任意实施例所对应方法的操作。
本申请的一些实施例还提供了一种计算机程序产品，所述的计算机程序产品包括计算机程序，其中，所述的计算机程序被处理器执行时可实现如上述实施例提供的上述方法中的任意实施例所对应方法的操作。
如图5所示，本申请的一些实施例提供一种电子设备500，该电子设备500包括：存储器510、处理器520以及存储在存储器510上并可在处理器520上运行的计算机程序，其中，处理器520通过总线530从存储器510读取程序并执行所述程序时可实现如上述任意实施例的方法。
处理器520可以处理数字信号，可以包括各种计算结构。例如复杂指令集计算机结构、结构精简指令集计算机结构或者一种实行多种指令集组合的结构。在一些示例中，处理器520可以是微处理器。
存储器510可以用于存储由处理器520执行的指令或指令执行过程中相关的数据。这些指令和/或数据可以包括代码，用于实现本申请实施例描述的一个或多个模块的一些功能或者全部功能。本公开实施例的处理器520可以用于执行存储器510中的指令以实现上述所示的方法。存储器510包括动态随机存取存储器、静态随机存取存储器、闪存、光存储器或其它本领域技术人员所熟知的存储器。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (8)

1.一种无人机目标深度估计的方法，其特征在于，包括：
将无人机平移过程中的两张图像输入至预先训练好的特征点匹配模型中，获取所述两张图像的特征点匹配对；
利用所述特征点匹配对计算特征矩阵；
通过所述特征矩阵，获取无人机旋转参量；
利用所述无人机旋转参量和无人机平移向量，计算所述两张图像中待检测目标对象同名点对应的目标深度信息；其中，所述无人机平移向量是通过对无人机定位信息进行坐标变化得到的；所述同名点是通过目标检测模型对所述两张图像中在两个位置下的成像情况进行识别得到的；
所述利用所述特征点匹配对计算特征矩阵，包括：
确定所述特征点匹配对中各特征点的归一化坐标；通过所述各特征点的归一化坐标与第一矩阵参数的关系式，求解出所述第一矩阵参数；将所述第一矩阵参数左乘相机内参的转置矩阵的逆矩阵，右乘所述相机内参的逆矩阵，得到所述特征矩阵；
所述无人机平移向量是通过如下方法获取的：
获取所述无人机在世界固定坐标系中的位姿信息；
实时检测所述无人机的吊舱云台的关节角度，确定所述吊舱的姿态坐标变化信息；
通过所述姿态坐标变化信息和所述位姿信息，确定所述吊舱云台在所述世界固定坐标系下的位姿矩阵，并将所述位姿矩阵的平移部分作为所述无人机平移向量。
2.如权利要求1所述的方法，其特征在于，在所述将无人机平移过程中的两张图像输入至预先训练好的特征点匹配模型中之前，所述方法还包括：
利用训练集对图像匹配模型进行训练，得到待优化图像匹配模型；
通过深度学习推理优化器对所述待优化图像匹配模型进行优化，得到所述特征点匹配模型。
3.如权利要求1所述的方法，其特征在于，所述通过所述特征矩阵，获取无人机旋转参量，包括：
通过所述特征矩阵、所述无人机平移向量以及相机内参，确定所述无人机旋转参量。
4.如权利要求1所述的方法，其特征在于，在所述利用所述无人机旋转参量和无人机平移向量，计算所述两张图像中待检测目标对象同名点对应的目标深度信息之前，所述方法还包括：
将所述两张图像输入至目标检测模型，得到与所述待检测目标对象相关的目标识别框；
将所述目标识别框的中心点作为所述同名点。
5.如权利要求1所述的方法，其特征在于，所述利用所述无人机旋转参量和无人机平移向量，计算所述两张图像中待检测目标对象同名点对应的目标深度信息，包括：
将所述两张图像中第一张图像像素点转换至相机坐标系下的第一坐标；
将所述两张图像中第二张图像像素点转换至相机坐标系下的第二坐标；
对所述第一坐标、所述第二坐标、所述无人机旋转参量和所述无人机平移向量进行计算，得到所述目标深度信息，其中，所述目标深度信息包括：所述第一张图像中所述待检测目标对象的第一深度和所述第二张图像中所述待检测目标对象的第二深度。
6.一种无人机目标深度估计的装置，其特征在于，包括：
视觉特征模块，用于将无人机平移过程中的两张图像输入至预先训练好的特征点匹配模型中，获取所述两张图像的特征点匹配对；
计算模块，用于利用所述特征点匹配对计算特征矩阵；
获取模块，用于通过所述特征矩阵，获取无人机旋转参量；
深度估计模块，用于利用所述无人机旋转参量和无人机平移向量，计算所述两张图像中待检测目标对象同名点对应的目标深度信息；其中，所述无人机平移向量是通过对无人机定位信息进行坐标变化得到的；所述同名点是通过目标检测模型对所述两张图像中在两个位置下的成像情况进行识别得到的；
所述计算模块，用于：确定所述特征点匹配对中各特征点的归一化坐标；通过所述各特征点的归一化坐标与第一矩阵参数的关系式，求解出所述第一矩阵参数；将所述第一矩阵参数左乘相机内参的转置矩阵的逆矩阵，右乘所述相机内参的逆矩阵，得到所述特征矩阵；
所述深度估计模块，用于：获取所述无人机在世界固定坐标系中的位姿信息；实时检测所述无人机的吊舱云台的关节角度，确定所述吊舱的姿态坐标变化信息；通过所述姿态坐标变化信息和所述位姿信息，确定所述吊舱云台在所述世界固定坐标系下的位姿矩阵，并将所述位姿矩阵的平移部分作为所述无人机平移向量。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其中，所述计算机程序被处理器运行时执行如权利要求1-5中任意一项权利要求所述的方法。
8.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并在所述处理器上运行的计算机程序，其中，所述计算机程序被所述处理器运行时执行如权利要求1-5中任意一项权利要求所述的方法。
CN202311190257.3A 2023-09-15 2023-09-15 无人机目标深度估计的方法、装置、存储介质及电子设备 Active CN116934829B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311190257.3A CN116934829B (zh) 2023-09-15 2023-09-15 无人机目标深度估计的方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311190257.3A CN116934829B (zh) 2023-09-15 2023-09-15 无人机目标深度估计的方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN116934829A CN116934829A (zh) 2023-10-24
CN116934829B true CN116934829B (zh) 2023-12-12

Family

ID=88386434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311190257.3A Active CN116934829B (zh) 2023-09-15 2023-09-15 无人机目标深度估计的方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN116934829B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120104043A (ko) * 2011-03-11 2012-09-20 전자부품연구원 역키네마틱스를 이용하여 위치를 제어하는 곤돌라 로봇 및 그의 위치 제어 방법
CN115205489A (zh) * 2022-06-06 2022-10-18 广州中思人工智能科技有限公司 一种大场景下的三维重建方法、系统及装置
CN115690612A (zh) * 2022-09-28 2023-02-03 中国电子科技集团公司第十研究所 一种无人机光电图像目标搜索量化指示方法、设备及介质
CN116012377A (zh) * 2023-03-24 2023-04-25 四川腾盾科技有限公司 一种基于卫星地图的无人机虚拟观测图像生成及定位方法
CN116188550A (zh) * 2021-11-26 2023-05-30 北京航空航天大学 一种基于几何约束的自监督深度视觉里程计
WO2023104207A1 (zh) * 2021-12-10 2023-06-15 深圳先进技术研究院 一种协同三维建图方法及系统
CN116612235A (zh) * 2023-02-22 2023-08-18 昆明能讯科技有限责任公司 一种多视图几何无人机图像三维重建方法及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4115145A4 (en) * 2020-03-05 2023-08-02 Magic Leap, Inc. SYSTEMS AND METHODS FOR DEPTH ESTIMATION BY LEARNING TRIANGULATION AND SPREAD POINT DENSIFICATION FOR MULTIVIEW STEREO

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120104043A (ko) * 2011-03-11 2012-09-20 전자부품연구원 역키네마틱스를 이용하여 위치를 제어하는 곤돌라 로봇 및 그의 위치 제어 방법
CN116188550A (zh) * 2021-11-26 2023-05-30 北京航空航天大学 一种基于几何约束的自监督深度视觉里程计
WO2023104207A1 (zh) * 2021-12-10 2023-06-15 深圳先进技术研究院 一种协同三维建图方法及系统
CN115205489A (zh) * 2022-06-06 2022-10-18 广州中思人工智能科技有限公司 一种大场景下的三维重建方法、系统及装置
CN115690612A (zh) * 2022-09-28 2023-02-03 中国电子科技集团公司第十研究所 一种无人机光电图像目标搜索量化指示方法、设备及介质
CN116612235A (zh) * 2023-02-22 2023-08-18 昆明能讯科技有限责任公司 一种多视图几何无人机图像三维重建方法及存储介质
CN116012377A (zh) * 2023-03-24 2023-04-25 四川腾盾科技有限公司 一种基于卫星地图的无人机虚拟观测图像生成及定位方法

Also Published As

Publication number Publication date
CN116934829A (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
US10984554B2 (en) Monocular vision tracking method, apparatus and non-volatile computer-readable storage medium
CN112304307A (zh) 一种基于多传感器融合的定位方法、装置和存储介质
US20210027490A1 (en) Apparatus for Determining an Angle of a Trailer Attached to A Vehicle
JP6830140B2 (ja) 運動ベクトル場の決定方法、運動ベクトル場の決定装置、機器、コンピュータ読み取り可能な記憶媒体及び車両
CN109472820B (zh) 单目rgb-d相机实时人脸重建方法及装置
CN111735439B (zh) 地图构建方法、装置和计算机可读存储介质
JP6782903B2 (ja) 自己運動推定システム、自己運動推定システムの制御方法及びプログラム
JP7173471B2 (ja) ３次元位置推定装置及びプログラム
CN109447901B (zh) 一种全景成像方法和装置
CN111623773B (zh) 一种基于鱼眼视觉和惯性测量的目标定位方法及装置
CN112083403B (zh) 用于虚拟场景的定位追踪误差校正方法及系统
CN113763548B (zh) 基于视觉-激光雷达耦合的贫纹理隧洞建模方法及系统
US11703596B2 (en) Method and system for automatically processing point cloud based on reinforcement learning
CN113052907B (zh) 一种动态环境移动机器人的定位方法
CN115015956A (zh) 一种室内无人车的激光与视觉slam系统
CN116934829B (zh) 无人机目标深度估计的方法、装置、存储介质及电子设备
CN111833395B (zh) 一种基于神经网络模型的测向体制单目标定位方法和装置
CN111462321B (zh) 点云地图处理方法、处理装置、电子装置和车辆
CN112037261A (zh) 一种图像动态特征去除方法及装置
CN117541655B (zh) 融合视觉语义消除radar建图z轴累积误差的方法
CN113781538B (zh) 一种图像深度信息融合方法、系统、电子设备及存储介质
CN112907654B (zh) 多目相机外参数优化方法、装置、电子设备及存储介质
CN115375772B (zh) 相机标定方法、装置、设备及存储介质
JP4958992B2 (ja) 運動算出装置及び運動算出方法
CN116597106A (zh) 一种空对地大场景稀疏重建与目标定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant