CN116188583B - 相机位姿信息生成方法、装置、设备和计算机可读介质 - Google Patents

相机位姿信息生成方法、装置、设备和计算机可读介质 Download PDF

Info

Publication number
CN116188583B
CN116188583B CN202310437705.9A CN202310437705A CN116188583B CN 116188583 B CN116188583 B CN 116188583B CN 202310437705 A CN202310437705 A CN 202310437705A CN 116188583 B CN116188583 B CN 116188583B
Authority
CN
China
Prior art keywords
information
target
image
matching
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310437705.9A
Other languages
English (en)
Other versions
CN116188583A (zh
Inventor
刘潇潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heduo Technology Guangzhou Co ltd
Original Assignee
HoloMatic Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HoloMatic Technology Beijing Co Ltd filed Critical HoloMatic Technology Beijing Co Ltd
Priority to CN202310437705.9A priority Critical patent/CN116188583B/zh
Publication of CN116188583A publication Critical patent/CN116188583A/zh
Application granted granted Critical
Publication of CN116188583B publication Critical patent/CN116188583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开的实施例公开了相机位姿信息生成方法、装置、设备和计算机可读介质。该方法的一具体实施方式包括：获取当前时刻的目标道路图像和相机参数信息；基于目标道路图像，对场景图像信息序列进行匹配处理，得到目标场景图像信息序列；对于每个目标场景图像信息：从点云数据帧信息序列中、选出一个点云数据帧信息，作为目标点云数据帧信息；基于相机参数信息和目标点云数据帧信息，生成目标点云数据组；对各个目标点云数据进行投影处理，得到点云投影数据组；基于点云投影数据组，生成目标渲染图像；基于目标渲染图像和目标道路图像，生成匹配点信息组序列；生成相机位姿信息。该实施方式可以快速定位到图像中的障碍物，提高了规划路径的安全性。

Description

相机位姿信息生成方法、装置、设备和计算机可读介质
技术领域
本公开的实施例涉及计算机技术领域，具体涉及相机位姿信息生成方法、装置、设备和计算机可读介质。
背景技术
相机位姿信息生成方法，是用于图像重定位的一项技术。目前，在生成相机位姿信息时，通常采用的方式为：以稀疏三维点云地图为先验视觉地图进行图像重定位，得到相机位姿信息。
然而，发明人发现，当采用上述方式生成相机位姿信息时，经常会存在如下技术问题：
第一，由于图像重定位过程中，先验视觉地图与特征提取模型之间强耦合，当特征提取模型更新时，需要先重建先验视觉地图，再执行图像重定位以生成相机位姿信息，使得相机位姿信息生成效率降低，从而，无法快速定位到图像中的障碍物，降低了规划路径的安全性。
第二，在图像重定位过程中，由于与当前图像帧匹配的多个历史图像帧之间存在视角差别，使得与当前图像帧中的一个二维点相匹配的、不同历史图像帧对应的各个三维点之间的深度也存在偏差，若直接根据各个三维点与二维点匹配进行相机位姿解算，会使得相机位姿信息准确度不足，进一步使得障碍物定位的准确度降低，从而，降低了规划路径的安全性。
该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解，并因此，其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
本公开的一些实施例提出了相机位姿信息生成方法、装置、设备和计算机可读介质，来解决以上背景技术部分提到的技术问题中的一项或多项。
第一方面，本公开的一些实施例提供了一种相机位姿信息生成方法，该方法包括：获取当前时刻的目标道路图像和相机参数信息；基于上述目标道路图像，对预设的场景图像信息序列进行匹配处理，得到目标场景图像信息序列；对于上述目标场景图像信息序列中的每个目标场景图像信息，执行以下步骤：从预设的点云数据帧信息序列中、选出与上述目标场景图像信息相匹配的一个点云数据帧信息，作为目标点云数据帧信息；基于上述相机参数信息和上述目标点云数据帧信息，生成目标点云数据组；对上述目标点云数据组中的各个目标点云数据进行投影处理，得到点云投影数据组；基于上述点云投影数据组，生成目标渲染图像；基于所生成的目标渲染图像和上述目标道路图像，生成匹配点信息组序列；基于上述匹配点信息组序列，生成相机位姿信息。
第二方面，本公开的一些实施例提供了一种相机位姿信息生成装置，装置包括：获取单元，被配置成获取当前时刻的目标道路图像和相机参数信息；匹配处理单元，被配置成基于上述目标道路图像，对预设的场景图像信息序列进行匹配处理，得到目标场景图像信息序列；执行单元，被配置成对于上述目标场景图像信息序列中的每个目标场景图像信息，执行以下步骤：从预设的点云数据帧信息序列中、选出与上述目标场景图像信息相匹配的一个点云数据帧信息，作为目标点云数据帧信息；基于上述相机参数信息和上述目标点云数据帧信息，生成目标点云数据组；对上述目标点云数据组中的各个目标点云数据进行投影处理，得到点云投影数据组；基于上述点云投影数据组，生成目标渲染图像；第一生成单元，被配置成基于所生成的目标渲染图像和上述目标道路图像，生成匹配点信息组序列；第二生成单元，被配置成基于上述匹配点信息组序列，生成相机位姿信息。
第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，上述计算机程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的相机位姿信息生成方法，可以快速定位到图像中的障碍物，提高了规划路径的安全性。具体来说，造成无法快速定位到图像中障碍物，降低了规划路径的安全性的原因在于：由于图像重定位过程中，先验视觉地图与特征提取模型之间强耦合，当特征提取模型更新时，需要先重建先验视觉地图，再执行图像重定位以生成相机位姿信息，使得相机位姿信息生成效率降低，从而，无法快速定位到图像中的障碍物，降低了规划路径的安全性。基于此，本公开的一些实施例的相机位姿信息生成方法，首先，获取当前时刻的目标道路图像和相机参数信息。由此，便于后续对目标道路图像中的二维点进行重定位。其次，基于上述目标道路图像，对预设的场景图像信息序列进行匹配处理，得到目标场景图像信息序列。由此，可以得到先验视觉地图的、与目标道路图像相似的连续帧场景图像对应的描述信息。然后，对于上述目标场景图像信息序列中的每个目标场景图像信息，执行以下步骤：从预设的点云数据帧信息序列中、选出与上述目标场景图像信息相匹配的一个点云数据帧信息，作为目标点云数据帧信息，基于上述相机参数信息和上述目标点云数据帧信息，生成目标点云数据组，对上述目标点云数据组中的各个目标点云数据进行投影处理，得到点云投影数据组，基于上述点云投影数据组，生成目标渲染图像。由此，通过将目标场景图像信息序列对应的各个点云数据帧投影至像素坐标系以及进行渲染，可以在像素坐标系下实现重建各个场景图像。之后，基于所生成的目标渲染图像和上述目标道路图像，生成匹配点信息组序列。由此，可以确定与目标道路图像中的二维点匹配的各个三维点。其中，三维点是目标渲染图像的特征点对应的点。最后，基于上述匹配点信息组序列，生成相机位姿信息。由此，可以根据由二维点与三维点组成的各个匹配对，确定目标道路图像对应的相机的位姿信息。因此，本公开的一些实施例的相机位姿信息生成方法，可以在重定位的过程中，先根据目标道路图像确定先验视觉地图对应的场景图像的点云数据，再根据点云数据对场景图像进行重建和特征提取以用于生成相机位姿信息，由此，可以使得特征提取模型与先验视觉地图解耦，当特征提取模型变更时，无需再重新构建先验视觉地图以提取描述信息，使得相机位姿信息的生成效率有所提高。从而，可以快速定位到图像中的障碍物，可以提高了规划路径的安全性。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
图1是根据本公开的相机位姿信息生成方法的一些实施例的流程图；
图2是根据本公开的相机位姿信息生成装置的一些实施例的结构示意图；
图3是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
下面将参考附图并结合实施例来详细说明本公开。
图1示出了根据本公开的相机位姿信息生成方法的一些实施例的流程100。该相机位姿信息生成方法，包括以下步骤：
步骤101，获取当前时刻的目标道路图像和相机参数信息。
在一些实施例中，相机位姿信息生成方法的执行主体（例如车端服务器）可以通过有线连接方式或者无线连接方式获取当前时刻的目标道路图像和相机视场角度。其中，上述目标道路图像可以是目标单目相机拍摄的前方道路的图像。上述目标单目相机可以是当前车辆上的待估计位姿的单目相机。上述相机参数信息可以是目标单目相机的配置参数的信息。上述配置参数可以包括但不限于以下至少一项：相机内参、视场角、焦距、成像高度和成像宽度等。上述成像高度可以是拍摄图像的高度。上述成像宽度可以是拍摄图像的宽度。可以从目标单目相机中，获取当前时刻的目标道路图像和相机参数信息。
步骤102，基于目标道路图像，对预设的场景图像信息序列进行匹配处理，得到目标场景图像信息序列。
在一些实施例中，上述执行主体可以通过各种方式，基于上述目标道路图像，对预设的场景图像信息序列进行匹配处理，得到目标场景图像信息序列。其中，上述预设的场景图像信息序列可以表征连续帧的场景图像。上述场景图像可以是道路的图像。上述场景图像信息序列中的场景图像信息可以包括场景图像标识和场景图像向量。上述场景图像标识可以对场景图像唯一标识。上述场景图像向量可以表征对应的场景图像。例如，上述场景图像向量可以是256维的向量。上述目标场景图像信息序列中的目标场景图像信息可以表征与上述目标道路图像相似的场景图像。与上述目标道路图像相似可以是：场景图像对应的特征点的描述信息与上述目标道路图像对应的特征点的信息之间的相似度大于预设阈值。上述预设阈值可以是预先设置的百分比。例如，上述预设阈值可以是80%。
在一些实施例的一些可选的实现方式中，上述执行主体可以通过以下步骤，基于上述目标道路图像，对预设的场景图像信息序列进行匹配处理，得到目标场景图像信息序列：
第一步，对上述目标道路图像进行特征提取处理，得到图像特征点信息集。其中，上述图像特征点信息集中的图像特征点信息可以表征目标道路图像中的一个特征点。上述图像特征点信息集中的图像特征点信息可以包括但不限于以下几项：第一特征点坐标和第一特征点向量等。上述第一特征点坐标可以是特征点在图像坐标系中的坐标。上述第一特征点向量可以是第一特征点坐标对应的特征点的描述子。上述描述子可以表征特征点周围的点的信息。可以通过预设的特征提取处理方法，对上述目标道路图像进行特征提取处理，得到图像特征点信息集。
作为示例，上述特征提取处理方法可以包括但不限于以下至少一项：SIFT（Scale-Invariant Feature Transform，尺度不变性特征变换）算法、ORB（Oriented FAST andRotated BRIEF，快速特征检测和描述）算法。
第二步，对上述图像特征点信息集进行特征编码处理，得到图像编码信息。其中，上述图像编码信息可以是表征上述目标道路图像的向量。可以通过预设的特征编码算法，对上述图像特征点信息集进行特征编码处理，得到图像编码信息。
作为示例，上述特征编码算法可以包括但不限于以下至少一项：改进的VLAD（Vector of Locally Aggregated Descriptors，局部聚集描述子向量）算法、FV（FisherVector，费舍尔向量）算法。
第三步，基于上述图像编码信息，对预设的场景图像信息序列进行匹配处理，得到目标场景图像信息序列。首先，对于上述场景图像信息序列中的每个场景图像信息，对上述场景图像信息和上述图像编码信息进行相似度分析，得到图像相似度。其中，上述图像相似度可以表征上述场景图像信息和上述图像编码信息之间的相似程度。可以通过预设的相似度分析方法进行相似度分析，以得到图像相似度。然后，通过预设的排序算法，对所得到的各个图像相似度进行排序，得到图像相似度序列。之后，将上述图像相似度序列中前预设数值个图像相似度确定为目标图像相似度序列。其中，上述预设数值可以是预先设置的数值。例如，上述预设数值可以是10。最后，通过上述排序算法，对上述目标图像相似度序列对应的各个场景图像信息进行排序，得到目标场景图像信息序列。
作为示例，上述相似度分析方法可以包括但不限于以下至少一项：欧氏距离、曼哈顿距离。上述排序算法可以包括但不限于以下至少一项：冒泡排序、插入排序。
步骤103，对于目标场景图像信息序列中的每个目标场景图像信息，执行以下步骤：
步骤1031，从预设的点云数据帧信息序列中、选出与目标场景图像信息相匹配的一个点云数据帧信息，作为目标点云数据帧信息。
在一些实施例中，上述执行主体可以从预设的点云数据帧信息序列中、选出与上述目标场景图像信息相匹配的一个点云数据帧信息，作为目标点云数据帧信息。其中，上述预设的点云数据帧信息序列可以表征连续帧的场景图像。上述点云数据帧信息序列中的点云数据帧信息可以包括点云图像标识和点云数据集。上述点云图像标识可以唯一表征一帧点云图像。上述点云图像可以是包括各个三维点的特征的图像。上述点云数据集中的点云数据可以表征一个三维点。上述点云数据集中的点云数据可以包括位置坐标和颜色值。上述位置坐标可以是三维坐标。上述颜色值可以是RGB（Red Green Blue，红绿蓝）颜色系统中的值。与上述目标场景图像信息相匹配可以是点云数据帧信息包括的点云图像标识与上述目标场景图像信息包括的场景图像标识相同。
步骤1032，基于相机参数信息和目标点云数据帧信息，生成目标点云数据组。
在一些实施例中，上述执行主体可以基于上述相机参数信息和上述目标点云数据帧信息，生成目标点云数据组。其中，目标点云数据组中的目标点云数据可以表征上述相机的视场角范围内的三维点。上述视场角范围可以是视场角对应的拍摄范围。可以将上述目标点云数据帧信息包括的点云数据集中、与上述相机参数信息包括的视场角相匹配的点云数据确定为目标点云数据，得到目标点云数据组。其中，与上述相机参数信息包括的视场角相匹配可以是点云数据对应的点在上述相机的视场角范围内。
步骤1033，对目标点云数据组中的各个目标点云数据进行投影处理，得到点云投影数据组。
在一些实施例中，上述执行主体可以对上述目标点云数据组中的各个目标点云数据进行投影处理，得到点云投影数据组。其中，上述点云投影数据组中的点云投影数据可以表征像素平面中的二维点。上述点云投影数据组中的点云投影数据可以包括像素点坐标和像素颜色值。上述像素点坐标可以是相机坐标系下满足成像条件的二维坐标。上述成像条件可以是：横坐标大于等于0、且小于上述成像宽度，以及纵坐标大于等于0、且小于上述成像高度。上述像素颜色值可以是RGB值。首先，将上述目标点云数据帧信息对应的位姿矩阵确定为场景图像位姿矩阵。其中，上述目标点云数据帧信息对应的位姿矩阵存储在上述目标点云数据帧信息对应的KD-Tree（K-Dimensional Tree，K维树）中。然后，对于上述目标点云数据组中的每个目标点云数据，将上述相机内参、上述场景图像位姿矩阵和上述目标点云数据的乘积确定为点云投影数据。最后，将所确定的各个点云投影数据确定为点云投影数据组。
步骤1034，基于点云投影数据组，生成目标渲染图像。
在一些实施例中，上述执行主体可以基于上述点云投影数据组，生成目标渲染图像。其中，上述目标渲染图像可以是二维图像。可以通过预设的渲染方法，对上述点云投影数据组进行图像重建处理，得到目标渲染图像。
作为示例，上述图像重建处理方法可以包括但不限于以下中的一项：泊松曲面重建方法、基于B样条曲线的曲面重建方法。
步骤104，基于所生成的目标渲染图像和目标道路图像，生成匹配点信息组序列。
在一些实施例中，上述执行主体可以通过各种方式，基于所生成的目标渲染图像和上述目标道路图像，生成匹配点信息组序列。其中，上述匹配点信息组序列中的匹配点信息组可以表征一帧目标渲染图像的特征点与目标道路图像的特征点之间的匹配关系。上述匹配点信息组序列中的每个匹配点信息可以包括点云数据和图像特征点信息。
在一些实施例的一些可选的实现方式中，上述执行主体可以通过以下步骤，基于所生成的目标渲染图像和上述目标道路图像，生成匹配点信息组序列：
第一步，对于所生成的目标渲染图像中的每个目标渲染图像，执行以下步骤：
第一子步骤，对上述目标渲染图像进行特征提取处理，得到渲染特征点信息集。其中，上述渲染特征点信息集可以是目标渲染图像中各个特征点的信息的集合。上述渲染特征点信息集中的渲染特征点信息可以表征目标渲染图像中的一个特征点。上述渲染特征点信息可以包括但不限于以下至少一项：渲染点坐标、渲染点向量和颜色值等。上述渲染点坐标可以是目标渲染图像中的一个特征点在图像坐标系下的二维坐标。上述渲染点向量可以是渲染点坐标对应的特征点的描述子。可以通过上述特征提取处理方法，对上述目标渲染图像进行特征提取处理，得到渲染特征点信息集。
第二子步骤，基于上述渲染特征点信息集和上述图像特征点信息集，生成匹配点信息组。可以通过各种方式，基于上述渲染特征点信息集和上述图像特征点信息集，生成匹配点信息组。
在一些实施例的一些可选的实现方式中，上述执行主体可以通过以下子步骤，基于上述渲染特征点信息集和上述图像特征点信息集，生成匹配点信息组：
步骤一，对上述渲染特征点信息集和上述图像特征点信息集进行相似度分析，得到特征点匹配信息组。其中，上述特征点匹配信息组中的特征点匹配信息可以表征一帧目标渲染图像的特征点与目标道路图像的特征点之间的匹配关系。上述特征点匹配信息组中的特征点匹配信息可以包括渲染特征点信息、图像特征点信息和特征点相似度。上述特征点相似度可以表征目标渲染图像中的一个特征点与目标道路图像中的一个特征点之间的相似程度。对于上述渲染特征点信息集中的每个渲染特征点信息，可以通过上述相似度分析方法，对上述图像特征点信息集中的每个图像特征点信息和上述渲染特征点信息进行相似度分析，以生成特征点匹配信息，得到特征点匹配信息组。
步骤二，基于上述特征点匹配信息组，生成匹配点信息组。其中，对于上述特征点匹配信息组中的每个特征点匹配信息，根据特征点匹配信息对应的场景图像位姿矩阵，确定特征点匹配信息包括的渲染特征点信息对应的目标三维点坐标，以及将特征点匹配信息包括的图像特征点信息对应的第一特征点坐标和目标三维点坐标确定为匹配点信息。上述目标三维点坐标可以是目标渲染图像的特征点在三维坐标系下的坐标。可以通过坐标系变换方法，根据特征点匹配信息对应的场景图像位姿矩阵，将特征点匹配信息对应的渲染点坐标变换至三维坐标系，得到目标三维点坐标。
第二步，对所生成的匹配点信息组进行排序，得到匹配点信息组序列。其中，可以通过上述排序算法，根据匹配点信息组对应的目标场景图像信息的帧顺序，对所生成的匹配点信息组进行排序，得到匹配点信息组序列。
步骤105，基于匹配点信息组序列，生成相机位姿信息。
在一些实施例中，上述执行主体可以通过各种方式，基于上述匹配点信息组序列，生成相机位姿信息。其中，上述相机位姿信息可以表征目标单目相机的位置和拍摄方向。上述相机位姿信息可以用目标单目相机在当前时刻的位姿矩阵表示。
在一些实施例的一些可选的实现方式中，上述执行主体可以通过以下步骤，基于上述匹配点信息组序列，生成相机位姿信息：
第一步，从上述匹配点信息组序列中选出一个满足预设匹配点数条件的匹配点信息组，作为目标帧匹配点信息组。其中，上述预设匹配点数条件可以是匹配点信息组对应的匹配点数为各个匹配点数中的最大值。上述各个匹配点数中的匹配点数可以是上述匹配点信息组序列包括的一个匹配点信息组中的匹配点信息的个数。
第二步，从上述匹配点信息组序列中选出满足预设误差条件的匹配点信息作为优化后匹配点信息，得到优化后匹配点信息集。其中，上述优化后匹配点信息集中的优化后匹配点信息可以表征由第一特征点和与之相匹配的各个目标三维点中满足预设误差条件的目标三维点组成的匹配对。上述第一特征点可以是目标道路图像中的一个特征点。目标三维点可以是目标渲染图像的特征点对应的目标三维点坐标对应的三维点。上述预设误差条件可以是：匹配点信息对应的目标距离值为对应同一第一特征点的各个目标距离值中的最小值。上述目标距离值可以是匹配点信息包括的目标三维点坐标对应的三维点与包括的图像特征点信息对应的第一特征点之间的距离值。首先，将目标帧匹配点信息组对应目标渲染图像的位姿矩阵确定为第一位姿矩阵。其次，将上述目标道路图像对应的位姿矩阵确定为第二位姿矩阵。然后，将第一位姿矩阵与上述第二位姿矩阵的逆矩阵的乘积确定为生成目标位姿矩阵。其中，上述目标位姿矩阵表征目标道路图像对应的坐标系与上述目标帧匹配点信息组对应目标渲染图像的坐标系之间的变换关系。接着，对于各个目标渲染图像中的每个目标渲染图像，将上述第一位姿矩阵与上述目标渲染图像对应的位姿矩阵的逆矩阵的乘积确定为目标渲染帧位姿矩阵。其中，目标渲染帧位姿矩阵可以表征目标渲染图像的坐标系与上述目标帧匹配点信息组对应的目标渲染图像的坐标系之间的变换关系。匹配点信息对应的目标距离值可以通过以下公式生成：
Figure SMS_1
其中，
Figure SMS_7
表示匹配点信息对应的目标距离值。/>
Figure SMS_14
表示上述目标帧匹配点信息组对应的目标渲染图像。/>
Figure SMS_22
表示目标道路图像。/>
Figure SMS_4
表示各个目标渲染图像的序列。/>
Figure SMS_12
表示序号。/>
Figure SMS_18
表示目标渲染图像对应的、与目标道路图像/>
Figure SMS_25
中第/>
Figure SMS_20
个第一特征点相匹配的目标三维点。/>
Figure SMS_27
表示序号。/>
Figure SMS_5
表示目标渲染图像序列/>
Figure SMS_13
中的第/>
Figure SMS_8
帧目标渲染图像。/>
Figure SMS_15
表示空间中的点。/>
Figure SMS_23
表示目标道路图像/>
Figure SMS_32
中的第/>
Figure SMS_21
个第一特征点。/>
Figure SMS_29
表示第/>
Figure SMS_30
帧目标渲染图像对应的、与
Figure SMS_33
相匹配的目标三维点。/>
Figure SMS_9
表示空间中的点投影至上述目标渲染图像/>
Figure SMS_16
的坐标系后得到的点。/>
Figure SMS_24
表示第一特征点/>
Figure SMS_31
投影至上述目标渲染图像/>
Figure SMS_17
的坐标系后得到的投影点。
Figure SMS_26
表示目标三维点/>
Figure SMS_2
投影至上述目标渲染图像/>
Figure SMS_10
的坐标系后得到的投影点。
Figure SMS_6
表示第一特征点与对应的目标三维点之间的距离。/>
Figure SMS_11
表示位姿矩阵。/>
Figure SMS_19
表示上述目标位姿矩阵。/>
Figure SMS_28
表示第/>
Figure SMS_3
帧目标渲染图像对应的目标渲染帧位姿矩阵。
第三步，基于上述目标帧匹配点信息组和上述优化后匹配点信息集，生成目标位姿信息。其中，上述目标位姿信息可以是目标单目相机相对于上述目标帧匹配点信息组对应的图像帧的位姿。可以通过以下步骤，生成目标位姿信息：
第一子步骤，通过预设的位姿估计算法，基于上述目标帧匹配点信息组和上述图像特征点信息集，生成待调整位姿信息。其中，上述待调整位姿信息可以是目标单目相机与上述目标帧匹配点信息组对应的图像帧之间的相对位姿。上述待调整位姿信息可以包括目标旋转矩阵和待调整平移向量。上述目标旋转矩阵可以表征目标单目相机对应的坐标系与上述目标帧匹配点信息组对应的坐标系之间变换时的旋转关系。待调整平移向量可以表征目标单目相机对应的坐标系与上述目标帧匹配点信息组对应的坐标系之间变换时的平移关系。
作为示例，上述位姿估计算法可以包括但不限于以下中的一项：DLT（DirectLinear Transformation，直接线性变换）算法和BA（Bundle Adjustment，光束平差）算法等。
第二子步骤，对预设的三维空间进行随机采样，得到优化平移向量。其中，上述预设的三维空间可以是预先设置的以目标单目相机的坐标系的原点为圆心，直径为预设直径值的三维球形空间。上述预设直径值可以是预先设置的数值。例如，上述预设直径值可以是10厘米。上述优化平移向量可以表征从原点出发沿三个坐标轴平移。可以在上述三维空间中，按预设步长值，在横轴、纵轴和竖轴方向上进行随机采样，得到优化平移向量。其中，上述预设步长值可以是预先设置的步长值。例如，上述预设步长值可以是2毫米。
第三子步骤，对上述优化后匹配点信息集进行分组处理，得到图像帧匹配点信息组。其中，上述图像帧匹配点信息组中的图像帧匹配点信息可以表征对应同一帧目标渲染图像的目标三维点与目标道路图像对应的第一特征点之间的匹配关系。可以将上述优化后匹配点信息集中，对应同一目标渲染图像的各个优化后匹配点信息和目标渲染图像对应的场景图像标识确定为图像帧匹配点信息，得到图像帧匹配点信息组。
第四子步骤，对于上述图像帧匹配点信息组中的每个图像帧匹配点信息，执行以下步骤：
子步骤1，通过坐标系变换方法，根据上述目标旋转矩阵和上述优化平移向量，将上述图像帧匹配点信息包括的各个目标三维点坐标投影至相机坐标系，得到目标投影点坐标组。其中，上述目标投影点坐标组中的目标投影点坐标可以是目标三维点坐标对应的目标三维点在相机坐标系下的三维坐标。
子步骤2，根据上述目标投影点坐标组与对应的各个第一特征点坐标，生成距离信息组。其中，上述距离信息组中的距离信息可以是目标投影点坐标与对应的第一特征点坐标之间的距离的信息。可以对于目标投影点坐标组中的每个目标投影点坐标，通过两点之间的距离公式，根据上述目标投影点坐标和对应的第一特征点坐标，生成距离值，以及将目标投影点坐标和距离值确定为距离信息。
子步骤3，将上述距离信息组中满足预设重投影误差值条件的距离信息的个数确定为内点数。其中，上述预设重投影误差值条件可以是距离信息包括的距离值小于预设误差值。上述预设误差值可以是预先设置的误差值。例如，上述误差值可以是3像素。
子步骤4，将上述优化平移向量和上述内点数确定为图像帧平移信息。
第五子步骤，基于所确定的图像帧平移信息，生成更新平移向量。其中，上述更新平移向量可以是更新后的优化平移向量。上述更新平移向量可以用以下公式表示：
Figure SMS_34
其中，
Figure SMS_35
表示优化平移向量。/>
Figure SMS_36
表示更新平移向量。/>
Figure SMS_37
表示第/>
Figure SMS_38
个图像帧平移信息包括的内点数。
第六子步骤，响应于确定上述更新位移向量满足预设位移变化条件，将上述目标旋转矩阵和上述更新位移向量确定为目标位姿信息。
可选的，上述执行主体还可以响应于确定上述更新位移向量不满足上述预设位移变化条件，将上述更新位移向量作为优化位移向量，再次执行上述第四子步骤。
第四步，基于预设的残差目标函数、上述优化后匹配点信息集和上述目标位姿信息，生成相机位姿信息。其中，上述预设的残差目标函数可以用以下公式表示：
Figure SMS_39
其中，
Figure SMS_40
表示目标渲染图像对应的目标三维点与目标道路图像对应的第一特征点之间的残差、以及与第一特征点对应的相机坐标系下的三维点之间的残差的和。/>
Figure SMS_41
表示目标道路图像对应的各个第一特征点的序号的集合。/>
Figure SMS_42
表示投影操作。/>
Figure SMS_43
表示从目标渲染图像U的坐标系变换至目标单目相机的相机坐标系对应的位姿矩阵，为待求解的未知量。
Figure SMS_44
表示与第一特征点/>
Figure SMS_45
对应的、相机坐标系下的三维点，为待优化的点。
上述执行主体可以通过以下步骤，基于预设的残差目标函数、上述优化后匹配点信息集和上述目标位姿信息，生成相机位姿信息：
第一子步骤，对上述预设的残差目标函数求解偏导以得到雅克比矩阵。其中，上述雅克比矩阵对应相机坐标系下的单帧单个像素点。上述雅克比矩阵可以包括三个矩阵块。上述矩阵块可以是上述残差目标函数对优化变量的偏导。上述雅克比矩阵可以用以下公式表示：
Figure SMS_46
其中，
Figure SMS_54
表示上述残差目标函数/>
Figure SMS_57
对相机坐标系下的三维点/>
Figure SMS_64
的偏导数。/>
Figure SMS_53
表示旋转矩阵。/>
Figure SMS_55
表示位姿矩阵/>
Figure SMS_62
包括的旋转矩阵。/>
Figure SMS_69
表示上述残差目标函数/>
Figure SMS_48
对旋转矩阵/>
Figure SMS_61
的偏导数。/>
Figure SMS_68
表示位姿矩阵/>
Figure SMS_73
包括的平移向量。/>
Figure SMS_50
表示各个目标渲染图像的个数。/>
Figure SMS_56
表示上述残差目标函数/>
Figure SMS_63
对平移向量/>
Figure SMS_70
的偏导数。/>
Figure SMS_51
表示目标单目相机的内参矩阵。/>
Figure SMS_60
表示焦距。/>
Figure SMS_67
表示相机坐标系中横轴方向上的焦距值。/>
Figure SMS_74
表示相机坐标系中纵轴方向上的焦距值。/>
Figure SMS_47
表示横轴值。/>
Figure SMS_58
表示目标三维点对应的/>
Figure SMS_65
横轴值。/>
Figure SMS_71
表示纵轴值。/>
Figure SMS_49
表示目标三维点/>
Figure SMS_59
对应的纵轴值。/>
Figure SMS_66
表示竖轴值。/>
Figure SMS_72
表示目标三维点/>
Figure SMS_52
对应的竖轴值。
第二子步骤，通过预设的迭代优化方法，对上述解析式组进行优化，得到优化后的旋转矩阵和平移向量。
作为示例，上述预设的迭代优化方法可以包括但不限于以下至少一项：LM（Levenberg-Marquardt，列文伯格-马夸特法）方法、GN（Gauss Newton，高斯牛顿）方法等。
第三子步骤，将优化后的旋转矩阵和平移向量确定为目标位姿信息。
上述步骤105及其相关内容作为本公开的实施例的一个发明点，解决了背景技术提及的技术问题二“降低了规划路径的安全性”。导致降低了规划路径的安全性的因素往往如下：在图像重定位过程中，由于与当前图像帧匹配的多个历史图像帧之间存在视角差别，使得与当前图像帧中的一个二维点相匹配的、不同历史图像帧对应的各个三维点之间的深度也存在偏差，若直接根据各个三维点-二维点匹配进行相机位姿解算，会使得相机位姿信息准确度不足，进一步使得障碍物定位的准确度降低，从而，降低了规划路径的安全性。如果解决了上述因素，就能达到提高规划路径的安全性的效果。为了达到这一效果，首先，对于目标道路图像中的每个第一特征点，根据各个目标场景图像对应的三维点，确定与上述第一特征点对应的一个三维点作为较优匹配。由此，可以减轻第一特征点对应的实际三维点在不同视角下的深度噪声影响。然后，在当前相机与主要候选帧之间的相对位姿的基础上，根据随机采样和误差对应的内点数相结合的方式，对上述相对位姿中的位移量进行优化。由此，可以降低渲染噪声对相机位姿估计的影响。最后，在目标渲染图像和目标道路图像对应的各个位姿的约束下，通过对目标残差函数进行求解，可以得到更精确的相机位姿信息。由此，还可以提高障碍物定位的准确度。从而，可以提高规划路径的安全性。
可选的，上述执行主体还可以执行以下步骤：
第一步，对上述目标道路图像进行障碍物检测处理，得到目标障碍物信息集。其中，上述目标障碍物信息集中的目标障碍物信息可以表征障碍物。例如，上述障碍物可以是车辆、石墩、围栏、交通指示牌等。上述目标障碍物信息集中的目标障碍物信息可以包括障碍物标识、障碍物边框坐标组和相机与障碍物之间的距离等。上述障碍物标识可以唯一标识障碍物。上述障碍物边框坐标组中的障碍物边框坐标可以是同一障碍物对应的标注框的角点的坐标。上述相机与障碍物之间的距离可以是相机光心与障碍物之间的直线距离。可以通过预设的障碍物检测处理方法，对上述目标道路图像进行障碍物检测处理，得到目标障碍物信息集。
其中，上述障碍物检测处理方法可以包括但不限于以下至少一项：霍夫变换、YOLO（You Only Look Once，目标检测算法）等。
第二步，对上述目标障碍物信息集中的各个目标障碍物信息进行预处理，得到目标障碍物坐标组集。其中，上述目标障碍物坐标组集中的目标障碍物坐标组可以表征一个障碍物在世界坐标系下的位置。对于上述目标障碍物信息集中的每个目标障碍物信息，可以通过坐标系变换方法，根据上述相机位姿信息和上述相机参数信息，将上述目标障碍物信息包括的各个障碍物边框坐标转换至世界坐标系，得到目标障碍物坐标组。
第三步，将上述目标障碍物坐标组集输入至路径规划模块，以供规划路径。其中，上述路径规划模块可以是根据各个障碍物的位置进行避障路径规划的模块。上述路径规划模块可以通过预设的路径规划方法，根据上述目标障碍物坐标组集规划路径。
作为示例，上述路径规划方法可以包括但不限于以下至少一项：人工势场法、栅格法等。
本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的相机位姿信息生成方法，可以快速定位到图像中的障碍物，提高了规划路径的安全性。具体来说，造成无法快速定位到图像中障碍物，降低了规划路径的安全性的原因在于：由于图像重定位过程中，先验视觉地图与特征提取模型之间强耦合，当特征提取模型更新时，需要先重建先验视觉地图，再执行图像重定位以生成相机位姿信息，使得相机位姿信息生成效率降低，从而，无法快速定位到图像中的障碍物，降低了规划路径的安全性。基于此，本公开的一些实施例的相机位姿信息生成方法，首先，获取当前时刻的目标道路图像和相机参数信息。由此，便于后续对目标道路图像中的二维点进行重定位。其次，基于上述目标道路图像，对预设的场景图像信息序列进行匹配处理，得到目标场景图像信息序列。由此，可以得到先验视觉地图的、与目标道路图像相似的连续帧场景图像对应的描述信息。然后，对于上述目标场景图像信息序列中的每个目标场景图像信息，执行以下步骤：从预设的点云数据帧信息序列中、选出与上述目标场景图像信息相匹配的一个点云数据帧信息，作为目标点云数据帧信息，基于上述相机参数信息和上述目标点云数据帧信息，生成目标点云数据组，对上述目标点云数据组中的各个目标点云数据进行投影处理，得到点云投影数据组，基于上述点云投影数据组，生成目标渲染图像。由此，通过将目标场景图像信息序列对应的各个点云数据帧投影至像素坐标系以及进行渲染，可以在像素坐标系下实现重建各个场景图像。之后，基于所生成的目标渲染图像和上述目标道路图像，生成匹配点信息组序列。由此，可以确定与目标道路图像中的二维点匹配的各个三维点。其中，三维点是目标渲染图像的特征点对应的点。最后，基于上述匹配点信息组序列，生成相机位姿信息。由此，可以根据由二维点与三维点组成的各个匹配对，确定目标道路图像对应的相机的位姿信息。因此，本公开的一些实施例的相机位姿信息生成方法，可以在重定位的过程中，先根据目标道路图像确定先验视觉地图对应的场景图像的点云数据，再根据点云数据对场景图像进行重建和特征提取以用于生成相机位姿信息，由此，可以使得特征提取模型与先验视觉地图解耦，当特征提取模型变更时，无需再重新构建先验视觉地图以提取描述信息，使得相机位姿信息的生成效率有所提高。从而，可以快速定位到图像中的障碍物，可以提高了规划路径的安全性。
进一步参考图2，作为对上述各图所示方法的实现，本公开提供了一种相机位姿信息生成装置的一些实施例，这些装置实施例与图1所示的那些方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图2所示，一些实施例的相机位姿信息生成装置200包括：获取单元201、匹配处理单元202、执行单元203、第一生成单元204和第二生成单元205。其中，获取单元201，被配置成获取当前时刻的目标道路图像和相机参数信息；匹配处理单元202，被配置成基于上述目标道路图像，对预设的场景图像信息序列进行匹配处理，得到目标场景图像信息序列；执行单元203，被配置成对于上述目标场景图像信息序列中的每个目标场景图像信息，执行以下步骤：从预设的点云数据帧信息序列中、选出与上述目标场景图像信息相匹配的一个点云数据帧信息，作为目标点云数据帧信息；基于上述相机参数信息和上述目标点云数据帧信息，生成目标点云数据组；对上述目标点云数据组中的各个目标点云数据进行投影处理，得到点云投影数据组；基于上述点云投影数据组，生成目标渲染图像；第一生成单元204，被配置成基于所生成的目标渲染图像和上述目标道路图像，生成匹配点信息组序列；第二生成单元205，被配置成基于上述匹配点信息组序列，生成相机位姿信息。
可以理解的是，该装置200中记载的诸单元与参考图1描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置200及其中包含的单元，在此不再赘述。
进一步参考图3，其示出了适于用来实现本公开的一些实施例的电子设备300的结构示意图。图3示出的电子设备仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。
如图3所示，电子设备300可以包括处理装置（例如中央处理器、图形处理器等）301，其可以根据存储在只读存储器（ROM）302中的程序或者从存储装置308加载到随机访问存储器（RAM）303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有电子设备300操作所需的各种程序和信息。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出（I/O）接口305也连接至总线304。
通常，以下装置可以连接至I/O接口305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306；包括例如液晶显示器（LCD）、扬声器、振动器等的输出装置307；包括例如磁带、硬盘等的存储装置308；以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换信息。虽然图3示出了具有各种装置的电子设备300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图3中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本公开的一些实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的一些实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置308被安装，或者从ROM 302被安装。在该计算机程序被处理装置301执行时，执行本公开的一些实施例的方法中限定的上述功能。
需要说明的是，本公开的一些实施例上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的信息信号，其中承载了计算机可读的程序代码。这种传播的信息信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP（HyperText TransferProtocol，超文本传输协议）之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字信息通信（例如，通信网络）互连。通信网络的示例包括局域网（“LAN”），广域网（“WAN”），网际网（例如，互联网）以及端对端网络（例如，ad hoc端对端网络），以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述装置中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取当前时刻的目标道路图像和相机参数信息；基于上述目标道路图像，对预设的场景图像信息序列进行匹配处理，得到目标场景图像信息序列；对于上述目标场景图像信息序列中的每个目标场景图像信息，执行以下步骤：从预设的点云数据帧信息序列中、选出与上述目标场景图像信息相匹配的一个点云数据帧信息，作为目标点云数据帧信息；基于上述相机参数信息和上述目标点云数据帧信息，生成目标点云数据组；对上述目标点云数据组中的各个目标点云数据进行投影处理，得到点云投影数据组；基于上述点云投影数据组，生成目标渲染图像；基于所生成的目标渲染图像和上述目标道路图像，生成匹配点信息组序列；基于上述匹配点信息组序列，生成相机位姿信息。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网（LAN）或广域网（WAN）——连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开的一些实施例中的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、匹配处理单元、执行单元、第一生成单元和第二生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取当前时刻的目标道路图像和相机参数信息的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、片上系统（SOC）、复杂可编程逻辑设备（CPLD）等等。
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (8)

1.一种相机位姿信息生成方法，包括：
获取当前时刻的目标道路图像和相机参数信息，其中，所述相机参数信息包括：视场角和焦距；
基于所述目标道路图像，对预设的场景图像信息序列进行匹配处理，得到目标场景图像信息序列；
对于所述目标场景图像信息序列中的每个目标场景图像信息，执行以下步骤：
从预设的点云数据帧信息序列中、选出与所述目标场景图像信息相匹配的一个点云数据帧信息，作为目标点云数据帧信息；
基于所述相机参数信息和所述目标点云数据帧信息，生成目标点云数据组；
对所述目标点云数据组中的各个目标点云数据进行投影处理，得到点云投影数据组；
基于所述点云投影数据组，生成目标渲染图像；
基于所生成的目标渲染图像和所述目标道路图像，生成匹配点信息组序列；
基于所述匹配点信息组序列，生成相机位姿信息；
其中，所述基于所述匹配点信息组序列，生成相机位姿信息，包括：
从所述匹配点信息组序列中选出一个满足预设匹配点数条件的匹配点信息组，作为目标帧匹配点信息组；
从所述匹配点信息组序列中选出满足预设误差条件的匹配点信息作为优化后匹配点信息，得到优化后匹配点信息集；
基于所述目标帧匹配点信息组和所述优化后匹配点信息集，生成目标位姿信息；
基于预设的残差目标函数、所述优化后匹配点信息集和所述目标位姿信息，生成相机位姿信息。
2.根据权利要求1所述的方法，其中，所述方法还包括：
对所述目标道路图像进行障碍物检测处理，得到目标障碍物信息集；
对所述目标障碍物信息集中的各个目标障碍物信息进行预处理，得到目标障碍物坐标组集。
3.根据权利要求1所述的方法，其中，所述基于所述目标道路图像，对预设的场景图像信息序列进行匹配处理，得到目标场景图像信息序列，包括：
对所述目标道路图像进行特征提取处理，得到图像特征点信息集；
对所述图像特征点信息集进行特征编码处理，得到图像编码信息；
基于所述图像编码信息，对预设的场景图像信息序列进行匹配处理，得到目标场景图像信息序列。
4.根据权利要求3所述的方法，其中，所述基于所生成的目标渲染图像和所述目标道路图像，生成匹配点信息组序列，包括：
对于所生成的目标渲染图像中的每个目标渲染图像，执行以下步骤：
对所述目标渲染图像进行特征提取处理，得到渲染特征点信息集；
基于所述渲染特征点信息集和所述图像特征点信息集，生成匹配点信息组；
对所生成的匹配点信息组进行排序，得到匹配点信息组序列。
5.根据权利要求4所述的方法，其中，所述基于所述渲染特征点信息集和所述图像特征点信息集，生成匹配点信息组，包括：
对所述渲染特征点信息集和所述图像特征点信息集进行相似度分析，得到特征点匹配信息组；
基于所述特征点匹配信息组，生成匹配点信息组。
6.一种相机位姿信息生成装置，包括：
获取单元，被配置成获取当前时刻的目标道路图像和相机参数信息，其中，所述相机参数信息包括：视场角和焦距；
匹配处理单元，被配置成基于所述目标道路图像，对预设的场景图像信息序列进行匹配处理，得到目标场景图像信息序列；
执行单元，被配置成对于所述目标场景图像信息序列中的每个目标场景图像信息，执行以下步骤：
从预设的点云数据帧信息序列中、选出与所述目标场景图像信息相匹配的一个点云数据帧信息，作为目标点云数据帧信息；
基于所述相机参数信息和所述目标点云数据帧信息，生成目标点云数据组；
对所述目标点云数据组中的各个目标点云数据进行投影处理，得到点云投影数据组；
基于所述点云投影数据组，生成目标渲染图像；
第一生成单元，被配置成基于所生成的目标渲染图像和所述目标道路图像，生成匹配点信息组序列；
第二生成单元，被配置成基于所述匹配点信息组序列，生成相机位姿信息；
其中，所述基于所述匹配点信息组序列，生成相机位姿信息，包括：
从所述匹配点信息组序列中选出一个满足预设匹配点数条件的匹配点信息组，作为目标帧匹配点信息组；
从所述匹配点信息组序列中选出满足预设误差条件的匹配点信息作为优化后匹配点信息，得到优化后匹配点信息集；
基于所述目标帧匹配点信息组和所述优化后匹配点信息集，生成目标位姿信息；
基于预设的残差目标函数、所述优化后匹配点信息集和所述目标位姿信息，生成相机位姿信息。
7.一种电子设备，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。
8.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的方法。
CN202310437705.9A 2023-04-23 2023-04-23 相机位姿信息生成方法、装置、设备和计算机可读介质 Active CN116188583B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310437705.9A CN116188583B (zh) 2023-04-23 2023-04-23 相机位姿信息生成方法、装置、设备和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310437705.9A CN116188583B (zh) 2023-04-23 2023-04-23 相机位姿信息生成方法、装置、设备和计算机可读介质

Publications (2)

Publication Number Publication Date
CN116188583A CN116188583A (zh) 2023-05-30
CN116188583B true CN116188583B (zh) 2023-07-14

Family

ID=86442641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310437705.9A Active CN116188583B (zh) 2023-04-23 2023-04-23 相机位姿信息生成方法、装置、设备和计算机可读介质

Country Status (1)

Country Link
CN (1) CN116188583B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117808881A (zh) * 2024-01-12 2024-04-02 国家国防科技工业局新闻宣传中心 摄像设备相对位姿信息生成方法、装置、设备和可读介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544599B (zh) * 2018-11-22 2020-06-23 四川大学 一种基于相机位姿估计的三维点云配准方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9699375B2 (en) * 2013-04-05 2017-07-04 Nokia Technology Oy Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
FR3073311A1 (fr) * 2017-11-09 2019-05-10 Centralesupelec Procede d'estimation de pose d'une camera dans le referentiel d'une scene tridimensionnelle, dispositif, systeme de realite augmentee et programme d'ordinateur associe
CN108062776B (zh) * 2018-01-03 2019-05-24 百度在线网络技术（北京）有限公司 相机姿态跟踪方法和装置
CN111652933B (zh) * 2020-05-06 2023-08-04 Oppo广东移动通信有限公司 基于单目相机的重定位方法、装置、存储介质与电子设备

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544599B (zh) * 2018-11-22 2020-06-23 四川大学 一种基于相机位姿估计的三维点云配准方法

Also Published As

Publication number Publication date
CN116188583A (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
US11367313B2 (en) Method and apparatus for recognizing body movement
US10970938B2 (en) Method and apparatus for generating 3D information
US10699431B2 (en) Method and apparatus for generating image generative model
CN113989450B (zh) 图像处理方法、装置、电子设备和介质
CN111292420B (zh) 用于构建地图的方法和装置
CN112733820B (zh) 障碍物信息生成方法、装置、电子设备和计算机可读介质
CN113869293A (zh) 车道线识别方法、装置、电子设备和计算机可读介质
CN114993328B (zh) 车辆定位评估方法、装置、设备和计算机可读介质
CN116188583B (zh) 相机位姿信息生成方法、装置、设备和计算机可读介质
CN116848555A (zh) 使用在潜在变量上调节的几何感知神经网络渲染场景的新图像
WO2023213252A1 (zh) 扫描数据处理方法、装置、设备及介质
CN114677422A (zh) 深度信息生成方法、图像虚化方法和视频虚化方法
CN114049417B (zh) 虚拟角色图像的生成方法、装置、可读介质及电子设备
CN112150491B (zh) 图像检测方法、装置、电子设备和计算机可读介质
CN115620264B (zh) 车辆定位方法、装置、电子设备和计算机可读介质
CN116563818B (zh) 障碍物信息生成方法、装置、电子设备和计算机可读介质
CN109816791B (zh) 用于生成信息的方法和装置
CN110288691B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN116343155A (zh) 一种bev视角下的可行驶区域的确定方法和装置
CN115272667B (zh) 农田图像分割模型训练方法、装置、电子设备和介质
CN111292365B (zh) 生成深度图的方法、装置、电子设备和计算机可读介质
CN114494379A (zh) 基于fpfh的凸包辅助三维点云配准方法、设备及介质
CN114119973A (zh) 一种基于图像语义分割网络的空间距离预测方法及系统
CN112991388A (zh) 基于光流跟踪预测和凸几何距离的线段特征跟踪方法
CN112766068A (zh) 一种基于网格化标注的车辆检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 201, 202, 301, No. 56-4 Fenghuang South Road, Huadu District, Guangzhou City, Guangdong Province, 510806

Patentee after: Heduo Technology (Guangzhou) Co.,Ltd.

Address before: 100099 101-15, 3rd floor, building 9, yard 55, zique Road, Haidian District, Beijing

Patentee before: HOLOMATIC TECHNOLOGY (BEIJING) Co.,Ltd.