CN115375740A - 位姿确定方法和三维模型的生成方法、装置、设备、介质 - Google Patents

位姿确定方法和三维模型的生成方法、装置、设备、介质 Download PDF

Info

Publication number
CN115375740A
CN115375740A CN202210964457.9A CN202210964457A CN115375740A CN 115375740 A CN115375740 A CN 115375740A CN 202210964457 A CN202210964457 A CN 202210964457A CN 115375740 A CN115375740 A CN 115375740A
Authority
CN
China
Prior art keywords
images
image
determining
relative pose
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210964457.9A
Other languages
English (en)
Inventor
王海君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210964457.9A priority Critical patent/CN115375740A/zh
Publication of CN115375740A publication Critical patent/CN115375740A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种位姿确定方法和三维模型的生成方法、装置、设备、介质，涉及人工智能领域，具体涉及虚拟现实、增强现实、元宇宙、计算机视觉和深度学习等技术领域。位姿的确定方法包括：根据在不同位姿采集的两个图像的多个特征点对，确定初始相对位姿，特征点对包括分别属于两个图像的、彼此匹配的两个特征点，初始相对位姿基于第一度量单位表示；根据初始相对位姿，确定特征点对对应的空间点基于第一度量单位的位置信息；根据两个图像所对应的点云数据，确定空间点基于第二度量单位的位置信息，点云数据基于第二度量单位表示；以及根据空间点的两个位置信息对初始相对位姿进行变换，得到基于第二度量单位表示的相对位姿。

Description

位姿确定方法和三维模型的生成方法、装置、设备、介质
技术领域
本公开涉及人工智能领域，具体涉及虚拟现实、增强现实、元宇宙、计算机视觉和深度学习等技术领域，尤其涉及一种位姿的确定方法和三维模型的生成方法、装置、设备、介质。
背景技术
随着计算机技术和网络技术的发展，深度学习技术在众多领域得到了广泛应用。例如，可以将深度学习技术应用于三维重建场景中，以提高三维重建效率、降低三维重建成本。其中，三维重建技术旨在根据拍摄的图像来生成物体或场景的三维模型，以应用于虚拟现实、增强现实、元宇宙等技术中。
发明内容
本公开旨在提供一种利于将深度学习技术和三维重建技术相结合的位姿的确定方法和三维模型的生成方法、装置、设备、介质。
根据本公开的一个方面，提供了一种位姿的确定方法，包括根据在不同位姿采集的两个图像的多个特征点对，确定针对两个图像的初始相对位姿；其中，特征点对包括分别属于两个图像的两个特征点，两个特征点彼此匹配；初始相对位姿是基于第一度量单位表示的；根据初始相对位姿，确定特征点对所对应的空间点基于第一度量单位的第一位置信息；根据两个图像所对应的点云数据，确定空间点基于第二度量单位的第二位置信息，点云数据是基于第二度量单位表示的；以及根据第一位置信息和第二位置信息对初始相对位姿进行变换，得到基于第二度量单位表示的相对位姿。
根据本公开的另一个方面，提供了一种三维模型的生成方法，包括：针对目标场景下的至少两个图像，根据图像生成针对图像的三维子模型；以至少两个图像中的任一图像为参考图像，确定由参考图像和至少两个图像中的其他图像构成的图像对，得到至少一个图像对；确定针对至少一个图像对的相对位姿；以及根据相对位姿，拼接针对其他图像的三维子模型和针对参考图像的三维子模型，得到针对目标场景的三维模型，其中，相对位姿是采用本公开实施例所提供的位姿的确定方法所确定的。
根据本公开的另一个方面，提供了一种位姿的确定装置，包括：位姿确定模块，用于根据在不同位姿采集的两个图像的多个特征点对，确定针对两个图像的初始相对位姿；其中，特征点对包括分别属于两个图像的两个特征点，两个特征点彼此匹配；初始相对位姿是基于第一度量单位表示的；第一位置确定模块，用于根据初始相对位姿，确定特征点对所对应的空间点基于第一度量单位的第一位置信息；第二位置确定模块，用于根据两个图像所对应的点云数据，确定空间点基于第二度量单位的第二位置信息，点云数据是基于第二度量单位表示的；以及位姿变换模块，用于根据第一位置信息和第二位置信息对初始相对位姿进行变换，得到基于第二度量单位表示的相对位姿。
根据本公开的另一个方面，提供了一种三维模型的生成装置，包括：模型生成模块，用于针对目标场景下的至少两个图像，根据图像生成针对每个图像的三维子模型；图像对确定模块，用于以至少两个图像中的任一图像为参考图像，确定由参考图像和至少两个图像中的其他图像构成的图像对，得到至少一个图像对；位姿确定模块，用于确定针对至少一个图像对的相对位姿；以及模型拼接模块，用于根据相对位姿，拼接针对其他图像的三维子模型和针对参考图像的三维子模型，得到针对目标场景的三维模型，其中，相对位姿是采用本公开实施例所提供的位姿的确定装置确定的。
根据本公开的另一个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的位姿的确定方法和/或三维模型的生成方法。
根据本公开的另一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的位姿的确定方法和/或三维模型的生成方法。
根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被处理器执行时实现本公开提供的位姿的确定方法和/或三维模型的生成方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例的位姿的确定方法和三维模型的生成方法、装置的应用场景示意图；
图2是根据本公开实施例的位姿的确定方法的流程示意图；
图3是根据本公开实施例的确定点云数据的原理示意图；
图4是根据本公开实施例的确定初始相对位姿的原理示意图；
图5是根据本公开实施例的三维模型的生成方法的流程示意图；
图6是根据本公开实施例的位姿的确定装置的结构框图；
图7是根据本公开实施例的三维模型的生成装置的结构框图；以及
图8是用来实施本公开实施例的位姿的确定方法和/或三维模型的生成方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在三维重建技术中，可以根据单个图像来生成场景的三维布局信息。但由于受透视关系的影响，在场景过大或者遮挡物过多的情形下，单个图像无法表示完整的场景信息。为了生成完整的三维模型，可以针对每个图像来生成一个局部区域的三维模型，随后通过定位数据来确定多个局部区域的三维模型之间的空间关系，并根据该空间关系拼接多个局部区域的三维模型。其中，在实现两个不同坐标系下的三维模型的拼接时，可以先根据两个不同坐标系之间的变换关系，来将两个不同坐标系下的三维模型变换至同一坐标系中，随后再进行三维模型的拼接。
在一实施例中，两个不同坐标系之间的变换关系例如可以由图像采集设备采集两个三维模型所对应的两个图像时，位姿的变化来表示。即变换关系可以由图像采集设备采集两个图像时的相对位姿来表示。其中，可以基于对极约束(Epipolar Constraint)关系或单应约束(Homographic Constraint)关系等来计算相对位姿。
三维布局信息(即局部区域的三维模型)通常是根据单个图像对应的点云数据来生成的。点云数据的生成依赖于针对单个图像得到的深度估计结果(即单目深度估计结果)。在实现本公开构思的过程中，发明人发现：根据单目深度估计结果生成的点云数据的度量单位与相对位姿的度量单位存在不一致的情况。例如，相对位姿是以图像采集设备的光心在采集两个图像时所在的两个位置之间的距离(即光心距离)为度量单位来表示的，点云数据通常是以常用的长度度量单位(例如1m)来表示的。
基于此，本公开提供了一种位姿的确定方法，可以使得确定的相对位姿的度量单位与点云数据的度量单位一致，以便于进行模型的拼接。基于该位姿的确定方法所确定的相对位姿，本公开还提供了一种三维模型的生成方法。
以下先结合图1，对本公开提供的方法和装置的应用场景进行描述。
图1是根据本公开实施例的位姿的确定方法和三维模型的生成方法、装置的应用场景示意图。
如图1所示，该实施例的应用场景100可以包括电子设备110，该电子设备110可以为具有处理功能的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和服务器等等。
该电子设备110例如可以对采集的目标场景的多个图像进行处理，来生成目标场景的三维模型。其中，标场景的多个图像例如可以包括图像121～图像123，相应地，生成的三维模型例如可以为模型130。
在一实施例中，电子设备110例如可以先针对每个图像生成点云数据，并采用生成的点云数据来表示每个图像对应的三维模型。随后，通过聚合针对多个图像生成的点云数据，得到三维模型。
其中，在聚合点云数据时，例如可以以图像121为参考图像，确定图像122和图像123分别与图像121之间的相对位姿，根据该相对位姿对针对图像122和图像123生成的点云数据进行转换，以由相同坐标系来表示针对三个图像的所有点云数据。随后，再对点云数据进行聚合。其中，两个图像之间的相对位姿例如可以表示采集两个图像时采集设备的位姿变化。
其中，在生成点云数据时，例如可以先对图像进行深度估计。例如，可以采用多目深度估计方法或单目深度估计方法来进行深度估计。其中，对于多目深度估计方法而言，需要预先标定相机参数，并根据成对的图像或图像序列来完成深度估计。对于单目深度估计方法而言，可以根据每个图像分别进行该图像的深度估计。例如，该实施例可以采用基于深度学习技术构建的单目深度估计模型140来进行深度估计，具体可以将每个图像作为单目深度估计模型140的输入，由单目深度估计模型140生成该每个图像的深度图。
在一实施例中，如图1所示，该应用场景100中还可以包括服务器150，该服务器150例如可以为支持电子设备110中客户端应用运行的后台管理服务器。电子设备110可以通过网络与服务器150通信连接，网络可以包括有线或无线通信链路。
例如，服务器150可以采用有监督的方式或自监督的方式生成单目深度估计模型140。该服务器150还可以响应于电子设备110的请求，将单目深度估计模型140反馈给电子设备110。
在一实施例中，电子设备110例如还可以将接收到的多个图像发送给服务器150，由服务器150对该多个图像进行处理，并生成三维模型。
需要说明的是，本公开提供的位姿的确定方法和三维模型的生成方法可以由电子设备110执行，也可以由服务器150执行。相应地，本公开提供的位姿的确定装置和三维模型的生成装置可以设置在服务器150中，也可以设置在电子设备110中。
应该理解，图1中的电子设备110和服务器150的数目和类型仅仅是示意性的。根据实现需要，可以具有任意数目和类型的电子设备110和服务器150。
以下将结合图2～图4对本公开提供的位姿的确定方法进行详细描述。
图2是根据本公开实施例的位姿的确定方法的流程示意图。
如图2所示，该实施例的位姿的确定方法200可以包括操作S210～操作S240。
在操作S210，根据在不同位姿采集的两个图像的多个特征点对，确定针对两个图像的初始相对位姿。
根据本公开的实施例，在确定相对位姿时，例如可以先采用特征提取算法来提取每个图像的特征点，将两个图像的特征点中表示相同对象相同位置的两个特征点构成一个特征点对。其中，特征提取算法例如可以包括尺度不变特征变换(Scale-InvariantFeature Transform，SIFT)算法、ORB(Oriented Fast and Rotated Brief)算法和加速稳健特征(Speeded Up Robust Feature，SURF)提取算法中的任意一种。
该实施例可以根据多个特征点对来求解本质矩阵E或基础矩阵F，随后通过奇异值分解来求解出表示初始相对位姿的旋转矩阵R和平移向量t。例如可以采用对极约束关系或者单应约束关系等来估计本质矩阵E。例如，设定一个特征点对包括属于两个图像中第一图像的特征点p1和属于两个图像中第二图像的特征点p2，设定相机内参为K，则旋转矩阵R和平移向量t应满足以下表示约束关系的公式(1)：
Figure BDA0003789666650000061
其中，x1和x2分别表示两个特征点p1和p2的位置，t^为t的反对称矩阵，本质矩阵E可以由(t^R)来表示，基础矩阵F可以由(K-TEK-1)来表示。根据该约束关系可知，在已知特征点对中特征点的坐标值和相机内参K的基础上，可以求解得到旋转矩阵R和平移向量t。
可以理解的是，多个特征点对的个数可以根据实际需求进行设定，例如可以为5个、8个或者更多个，本公开对此不做限定。求解得到的旋转矩阵R和平移向量t是基于第一度量单位表示的。该第一度量单位可以根据求解方法来确定，本公开对此不做限定。例如，在采用对极约束关系来确定初始相对位姿时，第一度量单位可以为光心距离。
在一实施例中，在根据特征点对确定相对位姿之前，可以采用随机抽样一致性(Random Sample Consensus，RANSAC)算法来确定多个特征点对。
在一实施例中，采集的图像例如可以为全景图像，得益于水平方向360°、垂直方向180°的全方位视野，采集的全景图像能够最大限度的获取场景的图像信息，如此能够在场景理解，结构信息获取上提供很大的优势。
在操作S220，根据初始相对位姿，确定特征点对所对应的空间点基于第一度量单位的第一位置信息。
该实施例还可以在确定图像采集设备采集两个图像中一个图像时光心的第一位置和初始位姿的情况下，根据初始相对位姿得到采集另一个图像时光心的第二位置和位姿。根据每个特征点对中的两个特征点的像素位置，可以转换得到两个特征点在基于图像采集设备构建的坐标系中的位置。随后，可以将第一位置与两个特征点中属于一个图像的特征点的第一连线，与根据第二位置与两个特征点中属于另一个图像的特征点的第二连线的交点的位置，作为每个特征点对所对应的空间点的第一位置信息。由于初始相对位姿是基于第一度量单位表示的，则基于图像采集设备构建的坐标系的度量单位为第一度量单位，得到的第一位置信息也是基于第一度量单位表示的。
可以理解的是，上述确定第一位置信息的方法仅作为示例以利于理解本公开，本公开还可以采用其他的相关方法来确定第一位置信息。
在操作S230，根据两个图像所对应的点云数据，确定空间点基于第二度量单位的第二位置信息。
根据本公开的实施例，每个图像所对应的点云数据可以是采用点云生成网络来得到的。针对每个特征点对包括的两个特征点，该实施例可以先根据两个特征点对应的点云数据，将点云数据包括的空间位置作为第二位置信息。通常，图像所对应的点云数据是基于常用的度量单位(例如1m等第二度量单位)表示的，则得到的第二位置信息是基于第二度量单位的。
可以理解的是，每个点对应的点云数据是三维坐标系统中的一个向量。该向量包括表示空间位置的三维坐标，还可以包括颜色信息和反射强度信息等中的至少之一。
可以理解的是，操作S230可以与操作S210～操作S220同步执行，操作S230也可以在操作S210或操作S220之前执行，本公开对该执行顺序不做限定。
在操作S240，根据第一位置信息和第二位置信息对初始相对位姿进行变换，得到基于第二度量单位表示的相对位姿。
根据本公开的实施例，可以根据多个特征点对所对应的空间点的第一位置信息和第二位置信息，确定第一度量单位与第二度量单位之间的变换关系。随后，根据该变换关系对初始相对位姿进行变换，从而得到基于第二度量单位表示的相对位姿。
例如，可以将多个特征点对所对应的空间点的多个第一位置信息聚合为一个信息组，将多个特征点对所对应的空间点的多个第二位置信息聚合为一个信息组。将拟合确定的两个信息组之间的线性关系，作为第一度量单位与第二度量单位之间的变换关系。或者，可以针对每个特征点对，根据所对应的空间点的第一位置信息和第二位置信息，确定一个变换关系，总计确定得到多个变换关系。该实施例可以对多个变换关系均化处理，从而得到第一度量单位与第二度量单位之间的变换关系。
本公开实施例通过先根据相对位姿来估计空间点的第一位置信息，并根据点云数据得到空间点的第二位置信息，随后再根据该两个位置信息之间的变换关系来对初始相对位姿进行变换，可以使得变换得到的相对位姿具有与点云数据相同的度量单位，以便于对根据两个图像生成的三维模型进行拼接。通过该实施例的相对位姿的确定方法，可以采用基于不同度量单位实施的确定相对位姿的方法和确定点云数据的方法，利于提高三维重建技术的鲁棒性。例如，基于本公开实施例的方法，在三维重建技术中，可以采用基于深度学习构建的单目深度估计模型来估计深度，并基于深度生成点云数据，同时可以采用对极约束关系等来确定相对位姿。
根据本公开的实施例，在确定第二位置信息之前，确定相对位姿的方法例如可以先确定图像所对应的点云数据，以为第二位置信息的确定提供条件。
以下将结合图3对确定点云数据的示例性原理进行说明。
图3是根据本公开实施例的确定点云数据的原理示意图。
根据本公开的实施例，可以采用点云生成网络来生成单个图像所对应的点云数据。例如，可以先采用稀疏点云网络来根据单个图像生成稀疏点云数据，随后将稀疏点云数据输入稠密模型(Dense Module)，来生成稠密点云。其中，稀疏点云网络可以包括编码器和解码器。其中，编码器由卷积网络构成，解码器由反卷积网络和卷积网络构成。稠密模型可以通过特征提取操作和特征扩张操作来对稀疏点云数据进行处理。
根据本公开的实施例，如图3所示，该实施例300在确定点云数据时，也可以先采用单目深度估计模型320来对单个图像310进行处理，得到单个图像的深度图330。随后，根据该单个图像310和深度图330，来确定单个图像310所对应的点云数据340。
其中，单目深度估计模型320是一种生成模型，输入为一张图像，输出为一张包含深度信息的图像。该单目深度估计模型可以为基于深度学习技术构建的模型。该单目深度估计模型可以为有监督的单目深度估计模型或自监督单目深度估计模型。其中，有监督的单目深度估计模型需要以真实深度图作为监督，需要依赖高精度深度传感器来捕获真实深度信息。自监督单目深度估计模型可以使用连续帧之间的约束来预测深度信息。自监督单目深度估计模型例如可以包括模型框架MLDA-Net(Mult-Level Dual Attention-BasedNetwork for Self-Supervised Monocular Depth Estimation)等。其中，模型框架MLDA-Net以低分辨率的彩色图像作为输入，可以以自监督的方式估计对应的深度信息；该框架使用多级特征融合(multi-level feature extraction，MLFE)的策略，从不同感受野提取丰富的层次表示，用于高质量深度预测。该模型框架可以双重注意策略来获得有效的特征，该双重注意策略通过结合全局和局部注意力模块来增强全局和局部的结构信息。该模型框架利用重新加权(re-weighted)的策略计算损失函数，对不同层级的输出的深度信息进行重新加权，从而对最终输出的深度信息有效监督。
该模型框架的总体结构中，输入包括多个不同尺度的输入数据，该尺度为可选参数scales，输入数据通过两路卷积网络处理来提取特征，接着用注意力网络GA进行整合并进一步提取特征。卷积网络和注意力网络构成了编码网络结构。在提取特征后，该模型框架将提取的特征输入第二个网络结构，该第二个网络结构主要基于两种注意力模块进行特征提取和上采样，最终输出不同尺度输入图所对应的不同尺度的深度图。
可以理解的是，上述单目深度估计模型的模型框架仅作为示例以利于理解本公开，本公开对此不做限定。例如，单目深度估计模型还可以基于马尔科夫随机场构建，也可以基于Monodepth算法或SVS(Single View Stereo Matching)算法等构建。
在得到深度图330后，该实施例可以基于三维几何原理，将深度图330和单个图像310映射为三维点云数据。其中，点云数据可以包括三维坐标、颜色信息和反射强度信息等。其中，颜色信息例如可以由单个图像310中相应像素的RGB值来表示，根据光线追踪算法和单个图像310中相应像素的RGB值，可以计算得到每个像素对应的每个点云数据所包括的反射强度信息。
该实施例通过采用单目深度估计模型来生成每个图像对应的深度图，再根据深度图来确定点云数据，可以提高确定点云数据的精度和效率。
根据本公开的实施例，以下将对上文描述的确定初始相对位姿的操作进行扩展和补充。
图4是根据本公开实施例的确定初始相对位姿的原理示意图。
在实施例400中，在确定初始相对位姿时，可以先采用特征提取算法提取两个不同位置采集的两个图像各自的特征点，得到两个特征点组。例如，提取两个图像中第一图像411的特征点，得到多个第一特征点421，该多个第一特征点421组成第一特征点组，提取两个图像中第二图像412的特征点，得到多个第二特征点422，该多个第二特征点422组成第二特征点组。
随后，该实施例可以采用特征点匹配算法来确定对多个第一特征点421与多个第二特征点422进行匹配，得到与第一特征点匹配的第二特征点。第一特征点与匹配的第二特征点可以组成一个特征点对，总计可以得到多个特征点对430。可以理解的是，多个特征点对的个数小于等于多个第一特征点的个数。其中，特征点匹配算法例如可以包括暴力匹配(Brute-Force Matcher，BFM)算法、K近邻算法(K-Nearest Neighbor，KNN)等。
在得到多个特征点对430后，可以根据多个特征点对430和对极约束关系，来确定初始相对位姿440。例如，可以采用N点法求解上文描述的本质矩阵，其中，N为8、16、24等，本公开对此不做限定。其中，本质矩阵可以反映一空间点与采集设备在不同视角下采集的图像中像素点之间的关系。在求解得到本质矩阵后，可以对本质矩阵进行奇异值分解得到分解结果，该分解结果即包括表示初始相对位姿的旋转矩阵尺和平移向量t。
在一实施例中，在采用特征点匹配算法得到特征点对后，例如还可以采用RANSAC算法或最小中值法(LMedS)等来对多个特征点对进行筛选，剔除匹配错误的特征点对。相应地，该实施例可以根据筛选得到的特征点对和对极约束关系来确定初始相对位姿。通过该方式，可以提高确定的初始相对位姿的精度。
本公开实施例采用对极约束关系和多个特征点对确定的初始相对位姿，是以光心距离为度量单位表示的。在此基础上，本公开实施例的确定相对位姿的方法通过根据两个位置信息来对初始相对位姿进行变换，可以使得得到的相对位姿与点云数据采用了统一的度量单位，利于进行三维模型的拼接，利于提高较大场景的三维模型的精度。
根据本公开的实施例，在得到表示初始相对位姿的旋转矩阵R和平移向量t后，该实施例可以基于每个特征点对中的两个特征点的坐标和初始相对位姿，采用三角测量法来还原得到匹配的两个特征点所对应的空间点的空间位置，得到表示该空间位置的第一位置信息。例如，该实施例可以根据两个特征点的坐标，将两个特征点的坐标统一至相同的坐标系中，可以计算得到两个特征点之间的距离。根据初始相对位姿，可以得到两个光心之间的距离。在已知图像采集设备的焦距的情况下，根据相似三角形的特性，可以计算得到两个特征点对应的空间点针对两个图像的两个深度值。根据该两个深度值和两个特征点之间的距离，可以唯一确定一个空间点，该空间点即为特征点对所对应的空间点，该空间点的坐标值即为基于第一度量单位的第一位置信息。
该实施例通过采用三角测量法来确定第一位置信息，可以简化确定第一位置信息的原理，提高确定第一位置信息的效率。
基于本公开提供的位姿的确定方法，本公开还提供了一种三维模型的生成方法，以下将结合图5对该方法进行详细描述。
图5是根据本公开实施例的三维模型的生成方法的流程示意图。
如图5所示，该实施例的三维模型的生成方法500可以包括操作S510～操作S540。
在操作S510，针对目标场景下的至少两个图像，根据图像生成针对图像的三维子模型。
根据本公开的实施例，可以采用单视图重建方法来生成针对每个图像的三维子模型。其中，单视图重建方法主要分为两类：一类是基于数据驱动的重建方法，另一类是基于约束的重建方法。
基于约束的重建方法，主要是通过几何约束条件从图像中提取物体的结构特征来进行三维重建。这些几何约束条件是通过先验知识建立的，几何约束关系主要包括消失点、平行、共面、垂直以及透视关系等。
基于数据驱动的重建方法是通过机器学习等方法，建立一个目标训练数据集，从大量的目标数据中获取语义标签与场景几何之间的映射关系，即数据模型。数据驱动方法在根据数据集完成对模型的训练后，可以对输入的图像进行分析，匹配已有的特征模型，从而得到图像中区域的分割结果、语义标注结果和深度信息等，基于该些信息可以得到每个图像的点云数据，可以由每个图像的点云数据来表示每个图像的三维子模型。
在操作S520，以至少两个图像中的任一图像为参考图像，确定由参考图像和至少两个图像中的其他图像构成的图像对，得到至少一个图像对。
该实施例可以将至少两个图像中采集时刻最早的图像作为参考图像。将该采集时刻最早的图像与其他图像中的每个图像进行组合，得到至少一个图像对。或者，该实施例可以将采集时刻相邻的两个图像中采集时刻较早的图像作为参考图像，将该相邻的两个图像进行组合，得到至少一个图像对。可以理解的是，根据实际需求，可以将任一图像作为参考图像，将该参考图像与其他图像组合，得到至少一个图像对。
在操作S530，确定针对至少一个图像对的相对位姿。
该操作可以将每个图像对中的两个图像作为上文描述的确定相对位姿的方法中所涉及的在不同位姿采集的两个图像，通过上文描述的确定相对位姿的方法可以得到针对每个图像对中的两个图像的相对位姿，作为针对该每个图像对的相对位姿。
在操作S540，根据相对位姿，拼接针对其他图像的三维子模型和针对参考图像的三维子模型，得到针对目标场景的三维模型。
该实施例中，可以根据相对位姿，对表示其他图像的三维子模型的点云数据进行变换，使得该其他图像的三维子模型与参考图像的三维子模型采用同一坐标系表示。该实施例可以将变换后的其他图像的三维子模型的点云数据与表示参考图像的三维子模型的点云数据进行聚合，实现两个三维子模型的拼接。
可以理解的是，在将采集时刻相邻的两个图像中采集时刻较早的图像作为参考图像时，该实施例可以针对每个图像对均执行操作S540，完成针对图像对中两个图像的三维子模型的拼接。随后再根据针对两个图像对中两个参考图像的相对位姿，对两个图像对的两个拼接后三维子模型进行拼接，最终得到针对目标场景的三维模型。
可以理解的是，目标场景例如可以根据实际需求进行选择，例如可以为游戏的虚拟场景，也可以为室内建筑场景等，本公开对此不做限定。
该实施例通过采用上文描述的确定相对位姿的方法来确定其他图像与参考图像之间的相对位姿，并基于该相对位姿拼接针对多个图像的三维子模型，可以提高生成的三维模型的精度和逼真度，利于提高用户体验。
基于本公开提供的位姿的确定方法，本公开还提供了一种位姿的确定装置。以下将结合图6对该装置进行详细描述。
图6是根据本公开实施例的位姿的确定装置的结构框图。
如图6所示，该实施例的位姿的确定装置600包括位姿确定模块610、第一位置确定模块620、第二位置确定模块630和位姿变换模块640。
位姿确定模块610用于根据在不同位姿采集的两个图像的多个特征点对，确定针对两个图像的初始相对位姿；其中，特征点对包括分别属于两个图像的两个特征点，两个特征点彼此匹配；初始相对位姿是基于第一度量单位表示的。在一实施例中，位姿确定模块610可以用于执行上文描述的操作S210，在此不再赘述。
第一位置确定模块620用于根据初始相对位姿，确定特征点对所对应的空间点基于第一度量单位的第一位置信息。在一实施例中，第一位置确定模块620可以用于执行上文描述的操作S220，在此不再赘述。
第二位置确定模块630用于根据两个图像所对应的点云数据，确定空间点基于第二度量单位的第二位置信息，点云数据是基于第二度量单位表示的。在一实施例中，第二位置确定模块630可以用于执行上文描述的操作S230，在此不再赘述。
位姿变换模块640用于根据第一位置信息和第二位置信息对初始相对位姿进行变换，得到基于第二度量单位表示的相对位姿。在一实施例中，位姿变换模块640可以用于执行上文描述的操作S240，在此不再赘述。
根据本公开的实施例，上述装置600还可以包括深度图生成模块和点云数据确定模块。深度图生成模块用于针对两个图像，采用单目深度估计模型对图像进行处理，得到图像对应的深度图。点云数据确定模块用于根据图像和深度图，确定图像所对应的点云数据。
根据本公开的实施例，上述位姿确定模块610可以包括匹配子模块和位姿确定子模块。匹配子模块用于针对两个图像中一个图像的多个第一特征点，采用特征点匹配算法确定两个图像中另一个图像的与多个第一特征点一一匹配的多个第二特征点，得到多个特征点对；每个特征点对由第一特征点及匹配的第二特征点组成。位姿确定子模块用于根据对极约束关系和多个特征点对，确定初始相对位姿。
根据本公开的实施例，上述第一位置确定模块620具体用于根据初始相对位姿特征点对，采用三角测量法确定特征点对所对应的空间点的第一位置信息。
根据本公开的实施例，上述位姿变换模块640可以包括变换关系确定子模块和变换子模块。其中，变换关系确定子模块用于根据多个特征点对所对应的空间点的第一位置信息和第二位置信息，确定第一度量单位与第二度量单位之间的变换关系。变换子模块用于根据变换关系对初始相对位姿进行变换，得到基于第二度量单位的相对位姿。
基于本公开提供的三维模型的生成方法，本公开还提供了一种三维模型的生成装置。以下将结合图7对该装置进行详细描述。
图7是根据本公开实施例的三维模型的生成装置的结构框图。
如图7所示，该实施例的三维模型的生成装置700可以包括模型生成模块710、图像对确定模块720、位姿确定模块730和模型拼接模块740。
模型生成模块710用于针对目标场景下的至少两个图像，根据图像生成针对图像的三维子模型。在一实施例中，模型生成模块710可以用于执行上文描述的操作S510，在此不再赘述。
图像对确定模块720用于以至少两个图像中的任一图像为参考图像，确定由参考图像和至少两个图像中的其他图像构成的图像对，得到至少一个图像对。在一实施例中，图像对确定模块720可以用于执行上文描述的操作S520，在此不再赘述。
位姿确定模块730用于确定针对至少一个图像对的相对位姿。其中，该相对位姿可以是采用上文描述的确定相对位姿的装置所确定的。在一实施例中，位姿确定模块730可以用于执行上文描述的操作S530，在此不再赘述。
模型拼接模块740用于根据相对位姿，拼接针对其他图像的三维子模型和针对参考图像的三维子模型，得到针对目标场景的三维模型。在一实施例中，模型拼接模块740可以用于执行上文描述的操作S540，在此不再赘述。
需要说明的是，本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示出了可以用来实施本公开实施例的位姿的确定方法和/或三维模型的生成方法的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如位姿的确定方法和/或三维模型的生成方法。例如，在一些实施例中，位姿的确定方法和/或三维模型的生成方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的位姿的确定方法和/或三维模型的生成方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行位姿的确定方法和/或三维模型的生成方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。其中，服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (15)

1.一种位姿的确定方法，包括：
根据在不同位姿采集的两个图像的多个特征点对，确定针对两个所述图像的初始相对位姿；其中，所述特征点对包括分别属于两个所述图像的两个特征点，所述两个特征点彼此匹配；所述初始相对位姿是基于第一度量单位表示的；
根据所述初始相对位姿，确定所述特征点对所对应的空间点基于所述第一度量单位的第一位置信息；
根据两个所述图像所对应的点云数据，确定所述空间点基于第二度量单位的第二位置信息，所述点云数据是基于所述第二度量单位表示的；以及
根据所述第一位置信息和所述第二位置信息对所述初始相对位姿进行变换，得到基于所述第二度量单位表示的相对位姿。
2.根据权利要求1所述的方法，还包括：
针对所述图像，采用单目深度估计模型对所述图像进行处理，得到所述图像对应的深度图；以及
根据所述图像和所述深度图，确定所述图像所对应的点云数据。
3.根据权利要求1所述的方法，其中，所述根据在不同位姿采集的两个图像的多个特征点对，确定针对两个所述图像的初始相对位姿包括：
针对所述两个图像中一个图像的多个第一特征点，采用特征点匹配算法确定所述两个图像中另一个图像的与多个所述第一特征点一一匹配的多个第二特征点，得到多个所述特征点对；所述特征点对由所述第一特征点及匹配的所述第二特征点组成；以及
根据对极约束关系和多个所述特征点对，确定所述初始相对位姿。
4.根据权利要求1所述的方法，其中，所述根据所述初始相对位姿，确定所述特征点对所对应的空间点基于所述第一度量单位的第一位置信息包括：
根据所述初始相对位姿和所述特征点对，采用三角测量法确定所述特征点对所对应的空间点的第一位置信息。
5.根据权利要求1所述的方法，其中，所述根据所述第一位置信息和所述第二位置信息对所述初始相对位姿进行变换，得到基于所述第二度量单位表示的相对位姿包括：
根据多个所述特征点对所对应的空间点的所述第一位置信息和所述第二位置信息，确定所述第一度量单位与所述第二度量单位之间的变换关系；以及
根据所述变换关系对所述初始相对位姿进行变换，得到基于所述第二度量单位的相对位姿。
6.一种三维模型的生成方法，包括：
针对目标场景下的至少两个图像，根据所述图像生成针对所述图像的三维子模型；
以至少两个所述图像中的任一图像为参考图像，确定由所述参考图像和至少两个所述图像中的其他图像构成的图像对，得到至少一个图像对；
确定针对所述至少一个图像对的相对位姿；以及
根据所述相对位姿，拼接针对所述其他图像的三维子模型和针对所述参考图像的三维子模型，得到针对所述目标场景的三维模型，
其中，所述相对位姿是采用权利要求1～5中任一项所述的方法确定的。
7.一种位姿的确定装置，包括：
位姿确定模块，用于根据在不同位姿采集的两个图像的多个特征点对，确定针对两个所述图像的初始相对位姿；其中，所述特征点对包括分别属于两个所述图像的两个特征点，所述两个特征点彼此匹配；所述初始相对位姿是基于第一度量单位表示的；
第一位置确定模块，用于根据所述初始相对位姿，确定所述特征点对所对应的空间点基于所述第一度量单位的第一位置信息；
第二位置确定模块，用于根据两个所述图像所对应的点云数据，确定所述空间点基于第二度量单位的第二位置信息，所述点云数据是基于所述第二度量单位表示的；以及
位姿变换模块，用于根据所述第一位置信息和所述第二位置信息对所述初始相对位姿进行变换，得到基于所述第二度量单位表示的相对位姿。
8.根据权利要求7所述的装置，还包括：
深度图生成模块，用于针对所述图像，采用单目深度估计模型对所述图像进行处理，得到所述图像对应的深度图；以及
点云数据确定模块，用于根据所述图像和所述深度图，确定所述图像所对应的点云数据。
9.根据权利要求7所述的装置，其中，所述位姿确定模块包括：
匹配子模块，用于针对所述两个图像中一个图像的多个第一特征点，采用特征点匹配算法确定所述两个图像中另一个图像的与多个所述第一特征点一一匹配的多个第二特征点，得到多个所述特征点对；所述特征点对由所述第一特征点及匹配的所述第二特征点组成；以及
位姿确定子模块，用于根据对极约束关系和多个所述特征点对，确定所述初始相对位姿。
10.根据权利要求7所述的装置，其中，所述第一位置确定模块用于：
根据所述初始相对位姿和所述特征点对，采用三角测量法确定所述特征点对所对应的空间点的第一位置信息。
11.根据权利要求7所述的装置，其中，所述位姿变换模块包括：
变换关系确定子模块，用于根据多个所述特征点对所对应的空间点的所述第一位置信息和所述第二位置信息，确定所述第一度量单位与所述第二度量单位之间的变换关系；以及
变换子模块，用于根据所述变换关系对所述初始相对位姿进行变换，得到基于所述第二度量单位的相对位姿。
12.一种三维模型的生成装置，包括：
模型生成模块，用于针对目标场景下的至少两个图像，根据所述图像生成针对所述图像的三维子模型；
图像对确定模块，用于以至少两个所述图像中的任一图像为参考图像，确定由所述参考图像和至少两个所述图像中的其他图像构成的图像对，得到至少一个图像对；
位姿确定模块，用于确定针对所述至少一个图像对的相对位姿；以及
模型拼接模块，用于根据所述相对位姿，拼接针对所述其他图像的三维子模型和针对所述参考图像的三维子模型，得到针对所述目标场景的三维模型，
其中，所述相对位姿是采用权利要求7～11中任一项所述的装置确定的。
13.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～6中任一项所述的方法。
15.一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令存储于可读存储介质和电子设备其中至少之一上，所述计算机程序/指令在被处理器执行时实现根据权利要求1～6中任一项所述方法的步骤。
CN202210964457.9A 2022-08-09 2022-08-09 位姿确定方法和三维模型的生成方法、装置、设备、介质 Pending CN115375740A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210964457.9A CN115375740A (zh) 2022-08-09 2022-08-09 位姿确定方法和三维模型的生成方法、装置、设备、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210964457.9A CN115375740A (zh) 2022-08-09 2022-08-09 位姿确定方法和三维模型的生成方法、装置、设备、介质

Publications (1)

Publication Number Publication Date
CN115375740A true CN115375740A (zh) 2022-11-22

Family

ID=84066198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210964457.9A Pending CN115375740A (zh) 2022-08-09 2022-08-09 位姿确定方法和三维模型的生成方法、装置、设备、介质

Country Status (1)

Country Link
CN (1) CN115375740A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908366A (zh) * 2022-12-13 2023-04-04 北京柏惠维康科技股份有限公司 数据处理方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908366A (zh) * 2022-12-13 2023-04-04 北京柏惠维康科技股份有限公司 数据处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN108764048B (zh) 人脸关键点检测方法及装置
CN109683699B (zh) 基于深度学习实现增强现实的方法、装置及移动终端
CN112652036B (zh) 道路数据的处理方法、装置、设备及存储介质
JP7273129B2 (ja) 車線検出方法、装置、電子機器、記憶媒体及び車両
CN115409933B (zh) 多风格纹理贴图生成方法及其装置
CN115578515B (zh) 三维重建模型的训练方法、三维场景渲染方法及装置
CN113129352B (zh) 一种稀疏光场重建方法及装置
CN114792355B (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN112991180A (zh) 图像拼接方法、装置、设备以及存储介质
CN111192312B (zh) 基于深度学习的深度图像获取方法、装置、设备及介质
CN115439543B (zh) 孔洞位置的确定方法和元宇宙中三维模型的生成方法
CN113793370B (zh) 三维点云配准方法、装置、电子设备及可读介质
CN115880555B (zh) 目标检测方法、模型训练方法、装置、设备及介质
CN114627244A (zh) 三维重建方法及装置、电子设备、计算机可读介质
KR20230098058A (ko) 3차원 데이터 증강 방법, 모델 트레이닝 검출 방법, 설비 및 자율 주행 차량
CN114998433A (zh) 位姿计算方法、装置、存储介质以及电子设备
CN112634366B (zh) 位置信息的生成方法、相关装置及计算机程序产品
CN115375740A (zh) 位姿确定方法和三维模型的生成方法、装置、设备、介质
CN116246026B (zh) 三维重建模型的训练方法、三维场景渲染方法及装置
CN115578432B (zh) 图像处理方法、装置、电子设备及存储介质
CN113781653B (zh) 对象模型生成方法、装置、电子设备及存储介质
CN113706543B (zh) 一种三维位姿的构建方法、设备及存储介质
CN112085842A (zh) 深度值确定方法及装置、电子设备和存储介质
CN114842066A (zh) 图像深度识别模型训练方法、图像深度识别方法及装置
CN115546515A (zh) 一种深度信息获取方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination