CN116993801A - 深度信息计算方法、电子设备及存储介质 - Google Patents

深度信息计算方法、电子设备及存储介质 Download PDF

Info

Publication number
CN116993801A
CN116993801A CN202311043802.6A CN202311043802A CN116993801A CN 116993801 A CN116993801 A CN 116993801A CN 202311043802 A CN202311043802 A CN 202311043802A CN 116993801 A CN116993801 A CN 116993801A
Authority
CN
China
Prior art keywords
depth information
processed
point
points
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311043802.6A
Other languages
English (en)
Inventor
唐凯涛
郝冬宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Xingji Meizu Group Co ltd
Original Assignee
Hubei Xingji Meizu Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Xingji Meizu Group Co ltd filed Critical Hubei Xingji Meizu Group Co ltd
Priority to CN202311043802.6A priority Critical patent/CN116993801A/zh
Publication of CN116993801A publication Critical patent/CN116993801A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

一种深度信息计算方法、电子设备及存储介质，该深度信息计算方法包括：获取基于深度信息算法确定的至少一个关键点的深度信息；确定至少一个关键点中至少之一所对应的深度信息满足第一预设条件，并将满足第一预设条件的深度信息对应的关键点作为待处理关键点，第一预设条件包括：深度值为负数，或者深度值为非负数且重投影误差之和大于或等于第一阈值；对待处理关键点进行处理，以修正待处理关键点及对应的深度信息，更新深度信息。该深度信息计算方法可以提高深度信息的精度，使深度信息有效且精准，使关键点的深度信息既符合预期又与真实值的偏差很小，能够提升整体的计算效率，提升后续处理环节的效果。

Description

深度信息计算方法、电子设备及存储介质
技术领域
本公开的实施例涉及一种深度信息计算方法、电子设备及存储介质。
背景技术
增强现实(Augmented Reality，AR)技术将虚拟信息与真实世界进行了融合，涉及多媒体、三维建模、实时跟踪、智能交互、传感等多种技术。AR技术将虚拟信息(例如计算机生成的文字、图像、三维模型、音乐、视频等)模拟仿真后，应用到真实世界中，使得虚拟信息与真实世界的信息互为补充，从而实现对真实世界的“增强”。在AR技术中，需要对周围环境进行立体重建，这需要使用即时定位与地图构建(Simultaneous Localization andMapping，SLAM)算法。SLAM算法可以实现移动过程中的定位，并在定位的基础上构建地图，从而实现复杂的定位功能及建图功能。
发明内容
本公开至少一个实施例提供一种深度信息计算方法，包括：获取基于深度信息算法确定的至少一个关键点的深度信息；确定所述至少一个关键点中至少之一所对应的深度信息满足第一预设条件，并将满足所述第一预设条件的深度信息对应的关键点作为待处理关键点，其中，所述第一预设条件包括：深度值为负数，或者所述深度值为非负数且重投影误差之和大于或等于第一阈值；对所述待处理关键点进行处理，以修正所述待处理关键点及对应的深度信息，更新所述深度信息。
例如，在本公开一实施例提供的方法中，所述第一预设条件包括所述深度值为非负数且所述重投影误差之和大于或等于所述第一阈值，对所述待处理关键点进行处理，以修正所述待处理关键点及对应的深度信息，更新所述深度信息，包括：计算所述待处理关键点在两帧图像中的描述子之间的汉明距离；确认所述汉明距离满足第二预设条件，其中，所述第二预设条件包括所述汉明距离小于第二阈值；采用优化算法再次计算所述待处理关键点的深度信息，更新深度信息。
例如，在本公开一实施例提供的方法中，所述重投影误差之和为所述待处理关键点在所述两帧图像的每帧图像中的重投影误差的和。
例如，在本公开一实施例提供的方法中，对所述待处理关键点进行处理，以修正所述待处理关键点及对应的深度信息，更新所述深度信息，还包括：确认所述汉明距离不满足所述第二预设条件；更新所述待处理关键点在所述两帧图像中的关联关系，并利用所述深度信息算法确定更新后的关键点的深度信息，更新所述深度信息。
例如，在本公开一实施例提供的方法中，更新所述待处理关键点在所述两帧图像中的关联关系，并利用所述深度信息算法确定更新后的关键点的深度信息，更新所述深度信息，包括：在所述两帧图像的后一帧图像中的待处理关键点的投影点的预设范围内遍历并确定新的投影点，用所述新的投影点替代所述待处理关键点的投影点；利用所述深度信息算法基于更新后的关联关系计算对应的深度信息，更新所述深度信息。
例如，在本公开一实施例提供的方法中，在所述两帧图像的后一帧图像中待处理关键点的投影点的预设范围内遍历并确定所述新的投影点，用所述新的投影点替代所述待处理关键点的投影点，包括：确定所述待处理关键点在所述两帧图像的后一帧图像中的投影点所在位置的预设范围内的像素点；基于预设规则在所述像素点中选择至少一个像素点作为备选点；计算每个备选点的基于二进制编码的特征描述子；在所计算的特征描述子中选择与所述两帧图像的前一帧图像中的投影点的特征描述子的汉明距离满足所述第二预设条件的特征描述子所对应的备选点，将选择的备选点作为所述新的投影点以替代所述待处理关键点的投影点。
例如，在本公开一实施例提供的方法中，所述预设范围包括5*5的像素范围。
例如，在本公开一实施例提供的方法中，所述预设规则包括以下规则至少之一：将所述预设范围内除所述待处理关键点的投影点以外的像素点均作为所述备选点；在所述预设范围内除所述待处理关键点的投影点以外的像素点中，按照预设步距选择所述像素点中的部分像素点；在所述预设范围内除所述待处理关键点的投影点以外的像素点中，随机选择预设数量的像素点。
例如，在本公开一实施例提供的方法中，所述第一预设条件包括所述深度值为负数，对所述待处理关键点进行处理，以修正所述待处理关键点及对应的深度信息，更新所述深度信息，包括：丢弃所述深度值为负数的所述待处理关键点。
例如，在本公开一实施例提供的方法中，所述深度信息算法包括三角化算法，所述深度信息通过所述关键点在世界坐标系下的三维坐标信息获取，所述关键点在所述世界坐标系下的三维坐标信息通过每帧图像中的投影点的二维坐标信息以及相机的实时位姿获得；所述三角化算法包括：计算在所述三角化算法中使用的两帧图像中投影点在相机坐标系下的三维坐标信息，其中，所述相机坐标系下的三维坐标信息是经过归一化处理的坐标信息；根据所述关键点分别在所述两帧图像中的位姿，计算得到所述关键点在所述世界坐标系下的三维坐标信息。
例如，在本公开一实施例提供的方法中，所述方法用于增强现实设备。
本公开至少一个实施例还提供一种电子设备，包括：处理器；存储器，包括一个或多个计算机程序模块；其中，所述一个或多个计算机程序模块被存储在所述存储器中并被配置为由所述处理器执行，所述一个或多个计算机程序模块用于实现本公开任一实施例提供的深度信息计算方法。
本公开至少一个实施例还提供一种非暂时性计算机可读存储介质，存储有非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时实现本公开任一实施例提供的深度信息计算方法。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1为本公开一些实施例提供的一种深度信息计算方法的应用场景示意图；
图2为本公开至少一个实施例提供的一种深度信息计算方法的流程示意图；
图3为本公开实施例提供的一种三角化算法的示例性流程图；
图4为图2中步骤S30的示例性流程图；
图5为图4中步骤S35的示例性流程图；
图6为图5中步骤S351的示例性流程图；
图7为本公开一些实施例提供的深度信息计算方法的工作流程示意图；
图8A为一种三维点云地图的示意图；
图8B为利用本公开实施例提供的深度信息计算方法得到的深度信息所生成的三维点云地图的示意图；
图9为本公开一些实施例提供的一种电子设备的示意框图；
图10为本公开一些实施例提供的另一种电子设备的示意框图；
图11为本公开一些实施例提供的一种存储介质的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
在AR技术中，AR眼镜是一种常见的应用设备。AR眼镜是一种能够将人所看到的真实场景与虚拟场景结合的头戴式产品。AR眼镜主要的功能包括：实时估计系统的位置和角度信息，感知系统周围的环境信息，并对周围环境进行立体重建。由于AR眼镜的处理器计算资源和能力有限，系统重建周围环境的信息时不能采用需要大量算力资源的深度学习方法。通常，AR眼镜采用SLAM技术进行重建。在单目相机SLAM重建方案中，估计环境的深度信息是重要的环节。深度信息可以影响SLAM中定位模块、建图模块和回环优化模块的鲁棒性和精度。
目前，根据摄像头的不同类型，可以将深度估计分为针对单目相机和针对双目相机两种方式。针对双目相机，可以根据两幅图像的视差信息计算关键点的深度。针对单目相机，则使用两帧或多帧图像的位姿和已经关联的关键点信息并采用三角化(Triangulation)算法计算深度信息。然而，三角化算法计算出的深度值会出现异常的情况，例如，深度值可能为负数，或者深度值的误差非常大，这会对SLAM算法带来不利影响，影响SLAM算法计算结果的准确性。
本公开至少一个实施例提供一种深度信息计算方法、电子设备及存储介质。该深度信息计算方法可以提高深度信息的精度，使深度信息有效且精准，使关键点的深度信息既符合预期又与真实值的偏差很小，能够提升整体的计算效率，提升后续处理环节的效果。
下面，将参考附图详细地说明本公开的实施例。应当注意的是，不同的附图中相同的附图标记将用于指代已描述的相同的元件。
本公开至少一个实施例提供一种深度信息计算方法。该深度信息计算方法包括：获取基于深度信息算法确定的至少一个关键点的深度信息；确定至少一个关键点中至少之一所对应的深度信息满足第一预设条件，并将满足第一预设条件的深度信息对应的关键点作为待处理关键点，第一预设条件包括：深度值为负数，或者深度值为非负数且重投影误差之和大于或等于第一阈值；对待处理关键点进行处理，以修正待处理关键点及对应的深度信息，更新深度信息。
AR设备(例如AR眼镜)的算法主要包括相机姿态估计、平面估计和光照感知等模块。相机姿态估计由SLAM算法实现。SLAM算法在进行姿态估计时，主要完成两部分功能，即定位和建图，这两类功能可以通过对应的功能模块实现，例如通过定位模块和建图模块实现。以单目SLAM为例，定位模块实时估计系统的位置和姿态，估计位姿的过程需要建图模块生成的三维点(也即具有三维坐标的空间点)作为输入，建图模块依据定位模块估计的图像位姿和像素平面关键点信息估计出关键点的深度信息，进而获取关键点的三维坐标。SLAM算法中的定位模块和建图模块是相互联系和互相影响的，三维点的坐标(关键点的深度信息)起着重要的作用。
图1为本公开一些实施例提供的一种深度信息计算方法的应用场景示意图。如图1所示，在SLAM运算流程中，首先需要利用三角化算法估计关键点的深度。在得到深度信息之后，需要利用本公开实施例提供的深度信息计算方法对存在异常的深度信息进行处理，使得处理之后的深度信息具有更高的准确性。然后，所得到的深度信息可以用于回环优化流程，以纠正累计误差。所得到的深度信息还可以用于视觉惯性里程计(Visual InertialOdometry，VIO)流程，以通过计算并最大化物体位置和姿态坐标在视觉、惯性测量数据下的后验概率而得到位姿坐标的最优解，从而实时跟踪目标位置。在图1所示的运算流程中，利用本公开实施例提供的深度信息计算方法所得到的深度信息是经过处理的，具有精度高、准确度高等特点，由此可以提升回环优化流程和VIO流程的处理效果。关于三角化估计关键点深度流程、回环优化流程、VIO流程的详细说明，可以参考常规设计，此处不再赘述。
图2为本公开至少一个实施例提供的一种深度信息计算方法的流程示意图。如图2所示，在一些实施例中，该深度信息计算方法包括如下操作。
步骤S10：获取基于深度信息算法确定的至少一个关键点的深度信息；
步骤S20：确定至少一个关键点中至少之一所对应的深度信息满足第一预设条件，并将满足第一预设条件的深度信息对应的关键点作为待处理关键点，其中，第一预设条件包括：深度值为负数，或者深度值为非负数且重投影误差之和大于或等于第一阈值；
步骤S30：对待处理关键点进行处理，以修正待处理关键点及对应的深度信息，更新深度信息。
该深度信息计算方法例如用于基于单目相机的即时定位与地图构建(SLAM)算法，进一步地，例如用于增强现实设备(例如AR眼镜)中的SLAM算法。
例如，在步骤S10中，获取一个或多个关键点的深度信息，该深度信息是基于深度信息算法确定的。深度信息算法可以包括三角化(Triangulation)算法，深度信息可以通过关键点在世界坐标系下的三维坐标信息获取。关键点在世界坐标系下的三维坐标信息通过每帧图像中的投影点的二维坐标信息以及相机的实时位姿获得。也即是，在SLAM算法进行关键点的深度估计时，可以使用三角化算法。例如，关键点的深度是指图像中的关键点到相机光心的距离。关于关键点、深度的详细说明，可以参考常规设计，此处不再详述。
如图3所示，在一些示例中，三角化算法包括如下操作。
步骤S101：计算在三角化算法中使用的两帧图像中投影点在相机坐标系下的三维坐标信息，其中，相机坐标系下的三维坐标信息是经过归一化处理的坐标信息；
步骤S102：根据关键点分别在两帧图像中的位姿，计算得到关键点在世界坐标系下的三维坐标信息。
例如，如上述步骤S101和S102，可以根据两帧图像之间的投影点像素坐标进行三角化从而求出关键点的深度。三角化算法的输入是两幅图像的位姿和物理空间中的点(也即关键点)在两幅图像的投影像素坐标(也即投影点在图像中的坐标)。如公式(1)所示，xa表示第一帧图像相机坐标系的投影点的归一化坐标，xb表示第二帧图像相机坐标系的投影点的归一化坐标，P1表示第一帧图像的位姿，P2表示第二帧图像的位姿，X表示关键点的三维坐标(世界坐标系中的坐标)。这里，归一化坐标是指将三维空间点的坐标都除以Z轴坐标，也即是，所有空间点坐标都转换到相机前单位距离处，相机前单位距离处的平面也被称为归一化平面。
例如，位姿可以用相机位姿矩阵表示，相机位姿矩阵可以反映相机在世界坐标系中的位置，表示观察角度(观察位置和观察视角)，也即是，拍摄图像时所选取的观察角度。例如，相机位姿矩阵可以为4×4的矩阵，其中包含旋转矩阵(例如为3*3的矩阵)和平移向量(例如为3*1的向量)。关于相机位姿矩阵的详细说明可参考常规设计，此处不再详述。
上述公式(1)的含义是通过调整世界坐标系的坐标X，最终使得相机的光心及投影点的归一化坐标和空间点(空间点即为关键点)共线。关于公式(1)的求解，可以将公式(1)中的xa叉乘P1X的形式转换为xa的反对称矩阵形式，将公式(1)中的xb叉乘P2X的形式转换为xb的反对称矩阵形式，也即，分别为(xa)^和(xb)^，如公式(2)所示。对公式(2)左侧进行奇异值分解(Singular Value Decomposition，SVD)分解，最小奇异值对应的奇异向量为X的解。由此，可以得到关键点在世界坐标系下的三维坐标X，相应地得到深度信息。关于利用三角化算法求解关键点的过程以及三维坐标和深度信息的详细说明，可以参考常规设计，此处不再赘述。
例如，在一些示例中，在步骤S10之前，还可以执行如下操作：利用光流法(OpticalFlow)在多帧图像中跟踪至少一个关键点。关键点在两幅图像中的投影点可以使用光流法进行关联，光流法使用灰度一致性假设，计算关键点在像素平面的速度进而估计关键点在新的图像中的坐标，关键点在新的图像中的坐标即为在该图像中的投影点的坐标。在本公开的实施例中，可以通过光流法跟踪图像的投影点(FAST角点)，然后根据两帧图像的投影点的坐标进行三角化，从而求出关键点的深度。光流法关联特征具有速度快、计算量小等优点，但是可能产生错误的关联，错误的关联会导致后续估计的深度也是错误的，因此在后续步骤中需要进行相应的处理。
例如，在步骤S20中，确定至少一个关键点中至少之一所对应的深度信息满足第一预设条件，并将满足第一预设条件的深度信息对应的关键点作为待处理关键点。第一预设条件包括：深度值为负数，或者深度值为非负数且重投影误差之和大于或等于第一阈值。
例如，在该步骤中，需要判断各个关键点的深度信息是否满足第一预设条件，并将深度信息满足第一预设条件的关键点挑选出来作为待处理关键点。待处理关键点可以为一个或多个，本公开的实施例对此不作限制。例如，三角化计算得到的关键点的深度可能会出现深度为负值或深度精度差的问题，这是由于关键点关联的不准确(例如，在图像中的投影点的关联不准确)和/或三角化算法的精度低所导致的。因此，第一预设条件包括深度值为负数的情况，也包括三角化计算的深度不准确的情况。对于三角化计算的深度不准确的情况，具体是指深度值为非负数且重投影误差之和大于或等于第一阈值。
例如，重投影误差之和是指待处理关键点在两帧图像的每帧图像中的重投影误差的和。在前述的三角化计算中，使用了两帧图像，将关键点向第一帧图像重投影并计算重投影误差，将关键点向第二帧图像重投影并计算重投影误差，然后将这两个重投影误差相加，可以得到重投影误差之和。重投影误差是指关键点投影到图像平面上的投影点与观测点(观测点为图像平面上与投影点对应的像素点)之间的偏差值。
例如，重投影误差之和可以采用公式(3)计算。在公式(3)中，B表示重投影误差之和，ui表示第i帧的观测点坐标，K表示相机内参，Si表示归一化系数，表示李群空间下第i帧的位姿，P表示空间点坐标(也即关键点的三维空间坐标)。
例如，通过判断重投影误差之和与第一阈值的大小关系，可以判断关键点的深度是否准确。如果重投影误差之和小于第一阈值，则表示深度的精度很高，对应的关键点可以用于后续操作，例如进行后续的深度信息估计和更新。如果重投影误差之和大于或等于第一阈值，则表示深度不准确，需要对关键点及其深度信息进行修正和处理。例如，第一阈值的数值范围可以为1～3，或者为1.5～2，1～3.5，1～2等，由此可以既挑选出准确度不够高的关键点，又使得计算量不会过大，从而在整体上提高处理效果。需要说明的是，第一阈值的具体数值可以根据实际需求而定，不限于上面列举的数值范围内的数值，本公开的实施例对此不作限制。
例如，在步骤S30中，对待处理关键点进行处理，以修正待处理关键点及对应的深度信息，更新深度信息。也即是，在该步骤中，对深度值为负数的关键点进行处理，和/或对深度值为非负数且重投影误差之和大于或等于第一阈值的关键点进行处理，从而可以修正这些错误的关键点及深度信息，由此可以更新深度信息，得到更加精确和准确的关键点及深度信息。
例如，在一些示例中，第一预设条件包括深度值为非负数且重投影误差之和大于或等于第一阈值，也即，在该情形中，基于第一预设条件所挑选的待处理关键点的深度值大于或等于零，并且，其重投影误差之和大于或等于第一阈值。在该情形中，步骤S30可以进一步包括如下操作，如图4所示。
步骤S31：计算待处理关键点在两帧图像中的描述子之间的汉明距离；
步骤S32：确认汉明距离满足第二预设条件，其中，第二预设条件包括汉明距离小于第二阈值；
步骤S33：采用优化算法再次计算待处理关键点的深度信息，得到新的深度信息；
步骤S34：确认汉明距离不满足第二预设条件；
步骤S35：更新待处理关键点在两帧图像中的关联关系，并利用深度信息算法确定更新后的关键点的深度信息。
例如，在步骤S31中，计算待处理关键点在两帧图像中的描述子之间的汉明距离，这两帧图像是在步骤S10中使用的深度信息算法中所使用的图像，例如，在三角化计算中所使用的两帧图像。例如，可以分别计算待处理关键点在两帧图像的每帧图像中的描述子。也即，计算待处理关键点在第一帧图像中的描述子，并且计算待处理关键点在第二帧图像中的描述子。例如，描述子包括基于二进制编码的特征描述子，例如为BRIEF(Binary RobustIndependent Elementary Features)描述子。在得到待处理关键点在两帧图像中的BRIEF描述子之后，可以计算这两个BRIEF描述子之间的汉明距离(Hamming Distance)。
需要说明的是，本公开的实施例中，描述子不限于BRIEF描述子，描述子之间的距离不限于汉明距离，也可以采用其他类型的描述子和距离，这可以根据实际需求而定，本公开的实施例对此不作限制。
然后，需要判断待处理关键点在两帧图像中的描述子之间的汉明距离是否满足第二预设条件。例如，第二预设条件为汉明距离小于第二阈值。需要说明的是，第二阈值可以为任意适用的具体数值，这可以根据实际需求而定，本公开的实施例对此不作限制。
例如，在步骤S32中，若汉明距离小于第二阈值，则确认汉明距离满足第二预设条件。在该步骤中，如果确认汉明距离满足第二预设条件，也即是，确认汉明距离小于第二阈值，则表示光流法关联的投影点准确。
例如，在步骤S33中，采用优化算法再次计算待处理关键点的深度信息，得到新的深度信息。也即是，由于确认了汉明距离小于第二阈值，也即确认了关键点的描述子匹配成功，光流法关联的投影点准确，因此说明深度值不准确是由于深度信息算法(例如三角化算法)的精度低造成的。因此，在该步骤中，采用优化算法再次计算待处理关键点的深度信息，从而得到新的深度信息。例如，所采用的优化算法不同于深度信息算法，也即，不同于在步骤S10中计算关键点的算法，该优化算法使得与新的深度信息对应的重投影误差之和最小，该优化算法可以得到精度更高的关键点。
例如，优化算法可以指任意的用于进行优化计算的方法。例如，在一些示例中，可以采用优化的方法求解，将待处理关键点在空间中的三维坐标P向所有观测到该点的帧进行投影，如公式(4)所示，调整关键点的深度，使其在所有的观测帧的投影与观测点像素坐标(观测点像素坐标例如为观测帧上与投影点对应的像素点的坐标)的偏差很小。在公式(4)中，ui表示第i帧的观测点坐标，K表示相机内参，Si表示归一化系数，表示李群空间下第i帧的位姿，P表示空间点坐标(也即关键点的三维坐标)。通过求解公式(4)，可以得到优化后的新的三维点(也即新的、具有三维坐标的关键点)，将新的三维点及其对应的新的深度信息用于后续计算。需要说明的是，可以采用任意适用的优化算法，不限于公式(4)所示出的算法，这可以根据实际需求而定，本公开的实施例对此不作限制。
例如，在步骤S34中，若汉明距离大于或等于第二阈值，则确认汉明距离不满足第二预设条件。在该步骤中，如果确认汉明距离不满足第二预设条件，也即是，确认汉明距离大于或等于第二阈值，则表示光流法关联的投影点不准确，需要调整关联关系，进而重新进行三角化计算。
例如，在步骤S35中，更新待处理关键点在两帧图像中的关联关系，并利用深度信息算法确定更新后的关键点的深度信息。也即是，由于确认了汉明距离大于或等于第二阈值，也即确认了光流法关联的投影点不准确，因此说明深度值不准确是由于关键点在两帧图像上的投影点不准确造成的。因此，在该步骤中，更新待处理关键点在两帧图像中的关联关系，并利用深度信息算法确定更新后的关键点的深度信息。
图5为图4中步骤S35的示例性流程图。如图5所示，在一些示例中，步骤S35可以进一步包括如下操作。
步骤S351：在两帧图像的后一帧图像中待处理关键点的投影点的预设范围内遍历并确定新的投影点，用新的投影点替代待处理关键点的投影点；
步骤S352：利用深度信息算法基于更新后的关联关系计算对应的深度信息。
例如，在步骤S351中，由于已经确认了汉明距离大于或等于第二阈值，也即确认了关键点的描述子匹配失败，光流法关联的投影点位置不准确，因此说明深度值不准确是由于投影点关联不准确造成的。因此，在该步骤中，在两帧图像的后一帧图像(也即第二帧图像)中待处理关键点的投影点的预设范围内遍历并确定新的投影点，用新的投影点替代待处理关键点的投影点(也即，替代原来的投影点)。
例如，在步骤S352中，由于已经在第二帧图像中确定了新的投影点，因此可以在第一帧图像与第二帧图像之间建立新的投影点关联关系，因此，在该步骤中，利用深度信息算法(例如三角化算法)基于更新后的关联关系重新计算对应的深度信息。
图6为图5中步骤S351的示例性流程图。如图6所示，在一些示例中，步骤S351可以进一步包括如下操作。
步骤S3511：确定待处理关键点在两帧图像的后一帧图像中的投影点所在位置的预设范围内的像素点；
步骤S3512：基于预设规则在像素点中选择至少一个像素点作为备选点；
步骤S3513：计算每个备选点的基于二进制编码的特征描述子；
步骤S3514：在所计算的特征描述子中选择与两帧图像的前一帧图像中的投影点的特征描述子的汉明距离满足第二预设条件的特征描述子所对应的备选点，将选择的备选点作为新的投影点以替代待处理关键点的投影点。
例如，在步骤S3511中，可以在两帧图像的后一帧图像(例如第二帧图像)中确定待处理关键点的投影点所在位置的预设范围内的像素点。例如，预设范围可以包括5*5的像素范围。当然，本公开的实施例不限于此，预设范围可以是任意大小的像素范围，例如6*6、10*10、3*3等，也不限于为正方形，可以为矩形、圆形等任意形状，这可以根据实际需求而定，本公开的实施例对此不作限制。
例如，在步骤S3512中，基于预设规则在像素点中选择至少一个像素点作为备选点。例如，预设规则包括以下规则至少之一：将预设范围内除待处理关键点的投影点以外的像素点均作为备选点；在预设范围内除待处理关键点的投影点以外的像素点中，按照预设步距选择像素点中的部分像素点；在预设范围内除待处理关键点的投影点以外的像素点中，随机选择预设数量的像素点。例如，预设规则可以为上述规则中的一个或多个规则。
例如，在一些示例中，假设预设范围是5*5的像素范围，可以将该像素范围内除投影点以外的像素点均作为备选点，也即，将该范围内除投影点以外的24个像素点均作为备选点。例如，在另一些示例中，仍然假设预设范围是5*5的像素范围，可以在这24个像素点中按照预设步距选择部分像素点，例如每隔一个像素点选择一个(也即，步距为2)，由此可以选择12个像素点作为备选点。例如，在另一些示例中，仍然假设预设范围是5*5的像素范围，可以在这24个像素点中随机选择预设数量的像素点以作为备选点，例如随机选择1个、5个、8个、10个、15个等任意数量。需要说明的是，本公开的实施例中，预设规则不限于上文描述的具体规则，还可以为其他任意适用的规则，这可以根据实际需求而定，本公开的实施例对此不作限制。备选点的数量可以为一个或多个，本公开的实施例对此不作限制。
例如，在步骤S3513中，计算每个备选点的基于二进制编码的特征描述子，例如，计算每个备选点的BRIEF描述子。
例如，在步骤S3514中，在所计算的特征描述子中选择与两帧图像的前一帧图像中的投影点的特征描述子的汉明距离满足第二预设条件的特征描述子所对应的备选点，将选择的备选点作为新的投影点以替代待处理关键点的投影点(也即，替代原来的投影点)。也即是，上一步骤中计算的是第二帧图像中投影点附近的像素点的BRIEF描述子，因此在当前步骤中选择这些BRIEF描述子中与待处理关键点在第一帧图像中的投影点的BRIEF描述子的汉明距离满足第二预设条件的BRIEF描述子所对应的备选点，以作为第二帧图像中的新的投影点，从而替代第二帧图像中原来的投影点。例如，第二预设条件为汉明距离小于第二阈值。例如，在一些示例中，进一步地，可以在所计算的特征描述子中选择与两帧图像的前一帧图像中的投影点的特征描述子的汉明距离最小的特征描述子所对应的备选点，将选择的备选点作为新的投影点以替代原来的投影点，由此，可以选出最准确的关键点。
通过上述方式，可以将当前像素平面投影点C调整到更精准的位置C’，使得新的投影点C’更加准确。本公开实施例提供了一种投影点关联算法，在当前投影点C附近的5*5图像邻域内遍历所有的像素点，分别计算每个像素点的描述子与第一帧图像投影点描述子的汉明距离，最终选择汉明距离满足第二预设条件(进一步地，例如最小)的像素点C’代替C成为新的投影点。然后利用C’重新对关键点进行三角化计算。这可以提高关键点的准确性，弥补光流法的不足。
在本公开的实施例中，通过将光流法与描述子匹配算法进行结合，利用描述子匹配算法的投影点匹配精度高、具有尺度性和旋转不变性等优点，以及利用光流法速度快、计算量小等优点，使得投影点关联准确性高且整体计算量小，速度快。这种将光流法与描述子匹配算法结合的方式可以避免仅使用光流法导致的精度低、容易产生错误关联的问题，同时能够避免仅使用描述子匹配算法导致的计算量大、耗时长的问题。两者结合的方式既能快速地关联帧间的投影点又能保证投影点关联的准确性，从而有效提升整体处理效率和准确性。
例如，在一些示例中，第一预设条件包括深度值为负数，也即，在该情形中，基于第一预设条件所挑选的待处理关键点的深度值小于零。在该情形中，步骤S30可以进一步包括如下操作。
步骤S36：丢弃深度值为负数的待处理关键点。
例如，在步骤S36中，需要筛选出深度值为负值的关键点，并将这些关键点丢弃。由于三角化算法估计的深度信息会出现一些异常情况，比如出现负的深度，这是深度不准确的关键点，因此无法用于后续处理，需要丢弃。
图7为本公开一些实施例提供的深度信息计算方法的工作流程示意图。下面结合图7对本公开实施例提供的深度信息计算方法的工作流程进行简要说明。
如图7所示，在SLAM算法中，在实现定位和建图功能时，首先利用三角化算法估计关键点的深度信息。然后，判断各个关键点的深度值是否小于零。若深度值小于零，则表示是错误的关键点，因此将负深度点剔除，该步骤例如为上述步骤S36。若深度值大于或等于零，则继续计算关键点的重投影误差之和，重投影误差之和是关键点在两帧图像中分别的重投影误差的和值。
然后，判断重投影误差之和是否小于第一阈值(例如阈值S)。若重投影误差之和小于第一阈值，则表示该关键点的准确性较高，因此深度估计成功，该关键点可以用于之后的回环优化和VIO。
若重投影误差之和大于或等于第一阈值，则表示该关键点的深度估计不准确，在该情形下，继续进行后续判断。例如，提取关键点在两帧图像中的描述子，并判断描述子之间的汉明距离是否小于第二阈值，也即，判断描述子是否匹配成功。
若描述子之间的汉明距离小于第二阈值，则表示描述子匹配成功，说明光流法追踪的投影点是正确的，之所以深度估计不准确，是由于三角化算法的精度造成的，因此采用优化算法重新计算关键点的深度信息。
若描述子之间的汉明距离大于或等于第二阈值，则表示描述子匹配失败，说明光流法追踪的投影点是不准确的，之所以深度估计不准确，是由于光流法追踪不准确造成的，因此需要重新确定投影点的关联关系。例如，可以在投影点周围遍历寻找对应的像素点，找出与对应的关键点在另一帧图像中的描述子的汉明距离满足第二预设条件(进一步地，例如最小)的像素点，用新的像素点替代原来的投影点，再重新进行三角化计算。
通过上述方式，可以处理AR眼镜深度异常，可以对关键点三角化异常结果进行处理。例如，可以将该方法进行模块化封装(例如封装为深度异常处理模块)，并且嵌入到SLAM的建图模块中。该模块提高了单目AR眼镜的SLAM算法感知周围环境信息的能力，估计的关键点的深度信息的精度高，并且剔除了错误的深度信息。由此，既保证了VIO在优化过程中使用的关键点的深度信息都是有效且精准的，又保证了回环优化模块里的重定位模块使用的关键点的深度信息都是有效和准确的。将本公开实施例提供的深度信息计算方法应用于建图模块，可以便于建图模块将系统周围的环境重建成三维点云地图，提高三维点云地图的准确性。该深度信息计算方法适用于单目AR眼镜，可以用于利用三角化算法估计环境的深度信息。
例如，可以在三角化算法之后增加深度异常处理模块，从而基于本公开实施例提供的深度信息计算方法对深度信息进行优化。如果关键点的深度偏差较大且关联精度高(对应于前文描述的深度值大于或等于零、重投影误差之和大于或等于第一阈值、汉明距离小于第二阈值的情形)，则使用优化的算法重新估计深度。如果关键点的深度偏差较大并且关联情况很差(对应于前文描述的深度值大于或等于零、重投影误差之和大于或等于第一阈值、汉明距离大于或等于第二阈值的情形)，则调整关键点在像素平面的投影点的位置，直到关联正确后再重新进行三角化。如果关键点的深度值为负值，则直接剔除该关键点。由此，通过上述方式，剔除了深度错误的关键点(例如深度值为负值的关键点)，对深度误差偏差较大的关键点重新优化计算深度信息，通过调整关键点在像素平面的投影点的位置后重新计算深度信息，最终使每个关键点的深度值都有效且精度较高，使建图模块里的关键点深度信息既符合预期又与真实值的偏差很小，进而提升后续的回环优化模块和VIO模块的效果。
图8A为一种三维点云地图的示意图，图8B为利用本公开实施例提供的深度信息计算方法得到的深度信息所生成的三维点云地图的示意图。在图8A和图8B中，矩形框表示相机，线条表示相机轨迹，圆点表示点云。
如图8A所示，由于未进行深度异常处理，在相机的后面出现了很多负深度的三维点(也即具有三维坐标的关键点)，这些负深度的关键点会影响之后的VIO估计位姿精度和回环优化的精度。如图8B所示，由于使用了本公开实施例提供的深度信息计算方法，相机后面的负深度的关键点被剔除，而且不准确的关键点也被修正。进行异常处理后的关键点可以用于VIO估计系统的位姿，并参与之后的回环优化。在通常的不具有深度异常处理的方案中，负深度的关键点和深度不准确的关键点都会参与回环优化的透视N点(Perspective-n-Point，PNP)的计算，这会导致最终回环的效果很差。相比之下，利用本公开实施例提供的深度信息计算方法可以得到较为精准的当前帧与回环帧的位姿约束。
需要说明的是，本公开的实施例中，深度信息计算方法的各个步骤的执行顺序不受限制，虽然上文以特定顺序描述了各个步骤的执行过程，但这并不构成对本公开实施例的限制。该深度信息计算方法中的各个步骤可以串行执行或并行执行，这可以根据实际需求而定。该深度信息计算方法还可以包括更多或更少的步骤，这可以根据实际需求而定。
本公开至少一个实施例还提供一种电子设备。该电子设备可以提高深度信息的精度，使深度信息有效且精准，使关键点的深度信息既符合预期又与真实值的偏差很小，能够提升整体的计算效率，提升后续处理环节的效果。
图9为本公开一些实施例提供的一种电子设备的示意框图。如图9所示，电子设备300包括处理器310和存储器320。存储器320用于存储非暂时性计算机可读指令(例如一个或多个计算机程序模块)。处理器310用于运行非暂时性计算机可读指令，非暂时性计算机可读指令被处理器310运行时可以执行上文所述的深度信息计算方法中的一个或多个步骤。存储器320和处理器310可以通过总线系统和/或其它形式的连接机构(未示出)互连。
例如，处理器310可以是中央处理单元(CPU)、数字信号处理器(DSP)或者具有数据处理能力和/或程序执行能力的其它形式的处理单元，例如现场可编程门阵列(FPGA)等；例如，中央处理单元(CPU)可以为X86或ARM架构等。处理器310可以为通用处理器或专用处理器，可以控制电子设备300中的其它组件以执行期望的功能。
例如，存储器320可以包括一个或多个计算机程序产品的任意组合，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序模块，处理器310可以运行一个或多个计算机程序模块，以实现电子设备300的各种功能。在计算机可读存储介质中还可以存储各种应用程序和各种数据以及应用程序使用和/或产生的各种数据等。
需要说明的是，本公开的实施例中，电子设备300的具体功能和技术效果可以参考上文中关于深度信息计算方法的描述，此处不再赘述。
图10为本公开一些实施例提供的另一种电子设备的示意框图。该电子设备400例如适于用来实施本公开实施例提供的深度信息计算方法。电子设备400可以是AR设备，例如AR眼镜。需要注意的是，图10示出的电子设备400仅仅是一个示例，其不会对本公开实施例的功能和使用范围带来任何限制。
如图10所示，电子设备400可以包括处理装置(例如中央处理器、图形处理器等)410，其可以根据存储在只读存储器(ROM)420中的程序或者从存储装置480加载到随机访问存储器(RAM)430中的程序而执行各种适当的动作和处理。在RAM 430中，还存储有电子设备400操作所需的各种程序和数据。处理装置410、ROM 420以及RAM 430通过总线440彼此相连。输入/输出(I/O)接口450也连接至总线440。
通常，以下装置可以连接至I/O接口450：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置460；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置470；包括例如磁带、硬盘等的存储装置480；以及通信装置490。通信装置490可以允许电子设备400与其他电子设备进行无线或有线通信以交换数据。虽然图10示出了具有各种装置的电子设备400，但应理解的是，并不要求实施或具备所有示出的装置，电子设备400可以替代地实施或具备更多或更少的装置。
例如，根据本公开的实施例，图2所示的深度信息计算方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包括用于执行上述深度信息计算方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置490从网络上被下载和安装，或者从存储装置480安装，或者从ROM 420安装。在该计算机程序被处理装置410执行时，可以执行本公开实施例提供的深度信息计算方法中限定的功能。
本公开至少一个实施例还提供一种存储介质，存储有非暂时性计算机可读指令，当该非暂时性计算机可读指令由计算机执行时可以实现本公开任一实施例提供的深度信息计算方法。利用该存储介质，可以提高深度信息的精度，使深度信息有效且精准，使关键点的深度信息既符合预期又与真实值的偏差很小，能够提升整体的计算效率，提升后续处理环节的效果。
图11为本公开一些实施例提供的一种存储介质的示意图。如图11所示，存储介质500存储有非暂时性计算机可读指令510。例如，当非暂时性计算机可读指令510由计算机执行时可以执行根据上文所述的深度信息计算方法中的一个或多个步骤。
例如，该存储介质500可以应用于上述电子设备300中。例如，存储介质500可以为电子设备400中的存储器。例如，关于存储介质500的相关说明可以参考上文中关于电子设备400的存储器的相应描述，此处不再赘述。
有以下几点需要说明：
(1)本公开实施例附图只涉及到本公开实施例涉及到的结构，其他结构可参考通常设计。
(2)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (13)

1.一种深度信息计算方法，包括：
获取基于深度信息算法确定的至少一个关键点的深度信息；
确定所述至少一个关键点中至少之一所对应的深度信息满足第一预设条件，并将满足所述第一预设条件的深度信息对应的关键点作为待处理关键点，其中，所述第一预设条件包括：深度值为负数，或者所述深度值为非负数且重投影误差之和大于或等于第一阈值；
对所述待处理关键点进行处理，以修正所述待处理关键点及对应的深度信息，更新所述深度信息。
2.根据权利要求1所述的方法，其中，所述第一预设条件包括所述深度值为非负数且所述重投影误差之和大于或等于所述第一阈值，对所述待处理关键点进行处理，以修正所述待处理关键点及对应的深度信息，更新所述深度信息，包括：
计算所述待处理关键点在两帧图像中的描述子之间的汉明距离；
确认所述汉明距离满足第二预设条件，其中，所述第二预设条件包括所述汉明距离小于第二阈值；
采用优化算法再次计算所述待处理关键点的深度信息，更新所述深度信息。
3.根据权利要求2所述的方法，其中，所述重投影误差之和为所述待处理关键点在所述两帧图像的每帧图像中的重投影误差的和。
4.根据权利要求2所述的方法，其中，对所述待处理关键点进行处理，以修正所述待处理关键点及对应的深度信息，更新所述深度信息，还包括：
确认所述汉明距离不满足所述第二预设条件；
更新所述待处理关键点在所述两帧图像中的关联关系，并利用所述深度信息算法确定更新后的关键点的深度信息，更新所述深度信息。
5.根据权利要求4所述的方法，其中，更新所述待处理关键点在所述两帧图像中的关联关系，并利用所述深度信息算法确定更新后的关键点的深度信息，更新所述深度信息，包括：
在所述两帧图像的后一帧图像中的待处理关键点的投影点的预设范围内遍历并确定新的投影点，用所述新的投影点替代所述待处理关键点的投影点；
利用所述深度信息算法基于更新后的关联关系计算对应的深度信息，更新所述深度信息。
6.根据权利要求5所述的方法，其中，在所述两帧图像的后一帧图像中待处理关键点的投影点的预设范围内遍历并确定所述新的投影点，用所述新的投影点替代所述待处理关键点的投影点，包括：
确定所述待处理关键点在所述两帧图像的后一帧图像中的投影点所在位置的预设范围内的像素点；
基于预设规则在所述像素点中选择至少一个像素点作为备选点；
计算每个备选点的基于二进制编码的特征描述子；
在所计算的特征描述子中选择与所述两帧图像的前一帧图像中的投影点的特征描述子的汉明距离满足所述第二预设条件的特征描述子所对应的备选点，将选择的备选点作为所述新的投影点以替代所述待处理关键点的投影点。
7.根据权利要求6所述的方法，其中，所述预设范围包括5*5的像素范围。
8.根据权利要求6所述的方法，其中，所述预设规则包括以下规则至少之一：
将所述预设范围内除所述待处理关键点的投影点以外的像素点均作为所述备选点；
在所述预设范围内除所述待处理关键点的投影点以外的像素点中，按照预设步距选择所述像素点中的部分像素点；
在所述预设范围内除所述待处理关键点的投影点以外的像素点中，随机选择预设数量的像素点。
9.根据权利要求1所述的方法，其中，所述第一预设条件包括所述深度值为负数，
对所述待处理关键点进行处理，以修正所述待处理关键点及对应的深度信息，更新所述深度信息，包括：
丢弃所述深度值为负数的所述待处理关键点。
10.根据权利要求1所述的方法，其中，所述深度信息算法包括三角化算法，所述深度信息通过所述关键点在世界坐标系下的三维坐标信息获取，所述关键点在所述世界坐标系下的三维坐标信息通过每帧图像中的投影点的二维坐标信息以及相机的实时位姿获得；
所述三角化算法包括：
计算在所述三角化算法中使用的两帧图像中投影点在相机坐标系下的三维坐标信息，其中，所述相机坐标系下的三维坐标信息是经过归一化处理的坐标信息；
根据所述关键点分别在所述两帧图像中的位姿，计算得到所述关键点在所述世界坐标系下的三维坐标信息。
11.根据权利要求1所述的方法，其中，所述方法用于增强现实设备。
12.一种电子设备，包括：
处理器；
存储器，包括一个或多个计算机程序模块；
其中，所述一个或多个计算机程序模块被存储在所述存储器中并被配置为由所述处理器执行，所述一个或多个计算机程序模块用于实现权利要求1所述的深度信息计算方法。
13.一种非暂时性计算机可读存储介质，存储有非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时实现权利要求1所述的深度信息计算方法。
CN202311043802.6A 2023-08-17 2023-08-17 深度信息计算方法、电子设备及存储介质 Pending CN116993801A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311043802.6A CN116993801A (zh) 2023-08-17 2023-08-17 深度信息计算方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311043802.6A CN116993801A (zh) 2023-08-17 2023-08-17 深度信息计算方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116993801A true CN116993801A (zh) 2023-11-03

Family

ID=88526597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311043802.6A Pending CN116993801A (zh) 2023-08-17 2023-08-17 深度信息计算方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116993801A (zh)

Similar Documents

Publication Publication Date Title
CN107223269B (zh) 三维场景定位方法和装置
CA3034058C (en) Real-time hand modeling and tracking using sphere-mesh models
CN111868738B (zh) 跨设备监控计算机视觉系统
CN108122280A (zh) 一种三维点云的重建方法及装置
US11651569B2 (en) System and method for mapping
CN112561978A (zh) 深度估计网络的训练方法、图像的深度估计方法、设备
CN115362478A (zh) 用于标记图像之间的空间关系的强化学习模型
TW202238449A (zh) 室內定位系統及室內定位方法
CN112967340A (zh) 同时定位和地图构建方法、装置、电子设备及存储介质
CN114677572B (zh) 对象描述参数的生成方法、深度学习模型的训练方法
CN112733641A (zh) 物体尺寸测量方法、装置、设备及存储介质
CN115239888A (zh) 用于重建三维人脸图像的方法、装置、电子设备和介质
KR102315696B1 (ko) 관절 모델 정합 장치 및 방법
CN114998433A (zh) 位姿计算方法、装置、存储介质以及电子设备
CN112085842B (zh) 深度值确定方法及装置、电子设备和存储介质
CN115239899B (zh) 位姿图生成方法、高精地图生成方法和装置
EP4086853A2 (en) Method and apparatus for generating object model, electronic device and storage medium
Liu et al. Globally optimal consensus maximization for relative pose estimation with known gravity direction
CN116993801A (zh) 深度信息计算方法、电子设备及存储介质
CN113643343B (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
CN112967329A (zh) 图像数据优化方法、装置、电子设备及存储介质
CN114359522B (zh) Ar模型放置方法及装置
CN117372604B (zh) 一种3d人脸模型生成方法、装置、设备及可读存储介质
CN113593049B (zh) 场景中真实物体与虚拟物体的几何一致性虚实融合方法
CN113362387B (zh) 一种动态环境移动机器人的环境地图构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination