CN117272758B - 基于三角格网的深度估计方法、装置、计算机设备和介质 - Google Patents

基于三角格网的深度估计方法、装置、计算机设备和介质 Download PDF

Info

Publication number
CN117272758B
CN117272758B CN202311548562.5A CN202311548562A CN117272758B CN 117272758 B CN117272758 B CN 117272758B CN 202311548562 A CN202311548562 A CN 202311548562A CN 117272758 B CN117272758 B CN 117272758B
Authority
CN
China
Prior art keywords
candidate point
candidate
point set
depth value
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311548562.5A
Other languages
English (en)
Other versions
CN117272758A (zh
Inventor
由清圳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airlook Aviation Technology Beijing Co ltd
Original Assignee
Airlook Aviation Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airlook Aviation Technology Beijing Co ltd filed Critical Airlook Aviation Technology Beijing Co ltd
Priority to CN202311548562.5A priority Critical patent/CN117272758B/zh
Publication of CN117272758A publication Critical patent/CN117272758A/zh
Application granted granted Critical
Publication of CN117272758B publication Critical patent/CN117272758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/23—Design optimisation, verification or simulation using finite element methods [FEM] or finite difference methods [FDM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)

Abstract

本公开提供一种基于三角格网的深度估计方法、装置、计算机设备和介质，包括：获取预设相机坐标系下目标对象所对应的三角格网模型，三角格网模型中包括多个三角面片；将每个三角面片反向投影至目标对象基于预设相机坐标系确定的深度图像上，得到目标投影点以及每个三角面片中的目标空间点；确定目标投影点对应于三角格网模型中的投影空间点；基于每个三角面片中包括的目标空间点以及投影空间点，构建第一候选点集合；对第一候选点集合进行三角格网有效性判定，得到第二候选点集合；基于第二候选点集合中包括的候选点所对应的深度值，更新深度图像中目标投影点对应的当前深度值。从而，使得深度图更加逼近重建表面，有效提升图像重建效率。

Description

基于三角格网的深度估计方法、装置、计算机设备和介质
技术领域
本公开的实施例涉及计算机技术领域，具体地，涉及适用于一种基于三角格网的深度估计方法、装置、计算机设备和介质。
背景技术
对深度图进行精度估计之后，需要利用更加贴合表面的点云数据构建三角格网，并最终实现后继的三维重建工作。
在对图像的像素深度的估计过程中，通常是通过初始化方式得到图像中各像素点的深度初值，然后利用空间传播得到相应像素点更加准确的深度值，然而，上述实现方式，深度图所还原的像素点难以和三角格网表面进行有效贴合，具有较大偏差，影响最终图像重建质量。
发明内容
本文中描述的实施例提供了一种基于三角格网的深度估计方法、装置、计算机设备和介质，克服了上述问题。
第一方面，根据本公开的内容，提供了一种基于三角格网的深度估计方法，包括：
获取预设相机坐标系下目标对象所对应的三角格网模型，所述三角格网模型中包括多个三角面片；
将每个所述三角面片反向投影至所述目标对象基于所述预设相机坐标系确定的深度图像上，得到目标投影点以及每个所述三角面片中的目标空间点，每个所述三角面片中目标空间点在所述深度图像上的投影点均为所述目标投影点，所述目标投影点为所述深度图像中的一个像素点；
基于所述深度图像与所述三角格网模型的空间对应关系，确定所述目标投影点对应于所述三角格网模型中的投影空间点；
基于每个所述三角面片中包括的目标空间点以及所述投影空间点，构建第一候选点集合；
对所述第一候选点集合进行三角格网有效性判定，得到第二候选点集合，所述三角格网有效性判定用于描述深度值有效性判定和法线可视性判定，所述第二候选点集合中包括：所述第一候选点集合中的部分点；
基于所述第二候选点集合中包括的候选点所对应的深度值，更新所述深度图像中所述目标投影点对应的当前深度值。
第二方面，根据本公开的内容，提供了一种基于三角格网的深度估计装置，包括：
获取模块，用于获取预设相机坐标系下目标对象所对应的三角格网模型，所述三角格网模型中包括多个三角面片；
投影模块，用于将每个所述三角面片反向投影至所述目标对象基于所述预设相机坐标系确定的深度图像上，得到目标投影点以及每个所述三角面片中的目标空间点，每个所述三角面片中目标空间点在所述深度图像上的投影点均为所述目标投影点，所述目标投影点为所述深度图像中的一个像素点；
确定模块，用于基于所述深度图像与所述三角格网模型的空间对应关系，确定所述目标投影点对应于所述三角格网模型中的投影空间点；
构建模块，用于基于每个所述三角面片中包括的目标空间点以及所述投影空间点，构建第一候选点集合；
判定模块，用于对所述第一候选点集合进行三角格网有效性判定，得到第二候选点集合，所述三角格网有效性判定用于描述深度值有效性判定和法线可视性判定，所述第二候选点集合中包括：所述第一候选点集合中的部分点；
更新模块，用于基于所述第二候选点集合中包括的候选点所对应的深度值，更新所述深度图像中所述目标投影点对应的当前深度值。
第三方面，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，处理器执行计算机程序时实现如以上任意一个实施例中基于三角格网的深度估计方法的步骤。
第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如以上任意一个实施例中基于三角格网的深度估计方法的步骤。
本申请实施例提供的基于三角格网的深度估计方法，获取预设相机坐标系下目标对象所对应的三角格网模型，三角格网模型中包括多个三角面片；将每个三角面片反向投影至目标对象基于预设相机坐标系确定的深度图像上，得到目标投影点以及每个三角面片中的目标空间点，每个三角面片中目标空间点在深度图像上的投影点均为目标投影点，目标投影点为深度图像中的一个像素点；基于深度图像与三角格网模型的空间对应关系，确定目标投影点对应于三角格网模型中的投影空间点；基于每个三角面片中包括的目标空间点以及投影空间点，构建第一候选点集合；对第一候选点集合进行三角格网有效性判定，得到第二候选点集合，三角格网有效性判定用于描述深度值有效性判定和法线可视性判定，第二候选点集合中包括：第一候选点集合中的部分点；基于第二候选点集合中包括的候选点所对应的深度值，更新深度图像中目标投影点对应的当前深度值。如此，通过对三角格网进行反投影的方式，选择深度值更贴近当前视角的面片深度作为投影点的当前深度值，以此更新原有深度图，使得深度图更加逼近重建表面，有效提升图像重建效率。
上述说明仅是本申请实施例技术方案的概述，为了能够更清楚了解本申请实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本申请实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
为了更清楚地说明本公开的实施例的技术方案，下面将对实施例的附图进行简要说明，应当知道，以下描述的附图仅仅涉及本公开的一些实施例，而非对本公开的限制，其中：
图1是本公开提供的一种基于三角格网的深度估计方法的流程示意图。
图2是本公开提供的一种深度值有效性判定的示意图。
图3是本公开提供的一种法线可视性判定的示意图。
图4是本公开提供的一种三角格网重投影示意图。
图5是本公开提供的一种基于三角格网的深度估计装置的结构示意图。
图6是本公开提供的一种计算机设备的结构示意图。
需要注意的是，附图中的元素是示意性的，没有按比例绘制。
具体实施方式
为了使本公开的实施例的目的、技术方案和优点更加清楚，下面将结合附图，对本公开的实施例的技术方案进行清楚、完整的描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域技术人员在无需创造性劳动的前提下所获得的所有其它实施例，也都属于本公开保护的范围。
除非另外定义，否则在此使用的所有术语（包括技术和科学术语）具有与本公开主题所属领域的技术人员所通常理解的相同含义。进一步将理解的是，诸如在通常使用的词典中定义的那些的术语应解释为具有与说明书上下文和相关技术中它们的含义一致的含义，并且将不以理想化或过于正式的形式来解释，除非在此另外明确定义。如在此所使用的，将两个或更多部分“连接”或“耦接”到一起的陈述应指这些部分直接结合到一起或通过一个或多个中间部件结合。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语“实施例”并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：存在A，同时存在A和B，存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。诸如“第一”和“第二”的术语仅用于将一个部件（或部件的一部分）与另一个部件（或部件的另一部分）区分开。
在本申请的描述中，除非另有说明，“多个”的含义是指两个以上（包括两个），同理，“多组”指的是两组以上（包括两组）。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
图1是本公开实施例提供的一种基于三角格网的深度估计方法的流程示意图。如图1所示，基于三角格网的深度估计方法的具体过程包括：
S110、获取预设相机坐标系下目标对象所对应的三角格网模型，三角格网模型中包括多个三角面片。
其中，三角格网模型可通过对目标对象的点云数据进行处理得出。三角格网模型中包括的三角面片为一种多边形网格，可作为目标对象建模的一种数据结构。
获取预设相机坐标系下目标对象所对应的三角格网模型，可包括：获取预设相机坐标系下目标对象所对应的深度图像，将深度图像进行坐标变换，得到目标对象对应的点云数据，并对目标对象对应的点云数据进行过滤及补偿，得到三维点云数据，基于三维点云数据构建出目标对象所对应的三角格网模型。
S120、将每个三角面片反向投影至目标对象基于预设相机坐标系确定的深度图像上，得到目标投影点以及每个三角面片中的目标空间点。
其中，每个三角面片中目标空间点在深度图像上的投影点均为目标投影点，目标投影点为深度图像中的一个像素点。三角面片为当前视角下可见的三角格网。一个目标投影点对应一个三角面片中的一个目标空间点，也即，每个三角面片中的一个目标空间点对应同一个目标投影点。
如图2所示，在Im视角下，对应Im的相机坐标系（预设相机坐标系），将这一视角下的可见三角面片F1、F2、...Fn投影至Im上，三角面片F1、F2、...Fn在Im上的投影点均为目标投影点Pi，Pi对应于三角面片F1、F2、...Fn中的空间点分别为P1、P2、...Pn。
S130、基于深度图像与三角格网模型的空间对应关系，确定目标投影点对应于三角格网模型中的投影空间点。
其中，可基于深度图像与每个三角面片的空间投影关系，确定深度图像与三角格网模型的空间对应关系，空间投影关系基于目标投影点的坐标与目标空间点的坐标的空间关系确定。深度图像与三角格网模型的空间对应关系即为深度图像中的一个像素点与三角格网模型所在空间中的一个网格点之间的空间坐标变换关系。
目标投影点对应于三角格网模型中的投影空间点，为目标投影点基于当前视角下的深度图像所对应于空间中的一个3D点。
S140、基于每个三角面片中包括的目标空间点以及投影空间点，构建第一候选点集合。
其中，目标投影点Pi对应于三角格网模型中的投影空间点为Pi_3。
基于每个三角面片中包括的目标空间点以及投影空间点，构建第一候选点集合，为基于每个三角面片中包括的目标空间点以及投影空间点，与目标投影点或深度图像之间的距离，按照距离从小到大或从大到小的关系排列每个三角面片中包括的目标空间点以及投影空间点，得到第一候选点集合，第一候选点集合如G={P1、P2、...Pn、Pi_3}。
S150、对第一候选点集合进行三角格网有效性判定，得到第二候选点集合。
其中，三角格网有效性判定可用于描述深度值有效性判定和法线可视性判定，第二候选点集合中包括：第一候选点集合中的部分点。
深度值有效性判定即基于第一候选点集合中包括的每个候选点的深度值判定对应候选点是否为无效候选点。法线可视性判定即基于第一候选点集合中包括的每个候选点的法线判定对应候选点是否为非法线可视性点。
一些实施例中，对第一候选点集合进行三角格网有效性判定，得到第二候选点集合，包括：
对第一候选点集合进行深度值有效性判定，以对第一候选点集合进行候选点更新；对更新后的第一候选点集合进行法线可视性判定，得到第二候选点集合。
其中，深度值有效性判定用于描述剔除第一候选点集合中的无效候选点，法线可视性判定用于描述剔除第二候选点集合中的非法线可视性点。从而，对第一候选点集合中的候选点进行无效点剔除，提升候选点的有效性。
一些实施例中，对第一候选点集合进行深度值有效性判定，以对第一候选点集合进行候选点更新，包括：
获取第一候选点集合中包括的每个候选点的深度值；判断第一候选点集合中包括的每个候选点的深度值与预设深度阈值的大小关系；基于第一候选点集合中包括的每个候选点的深度值与预设深度阈值的判断结果，确定第一候选点集合中深度值小于预设深度阈值的候选点为无效候选点；从第一候选点集合中删除无效候选点，以更新第一候选点集合。
其中，第一候选点集合中包括的每个候选点的深度值即为每个候选点与深度图像之间的垂直距离，如图2所示中的z值。
预设深度阈值为0，若判断出一个候选点的深度值小于0，则确定此候选点为无效候选点，并将此候选点从第一候选点集合中删除，以保证第一候选点集合中的深度有效性。
一些实施例中，对更新后的第一候选点集合进行法线可视性判定，得到第二候选点集合，包括：
获取更新后的第一候选点集合中包括的每个候选点所对应的三角面片的法线；基于第一候选点集合中包括的每个候选点所对应的三角面片的法线、目标投影点的平面坐标以及第一候选点集合中包括的每个候选点的平面坐标，判断对应候选点是否为法线可视性点；从更新后的第一候选点集合中删除非法线可视性点对应的候选点，得到第二候选点集合。
参见图3所示，基于第一候选点集合中包括的每个候选点所对应的三角面片的法线、目标投影点的平面坐标以及第一候选点集合中包括的每个候选点的平面坐标，判断对应候选点是否为法线可视性点，可参见如下公式（1）。
（1）
公式（1）中，为第一候选点集合中包括的第/>个候选点所对应的三角面片基于此点的法线，/>为目标投影点的平面坐标，/>为第/>个候选点的平面坐标，，由目标投影点Pi的像素坐标/>进行齐次化坐标转换得出。
其中，若第个候选点满足上述公式（1），则判定第/>个候选点为法线可视性点，若第/>个候选点不满足上述公式（1），则判定第/>个候选点为非法线可视性点，从更新后的第一候选点集合中删除非法线可视性点对应的候选点。
S160、基于第二候选点集合中包括的候选点所对应的深度值，更新深度图像中目标投影点对应的当前深度值。
本实施例在同一视点下，通过对可见三角格网的反投影，整合重建模型的表面深度信息，最终更新原有的深度图，使得深度图更加逼近重建表面。
一些实施例中，基于第二候选点集合中包括的候选点所对应的深度值，更新深度图像中目标投影点对应的当前深度值，包括：
获取第二候选点集合中包括的候选点对应的最小深度值；基于第二候选点集合中包括的候选点对应的最小深度值，确定目标投影点对应的当前深度值。
其中，基于第二候选点集合中包括的候选点所对应的深度值，更新深度图像中目标投影点对应的当前深度值，相比于原有深度值，选择深度值更贴近当前视角的面片深度。
一些实施例中，基于第二候选点集合中包括的候选点对应的最小深度值，确定目标投影点对应的当前深度值，包括：
将目标投影点对应的当前深度值更新为第二候选点集合中包括的候选点对应的最小深度值。
参见图4所示，，选择第二候选点集合中包括的候选点对应的最小深度值作为目标投影点对应的当前深度值。
或者，判断目标投影点对应的当前深度值是否为第二候选点集合中包括的候选点对应的最小深度值，若是，则保持目标投影点对应的当前深度值不变，若否，则采用第二候选点集合中包括的候选点对应的最小深度值替换目标投影点对应的当前深度值。
其中，通过在替换目标投影点的当前深度值之前，进行目标投影点的当前深度值与最小深度值的比对，在两者不同时再进行替换操作，若两者相同，则无需执行替换操作，有效节省处理资源。
本实施例中，获取预设相机坐标系下目标对象所对应的三角格网模型，三角格网模型中包括多个三角面片；将每个三角面片反向投影至目标对象基于预设相机坐标系确定的深度图像上，得到目标投影点以及每个三角面片中的目标空间点，每个三角面片中目标空间点在深度图像上的投影点均为目标投影点，目标投影点为深度图像中的一个像素点；基于深度图像与三角格网模型的空间对应关系，确定目标投影点对应于三角格网模型中的投影空间点；基于每个三角面片中包括的目标空间点以及投影空间点，构建第一候选点集合；对第一候选点集合进行三角格网有效性判定，得到第二候选点集合，三角格网有效性判定用于描述深度值有效性判定和法线可视性判定，第二候选点集合中包括：第一候选点集合中的部分点；基于第二候选点集合中包括的候选点所对应的深度值，更新深度图像中目标投影点对应的当前深度值。如此，通过对三角格网进行反投影的方式，选择深度值更贴近当前视角的面片深度作为投影点的当前深度值，以此更新原有深度图，使得深度图更加逼近重建表面，有效提升图像重建效率。
另外，在确定出第二候选点集合之后，还可基于三角面片在三角格网模型中的所处位置，更新第二候选点集合，如确定出的第二候选点集合包括多个候选点，若多个候选点中含有边界三角面片对应于目标投影点的目标空间点，则从第二候选点集合中删除边界三角面片对应的目标空间点，避免边界点对图像深度的影响。
其中，边界三角面片可基于每个三角面片在三角格网模型中的所处位置与深度图像之间的位置距离确定得出，距离深度图像最远的三角面片即为边界三角面片。
图5为本实施例提供的一种基于三角格网的深度估计装置的结构示意图。基于三角格网的深度估计装置可以包括：获取模块510、投影模块520、确定模块530、构建模块540、判定模块550和更新模块560。
获取模块510，用于获取预设相机坐标系下目标对象所对应的三角格网模型，三角格网模型中包括多个三角面片。
投影模块520，用于将每个三角面片反向投影至目标对象基于预设相机坐标系确定的深度图像上，得到目标投影点以及每个三角面片中的目标空间点，每个三角面片中目标空间点在深度图像上的投影点均为目标投影点，目标投影点为深度图像中的一个像素点。
确定模块530，用于基于深度图像与三角格网模型的空间对应关系，确定目标投影点对应于三角格网模型中的投影空间点。
构建模块540，用于基于每个三角面片中包括的目标空间点以及投影空间点，构建第一候选点集合。
判定模块550，用于对第一候选点集合进行三角格网有效性判定，得到第二候选点集合，三角格网有效性判定用于描述深度值有效性判定和法线可视性判定，第二候选点集合中包括：第一候选点集合中的部分点。
更新模块560，用于基于第二候选点集合中包括的候选点所对应的深度值，更新深度图像中目标投影点对应的当前深度值。
在本实施例中，可选的，判定模块550，包括：第一判定单元和第二判定单元。
第一判定单元，用于对第一候选点集合进行深度值有效性判定，以对第一候选点集合进行候选点更新，深度值有效性判定用于描述剔除第一候选点集合中的无效候选点。
第二判定单元，用于对更新后的第一候选点集合进行法线可视性判定，得到第二候选点集合，法线可视性判定用于描述剔除第二候选点集合中的非法线可视性点。
在本实施例中，可选的，第一判定单元，具体用于：
获取第一候选点集合中包括的每个候选点的深度值；判断第一候选点集合中包括的每个候选点的深度值与预设深度阈值的大小关系；基于第一候选点集合中包括的每个候选点的深度值与预设深度阈值的判断结果，确定第一候选点集合中深度值小于预设深度阈值的候选点为无效候选点；从第一候选点集合中删除无效候选点，以更新第一候选点集合。
在本实施例中，可选的，第二判定单元，具体用于：
获取更新后的第一候选点集合中包括的每个候选点所对应的三角面片的法线；基于第一候选点集合中包括的每个候选点所对应的三角面片的法线、目标投影点的平面坐标以及第一候选点集合中包括的每个候选点的平面坐标，判断对应候选点是否为法线可视性点；从更新后的第一候选点集合中删除非法线可视性点对应的候选点，得到第二候选点集合。
在本实施例中，可选的，更新模块560，具体用于：
获取第二候选点集合中包括的候选点对应的最小深度值；基于第二候选点集合中包括的候选点对应的最小深度值，确定目标投影点对应的当前深度值。
在本实施例中，可选的，更新模块560，具体用于：
将目标投影点对应的当前深度值更新为第二候选点集合中包括的候选点对应的最小深度值；或者，判断目标投影点对应的当前深度值是否为第二候选点集合中包括的候选点对应的最小深度值，若是，则保持目标投影点对应的当前深度值不变，若否，则采用第二候选点集合中包括的候选点对应的最小深度值替换目标投影点对应的当前深度值。
本公开提供的基于三角格网的深度估计装置，可执行上述方法实施例，其具体实现原理和技术效果，可参见上述方法实施例，本公开此处不再赘述。
本申请实施例还提供了一种计算机设备。具体请参阅图6，图6为本实施例计算机设备基本结构框图。
计算机设备包括通过系统总线相互通信连接存储器610和处理器620。需要指出的是，图中仅示出了具有组件610-620的计算机设备，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路（Application SpecificIntegrated Circuit，ASIC）、可编程门阵列（Field-ProgrammableGate Array，FPGA）、数字处理器（Digital Signal Processor，DSP）、嵌入式设备等。
计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
存储器610至少包括一种类型的可读存储介质，可读存储介质包括非易失性存储器（non-volatile memory）或易失性存储器，例如，闪存（flash memory）、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、随机访问存储器（random accessmemory，RAM）、只读存储器（read-only memory，ROM）、可擦写可编程只读存储器（erasableprogrammableread-only memory，EPROM）、电可擦写可编程只读存储器（electrically erasableprogrammable read-only memory，EEPROM）、可编程只读存储器（programmable read-onlymemory，PROM）、磁性存储器、磁盘、光盘等，RAM可以包括静态RAM或动态RAM。在一些实施例中，存储器610可以是计算机设备的内部存储单元，例如，该计算机设备的硬盘或内存。在另一些实施例中，存储器610也可以是计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、安全数字（Secure Digital，SD）卡或闪存卡（Flash Card）等。当然，存储器610还可以既包括计算机设备的内部存储单元也包括其外部存储设备。本实施例中，存储器610通常用于存储安装于计算机设备的操作系统和各类应用软件，例如上述方法的程序代码等。此外，存储器610还可以用于暂时地存储已经输出或者将要输出的各类数据。
处理器620通常用于执行计算机设备的总体操作。本实施例中，存储器610用于存储程序代码或指令，程序代码包括计算机操作指令，处理器620用于执行存储器610存储的程序代码或指令或者处理数据，例如运行上述方法的程序代码。
本文中，总线可以是工业标准体系结构（Industry Standard Architecture，ISA）总线、外设部件互连标准（Peripheral Component Interconnect，PCI）总线或扩展工业标准结构（ExtendedIndustry Standard Architecture，EISA）总线等。该总线系统可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
本申请的另一实施例还提供一种计算机可读介质，计算机可读介质可以是计算机可读信号介质或者计算机可读介质。计算机中的处理器读取存储在计算机可读介质中的计算机可读程序代码，使得处理器能够执行在上述方法中每个步骤、或各步骤的组合中规定的功能动作；生成实施在框图的每一块、或各块的组合中规定的功能动作的装置。
计算机可读介质包含但不限于电子、磁性、光学、电磁、红外的存储器或半导体系统、设备或者装置，或者前述的任意适当组合，存储器用于存储程序代码或指令，程序代码包括计算机操作指令，处理器用于执行存储器存储的上述方法的程序代码或指令。
存储器和处理器的定义，可以参考前述计算机设备实施例的描述，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
在本申请各个实施例中的各功能单元或模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-OnlyMemory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。本申请描述的“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了装置若干的单元权利要求中，这些装置中的若干个单元可以是通过同一个硬件项来具体体现。第一、第二、以及第三等的使用不表示任何顺序，可将这些单词解释为名称。上述实施例中的步骤，除有特殊说明外，不应理解为对执行顺序的限定。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (8)

1.一种基于三角格网的深度估计方法，其特征在于，包括：
获取预设相机坐标系下目标对象所对应的三角格网模型，所述三角格网模型中包括多个三角面片；
将每个所述三角面片反向投影至所述目标对象基于所述预设相机坐标系确定的深度图像上，得到目标投影点以及每个所述三角面片中的目标空间点，每个所述三角面片中目标空间点在所述深度图像上的投影点均为所述目标投影点，所述目标投影点为所述深度图像中的一个像素点；
基于所述深度图像与所述三角格网模型的空间对应关系，确定所述目标投影点对应于所述三角格网模型中的投影空间点；
基于每个所述三角面片中包括的目标空间点以及所述投影空间点，构建第一候选点集合；
对所述第一候选点集合进行三角格网有效性判定，得到第二候选点集合，所述三角格网有效性判定用于描述深度值有效性判定和法线可视性判定，所述第二候选点集合中包括：所述第一候选点集合中的部分点；
基于所述第二候选点集合中包括的候选点所对应的深度值，更新所述深度图像中所述目标投影点对应的当前深度值；
其中，所述对所述第一候选点集合进行三角格网有效性判定，得到第二候选点集合，包括：
对所述第一候选点集合进行所述深度值有效性判定，以对所述第一候选点集合进行候选点更新，所述深度值有效性判定用于描述剔除所述第一候选点集合中的无效候选点；所述无效候选点是基于所述第一候选点集合中包括的每个候选点的深度值与预设深度阈值的大小关系确定出的；
对更新后的所述第一候选点集合进行所述法线可视性判定，得到所述第二候选点集合，所述法线可视性判定用于描述剔除所述第二候选点集合中的非法线可视性点，所述非法线可视性点是基于所述第一候选点集合中包括的每个候选点所对应的三角面片的法线、所述目标投影点的平面坐标以及所述第一候选点集合中包括的每个候选点的平面坐标判断得出的。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一候选点集合进行所述深度值有效性判定，以对所述第一候选点集合进行候选点更新，包括：
获取所述第一候选点集合中包括的每个候选点的深度值；
判断所述第一候选点集合中包括的每个候选点的深度值与预设深度阈值的大小关系；
基于所述第一候选点集合中包括的每个候选点的深度值与预设深度阈值的判断结果，确定所述第一候选点集合中深度值小于所述预设深度阈值的候选点为无效候选点；
从所述第一候选点集合中删除所述无效候选点，以更新所述第一候选点集合。
3.根据权利要求1所述的方法，其特征在于，所述对更新后的所述第一候选点集合进行所述法线可视性判定，得到所述第二候选点集合，包括：
获取更新后的所述第一候选点集合中包括的每个候选点所对应的三角面片的法线；
基于所述第一候选点集合中包括的每个候选点所对应的三角面片的法线、所述目标投影点的平面坐标以及所述第一候选点集合中包括的每个候选点的平面坐标，判断对应候选点是否为法线可视性点；
从更新后的所述第一候选点集合中删除所述非法线可视性点对应的候选点，得到所述第二候选点集合。
4.根据权利要求1所述的方法，其特征在于，所述基于所述第二候选点集合中包括的候选点所对应的深度值，更新所述深度图像中所述目标投影点对应的当前深度值，包括：
获取所述第二候选点集合中包括的候选点对应的最小深度值；
基于所述第二候选点集合中包括的候选点对应的最小深度值，确定所述目标投影点对应的当前深度值。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第二候选点集合中包括的候选点对应的最小深度值，确定所述目标投影点对应的当前深度值，包括：
将所述目标投影点对应的当前深度值更新为所述第二候选点集合中包括的候选点对应的最小深度值；
或者，判断所述目标投影点对应的当前深度值是否为所述第二候选点集合中包括的候选点对应的最小深度值，若是，则保持所述目标投影点对应的当前深度值不变，若否，则采用所述第二候选点集合中包括的候选点对应的最小深度值替换所述目标投影点对应的当前深度值。
6.一种基于三角格网的深度估计装置，其特征在于，包括：
获取模块，用于获取预设相机坐标系下目标对象所对应的三角格网模型，所述三角格网模型中包括多个三角面片；
投影模块，用于将每个所述三角面片反向投影至所述目标对象基于所述预设相机坐标系确定的深度图像上，得到目标投影点以及每个所述三角面片中的目标空间点，每个所述三角面片中目标空间点在所述深度图像上的投影点均为所述目标投影点，所述目标投影点为所述深度图像中的一个像素点；
确定模块，用于基于所述深度图像与所述三角格网模型的空间对应关系，确定所述目标投影点对应于所述三角格网模型中的投影空间点；
构建模块，用于基于每个所述三角面片中包括的目标空间点以及所述投影空间点，构建第一候选点集合；
判定模块，用于对所述第一候选点集合进行三角格网有效性判定，得到第二候选点集合，所述三角格网有效性判定用于描述深度值有效性判定和法线可视性判定，所述第二候选点集合中包括：所述第一候选点集合中的部分点；
更新模块，用于基于所述第二候选点集合中包括的候选点所对应的深度值，更新所述深度图像中所述目标投影点对应的当前深度值；
所述判定模块，包括：第一判定单元和第二判定单元；
所述第一判定单元，用于对所述第一候选点集合进行所述深度值有效性判定，以对所述第一候选点集合进行候选点更新，所述深度值有效性判定用于描述剔除所述第一候选点集合中的无效候选点；所述无效候选点是基于所述第一候选点集合中包括的每个候选点的深度值与预设深度阈值的大小关系确定出的；
所述第二判定单元，用于对更新后的所述第一候选点集合进行所述法线可视性判定，得到所述第二候选点集合，所述法线可视性判定用于描述剔除所述第二候选点集合中的非法线可视性点；所述非法线可视性点是基于所述第一候选点集合中包括的每个候选点所对应的三角面片的法线、所述目标投影点的平面坐标以及所述第一候选点集合中包括的每个候选点的平面坐标判断得出的。
7.一种计算机设备，其特征在于，包括存储器和处理器，存储器中存储有计算机程序，处理器执行计算机程序时实现如权利要求1~5中任一所述的基于三角格网的深度估计方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现如权利要求1~5中任一所述的基于三角格网的深度估计方法。
CN202311548562.5A 2023-11-20 2023-11-20 基于三角格网的深度估计方法、装置、计算机设备和介质 Active CN117272758B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311548562.5A CN117272758B (zh) 2023-11-20 2023-11-20 基于三角格网的深度估计方法、装置、计算机设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311548562.5A CN117272758B (zh) 2023-11-20 2023-11-20 基于三角格网的深度估计方法、装置、计算机设备和介质

Publications (2)

Publication Number Publication Date
CN117272758A CN117272758A (zh) 2023-12-22
CN117272758B true CN117272758B (zh) 2024-03-15

Family

ID=89218016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311548562.5A Active CN117272758B (zh) 2023-11-20 2023-11-20 基于三角格网的深度估计方法、装置、计算机设备和介质

Country Status (1)

Country Link
CN (1) CN117272758B (zh)

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2808842A2 (en) * 2013-05-31 2014-12-03 Technische Universität München An apparatus and method for tracking and reconstructing three-dimensional objects
JP2015045920A (ja) * 2013-08-27 2015-03-12 日本電信電話株式会社 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム
DE102015201271A1 (de) * 2014-09-17 2016-03-17 Friedrich-Alexander-Universität Erlangen - Nürnberg Verfahren und System zur Bestimmung der lokalen Qualität von aus Volumendaten extrahierten Oberflächendaten
CN105654492A (zh) * 2015-12-30 2016-06-08 哈尔滨工业大学 基于消费级摄像头的鲁棒实时三维重建方法
EP3471057A1 (en) * 2017-10-16 2019-04-17 Samsung Electronics Co., Ltd. Image processing method and apparatus using depth value estimation
WO2019170164A1 (zh) * 2018-03-05 2019-09-12 清华-伯克利深圳学院筹备办公室 基于深度相机的三维重建方法、装置、设备及存储介质
CN110378947A (zh) * 2019-07-02 2019-10-25 北京字节跳动网络技术有限公司 3d模型重建方法、装置及电子设备
EP3828833A1 (en) * 2019-11-29 2021-06-02 Hitachi, Ltd. Medical diagnostic imaging support system, medical image processing device, and medical image processing method
CN112991458A (zh) * 2021-03-09 2021-06-18 武汉大学 一种基于体素的快速三维建模方法及系统
WO2021135627A1 (zh) * 2020-01-02 2021-07-08 腾讯科技（深圳）有限公司 一种目标物的三维模型构建方法和相关装置
CN113223132A (zh) * 2021-04-21 2021-08-06 浙江大学 基于反射分解的室内场景虚拟漫游方法
CN113343925A (zh) * 2021-07-02 2021-09-03 厦门美图之家科技有限公司 人脸三维重建方法、装置、电子设备及存储介质
CN113808253A (zh) * 2021-08-31 2021-12-17 武汉理工大学 场景三维重建的动态对象处理方法、系统、设备及介质
CN114022620A (zh) * 2022-01-06 2022-02-08 武汉大势智慧科技有限公司 一种三维场景重建中散乱纹理的剔除方法和系统
CN114170360A (zh) * 2021-11-30 2022-03-11 埃洛克航空科技（北京）有限公司 适用于多种地形数据的合并渲染方法、系统及电子设备
WO2023284576A1 (zh) * 2021-07-12 2023-01-19 Oppo广东移动通信有限公司 深度图生成方法、装置、电子设备
WO2023284713A1 (zh) * 2021-07-12 2023-01-19 先临三维科技股份有限公司 一种三维动态跟踪方法、装置、电子设备和存储介质
CN115937465A (zh) * 2023-01-11 2023-04-07 中国测绘科学研究院 一种顾及像素区域预测的深度图融合算法
CN117036445A (zh) * 2023-10-08 2023-11-10 埃洛克航空科技（北京）有限公司 基于随机分配的深度估计方法、装置、计算机设备和介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI529662B (zh) * 2014-12-15 2016-04-11 財團法人工業技術研究院 基於深度資訊的模型建構方法、圖形處理裝置與紀錄媒體

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2808842A2 (en) * 2013-05-31 2014-12-03 Technische Universität München An apparatus and method for tracking and reconstructing three-dimensional objects
JP2015045920A (ja) * 2013-08-27 2015-03-12 日本電信電話株式会社 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム
DE102015201271A1 (de) * 2014-09-17 2016-03-17 Friedrich-Alexander-Universität Erlangen - Nürnberg Verfahren und System zur Bestimmung der lokalen Qualität von aus Volumendaten extrahierten Oberflächendaten
CN105654492A (zh) * 2015-12-30 2016-06-08 哈尔滨工业大学 基于消费级摄像头的鲁棒实时三维重建方法
EP3471057A1 (en) * 2017-10-16 2019-04-17 Samsung Electronics Co., Ltd. Image processing method and apparatus using depth value estimation
WO2019170164A1 (zh) * 2018-03-05 2019-09-12 清华-伯克利深圳学院筹备办公室 基于深度相机的三维重建方法、装置、设备及存储介质
CN110378947A (zh) * 2019-07-02 2019-10-25 北京字节跳动网络技术有限公司 3d模型重建方法、装置及电子设备
EP3828833A1 (en) * 2019-11-29 2021-06-02 Hitachi, Ltd. Medical diagnostic imaging support system, medical image processing device, and medical image processing method
WO2021135627A1 (zh) * 2020-01-02 2021-07-08 腾讯科技（深圳）有限公司 一种目标物的三维模型构建方法和相关装置
CN112991458A (zh) * 2021-03-09 2021-06-18 武汉大学 一种基于体素的快速三维建模方法及系统
CN113223132A (zh) * 2021-04-21 2021-08-06 浙江大学 基于反射分解的室内场景虚拟漫游方法
CN113343925A (zh) * 2021-07-02 2021-09-03 厦门美图之家科技有限公司 人脸三维重建方法、装置、电子设备及存储介质
WO2023284576A1 (zh) * 2021-07-12 2023-01-19 Oppo广东移动通信有限公司 深度图生成方法、装置、电子设备
WO2023284713A1 (zh) * 2021-07-12 2023-01-19 先临三维科技股份有限公司 一种三维动态跟踪方法、装置、电子设备和存储介质
CN113808253A (zh) * 2021-08-31 2021-12-17 武汉理工大学 场景三维重建的动态对象处理方法、系统、设备及介质
CN114170360A (zh) * 2021-11-30 2022-03-11 埃洛克航空科技（北京）有限公司 适用于多种地形数据的合并渲染方法、系统及电子设备
CN114022620A (zh) * 2022-01-06 2022-02-08 武汉大势智慧科技有限公司 一种三维场景重建中散乱纹理的剔除方法和系统
CN115937465A (zh) * 2023-01-11 2023-04-07 中国测绘科学研究院 一种顾及像素区域预测的深度图融合算法
CN117036445A (zh) * 2023-10-08 2023-11-10 埃洛克航空科技（北京）有限公司 基于随机分配的深度估计方法、装置、计算机设备和介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
't Hart等.The projection point geodesic grid algorithm for meshing the sphere.Journal of Computational Physics.2022,全文. *
基于多RGBD摄像机的动态场景实时三维重建系统;段勇;裴明涛;;北京理工大学学报(第11期);全文 *
基于机器视觉的透明物体检测及抓取;王惠;中国优秀硕士论文 信息科技辑;全文 *
基于深度图像的地面激光雷达与近景影像数据无缝纹理映射研究;胡春梅;李天烁;王晏民;;测绘通报(第01期);全文 *
多视觉人脸图像的三维建模算法研究;张艳花;中国优秀硕士论文 信息科技辑;全文 *

Also Published As

Publication number Publication date
CN117272758A (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN111815755B (zh) 虚拟物体被遮挡的区域确定方法、装置及终端设备
CN113808253B (zh) 场景三维重建的动态对象处理方法、系统、设备及介质
US20210027526A1 (en) Lighting estimation
CN107464286B (zh) 三维城市模型中的孔洞修复方法及装置、设备及可读介质
US20230186562A1 (en) Method and system for 3d modeling based on volume estimation
CN110766068B (zh) 一种验证码识别方法及计算设备
CN117036445B (zh) 基于随机分配的深度估计方法、装置、计算机设备和介质
CN112435323B (zh) 虚拟模型中的光效处理方法、装置、终端及介质
CN108875901B (zh) 神经网络训练方法以及通用物体检测方法、装置和系统
CN117272758B (zh) 基于三角格网的深度估计方法、装置、计算机设备和介质
CN108520259B (zh) 一种前景目标的提取方法、装置、设备及存储介质
CN112669432A (zh) 容积云渲染方法、装置、电子设备及存储介质
JP2022529201A (ja) 意味論的拡張人工現実体験
CN113272785B (zh) 一种挂载文件系统的方法、终端设备及存储介质
CN109543557B (zh) 视频帧的处理方法、装置、设备以及存储介质
CN111931746B (zh) 一种车损判定方法、装置、计算机设备及可读存储介质
CN110837707B (zh) 一种有限元分析系统、方法、计算机设备及存储介质
CN115617221A (zh) 呈现方法、装置、设备和存储介质
US11281935B2 (en) 3D object detection from calibrated 2D images
CN117272759B (zh) 三维重建过程中三角格网的分裂方法、装置和计算机设备
CN110750817B (zh) 连接件放置方法、相邻关系确定方法、装置、设备和介质
CN113836249B (zh) 地图信息点的管理方法和相关装置、设备
US10930073B1 (en) Multi-resolution surface clipping with asynchronous incremental on-demand marking of spatial index nodes
CN117095262A (zh) 交通标识牌识别对象处理方法、装置、设备及存储介质
CN115248944A (zh) 用于绘制图元的方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant