CN116168143A - 一种多视图三维重建的方法 - Google Patents
一种多视图三维重建的方法 Download PDFInfo
- Publication number
- CN116168143A CN116168143A CN202111414740.6A CN202111414740A CN116168143A CN 116168143 A CN116168143 A CN 116168143A CN 202111414740 A CN202111414740 A CN 202111414740A CN 116168143 A CN116168143 A CN 116168143A
- Authority
- CN
- China
- Prior art keywords
- target object
- point cloud
- mask
- dimensional point
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000011218 segmentation Effects 0.000 claims description 88
- 238000003708 edge detection Methods 0.000 claims description 20
- 238000010276 construction Methods 0.000 claims description 5
- 230000003993 interaction Effects 0.000 abstract description 5
- 238000001514 detection method Methods 0.000 description 14
- 230000000007 visual effect Effects 0.000 description 14
- 238000000605 extraction Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种多视图三维重建的方法，包括：根据目标物体的第一图像序列、第一实例掩码、第一三维点云和图像采集设备的位姿信息确定第二三维点云，根据所述第二三维点云获取2D视图区域，所述2D视图区域包括所述目标物体的兴趣区域；根据所述2D视图区域生成第三三维点云，所述第三三维点云包括所述目标物体的稠密三维点云，所述稠密三维点云用于展示所述目标物体。从而能够在无用户交互、无目标物体类别限制及无标定图案约束的前提下实现完整并且高效的多视图三维重建。
Description
技术领域
本申请实施例涉及计算机技术领域，尤其涉及一种多视图三维重建的方法及装置。
背景技术
多视图立体视觉(multi-view stereo，MVS)旨在从一组经过标定的二维图像和估计的相机参数中恢复三维场景表面，广泛应于自动驾驶、增强现实、文物数字化呈现与保护、城市尺度的测量等领域。
现有技术中，三维重建过程中需要从被处理的图像中以各种形状勾勒出需要处理的区域，从而识别并提取出场景主体感兴趣区域(region of interest，ROI)。例如，借助用户交互确定输入图像序列上初始帧的兴趣区域；再例如，借助前景分割算法实现图像序列上前景兴趣区域的分割；再例如，借助场景中预置的标志图案实现兴趣区域的标记和提取。当前的多视图立体重建技术极大的启发了密集计算场景的研究，但一方面，当前的ROI提取技术容易出现错检、漏检等ROI不完整的问题，另一方面，基于特定标志或用户交互的方法不适合自动化或大批量重建的场景。此外，密集计算场景中，大量的计算发生在背景区域，背景区域的计算开销过大，影响三维重建的效率。
如何在无用户交互、无目标物体类别限制及无标定图案约束的前提下实现完整并且高效的多视图三维重建，成为业界亟需解决的问题。
发明内容
本申请实施例提供一种多视图三维重建的方法，能够在无用户交互、无目标物体类别限制及无标定图案约束的前提下实现完整并且高效的多视图三维重建。
第一方面，提供了一种多视图三维重建的方法，包括：根据目标物体的第一图像序列、第一实例掩码、第一三维点云和图像采集设备的位姿信息确定第二三维点云，其中，所述第一图像序列包括使用对所述目标物体进行环绕拍摄后进行去畸变的多幅图像，所述第一实例掩码包括所述第一图像序列中的目标物体的分割掩码和背景物体的分割掩码，所述第一三维点云包括所述第一图像序列中的目标物体的稀疏点云和背景物体的稀疏点云，所述位姿信息包括所述图像采集设备环绕所述目标物体拍摄时的参数信息，所述第二三维点云包括所述目标物体的稀疏点云；根据所述第二三维点云获取2D视图区域，所述2D视图区域包括所述目标物体的兴趣区域；根据所述2D视图区域生成第三三维点云，所述第三三维点云包括所述目标物体的稠密三维点云，所述稠密三维点云用于展示所述目标物体。
基于上述技术方案，在本申请的多视图三维重建场景中，基于图像采集设备的视轴先验信息，通过获取目标物体的3D ROI实现2D ROI的自动化提取，进一步实现目标物体的三维重建。从而能够避免ROI错检，漏检，不完整的问题，高效的实现完整的目标物体的多视图三维重建。
结合第一方面，在一种可能的实现方式中，所述根据目标物体的第一图像序列、第一实例掩码、第一三维点云和图像采集设备的位姿信息确定第二三维点云，包括：根据所述位姿信息确定所述目标物体的3D球形模型；根据所述3D球形模型获取所述目标物体的2D圆形图像；根据所述2D圆形图像移除所述背景物体的分割掩码，确定所述目标物体的分割掩码；根据所述第一三维点云和所述目标物体的分割掩码确定所述第二三维点云。
基于上述技术方案，在本申请中，基于图像采集设备的视轴信息确定3D球形模型，根据球形模型在2D视点图像的投影来移除背景掩码，从而能够避免ROI错检，漏检问题。
结合第一方面，在一种可能的实现方式中，使用最小二乘法根据所述位姿信息拟合出所述3D球形模型的球心和半径。
基于上述技术方案，在本申请中，基于最小二乘法根据图像采集设备的视轴信息拟合3D球形模型，确保3D球形模型的位置和轮廓的准确性。
结合第一方面，在一种可能的实现方式中，根据所述2D圆形图像和所述第一实例掩码的重叠情况来确定所述目标物体的分割掩码，包括：当所述2D圆形图像和所述第一实例掩码中包括的部分掩码重叠，则确定所述重叠的部分掩码为所属目标物体的分割掩码，移除所述不重叠的掩码；或者当所述2D圆形图像和所述第一实例掩码中包括的部分掩码不重叠，则移除所述不重叠的部分掩码，确定剩余的分割掩码为所属目标物体的分割掩码，所述不重叠的部分掩码为所述背景物体的分割掩码。
基于上述技术方案，在本申请中，基于3D球形模型的2D投影图像来移除背景掩码，确保目标物体的掩码的准确性，从而保证ROI的精确性和完整性，进一步的，减少背景区域的计算，从而可以有效提高重建效率。
结合第一方面，在一种可能的实现方式中，将所述第一三维点云投影至2D视图图像，根据所述2D视图图像与所述目标物体的分割掩码重叠的情况来确定所述第二三维点云，包括：所述第一三维点云的部分点云的2D视图图像与所述目标物体的分割掩码重叠，则确定所述重叠的所述第一三维点云的部分点云为所述第二三维点云，移除所述第一三维点云中剩余的未与所述目标物体的分割掩码重叠的点云。
基于上述技术方案，在本申请中，基于稀疏点云的2D投影图像来确定目标物体的3D点云，使得目标物体的3D点云更加精确，有利于ROI的完整提取，从而实现完整的目标物体的多视图三维重建。
结合第一方面，在一种可能的实现方式中，根据所述第二三维点云和所述位姿信息获取2D凸包区域，所述2D凸包区域包括所述目标物体的外部轮廓内的2D点集，所述2D点集包括所述第二三维点云的2D投影点；对所述2D凸包区域进行边缘检测，获取2D扩展点集，所述边缘检测用于根据边缘点集移除所述2D凸包区域中包括的所述背景物体的稀疏点云，所述2D扩展点集包括所述2D点集和所述边缘点集；根据所述2D扩展点集获取所述目标物体的2D视图区域。
基于上述技术方案，在本申请中，基于2D凸包和边缘检测来实现2D点集的扩充，确保2D ROI的完整，从而实现完整的目标物体的多视图三维重建。
结合第一方面，在一种可能的实现方式中，所述图像采集设备环绕所述目标物体拍摄时的参数信息包括所述图像采集设备相对于所述目标物体运动时的自由度参数。
基于上述技术方案，在本申请中，基于图像采集设备的自由度参数来进行三维重建，能确保3DROI和2D ROI的准确性，从而实现完整的目标物体的多视图三维重建。
结合第一方面，在一种可能的实现方式中，所述图像采集设备包括多个。
第二方面，提供了一种多视图三维重建的装置，该装置包括：第一确定模块，用于根据目标物体的第一图像序列、第一实例掩码、第一三维点云和图像采集设备的位姿信息确定第二三维点云，其中，所述第一图像序列包括使用对所述目标物体进行环绕拍摄后进行去畸变的多幅图像，所述第一实例掩码包括所述第一图像序列中的目标物体的分割掩码和背景物体的分割掩码，所述第一三维点云包括所述第一图像序列中的目标物体的稀疏点云和背景物体的稀疏点云，所述位姿信息包括所述图像采集设备环绕所述目标物体拍摄时的参数信息，所述第二三维点云包括所述目标物体的稀疏点云；第二确定模块，用于根据所述第二三维点云获取2D视图区域，所述2D视图区域包括所述目标物体的兴趣区域；构建模块，用于根据所述2D视图区域生成第三三维点云，所述第三三维点云包括所述目标物体的稠密三维点云，所述稠密三维点云用于展示所述目标物体。
基于上述技术方案，在本申请中，在本申请的多视图三维重建场景中，基于图像采集设备的视轴先验信息，通过获取目标物体的3D ROI实现2D ROI的自动化提取，进一步实现目标物体的三维重建。从而能够避免ROI错检，漏检，不完整的问题，高效的实现完整的目标物体的多视图三维重建。
结合第二方面，在一种可能的实现方式中，所述第一确定模块具体用于根据所述位姿信息确定所述目标物体的3D球形模型；根据所述3D球形模型获取所述目标物体的2D圆形图像；根据所述2D圆形图像移除所述背景物体的分割掩码，确定所述目标物体的分割掩码；根据所述第一三维点云和所述目标物体的分割掩码确定所述第二三维点云。
基于上述技术方案，在本申请中，基于图像采集设备的视轴信息确定3D球形模型，根据球形模型在2D视点图像的投影来移除背景掩码，从而能够避免ROI错检，漏检问题。
结合第二方面，在一种可能的实现方式中，所述第一确定模块具体用于使用最小二乘法根据所述相机位姿信息拟合出所述3D球形模型的球心和半径。
基于上述技术方案，在本申请中，基于最小二乘法根据图像采集设备的视轴信息拟合3D球形模型，确保3D球形模型的位置和轮廓的准确性。
结合第二方面，在一种可能的实现方式中，所述第一确定模块具体用于根据所述2D圆形图像和所述第一实例掩码的重叠情况来确定所述目标物体的分割掩码，包括：当所述2D圆形图像和所述第一实例掩码中包括的部分掩码重叠，则确定所述重叠的部分掩码为所属目标物体的分割掩码，移除所述不重叠的掩码；或者当所述2D圆形图像和所述第一实例掩码中包括的部分掩码不重叠，则移除所述不重叠的部分掩码，确定剩余的分割掩码为所属目标物体的分割掩码，所述不重叠的部分掩码为所述背景物体的分割掩码。
基于上述技术方案，在本申请中，基于3D球形模型的2D投影图像来移除背景掩码，确保目标物体的掩码的准确性，从而保证ROI的精确性和完整性，进一步的，减少背景区域的计算，从而可以有效提高重建效率。
结合第二方面，在一种可能的实现方式中，所述第一确定模块具体用于将所述第一三维点云投影至2D视图图像，根据所述2D视图图像与所述目标物体的分割掩码重叠的情况来确定所述第二三维点云，包括：所述第一三维点云的部分点云的2D视图图像与所述目标物体的分割掩码重叠，则确定所述重叠的所述第一三维点云的部分点云为所述第二三维点云，移除所述第一三维点云中剩余的未与所述目标物体的分割掩码重叠的点云。
基于上述技术方案，在本申请中，基于稀疏点云的2D投影图像来确定目标物体的3D点云，使得目标物体的3D点云更加精确，有利于ROI的完整提取，从而实现完整的目标物体的多视图三维重建。
结合第二方面，在一种可能的实现方式中，所述第二确定模块具体用于根据所述第二三维点云和所述位姿信息获取2D凸包区域，所述2D凸包区域包括所述目标物体的外部轮廓内的2D点集，所述2D点集包括所述第二三维点云的2D投影点；对所述2D凸包区域进行边缘检测，获取2D扩展点集，所述边缘检测用于根据边缘点集移除所述2D凸包区域中包括的所述背景物体的稀疏点云，所述2D扩展点集包括所述2D点集和所述边缘点集；根据所述2D扩展点集获取所述目标物体的2D视图区域。
基于上述技术方案，在本申请中，基于2D凸包和边缘检测来实现2D点集的扩充，确保2D ROI的完整，从而实现完整的目标物体的多视图三维重建。
结合第二方面，在一种可能的实现方式中，所述图像采集设备环绕所述目标物体拍摄时的参数信息包括所述图像采集设备相对于所述目标物体运动时的自由度参数。
基于上述技术方案，在本申请中，基于图像采集设备的自由度参数来进行三维重建，能确保3DROI和2D ROI的准确性，从而实现完整的目标物体的多视图三维重建。
结合第二方面，在一种可能的实现方式中，所述图像采集设备包括多个。
第三方面，提供了一种多视图三维重建的装置，包括，处理器，存储器，该存储器用于存储计算机程序，该处理器用于从存储器中调用并运行该计算机程序，使得该通信设备执行第一方面及其各种可能实现方式中的图像生成方法。
可选地，该处理器为一个或多个，该存储器为一个或多个。
可选地，该存储器可以与该处理器集成在一起，或者该存储器与处理器分离设置。
第四方面，提供了一种计算机可读存储介质，其特征在于，该计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行第一方面或第二方面该的方法。
第五方面，提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述各方面中的任意一种实现方式中的方法。
第六方面，提供一种芯片，该芯片包括处理器与数据接口，该处理器通过该数据接口读取存储器上存储的指令，执行上述各方面中的任意一种实现方式中的方法。
可选地，作为一种实现方式，该芯片还可以包括存储器，该存储器中存储有指令，该处理器用于执行该存储器上存储的指令，当该指令被执行时，该处理器用于执行上述各方面中的任意一种实现方式中的方法。
上述芯片具体可以是现场可编程门阵列(field-programmable gate array，FPGA)或者专用集成电路(application-specific integrated circuit，ASIC)。
附图说明
图1示出了本申请实施例提供的系统架构的结构示意图；
图2示出了本申请实施例提供的一种场景结构示意图；
图3示出了本申请实施例提供的一种产品实现形态示意图；
图4示出了本申请实施例提供的一种多视图三维重建的方法的流程框图；
图5示出了本申请实施例提供的一种多视图三维重建的装置的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
应理解，本申请中所有节点、装置的名称仅仅是本申请为描述方便而设定的名称，在实际应用中的名称可能不同，不应理解本申请限定各种节点、装置的名称，相反，任何具有和本申请中用到的节点或装置具有相同或类似功能的名称都视作本申请的方法或等效替换，都在本申请的保护范围之内，以下不再赘述。
为便于理解本申请实施例，首先结合图1简要说明本申请实施例的一种系统架构100的结构示意图。如图1所示，该系统架构100包括图像采集模块110和模型重建模块120。图像采集模块110是模型重建的基础之一，高质量大规模的图像采集，是重建得到高质量模型的关键。
其中，在图像采集模块110中，如图1所示，图像采集设备111用于采集原始图像，其中，图像采集设备111可以是任意具有拍摄功能的设备，本申请实施例对此不作具体限定；图像预处理设备112可以用于进行原始图像的筛选、过滤及去畸变处理，其中，对图像进行去畸变处理的方法本申请实施例对此不作限定。
在该图像采集模块110中，还包括图像序列库113，用于存储图像序列。该图像序列可以用于模型重建模块进行三维模型的重建。
如图1所示，模型重建模块120中包括视图重建设备121，该视图重建设备121可以基于图像序列库113中维护的图像序列进行稀疏重建和稠密重建，进一步由视图融合设备得到目标三维视图。
需要说明的是，上述视图重建设备121和视图融合设备122可以作为独立的设备，也可以耦合为一个设备进行目标三维视图的重建。本申请实施例仅为一种示例性说明，本申请实施例对此不作限定。
需要说明的是，在实际的应用中，所述图像序列库113中维护的图像序列不一定都来自于图像采集设备111的采集，也有可能是从其他设备接收得到的。另外需要说明的是，视图重建设备121也不一定完全基于图像序列库113维护的图像序列进行三维视图的重建，也有可能从云端或其他地方获取图像序列进行三维视图的重建，上述描述不应该作为对本申请实施例的限定。
本申请实施例可以应用于不同的系统或设备中，如执行设备，所述执行设备可以是终端，如手机终端，平板电脑，笔记本电脑，增强现实(augmented reality，AR)AR/虚拟现实(virtual reality，VR)，车载终端等，还可以是服务器或者云端等。
值得说明的是，上述视图重建设备121可以针对不同的目标或不同的任务，基于不同的图像序列重建得到不同三维物体，从而为用户提供所需的结果。
值得注意的是，图1仅是本申请实施例提供的一种系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制。
图2示出了本申请实施例提供的一种场景结构示意图。该应用场景适用于上述系统100。
在本申请实施例中，该应用场景输入包括两个阶段，环绕物体采集的图像序列2010以及构造输入2020。其中，构造输入2020阶段通常包括SFM算法输出的稀疏重建三维点云，图像采集设备位姿和去畸变图像等。其中，图像采集设备位姿可以理解为图像采集设备环绕物体拍摄时相对于物体运动的自由度参数。
提取2D ROI阶段2030主要指利用相关算法完成去畸变图像序列上的2D ROI的提取；后续将2D ROI提取后的视点序列图像作为稠密重建1040的输入，输出深度图，通过视图融合2050将该深度图和法向图合成3D点云。
值得注意的是，上述场景仅为一种示例性说明，本申请实施例可以用于各种多视图立体重建场景中，本申请实施例对此不作限定。
为便于对本实施例进行理解，首先对本实施例所公开的一种多视图三维重建的方法进行详细介绍，本公开实施例所提供的多视图三维重建方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该多视图三维重建方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
下面结合图3描述本申请实施例的多视图三维重建方法。图3示出了本申请实施例提供的一种多视图三维重建的方法的示意性流程图。图3所示的方法300可以应用于图1所示的系统100，所述方法300可以由上述执行设备执行。可选地，方法300可以由CPU处理，也可以是其他适合用于三维立体重建的处理器，本申请实施例对此不作限定。
在本申请实施例中的多视图三维重建的场景中，图像采集设备围绕目标物体拍摄多个离散视点图像集合，该离散视点图像集合包括多个用于展示该目标物体的二维图像。该离散视点图像集合组成图像序列作为输入，经过重建模块后对应输出为该目标物业的3D图像，该3D图像可以展示该目标物体的立体图像。
其中，图像采集设备可以是任意具有拍摄功能的电子设备，例如，手机，相机，电脑等。本申请实施例对此不作限定。
应理解，目标物体可以是一个场景空间中任意一个用户想要进行三维重建的物体。
应理解，图像序列可以称为图像集合，视图集合，图像集等相似术语，本申请实施例采用图像序列为例进行说明，本申请实施例对此不作限定。
方法300包括步骤S310至步骤S330。下面对步骤S310至步骤S330进行详细说明。
S310，根据目标物体的第一图像序列、第一实例掩码、第一三维点云和图像采集设备的位姿信息确定第二三维点云。
在本申请实施例中，上述图像序列可以是图像采集设备拍摄目标物体获得的畸变图像，经过去畸变处理后可以获得去畸变图像序列，第一图像序列为该去畸变图像序列的一例，即，第一图像序列包括多幅去畸变离散视点图像。
在本申请实施例中，当前场景中包括的每一个物体可以作为一个实例，将第一图像序列逐帧输入基于训练好的示例分割模型可以实现每一个实例的分割，得到每一个实例的分割掩码，该分割掩码包括对应物体的轮廓及轮廓内的像素点。第一实例掩码包括第一图像序列中的背景物体的分割掩码和目标物体的分割掩码。获取实例掩码的途径本申请实施例不作限定。
应理解，上述背景物体为当前拍摄场景中除去目标物体以外的其他所有物体。
在本申请实施例中，第一三维点云包括根据第一图形序列输出的稀疏三维点云，该稀疏三维点云包括目标物体的稀疏点云和背景物体的稀疏三维点云。
在一种可能的实施方式中，可以利用SFM算法获取第一三维点云。
在本申请实施例中，图像采集设备的位姿信息(为了表述清晰简便，下文简称位姿信息)可以理解为图像采集设备环绕目标物体拍摄时的参数信息。该参数信息可以是自由度参数。应理解，图像采集设备在进行拍摄时，环绕目标物体进行运动，每一个图像采集设备相对于目标物体产生一个空间位置的变化关系，根据上述参数信息可以将空间位置的变化关系转换为坐标系，从而可以明确图像采集设备的运动轨迹。
在一种可能的实施方式中，可以利用SFM算法获取图像采集设备的位姿信息。
作为示例而非限定，该自由度参数可以包括3个位置向量参数和3个欧拉角参数，即，该参数信息可以包括6个自由度参数。
在本申请实施例中，根据上述第一图像序列、第一实例掩码、第一三维点云和图像采集设备的位姿信息确定第二三维点云。
在本申请实施例中，第二三维点云可以理解为目标物体的稀疏点云。
在一种可能的实施方式中，根据上述位姿信息确定目标物体的3D球形模型，该3D球形模型可以理解为一个包括目标物体的3D兴趣球。
可以理解，当图像采集设备环绕目标物体拍摄时，各图像采集设备拍摄形成的视轴会近似在物体上形成一个交汇点，以该交汇点作为球心，视轴长度作为半径，形成一个包括目标物体在内的3D兴趣球。
作为一个示例，在实际执行中，可以取第一三维点云中最大尺寸边长的0.2倍作为视轴长度，也就是半径长度，应理解，该数值为实际执行中的经验值，对本申请实施例不产生任何限定。
具体的，可以利用位姿信息对应的视轴向量拟合3D兴趣球。
进一步的，根据3D球形模型获取目标物体的2D圆形图像，该2D圆形图像可以理解为一个包括目标物体的2D兴趣圆。
可以理解，根据位姿信息将3D球形模型反向投影至2D视点图像，形成2D圆形图像。
具体的，可以利用位姿信息对应的投影矩阵将3D球形模型反向投影至第一图像序列上计算2D圆形图像。
进一步的，根据2D圆形图像移除背景物体的分割掩码，确定目标物体的分割掩码。
一种实施方式中，3D球形模型投影至2D视点图像时，当该3D球形模型的球心投影到第一实例掩码中的部分实例掩码上，就可以确定该部分实例掩码为目标物体的分割掩码，其余实例掩码为背景物体的实例掩码，即可以移除该背景物体的实例掩码。
另一种实施方式中，根据2D视点图像与第一实例掩码的重叠情况来确定目标物体的分割掩码。
作为一个示例，当所述2D圆形图像和所述第一实例掩码中包括的部分掩码重叠，则确定所述重叠的部分掩码为所属目标物体的分割掩码，移除所述不重叠的掩码。
作为又一个示例，当所述2D圆形图像和所述第一实例掩码中包括的部分掩码不重叠，则移除所述不重叠的部分掩码，确定剩余的分割掩码为所属目标物体的分割掩码，所述不重叠的部分掩码为所述背景物体的分割掩码。
最后，根据上述第一三维点云和和目标物体的分割掩码确定第二三维点云。
可以理解，根据位姿信息将第一三维点云反向投影至2D视点图像，通过2D视点图像与目标物体的分割掩码的重叠情况来确定第二三维点云。
具体的，利用位姿信息对应的投影矩阵将第一三维点云投影至第一图像序列上，根据2D投影点与目标物体的分割掩码的重叠关系来提取第二三维点云。
作为一个示例，当第一三维点云中包括的部分点云投影的2D点落在目标物体的分割掩码上，即，2D视点图像与目标物体的分割掩码重叠，则，判断该部分点云为目标物体的稀疏点云，即为第二三维点云。此时，需要移除第一三维点云中的其他点云，从而获取第二三维点云。
S320，根据第二三维点云获取2D视图区域。
在一种可能的实施方式中，根据第二三维点云和所述位姿信息获取2D凸包区域，所述2D凸包区域包括所述目标物体的外部轮廓内的2D点集，所述2D点集包括所述第二三维点云的2D投影点。
其中，2D凸包区域可以理解为目标物体的大致的最外围轮廓内的像素点点集，该外部轮廓包括的2D点集确保了目标物体的完整性。可以理解，该外部轮廓包括了目标物体的所有2D点集，也包含了一部分背景物体的2D点集。
具体的，根据位姿信息将第二三维点云反向投影至2D视点图像，根据2D视点图像确定2D凸包区域。
进一步的，对所述2D凸包区域进行边缘检测，获取2D扩展点集，所述边缘检测用于根据边缘点集移除所述2D凸包区域中包括的所述背景物体的稀疏点云，所述2D扩展点集包括所述2D点集和所述边缘点集。根据所述2D扩展点集获取所述目标物体的2D视图区域。
可以理解，2D凸包区域并非精确的目标物体的轮廓，因此通过对该3D凸包区域进行边缘检测，获取目标物体精准的边缘点集，从而获取2D扩展点集，可以理解，该2D扩展点集包括2D点集和边缘点集。
需要说明的是，边缘检测的目的是根据边缘点集来确定目标物体的精确轮廓，因此，需要对2D凸包区域内包括的背景物体的稀疏点云进行移除，即通过形态学操作去除该2D凸包区域内边缘点集以外的点集。可以理解，进一步的对该2D凸包区域进行了缩小，使得2D凸包区域趋于更加精准的目标物体的轮廓，得到目标物体的2D视图区域。
S330，根据2D视图区域生成第三三维点云。
在本申请实施例中，根据2D视图区域进一步进行稠密重建得到第三三维点云，该第三三维点云用于展示目标物体的三维图像。
根据本申请实施例提供的技术方案，多视图三维重建场景中，基于图像采集设备的视轴先验信息，通过获取目标物体的3DROI实现2DROI的自动化提取，进一步实现目标物体的三维重建。从而能够避免ROI错检，漏检，不完整的问题，高效的实现完整的目标物体的多视图三维重建。
图4示出了本申请实施例提供的一种多视图三维重建的方法的流程框图。图4所示的方法400可以应用于图1所示的系统100，所述方法400包括上述方法300的具体实现步骤。
方法400包括六个步骤S4010至步骤S4060。以下对各步骤的具体实现过程进行详细说明。
步骤S4010，获取图像序列。
在本申请实施例中，图像序列可以是多个图像采集设备对目标物体进行环绕拍摄获得的图像集合，可以理解，该图像集合包括多个从各个角度展示该目标物体的图像。
应理解，图像序列的获取可以是从图像采集设备直接获取，也可以是从其他设备获取的，或者是从云端或其他地方获取。本申请实施例对此不作限定。
需要说明的是，从任意途径获取图像序列，该图像序列均由多个图像采集设备环绕拍摄得到。
步骤S4020，构造输入。
输入信息中包括第一图像序列4021，第一实例分割掩码4022，第一3D点云4023，位姿信息4024。
其中，第一图像序列4021为图像序列经过去畸变处理的图像。以便于后续计算更加准确。
其中，第一实例分割掩码4022包括在一个三维重建场景中图像采集设备的拍摄镜头下的所有物体的分割掩码，具体来说，第一实例分割掩码包括目标物体和背景物体的分割掩码。
其中，第一3D点云4023包括目标物体和背景物体的稀疏点云。
其中，位姿信息4024包括图像采集设备环绕目标物体拍摄时的参数信息。
上述输入信息详细解释可以参考方法300中的步骤S310，本申请实施例在此不作赘述。
在一种可能的实施方式中，构造的输入信息可以表示为：
其中，Input表示构造的输入信息。
pointssfm表示SFM算法重建得到的第一三维点云，即，稀疏点云。
view_imgj表示第一图像序列的视点图像j，即去除畸变的视点图像。
步骤S4030，根据输入信息来确定第二3D点云。
在本申请实施例中，根据输入信息确定第二3D点云包括以下几个具体步骤：
步骤4031：根据上述位姿信息确定目标物体的3D兴趣球。
在一种可能的实施方式中，利用位姿信息对应的视轴向量拟合3D兴趣球，具体的，可以采用最小二乘法拟合出相机视轴汇聚的焦点，从而表示出该3D兴趣球。采用最小二乘法拟合出的3D兴趣球可以表示为：
其中，S(x,y,z,r)表示最小二乘法拟合出的以(x,y,z)为球心，r为半径的3D兴趣球；
LS(·)表示最小二乘拟合算法；
N表示视点图像总数，即，第一图像序列包括的视点图像的总数。
其中，x，y，z，r，N均为大于1的正整数。
步骤4032：根据上述位姿信息和3D兴趣球获取目标物体的2D兴趣圆。
在一种可能的实施方式中，根据位姿信息对应的投影矩阵将3D兴趣球反向投影至2D视点图像，形成2D兴趣圆。
步骤4033：根据2D兴趣圆移除背景物体的分割掩码。
在一种可能的实施方式中，根据2D兴趣圆移除背景物体的分割掩码，确定目标物体的分割掩码。确定的目标物体的分割掩码可以表示为：
其中，Refine(·)表示分割掩码的精修函数，可以理解为根据该函数可以实现将3D兴趣球反向投影至2D视点图像确定目标物体的分割掩码。
其中，Mj表示视点图像j上实例分割模型预测结果中的实例数量。
refined_mask表示确定的目标物体的分割掩码。
可以理解，根据上述函数可以由2D兴趣圆和
是否重叠来移除背景物体的掩码。例如，3D球形模型投影至2D视点图像得到的2D兴趣圆和第一实例掩码中的部分掩码重叠，就可以确定该重叠部分的掩码为目标物体的分割掩码，其余未重合部分的掩码为可以移除的背景物体的掩码。
步骤4034：根据第一3D点云和目标物体的分割掩码确定第二3D点云。
在一种可能的实施方式中，将第一3D点云反向投影至2D视点图像，通过2D视点图像与目标物体的分割掩码的重叠情况来确定第二三维点云。该第二3D点云可以理解为3D包围盒，确定3D包围盒可以表示为：
其中，BB(·)表示3D包围盒的计算函数，该函数可以实现将第一3D点云反向投影至2D视点图像，通过判断投影之后的2D点是否落在refined_mask来确定最终的第二3D点云。
步骤S4040，根据第二3D点云获取2D视图区域。
在本申请实施例中，根据第二3D点云获取2D视图区域包括以下几个具体步骤：
步骤S4041，提取2D凸包区域。
在一种可能的实施方式中，根据第二三维点云和所述位姿信息获取2D凸包区域，获取2D凸包区域可以表示为：
其中，CH(·)表示凸包计算函数，该函数利用视图j对应位姿参数
将第二3D点云PCroi反向投影至对应视图，进而基于2D投影点计算凸包convex_hull。
可以理解，通过2D凸包区域的提取可以获得2D点集，该2D点集可以理解为凸包区域内的所有2D点集和3D点集，具体来说，该点集包括了目标物体的所有点集，也包含了一部分背景物体的点集。
步骤S4042，确定2D扩展点集。
在本申请实施例中，对所述2D凸包区域进行边缘检测，获取边缘点集，根据该边缘点集可以明确目标物体相对精确的2D轮廓。
一种可能的实施方式中，2D扩展点集可以表示为：
其中，Edge(·)表示2D兴趣点集扩展函数，该函数对视点图像view_imgj上凸包convex_hullj内区域进行边缘检测，将边缘检测结果和2D兴趣点集取并集得到扩展的兴趣点集
可以理解，上述确定的2D扩展点集包括上述2D点集和边缘点集。
步骤S4043，形态学操作获取2D视图区域。
在本申请实施例中，边缘检测的目的是根据边缘点集来确定目标物体的精确轮廓，因此，需要对2D凸包区域内包括的背景物体的稀疏点云进行移除，即通过形态学操作去除该2D凸包区域内边缘点集以外的点集。
一种可能的实施方式中，形态学操作可以表示为：
其中，Erosion(·)表示2D ROI提取函数，该函数执行从凸包convex_hullj边界向以
确定的边界进行腐蚀操作，最终得到的/>
即为该视图上的2D ROI。
步骤S4050，根据2D视图区域获取第三3D点云。
一种可能的实施方式中，根据2D视图区域进一步进行稠密重建，获得3D点云，该稠密重建可以采用任意三维重建中稠密重建的方式，本申请实施例对此不作限定。
步骤S4060，通过视图融合完成目标物体的三维重建。
一种可能的实施方式中，将第三三维点云再进行视图融合得到最终重建图像，用于展示目标物体的三维图像。
根据本申请实施例提供的技术方案，多视图三维重建场景中，基于图像采集设备的视轴先验信息，通过获取目标物体的3D ROI实现2D ROI的自动化提取，进一步实现目标物体的三维重建。从而能够避免ROI错检，漏检，不完整的问题，高效的实现完整的目标物体的多视图三维重建。
图5示出了本申请实施例提供的一种多视图三维重建的装置的结构框图。该多视图三维重建的装置500包括：第一确定模块510，第二确定模块520，构建模块530。
其中，第一确定模块510用于根据目标物体的第一图像序列、第一实例掩码、第一三维点云和图像采集设备的位姿信息确定第二三维点云。
一种可能的实施方式中，第一确定模块510根据所述位姿信息确定所述目标物体的3D球形模型；根据所述3D球形模型获取所述目标物体的2D圆形图像；根据所述2D圆形图像移除所述背景物体的分割掩码，确定所述目标物体的分割掩码；根据所述第一三维点云和所述目标物体的分割掩码确定所述第二三维点云。
一种可能的实施方式中，第一确定模块510使用最小二乘法根据所述相机位姿信息拟合出所述3D球形模型的球心和半径，从而确定3D球形模型。
一种可能的实施方式中，第一确定模块510根据所述2D圆形图像和所述第一实例掩码的重叠情况来确定所述目标物体的分割掩码。
作为一种可选的示例，当所述2D圆形图像和所述第一实例掩码中包括的部分掩码重叠，则确定所述重叠的部分掩码为所属目标物体的分割掩码，移除所述不重叠的掩码；或者当所述2D圆形图像和所述第一实例掩码中包括的部分掩码不重叠，则移除所述不重叠的部分掩码，确定剩余的分割掩码为所属目标物体的分割掩码，所述不重叠的部分掩码为所述背景物体的分割掩码。
一种可能的实施方式中，第一确定模块510用于将所述第一三维点云投影至2D视图图像，根据所述2D视图图像与所述目标物体的分割掩码重叠的情况来确定所述第二三维点云。
作为一种可选的示例，所述第一三维点云的部分点云的2D视图图像与所述目标物体的分割掩码重叠，则确定所述重叠的所述第一三维点云的部分点云为所述第二三维点云，移除所述第一三维点云中剩余的未与所述目标物体的分割掩码重叠的点云。
其中，第二确定模块520用于根据所述第二三维点云获取2D视图区域。
一种可能的实施方式中，第二确定模块520根据所述第二三维点云和所述位姿信息获取2D凸包区域，所述2D凸包区域包括所述目标物体的外部轮廓内的2D点集，所述2D点集包括所述第二三维点云的2D投影点；对所述2D凸包区域进行边缘检测，获取2D扩展点集，所述边缘检测用于根据边缘点集移除所述2D凸包区域中包括的所述背景物体的稀疏点云，所述2D扩展点集包括所述2D点集和所述边缘点集；根据所述2D扩展点集获取所述目标物体的2D视图区域。
其中，构建模块530用于根据所述2D视图区域生成第三三维点云。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (19)
1.一种多视图三维重建的方法，其特征在于，包括：
根据目标物体的第一图像序列、第一实例掩码、第一三维点云和图像采集设备的位姿信息确定第二三维点云，其中，所述第一图像序列包括使用对所述目标物体进行环绕拍摄后进行去畸变的多幅图像，所述第一实例掩码包括所述第一图像序列中的目标物体的分割掩码和背景物体的分割掩码，所述第一三维点云包括所述第一图像序列中的目标物体的稀疏点云和背景物体的稀疏点云，所述位姿信息包括所述图像采集设备环绕所述目标物体拍摄时的参数信息，所述第二三维点云包括所述目标物体的稀疏点云；
根据所述第二三维点云获取2D视图区域，所述2D视图区域包括所述目标物体的兴趣区域；
根据所述2D视图区域生成第三三维点云，所述第三三维点云包括所述目标物体的稠密三维点云，所述稠密三维点云用于展示所述目标物体。
2.根据权利要求1所述的方法，其特征在于，所述根据目标物体的第一图像序列、第一实例掩码、第一三维点云和图像采集设备的位姿信息确定第二三维点云，包括：
根据所述位姿信息确定所述目标物体的3D球形模型；
根据所述3D球形模型获取所述目标物体的2D圆形图像；
根据所述2D圆形图像移除所述背景物体的分割掩码，确定所述目标物体的分割掩码；
根据所述第一三维点云和所述目标物体的分割掩码确定所述第二三维点云。
3.根据权利要求2所述的方法，其特征在于，根据所述位姿信息确定所述目标物体的3D球形模型，包括：
使用最小二乘法根据所述相机位姿信息拟合出所述3D球形模型的球心和半径。
4.根据权利要求2所述的方法，其特征在于，根据所述2D圆形图像移除所述背景物体的分割掩码，确定所述目标物体的分割掩码，包括：
根据所述2D圆形图像和所述第一实例掩码的重叠情况来确定所述目标物体的分割掩码，包括：
当所述2D圆形图像和所述第一实例掩码中包括的部分掩码重叠，则确定所述重叠的部分掩码为所属目标物体的分割掩码，移除所述不重叠的掩码；或者
当所述2D圆形图像和所述第一实例掩码中包括的部分掩码不重叠，则移除所述不重叠的部分掩码，确定剩余的分割掩码为所属目标物体的分割掩码，所述不重叠的部分掩码为所述背景物体的分割掩码。
5.根据权利要求2所述的方法，其特征在于，根据所述第一三维点云和所述目标物体的分割掩码确定第二三维点云，包括：
将所述第一三维点云投影至2D视图图像，根据所述2D视图图像与所述目标物体的分割掩码重叠的情况来确定所述第二三维点云，包括：
所述第一三维点云的部分点云的2D视图图像与所述目标物体的分割掩码重叠，则确定所述重叠的所述第一三维点云的部分点云为所述第二三维点云，移除所述第一三维点云中剩余的未与所述目标物体的分割掩码重叠的点云。
6.根据权利要求1所述的方法，其特征在于，所述根据所述第二三维点云获取所述2D视图区域，包括：
根据所述第二三维点云和所述位姿信息获取2D凸包区域，所述2D凸包区域包括所述目标物体的外部轮廓内的2D点集，所述2D点集包括所述第二三维点云的2D投影点；
对所述2D凸包区域进行边缘检测，获取2D扩展点集，所述边缘检测用于根据边缘点集移除所述2D凸包区域中包括的所述背景物体的稀疏点云，所述2D扩展点集包括所述2D点集和所述边缘点集；
根据所述2D扩展点集获取所述目标物体的2D视图区域。
7.根据权利要求1-6项中任一项所述的方法，其特征在于，所述图像采集设备环绕所述目标物体拍摄时的参数信息包括所述图像采集设备相对于所述目标物体运动时的自由度参数。
8.根据权利要求1-7项中任一项所述的方法，其特征在于：所述图像采集设备包括多个。
9.一种多视图三维重建的装置，其特征在于，包括：
第一确定模块，用于根据目标物体的第一图像序列、第一实例掩码、第一三维点云和图像采集设备的位姿信息确定第二三维点云，其中，所述第一图像序列包括使用对所述目标物体进行环绕拍摄后进行去畸变的多幅图像，所述第一实例掩码包括所述第一图像序列中的目标物体的分割掩码和背景物体的分割掩码，所述第一三维点云包括所述第一图像序列中的目标物体的稀疏点云和背景物体的稀疏点云，所述位姿信息包括所述图像采集设备环绕所述目标物体拍摄时的参数信息，所述第二三维点云包括所述目标物体的稀疏点云；
第二确定模块，用于根据所述第二三维点云获取2D视图区域，所述2D视图区域包括所述目标物体的兴趣区域；
构建模块，用于根据所述2D视图区域生成第三三维点云，所述第三三维点云包括所述目标物体的稠密三维点云，所述稠密三维点云用于展示所述目标物体。
10.根据权利要求9所述的多视图三维重建的装置，其特征在于，所述第一确定模块具体用于根据所述位姿信息确定所述目标物体的3D球形模型；根据所述3D球形模型获取所述目标物体的2D圆形图像；根据所述2D圆形图像移除所述背景物体的分割掩码，确定所述目标物体的分割掩码；根据所述第一三维点云和所述目标物体的分割掩码确定所述第二三维点云。
11.根据权利要求10所述的多视图三维重建的装置，其特征在于，所述第一确定模块具体用于使用最小二乘法根据所述相机位姿信息拟合出所述3D球形模型的球心和半径。
12.根据权利要求10所述的多视图三维重建的装置，其特征在于，所述第一确定模块具体用于根据所述2D圆形图像和所述第一实例掩码的重叠情况来确定所述目标物体的分割掩码，包括：当所述2D圆形图像和所述第一实例掩码中包括的部分掩码重叠，则确定所述重叠的部分掩码为所属目标物体的分割掩码，移除所述不重叠的掩码；或者当所述2D圆形图像和所述第一实例掩码中包括的部分掩码不重叠，则移除所述不重叠的部分掩码，确定剩余的分割掩码为所属目标物体的分割掩码，所述不重叠的部分掩码为所述背景物体的分割掩码。
13.根据权利要求10所述的多视图三维重建的装置，其特征在于，所述第一确定模块具体用于将所述第一三维点云投影至2D视图图像，根据所述2D视图图像与所述目标物体的分割掩码重叠的情况来确定所述第二三维点云，包括：所述第一三维点云的部分点云的2D视图图像与所述目标物体的分割掩码重叠，则确定所述重叠的所述第一三维点云的部分点云为所述第二三维点云，移除所述第一三维点云中剩余的未与所述目标物体的分割掩码重叠的点云。
14.根据权利要求9所述的多视图三维重建的装置，其特征在于，所述第二确定模块具体用于根据所述第二三维点云和所述位姿信息获取2D凸包区域，所述2D凸包区域包括所述目标物体的外部轮廓内的2D点集，所述2D点集包括所述第二三维点云的2D投影点；对所述2D凸包区域进行边缘检测，获取2D扩展点集，所述边缘检测用于根据边缘点集移除所述2D凸包区域中包括的所述背景物体的稀疏点云，所述2D扩展点集包括所述2D点集和所述边缘点集；根据所述2D扩展点集获取所述目标物体的2D视图区域。
15.根据权利要求9-14项中任一项所述的多视图三维重建的装置，其特征在于，所述图像采集设备环绕所述目标物体拍摄时的参数信息包括所述图像采集设备相对于所述目标物体运动时的自由度参数。
16.根据权利要求9-15项中任一项所述的多视图三维重建的装置，其特征在于：所述图像采集设备包括多个。
17.一种电子设备，其特征在于，包括：
处理器和存储器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述程序指令来执行权利要求1至8项中任一项所述的方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行如权利要求1至8项中任一项所述的方法。
19.一种芯片，其特征在于，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，以执行如权利要求1至8项中任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111414740.6A CN116168143A (zh) | 2021-11-25 | 2021-11-25 | 一种多视图三维重建的方法 |
| PCT/CN2022/133598 WO2023093739A1 (zh) | 2021-11-25 | 2022-11-23 | 一种多视图三维重建的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111414740.6A CN116168143A (zh) | 2021-11-25 | 2021-11-25 | 一种多视图三维重建的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116168143A true CN116168143A (zh) | 2023-05-26 |
Family
ID=86420653
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111414740.6A Pending CN116168143A (zh) | 2021-11-25 | 2021-11-25 | 一种多视图三维重建的方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN116168143A (zh) |
| WO (1) | WO2023093739A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117173463A (zh) * | 2023-08-30 | 2023-12-05 | 北京长木谷医疗科技股份有限公司 | 一种基于多分类稀疏点云的骨关节模型重建方法及装置 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116993923B (zh) * | 2023-09-22 | 2023-12-26 | 长沙能川信息科技有限公司 | 换流站三维模型制作方法、系统、计算机设备和存储介质 |
| CN117274512B (zh) * | 2023-11-23 | 2024-04-26 | 岭南现代农业科学与技术广东省实验室河源分中心 | 植物多视角图像的处理方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111145238B (zh) * | 2019-12-12 | 2023-09-22 | 中国科学院深圳先进技术研究院 | 单目内窥镜图像的三维重建方法、装置及终端设备 |
| CN113129329A (zh) * | 2019-12-31 | 2021-07-16 | 中移智行网络科技有限公司 | 基于基站目标分割构建稠密点云的方法及装置 |
| US11341719B2 (en) * | 2020-05-07 | 2022-05-24 | Toyota Research Institute, Inc. | System and method for estimating depth uncertainty for self-supervised 3D reconstruction |
| CN113192206B (zh) * | 2021-04-28 | 2023-04-07 | 华南理工大学 | 基于目标检测和背景去除的三维模型实时重建方法及装置 |
-
2021
- 2021-11-25 CN CN202111414740.6A patent/CN116168143A/zh active Pending
-
2022
- 2022-11-23 WO PCT/CN2022/133598 patent/WO2023093739A1/zh unknown
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117173463A (zh) * | 2023-08-30 | 2023-12-05 | 北京长木谷医疗科技股份有限公司 | 一种基于多分类稀疏点云的骨关节模型重建方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023093739A1 (zh) | 2023-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
| US10334168B2 (en) | Threshold determination in a RANSAC algorithm | |
| KR101666959B1 (ko) | 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법 | |
| WO2018119889A1 (zh) | 三维场景定位方法和装置 | |
| WO2017041731A1 (en) | Markerless multi-user multi-object augmented reality on mobile devices | |
| CN116168143A (zh) | 一种多视图三维重建的方法 | |
| CN111815707B (zh) | 点云确定方法、点云筛选方法、装置、计算机设备 | |
| JP7058277B2 (ja) | 再構成方法および再構成装置 | |
| JP4839237B2 (ja) | ３次元形状復元方法，３次元形状復元装置，その方法を実装した３次元形状復元プログラム及びそのプログラムを記録した記録媒体 | |
| CN112686877B (zh) | 基于双目相机的三维房屋损伤模型构建测量方法及系统 | |
| CN110276774B (zh) | 物体的绘图方法、装置、终端和计算机可读存储介质 | |
| JP5068732B2 (ja) | ３次元形状生成装置 | |
| CN112651881B (zh) | 图像合成方法、装置、设备、存储介质以及程序产品 | |
| CN115035235A (zh) | 三维重建方法及装置 | |
| KR101593316B1 (ko) | 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치 | |
| CN108028904B (zh) | 移动设备上光场增强现实/虚拟现实的方法和系统 | |
| CN115439607A (zh) | 一种三维重建方法、装置、电子设备及存储介质 | |
| EP3185212A1 (en) | Dynamic particle filter parameterization | |
| CN113256718A (zh) | 定位方法和装置、设备及存储介质 | |
| CN113361365A (zh) | 定位方法和装置、设备及存储介质 | |
| CN112150518A (zh) | 一种基于注意力机制的图像立体匹配方法及双目设备 | |
| KR101673144B1 (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
| KR20200122870A (ko) | 포토그래메트리를 이용한 고품질 3차원 공간 정보 획득 방법 | |
| KR20190029842A (ko) | 지피유 가속 컴퓨팅을 이용한 3차원 복원 클라우드 포인트 생성 방법 | |
| JP7195785B2 (ja) | ３次元形状データを生成する装置、方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |