CN114332125A - 点云重建方法、装置、电子设备和存储介质 - Google Patents
点云重建方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN114332125A CN114332125A CN202111656099.7A CN202111656099A CN114332125A CN 114332125 A CN114332125 A CN 114332125A CN 202111656099 A CN202111656099 A CN 202111656099A CN 114332125 A CN114332125 A CN 114332125A
- Authority
- CN
- China
- Prior art keywords
- image
- reconstructed
- camera
- neighborhood
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 106
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000003287 optical effect Effects 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 9
- 230000007547 defect Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 15
- 238000005457 optimization Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种点云重建方法、装置、电子设备和存储介质，其中方法包括：基于目标相机和邻域相机的位姿信息，确定目标相机的待重建图像在邻域相机的候选匹配区域内的候选图像；基于候选图像与待重建图像之间的相似度，从候选图像中确定待重建图像的配对图像；基于待重建图像和配对图像的位置信息，以及目标相机和邻域相机的位姿信息，确定待重建图像的深度信息，并基于待重建图像的深度信息进行点云重建，克服了传统方案中点云重建效果取决于相机位姿的准确度的缺陷，能够在已知点云的基础上，通过设定区域范围，可以点云层面上对场景进行划分，从而实现对特定区域的点云重建，并且还为后续的网格化操作提供了极大的便利。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种点云重建方法、装置、电子设备和存储介质。
背景技术
目前，三维相机能够重建出目标场景的三维点云，相较于常规的二维相机多了一个深度维度信息，为各种后端开发提供了额外的数据处理自由度，具有重要的应用价值。而随着3D(Three Dimension)相关产业的蓬勃发展，三维相机和三维重建技术逐渐成为计算机视觉相关领域中不可或缺的基础硬件设备和数据处理核心技术，例如，模型构建领域、深度学习领域、三维动画制作领域等。
目前的三维点云重建方案大多是在未知相机位姿的基础上进行的，而相机位姿的估算通常采用特征点匹配的方法，该方法对重建场景的要求较高，当重建场景不能满足要求时，例如，弱纹理的场景、多重复纹理的场景等，往往无法准确估算出相机位姿，又由于相机位姿对于点云的生成极为重要，进而使得点云重建效果不佳。
发明内容
本发明提供一种点云重建方法、装置、电子设备和存储介质，用以解决现有技术中点云重建效果依赖于相机位姿的准确度的缺陷。
本发明提供一种点云重建方法，包括：
基于目标相机和邻域相机的位姿信息，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像；
基于所述候选图像与所述待重建图像之间的相似度，从所述候选图像中确定所述待重建图像的配对图像；
基于所述待重建图像和所述配对图像的位置信息，以及所述目标相机和邻域相机的位姿信息，确定所述待重建图像的深度信息，并基于所述待重建图像的深度信息进行点云重建。
根据本发明提供的一种点云重建方法，所述基于目标相机和邻域相机的位姿信息，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像，包括：
基于目标相机和邻域相机的位姿信息，确定所述目标相机与所述邻域相机之间的变化矩阵；
基于所述目标相机与所述邻域相机之间的变化矩阵，确定所述目标相机的待重建图像对应射线在所述邻域相机的坐标系下的投影；
基于所述投影，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像。
根据本发明提供的一种点云重建方法，所述基于所述投影，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像，包括：
在所述投影上设置滑窗，基于所述滑窗的滑动范围，确定所述目标相机的待重建图像在所述邻域相机内的候选匹配区域，并确定所述候选匹配区域内的候选图像；
所述滑窗的尺寸基于所述目标相机的待重建图像的尺寸确定。
根据本发明提供的一种点云重建方法，所述基于所述候选图像与所述待重建图像之间的相似度，从所述候选图像中确定所述待重建图像的配对图像，包括：
基于所述候选图像和所述待重建图像的灰度信息，确定所述候选图像与所述待重建图像之间的结构相似度和/或位置相似度；
基于所述候选图像与所述待重建图像之间的结构相似度和/或位置相似度，从所述候选图像中确定所述待重建图像的配对图像。
根据本发明提供的一种点云重建方法，所述基于所述待重建图像和所述配对图像的位置信息，以及所述目标相机和邻域相机的位姿信息，确定所述待重建图像的深度信息，包括：
基于所述待重建图像和所述配对图像的位置信息，以及所述目标相机和邻域相机的位姿信息，分别确定第一夹角和第二夹角，所述第一夹角由所述目标相机的待重建图像对应射线，和所述目标相机与所述邻域相机的光心连线构成，所述第二夹角由所述邻域相机的配对图像对应射线，和所述目标相机与所述邻域相机的光心连线构成；
基于所述第一夹角和所述第二夹角，确定所述待重建图像的深度信息。
根据本发明提供的一种点云重建方法，所述基于所述第一夹角和所述第二夹角，确定所述待重建图像的深度信息，包括：
基于相对于各邻域相机及其配对图像的所述第一夹角和所述第二夹角，以及所述目标相机与各邻域相机的光心连线，确定相对于各邻域相机的配对图像的候选深度信息；
基于相对于各邻域相机的配对图像的候选深度信息，以及各邻域相机的配对图像与所述待重建图像之间的相似度，确定所述待重建图像的深度信息。
根据本发明提供的一种点云重建方法，所述基于所述待重建图像的深度信息进行点云重建，包括：
基于所述待重建图像的深度信息，确定所述目标相机的三维点云；
基于所述目标相机的三维点云，以及与世界坐标系之间的变化矩阵，确定所述目标相机在世界坐标系下的三维点云；
基于点云融合约束，对各目标相机在世界坐标系下的三维点云进行融合，得到重建点云；
所述点云融合约束包括相似度约束、可视性约束、色彩相关性约束、特定区域约束中的至少一种。
本发明还提供一种点云重建装置，包括：
候选图像确定单元，用于基于目标相机和邻域相机的位姿信息，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像；
配对图像确定单元，用于基于所述候选图像与所述待重建图像之间的相似度，从所述候选图像中确定所述待重建图像的配对图像；
点云重建单元，用于基于所述待重建图像和所述配对图像的位置信息，以及所述目标相机和邻域相机的位姿信息，确定所述待重建图像的深度信息，并基于所述待重建图像的深度信息进行点云重建。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的点云重建方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的点云重建方法的步骤。
本发明提供的点云重建方法、装置、电子设备和存储介质，根据目标相机和邻域相机的位姿信息，确定目标相机的待重建图像在邻域相机的候选匹配区域内的候选图像，并根据候选图像与待重建图像之间的相似度，从候选图像中确定待重建图像的配对图像，基于相似度的匹配方式，不同于传统方案中基于归一化互相关的得分准则，明显提升了匹配的准确率，基于待重建图像及其配对图像的位置信息，以及目标相机及其邻域相机的位姿信息，确定待重建图像的深度信息，并基于待重建图像的深度信息进行点云重建，克服了传统方案中点云重建效果取决于相机位姿的准确度的缺陷，能够在已知点云的基础上，通过设定区域范围，实现特定区域的点云重建，并且还为后续的网格化操作提供了极大的便利。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的点云重建方法的流程示意图；
图2本发明提供的目标相机及其邻域相机的相机阵列图；
图3是本发明提供的点云重建方法中步骤110的流程示意图；
图4是本发明提供的待重建图像的投影过程的示意图；
图5是本发明提供的滑窗的示意图；
图6是本发明提供的点云重建方法中步骤120的流程示意图；
图7是本发明提供的深度信息的确定过程的示意图；
图8是本发明提供的第一夹角和第二夹角的示意图；
图9是本发明提供的点云重建方法中步骤420的流程示意图；
图10是本发明提供的点云重建过程的流程示意图；
图11是本发明提供的点云重建方法的总体流程图；
图12是本发明提供的点云重建装置的结构示意图；
图13是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前的点云重建方案，大多是先通过相机位姿估算方法求得相机位姿以及稀疏点云，随后在稀疏点云的基础上求得场景的稠密点云，而常见的稠密点云重建方法有以下三种，分别为基于patch的扩散点云重建方法、基于体素的点云重建方法以及基于深度图融合的点云重建方法。
其中，基于patch的扩散点云重建方法是一种利用稀疏点云的扩散求得稠密点云的方法，即在估算相机位姿的基础上，利用SFM(Structure From Motion，运动恢复结构)求出稀疏点云，并进行扩散后求得场景的稠密点云。
基于体素的点云重建方法是一种生成规则点云的传统方法，其能够生成规则的点云，便于提取物体的平面，但是，其精度受到空间划分分辨率的影响，并且难以处理精度高、规模大的场景。
基于深度图融合的点云重建方法是通过SFM求得相机位姿，通过一定规则选取稀疏点云，在选取出的稀疏点云的基础上进行深度估计，对每个种子点进行非线性优化，其应用场景广泛，适用于复杂物体的稠密点云重建。
但是，上述三种点云重建方案的点云重建过程均依赖于SFM求得的相机位姿和稀疏点云，即点云重建效果取决于SFM求得的相机位姿以及稀疏点云的精度，而相机位姿的估算通常采用的是特征点匹配的方法，该方法对重建场景的要求较高，当重建场景不能满足要求时，例如，弱纹理的场景、多重复纹理的场景等，往往无法准确估算出准确的相机位姿，进而导致点云重建效果不佳；并且，当下进行点云重建的方法大多是对输入图像进行mask操作，而这一操作不可避免的会丢失输入图像的信息。
针对上述情况，本发明提供一种点云重建方法，旨在于点云层面上对场景进行划分，实现特定区域的点云重建，图1是本发明提供的点云重建方法的流程示意图，如图1所示，该方法包括：
步骤110，基于目标相机和邻域相机的位姿信息，确定目标相机的待重建图像在邻域相机的候选匹配区域内的候选图像。
具体地，本发明实施例中提供的三维点云重构方法，首先执行步骤110，通过标定板对相机阵列进行标定，从相机阵列中确定目标相机及其位姿信息，并利用目标相机的位姿信息和几何信息约束快速确定目标相机的搜索区域，从而确定搜索区域内的相机以及相机的位姿信息，该相机即为目标相机的邻域相机；需要说明的是，此处的位姿信息不仅包括对应相机的位置信息，还包括姿态信息，即对应相机的俯仰姿态、拍摄视角等。
另外，此处的邻域相机可以是一个也可以是多个，图2本发明提供的目标相机及其邻域相机的相机阵列图，如图2所示，为了更加精确的进行点云重建，本发明实施例中将邻域相机的个数确定为4。其中，A表示目标相机，B、C、D和E分别为目标相机A的邻域相机。
随后，即可根据目标相机及其邻域相机的位姿信息，确定目标相机的待重建图像在其邻域相机的候选匹配区域以及该候选匹配区域内的候选图像，具体过程可以是，先以目标相机和邻域相机的位姿信息为参考，标注目标相机和邻域相机之间的投影矩阵，即变化矩阵，然后，以此变化矩阵为基准，将目标相机的待重建图像投影至其邻域相机的坐标系下，并确定投影所在区域即候选匹配区域，以及该候选匹配区域内的候选图像。
步骤120，基于候选图像与待重建图像之间的相似度，从候选图像中确定待重建图像的配对图像。
具体地，经过步骤110确定目标相机的待重建图像在其邻域相机的候选匹配区域内的候选图像后，执行步骤120，根据图像匹配策略，确定待重建图像的配对图像，即根据候选图像与待重建图像之间的相似度，从候选图像中确定待重建图像的配对图像，这一过程具体包括如下步骤：
首先，确定候选匹配区域内各候选图像与待重建图像之间的相似度，此处的相似度可以是位置相似度和/或结构相似度，并且可以根据候选图像以及待重建图像的灰度信息确定；
随即，可根据候选图像与待重建图像之间的相似度，确定候选匹配区域内各候选图像与待重建图像之间的匹配得分，此匹配得分用于表示对应候选图像与待重建图像之间的相近程度，匹配得分越高表明对应候选图像与待重建图像之间的相似度越高，该候选图像是目标相机的待重建图像在其邻域相机的配对图像的可能性越大；反之，匹配得分越低表明对应候选图像与待重建图像之间的相似度越低，该候选图像越不可能是目标相机的待重建图像在其邻域相机的配对图像；
此后，即可基于各候选图像的匹配得分，从候选匹配区域内的各候选图像中，确定与目标相机的待重建图像最相近的图像，即目标相机的待重建图像在其邻域相机的配对图像，具体可以是，对各候选图像的匹配得分进行排序，从中确定最高匹配得分以及该匹配得分对应的候选图像，该候选图像即为待重建图像的配对图像。
步骤130，基于待重建图像和配对图像的位置信息，以及目标相机和邻域相机的位姿信息，确定待重建图像的深度信息，并基于待重建图像的深度信息进行点云重建。
具体地，经过步骤120确定待重建图像的配对图像后，即可执行步骤130，根据待重建图像及其配对图像的位置信息，以及目标相机及其邻域相机的位姿信息，确定待重建图像的深度信息，并根据待重建图像的深度信息进行点云重建，具体过程包括如下步骤：
首先，经过步骤120确定待重建图像的配对图像后，即可确定配对图像在邻域相机内的位置信息，除此之外，还需确定待重建图像在目标相机内的位置信息；
随后，根据待重建图像及其配对图像的位置信息，以及目标相机及其邻域相机的位姿信息，确定待重建图像的配对图像的候选深度信息，并基于配对图像的候选深度信息，确定目标相机的待重建图像的深度信息；
此后，即可对各个目标相机的待重建图像的深度信息进行融合，并根据融合后的深度信息进行点云重建，实现了以相机位姿为输入，通过图像匹配策略以及待重建图像的深度信息的点云重建，即能够在已知点云的基础上，通过设定区域范围可以在点云层面上对场景进行划分，从而实现特定区域的点云重建。
本发明提供的点云重建方法，根据目标相机和邻域相机的位姿信息，确定目标相机的待重建图像在邻域相机的候选匹配区域内的候选图像，并根据候选图像与待重建图像之间的相似度，从候选图像中确定待重建图像的配对图像，基于相似度的匹配方式，不同于传统方案中基于归一化互相关的得分准则，明显提升了匹配的准确率，基于待重建图像及其配对图像的位置信息，以及目标相机及其邻域相机的位姿信息，确定待重建图像的深度信息，并基于待重建图像的深度信息进行点云重建，克服了传统方案中点云重建效果取决于相机位姿的准确度的缺陷，能够在已知点云的基础上，通过设定区域范围，实现特定区域的点云重建，并且还为后续的网格化操作提供了极大的便利。
基于上述实施例，图3是本发明提供的点云重建方法中步骤110的流程示意图，如图3所示，步骤110包括：
步骤111，基于目标相机和邻域相机的位姿信息，确定目标相机与邻域相机之间的变化矩阵；
步骤112，基于目标相机与邻域相机之间的变化矩阵，确定目标相机的待重建图像对应射线在邻域相机的坐标系下的投影；
步骤113，基于投影，确定目标相机的待重建图像在邻域相机的候选匹配区域内的候选图像。
具体地，步骤110中，根据目标相机和邻域相机的位姿信息，确定目标相机的待重建图像在邻域相机的候选匹配区域内的候选图像的过程，可以分为以下三个步骤：
步骤111，首先，确定目标相机及其邻域相机的位姿信息，上文已对这一过程进行详细说明，此处不再赘述；然后，根据目标相机及其邻域相机的位姿信息，标注目标相机和邻域相机之间的变化矩阵，此处的变化矩阵亦可以理解为目标相机的待重建图像投影至邻域相机的坐标系下的投影矩阵。
步骤112，根据步骤111中确定的目标相机和邻域相机之间的变化矩阵，对目标相机的待重建图像进行投影，将其投影至邻域相机的坐标系中，从而得到目标相机的待重建图像对应射线在邻域相机的坐标系下的投影。
下面以目标相机A和单一邻域相机B为例，对待重建图像的投影过程进行说明：
图4是本发明提供的待重建图像的投影过程的示意图，如图4所示，根据目标相机A和邻域相机B之间的变化矩阵，将目标相机A的待重建图像P投影至邻域相机B的坐标系下，得到以目标相机A的光心OA为端点，且经过待重建图像P的射线在邻域相机B的坐标系下的投影P1 P2。
步骤113，经过步骤112确定目标相机的待重建图像对应射线在邻域相机的坐标系下的投影后，即可确定该投影所在区域，并将该区域作为目标相机的待重建图像在邻域相机内的候选匹配区域，此后，即可确定候选匹配区域内的候选图像。
本发明实施例提供的方法，通过对目标相机的待重建图像进行投影，根据投影确定候选匹配区域，基于投影的匹配定位方法极大地提升了匹配速率，避免了大量的匹配筛选工作，不仅推进了点云重建任务的进程，还为点云重建任务提供了关键性的助益。
基于上述实施例，目标相机的待重建图像对应射线在邻域相机的坐标系下的投影可通过如下公式计算得到：
其中，
表示目标相机A和邻域相机B之间的变化矩阵，KB表示邻域相机B的内参矩阵，(xA，yA，zA)表示以目标相机A的光心OA为端点，且经过待重建图像P的射线上的点，(uB，vB)表示(xA，yA，zA)在邻域相机B的坐标系下的投影，fx、fy、cx、cy、
以及
均为目标相机及其邻域相机的位姿信息中的参量。
基于上述实施例，步骤113包括：
在投影上设置滑窗，基于滑窗的滑动范围，确定目标相机的待重建图像在邻域相机内的候选匹配区域，并确定候选匹配区域内的候选图像；
滑窗的尺寸基于目标相机的待重建图像的尺寸确定。
具体地，步骤113中，在确定目标相机的待重建图像在邻域相机的候选匹配区域内的候选图像时，可以在步骤112中得到的目标相机的待重建图像对应射线在邻域相机的坐标系下的投影上设置滑窗，并使滑窗沿着投影进行滑动，确定滑窗滑动时的覆盖范围，此覆盖范围即为滑窗的滑动范围，通过此滑动范围即可确定目标相机的待重建图像在邻域相机内的候选匹配区域，确切的说，可以是直接将此滑动范围作为候选匹配区域，也可以是在此滑动范围的基础上进行进一步的筛选，将筛选后的滑动范围作为候选匹配区域；此后，即可确定候选匹配区域内的候选图像。
需要说明的是，滑窗的尺寸大小决定着候选匹配区域的大小，更进一步地，决定着候选匹配区域的精准与否；尺寸太大，会得到较多的候选图形，从而使得后续的图像匹配过程需耗费大量的时间精力；相应地，尺寸太小，则会漏掉部分候选图像，容易出现未将与待重建图像最相近的图像囊括进候选图像中的情况，进而导致后续的图像匹配出现偏差，匹配得到的配对图像并不是最接近于待重建图像的候选图像，据此种种可知，若需确定适宜的候选匹配区域，则滑窗的尺寸需以待重建图像的尺寸为基准确定，可以是待重建图像尺寸的两倍、三倍、四倍等，图5是本发明提供的滑窗的示意图，如图5所示，本发明实施例中将滑窗的尺寸(15×15像素)确定为待重建图像的尺寸(5×5像素)的三倍，图中F1表示候选图像。
本发明实施例提供的方法，在投影上建立滑窗，通过滑窗的滑动范围确定目标相机的待重建图像在邻域相机内的候选匹配区域，从而可以确定该候选匹配区域内的候选图像，不仅提升了图像匹配的速率，还能够较好的保证图像匹配的准确率，实现了速度和准确性的兼顾。
基于上述实施例，图6是本发明提供的点云重建方法中步骤620的流程示意图，如图6所示，步骤120包括：
步骤121，基于候选图像和待重建图像的灰度信息，确定候选图像与待重建图像之间的结构相似度和/或位置相似度；
步骤122，基于候选图像与待重建图像之间的结构相似度和/或位置相似度，从候选图像中确定待重建图像的配对图像。
具体地，步骤120中，根据候选图像与待重建图像之间的相似度，从候选图像中确定待重建图像的配对图像的过程，可以分为以下两个步骤：
步骤121，首先根据目标相机的待重建图像的灰度信息，以及邻域相机的候选图像的灰度信息，计算候选匹配区域内各候选图像与待重建图像之间的结构相似度和/或位置相似度，结构相似度能够表征对应候选图像与待重建图像两者在结构上的相近程度，例如，当两者均为三角形，或者正方形时，可以初步确定两者的结构相似度较高；位置相似度用于表征对应候选图像在邻域相机内的位置，与待重建图像在目标相机内的位置的相似程度，例如，两者均位于各自相机的左上角或右下角，则可以初步确定两者的位置相似度较高。
步骤122，根据步骤121中得到的结构相似度，或者位置相似度，确定候选匹配区域内各候选图像的匹配得分，此匹配得分用于表示对应候选图像与待重建图像之间的相近程度，匹配得分越高表明对应候选图像与待重建图像之间的相似度越高，该候选图像是目标相机的待重建图像在其邻域相机的配对图像的可能性越大；反之，匹配得分越低表明对应候选图像与待重建图像之间的相似度越低，该候选图像越不可能是目标相机的待重建图像在其邻域相机的配对图像。
进一步地，可根据各候选图像的匹配得分，从候选匹配区域内的各候选图像中，确定目标相机的待重建图像在其邻域相机的配对图像，即按照匹配得分从高到底或从低到高的顺序对各候选图像进行排序，从中确定最高匹配得分以及该匹配得分对应的候选图像，该候选图像即为待重建图像的配对图像。
除此之外，步骤122中，还可以结合位置相似度和结构相似度，共同确定候选图像与待重建图像之间的匹配得分，基于多个层面的相似度确定的匹配得分能够更加精准的表征对应候选图像与待重建图像之间的相近程度，提高了图像匹配的精度，并为配对图像的确定提供了强有力的保障。
本发明实施例提供的方法，通过候选图像与待重建图像之间的位置相似度和/或结构相似度，从候选图像中确定配对图像的过程，不同于传统方案中基于NCC(NormalizedCross Correlation，归一化互相关)类的匹配方式，位置相似度和/或结构相似度的引入，不仅能够更加精确的分析两者配对的可靠性，还能够保证两者配对的准确率。
基于上述实施例，候选图像与待重建图像之间的位置相似度，结构相似度，以及候选图像与待重建图像之间的匹配得分可通过如下公式计算得到：
其中，候选图像与待重建图像之间的位置相似度的计算公式如下式所示：
其中，P表示待重建图像，F1表示候选匹配区域内的候选图像，Pi表示待重建图像中第i个像素点的灰度信息，
表示候选图像中第i个像素点的灰度信息，dist(P，F1)表示候选图像与待重建图像之间的位置相似度，25指代的是像素点(5×5)。
候选图像与待重建图像之间的结构相似度的计算公式可以表示为：
其中，sim(P，F1)表示候选图像与待重建图像之间的结构相似度。
候选图像与待重建图像之间的匹配得分的计算公式如下式所示：
其中，scale(P，F1)表示候选图像与待重建图像之间的匹配得分。
基于上述实施例，图7是本发明提供的深度信息的确定过程的示意图，如图7所示，步骤130中，基于待重建图像和配对图像的位置信息，以及目标相机和邻域相机的位姿信息，确定待重建图像的深度信息，包括：
步骤710，基于待重建图像和配对图像的位置信息，以及目标相机和邻域相机的位姿信息，分别确定第一夹角和第二夹角，第一夹角由目标相机的待重建图像对应射线，和目标相机与邻域相机的光心连线构成，第二夹角由邻域相机的配对图像对应射线，和目标相机与邻域相机的光心连线构成；
步骤720，基于第一夹角和第二夹角，确定待重建图像的深度信息。
具体地，步骤130中，根据待重建图像及其配对图像的位置信息，以及目标相机及其邻域相机的位姿信息，确定待重建图像的深度信息的过程，具体包括如下步骤：
首先，执行步骤710，确定待重建图像在目标相机内的位置信息，以及待重建图像的配对图像在邻域相机的位置信息，并基于此两者的位置信息，以及目标相机及其邻域相机的位姿信息，确定目标相机的待重建图像对应射线，与目标相机和邻域相机的光心连线之间的第一夹角，以及邻域相机的配对图像对应射线，与目标相机和邻域相机的光心连线之间的第二夹角；
下面以目标相机A和单一邻域相机B为例，对第一夹角和第二夹角的确定过程进行说明：
图8是本发明提供的第一夹角和第二夹角的示意图，如图8所示，可根据待重建图像P和配对图像FB的位置信息，以及目标相机A和邻域相机B的位姿信息，确定目标相机A的待重建图像P对应射线OAP，与目标相机A和邻域相机B的光心连线OA OB之间的第一夹角αAB，以及邻域相机B的配对图像FB对应射线OBFB，与目标相机A和邻域相机B的光心连线OAOB之间的第二夹角βAB。
随后，即可执行步骤720，根据第一夹角和第二夹角，计算待重建图像的配对图像的候选深度信息，即图8中的OAdB，并据此候选深度信息，确定待重建图像的深度信息。需要说明的是，在这一过程中，还可结合配对图像与待重建图像之间的相似度，以及配对图像的深度信息，共同确定待重建图像的深度信息，以实现基于此深度信息的点云重建。
本发明实施例提供的方法，在已知相机位姿的基础上，通过待重建图像和配对图像的位置信息，可快速求得第一夹角和第二夹角，通过快速三角化的方法，可以高效求得配对图像的候选深度信息，以及待重建图像的深度信息，较之传统方案中的复杂三角测量算法，本发明实施例提供的快速三角化的方法，能够在提升测算速率的同时，保证测算结果的准确率。
基于上述实施例，图9是本发明提供的点云重建方法中步骤420的流程示意图，如图9所示，步骤720包括：
步骤721，基于相对于各邻域相机及其配对图像的第一夹角和第二夹角，以及目标相机与各邻域相机的光心连线，确定相对于各邻域相机的配对图像的候选深度信息；
步骤722，基于相对于各邻域相机的配对图像的候选深度信息，以及各邻域相机的配对图像与待重建图像之间的相似度，确定待重建图像的深度信息。
具体地，步骤720中，根据第一夹角和第二夹角，确定待重建图像的深度信息的过程，可以分为以下两个步骤：
步骤721，在经过前述步骤，确定了单一邻域相机及其配对图像的第一夹角和第二夹角后，可重复上述过程，以确定相对于目标相机的各个邻域相机及其配对图像的第一夹角和第二夹角；随后，即可根据相对于各邻域相机及其配对图像的第一夹角和第二夹角，以及目标相机与各邻域相机的光心连线，计算相对于各邻域相机的配对图像的候选深度信息。
步骤722，经过前述步骤，确定了单一邻域相机的配对图像与待重建图像之间的相似度后，可重复相似度的确定过程，以确定各邻域相机的配对图像与待重建图像之间的相似度；此后，即可根据各邻域相机的配对图像与待重建图像之间的相似度，以及步骤721中得到的相对于各领域相机的配对图像的候选深度信息，加权求出待重建图像的深度信息。
本发明实施例提供的方法，通过快速三角化的方法求出相对于各邻域相机及其配对图像的第一夹角和第二夹角后，可以快速确定相对于各邻域相机的配对图像的候选深度信息，并对相对于各邻域相机的配对图像的候选深度信息和各邻域相机的配对图像与待重建图像之间的相似度进行加权，高效求出待重建图像的深度信息，结合多方面的候选深度信息确定的待重建图像的深度信息的信息包含度更广，概括性更强，为基于此深度信息的点云重建过程提供了强有力的支撑。
基于上述实施例，各邻域相机的配对图像的候选深度信息，以及待重建图像的计算公式如下式所示：
其中，邻域相机B的配对图像FB的候选深度信息可通过如下公式计算得到：
其中，depthB和OAdB表示邻域相机B的配对图像FB的候选深度信息，OAOB表示目标相机A和邻域相机B的光心连线，αAB表示目标相机A的待重建图像P对应射线OAP与OAOB之间的第一夹角，βAB表示邻域相机B的配对图像FB对应射线OBFB与OAOB之间的第二夹角。
邻域相机C的配对图像FC的候选深度信息可通过如下公式计算得到：
其中，depthC和OAdC表示邻域相机C的配对图像FC的候选深度信息，OAOC表示目标相机A和邻域相机C的光心连线，αAC表示目标相机A的待重建图像P对应射线OAP与OAOC之间的第一夹角，βAC表示邻域相机C的配对图像FC对应射线OCFC与OAOC之间的第二夹角。
邻域相机D的配对图像FD的候选深度信息可通过如下公式计算得到：
其中，depthD和OAdD表示邻域相机D的配对图像FD的候选深度信息，OAOD表示目标相机A和邻域相机D的光心连线，αAD表示目标相机A的待重建图像P对应射线OAP与OAOD之间的第一夹角，βAD表示邻域相机D的配对图像FD对应射线ODFD与OAOD之间的第二夹角。
邻域相机E的配对图像FE的候选深度信息可通过如下公式计算得到：
其中，depthE和OAdE表示邻域相机E的配对图像FE的候选深度信息，OAOE表示目标相机A和邻域相机E的光心连线，αAE表示目标相机A的待重建图像P对应射线OAP与OAOE之间的第一夹角，βAE表示邻域相机E的配对图像FE对应射线OEFE与OAOE之间的第二夹角。
待重建图像P的深度信息可通过如下公式计算得到：
其中，depth表示待重建图像P的深度信息，scaleB表示邻域相机B的配对图像FB与待重建图像P之间的配对得分，scaleC表示邻域相机C的配对图像FC与待重建图像P之间的配对得分，scaleD表示邻域相机D的配对图像FD与待重建图像P之间的配对得分，scaleE表示邻域相机E的配对图像FE与待重建图像P之间的配对得分。
基于上述实施例，图10是本发明提供的点云重建过程的流程示意图，如图10所示，步骤130中，基于待重建图像的深度信息进行点云重建，包括：
步骤1010，基于待重建图像的深度信息，确定目标相机的三维点云；
步骤1020，基于目标相机的三维点云，以及与世界坐标系之间的变化矩阵，确定目标相机在世界坐标系下的三维点云；
步骤1030，基于点云融合约束，对各目标相机在世界坐标系下的三维点云进行融合，得到重建点云；点云融合约束包括相似度约束、可视性约束、色彩相关性约束、特定区域约束中的至少一种。
具体地，步骤130中，根据待重建图像的深度信息进行点云重建的过程，实质上是对各目标相机的待重建图像的深度信息进行融合，并根据融合后的深度信息进行点云重建的过程，具体包括如下步骤：
首先，执行步骤1010，以待重建图像的深度信息为基准，确定目标相机的三维点云；
随即，执行步骤1020，根据目标相机的位姿信息，确定目标相机到世界坐标系的变化矩阵，然后据此变化矩阵，将目标相机的三维点云，转换为在世界坐标系下的三维点云，在得到单个目标相机在世界坐标系下的三维点云后，可重复上述过程，以确定各个目标相机在世界坐标系下的三维点云；
此后，即可执行步骤1030，对各个目标相机在世界坐标系下的三维点云进行融合，融合即可得到点云重建后的重建点云，需要说明的是，各个目标相机的三维点云融合还需符合点云融合约束，即需以点云融合约束为基准，对各个目标相机在世界坐标系下的三维点云进行融合，此处的点云融合约束包括相似度约束、可视性约束以及色彩相关性约束、特定区域约束中的一种或多种。
点云融合约束中，相似度约束：
由于计算得到的目标相机的待重建图像的深度信息不可避免的会存在一定的误差，因而在对各目标相机在世界坐标系下的三维点云进行融合时，可以以待重建图像与各邻域相机的配对图像之间的相似度为参考，即在三维空间中，若某个点的约定阈值范围内存在其他点，从这部分点的匹配得分中选取最大匹配得分对应的点，并将该点的深度信息作为目标相机的待重建图像的深度信息。
可视性约束：
若某个点在约定阈值范围之外，但是，其投影至任一邻域相机时会穿过其他各点，则将该点视为不可见点，并将其删除。
色彩相关性约束：
在将该点投影至可见相机中时，在每一可见相机中均利用二次线性插值，计算该点在各个可见相机中的RGB值，并计算各个RGB值之间的相关性CNCC(Color NormalizedCross Correlation，色彩归一化互相关)，据此色彩相关性进行点云融合。
特定区域约束：
在对各个目标相机在世界坐标系下的三维点云进行融合后，还需通过区域选取模块对特定区域(指定区域)的稠密点云进行估计，以减少背景部分对网格重建的影响，从而为后续网格重建任务的效率的提升提供了助益。
本发明实施例提供的方法，依据点云融合约束，对各个目标相机在世界坐标系下的三维点云进行融合，在深度融合过程中引入了CNCC，利用RGB信息对深度融合进行约束，并且通过特定区域约束可以提高后续网格重建的效率。
基于上述实施例，目标相机在世界坐标系下的三维点云，以及CNCC的计算公式如下式所示：
其中，目标相机在世界坐标系下的三维点云可通过如下公式计算得到：
其中，
表示目标相机A与世界坐标系之间的变化矩阵，
表不目标相机A的三维点云，Xw表示目标相机A在世界坐标系下的三维点云。
CNCC的计算公式如下式所示：
其中，Pi表示可见相机中的第i个可见相机，Pj表示可见相机中的第j个可见相机，
表示可见相机中两两个可见相机进行排列组合的组合数量，NNC表示归一化互相关，CNNC表示各个RGB值之间的相关性。
基于上述实施例，步骤130中，基于待重建图像和配对图像的位置信息，以及目标相机和邻域相机的位姿信息，确定待重建图像的深度信息，之后还包括：
确定待重建图像的中心像素点的三维坐标；
基于中心像素点的三维坐标，确定待重建图像中的各像素点的三维坐标；
基于各像素点的三维坐标，确定各像素点在邻域相机的坐标系下的投影点；
基于各投影点的三维坐标以及各视角的颜色尺度，构建深度优化策略，并基于深度优化策略，对待重建图像的深度信息进行校准。
具体地，步骤130中，在根据待重建图像和配对图像的位置信息，以及目标相机和邻域相机的位姿信息，确定待重建图像的深度信息后，根据待重建图像的深度信息进行点云重建之前，还可以构建深度优化策略，对待重建图像的深度信息进行校准，以使后续基于待重建图像的深度信息的点云重建任务的精度更高，点云重建效果更佳。
深度信息校准过程具体包括如下步骤：
首先，确定待重建图像的中心像素点的三维坐标；
随即，根据待重建图像的中心像素点的三维坐标，计算待重建图像中的各个像素点的三维坐标；
随后，根据目标相机与邻域相机之间的变化矩阵，将待重建图像中的各个像素点投影至邻域相机的坐标系中，并确定各个像素点在邻域相机的坐标系下的投影点；
此后，即可根据各个投影的三维坐标，以及各个邻域相机所处视角的颜色尺度，构造深度优化策略，并据此深度优化策略对待重建图像的深度信息进行优化校准。
本发明实施例中，提出了一种逐像素的深度计算模式，利用中心像素校准深度信息，实现对待重建图像的深度信息的快速微调，并且，微调范围小、准确度高；除此之外，将深度估计提升为逐个像素的估计，为后续深度信息的融合过程提供了优良的深度值。
基于上述实施例，待重建图像的中心像素点的三维坐标，待重建图像中的各像素点的三维坐标以及深度优化策略(深度优化函数)的计算公式如下式所示：
其中，待重建图像的中心像素点的三维坐标可通过如下公式计算得到：
其中，OA目标相机A的光心，depth表示目标相机A的待重建图像的深度信息，
表示表示目标相机A的成像光心到待重建图像的方向向量，X表示待重建图像的中心像素点的三维坐标。
待重建图像中的各像素点的三维坐标的计算公式如下式所示：
其中，hs和ht分别表示待重建图像的法向量在成像平面的两个分量，X(i，j)表示待重建图像中的各像素点的三维坐标。
深度优化策略(深度优化函数)可通过如下公式进行表示：
IA(i，j)＝ck*Ik(Pk(X(i，j)))
其中，IA(i，j)表示待重建图像中的各像素点在各邻域相机的坐标系下的投影点的三维坐标的RGB值，ck表示邻域相机所处视角k的颜色尺度，Ik(i，j)表示视角k下各投影点的三维坐标的RGB值，Pk表示视角k下待重建图像与各邻域相机之间的变化矩阵，E表示深度优化函数。
图11是本发明提供的点云重建方法的总体流程图，如图11所示，该方法包括：
步骤1111，基于目标相机和邻域相机的位姿信息，确定目标相机与邻域相机之间的变化矩阵；
步骤1112，基于目标相机与邻域相机之间的变化矩阵，确定目标相机的待重建图像对应射线在邻域相机的坐标系下的投影；
步骤1113，在投影上设置滑窗，基于滑窗的滑动范围，确定目标相机的待重建图像在邻域相机内的候选匹配区域，并确定候选匹配区域内的候选图像；滑窗的尺寸基于目标相机的待重建图像的尺寸确定；
步骤1121，基于候选图像和待重建图像的灰度信息，确定候选图像与待重建图像之间的结构相似度和/或位置相似度；
步骤1122，基于候选图像与待重建图像之间的结构相似度和/或位置相似度，从候选图像中确定待重建图像的配对图像；
步骤1131，基于待重建图像和配对图像的位置信息，以及目标相机和邻域相机的位姿信息，分别确定第一夹角和第二夹角，第一夹角由目标相机的待重建图像对应射线，和目标相机与邻域相机的光心连线构成，第二夹角由邻域相机的配对图像对应射线，和目标相机与邻域相机的光心连线构成；
步骤1132，基于相对于各邻域相机及其配对图像的第一夹角和第二夹角，以及目标相机与各邻域相机的光心连线，确定相对于各邻域相机的配对图像的候选深度信息；
步骤1133，基于相对于各邻域相机的配对图像的候选深度信息，以及各邻域相机的配对图像与待重建图像之间的相似度，确定待重建图像的深度信息；
步骤1134，基于待重建图像的深度信息，确定目标相机的三维点云；
步骤1135，基于目标相机的三维点云，以及与世界坐标系之间的变化矩阵，确定目标相机在世界坐标系下的三维点云；
步骤1136，基于点云融合约束，对各目标相机在世界坐标系下的三维点云进行融合，得到重建点云，点云融合约束包括相似度约束、可视性约束、色彩相关性约束、特定区域约束中的至少一种。
本发明提供的点云重建方法，仅需以相机位姿作为输入，通过图像匹配策略，即可确定目标相机的待重建图像的深度信息，在此基础上对各目标相机的待重建图像的深度信息进行融合，并基于融合后的深度信息进行点云重建，即在已知点云的基础上，通过设定区域范围，可以在点云层面上对场景进行划分，实现对特定区域的点云重建。
下面对本发明提供的点云重建装置进行描述，下文描述的点云重建装置与上文描述的点云重建方法可相互对应参照。
图12是本发明提供的点云重建装置的结构示意图，如图12所示，该装置包括：
候选图像确定单元1210，用于基于目标相机和邻域相机的位姿信息，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像；
配对图像确定单元1220，用于基于所述候选图像与所述待重建图像之间的相似度，从所述候选图像中确定所述待重建图像的配对图像；
点云重建单元1230，用于基于所述待重建图像和所述配对图像的位置信息，以及所述目标相机和邻域相机的位姿信息，确定所述待重建图像的深度信息，并基于所述待重建图像的深度信息进行点云重建。
本发明提供的点云重建装置，根据目标相机和邻域相机的位姿信息，确定目标相机的待重建图像在邻域相机的候选匹配区域内的候选图像，并根据候选图像与待重建图像之间的相似度，从候选图像中确定待重建图像的配对图像，基于相似度的匹配方式，不同于传统方案中基于归一化互相关的得分准则，明显提升了匹配的准确率，基于待重建图像及其配对图像的位置信息，以及目标相机及其邻域相机的位姿信息，确定待重建图像的深度信息，并基于待重建图像的深度信息进行点云重建，克服了传统方案中点云重建效果取决于相机位姿的准确度的缺陷，能够在已知点云的基础上，通过设定区域范围，实现特定区域的点云重建，并且还为后续的网格化操作提供了极大的便利。
基于上述实施例，候选图像确定单元1210用于：
基于目标相机和邻域相机的位姿信息，确定所述目标相机与所述邻域相机之间的变化矩阵；
基于所述目标相机与所述邻域相机之间的变化矩阵，确定所述目标相机的待重建图像对应射线在所述邻域相机的坐标系下的投影；
基于所述投影，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像。
基于上述实施例，候选图像确定单元1210用于：
在所述投影上设置滑窗，基于所述滑窗的滑动范围，确定所述目标相机的待重建图像在所述邻域相机内的候选匹配区域，并确定所述候选匹配区域内的候选图像；
所述滑窗的尺寸基于所述目标相机的待重建图像的尺寸确定。
基于上述实施例，配对图像确定单元1220用于：
基于所述候选图像和所述待重建图像的灰度信息，确定所述候选图像与所述待重建图像之间的结构相似度和/或位置相似度；
基于所述候选图像与所述待重建图像之间的结构相似度和/或位置相似度，从所述候选图像中确定所述待重建图像的配对图像。
基于上述实施例，所述装置还包括深度信息确定单元，用于：
基于所述待重建图像和所述配对图像的位置信息，以及所述目标相机和邻域相机的位姿信息，分别确定第一夹角和第二夹角，所述第一夹角由所述目标相机的待重建图像对应射线，和所述目标相机与所述邻域相机的光心连线构成，所述第二夹角由所述邻域相机的配对图像对应射线，和所述目标相机与所述邻域相机的光心连线构成；
基于所述第一夹角和所述第二夹角，确定所述待重建图像的深度信息。
基于上述实施例，深度信息确定单元用于：
基于相对于各邻域相机及其配对图像的所述第一夹角和所述第二夹角，以及所述目标相机与各邻域相机的光心连线，确定相对于各邻域相机的配对图像的候选深度信息；
基于相对于各邻域相机的配对图像的候选深度信息，以及各邻域相机的配对图像与所述待重建图像之间的相似度，确定所述待重建图像的深度信息。
基于上述实施例，点云重建单元1230用于：
基于所述待重建图像的深度信息，确定所述目标相机的三维点云；
基于所述目标相机的三维点云，以及与世界坐标系之间的变化矩阵，确定所述目标相机在世界坐标系下的三维点云；
基于点云融合约束，对各目标相机在世界坐标系下的三维点云进行融合，得到重建点云；
所述点云融合约束包括相似度约束、可视性约束、色彩相关性约束、特定区域约束中的至少一种。
基于上述实施例，所述装置还包括深度信息校准单元，用于：
确定所述待重建图像的中心像素点的三维坐标；
基于所述中心像素点的三维坐标，确定所述待重建图像中的各像素点的三维坐标；
基于所述各像素点的三维坐标，确定所述各像素点在所述邻域相机的坐标系下的投影点；
基于各投影点的三维坐标以及各视角的颜色尺度，构建深度优化策略，并基于所述深度优化策略，对所述待重建图像的深度信息进行校准。
图13示例了一种电子设备的实体结构示意图，如图13所示，该电子设备可以包括：处理器(processor)1310、通信接口(Communications Interface)1320、存储器(memory)1330和通信总线1340，其中，处理器1310，通信接口1320，存储器1330通过通信总线1340完成相互间的通信。处理器1310可以调用存储器1330中的逻辑指令，以执行点云重建方法，该方法包括：基于目标相机和邻域相机的位姿信息，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像；基于所述候选图像与所述待重建图像之间的相似度，从所述候选图像中确定所述待重建图像的配对图像；基于所述待重建图像和所述配对图像的位置信息，以及所述目标相机和邻域相机的位姿信息，确定所述待重建图像的深度信息，并基于所述待重建图像的深度信息进行点云重建。
此外，上述的存储器1330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的点云重建方法，该方法包括：基于目标相机和邻域相机的位姿信息，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像；基于所述候选图像与所述待重建图像之间的相似度，从所述候选图像中确定所述待重建图像的配对图像；基于所述待重建图像和所述配对图像的位置信息，以及所述目标相机和邻域相机的位姿信息，确定所述待重建图像的深度信息，并基于所述待重建图像的深度信息进行点云重建。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法所提供的点云重建方法，该方法包括：基于目标相机和邻域相机的位姿信息，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像；基于所述候选图像与所述待重建图像之间的相似度，从所述候选图像中确定所述待重建图像的配对图像；基于所述待重建图像和所述配对图像的位置信息，以及所述目标相机和邻域相机的位姿信息，确定所述待重建图像的深度信息，并基于所述待重建图像的深度信息进行点云重建。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种点云重建方法，其特征在于，包括：
基于目标相机和邻域相机的位姿信息，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像；
基于所述候选图像与所述待重建图像之间的相似度，从所述候选图像中确定所述待重建图像的配对图像；
基于所述待重建图像和所述配对图像的位置信息，以及所述目标相机和邻域相机的位姿信息，确定所述待重建图像的深度信息，并基于所述待重建图像的深度信息进行点云重建。
2.根据权利要求1所述的点云重建方法，其特征在于，所述基于目标相机和邻域相机的位姿信息，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像，包括：
基于目标相机和邻域相机的位姿信息，确定所述目标相机与所述邻域相机之间的变化矩阵；
基于所述目标相机与所述邻域相机之间的变化矩阵，确定所述目标相机的待重建图像对应射线在所述邻域相机的坐标系下的投影；
基于所述投影，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像。
3.根据权利要求2所述的点云重建方法，其特征在于，所述基于所述投影，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像，包括：
在所述投影上设置滑窗，基于所述滑窗的滑动范围，确定所述目标相机的待重建图像在所述邻域相机内的候选匹配区域，并确定所述候选匹配区域内的候选图像；
所述滑窗的尺寸基于所述目标相机的待重建图像的尺寸确定。
4.根据权利要求1所述的点云重建方法，其特征在于，所述基于所述候选图像与所述待重建图像之间的相似度，从所述候选图像中确定所述待重建图像的配对图像，包括：
基于所述候选图像和所述待重建图像的灰度信息，确定所述候选图像与所述待重建图像之间的结构相似度和/或位置相似度；
基于所述候选图像与所述待重建图像之间的结构相似度和/或位置相似度，从所述候选图像中确定所述待重建图像的配对图像。
5.根据权利要求1至4中任一项所述的点云重建方法，其特征在于，所述基于所述待重建图像和所述配对图像的位置信息，以及所述目标相机和邻域相机的位姿信息，确定所述待重建图像的深度信息，包括：
基于所述待重建图像和所述配对图像的位置信息，以及所述目标相机和邻域相机的位姿信息，分别确定第一夹角和第二夹角，所述第一夹角由所述目标相机的待重建图像对应射线，和所述目标相机与所述邻域相机的光心连线构成，所述第二夹角由所述邻域相机的配对图像对应射线，和所述目标相机与所述邻域相机的光心连线构成；
基于所述第一夹角和所述第二夹角，确定所述待重建图像的深度信息。
6.根据权利要求5所述的点云重建方法，其特征在于，所述基于所述第一夹角和所述第二夹角，确定所述待重建图像的深度信息，包括：
基于相对于各邻域相机及其配对图像的所述第一夹角和所述第二夹角，以及所述目标相机与各邻域相机的光心连线，确定相对于各邻域相机的配对图像的候选深度信息；
基于相对于各邻域相机的配对图像的候选深度信息，以及各邻域相机的配对图像与所述待重建图像之间的相似度，确定所述待重建图像的深度信息。
7.根据权利要求1至4中任一项所述的点云重建方法，其特征在于，所述基于所述待重建图像的深度信息进行点云重建，包括：
基于所述待重建图像的深度信息，确定所述目标相机的三维点云；
基于所述目标相机的三维点云，以及与世界坐标系之间的变化矩阵，确定所述目标相机在世界坐标系下的三维点云；
基于点云融合约束，对各目标相机在世界坐标系下的三维点云进行融合，得到重建点云；
所述点云融合约束包括相似度约束、可视性约束、色彩相关性约束、特定区域约束中的至少一种。
8.一种点云重建装置，其特征在于，包括：
候选图像确定单元，用于基于目标相机和邻域相机的位姿信息，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像；
配对图像确定单元，用于基于所述候选图像与所述待重建图像之间的相似度，从所述候选图像中确定所述待重建图像的配对图像；
点云重建单元，用于基于所述待重建图像和所述配对图像的位置信息，以及所述目标相机和邻域相机的位姿信息，确定所述待重建图像的深度信息，并基于所述待重建图像的深度信息进行点云重建。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述的点云重建方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的点云重建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111656099.7A CN114332125A (zh) | 2021-12-30 | 2021-12-30 | 点云重建方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111656099.7A CN114332125A (zh) | 2021-12-30 | 2021-12-30 | 点云重建方法、装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114332125A true CN114332125A (zh) | 2022-04-12 |
Family
ID=81018625
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111656099.7A Pending CN114332125A (zh) | 2021-12-30 | 2021-12-30 | 点云重建方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114332125A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393533A (zh) * | 2022-10-27 | 2022-11-25 | 科大讯飞股份有限公司 | 一种三维点云构建方法、装置、电子设备及存储介质 |
| CN115937546A (zh) * | 2022-11-30 | 2023-04-07 | 北京百度网讯科技有限公司 | 图像匹配、三维图像重建方法、装置、电子设备以及介质 |
| CN116310224A (zh) * | 2023-05-09 | 2023-06-23 | 小视科技(江苏)股份有限公司 | 一种快速目标三维重建方法及装置 |
-
2021
- 2021-12-30 CN CN202111656099.7A patent/CN114332125A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393533A (zh) * | 2022-10-27 | 2022-11-25 | 科大讯飞股份有限公司 | 一种三维点云构建方法、装置、电子设备及存储介质 |
| CN115393533B (zh) * | 2022-10-27 | 2023-05-30 | 科大讯飞股份有限公司 | 一种三维点云构建方法、装置、电子设备及存储介质 |
| CN115937546A (zh) * | 2022-11-30 | 2023-04-07 | 北京百度网讯科技有限公司 | 图像匹配、三维图像重建方法、装置、电子设备以及介质 |
| CN116310224A (zh) * | 2023-05-09 | 2023-06-23 | 小视科技(江苏)股份有限公司 | 一种快速目标三维重建方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108510573B (zh) | 一种基于深度学习的多视点人脸三维模型重建的方法 | |
| CN109683699B (zh) | 基于深度学习实现增强现实的方法、装置及移动终端 | |
| CN114332125A (zh) | 点云重建方法、装置、电子设备和存储介质 | |
| CN109754459B (zh) | 一种用于构建人体三维模型的方法及系统 | |
| CN106340036A (zh) | 一种基于双目立体视觉的立体匹配方法 | |
| CN106934827A (zh) | 三维场景的重建方法和装置 | |
| CN109640066B (zh) | 高精度稠密深度图像的生成方法和装置 | |
| CN110853151A (zh) | 一种基于视频的三维立体点集恢复方法 | |
| JP7116262B2 (ja) | 画像深度推定方法および装置、電子機器、ならびに記憶媒体 | |
| US9147279B1 (en) | Systems and methods for merging textures | |
| CN113361365B (zh) | 定位方法和装置、设备及存储介质 | |
| CN113362457B (zh) | 一种基于散斑结构光的立体视觉测量方法及系统 | |
| Tao et al. | Stereo priori RCNN based car detection on point level for autonomous driving | |
| CN109658497B (zh) | 一种三维模型重建方法及装置 | |
| CN113643366B (zh) | 一种多视角三维对象姿态估计方法及装置 | |
| CN114494589A (zh) | 三维重建方法、装置、电子设备和计算机可读存储介质 | |
| CN114782628A (zh) | 基于深度相机的室内实时三维重建方法 | |
| CN114996814A (zh) | 一种基于深度学习与三维重建的家具设计系统 | |
| CN112243518A (zh) | 获取深度图的方法、装置及计算机存储介质 | |
| CN115222889A (zh) | 基于多视图图像的3d重建方法、装置及相关设备 | |
| CN117726747A (zh) | 补全弱纹理场景的三维重建方法、装置、存储介质和设备 | |
| CN115100382B (zh) | 一种基于混合表征的神经表面重建系统及方法 | |
| CN115761116A (zh) | 一种基于单目相机的透视投影下三维人脸重建方法 | |
| CN112258635B (zh) | 基于改进双目匹配sad算法的三维重建方法及装置 | |
| Wu et al. | Joint view synthesis and disparity refinement for stereo matching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |