CN110223383A - 一种基于深度图修补的植物三维重建方法及系统 - Google Patents
一种基于深度图修补的植物三维重建方法及系统 Download PDFInfo
- Publication number
- CN110223383A CN110223383A CN201910521425.XA CN201910521425A CN110223383A CN 110223383 A CN110223383 A CN 110223383A CN 201910521425 A CN201910521425 A CN 201910521425A CN 110223383 A CN110223383 A CN 110223383A
- Authority
- CN
- China
- Prior art keywords
- view
- point
- depth map
- matching
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000001914 filtration Methods 0.000 claims abstract description 51
- 239000011159 matrix material Substances 0.000 claims description 75
- 230000008569 process Effects 0.000 claims description 26
- 230000002146 bilateral effect Effects 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000012163 sequencing technique Methods 0.000 claims 1
- 230000004927 fusion Effects 0.000 abstract description 6
- 230000008439 repair process Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008635 plant growth Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度图修补的植物三维重建方法及系统。该方法包括：得到多幅视图；获取每幅视图对应的深度图，记为第一深度图；修补第一深度图中的空洞区域，并利用超像素块标签信息动态调整修补算法中滤波窗口的大小；对修补后的第一深度图进行滤波处理，获得第二深度图；对第二深度图进行融合处理，得到植物稠密点云模型；利用表面重建算法，从稠密点云模型中提取出植物三维表面，完成植物三维模型的重建。该方法操作简单、成本低廉；利用超像素块边界信息，动态调整滤波窗口大小，使得不属于同一深度区域的像素不参与滤波计算，减少误差的出现，使得植物稠密点云更加密集，最终重建的植物模型更加精确完整。
Description
技术领域
本发明涉及三维重建领域，特别是涉及一种基于深度图修补的植物三维重建方法及系统。
背景技术
植物建模在农业指导、虚拟景观、古树名木保护等方面有着广泛应用，而如何快速低成本地对植物模型进行重建是计算机视觉领域中亟待解决的难题。基于深度图生成的多视图三维重建是植物建模的常用手段，但由于植物生长环境复杂，树干树叶纹理重复，植物枝条较细，且目前立体匹配算法的鲁棒性不足等原因，通常难以生成精确完整的深度图，导致深度图融合得到的植物模型存在大量噪声和空洞等残缺。
基于多视图的植物重建方法是一种通过计算机视觉和三维重建等技术，将来自同一场景中不同视角的多张植物图像恢复成该植物三维模型的方法。其中，基于深度图生成的方法是多视图三维重建的重要方法之一，该方法利用不同视角的物体图像，基于立体视觉原理计算出图像对应的深度图，并通过深度图融合生成物体三维模型。
基于深度图生成的植物建模算法依赖于植物深度图进行模型重建，所以植物深度图的质量对三维重建的最终效果有着至关重要的作用。深度图是一种三维场景信息表达方式，其值表示拍摄相机到物体的距离。然而，由于复杂环境的影响以及计算过程出现的误差，再加上植物纹理的单一重复性，以及树干枝条较细等特征，计算得到的植物深度图中往往存在着诸如图像空洞、噪声等深度信息缺失的问题，如果直接将计算得到的深度图进行重建，则会导致三维模型信息的缺失。
图像滤波是深度图修补的主要手段。传统的高斯滤波、中值滤波方法虽然可以减少图像噪声，但会导致深度边界信息模糊。双边滤波结合了空域信息和灰度相似性，使得图像修补技术取得了较大的进步，但不能很好的保留物体边界的信息。联合双边滤波算法，在双边滤波算法的基础上加入了彩色图作为引导图，使得灰度值相似度因子和空间临近因子的获取更为精确，虽然联合双边滤波算法解决了边界模糊问题，但准确性依然欠佳。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种基于深度图修补的植物三维重建方法及系统。
为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种基于深度图修补的植物三维重建方法，包括：
步骤S1，利用拍摄单元在不同视角下对至少一株植物的全部或部分进行拍摄，得到多幅视图；
步骤S2，获取每幅视图对应的深度图，记为第一深度图，具体的：
利用多幅视图获取植物稀疏点云模型和每幅视图的相机参数；所述相机参数包括相机内部参数和相机外部参数；基于稀疏点云模型、相机参数和多幅视图获得每幅视图对应的深度图，记为第一深度图；
步骤S3，修补第一深度图中的空洞区域，并利用超像素块标签信息动态调整修补算法中滤波窗口的大小；
步骤S4，判断是否完成所有第一深度图的空洞修补，若未完成，按照步骤S3对其他第一深度图的空洞进行修补；若完成，对修补后的第一深度图进行滤波处理，获得第二深度图，执行步骤S5；
步骤S5，对第二深度图进行融合处理，得到植物稠密点云模型；
步骤S6，利用表面重建算法，从稠密点云模型中提取出植物三维表面，完成植物三维模型的重建。
上述技术方案的有益效果为：针对植物建模中存在的问题，提出了一种基于深度图修补的植物三维重建方法，该方法操作简单、成本低廉，无需人工干预即可在较短时间内重建出植物三维模型；利用超像素块边界信息，动态调整滤波窗口大小，使得不属于同一深度区域的像素不参与滤波计算，减少误差的出现，使得滤波修补后的深度图更加精确完整，弥补植物深度图生成算法计算出的深度图质量不佳的缺点，使得植物稠密点云更加密集，最终重建的植物模型更加精确完整。
为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种植物三维重建系统，包括处理器和图像提供单元，所述处理器从图像提供单元中获取在不同视角下对至少一株植物的全部或部分进行拍摄得到的多幅视图，并按照本发明所述的基于深度图修补的植物三维重建方法对所述多幅视图进行处理，重建植物的三维模型。
上述技术方案的有益效果为：该系统在植物三维重建中，利用超像素块边界信息，动态调整滤波窗口大小，使得不属于同一深度区域的像素不参与滤波计算，减少误差的出现，使得滤波修补后的深度图更加精确完整，弥补植物深度图生成算法计算出的深度图质量不佳的缺点，使得植物稠密点云更加密集，最终重建的植物模型更加精确完整。该系统该方法操作简单、成本低廉，无需人工干预即可在较短时间内重建出植物三维模型。
附图说明
图1是本发明一具体实施方式中基于深度图修补的植物三维重建方法的流程示意图；
图2是本发明一具体实施方式中深度信息冗余的示意图；
图3是本发明一具体实施方式中增量重建流程图；
图4是本发明一具体实施方式中第一深度图获取方法的流程示意图；
图5是本发明一具体实施方式中第二深度图空洞修补的滤波窗口示意图，其中，图5(a)为待修补空洞的第二深度图，图5(b)为与图5(a)对应的超像素标签图，图5(c)为实际滤波窗口示意图；
图6是本发明一具体实施方式中修补策略流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
本发明公开了一种基于深度图修补的植物三维重建方法，在一种优选实施方式中，该方法的流程示意图如图1所示，具体包括：
步骤S1，利用拍摄单元在不同视角下对至少一株植物的全部或部分进行拍摄，得到多幅视图；
步骤S2，获取每幅视图对应的深度图，记为第一深度图，具体的：
利用多幅视图获取植物稀疏点云模型和每幅视图的相机参数；相机参数包括相机内部参数和相机外部参数；基于稀疏点云模型、相机参数和多幅视图获得每幅视图对应的深度图，记为第一深度图；
步骤S3，修补第一深度图中的空洞区域，并利用超像素块标签信息动态调整修补算法中滤波窗口的大小；
步骤S4，判断是否完成所有第一深度图的空洞修补，若未完成，按照步骤S3对其他第一深度图的空洞进行修补；若完成，对修补后的第一深度图进行滤波处理，获得第二深度图，执行步骤S5；
步骤S5，对第二深度图进行融合处理，得到植物稠密点云模型；
步骤S6，利用表面重建算法，从稠密点云模型中提取出植物三维表面，完成植物三维模型的重建。
在本实施方式中，优选的，以同一场景下植物的不同角度的拍摄照片作为本方法的整体输入，在步骤S1中，多幅视图是在同一场景下进行拍摄的，因此可认为相机内部参数一致，同一场景至少包含光照一致、时间接近、同一拍摄单元进行拍摄等情况。
在本实施方式中，优选但不限于为通过SFM算法从多幅视图中获取植物稀疏点云模型和和每幅视图的相机参数。相机运动恢复场景结构(Structure from Motion，简称SfM)算法，基于前两节介绍的相机模型和对极几何理论，利用一系列无序的视图重构出物体的三维结构，得到稀疏点云，同时估算出相机的参数。
在本实施方式中，优选但不限于基于多视图立体视觉(Multi-View Stereo，简称MVS)算法通过基于稀疏点云模型、相机参数和多幅视图获得每幅视图对应的深度图，即第一深度图。经SfM算法得到的是稀疏点云，对于重建三维模型远远不够，而MVS算法则几乎是对图像的每个像素点进行匹配，因此可以得到能满足重建需要的密集点云。MVS算法的理论依据在于多幅图像间重叠像素部分存在极线几何约束关系，将视图和对应的相机参数作为输入，利用对极几何在极线上匹配更多的像素点，从而计算出稠密的点云。
在本实施方式中，优选但不限于采用基于方向的联合双边滤波(DirectionalJoint Bilateral Filter，简称DJBF)算法修补处于边界的空洞点和局部基于方向的联合双边滤波算法(Partial Directional Joint Bilateral Filter，简称PDJBF)算法修补非边界区域的空洞点相结合的方法对第一深度图中的空洞区域进行修补。
在本实施方式中，优选的，利用超像素块标签信息动态调整修补算法中滤波窗口的大小；优选的，要求滤波窗口内的像素点与待修补空洞点属于同一超像素块，同一像素块具有相同或相近的深度信息，使得不属于同一深度区域的像素不参与滤波计算，减少误差的出现。
在本实施方式中，要得到植物三维模型，需要通过第二深度图融合得到稠密点云，再进行表面重建得到最终结果。要计算稠密三维点云，首先需要删除冗余，因为多个视图之间必然包含了重复的像素点，需要删除冗余信息，保留置信度较高的深度信息，然后再进行第二深度图融合，将第二深度图反投影到三维空间中，得到稠密的点云。
在本实施方式中，图2展示了深度信息冗余的示意图，DR表示参考视图R'所对应的深度图，DK表示其邻域视图K所对应的深度图，对于DR上某点q，假设在邻域深度图中都是可见的，用qk表示q在DK上所对应的位置，Ok表示视图K所对应的相机中心，通过相机模型原理，根据投影矩阵PK可以将点q反投影到三维空间中，得到对应的三维点PK(q)。因此，假如像素点在多个视图中都是可以见的，并且计算出的结果存在误差，那么恢复出的三维点可能就会出现冗余。
因此本文使用了一种基于置信度的方法来去除冗余的点云。我们用DR(q)表示视图R所对应的深度图中位置q的深度值，CR(q)表示对应的置信度，我们只需要比较点q和它对应的邻域匹配点qk的置信度，找到置信度最大的点，保留该点的结果，将其余结果抛弃即可。
利用公式找到使得置信度最大的索引z的过程，选取该索引所对应的深度图上的qKz，该点即作为深度图融合后的结果，注意qKz有可能为参考视图本身的像素q。
遍历每个像素点进行融合，待冗余信息都删除之后，将剩下所有的像素点通过投影矩阵和其对应的深度值反投影到三维空间中，便得到第二深度图融合后的稠密点云，即第二深度图融合后的结果。
在本实施方式中，要得到更加逼真的植物三维模型，还需要对稠密点云进行表面重建。对三维重建效果起决定性作用的稠密点云的质量，本质上也就是第二深度图的质量，表面重建只是将从三维点云恢复其立体表面，从而得到完整的三维模型，展现其细节与纹理，另外，表面重建算法发展至今也已经非常成熟，相关科研人员对三维重建的研究也着重将精力投入到三维点云的计算过程中。因此，本文直接引用了Fuhrmann等人提出的连续尺度表面重建(Floating Scale Surface Reconstruction，简称FSSR)算法进行表面重建，FSSR方法通过立方体(Marching Cubes)算法提取等值面得到重建曲面。
在本发明的一种优选实施方式中，利用多幅视图获取植物稀疏点云模型和每幅视图的相机参数的过程包括：
步骤S21，对每幅视图进行特征点检测获取至少一个特征点；具体为：
因为输入的图像千变万化，每幅图像之间的差异也是很大的，因此特征点的检测需要对某些变化具有不变形，如图像的尺度、旋转、噪声和光照变化等，以增强匹配过程的鲁棒性和稳定性。本发明优选采用尺度不变特征变换(Scale-Invariant FeatureTransform，简称SIFT)算法进行特征点检测，特征点获得128维的描述算子。
步骤S22，先通过最近邻/次近邻匹配算法对视图之间的特征点进行匹配，获得两两视图之间的匹配点对；具体的为：
对每幅图像进行特征点检测后，接下来将特征点在图像对之间匹配以形成一组特征点轨迹。由于两个图像中的对应点受到相机模型的极线约束的影响，因此根据这些约束以来可以消除许多错误的对应关系。然后将匹配的结果组合并在几个视图上展开后将产生一个特征点轨迹，代表一个三维点分别在每幅图像中出现的位置。特征点匹配本质上是特征点特征向量相似度的计算。
最近邻/次近邻匹配算法的思想是对于p1，选择最近邻匹配特征点p21和次近邻的匹配特征点p22，二者距离的比值如果超过给定的阈值则过滤掉，否则将p21作为正确的匹配点。
步骤S23，设置构建植物稀疏点云模型的第一图像集，选取匹配点对数量最多的两幅视图，分别记为第一视图和第二视图，将第一视图和第二视图加入第一图像集；
基于第一视图和第二视图的匹配点对进行相机姿态估计获得第二视图的相机外部参数，进行三角化处理获得第一点云集，将第一点云集加入稀疏点云集合；
步骤S24，在剩余视图中选取出与第一图像集中视图的匹配点对数量最多的一幅视图，记为第三视图；
步骤S25，基于第三视图与第一图像集中视图的匹配点对进行相机姿态估计获得第三视图的相机外部参数，进行三角化处理获得第二点云集；
将第二点云集加入稀疏点云集合；
步骤S26，通过集束调整，对稀疏点云集合进行优化处理；
步骤S27，重复步骤S24到步骤S26，直到所有视图都加入到第一图像集，获得由稀疏点云集合构成的植物稀疏点云模型和每幅视图的相机外部参数；所述相机内部参数可通过相机标定或从视图存储信息中获得。
在本实施方式中，采用了增量式SfM进行重建，其算法流程图如图3所示，其思想是首先选取匹配点对数量最多的两幅图像作为初始化图像，然后进行姿态估计与三角化得到初始点云，接下来进行增量的重建，也就是依次将每一张图像添加到重建场景中，直到所有的图片被加入到重建场景中来，就能得到每幅图像的相机参数与植物模型的稀疏点云。增量式SfM与全局式和混合式SfM算法相比，具有更高的鲁棒性，重建出的场景结构更加准确。
在本实施方式中，优选的，第一点云集和第二点云集均可通过如下的三角化处理以获得，具体包括:
步骤100，设P1和P2分别表示两幅视图的投影矩阵，P1＝K1[R1|t1]，P2＝K2[R2|t2]，其中，K1和K2分别为两幅视图的内部参数矩阵，[R1|t1]和[R2|t2]分别为两幅视图的相机外部参数构成的外部参数矩阵；对于一个三维点X，设在两幅视图中相互匹配且与点X对应的投影点分别为x1和x2，存在如下关系:
其中，λ1和λ2分别为三维点X在两幅视图中的深度的倒数，A'为6×6矩阵，对A'进行奇异值分解，求解得到三维点X的空间坐标；
步骤200，按照步骤100求取两幅视图中其他匹配点对对应的三维点的空间坐标，获得点云集。
在本实施方式中，三角化目的是通过两幅图像中的两个匹配点以及投影矩阵恢复其三维空间中的位置。对两幅图像之间的所有匹配点进行三角化便能得到三维空间中对应的坐标，形成部分点云。
在本发明的一种优选实施方式中，基于两幅视图的匹配点对进行相机姿态估计获得相机外部参数的过程包括：
步骤S201，设在所有视图中与视图I1的特征点匹配对数量最多的视图为I2，点p和点q分别代表三维点P在图像I1和图像I2上的投影点，设投影点p的齐次坐标形式为(px,py,1)，投影点q的齐次坐标形式为(qx,qy,1)；
步骤S202，求解图像I2的基础矩阵F：
不可忽略的是这些匹配点对中必然包含了错误的匹配点对，为避免选择到错误点对使得F的求解精度不高，本实施方式中如下算法来增强基础矩阵F求解的鲁棒性，具体为：
步骤S2021，从视图I1和视图I2之间的匹配点对中随机选出8对匹配点对；
步骤S2022，将8对匹配点对的齐次坐标代入公式Af＝0中，对矩阵A做奇异值分解，得到A＝UDVT，
其中，设矩阵A为a×b阶矩阵，矩阵U为a×a阶正交矩阵，为奇异值中的左奇异向量；矩阵D为a×b阶对角矩阵且矩阵D对角线上元素等于矩阵A的奇异值；矩阵V为b×b阶正交矩阵，为奇异值中的右奇异向量；n为匹配点对数目，这里n＝8；px 1和py 1分别为第1对匹配点对中在视图I1的投影点的x轴和y轴坐标，qx 1和qy 1分别为第1对匹配点对中在视图I2的投影点的x轴和y轴坐标，px n和py n分别为第n对匹配点对中在视图I1的投影点的x轴和y轴坐标，qx n和qy n分别为第n对匹配点对中在视图I2的投影点的x轴和y轴坐标；f＝[f1 f2 f3 f4 f5 f6 f7 f8 f9]；VT矩阵的最后一行即是方程的解，进而得到基础矩阵
步骤S2023，基于步骤S2022中得到的基础矩阵F，判断图像I1和图像I2中除了选取的8对匹配点对以外的其他匹配点对p'和q'是否满足p'Fq'＝0，若满足，认为匹配点对p'和q'符合F，若不满足，认为匹配点对p'和q'不符合F，统计符合F的匹配点对数量，记为N；
步骤S2024，重复步骤S2021至步骤S2023共M次，即进行M次随机抽样计算M个不同的F和N；M为预设值，可根据经验设定。步骤S2025,基于M个N中选取数值最大者，从最大值对应的符合F的匹配点对中选取8个匹配点对，再次按照步骤S2022中方法计算获得基础矩阵F并将其作为图像I2的基础矩阵；
步骤S203，基于基础矩阵F求解图像I2的本征矩阵E，获得相机外部参数的过程为：
本征矩阵E和基础矩阵F满足：
其中，K2和K1分别为图像I2和图像I1的相机内部参数矩阵；
对本征矩阵E进行奇异值分解：
其中，U'和V'为三阶矩阵，U'和V'的列分别为奇异值中的左和右奇异向量；
获得图像I2的相机外部参数R和t：
其中，相机的旋转矩阵R＝U'WV'T,相机的位移向量t＝u；u为矩阵U'的第三列。
在本实施方式中，相机姿态估计是多视图三维重建的一个重要步骤。相机参数包含了相机内参和相机外参，现代化相机拍摄时通常将内参信息存于照片的EXIF信息中，另外也可以通过相机标定得到，其中最经典的方法是张氏标定法，而相机的外参信息则需要通过相机姿态估计得到。
在本实施方式中，基础矩阵F的详细求解过程为：
根据对极几何理论，点p和点q之间存在如下关系：
pTF3×3q＝0，设投影点p的齐次坐标形式为(px,py,1)，投影点q的齐次坐标形式为(qx,qy,1)，带入上式得到：
其中，F为图像I2的基础矩阵，且设在两幅视图上共有n对匹配点，将上述公式转换为向量形式，得到：
Af＝0；
其中，f＝[f1 f2 f3f4 f5 f6 f7 f8 f9]，对矩阵A做奇异值分解，得到基础矩阵F；
将基础矩阵F求解问题转换成一个齐次线性方程组的求解问题。利用8点法来求解，当两幅图像之间的匹配点数达到8对时，即n＝8，我们将8对匹配点代入求解。
在本发明的一种优选实施方式中，步骤S26包括：
步骤S261，设第一图像集中有m张视图，设这m张图像对应的投影矩阵集合为P＝{Pi|i＝1,2,3,...,m}；设稀疏点云集合为X＝{Xj|j＝1,2,3,...,n'}，其中n'表示稀疏点云集合中的点云数量；
步骤S262，将稀疏点云集合中的三维点根据每幅视图的投影矩阵重新投影到每幅视图上，建立重投影误差目标函数：
其中，表示三维点Xj在第i幅图像上的原始坐标点；Pi(Xj)则表示三维点Xj在第i张图像上的重新投影后的坐标点；表示三维点的可见性，用1和0来分别表示三维点Xj在第i幅图像中的可见和不可见；表示原始坐标点与重新投影后的坐标点Pi(Xj)的欧式距离；
步骤S263，采用迭代算法求解重投影误差目标函数的最小值，将重投影误差目标函数的最小值对应的三维点坐标作为集束调整后的点云三维坐标。
在本实施方式中，理想情况下通过上述步骤得到的点云和相机姿态是精确的，但受多种因素的影响，如摄像头存在畸变、特征点误匹配等，直接求解出的结果很难保证准确性，并且随着增量重建过程中图像不断加入到重建场景中，误差将逐渐累积，影响下一次的相机参数的估计。针对此问题，需要通过集束调整(Bundle Adjustment)对相机矩阵和点云模型进行优化。
在本实施方式中，集约调整通常采用迭代优化算法求解目标函数最小值。如高斯牛顿法、最速下降法、Levenberg-Marquard(LM)算法等，其中LM算法具有易于实现和快速收敛的特点，因此，优选的，选取LM算法求解该优化过程。
在本发明的一种优选实施方式中，在步骤S2中，基于稀疏点云模型、相机参数和多幅视图获得每幅视图对应的第一深度图的方法包括：
步骤A，从所有视图中选取一幅视图作为参考视图；
步骤B，构建全局视图集合，具体包括：
步骤B1，对于每幅参考视图，选取一组包含N'张相邻视图的集合作为候选邻域；
步骤B2，计算候选邻域中每个视图的全局评分函数gR值，全局评分函数gR为：
其中，V'代表候选邻域中的视图；FV'为视图V'中的一组特征点集合；FR'为参考视图R'中的一组特征点集合；f'三维空间特征点，且f'∈FV'∩FR'；权重函数wN'(f')为：α代表候选邻域中视图Vi'和视图Vj'到三维空间中特征点f'的视线之间的角度，即视差角度，αmax为预设值，优选的，设置为10度；权重函数ws(f')为：
SV'(f')表示在三维空间中以特征点f'为中心的球体的直径，所述球体在视图V'上投影的直径等于视图V'中的像素间距，SR(f')表示在三维空间中以特征点f'为中心的球体的直径，所述球体在参考视图R'上投影的直径等于参考视图R'中的像素间距；
步骤B3，根据候选邻域中视图的全局评分函数gR值的高低排序，选取前10幅视图构建全局视图集合N”；
步骤C，从全局视图集合N中进行局部视图选择，选出候选匹配集A，具体包括：
步骤C1，定义局部评分函数lR，并求取全局视图集合N”中每个视图的局部评分函数lR值；
其中，γ代表全局视图集合N”中视图V'和视图V”的外极线之间的角度；γmax为预设值，如预设为10度；
步骤C2，设置零均值归一化互相关分数阈值；按照全局视图集合N”中视图的局部评分函数lR值的高低顺序，依次计算参考视图R'中指定像素窗口内像素与全局视图集合N”中视图V'中相应窗口内像素的零均值归一化互相关分数，若零均值归一化互相关分数大于零均值归一化互相关分数阈值，零均值归一化互相关分数阈值的取值范围为0.01-0.5，优选为0.3，且候选匹配集A”中视图数量未达到预设数量，预设数量可为经验值，将视图V添加到候选匹配集A”中，否则将视图V'标记为拒绝；将重新添加新的视图，同时被拒绝的视图在之后的计算中不会被重新考虑，所以算法执行会非常快。
步骤D，利用参考视图的特征点初始化优先级队列Q；
步骤E，基于区域增长的立体匹配方法对初始化优先级队列Q中的初始像素点进行空间匹配，将初始像素点的邻域像素点作为新的候选元素添加进优先级队列Q中，根据匹配结果的置信度进行优先级排序，更新优先级队列Q；
在进行立体匹配时，首先选取一个初始像素点，要求该像素点有初始的深度值以及法线方向，同时为了实现区域增长的立体匹配，我们设计了一个初始化优先级队列Q，当对初始像素点匹配完成后，将其邻域像素作为新的候选元素添加进优先队列中，并根据匹配结果的置信度进行优先级排序，以进行下一次匹配。
步骤F，从优先级队列Q中选取置信度最高的像素点基于区域增长的立体匹配方法进行立体匹配，并根据匹配结果的置信度更新优先级队列Q；
SfM算法采用了SIFT特征算子，提供了对场景几何图形的可靠但稀疏的估计，因此非常适合初始化优先级队列Q。并且，我们将其邻域视图的可见特征点投影到参考视图R'上确定位置后，将这些位置的像素点用来加入进初始队列中用于扩充该初始队列。这些额外的特征点集合可能包含在参考视图R'中实际上不可见的点，但是这些错误的初始化点在之后的计算中会被覆盖。接下来对队列中每个特征点进行立体匹配过程，计算深度、法线方向和置信度，并不断更新队列。
使用了基于区域增长的立体匹配方法,区域增长要求匹配过程具有很强的鲁棒性，并且能够使用置信度更高的结果去更新已经计算过的像素点。为了首先对具有较高匹配置信度的邻域视图进行匹配，我们需要对候选邻域进行优先排序，这样可以避免其增长为不可靠区域，而反过来不可靠的区域又可能会提供一个不准确的候选。因此，我们将所有候选项存储在优先级队列Q中，并始终选择具有最高匹配置信度的候选项进行立体匹配。
步骤G，当区域增长结束并且优先级队列为空时，代表参考图像中所有像素已经匹配完成，获得参考视图的第一深度图，进入步骤H，否则，返回步骤F；步骤H，判断是否所有视图均获得了第一深度图，若还有视图没有获得第一深度图，从剩余视图中选取一幅视图作为参考视图，返回执行步骤B至步骤G，若所有视图均获得了第一深度图，第一深度图获取过程结束。
在本实施方式中，上述第一深度图获取方法相较于传统的基于多视图立体视觉(Multi-View Stereo，简称MVS)获取深度图的方法，解决了传统的MVS方法在进行立体匹配时，通常随机或者选择初始匹配点数量最大的两幅视图进行匹配，然而在考虑到大量采集的图像数据时，通过不同设备，在不同光照、天气和曝光条件下捕获图像，再进行立体匹配很难得到精确的结果的问题。通过区域增长的MVS算法进行立体匹配获得深度图。针对植物特性以及立体匹配存在的问题，提出了基于多级视图选择算法，通过图像级和像素级的视图选择来选择邻域候选匹配集，增强了立体匹配的一致性，提升植物深度图生成质量。
在本实施方式中，第一深度图获取方法的流程示意图如图4所示，选择一幅需要获得深度图的参考视图后，通过多级视图选择法，筛选出立体匹配的候选匹配集。第一级是全局视图选择，属于图像级别的选择，该级选择会筛选出与参考视图的比例和外观大致相同，并且确保足够宽的相机基线的视图集合，第二级是局部视图选择，属于像素级别的选择，在上述子集中过滤掉杂乱、遮挡的候选项。通过该方法选择出的最终结果作为候选匹配集，在水平和垂直视差上进行匹配。选择出候选匹配集后，建立一个匹配优先级队列，以SfM算法的稀疏匹配结果作为输入，将参考视图中优先级更高的像素与匹配集进行多视图立体匹配与优化，利用区域生长法迭代地重建，并且在迭代过程中会不断更新局部视图选择集合与匹配优先级队列，最终得到更加稳定与精确的深度图。
在本发明的一种优选实施方式中，在步骤S3中，按照如下步骤完成所有第一深度图中空洞区域的修补，具体包括：
步骤S31，获取第一深度图及其对应的视图，将对应的视图作为引导图，对引导图进行超像素分割，获得多个超像素块，获取每个超像素块的标签信息，同一超像素块中像素点的深度值相同或相似；
步骤S32，提取第一深度图中待修复的空洞区域，对空洞区域内的空洞点进行修补，空洞点修补的过程包括：
判断空洞点是否位于超像素块边缘：
若空洞点位于超像素块边缘，通过基于方向的联合双边滤波算法对所述空洞点进行修补；滤波窗口包含空洞点的所有邻域像素点；
若空洞点不是位于超像素块边缘，在基于方向的联合双边滤波算法对所述空洞点进行修补过程中，滤波窗口的大小根据空洞点和邻域像素点是否处于同一超像素块进行自适应调节；
步骤S33，对修补后的第一深度图进行整体滤波获得第二深度图。
在本实施方式中，为了更好的对图像中的空洞进行填补，将空洞分为非图像物体边缘和图像物体边缘两类，并对这两类空洞点采取不同的修补策略，其具体补洞流程如图6所示。该流程的输入是深度图和与之对应的RGB彩色引导图。补洞的具体步骤描述如下：
①将待修复深度图对应的RGB图像作为引导图，利用SLIC超像素算法对引导图进行粗分割，提取超像素块信息。同一个超像素块中的像素处于同一表面，即深度值相同或相似。
②提取超像素块边界信息，用于滤波过程中控制滤波窗口大小。
③利用快速行进算法计算空洞像素点的修复优先级，使得修复方向为空洞外侧向空洞中心，以减少错误深度值(尤其是空洞)对滤波过程带来的负面影响。
④按照修复优先级，利用步骤②得到的超像素块边界信息，判断空洞点是否处于物体边缘。对处于边缘上的空洞点，结合边缘梯度信息，用DJBF进行修复；对处于非物体边缘上的空洞点，结合步骤①和②提取的超像素信息，自适应调节DJBF的滤波窗口进行修复。
⑤空洞修复后，再使用JTF算法对图像进行整体滤波，进一步降低噪声，平滑深度图，提高修复准确性。最后，对深度图中不同类型的空洞点采取不同的补洞策略，进一步优化深度图填补结果。
在本实施方式中，对引导图进行超像素分割，获得多个超像素块的方法优选为基于简单线性递归聚类的超像素(Simple Linear Iterative Clustering,简称SLIC)，SLIC的搜索范围由传统K-means算法中的整图搜索策略调整为限制在2S×2S范围内，这种搜索方式加快了算法的收敛速度，提升了算法的计算效率。S为大致大小相等的超像素的网格间隔。通过SLIC算法分割出的超像素如同细胞一样紧密排列、近似均匀，不仅运算速度高效，并且在保持物体轮廓、紧凑度等方面都很理想，很好的表达了邻域内的特征。
在本实施方式中，在传统的基于方向的联合双边滤波(Directional JointBilateral Filter，简称DJBF)算法中，空洞像素点的滤波窗口大小是固定的，窗口内的所有邻域像素都将对中心未知像素的深度值产生影响，其具体尺寸由研究人员根据实验情况而设定。但是，当空洞靠近图像中的物体边缘时，其邻域像素和未知像素可能处于不同平面，即不同深度区域，固定滤波窗口的设定，就会使与未知像素处于非同一深度区域内的像素点也加入到滤波中，对结果造成负面贡献。所以，为了提高修复空洞像素点深度值的精确性，需要根据邻域像素点与空洞像素点是否处于同一深度区域来自适应调节滤波窗口的大小。不仅考虑了方向因素的影响，保证了图像边缘的完整性，还考虑了深度信息的一致性，使修复的最终结果更接近真实情况。
在本实施方式中，SLIC可以在初始种子点邻域内将具有相似性的像素点合并成一个超像素区域，不同的超像素区域具有不同的颜色特征和纹理特征，并且分割出的超像素可以很好的保持原图像中物体的轮廓，其边缘往往和原图像中的真实边缘相契合。基于超像素区域的这些特性，同一超像素块内的像素点可以看作处于同一个物体表面或是临近表面，即在深度图中表现为这些像素点拥有一样或近似的深度信息。所以，我们采用SLIC超像素算法对彩色引导图提取超像素区域，根据滤波窗口内的邻域像素和空洞像素所处超像素块的标签信息，来判断它们是否属于同一深度区域，从而决定是否将邻域像素加入到滤波窗口中去。
在本发明的一种优选实施方式中，在步骤S32中，按照如下顺序对空洞区域的空洞点进行修补：
先修补空洞区域边缘上的空洞点，然后由空洞区域的边缘向空洞中心逐步推进，直到将空洞区域的所有空洞点修补完成。
在本实施方式中，利用了由空洞外侧向空洞中心修复的优先级策略来提高空洞像素修复的精度，改善深度图中空洞的填补效果。
在本发明的一种优选实施方式中，，在步骤S32中，滤波窗口的大小自适应调节公式为：
φp'＝{q|q∈φpandLq＝Lp}；
其中，φp'为自适应的滤波窗口；点p为待修补的空洞点；q表示初始设定的滤波窗口内的邻域像素点；φp为初始设定的滤波窗口，Lq为邻域像素点q所在超像素块标签信息；Lp为空洞点p所在超像素块标签信息。
在本实施方式中，滤波窗口自适应的过程如图5所示，图(a)为待修复的第二深度图，点P为待填补的空洞点，黑色部分为空洞区域，黑框表示初始滤波窗口；图(b)为对应的超像素标签图，图中的P点对应深度图中的空洞点，根据滤波窗口中的邻域像素与P点的标签信息是否一致，得到图(c)中的不规则区域，该区域为需要加入到窗口内的像素。
综上，上述算法可以用来修补处于图像中非物体边缘的那些空洞像素。
本发明还公开了一种植物三维重建系统，在一种优选实施方式中，该系统包括处理器和图像提供单元，处理器从图像提供单元中获取在不同视角下对至少一株植物的全部或部分进行拍摄得到的多幅视图，并按照本发明的基于深度图修补的植物三维重建方法对多幅视图进行处理，重建植物的三维模型。
在本实施方式中，图像提供单元优选但不限于为存储有植物病害病斑原始图片的存储设备，如移动硬盘，flash,U盘等，图像提供单元也可以为存储有植物病害病斑原始图片的云端服务器等，或者图像提供单元为拍摄视图的相机。处理器优选但不限于为PC电脑或PC电脑组或嵌入式的ARM、DSP、FPGA的单独或异构的硬件设备。优选的，该系统还包括显示器，用于显示处理器重建植物的三维模型。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (10)
1.一种基于深度图修补的植物三维重建方法，其特征在于，包括：
步骤S1，利用拍摄单元在不同视角下对至少一株植物的全部或部分进行拍摄，得到多幅视图；
步骤S2，获取每幅视图对应的深度图，记为第一深度图，具体的：
利用多幅视图获取植物稀疏点云模型和每幅视图的相机参数；所述相机参数包括相机内部参数和相机外部参数；基于稀疏点云模型、相机参数和多幅视图获得每幅视图对应的深度图，记为第一深度图；
步骤S3，修补第一深度图中的空洞区域，并利用超像素块标签信息动态调整修补算法中滤波窗口的大小；
步骤S4，判断是否完成所有第一深度图的空洞修补，若未完成，按照步骤S3对其他第一深度图的空洞进行修补；若完成，对修补后的第一深度图进行滤波处理，获得第二深度图，执行步骤S5；
步骤S5，对第二深度图进行融合处理，得到植物稠密点云模型；
步骤S6，利用表面重建算法，从稠密点云模型中提取出植物三维表面，完成植物三维模型的重建。
2.如权利要求1所述的基于深度图修补的植物三维重建方法，其特征在于，所述利用多幅视图获取植物稀疏点云模型和每幅视图的相机参数的过程包括：
步骤S21，对每幅视图进行特征点检测获取至少一个特征点；
步骤S22，先通过最近邻/次近邻匹配算法对视图之间的特征点进行匹配，获得两两视图之间的匹配点对；
步骤S23，设置构建植物稀疏点云模型的第一图像集，选取匹配点对数量最多的两幅视图，分别记为第一视图和第二视图，将第一视图和第二视图加入第一图像集；
基于第一视图和第二视图的匹配点对进行相机姿态估计获得第二视图的相机外部参数，进行三角化处理获得第一点云集，将第一点云集加入稀疏点云集合；
步骤S24，在剩余视图中选取出与第一图像集中视图的匹配点对数量最多的一幅视图，记为第三视图；
步骤S25，基于第三视图与第一图像集中视图的匹配点对进行相机姿态估计获得第三视图的相机外部参数，进行三角化处理获得第二点云集；
将第二点云集加入稀疏点云集合；
步骤S26，通过集束调整，对稀疏点云集合进行优化处理；
步骤S27，重复步骤S24到步骤S26，直到所有视图都加入到第一图像集，获得由稀疏点云集合构成的植物稀疏点云模型和每幅视图的相机外部参数；所述相机内部参数可通过相机标定或从视图存储信息中获得。
3.如权利要求2所述的基于深度图修补的植物三维重建方法，其特征在于，基于两幅视图的匹配点对进行相机姿态估计获得相机外部参数的过程包括：
步骤S201，设在所有视图中与视图I1的特征点匹配对数量最多的视图为I2，点p和点q分别代表三维点P在图像I1和图像I2上的投影点，设投影点p的齐次坐标形式为(px,py,1)，投影点q的齐次坐标形式为(qx,qy,1)；
步骤S202，求解图像I2的基础矩阵F，具体为：
步骤S2021，从视图I1和视图I2之间的匹配点对中随机选出8对匹配点对；
步骤S2022，将8对匹配点对的齐次坐标代入公式Af＝0中，对矩阵A做奇异值分解，得到A＝UDVT，
其中，设矩阵A为a×b阶矩阵，矩阵U为a×a阶正交矩阵，为奇异值中的左奇异向量；矩阵D为a×b阶对角矩阵且矩阵D对角线上元素等于矩阵A的奇异值；矩阵V为b×b阶正交矩阵，为奇异值中的右奇异向量；n为匹配点对数目；px 1和py 1分别为第1对匹配点对中在视图I1的投影点的x轴和y轴坐标，qx 1和qy 1分别为第1对匹配点对中在视图I2的投影点的x轴和y轴坐标，px n和py n分别为第n对匹配点对中在视图I1的投影点的x轴和y轴坐标，qx n和qy n分别为第n对匹配点对中在视图I2的投影点的x轴和y轴坐标；f＝[f1 f2 f3 f4 f5 f6 f7 f8 f9]；VT矩阵的最后一行即是方程的解，进而得到基础矩阵
步骤S2023，基于步骤S2022中得到的基础矩阵F，判断图像I1和图像I2中除了选取的8对匹配点对以外的其他匹配点对p'和q'是否满足p'Fq'＝0，若满足，认为匹配点对p'和q'符合F，若不满足，认为匹配点对p'和q'不符合F，统计符合F的匹配点对数量，记为N；
步骤S2024，重复步骤S2021至步骤S2023共M次，即进行M次随机抽样计算不同的F和N；M为预设值；
步骤S2025,从数值最大的N对应的符合F的匹配点对中选取8个匹配点对，再次按照步骤S2022中方法计算获得基础矩阵F并将其作为图像I2的基础矩阵；
步骤S203，基于基础矩阵F求解图像I2的本征矩阵E，获得相机外部参数的过程为：
本征矩阵E和基础矩阵F满足：
其中，K2和K1分别为图像I2和图像I1的相机内部参数矩阵；
对本征矩阵E进行奇异值分解：
其中，U'和V'为三阶矩阵，U'和V'的列分别为奇异值中的左和右奇异向量；
获得图像I2的相机外部参数R和t：
其中，相机的旋转矩阵R＝U'WV'T,相机的位移向量t＝u；u为矩阵U'的第三列。
4.如权利要求3所述的基于深度图修补的植物三维重建方法，其特征在于，进行三角化处理获得点云集的方法包括：
步骤100，设P1和P2分别表示两幅视图的投影矩阵，P1＝K1[R1|t1]，P2＝K2[R2|t2]，其中，K1和K2分别为两幅视图的内部参数矩阵，[R1|t1]和[R2|t2]分别为两幅视图的相机外部参数构成的外部参数矩阵；
对于一个三维点X，设在两幅视图中相互匹配且与点X对应的投影点分别为x1和x2，存在如下关系：
其中，λ1和λ2分别为三维点X在两幅视图中的深度的倒数，A'为6×6矩阵，对A'进行奇异值分解，求解得到三维点X的空间坐标；
步骤200，按照步骤100求取两幅视图中其他匹配点对对应的三维点的空间坐标，获得点云集。
5.如权利要求4所述的基于深度图修补的植物三维重建方法，其特征在于，所述步骤S26包括：
步骤S261，设第一图像集中有m张视图，设这m张图像对应的投影矩阵集合为P＝{Pi|i＝1,2,3,...,m}；设稀疏点云集合为X＝{Xj|j＝1,2,3,...,n'}，其中n'表示稀疏点云集合中的点云数量；
步骤S262，将稀疏点云集合中的三维点根据每幅视图的投影矩阵重新投影到每幅视图上，建立重投影误差目标函数：
其中，表示三维点Xj在第i幅图像上的原始坐标点；Pi(Xj)则表示三维点Xj在第i张图像上的重新投影后的坐标点；表示三维点的可见性，用1和0来分别表示三维点Xj在第i幅图像中的可见和不可见；表示原始坐标点与重新投影后的坐标点Pi(Xj)的欧式距离；
步骤S263，采用迭代算法求解重投影误差目标函数的最小值，将重投影误差目标函数的最小值对应的三维点坐标作为集束调整后的点云三维坐标。
6.如权利要求1所述的基于深度图修补的植物三维重建方法，其特征在于，在步骤S2中，基于稀疏点云模型、相机参数和多幅视图获得每幅视图对应的第一深度图的方法包括：
步骤A，从所有视图中选取一幅视图作为参考视图；
步骤B，构建全局视图集合，具体包括：
步骤B1，对于每幅参考视图，选取一组包含N'张相邻视图的集合作为候选邻域；
步骤B2，计算候选邻域中每个视图的全局评分函数gR值，全局评分函数gR为：
其中，V'代表候选邻域中的视图；FV'为视图V'中的一组特征点集合；FR'为参考视图R'中的一组特征点集合；f'三维空间特征点，且f'∈FV'∩FR'；权重函数wN'(f')为：α代表候选邻域中视图Vi'和视图Vj'到三维空间中特征点f'的视线之间的角度，即视差角度，αmax为预设值；权重函数ws(f')为：
SV'(f')表示在三维空间中以特征点f'为中心的球体的直径，所述球体在视图V'上投影的直径等于视图V'中的像素间距，SR(f')表示在三维空间中以特征点f'为中心的球体的直径，所述球体在参考视图R'上投影的直径等于参考视图R'中的像素间距；
步骤B3，根据候选邻域中视图的全局评分函数gR值的高低排序，选取前10幅视图构建全局视图集合N”；
步骤C，从全局视图集合N”中进行局部视图选择，选出候选匹配集A”，具体包括：
步骤C1，定义局部评分函数lR，并求取全局视图集合N”中每个视图的局部评分函数lR值；
其中，γ代表全局视图集合N”中视图V'和视图V”的外极线之间的角度；γmax为预设值；
步骤C2，设置零均值归一化互相关分数阈值；按照全局视图集合N”中视图的局部评分函数lR值的高低顺序，依次计算参考视图R'中指定像素窗口内像素与全局视图集合N”中视图V'中相应窗口内像素的零均值归一化互相关分数，若零均值归一化互相关分数大于零均值归一化互相关分数阈值，且候选匹配集A”中视图数量未达到预设数量，将视图V添加到候选匹配集A”中，否则将视图V'标记为拒绝；
步骤D，利用参考视图的特征点初始化优先级队列；
步骤E，基于区域增长的立体匹配方法对初始化优先级队列中的初始像素点进行空间匹配，将初始像素点的邻域像素点作为新的候选元素添加进优先级队列中，根据匹配结果的置信度进行优先级排序，更新优先级队列；
步骤F，从优先级队列中选取置信度最高的像素点基于区域增长的立体匹配方法进行立体匹配，并根据匹配结果的置信度更新优先级队列；
步骤G，当区域增长结束并且优先级队列为空时，代表参考图像中所有像素已经匹配完成，获得参考视图的第一深度图，进入步骤H，否则，返回步骤F；步骤H，判断是否所有视图均获得了第一深度图，若还有视图没有获得第一深度图，从剩余视图中选取一幅视图作为参考视图，返回执行步骤B至步骤G，若所有视图均获得了第一深度图，第一深度图获取过程结束。
7.如权利要求1所述的基于深度图修补的植物三维重建方法，其特征在于，在所述步骤S3中，按照如下步骤完成所有第一深度图中空洞区域的修补，具体包括：
步骤S31，获取第一深度图及其对应的视图，将对应的视图作为引导图，对引导图进行超像素分割，获得多个超像素块，获取每个超像素块的标签信息，同一超像素块中像素点的深度值相同或相似；
步骤S32，提取第一深度图中待修复的空洞区域，对空洞区域内的空洞点进行修补，空洞点修补的过程包括：
判断空洞点是否位于超像素块边缘：
若空洞点位于超像素块边缘，通过基于方向的联合双边滤波算法对所述空洞点进行修补；滤波窗口包含空洞点的所有邻域像素点；
若空洞点不是位于超像素块边缘，在基于方向的联合双边滤波算法对所述空洞点进行修补过程中，滤波窗口的大小根据空洞点和邻域像素点是否处于同一超像素块进行自适应调节；
步骤S33，对修补后的第一深度图进行整体滤波获得第二深度图。
8.如权利要求7所述的基于深度图修补的植物三维重建方法，其特征在于，在所述步骤S32中，按照如下顺序对空洞区域的空洞点进行修补：
先修补空洞区域边缘上的空洞点，然后由空洞区域的边缘向空洞中心逐步推进，直到将空洞区域的所有空洞点修补完成。
9.如权利要求7所述的基于深度图修补的植物三维重建方法，其特征在于，在所述步骤S32中，滤波窗口的大小自适应调节公式为：
φp'＝{q|q∈φpandLq＝Lp}；
其中，φp'为自适应的滤波窗口；点p为待修补的空洞点；q表示初始设定的滤波窗口内的邻域像素点；φp为初始设定的滤波窗口，Lq为邻域像素点q所在超像素块标签信息；Lp为空洞点p所在超像素块标签信息。
10.一种植物三维重建系统，其特征在于，包括处理器和图像提供单元，所述处理器从图像提供单元中获取在不同视角下对至少一株植物的全部或部分进行拍摄得到的多幅视图，并按照权利要求1-9之一所述的基于深度图修补的植物三维重建方法对所述多幅视图进行处理，重建植物的三维模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910521425.XA CN110223383A (zh) | 2019-06-17 | 2019-06-17 | 一种基于深度图修补的植物三维重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910521425.XA CN110223383A (zh) | 2019-06-17 | 2019-06-17 | 一种基于深度图修补的植物三维重建方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110223383A true CN110223383A (zh) | 2019-09-10 |
Family
ID=67817521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910521425.XA Pending CN110223383A (zh) | 2019-06-17 | 2019-06-17 | 一种基于深度图修补的植物三维重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110223383A (zh) |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110880229A (zh) * | 2019-12-02 | 2020-03-13 | 北京深测科技有限公司 | 一种地质灾害监测预警方法和系统 |
| CN111369660A (zh) * | 2020-03-02 | 2020-07-03 | 中国电子科技集团公司第五十二研究所 | 一种三维模型的无接缝纹理映射方法 |
| CN111862077A (zh) * | 2020-07-30 | 2020-10-30 | 浙江大华技术股份有限公司 | 视差图的处理方法及装置、存储介质、电子装置 |
| CN112102472A (zh) * | 2020-09-01 | 2020-12-18 | 北京航空航天大学 | 稀疏三维点云稠密化方法 |
| CN112308896A (zh) * | 2020-11-06 | 2021-02-02 | 上海肇观电子科技有限公司 | 图像处理方法、芯片电路、装置、电子设备及存储介质 |
| CN112348869A (zh) * | 2020-11-17 | 2021-02-09 | 的卢技术有限公司 | 通过检测和标定恢复单目slam尺度的方法 |
| CN112434709A (zh) * | 2020-11-20 | 2021-03-02 | 西安视野慧图智能科技有限公司 | 基于无人机实时稠密三维点云和dsm的航测方法及系统 |
| CN112614174A (zh) * | 2020-12-07 | 2021-04-06 | 深兰人工智能(深圳)有限公司 | 点云补全和点云分割方法、装置、电子设备及存储介质 |
| CN112767421A (zh) * | 2021-01-15 | 2021-05-07 | 重庆大学 | 结合语义信息的立体影像密集匹配方法及系统 |
| CN112785709A (zh) * | 2021-01-15 | 2021-05-11 | 山东大学 | Tbm搭载式围岩裂隙重建识别方法、装置、存储介质及设备 |
| WO2021102948A1 (zh) * | 2019-11-29 | 2021-06-03 | 深圳市大疆创新科技有限公司 | 图像处理方法及装置 |
| CN113034675A (zh) * | 2021-03-26 | 2021-06-25 | 鹏城实验室 | 一种场景模型构建方法、智能终端及计算机可读存储介质 |
| CN113052880A (zh) * | 2021-03-19 | 2021-06-29 | 南京天巡遥感技术研究院有限公司 | 一种sfm稀疏重建方法、系统及应用 |
| CN113223070A (zh) * | 2021-05-13 | 2021-08-06 | 深圳地理人和科技有限公司 | 一种深度图像增强处理方法及装置 |
| CN113409193A (zh) * | 2021-06-18 | 2021-09-17 | 北京印刷学院 | 高光谱图像的超分辨率重建方法和装置 |
| CN113421229A (zh) * | 2021-06-04 | 2021-09-21 | 桂林电子科技大学 | 一种图像小区域缺损检测与修复方法 |
| CN113570701A (zh) * | 2021-07-13 | 2021-10-29 | 聚好看科技股份有限公司 | 一种头发重建方法及设备 |
| CN113643421A (zh) * | 2021-07-06 | 2021-11-12 | 北京航空航天大学 | 图像的三维重建方法和三维重建装置 |
| CN113808255A (zh) * | 2021-09-10 | 2021-12-17 | 广州益业机电设备科技有限公司 | 一种即时建模设备及方法 |
| CN114066779A (zh) * | 2022-01-13 | 2022-02-18 | 杭州蓝芯科技有限公司 | 一种深度图滤波方法及装置、电子设备、存储介质 |
| CN114463409A (zh) * | 2022-02-11 | 2022-05-10 | 北京百度网讯科技有限公司 | 图像深度信息的确定方法、装置、电子设备和介质 |
| CN114723885A (zh) * | 2022-04-06 | 2022-07-08 | 浙江大学 | 一种基于rgbd图像稠密三维重建的植物耐寒性分析的方法 |
| CN114998551A (zh) * | 2022-08-03 | 2022-09-02 | 江西博微新技术有限公司 | 网格重建质量优化方法、系统、计算机及可读存储介质 |
| WO2022218185A1 (zh) * | 2021-04-15 | 2022-10-20 | 杭州睿胜软件有限公司 | 用于植物病症诊断的方法和植物病症诊断系统 |
| WO2023000703A1 (zh) * | 2021-07-23 | 2023-01-26 | 北京百度网讯科技有限公司 | 图像采集系统、三维重建方法、装置、设备以及存储介质 |
| CN116206077A (zh) * | 2023-03-24 | 2023-06-02 | 清华大学 | 基于非全局重复建模的三维重构模型局部优化方法和装置 |
| CN117274512A (zh) * | 2023-11-23 | 2023-12-22 | 岭南现代农业科学与技术广东省实验室河源分中心 | 植物多视角图像的处理方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106600686A (zh) * | 2016-12-06 | 2017-04-26 | 西安电子科技大学 | 一种基于多幅未标定图像的三维点云重建方法 |
| CN106600675A (zh) * | 2016-12-07 | 2017-04-26 | 西安蒜泥电子科技有限责任公司 | 一种基于深度图约束的点云合成方法 |
| CN107170042A (zh) * | 2017-06-19 | 2017-09-15 | 电子科技大学 | 一种无序图像的多视立体匹配的三维重建方法 |
| CN108537865A (zh) * | 2018-03-21 | 2018-09-14 | 哈尔滨工业大学深圳研究生院 | 一种基于视觉三维重建的古建筑模型生成方法和装置 |
| CN109389634A (zh) * | 2017-08-02 | 2019-02-26 | 蒲勇飞 | 基于三维重建和增强现实的虚拟购物系统 |
| CN109816724A (zh) * | 2018-12-04 | 2019-05-28 | 中国科学院自动化研究所 | 基于机器视觉的三维特征提取方法及装置 |
-
2019
- 2019-06-17 CN CN201910521425.XA patent/CN110223383A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106600686A (zh) * | 2016-12-06 | 2017-04-26 | 西安电子科技大学 | 一种基于多幅未标定图像的三维点云重建方法 |
| CN106600675A (zh) * | 2016-12-07 | 2017-04-26 | 西安蒜泥电子科技有限责任公司 | 一种基于深度图约束的点云合成方法 |
| CN107170042A (zh) * | 2017-06-19 | 2017-09-15 | 电子科技大学 | 一种无序图像的多视立体匹配的三维重建方法 |
| CN109389634A (zh) * | 2017-08-02 | 2019-02-26 | 蒲勇飞 | 基于三维重建和增强现实的虚拟购物系统 |
| CN108537865A (zh) * | 2018-03-21 | 2018-09-14 | 哈尔滨工业大学深圳研究生院 | 一种基于视觉三维重建的古建筑模型生成方法和装置 |
| CN109816724A (zh) * | 2018-12-04 | 2019-05-28 | 中国科学院自动化研究所 | 基于机器视觉的三维特征提取方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| JINHAI CAI: "The integration of images and kinect depth maps for better quality of 3D surfacereconstruction", 《2014 13TH INTERNATIONAL CONFERENCE ON CONTROL AUTOMATION ROBOTICS & VISION (ICARCV)》 * |
| 曹帅: "基于序列图像的树木三维重建方法研究与精度评定", 《中国优秀硕士学位论文全文数据库农业科技辑》 * |
| 潘波 等: "基于超像素的深度图修复算法", 《计算机应用研究》 * |
| 韩蔚蔚: "基于三焦点张量的摄像机标定技术研究及实现", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021102948A1 (zh) * | 2019-11-29 | 2021-06-03 | 深圳市大疆创新科技有限公司 | 图像处理方法及装置 |
| CN110880229A (zh) * | 2019-12-02 | 2020-03-13 | 北京深测科技有限公司 | 一种地质灾害监测预警方法和系统 |
| CN111369660A (zh) * | 2020-03-02 | 2020-07-03 | 中国电子科技集团公司第五十二研究所 | 一种三维模型的无接缝纹理映射方法 |
| CN111369660B (zh) * | 2020-03-02 | 2023-10-13 | 中国电子科技集团公司第五十二研究所 | 一种三维模型的无接缝纹理映射方法 |
| CN111862077A (zh) * | 2020-07-30 | 2020-10-30 | 浙江大华技术股份有限公司 | 视差图的处理方法及装置、存储介质、电子装置 |
| CN112102472B (zh) * | 2020-09-01 | 2022-04-29 | 北京航空航天大学 | 稀疏三维点云稠密化方法 |
| CN112102472A (zh) * | 2020-09-01 | 2020-12-18 | 北京航空航天大学 | 稀疏三维点云稠密化方法 |
| CN112308896A (zh) * | 2020-11-06 | 2021-02-02 | 上海肇观电子科技有限公司 | 图像处理方法、芯片电路、装置、电子设备及存储介质 |
| CN112348869A (zh) * | 2020-11-17 | 2021-02-09 | 的卢技术有限公司 | 通过检测和标定恢复单目slam尺度的方法 |
| CN112434709A (zh) * | 2020-11-20 | 2021-03-02 | 西安视野慧图智能科技有限公司 | 基于无人机实时稠密三维点云和dsm的航测方法及系统 |
| CN112434709B (zh) * | 2020-11-20 | 2024-04-12 | 西安视野慧图智能科技有限公司 | 基于无人机实时稠密三维点云和dsm的航测方法及系统 |
| CN112614174A (zh) * | 2020-12-07 | 2021-04-06 | 深兰人工智能(深圳)有限公司 | 点云补全和点云分割方法、装置、电子设备及存储介质 |
| CN112767421A (zh) * | 2021-01-15 | 2021-05-07 | 重庆大学 | 结合语义信息的立体影像密集匹配方法及系统 |
| CN112785709B (zh) * | 2021-01-15 | 2023-10-17 | 山东大学 | Tbm搭载式围岩裂隙重建识别方法、装置、存储介质及设备 |
| CN112767421B (zh) * | 2021-01-15 | 2023-09-15 | 重庆大学 | 结合语义信息的立体影像密集匹配方法及系统 |
| CN112785709A (zh) * | 2021-01-15 | 2021-05-11 | 山东大学 | Tbm搭载式围岩裂隙重建识别方法、装置、存储介质及设备 |
| CN113052880B (zh) * | 2021-03-19 | 2024-03-08 | 南京天巡遥感技术研究院有限公司 | 一种sfm稀疏重建方法、系统及应用 |
| CN113052880A (zh) * | 2021-03-19 | 2021-06-29 | 南京天巡遥感技术研究院有限公司 | 一种sfm稀疏重建方法、系统及应用 |
| CN113034675A (zh) * | 2021-03-26 | 2021-06-25 | 鹏城实验室 | 一种场景模型构建方法、智能终端及计算机可读存储介质 |
| WO2022218185A1 (zh) * | 2021-04-15 | 2022-10-20 | 杭州睿胜软件有限公司 | 用于植物病症诊断的方法和植物病症诊断系统 |
| US12062173B2 (en) | 2021-04-15 | 2024-08-13 | Hangzhou Ruisheng Software Co., Ltd. | Method for diagnosing plant diseases and plant disease diagnosis system |
| CN113223070A (zh) * | 2021-05-13 | 2021-08-06 | 深圳地理人和科技有限公司 | 一种深度图像增强处理方法及装置 |
| CN113421229B (zh) * | 2021-06-04 | 2023-05-30 | 桂林电子科技大学 | 一种图像小区域缺损检测与修复方法 |
| CN113421229A (zh) * | 2021-06-04 | 2021-09-21 | 桂林电子科技大学 | 一种图像小区域缺损检测与修复方法 |
| CN113409193B (zh) * | 2021-06-18 | 2023-07-04 | 北京印刷学院 | 高光谱图像的超分辨率重建方法和装置 |
| CN113409193A (zh) * | 2021-06-18 | 2021-09-17 | 北京印刷学院 | 高光谱图像的超分辨率重建方法和装置 |
| CN113643421A (zh) * | 2021-07-06 | 2021-11-12 | 北京航空航天大学 | 图像的三维重建方法和三维重建装置 |
| CN113643421B (zh) * | 2021-07-06 | 2023-08-25 | 北京航空航天大学 | 图像的三维重建方法和三维重建装置 |
| CN113570701A (zh) * | 2021-07-13 | 2021-10-29 | 聚好看科技股份有限公司 | 一种头发重建方法及设备 |
| CN113570701B (zh) * | 2021-07-13 | 2023-10-24 | 聚好看科技股份有限公司 | 一种头发重建方法及设备 |
| WO2023000703A1 (zh) * | 2021-07-23 | 2023-01-26 | 北京百度网讯科技有限公司 | 图像采集系统、三维重建方法、装置、设备以及存储介质 |
| CN113808255A (zh) * | 2021-09-10 | 2021-12-17 | 广州益业机电设备科技有限公司 | 一种即时建模设备及方法 |
| CN114066779B (zh) * | 2022-01-13 | 2022-05-06 | 杭州蓝芯科技有限公司 | 一种深度图滤波方法及装置、电子设备、存储介质 |
| CN114066779A (zh) * | 2022-01-13 | 2022-02-18 | 杭州蓝芯科技有限公司 | 一种深度图滤波方法及装置、电子设备、存储介质 |
| CN114463409A (zh) * | 2022-02-11 | 2022-05-10 | 北京百度网讯科技有限公司 | 图像深度信息的确定方法、装置、电子设备和介质 |
| US11783501B2 (en) | 2022-02-11 | 2023-10-10 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method and apparatus for determining image depth information, electronic device, and media |
| CN114463409B (zh) * | 2022-02-11 | 2023-09-26 | 北京百度网讯科技有限公司 | 图像深度信息的确定方法、装置、电子设备和介质 |
| CN114723885A (zh) * | 2022-04-06 | 2022-07-08 | 浙江大学 | 一种基于rgbd图像稠密三维重建的植物耐寒性分析的方法 |
| CN114998551B (zh) * | 2022-08-03 | 2022-11-18 | 江西博微新技术有限公司 | 网格重建质量优化方法、系统、计算机及可读存储介质 |
| CN114998551A (zh) * | 2022-08-03 | 2022-09-02 | 江西博微新技术有限公司 | 网格重建质量优化方法、系统、计算机及可读存储介质 |
| CN116206077A (zh) * | 2023-03-24 | 2023-06-02 | 清华大学 | 基于非全局重复建模的三维重构模型局部优化方法和装置 |
| CN116206077B (zh) * | 2023-03-24 | 2024-05-17 | 清华大学 | 基于非全局重复建模的三维重构模型局部优化方法和装置 |
| CN117274512A (zh) * | 2023-11-23 | 2023-12-22 | 岭南现代农业科学与技术广东省实验室河源分中心 | 植物多视角图像的处理方法及系统 |
| CN117274512B (zh) * | 2023-11-23 | 2024-04-26 | 岭南现代农业科学与技术广东省实验室河源分中心 | 植物多视角图像的处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110223383A (zh) | 一种基于深度图修补的植物三维重建方法及系统 | |
| CN112435325B (zh) | 基于vi-slam和深度估计网络的无人机场景稠密重建方法 | |
| CN111063021B (zh) | 一种空间运动目标的三维重建模型建立方法及装置 | |
| CN112434709B (zh) | 基于无人机实时稠密三维点云和dsm的航测方法及系统 | |
| CN106940704B (zh) | 一种基于栅格地图的定位方法及装置 | |
| CN110211043B (zh) | 一种用于全景图像拼接的基于网格优化的配准方法 | |
| CN109934862A (zh) | 一种点线特征结合的双目视觉slam方法 | |
| CN108171791B (zh) | 基于多深度摄像机的动态场景实时三维重建方法及装置 | |
| WO2015135323A1 (zh) | 一种摄像机跟踪方法及装置 | |
| CN108537876A (zh) | 基于深度相机的三维重建方法、装置、设备及存储介质 | |
| CN112367514A (zh) | 三维场景构建方法、装置、系统和存储介质 | |
| CN111882668B (zh) | 一种多视角立体对象重建方法与系统 | |
| CN106934827A (zh) | 三维场景的重建方法和装置 | |
| CN111141264B (zh) | 一种基于无人机的城市三维测绘方法和系统 | |
| CN113178009A (zh) | 一种利用点云分割和网格修补的室内三维重建方法 | |
| CN107833181A (zh) | 一种基于变焦立体视觉的三维全景图像生成方法及系统 | |
| CN109685879B (zh) | 多视影像纹理分布的确定方法、装置、设备和存储介质 | |
| CN109147025B (zh) | 一种面向rgbd三维重建的纹理生成方法 | |
| CN108648264A (zh) | 基于运动恢复的水下场景重建方法及存储介质 | |
| WO2023116430A1 (zh) | 视频与城市信息模型三维场景融合方法、系统及存储介质 | |
| CN106127743B (zh) | 自动重建二维影像与三维模型准确相对位置的方法及系统 | |
| CN113160335A (zh) | 一种基于双目视觉的模型点云及三维表面重建方法 | |
| CN111126418A (zh) | 一种基于平面透视投影的倾斜影像匹配方法 | |
| Wang et al. | TerrainFusion: Real-time digital surface model reconstruction based on monocular SLAM | |
| CN112819937B (zh) | 一种自适应多对象光场三维重建方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190910 |