CN108198230A - 一种基于散乱图像的作物果实三维点云提取系统 - Google Patents

Abstract

本发明涉及一种基于散乱图像的作物果实三维点云提取的方法，通过导入用户使用随机拍照等方式生成的、不同视角的目标作物果实二维图片素材；分别基于具有尺度和旋转不变性特点的SIFT算子对多幅二维图像进行数据和特征提取和FLANN算法对不同维度的数据进行匹配；利用获得的二维图片中的关键点、相机参数等信息实现稀疏点云的生成；进一步通过初始特征匹配、生成稀疏patch、扩散得到密集patch以及过滤错误patch等技术生成复杂点云；为确保果实点云的准确性，通过结合交互式选择和基于滤波器的方法去除果实点云的离群点。本发明通过二维图像实现果实作物三维点云模型生成和去噪，为三维重建等处理提供了对象化的点云模型。

Description

一种基于散乱图像的作物果实三维点云提取系统

技术领域

本发明属于计算机技术在作物果实三维点云提取中的应用，涉及一种基于采集作物果实二维图像的三维点云目标提取方法及系统。

背景技术

随着农业信息化的发展，作物果实(器官)可见属性的自动、鲁棒分析，尤其是不同条件下果实表型生物量的测量成为制约精准农业发展的瓶颈之一；计算机图形学理论的发展，为果实尺寸、大小、体积、曲率等结构信息获取、处理，获取三维果实点云模型、进行农作物果实生长规律分析和测量提供了必要手段，在作物育种、品种的选择、预测表型生物量、生长阶段的保持和重现、食品溯源等领域发挥着越来越重要的作用。

三维扫描技术的发展和设备精度的提高，使得具有丰富细节的植物果实静态结构数据点的获取及其形状的逆向工程建模成为可能，故激光扫描成为植物果实参数化和植物生长观察的有力工具和通用方法，为果实外形重建带来了希望。但由于植物生长环境的特殊性，果实表面的异质性和复杂性,使现有的适合形状确定、小尺度一致性表面的点云提取技术，在用于高度分散的缺乏一致性的果实表面时降低了准确性，且相关设备成本过高，操作繁琐，在农业领域的应用受到限制。

二维图像可以利用手机等常用设备多角度拍摄获取，大大减少了采集成本。手机拍摄除要求拍摄角度广外，对图像分辨率等其他图片参数要求不高。因此本发明无需配合其它专业设备即可为农业从业人员提供服务，增加了本发明的实用性，更利于本发明的大众化推广。

[基于二维图像的果实点云获取存在的问题及技术空缺]现有的基于图像的点云获取技术虽然能够通过图像获取点云模型，但是其对图像的拍摄条件要求较高且其无法完成对生成点云模型的相关处理。同时，现有的基于图像的点云获取技术一般从无序图像中查找匹配点构建稀疏点云，但是如果对每个像素点都在其他无序图像中进行匹配查找，计算量会非常大，同时图像中会包含很多噪声点，对于匹配点的查找会起到干扰作用。

综上，从一组随意拍摄的散乱图像中提取作物果实三维点云技术相对成本较低、获得三维点云模型精度较高。通过进一步的研究与分析，可以为果实的品质检测和表型分析研究提供可信的数据源，也可为育种和园艺教学等方面的研究提供可视化支持。因此，该发明具有重要的现实意义和研究价值。

发明内容

本发明要解决的技术问题是提供一套基于散乱图片进行作物果实点云目标提取系统，以解决从随机拍摄的一组果实作物二维画面生成三维点云模型的问题。

本发明解决上述问题的技术方案为一种基于二维图像的果实作物三维点云目标提取方法，包括如下步骤：

步骤1：用户使用普通拍照方式或三维设计工具获取目标果实作物在不同视角的二维图片素材，相邻2张素材的角度变化幅度应不大于10度为最佳取材；

步骤2：利用数据文件提取模块和图片特征匹配模块，对导入的多幅二维图像进行数据和特征提取，并使用FLANN算法对不同维度的数据进行匹配；

步骤3：生成果实的稀疏点云模型，根据匹配结果，基于SFM算法利用射影定理计算得到相机位置等场景信息进行稀疏重建(Sparse Reconstruction)；

步骤4：生成果实的密集点云模型，通过PMVS算法，运用多视立体重建(Multi-viewStereo Reconstruction)方法，利用所得到的场景信息与原始照片，不断进行面片生成与筛选从而扩散已有数据点进行密集重建(Dense Reconstruction)；

步骤5：为使不同平台上果实点云无缝对接，设计了点云文件格式转换器，进一步实现了ply与pcd格式、pcd与txt格式的转换、pcd点云文件加载、显示与编辑；

步骤6：果实密集点云模型的去噪预处理，对于一些滤波去噪无法去除的明显的大量噪点可手动去除噪点，该项步骤支持用户通过鼠标手动选中噪点然后进行删除，并能够保存删除噪点之后的点云图像；

步骤7：果实密集点云模型的自动去噪处理，通过Statistical Outlier Removal统计滤波器处理离群点，避免由这些点引起的局部结构复杂化，从而保证三维点云模型的完整性和真实性；

本发明的有益效果是：可以通过一组散乱拍摄的二维图像实现简便、低成本的果实作物的三维点云模型生成和处理，为三维重建等处理提供了对象化的点云模型，是其它作物果实数字化应用的基础。

附图说明：

图1为本发明所述一种基于二维图像的果实作物三维点云目标提取方法流程图；

图2为实施例中用到的图片素材示意图；

图3为利用本发明导入图片素材的界面示意图；

图4为利用本发明生成三维果实稀疏点云的界面示意图；

图5为实施例中由稀疏点云生成模块生成的三维果实稀疏点云示意图；

图6为实施例中由密集点云生成模块生成的三维果实稠密点云示意图；

图7为利用本发明进行手动去噪的界面示意图；

图8为离群点去除模块进行交互式和滤波器去噪后生成的三维点云示意图。

图9为离群点去除模块进行滤波器去噪后生成的三维点云示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

本发明中用户可选择拍照方式或者通过三维设计工具获取目标果实作物在不同视角且变化幅度10度左右的二维图片素材组，导入本发明中的计算机程序；对于输入的二维图像组，进行信息提取与图片匹配，根据匹配结果，得到关键点、相机位置等场景信息进行稀疏点云重建；然后在稀疏点云的基础上进行稠密的点重建；进一步的，可以进行点云文件ply至pcd格式转换和pcd格式与txt格式的转换，并实现了pcd点云文件加载、显示和编辑；最后可以通过交互式选择和基于滤波器的方法进行离群点去除。结果生成的三维点云模型有较强的完整性和真实性。

如图1所示，一种基于散乱二维图像的果实作物三维点云目标提取方法，包括如下步骤：

步骤1：用户可选择拍照方式或者通过三维设计工具获取目标果实作物在不同视角且变化幅度10度左右的二维图像素材组，导入本发明中的计算机程序，对于导入的多幅二维图像进行数据和特征提取，并精确识别物体的局部特征找出各张图片中的特征点，进行快速准确的成对匹配获得关键数据点；

步骤2：通过稀疏点云生成模块，利用获得的二维图片的关键点、相机参数等信息实现稀疏点云的生成；

步骤3：通过密集点云生成模块，不断进行面片生成与筛选从而扩散已有的稀疏点云数据点，实现密集点云获取；

步骤4：设计点云文件格式在ply、pcd和txt之间的相互转换，及pcd点云文件加载、显示和编辑；

步骤5：通过离群点去除模块，进行交互式选择离群点去噪和基于滤波器的离群点去除方法，通过交互式选择手动去除离群点，进一步用基于滤波器的自动噪点去除方法，避免由这些点引起的局部结构复杂化，从而保证三维点云模型的完整性和真实性；

在上述总体方案的基础上，本发明还可以做如下拓展和改进，具体实施方案如下。

第1步，导入如图2所示的多视角果实作物二维图像素材组，按图3所示操作进行导入。

第2步，对于导入的多幅二维图像进行数据和特征提取，并精确识别物体的局部特征找出各张图片中的特征点，进行快速准确的两两匹配获得关键数据点。

步骤2.1：第一步是特征提取，采用具有尺度和旋转不变性特点的SIFT算子。

步骤2.2：第二步是匹配和建立track，图像对成对匹配，采用可以对任何维度的数据进行匹配的快速近似最近邻算法(FLANN)实现图片配准。邻近搜索，建立KD树，缩小搜索范围，能提高效率，但也有可能不是最优，所以邻域取值是关键，越大越准确，越大计算量越大，当距离小于一定阈值的时候就认为匹配成功，但是误匹配也比较多，需要采取多种手段剔除：如果最近距离与次近距离的比值大于某个阈值，应该剔除。对匹配点采用采样一致性算法RANSC八点法计算基础矩阵，剔除不满足基础矩阵的匹配对；当匹配关系建立后，需要生成track列表，指同名点的相片集合，比如第一幅图的13号点和第二幅的14号点及第五幅的115号点是同名点，则(1,13)、(2,14)、(5,115)是属于一个track，据此可以生成一个track集合，同时生成track的时候也需要剔除无用匹配：如果一个track包含同一幅图多次，则应该剔除，这是因为同一幅图的多个特征点都匹配了同一个点，则匹配关系肯定是错误的；如果track太少，应该剔除，一般取2，是指只有两幅图有同一个点，三维重建的信息过少，容易产生误差。

步骤2.3：第三步找初始化像对，目的是找到相机基线最大的像对，采用RANSC算法四点法计算单应矩阵，满足单应矩阵的匹配点称为内点，不满足单应矩阵的称为外点，根据单应矩阵公式可知当T越小时，内点占比越高，也就是低视差现象越明显，因此找到一个内点占比最小的像对就是初始化像对，当然它前提必须满足可重建，可以通过匹配点个数保证。

步骤2.4：第四步是初始化像对的相对定向，根据RANSC八点法计算本征矩阵，可通过对本征矩阵SVD分解得到第二个图像的R、T，在这一步需要进行畸变校正，然后根据R、T和矫正后的像点坐标三角计算出三维点，这里用到的方法是直接线性变换DLT，可以理解为测绘中的前方交会。

步骤2.5：第五步是加入更多图像，以第三副图为例，根据第四步生成的三维点和第三副图与前两图的track关系，可以反算第三副图的R、T，然后继续三角化计算出更多的三维点，采用的同样是DLT，这样反复重复第5步，最后就会把所有像片的POSE(R、T)和三维点生成。

步骤2.6：从第四步开始需要进行光束法平差Bundle Adjustment，是一个非线性优化的过程，目的是使重建误差降低到最小，通过调整POSE和三维点使反向投影差最小，如果相机没有标定,还应该将焦距也参与平差。Bundle Adjustment是一个迭代的过程，在一次迭代过后，将所有三维点反向投影到各自相片的像素坐标并分别与初始坐标比对，如果大于某个阈值，则应将其从track中去掉，如果track中已经小于2个了，则整个track也去掉，一直优化到没有点可去为止。

采用上述拓展和改进方案的有益效果：能够精确对多幅二维图像进行数据和特征的提取，找出目标物体的特征点，从而快速准确进行两两匹配。

第3步，利用稀疏点云生成模块，将步骤2、步骤3中获得的二维图片中的关键点、相机参数等信息用于实现稀疏点云的生成，按照图4操作生成如图5所示的果实作物稀疏三维点云。进一步利用密集点云生成模块，不断进行面片生成与筛选从而扩散已有的稀疏点云数据点，实现密集点云获取。

步骤3.1：初始特征匹配，生成稀疏的patch，作为种子点。DOG和Harris算子，在每张像片上画格网，格网大小为32×32pixels。在每个格网中选η＝4个兴趣值为局部极大值的点。(两种算子都各取4个特征点)

a.选出参考影像和其他影像。每张像片，轮流作为参考影像R(P)。在其他像片中选出主光轴与R(P)之间夹角小于60°的像片I(P)。再将参考影像和这些相片进行匹配。

b.选出候选匹配点：对于参考影像上的每个特征点f，寻找其在其他照片上的候选匹配点f’，f’组成集合F。f’与f是由同一种算子检测出(Harris或DOG)并且f’在离同名核线两个像素的范围之内。

c.求模型点坐标，由每一对(f,f’)前方交会求出模型点。计算每个模型点与参考相片摄像机中心的距离，按距离由近到远将模型点排序。

d.生成patch，作为种子点，初始化V(p)，V*(p)。V(p)中的像片符合角度条件，即patch的法向量和patch所在光线的夹角要小于60度。V*(p)中的像片符合相关系数的条件，即patch投影到像片和参考相片上的像之间的相关系数要大于阈值0.4。此时阈值比较低，因为法向量不准确。

e.优化patch的中心坐标和法向量。

f.最大化平均相关系数(即最大化patch的参考像片与其它像片之间的相关系数的平均值)。优化过程中把patch的中心固定在patch参考影像的光线上，优化自由度为3:patch中心的z坐标，代表法向量的两个角度α、β。

g.更新V(p)，V*(p)(阈值增大为0.7,因为此时已经优化了patch的坐标和法向量)如果|V*(p)|≥γ，则认为成功生成了patch。在所有影像上打上大小为2×2pixels的格网cells Ci(x,y)。把patch投影到像片上，记录下patch所在的格网坐标(格网在像片坐标系中的坐标)。每个格网有两个存储patch的集合Qi(x,y)，Qi*(x,y)，分别存储投影到V(p)，V*(p)的patch。同时从cell中去掉所有的特征点，接下来考虑下一个特征点f。否则，如果|V*(p)|<γ,则认为失败，考虑下一个匹配点f’。每张像片轮流作为参考影像，对于参考影像中的每个特征点生成一个patch(也可能失败)。

步骤3.2：扩散，由稀疏的种子点扩散得到密集的patch。目标是每个格网cell中至少有一个patch。

a.向种子patch所在格网的邻域扩散，若这个邻域中已经存在一个与种子patch距离较近的patch或者这个领域中已经存在一个平均相关系数较大的patch，则不向该邻域扩散。

b.新patch的法向量跟种子patch的法向量相同，新patch的中心是通过邻域格网中心的光线与种子patch所在平面的交点。接下来的步骤与生成种子点相似,即计算V(p)、V*(p)，优化patch，更新V(p)、V*(p)，若V*(p)中的照片个数大于阈值，就认为是成功扩散了一个patch，否则失败。然后继续扩散下一个新patch，直到无法再进行扩散。

步骤3.3：过滤，去除错误的patch，同一格网中patch的平均相关系数差异大,过滤掉格网中与深度最小的patch距离大、法向量夹角大的patch(深度：物点与摄像机中心之间的距离投影到主光轴方向上的长度)。将一个patch和它八邻域中的neighbors patches拟合二次曲面，neighbors patches残差之和大于阈值就去掉这个patch。去掉数量较小的patch组：首先根据patch之间在物方的距离，将patch聚类分组，如下图所示，点代表patch，黑色的patch组中patch数量较多，红色的patch组中patch数量小于20个，要去掉像红色这样的patch个数小于20的patch组。

采用上述拓展和改进方案的有益效果：能够准确的从稀疏点云中得到密集密集点云，从而使生成的点云模型更加接近目标实物。

如图6所示，生成果实作物密集三维点云。

第4步，利用离群点去除模块，进行交互式选择离群点去噪；也可以用基于滤波器的离群点去除方法。

步骤4.1：实现点云的框选，该功能利用了PCL库中框选拾取点云函数pcl::visualization::AreaPickingEvent::AreaPickingEvent

成员函数：bool

pcl::visualization::AreaPickingEvent::getPointsIndices(std::vector<int>&indices)const利用此函数可以获取视窗中选择的点云数据的索引，根据索引又可以获得确定的离散点数据。

步骤4.2：框选点云后得到选择点云的数据，被框选的点云颜色变成红色，标记点的信息发生改变，并将框选后的点云图像与原点云的图像进行比较，发生信息改变的点云不进行绘制与读取从而实现对框选的点云进行删除。

如图7所示进行操作，如图8交互式选择离群点并进行删除，如图9进行滤波器平滑去噪。

步骤4.3：通过Statistical Outlier Removal统计滤波器实现离群点的去除。其工作原理为假定一个点为目标点，通过判断邻域范围内某个点到目标点的距离与阈值的大小关系，决定该点的去除与否。

滤波器首先随机选择中心点p，随后接收输入参数：n—需要考察的临近点数，在该步骤中取n＝1000，以及阈值k作为判断条件，该步骤中取k＝1.0。随后根据公式计算方差s²：

其中，d—n个临近点到假定中心点的距离的平均值。通过判断范围内某一点p’到p的距离d’是否满足条件：d'≤k·s²如果满足条件，则保留该点，继续计算下一个临近点。如果不满足，即该点到中心点的距离超出k个标准差以上，那么该点将被标记为离群点，同时在点云模型中移除。统计滤波器所包含的参数包括：邻域内需计算的点的个数；标准范围与标准差的关系，即离群点阈值等。对邻域进行搜索时，采用k-d树搜索。被移除的离群点可以通过设置参数setNegative(true)来进行获取，以便更为直观地查看去除效果。

采用上述拓展和改进方案的有益效果：能够准确的去除产生的的大面积噪点以及一些会影响三维重构后模型表面的光滑性的噪噪点，处理后的数据点更接近原始采样模型的真实表面。

Claims (5)

1.一种基于散乱图像的作物果实三维点云提取的方法，其特征在于，该方法的步骤如下：

1)用户使用普通拍照方式或三维设计工具获取目标果实作物在不同视角的二维图片素材，相邻2张素材的角度变化幅度应不大于10度为最佳取材；

2)利用数据文件提取模块和图片特征匹配模块，对导入的多幅二维图像进行数据和特征提取，并使用FLANN算法对不同维度的数据进行匹配；

3)生成果实的稀疏点云模型，根据匹配结果，基于SFM算法利用射影定理计算得到相机位置等场景信息进行稀疏重建；

4)生成果实的密集点云模型，通过PMVS算法，运用多视立体重建方法，利用所得到的场景信息与原始照片，不断进行面片生成与筛选从而扩散已有数据点进行密集重建；

5)为使不同平台上果实点云无缝对接，设计了点云文件格式转换器，进一步实现了ply与pcd格式、pcd与txt格式的转换、pcd点云文件加载、显示与编辑；

6)果实密集点云模型的去噪预处理，对于一些滤波去噪无法去除的明显的大量噪点可手动去除噪点，该项步骤支持用户通过鼠标手动选中噪点然后进行删除，并能够保存删除噪点之后的点云图像；

7)果实密集点云模型的自动去噪处理，通过Statistical Outlier Removal统计滤波器处理离群点。

2.根据权利要求1所述基于散乱图像的作物果实三维点云提取的方法，其特征在于，步骤3)中SFM算法生成稀疏点云模型的具体实现：

1)特征提取,采用具有尺度和旋转不变性特点的SIFT算子；

2)匹配和建立track，图像对两两匹配,采用可以对任何维度的数据进行匹配的快速近似最近邻算法实现图片配准；邻近搜索，建立KD树，缩小搜索范围，能提高效率，但也有可能不是最优，所以邻域取值是关键，越大越准确，越大计算量越大，当距离小于一定阈值的时候就认为匹配成功，但是误匹配也比较多，需要采取多种手段剔除：如果最近距离与次近距离的比值大于某个阈值，应该剔除；对匹配点采用采样一致性算法RANSC八点法计算基础矩阵,剔除不满足基础矩阵的匹配对；当匹配关系建立后,需要生成track列表，据此可以生成一个track集合，同时生成track的时候也需要剔除无用匹配：如果一个track包含同一幅图多次，则应该剔除，这是因为同一幅图的多个特征点都匹配了同一个点，则匹配关系肯定是错误的，如果track太少，应该剔除，因为如果只有两幅图有同一个点，那么三维重建的信息过少，容易产生误差；

3)找初始化像对,目的是找到相机基线最大的像对，采用RANSC算法四点法计算单应矩阵，满足单应矩阵的匹配点称为内点，不满足单应矩阵的称为外点,根据单应矩阵公式可知当T越小时，内点占比越高，也就是低视差现象越明显，因此找到一个内点占比最小的像对就是初始化像对，当然它前提必须满足可重建，这个可以通过匹配点个数保证；

4)初始化像对的相对定向，根据RANSC八点法计算本征矩阵，可通过对本征矩阵SVD分解得到第二个图像的相机位置旋转矩阵R和平移向量T，在这一步需要进行畸变校正，然后根据R、T和矫正后的像点坐标三角计算出三维点,这里用到的方法是直接线性变换DLT，可以理解为测绘中的前方交会；

5)加入更多图像，以第三副图为例，根据第四步生成的三维点和第三副图与前两图的track关系，可以反算第三副图的R、T，然后继续三角化计算出更多的三维点，采用的同样是DLT，这样反复重复第5步，最后就会把所有像片的POSE(R、T)和三维点生成；

6)进行光束法平差Bundle Adjustment，是一个非线性优化的过程，目的是使重建误差降低到最小，通过调整POSE和三维点使反向投影差最小，如果相机没有标定,还应该将焦距也参与平差；Bundle Adjustment是一个迭代的过程，在一次迭代过后，将所有三维点反向投影到各自相片的像素坐标并分别与初始坐标比对，如果大于某个阈值，则应将其从track中去掉，如果track中已经小于2个了，则整个track也去掉，一直优化到没有点可去为止。

3.根据权利要求1所述基于散乱图像的作物果实三维点云提取的方法，其特征在于，步骤4)中PMVS算法生成密集点云模型的具体实现：

1)初始特征匹配，生成稀疏的patch，作为种子点；DOG和Harris算子，在每张像片上画格网，格网大小为32×32pixels；在每个格网中选η＝4个兴趣值为局部极大值的点；

a.选出参考影像和其他影像。每张像片，轮流作为参考影像R(P)；在其他像片中选出主光轴与R(P)之间夹角小于60°的像片I(P)；再将参考影像和这些相片进行匹配；

b.选出候选匹配点:对于参考影像上的每个特征点f，寻找其在其他照片上的候选匹配点f’，f’组成集合F；f’与f是由同一种算子检测出并且f’在离同名核线两个像素的范围之内；

P₁,P₂→F line＝F*f 核线方程：line[0]*x+line[1]*y+line[2]＝0

f'到核线line的距离为

c.求模型点坐标，由每一对(f,f’)前方交会求出模型点。计算每个模型点与参考相片摄像机中心的距离，按距离由近到远将模型点排序；

d.生成patch，作为种子点，初始化V(p)，V*(p)；V(p)中的像片符合角度条件，即patch的法向量和patch所在光线的夹角要小于60度。V*(p)中的像片符合相关系数的条件，即patch投影到像片和参考相片上的像之间的相关系数要大于阈值0.4；此时阈值比较低，因为法向量不准确；

e.优化patch的中心坐标和法向量。

f.最大化平均相关系数；优化过程中把patch的中心固定在patch参考影像的光线上，优化自由度为3:patch中心的z坐标，代表法向量的两个角度α、β；

g.更新V(p)，V*(p)如果|V*(p)|≥γ,则认为成功生成了patch；在所有影像上打上大小为2×2pixels的格网cells Ci(x,y)；把patch投影到像片上，记录下patch所在的格网坐标；每个格网有两个存储patch的集合Qi(x,y),Qi*(x,y)，分别存储投影到V(p)，V*(p)的patch；同时从cell中去掉所有的特征点，接下来考虑下一个特征点f；否则,如果|V*(p)|<γ，则认为失败，考虑下一个匹配点f’；每张像片轮流作为参考影像，对于参考影像中的每个特征点生成一个patch；

2)扩散，由稀疏的种子点扩散得到密集的patch；目标是每个格网cell中至少有一个patch；

a.向种子patch所在格网的邻域扩散，若这个邻域中已经存在一个与种子patch距离较近的patch或者这个领域中已经存在一个平均相关系数较大的patch，则不向该邻域扩散；

b.新patch的法向量跟种子patch的法向量相同，新patch的中心是通过邻域格网中心的光线与种子patch所在平面的交点；接下来的步骤与生成种子点相似，即计算V(p)、V*(p)，优化patch，更新V(p)、V*(p)，若V*(p)中的照片个数大于阈值，就认为是成功扩散了一个patch，否则失败；然后继续扩散下一个新patch，直到无法再进行扩散；

3)过滤，去除错误的patch，同一格网中patch的平均相关系数差异大,过滤掉格网中与深度最小的patch距离大、法向量夹角大的patch；将一个patch和它八邻域中的neighborspatches拟合二次曲面，neighbors patches残差之和大于阈值就去掉这个patch；去掉数量较小的patch组：首先根据patch之间在物方的距离，将patch聚类分组，点代表patch，黑色的patch组中patch数量较多，红色的patch组中patch数量小于20个，要去掉像红色这样的patch个数小于20的patch组。

4.根据权利要求1所述基于散乱图像的作物果实三维点云提取的方法，其特征在于，步骤6)中交互式去噪的具体实现：

1)实现点云的框选，该功能利用了PCL库中框选拾取点云函数pcl::visualization::AreaPickingEvent::AreaPickingEvent成员函数：bool pcl::visualization::AreaPickingEvent::getPointsIndices(std::vector<int>&indices)const利用此函数可以获取视窗中选择的点云数据的索引，根据索引又可以获得确定的离散点数据；

2)框选点云后得到选择点云的数据，被框选的点云颜色变成红色，标记点的信息发生改变，并将框选后的点云图像与原点云的图像进行比较，发生信息改变的点云不进行绘制与读取从而实现对框选的点云进行删除。

5.根据权利要求1所述基于散乱图像的作物果实三维点云提取的方法，其特征在于，步骤7)中滤波器去噪的具体实现：

通过Statistical Outlier Removal统计滤波器实现离群点的去除。其工作原理为假定一个点为目标点，通过判断邻域范围内某个点到目标点的距离与阈值的大小关系，决定该点的去除与否；

滤波器首先随机选择中心点p，随后接收输入参数：n—需要考察的临近点数，在该步骤中取n＝1000，以及阈值k作为判断条件，该步骤中取k＝1.0；随后根据公式计算方差：

其中，d—n个临近点到假定中心点的距离的平均值；通过判断范围内某一点p’到p的距离是否满足条件：如果满足条件，则保留该点，继续计算下一个临近点；如果不满足，即该点到中心点的距离超出k个标准差以上，那么该点将被标记为离群点，同时在点云模型中移除；统计滤波器所包含的参数包括：邻域内需计算的点的个数；标准范围与标准差的关系，即离群点阈值等；对邻域进行搜索时，采用k-d树搜索；被移除的离群点可以通过设置参数setNegative为true来进行获取。