CN116524000A - 基于深度学习与立体视觉的玫瑰花朵尺寸测量方法及系统 - Google Patents
基于深度学习与立体视觉的玫瑰花朵尺寸测量方法及系统 Download PDFInfo
- Publication number
- CN116524000A CN116524000A CN202310372492.6A CN202310372492A CN116524000A CN 116524000 A CN116524000 A CN 116524000A CN 202310372492 A CN202310372492 A CN 202310372492A CN 116524000 A CN116524000 A CN 116524000A
- Authority
- CN
- China
- Prior art keywords
- rose
- depth
- image
- size
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000220317 Rosa Species 0.000 title claims abstract description 124
- 238000013135 deep learning Methods 0.000 title claims abstract description 29
- 238000000691 measurement method Methods 0.000 title description 5
- 238000000034 method Methods 0.000 claims abstract description 65
- 230000011218 segmentation Effects 0.000 claims abstract description 63
- 238000003709 image segmentation Methods 0.000 claims abstract description 14
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 238000005520 cutting process Methods 0.000 claims abstract description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 93
- 238000005259 measurement Methods 0.000 claims description 62
- 239000011159 matrix material Substances 0.000 claims description 7
- 241000109329 Rosa xanthina Species 0.000 claims description 6
- 235000004789 Rosa xanthina Nutrition 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 125000004122 cyclic group Chemical group 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度学习与立体视觉的玫瑰花朵尺寸测量方法，包括采集玫瑰花种植行上的深度图像及彩色图像，根据检测得到的预测框裁剪出玫瑰花各单朵的深度图像及彩色图像；对图像进行双掩模分割；对玫瑰花各单朵的彩色图像进行玫瑰花朵的姿态估计，输出符合玫瑰花各单朵姿态的测量基准线，并将图像分割后的深度图像和彩色图像结合相机内外参数转换成玫瑰花各单朵的三维点云，并根据测量基准线进行三维空间内玫瑰花朵点云的姿态调整；求解玫瑰花各单朵姿态调整后的三维点云的最优包围空间，使用尺寸补偿公式以及包围盒的三邻边长计算出玫瑰花朵的直径尺寸。本发明利用彩色图像融合三维点云信息，能够准确获得温室场景下玫瑰花朵的尺寸。
Description
技术领域
本发明涉及图像识别技术领域，尤其是指一种基于深度学习与立体视觉的玫瑰花朵尺寸测量方法及系统。
背景技术
作为玫瑰花朵品质分级的重要评价指标之一，玫瑰花朵的尺寸大小无论是在种植过程还是在最后的分拣销售过程都是需要重视的。传统的玫瑰花朵尺寸测量大部分为人工肉眼观察以及主观经验判断，易造成漏测、误测的问题发生。此外，由于种植规模的扩大以及人工成本的增加，传统依靠人工测量的方法已不适应于时代的发展，所以利用机器视觉、深度学习等人工智能新技术完成玫瑰花朵尺寸测量具有十分广阔的应用前景。
目前，随着深度学习技术在机器视觉领域的快速发展，学者在花卉的识别、分类、花量统计等方向做出众多研究。但在尺寸测量这一方面研究较少。同时在非结构的种植环境中，仅利用彩色图像的图像识别算法很难准确获取玫瑰花朵的尺寸。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术中存在的技术缺陷，而提出一种基于深度学习与立体视觉的玫瑰花朵尺寸测量方法及系统，其利用彩色图像融合三维点云信息，能够准确获得温室场景下玫瑰花朵的尺寸。
为解决上述技术问题，本发明提供了一种基于深度学习与立体视觉的玫瑰花朵尺寸测量方法，包括：
使用深度相机实时采集玫瑰花种植行上的深度图像以及彩色图像，利用目标识别算法检测彩色图像上的玫瑰花朵，并根据所述目标识别算法输出的预测框裁剪出玫瑰花各单朵的深度图像以及彩色图像；
利用基于深度直方图的自适应阈值分割算法和基于LAB颜色模型的K-Means像素聚类算法进行双掩模分割，其中，利用基于深度直方图的自适应阈值分割算法对玫瑰花各单朵的深度图像进行粗分割，得到粗分割掩膜，将粗分割掩膜映射至彩色图像后，利用基于LAB颜色模型的K-Means像素聚类算法对玫瑰花各单朵的彩色图像进行细分割；
利用基于轮廓特征点的花朵姿态估计算法对玫瑰花各单朵的彩色图像进行玫瑰花朵的姿态估计，输出符合玫瑰花各单朵姿态的测量基准线，并将图像分割后的深度图像和彩色图像结合相机内外参数转换成玫瑰花各单朵的三维点云，并根据测量基准线进行三维空间内玫瑰花朵点云的姿态调整；
使用AABB包围盒算法求解玫瑰花各单朵姿态调整后的三维点云的最优包围空间，使用尺寸补偿公式以及包围盒的三邻边长计算出玫瑰花朵的直径尺寸。
在本发明的一个实施例中，在根据所述目标识别算法输出的预测框裁剪出玫瑰花各单朵的深度图像以及彩色图像之前，对所述预测框进行放大处理。
在本发明的一个实施例中，利用基于深度直方图的自适应阈值分割算法对玫瑰花各单朵的深度图像进行粗分割的方法，包括：
使用式(1)剔除异常值：
其中，depthi表示深度直方图对应深度值，numi表示depthi出现的频次，min_num表示深度值出现频次的最小值，true表示有效深度值，flase表示需剔除的异常深度值；
对排序后的有效深度值depthi进行一阶差分，获得相邻深度值梯度Δdepthi：
Δdepthi＝depthi+1-depthi (2)
选取最大的深度值梯度Δdepthmax，分别记录其对应的两个深度值为depthj和depthj+1,计算Δdepthi的方差vΔdepth:
其中，i表示深度值梯度的下标编号，n表示深度值梯度的总数量,j表示算法循环求解过程中计算的最大深度梯度对应的两个连续的深度值下标；
判断vΔdepth是否小于设定的方差阈值，若否，则剔除最大深度值梯度后循环粗分割的步骤，若是，则以记录的连续两个深度值depthm和depthn为阈值，计算阈值范围内包含的像素数目占所有像素的比例pm，n，以pm，n最大的阈值作为分割前景后景的深度值阈值；
其中，m表示最大深度分割阈值的深度值下标，n表示最小深度分割阈值的深度值下标。
在本发明的一个实施例中，利用基于LAB颜色模型的K-Means像素聚类算法对玫瑰花各单朵的彩色图像进行细分割的方法，包括：
将彩色图像转换为LAB图像，选取LAB颜色模型的A通道图像作为聚类算法的输入数据，聚类之前，对原始粗掩模覆盖的彩色图像进行预处理操作，其中，预处理操作包括图像取反、颜色空间转换和直方图均衡化；
对预处理后的图像进行图像卷积操作，获得玫瑰花朵与前后景之间的差异性特征。
在本发明的一个实施例中，利用基于轮廓特征点的花朵姿态估计算法对玫瑰花各单朵的彩色图像进行玫瑰花朵的姿态估计的方法，包括：
对图像分割后得到的玫瑰花各单朵的彩色图像使用轮廓检测算法检测出玫瑰花各单朵像素的边缘轮廓；
对边缘轮廓进行拟合，得到拟合后的轮廓上的所有轮廓点；
使用最小二乘法根据所有轮廓点拟合出这些点的直线，得到直线的斜率以及直线上一点的二维坐标，该直线即为玫瑰花单朵的姿态估计指示线，并对玫瑰花各单朵的彩色图像使用凸包检测算法求取凸包上的点，凸包上的点为轮廓特征点，将轮廓特征点两两配对组成线段，线段为候选测量基准线；
根据候选测量基准线确定最终的测量基准线。
在本发明的一个实施例中，根据候选测量基准线确定最终的测量基准线的方法，包括：
计算所有轮廓特征点到姿态估计指示线的距离，将距离超过设定阈值的轮廓特征点去除，得到筛选后的轮廓特征点；
计算两两轮廓特征点之间的线段，即候选测量基准线与姿态估计指示线的夹角，不断循环找出夹角最小的候选测量基准线作为最终的测量基准线。
在本发明的一个实施例中，根据测量基准线进行三维空间内玫瑰花朵点云的姿态调整的方法，包括：
将点云进行翻转，；
使用AABB包围盒算法对点云进行最优包围空间求解，得到包围盒中心点(xo，yo，zo)，以包围盒的3条邻边分别作为x轴，y轴，z轴，得到原始坐标系；
将玫瑰花朵的姿态调整为绕z轴的姿态调整。
在本发明的一个实施例中，将玫瑰花朵的姿态调整为绕z轴的姿态的方法，包括：
将测量基准线投影至xoy平面内；
计算测量基准线投影与x轴的夹角；
根据夹角计算姿态调整矩阵；
利用姿态调整矩阵进行绕Z轴的姿态调整。
在本发明的一个实施例中，使用尺寸补偿公式以及包围盒的三邻边长计算出玫瑰花朵的直径尺寸的方法，包括：
使用AABB包围盒算法求解玫瑰花各单朵姿态调整后的三维点云的最优包围空间，得到3条邻边长l1，l2，l3，使用尺寸补偿公式对玫瑰花单朵三维点云的y轴的姿态进行调整，以计算得到的两个值作为玫瑰花单朵的尺寸。
此外，本发明还提供一种基于深度学习与立体视觉的玫瑰花朵尺寸测量系统，包括：
目标检测模块，其用于使用深度相机实时采集玫瑰花种植行上的深度图像以及彩色图像，利用目标识别算法检测彩色图像上的玫瑰花朵，并根据所述目标识别算法输出的预测框裁剪出玫瑰花各单朵的深度图像以及彩色图像；
图像分割模块，其用于利用基于深度直方图的自适应阈值分割算法和基于LAB颜色模型的K-Means像素聚类算法进行双掩模分割，其中，利用基于深度直方图的自适应阈值分割算法对玫瑰花各单朵的深度图像进行粗分割，得到粗分割掩膜，将粗分割掩膜映射至彩色图像后，利用基于LAB颜色模型的K-Means像素聚类算法对玫瑰花各单朵的彩色图像进行细分割；
姿态调整模块，其用于利用基于轮廓特征点的花朵姿态估计算法对玫瑰花各单朵的彩色图像进行玫瑰花朵的姿态估计，输出符合玫瑰花各单朵姿态的测量基准线，并将图像分割后的深度图像和彩色图像结合相机内外参数转换成玫瑰花各单朵的三维点云，并根据测量基准线进行三维空间内玫瑰花朵点云的姿态调整；
尺寸测量模块，其用于使用AABB包围盒算法求解玫瑰花各单朵姿态调整后的三维点云的最优包围空间，使用尺寸补偿公式以及包围盒的三邻边长计算出玫瑰花朵的直径尺寸。
本发明的上述技术方案相比现有技术具有以下优点：
本发明所述的一种基于深度学习与立体视觉的玫瑰花朵尺寸测量方法及系统，其利用彩色图像融合三维点云信息，能够准确获得温室场景下玫瑰花朵的尺寸。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中
图1是本发明提出的一种基于深度学习与立体视觉的玫瑰花朵尺寸测量方法的流程示意图。
图2是本发明提出的一种基于深度学习与立体视觉的玫瑰花朵尺寸测量方法的框图。
图3是本发明提出的对目标识别算法输出的预测框做放大处理的示意图。
图4是本发明提出的利用基于深度直方图的自适应阈值分割算法对玫瑰花各单朵的深度图像进行粗分割的方法流程图。
图5是本发明提出的粗分割掩模后，分割图像中深度值与玫瑰花朵相差较大的前景与后景效果图。
图6是本发明提出的双掩模分割后的效果图。
图7是本发明提出的利用基于轮廓特征点的花朵姿态估计算法对玫瑰花各单朵的彩色图像进行玫瑰花朵的姿态估计的方法流程图。
图8是本发明提出的根据候选测量基准线确定最终的测量基准线的方法示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
参照图1和图2所示，本发明实施例提供一种基于深度学习与立体视觉的玫瑰花朵尺寸测量方法，包括以下步骤：
步骤S1：使用深度相机实时采集玫瑰花种植行上的深度图像以及彩色图像，利用目标识别算法检测彩色图像上的玫瑰花朵，并根据所述目标识别算法输出的预测框裁剪出玫瑰花各单朵的深度图像以及彩色图像；
步骤S2：利用基于深度直方图的自适应阈值分割算法和基于LAB颜色模型的K-Means像素聚类算法进行双掩模分割，其中，利用基于深度直方图的自适应阈值分割算法对玫瑰花各单朵的深度图像进行粗分割，得到粗分割掩膜，将粗分割掩膜映射至彩色图像后，利用基于LAB颜色模型的K-Means像素聚类算法对玫瑰花各单朵的彩色图像进行细分割；
步骤S3：利用基于轮廓特征点的花朵姿态估计算法对玫瑰花各单朵的彩色图像进行玫瑰花朵的姿态估计，输出符合玫瑰花各单朵姿态的测量基准线，并将图像分割后的深度图像和彩色图像结合相机内外参数转换成玫瑰花各单朵的三维点云，并根据测量基准线进行三维空间内玫瑰花朵点云的姿态调整；
步骤S4：使用AABB包围盒算法求解玫瑰花各单朵姿态调整后的三维点云的最优包围空间，使用尺寸补偿公式以及包围盒的三邻边长计算出玫瑰花朵的直径尺寸。
本发明所述的一种基于深度学习与立体视觉的玫瑰花朵尺寸测量方法及系统，其利用彩色图像融合三维点云信息，能够准确获得温室场景下玫瑰花朵的尺寸。
其中，步骤S1具体可描述成使用深度相机实时采集玫瑰花种植行上的深度图像以及彩色图像，利用目标识别算法检测彩色图像上的各玫瑰花单朵，根据算法输出的预测框裁剪出玫瑰花各单朵的深度图像以及彩色图像。为了提高尺寸测量结果的准确性，减少目标识别算法的准确率对尺寸测量结果的影响，本实施例对目标识别算法输出的预测框做进一步的放大，如图3所示，优选地，对宽度增加10个像素，高度增加20个像素。
其中，步骤S2具体可描述成利用基于深度直方图的自适应阈值分割算法和基于LAB颜色模型的K-Means像素聚类算法对玫瑰花各单朵的深度图像和彩色图像进行粗细双掩模分割。首先对玫瑰花各单朵的深度图像利用基于深度直方图的自适应阈值分割算法进行粗分割，过滤前后景的干扰，得到粗分割掩膜。再将粗分割掩膜映射至彩色图像，在彩色图像上进行粗分割后，利用基于LAB颜色模型的K-Means像素聚类算法对粗分割后的玫瑰花各单朵的彩色图像进行细分割，过滤玫瑰花朵周围枝叶像素的干扰。最终利用粗细双掩膜对玫瑰花各单朵的深度图像和彩色图像均做出两次分割，使得深度图像上仅保留玫瑰花朵的深度值，彩色图像上仅保留玫瑰花朵的像素值。
参照图4所示，上述利用基于深度直方图的自适应阈值分割算法对玫瑰花各单朵的深度图像进行粗分割的方法，包括：
受深度相机自身性能影响，图像对应像素的深度图会存在空洞等异常，在进行分析前运用式(1)剔除异常值。
其中，depthi表示深度直方图对应深度值，numi表示depthi出现的频次，min_num表示深度值出现频次的最小值，true表示有效深度值，flase表示需剔除的异常深度值。为放大花朵与前景后景深度值之间的差距，缩小花朵自身像素范围内的深度值差距，对排序后的有效深度值depthi进行一阶差分，获得相邻深度值梯度Δdepthi，如式(2)所示。选取最大的深度值梯度Δdepthmax，分别记录其对应的两个深度值为depthj和depthj+1。计算Δdepthi的方差vΔdepth，如式(3)所示。判断vΔdepth是否小于指定方差阈值，若不是剔除最大深度值梯度后循环上述步骤，若是，则以记录的连续两个深度值depthm和depthn为阈值，计算阈值范围内包含的像素数目占所有像素的比例pm，n，如式(4)所示。以pm，n最大的阈值作为分割前景后景的深度值阈值。
Δdepthi＝depthi+1-depthi (2)
其中，depthi表示深度直方图对应深度值，numi表示depthi出现的频次，min_num表示深度值出现频次的最小值，true表示有效深度值，flase表示需剔除的异常深度值，i表示深度值梯度的下标编号，n表示深度值梯度的总数量,j表示算法循环求解过程中计算的最大深度梯度对应的两个连续的深度值下标，m表示最大深度分割阈值的深度值下标，n表示最小深度分割阈值的深度值下标。
使用基于深度直方图自适应阈值分割算法获得粗分割掩模，分割图像中深度值与玫瑰花朵相差较大的前景与后景，效果如图5所示。
上述利用基于LAB颜色模型的K-Means像素聚类算法对玫瑰花各单朵的彩色图像进行细分割的方法，包括：
考虑到玫瑰花朵的品种不同，花朵颜色也会发生变化。为使得聚类算法受花朵颜色影响较小，所以将RGB图像转换为LAB图像。因为大部分玫瑰花朵的颜色接近于红色，而其枝叶的颜色接近于绿色，两者均接近A通道的两个极值，故此处选取LAB颜色模型的A通道图像作为聚类算法的输入数据。
像素聚类前，为使得聚类效果更加准确，对原始粗掩模覆盖的RGB图像进行预处理操作，增大花朵与前后景像素之间的区别。预处理操作包括图像取反、颜色空间转换、直方图均衡化。
对预处理后的图像进行图像卷积操作，获得玫瑰花朵与前后景之间的差异性特征，同时消除因特征之间的相关性而产生的冗余，减少像素聚类的计算复杂度，提高聚类速度。
预处理之后，按如下操作：
1.对粗分割后的RGB图像进行图像取反、颜色空间转换、直方图均衡化的预处理。通过图像卷积提取特征，将特征图像其表示为
其中，h表示RGB图像的高度，w表示RGB图像的宽度。
2.由于特征图像中掩模像素与枝叶像素数值相近，而花朵像素与前者差距明显，故此处确定聚类簇数为2，记为：
C＝{c1，c2} (6)
其中，c1为花朵像素的聚类中心，c2为剩余像素的聚类中心。
3.花朵像素一般位于图像中心，为加快算法收敛，c1的初始值为图像中心9个像素的均值，c2的初始值为图像四个角上共12个像素的均值。
其中，sum()表示对矩阵内所有元素求和，其中[]表示取整运算，h表示RGB图像的高度，w表示RGB图像的宽度。
4.计算特征图像中的每一个值fi，j与c1、c2的欧几里得距离比较大小，并将值fi，j划入距离最小的簇中，形成两个集合F1、F2：
5.计算集合F1、F2内所有值的平均数，并将平均数重新分配给c1、c2：
其中，|F1|为花朵像素集合内的像素数量，|F2|为剩余像素集合内的像素数量。
6.重复步骤4、5，直至c1、c2的值基本不变为止。
7.计算预处理后的图像每一像素与c1、c2的欧几里得距离，将像素聚类于距离最小的中心。基于聚类后的像素得出细分割掩模，分割出残余前后景图像，最后的分割效果如图6所示。
其中，步骤S3具体可描述成利用基于轮廓特征点的花朵姿态估计算法对玫瑰花各单朵的彩色图像进行玫瑰花朵的姿态估计，输出符合玫瑰花各单朵姿态的测量基准线。将图像分割后的深度图像和彩色图像结合相机内外参数转换成玫瑰花各单朵的三维点云，并根据测量基准线进行三维空间内玫瑰花朵点云的姿态调整。
参照图7所示，上述利用基于轮廓特征点的花朵姿态估计算法对玫瑰花各单朵的彩色图像进行玫瑰花朵的姿态估计的方法，包括：首先对图像分割后得到的玫瑰花各单朵的彩色图像使用轮廓检测算法检测出玫瑰花各单朵像素的边缘轮廓。为减小计算量，对边缘轮廓进行拟合，得到拟合后的轮廓上的所有轮廓点。根据所有轮廓点使用最小二乘法拟合出这些点的直线，得到直线的斜率以及直线上一点的二维坐标。此处该直线即为玫瑰花单朵的姿态估计指示线。之后再对玫瑰花各单朵的彩色图像使用凸包检测算法求取凸包上的点，此处将凸包上的点叫做轮廓特征点。再将轮廓特征点两两配对组成线段，而这些线段就叫做候选测量基准线。根据候选测量基准线确定最终的测量基准线。
进一步地，参照图8所示，上述根据候选测量基准线确定最终的测量基准线的方法，包括：首先计算所有轮廓特征点到姿态估计指示线的距离，将距离超过10的轮廓特征点去除，进行初步的筛选。其次计算两两轮廓特征点之间的线段，即候选测量基准线与姿态估计指示线的夹角，不断循环找出夹角最小的候选测量基准线作为最终的测量基准线。
上述根据测量基准线进行三维空间内玫瑰花朵点云的姿态调整的方法，包括：
首先使用翻转点云，方便后续计算；再使用AABB包围盒算法对花朵点云进行最优包围空间求解，得到包围盒中心点(xo，yo，zo)；以包围盒的3条邻边分别作为x轴，y轴，z轴，得到原始坐标系。
对玫瑰花朵的姿态调整为绕z轴的姿态调整：首先将测量基准线投影至xoy平面内，计算出方向向量(m1-m2，n1-n2，0)，其次计算测量基准线投影与x轴的夹角β＝α＝arctana，最后计算姿态调整矩阵利用姿态调整矩阵进行绕Z轴的姿态调整。
步骤S4具体可描述成使用AABB包围盒算法求解玫瑰花各单朵姿态调整后的三维点云的最优包围空间，得到求出3条邻边长l1，l2，l3，使用尺寸补偿公式对玫瑰花单朵三维点云的y轴的姿态进行调整，以计算出的两个值作为玫瑰花单朵的尺寸。
下面对本发明实施例公开的一种基于深度学习与立体视觉的玫瑰花朵尺寸测量系统进行介绍，下文描述的一种基于深度学习与立体视觉的玫瑰花朵尺寸测量系统与上文描述的一种基于深度学习与立体视觉的玫瑰花朵尺寸测量方法可相互对应参照。
本发明还提供一种基于深度学习与立体视觉的玫瑰花朵尺寸测量系统，包括：
目标检测模块，其用于使用深度相机实时采集玫瑰花种植行上的深度图像以及彩色图像，利用目标识别算法检测彩色图像上的玫瑰花朵，并根据所述目标识别算法输出的预测框裁剪出玫瑰花各单朵的深度图像以及彩色图像；
图像分割模块，其用于利用基于深度直方图的自适应阈值分割算法和基于LAB颜色模型的K-Means像素聚类算法进行双掩模分割，其中，利用基于深度直方图的自适应阈值分割算法对玫瑰花各单朵的深度图像进行粗分割，得到粗分割掩膜，将粗分割掩膜映射至彩色图像后，利用基于LAB颜色模型的K-Means像素聚类算法对玫瑰花各单朵的彩色图像进行细分割；
姿态调整模块，其用于利用基于轮廓特征点的花朵姿态估计算法对玫瑰花各单朵的彩色图像进行玫瑰花朵的姿态估计，输出符合玫瑰花各单朵姿态的测量基准线，并将图像分割后的深度图像和彩色图像结合相机内外参数转换成玫瑰花各单朵的三维点云，并根据测量基准线进行三维空间内玫瑰花朵点云的姿态调整；
尺寸测量模块，其用于使用AABB包围盒算法求解玫瑰花各单朵姿态调整后的三维点云的最优包围空间，使用尺寸补偿公式以及包围盒的三邻边长计算出玫瑰花朵的直径尺寸。
本实施例的基于深度学习与立体视觉的玫瑰花朵尺寸测量系统用于实现前述的基于深度学习与立体视觉的玫瑰花朵尺寸测量方法的实施例部分，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
另外，由于本实施例的基于深度学习与立体视觉的玫瑰花朵尺寸测量系统用于实现前述的基于深度学习与立体视觉的玫瑰花朵尺寸测量方法，因此其作用与上述方法的作用相对应，这里不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种基于深度学习与立体视觉的玫瑰花朵尺寸测量方法，其特征在于：包括：
使用深度相机实时采集玫瑰花种植行上的深度图像以及彩色图像，利用目标识别算法检测彩色图像上的玫瑰花朵，并根据所述目标识别算法输出的预测框裁剪出玫瑰花各单朵的深度图像以及彩色图像；
利用基于深度直方图的自适应阈值分割算法和基于LAB颜色模型的K-Means像素聚类算法进行双掩模分割，其中，利用基于深度直方图的自适应阈值分割算法对玫瑰花各单朵的深度图像进行粗分割，得到粗分割掩膜，将粗分割掩膜映射至彩色图像后，利用基于LAB颜色模型的K-Means像素聚类算法对玫瑰花各单朵的彩色图像进行细分割；
利用基于轮廓特征点的花朵姿态估计算法对玫瑰花各单朵的彩色图像进行玫瑰花朵的姿态估计，输出符合玫瑰花各单朵姿态的测量基准线，并将图像分割后的深度图像和彩色图像结合相机内外参数转换成玫瑰花各单朵的三维点云，并根据测量基准线进行三维空间内玫瑰花朵点云的姿态调整；
使用AABB包围盒算法求解玫瑰花各单朵姿态调整后的三维点云的最优包围空间，使用尺寸补偿公式以及包围盒的三邻边长计算出玫瑰花朵的直径尺寸。
2.根据权利要求1所述的一种基于深度学习与立体视觉的玫瑰花朵尺寸测量方法，其特征在于：在根据所述目标识别算法输出的预测框裁剪出玫瑰花各单朵的深度图像以及彩色图像之前，对所述预测框进行放大处理。
3.根据权利要求1或2所述的一种基于深度学习与立体视觉的玫瑰花朵尺寸测量方法，其特征在于：利用基于深度直方图的自适应阈值分割算法对玫瑰花各单朵的深度图像进行粗分割的方法，包括：
使用式(1)剔除异常值：
其中，depthi表示深度直方图对应深度值，numi表示depthi出现的频次，min_num表示深度值出现频次的最小值，true表示有效深度值，flase表示需剔除的异常深度值；
对排序后的有效深度值depthi进行一阶差分，获得相邻深度值梯度Δdepthi：
Δdepthi＝depthi+1-depthi (2)
选取最大的深度值梯度Δdepthmax，分别记录其对应的两个深度值为depthj和depthj+1，计算Δdepthi的方差vΔdepth：
其中，i表示深度值梯度的下标编号，n表示深度值梯度的总数量，j表示算法循环求解过程中计算的最大深度梯度对应的两个连续的深度值下标；
判断vΔdepth是否小于设定的方差阈值，若否，则剔除最大深度值梯度后循环粗分割的步骤，若是，则以记录的连续两个深度值depthm和depthn为阈值，计算阈值范围内包含的像素数目占所有像素的比例pm，n，以pm，n最大的阈值作为分割前景后景的深度值阈值；
其中，m表示最大深度分割阈值的深度值下标，n表示最小深度分割阈值的深度值下标。
4.根据权利要求1或2所述的一种基于深度学习与立体视觉的玫瑰花朵尺寸测量方法，其特征在于：利用基于LAB颜色模型的K-Means像素聚类算法对玫瑰花各单朵的彩色图像进行细分割的方法，包括：
将彩色图像转换为LAB图像，选取LAB颜色模型的A通道图像作为聚类算法的输入数据，聚类之前，对原始粗掩模覆盖的彩色图像进行预处理操作，其中，预处理操作包括图像取反、颜色空间转换和直方图均衡化；
对预处理后的图像进行图像卷积操作，获得玫瑰花朵与前后景之间的差异性特征。
5.根据权利要求1或2所述的一种基于深度学习与立体视觉的玫瑰花朵尺寸测量方法，其特征在于：利用基于轮廓特征点的花朵姿态估计算法对玫瑰花各单朵的彩色图像进行玫瑰花朵的姿态估计的方法，包括：
对图像分割后得到的玫瑰花各单朵的彩色图像使用轮廓检测算法检测出玫瑰花各单朵像素的边缘轮廓；
对边缘轮廓进行拟合，得到拟合后的轮廓上的所有轮廓点；
使用最小二乘法根据所有轮廓点拟合出这些点的直线，得到直线的斜率以及直线上一点的二维坐标，该直线即为玫瑰花单朵的姿态估计指示线，并对玫瑰花各单朵的彩色图像使用凸包检测算法求取凸包上的点，凸包上的点为轮廓特征点，将轮廓特征点两两配对组成线段，线段为候选测量基准线；
根据候选测量基准线确定最终的测量基准线。
6.根据权利要求5所述的一种基于深度学习与立体视觉的玫瑰花朵尺寸测量方法，其特征在于：根据候选测量基准线确定最终的测量基准线的方法，包括：
计算所有轮廓特征点到姿态估计指示线的距离，将距离超过设定阈值的轮廓特征点去除，得到筛选后的轮廓特征点；
计算两两轮廓特征点之间的线段，即候选测量基准线与姿态估计指示线的夹角，不断循环找出夹角最小的候选测量基准线作为最终的测量基准线。
7.根据权利要求1或2所述的一种基于深度学习与立体视觉的玫瑰花朵尺寸测量方法，其特征在于：根据测量基准线进行三维空间内玫瑰花朵点云的姿态调整的方法，包括：
将点云进行翻转，；
使用AABB包围盒算法对点云进行最优包围空间求解，得到包围盒中心点(xo，yo，zo)，以包围盒的3条邻边分别作为x轴，y轴，z轴，得到原始坐标系；
将玫瑰花朵的姿态调整为绕z轴的姿态调整。
8.根据权利要求7所述的一种基于深度学习与立体视觉的玫瑰花朵尺寸测量方法，其特征在于：将玫瑰花朵的姿态调整为绕z轴的姿态的方法，包括：
将测量基准线投影至xoy平面内；
计算测量基准线投影与x轴的夹角；
根据夹角计算姿态调整矩阵；
利用姿态调整矩阵进行绕Z轴的姿态调整。
9.根据权利要求1或2所述的一种基于深度学习与立体视觉的玫瑰花朵尺寸测量方法，其特征在于：使用尺寸补偿公式以及包围盒的三邻边长计算出玫瑰花朵的直径尺寸的方法，包括：
使用AABB包围盒算法求解玫瑰花各单朵姿态调整后的三维点云的最优包围空间，得到3条邻边长l1，l2，l3，使用尺寸补偿公式对玫瑰花单朵三维点云的y轴的姿态进行调整，以计算得到的两个值作为玫瑰花单朵的尺寸。
10.一种基于深度学习与立体视觉的玫瑰花朵尺寸测量系统，其特征在于：包括：
目标检测模块，其用于使用深度相机实时采集玫瑰花种植行上的深度图像以及彩色图像，利用目标识别算法检测彩色图像上的玫瑰花朵，并根据所述目标识别算法输出的预测框裁剪出玫瑰花各单朵的深度图像以及彩色图像；
图像分割模块，其用于利用基于深度直方图的自适应阈值分割算法和基于LAB颜色模型的K-Means像素聚类算法进行双掩模分割，其中，利用基于深度直方图的自适应阈值分割算法对玫瑰花各单朵的深度图像进行粗分割，得到粗分割掩膜，将粗分割掩膜映射至彩色图像后，利用基于LAB颜色模型的K-Means像素聚类算法对玫瑰花各单朵的彩色图像进行细分割；
姿态调整模块，其用于利用基于轮廓特征点的花朵姿态估计算法对玫瑰花各单朵的彩色图像进行玫瑰花朵的姿态估计，输出符合玫瑰花各单朵姿态的测量基准线，并将图像分割后的深度图像和彩色图像结合相机内外参数转换成玫瑰花各单朵的三维点云，并根据测量基准线进行三维空间内玫瑰花朵点云的姿态调整；
尺寸测量模块，其用于使用AABB包围盒算法求解玫瑰花各单朵姿态调整后的三维点云的最优包围空间，使用尺寸补偿公式以及包围盒的三邻边长计算出玫瑰花朵的直径尺寸。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310372492.6A CN116524000A (zh) | 2023-04-10 | 2023-04-10 | 基于深度学习与立体视觉的玫瑰花朵尺寸测量方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310372492.6A CN116524000A (zh) | 2023-04-10 | 2023-04-10 | 基于深度学习与立体视觉的玫瑰花朵尺寸测量方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116524000A true CN116524000A (zh) | 2023-08-01 |
Family
ID=87393213
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310372492.6A Pending CN116524000A (zh) | 2023-04-10 | 2023-04-10 | 基于深度学习与立体视觉的玫瑰花朵尺寸测量方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116524000A (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111524193A (zh) * | 2020-04-17 | 2020-08-11 | 西安交通大学 | 一种物体二维尺寸的测量方法及测量装置 |
| CN113112504A (zh) * | 2021-04-08 | 2021-07-13 | 浙江大学 | 一种植物点云数据分割方法及系统 |
-
2023
- 2023-04-10 CN CN202310372492.6A patent/CN116524000A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111524193A (zh) * | 2020-04-17 | 2020-08-11 | 西安交通大学 | 一种物体二维尺寸的测量方法及测量装置 |
| CN113112504A (zh) * | 2021-04-08 | 2021-07-13 | 浙江大学 | 一种植物点云数据分割方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 崔明;陈仕雄;李民涛;: "基于图像处理的草莓花朵识别算法研究", 数字技术与应用, no. 12, 25 December 2019 (2019-12-25), pages 119 - 121 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109961049B (zh) | 一种复杂场景下香烟品牌识别方法 | |
| CN109872397B (zh) | 一种基于多目立体视觉的飞机零件的三维重建方法 | |
| CN109034017B (zh) | 头部姿态估计方法及机器可读存储介质 | |
| CN107862667B (zh) | 一种基于高分辨率遥感影像的城市阴影检测与去除方法 | |
| CN111724433B (zh) | 一种基于多目视觉的作物表型参数提取方法及系统 | |
| CN113128405A (zh) | 一种结合语义分割与点云处理的植物识别与模型构建方法 | |
| CN110232389B (zh) | 一种基于绿色作物特征提取不变性的立体视觉导航方法 | |
| CN110992381A (zh) | 一种基于改进Vibe+算法的运动目标背景分割方法 | |
| Li et al. | An overlapping-free leaf segmentation method for plant point clouds | |
| CN109146948A (zh) | 基于视觉的作物长势表型参数量化与产量相关性分析方法 | |
| CN113298833A (zh) | 目标物点云特征线面提取方法及系统 | |
| CN113192179B (zh) | 一种基于双目立体视觉的三维重建方法 | |
| CN109711268B (zh) | 一种人脸图像筛选方法及设备 | |
| CN110263794B (zh) | 基于数据增强的目标识别模型的训练方法 | |
| CN110400322A (zh) | 基于颜色和三维几何信息的水果点云分割方法 | |
| CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN112164145A (zh) | 基于点云数据快速提取室内三维线段结构的方法 | |
| CN111242026A (zh) | 一种基于空间层次感知模块和度量学习的遥感图像目标检测方法 | |
| CN111354077A (zh) | 一种基于双目视觉的三维人脸重建方法 | |
| CN117853722A (zh) | 一种融合超像素信息的钢材金相组织分割方法 | |
| CN113139557A (zh) | 一种基于二维多元经验模态分解的特征提取方法 | |
| CN116523898A (zh) | 一种基于三维点云的烟草表型性状提取方法 | |
| CN117274167A (zh) | 一种基于三维信息的成形焊缝外观缺陷提取方法 | |
| CN117011381A (zh) | 基于深度学习和立体视觉的实时手术器械位姿估计方法与系统 | |
| CN117541786A (zh) | 一种融合多源点云数据的单株植被精细化分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |