CN208922290U - 基于rgb-d相机的马铃薯图像采集装置 - Google Patents

Abstract

本实用新型涉及一种基于RGB‑D相机的马铃薯图像采集装置，包括图像采集模块、光源、样本托、暗箱、电缆和计算机；图像采集模块包括三个RGB‑D相机；样本托位于暗箱底板中心位置，样本托的中心轴与暗箱的底板平面垂直；马铃薯样本的尾部与样本托接触，贯穿马铃薯样本顶部到尾部的中心轴与样本托的中心轴重合；图像采集模块固定在样本托上方且与样本托的中心轴垂直的平面上，三个相机分别固定在以样本托的中心轴与图像采集模块所在平面的交点为圆心的圆周上，每个相机的镜头平面与样本托的中心轴间的夹角相等，且范围为10°～45°。光源固定在图像采集模块的上方，光源所在平面的中心垂线与样本托的中心轴重合；图像采集模块和计算机通过电缆相连接。

Description

基于RGB-D相机的马铃薯图像采集装置

技术领域

本实用新型涉及一种马铃薯图像采集装置，尤其是一种基于多视角RGB-D相机的马铃薯图像采集装置。

背景技术

马铃薯是世界上除小麦、玉米和水稻之外的第四大粮食作物。在中国，为了大力推进马铃薯的主粮化进程，在生产环节，采取了大量措施以提高马铃薯的种植面积、单产水平和总产量，促进了马铃薯生产全过程中耕种和收获阶段的机械化与自动化的大力发展，但是马铃薯种薯播前处理阶段的自动化水平还不够高。

在马铃薯种植中，优质的种薯是获得高产的基本保障。经研究，用于播种的种薯，单个重量50～70g时可获得较高的产出，单个重量>70g时增产效果不明显，但是成本增加，因此大种薯直接用于播种造成了原料浪费和经济损失。生产适宜大小的种薯需要控制播种密度，且易受品种、土壤环境、气候条件和耕作制度等多种因素的影响，其成熟的技术在中国尚未大面积普及，因此中国用于播种的马铃薯存在大量大种薯。在播种前可对大种薯进行切块处理，其优势是，能促进块茎内外的氧气交换，破除休眠，使种薯提早发芽出苗，苗齐、苗壮，有利于缩短马铃薯的生长期；且可以充分利用芽眼，降低成本，提高经济效益。

根据观察总结，芽眼在马铃薯表面的分布规律为：顶部芽眼较密集，而尾部几乎没有芽眼；顶部到尾部间的区域所分布的芽眼为侧芽，侧芽数量从顶部到尾部逐渐减少。

目前，马铃薯种薯的切块方式主要有人工切块和机械切块两种。人工切块是由人眼观察种薯芽眼的分布，然后判断切块路径并人工执行。这种切块方式依赖工作人员的经验判断，种薯芽眼利用率不稳定，且劳动强度大，工作效率低，人工成本高。机械切块相对人工切块提高了切块速度，但是切块前缺乏对种薯芽眼位置的智能识别，所得薯块上随机的存在0个或多个芽眼，需要人工进一步分拣剔除，工作效率较低，且造成了一定量的种薯浪费。

因此，马铃薯种薯的芽眼识别及定位对实现自动化切块具有重要意义。

郁志宏等(郁志宏,郝慧灵,张宝超.基于欧氏距离的发芽马铃薯无损检测研究[J].农机化研究,2015,37(11):174-177.)基于机器视觉系统采集发芽马铃薯的二维图像，然后利用欧氏距离的算法分割并标记出发芽部位，识别正确率达94％。

田海韬(田海韬,赵军,蒲富鹏.马铃薯芽眼图像的分割与定位方法[J].浙江农业学报,2016,28(11):1947-1953.)等基于马铃薯的二维图像识别芽眼。首先使用欧氏距离算法在彩色空间图像上分割芽眼区域，同时对灰度空间图像进行图像模糊增强以后采用动态阈值法分割芽眼区域，结合两个空间的分割结果定位出芽眼的位置，识别正确率达到96％。

上述研究从二维图像的角度识别并定位马铃薯芽眼，达到了较好的效果。但是马铃薯具备三维立体结构，将二维图像上的识别结果直接应用到马铃薯切块会产生一定的误差。因此，在基于二维图定位马铃薯芽眼的基础上，将其投影到三维空间，从而获得芽眼相对于马铃薯样本的三维坐标是有必要的。

公布号为CN108053485A的专利公开了“一种基于轮廓图像的马铃薯三维建模方法”，通过提取视角相互垂直的两组二维图像轮廓上的角点，并筛选得到特征点。用特征点建模生成马铃薯外形骨架，从而创建和拾取闭合曲面，实体化得到三维模型。

公布号为CN106228612A的专利公开了“一种利用定轴旋转轮廓图重建马铃薯三维表面的方法和装置”，该专利依次采集马铃薯按一定细分角度旋转得到的一组二维图像，并提取轮廓，拼接所得轮廓并拟合得到马铃薯的三维表面图像。

上述两个专利均是在二维图像集合的基础上拟合生成马铃薯的三维模型。专利CN108053485A特点是以视角相互垂直的两组马铃薯轮廓为基础拟合生成三维模型，其相对于将马铃薯拟合为椭圆的方法提高了建模的精度，但由于马铃薯形状不规则，选取相互垂直的两个视角的轮廓时具有随机偶然性，易忽略重要的表面轮廓信息，模型的精度仍然不够高。专利CN106228612A特点是固定一个马铃薯的轴作为旋转轴并按一定细分角度旋转马铃薯采集图像，对数据采集过程的误差控制要求比较高，在实际操作过程中旋转轴的微动和旋转角的变化易造成随机误差。因此采集马铃薯样品的深度图像从而生成三维模型在减少上述误差方面是有优势的。

Qinghua Su等(Su Q,Kondo N,Li M,et al.Potato feature prediction basedon machine vision and 3D model rebuilding[J].Computers and Electronics inAgriculture,2017,137:41-51.)使用深度相机采集马铃薯的深度图像，利用所得数据拟合生成样本的三维图像，从而提取得到样本的长度、宽度、厚度、表面积和体积等参数，并使用体积参数预测马铃薯质量。上述参数的预测准确率均高于90％。

该研究采用深度相机采集马铃薯图像，实现了对马铃薯三维表面结构的初步模拟及尺寸计算，但是该方法通过人工翻转样本以采集正反两面的图像，不能保证马铃薯所有表面的特征被充分覆盖，另外深度图像的分辨率较低，且样本距镜头较远，使得样本在深度相机视野内所占据的面积比例十分小，不能用于样品表面细节特征(如芽眼)的分析。因此该研究不足以作为马铃薯芽眼识别及定位研究的基础。

本实用新型针对上述问题及技术需求，提出了一种基于多视角RGB-D相机的马铃薯图像采集装置。根据芽眼在马铃薯表面的分布规律，使用多个RGB-D相机组成的图像采集装置从多个角度采集马铃薯的彩色图和深度图，从而覆盖马铃薯表面几乎所有含芽眼的区域。对所得图像进行处理，基于彩色图实现马铃薯芽眼的识别及二维坐标定位；基于彩色图和深度图的对齐生成包含三维坐标和颜色信息的点云，多组点云配准生成马铃薯三维模型；基于马铃薯三维模型重建的过程，将所得芽眼二维坐标转换到马铃薯三维模型所在三维空间坐标系下，为实现更精确的马铃薯种薯自动切块奠定基础。

实用新型内容

本实用新型公开了一种基于多视角RGB-D相机的马铃薯图像采集装置。

为达到以上目的，本实用新型采取的技术方案是：

一种基于多视角RGB-D相机的马铃薯图像采集装置，主要包括图像采集模块3、光源2、样本托5、暗箱1、电缆6以及计算机7；

其中图像采集模块3包括三个RGB-D相机：RGB-D相机a 8、RGB-D相机b 9和RGB-D相机c 10；

所述图像采集模块3、光源2和样本托5均置于暗箱1内；样本托5位于暗箱1底板中心位置，样本托5上放置马铃薯样本4，所述样本托5与马铃薯样本4接触的面为内凹的球型面，样本托5的中心轴与暗箱1的底板平面垂直；所述马铃薯样本4的尾部与样本托5接触，贯穿马铃薯样本4顶部到尾部的中心轴与样本托5的中心轴重合；图像采集模块3固定在样本托5上方且与样本托5的中心轴垂直的平面上，三个RGB-D相机分别固定在以样本托5的中心轴与图像采集模块3所在平面的交点为圆心的圆周上，三个RGB-D相机两两之间的圆心角为120°。为保证相机的视野覆盖马铃薯样本4上表面的图像，同时覆盖马铃薯样本4侧下方的图像，每个RGB-D相机的镜头平面与样本托5的中心轴间的夹角相等，且范围为10°～45°。光源2固定在图像采集模块3的上方，光源2所在平面的中心垂线与样本托5的中心轴重合；图像采集模块3和计算机7通过电缆6相连接。

在上述方案的基础上，所述暗箱1的底板表面颜色为白色，使所采集的马铃薯样本4的图像中背景为白色。

在上述方案的基础上，所述光源2为环形白光光源。

在上述方案的基础上，根据RGB-D相机的深度相机本身的距离特性，同时为提高马铃薯样本4在RGB-D相机视野内所占的面积，每个RGB-D相机的镜头平面中心到样本托5的中心轴的垂直距离为20cm～40cm。

在上述方案的基础上，所述RGB-D相机a 8、RGB-D相机b 9和RGB-D相机c 10的功能和参数均相同，每个RGB-D相机采集其视野内的马铃薯样本4的彩色图像和深度图像，三个RGB-D相机所采集图像的集合可完整展示除马铃薯样本4底部与样本托5重合部分以外各个部位的图像。

基于图像采集装置的马铃薯芽眼识别和定位方法主要包括以下几个步骤：

步骤一：分别对图像采集模块3中三个RGB-D相机的彩色相机和深度相机进行标定，确定每个RGB-D相机的彩色相机和深度相机的内部参数和外部参数，用所述内部参数和外部参数计算得到深度图像映射到彩色图像的旋转矩阵和平移矩阵；然后使用三个RGB-D相机各采集一组马铃薯样本4的彩色图像和深度图像，得到三组马铃薯样本4不同方向的彩色图像和深度图像；

步骤二：对每组彩色图像进行马铃薯表面芽眼识别及二维坐标的提取：将彩色相机所采集的彩色图像由RGB通道转换到HSV(Hue-Saturation-Value，色调-饱和度-明度)通道，提取S(Saturation，色调)通道的图像，使用自适应阈值二值化方法实现图像二值化；由于S通道图像上马铃薯所在区域与背景区域的灰度值分布有明显界限，因此可以在S通道图像的二值图中完整提取出马铃薯目标图像的轮廓，并生成彩色图像目标掩膜用于提取彩色图像中去背景的马铃薯目标彩色图像；对目标彩色图像进行灰度化处理，然后依次提取Haar-like特征，应用Adaboost算法进行分类器训练，生成区分芽眼区域和非芽眼区域的强分类器，实现在马铃薯样本4彩色图像上的芽眼识别；对所识别的芽眼区域求芽眼中心二维坐标，并提取以芽眼中心为圆心，芽眼长度为直径的圆形区域；

步骤三：马铃薯样本4的三维模型重建：将每组马铃薯样本4的深度图像与步骤二中所提取的彩色图像目标掩膜基于深度图像映射到彩色图像的旋转矩阵和平移矩阵进行映射对齐，获得深度图像目标掩膜；用所得深度图像目标掩膜提取马铃薯目标深度图像。将所得目标深度图像与目标彩色图像根据深度相机的内部参数转换生成点云，所得点云上每个点包含有三维坐标信息x、y、z以及RGB颜色通道信息r、g、b，共六个参数，共得到三组点云，对每两组点云使用迭代最近邻点算法进行配准，去除重复点云，实现马铃薯样本4的三维模型重建；

步骤四：马铃薯样本4表面芽眼的三维坐标求取：将在彩色图像上所提取的芽眼的二维坐标转化到马铃薯样本4的三维模型所在三维空间下，从而获得马铃薯样本4表面各个区域的芽眼三维坐标，实现马铃薯芽眼的识别及在三维模型上的定位。

在上述方案的基础上，步骤一中标定方法选用张正友标定法。

在上述方案的基础上，步骤二中将目标彩色图像基于R通道和G通道的灰度平均值进行灰度化处理，生成灰度图像。

本实用新型的有益效果：本实用新型使用多视角的RGB-D相机采集马铃薯样本的彩色图像和深度图像，彩色图像能体现马铃薯样本表面颜色、纹理特征等细节特征，有利于提高芽眼识别和定位的精度；多个角度的深度图像能直接反映马铃薯样本的立体几何特征，使三维重建的模型具有更高的精度；结合彩色图像和深度图像的芽眼定位，能综合二者的优点，使所提取的芽眼坐标更接近真实空间信息。所述方法共采集了三个均匀视角下的图像，能全面覆盖马铃薯样本的表面特征，提高芽眼识别的准确率，为进一步的种薯切块提供精度更高的数据基础。

附图说明

本实用新型有如下附图：

图1为一种基于多视角RGB-D相机的马铃薯图像采集装置示意图；

图2为图像采集模块3的俯视图；

图3为图像采集模块3的侧视图；

其中1为暗箱，2为光源，3为图像采集模块，4为马铃薯样本，5为样本托，6为电缆，7为计算机；8为RGD-D相机a，9为RGB-D相机b，10为RGB-D相机c。图2中α为图像采集模块3所在平面上三个RGB-D相机8、9、10两两之间的夹角，夹角大小为120度；图3中β为图像采集模块3所在平面的垂线与RGB-D相机a 8(或9或10)的镜头所在平面的夹角，夹角范围为10°～45°。

图4为一种基于多视角RGB-D相机的马铃薯图像采集装置的芽眼识别及定位方法流程图。

具体实施方式

以下结合附图对本实用新型作进一步详细说明。

首先对图像采集模块的三个RGB-D相机进行标定。按照附图1至附图3所示固定三个RGB-D相机的相对位置，使三个RGB-D相机在图像采集模块3所在平面以中心点为圆心的圆周上以120度圆心角的相对位置分布，每个RGB-D相机的镜头平面中心到样本托中心轴的垂线距离为35cm，每个RGB-D相机的镜头平面与图像采集模块3所在平面的垂线的夹角为30度。标定方法选用张正友标定法，依次获得每个RGB-D相机的彩色相机和深度相机的内部参数，分别用La_rgb，La_d；Lb_rgb，Lb_d；Lc_rgb和Lc_d表示三组彩色相机和深度相机的内部参数；由于马铃薯样本4在RGB-D相机的视野中心位置，且占据比较小的面积，因相机镜头参数导致的边缘畸变对图像中样本区域的影响较少，此处可忽略不计。然后根据内部参数计算得到每组彩色相机和深度相机的外部参数，结合每组相机的内部参数和外部参数计算得到深度图像映射到彩色图像的旋转矩阵和平移矩阵，分别用(Ra,Ta)，(Rb,Tb)，(Rc,Tc)表示。

将马铃薯样本4放置在样本托5上，使尾部与样本托5接触，马铃薯样本4顶部到尾部的中轴线与样本托5的中轴线重合。使用图像采集模块3的三个RGB-D相机依次采集当前视野中马铃薯样本4的彩色图像和深度图像，共得到三组图像。

接下来按照附图4所示流程图进行图像处理，求得马铃薯样本4的芽眼坐标。

对每组图像中的彩色图像进行马铃薯芽眼识别及二维坐标提取。将彩色图像由RGB通道转换到HSV通道，提取S通道的图像，使用自适应阈值二值化方法实现图像二值化，然后提取S通道图像的二值图中最大轮廓，填充作为马铃薯目标掩膜，从而从原彩色图像中提取出目标彩色图像。将目标彩色图像基于R通道和G通道的灰度平均值生成灰度图像，然后依次提取Haar-like特征，使用Adaboost算法训练分类器，得到一个强分类器及相应的一组特征。用所得强分类器进行马铃薯彩色图像中芽眼区域的识别，然后求取以芽眼中心为圆心，芽眼长度为直径的圆形区域，获得芽眼二维坐标P₀(u,v)，其中u和v分别表示点在二维图像上的像素点坐标。

对每一组彩色图像和深度图像处理生成点云。将彩色图像的目标掩膜与深度图像基于深度图像映射到彩色图像的旋转矩阵和平移矩阵对齐，得到深度图像的目标掩膜，用所得深度图像的目标掩膜提取马铃薯目标深度图像。然后将目标彩色图像结合目标深度图像基于深度相机的内部参数生成点云，用P(x,y,z,r,g,b)表示，其中x，y和z分别表示点云的任意点在三维空间中的坐标，r，g和b分别表示点云的任意点在RGB颜色通道的信息，共得到三组点云Pa，Pb和Pc。对所得三组点云Pa，Pb和Pc的每两组点云依次使用迭代最近邻点算法进行配准，去除重复点云，实现马铃薯样本4的三维模型重建。

马铃薯样本4芽眼的三维坐标求取。根据彩色图像与深度图像对齐、点云生成以及配准的过程，将在彩色图像上所提取的芽眼的二维坐标P₀(u,v)转化到马铃薯样本4的三维模型所在三维空间下，从而获得马铃薯样本4表面各个区域中芽眼的三维坐标P₀’(x,y,z)，实现马铃薯芽眼的识别及在三维模型上的定位。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (4)

1.一种基于多视角RGB-D相机的马铃薯图像采集装置，其特征在于：包括图像采集模块(3)、光源(2)、样本托(5)、暗箱(1)、电缆(6)以及计算机(7)；

图像采集模块(3)包括三个RGB-D相机：RGB-D相机a(8)、RGB-D相机b(9)和RGB-D相机c(10)；

所述图像采集模块(3)、光源(2)和样本托(5)均置于暗箱(1)内；样本托(5)位于暗箱(1)底板中心位置，样本托(5)上放置马铃薯样本(4)，所述样本托(5)与马铃薯样本(4)接触的面为内凹的球型面，样本托(5)的中心轴与暗箱(1)的底板平面垂直；所述马铃薯样本(4)的尾部与样本托(5)接触，贯穿马铃薯样本(4)顶部到尾部的中心轴与样本托(5)的中心轴重合；图像采集模块(3)固定在样本托(5)上方且与样本托(5)的中心轴垂直的平面上，三个RGB-D相机分别固定在以样本托(5)的中心轴与图像采集模块(3)所在平面的交点为圆心的圆周上，三个RGB-D相机两两之间的圆心角为120°，每个RGB-D相机的镜头平面与样本托(5)的中心轴间的夹角相等，且范围为10°～45°；光源(2)固定在图像采集模块(3)的上方，光源(2)所在平面的中心垂线与样本托(5)的中心轴重合；图像采集模块(3)和计算机(7)通过电缆(6)相连接。

2.如权利要求1所述的基于多视角RGB-D相机的马铃薯图像采集装置，其特征在于：所述光源(2)为环形白光光源。

3.如权利要求1所述的基于多视角RGB-D相机的马铃薯图像采集装置，其特征在于：所述RGB-D相机a(8)、RGB-D相机b(9)和RGB-D相机c(10)的功能和参数均相同，每个RGB-D相机采集视野内的马铃薯样本(4)的彩色图像和深度图像，三个RGB-D相机所采集图像的集合可完整展示除马铃薯样本(4)底部与样本托(5)重合部分以外各个部位的图像。

4.如权利要求1所述的基于多视角RGB-D相机的马铃薯图像采集装置，其特征在于：所述暗箱(1)的底板表面颜色为白色。