CN108830272A - 基于rgb-d相机的马铃薯图像采集装置及芽眼识别和定位方法 - Google Patents

基于rgb-d相机的马铃薯图像采集装置及芽眼识别和定位方法 Download PDF

Info

Publication number
CN108830272A
CN108830272A CN201810879003.5A CN201810879003A CN108830272A CN 108830272 A CN108830272 A CN 108830272A CN 201810879003 A CN201810879003 A CN 201810879003A CN 108830272 A CN108830272 A CN 108830272A
Authority
CN
China
Prior art keywords
potato
image
camera
rgb
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810879003.5A
Other languages
English (en)
Inventor
谭彧
田芳
刘星星
吕昊暾
李宝胜
杨圣慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN201810879003.5A priority Critical patent/CN108830272A/zh
Publication of CN108830272A publication Critical patent/CN108830272A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于RGB‑D相机的马铃薯图像采集装置及芽眼识别和定位方法。图像采集装置包括三个RGB‑D相机，分别从三个不同的角度采集马铃薯样本的彩色图和深度图。在图像处理部分，对彩色图经过预处理和基于掩膜的目标提取方法获得马铃薯目标图像，然后使用Adaboost算法和Haar‑like特征训练分类器，识别芽眼区域，并求得芽眼区域的二维坐标；对RGB‑D相机进行标定，得到每个RGB‑D相机的内部参数和外部参数，结合相应相机所采集的深度图和彩色图生成点云；使用迭代最近邻点算法将三组点云依次配准，得到马铃薯样本的三维模型；然后将所得芽眼的二维坐标转换为马铃薯样本三维模型所在三维空间下的坐标，实现马铃薯芽眼三维定位，为实现马铃薯种薯切块的自动化奠定基础。

Description

基于RGB-D相机的马铃薯图像采集装置及芽眼识别和定位 方法
技术领域
本发明涉及一种马铃薯图像处理方法，尤其是一种基于多视角RGB-D相机的马铃薯图像采集装置及芽眼识别和定位方法。
背景技术
马铃薯是世界上除小麦、玉米和水稻之外的第四大粮食作物。在中国，为了大力推进马铃薯的主粮化进程，在生产环节，采取了大量措施以提高马铃薯的种植面积、单产水平和总产量，促进了马铃薯生产全过程中耕种和收获阶段的机械化与自动化的大力发展，但是马铃薯种薯播前处理阶段的自动化水平还不够高。
在马铃薯种植中，优质的种薯是获得高产的基本保障。经研究，用于播种的种薯，单个重量50～70g时可获得较高的产出，单个重量>70g时增产效果不明显，但是成本增加，因此大种薯直接用于播种造成了原料浪费和经济损失。生产适宜大小的种薯需要控制播种密度，且易受品种、土壤环境、气候条件和耕作制度等多种因素的影响，其成熟的技术在中国尚未大面积普及，因此中国用于播种的马铃薯存在大量大种薯。在播种前可对大种薯进行切块处理，其优势是，能促进块茎内外的氧气交换，破除休眠，使种薯提早发芽出苗，苗齐、苗壮，有利于缩短马铃薯的生长期；且可以充分利用芽眼，降低成本，提高经济效益。
根据观察总结，芽眼在马铃薯表面的分布规律为：顶部芽眼较密集，而尾部几乎没有芽眼；顶部到尾部间的区域所分布的芽眼为侧芽，侧芽数量从顶部到尾部逐渐减少。
目前，马铃薯种薯的切块方式主要有人工切块和机械切块两种。人工切块是由人眼观察种薯芽眼的分布，然后判断切块路径并人工执行。这种切块方式依赖工作人员的经验判断，种薯芽眼利用率不稳定，且劳动强度大，工作效率低，人工成本高。机械切块相对人工切块提高了切块速度，但是切块前缺乏对种薯芽眼位置的智能识别，所得薯块上随机的存在0个或多个芽眼，需要人工进一步分拣剔除，工作效率较低，且造成了一定量的种薯浪费。
因此，马铃薯种薯的芽眼识别及定位对实现自动化切块具有重要意义。
郁志宏等(郁志宏,郝慧灵,张宝超.基于欧氏距离的发芽马铃薯无损检测研究[J].农机化研究,2015,37(11):174-177.)基于机器视觉系统采集发芽马铃薯的二维图像，然后利用欧氏距离的算法分割并标记出发芽部位，识别正确率达94％。
田海韬(田海韬,赵军,蒲富鹏.马铃薯芽眼图像的分割与定位方法[J].浙江农业学报,2016,28(11):1947-1953.)等基于马铃薯的二维图像识别芽眼。首先使用欧氏距离算法在彩色空间图像上分割芽眼区域，同时对灰度空间图像进行图像模糊增强以后采用动态阈值法分割芽眼区域，结合两个空间的分割结果定位出芽眼的位置，识别正确率达到96％。
上述研究从二维图像的角度识别并定位马铃薯芽眼，达到了较好的效果。但是马铃薯具备三维立体结构，将二维图像上的识别结果直接应用到马铃薯切块会产生一定的误差。因此，在基于二维图定位马铃薯芽眼的基础上，将其投影到三维空间，从而获得芽眼相对于马铃薯样本的三维坐标是有必要的。
公布号为CN108053485A的专利公开了“一种基于轮廓图像的马铃薯三维建模方法”，通过提取视角相互垂直的两组二维图像轮廓上的角点，并筛选得到特征点。用特征点建模生成马铃薯外形骨架，从而创建和拾取闭合曲面，实体化得到三维模型。
公布号为CN106228612A的专利公开了“一种利用定轴旋转轮廓图重建马铃薯三维表面的方法和装置”，该专利依次采集马铃薯按一定细分角度旋转得到的一组二维图像，并提取轮廓，拼接所得轮廓并拟合得到马铃薯的三维表面图像。
上述两个专利均是在二维图像集合的基础上拟合生成马铃薯的三维模型。专利CN108053485A特点是以视角相互垂直的两组马铃薯轮廓为基础拟合生成三维模型，其相对于将马铃薯拟合为椭圆的方法提高了建模的精度，但由于马铃薯形状不规则，选取相互垂直的两个视角的轮廓时具有随机偶然性，易忽略重要的表面轮廓信息，模型的精度仍然不够高。专利CN106228612A特点是固定一个马铃薯的轴作为旋转轴并按一定细分角度旋转马铃薯采集图像，对数据采集过程的误差控制要求比较高，在实际操作过程中旋转轴的微动和旋转角的变化易造成随机误差。因此采集马铃薯样品的深度图像从而生成三维模型在减少上述误差方面是有优势的。
Qinghua Su等(Su Q,Kondo N,Li M,et al.Potato feature prediction basedon machine vision and 3D model rebuilding[J].Computers and Electronics inAgriculture,2017,137:41-51.)使用深度相机采集马铃薯的深度图像，利用所得数据拟合生成样本的三维图像，从而提取得到样本的长度、宽度、厚度、表面积和体积等参数，并使用体积参数预测马铃薯质量。上述参数的预测准确率均高于90％。
该研究采用深度相机采集马铃薯图像，实现了对马铃薯三维表面结构的初步模拟及尺寸计算，但是该方法通过人工翻转样本以采集正反两面的图像，不能保证马铃薯所有表面的特征被充分覆盖，另外深度图像的分辨率较低，且样本距镜头较远，使得样本在深度相机视野内所占据的面积比例十分小，不能用于样品表面细节特征(如芽眼)的分析。因此该研究不足以作为马铃薯芽眼识别及定位研究的基础。
本发明针对上述问题及技术需求，提出了一种基于多视角RGB-D相机的马铃薯芽眼识别及定位方法。根据芽眼在马铃薯表面的分布规律，使用多个RGB-D相机组成的图像采集装置从多个角度采集马铃薯的彩色图和深度图，从而覆盖马铃薯表面几乎所有含芽眼的区域。对所得图像进行处理，基于彩色图实现马铃薯芽眼的识别及二维坐标定位；基于彩色图和深度图的对齐生成包含三维坐标和颜色信息的点云，多组点云配准生成马铃薯三维模型；基于马铃薯三维模型重建的过程，将所得芽眼二维坐标转换到马铃薯三维模型所在三维空间坐标系下，为实现更精确的马铃薯种薯自动切块奠定基础。
发明内容
本发明包括基于多视角RGB-D相机的马铃薯图像采集装置以及基于图像采集装置的马铃薯芽眼识别和定位方法两部分，用于求取马铃薯表面芽眼的三维坐标。
为达到以上目的，本发明采取的技术方案是：
一种基于多视角RGB-D相机的马铃薯图像采集装置，主要包括图像采集模块3、光源2、样本托5、暗箱1、电缆6以及计算机7；
其中图像采集模块3包括三个RGB-D相机：RGB-D相机a 8、RGB-D相机b 9和RGB-D相机c 10；
所述图像采集模块3、光源2和样本托5均置于暗箱1内；样本托5位于暗箱1底板中心位置，样本托5上放置马铃薯样本4，所述样本托5与马铃薯样本4接触的面为内凹的球型面，样本托5的中心轴与暗箱1的底板平面垂直；所述马铃薯样本4的尾部与样本托5接触，贯穿马铃薯样本4顶部到尾部的中心轴与样本托5的中心轴重合；图像采集模块3固定在样本托5上方且与样本托5的中心轴垂直的平面上，三个RGB-D相机分别固定在以样本托5的中心轴与图像采集模块3所在平面的交点为圆心的圆周上，三个RGB-D相机两两之间的圆心角为120°。为保证相机的视野覆盖马铃薯样本4上表面的图像，同时覆盖马铃薯样本4侧下方的图像，每个RGB-D相机的镜头平面与样本托5的中心轴间的夹角相等，且范围为10°～45°。光源2固定在图像采集模块3的上方，光源2所在平面的中心垂线与样本托5的中心轴重合；图像采集模块3和计算机7通过电缆6相连接。
在上述方案的基础上，所述暗箱1的底板表面颜色为白色，使所采集的马铃薯样本4的图像中背景为白色。
在上述方案的基础上，所述光源2为环形白光光源。
在上述方案的基础上，根据RGB-D相机的深度相机本身的距离特性，同时为提高马铃薯样本4在RGB-D相机视野内所占的面积，每个RGB-D相机的镜头平面中心到样本托5的中心轴的垂直距离为20cm～40cm。
在上述方案的基础上，所述RGB-D相机a 8、RGB-D相机b 9和RGB-D相机c 10的功能和参数均相同，每个RGB-D相机采集其视野内的马铃薯样本4的彩色图像和深度图像，三个RGB-D相机所采集图像的集合可完整展示除马铃薯样本4底部与样本托5重合部分以外各个部位的图像。
基于图像采集装置的马铃薯芽眼识别和定位方法主要包括以下几个步骤：
步骤一：分别对图像采集模块3中三个RGB-D相机的彩色相机和深度相机进行标定，确定每个RGB-D相机的彩色相机和深度相机的内部参数和外部参数，用所述内部参数和外部参数计算得到深度图像映射到彩色图像的旋转矩阵和平移矩阵；然后使用三个RGB-D相机各采集一组马铃薯样本4的彩色图像和深度图像，得到三组马铃薯样本4不同方向的彩色图像和深度图像；
步骤二：对每组彩色图像进行马铃薯表面芽眼识别及二维坐标的提取：将彩色相机所采集的彩色图像由RGB通道转换到HSV(Hue-Saturation-Value，色调-饱和度-明度)通道，提取S(Saturation，色调)通道的图像，使用自适应阈值二值化方法实现图像二值化；由于S通道图像上马铃薯所在区域与背景区域的灰度值分布有明显界限，因此可以在S通道图像的二值图中完整提取出马铃薯目标图像的轮廓，并生成彩色图像目标掩膜用于提取彩色图像中去背景的马铃薯目标彩色图像；对目标彩色图像进行灰度化处理，然后依次提取Haar-like特征，应用Adaboost算法进行分类器训练，生成区分芽眼区域和非芽眼区域的强分类器，实现在马铃薯样本4彩色图像上的芽眼识别；对所识别的芽眼区域求芽眼中心二维坐标，并提取以芽眼中心为圆心，芽眼长度为直径的圆形区域；
步骤三：马铃薯样本4的三维模型重建：将每组马铃薯样本4的深度图像与步骤二中所提取的彩色图像目标掩膜基于深度图像映射到彩色图像的旋转矩阵和平移矩阵进行映射对齐，获得深度图像目标掩膜；用所得深度图像目标掩膜提取马铃薯目标深度图像。将所得目标深度图像与目标彩色图像根据深度相机的内部参数转换生成点云，所得点云上每个点包含有三维坐标信息x、y、z以及RGB颜色通道信息r、g、b，共六个参数，共得到三组点云，对每两组点云使用迭代最近邻点算法进行配准，去除重复点云，实现马铃薯样本4的三维模型重建；
步骤四：马铃薯样本4表面芽眼的三维坐标求取：将在彩色图像上所提取的芽眼的二维坐标转化到马铃薯样本4的三维模型所在三维空间下，从而获得马铃薯样本4表面各个区域的芽眼三维坐标，实现马铃薯芽眼的识别及在三维模型上的定位。
在上述方案的基础上，步骤一中标定方法选用张正友标定法。
在上述方案的基础上，步骤二中将目标彩色图像基于R通道和G通道的灰度平均值进行灰度化处理，生成灰度图像。
本发明的有益效果：本发明使用多视角的RGB-D相机采集马铃薯样本的彩色图像和深度图像，彩色图像能体现马铃薯样本表面颜色、纹理特征等细节特征，有利于提高芽眼识别和定位的精度；多个角度的深度图像能直接反映马铃薯样本的立体几何特征，使三维重建的模型具有更高的精度；结合彩色图像和深度图像的芽眼定位，能综合二者的优点，使所提取的芽眼坐标更接近真实空间信息。所述方法共采集了三个均匀视角下的图像，能全面覆盖马铃薯样本的表面特征，提高芽眼识别的准确率，为进一步的种薯切块提供精度更高的数据基础。
附图说明
本发明有如下附图：
图1为一种基于多视角RGB-D相机的马铃薯图像采集装置示意图；
图2为图像采集模块3的俯视图；
图3为图像采集模块3的侧视图；
其中1为暗箱，2为光源，3为图像采集模块，4为马铃薯样本，5为样本托，6为电缆，7为计算机；8为RGD-D相机a，9为RGB-D相机b，10为RGB-D相机c。图2中α为图像采集模块3所在平面上三个RGB-D相机8、9、10两两之间的夹角，夹角大小为120度；图3中β为图像采集模块3所在平面的垂线与RGB-D相机a 8(或9或10)的镜头所在平面的夹角，夹角范围为10°～45°。
图4为一种基于多视角RGB-D相机的马铃薯图像采集装置的芽眼识别及定位方法流程图。
具体实施方式
以下结合附图对本发明作进一步详细说明。
首先对图像采集模块的三个RGB-D相机进行标定。按照附图1至附图3所示固定三个RGB-D相机的相对位置，使三个RGB-D相机在图像采集模块3所在平面以中心点为圆心的圆周上以120度圆心角的相对位置分布，每个RGB-D相机的镜头平面中心到样本托中心轴的垂线距离为35cm，每个RGB-D相机的镜头平面与图像采集模块3所在平面的垂线的夹角为30度。标定方法选用张正友标定法，依次获得每个RGB-D相机的彩色相机和深度相机的内部参数，分别用La_rgb，La_d；Lb_rgb，Lb_d；Lc_rgb和Lc_d表示三组彩色相机和深度相机的内部参数；由于马铃薯样本4在RGB-D相机的视野中心位置，且占据比较小的面积，因相机镜头参数导致的边缘畸变对图像中样本区域的影响较少，此处可忽略不计。然后根据内部参数计算得到每组彩色相机和深度相机的外部参数，结合每组相机的内部参数和外部参数计算得到深度图像映射到彩色图像的旋转矩阵和平移矩阵，分别用(Ra,Ta)，(Rb,Tb)，(Rc,Tc)表示。
将马铃薯样本4放置在样本托5上，使尾部与样本托5接触，马铃薯样本4顶部到尾部的中轴线与样本托5的中轴线重合。使用图像采集模块3的三个RGB-D相机依次采集当前视野中马铃薯样本4的彩色图像和深度图像，共得到三组图像。
接下来按照附图4所示流程图进行图像处理，求得马铃薯样本4的芽眼坐标。
对每组图像中的彩色图像进行马铃薯芽眼识别及二维坐标提取。将彩色图像由RGB通道转换到HSV通道，提取S通道的图像，使用自适应阈值二值化方法实现图像二值化，然后提取S通道图像的二值图中最大轮廓，填充作为马铃薯目标掩膜，从而从原彩色图像中提取出目标彩色图像。将目标彩色图像基于R通道和G通道的灰度平均值生成灰度图像，然后依次提取Haar-like特征，使用Adaboost算法训练分类器，得到一个强分类器及相应的一组特征。用所得强分类器进行马铃薯彩色图像中芽眼区域的识别，然后求取以芽眼中心为圆心，芽眼长度为直径的圆形区域，获得芽眼二维坐标P0(u,v)，其中u和v分别表示点在二维图像上的像素点坐标。
对每一组彩色图像和深度图像处理生成点云。将彩色图像的目标掩膜与深度图像基于深度图像映射到彩色图像的旋转矩阵和平移矩阵对齐，得到深度图像的目标掩膜，用所得深度图像的目标掩膜提取马铃薯目标深度图像。然后将目标彩色图像结合目标深度图像基于深度相机的内部参数生成点云，用P(x,y,z,r,g,b)表示，其中x，y和z分别表示点云的任意点在三维空间中的坐标，r，g和b分别表示点云的任意点在RGB颜色通道的信息，共得到三组点云Pa，Pb和Pc。对所得三组点云Pa，Pb和Pc的每两组点云依次使用迭代最近邻点算法进行配准，去除重复点云，实现马铃薯样本4的三维模型重建。
马铃薯样本4芽眼的三维坐标求取。根据彩色图像与深度图像对齐、点云生成以及配准的过程，将在彩色图像上所提取的芽眼的二维坐标P0(u,v)转化到马铃薯样本4的三维模型所在三维空间下，从而获得马铃薯样本4表面各个区域中芽眼的三维坐标P0’(x,y,z)，实现马铃薯芽眼的识别及在三维模型上的定位。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (10)

1.一种基于多视角RGB-D相机的马铃薯图像采集装置，其特征在于：包括图像采集模块(3)、光源(2)、样本托(5)、暗箱(1)、电缆(6)以及计算机(7)；
图像采集模块(3)包括三个RGB-D相机：RGB-D相机a(8)、RGB-D相机b(9)和RGB-D相机c(10)；
所述图像采集模块(3)、光源(2)和样本托(5)均置于暗箱(1)内；样本托(5)位于暗箱(1)底板中心位置，样本托(5)上放置马铃薯样本(4)，所述样本托(5)与马铃薯样本(4)接触的面为内凹的球型面，样本托(5)的中心轴与暗箱(1)的底板平面垂直；所述马铃薯样本(4)的尾部与样本托(5)接触，贯穿马铃薯样本(4)顶部到尾部的中心轴与样本托(5)的中心轴重合；图像采集模块(3)固定在样本托(5)上方且与样本托(5)的中心轴垂直的平面上，三个RGB-D相机分别固定在以样本托(5)的中心轴与图像采集模块(3)所在平面的交点为圆心的圆周上，三个RGB-D相机两两之间的圆心角为120°，每个RGB-D相机的镜头平面与样本托(5)的中心轴间的夹角相等，且范围为10°～45°；光源(2)固定在图像采集模块(3)的上方，光源(2)所在平面的中心垂线与样本托(5)的中心轴重合；图像采集模块(3)和计算机(7)通过电缆(6)相连接。
2.如权利要求1所述的基于多视角RGB-D相机的马铃薯图像采集装置，其特征在于：所述光源(2)为环形白光光源。
3.如权利要求1所述的基于多视角RGB-D相机的马铃薯图像采集装置，其特征在于：所述RGB-D相机a(8)、RGB-D相机b(9)和RGB-D相机c(10)的功能和参数均相同，每个RGB-D相机采集视野内的马铃薯样本(4)的彩色图像和深度图像，三个RGB-D相机所采集图像的集合可完整展示除马铃薯样本(4)底部与样本托(5)重合部分以外各个部位的图像。
4.如权利要求1所述的基于多视角RGB-D相机的马铃薯图像采集装置，其特征在于：所述暗箱(1)的底板表面颜色为白色。
5.一种马铃薯芽眼识别和定位方法，应用如权利要求1-4任一权利要求所述的图像采集装置，其特征在于：包括以下步骤：
步骤一：分别对图像采集模块(3)中三个RGB-D相机的彩色相机和深度相机进行标定，确定每个RGB-D相机的彩色相机和深度相机的内部参数和外部参数，用所述内部参数和外部参数计算得到深度图像映射到彩色图像的旋转矩阵和平移矩阵；然后使用三个RGB-D相机各采集一组马铃薯样本(4)的彩色图像和深度图像，得到三组马铃薯样本(4)不同方向的彩色图像和深度图像；
步骤二：对每组彩色图像进行马铃薯表面芽眼识别及二维坐标的提取；
步骤三：马铃薯样本(4)的三维模型重建；
步骤四：马铃薯样本(4)表面芽眼的三维坐标求取。
6.如权利要求5所述的马铃薯芽眼识别和定位方法，其特征在于：步骤一中标定方法选用张正友标定法。
7.如权利要求5所述的马铃薯芽眼识别和定位方法，其特征在于：步骤二具体过程为：将彩色相机所采集的彩色图像由RGB通道转换到HSV通道，提取S通道的图像，使用自适应阈值二值化方法实现图像二值化；然后在所得二值图中完整提取出马铃薯目标图像的轮廓，生成彩色图像目标掩膜用于提取彩色图像中去背景的马铃薯目标彩色图像；对目标彩色图像进行灰度化处理，然后依次提取Haar-like特征，应用Adaboost算法进行分类器训练，生成区分芽眼区域和非芽眼区域的强分类器，实现在马铃薯样本(4)彩色图像上的芽眼识别；对所识别的芽眼区域求芽眼中心二维坐标，并提取以芽眼中心为圆心，芽眼长度为直径的圆形区域。
8.如权利要求7所述的马铃薯芽眼识别和定位方法，其特征在于：步骤二中将目标彩色图像基于R通道和G通道的灰度平均值进行灰度化处理，生成灰度图像。
9.如权利要求8所述的马铃薯芽眼识别和定位方法，其特征在于：步骤三具体过程为：将每组马铃薯样本(4)的深度图像与步骤二中所提取的彩色图像目标掩膜基于深度图像映射到彩色图像的旋转矩阵和平移矩阵进行映射对齐，获得深度图像目标掩膜；用所得深度图像目标掩膜提取马铃薯目标深度图像，将所得目标深度图像与目标彩色图像根据深度相机的内部参数转换生成点云，所得点云上每个点包含有三维坐标信息x、y、z以及RGB颜色通道信息r、g、b，共六个参数，共得到三组点云，对每两组点云使用迭代最近邻点算法进行配准，去除重复点云，实现马铃薯样本(4)的三维模型重建。
10.如权利要求9所述的马铃薯芽眼识别和定位方法，其特征在于：步骤四具体过程为：将在彩色图像上所提取的芽眼的二维坐标转化到马铃薯样本(4)的三维模型所在三维空间下，从而获得马铃薯样本(4)表面各个区域的芽眼三维坐标，实现马铃薯芽眼的识别及在三维模型上的定位。
CN201810879003.5A 2018-08-03 2018-08-03 基于rgb-d相机的马铃薯图像采集装置及芽眼识别和定位方法 Withdrawn CN108830272A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810879003.5A CN108830272A (zh) 2018-08-03 2018-08-03 基于rgb-d相机的马铃薯图像采集装置及芽眼识别和定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810879003.5A CN108830272A (zh) 2018-08-03 2018-08-03 基于rgb-d相机的马铃薯图像采集装置及芽眼识别和定位方法

Publications (1)

Publication Number Publication Date
CN108830272A true CN108830272A (zh) 2018-11-16

Family

ID=64153506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810879003.5A Withdrawn CN108830272A (zh) 2018-08-03 2018-08-03 基于rgb-d相机的马铃薯图像采集装置及芽眼识别和定位方法

Country Status (1)

Country Link
CN (1) CN108830272A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816680A (zh) * 2018-12-19 2019-05-28 黑龙江八一农垦大学 一种农作物株高的高通量计算方法
CN109978949A (zh) * 2019-03-26 2019-07-05 南开大学 基于计算机视觉的农作物识别与特征点三维坐标提取的一种方法
CN110095065A (zh) * 2019-01-15 2019-08-06 云南安视智能设备有限公司 一种玫瑰鲜切花分级检测的方法
CN110249741A (zh) * 2019-06-05 2019-09-20 中国农业大学 一种基于点云模型的马铃薯种薯切块方法
CN110706267A (zh) * 2019-09-04 2020-01-17 五邑大学 一种基于采矿过程的矿石三维坐标获取方法及其装置
CN110915355A (zh) * 2019-12-05 2020-03-27 重庆市农业科学院 一种马铃薯种薯切块设备
CN111723863A (zh) * 2020-06-19 2020-09-29 中国农业科学院农业信息研究所 果树花朵的识别及位置获取方法、装置、计算机设备及存储介质
CN111783580A (zh) * 2020-06-19 2020-10-16 宁波智能装备研究院有限公司 基于人腿检测的行人识别方法
CN111833256A (zh) * 2019-04-17 2020-10-27 富华科精密工业（深圳）有限公司 图像增强方法、装置、计算机装置及可读存储介质
CN112785492A (zh) * 2021-01-20 2021-05-11 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和存储介质
CN113063757A (zh) * 2021-02-02 2021-07-02 中国农业大学 一种类球形果蔬形态建模方法及光学图谱校正方法
CN113112504A (zh) * 2021-04-08 2021-07-13 浙江大学 一种植物点云数据分割方法及系统
CN113192206A (zh) * 2021-04-28 2021-07-30 华南理工大学 基于目标检测和背景去除的三维模型实时重建方法及装置
CN113781500A (zh) * 2021-09-10 2021-12-10 中国科学院自动化研究所 舱段图像实例分割的方法、装置、电子设备及存储介质
CN114049399A (zh) * 2022-01-13 2022-02-15 上海景吾智能科技有限公司 一种结合rgbd图像的镜面定位方法
CN114463742A (zh) * 2022-02-16 2022-05-10 重庆市农业科学院 一种马铃薯芽眼识别方法及设备
CN115797444A (zh) * 2023-02-06 2023-03-14 中国科学院自动化研究所 菠萝果眼定位方法、装置和电子设备
CN118379726A (zh) * 2024-06-26 2024-07-23 青岛农业大学 一种基于Yolo v8-DPE的薯杂识别与定位方法

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816680A (zh) * 2018-12-19 2019-05-28 黑龙江八一农垦大学 一种农作物株高的高通量计算方法
CN110095065A (zh) * 2019-01-15 2019-08-06 云南安视智能设备有限公司 一种玫瑰鲜切花分级检测的方法
CN109978949A (zh) * 2019-03-26 2019-07-05 南开大学 基于计算机视觉的农作物识别与特征点三维坐标提取的一种方法
CN109978949B (zh) * 2019-03-26 2023-04-28 南开大学 基于计算机视觉的农作物识别与特征点三维坐标提取的一种方法
CN111833256A (zh) * 2019-04-17 2020-10-27 富华科精密工业（深圳）有限公司 图像增强方法、装置、计算机装置及可读存储介质
CN110249741A (zh) * 2019-06-05 2019-09-20 中国农业大学 一种基于点云模型的马铃薯种薯切块方法
CN110249741B (zh) * 2019-06-05 2020-07-28 中国农业大学 一种基于点云模型的马铃薯种薯切块方法
CN110706267B (zh) * 2019-09-04 2022-11-15 五邑大学 一种基于采矿过程的矿石三维坐标获取方法及其装置
CN110706267A (zh) * 2019-09-04 2020-01-17 五邑大学 一种基于采矿过程的矿石三维坐标获取方法及其装置
WO2021042693A1 (zh) * 2019-09-04 2021-03-11 五邑大学 一种基于采矿过程的矿石三维坐标获取方法及其装置
CN110915355A (zh) * 2019-12-05 2020-03-27 重庆市农业科学院 一种马铃薯种薯切块设备
CN111783580B (zh) * 2020-06-19 2022-11-15 宁波智能装备研究院有限公司 基于人腿检测的行人识别方法
CN111723863A (zh) * 2020-06-19 2020-09-29 中国农业科学院农业信息研究所 果树花朵的识别及位置获取方法、装置、计算机设备及存储介质
CN111783580A (zh) * 2020-06-19 2020-10-16 宁波智能装备研究院有限公司 基于人腿检测的行人识别方法
CN112785492A (zh) * 2021-01-20 2021-05-11 北京百度网讯科技有限公司 图像处理方法、装置、电子设备和存储介质
CN113063757B (zh) * 2021-02-02 2022-01-25 中国农业大学 一种类球形果蔬形态建模方法及光学图谱校正方法
CN113063757A (zh) * 2021-02-02 2021-07-02 中国农业大学 一种类球形果蔬形态建模方法及光学图谱校正方法
CN113112504A (zh) * 2021-04-08 2021-07-13 浙江大学 一种植物点云数据分割方法及系统
CN113112504B (zh) * 2021-04-08 2023-11-03 浙江大学 一种植物点云数据分割方法及系统
CN113192206A (zh) * 2021-04-28 2021-07-30 华南理工大学 基于目标检测和背景去除的三维模型实时重建方法及装置
CN113781500A (zh) * 2021-09-10 2021-12-10 中国科学院自动化研究所 舱段图像实例分割的方法、装置、电子设备及存储介质
CN113781500B (zh) * 2021-09-10 2024-04-05 中国科学院自动化研究所 舱段图像实例分割的方法、装置、电子设备及存储介质
CN114049399A (zh) * 2022-01-13 2022-02-15 上海景吾智能科技有限公司 一种结合rgbd图像的镜面定位方法
CN114049399B (zh) * 2022-01-13 2022-04-12 上海景吾智能科技有限公司 一种结合rgbd图像的镜面定位方法
CN114463742A (zh) * 2022-02-16 2022-05-10 重庆市农业科学院 一种马铃薯芽眼识别方法及设备
CN114463742B (zh) * 2022-02-16 2024-10-11 重庆市农业科学院 一种马铃薯芽眼识别方法及设备
CN115797444A (zh) * 2023-02-06 2023-03-14 中国科学院自动化研究所 菠萝果眼定位方法、装置和电子设备
CN118379726A (zh) * 2024-06-26 2024-07-23 青岛农业大学 一种基于Yolo v8-DPE的薯杂识别与定位方法

Similar Documents

Publication Publication Date Title
CN108830272A (zh) 基于rgb-d相机的马铃薯图像采集装置及芽眼识别和定位方法
CN110378909B (zh) 基于Faster R-CNN的面向激光点云的单木分割方法
Mortensen et al. Segmentation of lettuce in coloured 3D point clouds for fresh weight estimation
CN104700404B (zh) 一种果实定位识别方法
US20210056685A1 (en) Method and device for monitoring comprehensive growth of potted lettuce
CN107860316B (zh) 玉米籽粒三维参数测量装置及其测量方法
CN103190224B (zh) 基于计算机视觉技术的玉米果穗考种方法、系统和装置
WO2001033505A2 (en) Multi-variable model for identifying crop response zones in a field
CN109784204A (zh) 一种用于并联机器人的堆叠串类水果主果梗识别和提取方法
CN113920106B (zh) 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法
CN208922290U (zh) 基于rgb-d相机的马铃薯图像采集装置
CN112686859A (zh) 基于热红外和rgb-d相机的作物cwsi的检测方法
CN110610438B (zh) 一种农作物冠层叶柄夹角计算方法及系统
CN110189043A (zh) 一种基于高分卫星遥感数据的可利用土地资源分析系统
CN113470106A (zh) 一种无接触式奶牛体尺信息采集方法
Dolata et al. Instance segmentation of root crops and simulation-based learning to estimate their physical dimensions for on-line machine vision yield monitoring
Li et al. Design and experiment of adjustment device based on machine vision for garlic clove direction
CN118097372B (zh) 一种基于人工智能的作物生长可视化预测方法
CN115862004A (zh) 一种玉米果穗表面缺陷检测方法及装置
Zuo et al. A method of crop seedling plant segmentation on edge information fusion model
Li et al. Nondestructive Detection of Key Phenotypes for the Canopy of the Watermelon Plug Seedlings Based on Deep Learning
CN116704497B (zh) 一种基于三维点云的油菜表型参数提取方法及系统
CN111161227A (zh) 一种基于深度神经网络的靶心定位方法及系统
Zhu et al. Quantitative analysis of 3-dimensional root architecture based on image reconstruction and its application to research on phosphorus uptake in soybean
Liang et al. A rotated rice spike detection model and a crop yield estimation application based on UAV images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20181116