CN117347312A - 基于多光谱结构光的柑橘连续检测方法和设备 - Google Patents
基于多光谱结构光的柑橘连续检测方法和设备 Download PDFInfo
- Publication number
- CN117347312A CN117347312A CN202311663194.9A CN202311663194A CN117347312A CN 117347312 A CN117347312 A CN 117347312A CN 202311663194 A CN202311663194 A CN 202311663194A CN 117347312 A CN117347312 A CN 117347312A
- Authority
- CN
- China
- Prior art keywords
- citrus
- spectrogram
- detection
- dimensional
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 111
- 235000020971 citrus fruits Nutrition 0.000 claims abstract description 114
- 241000207199 Citrus Species 0.000 claims abstract description 80
- 230000003595 spectral effect Effects 0.000 claims abstract description 46
- 235000013399 edible fruits Nutrition 0.000 claims abstract description 39
- 238000013507 mapping Methods 0.000 claims abstract description 37
- 239000011159 matrix material Substances 0.000 claims description 38
- 238000010586 diagram Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 22
- 238000006073 displacement reaction Methods 0.000 claims description 13
- 238000007689 inspection Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 238000010191 image analysis Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 3
- 210000001113 umbilicus Anatomy 0.000 abstract description 15
- 238000000605 extraction Methods 0.000 abstract description 11
- 230000003287 optical effect Effects 0.000 abstract description 11
- 238000001228 spectrum Methods 0.000 description 13
- 238000013519 translation Methods 0.000 description 7
- 241000675108 Citrus tangerina Species 0.000 description 6
- 238000005096 rolling process Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
- G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
- G01N21/3563—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
Landscapes
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多光谱结构光的柑橘连续检测方法和设备，属于农产品的光学检测技术领域。基于线阵结构光扫描柑橘生成光谱图，基于可见光生成彩色图，光谱图和彩色图基于反射元件进行像素点映射。基于柑橘果脐与果梗的特征进行柑橘上下两部分的光谱图匹配，形成了完整的三维光谱图。结合像素点映射和彩色图对三维光谱图进行像素填充形成完整的柑橘形状三维彩图。本发明不仅通过调整相邻检测工位的间距提高线阵结构光的覆盖区域，而且基于三维彩图进行特征提取提高柑橘质量检测的准确性。
Description
技术领域
本发明涉及农产品的光学检测技术领域，尤其涉及基于多光谱结构光的柑橘连续检测方法和设备。
背景技术
结构光的光谱图像可以生成水果的三维点云，用于水果的缺陷检测。例如公开号为CN113256575A的专利申请公开了一种基于结构化高光谱系统的水果缺陷检测方法，该结构化高光谱系统包括高光谱相机、光源、光纤导管、投影仪、计算机。该检测方法将正弦条纹通过投影仪投影至水果，利用高光谱相机拍摄不同相位图片，再将相位图片解模为完整图片，并获取结构化光谱。由于光路方向固定，不同的相位图片所采集的区域相同，水果背光部分的图像采集难度大，手动调整水果的方位限制了连续检测。
进一步的，公开号为CN115294507A的专利申请公开了一种基于水果外形的动态视频数据识别方法，高清摄像头采集水果在凹型滚动流水线上滚动的视频，连续抓取水果的特征线，形成三维的特征线网格，形成水果的三维立体图。该方法可以采集水果背光部分的图像。但是从连续运动的视频中采集特征线的准确率低，水果处于自由滚动状态，滚动的线速度影响特征线的提取和图像拼接。该专利虽然提出借助通过卷积神经网络算法降低误差。因水果个体差异大，对卷积神经网络算法的样本要求高。因此，现有技术有进一步改进的必要。
发明内容
针对上述问题，本发明提供了基于多光谱结构光的柑橘连续检测方法和设备，该方法提取多个线阵结构光的光谱图，根据柑橘的生物学特征，合并成三维光谱图，以便检测柑橘的全部外形特征。本发明借助反射元件匹配光谱图和彩色图的像素点，从而生成自然光的三维彩色图，完成柑橘外观的检测。进一步的，本发明通过调整相邻检测工位的间距提高线阵结构光的覆盖区域。
本申请的发明目的可通过以下技术手段实现：
基于多光谱结构光的柑橘连续检测方法，包括以下步骤：
步骤1：检测台包括多个连续的检测工位，预设相邻检测工位的间距，将待检测的柑橘放置在检测工位上，每一检测工位具有反射元件；
步骤2：第一结构光发射器向柑橘发送第一近红外光，第一可见光发射器向柑橘发送第一可见光，第一光接收器生成第一光谱图和第一彩色图；
步骤3：基于反射元件匹配第一光谱图与第一彩色图，生成第一映射矩阵；
步骤4：顶杆推动柑橘至相邻的检测工位，第二结构光发射器向柑橘发送第二近红外光，第二可见光发射器向柑橘发送第二可见光，第二光接收器生成第二光谱图和第二彩色图；
步骤5：基于反射元件匹配第二光谱图与第二彩色图，获得第二映射矩阵；
步骤6：提取第一光谱图和第二光谱图的果脐与果梗，合并第一光谱图和第二光谱图，生成柑橘的三维光谱图；
步骤7：基于第一映射矩阵和第二映射矩阵将第一彩色图和第二彩色图填充至三维光谱图，生成三维彩图；
步骤8：识别三维光谱图的至少一个结构特征，生成柑橘的结构检测值，识别三维彩图的至少一个外观特征，生成柑橘的外观检测值。
在本发明中，在步骤2中，第一近红外光为线阵结构光，第一结构光发射器沿垂直于线阵结构光的方向扫描柑橘，第一光接收器提取线阵结构光的中心线，根据多个中心线生成第一光谱图。
在本发明中，在步骤3中，反射元件响应第一近红外光和第一可见光，分别在第一光谱图和第一彩色图生成反射标记，根据反射标记的坐标匹配第一光谱图与第一彩色图的像素点，得到第一映射矩阵。
在本发明中，在步骤4中，顶杆推动柑橘沿支撑轴滚动，根据柑橘的角位移调整相邻检测工位的间距。
在本发明中，在步骤6中，对比第一光谱图和第二光谱图与生物学特征样本，提取果脐与果梗的位置坐标，根据果脐与果梗的位置关系合并第一光谱图和第二光谱图。
在本发明中，在步骤7中，提取三维彩图中未被第一彩色图和第二彩色图填充的像素点，根据相邻像素点的像素值填充该像素点。
在本发明中，在步骤8中，对比三维光谱图与第一特征样本，识别至少一个结构特征，对比三维彩图与第二特征样本，识别至少一个外观特征。
在本发明中，还包括步骤9，根据外观检测值和结构检测值生成对应检测工位的分级参数，根据分级参数对检测工位的柑橘施加分级操作。
一种根据所述基于多光谱结构光的柑橘连续检测方法的检测设备，包括：
检测台，包括多个连续的检测工位；
第一结构光发射器，用于向柑橘发送第一近红外光；
第一可见光发射器，用于向柑橘发送第一可见光；
第一光接收器，用于生成第一光谱图和第一彩色图；
驱动器，用于推动柑橘至相邻的检测工位；
第二结构光发射器，用于向柑橘发送第二近红外光；
第二可见光发射器，用于向柑橘发送第二可见光；
第二光接收器，用于生成第二光谱图和第二彩色图；
图像生成单元，用于根据第一光谱图和第二光谱图生成三维光谱图；
图像处理单元，用于根据第一彩色图和第二彩色图生成三维彩图；
图像分析单元，用于生成柑橘的结构检测值和外观检测值。
在本发明中，所述检测设备还包括执行单元，执行单元接收图像分析单元的指令，将处于检测工位的柑橘推入对应的收集设备。
实施本发明的基于多光谱结构光的柑橘连续检测方法和设备，其有益效果在于：基于线阵结构光扫描柑橘生成第一光谱图和第二光谱图。基于第一可见光生成第一彩色图，基于第二可见光生成第二彩色图。第一光谱图和第一彩色图基于反射标记进行像素点匹配，生成第一映射矩阵，第二光谱图和第二彩色图基于反射标记进行像素点匹配，生成第二映射矩阵。基于柑橘果脐与果梗的特征进行第一光谱图和第二光谱图匹配，形成了完整的三维光谱图。结合第一映射矩阵、第一映射矩阵、第一彩色图、第二彩色图对三维光谱图进行像素填充形成柑橘形状的三维彩图。三维彩图具有清晰的画面，更加直观，基于三维彩图进行结构检测和外观检测提高了柑橘检测的准确性。
附图说明
图1为本发明基于多光谱结构光的柑橘连续检测方法的流程图；
图2为第一近红外光灰度值的高斯分布曲线图；
图3为本发明的第二近红外光的光路示意图；
图4为本发明的检测工位的示意图；
图5为本发明的第二可见光的光路示意图；
图6为本发明填充三维光谱图的示意图；
图7为本发明生成第一光谱图的坐标系示意图；
图8为本发明根据基于多光谱结构光的柑橘连续检测方法的检测设备的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例一
如图1至图6所示，本实施例的基于多光谱结构光的柑橘连续检测方法，在相邻的检测工位扫描柑橘生成两组光谱图和两组彩色图，通过反射元件完成第一光谱图和第一彩色图的像素点匹配，生成第一映射矩阵，第二光谱图和第二彩色图的像素点匹配，生成第二映射矩阵。再基于柑橘果脐与果梗的特征进行第一光谱图和第二光谱图匹配，形成了完整的三维光谱图。结合第一映射矩阵、第二映射矩阵和第一彩色图、第二彩色图对三维光谱图进行像素填充形成完整的三维彩图，从而实现对柑橘全部表面的扫描。该柑橘连续检测方法具体包括以下步骤。
步骤1：检测台包括多个连续的检测工位，预设相邻检测工位的间距，将待检测的柑橘放置在检测工位上，每一检测工位具有反射元件。反射元件在检测工位的固定位置，例如检测工位的左上角。检测台具有传送带，以预设的速度带动检测工位上的柑橘向前运动。反射元件例如是条形反射镜，光线经该反射元件后反射至光接收器，在光接收器生成反射标记。近红外光与可见光的波长不同，相应的图像无法直接配对。因反射元件与柑橘的相对位置固定，反射元件可以分别反射近红外光与可见光，在光谱图与彩色图上生成反射标记，根据反射标记匹配同一检测工位的光谱图与彩色图。
步骤2：第一结构光发射器向柑橘发送第一近红外光，第一可见光发射器向柑橘发送第一可见光，第一光接收器生成第一光谱图和第一彩色图。第一近红外光为线阵结构光，第一结构光发射器沿垂直于线阵结构光的方向扫描柑橘。第一近红外光的宽度影响图像精度。本实施例的第一光接收器提取线阵结构光的中心线，根据多个中心线生成第一光谱图。中心线提取方法可以采用高斯分布法、光条细化点判定法等。图2为某一横坐标下线阵结构光上某一行像素的灰度值分布，横坐标代表像素的列坐标，纵坐标代表该像素点上的灰度值。本实施例优选的采用高斯分布法，选取一组采样点(ei,di)，i=1,2,...,n，n为采样点数量，ei表示第i个采样点的列坐标，di表示第i个采样点的灰度值。该横坐标的中心点，对线阵结构光每一行都进行所述操作，得到一组中心，然后将中心连接得到线阵结构光的中心线。
步骤3：基于反射元件匹配第一光谱图与第一彩色图，生成第一映射矩阵。反射元件响应第一近红外光和第一可见光，分别在第一光谱图和第一彩色图生成反射标记，根据反射标记的坐标匹配第一光谱图与第一彩色图的像素点，得到第一映射矩阵。第一光谱图中反射标记向量为Q1=[x1,y1,0]，第一彩色图中反射标记向量为Q0=[x0,y0]，第一映射矩阵，其中θ1为旋转角，a1为水平平移量，b1为垂直平移量。该第一映射矩阵表示第一彩色图中反射标记向量经过旋转角θ1、水平平移量a1和垂直平移量b1的变换后得出第一光谱图中反射标记向量。相应的映射矩阵方程为(Q1)T=N1([Q0,0])T。取第一光谱图中反射标记的至少两组顶点坐标(x2,y2,0)、(x3,y3,0)，取第一彩色图中反射标记的对应的顶点坐标(x4,y4)、(x5,y5)，将两组点对坐标代入映射矩阵方程得出第一映射矩阵。
步骤4：顶杆推动柑橘至相邻的检测工位，第二结构光发射器向柑橘发送第二近红外光，第二可见光发射器向柑橘发送第二可见光，第二光接收器生成第二光谱图和第二彩色图。
如图3和图4，顶杆推动柑橘沿支撑轴滚动，柑橘进入前一检测工位。在不同的检测工位，柑橘的迎光面发生变化。在较佳的实施例中，柑橘的角位移为π。图4所示的虚线为柑橘与支撑轴的接触点轨迹，检测工位的间距越大，接触点轨迹越长。接触点轨迹越长，柑橘的角位移越大。在具体实施例中，可以根据当前柑橘的角位移反馈调整相邻检测工位的间距，使得后续柑橘的角位移为π。若当前柑橘的角位移大于π，减小相邻检测工位的间距。若当前柑橘的角位移小于π，增加相邻检测工位的间距。进一步的，本发明可以通过第一光谱图和第二光谱图预测柑橘的角位移。若第一光谱图和第二光谱图在柑橘的滚动方向上出现像素重叠，则柑橘的角位移小于π。若第一光谱图和第二光谱图在柑橘的滚动方向上出现像素缺失，则柑橘的角位移大于π。因柑橘的尺寸不同，无法保证每一柑橘角位移均为π，本发明通过色彩填充的方法保证三维彩色图的完整性。如图5所示，第二可见光发射器发送第二可见光，被光反射罩反射至柑橘，第二光接收器接收第二可见光生成第二彩色图，光反射罩能够使第二可见光更加均匀地照射柑橘。
步骤5：基于反射元件匹配第二光谱图与第二彩色图，获得第二映射矩阵。第二映射矩阵的获得方法与第一映射矩阵获得方法相同。第二映射矩阵，其中θ2为旋转角，a2为水平平移量，b2为垂直平移量。第二映射矩阵的生成算法可以参照步骤3，在此不做赘述。
步骤6：提取第一光谱图和第二光谱图的果脐与果梗，合并第一光谱图和第二光谱图，生成柑橘的三维光谱图。对比第一光谱图和第二光谱图与生物学特征样本，对第一光谱图和第二光谱图分别进行特征提取处理，得到果脐与果梗的特征图像。在本实施例中，生物学特征样本是指柑橘果脐与果梗的形状特征组成的图像样本集，可以通过批量训练多个柑橘图像获得果脐与果梗的生物学特征样本。可以根据生物学特征样本从第一光谱图和第二光谱图中查找具有相关生物学特征的图像。然后根据特征图像得到特征轮廓图像。根据特征轮廓图像选取多个特征点进行特征点匹配，最后生成柑橘的三维光谱图。因果脐与果梗的生物特征的轮廓都有一定的对称性，所以特征点可以是果脐与果梗的特征轮廓图像的中心点和反射标记。通过中心点提取算法提取果脐与果梗的特征轮廓图像的中心点，根据特征点匹配算法对果脐与果梗的特征轮廓图像的中心点和反射标记进行匹配。本实施例的中心点提取算法例如是通过计算图像中每个像素点的相似度，查找像素点的中心点。本实施例的特征点匹配算法例如是通过计算图像中的特征点的描述子，比较描述子并找到两幅图像的相似特征点。
步骤7：基于第一映射矩阵和第二映射矩阵将第一彩色图和第二彩色图填充至三维光谱图，生成三维彩图。如图6所示，第一彩色图和第二彩色图中各像素点的二维坐标可以根据第一映射矩阵和第二映射矩阵生成对应的三维坐标，全部像素点的三维坐标构成三维彩图。
因柑橘角位移的误差以及第一彩色图和第二彩色图的像素密度小于第一光谱图和第二光谱图，三维光谱图的部分像素点未被第一彩色图和第二彩色图填充，部分像素值缺失。提取三维光谱图中未被第一彩色图和第二彩色图填充的像素点，从颜色的渐变效果和平滑性方面考虑，采用非局部均值法，根据相邻像素点的像素值填充该像素点，生成三维彩图。具体来说，取像素点的周围区域的像素点，根据周围区域像素点的相似度进行加权平均。采用非局部均值滤波，滤波后三维彩图清晰度高，不丢失细节。除此之外，还可以使用余弦插值算法进行色彩填充。通过对相邻像素点的像素值之间的差值进行加权平均得到新的像素值，逐渐迭代逼近得到最终的像素值。
步骤8：识别三维光谱图的至少一个结构特征，生成柑橘的结构检测值，识别三维彩图的至少一个外观特征，生成柑橘的外观检测值。对比第一特征样本与三维光谱图，识别至少一个结构特征，第一特征样本为柑橘的形状特征组成的图像样本集，形状特征包括但不限于凹陷、变形特征。对比第二特征样本与三维彩图，识别至少一个外观特征，第二特征样本为柑橘的外观特征组成的图像样本集，外观特征包括但不限于划痕、霉变、斑点特征。基于第二特征样本训练神经网络，然后将三维彩图代入神经网络中识别柑橘的划痕、霉变、斑点等外观特征，对外观特征进行加权，生成柑橘的外观检测值。采用类似的方法可以根据第一特征样本识别柑橘的凹陷，变形等结构特征。
步骤9：根据外观检测值和结构检测值生成对应检测工位的分级参数，根据分级参数对检测工位施加分级操作。根据外观检测值和结构检测值设置分级参数，霉变、斑点、凹陷等特征越多，外观检测值和结构检测值越大。根据分级参数设置分级等级，分级等级包括：优果、中果、次果，根据分级等级分装不同的收集设备（例如箱子）。
实施例二
本实施例进一步公开了步骤2中根据多个中心线图像生成第一光谱图的方法。
如图7所示，建立中心线图像的像素坐标系，以像素边长为单位，以图像左上角为原点O，像素行方向上建立u轴，列方向上建立v轴。建立中心线图像的物理坐标系，以物理长度毫米为单位，以第一光接收器的光轴与中心线图像的交点O1为原点，在与u轴平行方向上建立x轴，在与v轴平行方向上建立y轴。建立第一光接收器的坐标系，以第一光接收器的光心为坐标系原点Oc，以第一光接收器的光轴为Zc轴，Xc轴和Yc 轴分别与中心线图像的物理坐标系的x轴和y轴平行。
第一光接收器的光轴穿过中心线图像与其交于一点O1，点O1在中心线图像的像素坐标系中的坐标为(u0,v0)，该点即中心线图像的物理坐标系的原点，Oc到O1的距离即第一光接收器的焦距。
建立第一光谱图的坐标系，坐标原点为Ow，三轴为Xw轴，Yw轴和Zw轴。第一光谱图的点P，其在中心线图像的像素坐标系下的坐标为(u,v)，在第一光接收器的坐标系下的坐标为(xc,yc,zc)，在第一光谱图的坐标系下的坐标为(xw,yw,zw)。根据下述坐标转换关系将中心线图像的二维坐标生成第一光谱图的三维坐标。
根据坐标系转换算法，第一光谱图任意像素点可以通过旋转矩阵R和平移向量S转换到第一光接收器坐标系中，中心线图像与第一光谱图的坐标转换关系为：，/>，/>。其中，fx为中心线图像的像素坐标系u轴的尺度因子，fy为中心线图像的像素坐标系v轴的尺度因子。u0为中心线图像的物理坐标系的原点O1在中心线图像的像素坐标系中的u轴坐标，v0为中心线图像的物理坐标系的原点O1在中心线图像的像素坐标系中的v轴坐标。fx、fy、u0、v0是第一光接收器的内部参数，其中，fx=f/dx，fy=f/dy，f为第一光接收器的焦距，dx为中心线图像的单个像素在x轴方向上的物理尺寸，dy为中心线图像的单个像素在y轴方向上的物理尺寸。R和S是第一光接收器的外部参数，R为3×3的正交矩阵，S是1×3的向量，0T=［0，0，0］。R和S代表第一光谱图的坐标系和第一光接收器的坐标系之间的位置关系，可以测算得到其矩阵和向量元素值。
实施例三
本实施例进一步公开了步骤6中提取第一光谱图和第二光谱图的果脐与果梗的方法。首先对第一光谱图和第二光谱图分别进行特征提取处理，得到果脐与果梗的特征图像，然后根据特征图像得到特征轮廓图像，根据特征轮廓图像选取多个特征点进行特征点匹配，最后生成柑橘的三维光谱图，特征点可以是果脐与果梗的特征轮廓图像的中心点和反射标记。
具体来说，将三维的第一光谱图和第二光谱图转为多属性特征的二维图像，通过二维卷积神经网络识别并提取特征。将第一光谱图和第二光谱图从三维空间转为二维空间具有提升计算效率、降低神经网络的模型参数等优点。同时有丰富的二维数据训练神经网络，可以提升神经网络的训练效率及识别准确率。
本实施例使用Canny算子对果脐与果梗的特征图像进行轮廓提取得到特征轮廓图像。Canny算子是一种具有良好抗噪能力与边缘提取能力的轮廓检测算子，其处理步骤主要包括高斯滤波、梯度计算、非极大值抑制以及双阈值检测。首先采用高斯滤波方法平滑特征轮廓图像，滤除特征轮廓图像中部分噪点。接着采用Sobel算子对特征轮廓图像的梯度进行计算，提取特征轮廓图像的边界。Sobel算子的特点是根据周围像素对中心像素的影响不同进行了加权处理，提取效果较好。然后经过非极大值抑制处理，细化特征轮廓图像的边界。非极大值抑制可以帮助将特征轮廓图像中局部像素的梯度最大值之外的所有梯度值抑制，保留局部像素梯度值最大的点。最后进行双阈值检测，对特征轮廓图像进行二值化操作。即将低于低阈值的像素点置0，将大于高阈值的像素点置1。
实施例四
参照图8，本实施例公开了根据所述基于多光谱结构光的柑橘连续检测方法的检测设备，包括：时序控制器、检测台、第一结构光发射器、第一可见光发射器、第一光接收器、驱动器、第二结构光发射器、第二可见光发射器、第二光接收器、图像生成单元、图像处理单元、图像分析单元以及执行单元。
时序控制器用于控制检测台、第一结构光发射器等的工作顺序。检测台包括多个连续的检测工位，可以通过传送链条等装置带动检测工位移动。第一结构光发射器用于向柑橘发送第一近红外光。第一可见光发射器用于向柑橘发送第一可见光。第一光接收器用于生成第一光谱图和第一彩色图。驱动器用于推动柑橘至相邻的检测工位，驱动器的端部连接顶杆。第二结构光发射器用于向柑橘发送第二近红外光。第二可见光发射器用于向柑橘发送第二可见光。第二光接收器用于生成第二光谱图和第二彩色图。图像生成单元用于根据第一光谱图和第二光谱图生成三维光谱图。图像处理单元用于根据第一彩色图和第二彩色图生成三维彩图。图像分析单元用于生成柑橘的结构检测值和外观检测值。执行单元接收图像分析单元的指令，将处于检测工位的柑橘推入对应的收集设备。
柑橘放置于检测台的检测工位上，检测工位以一定的速度带动柑橘向前运动，柑橘经过第一近红外光和第一可见光扫描反射至第一光接收器生成第一光谱图和第一彩色图。再沿检测工位的支撑轴滚动180°到达前一检测工位。前一检测工位的柑橘在上一周期已经移动，处于空闲状态。经过第二近红外光和第二可见光扫描反射至第二光接收器生成第二光谱图和第二彩色图。第一光谱图和第一彩色图基于反射元件完成像素点匹配，第一光谱图和第一彩色图基于反射元件完成像素点匹配。根据柑橘果脐与果梗匹配上半部分的第一光谱图和下半部分的第二光谱图，形成完整的三维光谱图。结合第一映射矩阵和第二映射矩阵将第一彩色图和第二彩色图的像素填充至三维光谱图形成完整的柑橘形状三维彩图，基于三维彩图进行特征提取生成柑橘的结构检测值和外观检测值，根据结构检测值和外观检测值生成分级参数，根据分级参数施加分级操作。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改，等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于多光谱结构光的柑橘连续检测方法，其特征在于，包括以下步骤：
步骤1：检测台包括多个连续的检测工位，预设相邻检测工位的间距，将待检测的柑橘放置在检测工位上，每一检测工位具有反射元件；
步骤2：第一结构光发射器向柑橘发送第一近红外光，第一可见光发射器向柑橘发送第一可见光，第一光接收器生成第一光谱图和第一彩色图；
步骤3：基于反射元件匹配第一光谱图与第一彩色图，生成第一映射矩阵；
步骤4：顶杆推动柑橘至相邻的检测工位，第二结构光发射器向柑橘发送第二近红外光，第二可见光发射器向柑橘发送第二可见光，第二光接收器生成第二光谱图和第二彩色图；
步骤5：基于反射元件匹配第二光谱图与第二彩色图，获得第二映射矩阵；
步骤6：提取第一光谱图和第二光谱图的果脐与果梗，合并第一光谱图和第二光谱图，生成柑橘的三维光谱图；
步骤7：基于第一映射矩阵和第二映射矩阵将第一彩色图和第二彩色图填充至三维光谱图，生成三维彩图；
步骤8：识别三维光谱图的至少一个结构特征，生成柑橘的结构检测值，识别三维彩图的至少一个外观特征，生成柑橘的外观检测值。
2.根据权利要求1所述的基于多光谱结构光的柑橘连续检测方法，其特征在于，在步骤2中，第一近红外光为线阵结构光，第一结构光发射器沿垂直于线阵结构光的方向扫描柑橘，第一光接收器提取线阵结构光的中心线，根据多个中心线生成第一光谱图。
3.根据权利要求1所述的基于多光谱结构光的柑橘连续检测方法，其特征在于，在步骤3中，反射元件响应第一近红外光和第一可见光，分别在第一光谱图和第一彩色图生成反射标记，根据反射标记的坐标匹配第一光谱图与第一彩色图的像素点，得到第一映射矩阵。
4.根据权利要求1所述的基于多光谱结构光的柑橘连续检测方法，其特征在于，在步骤4中，顶杆推动柑橘沿支撑轴滚动，根据柑橘的角位移调整相邻检测工位的间距。
5.根据权利要求1所述的基于多光谱结构光的柑橘连续检测方法，其特征在于，在步骤6中，对比第一光谱图和第二光谱图与生物学特征样本，提取果脐与果梗的位置坐标，根据果脐与果梗的位置关系合并第一光谱图和第二光谱图。
6.根据权利要求1所述的基于多光谱结构光的柑橘连续检测方法，其特征在于，在步骤7中，提取三维彩图中未被第一彩色图和第二彩色图填充的像素点，根据相邻像素点的像素值填充该像素点。
7.根据权利要求1所述的基于多光谱结构光的柑橘连续检测方法，其特征在于，在步骤8中，对比三维光谱图与第一特征样本，识别至少一个结构特征，对比三维彩图与第二特征样本，识别至少一个外观特征。
8.根据权利要求1所述的基于多光谱结构光的柑橘连续检测方法，其特征在于，还包括步骤9，根据外观检测值和结构检测值生成对应检测工位的分级参数，根据分级参数对检测工位的柑橘施加分级操作。
9.一种根据权利要求1所述的基于多光谱结构光的柑橘连续检测方法的检测设备，其特征在于，包括：
检测台，包括多个连续的检测工位；
第一结构光发射器，用于向柑橘发送第一近红外光；
第一可见光发射器，用于向柑橘发送第一可见光；
第一光接收器，用于生成第一光谱图和第一彩色图；
驱动器，用于推动柑橘至相邻的检测工位；
第二结构光发射器，用于向柑橘发送第二近红外光；
第二可见光发射器，用于向柑橘发送第二可见光；
第二光接收器，用于生成第二光谱图和第二彩色图；
图像生成单元，用于根据第一光谱图和第二光谱图生成三维光谱图；
图像处理单元，用于根据第一彩色图和第二彩色图生成三维彩图；
图像分析单元，用于生成柑橘的结构检测值和外观检测值。
10.根据权利要求9所述的检测设备，其特征在于，所述检测设备还包括执行单元，执行单元接收图像分析单元的指令，将处于检测工位的柑橘推入对应的收集设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311663194.9A CN117347312B (zh) | 2023-12-06 | 2023-12-06 | 基于多光谱结构光的柑橘连续检测方法和设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311663194.9A CN117347312B (zh) | 2023-12-06 | 2023-12-06 | 基于多光谱结构光的柑橘连续检测方法和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117347312A true CN117347312A (zh) | 2024-01-05 |
| CN117347312B CN117347312B (zh) | 2024-04-26 |
Family
ID=89361782
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311663194.9A Active CN117347312B (zh) | 2023-12-06 | 2023-12-06 | 基于多光谱结构光的柑橘连续检测方法和设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117347312B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101920245A (zh) * | 2009-10-27 | 2010-12-22 | 华东交通大学 | 基于可见近红外光谱的水果糖酸度在线检测与分选生产线 |
| WO2011041924A1 (zh) * | 2009-10-09 | 2011-04-14 | 江苏大学 | 滤波片光谱图像技术识别自然场景成熟柑橘的装置及方法 |
| CN203470363U (zh) * | 2013-08-16 | 2014-03-12 | 合肥泰禾光电科技股份有限公司 | 一种可见光与红外物料复合分选设备 |
| CN106442561A (zh) * | 2016-08-29 | 2017-02-22 | 北京农业智能装备技术研究中心 | 用于检测柑橘表皮缺陷的在线图像采集系统及方法 |
| CN107657653A (zh) * | 2016-07-25 | 2018-02-02 | 同方威视技术股份有限公司 | 用于对三维表面的图像进行重建的方法、装置和系统 |
| CN111624175A (zh) * | 2020-06-12 | 2020-09-04 | 浙大城市学院 | 一种水果品质无损检测与分级的智能车组合结构及方法 |
| CN112097688A (zh) * | 2020-09-03 | 2020-12-18 | 清华大学 | 基于光栅投影三维成像的多光谱三维形貌测量方法及装置 |
| CN112697737A (zh) * | 2021-01-21 | 2021-04-23 | 浙江大学 | 一种凝视型高光谱形貌四维系统 |
| CN113256575A (zh) * | 2021-05-13 | 2021-08-13 | 南京农业大学 | 一种基于结构化高光谱系统的水果缺陷检测方法 |
| CN113933305A (zh) * | 2021-11-12 | 2022-01-14 | 江南大学 | 基于智能手机的薄皮水果糖度无损测量方法及系统 |
| CN114445817A (zh) * | 2022-01-25 | 2022-05-06 | 华南农业大学 | 基于增强拉曼光谱和图像辅助的柑橘缺素症状识别方法 |
| WO2022121290A1 (zh) * | 2020-12-09 | 2022-06-16 | 中国农业科学院农业资源与农业区划研究所 | 一种基于果纹图谱和区块链的果品可信追溯方法及装置 |
| CN115266608A (zh) * | 2022-07-29 | 2022-11-01 | 江苏大学 | 基于相位和高光谱信息融合的果蔬品质检测装置及方法 |
| US20220383610A1 (en) * | 2021-05-25 | 2022-12-01 | Guangdong Polytechnic Normal University | Citrus identification method based on roundness integrity correction |
-
2023
- 2023-12-06 CN CN202311663194.9A patent/CN117347312B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011041924A1 (zh) * | 2009-10-09 | 2011-04-14 | 江苏大学 | 滤波片光谱图像技术识别自然场景成熟柑橘的装置及方法 |
| CN101920245A (zh) * | 2009-10-27 | 2010-12-22 | 华东交通大学 | 基于可见近红外光谱的水果糖酸度在线检测与分选生产线 |
| CN203470363U (zh) * | 2013-08-16 | 2014-03-12 | 合肥泰禾光电科技股份有限公司 | 一种可见光与红外物料复合分选设备 |
| CN107657653A (zh) * | 2016-07-25 | 2018-02-02 | 同方威视技术股份有限公司 | 用于对三维表面的图像进行重建的方法、装置和系统 |
| CN106442561A (zh) * | 2016-08-29 | 2017-02-22 | 北京农业智能装备技术研究中心 | 用于检测柑橘表皮缺陷的在线图像采集系统及方法 |
| CN111624175A (zh) * | 2020-06-12 | 2020-09-04 | 浙大城市学院 | 一种水果品质无损检测与分级的智能车组合结构及方法 |
| CN112097688A (zh) * | 2020-09-03 | 2020-12-18 | 清华大学 | 基于光栅投影三维成像的多光谱三维形貌测量方法及装置 |
| WO2022121290A1 (zh) * | 2020-12-09 | 2022-06-16 | 中国农业科学院农业资源与农业区划研究所 | 一种基于果纹图谱和区块链的果品可信追溯方法及装置 |
| CN112697737A (zh) * | 2021-01-21 | 2021-04-23 | 浙江大学 | 一种凝视型高光谱形貌四维系统 |
| CN113256575A (zh) * | 2021-05-13 | 2021-08-13 | 南京农业大学 | 一种基于结构化高光谱系统的水果缺陷检测方法 |
| US20220383610A1 (en) * | 2021-05-25 | 2022-12-01 | Guangdong Polytechnic Normal University | Citrus identification method based on roundness integrity correction |
| CN113933305A (zh) * | 2021-11-12 | 2022-01-14 | 江南大学 | 基于智能手机的薄皮水果糖度无损测量方法及系统 |
| CN114445817A (zh) * | 2022-01-25 | 2022-05-06 | 华南农业大学 | 基于增强拉曼光谱和图像辅助的柑橘缺素症状识别方法 |
| CN115266608A (zh) * | 2022-07-29 | 2022-11-01 | 江苏大学 | 基于相位和高光谱信息融合的果蔬品质检测装置及方法 |
Non-Patent Citations (8)
| Title |
|---|
| HAILIANG ZHANG ET AL.: "Detection of common defects on mandarins by using visible and near infrared hyperspectral imaging", INFRARED PHYSICS AND TECHNOLOGY, vol. 108, pages 1 - 10 * |
| JIANGBO LI ET AL.: "Fast detection and visualization of early decay in citrus using Vis-NIR hyperspectral imaging", COMPUTERS AND ELECTRONICS IN AGRICULTURE, vol. 127, pages 582 - 592, XP029709564, DOI: 10.1016/j.compag.2016.07.016 * |
| 吴孟桦 等: "基于双结构光视觉的机器人运动学参数标定方法", 组合机床与自动化加工技术, no. 6, pages 37 - 40 * |
| 周童童 等: "光谱及成像技术在果蔬损伤检测研究中的应用现状与展望", 光谱学与光谱分析, vol. 42, no. 9, pages 2657 - 2665 * |
| 曹乐平;温芝元;: "基于统计复杂性测度、多重分形谱等方法的柑橘品质分级", 浙江大学学报(农业与生命科学版), no. 03, pages 309 - 319 * |
| 武琳霞 等: "桃品质的无损检测技术研究进展", 食品科学, vol. 43, no. 15, pages 367 - 377 * |
| 殷海 等: "基于反射率、吸光度和 Kubelka-Munk 光谱数据的黄桃早期损伤程度检测", 华中农业大学学报, vol. 42, no. 3, pages 220 - 229 * |
| 章海亮 等: "基于可见-近红外光谱法无损检测赣南脐橙中总酸含量", 食品安全质量检测学报, vol. 12, no. 23, pages 8985 - 8992 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117347312B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104897062B (zh) | 一种零件异面平行孔形位偏差的视觉测量方法及装置 | |
| CN107966454A (zh) | 一种基于fpga的端塞缺陷检测装置及检测方法 | |
| CN107578464A (zh) | 一种基于线激光扫描的传送带工件三维轮廓测量方法 | |
| CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
| CN112651968B (zh) | 一种基于深度信息的木板形变与凹坑检测方法 | |
| Yang | Finding stalk and calyx of apples using structured lighting | |
| CN109961399B (zh) | 基于图像距离变换的最佳缝合线搜寻方法 | |
| CN113989379B (zh) | 基于线激光旋转扫描的轮毂焊缝三维特征测量装置及方法 | |
| CN101493313B (zh) | 成熟果实识别和定位的图像处理方法 | |
| CN112085024A (zh) | 一种罐表面字符识别方法 | |
| CN115330958A (zh) | 基于激光雷达的实时三维重建方法及装置 | |
| CN111611953B (zh) | 一种基于目标特征训练的抽油机识别方法与系统 | |
| CN110763700A (zh) | 一种半导体元器件缺陷检测方法和设备 | |
| CN115953550A (zh) | 针对线结构光扫描的点云离群点剔除系统及方法 | |
| CN109785338A (zh) | 一种运动背景下螺纹关键尺寸参数的在线视觉方法 | |
| CN114714355A (zh) | 自主移动焊接机器人嵌入式视觉跟踪控制系统 | |
| CN111402330A (zh) | 一种基于平面靶标的激光线关键点提取方法 | |
| CN116363505A (zh) | 一种基于采摘机器人视觉系统的目标采摘方法 | |
| CN116486287A (zh) | 基于环境自适应机器人视觉系统的目标检测方法及系统 | |
| CN117214178A (zh) | 一种用于包装生产线上包装件外观缺陷智能识别方法 | |
| CN116579955B (zh) | 一种新能源电芯焊缝反光点去噪和点云补全方法及系统 | |
| CN116543247A (zh) | 基于光度立体表面重建的数据集制作方法及验证系统 | |
| CN112734916B (zh) | 基于图像处理的彩色共聚焦并行测量三维形貌还原方法 | |
| CN114881969A (zh) | 基于计算机视觉的木板表面木节疤检测方法及检测系统 | |
| CN117347312B (zh) | 基于多光谱结构光的柑橘连续检测方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |