CN109815833A - 一种基于ccd与三维激光传感信息融合特征提取的茶尖识别方法 - Google Patents
一种基于ccd与三维激光传感信息融合特征提取的茶尖识别方法 Download PDFInfo
- Publication number
- CN109815833A CN109815833A CN201811633562.4A CN201811633562A CN109815833A CN 109815833 A CN109815833 A CN 109815833A CN 201811633562 A CN201811633562 A CN 201811633562A CN 109815833 A CN109815833 A CN 109815833A
- Authority
- CN
- China
- Prior art keywords
- image
- point
- tea
- depth
- ccd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000000605 extraction Methods 0.000 title claims abstract description 23
- 230000004927 fusion Effects 0.000 title claims abstract description 21
- 241001122767 Theaceae Species 0.000 title claims description 64
- 238000012549 training Methods 0.000 claims abstract description 20
- 241000208340 Araliaceae Species 0.000 claims abstract description 7
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims abstract description 7
- 235000003140 Panax quinquefolius Nutrition 0.000 claims abstract description 7
- 235000008434 ginseng Nutrition 0.000 claims abstract description 7
- 230000017105 transposition Effects 0.000 claims abstract description 7
- 230000000977 initiatory effect Effects 0.000 claims abstract description 6
- 238000013178 mathematical model Methods 0.000 claims abstract description 4
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 230000002146 bilateral effect Effects 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 15
- 239000000463 material Substances 0.000 claims description 11
- 239000003086 colorant Substances 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000000717 retained effect Effects 0.000 claims description 8
- 238000000280 densification Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 6
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 239000000686 essence Substances 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 3
- 244000269722 Thea sinensis Species 0.000 abstract 6
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000005520 cutting process Methods 0.000 description 5
- 208000037805 labour Diseases 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 235000000173 Camellia sinensis var sinensis Nutrition 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 229940107131 ginseng root Drugs 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 239000011551 heat transfer agent Substances 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000007115 recruitment Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于CCD与三维激光传感信息融合特征提取的茶尖识别方法，属于图像识别技术领域，包括：建立可量化的颜色空间模型及RGB颜色数学模型，进行属性划分；对图像进行分类，把各层已预训练好的参数作为初始化参数，进行有监督训练；对激光雷达进行参数标定，标定包括内参标定和外参标定将激光雷达点云的深度值传递到致密图像的每个像素上去，恢复得到目标像素点的深度值；对CCD相机和激光雷达进行联合标定，对采集的图像进行处理，计算茶尖的实际尺寸和位置信息。本发明利用激光测量茶尖的深度信息，相机采集茶尖图像信息，融合深度和图像信息识别茶尖，得到茶尖的颜色、尺寸、形状和位置等信息。
Description
技术领域
本发明涉及一种茶尖识别方法，特别是涉及一种基于CCD与三维激光传感信息融合特征提取的茶尖识别方法，属于图像识别技术领域。
背景技术
茶叶采摘在茶叶生产中是一项颇费工本的劳作，一般要占茶园管理用工的50％以上，特别是我国大部分茶叶主产区都以名优茶的生产为主，采摘精度要求比较高，一般都要达到两叶一芯以上标准，另一方面随着农村经济体制改革的不断深化，商品经济迅速发展，农村大批劳力向第二、第三产业转移，不少茶区出现采茶劳力短缺的问题，并随着劳动工资的提高和生产资料价格的调整，茶叶生产成本日益提高，经济效益较低，因此，实现茶尖智能识别，减少采茶劳力投入，降低生产成本，已成为当前茶叶生产的一个迫切需要解决的问题。
中国从20世纪50年代开始研究采茶机，最初从日本引进采茶机进行试验，60年代初，自主研制了首台单人往复切割式采茶机，70年代全国有10多个产茶省参与采茶机的研制，并成功研制出了机动、电动、手动的往复切割、水平钩刀切割、螺旋滚刀切割等10余种采茶机，不过由于动力不足和刀片易损，没有能够大面积推广。
综合来看，现有采茶机多不具有选择性，更为适合大宗茶的加工，且以往复式切割器为主，采茶效率高、采摘完整率高、重割率低。
近年来，我国茶产业得到了快速的发展，其中名优茶的生产业应运而生，目前采摘名优茶仍是靠手工作业，存在劳动力不足并且成本大的问题；而机械化采摘时易破坏茶叶的形状和叶片的完整性。
因此，能够自动地、有选择性的采摘茶叶新稍的智能采茶机器设备亟待解决。
发明内容
本发明的主要目的是为了提供一种基于CCD与三维激光传感信息融合特征提取的茶尖识别方法，通过CCD相机图像识别、三维激光雷达扫描系统进行信息融合特征提取。
本发明的目的可以通过采用如下技术方案达到：
一种基于CCD与三维激光传感信息融合特征提取的茶尖识别方法，包括如下步骤：
步骤1：建立可量化的颜色空间模型及RGB颜色数学模型，在使用CCD相机获得图像数字量表示的RGB三基色像素值后，根据分选颜色模型为不同物料进行属性划分，对分选物料颜色阈值区间的属性划分；
步骤2：对CCD相机获得的图像进行分类，当进行标准图像分类时，指定一个输入图像，将它输入到卷积神经网络中会获得一个类标签以及相应被分类标签的概率，应用受限玻尔兹曼机对神经网络进行逐层无监督的预训练，把各层已预训练好的参数作为整个神经网络的初始化参数，最后利用标注的数据进行有监督训练；
步骤3：激光雷达扫描系统得到的原始数据是距离和角度信息，构建一个几何模型，将激光雷达的距离和角度信息映射到三维坐标系下，然后对激光雷达进行参数标定，标定包括内参标定和外参标定；
步骤4：在CCD相机和激光雷达已经标定好的基础上，将这些稀疏的激光雷达点云的深度值传递到致密图像的每个像素上去，基于双边滤波的采样，通过使用高斯滤波器，这K个最近邻的深度值被用来恢复得到目标像素点的深度值；
步骤5：首先对CCD相机和激光雷达进行联合标定，然后用图像处理的方法对采集的图像进行处理，运用机器视觉的方法诸如颜色、神经网络类标签等识别茶尖；结合激光雷达点云数据，进而得到深度信息，计算茶尖的实际尺寸和位置信息。
步骤1中，对数字量的像素值设定阈值区间，为不同颜色阈值区间添加不同物料属性标签，标签确定物料是会被保留还是会被剔除。
步骤1中，颜色阈值分割，CCD输出信号电荷量信号经过A/D转换，输出8位精度数字信号，三种颜色的输出范围均在[0，255]区间内，分析待选茶叶的颜色特征，可以设定三种不同的阈值区间：[0，Threshold1]，[Threshold2，Threshold3]，[Threshold4，255]，这三种阈值区间任意搭配，可以单区间使用也可以多区间使用，在作为保留阈值区间时，茶尖的像素值Pixel若不在阈值区间内则视为该茶叶为需要剔除的样本，相反则视为需要保留的，而作为剔除阈值区间时，与作为保留阈值区间逻辑完全相反。
步骤2中，应用受限玻尔兹曼机对神经网络进行逐层无监督的预训练，学习不同层次的特征表达，每一层特征表达都是通过前一次的表达变换得到，把所有层次叠加起来形成一个深度神经网络，把各层已预训练好的参数作为整个神经网络的初始化参数，最后利用标注的数据进行有监督训练。
步骤2中，设定橙色圆圈表示当前状态下受限玻尔兹曼机需要学习得到的隐含层，绿色圆圈表示当前状态下可视层，因此最高的可视层往下的网络参数可以被逐层无监督学习得到，在最后的状态，所有中间层都已经作为可视层，在最顶层加上输出层，然后以前面得到的参数作为初始化用反向传播算法全部重新训练，得到一个层数很深的深度神经网络；在图像分类的基础上，神经网络会对图像中的目标进行定位、特征提取；
在执行目标检测时，给定一个输入图像能够获得：
(1)边框列表，或者图像中每个目标的(x，y)坐标；
(2)每个边框所对应的类标签；
(3)每个边框和类标签相应置信度分数。
步骤3中，激光雷达的内部模型以及参数预先固定并校正好，外参根据所设计的坐标系来标定，激光雷达可直接获得茶尖详细的三维几何和距离信息，通过对这些信息的筛选、归类、除噪等工作，提取出属于茶尖的几何和距离信息后，通过坐标变换得到茶尖的形状特征和坐标，实现茶尖形态识别。
步骤4中，当点云投射到高分辨率的图像平面上的时候，定义一个点云的深度的估计函数如下所示：
式4-1中：d是从激光雷达传感器上直接获取的深度值，f指的是深度值可能受到一个高斯噪声的干扰，其噪声方差为
为了将图像上已知点云上像素点的深度值传递到其他像素上，本发明构建一个双边滤波框架如下所示：
式4-2中：f(k，l)是在p(k，l)上像素的深度值，K是一个归一化因子，K的表达式如下所示：
式4-3中：ω(i,j,k,l)是一个权值函数，权值函数最关键的作用是设计好权值函数来插值颜色通道上的信息，表达式如下所示：
ω(i,j,k,l)＝ωdst(i,j,k,l)·ωclr(i,j,k,l) (4-5)
其中：ωdst(i,j,k,l)这项表达的是离像素点(i,j)越近的点具有更高的权值；
颜色通道项ωclr(i,j,k,l)保证了在颜色通道上与Ip(i,j)相近的颜色含有更高的权值；
σc和σd分别是对应的方差大小，其取值的大小是根据实际数据确定出来的。
步骤4中，双边滤波加权框架算法，包括如下步骤：
步骤41：建立特征空间
将图像上投射的每个点云的空间特征和颜色通道特征联合起来构建一个特征空间便于匹配相应的特征；
步骤42：建立KD树
将激光雷达传感器上已知的点云深度信息，根据特征空间组织成一个KD树组织的结构，这个构建出来的KD树就是本文中所要用到的知识库；
步骤43：K最近邻搜索
对于将要恢复的致密深度图上的每一个像素，根据已知的点云像素点(fi,di)，i＝1，2，3，…及其特征，在第二步中构建的KD树中搜索其最近邻域中的K个点；
步骤44：基于双边滤波的采样
通过使用高斯滤波器，这K个最近邻的深度值被用来恢复得到目标像素点的深度值。
步骤4中，要用到马尔科夫随机场，其定义如下：
E＝Edata+λEsmooth (4-8)
式4-8中：λ是一个平衡的参数项，数据项定义如下：
式4-9中：G代表的是整个单目图像中的像素，将每个像素点的深度值量化成M个等级，把这个量化的深度值与单目图像的二维坐标联合组成一个新的三维空间，在这个深度图像的第三维上，将每个像素点的深度值通过设定一个正态分布如下所示：
马尔科夫随机场中平滑项是整个公式中最关键的一个部分，在平滑项中其结合了空间和深度值的分布如下：
式4-11中：δ(lp,lq)和B(p,q)如下所示：
式4-13中：c是一个常量并且决定了图像中边缘的平滑速度。求解上式结果的最小值得到最终优化结果。
步骤4中，双边滤波得到的单目图像和激光雷达点云融合数据的致密深度图算法，其是已知配准得到的单目图像和激光雷达点云，求致密深度图，包括如下步骤：
步骤401：while致密深度图像上的某点深度值为0do；
步骤402：步骤401从KD树上搜索特征空间上最近的K个相邻点；
步骤403：for对于点p最近的特征点qdo；
步骤404：步骤402通过公式4-6公式4-7计算欧氏距离通道Wdst和颜色空间通道Wclr；
步骤405：步骤403在双边滤波下更新p点到深度值；
步骤406：endfor；
步骤407：endwhile；
步骤408：步骤404将生成的每个图像上的点的深度值量化成k个等级；
步骤409：步骤405生成到深度图像拓展到三维空间，第三维的值由公式4-10获得；
步骤410：步骤406从公式4-13的最小值中更新致密图上的深度值大小；
步骤411：if生成的深度致密图像有空洞；
步骤412：步骤407返回到第1到3步；
步骤413：end。
本发明的有益技术效果：本发明提供的基于CCD与三维激光传感信息融合特征提取的茶尖识别方法，激光雷达和CCD相机信息融合识别茶尖，主要是利用激光测量茶尖的深度信息，相机采集茶尖图像信息，融合深度和图像信息识别茶尖，得到茶尖的颜色、尺寸、形状和位置等信息。
附图说明
图1为按照本发明的基于CCD与三维激光传感信息融合特征提取的茶尖识别方法的一优选实施例的高斯加权滤波框架图。
具体实施方式
为使本领域技术人员更加清楚和明确本发明的技术方案，下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
本实施例提供的基于CCD与三维激光传感信息融合特征提取的茶尖识别方法，包括如下步骤：
步骤1：可量化的颜色空间模型是机器视觉技术可以实现精确判断的数学基础。RGB颜色数学模型是指波长分别为700.0nm的红光(R)，546.1nm的绿光(G)和435.8nm的蓝光(B)的光谱三原色，理论表明三种单色可以合成自然界中存在的任意颜色，也就是一组数字量R、G、B；
在使用CCD相机获得图像数字量表示的RGB三基色像素值后，根据分选颜色模型为不同物料进行属性划分，也就是对分选物料颜色阈值区间的属性划分。阈值分割是色选的判别准则，对于数字量的像素值设定阈值区间，为不同颜色阈值区间添加不同物料属性标签，标签确定物料是会被保留还是会被剔除；
颜色阈值分割，CCD输出信号电荷量信号经过A/D转换，输出8位精度数字信号，也就是三种颜色的输出范围均在[0，255]区间内。分析待选茶叶的颜色特征，可以设定三种不同的阈值区间：[0，Threshold1]，[Threshold2，Threshold3]，[Threshold4，255]，这三种阈值区间可以灵活搭配，即可以单区间使用也可以多区间使用，在作为保留阈值区间时，茶尖的像素值Pixel若不在阈值区间内则视为该茶叶为需要剔除的样本，相反则视为需要保留的，而作为剔除阈值区间时，与作为保留阈值区间逻辑完全相反；
步骤2：对CCD相机获得的图像进行分类，当进行标准图像分类时，指定一个输入图像，将它输入到卷积神经网络中会获得一个类标签以及相应被分类标签的概率；
然后应用受限玻尔兹曼机对神经网络进行逐层无监督的预训练，可以学习到不同层次的特征表达；每一层特征表达都是通过前一次的表达变换得到，把所有层次叠加起来形成一个深度神经网络。把各层已预训练好的参数作为整个神经网络的初始化参数，最后利用标注的数据进行有监督训练；
其中橙色圆圈表示当前状态下受限玻尔兹曼机需要学习得到的隐含层，绿色圆圈表示当前状态下可视层，因此最高的可视层往下的网络参数可以被逐层无监督学习得到；在最后的状态，所有中间层都已经作为可视层，在最顶层加上输出层，然后以前面得到的参数作为初始化用反向传播算法全部重新训练，得到一个层数很深的深度神经网络；
在图像分类的基础上，神经网络会对图像中的目标进行定位、特征提取；
在执行目标检测时，给定一个输入图像能够获得：
(1)边框列表，或者图像中每个目标的(x，y)坐标；
(2)每个边框所对应的类标签；
(3)每个边框和类标签相应置信度分数；
步骤3：激光雷达扫描系统得到的原始数据是距离和角度信息，构建一个几何模型，将激光雷达的距离和角度信息映射到三维坐标系下，然后对激光雷达进行参数标定，标定包括内参标定和外参标定；激光雷达的内部模型以及参数已经固定并校正好了，外参根据自己所设计的坐标系来标定；激光雷达可直接获得茶尖详细的三维几何和距离信息，通过对这些信息的筛选、归类、除噪等工作，提取出属于茶尖的几何和距离信息后，通过坐标变换得到茶尖的形状特征和坐标，实现茶尖形态识别；
步骤4：在CCD相机和激光雷达已经标定好的基础上，将这些稀疏的激光雷达点云的深度值传递到致密图像的每个像素上去；
当点云投射到高分辨率的图像平面上的时候，定义一个点云的深度的估计函数如下所示：
式4-1中d是从激光雷达传感器上直接获取的深度值，f指的是深度值可能受到一个高斯噪声的干扰，其噪声方差为
为了将图像上已知点云上像素点的深度值传递到其他像素上，本发明构建一个双边滤波框架如下所示：
式4-2中f(k，l)是在p(k，l)上像素的深度值，K是一个归一化因子：
式4-3中，ω(i,j,k,l)是一个权值函数，权值函数最关键的作用是设计好权值函数来插值颜色通道上的信息，表达式如下所示：
ω(i,j,k,l)＝ωdst(i,j,k,l)·ωclr(i,j,k,l) (4-5)
ωdst(i,j,k,l)这项表达的是离像素点(i,j)越近的点具有更高的权值，而颜色通道项ωclr(i,j,k,l)保证了在颜色通道上与Ip(i,j)相近的颜色含有更高的权值，σc和σd分别是对应的方差大小，其取值的大小是根据实际数据确定出来的；
在本发明中，双边滤波加权框架算法的主要步骤如下所示：
建立特征空间：将图像上投射的每个点云的空间特征和颜色通道特征联合起来构建一个特征空间便于匹配相应的特征；
建立KD树：将激光雷达传感器上已知的点云深度信息，根据特征空间组织成一个KD树组织的结构，这个构建出来的KD树就是本文中所要用到的知识库；
K最近邻搜索：对于将要恢复的致密深度图上的每一个像素，根据已知的点云像素点(fi,di)，i＝1，2，3，…及其特征，在第二步中构建的KD树中搜索其最近邻域中的K个点；
基于双边滤波的采样：如图1所示，通过使用高斯滤波器，这K个最近邻的深度值被用来恢复得到目标像素点的深度值；
本发明中用到马尔科夫随机场，定义如下：
E＝Edata+λEsmooth (4-8)
式4-8中的λ是一个平衡的参数项，数据项定义如下：
式4-9中的G代表的是整个单目图像中的像素，将每个像素点的深度值量化成M个等级。把这个量化的深度值与单目图像的二维坐标联合组成一个新的三维空间；在这个深度图像的第三维上，将每个像素点的深度值通过设定一个正态分布如下所示：
马尔科夫随机场中平滑项是整个公式中最关键的一个部分，在平滑项中其结合了空间和深度值的分布如下：
式4-11中的δ(lp,lq)和B(p,q)如下所示：
式4-13中的c是一个常量并且决定了图像中边缘的平滑速度。求解上式结果的最小值得到最终优化结果；
基于以上双边滤波得到的单目图像和激光雷达点云融合数据，本发明有如下致密深度图算法；
已知：配准得到的单目图像和激光雷达点云；
求：致密深度图；
1：while致密深度图像上的某点深度值为0do；
2：Step1从KD树上搜索特征空间上最近的K个相邻点；
3：for对于点p最近的特征点qdo；
4：Step2通过公式4-6公式4-7计算欧氏距离通道Wdst和颜色空间通道Wclr；
5：Step3在双边滤波下更新p点到深度值；
6：endfor；
7：endwhile；
8：Step4将生成的每个图像上的点的深度值量化成k个等级；
9：Step5生成到深度图像拓展到三维空间，第三维的值由公式4-10获得；
10：Step6从公式4-13的最小值中更新致密图上的深度值大小；
11：if生成的深度致密图像有空洞；
12：Step7返回到第1到3步；
13：end；
步骤5：首先对CCD相机和激光雷达进行联合标定，然后用图像处理的方法对采集的图像进行处理，运用机器视觉的方法诸如颜色、神经网络类标签等识别茶尖；结合激光雷达点云数据，进而得到深度信息，计算茶尖的实际尺寸和位置信息等，是一种快速、精准、智能化的茶尖识别方法，可以将之应用于采茶机器人上面。
综上所述，在本实施例中，本实施例提供的基于CCD与三维激光传感信息融合特征提取的茶尖识别方法，激光雷达和CCD相机信息融合识别茶尖，主要是利用激光测量茶尖的深度信息，相机采集茶尖图像信息，融合深度和图像信息识别茶尖，得到茶尖的颜色、尺寸、形状和位置等信息。
以上所述，仅为本发明进一步的实施例，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明所公开的范围内，根据本发明的技术方案及其构思加以等同替换或改变，都属于本发明的保护范围。
Claims (10)
1.一种基于CCD与三维激光传感信息融合特征提取的茶尖识别方法，其特征在于，包括如下步骤：
步骤1：建立可量化的颜色空间模型及RGB颜色数学模型，在使用CCD相机获得图像数字量表示的RGB三基色像素值后，根据分选颜色模型为不同物料进行属性划分，对分选物料颜色阈值区间的属性划分；
步骤2：对CCD相机获得的图像进行分类，当进行标准图像分类时，指定一个输入图像，将它输入到卷积神经网络中会获得一个类标签以及相应被分类标签的概率，应用受限玻尔兹曼机对神经网络进行逐层无监督的预训练，把各层已预训练好的参数作为整个神经网络的初始化参数，最后利用标注的数据进行有监督训练；
步骤3：激光雷达扫描系统得到的原始数据是距离和角度信息，构建一个几何模型，将激光雷达的距离和角度信息映射到三维坐标系下，然后对激光雷达进行参数标定，标定包括内参标定和外参标定；
步骤4：在CCD相机和激光雷达已经标定好的基础上，将这些稀疏的激光雷达点云的深度值传递到致密图像的每个像素上去，基于双边滤波的采样，通过使用高斯滤波器，这K个最近邻的深度值被用来恢复得到目标像素点的深度值；
步骤5：首先对CCD相机和激光雷达进行联合标定，然后用图像处理的方法对采集的图像进行处理，运用机器视觉的方法诸如颜色、神经网络类标签等识别茶尖；结合激光雷达点云数据，进而得到深度信息，计算茶尖的实际尺寸和位置信息。
2.如权利要求1所述的一种基于CCD与三维激光传感信息融合特征提取的茶尖识别方法，其特征在于，步骤1中，对数字量的像素值设定阈值区间，为不同颜色阈值区间添加不同物料属性标签，标签确定物料是会被保留还是会被剔除。
3.如权利要求2所述的一种基于CCD与三维激光传感信息融合特征提取的茶尖识别方法，其特征在于，步骤1中，颜色阈值分割，CCD输出信号电荷量信号经过A/D转换，输出8位精度数字信号，三种颜色的输出范围均在[0，255]区间内，分析待选茶叶的颜色特征，可以设定三种不同的阈值区间：[0，Threshold1]，[Threshold2，Threshold3]，[Threshold4，255]，这三种阈值区间任意搭配，可以单区间使用也可以多区间使用，在作为保留阈值区间时，茶尖的像素值Pixel若不在阈值区间内则视为该茶叶为需要剔除的样本，相反则视为需要保留的，而作为剔除阈值区间时，与作为保留阈值区间逻辑完全相反。
4.如权利要求1所述的一种基于CCD与三维激光传感信息融合特征提取的茶尖识别方法，其特征在于，步骤2中，应用受限玻尔兹曼机对神经网络进行逐层无监督的预训练，学习不同层次的特征表达，每一层特征表达都是通过前一次的表达变换得到，把所有层次叠加起来形成一个深度神经网络，把各层已预训练好的参数作为整个神经网络的初始化参数，最后利用标注的数据进行有监督训练。
5.如权利要求4所述的一种基于CCD与三维激光传感信息融合特征提取的茶尖识别方法，其特征在于，步骤2中，设定橙色圆圈表示当前状态下受限玻尔兹曼机需要学习得到的隐含层，绿色圆圈表示当前状态下可视层，因此最高的可视层往下的网络参数可以被逐层无监督学习得到，在最后的状态，所有中间层都已经作为可视层，在最顶层加上输出层，然后以前面得到的参数作为初始化用反向传播算法全部重新训练，得到一个层数很深的深度神经网络；在图像分类的基础上，神经网络会对图像中的目标进行定位、特征提取；
在执行目标检测时，给定一个输入图像能够获得：
(1)边框列表，或者图像中每个目标的(x，y)坐标；
(2)每个边框所对应的类标签；
(3)每个边框和类标签相应置信度分数。
6.如权利要求1所述的一种基于CCD与三维激光传感信息融合特征提取的茶尖识别方法，其特征在于，步骤3中，激光雷达的内部模型以及参数预先固定并校正好，外参根据所设计的坐标系来标定，激光雷达可直接获得茶尖详细的三维几何和距离信息，通过对这些信息的筛选、归类、除噪等工作，提取出属于茶尖的几何和距离信息后，通过坐标变换得到茶尖的形状特征和坐标，实现茶尖形态识别。
7.如权利要求1所述的一种基于CCD与三维激光传感信息融合特征提取的茶尖识别方法，其特征在于，步骤4中，当点云投射到高分辨率的图像平面上的时候，定义一个点云的深度的估计函数如下所示：
式4-1中：d是从激光雷达传感器上直接获取的深度值，f指的是深度值可能受到一个高斯噪声的干扰，其噪声方差为
为了将图像上已知点云上像素点的深度值传递到其他像素上，本发明构建一个双边滤波框架如下所示：
式4-2中：f(k，l)是在p(k，l)上像素的深度值，K是一个归一化因子，K的表达式如下所示：
式4-3中：ω(i,j,k,l)是一个权值函数，权值函数最关键的作用是设计好权值函数来插值颜色通道上的信息，表达式如下所示：
ω(i,j,k,l)＝ωdst(i,j,k,l)·ωclr(i,j,k,l) (4-5)
其中：ωdst(i,j,k,l)这项表达的是离像素点(i,j)越近的点具有更高的权值；
颜色通道项ωclr(i,j,k,l)保证了在颜色通道上与Ip(i,j)相近的颜色含有更高的权值；
σc和σd分别是对应的方差大小，其取值的大小是根据实际数据确定出来的。
8.如权利要求7所述的一种基于CCD与三维激光传感信息融合特征提取的茶尖识别方法，其特征在于，步骤4中，双边滤波加权框架算法，包括如下步骤：
步骤41：建立特征空间
将图像上投射的每个点云的空间特征和颜色通道特征联合起来构建一个特征空间便于匹配相应的特征；
步骤42：建立KD树
将激光雷达传感器上已知的点云深度信息，根据特征空间组织成一个KD树组织的结构，这个构建出来的KD树就是本文中所要用到的知识库；
步骤43：K最近邻搜索
对于将要恢复的致密深度图上的每一个像素，根据已知的点云像素点(fi,di)，i＝1，2，3，…及其特征，在第二步中构建的KD树中搜索其最近邻域中的K个点；
步骤44：基于双边滤波的采样
通过使用高斯滤波器，这K个最近邻的深度值被用来恢复得到目标像素点的深度值。
9.如权利要求8所述的一种基于CCD与三维激光传感信息融合特征提取的茶尖识别方法，其特征在于，步骤4中，要用到马尔科夫随机场，其定义如下：
E＝Edata+λEsmooth (4-8)
式4-8中：λ是一个平衡的参数项，数据项定义如下：
式4-9中：G代表的是整个单目图像中的像素，将每个像素点的深度值量化成M个等级，把这个量化的深度值与单目图像的二维坐标联合组成一个新的三维空间，在这个深度图像的第三维上，将每个像素点的深度值通过设定一个正态分布如下所示：
马尔科夫随机场中平滑项是整个公式中最关键的一个部分，在平滑项中其结合了空间和深度值的分布如下：
式4-11中：δ(lp,lq)和B(p,q)如下所示：
式4-13中：c是一个常量并且决定了图像中边缘的平滑速度。求解上式结果的最小值得到最终优化结果。
10.如权利要求9所述的一种基于CCD与三维激光传感信息融合特征提取的茶尖识别方法，其特征在于，步骤4中，双边滤波得到的单目图像和激光雷达点云融合数据的致密深度图算法，其是已知配准得到的单目图像和激光雷达点云，求致密深度图，包括如下步骤：
步骤401：while致密深度图像上的某点深度值为0do；
步骤402：步骤401从KD树上搜索特征空间上最近的K个相邻点；
步骤403：for对于点p最近的特征点qdo；
步骤404：步骤402通过公式4-6公式4-7计算欧氏距离通道Wdst和颜色空间通道Wclr；
步骤405：步骤403在双边滤波下更新p点到深度值；
步骤406：endfor；
步骤407：endwhile；
步骤408：步骤404将生成的每个图像上的点的深度值量化成k个等级；
步骤409：步骤405生成到深度图像拓展到三维空间，第三维的值由公式4-10获得；
步骤410：步骤406从公式4-13的最小值中更新致密图上的深度值大小；
步骤411：if生成的深度致密图像有空洞；
步骤412：步骤407返回到第1到3步；
步骤413：end。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811633562.4A CN109815833A (zh) | 2018-12-29 | 2018-12-29 | 一种基于ccd与三维激光传感信息融合特征提取的茶尖识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811633562.4A CN109815833A (zh) | 2018-12-29 | 2018-12-29 | 一种基于ccd与三维激光传感信息融合特征提取的茶尖识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109815833A true CN109815833A (zh) | 2019-05-28 |
Family
ID=66602698
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811633562.4A Pending CN109815833A (zh) | 2018-12-29 | 2018-12-29 | 一种基于ccd与三维激光传感信息融合特征提取的茶尖识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109815833A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490915A (zh) * | 2019-08-19 | 2019-11-22 | 重庆大学 | 一种基于卷积受限玻尔兹曼机的点云配准方法 |
| CN110532865A (zh) * | 2019-07-19 | 2019-12-03 | 南京航空航天大学 | 基于可见光与激光融合的航天器结构识别方法 |
| CN111179331A (zh) * | 2019-12-31 | 2020-05-19 | 智车优行科技（上海）有限公司 | 深度估计方法、装置、电子设备及计算机可读存储介质 |
| CN111291676A (zh) * | 2020-02-05 | 2020-06-16 | 清华大学 | 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片 |
| CN111583663A (zh) * | 2020-04-26 | 2020-08-25 | 宁波吉利汽车研究开发有限公司 | 基于稀疏点云的单目感知修正方法、装置及存储介质 |
| CN112001961A (zh) * | 2020-08-28 | 2020-11-27 | 广西科技大学 | 一种装载机与物料的关联铲装系统及方法 |
| CN112183546A (zh) * | 2020-09-29 | 2021-01-05 | 河南交通职业技术学院 | 一种具有权重约束的基于空间最近邻的图像分割方法 |
| CN112462373A (zh) * | 2021-02-02 | 2021-03-09 | 聚时科技(江苏)有限公司 | 基于多传感器融合的船舱位检测方法 |
| CN113680692A (zh) * | 2021-07-28 | 2021-11-23 | 三江侗族自治县仙池茶业有限公司 | 一种智能筛选绿茶的方法和装置 |
| CN113808219A (zh) * | 2021-09-17 | 2021-12-17 | 西安电子科技大学 | 基于深度学习的雷达辅助相机标定方法 |
| CN114998408A (zh) * | 2022-04-26 | 2022-09-02 | 江苏双赢锻压机床有限公司 | 基于激光测量的冲床线ccd视觉检测系统 |
| CN115088772A (zh) * | 2022-07-05 | 2022-09-23 | 杭州正浩富梅茶叶有限公司 | 辅助数字智能化龙井茶精制的方法及系统 |
| CN115338875A (zh) * | 2022-10-19 | 2022-11-15 | 宜宾职业技术学院 | 一种基于图像识别的茶叶智能采摘系统及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107862293A (zh) * | 2017-09-14 | 2018-03-30 | 北京航空航天大学 | 基于对抗生成网络的雷达生成彩色语义图像系统及方法 |
| CN109034066A (zh) * | 2018-07-27 | 2018-12-18 | 北方工业大学 | 基于多特征融合的建筑物识别方法 |
-
2018
- 2018-12-29 CN CN201811633562.4A patent/CN109815833A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107862293A (zh) * | 2017-09-14 | 2018-03-30 | 北京航空航天大学 | 基于对抗生成网络的雷达生成彩色语义图像系统及方法 |
| CN109034066A (zh) * | 2018-07-27 | 2018-12-18 | 北方工业大学 | 基于多特征融合的建筑物识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| 曾湘峰: ""车载多传感器融合下的动态目标检测与跟踪"", 《中国硕士学位论文全文数据库》, 15 April 2018 (2018-04-15), pages 13 - 48 * |
| 苏欣著: "《Android手机应用网络流量分析与恶意行为检测研究》", vol. 1, 湖南大学出版社, pages: 159 - 163 * |
| 贺秉安等: "基于稀疏激光点云数据和单帧图像融合的三维重构算法", 《计测技术》 * |
| 贺秉安等: "基于稀疏激光点云数据和单帧图像融合的三维重构算法", 《计测技术》, no. 03, 28 June 2017 (2017-06-28) * |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110532865A (zh) * | 2019-07-19 | 2019-12-03 | 南京航空航天大学 | 基于可见光与激光融合的航天器结构识别方法 |
| CN110490915A (zh) * | 2019-08-19 | 2019-11-22 | 重庆大学 | 一种基于卷积受限玻尔兹曼机的点云配准方法 |
| CN110490915B (zh) * | 2019-08-19 | 2023-11-24 | 重庆大学 | 一种基于卷积受限玻尔兹曼机的点云配准方法 |
| CN111179331A (zh) * | 2019-12-31 | 2020-05-19 | 智车优行科技（上海）有限公司 | 深度估计方法、装置、电子设备及计算机可读存储介质 |
| CN111179331B (zh) * | 2019-12-31 | 2023-09-08 | 智车优行科技（上海）有限公司 | 深度估计方法、装置、电子设备及计算机可读存储介质 |
| CN111291676B (zh) * | 2020-02-05 | 2020-12-11 | 清华大学 | 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片 |
| CN111291676A (zh) * | 2020-02-05 | 2020-06-16 | 清华大学 | 一种基于激光雷达点云和相机图像融合的车道线检测方法及装置和芯片 |
| CN111583663A (zh) * | 2020-04-26 | 2020-08-25 | 宁波吉利汽车研究开发有限公司 | 基于稀疏点云的单目感知修正方法、装置及存储介质 |
| CN112001961A (zh) * | 2020-08-28 | 2020-11-27 | 广西科技大学 | 一种装载机与物料的关联铲装系统及方法 |
| CN112001961B (zh) * | 2020-08-28 | 2023-08-11 | 广西科技大学 | 一种装载机与物料的关联铲装系统及方法 |
| CN112183546B (zh) * | 2020-09-29 | 2023-05-23 | 河南交通职业技术学院 | 一种具有权重约束的基于空间最近邻的图像分割方法 |
| CN112183546A (zh) * | 2020-09-29 | 2021-01-05 | 河南交通职业技术学院 | 一种具有权重约束的基于空间最近邻的图像分割方法 |
| CN112462373A (zh) * | 2021-02-02 | 2021-03-09 | 聚时科技(江苏)有限公司 | 基于多传感器融合的船舱位检测方法 |
| CN113680692A (zh) * | 2021-07-28 | 2021-11-23 | 三江侗族自治县仙池茶业有限公司 | 一种智能筛选绿茶的方法和装置 |
| CN113808219A (zh) * | 2021-09-17 | 2021-12-17 | 西安电子科技大学 | 基于深度学习的雷达辅助相机标定方法 |
| CN113808219B (zh) * | 2021-09-17 | 2024-05-14 | 西安电子科技大学 | 基于深度学习的雷达辅助相机标定方法 |
| CN114998408B (zh) * | 2022-04-26 | 2023-06-06 | 宁波益铸智能科技有限公司 | 基于激光测量的冲床线ccd视觉检测系统 |
| CN114998408A (zh) * | 2022-04-26 | 2022-09-02 | 江苏双赢锻压机床有限公司 | 基于激光测量的冲床线ccd视觉检测系统 |
| CN115088772B (zh) * | 2022-07-05 | 2023-07-18 | 杭州正浩富梅茶叶有限公司 | 辅助数字智能化龙井茶精制的方法及系统 |
| CN115088772A (zh) * | 2022-07-05 | 2022-09-23 | 杭州正浩富梅茶叶有限公司 | 辅助数字智能化龙井茶精制的方法及系统 |
| CN115338875A (zh) * | 2022-10-19 | 2022-11-15 | 宜宾职业技术学院 | 一种基于图像识别的茶叶智能采摘系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109815833A (zh) | 一种基于ccd与三维激光传感信息融合特征提取的茶尖识别方法 | |
| CN105718945B (zh) | 基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法 | |
| CN106127204B (zh) | 一种全卷积神经网络的多方向水表读数区域检测算法 | |
| CN106951836B (zh) | 基于先验阈值优化卷积神经网络的作物覆盖度提取方法 | |
| CN109447169A (zh) | 图像处理方法及其模型的训练方法、装置和电子系统 | |
| CN105427309B (zh) | 面向对象高空间分辨率遥感信息提取的多尺度分层处理方法 | |
| CN105740759B (zh) | 基于多时相数据中特征提取的中稻信息决策树分类方法 | |
| CN109508710A (zh) | 基于改进YOLOv3网络的无人车夜间环境感知方法 | |
| CN109146889A (zh) | 一种基于高分辨率遥感图像的农田边界提取方法 | |
| CN104598908A (zh) | 一种农作物叶部病害识别方法 | |
| CN111639587B (zh) | 基于多尺度谱空卷积神经网络的高光谱图像分类方法 | |
| CN102902956A (zh) | 一种地基可见光云图识别处理方法 | |
| CN112699756B (zh) | 一种基于高光谱图像的茶叶原产地识别方法和系统 | |
| CN101813475A (zh) | 远距离障碍的自适应检测方法 | |
| CN107423537A (zh) | 一种基于自适应阈值的地表温度降尺度的方法 | |
| CN107392929A (zh) | 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法 | |
| CN107220664A (zh) | 一种基于结构化随机森林的油瓶装箱清点方法 | |
| CN107992783A (zh) | 人脸图像处理方法及装置 | |
| CN109583376A (zh) | 基于多特征信息融合的古陶瓷断源断代方法 | |
| CN107292328A (zh) | 多尺度多特征融合的遥感影像阴影检测提取方法及系统 | |
| CN110288033A (zh) | 一种基于卷积神经网络的甘蔗蔗节特征识别与定位方法 | |
| CN105956544A (zh) | 一种基于结构指数特征的遥感影像道路交叉口提取的方法 | |
| CN111291818B (zh) | 一种面向云掩膜的非均匀类别的样本均衡化方法 | |
| CN106951863A (zh) | 一种基于随机森林的变电站设备红外图像变化检测方法 | |
| CN112669363A (zh) | 城市绿地三维绿量测算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190528 |
|
| RJ01 | Rejection of invention patent application after publication |