CN115880220A - 多视角苹果成熟度检测方法 - Google Patents
多视角苹果成熟度检测方法 Download PDFInfo
- Publication number
- CN115880220A CN115880220A CN202211206303.XA CN202211206303A CN115880220A CN 115880220 A CN115880220 A CN 115880220A CN 202211206303 A CN202211206303 A CN 202211206303A CN 115880220 A CN115880220 A CN 115880220A
- Authority
- CN
- China
- Prior art keywords
- camera
- monocular
- binocular
- target
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种多视角苹果成熟度检测方法,具体包括如下步骤:确定双目相机和单目相机的位置;分别对双目相机和单目相机进行标定;将双目相机拍摄的目标物的坐标转移到单目相机成像平面的坐标上;建立目标成熟度检测网络模型,并对建立的该网络模型进行训练;进行双目相机目标深度计算;将检测到的目标在双目相机中的坐标信息,转换到单目相机图像坐标系中;判断单目相机的图像坐标系中是否存在目标物,若存在,则输出检测框图;将双目视角的检测框和对应坐标单目视角的检测框的特征点进行特征融合,并输出特征融合后的图片;通过多方位的图像采集和信息融合,实现了苹果成熟度的检测。
Description
技术领域
本发明属于农业自动采摘技术领域,涉及一种多视角苹果成熟度检测方法。
背景技术
机器视觉作为计算机技术的一个分支,其运用范围越来越广。计算机视觉对农作物实时检测能够更好的管理和培养农作物,广泛应用于制造业、检验、文档分析、医疗诊断和军事领域中各种智能自主系统。由于机器视觉拥有着高效和精准智能的特点,可以无缝对接到农业生产中的很多领域,如对农产品外观进行识别和对形态大小进行测量,都可以用机器视觉进行替代,通过对农产品进行分类判断,指导机械臂进行采摘。
目前农业上广泛使用的近红外图像检测法,直接对物体的外观形态进行检测,从而进行定性与定量分析。但该方法会受到光谱自身条件的限制。因此,提供一种精准高效,智能化程度高,符合现代农业发展方向的成熟度检测方法十分必要。
发明内容
本发明的目的是提供一种多视角苹果成熟度检测方法,该方法通过多方位的图像采集和信息融合,实现了苹果成熟度的检测。
本发明所采用的技术方案是,多视角苹果成熟度检测方法,具体包括如下步骤:
步骤1,确定双目相机和单目相机的位置;
步骤2,分别对双目相机和单目相机进行标定;
步骤3,将双目相机拍摄的目标物的坐标转移到单目相机成像平面的坐标上;
步骤4,建立目标成熟度检测网络模型,并对建立的该网络模型进行训练,得到最优的目标成熟度检测网络模型;
步骤5,进行双目相机目标深度计算;
步骤6,根据步骤5所得结果,将检测到的目标在双目相机中的坐标信息,转换到单目相机图像坐标系中;
步骤7,判断单目相机的图像坐标系中是否存在目标物,若存在,则输出检测框图;
步骤8,将双目视角的检测框和对应坐标单目视角的检测框的特征点进行特征融合,并输出特征融合后的图片;
步骤9,将步骤8输出的图片输入到步骤4所得的最优的目标成熟度检测网络模型中,即可将苹果按照既定的成熟度标准区分开来,从而达到成熟度检测的目的。
本发明的特点还在于:
步骤1的具体过程为:将双目相机与单目相机放置于同一水平高度,且双目相机的光轴和单目相机的光轴垂直,即双目相机与单目相机平面呈90°夹角。
步骤2的具体过程为:
步骤2.1,对双目相机进行标定,具体为:
步骤2.1.1,双目相机由左目和右目两个水平放置的相机组成,焦距均为f1;
步骤2.1.1,准备一张棋盘格,粘贴在墙面上,并用直尺测量黑白方格的真是物理长度;
步骤2.1.2,调用双目相机的摄像头,在360°方位中,从不同角度拍摄得到一组棋盘格图像;
步骤2.1.3,通过软件Opencv,利用左目相机拍摄的图片数据集,进行左目相机标定,得到左目内参矩阵K1、左目畸变系数向量D1;
步骤2.1.4,通过软件Opencv,利用右目相机拍摄的图片数据集,进行右目相机标定,得到右目内参矩阵K2和右目畸变系数向量D2;
步骤2.1.5,将左目相机和右目相机所得到的参数K1、K2、D1、D2作为输入,同时利用与左目相机、右目相机相对应的棋盘格图片,调用stereoCalibrate函数,输出左右目的旋转矩阵R1、R2平移向量T1、T2;
步骤2.1.6,基于得到的K1、K2、D1、D2、R1、R2、T1、T2,进行双目视觉的图像校正;
2.2,进行单目相机标定,具体为:
步骤2.2.1,设单目相机焦距为f2;
步骤2.2.2,基于步骤2.1.1准备的棋盘格,调用单目相机摄像头,在360°方位中,从不同角度拍摄得到另一组棋盘格图像;
步骤2.2.3,通过软件Opencv,利用单目相机拍摄的图片数据集,进行单目相机标定,得到单目内参矩阵K3、单目畸变系数向量D3;
步骤2.2.4,将得到的参数K3、D3作为输入,同时利用对应的棋盘格图片,调用stereoCalibrate函数,输出单目相机的的旋转矩阵R3和平移向量T3;
步骤2.2.5,基于得到的K3、D3、R3、T3,进行单目视觉的图像校正。
步骤3的具体过程为:
以双目相机的左目光心定为相机坐标系原点Oc,以平行于图像的x和y方向为Xc轴和Yc轴,Zc轴和光轴平行,Xc、Yc、Zc互相垂直,假设空间上一目标点P(Xw,Yw,Zw)T,转换到相机坐标系中为(Xc,Yc,Zc)T,则产生如下关系:
将P点从相机坐标系转化到图像坐标系,矩阵形式表示为:
对于单目相机,将P点在左目相机的相机坐标系中的坐标看作世界坐标系,因此,P点在单目相机的相机坐标系坐标点(Xc′,Yc′,Zc′)采用如下公式(3)表示:
单目相机成像平面上,P点坐标为:
步骤5的具体过程为:
假设空间任意一点M,在左目和右目各成一像,记作ML、MR,设点M到基线的距离为z,根据几何关系可得:
步骤6的具体过程为:
将图片输入到步骤4建立的目标成熟度检测网络模型中,可得到检测框在图像中的坐标(a,b),由如下公式(6)求得目标在双目相机的相机坐标系的坐标(Xc,Yc,Zc):
通过如下公式(7)和公式(8)求目标图像在单目相机的图像坐标系的坐标位置,并在坐标位置生成检测框:
本发明的有益效果如下:
1.本发明在多视角信息融合的情况下,利用多视角获取目标信息这一特点,能够相对完整的获得苹果的整体成熟度,对成熟度检测的可靠性有所提高,能够适应果园相对复杂的采摘环境。
2.本发明在双目成像系统的支持下,获取到每个目标的位置信息,有助于解决无人采摘系统的定位问题。
附图说明
图1为本发明多视角苹果成熟度检测方法中进行目前在双目相机中深度计算的几何关系示意图。
具体实施方式
下面结合具体实施方式对本发明进行详细说明。
本发明多视角苹果成熟度检测方法,具体包括如下步骤:
步骤1,双目相机与单目相机位置关系,具体为:
双目相机与单目相机放置于同一水平高度,且光轴垂直,即相机平面呈90°夹角。
步骤2,分别对双面相机和单目相机进行标定,具体为:
步骤2.1,标定双目相机,具体为:
步骤2.1.1,该双目相机由左目和右目两个水平放置的相机组成,焦距均为f1;
步骤2.1.2,准备一张棋盘格,粘贴在墙面上,并用直尺测量黑白方格的真是物理长度;
步骤2.1.3,调用双目摄像头,分别从不同角度拍摄得到一组棋盘格图像;
步骤2.1.4,通过软件Opencv,利用左目相机拍摄的图片数据集,进行左目相机标定,得到左目内参矩阵K1,左目畸变系数向量D1;
步骤2.1.5,利用右目相机拍摄的图片数据集,进行右目相机标定,得到右目内参矩阵K2,右目畸变系数向量D2;
步骤2.1.6,将左右目所得到的参数K1、K2、D1、D2作为输入,同时利用左右目一一对应的棋盘格图片,调用stereoCalibrate函数,输出左右目的旋转矩阵R1、R2平移向量T1、T2;
步骤2.1.7,基于得到的K1、K2、D1、D2、R1、R2、T1、T2,进行双目视觉的图像校正。
步骤2.2,标定单目相机,具体为:
步骤2.2.1,该单目相机焦距为f2;
步骤2.2.2,不同角度拍摄上述棋盘格,得到15张棋盘格图像;
步骤2.2.3,通过软件Opencv,利用单目相机拍摄的图片数据集,进行单目相机标定,得到单目内参矩阵K3,单目畸变系数向量D3;
步骤2.2.4,将得到的参数K3、D3作为输入,同时利用对应的棋盘格图片,调用stereoCalibrate函数,输出单目的旋转矩阵R3平移向量T3;
步骤2.2.5,基于得到的K3、D3、R3、T3,进行单目视觉的图像校正。
步骤3,将双目相机拍摄的目标物的坐标转移到单目相机成像平面的坐标上,具体为:
以双目相机的左目光心定为相机坐标系原点Oc,以平行于图像的x和y方向为Xc轴和Yc轴,Zc轴和光轴平行,Xc、Yc、Zc互相垂直。假设空间上一目标点P(Xw,Yw,Zw)T,转换到相机坐标系中为(Xc,Yc,Zc)T,计算方法如下:
忽略径向畸变和切向畸变的影响,将P点从相机坐标系转化到图像坐标系,矩阵形式表示为:
其中,f1表示左目相机的焦距,(Xc,Yc,Zc)T表示相机坐标,(x,y,1)T表示归一化后的在双目图像的图像坐标点。
对单目相机而言,将P点在左目相机的相机坐标系中的坐标看作世界坐标系,因此P点在单目相机的相机坐标系坐标点可以求得:
同理,单目相机成像平面上,P点坐标可求得为:
(x’,y’,1)T表示归一化后的在单目图像的图像坐标点。
步骤4,建立目标成熟度检测网络模型,并对建立的该网络模型进行训练,得到最优的目标成熟度检测网络模型;
Faster RCNN检测部分主要可以分为四个模块:
(1)conv layers。即特征提取网络,用于提取特征。通过卷积层、激活函数、池化层来提取图像的feature maps,用于后续的RPN层和取proposal。
(2)RPN(Region Proposal Network)。即区域候选网络,用于生成候选框。RPN主要有两个作用,一个是分类:判断所有预设anchor是属于positive还是negative(即anchor内是否有目标,二分类);还有一个bounding box regression:修正anchors得到较为准确的proposals。因此,RPN网络相当于提前做了一部分检测,即判断是否有目标,以及修正anchor使框的更准一些。
(3)RoI Pooling。即兴趣域池化,用于收集RPN生成的proposals(每个框的坐标),并从(1)中的feature maps中提取出来,生成proposals feature maps送入后续全连接层继续做分类(属于哪类成熟度)和回归。
(4)Classification and Regression。利用proposals feature maps计算出成熟度类别,同时再做一次bounding box regression获得检测框最终的精确位置。
训练网络的过程为:
1)建立不同成熟度的图像数据集ImageNet;
2)使用ImageNet的预训练权重初始化RPN网络的共享conv层,然后训练RPN网络,更新共享conv层和RPN特有层的权重;
3)根据训练好的RPN网络拿到proposals;
4)再次使用ImageNet的预训练权重初始化Faster RCNN网络的贡献conv层,然后训练Faster RCNN网络,更新共享conv层和Faster RCNN特有层的权重;
5)使用第4)步训练好的共享conv层和第2)步训练好的RPN特有层来初始化RPN网络,第二次训练RPN网络,固定共享conv层的权重
6)根据训练好的RPN网络拿到proposals;
7)使用第4)步训练好的共享conv层和第4)步训练好的Faster RCNN特有层来初始化Faster RCNN网络,第二次训练Faster RCNN网络;
8)网络训练完成。
步骤5,进行双目相机目标深度计算;如图1所示:
双目相机左右两目的光圈OL、OR处于同一水平线上,它们之间的距离称为双目相机的基线B,B=|OL-OR|;假设空间一点M,在左目和右目各成一像,记作ML、MR,设点M到基线的距离为z,根据几何关系可得:
步骤6,根据步骤5所得结果,将检测到的目标在双目相机中的坐标信息,转换到单目相机图像坐标系中,具体为:
将检测到的目标坐标信息,转换到单目相机图像坐标系中ML和MR之间的距离;
将目标图片输入到成熟度目标检测模型中,可得到检测框在图像中的坐标(a,b),由如下公式可求得目标在双目相机的相机坐标系的坐标(Xc,Yc,Zc):
再由公式
和公式
即可求得目标在单目相机的图像坐标系的坐标位置,并在坐标位置生成检测框。
步骤7,判断单目相机的图像坐标系中是否存在目标物,若存在,则输出检测框图,具体为:
使用支持向量机SVM对单目相机成像平面上的检测框进行分类,保留含有目标物的检测框和位置信息,实现方法如下:
训练SVM模型:
1)准备数据集,拍摄200张图片包含单个检测目标,拍摄200张图片为背景图;
2)将含有目标的数据集和不含目标的数据集分别放在两个文件夹中,并进行标注;
3)使用HOG函数提取样本特征,将得到的特征向量放进SVM中进行训练;
4)对训练集进行评估测试;
5)将含有目标的物的检测框图输出,并保存检测框在单目视角下的图像坐标信息。
步骤8,将双目视角的检测框和对应坐标单目视角的检测框的特征点进行特征融合,并输出特征融合后的图片,具体为:
1)利用SIFT方法对每幅图进行特征点提取;
SIFT在旋转、仿射、缩放、平移甚至光照变换中都可以保持,为了使图像具有尺度空间不变性,需要建立一个尺度空间。SIFT利用高斯函数建立尺度空间,高斯函数公式如下:
L(x,y,σ)=G(x,y,σ)*I(x,y)
式中,二维图像的空间尺度定义为L(x,y),原始图像为I(x,y)。
为了在尺度空间中检测关键点,降低时间复杂度和空间复杂度,使用高斯(DoG)尺度空间差分,即不同尺度的DoG与原始图像进
行卷积运算:D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)
=L(x,y,kσ)-L(x,y,σ)
其中,(x,y)代表图像像素的位置;k为尺度参数,σ为尺度空间因子,σ值越小,表示图像被平滑的越少,相应的尺度就越小。
通过高斯(DoG)尺度空间差分得到关键点,利用图像的局部特征为每个关键点分配方向。
2)双目视角的检测框与对应坐标单目视角的检测框的特征点进行匹配;
3)进行图像配准将两张图像转换为同一坐标下;
4)图像拼接
5)输出拼接好的图片。
步骤9,将步骤8输出的图片输入到步骤4所得的最优的目标成熟度检测网络模型中,即可将苹果按照既定的成熟度标准区分开来,从而达到成熟度检测的目的。
采用本发明多视角苹果成熟度检测方法进行苹果成熟度检测,具体流程为:
1)双目相机和单目相机同时在各自角度拍照;
2)双目相机拍摄的图片输入到目标检测网络(RPN)中,在图片上产生目标检测框,并生成坐标位置并通过步骤5和转移矩阵关系得到每个目标框在世界坐标系的坐标点;
3)将双目相机获得的世界坐标系的坐标点通过步骤6获得每个目标框对应的单目图像坐标点;
4)单目图像所有目标点生成特定大小的检测框,通过步骤7,将不含目标物的检测框去除掉;
5)将单目图像上保留下来的检测框与双目图像对应位置的检测框通过步骤8,获得需要输入到成熟度检测网络中,从而判断每个检测框的目标物是否达到成熟条件。
Claims (6)
1.多视角苹果成熟度检测方法,其特征在于:具体包括如下步骤:
步骤1,确定双目相机和单目相机的位置;
步骤2,分别对双目相机和单目相机进行标定;
步骤3,将双目相机拍摄的目标物的坐标转移到单目相机成像平面的坐标上;
步骤4,建立目标成熟度检测网络模型,并对建立的该网络模型进行训练,得到最优的目标成熟度检测网络模型;
步骤5,进行双目相机目标深度计算;
步骤6,根据步骤5所得结果,将检测到的目标在双目相机中的坐标信息,转换到单目相机图像坐标系中;
步骤7,判断单目相机的图像坐标系中是否存在目标物,若存在,则输出检测框图;
步骤8,将双目视角的检测框和对应坐标单目视角的检测框的特征点进行特征融合,并输出特征融合后的图片;
步骤9,将步骤8输出的图片输入到步骤4所得的最优的目标成熟度检测网络模型中,即可将苹果按照既定的成熟度标准区分开来,从而达到成熟度检测的目的。
2.根据权利要求1所述的多视角苹果成熟度检测方法,其特征在于:所述步骤1的具体过程为:将双目相机与单目相机放置于同一水平高度,且双目相机的光轴和单目相机的光轴垂直,即双目相机与单目相机平面呈90°夹角。
3.根据权利要求2所述的多视角苹果成熟度检测方法,其特征在于:所述步骤2的具体过程为:
步骤2.1,对双目相机进行标定,具体为:
步骤2.1.1,双目相机由左目和右目两个水平放置的相机组成,焦距均为f1;
步骤2.1.1,准备一张棋盘格,粘贴在墙面上,并用直尺测量黑白方格的真是物理长度;
步骤2.1.2,调用双目相机的摄像头,在360°方位中,从不同角度拍摄得到一组棋盘格图像;
步骤2.1.3,通过软件Opencv,利用左目相机拍摄的图片数据集,进行左目相机标定,得到左目内参矩阵K1、左目畸变系数向量D1;
步骤2.1.4,通过软件Opencv,利用右目相机拍摄的图片数据集,进行右目相机标定,得到右目内参矩阵K2和右目畸变系数向量D2;
步骤2.1.5,将左目相机和右目相机所得到的参数K1、K2、D1、D2作为输入,同时利用与左目相机、右目相机相对应的棋盘格图片,调用stereoCalibrate函数,输出左右目的旋转矩阵R1、R2平移向量T1、T2;
步骤2.1.6,基于得到的K1、K2、D1、D2、R1、R2、T1、T2,进行双目视觉的图像校正;
2.2,进行单目相机标定,具体为:
步骤2.2.1,设单目相机焦距为f2;
步骤2.2.2,基于步骤2.1.1准备的棋盘格,调用单目相机摄像头,在360°方位中,从不同角度拍摄得到另一组棋盘格图像;
步骤2.2.3,通过软件Opencv,利用单目相机拍摄的图片数据集,进行单目相机标定,得到单目内参矩阵K3、单目畸变系数向量D3;
步骤2.2.4,将得到的参数K3、D3作为输入,同时利用对应的棋盘格图片,调用stereoCalibrate函数,输出单目相机的的旋转矩阵R3和平移向量T3;
步骤2.2.5,基于得到的K3、D3、R3、T3,进行单目视觉的图像校正。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211206303.XA CN115880220A (zh) | 2022-09-30 | 2022-09-30 | 多视角苹果成熟度检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211206303.XA CN115880220A (zh) | 2022-09-30 | 2022-09-30 | 多视角苹果成熟度检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115880220A true CN115880220A (zh) | 2023-03-31 |
Family
ID=85770205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211206303.XA Pending CN115880220A (zh) | 2022-09-30 | 2022-09-30 | 多视角苹果成熟度检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115880220A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117726948A (zh) * | 2024-02-07 | 2024-03-19 | 成都白泽智汇科技有限公司 | 一种基于神经网络模型的双目图像处理方法及系统 |
-
2022
- 2022-09-30 CN CN202211206303.XA patent/CN115880220A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117726948A (zh) * | 2024-02-07 | 2024-03-19 | 成都白泽智汇科技有限公司 | 一种基于神经网络模型的双目图像处理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108555908B (zh) | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 | |
US10691979B2 (en) | Systems and methods for shape-based object retrieval | |
CN109308693B (zh) | 由一台ptz相机构建的目标检测和位姿测量单双目视觉系统 | |
CN113524194B (zh) | 基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法 | |
CN107833181B (zh) | 一种基于变焦立体视觉的三维全景图像生成方法 | |
CN102986372B (zh) | 基于全景立体视觉的采摘对象的识别、分类和空间定位装置及方法 | |
Nguyen et al. | 3D scanning system for automatic high-resolution plant phenotyping | |
JP2011198349A (ja) | 情報処理方法及びその装置 | |
CN110889829A (zh) | 一种基于鱼眼镜头的单目测距方法 | |
Urban et al. | Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds | |
CN111998862B (zh) | 一种基于bnn的稠密双目slam方法 | |
CN107609475B (zh) | 基于光场相机的行人检测误检提出方法 | |
CN111339887B (zh) | 商品识别方法及智能货柜系统 | |
CN114241031A (zh) | 基于双视角融合的鱼类体尺测量和体重预测的方法及装置 | |
CN115816460B (zh) | 一种基于深度学习目标检测与图像分割的机械手抓取方法 | |
CN112067233A (zh) | 一种用于风洞模型六自由度运动捕获方法 | |
CN113129383A (zh) | 手眼标定方法、装置、通信设备及存储介质 | |
CN116052222A (zh) | 自然采集牛脸图像的牛脸识别方法 | |
CN107680035B (zh) | 一种参数标定方法和装置、服务器及可读存储介质 | |
CN115330594A (zh) | 一种基于无人机倾斜摄影3d模型的目标快速识别与标定方法 | |
CN115880220A (zh) | 多视角苹果成熟度检测方法 | |
CN110956065B (zh) | 一种用于模型训练的人脸图像处理方法及装置 | |
Xiang et al. | Measuring stem diameter of sorghum plants in the field using a high-throughput stereo vision system | |
CN115082777A (zh) | 基于双目视觉的水下动态鱼类形态测量方法及装置 | |
CN107067368B (zh) | 基于影像变形的街景影像拼接方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |