CN107038446A - 一种主动照明下基于重叠边缘检测的夜间双果重叠番茄识别方法 - Google Patents

一种主动照明下基于重叠边缘检测的夜间双果重叠番茄识别方法 Download PDF

Info

Publication number
CN107038446A
CN107038446A CN201710200842.5A CN201710200842A CN107038446A CN 107038446 A CN107038446 A CN 107038446A CN 201710200842 A CN201710200842 A CN 201710200842A CN 107038446 A CN107038446 A CN 107038446A
Authority
CN
China
Prior art keywords
tomato
overlapping
edge
profile
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710200842.5A
Other languages
English (en)
Other versions
CN107038446B (zh
Inventor
项荣
徐晗升
段鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN201710200842.5A priority Critical patent/CN107038446B/zh
Publication of CN107038446A publication Critical patent/CN107038446A/zh
Application granted granted Critical
Publication of CN107038446B publication Critical patent/CN107038446B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种主动照明下基于重叠边缘检测的夜间双果重叠番茄识别方法。本发明包括以下步骤：采集主动照明下的夜间双果重叠番茄图像；采用基于R‑G红绿色差的OTSU法进行图像分割；利用同态滤波法对图像分割后提取的双果重叠番茄区域的灰度图进行图像增强；提取经图像增强后双果重叠番茄区域的光斑区边缘、轮廓及重叠边缘；使用一种距离就近法实现双果重叠番茄中前未被遮挡番茄和后被遮挡番茄的前后位置关系判断；对重叠边缘和前未被遮挡番茄轮廓进行圆拟合，实现双果重叠番茄中前未被遮挡番茄的识别。本发明可实现夜间双果重叠番茄中前未被遮挡番茄的识别，对不同重叠率的重叠番茄，特别是对重叠率大的双果重叠番茄均具有良好的识别效果。

Description

一种主动照明下基于重叠边缘检测的夜间双果重叠番茄识别 方法
技术领域
本发明涉及图像处理中重叠番茄的识别方法，特别是对在主动照明下基于重叠边缘检测的夜间双果重叠番茄识别方法。
背景技术
果蔬采摘机器人是当前农业机器人研究领域的热点。视觉系统是果蔬采摘机器人的重要组成部分，可实现果蔬识别和3D定位。由于果蔬生长的复杂多变性，视觉系统在工作时经常遇到枝叶遮挡、果实重叠等不同的果蔬生长状态，给果蔬采摘机器人进行采摘作业带来了极大的挑战。其中重叠果实识别是当前果蔬采摘机器人视觉系统研究的难点之一。
当前重叠果实识别方法研究主要在白天自然光照条件下进行。为延长果蔬采摘机器人的工作时间，提高果蔬采摘机器人的工作效率和利用率，近年来，国内外学者逐渐开展了夜间环境下果蔬采摘机器人视觉系统的研究工作。然而，当前夜间果蔬采摘机器人视觉系统研究中，关于果蔬识别算法的研究主要针对夜间单果识别算法，对夜间重叠果的识别算法研究则较少。另外，当前大部分重叠果实识别算法无法实现重叠果实中前未被遮挡果实与后被遮挡果实的前后位置关系判断，导致果蔬采摘机器人先采摘后被遮挡果实时，易造成前未被遮挡果实被果蔬采摘机器人机械手末端执行器损伤，且对重叠率大的重叠果实，易出现识别错误，识别效果较差，其中重叠率指后面果实被遮挡部分占后面果实总面积的比例。在果蔬采摘机器人视觉系统研究中，迫切需要一种可实现夜间重叠果实中前未被遮挡果实及后被遮挡果实间前后位置关系判断及前未被遮挡果实识别的方法。
发明内容
本发明的目的在于提供一种主动照明下基于重叠边缘检测的夜间双果重叠番茄识别方法，以实现主动照明下夜间双果重叠番茄的前后位置关系判断及前未被遮挡番茄的识别。
为达到上述目的，本发明采用的技术方案是：
一种主动照明下基于重叠边缘检测的夜间双果重叠番茄识别方法，具体步骤如下：
1.图像采集：采集主动照明下的夜间双果重叠番茄彩色图像；
2.图像分割：采用基于彩色图像中红色分量和绿色分量差R-G的OTSU图像分割算法进行夜间双果重叠番茄图像分割，提取双果重叠番茄区域；
3.图像增强：将步骤1所采集的夜间双果重叠番茄彩色图像中与经步骤2图像分割后所得图像分割结果中像素值为0的像素具有相同图像坐标的像素值置为0，得到去除背景后的夜间双果重叠番茄区域彩色图像，然后对去除背景后的夜间双果重叠番茄区域彩色图像进行灰度化处理，并利用同态滤波法进行图像增强；
4.重叠边缘检测：使用重叠边缘检测算法提取经步骤3图像增强后得到的图像中双果重叠番茄区域的光斑区边缘、轮廓及重叠边缘；
5.前后位置关系判断：对步骤4提取的重叠边缘，使用一种距离就近法实现双果重叠番茄中前未被遮挡番茄轮廓PF的提取及前未被遮挡番茄和后被遮挡番茄的前后位置关系判断，其中前未被遮挡番茄指在双果重叠番茄中，距离相机最近、没有被遮挡的番茄；
6.前未被遮挡番茄识别：采用圆拟合法对步骤4提取的重叠边缘和步骤5提取的前未被遮挡番茄轮廓进行圆拟合，从而实现双果重叠番茄中前未被遮挡番茄的识别。
以下对上述步骤进行详细说明：
1)步骤4所述的提取光斑区边缘、轮廓及重叠边缘，主要包含如下步骤：
1.1)边缘检测：对经图像增强后的双果重叠番茄区域利用Canny算子进行边缘检测，得到边缘E；
1.2)光斑区边缘提取：光斑区边缘指双果重叠番茄区域内光斑区域的边缘，利用一种光斑区边缘提取算法从步骤1.1边缘检测结果E中提取出光斑区边缘L，具体步骤为：
1.2.1)去噪：对步骤2所得夜间双果重叠番茄图像分割结果进行形态学处理，通过开运算、闭运算去除毛刺及小区域噪声；
1.2.2)孔洞填充：对步骤1.2.1所得去噪后的夜间双果重叠番茄图像分割结果进行孔洞填充，并统计孔洞填充结果中像素值为1的像素点个数；
1.2.3)光斑区提取：遍历经步骤1.2.1处理后的结果中各像素，保存其中像素值为0，但在相应的经步骤1.2.2处理后的孔洞填充结果中为1的像素点坐标，相应的坐标集合即为经步骤1.2.1处理后的结果中的黑色孔洞区域，即光斑区；
1.2.4)光斑区膨胀运算：对光斑区域进行3个像素单位的膨胀运算；
1.2.5)提取光斑区边缘：保存步骤1.2.4光斑区膨胀运算后所得光斑区所有像素的坐标(xi，yi)，其中，i＝1，2，3…，n，n表示经步骤1.2.4光斑区膨胀运算后所得光斑区内的像素数，从步骤1.1边缘检测结果E中提取由坐标等于(xi，yi)的像素构成的边缘，即为光斑区边缘L。
1.3)轮廓提取：轮廓指双果重叠番茄的外轮廓边缘，利用一种轮廓提取算法从步骤1.1边缘检测结果E中提取轮廓P，具体步骤为：
1.3.1)剔除光斑区边缘：基于图像减法，从步骤1.1边缘检测结果E中剔除光斑区边缘L，并获取剩余边缘中每个边缘点的坐标和边缘点总数；
1.3.2)轮廓行扫描：对步骤1.2.2所得孔洞填充结果进行行扫描，观察距步骤1.3.1所得每个边缘点c(i，j)两个单位的左邻点c(i，j-2)、右邻点c(i，j+2)在步骤1.2.2所得孔洞填充结果中的像素值，若左邻点不属于番茄像素，右邻点属于番茄像素，即c(i，j-2)＝＝0&&c(i，j+2)＝＝1，则该边缘点c(i，j)为轮廓上的边缘点；若左邻点属于番茄像素，右邻点不属于番茄像素，即c(i，j-2)＝＝1&&c(i，j+2)＝＝0，则该边缘点c(i，j)也属于轮廓上的边缘点；
1.3.3)轮廓列扫描：对步骤1.2.2所得孔洞填充结果进行列扫描，观察距步骤1.3.1所得每个边缘点c(i，j)两个像素值的上邻点c(i-2，j)、下邻点c(i+2，j)在步骤1.2.2所得孔洞填充结果中的像素值，若上邻点不属于番茄像素，下邻点属于番茄像素，即c(i-2，j)＝＝0&&c(i+2，j)＝＝1，则该边缘点c(i，j)为轮廓上的边缘点；若上邻点属于番茄像素，下邻点不属于番茄像素，即c(i-2，j)＝＝1&&c(i+2，j)＝＝0，则该边缘点c(i，j)也属于轮廓上的边缘点。
1.4)重叠边缘提取：重叠边缘指重叠番茄区域内两番茄相接触处在夜间双果重叠番茄图像中形成的接触边缘。通过图像减法，从步骤1.1边缘检测结果E中减去光斑区边缘L和轮廓P后，剩余的边缘为重叠边缘V。
2)步骤5所述的前后位置关系判断，具体步骤如下：
2.1)重叠边缘直线拟合：对重叠边缘进行直线拟合得到拟合直线M；
2.2)重叠番茄轮廓分割：对拟合直线M与轮廓P叠加的图像进行行列扫描，将M两侧的轮廓P分别进行保存，得到轮廓P1和轮廓P2；
2.3)分割后的番茄轮廓圆拟合：分别对步骤2.2所得的两部分轮廓P1、P2进行圆拟合，得到拟合圆的圆心C1、C2和半径R1、R2；
2.4)重叠边缘与番茄轮廓距离计算：提取重叠边缘中点O，分别计算经过O点到拟合圆圆心C1、C2的距离|OC1|和|OC2|，进一步计算出OA和OB，A为OC1与圆心为C1的拟合圆的交点，B为OC2与圆心为C2的拟合圆的交点，OA＝|R1-OC1|，OB＝|R2-OC2|；
2.5)前后位置关系判断：将OA、OB中较小值(即距离最近)对应的拟合圆所拟合的这部分轮廓作为前未被遮挡番茄轮廓PF，将OA、OB中较大值对应的拟合圆所拟合的这部分轮廓作为后被遮挡番茄轮廓PB，从而实现双果重叠番茄中前未被遮挡番茄和后被遮挡番茄的前后位置关系判断。
3)步骤6中所述的重叠番茄中前未被遮挡番茄的识别，主要将步骤2.5判断出的属于前未被遮挡番茄的轮廓PF和重叠边缘O进行圆拟合，得到前未被遮挡番茄的圆心和半径。
本发明具有的有益效果在于：
本发明经过图像分割、图像增强、边缘检测技术得到夜间双果重叠番茄的边缘信息，提取出光斑区边缘、重叠边缘和轮廓，运用距离就近法，实现双果重叠番茄的前后位置关系判断，并通过对重叠边缘和前未被遮挡番茄轮廓进行圆拟合，实现前未被遮挡番茄的识别。
附图说明
图1为主动照明下基于重叠边缘检测的夜间双果重叠番茄识别方法的流程图。
图2为主动照明下夜间双果重叠番茄样本图像在本发明下的识别效果图；
图2中，(a)为主动照明下夜间双果重叠番茄样本图像，(b)为基于红绿色差的OTSU法的图像分割结果，(c)为图像分割后夜间双果重叠番茄灰度图，(d)为图像增强后的夜间双果重叠番茄灰度图，(e)为边缘检测结果，(f)孔洞填充后的图像，(g)为光斑区，(h)为膨胀后光斑区，(i)为为光斑区边缘，(j)为去除光斑区边缘后的剩余边缘，(k)为重叠番茄轮廓，(1)为重叠边缘，(m)为重叠边缘直线拟合，(n)为被拟合直线划分的轮廓，(o)为左边轮廓拟合圆，(p)为右边轮廓拟合圆，(q)为前后位置判断结果，(r)为主动照明下夜间双果重叠番茄识别结果。
图3为距离就近法模型图。
具体实施方式
下面结合附图和实施例对本发明做进一步说明。
本发明的方法流程图如图1所示，包括以下步骤：
1.采集主动照明下的夜间双果重叠番茄彩色图像。采用两盏荧光灯对角照射作为夜间双果重叠番茄的照明系统，使用双目立体相机获取夜间双果重叠番茄图像，所采集图像分辨率为640像素×480像素，存储为JPG格式，如图2(a)所示。
2.采用基于红绿色差的OTSU法进行图像分割。对于夜间番茄图像，成熟番茄为红色，背景主要为枝干和树叶，颜色为绿色，番茄与背景之间存在明显的红绿色差，因此选择RGB颜色空间中的R-G色差分量作为颜色特征。同时采用OTSU实现夜间重叠番茄图像的分割，如图2(b)所示。
3.通过同态滤波方法进行图像增强。将步骤1所采集的夜间双果重叠番茄彩色图像中与经步骤2图像分割后所得图像分割结果中像素值为0的像素具有相同图像坐标的像素值置为0，得到去除背景后的夜间双果重叠番茄区域彩色图像，然后对去除背景后的夜间双果重叠番茄区域彩色图像进行灰度化处理，结果如图2(c)所示，并利用同态滤波法进行图像增强，图2(d)为同态滤波增强后的灰度图，可见番茄重叠部分阴影区域明显增强。
4.重叠边缘检测。使用重叠边缘检测算法提取经步骤3图像增强后得到的图像中双果重叠番茄区域的光斑区边缘、轮廓及重叠边缘，具体步骤如下：
4.1边缘检测。对经图像增强后的双果重叠番茄区域利用Canny算子进行边缘检测，得到边缘E，边缘检测结果如图2(e)所示；
4.2光斑区边缘提取。具体步骤为：
4.2.1)去噪：对步骤2所得夜间双果重叠番茄图像分割结果进行形态学处理，通过开运算、闭运算去除毛刺及小区域噪声；
4.2.2)孔洞填充：对步骤4.2.1所得去噪后的夜间双果重叠番茄图像分割结果进行孔洞填充，并统计孔洞填充结果中像素值为1的像素点个数，填充结果如图2(f)所示；
4.2.3)光斑区提取：遍历经步骤4.2.1处理后的分割图像中各像素，保存其中像素值为0，但在相应的经步骤4.2.2处理后的填充图像中为1的像素点坐标，相应坐标的集合即为去噪后的图像分割结果中的黑色孔洞区域，即光斑区，如图2(g)所示；
4.2.4)光斑区膨胀运算：受到图像分割算法的影响，用该方法提取的光斑区与真实光斑区存在一定偏差，因此对光斑区域进行了3个像素单位的膨胀运算，以增大光斑区范围，提高光斑区边缘提取的准确性，图2(h)所示为膨胀后的光斑区；
4.2.5)提取光斑区边缘：保存步骤4.2.4光斑区膨胀运算后所得光斑区所有像素的坐标(xi，yi)，其中，i＝1，2，3…，n，n表示经步骤4.2.4光斑区膨胀运算后所得光斑区内的像素数，从步骤4.1边缘检测结果E中提取由坐标等于(xi，yi)的像素构成的边缘，即为光斑区边缘L，图2(i)为提取的光斑区边缘。
4.3轮廓提取。轮廓指双果重叠番茄的外轮廓边缘，利用一种轮廓提取算法从步骤4.1边缘检测结果E中提取轮廓P，具体步骤为：
4.3.1)剔除光斑区边缘：基于图像减法，从步骤4.1边缘检测结果E中剔除光斑区边缘L，并获取剩余边缘中每个边缘点的坐标和边缘点总数，边缘点像素值为1，因此将值为1的像素点保存到一个空矩阵中，并统计值为1的像素点个数，图2(j)为剔除光斑区边缘后的剩余边缘；
4.3.2)轮廓行扫描：对步骤4.2.2所得孔洞填充结果进行行扫描，观察距步骤4.3.1所得每个边缘点c(i，j)两个单位的左邻点c(i，j-2)、右邻点c(i，j+2)在步骤4.2.2所得孔洞填充结果中的像素值，若左邻点不属于番茄像素，右邻点属于番茄像素，即c(i，j-2)＝＝0&&c(i，j+2)＝＝1，则该边缘点c(i，j)为轮廓上的边缘点；若左邻点属于番茄像素，右邻点不属于番茄像素，即c(i，j-2)＝＝1&&c(i，j+2)＝＝0，则该边缘点c(i，j)也属于轮廓上的边缘点；
4.3.3)轮廓列扫描：对步骤4.2.2所得孔洞填充结果进行列扫描，观察距步骤4.3.1所得每个边缘点c(i，j)两个像素值的上邻点c(i-2，j)、下邻点c(i+2，j)在步骤4.2.2所得孔洞填充结果中的像素值，若上邻点不属于番茄像素，下邻点属于番茄像素，即c(i-2，j)＝＝0&&c(i+2，j)＝＝1，则该边缘点c(i，j)为轮廓上的边缘点；若上邻点属于番茄像素，下邻点不属于番茄像素，即c(i-2，j)＝＝1&&c(i+2，j)＝＝0，则该边缘点c(i，j)也属于轮廓上的边缘点，图2(k)所示为提取的轮廓P。
4.4重叠边缘提取。重叠边缘指双果重叠番茄区域内两番茄相接触处在夜间双果重叠番茄图像中形成的接触边缘，通过图像减法，从步骤4.1边缘检测结果E中减去光斑区边缘L和轮廓P后，剩余的边缘为重叠边缘V，图2(1)为提取的夜间双果重叠番茄重叠边缘V。
5.双果重叠番茄前后位置关系判断。对步骤4.4提取的重叠边缘，使用一种距离就近法实现双果重叠番茄中前未被遮挡番茄轮廓PF的提取及前未被遮挡番茄和后被遮挡番茄的前后位置关系判断，其中前未被遮挡番茄指在双果重叠番茄中，距离相机最近、没有被遮挡的番茄，具体步骤如下：5.1)重叠边缘直线拟合：对步骤4.4提取的重叠边缘V进行直线拟合得到拟合直线M，如图2(m)所示；
5.2)重叠番茄轮廓分割：通过对拟合直线M与轮廓P叠加的图像进行行列扫描，将M两侧的轮廓P分别进行保存，得到轮廓P1和轮廓P2，图2(n)表示被拟合直线划分的轮廓；
5.3)分割后的番茄轮廓圆拟合：分别对步骤5.2所得的两部分轮廓P1、P2进行圆拟合，得到拟合圆的圆心C1、C2和半径R1、R2，左边轮廓拟合圆如图2(o)所示，右边轮廓拟合圆如图2(p)所示；
5.4)重叠边缘与番茄轮廓距离计算：提取重叠边缘中点O，分别计算经过O点到拟合圆圆心C1、C2的距离|OC1|和|OC2|，进一步计算出OA和OB，A为OC1与圆心为C1的拟合圆的交点，B为OC2与圆心为C2的拟合圆的交点，OA＝|R1-OC1|，OB＝|R2-OC2|；
5.5)距离就近法判断前后位置关系：在图3中，圆C1和圆C2分别表示左右轮廓的拟合圆，C1、C2是两个圆的圆心，弧线L表示双果重叠番茄的重叠边缘，O点表示重叠边缘的中点，且OA＝|R1-OC1|，OB＝|R2-OC2|，其中R1、R2分别表示圆C1、C2的半径。由图3可见，圆C1和圆C2的位置关系为圆C1在前，圆C2在后，此时，OA＜OB，因此可以将OA与OB之间的距离最小值作为判断两个圆前后位置关系的依据，如下：如果OA＜OB，则A点所在的圆位于前面；如果OA＞OB，则B点所在的圆位于前面，该方法通过比较重叠边缘上的点到拟合圆的距离大小作为前后位置关系判断依据，所以称该方法为距离就近法。
利用距离就近法将OA、OB中较小值对应的拟合圆所拟合的这部分轮廓作为前未被遮挡番茄轮廓PF，将OA、OB中较大值对应的拟合圆所拟合的这部分轮廓作为后被遮挡番茄轮廓PB，从而实现双果重叠番茄中前未被遮挡番茄和后被遮挡番茄的前后位置关系判断，图2(q)显示了对左右轮廓圆拟合与重叠边缘和轮廓叠加的结果，可清晰看出右拟合圆所对应的番茄属于前未被遮挡番茄。
6基于圆拟合对双果重叠番茄中前未被遮挡番茄进行目标重建。将步骤5.5判断出的属于前未被遮挡番茄的轮廓PF和步骤4.4提取的重叠边缘V进行圆拟合，得到前未被遮挡番茄的圆心和半径，图2(r)显示了前未被遮挡番茄的识别结果。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述的实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (6)

1.一种主动照明下基于重叠边缘检测的夜间双果重叠番茄识别方法，其特征在于，包含如下步骤：
1.1)图像采集：采集主动照明下的夜间双果重叠番茄彩色图像；
1.2)图像分割：采用基于彩色图像中红色分量和绿色分量差R-G的OTSU图像分割算法进行夜间双果重叠番茄图像分割，提取双果重叠番茄区域；
1.3)图像增强：将步骤1.1所采集的夜间双果重叠番茄彩色图像中与经步骤1.2图像分割后所得图像分割结果中像素值为0的像素具有相同图像坐标的像素值置为0，得到去除背景后的夜间双果重叠番茄区域彩色图像，然后对去除背景后的夜间双果重叠番茄区域彩色图像进行灰度化处理，并利用同态滤波法进行图像增强；
1.4)重叠边缘检测：使用重叠边缘检测算法提取经步骤1.3图像增强后得到的图像中双果重叠番茄区域的光斑区边缘、轮廓及重叠边缘；
1.5)前后位置关系判断：对步骤1.4提取的重叠边缘，使用一种距离就近法实现双果重叠番茄中前未被遮挡番茄轮廓PF的提取及前未被遮挡番茄和后被遮挡番茄的前后位置关系判断，其中前未被遮挡番茄指在双果重叠番茄中，距离相机最近、没有被遮挡的番茄；
1.6)前未被遮挡番茄识别：采用圆拟合法对步骤1.4提取的重叠边缘和步骤1.5提取的前未被遮挡番茄轮廓进行圆拟合，从而实现双果重叠番茄中前未被遮挡番茄的识别。
2.根据权利要求1所述的一种主动照明下基于重叠边缘检测的夜间双果重叠番茄识别方法，其特征在于，所述步骤1.4中，使用重叠边缘检测算法提取经图像增强后双果重叠番茄区域的光斑区边缘、轮廓及重叠边缘，其特征在于，包含如下步骤：
2.1)边缘检测：对经步骤1.3图像增强后得到图像中双果重叠番茄区域利用Canny算子进行边缘检测，得到边缘E；
2.2)光斑区边缘提取：光斑区边缘指双果重叠番茄区域内光斑区域的边缘，利用一种光斑区边缘提取算法从步骤2.1边缘检测结果E中提取出光斑区边缘L；
2.3)轮廓提取：轮廓指双果重叠番茄的外轮廓边缘，利用一种轮廓提取算法从步骤2.1边缘检测所得边缘E中提取轮廓P；
2.4)重叠边缘提取：重叠边缘指双果重叠番茄区域内两番茄相接触处在夜间双果重叠番茄图像中形成的接触边缘，利用一种重叠边缘提取算法从步骤2.1边缘检测结果E中提取重叠边缘V。
3.根据权利要求2所述步骤2.2中，一种光斑区边缘提取算法，其特征在于，包含如下步骤：
3.1)去噪：对步骤1.2图像分割所得夜间双果重叠番茄图像分割结果进行形态学处理，通过开运算、闭运算去除毛刺及小区域噪声；
3.2)孔洞填充：对步骤3.1去噪处理后的夜间双果重叠番茄图像分割结果进行孔洞填充，并统计孔洞填充结果中像素值为1的像素点个数；
3.3)光斑区提取：遍历经步骤3.1去噪处理后的结果中各像素，保存其中像素值为0，但在相应的经步骤3.2孔洞填充处理后的孔洞填充结果中为1的像素点坐标，相应的坐标集合即为经步骤3.1去噪处理后的结果中的黑色孔洞区域，即光斑区；
3.4)光斑区膨胀运算：对步骤3.3提取的光斑区域进行3个像素单位的膨胀运算；
3.5)提取光斑区边缘：保存步骤3.4光斑区膨胀运算后所得光斑区所有像素的坐标(xi，yi)，其中，i＝1，2，3...，n，n表示经步骤3.4光斑区膨胀运算后所得光斑区内的像素数，从步骤2.1边缘检测结果E中提取由坐标等于(xi，yi)的像素构成的边缘，即为光斑区边缘L。
4.根据权利要求2所述步骤2.3中，一种轮廓提取算法，其特征在于，包含如下步骤：
4.1)剔除光斑区边缘：基于图像减法，从步骤2.1边缘检测结果E中剔除步骤3.5提取的光斑区边缘L，并获取剩余边缘中每个边缘点的坐标和边缘点总数；
4.2)轮廓行扫描：对权利要求3步骤3.2所得孔洞填充结果进行行扫描，观察距步骤4.1所得每个边缘点c(i，j)两个单位的左邻点c(i，j-2)、右邻点c(i，j+2)在步骤3.2所得孔洞填充结果中的像素值，若左邻点不属于番茄像素，右邻点属于番茄像素，即c(i，j-2)＝＝0&&c(i，j+2)＝＝1，则该边缘点c(i，j)为轮廓上的边缘点；若左邻点属于番茄像素，右邻点不属于番茄像素，即c(i，j-2)＝＝1&&c(i，j+2)＝＝0，则该边缘点c(i，j)也属于轮廓上的边缘点；
4.3)轮廓列扫描：对权利要求3步骤3.2所得孔洞填充结果进行列扫描，观察距步骤4.1所得每个边缘点c(i，j)两个像素值的上邻点c(i-2，j)、下邻点c(i+2，j)在步骤3.2所得孔洞填充结果中的像素值，若上邻点不属于番茄像素，下邻点属于番茄像素，即c(i-2，j)＝＝0&&c(i+2，j)＝＝1，则该边缘点c(i，j)为轮廓上的边缘点；若上邻点属于番茄像素，下邻点不属于番茄像素，即c(i-2，j)＝＝1&&c(i+2，j)＝＝0，则该边缘点c(i，j)也属于轮廓上的边缘点。
5.根据权利要求2所述步骤2.4中，一种重叠边缘提取算法，其特征在于，通过图像减法，从步骤2.1边缘检测结果E中减去光斑区边缘L和轮廓P后，剩余的边缘为重叠边缘V。
6.根据权利要求1所述的一种主动照明下基于重叠边缘检测的夜间双果重叠番茄识别方法，其特征在于，所述步骤1.5中，对步骤1.4提取的重叠边缘，使用一种距离就近法实现双果重叠番茄中前未被遮挡番茄轮廓PF的提取及前未被遮挡番茄和后被遮挡番茄的前后位置关系判断，其特征在于，包含如下步骤：
6.1)重叠边缘直线拟合：对重叠边缘进行直线拟合得到拟合直线M；
6.2)重叠番茄轮廓分割：通过对拟合直线M与轮廓P叠加的图像进行行列扫描，将M两侧的轮廓P分别进行保存，得到轮廓P1和轮廓P2；
6.3)分割后的番茄轮廓圆拟合：分别对步骤6.2所得的两部分轮廓P1、P2进行圆拟合，得到拟合圆的圆心(C1、C2)和半径(R1、R2)；
6.4)重叠边缘与番茄轮廓距离计算：提取重叠边缘中点O，分别计算经过O点到拟合圆圆心C1、C2的距离|OC1|和|OC2|，进一步计算出OA和OB，A为OC1与圆心为C1的拟合圆的交点，B为OC2与圆心为C2的拟合圆的交点，OA＝|R1-OC1|，OB＝|R2-OC2|；
6.5)前后位置关系判断：将OA、OB中较小值(即距离最近)对应的拟合圆所拟合的这部分轮廓作为前未被遮挡番茄轮廓PF，将OA、OB中较大值对应的拟合圆所拟合的这部分轮廓作为后被遮挡番茄轮廓PB，从而实现双果重叠番茄中前未被遮挡番茄和后被遮挡番茄的前后位置关系判断。
CN201710200842.5A 2017-03-23 2017-03-23 一种主动照明下基于重叠边缘检测的夜间双果重叠番茄识别方法 Expired - Fee Related CN107038446B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710200842.5A CN107038446B (zh) 2017-03-23 2017-03-23 一种主动照明下基于重叠边缘检测的夜间双果重叠番茄识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710200842.5A CN107038446B (zh) 2017-03-23 2017-03-23 一种主动照明下基于重叠边缘检测的夜间双果重叠番茄识别方法

Publications (2)

Publication Number Publication Date
CN107038446A true CN107038446A (zh) 2017-08-11
CN107038446B CN107038446B (zh) 2020-06-05

Family

ID=59533483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710200842.5A Expired - Fee Related CN107038446B (zh) 2017-03-23 2017-03-23 一种主动照明下基于重叠边缘检测的夜间双果重叠番茄识别方法

Country Status (1)

Country Link
CN (1) CN107038446B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470339A (zh) * 2018-03-21 2018-08-31 华南理工大学 一种基于信息融合的重叠苹果视觉识别与定位方法
CN109255795A (zh) * 2018-09-11 2019-01-22 中国计量大学 一种番茄植株边缘排序算法
CN109522901A (zh) * 2018-11-27 2019-03-26 中国计量大学 一种基于边缘对偶关系的番茄植株茎秆边缘识别方法
CN109559299A (zh) * 2018-11-19 2019-04-02 常州大学 一种双果重叠果实的分离方法
CN110070548A (zh) * 2019-04-22 2019-07-30 杨勇 一种深度学习训练样本优化方法
CN110084791A (zh) * 2019-04-18 2019-08-02 天津大学 一种基于图像处理的番茄早疫病与晚疫病自动检测方法
CN110363784A (zh) * 2019-06-28 2019-10-22 青岛理工大学 一种重叠果实的识别方法
CN111983709A (zh) * 2020-07-02 2020-11-24 中科兴华(深圳)科技服务有限公司 一种激光检测器的多物体捕捉方法
JP2020195335A (ja) * 2019-06-04 2020-12-10 本田技研工業株式会社 果菜収穫装置及び果菜収穫方法
CN112132153A (zh) * 2020-09-22 2020-12-25 山东大学 基于聚类和形态学处理的番茄果实识别方法及系统
CN112270708A (zh) * 2020-10-26 2021-01-26 中国计量大学 一种基于不同边缘类型交点的蔬果植株侧枝点识别方法
CN112270326A (zh) * 2020-11-18 2021-01-26 珠海大横琴科技发展有限公司 一种遮挡船只的检测优化方法、装置及电子设备
CN112418043A (zh) * 2020-11-16 2021-02-26 安徽农业大学 玉米杂草遮挡确定方法、装置、机器人、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0554124A (ja) * 1991-08-21 1993-03-05 Iseki & Co Ltd 果実収穫ロボツト等の視覚装置
US20080169348A1 (en) * 2000-11-24 2008-07-17 Metrologic Instruments, Inc. Method of illuminating objects during digital image capture operations by mixing visible and invisible spectral illumination energy at poing of sale (POS) environments
CN103336946A (zh) * 2013-06-17 2013-10-02 浙江大学 一种基于双目立体视觉的成簇状番茄识别方法
CN104636722A (zh) * 2015-01-26 2015-05-20 江苏大学 一种采摘机器人的重叠果实快速跟踪识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0554124A (ja) * 1991-08-21 1993-03-05 Iseki & Co Ltd 果実収穫ロボツト等の視覚装置
US20080169348A1 (en) * 2000-11-24 2008-07-17 Metrologic Instruments, Inc. Method of illuminating objects during digital image capture operations by mixing visible and invisible spectral illumination energy at poing of sale (POS) environments
CN103336946A (zh) * 2013-06-17 2013-10-02 浙江大学 一种基于双目立体视觉的成簇状番茄识别方法
CN104636722A (zh) * 2015-01-26 2015-05-20 江苏大学 一种采摘机器人的重叠果实快速跟踪识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周天娟 等: "草莓采摘机器人的研究:Ⅲ .扫描线填充算法在草莓图像孔洞填充中的应用", 《中国农业大学学报》 *
项荣: "开放环境中番茄的双目立体视觉识别与定位", 《中国博士学位论文全文数据库 农业科技辑》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470339A (zh) * 2018-03-21 2018-08-31 华南理工大学 一种基于信息融合的重叠苹果视觉识别与定位方法
CN109255795A (zh) * 2018-09-11 2019-01-22 中国计量大学 一种番茄植株边缘排序算法
CN109255795B (zh) * 2018-09-11 2021-04-06 中国计量大学 一种番茄植株边缘排序方法
CN109559299A (zh) * 2018-11-19 2019-04-02 常州大学 一种双果重叠果实的分离方法
CN109522901A (zh) * 2018-11-27 2019-03-26 中国计量大学 一种基于边缘对偶关系的番茄植株茎秆边缘识别方法
CN110084791B (zh) * 2019-04-18 2021-01-26 天津大学 一种基于图像处理的番茄早疫病与晚疫病自动检测方法
CN110084791A (zh) * 2019-04-18 2019-08-02 天津大学 一种基于图像处理的番茄早疫病与晚疫病自动检测方法
CN110070548A (zh) * 2019-04-22 2019-07-30 杨勇 一种深度学习训练样本优化方法
JP2020195335A (ja) * 2019-06-04 2020-12-10 本田技研工業株式会社 果菜収穫装置及び果菜収穫方法
CN110363784A (zh) * 2019-06-28 2019-10-22 青岛理工大学 一种重叠果实的识别方法
CN111983709A (zh) * 2020-07-02 2020-11-24 中科兴华(深圳)科技服务有限公司 一种激光检测器的多物体捕捉方法
CN112132153A (zh) * 2020-09-22 2020-12-25 山东大学 基于聚类和形态学处理的番茄果实识别方法及系统
CN112132153B (zh) * 2020-09-22 2022-09-09 山东大学 基于聚类和形态学处理的番茄果实识别方法及系统
CN112270708A (zh) * 2020-10-26 2021-01-26 中国计量大学 一种基于不同边缘类型交点的蔬果植株侧枝点识别方法
CN112270708B (zh) * 2020-10-26 2024-02-02 中国计量大学 一种基于不同边缘类型交点的蔬果植株侧枝点识别方法
CN112418043A (zh) * 2020-11-16 2021-02-26 安徽农业大学 玉米杂草遮挡确定方法、装置、机器人、设备及存储介质
CN112418043B (zh) * 2020-11-16 2022-10-28 安徽农业大学 玉米杂草遮挡确定方法、装置、机器人、设备及存储介质
CN112270326A (zh) * 2020-11-18 2021-01-26 珠海大横琴科技发展有限公司 一种遮挡船只的检测优化方法、装置及电子设备

Also Published As

Publication number Publication date
CN107038446B (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
CN107038446A (zh) 一种主动照明下基于重叠边缘检测的夜间双果重叠番茄识别方法
Jimenez et al. A survey of computer vision methods for locating fruit on trees
CN108470339A (zh) 一种基于信息融合的重叠苹果视觉识别与定位方法
CN103310218B (zh) 一种重叠遮挡果实精确识别方法
CN103295018B (zh) 一种枝叶遮挡果实精确识别方法
CN109241983A (zh) 一种图像处理与神经网络结合的条烟图像识别方法
CN106875412B (zh) 一种两个重叠果实的分割定位方法
CN112395984B (zh) 一种用于无人驾驶农业机械的苗列导航线检测方法
CN109559324A (zh) 一种线阵图像中的目标轮廓检测方法
CN108133471B (zh) 一种基于人工蜂群算法的机器人导航路径提取方法及装置
CN112861654B (zh) 一种基于机器视觉的名优茶采摘点位置信息获取方法
CN107527343A (zh) 一种基于图像处理的双孢蘑菇分级方法
CN114067207A (zh) 一种基于深度学习和图像处理的蔬菜苗田杂草检测方法
Feng et al. A separating method of adjacent apples based on machine vision and chain code information
CN107066957A (zh) 可见光眼部图像中的虹膜定位方法和装置
CN112380926A (zh) 一种田间除草机器人除草路径规划系统
CN110276279A (zh) 一种基于图像分割的任意形状场景文本探测方法
CN114783010B (zh) 一种掌纹图像感兴趣区域提取方法
CN104992448B (zh) 机器人防损伤采摘葡萄的自动定位方法
CN104408407B (zh) 苹果采摘机器人的夜间识别方法
CN107886493A (zh) 一种输电线路的导线分股缺陷检测方法
CN109596620A (zh) 基于机器视觉的产品表面形状缺陷检测方法和系统
CN107239761B (zh) 基于骨架角点检测的果树拉枝效果评价方法
CN108491846A (zh) 成熟果实机器识别方法
Zhang Target extraction of fruit picking robot vision system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200605

Termination date: 20210323

CF01 Termination of patent right due to non-payment of annual fee