CN108734054B - 无遮挡的柑橘果实图像识别方法 - Google Patents
无遮挡的柑橘果实图像识别方法 Download PDFInfo
- Publication number
- CN108734054B CN108734054B CN201710248835.2A CN201710248835A CN108734054B CN 108734054 B CN108734054 B CN 108734054B CN 201710248835 A CN201710248835 A CN 201710248835A CN 108734054 B CN108734054 B CN 108734054B
- Authority
- CN
- China
- Prior art keywords
- fruit
- contour
- image
- citrus fruit
- citrus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000020971 citrus fruits Nutrition 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 29
- 235000013399 edible fruits Nutrition 0.000 claims abstract description 59
- 239000011159 matrix material Substances 0.000 claims abstract description 15
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 abstract description 7
- 241000207199 Citrus Species 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种无遮挡的柑橘果实图像识别方法，包括以下步骤：A：采集柑橘果实图像并裁切；B：将裁切后的图像转化为黑白二值图像；去除黑白二值图像中的黑色孔洞，将果实伪目标黑色化处理；C：对检测到的果实轮廓宽度单像素化，标记单像素化后的果实轮廓图像，形成每一标记中只有一个柑橘果实的标记区，读取各标记区果实轮廓坐标，得到柑橘果实边缘轮廓坐标矩阵；步骤D：通过柑橘果实边缘轮廓坐标矩阵拟合得到果实圆形轮廓曲线或椭圆形轮廓曲线，并计算圆形轮廓曲线的中心坐标和半径，计算椭圆形轮廓曲线的中心坐标、长半轴和短半轴。本发明识别时间短，果实位置及果实大小检测误差小，能够在同一幅图上一并检测圆形和椭圆形果实。
Description
技术领域
本发明特别涉及一种无遮挡的柑橘果实图像识别方法。
背景技术
树上成熟柑橘果实的图像识别是柑橘采摘机器人的关键技术之一，直接关乎采摘效果的好坏及采摘效率的高低。就采摘机器人视觉系统自身来说，需要满足柑橘果实位置检测精度高(约5mm以内)、大小检测误差小(约5mm以内)、检测时间短(毫秒级)的要求。
目前，树上水果的识别主要采用与图像库比对的主动形状法及Hough变换的圆检测方法，两种方法大部分步骤建立在图像处理分析的基础上，检测识别用时较长；且当同一幅上同时存在圆形果实和椭圆形果实时，无法既识别出圆形果实，又识别出椭圆形果实。
发明内容
本发明的目的在于，针对上述现有技术的不足，提供一种无遮挡的柑橘果实图像识别方法，识别时间短，果实位置及果实大小检测误差小，当同一幅图上同时存在圆形果实和椭圆形果实时，能够一并检测与识别圆形果实和椭圆形果实。
为解决上述技术问题，本发明所采用的技术方案是：
一种无遮挡的柑橘果实图像识别方法，其特点在于包括以下步骤：步骤A：采集柑橘果实图像，并对采集到的柑橘果实图像进行t×t像素大小的图像裁切；步骤B：B1.建立γ＝0.5R-0.42G-0.81B的色差模型，将裁切后的柑橘果实彩色图像转化为γ色差分量图，对γ色差分量图进行灰度转换，并通过自动阈值法转化为黑白二值图像；B2.利用白色填充法去除黑白二值图像中白色果实目标中的黑色孔洞，同时将黑白二值图像中的果实伪目标黑色化背景处理；步骤C：通过Canny算子检测经过步骤B2得到的黑白二值图像，对检测到的果实轮廓宽度单像素化，标记单像素化后的果实轮廓图像，形成每一标记中只有一个柑橘果实的标记区，读取各标记区果实轮廓坐标，得到柑橘果实边缘轮廓坐标矩阵；步骤D：通过柑橘果实边缘轮廓坐标矩阵拟合得到果实圆形轮廓曲线或椭圆形轮廓曲线，并计算圆形轮廓曲线的中心坐标和半径大小，计算椭圆形轮廓曲线的中心坐标、长半轴大小和短半轴大小。
作为一种优选方式，所述步骤A中，对采集到的柑橘果实图形进行512×512像素大小的图像裁切。
作为一种优选方式，所述步骤B2中，对黑白二值图像中像素数小于500的果实伪目标黑色化背景处理。
作为一种优选方式，所述步骤D中，通过柑橘果实边缘轮廓坐标矩阵拟合得到果实圆形轮廓曲线或椭圆形轮廓曲线的方法包括：
D1.依据
取柑橘果实边缘轮廓的上下半部分中横坐标及纵坐标都不同于前一个点的轮廓转角点，形成轮廓角点坐标阵
其中xi与yi(i＝1,2,...,m)分别为轮廓角点的行坐标和列坐标，
为空集；D2.设待拟合的圆形及椭圆形曲线方程为p(1)x2+p(2)xy+p(3)y2+p(4)x+p(5)y+1＝0，式中，p＝[p(1)p(2)p(3)p(4)p(5)]为待定系数，依据柑橘果实轮廓角点通过最小二乘法求得p值，将求得的p值代入上述待拟合的圆形及椭圆形曲线方程即可得到果实圆形轮廓曲线或椭圆形轮廓曲线。
与现有技术相比，本发明识别时间短，果实位置及果实大小检测误差小，当同一幅图上同时存在圆形果实和椭圆形果实时，能够一并检测与识别圆形果实和椭圆形果实。
附图说明
图1为沪溪无核椪柑裁切图像。
图2为γ色差分量图。
图3为黑白二值图像。
图4为运用白色填充法去除黑色孔洞后的图像。
图5为对伪目标黑色化背景处理后的图像。
图6为Canny算子检测到的果实轮廓图像。
图7为轮廓单像素化图像。
图8为轮廓角点图，其中，图8(a)为左下角上半轮廓角点，图8(b)为左下角下半轮廓角点，图8(c)为左下角上下轮廓角点，图8(d)为右上角上半轮廓角点，图8(e)为右上角下半轮廓角点，图8(f)为右上角上下轮廓角点。
图9为柑橘果实识别图像。
具体实施方式
本发明的一实施方法包括以下步骤：
步骤A：采集柑橘果实图像，并对采集到的柑橘果实图像进行512×512像素大小的图像裁切。
步骤A具体包括：晴天用1000万有效像素以上的相机，在4m的物距内采集沪溪无核椪柑成熟期挂果柑橘树图像。为提高柑橘果实目标识别速度，并方便2的幂律分析，依据式(1)对采集图像进行512×512像素大小的图像裁切，得到如图1所示的图像。式(1)中，f(x,y)为裁切后的柑橘树图像，F(x',y')为采集到的柑橘树图像，x'与x分别为裁切前后柑橘树图像的行坐标，y'与y分别为裁切前后柑橘树图像的列坐标，x′1与y′1分别为裁切的行与列的始点，x'2与y'2分别为裁切的行与列的终点，x'2-x′1＝y'2-y′1＝511。
f(x,y)＝F(x',y'),x∈[x′1,x′2],y∈[y′1,y′2] (1)
步骤B：B1.建立γ＝0.5R-0.42G-0.81B的色差模型，将裁切后的柑橘果实彩色图像转化为γ色差分量图，对γ色差分量图进行灰度转换，并通过自动阈值法转化为黑白二值图像；B2.利用白色填充法去除黑白二值图像中白色果实目标中的黑色孔洞，同时将黑白二值图像中的果实伪目标黑色化背景处理。
步骤B具体包括：
B1.由于采集的图像存在顺光、逆光、侧光、侧逆光等多种情形，后续图像处理一定程度上受到这些拍摄角度的影响，为减小这种影响，经过大量反复实验，建立γ＝0.5R-0.42G-0.81B的色差模型，将裁切后的柑橘果实彩色图像转化为γ色差分量图，如图2所示。对γ色差分量图进行灰度转换，并通过式(2)中的自动阈值法再转化黑白二值图像，如图3所示，式(2)中，f1(x,y)为f(x,y)的黑白二值图像，T为自动阈值。
B2.由于黑白二值图像中的白色果实目标中存在杂散分布的黑色孔洞，运用式(3)中的白色填充法去除这些孔洞，如图4所示，式(3)中，f2(x,y)为白色填充后的图像，δ为黑色孔洞，ω为白色区域。
同时，通过式(4)对于零散分布像素数小于500的果实伪目标黑色化背景处理，即将像素数小于500的非连通区域灰度值置与柑橘果实背景相同的0值，如图5所示，式(4)中，f3(x,y)为零散伪目标处理后的图像，s为伪目标白色像素数。至此，与成熟柑橘果色表皮色泽接近的的枯叶、小石子等伪目标皆处理成了黑色背景，以白色反映出的果实目标最大限度地保留下来，形成了柑橘果实目标二值图。
步骤C：通过Canny算子检测经过步骤B2得到的黑白二值图像，得到如图6所示的果实轮廓图像。对检测到的果实轮廓宽度单像素化，得到如图7所示的轮廓单像素化图像，标记单像素化后的果实轮廓图像，形成每一标记中只有一个柑橘果实的标记区，读取各标记区果实轮廓坐标，得到柑橘果实边缘轮廓坐标矩阵，以此柑橘果实边缘轮廓坐标矩阵数据计算果实位置、大小参数，相对于以总幅图像数据为计算依据，数据量大为减少，计算速度大大加快。
步骤D：通过柑橘果实边缘轮廓坐标矩阵拟合得到果实圆形轮廓曲线或椭圆形轮廓曲线，并计算圆形轮廓曲线的中心坐标和半径大小，计算椭圆形轮廓曲线的中心坐标、长半轴大小和短半轴大小。
以上述柑橘果实边缘轮廓坐标矩阵来拟合果实圆形轮廓曲线或椭圆形轮廓曲线，会因上下、左右4段直线而使拟合误差加大，导致出现较大的位置与大小误差，为消除这种误差，所述步骤D中，通过柑橘果实边缘轮廓坐标矩阵拟合得到果实圆形轮廓曲线或椭圆形轮廓曲线的方法包括：
D1.依据
取柑橘果实边缘轮廓的上下半部分中横坐标及纵坐标都不同于前一个点的轮廓转角点，形成轮廓角点坐标阵
其中xi与yi(i＝1,2,...,m)分别为轮廓角点的行坐标和列坐标，
为空集。具体包括：以柑橘果实边缘轮廓坐标矩阵中第一、二点作为边缘轮廓上部及下部的第一点并以之为始点，按单方向寻找分别与其距离最近的点，产生边缘轮廓上部、下部的第二个点，再以此第二个点为始点，按与第一次搜寻相同的方向找距离最近的点，作为边缘轮廓上下部分的第三点，依此搜寻，至边缘轮廓坐标矩阵中最后一点结束，形成边缘轮廓上、下两部分的坐标点集，得到如图8所示的轮廓角点图。其中，图8(a)为左下角上半轮廓角点，图8(b)为左下角下半轮廓角点，图8(c)为左下角上下轮廓角点，图8(d)为右上角上半轮廓角点，图8(e)为右上角下半轮廓角点，图8(f)为右上角上下轮廓角点。
D2.设待拟合的圆形及椭圆形曲线方程为
p(1)x2+p(2)xy+p(3)y2+p(4)x+p(5)y+1＝0，式中，
p＝[p(1)p(2)p(3)p(4)p(5)]为待定系数，依据柑橘果实轮廓角点通过最小二乘法求得p值，将求得的p值代入上述待拟合的圆形及椭圆形曲线方程即可得到果实圆形轮廓曲线或椭圆形轮廓曲线。
在图9所示的图像坐标系中，精确到1个像素，检测出左下角果为准圆形，半径为69mm，中心坐标为(205，385)；右上角果为准椭圆形，长半轴为80mm，短半轴为68mm，中心坐标为(342，120)。
上面结合附图对本发明的实施进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是局限性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护范围之内。
Claims (3)
1.一种无遮挡的柑橘果实图像识别方法，其特征在于，包括以下步骤：
步骤A：采集柑橘果实图像，并对采集到的柑橘果实图像进行t×t像素大小的图像裁切；
步骤B：
B1.建立γ＝0.5R-0.42G-0.81B的色差模型，将裁切后的柑橘果实彩色图像转化为γ色差分量图，对γ色差分量图进行灰度转换，并通过自动阈值法转化为黑白二值图像；
B2.利用白色填充法去除黑白二值图像中白色果实目标中的黑色孔洞，同时将黑白二值图像中的果实伪目标黑色化背景处理；
步骤C：通过Canny算子检测经过步骤B2得到的黑白二值图像，对检测到的果实轮廓宽度单像素化，标记单像素化后的果实轮廓图像，形成每一标记中只有一个柑橘果实的标记区，读取各标记区果实轮廓坐标，得到柑橘果实边缘轮廓坐标矩阵；
步骤D：通过柑橘果实边缘轮廓坐标矩阵拟合得到果实圆形轮廓曲线或椭圆形轮廓曲线，并计算圆形轮廓曲线的中心坐标和半径大小，计算椭圆形轮廓曲线的中心坐标、长半轴大小和短半轴大小，
所述步骤D中，通过柑橘果实边缘轮廓坐标矩阵拟合得到果实圆形轮廓曲线或椭圆形轮廓曲线的方法包括：
D1.依据
取柑橘果实边缘轮廓的上下半部分中横坐标及纵坐标都不同于前一个点的轮廓转角点，形成轮廓角点坐标阵
其中xi与yi(i＝1,2,...,m)分别为轮廓角点的行坐标和列坐标，
为空集；
D2.设待拟合的圆形及椭圆形曲线方程为
p(1)x2+p(2)xy+p(3)y2+p(4)x+p(5)y+1＝0，式中，
p＝[p(1)p(2)p(3)p(4)p(5)]为待定系数，依据柑橘果实轮廓角点通过最小二乘法求得p值，将求得的p值代入上述待拟合的圆形及椭圆形曲线方程即可得到果实圆形轮廓曲线或椭圆形轮廓曲线。
2.如权利要求1所述的无遮挡的柑橘果实图像识别方法，其特征在于，所述步骤A中，对采集到的柑橘果实图形进行512×512像素大小的图像裁切。
3.如权利要求1所述的无遮挡的柑橘果实图像识别方法，其特征在于，所述步骤B2中，对黑白二值图像中像素数小于500的果实伪目标黑色化背景处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710248835.2A CN108734054B (zh) | 2017-04-17 | 2017-04-17 | 无遮挡的柑橘果实图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710248835.2A CN108734054B (zh) | 2017-04-17 | 2017-04-17 | 无遮挡的柑橘果实图像识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108734054A CN108734054A (zh) | 2018-11-02 |
| CN108734054B true CN108734054B (zh) | 2021-12-31 |
Family
ID=63924679
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710248835.2A Active CN108734054B (zh) | 2017-04-17 | 2017-04-17 | 无遮挡的柑橘果实图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108734054B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816675A (zh) * | 2018-12-28 | 2019-05-28 | 歌尔股份有限公司 | 物体的检测方法、检测装置及存储介质 |
| CN111079530A (zh) * | 2019-11-12 | 2020-04-28 | 青岛大学 | 一种成熟草莓识别的方法 |
| CN114973239A (zh) * | 2022-04-26 | 2022-08-30 | 山东省果树研究所 | 一种甜樱桃果实图像识别方法 |
| CN115908543A (zh) * | 2022-12-12 | 2023-04-04 | 华南理工大学 | 一种基于随机霍夫变换的热管管口圆心定位方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005300281A (ja) * | 2004-04-09 | 2005-10-27 | Mtec:Kk | 種子破片検査装置 |
| CN103065149B (zh) * | 2012-12-21 | 2016-05-04 | 上海交通大学 | 网纹甜瓜果实表型提取与量化方法 |
| CN104200193A (zh) * | 2014-08-05 | 2014-12-10 | 北京农业信息技术研究中心 | 一种果树产量估测方法及装置 |
| CN104655041B (zh) * | 2015-01-05 | 2018-11-23 | 山东理工大学 | 一种附加约束条件的工业零件轮廓线多特征提取方法 |
| CN106327467A (zh) * | 2015-06-25 | 2017-01-11 | 吴海峰 | 一种苹果采摘机器人目标果实快速跟踪识别方法 |
-
2017
- 2017-04-17 CN CN201710248835.2A patent/CN108734054B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108734054A (zh) | 2018-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108960011B (zh) | 部分遮挡的柑橘果实图像识别方法 | |
| CN109784333B (zh) | 基于点云带权通道特征的三维目标检测方法及系统 | |
| CN108734054B (zh) | 无遮挡的柑橘果实图像识别方法 | |
| US11958197B2 (en) | Visual navigation inspection and obstacle avoidance method for line inspection robot | |
| CN109800619B (zh) | 成熟期柑橘果实图像识别方法 | |
| CN109447945B (zh) | 基于机器视觉和图形处理的小麦基本苗快速计数方法 | |
| CN105989601B (zh) | 基于机器视觉的农业agv玉米行间导航基准线提取方法 | |
| CN110032946B (zh) | 一种基于机器视觉的铝/铝泡罩包装药片识别与定位方法 | |
| WO2021139197A1 (zh) | 一种图像处理方法及装置 | |
| CN111753577A (zh) | 自动采摘机器人中的苹果识别与定位方法 | |
| CN110580481B (zh) | 一种基于epi的光场图像关键位置检测方法 | |
| CN111695373B (zh) | 斑马线的定位方法、系统、介质及设备 | |
| CN110110687B (zh) | 基于颜色信息和三维轮廓信息的树上水果自动识别方法 | |
| CN105043395B (zh) | 一种飞行器月表软着陆的实时动态选址方法 | |
| CN114331986A (zh) | 一种基于无人机视觉的坝体裂纹识别与测量方法 | |
| CN105117701A (zh) | 基于最大正方形原理的玉米作物行骨架提取方法 | |
| CN108133471A (zh) | 一种自然光照条件下基于人工蜂群算法的农业移动机器人导航路径提取方法及装置 | |
| CN113673584A (zh) | 一种图像检测方法及相关装置 | |
| CN103913149A (zh) | 一种基于stm32单片机的双目测距系统及其测距方法 | |
| CN111127384A (zh) | 基于偏振成像的强反射工件视觉测量方法 | |
| CN108171753A (zh) | 基于形心特征点与邻域灰度互相关性的立体视觉定位方法 | |
| CN104992448B (zh) | 机器人防损伤采摘葡萄的自动定位方法 | |
| CN114494165A (zh) | 一种基于聚类的光条提取方法及装置 | |
| CN111369497B (zh) | 一种行走式树上果实连续计数方法及装置 | |
| CN110276260B (zh) | 一种基于深度摄像头的商品检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20181102 Assignee: Yiyang Xiangchu Yunong Agricultural Development Co.,Ltd. Assignor: HUNAN BIOLOGICAL AND ELECTROMECHANICAL POLYTECHNIC Contract record no.: X2024980000153 Denomination of invention: Unobstructed citrus fruit image recognition method Granted publication date: 20211231 License type: Common License Record date: 20240108 |