CN107358627B - 基于Kinect相机的果实尺寸检测方法 - Google Patents

基于Kinect相机的果实尺寸检测方法 Download PDF

Info

Publication number
CN107358627B
CN107358627B CN201710563300.4A CN201710563300A CN107358627B CN 107358627 B CN107358627 B CN 107358627B CN 201710563300 A CN201710563300 A CN 201710563300A CN 107358627 B CN107358627 B CN 107358627B
Authority
CN
China
Prior art keywords
fruit
image
camera
depth image
length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710563300.4A
Other languages
English (en)
Other versions
CN107358627A (zh
Inventor
傅隆生
谢洪起
李�瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest A&F University
Original Assignee
Northwest A&F University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest A&F University filed Critical Northwest A&F University
Priority to CN201710563300.4A priority Critical patent/CN107358627B/zh
Publication of CN107358627A publication Critical patent/CN107358627A/zh
Application granted granted Critical
Publication of CN107358627B publication Critical patent/CN107358627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Abstract

一种基于Kinect相机获取果实长、宽、厚等尺寸的检测方法，包括以下步骤：S1：利用Kinect相机拍摄果实的RGB图像和深度图像；S2：将RGB图像和深度图像进行配准；S3：将S2获取的RGB图像转换为灰度图像；S4：使用中值滤波对S3所得灰度图像进行滤波；S5：将S4获取的图像转换为二值图像，并标记轮廓；S6：利用最小外接矩形法检测果实像素的长宽；S7：提取S2所得深度图像中背景的高度值，结合相机的视野，推算每个像素对应的实际尺寸，从而计算果实的长宽值；S8：将S2获取的深度图像转换为果实的厚度深度图像；S9：提取S8所得的果实厚度深度图像的厚度值中的最大值，即为果实的厚度值。

Description

基于Kinect相机的果实尺寸检测方法
技术领域
本专利涉及一种果实尺寸的检测方法，具体是涉及一种基于Kinect相机获取果实长、宽、厚等尺寸的检测方法。
背景技术
我国是世界上水果生产大国，但出口量极低，在国际市场竞争力低，一个主要原因是水果分选技术不成熟和分选标准不统一。随着生活水平的提高，消费理念发生了巨大的变化，对于水果的消费不仅仅是看数量，对水果品质要求也越来越高。果形是消费者选择水果的重要参考指标，因而果形也成为果实分选的标准。传统的分选模式主要是人工分选，费时费力且效率低下，长时间进行人工分选，会因单调、视觉疲劳、情绪厌倦、记忆遗忘等降低分选的精度和效率；机械分选主要是依靠重量传感器按照重量来进行分选，该方式对于果形没有要求，分选的结果形状不一，且损失率大，效果也是不理想；机器视觉技术分选主要是利用图像处理，依据二维图像外形、图像面积等分选，而没有对厚度方向进行判定，分选的结果也不近人意。由上述可知，需要一种新的果实尺寸检测方法来同时获得果实的长、宽、厚等尺寸，提高分选准确率。
发明内容
针对现有的基于二维成像检测果实尺寸的不足，本专利提出了一种基于Kinect相机的果实尺寸检测方法。
实现上述技术的步骤如下：
S1：利用Kinect相机拍摄果实的RGB图像和深度图像；
S2：将S1获取的RGB图像和深度图像进行配准；
S3：将S2获取的RGB图像转换为灰度图像；
S4：使用中值滤波对S3所得灰度图像进行滤波；
S5：将S4获取的图像转换为二值图像，并标记轮廓；
S6：利用最小外接矩形法检测果实像素的长宽；
S7：提取S2所得深度图像中背景的高度值，即相机的安装高度，结合相机的视野，推算每个像素对应的实际尺寸，从而计算果实的长宽值；
S8：将S2获取的深度图像转换为果实的厚度深度图像；
S9：提取S8所得的果实厚度深度图像的厚度值信息,利用函数从厚度值信息中提取最大值，即为果实的厚度值。
所述的Kinect相机为Kinect V2相机，其RGB分辨率为1920×1080，深度图像的分辨率为512×424，Kinect相机的视野为70°（H）×60°（V）。
所述的RGB图像和深度图像配准是对两幅图像进行裁剪，然后在Matlab中用坐标显示出来，选取RGB图像上的四个点，并在深度图像中找到对应的点，利用函数进行裁剪缩放对齐，即可对两幅图进行配准。
所述的中值滤波是使用5×5邻域的像素灰度的滤波窗口对灰度图像进行滤波，以减少噪声的干扰。
所述的相机的安装高度为拍摄的深度图像中背景的高度值，可以从深度图像中直接提取。
所述的果实的长和宽，由外接矩形的长和宽所占有的像素数来计算；通过相机与底面的高度值以及相机拍摄的视野角，可以计算出拍摄图像的面积，然后根据颜色图像的分辨率，确定每个像素的长宽值，最后外接矩形的长和宽所占的像素数乘以其对应的像素长宽值即可得到果实的长和宽。其具体公式如下：
Figure 555493DEST_PATH_IMAGE001
Figure 972174DEST_PATH_IMAGE002
Figure 840904DEST_PATH_IMAGE003
-果实的长度，
Figure 470600DEST_PATH_IMAGE004
-果实宽度，n-外接矩形长边所占的像素数，m-外接矩形宽边所占的像素数，b-相机到底面距离，α-相机水平视野角，β-相机垂直视野角。
所述的猕猴桃厚度深度图像是指猕猴桃的表面到底部图像，该图像中包含有果实的厚度值信息，而相机拍摄的深度图像是果实的表面到相机的深度图像，因此需要进行转换，转换公式如下：
所述的猕猴桃厚度深度图像是指猕猴桃的表面到底部图像，该图像中包含有果实的厚度值信息，而相机拍摄的深度图像是果实的表面到相机的深度图像，因此需要进行转换，转换公式如下：
Figure 85908DEST_PATH_IMAGE005
其中，h(x,y)为猕猴桃厚度深度图像，b(x,y)为背景深度图像，H(x,y)为猕猴桃表面深度图像，
Figure 484659DEST_PATH_IMAGE006
为样品架厚度图像。
本专利的优点：利用Kinect相机可以同时获取果实RGB图像和深度图像，而且可以同时获得果实的长、宽、厚等尺寸。
附图说明
图1为图像处理流程图；
图2为厚度深度图像示意图；
其中图2中1.Kinect相机，2.果实，3.载物台。
具体实施方式
结合说明附图对本发明的实施方式作进一步详细说明。本发明为一种基于Kinect相机的果实尺寸检测方法，以猕猴桃为例，包括如下步骤：
S1：将猕猴桃放置在相机的正下方，使用Kinect拍照，得到果实的原始图像，包括RGB图像和深度图像；
S2：Kinect拍摄的RGB图像和深度图像的位置大小不一样，分辨率也不同，RGB图像分辨率为1920×1080，深度图像分辨率为512×424，因此需要对两幅图像进行配准，方便后续的处理，首先对两幅图像进行裁剪，然后在Matlab中用坐标显示出来，选取RGB图像上的四个点，并在深度图像中找到对应的点，利用函数进行裁剪缩放对齐，即可对两幅图进行配准；
S3：为了方便获取猕猴桃的长和宽尺寸，需要将获取的RGB图像转换为灰度图像，利用Matlab内置函数将RGB图像直接转换为灰度图像；
S4：使用5×5的滤波窗口对S3所得的灰度图像进行滤波，从猕猴桃图像的左上角开始，从左向右，从上至下，依次进行滤波，把猕猴桃图像中一点的值用该点的一个5×5领域中各点值的中值代替，使其周围的像素值接近真实值，从而消除孤立的噪声点；
S5：选择合适的阈值，将S4获取的灰度图像转换为二值图像,获得的猕猴桃二值图像的数据就只有‘0’和‘1’两种状态，猕猴桃数据为‘1’，其像素点在图像上显示为白色，背景数据为‘0’，其像素点在图像上显示为黑色，利用函数对二值图像取反，即可得出果实的图像，并标记出轮廓形状；
S6：S2得到的猕猴桃的深度图像表示了相机到底面的距离，即相机的安装高度，直接提取出相机的安装高度值；
S7：利用最小外接矩形法识别S5所得猕猴桃图像有效区域的长和宽，并计算出该长宽所占有的像素点数，然后通过相机与底面的高度值以及相机拍摄的视野角，可以计算出拍摄图像的面积，然后根据颜色图像的分辨率，确定每个像素的长宽值，最后利用外接矩形的长和宽所占的像素数乘以其对应的像素长宽值即可得到猕猴桃果实的长和宽；计算公式为：
Figure 789870DEST_PATH_IMAGE007
Figure 906861DEST_PATH_IMAGE002
Figure 54421DEST_PATH_IMAGE003
-果实的长度，
Figure 573259DEST_PATH_IMAGE004
-果实宽度，n-外接矩形长边所占的像素数，m-外接矩形宽边所占的像素数，b-相机到底面距离，α-相机水平视野角，β-相机垂直视野角；
S8：相机拍摄的深度图像不是猕猴桃的厚度图像，所以需要将S2得到的深度图像转H(x,y)换为猕猴桃的厚度深度图像h(x,y)，拍摄得到的深度图像为猕猴桃表面到相机的深度图像，转换公式为：
Figure 783791DEST_PATH_IMAGE008
其中，h(x,y)为猕猴桃厚度深度图像，b(x,y)为背景深度图像，H(x,y)为猕猴桃表面深度图像，
Figure 388079DEST_PATH_IMAGE006
为样品架厚度图像；
S9：猕猴桃的厚度深度图像中的峰值像素的灰度级包含有猕猴桃的厚度信息，单位是毫米，所以可以通过S8获取的猕猴桃厚度深度图像提取猕猴桃的厚度值信息，然后利用函数从厚度值信息中提取最大值，即为猕猴桃的厚度值。

Claims (1)

1.一种基于Kinect相机获取果实长、宽、厚尺寸的检测方法，其特征在于，包括以下步骤：
S1：利用Kinect相机拍摄果实的RGB图像和深度图像；
S2：将RGB图像和深度图像进行配准；
S3：将S2获取的RGB图像转换为灰度图像；
S4：使用中值滤波对S3所得灰度图像进行滤波；
S5：将S4获取的图像转换为二值图像，并标记轮廓；
S6：利用最小外接矩形法检测果实像素的长宽；
S7：提取S2所得深度图像中背景的高度值，即相机的安装高度，结合相机的视野，推算每个像素对应的实际尺寸，从而计算果实的长宽值；
S8：将S2获取的深度图像转换为果实的厚度深度图像；
S9：提取S8所得的果实厚度深度图像的厚度值中的最大值,即为果实的厚度值；
所述的相机的安装高度为拍摄的深度图像中背景的高度值，可以从深度图像中直接提取；
所述的果实的长和宽，由外接矩形的长和宽所占有的像素数来计算，通过相机与底面的高度值以及相机拍摄的视野角，可以计算出拍摄图像的面积，然后根据颜色图像的分辨率，确定每个像素的长宽值，最后外接矩形的长和宽所占的像素数乘以其对应的像素长宽值即可得到果实的长和宽，具体公式如下：
Figure FDA0002420298320000011
Figure FDA0002420298320000012
L果长-果实的长度，L果宽-果实宽度，n-外接矩形长边所占的像素数，m-外接矩形宽边所占的像素数，b-相机到底面距离，α-相机水平视野角，β-相机垂直视野角；
所述的果实厚度深度图像是指果实的表面到底部图像，该图像中包含有果实的厚度值信息，而相机拍摄的深度图像是果实的表面到相机的深度图像，因此需要进行转换，转换公式如下：
Figure FDA0002420298320000021
其中，h(x,y)为果实厚度深度图像，b(x,y)为背景深度图像，H(x,y)为果实表面深度图像，Hholder为样品架厚度图像。
CN201710563300.4A 2017-07-12 2017-07-12 基于Kinect相机的果实尺寸检测方法 Active CN107358627B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710563300.4A CN107358627B (zh) 2017-07-12 2017-07-12 基于Kinect相机的果实尺寸检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710563300.4A CN107358627B (zh) 2017-07-12 2017-07-12 基于Kinect相机的果实尺寸检测方法

Publications (2)

Publication Number Publication Date
CN107358627A CN107358627A (zh) 2017-11-17
CN107358627B true CN107358627B (zh) 2020-06-09

Family

ID=60292890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710563300.4A Active CN107358627B (zh) 2017-07-12 2017-07-12 基于Kinect相机的果实尺寸检测方法

Country Status (1)

Country Link
CN (1) CN107358627B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109197160B (zh) * 2018-09-12 2020-05-15 华南农业大学 一种番石榴采摘机器人及其实现方法
CN109856144A (zh) * 2019-03-13 2019-06-07 西北农林科技大学 一种基于手机的猕猴桃膨大果检测方法和装置
CN110084798B (zh) * 2019-04-25 2021-10-22 广州富港万嘉智能科技有限公司 一种瓜果的方位检测及调整方法、装置和存储介质
CN110017778B (zh) * 2019-04-25 2021-07-06 广州富港万嘉智能科技有限公司 瓜果的尺寸测量方法和削皮方法、对应的装置及存储介质
CN110148186B (zh) * 2019-05-28 2021-01-22 河北农业大学 一种rgb-d相机快速标定方法
CN110853080A (zh) * 2019-09-30 2020-02-28 广西慧云信息技术有限公司 一种田间果实尺寸的测量方法
CN111080103A (zh) * 2019-12-05 2020-04-28 中国农业科学院农业资源与农业区划研究所 作物产量自动评估的方法
CN112614058B (zh) * 2020-10-31 2021-11-09 温岭市山市金德利电器配件厂 对象截面面积解析系统
CN116616045B (zh) * 2023-06-07 2023-11-24 山东农业工程学院 一种基于植物生长的采摘方法及采摘系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682286A (zh) * 2012-04-16 2012-09-19 中国农业大学 基于激光视觉系统的采摘机器人果实识别方法
CN103185609A (zh) * 2011-12-29 2013-07-03 机械科学研究总院先进制造技术研究中心 一种西红柿分级的图像检测方法
CN103512494A (zh) * 2013-07-16 2014-01-15 宁波职业技术学院 一种植物果实微尺寸变化视觉检测系统及方法
CN104764402A (zh) * 2015-03-11 2015-07-08 广西科技大学 柑橘体积的视觉检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI401412B (zh) * 2009-11-13 2013-07-11 Inst Information Industry Automatic measurement system, method and recording medium for plant characteristics

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103185609A (zh) * 2011-12-29 2013-07-03 机械科学研究总院先进制造技术研究中心 一种西红柿分级的图像检测方法
CN102682286A (zh) * 2012-04-16 2012-09-19 中国农业大学 基于激光视觉系统的采摘机器人果实识别方法
CN103512494A (zh) * 2013-07-16 2014-01-15 宁波职业技术学院 一种植物果实微尺寸变化视觉检测系统及方法
CN104764402A (zh) * 2015-03-11 2015-07-08 广西科技大学 柑橘体积的视觉检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Kinect传感器的猕猴桃果实空间坐标获取方法;王滨 等;《农机化研究》;20160531(第5期);232-236 *

Also Published As

Publication number Publication date
CN107358627A (zh) 2017-11-17

Similar Documents

Publication Publication Date Title
CN107358627B (zh) 基于Kinect相机的果实尺寸检测方法
CN110084241B (zh) 一种基于图像识别的电表自动读数方法
CN107248159A (zh) 一种基于双目视觉的金属工件缺陷检测方法
CN108416766B (zh) 双侧入光式导光板缺陷视觉检测方法
CN109900711A (zh) 基于机器视觉的工件缺陷检测方法
CN107014819A (zh) 一种太阳能电池板表面缺陷检测系统和方法
US9810602B2 (en) Method and system for measuring lens distortion
CN107154050A (zh) 一种基于机器视觉的石材几何参数的自动获取方法
CN107392929B (zh) 一种基于人眼视觉模型的智能化目标检测及尺寸测量方法
CN108662977A (zh) 一种耐火砖几何尺寸测量方法
CN105424709A (zh) 一种基于图像标记的水果表面缺陷检测方法
CN108470338B (zh) 一种水位监测方法
CN108896547A (zh) 基于机器视觉的耐火砖测量系统
CN107392849B (zh) 基于图像细分的靶标识别与定位方法
CN109741393B (zh) 双孢菇直径测量和中心点定位方法
CN109559324A (zh) 一种线阵图像中的目标轮廓检测方法
CN107358628B (zh) 基于靶标的线阵图像处理方法
CN109813725A (zh) 一种大尺寸胶水缺陷检测方法
CN105404869A (zh) 一种基于计算机视觉的水果外形分级方法
CN109146859A (zh) 一种基于机器视觉的路面裂缝检测系统
CN109182081A (zh) 一种基于图像处理模型的单细胞分选系统
CN106651831B (zh) 一种竹块缺陷检测方法和系统
CN110688996A (zh) 一种基于视觉传感的嵌入式自动读尺装置与方法
CN110136248B (zh) 一种基于双目立体视觉的变速器壳体三维重建装置及方法
CN110751690B (zh) 铣床刀头视觉定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant