CN114838665A - 一种基于黑皮鸡枞菌的尺寸原位测量方法 - Google Patents

一种基于黑皮鸡枞菌的尺寸原位测量方法 Download PDF

Info

Publication number
CN114838665A
CN114838665A CN202210776576.1A CN202210776576A CN114838665A CN 114838665 A CN114838665 A CN 114838665A CN 202210776576 A CN202210776576 A CN 202210776576A CN 114838665 A CN114838665 A CN 114838665A
Authority
CN
China
Prior art keywords
black
image
contour
thallus
termitomyces albuminosus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210776576.1A
Other languages
English (en)
Other versions
CN114838665B (zh
Inventor
殷华
肖欢
赵小敏
易文龙
赵应丁
徐亦璐
胡殿明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Agricultural University
Original Assignee
Jiangxi Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Agricultural University filed Critical Jiangxi Agricultural University
Priority to CN202210776576.1A priority Critical patent/CN114838665B/zh
Publication of CN114838665A publication Critical patent/CN114838665A/zh
Application granted granted Critical
Publication of CN114838665B publication Critical patent/CN114838665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/25Greenhouse technology, e.g. cooling systems therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于黑皮鸡枞菌的尺寸原位测量方法,方法包括:获取黑皮鸡枞菌的初始图像数据,根据初始图像数据获得每一黑皮鸡枞菌的坐标数据;通过坐标数据对黑皮鸡枞菌进行聚类获得多个区域单元,对区域单元内的黑皮鸡枞菌图像进行图像分割以得到不同层次大小的多个分割图像,将不同层次大小的多个分割图像进行叠加以获得单个黑皮鸡枞菌的菌体预轮廓;通过菌体预轮廓进行深度值分析获得菌体轮廓,并获取菌体轮廓上每一像素点的像素坐标,根据像素坐标进行坐标转换得到像素点的空间坐标,得到黑皮鸡枞菌的尺寸数据。上述基于黑皮鸡枞菌的尺寸原位测量方法,实现了对黑皮鸡枞菌生长状态进行自动化的持续监测。

Description

一种基于黑皮鸡枞菌的尺寸原位测量方法
技术领域
本发明涉及植物尺寸原位测量技术领域,特别涉及一种基于黑皮鸡枞菌的尺寸原位测量方法。
背景技术
黑皮鸡枞菌(Oudemansiella raphanipies)因其口感鲜美,且具有较高的药膳价值和食用价值,在市场上广受青睐。黑皮鸡枞菌包括菌盖和菌柄,在黑皮鸡枞菌的多种农艺性状当中,菌盖和菌柄的形态是其对生长环境适用性情况的反映,也是品质分级和机械化采摘的重要依据。通过大量观察温室中种植的黑皮鸡枞菌菌盖和菌柄的形态大小,种植者们能够合理调整栽培环境、及时安排采摘工作、预防病虫害,而相关研究人员也能依据此类性状选育优良品种。
现有技术中,对黑皮鸡枞菌的尺寸测量以人工为主,依靠相关技术人员的经验接触测量,劳动强度大、效率低下且主观性高,且黑皮鸡枞菌为非刚性物体,人工接触测量时容易出现较大的测量误差。
发明内容
基于此,本发明的目的是提供一种基于黑皮鸡枞菌的尺寸原位测量方法,用于解决现有技术中人工测量黑皮鸡枞菌的尺寸劳动强度大、效率低下且主观性高的技术问题。
本发明一方面提供一种基于黑皮鸡枞菌的尺寸原位测量方法,所述方法通过一尺寸原位测量装置实现,所述尺寸原位测量装置包括基盆机构以及设于所述基盆机构上方的测量机构;
所述基盆机构包括培养盆,所述培养盆用于培养黑皮鸡枞菌,所述测量机构包括导向组件、与所述导向组件可滑动连接的支撑组件、以及设于所述支撑组件上方的相机组件,所述相机组件与所述支撑组件滑动连接,所述导向组件设于所述培养盆的两侧且沿所述培养盆的长度方向设置,所述相机组件包括相机,所述相机与所述培养盆的底面成角度倾斜设置;
所述尺寸原位测量装置还包括设于所述支撑组件上的控制单元,所述控制单元连接所述测量机构以控制所述测量机构沿所述导向组件滑动,所述控制单元还连接所述相机组件以控制所述相机组件相对所述支撑组件滑动,所述控制单元还连接所述相机以控制所述相机获取每一黑皮鸡枞菌的初始图像数据;
所述尺寸原位测量方法应用于控制单元,所述方法包括:
获取在培养盆中生长的黑皮鸡枞菌的初始图像数据,所述初始图像数据包括RGB图像和深度图像,通过预训练的黑皮鸡枞菌识别模型对所述RGB图像进行识别以得到所述RGB图像中每一黑皮鸡枞菌的坐标数据;
通过所述坐标数据对黑皮鸡枞菌进行聚类分簇以获得多个区域单元,通过图像分割算法对区域单元内的黑皮鸡枞菌图像进行图像分割以得到不同层次大小的多个分割图像,将不同层次大小的多个分割图像进行叠加以获得单个黑皮鸡枞菌的菌体预轮廓;
通过所述深度图像对所述菌体预轮廓进行深度值分析以获得黑皮鸡枞菌的菌体轮廓,并根据所述深度图像获取所述菌体轮廓上每一像素点的像素坐标,根据所述像素坐标进行坐标转换得到所述像素点的空间坐标,根据所述空间坐标计算得到所述黑皮鸡枞菌的尺寸数据,所述尺寸数据包括黑皮鸡枞菌的菌柄尺寸。
上述基于黑皮鸡枞菌的尺寸原位测量方法,通过将初始图像数据中的黑皮鸡枞菌进行聚类分簇以获得多个区域单元,再对区域单元内的黑皮鸡枞菌图像进行图像分割以得到不同层次大小的多个分割图像,通过在区域单元内进行图像分割,避免在初始图像数据上进行目标分割,节约分割时间,将分割得到不同层次大小的多个分割图像进行叠加从而获得单个黑皮鸡枞菌的菌体预轮廓,再结合深度图像对菌体预轮廓进行深度值分析从而获得黑皮鸡枞菌的菌体轮廓,再根据深度图像获取菌体轮廓上每一像素点的像素坐标,根据像素坐标进行坐标转换得到像素点的空间坐标,再根据空间坐标进行数学计算得到黑皮鸡枞菌的尺寸数据,解决了现有技术中人工测量黑皮鸡枞菌的尺寸劳动强度大、效率低下且主观性高的技术问题。
进一步地,通过所述坐标数据对黑皮鸡枞菌进行聚类分簇以获得多个区域单元的步骤包括:
对所述RGB图像中的每一黑皮鸡枞菌进行框选,并将框中心点的坐标定义为当前黑皮鸡枞菌的位置坐标;
根据所述位置坐标获取所述RGB图像中黑皮鸡枞菌的分簇数量;
根据所述分簇数量对所述RGB图像中黑皮鸡枞菌进行聚类;
根据聚类结果,使用含有每类中所有黑皮鸡枞菌的最小目标边界框作为图像分块的标准以将所述RGB图像分为若干小区域形成多个区域单元。
进一步地,在根据所述位置坐标获取所述RGB图像中黑皮鸡枞菌的分簇数量的步骤中,确定最佳分簇方式的公式为:
Figure 501348DEST_PATH_IMAGE001
式中,k为分簇数量;S i 为第i簇内的点;m i 为第i簇的质心坐标;SSE为误差平方和;x为框中心点坐标,i为簇编号。
进一步地,通过所述深度图像对所述菌体预轮廓进行深度值分析以获得黑皮鸡枞菌的菌体轮廓的步骤包括:
获取所述菌体预轮廓中一个像素点Ai的深度值、以及与像素点Ai相邻两像素点Ai+1以及Ai-1的深度值,其中,Ai为菌体预轮廓中的点,所述Ai+1为菌体预轮廓外的点,Ai-1为菌体预轮廓内的点;
结合像素点Ai的深度值比较像素点Ai+1以及像素点Ai-1的深度值;
若深度值Ai+1>Ai=Ai-1,则像素点Ai为菌体轮廓中的点;
若深度值Ai+1=Ai>Ai-1,则Ai不为菌体轮廓中的点,此时,设定Ai=Ai-1,并返回重新执行获取所述菌体预轮廓中一个像素点Ai的深度值、以及与像素点Ai相邻两像素点Ai+1以及Ai-1的深度值的步骤;
若深度值Ai+1=Ai=Ai-1,则往菌体预轮廓外或者往菌体预轮廓内移动像素点Ai,直至出现深度值Ai+1>Ai=Ai-1或深度值Ai+1=Ai>Ai-1
进一步地,根据所述像素坐标进行坐标转换得到所述像素点的空间坐标的步骤包括:
假设图像坐标系的中心坐标为(u 0 ,v 0 ),通过刚体变换,将每一像素点由图像坐标系下的坐标(u,v)转为空间坐标(x d ,y d ,z d ),转换公式为:
Figure 926251DEST_PATH_IMAGE002
其中,d x d y 分别为RGB相机每个像素在XY轴方向上的物理尺寸,菌柄所在方向为Y轴,X轴与Y轴垂直设置,f表示RGB相机的有效焦距,Z c 表示由RGBD相机得到深度值。
进一步地,通过图像分割算法对区域单元内的黑皮鸡枞菌图像进行图像分割以得到不同层次大小的多个分割图像的步骤之前包括:
获取所述区域单元内的黑皮鸡枞菌图像,将所述黑皮鸡枞菌图像进行放大,通过图像分割算法对放大后的黑皮鸡枞菌图像进行图像分割。
进一步地,所述将不同层次大小的多个分割图像进行叠加以获得单个黑皮鸡枞菌的菌体预轮廓的步骤包括:
获取不同层次大小的多个分割图像,并缩小每一层次大小的分割图像以使缩小后的图像尺寸符合黑皮鸡枞菌图像的原始尺寸;
将缩小后的每一层次大小的分割图像进行叠加以获得单个黑皮鸡枞菌的菌体预轮廓。
本发明另一方面提供一种基于黑皮鸡枞菌的尺寸原位测量装置,所述装置包括基盆机构以及设于所述基盆机构上方的测量机构;
所述基盆机构包括培养盆,所述培养盆用于培养黑皮鸡枞菌,所述测量机构包括导向组件、与所述导向组件可滑动连接的支撑组件、以及设于所述支撑组件上方的相机组件,所述相机组件与所述支撑组件滑动连接,所述导向组件设于所述培养盆的两侧且沿所述培养盆的长度方向设置,所述相机组件包括相机;
所述尺寸原位测量装置还包括设于所述支撑组件上的控制单元,所述控制单元连接所述测量机构以控制所述测量机构沿所述导向组件滑动,所述控制单元还连接所述相机组件以控制所述相机组件相对所述支撑组件滑动,所述控制单元还连接所述相机以控制所述相机获取每一黑皮鸡枞菌的初始图像数据。
附图说明
图1为本发明实施例中尺寸原位测量装置的结构示意图;
图2为图1中区域A的局部放大图;
图3为本发明实施例中尺寸原位测量方法的流程图;
图4为本发明实施例中黑皮鸡枞菌的识别结果;
图5为本发明实施例中图像区域划分示意图;
图6为本发明实施例中轮廓分割示意图;
图7为本发明实施例中获取菌体轮廓的方法的情况示意图
图8为本发明实施例中获取菌体轮廓的方法的原理示意图;
图9为本发明实施例中测量点检测示意图。
主要结构符号说明:
Figure 475044DEST_PATH_IMAGE003
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
为了实现自动测量鸡枞菌的菌柄尺寸以及菌盖尺寸,本申请以黑皮鸡枞菌为例进行测量方法的论述,本申请提出一种黑皮鸡枞菌的尺寸原位测量方法,本申请中的测量方法不仅能够测量菌盖尺寸,还能测量菌柄尺寸,从而更全面的获取鸡枞菌的菌体尺寸数据。本申请中的基于黑皮鸡枞菌的尺寸原位测量方法通过一尺寸原位测量装置实现。
具体的,请参见图1及图2,尺寸原位测量装置包括基盆机构以及设于基盆机构上方的测量机构;
基盆机构包括培养盆100,培养盆100用于培养黑皮鸡枞菌,具体的,培养盆100内设有菇床500,用于生长培养黑皮鸡枞菌,本申请用于对生长在菇床500的黑皮鸡枞菌的尺寸进行原位测量,即不会对黑皮鸡枞菌的正常生长造成不利影响,可以在黑皮鸡枞菌的生长过程中,对其进行实时监测,无需摘取黑皮鸡枞菌让其脱离原始生长环境,可以理解的,原始生长环境包括原始生长土壤。
测量机构包括导向组件、与导向组件可滑动连接的支撑组件、以及设于支撑组件上方的相机组件,相机组件与支撑组件滑动连接,导向组件设于培养盆100的两侧且沿培养盆100的长度方向设置,相机组件包括相机支架600以及设于设于相机支架600上的相机800,相机800与培养盆100的底面成角度倾斜设置,具体的,相机800的镜头成角度倾斜朝向黑皮鸡枞菌。在本申请中,相机800采用RGBD相机。
作为一个具体示例,导向组件包括间隔设置的两导向轨200,两导向轨200设于培养盆100的上方,支撑组件包括支撑杆300,相机支架600设于支撑杆300上。尺寸原位测量装置还包括连接导向组件与支撑组件的滑动组件,滑动组件包括两滑轮组400,滑轮组400包括多个滑轮,支撑杆300的两端各设有一滑轮组400,通过滑轮组400的滑动实现支撑组件与导向组件的滑动连接。
具体的,RGBD相机是能够同时获取视野范围的彩色图片(RGB图像)和视野范围内各个物体离开相机距离(深度图像)的一种相机。如图8所示,相机与菇床成角度γ安装,安装角度γ可为30°~60°,在本申请的实施例中,采用45°安装。以支撑杆所在方向为y方向,支撑杆上设有y方向的轨道,以导向轨所在方向为x方向,导向轨上设有x方向的轨道,相机支架安装在y方向的轨道上,能够带动相机沿着轨道滑动, y方向轨道安装在x方向的轨道上,可以沿着x方向轨道走行。通过在x,y方向走行,相机可以获取不同位置的黑皮鸡枞菌的RGB图像和深度图像。
尺寸原位测量装置还包括设于支撑组件上的控制单元700,控制单元700连接测量机构以控制测量机构沿导向组件滑动,控制单元700还连接相机组件以控制相机组件相对支撑组件滑动,还控制相机获取每一黑皮鸡枞菌的初始图像数据,具体的,控制单元700为MCU。
在本申请中,通过控制测量机构沿导向组件滑动,实现全方位测量,从而控制相机获取黑皮鸡枞菌的实时数据,再经过控制单元700对数据的及时处理用于跟踪黑皮鸡枞菌的生长数据,实现对黑皮鸡枞菌生长过程的在线监测。
请参阅图3,所示为本发明实施例中的基于黑皮鸡枞菌的尺寸原位测量方法,所述方法包括步骤S101-S103:
S101、获取在培养盆中生长的黑皮鸡枞菌的初始图像数据,初始图像数据包括RGB图像和深度图像,通过预训练的黑皮鸡枞菌识别模型对RGB图像进行识别以得到RGB图像中每一黑皮鸡枞菌的坐标数据。
通过图像采集设备采集黑皮鸡枞菌的图片,包括手机、RGBD相机及其他成像设备,以人工的方式对RGB图像中的黑皮鸡枞菌进行标注后,送入到黑皮鸡枞菌识别模型中训练,得到黑皮鸡枞菌识别模型,具体的,可用矩形框将每一个黑皮鸡枞菌在图中框选表示。
将获取到的黑皮鸡枞菌的初始图像数据送入至黑皮鸡枞菌识别模型中,识别出黑皮鸡枞菌的坐标,并利用矩形框作为定位框在图中进行标注,效果如图4所示。
S102、通过坐标数据对黑皮鸡枞菌进行聚类分簇以获得多个区域单元,通过图像分割算法对区域单元内的黑皮鸡枞菌图像进行图像分割以得到不同层次大小的多个分割图像,将不同层次大小的多个分割图像进行叠加以获得单个黑皮鸡枞菌的菌体预轮廓。
由于黑皮鸡枞菌种植时菌柄分布通常会呈一定规律,菌柄间有一定空隙并且黑皮鸡枞菌生长的时间也不一致,因此黑皮鸡枞菌生长出来后也会呈一定的聚集特性,为了在后续分割出单个黑皮鸡枞菌时节约分割时间,先对初始图像数据中的黑皮鸡枞菌进行位置聚类,根据黑皮鸡枞菌的聚集情况划分为数个小的区域,随后对分割出的小区域进行分割即可,从而节约分割时间。
具体的,通过坐标数据对黑皮鸡枞菌进行聚类分簇以获得多个区域单元的步骤包括:
对RGB图像中的每一黑皮鸡枞菌进行框选,并将框中心点的坐标定义为当前黑皮鸡枞菌的位置坐标;
根据位置坐标获取RGB图像中黑皮鸡枞菌的分簇数量;
根据分簇数量对RGB图像中黑皮鸡枞菌进行聚类;
根据聚类结果,使用含有每类中所有黑皮鸡枞菌的最小目标边界框作为图像分块的标准以将RGB图像分为若干小区域形成多个区域单元。
首选确定图中划分为几个区域(简称为分簇)为最佳:采用K-means算法,使用所识别出来的各个黑皮鸡枞菌定位框中心点(表示为X1,X2,X3…)坐标作为初始化聚类中心;而后计算每一黑皮鸡枞菌到k个聚类中心的距离,把每个对象分配给距离其最近的聚类中心所代表的类别中,全部分配完毕即得到初始化聚类结果,聚类中心连同分配给它的对象作为一类,从而得到初始化聚类结果;得到初始化聚类结果后,再重新计算每类的类中心点(计算均值),得到新的聚类中心;最后进行迭代循环,得到最终聚类结果。K-means算法属于现有技术,在此不做过多赘述,关于K-means算法的具体内容,可以参见现有技术的相关描述。具体的,确定最佳分簇方式的公式为:
Figure 828665DEST_PATH_IMAGE004
式中,k为分簇数量;S i 为第i簇内的点;m i 为第i簇的质心坐标;SSE为误差平方和;x为框中心点坐标,i为簇编号;
分别设定k为2,3,4,…,计算SSE的值,将SSE下降趋势由快转慢时k的值设置为簇的数量,也即是分为几个区域。
运用上述所求得的分簇数量k对图像当中的黑皮鸡枞菌根据K-means算法原理进行聚类。根据聚类结果,使用含有每类中所有鸡枞菌的最小目标边界框作为图像分块的标准,将图像分为若干小区域,如图5所示。可以看出,需要进行分割的区域大大小于相对于原始图像,避免了在原始大的区域进行目标分割,节约了时间。
作为一个具体示例,通过图像分割算法对区域单元内的黑皮鸡枞菌图像进行图像分割以得到不同层次大小的多个分割图像的步骤之前包括:
获取区域单元内的黑皮鸡枞菌图像,将黑皮鸡枞菌图像进行放大,通过图像分割算法对放大后的黑皮鸡枞菌图像进行图像分割。
对每个分块的图像区域进行不同层次的放大,例如2倍、5倍或者10倍等等,放大倍数可根据实际情况做出选择以使放大后的图像能够满足应用,使用GrabCut模型对每个层次进行图像分割,最终将分割结果缩放至统一大小进行图像叠加。GrabCut模型是分割的经典算法,属于现有技术,在此不做具体论述。
具体的,黑皮鸡枞菌轮廓分割过程如下:
首先将得到的一个黑皮鸡枞菌定位框作为前景区域,其余区域作为背景区域,利用GrabCut算法对该黑皮鸡枞菌进行分割,得到该黑皮鸡枞菌的轮廓;
再选择另外一个黑皮鸡枞菌定位框作为前景区域,其余区域作为背景区域,利用GrabCut算法对这个黑皮鸡枞菌进行分割,到这个黑皮鸡枞菌的轮廓;
重复上述两步直到获取到该分块图像区域内所有识别出来的黑皮鸡枞菌的轮廓。
如图6所示,将不同层次大小的多个分割图像进行叠加以获得单个黑皮鸡枞菌的菌体预轮廓的步骤包括:
获取不同层次大小的多个分割图像,并缩小每一层次大小的分割图像以使缩小后的图像尺寸符合黑皮鸡枞菌图像的原始尺寸;
将缩小后的每一层次大小的分割图像进行叠加以获得单个黑皮鸡枞菌的菌体预轮廓。
S103、通过深度图像对菌体预轮廓进行深度值分析以获得黑皮鸡枞菌的菌体轮廓,并根据深度图像获取菌体轮廓上每一像素点的像素坐标,根据像素坐标进行坐标转换得到像素点的空间坐标,根据空间坐标计算得到黑皮鸡枞菌的尺寸数据,尺寸数据包括黑皮鸡枞菌的菌柄尺寸。
如图7和图8所示,在本申请实施例中的一个具体实施例中,在通过深度图像对菌体预轮廓进行深度值分析以获得黑皮鸡枞菌的菌体轮廓的步骤中,获取菌体轮廓的方法包括:
获取菌体预轮廓中一个像素点Ai的深度值、以及与像素点Ai相邻两像素点Ai+1以及Ai-1的深度值,其中,Ai为菌体预轮廓中的点,Ai+1为菌体预轮廓外的点,Ai-1为菌体预轮廓内的点;
结合像素点Ai的深度值比较像素点Ai+1以及像素点Ai-1的深度值;
若深度值Ai+1>Ai=Ai-1,则像素点Ai为菌体轮廓中的点,即像素点Ai是真实轮廓上的点;
若深度值Ai+1=Ai>Ai-1,则Ai不为菌体轮廓中的点,即Ai不是真实轮廓中的点;此时,设定Ai=Ai-1,并返回重新执行获取菌体预轮廓中一个像素点Ai的深度值、以及与像素点Ai相邻两像素点Ai+1以及Ai-1的深度值的步骤;
若深度值Ai+1=Ai=Ai-1,则说明Ai不为菌体轮廓中的点,即Ai不是真实轮廓中的点,此时,包括有两种情况,即像素点Ai+1、Ai以及Ai-1均在菌体轮廓内或像素点Ai+1、Ai以及Ai-1均在菌体轮廓外,为了验证是这两种情况中的哪一种,需要同时往菌体预轮廓外或者往菌体预轮廓内移动像素点Ai,直至出现深度值Ai+1>Ai=Ai-1或深度值Ai+1=Ai>Ai-1
具体的,当同时往菌体预轮廓外移动一个像素点时,Ai+1’= Ai+2,Ai’=Ai+1,Ai-1’=Ai;当同时往菌体预轮廓内移动一个像素点时,Ai-1’= Ai-2,Ai’=Ai-1,Ai+1’= Ai
如图9所示,为了获得菌柄的宽度变化数据,对分割后的轮廓从上至下扫描,计算边缘轮廓上Y轴相同的两像素点的X值差定义为D。当从上向下扫描时,D会逐渐变大后逐渐减小,随后突然变小。当D到最大时记录下两个像素点的坐标(XC1,YC1),(XC2,YC2),此即为菌盖宽度的坐标,根据(XC1,YC1),(XC2,YC2)可计算得到菌盖的宽度尺寸,当D突然变小时记录下两个像素点的坐标(XS1,YS1),(XS2,YS2),此即为菌柄宽度判定的起始点,继续进行扫描,每隔开一定间距采样两个边界点,直至轮廓中最下方的两个边界点(XS1n,YS1n),(XS2n,YS2n), 这样就得到了一系列距离点对,也就是说整个菌柄的宽度变化就能采集下来,从而得到菌柄的宽度尺寸;取(Xb1,Yb1)作为菌柄的高度计算的起始坐标,(Xb2,Yb2)作为菌柄的高度计算的结束坐标,其中:
Xb1=(XS1+XS2)/2
Yb1=(YS1+YS2)/2
Xb2=(XS1n+XS2n)/2
Yb2=(YS1n+YS2n)/2
这样也就可以得到菌柄的高度尺寸。
在根据像素坐标进行坐标转换得到像素点的空间坐标的步骤中:
假设图像坐标系的中心坐标为(u 0 ,v 0 ),通过刚体变换,将每一像素点由图像坐标系下的坐标(u,v)转为空间坐标(x d ,y d ,z d ),转换公式为:
Figure 892436DEST_PATH_IMAGE002
其中,d x d y 分别为RGB相机每个像素在XY轴方向上的物理尺寸,菌柄所在方向为Y轴,X轴与Y轴垂直设置,f表示RGB相机的有效焦距,Z c 表示由RGBD相机得到深度值。
由此可以得到黑皮鸡枞菌测量点的空间坐标位置。使用欧几里得范数求解测量点对间的直线距离,并最终解得测量值,如下式:
Dr=[(X d1r -X d2r 2+(Y d1r -Y d2r 2+(Z d1r -Z d2r 2]1/2
Dr表示最终得到的两个测量点之间的真实距离,(X dir ,Y dir ,Z dir )表示第i个点在空间坐标下的真实坐标。
本申请的最终目标是得到黑皮鸡枞菌的菌柄的宽度尺寸及高度尺寸。通过确定2个测量点的三维坐标后,再通过这个公式Dr计算出两个点之间的真实距离,即欧式距离。进一步地,应用本申请的基于黑皮鸡枞菌的尺寸原位测量方法,也可从侧面得到菌盖的宽度尺寸。
综上,本发明上述实施例当中的基于黑皮鸡枞菌的尺寸原位测量方法,通过将初始图像数据中的黑皮鸡枞菌进行聚类分簇以获得多个区域单元,再对区域单元内的黑皮鸡枞菌图像进行图像分割以得到不同层次大小的多个分割图像,通过在区域单元内进行图像分割,避免在初始图像数据上进行目标分割,节约分割时间,将分割得到不同层次大小的多个分割图像进行叠加从而获得单个黑皮鸡枞菌的菌体预轮廓,再结合深度图像对菌体预轮廓进行深度值分析从而获得黑皮鸡枞菌的菌体轮廓,再根据深度图像获取菌体轮廓上每一像素点的像素坐标,根据像素坐标进行坐标转换得到像素点的空间坐标,再根据空间坐标进行数学计算得到黑皮鸡枞菌的尺寸数据,解决了现有技术中人工测量黑皮鸡枞菌的尺寸劳动强度大、效率低下且主观性高的技术问题。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同物限定。

Claims (7)

1.一种基于黑皮鸡枞菌的尺寸原位测量方法,其特征在于,所述方法通过一尺寸原位测量装置实现,所述尺寸原位测量装置包括基盆机构以及设于所述基盆机构上方的测量机构;
所述基盆机构包括培养盆,所述培养盆用于培养黑皮鸡枞菌,所述测量机构包括导向组件、与所述导向组件可滑动连接的支撑组件、以及设于所述支撑组件上方的相机组件,所述相机组件与所述支撑组件滑动连接,所述导向组件设于所述培养盆的两侧且沿所述培养盆的长度方向设置,所述相机组件包括相机,所述相机与所述培养盆的底面成角度倾斜设置;
所述尺寸原位测量装置还包括设于所述支撑组件上的控制单元,所述控制单元连接所述测量机构以控制所述测量机构沿所述导向组件滑动,所述控制单元还连接所述相机组件以控制所述相机组件相对所述支撑组件滑动,所述控制单元还连接所述相机以控制所述相机获取每一黑皮鸡枞菌的初始图像数据;
所述尺寸原位测量方法应用于控制单元,所述方法包括:
获取在培养盆中生长的黑皮鸡枞菌的初始图像数据,所述初始图像数据包括RGB图像和深度图像,通过预训练的黑皮鸡枞菌识别模型对所述RGB图像进行识别以得到所述RGB图像中每一黑皮鸡枞菌的坐标数据;
通过所述坐标数据对黑皮鸡枞菌进行聚类分簇以获得多个区域单元,通过图像分割算法对区域单元内的黑皮鸡枞菌图像进行图像分割以得到不同层次大小的多个分割图像,将不同层次大小的多个分割图像进行叠加以获得单个黑皮鸡枞菌的菌体预轮廓;
通过所述深度图像对所述菌体预轮廓进行深度值分析以获得黑皮鸡枞菌的菌体轮廓,并根据所述深度图像获取所述菌体轮廓上每一像素点的像素坐标,根据所述像素坐标进行坐标转换得到所述像素点的空间坐标,根据所述空间坐标计算得到所述黑皮鸡枞菌的尺寸数据,所述尺寸数据包括黑皮鸡枞菌的菌柄尺寸。
2.根据权利要求1所述的基于黑皮鸡枞菌的尺寸原位测量方法,其特征在于,通过所述坐标数据对黑皮鸡枞菌进行聚类分簇以获得多个区域单元的步骤包括:
对所述RGB图像中的每一黑皮鸡枞菌进行框选,并将框中心点的坐标定义为当前黑皮鸡枞菌的位置坐标;
根据所述位置坐标获取所述RGB图像中黑皮鸡枞菌的分簇数量;
根据所述分簇数量对所述RGB图像中黑皮鸡枞菌进行聚类;
根据聚类结果,使用含有每类中所有黑皮鸡枞菌的最小目标边界框作为图像分块的标准以将所述RGB图像分为若干小区域形成多个区域单元。
3.根据权利要求2所述的基于黑皮鸡枞菌的尺寸原位测量方法,其特征在于,在根据所述位置坐标获取所述RGB图像中黑皮鸡枞菌的分簇数量的步骤中,确定最佳分簇方式的公式为:
Figure 861798DEST_PATH_IMAGE001
式中,k为分簇数量;S i 为第i簇内的点;m i 为第i簇的质心坐标;SSE为误差平方和;x为框中心点坐标,i为簇编号。
4.根据权利要求1所述的基于黑皮鸡枞菌的尺寸原位测量方法,其特征在于,通过所述深度图像对所述菌体预轮廓进行深度值分析以获得黑皮鸡枞菌的菌体轮廓的步骤包括:
获取所述菌体预轮廓中一个像素点Ai的深度值、以及与像素点Ai相邻两像素点Ai+1以及Ai-1的深度值,其中,Ai为菌体预轮廓中的点,所述Ai+1为菌体预轮廓外的点,Ai-1为菌体预轮廓内的点;
结合像素点Ai的深度值比较像素点Ai+1以及像素点Ai-1的深度值;
若深度值Ai+1>Ai=Ai-1,则像素点Ai为菌体轮廓中的点;
若深度值Ai+1=Ai>Ai-1,则Ai不为菌体轮廓中的点,此时,设定Ai=Ai-1,并返回重新执行获取所述菌体预轮廓中一个像素点Ai的深度值、以及与像素点Ai相邻两像素点Ai+1以及Ai-1的深度值的步骤;
若深度值Ai+1=Ai=Ai-1,则往菌体预轮廓外或者往菌体预轮廓内移动像素点Ai,直至出现深度值Ai+1>Ai=Ai-1或深度值Ai+1=Ai>Ai-1
5.根据权利要求1所述的基于黑皮鸡枞菌的尺寸原位测量方法,其特征在于,根据所述像素坐标进行坐标转换得到所述像素点的空间坐标的步骤包括:
假设图像坐标系的中心坐标为(u 0 ,v 0 ),通过刚体变换,将每一像素点由图像坐标系下的坐标(u,v)转为空间坐标(x d ,y d ,z d ),转换公式为:
Figure 310096DEST_PATH_IMAGE002
其中,d x d y 分别为RGB相机每个像素在XY轴方向上的物理尺寸,菌柄所在方向为Y轴,X轴与Y轴垂直设置,f表示RGB相机的有效焦距,Z c 表示由RGBD相机得到深度值。
6.根据权利要求1所述的基于黑皮鸡枞菌的尺寸原位测量方法,其特征在于,通过图像分割算法对区域单元内的黑皮鸡枞菌图像进行图像分割以得到不同层次大小的多个分割图像的步骤之前包括:
获取所述区域单元内的黑皮鸡枞菌图像,将所述黑皮鸡枞菌图像进行放大,通过图像分割算法对放大后的黑皮鸡枞菌图像进行图像分割。
7.根据权利要求6所述的基于黑皮鸡枞菌的尺寸原位测量方法,其特征在于,所述将不同层次大小的多个分割图像进行叠加以获得单个黑皮鸡枞菌的菌体预轮廓的步骤包括:
获取不同层次大小的多个分割图像,并缩小每一层次大小的分割图像以使缩小后的图像尺寸符合黑皮鸡枞菌图像的原始尺寸;
将缩小后的每一层次大小的分割图像进行叠加以获得单个黑皮鸡枞菌的菌体预轮廓。
CN202210776576.1A 2022-07-04 2022-07-04 一种基于黑皮鸡枞菌的尺寸原位测量方法 Active CN114838665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210776576.1A CN114838665B (zh) 2022-07-04 2022-07-04 一种基于黑皮鸡枞菌的尺寸原位测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210776576.1A CN114838665B (zh) 2022-07-04 2022-07-04 一种基于黑皮鸡枞菌的尺寸原位测量方法

Publications (2)

Publication Number Publication Date
CN114838665A true CN114838665A (zh) 2022-08-02
CN114838665B CN114838665B (zh) 2022-09-02

Family

ID=82574645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210776576.1A Active CN114838665B (zh) 2022-07-04 2022-07-04 一种基于黑皮鸡枞菌的尺寸原位测量方法

Country Status (1)

Country Link
CN (1) CN114838665B (zh)

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110116707A1 (en) * 2008-06-30 2011-05-19 Korea Institute Of Oriental Medicine Method for grouping 3d models to classify constitution
US20160171706A1 (en) * 2014-12-15 2016-06-16 Intel Corporation Image segmentation using color & depth information
US20160307325A1 (en) * 2015-04-20 2016-10-20 Yibing Michelle Wang Cmos image sensor for depth measurement using triangulation with point scan
CN107046933A (zh) * 2017-04-19 2017-08-18 南京航空航天大学 基于机器视觉的蘑菇自动采摘系统及方法
CN109345554A (zh) * 2018-09-12 2019-02-15 南京农业大学 一种基于rgb-d相机的粘连蘑菇视觉原位测量方法
CN109584281A (zh) * 2018-10-30 2019-04-05 江苏大学 一种基于彩色图像和深度图像的重叠颗粒物分层计数方法
CN109741393A (zh) * 2018-12-04 2019-05-10 上海大学 双孢菇直径测量和中心点定位方法
CN110738676A (zh) * 2019-09-17 2020-01-31 湖南大学 一种结合RGBD数据的GrabCut自动分割算法
CN110766702A (zh) * 2019-10-18 2020-02-07 沈阳农业大学 一种双孢蘑菇分级判断方法
CN111105394A (zh) * 2019-11-27 2020-05-05 北京华捷艾米科技有限公司 一种检测发光小球特征信息的方法及装置
CN111707194A (zh) * 2020-07-21 2020-09-25 仲恺农业工程学院 基于深度相机的金针菇整齐度检测方法及装置
CN111862043A (zh) * 2020-07-21 2020-10-30 北京林业大学 一种基于激光和机器视觉的蘑菇检测方法
US20210004577A1 (en) * 2018-02-26 2021-01-07 Touchless Animal Metrics, Sl Method and device for the characterization of living specimens from a distance
CN112419393A (zh) * 2020-11-15 2021-02-26 浙江大学 一种垃圾焚烧炉料斗内垃圾体积实时测算装置及方法
US20210166416A1 (en) * 2019-11-29 2021-06-03 Ubtech Robotics Corp Ltd Robert climbing control method and device and storage medium and robot
CN113016506A (zh) * 2021-04-01 2021-06-25 江西农业大学 一种用于食用菌生长期三维表型参数获取的自动化种植箱
CN113179862A (zh) * 2021-05-12 2021-07-30 南京农业大学 一种仿人型蘑菇采摘双臂机器人控制系统及控制方法
CN114029951A (zh) * 2021-11-10 2022-02-11 盐城工学院 基于深度相机的机器人自主识别智能抓取方法
CN114049365A (zh) * 2021-11-17 2022-02-15 扬州大学 一种双孢蘑菇视觉分割识别方法
CN114387343A (zh) * 2021-12-30 2022-04-22 中南大学 一种成簇平菇的菌柄采摘位置的检测方法

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110116707A1 (en) * 2008-06-30 2011-05-19 Korea Institute Of Oriental Medicine Method for grouping 3d models to classify constitution
US20160171706A1 (en) * 2014-12-15 2016-06-16 Intel Corporation Image segmentation using color & depth information
US20160307325A1 (en) * 2015-04-20 2016-10-20 Yibing Michelle Wang Cmos image sensor for depth measurement using triangulation with point scan
CN107046933A (zh) * 2017-04-19 2017-08-18 南京航空航天大学 基于机器视觉的蘑菇自动采摘系统及方法
US20210004577A1 (en) * 2018-02-26 2021-01-07 Touchless Animal Metrics, Sl Method and device for the characterization of living specimens from a distance
CN109345554A (zh) * 2018-09-12 2019-02-15 南京农业大学 一种基于rgb-d相机的粘连蘑菇视觉原位测量方法
CN109584281A (zh) * 2018-10-30 2019-04-05 江苏大学 一种基于彩色图像和深度图像的重叠颗粒物分层计数方法
CN109741393A (zh) * 2018-12-04 2019-05-10 上海大学 双孢菇直径测量和中心点定位方法
CN110738676A (zh) * 2019-09-17 2020-01-31 湖南大学 一种结合RGBD数据的GrabCut自动分割算法
CN110766702A (zh) * 2019-10-18 2020-02-07 沈阳农业大学 一种双孢蘑菇分级判断方法
CN111105394A (zh) * 2019-11-27 2020-05-05 北京华捷艾米科技有限公司 一种检测发光小球特征信息的方法及装置
US20210166416A1 (en) * 2019-11-29 2021-06-03 Ubtech Robotics Corp Ltd Robert climbing control method and device and storage medium and robot
CN111707194A (zh) * 2020-07-21 2020-09-25 仲恺农业工程学院 基于深度相机的金针菇整齐度检测方法及装置
CN111862043A (zh) * 2020-07-21 2020-10-30 北京林业大学 一种基于激光和机器视觉的蘑菇检测方法
CN112419393A (zh) * 2020-11-15 2021-02-26 浙江大学 一种垃圾焚烧炉料斗内垃圾体积实时测算装置及方法
CN113016506A (zh) * 2021-04-01 2021-06-25 江西农业大学 一种用于食用菌生长期三维表型参数获取的自动化种植箱
CN113179862A (zh) * 2021-05-12 2021-07-30 南京农业大学 一种仿人型蘑菇采摘双臂机器人控制系统及控制方法
CN114029951A (zh) * 2021-11-10 2022-02-11 盐城工学院 基于深度相机的机器人自主识别智能抓取方法
CN114049365A (zh) * 2021-11-17 2022-02-15 扬州大学 一种双孢蘑菇视觉分割识别方法
CN114387343A (zh) * 2021-12-30 2022-04-22 中南大学 一种成簇平菇的菌柄采摘位置的检测方法

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
ISLAM I. FOUAD ET. AL: "Efficient Image Segmentation of RGB-D Images", 《 2017 12TH INTERNATIONAL CONFERENCE ON COMPUTER ENGINEERING AND SYSTEMS (ICCES)》 *
NATHANAEL L. BAISA, BASHIR AL-DIRI: "Mushrooms Detection, Localization and 3D Pose Estimation using RGB-D Sensor for Robotic-picking Applications", 《HTTPS://ARXIV.ORG/ABS/2201.02837V1》 *
PRABU S. ET.AL: "Object Segmentation Based on the Integration of Adaptive K-means and GrabCut Algorithm", 《2022 INTERNATIONAL CONFERENCE ON WIRELESS COMMUNICATIONS SIGNAL PROCESSING AND NETWORKING (WISPNET)》 *
凌滨等: "融合彩色信息和深度信息的GrabCut图像分割", 《计算机应用与软件》 *
司艳丽等: "基于RGB-D图像的重叠颗粒物分层计数", 《信息技术》 *
周振等: "基于kinect深度图像的目标定位与识别", 《机械制造与自动化》 *
孙经纬等: "基于"淹没法"的双孢菇检测及直径测量方法", 《农机化研究》 *
李毅等: "基于Kinect V2的筒子纱作业机器人视觉定位方法", 《纺织高校基础科学学报》 *
沈跃等: "基于K-means和近邻回归算法的Kinect植株深度图像修复", 《农业工程学报》 *
董怡等: "基于多种边缘暗示和尺度修正的RGB-D图像层次分割", 《南京邮电大学学报(自然科学版)》 *

Also Published As

Publication number Publication date
CN114838665B (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN109115776B (zh) 一种基于颜色和深度信息的穴盘苗长势无损监测方法和装置
Mortensen et al. Segmentation of lettuce in coloured 3D point clouds for fresh weight estimation
Wang et al. Automated crop yield estimation for apple orchards
Nielsen et al. Vision-based 3D peach tree reconstruction for automated blossom thinning
CN102068281B (zh) 一种占位性病变超声图像的处理方法
CN109345554A (zh) 一种基于rgb-d相机的粘连蘑菇视觉原位测量方法
CN112418188A (zh) 基于无人机视觉的农作物生长全程数字化评估方法
CN112614147B (zh) 一种基于rgb影像的作物苗期植株密度估算的方法及系统
CN108133471B (zh) 一种基于人工蜂群算法的机器人导航路径提取方法及装置
CN113920106B (zh) 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法
CN114838664B (zh) 一种基于黑皮鸡枞菌的菌盖尺寸原位测量方法
CN110969654A (zh) 基于收割机的玉米高通量表型测量的方法及装置、收割机
CN111598780A (zh) 一种适用于机载LiDAR点云的地形自适应插值滤波方法
CN110610438B (zh) 一种农作物冠层叶柄夹角计算方法及系统
He et al. A calculation method of phenotypic traits of soybean pods based on image processing technology
CN114838665B (zh) 一种基于黑皮鸡枞菌的尺寸原位测量方法
CN111896045B (zh) 温室作物三维有向感知与细粒度自动采集装置及方法
CN110689022A (zh) 基于叶片匹配的各株作物图像提取方法
CN111369497B (zh) 一种行走式树上果实连续计数方法及装置
CN117456523A (zh) 作物种类识别方法、装置、电子设备及介质
Chen et al. An automatic plant growth measurement system for plant factory
CN115294482B (zh) 一种基于无人机遥感图像的食用菌产量估算方法
CN114782455B (zh) 一种用于农机嵌入式设备的棉花行中心线图像提取方法
CN113111892B (zh) 一种基于无人机影像的作物种植行提取方法
CN114937078A (zh) 自动除草方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant