CN107860316A - 玉米籽粒三维参数测量装置及其测量方法 - Google Patents

玉米籽粒三维参数测量装置及其测量方法 Download PDF

Info

Publication number
CN107860316A
CN107860316A CN201711041714.7A CN201711041714A CN107860316A CN 107860316 A CN107860316 A CN 107860316A CN 201711041714 A CN201711041714 A CN 201711041714A CN 107860316 A CN107860316 A CN 107860316A
Authority
CN
China
Prior art keywords
corn kernel
image
view image
rotating disk
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711041714.7A
Other languages
English (en)
Other versions
CN107860316B (zh
Inventor
朱德利
杨德刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Normal University
Original Assignee
Chongqing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Normal University filed Critical Chongqing Normal University
Priority to CN201711041714.7A priority Critical patent/CN107860316B/zh
Publication of CN107860316A publication Critical patent/CN107860316A/zh
Application granted granted Critical
Publication of CN107860316B publication Critical patent/CN107860316B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种玉米籽粒三维参数测量装置及其测量方法,包括支撑框架、旋转盘、步进电机、图像采集组件、标定板组件、电子衡器以及计算机,标定板组件包括水平标定板和竖直标定板,旋转盘设于水平标定板安装孔内,图像采集组件、步进电机、电子衡器分别与计算机连接;图像采集组件采集倾斜摄影图像并传输给计算机,通过透视变换,从倾斜摄影图像分别计算得到垂直正拍视图图像和水平正拍视图图像,用垂直正拍视图图像计算玉米籽粒轮廓的长轴和短轴,用水平正拍视图图像计算玉米籽粒的厚度,获得玉米籽粒的三维参数。本发明能够有效结合倾斜摄影技术、旋转试验装置以及机器视觉技术,从而快速、准确的测量玉米籽粒的三维参数。

Description

玉米籽粒三维参数测量装置及其测量方法
技术领域
本发明涉及农产品测量技术领域,特别涉及一种玉米籽粒三维参数测量装置及其测量方法。
背景技术
玉米作为我国的重要主粮,其品种特性分析判断是农业生产和科研中的重要课题。考种作业即是通过技术手段考查其品种特征特性。研究人员基于计算机视觉技术结合机械、电子等手段针对玉米考种问题已经有一些理论分析及系统实现。针对玉米在穗和脱穗两种状态,这些系统分成两种类型的考种模式。其一是针对玉米在穗的考种,主要是玉米还未脱穗前,对玉米穗进行整穗考查,其考查参数包括穗长、穗粗、穗行数、行粒数、秃尖程度、穗重等;其二是针对玉米种粒的考种,即在玉米从穗上脱粒之后,对玉米种粒进行单独或批量考查,其考查参数包括种粒的长、宽、周长、面积、千粒重等。相对于传统的基于游标卡尺、卷尺、天平等手工考种而言,采用自动化考种系统在速度、客观性等方面都有较大的技术进步。
目前,现有技术中已经实现的考种方法和系统,还没有能对玉米种粒的长度、宽度和厚度等三维特征同时进行有效获取和分析的解决方案。虽然,现有技术中在穗玉米考种系统可通过旋转玉米穗的方法,用图像处理技术获取每一个种粒的厚度,但是由于种粒还在穗,因此无法通过无损的方法获取其长度和宽度;而基于脱穗后的种粒考种方法虽能方便地通过图像处理技术获取种粒的长和宽等参数,但是现有技术中还没有能获取其厚度参数的解决方案,其主要原因是现有采取正面拍摄玉米种粒的方法,获取不了厚度信息。
因此,需要提供一种能够有效结合倾斜摄影技术、旋转试验装置以及机器视觉技术,从而快速、准确的测量玉米籽粒的三维参数的玉米籽粒三维参数测量装置及其测量方法。
发明内容
有鉴于此,本发明的目的在于提供一种玉米籽粒三维参数测量装置及其测量方法,能够有效结合倾斜摄影技术、旋转试验装置以及机器视觉技术,从而快速、准确的测量玉米籽粒的三维参数。
本发明的玉米籽粒三维参数测量装置,包括支撑框架、用于放置玉米籽粒的旋转盘、用于驱动旋转盘转动的步进电机、用于采集玉米籽粒图像信息的图像采集组件、用于为图像采集组件提供空间信息和标定信息的标定板组件、用于称量玉米籽粒千粒重的电子衡器以及计算机,所述标定板组件包括固定在支撑框架顶部的水平标定板和垂直设置在水平标定板上的竖直标定板,所述旋转盘设置于水平标定板上设有的安装孔内,所述步进电机和电子衡器位于水平标定板下方,所述图像采集组件、步进电机、电子衡器分别通过数据传输线与计算机连接。
进一步,所述竖直标定板以可拆卸的方式固定在水平标定板上。
进一步,所述水平标定板一侧边缘设有插槽,竖直标定板一侧设有与插槽配合的插销。
进一步,所述水平标定板上的安装孔为圆形孔,所述旋转盘为圆形,且旋转盘的直径与安装孔的直径相等。
进一步,所述水平标定板上设有外接于安装孔的正方形标定框,该正方形标定框的横向两侧与安装孔的切点处以及正方形标定框的各顶点处分别设有标定点;所述竖直标定板上设有黑白棋盘格标定区域,所述黑白棋盘格标定区域的宽度与正方形标定框的边长相等,且黑白棋盘格标定区域底部边缘与水平标定板顶面重合。
进一步,所述图像采集组件包括高清相机和用于支撑高清相机的三脚架,所述三脚架顶部设置有用于调节高清相机倾斜角度的云台,所述高清相机安装在云台上,且高清相机的高度高于水平标定板。
本发明还公开了一种玉米籽粒三维参数测量方法,包括以下步骤:
a.将待测玉米籽粒放置于旋转盘上,利用电子衡器获取玉米籽粒的千粒重,并对旋转盘进行初始化;
b.通过在水平标定板和竖直标定板上设定标定点,并将标定点信息录入计算机进行标定初始化;
c.通过调节图像采集组件的倾斜角度,图像采集组件以倾斜摄影的方式采集玉米籽粒的倾斜摄影图像,并将采集到的倾斜摄影图像传输给计算机;
d.利用计算机中标定初始化数据,通过透视变换,从倾斜摄影图像分别计算得到垂直正拍视图图像和水平正拍视图图像,采用图像处理技术对垂直正拍视图图像中玉米籽粒进行轮廓处理,根据垂直正拍视图图像计算出玉米籽粒轮廓的长轴和短轴,根据水平正拍视图图像计算出玉米籽粒的厚度,从而获得玉米籽粒的三维参数。
进一步,步骤a中旋转盘初始化包括设定旋转盘转速、根据旋转盘转速计算旋转盘转动一周所需时间、根据旋转盘转动一周所需时间确定图像采集的帧率,旋转盘在步进电机的带动下旋转,通过设定步进电机以10度/秒的速度带动旋转盘旋转,确定图像采集的帧率为10帧/秒;
步骤b中水平标定板上设有外接于用于安装旋转盘的安装孔的正方形标定框,将正方形标定框的横向两侧与安装孔的切点以及正方形标定框的各顶点设定为标定点,正方形标定框的边长为200mm;竖直标定板上设有黑白棋盘格标定区域,将黑白棋盘格标定区域的正方格设定为标定点,正方格的边长为20mm;通过向计算机录入正方形标定框和黑白棋盘格标定区域上标定点的坐标信息获得标定数据;通过标定数据确定玉米籽粒处理区域,并获得计算垂直正拍视图图像和水平正拍视图图像的透视变换矩阵,其中正方形标定框的标定点获得计算垂直正拍视图图像的透视变换矩阵,黑白棋盘格标定区域的标定点获得计算水平正拍视图图像的透视变换矩阵;
步骤c中图像采集组件利用高清相机采集图像,高清相机的视角调节为俯视45°,高清相机的视场容纳水平标定板和竖直标定板。
进一步,步骤d中包括以下步骤:
d1.通过计算机采集计算帧;
d2.提取玉米籽粒处理区域;
d3.利用步骤b中获得的垂直正拍视图图像透视变换矩阵计算玉米籽粒处理区域的垂直正拍视图图像;
d4.对步骤d3中的垂直正拍视图图像进行轮廓处理;
d5.分割、计数、记录每个玉米籽粒位置;
d6.用步骤d4中处理后的垂直正拍视图图像计算玉米籽粒轮廓的长轴和短轴;
d7.用玉米籽粒方向获取该玉米籽粒背部正对高清相机的图像所在的帧,并通过形心所在的位置获取该籽粒对应的水平正拍视图图像,用垂直方向累计分布统计数据获取玉米籽粒厚度的边缘,根据与竖直标定板上黑白棋盘格标定区域平面的相对位置计算玉米籽粒的厚度;
d8.若该帧玉米籽粒计算完毕,则结束;若计算未完毕则返回步骤d6。
进一步,步骤d4中对垂直正拍视图图像进行轮廓处理包括以下步骤:
d41.对垂直正拍视图图像进行灰度图像高斯去噪、全局阈值二值化、一次开运算和一次闭运算处理,获取分割后的轮廓;
d42.根据分割后的轮廓计算轮廓的矩和形心点;
d43.用最大距离法定位尖端点,确定玉米籽粒方向。
本发明的有益效果:本发明的玉米籽粒三维参数测量装置及其测量方法,通过设置旋转盘、步进电机、图像采集组件、标定板组件、电子衡器以及计算机,将待测玉米籽粒放置于旋转盘上,由步进电机带动旋转盘转动,同时通过图像采集组件的高清相机以倾斜摄影的方式采集玉米籽粒的倾斜摄影图像,并通过水平标定板和竖直标定板来保留倾斜摄影图像中的空间信息和标定数据,采用图像处理的方法获取玉米籽粒的长度、宽度和厚度数值,通过透视变换,从倾斜摄影图像分别计算得到垂直正拍视图图像和水平正拍视图图像,采用图像处理技术对垂直正拍视图图像中玉米籽粒进行轮廓处理,根据垂直正拍视图图像计算出玉米籽粒轮廓的长轴和短轴,根据水平正拍视图图像计算出玉米籽粒的厚度,从而获得玉米籽粒的三维参数。本发明能够有效结合倾斜摄影技术、旋转试验装置以及机器视觉技术,从而快速、准确的测量玉米籽粒的三维参数
附图说明
下面结合附图和实施例对本发明作进一步描述:
图1为本发明测量装置的结构示意图;
图2为本发明测量方法的流程图;
图3为本发明中从倾斜摄影图像计算得到垂直正拍视图图像的示意图;
图4为本发明中从倾斜摄影图像计算得到水平正拍视图图像的示意图;
图5为本发明中玉米籽粒方向计算坐标示意图;
图6为本发明中玉米籽粒的长和宽计算坐标示意图;
图7为本发明中玉米籽粒厚度便捷的提取和计算示意图;
图8为本发明中获取空中解算三角形的各坐标的示意图;
图9为本发明中空中解算三角形的示意图。
具体实施方式
如图1所示:本实施例的玉米籽粒三维参数测量装置,包括支撑框架9、用于放置玉米籽粒的旋转盘6、用于驱动旋转盘6转动的步进电机7、用于采集玉米籽粒图像信息的图像采集组件、用于为图像采集组件提供空间信息和标定信息的标定板组件、用于称量玉米籽粒千粒重的电子衡器8以及计算机14,所述标定板组件包括固定在支撑框架9顶部的水平标定板5和垂直设置在水平标定板5上的竖直标定板4,所述旋转盘6设置于水平标定板5上设有的安装孔内,所述步进电机7和电子衡器8位于水平标定板5下方,所述图像采集组件、步进电机7、电子衡器8分别通过数据传输线与计算机14连接,将待测玉米籽粒放置于旋转盘6上,由步进电机7带动旋转盘6转动,同时通过图像采集组件以倾斜摄影的方式采集玉米籽粒的倾斜摄影图像,并将采集到的倾斜摄影图像传输给计算机14,结合水平标定板5和竖直标定板4提供的空间信息和标定信息,通过计算机14对采集到图像进行处理和计算,从而获得玉米籽粒的三维参数。本实施例中支撑框架9采用铝制框架;旋转盘6的盘面为黑色衬底,以消除目标物的阴影对测量造成的误差;步进电机7采用24V直流电机,通过电源线10与直流电源连接,并通过数据传输线I11与计算机14连接;电子衡器8采用RS232接口电子衡器,精度为0.01g,量程为3kg,通过数据传输线II12与计算机14连接;图像采集组件通过数据传输线III13与计算机14连接;计算机14还设置有显示和操作设备15,以便于操控。
本实施例中,所述竖直标定板4以可拆卸的方式固定在水平标定板5上,方便安装和拆卸,便于使用。
本实施例中,所述水平标定板5一侧边缘设有插槽,竖直标定板4一侧设有与插槽配合的插销,通过插销与插槽配合,实现可拆卸连接,便于装配。
本实施例中,所述水平标定板5上的安装孔为圆形孔,所述旋转盘6为圆形,且旋转盘6的直径与安装孔的直径相等,旋转盘6的直径为200mm,可作为测量常数提供给测量装置,为玉米籽粒的长度和宽度测量提供定标数据。
本实施例中,所述水平标定板5上设有外接于安装孔的正方形标定框,该正方形标定框的横向两侧与安装孔的切点处以及正方形标定框的各顶点处分别设有标定点,用于为将倾斜摄影图像通过透视变换转化为水平正拍视图图像提供定标数据;所述竖直标定板4上设有黑白棋盘格标定区域,所述黑白棋盘格标定区域的宽度与正方形标定框的边长相等,且黑白棋盘格标定区域底部边缘与水平标定板顶面重合,用于为玉米籽粒的厚度测量提供定标数据。
本实施例中,所述图像采集组件包括高清相机3和用于支撑高清相机3的三脚架1,所述三脚架1顶部设置有用于调节高清相机3倾斜角度的云台2,所述高清相机3安装在云台2上,且高清相机3的高度高于水平标定板5,本实施例的高清相机3采用带有USB接口或网络接口的高清相机,如NikonD7200,其解析度使用1280×720,该高清相机的视角为俯视45°,视场能容纳水平标定板5和竖直标定板4,采集帧率为10帧/秒。
如图2所示,本发明还公开了一种玉米籽粒三维参数测量方法,包括以下步骤:
a.将待测玉米籽粒放置于旋转盘上,利用电子衡器获取玉米籽粒的千粒重,并对旋转盘进行初始化;
b.通过在水平标定板和竖直标定板上设定标定点,并将标定点信息录入计算机进行标定初始化;
c.通过调节图像采集组件的倾斜角度,图像采集组件以倾斜摄影的方式采集玉米籽粒的倾斜摄影图像,并将采集到的倾斜摄影图像传输给计算机;
d.利用计算机中标定初始化数据,通过透视变换,从倾斜摄影图像分别计算得到垂直正拍视图图像和水平正拍视图图像,采用图像处理技术对垂直正拍视图图像中玉米籽粒进行轮廓处理,根据垂直正拍视图图像计算出玉米籽粒轮廓的长轴和短轴,根据水平正拍视图图像计算出玉米籽粒的厚度,从而获得玉米籽粒的三维参数。
本实施例中,步骤a中旋转盘初始化包括设定旋转盘转速、根据旋转盘转速计算旋转盘转动一周所需时间、根据旋转盘转动一周所需时间确定图像采集的帧率,旋转盘在步进电机的带动下旋转,通过设定步进电机以10度/秒的速度带动旋转盘旋转,确定图像采集的帧率为10帧/秒;
步骤b中水平标定板上设有外接于用于安装旋转盘的安装孔的正方形标定框,将正方形标定框的横向两侧与安装孔的切点以及正方形标定框的各顶点设定为标定点,正方形标定框的边长为200mm;竖直标定板上设有黑白棋盘格标定区域,将黑白棋盘格标定区域的正方格设定为标定点,正方格的边长为20mm;通过向计算机录入正方形标定框和黑白棋盘格标定区域上标定点的坐标信息获得标定数据;通过标定数据确定玉米籽粒处理区域,并获得计算垂直正拍视图图像和水平正拍视图图像的透视变换矩阵,其中正方形标定框的标定点获得计算垂直正拍视图图像的透视变换矩阵,黑白棋盘格标定区域的标定点获得计算水平正拍视图图像的透视变换矩阵;
步骤c中图像采集组件利用高清相机采集图像,高清相机的视角调节为俯视45°,高清相机的视场容纳水平标定板和竖直标定板。
本实施例中,从倾斜摄影图像计算得到垂直正拍视图图像的方法为:
①以水平标定板的正方形标定框标定为基准来确定透视图的新坐标点,即正方形标定框四个顶点分别是A(a1,a2)、B(b1,b2)、C(c1,c2)、D(d1,d2),正方形标定框横向两侧与安装孔相切且与高清相机中轴方向一致的切点分别是E(e1,e2)、F(f1,f2),分别取得这些标定点的坐标且存入不同的变量;新视图中的坐标点分别是A'(a1',a2')、B'(b1',b2')、C'(c1',c2')、D'(d1',d2'),设置相应的变量来存储后续的计算结果,如图3所示;
②通过比较标定点的坐标,确定a1=b1,e1=f1,c1=d1,以保证测量装置与高清相机的正确位置;
③以E点和F点的距离作为新的正方形的边长,设边长变量名为s,由于E、F点的纵坐标相同,故s=f1-e1;
④以E点为标准计算A'和D'两点,其坐标分别是A'(e1,e2-s/2),D'(e1,e2+s/2)。
⑤以F点为标准计算B'和C'两点,其坐标分别是B'(f1,f2-s/2),C'(f1,f2+s/2);
从而将倾斜摄影图像转换成垂直正拍视图图像。
本实施例中,从倾斜摄影图像计算得到水平正拍视图图像的方法,其基本原理与获取垂直正拍视图图像的方法类似,即先取得倾斜摄影图像上的四个特征点,然后计算水平正拍视图图像对应的四个点的坐标值,再结合四对点的坐标值利用透视变换来获取水平正拍视图图像。确定这四对坐标值的步骤是:
①标定黑白棋盘格标定区域中第一层棋盘格(自下而上)的第一个黑色正方格(自左向右)的四个顶点,分别记为M(m1,m2)、N(n1,n2)、G(g1,g2)、H(h1,h2),如图4所示;
②以M(m1,m2)和N(n1,n2)两点为边构建正方形,该正方形的四个顶点分别是M(m1,m2)、N(n1,n2)、G'(g1',g2')、H'(h1',h2');
③由于M(m1,m2)、N(n1,n2)两点的坐标已知,则可计算出G'(g1',g2')、H'(h1',h2')两点的坐标,即g1'=m1,g2'=m2+(n1-m1),h1'=n1,h2'=n2+(n1-m1);
从而将倾斜摄影图像转换成水平正拍视图图像。
本实施例中,步骤d中包括以下步骤:
d1.通过计算机采集计算帧;
d2.提取玉米籽粒处理区域;
d3.利用步骤b中获得的垂直正拍视图图像透视变换矩阵计算玉米籽粒处理区域的垂直正拍视图图像;
d4.对步骤d3中的垂直正拍视图图像进行轮廓处理;
d5.分割、计数、记录每个玉米籽粒位置;
d6.用步骤d4中处理后的垂直正拍视图图像计算玉米籽粒轮廓的长轴和短轴;
d7.用玉米籽粒方向获取该玉米籽粒背部正对高清相机的图像所在的帧,并通过形心所在的位置获取该籽粒对应的水平正拍视图图像,用垂直方向累计分布统计数据获取玉米籽粒厚度的边缘,根据与竖直标定板上黑白棋盘格标定区域平面的相对位置计算玉米籽粒的厚度;
d8.若该帧玉米籽粒计算完毕,则结束;若计算未完毕则返回步骤d6。
本实施例中,籽粒方向的判断通过计算玉米籽粒轮廓的0阶矩和1阶矩,先计算出轮廓的形心,然后以距离形心最大的点做为籽粒的尖端点,形心与尖端点连线的方向即为籽粒的方向,其计算方法如下,如图5所示:
①在分割处理后的图像基础上,获取每一个籽粒的轮廓,本实施例使用opencv机器视觉函数库中的cvFindContours函数来完成;
②遍历每一个轮廓,并求其0阶矩,设二值轮廓图像为f(x,y),其中x,y表示图像的整个测量区域的坐标,则该轮廓的0阶矩的计算公式为:
③根据公式(2),可得出计算轮廓的一阶矩m1,0和m0,1的计算公式分别为:
④设轮廓的形心点为M(x',y'),则根据公式(2)、(3)、(4),可得出M(x',y')点坐标值的计算公式为:
⑤依次计算轮廓点与形心点的距离并逐一比较,取最大距离的轮廓点为籽粒的尖端,设此点为N;籽粒尖端N与形心点M的连线与x轴的夹角α即为玉米籽粒的方向,则玉米籽粒方向的计算公式为:
式(6)中,xn,yn表示点N的坐标,xm,ym表示点M的坐标。
本实施例中,利用玉米籽粒的形心和尖端来测量籽粒长和宽的数据,如图6所示,其测量方法包括以下步骤:
①连接轮廓的尖端点N和形心点M,然后计算这两点决定的直线与轮廓的另一个交点,将N点和该交点组成的线段作为长轴L;
②作过形心且垂直于长轴L的直线,并计算该直线与玉米籽粒轮廓交点,以这两个交点连成的线段作为短轴S;
③以长轴L的长度数据作为玉米籽粒的长,短轴S的长度数据作为玉米籽粒的宽。
本实施例中,用玉米籽粒方向获取该玉米籽粒背部正对高清相机的图像所在的帧,即以第一帧图像为基础,对二值图像进行分割后,把这一帧的每一粒籽粒进行编号,同时计算相对于高清相机中轴的角度,并记录该籽粒在这一帧中的位置坐标。由于旋转盘的转速已知,高清相机采集图像的帧率已知,故可根据以上参数计算每一粒籽粒旋转到背部正对高清相机的时间,进而获取该时间所对应的帧。从视频流中取出该帧,根据第一帧每一粒籽粒的位置坐标计算旋转到该帧后这个籽粒的位置坐标。对目标帧同样进行二值分割,提取上一步计算得到的位置坐标的分割对象即为该籽粒背面正对高清相机的图像。
本实施例中,籽粒的厚度在其长宽数值计算完毕后提取该籽粒的水平正拍视图图像来计算。以上述第一帧每个籽粒的角度为依据,结合旋转盘的转速参数,即可得到该籽粒种皮背部正对高清相机中轴的那一帧,并设其帧号为G,提取该籽粒在G帧的分割图像,即为待求厚度的目标图像。
获得处理待求厚度籽粒的图像后,首先通过水平正拍视图图像分割得到籽粒的厚度数据,然后将该数据映射到用于标定的黑白棋盘格标定区域平面上,得到其在对应于黑白棋盘格标定区域平面的像素数量,根据像素数量与长度的标定关系得到准确的厚度测量结果。
由于籽粒表面比较光滑,使用图像分割的方法得到其厚度区域是困难的,同时由于大部分籽粒宽度最大处在其种皮背部与胚乳部的交界处,因此根据该形状特点,使用水平方向的累计分布图来获取籽粒厚度上下边界,具体步骤为:
(1)在前述籽粒分割结果图的基础上,提取被测籽粒的二值图像;
(2)计算该二值图像的水平方向像素值的累计分布数据;
(3)籽粒的下边界做为其背部的下边界,取累计分布中的最大值所在的位置作为其背部上边界,如图7所示。
由于透视的关系,该数据还不是籽粒真正的厚度数据,故还需要根据籽粒所在的位置,建立空中解析和计算三角形,将以上测得的数据映射到用于标定的黑白棋盘格标定区域平面,从而取得准确的测量结果,其步骤包括:
(1)如图8所示,设旋转盘的四条切线组成M平面,AD和BC两点的连线交于K(k1,k2)点,由于A、B、C、D四点的坐标已经标定,可计算出AD直线和BC直线的方程,根据两条直线的方程计算K点的坐标;
(2)设待计算籽粒的形心点为J(j1,j2),计算JK两点确定的直线方程;计算直线JK和CD两点的交点,设此点为L(l1,l2);经J点做垂直于直线JK的线段JH,其长度为以上测量获取的玉米籽粒厚度,由此可以确定H(h1,h2)点的坐标,并将JKH三点确定的平面命名为N;
(3)计算N平面的空中解算三角形,如图9所示,首先由JK两点的坐标确定其长度c;b为JH两点的距离,即为以上测量得到的籽粒厚度;由b和c两个数据可以求得直角三角形在K点的角度α=arctg(b/c);
(4)L点为直线JK和CD两点的交点,在步骤(2)已经求得,故由L点和J点可以求得图9中的d,根据图9中的α的正切值,可求得图9中的a=d×tgα;
(5)设玉米籽粒厚度映射到黑白棋盘格标定区域平面的长度为x=b-a,则长度x的值即为玉米厚度的最终测量数据。
本实施例中,步骤d4中对垂直正拍视图图像进行轮廓处理包括以下步骤:
d41.对垂直正拍视图图像进行灰度图像高斯去噪、全局阈值二值化、一次开运算和一次闭运算处理,获取分割后的轮廓;
d42.根据分割后的轮廓计算轮廓的矩和形心点;
d43.用最大距离法定位尖端点,确定玉米籽粒方向。
本实施例中,为了使玉米籽粒的厚度信息能尽可能地被高清相机采集到,要求在测量前将待测籽粒进行离散化操作,尽管如此,也不能排除采集到的图像中有粘连的玉米籽粒,故预处理图像时需要对种粒进行分割。同时由于玉米籽粒本身比较光滑,粘连种粒的图像如果用传统方法分割效果不好。本测量方法引入像素距离测量方法,结合分水岭算法进行分割,能取得较好的效果。
首先在标定数据的基础上确定玉米籽粒区域作为图像处理的感兴趣区域(ROI:Region of Interest),然后对该区域进行二值化操作。由于本测量方法使用的旋转盘为黑色衬底,故获取的处理区域灰度图像的直方图会有明显的双峰,采用如下方法来获取二值分割阈值:
①为全局阈值选择一个初始估计值T(图像的平均灰度);
②用T分割图像,产生两组像素G1和G2,其中G1由灰度值大于T的像素组成,G2由小于等于T像素组成;
③计算G1和G2像素的平均灰度值m1和m2;
④计算一个新的阈值:T=(m1+m2)/2;
⑤重复步骤②和④,直到连续迭代中的T值间的差为零。
本实施例中,对二值图像进行腐蚀操作以去除噪声点,再用膨胀操作重建将被腐蚀的玉米籽粒轮廓。通过这样的操作能消除图像边缘的毛刺并填充二值化过程中产生的空洞,从而得到便于粘连籽粒分割的图像。
在预处理图像的基础上,对玉米籽粒的二值化图像的像素点进行距离测量,将测量结果图像中的边缘转化为山脉,将均匀地区转化为山谷,然后结合分水岭算法,将图像类比为自然地貌中的地形,每一个像素的灰度级代表其位置的海拔高度,将区域间的界限作为分水岭。构建的分水岭即是图像的分割线。其具体算法如下:
(1)计算输入图像的所有非零元素对其最近零元素的距离,也就是到所有零像素点的最短距离;即首先定义一个与原图像同样大小的新的图像;然后定义一个向量存储所有非0像素,由于处理的是二值图像,故非0像素即为像素值为255的像素;最后把这些非0像素到0像素最近的距离作为输出像素值存储在新图像中。本实施例中使用欧氏距离作为衡量两个像素点距离的方法,设需要计算的两个点的坐标分别是(x1,y1)和(x2,y2),则其距离d(x,y)的计算公式为:
(2)对采用公式(1)得到的距离图像反相,可得到边缘像素值高而中间像素值低的类似于地形图的图像,计算该灰度图像的梯度,对各像素点的灰度值进行从小到大排序,相同的灰度值为同一个层级;
(3)处理第一个层级所有的像素点,如果其邻域已经被标识属于某一个区域,则将这个像素加入一个先进先出的队列;
(4)先进先出队列非空时,弹出第一个元素,扫描该像素的邻域像素,如果其邻域像素与其本身的灰度值相等,则根据邻域像素的区域标识来赋予该像素,一直循环到队列为空;
(5)再次扫描当前灰度值层级的像素,如果还有像素未被标识,说明它是一个新的极小区域,则当前区域的值加1后赋值给该为标识的像素,然后从该像素出发继续执行步骤(4),直至没有新的极小区域;
(6)返回步骤(3),处理下一个灰度值层级的像素,直至所有层级的像素都被处理,当阈值扩展到某一个灰度值,该值会使对应的两个区域合并时结束,这时的灰度值即在被恰当分割的物体的边界,终止的像素位置即对应于分水岭的分割线。
本实施例中,还对测量结果进行了分析和验证,即以Microsoft Visual Studio2010为软件开发工具完成试验程序的开发。
验证时,使用的旋转盘直径为200mm,黑白棋盘格标定区域中每一个正方格边长为20mm,步进电机带动转盘以每秒10度的速度旋转,并按照10帧/秒的帧率和1280×720的图像分辨率启动图像记录系统;待测玉米籽粒选取鲁单981、农大108、郑单958三个检测品种进行试验,每种玉米60粒,共180粒玉米进行试验。
首先,计算变换矩阵结果,按照图6的方法进行标定,得到获取垂直正拍视图图像透视变换矩阵需要的源点和目标点坐标,分别是A(62,578)、B(749,578)、C(115,225)、D(685,225)以及A’(92,697)、B’(715,697)、C’(92,73)、D’(715,73),设计算得到的透视变换矩阵为VT,对矩阵内的元素精确到小数点后两位后,该矩阵结果为:
经过矩阵VT变换后,得到垂直正拍视图图像;
同时,按照图7的方法进行标定,得到获取水平正拍视图图像的透视变换矩阵需要的源点和目标点坐标,分别是M(290,213)、N(347,213)、G(290,166)、H(347,166)以及G’(290,156)、H’(347,156),设计算得到的透视变换矩阵为HT,对矩阵内的元素精确到小数点后两位,该矩阵结果为:
经过矩阵HT变换后,得到水平正拍视图图像。
其次,计算不同玉米品种的测量均值及其标准差,在获取变换矩阵后对种籽粒区域进行单独计算,经过二值化、分割、轮廓计算、计数、方向计算、长短轴计算、厚度计算等处理过程后,对每一籽粒进行统计,长轴、短轴及厚度值精确到小数点后2位,数据的计量单位已经根据像素数量和长度单位的关系转化为毫米,如表1所示(表1为对鲁单981、农大108和郑单958三个品种,每个品种60个样本测量结果的均值及其标准差)。
表1测量均值及其标准差
最后,对测量误差进行分析,本实施例中采用人工测量数据与图像测量数据进行对比的方式来分析图像处理的合理性与参数测量的准确性。为保证玉米籽粒人工测量数据的准确性,采取以下方式进行获取测量数据:
(1)三组人员分别对每份样本60颗籽粒进行籽粒计数,取相同值为总粒数,若三组数据均不相同,重新计数;
(2)采用游标卡尺测量60粒玉米籽粒的粒长轴和短轴及其厚度的度量,将三组数据的平均值作为该份样本的人工测量结果;
(3)将图像分析结果与人工测量结果进行比较,建立回归方程,通过两种数据的相关性来分析本测量方法的合理性与参数测量的准确性。
最后得出的对比结果是:玉米籽粒长轴测量的平均误差为7.57%,本发明的标准误差为1.86mm,而本发明测量值与人工测量值的决定系数为0.863,说明本发明针对玉米籽粒粒数测量与人工测量具有比较高的一致性,其中测量误差小于10%的样本数占比达到总样本数的98.33%;玉米籽粒短轴测量中,玉米籽粒短轴的长度在6mm~10mm,本发明测量的平均绝对误差为6.33%,标准误差为1.28mm,本发明测量值与人工测量值的决定系数达到0.869,说明本发明针对玉米籽粒短轴的测量与人工测量具有较高的一致性,其中测量误差小于10%的样本数占比97.23%,其中75%的样本数测量误差在7%以下;玉米籽粒的厚度测量标准误差为0.74mm,籽粒的厚度值分布在2.75~5.3之间,图像测量值与人工测量值的决定系数为0.846,其中误差在10%以下的样本数占比95%。
经过分析,申请人认为测量误差来源于玉米的粒形和结构的复杂多变,有些玉米品种其粒宽超过粒长,甚至存在人工也无法准确识别玉米籽粒形态。因此,系统测量值在与人工测量值对比时会出现较大误差,误差区间在5.2%到10.5%之间。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种玉米籽粒三维参数测量装置,其特征在于:包括支撑框架、用于放置玉米籽粒的旋转盘、用于驱动旋转盘转动的步进电机、用于采集玉米籽粒图像信息的图像采集组件、用于为图像采集组件提供空间信息和标定信息的标定板组件、用于称量玉米籽粒千粒重的电子衡器以及计算机,所述标定板组件包括固定在支撑框架顶部的水平标定板和垂直设置在水平标定板上的竖直标定板,所述旋转盘设置于水平标定板上设有的安装孔内,所述步进电机和电子衡器位于水平标定板下方,所述图像采集组件、步进电机、电子衡器分别通过数据传输线与计算机连接。
2.根据权利要求1所述的玉米籽粒三维参数测量装置,其特征在于:所述竖直标定板以可拆卸的方式固定在水平标定板上。
3.根据权利要求2所述的玉米籽粒三维参数测量装置,其特征在于:所述水平标定板一侧边缘设有插槽,竖直标定板一侧设有与插槽配合的插销。
4.根据权利要求3所述的玉米籽粒三维参数测量装置,其特征在于:所述水平标定板上的安装孔为圆形孔,所述旋转盘为圆形,且旋转盘的直径与安装孔的直径相等。
5.根据权利要求4所述的玉米籽粒三维参数测量装置,其特征在于:所述水平标定板上设有外接于安装孔的正方形标定框,该正方形标定框的横向两侧与安装孔的切点处以及正方形标定框的各顶点处分别设有标定点;所述竖直标定板上设有黑白棋盘格标定区域,所述黑白棋盘格标定区域的宽度与正方形标定框的边长相等,且黑白棋盘格标定区域底部边缘与水平标定板顶面重合。
6.根据权利要求1所述的玉米籽粒三维参数测量装置,其特征在于:所述图像采集组件包括高清相机和用于支撑高清相机的三脚架,所述三脚架顶部设置有用于调节高清相机倾斜角度的云台,所述高清相机安装在云台上,且高清相机的高度高于水平标定板。
7.一种玉米籽粒三维参数测量方法,其特征在于:包括以下步骤:
a.将待测玉米籽粒放置于旋转盘上,利用电子衡器获取玉米籽粒的千粒重,并对旋转盘进行初始化;
b.通过在水平标定板和竖直标定板上设定标定点,并将标定点信息录入计算机进行标定初始化;
c.通过调节图像采集组件的倾斜角度,图像采集组件以倾斜摄影的方式采集玉米籽粒的倾斜摄影图像,并将采集到的倾斜摄影图像传输给计算机;
d.利用计算机中标定初始化数据,通过透视变换,从倾斜摄影图像分别计算得到垂直正拍视图图像和水平正拍视图图像,采用图像处理技术对垂直正拍视图图像中玉米籽粒进行轮廓处理,根据垂直正拍视图图像计算出玉米籽粒轮廓的长轴和短轴,根据水平正拍视图图像计算出玉米籽粒的厚度,从而获得玉米籽粒的三维参数。
8.根据权利要求7所述的玉米籽粒三维参数测量方法,其特征在于:步骤a中旋转盘初始化包括设定旋转盘转速、根据旋转盘转速计算旋转盘转动一周所需时间、根据旋转盘转动一周所需时间确定图像采集的帧率,旋转盘在步进电机的带动下旋转,通过设定步进电机以10度/秒的速度带动旋转盘旋转,确定图像采集的帧率为10帧/秒;
步骤b中水平标定板上设有外接于用于安装旋转盘的安装孔的正方形标定框,将正方形标定框的横向两侧与安装孔的切点以及正方形标定框的各顶点设定为标定点,正方形标定框的边长为200mm;竖直标定板上设有黑白棋盘格标定区域,将黑白棋盘格标定区域的正方格设定为标定点,正方格的边长为20mm;通过向计算机录入正方形标定框和黑白棋盘格标定区域上标定点的坐标信息获得标定数据;通过标定数据确定玉米籽粒处理区域,并获得计算垂直正拍视图图像和水平正拍视图图像的透视变换矩阵,其中正方形标定框的标定点获得计算垂直正拍视图图像的透视变换矩阵,黑白棋盘格标定区域的标定点获得计算水平正拍视图图像的透视变换矩阵;
步骤c中图像采集组件利用高清相机采集图像,高清相机的视角调节为俯视45°,高清相机的视场容纳水平标定板和竖直标定板。
9.根据权利要求8所述的玉米籽粒三维参数测量方法,其特征在于:步骤d中包括以下步骤:
d1.通过计算机采集计算帧;
d2.提取玉米籽粒处理区域;
d3.利用步骤b中获得的垂直正拍视图图像透视变换矩阵计算玉米籽粒处理区域的垂直正拍视图图像;
d4.对步骤d3中的垂直正拍视图图像进行轮廓处理;
d5.分割、计数、记录每个玉米籽粒位置;
d6.用步骤d4中处理后的垂直正拍视图图像计算玉米籽粒轮廓的长轴和短轴;
d7.用玉米籽粒方向获取该玉米籽粒背部正对高清相机的图像所在的帧,并通过形心所在的位置获取该籽粒对应的水平正拍视图图像,用垂直方向累计分布统计数据获取玉米籽粒厚度的边缘,根据与竖直标定板上黑白棋盘格标定区域平面的相对位置计算玉米籽粒的厚度;
d8.若该帧玉米籽粒计算完毕,则结束;若计算未完毕则返回步骤d6。
10.根据权利要求9所述的玉米籽粒三维参数测量方法,其特征在于:步骤d4中对垂直正拍视图图像进行轮廓处理包括以下步骤:
d41.对垂直正拍视图图像进行灰度图像高斯去噪、全局阈值二值化、一次开运算和一次闭运算处理,获取分割后的轮廓;
d42.根据分割后的轮廓计算轮廓的矩和形心点;
d43.用最大距离法定位尖端点,确定玉米籽粒方向。
CN201711041714.7A 2017-10-30 2017-10-30 玉米籽粒三维参数测量装置及其测量方法 Expired - Fee Related CN107860316B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711041714.7A CN107860316B (zh) 2017-10-30 2017-10-30 玉米籽粒三维参数测量装置及其测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711041714.7A CN107860316B (zh) 2017-10-30 2017-10-30 玉米籽粒三维参数测量装置及其测量方法

Publications (2)

Publication Number Publication Date
CN107860316A true CN107860316A (zh) 2018-03-30
CN107860316B CN107860316B (zh) 2019-10-08

Family

ID=61696992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711041714.7A Expired - Fee Related CN107860316B (zh) 2017-10-30 2017-10-30 玉米籽粒三维参数测量装置及其测量方法

Country Status (1)

Country Link
CN (1) CN107860316B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108709566A (zh) * 2018-04-10 2018-10-26 浙江大学 数字近景摄影测量参数测定与可靠性检验的装置及方法
CN109141256A (zh) * 2018-10-23 2019-01-04 安徽农业大学 一种农作物尺寸测量系统及方法
CN109931869A (zh) * 2019-03-21 2019-06-25 北京理工大学 基于激光扫描成像的物料体积高精度检测方法
CN110823311A (zh) * 2019-11-26 2020-02-21 湖南农业大学 一种快速估算油菜角果体积的新方法
CN111579427A (zh) * 2020-05-22 2020-08-25 山东农业大学 一种玉米籽粒内部组分密度测量方法及系统
CN113744352A (zh) * 2021-09-14 2021-12-03 北京观海科技发展有限责任公司 视觉空间标定方法、设备及存储介质
CN113936056A (zh) * 2021-10-20 2022-01-14 广东皓行科技有限公司 图像识别方法、产量估算方法以及电子设备
CN114993942A (zh) * 2022-04-14 2022-09-02 华南农业大学 一种水稻种子全自动考种设备及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101871768A (zh) * 2010-05-12 2010-10-27 中国科学院自动化研究所 一种基于单目视觉的行李外观信息自动获取系统及其方法
CN202160400U (zh) * 2011-06-17 2012-03-14 北京农业信息技术研究中心 基于立体视觉的玉米果穗外在形态记录与测量装置
CN103514452A (zh) * 2013-07-17 2014-01-15 浙江大学 一种水果形状检测方法及装置
CN104748677A (zh) * 2015-02-11 2015-07-01 中国矿业大学(北京) 采用三维激光扫描方式测量植株形态的方法
CN105953776A (zh) * 2016-04-28 2016-09-21 北京派得伟业科技发展有限公司 一种基于立体摄影测量获取玉米植株形态参数的方法
CN105953747A (zh) * 2016-06-07 2016-09-21 杭州电子科技大学 结构光投影全视角三维成像系统及方法
CN106441086A (zh) * 2015-08-05 2017-02-22 摩多数据(深圳)有限公司 一种3d扫描系统
CN106612787A (zh) * 2017-02-17 2017-05-10 河南省现代富博智能装备科技有限公司 定向播种用的玉米种粒定向定位摆放装置及方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101871768A (zh) * 2010-05-12 2010-10-27 中国科学院自动化研究所 一种基于单目视觉的行李外观信息自动获取系统及其方法
CN202160400U (zh) * 2011-06-17 2012-03-14 北京农业信息技术研究中心 基于立体视觉的玉米果穗外在形态记录与测量装置
CN103514452A (zh) * 2013-07-17 2014-01-15 浙江大学 一种水果形状检测方法及装置
CN104748677A (zh) * 2015-02-11 2015-07-01 中国矿业大学(北京) 采用三维激光扫描方式测量植株形态的方法
CN106441086A (zh) * 2015-08-05 2017-02-22 摩多数据(深圳)有限公司 一种3d扫描系统
CN105953776A (zh) * 2016-04-28 2016-09-21 北京派得伟业科技发展有限公司 一种基于立体摄影测量获取玉米植株形态参数的方法
CN105953747A (zh) * 2016-06-07 2016-09-21 杭州电子科技大学 结构光投影全视角三维成像系统及方法
CN106612787A (zh) * 2017-02-17 2017-05-10 河南省现代富博智能装备科技有限公司 定向播种用的玉米种粒定向定位摆放装置及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨蜀秦: "农作物籽粒的图像处理和识别方法研究", 《中国优秀博士学位论文全文数据库 信息科技辑》 *
魏利峰: "玉米种子高光谱图像品种检测方法研究", 《中国优秀博士学位论文全文数据库 农业科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108709566A (zh) * 2018-04-10 2018-10-26 浙江大学 数字近景摄影测量参数测定与可靠性检验的装置及方法
CN109141256A (zh) * 2018-10-23 2019-01-04 安徽农业大学 一种农作物尺寸测量系统及方法
CN109931869A (zh) * 2019-03-21 2019-06-25 北京理工大学 基于激光扫描成像的物料体积高精度检测方法
CN110823311A (zh) * 2019-11-26 2020-02-21 湖南农业大学 一种快速估算油菜角果体积的新方法
CN111579427A (zh) * 2020-05-22 2020-08-25 山东农业大学 一种玉米籽粒内部组分密度测量方法及系统
CN113744352A (zh) * 2021-09-14 2021-12-03 北京观海科技发展有限责任公司 视觉空间标定方法、设备及存储介质
CN113744352B (zh) * 2021-09-14 2022-07-29 北京观海科技发展有限责任公司 视觉空间标定方法、设备及存储介质
CN113936056A (zh) * 2021-10-20 2022-01-14 广东皓行科技有限公司 图像识别方法、产量估算方法以及电子设备
CN114993942A (zh) * 2022-04-14 2022-09-02 华南农业大学 一种水稻种子全自动考种设备及方法
CN114993942B (zh) * 2022-04-14 2023-03-21 华南农业大学 一种水稻种子全自动考种设备及方法

Also Published As

Publication number Publication date
CN107860316B (zh) 2019-10-08

Similar Documents

Publication Publication Date Title
CN107860316B (zh) 玉米籽粒三维参数测量装置及其测量方法
CN110378909B (zh) 基于Faster R-CNN的面向激光点云的单木分割方法
CN108830272A (zh) 基于rgb-d相机的马铃薯图像采集装置及芽眼识别和定位方法
US20180292339A1 (en) Systems and methods for high resolution plant root zone soil mapping and crop modeling
CN103190224B (zh) 基于计算机视觉技术的玉米果穗考种方法、系统和装置
CN103630091B (zh) 一种基于激光与图像处理技术的叶面积测量方法
CN112819846B (zh) 面向多云雨地区的基于多载荷遥感图像的水稻估产方法
CN113920106B (zh) 一种基于rgb-d相机的玉米长势三维重构及茎粗测量方法
Zhao et al. Rapid yield prediction in paddy fields based on 2D image modelling of rice panicles
CN102663396B (zh) 一种水稻乳熟期自动检测的方法
CN108805924A (zh) 一种百合花采摘点定位方法及系统
CN114694047A (zh) 一种玉米播种质量的评价方法及装置
Liu et al. Estimating wheat fractional vegetation cover using a density peak k-means algorithm based on hyperspectral image data
CN110610438B (zh) 一种农作物冠层叶柄夹角计算方法及系统
Song et al. Estimating effective leaf area index of winter wheat using simulated observation on unmanned aerial vehicle-based point cloud data
Xie et al. Morphological measurement for carrot based on three-dimensional reconstruction with a ToF sensor
Zhu et al. A calculation method of phenotypic traits based on three-dimensional reconstruction of tomato canopy
Ma et al. A method of calculating phenotypic traits for soybean canopies based on three-dimensional point cloud
Tian et al. The detection system for greenhouse tomato disease degree based on android platform
CN111289997A (zh) 一种基于激光雷达传感器的田间作物冠层稠密度检测方法
CN117765006A (zh) 基于无人机影像与激光点云的多层次密集树冠分割方法
CN111627031B (zh) 基于瓦屋状多边形的作物根系表型分析装置及方法
CN110298299B (zh) 一种基于等高航线的无人机边坡植被分类方法
CN208922290U (zh) 基于rgb-d相机的马铃薯图像采集装置
Wang et al. Detection of corn plant population and row spacing using computer vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191008

Termination date: 20201030