CN105865345A - 一种蘑菇自动采摘检测控制方法 - Google Patents

一种蘑菇自动采摘检测控制方法 Download PDF

Info

Publication number
CN105865345A
CN105865345A CN201610412748.1A CN201610412748A CN105865345A CN 105865345 A CN105865345 A CN 105865345A CN 201610412748 A CN201610412748 A CN 201610412748A CN 105865345 A CN105865345 A CN 105865345A
Authority
CN
China
Prior art keywords
mushroom
camera
image
plucked
guide rail
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610412748.1A
Other languages
English (en)
Inventor
张乐年
肖荣
翁建国
袁兴
吴主峰
徐大保
王李苏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Dashu Intelligence Technology Co Ltd
Original Assignee
Nanjing Dashu Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Dashu Intelligence Technology Co Ltd filed Critical Nanjing Dashu Intelligence Technology Co Ltd
Priority to CN201610412748.1A priority Critical patent/CN105865345A/zh
Publication of CN105865345A publication Critical patent/CN105865345A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01DHARVESTING; MOWING
    • A01D46/00Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Harvesting Machines For Specific Crops (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种蘑菇自动采摘检测控制方法,利用蘑菇采摘系统,蘑菇采摘系统包括蘑菇采摘装置,蘑菇采摘系统还包括第一相机和第二相机。本发明的蘑菇自动采摘检测控制方法容易实现,效率高,仅利用两个摄像头即可方便快捷的检测到蘑菇的位置,可以方便快捷的实现蘑菇的自动检测及采摘,并将蘑菇采摘区域分为检测区域和采摘区域,检测与采摘分离,互相不影响,可以大大提高蘑菇的采集效率。

Description

一种蘑菇自动采摘检测控制方法
技术领域
本发明涉及一种蘑菇自动采摘检测控制方法。
背景技术
现有技术中,蘑菇采摘一般都是采用人工将蘑菇摘起或通过铲子铲起,效率都较低,不能实现蘑菇的自动采摘,并且会对蘑菇造成损伤。
因此,需要一种新的蘑菇自动采摘方法以解决上述问题。
发明内容
发明目的:为了克服现有技术中存在的不足,本发明提供一种效率更高的蘑菇自动采摘检测控制方法。
为实现上述目的,本发明采用的技术方案为:
利用蘑菇采摘系统,所述蘑菇采摘系统包括蘑菇采摘装置,所述蘑菇采摘系统还包括第一相机和第二相机,包括以下步骤:
1)、将蘑菇采摘区域分为检测区域和采摘区域;
2)、对检测区域的蘑菇进行检测:利用第一相机和第二相机分别对检测区域拍摄第一图像和第二图像;
3)、标定第一相机和第二相机的参数,所述参数包括第一相机和第二相机的镜头光轴间距T、第一相机和第二相机的镜头焦距f及第一相机和第二相机距离蘑菇的平均距离Z0
4)、利用第一相机和第二相机同时从蘑菇的上方拍摄第一图像和第二图像;
5)、利用第一图像或第二图像以及第一相机和第二相机距离蘑菇的平均距离Z0计算得到检测区域中蘑菇的大小;
6)、根据步骤5)得到的蘑菇的大小,选择待采摘蘑菇,确定第一图像或第二图像中待采摘蘑菇在水平方向上的中心位置坐标P;
7)、根据下式计算待采摘蘑菇中心位置的深度Z:
Z = f T | x 1 - x 2 |
其中,Z为待采摘蘑菇中心位置的的深度,f为第一相机和第二相机的镜头焦距,T为第一相机和第二相机镜头光轴之间的距离,x1和x2分别为待采摘蘑菇的中心位置在第一图像和第二图像上的x轴坐标;
8)、重复步骤6)-7),直到将检测区域中所有待采摘蘑菇的中心位置坐标和深度均计算得到;
9)、将检测区域变为采摘区域,根据步骤8)的计算结果,利用蘑菇采摘装置对采摘区域的蘑菇进行采摘。
更进一步的,所述蘑菇采摘系统还包括压力气体发生器和负压发生器,所述蘑菇采摘装置包括吸盘,所述压力气体发生器连接所述负压发生器的入口,所述吸盘连接所述负压发生器的出口。其中,蘑菇采摘装置结构简单方便,从蘑菇的上方利用吸盘将蘑菇吸起,既不会对蘑菇造成损伤,也方便实现蘑菇的自动化采摘。
更进一步的,所述吸盘为真空波纹吸盘。采用真空波纹吸盘采摘蘑菇效果较好。
更进一步的,所述吸盘包括多种不同尺寸的吸盘。方便利用不同尺寸的吸盘采摘不同大小的蘑菇。
更进一步的,所述蘑菇采摘系统还包括控制阀,所述负压发生器和吸盘之间设置有控制阀。通过控制阀控制蘑菇的采摘与释放。
更进一步的,所述蘑菇采摘系统还包括自动行走机构,所述自动行走机构包括X方向导轨、Y方向导轨和Z方向导轨,所述Y方向导轨设置在蘑菇的正上方,所述X方向导轨设置在Y方向导轨上,所述Z方向导轨设置在所述X方向导轨上,所述蘑菇采摘装置设置在所述Z方向导轨上。结构简单,可以实现控制蘑菇采摘装置在三个方向上的移动,从蘑菇的上方利用吸盘将蘑菇吸起,既不会对蘑菇造成损伤,也方便实现蘑菇的自动化采摘。
更进一步的,还包括旋转机构,所述旋转机构设置在所述Z方向导轨上,所述旋转机构的旋转方向与Z方向导轨垂直。利用旋转机构方便将蘑菇采摘下来。
更进一步的,利用待采摘蘑菇的最高点替代步骤7)中待采摘蘑菇中心位置,其中,待采摘蘑菇的最高点坐标利用步骤6)中第一图像或第二图像中待采摘蘑菇在水平方向上的中心位置坐标P计算得到,包括以下步骤:
一、以待采摘蘑菇在水平方向上的中心位置坐标P为中心,r为半径画圆,确定计算最高点坐标的计算范围;
二、根据下式计算步骤一中不同点的深度Z1
Z 1 = f T | x 1 - x 2 |
其中,Z1为步骤一的计算范围中的点的深度,f为第一相机和第二相机的镜头焦距,T为第一相机和第二相机镜头光轴之间的距离,x1和x2分别为计算范围中的点在第一图像和第二图像上的x轴坐标;
三、根据步骤二中的计算结果,得到计算范围内深度最小的点即为待采摘蘑菇的最高点。
采用待采摘蘑菇的最高点坐标来控制蘑菇采摘装置来采摘蘑菇更符合实际情况。
更进一步的,步骤一中所述半径r为0.3R-0.4R,其中,待采摘蘑菇的半径为R。可以大大降低计算量,提高计算效率。
有益效果:本发明的蘑菇自动采摘检测控制方法容易实现,效率高,仅利用两个摄像头即可方便快捷的检测到蘑菇的位置,可以方便快捷的实现蘑菇的自动检测及采摘。而且利用两个摄像机实现蘑菇的检测与采摘分开进行,大大提高工作效率。
附图说明
图1为本发明的蘑菇采摘系统自动行走机构的结构示意图;
图2为本发明的蘑菇采摘装置的结构示意图;
图3为本发明的蘑菇自动采摘检测控制的示意图;
其中,4为蘑菇采摘装置,5为蘑菇,6为光源,7为双目相机。
具体实施方式
下面结合附图对本发明作更进一步的举例说明。
如图1、图2和图3所示,本发明的蘑菇自动采摘检测控制方法,利用蘑菇采摘系统,蘑菇采摘系统包括蘑菇采摘装置,蘑菇采摘系统还包括第一相机和第二相机,包括以下步骤:
1)、将蘑菇采摘区域分为检测区域和采摘区域;
2)、对检测区域的蘑菇进行检测:利用第一相机和第二相机分别对检测区域拍摄第一图像和第二图像;
3)、标定第一相机和第二相机的参数,所述参数包括第一相机和第二相机的镜头光轴间距T、第一相机和第二相机的镜头焦距f及第一相机和第二相机距离蘑菇的平均距离Z0
4)、利用第一相机和第二相机同时从蘑菇的上方拍摄第一图像和第二图像;
5)、利用第一图像或第二图像以及第一相机和第二相机距离蘑菇的平均距离Z0计算得到检测区域中蘑菇的大小;
6)、根据步骤5)得到的蘑菇的大小,选择待采摘蘑菇,确定第一图像或第二图像中待采摘蘑菇在水平方向上的中心位置坐标P;
7)、根据下式计算待采摘蘑菇的深度Z:
Z = f T | x 1 - x 2 |
其中,Z为蘑菇的深度,f为第一相机和第二相机的镜头焦距,T为第一相机和第二相机镜头光轴之间的距离,x1和x2分别为待采摘蘑菇在第一图像和第二图像上的x轴坐标;
8)、重复步骤6)-7),直到将检测区域中所有待采摘蘑菇的中心位置坐标和深度均计算得到;
9)、将检测区域变为采摘区域,根据步骤8)的计算结果,利用蘑菇采摘装置对采摘区域的蘑菇进行采摘。
优选的,利用待采摘蘑菇的最高点替代步骤7)中待采摘蘑菇中心位置,其中,待采摘蘑菇的最高点坐标利用步骤6)中第一图像或第二图像中待采摘蘑菇在水平方向上的中心位置坐标P计算得到,包括以下步骤:
一、以待采摘蘑菇在水平方向上的中心位置坐标P为中心,r为半径画圆,确定计算最高点坐标的计算范围;步骤一中所述半径r为0.3R-0.4R,其中,待采摘蘑菇的半径为R。可以大大降低计算量,提高计算效率。
二、根据下式计算步骤一中不同点的深度Z1
Z 1 = f T | x 1 - x 2 |
其中,Z1为步骤一的计算范围中的点的深度,f为第一相机和第二相机的镜头焦距,T为第一相机和第二相机镜头光轴之间的距离,x1和x2分别为计算范围中的点在第一图像和第二图像上的x轴坐标;
三、根据步骤二中的计算结果,得到计算范围内深度最小的点即为待采摘蘑菇的最高点。
采用待采摘蘑菇的最高点坐标来控制蘑菇采摘装置来采摘蘑菇更符合实际情况。
蘑菇采摘系统包括压力气体发生器41和负压发生器43,蘑菇采摘装置4包括吸盘46,压力气体发生器41连接负压发生器43的入口,负压发生器43的出口连接吸盘46。吸盘46正对蘑菇5的上方。其中,蘑菇采摘装置结构简单方便,从蘑菇的上方利用吸盘将蘑菇吸起,既不会对蘑菇造成损伤,也方便实现蘑菇的自动化采摘。
其中,优选的,蘑菇采摘装置4包括多个吸盘46,多个所述吸盘46均连接所述负压发生器43。多个吸盘可以同时采摘多个蘑菇,可以大大提高工作效率。
蘑菇采摘系统还包括自动行走机构,自动行走机构包括Y方向导轨1、X方向导轨2、Z方向导轨3和蘑菇采摘装置4,Y方向导轨1设置在蘑菇的正上方,X方向导轨2设置在Y方向导轨1上,Z方向导轨3设置在X方向导轨2上,蘑菇采摘装置4设置在Z方向导轨3上。结构简单,可以实现控制蘑菇采摘装置在三个方向上的移动,从蘑菇的上方利用吸盘将蘑菇吸起,既不会对蘑菇造成损伤,也方便实现蘑菇的自动化采摘。
还包括旋转机构,旋转机构设置在Z方向导轨3上,旋转机构的旋转方向与Z方向导轨3垂直。利用旋转机构方便将蘑菇采摘下来。
其中,优选的,蘑菇采摘系统还包括气管42,负压发生器43的出口通过气管42连接吸盘46。采用气管连接吸盘,方便移动吸盘的位置。还包括连接装置45,气管42通过连接装置45连接吸盘46。采用连接装置可以方便将吸盘固定在其他可移动的装置上。优选的,气管42为软管。
优选的,吸盘46为真空波纹吸盘。采用真空波纹吸盘采摘蘑菇效果较好。吸盘46包括多种不同尺寸的吸盘。方便利用不同尺寸的吸盘采集不同大小的蘑菇。
蘑菇采摘系统还包括控制阀44,负压发生器43和吸盘46之间设置有控制阀44。通过控制阀控制蘑菇的采集与释放。
本发明的蘑菇自动采摘检测控制方法容易实现,效率高,仅利用两个摄像头即可方便快捷的检测到蘑菇的位置,可以方便快捷的实现蘑菇的自动检测及采摘。而且利用两个摄像机实现蘑菇的检测与采摘分开进行,大大提高工作效率。

Claims (9)

1.一种蘑菇自动采摘检测控制方法,其特征在于:利用蘑菇采摘系统,所述蘑菇采摘系统包括蘑菇采摘装置,所述蘑菇采摘系统还包括第一相机和第二相机,包括以下步骤:
1)、将蘑菇采摘区域分为检测区域和采摘区域;
2)、对检测区域的蘑菇进行检测:利用第一相机和第二相机分别对检测区域拍摄第一图像和第二图像;
3)、标定第一相机和第二相机的参数,所述参数包括第一相机和第二相机的镜头光轴间距T、第一相机和第二相机的镜头焦距f及第一相机和第二相机距离蘑菇的平均距离Z0
4)、利用第一相机和第二相机同时从蘑菇的上方拍摄第一图像和第二图像;
5)、利用第一图像或第二图像以及第一相机和第二相机距离蘑菇的平均距离Z0计算得到检测区域中蘑菇的大小;
6)、根据步骤5)得到的蘑菇的大小,选择待采摘蘑菇,确定第一图像或第二图像中待采摘蘑菇在水平方向上的中心位置坐标P;
7)、根据下式计算待采摘蘑菇中心位置的深度Z:
其中,Z 为待采摘蘑菇中心位置 深度,f为第一相机和第二相机的镜头焦距,T为第一相机和第二相机镜头光轴之间的距离,x1和x2分别为待采摘蘑菇的中心位置在第一图像和第二图像上的x轴坐标;
8)、重复步骤6)-7),直到将检测区域中所有待采摘蘑菇的中心位置坐标和深度均计算得到;
9)、将检测区域变为采摘区域,根据步骤8)的计算结果,利用蘑菇采摘装置对采摘区域的蘑菇进行采摘。
2.根据权利要求1所述的蘑菇自动采摘检测控制方法,其特征在于:所述蘑菇采摘系统还包括压力气体发生器(41)和负压发生器(43),所述蘑菇采摘装置包括吸盘(46),所述压力气体发生器(41)连接所述负压发生器(43)的入口,所述吸盘(46)连接所述负压发生器(43)的出口。
3.根据权利要求2所述的蘑菇自动采摘检测控制方法,其特征在于:所述吸盘(46) 为真空波纹吸盘。
4.根据权利要求2所述的蘑菇自动采摘检测控制方法,其特征在于:所述吸盘(46)包括多种不同尺寸的吸盘。
5.根据权利要求2所述的蘑菇自动采摘检测控制方法,其特征在于:所述蘑菇采摘系统还包括控制阀(44),所述负压发生器(43)和吸盘(46)之间设置有控制阀(44)。
6.根据权利要求1所述的蘑菇自动采摘检测控制方法,其特征在于:所述蘑菇采摘系统还包括自动行走机构,所述自动行走机构包括X方向导轨(1)、Y方向导轨(2)和Z方向导轨(3),所述Y方向导轨(2)设置在蘑菇的正上方,所述X方向导轨(1)设置在Y方向导轨(2)上,所述Z方向导轨(3)设置在所述X方向导轨(1)上,所述蘑菇采摘装置设置在所述Z方向导轨(3)上。
7.根据权利要求6所述的蘑菇自动采摘检测控制方法,其特征在于:所述自动行走机构还包括旋转机构,所述旋转机构设置在所述Z方向导轨(3)上,所述旋转机构的旋转方向与Z方向导轨(3)垂直。
8.根据权利要求1所述的蘑菇自动采摘检测控制方法,其特征在于:利用待采摘蘑菇的最高点替代步骤7)中待采摘蘑菇中心位置,其中,待采摘蘑菇的最高点坐标利用步骤6)中第一图像或第二图像中待采摘蘑菇在水平方向上的中心位置坐标P计算得到,包括以下步骤:
一、以待采摘蘑菇在水平方向上的中心位置坐标P为中心,r为半径画圆,确定计算最高点坐标的计算范围;
二、根据下式计算步骤一中不同点的深度Z1
其中,Z1为步骤一的计算范围中的点的深度,f为第一相机和第二相机的镜头焦距,T为第一相机和第二相机镜头光轴之间的距离,x1和x2分别为计算范围中的点在第一图像和第二图像上的x轴坐标;
三、根据步骤二中的计算结果,得到计算范围内深度最小的点即为待采摘蘑菇的最高点。
9.根据权利要求8所述的蘑菇自动采摘检测控制方法,其特征在于:步骤一中所述半径r为0.3R-0.4R,其中,待采摘蘑菇的半径为R。
CN201610412748.1A 2016-06-14 2016-06-14 一种蘑菇自动采摘检测控制方法 Pending CN105865345A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610412748.1A CN105865345A (zh) 2016-06-14 2016-06-14 一种蘑菇自动采摘检测控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610412748.1A CN105865345A (zh) 2016-06-14 2016-06-14 一种蘑菇自动采摘检测控制方法

Publications (1)

Publication Number Publication Date
CN105865345A true CN105865345A (zh) 2016-08-17

Family

ID=56649396

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610412748.1A Pending CN105865345A (zh) 2016-06-14 2016-06-14 一种蘑菇自动采摘检测控制方法

Country Status (1)

Country Link
CN (1) CN105865345A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107046933A (zh) * 2017-04-19 2017-08-18 南京航空航天大学 基于机器视觉的蘑菇自动采摘系统及方法
CN107527343A (zh) * 2017-08-31 2017-12-29 山东省农业科学院科技信息研究所 一种基于图像处理的双孢蘑菇分级方法
CN108739081A (zh) * 2018-05-31 2018-11-06 上海大学 一种蘑菇采摘装置
CN110506566A (zh) * 2019-08-28 2019-11-29 姚爽 一种双孢蘑菇的栽培方法
CN115176648A (zh) * 2022-06-20 2022-10-14 上海第二工业大学 一种可判别采摘状态的智能蘑菇采摘末端执行器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101152716A (zh) * 2006-09-30 2008-04-02 托乎达洪·玉米西 采棉机器人
CN101493313A (zh) * 2009-02-27 2009-07-29 中国农业大学 成熟果实识别和定位的图像处理方法
US20090293442A1 (en) * 2008-05-05 2009-12-03 Chu-Yin Chang Flexible robotic manipulation mechanism
CN201600330U (zh) * 2009-09-23 2010-10-06 中国农业大学 成熟菠萝识别与定位系统
CN102835216A (zh) * 2011-06-21 2012-12-26 周进友 吸入式采棉机

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101152716A (zh) * 2006-09-30 2008-04-02 托乎达洪·玉米西 采棉机器人
US20090293442A1 (en) * 2008-05-05 2009-12-03 Chu-Yin Chang Flexible robotic manipulation mechanism
CN101493313A (zh) * 2009-02-27 2009-07-29 中国农业大学 成熟果实识别和定位的图像处理方法
CN201600330U (zh) * 2009-09-23 2010-10-06 中国农业大学 成熟菠萝识别与定位系统
CN102835216A (zh) * 2011-06-21 2012-12-26 周进友 吸入式采棉机

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107046933A (zh) * 2017-04-19 2017-08-18 南京航空航天大学 基于机器视觉的蘑菇自动采摘系统及方法
CN107046933B (zh) * 2017-04-19 2019-08-06 南京航空航天大学 基于机器视觉的蘑菇自动采摘系统及方法
CN107527343A (zh) * 2017-08-31 2017-12-29 山东省农业科学院科技信息研究所 一种基于图像处理的双孢蘑菇分级方法
CN107527343B (zh) * 2017-08-31 2019-11-26 山东省农业科学院科技信息研究所 一种基于图像处理的双孢蘑菇分级方法
CN108739081A (zh) * 2018-05-31 2018-11-06 上海大学 一种蘑菇采摘装置
CN110506566A (zh) * 2019-08-28 2019-11-29 姚爽 一种双孢蘑菇的栽培方法
CN110506566B (zh) * 2019-08-28 2021-11-05 生命之友(宁夏)生物科技有限公司 一种双孢蘑菇的栽培方法
CN115176648A (zh) * 2022-06-20 2022-10-14 上海第二工业大学 一种可判别采摘状态的智能蘑菇采摘末端执行器

Similar Documents

Publication Publication Date Title
CN105865345A (zh) 一种蘑菇自动采摘检测控制方法
WO2021042668A1 (zh) Tbm搭载式隧道围岩结构虚拟再现系统与方法
CN104570384B (zh) 镜头组装、断差检测和间隙检测三合一的工艺方法
CN205546558U (zh) 一种蘑菇采集装置自动行走机构
CN104570264B (zh) 镜头组装、断差检测和间隙检测三合一的装置
CN102564319B (zh) 利用图像处理技术检测晶圆直线传输中滑移量的方法
CN102221887A (zh) 互动投影系统及方法
CN105030151B (zh) 吸尘器
CN108501009A (zh) 一种捡蛋机器人
CN110211183B (zh) 基于单次成像大视场led透镜贴装的多目标定位系统
CN105094127A (zh) 吸尘器及其控制方法
CN110089350A (zh) 一种蘑菇采摘机器人系统及采摘方法
CN113519272B (zh) 基于视觉识别的仿生蜈蚣爪结构小果实采摘机器人
CN109618661A (zh) 一种基于茶叶力学特性的高效茶叶嫩芽采摘机
CN110802599B (zh) 一种机器人视觉引导从料框抓取零件的控制方法
CN109556521A (zh) 一种基于无人机的铁路钢轨位移检测装置和检测方法
CN109087343A (zh) 一种工件抓取模板的生成方法及系统
CN108517296A (zh) 智能孢子捕捉系统及设备
CN108501008A (zh) 一种捡蛋夹爪
CN108470165A (zh) 一种采摘机器人果实视觉协同搜索方法
CN108718704A (zh) 一种人机交互式野外果蔬采收机器人系统及其采收方法
CN114136217A (zh) 一种钢板柔性检测系统及方法
CN109623222A (zh) 电池片的下料装置及太阳能电池焊接机
CN102680473B (zh) 一种空变丝毛圈检测仪
CN211306310U (zh) 一种基于工业机器人视觉识别的抓取系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160817