CN110326423A - 一种基于视觉的割草机及其转向控制方法和装置 - Google Patents
一种基于视觉的割草机及其转向控制方法和装置 Download PDFInfo
- Publication number
- CN110326423A CN110326423A CN201910731533.XA CN201910731533A CN110326423A CN 110326423 A CN110326423 A CN 110326423A CN 201910731533 A CN201910731533 A CN 201910731533A CN 110326423 A CN110326423 A CN 110326423A
- Authority
- CN
- China
- Prior art keywords
- grass trimmer
- image
- distance
- boundary
- top view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 244000025254 Cannabis sativa Species 0.000 title claims abstract description 187
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000004888 barrier function Effects 0.000 claims abstract description 52
- 238000013528 artificial neural network Methods 0.000 claims abstract description 41
- 238000005520 cutting process Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 13
- 210000004218 nerve net Anatomy 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 241000196324 Embryophyta Species 0.000 description 3
- 235000013339 cereals Nutrition 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000009333 weeding Methods 0.000 description 3
- 240000005979 Hordeum vulgare Species 0.000 description 2
- 235000007340 Hordeum vulgare Nutrition 0.000 description 2
- 239000004677 Nylon Substances 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003306 harvesting Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 229920001778 nylon Polymers 0.000 description 2
- 239000004575 stone Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 244000267222 Brasenia schreberi Species 0.000 description 1
- 235000006506 Brasenia schreberi Nutrition 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 240000003433 Miscanthus floridulus Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 244000046052 Phaseolus vulgaris Species 0.000 description 1
- 235000010627 Phaseolus vulgaris Nutrition 0.000 description 1
- 235000014676 Phragmites communis Nutrition 0.000 description 1
- 244000124765 Salsola kali Species 0.000 description 1
- 241000219793 Trifolium Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 244000098338 Triticum aestivum Species 0.000 description 1
- 240000008042 Zea mays Species 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 239000002390 adhesive tape Substances 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 235000006422 tumbleweed Nutrition 0.000 description 1
- 239000006200 vaporizer Substances 0.000 description 1
- 238000009941 weaving Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D34/00—Mowers; Mowing apparatus of harvesters
- A01D34/006—Control or measuring arrangements
- A01D34/008—Control or measuring arrangements for automated or remotely controlled operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0225—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Harvester Elements (AREA)
Abstract
本申请公开了一种基于视觉的割草机及其转向控制方法和装置,且该割草机设置有用于摄取其周围影像的影像采集设备,该转向控制方法和装置具体为根据周围影像获取割草机的前方影像,前方影像中包括特定区域的俯视图;利用深度神经网络对俯视图进行处理,从中确定是否存在边界或者障碍物,并确定边界或障碍物距离割草机的距离和转向策略;当确定存在边界或障碍物时,根据距离和转向策略控制割草机转向。通过上述方案,可以使割草机仅基于视觉即可进行边界或障碍物的判断并进行转向,这样对于需要割草作业的作业范围就不需设置边线电线,从而提高了割草机的使用范围。
Description
技术领域
本申请涉及人工智能技术领域,更具体地说,涉及一种基于视觉的割草机及其转向控制方法和装置。
背景技术
割草机又称除草机、剪草机、草坪修剪机等,是一种用于修剪草坪、植被等的机械工具,一般由刀盘、发动机、行走轮、行走机构、刀片、扶手、控制部分组成。
刀盘装在行走轮上,刀盘上装有发动机,发动机的输出轴上装有刀片,刀片利用发动机的高速旋转在速度方面提高很多,节省了除草工人的作业时间,减少了大量的人力资源。
目前,为了进一步提高割草机的工作效率以及节省人力,在割草机上一般设置有自动控制系统,用于控制割草机在预先规定的作业区域内往返作业,直到完成割草任务。然而,为了实现将割草机控制在该作业区域内,需要在相应作业区域的边缘地带设置能够发射电信号的边界电线,且需要该边界电线内通电,从而降低了这种割草机的适用范围。
发明内容
有鉴于此,本申请提供一种基于视觉的割草机及其转向控制方法和装置,用于控制割草机在没有边界电线的作业区域内实现掉头及转向,以增加割草机的使用范围。
为了实现上述目的,现提出的方案如下:
一种转向控制方法,应用于基于视觉的割草机,所述割草机设置有用于摄取其周围影像的影像采集设备,所述转向控制方法包括步骤:
根据所述周围影像获取所述割草机的前方影像,所述前方影像中包括特定区域的俯视图;
利用深度神经网络对所述俯视图进行处理,从中确定是否存在边界或者障碍物,并确定所述边界或所述障碍物距离所述割草机的距离和转向策略;
当确定存在所述边界或所述障碍物时,根据所述距离和所述转向策略控制所述割草机转向。
可选的,所述根据所述周围影像获取所述割草机的前方影像,包括步骤:
从所述影像采集设备接收所述周围影像;
对所述周围影像进行透视变换,得到所述周围影像的俯视图;
将所述周围影像的俯视图进行裁剪,得到所述特定区域的俯视图。
可选的,所述深度神经网络为多任务神经网络或单任务神经网络。
可选的,所述根据所述距离和所述转向策略控制所述割草机转向,包括步骤:
如果所述距离大于第一预设距离,则控制所述割草机继续前行;
如果所述距离小于所述第一预设距离,则控制所述割草机前进第二预设距离后停止,所述第二预设距离小于所述第一预设距离;
在控制所述割草机停止后,控制所述割草机后退第三预设距离;
在完成后退后,控制所述割草机按所述转向策略转向。
一种转向控制装置,应用于基于视觉的割草机,所述割草机设置有用于摄取其周围影像的影像采集设备,所述转向控制装置包括:
影像处理模块,被配置为根据所述周围影像获取所述割草机的前方影像,所述前方影像中包括特定区域的俯视图;
参数计算模块,被配置为利用深度神经网络对所述俯视图进行处理,从中确定是否存在边界或者障碍物,并确定所述边界或所述障碍物距离所述割草机的距离和转向策略;
执行控制模块,被配置为当确定存在所述边界或所述障碍物时,根据所述距离和所述转向策略控制所述割草机转向。
可选的,所述影像处理模块包括:
影像接收单元,用于从所述影像采集设备接收所述周围影像;
透视处理单元,用于对所述周围影像进行透视变换,得到所述周围影像的俯视图;
裁剪处理单元,用于将所述周围影像的俯视图进行裁剪,得到所述特定区域的俯视图。
可选的,所述深度神经网络为多任务神经网络或单任务神经网络。
可选的,所述执行控制模块包括:
第一控制单元,用于如果所述距离大于第一预设距离,则控制所述割草机继续前行;
第二控制单元,用于如果所述距离小于所述第一预设距离,则控制所述割草机前进第二预设距离后停止,所述第二预设距离小于所述第一预设距离;在控制所述割草机停止后,控制所述割草机后退第三预设距离;在完成后退后,控制所述割草机按所述转向策略转向。
一种割草机,其特征在于,设置有如上所述的转向控制装置。
一种割草机,其特征在于,包括主控装置,所述主控装置包括至少一个处理器和与所述处理器连接的存储器,其中:
所述存储器用于存储计算机程序或指令;
所述处理器用于接收并运行所述计算机程序或指令,以使所述主控装置实现如上所述的转向控制方法。
从上述的技术方案可以看出,本申请公开了一种基于视觉的割草机及其转向控制方法和装置,且该割草机设置有用于摄取其周围影像的影像采集设备,该转向控制方法和装置具体为根据周围影像获取割草机的前方影像,前方影像中包括特定区域的俯视图;利用深度神经网络对俯视图进行处理,从中确定是否存在边界或者障碍物,并确定边界或障碍物距离割草机的距离和转向策略;当确定存在边界或障碍物时,根据距离和转向策略控制割草机转向。通过上述方案,可以使割草机仅基于视觉即可进行边界或障碍物的判断并进行转向,这样对于需要割草作业的作业范围就不需设置边线电线,从而提高了割草机的使用范围。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例的一种转向控制方法的流程图;
图2为本申请实施例的一种割草机的示意图;
图3为本申请实施例的一种转向控制装置的框图;
图4为本申请实施例的一种割草机的主控装置的框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
除草机自1805年就有了,那时候的割草机是人力的,没有动力支持。
1805年英国人普拉克内特发明了第一台收割谷物并可以切割杂草的机器,由人推动机器,通过齿轮传动带动旋刀割草,这就是割草机的雏形。
1830年,英国纺织工程师比尔-布丁取得了滚筒剪草机专利,并获得了赞誉。
1832年,兰塞姆斯农机公司开始批量生产滚筒式割草机。
1831年,英国纺织大师卡比利亚取得了滚草机世界独家专利。
1833年,兰塞姆斯农机公司开始批量生产滚筒式的割草机。19世纪这种轻巧好操控滚筒式割草机被广泛用于交通道路旁绿化带。
1902年,英国人伦敦恩斯制造了内燃机作动力的滚筒式割草机,其原理延用至今。
我们一般在美国乡村电视里看到的就是这种除草机,使用它可以很轻松的修整草坪
随着草坪业的迅速崛起,中国在21世纪开始使用蓄力往复式割草机。19世纪末的时候,要保护一块草坪是极耗费体力的事情。比如在Blenheim(德国巴伐利亚西部的村庄)的大庄园里,如果雇佣200个工人的话,那么其中有50个人是保养草坪的。在草场疯长的季节,大概每十天就需要割一次草。割草工们手持非常长的工具(镰刀:刀刃是锯齿状的,需要经常使用磨刀石来打磨让其保持锋利)排成一行割草(实际上工作起来更像是在用锯子在锯草)。
工作完成后草坪上满是锯下来的草叶,然后拾起地上的草叶,用来喂养农场的牛羊,这样既节省时间又减少了对草场的破坏。由平行四杆升降装置,机架、左右单翼锄草装置,整机调偏装置。
按照不同的划分标准,割草机可以有以下划分:
1、按行进分:智能化半自动式拖行式、后推行式、坐骑式、拖拉机悬挂式。
2、按动力分:人畜力驱动、发动机驱动、电力驱动、太阳能驱动。
3、按方式分:滚刀式、旋刀式、侧挂式、甩刀式。
4、按要求分:平地式、半腰式、截顶式。
手持旋转割草机一般配置无刀切割盘,使用高强度尼龙绳作为牧草切割部件,柔性结构,不怕碰到刚性障碍物,使用比较安全,更换也很方便。
割草机的工作方式有往复式和旋转式,它较高的割草效率大大节省了时间,并实现了绿色环保、美化环境的功能,操作简捷、方便、高效,所以被广泛应用。机器小巧,适用于中小型草坪。使用割草机要根据要求,确定剪草后的留茬高度,使用非常方便。剪草时只能沿斜坡横向修剪,而不能顺坡修剪。现代割草机更利于操作。
挂式割草机的样本从形式上讲,挂式割草机一种是侧挂在身上,一种是背在身上。相比较来说,侧挂式更轻耐用,也更高效一些。
悬挂式割草机结构简单、轻便、机动灵活。有前悬挂式、侧悬挂式和后悬挂式三种,以后悬挂式割草机应用最广。往复式割草机由切割器、割刀传动装置、切割器提升装置、安全装置和挡草装置等主要部件组成。切割器的工作原理和构造与谷物收获机械的切割器基本相同。
所用刀片有光刃和刻齿刃两种。一般采用光刃动刀片。割刀传动装置也和谷物收割机类似,多采用偏置式曲柄连杆机构和摆环机构。由于牧草生长密度大、含水率高,动刀的平均速度高于谷物收割机,一般为1.6~2.0米/秒。切割器提升装置一般由液压系统操纵,提升迅速、方便,能保证切割器对复杂地面的适应性。
往复式割草机依靠切割器上动刀和定刀的相对剪切运动切割牧草。其特点是割茬整齐,单位割幅所需功率较小;但对牧草不同生长状态的适应性差,易堵塞。适用于平坦的天然草场和一般产量的人工草场。由于切割器在作业时振动大,限制了作业速度的提高。动刀切割速度一般低于3米/秒,作业前进速度一般为6~8公里/小时。
旋转式割草机,高速旋转刀盘上的刀片冲击切割牧草的切割速度(刀片刃口根部的圆周速度)高达60~90米/秒。工作平稳,作业前进速度可达15公里/时以上。割草机的刀片的选择非常的重要,它意味着这个除草机的好坏。使用割草机除草,以草长到10-13厘米(cm)时效果较好。如果草长得过高,应该分两步进行。先割上部份,再割下部分。使用割草机时,应双手扶把,并向果树一侧保持一定的倾斜度,使割下来杂草尽可能地落到果树边。开中速油门、匀速前进,可节省油耗。当阻力过大或遇障时,刀片立即回摆,避免损坏。刀片一边刃口磨损后可以换边使用。更换刀片也较往复式割草机方便。在旋转式割草机上,除装有与往复式割草机相似的安全装置外,在切割器上方还加设防护罩,以保证人身安全。
旋刀式割草机割草时是依靠刀片的高速旋转来剪草的,如果刀尖的线速度不够,则剪草的效果不好。所以,剪草时要用大油门高转速。另外,割草机的汽化器和自动调速装置使其在大油门时如无负荷,其油耗不高。只有当其有负荷时,其转速会从空载的3400r.p.m达到2800r.p.m.所以,大可不必因为要省油而用小油门,同时剪草效果又不好。
其特点是对牧草的适应性强,适用于高产草场,但切割不够整齐,重割较多,单位割幅所需功率较大。有滚筒式和转盘式两种:
滚筒式割草机的传动装置位于切割器上方,因而又称为上传动旋转式割
草机。一台滚筒式割草机一般装有并列的1~4个立式圆柱形或圆锥形滚筒。每个滚筒下方装有铰接2~6个刀片的刀盘,相邻刀盘上刀片的回转轨迹有一定重叠量,以避免漏割。滚筒由胶带或锥齿轮传动,相邻两滚筒相对旋转,割下的牧草在一对滚筒的拨送下,向后铺放成整齐的小草条。能满足低割要求,但结构不够紧凑。
转盘式割草机(Rotarymower)的传动装置位于刀盘的下方,但刀盘因下方有传动装置而位置较高。为保证低割和减少重割,刀盘通常向前倾斜一定角度。当阻力过大或遇障时刀片即回摆,以保证人身安全。也有刀盘铰接特殊尼龙绳靠离心力割草。相邻刀盘上刀片的配置相互交错,刀片的回转轨迹有一定重叠量。刀盘一般由齿轮传动,相邻刀盘的转向相反。结构紧凑,传动平稳、可靠。
草坪除草机又称草坪机。要根据草坪的要求确定剪草后的留茬高度,剪草时剪去的高度为草的原来的高度的三分之一,由于除草机的特殊构造所以剪草时只能沿斜坡横向修剪,而不能顺坡上下来修剪。在特殊的地方,比如坡地上拐弯时要特别小心,当心洞穴、沟槽、土堆等及草丛中的其他障碍物。
目前新款推车式割草机,再也不用背的割草机,背负式/侧挂式的割草机你割草机时还要背在身上,就几分钟就很累啦,改手推自走的割草机又方便又轻巧又灵活,不管平原、丘陵、梯田、三角地等大小田块及烂泥田,用于收割大小麦、水稻、豆类、灌木、芦苇、青稞、苜蓿、鱼草等农作物。操作简单,工作效率高,每小时可以割一亩,还可以一个人手提着走。
一家叫做Husqvarna的瑞士公司以环保为依托,设计了一种太阳能混合动力自动割草机------即太阳能割草机“瓦力”,这是世界上第一台自动化割草机,既可由电池动力驱动,也可以由太阳能供给动力。
瓦力是一台能处理2.25万平方英尺草地的割草机,甚至还能处理一定倾斜坡度的草地。当太阳能无法获得时,这种割草机可由电池提供动力,能够持续使用1小时。而将电池充满才需要45分钟。所以这是一款顺应21世纪环保主题的新型割草机产品,顺应环境的需求,所以瓦力会大受欢迎,并在市场上逐渐推广开来。
目前的智能割草机可以自动行走,并自动返回充电,具备安全检测和电池电量检测,具备一定爬坡能力,尤其适合家庭庭院、公共绿地等场所进行草坪修剪维护。能自动完成修剪草坪的工作,无须人工控制和操作,且功率低、噪音小、外形精巧美观,大幅度减少人工操作。大大提高工作效率,节省开支。本申请的技术方案主要适用于这种智能割草机,具体方案见下面的实施例。
实施例一
图1为本申请实施例的一种转向控制方法的流程图。
如图1所示,本实施例的转向控制方法应用于割草机,具体来说是应用于基于视觉的割草机的控制系统,该方法具体包括如下步骤:
S1、获取割草机的周围影像及其前方影像的俯视图。
这里的周围影像是设置在割草机上的影像采集设备如摄像头获取的,摄像头的具体位置可以如图2所示,摄像头与割草机的控制设备通过数据端口信号连接,连接方式可以是有线连接也可以是无线连接。
在接收到摄像头获取的割草机的周围影像,对周围影像中的前方影像进行变换处理从而得到特定区域的俯视图,这里特定区域是指割草机前方的预设范围的区域。
具体来说,在实现俯视图获取过程中,首先接收影像采集设备通过有线或无形所传输的周围影像;然后对周围影像或者对周围影像中的前方影像进行透视变换,得到该周围影像或者仅前方影像的俯视图;最后,对得到的俯视图根据预先规定的参数进行剪裁,从而得到特定区域的俯视图。
S2、利用深度神经网络对俯视图进行处理,得到割草机距离边界或障碍物的距离和相应的转向策略。
在得到特定区域的俯视图的基础上,利用预先训练的深度神经网络对该俯视图进行识别处理,从中得到边界或者障碍物,这里的边界是指草地与非草地之间的边界,障碍物则是指处于割草机正常作业区域内能够影响割草机正常运行的物体,如石头等。
在得到边界或障碍物的同时或之后,还进一步能够获取该割草机与障碍物或边界的距离,并得到相应的转弯策略。
这里的深度神经网络可以为多任务神经网络或者单任务神经网络。当该深度神经网络为多任务神经网络时,可以同时获取障碍物、边界、距离和转弯策略;如果该深度神经网络为单任务神经网络,则首先在得到边界或者障碍物之后,该单任务神经网络再次对俯视图进行处理,得到相应的距离和转弯策略。
所谓的转弯策略具体为左转、大角度左转、右转、大角度右转或后退等。
本申请的深度神经网络可以利用相应的训练样本经过机器学习得到。
S3、根据与边界或障碍物的距离控制割草机按转向策略转向。
即通过相应的深度神经网络的处理,在发现存在边界或障碍物的情况下,根据割草机的当前位置距离边界或者障碍物的距离,并按得到的转向策略控制割草机进行转向。
具体来说,如果该距离大于第一预设距离,则控制割草机继续前进;该第一预设距离可以选择不小于该割草机的减速距离,即从全速前进到停止所行走的距离;
如果该距离小于该第一预设距离,则控制该割草机前进第二预设距离后停止前进,这里的第二预设距离小于第一预设距离,且该第二预设距离可以选择个割草机的转弯半径或者转向半径;
在控制割草机停止后,控制该割草机向后退第三预设距离,之后再进行转向或转弯,以避免该割草机碰撞边界上的物体或者障碍物,为满足此要求,该第三预设距离可以选择割草机上距离其中心最远的远端设备的回转半径。
从上述技术方案可以看出,本实施例提供了一种转向控制方法,该方法应用于基于视觉的割草机,且该割草机设置有用于摄取其周围影像的影像采集设备,该转向控制方法具体为根据周围影像获取割草机的前方影像,前方影像中包括特定区域的俯视图;利用深度神经网络对俯视图进行处理,从中确定是否存在边界或者障碍物,并确定边界或障碍物距离割草机的距离和转向策略;当确定存在边界或障碍物时,根据距离和转向策略控制割草机转向。通过上述方案,可以使割草机仅基于视觉即可进行边界或障碍物的判断并进行转向,这样对于需要割草作业的作业范围就不需设置边线电线,从而提高了割草机的使用范围。
实施例二
图3为本申请实施例的一种转向控制装置的框图。
如图3所示,本实施例的转向控制装置应用于割草机,具体来说是应用于基于视觉的割草机的控制系统,该装置具体包括影像处理模块10、参数计算模块20和执行控制模块30。
影像处理模块用于获取割草机的周围影像及其前方影像的俯视图。
这里的周围影像是设置在割草机100上的影像采集设备如摄像头获取的,摄像头101的具体位置可以如图2所示,摄像头与割草机的控制设备通过数据端口信号连接,连接方式可以是有线连接也可以是无线连接。
在接收到摄像头获取的割草机的周围影像,对周围影像中的前方影像进行变换处理从而得到特定区域的俯视图,这里特定区域是指割草机前方的预设范围的区域。
具体来说,该模块包括影像接收单元、透视处理单元和裁剪处理单元,影像接收单元用于接收影像采集设备通过有线或无形所传输的周围影像;透视处理单元用于对周围影像或者对周围影像中的前方影像进行透视变换,得到该周围影像或者仅前方影像的俯视图;裁剪处理单元用于对得到的俯视图根据预先规定的参数进行剪裁,从而得到特定区域的俯视图。
参数计算模块用用于利用深度神经网络对俯视图进行处理,得到割草机距离边界或障碍物的距离和相应的转向策略。
在得到特定区域的俯视图的基础上,利用预先训练的深度神经网络对该俯视图进行识别处理,从中得到边界或者障碍物,这里的边界是指草地与非草地之间的边界,障碍物则是指处于割草机正常作业区域内能够影响割草机正常运行的物体,如石头等。
在得到边界或障碍物的同时或之后,还进一步能够获取该割草机与障碍物或边界的距离,并得到相应的转弯策略。
这里的深度神经网络可以为多任务神经网络或者单任务神经网络。当该深度神经网络为多任务神经网络时,可以同时获取障碍物、边界、距离和转弯策略;如果该深度神经网络为单任务神经网络,则首先在得到边界或者障碍物之后,该单任务神经网络再次对俯视图进行处理,得到相应的距离和转弯策略。
所谓的转弯策略具体为左转、大角度左转、右转、大角度右转或后退等。
执行控制模块用于根据与边界或障碍物的距离控制割草机按转向策略转向。
即通过相应的深度神经网络的处理,在发现存在边界或障碍物的情况下,根据割草机的当前位置距离边界或者障碍物的距离,并按得到的转向策略控制割草机进行转向。
具体来说,该模块包括第一控制单元和第二控制单元,第一控制单元用于在该距离大于第一预设距离时,控制割草机继续前进;该第一预设距离可以选择不小于该割草机的减速距离,即从全速前进到停止所行走的距离;
第二控制单元则用于当该距离小于该第一预设距离时,控制该割草机前进第二预设距离后停止前进,这里的第二预设距离小于第一预设距离,且该第二预设距离可以选择个割草机的转弯半径或者转向半径;
且在控制割草机停止后,控制该割草机向后退第三预设距离,之后再进行转向或转弯,以避免该割草机碰撞边界上的物体或者障碍物,为满足此要求,该第三预设距离可以选择割草机上距离其中心最远的远端设备的回转半径。
从上述技术方案可以看出,本实施例提供了一种转向控制装置,该装置应用于基于视觉的割草机,且该割草机设置有用于摄取其周围影像的影像采集设备,该转向控制装置具体为根据周围影像获取割草机的前方影像,前方影像中包括特定区域的俯视图;利用深度神经网络对俯视图进行处理,从中确定是否存在边界或者障碍物,并确定边界或障碍物距离割草机的距离和转向策略;当确定存在边界或障碍物时,根据距离和转向策略控制割草机转向。通过上述方案,可以使割草机仅基于视觉即可进行边界或障碍物的判断并进行转向,这样对于需要割草作业的作业范围就不需设置边线电线,从而提高了割草机的使用范围。
实施例三
本实施例提供了一种基于视觉的割草机,该割草机设置影像采集设备如摄像头,并设置有上一实施例所提供的转向控制装置。
该转向控制装置具体为根据周围影像获取割草机的前方影像,前方影像中包括特定区域的俯视图;利用深度神经网络对俯视图进行处理,从中确定是否存在边界或者障碍物,并确定边界或障碍物距离割草机的距离和转向策略;当确定存在边界或障碍物时,根据距离和转向策略控制割草机转向。通过上述方案,可以使割草机仅基于视觉即可进行边界或障碍物的判断并进行转向,这样对于需要割草作业的作业范围就不需设置边线电线,从而提高了割草机的使用范围。
实施例四
图4为本申请实施例的一种割草机的主控装置的框图。
如图4所示,本实施例提供的主控装置应用于基于视觉的割草机,包括至少一个处理器102和相应的存储器103,两者通过总线104相连接。该割草机设置有用于采集影像的影像采集设备。
主控装置的存储器用于存储相应的计算机程序或者指令,处理器通过总线获取该计算机程序或指令并执行,通过执行该计算机程序或指令可以使割草机实现如实施例一中所描述的转向控制方法。
本实施例一提供的转向控制方法具体为根据周围影像获取割草机的前方影像,前方影像中包括特定区域的俯视图;利用深度神经网络对俯视图进行处理,从中确定是否存在边界或者障碍物,并确定边界或障碍物距离割草机的距离和转向策略;当确定存在边界或障碍物时,根据距离和转向策略控制割草机转向。通过上述方案,可以使割草机仅基于视觉即可进行边界或障碍物的判断并进行转向,这样对于需要割草作业的作业范围就不需设置边线电线,从而提高了割草机的使用范围。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的技术方案进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种转向控制方法,应用于基于视觉的割草机,所述割草机设置有用于摄取其周围影像的影像采集设备,其特征在于,所述转向控制方法包括步骤:
根据所述周围影像获取所述割草机的前方影像,所述前方影像中包括特定区域的俯视图;
利用深度神经网络对所述俯视图进行处理,从中确定是否存在边界或者障碍物,并确定所述边界或所述障碍物距离所述割草机的距离和转向策略;
当确定存在所述边界或所述障碍物时,根据所述距离和所述转向策略控制所述割草机转向。
2.如权利要求1所述的转向控制方法,其特征在于,所述根据所述周围影像获取所述割草机的前方影像,包括步骤:
从所述影像采集设备接收所述周围影像;
对所述周围影像进行透视变换,得到所述周围影像的俯视图;
将所述周围影像的俯视图进行裁剪,得到所述特定区域的俯视图。
3.如权利要求1所述的转向控制方法,其特征在于,所述深度神经网络为多任务神经网络或单任务神经网络。
4.如权利要求1所述的转向控制方法,其特征在于,所述根据所述距离和所述转向策略控制所述割草机转向,包括步骤:
如果所述距离大于第一预设距离,则控制所述割草机继续前行;
如果所述距离小于所述第一预设距离,则控制所述割草机前进第二预设距离后停止,所述第二预设距离小于所述第一预设距离;
在控制所述割草机停止后,控制所述割草机后退第三预设距离;
在完成后退后,控制所述割草机按所述转向策略转向。
5.一种转向控制装置,应用于基于视觉的割草机,所述割草机设置有用于摄取其周围影像的影像采集设备,其特征在于,所述转向控制装置包括:
影像处理模块,被配置为根据所述周围影像获取所述割草机的前方影像,所述前方影像中包括特定区域的俯视图;
参数计算模块,被配置为利用深度神经网络对所述俯视图进行处理,从中确定是否存在边界或者障碍物,并确定所述边界或所述障碍物距离所述割草机的距离和转向策略;
执行控制模块,被配置为当确定存在所述边界或所述障碍物时,根据所述距离和所述转向策略控制所述割草机转向。
6.如权利要求5所述的转向控制装置,其特征在于,所述影像处理模块包括:
影像接收单元,用于从所述影像采集设备接收所述周围影像;
透视处理单元,用于对所述周围影像进行透视变换,得到所述周围影像的俯视图;
裁剪处理单元,用于将所述周围影像的俯视图进行裁剪,得到所述特定区域的俯视图。
7.如权利要求5所述的转向控制装置,其特征在于,所述深度神经网络为多任务神经网络或单任务神经网络。
8.如权利要求5所述的转向控制装置,其特征在于,所述执行控制模块包括:
第一控制单元,用于如果所述距离大于第一预设距离,则控制所述割草机继续前行;
第二控制单元,用于如果所述距离小于所述第一预设距离,则控制所述割草机前进第二预设距离后停止,所述第二预设距离小于所述第一预设距离;在控制所述割草机停止后,控制所述割草机后退第三预设距离;在完成后退后,控制所述割草机按所述转向策略转向。
9.一种割草机,其特征在于,设置有如权利要求5~8任一项所述的转向控制装置。
10.一种割草机,其特征在于,包括主控装置,所述主控装置包括至少一个处理器和与所述处理器连接的存储器,其中:
所述存储器用于存储计算机程序或指令;
所述处理器用于接收并运行所述计算机程序或指令,以使所述主控装置实现如权利要求1~4任一项所述的转向控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910731533.XA CN110326423A (zh) | 2019-08-08 | 2019-08-08 | 一种基于视觉的割草机及其转向控制方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910731533.XA CN110326423A (zh) | 2019-08-08 | 2019-08-08 | 一种基于视觉的割草机及其转向控制方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110326423A true CN110326423A (zh) | 2019-10-15 |
Family
ID=68148907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910731533.XA Pending CN110326423A (zh) | 2019-08-08 | 2019-08-08 | 一种基于视觉的割草机及其转向控制方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110326423A (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110989601A (zh) * | 2019-12-11 | 2020-04-10 | 许昌学院 | 一种基于图像识别的道路绿化带修剪机 |
CN112425344A (zh) * | 2020-11-25 | 2021-03-02 | 西南大学 | 一种果园自走式除草机及其自主导航避障方法 |
WO2021175331A1 (zh) * | 2020-03-06 | 2021-09-10 | 苏州宝时得电动工具有限公司 | 自移动园艺机器人及其工作方法 |
CN113435417A (zh) * | 2021-08-26 | 2021-09-24 | 山东华力机电有限公司 | 一种双轮驱动的agv转向视觉控制方法 |
CN113519260A (zh) * | 2021-07-30 | 2021-10-22 | 江苏大学 | 一种基于驾驶数据的履带式联合收割机前进速度控制方法及装置 |
CN114868514A (zh) * | 2022-04-13 | 2022-08-09 | 北京航空航天大学 | 一种基于智能割草机器人的草坪3d打印系统和方法 |
WO2023056720A1 (zh) * | 2021-10-09 | 2023-04-13 | 邦鼓思电子科技(上海)有限公司 | 一种基于视觉边界检测的机器人控制系统及方法 |
AT525644A4 (de) * | 2022-02-24 | 2023-06-15 | Al Weeder Gmbh | Vorrichtung zur Pflege von Rasenflächen |
WO2024046365A1 (en) * | 2022-08-31 | 2024-03-07 | Positec Power Tools (Suzhou) Co., Ltd. | Island/border distinguishing for a robot lawnmower |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1185274A (ja) * | 1997-09-10 | 1999-03-30 | Fuji Heavy Ind Ltd | 自律走行車の走行軌跡検出装置 |
CN107637255A (zh) * | 2016-07-22 | 2018-01-30 | 苏州宝时得电动工具有限公司 | 智能割草机的行走路径控制方法、自动工作系统 |
CN108142070A (zh) * | 2016-12-06 | 2018-06-12 | 苏州宝时得电动工具有限公司 | 自动割草系统及其控制方法 |
CN109511356A (zh) * | 2019-01-08 | 2019-03-26 | 安徽农业大学 | 一种基于深度视觉的智能除草机器人系统及控制方法 |
CN109673242A (zh) * | 2019-03-01 | 2019-04-26 | 重庆润通智能装备有限公司 | 智能割草机割草控制方法及割草控制系统 |
-
2019
- 2019-08-08 CN CN201910731533.XA patent/CN110326423A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1185274A (ja) * | 1997-09-10 | 1999-03-30 | Fuji Heavy Ind Ltd | 自律走行車の走行軌跡検出装置 |
CN107637255A (zh) * | 2016-07-22 | 2018-01-30 | 苏州宝时得电动工具有限公司 | 智能割草机的行走路径控制方法、自动工作系统 |
CN107637255B (zh) * | 2016-07-22 | 2020-10-20 | 苏州宝时得电动工具有限公司 | 智能割草机的行走路径控制方法、自动工作系统 |
CN108142070A (zh) * | 2016-12-06 | 2018-06-12 | 苏州宝时得电动工具有限公司 | 自动割草系统及其控制方法 |
CN109511356A (zh) * | 2019-01-08 | 2019-03-26 | 安徽农业大学 | 一种基于深度视觉的智能除草机器人系统及控制方法 |
CN109673242A (zh) * | 2019-03-01 | 2019-04-26 | 重庆润通智能装备有限公司 | 智能割草机割草控制方法及割草控制系统 |
Non-Patent Citations (4)
Title |
---|
杨露菁等: "《智能图像处理及应用》", 31 March 2019, 中国铁道出版社 * |
路甬祥: "《现代科学技术大众百科:科学卷,技术卷,科技与社会卷(3卷)》", 30 June 2001, 浙江教育出版社 * |
邱富军: "基于纹理分割图的草地分界线提取算法", 《农机化研究》 * |
马超等: "《Emgu CV学习与设计.农业篇》", 31 July 2019, 延边大学出版社 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110989601B (zh) * | 2019-12-11 | 2023-05-02 | 许昌学院 | 一种基于图像识别的道路绿化带修剪机 |
CN110989601A (zh) * | 2019-12-11 | 2020-04-10 | 许昌学院 | 一种基于图像识别的道路绿化带修剪机 |
WO2021175331A1 (zh) * | 2020-03-06 | 2021-09-10 | 苏州宝时得电动工具有限公司 | 自移动园艺机器人及其工作方法 |
CN112425344A (zh) * | 2020-11-25 | 2021-03-02 | 西南大学 | 一种果园自走式除草机及其自主导航避障方法 |
CN113519260A (zh) * | 2021-07-30 | 2021-10-22 | 江苏大学 | 一种基于驾驶数据的履带式联合收割机前进速度控制方法及装置 |
CN113435417A (zh) * | 2021-08-26 | 2021-09-24 | 山东华力机电有限公司 | 一种双轮驱动的agv转向视觉控制方法 |
CN113435417B (zh) * | 2021-08-26 | 2021-11-16 | 山东华力机电有限公司 | 一种双轮驱动的agv转向视觉控制方法 |
WO2023056720A1 (zh) * | 2021-10-09 | 2023-04-13 | 邦鼓思电子科技(上海)有限公司 | 一种基于视觉边界检测的机器人控制系统及方法 |
AT525644A4 (de) * | 2022-02-24 | 2023-06-15 | Al Weeder Gmbh | Vorrichtung zur Pflege von Rasenflächen |
AT525644B1 (de) * | 2022-02-24 | 2023-06-15 | Al Weeder Gmbh | Vorrichtung zur Pflege von Rasenflächen |
WO2023161807A1 (de) * | 2022-02-24 | 2023-08-31 | Ai-Weeder Gmbh | Vorrichtung zur pflege von rasenflächen |
CN114868514A (zh) * | 2022-04-13 | 2022-08-09 | 北京航空航天大学 | 一种基于智能割草机器人的草坪3d打印系统和方法 |
CN114868514B (zh) * | 2022-04-13 | 2023-09-29 | 北京航空航天大学 | 一种基于智能割草机器人的草坪3d打印系统和方法 |
WO2024046365A1 (en) * | 2022-08-31 | 2024-03-07 | Positec Power Tools (Suzhou) Co., Ltd. | Island/border distinguishing for a robot lawnmower |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110326423A (zh) | 一种基于视觉的割草机及其转向控制方法和装置 | |
CN207382911U (zh) | 一种可调节割草面积的农用割草机 | |
CN207284231U (zh) | 一种果园u型全向割草机 | |
CN207011273U (zh) | 一种便于调节切割刀方向的果园用除草机 | |
CN205727072U (zh) | 一种电动割草机 | |
CN206776077U (zh) | 一种便携式半自动收割装置 | |
RU138253U1 (ru) | Косилка | |
CN204560237U (zh) | 一种自动除草机 | |
CN205232793U (zh) | 一种草坪修剪机 | |
CN205408614U (zh) | 一种玉米收割机 | |
CN210726025U (zh) | 一种园林用割草机集草设备 | |
CN211721122U (zh) | 一种农业种植用割草设备 | |
CN208143825U (zh) | 一种可调整切割角度的安全型割草机 | |
CN210694959U (zh) | 一种山地饲草收割装置 | |
CN208063821U (zh) | 一种牧草收割机 | |
CN205865090U (zh) | 一种草坪修剪机剪切机构 | |
CN2236725Y (zh) | 飞旋刃割式人力收割机 | |
CN208063811U (zh) | 一种草地除草装置 | |
CN207382914U (zh) | 一种坐式梳割草机 | |
CN207573932U (zh) | 一种适用于园林的草坪修剪装置 | |
CN109463101A (zh) | 一种自动搂草割草机 | |
RU2415547C1 (ru) | Электрокосилка | |
CN206136678U (zh) | 一种玉米秸秆收割机 | |
CN108093814A (zh) | 一种割草机 | |
CN206658482U (zh) | 一种可调节角度的镰刀 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191015 |