CN116391693A - 天牛灭杀方法及系统 - Google Patents
天牛灭杀方法及系统 Download PDFInfo
- Publication number
- CN116391693A CN116391693A CN202310668137.3A CN202310668137A CN116391693A CN 116391693 A CN116391693 A CN 116391693A CN 202310668137 A CN202310668137 A CN 202310668137A CN 116391693 A CN116391693 A CN 116391693A
- Authority
- CN
- China
- Prior art keywords
- image
- longicorn
- identification
- model
- antenna
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241001481710 Cerambycidae Species 0.000 title claims abstract description 297
- 230000002147 killing effect Effects 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 85
- 210000000056 organ Anatomy 0.000 claims abstract description 51
- 241000254173 Coleoptera Species 0.000 claims description 62
- 150000001875 compounds Chemical class 0.000 claims description 57
- 238000005070 sampling Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 10
- 239000003638 chemical reducing agent Substances 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 3
- 241000244615 Ergates faber Species 0.000 abstract description 3
- 230000006378 damage Effects 0.000 description 8
- 230000002431 foraging effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000010438 heat treatment Methods 0.000 description 3
- 241001442207 Monochamus alternatus Species 0.000 description 2
- 235000008708 Morus alba Nutrition 0.000 description 2
- 240000000249 Morus alba Species 0.000 description 2
- 238000005265 energy consumption Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003313 weakening effect Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
- A01M1/00—Stationary means for catching or killing insects
- A01M1/22—Killing insects by electric means
- A01M1/226—Killing insects by electric means by using waves, fields or rays, e.g. sound waves, microwaves, electric waves, magnetic fields, light rays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
- A01M2200/00—Kind of animal
- A01M2200/01—Insects
- A01M2200/012—Flying insects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather
- Y02A50/30—Against vector-borne diseases, e.g. mosquito-borne, fly-borne, tick-borne or waterborne diseases whose impact is exacerbated by climate change
Landscapes
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pest Control & Pesticides (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Insects & Arthropods (AREA)
- Environmental Sciences (AREA)
- Zoology (AREA)
- Wood Science & Technology (AREA)
- Image Processing (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明提供的天牛灭杀方法及系统,属于自动化控制技术领域,包括:获取用于灭杀天牛的目标区域的第一图像;并输入至第一模型,获取输出的第一识别图像,第一识别图像为在第一图像上标识出识别区域的图像,识别区域为存在天牛的区域;在确定有识别区域时,从第一识别图像中裁剪出每一识别区域,获取至少一个第二图像;将第二图像输入至第二模型,获取输出的天牛目标器官的位置信息;基于位置信息,控制激光器破坏天牛目标器官。本发明是天牛诱捕器所需关键部件,用于对诱捕器诱集到的天牛进行灭杀,通过准确识别天牛目标器官的位置信息,并利用低功耗的激光器破坏天牛目标器官,大幅降低天牛灭杀时间,可实现低功耗、高效灭杀天牛。
Description
技术领域
本发明涉及自动化控制技术领域,尤其涉及一种天牛灭杀方法及系统。
背景技术
由于天牛对树木危害性较大,因此需要定期诱集并灭杀天牛。
现有技术主要通过三种方法对诱集到的天牛进行灭杀处理,第一种是通过将天牛诱集到储存盒内,但需要人工维护更换储存盒;第二种是通过对诱集到的天牛进行加热烘干,以灭杀天牛,但加热时间较长,且加热烘干箱功率较高,需要配备大功率供电装置;第三种是通过设置电网,以通过电击灭杀天牛,但由于天牛体型差异较大,放电时间短难以致死,放电时间长容易出现挂网现象。
因此,业界亟需一种可以克服上述现有技术中所存在缺陷的天牛灭杀方法。
发明内容
本发明提供一种天牛灭杀方法及系统,用以解决现有技术中存在的灭杀能耗高、效率低的缺陷。
第一方面,本发明提供一种天牛灭杀方法,包括:步骤S1,获取目标区域的第一图像,所述目标区域是用于灭杀天牛的区域;步骤S2,将所述第一图像输入至第一模型,获取由所述第一模型输出的第一识别图像,所述第一识别图像为在所述第一图像上标识出识别区域的图像,所述识别区域为存在天牛的区域;步骤S3,在确定所述第一识别图像中标识有识别区域的情况下,从所述第一识别图像中裁剪出每一识别区域,获取至少一个第二图像;步骤S4,将所述第二图像输入至第二模型,获取由所述第二模型输出的天牛目标器官的位置信息;步骤S5,基于所述位置信息,控制激光器破坏所述天牛目标器官;其中,所述第一模型是利用第一训练集训练得到的,所述第一训练集包括至少一个图像样本,以及在每一图像样本中标注出识别区域后形成的图像标签;所述第二模型是利用第二训练集训练得到的,所述第二训练集包括至少一个图像样本,以及每一图像样本对应的天牛目标器官的位置信息标签。
根据本发明提供的一种天牛灭杀方法,所述第一模型用于基于输入的第一图像,输出对所述第一图像进行识别后的第一识别图像;所述第一识别图像标识有所述识别区域以及所述识别区域中所存在的天牛的触角数量;所述触角数量包括双触角、单触角以及无触角;对应地,所述第一训练集的图像标签还标注有每一图像样本中的识别区域中所存在的天牛对应的触角数量标签。
根据本发明提供的一种天牛灭杀方法,所述第二模型包括有第一子模型;所述步骤S4,包括:将所述第二图像输入至所述第一子模型,获取由所述第一子模型输出的双侧触角根部位置信息;相应地,所述步骤S5,包括:基于所述双侧触角根部位置信息,控制激光器切断天牛的至少一侧触角根部。
根据本发明提供的一种天牛灭杀方法,所述第二模型还包括第二子模型;在执行所述步骤S5之后,还包括:步骤S6,重新获取所述目标区域的第三图像;步骤S7,将所述第三图像输入至所述第一模型,获取由所述第一模型输出的第二识别图像,所述第二识别图像标识有识别区域以及每一识别区域中所存在的天牛的触角数量;步骤S8,在确定所述第二识别图像中的任一识别区域中所存在的天牛的触角数量为单触角的情况下,在所述第二识别图像中确定每一识别区域对应的扩大识别区域;步骤S9,从所述第二识别图像中裁剪出每一扩大识别区域,获取至少一个第四图像;步骤S10,将任一所述第四图像输入至所述第二子模型,获取由所述第二子模型输出的单侧触角根部位置信息;步骤S11,基于所述单侧触角根部位置信息,控制所述激光器切断所述天牛的另一侧触角根部;步骤S12,迭代执行将下一第四图像输入至所述第二子模型,至基于所述下一第四图像的单侧触角根部位置信息,控制所述激光器切断所述天牛的另一侧触角根部的步骤,直至确定所述第二识别图像中的所有识别区域中所存在的天牛的触角数量均为无触角。
根据本发明提供的一种天牛灭杀方法,在确定所述第二识别图像中的所述任一识别区域中所存在的天牛的触角数量为双触角的情况下,则返回执行步骤S3。
根据本发明提供的一种天牛灭杀方法,在确定所述第二识别图像中的所述任一识别区域中所存在的天牛的触角数量为无触角的情况下,则确定所述第二识别图像中的下一识别区域中所存在的天牛的触角数量,直至确定所有识别区域中所存在的天牛的触角数量均为无触角。
根据本发明提供的一种天牛灭杀方法,所述第二模型还包括第三子模型;在执行所述步骤S12后,还包括:步骤S13,重新获取所述目标区域的第五图像;步骤S14,将所述第五图像输入至所述第一模型,获取由所述第一模型输出的第三识别图像,所述第三识别图像标识有识别区域以及每一识别区域中所存在的天牛的触角数量;步骤S15,在确定所述第三识别图像中的所有识别区域中所存在的天牛的触角数量均为无触角的情况下,在所述第三识别图像中确定每一扩大识别区域;步骤S16,从所述第三识别图像中裁剪出每一扩大识别区域,获取至少一个第六图像;步骤S17,将任一所述第六图像输入至所述第三子模型,获取由所述第三子模型输出的复眼位置信息;步骤S18,基于所述复眼位置信息,控制所述激光器烧毁所述天牛的至少一侧复眼;步骤S19,迭代执行将下一第六图像输入至所述第三子模型,至基于所述下一第六图像的复眼位置信息,控制所述激光器烧毁所述天牛的至少一侧复眼的步骤,直至遍历所有所述第六图像。
根据本发明提供的一种天牛灭杀方法,在确定所述第三识别图像中的任一识别区域的触角数量为双触角的情况下,则返回执行步骤S3。
根据本发明提供的一种天牛灭杀方法,在确定所述第三识别图像中的任一识别区域的触角数量为单触角的情况下,则返回执行步骤S9。
根据本发明提供的一种天牛灭杀方法,在执行所述步骤S19后,还包括:步骤S20,重新获取所述目标区域的第七图像;步骤S21,将所述第七图像输入至所述第一模型,获取由所述第一模型输出的与所述第七图像相关的第四识别图像,所述第四识别图像标识有识别区域以及每一识别区域中所存在的天牛的触角数量;步骤S22,在确定所述第四识别图像中的所有识别区域中所存在的天牛的触角数量均为无触角的情况下,在所述第四识别图像中确定每一扩大识别区域;步骤S23,从所述第四识别图像中裁剪出每一扩大识别区域,获取至少一个第八图像;步骤S24,将任一所述第八图像输入至所述第三子模型,获取由所述第三子模型输出的复眼位置信息;步骤S25,基于所述复眼位置信息,控制所述激光器烧毁所述天牛的至少一侧复眼;步骤S26,迭代执行将下一第八图像输入至所述第三子模型,至基于所述下一第八图像的复眼位置信息,控制所述激光器烧毁所述天牛的至少一侧复眼的步骤,直至遍历所有所述第八图像。
根据本发明提供的一种天牛灭杀方法,在确定所述第四识别图像中的任一识别区域的触角数量为双触角的情况下,则返回执行步骤S3。
根据本发明提供的一种天牛灭杀方法,在确定所述第四识别图像中的任一识别区域的触角数量为单触角的情况下,则返回执行步骤S9。
根据本发明提供的一种天牛灭杀方法,所述第二模型还包括第四子模型;在执行所述步骤S26之后,还包括:步骤S27,重新获取所述目标区域的第九图像;步骤S28,将所述第九图像输入至所述第一模型,获取由所述第一模型输出的第五识别图像,所述第五识别图像标识有识别区域以及每一识别区域中所存在的天牛的触角数量;步骤S29,在确定所述第五识别图像中的所有识别区域中所存在的天牛的触角数量均为无触角的情况下,在所述第五识别图像中确定每一所述扩大识别区域;步骤S30,从所述第五识别图像中裁剪出每一扩大识别区域,获取至少一个第十图像;步骤S31,将任一所述第十图像输入至所述第四子模型,获取由所述第四子模型输出的头胸交接部位置信息;步骤S32,基于所述头胸交接部位置信息,控制所述激光器切断所述天牛的头胸交接部;步骤S33,迭代执行将下一第十图像输入至所述第四子模型,至基于所述下一第十图像的头胸交接部位置信息,控制所述激光器切断所述天牛的头胸交接部的步骤,直至遍历所有所述第十图像;步骤S34,清理天牛残骸,并在预设采样间隔后,返回执行步骤S1。
根据本发明提供的一种天牛灭杀方法,在确定所述第五识别图像中的任一识别区域的触角数量为双触角的情况下,则返回执行步骤S3。
根据本发明提供的一种天牛灭杀方法,在确定所述第五识别图像中的任一识别区域的触角数量为单触角的情况下,则返回执行步骤S9。
根据本发明提供的一种天牛灭杀方法,在确定所述第一识别图像中未标识有识别区域的情况下,在预设采样间隔后,返回执行步骤S1。
根据本发明提供的一种天牛灭杀方法,还包括:获取一个作业周期内所有第一识别图像中的识别区域的总数量,作为累计增量;将所述累计增量作为所述一个作业周期内的天牛灭杀数量。
第二方面,本发明还提供一种天牛灭杀系统,包括:摄像装置、承载部、激光器、处理器;所述承载部位于灭杀天牛的目标区域内;所述处理器,用于执行以下步骤:控制所述摄像装置,获取所述目标区域的第一图像;将所述第一图像输入至第一模型,获取由所述第一模型输出的第一识别图像,所述第一识别图像为在所述第一图像上标识出识别区域的图像,所述识别区域为存在天牛的区域;在确定所述第一识别图像中标识有识别区域的情况下,从所述第一识别图像中裁剪出每一识别区域,获取至少一个第二图像;将所述第二图像输入至第二模型,获取由所述第二模型输出的天牛目标器官的位置信息;基于所述位置信息,控制所述激光器破坏所述天牛目标器官;其中,所述第一模型是利用第一训练集训练得到的,所述第一训练集包括至少一个图像样本,以及在每一图像样本中标注出识别区域后形成的图像标签;所述第二模型是利用第二训练集训练得到的,所述第二训练集包括至少一个图像样本,以及每一图像样本对应的天牛目标器官的位置信息标签。
根据本发明提供的一种天牛灭杀系统,还包括可旋转瞄准镜片、X轴步进电机以及Y轴步进电机;所述处理器与所述X轴步进电机和所述Y轴步进电机通讯连接,所述X轴步进电机控制所述可旋转瞄准镜片沿水平中间轴旋转,所述Y轴步进电机控制所述可旋转瞄准镜片沿垂直中间轴旋转;所述处理器基于所述位置信息,控制激光器破坏所述天牛目标器官,具体包括:控制所述激光器持续发射激光;基于所述位置信息确定所述可旋转瞄准镜片的旋转角度以及旋转路径,控制所述X轴步进电机和所述Y轴步进电机动作,以控制所述可旋转瞄准镜片旋转;所述激光经所述可旋转瞄准镜片,反射至所述天牛目标器官处以破坏所述天牛目标器官。
根据本发明提供的一种天牛灭杀系统,所述X轴步进电机和所述Y轴步进电机均包含光电编码盘。
根据本发明提供的一种天牛灭杀系统,所述X轴步进电机和所述Y轴步进电机均连接有一减速机。
本发明提供的天牛灭杀方法及系统,是天牛诱捕器所需关键部件,用于对诱捕器诱集到的天牛进行灭杀,通过准确识别天牛目标器官的位置信息,并利用低功耗的激光器破坏天牛目标器官,大幅降低天牛灭杀时间,可实现低功耗、高效灭杀天牛。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的天牛灭杀方法的流程示意图之一;
图2是本发明提供的天牛灭杀方法的流程示意图之二;
图3是本发明提供的天牛灭杀方法的流程示意图之三;
图4是本发明提供的天牛灭杀方法的流程示意图之四;
图5是本发明提供的天牛灭杀方法的流程示意图之五;
图6是本发明提供的天牛灭杀系统的结构示意图;
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,在本发明实施例的描述中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
本申请中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。
下面结合图1至图7描述本发明实施例所提供的天牛灭杀方法及系统。
图1是本发明提供的天牛灭杀方法的流程示意图之一,如图1所示,包括但不限于以下步骤:
步骤S1:获取目标区域的第一图像,目标区域是用于灭杀天牛的区域。
具体地,可以在检测到目标区域存在被诱集到的天牛后,通过摄像装置获取用于灭杀天牛的目标区域的第一图像。另外,可以是按照预设采样频率,定时触发摄像装置获取用于灭杀天牛的目标区域的第一图像。
步骤S2:将第一图像输入至第一模型,获取由第一模型输出的第一识别图像,第一识别图像为在第一图像上标识出识别区域的图像,识别区域为存在天牛的区域。
具体地,将第一图像输入至第一模型后,第一模型将输出第一识别图像,并且第一识别图像是在第一图像的基础上标识出识别区域的图像,识别区域是用于表征存在天牛的区域,即第一模型用于识别输入的第一图像中,是否存在天牛,并对第一图像中存在天牛的区域标识为识别区域。
其中,第一模型是利用第一训练集训练得到的,第一训练集包括有至少一个图像样本,以及在每一图像样本中标注出存在天牛的识别区域后形成的图像标签。
步骤S3:在确定第一识别图像中标识有识别区域的情况下,从第一识别图像中裁剪出每一识别区域,获取至少一个第二图像。
具体地,确定第一识别图像中标识有识别区域的情况下,即确定第一识别图像中存在待灭杀的天牛的情况下,从第一识别图像中裁剪出每一识别区域,获取至少一个第二图像,每一第二图像对应于每一识别区域,即对应有每一只天牛。
例如,第一图像中总共存在有四只天牛的情况下,则将上述第一图像输入至第一模型后,输出的第一识别图像中将标识有四个识别区域,且每一识别区域对应于每一只天牛。
步骤S4:将第二图像输入至第二模型,获取由第二模型输出的天牛目标器官的位置信息。
作为一种可选实施例,天牛目标器官至少包括触角根部、复眼和头胸交接部中的一种。
具体地,可以将每一第二图像依次输入至第二模型,获取由第二模型输出的天牛目标器官的位置信息。其中,天牛目标器官至少包括触角根部、复眼和头胸交接部中的一种。也就是说,第二模型可以在识别出有天牛的区域,进一步识别出每一天牛的目标器官的位置信息。
其中,第二模型是利用第二训练集训练得到的,第二训练集包括有至少一个图像样本,以及每一图像样本对应的天牛目标器官的位置信息标签。
步骤S5:基于位置信息,控制激光器破坏天牛目标器官。
具体地,当获取到天牛目标器官的位置信息后,便可基于该位置信息,控制激光器发射激光破坏天牛目标器官。
例如,当获取到天牛的触角根部的位置信息后,便可基于触角根部的位置信息,控制激光器切断天牛的触角根部,而当天牛的触角根部被切断后,由于天牛失去觅食感受器官,将会无法觅食,也就使得天牛无法损害树木结构,使得天牛无害化。
此外,本发明通过第一模型判断输入的第一图像中是否存在天牛,并以此为基础,在存在天牛的区域进一步裁剪出第二图像,再通过第二模型判断输入的第二图像中的天牛目标器官的位置信息,能够准确识别出天牛目标器官的位置信息,有效减少识别时间。
作为一种可选的实施例,第一模型用于识别的天牛种类可以是松墨天牛、桑天牛、星天牛等多种天牛中的任一种,相对应地,第二模型用于识别的天牛目标器官也可以是松墨天牛、桑天牛、星天牛等多种天牛中任一种天牛的目标器官。为了更便于说明,以下实施例中均以天牛种类为松墨天牛为例,其不视为对本发明保护范围的具体限定,后续将不作一一赘述。
作为一种可选的实施例,获取一个作业周期内所有第一识别图像中的识别区域的总数量,作为累计增量。
将累计增量作为一个作业周期内的天牛灭杀数量。
具体地,由于每一识别区域对应一只天牛,因此基于获取到的累计增量,可以确定一个作业周期内的天牛灭杀数量,完成对天牛灭杀计数。
进一步地,本发明通过使用低功耗的激光器,相较于现有技术中使用高功耗的加热装置或电网灭杀,能够有效减少能耗,且无需配套设置大功率供电装置,能够有效减少部署局限性。
本发明提供的天牛灭杀方法,是天牛诱捕器所需关键部件,用于对诱捕器诱集到的天牛进行灭杀,通过准确识别天牛目标器官的位置信息,并利用低功耗的激光器破坏天牛目标器官,大幅降低天牛灭杀时间,可实现低功耗、高效灭杀天牛。
基于上述实施例的内容,作为一种可选实施例,第一模型用于基于输入的第一图像,输出对第一图像进行识别后的第一识别图像;第一识别图像标识有识别区域以及识别区域中所存在的天牛的触角数量;触角数量包括双触角、单触角以及无触角。
对应地,第一训练集的图像标签还标注有每一图像样本中的识别区域中所存在的天牛对应的触角数量标签。
具体地,第一模型可以在识别输入的第一图像中是否存在天牛,并对第一图像中存在天牛的区域标识为识别区域的基础上,还可以识别出识别区域中存在的天牛的触角数量,即可以识别出每一识别区域内的存在的天牛的触角数量。其中,触角数量为双触角、单触角以及无触角中的任一种情况。
相对应地,用于对第一模型进行训练的第一训练集中,图像标签还标注有每一图像样本中的识别区域中所存在的天牛对应的触角数量标签。
本发明提供的天牛灭杀方法,通过第一模型还可以实现识别出每个识别区域中的天牛的触角数量,以便于后续根据天牛的触角数量对应选择合适的第二模型,提高天牛灭杀效率。
基于上述实施例的内容,作为一种可选实施例,第二模型包括有第一子模型。
上述步骤S4将第二图像输入至第二模型,获取由第二模型输出的天牛目标器官的位置信息,包括:
将第二图像输入至第一子模型,获取由第一子模型输出的双侧触角根部位置信息。
相应地,步骤S5,包括:
基于双侧触角根部位置信息,控制激光器切断天牛的至少一侧触角根部。
具体地,第二模型中具体包括有用于识别天牛的双侧触角根部位置信息的第一子模型,则在得到第二图像之后,可以将任一第二图像输入至第一子模型,获取第一子模型输出的双侧触角根部位置信息,并基于获取到的双侧触角根部位置信息,控制激光器切断天牛的至少一侧触角根部。
基于上述实施例的内容,作为一种可选实施例,第二模型还包括第二子模型。
在执行上述步骤S5基于双侧触角根部位置信息,控制激光器切断天牛的至少一侧触角根部之后,还包括:
步骤S6,重新获取目标区域的第三图像。
步骤S7,将第三图像输入至第一模型,获取由第一模型输出的第二识别图像,第二识别图像标识有识别区域以及每一识别区域中所存在的天牛的触角数量。
步骤S8,在确定第二识别图像中的任一识别区域中所存在的天牛的触角数量为单触角的情况下,在第二识别图像中确定每一识别区域对应的扩大识别区域。
步骤S9,从第二识别图像中裁剪出每一扩大识别区域,获取至少一个第四图像。
步骤S10,将任一第四图像输入至第二子模型,获取由第二子模型输出的单侧触角根部位置信息。
步骤S11,基于单侧触角根部位置信息,控制激光器切断天牛的另一侧触角根部。
步骤S12,迭代执行将下一第四图像输入至第二子模型,至基于下一第四图像的单侧触角根部位置信息,控制激光器切断天牛的另一侧触角根部的步骤,直至确定第二识别图像中的所有识别区域中所存在的天牛的触角数量均为无触角。
图2是本发明提供的天牛灭杀方法的流程示意图之二,如图2所示,作为一种可选实施例,在执行步骤S5基于双侧触角根部位置信息,控制激光器切断天牛的至少一侧触角根部之后,还包括重新获取目标区域的第三图像。
其中,第三图像与第一图像可以是对目标区域,在不同时间点下用同一拍摄方式获取到的相同大小的图像。
因此,在获取到目标区域的第三图像后,可以将第三图像输入至第一模型,获取由第一模型输出的第二识别图像,且第二识别图像中标识有识别区域以及每一识别区域中所存在的天牛的触角数量。
进一步地,在确定第二识别图像中的任一识别区域中所存在的天牛的触角数量为单触角的情况下,表征该识别区域对应的天牛已经被切断了一侧触角根部,则可获取天牛的另一侧触角根部的位置信息,控制激光器切断天牛的另一侧触角根部,进一步使得天牛无害化。
进一步地,在第三图像中确定每一识别区域对应的扩大识别区域。其中,扩大识别区域大于识别区域。
可选地,可以通过将标识有识别区域的第一识别图像与第三图像重叠,并在第三图像中确定与每一识别区域对应的扩大识别区域,并且扩大识别区域会大于识别区域。
例如,识别区域为矩形区域时,可以将识别区域的长度与宽度各增加1cm,从而扩大形成新的矩形区域,作为扩大识别区域。
再如,识别区域为圆形区域时,可以将识别区域的半径增加1cm,从而扩大形成新的圆形区域,作为扩大识别区域。
需要说明的是,识别区域还可以是其他形状,例如椭圆形或者其他多边形,对此本发明不做具体限定。
可选地,也可以通过坐标信息来表征识别区域,并以目标区域的中心作为原点,则在确认识别区域的坐标信息后,便可使得X坐标最小值减小以及X坐标最大值增加,形成扩大识别区域的X坐标,Y坐标也是同理,则可以使得新形成的扩大识别区域大于识别区域。
进一步地,由于通过激光切断了天牛的触角根部,有可能会导致天牛略微移动,因此通过将识别区域膨胀至扩大识别区域,能够有效确保即使天牛发生移动,仍能快速直接定位天牛所在区域,以便于后续裁剪每一扩大识别区域,避免由于天牛移动后导致无法有效识别天牛目标器官的位置信息的情况发生,实现有效提高天牛的识别精度。
进一步地,从第二识别图像中裁剪出每一扩大识别区域,获取至少一个第四图像,并将任一第四图像输入至第二子模型,其中,第二子模型用于识别单触角天牛的单侧触角根部位置信息。因此,可以获取到由第二子模型输出的单侧触角根部位置信息。
进一步地,基于单侧触角根部位置信息,控制激光器切断天牛的另一侧触角根部,进一步使得天牛无害化。
在完成对任一第四图像中的天牛切断另一侧触角根部后,可以迭代执行将下一第四图像输入至第二子模型,并获取由第二子模型输出的下一第四图像的单侧触角根部位置信息,以控制激光器切断天牛的另一侧触角根部的步骤,直至确定第二识别图像中的所有识别区域中存在的天牛的触角数量均为无触角,则表征此时目标区域内的所有天牛的触角均已被完全切断。
作为一种可选的实施例,如果确定上述第二识别图像中的任一识别区域的触角数量为双触角的情况下,则表征该识别区域对应的天牛并未被切断触角根部,可能是有新的天牛被诱集到目标区域中,则需要返回执行上述步骤S3,识别该天牛的双侧触角根部信息,切断该天牛的触角根部。
作为一种可选的实施例,如果确定上述第二识别图像中的任一识别区域的触角数量为无触角的情况下,则表征该识别区域对应的天牛的触角根部已被切断完毕,则可以确定第二识别图像中的下一识别区域中所存在的天牛的触角数量,直至确定所有识别区域中所存在的天牛的触角数量均为无触角,则表征此时目标区域内的所有天牛的触角均已被完全切断。
本发明提供的天牛灭杀方法,通过确认天牛的两侧触角被完全切断,以确定被诱集的天牛已被无害化处理,使得天牛无法啃食树干,能够有效提高天牛灭杀精度,实现有效天牛防治。
基于上述实施例的内容,作为一种可选实施例,第二模型还包括第三子模型。
在执行步骤S12迭代执行将下一第四图像输入至第二子模型,至基于下一第四图像的单侧触角根部位置信息,控制激光器切断天牛的另一侧触角根部的步骤,直至确定第二识别图像中的所有识别区域中所存在的天牛的触角数量均为无触角后,还包括:
步骤S13,重新获取目标区域的第五图像。
步骤S14,将第五图像输入至第一模型,获取由第一模型输出的第三识别图像,第三识别图像标识有识别区域以及每一识别区域中所存在的天牛的触角数量。
步骤S15,在确定第三识别图像中的所有识别区域中所存在的天牛的触角数量均为无触角的情况下,在第三识别图像中确定每一扩大识别区域。
步骤S16,从第三识别图像中裁剪出每一扩大识别区域,获取至少一个第六图像。
步骤S17,将任一第六图像输入至第三子模型,获取由第三子模型输出的复眼位置信息。
步骤S18,基于复眼位置信息,控制激光器烧毁天牛的至少一侧复眼。
步骤S19,迭代执行将下一第六图像输入至第三子模型,至基于下一第六图像的复眼位置信息,控制激光器烧毁天牛的至少一侧复眼的步骤,直至遍历所有第六图像。
图3是本发明提供的天牛灭杀方法的流程示意图之三,如图3所示,作为一种可选实施例,在执行步骤S12后,还可以重新获取目标区域的第五图像。其中,第五图像与第三图像可以是对目标区域,在不同时间点下用同一拍摄方式获取到的相同大小的图像。
因此,在获取到目标区域的第五图像后,可以将第五图像输入至第一模型,获取由第一模型输出的第三识别图像,且第三识别图像中标识有识别区域以及每一识别区域中所存在的天牛的触角数量。
进一步地,在确定第三识别图像中的所有识别区域中所存在的天牛的触角数量均为无触角的情况下,即表征目标区域内所有天牛的触角根部均已被切断完毕,在第三识别图像中确定出与每一识别区域对应的每一扩大识别区域,扩大识别区域均大于识别区域。
进一步地,从第三识别图像中裁剪出每一扩大识别区域,获取至少一个第六图像,并将第六图像输入至第三子模型,获取由第三子模型输出的复眼位置信息。
进一步地,基于获取到的复眼位置信息,控制激光器烧毁天牛的至少一侧复眼,进一步削弱天牛的觅食能力。
进一步地,在完成对任一第六图像中的天牛烧毁至少一侧复眼后,可以迭代执行将下一第六图像输入至第三子模型,并获取由第三子模型输出的下一第六图像的复眼位置信息,以控制激光器烧毁天牛的至少一侧复眼的步骤,直至遍历所有第六图像,则表征目标区域内每一天牛都被烧毁至少一侧复眼。
作为一种可选的实施例,如果确定上述第三识别图像中的任一识别区域的触角数量为双触角的情况下,则表征该识别区域对应的天牛并未被切断触角根部,可能是有新的天牛被诱集到目标区域中,则需要返回执行上述步骤S3,识别该天牛的双侧触角根部信息,切断该天牛的触角根部。
作为一种可选的实施例,如果确定上述第三识别图像中的任一识别区域的触角数量为单触角的情况下,则表征该识别区域对应的天牛的触角根部并未被彻底切断,可能是仍有天牛的一侧触角根部切断失败,则需要返回执行上述步骤S9,识别该天牛的单侧触角根部信息,以彻底切断该天牛的触角根部。
本发明提供的天牛灭杀方法,通过对无触角天牛烧毁复眼,能够在切断天牛触角的基础上,进一步削弱天牛的觅食能力,使得天牛无法危害树木结构,有效提高天牛灭杀效果,实现有效天牛防治。
基于上述实施例的内容,作为一种可选实施例,在执行上述步骤S19迭代执行将下一第六图像输入至第三子模型,至基于下一第六图像的复眼位置信息,控制激光器烧毁天牛的至少一侧复眼的步骤,直至遍历所有第六图像后,还包括:
步骤S20,重新获取目标区域的第七图像。
步骤S21,将第七图像输入至第一模型,获取由第一模型输出的与第七图像相关的第四识别图像,第四识别图像标识有识别区域以及每一识别区域中所存在的天牛的触角数量。
步骤S22,在确定第四识别图像中的所有识别区域中所存在的天牛的触角数量均为无触角的情况下,在第四识别图像中确定每一扩大识别区域。
步骤S23,从第四识别图像中裁剪出每一扩大识别区域,获取至少一个第八图像。
步骤S24,将任一第八图像输入至第三子模型,获取由第三子模型输出的复眼位置信息。
步骤S25,基于复眼位置信息,控制激光器烧毁天牛的至少一侧复眼。
步骤S26,迭代执行将下一第八图像输入至第三子模型,至基于下一第八图像的复眼位置信息,控制激光器烧毁天牛的至少一侧复眼的步骤,直至遍历所有第八图像。
图4是本发明提供的天牛灭杀方法的流程示意图之四,如图4所示,作为一种可选实施例,在执行步骤S19后,还可以重新获取目标区域的第七图像。其中,第七图像与第五图像可以是对目标区域,在不同时间点下用同一拍摄方式获取到的相同大小的图像。
因此,在获取到目标区域的第七图像后,可以将第七图像输入至第一模型,获取由第一模型输出的第四识别图像,且第四识别图像中标识有识别区域以及每一识别区域中所存在的天牛的触角数量。
进一步地,在确定第四识别图像中的所有识别区域中所存在的天牛的触角数量均为无触角的情况下,即表征目标区域内所有天牛的触角根部均已被切断完毕,在第四识别图像中确定出与每一识别区域对应的每一扩大识别区域,扩大识别区域均大于识别区域。
进一步地,从第四识别图像中裁剪出每一扩大识别区域,获取至少一个第八图像,并将第八图像输入至第三子模型,获取由第三子模型输出的复眼位置信息。
进一步地,基于获取到的复眼位置信息,控制激光器烧毁天牛的至少一侧复眼,进一步削弱天牛的觅食能力,以确保天牛的双侧复眼均被烧毁。
进一步地,在完成对任一第八图像中的天牛烧毁至少一侧复眼后,可以迭代执行将下一第八图像输入至第三子模型,并获取由第三子模型输出的下一第八图像的复眼位置信息,以控制激光器烧毁天牛的至少一侧复眼的步骤,直至遍历所有第八图像,则表征目标区域内每一天牛都被烧毁双侧复眼。
作为一种可选的实施例,如果确定上述第四识别图像中的任一识别区域的触角数量为双触角的情况下,则表征该识别区域对应的天牛并未被切断触角根部,可能是有新的天牛被诱集到目标区域中,则需要返回执行上述步骤S3,识别该天牛的双侧触角根部信息,以切断该天牛的触角根部。
作为一种可选的实施例,如果确定上述第四识别图像中的任一识别区域的触角数量为单触角的情况下,则表征该识别区域对应的天牛的触角根部并未被彻底切断,可能是仍有天牛的一侧触角根部切断失败,则需要返回执行上述步骤S9,识别该天牛的单侧触角根部信息,以彻底切断该天牛的触角根部。
本发明提供的天牛灭杀方法,通过对无触角天牛烧毁复眼,能够在切断天牛触角根部的基础上,彻底烧毁天牛的两侧复眼,进一步削弱天牛的觅食能力,使得被切断触角根部并烧毁复眼后的天牛无法危害树木结构,有效提高天牛灭杀效果。
基于上述实施例的内容,作为一种可选实施例,第二模型还包括第四子模型。
在执行上述步骤S26迭代执行将下一第八图像输入至第三子模型,至基于下一第八图像的复眼位置信息,控制激光器烧毁天牛的至少一侧复眼的步骤,直至遍历所有第八图像之后,还包括:
步骤S27,重新获取目标区域的第九图像。
步骤S28,将第九图像输入至第一模型,获取由第一模型输出的第五识别图像,第五识别图像标识有识别区域以及每一识别区域中所存在的天牛的触角数量。
步骤S29,在确定第五识别图像中的所有识别区域中所存在的天牛的触角数量均为无触角的情况下,在第五识别图像中确定每一扩大识别区域。
步骤S30,从第五识别图像中裁剪出每一扩大识别区域,获取至少一个第十图像。
步骤S31,将任一第十图像输入至第四子模型,获取由第四子模型输出的头胸交接部位置信息。
步骤S32,基于头胸交接部位置信息,控制激光器切断天牛的头胸交接部。
步骤S33,迭代执行将下一第十图像输入至第四子模型,至基于下一第十图像的头胸交接部位置信息,控制激光器切断天牛的头胸交接部的步骤,直至遍历所有第十图像。
步骤S34,清理天牛残骸,并在预设采样间隔后,返回执行步骤S1。
图5是本发明提供的天牛灭杀方法的流程示意图之五,如图5所示,作为一种可选实施例,在执行步骤S26后,还可以重新获取目标区域的第九图像。其中,第九图像与第七图像可以是对目标区域,在不同时间点下用同一拍摄方式获取到的相同大小的图像。
因此,在获取到目标区域的第九图像后,可以将第九图像输入至第一模型,获取由第一模型输出的第五识别图像,且第五识别图像中标识有识别区域以及每一识别区域中所存在的天牛的触角数量。
进一步地,在确定第五识别图像中的所有识别区域中所存在的天牛的触角数量均为无触角的情况下,即表征目标区域内所有天牛的触角根部均已被切断完毕,在第五识别图像中确定出与每一识别区域对应的每一扩大识别区域,扩大识别区域均大于识别区域。
进一步地,从第五识别图像中裁剪出每一扩大识别区域,获取至少一个第十图像,并将第十图像输入至用于识别天牛的头胸交接部位置信息的第四子模型,获取由第四子模型输出的头胸交接部位置信息。
进一步地,基于获取到的头胸交接部位置信息,控制激光器切断天牛的头胸交接部,以彻底灭杀天牛。
进一步地,在完成对任一第十图像中的天牛切断头胸交接部后,可以迭代执行将下一第十图像输入至第四子模型,并获取由第四子模型输出的下一第十图像的头胸交接部位置信息,以控制激光器切断天牛的头胸交接部的步骤,直至遍历所有第十图像,则表征目标区域内每一天牛都被彻底灭杀。
最后,清理天牛残骸,并在预设采样间隔后,返回执行步骤S1,即重新获取目标区域的第一图像。其中,预设采样间隔可以根据实际场景的使用需求预先设置好。
作为一种可选的实施例,如果确定上述第五识别图像中的任一识别区域的触角数量为双触角的情况下,则表征该识别区域对应的天牛并未被切断触角根部,可能是有新的天牛被诱集到目标区域中,则需要返回执行上述步骤S3,识别该天牛的双侧触角根部信息,以切断该天牛的触角根部。
作为一种可选的实施例,如果确定上述第五识别图像中的任一识别区域的触角数量为单触角的情况下,则表征该识别区域对应的天牛的触角根部并未被彻底切断,可能是仍有天牛的一侧触角根部切断失败,则需要返回执行上述步骤S9,识别该天牛的单侧触角根部信息,以彻底切断该天牛的触角根部。
本发明提供的天牛灭杀方法,通过对无触角天牛切断头胸交接部,能够在切断天牛触角以及烧毁复眼的基础上,进一步灭杀天牛,直接减少天牛数量,避免天牛危害树木结构,有效提高天牛灭杀效果。
基于上述实施例的内容,作为一种可选实施例,在确定第一识别图像中未标识有识别区域的情况下,在预设采样间隔后,返回执行步骤S1。
具体地,当确定第一识别图像中未标识有识别区域的时候,即确定第一识别图像中并未识别到天牛,则可以在预设采样间隔后,返回执行步骤S1,重新获取目标区域的第一图像。其中,预设采样间隔可以根据实际场景的使用需求预先设置好。
本发明提供的天牛灭杀方法,当确定目标区域不存在天牛的时候,可以在一定的预设采样间隔后,重新开始下一轮获取目标区域的第一图像,并进行下一次天牛灭杀过程。
图6是本发明提供的天牛灭杀系统的结构示意图,如图6所示,主要包括:摄像装置、承载部、激光器、处理器。
其中,承载部位于灭杀天牛的目标区域内,处理器用于执行以下步骤:
控制摄像装置,获取目标区域的第一图像。
将第一图像输入至第一模型,获取由第一模型输出的第一识别图像,第一识别图像为在第一图像上标识出识别区域的图像,识别区域为存在天牛的区域。
在确定第一识别图像中标识有识别区域的情况下,从第一识别图像中裁剪出每一识别区域,获取至少一个第二图像。
将第二图像输入至第二模型,获取由第二模型输出的天牛目标器官的位置信息。
基于位置信息,控制激光器破坏天牛目标器官。
其中,第一模型是利用第一训练集训练得到的,第一训练集包括至少一个图像样本,以及在每一图像样本中标注出识别区域后形成的图像标签。
第二模型是利用第二训练集训练得到的,第二训练集包括至少一个图像样本,以及每一图像样本对应的天牛目标器官的位置信息标签。
作为一种可选的实施例,天牛目标器官至少包括触角根部、复眼和头胸交接部中的一种。
可选地,天牛被诱集后,可以通过天牛掉落通道,掉落至承载部上,以便于后续对天牛进行无害化处理,以及进一步的灭杀处理。
可选地,承载部还设置有承载部翻转电机,用于驱动该承载部翻转。
需要说明的是,本发明实施例提供的天牛灭杀系统,在具体运行时,可以执行上述任一实施例所述的天牛灭杀方法,对此本实施例不作赘述。
本发明提供的天牛灭杀系统,是天牛诱捕器所需关键部件,用于对诱捕器诱集到的天牛进行灭杀,通过准确识别天牛目标器官的位置信息,并利用低功耗的激光器破坏天牛目标器官,大幅降低天牛灭杀时间,可实现低功耗、高效灭杀天牛。
基于上述实施例的内容,作为一种可选实施例,还包括可旋转瞄准镜片、X轴步进电机以及Y轴步进电机。
处理器与X轴步进电机和Y轴步进电机通讯连接,X轴步进电机控制可旋转瞄准镜片沿水平中间轴旋转,Y轴步进电机控制可旋转瞄准镜片沿垂直中间轴旋转。
处理器基于位置信息,控制激光器破坏天牛目标器官,具体包括:
控制激光器持续发射激光。
基于位置信息确定可旋转瞄准镜片的旋转角度以及旋转路径,控制X轴步进电机和Y轴步进电机动作,以控制可旋转瞄准镜片旋转;激光经可旋转瞄准镜片,反射至天牛目标器官处以破坏天牛目标器官。
具体地,如图6所示,还包括有可旋转瞄准镜片、X轴步进电机以及Y轴步进电机。其中,处理器与X轴步进电机以及Y轴步进电机通讯连接,且X轴步进电机可以控制可旋转瞄准镜片沿水平中间轴旋转,Y轴步进电机可以控制可旋转瞄准镜片沿垂直中间轴旋转。
进一步地,处理器控制激光器持续发射激光,并通过获取到的天牛目标器官的位置信息确定可旋转瞄准镜片的旋转角度以及旋转路径。其中,旋转角度可以是激光破坏的起点对应的角度以及激光破坏的终点对应的角度,旋转路径可以是从激光破坏的起点对应的角度到激光破坏的终点对应的角度时,可旋转瞄准镜片所需要旋转的路径。
基于确定后的可旋转瞄准镜片的旋转角度以及旋转路径,控制X轴步进电机和Y轴步进电机动作,可以是步进电机的步进动作,也可以是步进电机的步退动作,以控制可旋转瞄准镜片旋转。
进一步地,激光器持续发射的激光经过该可旋转瞄准镜片,反射至天牛目标器官处以破坏天牛目标器官。
作为一种可选实施例,X轴步进电机和Y轴步进电机均包含光电编码盘,光电编码盘是一种用于测量旋转运动或线性位移的装置,能够有效提高步进电机的控制精度。
作为一种可选实施例,X轴步进电机和Y轴步进电机均连接有一减速机,通过连接减速机,也能够达到提高步进电机的控制精度的效果。
本发明提供的天牛破坏系统,通过设置可旋转瞄准镜片,并通过X轴步进电机与Y轴步进电机控制可旋转瞄准镜片的旋转,可以实现快速瞄准,避免移动沉重而精密的激光器。
图7是本发明提供的电子设备的结构示意图,如图7所示,该电子设备可以包括:处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740,其中,处理器710,通信接口720,存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令,以执行天牛灭杀方法,该方法包括:步骤S1,获取目标区域的第一图像,所述目标区域是用于灭杀天牛的区域;步骤S2,将所述第一图像输入至第一模型,获取由所述第一模型输出的第一识别图像,所述第一识别图像为在所述第一图像上标识出识别区域的图像,所述识别区域为存在天牛的区域;步骤S3,在确定所述第一识别图像中标识有识别区域的情况下,从所述第一识别图像中裁剪出每一识别区域,获取至少一个第二图像;步骤S4,将所述第二图像输入至第二模型,获取由所述第二模型输出的天牛目标器官的位置信息;步骤S5,基于所述位置信息,控制激光器破坏所述天牛目标器官;其中,所述第一模型是利用第一训练集训练得到的,所述第一训练集包括至少一个图像样本,以及在每一图像样本中标注出识别区域后形成的图像标签;所述第二模型是利用第二训练集训练得到的,所述第二训练集包括至少一个图像样本,以及每一图像样本对应的天牛目标器官的位置信息标签。
此外,上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各实施例所提供的天牛灭杀方法,该方法包括:步骤S1,获取目标区域的第一图像,所述目标区域是用于灭杀天牛的区域;步骤S2,将所述第一图像输入至第一模型,获取由所述第一模型输出的第一识别图像,所述第一识别图像为在所述第一图像上标识出识别区域的图像,所述识别区域为存在天牛的区域;步骤S3,在确定所述第一识别图像中标识有识别区域的情况下,从所述第一识别图像中裁剪出每一识别区域,获取至少一个第二图像;步骤S4,将所述第二图像输入至第二模型,获取由所述第二模型输出的天牛目标器官的位置信息;步骤S5,基于所述位置信息,控制激光器破坏所述天牛目标器官;其中,所述第一模型是利用第一训练集训练得到的,所述第一训练集包括至少一个图像样本,以及在每一图像样本中标注出识别区域后形成的图像标签;所述第二模型是利用第二训练集训练得到的,所述第二训练集包括至少一个图像样本,以及每一图像样本对应的天牛目标器官的位置信息标签。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的天牛灭杀方法,该方法包括:步骤S1,获取目标区域的第一图像,所述目标区域是用于灭杀天牛的区域;步骤S2,将所述第一图像输入至第一模型,获取由所述第一模型输出的第一识别图像,所述第一识别图像为在所述第一图像上标识出识别区域的图像,所述识别区域为存在天牛的区域;步骤S3,在确定所述第一识别图像中标识有识别区域的情况下,从所述第一识别图像中裁剪出每一识别区域,获取至少一个第二图像;步骤S4,将所述第二图像输入至第二模型,获取由所述第二模型输出的天牛目标器官的位置信息;步骤S5,基于所述位置信息,控制激光器破坏所述天牛目标器官;其中,所述第一模型是利用第一训练集训练得到的,所述第一训练集包括至少一个图像样本,以及在每一图像样本中标注出识别区域后形成的图像标签;所述第二模型是利用第二训练集训练得到的,所述第二训练集包括至少一个图像样本,以及每一图像样本对应的天牛目标器官的位置信息标签。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (21)
1.一种天牛灭杀方法,其特征在于,包括:
步骤S1,获取目标区域的第一图像,所述目标区域是用于灭杀天牛的区域;
步骤S2,将所述第一图像输入至第一模型,获取由所述第一模型输出的第一识别图像,所述第一识别图像为在所述第一图像上标识出识别区域的图像,所述识别区域为存在天牛的区域;
步骤S3,在确定所述第一识别图像中标识有识别区域的情况下,从所述第一识别图像中裁剪出每一识别区域,获取至少一个第二图像;
步骤S4,将所述第二图像输入至第二模型,获取由所述第二模型输出的天牛目标器官的位置信息;
步骤S5,基于所述位置信息,控制激光器破坏所述天牛目标器官;
其中,所述第一模型是利用第一训练集训练得到的,所述第一训练集包括至少一个图像样本,以及在每一图像样本中标注出识别区域后形成的图像标签;
所述第二模型是利用第二训练集训练得到的,所述第二训练集包括至少一个图像样本,以及每一图像样本对应的天牛目标器官的位置信息标签。
2.根据权利要求1所述的天牛灭杀方法,其特征在于,所述第一模型用于基于输入的第一图像,输出对所述第一图像进行识别后的第一识别图像;所述第一识别图像标识有所述识别区域以及所述识别区域中所存在的天牛的触角数量;所述触角数量包括双触角、单触角以及无触角;
对应地,所述第一训练集的图像标签还标注有每一图像样本中的识别区域中所存在的天牛对应的触角数量标签。
3.根据权利要求2所述的天牛灭杀方法,其特征在于,所述第二模型包括有第一子模型;
所述步骤S4,包括:
将所述第二图像输入至所述第一子模型,获取由所述第一子模型输出的双侧触角根部位置信息;
相应地,所述步骤S5,包括:
基于所述双侧触角根部位置信息,控制激光器切断天牛的至少一侧触角根部。
4.根据权利要求3所述的天牛灭杀方法,其特征在于,所述第二模型还包括第二子模型;
在执行所述步骤S5之后,还包括:
步骤S6,重新获取所述目标区域的第三图像;
步骤S7,将所述第三图像输入至所述第一模型,获取由所述第一模型输出的第二识别图像,所述第二识别图像标识有识别区域以及每一识别区域中所存在的天牛的触角数量;
步骤S8,在确定所述第二识别图像中的任一识别区域中所存在的天牛的触角数量为单触角的情况下,在所述第二识别图像中确定每一识别区域对应的扩大识别区域;
步骤S9,从所述第二识别图像中裁剪出每一扩大识别区域,获取至少一个第四图像;
步骤S10,将任一所述第四图像输入至所述第二子模型,获取由所述第二子模型输出的单侧触角根部位置信息;
步骤S11,基于所述单侧触角根部位置信息,控制所述激光器切断所述天牛的另一侧触角根部;
步骤S12,迭代执行将下一第四图像输入至所述第二子模型,至基于所述下一第四图像的单侧触角根部位置信息,控制所述激光器切断所述天牛的另一侧触角根部的步骤,直至确定所述第二识别图像中的所有识别区域中所存在的天牛的触角数量均为无触角。
5.根据权利要求4所述的天牛灭杀方法,其特征在于,在确定所述第二识别图像中的所述任一识别区域中所存在的天牛的触角数量为双触角的情况下,则返回执行步骤S3。
6.根据权利要求4所述的天牛灭杀方法,其特征在于,在确定所述第二识别图像中的所述任一识别区域中所存在的天牛的触角数量为无触角的情况下,则确定所述第二识别图像中的下一识别区域中所存在的天牛的触角数量,直至确定所有识别区域中所存在的天牛的触角数量均为无触角。
7.根据权利要求4所述的天牛灭杀方法,其特征在于,所述第二模型还包括第三子模型;
在执行所述步骤S12后,还包括:
步骤S13,重新获取所述目标区域的第五图像;
步骤S14,将所述第五图像输入至所述第一模型,获取由所述第一模型输出的第三识别图像,所述第三识别图像标识有识别区域以及每一识别区域中所存在的天牛的触角数量;
步骤S15,在确定所述第三识别图像中的所有识别区域中所存在的天牛的触角数量均为无触角的情况下,在所述第三识别图像中确定每一扩大识别区域;
步骤S16,从所述第三识别图像中裁剪出每一扩大识别区域,获取至少一个第六图像;
步骤S17,将任一所述第六图像输入至所述第三子模型,获取由所述第三子模型输出的复眼位置信息;
步骤S18,基于所述复眼位置信息,控制所述激光器烧毁所述天牛的至少一侧复眼;
步骤S19,迭代执行将下一第六图像输入至所述第三子模型,至基于所述下一第六图像的复眼位置信息,控制所述激光器烧毁所述天牛的至少一侧复眼的步骤,直至遍历所有所述第六图像。
8.根据权利要求7所述的天牛灭杀方法,其特征在于,在确定所述第三识别图像中的任一识别区域的触角数量为双触角的情况下,则返回执行步骤S3。
9.根据权利要求7所述的天牛灭杀方法,其特征在于,在确定所述第三识别图像中的任一识别区域的触角数量为单触角的情况下,则返回执行步骤S9。
10.根据权利要求7所述的天牛灭杀方法,其特征在于,在执行所述步骤S19后,还包括:
步骤S20,重新获取所述目标区域的第七图像;
步骤S21,将所述第七图像输入至所述第一模型,获取由所述第一模型输出的与所述第七图像相关的第四识别图像,所述第四识别图像标识有识别区域以及每一识别区域中所存在的天牛的触角数量;
步骤S22,在确定所述第四识别图像中的所有识别区域中所存在的天牛的触角数量均为无触角的情况下,在所述第四识别图像中确定每一扩大识别区域;
步骤S23,从所述第四识别图像中裁剪出每一扩大识别区域,获取至少一个第八图像;
步骤S24,将任一所述第八图像输入至所述第三子模型,获取由所述第三子模型输出的复眼位置信息;
步骤S25,基于所述复眼位置信息,控制所述激光器烧毁所述天牛的至少一侧复眼;
步骤S26,迭代执行将下一第八图像输入至所述第三子模型,至基于所述下一第八图像的复眼位置信息,控制所述激光器烧毁所述天牛的至少一侧复眼的步骤,直至遍历所有所述第八图像。
11.根据权利要求10所述的天牛灭杀方法,其特征在于,在确定所述第四识别图像中的任一识别区域的触角数量为双触角的情况下,则返回执行步骤S3。
12.根据权利要求10所述的天牛灭杀方法,其特征在于,在确定所述第四识别图像中的任一识别区域的触角数量为单触角的情况下,则返回执行步骤S9。
13.根据权利要求10所述的天牛灭杀方法,其特征在于,所述第二模型还包括第四子模型;
在执行所述步骤S26之后,还包括:
步骤S27,重新获取所述目标区域的第九图像;
步骤S28,将所述第九图像输入至所述第一模型,获取由所述第一模型输出的第五识别图像,所述第五识别图像标识有识别区域以及每一识别区域中所存在的天牛的触角数量;
步骤S29,在确定所述第五识别图像中的所有识别区域中所存在的天牛的触角数量均为无触角的情况下,在所述第五识别图像中确定每一所述扩大识别区域;
步骤S30,从所述第五识别图像中裁剪出每一扩大识别区域,获取至少一个第十图像;
步骤S31,将任一所述第十图像输入至所述第四子模型,获取由所述第四子模型输出的头胸交接部位置信息;
步骤S32,基于所述头胸交接部位置信息,控制所述激光器切断所述天牛的头胸交接部;
步骤S33,迭代执行将下一第十图像输入至所述第四子模型,至基于所述下一第十图像的头胸交接部位置信息,控制所述激光器切断所述天牛的头胸交接部的步骤,直至遍历所有所述第十图像;
步骤S34,清理天牛残骸,并在预设采样间隔后,返回执行步骤S1。
14.根据权利要求13所述的天牛灭杀方法,其特征在于,在确定所述第五识别图像中的任一识别区域的触角数量为双触角的情况下,则返回执行步骤S3。
15.根据权利要求13所述的天牛灭杀方法,其特征在于,在确定所述第五识别图像中的任一识别区域的触角数量为单触角的情况下,则返回执行步骤S9。
16.根据权利要求1所述的天牛灭杀方法,其特征在于,在确定所述第一识别图像中未标识有识别区域的情况下,在预设采样间隔后,返回执行步骤S1。
17.根据权利要求1所述的天牛灭杀方法,其特征在于,还包括:
获取一个作业周期内所有第一识别图像中的识别区域的总数量,作为累计增量;
将所述累计增量作为所述一个作业周期内的天牛灭杀数量。
18.一种天牛灭杀系统,其特征在于,包括:摄像装置、承载部、激光器、处理器;
所述承载部位于灭杀天牛的目标区域内;
所述处理器,用于执行以下步骤:
控制所述摄像装置,获取所述目标区域的第一图像;
将所述第一图像输入至第一模型,获取由所述第一模型输出的第一识别图像,所述第一识别图像为在所述第一图像上标识出识别区域的图像,所述识别区域为存在天牛的区域;
在确定所述第一识别图像中标识有识别区域的情况下,从所述第一识别图像中裁剪出每一识别区域,获取至少一个第二图像;
将所述第二图像输入至第二模型,获取由所述第二模型输出的天牛目标器官的位置信息;
基于所述位置信息,控制所述激光器破坏所述天牛目标器官;
其中,所述第一模型是利用第一训练集训练得到的,所述第一训练集包括至少一个图像样本,以及在每一图像样本中标注出识别区域后形成的图像标签;
所述第二模型是利用第二训练集训练得到的,所述第二训练集包括至少一个图像样本,以及每一图像样本对应的天牛目标器官的位置信息标签。
19.根据权利要求18所述的天牛灭杀系统,其特征在于,还包括可旋转瞄准镜片、X轴步进电机以及Y轴步进电机;
所述处理器与所述X轴步进电机和所述Y轴步进电机通讯连接,所述X轴步进电机控制所述可旋转瞄准镜片沿水平中间轴旋转,所述Y轴步进电机控制所述可旋转瞄准镜片沿垂直中间轴旋转;
所述处理器基于所述位置信息,控制激光器破坏所述天牛目标器官,具体包括:
控制所述激光器持续发射激光;
基于所述位置信息确定所述可旋转瞄准镜片的旋转角度以及旋转路径,控制所述X轴步进电机和所述Y轴步进电机动作,以控制所述可旋转瞄准镜片旋转;所述激光经所述可旋转瞄准镜片,反射至所述天牛目标器官处以破坏所述天牛目标器官。
20.根据权利要求19所述的天牛灭杀系统,其特征在于,所述X轴步进电机和所述Y轴步进电机均包含光电编码盘。
21.根据权利要求19所述的天牛灭杀系统,其特征在于,所述X轴步进电机和所述Y轴步进电机均连接有一减速机。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310668137.3A CN116391693B (zh) | 2023-06-07 | 2023-06-07 | 天牛灭杀方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310668137.3A CN116391693B (zh) | 2023-06-07 | 2023-06-07 | 天牛灭杀方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116391693A true CN116391693A (zh) | 2023-07-07 |
CN116391693B CN116391693B (zh) | 2023-09-19 |
Family
ID=87016518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310668137.3A Active CN116391693B (zh) | 2023-06-07 | 2023-06-07 | 天牛灭杀方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116391693B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015096041A (ja) * | 2013-11-15 | 2015-05-21 | 弘崇 新妻 | レーザーによる害獣と害虫の追い払い |
CN106373136A (zh) * | 2015-07-22 | 2017-02-01 | 崔胡晋 | 一种基于颜色和特征的害虫识别计数方法 |
CN106804560A (zh) * | 2016-12-16 | 2017-06-09 | 东莞市万科建筑技术研究有限公司 | 激光灭蚊装置及方法 |
CN107094734A (zh) * | 2017-04-01 | 2017-08-29 | 史德成 | 能自动识别并杀死害虫的激光杀虫器 |
KR20190011378A (ko) * | 2017-07-25 | 2019-02-07 | 주식회사 엑사토 | 해충 포획장치 |
CN109670532A (zh) * | 2018-11-23 | 2019-04-23 | 腾讯科技(深圳)有限公司 | 生物体器官组织图像的异常识别方法、装置及系统 |
CN112513880A (zh) * | 2018-07-29 | 2021-03-16 | Bzigo有限责任公司 | 用于定位和消除昆虫的系统和方法 |
CN114140663A (zh) * | 2021-12-03 | 2022-03-04 | 齐鲁工业大学 | 一种基于多尺度注意力学习网络的害虫识别方法及系统 |
CN114723658A (zh) * | 2021-01-07 | 2022-07-08 | 辉达公司 | 图像处理应用中的目标对象检测 |
WO2023089945A1 (ja) * | 2021-11-17 | 2023-05-25 | 国立大学法人大阪大学 | 照射装置および照射方法 |
-
2023
- 2023-06-07 CN CN202310668137.3A patent/CN116391693B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015096041A (ja) * | 2013-11-15 | 2015-05-21 | 弘崇 新妻 | レーザーによる害獣と害虫の追い払い |
CN106373136A (zh) * | 2015-07-22 | 2017-02-01 | 崔胡晋 | 一种基于颜色和特征的害虫识别计数方法 |
CN106804560A (zh) * | 2016-12-16 | 2017-06-09 | 东莞市万科建筑技术研究有限公司 | 激光灭蚊装置及方法 |
CN107094734A (zh) * | 2017-04-01 | 2017-08-29 | 史德成 | 能自动识别并杀死害虫的激光杀虫器 |
KR20190011378A (ko) * | 2017-07-25 | 2019-02-07 | 주식회사 엑사토 | 해충 포획장치 |
CN112513880A (zh) * | 2018-07-29 | 2021-03-16 | Bzigo有限责任公司 | 用于定位和消除昆虫的系统和方法 |
CN109670532A (zh) * | 2018-11-23 | 2019-04-23 | 腾讯科技(深圳)有限公司 | 生物体器官组织图像的异常识别方法、装置及系统 |
CN114723658A (zh) * | 2021-01-07 | 2022-07-08 | 辉达公司 | 图像处理应用中的目标对象检测 |
WO2023089945A1 (ja) * | 2021-11-17 | 2023-05-25 | 国立大学法人大阪大学 | 照射装置および照射方法 |
CN114140663A (zh) * | 2021-12-03 | 2022-03-04 | 齐鲁工业大学 | 一种基于多尺度注意力学习网络的害虫识别方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116391693B (zh) | 2023-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2013069059A1 (en) | Pest control system, pest control method and pest control program | |
JP6821529B2 (ja) | 管理装置、プログラム及び管理方法 | |
CN111316964B (zh) | 一种激光灭蚊清洁机器人 | |
Wilson | Prey capture and competition in the ant lion | |
CN106508513A (zh) | 农业互联除虫除草方法 | |
KR102028363B1 (ko) | 유해성 말벌 퇴치 시스템 | |
CN109799760A (zh) | 电力行业的驱鸟机器人控制系统及控制方法 | |
CN116391693B (zh) | 天牛灭杀方法及系统 | |
US20210259235A1 (en) | Detection of animal intrusions and control of a repellent mechanism for detected animal intrusions | |
CN110063326A (zh) | 基于卷积神经网络的智能驱鸟方法 | |
CN104782606A (zh) | 用于输电线路中的激光驱鸟系统 | |
CA2600631C (en) | Electroshock wand for aquatic creatures | |
Henderson et al. | Arboreal and fossorial reptiles | |
JP2017205033A (ja) | 鳥獣害対策システム | |
JP2020069833A (ja) | ドローンによる建物の狭隘空間での作業方法 | |
CN107455361A (zh) | 一种激光语音综合驱鸟装置 | |
CN106603993B (zh) | 基于立体视觉的灯诱昆虫图像采集装置及方法 | |
DE102016108936B3 (de) | Verfahren zum Betrieb eines Roboters zur Ungezieferbekämpfung | |
JP2020058256A (ja) | 害鳥忌避装置 | |
WO2023089945A1 (ja) | 照射装置および照射方法 | |
LU100252B1 (fr) | Methode et dispositif de rassemblement de troupeau d'elevage en prairie via drone | |
JP2018174757A (ja) | ジビエ用の野生動物をドローンによる捕獲牧育するための管理システム | |
CN112101198A (zh) | 果园智能监测方法及装置 | |
CN113016766A (zh) | 一种智能温室杂草识别去除系统及其控制方法 | |
CN113384196B (zh) | 基于扫地机器人诱捕蟑螂的方法、装置及扫地机器人 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |