CN117649608B - 基于遥感监测的松材线虫病识别系统及方法 - Google Patents

基于遥感监测的松材线虫病识别系统及方法 Download PDF

Info

Publication number
CN117649608B
CN117649608B CN202410117356.7A CN202410117356A CN117649608B CN 117649608 B CN117649608 B CN 117649608B CN 202410117356 A CN202410117356 A CN 202410117356A CN 117649608 B CN117649608 B CN 117649608B
Authority
CN
China
Prior art keywords
pine wood
image data
remote sensing
nematode
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410117356.7A
Other languages
English (en)
Other versions
CN117649608A (zh
Inventor
张利
宋其岩
刘建霞
陈友吾
唐小强
王盼
徐舟
何建社
陈锐
杨文静
郭晓洁
叶碧欢
李海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aba Forestry And Grassland Science And Technology Research Institute
Zhejiang Academy of Forestry
Original Assignee
Aba Forestry And Grassland Science And Technology Research Institute
Zhejiang Academy of Forestry
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aba Forestry And Grassland Science And Technology Research Institute, Zhejiang Academy of Forestry filed Critical Aba Forestry And Grassland Science And Technology Research Institute
Priority to CN202410117356.7A priority Critical patent/CN117649608B/zh
Publication of CN117649608A publication Critical patent/CN117649608A/zh
Application granted granted Critical
Publication of CN117649608B publication Critical patent/CN117649608B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Catching Or Destruction (AREA)

Abstract

本申请公开了基于遥感监测的松材线虫病识别系统及方法,涉及无人机遥感技术领域。包括收集患线虫病松材的遥感影像和RGB图像数据,遥感影像数据录入第一识别模型后进行训练;RGB图像数据录入第二识别模型后进行训练;高空传感器采集待检测区域的遥感影像数据输入第一识别模型,识别出存在线虫病时,输出第一坐标;远距离飞行器获取第一坐标的RGB图像数据输入第二识别模型,识别出存在线虫病时,输出第二坐标;根据第二坐标前往实地核验,当核验结果为患病时,对患松材线虫病的松材进行消杀处理,通过多层且准确度逐渐提高的方式,减少所述远距离飞行器及人工巡林的范围,避免人工无目的的巡林,耗费时间以及精力,实现快速对患病松材的识别及处理。

Description

基于遥感监测的松材线虫病识别系统及方法
技术领域
本申请涉及无人机遥感技术领域,具体涉及基于遥感监测的松材线虫病识别系统及方法。
背景技术
松材线虫病又称松树萎蔫病,是松树的一种毁灭性流行病,松褐天牛作为主要的传媒昆虫进行传播,是全球森林生态系统中最具危害性的病害之一。该病具有传播途径广、速度快和防治难度大等特点,被称为“松树的癌症”。它不仅给国民经济造成巨大损失,也破坏了自然景观及生态环境,对中国丰富的松林资源构成严重威胁。
尽早、准确和高效的松材线虫病疫情监测,对于全面掌握疫情信息、及时遏制松材线虫病疫情蔓延有着重要意义,目前松材线虫病疫情监测方法主要以人工巡林为主,该方法准确度高,但人工巡林的范围有限,费时费力,且不能准确地掌握松材患病的发展趋向,同时目前也有遥感技术可以对大面积林场进行监控,通过将遥感影像与患线虫病松材进行对比,得出林场内松材是否患线虫病,但遥感影像像素较低导致准确度不高,因此需要一种基于遥感监测的松材线虫病识别系统及方法,可以结合多种监测方法对大面积林场的松材线虫病进行高准确度的识别和处理。
发明内容
本申请针对人工巡林的范围有限,费时费力,遥感技术可以对大面积林场进行监控,但像素较低导致准确度不高的问题,因此本申请提供基于遥感监测的松材线虫病识别系统及方法,通过多级识别方法,逐步对可能患松材线虫病的松材进行识别,提高遥感监测的准确度和减小人工巡林的范围,具体技术方案如下:
在本申请的第一方面,提供基于遥感监测的松材线虫病识别系统,包括:
识别训练模块,收集患线虫病松材的遥感影像数据,将所述遥感影像数据录入第一识别模型后进行训练,获得可识别遥感影像中线虫病的识别模型;收集患线虫病松材的RGB图像数据,将所述RGB图像数据录入第二识别模型后进行训练,获得可识别RGB图像中线虫病的识别模型;
数据获取模块,采用高空传感器采集待检测区域的遥感影像数据,将所述遥感影像数据输入所述第一识别模型,当所述第一识别模型识别出所述遥感影像数据中存在线虫病时,输出存在线虫病的遥感影像以及坐标,该坐标作为第一坐标;远距离飞行器前往获取所述第一坐标的RGB图像数据,将所述RGB图像数据输入所述第二识别模型,当所述第二识别模型识别出所述RGB图像数据中存在线虫病时,输出存在线虫病的RGB图像以及坐标,该坐标作为第二坐标;
人工处理模块,根据所述第二坐标前往实地核验,核验结果包括确认患病和不患病,当核验结果为患病时,对患松材线虫病的松材进行消杀处理。
在本申请一实施例中,所述数据获取模块还包括分级监控子模块,当所述人工处理模块的核验结果为患病时,所述高空传感器根据与患线虫病松材的距离,将待检测区域划分为不同级别的监控区域,距离患线虫病松材越近的区域级别越高,高空传感器对级别越高的区域采集遥感影像数据的频率越高。
在本申请一实施例中,所述人工处理模块中还包括运输路径子模块,所述运输路径子模块记录患松材线虫病的松材进行消杀处理前的运输路径,根据患线虫病松材的运输路径,将运输路径及路径周边划分为监控区域。
在本申请一实施例中,所述运输路径子模块根据患松材线虫病的松材的运输行进的不同速度,将路径所在区域划分不同级别的监控区域。
在本申请一实施例中,所述分级监控子模块还包括季节-气温传感器,所述季节-气温传感器用于确定当前所处季节以及当前气温,根据待检测区域内的松材线虫及媒介昆虫的繁殖周期以及在各季节和温度下活性,更新当下各级别监控区域的覆盖范围。
在本申请一实施例中,所述分级监控子模块还包括气流传感器,所述气流传感器采集待检测区域的气流数据,所述气流数据包括气流方向以及气流强度,不同级别的监控区域的覆盖范围向所处位置的所述气流方向偏移更新,偏移量根据所述气流强度确定,保留各级别监控区域在各方向上距离患线虫病松材的最远距离作为各级别监控区域的覆盖范围,保留时间为当前时间松材线虫感染松材至所述第一识别模型识别出松材出现患病状态的时间。
在本申请一实施例中,所述数据获取模块中还包括路径规划子模块,所述路径规划子模块获取所述第一识别模型每次识别出的所有所述第一坐标,计算得出所述远距离飞行器往返所有所述第一坐标所需要的能耗以及往返所述第一坐标之间所需要的能耗,组合得出能耗最低的飞行路线。
在本申请一实施例中,所述路径规划子模块对所述远距离飞行器的进行路径规划时,根据所述气流传感器获取待检测区域的所述气流数据,得到不同的飞行路线上存在的气流对飞行的增益效果或阻碍效果,结合所述远距离飞行器的飞行动力学模型,得到最优飞行方案。
在本申请一实施例中,所述远距离飞行器前往获取所述第一坐标的RGB图像数据时,保存所述远距离飞行器的停留拍摄位置,当所述人工处理模块的核验结果为患病时,获得不同级别的监控区域,根据保存的所述远距离飞行器停留拍摄位置,所述第一坐标靠近所述远距离飞行器一侧的监控区域覆盖范围向靠近所述第一坐标的方向偏移更新,所述第一坐标远离所述远距离飞行器一侧监控区域的覆盖范围向远离所述第一坐标的方向偏移更新。
在本申请的第二方面,提供基于遥感监测的松材线虫病识别方法,包括:
收集患线虫病松材的遥感影像数据,将所述遥感影像数据录入第一识别模型后进行训练,获得可识别遥感影像中线虫病的识别模型;收集患线虫病松材的RGB图像数据,将所述RGB图像数据录入第二识别模型后进行训练,获得可识别RGB图像中线虫病的识别模型;
采用高空传感器采集待检测区域的遥感影像数据,将所述遥感影像数据输入所述第一识别模型,当所述第一识别模型识别出所述遥感影像数据中存在线虫病时,输出存在线虫病的遥感影像以及坐标,该坐标作为第一坐标;远距离飞行器前往获取所述第一坐标的RGB图像数据,将所述RGB图像数据输入所述第二识别模型,当所述第二识别模型识别出所述RGB图像数据中存在线虫病时,输出存在线虫病的RGB图像以及坐标,该坐标作为第二坐标;
根据所述第二坐标前往实地核验,核验结果包括确认患病和不患病,当核验结果为患病时,对患松材线虫病的松材进行消杀处理。
在本申请一实施例中,当所述人工处理模块的核验结果为患病时,所述高空传感器根据与患线虫病松材的距离,将待检测区域划分为不同级别的监控区域,距离患线虫病松材越近的区域级别越高,高空传感器对级别越高的区域采集遥感影像数据的频率越高。
在本申请一实施例中,记录患松材线虫病的松材进行消杀处理前的运输路径,根据患线虫病松材的运输路径,将运输路径及路径周边划分为监控区域。
在本申请一实施例中,根据患松材线虫病的松材的运输行进的不同速度,将路径所在区域划分不同级别的监控区域。
在本申请一实施例中,还包括季节-气温传感器,所述季节-气温传感器用于确定当前所处季节以及当前气温,根据待检测区域内的松材线虫及媒介昆虫的繁殖周期以及在各季节和温度下活性,更新当下各级别监控区域的覆盖范围。
在本申请一实施例中,还包括气流传感器,所述气流传感器采集待检测区域的气流数据,所述气流数据包括气流方向以及气流强度,不同级别的监控区域的覆盖范围向所处位置的所述气流方向偏移更新,偏移量根据所述气流强度确定,保留各级别监控区域在各方向上距离患线虫病松材的最远距离作为各级别监控区域的覆盖范围,保留时间为当前时间松材线虫感染松材至所述第一识别模型识别出松材出现患病状态的时间。
在本申请一实施例中,获取所述第一识别模型每次识别出的所有所述第一坐标,计算得出所述远距离飞行器往返所有所述第一坐标所需要的能耗以及往返所述第一坐标之间所需要的能耗,组合得出能耗最低的飞行路线。
在本申请一实施例中,对所述远距离飞行器的进行路径规划时,根据所述气流传感器获取待检测区域的所述气流数据,得到不同的飞行路线上存在的气流对飞行的增益效果或阻碍效果,结合所述远距离飞行器的飞行动力学模型,得到最优飞行方案。
在本申请一实施例中,所述远距离飞行器前往获取所述第一坐标的RGB图像数据时,保存所述远距离飞行器的停留拍摄位置,当所述人工处理模块的核验结果为患病时,获得不同级别的监控区域,根据保存的所述远距离飞行器停留拍摄位置,所述第一坐标靠近所述远距离飞行器一侧的监控区域覆盖范围向靠近所述第一坐标的方向偏移更新,所述第一坐标远离所述远距离飞行器一侧监控区域的覆盖范围向远离所述第一坐标的方向偏移更新。
本申请具有以下有益效果:
1、本实施方式中,首先通过所述第一识别模型对大面积的遥感影像数据进行识别,当识别出线虫病时,输出所述第一坐标,所述远距离飞行器根据所述第一坐标前往核查,拍摄所述RGB图像数据并进行所述第二识别模型的识别,所述第二识别模型识别出线虫病后再通知工作人员前往所述第二坐标进行现场核查,所述RGB图像数据像素、准确度高于所述遥感影像数据,所述人工核查松材是否患线虫病的准确度高于所述第二识别模型识别所述RGB图像数据的结果,通过多层且准确度逐渐提高的方式,逐步对所述待检测区域进行高准确度的识别,减少所述远距离飞行器及人工巡林的范围,避免人工无目的的巡林或识别误差较大,导致工作人员多次前往但松材没有患病的情况,耗费时间以及精力,实现快速对患病松材的识别及处理,同时还可以通过人工核验的结果,体现获取得到的所述遥感影像和RGB图像是否患病,返回对所述第一识别模型和所述第二识别模型进行再次训练,提高所述第一识别模型和所述第二识别模型识别准确度。
2、考虑到遥感数据资源需要耗费资源,因此可以对待检测区域进行监控等级划分,调配更多资源对等级高的区域进行采集数据,或者对等级高的区域使用更高频率的数据采集,而划分方式为所述人工处理模块的核验结果为患病时,所述高空传感器根据与患线虫病松材的距离,将待检测区域划分为不同级别的监控区域,距离患线虫病松材越近的区域级别越高,例如所述人工处理模块的核验结果为患病时,以患病松材为中心,半径10米范围内为3级监控区,半径50米内为2级监控区,半径200米内为1级监控区;同时根据后续核查出线虫病的松材位置,调整不同级别的监控范围的区域大小,例如后续核查出线虫病的位置距离前患病松材12米、13米,则可将3级监控区的半径范围调整为15米;多次核验出的松材患病地点,结合先后核验的顺序,当出现松材患病呈现向其中一个方向发展时,得出松材线虫病的发展趋向,此时将不同级别的监控区域覆盖范围向发展趋向进行偏移,将更多的资源调配至松材线虫病的发展趋向的位置。
3、考虑到人工核验松材患病后进行的消杀处理通常会将患病松材集中运输至空地进行粉碎处理或焚烧处理,则需要将患病松材运输至集中处理位置,而此时患病松材在运输过程中容易出现枝干掉落以及树干上的松褐天牛飞走,导致线虫病传染给运输路径周边的松材,此时记录患病松材的运输路径,将路径周边划分为监控区域;进一步的,考虑到患病松材的运输过程中包括小路采用的人工搬运和大路采用的机械搬运,而人工搬运和机械搬运的速度不同,相对而言速度越慢,周边被传染的风险则越大,当速度慢至为零时的休息时间或达到集中处理地时,风险最大,因此将速度快慢体现为患病松材在同一区域存在的时间长短,存在时间越长,该区域周边的监控等级越高,实现对患病松材运输路径上可能存在的传染风险进行不同等级的监控。
4、考虑到不同地区的不同季节温度下,松材线虫以及松褐天牛的活性不同,因此通过所述季节-气温传感器获取当前时间所处季节以及当前温度,对应当前地区松材线虫以及松褐天牛的繁殖活性情况,对应调整不同级别监控区域的覆盖范围,例如在冬季松材线虫以及松褐天牛活性较低,此时线虫病传染概率较小,将3级监控区的半径范围调整为5米;同时根据当前时间松材线虫的活性,确定当前从传染到可识别出患病所需最长时间,当超过最长时间,以该患病松材为中心确定的不同级别的监控区域取消监控;通过不同地区、不同时间和不同温度灵活调整不同级别的监控区间的覆盖范围以及监控时间,有效节省监控资源。
5、考虑待检测区域范围较大,且很多松材处于会出现大风的山上,而出现大风时松褐天牛容易被大风吹走吹散,导致更快速、严重的传染,因此通过设置所述气流传感器,监控林场的气流数据,包括气流方向以及气流强度,所述监控区域的覆盖范围根据所述气流方向以及气流强度偏移更新,由于气流方向以及气流强度实时更新,因此会出现在基础的圆形区域的多个方向的凸出或凹陷偏移,而该偏移保留的时间为当前时间松材线虫感染松材至所述第一识别模型识别出松材出现患病状态的时间,也就是结合了当前时间、当前地区松材线虫以及松褐天牛的繁殖活性情况确定该偏移保留的时间,保留时间内没有出现传染情况,则不再对该偏移继续监控;进一步考虑工作人员进行现场核验后可能不会立刻对患病松材进行运输消杀,同时现场核验前,患病松材可能进行经过了一段时间的传染期,因此通过不同阶段的松材患病图像对所述第二识别模型进行训练,使所述第二识别模型可以识别出当前松材患病的阶段,根据当前松材的转移时间,确定当前松材以及已经经过的传染时间,人工核验确定不同级别的监控区域,结合之前已经经过的传染时间内的气流数据、季节-气温数据确定不同级别的监控区域的偏移以及偏移的保留时间。
6、考虑到所述第一识别模型可能识别出多个患线虫病的所述第一坐标,因此所述远距离飞行器需要前往多个坐标进行RGB图像的获取,因此在出发前多路径进行规划,计算出耗能最低的路线,结合所述远距离飞行器自身的总能源,当能耗最低的路线所消耗的能量高于总能源时,进行分次获取RGB图像;进一步的,进行路径规划时,获取所述气流传感器的所述气流数据,结合所述气流数据,得出当前气流对所述远距离飞行器飞行的增益或阻碍效果,同时调整自身的飞行姿态,得出最优飞行方案。
7、考虑到所述远距离飞行器前往获取所述第一坐标的RGB图像数据时,会对所述第一坐标进行近距离的拍摄,此时会对所述第一坐标的松材带来气流以及噪音,这些不同正常环境的气流以及噪音容易对可能存在的松褐天牛造成惊吓,导致松褐天牛向远离所述远距离飞行器的方向逃窜,因此根据保存的所述远距离飞行器停留拍摄位置,所述第一坐标靠近所述远距离飞行器一侧的监控区域覆盖范围向靠近所述第一坐标的方向偏移更新,所述第一坐标远离所述远距离飞行器一侧监控区域的覆盖范围向远离所述第一坐标的方向偏移更新。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1为本申请实施例涉及的基于遥感监测的松材线虫病识别系统的功能模块示意图。
图2是本申请实施例提供的基于遥感监测的松材线虫病识别方法的步骤流程图。
图3是本申请实施例提供的分级监控子模块将患病松材周边划分为三级监控区的效果示意图。
图4是本申请实施例提供的运输路径子模块将患病松材运输路径周边划分监控区的效果示意图。
图5是本申请实施例提供的远距离飞行器导致监控区偏移的效果示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本申请作进一步详细的说明。显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
下面结合附图对本申请的方案进一步说明。
参照图1,在本申请的第一方面,提供基于遥感监测的松材线虫病识别系统,包括:
识别训练模块,收集患线虫病松材的遥感影像数据,将所述遥感影像数据录入第一识别模型后进行训练,获得可识别遥感影像中线虫病的识别模型;收集患线虫病松材的RGB图像数据,将所述RGB图像数据录入第二识别模型后进行训练,获得可识别RGB图像中线虫病的识别模型;
需要说明的是,松材感染线虫病后,松材线虫会在松材内部迅速繁殖,此时树脂分泌减少或停止,蒸腾作用下降,随后针叶开始变色,树脂分泌停止,通常能够观察到天牛或其它甲虫侵害和产卵的痕迹;大部分针叶变为黄褐色,枯萎,通常可见到甲虫的蛀屑;针叶全部变为黄褐色,病树干枯死亡,但针叶不脱落。此时树体上一般有多种害虫栖居;整个过程通常为40天,收集现有的松材患病后的遥感图像和RGB图像,通过现有的遥感图像和RGB图像对神经网络进行训练,得到可以识别出松材是否患线虫病的识别模型;
数据获取模块,采用高空传感器采集待检测区域的遥感影像数据,将所述遥感影像数据输入所述第一识别模型,当所述第一识别模型识别出所述遥感影像数据中存在线虫病时,输出存在线虫病的遥感影像以及坐标,该坐标作为第一坐标;远距离飞行器前往获取所述第一坐标的RGB图像数据,将所述RGB图像数据输入所述第二识别模型,当所述第二识别模型识别出所述RGB图像数据中存在线虫病时,输出存在线虫病的RGB图像以及坐标,该坐标作为第二坐标;
需要说明的是,所述高空传感器为可以获得待检测区域的遥感影像数据的装置,包括卫星遥感、无人机遥感等;所述远距离飞行器可以搭载相机或包括成像装置,通过飞行到达所述第一坐标后对目标进行拍摄,得到所述RGB图像数据;
人工处理模块,根据所述第二坐标前往实地核验,核验结果包括确认患病和不患病,当核验结果为患病时,对患松材线虫病的松材进行消杀处理。
在本实施方式中,训练完成的所述第一识别模型用于识别所述高空传感器获取的遥感影像,当所述遥感影像数据中存在线虫病时,输出存在线虫病的遥感影像用于人工二次核对以及数据留底,以及输出所述第一坐标;所述远距离飞行器飞行前往所述第一坐标所在位置,采集所述第一坐标的所述RGB图像数据,通过所述第二识别模型识别所述RGB图像数据中是否存在线虫病,输出存在线虫病的RGB图像用于人工二次核对以及数据留底,以及输出所述第二坐标,工作人员再根据第二坐标进行实地核验,确认所述第二识别模型识别出线虫病的松材是否患病,如果患病则进行消杀处理;
本实施方式中,首先通过所述第一识别模型对大面积的遥感影像数据进行识别,当识别出线虫病时,输出所述第一坐标,所述远距离飞行器根据所述第一坐标前往核查,拍摄所述RGB图像数据并进行所述第二识别模型的识别,所述第二识别模型识别出线虫病后再通知工作人员前往所述第二坐标进行现场核查,所述RGB图像数据像素、准确度高于所述遥感影像数据,所述人工核查松材是否患线虫病的准确度高于所述第二识别模型识别所述RGB图像数据的结果,通过多层且准确度逐渐提高的方式,逐步对所述待检测区域进行高准确度的识别,减少所述远距离飞行器及人工巡林的范围,避免人工无目的的巡林或识别误差较大,导致工作人员多次前往但松材没有患病的情况,耗费时间以及精力,实现快速对患病松材的识别及处理,同时还可以通过人工核验的结果,体现获取得到的所述遥感影像和RGB图像是否患病,返回对所述第一识别模型和所述第二识别模型进行再次训练,提高所述第一识别模型和所述第二识别模型识别准确度。
在本申请一实施例中,参见图3所示,所述数据获取模块还包括分级监控子模块,当所述人工处理模块的核验结果为患病时,所述高空传感器根据与患线虫病松材的距离,将待检测区域划分为不同级别的监控区域,距离患线虫病松材越近的区域级别越高,高空传感器对级别越高的区域采集遥感影像数据的频率越高,参见图2所示,图中黑色实心区域示意为患病松材所在位置,从外到内不同的填充区域依次为1级监控区、2级监控区和3级监控区。
在本实施方式中,考虑到遥感数据资源需要耗费资源,因此可以对待检测区域进行监控等级划分,调配更多资源对等级高的区域进行采集数据,或者对等级高的区域使用更高频率的数据采集,而划分方式为所述人工处理模块的核验结果为患病时,所述高空传感器根据与患线虫病松材的距离,将待检测区域划分为不同级别的监控区域,距离患线虫病松材越近的区域级别越高,例如所述人工处理模块的核验结果为患病时,以患病松材为中心,半径10米范围内为3级监控区,半径50米内为2级监控区,半径200米内为1级监控区;同时根据后续核查出线虫病的松材位置,调整不同级别的监控范围的区域大小,例如后续核查出线虫病的位置距离前患病松材12米、13米,则可将3级监控区的半径范围调整为15米;
多次核验出的松材患病地点,结合先后核验的顺序,当出现松材患病呈现向其中一个方向发展时,得出松材线虫病的发展趋向,此时将不同级别的监控区域覆盖范围向发展趋向进行偏移,将更多的资源调配至松材线虫病的发展趋向的位置。
在本申请一实施例中,所述人工处理模块中还包括运输路径子模块,所述运输路径子模块记录患松材线虫病的松材进行消杀处理前的运输路径,根据患线虫病松材的运输路径,将运输路径及路径周边划分为监控区域。
在本申请一实施例中,所述运输路径子模块根据患松材线虫病的松材的运输行进的不同速度,将路径所在区域划分不同级别的监控区域,参见图4所示,图中有三处圆形监控区域中心代表患病松材,最左侧的圆形监控区域的松材示意为在大路边,采用机械运输,而中间和右侧圆形监控区域的松材示意为在小路边,采用人工搬运,中途凸出的部分代表有休息时间,导致休息位置周边的监控级别提高,图4中的虚线代表运输路径,最终三处患病松材经过运输,集中放置在图4最下方示意的圆形监控区域进行消杀处理。
在本实施方式中,考虑到人工核验松材患病后进行的消杀处理通常会将患病松材集中运输至空地进行粉碎处理或焚烧处理,则需要将患病松材运输至集中处理位置,而此时患病松材在运输过程中容易出现枝干掉落以及树干上的松褐天牛飞走,导致线虫病传染给运输路径周边的松材,此时记录患病松材的运输路径,将路径周边划分为监控区域;进一步的,考虑到患病松材的运输过程中包括小路采用的人工搬运和大路采用的机械搬运,而人工搬运和机械搬运的速度不同,相对而言速度越慢,周边被传染的风险则越大,当速度慢至为零时的休息时间或达到集中处理地时,风险最大,因此将速度快慢体现为患病松材在同一区域存在的时间长短,存在时间越长,该区域周边的监控等级越高,实现对患病松材运输路径上可能存在的传染风险进行不同等级的监控。
在本申请一实施例中,所述分级监控子模块还包括季节-气温传感器,所述季节-气温传感器用于确定当前所处季节以及当前气温,根据待检测区域内的松材线虫及媒介昆虫的繁殖周期以及在各季节和温度下活性,更新当下各级别监控区域的覆盖范围。
在本实施方式中,考虑到不同地区的不同季节温度下,松材线虫以及松褐天牛的活性不同,因此通过所述季节-气温传感器获取当前时间所处季节以及当前温度,对应当前地区松材线虫以及松褐天牛的繁殖活性情况,对应调整不同级别监控区域的覆盖范围,例如在冬季松材线虫以及松褐天牛活性较低,此时线虫病传染概率较小,将3级监控区的半径范围调整为5米;同时根据当前时间松材线虫的活性,确定当前从传染到可识别出患病所需最长时间,当超过最长时间,以该患病松材为中心确定的不同级别的监控区域取消监控;通过不同地区、不同时间和不同温度灵活调整不同级别的监控区间的覆盖范围以及监控时间,有效节省监控资源。
在本申请一实施例中,所述分级监控子模块还包括气流传感器,所述气流传感器采集待检测区域的气流数据,所述气流数据包括气流方向以及气流强度,不同级别的监控区域的覆盖范围向所处位置的所述气流方向偏移更新,偏移量根据所述气流强度确定,保留各级别监控区域在各方向上距离患线虫病松材的最远距离作为各级别监控区域的覆盖范围,保留时间为当前时间松材线虫感染松材至所述第一识别模型识别出松材出现患病状态的时间。
在本实施方式中,考虑待检测区域范围较大,且很多松材处于会出现大风的山上,而出现大风时松褐天牛容易被大风吹走吹散,导致更快速、严重的传染,因此通过设置所述气流传感器,监控林场的气流数据,包括气流方向以及气流强度,所述监控区域的覆盖范围根据所述气流方向以及气流强度偏移更新,由于气流方向以及气流强度实时更新,因此会出现在基础的圆形区域的多个方向的凸出或凹陷偏移,而该偏移保留的时间为当前时间松材线虫感染松材至所述第一识别模型识别出松材出现患病状态的时间,也就是结合了当前时间、当前地区松材线虫以及松褐天牛的繁殖活性情况确定该偏移保留的时间,保留时间内没有出现传染情况,则不再对该偏移继续监控;
进一步考虑工作人员进行现场核验后可能不会立刻对患病松材进行运输消杀,同时现场核验前,患病松材可能进行经过了一段时间的传染期,因此通过不同阶段的松材患病图像对所述第二识别模型进行训练,使所述第二识别模型可以识别出当前松材患病的阶段,根据当前松材的转移时间,确定当前松材以及已经经过的传染时间,人工核验确定不同级别的监控区域,结合之前已经经过的传染时间内的气流数据、季节-气温数据确定不同级别的监控区域的偏移以及偏移的保留时间。
在本申请一实施例中,所述数据获取模块中还包括路径规划子模块,所述路径规划子模块获取所述第一识别模型每次识别出的所有所述第一坐标,计算得出所述远距离飞行器往返所有所述第一坐标所需要的能耗以及往返所述第一坐标之间所需要的能耗,组合得出能耗最低的飞行路线。
在本申请一实施例中,所述路径规划子模块对所述远距离飞行器的进行路径规划时,根据所述气流传感器获取待检测区域的所述气流数据,得到不同的飞行路线上存在的气流对飞行的增益效果或阻碍效果,结合所述远距离飞行器的飞行动力学模型,得到最优飞行方案。
在本实施方式中,考虑到所述第一识别模型可能识别出多个患线虫病的所述第一坐标,因此所述远距离飞行器需要前往多个坐标进行RGB图像的获取,因此在出发前多路径进行规划,计算出耗能最低的路线,结合所述远距离飞行器自身的总能源,当能耗最低的路线所消耗的能量高于总能源时,进行分次获取RGB图像;进一步的,进行路径规划时,获取所述气流传感器的所述气流数据,结合所述气流数据,得出当前气流对所述远距离飞行器飞行的增益或阻碍效果,同时调整自身的飞行姿态,得出最优飞行方案。
在本申请一实施例中,所述远距离飞行器前往获取所述第一坐标的RGB图像数据时,保存所述远距离飞行器的停留拍摄位置,当所述人工处理模块的核验结果为患病时,获得不同级别的监控区域,根据保存的所述远距离飞行器停留拍摄位置,所述第一坐标靠近所述远距离飞行器一侧的监控区域覆盖范围向靠近所述第一坐标的方向偏移更新,所述第一坐标远离所述远距离飞行器一侧监控区域的覆盖范围向远离所述第一坐标的方向偏移更新,参见图5所示,图5中的黑色实心区域代表第一坐标,圆形虚线代表原本的监控范围,右侧代表远距离飞行器,圆形虚线边上的实线代表偏移后的监控范围,其余的监控范围的偏移也可参照本实施方式。
在本实施方式中,考虑到所述远距离飞行器前往获取所述第一坐标的RGB图像数据时,会对所述第一坐标进行近距离的拍摄,此时会对所述第一坐标的松材带来气流以及噪音,这些不同正常环境的气流以及噪音容易对可能存在的松褐天牛造成惊吓,导致松褐天牛向远离所述远距离飞行器的方向逃窜,因此根据保存的所述远距离飞行器停留拍摄位置,所述第一坐标靠近所述远距离飞行器一侧的监控区域覆盖范围向靠近所述第一坐标的方向偏移更新,所述第一坐标远离所述远距离飞行器一侧监控区域的覆盖范围向远离所述第一坐标的方向偏移更新。
参照图2,在本申请的第二方面,提供基于遥感监测的松材线虫病识别方法,包括:
收集患线虫病松材的遥感影像数据,将所述遥感影像数据录入第一识别模型后进行训练,获得可识别遥感影像中线虫病的识别模型;收集患线虫病松材的RGB图像数据,将所述RGB图像数据录入第二识别模型后进行训练,获得可识别RGB图像中线虫病的识别模型;
采用高空传感器采集待检测区域的遥感影像数据,将所述遥感影像数据输入所述第一识别模型,当所述第一识别模型识别出所述遥感影像数据中存在线虫病时,输出存在线虫病的遥感影像以及坐标,该坐标作为第一坐标;远距离飞行器前往获取所述第一坐标的RGB图像数据,将所述RGB图像数据输入所述第二识别模型,当所述第二识别模型识别出所述RGB图像数据中存在线虫病时,输出存在线虫病的RGB图像以及坐标,该坐标作为第二坐标;
根据所述第二坐标前往实地核验,核验结果包括确认患病和不患病,当核验结果为患病时,对患松材线虫病的松材进行消杀处理。
在本申请一实施例中,当所述人工处理模块的核验结果为患病时,所述高空传感器根据与患线虫病松材的距离,将待检测区域划分为不同级别的监控区域,距离患线虫病松材越近的区域级别越高,高空传感器对级别越高的区域采集遥感影像数据的频率越高。
在本申请一实施例中,记录患松材线虫病的松材进行消杀处理前的运输路径,根据患线虫病松材的运输路径,将运输路径及路径周边划分为监控区域。
在本申请一实施例中,根据患松材线虫病的松材的运输行进的不同速度,将路径所在区域划分不同级别的监控区域。
在本申请一实施例中,还包括季节-气温传感器,所述季节-气温传感器用于确定当前所处季节以及当前气温,根据待检测区域内的松材线虫及媒介昆虫的繁殖周期以及在各季节和温度下活性,更新当下各级别监控区域的覆盖范围。
在本申请一实施例中,还包括气流传感器,所述气流传感器采集待检测区域的气流数据,所述气流数据包括气流方向以及气流强度,不同级别的监控区域的覆盖范围向所处位置的所述气流方向偏移更新,偏移量根据所述气流强度确定,保留各级别监控区域在各方向上距离患线虫病松材的最远距离作为各级别监控区域的覆盖范围,保留时间为当前时间松材线虫感染松材至所述第一识别模型识别出松材出现患病状态的时间。
在本申请一实施例中,获取所述第一识别模型每次识别出的所有所述第一坐标,计算得出所述远距离飞行器往返所有所述第一坐标所需要的能耗以及往返所述第一坐标之间所需要的能耗,组合得出能耗最低的飞行路线。
在本申请一实施例中,对所述远距离飞行器的进行路径规划时,根据所述气流传感器获取待检测区域的所述气流数据,得到不同的飞行路线上存在的气流对飞行的增益效果或阻碍效果,结合所述远距离飞行器的飞行动力学模型,得到最优飞行方案。
在本申请一实施例中,所述远距离飞行器前往获取所述第一坐标的RGB图像数据时,保存所述远距离飞行器的停留拍摄位置,当所述人工处理模块的核验结果为患病时,获得不同级别的监控区域,根据保存的所述远距离飞行器停留拍摄位置,所述第一坐标靠近所述远距离飞行器一侧的监控区域覆盖范围向靠近所述第一坐标的方向偏移更新,所述第一坐标远离所述远距离飞行器一侧监控区域的覆盖范围向远离所述第一坐标的方向偏移更新。
需要说明的是,本申请实施例的基于遥感监测的松材线虫病识别方法的具体实施方式参照前述本申请实施例第一方面提出的基于遥感监测的松材线虫病识别系统的具体实施方式,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括要素的物品或者设备中还存在另外的相同要素。
以上对所提供的基于遥感监测的松材线虫病识别系统,进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的基于遥感监测的松材线虫病识别系统及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。

Claims (7)

1.基于遥感监测的松材线虫病识别系统,其特征在于,包括:
识别训练模块,收集患线虫病松材的遥感影像数据,将所述遥感影像数据录入第一识别模型后进行训练,获得可识别遥感影像中线虫病的识别模型;收集患线虫病松材的RGB图像数据,将所述RGB图像数据录入第二识别模型后进行训练,获得可识别RGB图像中线虫病的识别模型;
数据获取模块,采用高空传感器采集待检测区域的遥感影像数据,将所述遥感影像数据输入所述第一识别模型,当所述第一识别模型识别出所述遥感影像数据中存在线虫病时,输出存在线虫病的遥感影像所处位置坐标,该坐标作为第一坐标;远距离飞行器前往获取所述第一坐标的RGB图像数据,将所述RGB图像数据输入所述第二识别模型,当所述第二识别模型识别出所述RGB图像数据中存在线虫病时,输出存在线虫病的RGB图像所处位置坐标,该坐标作为第二坐标;
人工处理模块,根据所述第二坐标前往实地核验,核验结果包括确认患病和不患病,当核验结果为患病时,对患松材线虫病的松材进行消杀处理;
所述数据获取模块还包括分级监控子模块,当所述人工处理模块的核验结果为患病时,所述高空传感器根据与患线虫病松材的距离,将待检测区域划分为不同级别的监控区域,距离患线虫病松材越近的区域级别越高,高空传感器对级别越高的区域采集遥感影像数据的频率越高;
所述分级监控子模块还包括季节-气温传感器,所述季节-气温传感器用于确定当前所处季节以及当前气温,根据待检测区域内的松材线虫及媒介昆虫的繁殖周期以及在各季节和温度下活性,更新当下各级别监控区域的覆盖范围;
所述分级监控子模块还包括气流传感器,所述气流传感器采集待检测区域的气流数据,所述气流数据包括气流方向以及气流强度,不同级别的监控区域的覆盖范围向所处位置的所述气流方向偏移更新,偏移量根据所述气流强度确定,保留各级别监控区域在各方向上距离患线虫病松材的最远距离作为各级别监控区域的覆盖范围,保留时间为当前时间松材线虫感染松材至所述第一识别模型识别出松材出现患病状态的时间。
2.根据权利要求1所述的基于遥感监测的松材线虫病识别系统,其特征在于,所述人工处理模块中还包括运输路径子模块,所述运输路径子模块记录患松材线虫病的松材进行消杀处理前的运输路径,根据患线虫病松材的运输路径,将运输路径及路径周边划分为监控区域。
3.根据权利要求2所述的基于遥感监测的松材线虫病识别系统,其特征在于,所述运输路径子模块根据患松材线虫病的松材的运输行进的不同速度,将路径所在区域划分不同级别的监控区域。
4.根据权利要求1所述的基于遥感监测的松材线虫病识别系统,其特征在于,所述数据获取模块中还包括路径规划子模块,所述路径规划子模块获取所述第一识别模型每次识别出的所有所述第一坐标,计算得出所述远距离飞行器往返所有所述第一坐标所需要的能耗以及往返所述第一坐标之间所需要的能耗,组合得出能耗最低的飞行路线。
5.根据权利要求4所述的基于遥感监测的松材线虫病识别系统,其特征在于,所述路径规划子模块对所述远距离飞行器的进行路径规划时,根据所述气流传感器获取待检测区域的所述气流数据,得到不同的飞行路线上存在的气流对飞行的增益效果或阻碍效果,结合所述远距离飞行器的飞行动力学模型,得到最优飞行方案。
6.根据权利要求1所述的基于遥感监测的松材线虫病识别系统,其特征在于,所述远距离飞行器前往获取所述第一坐标的RGB图像数据时,保存所述远距离飞行器的停留拍摄位置,当所述人工处理模块的核验结果为患病时,获得不同级别的监控区域,根据保存的所述远距离飞行器停留拍摄位置,所述第一坐标靠近所述远距离飞行器一侧的监控区域覆盖范围向靠近所述第一坐标的方向偏移更新,所述第一坐标远离所述远距离飞行器一侧监控区域的覆盖范围向远离所述第一坐标的方向偏移更新。
7.基于遥感监测的松材线虫病识别方法,其特征在于,包括:
收集患线虫病松材的遥感影像数据,将所述遥感影像数据录入第一识别模型后进行训练,获得可识别遥感影像中线虫病的识别模型;收集患线虫病松材的RGB图像数据,将所述RGB图像数据录入第二识别模型后进行训练,获得可识别RGB图像中线虫病的识别模型;
采用高空传感器采集待检测区域的遥感影像数据,将所述遥感影像数据输入所述第一识别模型,当所述第一识别模型识别出所述遥感影像数据中存在线虫病时,输出存在线虫病的遥感影像以及坐标,该坐标作为第一坐标;远距离飞行器前往获取所述第一坐标的RGB图像数据,将所述RGB图像数据输入所述第二识别模型,当所述第二识别模型识别出所述RGB图像数据中存在线虫病时,输出存在线虫病的RGB图像以及坐标,该坐标作为第二坐标;
根据所述第二坐标前往实地核验,核验结果包括确认患病和不患病,当核验结果为患病时,对患松材线虫病的松材进行消杀处理;
当核验结果为患病时,所述高空传感器根据与患线虫病松材的距离,将待检测区域划分为不同级别的监控区域,距离患线虫病松材越近的区域级别越高,高空传感器对级别越高的区域采集遥感影像数据的频率越高;
还包括季节-气温传感器,所述季节-气温传感器用于确定当前所处季节以及当前气温,根据待检测区域内的松材线虫及媒介昆虫的繁殖周期以及在各季节和温度下活性,更新当下各级别监控区域的覆盖范围;
还包括气流传感器,所述气流传感器采集待检测区域的气流数据,所述气流数据包括气流方向以及气流强度,不同级别的监控区域的覆盖范围向所处位置的所述气流方向偏移更新,偏移量根据所述气流强度确定,保留各级别监控区域在各方向上距离患线虫病松材的最远距离作为各级别监控区域的覆盖范围,保留时间为当前时间松材线虫感染松材至所述第一识别模型识别出松材出现患病状态的时间。
CN202410117356.7A 2024-01-29 2024-01-29 基于遥感监测的松材线虫病识别系统及方法 Active CN117649608B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410117356.7A CN117649608B (zh) 2024-01-29 2024-01-29 基于遥感监测的松材线虫病识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410117356.7A CN117649608B (zh) 2024-01-29 2024-01-29 基于遥感监测的松材线虫病识别系统及方法

Publications (2)

Publication Number Publication Date
CN117649608A CN117649608A (zh) 2024-03-05
CN117649608B true CN117649608B (zh) 2024-03-29

Family

ID=90043656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410117356.7A Active CN117649608B (zh) 2024-01-29 2024-01-29 基于遥感监测的松材线虫病识别系统及方法

Country Status (1)

Country Link
CN (1) CN117649608B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778888A (zh) * 2016-12-27 2017-05-31 浙江大学 一种基于无人机遥感的果园病虫害普查系统和方法
CN107655457A (zh) * 2016-12-23 2018-02-02 航天星图科技(北京)有限公司 一种基于遥感卫星图像的泥石流地质灾害识别方法
WO2018053257A1 (en) * 2016-09-16 2018-03-22 Second Spectrum, Inc. Methods and systems of spatiotemporal pattern recognition for video content development
WO2019021058A2 (en) * 2017-07-25 2019-01-31 Mbl Limited SYSTEMS AND METHODS FOR OPERATING A ROBOTIC SYSTEM AND EXECUTING ROBOTIC INTERACTIONS
CN109785569A (zh) * 2019-01-28 2019-05-21 中科光启空间信息技术有限公司 一种基于3s技术的森林火灾监测方法
CN110263716A (zh) * 2019-06-21 2019-09-20 中国科学院地理科学与资源研究所 一种基于街景图像的遥感影像超分辨率土地覆被制图方法
EP3695783A1 (en) * 2019-02-15 2020-08-19 Origin Wireless, Inc. Method, apparatus, and system for wireless gait recognition
CN115019200A (zh) * 2022-05-20 2022-09-06 三峡大学 一种基于样本不平衡的松材线虫病树智能识别方法
CN117152604A (zh) * 2023-07-31 2023-12-01 河北师范大学 一种建筑物轮廓的提取方法、装置、电子设备和存储介质
CN117392535A (zh) * 2023-09-21 2024-01-12 广州飞鸟互联科技有限公司 一种面向复杂环境的果树花芽目标检测与白点率估算方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9094816B2 (en) * 2006-05-16 2015-07-28 RedSky Technologies, Inc. Method and system for an emergency location information service (E-LIS) from unmanned aerial vehicles (UAV)

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018053257A1 (en) * 2016-09-16 2018-03-22 Second Spectrum, Inc. Methods and systems of spatiotemporal pattern recognition for video content development
CN107655457A (zh) * 2016-12-23 2018-02-02 航天星图科技(北京)有限公司 一种基于遥感卫星图像的泥石流地质灾害识别方法
CN106778888A (zh) * 2016-12-27 2017-05-31 浙江大学 一种基于无人机遥感的果园病虫害普查系统和方法
WO2019021058A2 (en) * 2017-07-25 2019-01-31 Mbl Limited SYSTEMS AND METHODS FOR OPERATING A ROBOTIC SYSTEM AND EXECUTING ROBOTIC INTERACTIONS
CN109785569A (zh) * 2019-01-28 2019-05-21 中科光启空间信息技术有限公司 一种基于3s技术的森林火灾监测方法
EP3695783A1 (en) * 2019-02-15 2020-08-19 Origin Wireless, Inc. Method, apparatus, and system for wireless gait recognition
CN110263716A (zh) * 2019-06-21 2019-09-20 中国科学院地理科学与资源研究所 一种基于街景图像的遥感影像超分辨率土地覆被制图方法
CN115019200A (zh) * 2022-05-20 2022-09-06 三峡大学 一种基于样本不平衡的松材线虫病树智能识别方法
CN117152604A (zh) * 2023-07-31 2023-12-01 河北师范大学 一种建筑物轮廓的提取方法、装置、电子设备和存储介质
CN117392535A (zh) * 2023-09-21 2024-01-12 广州飞鸟互联科技有限公司 一种面向复杂环境的果树花芽目标检测与白点率估算方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"高分一号影像识别松林线虫病的残差网络模型方法";周志达;《中国优秀硕士学位论文全文数据库农业科技辑》;20230315;第D046-127页 *

Also Published As

Publication number Publication date
CN117649608A (zh) 2024-03-05

Similar Documents

Publication Publication Date Title
Mamdouh et al. YOLO-based deep learning framework for olive fruit fly detection and counting
US20220254155A1 (en) Method for plantation treatment based on image recognition
US11291198B2 (en) Methods and systems for bird deterrence and maintenance thereof
Zoto et al. Automatic path planning for unmanned ground vehicle using uav imagery
EP3959978A1 (de) Detektion von gliederfüssern
Nazir et al. Advances in image acquisition and processing technologies transforming animal ecological studies
Diller et al. A real-time remote surveillance system for fruit flies of economic importance: sensitivity and image analysis
Shirzadifar et al. Field identification of weed species and glyphosate-resistant weeds using high resolution imagery in early growing season
Stumph et al. Detecting invasive insects with unmanned aerial vehicles
CN117649608B (zh) 基于遥感监测的松材线虫病识别系统及方法
Shewring et al. Using UAV‐mounted thermal cameras to detect the presence of nesting nightjar in upland clear‐fell: A case study in South Wales, UK
Canal et al. Use of drones for research and conservation of birds of prey
Whitworth et al. Flight speed and time of day heavily influence rainforest canopy wildlife counts from drone-mounted thermal camera surveys
Sirisha et al. NAM-YOLOV7: An Improved YOLOv7 Based on Attention Model for Animal Death Detection.
Bhusal et al. Bird deterrence in a vineyard using an unmanned aerial system (uas)
Christensen et al. Sensing for weed detection
Yuba et al. Counting of Pennisetum alopecuroides at heading stage in a grazed pasture using images from an unmanned aerial vehicle
Hung et al. Using robotic aircraft and intelligent surveillance systems for orange hawkweed detection
Roihan et al. Evaluation methods of bird repellent devices in optimizing crop production in agriculture
Raine et al. Using tracking technology to locate endangered ʻuaʻu or Hawaiian petrel (Pterodroma sandwichensis) burrows
CN115358440A (zh) 一种基于角二阶矩与深度学习的树木覆盖预测方法
Lozano et al. Detection and Monitoring of Alien Weeds Using Unmanned Aerial Vehicle in Agricultural Systems in Sardinia (Italy)
CN112766178B (zh) 基于智能除虫系统的病虫定位方法、装置、设备及介质
Wang et al. Field-region and plant-level classification of cotton root rot based on UAV remote sensing
Oh et al. Estimating vegetation index for outdoor free-range pig production using YOLO

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant