CN112883815B - 一种农机具自动监管方法、系统及服务器 - Google Patents

一种农机具自动监管方法、系统及服务器 Download PDF

Info

Publication number
CN112883815B
CN112883815B CN202110102081.6A CN202110102081A CN112883815B CN 112883815 B CN112883815 B CN 112883815B CN 202110102081 A CN202110102081 A CN 202110102081A CN 112883815 B CN112883815 B CN 112883815B
Authority
CN
China
Prior art keywords
agricultural implement
image
type
layer
agricultural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110102081.6A
Other languages
English (en)
Other versions
CN112883815A (zh
Inventor
刘卉
孟志军
张自强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capital Normal University
Original Assignee
Capital Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capital Normal University filed Critical Capital Normal University
Priority to CN202110102081.6A priority Critical patent/CN112883815B/zh
Publication of CN112883815A publication Critical patent/CN112883815A/zh
Application granted granted Critical
Publication of CN112883815B publication Critical patent/CN112883815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Abstract

本文提供了一种农机具自动监管方法、系统及服务器，其中，方法包括：接收农机具上传的农机具图像及地理位置；利用预先建立的农机具图像检测模型，检测所述农机具图像，得到检测出的农机具类型；根据所述农机具地理位置从预先配置的农机具类型表中，确定规定农机具类型；判断所述检测出的农机具类型是否在所述规定农机具类型范围内，若判断结果为否，则进行农机具异常报警。本文能够实现对农机具类型的自动检测，具有识别速度快、准确率高、实时性好的特点。同时，还能够快速地、准确地识别农机具是否存在异常。

Description

一种农机具自动监管方法、系统及服务器
技术领域
本文涉及机具检测领域，尤其涉及一种农机具自动监管方法、系统及服务器。
背景技术
我国农业规模化经营模式不断发展，机械化水平持续增长，农机集群化作业与远程监管需求极大地促进了农机物联网技术的实践应用。安装在农业机械上的卫星定位装置、工况传感器、图像传感器等能够感知农机实时运行状态，再经过通讯网络将作业位置、速度、工况、图像等数据上传到监控中心服务器，监管部门可以通过Web浏览器或客户端软件查看农机作业实时轨迹和历史轨迹、作业面积、机具图像、工况指标等。这些监控数据已成为质量监管及作业补贴发放的重要依据，但是混淆作业机具、虚报作业面积等违规操作仍无法有效杜绝。因此，农机具的自动检测是提高农机作业监管系统智能水平的关键技术手段。
现有技术中，农机具的监管方法主要为：安装在农机驾驶室上的车载摄像头将采集的机具作业图像上传到监管系统的数据中心，作为监管部门处理异常情况的辅助数据；监管部门通常采用人工抽检图像的方式来识别农机的机具类型，判断是否执行规定作业以及分析发生异常问题的原因等。由于系统实时图像数据量大，现有的人工目测抽检方法效率低、任务重、时间消耗大、人力成本高，无法实现监测目标全覆盖，很难及时准确地发现各类异常问题、高效执行监管任务。
发明内容
本文用于解决现有农机具检测方法具有效率低，耗时长，人力成本高，无法覆盖所有目标，且难以及时发现异常的问题。
为了解决上述技术问题，本文的第一方面提供一种农机具自动监管方法，包括：
接收农机具上传的农机具图像及地理位置；
利用预先建立的农机具图像检测模型，检测所述农机具图像，得到检测出的农机具类型；
根据所述农机具地理位置从预先配置的农机具类型表中，确定规定农机具类型；
判断所述检测出的农机具类型是否在所述规定农机具类型范围内，若判断结果为否，则进行农机具异常报警。
本文进一步实施例中，利用预先建立的农机具图像检测模型，检测所述农机具图像，得到检测出的农机具类型，包括：
将所述农机具图像输入至所述农机具图像检测模型中，得到各农机具类型的概率；
判断各农机具类型的概率是否均小于预定阈值；
若各农机具类型的概率均小于预定阈值，则发出农机具类型检测异常的报警通知；
若至少其中一农机具类型的概率大于预定阈值，则将概率最大的农机具类型作为检测出的农机具类型。
本文进一步实施例中，利用预先建立的农机具图像检测模型，检测所述农机具图像，还得到农机具在所述农机具图像中的位置；
所述农机具自动监管方法还包括：
判断所述农机具在所述农机具图像中的位置是否为图像的中心位置，若所述农机具在所述农机具图像中的位置不在图像的中心位置，则将所述农机具图像发送至审核人员审核；若所述农机具在所述农机具图像中的位置在图像的中心位置，则执行判断所述检测出的农机具类型是否在所述规定农机具类型范围的步骤。
本文进一步实施例中，得到农机具图像的标注数据之后，还包括：
将所述农机具图像及所述农机具图像的标注数据转换为二进制数据；
对所述二进制数据做序列化处理；
将同一农机具图像对应的序列化数据存储为一二进制文件。
本文进一步实施例中，农机具图像检测模型的建立过程包括：
对预先采集的多个农机具图像进行标注，得到各农机具图像的标注数据，其中，所述标注数据至少包括农机具类型；
构建农机具图像检测模型，其中，所述农机具图像检测模型包括：依次连接的特征提取层及预测层；所述的特征提取层用于利用特征金字塔融合方式对输入图像进行处理得到多个尺寸的融合特征图；所述预测层用于对各融合特征图进行预测，得到农机具类型；
将所述农机具图像作为输入，所述农机具图像的标注数据作为输出，训练更新所述农机具图像检测模型。
本文进一步实施例中，所述特征提取层利用特征金字塔融合方式对输入图像进行处理得到多个尺寸的融合特征图，包括：
对初始层卷积网络按逐层成1/X倍缩小的方式提取N层第一特征图；
对第N层第一特征图进行卷积处理，得到第N层融合特征图；
对所述第N层融合特征图按逐层成X倍增大的方式提取特征图，并将各层提取的特征图i与第i-1层第一特征图进行融合处理，得到第i-1层融合特征图，i的取值为{2,…,N}。
本文进一步实施例中，所述预测层包括依次连接的区域候选层、降维层及分类层；
利用所述区域候选层从各融合特征图中筛选出各层次的候选区域，并将根据各层次的候选区域从各融合特征图中提取候选特征图；
利用所述降维层对所述候选特征图进行尺寸限定，得到固定尺寸候选特征图；
利用所述分类层对所述固定尺寸特征图进行识别，得到农机具类型。
本文进一步实施例中，更新完所述农机具图像检测模型之后，还包括：
对所述农机具图像检测模型进行持久化操作，得到持久化文件；
将所述持久化文件部署于服务端中。
本文的第二方面提供一种农机具自动监管系统，包括：
通讯模块，用于接收农机具上传的农机具图像及地理位置；
图像检测模块，用于利用预先建立的农机具图像检测模型，检测所述农机具图像，得到检测出的农机具类型；
位置检测模块，用于根据所述农机具地理位置从预先配置的农机具类型表中，确定规定农机具类型；
分析模块，用于判断所述检测出的农机具类型是否在所述规定农机具类型范围内，若判断结果为否，则进行农机具异常报警。
本文的第三方面提供一种农机具自动监管服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述任一实施例所述的农机具自动监管方法。
本文提供的农机具自动监管方法、系统及服务器，通过实时接收农机具上传的农机具图像及地理位置；利用预先建立的农机具图像检测模型，检测农机具图像，得到检测出的农机具类型，能够实现对农机具类型的自动检测，具有识别速度快、准确率高、实时性好的特点。通过根据农机具位置从预先配置的农机具类型表中，确定规定农机具类型；判断检测出的农机具类型是否在所述规定农机具类型范围内，若判断结果为否，则进行农机具异常报警，能够快速地、准确地识别农机具是否存在异常。
为让本文的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
为了更清楚地说明本文实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本文的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本文实施例农机具自动监管方法的第一流程图；
图2示出了本文实施例农机具类型识别过程的流程图；
图3示出了本文实施例农机具自动监管方法的第二流程图；
图4示出了本文实施例农机具图像检测模型建立过程的流程图；
图5示出了本文实施例农机具图像检测模型的示意图；
图6示出了本文实施例特征提取层的结构图；
图7a至图7h示出了本文实施例部分可视化融合特征图；
图8示出了本文实施例农机具图像检测模型的农机具检测效果图；
图9示出了本文实施例农机具自动监管系统的结构图；
图10示出了本文实施例计算机设备的结构图。
附图符号说明：
1010、通讯模块；
1020、图像检测模块；
1030、位置检测模块；
1040、分析模块；
1102、计算机设备；
1104、处理器；
1106、存储器；
1108、驱动机构；
1110、输入/输出模块；
1112、输入设备；
1114、输出设备；
1116、呈现设备；
1118、图形用户接口；
1120、网络接口；
1122、通信链路；
1124、通信总线。
具体实施方式
下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。
现有技术中，主要依靠人工抽检图像的方式来实现农机的机具类型的识别，该种监管方法存在人工目测抽检方法效率低、任务重、时间消耗大、人力成本高，无法实现监测目标全覆盖，很难及时准确地发现各类异常问题、高效执行监管任务的问题。
为了解决现有技术中存在的上述问题，本文提供一种农机具自动监管方法，该农机具自动监管方法可以运行于监控中心服务器，监管人员可通过Web浏览器、客户端软件或内嵌于其它程序中的小程序等方式查看监管结果。具体的，如图1所示，农机具自动监管方法，包括：
步骤110，接收农机具上传的农机具图像及地理位置。
本文实施的前提是农机具上安装有图像采集设备及定位设备，图像采集设备用于采集农机具图像，定位设备用于确定农机具的位置。另外，农机具上还安装有通讯设备，用于将图像采集设备采集的农机具图像和定位设备采集的工机具位置发送至监控中心服务器。
步骤120，利用预先建立的农机具图像检测模型，检测所述农机具图像，得到检测出的农机具类型。
其中，农机具图像检测模型可根据各类型农机具图像利用神经网络模型训练得到，具体建立过程参见后续实施例，此处不再详述。
本文所述的农机具图像检测模型可识别市面上已有的各种类型的农机具，例如包括但不限于铲式深松机具、曲面铲深松机具、深松整地机具、深松施肥播种机具、翻转犁机具、旋耕机具、播种机具等等。
为了保证农机具图像检测模型的识别精度，可每隔预定时间间隔(例如一个月、半年、一年等)更新农机具图像检测模型。
步骤130，根据所述农机具地理位置从预先配置的农机具类型表中，确定规定农机具类型。
本步骤中，预先配置的农机具类型表中记载有各地区应该使用的农机具类型，如下表一所示，农机具类型表可根据各地区作业要求及补贴发放要求进行确定，本文对此不作具体限定。
表一
区域范围 农机具类型
A 翻转犁机具
B 旋耕机具
…… ……
步骤140，判断所述检测出的农机具类型是否在所述规定农机具类型范围内，若判断结果为否，则进行农机具异常报警，若判断结果为是，则发送合规信息至作业监管部门(例如作业补贴发放中心)，以便向农机具所有者发放补贴。
本实施例提供的农机具自动监管方法，通过实时接收农机具上传的农机具图像及地理位置；利用预先建立的农机具图像检测模型，检测农机具图像，得到检测出的农机具类型，能够实现对农机具类型的自动检测，具有识别速度快、准确率高、实时性好的特点。通过根据农机具位置从预先配置的农机具类型表中，确定规定农机具类型；判断检测出的农机具类型是否在所述规定农机具类型范围内，若判断结果为否，则进行农机具异常报警，能够快速地、准确地识别农机具是否存在异常，避免非法获取农机具补贴现象发生。
本文一实施例中，为了提高农机具监管速度，可于农机具类型识别阶段，对农机具异常使用情况先进行一次分析，具体的，如图2所示，上述步骤120利用预先建立的农机具图像检测模型，检测所述农机具图像，得到检测出的农机具类型，包括：
步骤210，将所述农机具图像输入至所述农机具图像检测模型中，得到各农机具类型的概率。
具体的，例如农机具图像检测模型可以识别6种农机具类型，则农机具图像检测模型输出的结果为：农机具类型1，概率为10％；农机具类型2，概率为10％；农机具类型3，概率为10％；农机具类型4，概率为10％；农机具类型5，概率为10％；农机具类型6，概率为60％。
步骤220，判断各农机具类型的概率是否均小于预定阈值，若各农机具类型的概率均小于预定阈值，则说明农机具类型并不能被农机具图像检测模型识别，可能是新型的农机具或农机具图像存在异常，对于该种情况执行步骤230，若至少其中一农机具类型的概率大于预定阈值，则说明农机具图像检测模型可以正确识别农机具类型，执行步骤240。
步骤230，发出农机具类型检测异常的报警通知。具体实施时，还可将对应的农机具图像发送至监管人员，以便监管人员进一步确定是否为异常情况。还可记录对应的农机具图像，以便后续更新农机具图像检测模型使用。
步骤240，将概率最大的农机具类型作为检测出的农机具类型。
本文一实施例中，为了避免因农机具上图像采集设备安装位置变动而引起识别精度变差的问题，如图3所示，还提供另一种农机具自动监管方法，包括：
步骤310，接收农机具上传的农机具图像及地理位置。
步骤320，利用预先建立的农机具图像检测模型，检测所述农机具图像，得到检测出的农机具类型及农机具在所述农机具图像中的位置。识别结果中给出了农机具类型及农机具位置。
步骤330，根据所述农机具地理位置从预先配置的农机具类型表中，确定规定农机具类型。
步骤340，判断所述农机具在所述农机具图像中的位置是否为图像的中心位置，若所述农机具在所述农机具图像中的位置不在图像的中心位置，则将所述农机具图像发送至审核人员审核，由审核人员根据对农机具图像的识别向农机具所有者发出调整农机具图像采集设备安装位置的请求。若所述农机具在所述农机具图像中的位置在中心位置，则执行步骤350。
步骤350，判断所述检测出的农机具类型是否在所述规定农机具类型范围内，若判断结果为否，则进行农机具异常报警，若判断结果为是，则发送合规信息至补贴发放中心，以便向农机具所有者发放补贴。
本实施例能够避免因农机具上图像采集设备安装位置不合格导致农机具类型识别错误的情况发生，从而保证异常检测精度。
本文一实施例中，在原有Faster R-CNN网络模型的基础上结合了特征金字塔融合方式提供了一种改进的Faster R-CNN网络模型(快速区域卷积神经网络模型)建立农机具图像检测模型的方法，具体的，如图4所示，农机具图像检测模型的建立过程包括：
步骤410，对预先采集的多个农机具图像进行标注，得到各农机具图像的标注数据，其中，所述标注数据至少包括农机具类型。
本文一实施例中，为了方便后续调用标注数据，本步骤得到标注数据之后，还包括：将所述农机具图像及所述农机具图像的标注数据转换为二进制数据；对所述二进制数据做序列化处理；将同一农机具图像对应的序列化数据存储为一二进制文件。
具体实施时，为了保证农机具图像标注的精度，农机具图像的标注可由专业人员执行。具体可采用LabelImg可视化图像标定工具对农机具图像进行标注，生成的XML文件。为了匹配现有的用于训练网络模型的TensorFlow深度学习框架，XML中的数据遵循TFRecord数据格式，实现该数据格式的转换需要进行以下三个步骤操作：首先，提前声明其数据结构，通过数据函数方法将数据特征属性转换成二进制格式，其中数据的特征属性内容包含：原始图像的尺寸、标注的类别名、标注的区域大小等关键信息；然后，采用SerializeToString方式序列化这些二进制数据；最后，对已序列化处理后的数据使用TensorFlow内置的写入方法存入到本地磁盘中。通过TFRecord数据格式的转换可以统一不同输入文件；可以将二进制数据和标签数据存储在同一个文件中；可以更好地利用内存，方便复制和移动。
步骤420，构建农机具图像检测模型，如图5所示，其中，所述农机具图像检测模型包括：依次连接的特征提取层510及预测层520；所述的特征提取层510用于利用特征金字塔融合方式对输入图像进行处理得到多个尺寸的融合特征图；所述预测层520用于对各融合特征图进行预测，得到农机具类型。
详细的说，本步骤中的农机具图像检测模型中的参数为初始参数，还未经过训练。
特征提取层的结构采用CNN网络结合特征金字塔FPN的融合思想，将位于前层的特征图与位于网络顶层的特征图(逐层上采样)进行融合操作，再对每个融合后的特征层单独进行预测，得到更加精确地检测效果。该种提取特征的方式可以融合具有高分辨率的浅层和具有丰富语义信息的深层，实现了从单尺度的单张输入图像，快速构建在所有尺度上都具有强语义信息的特征金字塔，避免网络训练产生的计算量过高和机具检测过程中出现的多尺度变化问题。具体的，特征提取层包含三个部分：自底向上；自顶向下；侧向连接。下面以5层卷积网络为例说明特征提取的过程，如图6所示，包括：
(1)利用初始层卷积网络按逐层成1/X倍缩小的方式提取C2、C3、C4、C5层第一特征图。本实施例中以0.5倍缩小，对应的步长分别为4、8、16、32。
(2)对C5层第一特征图进行卷积处理改变其通道数量，得到M5层融合特征图。
(3)对M5层融合特征图按自顶向下呈X倍采样的方式进行处理，并将各层提取的特征图i与第i-1层第一特征图进行融合处理，得到M4、M3、M2层融合特征图。本步骤能够使高层特征得到了增强，每一层预测所用的特征图都融合了不同分辨率、不同语义强度的特征，可以完成对应分辨率大小的物体进行检测，保证每一层都有合适的分辨率以及强语义特征。
(4)对M5、M4、M3、M2层融合特征图分别进行3×3卷积处理(具体实施时，可采用其它数量的卷积)，得到最终的P5、P4、P3、P2层融合特征图。本步骤可以消除上采样的混叠效应，生成最后需要的特征图。如图7a至图7h所示，图7a至图7h示出了部分融合特征图。
具体实施时，为了获得最大的感受野特征，还可以在P5层融合特征图的基础上用步长为2最大值池化后得到P6层融合特征图。
复请参阅图5所示，所述预测层520包括：依次连接的区域候选521、降维层522及分类层523。
利用所述区域候选层521从各层融合特征图中筛选出各层次的候选区域，并将根据各层次的候选区域从各层融合特征图中提取候选特征图。具体实施时，区域候选层521包括RPN网络(Region Proposal Network，区域候选网络)，该RPN网络的具体结构可参考现有技术，本文对此不做限定。
利用所述降维层522对所述候选特征图进行尺寸限定，得到固定尺寸候选特征图。具体实施时，降维层522采用ROI(Region of Interest)Pooling层。ROI Pooling层的具体结构可参考现有技术，本文对此不做限定。
利用所述分类层523对所述固定尺寸特征图进行识别，得到农机具类型。具体实施时，分类层523采用全连接层对固定尺寸特征图进行识别。全连接层的具体结构可参考现有技术，本文对此不做限定。
具体实施时，还包括边界框回归器(bounding box regressor)，用于检测图像中农机具的位置。
步骤430，将所述农机具图像作为输入，所述农机具图像的标注数据作为输出，训练更新所述农机具图像检测模型。
训练结束条件可以为设定迭代次数，例如为100000次，或根据预定时间段内的累计识别误差确定。
本文采用改进Faster R-CNN农机具图像检测网络模型和原始的Faster R-CNN网络模型分别进行了100000次的迭代，它们在训练集上的准确率分别为98.6％和96.2％。通过在训练集上的对比可以发现，改进的Faster R-CNN网络模型准确率明显优于原始的Faster R-CNN网络模型。
为了进一步验证改进后的Faster R-CNN网络模型的检测性能，在验证集上选择AP(average precision，平均精确率)、mAP(mean average precision，平均精确率均值)、P-R曲线作为检测网络的评价指标。其中，P-R曲线的纵坐标为P(precision，精确率)，横坐标为R(Recall，召回率)。AP表示P-R曲线下的积分区域，而mAP是对所有类别的积分区域求和运算后取平均。通过在验证集上的实验对比，本文改进后的Faster R-CNN网络的P-R曲线趋势越凸向右上角区域，表明该网络的检测性能越突出，改进后的Faster R-CNN网络模型的检测性能明显优于原始的Faster R-CNN模型网络。Faster R-CNN与改进Faster R-CNN网络模型的AP值、mAP值见表二。
表二
Figure BDA0002916073250000111
进一步实施例中，为了便于农机具图像检测模型的调用，在上述通过上述步骤410至步骤430得到农机具图像检测模型之后，还包括：对所述农机具图像检测模型进行持久化操作，得到持久化文件；将所述持久化文件部署于服务端中。
具体实施时，可借助TensorFlow自带的tf.train.saver()函数对训练好的农机具图像检测模型进行模型持久化操作。训练后的农机具图像检测模型通过tf.train.saver()函数会编译出多个子文件，不同的文件里面存储着计算图的结构和图的变量取值，例如，checkpoint文件中保留农机具图像检测模型的文件列表；model.ckpt.data文件中保留程序中每个变量数据的取值；model.ckpt.index文件中保留程序中变量数据的索引；model.ckpt.meta文件中则用于保留农机具图像检测模型的结构图。为了方便部署应用，采用TensorFlow提供的自带函数固化农机具图像检测模型结构，将上述多个子文件转化成单一文件，即转化成PB格式。
本文一具体实施例中，上述步骤410中对1734张农机具图像进行了标注，并采用“留出法”将农机具图像数据集划分成两个互斥的集合：训练集和验证集。其中，训练集的作用是训练农机具图像检测网络模型，共计1488张；验证集的作用是检验农机具图像检测网络模型的准确率，共计246张。本文其它实施方式中，还可选择对其它数量的图像进行标注，以及对训练集和验证集采用其它划分方式，本文对标注图像数量、训练集和验证集中的图像的数量不做具体限定。
基于同一发明构思，本文还提供一种农机具自动监管系统，如下面的实施例所述。由于农机具自动监管系统解决问题的原理与农机具自动监管方法相似，因此农机具自动监管系统的实施可以参见农机具自动监管方法，重复之处不再赘述。
本文所述的农机具自动监管系统包括多个功能单元和模块，均可以由专用或者通用芯片实现，还可以通过软件程序实现，设计完成之后部署于服务器端，具体的，如图9所示，农机具自动监管系统包括：
通讯模块1010，用于接收农机具上传的农机具图像及地理位置。
图像检测模块1020，用于利用预先建立的农机具图像检测模型，检测所述农机具图像，得到检测出的农机具类型。
位置检测模块1030，用于根据所述农机具地理位置从预先配置的农机具类型表中，确定规定农机具类型。
分析模块1040，用于判断所述检测出的农机具类型是否在所述规定农机具类型范围内，若判断结果为否，则进行农机具异常报警。若判断结果为是，则发送合规信息至补贴发放中心，以便向农机具所有者发放补贴。
本实施例的一种应用场景是，通过Web应用端将待检测的农机具图像上传到服务器端并发送request请求处理的命令，在服务器端基于Flask框架部署的农机具图像检测模型文件(PB文件)，对收到的农机具图像进行处理和识别，最后将检测处理的结果反馈到Web应用端。
本文提供的农机具自动监管系统，通过实时接收农机具上传的农机具图像及地理位置；利用预先建立的农机具图像检测模型，检测农机具图像，得到检测出的农机具类型，能够实现对农机具类型的自动检测，具有识别速度快、准确率高、实时性好的特点。通过根据农机具位置从预先配置的农机具类型表中，确定规定农机具类型；判断检测出的农机具类型是否在所述规定农机具类型范围内，若判断结果为否，则进行农机具异常报警，能够快速地、准确地识别农机具是否存在异常。
本文一实施方式中，农机具自动监管系统的服务端使用Python语言编写，并借助PyCharm开发。在服务端运行编写的脚本命令，通过Flask框架实现农机具检测模型的部署。Web应用端基于CSS、JS、HTML的语言开发并实现。Web界面包含两个DIV子模块，分别用以呈现服务器计算出的文本信息和检测的图像效果，如图8所示，本图中的文字信息分别为上传图像名称、上传状态、服务器识别的状态、检测出的农机具类别名称、准确率值、图像检测框某一位置(如左上角)的坐标位置(x,y)，宽度width及高度height。图像效果见图像中方框所示，显示有被正确检测出的铲式深松机(c-subsoiler)，并标注了准确值为1，即达到100％。
本文一实施例中，农机具自动监管服务器还可看作为计算机设备，如图10所示，计算机设备1102可以包括一个或多个处理器1104，诸如一个或多个中央处理单元(CPU)，每个处理单元可以实现一个或多个硬件线程。计算机设备1102还可以包括任何存储器1106，其用于存储诸如代码、设置、数据等之类的任何种类的信息。非限制性的，比如，存储器1106可以包括以下任一项或多种组合：任何类型的RAM，任何类型的ROM，闪存设备，硬盘，光盘等。更一般地，任何存储器都可以使用任何技术来存储信息。进一步地，任何存储器可以提供信息的易失性或非易失性保留。进一步地，任何存储器可以表示计算机设备1102的固定或可移除部件。在一种情况下，当处理器1104执行被存储在任何存储器或存储器的组合中的相关联的指令时，计算机设备1102可以执行相关联指令的任一操作。计算机设备1102还包括用于与任何存储器交互的一个或多个驱动机构1108，诸如硬盘驱动机构、光盘驱动机构等。
计算机设备1102还可以包括输入/输出模块1110(I/O)，其用于接收各种输入(经由输入设备1112)和用于提供各种输出(经由输出设备1114))。一个具体输出机构可以包括呈现设备1116和相关联的图形用户接口1118(GUI)。在其他实施例中，还可以不包括输入/输出模块1110(I/O)、输入设备1112以及输出设备1114，仅作为网络中的一台计算机设备。计算机设备1102还可以包括一个或多个网络接口1120，其用于经由一个或多个通信链路1122与其他设备交换数据。一个或多个通信总线1124将上文所描述的部件耦合在一起。
通信链路1122可以以任何方式实现，例如，通过局域网、广域网(例如，因特网)、点对点连接等、或其任何组合。通信链路1122可以包括由任何协议或协议组合支配的硬连线链路、无线链路、路由器、网关功能、名称服务器等的任何组合。
本文一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。
本文实施例还提供一种计算机可读指令，其中当处理器执行所述指令时，其中的程序使得处理器执行上述方法的步骤。
应理解，在本文的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本文实施例的实施过程构成任何限定。
还应理解，在本文实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本文的范围。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本文所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本文实施例方案的目的。
另外，在本文各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本文的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本文各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本文中应用了具体实施例对本文的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本文的方法及其核心思想；同时，对于本领域的一般技术人员，依据本文的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本文的限制。

Claims (9)

1.一种农机具自动监管方法，其特征在于，包括：
接收农机具上传的农机具图像及地理位置；
利用预先建立的农机具图像检测模型，检测所述农机具图像，得到检测出的农机具类型；
根据所述农机具地理位置从预先配置的农机具类型表中，确定规定农机具类型；
判断所述检测出的农机具类型是否在所述规定农机具类型范围内，若判断结果为否，则进行农机具异常报警，
其中，所述利用预先建立的农机具图像检测模型，检测所述农机具图像，得到检测出的农机具类型，包括：
将所述农机具图像输入至所述农机具图像检测模型中，得到各农机具类型的概率；
判断各农机具类型的概率是否均小于预定阈值；
若各农机具类型的概率均小于预定阈值，则发出农机具类型检测异常的报警通知；
若至少其中一农机具类型的概率大于预定阈值，则将概率最大的农机具类型作为检测出的农机具类型。
2.如权利要求1所述的农机具自动监管方法，其特征在，利用预先建立的农机具图像检测模型，检测所述农机具图像，还得到农机具在所述农机具图像中的位置；
所述方法还包括：
判断所述农机具在所述农机具图像中的位置是否为图像的中心位置，若所述农机具在所述农机具图像中的位置不在图像的中心位置，则将所述农机具图像发送至审核人员审核；若所述农机具在所述农机具图像中的位置在图像的中心位置，则执行判断所述检测出的农机具类型是否在所述规定农机具类型范围的步骤。
3.如权利要求1所述的农机具自动监管方法，其特征在于，农机具图像检测模型的建立过程包括：
对预先采集的多个农机具图像进行标注，得到各农机具图像的标注数据，其中，所述标注数据至少包括农机具类型；
构建农机具图像检测模型，其中，所述农机具图像检测模型包括：依次连接的特征提取层及预测层；所述的特征提取层用于利用特征金字塔融合方式对输入图像进行处理得到多个尺寸的融合特征图；所述预测层用于对各融合特征图进行预测，得到农机具类型；
将所述农机具图像作为输入，所述农机具图像的标注数据作为输出，训练更新所述农机具图像检测模型。
4.如权利要求3所述的农机具自动监管方法，其特征在于，得到农机具图像的标注数据之后，还包括：
将所述农机具图像及所述农机具图像的标注数据转换为二进制数据；
对所述二进制数据做序列化处理；
将同一农机具图像对应的序列化数据存储为一二进制文件。
5.如权利要求3所述的农机具自动监管方法，其特征在于，所述特征提取层利用特征金字塔融合方式对输入图像进行处理得到多个尺寸的融合特征图，包括：
对初始层卷积网络按逐层成1/X倍缩小的方式提取N层第一特征图；
对第N层第一特征图进行卷积处理，得到第N层融合特征图；
对所述第N层融合特征图按逐层成X倍增大的方式提取特征图，并将各层提取的特征图i与第i-1层第一特征图进行融合处理，得到第i-1层融合特征图，i的取值为{2,…,N}。
6.如权利要求3所述的农机具自动监管方法，其特征在于，所述预测层包括依次连接的区域候选层、降维层及分类层；
利用所述区域候选层从各融合特征图中筛选出各层次的候选区域，并将根据各层次的候选区域从各融合特征图中提取候选特征图；
利用所述降维层对所述候选特征图进行尺寸限定，得到固定尺寸候选特征图；
利用所述分类层对所述固定尺寸候选特征图进行识别，得到农机具类型。
7.如权利要求3所述的农机具自动监管方法，其特征在于，更新完所述农机具图像检测模型之后，还包括：
对所述农机具图像检测模型进行持久化操作，得到持久化文件；
将所述持久化文件部署于服务端中。
8.一种农机具自动监管系统，其特征在于，包括：
通讯模块，用于接收农机具上传的农机具图像及地理位置；
图像检测模块，用于利用预先建立的农机具图像检测模型，检测所述农机具图像，得到检测出的农机具类型；
位置检测模块，用于根据所述农机具地理位置从预先配置的农机具类型表中，确定规定农机具类型；分析模块，用于判断所述检测出的农机具类型是否在所述规定农机具类型范围内，若判断结果为否，则进行农机具异常报警，
其中，所述图像检测模型还用于，将所述农机具图像输入至所述农机具图像检测模型中，得到各农机具类型的概率；
判断各农机具类型的概率是否均小于预定阈值；
若各农机具类型的概率均小于预定阈值，则发出农机具类型检测异常的报警通知；
若至少其中一农机具类型的概率大于预定阈值，则将概率最大的农机具类型作为检测出的农机具类型。
9.一种农机具自动监管服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的农机具自动监管方法。
CN202110102081.6A 2021-01-26 2021-01-26 一种农机具自动监管方法、系统及服务器 Active CN112883815B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110102081.6A CN112883815B (zh) 2021-01-26 2021-01-26 一种农机具自动监管方法、系统及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110102081.6A CN112883815B (zh) 2021-01-26 2021-01-26 一种农机具自动监管方法、系统及服务器

Publications (2)

Publication Number Publication Date
CN112883815A CN112883815A (zh) 2021-06-01
CN112883815B true CN112883815B (zh) 2022-11-29

Family

ID=76052174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110102081.6A Active CN112883815B (zh) 2021-01-26 2021-01-26 一种农机具自动监管方法、系统及服务器

Country Status (1)

Country Link
CN (1) CN112883815B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116300659B (zh) * 2023-05-17 2023-07-25 北京博创联动科技有限公司 一种农机机群的协同控制方法及控制系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215523A1 (zh) * 2016-06-12 2017-12-21 腾讯科技（深圳）有限公司 识别用户所在地理位置的类别的方法及装置
WO2018223955A1 (zh) * 2017-06-09 2018-12-13 北京深瞐科技有限公司 目标监控方法、目标监控装置、摄像机及计算机可读介质
WO2018232978A1 (zh) * 2017-06-19 2018-12-27 深圳市盛路物联通讯技术有限公司 一种确定被监测设备的工作状态的方法及汇聚单元

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106338954A (zh) * 2016-11-10 2017-01-18 黑龙江惠达科技发展有限公司 一种支持多种农机智能监测设备及监测方法
CN107808502B (zh) * 2017-10-27 2019-01-22 深圳极视角科技有限公司 一种图像检测报警方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017215523A1 (zh) * 2016-06-12 2017-12-21 腾讯科技（深圳）有限公司 识别用户所在地理位置的类别的方法及装置
WO2018223955A1 (zh) * 2017-06-09 2018-12-13 北京深瞐科技有限公司 目标监控方法、目标监控装置、摄像机及计算机可读介质
WO2018232978A1 (zh) * 2017-06-19 2018-12-27 深圳市盛路物联通讯技术有限公司 一种确定被监测设备的工作状态的方法及汇聚单元

Also Published As

Publication number Publication date
CN112883815A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
Kim et al. Vision-based nonintrusive context documentation for earthmoving productivity simulation
CN110826514A (zh) 一种基于深度学习的施工现场违章智能识别方法
CN109784326A (zh) 一种基于深度学习的车辆底盘检测方法
CN110348441A (zh) 增值税发票识别方法、装置、计算机设备及存储介质
US10534961B2 (en) Method, device and permanent storage memory for detecting drilling and/or hydraulic fracturing of hydrocarbon wells
CN105372581A (zh) 挠性电路板制造过程自动监测和智能分析系统及方法
CN105225523B (zh) 一种车位状态检测方法及装置
CN112149512A (zh) 一种基于两阶段深度学习的安全帽佩戴识别方法
CN111598069B (zh) 一种基于深度学习的高速公路车辆换道区域分析方法
Ranguelova et al. Image based classification of slums, built-up and non-built-up areas in Kalyan and Bangalore, India
CN112508105A (zh) 一种采油机故障检测与检索方法
CN111079640A (zh) 一种基于自动扩增样本的车型识别方法及系统
Rong et al. Pest identification and counting of yellow plate in field based on improved mask r-cnn
CN110728252A (zh) 一种应用于区域人员运动轨迹监控的人脸检测方法
CN112883815B (zh) 一种农机具自动监管方法、系统及服务器
CN115660262B (zh) 一种基于数据库应用的工程智慧质检方法、系统及介质
CN103310235A (zh) 一种基于参数识别与估计的隐写分析方法
CN114495498B (zh) 一种交通数据分布有效性判别方法及装置
CN114462469B (zh) 目标检测模型的训练方法、目标检测方法及相关装置
CN107357941A (zh) 一种可实时对水雨情数据进行检验的系统和方法
CN106384130A (zh) 基于数据多近邻局部特征嵌入的故障检测方法
CN110765963A (zh) 车辆制动检测方法、装置、设备及计算机可读存储介质
CN110263867A (zh) 一种钢轨伤损分类方法
CN117272646A (zh) 一种基于孪生神经网络的仿真软件自动操作优化方法
Beykaei et al. A hierarchical rule-based land use extraction system using geographic and remotely sensed data: A case study for residential uses

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant