CN113378004A - 基于FANet的农民劳作行为识别方法和装置、设备及介质 - Google Patents

基于FANet的农民劳作行为识别方法和装置、设备及介质 Download PDF

Info

Publication number
CN113378004A
CN113378004A CN202110621272.3A CN202110621272A CN113378004A CN 113378004 A CN113378004 A CN 113378004A CN 202110621272 A CN202110621272 A CN 202110621272A CN 113378004 A CN113378004 A CN 113378004A
Authority
CN
China
Prior art keywords
fanet
working
farmers
farmer
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110621272.3A
Other languages
English (en)
Inventor
李想
陈兆祺
许金坡
赵文馨
陈昕
卢韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN202110621272.3A priority Critical patent/CN113378004A/zh
Publication of CN113378004A publication Critical patent/CN113378004A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/735—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/743—Browsing; Visualisation therefor a collection of video files or sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于FANet的农民劳作行为识别方法和装置、电子设备及存储介质。该方法包括：建立农民劳作运动行为的数据集；构建FANet模型；将所述农民劳作运动行为的数据集输入到所述FANet模型进行训练；以及基于训练后的FANet模型，预测得到所述农民劳作行为的识别结果。本发明通过视频记录农民在劳作时的一系列运动动作变化，通过深度学习识别观察者的劳作动作类型。一方面，可以真实客观的记录农民的劳作行为，可以为农场管理和农产品追溯提供真实的客观数据；同时，较直接存储视频，可以有效的降低存储空间，提供结构化数据便于分析；另外，较人工监管，可以大幅度提高效率，减少人工成本。

Description

基于FANet的农民劳作行为识别方法和装置、设备及介质
技术领域
本发明总体涉及一种农民劳作行为识别方法，并且更特别地，涉及一种基于FANet的农民劳作行为识别方法和装置、电子设备及存储介质。
背景技术
现阶段，机器虽然被大量用到农业生产中，但人还是不可或缺的因素。农民的劳作较大的影响了食品安全，所以对农民的行为分析很有必要。一方面，农民行为识别有助于在农产品溯源中客观真实地记录农产品生产的每一个环节的信息，以便消费者购买农产品的时候，做到农产品信息的透明化。另一方面，农场、合作社、园区等新型经营主体的经营者在管理中，人员的劳作也是管理的重要组成部分，劳作的质量和数量直接影响到农产品的品质和企业的成本。从这两方面，都需要对农民的劳作行为进行记录。
现有的记录系统分为两类：1)农民打卡和填写；2)视频记录。针对第一种方式，农民打卡和填写，受限于农民使用信息系统的能力，完全记录具有较大困难，且用于溯源系统，由生产者填写数据，数据的真实性完全依赖生产主体本身的责任意识和道德意识，无法解决市场上存在的信任问题；针对第二种方式，视频虽然完全记录了农民的行为，但海量的视频信息，存储的成本较大，且不产生直接的有效信息，需要人力进行转化，较难实用。
发明内容
针对现有技术中的问题，本发明通过实现农民劳作运动的行为识别，填补农民劳作运动上的行为识别空白，为农民自动打卡提供实现基础，推进农产品溯源系统智能化进程。
第一方面，本发明提供一种基于FANet的农民劳作行为识别方法，包括：
建立农民劳作运动行为的数据集；
构建FANet模型；
将所述农民劳作运动行为的数据集输入到所述FANet模型进行训练；以及
基于训练后的FANet模型，预测得到所述农民劳作行为的识别结果。
进一步地，所述农民劳作行为包括喷农药、锄地、除草和插秧。
进一步地，所述建立农民劳作运动行为的数据集，包括：
对所述农民劳动行为的数据进行预处理，所述预处理包括：
将所述农民劳动行为的视频转换为图像序列；
将所述图像序列划分为视频段；
使用间隔式方式抽取所述视频段中的图像，形成样本集；以及
提取所述样本集中的农民运动区域。
进一步地，所述提取所述样本集中的农民运动区域，包括：定位、关联匹配和抓取运动区域；
所述定位包括：探测所述样本集中每张图像中的人体所在的区域；
所述关联匹配包括：以所述样本集中的一个样本中探测到的人体所在的区域为基准，利用最邻近值算法KNN进行人物关联匹配，形成分组；以及
所述抓取运动区域包括：提取不同分组的运动区域。
进一步地，在使用间隔式方式抽取所述视频段中的图像，形成所述样本集之前，所述方法还包括：剔除不存在农民或者场景切换时出现重叠的视频段。
进一步地，所述搭建FANet模型，包括：
采用残差块的构建方式得到时空残差卷积模块，并使用Swish函数作为激活函数。
进一步地，所述搭建FANet模型，包括：
在构建时空卷积模块时，使用Swish函数作为激活函数。
第二方面，本发明还提供一种基于FANet的农民劳作行为识别装置，包括：
数据集建立单元，用于建立农民劳作运动行为的数据集；
FANet模型构建单元，用于构建FANet模型；
训练单元，用于将所述农民劳作运动行为的数据集输入到所述FANet模型进行训练；以及
预测单元，用于基于训练后的FANet模型，预测得到所述农民劳作行为的识别结果。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面中任一项所述基于FANet的农民劳作行为识别方法的步骤。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如第一方面中任一项所述基于FANet的农民劳作行为识别方法的步骤。
本发明通过视频记录农民在劳作时的一系列运动动作变化，通过深度学习识别观察者的劳作动作类型。一方面，可以真实客观的记录农民的劳作行为，可以为农场管理和农产品追溯提供真实的客观数据；同时，较直接存储视频，可以有效的降低存储空间，提供结构化数据便于分析；另外，较人工监管，可以大幅度提高效率，减少人工成本。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，以下将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，以下描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的基于FANet的农民劳作行为识别方法的流程图；
图2为本发明实施例提供的提取农民运动区域的示意图；
图3为本发明实施例提供的FANet模型的结构示意图；
图4为本发明实施例提供的时空卷积模块的结构示意图；
图5为本发明实施例提供的时空残差卷积模块的结构示意图；
图6为本发明实施例提供的基于FANet的农民劳作行为识别装置的结构框图；以及
图7为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，以下将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明实施例提供的基于FANet的农民劳作行为识别方法的流程图。
参照图1，基于FANet的农民劳作行为识别方法包括以下步骤：
步骤S101：建立农民劳作运动行为的数据集；
步骤S103：构建FANet模型；
步骤S105：将农民劳作运动行为的数据集输入到FANet模型进行训练；以及
步骤S107：基于训练后的FANet模型，预测得到农民劳作行为的识别结果。
在本发明实施例中，具体地，步骤S101包括：
首先，获取53个与农民劳作运动相关的视频。其中，视频来源于bilibili、腾讯视频、优酷、土豆等视频网站，并且视频的帧率在20-30fps间，分辨率不统一。此外，视频中含有4种动作类别：喷农药、锄地、除草、插秧，在下文中将被称为FAD。
应注意的是，虽然本发明实施例公开了构成数据集的视频数据中的农民行为类别，但是本公开不限于此。
然后，通过对视频数据进行半自动化处理(即，数据预处理)，从而获得数据集。
具体地，数据预处理包括：
(1)转换：将视频转成图像序列，并按图像在视频出现的先后顺序进行排列命名。
(2)分段：将图像按序划分成视频段。例如，根据每个视频段的大小为50至70帧进行划分。
(3)采样：使用间隔式采样抽取视频段中的图像作为样本。例如，以5至7帧为间隔单位进行采样。
(4)提取农民运动区域：采用半自动化方式提取农民运动区域。通过提取农民劳作运动的区域降低样本背景的复杂度，提高农民劳作运动的信息。因为部分视频中包含多人的情况，在提取农民劳作运动的区域时需要进行人体检测和人体关联匹配，最后锁定区域并提取。
为了使识别方法更准确，可以在上述步骤(3)之前剔除没有出现农民或者场景切换过快(即，场景切换时出现重叠)的视频段。
图2示出了提取农民运动区域的示意图。参照图2，上述步骤(4)(即，提取农民运动区域)包括：
定位：采用yolov3模型作为人体探测器，探测样本集合里每张图像里人体所在的区域(图2所示的点构成的虚线区域)。
关联匹配：以样本集合第一张图片里人体所在的区域为基准，使用最邻近值方法(KNN)进行人物关联匹配，形成分组。
提取运动区域：分别使用最小矩形框(图2所示的短划线构成的矩形框)包围每一组，然后对每个最小矩形框使用最小正方形框(图2所示的实线构成的正方形框)包围，并且最小正方形框与最小矩形框同中心(图2所示的实心圆点)，最后提取每张图像中位于最小正方形框的区域，并将每个最小正方形框区域里的图像汇集成一份样本。
通过上述方式，获得的数据集如以下表1所示：
表1数据集统计数据
行为 视频量 样本量
喷农药 14 119
锄地 13 146
除草 13 163
插秧 13 149
由表1可知，在FAD中，共有53个视频，每类动作有13-14个视频和119-163个样本，每个视频可切分出1-58个片段。样本数量共计577份，其中测试集含有120份，剩余457份以4：1比例划分为训练集和验证集。
在本发明实施例中，具体地，步骤S103包括：考虑到深层的卷积并不一定有助于提取数据特征，并且不适合端到端使用。所以，残差块里的残差层里只有两层卷积层，最终结构如图3所示。
在图3中，FANet模型以(N,10,116,116,3)作为输入，利用ConvNet进行卷积处理，再通过两个全连接层(512)，最终得到输出结果。
具体地，ConvNet首先通过时空卷积(Spatio TemporalConv)、时空残差卷积(Spatio TemporalResBlock)进行卷积计算，再经过三维平均池化(AveragePooling 3D)处理，最后重新设置维度(Reshape)，图3示出了不同处理过程所采用的卷积核大小(KernelSize)以及输出张量(Output Tensor)。
具体地，FANet的输入数据采用短间隔式，以跳帧的10张112x112RGB图片作为模型输入，跳帧单位为4帧。与传统的连续式输入图像相比，短间隔式的输入能够更加明显的显示出数据在时间与空间上的特征，使得卷积层易于提取输入序列图像的特征。模型的ConvNet部分会按以下公式提取输入数据的特征信息：
y＝CNNθc(x)
其中，y为映射得到的512维的特征向量，θc为模型中ConvNet的参数，x为输入数据。
在模型中，通过控制卷积核进行卷积的步长来实现数据的下采样，从而达到保留更多数据信息的效果，有利于防止过滤掉有用信息。卷积后输出特征图的尺寸按以下公式进行计算：
Figure BDA0003100008720000071
其中，(wi,hi)代表卷积后输出特征图的尺寸，(wi-1,hi-1)代表输入卷积的特征图尺寸，p代表卷积前对特征图进行填充的尺寸，k代表卷积核的尺寸，s代表卷积核进行卷积的步长。
时空卷积模块的结构如图4所示，具体地，时空卷积模块包括空间卷积(SpatioConv)、批标准化(BatchNormalization)、激活函数以及时间卷积(Temporal Conv)等处理过程。
在本发明实施例中，时空卷积模块采用Swish激活函数作为激活函数。
时空残差卷积模块的结构采用了残差块的构建方式。为了使模型的损失(loss)能够快速地下降，采用Swish函数替换残差块里的激活函数ReLU。考虑到该模块中有实现下采样(Downsample)的功能，在其直接映射中添加了一个下采样卷积，结构如图5所示。
图5示出了模型结构里的残差网络模块，其中，h(x1)为残差网络中的恒等映射部分，F(x1,W1)为残差网络中的残差部分，时空卷积和Swish模块在上文中已经进行了描述，此处不再进行描述，此外，批标准化(BatchNormalization)是一种常见的神经网络优化技术，此处也省略对其的详细描述。
在图5中，残差块分成直接映射部分和残差部分，其公式为：
xi+1＝h(x1)+F(x1,W1)
其中，h(x1)为直接映射函数，F(x1,W1)为残差部分函数。
此外，模型的2个全连接层维度为512维，采用Swish函数作为激活函数，最后再接一个d维的分类层。模型采用交叉熵函数作为损失函数，如以下所示：
Figure BDA0003100008720000081
其中，L代表损失，y代表分类标签，
Figure BDA0003100008720000082
代表预测值。
在本发明实施例中，具体地，步骤S105包括：使用i9-10900K cpu和一张3080rtx显卡作为训练环境。训练时采用小批量(mini-batch)和5折交叉验证方式训练。梯度更新方法采用Adam，学习率初始为0.001。此外，模型进行70个周期的训练，并且每隔5次周期重新对数据进行打乱。
在数据增强上，每份样本在训练中有0.5的概率进行水平翻转。为适度增加数据复杂度，存在小部分未进行提取农民劳作运动区域的原始样本。
在本发明实施例中，具体地，步骤S107包括：基于训练好的FANet模型，对数据集中的测试集进行预测。
以下示出了FANet模型与R(2+1)D模型的结果：
表2 FANet与R(2+1)D对比结果
Figure BDA0003100008720000083
Figure BDA0003100008720000091
由表2可知，FANet的mAP为0.9839，R(2+1)D的mAP为0.8945。在四种行为的recall上，FANet的最大值为1.000，最小值为0.9565；R(2+1)D的最大值0.9412，最小值为0.7391。
在本发明实施例中，FANet的参数总量、训练时长和预测时长分别为4.982M、783.46s、30.70ms，R(2+1)D的参数总量、训练时长和预测时长分别为31.278M、2495.97s、51.99ms。
通过FANet和R(2+1)D的对比分析可知：FANet的mAP比R(2+1)D高了0.0894，recall的最小值比R(2+1)D的最大值高了0.0153。FANet在参数总量、训练时长、预测时长上分别是R(2+1)D的15.93％、31.39％、59.05％。在模型的收敛速度上，FANet比R(2+1)D更早收敛。
图6为本发明实施例提供的基于FANet的农民劳作行为识别装置的结构框图。参照图6，该装置600包括：
数据集建立单元601，用于建立农民劳作运动行为的数据集；
FANet模型构建单元603，用于构建FANet模型；
训练单元605，用于将农民劳作运动行为的数据集输入到FANet模型进行训练；以及
预测单元607，用于基于训练后的FANet模型，预测得到农民劳作行为的识别结果。
由以上可知，装置600的各个单元601至607可以分别执行参照上述实施例描述的识别方法中的各个步骤，此处将不再对其细节进行描述。
本发明实施例通过视频记录农民在劳作时的一系列运动动作变化，通过深度学习识别观察者的劳作动作类型。一方面，可以真实客观的记录农民的劳作行为，可以为农场管理和农产品追溯提供真实的客观数据；同时，较直接存储视频，可以有效的降低存储空间，提供结构化数据便于分析；另外，较人工监管，可以大幅度提高效率，减少人工成本。
另一方面，本发明提供了一种电子设备。如图7所示，电子设备700包括处理器701、存储器702、通信接口703和通信总线704。
其中，处理器701、存储器702、通信接口703通过通信总线704完成相互间的通信；
处理器701用于调用存储器702中的计算机程序，处理器701执行计算机程序时实现如上所述的本发明实施例所提供的基于FANet的农民劳作行为识别方法的步骤。
此外，上述存储器中的计算机程序可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干计算机程序以使得一台计算机设备(可以是个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如上所述的本发明实施例所提供的基于FANet的农民劳作行为识别方法的步骤。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
最后应说明的是：以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于FANet的农民劳作行为识别方法，其特征在于，包括：
建立农民劳作运动行为的数据集；
构建FANet模型；
将所述农民劳作运动行为的数据集输入到所述FANet模型进行训练；以及
基于训练后的FANet模型，预测得到所述农民劳作行为的识别结果。
2.根据权利要求1所述的基于FANet的农民劳作行为识别方法，其特征在于，所述农民劳作行为包括喷农药、锄地、除草和插秧。
3.根据权利要求1所述的基于FANet的农民劳作行为识别方法，其特征在于，所述建立农民劳作运动行为的数据集，包括：
对所述农民劳动行为的数据进行预处理，所述预处理包括：
将所述农民劳动行为的视频转换为图像序列；
将所述图像序列划分为视频段；
使用间隔式方式抽取所述视频段中的图像，形成样本集；以及
提取所述样本集中的农民运动区域。
4.根据权利要求3所述的基于FANet的农民劳作行为识别方法，其特征在于，所述提取所述样本集中的农民运动区域，包括：定位、关联匹配和抓取运动区域；
所述定位包括：探测所述样本集中每张图像中的人体所在的区域；
所述关联匹配包括：以所述样本集中的一个样本中探测到的人体所在的区域为基准，利用最邻近值算法KNN进行人物关联匹配，形成分组；以及
所述抓取运动区域包括：提取不同分组的运动区域。
5.根据权利要求3所述的基于FANet的农民劳作行为识别方法，其特征在于，在使用间隔式方式抽取所述视频段中的图像，形成所述样本集之前，所述方法还包括：
剔除不存在农民或者场景切换时出现重叠的视频段。
6.根据权利要求1所述的基于FANet的农民劳作行为识别方法，其特征在于，所述搭建FANet模型，包括：
采用残差块的构建方式得到时空残差卷积模块，并使用Swish函数作为激活函数。
7.根据权利要求1所述的基于FANet的农民劳作行为识别方法，其特征在于，所述搭建FANet模型，包括：
在构建时空卷积模块时，使用Swish函数作为激活函数。
8.一种基于FANet的农民劳作行为识别装置，其特征在于，包括：
数据集建立单元，用于建立农民劳作运动行为的数据集；
FANet模型构建单元，用于构建FANet模型；
训练单元，用于将所述农民劳作运动行为的数据集输入到所述FANet模型进行训练；以及
预测单元，用于基于训练后的FANet模型，预测得到所述农民劳作行为的识别结果。
9.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述基于FANet的农民劳作行为识别方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述基于FANet的农民劳作行为识别方法的步骤。
CN202110621272.3A 2021-06-03 2021-06-03 基于FANet的农民劳作行为识别方法和装置、设备及介质 Pending CN113378004A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110621272.3A CN113378004A (zh) 2021-06-03 2021-06-03 基于FANet的农民劳作行为识别方法和装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110621272.3A CN113378004A (zh) 2021-06-03 2021-06-03 基于FANet的农民劳作行为识别方法和装置、设备及介质

Publications (1)

Publication Number Publication Date
CN113378004A true CN113378004A (zh) 2021-09-10

Family

ID=77575704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110621272.3A Pending CN113378004A (zh) 2021-06-03 2021-06-03 基于FANet的农民劳作行为识别方法和装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113378004A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341452A (zh) * 2017-06-20 2017-11-10 东北电力大学 基于四元数时空卷积神经网络的人体行为识别方法
CN110705389A (zh) * 2019-09-16 2020-01-17 全球能源互联网研究院有限公司 一种电网作业行为的识别方法及系统
CN111242007A (zh) * 2020-01-10 2020-06-05 上海市崇明区生态农业科创中心 一种农事行为监管方法
CN111325144A (zh) * 2020-02-19 2020-06-23 上海眼控科技股份有限公司 行为检测方法、装置、计算机设备和计算机可读存储介质
CN111353452A (zh) * 2020-03-06 2020-06-30 国网湖南省电力有限公司 一种基于rgb图像的行为识别方法、装置、介质及设备
CN112215130A (zh) * 2020-10-10 2021-01-12 吉林大学 一种基于2.5d/3d混合卷积模型的人体行为识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341452A (zh) * 2017-06-20 2017-11-10 东北电力大学 基于四元数时空卷积神经网络的人体行为识别方法
CN110705389A (zh) * 2019-09-16 2020-01-17 全球能源互联网研究院有限公司 一种电网作业行为的识别方法及系统
CN111242007A (zh) * 2020-01-10 2020-06-05 上海市崇明区生态农业科创中心 一种农事行为监管方法
CN111325144A (zh) * 2020-02-19 2020-06-23 上海眼控科技股份有限公司 行为检测方法、装置、计算机设备和计算机可读存储介质
CN111353452A (zh) * 2020-03-06 2020-06-30 国网湖南省电力有限公司 一种基于rgb图像的行为识别方法、装置、介质及设备
CN112215130A (zh) * 2020-10-10 2021-01-12 吉林大学 一种基于2.5d/3d混合卷积模型的人体行为识别方法

Similar Documents

Publication Publication Date Title
Burgos-Artizzu et al. Improving weed pressure assessment using digital images from an experience-based reasoning approach
Wu et al. Detection and counting of banana bunches by integrating deep learning and classic image-processing algorithms
Blok et al. The effect of data augmentation and network simplification on the image‐based detection of broccoli heads with Mask R‐CNN
CN107527351A (zh) 一种融合fcn和阈值分割的哺乳母猪图像分割方法
CN109446958B (zh) 施药效果的确定方法及装置、系统
Sampathkumar et al. An automated crop and plant disease identification scheme using cognitive fuzzy c-means algorithm
Ilyas et al. Multi-scale context aggregation for strawberry fruit recognition and disease phenotyping
Latif et al. Deep learning based intelligence cognitive vision drone for automatic plant diseases identification and spraying
CN110176024A (zh) 在视频中对目标进行检测的方法、装置、设备和存储介质
de Silva et al. Towards agricultural autonomy: crop row detection under varying field conditions using deep learning
Aquino et al. Identification of olive fruit, in intensive olive orchards, by means of its morphological structure using convolutional neural networks
CN113207511A (zh) 一种基于农药抗性监测的农药施用方法、系统及可读存储介质
CN112150498A (zh) 体态信息的确定方法、装置、存储介质及电子装置
Al Haque et al. Cnn based automatic computer vision system for strain detection and quality identification of banana
CN112883915B (zh) 一种基于迁移学习的麦穗自动识别方法和系统
CN115861721A (zh) 基于图像数据的畜禽养殖喷雾设备状态识别方法
Petti et al. Weakly-supervised learning to automatically count cotton flowers from aerial imagery
CN110163103A (zh) 一种基于视频图像的生猪行为识别方法和装置
Nasir et al. Ai in apiculture: A novel framework for recognition of invasive insects under unconstrained flying conditions for smart beehives
Akshitha et al. Paddy crop disease detection using deep learning techniques
Kandalkar et al. Classification of agricultural pests using dwt and back propagation neural networks
Karthiga et al. A Deep Learning Approach to classify the Honeybee Species and health identification
CN111160422B (zh) 一种采用卷积神经网络和长短期记忆检测群养猪攻击行为的分析方法
CN113378004A (zh) 基于FANet的农民劳作行为识别方法和装置、设备及介质
Gonçalves et al. Using a convolutional neural network for fingerling counting: A multi-task learning approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination