CN112287741A - 基于图像处理的农事操作管理方法及装置 - Google Patents

基于图像处理的农事操作管理方法及装置 Download PDF

Info

Publication number
CN112287741A
CN112287741A CN202010568317.0A CN202010568317A CN112287741A CN 112287741 A CN112287741 A CN 112287741A CN 202010568317 A CN202010568317 A CN 202010568317A CN 112287741 A CN112287741 A CN 112287741A
Authority
CN
China
Prior art keywords
image
main frame
frame
monitoring
extracting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010568317.0A
Other languages
English (en)
Inventor
刘伟
王涛
马罗亚
林卫国
杨宙
苏聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN202010568317.0A priority Critical patent/CN112287741A/zh
Publication of CN112287741A publication Critical patent/CN112287741A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及图像处理技术领域，具体涉及一种基于图像处理的农事操作管理方法、基于图像处理的农事操作管理装置、一种存储介质以及一种计算机系统。所述方法包括：获取目标区域的监控视频数据，在识别所述监控视频数据中包含待识别对象时，提取包含所述待识别对象的图像帧，并配置为主帧图像；对所述主帧图像进行面部识别，以确定所述主帧图像中是否包含监控对象；在确定所述主帧图像中包含所述监控对象时，提取与所述主帧连续的n帧图像以构建图像序列；对所述图像序列进行识别以确定所述监控对象的行为特征数据，以根据所述行为特征数据确定所述监控对象的农事操作及运动轨迹。本方法能够确定具体执行的农事操作类型及轨迹并自动保存。

Description

基于图像处理的农事操作管理方法及装置
技术领域
本公开涉及图像处理技术领域，具体涉及一种基于图像处理的农事操作管理方法、基于图像处理的农事操作管理装置、一种存储介质以及一种计算机系统。
背景技术
随着科技的不断进步，传统的农业生产活动中也不断的被融入更新的科学技术。
对于农事操作来说，现有技术一般采用人工记录的方式记录不同类型的农事操作，例如在大棚中进行灌溉、除草等农事操作，并记录对应的操作时间。但存在遗漏数据，数据统计不够精确的情况。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种基于图像处理的农事操作管理方法、基于图像处理的农事操作管理装置、一种存储介质以及一种计算机系统，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的无法准确统计农事操作的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的第一方面，提供一种基于图像处理的农事操作管理方法，包括：
获取目标区域的监控视频数据，在识别所述监控视频数据中包含待识别对象时，提取包含所述待识别对象的图像帧，并配置为主帧图像；
对所述主帧图像进行面部识别，以确定所述主帧图像中是否包含监控对象；
在确定所述主帧图像中包含所述监控对象时，提取与所述主帧连续的n帧图像以构建图像序列；
对所述图像序列进行识别以确定所述监控对象的行为特征数据，以根据所述行为特征数据确定所述监控对象的农事操作及运动轨迹。
在本公开的一种示例性实施例中，所述对所述主帧进行面部识别，以确定所述主帧中是否包含监控对象，包括：
对所述主帧图像进行面部识别，以获取所述待识别对象的面部特征数据，并将所述面部特征数据与预设面部特征库进行比对；
在面部特征数据匹配成功时，判定所述主帧图像包含监控对象，并生成运动监控指令，以根据所述运动监控指令获取所述监控对象对应的图像序列。
在本公开的一种示例性实施例中，所述提取与所述主帧连续的n帧图像以构建图像序列，包括：
以所述主帧图像为首帧，提取预设数量的多帧连续图像，以根据所述主帧图像和多帧连续图像构建所述图像序列。
在本公开的一种示例性实施例中，所述方法还包括：
向所述主帧图像的前序时刻提取预设数量的多帧连续图像，以构建所述图像序列。
在本公开的一种示例性实施例中，所述对所述图像序列进行识别以确定所述监控对象的行为特征数据，以根据所述行为特征数据确定所述监控对象的农事操作及运动轨迹，包括：
利用高斯滤波器对所述图像序列中的各帧图像去除背景噪声，并利用标记框标记多个运动物体；
将所述各帧图像中距离小于预设阈值的多个标记框进行聚合处理，以获取所述各帧图像的运动块候选集；其中，所述运动块候选集中包括至少一个候选运动块；
利用目标检测网络模型对所述各帧图像的运动块候选集进行识别，以确定所述各帧图像中农事操作对应的候选运动块和非农事操作对应的候选运动块；
利用分类网络模型对所述各帧图像中农事活动对应的候选运动块进行识别以获取行为特征数据，并根据所述行为特征数据确定所述各帧图像的农事活动类型。
在本公开的一种示例性实施例中，所述方法还包括：
根据包含农事操作的连续多帧所述图像标记所述监控对象的运动轨迹。
在本公开的一种示例性实施例中，所述方法还包括：
在识别所述监控对象离开所述目标区域时，提取对应的图像帧以获取所述监控对象的离场时间；
结合所述主帧图像对应的时刻及所述离场时间，标记所述监控对象的农事操作开始时刻、结束时刻及操作时长。
根据本公开的第二方面，提供一种基于图像处理的农事操作管理装置，包括：
待识别对象提取模块，用于获取目标区域的监控视频数据，在识别所述监控视频数据中包含待识别对象时，提取包含所述待识别对象的图像帧，并配置为主帧图像；
监控对象识别模块，用于对所述主帧图像进行面部识别，以确定所述主帧图像中是否包含监控对象；
图像序列构建模块，用于在确定所述主帧图像中包含所述监控对象时，提取与所述主帧连续的n帧图像以构建图像序列；
农事数据识别模块，用于对所述图像序列进行识别以确定所述监控对象的行为特征数据，以根据所述行为特征数据确定所述监控对象的农事操作及运动轨迹。
根据本公开的第三方面，提供一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的基于图像处理的农事操作管理方法。
根据本公开的第四方面，提供一种计算机系统，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述的基于图像处理的农事操作管理方法。
本公开的一种实施例所提供的基于图像处理的农事操作管理方法中，通过对目标区域进行实时的监控，在出现待识别的移动对象时，进行人脸识别，从而可以在确定待识别对象为预设的监控目标时，可以对其行为进行辨别和监控，确定其具体执行的农事操作类型以及在目标区域中的运动轨迹，并进行自动保存。从而实现对农事活动的自动、准确记录。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出本公开示例性实施例中一种基于图像处理的农事操作管理方法的示意图；
图2示意性示出本公开示例性实施例中一种系统架构的示意图；
图3示意性示出本公开示例性实施例中一种农事场景的监控图像的示意图；
图4示意性示出本公开示例性实施例中一种滤波器对监控图像进行处理后的示意图；
图5示意性示出本公开示例性实施例中一种运动块聚合后的示意图；
图6示意性示出本公开示例性实施例中一种对运动块进行农事运动识别后的示意图；
图7示意性示出本公开示例性实施例中一种基于图像处理的农事操作管理装置的另一种示意图；
图8示意性示出本公开示例性实施例中一种计算机系统的示意图；
图9示意性示出本公开示例性实施例中一种存储介质的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本示例实施方式中首先提供了一种基于图像处理的农事操作管理方法，可以应用于对农事活动的自动监控和自动识别、记录。参考图1中所示，上述的基于图像处理的农事操作管理方法可以包括以下步骤：
S1，获取目标区域的监控视频数据，在识别所述监控视频数据中包含待识别对象时，提取包含所述待识别对象的图像帧，并配置为主帧图像；
S2，对所述主帧图像进行面部识别，以确定所述主帧图像中是否包含监控对象；
S3，在确定所述主帧图像中包含所述监控对象时，提取与所述主帧连续的n帧图像以构建图像序列；
S4，对所述图像序列进行识别以确定所述监控对象的行为特征数据，以根据所述行为特征数据确定所述监控对象的农事操作及运动轨迹。
本示例实施方式所提供的基于图像处理的农事操作管理方法，一方面，通过对目标区域进行实时的监控，可以在出现待识别的移动对象时，进行人脸识别，确定当前进入目标区域的移动对象是否为监控目标。另一方面，可以在确定待识别对象为预设的监控目标时，可以对其行为进行辨别和监控，确定其具体执行的农事操作类型以及在目标区域中的运动轨迹，并进行自动保存。从而实现对农事活动的自动、准确记录。
下面，将结合附图及实施例对本示例实施方式中的基于图像处理的农事操作管理方法的各个步骤进行更详细的说明。
图2示出了可以应用本发明实施例的技术方案的示例性系统架构的示意图。如图2所示，系统架构100可以包括多个用于采集监控视频的终端设备，网络104和服务器103。其中，终端设备例如可以是监控探头101，或者智能移动终端102。网络104用以在终端设备和服务器103之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线通信链路、无线通信链路等等。服务器103可以是台式电脑、笔记本电脑等设备，用于执行本发明的方法对视频数据进行处理，并生成对应的农事操作数据。应该理解，图2中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器可以是多个服务器组成的服务器集群等。
在步骤S1中，获取目标区域的监控视频数据，在识别所述监控视频数据中包含待识别对象时，提取包含所述待识别对象的图像帧，并配置为主帧图像。
本示例实施方式中，可以将农田、温室大棚等区域配置为目标区域，并为每个目标区域设置一个或多个监控设备，用于采集该目标区域中的监控视频数据。前端的监控设备实时采集的监控视频数据可以实时发送至后台服务器端。
对于服务器端来说，在接收到前端发送的目标区域的监控视频数据后，便可以截取对应的图像帧，并第图像帧进行图像识别，判断各帧图像中是否包含待识别对象。举例来说，待识别对象可以是移动的人，或者其他的移动物体；例如移动的动物等。在识别一帧图像中包括待识别对象时，便可以提取出该帧图像，并进行标记，配置该帧图像为主帧图像。
在步骤S2中，对所述主帧图像进行面部识别，以确定所述主帧图像中是否包含监控对象。
本示例实施方式中，上述的监控对象可以是农事操作人员，或者自动工作的农业设备，例如用于自动采摘、喷洒农药的机器人等。可以预先配置一监控对象的表单，并存储在服务器端。该表单中可以包含各监控对象的脸部图像、标识信息或者设备特征等数据。
在获取主帧图像后，便可以对其进行面部识别，或者特征提取，并将提取的面部特征数据或图像特征数据与预设的特征库进行比对，判断主帧图像中的移动对象是否为预设的监控对象。
举例来说，在对人的监控对象进行识别时，上述的步骤S2可以包括：
步骤S21，对所述主帧图像进行面部识别，以获取所述待识别对象的面部特征数据，并将所述面部特征数据与预设面部特征库进行比对；
步骤S22，在面部特征数据匹配成功时，判定所述主帧图像包含监控对象，并生成运动监控指令，以根据所述运动监控指令获取所述监控对象对应的图像序列。
本示例实施方式中，当识别主帧图像中包含监控对象时，便可以生成针对该监控对象的运动监控指令。若主帧图像中存在多个监控对象时，便可以生成对应数量的运动监控指令，从而可以对多个监控对象进行追踪。
或者，在本公开的其他示例性实施方式中，若识别主帧图像中的待识别对象不是预设的农事操作人员，则可以生成警告通知信息，并通过短信息、短消息或邮件的方式推送至预设的管理员的智能终端设备，进行提醒。
或者，在本公开的其他示例性实施方式中，在识别主帧图像中同时包含预设的农事操作人员，以及非预设的农事操作人员时，可以将识别出的非农事操作人员配置为临时监控对象，为该临时监控对象配置监控对象标识并创建临时监控对象列表，将其保存在临时监控对象列表中，并进行监控。
在步骤S3中，在确定所述主帧图像中包含所述监控对象时，提取与所述主帧连续的n帧图像以构建图像序列；其中，n为正整数。
本示例实施方式中，在确定主帧图像包含监控对象时，便可以将该主帧图像作为起始时刻，作为首帧，向后提取预设数量的多帧连续图像，以根据所述主帧图像和多帧连续图像构建图像序列。
此外，为避免当前的主帧图像对应的时刻并不是监控对象进入目标区域的初始时刻，即避免遗漏监控对象对应的图像，还可以向主帧图像的前序时刻提取预设数量的多帧连续图像，将前序的多帧连续图像、主帧图像和后续的连续多帧图像构建针对该监控对象的所述图像序列。若存多个监控对象和/或临时监控对象，便可以获取对应数量的图像序列。即，各监控对象、临时监控对象均配置有对应的图像序列。
在步骤S4中，对所述图像序列进行识别以确定所述监控对象的行为特征数据，以根据所述行为特征数据确定所述监控对象的农事操作及运动轨迹。
本示例实施方式中，具体来说，可以包括以下步骤：
步骤S41，利用高斯滤波器对所述图像序列中的各帧图像去除背景噪声，并利用标记框标记多个运动物体。
本示例实施方式中，举例来说，对于图3所示的包含多个监控对象的图像，使用高斯滤波器去除背景噪声，并将运动物体利用标记框进行标记。如图4所示的框选结果，利用多个运动块框选图像中的运动物体。一个运动物体可能被多个运动块所框选。如图4所示，运动框401框选出农事操作人员，而运动框402框选出摆动的植物。
步骤S42，将所述各帧图像中距离小于预设阈值的多个标记框进行聚合处理，以获取所述各帧图像的运动块候选集；其中，所述运动块候选集中包括至少一个候选运动块。
本示例实施方式中，可以根据目标区域的环境特点，预先配置距离阈值。对图4所示的运动块，将预设阈值内距离相近的运动块进行朴素聚合，转化为完整的运动块。各图像中聚合处理后，构成一个运动小块候选集。如图5所示，聚合处理后，得到关于监控对象对应的候选运动块501，和非监控对象对应的候选运动块502。
具体来说，上述的朴素聚合即为简单聚合，在设定聚合阈值之后，对于各帧图像，可以合并几个连续的运动小块(即标记框)构成一个固定时间序列的运动块，作为候选训练集。传入的视频流通过前一步骤的高斯背景分离滤波器后筛选出来运动小块，将这些运动小块进行如上所述的聚合，成为固定时间的运动块(即候选运动块)，作为运动块候选训练集。
步骤S43，利用目标检测网络模型对所述各帧图像的运动块候选集进行识别，以确定所述各帧图像中农事操作对应的候选运动块和非农事操作对应的候选运动块。
本示例实施方式中，可以将图5所示的图像作为输入参数，利用已训练的YOLO目标检测网络对其进行人体动作辨别，以排除非农事运动。例如，对于图5所示图像，其中，运动块501对应的图像内容为拔秧，运动块502对应的图像内容为风把物体吹动。在对图5所示图像进行动作辨别后，可以对图5进行分割，并仅保留农事操作对应的运动块的图像区域，如图6所示，仅保留农事操作对应的运动块501的图像内容，并用于后续识别具体的农事操作行为类型。
通过判断只有人体动作与农事动作同时发生的画面会被判别为农事活动，提高了检测准确度，并降低了后续步骤的运算消耗。
举例来说，对于YOLO目标检测网络，在训练时，只需要提供标记主题的对应农事活动视频，而无需提供精确标记的农事活动图片训练集，具有适应不同应用场景下不同农事活动的灵活性，同时适配成本较低。
在本示例性实施方式中，YOLO目标检测网络模型作为辅助，可以利用现今主流预训练模型来实现对人体的识别。具体来说，在将视频流注入YOLO目标检测网络模型之后，会逐帧检测包含人体的画面。YOLO系列算法是一类目标检测算法，目标检测算法的训练数据便是各类图片中包含人体以及其他任何需要区分的事物的检测框坐标，不过目前已有很成熟的训练模型参数可以高效率和准确率地识别出人体，可以直接采用Pascal VOC训练集所训练出来的模型参数文件来直接对农事视频进行推理，来判断画面中是否出现人体，从而对朴素聚合后的候选运动块进行再一次的人体检测判断，筛选出最终训练集。对于YOLOv3模型的网络结构本申请不再赘述。
步骤S44，利用分类网络模型对所述各帧图像中农事活动对应的候选运动块进行识别以获取行为特征数据，并根据所述行为特征数据确定所述各帧图像的农事活动类型。
本示例实施方式中，可以将图6所示的检测结果作为输入参数，利用efficientnet分类网络对其进行具体类型的识别，确定对应的具体农事行为。
举例来说，可以利用3d卷积层将图6中的运动块引入efficientnet分类网络来做人员农事行为的判断。并输出对应的农事活动类型识别结果。例如，输出图6的农事活动类型结果为拔秧。同时，标记该农事活动的发生时间。
具体来说，可以利用3D卷积层把视频划分成很多固定长度的片段(clip)，相比2D卷积，3D卷积可以提取连续帧之间的运动信息。即，3D卷积将视频多帧进行融合。在本方法中，我们通过朴素聚合得到固定时长的运动块即固定长度的片段，通过对多个不同农事行为的视频进行聚合操作，得到批量不同农事行为的运动块候选集，通过YOLO目标检测网络模型过滤出包含人的运动块作为最终数据集，并进行农事行为的一一对应形成最终训练验证集。
对于efficientnet分类网络来说，可以修改efficientnet网络结构，将网络的卷积核改为3D卷积核，并修改网络里其他对应的参数，使用以上最终训练验证集进行训练过程。最终训练出一个可识别运动小块农事行为的efficientnet网络。训练过程可以包括：将训练样本视频输入3D卷积层，利用3D卷积核进行卷积操作，可以配置卷积的时间维度为3，即对连续3帧图像进行卷积操作，通过堆叠多个连续的帧组成一个立方体，然后在立方体中运用3D卷积核。在这个结构中，卷积层中每一个特征map都会与上一层中多个邻近的连续帧相连，捕捉运动信息。利用3D卷积层对训练样本视频进行视频片段划分，再对各视频片段利用连续的多个MBConv卷积块进行连续的下采样，实现对各视频片段中的特征提取；efficientnet网络末端的全连接层输出识别的多个行为。输出的行为个数为需要识别的农事行为的个数。
或者，也可以采用其他行为识别的技术模型来实现优异的识别效果，如结合了CNN与LSTM的长期循环卷积神经网络(Long-term Recurrent Convolution，简称LRCN)方法，在深度学习中能够良好表达序列化特征的网络架构就是RNN网络，其中表现最好的实现形式即是RNN的LSTM，故将LSTM与CNN相结合能够将空间特征与时间特征更完整的进行学习，LRCN方法在几个大型的公开数据集上的识别准确度也十分可观。
本示例实施方式中，在获取农事活动类型结果后，还可以根据包含农事操作的连续多帧所述图像标记所述监控对象在目标区域中的运动轨迹。
本示例实施方式中，在识别所述监控对象离开目标区域时，提取对应的图像帧以获取所述监控对象的离场时间；同时，结合所述主帧图像对应的时刻及所述离场时间，标记所述监控对象的农事操作开始时刻、结束时刻及操作时长。
本公开提供的基于图像处理的农事操作管理方法，通过利用监控视频对进入目标区域的人员进行自动识别，可以实现无感识别的模式，自动从视频中检测并判断进入大棚人员是否为农事操作人员，更加高效便捷地监控农场的安全性。不需要进行额外的动作进行验证，也无需额外的使用成本，适合低成本，低培训教育的农事场景。通过利用高斯滤波器标记图像中的运动块，在人员不动时，滤波器是不会提取出包含人体的运动小块，从而不会对此人员农事行为进一步推理，从而使得人员仅出现在画面中，而未进行农事行为时，可以不将其记录在农事时间中。通过在农事行为分类前进行重要特征画面的预处理，去除图像中的与农事活动无关的运动物体，舍弃无关的背景与物体，实现利用Attention注意力机制，在处理全局数据输入信息的同时，对含有更重要信息的局部进行特征提取与放大，以提高推理准确度。
需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
进一步的，参考图7所示，本示例的实施方式中还提供一种基于图像处理的农事操作管理装置70，包括：待识别对象提取模块701、监控对象识别模块702、图像序列构建模块703以及农事数据识别模块704。其中：
所述待识别对象提取模块701可以用于获取目标区域的监控视频数据，在识别所述监控视频数据中包含待识别对象时，提取包含所述待识别对象的图像帧，并配置为主帧图像。
所述监控对象识别模块702可以用于对所述主帧图像进行面部识别，以确定所述主帧图像中是否包含监控对象。
所述图像序列构建模块703可以用于在确定所述主帧图像中包含所述监控对象时，提取与所述主帧连续的n帧图像以构建图像序列。
所述农事数据识别模块704可以用于对所述图像序列进行识别以确定所述监控对象的行为特征数据，以根据所述行为特征数据确定所述监控对象的农事操作及运动轨迹。
上述的基于图像处理的农事操作管理装置中各模块的具体细节已经在对应的基于图像处理的农事操作管理方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
在本公开的示例性实施例中，还提供了一种能够实现上述方法的计算机系统。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图8来描述根据本发明的这种实施方式的计算机系统800。图8显示的计算机系统800仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，计算机系统800以通用计算设备的形式表现。计算机系统800的组件可以包括但不限于：上述至少一个处理单元810、上述至少一个存储单元820、连接不同系统组件(包括存储单元820和处理单元810)的总线830。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元810执行，使得所述处理单元810执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元810可以执行如图1中所示的步骤。
存储单元820可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)8201和/或高速缓存存储单元8202，还可以进一步包括只读存储单元(ROM)8203。
存储单元820还可以包括具有一组(至少一个)程序模块8205的程序/实用工具8204，这样的程序模块8205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线830可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
计算机系统800也可以与一个或多个外部设备890(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该计算机系统800交互的设备通信，和/或与使得该计算机系统800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口850进行。并且，计算机系统800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器860通过总线830与计算机系统800的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
参考图9所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品900，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种基于图像处理的农事操作管理方法，其特征在于，包括：
获取目标区域的监控视频数据，在识别所述监控视频数据中包含待识别对象时，提取包含所述待识别对象的图像帧，并配置为主帧图像；
对所述主帧图像进行面部识别，以确定所述主帧图像中是否包含监控对象；
在确定所述主帧图像中包含所述监控对象时，提取与所述主帧连续的n帧图像以构建图像序列；
对所述图像序列进行识别以确定所述监控对象的行为特征数据，以根据所述行为特征数据确定所述监控对象的农事操作及运动轨迹。
2.根据权利要求1所述的方法，其特征在于，所述对所述主帧进行面部识别，以确定所述主帧中是否包含监控对象，包括：
对所述主帧图像进行面部识别，以获取所述待识别对象的面部特征数据，并将所述面部特征数据与预设面部特征库进行比对；
在面部特征数据匹配成功时，判定所述主帧图像包含监控对象，并生成运动监控指令，以根据所述运动监控指令获取所述监控对象对应的图像序列。
3.根据权利要求1或2所述的方法，其特征在于，所述提取与所述主帧连续的n帧图像以构建图像序列，包括：
以所述主帧图像为首帧，提取预设数量的多帧连续图像，以根据所述主帧图像和多帧连续图像构建所述图像序列。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
向所述主帧图像的前序时刻提取预设数量的多帧连续图像，以构建所述图像序列。
5.根据权利要求1所述的方法，其特征在于，所述对所述图像序列进行识别以确定所述监控对象的行为特征数据，以根据所述行为特征数据确定所述监控对象的农事操作及运动轨迹，包括：
利用高斯滤波器对所述图像序列中的各帧图像去除背景噪声，并利用标记框标记多个运动物体；
将所述各帧图像中距离小于预设阈值的多个标记框进行聚合处理，以获取所述各帧图像的运动块候选集；其中，所述运动块候选集中包括至少一个候选运动块；
利用目标检测网络模型对所述各帧图像的运动块候选集进行识别，以确定所述各帧图像中农事操作对应的候选运动块和非农事操作对应的候选运动块；
利用分类网络模型对所述各帧图像中农事活动对应的候选运动块进行识别以获取行为特征数据，并根据所述行为特征数据确定所述各帧图像的农事活动类型。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
根据包含农事操作的连续多帧所述图像标记所述监控对象的运动轨迹。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
在识别所述监控对象离开所述目标区域时，提取对应的图像帧以获取所述监控对象的离场时间；
结合所述主帧图像对应的时刻及所述离场时间，标记所述监控对象的农事操作开始时刻、结束时刻及操作时长。
8.一种基于图像处理的农事操作管理装置，其特征在于，包括：
待识别对象提取模块，用于获取目标区域的监控视频数据，在识别所述监控视频数据中包含待识别对象时，提取包含所述待识别对象的图像帧，并配置为主帧图像；
监控对象识别模块，用于对所述主帧图像进行面部识别，以确定所述主帧图像中是否包含监控对象；
图像序列构建模块，用于在确定所述主帧图像中包含所述监控对象时，提取与所述主帧连续的n帧图像以构建图像序列；
农事数据识别模块，用于对所述图像序列进行识别以确定所述监控对象的行为特征数据，以根据所述行为特征数据确定所述监控对象的农事操作及运动轨迹。
9.一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1至7中任一项所述的基于图像处理的农事操作管理方法。
10.一种计算机系统，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任一项所述的基于图像处理的农事操作管理方法。
CN202010568317.0A 2020-06-19 2020-06-19 基于图像处理的农事操作管理方法及装置 Pending CN112287741A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010568317.0A CN112287741A (zh) 2020-06-19 2020-06-19 基于图像处理的农事操作管理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010568317.0A CN112287741A (zh) 2020-06-19 2020-06-19 基于图像处理的农事操作管理方法及装置

Publications (1)

Publication Number Publication Date
CN112287741A true CN112287741A (zh) 2021-01-29

Family

ID=74421112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010568317.0A Pending CN112287741A (zh) 2020-06-19 2020-06-19 基于图像处理的农事操作管理方法及装置

Country Status (1)

Country Link
CN (1) CN112287741A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114202868A (zh) * 2021-12-06 2022-03-18 九江礼涞生物科技有限公司 一种综合治理典型农业面源污染的系统
WO2022227490A1 (zh) * 2021-04-25 2022-11-03 上海商汤智能科技有限公司 行为识别方法、装置、设备、存储介质、计算机程序及程序产品
CN116307403A (zh) * 2023-05-12 2023-06-23 湖北泰跃卫星技术发展股份有限公司 一种基于数字乡村的种植过程推荐方法及系统
CN117115415A (zh) * 2023-10-25 2023-11-24 厦门久凌创新科技有限公司 基于大数据分析的图像标记处理方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065161A (zh) * 2012-12-25 2013-04-24 西南科技大学 一种基于归一化r变换分层模型的人体行为识别算法
CN107645652A (zh) * 2017-10-27 2018-01-30 深圳极视角科技有限公司 一种基于视频监控的非法越界报警系统
CN107871134A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 一种人脸检测方法及装置
CN108830177A (zh) * 2018-05-25 2018-11-16 深圳春沐源控股有限公司 农事操作行为稽查方法及装置
CN109978918A (zh) * 2019-03-21 2019-07-05 腾讯科技（深圳）有限公司 一种轨迹追踪方法、装置和存储介质
CN111222423A (zh) * 2019-12-26 2020-06-02 深圳供电局有限公司 基于作业区域的目标识别方法、装置、计算机设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065161A (zh) * 2012-12-25 2013-04-24 西南科技大学 一种基于归一化r变换分层模型的人体行为识别算法
CN107871134A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 一种人脸检测方法及装置
CN107645652A (zh) * 2017-10-27 2018-01-30 深圳极视角科技有限公司 一种基于视频监控的非法越界报警系统
CN108830177A (zh) * 2018-05-25 2018-11-16 深圳春沐源控股有限公司 农事操作行为稽查方法及装置
CN109978918A (zh) * 2019-03-21 2019-07-05 腾讯科技（深圳）有限公司 一种轨迹追踪方法、装置和存储介质
CN111222423A (zh) * 2019-12-26 2020-06-02 深圳供电局有限公司 基于作业区域的目标识别方法、装置、计算机设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王勇;: "煤矿井下人员视频图像识别跟踪的研究与应用", 电子测量技术, no. 01, pages 33 - 36 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022227490A1 (zh) * 2021-04-25 2022-11-03 上海商汤智能科技有限公司 行为识别方法、装置、设备、存储介质、计算机程序及程序产品
CN114202868A (zh) * 2021-12-06 2022-03-18 九江礼涞生物科技有限公司 一种综合治理典型农业面源污染的系统
CN116307403A (zh) * 2023-05-12 2023-06-23 湖北泰跃卫星技术发展股份有限公司 一种基于数字乡村的种植过程推荐方法及系统
CN117115415A (zh) * 2023-10-25 2023-11-24 厦门久凌创新科技有限公司 基于大数据分析的图像标记处理方法和系统
CN117115415B (zh) * 2023-10-25 2024-02-20 厦门久凌创新科技有限公司 基于大数据分析的图像标记处理方法和系统

Similar Documents

Publication Publication Date Title
CN112287741A (zh) 基于图像处理的农事操作管理方法及装置
CN110826538B (zh) 一种用于电力营业厅的异常离岗识别系统
US8811663B2 (en) Object detection in crowded scenes
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
CN111832465B (zh) 基于MobileNetV3的实时人头分类检测方法
CN109165685B (zh) 基于表情和动作的监狱服刑人员潜在性风险监测方法和系统
CN111832400B (zh) 一种基于概率神经网络的口罩佩戴情况的监测系统及方法
CN113365147B (zh) 基于音乐卡点的视频剪辑方法、装置、设备及存储介质
Pranav et al. A day on campus-an anomaly detection dataset for events in a single camera
CN111881320A (zh) 一种视频查询方法、装置、设备及可读存储介质
CN112541393A (zh) 一种基于深度学习的变电站人员检测方法及装置
CN110599129A (zh) 一种基于图像追踪校园考勤方法、装置、识别终端及系统
CN111126411B (zh) 一种异常行为识别方法及装置
CN111950507B (zh) 数据处理和模型训练方法、装置、设备及介质
CN110414322B (zh) 提取图片的方法、装置、设备及存储介质
US20160140395A1 (en) Adaptive sampling for efficient analysis of ego-centric videos
CN112417974A (zh) 一种公共卫生监控方法
CN115376054A (zh) 一种目标检测方法、装置、设备及存储介质
CN115272967A (zh) 一种跨摄像机行人实时跟踪识别方法、装置及介质
CN114092746A (zh) 一种多属性识别方法、装置、存储介质及电子设备
CN115311591A (zh) 异常行为的预警方法、装置及智能摄像头
CN113111847A (zh) 一种工序循环的自动监测方法、装置和系统
CN110378296A (zh) 基于神经网络的低网络带宽需求的监控方法及系统
CN110738692A (zh) 一种基于spark集群的智能视频识别方法
KR102603396B1 (ko) 인공지능을 이용한 영상 감시 기반 개체 인식 및 행동패턴 분석 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination