CN116824626A - 一种动物异常状态人工智能识别的方法 - Google Patents

一种动物异常状态人工智能识别的方法 Download PDF

Info

Publication number
CN116824626A
CN116824626A CN202310632779.8A CN202310632779A CN116824626A CN 116824626 A CN116824626 A CN 116824626A CN 202310632779 A CN202310632779 A CN 202310632779A CN 116824626 A CN116824626 A CN 116824626A
Authority
CN
China
Prior art keywords
animal
neural network
convolutional neural
network model
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310632779.8A
Other languages
English (en)
Inventor
胡慧建
叶莹莹
梁健超
刘泽芯
徐月玥
国宇轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Institute of Zoology of Guangdong Academy of Sciences
Original Assignee
Guangzhou University
Institute of Zoology of Guangdong Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University, Institute of Zoology of Guangdong Academy of Sciences filed Critical Guangzhou University
Priority to CN202310632779.8A priority Critical patent/CN116824626A/zh
Publication of CN116824626A publication Critical patent/CN116824626A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种动物异常状态人工智能识别的方法，属于动物行为异常状态识别技术领域。方法包括以下步骤：S1、在动物活动范围内布设多个摄像头以监测动物行为；S2、摄像头将捕获数据数据传回并分别传输至2D卷积神经网络模型或3D卷积神经网络模型；S3、2D卷积神经网络模型或3D卷积神经网络模型同时对动物异常状态进行识别；S3‑4、对动物异常状态报告进行推送及反馈。本发明解决了现有技术无法做到及时发现动物异常状态的问题，能更好地监测动物健康状态且节约人工成本。

Description

一种动物异常状态人工智能识别的方法
技术领域
本发明涉及动物行为异常状态识别技术领域，具体是涉及一种动物异常状态人工智能识别的方法。
背景技术
对于动物健康状态的监控，人力既无法做到对动物园里的动物或者畜牧产业中的牲畜既进行全方位、无死角、全天候的监控；又无法即时的了解到动物、牲畜的身体健康状态；饲养人员对生物专业知识的缺乏；以及培养一个相关专业人才的成本较高等问题会降低动物保护的效率以及质量。
已有的生物识别技术在实际应用中存在以下问题：(1)在动物图像发生重叠的过程中无法精确识别动物数量；(2)识别物种过于单一；(3)缺乏相关专业知识，无法精准的识别动物异常状态；(4)一般人工智能对群体中的个体识别能力差。
发明内容
为解决以上问题，本发明提供一种动物异常状态人工智能识别的方法，采用基于计算机视觉的卷积神经网络(CNN)技术(包括2D卷积神经网络处理图片数据的同时用3D卷积神经网络技术来处理视频数据，增加了时间维度，同时提取空间和时间维度的特征信息)来进行对生物处于异常状态的行为进行特征提取，通过训练人工智能对此类行为进行识别、报警，从而实现对动物异常状态进行监控的同时减少人力以及时间的投入的目的。
为解决上述问题，本发明的技术方案如下：
一种动物异常状态人工智能识别的方法，包括以下步骤：
S1、在动物活动范围内布设多个摄像头以监测动物行为，并保证多个摄像头的拍摄范围覆盖整个动物活动范围；
S2、在摄像头捕获到动物踪迹后立即对监控画面进行截图、录像并实时回传至监测报警系统，监测报警系统对摄像头捕获数据进行分类处理并分别传输至2D卷积神经网络模型或3D卷积神经网络模型；
S3、2D卷积神经网络模型或3D卷积神经网络模型同时对动物异常状态进行识别，在识别到动物异常状态时，监测报警系统自动生成生成动物异常状态报告并进行反馈，包括以下步骤：
S3-1、监测报警系统的2D卷积神经网络模型对截图进行动物异常状态识别，监测报警系统的3D卷积神经网络模型对录像进行动物异常状态识别，
S3-2、当2D卷积神经网络模型先识别到动物异常状态时，3D卷积神经网络模型停止工作，监控画面的截图与录像停止回传，动物异常状态报告生成模块根据2D卷积神经网络模型识别结果及截图内容生成动物异常状态报告，
S3-3、当3D卷积神经网络模型先识别到动物异常状态时，保存识别时刻前后10～30秒的录像，并对识别时刻对应的录像进行截图，2D卷积神经网络模型停止工作，监控画面的截图与录像停止回传，动物异常状态报告生成模块根据3D卷积神经网络模型识别结果、录像及截图生成动物异常状态报告，
S3-4、动物异常状态报告推送模块对动物异常状态报告进行推送及反馈。
进一步地，步骤S1的动物活动范围包括：养殖场饲养或圈养的动物活动场所、动物园动物活动场所、野生动物保护区。
说明：本发明的方法解决了目前人力既无法做到对动物园里的动物或者畜牧产业中的牲畜既进行全方位、无死角、全天候的监控；又无法即时的了解到动物、牲畜的身体健康状态；饲养人员对生物专业知识的缺乏；以及培养一个相关专业人才的成本较高的问题。
进一步地，步骤S2包括以下步骤：
S2-1、在摄像头捕获到动物踪迹后立即对监控画面进行截图、录像并实时回传至监测报警系统，在此后每隔1～5秒对监控画面截图并与录像共同回传至监测报警系统；
S2-2、数据分类模块将回传的监控画面的截图传输至2D卷积神经网络模型，将回传的对监控画面的录像传输至3D卷积神经网络模型。
说明：本发明的方法在给出多种动物多种异常情况识别的解决方法基础上，使用了2D与3D卷积神经网络结合的方式，兼顾2D卷积神经网络的识别速度和3D的准确性、全面性，提高了识别的效率与准确率。
进一步地，2D卷积神经网络模型、3D卷积神经网络模型识别的动物异常状态包括：外体形态、伤病状况及发情、分娩。
说明：本发明的2D卷积神经网络模型、3D卷积神经网络模型能够识别大部分动物异常行为。
更进一步地，监测报警系统包括：
数据接收模块，数据接收模块用于接收摄像头捕获数据，摄像头捕获数据包括：监控画面的截图与录像，
人工智能识别模块，人工智能识别模块用于根据摄像头捕获数据识别动物异常状态，人工智能识别模块包括：2D卷积神经网络模型、3D卷积神经网络模型，2D卷积神经网络模型用于根据监控画面的截图进行动物特征提取与异常状态识别，3D卷积神经网络模型根据监控画面的录像进行动物特征提取与异常状态识别，
数据分类模块，数据分类模块用于将摄像头捕获数据分类传输至人工智能识别模块，
动物异常状态报告生成模块，动物异常状态报告生成模块用于根据人工智能识别模块识别动物异常状态自动生成动物异常状态报告，
动物异常状态报告推送模块，动物异常状态报告推送模块用于将动物异常状态报告推送至对应人员的手机终端，
动物状态阶段报告生成模块，动物状态阶段报告生成模块用于自动统计月度、季度或年度的动物异常行为并生成动物状态阶段报告。
说明：监测报警系统能够自动根据动物异常情况生成生成动物状态阶段报告，便于相关人员对于动物异常情况的收集和记录。
优选地，2D卷积神经网络模型、3D卷积神经网络模型的训练过程为：
SA1、建立训练数据集：
收集包含动物异常状态和动物正常状态的图像和视频并进行分类整理后，通过数据标注工具Labellmg对图像和视频中的动物行为进行类别标注后得到图像训练数据集和视频训练数据集；
SA2、搭建卷积神经网络模型，并通过训练数据集对卷积神经网络模型进行训练；
SA3、对卷积神经网络模型进行测试，判断卷积神经网络模型是否训练完成。
优选地，步骤SA1还包括：类别为异常状态的图像和视频需要详细标注动物名称及异常状态的类型，异常状态包括：外体形态异常、伤病状况、发情、分娩，异常状态由同一个体在各个时间段与正常状态对比得出，或通过同一物种、各个体正常状态之间的对比得出。
说明：2D卷积神经网络模型、3D卷积神经网络模型的训练集囊括了大部分动物异常状态。
优选地，步骤SA2包括以下步骤：
SA2-1、分别搭建2D卷积神经网络模型、3D卷积神经网络模型；
SA2-2、分别将图像训练数据集、视频训练数据集作为2D卷积神经网络模型、3D卷积神经网络模型的输入内容进行计算，再分别将2D卷积神经网络模型计算结果、3D卷积神经网络模型计算结果与图像训练数据集、视频训练数据集的标注内容进行比对；
SA2-3、根据比对结果，分别计算2D卷积神经网络模型、3D卷积神经网络模型的识别成功率，比对结果包括：成功、失败和未知；
SA2-4、再根据比对结果为失败或未知的图像训练数据集、视频训练数据集的内容，分别对2D卷积神经网络模型、3D卷积神经网络模型进行参数调整，分别排除2D卷积神经网络模型、3D卷积神经网络模型中提取的与每种动物对应异常状态无关的冗余特征、在图像训练数据集和视频训练数据集中分布不一致的特征，修改2D卷积神经网络模型、3D卷积神经网络模型特征提取的规则；
SA2-5、重复步骤SA2-2至步骤SA2-4，直至2D卷积神经网络模型、3D卷积神经网络模型的识别成功率均大于等于95％。
说明：本发明根据2D卷积神经网络模型、3D卷积神经网络模型预测结果与图片数据集、视频数据集标注内容的比对，将计算结果(成功、失败、未知)分类处理，计算识别成功率，人为干预，对失败、未知两类结果进行纠错，统计误差，将识别不准确的数据进行修正，增强模型特征。
优选地，步骤SA3包括以下步骤：
SA3-1、重新收集包含动物异常状态和动物正常状态的图像和视频并分别按照步骤SA1中图像训练数据集和视频训练数据集的建立方式得到图像测试数据集和视频测试数据集；
SA3-2、分别将图像测试数据集、视频测试数据集作为2D卷积神经网络模型、3D卷积神经网络模型的输入内容进行计算，再分别将2D卷积神经网络模型计算结果、3D卷积神经网络模型计算结果与图像测试数据集、视频测试数据集的标注内容进行比对；
SA3-3、根据比对结果，分别计算2D卷积神经网络模型、3D卷积神经网络模型的识别成功率，比对结果包括：成功、失败和未知，
当2D卷积神经网络模型和3D卷积神经网络模型的识别成功率均大于等于95％，认定2D卷积神经网络模型和3D卷积神经网络模型训练完成，否则，分别将图像测试数据集、视频测试数据集合并至图像训练数据集、视频训练数据集，回到步骤SA2，继续对2D卷积神经网络模型和3D卷积神经网络模型进行训练。
说明：通过不断调整模型及扩大训练数据集进一步保证了2D卷积神经网络模型、3D卷积神经网络模型的识别准确率。
本发明还提供一种动物异常状态人工智能识别的应用，基于上述的一种动物异常状态人工智能识别的方法，应用于动物生长、繁育以及疾病预防、合理饲养、健康状态监测、养殖场养殖动物管理、动物园野生动物管理对于动物状态智能检测识别。
本发明的有益效果是：
(1)本发明利用采集到的动物异常状态的图片和视频作为训练样本对AI进行训练，使AI形成一套完整的监测动物异常状态的体系，采用实时影像技术，实现人工智能的7*24小时实时对动物状态和行为不间断的监测，弥补了人工监管中只能固定时间且多无夜间进行监控的出现的监控不足情况，实现了动物无人化管理，能更好地监测动物健康状态且节约人工成本，相较于传统的人工监管提高了管理效率。一旦动物出现异常状态，AI能将快速识别，做出及时有效的反应。该技术拥有广阔的应用市场与前景，可应用于动物保护、动物健康监测等领域。
(2)本发明采用了最新的AI影像识别技术，运用在图像领域已获得成功应用的深度学习卷积神经网络的技术处理图像与影像信息，且本团队指导老师已在野生动物识别上成功应用及已实用化，能确保相关技术的实现。该技术不同于传统基于图像人工设计特征提取，而是基于AI自动提取特征来实现行为分类，以实现运用卷积神经网络技术(CNN)在动物类别识别和行为捕捉识别上的高度准确率，达到AI智能化识别动物异常行为并迅速发出预警信号的效果，提供一种无接触且自动高效的牲畜行为监控方式。
(3)本发明提供给人工智能进行训练的数据集，主要是凸显出动物异常状态下的特点，而这些特点的发现都是基于生物专业领域的知识，将AI智能识别动物行为与动物学知识相结合，建立外表变化+非移动行为+移动行为的3维判断模式。根据所累积的知识可观察到动物们的身体特征及行为动作的细微变化，更高效准确地判断出动物的异常，除可直观观察到的外体形态外，还可观察到动物生理及心理状态上的变化，形成了动物行为、生理及心理状态上的变化全覆盖，保证了所建立的数据库更加准确可靠。此外，本发明将图片与视频数据的行为识别技术相融合，丰富了用于AI训练的数据集，扩大了识别范围，达到更高效准确监测动物状态的效果。
(4)本发明通过AI学习与训练，具有高判断率，相较于人工观察判断，犯错概率更小，可降低出现重大伤亡事件造成严重损失风险的概率。此外，本识别系统在发现异常并发送警报给管理人员的同时，可按需自动生成某一时间段内动物异常行为状态报告，以更好地实时监测动物身体状况并进行有效管理，协助管理人员排查异常情况出现的原因并解决问题，保障了动物生理及心理状态上的健康。
(5)现有技术对于动物异常限于单个物种的异常，或一类动物的一种异常情况，虽然同样使用了CNN实现模型，但没有明确给出“2D与3D卷积神经网络结合”的方案，本发明相较于现有技术的优点在于，在给出多种动物多种异常情况识别的解决方法基础上，使用了2D与3D卷积神经网络结合的方式，兼顾2D卷积神经网络的识别速度和3D的准确性、全面性，提高了识别的效率与准确率。
附图说明
图1是实施例1一种动物异常状态人工智能识别的方法流程图；
图2是实施例1中对于动物异常行为识别识别的界面图；
图3是实施例1状态数据集收集过程图；
图4是实施例1状态数据集具体生成过程图；
图5是实施例1卷积神经网络模型搭建建立过程图；
图6是实施例4监测报警系统框架图；
图7是实施例5一种动物异常状态人工智能识别的应用过程图；
其中，1-数据接收模块、2-人工智能识别模块、3-数据分类模块、4-动物异常状态报告生成模块、5-动物异常状态报告推送模块、6-动物状态阶段报告生成模块。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
实施例1
本实施例为一种动物异常状态人工智能识别的方法，如图1所示，包括以下步骤：
S1、在动物活动范围内布设多个摄像头以监测动物行为，并保证多个摄像头的拍摄范围覆盖整个动物活动范围，动物活动范围包括：养殖场饲养或圈养的动物活动场所、动物园动物活动场所、野生动物保护区。
S2、在摄像头捕获到动物踪迹后立即对监控画面进行截图、录像并实时回传至监测报警系统，监测报警系统对摄像头捕获数据进行分类处理并分别传输至2D卷积神经网络模型或3D卷积神经网络模型，2D卷积神经网络模型、3D卷积神经网络模型识别的动物异常状态包括：外体形态、伤病状况及发情、分娩，包括以下步骤：
S2-1、在摄像头捕获到动物踪迹后立即对监控画面进行截图、录像并实时回传至监测报警系统，在此后每隔1秒对监控画面截图并与录像共同回传至监测报警系统；
S2-2、数据分类模块3将回传的监控画面的截图传输至2D卷积神经网络模型，将回传的对监控画面的录像传输至3D卷积神经网络模型。
S3、2D卷积神经网络模型或3D卷积神经网络模型同时对动物异常状态进行识别，在识别到动物异常状态时，监测报警系统自动生成生成动物异常状态报告并进行反馈，包括以下步骤：
S3-1、监测报警系统的2D卷积神经网络模型对截图进行动物异常状态识别，监测报警系统的3D卷积神经网络模型对录像进行动物异常状态识别；
S3-2、当2D卷积神经网络模型先识别到动物异常状态时，3D卷积神经网络模型停止工作，监控画面的截图与录像停止回传，动物异常状态报告生成模块4根据2D卷积神经网络模型识别结果及截图内容生成动物异常状态报告；
S3-3、当3D卷积神经网络模型先识别到动物异常状态时，保存识别时刻前后10～30秒的录像，并对识别时刻对应的录像进行截图，2D卷积神经网络模型停止工作，监控画面的截图与录像停止回传，动物异常状态报告生成模块4根据3D卷积神经网络模型识别结果、录像及截图生成动物异常状态报告；
S3-4、动物异常状态报告推送模块5对动物异常状态报告进行推送及反馈。
本实施例中，对于动物异常行为识别识别的界面如图2所示。
本实施例中，2D卷积神经网络模型、3D卷积神经网络模型的训练过程为：
SA1、建立训练数据集：
收集包含动物异常状态和动物正常状态的图像和视频并进行分类整理后，通过数据标注工具Labellmg对图像和视频中的动物行为进行类别标注后得到图像训练数据集和视频训练数据集，类别为异常状态的图像和视频需要详细标注动物名称及异常状态的类型，异常状态包括：外体形态异常、伤病状况、发情、分娩，异常状态由同一个体在各个时间段与正常状态对比得出，或通过同一物种、各个体正常状态之间的对比得出。
如图3、图4所示，本实施例通过摄像头观察记录动物的异常状态，收集足够量的动物图片与视频，以建立一个完备的动物异常状态数据集，在建立数据集过程中将AI智能识别与生物专业知识相结合，除可直观观察到的外体形态外，在此过程中还需要多注意观察动物行为动作、生理及心理状态上的变化，多关注动物们的身体特征及行为的细微变化，根据专业的生物学知识更高效准确地判断出动物的异常，重点观察动物眼睛、羽毛、嘴角等处的健康状态、雁形目动物的粪便状态、动物进入发情期的状态及其有蹄类动物身上的受伤情况。
动物常见异常行为状态如表1所示。
表1动物常见异常行为状态表
SA2、搭建卷积神经网络模型，并通过训练数据集对卷积神经网络模型进行训练，如图5所示，包括以下步骤：
SA2-1、分别搭建2D卷积神经网络模型、3D卷积神经网络模型；
SA2-2、分别将图像训练数据集、视频训练数据集作为2D卷积神经网络模型、3D卷积神经网络模型的输入内容进行计算，再分别将2D卷积神经网络模型计算结果、3D卷积神经网络模型计算结果与图像训练数据集、视频训练数据集的标注内容进行比对；
SA2-3、根据比对结果，分别计算2D卷积神经网络模型、3D卷积神经网络模型的识别成功率，比对结果包括：成功、失败和未知；
SA2-4、再根据比对结果为失败或未知的图像训练数据集、视频训练数据集的内容，分别对2D卷积神经网络模型、3D卷积神经网络模型进行参数调整，分别排除2D卷积神经网络模型、3D卷积神经网络模型中提取的与每种动物对应异常状态无关的冗余特征、在图像训练数据集和视频训练数据集中分布不一致的特征，修改2D卷积神经网络模型、3D卷积神经网络模型特征提取的规则；
SA2-5、重复步骤SA2-2至步骤SA2-4，直至2D卷积神经网络模型、3D卷积神经网络模型的识别成功率均大于等于95％。
SA3、对卷积神经网络模型进行测试，判断卷积神经网络模型是否训练完成，包括以下步骤：
SA3-1、重新收集包含动物异常状态和动物正常状态的图像和视频并分别按照步骤SA1中图像训练数据集和视频训练数据集的建立方式得到图像测试数据集和视频测试数据集；
SA3-2、分别将图像测试数据集、视频测试数据集作为2D卷积神经网络模型、3D卷积神经网络模型的输入内容进行计算，再分别将2D卷积神经网络模型计算结果、3D卷积神经网络模型计算结果与图像测试数据集、视频测试数据集的标注内容进行比对；
SA3-3、根据比对结果，分别计算2D卷积神经网络模型、3D卷积神经网络模型的识别成功率，比对结果包括：成功、失败和未知，
当2D卷积神经网络模型和3D卷积神经网络模型的识别成功率均大于等于95％，认定2D卷积神经网络模型和3D卷积神经网络模型训练完成，否则，分别将图像测试数据集、视频测试数据集合并至图像训练数据集、视频训练数据集，回到步骤SA2，继续对2D卷积神经网络模型和3D卷积神经网络模型进行训练。
在实际的生物异常状态识别中，常见的目标检测算法有CNN、SSD、YOLOv3、YOLOv4、YOLOv5等方法，我们采用的2D与3D卷积神经网络结合，具有目标识别精度高，误差小、检测效率高等特点，有利于群体养殖中识别单一个体。为提高异常识别的精确度，我们采用异常与正常图像、视频进行对比的模式，提高了AI识别动物异常行为的准确性、采用LabelImg定框标注图片或视频的动物异常状态并以此建立数据集，确定识别的主体，既解决了一般人工智能AI识别物种单一性的问题，也提高了AI对动物异常状态识别的准确度。为了协助查找动物出现异常行为以及状态的原因，我们开发出自动生成某一时间段内异常行为报告的系统，对动物异常状态进行记录，能够高效地帮助饲养人员找到动物异常状态所对应的时间回放监控，减少回看监控的时间。
实施例2
本实施例为一种动物异常状态人工智能识别的方法，与实施例1的区别之处为：
S2-1、在摄像头捕获到动物踪迹后立即对监控画面进行截图、录像并实时回传至监测报警系统，在此后每隔3秒对监控画面截图并与录像共同回传至监测报警系统。
实施例3
本实施例为一种动物异常状态人工智能识别的方法，与实施例1的区别之处为：
S2-1、在摄像头捕获到动物踪迹后立即对监控画面进行截图、录像并实时回传至监测报警系统，在此后每隔5秒对监控画面截图并与录像共同回传至监测报警系统。
实施例4
本实施例为一种监测报警系统，基于是实施例1一种动物异常状态人工智能识别的方法，如图6所示，包括：
数据接收模块1，数据接收模块1用于接收摄像头捕获数据，摄像头捕获数据包括：监控画面的截图与录像，
人工智能识别模块2，人工智能识别模块2用于根据摄像头捕获数据识别动物异常状态，人工智能识别模块2包括：2D卷积神经网络模型、3D卷积神经网络模型，2D卷积神经网络模型用于根据监控画面的截图进行动物特征提取与异常状态识别，3D卷积神经网络模型根据监控画面的录像进行动物特征提取与异常状态识别，
数据分类模块3，数据分类模块3用于将摄像头捕获数据分类传输至人工智能识别模块2，
动物异常状态报告生成模块4，动物异常状态报告生成模块4用于根据人工智能识别模块2识别动物异常状态自动生成动物异常状态报告，
动物异常状态报告推送模块5，动物异常状态报告推送模块5用于将动物异常状态报告推送至对应人员的手机终端，
动物状态阶段报告生成模块6，动物状态阶段报告生成模块6用于自动统计月度、季度或年度的动物异常行为并生成动物状态阶段报告。
实施例5
本实施例为一种动物异常状态人工智能识别的应用，基于实施例1的一种动物异常状态人工智能识别的方法，应用于动物生长、繁育以及疾病预防、合理饲养、健康状态监测、养殖场养殖动物管理、动物园野生动物管理对于动物状态智能检测识别。
如图7所示，应用过程为：实行摄像机远程实时监控，一旦2D卷积神经网络模型/3D卷积神经网络模型发现动物出现异常状态，可达到条件触发报警，监测系统支持将报警信息推动到手机端，可迅速发出预警信号将异常情况反馈到管理员手机端，管理员可根据异常情况及时做出应对措施，从而形成一种无接触且自动高效的动物异常行为监控方式，将智能化识别动物异常行为应用于现实，实现了动物无人化管理，也大大减少了管理人员的工作量，降低了人工成本，同时相较人工监管提升了工作效率。后续还将开发自动生成某一时间段内动物异常行为状态报告的系统，对动物异常状态进行记录，以更好地实时监测动物身体状况并进行有效管理，保障了动物生理及心理状态上的健康。

Claims (9)

1.一种动物异常状态人工智能识别的方法，其特征在于，包括以下步骤：
S1、在动物活动范围内布设多个摄像头以监测动物行为，并保证多个摄像头的拍摄范围覆盖整个动物活动范围；
S2、在摄像头捕获到动物踪迹后立即对监控画面进行截图、录像并实时回传至监测报警系统，监测报警系统对摄像头捕获数据进行分类处理并分别传输至2D卷积神经网络模型或3D卷积神经网络模型；
S3、2D卷积神经网络模型或3D卷积神经网络模型同时对动物异常状态进行识别，在识别到动物异常状态时，监测报警系统自动生成生成动物异常状态报告并进行反馈，包括以下步骤：
S3-1、监测报警系统的2D卷积神经网络模型对截图进行动物异常状态识别，监测报警系统的3D卷积神经网络模型对录像进行动物异常状态识别，
S3-2、当2D卷积神经网络模型先识别到动物异常状态时，3D卷积神经网络模型停止工作，监控画面的截图与录像停止回传，动物异常状态报告生成模块(4)根据2D卷积神经网络模型识别结果及截图内容生成动物异常状态报告，
S3-3、当3D卷积神经网络模型先识别到动物异常状态时，保存识别时刻前后10～30秒的录像，并对识别时刻对应的录像进行截图，2D卷积神经网络模型停止工作，监控画面的截图与录像停止回传，动物异常状态报告生成模块(4)根据3D卷积神经网络模型识别结果、录像及截图生成动物异常状态报告，
S3-4、动物异常状态报告推送模块(5)对动物异常状态报告进行推送及反馈。
2.如权利要求1所述的一种动物异常状态人工智能识别的方法，其特征在于，所述步骤S1的动物活动范围包括：养殖场饲养或圈养的动物活动场所、动物园动物活动场所、野生动物保护区。
3.如权利要求1所述的一种动物异常状态人工智能识别的方法，其特征在于，所述步骤S2包括以下步骤：
S2-1、在摄像头捕获到动物踪迹后立即对监控画面进行截图、录像并实时回传至监测报警系统，在此后每隔1～5秒对监控画面截图并与录像共同回传至监测报警系统；
S2-2、数据分类模块(3)将回传的监控画面的截图传输至2D卷积神经网络模型，将回传的对监控画面的录像传输至3D卷积神经网络模型。
4.如权利要求1所述的一种动物异常状态人工智能识别的方法，其特征在于，所述监测报警系统包括：
数据接收模块(1)，所述数据接收模块(1)用于接收摄像头捕获数据，所述摄像头捕获数据包括：监控画面的截图与录像，
人工智能识别模块(2)，所述人工智能识别模块(2)用于根据所述摄像头捕获数据识别动物异常状态，人工智能识别模块(2)包括：2D卷积神经网络模型、3D卷积神经网络模型，所述2D卷积神经网络模型用于根据监控画面的截图进行动物特征提取与异常状态识别，所述3D卷积神经网络模型根据监控画面的录像进行动物特征提取与异常状态识别，
数据分类模块(3)，所述数据分类模块(3)用于将所述摄像头捕获数据分类传输至所述人工智能识别模块，
动物异常状态报告生成模块(4)，所述动物异常状态报告生成模块(4)用于根据所述人工智能识别模块识别动物异常状态自动生成动物异常状态报告，
动物异常状态报告推送模块(5)，所述动物异常状态报告推送模块(5)用于将所述动物异常状态报告推送至对应人员的手机终端，
动物状态阶段报告生成模块(6)，所述动物状态阶段报告生成模块(6)用于自动统计月度、季度或年度的动物异常行为并生成动物状态阶段报告。
5.如权利要求1所述的一种动物异常状态人工智能识别的方法，其特征在于，所述2D卷积神经网络模型、所述3D卷积神经网络模型的训练过程为：
SA1、建立训练数据集：
收集包含动物异常状态和动物正常状态的图像和视频并进行分类整理后，通过数据标注工具Labellmg对图像和视频中的动物行为进行类别标注后得到图像训练数据集和视频训练数据集；
SA2、搭建卷积神经网络模型，并通过训练数据集对卷积神经网络模型进行训练；
SA3、对卷积神经网络模型进行测试，判断卷积神经网络模型是否训练完成。
6.如权利要求5所述的一种动物异常状态人工智能识别的方法，其特征在于，所述步骤SA1还包括：所述类别为异常状态的图像和视频需要详细标注动物名称及异常状态的类型，异常状态包括：外体形态异常、伤病状况、发情、分娩，异常状态由同一个体在各个时间段与正常状态对比得出，或通过同一物种、各个体正常状态之间的对比得出。
7.如权利要求6所述的一种动物异常状态人工智能识别的方法，其特征在于，所述步骤SA2包括以下步骤：
SA2-1、分别搭建2D卷积神经网络模型、3D卷积神经网络模型；
SA2-2、分别将图像训练数据集、视频训练数据集作为2D卷积神经网络模型、3D卷积神经网络模型的输入内容进行计算，再分别将2D卷积神经网络模型计算结果、3D卷积神经网络模型计算结果与图像训练数据集、视频训练数据集的标注内容进行比对；
SA2-3、根据比对结果，分别计算2D卷积神经网络模型、3D卷积神经网络模型的识别成功率，比对结果包括：成功、失败和未知；
SA2-4、再根据比对结果为失败或未知的图像训练数据集、视频训练数据集的内容，分别对2D卷积神经网络模型、3D卷积神经网络模型进行参数调整，分别排除2D卷积神经网络模型、3D卷积神经网络模型中提取的与每种动物对应异常状态无关的冗余特征、在图像训练数据集和视频训练数据集中分布不一致的特征，修改2D卷积神经网络模型、3D卷积神经网络模型特征提取的规则；
SA2-5、重复步骤SA2-2至步骤SA2-4，直至2D卷积神经网络模型、3D卷积神经网络模型的识别成功率均大于等于95％。
8.如权利要求7所述的一种动物异常状态人工智能识别的方法，其特征在于，所述步骤SA3包括以下步骤：
SA3-1、重新收集包含动物异常状态和动物正常状态的图像和视频并分别按照步骤SA1中图像训练数据集和视频训练数据集的建立方式得到图像测试数据集和视频测试数据集；
SA3-2、分别将图像测试数据集、视频测试数据集作为2D卷积神经网络模型、3D卷积神经网络模型的输入内容进行计算，再分别将2D卷积神经网络模型计算结果、3D卷积神经网络模型计算结果与图像测试数据集、视频测试数据集的标注内容进行比对；
SA3-3、根据比对结果，分别计算2D卷积神经网络模型、3D卷积神经网络模型的识别成功率，比对结果包括：成功、失败和未知，
当2D卷积神经网络模型和3D卷积神经网络模型的识别成功率均大于等于95％，认定2D卷积神经网络模型和3D卷积神经网络模型训练完成，否则，分别将图像测试数据集、视频测试数据集合并至图像训练数据集、视频训练数据集，回到步骤SA2，继续对2D卷积神经网络模型和3D卷积神经网络模型进行训练。
9.一种动物异常状态人工智能识别的应用，基于权利要求1-9中任意一项所述的一种动物异常状态人工智能识别的方法，其特征在于，应用于动物生长、繁育以及疾病预防、合理饲养、健康状态监测、养殖场养殖动物管理、动物园野生动物管理对于动物状态智能检测识别。
CN202310632779.8A 2023-05-31 2023-05-31 一种动物异常状态人工智能识别的方法 Pending CN116824626A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310632779.8A CN116824626A (zh) 2023-05-31 2023-05-31 一种动物异常状态人工智能识别的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310632779.8A CN116824626A (zh) 2023-05-31 2023-05-31 一种动物异常状态人工智能识别的方法

Publications (1)

Publication Number Publication Date
CN116824626A true CN116824626A (zh) 2023-09-29

Family

ID=88125020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310632779.8A Pending CN116824626A (zh) 2023-05-31 2023-05-31 一种动物异常状态人工智能识别的方法

Country Status (1)

Country Link
CN (1) CN116824626A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117423042A (zh) * 2023-12-15 2024-01-19 成都大熊猫繁育研究基地 一种基于大熊猫排泄物识别的大熊猫健康评估方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117423042A (zh) * 2023-12-15 2024-01-19 成都大熊猫繁育研究基地 一种基于大熊猫排泄物识别的大熊猫健康评估方法及系统
CN117423042B (zh) * 2023-12-15 2024-02-20 成都大熊猫繁育研究基地 一种基于大熊猫排泄物识别的大熊猫健康评估方法及系统

Similar Documents

Publication Publication Date Title
CN106940789B (zh) 一种基于视频识别的数量统计的方法、系统及装置
Wu et al. Using a CNN-LSTM for basic behaviors detection of a single dairy cow in a complex environment
CN110738127A (zh) 基于无监督深度学习神经网络算法的安全帽识别方法
CN109543679A (zh) 一种基于深度卷积神经网络的死鱼识别方法及预警系统
CN106295558A (zh) 一种猪只行为节律分析方法
KR102296501B1 (ko) 깊이 영상카메라 및 소리 센서를 활용한 모돈의 발정기 및 수정적기 판단 시스템
CN110991222B (zh) 一种物体状态监测、母猪发情监测方法、装置及系统
CN112131927A (zh) 基于妊娠后期姿态转化特性的母猪分娩时间预测系统
CN116824626A (zh) 一种动物异常状态人工智能识别的方法
CN114460080A (zh) 一种水稻病虫智能监控系统
CN114980011B (zh) 穿戴式传感器与红外相机协同的畜禽体温监测方法
CN116192917A (zh) 一种海洋牧场综合观测预报平台
CN106614071B (zh) 一种母猪产前行为监测系统以及方法
CN113724250A (zh) 一种基于双光相机的动物目标计数方法
CN112287893B (zh) 一种基于音视频信息融合的母猪哺乳行为识别方法
CN115119766B (zh) 一种基于深度学习和红外热成像的母猪发情检测方法
CN115349459A (zh) 一种智能猪舍监控系统
CN115777560A (zh) 一种基于机器视觉分析技术的母猪智能化饲喂系统
CN114511801A (zh) 一种虫害识别模型训练方法、虫害监测方法和电子设备
CN114022302A (zh) 一种基于视频监控的孕期山羊智能管理系统及管理方法
CN109376635B (zh) 一种护理质量考核系统及安全事件上报方法
CN113989538A (zh) 基于深度图像的鸡群均匀度估测方法、装置、系统及介质
CN113743261A (zh) 一种猪体外伤的检测方法、装置和可读存储介质
CN113221776B (zh) 一种基于人工智能对反刍动物一般行为识别的方法
CN117152799B (zh) 动物识别方法、装置、终端设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination