CN110991235B - 一种状态监测方法、装置、电子设备及存储介质 - Google Patents

一种状态监测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110991235B
CN110991235B CN201911039393.6A CN201911039393A CN110991235B CN 110991235 B CN110991235 B CN 110991235B CN 201911039393 A CN201911039393 A CN 201911039393A CN 110991235 B CN110991235 B CN 110991235B
Authority
CN
China
Prior art keywords
key point
target object
point set
determining
detection image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911039393.6A
Other languages
English (en)
Other versions
CN110991235A (zh
Inventor
降小龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Information Technology Co Ltd
Original Assignee
Jingdong Technology Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Information Technology Co Ltd filed Critical Jingdong Technology Information Technology Co Ltd
Priority to CN201911039393.6A priority Critical patent/CN110991235B/zh
Publication of CN110991235A publication Critical patent/CN110991235A/zh
Application granted granted Critical
Publication of CN110991235B publication Critical patent/CN110991235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种状态监测方法、装置、电子设备及存储介质，该方法包括：获取对指定区域按照预设时间间隔拍摄得到的第一检测图像与第二检测图像；确定所述第一检测图像中目标物对应的第一关键点集合，以及确定所述第二检测图像中所述目标物对应的第二关键点集合；根据所述第一关键点集合与所述第二关键点集合确定所述目标物的状态信息。该技术方案通过获取预设时间间隔的两个检测图像，并根据两个检测图像中目标物相应的关键点集合，确定目标物的状态，以此有效地减少了人工检测的成本，并且也保证了监测精度。

Description

一种状态监测方法、装置、电子设备及存储介质
技术领域
本申请涉及物体状态监测领域，尤其涉及一种状态监测方法、装置、电子设备及存储介质。
背景技术
随着人工智能的发展，智能化养殖越来越普及，但是对于实现真正的智能化养殖还存在不少问题，例如：以家畜为例，无应激条件下家畜的日常运动时间、距离、速度等构成的运动数据，可作为家畜健康与舒适度状况分析的重要依据。
但是在现有技术中，利用超声波定位技术、RFID定位技术、红外定位技术、视频定位技术等，可以对家畜的状态进行监控，这些技术不仅会导致家畜的应激行为，影响家畜的健康成长，而且成本较高，不够精确。目前主要通过人工观察家畜的日常活动，依靠养殖人员的经验等现场检查判断。在规模较大的养殖场中，对养殖人员的时间、体力和身体状况等都是一个巨大的挑战，而且这对养殖人员的经验等方面具有较高的要求。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种状态监测方法、装置、电子设备及存储介质。
第一方面，本申请提供了一种状态监测方法，包括：
获取对指定区域按照预设时间间隔拍摄得到的第一检测图像与第二检测图像；
确定所述第一检测图像中目标物对应的第一关键点集合，以及确定所述第二检测图像中所述目标物对应的第二关键点集合；
根据所述第一关键点集合与所述第二关键点集合确定所述目标物的状态信息。
在一个可能的实施方式中，所述确定所述第一检测图像中目标物对应的第一关键点集合，以及确定所述第二检测图像中所述目标物对应的第二关键点集合，包括：
将所述第一检测图像和第二检测图像输入预先训练的位置检测模型，得到所述第一检测图像中目标物对应的第一位置信息，以及所述第二检测图像中所述目标物对应的第二位置信息；
根据所述第一位置信息生成与所述目标物对应的第一目标物图像，根据所述第二位置信息生成与所述目标物对应的第二目标物图像；
将所述第一目标物图像和第二目标物图像输入预先训练的关键点检测模型，得到所述第一目标物图像中目标物对应的第一关键点集合，以及所述第二目标物图像中所述目标物对应的第二关键点集合。
在一个可能的实施方式中，所述第一检测图像中包括至少两个目标物，所述第二检测图像中包括至少两个目标物；
所述方法还包括：
确定所述第一检测图像中每个所述目标物对应的标识信息；
关联每个所述每个目标物的第一关键点集合及标识信息；
根据所述第一关键点集合及第二关键点集合的比对结果，确定所述第二关键点集合对应的标识信息。
在一个可能的实施方式中，所述根据所述第一关键点集合及第二关键点集合的比对结果，确定所述第二关键点集合对应的标识信息，包括：
根据所述第一关键点集合中的所有关键点生成第一最小外接矩形，根据所述第二关键点集合中的所有关键点生成第二最小外接矩形；
获取所述第一最小外接矩形与所述第二最小外接矩形的重叠面积；
当所述重叠面积大于预设面积时，将所述第一关键点集合对应的标识信息确定为所述第二关键点结合对应的标识信息。
在一个可能的实施方式中，所述根据所述第一关键点集合及第二关键点集合的比对结果，确定所述第二关键点集合对应的标识信息，包括：
根据所述第一关键点集合中的所有关键点生成第一最小外接矩形，根据所述第二关键点集合中的所有关键点生成第二最小外接矩形；
确定所述第一最小外接矩形与所述第二最小外接矩形的重叠面积；
根据所述第一关键点集合中的任意两个关键点生成第一关键点连接线，根据所述第二关键点集合中的任意两个关键点生成第二关键点连接线；
根据所述第一关键点连接线和所述第二关键点连接线确定连接线夹角；
计算所述重叠面积以及所述连接线夹角的加权和；
当所述加权和大于第一预设阈值时，将所述第一关键点集合对应的标识信息确定为所述第二关键点结合对应的标识信息。
在一个可能的实施方式中，所述方法还包括：
当所述加权和小于所述第一预设阈值时，获取所述第一检测图像中目标物对应的第一包围区域，以及所述第二检测图像中目标物对应的第二包围区域；
计算所述第一包围区域与所述第二包围区域的交并比；
当所述交并比大于第二预设阈值时，将所述第一关键点集合对应的标识信息确定为所述第二关键点结合对应的标识信息。
在一个可能的实施方式中，所述方法还包括：
当所述交并比小于所述第二预设阈值时，查询所述第一检测图像中是否存在剩余标识信息；
当所述第一检测图像中存在剩余标识信息，将所述剩余标识信息确定为所述第二关键点集合对应的标识信息。
在一个可能的实施方式中，所述根据所述第一关键点集合与所述第二关键点集合确定所述目标物的状态信息，包括：
获取所述第一关键点集合中的第一目标关键点的第一坐标；
获取所述第二关键点集合中的第二目标关键点的第二坐标；
根据所述第一坐标以及第二坐标确定所述目标物的运动参数；
基于所述目标物的运动参数确定所述目标物的状态信息。
在一个可能的实施方式中，所述方法还包括：
根据所述状态信息执行相应的处理操作；
所述状态信息包括：静止状态，正常状态以及活跃状态；
所述根据所述状态信息执行相应的处理操作，包括：
当所述状态信息为静止状态时，将所述目标物对应的标识信息添加至监控名单，并对所述目标物的状态信息进行再次监测，当所述静止状态的持续时间大于预设持续时间时，向指定终端发送报警信息，所述报警信息包括所述目标物对应的标识信息。
第二方面，本申请提供了一种状态监测装置，包括：
获取模块，用于获取对指定区域按照预设时间间隔拍摄得到的第一检测图像与第二检测图像；
第一确定模块，用于确定所述第一检测图像中目标物对应的第一关键点集合，以及确定所述第二检测图像中所述目标物对应的第二关键点集合；
第二确定模块，用于根据所述第一关键点集合与所述第二关键点集合确定所述目标物的状态信息。
第三方面，本申请提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行计算机程序时，实现上述方法步骤。
第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：本申请实施例公开的技术方案通过获取预设时间间隔的两个检测图像，并根据两个检测图像中目标物相应的关键点集合，确定目标物的状态，以此有效地减少了人工检测的成本，并且也保证了目标物状态的监测精度。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种状态监测方法的流程图；
图2为本申请另一实施例提供的一种状态监测方法的流程图；
图3为本申请实施例提供的第一检测图像中第一最小外接矩形的示意图；
图4为本申请实施例提供的第二检测图像中第二最小外接矩形的示意图；
图5为本申请实施例提供的一种状态监测装置的框图；
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供了一种状态监测方法、装置、电子设备及存储介质，本发明实施例所提供的方法可以应用于任意需要的电子设备，例如，可以为服务器、终端等电子设备，在此不做具体限定，为描述方便，后续简称为电子设备。下面首先对本发明实施例所提供的一种状态监测方法进行介绍。
图1为本申请实施例提供的一种状态监测方法的流程图，如图1所示，该方法包括以下步骤：
步骤S11，获取对指定区域按照预设时间间隔拍摄得到的第一检测图像与第二检测图像。
步骤S12，确定第一检测图像中目标物对应的第一关键点集合，以及确定第二检测图像中目标物对应的第二关键点集合。
步骤S13，根据第一关键点集合与第二关键点集合确定目标物的状态信息。
本申请涉及的目标物可以是家畜，如：牛，羊，马，猪等，也可以是家禽，如：鸡，鸭，鹅等。
本实施例提供的技术方案主要通过获取预设时间间隔的两个检测图像，并根据两个检测图像中目标物相应的关键点集合，确定目标物的状态，以此有效地减少了人工检测的成本，并且也保证了目标物状态的监测精度。
以下具体以猪只为目标物进行具体说明。
(一)图像采集
对猪舍，即指定区域，按照预设时间间隔进行拍摄得到第一检测图像与第二检测图像，其中采集到的第一检测图像与第二检测图像中包括至少一头猪。
(二)目标物识别
对采集到的两个检测图像进行减均值以及归一化操作，并将第一检测图像与第二检测图像分别输入预先训练的位置检测模型中，得到第一检测图像中猪只对应的第一位置信息，以及第二检测图像中猪只对应的第二位置信息，本实施例中第一位置信息与第二位置信息均为每个猪只的包围框坐标。根据第一位置信息生成与猪只对应的第一目标物图像，根据第二位置信息生成与猪只对应的第二目标物图像。
(三)确定目标物的关键点
将第一目标物图像和第二目标物图像输入预先训练的关键点检测模型，得到第一目标物图像中猪只对应的第一关键点集合，以及第二目标物图像中猪只对应的第二关键点集合。本实施例中第一关键点集合以及第二关键点集合中均包括五个关键点。
本实施例中的关键点检测模型包括卷积子网络和反卷积子网络，以第一目标物图像为例，将第一目标物图像输入卷积子网络，得到第一卷积结果，根据第一卷积结果确定猪只对应五个的局部坐标，将第一卷积结果输入反卷积子网络，得到第二卷积结果，按照五个的局部坐标对第二卷积结果进行分割，得到五个的局部图像，根据五个的局部图像确定猪只的五个关键点，即第一关键点集合。
本实施例中，位置检测模型通过以下方式训练得到：获取第一样本图像，第一样本图像可以是猪舍图像，第一样本图像中至少包括一个猪只，之后获取第一样本图像中的第一标注信息，第一标注信息包括第一样本图像中猪只对应的猪只标注信息，本实施例中，猪只标注信息可以是：猪只的特征信息以及猪只的位置信息，位置信息可以是包围框坐标。之后根据第二预设卷积神经网络模型对第一样本图像以及目标物标注信息进行训练，得到位置检测模型。
可选的，关键点检测模型通过以下方式训练得到：获取第二样本图像，第二样本图像为单个猪只图像，获取第二样本图像的第二标注信息，第二标注信息包括：猪只的五个关键点。根据第二预设卷积神经网络模型对第二样本图像以及猪只的关键点信息进行训练，得到关键点检测模型。
(四)目标物状态监测
在得到第一关键点集合以及第二关键点集合后，能够根据第一关键点集合与第二关键点集合确定第二检测图像每一个标识信息所对应猪只的状态信息。
可选的，可以通过获取第一关键点集合中的第一目标关键点的第一坐标，获取第二关键点集合中的第二目标关键点的第二坐标，本实施例中第一目标关键点为第一关键点集合中五个关键点的中心点，第二目标关键点为第二关键点集合中五个关键点的中心点，根据第一坐标以及第二坐标确定猪只的运动参数，通过猪只的运动参数确定猪只的状态信息，其中运动参数可以是：时间，位移，速度等，状态信息包括：静止状态，正常状态以及活跃状态。
本实施例可以在无应激条件下统计猪只日常运动时间、位移、速度等运动参数，以此作为猪只健康与舒适度状况分析的重要依据。
此外，为了便于统计每一个猪只的状态信息，还需要确定相应猪只的标识信息，图2为本申请另一实施例提供的一种状态监测方法的流程图，如图2所示，该方法还包括以下步骤：
步骤S21，确定第一检测图像中每个目标物对应的标识信息。
步骤S22，关联每个目标物的第一关键点集合及标识信息。
步骤S23，根据第一关键点集合及第二关键点集合的比对结果，确定第二关键点集合对应的标识信息。
由于第一检测图像和第二检测图像中均包括至少两个猪只，所以在得到每一个猪只的第一关键点集合以及第二关键点集合后，将第一关键点集合以及第二关键点集合中的关键点分别映射到第一检测图像以及第二检测图像中相应的猪只上。并将每个猪只的第一关键点集合及标识信息进行关联，其中，标识信息是根据第一检测图像中每一个猪只的位置信息成的。
根据第一检测图像中每一个猪只对应的第一关键点集合，与第二检测图像中每一个猪只对应的第二关键点集合的比对结果，来确定第二检测图像中每一个第二关键点集合对应的标识信息，即确定第二检测图像中每一个猪只的ID。
本实施例中，根据第一关键点集合及第二关键点集合的比对结果，确定第二关键点集合对应的标识信息的具体实现方式可以是：根据第一关键点集合中的所有关键点生成第一最小外接矩形，根据第二关键点集合中的所有关键点生成第二最小外接矩形；
通过使用图像库opencv中的minAreaRect函数，可以得到关键点的最小外接矩形。如图3、图4所示，图3显示了第一检测图像中每一个猪只的第一关键点集合生成的第一最小外接矩形，图4显示了第二检测图像中每一个猪只身上的第二关键点集合生成的第二最小外接矩形。
获取第一最小外接矩形与第二最小外接矩形的重叠面积，因为第一检测图像与第二检测图像是预设时间间隔得到的，能够通过第一最小外接矩形与第二最小外接矩形的重叠面积，来确定是否为同一只猪，本实施例中，计算重叠面积采用shapely.geometry库，可以求得两个最小外接矩形的重叠面积。
所以当二者重叠面积大于预设面积时，将第一关键点集合对应的标识信息确定为第二关键点结合对应的标识信息。
本申请实施例中，根据第一关键点集合及第二关键点集合的比对结果，确定第二关键点集合对应的标识信息，还提供了一种实现方式：
根据第一关键点集合中的所有关键点生成第一最小外接矩形，根据第二关键点集合中的所有关键点生成第二最小外接矩形，确定第一最小外接矩形与第二最小外接矩形的重叠面积。
之后根据第一关键点集合中的任意两个关键点生成第一关键点连接线，根据第二关键点集合中的任意两个关键点生成第二关键点连接线。根据所述第一关键点连接线和所述第二关键点连接线确定连接线夹角。
本实施例中，任意两点为各个第一关键点集合以及各个第二关键点集合的中间两个任意两个关键点，连接线夹角的具体计算过程如下：
设第一关键点集合中任意两点的坐标A(x1,y1)，B(x2,y2)，则向量AB为a＝(x3,y3),设第二关键点集合中任意两点的坐标C(x4,y4)，D(x5,y5)，则向量CD为b＝(x6,y6)。则向量AB与向量CD的夹角θ(即连接线夹角)的计算方式如下：
计算重叠面积以及连接线夹角的加权和，具体计算方式如下：
设θ表示连接线夹角，func1表示重叠面积，func表示加权和，则func如下：
func＝ω*θ+ω*func1
其中ω为权值。
当加权和大于第一预设阈值时，将第一关键点集合对应的标识信息确定为第二关键点结合对应的标识信息。本实施例通过最小外接矩形的重叠面积与关键点连接线的连接线夹角能够更准确的确定猪只的标识信息。
当加权和小于所述第一预设阈值时，获取第一检测图像中目标物对应的第一包围区域，以及第二检测图像中目标物对应的第二包围区域。计算第一包围区域与第二包围区域的交并比，具体计算方式如下：
设Box1＝(m1,n1,m2,n2)，Box2＝(m3,n3,m4,n4)
则Box1与Box2的交集为：
Inter＝max(0,min(m2,m4)-max(m1,m3)+1)*max(0,min(n2,n4)-max(n1,n3)+1)
则Box1与Box2的并集为：
Union＝(m2-m1+1)*(n2-n1+1)+(m4-m3+1)*(n4-n3+1)-Inter
IOU＝Inter/Union
上述式中，Box1为第一包围区域，m1,n1,m2,n2为Box1的四个顶点，Box2为第二包围区域，m3,n3,m4,n4为Box2的四个顶点，Inter为第一包围区域与第二包围区域的交集，Union为第一包围区域与第二包围区域的并集，IOU为第一包围区域与第二包围区域的交并比。
当交并比大于第二预设阈值时，将第一关键点集合对应的标识信息确定为所述第二关键点集合对应的标识信息。
可选的，第二检测图像中的猪只数量与第一检测图像中的猪只数量相同，且当交并比小于所述第二预设阈值时，查询第一检测图像中是否存在剩余标识信息。当存在剩余标识信息时，将剩余标识信息确定为第二关键点集合对应的标识信息。
由于还存在猪只遮挡的情况，会导致第二检测图像中的猪只数量大于第一检测图像中的猪只数量，且不存在剩余标识信息，则给多出的猪只添加新的标识信息。或者，第二检测图像中的猪只数量小于第一检测图像中的猪只数量，且存在剩余标识信息，则将剩余标识信息加入缓存等待下次匹配。
本实施例中，当确定猪只的标识信息后，根据状态信息执行相应的处理操作。比如：当根据第一目标关键点与第二目标关键点确定某个猪只的位移为0时，则确定该猪当前处于静止状态，则可以直接将该猪的标识信息发送至指定终端。
或者，将该猪对应的标识信息添加至预设监控名单，并对该猪进行持续监控，当该猪处于静止状态(即位移为0)的持续时间大于预设持续时间时，向指定终端发送报警信息，报警信息中包括该猪对应的标识信息。
当根据第一目标关键点与第二目标关键点确定某个猪只的速度大于预设速度时，则确定此猪处于活跃状态，直接将猪只的标识信息发送至指定终端。
图5为本申请实施例提供的一种状态监测装置的框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图5所示，该状态监测装置包括：
获取模块501，用于获取对指定区域按照预设时间间隔拍摄得到的第一检测图像与第二检测图像；
第一确定模块502，用于确定第一检测图像中目标物对应的第一关键点集合，以及确定第二检测图像中所述目标物对应的第二关键点集合；
第二确定模块503，用于根据第一关键点集合与第二关键点集合确定目标物的状态信息。
本申请实施例还提供一种电子设备，如图6所示，电子设备可以包括：处理器1501、通信接口1502、存储器1503和通信总线1504，其中，处理器1501，通信接口1502，存储器1503通过通信总线1504完成相互间的通信。
存储器1503，用于存放计算机程序；
处理器1501，用于执行存储器1503上所存放的计算机程序时，实现上述实施例的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，P C I)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DigitalSignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：
获取对指定区域按照预设时间间隔拍摄得到的第一检测图像与第二检测图像；
确定第一检测图像中目标物对应的第一关键点集合，以及确定第二检测图像中目标物对应的第二关键点集合；
根据第一关键点集合与第二关键点集合确定目标物的状态信息。
可选的，该计算机程序被处理器执行时还实现以下步骤：
确定第一检测图像中目标物对应的第一关键点集合，以及确定第二检测图像中所述目标物对应的第二关键点集合，包括：
将第一检测图像和第二检测图像输入预先训练的位置检测模型，得到第一检测图像中目标物对应的第一位置信息，以及第二检测图像中目标物对应的第二位置信息；
根据第一位置信息生成与目标物对应的第一目标物图像，根据第二位置信息生成与目标物对应的第二目标物图像；
将第一目标物图像和第二目标物图像输入预先训练的关键点检测模型，得到第一目标物图像中目标物对应的第一关键点集合，以及第二目标物图像中目标物对应的第二关键点集合。
可选的，该计算机程序被处理器执行时还实现以下步骤：
第一检测图像中包括至少两个目标物，第二检测图像中包括至少两个目标物；
方法还包括：
确定第一检测图像中每个目标物对应的标识信息；
关联每个目标物的第一关键点集合及标识信息；
根据第一关键点集合及第二关键点集合的比对结果，确定第二关键点集合对应的标识信息。
可选的，该计算机程序被处理器执行时还实现以下步骤：
根据所述第一关键点集合及第二关键点集合的比对结果，确定第二关键点集合对应的标识信息，包括：
根据第一关键点集合中的所有关键点生成第一最小外接矩形，根据第二关键点集合中的所有关键点生成第二最小外接矩形；
获取第一最小外接矩形与所述第二最小外接矩形的重叠面积；
当重叠面积大于预设面积时，将第一关键点集合对应的标识信息确定为第二关键点结合对应的标识信息。
可选的，该计算机程序被处理器执行时还实现以下步骤：
根据所述第一关键点集合及第二关键点集合的比对结果，确定第二关键点集合对应的标识信息，包括：
根据第一关键点集合中的所有关键点生成第一最小外接矩形，根据第二关键点集合中的所有关键点生成第二最小外接矩形；
确定第一最小外接矩形与第二最小外接矩形的重叠面积；
根据第一关键点集合中的任意两个关键点生成第一关键点连接线，根据第二关键点集合中的任意两个关键点生成第二关键点连接线；
根据第一关键点连接线和第二关键点连接线确定连接线夹角；
计算重叠面积以及连接线夹角的加权和；
当加权和大于第一预设阈值时，将第一关键点集合对应的标识信息确定为第二关键点结合对应的标识信息。
可选的，该计算机程序被处理器执行时还实现以下步骤：
当加权和小于第一预设阈值时，获取第一检测图像中目标物对应的第一包围区域，以及第二检测图像中目标物对应的第二包围区域；
计算所述第一包围区域与所述第二包围区域的交并比；
当所述交并比大于第二预设阈值时，将所述第一关键点集合对应的标识信息确定为所述第二关键点结合对应的标识信息。
可选的，该计算机程序被处理器执行时还实现以下步骤：
当交并比小于所述第二预设阈值时，查询第一检测图像中是否存在剩余标识信息；
当所述第一检测图像中存在剩余标识信息，将剩余标识信息确定为第二关键点集合对应的标识信息。
可选的，该计算机程序被处理器执行时还实现以下步骤：
根据第一关键点集合与第二关键点集合确定目标物的状态信息，包括：
获取第一关键点集合中的第一目标关键点的第一坐标；
获取第二关键点集合中的第二目标关键点的第二坐标；
根据第一坐标以及第二坐标确定目标物的运动参数；
基于目标物的运动参数确定目标物的状态信息。
可选的，该计算机程序被处理器执行时还实现以下步骤：
根据状态信息执行相应的处理操作；
状态信息包括：静止状态，正常状态以及活跃状态；
根据状态信息执行相应的处理操作，包括：
当状态信息为静止状态时，将目标物对应的标识信息添加至监控名单，并对目标物的状态信息进行再次监测，当静止状态的持续时间大于预设持续时间时，向指定终端发送报警信息，报警信息包括目标物对应的标识信息。
需要说明的是，对于上述装置、电子设备及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
进一步需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (11)

1.一种状态监测方法，其特征在于，包括：
获取对指定区域按照预设时间间隔拍摄得到的第一检测图像与第二检测图像；
确定所述第一检测图像中目标物对应的第一关键点集合，以及确定所述第二检测图像中所述目标物对应的第二关键点集合；
根据所述第一关键点集合与所述第二关键点集合确定所述目标物的状态信息；
其中，所述确定所述第一检测图像中目标物对应的第一关键点集合，以及确定所述第二检测图像中所述目标物对应的第二关键点集合，包括：
将所述第一检测图像和第二检测图像分别输入预先训练的位置检测模型，得到所述第一检测图像中目标物对应的第一位置信息，以及所述第二检测图像中所述目标物对应的第二位置信息；
根据所述第一位置信息生成与所述目标物对应的第一目标物图像，根据所述第二位置信息生成与所述目标物对应的第二目标物图像；
将所述第一目标物图像和第二目标物图像分别输入预先训练的关键点检测模型，得到所述第一目标物图像中目标物对应的第一关键点集合，以及所述第二目标物图像中所述目标物对应的第二关键点集合。
2.根据权利要求1所述的方法，其特征在于，所述第一检测图像与所述第二检测图像中均包括至少两个目标物；
所述方法还包括：
确定所述第一检测图像中每个所述目标物对应的标识信息；
关联所述每个目标物的第一关键点集合及标识信息；
根据所述第一关键点集合及第二关键点集合的比对结果，确定所述第二关键点集合对应的标识信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一关键点集合及第二关键点集合的比对结果，确定所述第二关键点集合对应的标识信息，包括：
根据所述第一关键点集合中的所有关键点生成第一最小外接矩形，根据所述第二关键点集合中的所有关键点生成第二最小外接矩形；
获取所述第一最小外接矩形与所述第二最小外接矩形的重叠面积；
当所述重叠面积大于预设面积时，将所述第一关键点集合对应的标识信息确定为所述第二关键点结合对应的标识信息。
4.根据权利要求2所述的方法，其特征在于，所述根据所述第一关键点集合及第二关键点集合的比对结果，确定所述第二关键点集合对应的标识信息，包括：
根据所述第一关键点集合中的所有关键点生成第一最小外接矩形，根据所述第二关键点集合中的所有关键点生成第二最小外接矩形；
确定所述第一最小外接矩形与所述第二最小外接矩形的重叠面积；
根据所述第一关键点集合中的任意两个关键点生成第一关键点连接线，根据所述第二关键点集合中的任意两个关键点生成第二关键点连接线；
根据所述第一关键点连接线和所述第二关键点连接线确定连接线夹角；
计算所述重叠面积以及所述连接线夹角的加权和；
当所述加权和大于第一预设阈值时，将所述第一关键点集合对应的标识信息确定为所述第二关键点结合对应的标识信息。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
当所述加权和小于所述第一预设阈值时，获取所述第一检测图像中目标物对应的第一包围区域，以及所述第二检测图像中所述目标物对应的第二包围区域；
计算所述第一包围区域与所述第二包围区域的交并比；
当所述交并比大于第二预设阈值时，将所述第一关键点集合对应的标识信息确定为所述第二关键点结合对应的标识信息。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
当所述交并比小于所述第二预设阈值时，查询所述第一检测图像中是否存在剩余标识信息；
当所述第一检测图像中存在剩余标识信息，将所述剩余标识信息确定为所述第二关键点集合对应的标识信息。
7.根据权利要求2所述的方法，其特征在于，所述根据所述第一关键点集合与所述第二关键点集合确定所述目标物的状态信息，包括：
获取所述第一关键点集合中的第一目标关键点的第一坐标；
获取所述第二关键点集合中的第二目标关键点的第二坐标；
根据所述第一坐标以及第二坐标确定所述目标物的运动参数；
基于所述目标物的运动参数确定所述目标物的状态信息。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
根据所述状态信息执行相应的处理操作；
所述状态信息包括：静止状态，正常状态以及活跃状态；
所述根据所述状态信息执行与所述状态信息对应的处理操作，包括：
当所述状态信息为静止状态时，将所述目标物对应的标识信息添加至监控名单，并对所述目标物的状态信息进行再次监测，当所述静止状态的持续时间大于预设持续时间时，向指定终端发送报警信息，所述报警信息包括所述目标物对应的标识信息。
9.一种状态监测装置，其特征在于，包括：
获取模块，用于获取对指定区域按照预设时间间隔拍摄得到的第一检测图像与第二检测图像；
第一确定模块，用于确定所述第一检测图像中目标物对应的第一关键点集合，以及确定所述第二检测图像中所述目标物对应的第二关键点集合；
第二确定模块，用于根据所述第一关键点集合与所述第二关键点集合确定所述目标物的状态信息；
其中，所述第一确定模块用于：
将所述第一检测图像和第二检测图像分别输入预先训练的位置检测模型，得到所述第一检测图像中目标物对应的第一位置信息，以及所述第二检测图像中所述目标物对应的第二位置信息；
根据所述第一位置信息生成与所述目标物对应的第一目标物图像，根据所述第二位置信息生成与所述目标物对应的第二目标物图像；
将所述第一目标物图像和第二目标物图像分别输入预先训练的关键点检测模型，得到所述第一目标物图像中目标物对应的第一关键点集合，以及所述第二目标物图像中所述目标物对应的第二关键点集合。
10.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述计算机程序时，实现权利要求1-8任一项所述的方法步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-8任一项所述的方法步骤。
CN201911039393.6A 2019-10-29 2019-10-29 一种状态监测方法、装置、电子设备及存储介质 Active CN110991235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911039393.6A CN110991235B (zh) 2019-10-29 2019-10-29 一种状态监测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911039393.6A CN110991235B (zh) 2019-10-29 2019-10-29 一种状态监测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110991235A CN110991235A (zh) 2020-04-10
CN110991235B true CN110991235B (zh) 2023-09-01

Family

ID=70082520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911039393.6A Active CN110991235B (zh) 2019-10-29 2019-10-29 一种状态监测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110991235B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111627060A (zh) * 2020-05-22 2020-09-04 北京海益同展信息科技有限公司 一种用于动物运动信息统计的数据处理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160067694A (ko) * 2014-12-04 2016-06-14 현대모비스 주식회사 운전자 상태 감시 시스템 및 그의 동작 방법
WO2017000218A1 (zh) * 2015-06-30 2017-01-05 北京旷视科技有限公司 活体检测方法及设备、计算机程序产品
CN109558832A (zh) * 2018-11-27 2019-04-02 广州市百果园信息技术有限公司 一种人体姿态检测方法、装置、设备及存储介质
CN109670474A (zh) * 2018-12-28 2019-04-23 广东工业大学 一种基于视频的人体姿态估计方法、装置及设备
CN110287891A (zh) * 2019-06-26 2019-09-27 北京字节跳动网络技术有限公司 基于人体关键点的手势控制方法、装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160067694A (ko) * 2014-12-04 2016-06-14 현대모비스 주식회사 운전자 상태 감시 시스템 및 그의 동작 방법
WO2017000218A1 (zh) * 2015-06-30 2017-01-05 北京旷视科技有限公司 活体检测方法及设备、计算机程序产品
CN109558832A (zh) * 2018-11-27 2019-04-02 广州市百果园信息技术有限公司 一种人体姿态检测方法、装置、设备及存储介质
CN109670474A (zh) * 2018-12-28 2019-04-23 广东工业大学 一种基于视频的人体姿态估计方法、装置及设备
CN110287891A (zh) * 2019-06-26 2019-09-27 北京字节跳动网络技术有限公司 基于人体关键点的手势控制方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高嫄.操控员疲劳驾驶状态监测.《CNKI优秀硕士学位论文全文库（信息科技辑）》.2019,(第1期),I138-2726. *

Also Published As

Publication number Publication date
CN110991235A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110796043B (zh) 容器检测、饲喂检测方法、装置及饲喂系统
US10058076B2 (en) Method of monitoring infectious disease, system using the same, and recording medium for performing the same
CN107680080B (zh) 牲畜的样本库建立方法和清点方法、存储介质和电子设备
CN111709421B (zh) 鸟类识别方法、装置、计算机设备及存储介质
CN112085056B (zh) 目标检测模型生成方法、装置、设备及存储介质
CN110991443A (zh) 关键点检测、图像处理方法、装置、电子设备及存储介质
CN111183917B (zh) 一种动物异常监测、图像处理方法及装置
CN110741963B (zh) 一种物体状态监测、母猪发情监测方法、装置及系统
CN110991222B (zh) 一种物体状态监测、母猪发情监测方法、装置及系统
CN111539937A (zh) 一种物体指标的检测方法、家畜重量的检测方法及装置
CN111325181B (zh) 一种状态监测方法、装置、电子设备及存储介质
CN111161265A (zh) 一种动物计数、图像处理方法和装置
CN111297367A (zh) 一种动物状态监测方法、装置、电子设备及存储介质
CN111199535A (zh) 一种动物状态监测方法、装置、电子设备及存储介质
CN111325217A (zh) 数据处理方法、装置、系统和介质
CN113743426A (zh) 一种训练方法、装置、设备以及计算机可读存储介质
CN113887447A (zh) 对象分类模型的训练方法、对象分类预测方法及装置
CN110991235B (zh) 一种状态监测方法、装置、电子设备及存储介质
Guo et al. Detecting broiler chickens on litter floor with the YOLOv5-CBAM deep learning model
CN111405197B (zh) 一种视频裁剪方法、图像处理方法及装置
Guo et al. Automatic detection of brown hens in cage-free houses with deep learning methods
CN110969657B (zh) 一种枪球坐标关联方法、装置、电子设备及存储介质
CN116090902A (zh) 一种农田远程监测方法及系统
CN114492664A (zh) 一种猪只盘点方法、装置、设备及存储介质
CN111144202B (zh) 一种对象控制方法、装置、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Jingdong Technology Information Technology Co.,Ltd.

Address before: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant before: Jingdong Shuke Haiyi Information Technology Co.,Ltd.

Address after: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Jingdong Shuke Haiyi Information Technology Co.,Ltd.

Address before: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Beijing Economic and Technological Development Zone, Beijing 100176

Applicant before: BEIJING HAIYI TONGZHAN INFORMATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant