CN116863298B - 训练、预警发送方法、系统、装置、设备和介质 - Google Patents

训练、预警发送方法、系统、装置、设备和介质 Download PDF

Info

Publication number
CN116863298B
CN116863298B CN202310782942.9A CN202310782942A CN116863298B CN 116863298 B CN116863298 B CN 116863298B CN 202310782942 A CN202310782942 A CN 202310782942A CN 116863298 B CN116863298 B CN 116863298B
Authority
CN
China
Prior art keywords
network
training
detection
target object
rope
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310782942.9A
Other languages
English (en)
Other versions
CN116863298A (zh
Inventor
虞爱
刘周可
闵家龙
贾立铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Kuaixi Technology Co ltd
Original Assignee
Shenzhen Kuaixi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Kuaixi Technology Co ltd filed Critical Shenzhen Kuaixi Technology Co ltd
Priority to CN202310782942.9A priority Critical patent/CN116863298B/zh
Publication of CN116863298A publication Critical patent/CN116863298A/zh
Application granted granted Critical
Publication of CN116863298B publication Critical patent/CN116863298B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及人工智能技术领域，公开了一种目标检测模型训练、预警发送方法、系统、装置、设备和存储介质，以解决面对牵绳的识别准确率并不高的技术问题。方法部分包括：获取训练图片集，所述训练图片集包括多张训练图片，所述训练图片被标注有标注对象的真实标签，所述标注对象包括牵绳和目标对象；将所述多张训练图片输入至预设神经网络中进行迭代训练，直至所述预设神经网络的输出符合预设条件，得到所述目标检测模型；所述预设神经网络包括输入网络、骨干网络、检测颈网络和检测头网络，其中，所述骨干网络的卷积层采用空洞卷积方式。

Description

训练、预警发送方法、系统、装置、设备和介质
技术领域
本申请人工智能、预警发送技术领域，尤其涉及一种目标检测模型训练、预警发送方法、系统、装置、设备和存储介质。
背景技术
目前主流的目标检测算法中，通常是利用卷积神经网络，对输入图片进行卷积池化操作，再对位置信息进行回归，得到识别主体的检测信息，例如位置信息和大小信息，其中的位置信息一般使用检测框(如矩形框)表示。然而，传统的算法对人、车、动物等常见主体比较通用，但是，面对牵绳(如牵狗绳)这类非常见主体并不适用，导致识别准确率并不高。
发明内容
基于此，有必要针对上述技术问题，提供一种目标检测模型训练、预警发送方法、系统、装置、设备和存储介质，以解决面对牵绳(如牵狗绳)这类非常见主体并不适用，导致识别准确率并不高的技术问题。
本申请第一方面提供了一种目标检测模型训练方法，包括：
获取训练图片集，所述训练图片集包括多张训练图片，所述训练图片被标注有标注对象的真实标签，所述标注对象包括牵绳和目标对象；
将所述多张训练图片输入至预设神经网络中进行迭代训练，直至所述预设神经网络的输出符合预设条件，得到所述目标检测模型；
所述预设神经网络包括输入网络、骨干网络、检测颈网络和检测头网络，其中，所述骨干网络的卷积层采用空洞卷积方式。
在一实施方式中，所述将所述多张训练图片输入至预设神经网络中进行迭代训练，直至所述预设神经网络的输出符合预设条件，得到所述目标检测模型，包括：
所述输入网络用于对提取输入的所述训练图片进行数据增强，并将增强后的所述训练图片输入至所述骨干网络；
所述骨干网络用于对增强后的所述训练图片进行特征提取，得到至少一个尺度的初始特征图，并将所述至少一个尺度的初始特征图输入至所述检测颈网络；
所述检测颈网络用于对所述至少一个尺度的初始特征图进行特征融合，得到至少一个尺度的融合特征图，并将多尺度的所述融合特征图输入至所述检测头网络；
所述检测头网络用于对所述至少一个尺度的融合特征图进行检测，得到至少一个尺度的预测信息，所述预测信息包括所述标注对象的位置、分类和置信度；
将所述训练图片对应的所述预测信息，和所述训练图片标注的所述真实标签送入预设损失函数进行反向传播，并通过多轮迭代，得到符合所述预设条件的所述目标检测模型。
在一实施方式中，所述目标对象包括狗。
本申请第二方面提供了一种基于网络模型的预警发送方法，包括：
获取监控设备拍摄的被检测图片；
将所述被检测图片输入预先训练好的目标检测模型中，以获取所述被检测图片中检测对象的检测框，所述检测对象包括牵绳和目标对象；所述目标检测模型为采用所述的目标检测模型训练方法得到；
根据所述牵绳的检测框和所述目标对象的检测框的相交情况，判定所述被检测图片中所述目标对象是否被牵绳；
当所述目标对象未被牵绳子，则基于所述目标对象未牵绳的被检测图片和所述监控设备的位置信息生成预警事件信息；
将所述预警事件信息发送至管理终端。
本申请第三方面提供了一种目标检测模型训练装置，包括：
获取模块，用于获取训练图片集，所述训练图片集包括多张训练图片，所述训练图片被标注有标注对象的真实标签，所述标注对象包括牵绳和目标对象；
训练模块，用于将所述多张训练图片输入至预设神经网络中进行迭代训练，直至所述预设神经网络的输出符合预设条件，得到所述目标检测模型；
其中，所述预设神经网络包括输入网络、骨干网络、检测颈网络和检测头网络，其中，所述骨干网络的卷积层采用空洞卷积方式。
本申请第四方面提供了一种基于网络模型的预警发送装置，包括：
获取模块，用于获取监控设备拍摄的被检测图片；
输入模块，用于将所述被检测图片输入预先训练好的目标检测模型中，以获取所述被检测图片中检测对象的检测框，所述检测对象包括牵绳和目标对象；所述目标检测模型为采用前述的目标检测模型训练方法得到；
判定模块，用于根据所述牵绳的检测框和所述目标对象的检测框的相交情况，判定所述被检测图片中所述目标对象是否被牵绳；
生成模块，用于当所述目标对象未被牵绳子，则基于所述目标对象未牵绳的被检测图片和所述监控设备的位置信息生成预警事件信息；
发送模块，用于将所述预警事件信息发送至管理终端。
本申请第五方面，提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前述任一项所述方法的步骤。
本申请第六方面提供了一种基于网络模型的预警发送系统，所述系统包括监控设备、管理终端和如前述的计算机设备。
在一实施方式中，所述计算机设备包括边缘盒子。
本申请第七方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前述任一项所述方法的步骤。
上述方案所提供的其中一个方案中，利用骨干网络使用空洞卷积方式处理，代替了骨干网络池化层的平均池化或最大值池化，可以理解，使普通卷积核的部分位置参与计算，其他位置不参与计算，这样可以避免骨干网络的池化层对牵绳这细长物体信息的丢弃和破坏，提高了牵绳的识别准确率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例中目标检测模型训练方法的一流程示意图；
图2是传统的目标检测方案中卷积层的处理方式示意图；
图3是本申请一实施例中预设神经网络的卷积处理处理方式示意图；
图4是本申请一实施例中预设神经网络的网络架构示意图；
图5是本申请一实施例中预警发送方法的一流程示意图；
图6-a是本申请一实施例中管理终端显示预警信息的一显示示意图；
图6-b是本申请一实施例中管理终端显示预警信息的另一显示示意图；
图7是图5步骤S103的一具体实施方式流程示意图；
图8是本申请一实施例中牵狗绳的检测框与狗的检测框未相交时的检测示意图；
图9是本申请一实施例中牵狗绳的检测框与狗的检测框相交时的检测示意图；
图10是本申请一实施例多只狗场景下的检测判断示意图；
图11是本申请一实施例最终决策目标对象是否被牵绳的一流程示意图；
图12是本申请一实施例中目标检测模型训练装置的一结构示意图；
图13是本申请一实施例中预警发送装置的一结构示意图；
图14是本申请一实施例中计算机设备的一示意图；
图15是本申请一实施例中预警发送系统的其中两种解决方案示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本实施例提供了目标检测模型训练方法，和基于该训练好的目标检测模型，所采用的各种应用场景中，包括提供了基于该目标检测模型的预警发送方法，该预警发送方法可用于诸如小区、社区、公园等公共场所中，以用于检测上述场所中目标对象是否有牵绳，便于后续公共场所的管理，该目标对象包括狗、猫等动物，具体不做限定。下面，对本申请实施例提供的目标检测模型训练方法，和基于神经网络的预警发送方法进行详细的描述。
在一实施例中，如图1所示，提供了一种目标检测模型训练方法，包括如下步骤：
S10：获取训练图片集，所述训练图片集包括多张训练图片，所述训练图片被标注有标注对象的真实标签，所述标注对象包括牵绳和目标对象；
S20：将所述多张训练图片输入至预设神经网络中进行迭代训练，直至所述预设神经网络的输出符合预设条件，得到所述目标检测模型，所述预设神经网络包括输入网络、骨干网络、检测颈网络和检测头网络，其中，所述骨干网络的卷积层采用空洞卷积方式，该真实标签用于对标注对象进行分类的标注。
其中，所述预设神经网络的输出符合预设条件，包括该目标检测模型收敛，关于模型训练收敛条件，在此不详细展开说明。
值得注意的是，本申请实施例针对牵绳这种检测场景，提出了一种新的预设神经网络，是一种新的深度学习网络架构，用于训练出上述目标检测模型，能够检测到牵绳这类细长的物体，其中，目标对象(狗)、牵绳(牵狗绳)的检测，是为了下一步判定目标对象是否有牵绳的重要依据，因此，需要准确的知道检测对象的检测信息，包括位置、类别和大小信息等。发明人经过研究发现，目前主流的目标检测算法中，通常是利用卷积神经网络，对输入图片进行卷积池化操作，再对位置信息进行回归，得到识别主体的检测信息，例如位置信息和大小信息，其中的位置信息一般使用检测框(如矩形框)表示。然而，传统的算法对人、车、动物等常见主体比较通用，但是，面对牵绳(如牵狗绳)这类非常见主体并不适用，导致识别准确率并不高，因为牵绳属于细长的物体，甚至在通常监测得到的视频中，长度可能有上百个像素，但宽度仅几个像素，传统方案并不能有效的检测出牵绳。为解决该技术问题，本申请实施例特提供了一种新的预设神经网络架构，通过本申请提供的预设神经网络架构训练得到的目标检测模型用于对检测对象进行识别，在不减小常见主体检测准确率的基础上，大大提升了对牵绳这类细长主体的检测准确率。
可以理解的是，常规的卷积神经网络在处理图像的过程中，为了减小特征图的尺寸提取更高维度的特征，往往会使用池化层，如图2所示。池化层的处理方式分为平均池化(Average pooling)和最大值池化(Max pooling)，池化过程中，会分别对图取范围类内的像素值的平均值或最大值作为结果，该方式在处理细长主体时，会忽略或改变原始信息，所以对细长主体检测准确率低。
本申请实施例提供的预设神经网络中，如图3所示，利用空洞卷积代替了普通的池化层(平均池化或最大值池化)，可以理解，空洞卷积是指普通卷积核的部分位置参与计算，其他位置不参与计算，这样可以避免池化层对图片信息的丢弃和破坏，同时也可以缩小特征图尺寸，减少了工作量。
基于上述改进特点，本申请提供的一种预设神经网络的架构图如图4所示，该预设神经网络包括输入网络、骨干网络、检测颈网络和检测头网络，其中，各个网络的作用如下所示：
所述输入网络用于对提取输入的所述训练图片进行数据增强，并将增强后的所述训练图片输入至所述骨干网络；如图4所示，示例性的，该输入的训练图片可以是一尺寸为640*640*3的图片，其中，训练图片分别对标注对象标注有真实标签，包括人、狗和牵狗绳。并对输入的训练图像进行数据增强，便于后续特征提取和识别，具体的数据增强方式不做限定。
所述骨干网络用于对增强后的所述训练图片进行特征提取，得到至少一个尺度的初始特征图，并将所述至少一个尺度的初始特征图输入至所述检测颈网络。需要说明的是，本申请实施例中的骨干网络的卷积处理采用空洞卷积的处理方式，而非普通卷积层处理方式，该骨干网络可以采用成熟的骨干网络，不同的地方在于卷积层采用的空洞卷积处理方式，具体的骨干网络的更多架构本申请不做限定和详细展开说明。示例性的，该骨干网络可以包括依次连接的空洞卷积层和向下采样模块，用于将训练图片输入所述主干网络的空洞卷积层进行特征提取和空间维度降维后，使用向下采样模块提取更深的语义信息特征，得到至少一个尺度的初始特征图。
所述检测颈网络用于对所述至少一个尺度的初始特征图进行特征融合，得到至少一个尺度的融合特征图，并将多尺度的所述融合特征图输入至所述检测头网络；在该检测颈网络中，进一步对至少一个尺度的融合特征图进行特征融合处理，融合多种尺度的特征，有利于提高检测精度，然后送入检测头网络中。
所述检测头网络用于接受检测颈网络经过融合过的至少一个融合特征图，并对所述至少一个尺度的融合特征图进行检测得到至少一个尺度的预测信息，所述预测信息包括所述标注对象的位置、分类和置信度，该标注对象至少包括牵绳、目标对象，还可以包括牵绳主体，取决于标注工作。例如分别进行三次不同尺度的卷积处理，得到三个不同尺度的预测结果，分别为32*32*225、16*16*225和8*8*225，其中的一维度预测信息包括位置(tx:目标所在矩形框左上角横坐标、ty:目标所在矩形框左上角横坐标、tw:目标所在矩形框的宽度、th:目标所在矩形框的长度)、置信度(PO)和类别(p1、p2...pc(c表示总类别))。最后将预测信息和真实标签送入预设损失函数进行反向传播，通过多轮迭代，便可训练得到最优的目标检测模型。其中，预设损失函数和反向传播方式在此不展开说明，可采用成熟的损失函数和反向传播方式，具体也不做限定。
需要说明的是，图4中的预设神经网络架构以及训练过程在此仅为一种实施例，基于上述预设神经网络架构，可以对应有其他的架构或者训练方式，具体本申请不做限定，例如改变输出尺度大小、卷积参数或者标注对象等，具体本申请均不做限定。
在一实施例中，上述目标对象可以是狗，当然，还可以包括猫等其他需要牵绳的对象，本申请实施例不做限定。
在一实施例中，基于上述训练好的目标检测模型，具体可以有多种用处，其中，就包括用于目标对象是否被牵绳的检测判定中，当然也可以用于场景的牵绳检测，本申请实施例均不做限定。在本申请实施例中，以目标对象是否被牵绳的检测判定的应用流程为例进行说明。
在一实施例中，如图5所示，本申请实施例提供了一种基于神经网络的前生，该方法包括如下步骤：
S101：获取监控设备拍摄的被检测图片。
本申请实施例主要是提供一种基于神经网络的预警发送方法，用于对被监控区域的目标对象是否有牵绳进行判定的方案，该被检测图片指的是被监控区域所对应的图片。示例性的，上述被监控区域包括是民众居住的小区环境，也可以指的是公园等公共场所，上述目标对象包括但不局限于宠物狗等，具体不做限定。为便于说明，在本实施例以及后续实施例中，将均会以目标对象为狗为例进行描述，具体不做限定。在具体实现时，可以通过在被监控区域布置监控设备(如摄像头)，利用监控设备对被监控区域进行拍摄，从而获取到上述被检测图片。
S102：将所述被检测图片输入预先训练好的目标检测模型中，以获取所述被检测图片中检测对象的检测框，所述检测对象包括牵绳和目标对象。
在该实施例中，获取到被检测图片后，会将被检测图片输入至预先训练好的目标检测模型中，用该训练好的目标检测模型对被检测图片进行分析检测。该目标检测模型被构造为对被检测图片的检测对象进行检测和分类，其中，该检测对象包括牵绳和目标对象，也即，利用该训练好的目标检测模型，可以检测识别出被检测图片中的牵绳和目标对象，并生成检测对象对应的检测框。示例性的，通过该目标检测模型，可以检测识别出被检测图片中的牵狗绳和狗，并生成牵狗绳和狗的检测框，其中，关于该目标检测模型的更多内容将在后续实施例中描述，这里先不展开。
S103：根据所述牵绳的检测框和所述目标对象的检测框的相交情况，判定所述被检测图片中所述目标对象是否被牵绳。
S104：当所述目标对象未被牵绳子，则基于所述被检测图片和监控设备的位置信息生成预警事件信息；
S105：将所述预警事件信息发送至管理终端。
在该实施例中，将所述被检测图片输入预先训练好的目标检测模型中，以获取所述被检测图片中牵绳和目标对象的检测框后，会根据所述牵绳的检测框和所述目标对象的检测框的相交情况，判定所述被检测图片中所述目标对象是否被牵绳。例如，会根据牵狗绳的检测框和狗的检测框的相交情况，判定所述被检测图片中所述狗是否被牵狗绳。
通过该实施例可见，本申请实施例与传统的预警发送方法相比具有较大的差异，本申请通过预先训练好的目标检测模型先识别出牵绳和目标对象的检测框，然后利用二者检测框的相交来判定目标对象是否有牵绳，也即利用了牵绳和目标对象二者检测框的相交情况，来判定目标对象的牵绳状态。而不是简单利用人和目标对象的远近来判定，极大了提高了目标对象是否被牵绳的判定准确率。然后，将基于该被检测图片生成对应的预警信息，发送管理终端，使得管理终端得知此时存在未牵绳情况，以便管理人员做出后续处理方案。
在一实施例中，在得到最后的决策后的，可以保存监控视频的有关截图，用于管理人员辨识，同时将预先设置好的监控设备位置信息，一同发送到管理人员的管理终端(例如手机)APP中。在手机APP中，基于预警信息，在手机APP中渲染出所需的信息，包括可以查看所有非法遛狗的事件信息，在事件列表界面，示意理性的，管理终端显示预警信息的方式可以如如图6-a所示，可以根据时间和位置排序，分别列出时间和位置最近的非法遛狗的事件，并显示一张缩略图和相关重要信息，例如时间12:51，1号摄像头，棕色金毛犬，持续时间23秒等等，需要说明的是，这个持续时间也可以是预警信息的一部分，发送给管理终端。在事件详情界面，也可如图6-b所示，可以显示多张非法遛狗的图片、具体的位置和时间信息等详情信息，例如，详情信息：棕色金毛犬，出现时间12:51:07，持续时间23秒，最后出现时间12:51:30...，请及时处理，便于管理人员进行干预处理。
需要说明的是，所述牵绳的检测框和所述目标对象的检测框的相交情况，表征了牵绳与被牵的目标对象之间的状态，因此可以根据所述牵绳的检测框和所述目标对象的检测框的相交情况，来判定所述被检测图片中所述目标对象是否被牵绳，在一实施例中，提供了一种所述被检测图片中所述目标对象是否被牵绳的具体的规则判断方式。如图7所示，在一实施例，上述步骤S103中，也即根据所述牵绳的检测框和所述目标对象的检测框的相交情况，判定所述被检测图片中所述目标对象是否被牵绳，具体包括如下步骤：
S1031：判断所述牵绳的检测框和所述目标对象的检测框是否存在相交区域；当未存在所述相交区域，则执行步骤S1032：当存在所述相交区域，则执行步骤S1033-S1034；
S1032：判定所述被检测图片中所述目标对象未被牵绳；
S1033：获取所述相交区域占相并部分的比例，所述相并部分为所述牵绳的检测框和所述目标对象的检测框的相并部分；
S1034：判断所述比例是否超过预设阈值；当所述比例超过预设阈值时，则执行步骤S1035，当所述比例未超过预设阈值时，则执行步骤S1032；
S1035：判定所述被检测图片中所述目标对象被牵绳。
对于步骤S1031-S1035，提供了一种具体的判断被检测图片中是否被牵绳的规则判断方式，先是判断所述牵绳的检测框和所述目标对象的检测框是否存在相交区域，如果未存在相交区域，则直接判定该被检测图片中该目标对象为未被牵绳，例如如图8所示，图8中的狗和牵狗绳的检测框并无相交部分；如果存在相交区域，那么说明被检测图片中目标对象存在被牵绳嫌疑，发明人经过研究得出一种判断方式，如果存在相交区域，则会获取所述相交区域占相并部分的比例，所述相并部分为所述牵绳的检测框和所述目标对象的检测框的相并部分，当所述比例未超过所述预设阈值时，则判定所述被检测图片中所述目标对象未被牵绳。
需要说明的是，通过目标检测模型可以可以得知牵绳和目标对象的位置信息，检测框也是基于检测出的位置信息所圈出来的，因此，通过牵绳和目标对象的位置信息便可得知二者检测框的相交部分的所占的比例。另外需要说明的是，上述预设阈值可以是一种经验值，在本申请实施例中不做具体限定。示例性的，如图9所示，以目标对象为狗为例，图9为其中一被检测图片中牵狗绳与狗的检测框示意图，可以看出，通过目标检测模型检测只是获得了狗和牵狗绳的位置和类别，并不能判断图片中的狗是否被牵了狗绳，因此需要在上述信息上进行规则判断。在本申请实施例中，提出的规则是，计算狗所在检测框和牵狗绳所在的检测框是否存在相交部分，当如图8所示存在相交部分时，则计算该相交部分占牵狗绳的检测框和狗的检测框的相并部分的比例，当该比例大于某个预设阈值的时候，就判断该狗存在牵狗绳的动作，也即该狗被牵狗绳，当该比例小于或等于某个预设阈值的时候，就判断该狗为未存在牵狗绳的动作，也即该只狗未被牵狗绳。
可以看出，在该实施例中提出了一种规则判断方式，提供了具体如何根据所述牵绳的检测框和所述目标对象的检测框的相交情况，判定所述被检测图片中所述目标对象是否被牵绳的具体方式，提高了方案的可实施性，除此之外，还可以有其他根据所述牵绳的检测框和所述目标对象的检测框的相交情况，判定所述被检测图片中所述目标对象是否被牵绳的具体方式，例如当判断所述牵绳的检测框和所述目标对象的检测框存在相交区域，也可以直接判定被检测图片中该目标对象被牵绳，具体不做限定，值得说明是，利用比例进一步判定的方式，准确率更高。
需要说明的是，在上述实施例中，被检测图片可以是指一帧图片，也可以是指包括多帧序列图片。其中，由于现实情况中存在不同角度、多只相同或不同目标对象的重叠等意外情况，例如被检测图片中存在多只狗重叠的场景，那么所以单凭一张图片的结果，可能无法准确的判断是否存在牵狗绳的行为，为了结论的准确性，在本申请实施例中，提供了一种结合监控视频的视频流的序列图片和目标检测模型输出的检测信息，来综合判断目标对象是否被牵绳子。也即是该实施例作为进一步的实施例，是一种最终决策的判定方案，下面详细描述。
在一实施例中，所述被检测图片包括从监控视频中抽帧得到的多张序列图片，所述步骤103之后，也即判定所述被检测图片中所述目标对象是否被牵绳之后，所述方法还包括如下步骤：
S106：记录每张所述序列图片中，所述目标对象的牵绳状态；
S107：根据多张所述序列图片中所述目标对象的牵绳状态，获取所述目标对象在预设时段内的牵绳状态变化情况；
S108：当所述目标对象的牵绳状态在所述预设时段内保持为被牵绳状态，则判定所述监控视频中所述目标对象被牵绳；
S109：当所述目标对象的牵绳状态在所述预设时段内保持为未被牵绳状态，则判定所述监控视频中所述目标对象未被牵绳。
在一实施例，结合上述实施例，S104：当所述目标对象未被牵绳子，则基于所述被检测图片生成预警事件信息，指的是从监控视频中挑选出其中一个未牵绳的目标序列图片和位置信息生成预警信息。具体本申请不做限定。
对于步骤S106-S109，在分析出每一张序列图片的目标对象的牵绳状态(有牵绳或未牵绳)后，会记录每张序列图片中目标对象的牵绳状态，然后根据多张所述序列图片中该目标对象的牵绳状态，获取所述目标对象在预设时段内的牵绳状态变化情况。需要说明的是，监控区域中的场景是多变不定的，序列图片中的目标对象的情况有可能是变化的，例如上一帧序列图片中的目标对象包括目标对象a、目标对象b和目标对象c，在下一帧序列图片中的目标对象仅包括目标对象a和目标对象c，其中，在本申请实施例中，可以通过目标跟踪算法，在一段监控视频的视频流中，通过对比几帧的图片，跟踪同一个目标对象，并赋予该同一个目标对象一个唯一标签，可见，当序列图片中存在多个目标对象时，则每个目标对象均有对应的唯一标签，便于后续通过标签来判定同一个目标对象的牵绳状态变化情况。如图10所示，本申请实施例可以同时检测多只狗，对每只狗设置一个编号，实时追踪每只狗，实时判断每只狗是否存在牵狗绳的动作，其中，生成的检测框可以用不同的颜色标注出不同牵绳状态的狗和牵绳，例如红色框属于未牵狗绳的狗，绿色框属于牵狗绳的狗，橙色框则是狗绳的检测框。
需要说明的是，在一些实施例中，由于需要获取牵绳状态变化，首先将所有检测的目标对象的初始状态设定为：“牵绳”，当所述目标对象的牵绳状态在预设时段内保持为被牵绳状态，则判定监控视频中所述目标对象被牵绳，当所述目标对象的牵绳状态在所述预设时段内保持为未被牵绳状态，则判定所述监控视频中所述目标对象未被牵绳。
例如，以目标对象为某只狗为例，结合上述决策实施例，对应的判断流程如下如图11所示：首先可以将所有检测的狗的初始牵绳状态设定为：“牵狗绳”，从该只狗进入到检测范围内开始，开始判断该只狗的牵绳状态是否改变，根据上一步检测得到的该狗的牵绳状态，一种情况是：当通过序列图片获取到该只狗的初始牵绳状态设定不变，且在所述预设时段内依旧保持为牵狗绳，也即在某个阈值时间内依旧未改变牵绳状态，则决策结果为所述监控视频中该只狗有被牵狗绳；另一种情况是，当通过序列图片获取到该只狗的牵绳状态转变为未牵狗绳，则判断在所述预设时段内是否发生状态变化，如果未发生状态变化，则决策结果为所述监控视频中该狗未被牵绳。综上，也就是说，从该狗进入到检测范围内开始，根据上一步检测得到的牵绳状态，只要保持相同的状态经过一个时间段阈值(预设时段)后，就可以判定该只狗有牵绳或未牵绳，如图11所示。
在一些实施例中，上述序列图片可以是连续的序列图片，需要说明的是，通过连续的序列图片，可以更加有效的对同个目标对象进行跟踪，且有利于提高检测准确率。
可以看出，通过该实施例，视频流的连续图片序列和检测信息，综合判断目标对象否存在牵狗绳的行为，作为一种最终决策方案，可以有效地避免由于现实情况中存在不同角度、多只目标重叠等意外情况下，以单凭一张图片的结果无法准确判断是否存在牵绳的行为，有利于提高判定牵绳状态判定结论的准确性，具有极高的推广价值。
需要说明的是，在本申请实施例中，是通过预先训练的目标检测模型对序列图片进行检测，以得到序列图片中的牵绳、目标对象的位置信息和类别，然后基于多张序列图片和多张序列图片对应的检测信息，综合判定目标对象是否有牵绳子。发明人进一步研究发现，目标检测模型是基于大量数据训练得到的，可能存在一些训练方式等原因，使得存在模型误差，导致目标对象的牵绳状态连续改变等异常现象，即每次牵绳状态的持续时长都小于某个判断时长阈值，则说明有问题，此时的牵绳状态改变应当是错误的或者说不准确的，为解决这一技术问题，S107中，也即所述根据多张所述序列图片中所述目标对象的牵绳状态，获取所述目标对象在预设时段内的牵绳状态变化情况，具体包括如下步骤：
S1071：根据多张所述序列图片中所述目标对象的牵绳状态，确定所述目标对象每次的牵绳状态的持续时长。
S1072：获取状态判断冗余间隔，所述状态判断冗余间隔为前一牵绳状态的持续时长与预设状态参数的乘积；
S1073：当所述目标对象当前牵绳状态的持续时长大于所述状态判断冗余间隔，则判定所述当前牵绳状态相对于前一牵绳状态发生改变；
S1074：当所述目标对象当前牵绳状态的持续时长小于或等于所述状态判断冗余间隔，则判定所述当前牵绳状态相对于前一牵绳状态未发生改变。
对于步骤S1071-S1074，本申请实施例提供了一种具体的根据多张所述序列图片中所述目标对象的牵绳状态，获取所述目标对象在预设时段内的牵绳状态变化情况的方案，在该方案中利用了冗余判断的方式，以解决由于模型误差问题导致的牵绳状态变化异常的问题，具体的，先根据多张所述序列图片中所述目标对象的牵绳状态，确定所述目标对象每次的牵绳状态的持续时长，在此过程中需要获取每张序列图片中所述目标对象的牵绳状态，由于前面有记录每次的牵绳状态，此时可以同时记录前一次牵绳状态的时刻以及转变后的牵绳状态的时刻，两个时刻的差便是目标对象每次牵绳状态发生变化时，某个牵绳状态的持续时长。
其次，会获取状态判断冗余间隔，所述状态判断冗余间隔为前一牵绳状态的持续时长与预设状态参数的乘积。从所述目标对象的牵绳状态改变的时刻开始计时，当所述目标对象的牵绳状态持续时长大于所述状态判断冗余间隔，则判定所述目标对象这一次的牵绳状态的改变成立，即所述当前牵绳状态相对于前一牵绳状态发生改变；反之若当所述目标对象的牵绳状态持续时长小于所述状态判断冗余间隔，则判定所述目标对象这一次的牵绳状态的改变不成立，即所述当前牵绳状态相对于前一牵绳状态未发生改变。这里需要说清楚两个阶段的牵绳状态，一个通过序列图片检测出的牵绳状态变化，一个是通过本实施例冗余判断后的牵绳状态变化，当前牵绳状态是通过序列图片检测出的前一牵绳状态转变后的下一牵绳状态，例如，通过序列图片检测出的前一牵绳状态为“牵狗绳”，通过序列图片检测出牵绳状态改变为“未牵狗绳”，则“未牵狗绳”便是通过图片序列检测出的当前牵绳状态，然而，在本申请实施例中，加入了冗余判断方式，会判断通过序列图片获取的当前牵绳状态(未牵狗绳)的持续时长是否大于状态判断冗余间隔，如果大于状态判断冗余间隔，则才会判定当前牵绳状态(未牵狗绳)相对于前一牵绳状态(牵狗绳)确实是发生了状态改变；但是，如果小于或等于状态判断冗余间隔，则会判定所述当前牵绳状态(未牵狗绳)相对于前一牵绳状态(未牵狗绳)是未发生改变，也即，会丢弃该当前牵绳状态(未牵狗绳)的认定，会认为狗的牵绳状态并未发生改变，依旧是前一牵绳状态为“牵狗绳”。也即是，冗余判断的规则如下：
状态判断冗余间隔＝前一牵绳状态的持续时长*参数通过状态判断冗余间隔来判断牵绳状态是否改变，当后一牵绳状态的持续时长＞状态判断冗余间隔，则说明牵绳状态改变，当后一牵绳状态的持续时长≤状态判断冗余间隔，则说明牵绳状态没有改变。
可以看出，在该实施例中，还通过冗余判断的方式，准确的判定每个目标对象的牵绳状态变化，以解决由于模型误差问题导致的牵绳状态变化异常的问题，进一步提高了最终目标对象的牵绳状态的判定结果，提高了准确率。
在一实施例中，基于上述基于神经网络的预警发送方法，具体可以有许多应用场景或流程，本申请实施例不做限定。在一个实施例中，步骤S70之后，也即判定所述监控视频中所述目标对象未被牵绳之后，该方法还包括如下步骤：
S80：从多张序列图片中挑选出其中一个张或多张所述目标对象未牵绳的目标序列图片并生成预警信息。
在该实施例中，如果判定所述监控视频中所述目标对象未被牵绳，则会保存一张目标对象未牵绳的图片，用于后期查询、追溯。以目标对象为狗为例，如果通过监控视频发现有狗未牵狗绳，就保存一张未牵狗绳的目标序列图片，用于后期查询。
综上可见，本申请实施例与传统的预警发送方法相比具有较大的差异，本申请通过预先训练好的目标检测模型先识别出牵绳和目标对象的检测框，然后利用二者检测框的相交来判定目标对象是否有牵绳，也即利用了牵绳和目标对象二者检测框的相交情况，来判定目标对象的牵绳状态。而不是简单利用人和目标对象的远近来判定，极大了提高了目标对象是否被牵绳的准确率，而且其中还对神经网络的改进和其他进一步的改进，详见上述实施例，在此不一一重复。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
在一实施例中，提供一种目标检测模型训练装置，该目标检测模型训练装置与上述实施例中目标检测模型训练方法一一对应。如图12所示，该目标检测模型训练装置包括获取模块101和训练模块102。各功能模块详细说明如下：
获取模块101，用于获取训练图片集，所述训练图片集包括多张训练图片，所述训练图片被标注有标注对象的真实标签，所述标注对象包括牵绳和目标对象；
训练模块102，用于将所述多张训练图片输入至预设神经网络中进行迭代训练，直至所述预设神经网络的输出符合预设条件，得到所述目标检测模型；
其中，所述预设神经网络包括输入网络、骨干网络、检测颈网络和检测头网络，其中，所述骨干网络的卷积层采用空洞卷积方式。
在一实施例中，所述输入网络用于对提取输入的所述训练图片进行数据增强，并将增强后的所述训练图片输入至所述骨干网络；
所述骨干网络用于对增强后的所述训练图片进行特征提取，得到至少一个尺度的初始特征图，并将所述至少一个尺度的初始特征图输入至所述检测颈网络；
所述检测颈网络用于对所述至少一个尺度的初始特征图进行特征融合，得到至少一个尺度的融合特征图，并将多尺度的所述融合特征图输入至所述检测头网络；
所述检测头网络用于对所述至少一个尺度的融合特征图进行检测，得到至少一个尺度的预测信息，所述预测信息包括所述标注对象的位置、分类和置信度；
将所述训练图片对应的所述预测信息，和所述训练图片标注的所述真实标签送入预设损失函数进行反向传播，并通过多轮迭代，得到符合所述预设条件的所述目标检测模型。
在一实施例中，提供一种预警发送装置，该监控视频的预警发送方法与上述实施例中监控视频的预警发送方法一一对应。如图13所示，该基于神经网络的牵绳检测装置包括获取模块201、输入模块202、判定模块203、生成模块204和发送模块205。各功能模块详细说明如下：
获取模块201，用于获取监控设备拍摄的被检测图片；
输入模块202，用于将所述被检测图片输入预先训练好的目标检测模型中，以获取所述被检测图片中检测对象的检测框，所述检测对象包括牵绳和目标对象；所述目标检测模型为采用前述实施例任一项所述的目标检测模型训练方法得到；
判定模块203，用于根据所述牵绳的检测框和所述目标对象的检测框的相交情况，判定所述被检测图片中所述目标对象是否被牵绳。
生成模块204，用于当所述目标对象未被牵绳子，则基于所述目标对象未牵绳的被检测图片和所述监控设备的位置信息生成预警事件信息；
发送模块205，用于将所述预警事件信息发送至管理终端。
在一实施例中，判定模块203具体用于：
判断所述牵绳的检测框和所述目标对象的检测框是否存在相交区域；
当未存在所述相交区域，则判定所述被检测图片中所述目标对象未被牵绳；
当存在所述相交区域，则获取所述相交区域占相并部分的比例，所述相并部分为所述牵绳的检测框和所述目标对象的检测框的相并部分；
当所述比例超过预设阈值时，则判定所述被检测图片中所述目标对象被牵绳；
当所述比例未超过所述预设阈值时，则判定所述被检测图片中所述目标对象未被牵绳。
在一实施例中，判定模块203具体用于：
记录每张所述序列图片中，所述目标对象的牵绳状态；
根据多张所述序列图片中所述目标对象的牵绳状态，获取所述目标对象在预设时段内的牵绳状态变化情况；
当所述目标对象的牵绳状态在所述预设时段内保持为被牵绳状态，则判定所述监控视频中所述目标对象被牵绳；
当所述目标对象的牵绳状态在所述预设时段内保持为未被牵绳状态，则判定所述监控视频中所述目标对象未被牵绳。
在一实施例中，所述多张序列图片为连续帧图片。
在一实施例中，判定模块203具体用于：
根据多张所述序列图片中所述目标对象的牵绳状态，确定所述目标对象每次的牵绳状态的持续时长；
获取状态判断冗余间隔，所述状态判断冗余间隔为前一牵绳状态的持续时长与预设状态参数的乘积；
当所述目标对象当前牵绳状态的持续时长大于所述状态判断冗余间隔，则判定所述当前牵绳状态相对于前一牵绳状态发生改变；
当所述目标对象当前牵绳状态的持续时长小于或等于所述状态判断冗余间隔，则判定所述当前牵绳状态相对于前一牵绳状态未发生改变。
在一实施例中，所述预先训练好的目标检测模型通过如下方式训练得到：
获取训练图片集，所述训练图片集包括多张训练图片，所述训练图片被标注有标注对象的真实标签，所述标注对象包括牵绳和目标对象；
将所述多张训练图片输入至预设神经网络中进行迭代训练，直至所述预设神经网络的输出符合预设条件，得到所述目标检测模型。
在一实施例中，所述预设神经网络包括输入网络、骨干网络、检测颈网络和检测头网络；
所述输入网络用于对提取输入的所述训练图片进行数据增强，并将增强后的所述训练图片输入至所述骨干网络；
所述骨干网络用于对增强后的所述训练图片进行特征提取，得到至少一个尺度的初始特征图，并将所述至少一个尺度的初始特征图输入至所述检测颈网络，其中，所述骨干网络的卷积处理采用空洞卷积方式；
所述检测颈网络用于对所述至少一个尺度的初始特征图进行特征融合，得到至少一个尺度的融合特征图，并将多尺度的所述融合特征图输入至所述检测头网络；
所述检测头网络用于对所述至少一个尺度的融合特征图进行检测，得到至少一个尺度的预测信息，所述预测信息包括所述标注对象的位置、分类和置信度。
关于前述装置的具体限定可以参见上文中对于前述对应方法的限定，在此不再赘述。上述装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器、边缘盒子或者其他计算机设备，其内部结构图可以如图14所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的网络接口用于与设备通过网络连接通信，用于获取所需的信息，例如图片或视频流等。该计算机可读指令被处理器执行时以实现一种目标检测模型训练方法的步骤或者基于网络模型的预警发送方法的步骤。本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现以下步骤：
获取训练图片集，所述训练图片集包括多张训练图片，所述训练图片被标注有标注对象的真实标签，所述标注对象包括牵绳和目标对象；
将所述多张训练图片输入至预设神经网络中进行迭代训练，直至所述预设神经网络的输出符合预设条件，得到所述目标检测模型；
所述预设神经网络包括输入网络、骨干网络、检测颈网络和检测头网络，其中，所述骨干网络的卷积层采用空洞卷积方式。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现以下步骤：
获取监控设备拍摄的被检测图片；
将所述被检测图片输入预先训练好的目标检测模型中，以获取所述被检测图片中检测对象的检测框，所述检测对象包括牵绳和目标对象；所述目标检测模型为采用前述实施例任一项所述的目标检测模型训练方法得到；
根据所述牵绳的检测框和所述目标对象的检测框的相交情况，判定所述被检测图片中所述目标对象是否被牵绳；
当所述目标对象未被牵绳子，则基于所述目标对象未牵绳的被检测图片和所述监控设备的位置信息生成预警事件信息；
将所述预警事件信息发送至管理终端。
在一个实施例中，提供了一个或多个存储有计算机可读指令的计算机可读存储介质，本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。可读存储介质上存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时实现以下步骤：
获取训练图片集，所述训练图片集包括多张训练图片，所述训练图片被标注有标注对象的真实标签，所述标注对象包括牵绳和目标对象；
将所述多张训练图片输入至预设神经网络中进行迭代训练，直至所述预设神经网络的输出符合预设条件，得到所述目标检测模型；
所述预设神经网络包括输入网络、骨干网络、检测颈网络和检测头网络，其中，所述骨干网络的卷积层采用空洞卷积方式。
在一个实施例中，提供了一个或多个存储有计算机可读指令的计算机可读存储介质，本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。可读存储介质上存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时实现以下步骤：
获取监控设备拍摄的被检测图片；
将所述被检测图片输入预先训练好的目标检测模型中，以获取所述被检测图片中检测对象的检测框，所述检测对象包括牵绳和目标对象；所述目标检测模型为采用前述实施例任一项所述的目标检测模型训练方法得到；
根据所述牵绳的检测框和所述目标对象的检测框的相交情况，判定所述被检测图片中所述目标对象是否被牵绳；
当所述目标对象未被牵绳子，则基于所述目标对象未牵绳的被检测图片和所述监控设备的位置信息生成预警事件信息；
将所述预警事件信息发送至管理终端。
其中，关于计算机可读存储介质或的计算机设备所实现的更多内容，可以对应参阅前述方法实施例的描述，这里不重复展开描述。
在一实施例中，如图15所示，提供了一种基于网络模型的预警发送系统，所述系统包括监控设备、管理终端和前述所述的计算机设备；所述计算机设备包括边缘盒子。
或者，提供了一种基于网络模型的预警发送系统，所述系统包括监控设备、管理终端和定制软件；该定制软件用于实现上述预警发送方法。
可以看出，基于本申请实施例提供的方案，可提供边缘盒子和安装软件两种解决方案，针对不同的应用场景，在小区等监控设备较少的场景，只需要将视频信号接入到边缘盒子中，并给边缘盒子联网配置相关参数，就可以完成对非法遛狗事件的检测。其综合功能，边缘盒子由视频输入接口、AI芯片、网络设备、内置算法模型和存储设备组成，这里不详述。而在城市管理中心这种存在大量监控设备的场景，一个边缘盒子的算力不足以支撑大量的监控设备，多个边缘盒子维护比较繁重，则可以安装定制软件，在管理终端的服务器上进行检测。可以通过定制软件中可以查看各个监控的状态，基于预警信息，可以统计每天各时段出现非法遛狗的事件数量，可以浏览非法遛狗事件列表和事件的详情信息，并且支持对预警事件进行处理，比如发送给指定管理人员等，具有极大的应用价值和场景。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性可读取存储介质或易失性可读存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (7)

1.一种基于网络模型的预警发送方法，其特征在于，包括：
获取监控设备拍摄的被检测图片；
将所述被检测图片输入预先训练好的目标检测模型中，以获取所述被检测图片中检测对象的检测框，所述检测对象包括牵绳和目标对象；
根据所述牵绳的检测框和所述目标对象的检测框的相交情况，判定所述被检测图片中所述目标对象是否被牵绳；
当所述目标对象未被牵绳子，则基于所述目标对象未牵绳的被检测图片和所述监控设备的位置信息生成预警事件信息；
将所述预警事件信息发送至管理终端；
所述目标检测模型通过如下方法训练得到：
获取训练图片集，所述训练图片集包括多张训练图片，所述训练图片被标注有标注对象的真实标签，所述标注对象包括牵绳和目标对象；
将所述多张训练图片输入至预设神经网络中进行迭代训练，直至所述预设神经网络的输出符合预设条件，得到所述目标检测模型；
所述预设神经网络包括输入网络、骨干网络、检测颈网络和检测头网络，其中，所述骨干网络的卷积层采用空洞卷积方式；
所述将所述多张训练图片输入至预设神经网络中进行迭代训练，直至所述预设神经网络的输出符合预设条件，得到所述目标检测模型，包括：
所述输入网络用于对提取输入的所述训练图片进行数据增强，并将增强后的所述训练图片输入至所述骨干网络；
所述骨干网络用于对增强后的所述训练图片进行特征提取，得到至少一个尺度的初始特征图，并将所述至少一个尺度的初始特征图输入至所述检测颈网络；
所述检测颈网络用于对所述至少一个尺度的初始特征图进行特征融合，得到至少一个尺度的融合特征图，并将多尺度的所述融合特征图输入至所述检测头网络；
所述检测头网络用于对所述至少一个尺度的融合特征图进行检测，得到至少一个尺度的预测信息，所述预测信息包括所述标注对象的位置、分类和置信度；
将所述训练图片对应的所述预测信息，和所述训练图片标注的所述真实标签送入预设损失函数进行反向传播，并通过多轮迭代，得到符合所述预设条件的所述目标检测模型。
2.如权利要求1所述的基于网络模型的预警发送方法，其特征在于，所述目标对象包括狗。
3.一种基于网络模型的预警发送装置，其特征在于，包括：
获取模块，用于获取监控设备拍摄的被检测图片；
输入模块，用于将所述被检测图片输入预先训练好的目标检测模型中，以获取所述被检测图片中检测对象的检测框，所述检测对象包括牵绳和目标对象；
判定模块，用于根据所述牵绳的检测框和所述目标对象的检测框的相交情况，判定所述被检测图片中所述目标对象是否被牵绳；
生成模块，用于当所述目标对象未被牵绳子，则基于所述目标对象未牵绳的被检测图片和所述监控设备的位置信息生成预警事件信息；
发送模块，用于将所述预警事件信息发送至管理终端；
所述目标检测模型通过如下方法训练得到：
获取训练图片集，所述训练图片集包括多张训练图片，所述训练图片被标注有标注对象的真实标签，所述标注对象包括牵绳和目标对象；
将所述多张训练图片输入至预设神经网络中进行迭代训练，直至所述预设神经网络的输出符合预设条件，得到所述目标检测模型；
所述预设神经网络包括输入网络、骨干网络、检测颈网络和检测头网络，其中，所述骨干网络的卷积层采用空洞卷积方式；
所述将所述多张训练图片输入至预设神经网络中进行迭代训练，直至所述预设神经网络的输出符合预设条件，得到所述目标检测模型，包括：
所述输入网络用于对提取输入的所述训练图片进行数据增强，并将增强后的所述训练图片输入至所述骨干网络；
所述骨干网络用于对增强后的所述训练图片进行特征提取，得到至少一个尺度的初始特征图，并将所述至少一个尺度的初始特征图输入至所述检测颈网络；
所述检测颈网络用于对所述至少一个尺度的初始特征图进行特征融合，得到至少一个尺度的融合特征图，并将多尺度的所述融合特征图输入至所述检测头网络；
所述检测头网络用于对所述至少一个尺度的融合特征图进行检测，得到至少一个尺度的预测信息，所述预测信息包括所述标注对象的位置、分类和置信度；
将所述训练图片对应的所述预测信息，和所述训练图片标注的所述真实标签送入预设损失函数进行反向传播，并通过多轮迭代，得到符合所述预设条件的所述目标检测模型。
4.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至2任一项所述方法的步骤。
5.一种基于网络模型的预警发送系统，其特征在于，所述系统包括监控设备、管理终端和如权利要求4所述的计算机设备。
6.如权利要求5所述的预警发送系统，其特征在于，所述计算机设备包括边缘盒子。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至2任一项所述方法的步骤。
CN202310782942.9A 2023-06-29 2023-06-29 训练、预警发送方法、系统、装置、设备和介质 Active CN116863298B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310782942.9A CN116863298B (zh) 2023-06-29 2023-06-29 训练、预警发送方法、系统、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310782942.9A CN116863298B (zh) 2023-06-29 2023-06-29 训练、预警发送方法、系统、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN116863298A CN116863298A (zh) 2023-10-10
CN116863298B true CN116863298B (zh) 2024-05-10

Family

ID=88220900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310782942.9A Active CN116863298B (zh) 2023-06-29 2023-06-29 训练、预警发送方法、系统、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN116863298B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018086201A (ja) * 2016-11-29 2018-06-07 株式会社メニコン 健康管理型ペットロボット
CN111291641A (zh) * 2020-01-20 2020-06-16 上海依图网络科技有限公司 图像识别方法及其装置、计算机可读介质和系统
CN112906678A (zh) * 2021-05-07 2021-06-04 南京甄视智能科技有限公司 基于监控视频的非法遛狗事件检测方法、装置
CN113011404A (zh) * 2021-05-25 2021-06-22 南京甄视智能科技有限公司 基于时空域特征的狗拴绳识别方法、装置
CN114694005A (zh) * 2022-04-24 2022-07-01 智道网联科技(北京)有限公司 目标检测模型训练方法和装置、目标检测方法和装置
CN114972956A (zh) * 2022-06-13 2022-08-30 中国银行股份有限公司 一种目标检测模型训练方法、装置、设备及存储介质
CN115035591A (zh) * 2022-04-29 2022-09-09 北京易华录信息技术股份有限公司 一种遛狗行为检测方法及装置
CN115063751A (zh) * 2022-07-27 2022-09-16 深圳市海清视讯科技有限公司 宠物牵绳检测方法、设备及存储介质
CN115546586A (zh) * 2022-10-26 2022-12-30 北京环境特性研究所 红外弱小目标的检测方法、装置、计算设备及存储介质
CN115661573A (zh) * 2022-10-26 2023-01-31 北京环境特性研究所 红外弱小目标的检测方法、装置、计算设备及存储介质
CN115810202A (zh) * 2022-12-07 2023-03-17 中电信数字城市科技有限公司 非法遛狗事件的检测方法、装置、电子设备和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018086201A (ja) * 2016-11-29 2018-06-07 株式会社メニコン 健康管理型ペットロボット
CN111291641A (zh) * 2020-01-20 2020-06-16 上海依图网络科技有限公司 图像识别方法及其装置、计算机可读介质和系统
CN112906678A (zh) * 2021-05-07 2021-06-04 南京甄视智能科技有限公司 基于监控视频的非法遛狗事件检测方法、装置
CN113011404A (zh) * 2021-05-25 2021-06-22 南京甄视智能科技有限公司 基于时空域特征的狗拴绳识别方法、装置
CN114694005A (zh) * 2022-04-24 2022-07-01 智道网联科技(北京)有限公司 目标检测模型训练方法和装置、目标检测方法和装置
CN115035591A (zh) * 2022-04-29 2022-09-09 北京易华录信息技术股份有限公司 一种遛狗行为检测方法及装置
CN114972956A (zh) * 2022-06-13 2022-08-30 中国银行股份有限公司 一种目标检测模型训练方法、装置、设备及存储介质
CN115063751A (zh) * 2022-07-27 2022-09-16 深圳市海清视讯科技有限公司 宠物牵绳检测方法、设备及存储介质
CN115546586A (zh) * 2022-10-26 2022-12-30 北京环境特性研究所 红外弱小目标的检测方法、装置、计算设备及存储介质
CN115661573A (zh) * 2022-10-26 2023-01-31 北京环境特性研究所 红外弱小目标的检测方法、装置、计算设备及存储介质
CN115810202A (zh) * 2022-12-07 2023-03-17 中电信数字城市科技有限公司 非法遛狗事件的检测方法、装置、电子设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Olfaction-based Detection Distance: A Quantitative Analysis of How Far Away Dogs Recognize Tortoise Odor and Follow It to Source;Mary E. Cablk et al;《Sensors》;20080328;第2208-2222页 *
基于YOLOv5的公共场景宠物犬牵绳检测;耿帅帅;《现代信息科技》;20220610;第99-102页 *

Also Published As

Publication number Publication date
CN116863298A (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
CN112232293B (zh) 图像处理模型训练、图像处理方法及相关设备
US8744125B2 (en) Clustering-based object classification
CN109801260B (zh) 牲畜个数的识别方法、装置、控制装置及可读存储介质
TW201706918A (zh) 作爲供神經網路的訓練準則的濾波器特異性
CN112183353A (zh) 一种图像数据处理方法、装置和相关设备
CN110942456B (zh) 篡改图像检测方法、装置、设备及存储介质
CN106682681A (zh) 一种基于相关反馈的识别算法自动改进方法
WO2022078216A1 (zh) 一种目标识别方法及装置
CN113421192B (zh) 对象统计模型的训练方法、目标对象的统计方法和装置
CN112182269B (zh) 图像分类模型的训练、图像分类方法、装置、设备及介质
CN111626251A (zh) 一种视频分类方法、视频分类装置及电子设备
KR20210051473A (ko) 동영상 콘텐츠 식별 장치 및 방법
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN117765480B (zh) 一种道路沿线野生动物迁徙预警方法及系统
CN114973573A (zh) 目标入侵确定方法、装置、存储介质及电子装置
KR20210067602A (ko) 영상정보를 분석하여 가축 방역 경계선을 설정하는 방법
CN113160272B (zh) 目标跟踪方法、装置、电子设备及存储介质
Yang et al. A defencing algorithm based on deep learning improves the detection accuracy of caged chickens
CN116863298B (zh) 训练、预警发送方法、系统、装置、设备和介质
CN111079617A (zh) 家禽识别方法、装置、可读存储介质及电子设备
US20230095027A1 (en) System and method for reducing surveillance detection errors
CN112784691B (zh) 一种目标检测模型训练方法、目标检测方法和装置
CN112668631B (zh) 基于卷积神经网络的移动端社区宠物识别方法
CN115393673A (zh) 对象识别模型的训练方法、对象识别的方法、电子设备
CN114463253A (zh) 一种宠物牵绳检测方法、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant