CN114973573A - 目标入侵确定方法、装置、存储介质及电子装置 - Google Patents

目标入侵确定方法、装置、存储介质及电子装置 Download PDF

Info

Publication number
CN114973573A
CN114973573A CN202210669762.5A CN202210669762A CN114973573A CN 114973573 A CN114973573 A CN 114973573A CN 202210669762 A CN202210669762 A CN 202210669762A CN 114973573 A CN114973573 A CN 114973573A
Authority
CN
China
Prior art keywords
target
determining
image
confidence
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210669762.5A
Other languages
English (en)
Other versions
CN114973573B (zh
Inventor
鲁逸峰
周祥明
郑春煌
王文超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202210669762.5A priority Critical patent/CN114973573B/zh
Publication of CN114973573A publication Critical patent/CN114973573A/zh
Application granted granted Critical
Publication of CN114973573B publication Critical patent/CN114973573B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
    • G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
    • G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
    • G08B5/38—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources using flashing light

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种目标入侵确定方法、装置、存储介质及电子装置，其中，该方法包括：确定针对目标区域采集到的目标图像所属的目标图像序列，其中，目标图像序列中的图像均包括目标对象；响应于基于目标图像确定目标对象进入目标区域，基于目标图像序列中包括的历史图像以及目标图像确定目标对象的目标类型，其中，历史图像为在目标图像之前采集的图像；基于目标类型确定目标对象是否存在针对目标区域的入侵行为。通过本发明，解决了相关技术中存在的确定目标入侵行为不准确的问题，达到提高确定目标的入侵行为的准确率的效果。

Description

目标入侵确定方法、装置、存储介质及电子装置
技术领域
本发明实施例涉及通信领域，具体而言，涉及一种目标入侵确定方法、装置、存储介质及电子装置。
背景技术
对目标的区域入侵报警方法主要是通过人员实地驻守探查,或者使用实时录像设备进行定点录像并通过人员不间断监控进行人为报警与驱离，这需要耗费巨大的人力物力，且报警效果极大依赖于人为主观因素，难以维持长期稳定准确的实时报警效果。随着深度学习技术在计算机视觉领域的快速进步，目标实时检测技术已逐渐在智能视频监控领域取得长足的发展。在基于深度学习的目标检测技术中，YOLO(You Only Look Once,一种实时目标检测技术)基于其速度快、误检率低的特点，成为了目标实时检测场景中常用的技术方法，也使得基于监控视频对对象进行自动检测与跟踪成为了可能。
在相关技术中，在检测到目标进入到指定区域时即认为目标入侵了指定区域。
由此可知，相关技术中存在确定目标入侵行为不准确的问题。
针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种目标入侵确定方法、装置、存储介质及电子装置，以至少解决相关技术中存在的确定目标入侵行为不准确的问题。
根据本发明的一个实施例，提供了一种目标入侵确定方法，包括：确定针对目标区域采集到的目标图像所属的目标图像序列，其中，所述目标图像序列中的图像均包括目标对象；响应于基于所述目标图像确定所述目标对象进入目标区域，基于所述目标图像序列中包括的历史图像以及所述目标图像确定所述目标对象的目标类型，其中，所述历史图像为在所述目标图像之前采集的图像；基于所述目标类型确定所述目标对象是否存在针对所述目标区域的入侵行为。
根据本发明的另一个实施例，提供了一种目标入侵确定装置，包括：第一确定模块，用于确定针对目标区域采集到的目标图像所属的目标图像序列，其中，所述目标图像序列中的图像均包括目标对象；第二确定模块，用于响应于基于所述目标图像确定所述目标对象进入目标区域，基于所述目标图像序列中包括的历史图像以及所述目标图像确定所述目标对象的目标类型，其中，所述历史图像为在所述目标图像之前采集的图像；第三确定模块，用于基于所述目标类型确定所述目标对象是否存在针对所述目标区域的入侵行为。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，确定针对目标区域采集到的目标图像所属的目标图像序列，在基于目标图像确定目标对象进入目标区域的情况下，根据目标图像序列中包括的历史图像以及目标图像确定目标对象的目标类型，基于目标类型确定目标对象是否存在针对目标区域的入侵行为。由于在确定目标对象进行目标区域时，可以识别目标对象的目标类型，根据目标类型进一步确定目标对象是否有针对目标区域的入侵行为，避免了当目标对象进入目标区域时即认为目标对象存在入侵行为的情况发生，因此，可以解决相关技术中存在的确定目标入侵行为不准确的问题，达到提高确定目标的入侵行为的准确率的效果。
附图说明
图1是本发明实施例的一种目标入侵确定方法的移动终端的硬件结构框图；
图2是根据本发明实施例的目标入侵确定方法的流程图；
图3是根据本发明示例性实施例的摄像设备的拍摄区域与目标区域的关系示意图；
图4是根据本发明示例性实施例的目标对象未进入目标区域示意图；
图5是根据本发明示例性实施例的目标对象进入目标区域示意图；
图6是根据本发明具体实施例中的目标入侵确定方法流程图；
图7是根据本发明实施例的目标入侵确定装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种目标入侵确定方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的目标入侵确定方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种目标入侵确定方法，图2是根据本发明实施例的目标入侵确定方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，确定针对目标区域采集到的目标图像所属的目标图像序列，其中，所述目标图像序列中的图像均包括目标对象；
步骤S204，响应于基于所述目标图像确定所述目标对象进入目标区域，基于所述目标图像序列中包括的历史图像以及所述目标图像确定所述目标对象的目标类型，其中，所述历史图像为在所述目标图像之前采集的图像；
步骤S206，基于所述目标类型确定所述目标对象是否存在针对所述目标区域的入侵行为。
在上述实施例中，目标图像可以是摄像设备采集到的图像，摄像设备可以是安装在目标区域附近的设备，摄像设备的拍摄区域包括目标区域。其中，摄像设备的拍摄区域与目标区域的关系示意图可参见附图3，如图3所示，矩形区域为目标区域，不规则区域为拍摄区域。可以实时获取摄像设备采集的目标图像，识别目标图像中包括的对象，并持续跟踪识别出的对象。将跟踪同一对象所拍摄的图像存储到同一图像序列中。例如，识别出目标图像中包括目标对象后，可以为目标对象分配一个ID，并在采集目标图像之后采集的图像中识别出目标对象后，将包括目标对象的图像与目标图像存储在同一图像序列中。其中，目标对象包括野生动物、家禽、家畜、人、车辆、树叶等。
在上述实施例中，在跟踪目标对象的过程中，可以实时判断目标对象是否进入目标区域。其中，确定目标对象进入目标区域包括：确定目标对象在目标图像中的第一检测框，在第一检测框与目标区域的边界存在交点，或者第一检测框位于目标区域中时，确定目标对象进入目标区域。目标区域可以是在安装好摄像设备后，在摄像设备的显示界面中划定的区域。
在上述实施例中，在确定目标对象进入目标区域后，可以根据包括目标对象的历史图像以及目标图像确定目标对象的目标类型，根据目标类型确定目标对象是否存在入侵行为。其中，入侵行为包括不允许进入目标区域的目标对象进入目标区域。
可选地，上述步骤的执行主体可以是后台处理器，或者其他的具备类似处理能力的设备，还可以是至少集成有图像获取设备以及数据处理设备的机器，其中，图像获取设备可以包括摄像头等图形采集模块，数据处理设备可以包括计算机、手机等终端，但不限于此。
通过本发明，确定针对目标区域采集到的目标图像所属的目标图像序列，在基于目标图像确定目标对象进入目标区域的情况下，根据目标图像序列中包括的历史图像以及目标图像确定目标对象的目标类型，基于目标类型确定目标对象是否存在针对目标区域的入侵行为。由于在确定目标对象进行目标区域时，可以识别目标对象的目标类型，根据目标类型进一步确定目标对象是否有针对目标区域的入侵行为，避免了当目标对象进入目标区域时即认为目标对象存在入侵行为的情况发生，因此，可以解决相关技术中存在的确定目标入侵行为不准确的问题，达到提高确定目标的入侵行为的准确率的效果。
在一个示例性实施例中，所述基于所述目标类型确定所述目标对象是否存在针对所述目标区域的入侵行为包括：确定对象的类型与入侵行为等级的关联关系；基于所述关联关系确定与所述目标类型关联的目标入侵行为等级；基于所述目标入侵行为等级确定所述目标对象是否存在针对所述目标区域的入侵行为。在本实施例中，在确定目标对象是否存在入侵行为时，可以根据目标对象的目标类型确定目标对象的目标入侵行为等级。当目标入侵行为等级大于预设等级时，可以认为目标对象存在入侵行为。其中，目标入侵行为等级可以是根据对象类型与入侵行为等级之间的关联关系确定的。可以预先确定对象类型与入侵行为等级的关联关系，在确定出目标对象的目标类型时，可以在关联关系中确定与目标类型对应的目标入侵行为等级。
在一个示例性实施例中，基于所述目标入侵行为等级确定所述目标对象是否存在针对所述目标区域的入侵行为之后，所述方法还包括：响应于所述目标对象存在针对所述目标区域的入侵行为，执行与所述目标入侵行为等级对应的告警操作。在本实施例中，当目标对象存在针对目标区域的入侵行为时，可以执行告警操作。告警操作的等级可以与目标入侵行为的等级对应。如目标入侵行为等级越高，执行的告警操作等级越高。
在一个示例性实施例中，基于所述目标类型执行目标告警操作包括：确定所述目标类型对应的告警等级；执行与所述告警等级对应的所述目标告警操作。在本实施例中，可以根据每个目标的跟踪轨迹判定其是否产生区域入侵行为,并根据其具体类别进行分级告警处理。在执行告警操作时，可以确定目标类型对应的告警等级，不同的告警等级可以对应不同的告警操作。其中，告警等级与告警操作的对应关系可以是预先确定的。在确定出目标类型的告警等级后，可以确定告警等级对应的目标告警操作，并执行目标告警操作。目标告警操作可以包括控制闪光灯闪烁、播放目标对象的天敌的叫声、向管理目标区域的人员的终端发送提示信息等。
在上述实施例中，目标对象未进入目标区域示意图可参见附图4，如图4所示，区域A为划定的目标区域，矩形框B为系统跟踪到的目标对象，若目标的运动轨迹穿越了目标区域，则系统会根据其平均置信度判断其具体类别。若目标被识别为行人、车辆等非动物目标，则不进行告警；若目标被识别为猫、狗等家养动物，则进行1级告警，还可以在终端显示器上改变目标区域的边界颜色，并在显示器上显示目标对象的轨迹以及目标对象的当前位置。例如，可以以黄色矩形框和橙色轨迹线的形式显示目标位置及运动轨迹，并使目标区域闪红，但不进行任何驱离行为。其中，目标对象进入目标区域示意图可参见附图5。若目标被识别为鹿、马等野生草食动物，则进行2级报警，在终端显示器上显示目标相关信息的同时，现场监控设备会产生持续性声光警戒以驱离目标动物；若目标被识别为狼、豹、虎、熊等野生肉食动物，则进行3级报警，在终端显示器上显示目标相关信息并产生持续声光警戒，同时检测相关区域内是否有工作人员，若有工作人员，则将目标动物的类别、位置等相关信息进行定向推送，协助工作人员进行后续处理。
在一个示例性实施例中，在执行所述目标告警操作之后，所述方法还包括：响应于所述告警等级大于预定等级，确定执行告警操作的目标时间；响应于所述目标时间大于预定时间，执行所述告警等级中包括的最大告警等级对应的告警操作。在本实施例中，当告警等级大于预定等级时，如对于2级和3级告警，在系统检测到野生动物完全离开规则区域之前，声光警戒将一直持续并触发计时系统进行计时，若声光警戒持续时间超过设定的阈值，则触发4级报警，系统进行全域广播并将目标类别、位置等信息推送给所有相关工作人员。在一个示例性实施例中，确定针对目标区域采集到的目标图像所属的目标图像序列包括：确定所述目标对象在所述目标图像中的第一检测框；确定预先存储的每个图像序列中包括的最后一帧图像；确定每个所述最后一帧图像中包括的历史对象的第二检测框；确定所述第一检测框与所述第二检测框的交并比；基于所述交并比确定所述目标图像所属的所述目标图像序列。在本实施例中，确定目标图像所属的目标图像序列时，可以确定目标对象在目标图像中的第一检测框。在确定第一检测框时，可以采用深度学习YOLOv5网络对目标图像进行检测，以确定图像中的对象的第一检测框的位置。在检测到目标对象后，可以确定目标对象与已存在的图像序列中的最后一帧图像中包括的对象的第二检测框的交并比，根据交并比确定目标图像序列。还可以确定目标对象与已经存在的图像序列中包括的最后一帧图像中包括的对象的相似度，根据相似度确定目标图像序列。
在上述实施例中，还可以对每个检测到的对象进行持续跟踪。可以采用多目标跟踪方式对每个检测出的目标进行前后帧ID匹配并生成运动轨迹。在跟踪阶段，每个检测框对应的运动轨迹可以包括四个状态：create、update、lost、delete。若检测框出现在视频的第一帧，或者出现在第二帧及以后并且与前一帧的所有检测框都匹配失败，则认为该检测框是一个新出现的目标，将其对应的轨迹状态设定为create；若检测框与上一帧的某检测框匹配成功，则将该检测框中心点作为新的轨迹终点更新至匹配成功的运动轨迹当中，并将轨迹状态设定为update；若运动轨迹在当前帧没有匹配到任何检测框，则认为其跟踪的目标处于丢失状态，将轨迹状态设定为lost；对于处于lost状态的轨迹，若在接下来连续若干帧内至少匹配成功一次，则将其状态重新设定为update，否则认为该轨迹已不再属于任何目标，将其状态设定为delete，并删除该轨迹。其中，每个对象的轨迹中包括的图像即为图像序列。
在一个示例性实施例中，基于所述交并比确定所述目标图像所属的所述目标图像序列包括：确定所述交并比中包括的最大交并比；响应于所述最大交并比大于或等于预定阈值，将所述最大交并比对应的所述历史对象所属的图像序列确定为所述目标图像序列；响应于所述最大交并比小于所述预定阈值，创建所述目标图像序列，并将所述目标图像存储在所述目标图像序列中。在本实施例中，对于当前帧任一对象目标检测框A，如第一检测框，可以计算A与最后一帧图像的所有第二检测框之间的IOU值，构成集合{I1,I2,...,Im}，其中，m为最后一帧图像中检测出的对象的目标数量。设该集合中的最大值为Ij，对应最后一帧图像中的第二检测框J，则当Ij大于等于预定阈值t时，认为A与J匹配成功，并将A的中心点作为最新的轨迹终点更新至J对应的运动轨迹中，确定目标图像序列为J所在的图像序列，从而实现目标运动轨迹的实时跟踪。若Ij小于阈值t，则认为匹配失败，则可以新建目标图像序列。这里预定阈值t表征前后帧检测框匹配成功的严格程度，t越大，匹配要求越严格，t越小，匹配要求越宽松。阈值t可在使用过程中根据需求人为调整。
在一个示例性实施例中，基于所述目标图像序列中包括的历史图像以及所述目标图像确定所述目标对象的目标类型包括：基于所述目标图像确定所述目标对象属于每个类型的第一置信度；基于所述历史图像确定所述目标对象属于每个所述类型的第二置信度；基于所述第一置信度以及所述第二置信度确定所述目标对象属于每个所述类型的目标置信度；基于所述目标置信度确定所述目标类型。在本实施例中，对于目标对象，可以在该目标被成功跟踪到的每一帧图像中，使用一个轻量级分类网络对该目标的具体类别进行识别，该轻量级分类网络的识别类别视使用场景而定，该网络主要识别类别为人类、家养动物、畜牧动物、野生动物、其他背景(如树叶、栅栏等)，但实际应用时不限于这些类别。具体来说，假设目标在第k1、k2...kn帧(共n帧)被成功跟踪到，则使用一个轻量级分类网络在第k1、k2...kn帧对该目标进行类别识别，用pj(ki)表示目标在第ki帧被网络分类为第j个类别的置信度，根据pj(ki)确定目标对象属于每个类型的目标置信度，根据目标置信度确定目标类型。
在一个示例性实施例中，基于所述第一置信度以及所述第二置信度确定所述目标对象属于每个所述类型的目标置信度包括：确定所述第一置信度中包括的与每个所述类型对应的第一子置信度；确定所述第二置信度中包括的与每个所述类型对应的第二子置信度；确定所述第一子置信度与所述第二子置信度的和值；确定所述第一子置信度以及所述第二子置信度的数量；将所述和值与所述数量的比值确定为所述目标对象属于每个所述类型的第三置信度；将所述第三置信度中包括的最大置信度确定为所述目标置信度。在本实施例中，第三置信度可以表示为
Figure BDA0003694378130000101
即可以利用
Figure BDA0003694378130000102
表示目标被网络分类为第j个类别的平均置信度。平均置信度，表示的是该目标在被成功跟踪到的每一帧图像当中，其被分类网络识别为某个类别的置信度的平均值。将平均置信度中最大值对应的类别确定为目标对象的目标类别。
下面结合具体实施方式对目标入侵确定方法进行说明：
图6是根据本发明具体实施例中的目标入侵确定流程图，如图6所示，该流程包括：
步骤S602，输入图像。
步骤S604，判断是否检测到的动物目标，在判断结果为是的情况下，执行步骤S606，在判断结果为否的情况下，执行步骤S602。
步骤S606，判断目标是否入侵指定区域(对应于上述目标区域)，在判断结果为是的情况下，执行步骤S608，在判断结果为否的情况下，执行步骤S602。
步骤S608，确定目标历史分类。
步骤S610，在目标的分类为非动物目标的情况下，执行步骤S612，在目标的分类为家养动物的情况下，执行步骤S614，在目标的分类为野生食草动物的情况下，执行步骤S616，在目标的分类为野生肉食动物的情况下，执行步骤S618。
步骤S612，不报警。
步骤S614,1级报警。
步骤S616,2级报警。
步骤S618,3级报警。
步骤S620，触发计时。
步骤S622，时间达到阈值，触发4级报警。
在前述实施例中，通过网络摄像机采集视频监控图像并基于深度学习技术检测其中的动物目标位置，随后利用多目标跟踪技术对检测到的动物目标进行持续跟踪，接着利用轻量级分类网络对跟踪到的每个动物目标进行细分类，并基于历史分类信息对目标类别进行二次校正，当目标在指定区域产生区域入侵行为时，系统根据目标的预测类别进行分级报警并触发不同响应措施，以实现对野生动物的实时报警和驱离。利用轻量级分类网络对检测目标进行二次识别，并基于历史识别信息对目标的分类置信度进行优化与校正，在几乎不增加耗时的基础上，极大地提升了目标分类的准确性和鲁棒性，实现了对不同种类野生动物、家养动物及人类等易混淆目标的精确区分。采用分级报警系统对区域入侵事件进行全自动分级报警处理，按入侵目标的类别和危险程度进行多梯度分级报警，极大地提升了报警事件的有效性和准确性，减少了使用人员的工作量。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种目标入侵确定装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7是根据本发明实施例的目标入侵确定装置的结构框图，如图7所示，该装置包括：
第一确定模块72，用于确定针对目标区域采集到的目标图像所属的目标图像序列，其中，所述目标图像序列中的图像均包括目标对象；
第二确定模块74，用于响应于基于所述目标图像确定所述目标对象进入目标区域，基于所述目标图像序列中包括的历史图像以及所述目标图像确定所述目标对象的目标类型，其中，所述历史图像为在所述目标图像之前采集的图像；
第三确定模块76，用于基于所述目标类型确定所述目标对象是否存在针对所述目标区域的入侵行为。
在一个示例性实施例中，第三确定模块76可以通过如下方式实现基于所述目标类型确定所述目标对象是否存在针对所述目标区域的入侵行为：确定对象的类型与入侵行为等级的关联关系；基于所述关联关系确定与所述目标类型关联的目标入侵行为等级；基于所述目标入侵行为等级确定所述目标对象是否存在针对所述目标区域的入侵行为。
在一个示例性实施例中，所述装置可以用于在基于所述目标入侵行为等级确定所述目标对象是否存在针对所述目标区域的入侵行为之后，响应于所述目标对象存在针对所述目标区域的入侵行为，执行与所述目标入侵行为等级对应的告警操作。
在一个示例性实施例中，第三确定模块76可以通过如下方式实现基于所述目标类型执行目标告警操作：确定所述目标类型对应的告警等级；执行与所述告警等级对应的所述目标告警操作。
在一个示例性实施例中，所述装置可以用于在执行所述目标告警操作之后，响应于所述告警等级大于预定等级，确定执行告警操作的目标时间；响应于所述目标时间大于预定时间，执行所述告警等级中包括的最大告警等级对应的告警操作。在一个示例性实施例中，第一确定模块72可以通过如下方式实现确定针对目标区域采集到的目标图像所属的目标图像序列：确定所述目标对象在所述目标图像中的第一检测框；确定预先存储的每个图像序列中包括的最后一帧图像；确定每个所述最后一帧图像中包括的历史对象的第二检测框；确定所述第一检测框与所述第二检测框的交并比；基于所述交并比确定所述目标图像所属的所述目标图像序列。
在一个示例性实施例中，第一确定模块72可以通过如下方式实现基于所述交并比确定所述目标图像所属的所述目标图像序列：确定所述交并比中包括的最大交并比；响应于所述最大交并比大于或等于预定阈值，将所述最大交并比对应的所述历史对象所属的图像序列确定为所述目标图像序列；响应于所述最大交并比小于所述预定阈值，创建所述目标图像序列，并将所述目标图像存储在所述目标图像序列中。
在一个示例性实施例中，第二确定模块74可以通过如下方式实现基于所述目标图像序列中包括的历史图像以及所述目标图像确定所述目标对象的目标类型：基于所述目标图像确定所述目标对象属于每个类型的第一置信度；基于所述历史图像确定所述目标对象属于每个所述类型的第二置信度；基于所述第一置信度以及所述第二置信度确定所述目标对象属于每个所述类型的目标置信度；基于所述目标置信度确定所述目标类型。
在一个示例性实施例中，第二确定模块74可以通过如下方式实现基于所述第一置信度以及所述第二置信度确定所述目标对象属于每个所述类型的目标置信度：确定所述第一置信度中包括的与每个所述类型对应的第一子置信度；确定所述第二置信度中包括的与每个所述类型对应的第二子置信度；确定所述第一子置信度与所述第二子置信度的和值；确定所述第一子置信度以及所述第二子置信度的数量；将所述和值与所述数量的比值确定为所述目标对象属于每个所述类型的第三置信度；将所述第三置信度中包括的最大置信度确定为所述目标置信度。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种目标入侵确定方法，其特征在于，包括：
确定针对目标区域采集到的目标图像所属的目标图像序列，其中，所述目标图像序列中的图像均包括目标对象；
响应于基于所述目标图像确定所述目标对象进入目标区域，基于所述目标图像序列中包括的历史图像以及所述目标图像确定所述目标对象的目标类型，其中，所述历史图像为在所述目标图像之前采集的图像；
基于所述目标类型确定所述目标对象是否存在针对所述目标区域的入侵行为。
2.根据权利要求1所述的方法，其特征在于，所述基于所述目标类型确定所述目标对象是否存在针对所述目标区域的入侵行为包括：
确定对象的类型与入侵行为等级的关联关系；
基于所述关联关系确定与所述目标类型关联的目标入侵行为等级；
基于所述目标入侵行为等级确定所述目标对象是否存在针对所述目标区域的入侵行为。
3.根据权利要求2所述的方法，其特征在于，在基于所述目标入侵行为等级确定所述目标对象是否存在针对所述目标区域的入侵行为之后，所述方法还包括：
响应于所述目标对象存在针对所述目标区域的入侵行为，执行与所述目标入侵行为等级对应的告警操作。
4.根据权利要求3所述的方法，其特征在于，执行与所述目标入侵行为等级对应的告警操作包括：
确定所述目标入侵行为等级对应的告警等级；
执行与所述告警等级对应的目标告警操作。
5.根据权利要求4所述的方法，其特征在于，在执行与所述告警等级对应的目标告警操作之后，所述方法还包括：
响应于所述告警等级大于预定等级，确定执行所述目标告警操作的目标时间；
响应于所述目标时间大于预定时间，执行所述告警等级中包括的最大告警等级对应的告警操作。
6.根据权利要求1所述的方法，其特征在于，确定针对目标区域采集到的目标图像所属的目标图像序列包括：
确定所述目标对象在所述目标图像中的第一检测框；
确定预先存储的每个图像序列中包括的最后一帧图像；
确定每个所述最后一帧图像中包括的历史对象的第二检测框；
确定所述第一检测框与所述第二检测框的交并比；
基于所述交并比确定所述目标图像所属的所述目标图像序列。
7.根据权利要求6所述的方法，其特征在于，基于所述交并比确定所述目标图像所属的所述目标图像序列包括：
确定所述交并比中包括的最大交并比；
响应于所述最大交并比大于或等于预定阈值，将所述最大交并比对应的所述历史对象所属的图像序列确定为所述目标图像序列；
响应于所述最大交并比小于所述预定阈值，创建所述目标图像序列，并将所述目标图像存储在所述目标图像序列中。
8.根据权利要求1所述的方法，其特征在于，基于所述目标图像序列中包括的历史图像以及所述目标图像确定所述目标对象的目标类型包括：
基于所述目标图像确定所述目标对象属于每个类型的第一置信度；
基于所述历史图像确定所述目标对象属于每个所述类型的第二置信度；
基于所述第一置信度以及所述第二置信度确定所述目标对象属于每个所述类型的目标置信度；
基于所述目标置信度确定所述目标类型。
9.根据权利要求8所述的方法，其特征在于，基于所述第一置信度以及所述第二置信度确定所述目标对象属于每个所述类型的目标置信度包括：
确定所述第一置信度中包括的与每个所述类型对应的第一子置信度；
确定所述第二置信度中包括的与每个所述类型对应的第二子置信度；
确定所述第一子置信度与所述第二子置信度的和值；
确定所述第一子置信度以及所述第二子置信度的数量；
将所述和值与所述数量的比值确定为所述目标对象属于每个所述类型的第三置信度；
将所述第三置信度中包括的最大置信度确定为所述目标置信度。
10.一种目标入侵确定装置，其特征在于，包括：
第一确定模块，用于确定针对目标区域采集到的目标图像所属的目标图像序列，其中，所述目标图像序列中的图像均包括目标对象；
第二确定模块，用于响应于基于所述目标图像确定所述目标对象进入目标区域，基于所述目标图像序列中包括的历史图像以及所述目标图像确定所述目标对象的目标类型，其中，所述历史图像为在所述目标图像之前采集的图像；
第三确定模块，用于基于所述目标类型确定所述目标对象是否存在针对所述目标区域的入侵行为。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至9任一项中所述的方法。
12.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至9任一项中所述的方法。
CN202210669762.5A 2022-06-14 2022-06-14 目标入侵确定方法、装置、存储介质及电子装置 Active CN114973573B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210669762.5A CN114973573B (zh) 2022-06-14 2022-06-14 目标入侵确定方法、装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210669762.5A CN114973573B (zh) 2022-06-14 2022-06-14 目标入侵确定方法、装置、存储介质及电子装置

Publications (2)

Publication Number Publication Date
CN114973573A true CN114973573A (zh) 2022-08-30
CN114973573B CN114973573B (zh) 2024-08-20

Family

ID=82962218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210669762.5A Active CN114973573B (zh) 2022-06-14 2022-06-14 目标入侵确定方法、装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN114973573B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453284A (zh) * 2023-06-15 2023-07-18 广州市声讯电子科技股份有限公司 基于驱散设备的安防报警装置及方法
CN116631134A (zh) * 2023-07-26 2023-08-22 海南至元科技有限公司 一种智能监控防盗装置

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060120590A1 (en) * 2004-12-07 2006-06-08 Lockheed Martin Corporation Automatic scene correlation and identification
US9720416B1 (en) * 2016-04-18 2017-08-01 Ford Global Technologies, Llc Vehicle security system
CN109635693A (zh) * 2018-12-03 2019-04-16 武汉烽火众智数字技术有限责任公司 一种正脸图像检测方法及装置
CN111127798A (zh) * 2019-12-25 2020-05-08 深圳供电局有限公司 警示方法和装置、显示牌设备、计算机可读存储介质
CN111340092A (zh) * 2020-02-21 2020-06-26 浙江大华技术股份有限公司 一种目标关联处理方法及装置
CN111368116A (zh) * 2020-05-26 2020-07-03 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机设备及存储介质
CN111738240A (zh) * 2020-08-20 2020-10-02 江苏神彩科技股份有限公司 区域监测方法、装置、设备及存储介质
CN112102364A (zh) * 2020-09-22 2020-12-18 广州华多网络科技有限公司 目标物跟踪方法、装置、电子设备及存储介质
CN112633384A (zh) * 2020-12-25 2021-04-09 北京百度网讯科技有限公司 基于图像识别模型的对象识别方法、装置和电子设备
CN112734699A (zh) * 2020-12-24 2021-04-30 浙江大华技术股份有限公司 物品状态告警方法、装置、存储介质及电子装置
CN112818814A (zh) * 2021-01-27 2021-05-18 北京市商汤科技开发有限公司 入侵检测方法及装置、电子设备和计算机可读存储介质
CN113240871A (zh) * 2021-05-21 2021-08-10 浙江大华技术股份有限公司 一种报警方法、装置、存储介质及电子装置
CN113674311A (zh) * 2021-06-30 2021-11-19 浙江大华技术股份有限公司 异常行为检测方法、装置、电子设备、存储介质
CN113989321A (zh) * 2021-09-10 2022-01-28 浙江大华技术股份有限公司 入侵检测方法、装置及系统、计算机存储介质
CN114255424A (zh) * 2021-12-16 2022-03-29 浙江大华技术股份有限公司 对象行为的确定方法、装置、存储介质及电子装置

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060120590A1 (en) * 2004-12-07 2006-06-08 Lockheed Martin Corporation Automatic scene correlation and identification
US9720416B1 (en) * 2016-04-18 2017-08-01 Ford Global Technologies, Llc Vehicle security system
CN109635693A (zh) * 2018-12-03 2019-04-16 武汉烽火众智数字技术有限责任公司 一种正脸图像检测方法及装置
CN111127798A (zh) * 2019-12-25 2020-05-08 深圳供电局有限公司 警示方法和装置、显示牌设备、计算机可读存储介质
CN111340092A (zh) * 2020-02-21 2020-06-26 浙江大华技术股份有限公司 一种目标关联处理方法及装置
CN111368116A (zh) * 2020-05-26 2020-07-03 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机设备及存储介质
CN111738240A (zh) * 2020-08-20 2020-10-02 江苏神彩科技股份有限公司 区域监测方法、装置、设备及存储介质
CN112102364A (zh) * 2020-09-22 2020-12-18 广州华多网络科技有限公司 目标物跟踪方法、装置、电子设备及存储介质
CN112734699A (zh) * 2020-12-24 2021-04-30 浙江大华技术股份有限公司 物品状态告警方法、装置、存储介质及电子装置
CN112633384A (zh) * 2020-12-25 2021-04-09 北京百度网讯科技有限公司 基于图像识别模型的对象识别方法、装置和电子设备
CN112818814A (zh) * 2021-01-27 2021-05-18 北京市商汤科技开发有限公司 入侵检测方法及装置、电子设备和计算机可读存储介质
CN113240871A (zh) * 2021-05-21 2021-08-10 浙江大华技术股份有限公司 一种报警方法、装置、存储介质及电子装置
CN113674311A (zh) * 2021-06-30 2021-11-19 浙江大华技术股份有限公司 异常行为检测方法、装置、电子设备、存储介质
CN113989321A (zh) * 2021-09-10 2022-01-28 浙江大华技术股份有限公司 入侵检测方法、装置及系统、计算机存储介质
CN114255424A (zh) * 2021-12-16 2022-03-29 浙江大华技术股份有限公司 对象行为的确定方法、装置、存储介质及电子装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116453284A (zh) * 2023-06-15 2023-07-18 广州市声讯电子科技股份有限公司 基于驱散设备的安防报警装置及方法
CN116453284B (zh) * 2023-06-15 2023-09-26 广州市声讯电子科技股份有限公司 基于驱散设备的安防报警装置及方法
CN116631134A (zh) * 2023-07-26 2023-08-22 海南至元科技有限公司 一种智能监控防盗装置

Also Published As

Publication number Publication date
CN114973573B (zh) 2024-08-20

Similar Documents

Publication Publication Date Title
CN108053427B (zh) 一种基于KCF与Kalman的改进型多目标跟踪方法、系统及装置
CN114973573B (zh) 目标入侵确定方法、装置、存储介质及电子装置
CN108710126B (zh) 自动化探测驱逐目标方法及其系统
CN108073908B (zh) 害虫识别方法及装置、计算机装置及存储介质
CN113052107B (zh) 一种检测安全帽佩戴情况的方法、计算机设备及存储介质
CN111797835B (zh) 一种病症识别方法、病症识别装置及终端设备
CN111738240A (zh) 区域监测方法、装置、设备及存储介质
CN109377694B (zh) 社区车辆的监控方法及系统
CN111836009A (zh) 多个相机进行目标跟踪的方法、电子设备及存储介质
CN110705389A (zh) 一种电网作业行为的识别方法及系统
CN114255424A (zh) 对象行为的确定方法、装置、存储介质及电子装置
CN103714319A (zh) 一种用于电力线防外力破坏系统的视频入侵检测方法
CN111811399B (zh) 一种检测方法及装置
CN112733598A (zh) 车辆违法判别方法、装置、计算机设备和存储介质
CN114627394B (zh) 一种基于无人机的渣土车套牌识别方法及系统
CN115830078A (zh) 生猪多目标跟踪及行为识别方法、计算机设备与存储介质
CN114140712A (zh) 一种自动图像识别分发系统及方法
CN111929672A (zh) 移动轨迹的确定方法及装置、存储介质和电子装置
CN116778673A (zh) 水域安全监控方法、系统、终端及存储介质
CN113591520A (zh) 一种图像识别方法、入侵对象检测方法及装置
KR102603396B1 (ko) 인공지능을 이용한 영상 감시 기반 개체 인식 및 행동패턴 분석 방법 및 시스템
CN113837138B (zh) 一种着装监控方法、系统、介质及电子终端
CN114005011B (zh) 活畜在圈状态确定方法、系统、设备及介质
CN112580482A (zh) 一种动物监控方法、终端和存储介质
CN115410153A (zh) 一种门开关状态的判定方法、装置、电子终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant