CN111291724A - 监测方法、装置、计算机设备和存储介质 - Google Patents

监测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN111291724A
CN111291724A CN202010164886.9A CN202010164886A CN111291724A CN 111291724 A CN111291724 A CN 111291724A CN 202010164886 A CN202010164886 A CN 202010164886A CN 111291724 A CN111291724 A CN 111291724A
Authority
CN
China
Prior art keywords
foreground object
video frame
protection cabin
image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010164886.9A
Other languages
English (en)
Inventor
周康明
丁苗高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eye Control Technology Co Ltd
Original Assignee
Shanghai Eye Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eye Control Technology Co Ltd filed Critical Shanghai Eye Control Technology Co Ltd
Priority to CN202010164886.9A priority Critical patent/CN111291724A/zh
Publication of CN111291724A publication Critical patent/CN111291724A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F19/00—Complete banking systems; Coded card-freed arrangements adapted for dispensing or receiving monies or the like and posting such transactions to existing accounts, e.g. automatic teller machines
    • G07F19/20—Automatic teller machines [ATMs]
    • G07F19/207—Surveillance aspects at ATMs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

本申请涉及一种监测方法、装置、计算机设备和存储介质，计算机设备针对待监测防护舱的多张视频帧图像，分别获取每张视频帧图像与待监测防护舱的背景图像的帧差图像；然后，分别基于每张帧差图像，检测帧差图像对应的视频帧图像的前景对象状态；前景对象状态包括视频帧图像中是否包含人体；最后，根据多张视频帧图像的前景对象状态，获取待监测防护舱的监测结果。采用上述方法可以提升对待监测防护舱的监测结果的准确度和监测效率。

Description

监测方法、装置、计算机设备和存储介质
技术领域
本申请涉及数据处理技术领域，特别是涉及一种监测方法、装置、计算机设备和存储介质。
背景技术
随着金融电子化的发展、银行业务的不断增多，自动提款机(Automatic TellerMachine，简称ATM)给人们的经济和生活带来了极大的便利。为了保障ATM自动取款机的使用安全，ATM机防护舱得到了广泛应用。
传统技术中，为了对ATM机的使用情况进行监测，主要通过人工采集数据，然后对数据进行分析获得，例如通过工作人员统计每天使用ATM机的人数等信息。
但是，采用上述方法对ATM机的使用情况进行监测时，监测效率较低。
发明内容
基于此，有必要针对上述技术问题，提供一种监测方法、装置、计算机设备和存储介质。
一种监测方法，上述方法包括：
针对待监测防护舱的多张视频帧图像，分别获取每张视频帧图像与待监测防护舱的背景图像的帧差图像；
分别基于每张帧差图像，检测帧差图像对应的视频帧图像的前景对象状态；前景对象状态包括视频帧图像中是否包含人体；
根据多张视频帧图像的前景对象状态，获取待监测防护舱的监测结果。
在其中一个实施例中，上述基于每张帧差图像，检测帧差图像对应的视频帧图像的前景对象状态，包括：
基于帧差图像中各个像素的像素值，获取视频帧图像中的前景对象轮廓；
根据前景对象轮廓与预设的检测图形区域的重叠区域的大小，确定前景对象状态。
在其中一个实施例中，上述基于帧差图像中各个像素的像素值，获取视频帧图像中的前景对象轮廓，包括：
对帧差图像进行二值化处理，获得二值化图像；
在二值化图像的检测图形区域内，确定像素值为1的像素连通区域；
根据像素连通区域的边缘确定前景对象轮廓。
在其中一个实施例中，上述检测图形区域包括第一检测图形区域，第一检测图形区域用于指示人体活动区域，前景对象轮廓包括与第一检测图形区域对应的第一轮廓；根据前景对象轮廓与预设的检测图形区域的重叠区域的大小，确定前景对象状态，包括：
若第一轮廓与第一检测图形区域的重叠区域的大小大于第一预设阈值，确定前景对象状态为视频帧图像中包含人体。
在其中一个实施例中，上述前景对象状态还包括视频帧图像中防护舱门是否发生移动；上述检测图形区域还包括第二检测图形区域，第二检测图形区域用于指示防护舱门的区域；前景对象轮廓还包括与第二检测图形区域对应的第二轮廓；根据前景对象轮廓与预设的检测图形区域的重叠区域的大小，确定前景对象状态，还包括：
若第二轮廓与第二检测图形区域的重叠区域的大小大于第二预设阈值，确定前景对象状态为视频帧图像中防护舱门发生移动。
在其中一个实施例中，上述根据多张视频帧图像的前景对象状态，获取待监测防护舱的监测结果，包括：
根据多张视频帧图像的前景对象状态，确定相邻两次防护舱门发生移动之间防护舱内是否有人；
在相邻两次防护舱门发生移动之间防护舱中有人的情况下，根据防护舱门发生移动的时刻之间的时间间隔确定人员滞留时长。
在其中一个实施例中，上述根据多张视频帧图像的前景对象状态，确定相邻两次防护舱门发生移动之间防护舱内是否有人，包括：
获取相邻两次防护舱门发生移动之间的视频帧图像集合的第一帧数；
根据视频帧图像集合中每张视频帧图像的前景对象状态，确定视频帧图像集合中前景对象状态为包含人体的目标视频帧图像的第二帧数；
根据第一帧数以及第二帧数，确定相邻两次防护舱门发生移动之间防护舱内是否有人。
在其中一个实施例中，上述根据第一帧数以及第二帧数，确定相邻两次防护舱门发生移动之间防护舱内是否有人，包括：
若第二帧数与第一帧数的比值大于第三预设阈值，则确定相邻两次防护舱门发生移动之间防护舱内有人。
在其中一个实施例中，上述根据防护舱门发生移动的时刻之间的时间间隔确定人员滞留时长，包括：
若连续三次防护舱门发生移动之间防护舱中均有人，则将连续三次防护舱门发生移动的时间间隔之和确定为人员滞留时长。
一种监测装置，上述装置包括：
帧差模块，用于针对待监测防护舱的多张视频帧图像，分别获取每张视频帧图像与待监测防护舱的背景图像的帧差图像；
检测模块，用于分别基于每张帧差图像，检测帧差图像对应的视频帧图像的前景对象状态；前景对象状态包括视频帧图像中是否包含人体；
获取模块，用于根据多张视频帧图像的前景对象状态，获取待监测防护舱的监测结果。
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，上述处理器执行计算机程序时实现上述监测方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，上述计算机程序被处理器执行时实现上述监测方法的步骤。
上述监测方法、装置、计算机设备和存储介质，计算机设备针对待监测防护舱的多张视频帧图像，分别获取每张视频帧图像与待监测防护舱的背景图像的帧差图像；然后，分别基于每张帧差图像，检测帧差图像对应的视频帧图像的前景对象状态；前景对象状态包括视频帧图像中是否包含人体；最后，根据多张视频帧图像的前景对象状态，获取待监测防护舱的监测结果。由于计算机设备获取待监测防护舱的多张视频帧图像，因此可以对视频帧图像与背景图像的帧差图像进行检测，获得视频帧图像的前景对象状态，而不需要人工获取待监测防护舱的信息；进一步地，计算机设备根据多张视频帧图像的前景对象状态获取监测结果，而不需要人工分析，提升了监测结果的获取效率，同时提升了监测结果的准确度。
附图说明
图1为一个实施例中监测方法的应用环境图；
图2为一个实施例中监测方法的流程示意图；
图3为另一个实施例中监测方法的流程示意图；
图4为另一个实施例中监测方法的流程示意图；
图5为一个实施例中监测装置的结构框图；
图6为一个实施例中监测装置的结构框图；
图7为另一个实施例中监测装置的结构框图；
图8为另一个实施例中监测装置的结构框图；
图9为另一个实施例中监测装置的结构框图；
图10为另一个实施例中监测装置的结构框图；
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的监测方法，可以应用于如图1所示的应用环境中。其中，计算机设备100对待监测防护舱200进行监测，上述计算机设备100可以用独立的服务器或者是多个服务器组成的服务器集群来实现；上述待监测防护舱可以是自动提款机的防护舱，也可以是需要被监测的区域，在此不做限定。
在一个实施例中，如图2所示，提供了一种监测方法，以该方法应用于图1中的计算机设备为例进行说明，包括：
S101、针对待监测防护舱的多张视频帧图像，分别获取每张视频帧图像与待监测防护舱的背景图像的帧差图像。
其中，上述待监测防护舱可以是自动取款机的防护舱，可以是室外防护舱，也可以是室内防护舱，在此不做限定。
上述多张视频帧图像可以是待监测防护舱的一段监测视频，也可以是计算机设备对监测视频进行采样获取的图像，在此不做限定。
计算机设备可以通过与待监测防护舱的监测设备连接，获取该监测设备发送的视频帧图像，也可以获取服务器中已经存储的待监测防护舱的视频帧图像，对于上述视频帧图像的获取方式在此不做限定。
计算机设备在获取了多张视频帧图像之后，可以将每张视频帧图像与待监测防护舱的背景图像进行差分处理，获得帧差图像。
其中，上述待监测防护舱的背景图像是指待监测防护舱中固定对象的图像，例如对于自动取款机的防护舱的背景图像是指无人使用的情况下的图像。上述背景图像可以是固定的一张图像，也可以随时间变化的图像，在此不做限定。上述背景图像可以是计算机设备中预设的图像，也可以是基于待监测防护舱的视频帧图像获取的，在此不做限定。
可选地，计算机设备可以将预设数量的历史视频帧图像输入预设的高斯混合模型，提取预设数量的历史视频帧图像的背景图像；然后，将视频帧图像与背景图像进行差分处理，获得帧差图像。例如，计算机设备可以将历史视频帧图像中的第一张图像输入高斯混合模型，获得初始背景图像，进一步地，通过其余历史视频帧图像对初始背景图像进行更新，获得该待监测防护舱的背景图像。上述预设数量的历史视频帧图像可以是多张视频帧图像中的开始部分图像，也可以随视频帧图像滑动变化，例如当计算机设备对第501张视频帧图像进行差分处理时.上述背景图像可以是基于第401张至第500之前的100张视频帧图像获得的。
S102、分别基于每张帧差图像，检测帧差图像对应的视频帧图像的前景对象状态；前景对象状态包括视频帧图像中是否包含人体。
在获得帧差图像的基础上，计算机设备可以对每一张帧差图像进行检测分析，确定该帧差图像对应的视频帧图像的前景对象状态。其中，上述前景对象状态包括视频帧图像中是否包含人体，还可以包括其它状态，在此不做限定。
具体地，计算机设备基于帧差图像检测前景对象状态时，可以通过前景对象轮廓来确定前景对象的状态，也可以对帧差图像中各个像素的值组成的图形区域来确定，在此不做限定。例如，若视频帧图像中不包含人体时，帧差图像的各个像素对应的像素值比较低；而当视频帧图像中包含人体时，帧差图像中应该包含有像素值较高的图形区域，计算机设备可以通过上述像素值较高的图形区域确定该视频帧图像中包含人体。
S103、根据多张视频帧图像的前景对象状态，获取待监测防护舱的监测结果。
其中，上述监测结果可以是指待监测防护舱的进入人次，可以是预设时间段中待监测防护舱的使用率以及空置率，还可以是待监测防护舱总的使用时长，或者待监测防护舱中是否出现异常使用等，对于上述监测结果的类型在此不做限定。
具体地，计算机设备可以根据多张视频帧图像的前景对象状态获取监测结果时，可以按照视频帧图像的顺序，获取前景对象状态随时间的变化。例如，计算机设备可以获知哪一个时间段内防护舱内有人，哪一个时间段内防护舱内没有人，从而可以确定进入防护舱的总的人数，以及防护舱内有人的总时长等。
上述监测方法，计算机设备针对待监测防护舱的多张视频帧图像，分别获取每张视频帧图像与待监测防护舱的背景图像的帧差图像；然后，分别基于每张帧差图像，检测帧差图像对应的视频帧图像的前景对象状态；前景对象状态包括视频帧图像中是否包含人体；最后，根据多张视频帧图像的前景对象状态，获取待监测防护舱的监测结果。由于计算机设备获取待监测防护舱的多张视频帧图像，因此可以对视频帧图像与背景图像的帧差图像进行检测，获得视频帧图像的前景对象状态，而不需要人工获取待监测防护舱的信息；进一步地，计算机设备根据多张视频帧图像的前景对象状态获取监测结果，而不需要人工分析，提升了监测结果的获取效率，同时提升了监测结果的准确度。
图3为另一个实施例中监测方法的流程示意图，本实施例涉及计算机设备获取前景对象状态的一种方式，在上述实施例的基础上，如图3所示，上述S102包括：
S201、基于帧差图像中各个像素的像素值，获取视频帧图像中的前景对象轮廓。
计算机设备基于帧差图像确定视频帧图像的前景对象状态时，可以先基于帧差图像中各个像素的像素值，获取视频帧图像中的前景对象轮廓。上述前景对象轮廓为背景图像的基础上，视频帧中出现的其它对象的轮廓，例如人的轮廓。
具体地，计算机设备可以在整个帧差图像的范围内获取前景对象轮廓，也可以在帧差图像的部分区域内查找前景对象轮廓，在此不做限定。
可选地，计算机设备可以对帧差图像进行二值化处理，获得二值化图像；然后，在二值化图像的检测图形区域内，确定像素值为1的像素连通区域；并根据像素连通区域的边缘确定前景对象轮廓。
上述检测图形区域可以包括第一检测图形区域，第一检测图形区域用于指示人体活动区域，上述前景对象轮廓包括与第一检测图形区域对应的第一轮廓。上述二值化图像中的第一检测图形区域内，像素值为1的像素连通区域即为视频帧图像与背景图像存在差异的区域，计算机设备可以基于该像素连通区域的边缘确定前景对象的轮廓。
计算机设备根据像素连通区域的边缘确定前景对象轮廓时，可以直接将各个像素连通区域的轮廓进行去重合并，形成前景对象轮廓。可选地，计算机设备还可以对像素连通区域进行膨胀处理和/或腐蚀处理，获得目标连通区域；其中，上述膨胀处理为将与连通区域相邻的像素块的值设置为1；上述腐蚀处理为连通区域的像素块的数量小于预设数量阈值的情况下，将连通区域的值设置为0；然后，将目标连通区域的边缘确定为前景对象轮廓。
计算机设备通过对像素连通区域进行膨胀处理和/或腐蚀处理，可以是获得的前景对象轮廓更清晰准确。
S202、根据前景对象轮廓与预设的检测图形区域的重叠区域的大小，确定前景对象状态。
在获得前景对象轮廓的基础上，计算机设备可以获取前景对象轮廓与检测图形区域的重叠区域。例如，当前景对象轮廓为基于整个帧差图像获取时，上述重叠区域可以是前景对象轮廓覆盖区域的一部分；当前景对象轮廓为基于检测图形区域获取时，上述重叠区域也就是前景对象轮廓覆盖的区域。
其中，上述重叠区域的大小可以是重叠区域包含的像素数量，也可以是重叠区域的面积，还可以是重叠区域占检测图形区域的比例，对于上述重叠区域的大小的形式在此不做限定。
具体地，计算机设备可以将重叠区域的大小与预设阈值进行比较，确定前景对象的状态。
可选地，上述检测区域为第一检测区域时，计算机设备可以在第一轮廓与第一检测图形区域的重叠区域的大小大于第一预设阈值时，确定前景对象状态为视频帧图像中包含人体。
上述监测方法，计算机设备获取视频帧图像中的前景对象轮廓，并根据前景对象轮廓与检测图形区域的重叠区域的大小来确定前景对象轮廓，使得计算机设备可以快速准确地获得前景对象轮廓，从而获得准确的前景对象状态，进一步可以基于前景对象状态获得待监测防护舱的监测结果。
在一个实施例中，计算机设备基于帧差图像获得的前景对象状态，还可以包括视频帧图像中防护舱门是否发生移动。
上述检测图形区域还包括第二检测图形区域，其中，第二检测图形区域用于指示防护舱门的区域。计算机设备可以在二值化图像的第二检测图形区域中获取第二轮廓，进一步地，计算机设备可以根据第二轮廓与第二检测图形区域的重叠区域的大小，确定前景对象状态。
可选地，计算机设备可以在第二轮廓与第二检测图形区域的重叠区域的大小大于第二预设阈值时，确定前景对象状态为视频帧图像中防护舱门发生移动。
上述监测方法，计算机设备获取的前景对象状态还包括视频帧图像中防护舱门是否发生移动，使得计算机设备可以根据各个视频帧中是否有人以及防护舱门是否发生移动，共同确定待监测防护舱的监测结果，使得监测结果的内容更丰富。
图4为另一个实施例中监测方法的流程示意图，本实施例涉及计算机设备获取监测结果的一种方式，在上述实施例的基础上，如图4所示，上述S103包括：
S301、根据多张视频帧图像的前景对象状态，确定相邻两次防护舱门发生移动之间防护舱内是否有人。
具体地，计算机设备在获取多张视频帧图像的前景对象状态之后，可以根据前景对象状态为防护舱门发生移动的视频帧图像，确定待监测防护舱门发生移动的各个时刻；进一步地，计算机设备可以确定相邻两次防护舱门发生移动之间，防护舱内是否有人。
计算机设备获取的视频帧图像的前景对象状态中，可以包括视频帧图像是否有人的状态。为了消除视频帧图像的检测可能存在的误差，计算机设备可以根据多张视频帧图像的前景对象状态，来确定相邻两次防护舱门发生移动之间防护舱内是否有人。
具体地，计算机设备可以获取相邻两次防护舱门发生移动之间的视频帧图像集合的第一帧数；然后，根据视频帧图像集合中每张视频帧图像的前景对象状态，确定视频帧图像集合中前景对象状态为包含人体的目标视频帧图像的第二帧数；并根据第一帧数以及第二帧数，确定相邻两次防护舱门发生移动之间防护舱内是否有人。
计算机设备在根据第一帧数以及第二帧数，确定相邻两次防护舱门发生移动之间防护舱内是否有人时，可以根据第一帧数与第二帧数的差值来确定，也可以根据第一帧数与第二帧数的比值来确定，在此不做限定。
可选地，计算机设备可以在第二帧数与第一帧数的比值大于第三预设阈值时，确定相邻两次防护舱门发生移动之间防护舱内有人。
S302、在相邻两次防护舱门发生移动之间防护舱中有人的情况下，根据防护舱门发生移动的时刻之间的时间间隔确定人员滞留时长。
在上述步骤的基础上，计算机设备可以确定哪两次相邻的门移动之间，防护舱内有人，然后计算机设备可以根据门移动的时刻确定人员滞留时长。
具体地，计算机设备可以将防护舱内有人时，对应的前后两次门移动之间的时间间隔确定为该人员的滞留时长。
可选地，计算机设备还可以判断是否连续三次防护舱门移动之间防护舱内均有人，若是，那么计算机设备可以将连续三次防护舱门发生移动的时间间隔之和确定为人员滞留时长。例如，连续三次门移动对应时刻为A、B和C，在A和B之间以及B与C之间，计算机设备均确定防护舱内有人，那么计算机设备认为该人未离开防护舱，可以将A与C之间的时间间隔确定为人员滞留时长。
进一步地，计算机设备可以根据人员滞留时长来确定防护舱内是否出现异常滞留的情况。可选地，若人员滞留时长大于预设时长阈值，则计算机设备可以确定防护舱内出现异常滞留情况。
上述监测方法，计算机设备通过前景对象状态，确定使用防护舱的人员的滞留时长，从而可以根据滞留时长确定防护舱内是否发生异常滞留，达到对防护舱进行及时监控的目的。
应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种监测装置，包括：帧差模块10、检测模块20和获取模块30，其中：
帧差模块10，用于针对待监测防护舱的多张视频帧图像，分别获取每张视频帧图像与待监测防护舱的背景图像的帧差图像；
检测模块20，用于分别基于每张帧差图像，检测帧差图像对应的视频帧图像的前景对象状态；前景对象状态包括视频帧图像中是否包含人体；
获取模块30，用于根据多张视频帧图像的前景对象状态，获取待监测防护舱的监测结果。
本申请实施例提供的监测装置，可以实现上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在一个实施例中，在上述实施例的基础上，如图6所示，上述检测模块20包括：
获取单元201，用于基于帧差图像中各个像素的像素值，获取视频帧图像中的前景对象轮廓；
第一确定单元202，用于根据前景对象轮廓与预设的检测图形区域的重叠区域的大小，确定前景对象状态。
在一个实施例中，在上述实施例的基础上，如图7所示，上述获取单元201包括：
处理子单元2011，用于对帧差图像进行二值化处理，获得二值化图像；
连通子单元2012，用于在二值化图像的检测图形区域内，确定像素值为1的像素连通区域；
第一确定子单元2013，用于根据像素连通区域的边缘确定前景对象轮廓。
在一个实施例中，在上述实施例的基础上，检测图形区域包括第一检测图形区域，第一检测图形区域用于指示人体活动区域，前景对象轮廓包括与第一检测图形区域对应的第一轮廓；上述第一确定单元202具体用于：在第一轮廓与第一检测图形区域的重叠区域的大小大于第一预设阈值时，确定前景对象状态为视频帧图像中包含人体。
在一个实施例中，在上述实施例的基础上，前景对象状态还包括视频帧图像中防护舱门是否发生移动。
在一个实施例中，在上述实施例的基础上，检测图形区域还包括第二检测图形区域，第二检测图形区域用于指示防护舱门的区域；前景对象轮廓还包括与第二检测图形区域对应的第二轮廓；上述第一确定单元202还用于：在第二轮廓与第二检测图形区域的重叠区域的大小大于第二预设阈值时，确定前景对象状态为视频帧图像中防护舱门发生移动。
在一个实施例中，在上述实施例的基础上，如图8所示，获取模块30包括：
第二确定单元301，用于根据多张视频帧图像的前景对象状态，确定相邻两次防护舱门发生移动之间防护舱内是否有人；
第三确定单元302，用于在相邻两次防护舱门发生移动之间防护舱中有人的情况下，根据防护舱门发生移动的时刻之间的时间间隔确定人员滞留时长。
在一个实施例中，在上述实施例的基础上，如图9所示，第二确定单元301包括：
获取子单元3011，用于获取相邻两次防护舱门发生移动之间的视频帧图像集合的第一帧数；
第二确定子单元3012，用于根据视频帧图像集合中每张视频帧图像的前景对象状态，确定视频帧图像集合中前景对象状态为包含人体的目标视频帧图像的第二帧数；
第三确定子单元3013，用于根据第一帧数以及第二帧数，确定相邻两次防护舱门发生移动之间防护舱内是否有人。
在一个实施例中，在上述实施例的基础上，第三确定子单元3013具体用于：若第二帧数与第一帧数的比值大于第三预设阈值，则确定相邻两次防护舱门发生移动之间防护舱内有人。
在一个实施例中，在上述实施例的基础上，第三确定单元302具体用于：若连续三次防护舱门发生移动之间防护舱中均有人，则将连续三次防护舱门发生移动的时间间隔之和确定为人员滞留时长。
在一个实施例中，在上述实施例的基础上，获取模块30还用于：若人员滞留时长大于预设时长阈值，则确定防护舱内出现异常滞留情况。
在一个实施例中，在上述实施例的基础上，如图10所示，上述帧差模块10包括：
输入单元101，用于将预设数量的历史视频帧图像输入预设的高斯混合模型，提取预设数量的历史视频帧图像的背景图像；
帧差单元102，用于将视频帧图像与背景图像进行差分处理，获得帧差图像。
本申请实施例提供的监测装置，可以实现上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
关于监测装置的具体限定可以参见上文中对于监测方法的限定，在此不再赘述。上述监测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储监测数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种监测方法。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
针对待监测防护舱的多张视频帧图像，分别获取每张视频帧图像与待监测防护舱的背景图像的帧差图像；
分别基于每张帧差图像，检测帧差图像对应的视频帧图像的前景对象状态；前景对象状态包括视频帧图像中是否包含人体；
根据多张视频帧图像的前景对象状态，获取待监测防护舱的监测结果。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：基于帧差图像中各个像素的像素值，获取视频帧图像中的前景对象轮廓；根据前景对象轮廓与预设的检测图形区域的重叠区域的大小，确定前景对象状态。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对帧差图像进行二值化处理，获得二值化图像；在二值化图像的检测图形区域内，确定像素值为1的像素连通区域；根据像素连通区域的边缘确定前景对象轮廓。
在一个实施例中，检测图形区域包括第一检测图形区域，第一检测图形区域用于指示人体活动区域，前景对象轮廓包括与第一检测图形区域对应的第一轮廓；处理器执行计算机程序时还实现以下步骤：若第一轮廓与第一检测图形区域的重叠区域的大小大于第一预设阈值，确定前景对象状态为视频帧图像中包含人体。
在一个实施例中，前景对象状态还包括视频帧图像中防护舱门是否发生移动。
在一个实施例中，检测图形区域还包括第二检测图形区域，第二检测图形区域用于指示防护舱门的区域；前景对象轮廓还包括与第二检测图形区域对应的第二轮廓；处理器执行计算机程序时还实现以下步骤：若第二轮廓与第二检测图形区域的重叠区域的大小大于第二预设阈值，确定前景对象状态为视频帧图像中防护舱门发生移动。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据多张视频帧图像的前景对象状态，确定相邻两次防护舱门发生移动之间防护舱内是否有人；在相邻两次防护舱门发生移动之间防护舱中有人的情况下，根据防护舱门发生移动的时刻之间的时间间隔确定人员滞留时长。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取相邻两次防护舱门发生移动之间的视频帧图像集合的第一帧数；根据视频帧图像集合中每张视频帧图像的前景对象状态，确定视频帧图像集合中前景对象状态为包含人体的目标视频帧图像的第二帧数；根据第一帧数以及第二帧数，确定相邻两次防护舱门发生移动之间防护舱内是否有人。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：若第二帧数与第一帧数的比值大于第三预设阈值，则确定相邻两次防护舱门发生移动之间防护舱内有人。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：若连续三次防护舱门发生移动之间防护舱中均有人，则将连续三次防护舱门发生移动的时间间隔之和确定为人员滞留时长。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：若人员滞留时长大于预设时长阈值，则确定防护舱内出现异常滞留情况。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：将预设数量的历史视频帧图像输入预设的高斯混合模型，提取预设数量的历史视频帧图像的背景图像；将视频帧图像与背景图像进行差分处理，获得帧差图像。
本实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
针对待监测防护舱的多张视频帧图像，分别获取每张视频帧图像与待监测防护舱的背景图像的帧差图像；
分别基于每张帧差图像，检测帧差图像对应的视频帧图像的前景对象状态；前景对象状态包括视频帧图像中是否包含人体；
根据多张视频帧图像的前景对象状态，获取待监测防护舱的监测结果。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：基于帧差图像中各个像素的像素值，获取视频帧图像中的前景对象轮廓；根据前景对象轮廓与预设的检测图形区域的重叠区域的大小，确定前景对象状态。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对帧差图像进行二值化处理，获得二值化图像；在二值化图像的检测图形区域内，确定像素值为1的像素连通区域；根据像素连通区域的边缘确定前景对象轮廓。
在一个实施例中，检测图形区域包括第一检测图形区域，第一检测图形区域用于指示人体活动区域，前景对象轮廓包括与第一检测图形区域对应的第一轮廓；计算机程序被处理器执行时还实现以下步骤：若第一轮廓与第一检测图形区域的重叠区域的大小大于第一预设阈值，确定前景对象状态为视频帧图像中包含人体。
在一个实施例中，前景对象状态还包括视频帧图像中防护舱门是否发生移动。
在一个实施例中，检测图形区域还包括第二检测图形区域，第二检测图形区域用于指示防护舱门的区域；前景对象轮廓还包括与第二检测图形区域对应的第二轮廓；计算机程序被处理器执行时还实现以下步骤：若第二轮廓与第二检测图形区域的重叠区域的大小大于第二预设阈值，确定前景对象状态为视频帧图像中防护舱门发生移动。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据多张视频帧图像的前景对象状态，确定相邻两次防护舱门发生移动之间防护舱内是否有人；在相邻两次防护舱门发生移动之间防护舱中有人的情况下，根据防护舱门发生移动的时刻之间的时间间隔确定人员滞留时长。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取相邻两次防护舱门发生移动之间的视频帧图像集合的第一帧数；根据视频帧图像集合中每张视频帧图像的前景对象状态，确定视频帧图像集合中前景对象状态为包含人体的目标视频帧图像的第二帧数；根据第一帧数以及第二帧数，确定相邻两次防护舱门发生移动之间防护舱内是否有人。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：若第二帧数与第一帧数的比值大于第三预设阈值，则确定相邻两次防护舱门发生移动之间防护舱内有人。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：若连续三次防护舱门发生移动之间防护舱中均有人，则将连续三次防护舱门发生移动的时间间隔之和确定为人员滞留时长。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：若人员滞留时长大于预设时长阈值，则确定防护舱内出现异常滞留情况。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将预设数量的历史视频帧图像输入预设的高斯混合模型，提取预设数量的历史视频帧图像的背景图像；将视频帧图像与背景图像进行差分处理，获得帧差图像。
本实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种监测方法，其特征在于，所述方法包括：
针对待监测防护舱的多张视频帧图像，分别获取每张视频帧图像与待监测防护舱的背景图像的帧差图像；
分别基于每张帧差图像，检测所述帧差图像对应的视频帧图像的前景对象状态；所述前景对象状态包括所述视频帧图像中是否包含人体；
根据所述多张视频帧图像的前景对象状态，获取所述待监测防护舱的监测结果。
2.根据权利要求1所述的监测方法，其特征在于，所述基于每张帧差图像，检测所述帧差图像对应的视频帧图像的前景对象状态，包括：
基于所述帧差图像中各个像素的像素值，获取所述视频帧图像中的前景对象轮廓；
根据所述前景对象轮廓与预设的检测图形区域的重叠区域的大小，确定所述前景对象状态。
3.根据权利要求2所述的监测方法，其特征在于，所述基于所述帧差图像中各个像素的像素值，获取所述视频帧图像中的前景对象轮廓，包括：
对所述帧差图像进行二值化处理，获得二值化图像；
在所述二值化图像的所述检测图形区域内，确定像素值为1的像素连通区域；
根据所述像素连通区域的边缘确定所述前景对象轮廓。
4.根据权利要求2所述的监测方法，其特征在于，所述检测图形区域包括第一检测图形区域，所述第一检测图形区域用于指示人体活动区域，所述前景对象轮廓包括所述第一检测图形区域对应的第一轮廓；所述根据所述前景对象轮廓与预设的检测图形区域的重叠区域的大小，确定所述前景对象状态，包括：
若所述第一轮廓与所述第一检测图形区域的重叠区域的大小大于第一预设阈值，确定所述前景对象状态为所述视频帧图像中包含人体。
5.根据权利要求4所述的监测方法，其特征在于，所述前景对象状态还包括所述视频帧图像中所述防护舱门是否发生移动；所述检测图形区域还包括第二检测图形区域，所述第二检测图形区域用于指示所述防护舱门的区域；所述前景对象轮廓还包括与所述第二检测图形区域对应的第二轮廓；所述根据所述前景对象轮廓与预设的检测图形区域的重叠区域的大小，确定所述前景对象状态，还包括：
若所述第二轮廓与所述第二检测图形区域的重叠区域的大小大于第二预设阈值，确定所述前景对象状态为所述视频帧图像中所述防护舱门发生移动。
6.根据权利要求5所述的监测方法，其特征在于，所述根据所述多张视频帧图像的前景对象状态，获取所述待监测防护舱的监测结果，包括：
根据所述多张视频帧图像的前景对象状态，确定相邻两次防护舱门发生移动之间所述防护舱内是否有人；
在相邻两次防护舱门发生移动之间防护舱中有人的情况下，根据所述防护舱门发生移动的时刻之间的时间间隔确定人员滞留时长。
7.根据权利要求6所述的监测方法，其特征在于，所述根据所述多张视频帧图像的前景对象状态，确定相邻两次防护舱门发生移动之间所述防护舱内是否有人，包括：
获取相邻两次防护舱门发生移动之间的视频帧图像集合的第一帧数；
根据所述视频帧图像集合中每张视频帧图像的前景对象状态，确定所述视频帧图像集合中前景对象状态为包含人体的目标视频帧图像的第二帧数；
根据所述第一帧数以及所述第二帧数，确定相邻两次防护舱门发生移动之间所述防护舱内是否有人。
8.根据权利要求7所述的监测方法，其特征在于，所述根据所述第一帧数以及所述第二帧数，确定相邻两次防护舱门发生移动之间所述防护舱内是否有人，包括：
若所述第二帧数与所述第一帧数的比值大于第三预设阈值，则确定相邻两次防护舱门发生移动之间所述防护舱内有人。
9.根据权利要求7或8所述的监测方法，其特征在于，所述根据所述防护舱门发生移动的时刻之间的时间间隔确定人员滞留时长，包括：
若连续三次防护舱门发生移动之间防护舱中均有人，则将所述连续三次防护舱门发生移动的时间间隔之和确定为所述人员滞留时长。
10.一种监测装置，其特征在于，所述装置包括：
帧差模块，用于针对待监测防护舱的多张视频帧图像，分别获取每张视频帧图像与待监测防护舱的背景图像的帧差图像；
检测模块，用于分别基于每张帧差图像，检测所述帧差图像对应的视频帧图像的前景对象状态；所述前景对象状态包括所述视频帧图像中是否包含人体；
获取模块，用于根据所述多张视频帧图像的前景对象状态，获取所述待监测防护舱的监测结果。
11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
CN202010164886.9A 2020-03-11 2020-03-11 监测方法、装置、计算机设备和存储介质 Pending CN111291724A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010164886.9A CN111291724A (zh) 2020-03-11 2020-03-11 监测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010164886.9A CN111291724A (zh) 2020-03-11 2020-03-11 监测方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN111291724A true CN111291724A (zh) 2020-06-16

Family

ID=71020688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010164886.9A Pending CN111291724A (zh) 2020-03-11 2020-03-11 监测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN111291724A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106241533A (zh) * 2016-06-28 2016-12-21 西安特种设备检验检测院 基于机器视觉的电梯乘员综合安全智能监控方法
CN109255330A (zh) * 2018-09-10 2019-01-22 合肥巨清信息科技有限公司 一种基于视频监控的飞机货舱门开启关闭自动检测方法
CN110309795A (zh) * 2019-07-04 2019-10-08 腾讯科技（深圳）有限公司 视频检测方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106241533A (zh) * 2016-06-28 2016-12-21 西安特种设备检验检测院 基于机器视觉的电梯乘员综合安全智能监控方法
CN109255330A (zh) * 2018-09-10 2019-01-22 合肥巨清信息科技有限公司 一种基于视频监控的飞机货舱门开启关闭自动检测方法
CN110309795A (zh) * 2019-07-04 2019-10-08 腾讯科技（深圳）有限公司 视频检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
LU502731B1 (en) Method for monitoring abnormality of power production, apparatus, computer device, and storage medium therefor
CN111667011A (zh) 损伤检测模型训练、车损检测方法、装置、设备及介质
CN110852285A (zh) 对象检测方法、装置、计算机设备和存储介质
CN109712128B (zh) 特征点检测方法、装置、计算机设备和存储介质
CN110751675B (zh) 基于图像识别的城市宠物活动轨迹监测方法及相关设备
CN113705685B (zh) 疾病特征识别模型训练、疾病特征识别方法、装置及设备
CN110619689A (zh) 智慧楼宇的自动签到打卡方法、计算机设备及存储介质
CN113806183B (zh) 应用卡顿处理方法、装置、设备、存储介质和程序产品
CN111797926B (zh) 城际迁徙行为识别方法、装置、计算机设备及存储介质
US11429467B2 (en) Method and system for prediction of correct discrete sensor data based on temporal uncertainty
CN113421241B (zh) 异常事件上报方法、装置、计算机设备及存储介质
CN110796129A (zh) 一种文本行区域检测方法及装置
CN111291724A (zh) 监测方法、装置、计算机设备和存储介质
CN112668398A (zh) 人员行为合规检测方法、装置和电子装置
CN110472788B (zh) 一种人员信息预测方法及装置
US20230029132A1 (en) Information processing system, information processing apparatus, information processing method, and computer program
CN112607542A (zh) 电梯控制方法、装置、计算机设备和存储介质
CN116824311A (zh) 人群分析算法的性能检测方法、装置、设备及存储介质
CN116187700A (zh) 用于建筑工地的任务分派方法、系统、设备及存储介质
CN111179343B (zh) 目标检测方法、装置、计算机设备和存储介质
CN108121942B (zh) 一种指纹识别的方法及装置
FI129933B (en) Management of communication network prediction models
CN115578329A (zh) 屏幕检测方法、装置、计算机设备及可读存储介质
US20210012472A1 (en) Adaptive video subsampling for energy efficient object detection
CN113159032A (zh) 基于目标检测网络的目标跟踪方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200616