CN113111782A - 基于显著对象检测的视频监控方法及装置 - Google Patents

基于显著对象检测的视频监控方法及装置 Download PDF

Info

Publication number
CN113111782A
CN113111782A CN202110398883.6A CN202110398883A CN113111782A CN 113111782 A CN113111782 A CN 113111782A CN 202110398883 A CN202110398883 A CN 202110398883A CN 113111782 A CN113111782 A CN 113111782A
Authority
CN
China
Prior art keywords
image
object detection
data set
salient object
salient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110398883.6A
Other languages
English (en)
Inventor
王乐天
赵旭东
沈雪莲
杨煜坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202110398883.6A priority Critical patent/CN113111782A/zh
Publication of CN113111782A publication Critical patent/CN113111782A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B19/00—Alarms responsive to two or more different undesired or abnormal conditions, e.g. burglary and fire, abnormal temperature and abnormal rate of flow
    • G08B19/005—Alarms responsive to two or more different undesired or abnormal conditions, e.g. burglary and fire, abnormal temperature and abnormal rate of flow combined burglary and fire alarm systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于显著对象检测的视频监控方法及装置，涉及人工智能技术领域，也可用于金融技术领域，该方法包括：获取预设时间段内的目标监控区域的多帧图像；应用预设的显著对象检测模型，从所有帧图像中选取显著程度最高的图像作为关键帧图像；根据预设的图像识别模型和所述关键帧图像，得到所述目标监控区域的监控结果并输出。本申请能够在保证视频监控的准确性的基础上，提高视频监控的效率，进而保证银行的安全。

Description

基于显著对象检测的视频监控方法及装置
技术领域
本申请涉及人工智能技术领域，尤其涉及一种基于显著对象检测的视频监控方法及装置。
背景技术
目前监控系统的应用非常普及，传统监控系统和智能监控系统都在被广泛使用。传统监控系统的主要缺点是：需要耗费大量人力依靠人工进行实时观看，手动调阅。
应用多传感器的智能监控系统在传统监控系统的基础上新增了很多子系统，例如智慧消防系统通常由防火监控子系统，用电安全监控子系统，消防栓检测子系统，视频监控子系统等设备组成。高端智能安防监控系统采用了目标探测设备，红外监控仪，探测机器人，警戒雷达等设备。这类监控系统的主要缺点是：采用多种传感器及设备导致成本较高，不同系统之间数据不互通。
因此，如何在控制成本的情况下，提升监控系统的效能，集成消防和安防等功能，是实现银行安全防范系统数字化，网络化和智能化升级的技术难题。
发明内容
针对现有技术中的问题，本申请提出了一种基于显著对象检测的视频监控方法及装置，能够在保证视频监控的准确性的基础上，提高视频监控的效率，进而能够保证银行的安全。
为了解决上述技术问题，本申请提供以下技术方案：
第一方面，本申请提供一种基于显著对象检测的视频监控方法，包括：
获取预设时间段内的目标监控区域的多帧图像；
应用预设的显著对象检测模型，从所有帧图像中选取显著程度最高的图像作为关键帧图像；
根据预设的图像识别模型和所述关键帧图像，得到所述目标监控区域的监控结果并输出。
进一步地，所述的基于显著对象检测的视频监控方法，还包括：
获取第一训练数据集，该训练数据集包括：多个历史帧图像和其各自对应的显著对象；
应用所述第一训练数据集对所述显著对象检测模型进行训练。
进一步地，所述应用预设的显著对象检测模型，从所有帧图像中选取显著程度最高的图像作为关键帧图像，包括：
应用预设的显著对象检测模型，对图像按照像素点进行二值化，确定每一帧图像的显著像素点个数；
选取包含最多显著像素点的图像作为关键帧图像；
将关键帧图像保存至目标数据库中。
进一步地，所述的基于显著对象检测的视频监控方法，还包括：
获取第二训练数据集，该第二训练数据集包括：多张图像以及每张图像中包含的各对象的类别信息；
应用所述第二训练数据集对卷积神经网络模型进行训练，得到所述图像识别模型。
第二方面，本申请提供一种基于显著对象检测的视频监控装置，包括：
获取模块，用于获取预设时间段内的目标监控区域的多帧图像；
分离模块，用于应用预设的显著对象检测模型，从所有帧图像中选取显著程度最高的图像作为关键帧图像；
监控模块，用于根据预设的图像识别模型和所述关键帧图像，得到所述目标监控区域的监控结果并输出。
进一步地，所述的基于显著对象检测的视频监控装置，还包括：
第一训练数据集获取模块，用于获取第一训练数据集，该训练数据集包括：多个历史帧图像和其各自对应的显著对象；
第一训练模块，用于应用所述第一训练数据集对所述显著对象检测模型进行训练。
进一步地，所述分离模块，包括：
二值化模块，用于应用预设的显著对象检测模型，对图像按照像素点进行二值化，确定每一帧图像的显著像素点个数；
选取模块，用于选取包含最多显著像素点的图像作为关键帧图像；
存储模块，用于将关键帧图像保存至目标数据库中。
进一步地，所述的基于显著对象检测的视频监控装置，还包括：
第二训练数据集获取模块，用于获取第二训练数据集，该第二训练数据集包括：多张图像以及每张图像中包含的各对象的类别信息；
第二训练模块，用于应用所述第二训练数据集对卷积神经网络模型进行训练，得到所述图像识别模型。
第三方面，本申请提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的基于显著对象检测的视频监控方法。
第四方面，本申请提供一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现所述的基于显著对象检测的视频监控方法。
由上述技术方案可知，本申请提供一种基于显著对象检测的视频监控方法及装置。其中，该方法包括：获取预设时间段内的目标监控区域的多帧图像；应用预设的显著对象检测模型，从所有帧图像中选取显著程度最高的图像作为关键帧图像；根据预设的图像识别模型和所述关键帧图像，得到所述目标监控区域的监控结果并输出，能够在保证视频监控的准确性的基础上，提高视频监控的效率，进而能够保证银行的安全；具体地，使用的显著对象检测算法具有参数量小，速度快的优点，能够实时处理视频并提取关键帧；图像识别模型只需处理关键帧，可采用性能更好的识别算法；仅应用摄像头就可以实现入侵检测，火灾检测等多种功能；对存储容量要求低，仅需保存关键帧，能够减少存储压力；以较低成本提升视频监控的智能化程度，减轻工作人员劳动强度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例中基于显著对象检测的视频监控方法的流程示意图；
图2是本申请实施例中多尺度融合模块的逻辑示意图；
图3是本申请实施例中显著对象检测模型的逻辑示意图；
图4是本申请实施例中视频监控装置的结构示意图；
图5是本申请应用实例中视频监控装置的结构示意图；
图6为本申请实施例的电子设备的系统构成示意框图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
基于深度学习模型的智能监控系统往往受制于模型性能和实时性的矛盾。一般的，网络越深，模型的性能越好，但是参数量的提升减缓了处理视频的速度。为了满足处理视频的实时性，不得不适当降低模型性能。这类监控系统的缺点是：受制于硬件和时间要求，需要在模型性能和实时性之间取得一个平衡。
人类视觉系统拥有一种重要的机制来处理视觉信息，对感兴趣区域进行定位，即视觉注意力机制。通过人眼观察生活场景时，视觉系统总会下意识地引导眼球转动，选择与当前行为相关的感兴趣的区域进行优先处理，这一过程就是视觉注意力机制的体现。人类视觉系统能够大大地减少输入的视觉数据量，将不同场景中的区域分别进行加工，提取出前景和背景，从而减少了大脑计算消耗。显著对象检测算法，就是计算图像中各个部分吸引人们视觉注意的程度，让现有计算机能在一定程度上模拟人类视觉注意力机制，以便高效处理图像信息。利用显著对象检测技术，仅需凭借摄像头就可以对银行内部火灾，人员入侵等情况进行提前检测，进行更精准的预警。
基于此，为了在保证视频监控的准确性的基础上，提高视频监控的效率，进而保证银行的安全，本申请实施例提供一种基于显著对象检测的视频监控装置，该装置可以是一服务器或客户端设备，所述客户端设备可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备和智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表和智能手环等。
在实际应用中，进行基于显著对象检测的视频监控的部分可以在如上述内容所述的服务器侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器。
上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。
所述服务器与所述客户端设备之间可以使用任何合适的网络协议进行通信，包括在本申请提交日尚未开发出的网络协议。所述网络协议例如可以包括TCP/IP协议、UDP/IP协议、HTTP协议、HTTPS协议等。当然，所述网络协议例如还可以包括在上述协议之上使用的RPC协议(Remote Procedure Call Protocol，远程过程调用协议)、REST协议(Representational State Transfer，表述性状态转移协议)等。
需要说明的是，本申请公开的基于显著对象检测的视频监控方法及装置可用于生物识别及金融技术领域，也可用于除生物识别及金融技术领域之外的任意领域，本申请公开的基于显著对象检测的视频监控方法及装置的应用领域不做限定。
具体通过下述各个实施例进行说明。
为了在保证视频监控的准确性的基础上，提高视频监控的效率，进而保证银行的安全，本实施例提供一种执行主体是基于显著对象检测的视频监控装置的基于显著对象检测的视频监控方法，该基于显著对象检测的视频监控装置包括但不限于服务器，如图1所示，该方法具体包含有如下内容：
步骤100：获取预设时间段内的目标监控区域的多帧图像。
具体地，所述目标监控区域可以为摄像头能够采集到视频图像的区域，例如，银行金库内的区域。所述预设时间段可根据实际需要进行设置，本申请对此不作限制；例如，获取每秒钟采集的多帧图像。
步骤200：应用预设的显著对象检测模型，从所有帧图像中选取显著程度最高的图像作为关键帧图像。
具体地，所述显著对象可以是火焰，烟雾和行人等对象信息。
步骤300：根据预设的图像识别模型和所述关键帧图像，得到所述目标监控区域的监控结果并输出。
具体地，所述监控结果可以包含有：是否异常、异常原因和异常位置等信息。
其中，可以获取当前帧图像，所述当前帧图像表示为第n帧图像；使用显著对象检测算法，计算图像显著程度，从所述第n帧图像中分离出显著对象；从每秒钟获取的多帧图像中选取显著程度最高的图像作为关键帧图像，并保存；使用图像识别算法对关键帧图像中显著对象进行分析，得到分析结果；根据分析结果发出对应的警告信息并向相关人员进行展示。
为了进一步提高确定显著对象检测模型的可靠性，在本申请一个实施例中，在步骤200之前，还包括：
步骤021：获取第一训练数据集，该训练数据集包括：多个历史帧图像和其各自对应的显著对象。
步骤022：应用所述第一训练数据集对所述显著对象检测模型进行训练。
具体地，步骤022可以包含有：
步骤1：使用预训练残差网络模块预先学习特征，提升训练速度。
卷积神经网络主要由卷积层、池化层、激活函数层和全连接层组成，卷积层负责使用卷积核进行卷积操作提取数据的特征。池化层对输入数据进行压缩信息量操作，减少了参数量。激活函数层增加了整个网络的拟合复杂非线性情况的能力。全连接层将输入数据映射为不同的类别，输出网络的预测值。残差网络用近路连接的方式，将前部层通过恒等映射转移到后部层，相当于浅层网络加恒等映射函数，这样就只需要学习残差函数，对于层数深的网络也不需要增加额外的计算负担，常用于图像处理等任务。
ResNet50残差模块先用第一个1×1卷积将输入的256维度降低到64维，第三个1×1卷积又将维度升到256维，目的是降低网络参数量。为了预先学习图像特征，减少训练网络所需时间，本申请使用经过大量数据集预训练后的参数作为网络的初始参数。
步骤2：通过多尺度融合模块结合不同层次的特征，迫使神经网络中的神经元参数有更大的变化幅度。
图2是多尺度融合模块的逻辑示意图，其中，1×1、1×3、3×1、3×3、1×5、5×1、1×7和7×1所在的方框分别表示卷积层，y1至y4分别表示输出，跳连接可以重复利用前一层的特征，提升梯度反向传播能力，前面层可以通过较短的距离从损失函数接受额外的监督，使得网络更容易训练。为增大感受野，本实施例采用了四个不同尺度的非对称卷积核，非对称卷积的效果可以逼近正方形卷积，同时参数量大为减少。并且正方形卷积核中的全部参数并不是具有相同重要性的，在中央交叉位置上的参数会更加重要，而在边角的参数重要性相对较弱。使用水平和竖直的一维卷积可以强化中央交叉位置的参数。
步骤3：通过分解视觉特征，学习语义维度的高维空间特征向量。
图像的质量可以由多种维度来判断，其中偏向于考虑人类视觉感知的是亮度特征，对比度特征和结构特征。
亮度特征可以表示为：
Figure BDA0003019525190000071
对比度特征可表示为：
Figure BDA0003019525190000072
结构特征可表示为：
Figure BDA0003019525190000073
本申请引入了综合三种特征的结构相似度：
Figure BDA0003019525190000074
其中μx是x的平均值，μy是y的平均值，
Figure BDA0003019525190000075
是x的方差，
Figure BDA0003019525190000076
是y的方差，c1，c2，c3是常数，为了避免分母为0。
为了使显著对象更加精确，本实施例还可以采用交并比损失函数，其常用于目标检测中，用来衡量检测框的精确程度，可比较预测的对象和真实的对象之间的重合程度，惩罚错误的边界。交并比损失函数表示如下：
Figure BDA0003019525190000077
模型的目标函数定义为结构相似度损失函数和交并比损失函数之和，显著对象检测模型的处理逻辑可以如图3所示，Conv1至Conv6分别表示不同的卷积层。
为了进一步提高确定关键帧的可靠性，在本申请一个实施例中，步骤200包括：
步骤201：应用预设的显著对象检测模型，对图像依像素点进行二值化，确定每一帧图像的显著像素点个数。
具体地，显著像素点可以是灰度值为0的像素点。
步骤202：选取包含最多显著像素点的图像作为关键帧图像。
步骤203：将关键帧图像保存至目标数据库中。
具体地，所述目标数据库可以是基于显著对象检测的视频监控装置本地的数据库；可以应用显著对象检测算法将图像依像素点进行二值化；计算每一帧图像的显著像素点个数，选取包含最多显著像素点的图像作为关键帧图像；然后将关键帧图像保存至数据库中。
为了进一步提高图像识别模型的可靠性，在本申请一个实施例中，在步骤300之前还包括：
步骤031：获取第二训练数据集，该第二训练数据集包括：多张图像以及每张图像中包含的各对象的类别信息；
步骤032：应用所述第二训练数据集对卷积神经网络模型进行训练，得到所述图像识别模型。
具体地，可以获取训练图像数据集。其中，所述数据集包括火焰，烟雾，行人等多种数据样本；标注样本数据集中每张图像包含各种对象的类别。使用训练图像数据集进行训练得到基于卷积神经网络的图像识别模型；入侵检测：在关键帧图像中勾勒出不可通行区域，计算不可通行区域与识别出的行人的相交面积，只有相交面积大于事先设定的最小值时，才判定进行了有效的入侵，否则认为不是有效入侵；火灾检测：在关键帧图像中识别出明火和烟雾后，启动火灾警报。
从软件层面来说，为了在保证视频监控的准确性的基础上，提高视频监控的效率，本申请提供一种用于实现所述基于显著对象检测的视频监控方法中全部或部分内容的视频监控装置的实施例，参见图4，所述视频监控装置具体包含有如下内容：
获取模块10，用于获取预设时间段内的目标监控区域的多帧图像。
分离模块20，用于应用预设的显著对象检测模型，从所有帧图像中选取显著程度最高的图像作为关键帧图像。
监控模块30，用于根据预设的图像识别模型和所述关键帧图像，得到所述目标监控区域的监控结果并输出。
在本申请一个实施例中，所述的基于显著对象检测的视频监控装置，还包括：
第一训练数据集获取模块，用于获取第一训练数据集，该训练数据集包括：多个历史帧图像和其各自对应的显著对象。
第一训练模块，用于应用所述第一训练数据集对所述显著对象检测模型进行训练。
在本申请一个实施例中，所述分离模块，包括：
二值化模块，用于应用预设的显著对象检测模型，对图像依像素点进行二值化，确定每一帧图像的显著像素点个数。
选取模块，用于选取包含最多显著像素点的图像作为关键帧图像。
存储模块，用于将关键帧图像保存至目标数据库中。
在本申请一个实施例中，所述的基于显著对象检测的视频监控装置，还包括：
第二训练数据集获取模块，用于获取第二训练数据集，该第二训练数据集包括：多张图像以及每张图像中包含的各对象的类别信息。
第二训练模块，用于应用所述第二训练数据集对卷积神经网络模型进行训练，得到所述图像识别模型。
本说明书提供的基于显著对象检测的视频监控装置的实施例具体可以用于执行上述基于显著对象检测的视频监控方法的实施例的处理流程，其功能在此不再赘述，可以参照上述基于显著对象检测的视频监控方法实施例的详细描述。
为了进一步说明本方案，本申请提供一种基于显著对象检测的视频监控装置的应用实例，如图5所示，该装置包括：
数据传输模块，用于传输视频数据。
关键帧提取模块，用于处理监控视频，捕捉监控视频的关键帧。
存储模块，用于将关键帧进行存储，以输入图像识别模块。
图像识别模块，用于根据关键帧信息对视频进行解析。
报警模块，用于根据识别结果发出报警信号。
由上述描述可知，本申请提供的基于显著对象检测的视频监控方法及装置，能够在保证视频监控的准确性的基础上，提高视频监控的效率，进而能够保证银行的安全；具体地，使用的显著对象检测算法具有参数量小，速度快的优点，能够实时处理视频并提取关键帧；图像识别模型只需处理关键帧，可采用性能更好的识别算法；仅应用摄像头就可以实现入侵检测，火灾检测等多种功能；对存储容量要求低，仅需保存关键帧，能够减少存储压力。
从硬件层面来说，为了在保证视频监控的准确性的基础上，提高视频监控的效率，进而保证银行的安全，本申请提供一种用于实现所述基于显著对象检测的视频监控方法中的全部或部分内容的电子设备的实施例所述电子设备具体包含有如下内容：
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现所述基于显著对象检测的视频监控装置以及用户终端等相关设备之间的信息传输；该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该电子设备可以参照实施例用于实现所述基于显著对象检测的视频监控方法的实施例及用于实现所述基于显著对象检测的视频监控装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
图6为本申请实施例的电子设备9600的系统构成的示意框图。如图6所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图6是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
在本申请一个或多个实施例中，基于显著对象检测的视频监控功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：
步骤100：获取预设时间段内的目标监控区域的多帧图像；
步骤200：应用预设的显著对象检测模型，从所有帧图像中选取显著程度最高的图像作为关键帧图像；
步骤300：根据预设的图像识别模型和所述关键帧图像，得到所述目标监控区域的监控结果并输出。
从上述描述可知，本申请的实施例提供的电子设备，能够在保证视频监控的准确性的基础上，提高视频监控的效率，进而保证银行的安全。
在另一个实施方式中，基于显著对象检测的视频监控装置可以与中央处理器9100分开配置，例如可以将基于显著对象检测的视频监控装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现基于显著对象检测的视频监控功能。
如图6所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图6中所示的所有部件；此外，电子设备9600还可以包括图6中没有示出的部件，可以参考现有技术。
如图6所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
上述描述可知，本申请的实施例提供的电子设备，能够在保证视频监控的准确性的基础上，提高视频监控的效率，进而保证银行的安全。
本申请的实施例还提供能够实现上述实施例中的基于显著对象检测的视频监控方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的基于显著对象检测的视频监控方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：
步骤100：获取预设时间段内的目标监控区域的多帧图像；
步骤200：应用预设的显著对象检测模型，从所有帧图像中选取显著程度最高的图像作为关键帧图像；
步骤300：根据预设的图像识别模型和所述关键帧图像，得到所述目标监控区域的监控结果并输出。
从上述描述可知，本申请实施例提供的计算机可读存储介质，能够在保证视频监控的准确性的基础上，提高视频监控的效率，进而保证银行的安全。
本申请中上述方法的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。相关之处参见方法实施例的部分说明即可。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本申请中应用了具体实施例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种基于显著对象检测的视频监控方法，其特征在于，包括：
获取预设时间段内的目标监控区域的多帧图像；
应用预设的显著对象检测模型，从所有帧图像中选取显著程度最高的图像作为关键帧图像；
根据预设的图像识别模型和所述关键帧图像，得到所述目标监控区域的监控结果并输出。
2.根据权利要求1所述的基于显著对象检测的视频监控方法，其特征在于，还包括：
获取第一训练数据集，该训练数据集包括：多个历史帧图像和其各自对应的显著对象；
应用所述第一训练数据集对所述显著对象检测模型进行训练。
3.根据权利要求1所述的基于显著对象检测的视频监控方法，其特征在于，所述应用预设的显著对象检测模型，从所有帧图像中选取显著程度最高的图像作为关键帧图像，包括：
应用预设的显著对象检测模型，对图像依像素点进行二值化，确定每一帧图像的显著像素点个数；
选取包含最多显著像素点的图像作为关键帧图像；
将关键帧图像保存至目标数据库中。
4.根据权利要求1所述的基于显著对象检测的视频监控方法，其特征在于，还包括：
获取第二训练数据集，该第二训练数据集包括：多张图像以及每张图像中包含的各对象的类别信息；
应用所述第二训练数据集对卷积神经网络模型进行训练，得到所述图像识别模型。
5.一种基于显著对象检测的视频监控装置，其特征在于，包括：
获取模块，用于获取预设时间段内的目标监控区域的多帧图像；
分离模块，用于应用预设的显著对象检测模型，从所有帧图像中选取显著程度最高的图像作为关键帧图像；
监控模块，用于根据预设的图像识别模型和所述关键帧图像，得到所述目标监控区域的监控结果并输出。
6.根据权利要求5所述的基于显著对象检测的视频监控装置，其特征在于，还包括：
第一训练数据集获取模块，用于获取第一训练数据集，该训练数据集包括：多个历史帧图像和其各自对应的显著对象；
第一训练模块，用于应用所述第一训练数据集对所述显著对象检测模型进行训练。
7.根据权利要求5所述的基于显著对象检测的视频监控装置，其特征在于，所述分离模块，包括：
二值化模块，用于应用预设的显著对象检测模型，对图像依像素点进行二值化，确定每一帧图像的显著像素点个数；
选取模块，用于选取包含最多显著像素点的图像作为关键帧图像；
存储模块，用于将关键帧图像保存至目标数据库中。
8.根据权利要求5所述的基于显著对象检测的视频监控装置，其特征在于，还包括：
第二训练数据集获取模块，用于获取第二训练数据集，该第二训练数据集包括：多张图像以及每张图像中包含的各对象的类别信息；
第二训练模块，用于应用所述第二训练数据集对卷积神经网络模型进行训练，得到所述图像识别模型。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至4任一项所述的基于显著对象检测的视频监控方法。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被执行时实现权利要求1至4任一项所述的基于显著对象检测的视频监控方法。
CN202110398883.6A 2021-04-14 2021-04-14 基于显著对象检测的视频监控方法及装置 Pending CN113111782A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110398883.6A CN113111782A (zh) 2021-04-14 2021-04-14 基于显著对象检测的视频监控方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110398883.6A CN113111782A (zh) 2021-04-14 2021-04-14 基于显著对象检测的视频监控方法及装置

Publications (1)

Publication Number Publication Date
CN113111782A true CN113111782A (zh) 2021-07-13

Family

ID=76716611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110398883.6A Pending CN113111782A (zh) 2021-04-14 2021-04-14 基于显著对象检测的视频监控方法及装置

Country Status (1)

Country Link
CN (1) CN113111782A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923398A (zh) * 2021-09-30 2022-01-11 中国工商银行股份有限公司 一种视频会议实现方法及装置
CN114973057A (zh) * 2022-04-08 2022-08-30 平安国际智慧城市科技股份有限公司 基于人工智能的视频图像检测方法及相关设备
CN116189063A (zh) * 2023-04-24 2023-05-30 青岛润邦泽业信息技术有限公司 一种用于智能视频监控的关键帧优化方法及装置
CN116580360A (zh) * 2023-05-21 2023-08-11 江苏研嘉科技有限公司 一种用于安防监控的图像数据处理方法及系统
WO2023245833A1 (zh) * 2022-06-22 2023-12-28 清华大学 基于边缘计算的场景监控方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109068150A (zh) * 2018-08-07 2018-12-21 深圳市创梦天地科技有限公司 一种视频的精彩画面提取方法、终端及计算机可读介质
CN109409384A (zh) * 2018-09-30 2019-03-01 内蒙古科技大学 基于细粒度图像的图像识别方法、装置、介质及设备
CN110287876A (zh) * 2019-06-25 2019-09-27 黑龙江电力调度实业有限公司 一种基于视频图像的内容识别方法
CN110378264A (zh) * 2019-07-08 2019-10-25 Oppo广东移动通信有限公司 目标跟踪方法及装置
CN112270247A (zh) * 2020-10-23 2021-01-26 杭州卷积云科技有限公司 基于帧间差分和颜色直方图差值的关键帧提取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109068150A (zh) * 2018-08-07 2018-12-21 深圳市创梦天地科技有限公司 一种视频的精彩画面提取方法、终端及计算机可读介质
CN109409384A (zh) * 2018-09-30 2019-03-01 内蒙古科技大学 基于细粒度图像的图像识别方法、装置、介质及设备
CN110287876A (zh) * 2019-06-25 2019-09-27 黑龙江电力调度实业有限公司 一种基于视频图像的内容识别方法
CN110378264A (zh) * 2019-07-08 2019-10-25 Oppo广东移动通信有限公司 目标跟踪方法及装置
CN112270247A (zh) * 2020-10-23 2021-01-26 杭州卷积云科技有限公司 基于帧间差分和颜色直方图差值的关键帧提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王乐天: "基于卷积神经网络的图像显著对象检测技术研究及应用", 中国优秀硕士学位论文全文数据库信息科技辑, 15 July 2020 (2020-07-15), pages 19 - 45 *
谭暑秋等: "教室监控下学生异常行为检测系统", 计算机工程与应用, 22 February 2021 (2021-02-22), pages 177 - 184 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923398A (zh) * 2021-09-30 2022-01-11 中国工商银行股份有限公司 一种视频会议实现方法及装置
CN114973057A (zh) * 2022-04-08 2022-08-30 平安国际智慧城市科技股份有限公司 基于人工智能的视频图像检测方法及相关设备
CN114973057B (zh) * 2022-04-08 2024-07-05 平安国际智慧城市科技股份有限公司 基于人工智能的视频图像检测方法及相关设备
WO2023245833A1 (zh) * 2022-06-22 2023-12-28 清华大学 基于边缘计算的场景监控方法、装置、设备及存储介质
CN116189063A (zh) * 2023-04-24 2023-05-30 青岛润邦泽业信息技术有限公司 一种用于智能视频监控的关键帧优化方法及装置
CN116189063B (zh) * 2023-04-24 2023-07-18 青岛润邦泽业信息技术有限公司 一种用于智能视频监控的关键帧优化方法及装置
CN116580360A (zh) * 2023-05-21 2023-08-11 江苏研嘉科技有限公司 一种用于安防监控的图像数据处理方法及系统
CN116580360B (zh) * 2023-05-21 2024-02-27 江苏研嘉科技有限公司 一种用于安防监控的图像数据处理方法及系统

Similar Documents

Publication Publication Date Title
US11735018B2 (en) Security system with face recognition
CN113111782A (zh) 基于显著对象检测的视频监控方法及装置
US20190304102A1 (en) Memory efficient blob based object classification in video analytics
US20200265239A1 (en) Method and apparatus for processing video stream
US11295139B2 (en) Human presence detection in edge devices
TWI754887B (zh) 活體檢測方法和裝置、電子設備及儲存介質
CN108229376B (zh) 用于检测眨眼的方法及装置
CN110889334A (zh) 人员闯入识别方法及装置
CN111325319B (zh) 一种神经网络模型的检测方法、装置、设备及存储介质
US11087140B2 (en) Information generating method and apparatus applied to terminal device
CN113395542A (zh) 基于人工智能的视频生成方法、装置、计算机设备及介质
CN110956122A (zh) 图像处理方法及装置、处理器、电子设备、存储介质
CN111444826A (zh) 视频检测方法、装置、存储介质及计算机设备
CN114550053A (zh) 一种交通事故定责方法、装置、计算机设备及存储介质
CN111783674A (zh) 一种基于ar眼镜的人脸识别方法和系统
CN113850109A (zh) 一种基于注意力机制和自然语言处理的视频图像告警方法
WO2023279799A1 (zh) 对象识别方法、装置和电子系统
CN112749686B (zh) 图像检测方法、装置、计算机设备及存储介质
CN114051116A (zh) 一种驾考车辆的视频监控方法、装置以及系统
CN116342940A (zh) 图像审批方法、装置、介质及设备
CN115147818A (zh) 玩手机行为识别方法及装置
CN110619734A (zh) 信息推送方法和装置
KR101570870B1 (ko) 안구 인식 기반의 동영상 시청확인에 의한 동영상 난이도 추정 시스템
CN116416656B (zh) 基于屏下图像的图像处理方法、装置及存储介质
CN114625456B (zh) 目标图像显示方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination