CN111126107A - 一种信息确定方法、装置及电子设备 - Google Patents

一种信息确定方法、装置及电子设备 Download PDF

Info

Publication number
CN111126107A
CN111126107A CN201811286203.6A CN201811286203A CN111126107A CN 111126107 A CN111126107 A CN 111126107A CN 201811286203 A CN201811286203 A CN 201811286203A CN 111126107 A CN111126107 A CN 111126107A
Authority
CN
China
Prior art keywords
target
category
dimension
space
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811286203.6A
Other languages
English (en)
Inventor
杨喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201811286203.6A priority Critical patent/CN111126107A/zh
Publication of CN111126107A publication Critical patent/CN111126107A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种信息确定方法、装置及电子设备。所述方法包括：获取第一目标对应的视频帧序列，视频帧序列包含连续至少两帧场景图像，每帧场景图像中均包含第一目标；基于视频帧序列，确定第一目标的时空维度特征，其中，第一目标的时空维度特征用于表征第一目标在连续至少两个时刻的图像特征，不同类别的目标对应不同的时空维度特征；根据预设的时空维度特征与目标的类别的对应关系，确定第一目标的时空维度特征对应的类别，将所确定的类别作为第一目标的类别。通过本发明实施例提供的技术方案，可以使得所确定的目标的类别的准确率提高。

Description

一种信息确定方法、装置及电子设备
技术领域
本发明涉及视频监控技术领域，特别是涉及一种信息确定方法、装置及电子设备。
背景技术
随着社会的不断进步，监控设备的应用范围越来越广，例如，监控设备可以应用到街道、商场等公共场所，以便用户能及时发现公共场存在异常目标。
为了确定监控场景中是否存在异常目标，需要确定监控场景中存在的各个目标的类别。相关技术中确定目标的类别的过程为：获取一帧场景图像，利用目标检测器检测该帧场景图像中的目标，并利用目标分类器对所检测到的目标进行分类，以确定目标的类别。
尽管上述方法能够确定目标的类别，但是由于以单帧场景图像作为类别识别的依据，导致关于目标的可用的信息量较少，并且，受限于目标检测器的检测精准度，因此，上述实现类别确定的方法，具有准确率较低的问题。
发明内容
本发明实施例的目的在于提供信息确定方法、装置及电子设备，以使得所确定的目标的类别的准确率提高。具体技术方案如下：
第一方面，本发明实施例提供了一种信息确定方法，所述方法包括：
获取第一目标对应的视频帧序列，所述视频帧序列包含连续至少两帧场景图像，每帧场景图像中均包含所述第一目标；
基于所述视频帧序列，确定所述第一目标的时空维度特征，其中，所述第一目标的时空维度特征用于表征所述第一目标在连续至少两个时刻的图像特征，不同类别的目标对应不同的时空维度特征；
根据预设的时空维度特征与目标的类别的对应关系，确定所述第一目标的时空维度特征对应的类别，将所确定的类别作为所述第一目标的类别。
可选的，所述基于所述视频帧序列，确定所述第一目标的时空维度特征的步骤，包括：
将所述视频帧序列输入到预先训练的神经网络中，得到所述第一目标的时空维度特征；
其中，所述神经网络基于样本序列和所述样本序列所包含样本目标对应的类别训练得到，所述样本序列包含连续至少两帧样本图像，所述连续至少两帧样本图像中包含同一样本目标。
可选的，所述神经网络利用所述视频帧序列确定所述第一目标的时空维度特征的过程，包括：
利用第一类卷积核对所述视频帧序列中每帧场景图像进行空间维度卷积，得到所述第一目标的多个空间维度特征，所述空间维度卷积为对各帧场景图像中的每帧场景图像执行滑窗操作；
利用第二类卷积核对所得到的多个空间维度特征进行时间维度卷积，得到所述第一目标的时空维度特征，所述时间维度卷积为对多个时间维度上相邻的空间维度特征中处于相同空间位置的空间维度特征执行卷积操作。
可选的，在所述获取第一目标对应的视频帧序列的步骤之前，所述方法还包括：
当检测到场景中出现所述第一目标时，判断所述第一目标是否触发异常规则，如果是执行所述获取第一目标对应的视频帧序列的步骤。
可选的，在所述根据预设的时空维度特征与类别的对应关系，确定所述第一目标的时空维度特征对应的类别，将所确定的类别作为所述第一目标的类别的步骤之后，所述方法还包括：
判断所述第一目标的类别是否为预设的异常目标的类别；
若为是，将所述第一目标确定为异常目标。
第二方面，本发明实施例提供了一种信息确定装置，所述装置包括：
视频帧序列获取模块，用于获取第一目标对应的视频帧序列，所述视频帧序列包含连续至少两帧场景图像，每帧场景图像中均包含所述第一目标；
时空维度特征确定模块，用于基于所述视频帧序列，确定所述第一目标的时空维度特征，其中，所述第一目标的时空维度特征用于表征所述第一目标在连续至少两个时刻的图像特征，不同类别的目标对应不同的时空维度特征；
目标类别确定模块，用于根据预设的时空维度特征与目标的类别的对应关系，确定所述第一目标的时空维度特征对应的类别，将所确定的类别作为所述第一目标的类别。
可选的，所述时空维度特征确定模块，包括：
时空维度特征确定单元，用于将所述视频帧序列输入到预先训练的神经网络中，得到所述第一目标的时空维度特征；
其中，所述神经网络基于样本序列和所述样本序列所包含样本目标对应的类别训练得到，所述样本序列包含连续至少两帧样本图像，所述连续至少两帧样本图像中包含同一样本目标。
可选的，所述神经网络利用所述视频帧序列确定所述第一目标的时空维度特征的过程，包括：
利用第一类卷积核对所述视频帧序列中每帧场景图像进行空间维度卷积，得到所述第一目标的多个空间维度特征，所述空间维度卷积为对各帧场景图像中的每帧场景图像执行滑窗操作；
利用第二类卷积核对所得到的多个空间维度特征进行时间维度卷积，得到所述第一目标的时空维度特征，所述时间维度卷积为对多个时间维度上相邻的空间维度特征中处于相同空间位置的空间维度特征执行卷积操作。
可选的，所述装置还包括：
目标判断模块，用于在所述视频帧序列获取模块获取第一目标对应的视频帧序列的步骤之前，当检测到场景中出现所述第一目标时，判断所述第一目标是否触发异常规则，如果是执行所述获取第一目标对应的视频帧序列的步骤。
可选的，所述装置还包括：
异常目标判断模块，用于在所述目标类别确定模块确定了第一目标的类别之后，判断所述第一目标的类别是否为预设的异常目标的类别；
异常目标确定模块，用于在异常目标判断模块判断所述第一目标的类别为预设的异常目标的类别后，将所述第一目标确定为异常目标。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面所述的信息确定方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的信息确定方法。
本发明实施例提供的技术方案，由于视频帧序列包含连续至少两帧场景图像，因此，视频帧序列中所包含关于目标的可用的信息量较多；而且，在确定第一目标的类别时，基于视频帧序列，来确定第一目标的时空维度特征，并将第一目标的时空维度特征对应的类别确定为第一目标的类别，且第一目标的目标维度特征可以用于表征第一目标在连续至少两个时刻的图像特征。可见，本方案中，在确定目标的类别时，以视频帧序列作为类别识别依据，关于目标的可用的信息量较多，且通过目标的时空维度特征来确定目标的类别，而不像现有的方式那样受限于目标检测器的检测精度，从而使得所确定的目标的类别的准确率提高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种信息确定方法的流程图；
图2为本发明实施例所提供的一种神经网络利用视频帧序列确定第一目标的时空维度特征的示意图；
图3为本发明实施例所提供的另一种信息确定方法的流程图；
图4为本发明实施例所提供的一种信息确定装置的示意图；
图5为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了使得所确定的目标的类别的准确率提高，本发明实施例提供了一种信息确定方法、装置及电子设备。
第一方面，下面首先对本发明实施例所提供的一种信息确定方法进行介绍。
需要说明的是，本发明实施例所提供的一种信息确定方法的执行主体可以为一种信息确定装置，该信息确定装置可以运行于电子设备中，该电子设备可以为视频监控设备，还可以为与视频监控设备通信的后台服务器，这都是合理的。
如图1所示，本发明实施例所提供的一种信息确定方法，可以包括如下步骤：
S110，获取第一目标对应的视频帧序列。
该视频帧序列包含连续至少两帧场景图像，每帧场景图像中均包含第一目标。
其中，第一目标可以为场景中出现的任一目标，该第一目标可以为人、车、树叶等。
当视频监控设备检测到场景中出现第一目标时，视频监控设备可以采集包含第一目标的场景图像。为了使得后续步骤中，在确定第一目标的类别时，关于第一目标的可用的信息量增多，视频监控设备可以采集连续至少两帧场景图像，每帧场景图像中均包含第一目标，连续至少两帧场景图像组成第一目标对应的视频帧序列，即视频监控设备可以获取到第一目标对应的视频帧序列。
视频监控设备获取到第一目标对应的视频帧序列后，可以执行本发明实施例提供的信息确定方法；当然，视频监控设备还可以将第一目标对应的视频帧序列发送至与其通信连接的后台服务器，后台服务器获取到第一目标对应的视频帧序列后，可以执行本发明实施例提供的信息确定方法。
可以理解的是，场景中可能有多个目标。有些目标触发了异常规则，另一些目标没有触发异常规则。电子设备可以确定触发异常规则的目标的类别，而不去识别没有触发异常规则的目标的类别。
为了防止电子设备因确定没有触发异常规则的目标的类别而造成电子设备的功耗增加，在一种实施方式中，在获取第一目标对应的视频帧序列的步骤之前，所述信息确定方法还可以包括：
当检测到场景中出现第一目标时，判断第一目标是否触发异常规则，如果是执行获取第一目标对应的视频帧序列的步骤。
上述异常规则可以有多种，本发明实施例对此不做限定。例如，上述异常规则可以为第一目标是否在预设的范围内；也可以为第一目标的运动速度是否大于预设速度。
例如，电子设备判断出第一目标在预设的范围内，则获取该第一目标对应的视频帧序列；再例如，电子设备判断出第一目标的运行速度大于预设速度，则获取该第一目标对应的视频帧序列。
S120，基于视频帧序列，确定第一目标的时空维度特征。
其中，第一目标的时空维度特征用于表征第一目标在连续至少两个时刻的图像特征，不同类别的目标对应不同的时空维度特征。
需要说明的是，第一目标的时空维度特征具体可以为元素值为0或1的矩阵或者向量，本发明实施例对第一目标的时空维度特征不做具体限定。
由于视频帧序列中包含连续至少两帧场景图像，且每帧场景图像中均包含第一目标，也就是说，连续至少两帧场景图像中包含了连续至少两个时刻下的第一目标。因此，电子设备在获取到第一目标对应的视频帧序列后，可以基于视频帧序列，来确定第一目标的时空维度特征。
在一种实施方式中，基于视频帧序列，确定第一目标的时空维度特征的步骤，可以包括：
将视频帧序列输入到预先训练的神经网络中，得到第一目标的时空维度特征；
其中，神经网络基于样本序列和样本序列所包含样本目标对应的类别训练得到，样本序列包含连续至少两帧样本图像，连续至少两帧样本图像中包含同一样本目标。
可以理解的是，每帧场景图像对应一个时间戳信息。电子设备可以按照每帧场景图像对应的时间戳信息的先后顺序，将视频帧序列包含的连续至少两帧场景图像依次输入到预先训练的神经网络中，以得到第一目标的时空维度特征；当然，电子设备也可以将视频帧序列中包含的连续至少两帧场景图像同时输入到预先训练的神经网络中，以得到第一目标的时空维度特征。
为了方案完整及描述清楚，将在下面实施例中对神经网络利用视频帧序列确定第一目标的时空维度特征的过程进行详细描述。
当然，将视频帧序列输入到预先训练的神经网络中，得到第一目标的时空维度特征，只是基于视频帧序列来确定第一目标的时空维度特征的一种实施方式，本发明实施例对基于视频帧序列来确定第一目标的时空维度特征的方式不做具体限定。
S130，根据预设的时空维度特征与目标的类别的对应关系，确定第一目标的时空维度特征对应的类别，将所确定的类别作为第一目标的类别。
由于不同类别的目标对应不同的时空维度特征，也就是说，目标的类别与时空维度特征具有对应关系，因此，在确定了第一目标的时空维度特征之后，可以根据预设的目标维度特征与目标的类别的对应关系，确定第一目标的时空维度特征对应的类别，第一目标的时空维度特征对应的类别即为第一目标的类别。
由上述描述可知，在一种实施方式中，预先训练好的神经网络是基于样本序列和所述样本序列所包含样本目标对应的类别训练得到的，因此，在将视频帧序列输入到预先训练的神经网络中，可以得到第一目标的时空维度特征，以及时空维度特征对应的类别，该时空维度特征对应的类别即为第一目标的类别。本发明实施例提供的技术方案，由于视频帧序列包含连续至少两帧场景图像，因此，视频帧序列中所包含关于目标的可用的信息量较多；而且，在确定第一目标的类别时，基于视频帧序列，来确定第一目标的时空维度特征，并将第一目标的时空维度特征对应的类别确定为第一目标的类别，由于第一目标的目标维度特征可以用于表征第一目标在连续至少两个时刻的图像特征。可见，本方案中，在确定目标的类别时，以视频帧序列作为类别识别依据，关于目标的可用的信息量较多，且通过目标的时空维度特征来确定目标的类别，而不像现有的方式那样受限于目标检测器的检测精度，从而使得所确定的目标的类别的准确率提高。
为了方案完整及描述清楚，将在下面实施例中对神经网络利用视频帧序列确定第一目标的时空维度特征的过程进行详细描述。
在一种实施方式中，神经网络利用视频帧序列确定第一目标的时空维度特征的过程，可以包括：
利用第一类卷积核对视频帧序列中每帧场景图像进行空间维度卷积，得到第一目标的多个空间维度特征，空间维度卷积为对各帧场景图像中的每帧场景图像执行滑窗操作；
利用第二类卷积核对所得到的多个空间维度特征进行时间维度卷积，得到第一目标的时空维度特征，时间维度卷积为对多个时间维度上相邻的空间维度特征中处于相同空间位置的空间维度特征执行卷积操作。
在该实施方式中，神经网络中可以包括两类卷积核，分别为第一类卷积核和第二类卷积核。
第一类卷积核可以对视频帧序列中包含的各帧场景图像进行空间维度上的卷积，得到第一目标的多个空间维度特征，具体的，第一类卷积核可以对视频帧序列中包含的任一场景图像执行滑窗操作，均能得到第一目标的空间维度特征。
第二类卷积核可以对所得到的多个空间维度特征进行时间维度卷积，得到第一目标的时空维度特征，具体的，第二类卷积核可以对多个时间维度上相邻的空间维度特征中处于相同空间位置的空间维度特征执行卷积操作。举例而言，第二类卷积核可以对多个时间维度上相邻的空间维度特征中处于相同空间位置的空间维度特征进行T×1×1的卷积操作，其中，T为空间维度特征的数量，该卷积操具体可以为：对T个空间特征值进行加权求和，例如，y＝w1*x1+w2*x2+w3*x3+……+wT*xT，其中，w1、w2、…….wT为加权系数；x1、x2、……xT为空间维度特征，y为加权求和结果。当然，这只是以举例的方式对第二类卷积核所执行的卷积操作进行了阐述，本发明实施例对第二类卷积核所执行的卷积操作不做具体限定。
可以理解的是，第一类卷积核的数量可以是一个，也可以是多个，本发明实施例对第一类卷积核和第二类卷积核的数量不做具体限定。
下面将以具体的实例对神经网络利用视频帧序列确定第一目标的时空维度特征的过程进行详细阐述。
如图2所示，视频帧序列的数据组成形式为三维的形式，记为L×H×W，其中，L是视频帧序列的长度，H为视频帧序列中包含的各帧场景图像的图像高度，W为视频帧序列中包含的各帧场景图像的图像宽度。
第一类卷积核的大小为1×k×k，可以利用第一类卷积核对视频帧序列的各帧场景图像执行滑窗操作，得到各帧场景图像中包含的目标的多个空间维度特征；
第二类卷积核的大小为k×1×1，可以利用第二类卷积核对所得到的多个空间维度特征进行卷积，具体的，第二类卷积核可以对多个时间维度上相邻的空间维度特征中处于相同空间位置的空间维度特征执行卷积操作，从而得到第一目标的时空维度特征。
在确定了第一目标的类别后，为了判断第一目标是否为异常目标，在一种实施方式中，在根据预设的时空维度特征与类别的对应关系，确定第一目标的时空维度特征对应的类别，将所确定的类别作为第一目标的类别的步骤之后，所述信息确定方法还包括：
判断第一目标的类别是否为预设的异常目标的类别；
若为是，将第一目标确定为异常目标。
在该实施方式中，预设的异常目标的类别可以为人、车等。在判断出第一目标的类别后，可以判断第一目标的类别是否为预设的异常目标的类别，如果第一目标的类别为预设的异常目标的类别，可以将第一目标确定为异常目标，否则，第一目标不为异常目标。需要说明的是，预设的异常目标的类别除了可以为人、车等，还可以是其他的类别，本发明实施例对预设的异常目标的类别不做具体限定。
举例而言，预设的异常目标的类别为人和车。若第一目标的类别为人，那么第一目标的类别为预设的异常目标的类别，因此，第一目标为异常目标；若第一目标的类别为树叶，那么第一目标的类别不为预设的异常目标的类别，因此第一目标不为异常目标。
并且，在判断出第一目标为异常目标后，可以生成报警信息，并输出报警信息。其中，该报警信息的内容可以为场景中存在异常目标，还可以为第一目标为异常目标等。报警信息的形式可以为文字形式或者语音形式；输出报警信息的方式可以为将报警信息发送至预定的邮件，还可以为向预定终端拨打电话等。本发明实施例对报警信息的内容，报警信息的形式，以及输出报警信息的方式不做具体限定。
可见，通过本发明实施例提供的技术方案，在确定第一目标的类别后，可以判断出第一目标是否为异常目标，并在判断出第一目标为异常目标后，及时地发出报警信息，从而使得用户能够及时地得知场景中存在异常目标。
为了方案描述清楚，下面将以具体的实例对本发明实施例的技术方案进行详细描述。
如图3所示，本发明实施例提供的一种信息确定方法，可以包括如下步骤：
S310，检测场景中的第一目标；
视频监控设备可以实时或定时检测场景中的第一目标。
S320，判断第一目标是否触发异常规则，若为是，执行步骤S330，若为否，则结束；
S330，获取第一目标对应的视频帧序列；
S340，基于视频帧序列，确定第一目标的时空维度特征；
S350，根据预设的时空维度特征与目标的类别的对应关系，确定所述第一目标的时空维度特征对应的类别，将所确定的类别作为所述第一目标的类别。
S360，判断第一目标的类别是否为预设的异常目标的类别，若为是，执行步骤S370，若为否，则结束。
由于步骤S320至S370已经在图1和图2实施例中进行了详细的阐述，在此不再赘述。
第二方面，本发明实施例提供了一种信息确定装置，如图4所示，所述装置包括：
视频帧序列获取模块410，用于获取第一目标对应的视频帧序列，所述视频帧序列包含连续至少两帧场景图像，每帧场景图像中均包含所述第一目标；
时空维度特征确定模块420，用于基于所述视频帧序列，确定所述第一目标的时空维度特征，其中，所述第一目标的时空维度特征用于表征所述第一目标在连续至少两个时刻的图像特征，不同类别的目标对应不同的时空维度特征；
目标类别确定模块430，用于根据预设的时空维度特征与目标的类别的对应关系，确定所述第一目标的时空维度特征对应的类别，将所确定的类别作为所述第一目标的类别。
本发明实施例提供的技术方案，由于视频帧序列包含连续至少两帧场景图像，因此，视频帧序列中所包含关于目标的可用的信息量较多；而且，在确定第一目标的类别时，基于视频帧序列，来确定第一目标的时空维度特征，并将第一目标的时空维度特征对应的类别确定为第一目标的类别，由于第一目标的目标维度特征可以用于表征第一目标在连续至少两个时刻的图像特征。可见，本方案中，在确定目标的类别时，以视频帧序列作为类别识别依据，关于目标的可用的信息量较多，且通过目标的时空维度特征来确定目标的类别，而不像现有的方式那样受限于目标检测器的检测精度，从而使得所确定的目标的类别的准确率提高。
可选的，所述时空维度特征确定模块，包括：
时空维度特征确定单元，用于将所述视频帧序列输入到预先训练的神经网络中，得到所述第一目标的时空维度特征；
其中，所述神经网络基于样本序列和所述样本序列所包含样本目标对应的类别训练得到，所述样本序列包含连续至少两帧样本图像，所述连续至少两帧样本图像中包含同一样本目标。
可选的，所述神经网络利用所述视频帧序列确定所述第一目标的时空维度特征的过程，包括：
利用第一类卷积核对所述视频帧序列中每帧场景图像进行空间维度卷积，得到所述第一目标的多个空间维度特征，所述空间维度卷积为对各帧场景图像中的每帧场景图像执行滑窗操作；
利用第二类卷积核对所得到的多个空间维度特征进行时间维度卷积，得到所述第一目标的时空维度特征，所述时间维度卷积为对多个时间维度上相邻的空间维度特征中处于相同空间位置的空间维度特征执行卷积操作。
可选的，所述装置还包括：
目标判断模块，用于在所述视频帧序列获取模块获取第一目标对应的视频帧序列的步骤之前，当检测到场景中出现所述第一目标时，判断所述第一目标是否触发异常规则，如果是执行所述获取第一目标对应的视频帧序列的步骤。
可选的，所述装置还包括：
异常目标判断模块，用于在所述目标类别确定模块确定了第一目标的类别之后，判断所述第一目标的类别是否为预设的异常目标的类别；
异常目标确定模块，用于在异常目标判断模块判断所述第一目标的类别为预设的异常目标的类别后，将所述第一目标确定为异常目标。
第三方面，本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器505通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现第一方面所述的信息确定方法。
本发明实施例提供的技术方案，由于视频帧序列包含连续至少两帧场景图像，因此，视频帧序列中所包含关于目标的可用的信息量较多；而且，在确定第一目标的类别时，基于视频帧序列，来确定第一目标的时空维度特征，并将第一目标的时空维度特征对应的类别确定为第一目标的类别，由于第一目标的目标维度特征可以用于表征第一目标在连续至少两个时刻的图像特征。可见，本方案中，在确定目标的类别时，以视频帧序列作为类别识别依据，关于目标的可用的信息量较多，且通过目标的时空维度特征来确定目标的类别，而不像现有的方式那样受限于目标检测器的检测精度，从而使得所确定的目标的类别的准确率提高。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的信息确定方法。
本发明实施例提供的技术方案，由于视频帧序列包含连续至少两帧场景图像，因此，视频帧序列中所包含关于目标的可用的信息量较多；而且，在确定第一目标的类别时，基于视频帧序列，来确定第一目标的时空维度特征，并将第一目标的时空维度特征对应的类别确定为第一目标的类别，由于第一目标的目标维度特征可以用于表征第一目标在连续至少两个时刻的图像特征。可见，本方案中，在确定目标的类别时，以视频帧序列作为类别识别依据，关于目标的可用的信息量较多，且通过目标的时空维度特征来确定目标的类别，而不像现有的方式那样受限于目标检测器的检测精度，从而使得所确定的目标的类别的准确率提高。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (11)

1.一种信息确定方法，其特征在于，所述方法包括：
获取第一目标对应的视频帧序列，所述视频帧序列包含连续至少两帧场景图像，每帧场景图像中均包含所述第一目标；
基于所述视频帧序列，确定所述第一目标的时空维度特征，其中，所述第一目标的时空维度特征用于表征所述第一目标在连续至少两个时刻的图像特征，不同类别的目标对应不同的时空维度特征；
根据预设的时空维度特征与目标的类别的对应关系，确定所述第一目标的时空维度特征对应的类别，将所确定的类别作为所述第一目标的类别。
2.根据权利要求1所述的方法，其特征在于，所述基于所述视频帧序列，确定所述第一目标的时空维度特征的步骤，包括：
将所述视频帧序列输入到预先训练的神经网络中，得到所述第一目标的时空维度特征；
其中，所述神经网络基于样本序列和所述样本序列所包含样本目标对应的类别训练得到，所述样本序列包含连续至少两帧样本图像，所述连续至少两帧样本图像中包含同一样本目标。
3.根据权利要求2所述的方法，其特征在于，所述神经网络利用所述视频帧序列确定所述第一目标的时空维度特征的过程，包括：
利用第一类卷积核对所述视频帧序列中每帧场景图像进行空间维度卷积，得到所述第一目标的多个空间维度特征，所述空间维度卷积为对各帧场景图像中的每帧场景图像执行滑窗操作；
利用第二类卷积核对所得到的多个空间维度特征进行时间维度卷积，得到所述第一目标的时空维度特征，所述时间维度卷积为对多个时间维度上相邻的空间维度特征中处于相同空间位置的空间维度特征执行卷积操作。
4.根据权利要求1至3任一项所述的方法，其特征在于，在所述获取第一目标对应的视频帧序列的步骤之前，所述方法还包括：
当检测到场景中出现所述第一目标时，判断所述第一目标是否触发异常规则，如果是执行所述获取第一目标对应的视频帧序列的步骤。
5.根据权利要求1至3任一项所述的方法，其特征在于，在所述根据预设的时空维度特征与类别的对应关系，确定所述第一目标的时空维度特征对应的类别，将所确定的类别作为所述第一目标的类别的步骤之后，所述方法还包括：
判断所述第一目标的类别是否为预设的异常目标的类别；
若为是，将所述第一目标确定为异常目标。
6.一种信息确定装置，其特征在于，所述装置包括：
视频帧序列获取模块，用于获取第一目标对应的视频帧序列，所述视频帧序列包含连续至少两帧场景图像，每帧场景图像中均包含所述第一目标；
时空维度特征确定模块，用于基于所述视频帧序列，确定所述第一目标的时空维度特征，其中，所述第一目标的时空维度特征用于表征所述第一目标在连续至少两个时刻的图像特征，不同类别的目标对应不同的时空维度特征；
目标类别确定模块，用于根据预设的时空维度特征与目标的类别的对应关系，确定所述第一目标的时空维度特征对应的类别，将所确定的类别作为所述第一目标的类别。
7.根据权利要求6所述的装置，其特征在于，所述时空维度特征确定模块，包括：
时空维度特征确定单元，用于将所述视频帧序列输入到预先训练的神经网络中，得到所述第一目标的时空维度特征；
其中，所述神经网络基于样本序列和所述样本序列所包含样本目标对应的类别训练得到，所述样本序列包含连续至少两帧样本图像，所述连续至少两帧样本图像中包含同一样本目标。
8.根据权利要求7所述的装置，其特征在于，所述神经网络利用所述视频帧序列确定所述第一目标的时空维度特征的过程，包括：
利用第一类卷积核对所述视频帧序列中每帧场景图像进行空间维度卷积，得到所述第一目标的多个空间维度特征，所述空间维度卷积为对各帧场景图像中的每帧场景图像执行滑窗操作；
利用第二类卷积核对所得到的多个空间维度特征进行时间维度卷积，得到所述第一目标的时空维度特征，所述时间维度卷积为对多个时间维度上相邻的空间维度特征中处于相同空间位置的空间维度特征执行卷积操作。
9.根据权利要求6至8任一项所述的装置，其特征在于，所述装置还包括：
目标判断模块，用于在所述视频帧序列获取模块获取第一目标对应的视频帧序列的步骤之前，当检测到场景中出现所述第一目标时，判断所述第一目标是否触发异常规则，如果是执行所述获取第一目标对应的视频帧序列的步骤。
10.根据权利要求6至8任一项所述的装置，其特征在于，所述装置还包括：
异常目标判断模块，用于在所述目标类别确定模块确定了第一目标的类别之后，判断所述第一目标的类别是否为预设的异常目标的类别；
异常目标确定模块，用于在异常目标判断模块判断所述第一目标的类别为预设的异常目标的类别后，将所述第一目标确定为异常目标。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
CN201811286203.6A 2018-10-31 2018-10-31 一种信息确定方法、装置及电子设备 Pending CN111126107A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811286203.6A CN111126107A (zh) 2018-10-31 2018-10-31 一种信息确定方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811286203.6A CN111126107A (zh) 2018-10-31 2018-10-31 一种信息确定方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN111126107A true CN111126107A (zh) 2020-05-08

Family

ID=70485360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811286203.6A Pending CN111126107A (zh) 2018-10-31 2018-10-31 一种信息确定方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111126107A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022061498A1 (en) * 2020-09-22 2022-03-31 Huawei Technologies Co., Ltd. Object detection and tracking

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080313140A1 (en) * 2007-06-18 2008-12-18 Zeitera, Llc Method and Apparatus for Multi-Dimensional Content Search and Video Identification
CN101341494A (zh) * 2005-10-05 2009-01-07 高通股份有限公司 基于视频帧运动的自动关注区检测
CN102509086A (zh) * 2011-11-22 2012-06-20 西安理工大学 一种基于目标姿态预测及多特征融合的行人目标检测方法
CN103106394A (zh) * 2012-12-24 2013-05-15 厦门大学深圳研究院 一种视频监控中的人体行为识别方法
US20170270674A1 (en) * 2016-03-17 2017-09-21 Avigilon Corporation System and method for training object classifier by machine learning
CN107273800A (zh) * 2017-05-17 2017-10-20 大连理工大学 一种基于注意机制的卷积递归神经网络的动作识别方法
CN108388876A (zh) * 2018-03-13 2018-08-10 腾讯科技（深圳）有限公司 一种图像识别方法、装置以及相关设备
CN108446630A (zh) * 2018-03-20 2018-08-24 平安科技（深圳）有限公司 机场跑道智能监控方法、应用服务器及计算机存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101341494A (zh) * 2005-10-05 2009-01-07 高通股份有限公司 基于视频帧运动的自动关注区检测
US20080313140A1 (en) * 2007-06-18 2008-12-18 Zeitera, Llc Method and Apparatus for Multi-Dimensional Content Search and Video Identification
CN102509086A (zh) * 2011-11-22 2012-06-20 西安理工大学 一种基于目标姿态预测及多特征融合的行人目标检测方法
CN103106394A (zh) * 2012-12-24 2013-05-15 厦门大学深圳研究院 一种视频监控中的人体行为识别方法
US20170270674A1 (en) * 2016-03-17 2017-09-21 Avigilon Corporation System and method for training object classifier by machine learning
CN107273800A (zh) * 2017-05-17 2017-10-20 大连理工大学 一种基于注意机制的卷积递归神经网络的动作识别方法
CN108388876A (zh) * 2018-03-13 2018-08-10 腾讯科技（深圳）有限公司 一种图像识别方法、装置以及相关设备
CN108446630A (zh) * 2018-03-20 2018-08-24 平安科技（深圳）有限公司 机场跑道智能监控方法、应用服务器及计算机存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022061498A1 (en) * 2020-09-22 2022-03-31 Huawei Technologies Co., Ltd. Object detection and tracking

Similar Documents

Publication Publication Date Title
CN109255352B (zh) 目标检测方法、装置及系统
CN109376667B (zh) 目标检测方法、装置及电子设备
CN110598558B (zh) 人群密度估计方法、装置、电子设备及介质
EP1936576B1 (en) Camera tampering detection
CN110659397B (zh) 一种行为检测方法、装置、电子设备和存储介质
CN110674696B (zh) 一种监控方法、装置、系统、监控设备及可读存储介质
WO2022041484A1 (zh) 人体跌倒检测方法、装置、设备及存储介质
CN109727275B (zh) 目标检测方法、装置、系统和计算机可读存储介质
CN110288599B (zh) 一种坏点检测方法、装置、电子设备及存储介质
CN110390229B (zh) 一种人脸图片筛选方法、装置、电子设备及存储介质
CN111654700B (zh) 一种隐私遮蔽处理方法、装置、电子设备及监控系统
CN109815787B (zh) 目标识别方法、装置、存储介质及电子设备
CN111210399A (zh) 一种成像质量评价方法、装置及设备
CN107203765A (zh) 敏感图像检测方法和装置
CN111814776B (zh) 一种图像处理方法、设备、服务器及存储介质
CN110414544B (zh) 一种目标状态分类方法、装置及系统
CN117726862A (zh) 应用于工业检测的模型训练方法、装置及存储介质
CN111814846A (zh) 属性识别模型的训练方法、识别方法及相关设备
CN111126107A (zh) 一种信息确定方法、装置及电子设备
CN117475364A (zh) 图片检测方法、设备及计算机存储介质
CN113435359A (zh) 一种图像识别方法
CN112419432A (zh) 冰箱内食物的控制方法和装置、电子设备和存储介质
CN110855932B (zh) 基于视频数据的报警方法、装置、电子设备及存储介质
CN111178347A (zh) 证件图像的模糊度检测方法、装置、设备及存储介质
WO2023184833A1 (zh) 检测结果处理方法和装置、设备、介质及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination