CN112528716B - 一种事件信息获取方法及装置 - Google Patents
一种事件信息获取方法及装置 Download PDFInfo
- Publication number
- CN112528716B CN112528716B CN201910889198.6A CN201910889198A CN112528716B CN 112528716 B CN112528716 B CN 112528716B CN 201910889198 A CN201910889198 A CN 201910889198A CN 112528716 B CN112528716 B CN 112528716B
- Authority
- CN
- China
- Prior art keywords
- event
- information
- event information
- triplet
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000001514 detection method Methods 0.000 claims abstract description 77
- 230000009471 action Effects 0.000 claims abstract description 46
- 230000002452 interceptive effect Effects 0.000 claims abstract description 39
- 230000006399 behavior Effects 0.000 claims description 176
- 238000012549 training Methods 0.000 claims description 51
- 238000013528 artificial neural network Methods 0.000 claims description 36
- 230000003542 behavioural effect Effects 0.000 claims description 18
- 238000002372 labelling Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 239000004575 stone Substances 0.000 description 13
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种事件信息获取方法及装置，方案包括：获取待检测视频；确定待检测视频中每一帧图像中所有目标以及所有目标的类型；根据每一帧图像中所有目标的类型，按照预设的动作执行者的类型、受动目标的类型和交互工具的类型，确定每一帧图像对应的多个三元组信息；从待检测视频中截取与每一三元组信息对应的至少一个连续图像序列；将每一三元组信息对应的每一连续图像序列分别输入行为事件检测模型，得到每一三元组信息对应的事件信息。应用本申请实施例提供的技术方案，解决了事件信息获取存在的滞后性问题，提高了事件信息获取效率。
Description
技术领域
本申请涉及视频监控技术领域，特别是涉及一种事件信息获取方法及装置。
背景技术
事件信息获取是指监测视频中的目标是否发生特定行为，并记录目标发生该特行为的相关视频信息。
目前，事件信息获取方法主要是基于设置的简单规则。例如，针对车辆闯红灯、未礼让行人等行为事件，可以设置红灯时间段、红灯与车辆出现在同一图像中、和/或行人与车辆在图像中的位置关系等规则。基于上述设置的规则，在抓拍到图像后，对图像进行目标检测，判断图像中的目标是否与上述设置的规则匹配。若匹配，则确定发生特定行为事件，获取该图像的相关信息，作为事件信息。
上述事件信息获取方法适用于简单场景，即通过对一张图像进行分析即可确定的行为事件是否发生的场景。而对于复杂场景，例如手持工具破坏车辆、手持工具偷窃等行为事件发生的场景，无法仅从一张图像中获取到事件信息。
为了获取到复杂场景下的事件信息，通常需要相关人员根据模糊的行为事件发生时间和地点，人工地从很长的视频中分析行为事件，获得行为事件的发生时间、行为事件关联的人和物等事件信息。这种事件信息获取方法存在明显的滞后性，以及事件信息获取效率低的问题。
发明内容
本申请实施例的目的在于提供一种事件信息获取方法及装置，以解决事件信息获取存在的滞后性问题，提高事件信息获取效率。具体技术方案如下：
第一方面，本申请实施例提供了一种事件信息获取方法，所述方法包括：
获取待检测视频；
确定所述待检测视频中每一帧图像中所有目标以及所有目标的类型；
根据每一帧图像中所有目标的类型，按照预设的动作执行者的类型、受动目标的类型和交互工具的类型，确定每一帧图像对应的多个三元组信息，所述三元组信息包括作为动作执行者的目标、作为受动目标的目标和作为交互工具的目标；
从所述待检测视频中截取与每一三元组信息对应的至少一个连续图像序列；
将每一三元组信息对应的每一连续图像序列分别输入行为事件检测模型，得到每一三元组信息对应的每一连续图像序列中发生的行为事件的事件信息，所述行为事件检测模型是利用预设训练集对预设神经网络进行训练得到的模型，所述预设训练集包括多个样本视频、以及每一样本视频中发生的行为事件的标注事件信息。
可选地，所述方法还包括：
确定所述待检测视频中每一帧图像中所有目标的位置；
所述根据每一帧图像中所有目标的类型，按照预设的动作执行者的类型、受动目标的类型和交互工具的类型的步骤包括：
根据每一帧图像中所有目标的类型，按照预设的动作执行者的类型、受动目标的类型和交互工具的类型，确定每一帧图像对应的多个疑似三元组信息，所述疑似三元组信息包括作为动作执行者的目标、作为受动目标的目标和作为交互工具的目标；
针对每一帧图像对应的每一疑似三元组信息，根据该疑似三元组信息包括的各个目标的位置，确定该疑似三元组信息包括的每两个目标之间的距离值；
若确定的距离值均小于预设距离阈值，则将该疑似三元组信息作为该帧图像对应的三元组信息。
可选地，所述事件信息包括行为事件类型、行为事件发生的时间段以及所述事件信息对应的三元组信息中的一种或多种。
可选地，所述事件信息包括行为事件类型以及行为事件发生的时间段；
在得到每一三元组信息对应的每一事件信息之后，还包括：
针对每一三元组信息，判断该三元组信息对应的多个事件信息中是否存在包括相同行为事件类型的第一事件信息；
若存在第一事件信息，则合并时间段间隔小于预设时间阈值的多个第一事件信息，得到合并后的事件信息作为该三元组信息对应的事件信息，所述合并后的事件信息包括的时间段的起始时间为所述多个第一事件信息包括时间段中的最早时间，所述合并后的事件信息包括的时间段的结束时间为所述多个第一事件信息包括时间段中的最晚时间。
可选地，在得到每一三元组信息对应的每一事件信息之后，还包括：
根据每一三元组信息对应的每一事件信息，生成每一事件信息对应的事件线索。
可选地，所述根据每一三元组信息对应的每一事件信息，生成每一事件信息对应的事件线索的步骤，包括：
针对每一三元组信息对应的每一事件信息，从该三元组信息对应的连续图像序列中，截取在该事件信息包括的时间段内的连续图像序列，作为该事件信息对应的目标图像序列；
由该事件信息对应的目标图像序列组成视频，作为该事件信息对应的事件线索。
可选地，所述方法还包括：
在生成每一事件信息对应的事件线索后，向预设终端发送报警信息，所述报警信息包括每一事件信息对应的事件线索。
可选地，所述行为事件检测模型通过以下步骤训练获得：
获取预设训练集，所述预设训练集包括多个样本视频、以及每一样本视频中发生的行为事件的标注事件信息；
将每一样本视频分别输入预设神经网络，得到每一样本视频中发生的行为事件的预测事件信息；
根据每一样本视频对应的预测事件信息和标注事件信息，确定行为事件检测的损失值；
根据所述损失值，确定所述预设神经网络是否收敛；
若是，则将当前的预设神经网络确定为行为事件检测模型。
第二方面，本申请实施例提供了一种事件信息获取装置，所述装置包括：
获取单元，用于获取待检测视频；
第一确定单元，用于确定所述待检测视频中每一帧图像中所有目标以及所有目标的类型；
第二确定单元，用于根据每一帧图像中所有目标的类型，按照预设的动作执行者的类型、受动目标的类型和交互工具的类型，确定每一帧图像对应的多个三元组信息，所述三元组信息包括作为动作执行者的目标、作为受动目标的目标和作为交互工具的目标；
截取单元，用于从所述待检测视频中截取与每一三元组信息对应的至少一个连续图像序列；
检测单元，用于将每一三元组信息对应的每一连续图像序列分别输入行为事件检测模型，得到每一三元组信息对应的每一连续图像序列中发生的行为事件的事件信息，所述行为事件检测模型是利用预设训练集对预设神经网络进行训练得到的模型，所述预设训练集包括多个样本视频、以及每一样本视频中发生的行为事件的标注事件信息。
可选地，所述第一确定单元，还用于确定所述待检测视频中每一帧图像中所有目标的位置；
所述第二确定单元，具体用于：
根据每一帧图像中所有目标的类型，按照预设的动作执行者的类型、受动目标的类型和交互工具的类型，确定每一帧图像对应的多个疑似三元组信息，所述疑似三元组信息包括作为动作执行者的目标、作为受动目标的目标和作为交互工具的目标；
针对每一帧图像对应的每一疑似三元组信息，根据该疑似三元组信息包括的各个目标的位置，确定该疑似三元组信息包括的每两个目标之间的距离值；
若确定的距离值均小于预设距离阈值，则将该疑似三元组信息作为该帧图像对应的三元组信息。
可选地，所述事件信息包括行为事件类型、行为事件发生的时间段以及所述事件信息对应的三元组信息中的一种或多种。
可选地，所述事件信息包括行为事件类型以及行为事件发生的时间段；所述装置还包括判断单元和合并单元；
所述判断单元，用于在得到每一三元组信息对应的每一事件信息之后，针对每一三元组信息，判断该三元组信息对应的多个事件信息中是否存在包括相同行为事件类型的第一事件信息；
所述合并单元，用于若存在第一事件信息，则合并时间段间隔小于预设时间阈值的多个第一事件信息，得到合并后的事件信息作为该三元组信息对应的事件信息，所述合并后的事件信息包括的时间段的起始时间为所述多个第一事件信息包括时间段中的最早时间，所述合并后的事件信息包括的时间段的结束时间为所述多个第一事件信息包括时间段中的最晚时间。
可选地，所述装置还包括：生成单元，用于在得到每一三元组信息对应的每一事件信息之后，根据每一三元组信息对应的每一事件信息，生成每一事件信息对应的事件线索。
可选地，所述生成单元，具体用于：
针对每一三元组信息对应的每一事件信息，从该三元组信息对应的连续图像序列中，截取在该事件信息包括的时间段内的连续图像序列，作为该事件信息对应的目标图像序列；
由该事件信息对应的目标图像序列组成视频，作为该事件信息对应的事件线索。
可选地，所述装置还包括：
发送单元，用于在生成每一事件信息对应的事件线索后，向预设终端发送报警信息，所述报警信息包括每一事件信息对应的事件线索。
可选地，所述装置还包括：训练单元，用于训练获得所述行为事件检测模型，包括：
获取子单元，用于获取预设训练集，所述预设训练集包括多个样本视频、以及每一样本视频中发生的行为事件的标注事件信息；
检测子单元，用于将每一样本视频分别输入预设神经网络，得到每一样本视频中发生的行为事件的预测事件信息；
第一确定子单元，用于根据每一样本视频对应的预测事件信息和标注事件信息，确定行为事件检测的损失值；
第二确定子单元，用于根据所述损失值，确定所述预设神经网络是否收敛；
第三确定子单元，用于若确定所述预设神经网络收敛，则将当前的预设神经网络确定为行为事件检测模型。
第三方面，本申请实施例提供了一种电子设备，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的事件信息获取方法步骤。
第四方面，本申请实施例提供了一种机器可读存储介质，存储有能够被所述处理器执行的机器可执行指令，所述机器可执行指令促使所述处理器：实现上述任一所述的事件信息获取方法步骤。
第五方面，本申请实施例提供了本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的事件信息获取方法步骤。
本申请实施例提供的一种事件信息获取方法及装置中，利用多个样本视频、以及每一样本视频中发生的行为事件的标注事件信息，训练预设神经网络，得到行为事件检测模型。在获取到待检测视频后，从待检测视频中截取与每一三元组信息对应的连续图像序列，将所截取的连续图像序列分别输入行为事件检测模型，即可得到所截取的连续图像序列中发生的行为事件的事件信息。本申请实施例中，不需要人工对取分析视频，获得事件信息，而是利用行为事件检测模型快速地得到连续图像序列中发生的行为事件的事件信息，有效地解决了事件信息获取存在的滞后性问题，提高了事件信息获取效率。
当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的事件信息获取方法的一种流程示意图；
图2为本申请实施例提供的图像的一种示意图；
图3为本申请实施例提供的事件信息获取方法的另一种流程示意图；
图4为本申请实施例提供的事件信息获取方法的再一种流程示意图；
图5为本申请实施例提供的事件信息获取方法的再一种流程示意图；
图6为本申请实施例提供的行为事件检测模型训练方法的一种流程示意图；
图7为本申请实施例提供的事件信息获取装置的一种结构示意图；
图8为本申请实施例提供的事件信息获取装置的另一种结构示意图；
图9为本申请实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为解决事件信息获取存在明显的滞后性，以及事件信息获取效率低的问题，本申请实施例提供的一种事件信息获取方法。该方法可以应用于任一电子设备。例如手机、电脑、笔记本电脑等电子设备。
该事件信息获取方法中，利用多个样本视频、以及每一样本视频中发生的行为事件的标注事件信息，训练预设神经网络，得到行为事件检测模型。在获取到待检测视频后，从待检测视频中截取与每一三元组信息对应的连续图像序列，将所截取的连续图像序列分别输入行为事件检测模型，即可得到所截取的连续图像序列中发生的行为事件的事件信息。本申请实施例中，不需要人工对取分析视频，获得事件信息，而是利用行为事件检测模型快速地得到连续图像序列中发生的行为事件的事件信息，有效地解决了事件信息获取存在的滞后性问题，提高了事件信息获取效率。
下面通过具体实施例，对本申请实施例提供的事件信息获取方法进行详细说明。
参考图1，图1为本申请实施例提供的事件信息获取方法的一种流程示意图。为便于描述，下面以电子设备为执行主体进行说明，但并不起限定作用。该方法包括如下步骤。
步骤101，获取待检测视频。
在确定是否发生用户所关心的行为事件，并获取相应的事件信息时，电子设备获取待检测视频。用户所关心的行为事件可以包括但不限于手持工具破坏车辆、手持工具偷窃、车辆撞到树木等，具体地可以根据实际情况设定用户所关心的行为事件。
上述待检测视频可以为预设数据库中预先存储的视频，也可以为图像采集设备实时采集的视频。本申请实施例对此不进行限定。
步骤102，确定待检测视频中每一帧图像中所有目标以及所有目标的类型。
在获取到待检测视频后，对于待检测视频中每一帧图像，电子设备确定该帧图像中所有目标以及所有目标的类型。其中，目标的类型包括人体、动物、物体等。对于物体，又可以细分为车辆、石头、锤子、棍子等。具体地目标的类型分类可以根据实际需求进行设定。
一个可选地实施例中，电子设备可以采用目标检测算法对待检测视频中每一帧图像进行检测，确定每一帧图像中的所有目标，以及每一帧图像中的所有目标的类型；另外，采用目标跟踪算法对检测到的目标进行跟踪，确定待检测视频中多帧图像中的相同目标。其中，上述目标检测算法可以包括但不限于方向梯度直方图(Histogram of OrientedGradients，HOG)、可变形部件模型(Deformable Parts Model，DPM)、快速区域卷积神经网络(Faster Region with Convolutional Neural Networks，FRCNN)、YOLO、SSD(SingleShot MultiBox Detector)等算法。上述目标跟踪算法以包括但不限于多目标跟踪(Multiple Object Tracking，MOT)、DeepSort等算法。
例如，如图2所示的图像，该图像中包括人A、人B、车辆a、石头S。电子设备在检测该图像时，获取到该图像中的所有目标，即人A、人B、车辆a、石头S，其中，人A和人B的类型为人，车辆a和石头S的类型为物。
步骤103，根据每一帧图像中所有目标的类型，按照预设的动作执行者的类型、受动目标的类型和交互工具的类型，确定每一帧图像对应的多个三元组信息。三元组信息包括作为动作执行者的目标、作为受动目标的目标和作为交互工具的目标。
本申请实施例中，针对每一帧图像中所有目标，电子设备根据该帧图像中所有目标的类型，按照预设的动作执行者的类型、受动目标的类型和交互工具的类型，组合该帧图像中目标，得到该帧图像对应的多个三元组信息。三元组信息中作为动作执行者的目标的类型与预设的动作执行者的类型相同，三元组信息中作为受动目标的目标的类型与预设的受动目标的类型相同，三元组信息中作为交互工具的目标的类型与预设的交互工具的类型相同。
例如，预设的动作执行者的类型包括人，预设的受动目标的类型包括人和物，预设的交互工具的类型包括物。仍以图2所示图像为例进行说明。电子设备获取到该图像中的目标包括：人A、人B、车辆a、石头S，其中，人A和人B的类型为人，车辆a和石头S的类型为物。按照上述预设的动作执行者的类型包括人、预设的受动目标的类型包括人和物、预设的交互工具的类型包括物的原则，可确定该图像对应的多个三元组信息如下表1所示。
表1
表1中，每一行代表一个三元组信息。
步骤104，从待检测视频中截取与每一三元组信息对应的至少一个连续图像序列。
本申请实施例中，电子设备在获取到每一帧图像对应的多个三元组信息后，针对每一三元组信息，从待检测视频中截取与该三元组信息对应的连续图像序列。电子设备截取到的三元组信息对应的连续图像序列可以为一个，也可以为多个。
例如，电子设备获取到三元组信息1和三元组信息2。其中，待检测视频的第10-20帧图像以及第40-60帧图像均对应三元组信息1，待检测视频的第15-30帧图像均对应三元组信息2。则电子设备从待检测视频中截取第10-20帧图像，作为三元组信息1对应的连续图像序列1，从待检测视频中截取第40-60帧图像，作为三元组信息1对应的连续图像序列2，从待检测视频中截取第15-30帧图像，作为三元组信息2对应的连续图像序列3。
步骤105，将每一三元组信息对应的每一连续图像序列分别输入行为事件检测模型，得到每一三元组信息对应的每一连续图像序列中发生的行为事件的事件信息。
本申请实施例中，事件信息可以包括行为事件类型、行为事件发生的时间段以及事件信息对应的三元组信息中的一种或多种。其中，行为事件类型可以包括但不限于手持工具破坏车辆、手持工具偷窃、车辆撞到树木等。具体地可以根据实际需求进行设定，并在获取相应的样本训练得到行为事件检测模型。
行为事件检测模型用于对输入的连续图像序列中发生的行为事件进行识别，得到连续图像序列中发生的行为事件的事件信息。行为事件检测模型是利用预设训练集对预设神经网络进行训练得到的模型，预设训练集包括多个样本视频、以及每一样本视频中发生的行为事件的标注事件信息，预设神经网络包括但不限于可转移互动网络(TransferableInteractiveness Network，TIN)、，定位和分类解耦的一阶段时序行为检测(DecouplingLocalization and Classification in Single Shot Temporal Action Detection，De-SSAD)网络等。具体地训练过程可参考下面的相关描述，此处不再详述。
仍以步骤104中的例子为例进行说明。电子设备获取到三元组信息1对应的连续图像序列1-2、以及三元组信息2对应的连续图像序列3。电子设备将连续图像序列1输入行为事件检测模型，得到连续图像序列1中发生的行为事件的事件信息1，将连续图像序列2输入行为事件检测模型，得到连续图像序列2中发生的行为事件的事件信息2，将连续图像序列3输入行为事件检测模型，得到连续图像序列3中发生的行为事件的事件信息3。
一个示例中，若一连续图像序列中未发生行为事件，则行为事件检测模型输出的结果可以为空。也就是，若将一连续图像序列输入行为事件检测模型后，行为事件检测模型输出的结果为空，则确定该连续图像序列中未发生行为事件。
例如，电子设备获取到三元组信息3对应的连续图像序列4。电子设备将连续图像序列4输入行为事件检测模型，得到连续图像序列4中发生的行为事件的事件信息4为空，则确定连续图像序列4中未发生行为事件。
采用图1提供的实施例，不需要人工对取分析视频，获得事件信息，而是利用行为事件检测模型快速地得到连续图像序列中发生的行为事件的事件信息，有效地解决了事件信息获取存在的滞后性问题，提高了事件信息获取效率。
基于图1所示实施例，本申请实施例还提供了一种事件信息获取方法。参考图3，图3为本申请实施例提供的事件信息获取方法的另一种流程示意图。该方法可以包括如下步骤。
步骤301，获取待检测视频。步骤301与步骤101相同。
步骤302，确定待检测视频中每一帧图像中所有目标以及所有目标的类型。步骤302与步骤102相同。
步骤303，根据每一帧图像中所有目标的类型，按照预设的动作执行者的类型、受动目标的类型和交互工具的类型，确定每一帧图像对应的多个三元组信息。三元组信息包括作为动作执行者的目标、作为受动目标的目标和作为交互工具的目标。步骤303与步骤103相同。
步骤304，从待检测视频中截取与每一三元组信息对应的至少一个连续图像序列。步骤304与步骤104相同。
步骤305，将每一三元组信息对应的每一连续图像序列分别输入行为事件检测模型，得到每一三元组信息对应的每一连续图像序列中发生的行为事件的事件信息。上述步骤305与步骤105相同。
步骤306，根据每一三元组信息对应的每一事件信息，生成每一事件信息对应的事件线索。
本申请实施例中，电子设备在获取到每一三元组信息对应的一个或多个事件信息后，根据每一三元组信息对应的每一事件信息，生成每一事件信息对应的事件线索。事件线索可以包括事件信息、该事件信息对应的视频片段、采集视频片段的相机的位置和标识等信息。本申请实施例对此不进行限定。
一个可选地实施例中，事件信息可以包括行为事件发生的时间段。电子设备在获取到每一三元组信息对应的一个或多个事件信息后，针对每一三元组信息对应的每一事件信息，从该三元组信息对应的连续图像序列中，截取在该事件信息包括的时间段内的连续图像序列，作为该事件信息对应的目标图像序列；由该事件信息对应的目标图像序列组成视频，作为该事件信息对应的事件线索。
例如，三元组信息1对应的连续图像序列1为第1-100帧图像。电子设备基于连续图像序列1，得到三元组信息1对应的事件信息1。事件信息1包括时间段1，其中，时间段1对应第20-60帧图像。则电子设备从连续图像序列1中截取第20-60帧图像，作为事件信息1对应的目标图像序列。电子设备由事件信息1对应的目标图像序列组成视频，作为事件信息1对应的事件线索。也就是，电子设备将第20-60帧图像构成的视频，作为事件信息1对应的事件线索。
另一个可选地实施例中，事件信息可以包括行为事件类型以及行为事件发生的时间段。电子设备在获取到每一三元组信息对应的一个或多个事件信息后，针对每一三元组信息对应的每一事件信息，从该三元组信息对应的连续图像序列中，截取在该事件信息包括的时间段内的连续图像序列，作为该事件信息对应的目标图像序列。针对每一三元组信息，判断该三元组信息对应的多个事件信息中是否存在包括相同行为事件类型的目标事件信息；若存在目标事件信息，则合并时间段间隔小于预设时间阈值的多个目标事件信息对应的目标图像序列。对于合并后的多个目标事件信息对应的目标图像序列，由合并后的目标图像序列组成视频，作为该多个目标事件信息对应的事件线索。对于未合并的事件信息对应的目标图像序列，由事件信息对应的目标图像序列组成视频，作为该事件信息对应的事件线索。
例如，三元组信息1对应的连续图像序列1为第1-100帧图像，三元组信息1对应的连续图像序列2为第110-150帧图像，三元组信息1对应的连续图像序列3为第160-200帧图像。电子设备基于连续图像序列1，得到三元组信息1对应的事件信息1。事件信息1包括行为事件类型1和时间段1，其中，时间段1对应第20-60帧图像。电子设备基于连续图像序列2，得到三元组信息1对应的事件信息2。事件信息2包括行为事件类型1和时间段2，其中，时间段2对应第110-120帧图像。电子设备基于连续图像序列3，得到三元组信息1对应的事件信息3。事件信息3包括行为事件类型2和时间段3，其中，时间段3对应第180-195帧图像。则电子设备从连续图像序列1中截取第20-60帧图像，作为事件信息1对应的目标图像序列1，从连续图像序列2中截取第110-120帧图像，作为事件信息2对应的目标图像序列2，从连续图像序列3中截取第180-195帧图像，作为事件信息3对应的目标图像序列3。
由上可知，事件信息1和事件信息2包括的行为事件类型相同，均为包括行为事件类型1。若时间段1和时间段2之间的时间间隔小于预设时间阈值，则合并目标图像序列1和目标图像序列2，作为目标图像序列4。事件信息3包括的行为事件类型与事件信息1和事件信息2包括的行为事件类型不同，则不合并目标图像序列3和目标图像序列4。
电子设备由事件信息1和事件信息2对应的目标图像序列4组成视频，作为事件信息1和事件信息2对应的事件线索。也就是，电子设备将第20-60帧图像和第110-120帧图像构成的视频，作为事件信息1和事件信息2对应的事件线索。电子设备由事件信息3对应的目标图像序列3组成视频，作为事件信息3对应的事件线索。也就是，电子设备将第180-195帧图像构成的视频，作为事件信息3对应的事件线索。
本申请实施例中，电子设备将包括的行为事件类型相同且时间段间隔小于预设时间阈值多个事件信息对应的图像序列合并，也就是，将同一行为事件的事件信息对应的图像序列合并。之后，基于合并后的图像序列生成事件线索，便于用于对同一行为事件进行分析处理。
一个可选地实施例中，为便于用户分析事件线索，及时准确地处理行为事件，电子设备在由一事件信息对应的目标图像序列组成视频后，结合该视频以及该事件信息，作为事件信息对应的事件线索。
仍以上述例子为例进行说明。电子设备在由第20-60帧图像组成视频后，结合由第20-60帧图像组成的视频以及事件信息1，共同作为事件信息1对应的事件线索。
采用图3提供的实施例，在获取到事件信息后，生成事件信息对应的事件线索，基于事件线索，便于后续人工分析行为事件。
基于图1所示实施例，本申请实施例还提供了一种事件信息获取方法。参考图4，图4为本申请实施例提供的事件信息获取方法的再一种流程示意图。该方法可以包括如下步骤。
步骤401，获取待检测视频。步骤401与步骤101相同。
步骤402，确定待检测视频中每一帧图像中所有目标以及所有目标的类型。步骤402与步骤102相同。
步骤403，确定待检测视频中每一帧图像中所有目标的位置。
在获取到待检测视频后，对于待检测视频中每一帧图像，电子设备确定该帧图像中所有目标以及所有目标的类型和位置。
一个可选地实施例中，电子设备可以采用目标检测算法对待检测视频中每一帧图像进行检测，确定每一帧图像中的所有目标，以及每一帧图像中的所有目标的类型和位置；另外，采用目标跟踪算法对检测到的目标进行跟踪，确定待检测视频中多帧图像中的相同目标。
本申请实施中并不限定步骤402与步骤403的执行顺序。
步骤404，根据每一帧图像中所有目标的类型，按照预设的动作执行者的类型、受动目标的类型和交互工具的类型，确定每一帧图像对应的多个疑似三元组信息。其中，疑似三元组信息包括作为动作执行者的目标、作为受动目标的目标和作为交互工具的目标。
仍以步骤103中的例子为例进行说明。电子设备基于图2所示图像，按照上述预设的动作执行者的类型包括人、预设的受动目标的类型包括人和物、预设的交互工具的类型包括物的原则，确定多个疑似三元组信息如下表1所示。
步骤405，针对每一帧图像对应的每一疑似三元组信息，根据该疑似三元组信息包括的各个目标的位置，确定该疑似三元组信息包括的每两个目标之间的距离值。
步骤406，若确定的距离值均小于预设距离阈值，则将该疑似三元组信息作为该帧图像对应的三元组信息。
本申请实施例中，针对每一帧图像对应的每一疑似三元组信息，电子设备根据该疑似三元组信息包括的各个目标的位置，确定该疑似三元组信息包括的每两个目标之间的距离值。针对该疑似三元组信息，电子设备判断该疑似三元组信息包括的每两个目标之间的距离值是否均小于预设距离阈值。若均小于预设距离阈值，则电子设备可确定该疑似三元组信息包括的三个目标之间很可能发生了某一行为事件，将该疑似三元组信息作为该帧图像对应的三元组信息，执行步骤407。
由于若该疑似三元组信息包括的每两个目标之间的距离值中存在大于等于预设距离阈值的距离值，则说明该疑似三元组信息包括的三个目标间距离过大，而三个目标之间若发生某一行为事件必然距离很近，例如，用户手持工具检测车辆，因此电子设备可确定该疑似三元组信息包括的三个目标之间不可能发生行为事件，不对该疑似三元组信息进行任何处理，删除该疑似三元组信息。
以表1所示的疑似三元组信息为例进行说明。电子设备根据人A的位置、人B的位置、车辆a的位置、石头S的位置，确定人A与人B间的距离值1，人A与车辆a间的距离值2，人A与石头S间的距离值3，人B与与车辆a间的距离值4，人B与石头S间的距离值5，车辆a与石头S间的距离值6。其中，距离值1大于预设距离阈值，距离值2小于预设距离阈值，距离值3小于预设距离阈值，距离值4小于预设距离阈值，距离值5大于预设距离阈值，距离值6小于预设距离阈值。
基于距离值1大于预设距离阈值，电子设备可删除包括的动作执行者为人A、受动目标为人B的疑似三元组信息，以及删除包括的动作执行者为人B、受动目标为人A的疑似三元组信息。
基于距离值5大于预设距离阈值，电子设备可删除包括动作执行者为人B、受动目标为石头S的疑似三元组信息，删除包括的动作执行者为人B、交互工具为石头S的疑似三元组信息，以及删除包括的受动目标为人B、交互工具为石头S的疑似三元组信息。此时，得到的图2所示图像对应的三元组信息如表2所示。
表2
上述预设距离阈值可以根据实际经验值进行设定，本申请实施例对比不进行限定。
本申请实施例中，电子设备去除了不可能发生行为事件的三元组信息，减少了用于后续行为事件检测的三元组信息，降低了计算量，节约了设备计算资源，进一步提高了行为事件检测的效率。
步骤407，从待检测视频中截取与每一三元组信息对应的至少一个连续图像序列。步骤407与步骤104相同。
步骤408，将每一三元组信息对应的每一连续图像序列分别输入行为事件检测模型，得到每一三元组信息对应的每一连续图像序列中发生的行为事件的事件信息。步骤408与步骤105相同。
基于图1所示实施例，本申请实施例还提供了一种事件信息获取方法。参考图5，图5为本申请实施例提供的事件信息获取方法的再一种流程示意图。该方法可以包括如下步骤。
步骤501，获取待检测视频。步骤501与步骤101相同。
步骤502，确定待检测视频中每一帧图像中所有目标以及所有目标的类型。步骤502与步骤102相同。
步骤503，根据每一帧图像中所有目标的类型，按照预设的动作执行者的类型、受动目标的类型和交互工具的类型，确定每一帧图像对应的多个三元组信息。三元组信息包括作为动作执行者的目标、作为受动目标的目标和作为交互工具的目标。步骤503与步骤103相同。
步骤504，从待检测视频中截取与每一三元组信息对应的至少一个连续图像序列。步骤504与步骤104相同。
步骤505，将每一三元组信息对应的每一连续图像序列分别输入行为事件检测模型，得到每一三元组信息对应的每一连续图像序列中发生的行为事件的事件信息。步骤505与步骤105相同。
步骤506，针对每一三元组信息，判断该三元组信息对应的多个事件信息中是否存在包括相同行为事件类型的第一事件信息。若是，则执行步骤507。若否，则结束处理。
本申请实施例中，若一个三元组信息对应多个连续图像序列，相应地，电子设备将该三元组信息对应多个连续图像序列分别输入行为事件检测模型，则可得到多个该三元组信息对应的多个事件信息。这多个事件信息可能为同一行为事件的事件信息，为便于用户后续分析事件线索，电子设备判断该三元组信息对应的多个事件信息中是否存在包括相同行为事件类型的第一事件信息。若存在包括相同行为事件类型的第一事件信息，则执行步骤507。若不存在包括相同行为事件类型的第一事件信息，则不对事件信息做任何后处理。
步骤507，合并时间段间隔小于预设时间阈值的多个第一事件信息，得到合并后的事件信息作为该三元组信息对应的事件信息。合并后的事件信息包括的时间段的起始时间为多个第一事件信息包括时间段中的最早时间，合并后的事件信息包括的时间段的结束时间为多个第一事件信息包括时间段中的最晚时间。
上述时间段间隔为两个时间段之间地最小时间差。例如，时间段1为10:00-10:10，时间段2为10:20-10:25。则时间段1与时间段2间的时间段间隔为10:20-10:10＝10分钟。
例如，三元组信息11对应的事件信息有事件信息11-15。其中，事件信息11包括行为事件类型1和时间段11，事件信息12包括行为事件类型1和时间段12，事件信息13包括行为事件类型1和时间段13，事件信息14包括行为事件类型2和时间段14。
基于上述三元组信息，电子设备可确定事件信息11-13包括的行为事件类型相同，均为行为事件类型1。电子设备计算事件信息11包括的时间段11与事件信息12包括时间段12之间的时间差1，计算事件信息11包括的时间段11与事件信息13包括时间段13之间的时间差2，计算事件信息12包括的时间段11与事件信息13包括时间段13之间的时间差3。若时间差1小于预设时间阈值，时间差2和时间差3均大于预设时间阈值，则电子设备合并事件信息11和事件信息12，得到事件信息a1。事件信息a1包括的时间段的起始时间为事件信息11和事件信息12包括时间段中的最早时间，事件信息a1包括的时间段的结束时间为事件信息11和事件信息12包括时间段中的最晚时间。如，时间段11为10:00-10:10，时间段12为10:20-10:25，则事件信息a1包括的时间段的起始时间为10:00，事件信息a1包括的时间段的结束时间为10:25。
上述预设时间阈值可以根据时间需求进行设定，本申请实施例对此不进行限定。
本申请实施例中，电子设备将包括的行为事件类型相同且时间段间隔小于预设时间阈值多个事件信息合并，也就是，将同一行为事件的事件信息合并。之后，基于该事件信息对应的事件线索，便于用于对同一行为事件进行分析处理。
一个可选地实施例中，为了用户及时处理发生的行为事件，在生成每一事件信息对应的事件线索后，针对每一事件信息，电子设备向预设终端发送报警信息。其中，报警信息可以包括该事件信息对应的事件线索。针对每一事件信息，电子设备可以生成一个报警信息。电子设备也可以生成一个报警信息，该报警信息中包括所有事件信息对应的事件线索。本申请实施例对此不进行限定。
本申请实施例中，电子设备可以按照预设周期向预设终端发送报警信息。电子设备也可以在预设时间段向预设终端发送报警信息。例如，在夜间向预设终端发送报警信息。
基于图1所示实施例，本申请实施例还提供了一种行为事件检测模型训练方法。参考图6，图6为本申请实施例提供的行为事件检测模型训练方法的一种流程示意图。该方法可以包括如下步骤。
步骤601，获取预设训练集，预设训练集包括多个样本视频、以及每一样本视频中发生的行为事件的标注事件信息。
其中，标注事件信息为样本视频中发生的行为事件的真实事件信息。
在训练行为事件检测模型时，电子设备获取预设训练集。预设训练集可以为电子设备从预设数据库中获取到，也可以通过网络爬手等工具从网络中获取到。
为提高训练得到的行为事件检测模型检测得到行为事件信息的准确性，获取的预设训练集中包括的样本视频的数量越多越好。
步骤602，将每一样本视频分别输入预设神经网络，得到每一样本视频中发生的行为事件的预测事件信息。
针对每一样本视频，电子设备将该样本视频输入预设神经网络得到该样本视频中发生的行为事件的预测事件信息。
步骤603，根据每一样本视频对应的预测事件信息和标注事件信息，确定行为事件检测的损失值。
电子设备根据每一样本视频对应的预测事件信息和标注事件信息，确定行为事件检测的损失值。
例如，电子设备统计预设神经网络进行行为事件检测的正确率和错误率，将正确率和错误率作为行为事件检测的损失值。
一个可选地实施例中，事件信息包括行为事件类型和行为事件发生的时间段。若一样本视频的预测事件信息包括的行为事件类型和标注事件信息包括的行为事件类型相同，且预测事件信息包括的时间段和标注事件信息包括的时间段的重合度大于预设重合度阈值，则电子设备可确定该样本视频的行为事件检测的正确。否则，电子设备可确定该样本视频的行为事件检测的错误。
上述重合度为两个时间段重叠的时长占两个时间段合并后总时长的比值。例如，时间段31为10:00-10:10，时间段32为10:02-10:11。这两个时间段重叠的部分为10:02-10:10，即重叠时长为8分钟。这两个时间段合并后为10:00-10:11，即这两个时间段合并后总时长为11分钟。则时间段31与时间段32的重合度为8/11＝0.727。上述预设重合度阈值可以根据实际需求进行设定。本申请实施例对此不进行设定。
步骤604，根据损失值，确定预设神经网络是否收敛。若不收敛，则执行步骤605。若收敛，则执行步骤606。
一个可选的实施例中，可以预先设定损失阈值，即预设损失阈值。电子设备比较确定的损失值是否大于预设损失阈值。若大于预设损失阈值，则确定预设神经网络收敛。否则，确定预设神经网络不收敛。
上述预设损失阈值可综合考虑目标检测和跟踪，以及预设神经网络检测带来的损失，进行设定。
步骤605，调整预设神经网络的参数，返回执行步骤603。
步骤606，将当前的预设神经网络确定为行为事件检测模型。
采用上述行为事件检测模型训练方法训练得到的行为事件检测模型进行行为事件检测，不需要人工对取分析视频，获得事件信息，而是利用行为事件检测模型快速地得到连续图像序列中发生的行为事件的事件信息，有效地解决了事件信息获取存在的滞后性问题，提高了事件信息获取效率。
基于上述图1-6所示实施例，本申请实施例还提供了一种事件信息获取装置。参考图7，图7为本申请实施例提供的事件信息获取装置的一种结构示意图。该装置包括：
获取单元701，用于获取待检测视频；
第一确定单元702，用于确定待检测视频中每一帧图像中所有目标以及所有目标的类型；
第二确定单元703，用于根据每一帧图像中所有目标的类型，按照预设的动作执行者的类型、受动目标的类型和交互工具的类型，确定每一帧图像对应的多个三元组信息，三元组信息包括作为动作执行者的目标、作为受动目标的目标和作为交互工具的目标；
截取单元704，用于从待检测视频中截取与每一三元组信息对应的至少一个连续图像序列；
检测单元705，用于将每一三元组信息对应的每一连续图像序列分别输入行为事件检测模型，得到每一三元组信息对应的每一连续图像序列中发生的行为事件的事件信息，行为事件检测模型是利用预设训练集对预设神经网络进行训练得到的模型，预设训练集包括多个样本视频、以及每一样本视频中发生的行为事件的标注事件信息。
一个可选地实施例中，第一确定单元702，还可以用于确定待检测视频中每一帧图像中所有目标的位置；
此时，第二确定单元703，具体可以用于：
根据每一帧图像中所有目标的类型，按照预设的动作执行者的类型、受动目标的类型和交互工具的类型，确定每一帧图像对应的多个疑似三元组信息，疑似三元组信息包括作为动作执行者的目标、作为受动目标的目标和作为交互工具的目标；
针对每一帧图像对应的每一疑似三元组信息，根据该疑似三元组信息包括的各个目标的位置，确定该疑似三元组信息包括的每两个目标之间的距离值；
若确定的距离值均小于预设距离阈值，则将该疑似三元组信息作为该帧图像对应的三元组信息。
一个可选地实施例中，事件信息可以包括行为事件类型、行为事件发生的时间段以及事件信息对应的三元组信息中的一种或多种。
一个可选地实施例中，事件信息可以包括行为事件类型以及行为事件发生的时间段。此时，上述事件信息获取装置还可以包括判断单元和合并单元(图7中未示出)。
判断单元，用于在得到每一三元组信息对应的每一事件信息之后，针对每一三元组信息，判断该三元组信息对应的多个事件信息中是否存在包括相同行为事件类型的第一事件信息；
合并单元，用于若存在第一事件信息，则合并时间段间隔小于预设时间阈值的多个第一事件信息，得到合并后的事件信息作为该三元组信息对应的事件信息，合并后的事件信息包括的时间段的起始时间为多个第一事件信息包括时间段中的最早时间，合并后的事件信息包括的时间段的结束时间为多个第一事件信息包括时间段中的最晚时间。
一个可选地实施例中，参考图8所示，上述事件信息获取装置还可以包括：生成单元706，用于在得到每一三元组信息对应的每一事件信息之后，根据每一三元组信息对应的每一事件信息，生成每一事件信息对应的事件线索。
一个可选地实施例中，生成单元706，具体可以用于：
针对每一三元组信息对应的每一事件信息，从该三元组信息对应的连续图像序列中，截取在该事件信息包括的时间段内的连续图像序列，作为该事件信息对应的目标图像序列；
由该事件信息对应的目标图像序列组成视频，作为该事件信息对应的事件线索。
一个可选地实施例中，上述事件线索获取装置还可以包括：
发送单元，用于在生成每一事件信息对应的事件线索后，向预设终端发送报警信息，报警信息包括每一事件信息对应的事件线索。
一个可选地实施例中，上述事件线索获取装置还可以包括：训练单元，用于训练获得行为事件检测模型，包括：
获取子单元，用于获取预设训练集，预设训练集包括多个样本视频、以及每一样本视频中发生的行为事件的标注事件信息；
检测子单元，用于将每一样本视频分别输入预设神经网络，得到每一样本视频中发生的行为事件的预测事件信息；
第一确定子单元，用于根据每一样本视频对应的预测事件信息和标注事件信息，确定行为事件检测的损失值；
第二确定子单元，用于根据损失值，确定预设神经网络是否收敛；
第三确定子单元，用于若确定预设神经网络收敛，则将当前的预设神经网络确定为行为事件检测模型。
应用本申请实施例提供的事件信息获取装置，不需要人工对取分析视频，获得事件信息，而是利用行为事件检测模型快速地得到连续图像序列中发生的行为事件的事件信息，有效地解决了事件信息获取存在的滞后性问题，提高了事件信息获取效率。
基于上述图1-6所示实施例，本申请实施例还提供了一种电子设备，如图9所示，包括处理器901和存储器902；
存储器902，用于存放计算机程序；
处理器901，用于执行存储器上所存放的程序时，实现上述事件线索获取方法的任一步骤。
一个可选地实施例中，如图9所示，电子设备还可以包括通信接口903和通信总线904。其中，处理器901、通信接口903、存储器902通过通信总线904完成相互间的通信。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
上述通信接口用于上述电子设备与其他设备之间的通信。
上述存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种机器可读存储介质，该机器可读存储介质内存储有能够被处理器执行的机器可执行指令，机器可执行指令促使处理器实现上述事件信息获取方法的任一步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述事件信息获取方法的任一步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于事件信息获取装置实施例、电子设备实施例、机器可读存储介质实施例、计算机程序产品实施例而言，由于其基本相似于事件信息获取方法实施例，所以描述的比较简单，相关之处参见事件信息获取方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。
Claims (16)
1.一种事件信息获取方法，其特征在于，所述方法包括：
获取待检测视频；
确定所述待检测视频中每一帧图像中所有目标以及所有目标的类型；
根据每一帧图像中所有目标的类型，按照预设的属于动作执行者的目标的类型、属于受动目标的目标的类型和属于交互工具的目标的类型，确定每一帧图像对应的多个三元组信息，所述三元组信息包括作为动作执行者的目标、作为受动目标的目标和作为交互工具的目标，属于动作执行者的目标的类型、属于受动目标的目标的类型和属于交互工具的目标的类型相同或不同；
从所述待检测视频中截取与每一三元组信息对应的至少一个连续图像序列，每一三元组信息对应的一个连续图像序列中的每帧图像均与该三元组信息对应；
将每一三元组信息对应的每一连续图像序列分别输入行为事件检测模型，得到每一三元组信息对应的每一连续图像序列中发生的行为事件的事件信息，所述行为事件检测模型是利用预设训练集对预设神经网络进行训练得到的模型，所述预设训练集包括多个样本视频、以及每一样本视频中发生的行为事件的标注事件信息。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述待检测视频中每一帧图像中所有目标的位置；
所述根据每一帧图像中所有目标的类型，按照预设的动作执行者的类型、受动目标的类型和交互工具的类型的步骤包括：
根据每一帧图像中所有目标的类型，按照预设的动作执行者的类型、受动目标的类型和交互工具的类型，确定每一帧图像对应的多个疑似三元组信息，所述疑似三元组信息包括作为动作执行者的目标、作为受动目标的目标和作为交互工具的目标；
针对每一帧图像对应的每一疑似三元组信息，根据该疑似三元组信息包括的各个目标的位置，确定该疑似三元组信息包括的每两个目标之间的距离值；
若确定的距离值均小于预设距离阈值，则将该疑似三元组信息作为该帧图像对应的三元组信息。
3.根据权利要求1所述的方法，其特征在于，所述事件信息包括行为事件类型、行为事件发生的时间段以及所述事件信息对应的三元组信息中的一种或多种。
4.根据权利要求3所述的方法，其特征在于，所述事件信息包括行为事件类型以及行为事件发生的时间段；
在得到每一三元组信息对应的每一事件信息之后，还包括：
针对每一三元组信息，判断该三元组信息对应的多个事件信息中是否存在包括相同行为事件类型的第一事件信息；
若存在第一事件信息，则合并时间段间隔小于预设时间阈值的多个第一事件信息，得到合并后的事件信息作为该三元组信息对应的事件信息，所述合并后的事件信息包括的时间段的起始时间为所述多个第一事件信息包括时间段中的最早时间，所述合并后的事件信息包括的时间段的结束时间为所述多个第一事件信息包括时间段中的最晚时间。
5.根据权利要求1-4任一项所述的方法，其特征在于，在得到每一三元组信息对应的每一事件信息之后，还包括：
根据每一三元组信息对应的每一事件信息，生成每一事件信息对应的事件线索。
6.根据权利要求5所述的方法，其特征在于，所述根据每一三元组信息对应的每一事件信息，生成每一事件信息对应的事件线索的步骤，包括：
针对每一三元组信息对应的每一事件信息，从该三元组信息对应的连续图像序列中，截取在该事件信息包括的时间段内的连续图像序列，作为该事件信息对应的目标图像序列；
由该事件信息对应的目标图像序列组成视频，作为该事件信息对应的事件线索。
7.根据权利要求1所述的方法，其特征在于，所述行为事件检测模型通过以下步骤训练获得：
获取预设训练集，所述预设训练集包括多个样本视频、以及每一样本视频中发生的行为事件的标注事件信息；
将每一样本视频分别输入预设神经网络，得到每一样本视频中发生的行为事件的预测事件信息；
根据每一样本视频对应的预测事件信息和标注事件信息，确定行为事件检测的损失值；
根据所述损失值，确定所述预设神经网络是否收敛；
若是，则将当前的预设神经网络确定为行为事件检测模型。
8.一种事件信息获取装置，其特征在于，所述装置包括：
获取单元，用于获取待检测视频；
第一确定单元，用于确定所述待检测视频中每一帧图像中所有目标以及所有目标的类型；
第二确定单元，用于根据每一帧图像中所有目标的类型，按照预设的属于动作执行者的目标的类型、属于受动目标的目标的类型和属于交互工具的目标的类型，确定每一帧图像对应的多个三元组信息，所述三元组信息包括作为动作执行者的目标、作为受动目标的目标和作为交互工具的目标，属于动作执行者的目标的类型、属于受动目标的目标的类型和属于交互工具的目标的类型相同或不同；
截取单元，用于从所述待检测视频中截取与每一三元组信息对应的至少一个连续图像序列，每一三元组信息对应的一个连续图像序列中的每帧图像均与该三元组信息对应；
检测单元，用于将每一三元组信息对应的每一连续图像序列分别输入行为事件检测模型，得到每一三元组信息对应的每一连续图像序列中发生的行为事件的事件信息，所述行为事件检测模型是利用预设训练集对预设神经网络进行训练得到的模型，所述预设训练集包括多个样本视频、以及每一样本视频中发生的行为事件的标注事件信息。
9.根据权利要求8所述的装置，其特征在于，所述第一确定单元，还用于确定所述待检测视频中每一帧图像中所有目标的位置；
所述第二确定单元，具体用于：
根据每一帧图像中所有目标的类型，按照预设的动作执行者的类型、受动目标的类型和交互工具的类型，确定每一帧图像对应的多个疑似三元组信息，所述疑似三元组信息包括作为动作执行者的目标、作为受动目标的目标和作为交互工具的目标；
针对每一帧图像对应的每一疑似三元组信息，根据该疑似三元组信息包括的各个目标的位置，确定该疑似三元组信息包括的每两个目标之间的距离值；
若确定的距离值均小于预设距离阈值，则将该疑似三元组信息作为该帧图像对应的三元组信息。
10.根据权利要求8所述的装置，其特征在于，所述事件信息包括行为事件类型、行为事件发生的时间段以及所述事件信息对应的三元组信息中的一种或多种。
11.根据权利要求10所述的装置，其特征在于，所述事件信息包括行为事件类型以及行为事件发生的时间段；所述装置还包括判断单元和合并单元；
所述判断单元，用于在得到每一三元组信息对应的每一事件信息之后，针对每一三元组信息，判断该三元组信息对应的多个事件信息中是否存在包括相同行为事件类型的第一事件信息；
所述合并单元，用于若存在第一事件信息，则合并时间段间隔小于预设时间阈值的多个第一事件信息，得到合并后的事件信息作为该三元组信息对应的事件信息，所述合并后的事件信息包括的时间段的起始时间为所述多个第一事件信息包括时间段中的最早时间，所述合并后的事件信息包括的时间段的结束时间为所述多个第一事件信息包括时间段中的最晚时间。
12.根据权利要求8-11任一项所述的装置，其特征在于，所述装置还包括：生成单元，用于在得到每一三元组信息对应的每一事件信息之后，根据每一三元组信息对应的每一事件信息，生成每一事件信息对应的事件线索。
13.根据权利要求12所述的装置，其特征在于，所述生成单元，具体用于：
针对每一三元组信息对应的每一事件信息，从该三元组信息对应的连续图像序列中，截取在该事件信息包括的时间段内的连续图像序列，作为该事件信息对应的目标图像序列；
由该事件信息对应的目标图像序列组成视频，作为该事件信息对应的事件线索。
14.根据权利要求8所述的装置，其特征在于，所述装置还包括：训练单元，用于训练获得所述行为事件检测模型，包括：
获取子单元，用于获取预设训练集，所述预设训练集包括多个样本视频、以及每一样本视频中发生的行为事件的标注事件信息；
检测子单元，用于将每一样本视频分别输入预设神经网络，得到每一样本视频中发生的行为事件的预测事件信息；
第一确定子单元，用于根据每一样本视频对应的预测事件信息和标注事件信息，确定行为事件检测的损失值；
第二确定子单元，用于根据所述损失值，确定所述预设神经网络是否收敛；
第三确定子单元，用于若确定所述预设神经网络收敛，则将当前的预设神经网络确定为行为事件检测模型。
15.一种电子设备，其特征在于，包括处理器和存储器；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
16.一种机器可读存储介质，其特征在于，存储有能够被所述处理器执行的机器可执行指令，所述机器可执行指令促使所述处理器：实现权利要求1-7任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910889198.6A CN112528716B (zh) | 2019-09-19 | 2019-09-19 | 一种事件信息获取方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910889198.6A CN112528716B (zh) | 2019-09-19 | 2019-09-19 | 一种事件信息获取方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112528716A CN112528716A (zh) | 2021-03-19 |
| CN112528716B true CN112528716B (zh) | 2024-01-05 |
Family
ID=74974412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910889198.6A Active CN112528716B (zh) | 2019-09-19 | 2019-09-19 | 一种事件信息获取方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112528716B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114363720B (zh) * | 2021-12-08 | 2024-03-12 | 广州海昇计算机科技有限公司 | 一种基于计算机视觉的视频切片方法、系统、设备及介质 |
| CN114827739A (zh) * | 2022-06-06 | 2022-07-29 | 百果园技术(新加坡)有限公司 | 一种直播回放视频生成方法、装置、设备及存储介质 |
| CN114913470B (zh) * | 2022-07-11 | 2022-10-28 | 浙江大华技术股份有限公司 | 一种事件检测方法及装置 |
| CN114973165B (zh) * | 2022-07-14 | 2022-10-25 | 浙江大华技术股份有限公司 | 一种事件识别算法的测试方法、装置及电子设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101354786A (zh) * | 2007-07-23 | 2009-01-28 | 中国科学院计算技术研究所 | 一种体育视频事件分析方法 |
| CN101848377A (zh) * | 2010-05-26 | 2010-09-29 | 苏州安杰瑞电子科技发展有限公司 | 一种基于云计算及海量视频检索的多视频录入装置智能联动的装置和方法 |
| CN106297278A (zh) * | 2015-05-18 | 2017-01-04 | 杭州海康威视数字技术股份有限公司 | 一种用于查询抛洒物车辆的方法和系统 |
| CN108154108A (zh) * | 2017-12-22 | 2018-06-12 | 触景无限科技（北京）有限公司 | 一种紧急事件的监测方法及装置 |
| CN108566537A (zh) * | 2018-05-16 | 2018-09-21 | 中国科学院计算技术研究所 | 用于对视频帧进行神经网络运算的图像处理装置 |
| KR20180108009A (ko) * | 2017-03-23 | 2018-10-04 | 한국전자통신연구원 | 비디오 이벤트 탐지 규칙 생성 장치 및 방법 |
| JP2019091421A (ja) * | 2017-11-15 | 2019-06-13 | 富士通株式会社 | イベント検出に用いられる深層学習ネットワーク、該ネットワークの訓練装置及び訓練方法 |
| CN110060441A (zh) * | 2019-06-14 | 2019-07-26 | 三星电子（中国）研发中心 | 用于终端防盗的方法和装置 |
| CN110119757A (zh) * | 2019-03-28 | 2019-08-13 | 北京奇艺世纪科技有限公司 | 模型训练方法、视频类别检测方法、装置、电子设备和计算机可读介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3161791A4 (en) * | 2014-06-24 | 2018-01-03 | Sportlogiq Inc. | System and method for visual event description and event analysis |
-
2019
- 2019-09-19 CN CN201910889198.6A patent/CN112528716B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101354786A (zh) * | 2007-07-23 | 2009-01-28 | 中国科学院计算技术研究所 | 一种体育视频事件分析方法 |
| CN101848377A (zh) * | 2010-05-26 | 2010-09-29 | 苏州安杰瑞电子科技发展有限公司 | 一种基于云计算及海量视频检索的多视频录入装置智能联动的装置和方法 |
| CN106297278A (zh) * | 2015-05-18 | 2017-01-04 | 杭州海康威视数字技术股份有限公司 | 一种用于查询抛洒物车辆的方法和系统 |
| KR20180108009A (ko) * | 2017-03-23 | 2018-10-04 | 한국전자통신연구원 | 비디오 이벤트 탐지 규칙 생성 장치 및 방법 |
| JP2019091421A (ja) * | 2017-11-15 | 2019-06-13 | 富士通株式会社 | イベント検出に用いられる深層学習ネットワーク、該ネットワークの訓練装置及び訓練方法 |
| CN108154108A (zh) * | 2017-12-22 | 2018-06-12 | 触景无限科技（北京）有限公司 | 一种紧急事件的监测方法及装置 |
| CN108566537A (zh) * | 2018-05-16 | 2018-09-21 | 中国科学院计算技术研究所 | 用于对视频帧进行神经网络运算的图像处理装置 |
| CN110119757A (zh) * | 2019-03-28 | 2019-08-13 | 北京奇艺世纪科技有限公司 | 模型训练方法、视频类别检测方法、装置、电子设备和计算机可读介质 |
| CN110060441A (zh) * | 2019-06-14 | 2019-07-26 | 三星电子（中国）研发中心 | 用于终端防盗的方法和装置 |
Non-Patent Citations (4)
| Title |
|---|
| 人群行为分析研究综述;王曲;赵炜琪;罗海勇;门爱东;赵方;;计算机辅助设计与图形学学报(第12期);全文 * |
| 基于深度学习的监控视频分析与事件检测;曹鑫坤;中国优秀硕士学位论文全文数据库信息科技辑(第09期);第I138-I114页 * |
| 室内视频监控中行人目标检测与跟踪方法;李德禄;黄道平;;福建电脑(第05期);全文 * |
| 智能视频监控四大技术特征分析;杨祖栋;;中国公共安全(第15期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112528716A (zh) | 2021-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112528716B (zh) | 一种事件信息获取方法及装置 | |
| US11410415B2 (en) | Processing method for augmented reality scene, terminal device, system, and computer storage medium | |
| US9210385B2 (en) | Method and system for metadata extraction from master-slave cameras tracking system | |
| CN108875465B (zh) | 多目标跟踪方法、多目标跟踪装置以及非易失性存储介质 | |
| JP2018139403A (ja) | ビデオ監視システムで警告を発する方法 | |
| JP6508041B2 (ja) | 対象物監視システム、対象物監視方法および監視対象抽出プログラム | |
| KR102217253B1 (ko) | 행동패턴 분석 장치 및 방법 | |
| US10353954B2 (en) | Information processing apparatus, method of controlling the same, and storage medium | |
| JP2017033554A (ja) | ビデオデータ分析方法、装置及び駐車場モニタリングシステム | |
| CN111814510A (zh) | 一种遗留物主体检测方法及装置 | |
| CN111079621B (zh) | 检测对象的方法、装置、电子设备和存储介质 | |
| CN113869137A (zh) | 事件检测方法、装置、终端设备及存储介质 | |
| CN110717357B (zh) | 预警方法、装置、电子设备及存储介质 | |
| CN111126317A (zh) | 一种图像处理方法、装置、服务器及存储介质 | |
| CN113470013A (zh) | 一种搬移物品的检测方法及装置 | |
| CN113221819A (zh) | 包裹暴力分拣的检测方法、装置、计算机设备和存储介质 | |
| KR101595334B1 (ko) | 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치 | |
| JP6536643B2 (ja) | 情報処理装置、制御方法、及びプログラム | |
| CN113205079B (zh) | 一种人脸检测方法、装置、电子设备及存储介质 | |
| CN110956644B (zh) | 一种运动轨迹确定方法及系统 | |
| CN111368651B (zh) | 一种车辆识别方法、装置及电子设备 | |
| US10891491B2 (en) | In-store monitoring device, in-store monitoring method, and recording medium | |
| CN112040325A (zh) | 一种视频播放方法、装置、电子设备及存储介质 | |
| KR102496462B1 (ko) | 비디오에서 키프레임 추출을 위한 알고리즘 | |
| JP6954416B2 (ja) | 情報処理装置、情報処理方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |