CN111914673B - 目标行为的检测方法、装置及计算机可读存储介质 - Google Patents

Abstract

本发明实施例提供了一种目标行为的检测方法、装置及计算机可读存储介质。该方法包括：通过摄像设备获取视频流，并通过音频采集设备获取音频流；基于所述视频流检测是否存在目标行为，并基于所述音频流检测是否存在所述目标行为；在基于所述视频流和所述音频流都检测到存在所述目标行为的情况下，确定检测到所述目标行为。通过本发明，解决了相关技术中动作识别技术往往准确率较低，无法实现对目标行为的准确、有效的识别的问题，增加了目标行为检测的准确性。

Description

目标行为的检测方法、装置及计算机可读存储介质

技术领域

本发明实施例涉及计算机视觉及图像处理技术领域，具体而言，涉及一种目标行为的检测方法、装置及计算机可读存储介质。

背景技术

动作识别作为计算机视觉领域的研究热点，在智能监控、智能家居、虚拟现实等诸多领域中具有重要的研究意义和广泛的应用前景。

目前，随着视频监控技术的应用越来越广泛，将动作识别技术结合视频监控技术来实现监控画面中动作(包括人体动作、物体运动等等)的自动识别和监控，可以帮助人们监控和防范危险行为或危险事件，保护人的生命财产安全，提升城市的安全指数水平。

然而，目前的动作识别技术往往准确率较低，尤其是对于人的“打砸”行为、物体在大风作用下的往复运动等行为的识别都是目前难度较大的识别分析任务，如何实现对目标行为的准确、有效的识别是目前亟待解决的任务。

发明内容

本发明实施例提供了一种目标行为的检测方法、装置及计算机可读存储介质，以至少解决相关技术中动作识别技术往往准确率较低，无法实现对目标行为的准确、有效的识别的问题。

根据本发明的一个实施例，提供了一种目标行为的检测方法，包括：通过摄像设备获取视频流，并通过音频采集设备获取音频流；基于所述视频流检测是否存在目标行为，并基于所述音频流检测是否存在所述目标行为；在基于所述视频流和所述音频流都检测到存在所述目标行为的情况下，确定检测到所述目标行为。

在至少一个示例性实施例中，基于所述视频流检测是否存在目标行为包括：检测并跟踪所述视频流中的目标对象；提取所述视频流中所述目标对象的关键点，并判断所述视频流中所述目标对象的所述关键点的运动变化特征是否满足所述目标对象执行所述目标行为时所述关键点的运动变化特征；根据是否满足所述目标对象执行所述目标行为时所述关键点的运动变化特征的判断结果，确定基于所述视频流是否检测到存在所述目标行为。

在至少一个示例性实施例中，检测并跟踪所述视频流中的目标对象包括：根据所述目标对象对应的目标特征，基于所述视频流检测所述目标对象，并在检测到所述目标对象的情况下获取目标对象区域；使用背景建模方法获取所述目标对象的前景，在所述目标对象区域中对所述目标对象进行跟踪。

在至少一个示例性实施例中，所述目标对象执行所述目标行为时所述关键点的运动变化特征包括：所述关键点存在往复运动。

在至少一个示例性实施例中，基于所述音频流检测是否存在所述目标行为包括：检测所述音频流中的声音的声音变化特征是否满足所述目标对象执行所述目标行为时声音的声音变化特征；根据是否满足所述目标对象执行所述目标行为时声音的声音变化特征的判断结果，确定基于所述音频流是否检测到存在所述目标行为。

在至少一个示例性实施例中，所述目标对象执行所述目标行为时声音的声音变化特征包括：所述声音存在节律性重复。

在至少一个示例性实施例中，在基于所述视频流和所述音频流都检测到存在所述目标行为的情况下，确定检测到所述目标行为包括：在基于所述视频流和所述音频流都检测到存在所述目标行为、且所述视频流中目标对象的关键点的运动变化特征与所述音频流中的声音的声音变化特征相匹配的情况下，确定检测到所述目标行为。

在至少一个示例性实施例中，所述视频流中目标对象的关键点的运动变化特征与所述音频流中的声音的声音变化特征相匹配包括：所述关键点的往复运动的频率与所述声音的节律性重复的频率一致。

在至少一个示例性实施例中，基于所述视频流检测是否存在目标行为，并基于所述音频流检测是否存在所述目标行为之前，所述方法还包括以下至少之一：对所述视频流进行降噪；对所述音频流进行降噪。

在至少一个示例性实施例中，在确定检测到所述目标行为之后，所述方法还包括：针对所述目标行为发送报警信息。

根据本发明的另一个实施例，提供了一种目标行为的检测装置，包括：数据获取模块，设置为通过摄像设备获取视频流，并通过音频采集设备获取音频流；目标行为判断模块，设置为基于所述视频流检测是否存在目标行为，并基于所述音频流检测是否存在所述目标行为；行为综合确认模块，设置为在基于所述视频流和所述音频流都检测到存在所述目标行为的情况下，确定检测到所述目标行为。

在至少一个示例性实施例中，所述装置还包括：报警发送模块，设置为针对所述目标行为发送报警信息。

根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明实施例的方案，由于基于所述视频流检测是否存在目标行为并基于所述音频流检测是否存在所述目标行为，在基于所述视频流和所述音频流都检测到存在所述目标行为的情况下，确定检测到所述目标行为，因此，本发明实施例的方案在视频流的基础上融合声音信息进行目标行为的检测，提升检测目标行为的准确率，可以解决相关技术中动作识别技术往往准确率较低，无法实现对目标行为的准确、有效的识别的问题。

附图说明

图1是根据本发明实施例的目标行为的检测方法的流程图；

图2是根据本发明实施例的目标行为的检测方法的示例性流程图；

图3是根据本发明实施例的目标行为的检测装置的结构框图；

图4是根据本发明实施例的目标行为的检测装置的第一示例性结构框图；

图5是根据本发明实施例的目标行为的检测装置的第二示例性结构框图；

图6是根据本发明实施例的多信息融合的“打砸”行为的检测方法的流程图；

图7(a)是根据本发明实施例的人体目标18个关键点的位置分布图；

图7(b)是根据本发明实施例的人体目标14个关键点的位置分布图；

图8(a)是根据本发明实施例的“打砸”行为发生时，肩膀、手肘和手腕关键点往复运动示意图一；

图8(b)是根据本发明实施例的“打砸”行为发生时，肩膀、手肘和手腕关键点往复运动示意图二。

具体实施方式

目前的动作识别技术往往准确率较低，尤其是对于人的“打砸”行为、物体在大风作用下的往复运动等行为的识别都是目前难度较大的识别分析任务，如何实现对目标行为的准确、有效的识别是目前亟待解决的任务。另外，希望动作识别方案能够应用于多种应用场景，例如，ATM机舱使用，公共设施保护等场景。

为了解决该问题，本发明实施例提供了一种目标行为的检测方法、装置及计算机可读存储介质，该方案不限于单一场景使用，在视频流的基础上，融合了声音的额外信息，增加了目标行为判断的准确率。

下文中将参考附图并结合实施例来详细说明本发明的实施例。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在任何具有计算处理能力的设备中执行，包括但不限于终端设备、服务器、视频监控平台等等。

图1是根据本发明实施例的目标行为的检测方法的流程图，如图1所示，该流程包括如下步骤S102至S106。

步骤S102，通过摄像设备获取视频流，并通过音频采集设备获取音频流。

步骤S104，基于所述视频流检测是否存在目标行为，并基于所述音频流检测是否存在所述目标行为，其中，所述目标行为可以包括以下之一：(人或物的)打砸行为、(人或物的)碰撞行为。

步骤S104中两个检测动作之间没有特定的执行顺序限定，可以同时执行也可以先后执行，例如，可以先基于所述视频流检测是否存在目标行为，在检测到存在目标行为的情况下基于所述音频流检测是否存在所述目标行为；或者，也可以先基于所述音频流检测是否存在目标行为，在检测到存在目标行为的情况下基于所述视频流检测是否存在所述目标行为。

在至少一个示例性实施例中，所述步骤S104中基于所述视频流检测是否存在目标行为可以通过判断所述视频流中目标对象的全部或部分关键点(可以判断全部关键点，例如人体对应的18或14个关键点；为了减少运算资源，可以判断目标行为主要涉及的部分关键点，例如，打砸行为中，判断肩膀、手肘和手腕关键点即可)是否存在所述目标行为对应的运动变化特征来实现，例如，所述步骤S104中基于所述视频流检测是否存在目标行为可以包括以下步骤：

(1)检测并跟踪所述视频流中的目标对象；在至少一个示例性实施例中，检测并跟踪所述视频流中的目标对象可以通过以下方式实现：根据所述目标对象对应的目标特征，基于所述视频流检测所述目标对象，并在检测到所述目标对象的情况下获取目标对象区域；使用背景建模方法获取所述目标对象的前景，在所述目标对象区域中对所述目标对象进行跟踪。

(2)提取所述视频流中所述目标对象的关键点，并判断所述视频流中所述目标对象的所述关键点的运动变化特征是否满足所述目标对象执行所述目标行为时所述关键点的运动变化特征；在至少一个示例性实施例中，所述目标对象执行所述目标行为时所述关键点的运动变化特征包括：所述关键点存在往复运动。

(3)根据是否满足所述目标对象执行所述目标行为时所述关键点的运动变化特征的判断结果，确定基于所述视频流是否检测到存在所述目标行为。

在至少一个示例性实施例中，所述步骤S104中基于所述音频流检测是否存在所述目标行为可以通过判断所述音频流中的声音是否存在所述目标行为对应的声音变化特征来实现，例如，述步骤S104中基于所述音频流检测是否存在所述目标行为可以包括以下步骤：

(1)检测所述音频流中的声音的声音变化特征是否满足所述目标对象执行所述目标行为时声音的声音变化特征；

(2)根据是否满足所述目标对象执行所述目标行为时声音的声音变化特征的判断结果，确定基于所述音频流是否检测到存在所述目标行为。在至少一个示例性实施例中，所述目标对象执行所述目标行为时声音的声音变化特征包括：所述声音存在节律性重复。

步骤S106，在基于所述视频流和所述音频流都检测到存在所述目标行为的情况下，确定检测到所述目标行为。

在至少一个示例性实施例中，为了实现更加准确的目标行为检测，可以在基于所述视频流和所述音频流都检测到存在所述目标行为的判断条件的基础上，增加判断二者的目标行为是否匹配的检测，也就是说，步骤S106可以包括：

在基于所述视频流和所述音频流都检测到存在所述目标行为、且所述视频流中目标对象的关键点的运动变化特征与所述音频流中的声音的声音变化特征相匹配的情况下，确定检测到所述目标行为。

在至少一个示例性实施例中，所述视频流中目标对象的关键点的运动变化特征与所述音频流中的声音的声音变化特征相匹配包括：所述关键点的往复运动的频率与所述声音的节律性重复的频率一致。

图2是根据本发明实施例的目标行为的检测方法的示例性流程图，如图2所示，在至少一个示例性实施例中，步骤S104之前，所述方法还可以包括：

步骤S202，对所述视频流进行降噪，和/或，对所述音频流进行降噪。

如图2所示，在至少一个示例性实施例中，在步骤S106之后，所述方法还可以包括：

步骤S204，针对所述目标行为发送报警信息。

通过上述步骤，由于基于所述视频流检测是否存在目标行为并基于所述音频流检测是否存在所述目标行为，在基于所述视频流和所述音频流都检测到存在所述目标行为的情况下，确定检测到所述目标行为，因此，本发明实施例的方案在视频流的基础上融合声音信息进行目标行为的检测，提升检测目标行为的准确率，可以解决相关技术中动作识别技术往往准确率较低，无法实现对目标行为的准确、有效的识别的问题。

其中，上述步骤的执行主体可以为任何具有计算处理能力的设备，包括但不限于终端设备、服务器、视频监控平台等等，但不限于此。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种目标行为的检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是根据本发明实施例的目标行为的检测装置的结构框图，如图3所示，该装置包括：

数据获取模块32，设置为通过摄像设备获取视频流，并通过音频采集设备获取音频流；

目标行为判断模块34，设置为基于所述视频流检测是否存在目标行为，并基于所述音频流检测是否存在所述目标行为；

行为综合确认模块36，设置为在基于所述视频流和所述音频流都检测到存在所述目标行为的情况下，确定检测到所述目标行为。

图4是根据本发明实施例的目标行为的检测装置的第一示例性结构框图，如图4所示，在至少一个示例性实施例中，所述装置还可以包括：

报警发送模块42，设置为针对所述目标行为发送报警信息。

图5是根据本发明实施例的目标行为的检测装置的第二示例性结构框图，如图5所示，在至少一个示例性实施例中，所述装置还可以包括：

降噪模块52，设置为对所述视频流进行降噪，和/或，对所述音频流进行降噪。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在本实施例中，上述计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机程序：

步骤S1，通过摄像设备获取视频流，并通过音频采集设备获取音频流。

步骤S2，基于所述视频流检测是否存在目标行为，并基于所述音频流检测是否存在所述目标行为，其中，所述目标行为可以包括以下之一：(人或物的)打砸行为、(人或物的)碰撞行为。

步骤S3，在基于所述视频流和所述音频流都检测到存在所述目标行为的情况下，确定检测到所述目标行为。

计算机可读存储介质还被设置为存储用于执行以下步骤的计算机程序：

S4，针对所述目标行为发送报警信息。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

在一个示例性实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

步骤S1，通过摄像设备获取视频流，并通过音频采集设备获取音频流。

步骤S2，基于所述视频流检测是否存在目标行为，并基于所述音频流检测是否存在所述目标行为，其中，所述目标行为可以包括以下之一：(人或物的)打砸行为、(人或物的)碰撞行为。

步骤S3，在基于所述视频流和所述音频流都检测到存在所述目标行为的情况下，确定检测到所述目标行为。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

以下以检测人的“打砸”行为为例，详细描述本发明实施例的目标行为的检测方法的详细处理流程，为了解决“打砸”行为检测不准确的问题，本示例性实施例提供了一种多信息融合的“打砸”行为的检测方法。

图6是根据本发明实施例的多信息融合的“打砸”行为的检测方法的流程图，如图6所示，该方法包括以下主要步骤：

S601，数据采集。利用摄像头采集图像信息，利用音频采集设备获取音频信息。

S602，数据预处理。对输入的视频数据进行图像去噪，图像增强等预处理工作；对输入的音频流进行去噪等预处理。

S603，人体目标检测和跟踪。根据人体特征(比如HOG，HOF等)，对人体进行检测，获取人体区域；使用背景建模方法获取人体运动目标的前景，对人体目标进行跟踪。

S604，人体关键点提取。对跟踪的人体目标进行关键点提取。人体骨架可由18个关键点表征，本实施例利用人体关键点信息对动作行为进行建模。图7(a)是根据本发明实施例的人体目标18个关键点的位置分布图，自底向上依次为踝关节(节点10和13)、膝关节(节点9和12)、髋关节(节点8和11)、腕关节(节点4和7)、肘关节(节点3和6)、肩关节(节点2和5)，节点0为鼻子所在位置，剩下的4个节点则表示眼睛和耳朵所在位置。考虑到实际场景中眼睛和耳朵目标过小容易误检，同时降低特征的冗余度，也可以选择前14个关节点作为人体行为的底层特征数据，对已切割的行为的动态过程建模，实现“打砸”行为的识别。图7(b)是根据本发明实施例的人体目标14个关键点的位置分布图。

S605，通过关键点的变化来初步判断“打砸”行为。“打砸”行为发生时，主要跟肩膀，手肘和手腕这些关键点组成的集合密切相关。发生“打砸”动作时，肩膀，手肘和手腕等关键点在“打砸”行为发生的不同阶段表现出不同的运动状态。以右手为例，图8(a)是根据本发明实施例的“打砸”行为发生时，肩膀、手肘和手腕关键点往复运动示意图一，图8(b)是根据本发明实施例的“打砸”行为发生时，肩膀、手肘和手腕关键点往复运动示意图二，如图8所示，肩膀、手肘和手腕等关键点会出现往复运动。通过对视频流中肩膀、手肘和手腕等关键点空间位置的检测，可以初步判断“打砸”行为的发生。

S606，融合音频信息，对“打砸”行为进行复判。当从视频流中检测到肩膀，手肘和手腕等关键点出现往复运动，存在“打砸”行为时，对音频信号进行复检确认。如果视频流中肩膀，手肘和手腕等关键点往复运动的过程中，声音也随之出现规律的“异响”，就可以判断“打砸”行为真正存在。

S607，报警处理。通过融合关键点信息和声音信息，判断人体目标存在“打砸”行为，则进行报警处理。

本实施例的方案融合人体关键点信息和声音信息，对“打砸”行为进行检测，该方案不限于单一场景，比如ATM机舱使用，公共设施保护等场景。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种目标行为的检测方法，其特征在于，包括：

通过摄像设备获取视频流，并通过音频采集设备获取音频流；

基于所述视频流检测是否存在目标行为，并基于所述音频流检测是否存在所述目标行为；

在基于所述视频流和所述音频流都检测到存在所述目标行为的情况下，确定检测到所述目标行为；

其中，在基于所述视频流和所述音频流都检测到存在所述目标行为的情况下，确定检测到所述目标行为包括：在基于所述视频流和所述音频流都检测到存在所述目标行为、且所述视频流中目标对象的关键点的运动变化特征与所述音频流中的声音的声音变化特征相匹配的情况下，确定检测到所述目标行为；

其中，所述视频流中目标对象的关键点的运动变化特征与所述音频流中的声音的声音变化特征相匹配包括：所述关键点的往复运动的频率与所述声音的节律性重复的频率一致。

2.根据权利要求1所述的目标行为的检测方法，其特征在于，基于所述视频流检测是否存在目标行为包括：

检测并跟踪所述视频流中的目标对象；

提取所述视频流中所述目标对象的关键点，并判断所述视频流中所述目标对象的所述关键点的运动变化特征是否满足所述目标对象执行所述目标行为时所述关键点的运动变化特征；

根据是否满足所述目标对象执行所述目标行为时所述关键点的运动变化特征的判断结果，确定基于所述视频流是否检测到存在所述目标行为。

3.根据权利要求2所述的目标行为的检测方法，其特征在于，检测并跟踪所述视频流中的目标对象包括：

根据所述目标对象对应的目标特征，基于所述视频流检测所述目标对象，并在检测到所述目标对象的情况下获取目标对象区域；

使用背景建模方法获取所述目标对象的前景，在所述目标对象区域中对所述目标对象进行跟踪。

4.根据权利要求2所述的目标行为的检测方法，其特征在于，所述目标对象执行所述目标行为时所述关键点的运动变化特征包括：所述关键点存在往复运动。

5.根据权利要求1所述的目标行为的检测方法，其特征在于，基于所述音频流检测是否存在所述目标行为包括：

检测所述音频流中的声音的声音变化特征是否满足所述目标对象执行所述目标行为时声音的声音变化特征；

根据是否满足所述目标对象执行所述目标行为时声音的声音变化特征的判断结果，确定基于所述音频流是否检测到存在所述目标行为。

6.根据权利要求5所述的目标行为的检测方法，其特征在于，所述目标对象执行所述目标行为时声音的声音变化特征包括：所述声音存在节律性重复。

7.根据权利要求1至6中任一项所述的目标行为的检测方法，其特征在于，基于所述视频流检测是否存在目标行为，并基于所述音频流检测是否存在所述目标行为之前，所述方法还包括以下至少之一：

对所述视频流进行降噪；

对所述音频流进行降噪。

8.根据权利要求1至6中任一项所述的目标行为的检测方法，其特征在于，在确定检测到所述目标行为之后，所述方法还包括：

针对所述目标行为发送报警信息。

9.一种目标行为的检测装置，其特征在于，包括：

数据获取模块，设置为通过摄像设备获取视频流，并通过音频采集设备获取音频流；

目标行为判断模块，设置为基于所述视频流检测是否存在目标行为，并基于所述音频流检测是否存在所述目标行为；

行为综合确认模块，设置为在基于所述视频流和所述音频流都检测到存在所述目标行为的情况下，确定检测到所述目标行为；

其中，行为综合确认模块，设置为在基于所述视频流和所述音频流都检测到存在所述目标行为、且所述视频流中目标对象的关键点的运动变化特征与所述音频流中的声音的声音变化特征相匹配的情况下，确定检测到所述目标行为；

其中，所述视频流中目标对象的关键点的运动变化特征与所述音频流中的声音的声音变化特征相匹配包括：所述关键点的往复运动的频率与所述声音的节律性重复的频率一致。

10.根据权利要求9所述的目标行为的检测装置，其特征在于，所述装置还包括：

报警发送模块，设置为针对所述目标行为发送报警信息。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至8任一项中所述的目标行为的检测方法。

Images