CN114299602A

CN114299602A - 一种微幅度动作图像处理方法

Info

Publication number: CN114299602A
Application number: CN202111317041.XA
Authority: CN
Inventors: 李军平
Original assignee: Beijing Jiuzhou Anhua Information Security Technology Co ltd
Current assignee: Beijing Jiuzhou Anhua Information Security Technology Co ltd
Priority date: 2021-11-09
Filing date: 2021-11-09
Publication date: 2022-04-08

Abstract

本申请的实施例提供了一种微幅度动作图像处理方法、装置、设备和计算机可读存储介质。所述方法包括获取人体微幅度动作图像；通过第一方法去除所述图像中的干扰因素，得到预处理图像；通过第二方法对所述预处理图像进行处理，提取所述预处理图像中的动作特征；将所述动作特征输入至特征分类模型，确定所述图像中的人体微幅度动作类别。以此方式，可以精准识别出图像中的人体微幅度动作。

Description

一种微幅度动作图像处理方法

技术领域

本申请的实施例涉及图像处理领域，尤其涉及微幅度动作图像处理方法、装置、设备和计算机可读存储介质。

背景技术

随着计算机技术的不断发展，人体动作识别技术已经成为计算机视觉领域中不可或缺的研究内容。

为了尽量减少上述案件的发生，安保工作势在必行。摄像头、安检门和安检机作为安全检查的工具之一，已被广泛应用于各机关单位等重要的场所，是目前最行之有效的安全防范工具之一。安检对于非法分子来说，多了一道坚固的铁门，令其无孔可入。

但是，当前对于不便于安装安检门和安检机的区域，以及未携带危险品的不法分子，仅通过摄像头并不能对其进行精准识别。

发明内容

根据本申请的实施例，提供了一种微幅度动作图像处理方案。

在本申请的第一方面，提供了一种微幅度动作图像处理方法。该方法包括：

获取人体微幅度动作图像；

通过第一方法去除所述图像中的干扰因素，得到预处理图像；

通过第二方法对所述预处理图像进行处理，提取所述预处理图像中的动作特征；

将所述动作特征输入至特征分类模型，确定所述图像中的人体微幅度动作类别。

进一步地，所述通过第一方法去除所述图像中的干扰因素，得到预处理图像包括：

对所述图像进行灰度化处理，得第一预处理图像；

对所述第一预处理图像进行灰度增强，得到第二预处理图像；

对所述第二预处理图像进行滤波处理，得到预处理图像。

进一步地，通过第二方法对所述预处理图像进行处理，提取所述预处理图像中的动作特征包括：

对所预处理图像进行全局特征提取，得到第一动作特征；

对所预处理图像进行局部特征提取，得到第二动作特征；

通过三维的ISM模型对所述第一、第二动作特征进行融合，得到所述预处理图像中的动作特征。

进一步地，所述对所预处理图像进行全局特征提取，得到第一动作特征包括：

对所预处理图像进行剪影，得到人体轮廓信息；

对所述人体轮廓信息进行处理，得到第一动作特征。

进一步地，所述对所预处理图像进行局部特征提取，得到第二动作特征包括：

通过时空兴趣点检测法，对所述预处理图像进行处理，提取图像中人体的各个时空兴趣点；

基于所述时空兴趣点，得到第二动作特征。

进一步地，所述通过三维的ISM模型对所述第一、第二动作特征进行融合，得到所述预处理图像中的动作特征包括：

通过AIFT算法对所述第一动作特征进行优化，得到最优第一动作特征；

通过稀疏贝叶斯算对所述第二动作特征进行优化，得到最优第二动作特征；

通过ISM模型对所述最优第一、二动作特征进行融合，得到所述预处理图像中的动作特征。

进一步地，所述特征分类模型为SVM二分类模型。

在本申请的第二方面，提供了一种微幅度动作图像处理装置。该装置包括：

获取模块，用于获取人体微幅度动作图像；

第一处理模块，用于通过第一方法去除所述图像中的干扰因素，得到预处理图像；

第二处理模块，用于通过第二方法对所述预处理图像进行处理，提取所述预处理图像中的动作特征；

分类模块，用于将所述动作特征输入至特征分类模型，确定所述图像中的人体微幅度动作类别。

在本申请的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。

在本申请的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本申请的第一方面的方法。

本申请实施例提供的微幅度动作图像处理方法，通过获取人体微幅度动作图像；通过第一方法去除所述图像中的干扰因素，得到预处理图像；通过第二方法对所述预处理图像进行处理，提取所述预处理图像中的动作特征；将所述动作特征输入至特征分类模型，确定所述图像中的人体微幅度动作类别，仅通过摄像设备即可检测出可疑人员，大幅度提升了公共场所的安全性。

应当理解，发明内容部分中所描述的内容并非旨在限定本申请的实施例的关键或重要特征，亦非用于限制本申请的范围。本申请的其它特征将通过以下的描述变得容易理解。

附图说明

结合附图并参考以下详细说明，本申请各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了本申请的实施例提供的方法所涉及的系统架构图。

图2示出了根据本申请的实施例的微幅度动作图像处理方法的流程图；

图3示出了根据本申请的实施例的微幅度动作图像处理装置的方框图；

图4示出了适于用来实现本申请实施例的终端设备或服务器的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A 和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

图1示出了可以应用本申请的微幅度动作图像处理方法或微幅度动作图像处理装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104 和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如模型训练类应用、视频识别类应用、网页浏览器应用、社交平台软件等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、 102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。

当终端101、102、103为硬件时，其上还可以安装有视频采集设备。视频采集设备可以是各种能实现采集视频功能的设备，如摄像头、传感器等等。用户可以利用终端101、102、103上的视频采集设备来采集视频。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、 103上显示的数据处理的后台服务器。后台服务器可以对接收到的数据进行分析等处理，并可以将处理结果(例如人体微幅度动作类别)反馈给终端设备。

需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。特别地，在目标数据不需要从远程获取的情况下，上述系统架构可以不包括网络，而只包括终端设备或服务器。

如图2所示，是本申请实施例的微幅度动作图像处理方法的流程图。从图2中可以看出，本实施例的微幅度动作图像处理方法，包括以下步骤：

S210，获取人体微幅度动作图像。

在本实施例中，用于微幅度动作图像处理方法的执行主体(例如图1所示的服务器)可以通过有线方式或者无线连接的方式获取人体微幅度动作图像。

进一步地，上述执行主体可以获取与之通信连接的电子设备(例如图1 所示的终端设备)发送的人体微幅度动作图像，也可以是预先存储于本地的人体微幅度动作图像。

在一些实施例中，通常所述人体微幅动作图像为，在公共场所通过摄像设备进行获取的视频图像，根据应用场景的不同，也可以为多张连续的图片。

S220，通过第一方法去除所述图像中的干扰因素，得到预处理图像。

在一些实施例中，通过分量法、最大值法、平均值法及和/或加权平均法，对图像进行灰度化处理，得到第一预处理图像；

其中，所述灰度指的是黑白图像数据中各像素点的颜色深度，即，灰度图像数据中各像素点的颜色值，图像的灰度化处理是指对彩色图进行处理，使之没有色彩也就是RGB的色彩分量都相同。二值灰度图像的像素值只有 0和1的取值，它可以为后续的图像分割、识别及分析打下坚实的基础。

在一些实施例中，可对灰度化的图像进行图像增强处理，即，灰度增强，图像增强处理的目的主要是对图像在视觉上的效果进行改善，从而提高图像的清晰度。同时图像增强处理也可以将感兴趣的特征及不感兴趣的特征进行区别，感兴趣的特征进行突出，不感兴趣的则进行抑制，从而达到扩大图像中各物体特征区别的目的，也会相应地满足一些图像分析的需求；；

具体地，在某些特定环境的影响下，例如环境光照不足、曝光过度或者不足等情况，得到的图像灰度范围会非常小，可能会导致整个图像非常模糊难以看清，因此，在本公开中，可通过线性灰度增强的方式，对第一预处理图像中的各个像素点都进行线性地拓展，可以表示为：

其中，f(x,y)表示第一预处理图像；

[a,b]为所述第一预处理图像的灰度范围；

所述g(x,y)为变化后的图像(灰度增强的图像)；

[c,d]为所述变化后图像的灰度范围；

进一步地，对图像中的灰度细节进行扩展，对需要的进行保留并强化，对不需要的图像细节灰度进行抑制排除，即，对所述图像进行分段性灰度增强，如下式所示：

其中，f(x,y)的灰度级别为0-M；

g(x,y)的灰度级别为0-N；

当a,b,c,d在取不同值的时候，有多种不同的效果:

当a＝c且b＝d的时候，上述线性灰度变换函数为一条直线，直线的斜率为1，即，图像没有发生变化；

当a>c且b<d的时候，原始图像的灰度值在[a,b]范围内是动态范围增加的，而在[0,a]以及[b,M]的范围内则是动态范围减小的，此时，原始图像中间范围内的对比度会得到一定的增强(反之则减弱)；

可见，原始图像在[a,b]范围内是呈现动态范围减小的，而在[0,a]以及[b,M] 的范围内是呈现动态范围增加的，即，通过对a,b,c,d的值进行调整就可以控制分段线性灰度变换函数的斜率，以此来对原始图像进行灰度空间的压缩或拓展。

进一步地，通过非线性变换函数对图像中的高灰度范围进行扩展，对原始图像中的低灰度范围进行一定的压缩，所述非线性变换函数包括非线性指数变换函数和非线性对数变换函数。

在一些实施例中，可通过直方图的方式对处理后的灰度图像进行展示，直观的得到图像数据的特征。即，可通过直方图规定化及直方图均衡化的方式，对处理后的灰度图像的对比度进行改变，将图像中的灰度级别分布进行直观地展示；

其中，所述直方图为一个二维图像，其横坐标表示的是图像中各像素点位置上的灰度级，纵坐标则表示的是其对应的像素出现的概率或次数。

在一些实施例中，对所述第二预处理图像，进行滤波处理，得到预处理图像；

其中，所述滤波处理包括均值滤波、平滑滤波和锐化滤波；

所述均值滤波(线性滤波)用于，对原始第二预处理图像中的各个像素值进行取均值的算法，在所述第二预处理图像中为某一点设定一个模板，对模板中的所有像素值进行取均值，然后用计算出的均值对原有的给定像素进行替换；

所述平滑滤波用于，保留第二预处理图像中的低频分量，去除或减少其中的高频分量；

其中，所述高频分量是与图像区域边缘处灰度值变化较为明显尖锐的部分相对应的，经过平滑滤波可以去除这一部分从而达到平滑图像的目的；

所述锐化滤波用于，对所述第二预处理图像的边缘或模糊的地方进行增强及恢复，其实施方式与上述平滑滤波相反，保留原始图像中的高频分量，去除或者减少其中的低频分量；

其中，低频分量一般与其中灰度值变化较为平缓的部分相对应，通过锐化滤波可以将这部分去除或者减少，此时，图像的边缘灰度值变换较为明显，尖锐的部分得到保留，图像的反差性得到增加，可使得图像边缘效果更加明显。

S230，通过第二方法对所述预处理图像进行处理，提取所述预处理图像中的动作特征。

在一些实施例中，对所预处理图像进行全局特征提取，得到第一动作特征：

具体地，通过目标跟踪和/或背景减图法对所述预处理图像进行剪影，得到人体剪影(人体轮廓信息)，根据所述人体剪影得到所述第一动作特征；

全局特征受外部环境例如环境遮挡、光照及视角变化等的影响较大，因此，在本公开中，为了提高数据的准确性，进一步地，通过局部特征提取法对所述预处理图像进行处理；

即，对所预处理图像进行局部特征提取，得到第二动作特征；

具体地，通过时空兴趣点检测法，对所述预处理图像进行处理，提取图像中人体的各个时空兴趣点；

其中，时空兴趣点检测法包括：

通过黑塞矩阵对预处理图像中的中各个点的变化强度进行衡量，设所述预处理图像为I(x，y)，点(x，y)平移(△x，△y)的自相似性函数为：

其中，W(x,y)表示(x,y)作为中心的一个图像子块；

所述w(u,v)表示加权函数；

通过泰勒展开式，I(x,y)在经过平移之后的一阶近似计算为：

其中，所述I_x和I_y为图像I(x，y)的偏导：

其中，

根据上式可将I(x,y)在点(x,y)上经过平移后的自相关函数用二次项函数进行表示：

综上，可以得到一个角点的响应值R：

R＝det M-α(trace(M))²

其中，所述detM为矩阵的行列式；

所述trace(M)为矩阵的迹；

所述α为经验常数；取值范围为0.04-0.06之间；

将得到的角点位置在所述预处理图像中进行标记，完成对人体各个时空兴趣点的提取(第二动作特征)。

在一些实施例中，通过AIFT算法对所述第一动作特征中的算子进行优化，得到最优第一动作特征；

通过稀疏贝叶斯算对所述第二动作特征进行优化，保留噪声较小且优质的特征点，得到最优第二动作特征；

通过ISM模型对所述最优第一、二动作特征进行融合，得到所述预处理图像中的动作特征；

其中，所述ISM模型为三维模型。

S240，将所述动作特征输入至特征分类模型，确定所述图像中的人体微幅度动作类别。

在一些实施例中，将所述动作特征输入至SVM模型，确定所述图像中的人体微幅度动作类别；

其中，所述SVM模型为二分类模型，可通过如下步骤进行训练：

生成训练样本集合，其中，训练样本包括带有标注信息的动作特征对应的特征向量，其中标注信息为人体微幅度动作类别；

利用所述训练样本集合中的样本对SVM模型进行训练，以带有标注信息的动作特征对应的特征向量为输入，以人体微幅度动作类别，当输出的人体微幅度动作类别与标注的人体微幅度动作类别的统一率满足预设阈值时，完成对SVM模型的训练。

进一步地，还包括：

将所述人体微幅度动作类别，和预存的危险动作数据库进行比对，确定当前人体微幅度动作的危险程度等级，并根据所述危险程度等级向相关人员推送预警信息；所述危险动作数据库中，存有所有所需的危险动作类别及与其对应的危险程度等级。

根据本申请的实施例，实现了以下技术效果：

仅通过摄像设备，即可对可疑行为和可疑人员进行识别，大幅度提升了公共场所的安全性。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。

以上是关于方法实施例的介绍，以下通过装置实施例，对本申请所述方案进行进一步说明。

图3示出了根据本申请的实施例的微幅度动作图像处理装置300的方框图。如图3所示，装置300包括：

获取模块310，用于获取人体微幅度动作图像；

第一处理模块320，用于通过第一方法去除所述图像中的干扰因素，得到预处理图像；

第二处理模块330，用于通过第二方法对所述预处理图像进行处理，提取所述预处理图像中的动作特征；

分类模块340，用于将所述动作特征输入至特征分类模型，确定所述图像中的人体微幅度动作类别。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

图4示出了可以用来实施本公开的实施例的电子设备400的示意性框图。如图所示，设备400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的计算机程序指令或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序指令，来执行各种适当的动作和处理。在RAM 403中，还可以存储设备400操作所需的各种程序和数据。CPU401、 ROM 402以及RAM 403通过总线44彼此相连。输入/输出(I/O)接口405也连接至总线404。

设备400中的多个部件连接至I/O接口405，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元 408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理单元401执行上文所描述的各个方法和处理，例如方法200。例如，在一些实施例中，方法200可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM 403并由CPU 401执行时，可以执行上文描述的方法200的一个或多个步骤。备选地，在其他实施例中，CPU 401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法200。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)等等。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器 (EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims

1.一种微幅度动作图像处理方法，其特征在于，包括：

获取人体微幅度动作图像；

2.根据权利要求1所述的方法，其特征在于，所述通过第一方法去除所述图像中的干扰因素，得到预处理图像包括：

对所述图像进行灰度化处理，得第一预处理图像；

对所述第二预处理图像进行滤波处理，得到预处理图像。

3.根据权利要求2所述的方法，其特征在于，通过第二方法对所述预处理图像进行处理，提取所述预处理图像中的动作特征包括：

对所预处理图像进行全局特征提取，得到第一动作特征；

对所预处理图像进行局部特征提取，得到第二动作特征；

4.根据权利要求3所述的方法，其特征在于，所述对所预处理图像进行全局特征提取，得到第一动作特征包括：

对所预处理图像进行剪影，得到人体轮廓信息；

对所述人体轮廓信息进行处理，得到第一动作特征。

5.根据权利要求4所述的方法，其特征在于，所述对所预处理图像进行局部特征提取，得到第二动作特征包括：

基于所述时空兴趣点，得到第二动作特征。

6.根据权利要求5所述的方法，其特征在于，所述通过三维的ISM模型对所述第一、第二动作特征进行融合，得到所述预处理图像中的动作特征包括：

7.根据权利要求6所述的方法，其特征在于，所述特征分类模型为SVM二分类模型。

8.一种微幅度动作图像处理装置，其特征在于，包括：

获取模块，用于获取人体微幅度动作图像；

9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1～7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～7中任一项所述的方法。