CN109740527A - 一种视频帧中图像处理方法 - Google Patents

Abstract

本发明提供了一种视频帧中图像处理方法，包括：获取拍摄的视频帧序列；基于预先训练好的神经网络模型根据所述视频帧序列提取当前视频的前景图像；按照预设阴影去除方法去除所述前景图像中的阴影；判断所述前景图像中是否存在异常空洞，若是，则按照预设异常空洞填充方法填充所述异常空洞。本发明能够快速准确的得到视频画面中的非背景图像的准确形状，从而便于后续的进一步处理，比如对其进行识别和基于识别结果的监控。本发明智能性高，获取的图形准确度高，具备广阔的应用前景。

Description

一种视频帧中图像处理方法

技术领域

本发明涉及图像处理领域，尤其涉及一种视频帧中图像处理方法。

背景技术

智能监控系统是采用图像处理、模式识别和计算机视觉技术，通过在监控系统中增加智能视频分析模块，借助计算机强大的数据处理能力过滤掉视频画面无用的或干扰信息、自动识别不同物体，分析抽取视频源中关键有用信息，快速准确的定位事故现场，判断监控画面中的异常情况，并以最快和最佳的方式发出警报或触发其它动作，从而有效进行事前预警，事中处理，事后及时取证的全自动、全天候、实时监控的智能系统。

现有技术中智能监控已经取得了广泛的应用，但是从流动的视频帧中提取图像，以及对提取的图像进行自动化的处理的相关技术还不甚成熟，因此难以实现完全的自动化，还需依赖人工肉眼的识别。鉴于自动进行图像处理的相关技术不甚成熟，基于图像处理技术进行自动报警的误报率较高，并且难以获取嫌疑目标的准确轮廓和精准位置。

发明内容

为了解决上述技术问题，本发明提出了一种视频帧中图像处理方法。本发明具体是以如下技术方案实现的：

一种视频帧中图像处理方法，包括：

获取拍摄的视频帧序列；

基于预先训练好的神经网络模型根据所述视频帧序列提取当前视频的前景图像；

按照预设阴影去除方法去除所述前景图像中的阴影；

判断所述前景图像中是否存在异常空洞，若是，则按照预设异常空洞填充方法填充所述异常空洞。

进一步地，采用神经网络对视频帧序列提取前景图像，

所述神经网络满足下述公式x(n+1)＝W₁u(n+1)+W₂x(n)+W₃y(n)；其中，x、y分别为输入和输出，W₁,W₂,W₃分别为所述神经网络当前输入、当前神经网络状态、当前输出到下一个神经网络状态之间的转换矩阵。

进一步地，还包括一种去除阴影的方法为：

获取预设的多向映射表和多向映射图集，所述多向映射表记录了光照时间段、光照强度段、分辨率和特征阈值之间的对应关系；所述多向映射图集中记录有多个背景图，每个背景图的特征集不同，所述特征集包括所述背景图的光照时间段、光照强度段和分辨率；

根据当前的光照时间段、光照强度段和拍摄的设备从所述多向映射图集中选择目标背景图；

根据当前的光照时间段、光照强度段和拍摄的设备从所述多向映射表中选择目标特征阈值；

根据所述目标背景图和所述目标特征阈值去除所述前景图像中的阴影。

进一步地，所述根据所述目标背景图和所述目标特征阈值去除所述前景图像中的阴影包括：

根据所述目标背景图和所述前景图像得到每个像素的亮度角差；

将角度色差小于目标特征阈值的像素点判定为阴影区予以去除。

进一步地，所述亮度角差被定义为其中分别为某个像素在其对应的背景图中的颜色向量，和所述像素在当前前景图像中的颜色向量。具体地，所述背景图与光照时间段、光照强度段、分辨率有关，所述亮度角差作为阴影和非阴影区分特征的阈值也与光照时间段、光照强度段、分辨率有关。

进一步地，所述神经网络生成方法包括：

获取神经网络生成参数，所述生成参数包括神经元聚类数、神经元密集程度参数、分布空间大小参数和神经元总数；

根据所述神经网络生成参数生成神经网络；

计算所述神经网络的状态变换矩阵W₂，所述状态变换矩阵用于根据所述神经网络的当前内部状态获取所述神经网络的下一刻内部状态。

本发明实施例详细给出了一种视频帧中图像处理方法，并给出了对其进行前景提取，阴影取出和异常空洞填充的详细技术方案，能够快速准确的得到视频画面中的非背景图像的准确形状，从而便于后续的进一步处理，比如对其进行识别和基于识别结果的监控。本发明智能性高，获取的图形准确度高，具备广阔的应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明实施例提供的一种视频帧中图像处理方法流程图；

图2是本发明实施例提供的神经网络构建方法流程图；

图3是本发明实施例提供的神经网络生成参数生成神经网络方法流程图；

图4是本发明实施例提供的根据预设生成规则以所述基础神经元为聚类中心生成神经网络方法流程图；

图5是本发明实施例提供的计算所述神经网络的状态变换矩阵流程图；

图6是本发明实施例提供的一种去除阴影的方法流程图；

图7是本发明实施例提供的一种异常空洞判断方法方法流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明提供一种视频帧中图像处理方法，如图1所示，所述方法包括：

S101.获取拍摄的视频帧序列。

具体地，本发明实施例中视频帧序列可以从球机、枪机等现有拍摄设备获取，所述拍摄设备固定在某个具体位置，其拍摄角度也不随时间变化。具体地，所述视频帧序列为由颜色向量构成的序列，所述颜色向量为RGB向量空间的向量。

S102.基于预先训练好的神经网络模型根据所述视频帧序列提取当前视频的前景图像。

S103.按照预设阴影去除方法去除所述前景图像中的阴影。

S104.判断所述前景图像中由前景图像提取步骤所造成的异常空洞，若是，则按照预设异常空洞填充方法填充所述异常空洞。

具体地，所述前景图像提取步骤即为步骤S102。由于前景图像提取，在某些场景下可能产生空洞，即使改进前景提取方法也难以彻底消除这种空洞。这种空洞不同于前景图像中物体自带的空洞，是一种异常空洞，这种异常空洞是应该被填充的；相应的，物体自带的空洞不需要被填充，而如何区分异常空洞是一个需要被解决的问题，本发明实施例具体给出了一种异常空洞的判断方法，将在后续详述。

具体地，所述异常空洞填充方法可以使用现有技术。

前景图像的提取过程受到光照，背景扰动等诸多复杂因素的影响，因此，本发明实施例优选采用神经网络对视频帧序列提取前景图像，以大数据训练为基础提升提取过程的鲁棒性。对神经网络的训练过程大同小异，可以参考现有技术，因此，本发明实施例不做赘述。不同的神经网络在机器学习过程中的表现有所不同，为了适应本发明实施例的具体需求，本发明实施例优选提供一种具体地神经网络。本发明实施例构建的神经网络具备下述特征：

所述神经网络满足下述公式x(n+1)＝W₁u(n+1)+W₂x(n)+W₃y(n)；其中，x、y分别为输入和输出，W₁,W₂,W₃分别为所述神经网络当前输入、当前神经网络状态、当前输出到下一个神经网络状态之间的转换矩阵。

具体地，W₁,W₂,W₃并不因神经网络的学习过程而变化，并且W₁,W₃均与W₂有关。事实上，神经网络的W₁,W₂,W₃三个自身参数矩阵内容相关，确定状态变换矩阵W₂即可得到唯一确定的神经网络，在神经网络的实际学习和使用过程中，并不需要知晓W₁,W₃的实际数值。状态变换矩阵W₂为表征神经网络构造的内部参数。神经网络输入输出之间的关系由输入输出矩阵唯一确定，所述输入输出矩阵通过训练而得到。

这种神经网络属于对于人脑进行生物学模拟而产生的神经网络，因此具备动力学特征更强，并且神经元之间的耦合度较低，能够在机器学习过程中有更加智能化的表现。

为了得到这种神经网络，本发明实施例给出一种优选的构建方法，如图2所示，包括：

S1.获取神经网络生成参数，所述生成参数包括神经元聚类数、神经元密集程度参数、分布空间大小参数和神经元总数。

具体地，所述神经元聚类数、神经元密集程度参数、分布空间大小参数和神经元总数均属于已知参量，其具体内容视用户的需求而定。

S2.根据所述神经网络生成参数生成神经网络。

S3.计算所述神经网络的状态变换矩阵W₂，所述状态变换矩阵用于根据所述神经网络的当前内部状态获取所述神经网络的下一刻内部状态。

在构建成功后，还应该进一步训练所述神经网络，在训练过程中得到输入输出映射矩阵，所述输入输出映射矩阵能够根据输入唯一确定输出，具体的训练方法可以参考现有技术。神经网络的输入和输出存在唯一确定关系Y＝W_outX，只需要使用现有技术中的神经网络训练方法确定输入输出映射矩阵W_out即可。

所述根据所述神经网络生成参数生成神经网络，如图3所示，包括：

S21.根据所述神经元聚类数得到基础神经元。

S22.根据预设生成规则以所述基础神经元为聚类中心生成神经网络，所述神经网络中神经元的个数与所述神经元总数相同，所述神经网络中每个神经元与其相邻的神经元均双向互联，所述神经网络中每个神经元以预设概率与自身连接。

其中，所述神经网络中每个神经元以预设概率与自身连接的含义为：所述神经网络中存在自反馈连接的神经元个数与占总神经元个数的比值为预设概率。

S23.设置与所述神经网络连接的输入节点和输出节点。

进一步地，为了便于神经网络的生成，本发明实施例可以首先在智能设备上生成神经网络的布局图，用所述布局图表现所述神经网络的各个神经元的互连关系。因此，本发明实施例从布局图的角度进一步公开了一种根据所述神经元聚类数得到基础神经元的方法，包括：获取矩形布局图的左上角边界A和右下角边界B；连接所述左上角边界A和右下角边界B得到斜对角线；对所述斜对角线进行N等分，其中N即为神经元聚类数，等分点即为基础神经元。

进一步地，所述根据预设生成规则以所述基础神经元为聚类中心生成神经网络如图4所示，包括：

S221.在所述矩形布局图内随机生成新增神经元，并将所述新增神经元p_new主动与其周围的已存在神经元p_i按照概率P(new,i)＝κe^-μd(new,i)进行连接，其中κ,μ分别为神经元密集程度参数和分布空间大小参数，d(new,i)为新增神经元与已存在神经元之间的欧氏距离。

S222.同时其周围的已存在神经元p_i按照概率P(new,i)＝κe^-μd(new,i)主动与新增神经元p_new连接。

S223.判断所述新增神经元p_new是否与至少一个所述已存在神经元p_i生成双向互连，若是，则保留所述新增神经元，所述新增神经元成为已存在神经元；若否，则删除所述新增神经元。

双向互连的神经元的构建过程中，新增神经元与其附近神经元的连接概率与距离负相关，从而能够构成距离基础神经元近的神经元个数多，距离基础神经元远的神经元个数少的神经网络。

所述计算所述神经网络的状态变换矩阵W₂，如图5所示，包括：

S231.选取靠近矩形布局图中心的基础神经元作为参考点，计算其它神经元与所述参考点的距离。

S232.按照升序排列各个神经元，所述神经元在排序结果中的位置即为所述神经元在状态变换矩阵W₂中的编号。

S233.为每个基础神经元设置聚类中心编号，确定各个神经元所属的聚类的编号。

具体地，可以根据公式C_i＝argmin(d(N_i,Z_c))得到各个神经元所属的聚类的编号，其中C_i标识神经元N_i所属聚类的编号，Z_c为聚类编号为c的基础神经元的坐标，d(N_i,Z_c)为神经元N_i与基础神经元Z_c的坐标之间的距离。

S234.计算具有互连关系的神经元之间的连接强度，并根据所述连接强度得到状态变换矩阵W₂。

具体地，所述状态变换矩阵W₂计算方法为：

S2341.计算任意两个神经元N_i，N_j之间的相互关系。

具体地，若所述两个神经元N_i，N_j坐标相同，则其相互关系为一类关系；若所述两个神经元N_i，N_j坐标不同但是属于相同聚类，则其相互关系为二类关系，否则为三类关系。

S2342.根据所述相互关系得到与所述两个神经元N_i，N_j相关的状态变换矩阵W₂的元素值w_ij。

获取一类关系对应的连接强度参量变化区间α∈[-t₁,t₁]，二类关系对应的连接强度参量变化区间β∈[-t₂,t₂]，三类关系对应的连接强度参量变化区间γ∈[-t₃,t₃]；

根据相互关系确定元素值。

具体地，其中

具体地，α的设定与神经元集群的耦合度有关，可以根据实际需要进行调整，β,γ的设定与神经网络的稳定性有关，也需要根据实际需要进行调节。

进一步地，在获取前景图像的基础上，本发明实施例进一步公开一种去除阴影的方法如图6所示，包括：

S1031.获取预设的多向映射表和多向映射图集，所述多向映射表记录了光照时间段、光照强度段、分辨率和特征阈值之间的对应关系；所述多向映射图集中记录有多个背景图，每个背景图的特征集不同，所述特征集包括所述背景图的光照时间段、光照强度段和分辨率。

本发明实施例的发明人在研究阴影与光学表现的过程中发现前景图像中阴影区域和非阴影区域的某种特征存在跳跃式变化，本发明实施例中将这种特征值定义为亮度角差，所述亮度角差被定义为其中分别为某个像素在其对应的背景图中的颜色向量，和所述像素在当前前景图像中的颜色向量。具体地，所述背景图与光照时间段、光照强度段、分辨率有关，所述亮度角差作为阴影和非阴影区分特征的阈值也与光照时间段、光照强度段、分辨率有关。

为了基于这一发现进行阴影处理，本发明实施例中预先得到了所述拍摄设备拍摄位置对应的多向映射图集。所述多向映射图集记录了在没有行人的情况下，不同光照时间段、不同光照强度段和不同分辨率的场景下得到的图像，并将所述图像作为背景图。

进一步地，基于统计结果，本发明实施例预先得到了多向映射表，所述多向映射表用于根据光照时间段、光照强度段、分辨率查询特征阈值，所述特征阈值用于区分前景中的阴影像素和非阴影像素。

S1032.根据当前的光照时间段、光照强度段和拍摄的设备从所述多向映射图集中选择目标背景图。

S1033.根据当前的光照时间段、光照强度段和拍摄的设备从所述多向映射表中选择目标特征阈值。

S1034.根据所述目标背景图和所述目标特征阈值去除所述前景图像中的阴影。

具体地，所述根据所述目标背景图和所述目标特征阈值去除所述前景图像中的阴影包括：

S10341.根据所述目标背景图和所述前景图像得到每个像素的亮度角差。

S10342.将亮度角差小于目标特征阈值的像素点判定为阴影区予以去除。

在异常空洞填充之前，优选地，本发明实施例还提供了一种异常空洞判断方法方法，如图7所示，包括：

S10.获取当前时刻前景图像中像素I(x,y)和其对应的目标背景图像B(x,y)的像素差值L(x,y)＝I(x,y)-B(x,y)。

S20.获取当前时刻的异常空洞判断阈值T(x,y)。

S30.若所述像素差值大于所述判断阈值，则判定所述像素属于异常空洞。

事实上，如果视频中拍摄到行人，则行人有很大概率是运动的，而行人的运动和静止对于异常空洞的判断的准确性会产生较大的影响，因此，优选的本发明实施中目标背景图像B(x,y)与异常空洞判断阈值T(x,y)都与时间相关，具体地其与时间的关系为：其中γ是不随时间改变的常量，可以基于经验进行设定。

进一步地，在获取像素差值之前，还包括：

获取预设的多向参数集，所述向参数集记录了光照时间段、光照强度段、分辨率和异常空洞判断基础阈值之间的对应关系。

具体地，B_t(x,y),T_t(x,y)的初始值分别为根据当前的光照时间段、光照强度段和拍摄的设备从所述多向映射图集中选择目标背景图，以及根据当前的光照时间段、光照强度段和拍摄的设备从多向参数集选择的异常空洞判断基础阈值。

根据上述标背景图像B(x,y)、异常空洞判断阈值T(x,y)与时间的关系可知，在行人发生运动的时候其内容不变，而行人是静止的时候其内容会进行更新。当然，若在其更新的过程中发生了光照时间段、光照强度段或拍摄的设备的变化，则其值将被重新初始化。

本发明实施例详细给出了一种视频帧中图像处理方法，并给出了对其进行前景提取，阴影取出和异常空洞填充的详细技术方案，能够快速准确的得到视频画面中的非背景图像的准确形状，从而便于后续的进一步处理，比如对其进行识别和基于识别结果的监控。本发明智能性高，获取的图形准确度高，具备广阔的应用前景。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种视频帧中图像处理方法，其特征在于，包括：

获取拍摄的视频帧序列；

基于预先训练好的神经网络模型根据所述视频帧序列提取当前视频的前景图像；

按照预设阴影去除方法去除所述前景图像中的阴影；

判断所述前景图像中是否存在异常空洞，若是，则按照预设异常空洞填充方法填充所述异常空洞。

2.根据权利要求1所述的方法，其特征在于：

采用神经网络对视频帧序列提取前景图像，

所述神经网络满足下述公式x(n+1)＝W₁u(n+1)+W₂x(n)+W₃y(n)；其中，x、y分别为输入和输出，W₁,W₂,W₃分别为所述神经网络当前输入、当前神经网络状态、当前输出到下一个神经网络状态之间的转换矩阵。

3.根据权利要求1所述的方法，其特征在于：

还包括一种去除阴影的方法为：

获取预设的多向映射表和多向映射图集，所述多向映射表记录了光照时间段、光照强度段、分辨率和特征阈值之间的对应关系；所述多向映射图集中记录有多个背景图，每个背景图的特征集不同，所述特征集包括所述背景图的光照时间段、光照强度段和分辨率；

根据当前的光照时间段、光照强度段和拍摄的设备从所述多向映射图集中选择目标背景图；

根据当前的光照时间段、光照强度段和拍摄的设备从所述多向映射表中选择目标特征阈值；

根据所述目标背景图和所述目标特征阈值去除所述前景图像中的阴影。

4.根据权利要求2所述的方法，其特征在于：

所述根据所述目标背景图和所述目标特征阈值去除所述前景图像中的阴影包括：

根据所述目标背景图和所述前景图像得到每个像素的亮度角差；

将角度色差小于目标特征阈值的像素点判定为阴影区予以去除。

5.根据权利要求4所述的方法，其特征在于：

所述亮度角差被定义为其中分别为某个像素在其对应的背景图中的颜色向量，和所述像素在当前前景图像中的颜色向量。具体地，所述背景图与光照时间段、光照强度段、分辨率有关，所述亮度角差作为阴影和非阴影区分特征的阈值也与光照时间段、光照强度段、分辨率有关。

6.根据权利要求2所述的方法，其特征在于：

所述神经网络生成方法包括：

获取神经网络生成参数，所述生成参数包括神经元聚类数、神经元密集程度参数、分布空间大小参数和神经元总数；

根据所述神经网络生成参数生成神经网络；

计算所述神经网络的状态变换矩阵W₂，所述状态变换矩阵用于根据所述神经网络的当前内部状态获取所述神经网络的下一刻内部状态。