CN112637593B - 基于人工智能和视频分析的视频编码优化方法 - Google Patents

Abstract

本发明公开了一种基于人工智能和视频分析的视频编码优化方法。包括：为视频帧图像的各像素点匹配高斯模型；根据视频帧图像的语义分割图生成辅助修正矩阵；遍历视频帧图像中的像素点，若像素点存在匹配的高斯模型，且匹配的高斯模型与像素点的语义类别相同，则对匹配的高斯模型进行更新，否则根据辅助修正矩阵对高斯模型进行修正；当混合高斯模型的参数趋于稳定，进行背景建模，根据当前背景下视频帧图像的前景信息、色彩信息、亮度信息动态调节视频量化参数。利用本发明，提高了视频编码方法的有效性。

Description

基于人工智能和视频分析的视频编码优化方法

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于人工智能和视频分析的视频编码优化方法。

背景技术

目前视频编码优化的方法通常为根据误差分析等方式得到最优的量化参数。然而并未考虑到以视频中感兴趣信息作为因素选择量化参数，其实现难点在于，现有背景建模方法容易出现误判，且感兴趣信息(前景运动信息)难以量化。

发明内容

本发明的目的在于针对上述现有技术存在的缺陷，提出一种基于人工智能和视频分析的视频编码优化方法。

一种基于人工智能和视频分析的视频编码优化方法，该方法包括：

步骤1，为视频帧图像的各像素点匹配高斯模型；

步骤2，根据视频帧图像的语义分割图生成辅助修正矩阵：若像素点不存在匹配的高斯模型，则像素点对应的辅助修正矩阵元素为第一设定值；若像素点存在匹配的高斯模型，但匹配的高斯模型类别与语义分割图中像素点的语义类别不同，则像素点对应的辅助修正矩阵元素为第二设定值；若像素点存在匹配的高斯模型，且匹配的高斯模型类别与语义分割图中像素点的语义类别相同，则像素点对应的辅助修正矩阵元素为第三设定值；

步骤3，遍历视频帧图像中的像素点，若像素点存在匹配的高斯模型，且匹配的高斯模型的类别与像素点的语义类别相同，则对混合高斯模型进行更新，否则在辅助修正矩阵中确定以像素点位置为中心的分块矩阵，根据分块矩阵与预设模板的卷积计算结果确定修正指标，若修正指标大于第一阈值，则对下一像素点进行分析，若修正指标小于等于第一阈值，则根据修正指标确定标准差修正系数、权重修正系数，根据像素点的像素值构建新增高斯模型或确定最接近高斯模型，利用标准差修正系数对新增高斯模型或最接近高斯模型的标准差进行修正，利用权重修正系数对新增高斯模型或最接近高斯模型的权重进行修正；

步骤4，当混合高斯模型的参数趋于稳定，进行背景建模，根据当前背景下视频帧图像的前景信息、色彩信息、亮度信息动态调节视频量化参数。

所述根据分块矩阵与预设模板的卷积计算结果确定修正指标包括：

计算修正指标：

其中，A′为分块矩阵，B为预设模板，Size为预设模板尺寸，V₁为辅助修正矩阵中像素点的值。

所述若修正指标小于等于第一阈值，则根据修正指标确定标准差修正系数、权重修正系数，根据像素点的像素值构建新增高斯模型或确定最接近高斯模型，利用标准差修正系数对新增高斯模型或最接近高斯模型的标准差进行修正，利用权重修正系数对新增高斯模型或最接近高斯模型的权重进行修正具体为：

若修正指标小于等于第一阈值且小于第二阈值，第二阈值小于第一阈值，则以像素点的像素值作为新增高斯模型的均值，新增高斯模型的类别为分块矩阵中各像素点语义类别频次较大的类别，根据修正指标计算第一标准差修正系数、第一权重修正系数，利用第一标准差修正系数对新增高斯模型所属类别的高斯模型最大标准差进行修正并将修正结果作为新增高斯模型的标准差，利用第一权重修正系数对新增高斯模型所属类别的高斯模型最小权重进行修正并将修正结果作为新增高斯模型的权重；若修正指标大于等于第二阈值且小于等于第一阈值，则以均值与分块矩阵对应图像块的像素均值最接近的高斯模型为最接近高斯模型，并将最接近高斯模型的类别修正为另一类别，根据修正指标计算第二标准差修正系数、第二权重修正系数，利用第二标准差修正系数对最接近高斯模型的标准差进行修正，利用第二权重修正系数对最接近高斯模型的权重进行修正。

所述第一设定值为0，所述第二设定值为1，所述第三设定值为2。

所述预设模板尺寸为3*3，所述根据修正指标计算第一标准差修正系数、第一权重修正系数具体为：w₁＝w₂＝1-2α，其中，w₁为第一标准差修正系数，w₂为第一权重修正系数；所述根据修正指标计算第二标准差修正系数、第二权重修正系数具体为：

其中，w₃为第二标准差修正系数，w₄为第二权重修正系数。

该方法还包括对视频帧图像的前景信息的量化：

获取相邻两视频帧图像I_n-1，I_n的背景二值图像B_n-1，B_n；对I_n-1，I_n进行帧间差分，得到差分二值图像I′，计算帧差评价指标

其中，I为与视频帧图像等大且各点像素值均为前景类别值的图像，B′＝B_n-1∩B_n，N_{((I-B′)∩I′)}为(I-B′)和I′交集图像中前景类别的像素点个数，N(I′)为I′中前景类别的像素点个数；

根据帧差评价指标计算前景复杂度指标：

其中，a为前景评分参数的权重，b为帧差评分参数的权重，a≥0且b≥0，并满足a+b＝1，

x表示第x帧视频帧图像，X为当前背景下视频帧的总帧数，N_b，x为第x帧视频帧图像中属于背景像素的像素点个数，N_x为第x帧视频帧图像中像素点的总个数。

该方法还包括对视频帧图像的色彩信息、亮度信息的量化：

将视频帧图像转换至HIS色彩空间，计算亮度I通道均方差Z_I和色调H通道均方差Z_H，可量化程度指标

其中，c为亮度信息的权重，d为色调信息的权重，c≥0且d≥0，并满足c+d＝1。

所述根据当前背景下视频帧图像的前景信息、色彩信息、亮度信息动态调节视频量化参数包括：

若前景复杂度指标大于等于第三阈值，量化参数设置区间为0～17，否则量化参数设置区间为17～51，并进一步进行可量化程度指标的判断，若可量化程度指标大于等于第四阈值，量化参数设置区间为17～34，否则量化参数设置区间为34～51。

该方法还包括：判断视频背景是否转换，若背景转换，则重置混合高斯模型。

所述判断视频背景是否转换包括：根据相邻视频帧图像的差分图像是否突变判断视频背景是否转换。

本发明与现有技术相比，具有以下有益效果：

通过语义分割结果作为真实类别，减少了混合高斯模型更新的计算量。通过修正模型对混合高斯模型进行更新，不仅提高了高斯模型的精度和收敛效率，而且有效避免了噪点对于模型的影响。通过前景复杂度指标和可量化程度指标对量化参数进行调节，相比于现有技术，更好地保留了前景运动信息。

附图说明

图1为本发明方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明提供一种基于人工智能和视频分析的视频编码优化方法。图1为本发明方法的流程图。下面通过具体实施例来进行说明。

实施例1：

基于人工智能和视频分析的视频编码优化方法包括：

步骤1，为视频帧图像的各像素点匹配高斯模型。

从视频流中提取单帧图像以及相邻多帧图像。具体地，提取两类处理对象，第一类对象为单帧视频帧图像，第二类对象为相邻的多帧视频帧图像，设所提取的第一类对象为I_n，则第二类对象包括多帧图像，···I_n-1,I_n,I_n+1···。需要说明的是，上述待压缩编码优化的视频为同一相机拍摄获得，因此各帧图像的尺寸不变且采样时间固定。

本发明通过混合高斯模型进行背景建模，并根据前景信息、色彩信息等进行量化参数的调节。混合高斯模型背景建模为常用的背景建模方法，通常由于真实类别的不确定，混合高斯模型的训练最常用的方法为期望最大算法(EM)，EM算法存在的问题在于，其并不能保证得到全局最大值，而是找到局部最大值。因此，本申请采用语义分割图结果作为真实类别。

通过语义分割网络输出单帧视频帧图像的像素点的类别。该操作的目的为将图像作为输入送入语义分割网络，输出语义分割图，并根据语义分割图生成遮罩，后续以语义分割图中的像素点类别作为修正参数进行混合高斯模型的修正。所述语义分割网络工作的具体步骤为：语义分割网络的输入为第一类对象I_n，通过语义分割编码器进行卷积和池化提取特征，目标检测编码器的输出为特征图，所述特征图通过Flatten(展开)操作后送入语义分割解码器中，语义分割解码器输出为语义分割图，语义分割图中像素点类别为两类，前景类别和背景类别。所述语义分割图通过语义分割解码器上采样获取，与原图等大，因此对于像素点，可获得其对应的语义类别。语义分割网络具体训练方法为：任选多段视频中尺寸相同的多帧图像作为训练数据集，训练集标注为像素级标注，标注类别为两类，前景类别对应索引0，背景类别对应索引1，标注数据应经过独热编码，以交叉熵损失函数作为损失函数。

根据第一帧视频帧图像初始化混合高斯模型。本发明混合高斯模型的初始化包括两类，高斯模型的初始类别由第一帧视频帧图像的语义分割图确定，若像素值语义类别为前景的更多，则高斯模型的初始类别为前景，若像素值语义类别为背景的更多，则高斯模型的初始类别为背景。传统的混合高斯模型不区分类别，可能将前景误判为背景，本发明高斯模型包括前景、背景两类，并利用语义分割图对高斯模型类别进行辅助判断，提高了背景建模的准确度。

对于第二帧及以后的视频帧帧图像中的单个像素点，根据像素点的像素值进行高斯模型的匹配，并根据像素点的坐标得到像素位置在语义分割图中对应的语义类别。

具体地，对于某一像素点P_(i，j)，设其像素值为V_(i，j)，i为像素点在图像中的列数，j为像素点在图像中的行数，与当前K个高斯模型进行匹配，若找到满足匹配条件的模型，则根据高斯模型类别与像素点语义类别判断是否需要修正高斯模型，所述匹配条件为：|V_(i，j)-μ_m，t-1|≤2.5σ_m，t-1，式中μ_m，t-1为前一帧，也即t-1帧中第m个高斯模型的均值，σ_m，t-1为标准差。

步骤2，根据视频帧图像的语义分割图生成辅助修正矩阵：若像素点不存在匹配的高斯模型，则像素点对应的辅助修正矩阵元素为第一设定值；若像素点存在匹配的高斯模型，但匹配的高斯模型类别与语义分割图中像素点的语义类别不同，则像素点对应的辅助修正矩阵元素为第二设定值；若像素点存在匹配的高斯模型，且匹配的高斯模型类别与语义分割图中像素点的语义类别相同，则像素点对应的辅助修正矩阵元素为第三设定值。本发明将语义分割图作为真实分类，与混合高斯模型的类别进行对比，确定辅助修正矩阵以及混合高斯模型的修正方式。所述第一设定值为0，所述第二设定值为1，所述第三设定值为2。即未实现模型匹配的像素点对应的矩阵元素设置为0，实现模型匹配但匹配类别与真实类别不同的像素点对应的矩阵元素设置为1，实现模型匹配且匹配类别与真实类别相同的像素点对应的矩阵元素设置为2。

步骤3，遍历视频帧图像中的像素点，若像素点存在匹配的高斯模型，且匹配的高斯模型的类别与像素点的语义类别相同，则对混合高斯模型进行更新，否则在辅助修正矩阵中确定以像素点位置为中心的分块矩阵，根据分块矩阵与预设模板的卷积计算结果确定修正指标，若修正指标大于第一阈值，则对下一像素点进行分析，若修正指标小于等于第一阈值，则根据修正指标确定标准差修正系数、权重修正系数，根据像素点的像素值构建新增高斯模型或确定最接近高斯模型，利用标准差修正系数对新增高斯模型或最接近高斯模型的标准差进行修正，利用权重修正系数对新增高斯模型或最接近高斯模型的权重进行修正。该步骤构建修正模型对混合高斯模型进行修正，其目的为提高混合高斯模型背景建模的准确率，在准确率稳定后，所述语义分割网络以及先验修正模型可停止工作，以提高视频分析的速率。

针对视频帧图像中的像素点，若存在匹配的高斯模型，且高斯模型类别与像素点的语义类别相同，则对混合高斯模型进行更新。首先更新高斯模型的权重，每当一个高斯模型匹配，则该高斯模型对应的权重更新值M_m，t＝1，该高斯模型类别中未接收到匹配的高斯模型M_m，t＝0，其中，t为第t次匹配，m为所属类别高斯模型中第m个高斯模型。权重更新方式为w_m，t＝(1-α)*w_m，t-1+α*M_m，t，式中，w_m，t为第t次匹配后第m个高斯模型更新后的权重，w_m，t-1为第t-1次第m个高斯模型的权重，α为更新速率，设置α的原因在于避免因误检造成权重更新速度过快，在本发明中α取值为0.05。需要说明的是，所述权重需要经过归一化处理。高斯模型模型参数更新方式为：ρ＝α*η(V_(i，j)|μ_m，σ_m)，μ_m，t＝(1-ρ)*μ_m，t-1+ρ*V_(i，j)，

式中，ρ为高斯模型更新速率，η表示高斯模型。

若视频帧图像中的像素点不存在匹配的高斯模型或匹配的高斯模型与像素点的语义类别不同，则需要对高斯模型进行修正。本实施例中，预设模板为

获取当前所分析像素点的八连通域，记八连通域对应的像素点与所分析像素点构成的区域为正方形A。在辅助修正矩阵中确定正方形A对应的分块矩阵，将正方形A等比映射到辅助修正矩阵即得到正方形A′。

计算修正指标：

其中，A′为分块矩阵，B为预设模板，Size为预设模板尺寸，V₁为辅助修正矩阵中像素点的值。在本实施例中，Size为9。具体地，若修正指标小于等于第一阈值且小于第二阈值，第二阈值小于第一阈值，则以像素点的像素值作为新增高斯模型的均值，新增高斯模型的类别为分块矩阵中各像素点语义类别频次较大的类别，根据修正指标计算第一标准差修正系数、第一权重修正系数，利用第一标准差修正系数对新增高斯模型所属类别的高斯模型最大标准差进行修正并将修正结果作为新增高斯模型的标准差，利用第一权重修正系数对新增高斯模型所属类别的高斯模型最小权重进行修正并将修正结果作为新增高斯模型的权重；若修正指标大于等于第二阈值且小于等于第一阈值，则以均值与分块矩阵对应图像块的像素均值最接近的高斯模型为最接近高斯模型，并将最接近高斯模型的类别修正为另一类别，根据修正指标计算第二标准差修正系数、第二权重修正系数，利用第二标准差修正系数对最接近高斯模型的标准差进行修正，利用第二权重修正系数对最接近高斯模型的权重进行修正。第一标准差修正系数、第一权重修正系数应当满足：随修正指标的增大而减小，且值域为[0，1]；第二标准差修正系数应当满足：随修正指标的增大而减小，且值域为[0.5，1]；第二权重修正系数应当满足：随修正指标的增大而增大，且值域为[0.5，1]。优选地，所述根据修正指标计算第一标准差修正系数、第一权重修正系数具体为：w₁＝w₂＝1-2α，其中，w₁为第一标准差修正系数，w₂为第一权重修正系数；所述根据修正指标计算第二标准差修正系数、第二权重修正系数具体为：

其中，w₃为第二标准差修正系数，w₄为第二权重修正系数。

具体地，首先根据语义分割图结果，判断正方形A所属的真实类别即确定分块矩阵中各像素点语义类别频次较大的类别，由于为3*3尺寸，因此根据对应类别的像素点的个数将正方形A分为背景类和前景类。优选地，第一阈值应当设置为接近于或等于第三设定值的数值，第二阈值为接近于第一设定值的数值。在本实施例下，第一阈值取2，第二阈值取0.5。当α＜0.5时，此时说明现有混合高斯模型未包含足够的高斯模型，将所分析像素对应的模型更新至混合高斯模型中，类别对应正方形A的类别，具体更新方法为：以所分析像素作为新增高斯模型的均值，取混合模型中各高斯模型最大的标准差，乘上修正系数w₁后的值作为新增模型的标准差，取混合模型中各高斯模型最小的权重乘上修正系数w₂后的值作为新增模型的权重，其中，w₁＝w₂＝1-2α，修正系数的目的在于，当α越接近0时，所分析像素越有可能属于未匹配情况，此时，w₁更加接近1，以确保新的高斯模型区间长度足够大，可以包含未匹配像素点，否则，降低新增高斯模型区间长度，避免干扰其他高斯模型的判断结果，当α越接近0时，所分析像素越有可能属于未匹配情况，此时，w₂也更加接近1，以确保新增高斯模型具有一定的权重，否则，降低该高斯模型的权重，避免影响整个混合高斯模型的修正。需要说明的是，新增高斯模型可以替代所属类别的最小权重的高斯模型，也可以不替代只新增，每次修正后需要对高斯模型的权重进行归一化。当0.5≤α≤2时，此时说明现有高斯模型类别对应错误，寻找均值与正方形A内像素均值最接近的高斯模型，将该高斯模型类别修正为另一类别，如将前景类修正为背景类，然后对最接近高斯模型的标准差和均值进行调整，具体为：标准差乘上修正系数w₃后的值作为新的标准差，权重乘上修正系数w₄后的值作为新的权重，其中，

w₃与w₄值域均为[0.5，1]，修正系数的目的在于，当α越接近2时，所分析像素越有可能属于匹配错误情况，此时，w₃更加接近0.5，即降低高斯模型的区间长度，避免干扰其他修正前类别对应的高斯模型的判断结果，否则，w₃更加接近1，令其匹配时可以结合修正后类别对应的其他高斯模型进行判断。当α越接近2时，所分析像素越有可能属于匹配错误情况，此时，w₄也更加接近1，以确保修正后的高斯模型具有一定的权重，否则，降低最接近高斯模型的权重，避免影响整个混合高斯模型的修正；当α＞2时，此时说明所分析像素可能为噪声等因素产生的误检，不作处理，分析下一像素；需要说明的是，上述实施例中修正系数均与α为线性关系，实施者在实际应用中可采用其他满足相关关系的函数更好地描述其关系，但第一标准差修正系数、第一权重修正系数应当满足：随修正指标的增大而减小，且值域为[0，1]；第二标准差修正系数应当满足：随修正指标的增大而减小，且值域为[0.5，1]；第二权重修正系数应当满足：随修正指标的增大而增大，且值域为[0.5，1]。

步骤4，当混合高斯模型的参数趋于稳定，进行背景建模，根据当前背景下视频帧图像的前景信息、色彩信息、亮度信息动态调节视频量化参数。

当参数更新趋于稳定时，可停止进行修正，以降低系统功耗，提高系统运行速率，此时，所述语义分割网络停止工作。通过修正后的混合高斯模型进行背景建模，并统计背景像素在图像中的占比。该步骤的目的为通过修正后的混合高斯模型进行背景建模，并分析属于背景的像素所占图像比例，为后续进行前景复杂度提供参数，能够带来的好处为：通过前述修正后的混合高斯模型可更准确区分背景前景，在计算前景复杂度时更加准确，能有效避免因误判导致后续压缩策略的不合理设置。对于当前背景对应的视频段的多帧视频帧图像，逐一选取单帧图像进行处理，遍历单帧图像上所有像素点，根据像素点所属类别获取背景像素在图像中的占比，

式中，β为在一段视频中背景像素占图像比例均值，x表示第x帧视频帧图像，X为当前背景下视频帧的总帧数，N_bx为第x帧视频帧图像中属于背景像素的像素点个数，N_x为第x帧视频帧图像中像素点的总个数。

仅通过背景建模或帧间差分难以全面表现出视频信息的复杂度，将二者结合起来有利于排除背景噪声对前景运动信息的干扰。本发明对相邻多帧图像进行帧差处理，并结合背景模型分析前景信息的复杂度。通过帧差处理获取帧间运动信息，结合一段视频中背景像素在图像中的占比β分析视频信息的复杂度。设所选择进行帧间差分的两帧图像为I_n-1，I_n，两帧图像各自对应的背景二值图像为B_n-1，B_n，B′＝B_n-1∩B_n，B′为背景二值图像的交集，即对于同一坐标的像素点，在两帧图像内均为背景类时，才作为最终用于评价帧差的背景图，由帧差得到的绝对值小于阈值的点设置为0，大于等于阈值的点设置为1，得到差分二值图像I′，帧差评价指标

式中，N_{((I-B′)∩I′)}为(I-B′)和I′交集图像中像素值为1的像素点个数，其中I为与原图等大且各点像素值均为1的图像，N(I′)为I′图像中像素值为1的像素点个数，γ值域为[0，1]，帧差评价指标为前景像素点个数占差分像素点个数的比值，用于表示差分图像中有效信息的占比。构建前景复杂度分析模型：

式中，δ为复杂度指标，a为前景评分参数的权重，b为帧差评分参数的权重，a≥0且b≥0，并满足a+b＝1，在本发明中设置a为0.4，b为0.6，实施者也可根据实际情况自行调整a和b的取值，e^(1-β)和e^γ采用指数函数的目的在于表示该项参数随指标变化的趋势，即β越小，γ越大，指标上升趋势越大，δ值域为[0，1]，也即靠近1的速率越快。

然后，通过可量化程度模型分析亮度和色调指标的可压缩性。该步骤的目的为通过图像的亮度和色调信息，进行可量化程度，判断可压缩性，能够带来的好处为，避免在视频压缩时丢失较为重要的图像信息。该步骤对象为单帧图像，单帧RGB图像需要转换至HSI色彩空间，求亮度I通道均方差Z_I和色调H通道均方差Z_H，采用均方差为了表示信息的离散程度，可量化程度指标

其中I取值范围为[0，1]，H取值范围为[0°，360°]，因此采用不同的归一化方式，式中，ε值域为[0，1]，c为亮度信息的权重，d为色调信息的权重，c≥0且d≥0，并满足c+d＝1，在本发明中设置c为0.5，d为0.5。

根据可量化程度模型以及前景复杂度进行量化参数的调节，根据调节后的量化参数进行视频的编码。若前景复杂度指标大于等于第三阈值，量化参数设置区间为0～17，否则量化参数设置区间为17～51，并进一步进行可量化程度指标的判断，若可量化程度指标大于等于第四阈值，量化参数设置区间为17～34，否则量化参数设置区间为34～51。该步骤的目的为通过上述前景复杂度指标和可量化程度指标，进行量化参数调节方式的选择，能够带来的好处为，避免在视频压缩时丢失较为重要的前景信息或颜色信息。需要说明的是，复杂度指标需要两帧图像，可量化程度指标需要一帧图像，因此在调节量化参数时，复杂度指标对应两帧图像可量化程度指标的均值，整段视频以两帧为单位进行量化参数的调节。首先判断复杂度指标，当该指标大于等于第三阈值Margin₁时，判断存在重要信息，量化参数设置区间为[0，17)，当该指标小于第三阈值Margin₁时，判断此时视频信息较少，量化参数设置区间为[17，51]，在本发明中Margin₁设置为0.4；当判断量化参数设置区间为[17～51]时，进行可量化评价指标的判断，当该指标大于等于第四阈值Margin₂时，判断视频颜色信息较为丰富，量化参数设置区间为[17，34)，当该指标小于第四阈值Margin₂时，判断视频颜色信息较为简单，量化参数设置区间为[34，51]，在本发明中Margin₂设置为0.5。需要说明的是，17、34等临界值属于哪一个区间，实施者可以自由设定。

进一步地，通过帧差结果进行背景转换分析，选择何时重置高斯模型。该步骤的目的为通过帧差处理获取帧间运动信息，对比两次帧差结果差异，判断是否存在背景转换情况，能够带来的好处为，避免视频中场景出现转换的现象导致按上述方式分析出现较大误差。该步骤对象为I_n-1，I_n，I_n+1三帧图像，相邻两帧间进行帧间差分处理，即I_n-1，I_n的差分结果

与I_n，I_n+1的差分结果

求取差分图像的灰度均值之差的绝对值，并与预设阈值比较，大于等于阈值时判断为出现背景转换情况，此时需要重置并重新修正高斯模型。所述预设阈值在本发明中设置为1020，实施者可根据实际情况自行调节该预设阈值。

以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于人工智能和视频分析的视频编码优化方法，其特征在于，该方法包括：

步骤1，为视频帧图像的各像素点匹配高斯模型；

步骤2，根据视频帧图像的语义分割图生成辅助修正矩阵：若像素点不存在匹配的高斯模型，则像素点对应的辅助修正矩阵元素为第一设定值；若像素点存在匹配的高斯模型，但匹配的高斯模型类别与语义分割图中像素点的语义类别不同，则像素点对应的辅助修正矩阵元素为第二设定值；若像素点存在匹配的高斯模型，且匹配的高斯模型类别与语义分割图中像素点的语义类别相同，则像素点对应的辅助修正矩阵元素为第三设定值；所述第一设定值为0，所述第二设定值为1，所述第三设定值为2；

步骤3，遍历视频帧图像中的像素点，若像素点存在匹配的高斯模型，且匹配的高斯模型与像素点的语义类别相同，则对混合高斯模型进行更新，否则在辅助修正矩阵中确定以像素点位置为中心的分块矩阵，根据分块矩阵与预设模板的卷积计算结果确定修正指标，若修正指标大于第一阈值，则对下一像素点进行分析，若修正指标小于等于第一阈值，则根据修正指标确定标准差修正系数、权重修正系数，根据像素点的像素值构建新增高斯模型或确定最接近高斯模型，利用标准差修正系数对新增高斯模型或最接近高斯模型的标准差进行修正，利用权重修正系数对新增高斯模型或最接近高斯模型的权重进行修正；所述根据分块矩阵与预设模板的卷积计算结果确定修正指标包括：计算修正指标：

其中，A′为分块矩阵，B为预设模板，Size为预设模板尺寸，V₁为辅助修正矩阵中像素点的值；

步骤4，当混合高斯模型的参数趋于稳定，进行背景建模，根据当前背景下视频帧图像的前景信息、色彩信息、亮度信息动态调节视频量化参数：若前景复杂度指标大于等于第三阈值，量化参数设置区间为0～17，否则量化参数设置区间为17～51，并进一步进行可量化程度指标的判断，若可量化程度指标大于等于第四阈值，量化参数设置区间为17～34，否则量化参数设置区间为34～51；根据调节后的量化参数进行视频的编码；其中，可量化程度指标的获取方式包括：将视频帧图像转换至HIS色彩空间，计算亮度I通道均方差Z_I和色调H通道均方差Z_H，可量化程度指标

其中，c为亮度信息的权重，d为色调信息的权重，c≥0且d≥0，并满足c+d＝1。

2.如权利要求1所述的方法，其特征在于，所述若修正指标小于等于第一阈值，则根据修正指标确定标准差修正系数、权重修正系数，根据像素点的像素值构建新增高斯模型或确定最接近高斯模型，利用标准差修正系数对新增高斯模型或最接近高斯模型的标准差进行修正，利用权重修正系数对新增高斯模型或最接近高斯模型的权重进行修正具体为：

若修正指标小于等于第一阈值且小于第二阈值，第二阈值小于第一阈值，则以像素点的像素值作为新增高斯模型的均值，新增高斯模型的类别为分块矩阵中各像素点语义类别频次较大的类别，根据修正指标计算第一标准差修正系数、第一权重修正系数，利用第一标准差修正系数对新增高斯模型所属类别的高斯模型最大标准差进行修正并将修正结果作为新增高斯模型的标准差，利用第一权重修正系数对新增高斯模型所属类别的高斯模型最小权重进行修正并将修正结果作为新增高斯模型的权重；若修正指标大于等于第二阈值且小于等于第一阈值，则以均值与分块矩阵对应图像块的像素均值最接近的高斯模型为最接近高斯模型，并将最接近高斯模型的类别修正为另一类别，根据修正指标计算第二标准差修正系数、第二权重修正系数，利用第二标准差修正系数对最接近高斯模型的标准差进行修正，利用第二权重修正系数对最接近高斯模型的权重进行修正。

3.如权利要求2所述的方法，其特征在于，所述预设模板尺寸为3*3，所述根据修正指标计算第一标准差修正系数、第一权重修正系数具体为：w₁＝w₂＝1-2α，其中，w₁为第一标准差修正系数，w₂为第一权重修正系数；所述根据修正指标计算第二标准差修正系数、第二权重修正系数具体为：

其中，w₃为第二标准差修正系数，w₄为第二权重修正系数。

4.如权利要求1所述的方法，其特征在于，该方法还包括对视频帧图像的前景信息的量化：

获取相邻两视频帧图像I_n-1,I_n的背景二值图像B_n-1,B_n；对I_n-1,I_n进行帧间差分，得到差分二值图像I′，计算帧差评价指标

其中，I为与视频帧图像等大且各点像素值均为前景类别值的图像，B′＝B_n-1∩B_n，N_{((I-B′)∩I′)}为(I-B′)和I′交集图像中前景类别的像素点个数，N(I′)为I′中前景类别的像素点个数；

根据帧差评价指标计算前景复杂度指标：

其中，a为前景评分参数的权重，b为帧差评分参数的权重，a≥0且b≥0，并满足a+b＝1，

x表示第x帧视频帧图像，X为当前背景下视频帧的总帧数，N_b,x为第x帧视频帧图像中属于背景像素的像素点个数，N_x为第x帧视频帧图像中像素点的总个数。

5.如权利要求1所述的方法，其特征在于，该方法还包括：判断视频背景是否转换，若背景转换，则重置混合高斯模型。

6.如权利要求5所述的方法，其特征在于，所述判断视频背景是否转换包括：根据相邻视频帧图像的差分图像是否突变判断视频背景是否转换。

Images