CN116112675A - 一种视频编码方法和视频编码系统 - Google Patents

Abstract

本发明提供了一种视频编码方法和视频编码系统，其中的视频编码方法包括：S1：拼接出全背景图像，并生成全背景视频帧编码信息；S2：基于每个背景区域和对应的全背景图像的第一像素转换映射以及全背景视频帧编码信息生成第一编码转换信息；S3：拼接出每个运动目标的全方位图像，并生成全方位视频帧编码信息；S4：基于每个运动目标区域和对应运动目标的全方位图像的第二像素转换映射以及全方位视频帧编码信息生成第二编码转换信息；S5：将所有第一编码转换信息和所有第二编码转换信息进行帧对齐获得编码结果；用以实现编码信息的更大程度压缩和提高编码效率。

Description

一种视频编码方法和视频编码系统

技术领域

本发明涉及视频解码技术领域，特别涉及一种视频编码方法和视频编码系统。

背景技术

目前，编码可使视频文件变小以进行存储，然后在需要再次使用时将压缩后的数据转换成可用的图像。在视频编码过程中需要对视频帧的图像进行分析，以实现对视频帧图像信息的数据压缩。

但是，现存的视频编码无论是通过对静止区域和非静止区域进行分别编码或者通过追踪帧间运动，并以运动向量等其他帧间变化的表示方式表示帧间图像的变化信息的方式对视频进行编码，都需要对视频帧中的运动目标和其他帧间变化信息的复杂精准分析，又因为视频帧中静止目标和非静止目标的消失或出现，导致帧间变化信息难以追踪，。因此，现存的视频编码方式的编码效率还有待提高，且帧间变化信息的编码结果也有很大数据量，因此，压缩程度还不够高。

因此，本发明提出了一种视频编码方法和视频编码系统。

发明内容

本发明提供一种视频编码方法和视频编码系统，用以将基于背景区域和运动目标区域与全背景图像和运动目标的全方位图像之前的像素转换映射确定出的编码转换信息替换传统直接编码信息或者运动向量编码信息，实现了编码信息的更大程度压缩，并提高了编码效率。

本发明提供一种视频编码方法，包括：

S1：基于待编码视频帧序列中每个待编码视频帧中的背景区域拼接出全背景图像，并生成全背景图像的全背景视频帧编码信息；

S2：确定出每个背景区域和对应的全背景图像的第一像素转换映射，基于第一像素转换映射和对应的全背景视频帧编码信息生成每个背景区域的第一编码转换信息；

S3：基于待编码识别帧中每个待编码视频帧中的运动目标区域，拼接出每个运动目标的全方位图像，并生成全方位图像的全方位视频帧编码信息；

S4：确定出每个运动目标区域和对应运动目标的全方位图像的第二像素转换映射，基于第二像素转换映射和全方位视频帧编码信息生成每个运行目标区域的第二编码转换信息；

S5：将所有第一编码转换信息和所有第二编码转换信息进行帧对齐，获得待编码视频帧序列的编码结果。

优选的，所述的一种视频编码方法，S1：基于待编码视频帧序列中每个待编码视频帧中的背景区域拼接出全背景图像，并生成全背景图像的全背景视频帧编码信息，包括：

基于待编码视频帧序列中每个待编码视频帧中所有像素点的图像参数，确定出待编码视频帧序列的总图像参数；

基于总图像参数确定出每个图像参数的划分间隔，在每个待编码视频帧中确定出每个图像参数的每个划分间隔的像素点总数和像素区域的中心位置；

基于所有待编码视频帧中同一图像参数同一划分间隔的像素点总数，拟合出对应图像参数对应划分间隔的像素点数曲线，并将所有像素点数曲线中的骤变点在待编码序列中对应的帧当作骤变帧；

基于帧顺序对同一图像参数同一划分间隔的所有像素区域的中心位置进行排序拟合获得中心位置轨迹，并将所有中心位置轨迹中的断点在待编码帧序列中对应的帧当作断点帧；

基于所有骤变帧和所有断点帧对待编码视频帧序列进行场景划分，获得每个场景的待编码视频帧子序列；

识别出待编码视频帧子序列中所有待编码视频帧的共有背景区域，基于共有背景区域对对应待编码视频帧进行背景扩充，确定出每个待编码视频帧的背景区域；

将每个场景的待编码视频帧子序列中的所有待编码视频帧的背景区域进行拼接，获得全背景图像；

基于预设编码方式对全背景图像进行编码，获得全背景视频帧编码信息。

优选的，所述的一种视频编码方法，基于所有骤变帧和所有断点帧对待编码视频帧序列进行场景划分，获得每个场景的待编码视频帧子序列，包括：

基于所有骤变帧和所有断点帧在待编码帧序列中的帧序数，确定出场景划分帧序数范围；

确定出待编码帧序列中在场景划分帧序数范围内的所有相邻视频帧的综合图像参数差；

将最大综合图像参数差对应的相邻视频帧之间当作场景划分界线，基于场景划分界线对待编码视频帧序列进行场景划分，获得每个场景的待编码视频帧子序列。

优选的，所述的一种视频编码方法，识别出待编码视频帧子序列中所有待编码视频帧的共有背景区域，基于共有背景区域对对应待编码视频帧进行背景扩充，确定出每个待编码视频帧的背景区域，包括：

识别出待编码视频帧子序列中的所有待编码视频帧中的边缘线，基于边缘线确定出多个形状区域，在所有形状区域中识别出不同待编码视频帧之间的相似形状区域组合；

确定出相似形状区域组合中每个形状区域在所属待编码视频帧中的坐标表示，基于帧顺序对相似形状区域组合中所有形状区域的坐标表示进行排序，获得坐标表示序列；

基于坐标表示序列确定出对应相似形状区域组合的视角移动向量，对所有视角移动向量进行去偏处理，并将去偏处理后剩余的视角移动向量对应的相似形状区域组合中包含的形状区域在所属待编码视频帧中的区域当作待编码视频帧子序列中所有待编码视频帧的共有背景区域；

基于共有背景区域对对应待编码视频帧进行背景扩充，确定出每个待编码视频帧的背景区域。

优选的，所述的一种视频编码方法，基于共有背景区域对对应待编码视频帧进行背景扩充，确定出每个待编码视频帧的背景区域，包括：

对共有背景区域进行色块划分获得多个色块区域，基于色块区域的中心坐标和与色块区域相邻的外围像素点，确定出多个渐变方向；

基于色块区域的所属待编码视频帧中每个像素点的图像参数，确定出每个渐变方向的图像参数渐变特征；

并将图像参数满足对应渐变方向的图像参数渐变特征的外围像素点扩充至对应色块区域，获得新的色块区域；

确定出新的色块区域的新的外围像素点和新的渐变方向以及新的图像参数渐变特征，并将图像参数满足对应新的渐变方向的图像参数渐变特征的新的外围像素点继续扩充至新的色块区域，直至遍历所属待编码视频帧，获得对应待编码视频帧的背景区域。

优选的，所述的一种视频编码方法，将每个场景的待编码视频帧子序列中的所有待编码视频帧的背景区域进行拼接，获得全背景图像，包括：

对所有待编码视频帧的背景区域进行标准化处理，获得标准化背景区域；

对所有标准化背景区域进行粗排序，确定出每个标准化背景区域在全背景图像中的第一粗排序位置，将第一粗排序位置为最中心位置的标准化背景区域当作参考背景区域；

对所有标准化背景区域中包含的第一轮廓形状进行轮廓匹配，获得多个第一轮廓匹配集合；

基于参考背景区域中的第一参考轮廓形状对所属第一轮廓匹配集合中除第一参考轮廓形状以外剩余的第一轮廓形状进行形状校正，获得校正背景区域；

基于第一粗排序位置将所有校正背景区域与参考背景区域进行拼接，获得全背景图像。

优选的，所述的一种视频编码方法，S2：确定出每个背景区域和对应的全背景图像的第一像素转换映射，基于第一像素转换映射和对应的全背景视频帧编码信息生成每个背景区域的第一编码转换信息，包括：

确定出基于参考背景区域中的第一参考轮廓形状对所属第一轮廓匹配集合中除第一参考轮廓形状以外剩余的第一轮廓形状进行形状校正时每个第一轮廓形状的第一校正坐标映射；

确定出对所有待编码视频帧的背景区域进行标准化处理时每个第一轮廓形状的第一图像参数映射；

基于每个背景区域中所有第一轮廓形状的第一校正坐标映射和第一图像参数映射，获得每个背景区域和对应的全背景图像的第一像素转换映射；

按照帧序列对所有背景区域的第一像素转换映射进行排序，获得第一映射排序结果；

将第一映射排序结果和对应的全背景视频帧编码信息进行绑定，生成每个背景区域的第一编码转换信息。

优选的，所述的一种视频编码方法，S3：基于待编码识别帧中每个待编码视频帧中的运动目标区域，拼接出每个运动目标的全方位图像，并生成全方位图像的全方位视频帧编码信息，包括：

将待编码视频帧中除背景区域以外的剩余区域当作对应待编码视频帧的运动目标区域；

对所有运动目标区域进行标准化处理，获得标准化运动目标区域；

对所有标准化运动目标区域进行粗排序，确定出每个标准化运动目标区域在全方位图像中的第二粗排序位置，将第二粗排序位置为最中心位置的标准化运动目标区域当作参考运动目标区域；

对所有标准化运动目标区域中包含的第二轮廓形状进行轮廓匹配，获得多个第二轮廓匹配集合；

基于参考运动目标区域中的第二参考轮廓形状对所属第二轮廓匹配集合中除第二参考轮廓形状以外剩余的第二轮廓形状进行形状校正，获得校正运动目标区域；

基于第二粗排序将所有校正运动目标区域与参考运动目标区域进行拼接，获得全方位图像。

优选的，所述的一种视频编码方法，S4：确定出每个运动目标区域和对应运动目标的全方位图像的第二像素转换映射，基于第二像素转换映射和全方位视频帧编码信息生成每个运行目标区域的第二编码转换信息，包括：

确定出基于参考运动目标区域中的第二参考轮廓形状对所属第二轮廓匹配集合中除第二参考轮廓形状以外剩余的第二轮廓形状进行形状校正时每个第二轮廓形状的第二校正坐标映射；

确定出对所有运动目标区域进行标准化处理时每个第二轮廓形状的第二图像参数映射；

基于每个运动目标区域中所有第二形状轮廓的第二校正坐标映射和第二图像参数映射，获得每个运动目标区域和对应的全方位图像的第二像素转换映射；

按照帧序列对所有运动目标区域的第二像素转换映射进行排序，获得第二映射排序结果；

将第二映射排序结果和对应的全方位视频帧编码信息进行绑定，生成每个运行目标区域的第二编码转换信息。

本发明提出一种视频编码系统，包括：

第一拼接编码模块，用于基于待编码视频帧序列中每个待编码视频帧中的背景区域拼接出全背景图像，并生成全背景图像的全背景视频帧编码信息；

第一编码转换模块，用于确定出每个背景区域和对应的全背景图像的第一像素转换映射，基于第一像素转换映射和对应的全背景视频帧编码信息生成每个背景区域的第一编码转换信息；

第二拼接编码模块，用于基于待编码识别帧中每个待编码视频帧中的运动目标区域，拼接出每个运动目标的全方位图像，并生成全方位图像的全方位视频帧编码信息；

第二编码转换模块，用于确定出每个运动目标区域和对应运动目标的全方位图像的第二像素转换映射，基于第二像素转换映射和全方位视频帧编码信息生成每个运行目标区域的第二编码转换信息；

帧对齐模块，用于将所有第一编码转换信息和所有第二编码转换信息进行帧对齐，获得待编码视频帧序列的编码结果。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例中一种视频编码方法流程图；

图2为本发明实施例中一种视频编码系统示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1：

本发明提供了一种视频编码方法，参考图1，包括：

S1：基于待编码视频帧序列中每个待编码视频帧中的背景区域拼接出全背景图像，并生成全背景图像的全背景视频帧编码信息；

S2：确定出每个背景区域和对应的全背景图像的第一像素转换映射，基于第一像素转换映射和对应的全背景视频帧编码信息生成每个背景区域的第一编码转换信息；

S3：基于待编码识别帧中每个待编码视频帧中的运动目标区域，拼接出每个运动目标的全方位图像，并生成全方位图像的全方位视频帧编码信息；

S4：确定出每个运动目标区域和对应运动目标的全方位图像的第二像素转换映射，基于第二像素转换映射和全方位视频帧编码信息生成每个运行目标区域的第二编码转换信息；

S5：将所有第一编码转换信息和所有第二编码转换信息进行帧对齐，获得待编码视频帧序列的编码结果。

该实施例中，待编码视频帧序列即为待编码视频中包含的视频帧构成的序列。

该实施例中，待编码视频帧即为待编码视频帧序列中的视频帧。

该实施例中，背景区域即为待编码视频帧中的背景物（可以是与拍摄设备相对静止的物体，也可以是实际与地球相对静止的物体）所在的图像区域。

该实施例中，全背景图像即为由待编码视频帧序列中每个待编码视频帧中的背景区域拼接获得的图像，也是包含待编码视频帧中的所有背景物在待编码视频帧序列中出现的所有图像区域的图像。

该实施例中，全背景视频帧编码信息即为基于预设的编码方式对全背景图像进行编码后获得的信息。

该实施例中，第一像素转换映射即为将对应背景区域在全背景图像中的图像区域转换为对应背景区域时，所有像素点的图像参数的变化数值，其中图像参数可以是色度、亮度、对比度、饱和度等其他参数。

该实施例中，第一编码转换信息即为将排序后的所有第一像素转换映射和对应的全背景视频帧编码信息进行绑定后获得的信息。

该实施例中，运动目标区域即为待编码视频帧中包含的运动目标（可以是与拍摄设备相对运动的物体，也可以是与地球相对运动的物体）所在的区域。

该实施例中，全方位图像即为由待编码视频帧序列中对应运动目标出现的所有运动图像区域拼接获得的图像。

该实施例中，全方位视频帧编码信息即为基于预设的编码方式对全方位图像进行编码后获得的信息。

该实施例中，第二像素转换映射即为将对应运动目标区域在全方位图像中的图像区域转换为对应运动目标区域时，所有像素点的图像参数的变化数值，其中图像参数可以是色度、亮度、对比度、饱和度等其他参数。

该实施例中，第二编码转换信息即为将排序后的所有第二像素转换映射和对应的全方位视频帧编码信息进行绑定后获得的信息。

该实施例中，编码结果即为基于本实施例的编码方法对待编码视频帧序列进行编码后获得的结果。

以上技术的有益效果为：将基于背景区域和运动目标区域与全背景图像和运动目标的全方位图像之前的像素转换映射确定出的编码转换信息替换传统直接编码信息或者运动向量等方式的帧间变化编码信息，省略了复杂精细的运动分析过程和帧间变化分析过程，提高了编码效率，且采用全背景视频帧编码信息和全方位视频帧编码信息以及像素转换映射进行编码，减少了编码后的数据量，实现了编码信息的更大程度地压缩。

实施例2：

在实施例1的基础上，所述的一种视频编码方法，S1：基于待编码视频帧序列中每个待编码视频帧中的背景区域拼接出全背景图像，并生成全背景图像的全背景视频帧编码信息，包括：

基于待编码视频帧序列中每个待编码视频帧中所有像素点的图像参数，确定出待编码视频帧序列的总图像参数；

基于总图像参数确定出每个图像参数的划分间隔，在每个待编码视频帧中确定出每个图像参数的每个划分间隔的像素点总数和像素区域的中心位置；

基于所有待编码视频帧中同一图像参数同一划分间隔的像素点总数，拟合出对应图像参数对应划分间隔的像素点数曲线，并将所有像素点数曲线中的骤变点在待编码序列中对应的帧当作骤变帧；

基于帧顺序对同一图像参数同一划分间隔的所有像素区域的中心位置进行排序拟合获得中心位置轨迹，并将所有中心位置轨迹中的断点在待编码帧序列中对应的帧当作断点帧；

基于所有骤变帧和所有断点帧对待编码视频帧序列进行场景划分，获得每个场景的待编码视频帧子序列；

识别出待编码视频帧子序列中所有待编码视频帧的共有背景区域，基于共有背景区域对对应待编码视频帧进行背景扩充，确定出每个待编码视频帧的背景区域；

将每个场景的待编码视频帧子序列中的所有待编码视频帧的背景区域进行拼接，获得全背景图像；

基于预设编码方式对全背景图像进行编码，获得全背景视频帧编码信息。

该实施例中，总图像参数即为待编码视频帧的每种图像参数的最大值和最小值。

该实施例中，基于总图像参数确定出每个图像参数的划分间隔，即为：基于总图像参数中每种图像参数的最大值和最小值之间的差值查询划分间隔列表（包含每种图像参数的最大值和最小值之间的不同差值范围对应的划分间隔），确定出每个图像参数的划分间隔。

该实施例中，划分间隔即为对待编码视频帧进行划分时参考的每种图像参数的划分范围，例如将像素值为1至100的像素点划分为对应划分间隔的像素区域。

该实施例中，像素点总数即为待编码视频帧中图像参数在对应划分间隔内的像素点的总数。

该实施例中，像素区域即为由图像参数在对应划分间隔对应的划分范围内的像素点构成的区域。

该实施例中，中心位置即为像素区域中所有像素点的坐标平均值对应的像素位置。

该实施例中，像素点数曲线即为将同一图像参数同一划分间隔在不同待编码视频帧中的像素点总数按照帧序列进行排序并拟合后获得的曲线。

该实施例中，骤变帧即为像素点曲线中骤变点对应的待编码视频帧。

该实施例中，中心位置轨迹即为基于帧顺序对同一图像参数同一划分间隔的所有像素区域的中心位置进行排序拟合后的轨迹。

该实施例中，断点即为所在位置明显超出中心位置轨迹中的原变化方向的中心位置。

该实施例中，断点帧即为断点对应的中心位置的所在待编码视频帧。

该实施例中，场景划分即为将待编码视频帧序列划分为多个背景场景（即待编码视频帧中的背景区域发生重大变化即为不同的背景场景）的待编码视频帧子序列的操作。

该实施例中，待编码视频帧子序列即为对待编码视频帧序列进行场景划分后获得的某个场景下对应的部分待编码视频帧。

该实施例中，共有背景区域即为所有待编码视频帧都包含的背景物在每个待编码视频帧中的所在区域。

该实施例中，背景扩充即为在共有背景区域的基础上在待编码视频帧中划分出比共有背景区域范围更大的背景区域的操作。

该实施例中，帧顺序即为待编码视频帧序列中包含的待编码视频帧的顺序。

以上技术的有益效果为：基于满足不同种图像参数的不同划分间隔的像素点在待编码视频帧序列中每个待编码视频帧中的分布情况（像素点总数和像素区域的中心位置），识别出分布情况骤变的待编码视频帧（即骤变帧和断点帧），基于分布情况骤变的待编码视频帧实现对待编码视频帧的精准场景划分，比采用轮廓追踪或其他图像特征变化情况的分析方式进行场景划分计算量要更小，因此，划分效率更高，基于对场景划分后的待编码视频帧子序列中所有背景区域的共有背景区域的背景扩充并拼接，获得全背景图像，并基于预设编码方式获得全背景视频帧编码。

实施例3：

在实施例2的基础上，所述的一种视频编码方法，基于所有骤变帧和所有断点帧对待编码视频帧序列进行场景划分，获得每个场景的待编码视频帧子序列，包括：

基于所有骤变帧和所有断点帧在待编码帧序列中的帧序数，确定出场景划分帧序数范围；

确定出待编码帧序列中在场景划分帧序数范围内的所有相邻视频帧的综合图像参数差；

将最大综合图像参数差对应的相邻视频帧之间当作场景划分界线，基于场景划分界线对待编码视频帧序列进行场景划分，获得每个场景的待编码视频帧子序列。

该实施例中，将所有骤变帧和所有断点帧在待编码帧序列中的帧序数最小值开始至帧序数最大值为止的帧序数范围当作场景划分帧序数范围。

该实施例中，场景划分帧序数范围即为在其中确定出场景划分界线的帧序数范围。

该实施例中，综合图像参数差可以是平均亮度或者平均色度等综合性的图像参数数值。

该实施例中，场景划分界线即为场景发生变化的帧间界线。

以上技术的有益效果为：基于所有骤变帧和所有断点帧在待编码帧序列中的帧序数确定出场景划分帧序数范围，并基于场景划分帧序数范围中相邻视频帧的综合图像参数差识别出真正的场景划分界线，进一步保证了对待编码视频帧序列的场景划分的精准性。

实施例4：

在实施例2的基础上，所述的一种视频编码方法，识别出待编码视频帧子序列中所有待编码视频帧的共有背景区域，基于共有背景区域对对应待编码视频帧进行背景扩充，确定出每个待编码视频帧的背景区域，包括：

识别出待编码视频帧子序列中的所有待编码视频帧中的边缘线，基于边缘线确定出多个形状区域，在所有形状区域中识别出不同待编码视频帧之间的相似形状区域组合；

确定出相似形状区域组合中每个形状区域在所属待编码视频帧中的坐标表示，基于帧顺序对相似形状区域组合中所有形状区域的坐标表示进行排序，获得坐标表示序列；

基于坐标表示序列确定出对应相似形状区域组合的视角移动向量，对所有视角移动向量进行去偏处理，并将去偏处理后剩余的视角移动向量对应的相似形状区域组合中包含的形状区域在所属待编码视频帧中的区域当作待编码视频帧子序列中所有待编码视频帧的共有背景区域；

基于共有背景区域对对应待编码视频帧进行背景扩充，确定出每个待编码视频帧的背景区域。

该实施例中，例如基于Canny算子对待编码视频帧进行边缘检测，进而识别出待编码视频帧子序列中的所有待编码视频帧中的边缘线。

该实施例中，形状区域即为由待编码视频帧中的边缘线包围而成的最小单位（即该形状区域中不包含边缘线）的图形区域。

该实施例中，相似形状区域组合即为包含不同待编码视频帧中包含的形状相似的形状区域。

该实施例中，在所有形状区域中识别出不同待编码视频帧之间的相似形状区域组合，可以通过计算不同待编码视频帧中的形状区域之间的相似度，并结合相似度阈值来筛选出，其中，计算不同待编码视频帧中的形状区域之间的相似度，包括：

将形状区域的轮廓上每个像素点和形状区域的中心坐标的连线在对应形状区域内的线段当作对应像素点的假想轮廓内长；

基于不同待编码视频帧中的两个形状区域的轮廓上每个像素点的假想轮廓内长，计算出两个形状区域之间的相似度，包括：

式中，s为当前计算的两个形状区域之间的相似度，i为当前计算的两个形状区域中第一个形状区域的轮廓中的第i个像素点，n为当前计算的两个形状区域中第一个形状区域包含的像素点总数，m为当前计算的两个形状区域中第二个形状区域包含的像素点总数，j为当前计算的两个形状区域中第二个形状区域的轮廓中的第j个像素点，为当前计算的两个形状区域中第一个形状区域中的第i个像素点的假想轮廓内长，为当前计算的两个形状区域中第二个形状区域的轮廓中的第j个像素点的假想轮廓内长；

基于上述公式可以计算出两个形状区域之间的相似度。

该实施例中，所属待编码视频帧即为形状区域所在的待编码视频帧。

该实施例中，坐标表示序列即为基于帧顺序对相似形状区域组合中所有形状区域的坐标表示进行排序后获得的序列。

该实施例中，基于坐标表示序列确定出对应相似形状区域组合的视角移动向量，即为：

确定出坐标表示序列中每个坐标表示对应的形状区域的中心坐标的位移向量，基于对应形状区域对应的标准形状区域的视角转换方法对对应位移向量进行转换（标准形状区域的转换方法是预设的，标准形状区域例如有：圆形、梯形、方形等，转换方法例如有：将位移向量的模乘以1.2，并将位移向量的角度按照形状区域与对应标准形状区域的尺寸比进行相应角度旋转，进而获得视角移动向量），获得视角移动向量。

该实施例中，视角移动向量即为表征拍摄设备在三维空间中的假想移动方向的表征向量。

该实施例中，去偏处理即为将所有视角移动向量中的离群的视角移动向量删除的操作。

以上技术的有益效果为：通过对待编码视频帧的轮廓识别和不同待编码视频帧间的相似形状轮廓的确定，确定出同一目标物在不同待编码视频帧的坐标表示，并基于坐标表示实现对目标物在待编码视频帧序列中的视角移动过程的追踪，并基于对视角移动过程的追踪结果的去偏处理，实现对相似形状区域组合的筛选，筛选出所有待编码视频帧的共有背景区域，基于共有区域进行背景扩充获得背景区域，比直接采用图像特征渐变分析的背景区域划分方式更快，也比采用阈值法或者其他对比像素点图像参数的背景区域划分方式的划分精度更高。

实施例5：

在实施例4的基础上，所述的一种视频编码方法，基于共有背景区域对对应待编码视频帧进行背景扩充，确定出每个待编码视频帧的背景区域，包括：

对共有背景区域进行色块划分获得多个色块区域，基于色块区域的中心坐标和与色块区域相邻的外围像素点，确定出多个渐变方向；

基于色块区域的所属待编码视频帧中每个像素点的图像参数，确定出每个渐变方向的图像参数渐变特征；

并将图像参数满足对应渐变方向的图像参数渐变特征的外围像素点扩充至对应色块区域，获得新的色块区域；

确定出新的色块区域的新的外围像素点和新的渐变方向以及新的图像参数渐变特征，并将图像参数满足对应新的渐变方向的图像参数渐变特征的新的外围像素点继续扩充至新的色块区域，直至遍历所属待编码视频帧，获得对应待编码视频帧的背景区域。

该实施例中，色块区域即为对共有背景区域进行色块划分后获得的图像区域，其中每个色块区域包含色度值相近的像素点。

该实施例中，色块划分可以通过设置色度值范围来划分实现。

该实施例中，将从色块区域的中心坐标至色块区域相邻的外围像素点的方向当作一个渐变方向，进而获得多个渐变方向，渐变反向的总数与色块区域相邻的外围像素点的总数一致。

该实施例中，中心坐标即为色块区域中所有像素点的坐标平均值。

该实施例中，色块区域相邻的外围像素点即为不属于色块区域且与色块区域中的像素点相邻的像素点。

该实施例中，图像参数渐变特征即为分布在中心坐标与对应渐变方向对应的外围像素点之间的连线上的像素点的某种图像参数，按照在渐变方向上的排序顺序变化的数值。

该实施例中，即外围像素点的对应种图像参数的数值相较于在与渐变方向相反的方向上相邻的像素点的对应种图像参数的数值变化情况满足对应渐变方向的图像参数渐变特征的变化特征时，即为图像参数满足对应渐变方向的图像参数渐变特征，例如：

渐变方向上的像素点的亮度值依次为：10、9、8、7、6，则对应的外围像素点的亮度值为5时，则为满足对应渐变方向的图像参数渐变特征。

以上技术的有益效果为：基于对共有背景区域进行色块划分、基于外围像素点确定渐变方向，并确定对应的图像参数渐变特征，进而基于图像参数渐变特征对外围像素点进行筛选，实现对共有背景区域的不断扩充，进一步保证了最后确定出的背景区域的划分精准性和完整度。

实施例6：

在实施例2的基础上，所述的一种视频编码方法，将每个场景的待编码视频帧子序列中的所有待编码视频帧的背景区域进行拼接，获得全背景图像，包括：

对所有待编码视频帧的背景区域进行标准化处理，获得标准化背景区域；

对所有标准化背景区域进行粗排序，确定出每个标准化背景区域在全背景图像中的第一粗排序位置，将第一粗排序位置为最中心位置的标准化背景区域当作参考背景区域；

对所有标准化背景区域中包含的第一轮廓形状进行轮廓匹配，获得多个第一轮廓匹配集合；

基于参考背景区域中的第一参考轮廓形状对所属第一轮廓匹配集合中除第一参考轮廓形状以外剩余的第一轮廓形状进行形状校正，获得校正背景区域；

基于第一粗排序位置将所有校正背景区域与参考背景区域进行拼接，获得全背景图像。

该实施例中，标准化处理即为将待编码视频帧转换在标准图像参数范围内，例如将待编码视频帧的图像参数统一缩小或者增大k倍，进而使对应待编码视频帧的图像参数在标准图像参数范围内。

该实施例中，标准化背景区域即为对所有待编码视频帧的背景区域进行标准化处理后获得的图像区域。

该实施例中，粗排序即为确定出标准化背景区域的拼接顺序的操作。

该实施例中，第一粗排序位置即为对所有标准化背景区域进行粗排序后获得的标准化背景区域在全背景图像中的大致分布位置。

该实施例中，最中心位置即为与全背景图像的中心位置最近的标准化背景图像的位置。

该实施例中，参考背景区域即为第一粗排序位置为最中心位置的标准化背景区域，也是后续进行形状校正时参考的背景区域。

该实施例中，第一轮廓形状即为标准化背景区域中包含的轮廓围成的区域。

该实施例中，轮廓匹配即为确定出不同标准化背景区域中形状相似的第一轮廓形状的过程。

该实施例中，第一轮廓匹配集合即为包含所有标准化背景区域中的形状相似的所有第一轮廓形状的集合。

该实施例中，第一参考轮廓形状即为参考背景区域中的第一轮廓形状。

该实施例中，基于参考背景区域中的参考轮廓形状对所属第一轮廓匹配集合中除参考轮廓形状以外剩余的第一轮廓形状进行形状校正，即为：

将所属第一轮廓匹配集合中除第一参考轮廓形状以外剩余的第一轮廓形状校正为第一参考轮廓形状对应的轮廓形状。

该实施例中，校正背景区域即为基于参考背景区域中的参考轮廓形状对所属第一轮廓匹配集合中除参考轮廓形状以外剩余的第一轮廓形状进行形状校正后获得的对应的背景区域。

以上技术的有益效果为：通过对所有待编码视频帧的背景区域进行标准化处理、粗排序、确定参考背景区域、轮廓匹配、形状校正、拼接背景区域，获得待编码视频帧序列中每个场景的完整背景图像。

实施例7：

在实施例6的基础上，所述的一种视频编码方法，S2：确定出每个背景区域和对应的全背景图像的第一像素转换映射，基于第一像素转换映射和对应的全背景视频帧编码信息生成每个背景区域的第一编码转换信息，包括：

确定出基于参考背景区域中的第一参考轮廓形状对所属第一轮廓匹配集合中除第一参考轮廓形状以外剩余的第一轮廓形状进行形状校正时每个第一轮廓形状的第一校正坐标映射；

确定出对所有待编码视频帧的背景区域进行标准化处理时每个第一轮廓形状的第一图像参数映射；

基于每个背景区域中所有第一轮廓形状的第一校正坐标映射和第一图像参数映射，获得每个背景区域和对应的全背景图像的第一像素转换映射；

按照帧序列对所有背景区域的第一像素转换映射进行排序，获得第一映射排序结果；

将第一映射排序结果和对应的全背景视频帧编码信息进行绑定，生成每个背景区域的第一编码转换信息。

该实施例中，第一校正坐标映射即为对第一轮廓形状进行形状校正前后的坐标变换映射。

该实施例中，第一图像参数映射即为对背景区域进行标准处理前后的图像参数的变换映射。

该实施例中，基于每个背景区域中所有第一轮廓形状的第一校正坐标映射和第一图像参数映射，获得每个背景区域和对应的全背景图像第一像素转换映射，包括：

将每个背景区域中所有第一轮廓形状的第一校正坐标映射和第一图像参数映射汇总后获得每个背景区域和对应的全背景图像第一像素转换映射。

该实施例中，第一映射排序结果即为按照帧序列对所有背景区域的第一像素转换映射进行排序后获得的结果。

以上技术的有益效果为：基于对第一轮廓形状进行校正时确定出的第一校正坐标映射和对背景区域进行标准化处理时的第一图像参数映射，获得每个背景区域和对应的全背景图像的第一像素转换映射，将对所有背景区域的第一像素转换映射进行排序后的结果和对应的全背景视频帧编码信息进行绑定，获得背景区域的第一编码转换信息，实现对待编码视频帧的背景区域的高效编码。

实施例8：

在实施例1的基础上，所述的一种视频编码方法，S3：基于待编码识别帧中每个待编码视频帧中的运动目标区域，拼接出每个运动目标的全方位图像，并生成全方位图像的全方位视频帧编码信息，包括：

将待编码视频帧中除背景区域以外的剩余区域当作对应待编码视频帧的运动目标区域；

对所有运动目标区域进行标准化处理，获得标准化运动目标区域；

对所有标准化运动目标区域进行粗排序，确定出每个标准化运动目标区域在全方位图像中的第二粗排序位置，将第二粗排序位置为最中心位置的标准化运动目标区域当作参考运动目标区域；

对所有标准化运动目标区域中包含的第二轮廓形状进行轮廓匹配，获得多个第二轮廓匹配集合；

基于参考运动目标区域中的第二参考轮廓形状对所属第二轮廓匹配集合中除第二参考轮廓形状以外剩余的第二轮廓形状进行形状校正，获得校正运动目标区域；

基于第二粗排序将所有校正运动目标区域与参考运动目标区域进行拼接，获得全方位图像。

该实施例中，标准化运动目标区域即为对所有运动目标区域进行标准化处理后获得的图像区域。

该实施例中，第二粗排序位置即为对所有标准化运动目标区域进行粗排序后获得的标准化运动目标区域在全方位图像中的大致分布位置。

该实施例中，参考运动目标区域即为第二粗排序位置为最中心位置的标准化运动目标区域。

该实施例中，第二轮廓匹配集合即为包含所有标准化运动目标区域中的形状相似的所有第二轮廓形状的集合。

该实施例中，第二参考轮廓形状即为参考运动目标区域中包含的第二轮廓形状。

该实施例中，基于参考运动目标区域中的第二参考轮廓形状对所属第二轮廓匹配集合中除第二参考轮廓形状以外剩余的第二轮廓形状进行形状校正，即为：

将所属第二轮廓匹配集合中除第二参考轮廓形状以外剩余的第而轮廓形状校正为第二参考轮廓形状对应的轮廓形状。

该实施例中，校正运动目标区域即为基于参考运动目标区域中的参考轮廓形状对所属第二轮廓匹配集合中除参考运动目标区域以外剩余的第二轮廓形状进行形状校正后获得的图像区域。

以上技术的有益效果为：通过对运动目标区域进行标准化处理、粗排序、确定参考背景区域、轮廓匹配、形状校正、拼接背景区域，获得待编码视频帧序列中每个运动目标的全方位图像。

实施例9：

在实施例8的基础上，所述的一种视频编码方法，S4：确定出每个运动目标区域和对应运动目标的全方位图像的第二像素转换映射，基于第二像素转换映射和全方位视频帧编码信息生成每个运行目标区域的第二编码转换信息，包括：

确定出基于参考运动目标区域中的第二参考轮廓形状对所属第二轮廓匹配集合中除第二参考轮廓形状以外剩余的第二轮廓形状进行形状校正时每个第二轮廓形状的第二校正坐标映射；

确定出对所有运动目标区域进行标准化处理时每个第二轮廓形状的第二图像参数映射；

基于每个运动目标区域中所有第二形状轮廓的第二校正坐标映射和第二图像参数映射，获得每个运动目标区域和对应的全方位图像的第二像素转换映射；

按照帧序列对所有运动目标区域的第二像素转换映射进行排序，获得第二映射排序结果；

将第二映射排序结果和对应的全方位视频帧编码信息进行绑定，生成每个运行目标区域的第二编码转换信息。

该实施例中，第二校正坐标映射即为第二轮廓形状进行形状校正前后的坐标变换映射。

该实施例中，第二图像参数映射即为对运动目标区域进行标准化处理前后的图像参数的变换映射。

该实施例中，基于每个运动目标区域中所有第二形状轮廓的第二校正坐标映射和第二图像参数映射，获得每个运动目标区域和对应的全方位图像的第二像素转换映射，即为：

将每个运动目标区域中所有第二形状轮廓的第二校正坐标映射和第二图像参数映射汇总后获得每个运动目标区域和对应的全背景图像的第二像素转换映射。

该实施例中，第二映射排序结果即为按照帧序列对所有运动目标区域的第二像素转换映射进行排序后获得的结果。

以上技术的有益效果为：基于对第二轮廓形状进行校正时确定出的第二校正坐标映射和对运动目标区域进行标准化处理时的第二图像参数映射，获得每个运动目标区域和对应的全方位图像的第二像素转换映射，将对所有背景区域的第二像素转换映射进行排序后的结果和对应的全方位视频帧编码信息进行绑定，获得运动目标区域的第二编码转换信息，实现对待编码视频帧的运动目标区域的高效编码。

实施例10：

本发明提供了一种视频编码系统，参考图2，包括：

第一拼接编码模块，用于基于待编码视频帧序列中每个待编码视频帧中的背景区域拼接出全背景图像，并生成全背景图像的全背景视频帧编码信息；

第一编码转换模块，用于确定出每个背景区域和对应的全背景图像的第一像素转换映射，基于第一像素转换映射和对应的全背景视频帧编码信息生成每个背景区域的第一编码转换信息；

第二拼接编码模块，用于基于待编码识别帧中每个待编码视频帧中的运动目标区域，拼接出每个运动目标的全方位图像，并生成全方位图像的全方位视频帧编码信息；

第二编码转换模块，用于确定出每个运动目标区域和对应运动目标的全方位图像的第二像素转换映射，基于第二像素转换映射和全方位视频帧编码信息生成每个运行目标区域的第二编码转换信息；

帧对齐模块，用于将所有第一编码转换信息和所有第二编码转换信息进行帧对齐，获得待编码视频帧序列的编码结果。

以上技术的有益效果为：将基于背景区域和运动目标区域与全背景图像和运动目标的全方位图像之前的像素转换映射确定出的编码转换信息替换传统直接编码信息或者运动向量等方式的帧间变化编码信息，省略了复杂精细的运动分析过程和帧间变化分析过程，提高了编码效率，且采用全背景视频帧编码信息和全方位视频帧编码信息以及像素转换映射进行编码，减少了编码后的数据量，实现了编码信息的更大程度地压缩。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种视频编码方法，其特征在于，包括：

S1：基于待编码视频帧序列中每个待编码视频帧中的背景区域拼接出全背景图像，并生成全背景图像的全背景视频帧编码信息；

S2：确定出每个背景区域和对应的全背景图像的第一像素转换映射，基于第一像素转换映射和对应的全背景视频帧编码信息生成每个背景区域的第一编码转换信息；

S3：基于待编码识别帧中每个待编码视频帧中的运动目标区域，拼接出每个运动目标的全方位图像，并生成全方位图像的全方位视频帧编码信息；

S4：确定出每个运动目标区域和对应运动目标的全方位图像的第二像素转换映射，基于第二像素转换映射和全方位视频帧编码信息生成每个运行目标区域的第二编码转换信息；

S5：将所有第一编码转换信息和所有第二编码转换信息进行帧对齐，获得待编码视频帧序列的编码结果。

2.根据权利要求1所述的一种视频编码方法，其特征在于，S1：基于待编码视频帧序列中每个待编码视频帧中的背景区域拼接出全背景图像，并生成全背景图像的全背景视频帧编码信息，包括：

基于待编码视频帧序列中每个待编码视频帧中所有像素点的图像参数，确定出待编码视频帧序列的总图像参数；

基于总图像参数确定出每个图像参数的划分间隔，在每个待编码视频帧中确定出每个图像参数的每个划分间隔的像素点总数和像素区域的中心位置；

基于所有待编码视频帧中同一图像参数同一划分间隔的像素点总数，拟合出对应图像参数对应划分间隔的像素点数曲线，并将所有像素点数曲线中的骤变点在待编码序列中对应的帧当作骤变帧；

基于帧顺序对同一图像参数同一划分间隔的所有像素区域的中心位置进行排序拟合获得中心位置轨迹，并将所有中心位置轨迹中的断点在待编码帧序列中对应的帧当作断点帧；

基于所有骤变帧和所有断点帧对待编码视频帧序列进行场景划分，获得每个场景的待编码视频帧子序列；

识别出待编码视频帧子序列中所有待编码视频帧的共有背景区域，基于共有背景区域对对应待编码视频帧进行背景扩充，确定出每个待编码视频帧的背景区域；

将每个场景的待编码视频帧子序列中的所有待编码视频帧的背景区域进行拼接，获得全背景图像；

基于预设编码方式对全背景图像进行编码，获得全背景视频帧编码信息。

3.根据权利要求2所述的一种视频编码方法，其特征在于，基于所有骤变帧和所有断点帧对待编码视频帧序列进行场景划分，获得每个场景的待编码视频帧子序列，包括：

基于所有骤变帧和所有断点帧在待编码帧序列中的帧序数，确定出场景划分帧序数范围；

确定出待编码帧序列中在场景划分帧序数范围内的所有相邻视频帧的综合图像参数差；

将最大综合图像参数差对应的相邻视频帧之间当作场景划分界线，基于场景划分界线对待编码视频帧序列进行场景划分，获得每个场景的待编码视频帧子序列。

4.根据权利要求2所述的一种视频编码方法，其特征在于，识别出待编码视频帧子序列中所有待编码视频帧的共有背景区域，基于共有背景区域对对应待编码视频帧进行背景扩充，确定出每个待编码视频帧的背景区域，包括：

识别出待编码视频帧子序列中的所有待编码视频帧中的边缘线，基于边缘线确定出多个形状区域，在所有形状区域中识别出不同待编码视频帧之间的相似形状区域组合；

确定出相似形状区域组合中每个形状区域在所属待编码视频帧中的坐标表示，基于帧顺序对相似形状区域组合中所有形状区域的坐标表示进行排序，获得坐标表示序列；

基于坐标表示序列确定出对应相似形状区域组合的视角移动向量，对所有视角移动向量进行去偏处理，并将去偏处理后剩余的视角移动向量对应的相似形状区域组合中包含的形状区域在所属待编码视频帧中的区域当作待编码视频帧子序列中所有待编码视频帧的共有背景区域；

基于共有背景区域对对应待编码视频帧进行背景扩充，确定出每个待编码视频帧的背景区域。

5.根据权利要求4所述的一种视频编码方法，其特征在于，基于共有背景区域对对应待编码视频帧进行背景扩充，确定出每个待编码视频帧的背景区域，包括：

对共有背景区域进行色块划分获得多个色块区域，基于色块区域的中心坐标和与色块区域相邻的外围像素点，确定出多个渐变方向；

基于色块区域的所属待编码视频帧中每个像素点的图像参数，确定出每个渐变方向的图像参数渐变特征；

并将图像参数满足对应渐变方向的图像参数渐变特征的外围像素点扩充至对应色块区域，获得新的色块区域；

确定出新的色块区域的新的外围像素点和新的渐变方向以及新的图像参数渐变特征，并将图像参数满足对应新的渐变方向的图像参数渐变特征的新的外围像素点继续扩充至新的色块区域，直至遍历所属待编码视频帧，获得对应待编码视频帧的背景区域。

6.根据权利要求2所述的一种视频编码方法，其特征在于，将每个场景的待编码视频帧子序列中的所有待编码视频帧的背景区域进行拼接，获得全背景图像，包括：

对所有待编码视频帧的背景区域进行标准化处理，获得标准化背景区域；

对所有标准化背景区域进行粗排序，确定出每个标准化背景区域在全背景图像中的第一粗排序位置，将第一粗排序位置为最中心位置的标准化背景区域当作参考背景区域；

对所有标准化背景区域中包含的第一轮廓形状进行轮廓匹配，获得多个第一轮廓匹配集合；

基于参考背景区域中的第一参考轮廓形状对所属第一轮廓匹配集合中除第一参考轮廓形状以外剩余的第一轮廓形状进行形状校正，获得校正背景区域；

基于第一粗排序位置将所有校正背景区域与参考背景区域进行拼接，获得全背景图像。

7.根据权利要求6所述的一种视频编码方法，其特征在于，S2：确定出每个背景区域和对应的全背景图像的第一像素转换映射，基于第一像素转换映射和对应的全背景视频帧编码信息生成每个背景区域的第一编码转换信息，包括：

确定出基于参考背景区域中的第一参考轮廓形状对所属第一轮廓匹配集合中除第一参考轮廓形状以外剩余的第一轮廓形状进行形状校正时每个第一轮廓形状的第一校正坐标映射；

确定出对所有待编码视频帧的背景区域进行标准化处理时每个第一轮廓形状的第一图像参数映射；

基于每个背景区域中所有第一轮廓形状的第一校正坐标映射和第一图像参数映射，获得每个背景区域和对应的全背景图像的第一像素转换映射；

按照帧序列对所有背景区域的第一像素转换映射进行排序，获得第一映射排序结果；

将第一映射排序结果和对应的全背景视频帧编码信息进行绑定，生成每个背景区域的第一编码转换信息。

8.根据权利要求1所述的一种视频编码方法，其特征在于，S3：基于待编码识别帧中每个待编码视频帧中的运动目标区域，拼接出每个运动目标的全方位图像，并生成全方位图像的全方位视频帧编码信息，包括：

将待编码视频帧中除背景区域以外的剩余区域当作对应待编码视频帧的运动目标区域；

对所有运动目标区域进行标准化处理，获得标准化运动目标区域；

对所有标准化运动目标区域进行粗排序，确定出每个标准化运动目标区域在全方位图像中的第二粗排序位置，将第二粗排序位置为最中心位置的标准化运动目标区域当作参考运动目标区域；

对所有标准化运动目标区域中包含的第二轮廓形状进行轮廓匹配，获得多个第二轮廓匹配集合；

基于参考运动目标区域中的第二参考轮廓形状对所属第二轮廓匹配集合中除第二参考轮廓形状以外剩余的第二轮廓形状进行形状校正，获得校正运动目标区域；

基于第二粗排序将所有校正运动目标区域与参考运动目标区域进行拼接，获得全方位图像。

9.根据权利要求8所述的一种视频编码方法，其特征在于，S4：确定出每个运动目标区域和对应运动目标的全方位图像的第二像素转换映射，基于第二像素转换映射和全方位视频帧编码信息生成每个运行目标区域的第二编码转换信息，包括：

确定出基于参考运动目标区域中的第二参考轮廓形状对所属第二轮廓匹配集合中除第二参考轮廓形状以外剩余的第二轮廓形状进行形状校正时每个第二轮廓形状的第二校正坐标映射；

确定出对所有运动目标区域进行标准化处理时每个第二轮廓形状的第二图像参数映射；

基于每个运动目标区域中所有第二形状轮廓的第二校正坐标映射和第二图像参数映射，获得每个运动目标区域和对应的全方位图像的第二像素转换映射；

按照帧序列对所有运动目标区域的第二像素转换映射进行排序，获得第二映射排序结果；

将第二映射排序结果和对应的全方位视频帧编码信息进行绑定，生成每个运行目标区域的第二编码转换信息。

10.一种视频编码系统，其特征在于，包括：

第一拼接编码模块，用于基于待编码视频帧序列中每个待编码视频帧中的背景区域拼接出全背景图像，并生成全背景图像的全背景视频帧编码信息；

第一编码转换模块，用于确定出每个背景区域和对应的全背景图像的第一像素转换映射，基于第一像素转换映射和对应的全背景视频帧编码信息生成每个背景区域的第一编码转换信息；

第二拼接编码模块，用于基于待编码识别帧中每个待编码视频帧中的运动目标区域，拼接出每个运动目标的全方位图像，并生成全方位图像的全方位视频帧编码信息；

第二编码转换模块，用于确定出每个运动目标区域和对应运动目标的全方位图像的第二像素转换映射，基于第二像素转换映射和全方位视频帧编码信息生成每个运行目标区域的第二编码转换信息；

帧对齐模块，用于将所有第一编码转换信息和所有第二编码转换信息进行帧对齐，获得待编码视频帧序列的编码结果。

Images