CN112468815A - 视频编解码的方法、装置、电子设备及存储介质 - Google Patents
视频编解码的方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112468815A CN112468815A CN202110118920.3A CN202110118920A CN112468815A CN 112468815 A CN112468815 A CN 112468815A CN 202110118920 A CN202110118920 A CN 202110118920A CN 112468815 A CN112468815 A CN 112468815A
- Authority
- CN
- China
- Prior art keywords
- image block
- rotation
- angle
- rotation angle
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 239000013598 vector Substances 0.000 claims abstract description 58
- 238000004364 calculation method Methods 0.000 claims abstract description 31
- 230000008569 process Effects 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 24
- 238000013459 approach Methods 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 230000006835 compression Effects 0.000 abstract description 10
- 238000007906 compression Methods 0.000 abstract description 10
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241001025261 Neoraja caerulea Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请实施例公开了一种视频编解码的方法、装置、电子设备及存储介质。其中，视频编码的方法包括：对视频数据中的两帧图像进行运动估计，在所述运动估计过程的每一搜索位置上，施加至少一个角度的旋转进行搜索计算；综合所有搜索计算结果得到最佳参考图像块位置以及带有旋转角度信息的运动矢量。本申请实施例通过对视频帧图像中的物体旋转情况进行搜索，得到带有旋转角度信息的运动矢量，从而实现了对旋转运动物体的识别和高效编码，进一步提升了视频数据的压缩效率。
Description
技术领域
本申请涉及多媒体处理技术领域，具体涉及一种视频编解码的方法、装置、电子设备及存储介质。
背景技术
视频是由一张张图片连接起来形成的动态图像序列，若直接将每张图片的每一个像素点数据都加以存储，视频码流所占用的带宽将不可估量。视频编解码的作用就是在摄像头采集画面后，将图像进行压缩和数字编码，获取更加优化、抗干扰能力强的码流，以用于传输。本质上，就是用尽可能小的带宽传送高质量的视频数据。从MPEG-1到MPEG-2，从H.263、H.264到H.265（HEVC），以及现在的H.266等一系列标准，都是为了让码流更优化、压缩效率更高、稳定性更强。
其中，视频编码的输入是一系列未压缩图像，比如是来自图像传感器采集到的一系列连续的图像帧构成的视频信息，输出为包括已压缩视频数据、视频压缩及传输有关的信息码流。为了充分提高压缩率，视频编码时会尽量把多帧图像中相同的图像块采用同一段编码表示（解码时再利用这同一段编码在多帧不同图像中分别还原该图像块），这需要对多个图像中的不同图像块进行快速而准确的搜索、比对和识别，同时其处理效率不应影响整体的编码速度。为了提升相似块的搜索效率，现有技术提出了多种预测手段来估计相似块可能出现的位置，运动估计算法是目前视频编码中的关键技术，被广泛应用到各种编解码标准中，包括H.263，H.264，H.265，VCC，MPEG4等。
运动估计是寻找当前编码的块在已编码的图像（参考帧）中的最佳对应块，并且计算出对应块的偏移（运动矢量）。在这里运动矢量用距离和方向来表示。如图1所示，P为当前帧，P_ref为参考帧，B为当前码块，B_ref是参考帧P_ref中与当前码块B相减残差最小的块，B_ref一般称为当前码块B的最佳匹配块。B*为假设的参考帧中与当前码块B在图像中的坐标位置相同的块，若运动估计算法找到的最佳匹配块B_ref坐标为(x_ref, y_ref)，块B*坐标为(x_ref, y_ref)；则块B_ref坐标减去块B*的坐标就是运动矢量MV。
但是也可以看出，图1中现有的运动估计中运动矢量计算仅根据一个点的坐标确定，仅考虑了物体整体平移的情况；而在物体旋转运动情况下，现有的运动矢量无法准确刻画物体的运动变化。对于视频中存在旋转运动物体的情况，一方面搜索时很难准确找到最佳匹配块，另一方面使用当前的运动矢量表达来估计当前帧图像时，运动补偿后形成的残差非零数据较多，编码效率受到限制。
虽然现有技术中也进一步提出了基于仿射运动模型和双线性运动模型的视频压缩技术，其可在一定程度上解决旋转运动模型无法得到准确预测的问题。然而，基于仿射运动模型和双线性运动模型涉及参数多，计算复杂，不利于在移动终端等对功耗要求严格的设备上实施。
发明内容
针对现有技术中的上述技术问题，本申请实施例提出了一种视频编解码的方法、装置、电子设备及存储介质，以解决现有视频压缩技术无法对物体旋转情况进行有效编码的问题。
本申请实施例的第一方面提供了一种视频编码的方法，包括：
对视频数据中的两帧图像进行运动估计，在所述运动估计过程的每一搜索位置上，施加至少一个角度的旋转进行搜索计算；
综合所有搜索计算结果得到最佳参考图像块位置以及带有旋转角度信息的运动矢量。
在一些实施例中，所述施加至少一个角度的旋转进行搜索计算包括：每次施加一个角度的旋转后，计算旋转后图像块关于残差和/或运动矢量的代价函数。
在一些实施例中，所述方法中，所述综合所有搜索计算结果包括：
选择所有搜索计算结果中代价最小的图像块作为所述最佳参考图像块；
或者，在当前图像块代价小于预设阈值时结束搜索计算，输出当前图像块作为所述最佳参考图像块。
在一些实施例中，所述代价函数包括绝对误差和SAD、变换后绝对值求和SATD、差值平方和SSD、平均绝对差值MAD和平均平方误差MSD中的至少一种
在一些实施例中，所述施加至少一个角度的旋转包括：
所述至少一个角度为至少一个预设角度，每次选择所述至少一个预设角度中的一个旋转；
或者，所述至少一个角度为按照预设调整精度设置的角度数列，每次按照所述调整精度递增或递减调整角度旋转；
或者，所述至少一个角度为采用二分法逐渐逼近最佳调整角度的至少一个角度。
在一些实施例中，所述方法还包括：由所述最佳参考图像块位置确定所述运动矢量，所述旋转角度信息为对所述最佳参考图像块施加的旋转角度。
在一些实施例中，所述方法还包括：采用差分方式对多帧图像的多个所述运动矢量中的所述旋转角度信息进行编码。
本申请实施例的第二方面提供了一种视频解码的方法，包括：
根据参考帧和带有旋转角度信息的运动矢量进行视频数据的解码。
在一些实施例中，所述方法中，当多帧图像的多个所述运动矢量中的所述旋转角度信息采用差分方式编码时，采用差分量进行解码。
在一些实施例中，所述进行视频数据的解码包括：根据所述运动矢量确定目标帧中参考图像块位置，然后根据所述参考帧计算所述参考图像块。
本申请实施例的第三方面提供了一种视频编码的装置，包括：
运动估计模块，用于对视频数据中的两帧图像进行运动估计，在所述运动估计过程的每一搜索位置上，施加至少一个角度的旋转进行搜索计算；
位置及矢量确定模块，用于综合所有搜索计算结果得到最佳参考图像块位置以及带有旋转角度信息的运动矢量。
在一些实施例中，运动估计模块包括：代价计算模块，用于在每次施加一个角度的旋转后，计算旋转后图像块关于残差和/或运动矢量的代价函数。
在一些实施例中，所述装置还包括：差分编码模块，用于采用差分方式对多帧图像的多个所述运动矢量中的所述旋转角度信息进行编码。
本申请实施例的第四方面提供了一种视频解码的装置，包括：解码模块，用于根据参考帧和带有旋转角度信息的运动矢量进行视频数据的解码。
在一些实施例中，所述装置还包括：差分解码模块，用于在多帧图像的多个所述运动矢量中的所述旋转角度信息采用差分方式编码时，采用差分量进行解码。
本申请实施例的第五方面提供了一种电子设备，包括：
存储器以及一个或多个处理器；
其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如前述各实施例所述的方法。
本申请实施例的第六方面提供了一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如前述各实施例所述的方法。
本申请实施例的第七方面提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，可用来实现如前述各实施例所述的方法。
本申请实施例，通过对视频帧图像中的物体旋转情况进行搜索，得到带有旋转角度信息的运动矢量，从而实现了对旋转运动物体的识别和高效编码，进一步提升了视频数据的压缩效率。
附图说明
通过参考附图会更加清楚的理解本申请的特征和优点，附图是示意性的而不应理解为对本申请进行任何限制，在附图中：
图1是现有技术中通过运动估计算法得到运动矢量的示意图；
图2是根据本申请的一些实施例所示的一种视频编码的方法的流程示意图；
图3是根据本申请的一些实施例所示的一种视频编码的装置的结构框图；
图4是根据本申请的一些实施例所示的用于视频编解码的一种电子设备的结构示意图。
具体实施方式
在下面的详细描述中，通过示例阐述了本申请的许多具体细节，以便提供对相关披露的透彻理解。然而，对于本领域的普通技术人员来讲，本申请显而易见的可以在没有这些细节的情况下实施。应当理解的是，本申请中使用“系统”、“装置”、“单元”和/或“模块”术语，是用于区分在顺序排列中不同级别的不同部件、元件、部分或组件的一种方法。然而，如果其他表达式可以实现相同的目的，这些术语可以被其他表达式替换。
应当理解的是，当设备、单元或模块被称为“在……上”、“连接到”或“耦合到”另一设备、单元或模块时，其可以直接在另一设备、单元或模块上，连接或耦合到或与其他设备、单元或模块通信，或者可以存在中间设备、单元或模块，除非上下文明确提示例外情形。例如，本申请所使用的术语“和/或”包括一个或多个相关所列条目的任何一个和所有组合。
本申请所用术语仅为了描述特定实施例，而非限制本申请范围。如本申请说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的特征、整体、步骤、操作、元素和/或组件，而该类表述并不构成一个排它性的罗列，其他特征、整体、步骤、操作、元素和/或组件也可以包含在内。
参看下面的说明以及附图，本申请的这些或其他特征和特点、操作方法、结构的相关元素的功能、部分的结合以及制造的经济性可以被更好地理解，其中说明和附图形成了说明书的一部分。然而，可以清楚地理解，附图仅用作说明和描述的目的，并不意在限定本申请的保护范围。可以理解的是，附图并非按比例绘制。
本申请中使用了多种结构图用来说明根据本申请的实施例的各种变形。应当理解的是，前面或下面的结构并不是用来限定本申请。本申请的保护范围以权利要求为准。
运动估计算法的目的就是在参考图像中找到最佳的参考图像块位置，从而得到运动矢量来进行压缩编码和实现运动补偿。一般运动估计算法可以采取块匹配算法，通过比较各个参考位置上关于残差和运动矢量的代价函数，以搜索的最小代价函数点作为运动估计的结果。其搜索算法包括全搜索和快速搜索两类，全搜索对搜索范围内的所有点按照顺序进行搜索，逐点比较代价函数，选择代价函数最小的点作为最优点；为了减少运动估计的复杂度和计算时间，现有技术也提出了多种快速搜索算法（比如三步搜索、菱形搜索、六边形搜索等），通过对搜索范围的优化减少了待搜索的位置数。但是，现有的运动估计算法仅适用于物体整体平移的情况，当物体旋转运动时，现有的运动估计算法无法有效发现最佳匹配块，也无法用运动矢量来准确表达物体旋转情况。
有鉴于此，本申请的实施例提出了一种视频编码的方法，通过对旋转角度的识别和记录，其计算量小、搜索速度快、压缩效率高，有效解决了对平移且旋转运动的物体的视频数据进行高效编码的问题。具体地，参见图2，在本申请的一个实施例中，所述视频编码的方法包括：
S201，对视频数据中的两帧图像进行运动估计，在所述运动估计过程的每一搜索位置上，施加至少一个角度的旋转进行搜索计算；
S202，综合所有搜索计算结果得到最佳参考图像块位置以及带有旋转角度信息的运动矢量。
在本申请的实施例中，针对现有技术仅平移搜索的运动估计算法进行了改进，在每一搜索点/搜索位置上，将搜索对象（通常为图像块）施加至少一个角度的旋转后进行搜索计算。通过带有旋转角度的搜索，来发现可能的旋转运动的目标对象情况，从而实现对旋转运动的运动估计、运动矢量表达及视频编码。
具体地，视频编码过程中会先将视频数据中的图像序列按时间先后分为一系列帧，这样相邻的两帧图像间的差异通常较小，有利于提升编码效率。这里的时间先后通常指视频图像实际的时间顺序，一般与视频图像采集顺序有关，而并不一定与视频图像播放顺序相关（在某些视频中，很多图像帧可能会被打乱顺序剪辑在一起，影响编码效率）。对于差异较小的两帧图像，可以仅对其中一帧图像的静态背景进行完全编码，另一帧相同的静态背景处则直接使用前一帧的编码结果；而有差异的部分则通常是图像中某一或某些物体运动时产生的差异，物体本身的图像块数据相似度较高，只是出现位置发生了变化，因而需要通过运动估计算法来确定其在不同图像帧中的位置，随后借助运动矢量来表达运动情况，使得运动的物体也可以尽可能地使用相同的编码，进一步提升编码效率。
为实现运动估计，通常将每一帧图像划分成多个图像块，对每一图像块进行运动估计的搜索计算，运动估计算法的目的就是在参考图像中找到最佳的参考图像块位置。其中，未发生变化或变化很小的静态背景图像块的位置较易确定，基本可以忽略；而运动物体所在图像块的具体位置则需要通过搜索计算确定。现有技术仅进行平移的运动估计，因而搜索时仅考虑图像块位置发生变化，不考虑角度的变化。本申请的实施例中，搜索时还考虑物体旋转运动的情况，通过对旋转一定角度后的图像块的搜索来发现物体旋转运动的情况。
在一些实施例中，所述施加至少一个角度的旋转进行搜索计算包括：每次施加一个角度的旋转后，计算旋转后图像块关于残差和/或运动矢量的代价函数；其中，所述代价函数包括SAD（Sum of Absolute Difference，绝对误差和）、SATD（Sum of AbsoluteTransformed Difference，变换后绝对值求和，变换通常指Hadamard变换）、SSD（Sum ofSquared Difference，差值平方和）、MAD（Mean Absolute Difference，平均绝对差值）、MSD（Mean Squared Difference，平均平方误差）等中的至少一种。因本技术领域也可使用Error来表示误差，故上述Difference也有用Error来表述的，对应缩写也相应调整（比如SAE、SATE、SSE、MAE、MSE等），此处不再一一展开说明。
其中，旋转后图像块一般也通过像素块/像素矩阵来表示，从搜索位置/搜索点开始对旋转后的像素块/像素矩阵中的像素点/位置和像素值进行比对，一般可以采取块匹配算法，通过比较各个参考位置上关于残差和/或运动矢量的代价函数来确定最佳参考图像块。典型地，以搜索的最小代价函数点作为运动估计的结果，亦即通过遍历搜索，从所有搜索计算结果中选择代价最小的图像块作为最佳参考图像块，进而得到运动矢量并通过运动补偿得到残差。
而优选地，考虑到确定代价最小的为最佳参考图像块位置算法中遍历次数多，计算量大，可以在最佳匹配块和搜索速度之间进行折衷。比如在运动估计过程的任一搜索点（搜索位置）上，施加所述角度的旋转，然后计算关于残差和/或运动矢量的代价函数，选择代价小于某一阈值的为最佳参考图像块位置。显然，搜索到代价函数小于某一阈值时停止，有利于加快搜索速度。
在一些实施例中，所述施加至少一个角度的旋转包括：所述至少一个角度为至少一个预设角度，每次选择所述至少一个预设角度中的一个旋转；或者，所述至少一个角度为按照预设调整精度（比如1度或0.1度）设置的角度数列，每次按照所述调整精度递增或递减调整角度旋转；或者，所述至少一个角度为采用二分法逐渐逼近最佳调整角度的至少一个角度。
在一些实施例中，所述方法还包括：由所述最佳参考图像块位置确定所述运动矢量，所述旋转角度信息为对所述最佳参考图像块施加的旋转角度。
在一些实施例中，所述方法还包括：采用差分方式对多帧图像的多个所述运动矢量中的所述旋转角度信息进行编码。
当然，本领域技术人员应当理解，视频编码过程通常还包括一些进一步优化的手段，比如帧间预测、帧内预测、DCT（离散余弦变换，Discrete Cosine Transform）、量化、熵编码和滤波等，故本申请的实施例除运动估计和运动补偿外，还会进一步结合上述一种或多种优化手段来完成完整的视频编码。鉴于现有技术对这些优化手段已有充分的研究，本申请的实施例可直接使用现有手段来实现，故不再一一展开说明，上述优化手段也不应视作对本申请具体实现的限制。
与上述视频编码的方法相对应地，本申请的实施例还提供了一种视频解码的方法，解码过程通常是编码过程的逆过程。在本申请的一个实施例中，所述视频解码的方法包括：根据参考帧和带有旋转角度信息的运动矢量进行视频数据的解码。
在一些实施例中，所述方法中，当多帧图像的多个所述运动矢量中的所述旋转角度信息采用差分方式编码时，采用差分量进行解码。
在一些实施例中，所述进行视频数据的解码包括：根据所述运动矢量确定目标帧中参考图像块位置，然后根据所述参考帧计算所述参考图像块。
图3是根据本申请的一些实施例所示的视频编码的装置示意图。如图3所示，所述视频编码的装置300包括：
运动估计模块310，用于对视频数据中的两帧图像进行运动估计，在所述运动估计过程的每一搜索位置上，施加至少一个角度的旋转进行搜索计算；
位置及矢量确定模块320，用于综合所有搜索计算结果得到最佳参考图像块位置以及带有旋转角度信息的运动矢量。
在一些实施例中，运动估计模块包括：代价计算模块，用于在每次施加一个角度的旋转后，计算旋转后图像块关于残差和/或运动矢量的代价函数；其中，所述代价函数包括绝对误差和SAD、变换后绝对值求和SATD、差值平方和SSD、平均绝对差值MAD和平均平方误差MSD中的至少一种。
在一些实施例中，所述装置还包括：差分编码模块，用于采用差分方式对多帧图像的多个所述运动矢量中的所述旋转角度信息进行编码。
同样与上述视频编码的装置相对应地，本申请的实施例还提供了一种视频解码的装置，包括：解码模块，用于根据参考帧和带有旋转角度信息的运动矢量进行视频数据的解码。
在一些实施例中，所述装置还包括：差分解码模块，用于在多帧图像的多个所述运动矢量中的所述旋转角度信息采用差分方式编码时，采用差分量进行解码。
参考附图4，本申请一个实施例还提供了一种电子设备。如图4所示，该电子设备400包括：
存储器430以及一个或多个处理器410；
其中，所述存储器430与所述一个或多个处理器410通信连接，所述存储器430中存储有可被所述一个或多个处理器执行的指令432，所述指令432被所述一个或多个处理器410执行，以使所述一个或多个处理器410执行本申请前述实施例中的方法。
具体地，处理器410和存储器430可以通过总线或者其他方式连接，图4中以通过总线440连接为例。处理器410可以为中央处理器（Central Processing Unit，CPU）。处理器410还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器430作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的级联渐进网络等。处理器410通过运行存储在存储器430中的非暂态软件程序/指令432以及功能模块，从而执行处理器的各种功能应用以及数据处理。
存储器430可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器410所创建的数据等。此外，存储器430可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器430可选包括相对于处理器410远程设置的存储器，这些远程存储器可以通过网络（比如通过通信接口420）连接至处理器410。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请的一个实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被执行后执行本申请前述实施例中的方法。
前述的计算机可读取存储介质包括以存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方式或技术来实现的物理易失性和非易失性、可移动和不可移动介质。计算机可读取存储介质具体包括，但不限于，U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、可擦除可编程只读存储器（EPROM）、电可擦可编程只读存储器（EEPROM）、闪存或其他固态存储器技术、CD-ROM、数字多功能盘（DVD）、HD-DVD、蓝光（Blue-Ray）或其他光存储设备、磁带、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他介质。
尽管此处所述的主题是在结合操作系统和应用程序在计算机系统上的执行而执行的一般上下文中提供的，但本领域技术人员可以认识到，还可结合其他类型的程序模块来执行其他实现。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。本领域技术人员可以理解，此处所述的本主题可以使用其他计算机系统配置来实践，包括手持式设备、多处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等，也可使用在其中任务由通过通信网络连接的远程处理设备执行的分布式计算环境中。在分布式计算环境中，程序模块可位于本地和远程存储器存储设备的两者中。
本领域普通技术人员可以意识到，结合本文中所本申请的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对原有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。
综上所述，本申请提出了一种视频编解码的方法、装置、电子设备及存储介质。本申请实施例通过对视频帧图像中的物体旋转情况进行搜索，得到带有旋转角度信息的运动矢量，从而实现了对旋转运动物体的识别和高效编码，进一步提升了视频数据的压缩效率。
应当理解的是，本申请的上述具体实施方式仅仅用于示例性说明或解释本申请的原理，而不构成对本申请的限制。因此，在不偏离本申请的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。此外，本申请所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (17)
1.一种视频编码的方法，其特征在于，所述方法包括：
对视频数据中的两帧图像进行运动估计，在所述运动估计过程的每一搜索位置上，施加至少一个角度的旋转进行搜索计算；
综合所有搜索计算结果得到最佳参考图像块位置以及带有旋转角度信息的运动矢量。
2.根据权利要求1所述的方法，其特征在于，所述施加至少一个角度的旋转进行搜索计算包括：
每次施加一个角度的旋转后，计算旋转后图像块关于残差和/或运动矢量的代价函数。
3.根据权利要求2所述的方法，其特征在于，所述方法中，所述综合所有搜索计算结果包括：
选择所有搜索计算结果中代价最小的图像块作为所述最佳参考图像块；
或者，在当前图像块代价小于预设阈值时结束搜索计算，输出当前图像块作为所述最佳参考图像块。
4.根据权利要求2所述的方法，其特征在于，所述代价函数包括绝对误差和SAD、变换后绝对值求和SATD、差值平方和SSD、平均绝对差值MAD和平均平方误差MSD中的至少一种。
5.根据权利要求1或2所述的方法，其特征在于，所述施加至少一个角度的旋转包括：
所述至少一个角度为至少一个预设角度，每次选择所述至少一个预设角度中的一个旋转；
或者，所述至少一个角度为按照预设调整精度设置的角度数列，每次按照所述调整精度递增或递减调整角度旋转；
或者，所述至少一个角度为采用二分法逐渐逼近最佳调整角度的至少一个角度。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：由所述最佳参考图像块位置确定所述运动矢量，所述旋转角度信息为对所述最佳参考图像块施加的旋转角度。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：采用差分方式对多帧图像的多个所述运动矢量中的所述旋转角度信息进行编码。
8.一种视频解码的方法，其特征在于，所述方法包括：
根据参考帧和带有旋转角度信息的运动矢量进行视频数据的解码；其中，所述旋转角度信息是运动估计过程中根据代价函数确定的对最佳参考图像块施加的旋转角度。
9.根据权利要求8所述的方法，其特征在于，所述方法中，当多帧图像的多个所述运动矢量中的所述旋转角度信息采用差分方式编码时，采用差分量进行解码。
10.根据权利要求8所述的方法，其特征在于，所述进行视频数据的解码包括：
根据所述运动矢量确定目标帧中参考图像块位置，然后根据所述参考帧计算所述参考图像块。
11.一种视频编码的装置，其特征在于，所述装置包括：
运动估计模块，用于对视频数据中的两帧图像进行运动估计，在所述运动估计过程的每一搜索位置上，施加至少一个角度的旋转进行搜索计算；
位置及矢量确定模块，用于综合所有搜索计算结果得到最佳参考图像块位置以及带有旋转角度信息的运动矢量。
12.根据权利要求11所述的装置，其特征在于，运动估计模块包括：
代价计算模块，用于在每次施加一个角度的旋转后，计算旋转后图像块关于残差和/或运动矢量的代价函数。
13.根据权利要求11所述的装置，其特征在于，所述装置还包括：
差分编码模块，用于采用差分方式对多帧图像的多个所述运动矢量中的所述旋转角度信息进行编码。
14.一种视频解码的装置，其特征在于，所述装置包括：
解码模块，用于根据参考帧和带有旋转角度信息的运动矢量进行视频数据的解码；其中，所述旋转角度信息是运动估计过程中根据代价函数确定的对最佳参考图像块施加的旋转角度。
15.根据权利要求14所述的装置，其特征在于，所述装置还包括：
差分解码模块，用于在多帧图像的多个所述运动矢量中的所述旋转角度信息采用差分方式编码时，采用差分量进行解码。
16.一种电子设备，其特征在于，包括：
存储器以及一个或多个处理器；
其中，所述存储器与所述一个或多个处理器通信连接，所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行时，所述电子设备用于实现如权利要求1-10任一项所述的方法。
17.一种计算机可读存储介质，其上存储有计算机可执行指令，当所述计算机可执行指令被计算装置执行时，可用来实现如权利要求1-10任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110118920.3A CN112468815B (zh) | 2021-01-28 | 2021-01-28 | 视频编解码的方法、装置、电子设备及存储介质 |
| PCT/CN2021/109782 WO2022160636A1 (zh) | 2021-01-28 | 2021-07-30 | 视频编解码的方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110118920.3A CN112468815B (zh) | 2021-01-28 | 2021-01-28 | 视频编解码的方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112468815A true CN112468815A (zh) | 2021-03-09 |
| CN112468815B CN112468815B (zh) | 2021-06-15 |
Family
ID=74802374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110118920.3A Active CN112468815B (zh) | 2021-01-28 | 2021-01-28 | 视频编解码的方法、装置、电子设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112468815B (zh) |
| WO (1) | WO2022160636A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022160636A1 (zh) * | 2021-01-28 | 2022-08-04 | 浙江智慧视频安防创新中心有限公司 | 视频编解码的方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102835106A (zh) * | 2010-02-19 | 2012-12-19 | 斯凯普公司 | 用于视频的数据压缩 |
| CN106961609A (zh) * | 2016-01-08 | 2017-07-18 | 三星电子株式会社 | 用于处理参考图像的应用处理器及移动终端 |
| US20170238011A1 (en) * | 2016-02-17 | 2017-08-17 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and Devices For Encoding and Decoding Video Pictures |
| CN109640097A (zh) * | 2018-12-07 | 2019-04-16 | 辽宁师范大学 | 自适应因子的视频仿射运动估计方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104869399A (zh) * | 2014-02-24 | 2015-08-26 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN110169072A (zh) * | 2017-01-13 | 2019-08-23 | 索尼公司 | 图像处理装置和图像处理方法 |
| WO2020008724A1 (ja) * | 2018-07-06 | 2020-01-09 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| CN112468815B (zh) * | 2021-01-28 | 2021-06-15 | 浙江智慧视频安防创新中心有限公司 | 视频编解码的方法、装置、电子设备及存储介质 |
-
2021
- 2021-01-28 CN CN202110118920.3A patent/CN112468815B/zh active Active
- 2021-07-30 WO PCT/CN2021/109782 patent/WO2022160636A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102835106A (zh) * | 2010-02-19 | 2012-12-19 | 斯凯普公司 | 用于视频的数据压缩 |
| CN106961609A (zh) * | 2016-01-08 | 2017-07-18 | 三星电子株式会社 | 用于处理参考图像的应用处理器及移动终端 |
| US20170238011A1 (en) * | 2016-02-17 | 2017-08-17 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and Devices For Encoding and Decoding Video Pictures |
| CN109640097A (zh) * | 2018-12-07 | 2019-04-16 | 辽宁师范大学 | 自适应因子的视频仿射运动估计方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022160636A1 (zh) * | 2021-01-28 | 2022-08-04 | 浙江智慧视频安防创新中心有限公司 | 视频编解码的方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022160636A1 (zh) | 2022-08-04 |
| CN112468815B (zh) | 2021-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9621917B2 (en) | Continuous block tracking for temporal prediction in video encoding | |
| US9078009B2 (en) | Data compression for video utilizing non-translational motion information | |
| CN108848381B (zh) | 视频编码方法、解码方法、装置、计算机设备及存储介质 | |
| CN100468982C (zh) | 用于执行高质量快速预测运动搜索的方法和设备 | |
| JP5234587B2 (ja) | 映像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体 | |
| US20110206132A1 (en) | Data Compression for Video | |
| CN104067619A (zh) | 视频解码器、视频编码器、视频解码方法以及视频编码方法 | |
| US20120076207A1 (en) | Multiple-candidate motion estimation with advanced spatial filtering of differential motion vectors | |
| Dar et al. | Motion-compensated coding and frame rate up-conversion: Models and analysis | |
| JP2009509403A (ja) | 統合時空間予測法 | |
| CN108810549B (zh) | 一种面向低功耗的流媒体播放方法 | |
| CN112468815B (zh) | 视频编解码的方法、装置、电子设备及存储介质 | |
| CN108401185B (zh) | 参考帧选择方法、视频转码方法、电子设备和存储介质 | |
| CN102801982B (zh) | 一种应用于视频压缩且基于块积分的快速运动估计方法 | |
| CN114531596A (zh) | 图像处理方法和装置 | |
| US8792549B2 (en) | Decoder-derived geometric transformations for motion compensated inter prediction | |
| KR20070000702A (ko) | 탐색영역 재설정을 이용한 고속 움직임 예측 장치 및 방법 | |
| CN102150431A (zh) | 移动图像编码装置和方法 | |
| EP1683361B1 (en) | Power optimized collocated motion estimation method | |
| CN114040209A (zh) | 运动估计方法、装置、电子设备及存储介质 | |
| Park | A sub-pixel motion estimation skipping method for fast HEVC encoding | |
| JP2013121044A (ja) | 画像符号化装置及び画像符号化方法 | |
| CN114424528A (zh) | 视频编码的运动补偿方法 | |
| US10075691B2 (en) | Multiview video coding method using non-referenced view video group | |
| Pal | An optimized block matching algorithm for motion estimation using logical image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210309 Assignee: Institute of Information Technology, Zhejiang Peking University Assignor: Zhejiang smart video security Innovation Center Co.,Ltd. Contract record no.: X2021330000326 Denomination of invention: Video encoding and decoding method, device, electronic equipment and storage medium Granted publication date: 20210615 License type: Common License Record date: 20210927 |
|
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210309 Assignee: Hangzhou Weiming Information Technology Co.,Ltd. Assignor: Zhejiang smart video security Innovation Center Co.,Ltd. Contract record no.: X2021330000536 Denomination of invention: Video encoding and decoding method, device, electronic equipment and storage medium Granted publication date: 20210615 License type: Common License Record date: 20211021 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210309 Assignee: HANGZHOU SHIHUI TECHNOLOGY Co.,Ltd. Assignor: Zhejiang smart video security Innovation Center Co.,Ltd. Contract record no.: X2022330000061 Denomination of invention: Video encoding and decoding method, device, electronic equipment and storage medium Granted publication date: 20210615 License type: Common License Record date: 20220325 |
|
| EC01 | Cancellation of recordation of patent licensing contract | ||
| EC01 | Cancellation of recordation of patent licensing contract |
Assignee: HANGZHOU SHIHUI TECHNOLOGY Co.,Ltd. Assignor: Zhejiang smart video security Innovation Center Co.,Ltd. Contract record no.: X2022330000061 Date of cancellation: 20220707 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210309 Assignee: HANGZHOU SHIHUI TECHNOLOGY Co.,Ltd. Assignor: Zhejiang smart video security Innovation Center Co.,Ltd. Contract record no.: X2022330000278 Denomination of invention: Video coding and decoding method, device, electronic equipment and storage medium Granted publication date: 20210615 License type: Common License Record date: 20220707 |
|
| EE01 | Entry into force of recordation of patent licensing contract | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210309 Assignee: Hangzhou Lezhi Weiming Technology Co.,Ltd. Assignor: Zhejiang smart video security Innovation Center Co.,Ltd. Contract record no.: X2022330000334 Denomination of invention: Video coding and decoding method, device, electronic equipment and storage medium Granted publication date: 20210615 License type: Common License Record date: 20220726 |