CN110572676A - 视频编码方法和装置、视频解码方法和装置及存储介质 - Google Patents
视频编码方法和装置、视频解码方法和装置及存储介质 Download PDFInfo
- Publication number
- CN110572676A CN110572676A CN201910927127.0A CN201910927127A CN110572676A CN 110572676 A CN110572676 A CN 110572676A CN 201910927127 A CN201910927127 A CN 201910927127A CN 110572676 A CN110572676 A CN 110572676A
- Authority
- CN
- China
- Prior art keywords
- resolution
- block
- target
- decoded
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 238000001914 filtration Methods 0.000 claims description 34
- 230000015654 memory Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 description 18
- 238000005070 sampling Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001066 destructive effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种视频编码方法和装置、视频解码方法和装置及存储介质。其中,该方法包括:将待解码视频帧的已解码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域,其中,初始分辨率为已解码块在解码时采用的分辨率,目标分辨率为待解码视频帧的待解码块在解码时采用的分辨率;根据与待解码块对应的目标MV,从待匹配像素区域中确定与待解码块匹配的目标像素区域,其中,目标MV为目标像素区域到待解码块的运动向量,目标像素区域的尺寸与待解码块的尺寸相同;根据目标像素区域中的像素点的像素值,确定按照目标分辨率对待解码块进行解码得到的目标解码块中的像素点的像素值。
Description
技术领域
本发明涉及计算机领域,具体而言,涉及一种视频编码方法和装置、视频解码方法和装置及存储介质。
背景技术
目前,在视频编码的过程中,可以将视频中视频帧划分为多个块分别进行编码处理。在对当前块进行编码之前,可以通过参考已编码块来对当前块进行编码预分析,以确定当前块的编码参数信息。为了方便处理,通常是采用统一的分辨率对视频中的一帧的不同块进行编码。
然而,采用统一分辨率对一帧中的不同块进行编解码的方式,存在由于分辨率与传输带宽不匹配导致的失真验证的问题。即使针对不同块采用不同的分辨率,但各个块与其参考块之间的相对关系是动态的,导致很难确定待编码块与其参考块的相对位置,进而影响编解码的效率以及效果。
因此,相关技术中采用一帧中的不同块采用不同的分辨率进行编解码的方式存在由于很难确定待编码块与其参考块的相对位置导致的编解码效率低,解码效果差的问题。
发明内容
本发明实施例提供了一种视频编码方法和装置、视频解码方法和装置及存储介质,以至少解决相关技术中视频的一帧中的不同块采用不同的分辨率进行编解码的方式是存在编解码效率低,解码效果差的技术问题。
根据本发明实施例的一个方面,提供了一种视频解码方法,包括:将待解码视频帧的已解码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为所述目标分辨率的待匹配像素区域,其中,所述初始分辨率为所述已解码块在解码时采用的分辨率,所述目标分辨率为所述待解码视频帧的待解码块在解码时采用的分辨率;根据与所述待解码块对应的目标运动向量MV,从所述待匹配像素区域中确定与所述待解码块匹配的目标像素区域,其中,所述目标MV为所述目标像素区域到所述待解码块的运动向量,所述目标像素区域的尺寸与所述待解码块的尺寸相同;根据所述目标像素区域中的像素点的像素值,确定按照所述目标分辨率对所述待解码块进行解码得到的目标解码块中的像素点的像素值。
根据本发明实施例的另一个方面,提供了一种视频编码方法,包括:将待编码视频帧的已编码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为所述目标分辨率的待匹配像素区域,其中,所述初始分辨率为所述已编码块在编码时采用的分辨率,所述目标分辨率为所述待编码视频帧的待编码块在编码时采用的分辨率;在所述待匹配像素区域中查找与所述待编码块匹配的目标像素区域,其中,所述目标像素区域的尺寸与所述待编码块的尺寸相同;获取所述目标像素区域到所述待编码块的运动向量MV,得到与所述待编码块对应的目标MV。
根据本发明实施例的又一方面,还提供了一种视频解码装置,包括:第一调整单元,用于将待解码视频帧的已解码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为所述目标分辨率的待匹配像素区域,其中,所述初始分辨率为所述已解码块在解码时采用的分辨率,所述目标分辨率为所述待解码视频帧的待解码块在解码时采用的分辨率;第一确定单元,用于根据与所述待解码块对应的目标运动向量MV,从所述待匹配像素区域中确定与所述待解码块匹配的目标像素区域,其中,所述目标MV为所述目标像素区域到所述待解码块的运动向量,所述目标像素区域的尺寸与所述待解码块的尺寸相同;第二确定单元,用于根据所述目标像素区域中的像素点的像素值,确定按照所述目标分辨率对所述待解码块进行解码得到的目标解码块中的像素点的像素值。
根据本发明实施例的又一方面,还提供了一种视频编码装置,包括:第二调整单元,用于将待编码视频帧的已编码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为所述目标分辨率的待匹配像素区域,其中,所述初始分辨率为所述已编码块在编码时采用的分辨率,所述目标分辨率为所述待编码视频帧的待编码块在编码时采用的分辨率;查找单元,用于在所述待匹配像素区域中查找与所述待编码块匹配的目标像素区域,其中,所述目标像素区域的尺寸与所述待编码块的尺寸相同;获取单元,用于获取所述目标像素区域到所述待编码块的运动向量MV,得到与所述待编码块对应的目标MV。
根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述视频解码方法。
根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述视频编码方法。
根据本发明实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的视频解码方法。
根据本发明实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的视频编码方法。
在本发明实施例中,采用统一全部已解码块的重构块的分辨率的方式,通过将待解码视频帧的已解码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域,其中,初始分辨率为已解码块在解码时采用的分辨率,目标分辨率为待解码视频帧的待解码块在解码时采用的分辨率;根据与待解码块对应的目标MV,从待匹配像素区域中确定与待解码块匹配的目标像素区域,其中,目标MV为目标像素区域到待解码块的运动向量,目标像素区域的尺寸与待解码块的尺寸相同;根据目标像素区域中的像素点的像素值,确定按照目标分辨率对待解码块进行解码得到的目标解码块中的像素点的像素值,由于将全部已解码块的重构块的分辨率调整为待解码块的在解码时采用的分辨率,可以在同一分辨率下根据运动向量确定待解码块的参考块,达到了快速定位待解码块的参考块,保证解码结果准确性的目的,从而实现了提高编解码效率,提升解码效果的技术效果,进而解决了相关技术中视频的一帧中的不同块采用不同的分辨率进行编解码的方式是存在编解码效率低,解码效果差的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的视频解码方法的应用环境的示意图;
图2是根据本发明实施例的一种可选的视频解码方法的流程示意图;
图3是根据本发明实施例的一种可选的视频解码方法的示意图;
图4是根据本发明实施例的另一种可选的视频解码方法的示意图;
图5是根据本发明实施例的又一种可选的视频解码方法的示意图;
图6是根据本发明实施例的一种可选的视频编码方法的流程示意图;
图7是根据本发明实施例的一种可选的视频编码方法的示意图;
图8是根据本发明实施例的一种可选的视频编码方法的示意图;
图9是根据本发明实施例的一种可选的视频编解码过程的示意图;
图10是根据本发明实施例的一种可选的视频解码装置的结构示意图;
图11是根据本发明实施例的一种可选的视频编码装置的结构示意图;
图12是根据本发明实施例的一种可选的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例中涉及到的技术术语包括:
(1)PSNR(Peak Signal to Noise Ratio,峰值信噪比),表示信号最大可能功率和影响它的表示精度的破坏性噪声功率的比值,PSNR的单位为dB,PSNR值越大,表示失真越少;
(2)MV(Moving Vector,运动向量),表示当前编码块与其参考图像中的最佳匹配块之间的相对位移。
根据本发明实施例的一个方面,提供了一种视频解码方法。可选地,作为一种可选的实施方式,上述视频解码方法可以但不限于应用于如图1所示的应用环境中。其中,该应用环境中包括终端102和服务器104,上述终端102和服务器104通过网络进行通信。其中,上述终端102可以但不限于为智能手机、平板电脑、笔记本电脑、台式计算机等,但并不局限于此。上述服务器104可以但不限于为数据处理能力较强,且具有一定存储空间的计算机处理设备。
需要说明的是,与上述视频解码方法对应的视频编码方法也可以但不限于应用于图1所示的应用环境中。在获取待编码视频之后,可以但不限于采用本申请所提供的视频编码方法,通过上述图1所示的终端102与服务器104的交互过程,在块级不同分辨率编码的场景下,在同一分辨率下在帧内已编码的像素区域中查找与当前待编码块匹配的像素区域(例如,最像的像素区域),并获取匹配像素区域与待编码块的目标MV,在节省传输带宽的同时,也保证了视频帧的编码效率和质量。此外,在获取待解码视频之后,也可以但不限于采用本申请所提供的视频解码方法,通过上述图1所示的终端102与服务器104的交互过程,在块级不同分辨率编码的场景下,在同一分辨率下根据目标MV确定出与当前待解码块匹配的匹配像素区域,进而根据匹配像素区域确定出待解码块,从而提高解码效率,提升解码效果。
在一个实施例中,终端102可以包括但不限于以下部件:图像处理单元1021、处理器1022、存储介质1023、内存1024、网络接口1025、显示屏幕1026和输入设备1027。上述部件可以但不限于通过系统总线1028连接。其中,上述图像处理单元1021用于至少提供显示界面的绘制能力;上述处理器1022用于提供计算和控制能力,以支持终端102的运行;存储介质1023中存储有操作系统1023-2、视频编码器和/或视频解码器1023-4。操作系统1023-2用于提供控制操作指令,视频编码器和/或视频解码器1023-4用于根据控制操作指令执行编码/解码操作。此外,上述内存为存储介质1023中的视频编码器和/或视频解码器1023-4提供运行环境,网络接口1025用于与服务器104中的网络接口1043进行网络通信。上述显示屏幕用于显示应用界面等,如解码视频;输入设备1027用于接收用户输入的命令或数据等。对于带触摸屏的终端102,显示屏幕1026和输入设备1027可为触摸屏。上述图1所示出的终端内部的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的终端的限定,具体的终端或服务器可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,上述服务器104可以包括但不限于以下部件:处理器1041、内存1042、网络接口1043和存储介质1044。上述部件可以但不限于通过系统总线1045连接。上述存储介质1044包括操作系统1044-1、数据库1044-2、视频编码器和/或视频解码器1044-3。其中,上述处理器1041用于提供计算和控制能力,以支持服务器104的运行。内存1042为存储介质1044中的视频编码器和/或视频解码1044-3的运行提供环境。网络接口1043与外部的终端102的网络接口1025通过网络连接通信。上述存储介质中的操作系统1044-1用于提供控制操作指令;视频编码器和/或视频解码器1044-3用于根据控制操作指令执行编码/解码操作;数据库1044-2用于存储数据。上述图1所示出的服务器内部的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备具有不同的部件布置。
在一个实施例中,上述网络可以包括但不限于:有线网络,无线网络。其中,上述有线网络可以包括但不限于:广域网、城域网、局域网。上述仅是一种示例,本实施例中对此不作任何限定。
可选地,在本实施例中,作为一种可选的实施方式,提供了一种由终端102或者服务器104执行的视频解码方法。如图2所示,上述视频解码方法包括:
步骤S202,将待解码视频帧的已解码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域,其中,初始分辨率为已解码块在解码时采用的分辨率,目标分辨率为待解码视频帧的待解码块在解码时采用的分辨率;
步骤S204,根据与待解码块对应的目标MV,从待匹配像素区域中确定与待解码块匹配的目标像素区域,其中,目标MV为目标像素区域到待解码块的运动向量,目标像素区域的尺寸与待解码块的尺寸相同;
步骤S206,根据目标像素区域中的像素点的像素值,确定按照目标分辨率对待解码块进行解码得到的目标解码块中的像素点的像素值。
需要说明的是,上述图2所示视频解码方法可以但不限于用于图1所示的视频解码器中。通过该视频解码器与其他部件的交互配合,来完成对待解码视频帧的解码过程。
可选地,在本实施例中,上述视频解码方法可以但不限于应用于各种涉及视频编解码技术的场景,例如,应用于视频播放应用、视频共享应用、视频会话应用、即时通信应用中的短视频传输、即时通信应用中的视频聊天等应用场景中。其中,上述应用场景中所传输的视频可以包括但不限于:长视频、短视频,如长视频可以为播放时间较长(例如播放时长大于10分钟)的播放剧集,或长时间视频会话中所展示的画面,短视频可以为双方或多方交互的语音消息,或用于在共享平台展示的播放时间较短(例如播放时长小于等于30秒)的视频。上述仅是示例,本实施例中所提供的视频解码方法可以但不限于应用于上述应用场景中用于播放视频的播放设备中。
在本实施例中,针对待解码视频中当前的待解码视频帧中的当前待解码块,将多个已解码块块重构一份并调整成同一个分辨率,得到待匹配像素区域,并根据待解码块对应的目标MV确定出于待解码块匹配的目标像素区域,进而根据目标像素区域的像素值确定出对待解码块进行解码得到的目标解码块中的像素点的像素值,可以解决相关技术中视频的一帧中的不同块采用不同的分辨率进行编解码的方式是存在编解码效率低,解码效果差的技术问题,提高了编解码效率,提升了解码效果。
下面结合图2对本实施例中的视频解码方法进行解释说明。
在步骤S202中,将待解码视频帧的已解码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域,其中,初始分辨率为已解码块在解码时采用的分辨率,目标分辨率为待解码视频帧的待解码块在解码时采用的分辨率。
视频的接收设备(例如,服务器104)可以通过网络接收视频的发送设备(例如,终端102)发送的视频码流。该视频码流中包含有该视频的一个或多个视频帧(视频图像)经过视频编码后得到的数据。
接收设备在接收到视频码流之后,可以对视频中的各个待解码视频帧进行解码,得到解码后的视频。具备关联性的视频帧,可以按照关联性的先后顺序进行视频帧解码,对于不具备关联性的视频帧,则可以按照在视频中的顺序进行解码,也可以按照随机的顺序进行解码,还可以进行多个视频帧并行解码,具体的解码方式可以按照约定,或者,根据视频码流中的指示信息进行确定,本实施例中对此不作具体限定。
对于当前待解码视频帧中的各个图像块,在采用intra block copy(块内复制)编码模式时,可以采用不同分辨率进行编码。所采用的分辨率可以通过视频码流中待解码视频帧(或者,待解码块)对应的指示信息进行指示,也可以根据其他图像块、或者其他视频帧的参考信息进行确定,还可以根据视频码流中待解码视频帧(或者,待解码块)对应的指示信息,以及其他图像块、或者其他视频帧的参考信息进行确定。确定各个图像块所采用分辨率的具体方式,本实施例中对此不作具体限定。
在对各个待解码块进行解码时,在视频码流中包含当前待解码块对应的待解码数据的情况下,可以采用与当前待解码块对应的分辨率对待解码数据进行解码,得到与当前待解码块对应的当前已解码块。在视频码流中不包含当前待解码块对应的待解码数据的情况下,可以根据已解码的像素区域中与当前待解码块匹配的目标像素区域(例如,与当前待解码块最像的像素区域),确定与当前待解码块对应的当前已解码块。
可选地,在本实施例中,该目标像素区域可能跨多个块(已解码块),将多个块重构一份并调整成目标分辨率。例如,可以将待解码视频帧的已解码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域。上述初始分辨率为已解码块在解码时采用的分辨率,不同的已解码块,其对应的初始分辨率可以相同,也可以不同。上述目标分辨率为当前待解码块在解码时采用的分辨率。
已解码块的重构块为重构的已解码块的副本,已解码块与重构块的尺寸相同,分辨率相同,相同位置的像素点的像素值也相同。
初始分辨率与目标分辨率的大小关系可以包括以下至少之一:初始分辨率高于目标分辨率,初始分辨率等于目标分辨率,初始分辨率低于目标分辨率。
作为一种可选的实施方式,在初始分辨率高于目标分辨率的情况下,将待解码视频帧的已解码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域包括:将重构块的分辨率由初始分辨率下采样到目标分辨率,得到分辨率为目标分辨率的待匹配像素区域。
可以将初始分辨率高于目标分辨率的重构块的分辨率由初始分辨率下采样到目标分辨率,得到分辨率为目标分辨率的待匹配像素区域(或者,待匹配像素区域中与该重构块对应的像素区域)。
作为另一种可选的实施方式,在初始分辨率等于目标分辨率的情况下,可以不对重构块的分辨率进行调整,将该重构块作为待匹配像素区域(或者,待匹配像素区域中与该重构块对应的像素区域)。
作为又一种可选的实施方式,在初始分辨率低于目标分辨率的情况下,将待解码视频帧的已解码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域包括:将重构块的分辨率由初始分辨率上采样到目标分辨率,得到分辨率为目标分辨率的待匹配像素区域。
可以将初始分辨率低于目标分辨率的重构块的分辨率由初始分辨率上采样到目标分辨率,得到分辨率为目标分辨率的待匹配像素区域(或者,待匹配像素区域中与该重构块对应的像素区域)。
通过本实施例,根据初始分辨率与目标分辨率的关系对重构块的分辨率进行上采样或者下采样,得到待匹配像素区域,可以保证将重构块的分辨率调整为目标分辨率,提高待匹配像素区域确定的准确性。
在对当前待解码块进行解码之前,已解码块可以有一个或多个。在已解码块为一个的情况下,可以将该一个已解码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域。在已解码块为一个的情况下,可以该多个已解码块的多个重构块的分辨率分别由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域。
作为一种可选的实施方式,在已解码块包括多个块、且多个块包括初始分辨率高于目标分辨率的第一块的情况下,将待解码视频帧的已解码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域包括:将第一块的重构块的分辨率由初始分辨率下采样到目标分辨率,得到分辨率为目标分辨率的第一目标已解码块,其中,待匹配像素区域包括第一目标已解码块。
对于多个已解码块中初始分辨率高于目标分辨率的第一块(该第一块可以包括一个或多个),可以第一块的重构块的分辨率由初始分辨率下采样到目标分辨率,得到分辨率为目标分辨率的第一目标已解码块,待匹配像素区域包括该第一目标已解码块。
作为另一种可选的实施方式,在已解码块包括多个块、且多个块包括初始分辨率低于目标分辨率的第二块的情况下,将待解码视频帧的已解码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域包括:将第二块的重构块的分辨率由初始分辨率上采样到目标分辨率,得到分辨率为目标分辨率的第二目标已解码块,其中,待匹配像素区域包括第二目标已解码块。
对于多个已解码块中初始分辨率低于目标分辨率的第二块(该第二块可以包括一个或多个),可以第二块的重构块的分辨率由初始分辨率上采样到目标分辨率,得到分辨率为目标分辨率的第二目标已解码块,待匹配像素区域包括该第二目标已解码块。
作为又一种可选的实施方式,在已解码块包括多个块、且多个块包括初始分辨率等于目标分辨率的第三块(该第三块可以包括一个或多个)的情况下,可以不对该第三块的重构块的分辨率进行调整,将该第三块的重构块作为分辨率为目标分辨率的第三目标已解码块,待匹配像素区域包括该第三目标已解码块。
例如,如图3所示,待解码视频帧包含4×4个图像块,已解码块有10个,其中包括:4个分辨率为R1(Resolution)的已解码块,3个分辨率为R2的已解码块,3个分辨率为R3的已解码块,其中,R1>R3>R2。当前待解码块的分辨率为R3,则可以将分辨率为R1的已解码块的重构块的分辨率由R1下采样到R3,将分辨率为R2的已解码块的重构块的分辨率由R2上采样到R3,并与分辨率为R3的已解码块的重构块一起作为待匹配像素区域。
通过本实施例,在已解码块为多个时,分别根据与各个解码块对应的分辨率和目标分辨率的关系对各个解码块的重构块的分辨率进行调整,可以保证将各个重构块的分辨率调整为目标分辨率,提高待匹配像素区域确定的准确性。
在将各个已解码块的重构块的分辨率由初始分辨率调整为目标分辨率之后,可以将调整后的重构块作为待匹配像素区域,也可以首先对调整后的重构块进行边缘滤波处理,将滤波后的重构块作为待匹配像素区域。
作为一种可选的方案,在将待解码视频帧的已解码块的重构块的分辨率由初始分辨率调整为目标分辨率之后,在已解码块包括多个块的情况下,可以对待匹配像素区域中的相邻像素块的相邻边上的像素点进行边缘滤波,其中,相邻像素块为待匹配像素区域中与多个块中的相邻块对应的像素块。
进行边缘滤波的可以是相邻像素块的相邻行边上的一行或者多行像素点(行边相邻)或者相邻列边上的一列或者多列像素点。在进行边缘滤波时,对于一个待滤波像素点,对其进行滤波所使用的像素点可以是与待滤波像素点相邻(行相邻,列相邻等)的一个或多个像素点,也可以是以待滤波像素点为中心的预定范围内的像素点,其中,预定范围可以是半径为预定长度的圆,或者边长为预定长度的正方形,长方形等等。边缘滤波所采用的滤波方式可以根据需要进行设定,本实施例中对此不作具体限定。
例如,如图4所示,对于调整后的重构块,进行边缘滤波的为相邻边上的两排像素点(如图4中虚线框所示),根据与各个像素点相对应的像素点(例如,上述滤波所使用的像素点)的像素值,调整各个像素点的像素值(滤波),得到滤波后的重构块。滤波后的像素块可以作为待匹配像素区域。
需要说明的是,在解码侧的滤波处理可以通过以下步骤执行:
从当前待处理的解码视频帧中,确定所要重构的至少一对解码块,其中,在至少一对解码块中的每对解码块包括采用第一分辨率的第一解码块和采用第二分辨率的第二解码块,第一解码块与第二解码块为位置邻接的解码块;
将第一解码块的第一分辨率调整为目标分辨率,并将第二解码块的第二分辨率调整为目标分辨率;
从第一解码块中确定出第一边缘像素点集,并从第二解码块中确定出第二边缘像素点集,其中,第一边缘像素点集的位置与第二边缘像素点集的位置邻接;
对第一边缘像素点集进行滤波处理,得到滤波后的第一边缘像素点集,并对第二边缘像素点集进行滤波处理,得到滤波后的第二边缘像素点集,其中,滤波后的第一边缘像素点集中第i个像素点的像素值与滤波后的第二边缘像素点集中与第i个像素点对应的第j个像素点的像素值之间的第一差值,小于第一边缘像素点集中第i个像素点的像素值与第二边缘像素点集中第j个像素点的像素值之间的第二差值,i为正整数,且小于等于第一边缘像素点集中像素点的总数,j为正整数,且小于等于第二边缘像素点集中像素点的总数。
其中,调整为目标分辨率包括:
1)在目标分辨率等于第一分辨率的情况下,将第二分辨率调整为第一分辨率;
2)在目标分辨率等于第二分辨率的情况下,将第一分辨率调整为第二分辨率;
3)在目标分辨率等于第三分辨率的情况下,将第一分辨率调整为第三分辨率,并将第二分辨率调整为第三分辨率,其中,该第三分辨率与第一分辨率不同,且与第二分辨率不同。
通过对上述解码块进行分辨率调整,并对解码块中确定出的边缘像素点集进行边缘滤波处理,以使得在重构过程中可以避免在视频中出现明显接缝,从而保证准确地还原出视频中的内容,进而解决了分辨率不一致导致的视频失真的技术问题。
通过本实施例,通过对调整后的重构块进行边缘滤波,可以减少由于分辨率调整对于像素点的影响,保证待匹配像素区域中的像素点的有效性。
在步骤S204中,根据与待解码块对应的目标MV,从待匹配像素区域中确定与待解码块匹配的目标像素区域,其中,目标MV为目标像素区域到待解码块的运动向量,目标像素区域的尺寸与待解码块的尺寸相同。
在得到待匹配像素区域之后,可以根据带匹配像素区域中与待解码块对应的目标像素区域到待解码块的运动向量(目标MV),从待匹配像素区域确定出目标像素区域。该目标像素区域用于确定与待解码块对应目标解码块,目标解码块为按照目标分辨率对待解码块进行解码得到的解码块,可以跨多个调整后的重构块。
目标MV可以携带在与待解码视频、待解码视频帧或者待解码块对应的指示信息中。该指示信息可以携带多个参数,多个参数中至少包括用于指示目标MV的运动向量参数。通过该运动向量参数的参数值,可以确定出目标MV。
需要说明的是,目标MV用于确定目标像素区域与待解码块之间的相对位置关系,可以是目标像素区域到待解码块的运动向量,也可以是待解码块到目标像素区域的运动向量。
除了目标MV,确定目标像素区域还需要依据基准位置,该基准位置用于定位目标像素区域,该基准位置为待解码块中的基准点位置在待解码块中的相对位置。待解码块中的基准点位置可以是待解码块中的某一像素点位置(左上角的像素点,右上角的像素点,左下角的像素点,右下角的像素点),也可以是除了像素点位置以外的其他位置,例如,中心点。上述基准点位置可以根据需要进行设定,本实施例中对此不作具体限定。
作为一个可选的方案,根据与待解码块对应的目标MV,从待匹配像素区域中确定与待解码块匹配的目标像素区域可以包括:在待匹配像素区域中确定到待解码块中的第一像素点位置匹配的第二像素点位置,其中,第二像素点位置到第一像素点位置的运动向量为目标MV;根据第二像素点位置,在待匹配像素区域中确定目标像素区域,其中,第二像素点位置在目标像素区域中的相对位置与第一像素点位置在待解码块中的相对位置相同。
在得到目标MV之后,还可以确定出待解码块中的基准点位置。待解码块中的基准点位置可以是待解码块中的第一像素点位置。第一像素点位置可以是待解码块中第一像素点的位置。第一像素点可以是待解码块中的特定像素点,特定像素点可以是任意像素点,例如,左上角的像素点,右上角的像素点,左下角的像素点,右下角的像素点。
需要说明的是,待解码块中的基准点位置(第一像素点位置在待解码块中的相对位置)和目标像素区域中的基准点位置(第二像素点位置在目标像素区域中的相对位置)是相同的。基准点位置可以按照约定,也可以通过指示信息中的多个参数中的基准点位置参数的参数值,确定基准点位置。基准点位置的限定方式可以根据需要进行设定,本实施例中对此不作具体限定。
第二像素点位置到第一像素点位置的运动向量为目标MV,或者,第一像素点位置到第二像素点位置的运动向量为目标MV。根据待解码块中的基准点位置,可以根据目标MV,得到目标像素区域中的基准点位置(第二像素点位置)。由于待解码块的尺寸是一定的,根据目标像素区域中的基准点位置,可以从待匹配像素区域中定位到目标像素区域。
例如,如图5所示,根据目标MV以及第一像素点位置,可以确定出第二像素点位置(如图5中的目标MV的两个端点位置),进而可以根据待解码块的尺寸信息(或者其他可以确定待解码块尺寸的信息)确定出目标像素区域。
通过本实施例,根据与待解码块对应的目标MV,以及待解码块中的基准点位置(第一像素点位置),确定目标像素区域,可以保证目标像素点位置确定的准确性,提高解码质量。
在步骤S206中,根据目标像素区域中的像素点的像素值,确定按照目标分辨率对待解码块进行解码得到的目标解码块中的像素点的像素值。
在确定出目标像素区域之后,可以根据目标像素区域中的像素点的像素值,确定与待解码块对应的目标解码块中的像素点的像素值,其中,目标解码块为按照目标分辨率对待解码块进行解码得到的解码块。
确定与待解码块对应的目标解码块中的像素点的像素值可以有多种,例如,可以将目标像素区域直接作为目标解码块:将目标像素区域中的像素点的像素值,作为目标解码块中对应的像素点的像素值。
作为一种可选的方案,根据目标像素区域中的像素点的像素值,确定按照目标分辨率对待解码块进行解码得到的目标解码块中的像素点的像素值包括:按照目标转换参数对目标像素区域中的像素点的像素值进行转换,得到目标解码块中的像素点的像素值。
除了目标MV之外,视频码流中与待解码块对应的参数还可以包括:目标转换参数,该目标转换参数可以为将目标像素区域中的像素点的像素值转化为目标解码块中的像素点的像素值的转换参数。该转换参数可以是:目标像素区域中的像素点的像素值与目标解码块中的像素点的像素值的差值。
由于目标像素区域为与待解码块匹配的像素区域(例如,待匹配像素区域中与待解码块最像的像素区域),则确定目标解码块所需的转换参数的数据量较小,从而可以以较少的代价,得到准确的目标解码块。
通过本实施例,通过按照目标转换参数对目标像素区域中的像素点的像素值进行转换,得到目标解码块中的像素点的像素值,可以保证目标解码块确定的准确性,提高解码质量。
根据本发明实施例的另一个方面,提供了一种视频编码方法,如图6所示,该方法包括:
步骤S602,将待编码视频帧的已编码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域,其中,初始分辨率为已编码块在编码时采用的分辨率,目标分辨率为待编码视频帧的待编码块在编码时采用的分辨率;
步骤S604,在待匹配像素区域中查找与待编码块匹配的目标像素区域,其中,目标像素区域的尺寸与待编码块的尺寸相同;
步骤S606,获取目标像素区域到待编码块的MV,得到与待编码块对应的目标MV。
需要说明的是,上述图6所示视频编码方法可以但不限于用于图1所示的视频编码器中。通过该视频编码器与其他部件的交互配合,来完成对待编码视频帧的编码过程。
可选地,在本实施例中,上述视频编码方法可以但不限于应用于视频播放应用、视频共享应用或视频会话应用等应用场景中。其中,上述应用场景中所传输的视频可以包括但不限于:长视频、短视频,如长视频可以为播放时间较长(例如播放时长大于10分钟)的播放剧集,或长时间视频会话中所展示的画面,短视频可以为双方或多方交互的语音消息,或用于在共享平台展示的播放时间较短(例如播放时长小于等于30秒)的视频。上述仅是示例,本实施例中所提供的视频编码方法可以但不限于应用于上述应用场景中用于发送视频的发送设备中。
在视频编码过程中,为了保证视频帧编码的实时性和灵活性,会将视频帧划分为多个块分别进行编码处理。此外,在对当前块进行编码之前,需要通过参考已编码块来对当前块进行编码预分析,以确定当前块的分辨率。在相关技术中的视频编码过程中,对于同一视频帧内的不同块,为了方便处理,通常是采用统一的分辨率进行编码。
如图7所示,如果对于视频中的一帧中的不同块都采用了高分辨率进行编码,则在传输的带宽比较小(例如,小于图7中所示的带宽阈值Th)的情况下,对于视频中的一帧中的不同块采用高分辨率进行编码时所对应的峰值信噪比PSNR1要低于对于视频中的一帧中的不同块采用低分辨率进行编码时所对应的峰值信噪比PSNR2,也就是说,在传输带宽较小时采用高分辨率进行编码时的峰值信噪比PSNR1相对较小,失真相对较大。
同理,如果对于视频中的一帧中的不同块都采用了低分辨率进行编码,则在传输的带宽比较大(例如,大于图7中所示的带宽阈值Th)的情况下,对于视频中的一帧中的不同块采用低分辨率进行编码时所对应的峰值信噪比PSNR3要低于对于视频中的一帧中的不同块采用高分辨率进行编码时所对应的峰值信噪比PSNR4,也就是说,在传输带宽较大时采用低分辨率进行编码时的峰值信噪比PSNR3相对较小,失真相对较大。
即使针对不同的块采用了不同的分辨率,但针对这种各个块与其参考块之间的动态的相对关系,没有有效动态标记上述相对关系的方式,因此,相关技术中的视频编码方式存在编码效率低的问题。
在本实施例中,针对待解码视频中当前的待编码视频帧中的当前待编码块,将多个已编码块块重构一份并调整成同一个分辨率,得到待匹配像素区域,并从待匹配像素区域中查找与待编码块匹配的目标像素区域,进而确定目标像素区域到待编码块的目标MV,解决了相关技术中视频的一帧中的不同块采用不同的分辨率进行编解码的方式是存在编解码效率低,解码效果差的技术问题,提高了编解码效率,提升了解码效果。
下面结合图6对本实施例中的视频编码方法进行说明。
在步骤S602中,将待编码视频帧的已编码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域,其中,初始分辨率为已编码块在编码时采用的分辨率,目标分辨率为待编码视频帧的待编码块在编码时采用的分辨率。
视频的发送设备(例如,终端102)可以对待发送的视频进行编码,得到编码后的视频码流。对于待编码视频中具备关联性的视频帧,可以按照关联性的先后顺序进行视频帧编码,对于不具备关联性的视频帧,则可以按照在视频中的顺序进行编码,也可以按照随机的顺序进行编码,还可以进行多个视频帧并行编码,具体的编码方式可以按照约定,或者,终端的资源状况确定,本实施例中对此不作具体限定。
对于当前待编码视频帧中的各个图像块,在采用intra block copy(块内复制)编码模式时,可以采用不同分辨率进行编码。待编码块所采用的分辨率可以根据待编码块中的像素点的像素值确定,也可以根据其他图像块、或者其他视频帧的参考信息进行确定,还可以根据待编码块中的像素点的像素值,以及其他图像块、或者其他视频帧的参考信息进行确定。确定各个图像块所采用分辨率的具体方式,本实施例中对此不作具体限定。各个图像块所采用的分辨率,可以通过视频码流中待解码视频帧(或者,待解码块)对应的指示信息进行指示。
在对各个待编码块进行编码时,可以首先将待编码视频帧的已编码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域。上述初始分辨率为已编码块在编码时采用的分辨率,不同的已编码块,其对应的初始分辨率可以相同,也可以不同。上述目标分辨率为当前待编码块在编码时采用的分辨率。
已编码块的重构块为重构的已编码块的副本,已编码块与重构块的尺寸相同,分辨率相同,相同位置的像素点的像素值也相同。
初始分辨率与目标分辨率的大小关系可以包括以下至少之一:初始分辨率高于目标分辨率,初始分辨率等于目标分辨率,初始分辨率低于目标分辨率。
作为一种可选的实施方式,在初始分辨率高于目标分辨率的情况下,将待编码视频帧的已编码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域包括:将重构块的分辨率由初始分辨率下采样到目标分辨率,得到分辨率为目标分辨率的待匹配像素区域。
可以将初始分辨率高于目标分辨率的重构块的分辨率由初始分辨率下采样到目标分辨率,得到分辨率为目标分辨率的待匹配像素区域(或者,待匹配像素区域中与该重构块对应的像素区域)。
作为另一种可选的实施方式,在初始分辨率等于目标分辨率的情况下,可以不对重构块的分辨率进行调整,将该重构块作为待匹配像素区域(或者,待匹配像素区域中与该重构块对应的像素区域)。
作为又一种可选的实施方式,在初始分辨率低于目标分辨率的情况下,将待编码视频帧的已编码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域包括:将重构块的分辨率由初始分辨率上采样到目标分辨率,得到分辨率为目标分辨率的待匹配像素区域。
可以将初始分辨率低于目标分辨率的重构块的分辨率由初始分辨率上采样到目标分辨率,得到分辨率为目标分辨率的待匹配像素区域(或者,待匹配像素区域中与该重构块对应的像素区域)。
通过本实施例,根据初始分辨率与目标分辨率的关系对重构块的分辨率进行上采样或者下采样,得到待匹配像素区域,可以保证将重构块的分辨率调整为目标分辨率,提高待匹配像素区域确定的准确性。
在对当前待编码块进行编码之前,已编码块可以有一个或多个。在已编码块为一个的情况下,可以将该一个已编码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域。在已编码块为多个的情况下,可以该多个已编码块的多个重构块的分辨率分别由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域。
作为一种可选的实施方式,在已编码块包括多个块、且多个块包括初始分辨率高于目标分辨率的第一块的情况下,将待编码视频帧的已编码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域包括:将第一块的重构块的分辨率由初始分辨率下采样到目标分辨率,得到分辨率为目标分辨率的第一目标已编码块,其中,待匹配像素区域包括第一目标已编码块。
对于多个已编码块中初始分辨率高于目标分辨率的第一块(该第一块可以包括一个或多个),可以第一块的重构块的分辨率由初始分辨率下采样到目标分辨率,得到分辨率为目标分辨率的第一目标已编码块,待匹配像素区域包括该第一目标已编码块。
作为另一种可选的实施方式,在已编码块包括多个块、且多个块包括初始分辨率低于目标分辨率的第二块的情况下,将待编码视频帧的已编码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域包括:将第二块的重构块的分辨率由初始分辨率上采样到目标分辨率,得到分辨率为目标分辨率的第二目标已编码块,其中,待匹配像素区域包括第二目标已编码块。
对于多个已编码块中初始分辨率低于目标分辨率的第二块(该第二块可以包括一个或多个),可以第二块的重构块的分辨率由初始分辨率上采样到目标分辨率,得到分辨率为目标分辨率的第二目标已编码块,待匹配像素区域包括该第二目标已编码块。
作为又一种可选的实施方式,在已编码块包括多个块、且多个块包括初始分辨率等于目标分辨率的第三块(该第三块可以包括一个或多个)的情况下,可以不对该第三块的重构块的分辨率进行调整,将该第三块的重构块作为分辨率为目标分辨率的第三目标已编码块,待匹配像素区域包括该第三目标已编码块。
通过本实施例,在已编码块为多个时,分别根据与各个编码块对应的分辨率和目标分辨率的关系对各个编码块的重构块的分辨率进行调整,可以保证将各个重构块的分辨率调整为目标分辨率,提高待匹配像素区域确定的准确性。
除了将各个已编码块的重构块的分辨率由初始分辨率调整为目标分辨率以外,对于当前待编码块,如果当前待编码块的分辨率不为目标分辨率,则可以对当前待编码块进行上采样(在当前待编码块的分辨率低于目标分辨率的情况下)或者下采样(在当前待编码块的分辨率高于目标分辨率的情况下),从而将当前待编码块的分辨率调整为目标分辨率。
在将各个已编码块的重构块的分辨率由初始分辨率调整为目标分辨率之后,可以将调整后的重构块作为待匹配像素区域,也可以首先对调整后的重构块进行边缘滤波处理,将滤波后的重构块作为待匹配像素区域。
作为一种可选的方案,在将待编码视频帧的已编码块的重构块的分辨率由初始分辨率调整为目标分辨率之后,可以在已编码块包括多个块的情况下,对待匹配像素区域中的相邻像素块的相邻边上的像素点进行边缘滤波,其中,相邻像素块为待匹配像素区域中与多个块中的相邻块对应的像素块。
进行边缘滤波的可以是相邻像素块的相邻行边上的一行或者多行像素点(行边相邻)或者相邻列边上的一列或者多列像素点。在进行边缘滤波时,对于一个待滤波像素点,对其进行滤波所使用的像素点可以是与待滤波像素点相邻(行相邻,列相邻等)的一个或多个像素点,也可以是以待滤波像素点为中心的预定范围内的像素点,其中,预定范围可以是半径为预定长度的圆,或者边长为预定长度的正方形,长方形等等。边缘滤波所采用的滤波方式可以根据需要进行设定,本实施例中对此不作具体限定。
需要说明的是,在编码侧执行的滤波处理与解码侧执行的滤波处理基本类似,在此不作赘述。
通过本实施例,通过对调整后的重构块进行边缘滤波,可以减少由于分辨率调整对于像素点的影响,保证待匹配像素区域中的像素点的有效性。
在步骤S604中,在待匹配像素区域中查找与待编码块匹配的目标像素区域,其中,目标像素区域的尺寸与待编码块的尺寸相同。
在得到待匹配像素区域,可以在待匹配像素区域中查找与待编码块匹配的目标像素区域。查找目标像素区域的方式可以包括:在各个编码块在决策选择不同分辨率编码的前提下,统一各个编码块的重构块的分辨率,并枚举找到已编码块中(待匹配像素区域)与待编码块匹配的目标像素区域(例如,最相似的区域)。
例如,在各个编码块在决策选择不同分辨率编码的前提下,枚举找到已编码块中最相似的区域,需要计算该区域各个像素到当前块的距离。该区域是根据相似区域重构得到,需要对相似区域进行统一分辨率的处理,统一分辨率的方式可以是:各块均插值/下采样到目标分辨率。
作为一种可选的方案,在待匹配像素区域中查找与待编码块匹配的目标像素区域包括:使用预定步长按照先行后列或者先列后行的顺序依次从待匹配像素区域中获取与待编码块尺寸相同的多个候选像素区域;从多个候选像素区域中确定出目标像素区域,其中,目标像素区域为多个候选像素区域中与待编码块的相似度最高、且与待编码块的相似度高于相似度阈值的候选像素区域。
枚举找到待匹配像素区域与待编码块匹配的目标像素区域的方式可以是:使用预定步长按照先行后列或者先列后行的顺序依次从待匹配像素区域中获取与待编码块尺寸相同的多个候选像素区域,并将与待编码块的相似度最高、且与待编码块的相似度高于相似度阈值的候选像素区域,作为目标像素度阈值。
需要说明的是,候选像素区域与待编码块的相似度可以是:相同位置上的像素值相同的像素点的个数与候选像素区域包含像素点的总个数的比值。也可以是其他类型的相似度。确定候选像素区域与待编码块的相似度的方式可以根据需要设定,本实施例中对此不作具体限定。
例如,确定候选像素区域的方式如图8所示,可以以待匹配像素区域的左上角的像素点为起点,首先获取与待编码块尺寸相同的第一候选像素区域(左上角的像素点为A(0,0));然后向右平移一个像素点,得到第二候选像素区域(左上角的像素点为A(0,1));按照向右平移一个像素点的方式依次获取候选像素区域,直到达到待匹配像素区域的右侧;再向下平移一行,返回左侧继续获取候选像素区域(左上角的像素点为A(1,0));按照上述先行后列的方式依次获取候选像素区域,直到没有满足尺寸条件的候选像素区域。
通过本实施例,使用预定步长按照先行后列或者先列后行的顺序依次获取多个候选像素区域;并从多个候选像素区域中确定出目标像素区域,避免候选像素区域获取的遗漏,保证目标像素区域确定的准确性。
在步骤S306中,获取目标像素区域到待编码块的MV,得到与待编码块对应的目标MV。
在确定出目标像素区域之后,可以将目标像素区域中的基准点位置到待编码块中的基准点位置的运动向量,作为与待编码块对应的目标MV。
可选地,除了目标MV之外,还可以确定目标像素区域中的像素点与待编码块中的像素点之间的像素值的差值,将该差值作为目标转换参数写入到编码后得到的视频码流中(例如,作为指示信息写入到视频码流中的特定位置)。
需要说明的是,如果无法查找到与待编码块匹配的目标像素区域,这可以直接按照目标分辨率对待编码块进行编码,得到与待编码块对应的编码块(编码数据),并将得到的编码数据写入到视频码流中。
具体结合图9所示示例中的步骤S902-S930进行说明。在本示例中,在块级不同分辨率编码的场景下,采用intra block copy编码模式时,在帧内已编码的像素区域中查找与当前待编码块最像的像素区域,并计算像素区域到当前块的MV,其中,该最像的像素区域可能跨多个块,将多个块重构一份并调整成同一个分辨率,在多个块上找到与当前块相应的像素区域。本示例中采用的调整分辨率的方式为:对于各个分辨率不为预先确定的目标分辨率的编码块,均采用上采样插值或者下采样的方式,将各个编码块的分辨率调整为目标分辨率。
在编码端,执行步骤S902至步骤S916:获取待编码视频帧,并通过待编码块分辨率决策;确定待编码块编码时采用的分辨率为目标分辨率,然后将多个已编码块的重构块调整成同一分辨率(目标分辨率)(步骤S906-2至步骤S906-8),得到待匹配像素区域。判断是否从待匹配像素区域中是否查找到与当前待编码块最像的像素区域;如果是,则确定与待编码块对应的目标MV以及目标转换参数,如果否,则采用目标分辨率对待编码块进行编码,将目标分辨率的分辨率标识添加到视频码流中,并输出视频码流。
在解码端,执行步骤S918至步骤S930:获取视频码流;对待解码块进行分辨率决策,确定与待解码块对应的目标分辨率;确定从视频码流中是否获取到目标MV;如果获取到目标MV,则将多个已解码块的重构块调整成同一分辨率(目标分辨率)(步骤S924-2至步骤S924-8),得到待匹配像素区域;根据目标MV确定与待解码块匹配的目标像素区域,并根据目标像素区域中的像素点的像素值,确定按照目标分辨率对待解码块进行解码得到的目标解码块中的像素点的像素值。如果未获取到目标MV,则采用目标分辨率对待解码块进行解码。
通过对各个待解码视频帧的各个待解码块进行解码,得到视频码流中的各个待解码视频帧对应已解码视频帧,最终解码出视频。
上述仅是一种示例,本实施例中所提供的视频编码方法和视频解码方法,应用于上述图1中所示目标MV的决策过程以及目标MV的使用过程,用于在编码端和解码端针对不同待编码块/待解码块采用不同的分辨率的情况下,在按照不同分辨率对各个块进行编码之前,对于各个分辨率不为预先确定的目标分辨率的已编码块的重构块,采用上采样插值或者下采样的方式,将各个已编码块的重构块的分辨率调整为目标分辨率,从而确定各个块与其参考块之间的运动信息,以便于直接利用相对关系进行编解码,提高编解码效率。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的又一个方面,还提供了一种视频解码装置。如图10所示,该装置包括:
(1)第一调整单元1002,用于将待解码视频帧的已解码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域,其中,初始分辨率为已解码块在解码时采用的分辨率,目标分辨率为待解码视频帧的待解码块在解码时采用的分辨率;
(2)第一确定单元1004,用于根据与待解码块对应的目标MV,从待匹配像素区域中确定与待解码块匹配的目标像素区域,其中,目标MV为目标像素区域到待解码块的运动向量,目标像素区域的尺寸与待解码块的尺寸相同;
(3)第二确定单元1006,用于根据目标像素区域中的像素点的像素值,确定按照目标分辨率对待解码块进行解码得到的目标解码块中的像素点的像素值。
需要说明的是,上述图10所示视频解码装置可以但不限于用于图1所示的视频解码器中。通过该视频解码器与其他部件的交互配合,来完成对待解码视频帧的解码过程。
可选地,第一调整单元1002可以用于执行前述步骤S202,第一确定单元1004可以用于执行前述步骤S204,第二确定单元1006可以用于执行前述步骤S206。
在本实施例中,针对待解码视频中当前的待解码视频帧中的当前待解码块,将多个已解码块块重构一份并调整成同一个分辨率,得到待匹配像素区域,并根据待解码块对应的目标MV确定出于待解码块匹配的目标像素区域,进而根据目标像素区域的像素值确定出对待解码块进行解码得到的目标解码块中的像素点的像素值,可以解决相关技术中视频的一帧中的不同块采用不同的分辨率进行编解码的方式是存在编解码效率低,解码效果差的技术问题,提高了编解码效率,提升了解码效果。
作为一种可选的实施方案,第一调整单元1002包括:
(1)第一下采样模块,用于在初始分辨率高于目标分辨率的情况下,将重构块的分辨率由初始分辨率下采样到目标分辨率,得到分辨率为目标分辨率的待匹配像素区域;
(2)第一上采样模块,用于在初始分辨率低于目标分辨率的情况下,将重构块的分辨率由初始分辨率上采样到目标分辨率,得到分辨率为目标分辨率的待匹配像素区域。
通过本实施例,根据初始分辨率与目标分辨率的关系对重构块的分辨率进行上采样或者下采样,得到待匹配像素区域,可以保证将重构块的分辨率调整为目标分辨率,提高待匹配像素区域确定的准确性。
作为一种可选的实施方案,第一调整单元1002包括:
(1)第二下采样模块,用于在已解码块包括多个块、且多个块包括初始分辨率高于目标分辨率的第一块的情况下,将第一块的重构块的分辨率由初始分辨率下采样到目标分辨率,得到分辨率为目标分辨率的第一目标已解码块,其中,待匹配像素区域包括第一目标已解码块;
(2)第二上采样模块,用于在已解码块包括多个块、且多个块包括在初始分辨率高于目标分辨率的第二块的情况下,将第二块的重构块的分辨率由初始分辨率上采样到目标分辨率,得到分辨率为目标分辨率的第二目标已解码块,其中,待匹配像素区域包括第二目标已解码块。
通过本实施例,在已解码块为多个时,分别根据与各个解码块对应的分辨率和目标分辨率的关系对各个解码块的重构块的分辨率进行调整,可以保证将各个重构块的分辨率调整为目标分辨率,提高待匹配像素区域确定的准确性。
作为一种可选的实施方案,第一调整单元1002包括:
(1)第一滤波模块,用于在将待解码视频帧的已解码块的重构块的分辨率由初始分辨率调整为目标分辨率之后,在已解码块包括多个块的情况下,对待匹配像素区域中的相邻像素块的相邻边上的像素点进行边缘滤波,其中,相邻像素块为待匹配像素区域中与多个块中的相邻块对应的像素块。
通过本实施例,通过对调整后的重构块进行边缘滤波,可以减少由于分辨率调整对于像素点的影响,保证待匹配像素区域中的像素点的有效性。
作为一种可选的实施方案,第一确定单元1004包括:
(1)第一确定模块,用于在待匹配像素区域中确定到待解码块中的第一像素点位置匹配的第二像素点位置,其中,第二像素点位置到第一像素点位置的运动向量为目标MV;
(2)第二确定模块,用于根据第二像素点位置,在待匹配像素区域中确定目标像素区域,其中,第二像素点位置在目标像素区域中的相对位置与第一像素点位置在待解码块中的相对位置相同。
通过本实施例,根据与待解码块对应的目标MV,以及待解码块中的基准点位置(第一像素点位置),确定目标像素区域,可以保证目标像素点位置确定的准确性,提高解码质量。
作为一种可选的实施方案,第二确定单元1006包括:
(1)转换模块,用于按照目标转换参数对目标像素区域中的像素点的像素值进行转换,得到目标解码块中的像素点的像素值。
通过本实施例,通过按照目标转换参数对目标像素区域中的像素点的像素值进行转换,得到目标解码块中的像素点的像素值,可以保证目标解码块确定的准确性,提高解码质量。
根据本发明实施例的又一个方面,还提供了一种视频编码装置。如图11所示,该装置包括:
(1)第二调整单元1102,用于将待编码视频帧的已编码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域,其中,初始分辨率为已编码块在编码时采用的分辨率,目标分辨率为待编码视频帧的待编码块在编码时采用的分辨率;
(2)查找单元1104,用于在待匹配像素区域中查找与待编码块匹配的目标像素区域,其中,目标像素区域的尺寸与待编码块的尺寸相同;
(3)获取单元1106,用于获取目标像素区域到待编码块的MV,得到与待编码块对应的目标MV。
需要说明的是,上述图11所示视频编码装置可以但不限于用于图1所示的视频编码器中。通过该视频编码器与其他部件的交互配合,来完成对待编码视频帧的编码过程。
可选地,第二调整单元1102可以用于执行前述步骤S602,查找单元1104可以用于执行前述步骤S604,获取单元1106可以用于执行前述步骤S606。
在本实施例中,针对待解码视频中当前的待编码视频帧中的当前待编码块,将多个已编码块块重构一份并调整成同一个分辨率,得到待匹配像素区域,并从待匹配像素区域中查找与待编码块匹配的目标像素区域,进而确定目标像素区域到待编码块的目标MV,解决了相关技术中视频的一帧中的不同块采用不同的分辨率进行编解码的方式是存在编解码效率低,解码效果差的技术问题,提高了编解码效率,提升了解码效果。
作为一种可选的实施方案,第二调整单元1102包括:
(1)第三下采样模块,用于在初始分辨率高于目标分辨率的情况下,将重构块的分辨率由初始分辨率下采样到目标分辨率,得到分辨率为目标分辨率的待匹配像素区域;
(2)第三上采样模块,用于在初始分辨率低于目标分辨率的情况下,将重构块的分辨率由初始分辨率上采样到目标分辨率,得到分辨率为目标分辨率的待匹配像素区域。
通过本实施例,根据初始分辨率与目标分辨率的关系对重构块的分辨率进行上采样或者下采样,得到待匹配像素区域,可以保证将重构块的分辨率调整为目标分辨率,提高待匹配像素区域确定的准确性。
作为一种可选的实施方案,第二调整单元1102包括:
(1)第四下采样模块,用于在已编码块包括多个块、且多个块包括初始分辨率高于目标分辨率的第一块的情况下,将第一块的重构块的分辨率由初始分辨率下采样到目标分辨率,得到分辨率为目标分辨率的第一目标已编码块,其中,待匹配像素区域包括第一目标已编码块;
(2)第四上采样模块,用于在已编码块包括多个块、且多个块包括初始分辨率高于目标分辨率的第二块的情况下,将第二块的重构块的分辨率由初始分辨率上采样到目标分辨率,得到分辨率为目标分辨率的第二目标已编码块,其中,待匹配像素区域包括第二目标已编码块。
通过本实施例,在已编码块为多个时,分别根据与各个编码块对应的分辨率和目标分辨率的关系对各个编码块的重构块的分辨率进行调整,可以保证将各个重构块的分辨率调整为目标分辨率,提高待匹配像素区域确定的准确性。
作为一种可选的实施方案,第二调整单元1102包括:
(1)第二滤波模块,用于在将待编码视频帧的已编码块的重构块的分辨率由初始分辨率调整为目标分辨率之后,在已编码块包括多个块的情况下,对待匹配像素区域中的相邻像素块的相邻边上的像素点进行边缘滤波,其中,相邻像素块为待匹配像素区域中与多个块中的相邻块对应的像素块。
通过本实施例,通过对调整后的重构块进行边缘滤波,可以减少由于分辨率调整对于像素点的影响,保证待匹配像素区域中的像素点的有效性。
作为一种可选的实施方案,查找单元1104包括:
(1)获取模块,用于使用预定步长按照先行后列或者先列后行的顺序依次从待匹配像素区域中获取与待编码块尺寸相同的多个候选像素区域;
(2)第三确定模块,用于从多个候选像素区域中确定出目标像素区域,其中,目标像素区域为多个候选像素区域中与待编码块的相似度最高、且与待编码块的相似度高于相似度阈值的候选像素区域。
通过本实施例,使用预定步长按照先行后列或者先列后行的顺序依次获取多个候选像素区域;并从多个候选像素区域中确定出目标像素区域,避免候选像素区域获取的遗漏,保证目标像素区域确定的准确性。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
根据本发明的实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,将待解码视频帧的已解码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域,其中,初始分辨率为已解码块在解码时采用的分辨率,目标分辨率为待解码视频帧的待解码块在解码时采用的分辨率;
S2,根据与待解码块对应的目标MV,从待匹配像素区域中确定与待解码块匹配的目标像素区域,其中,目标MV为目标像素区域到待解码块的运动向量,目标像素区域的尺寸与待解码块的尺寸相同;
S3,根据目标像素区域中的像素点的像素值,确定按照目标分辨率对待解码块进行解码得到的目标解码块中的像素点的像素值。
可选地,在本实施例中,上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,将待编码视频帧的已编码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域,其中,初始分辨率为已编码块在编码时采用的分辨率,目标分辨率为待编码视频帧的待编码块在编码时采用的分辨率;
S2,在待匹配像素区域中查找与待编码块匹配的目标像素区域,其中,目标像素区域的尺寸与待编码块的尺寸相同;
S3,获取目标像素区域到待编码块的MV,得到与待编码块对应的目标MV。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
根据本发明实施例的又一个方面,还提供了一种用于实施上述视频解码方法或者视频编码方法的电子装置,如图12所示,该电子装置包括存储器1202和处理器1204,该存储器1202中存储有计算机程序,该处理器1204被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,将待解码视频帧的已解码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域,其中,初始分辨率为已解码块在解码时采用的分辨率,目标分辨率为待解码视频帧的待解码块在解码时采用的分辨率;
S2,根据与待解码块对应的目标MV,从待匹配像素区域中确定与待解码块匹配的目标像素区域,其中,目标MV为目标像素区域到待解码块的运动向量,目标像素区域的尺寸与待解码块的尺寸相同;
S3,根据目标像素区域中的像素点的像素值,确定按照目标分辨率对待解码块进行解码得到的目标解码块中的像素点的像素值。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,将待编码视频帧的已编码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为目标分辨率的待匹配像素区域,其中,初始分辨率为已编码块在编码时采用的分辨率,目标分辨率为待编码视频帧的待编码块在编码时采用的分辨率;
S2,在待匹配像素区域中查找与待编码块匹配的目标像素区域,其中,目标像素区域的尺寸与待编码块的尺寸相同;
S3,获取目标像素区域到待编码块的MV,得到与待编码块对应的目标MV。
可选地,本领域普通技术人员可以理解,图12所示的结构仅为示意,电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图12其并不对上述电子装置的结构造成限定。例如,电子装置还可包括比图12中所示更多或者更少的组件(如网络接口等),或者具有与图12所示不同的配置。
其中,存储器1202可用于存储软件程序以及模块,如本发明实施例中的视频解码方法和装置、或者视频编码方法和装置对应的程序指令/模块,处理器1204通过运行存储在存储器1202内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的视频解码方法或者视频编码方法。存储器1202可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1202可进一步包括相对于处理器1204远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1202具体可以但不限于用于存储物品的样本特征与目标虚拟资源账号等信息。作为一种示例,如图12所示,上述存储器1202中可以但不限于包括上述视频解码装置中的第一调整单元1002、第一确定单元1004、第二确定单元1006。作为另一种示例,上述存储器1202中可以但不限于包括上述视频编码装置中的第二调整单元1102、查找单元1104、获取单元1106。此外,还可以包括但不限于上述视频解码装置或者视频编码装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置1206用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1206包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1206为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子装置还包括:连接总线1208,用于连接上述电子装置中的各个模块部件。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (15)
1.一种视频解码方法,其特征在于,包括:
将待解码视频帧的已解码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为所述目标分辨率的待匹配像素区域,其中,所述初始分辨率为所述已解码块在解码时采用的分辨率,所述目标分辨率为所述待解码视频帧的待解码块在解码时采用的分辨率;
根据与所述待解码块对应的目标运动向量MV,从所述待匹配像素区域中确定与所述待解码块匹配的目标像素区域,其中,所述目标MV为所述目标像素区域到所述待解码块的运动向量,所述目标像素区域的尺寸与所述待解码块的尺寸相同;
根据所述目标像素区域中的像素点的像素值,确定按照所述目标分辨率对所述待解码块进行解码得到的目标解码块中的像素点的像素值。
2.根据权利要求1所述的方法,其特征在于,将所述待解码视频帧的所述已解码块的所述重构块的分辨率由所述初始分辨率调整为所述目标分辨率,得到分辨率为所述目标分辨率的所述待匹配像素区域包括:
在所述初始分辨率高于所述目标分辨率的情况下,将所述重构块的分辨率由所述初始分辨率下采样到所述目标分辨率,得到分辨率为所述目标分辨率的所述待匹配像素区域;
在所述初始分辨率低于所述目标分辨率的情况下,将所述重构块的分辨率由所述初始分辨率上采样到所述目标分辨率,得到分辨率为所述目标分辨率的所述待匹配像素区域。
3.根据权利要求1所述的方法,其特征在于,将所述待解码视频帧的所述已解码块的所述重构块的分辨率由所述初始分辨率调整为所述目标分辨率,得到分辨率为所述目标分辨率的所述待匹配像素区域包括:
在所述已解码块包括多个块、且所述多个块包括所述初始分辨率高于所述目标分辨率的第一块的情况下,将所述第一块的重构块的分辨率由所述初始分辨率下采样到所述目标分辨率,得到所述分辨率为所述目标分辨率的第一目标已解码块,其中,所述待匹配像素区域包括所述第一目标已解码块;
在所述已解码块包括多个块、且所述多个块包括在所述初始分辨率高于所述目标分辨率的第二块的情况下,将所述第二块的重构块的分辨率由所述初始分辨率上采样到所述目标分辨率,得到所述分辨率为所述目标分辨率的第二目标已解码块,其中,所述待匹配像素区域包括所述第二目标已解码块。
4.根据权利要求1所述的方法,其特征在于,在将所述待解码视频帧的所述已解码块的所述重构块的分辨率由所述初始分辨率调整为所述目标分辨率之后,所述方法还包括:
在所述已解码块包括多个块的情况下,对所述待匹配像素区域中的相邻像素块的相邻边上的像素点进行边缘滤波,其中,所述相邻像素块为所述待匹配像素区域中与所述多个块中的相邻块对应的像素块。
5.根据权利要求1所述的方法,其特征在于,根据与所述待解码块对应的所述目标MV,从所述待匹配像素区域中确定与所述待解码块匹配的所述目标像素区域包括:
在所述待匹配像素区域中确定到所述待解码块中的第一像素点位置匹配的第二像素点位置,其中,所述第二像素点位置到所述第一像素点位置的运动向量为所述目标MV;
根据所述第二像素点位置,在所述待匹配像素区域中确定所述目标像素区域,其中,所述第二像素点位置在所述目标像素区域中的相对位置与所述第一像素点位置在所述待解码块中的相对位置相同。
6.根据权利要求1至5中任一项所述的方法,其特征在于,根据所述目标像素区域中的像素点的像素值,确定按照所述目标分辨率对所述待解码块进行解码得到的所述目标解码块中的像素点的像素值包括:
按照目标转换参数对所述目标像素区域中的像素点的像素值进行转换,得到所述目标解码块中的像素点的像素值。
7.一种视频编码方法,其特征在于,包括:
将待编码视频帧的已编码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为所述目标分辨率的待匹配像素区域,其中,所述初始分辨率为所述已编码块在编码时采用的分辨率,所述目标分辨率为所述待编码视频帧的待编码块在编码时采用的分辨率;
在所述待匹配像素区域中查找与所述待编码块匹配的目标像素区域,其中,所述目标像素区域的尺寸与所述待编码块的尺寸相同;
获取所述目标像素区域到所述待编码块的运动向量MV,得到与所述待编码块对应的目标MV。
8.根据权利要求7所述的方法,其特征在于,将所述待编码视频帧的所述已编码块的所述重构块的分辨率由所述初始分辨率调整为所述目标分辨率,得到分辨率为所述目标分辨率的所述待匹配像素区域包括:
在所述初始分辨率高于所述目标分辨率的情况下,将所述重构块的分辨率由所述初始分辨率下采样到所述目标分辨率,得到分辨率为所述目标分辨率的所述待匹配像素区域;
在所述初始分辨率低于所述目标分辨率的情况下,将所述重构块的分辨率由所述初始分辨率上采样到所述目标分辨率,得到分辨率为所述目标分辨率的所述待匹配像素区域。
9.根据权利要求7所述的方法,其特征在于,将所述待编码视频帧的所述已编码块的所述重构块的分辨率由所述初始分辨率调整为所述目标分辨率,得到分辨率为所述目标分辨率的所述待匹配像素区域包括:
在所述已编码块包括多个块、且所述多个块包括所述初始分辨率高于所述目标分辨率的第一块的情况下,将所述第一块的重构块的分辨率由所述初始分辨率下采样到所述目标分辨率,得到所述分辨率为所述目标分辨率的第一目标已编码块,其中,所述待匹配像素区域包括所述第一目标已编码块;
在所述已编码块包括多个块、且所述多个块包括所述初始分辨率高于所述目标分辨率的第二块的情况下,将所述第二块的重构块的分辨率由所述初始分辨率上采样到所述目标分辨率,得到所述分辨率为所述目标分辨率的第二目标已编码块,其中,所述待匹配像素区域包括所述第二目标已编码块。
10.根据权利要求7所述的方法,其特征在于,在将所述待编码视频帧的所述已编码块的所述重构块的分辨率由所述初始分辨率调整为所述目标分辨率之后,所述方法还包括:
在所述已编码块包括多个块的情况下,对所述待匹配像素区域中的相邻像素块的相邻边上的像素点进行边缘滤波,其中,所述相邻像素块为所述待匹配像素区域中与所述多个块中的相邻块对应的像素块。
11.根据权利要求7至10中任一项所述的方法,其特征在于,在所述待匹配像素区域中查找与所述待编码块匹配的所述目标像素区域包括:
使用预定步长按照先行后列或者先列后行的顺序依次从所述待匹配像素区域中获取与所述待编码块尺寸相同的多个候选像素区域;
从所述多个候选像素区域中确定出所述目标像素区域,其中,所述目标像素区域为所述多个候选像素区域中与所述待编码块的相似度最高、且与所述待编码块的相似度高于相似度阈值的候选像素区域。
12.一种视频解码装置,其特征在于,包括:
第一调整单元,用于将待解码视频帧的已解码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为所述目标分辨率的待匹配像素区域,其中,所述初始分辨率为所述已解码块在解码时采用的分辨率,所述目标分辨率为所述待解码视频帧的待解码块在解码时采用的分辨率;
第一确定单元,用于根据与所述待解码块对应的目标运动向量MV,从所述待匹配像素区域中确定与所述待解码块匹配的目标像素区域,其中,所述目标MV为所述目标像素区域到所述待解码块的运动向量,所述目标像素区域的尺寸与所述待解码块的尺寸相同;
第二确定单元,用于根据所述目标像素区域中的像素点的像素值,确定按照所述目标分辨率对所述待解码块进行解码得到的目标解码块中的像素点的像素值。
13.一种视频编码装置,其特征在于,包括:
第二调整单元,用于将待编码视频帧的已编码块的重构块的分辨率由初始分辨率调整为目标分辨率,得到分辨率为所述目标分辨率的待匹配像素区域,其中,所述初始分辨率为所述已编码块在编码时采用的分辨率,所述目标分辨率为所述待编码视频帧的待编码块在编码时采用的分辨率;
查找单元,用于在所述待匹配像素区域中查找与所述待编码块匹配的目标像素区域,其中,所述目标像素区域的尺寸与所述待编码块的尺寸相同;
获取单元,用于获取所述目标像素区域到所述待编码块的运动向量MV,得到与所述待编码块对应的目标MV。
14.一种计算机可读的存储介质,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至11任一项中所述的方法。
15.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至11任一项中所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910927127.0A CN110572676B (zh) | 2019-09-27 | 2019-09-27 | 视频编码方法和装置、视频解码方法和装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910927127.0A CN110572676B (zh) | 2019-09-27 | 2019-09-27 | 视频编码方法和装置、视频解码方法和装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110572676A true CN110572676A (zh) | 2019-12-13 |
CN110572676B CN110572676B (zh) | 2023-12-12 |
Family
ID=68782947
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910927127.0A Active CN110572676B (zh) | 2019-09-27 | 2019-09-27 | 视频编码方法和装置、视频解码方法和装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110572676B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6148033A (en) * | 1997-11-20 | 2000-11-14 | Hitachi America, Ltd. | Methods and apparatus for improving picture quality in reduced resolution video decoders |
US20080165863A1 (en) * | 2007-01-05 | 2008-07-10 | Freescale Semiconductor, Inc. | Reduction of block effects in spatially re-sampled image information for block-based image coding |
US20120207220A1 (en) * | 2009-08-21 | 2012-08-16 | Sk Telecom Co., Ltd. | Method and apparatus for encoding/decoding images using adaptive motion vector resolution |
EP2557793A1 (en) * | 2010-04-09 | 2013-02-13 | Sony Corporation | Image processing device and method |
US20160337662A1 (en) * | 2015-05-11 | 2016-11-17 | Qualcomm Incorporated | Storage and signaling resolutions of motion vectors |
CN107113442A (zh) * | 2014-10-31 | 2017-08-29 | 三星电子株式会社 | 用于对运动矢量进行编码/解码的方法和装置 |
CN107592972A (zh) * | 2015-05-11 | 2018-01-16 | 高通股份有限公司 | 用于视频数据中特定图片内的帧间译码的搜索区域确定 |
CN107925772A (zh) * | 2015-09-25 | 2018-04-17 | 华为技术有限公司 | 利用可选插值滤波器进行视频运动补偿的装置和方法 |
CN108769682A (zh) * | 2018-06-20 | 2018-11-06 | 腾讯科技(深圳)有限公司 | 视频编码、解码方法、装置、计算机设备和存储介质 |
CN108848380A (zh) * | 2018-06-20 | 2018-11-20 | 腾讯科技(深圳)有限公司 | 视频编码和解码方法、装置、计算机设备及存储介质 |
KR20190033403A (ko) * | 2017-09-21 | 2019-03-29 | 에스케이텔레콤 주식회사 | 해상도 향상 기법을 이용한 영상의 부호화 및 복호화 |
CN109618160A (zh) * | 2018-11-12 | 2019-04-12 | 建湖云飞数据科技有限公司 | 一种基于运动信息与残差信息计算的视频编码方法 |
-
2019
- 2019-09-27 CN CN201910927127.0A patent/CN110572676B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6148033A (en) * | 1997-11-20 | 2000-11-14 | Hitachi America, Ltd. | Methods and apparatus for improving picture quality in reduced resolution video decoders |
US20080165863A1 (en) * | 2007-01-05 | 2008-07-10 | Freescale Semiconductor, Inc. | Reduction of block effects in spatially re-sampled image information for block-based image coding |
US20120207220A1 (en) * | 2009-08-21 | 2012-08-16 | Sk Telecom Co., Ltd. | Method and apparatus for encoding/decoding images using adaptive motion vector resolution |
EP2557793A1 (en) * | 2010-04-09 | 2013-02-13 | Sony Corporation | Image processing device and method |
CN107113442A (zh) * | 2014-10-31 | 2017-08-29 | 三星电子株式会社 | 用于对运动矢量进行编码/解码的方法和装置 |
US20160337662A1 (en) * | 2015-05-11 | 2016-11-17 | Qualcomm Incorporated | Storage and signaling resolutions of motion vectors |
CN107592972A (zh) * | 2015-05-11 | 2018-01-16 | 高通股份有限公司 | 用于视频数据中特定图片内的帧间译码的搜索区域确定 |
CN107925772A (zh) * | 2015-09-25 | 2018-04-17 | 华为技术有限公司 | 利用可选插值滤波器进行视频运动补偿的装置和方法 |
KR20190033403A (ko) * | 2017-09-21 | 2019-03-29 | 에스케이텔레콤 주식회사 | 해상도 향상 기법을 이용한 영상의 부호화 및 복호화 |
CN108769682A (zh) * | 2018-06-20 | 2018-11-06 | 腾讯科技(深圳)有限公司 | 视频编码、解码方法、装置、计算机设备和存储介质 |
CN108848380A (zh) * | 2018-06-20 | 2018-11-20 | 腾讯科技(深圳)有限公司 | 视频编码和解码方法、装置、计算机设备及存储介质 |
CN109618160A (zh) * | 2018-11-12 | 2019-04-12 | 建湖云飞数据科技有限公司 | 一种基于运动信息与残差信息计算的视频编码方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110572676B (zh) | 2023-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111681167B (zh) | 画质调整方法和装置、存储介质及电子设备 | |
JP2022050585A (ja) | クロマ予測方法及びデバイス | |
US20160037185A1 (en) | Methods and apparatuses for coding and decoding depth map | |
CN110636312B (zh) | 视频编解码方法和装置及存储介质 | |
CN110636294A (zh) | 视频解码方法及装置,视频编码方法及装置 | |
US20190141287A1 (en) | Using low-resolution frames to increase frame rate of high-resolution frames | |
CN110572673B (zh) | 视频编解码方法和装置、存储介质及电子装置 | |
CN110545433B (zh) | 视频编解码方法和装置及存储介质 | |
CN110519607B (zh) | 视频解码方法及装置,视频编码方法及装置 | |
CN110677676B (zh) | 视频编码方法和装置、视频解码方法和装置及存储介质 | |
CN110662071B (zh) | 视频解码方法和装置、存储介质及电子装置 | |
CN110572672B (zh) | 视频编解码方法和装置、存储介质及电子装置 | |
CN110677653B (zh) | 视频编解码方法和装置及存储介质 | |
CN110572677B (zh) | 视频编解码方法和装置、存储介质及电子装置 | |
CN110677690B (zh) | 视频处理方法和装置、存储介质 | |
CN110582022B (zh) | 视频编解码方法和装置及存储介质 | |
CN110572676B (zh) | 视频编码方法和装置、视频解码方法和装置及存储介质 | |
CN110662060B (zh) | 视频编码方法和装置、视频解码方法和装置及存储介质 | |
CN115442617A (zh) | 一种基于视频编码的视频处理方法和装置 | |
CN110677721B (zh) | 视频编解码方法和装置及存储介质 | |
CN110636293B (zh) | 视频编码、解码方法和装置、存储介质及电子装置 | |
CN110636295B (zh) | 视频编解码方法和装置、存储介质及电子装置 | |
CN110572674B (zh) | 视频编解码方法和装置、存储介质及电子装置 | |
CN110572654B (zh) | 视频编码、解码方法和装置、存储介质及电子装置 | |
CN110536134B (zh) | 视频编码、解码方法和装置、存储介质及电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40018852 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |