CN118158406A - 帧间编码方法、硬件装置、虚拟装置、设备及存储介质 - Google Patents

帧间编码方法、硬件装置、虚拟装置、设备及存储介质 Download PDF

Info

Publication number
CN118158406A
CN118158406A CN202410261815.9A CN202410261815A CN118158406A CN 118158406 A CN118158406 A CN 118158406A CN 202410261815 A CN202410261815 A CN 202410261815A CN 118158406 A CN118158406 A CN 118158406A
Authority
CN
China
Prior art keywords
reference window
sub
size
pixel reference
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410261815.9A
Other languages
English (en)
Inventor
李英
廖振雄
张鹏
王景生
都美江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peng Cheng Laboratory
Original Assignee
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peng Cheng Laboratory filed Critical Peng Cheng Laboratory
Priority to CN202410261815.9A priority Critical patent/CN118158406A/zh
Publication of CN118158406A publication Critical patent/CN118158406A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及视频编码领域,公开一种帧间编码方法、硬件装置、虚拟装置、设备及存储介质,该方法通过接收预测单元的视频帧数据请求;根据候选运动矢量的范围进行参考窗匹配,确定所述视频帧数据请求的目标参考窗;通过所述目标参考窗对所述视频帧数据请求进行应答。由于是根据候选运动矢量的范围进行参考窗匹配,确定用于应答视频帧数据请求的目标参考窗,实现了可以根据运动矢量的范围匹配确定不同的目标参考窗,提高了资源的利用率,在不降低编码质量、解决了模式决策中多个预测单元并行访问可能会出现性能瓶颈的问题。

Description

帧间编码方法、硬件装置、虚拟装置、设备及存储介质
技术领域
本发明涉及视频编码技术领域,尤其涉及一种帧间编码方法、硬件装置、虚拟装置、设备及存储介质。
背景技术
AVS3(Audio Video Coding Standard)是我国自主研制的第三代音视频编解码标准,为全球首个面向8K超高清产业的音视频编解码技术标准。对于视频编码中占据及其重的帧间编码,除了传统的时域和空域候选,AVS3还纳入了历史运动矢量预测(HistoryMotion Vector Prediction,HMVP)和高级运动矢量表达(Ultimate Motion VectorExpresssion,UMVE)这两个工具作为SKIP/DIRECT模式的候选。这些工具在提高编码效率的同时,也极大地提高了编码运算量和复杂度。在简单的IPPP配置下,每个预测单元(Prediction Unit,PU)的SKIP模式已多达55个候选(包括1个时域候选、3个空域候选、5个运动矢量角度预测(Motion Vector Angle Prediction,MVAP)候选、6个HMVP候选和40个UMVE候选),而每个编码树单元(coding tree units,CTU)的多种PU划分进一步导致SKIP候选模式所需的计算量急剧增加。
视频编码器的硬件实现通常都按最大编码单元(Largest Coding Unit,LCU)级的流水线结构进行设计。由于SKIP候选模式的增加,导致参考数据的访问次数增加,从而使得分像素参考窗成为了多个PU并行访问的瓶颈,部分PU因为获取参考像素数据的延迟访问而导致整体编码性能下降。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种帧间编码方法、硬件装置、虚拟装置、设备及存储介质,旨在解决现有技术中多个预测单元SKIP模式频繁并行访问分像素参考窗而出现的性能瓶颈的技术问题。
为实现上述目的,本发明提供了一种帧间编码方法,所述方法包括以下步骤:
接收预测单元的视频帧数据请求;
根据候选运动矢量的范围进行参考窗匹配,确定所述视频帧数据请求的目标参考窗;
通过所述目标参考窗对所述视频帧数据请求进行应答。
可选地,所述根据所述候选运动矢量的范围进行参考窗匹配,确定所述视频帧数据请求的目标参考窗的步骤,包括:
若所述候选运动矢量的范围处于第一尺寸分像素参考窗的尺寸范围内,则确定处于空闲状态的第一尺寸分像素参考窗;
将所述处于空闲状态的第一尺寸分像素参考窗作为所述视频帧数据请求的目标参考窗;
若所述候选运动矢量的范围不处于所述第一尺寸分像素参考窗的尺寸范围内或不存在空闲状态的所述第一尺寸分像素参考窗,则确定处于空闲状态的第二尺寸分像素参考窗;
将所述处于空闲状态的第二尺寸分像素参考窗作为所述视频帧数据请求的目标参考窗;
其中,所述第二尺寸分像素参考窗的尺寸大于所述第一尺寸分像素参考窗。
可选地,所述根据所述候选运动矢量的范围进行参考窗匹配,确定所述视频帧数据请求的目标参考窗的步骤,还包括:
若不存在空闲状态的分像素参考窗,则确定范围大于所述候选运动矢量范围的分像素参考窗,作为预选分像素参考窗;
在所述预选分像素参考窗中存在空闲状态的分像素参考窗时,将所述空闲状态的分像素参考窗作为所述候选运动矢量的目标参考窗;
其中,所述分像素参考窗包括第一尺寸分像素参考窗和第二尺寸分像素参考窗。
可选地,所述根据所述候选运动矢量的范围进行参考窗匹配,确定所述视频帧数据请求的目标参考窗的步骤,还包括:
确定所述预测单元对应的预设第一尺寸分像素参考窗和预设第二尺寸分像素参考窗;
若所述候选运动矢量的范围处于所述预设第一尺寸分像素参考窗的尺寸范围内,则将所述预设第一尺寸分像素参考窗作为所述视频帧数据请求的目标参考窗;
若所述候选运动矢量的范围不处于所述预设第一尺寸分像素参考窗的尺寸范围内,则将所述预设第二尺寸分像素参考窗作为所述视频帧数据请求的目标参考窗。
可选地,所述通过所述目标参考窗对所述视频帧数据请求进行应答的步骤,包括:
确定所述目标参考窗对应的仲裁器,将所述预测单元与所述仲裁器进行握手;
在握手成功时,通过所述目标参考窗对所述视频帧数据请求进行应答。
可选地,所述确定所述目标参考窗对应的仲裁器,将所述预测单元与所述仲裁器进行握手的步骤,包括:
确定所述目标参考窗对应的仲裁器;
若所述仲裁器处于空闲状态,则将所述预测单元与所述仲裁器进行握手;
若所述仲裁器处于响应状态,则等待所述仲裁器空闲时将所述预测单元与所述仲裁器进行握手。
此外,为实现上述目的,本发明还提出一种帧间编码硬件装置,所述硬件装置包括:预测单元和内存;
所述内存中设有第一尺寸分像素参考窗以及第二尺寸分像素参考窗;
所述预测单元分别与所述内存中的第一尺寸分像素参考窗以及第二尺寸分像素参考窗连接;
所述帧间编码硬件被用于实现如上文所述的帧间编码方法的步骤。
此外,为实现上述目的,本发明还提出一种帧间编码虚拟装置,所述帧间编码装置包括:
请求接收模块,用于在接收预测单元的视频帧数据请求;
参考窗匹配模块,用于根据所述候选运动矢量的范围进行参考窗匹配,确定所述视频帧数据请求的目标参考窗;
数据应答模块,用于通过所述目标参考窗对所述视频帧数据请求进行应答。
此外,为实现上述目的,本发明还提出一种帧间编码设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的帧间编码程序,所述帧间编码程序配置为实现如上文所述的帧间编码方法的步骤。
此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有帧间编码程序,所述帧间编码程序被处理器执行时实现如上文所述的帧间编码方法的步骤。
本发明通过接收预测单元的视频帧数据请求;根据候选运动矢量的范围进行参考窗匹配,确定所述视频帧数据请求的目标参考窗;通过所述目标参考窗对所述视频帧数据请求进行应答。由于是根据候选运动矢量的范围进行参考窗匹配,确定用于应答视频帧数据请求的目标参考窗,实现了可以根据运动矢量的范围匹配确定不同的目标参考窗,提高了资源的利用率,在不降低编码质量、解决了模式决策中多个预测单元并行访问可能会出现性能瓶颈的问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的帧间编码设备的结构示意图;
图2为本发明帧间编码方法第一实施例的流程示意图;
图3为一种实施方式中AVS3编码器最大编码单元级别流水线结构示意图;
图4为一种实施方式中的分像素参考窗的框图;
图5为本发明帧间编码方法第二实施例的多尺寸分像素参考窗访问管理示意图;
图6为本发明帧间编码方法第三实施例的多尺寸分像素参考窗访问管理示意图;
图7为本发明帧间编码虚拟装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的帧间编码设备结构示意图。
如图1所示,该帧间编码设备可以包括:处理器1001,例如中央处理器(CentralProcessing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity,Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM),也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对帧间编码设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
在一种实现方式中,在帧间编码设备中,可以设置有用于实现帧间编码方法的帧间编码硬件装置。通过帧间编码程序或者帧间编码虚拟装置,可以实现对帧间编码硬件的控制,从而实现本发明帧间编码方法的步骤。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及帧间编码程序。
在图1所示的帧间编码设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明帧间编码设备中的处理器1001、存储器1005可以设置在帧间编码设备中,所述帧间编码设备通过处理器1001调用存储器1005中存储的帧间编码程序,并执行本发明实施例提供的帧间编码方法。
本发明实施例提供了一种帧间编码方法,参照图2,图2为本发明帧间编码方法第一实施例的流程示意图。
本实施例中,所述帧间编码方法包括以下步骤:
步骤S10:在接收到预测单元的视频帧数据请求。
需要说明的是,本实施例方法的执行主体可以是具有视频编码、数据处理以及程序运行功能的终端设备,例如摄像机、计算机、服务器等具备视频编码功能的设备,也可以是具有相同或相似功能的电子设备,例如上述帧间编码设备。以下以帧间编码设备(以下简称编码设备)为例对本实施例及下述各实施例进行说明。
需要解释的是,视频编码器的硬件实现通常可以按照LCU级的流水线结构进行设计。具体可以如图3所示,图3为一种实施方式中AVS3编码器最大编码单元级别流水线结构示意图。AVS3编码器中主要可以包括数据获取(Fetch)、粗模式决策(Rough ModeDecision,RMD)、整像素运动估计(Integer Motion Estimation,IME)、分像素运动估计(Fraction Motion Estimation,FME)、模式决策(Mode Decision,MD)、去方块滤波(Deblock,DBK)、样点自适应补偿(Sample adaptive offset,SAO)及熵编码(EntropyCoding,EC)等电路模块以及固件和存储器。在图3所示的结构中,为了复用MD模块的SKIP预测过程和FME模块共同使用的插值滤波电路模块,FME模块可以预先插值出SKIP预测过程中可能使用的分像素参考窗,并将分像素参考窗传递给MD模块,使得MD模块的SKIP预测可以根据候选运动矢量直接读取插值后的分像素参考窗用于代价计算。
需要说明的是,SKIP模式是指在视频编码过程中,为每个宏块或块考虑是否跳过其编码的一种决策模式。SKIP候选模式是一种在编码过程中,为每个宏块或块考虑是否采用SKIP模式的一种决策策略。在SKIP模式下,进行预测时可以选择是否跳过当前宏块的编码,直接使用先前帧中相应宏块的信息进行预测,也即进行SKIP预测。通过SKIP预测可以提高视频编码的效率。
可以理解的是,预测单元是视频编码中用于进行预测的基本单元。通常而言,为了达到最优的编码性能,在MD模块中可以设置有多个预测单元。通过预测单元,可以表示和处理帧内以及帧间的预测信息,帮助编码设备利用图像内部以及图像间的冗余信息来实现高效的视频压缩。
需要说明的是,分像素参考窗是一种用于视频编码中的技术。分像素参考窗允许运动矢量在整数像素之间的位置进行表示,可以用于提高运动补偿的准确性。
应当理解的是,预测单元在进行SKIP模式的代价计算时,可以先通过特定的数据请求获取运动补偿矩阵(也即预测矩阵),这种数据请求也即上述视频帧数据请求。
如图4所示,图4为一种实施方式中的分像素参考窗的框图。
其中,每个预测单元中的SKIP预测共享FME的分像素参考窗访问。此时,由于SKIP候选模式的增加,导致参考数据的访问次数增加,从而使得分像素参考窗成为了多个预测单元并行访问的瓶颈,部分预测单元因为获取参考像素数据的延迟访问而导致整体编码性能下降。
基于此,本发明基于视频帧的时空相关性,提出了一种多尺寸分像素参考窗机制,在不降低编码质量、解决决策模式多个预测单元并行访问的同时,尽可能少地使用随机存取存储器(Random Access Memory,RAM)。
在一般情况下,SKIP预测的候选运动矢量都比较小,而且根据UMVE计算得到的候选MV分布都比较集中。针对这些特征,本发明的帧间编码硬件装置中由FME插值出MD所需的分像素参考窗的同时,写出多份小尺寸分像素参考窗,这些小尺寸分像素参考窗可以是相同尺寸的,也可以是不同尺寸的,但它们都是FME插值的分像素参考窗的局部数据。这些小尺寸分像素参考窗的尺寸越大,所需的内存就越大;拷贝数越多,所需的内存也越大。
具体地,在多尺寸分像素参考窗对预测单元的视频帧数据请求进行应答时,可以先通过多尺寸分像素参考窗的管理模块对候选运动矢量的范围进行判断。
可以理解的是,运动矢量(Motion Vector,MV)是一种用于描述当前视频帧中的宏块相对于参考帧的位移信息。在运动估计的过程中,需要找到最佳匹配的运动矢量,为了找到最佳匹配的运动矢量,系统可以预先定义一部分可能的运动矢量作为候选,也即候选运动矢量。通常而言,候选运动矢量可以在参考帧周围的邻近宏块中搜索得到。通过对当前宏块与参考帧之间的运动矢量进行补偿,可以显著地减少视频压缩中的冗余信息,从而实现更高的压缩比和更好的视频质量。
应当理解的是,候选运动矢量的范围也即在进行候选运动矢量搜索时的搜索范围。通常而言,候选运动矢量的范围可以根据编码标准、实现方式以及编码参数的设置而不同,本发明实施例不对候选运动矢量的具体范围进行限制。
在具体实现中,编码设备在接收到预测单元的视频帧数据请求时,可以确定候选运动矢量的范围。通过确定候选运动矢量的范围,可以更好地解读视频编码中的运动矢量数据,进而提高视频编码的准确性和编码效率,同时减少运动估计和运动补偿的计算复杂度。
步骤S20:根据所述候选运动矢量的范围进行参考窗匹配,确定所述视频帧数据请求的目标参考窗;
步骤S30:通过所述目标参考窗对所述视频帧数据请求进行应答。
可以理解的是,在本发明的帧间编码硬件装置中,写有多个分像素参考窗,其中包括大尺寸分像素参考窗与小尺寸分像素参考窗。
需要说明的是,大尺寸分像素参考窗也即第二尺寸分像素参考窗,也即由FME插值出的MD所需的分像素参考窗。小尺寸参考窗也即一尺寸参考窗,也即在第二尺寸分像素参考窗被插值出来的同时,写出的关于第二尺寸分像素参考窗的小尺寸的拷贝。通过插值出的这些不同尺寸的分像素参考窗,即可构成多尺寸分像素参考窗。
应当理解的是,第一尺寸分像素参考窗可以是一个也可以是多个,且每个第一尺寸分像素参考窗的尺寸都比第二尺寸分像素参考窗的要小。在各个第一尺寸分像素参考窗中,其具体尺寸可以相同,也可以不同。
需要说明的是,在应用多尺寸分像素参考窗时,分像素参考窗的尺寸越小,其响应优先级也就越高。通过将候选运动矢量的范围按照尺寸从小到大与各个分像素参考窗进行匹配,在匹配到存在分像素参考窗的尺寸范围大于候选运动矢量的范围时,即可将该分像素参考窗作为目标参考窗。也即,本发明的方案中,当任何一个预测单元的SKIP预测过程请求候选运动矢量对应的插值分像素参考窗时,由最小尺寸的分像素参考窗优先应答;若最小尺寸的分像素参考窗的尺寸范围小于候选运动矢量的范围,也即在候选运动矢量的范围落在最小尺寸的分像素参考窗之外时,再对稍大一些的分像素参考窗进行尺寸从小到大依次判断,直至寻找到目标参考窗。
例如,存在五个分像素参考窗,其尺寸分别为20像素、16像素、12像素、8像素、4像素;在候选运动矢量的范围为6像素时,先通过4像素的分像素参考窗进行判断,无法应答;再通过8像素的分像素参考窗进行判断,此时候选运动矢量的范围处于8像素参考窗的范围内,则可以将尺寸为8像素的分像素参考窗作为视频帧数据请求的目标参考窗。
由此可见,对于一些较为特殊的情况,例如剧烈运动场景,SKIP候选运动矢量较大时,对于大尺寸分像素参考窗的请求数量并不会得到显著地减少,编码性能问题也可能得不到最大程度地缓解。本方案通过设置小尺寸分像素参考窗,并可以对应适当增加小尺寸分像素参考窗的大小,使得这种问题得到明显改善。
在实施本发明的方案时,可以根据应用场景、编码性能、内存等指标进行综合评估,从而确定各个小尺寸分像素参考窗的最优大小、最优位置以及最优份数。
需要说明的是,相较于简单的进行正常大小分像素参考窗的拷贝,本发明可以明显降低RAM的使用。在一种实施方式中,可以将现有的4个正常大小的分像素参考窗变成1个正常大小的分像素参考窗和3个小尺寸分像素参考窗,以小尺寸分像素参考窗为正常大小的分像素参考窗的37.5%为例,本发明方案各分像素参考窗所占RAM使用面积相对于现有方案减少了47%;相比于简单地进行多个分像素参考窗的尺寸裁剪,本发明对编码质量没有任何负面影响,优化了MD模块需要频繁并行访问FME模块写出的分像素参考窗而出现的性能瓶颈问题。
本发明实施例通过接收预测单元的视频帧数据请求;根据候选运动矢量的范围进行参考窗匹配,确定所述视频帧数据请求的目标参考窗;通过所述目标参考窗对所述视频帧数据请求进行应答。由于是根据候选运动矢量的范围进行参考窗匹配,确定用于应答视频帧数据请求的目标参考窗,实现了可以根据运动矢量的范围匹配确定不同的目标参考窗,提高了资源的利用率,在不降低编码质量、解决了模式决策中多个预测单元并行访问可能会出现性能瓶颈的问题。
参考图5,图5为本发明帧间编码方法第二实施例的多尺寸分像素参考窗访问管理示意图。
基于上述第一实施例,在本实施例中,所述根据所述候选运动矢量的范围进行参考窗匹配,确定所述视频帧数据请求的目标参考窗的步骤,包括:
步骤S21A:若所述候选运动矢量的范围处于第一尺寸分像素参考窗的尺寸范围内,则确定处于空闲状态的第一尺寸分像素参考窗;
步骤S22A:将所述处于空闲状态的第一尺寸分像素参考窗作为所述视频帧数据请求的目标参考窗。
可以理解的是,在图5所示的实施方式中,本发明的多尺寸分像素参考窗的访问由一个独立的管理模块进行统一管理。通过这个模块,可以完成对视频帧数据请求对应的目标参考窗进行查找的过程。也即,根据候选运动矢量进行判断,以获取目标参考窗的过程。
需要说明的是,分像素运动估计模块插值出了四个分像素参考窗至内存中,其中包括一个第二尺寸分像素参考窗REF_W和三个第一尺寸分像素参考窗,三个第一尺寸分像素参考窗分别为REF_SW0、REF_SW1、REF_SW2。在模式决策中,包括n个预测单元,分别为PU_0、PU_1、PU_2、......、PU_n。
需要解释的是,在本实施例中,小尺寸分像素参考窗的尺寸一致,并以此进行举例说明。但这并不对本发明的第一尺寸分像素参考窗的具体大小进行限制,在实际应用中,多个第一尺寸分像素参考窗的大小可以相同也可以不同。
在具体应用中,对于第一尺寸分像素参考窗的份数、大小、位置以及在内存中的数据存放格式都是需要根据在实际应用中进行设计的细节。
需要说明的是,第一尺寸分像素参考窗的份数和大小直接决定了占用的内存大小和分像素参考窗的响应速度。通常,第一尺寸分像素参考窗的份数和大小可以根据预测单元的请求数量、系统的性能需求进行平衡。在一种实施方式中,本发明使用了3个尺寸为96*80像素的分像素参考窗以解决性能问题。
需要解释的是,第一尺寸分像素参考窗的位置也可以存在多种选择。例如,以第二尺寸分像素参考窗的中心位置作为第一尺寸分像素参考窗的中心位置;又如,以当前CTU的中心位置作为第一尺寸分像素参考窗的中心位置;再如,以预测单元的中心位置作为第一尺寸分像素参考窗的中心位置等,本发明实施例对此不加以限制。
在一种实现方式中,为了使得硬件实现上更加简洁,本发明实施例采用以第二尺寸分像素参考窗的中心位置作为第一尺寸分像素参考窗的中心位置这一方案。
此外,为了保持内存访问方式的一致性,在本发明实施例中,第一尺寸分像素参考窗和第二尺寸分像素参考窗的数据存放格式可以相同。因此,在确定第一尺寸分像素参考窗的大小时,还需要同时考量存放格式的因素,设计为存放格式的块对齐。
需要说明的是,在预测单元访问内存中的分像素参考窗时,通过管理模块进行管理。管理模块根据候选运动矢量的范围进行判断,从而确定预测单元的请求对应的目标分像素参考窗。
在实际应用中,由于多个预测单元并行访问的情况,可能导致其中的部分分像素参考窗已经处于响应状态,此时则需要匹配其它的处于空闲状态的分像素参考窗。
需要说明的是,在各第一尺寸分像素参考窗的尺寸不同时,若匹配到的目标分像素参考窗处于响应状态,则继续匹配后续分像素参考窗,直至匹配到处于空闲状态的第一尺寸分像素参考窗,并将该第一尺寸分像素参考窗作为目标参考窗。在进行后续匹配时,采用的优先级规则仍为尺寸越小,优先级越高。
可以理解的是,在第一尺寸分像素参考窗的尺寸相同时,若候选运动矢量的范围处于第一尺寸分像素参考窗的尺寸范围内,则可以直接通过空闲状态的第一尺寸分像素参考窗进行响应。
在具体实现中,编码设备在候选运动矢量的范围处于第一尺寸分像素参考窗的尺寸范围内时,确定处于空闲状态的第一尺寸分像素参考窗;并将处于空闲状态的第一尺寸参考窗作为视频帧数据请求的目标参考窗。
步骤S23A:若所述候选运动矢量的范围不处于所述第一尺寸分像素参考窗的尺寸范围内或不存在空闲状态的所述第一尺寸分像素参考窗,则确定处于空闲状态的第二尺寸分像素参考窗;
步骤S24A:将所述处于空闲状态的第二尺寸分像素参考窗作为所述视频帧数据请求的目标参考窗。
其中,所述分像素参考窗包括第一尺寸分像素参考窗和第二尺寸分像素参考窗。
可以理解的是,在候选运动矢量的范围大于所有的第一尺寸分像素参考窗的尺寸范围或者第一尺寸分像素参考窗均处于响应状态时,则需要将第二尺寸分像素参考窗作为目标参考窗对视频帧数据请求进行应答。
需要说明的是,若所有的分像素参考窗都处于响应状态,则需要进行阻塞等待以等待所需的参考窗空闲时,再进行应答。具体地,所述根据所述候选运动矢量的范围进行参考窗匹配,确定所述视频帧数据请求的目标参考窗的步骤,还包括:若不存在空闲状态的分像素参考窗,则确定范围大于所述候选运动矢量范围的分像素参考窗,作为预选分像素参考窗;在所述预选分像素参考窗中存在空闲状态的分像素参考窗时,将所述空闲状态的分像素参考窗作为所述候选运动矢量的目标参考窗;其中,所述分像素参考窗包括第一尺寸分像素参考窗和第二尺寸分像素参考窗。
可以理解的是,在所有分像素参考窗均处于响应状态时,可以阻塞等待参考窗空闲,在存在空闲参考窗时,再进行范围匹配,直至匹配到所需的空闲状态的分像素参考窗。
本发明实施例在候选运动矢量的范围不处于第一尺寸分像素参考窗的尺寸范围内或不存在空闲状态的第一尺寸分像素参考窗,则确定处于空闲状态的第二尺寸分像素参考窗;将处于空闲状态的第二尺寸分像素参考窗作为视频帧数据请求的目标参考窗;若不存在空闲状态的分像素参考窗,则确定范围大于候选运动矢量范围的分像素参考窗,作为预选分像素参考窗;在预选分像素参考窗中存在空闲状态的分像素参考窗时,将空闲状态的分像素参考窗作为候选运动矢量的目标参考窗。通过使用独立的管理模块进行预测单元的目标参考窗进行判断选择,实现了多个分像素参考窗资源的充分利用;同时,根据候选运动矢量的统计特征,加入了多个第一尺寸分像素参考窗,通过多个第一尺寸分像素参考窗以解决并行访问瓶颈的问题,在保证编码效率的同时,能较大程度地降低内存的增加。
基于上述各实施例,提出本发明方法的第三实施例,参考图6,图6为本发明帧间编码方法第三实施例中的多尺寸分像素参考窗访问管理示意图。
所述根据所述候选运动矢量的范围进行参考窗匹配,确定所述视频帧数据请求的目标参考窗的步骤,还包括:
步骤S21B:确定所述预测单元对应的预设第一尺寸分像素参考窗和预设第二尺寸分像素参考窗;
步骤S22B:若所述候选运动矢量的范围处于所述预设第一尺寸分像素参考窗的尺寸范围内,则将所述预设第一尺寸分像素参考窗作为所述视频帧数据请求的目标参考窗;
步骤S23B:若所述候选运动矢量的范围不处于所述预设第一尺寸分像素参考窗的尺寸范围内,则将所述预设第二尺寸分像素参考窗作为所述视频帧数据请求的目标参考窗。
需要说明的是,在如图6所示的实施方式中,本发明对于多尺寸分像素参考窗的访问决策也可以位于模式决策的内部。此时,可以设置每个分像素参考窗对应有一个仲裁器,例如图6中的分像素参考窗REF_SW0对应Arb0、REF_SW1对应Arb1、REF_SW2对应Arb2以及REF_W对应Arb。
进一步地,可以根据预测单元的访问时序对预测单元进行划分,以获得多个预测单元组。其中,每一组预测单元组均连接有一个第一尺寸分像素参考窗的仲裁器,所有预测单元组均连接至第二尺寸分像素参考窗的仲裁器。也即,一个预测单元同时连接有一个第一尺寸分像素参考窗的仲裁器和一个第二尺寸分像素参考窗的仲裁器。
在这种实现方式中,预测单元在发送视频帧数据请求时,根据候选运动矢量的范围,确定需要访问的目标参考窗是第一尺寸分像素参考窗还是第二尺寸分像素参考窗。再与目标参考窗对应的仲裁器之间的握手,从而使得目标参考窗可以对预测单元的视频帧数据请求进行应答。具体地,所述通过所述目标参考窗对所述视频帧数据请求进行应答的步骤,包括:确定所述目标参考窗对应的仲裁器,将所述预测单元与所述仲裁器进行握手;在握手成功时,通过所述目标参考窗对所述视频帧数据请求进行应答。
可以理解的是,在该实施方式中,也可以考虑仲裁器是否处于空闲状态。具体地,所述确定所述目标参考窗对应的仲裁器,将所述预测单元与所述仲裁器进行握手的步骤,包括:确定所述目标参考窗对应的仲裁器;若所述仲裁器处于空闲状态,则将所述预测单元与所述仲裁器进行握手;若所述仲裁器处于响应状态,则等待所述仲裁器空闲时将所述预测单元与所述仲裁器进行握手。
在一种实施方式中,以PU_0访问参考窗为例进行示意说明。在发起视频帧数据请求前,PU_0内部会决策确定需要访问的参考窗为第一尺寸分像素参考窗还是第二尺寸分像素参考窗。
具体地,如果候选运动矢量的值较小,可以落在第一尺寸分像素参考窗的尺寸范围内,则由REF_SW0进行数据响应。此时,将PU_0与Arb0握手,若此时Arb0正在响应其它预测单元的请求,则PU_0进行等待,直至Arb0空闲。在握手成功时,即可通过REF_SW0对PU_0的适配帧数据请求进行应答。
进一步地,如果候选运动矢量的值比较大,无法落在第一尺寸分像素参考窗的尺寸范围内,则由REF_W进行数据响应。此时,将PU_0与Arb握手,若此时Arb正在响应其它预测单元的请求,则PU_0进行等待,直至Arb空闲。在握手成功时,即可通过REF_W对PU_0的适配帧数据请求进行应答。
在本发明的一种实现方式中,候选运动矢量的个数可以根据应用情况减少,以降低并行访问数据的需求。
在本发明的另一种实现方式中,可以将候选运动矢量的计算提前到FME模块中,从而使得MD模块所需的分像素范围能够更精确地被推算获得。
本发明实施例通过确定预测单元对应的预设第一尺寸分像素参考窗和预设第二尺寸分像素参考窗;若候选运动矢量的范围处于预设第一尺寸分像素参考窗的尺寸范围内,则将预设第一尺寸分像素参考窗作为视频帧数据请求的目标参考窗;若候选运动矢量的范围不处于预设第一尺寸分像素参考窗的尺寸范围内,则将预设第二尺寸分像素参考窗作为视频帧数据请求的目标参考窗;确定目标参考窗对应的仲裁器;若仲裁器处于空闲状态,则将预测单元与仲裁器进行握手;若仲裁器处于响应状态,则等待仲裁器空闲时将预测单元与仲裁器进行握手;在握手成功时,通过目标参考窗对视频帧数据请求进行应答。由于是预先根据各预测单元的访问时序进行分组,再将预测单元组和分像素参考窗进行访问绑定,实现简单,提高了编码性能。
此外,本发明实施例还提出一种存储介质,所述存储介质上存储有帧间编码程序,所述帧间编码程序被处理器执行时实现如上文所述的帧间编码方法的步骤。
基于本发明帧间编码方法的第一实施例,提出本发明帧间编码虚拟装置的第一实施例,参照图7,图7为本发明帧间编码虚拟装置第一实施例的结构框图。
如图7所示,本发明实施例提出的帧间编码虚拟装置包括:
请求接收模块701,用于在接收预测单元的视频帧数据请求;
参考窗匹配模块702,用于根据所述候选运动矢量的范围进行参考窗匹配,确定所述视频帧数据请求的目标参考窗;
数据应答模块703,用于通过所述目标参考窗对所述视频帧数据请求进行应答。
本发明实施例通过接收预测单元的视频帧数据请求;根据候选运动矢量的范围进行参考窗匹配,确定所述视频帧数据请求的目标参考窗;通过所述目标参考窗对所述视频帧数据请求进行应答。由于是根据候选运动矢量的范围进行参考窗匹配,确定用于应答视频帧数据请求的目标参考窗,实现了可以根据运动矢量的范围匹配确定不同的目标参考窗,提高了资源的利用率,在不降低编码质量、解决了模式决策中多个预测单元并行访问可能会出现性能瓶颈的问题。
进一步地,所述参考窗匹配模块702,还用于若所述候选运动矢量的范围处于第一尺寸分像素参考窗的尺寸范围内,则确定处于空闲状态的第一尺寸分像素参考窗;将所述处于空闲状态的第一尺寸分像素参考窗作为所述视频帧数据请求的目标参考窗;若所述候选运动矢量的范围不处于所述第一尺寸分像素参考窗的尺寸范围内或不存在空闲状态的所述第一尺寸分像素参考窗,则确定处于空闲状态的第二尺寸分像素参考窗;将所述处于空闲状态的第二尺寸分像素参考窗作为所述视频帧数据请求的目标参考窗;其中,所述第二尺寸分像素参考窗的尺寸大于所述第一尺寸分像素参考窗。
进一步地,所述参考窗匹配模块702,还用于若不存在空闲状态的分像素参考窗,则确定范围大于所述候选运动矢量范围的分像素参考窗,作为预选分像素参考窗;在所述预选分像素参考窗中存在空闲状态的分像素参考窗时,将所述空闲状态的分像素参考窗作为所述候选运动矢量的目标参考窗;其中,所述分像素参考窗包括第一尺寸分像素参考窗和第二尺寸分像素参考窗。
进一步地,所述参考窗匹配模块702,还用于确定所述预测单元对应的预设第一尺寸分像素参考窗和预设第二尺寸分像素参考窗;若所述候选运动矢量的范围处于所述预设第一尺寸分像素参考窗的尺寸范围内,则将所述预设第一尺寸分像素参考窗作为所述视频帧数据请求的目标参考窗;若所述候选运动矢量的范围不处于所述预设第一尺寸分像素参考窗的尺寸范围内,则将所述预设第二尺寸分像素参考窗作为所述视频帧数据请求的目标参考窗。
进一步地,所述参考窗匹配模块702,还用于确定所述目标参考窗对应的仲裁器,将所述预测单元与所述仲裁器进行握手;在握手成功时,通过所述目标参考窗对所述视频帧数据请求进行应答。
进一步地,所述参考窗匹配模块702,还用于确定所述目标参考窗对应的仲裁器;若所述仲裁器处于空闲状态,则将所述预测单元与所述仲裁器进行握手;若所述仲裁器处于响应状态,则等待所述仲裁器空闲时将所述预测单元与所述仲裁器进行握手。
本发明帧间编码虚拟装置的其他实施例或具体实现方式可参照上述各方法实施例,此处不再赘述。
此外,本发明实施例还提出了一种帧间编码硬件装置,所述硬件装置至少包括:分像素运动估计、模式决策以及内存;
其中,所述模式决策中包括至少一个预测单元,所述内存中包括至少一个第一尺寸分像素参考窗和至少一个第二尺寸分像素参考窗;
分像素运动估计分别与所述模式决策、所述内存连接;
所述内存还与所述模式决策连接。
进一步地,所述硬件装置还包括:管理模块;
其中,所述管理模块分别与所述模式决策中的所有所述预测单元连接;
所述管理模块还分别与所述内存中的所有所述分像素参考窗连接;所述分像素参考窗包括第一尺寸分像素参考窗和第二尺寸分像素参考窗。
进一步地,所述硬件装置还包括:仲裁器;所述仲裁器的数量与所述内存中的分像素参考窗的数量相等。
其中,所述仲裁器均和一个分像素参考窗连接;
所述仲裁器还与所述预测单元连接;
每个所述仲裁器可以连接一组预测单元组,每个预测单元组中至少包括一个预测单元。
应当理解的是,上述模块为本发明帧间编码硬件装置中的核心模块,为了实现视频编码的功能,在实际应用中的帧间编码硬件装置中可以具备比本发明实施例中更多或者更少的硬件模块,例如数据获取、粗模式决策、分像素搜索、整像素搜索、去方块滤波等模块,也可以对其中的硬件模块进行修改,本发明实施例对此不加以限制。
本发明帧间编码硬件装置的其他实施例或具体实现方式可参照上述各方法实施例,此处不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种帧间编码方法,其特征在于,所述方法包括:
接收预测单元的视频帧数据请求;
根据候选运动矢量的范围进行参考窗匹配,确定所述视频帧数据请求的目标参考窗;
通过所述目标参考窗对所述视频帧数据请求进行应答。
2.如权利要求1所述的帧间编码方法,其特征在于,所述根据所述候选运动矢量的范围进行参考窗匹配,确定所述视频帧数据请求的目标参考窗的步骤,包括:
若所述候选运动矢量的范围处于第一尺寸分像素参考窗的尺寸范围内,则确定处于空闲状态的第一尺寸分像素参考窗;
将所述处于空闲状态的第一尺寸分像素参考窗作为所述视频帧数据请求的目标参考窗;
若所述候选运动矢量的范围不处于所述第一尺寸分像素参考窗的尺寸范围内或不存在空闲状态的所述第一尺寸分像素参考窗,则确定处于空闲状态的第二尺寸分像素参考窗;
将所述处于空闲状态的第二尺寸分像素参考窗作为所述视频帧数据请求的目标参考窗;
其中,所述第二尺寸分像素参考窗的尺寸大于所述第一尺寸分像素参考窗。
3.如权利要求2所述的帧间编码方法,其特征在于,所述根据所述候选运动矢量的范围进行参考窗匹配,确定所述视频帧数据请求的目标参考窗的步骤,还包括:
若不存在空闲状态的分像素参考窗,则确定范围大于所述候选运动矢量范围的分像素参考窗,作为预选分像素参考窗;
在所述预选分像素参考窗中存在空闲状态的分像素参考窗时,将所述空闲状态的分像素参考窗作为所述候选运动矢量的目标参考窗;
其中,所述分像素参考窗包括第一尺寸分像素参考窗和第二尺寸分像素参考窗。
4.如权利要求1所述的帧间编码方法,其特征在于,所述根据所述候选运动矢量的范围进行参考窗匹配,确定所述视频帧数据请求的目标参考窗的步骤,还包括:
确定所述预测单元对应的预设第一尺寸分像素参考窗和预设第二尺寸分像素参考窗;
若所述候选运动矢量的范围处于所述预设第一尺寸分像素参考窗的尺寸范围内,则将所述预设第一尺寸分像素参考窗作为所述视频帧数据请求的目标参考窗;
若所述候选运动矢量的范围不处于所述预设第一尺寸分像素参考窗的尺寸范围内,则将所述预设第二尺寸分像素参考窗作为所述视频帧数据请求的目标参考窗。
5.如权利要求4所述的帧间编码方法,其特征在于,所述通过所述目标参考窗对所述视频帧数据请求进行应答的步骤,包括:
确定所述目标参考窗对应的仲裁器,将所述预测单元与所述仲裁器进行握手;
在握手成功时,通过所述目标参考窗对所述视频帧数据请求进行应答。
6.如权利要求5所述的帧间编码方法,其特征在于,所述确定所述目标参考窗对应的仲裁器,将所述预测单元与所述仲裁器进行握手的步骤,包括:
确定所述目标参考窗对应的仲裁器;
若所述仲裁器处于空闲状态,则将所述预测单元与所述仲裁器进行握手;
若所述仲裁器处于响应状态,则等待所述仲裁器空闲时将所述预测单元与所述仲裁器进行握手。
7.一种帧间编码硬件装置,其特征在于,所述硬件装置包括:预测单元和内存;
所述内存中设有第一尺寸分像素参考窗以及第二尺寸分像素参考窗;
所述预测单元分别与所述内存中的第一尺寸分像素参考窗以及第二尺寸分像素参考窗连接;
所述帧间编码硬件被用于实现如权利要求1至6中任一项所述的帧间编码方法的步骤。
8.一种帧间编码虚拟装置,其特征在于,所述虚拟装置包括:
请求接收模块,用于在接收预测单元的视频帧数据请求;
参考窗匹配模块,用于根据所述候选运动矢量的范围进行参考窗匹配,确定所述视频帧数据请求的目标参考窗;
数据应答模块,用于通过所述目标参考窗对所述视频帧数据请求进行应答。
9.一种帧间编码设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的帧间编码程序,所述帧间编码程序配置为实现如权利要求1至6中任一项所述的帧间编码方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有帧间编码程序,所述帧间编码程序被处理器执行时实现如权利要求1至6任一项所述的帧间编码方法的步骤。
CN202410261815.9A 2024-03-07 2024-03-07 帧间编码方法、硬件装置、虚拟装置、设备及存储介质 Pending CN118158406A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410261815.9A CN118158406A (zh) 2024-03-07 2024-03-07 帧间编码方法、硬件装置、虚拟装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410261815.9A CN118158406A (zh) 2024-03-07 2024-03-07 帧间编码方法、硬件装置、虚拟装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN118158406A true CN118158406A (zh) 2024-06-07

Family

ID=91284695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410261815.9A Pending CN118158406A (zh) 2024-03-07 2024-03-07 帧间编码方法、硬件装置、虚拟装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN118158406A (zh)

Similar Documents

Publication Publication Date Title
US8279942B2 (en) Image data processing apparatus, image data processing method, program for image data processing method, and recording medium recording program for image data processing method
US20200007862A1 (en) Method of adaptive filtering for multiple reference line of intra prediction in video coding, video encoding apparatus and video decoding apparatus therewith
US8705611B2 (en) Image prediction encoding device, image prediction encoding method, image prediction encoding program, image prediction decoding device, image prediction decoding method, and image prediction decoding program
KR101520027B1 (ko) 움직임 추정 방법 및 장치
KR20100017645A (ko) 동적 움직임 벡터 분석방법
US20220360814A1 (en) Enhanced motion vector prediction
CN1440204A (zh) 用于以固定的计算复杂度编码活动图象的方法和装置
US20240031576A1 (en) Method and apparatus for video predictive coding
US8243810B2 (en) Motion estimation approach for real-time embedded multimedia design
CN112261413B (zh) 视频编码方法、编码装置、电子设备和存储介质
EP4037320A1 (en) Boundary extension for video coding
CN111212290A (zh) 片上系统及其帧率转换方法
JP2006270683A (ja) 符号化装置と方法
CN113347417B (zh) 提高率失真优化计算效率的方法、装置、设备及存储介质
US8848798B2 (en) Information processing apparatus and inter-prediction mode determination method
KR102276264B1 (ko) 비디오 이미지 처리 방법 및 장치
US20130208796A1 (en) Cache prefetch during a hierarchical motion estimation
CN118158406A (zh) 帧间编码方法、硬件装置、虚拟装置、设备及存储介质
US20130064298A1 (en) Concurrent access shared buffer in a video encoder
US20130136181A1 (en) Cache prefetch during motion estimation
KR100686393B1 (ko) 하드웨어 구현에 적합한 움직임 예측 장치 및 그 방법
CN109561315B (zh) 一种运动估计方法、装置、电子设备及存储介质
CN109544591B (zh) 一种运动估计方法、装置、电子设备及存储介质
CN114040209A (zh) 运动估计方法、装置、电子设备及存储介质
CN115190305A (zh) 在视频编码装置中进行图像处理的方法、装置、介质及系统

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination