CN116996676A - 一种参考图像排序方法、装置、电子设备及存储介质 - Google Patents
一种参考图像排序方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116996676A CN116996676A CN202310797749.2A CN202310797749A CN116996676A CN 116996676 A CN116996676 A CN 116996676A CN 202310797749 A CN202310797749 A CN 202310797749A CN 116996676 A CN116996676 A CN 116996676A
- Authority
- CN
- China
- Prior art keywords
- frame
- current frame
- list
- reference image
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000008569 process Effects 0.000 abstract description 19
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 101000946275 Homo sapiens Protein CLEC16A Proteins 0.000 description 5
- 102100034718 Protein CLEC16A Human genes 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 101100122750 Caenorhabditis elegans gop-2 gene Proteins 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本公开关于一种参考图像排序方法、装置、电子设备及存储介质,方法包括:确定当前帧的参考图像原始列表;当前帧为当前待编码的图像帧;当前帧利用参考图像原始列表中的参考图像进行编码;确定当前帧和参考图像原始列表中的每个参考图像之间的重要性数据;重要性数据表征参考图像对当前帧的编解码质量影响;根据当前帧和参考图像原始列表中的每个参考图像之间的重要性数据对参考图像原始列表中的参考图像进行重排序,得到参考图像目标列表;其中,参考图像目标列表中的第一个参考图像的重要性数据满足相似条件。本申请可以将和当前帧更相似的参考图像排在最靠近当前帧的位置,在后面编码的过程中,可以提高现有编码器的编码效率。
Description
技术领域
本公开涉及互联网技术领域,尤其涉及一种参考图像排序方法、装置、电子设备及存储介质。
背景技术
视频编码标准中将一个视频序列分为多个图像帧组组成,一个图像帧组中通常会根据不同功能分解为三种帧类型:帧内编码图像帧、前向预测编码图像帧和双向预测编码图像帧。除了帧内编码图像帧是自重建外,其他类型的帧都会参考其他帧进行预测编码,以提升编码器的编码效率。
在H.263、H.264、H.265等多个视频编解码标准中均采用了多帧参考技术来提高帧间预测的准确性。在视频解码的时候,通常需要将部分参考帧缓存起来,存放在解码图像缓存区中,供后续帧用作参考图像。为了保证视频编解码一致性,编码器需要按照和解码器相同的规则调用解码图像缓存区中的图像对当前帧进行预测编码,即编码器只能用解码图像缓存区中的图像作为参考帧使用。由于解码图像缓存区大小是有限的,其中既存在当前正在被参考的图像,也存在当前未被参考的图像。当缓存的图像数量达到解码图像缓存区大小限制之后,需要将当前未被参考的图像进行回收,即从解码图像缓存区中及时进行移除。更特殊的,当解码图像缓存区大小为1时,则当前编码器只能存储一帧作为当前解码图像,无法再存储其他参考图像,因此所有帧必须使用帧内预测编码,即无法利用其他帧作为参考帧进行帧间预测。
不仅如此,为了增强参考帧管理的抗差错能力,H.265标准开始采用了参考帧技术,在解码图像缓存区中的解码完成的图像确定之后,RPS则定义具体从DPB中获取那些帧用来作为当前帧的参考帧。通过直接在每一帧开始的片头码流中传输DPB中各个帧的状态变化,将当前帧以及后续帧可能用到的参考帧在DPB中都进行描述。
然而,虽然以往的技术做了很多努力,使得编码效率越来越高,但是随着视频内容特征的增加以及内容细节的丰富,对提升编码器的编码效率的要求也越来越高。
发明内容
本公开提供一种参考图像排序方法、装置、电子设备及存储介质,本公开的技术方案如下:
根据本公开实施例的第一方面,提供一种参考图像排序方法,包括:
确定当前帧的参考图像原始列表;当前帧为当前待编码的图像帧;当前帧利用参考图像原始列表中的参考图像进行编码;
确定当前帧和参考图像原始列表中的每个参考图像之间的重要性数据;重要性数据表征参考图像对当前帧的编解码质量影响;
根据当前帧和参考图像原始列表中的每个参考图像之间的重要性数据对参考图像原始列表中的参考图像进行重排序,得到参考图像目标列表;
其中,参考图像目标列表中的第一个参考图像的重要性数据满足相似条件。
在一种可能的实施例中,确定当前帧和参考图像原始列表中的每个参考图像之间的重要性数据,包括:
确定当前帧和参考图像原始列表中的每个参考图像之间的相似性数据。
在一种可能的实施例中,确定当前帧和参考图像原始列表中的每个参考图像之间的相似性数据,包括:
确定当前帧的显示顺序序号;
确定参考图像原始列表中每个参考图像的显示顺序序号;
若每个参考图像的显示顺序序号与当前帧的显示顺序序号相差小于或者等于预设阈值,获取每个参考图像和当前帧的帧间编码损失值;
每个参考图像和当前帧的帧间编码损失值表征每个参考图像和当前帧的相似度数据。
在一种可能的实施例中,根据当前帧和参考图像原始列表中的每个参考图像之间的重要性数据对参考图像原始列表中的参考图像进行重排序,得到参考图像目标列表,包括:
根据帧间编码损失值由小至大对参考图像原始列表中的参考图像进行重排序,得到参考图像目标列表。
在一种可能的实施例中,确定参考图像原始列表中每个参考图像的显示顺序序号之后,还包括:
若每个参考图像的显示顺序序号与当前帧的显示顺序序号相差大于预设阈值,确定每个参考图像和当前帧的结构相似数据;结构相似数据包括亮度对比数据、对比度对比数据和结构对比数据;
每个参考图像和当前帧的结构相似数据表征每个参考图像和当前帧的相似度数据。
在一种可能的实施例中,根据当前帧和参考图像原始列表中的每个参考图像之间的重要性数据对参考图像原始列表中的参考图像进行重排序,得到参考图像目标列表,包括:
根据结构相似数据由大至小对参考图像原始列表中的参考图像进行重排序,得到参考图像目标列表。
在一种可能的实施例中,参考图像原始列表包括当前帧对应的M个参考图像,以及N个非参考图像;
根据当前帧和参考图像原始列表中的每个参考图像之间的重要性数据对参考图像原始列表中的参考图像进行重排序,得到参考图像目标列表,包括:
根据当前帧和参考图像原始列表中的每个参考图像之间的重要性数据对参考图像原始列表中的M个参考图像进行重排序,得到参考图像目标列表;
将M个参考图像的应用标识设置为第一标识;第一标识表征将被当前帧作为参考图像应用;
将N个非参考图像的应用标识设置为第二标识;第二标识表征不被当前帧作为参考图像应用。
根据本公开实施例的第二方面,提供一种参考图像排序装置,包括:
参考图像原始列表确定模块,被配置为执行确定当前帧的参考图像原始列表;当前帧为当前待编码的图像帧;当前帧利用参考图像原始列表中的参考图像进行编码;
数据确定模块,被配置为执行确定当前帧和参考图像原始列表中的每个参考图像之间的重要性数据;重要性数据表征参考图像对当前帧的编解码质量影响;
列表排序模块,被配置为执行根据当前帧和参考图像原始列表中的每个参考图像之间的重要性数据对参考图像原始列表中的参考图像进行重排序,得到参考图像目标列表;
其中,参考图像目标列表中的第一个参考图像的重要性数据满足相似条件。
在一种可能的实施例中,数据确定模块,被配置为执行:
确定当前帧和参考图像原始列表中的每个参考图像之间的相似性数据。
在一种可能的实施例中,数据确定模块,被配置为执行:
确定当前帧的显示顺序序号;
确定参考图像原始列表中每个参考图像的显示顺序序号;
若每个参考图像的显示顺序序号与当前帧的显示顺序序号相差小于或者等于预设阈值,获取每个参考图像和当前帧的帧间编码损失值;
每个参考图像和当前帧的帧间编码损失值表征每个参考图像和当前帧的相似度数据。
在一种可能的实施例中,列表排序模块,被配置为执行:
根据帧间编码损失值由小至大对参考图像原始列表中的参考图像进行重排序,得到参考图像目标列表。
在一种可能的实施例中,数据确定模块,被配置为执行:
若每个参考图像的显示顺序序号与当前帧的显示顺序序号相差大于预设阈值,确定每个参考图像和当前帧的结构相似数据;结构相似数据包括亮度对比数据、对比度对比数据和结构对比数据;
每个参考图像和当前帧的结构相似数据表征每个参考图像和当前帧的相似度数据。
在一种可能的实施例中,列表排序模块,被配置为执行:
根据结构相似数据由大至小对参考图像原始列表中的参考图像进行重排序,得到参考图像目标列表。
在一种可能的实施例中,参考图像原始列表包括当前帧对应的M个参考图像,以及N个非参考图像;
列表排序模块,被配置为执行:
根据当前帧和参考图像原始列表中的每个参考图像之间的重要性数据对参考图像原始列表中的M个参考图像进行重排序,得到参考图像目标列表;
将M个参考图像的应用标识设置为第一标识;第一标识表征将被当前帧作为参考图像应用;
将N个非参考图像的应用标识设置为第二标识;第二标识表征不被当前帧作为参考图像应用。
根据本公开实施例的第三方面,提供一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,处理器被配置为执行指令,以实现如上述第一方面中任一项的方法。
根据本公开实施例的第四方面,提供一种计算机可读存储介质,当计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行本公开实施例的第一方面中任一项的方法。
根据本公开实施例的第五方面,提供一种计算机程序产品,计算机程序产品包括计算机程序,计算机程序存储在可读存储介质中,计算机设备的至少一个处理器从可读存储介质读取并执行计算机程序,使得计算机设备执行本公开实施例的第一方面中任一项的方法。
本公开的实施例提供的技术方案至少带来以下有益效果:
确定当前帧的参考图像原始列表;当前帧为当前待编码的图像帧;当前帧利用参考图像原始列表中的参考图像进行编码;确定当前帧和参考图像原始列表中的每个参考图像之间的重要性数据;重要性数据表征参考图像对当前帧的编解码质量影响;根据当前帧和参考图像原始列表中的每个参考图像之间的重要性数据对参考图像原始列表中的参考图像进行重排序,得到参考图像目标列表;其中,参考图像目标列表中的第一个参考图像的重要性数据满足相似条件。本申请可以将和当前帧更相似的参考图像排在最靠近当前帧的位置,在后面编码的过程中,可以提高现有编码器的编码效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种应用环境的示意图;
图2是根据一示例性实施例示出的一种参考图像排序方法的流程图;
图3是根据一示例性实施例示出的一种GOP的示意图一;
图4是根据一示例性实施例示出的一种GOP的示意图二;
图5是根据一示例性实施例示出的一种编解码过程的示意图;
图6是根据一示例性实施例示出的一种编解码过程的示意图;
图7是根据一示例性实施例示出的一种相似性数据确定的流程图;
图8是根据一示例性实施例示出的一种参考图像排序装置框图;
图9是根据一示例性实施例示出的一种用于参考图像排序的电子设备的框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的第一对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是,本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
请参阅图1,图1是根据一示例性实施例示出的一种参考图像排序方法的应用环境的示意图,如图1所示,该应用环境可以包括服务器01和客户端02。
在一些可能的实施例中,服务器01可以包括是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云音频识别模型训练、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows、Unix等。
在一些可能的实施例中,上述的客户端02可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、智能可穿戴设备等类型的客户端。也可以为运行于上述客户端的软体,例如应用程序、小程序等。可选的,客户端上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows、Unix等。
在一些可能的实施例中,客户端02可以接收来自服务器01发送的帧序列,并确定当前帧的参考图像原始列表;当前帧为当前待编码的图像帧;当前帧利用参考图像原始列表中的参考图像进行编码;确定当前帧和参考图像原始列表中的每个参考图像之间的重要性数据;重要性数据表征参考图像对当前帧的编解码质量影响;根据当前帧和参考图像原始列表中的每个参考图像之间的重要性数据对参考图像原始列表中的参考图像进行重排序,得到参考图像目标列表;其中,参考图像目标列表中的第一个参考图像的重要性数据满足相似条件。本申请可以将和当前帧更相似的参考图像排在最靠近当前帧的位置,在后面编码的过程中,可以提高现有编码器的编码效率。
在一些可能的实施例中,客户端02可以和服务器01之间可以通过有线链路连接,也可以通过无线链路连接。
在一个示例性的实施方式,客户端、服务器和服务器对应的数据库均可以是区块链系统中的节点设备,能够将获取到以及生成的信息共享给区块链系统中的其他节点设备,实现多个节点设备之间的信息共享。区块链系统中的多个节点设备可以配置有同一条区块链,该区块链由多个区块组成,并且前后相邻的区块具有关联关系,使得任一区块中的数据被篡改时都能通过下一区块检测到,从而能够避免区块链中的数据被篡改,保证区块链中数据的安全性和可靠性。
图2是根据一示例性实施例示出的一种参考图像排序方法的流程图,如图2所示,参考图像排序方法可以应用于服务器,也可以应用于其他节点设备,比如客户端,下面以服务器为例进行阐述,该方法至少包括以下步骤S201至S205:
在步骤S201中,确定当前帧的参考图像原始列表;当前帧为当前待编码的图像帧;当前帧利用参考图像原始列表中的参考图像进行编码。
本申请实施例中,当前帧可以是一个视频中待处理的图像帧。比如,当前帧可以是当前待编码的图像帧。可选的,参考图像原始列表中可以包括用于给当前帧进行编码参考的图像传输语法为对应的参考帧的索引。在后续解码过程中,可以按照对应的索引找到参考图像就可以进行解码。。
本申请实施例中,当前帧和参考图像涉及到的图像帧可以包括帧内编码图像帧(Intra coded frames,I帧)、前向预测编码图像帧(Predictive-coded frames,P帧)和双向预测编码图像帧(Bi-directional predicted frame,B帧)。其中,当前帧可以是P帧或者B帧。
在本申请实施例中,I帧利用了单帧图像内的空间相关性,而没有利用时间相关性。I帧解码时仅使用I帧的数据就可以重构完整图像,由于I帧不需要参考其它帧,因此其不仅是随机存取的入点,同时是解码的基准帧,即I帧可以是P帧或者B帧的参考图像。I帧的质量可以影响到同组中在I帧之后各帧的质量。I帧主要用于视频播放的初始化,I帧的压缩倍数相对较低。其中,I帧是周期性出现在图像序列中的,出现频率可由编码器选择。在视频画面播放过程中,如果I帧丢失了,则后面的P帧也就随着解不出来,就会出现视频画面黑屏或卡顿的现象。
在本申请实施例中,P帧采用帧间编码方式,即同时利用了空间和时间上的相关性,通过充分将低于图像序列中前面已编码帧的时间冗余信息来压缩传输数据量的编码图像。P帧只采用前向时间预测,即P帧可以以在该P帧前面的I帧为参考图像,或者P帧可以以在该P帧前面的P帧为参考图像。以P帧的参考图像为I帧为例,在解码时,P帧需要将I帧中的预测值和预测误差求和后才能重构完整的P帧图像。同样的,P帧可以是后面P帧的参考图像,可以是前面的B帧的参考图像,还可以是后面的B帧的参考图像。
P帧采用前向时间预测可以提高压缩效率和图像质量。若P帧丢失了,则视频画面会出现花屏、马赛克等现象。
在本申请实施例中,B帧采用双向时间预测,可以大大提高压缩倍数。值得注意的是,由于B帧图像采用了未来帧作为参考,因此编码码流中图像帧的传输顺序和显示顺序是不同的。
在一种可选的实施例中,I帧可以是图像帧组(Group of Pictures,GOP)的第一个帧,且在一个GOP中只有一个I帧。编码器将多张图像进行编码后生成一段一段的GOP,解码器在播放时,则是对一段一段的GOP进行解码后读取画面再渲染显示。
可选的,图3是根据一示例性实施例示出的一种GOP的示意图一,一个GOP的距离为两个I帧之间的距离。如图3所示,GOP1可以包括第一个I帧到第二个I帧之间的图像帧(P帧和B帧),且GOP1还包括第一个I帧。
可选的,图4是根据一示例性实施例示出的一种GOP的示意图二,一个GOP的距离为I帧到P帧之间的距离。如图4所示,GOP1可以包括第一个I帧到P帧之间的图像帧(B帧),且GOP1还包括第一个I帧。GOP2可以包括P帧到第二个I帧之间的图像帧(B帧),且GOP2还包括P帧。可选的,图3和图4所示的两种GOP组为示例性的。在实际应用过程中,可以根据应用环境对GOP组做其他可能的呈现。
在一种可选的实施方式中,由于P帧和B帧采用了帧间编码方式,而帧间编码方式是需要参考图像为基础,因此需要有个参考图像列表来管理之前生成的参考图像,方便对当前帧进行编码。图5是根据一示例性实施例示出的一种编解码过程的示意图,如图5所示,随着图像编码的进行,解码阶段会有不断的图像生成,已经被解码的图像可以被放到解码图像缓存区(Decoded Picture Buffer,DPB)或者直接输出(图5中未显示),随着图像不断被解码,按照先入先出的方式,可以将新的解码图像移入DPB,将超出DPB窗口的解码图像移出。参考图像列表中的参考图像来自DPB中已解码的图像。可选的,DPB中可能包含参考图像以及非参考图像,参考图像列表把DPB中的参考图像整合成列表(数组)的形式,便于后续的排序等操作。
本申请实施例中,客户端可以确定当前帧的参考图像列表,由于该参考图像列表还没有对里面的图像进行重排序,因此可以将其称为参考图像原始列表,用于和重排序之后的参考图像列表进行区分。
下面结合上文对参考图像进行描述,图6是根据一示例性实施例示出的一种编解码过程的示意图,如图6所示,GOP1中各个帧(包括I帧和B帧)上面的POC是指显示顺序序号,也就是说,客户端在完成各个帧的解码,得到图像画面渲染在显示屏的过程中,是根据POC由小至大进行图像播放的。
具体的,客户端首先会对POC=0的I帧进行解码,对I帧进行解码之后,会得到I帧解码之后的图像。随后可以将I帧解码之后的图像放到DPB中,由于I帧解码之后的图像需要作为后面帧的参考图像,所以可以将I帧解码之后的图像放在参考图像列表。
由于在本申请实施例中,I帧和P帧之间的B帧需要参考I帧和P帧,因此,之后可以将I帧解码之后的图像作为POC=7的P帧的参考图像对P帧进行解码,得到P帧解码之后的图像。随后,可以将P帧解码之后的图像放在DPB中,由于P帧解码之后的图像需要作为前面B帧的参考图像,所以可以将P帧解码之后的图像放在参考图像列表中。此时,参考图像列表中包括I帧解码之后的图像和P帧解码之后的图像。
在一种可选的实施例中,将POC=4的B帧作为下一个需要解码的帧。可选的,由于B帧为双向预测编码图像帧,可以将I帧解码之后的图像和P帧解码之后的图像作为POC=4的B帧的参考图像对该POC=4的B帧进行解码,得到POC=4的B帧解码之后的图像。随后,可以将POC=4的B帧解码之后的图像放在DPB中,由于POC=4的B帧解码之后的图像需要作为前面以及后面B帧的参考图像,所以可以将POC=4的B帧解码之后的图像放在参考图像列表。此时,参考图像列表中包括I帧解码之后的图像、P帧解码之后的图像和POC=4的B帧解码之后的图像。
可选的,可以将POC=2的B帧以及POC=6的B帧作为接着要解码的帧。可选的,客户端可以同时对POC=2的B帧以及POC=6的B帧进行解码,也可以依次对POC=2的B帧以及POC=6的B帧进行解码。
具体的,可以将I帧解码之后的图像和POC=4的B帧解码之后的图像作为POC=2的B帧的参考图像对该POC=2的B帧进行解码,得到POC=2的B帧解码之后的图像。随后,可以将POC=2的B帧解码之后的图像放在DPB中,由于POC=2的B帧解码之后的图像需要作为前面以及后面B帧的参考图像,所以可以将POC=2的B帧解码之后的图像放在参考图像列表中。同样的,将POC=4的B帧解码之后的图像和P帧解码之后的图像作为POC=6的B帧的参考图像对该POC=6的B帧进行解码,得到POC=6的B帧解码之后的图像。随后,可以将POC=6的B帧解码之后的图像放在DPB中,由于POC=6的B帧解码之后的图像需要作为前面以及后面B帧的参考图像,所以可以将POC=6的B帧解码之后的图像放在参考图像列表中。此时,参考图像列表中包括I帧解码之后的图像、P帧解码之后的图像、POC=4的B帧解码之后的图像、POC=2的B帧解码之后的图像和POC=6的B帧解码之后的图像。
最后,需要对POC=1的B帧、POC=3的B帧、POC=5的B帧和POC=7的B帧进行解码。可选的,客户端可以同时对POC=1的B帧、POC=3的B帧、POC=5的B帧和POC=7的B帧进行解码,也可以依次对POC=1的B帧、POC=3的B帧、POC=5的B帧和POC=7的B帧进行解码。
具体的,可以将I帧解码之后的图像和POC=2的B帧解码之后的图像作为POC=1的B帧的参考图像对该POC=1的B帧进行解码,得到POC=1的B帧解码之后的图像。随后,可以将POC=1的B帧解码之后的图像放在DPB中,由于POC=1的B帧解码之后的图像不需要作为参考图像,所以不需要将POC=1的B帧解码之后的图像放在参考图像列表中。I帧解码之后的图像不会被用作参考图像了,可以将其从参考图像列表中删除,此时,参考图像列表中包括P帧解码之后的图像、POC=4的B帧解码之后的图像、POC=2的B帧解码之后的图像和POC=6的B帧解码之后的图像。
同理,可以将POC=2的B帧解码之后的图像和POC=4的B帧解码之后的图像作为POC=3的B帧的参考图像对该POC=3的B帧进行解码,得到POC=3的B帧解码之后的图像。随后,可以将POC=3的B帧解码之后的图像放在DPB中,由于POC=3的B帧解码之后的图像不需要作为参考图像,所以不需要将POC=3的B帧解码之后的图像放在参考图像列表中。POC=2的B帧解码之后的图像不会被用作参考图像了,可以将其从参考图像列表中删除,此时,参考图像列表中包括P帧解码之后的图像、POC=4的B帧解码之后的图像和POC=6的B帧解码之后的图像。
同理,可以将POC=4的B帧解码之后的图像和POC=6的B帧解码之后的图像作为POC=5的B帧的参考图像对该POC=5的B帧进行解码,得到POC=5的B帧解码之后的图像。随后,可以将POC=5的B帧解码之后的图像放在DPB中,由于POC=5的B帧解码之后的图像不需要作为参考图像,所以不需要将POC=5的B帧解码之后的图像放在参考图像列表中。POC=4的B帧解码之后的图像不会被用作参考图像了,可以将其从参考图像列表中删除,此时,参考图像列表中包括P帧解码之后的图像和POC=6的B帧解码之后的图像。
同理,可以将POC=6的B帧解码之后的图像和P帧解码之后的图像作为POC=7的B帧的参考图像对该POC=7的B帧进行解码,得到POC=7的B帧解码之后的图像。随后,可以将POC=7的B帧解码之后的图像放在DPB中,由于POC=7的B帧解码之后的图像不需要作为参考图像,所以不需要将POC=7的B帧解码之后的图像放在参考图像列表中。POC=6的B帧解码之后的图像不会被用作参考图像了,可以将其从参考图像列表中删除,此时,参考图像列表中包括P帧解码之后的图像,P帧解码之后的图像可以用作下一个GOP中要解码的帧的参考图像。
在步骤S203中,确定当前帧和参考图像原始列表中的每个参考图像之间的重要性数据;重要性数据表征参考图像对当前帧的编解码质量影响。
下面以当前帧为图6中的POC=5的B帧为例,在对POC=5的B帧进行解码之前,上述给出的参考图像列表(即参考图像原始列表)中包括按照顺序排列的P帧解码之后的图像、POC=4的B帧解码之后的图像和POC=6的B帧解码之后的图像。那么在位置上,P帧解码之后的图像是在参考图像列表中是更靠前的参考图像,然而,P帧解码之后的图像在该实施方式中并不是POC=5的B帧的参考图像,POC=5的B帧的参考图像为排在后面的POC=4的B帧解码之后的图像和POC=6的B帧解码之后的图像。
为了使得对当前帧编解码更有用的参考图像被放在参考图像列表(即参考图像原始列表)的最前方,提高现有编码器的编码效率。在一种可选的实施例中,客户端可以确定当前帧(POC=5的B帧)和参考图像原始列表中的每个参考图像(POC=4的B帧解码之后的图像和POC=6的B帧解码之后的图像)之间的重要性数据,其中,重要性数据表征参考图像对当前帧的编解码质量影响。
可选的,客户端可以通过确定当前帧(POC=5的B帧)和参考图像原始列表中的每个参考图像(POC=4的B帧解码之后的图像和POC=6的B帧解码之后的图像)之间的相似性数据来确定重要性数据。
图7是根据一示例性实施例示出的一种相似性数据确定的流程图,如图7所示,包括以下步骤S701-S:
在步骤S701中,确定当前帧的显示顺序序号。
继续以当前帧为图6中的POC=5的B帧为例进行阐述,客户端可以确定POC=5的B帧的显示顺序序号为5。
在步骤S703中,确定参考图像原始列表中每个参考图像的显示顺序序号。
随后,客户端可以确定POC=5的B帧的参考图像:POC=4的B帧解码之后的图像的显示顺序序号为4,POC=6的B帧解码之后的图像的显示顺序序号为为6。
在步骤S705中,判断每个参考图像的显示顺序序号与当前帧的显示顺序序号相差是否小于或者等于预设阈值,若是,转至步骤S707;否则,转至步骤S709。
在一种可选的实施例中,确定相似度数据的方式有很多种。可选的,可以通过帧间编码损失值确定两个帧的相似度数据。然而,帧间编码损失值并不是帧序列中任意两帧都存在的,而是在临近帧之间才存在且随着帧序列发送至客户端的。因此,客户端在获取每个参考图像和当前帧的帧间编码损失值之前,需要判断每个参考图像的显示顺序序号与当前帧的显示顺序序号相差是否小于或者等于预设阈值。
在步骤S707中,获取每个参考图像和当前帧的帧间编码损失值;每个参考图像和当前帧的帧间编码损失值表征每个参考图像和当前帧的相似度数据。
假设每个参考图像的显示顺序序号与当前帧的显示顺序序号相差小于或者等于预设阈值,比如POC=4的B帧解码之后的图像的显示顺序序号和POC=5的B帧的显示顺序序号相差1,且POC=6的B帧解码之后的图像的显示顺序序号和POC=5的B帧的显示顺序序号相差1,若预设阈值为1,则客户端可以直接获取每个参考图像对应的帧和当前帧的帧间编码损失值,并将其作为每个参考图像和当前帧的相似度数据。
在步骤S707中,确定每个参考图像和当前帧的结构相似数据;结构相似数据包括亮度对比数据、对比度对比数据和结构对比数据;每个参考图像和当前帧的结构相似数据表征每个参考图像和当前帧的相似度数据。
假设每个参考图像的显示顺序序号与当前帧的显示顺序序号相差大于预设阈值,或者存在一个参考图像的显示顺序序号与当前帧的显示顺序序号相差大于预设阈值,可以确定每个参考图像和当前帧的结构相似数据SSIM,将每个参考图像和当前帧的结构相似数据表征每个参考图像和当前帧的相似度数据,具体公式如下:
在步骤S205中,根据当前帧和参考图像原始列表中的每个参考图像之间的重要性数据对参考图像原始列表中的参考图像进行重排序,得到参考图像目标列表;其中,参考图像目标列表中的第一个参考图像的重要性数据满足相似条件。
本申请实施例中,若相似度数据是通过帧间编码损失值体现,客户端可以根据帧间编码损失值由小至大对参考图像原始列表中的参考图像进行重排序,得到参考图像目标列表。这是因为帧间编码损失值越小,则说明参考图像和当前帧越相似,如此,可以将对当前帧编解码更有用的参考图像(差别更小,更相似的参考图像)被放在参考图像列表(即参考图像原始列表)的最前方,提高现有编码器的编码效率。
比如,假设POC=4的B帧解码之后的图像和POC=5的B帧之间的帧间编码损失值大于POC=6的B帧解码之后的图像和POC=5的B帧之间的帧间编码损失值,则POC=6的B帧解码之后的图像和POC=5的B帧更相似。
在一种可选的实施例中,在参考图像列表(即参考图像原始列表)中包括按照顺序排列的P帧解码之后的图像、POC=4的B帧解码之后的图像和POC=6的B帧解码之后的图像的情况下,即参考图像原始列表包括当前帧对应的M个参考图像(2个参考图像),以及N个非参考图像(1个非参考图像)。这样,客户端根据当前帧和参考图像原始列表中的每个参考图像之间的重要性数据对参考图像原始列表中的M个参考图像进行重排序,即客户端可以根据POC=4的B帧解码之后的图像和POC=5的B帧之间的帧间编码损失值大于POC=6的B帧解码之后的图像和POC=5的B帧之间的帧间编码损失值,将POC=6的B帧解码之后的图像排在最前面,其次为POC=4的B帧解码之后的图像,最后为P帧解码之后的图像,得到参考图像目标列表。
如此,客户端不仅将调换了参考图像和非参考图像在参考图像列表中的位置,还将和当前帧更相似的参考图像排在最靠近当前帧的位置,考虑到编码器中DPB以及参考图像列表的大小有限,这种方式可以在后面编码的过程中,避免将和当前帧更相似的参考图像限制在列表之外,可以提高现有编码器的编码效率。
可选的的,客户端可以将M个参考图像的应用标识设置为第一标识;第一标识表征将被当前帧作为参考图像应用;将N个非参考图像的应用标识设置为第二标识;第二标识表征不被当前帧作为参考图像应用。
在另一种可选的实施例中,在参考图像列表(即参考图像原始列表)中包括按照顺序排列的POC=4的B帧解码之后的图像和POC=6的B帧解码之后的图像的情况下,即参考图像原始列表只包括当前帧对应的M个参考图像(2个参考图像)。这样,客户端根据当前帧和参考图像原始列表中的每个参考图像之间的重要性数据对参考图像原始列表中的M个参考图像进行重排序,即客户端可以根据POC=4的B帧解码之后的图像和POC=5的B帧之间的帧间编码损失值大于POC=6的B帧解码之后的图像和POC=5的B帧之间的帧间编码损失值,将POC=6的B帧解码之后的图像排在最前面,其次为POC=4的B帧解码之后的图像得到参考图像目标列表。
如此,客户端将和当前帧更相似的参考图像排在最靠近当前帧的位置,在后面编码的过程中,可以提高现有编码器的编码效率。
在本申请实施例中,若相似度数据是通过结构相似数据体现,客户端可以根据结构相似数据由大至小对参考图像原始列表中的参考图像进行重排序,得到参考图像目标列表。这是因为结构相似数据越大,则说明参考图像和当前帧越相似,如此,可以将对当前帧编解码更有用的参考图像(差别更小,更相似的参考图像)被放在参考图像列表(即参考图像原始列表)的最前方,提高现有编码器的编码效率。
比如,假设POC=4的B帧解码之后的图像和POC=5的B帧之间的结构相似数据小于POC=6的B帧解码之后的图像和POC=5的B帧之间的结构相似数据值,则POC=6的B帧解码之后的图像和POC=5的B帧更相似。
在一种可选的实施例中,在参考图像列表(即参考图像原始列表)中包括按照顺序排列的P帧解码之后的图像、POC=4的B帧解码之后的图像和POC=6的B帧解码之后的图像的情况下,即参考图像原始列表包括当前帧对应的M个参考图像(2个参考图像),以及N个非参考图像(1个非参考图像)。这样,客户端根据当前帧和参考图像原始列表中的每个参考图像之间的重要性数据对参考图像原始列表中的M个参考图像进行重排序,即客户端可以根据POC=4的B帧解码之后的图像和POC=5的B帧之间的结构相似数据小于POC=6的B帧解码之后的图像和POC=5的B帧之间的结构相似数据值,将POC=6的B帧解码之后的图像排在最前面,其次为POC=4的B帧解码之后的图像,最后为P帧解码之后的图像,得到参考图像目标列表。
如此,客户端不仅将调换了参考图像和非参考图像在参考图像列表中的位置,还将和当前帧更相似的参考图像排在最靠近当前帧的位置,在后面编码的过程中,可以提高现有编码器的编码效率。
可选的的,客户端可以将M个参考图像的应用标识设置为第一标识;第一标识表征将被当前帧作为参考图像应用;将N个非参考图像的应用标识设置为第二标识;第二标识表征不被当前帧作为参考图像应用。
在另一种可选的实施例中,在参考图像列表(即参考图像原始列表)中包括按照顺序排列的POC=4的B帧解码之后的图像和POC=6的B帧解码之后的图像的情况下,即参考图像原始列表只包括当前帧对应的M个参考图像(2个参考图像)。这样,客户端根据当前帧和参考图像原始列表中的每个参考图像之间的重要性数据对参考图像原始列表中的M个参考图像进行重排序,即客户端可以POC=4的B帧解码之后的图像和POC=5的B帧之间的结构相似数据小于POC=6的B帧解码之后的图像和POC=5的B帧之间的结构相似数据值,将POC=6的B帧解码之后的图像排在最前面,其次为POC=4的B帧解码之后的图像得到参考图像目标列表。
如此,客户端将和当前帧更相似的参考图像排在最靠近当前帧的位置,在后面编码的过程中,可以提高现有编码器的编码效率。
其中,参考图像目标列表中的第一个参考图像的重要性数据满足相似条件可以体现为参考图像目标列表中的第一个参考图像和当前帧最相似的参考图像。
图8是根据一示例性实施例示出的一种参考图像排序装置框图。该装置具有实现上述方法实施例中数据处理方法的功能,所述功能可以由硬件实现,也可以由硬件执行相应的软件实现。参照图8,该装置包括参考图像原始列表确定模块801、数据确定模块802和列表排序模块803。
参考图像原始列表确定模块801,被配置为执行确定当前帧的参考图像原始列表;当前帧为当前待编码的图像帧;当前帧利用参考图像原始列表中的参考图像进行编码;
数据确定模块802,被配置为执行确定当前帧和参考图像原始列表中的每个参考图像之间的重要性数据;重要性数据表征参考图像对当前帧的编解码质量影响;
列表排序模块803,被配置为执行根据当前帧和参考图像原始列表中的每个参考图像之间的重要性数据对参考图像原始列表中的参考图像进行重排序,得到参考图像目标列表;
其中,参考图像目标列表中的第一个参考图像的重要性数据满足相似条件。
在一种可能的实施例中,数据确定模块,被配置为执行:
确定当前帧和参考图像原始列表中的每个参考图像之间的相似性数据。
在一种可能的实施例中,数据确定模块,被配置为执行:
确定当前帧的显示顺序序号;
确定参考图像原始列表中每个参考图像的显示顺序序号;
若每个参考图像的显示顺序序号与当前帧的显示顺序序号相差小于或者等于预设阈值,获取每个参考图像和当前帧的帧间编码损失值;
每个参考图像和当前帧的帧间编码损失值表征每个参考图像和当前帧的相似度数据。
在一种可能的实施例中,列表排序模块,被配置为执行:
根据帧间编码损失值由小至大对参考图像原始列表中的参考图像进行重排序,得到参考图像目标列表。
在一种可能的实施例中,数据确定模块,被配置为执行:
若每个参考图像的显示顺序序号与当前帧的显示顺序序号相差大于预设阈值,确定每个参考图像和当前帧的结构相似数据;结构相似数据包括亮度对比数据、对比度对比数据和结构对比数据;
每个参考图像和当前帧的结构相似数据表征每个参考图像和当前帧的相似度数据。
在一种可能的实施例中,列表排序模块,被配置为执行:
根据结构相似数据由大至小对参考图像原始列表中的参考图像进行重排序,得到参考图像目标列表。
在一种可能的实施例中,参考图像原始列表包括当前帧对应的M个参考图像,以及N个非参考图像;
列表排序模块,被配置为执行:
根据当前帧和参考图像原始列表中的每个参考图像之间的重要性数据对参考图像原始列表中的M个参考图像进行重排序,得到参考图像目标列表;
将M个参考图像的应用标识设置为第一标识;第一标识表征将被当前帧作为参考图像应用;
将N个非参考图像的应用标识设置为第二标识;第二标识表征不被当前帧作为参考图像应用。
需要说明的是,上述实施例提供的装置,在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图8是根据一示例性实施例示出的一种用于参考图像排序的装置3000的框图。例如,装置3000可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图8,装置3000可以包括以下一个或多个组件:处理组件3002,存储器3004,电力组件3006,多媒体组件3008,音频组件3010,输入/输出(I/O)的接口3012,传感器组件3014,以及通信组件3016。
处理组件3002通常控制装置3000的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件3002可以包括一个或多个处理器3020来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件3002可以包括一个或多个模块,便于处理组件3002和其他组件之间的交互。例如,处理组件3002可以包括多媒体模块,以方便多媒体组件3008和处理组件3002之间的交互。
存储器3004被配置为存储各种类型的数据以支持在设备3000的操作。这些数据的示例包括用于在装置3000上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器3004可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件3006为装置3000的各种组件提供电力。电源组件3006可以包括电源管理系统,一个或多个电源,及其他与为装置3000生成、管理和分配电力相关联的组件。
多媒体组件3008包括在所述装置3000和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件3008包括一个前置摄像头和/或后置摄像头。当设备3000处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件3010被配置为输出和/或输入音频信号。例如,音频组件3010包括一个麦克风(MIC),当装置3000处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器3004或经由通信组件3016发送。在一些实施例中,音频组件3010还包括一个扬声器,用于输出音频信号。
I/O接口3012为处理组件3002和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件3014包括一个或多个传感器,用于为装置3000提供各个方面的状态评估。例如,传感器组件3014可以检测到设备3000的打开/关闭状态,组件的相对定位,例如所述组件为装置3000的显示器和小键盘,传感器组件3014还可以检测装置3000或装置3000一个组件的位置改变,用户与装置3000接触的存在或不存在,装置3000方位或加速/减速和装置3000的温度变化。传感器组件3014可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件3014还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件3014还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件3016被配置为便于装置3000和其他设备之间有线或无线方式的通信。装置3000可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件3016经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件3016还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置3000可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
本发明的实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质可设置于电子设备之中以保存用于实现一种参考图像排序方法相关的至少一条指令或至少一段程序,该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的参考图像排序方法。
本发明的实施例还提供了提供一种计算机程序产品,计算机程序产品包括计算机程序,计算机程序存储在可读存储介质中,计算机设备的至少一个处理器从可读存储介质读取并执行计算机程序,使得计算机设备执行本公开实施例的第一方面中任一项的方法。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种参考图像排序方法,其特征在于,包括:
确定当前帧的参考图像原始列表;所述当前帧为当前待编码的图像帧;所述当前帧利用所述参考图像原始列表中的参考图像进行编码;
确定所述当前帧和所述参考图像原始列表中的每个参考图像之间的重要性数据;所述重要性数据表征参考图像对所述当前帧的编解码质量影响;
根据所述当前帧和所述参考图像原始列表中的每个参考图像之间的重要性数据对所述参考图像原始列表中的参考图像进行重排序,得到参考图像目标列表;
其中,参考图像目标列表中的第一个参考图像的重要性数据满足相似条件。
2.根据权利要求1所述的参考图像排序方法,其特征在于,所述确定所述当前帧和所述参考图像原始列表中的每个参考图像之间的重要性数据,包括:
确定所述当前帧和所述参考图像原始列表中的每个参考图像之间的相似性数据。
3.根据权利要求2所述的参考图像排序方法,其特征在于,所述确定所述当前帧和所述参考图像原始列表中的每个参考图像之间的相似性数据,包括:
确定所述当前帧的显示顺序序号;
确定所述参考图像原始列表中每个参考图像的显示顺序序号;
若所述每个参考图像的显示顺序序号与所述当前帧的显示顺序序号相差小于或者等于预设阈值,获取所述每个参考图像和所述当前帧的帧间编码损失值;
所述每个参考图像和所述当前帧的帧间编码损失值表征所述每个参考图像和所述当前帧的相似度数据。
4.根据权利要求3所述的参考图像排序方法,其特征在于,所述根据所述当前帧和所述参考图像原始列表中的每个参考图像之间的重要性数据对所述参考图像原始列表中的参考图像进行重排序,得到参考图像目标列表,包括:
根据帧间编码损失值由小至大对所述参考图像原始列表中的参考图像进行重排序,得到所述参考图像目标列表。
5.根据权利要求3所述的参考图像排序方法,其特征在于,所述确定所述参考图像原始列表中每个参考图像的显示顺序序号之后,还包括:
若所述每个参考图像的显示顺序序号与所述当前帧的显示顺序序号相差大于所述预设阈值,确定所述每个参考图像和所述当前帧的结构相似数据;所述结构相似数据包括亮度对比数据、对比度对比数据和结构对比数据;
所述每个参考图像和所述当前帧的结构相似数据表征所述每个参考图像和所述当前帧的相似度数据。
6.根据权利要求5所述的参考图像排序方法,其特征在于,所述根据所述当前帧和所述参考图像原始列表中的每个参考图像之间的重要性数据对所述参考图像原始列表中的参考图像进行重排序,得到参考图像目标列表,包括:
根据结构相似数据由大至小对所述参考图像原始列表中的参考图像进行重排序,得到所述参考图像目标列表。
7.根据权利要求1-6任一所述的参考图像排序方法,其特征在于,所述参考图像原始列表包括所述当前帧对应的M个参考图像,以及N个非参考图像;
所述根据所述当前帧和所述参考图像原始列表中的每个参考图像之间的重要性数据对所述参考图像原始列表中的参考图像进行重排序,得到参考图像目标列表,包括:
根据所述当前帧和所述参考图像原始列表中的每个参考图像之间的重要性数据对所述参考图像原始列表中的所述M个参考图像进行重排序,得到参考图像目标列表;
将所述M个参考图像的应用标识设置为第一标识;所述第一标识表征将被所述当前帧作为参考图像应用;
将所述N个非参考图像的应用标识设置为第二标识;所述第二标识表征不被所述当前帧作为参考图像应用。
8.一种参考图像排序装置,其特征在于,包括:
参考图像原始列表确定模块,被配置为执行确定当前帧的参考图像原始列表;所述当前帧为当前待编码的图像帧;所述当前帧利用所述参考图像原始列表中的参考图像进行编码;
数据确定模块,被配置为执行确定所述当前帧和所述参考图像原始列表中的每个参考图像之间的重要性数据;所述重要性数据表征参考图像对所述当前帧的编解码质量影响;
列表排序模块,被配置为执行根据所述当前帧和所述参考图像原始列表中的每个参考图像之间的重要性数据对所述参考图像原始列表中的参考图像进行重排序,得到参考图像目标列表;
其中,参考图像目标列表中的第一个参考图像的重要性数据满足相似条件。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1至7中任一项所述的参考图像排序方法。
10.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至7中任一项所述的参考图像排序方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310797749.2A CN116996676A (zh) | 2023-06-30 | 2023-06-30 | 一种参考图像排序方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310797749.2A CN116996676A (zh) | 2023-06-30 | 2023-06-30 | 一种参考图像排序方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116996676A true CN116996676A (zh) | 2023-11-03 |
Family
ID=88520434
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310797749.2A Pending CN116996676A (zh) | 2023-06-30 | 2023-06-30 | 一种参考图像排序方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116996676A (zh) |
-
2023
- 2023-06-30 CN CN202310797749.2A patent/CN116996676A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11568545B2 (en) | Compressed content object and action detection | |
CN110351553B (zh) | 视频倒播、视频倒播数据处理方法、装置和计算机设备 | |
EP4007289A1 (en) | Video uploading method and apparatus, electronic device, and storage medium | |
WO2020133465A1 (en) | Systems and methods for multi-video stream transmission | |
CN113965751B (zh) | 屏幕内容编码方法、装置、设备及存储介质 | |
CN109429064B (zh) | 一种视频数据的编解码方法、装置和介质 | |
CN110996122B (zh) | 视频帧传输方法、装置、计算机设备及存储介质 | |
WO2020108033A1 (zh) | 转码方法、转码装置和计算机可读存储介质 | |
US10284850B2 (en) | Method and system to control bit rate in video encoding | |
CN113271464B (zh) | 视频编码方法、解码方法及相关装置 | |
CN110572723A (zh) | 一种缩略图生成的方法以及相关装置 | |
CN112423140A (zh) | 视频播放方法、装置、电子设备和存储介质 | |
CN109120929B (zh) | 一种视频编码、解码方法、装置、电子设备及系统 | |
CN113794903A (zh) | 视频图像处理方法、装置及服务器 | |
US10051281B2 (en) | Video coding system with efficient processing of zooming transitions in video | |
US10536726B2 (en) | Pixel patch collection for prediction in video coding system | |
CN107493478B (zh) | 编码帧率设置方法及设备 | |
CN112565763A (zh) | 异常图像样本生成方法及装置、图像检测方法及装置 | |
CN116996676A (zh) | 一种参考图像排序方法、装置、电子设备及存储介质 | |
CN116437088A (zh) | 图像缓存区的更新方法、装置、服务器及存储介质 | |
CN109302574B (zh) | 一种处理视频流的方法和装置 | |
CN113709574B (zh) | 视频截图方法、装置、电子设备及计算机可读存储介质 | |
CN115834906A (zh) | 视频编解码方法、装置、电子设备及介质 | |
CN115834889A (zh) | 视频编解码方法、装置、电子设备及介质 | |
CN116980620A (zh) | 一种图像帧预测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |