CN116684610A - 确定长期参考帧的参考状态的方法、装置及电子设备 - Google Patents
确定长期参考帧的参考状态的方法、装置及电子设备 Download PDFInfo
- Publication number
- CN116684610A CN116684610A CN202310560952.8A CN202310560952A CN116684610A CN 116684610 A CN116684610 A CN 116684610A CN 202310560952 A CN202310560952 A CN 202310560952A CN 116684610 A CN116684610 A CN 116684610A
- Authority
- CN
- China
- Prior art keywords
- frame
- long
- image frame
- current image
- term reference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007774 longterm Effects 0.000 title claims abstract description 346
- 238000000034 method Methods 0.000 title claims abstract description 96
- 244000208734 Pisonia aculeata Species 0.000 claims description 92
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 description 17
- 238000012545 processing Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 13
- 238000013473 artificial intelligence Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000003058 natural language processing Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本公开提供了一种确定长期参考帧的参考状态的方法、装置、电子设备及存储介质，涉及计算机技术领域，具体涉及视频编码技术领域。具体实施方案为：获取当前图像帧的至少一个参考图像帧；获取每个参考图像帧对长期参考帧的参考信息；根据参考信息，确定当前图像帧对长期参考帧的参考状态。由此，该方法通过获取当前图像帧的参考图像帧，根据参考图像帧对长期参考帧的参考信息确定当前图像帧是否参考长期参考帧，从而调整当前图像帧对于长期参考帧的参考状态，因此，编码器只需对参考有效状态的图像帧，进行长期参考帧的参考，减少了编码时间上的损失，提高了编码性能，可以保证编码效率不受影响。
Description
技术领域
本公开涉及图像处理领域，具体涉及图像编码技术领域，尤其涉及一种确定长期参考帧的参考状态的方法、装置和电子设备及存储介质。
背景技术
相关的图像编码技术虽都采用多帧参考技术，但参考方式较为单一，是将长期参考帧加入到每一图像帧的参考帧列表中，也就是每一图像帧都需参考长期参考帧，编码器需要在每一帧图像中搜索与长期参考帧相似的编码块，增加了编码的时间，降低了编码的性能。
发明内容
本公开提供了一种用于确定长期参考帧的参考状态的方法、装置、电子设备及存储介质。
根据本公开的第一方面，提供了一种确定长期参考帧的参考状态的方法，包括：获取当前图像帧的至少一个参考图像帧；获取每个所述参考图像帧对长期参考帧的参考信息；根据所述参考信息，确定所述当前图像帧对所述长期参考帧的参考状态。
根据本公开的第二方面，提供了一种确定长期参考帧的参考状态的装置，包括：第一获取模块，用于获取当前图像帧的至少一个参考图像帧；第二获取模块，用于获取每个所述参考图像帧对长期参考帧的参考信息；确定模块，用于根据所述参考信息，确定所述当前图像帧对所述长期参考帧的参考状态。
根据本公开的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述一方面实施例所述的确定长期参考帧的参考状态的方法。
根据本公开第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其上存储有计算机程序/指令，所述计算机指令用于使所述计算机执行上述一方面实施例所述的确定长期参考帧的参考状态的方法。
根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述一方面实施例所述的确定长期参考帧的参考状态的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1为本公开实施例提供的一种确定长期参考帧的参考状态的方法的流程示意图；
图2为本公开实施例提供的另一种确定长期参考帧的参考状态的方法的流程示意图；
图3为本公开实施例提供的另一种确定长期参考帧的参考状态的方法的流程示意图；
图4为本公开实施例提供的一种确定长期参考帧的参考状态的方法中判断当前图像帧是否满足拉回长期参考帧的拉回条件的流程示意图；
图5为本公开实施例提供的一种确定长期参考帧的参考状态的方法中根据帧号间隔距离，判断当前图像帧是否满足拉回条件的流程示意图；
图6为本公开实施例提供的另一种确定长期参考帧的参考状态的方法中根据帧号间隔距离，判断当前图像帧是否满足拉回条件的流程示意图；
图7为本公开实施例提供的一种确定长期参考帧的参考状态的方法中识别是否需要对长期参考帧进行更新的流程示意图；
图8为本公开实施例提供的另一种确定长期参考帧的参考状态的方法的流程图；
图9为本公开实施例提供的一种确定长期参考帧的参考状态的装置的结构示意图；
图10为根据本公开实施例的确定长期参考帧的参考状态的方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本公开实施例的确定长期参考帧的参考状态的方法、装置和电子设备。
人工智能(Artificial Intelligence，简称AI)，是研究使计算机来模拟人生的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术，也有软件层面的技术。人工智能硬件技术一般包括计算机视觉技术、语音识别技术、自然语言处理技术以及及其学习/深度学习、大数据处理技术、知识图谱技术等几大方面。
自然语言处理(Natural Language Processing，NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。自然语言处理主要应用于机器翻译、舆情监测、自动摘要、观点提取、文本分类、问题回答、文本语义对比、语音识别等方面。
深度学习(Deep Learning，简称DL)，是机器学习(Machine Learning，简称ML)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是学习样本数据的内在律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
智能搜索是结合了人工智能技术的新一代搜索引擎。他除了能提供传统的快速检索、相关度排序等功能，还能提供用户角色登记、用户兴趣自动识别、内容的语义理解、智能信息化过滤和推送等功能。
计算机视觉，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取“信息”的人工智能系统，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。
图像处理(image processing)技术，用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。图像处理一般指数字图像处理。数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组，该数组的元素称为像素，其值称为灰度值。图像处理技术一般包括图像压缩，增强和复原，匹配、描述和识别3个部分。
图1为本公开实施例提供的一种确定长期参考帧的参考状态的方法的流程示意图。
如图1所示，该确定长期参考帧的参考状态的方法，可包括：
S101，获取当前图像帧的至少一个参考图像帧。
本公开实施例确定长期参考帧的参考状态的方法的执行主体是具有图像编码功能的电子设备和服务器。可选地，电子设备可以是移动电子设备，也可以为非移动电子设备。可选地，服务器可以是网络服务器，也可以是应用服务器。
示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本公开实施例不作具体限定。
在一些实现中，可以通过保留当前图像帧的前一帧，将当前图像帧的前一帧作为参考图像帧。还可以使用当前图像帧的前几帧作为参考图像帧，可选地，选择前三帧或前五帧，作为当前图像帧的参考图像帧。例如，当前图像帧是P8，P8的参考图像帧可以是P7，也可以是P7，P6和P5。
S102，获取每个参考图像帧对长期参考帧的参考信息。
需要说明的是，长期参考帧是视频编码标准中一种特殊的帧类型，使用长期参考帧可以减少视频数据的传输量，同时提升视频质量。在一些实现中，可以选用内部画面帧(Intra Picture，I帧)或即时解码刷新(Instantaneous Decoding Refresh，IDR)帧作为长期参考帧加入到参考帧列表中。I帧表示帧内编码帧的关键帧，IDR帧表示视频序列的第一个图像帧。
在一些实现中，可以确定参考图像帧的长期参考帧标记位，根据该参考图像帧的长期参考帧标记位，得到参考图像帧对长期参考帧的参考信息。例如，参考图像帧的长期参考帧标记位为0，则说明参考图像帧未参考长期参考帧；参考图像帧的长期参考帧标记位为1，则说明参考图像帧参考长期参考帧。
S103，根据参考信息，确定当前图像帧对长期参考帧的参考状态。
可以理解的是，对长期参考帧的参考状态可以分为参考失效状态和参考有效状态，其中，参考失效状态表示当前图像帧需要对长期参考帧进行参考；而参考有效状态表示当前图像帧不需要对长期参考帧进行参考。
在一些实现中，从参考信息中可以确定每个参考图像帧是否参考长期参考帧，基于每个参考图像帧对长期参考帧的参考情况，确定当前图像帧是否对长期参考帧进行参考，若参考图像帧参考长期参考帧的参考状态为参考失效状态，则当前图像帧对长期参考帧的参考状态为参考失效状态；若参考图像帧参考长期参考帧的参考状态为参考有效状态状态，则当前图像帧对长期参考帧的参考状态为参考有效状态。
在一些实现中，若当前图像帧的所有参考图像帧均未参考长期参考帧，确定当前图像帧也未参考长期参考帧，则当前图像帧对长期参考帧的参考状态为参考失效状态。若当前图像帧的所有参考图像帧中有一个或若干个参考图像帧参考了长期参考帧，确定当前图像帧需要参考长期参考帧，则确定当前图像帧对长期参考帧的参考状态为参考有效状态。
本公开实施例的确定长期参考帧的参考状态的方法，通过获取当前图像帧的参考图像帧，根据参考图像帧对长期参考帧的参考信息确定当前图像帧是否参考长期参考帧，从而调整当前图像帧对于长期参考帧的参考状态，因此，编码器只需对参考有效状态的图像帧，进行长期参考帧的参考，减少了编码时间上的损失，提高了编码性能，可以保证编码效率不受影响。
图2为本公开实施例提供的一种确定长期参考帧的参考状态的方法的流程示意图。
如图2所示，该确定长期参考帧的参考状态的方法，可包括：
S201，获取当前图像帧的至少一个参考图像帧。
步骤S201的相关内容可参见上述实施例，这里不再赘述。
S202，获取每个参考图像帧中参考长期参考帧的参考编码块数量。
在一些实现中，每个参考图像帧都被划分为一定数量的编码块，参考图像帧的编码块中包括参考长期参考帧的参考编码块、未参考长期参考帧的参考编码块。电子设备通过读取参考图像帧的编码块，可以得到参考图像帧中参考长期参考帧的参考编码块数量。
S203，获取图像帧的编码块总数量。
可以理解的是，图像帧的编码块数量取决于图像的大小和编码块的大小。编码块的大小通常是固定的，并且根据的压缩算法确定。例如，可以将图像帧分为64个水平编码块和64个垂直编码块，则图像帧的编码块总数量为64*64。
S204，根据参考编码块数量和编码块总数量，确定参考图像帧的参考信息。
可选地，可以通过参考编码块数量和编码块总数量的比值，确定参考图像帧对长期参考帧的参考信息，如参考图像帧参考长期参考帧、或未参考长期参考帧。
示例说明，设当前图像帧是P5，其参考图像帧是P4，P3，P2，设长期参考帧是P0。将P2参考P0的编码块数量与编码块总数量的比值，确定为P2参考P0的参考占比率，可以记为ref20，将P3参考P0的编码块数量与编码块总数量的比值，确定为P3参考P0的参考占比率，可以记为ref30，将P4参考P0的编码块数量与编码块总数量的比值，确定为P4参考P0的参考占比率，可以记为ref40。若ref20，ref30，ref40均小于阈值，则说明参考图像帧P4，P3，P2未参考长期参考帧P0。
S205，根据参考信息，确定当前图像帧对长期参考帧的参考状态。
在一些实现中，可以通过判断每个参考图像帧的参考信息是否满足未参考长期参考帧的设定识别条件。其中，设定识别条件是参考编码块数量和编码块总数量的比值均小于设定阈值。若所有参考图像帧的参考信息均满足设定识别条件，确定当前图像帧对长期参考帧的参考状态为参考失效状态。
示例性说明，当前图像帧是P5，其参考图像帧是P4，P3，P2，长期参考帧是P0，若ref40，ref30，ref20中至少一个大于设定阈值，说明参考图像帧P4，P3，P2至少一个参考了长期参考帧P0，则P5也参考长期参考帧P0，所以当前图像帧P5对长期参考帧P0的参考状态为参考有效状态。若ref40，ref30，ref20均小于设定阈值，说明参考图像帧P4，P3，P2未参考长期参考帧P0，则P5也未参考长期参考帧P0，所以当前图像帧P5对长期参考帧P0的参考状态为参考失效状态。
本公开实施例的确定长期参考帧的参考状态的方法，通过获取当前图像帧的参考图像帧，根据参考图像帧中参考长期参考帧的参考编码块数量，以及参考图像帧的编码块总数量，可以确定参考图像帧对长期参考帧的参考信息，进而确定当前图像帧是否参考长期参考帧，从而可以调整当前图像帧对于长期参考帧的参考状态，因此，编码器只需对参考有效状态的图像帧，进行长期参考帧的参考，减少了编码时间上的损失，提高了编码性能，可以保证编码效率不受影响。
图3为本公开实施例提供的一种确定长期参考帧的参考状态的方法的流程示意图。
如图3所示，该确定长期参考帧的参考状态的方法，可包括：
S301，获取当前图像帧的至少一个参考图像帧。
S302，获取每个参考图像帧对长期参考帧的参考信息。
步骤S301-S302的相关内容可参见上述实施例，这里不再赘述。
S303，根据参考信息，确定当前图像帧对长期参考帧的参考状态。
可以理解的是，当前图像帧对长期参考帧的参考状态可以分为参考失效状态和参考有效状态。
可选地，若当前图像帧对长期参考帧的参考状态为参考失效状态，确定当前图像帧的长期参考帧标记位为第一取值。例如，第一取值记为0。
可选地，若当前图像帧对长期参考帧的参考状态为参考有效状态，确定当前图像帧的长期参考帧标记位为第二取值。例如，第二取值记为1。
S304，若确定当前图像帧对长期参考帧的参考状态为参考失效状态，判断当前图像帧是否满足拉回长期参考帧的拉回条件。
在一些实现中，可以通过每个参考图像帧对长期参考帧的参考信息，确定当前图像帧对长期参考帧的参考状态，由于参考图像帧的参考信息表示未参考长期参考帧，则当前图像帧的参考状态为参考失效状态。长期参考帧可以减少在图像编码过程中产生的错误，提高编码性能，为避免视频中图像长期未参考长期参考帧存在的编码错误，对于确定出参考无效状态的当前图像帧，可以进行判断是否满足拉回长期参考帧的拉回条件，在满足拉回条件的情况下拉回长期参考帧，可以增强编码的抗差错能力，增加后续图像的编码准确性。
可选地，可以通过第一个未参考长期参考帧的帧号与当前图像帧的帧号间隔，确定当前图像帧是否满足拉回长期参考帧的拉回条件。可选地，可以通过当前图像帧和长期参考帧之间的峰值信噪比(Peak Signal to Noise Ratio，PSNR)，确定当前图像帧是否满足拉回长期参考帧的拉回条件。可选地，可以通过未参考长期参考帧的次数，确定当前图像帧是否满足拉回长期参考帧的拉回条件。
S305，若当前图像帧满足拉回条件，更新长期参考帧的参考状态为参考有效状态。
在一些实现中，若当前图像帧满足拉回长期参考帧的拉回条件，则将长期参考帧拉回，且当前图像帧需参考长期参考帧，进一步地，可以更新当前图像帧对长期参考帧的参考状态为参考有效状态，并将当前图像帧的长期参考帧标记位记为第二取值1。
S306，若当前图像帧未满足拉回条件，维持长期参考帧的参考状态为参考无效状态。
在一些实现中，若当前图像帧未满足拉回长期参考帧的拉回条件，说明当前图像帧无需参考长期参考帧，则当前图像帧对长期参考帧的参考状态依旧是参考无效状态，同时将当前图像帧的长期参考帧标记位为第一取值0。
本公开实施例的确定长期参考帧的参考状态的方法，通过获取当前图像帧的参考图像帧，根据参考图像帧对长期参考帧的参考信息确定当前图像帧是对长期参考帧的参考状态。进一步地，根据当前图像帧对长期参考帧的参考状态，判断是否需要拉回长期参考帧。通过拉回长期参考帧可以避免在编码过程中图像持续未参考长期参考帧而导致的编码准确率降低的问题，减少了编码时间上的损失，可以增强编码的抗差错能力。而且编码器只需对参考有效状态的图像帧，进行长期参考帧的参考，减少了编码时间上的损失，提高了编码性能，可以保证编码效率不受影响。
图4为本公开实施例提供的一种判断当前图像帧是否满足拉回长期参考帧的拉回条件过程的流程示意图。
如图4所示，该判断当前图像帧是否满足拉回长期参考帧的拉回条件过程，可包括：
S401，获取本轮首个无需参考长期参考帧的图像帧的第一帧号，以及当前图像帧的第二帧号。
在一些实现中，任一图像帧可以根据其参考图像帧判断是否参考长期参考帧，由此可以获取首个无需参考长期参考帧的图像帧，并将图像帧的帧号记为第一帧号。进一步地，将当前图像帧的帧号记为第二帧号。
S402，获取第一帧号和第二帧号之间的帧号间隔距离。
S403，根据帧号间隔距离，判断当前图像帧是否满足拉回长期参考帧的拉回条件。
在一些实现中，根据第二帧号与第一帧号的差值可以得到帧号间隔距离，根据帧号间隔距离可以确定当前图像帧是否满足拉回条件，进而确定当前图像帧是否需要进行拉回长期参考帧。其中，拉回条件可以是PSNR大于信噪比阈值以及帧号间隔大于设定阈值。
本公开实施例的确定长期参考帧的参考状态的方法，通过获取当前图像帧的参考图像帧，根据参考图像帧对长期参考帧的参考信息确定当前图像帧是对长期参考帧的参考状态。进一步地，根据当前图像帧对长期参考帧的参考状态，判断是否需要拉回长期参考帧，通过拉回长期参考帧可以避免在编码过程中图像持续未参考长期参考帧而导致的编码准确率降低的问题，减少了编码时间上的损失，可以增强编码的抗差错能力。而且编码器只需对参考有效状态的图像帧，进行长期参考帧的参考，减少了编码时间上的损失，提高了编码性能，可以保证编码效率不受影响。
图5为本公开实施例提供的一种根据帧号间隔距离，判断当前图像帧是否满足拉回长期参考帧的拉回条件过程的流程示意图。
如图5所示，该根据帧号间隔距离，判断当前图像帧是否满足拉回长期参考帧的拉回条件过程，可包括：
S501，获取本轮首个无需参考长期参考帧的图像帧的第一帧号，以及当前图像帧的第二帧号。
S502，获取第一帧号和第二帧号之间的帧号间隔距离。
步骤S501-S502的相关内容可参见上述实施例，这里不再赘述。
S503，若帧号间隔距离处于第一设定阈值和第二设定阈值之间，获取当前图像帧和长期参考帧之间的峰值信噪比。
在一些实现中，可以预先设定帧号间隔距离的第一设定阈值和第二设定阈值，第一设定阈值和第二设定阈值可以决定当前图像帧是否满足拉回条件。其中，第二设定阈值大于第一设定阈值。
可选地，若帧号间隔距离处于第一设定阈值和第二设定阈值之间，则计算当前图像帧和长期参考帧之间的PSNR，根据PSNR大小，可以判断当前图像帧和长期参考帧的相似度，进而判定当前图像帧是否满足拉回长期参考帧的拉回条件。
S504，若峰值信噪比大于信噪比阈值，判定当前图像帧满足拉回条件。
在一些实现中，当前图像帧满足的拉回条件是PSNR大于信噪比阈值。可以理解的是，当前图像帧和长期参考帧之间的PSNR反映了两帧之间的相似度，当PSNR大于信噪比阈值，说明当前图像帧和长期参考帧之间相似度高，表示当前图像帧需参考长期参考帧，并将当前图像帧的长期参考帧标记位记为1。此时当前图像帧满足拉回条件，进行拉回长期参考帧。
示例性说明，设长期参考帧为P0，第一帧号为Pn，第二帧号为Pm，第一设定阈值为g1，第二设定阈值为g2。当Pm-Pn>g1，Pm-Pn<g2时，则计算Pm和P0的PSNR，如果PSNR大于信噪比阈值，说明当前图像帧和长期参考帧的相似度更高，所以此时进行拉回长期参考帧。
S505，若峰值信噪比小于或等于信噪比阈值，判定当前图像帧未满足拉回条件。
可以理解的是，当PSNR小于或等于信噪比阈值，说明当前图像帧和长期参考帧之间相似度低，当前图像帧无需参考长期参考帧，此时当前图像帧未满足拉回条件，将当前图像帧的长期参考帧标记位记为0，对长期参考帧不进行拉回。
S506，若帧号间隔距离大于第二设定阈值，判定当前图像帧满足拉回条件。
在另一些实现中，当前图像帧满足的拉回条件是帧号间隔距离大于第二设定阈值。可以理解的是，当帧号间隔距离大于第二设定阈值，说明本轮图像帧中未参考长期参考帧的图像帧过多，不利于提升视频的编码性能且容易出现编码错误，此时需要强行拉回长期参考帧，并将当前图像帧的长期参考帧标记位记为1，使得当前图像帧参考长期参考帧，以提升编码的性能。例如，第二设定阈值是10，当帧号间隔距离大于10时，直接拉回长期参考帧。
进一步地，在帧号间隔距离大于第二设定阈值的情况下，获取下一个无需参考长期参考帧的图像帧，作为下一轮中首个无需参考长期参考帧的图像帧，进而可以判断下一轮中当前图像帧是否满足拉回长期参考帧的拉回条件。
S507，若帧号间隔距离小于第一设定阈值，判定当前图像帧未满足拉回条件。
在一些实现中，当帧号间隔距离小于第一设定阈值，此时当前图像帧的长期参考帧标记位仍为0，说明当前参考帧无需参考长期参考帧，所以当前图像帧未满足拉回条件，无需对长期参考帧进行拉回。
本公开实施例的确定长期参考帧的参考状态的方法，通过获取当前图像帧的参考图像帧，根据参考图像帧对长期参考帧的参考信息确定当前图像帧是对长期参考帧的参考状态。进一步地，在当前图像帧对长期参考帧的参考状态为参考失效状态时，需要判断是否拉回长期参考帧，通过拉回长期参考帧可以避免在编码过程中图像持续未参考长期参考帧而导致的编码准确率降低的问题，减少了编码时间上的损失，可以增强编码的抗差错能力。而且编码器只需对参考有效状态的图像帧，进行长期参考帧的参考，减少了编码时间上的损失，提高了编码性能，可以保证编码效率不受影响。
图6为本公开实施例提供的一种根据帧号间隔距离，判断当前图像帧是否满足拉回长期参考帧的拉回条件过程的流程示意图。
如图6所示，该判断当前图像帧是否满足拉回长期参考帧的拉回条件过程，可包括：
S601，从计数器本轮计数开始获取本轮中长期参考帧确定为参考无效状态的计数次数。
在一些实现中，在本轮的图像帧中，当确定图像帧对长期参考帧为参考无效状态，则使用计数器对图像帧进行计数。从首个无需参考长期参考帧的图像帧开始计数，直至计数次数满足当前图像帧拉回长期参考帧的拉回条件。需要说明的是，可以将一个计数器从0计数到设定值记为一轮。
S602，根据计数次数，判断当前图像帧是否满足拉回长期参考帧的拉回条件。
可以理解的是，计数次数反映了本轮图像帧中未参考长期参考帧的图像帧的数量。
在一些实现中，可以预先设定为计数器设置对应的第一设定阈值和第二设定阈值。若计数次数处于第一设定阈值和第二设定阈值之间，获取当前图像帧和长期参考帧之间的PSNR，若PSNR大于信噪比阈值，判定当前图像帧满足拉回条件。若PSNR小于或等于信噪比阈值，判定当前图像帧未满足拉回条件。可选地，若计数次数大于第二设定阈值，判定当前图像帧满足拉回条件；若计数次数小于第一设定阈值，判定当前图像帧未满足拉回条件。
在一些实现中，可以将帧号间隔距离的阈值用于计数次数。
S603，若计数次数达到第三设定阈值，确定当前图像帧满足拉回条件，并对计数器进行清零，并重新计数。
在一些实现中，在计数次数等于第三设定阈值的情况下，对计数器进行清零，并重新计数，同时获取下一个无需参考长期参考帧的图像帧，作为下一轮计数中首个无需参考长期参考帧的图像帧，进而可以判断下一轮中当前图像帧是否满足拉回长期参考帧的拉回条件。
需要说明的是，第三设定阈值与第二设定阈值可以相同也可以不同。
本公开实施例的确定长期参考帧的参考状态的方法，通过获取当前图像帧的参考图像帧，根据参考图像帧对长期参考帧的参考信息确定当前图像帧是对长期参考帧的参考状态。进一步地，在当前图像帧对长期参考帧的参考无效状态时，进一步地，判断是否需要拉回长期参考帧，通过拉回长期参考帧避免在编码过程中图像持续未参考长期参考帧而导致的编码准确率降低的问题，减少了编码时间上的损失，可以增强编码的抗差错能力。而且编码器只需针对参考有效状态的图像帧进行长期参考帧的参考，减少了编码时间上的损失，提高了编码性能。保证编码效率不受影响。
在上述实施例的基础上，可以基于当前图像帧和其相邻的历史图像帧的场景信息，识别是否需要对长期参考帧进行更新。图7为本公开实施例提供的一种识别是否需要对长期参考帧进行更新过程的流程示意图。
如图7所示，该确定长期参考帧的参考状态的方法，可包括：
S701，获取当前图像帧的第一场景信息。
S702，获取与当前图像帧相邻的历史图像帧的第二场景信息。
在一些实现中，可以使用计算机视觉相关的工具对当前图像帧以及与当前图像帧相邻的历史图像帧，进行图像分析和特征提取，进而可以得到图像帧的场景信息。将当前图像帧的场景信息记为第一场景信息，将历史图像帧的场景信息记为第二场景信息。
S703，确定第一场景信息和第二场景信息的场景相似度。
可选地，可以使用结构相似度指数确定第一场景信息和第二场景信息的场景相似度，通过对比场景信息中的像素值，以及亮度、对比度等结构因素，可以确定场景信息中的场景相似度。
S704，若场景相似度小于或者等于设定相似阈值，对长期参考帧进行更新，更新后长期参考帧用于后续图像帧的编码参考。
在一些实现中，可以设定相似阈值，用于判断是否需要对长期参考帧进行更新。当若场景相似度大于设定相似阈值，说明场景未出现切换，无需对长期参考帧进行更新；当场景相似度小于或者等于设定相似阈值，说明场景出现切换，需要对长期参考帧进行更新。
可以理解的是，由于场景出现切换，当前图像帧是场景切换后的第一帧，进而确定当前图像帧为更新后的长期参考帧，以便用于后续图像帧的编码参考。
本公开实施例的确定长期参考帧的参考状态的方法，根据场景切换可以确定不同的长期参考帧，实现了对长期参考帧的而动态更新，使用更新后的长期参考帧作为后续图像帧的编码参考，达到了周期性调整长期参考帧的目的，避免始终使用同一帧作为长期参考帧，减少场景切换对编码效果的影响，提升了编码的性能。
图8为本公开实施例提供的一种确定长期参考帧的参考状态的方法的流程示意图。
如图8所示，该确定长期参考帧的参考状态的方法，可包括：
S801，获取当前图像帧的第一场景信息。
S802，获取与当前图像帧相邻的历史图像帧的第二场景信息。
S803，确定第一场景信息和第二场景信息的场景相似度。
S804，若场景相似度小于或者等于设定相似阈值，对长期参考帧进行更新，更新后长期参考帧用于后续图像帧的编码参考。
S805，获取当前图像帧的至少一个参考图像帧。
S806，获取每个参考图像帧中参考长期参考帧的参考编码块数量。
S807，获取图像帧的编码块总数量。
S808，根据参考编码块数量和编码块总数量，确定参考图像帧的参考信息。
S809，根据参考信息，确定当前图像帧对长期参考帧的参考状态。
S810，若确定当前图像帧对长期参考帧的参考状态为参考失效状态，判断当前图像帧是否满足拉回长期参考帧的拉回条件。
S811，若当前图像帧满足拉回条件，更新长期参考帧的参考状态为参考有效状态。
S812，若当前图像帧未满足拉回条件，维持长期参考帧的参考状态为参考无效状态。
本公开实施例的确定长期参考帧的参考状态的方法，根据场景切换可以确定不同的长期参考帧，实现了对长期参考帧的而动态选取，达到了周期性调整长期参考帧的目的，避免始终使用同一帧作为长期参考帧，提升了编码的性能。通过获取当前图像帧的参考图像帧，根据参考图像帧对长期参考帧的参考信息确定当前图像帧是对长期参考帧的参考状态。进一步地，在当前图像帧对长期参考帧的参考状态为参考失效状态时，需要判断是否拉回长期参考帧，通过拉回长期参考帧可以避免在编码过程中图像持续未参考长期参考帧而导致的编码准确率降低的问题，减少了编码时间上的损失，可以增强编码的抗差错能力。而且编码器只需针对参考有效状态的图像帧进行长期参考帧的参考，减少了编码时间上的损失，提高了编码性能，保证编码效率不受影响。
与上述几种实施例提供的确定长期参考帧的参考状态的方法相对应，本公开的一个实施例还提供了一种确定长期参考帧的参考状态的装置，由于本公开实施例提供的确定长期参考帧的参考状态的装置与上述几种实施例提供的确定长期参考帧的参考状态的方法相对应，因此上述确定长期参考帧的参考状态的方法的实施方式也适用于本公开实施例提供的确定长期参考帧的参考状态的装置，在下述实施例中不再详细描述。
图9为本公开实施例提供的一种确定长期参考帧的参考状态的装置的结构示意图。
如图9所示，本公开实施例的确定长期参考帧的参考状态的装置900，包括：第一获取模块901、第二获取模块902和确定模块903。
第一获取模块901，用于获取当前图像帧的至少一个参考图像帧。
第二获取模块902，用于获取每个参考图像帧对长期参考帧的参考信息。
确定模块903，用于根据参考信息，确定当前图像帧对长期参考帧的参考状态。
在本公开的一个实施例中，确定模块903，还用于：若确定当前图像帧对长期参考帧的参考状态为参考失效状态，判断当前图像帧是否满足拉回长期参考帧的拉回条件；若当前图像帧满足拉回条件，更新长期参考帧的参考状态为参考有效状态；若当前图像帧未满足拉回条件，维持长期参考帧的参考状态为参考无效状态。
在本公开的一个实施例中，第二获取模块902，还用于：获取每个参考图像帧中参考长期参考帧的参考编码块数量；获取图像帧的编码块总数量；根据参考编码块数量和编码块总数量，确定参考图像帧的参考信息。
在本公开的一个实施例中，第二获取模块902，还用于：判断每个参考图像帧的参考信息是否满足未参考长期参考帧的设定识别条件；若所有参考图像帧的参考信息均满足设定识别条件，确定当前图像帧对长期参考帧的参考状态为参考失效状态。
在本公开的一个实施例中，确定模块903，还用于：获取本轮首个无需参考长期参考帧的图像帧的第一帧号，以及当前图像帧的第二帧号；获取第一帧号和第二帧号之间的帧号间隔距离；根据帧号间隔距离，判断当前图像帧是否满足拉回长期参考帧的拉回条件。
在本公开的一个实施例中，确定模块903，还用于：若帧号间隔距离处于第一设定阈值和第二设定阈值之间，获取当前图像帧和长期参考帧之间的峰值信噪比；若峰值信噪比大于信噪比阈值，判定当前图像帧满足拉回条件；或者，若峰值信噪比小于或等于信噪比阈值，判定当前图像帧未满足拉回条件。
在本公开的一个实施例中，确定模块903，还用于：若帧号间隔距离大于第二设定阈值，判定当前图像帧满足拉回条件；或者，若帧号间隔距离小于第一设定阈值，判定当前图像帧未满足拉回条件。
在本公开的一个实施例中，确定模块903，还用于：在帧号间隔距离大于第二设定阈值的情况下，获取下一个无需参考长期参考帧的图像帧，作为下一轮中首个无需参考长期参考帧的图像帧。
在本公开的一个实施例中，确定模块903，还用于：从计数器本轮计数开始获取本轮中长期参考帧确定为参考无效状态的计数次数；根据计数次数，判断当前图像帧是否满足拉回长期参考帧的拉回条件。
在本公开的一个实施例中，确定模块903，还用于：若计数次数达到第三设定阈值，确定当前图像帧满足拉回条件，并对计数器进行清零，并重新计数。
在本公开的一个实施例中，装置还包括：若当前图像帧对长期参考帧的参考状态为参考失效状态，确定当前图像帧的长期参考帧标记位为第一取值；或者，若当前图像帧对长期参考帧的参考状态为参考有效状态，确定当前图像帧的长期参考帧标记位为第二取值。
在本公开的一个实施例中，装置还包括：获取当前图像帧的第一场景信息；获取与当前图像帧相邻的历史图像帧的第二场景信息；
确定第一场景信息和第二场景信息的场景相似度；若场景相似度小于或者等于设定相似阈值，对长期参考帧进行更新，更新后长期参考帧用于后续图像帧的编码参考。
在本公开的一个实施例中，装置还包括：确定当前图像帧为更新后的长期参考帧。
本公开实施例的确定长期参考帧的参考状态的方法，根据场景切换可以确定不同的长期参考帧，实现了对长期参考帧的动态更新，达到了周期性调整长期参考帧的目的，避免始终使用同一帧作为长期参考帧，提升了编码的性能。通过获取当前图像帧的参考图像帧，根据参考图像帧对长期参考帧的参考信息确定当前图像帧是对长期参考帧的参考状态。进一步地，在当前图像帧对长期参考帧的参考状态为参考失效状态时，需要判断是否拉回长期参考帧，通过拉回长期参考帧可以避免在编码过程中图像持续未参考长期参考帧而导致的编码准确率降低的问题，减少了编码时间上的损失，可以增强编码的抗差错能力。而且编码器只需对参考有效状态的图像帧，进行长期参考帧的参考，减少了编码时间上的损失，提高了编码性能，可以保证编码效率不受影响。
本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序/指令或者从存储单元1006载到随机访问存储器(RAM)1003中的计算机程序/指令，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如确定长期参考帧的参考状态的方法。例如，在一些实施例中，确定长期参考帧的参考状态的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1006些实施例中，计算机程序/指令的部分或者全部可以经由ROM 1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序/指令加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的确定长期参考帧的参考状态的方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行确定长期参考帧的参考状态的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序/指令中，该一个或者多个计算机程序/指令可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网和区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序/指令来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (29)
1.一种确定长期参考帧的参考状态的方法，其中，包括：
获取当前图像帧的至少一个参考图像帧；
获取每个所述参考图像帧对长期参考帧的参考信息；
根据所述参考信息，确定所述当前图像帧对所述长期参考帧的参考状态。
2.根据权利要求1所述的方法，其中，所述方法还包括：
若确定所述当前图像帧对所述长期参考帧的参考状态为参考失效状态，判断所述当前图像帧是否满足拉回所述长期参考帧的拉回条件；
若所述当前图像帧满足所述拉回条件，更新所述长期参考帧的参考状态为参考有效状态；
若所述当前图像帧未满足所述拉回条件，维持所述长期参考帧的参考状态为参考无效状态。
3.根据权利要求1或2所述的方法，其中，所述获取所述参考图像帧对所述长期参考帧的参考信息，包括：
获取每个所述参考图像帧中参考所述长期参考帧的参考编码块数量；
获取图像帧的编码块总数量；
根据所述参考编码块数量和所述编码块总数量，确定所述参考图像帧的参考信息。
4.根据权利要求1所述的方法，其中，所述根据所述参考信息，确定所述当前图像帧对所述长期参考帧的参考状态，包括：
判断每个所述参考图像帧的参考信息是否满足未参考所述长期参考帧的设定识别条件；
若所有参考图像帧的参考信息均满足所述设定识别条件，确定所述当前图像帧对所述长期参考帧的参考状态为参考失效状态。
5.根据权利要求2所述的方法，其中，所述判断所述当前图像帧是否满足拉回所述长期参考帧的拉回条件，包括：
获取本轮首个无需参考所述长期参考帧的图像帧的第一帧号，以及所述当前图像帧的第二帧号；
获取所述第一帧号和所述第二帧号之间的帧号间隔距离；
根据所述帧号间隔距离，判断所述当前图像帧是否满足拉回所述长期参考帧的拉回条件。
6.根据权利要求5所述的方法，其中，所述根据所述帧号间隔距离，判断所述当前图像帧是否满足拉回所述长期参考帧的拉回条件，包括：
若所述帧号间隔距离处于第一设定阈值和第二设定阈值之间，获取所述当前图像帧和所述长期参考帧之间的峰值信噪比；
若所述峰值信噪比大于信噪比阈值，判定所述当前图像帧满足所述拉回条件；或者，
若所述峰值信噪比小于或等于信噪比阈值，判定所述当前图像帧未满足所述拉回条件。
7.根据权利要求6所述的方法，其中，所述方法还包括：
若所述帧号间隔距离大于所述第二设定阈值，判定所述当前图像帧满足所述拉回条件；或者，
若所述帧号间隔距离小于所述第一设定阈值，判定所述当前图像帧未满足所述拉回条件。
8.根据权利要求7所述的方法，其中，所述方法还包括：
在所述帧号间隔距离大于所述第二设定阈值的情况下，获取下一个无需参考所述长期参考帧的图像帧，作为下一轮中首个无需参考所述长期参考帧的图像帧。
9.根据权利要求2所述的方法，其中，所述判断所述当前图像帧是否满足拉回所述长期参考帧的拉回条件，包括：
从计数器本轮计数开始获取本轮中所述长期参考帧确定为参考无效状态的计数次数；
根据所述计数次数，判断所述当前图像帧是否满足拉回所述长期参考帧的拉回条件。
10.根据权利要求9所述的方法，其中，所述方法还包括：
若所述计数次数达到第三设定阈值，确定所述当前图像帧满足所述拉回条件，并对所述计数器进行清零，并重新计数。
11.根据权利要求1所述的方法，其中，所述方法还包括：
若所述当前图像帧对所述长期参考帧的参考状态为参考失效状态，确定所述当前图像帧的长期参考帧标记位为第一取值；或者，
若所述当前图像帧对所述长期参考帧的参考状态为参考有效状态，确定所述当前图像帧的长期参考帧标记位为第二取值。
12.根据权利要求1所述的方法，其中，所述方法还包括：
获取所述当前图像帧的第一场景信息；
获取与所述当前图像帧相邻的历史图像帧的第二场景信息；
确定所述第一场景信息和所述第二场景信息的场景相似度；
若所述场景相似度小于或者等于设定相似阈值，对所述长期参考帧进行更新，所述更新后长期参考帧用于后续图像帧的编码参考。
13.根据权利要求12所述的方法，其中，在对所述长期参考帧进行更新，包括：
确定所述当前图像帧为更新后的长期参考帧。
14.一种确定长期参考帧的参考状态的装置，包括：
第一获取模块，用于获取当前图像帧的至少一个参考图像帧；
第二获取模块，用于获取每个所述参考图像帧对长期参考帧的参考信息；
确定模块，用于根据所述参考信息，确定所述当前图像帧对所述长期参考帧的参考状态。
15.根据权利要求14所述的装置，其中，所述确定模块，还用于：
若确定所述当前图像帧对所述长期参考帧的参考状态为参考失效状态，判断所述当前图像帧是否满足拉回所述长期参考帧的拉回条件；
若所述当前图像帧满足所述拉回条件，更新所述长期参考帧的参考状态为参考有效状态；
若所述当前图像帧未满足所述拉回条件，维持所述长期参考帧的参考状态为参考无效状态。
16.根据权利要求14或15所述的装置，其中，所述第二获取模块，还用于：
获取每个所述参考图像帧中参考所述长期参考帧的参考编码块数量；
获取图像帧的编码块总数量；
根据所述参考编码块数量和所述编码块总数量，确定所述参考图像帧的参考信息。
17.根据权利要求14所述的装置，其中，所述第二获取模块，还用于：
判断每个所述参考图像帧的参考信息是否满足未参考所述长期参考帧的设定识别条件；
若所有参考图像帧的参考信息均满足所述设定识别条件，确定所述当前图像帧对所述长期参考帧的参考状态为参考失效状态。
18.根据权利要求15所述的装置，其中，所述确定模块，还用于：
获取本轮首个无需参考所述长期参考帧的图像帧的第一帧号，以及所述当前图像帧的第二帧号；
获取所述第一帧号和所述第二帧号之间的帧号间隔距离；
根据所述帧号间隔距离，判断所述当前图像帧是否满足拉回所述长期参考帧的拉回条件。
19.根据权利要求18所述的装置，其中，所述确定模块，还用于：
若所述帧号间隔距离处于第一设定阈值和第二设定阈值之间，获取所述当前图像帧和所述长期参考帧之间的峰值信噪比；
若所述峰值信噪比大于信噪比阈值，判定所述当前图像帧满足所述拉回条件；或者，
若所述峰值信噪比小于或等于信噪比阈值，判定所述当前图像帧未满足所述拉回条件。
20.根据权利要求19所述的装置，其中，所述确定模块，还用于：
若所述帧号间隔距离大于所述第二设定阈值，判定所述当前图像帧满足所述拉回条件；或者，
若所述帧号间隔距离小于所述第一设定阈值，判定所述当前图像帧未满足所述拉回条件。
21.根据权利要求20所述的装置，其中，所述确定模块，还用于：
在所述帧号间隔距离大于所述第二设定阈值的情况下，获取下一个无需参考所述长期参考帧的图像帧，作为下一轮中首个无需参考所述长期参考帧的图像帧。
22.根据权利要求15所述的装置，其中，所述确定模块，还用于：
从计数器本轮计数开始获取本轮中所述长期参考帧确定为参考无效状态的计数次数；
根据所述计数次数，判断所述当前图像帧是否满足拉回所述长期参考帧的拉回条件。
23.根据权利要求22所述的装置，其中，所述确定模块，还用于：
若所述计数次数达到第三设定阈值，确定所述当前图像帧满足所述拉回条件，并对所述计数器进行清零，并重新计数。
24.根据权利要求14所述的装置，其中，所述装置还包括：
若所述当前图像帧对所述长期参考帧的参考状态为参考失效状态，确定所述当前图像帧的长期参考帧标记位为第一取值；或者，
若所述当前图像帧对所述长期参考帧的参考状态为参考有效状态，确定所述当前图像帧的长期参考帧标记位为第二取值。
25.根据权利要求14所述的装置，其中，所述装置还包括：
获取所述当前图像帧的第一场景信息；
获取与所述当前图像帧相邻的历史图像帧的第二场景信息；
确定所述第一场景信息和所述第二场景信息的场景相似度；
若所述场景相似度小于或者等于设定相似阈值，对所述长期参考帧进行更新，所述更新后长期参考帧用于后续图像帧的编码参考。
26.根据权利要求25所述的装置，其中，所述装置还包括：
确定所述当前图像帧为更新后的长期参考帧。
27.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-13中任一项所述的方法。
28.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-13中任一项所述的确定长期参考帧的参考状态的方法。
29.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1所述确定长期参考帧的参考状态的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310560952.8A CN116684610A (zh) | 2023-05-17 | 2023-05-17 | 确定长期参考帧的参考状态的方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310560952.8A CN116684610A (zh) | 2023-05-17 | 2023-05-17 | 确定长期参考帧的参考状态的方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116684610A true CN116684610A (zh) | 2023-09-01 |
Family
ID=87782772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310560952.8A Pending CN116684610A (zh) | 2023-05-17 | 2023-05-17 | 确定长期参考帧的参考状态的方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116684610A (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1759610A (zh) * | 2003-01-09 | 2006-04-12 | 加利福尼亚大学董事会 | 视频编码方法及设备 |
| US20080130755A1 (en) * | 2006-11-02 | 2008-06-05 | Qualcomm Incorporated | Apparatus and method of reduced reference frame search in video encoding |
| CN106817585A (zh) * | 2015-12-02 | 2017-06-09 | 掌赢信息科技（上海）有限公司 | 一种利用长期参考帧的视频编码方法、电子设备和系统 |
| CN107333133A (zh) * | 2016-04-28 | 2017-11-07 | 浙江大华技术股份有限公司 | 一种码流接收设备的码流编码的方法及装置 |
| CN107343205A (zh) * | 2016-04-28 | 2017-11-10 | 浙江大华技术股份有限公司 | 一种长期参考码流的编码方法及编码装置 |
| CN108810533A (zh) * | 2018-06-14 | 2018-11-13 | 北京奇艺世纪科技有限公司 | 一种标记参考帧的方法、装置及电子设备 |
| CN109672894A (zh) * | 2017-10-13 | 2019-04-23 | 腾讯科技（深圳）有限公司 | 一种帧间预测方法、装置及存储介质 |
| CN110036639A (zh) * | 2016-12-12 | 2019-07-19 | 索尼公司 | 图像处理装置及方法 |
| CN110832861A (zh) * | 2018-07-03 | 2020-02-21 | 深圳市大疆创新科技有限公司 | 视频处理方法和设备 |
| CN111405282A (zh) * | 2020-04-21 | 2020-07-10 | 广州市百果园信息技术有限公司 | 基于长期参考帧的视频编码方法、装置、设备和存储介质 |
| CN112312131A (zh) * | 2020-12-31 | 2021-02-02 | 腾讯科技（深圳）有限公司 | 一种帧间预测方法、装置、设备及计算机可读存储介质 |
| WO2023045666A1 (zh) * | 2021-09-26 | 2023-03-30 | 腾讯科技（深圳）有限公司 | 参考帧的选择方法、装置、设备及介质 |
| CN116781907A (zh) * | 2022-03-11 | 2023-09-19 | 华为技术有限公司 | 编解码方法及电子设备 |
| CN117676153A (zh) * | 2023-12-21 | 2024-03-08 | 启朔(深圳)科技有限公司 | 一种帧间预测模式的切换方法及相关装置 |
-
2023
- 2023-05-17 CN CN202310560952.8A patent/CN116684610A/zh active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1759610A (zh) * | 2003-01-09 | 2006-04-12 | 加利福尼亚大学董事会 | 视频编码方法及设备 |
| US20080130755A1 (en) * | 2006-11-02 | 2008-06-05 | Qualcomm Incorporated | Apparatus and method of reduced reference frame search in video encoding |
| CN106817585A (zh) * | 2015-12-02 | 2017-06-09 | 掌赢信息科技（上海）有限公司 | 一种利用长期参考帧的视频编码方法、电子设备和系统 |
| CN107333133A (zh) * | 2016-04-28 | 2017-11-07 | 浙江大华技术股份有限公司 | 一种码流接收设备的码流编码的方法及装置 |
| CN107343205A (zh) * | 2016-04-28 | 2017-11-10 | 浙江大华技术股份有限公司 | 一种长期参考码流的编码方法及编码装置 |
| CN110036639A (zh) * | 2016-12-12 | 2019-07-19 | 索尼公司 | 图像处理装置及方法 |
| CN109672894A (zh) * | 2017-10-13 | 2019-04-23 | 腾讯科技（深圳）有限公司 | 一种帧间预测方法、装置及存储介质 |
| CN108810533A (zh) * | 2018-06-14 | 2018-11-13 | 北京奇艺世纪科技有限公司 | 一种标记参考帧的方法、装置及电子设备 |
| CN110832861A (zh) * | 2018-07-03 | 2020-02-21 | 深圳市大疆创新科技有限公司 | 视频处理方法和设备 |
| CN111405282A (zh) * | 2020-04-21 | 2020-07-10 | 广州市百果园信息技术有限公司 | 基于长期参考帧的视频编码方法、装置、设备和存储介质 |
| CN112312131A (zh) * | 2020-12-31 | 2021-02-02 | 腾讯科技（深圳）有限公司 | 一种帧间预测方法、装置、设备及计算机可读存储介质 |
| WO2023045666A1 (zh) * | 2021-09-26 | 2023-03-30 | 腾讯科技（深圳）有限公司 | 参考帧的选择方法、装置、设备及介质 |
| CN116781907A (zh) * | 2022-03-11 | 2023-09-19 | 华为技术有限公司 | 编解码方法及电子设备 |
| CN117676153A (zh) * | 2023-12-21 | 2024-03-08 | 启朔(深圳)科技有限公司 | 一种帧间预测模式的切换方法及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110610510B (zh) | 目标跟踪方法、装置、电子设备及存储介质 | |
| CN113033622B (zh) | 跨模态检索模型的训练方法、装置、设备和存储介质 | |
| CN112559800B (zh) | 用于处理视频的方法、装置、电子设备、介质和产品 | |
| WO2022257487A1 (zh) | 深度估计模型的训练方法, 装置, 电子设备及存储介质 | |
| US20230013170A1 (en) | Method and apparatus for detecting jitter in video, electronic device, and storage medium | |
| KR20210132578A (ko) | 지식 그래프를 구축하는 방법, 장치, 기기 및 저장 매체 | |
| CN115063875B (zh) | 模型训练方法、图像处理方法、装置和电子设备 | |
| US9712828B2 (en) | Foreground motion detection in compressed video data | |
| CN116152833A (zh) | 基于图像的表格还原模型的训练方法及表格还原方法 | |
| CN113810765B (zh) | 视频处理方法、装置、设备和介质 | |
| CN113360683A (zh) | 训练跨模态检索模型的方法以及跨模态检索方法和装置 | |
| CN117746125A (zh) | 图像处理模型的训练方法、装置及电子设备 | |
| US11164328B2 (en) | Object region detection method, object region detection apparatus, and non-transitory computer-readable medium thereof | |
| CN116684610A (zh) | 确定长期参考帧的参考状态的方法、装置及电子设备 | |
| CN115097941B (zh) | 人物交互检测方法、装置、设备以及存储介质 | |
| CN108765503B (zh) | 一种肤色检测方法、装置及终端 | |
| CN114973333B (zh) | 人物交互检测方法、装置、设备以及存储介质 | |
| CN114860411B (zh) | 多任务学习方法、装置、电子设备和存储介质 | |
| CN114881227B (zh) | 模型压缩方法、图像处理方法、装置和电子设备 | |
| CN115169489A (zh) | 数据检索方法、装置、设备以及存储介质 | |
| CN114078097A (zh) | 图像去雾模型的获取方法、装置和电子设备 | |
| CN117278765B (zh) | 一种视频压缩方法、装置、设备以及存储介质 | |
| CN114501026B (zh) | 视频编码方法、装置、设备及存储介质 | |
| CN117459719A (zh) | 一种参考帧选择方法、装置、电子设备和存储介质 | |
| CN117392583A (zh) | 视频重复确定方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |