CN110300305B - 视频编码装置与方法 - Google Patents

视频编码装置与方法 Download PDF

Info

Publication number
CN110300305B
CN110300305B CN201810326608.1A CN201810326608A CN110300305B CN 110300305 B CN110300305 B CN 110300305B CN 201810326608 A CN201810326608 A CN 201810326608A CN 110300305 B CN110300305 B CN 110300305B
Authority
CN
China
Prior art keywords
frame
reference frame
video encoding
video
current frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810326608.1A
Other languages
English (en)
Other versions
CN110300305A (zh
Inventor
周凡迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Novatek Microelectronics Corp
Original Assignee
Novatek Microelectronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novatek Microelectronics Corp filed Critical Novatek Microelectronics Corp
Publication of CN110300305A publication Critical patent/CN110300305A/zh
Application granted granted Critical
Publication of CN110300305B publication Critical patent/CN110300305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one

Abstract

一种视频编码装置与方法。视频编码装置包括视频编码电路以及控制电路。视频编码电路对视频串流进行视频编码操作，以产生经编码串流。控制电路控制视频编码电路去进行视频编码操作。依据播放延迟控制条件与帧间(inter‑frame)相关性条件中的至少一者，控制电路将视频串流中的目前帧动态地设为长期参考帧、短期参考帧与非参考帧其中至少一者。其中，长期参考帧与短期参考帧被用来作为在视频译码操作中的译码参考帧。

Description

视频编码装置与方法
技术领域
本发明是有关于一种视频装置，且特别是有关于一种视频编码装置与视频编码方法。
背景技术
智能编码(Smart Encoding)技术常常被应用于网络摄像机(IP Camera)产品。智能编码技术主要藉由控制编码器的码率分布(rate distribution)与图像群组(Group ofpictures，以下称GOP)结构，来进一步降低网络摄像机的编码码率。在网络摄像机上，一般GOP结构为每两秒编码一个I帧(I frame)和49个P帧(P frame)。I帧和P帧的编码方式为习知技术，故不再赘述。I帧的码率(bit rate)较高，但具有随机存取(或播放，playback)的好处。P帧需参考在时间轴上的先前帧来编码/译码。因此若要随机存取某一目前P帧，则须从最近的I帧开始一帧一帧地解码，直到此目前P帧。可想而知，完成所述目前P帧的译码可能需要付出不可忽视的解码延迟(latency)的代价。
为了减少随机存取(或播放)时的译码延迟，习知技术提出一种关键P帧(key Pframe，以下称KP帧)的架构。所述KP帧的参考帧是I帧(或是KP帧)，而所述KP帧的编码/译码过程相似于P帧，因此所述KP帧的码率较低(相较于I帧而言)。在此并不限制所述KP帧的编码方式，例如，所述KP帧的编码方式可以采用习知技术或其他编码方式，故不再赘述。一般而言，每8～12秒编码一个I帧，在相邻两个I帧之间每2秒编码一个KP帧，以及在相邻两个KP帧之间编码49个P帧。与I帧相似，所述KP帧亦可以被索引。因此，以在随机存取时多了一个帧的解码延迟的代价，KP帧可以作为替代I帧来使用。所述习知技术是将与某一目前KP帧最接近的I帧固定地设定为长期参考(long term reference，以下称LTR)帧，以便提供给此目前关键P帧参考。此外，所述习知技术是将与某一目前P帧最接近的KP帧和/或先前P帧固定地(唯一地)设定为短期参考(short term reference，以下称STR)帧，以便提供给此目前P帧参考。无论如何，所述习知技术是固定地(唯一地)将KP帧和/或P帧设定为STR帧，因此无法让编码效率优化。再者，所述习知技术只能保证KP帧的播放延迟(playback latency)，但是对于P帧则没有办法控制其播放延迟。
发明内容
本发明提供一种视频编码装置与方法，其可以在视频编码操作的过程中，依据播放延迟(playback latency)控制条件和/或帧间(inter-frame)相关性条件来将目前帧动态地设为长期参考(long term reference，以下称LTR)帧、短期参考(short termreference，以下称STR)帧和/或非参考(non-reference，以下称NR)帧。
本发明的实施例提供一种视频编码装置。所述视频编码装置包括视频编码电路以及控制电路。视频编码电路对视频串流进行视频编码操作，以产生经编码串流。控制电路控制视频编码电路去进行视频编码操作。依据播放延迟控制条件与帧间相关性条件中的至少一者，控制电路将视频串流中的目前帧动态地设为LTR帧、STR帧与NR帧其中至少一者。其中，LTR帧与STR帧被用来作为在视频译码操作中的译码参考帧。
本发明的实施例提供一种视频编码方法。所述视频编码方法包括：由视频编码电路对视频串流进行视频编码操作，以产生经编码串流；由控制电路控制视频编码电路去进行视频编码操作；以及依据播放延迟控制条件与帧间相关性条件中的至少一者，由控制电路将视频串流中的目前帧动态地设为LTR帧、STR帧与NR帧其中至少一者，其中LTR帧与STR帧被用来作为在视频译码操作中的译码参考帧。
基于上述，在视频编码操作的过程中，本发明诸实施例所述视频编码装置与视频编码方法可以依据播放延迟控制条件和/或帧间相关性条件来将目前帧动态地设为LTR帧、STR帧和/或NR帧。因此，本发明诸实施例所述视频编码装置与视频编码方法可以进一步让编码效率优化。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
附图说明
图1是依照本发明的一实施例所绘示一种视频编码装置的电路方块(circuitblock)示意图。
图2是依照本发明的一实施例所绘示一种视频编码方法的流程示意图。
图3是依照本发明的一实施例所绘示不同视频帧的示意图。
图4是依照本发明的另一实施例所绘示不同视频帧的示意图。
图5是依照本发明的又一实施例所绘示不同视频帧的示意图。
附图标记列表
100：视频编码装置
110：控制电路
120：视频编码电路
ES：经编码串流
S210～S230：步骤
VS：视频串流
I1、I2：I帧
KP1、KP2、KP3：关键P帧(KP帧)
P01、P02、P03、P11、P12、P13、P21、P22、P23：P帧
具体实施方式
在本案说明书全文(包括权利要求)中所使用的“耦接(或连接)”一词可指任何直接或间接的连接手段。举例而言，若文中描述第一装置耦接(或连接)于第二装置，则应该被解释成该第一装置可以直接连接于该第二装置，或者该第一装置可以通过其他装置或某种连接手段而间接地连接至该第二装置。另外，凡可能之处，在图式及实施方式中使用相同标号的组件/构件/步骤代表相同或类似部分。不同实施例中使用相同标号或使用相同用语的组件/构件/步骤可以相互参照相关说明。
图1是依照本发明的一实施例所绘示一种视频编码装置100的电路方块(circuitblock)示意图。视频编码装置100包括控制电路110以及视频编码电路120。视频编码电路120对视频串流VS进行视频编码操作，以产生经编码串流ES。控制电路110耦接至视频编码电路120。控制电路110控制视频编码电路120去进行所述视频编码操作。本实施例并不限制所述视频编码操作的编码方式于实施细节。举例来说，所述视频编码操作可以包括习知的编码技术或是其他编码方式。
图2是依照本发明的一实施例所绘示一种视频编码方法的流程示意图。请参照图1与图2，在步骤S210中，控制电路110可以动态地检查播放延迟(playback latency)控制条件和/或帧间(inter-frame)相关性条件是否成立。所述播放延迟控制条件是指，一个目前帧的参考帧的播放延迟是否可接受，亦即此参考帧的播放延迟是否小于延迟阈值。所述延迟阈值可以依照设计需求来决定。所述帧间相关性条件是指，此目前帧与其参考帧之间的相关性是否可接受。举例来说，所述帧间相关性条件包括，此目前帧是否相似于其参考帧。
依据所述播放延迟控制条件和/或所述帧间相关性条件，控制电路110在步骤S210中将视频串流VS中的目前帧动态地设为长期参考(long term reference，以下称LTR)帧、短期参考(short term reference，以下称STR)帧和/或非参考(non-reference，以下称NR)帧。LTR帧与STR帧可以被用来作为在视频译码操作中的译码参考帧。LTR帧可以作为关键P帧(key P frame，以下称KP帧)的参考帧。STR帧可以作为P帧的解碼参考帧。
依照LTR帧、STR帧与NR帧的设定，以及依照其他编码参数的设定，控制电路110在步骤S220中可以控制视频编码电路120去进行视频编码操作。依照步骤S220的控制，视频编码电路120在步骤S230中可以对视频串流VS进行视频编码操作，以产生经编码串流ES。
图3是依照本发明的一实施例所绘示不同视频帧的示意图。于图3所示实施例中，横轴表示时间，而纵轴表示码率(或数据量)。视频串流VS的多个帧分别会被编码为I帧(Iframe)、KP帧以及P帧(P frame)。例如图3所示实施例，依照步骤S220的控制，视频编码电路120可以对视频串流VS中的帧I1与帧I2编码为I帧，对视频串流VS中的帧KP1、帧KP2与帧KP3编码为KP帧，以及对视频串流VS中的帧P01、帧P02、帧P03、帧P11、帧P12、帧P13、帧P21、帧P22与帧P23编码为P帧。
于图3所示实施例中，帧I1、帧KP1、帧KP2与帧KP3被设定为STR帧，以便作为在相邻两个KP帧之间(或在相邻的I帧与KP帧之间)的P帧的参考帧。举例来说，被设为STR帧的帧I1可以作为帧P01的参考帧，而被设为STR帧的帧KP1可以作为帧P11的参考帧。除此之外，P帧可以被设定为STR帧，以便作为下一个P帧的参考帧。举例来说，被设为STR帧的帧P01可以作为帧P02的参考帧，而被设为STR帧的帧P11可以作为帧P12的参考帧。
于图3所示实施例中，帧I1与帧I2还被设定为LTR帧，以便作为在相邻两个I帧之间的KP帧的参考帧。举例来说，被设为LTR帧的帧I1可以作为帧KP1、帧KP2与帧KP3的参考帧。因此若要随机存取图3所示帧KP2，则最近的I帧(帧I1)会先被解碼，然后帧KP2才可以被解碼(因为需要参考帧I1)。图3所示帧KP2的播放延迟(译码延迟)为2个帧译码时间。然而，帧KP2与其参考帧(帧I1)之间的距离很长。两帧之间的距离越长，往往表示两帧之间的相似度越低。相似度越低会造成码率较大(压缩率较差)。
图4是依照本发明的另一实施例所绘示不同视频帧的示意图。于图4所示实施例中，横轴表示时间，而纵轴表示码率(或数据量)。图4所示帧I1、帧P01、帧P02、帧P03、帧KP1、帧P11、帧P12、帧P13、帧KP2、帧P21、帧P22、帧P23、帧KP3与帧I2可以参照图3的相关说明来类推，故不再赘述。不同于图3所示实施例之处在于，图4所示帧KP1、帧KP2与帧KP3还被设定为LTR帧，以便作为下一个KP帧的参考帧。举例来说，被设为LTR帧的帧KP1可以作为帧KP2的参考帧，而被设为LTR帧的帧KP2可以作为帧KP3的参考帧。
因此若要随机存取图4所示帧KP2，则最近的I帧(帧I1)会先被译码，然后再译码帧KP1(因为需要参考帧I1)，最后帧KP2才可以被解碼(因为需要参考帧KP1)。图4所示帧KP2的播放延迟(译码延迟)为3个帧译码时间。比较图3与图4，图3所示帧KP2的播放延迟少于图4所示帧KP2的播放延迟。然而，帧KP2与其参考帧(帧KP1)之间的距离很短(相较于图3所示帧KP2而言)。两帧之间的距离越短，往往表示两帧之间的相似度越高。相似度越高会造成码率较小(压缩率较佳)。
基于图3与图4的比较可以知道，播放延迟与码率之间需要取舍。习知技术对于LTR帧与STR帧的设定是静态的(甚至是固定的)。习知技术无法基于系统使用需求来动态地对不同帧设定为LTR帧和/或STR帧。因此，习知技术无法让编码效率优化。
本发明实施例提出可以动态选取LTR和/或STR的一种参数自动化设置方法。基于系统使用需求，本发明实施例可以动态地对不同帧设定为LTR帧和/或STR帧。因此，本发明实施例可以让编码效率优化。举例来说，本发明实施例藉由设定可接受之播放延迟控制条件与帧间相关性条件来控制所述LTR和/或STR的选取。使用本发明实施例的技术可以保证任一帧能在可接受之播放延迟内能完成译码，并且所述LTR和/或STR的选取已经考虑到帧间的相关性限制。因此，本发明实施例能在编码效率与播放延迟之间取得平衡(优化)。
所述播放延迟控制条件与所述帧间相关性条件可以依照设计需求来决定。在一些实施例中，所述播放延迟控制条件包括如下说明内容。控制电路110在步骤S210中可以预估目前帧在视频译码操作中的播放延迟。举例来说，若要随机存取图4所示帧KP1，则图4所示帧KP1的播放延迟为“2”(表示译码2个帧所需时间)；若要随机存取图4所示帧KP2，则图4所示帧KP2的播放延迟为“3”(表示译码3个帧所需时间)。当播放延迟小于延迟阈值时，播放延迟控制条件为符合。所述延迟阈值可以依照设计需求来决定。当播放延迟不小于延迟阈值时，播放延迟控制条件为不符合。
在一些实施例中，所述帧间相关性条件包括如下说明内容。控制电路110在步骤S210中可以评估目前帧与参考帧之间的相似性。所述相似性可以是视频编码电路120进行视频编码操作的过程中所产生的既有信息，或者所述相似性可以是足以表示目前帧与参考帧之间是否相似的其他信息。举例来说，在一些实施例中，所述相似性可以是目前帧与其参考帧之间的绝对差和(sum of absolute difference，SAD)。所述绝对差和的计算细节乃为习知，故不再赘述。在另一些实施例中，所述相似性可以是用于对目前帧进行编码的总比特率失真成本(Rate-Distortion Cost；RD Cost)。所述总比特率失真成本的计算细节乃为习知，故不再赘述。在又一些实施例中，所述相似性可以是经编码后的目前帧的位串流总量(total bit-stream size)。一般而言，当目前帧相似于其参考帧时，经编码后的目前帧的位串流总量(或码率)是很小的。反之，当目前帧不相似于其参考帧时，经编码后的目前帧的位串流总量(或码率)是很大的。因此，经编码后的目前帧的位串流总量亦可以表示目前帧与参考帧之间的相似性。
当目前帧与参考帧之间的相似性小于一个相似阈值时，所述帧间相关性条件为符合。所述相似阈值可以依照设计需求来决定。当目前帧与参考帧之间的相似性不小于所述相似阈值时，所述帧间相关性制条件为不符合。
图5是依照本发明的又一实施例所绘示不同视频帧的示意图。于图5所示实施例中，横轴表示时间，而纵轴表示码率(或数据量)。图5所示帧I1、帧P01、帧P02、帧P03、帧KP1、帧P11、帧P12、帧P13、帧KP2、帧P21、帧P22、帧P23、帧KP3与帧I2可以参照图3或图4的相关说明来类推，故不再赘述。需注意的是，图3与图4所示实施例对于LTR帧与STR帧的设定是静态的(甚至是固定的)。图3与图4所示实施例无法基于系统使用需求(或设计需求)来对不同帧动态地设定为LTR帧和/或STR帧。因此，图3与图4所示实施例无法让编码效率优化。于图5所示实施例中，控制电路110可以依据播放延迟控制条件和/或帧间相关性条件来将目前帧动态地设定为LTR和/或STR。
因为图5所示帧I1被设为STR帧，因此帧I1可以作为帧P01、帧P02和/或帧P03的参考帧。因为图5所示帧I1被设为LTR帧，因此帧I1可以作为帧KP1、帧KP2和/或帧KP3的参考帧。为方便说明，假设目前帧是图5所示帧KP1，并假设帧KP1(目前帧)与其参考帧(帧I1)之间的相似性大于所述相似阈值(亦即所述帧间相关性制条件为不符合)。因为帧KP1的所述帧间相关性制条件为不符合，因此控制电路110在步骤S210中对帧KP1(目前帧)不设为LTR帧。控制电路110可以将帧KP1(目前帧)设为STR帧。因为帧KP1不是LTR帧，因此图5所示帧KP2的参考帧不是帧KP1。基此，图5所示帧KP2的参考帧是最近的LTR帧，亦即图5所示帧KP2的参考帧是帧I1。
假设目前帧是图5所示帧KP2，并假设帧KP2(目前帧)与其参考帧(帧I1)之间的相似性小于所述相似阈值(亦即所述帧间相关性制条件为符合)。若要随机存取图5所示帧KP2，则帧I1的播放延迟为“0”(因为在译码I帧时不需要参考其他帧)，帧KP1的播放延迟为“1”(表示译码1个帧所需时间)，且帧KP2的播放延迟亦为“1”。假设延迟阈值为“1”。因为帧KP2的参考帧(帧I1)的播放延迟小于延迟阈值，所以帧KP2的播放延迟控制条件为符合。当帧KP2的播放延迟控制条件与帧间相关性条件皆为符合时，控制电路110将帧KP2(目前帧)设为LTR帧，以便作为帧KP3的参考帧。除此之外，控制电路110还可以将帧KP2设为STR帧，以便作为帧P21、帧P22和/或帧P23的参考帧。
在此说明P帧的操作细节，请参照图5的下部。因为图5所示帧KP1被设为STR帧，因此帧KP1可以作为帧P11、帧P12和/或帧P13的参考帧。为方便说明，假设目前帧是图5所示帧P11，并假设帧P11(目前帧)与其参考帧(帧KP1)之间的相似性大于所述相似阈值(亦即所述帧间相关性制条件为不符合)。因为帧P11的所述帧间相关性制条件为不符合，因此控制电路110在步骤S210中对帧P11(目前帧)设为NR帧。因为帧P11不是STR帧，因此图5所示帧P12的参考帧不是帧P11。基此，图5所示帧P12的参考帧是最近的STR帧，亦即图5所示帧P12的参考帧是帧KP1。
假设目前帧是图5所示帧P12，并假设帧P12(目前帧)与其参考帧(帧KP1)之间的相似性小于所述相似阈值(亦即所述帧间相关性制条件为符合)。若要随机存取图5所示帧P12，则帧KP1的播放延迟为“1”(表示译码1个帧所需时间)，且帧P12的播放延迟为“2”。假设延迟阈值为“2”。因为帧P12的参考帧(帧KP1)的播放延迟小于延迟阈值，所以帧P12的播放延迟控制条件为符合。当帧P12的播放延迟控制条件与帧间相关性条件皆为符合时，控制电路110可以将帧P12(目前帧)设为STR帧，以便作为帧P13的参考帧。
上述控制电路110和/或视频编码电路120的方块既可通过形成于集成电路(integrated circuit)上的逻辑电路(硬件(hardware))实现，也可通过中央处理器(Central Processing Unit，CPU)执行软件来实现。在后者的情况下，上述控制电路110和/或视频编码电路120的相关功能可以被实现为软件(即程序)的编程码(programmingcodes)。所述软件(即程序)可由计算机(或CPU)读取，且可以被记录/存放在只读存储器(Read Only Memory，ROM)、存储装置(称作“记录介质”)和/或随机存取内存(RandomAccess Memory，RAM)。并且，通过计算机(或CPU)从所述记录介质中读取并执行所述程序，从而达成相关功能。作为所述记录介质，可使用“非临时的计算机可读取介质(non-transitory computer readable medium)”，例如可使用带(tape)、碟(disk)、卡(card)、半导体内存、可程序设计的逻辑电路等。而且，所述程序也可经由任意传输介质(通信网路或广播电波等)而提供给所述计算机(或CPU)。所述通信网路例如是互联网(Internet)、有线通信(wired communication)、无线通信(wireless communication)或其它通信介质。
在不同的应用情境中，上述控制电路110和/或视频编码电路120的相关功能可以利用一般的编程语言(programming languages，例如C或C++)、硬件描述语言(hardwaredescription languages，例如Verilog HDL或VHDL)或其他合适的编程语言来实现为软件、固件或硬件。对于硬件实现，一或多个控制器、微控制器、微处理器、特殊应用集成电路(Application-specific integrated circuit,ASIC)、数字信号处理器(digital signalprocessor,DSP)、场可程序逻辑门阵列(Field Programmable Gate Array,FPGA)和/或其他处理单元中的各种逻辑区块、模块和电路可以被用于实现或执行本文实施例所述功能。另外，本发明的装置和方法可以通过硬件、固件和/或软件的组合来实现。
综上所述，在视频编码操作的过程中，本发明诸实施例所述视频编码装置100与视频编码方法可以依据播放延迟控制条件和/或帧间相关性条件来将目前帧动态地设为LTR帧、STR帧和/或NR帧。因此，本发明诸实施例所述视频编码装置100与视频编码方法可以进一步让编码效率优化。
虽然本发明已以实施例公开如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视后附的权利要求所界定的范围为准。

Claims (14)

1.一种视频编码装置，其特征在于，所述视频编码装置包括：
视频编码电路，对视频串流进行视频编码操作以产生经编码串流；以及
控制电路，控制该视频编码电路去进行该视频编码操作，其中依据播放延迟控制条件与帧间相关性条件中的至少一者，该控制电路将该视频串流中的目前帧动态地设为长期参考帧、短期参考帧与非参考帧其中至少一者，其中该长期参考帧与该短期参考帧被用来作为在视频译码操作中的译码参考帧，其中所述播放延迟控制条件包括：
预估该目前帧的参考帧在该视频译码操作中的播放延迟；
当该播放延迟小于延迟阈值时，判定该播放延迟控制条件为符合；以及
当该播放延迟不小于该延迟阈值时，判定该播放延迟控制条件为不符合。
2.如权利要求1所述的视频编码装置，其特征在于，所述帧间相关性条件包括：
评估该目前帧与参考帧之间的相似性；
当该相似性小于相似阈值时，判定该帧间相关性条件为符合；以及
当该相似性不小于该相似阈值时，判定该帧间相关性制条件为不符合。
3.如权利要求2所述的视频编码装置，其特征在于，所述相似性是该目前帧与该参考帧之间的绝对差和。
4.如权利要求2所述的视频编码装置，其特征在于，所述相似性是用于对该目前帧进行编码的总比特率失真成本。
5.如权利要求2所述的视频编码装置，其特征在于，所述相似性是经编码后的该目前帧的位串流总量。
6.如权利要求1所述的视频编码装置，其特征在于，所述目前帧是关键P帧，当该播放延迟控制条件与该帧间相关性条件皆为符合时，该控制电路将该目前帧设为该长期参考帧，否则该目前帧不设为该长期参考帧。
7.如权利要求1所述的视频编码装置，其特征在于，所述目前帧是P帧，当该播放延迟控制条件与该帧间相关性条件皆为符合时，该控制电路将该目前帧设为该短期参考帧，否则将该目前帧设为该非参考帧。
8.一种视频编码方法，其特征在于，所述视频编码方法包括：
由视频编码电路对视频串流进行视频编码操作，以产生经编码串流；
由控制电路控制该视频编码电路去进行该视频编码操作；以及
依据播放延迟控制条件与帧间相关性条件中的至少一者，由该控制电路将该视频串流中的目前帧动态地设为长期参考帧、短期参考帧与非参考帧其中至少一者，其中该长期参考帧与该短期参考帧被用来作为在视频译码操作中的译码参考帧，其中所述播放延迟控制条件包括：
预估该目前帧的参考帧在该视频译码操作中的播放延迟；
当该播放延迟小于延迟阈值时，判定该播放延迟控制条件为符合；以及
当该播放延迟不小于该延迟阈值时，判定该播放延迟控制条件为不符合。
9.如权利要求8所述的视频编码方法，其特征在于，所述帧间相关性条件包括：
评估该目前帧与参考帧之间的相似性；
当该相似性小于相似阈值时，判定该帧间相关性条件为符合；以及
当该相似性不小于该相似阈值时，判定该帧间相关性制条件为不符合。
10.如权利要求9所述的视频编码方法，其特征在于，所述相似性是该目前帧与该参考帧之间的绝对差和。
11.如权利要求9所述的视频编码方法，其特征在于，所述相似性是用于对该目前帧进行编码的总比特率失真成本。
12.如权利要求9所述的视频编码方法，其特征在于，所述相似性是经编码后的该目前帧的位串流总量。
13.如权利要求8所述的视频编码方法，其特征在于，所述目前帧是关键P帧，以及所述将该目前帧设为该长期参考帧、该短期参考帧与该非参考帧其中至少一者的步骤包括：
当该播放延迟控制条件与该帧间相关性条件皆为符合时，由该控制电路将该目前帧设为该长期参考帧，否则该目前帧不设为该长期参考帧。
14.如权利要求8所述的视频编码方法，其特征在于，所述目前帧是P帧，以及所述将该目前帧设为该长期参考帧、该短期参考帧与该非参考帧其中至少一者的步骤包括：
当该播放延迟控制条件与该帧间相关性条件皆为符合时，由该控制电路将该目前帧设为该短期参考帧，否则将该目前帧设为该非参考帧。
CN201810326608.1A 2018-03-21 2018-04-12 视频编码装置与方法 Active CN110300305B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/927,113 US10484710B2 (en) 2018-03-21 2018-03-21 Video encoding apparatus and method
US15/927,113 2018-03-21

Publications (2)

Publication Number Publication Date
CN110300305A CN110300305A (zh) 2019-10-01
CN110300305B true CN110300305B (zh) 2021-07-27

Family

ID=67985891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810326608.1A Active CN110300305B (zh) 2018-03-21 2018-04-12 视频编码装置与方法

Country Status (2)

Country Link
US (1) US10484710B2 (zh)
CN (1) CN110300305B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112351285B (zh) * 2020-11-04 2024-04-05 北京金山云网络技术有限公司 视频编码、解码方法和装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7436887B2 (en) * 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
CN107231560A (zh) * 2011-10-28 2017-10-03 三星电子株式会社 帧间预测的方法及其装置和运动补偿的方法及其装置
CN107431819A (zh) * 2014-12-31 2017-12-01 诺基亚技术有限公司 用于可伸缩视频编码和解码的层间预测
CN107820095A (zh) * 2016-09-14 2018-03-20 北京金山云网络技术有限公司 一种长期参考图像选择方法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9052386B2 (en) * 2002-02-06 2015-06-09 Nice Systems, Ltd Method and apparatus for video frame sequence-based object tracking
EP1834489A1 (fr) * 2005-01-07 2007-09-19 France Telecom Procede et dispositif de codage video
GB2495467B (en) * 2011-09-02 2017-12-13 Skype Video coding
CN106162194A (zh) 2015-04-08 2016-11-23 杭州海康威视数字技术股份有限公司 一种视频编码和解码的方法、装置和处理系统
CN105872556B (zh) 2016-04-11 2020-01-03 华为技术有限公司 视频编码方法和装置
CN106791875B (zh) 2016-11-30 2020-03-31 华为技术有限公司 视频数据解码方法、编码方法以及相关设备
CN106791870B (zh) 2016-11-30 2019-11-05 华为技术有限公司 一种视频编码方法、视频解码方法以及相关设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7436887B2 (en) * 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
CN107231560A (zh) * 2011-10-28 2017-10-03 三星电子株式会社 帧间预测的方法及其装置和运动补偿的方法及其装置
CN107431819A (zh) * 2014-12-31 2017-12-01 诺基亚技术有限公司 用于可伸缩视频编码和解码的层间预测
CN107820095A (zh) * 2016-09-14 2018-03-20 北京金山云网络技术有限公司 一种长期参考图像选择方法及装置

Also Published As

Publication number Publication date
US20190297345A1 (en) 2019-09-26
US10484710B2 (en) 2019-11-19
CN110300305A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
US9350990B2 (en) Systems and methods of encoding multiple video streams with adaptive quantization for adaptive bitrate streaming
US8942292B2 (en) Efficient significant coefficients coding in scalable video codecs
JP2016526336A (ja) 適応ビットレートストリーミングのための適応量子化を用いて複数のビデオストリームをエンコードするシステムおよび方法
KR20160007564A (ko) 높은 프레임 레이트 및 가변 프레임 레이트 캡처를 위한 비디오 압축 튜닝
CN109688407B (zh) 编码单元的参考块选择方法、装置、电子设备及存储介质
US10616498B2 (en) High dynamic range video capture control for video transmission
US11350104B2 (en) Method for processing a set of images of a video sequence
CN110113610B (zh) 数据传输方法及装置
CN115134629B (zh) 视频传输方法、系统、设备及存储介质
US20220239911A1 (en) Video Encoding and Decoding Methods and Apparatuses, Electronic Device, and Storage Medium
CN102196253B (zh) 一种帧类型自适应选择的视频编码方法及装置
CN101523918B (zh) 视频编码
CN110300305B (zh) 视频编码装置与方法
US20240107054A1 (en) Video coding and decoding
US8503805B2 (en) Method and apparatus for encoding and decoding image adaptive to buffer status
CN112449183A (zh) 视频编码器、视频解码器以及视频系统
CN113784209B (zh) 多媒体数据流处理方法及装置
JP4373283B2 (ja) 映像音声復号方法、映像音声復号装置、映像音声復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US11405617B1 (en) Method and system to enhance compression efficiency in encoded video by using dual pass entropy coding
CN110958459B (zh) 一种数据处理方法及其装置
US20220345715A1 (en) Ai prediction for video compression
JP2011239255A (ja) 映像符号化方法，映像符号化装置および映像符号化プログラム
CN117596392A (zh) 编码块的编码信息确定方法及相关产品
US11197014B2 (en) Encoding apparatus, decoding apparatus, and image processing system
CN114173153A (zh) 视频处理方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant