CN1215282A - 减少视频译码器处理能力需求的方法 - Google Patents

减少视频译码器处理能力需求的方法 Download PDF

Info

Publication number
CN1215282A
CN1215282A CN98120426A CN98120426A CN1215282A CN 1215282 A CN1215282 A CN 1215282A CN 98120426 A CN98120426 A CN 98120426A CN 98120426 A CN98120426 A CN 98120426A CN 1215282 A CN1215282 A CN 1215282A
Authority
CN
China
Prior art keywords
decoder
bit stream
motion vector
restriction
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN98120426A
Other languages
English (en)
Other versions
CN1154344C (zh
Inventor
威廉·布伦特·威尔逊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1215282A publication Critical patent/CN1215282A/zh
Application granted granted Critical
Publication of CN1154344C publication Critical patent/CN1154344C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

本发明容许具有不同程度计算能力的视频译码器对比特流译码时伴随不同程度的视觉质量损失。一种方法是通过变更运动矢量的应用或数值来减少运动补偿处理,如取消某些运动补偿,或者在译码期间限制运动矢量的精确度。另一种方法是通过限制系数处理以减少计算需求。再一种方法是限制彩色成分的处理,还有一种方法是通过减少在译码器输出视频画面上执行的过滤量来进行的。

Description

减少视频译码器处理能力需求的方法
本发明涉及减少视频译码器处理能力需求的一种方法，更具体地说，涉及数字式视频译码器以及这些译码器的计算需求量的减少。
数字电视在家用电子领域已经得到广泛应用，这在很大程度上由于诸如MPEG1(见国际标准组织制订的“最高达1.5Mb每秒用于数字存储媒体的移动画面及相关音频CD11172编码，ISO MPEG Document,ISO-IEC/JTC1/SC2/WG11,1994),MPEG2(见“国际标准组织制订的移动画面及相关音频IS1818通用编码”，ISO MPEG Document,ISO-IEC/JTC1/SC2/WG11,1994)等数字电视标准的出现，以及正在出台的MPEG4标准。MPEG4标准包括了在MPEG1和MPEG2标准之上进一步附加的功能及质量。在MPEG1和MPEG2标准的译码器中，有一些有关译码器计算能力的期望值，必须使它达到要求以便与各自相应标准一致。例如，在MPEG2标准中，主剖面(MainProfile)及主能级(Main Level)(MP@ML)描述了比特流和相关视频上的一系列所有统一的MP@ML译码器必须遵守的限制。
在许多场合中，译码器缺乏足够的计算能力以按照人们的需求对比特流进行译码。因特网就是一个例子，这里可以找到典型的MPEG1视频比特流并可利用从高端科学工作站到简单的个人计算机等不同的计算机对比特流进行译码。当计算能力受到限制时，译码器能够减少它的计算能力需求的一个途径就是仅仅使该译码器输出画面速率放慢到足以完成全部译码。这是在个人计算机上运行的以软件为基础的MPEG1视频译码器所通用的一种方法。另一种方法是阶段性地跳过某些画面的译码。例如，双向预测画面(B pictures)可以被跳过，从而通过画面遗失有效地减少了译码器输出画面的速度。MPEG4包含了视频对象的概念，这一概念可以用来在一个场景中描述可分离的对象的图象顺序。如果场景中包含许多视频对象，其中最不重要的视频对象可以被丢掉以便把必要的计算能力用于将重要的视频对象进行译码。
数字式视频比特流的丰富程度在不断增加，而且与之相应的计算能力的需求也在不断增加。由于可用于视频译码的平台的宽范围，则要求译码器在不具有为满足一致性准则所需求的全部计算能力的情况下能够对比特流进行译码。现有的诸如图象显示速度降低，图象遗失或视频对象遗失等技术中，对计算能力的减少是以影响译码视频图画质量和帧同步为代价的。例如，改变图象显示速度和图象遗失会对通常称之为口形同步的音频和视频的同步感觉产生影响。它还会使运动的画面出现颠簸。
本发明的一个目的在于使视频译码器可减少对比特流进行译码的计算能力的需求而又不影响画面速度。这样会保持口形同步，又照顾了画面质量。它也使得使用图象遗失技术时变得颠簸的场景会更顺畅。类似地，在牺牲图象质量的情况下它将容许场景中出现更多的对象，因为计算能力可以被分配至更多的视频对象上。
本发明的一个目的是容许将一比特流统一译码的计算能力不足的视频译码器在不同程度的图面质量下降情况下对比特流进行译码。这样可制造多种多样的译码器，每种都具有不同的成本/性能定位选择。具有很高计算能力的昂贵的译码器，可以被用来对比特流进行译码，其最终质量要比计算能力低，价格便宜的译码器译码的效果好得多。利用本发明，同一比特流可以用具有较宽范围计算能力的不同译码器进行译码，得到的是不同程度的可接受的画面质量。
本发明的一个目标在于降低视频译码器的成本。通过设计能够满足那些如由MPEG2标准的MP@ML限制条件所施加的约束的视频译码器，必须在译码器中建立过量的综合计算能力以保证最坏情况下(高度复杂)也能进行比特流实时画面译码。换句话说，既使在最坏情况下对比特流进行译码，画面也应按时译出。然而，使用本发明，可制造出其性能限制得到满足时会适度降低画面质量的译码器。
为了解决上述问题，发明了减少所述视频译码器处理能力需求的方法。所述处理能力的需求可以基于一个节流量进行控制。所述节流量则基于对一个或多个比特流进行译码所需处理能力的一个或多个测量值、所述译码处理器处理容量的一个或多个测量值、或者是这些测量值的某些组合。
对一个比特流进行译码所需处理能力的测量可以包括对所述比特流中的语法成份的指示，所述比特流需要的处理方式的指示，所述比特流需要的处理量的指示，或者是这些指示的某些组合。
处理能力需求的减少是通过以某种方式限制所述译码器功能来减少用于完成一个或多个译码器功能的处理能力来实现的。
对译码器功能的限制包括取消一个或多个通常用于修正某个运动补偿基准的运动矢量的应用。这可以通过从常常被用来修正象素区域运动补偿基准预测器区域的运动矢量与一个或多个应用被取消的运动矢量组合中选择来进行。
所述运动矢量的选择可以包括对具有暂时最长距离的运动矢量的选择，对与正被译码的画面区周围区域的那些运动矢量相关程度最低的运动矢量的选择，对具有立体空间上最长距离的运动矢量的选择，全部运动矢量的选择，或者是这些及其它选择准则的任意组合。
限制所述译码器功能的另一种方法包括有变更运动矢量，很有可能通过限制一个或多个译码器运动矢量的精确度和/或范围来实现。
限制所述译码器功能的另一种方法包括有减少逆向量化及逆向DCT转换的系数的数量，这可以通过有选择地把这些系数设置为替换值(如零)来完成。
限制所述译码器功能的另一方法包括有减少用于视频比特流的彩色成分译码的译码器处理量。
限制所述译码器功能的另一种方法包括有减少在译码器输出的视频图画上执行的处理量。
节流量用来以某种方式控制对所述译码器功能限制的对象和程度。从一个或多个比特流中确定译码器的处理能力需求以及译码器现有处理容量，并且利用这一信息来决定在所述对比特流译码期间对所述译码器功能进行节流或限制的对象和程度是可能的。通过限制译码器功能，可以减少其处理能力。
做出对哪种功能以及用何种方式来限制的识别可以使用对诸如在所述比特流中的语法成分以及所述比特流需要的处理类型及处理量等的指示信息来进行。所述的限制包括基于参考比特流中有哪些运动矢量存在的指示或其它一些来自于比特流或译码器的指示做出的决定的取消对通常用于修正运动补偿基准的一个或多个运动矢量的应用。
一个画面中取消哪些运动矢量的选择可以通过下列方式进一步细化：选择暂时具有最长距离的那此运动矢量，选择与被译画面区周围区域的那些运动矢量相关程度最低的运动矢量，选择具有立体空间上最长矩离的那些运动矢量，选择全部运动矢量，或者是这些及其它选择准则的任意组合。
类似地，所述限制可以包括通过对一个或多个译码器运动矢量的精确度和/或范围的限制或其它的变更。
限制所述译码器功能的另一种方法包括减少逆向量化及逆向DCT转换的系数的数量，这可以通过有选择地把这些系数设置为容易进行逆向量化及逆向DCT转换的替换值比如零来实现。限制这些译码器功能的决定可以基于有关所述比特流和/或所述译码器的信息作出。
限制所述译码器功能的另一种方法包括消除部分或全部在对彩色成分译码期间所需的处理。
限制所述译码器功能的另一种方法包括限制对于已译码视频图象进行的处理。
图1是本发明第一实施例的方框图，
图2是本发明第二实施例的方框图，
图3是使用运动矢量节流的流程图，
图4是使用图象尺寸和速率的流程图，
图5为显示1/2象素运动补偿的图，
图6为显示变更系数值的图。
本发明的第一实施例如图1所示，一个或多个比特流通过比特流输入端100,101输入。视频译码器110为将比特流译码并输出经过译码的视频120,121。比特流的处理需求测量值130及译码器处理容量测量值131从视频译码器110传送至译码器节流器140。节流量132从译码器节流器140传送至视频译码器110。
现在对图1所示实施例的工作过程加以描述。视频译码器110从输入比特流101中提取比特流处理需求的测量值并把这些测量值130传送至译码器节流器140。视频译码器110还决定了它对比特流译码的处理容量并把该测量值131传送至译码器节流器140。译码器节流器140利用这些测量值130,131来决定如何对视频译码器110的功能进行节流并把这一节流量132的信息传送至视频译码器110。
有可能未得到比特流测量值130，因而未将之传送至译码器节流器140。在这种情况下，译码器节流器140决定如何通过使用译码器处理容量131测量值，或其它测量值对视频译码器110节流。也有可能因未得到译码器处理容量测量值131而未将之传送到译码器节流器140。在这种情况下，译码器节流器140通过使用比特流处理需求130测量值中其它测量值来决定如何对视频译码器110节流。
也可能未得到比特流测量值130或译码器处理容量测量值131，因而未将其传送到译码器节流器140。在这种情况下，译码器节流器140通过使用其它测量值或使用某个预定方法来决定如何对视频译码器110节流。例如，有可能依据一些有关译码器110和译码器节流器140的在对它们进行构造设计时即已知的某些信息进行节流。译码器节流器140总可以以相同的方式进行节流。对这些测量值的数量和测量值的来源在本发明中未作限制。
图1所示的实施例的效果是视频译码器对它的执行需求进行节流的能力。
本发明第2实施例如图2所示。一个或多个比特流通过比特流输入端200,201输入，视频译码器210对比特流进行译码并输出经过译码的视频220,221。输入比特流202被传送至比特流指示符提取装置250，在这里进行有关比特流的测量。诸如语法成分251，进行译码所需处理类型252，以及所需处理量253等的指示被传送至译码器节流器240。译码器处理能力231从视频译码器210传送至译码器节流器240。节流量232从译码器节流器240传送至视频译码器210。
现在对图2实施例的工作过程进行描述。比特流指示符提取装置250从输入比特流202提取比特流处理需求的测量值。它决定表征比特流内容和对比特流进行译码所需处理类型及处理量的指示符并把这些指示符251,252,253分别传送至译码器节流器240。视频译码器210也决定它对比特流译码的容量并把该测量值231传送至译码器节流器240。译码器节流器240使用这些指示符230,231来决定视频译码器210的功能如何被节流并把这一节流量232的信息传送至视频译码器210。
可能由比特流指示符提取装置250得到的某些或全部指示符251,252,253未被译码器节流器240利用。在这种情况下，译码器节流器240通过使用译码器处理能力测量值231或其它测量值来决定如何对视频译码器210进行节流。也有可能没有采用译码器处理容量的测量值231，因而无测量值被传送至译码器节流器240。在这种情况下，译码器节流器240通过使用由比特流指示符提取装置250决定的指示符251,252,253来确定如何对视频译码器210进行节流。有可能未采用比特流指示符251,252,253或译码器处理容量测量值231，因而无该信息未被传送至译码器节流器240。在这种情况下，译码器节流器240通过使用另外一些信息，或使用某个预定方法决定如何对视频译码器210进行节流。例如，可以依据某些有关译码器210和译码器节流器240的在对它们进行构造设计时即知的信息进行节流，译码器节流器240总可以以相同的方式进行节流。对这些指示符和测量值的数目以及指示符和测量值的来源本发明未作限制。
图2和图3可被用来描述本发明的另一实施例。在这一实施例中，使用了一种MPEG2视频译码器。下列是由比特流指示符提取装置250提取的数据：
·画面-编码-类型(Picture-Coding-type)(I,P,B,D)
·暂时参照(temporal-reference)
·图3描述了用来决定在双向预测画面(B-picture)中哪些运动矢量(向前或向后)被抛弃的流程图。暂时参照(temporal-reference)信息用来决定向前或向后的参照是否具有与被译码图画更远的暂时距离。最远距离的参照不被使用，即有效地取消了代表它的运动矢量。换句话说，双向预测画面在这一实施例中仅使用单向预测。
图3中，|TR-TRfor|是画面被译码时间与画面被用作运动补偿向前参照的时间的差的绝对值，而|TR-TRback|是画面被译码的时间与画面被用作运动补偿向后参照的时间的差的绝对值。
画面编码类型(Picture-Coding-type)和暂时参照(temporal-reference)并不是可被提取并被用于对视频译码器210进行节流的仅有的比特流特征。本发明未限制用于决定对视频译码器210进行节流的方式的指示符类型和数量。本发明未限制某些具体的语法成分的特征。例如，该特征可以是不属于具体语法成分的指示符，比如某一特殊类型的宏区块数量的指示符。
这些指示符也许已经被编码器插入比特流或者被某些比特流成分所包含。这些指示符可以在一较高语法水平，例如系统比特流水平。这些从比特流中为某一特殊成分取得的指示符也许不被用于控制该特殊成份的译码。例如，与某画面相联系的指示符可以被用来控制对另一图面的译码。例如，前一画面的指示符能被用来控制当前画面的译码。
本发明也不局限于由图3中所示实施例所描述那样进行节流的视频译码器210的频率。例如，是否使用双向预测的决定可以在象素区由区域框作出。例如，这样的决定使每一宏区块都被重新求值。
另外，前面的实施例未描述译码器处理容量的测量值231的使用。这些可用来检测译码器何时非常繁忙，哪一时刻不能实现比特流的实时译码，因而需要译码器节流等。类似地，译码器处理容量测量值231可以表示何时译码器不忙并可能实现实时视频译码而不需要对它的功能进行节流等。换句话说，本发明未对作出是否取消某些运动矢量和与它们相关的参照补偿处理的决定加以限制。
本实施例的效果是对双向预测画面的框架记忆存取和处理的显著缩减。参考框架记忆读数由于运动补偿参照双向处理的缺少而被有效地缩减了一半。尽管最终被译码视频的质量降低了，但这被认为是本发明的可以接受的副作用，因为本发明就是用来通过画面质量降低来减少译码器成本的。由于双向预测画面不被用作进行进一步预测，由节流引入的画面中的错误不会传播给另一些画面。
图4所示为另一实施例，其中画面尺寸和速率用来指示比特流所需的处理量253。在本实施例中，下面是由一个比特流决定的附加成分：
·水平尺寸(horizontal-Size)
·垂直尺寸(Vertical-Size)
·框架速率值(frame-rate-value)
然后这些成分以比特流所需译码器输出象素速率为基础被用来决定译码器是否将利用某些节流技术。在所示例子中，它被用来使得运动矢量按图3所描述那样节流，但并不仅限于此。
本发明方法的另一实施例按某种方式变更运动矢量以减少译码器计算上的和/或记忆带宽的需求。一个实施例运用了运动矢量的精确度。
图5描述了如何通过使用相邻全象素值来决定1/2象素运动补偿参照。如果一个空间区域需要1/2象素内插，则需要更多参考框架记忆象素数据。例如，如果需要8×8象素区使用全象素运动矢量，则需要阅读8×8的区域。另一方面，如果水平和竖直1/2象素运动补偿都需要，必须阅读9×9区域。在最邻近全象素值的1/2象素内插之后，所需8×8区域会被确定下来。因此，有可能通过把视频译码器的运动矢量的精确度限制为全象素精确度来减少视频译码器的处理需求。
本发明不把运动矢量精确度的减低限制在从1/2象素至全象素值的范围内。事实上，许多视频译码器不是一个象素一个象素地存取参照框架记忆，而是把象素组合成可存取的词汇。因此，把运动矢量精确度限制于参考框架记忆的词汇尺寸大小是可以实施的。
这一实施例的结果是用运动补偿预测减少对画面的框架记忆存取和处理。尽管最终被译码的视频质量降低了，但被认为是本发明的一个可接受的副作用，因为本发明就是通过降低画面质量来降低译码器成本的。
本发明方法的另一个实施例是减少了运动矢量范围。例如，假如运动矢量范围是±64象素，该范围在译码器中可被限制在±16。被限制的范围并非本实施例仅有的。例如，它可被限制于0象素。该实施例的结果是框架记忆存取被限制到该画面的较小区域。这在使用高速缓冲存储器的运动补偿结构中是特别有用的。从缓冲器中存取的象素越多，缓冲器撞击越少。缓冲器撞击说明所需的象素不在缓冲器存储中，因而它们必须从常规的更大更慢的存有所需象素的记忆装置中取出。缓冲器撞击的总体效果是操作效能降低。减少运动矢量范围的结果是减少缓冲器撞击数量，因而改善了操作性能。
本发明方法的另一个实施例为变更从比特流译码得到的一些系数值，以使得这些系数的下行处理具有较低的计算强度。这种变更的一个例子如图6所示。来自于比特流600的原始系数经过变更而成为变更值601。在此例中，全部在灰色区域602外侧的数值被置于0。在一个DCT为基础的，其视频译码器在逆向DCT转换之前先执行逆向量化的系统中(以MPEG2为例)，这样做的结果是通过把从比特流译码得出的系数值设置为容易逆向量化的数值，减少逆向量化的处理需求。例如，如果某些系数被置0，则在这些系数逆向量化之后的结果可以被置0而不用进行由MPEG2标准所定义的通常的计算。
另外，逆向DCT转换的一些执行过程利用为0的被探测系数越来越减少逆向DCT转换的计算需求。例如，在一个单独的其中系数的一个子集要被转换的逆向DCT转换中，如果子集全是0，其结果也将全是0。在这种情况下，逆向转换能够更容易地完成，只要把结果置0即可，而不用对逆向转换进行计算。本发明没有限定将来自于比特流的系数值置0。它们可以被变更为任何能导致减少下行处理的数值。
本发明也未限制对哪些值进行变更。例如，有可能在一个区块的限制数达到时，仅仅通过停止对来自于比特流的数值的储存来限制一个区块中非零系数的数量。
本发明未限定于使用逆向DCT转换作为它的转换形式的译码器。其它转换系数也可进行变更来减少它们的计算需求。
本发明的另一实施例是对一个或两个彩色成分处理的减少或清除。例如，这些系数值可以被抛弃并把彩色成分的象素值置于中性位置，在这种情况下，没有被译码器所需的彩色成分的进一步处理。例如，彩色成分并不需要逆向量化，逆向DCT转换和运动补偿。这一实施例的结果是译码器处理需求的显著降低。另一个结果则是在所展示画面中色彩的损失，但这是由减少译码器计算所带来的可接受的质量下降。
本发明的另一实施例是在被译码视频画面上执行的处理的减少。例如，后置过滤器可以被视频译码器使用来消除由编码和译码处理带来的某些短粗的噪音。减少这一过滤的结果是后置过滤器计算需求的减少。该项处理的减少可以是后置过滤器使用的抽头数量减少。其它后处理的形式如格式变换过滤器也可被缩减。
有许多种发明方法的组合可以被用来减少视频译码器的处理能力需求。本发明不限制这些方法的组合。例如，运动矢量可以被变更，从比特流提取的系数可以被变更，并且在被译码的画面上执行的处理可以被限制在同一译码器范围内。本发明的综合效果就是对视频译码器的处理需求及输出图画质量控制的有一极大的自由度。这一控制在对单个比特流或具有相关优先权的多个比特流译码时是有用的。
本发明的一个结果在于视频译码器的处理能力能够被减少，容许具有高计算需求的比特流被具有较低计算能力的译码器译码。通过基于对比特流译码所需处理能力的测量值，所述译码器处理能力的测量值，或者这些测量值的某种组合作限制的译码器功能的类型和数量的决定，可以给出使计算需求和画面质量平衡协调的合适的限制选择。
使用比特流中语法成分和该比特流中处理类型和数量的指示值的作用在于能够在考虑比特流内容的情况下做出译码器功能限制的类型和数量，因而可得到更合适和视觉上更动人的有关功能限制的选择。
使用译码器处理能力测量值的作用在于它使限制功能的选择以译码器能力为基础，这又是基于译码器的构造的。
减少译码器中一个或多个功能的计算能力的作用在于使该译码器计算能力减少。
取消对通常用于修正运动补偿参照的一个或多个运动矢量的应用的作用在于处理能力和参考框架记忆存取带宽的减少。
有选择地取消一个或多个运动矢量的应用的作用在于有可能选择取消那些比其它运动矢量对画面质量产生较少损害的运动矢量，因而实现画面质量和计算需求定向间的平衡协调。
限制那些具有暂时最长距离的运动矢量的作用在于取消某些暂时最长的运动矢量时比取消具有较短暂时距离的运动矢量时对画面质量的影响要小。
限制与被译码图画区周围区域的那些运动矢量相关程度最低的运动矢量的作用在于由这些运动矢量造成这些区域的画面质量降低的感觉可能比高度相关运动矢量造成的要少。如果不使用相关程度较低的运动矢量，还有使得具有运动补偿功能的以缓冲器为基础的构造具有较少缓冲器撞击的作用。
选择具有空间上最长距离的运动矢量的作用在于它使得当运动参照更靠近在一起时，以缓冲器为基础的构造具有较少缓冲器撞击。这是因为参考数据不大可能经常走出缓冲器之外。
变更运动矢量或限制一个或多个译码器运动矢量的精确度和/或范围的作用在于在存取运动补偿参照时记忆存取的数量可以被减少。
通过有选择地把逆向量化和逆向DCT转换系数设置为替换值(如0值)来减少逆向量化和逆向DCT转换系数的数量的作用在于逆向量化和逆向DCT转换的计算需求可以被减少。
减少彩色成分处理的作用是使译码器处理的总量减少。

Claims (14)

1．一种减少视频译码器处理能力需求的方法，其特征在于，它包括：通过使用一预定的节流量控制所述译码器的所述处理能力需求。
2．根据权利要求1所述的方法，其特征在于，其中对所述预定节流量的确定包括下列一个或多个测量值的应用：
对一个或多个比特流进行译码所需处理能力的一个或多个测量值；
所述译码器处理容量的一个或多个测量值。
3．根据权利要求2所述的方法，其特征在于，其中对比特流译码所需处理能力的测量值包括下列一个或多个指示：
一所述比特流中语法成分的指示；
一对于所述比特流所需处理类型的指示；
一对于所述比特流所需处理数量的指示；
一对于所述比特流处理类型和数量的组合。
4．根据权利要求1、2或3所述的方法，其特征在于，其中对所述处理需求的所述控制包括：
通过以某种方式限制所述译码器功能来减少用于一个或多个译码器功能的处理能力。
5．根据权利要求4所述的方法，其特征在于，其中对所述译码器功能进行的所述限制包括：
停止通常用于修正一运动补偿参照的一个或多个运动矢量的应用。
6．根据权利要求4所述的方法，其特征在于，其中对所述译码器功能进行所述限制包括下列步骤：
从表示不同参考画面的活动矢量的某种选择中选出一个或多个运动矢量而停止其使用；并且
停止通常用来修正一运动补偿参照的所选择的运动矢量的使用。
7．根据权利要求6所述的方法，其特征在于，其中所述对运动矢量的选择由下列一个或多个选择组成：
选择具有暂时最长距离的运动矢量；
选择与被译码画面区周围区域的那些运动矢量相关程度最低的运动矢量。
选择具有空间最长距离的运动矢量；及
选择全部运动矢量，
8．根据权利要求4所述的方法，其特征在于，其中对所述译码器功能进行的所述限制包括：
变更一个或多个译码器运动矢量的值。
9．根据权利要求8所述的方法，其特征在于，其中所述数值变更包括：限制一个或多个译码器运动矢量的精确度。
10．根据权利要求8所述的方法，其特征在于，其中所述数值变更包括：
限制一个或多个译码器运动矢量的范围。
11．根据权利要求4所述的方法，其特征在于，其中对所述译码器功能的所述限制包括：
通过有选择地把逆向量化和逆向DCT转换的系数设置为替换值来减少这些系数的数量。
12．根据权利要求11所述的方法，其特征在于，其中所述替换值包括：0数值。
13．根据权利要求4所述的方法，其特征在于，其中对所述译码器功能的所述限制包括：
消除一个或多个彩色成分的译码器处理。
14．根据权利要求4所述的方法，其特征在于，其中对所述译码器功能的所述限制包括：
减少在被译码画面显示之前对它们执行的处理量。
CNB981204260A 1997-10-16 1998-10-16 减少视频译码器处理能力需求的方法 Expired - Fee Related CN1154344C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP28364097A JPH11122624A (ja) 1997-10-16 1997-10-16 ビデオデコーダ処理量を低減する方法および装置
JP283640/97 1997-10-16
JP283640/1997 1997-10-16

Publications (2)

Publication Number Publication Date
CN1215282A true CN1215282A (zh) 1999-04-28
CN1154344C CN1154344C (zh) 2004-06-16

Family

ID=17668146

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB981204260A Expired - Fee Related CN1154344C (zh) 1997-10-16 1998-10-16 减少视频译码器处理能力需求的方法

Country Status (11)

Country Link
US (2) US6389071B1 (zh)
EP (1) EP0910219B1 (zh)
JP (1) JPH11122624A (zh)
KR (1) KR100322056B1 (zh)
CN (1) CN1154344C (zh)
BR (1) BR9804444A (zh)
DE (1) DE69829345T2 (zh)
ES (1) ES2239375T3 (zh)
ID (1) ID21114A (zh)
SG (1) SG72874A1 (zh)
TW (1) TW390090B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6952451B2 (en) 2000-10-04 2005-10-04 Sanyo Electric Co., Ltd. Apparatus and method for decoding moving picture capable of performing simple and easy multiwindow display
CN101491105B (zh) * 2006-07-14 2011-08-31 索尼株式会社 再生装置和再生方法
US8421806B2 (en) 2005-11-02 2013-04-16 Streamezzo Method of optimizing rendering of a multimedia scene, and the corresponding program, signal, data carrier, terminal and reception method

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6262906A (ja) * 1985-09-13 1987-03-19 Toray Ind Inc 溶融樹脂の押出装置
JPH11122624A (ja) * 1997-10-16 1999-04-30 Matsushita Electric Ind Co Ltd ビデオデコーダ処理量を低減する方法および装置
TW567728B (en) 2001-02-20 2003-12-21 Sanyo Electric Co Method and apparatus for decoding graphic image
US6882685B2 (en) * 2001-09-18 2005-04-19 Microsoft Corporation Block transform and quantization for image and video coding
US8284844B2 (en) 2002-04-01 2012-10-09 Broadcom Corporation Video decoding system supporting multiple standards
US7391812B2 (en) 2002-07-14 2008-06-24 Apple Inc. Adaptively post filtering encoded video
KR100865034B1 (ko) 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
WO2004015985A1 (en) * 2002-07-29 2004-02-19 Koninklijke Philips Electronics N.V. Irregular processing of media data with continuous output
US8695029B2 (en) * 2002-10-03 2014-04-08 Nagra France System and method of adaptive and progressive descrambling of streaming video
US9038096B2 (en) 2002-10-03 2015-05-19 Nagra France Sas System and method of adaptive and progressive descrambling of digital image content
CN1751523B (zh) * 2003-02-14 2010-12-15 Nxp股份有限公司 处理用于一个颜色顺序显示器的信号
US7502415B2 (en) * 2003-07-18 2009-03-10 Microsoft Corporation Range reduction
US8625680B2 (en) * 2003-09-07 2014-01-07 Microsoft Corporation Bitstream-controlled post-processing filtering
US8014450B2 (en) 2003-09-07 2011-09-06 Microsoft Corporation Flexible range reduction
US7660469B2 (en) 2003-10-30 2010-02-09 Nec Electronics Corporation Image decoding apparatus and image decoding method
US7649539B2 (en) * 2004-03-10 2010-01-19 Microsoft Corporation Image formats for video capture, processing and display
US7639743B2 (en) * 2004-03-25 2009-12-29 Sony Corporation Image decoder and image decoding method and program
EP1747677A2 (en) 2004-05-04 2007-01-31 Qualcomm, Incorporated Method and apparatus to construct bi-directional predicted frames for temporal scalability
US7487193B2 (en) * 2004-05-14 2009-02-03 Microsoft Corporation Fast video codec transform implementations
JP2006101321A (ja) * 2004-09-30 2006-04-13 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
EP1646243B1 (en) * 2004-09-30 2009-06-24 Kabushiki Kaisha Toshiba Information processing apparatus and program for use in the same
CN1319384C (zh) * 2005-01-27 2007-05-30 浙江大学 硬件计算能力资源在运动估计中的优化分配方法
WO2006092671A1 (en) * 2005-03-03 2006-09-08 Koninklijke Philips Electronics N.V. Adaptive fallback system for mpeg decoders
JP2006254232A (ja) * 2005-03-11 2006-09-21 Toshiba Corp 情報処理装置およびプログラム
JP2006254231A (ja) * 2005-03-11 2006-09-21 Toshiba Corp 情報処理装置および同装置で用いられるプログラム
US8929464B2 (en) * 2005-03-25 2015-01-06 Sharp Laboratories Of America, Inc. Video entropy decoding with graceful degradation
EP1727369A1 (en) * 2005-05-23 2006-11-29 TELEFONAKTIEBOLAGET LM ERICSSON (publ) Adaptive post-filtering
WO2006125588A1 (en) * 2005-05-23 2006-11-30 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive post-filtering
US7689052B2 (en) * 2005-10-07 2010-03-30 Microsoft Corporation Multimedia signal processing using fixed-point approximations of linear transforms
JP2007174196A (ja) * 2005-12-21 2007-07-05 Toshiba Corp 情報処理装置、制御方法およびプログラム
JP2007195117A (ja) * 2006-01-23 2007-08-02 Toshiba Corp 動画像復号装置
JP4987322B2 (ja) * 2006-02-28 2012-07-25 株式会社東芝 動画像復号装置及び動画像復号方法
US8880571B2 (en) * 2006-05-05 2014-11-04 Microsoft Corporation High dynamic range data format conversions for digital media
JP4712642B2 (ja) * 2006-08-17 2011-06-29 富士通セミコンダクター株式会社 デブロッキングフィルタ、画像符号化装置および画像復号化装置
US7804435B2 (en) * 2006-08-31 2010-09-28 Ati Technologies Ulc Video decoder with reduced power consumption and method thereof
JP2008067205A (ja) * 2006-09-08 2008-03-21 Toshiba Corp フレーム補間回路、フレーム補間方法、表示装置
US7456760B2 (en) 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
KR100842544B1 (ko) * 2006-09-11 2008-07-01 삼성전자주식회사 스케일러블 영상 코딩을 이용한 전송 방법 및 이를 이용한이동통신 시스템
WO2008079330A1 (en) * 2006-12-22 2008-07-03 Inlet Technologies Video compression with complexity throttling
TWI327866B (en) * 2006-12-27 2010-07-21 Realtek Semiconductor Corp Apparatus and related method for decoding video blocks in video pictures
US8054886B2 (en) * 2007-02-21 2011-11-08 Microsoft Corporation Signaling and use of chroma sample positioning information
US8942289B2 (en) * 2007-02-21 2015-01-27 Microsoft Corporation Computational complexity and precision control in transform-based digital media codec
US8718129B2 (en) * 2007-10-03 2014-05-06 Apple Inc. Power saving decoder architecture
US8228992B2 (en) * 2007-10-12 2012-07-24 Broadcom Corporation Method and system for power-aware motion estimation for video processing
KR101372418B1 (ko) * 2007-10-19 2014-03-12 (주)휴맥스 비트스트림 디코딩 장치 및 방법
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
US8199829B2 (en) * 2008-08-25 2012-06-12 Qualcomm Incorporated Decoding system and method
WO2010104432A1 (en) * 2009-03-13 2010-09-16 Telefonaktiebolaget Lm Ericsson (Publ) Methods of and arrangements for processing an encoded bit stream
US20100246679A1 (en) * 2009-03-24 2010-09-30 Aricent Inc. Video decoding in a symmetric multiprocessor system
GB2471323B (en) * 2009-06-25 2014-10-22 Advanced Risc Mach Ltd Motion vector estimator
US8533496B1 (en) * 2009-11-10 2013-09-10 Marvell International Ltd. Power management of iterative data processing systems
US8976856B2 (en) 2010-09-30 2015-03-10 Apple Inc. Optimized deblocking filters
KR20120088488A (ko) 2011-01-31 2012-08-08 한국전자통신연구원 시간적 움직임 벡터 저장 방법 및 그 장치
CN103828364B (zh) * 2011-09-29 2018-06-12 夏普株式会社 图像解码装置、图像解码方法及图像编码装置
WO2013047805A1 (ja) 2011-09-29 2013-04-04 シャープ株式会社 画像復号装置、画像復号方法および画像符号化装置
WO2014203351A1 (ja) * 2013-06-19 2014-12-24 株式会社 東芝 画像処理装置、画像処理方法
FR3027480B1 (fr) 2014-10-17 2020-10-23 Institut Nat Des Sciences Appliquees De Rennes Decodeur, procede et systeme de decodage de flux multimedia
KR101676788B1 (ko) * 2014-10-17 2016-11-16 삼성전자주식회사 멀티코어 시스템 기반 비디오 병렬 복호화 방법 및 그 장치
EP3057318A1 (en) * 2015-02-13 2016-08-17 Alcatel Lucent Adapting coding parameters based on viewing experience and system constraints
US10873760B2 (en) 2017-04-07 2020-12-22 Futurewei Technologies, Inc. Motion vector (MV) constraints and transformation constraints in video coding

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4633462A (en) * 1983-07-18 1986-12-30 The Board Of Trustees Of The University Of Illinois Multiple access communication on a CATV reverse channel
US5325126A (en) * 1992-04-01 1994-06-28 Intel Corporation Method and apparatus for real time compression and decompression of a digital motion video signal
KR0134871B1 (ko) * 1992-07-17 1998-04-22 사또오 후미오 고능률 부호화 복호화 시스템
KR960010469B1 (ko) * 1992-10-07 1996-08-01 대우전자 주식회사 Pip 기능을 갖는 디지탈방식 고선명 텔레비젼
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
AU7519594A (en) * 1993-08-02 1995-02-28 Aware, Inc. Multimedia playblack system
US5889561A (en) * 1994-11-04 1999-03-30 Rca Thomson Licensing Corporation Method and apparatus for scaling a compressed video bitstream
US5802211A (en) * 1994-12-30 1998-09-01 Harris Corporation Method and apparatus for transmitting and utilizing analog encoded information
EP0721286A3 (en) 1995-01-09 2000-07-26 Matsushita Electric Industrial Co., Ltd. Video signal decoding apparatus with artifact reduction
US5596369A (en) * 1995-01-24 1997-01-21 Lsi Logic Corporation Statistically derived method and system for decoding MPEG motion compensation and transform coded video data
US5903313A (en) * 1995-04-18 1999-05-11 Advanced Micro Devices, Inc. Method and apparatus for adaptively performing motion compensation in a video processing apparatus
US5680482A (en) * 1995-05-17 1997-10-21 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression by adaptive selection of video input buffer parameters
US5812788A (en) * 1995-07-21 1998-09-22 Intel Corporation Encoding/decoding video signals using quantization tables based on explicitly encoded base and scale matrices
US5745375A (en) * 1995-09-29 1998-04-28 Intel Corporation Apparatus and method for controlling power usage
US5768429A (en) 1995-11-27 1998-06-16 Sun Microsystems, Inc. Apparatus and method for accelerating digital video decompression by performing operations in parallel
US5760794A (en) * 1996-01-02 1998-06-02 Intel Corporation Method for storing video data in a plurality of video data buffers on a host
US5822005A (en) * 1996-01-11 1998-10-13 Tektronix, Inc. Pre-oddification
JP3575508B2 (ja) 1996-03-04 2004-10-13 Ｋｄｄｉ株式会社 符号化動画像再生装置
US5703697A (en) * 1996-03-20 1997-12-30 Lg Electronics, Inc. Method of lossy decoding of bitstream data
US5818532A (en) * 1996-05-03 1998-10-06 Lsi Logic Corporation Micro architecture of video core for MPEG-2 decoder
JPH1023375A (ja) 1996-07-04 1998-01-23 Matsushita Electric Ind Co Ltd 順次ディジタルビデオ復号化装置
KR100239349B1 (ko) * 1996-12-20 2000-01-15 구자홍 역이산 코사인 변환기의 데이타 포멧 변환 회로
GB9700226D0 (en) 1997-01-08 1997-02-26 Glaxo Group Ltd Inhalation device
JPH11122624A (ja) * 1997-10-16 1999-04-30 Matsushita Electric Ind Co Ltd ビデオデコーダ処理量を低減する方法および装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6952451B2 (en) 2000-10-04 2005-10-04 Sanyo Electric Co., Ltd. Apparatus and method for decoding moving picture capable of performing simple and easy multiwindow display
US8421806B2 (en) 2005-11-02 2013-04-16 Streamezzo Method of optimizing rendering of a multimedia scene, and the corresponding program, signal, data carrier, terminal and reception method
CN101491105B (zh) * 2006-07-14 2011-08-31 索尼株式会社 再生装置和再生方法

Also Published As

Publication number Publication date
US7248631B2 (en) 2007-07-24
SG72874A1 (en) 2000-05-23
ES2239375T3 (es) 2005-09-16
US6389071B1 (en) 2002-05-14
DE69829345T2 (de) 2006-04-06
BR9804444A (pt) 1999-11-03
DE69829345D1 (de) 2005-04-21
TW390090B (en) 2000-05-11
US20020080874A1 (en) 2002-06-27
EP0910219B1 (en) 2005-03-16
CN1154344C (zh) 2004-06-16
KR100322056B1 (ko) 2002-06-20
JPH11122624A (ja) 1999-04-30
KR19990037165A (ko) 1999-05-25
EP0910219A2 (en) 1999-04-21
ID21114A (id) 1999-04-22
EP0910219A3 (en) 2002-01-09

Similar Documents

Publication Publication Date Title
CN1154344C (zh) 减少视频译码器处理能力需求的方法
CN1294764C (zh) 用于编码双向预测视频对象面的方法及其解码装置
JP6359101B2 (ja) ビデオ及び画像の符号化及び復号のためのイントラブロックコピー予測モードの特徴
AU2013385808B2 (en) Motion-constrained tile set for region of interest coding
CN1290342C (zh) 可执行区块比对移动补偿与全域移动补偿的装置与方法
JP6336058B2 (ja) ビデオ及び画像符号化及び復号のためのベースカラーインデックスマップモードの機能
CN102273205B (zh) 以gpu加速的软件视频转码器
CN110650349B (zh) 一种图像编码方法、解码方法、编码器、解码器及存储介质
CN1627824A (zh) 位流控制的后处理过滤
KR20040077774A (ko) 화상 정보 부호화 장치 및 방법, 및 화상 정보 복호 장치및 방법
CN103975599A (zh) 图像编码以及解码方法、装置、程序
CN1825976A (zh) 译码数字影像序列的方法及装置
CN1378749A (zh) 用于将一系列编码图像帧分别格式化为相应区域的电路和方法
CN1310519C (zh) 视频编码和解码方法以及相应信号
CN1708134A (zh) 用于估计运动的方法和设备
CN1812577A (zh) 译码数字影像位流所含画面的方法及其数字影像译码系统
JP2008153907A (ja) 画像符号化装置及びそれらを含む情報端末ならびに画像符号化方法
CN1722842A (zh) 视听编解码器的滤波方法和滤波设备
CN1224273C (zh) 视频编码器和记录设备
CN1703911A (zh) 降低已压缩多媒体的比特率
JP4797999B2 (ja) 画像符号化・復号化装置
CN1070010C (zh) 采用sdtv解码asic的hdtv视频解码器及其解码方法
JP4779977B2 (ja) 画像符号化・復号化装置
WO2012140889A1 (en) Image encoding apparatus, image encoding method, image encoding program, image decoding apparatus, image decoding method, and image decoding program
Dai et al. The most efficient tile size in tile-based cylinder panoramic video coding and its selection under restriction of bandwidth

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee