CN1612613A - 用于运动估计的方法和装置 - Google Patents

用于运动估计的方法和装置 Download PDF

Info

Publication number
CN1612613A
CN1612613A CNA2004100867342A CN200410086734A CN1612613A CN 1612613 A CN1612613 A CN 1612613A CN A2004100867342 A CNA2004100867342 A CN A2004100867342A CN 200410086734 A CN200410086734 A CN 200410086734A CN 1612613 A CN1612613 A CN 1612613A
Authority
CN
China
Prior art keywords
reference picture
type
picture
piece
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004100867342A
Other languages
English (en)
Inventor
河亨锡
李男淑
金昭营
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1612613A publication Critical patent/CN1612613A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/557—Motion estimation characterised by stopping computation or iteration based on certain criteria, e.g. error magnitude being too large or early exit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种用于运动估计的方法和装置，该方法包括：基于多个参考图像的优先级来从多个参考图像中选择一个候选参考图像，以确定属于形成当前图像的多个块的预定块的参考图像；和使用选择出的候选参考图像来在预定块上执行运动估计。

Description

用于运动估计的方法和装置
本申请要求于2003年10月30日在韩国知识产权局提交的第2003-76413号韩国专利申请的利益，该申请完全公开于此以资参考。
                         技术领域
本发明涉及一种用于视频编码的方法和装置，更具体地讲，涉及一种用于估计运动的方法和装置。
                         背景技术
根据用于视频数据的编码和解码而引入的H.264标准，编码或解码以包括在图像中的多个宏块或子块(其通过将一个宏块分为2或4个部分来获得)为单位被执行。编码和解码基于预测来被执行。预测以时间轴为基础参照过去图像或过去图像和未来图像两者来被执行。被参考用于当前被编码或解码的图像(以下称为当前图像)的编码或解码的图像，称为参考图像。
根据H.264标准，基于一种在其中宏块和/或子块能够参照不同的参考图像的多重参考方法，来确定参考图像。换句话说，最近解码的其数目不小于1并且不大于16的图像被存储，所有存储的参考图像用在运动估计中，并且显示最好性能的图像被确定为在其上执行运动估计的块的参考图像(以下，称为当前块)。因此，与在其中只有一个图像被使用的传统方法相比，压缩效率或显示质量被提高。
但是，由于最佳参考图像只有在运动估计在所有参考图像上被执行之后才被选择出，所以计算量显著地增加。此外，根据H.264标准，参考图像不仅能够以16×16的宏块为单位，而且能够以8×8的子块为单位被选择。其结果是，参考图像的数目显著增加，并且因此计算量显著增加。特别地，由于计算量的增加而导致实现实时编码和解码存在困难。
                         发明内容
本发明提供一种运动估计方法和装置，其中，通过在几个具有高的被确定为参考图像的可能性的参考图像上执行运动估计，而不是在所有的多于一个的参考图像上执行运动估计，来降低加在编码器上的计算量。
本发明的另外方面和/或优点将在下面的描述中部分地阐明，并且从描述中部分是清楚的，或者通过本发明的实施可以被理解。
                         附图说明
通过结合附图，从实施例的下面描述中，本发明这些和/或其他方面及优点将会变得清楚，并且更易于理解，其中：
图1示出了根据本发明实施例的编码器的结构；
图2示出了根据本发明实施例的解码器的结构；
图3详细地示出了图1所示的运动估计单元600的结构；
图4示出了根据本发明实施例使用的图像的一部分；和
图5A至图5C是示出根据本发明实施例的运动估计方法的流程图。
                       具体实施方式
现在将详细参照本发明的实施例，其示例在附图中示出，其中，相同的标号始终表示相同的部件。下面通过参照附图来描述这些实施例以解释本发明。
图1示出了根据本发明实施例的编码器的结构。
参照图1，该编码器采用了一种通过其多个过去图像和/或未来图像能够被参考用于编码当前图像的多重参考方法。该编码器包括编码控制单元100、第一编码单元200、第二编码单元700、第一解码单元300、存储单元400、运动补偿单元500、和运动估计单元600。
根据本发明，存储单元400存储参考索引列表和多个由参考索引列表参照的图像。运动补偿单元500根据本发明执行运动补偿，运动估计单元600根据本发明确定参考图像并使用确定出的参考图像来执行运动估计。
根据本发明实施例的编码器区别于传统编码器特别在于运动估计单元600。根据这个实施例，运动估计单元600将不同的优先级分配给多个参考图像，并且以由高到低的优先级顺序来执行运动估计。由运动估计的结果，如果残差(residue cost)小于预定的阈值，那么运动估计单元600不在低优先级的参考图像上执行运动估计，并且在初期终止运动估计。换句话说，运动估计单元600并不象传统技术在包括在参考索引列表中的所有参考图像上执行运动估计，而是只在具有高的被确定为参考图像的可能性的几个图像上执行运动估计，由此以高效率执行运动估计。优先级基于下面两个标准来被分配。第一，时间上接近当前图像的图像具有高的被确定为参考图像的可能性。第二，邻近块的参考图像具有高的被确定为参考图像的可能性。在这个实施例中，为了将优先级分配给多个参考图像，每个参考图像被如下分类。
在时间上最接近的带有最高优先级的参考图像的情况下，该参考图像被确定为第一类型。接着，在当前块的邻近块的参考图像的情况下，该参考图像被确定为第二类型。但是，被确定为第二类型的参考图像不包括已经被确定为第一类型的参考图像。接着，当包括在包括当前块的像条(slice)中的块的参考图像的情形时，该参考图像被确定为第三类型。但是，被确定为第三类型的参考图像不包括已经被确定为第一类型或第二类型的参考图像。接着，在包括在参考索引列表中的参考图像的情况下，该参考图像被确定为第四类型。但是，被确定为第四类型的参考图像不包括已经被确定为第一类型、第二类型、或第三类型的参考图像。
一旦输入视频数据，编码控制单元100根据运动补偿是否在该输入的视频数据上被执行来确定编码类型(帧内编码/帧间编码)(intra coding/intercoding)，并且将相应的控制信号输出到第一开关S1。如果运动补偿将被执行，即，帧间编码将被执行，那么需要先前和/或接下来的输入视频数据，并因此第一开关S1被关闭。如果运动补偿将不被执行，即，帧内编码将被执行，那么不需要以前和/或接下来输入的视频数据，并因此第一开关S1被打开。如果第一开关S1被关闭，那么从该输入的视频数据与以前和/或接下来的输入视频数据获得的差别视频数据被输入到第一编码单元200。如果第一开关S1被打开，那么该输入的视频数据只输入到第一编码单元200。
在这个实施例中，如果第一开关S1被打开，那么输入到第一编码单元200的视频数据是I图像。如果第一开关S1被关闭，那么输入到第一编码单元200的视频数据是P图像或B图像。换句话说，将被编码的视频数据包括多个图像。I图像是指不参照其它图像而获得的帧内图像(Intra picture)。B图像是指参照两个不同的图像而获得的双向预测图像(Bi-predictive picture)。P图像是指只参考I图像而获得的预测图像(Predictive picture)。在这个实施例中，以块为单位来执行编码。因此，下面将被提到的块意思是多个形成图像的宏块或通过将多个宏块水平或垂直地分为2或4部分而获得的子块。
第一编码单元200通过变换图像来获得变换系数，量化所获得的变换系数，并且输出量化后的变换系数。变换可以是离散余弦变换(DCT)或小波变换。
由于输入到第一编码单元200然后被编码的图像可以用作对下一个或前一个输入块的运动补偿的参考图像，所以在第一解码单元300中其经历了与第一编码单元200的过程相反的过程，即，反量化和逆变换，然后被存储在存储单元400中。运动估计单元600根据本发明实施例参照参考索引列表和多个存储在存储单元400中的图像，来确定参考图像。随后将详细地描述参考图像的确定。另外，运动估计单元600基于确定出的参考图像来计算运动矢量。参照多个过去和/或未来图像来计算运动矢量。
运动补偿单元500从存储单元读出由运动估计单元600所计算出的运动矢量所表示的参考图像，基于参考图像和运动矢量来执行运动补偿，并且输出由运动补偿的结果所获得的运动补偿值。运动补偿值加到从第一解码单元300输出的数据上，复原为形成输入的视频数据的图像，并且存储在存储单元400中以用在运动估计或运动补偿中。
第二编码单元700接收、编码、然后多路复用从第一编码单元200输出的量化后的转换系数、从运动估计单元600输出的运动矢量、和用于解码所需要的信息，如从编码控制单元100提供的编码类型信息和量化参数信息，由此输出比特流。在这个实施例中，第二编码单元700执行熵(entropy)编码。
图2示出了根据本发明实施例的解码器的结构。
参照图2，解码器解码包括由图1中的编码器编码的视频数据的比特流。图2中的解码器包括多路分解比特流的多路分解单元110、第二解码单元710、和第一解码单元210。另外，图2中的解码器包括将编码类型信息解码的编码类型信息解码单元120和将运动矢量解码的运动矢量解码单元130。另外，图2中的解码器包括存储单元410和运动补偿单元510。
多路分解单元110多路分解接收到的比特流，并且输出解码和量化后的变换系数、运动矢量信息、和编码类型信息。第二解码单元710通过对编码或的变换系数执行熵解码来输出量化后的变换系数。第一解码单元210解码量化后的变换系数。换句话说，第一解码单元210与图1中的第一编码单元200相反地操作。例如，如果第一编码单元200执行DCT，那么第一解码单元210执行离散余弦逆变换(IDCT)。同样地，如果第一编码单元200执行小波变换，那么第一解码单元210执行小波逆变换。因此，视频数据被复原。复原后的视频数据被存储在存储单元410中，以用于运动补偿。
编码类型信息解码单元120通过将编码类型解码来识别编码类型。如果编码类型是需要运动补偿的帧内编码类型，那么第三开关被关闭，从运动补偿单元510输出的运动补偿值被加到从第一解码单元210输出的数据上，并因此复原的图像能够被获得。运动矢量解码单元130将运动矢量解码，并且运动补偿单元510输出通过使用由解码后的运动矢量所表示的参考图像而产生的运动补偿值。
特别地，运动补偿单元510当执行运动补偿时，使用根据本发明确定出的参考图像。换句话说，通过在时间上接近当前图像的图像上或在当前图像的邻近块的参考图像上优先地执行运动估计而确定出的参考图像被使用。根据本发明确定出的参考图像被存储在存储单元410中。
图3详细地示出了图1所示的运动估计单元600的结构。
参照图3，运动估计单元600包括参考图像选择单元601、运动估计执行单元602、参考图像确定单元603、和参考图像类型确定单元604。
参考图像选择单元601基于多个参考图像的优先级来从多个参考图像中选择一个参考图像，以确定预定块的参考块。运动估计执行单元602使用选择出的参考图像来在预定块上执行运动估计。如果运动估计的结果小于预定阈值，那么参考图像确定单元603确定用于获得比预定阈值小的结果的参考图像为预定块的参考块。这里，该多个参考图像包括在参考索引列表中，并且该结果是残差。另外，为了清楚地区分选择出的参考图像和确定出的参考图像，选择出的参考图像可以被称为候选参考图像。以下将详细描述根据本发明实施例的运动估计单元600。
参考图像选择单元601从形成当前图像的多个块中选择当前块的候选参考图像，其中，候选参考图像是当在当前块上执行运动估计的时间点处，在包括在参考索引列表中的参考图像中，在时间上最接近于当前图像。视频原理是通过迅速改变连续的图像从而人不能察觉到改变，来不存在视觉上的不连续性而显示图像。因此，存在高的时间上最接近的参考图像与当前图像最相似的可能性。但是，在视频的运动变化很大并且视频的运动是重复的情况下(例如，眨眼)，另一个在时间上不与当前图像最接近的图像可能与当前图像最相似。
运动估计执行单元602使用时间上最接近的参考图像来在当前块上执行运动估计。由运动估计的结果，表示与相应于当前块的包括在参考块中的块(以下称为相应块)比较的当前块的相对运动量的运动矢量、和表示当前块与相应块的相似程度的残差被计算。计算出的运动矢量和残差被存储在图1中的存储单元400中。由于残差较小，所以当前块和相应块更可能彼此相似。残差可以是绝对差之和(SAD)或绝对哈达马特(hadamard)变换差之和(SATD)。
如果由使用时间上最接近的参考图像执行运动估计的结果所获得的残差小于预定阈值，那么参考图像确定单元603确定该时间上最接近的参考图像为块的参考图像。这里，基于图1中的编码器的性能来确定阈值。如果编码器的性能优良，那么即使当在大数目的参考图像上执行运动估计时，通过将阈值设置为小的值，也可以找出更准确的参考图像。如果编码器的性能低劣，那么虽然稍微不准确的参考图像被找到，但是通过将阈值设置为大的值，可以在初期完成运动估计并且不失败地基于实时来重放视频。
如果时间上最接近的参考图像被确定为参考图像，那么参考图像类型确定单元604确定该时间上最接近的参考图像的类型为第一类型。这里，确定出的参考图像的类型用作用于下一运动估计的优先级的基础。
如果由使用时间上最接近的参考图像执行运动估计的结果所获得的残差不小于预定阈值，那么参考图像选择单元601从包括在参考索引列表中的参考图像中选择当前块的邻近块的参考图像。下一个与当前图像相似的图像而非时间上最接近当前图像的最相似的图像是当前块的邻近块的参考图像。这是因为由于视频数据本来连续变化而当前块的邻近块的参考图像具有高的成为当前块的参考图像的可能性。但是，由于时间上最接近的参考图像已经被运动估计过，所以其被排除在选择的对象之外。
由于时间上最接近的参考图像只有一个，所以不存在有关选择的问题。但是，由于存在多个当前块的邻近块的参考图像，所以产生了有关从多个参考图像中选择参考图像的问题。因此，有必要将优先级分配给当前块的邻近块的参考图像。
图4示出了根据本发明实施例使用的图像的一部分。
参照图4，假设当前块是块E，块A、B、C、和D与块E邻近，并且已经被运动估计过。以块A、块B、块C、然后块D的顺序来执行运动估计。块E目前将被运动估计。
如上所述，由于块E的邻近块的数目是4，所以有必要将优先级分配给邻近块的参考块。以与上述方法相似的方式，可以根据参考图像和当前图像的相关程度来分配优先级。换句话说，参考图像选择单元601能够以具有第一类型的参考图像、具有第二类型的参考图像、具有第三类型的参考图像、和具有第四类型的参考图像的顺序，来从邻近块的参考图像中选择参考图像。例如，如果块A的参考图像是第二类型，块B的参考图像是第四类型，块C的参考图像是第一类型，块D的参考图像是第三类型，那么以块C的参考图像(第一类型)、块A的参考图像(第二类型)、块D的参考图像(第三类型)、和块B的参考图像(第四类型)的顺序来选择参考图像。
另外，可以根据参考图像从其中被选择出的参考图像的数目来分配优先级。在后一种情况下，第四类型具有最高优先级，并且高的优先级被顺序地分配给第三类型、第二类型、然后是第一类型。这是因为运动估计只在包括最大数目的具有第四类型的参考图像的参考图像上被执行，然后在已被运动估计过的参考图像中确定参考图像，并因此，确定参考图像的精度很高。虽然前者和后者似乎相互矛盾，但是本发明尝试解决有关从包括在参考索引列表中的多个参考图像中的最好选择的问题。根据视频重放环境，可能性可以被改变。例如，以块B的参考图像(第四类型)、块D的参考图像(第三类型)、块A的参考图像(第二类型)、和块C的参考图像(第一类型)的顺序来选择参考图像。
但是，仍然存在关参考图像选择的问题。这是因为当前块的邻近块的参考块的类型可能相同。例如，如果块A的参考块是第一类型，块B的参考图像是第一类型，块C的参考图像是第二类型，并且块D的参考图像是第三类型，那么块A的参考图像的类型和块B的参考图像的类型彼此相同。其结果是，有关A的参考图像或块B的参考图像的优先选择的问题仍然存在。因此，具有较小残差的参考图像被优先选择。这种选择是基于较小残差表示参考图像和当前图像更可能彼此相似并由此能够获得更准确的参考图像的思想。
如果参考图像之间的残差也相同，那么基于根据参考图像的帧内预测模式的顺序来做出选择。换句话说，包括在包括当前块的对象中的块的参考图像被优先选择。
运动估计执行单元602使用邻近块的参考图像来在当前块上执行运动估计。此时，运动矢量和残差被获得并被存储在图1中的存储单元400中。
如果由使用邻近块的参考图像执行运动估计的结果而获得的残差中的一个小于阈值，那么参考图像确定单元603确定具有小于阈值的残差的参考图像为当前块的参考图像。
参考图像类型确定单元604确定已确定出的邻近块的参考图像的类型为第二类型。与第一类型相同，确定出的参考图像的类型用作用于下一运动估计的优先级的基础。
如果由使用邻近块的参考图像执行运动估计的结果而获得的所有残差都不小于阈值，那么参考图像选择单元601从包括在参考索引列表中的参考图像中选择包括在包括当前块的像条中的块的参考图像。像条是作为编码或解码的单位的一组块，并且包括比邻近块多的块。但是，由于时间上最接近的参考图像和邻近块的参考图像已经被运动估计过，所以它们被排除在选择的对象之外。与当前块的邻近块的参考图像类似，存在包括在像条中的块的多个参考图像。其结果是，导致了有关从多个参考图像中选择参考图像的问题。在这种情况下，如上所述，根据参考图像的类型、残差、和/或按照帧内预测模式的顺序，来选择参考图像。
运动估计执行单元602使用包括在像条中的块的参考图像来在当前块上执行运动估计。运动矢量和残差被获得并被存储在图1中的存储单元400中。
如果由使用包括在像条中的块的参考图像执行运动估计的结果而获得的残差中的一个小于阈值，那么参考图像确定单元603确定在包括在像条中的块的参考图像中的具有小于阈值的残差的参考图像为当前块的参考图像。
参考图像类型确定单元604确定已确定出的包括在像条中的块的参考图像的类型为第三类型。与第一类型和第二类型相同，确定出的参考图像的类型用作用于下一运动估计的优先级的基础。
如果由使用包括在像条中的块的参考图像执行运动估计的结果而获得的所有残差都不小于阈值，那么参考图像选择单元601选择包括在参考索引列表中的参考图像中的一个。但是，时间上最接近的参考图像、邻近块的参考图像、和包括在像条中的块的参考图像已经被运动估计过，并因此不是选择的对象。与当前块的邻近块的参考图像和包括在像条中的块的参考图像类似，在参考索引列表中存在几个参考图像。其结果是，导致了有关从参考索引列表中选择参考图像的问题。在这种情况下，如上所述，使用参考图像的类型、残差、和/或根据帧内预测模式的顺序，来选择参考图像。
运动估计执行单元602使用包括在参考索引列表中的参考图像来在当前块上执行运动估计。此时，运动矢量和残差被获得然后被存储在图1中的存储单元400中。
如果由使用包括在参考索引列表中的参考图像执行运动估计的结果而获得的残差中的一个小于阈值，那么在包括在参考索引列表中的参考图像中的具有小于阈值的残差的参考图像被确定为当前块的参考图像。
参考图像类型确定单元604确定已确定出的参考图像的类型为第四类型。与第一类型、第二类型和第三类型相同，确定出的参考图像的类型用作用于下一运动估计的优先级的基础。
如果由使用包括在参考索引列表中的参考图像执行运动估计的结果而获得的所有残差都不小于阈值，那么在由使用时间上最接近的参考图像、邻近块的参考图像、包括在像条中的块的参考图像、和包括在参考索引列表中的参考图像执行运动估计的结果而获得的所有残差中，具有最小残差的参考图像被确定为当前图像的参考图像。换句话说，如果由使用包括在参考索引列表中的参考图像执行运动估计的结果而获得的所有残差都不小于阈值，那么任何参考图像都满足阈值。因此，在包括在参考索引列表中的参考图像中，具有最小残差的参考图像被确定为当前块的参考图像。
如果时间上最接近的参考图像用于运动估计，那么参考图像类型确定单元604确定具有最小残差的参考图像为第一类型。如果邻近块的参考图像被使用，那么参考图像类型确定单元604确定已确定出的具有最小残差的参考图像的类型为第二类型。如果包括在像条中的块的参考图像用于运动估计，那么参考图像类型确定单元604确定已确定出的具有最小残差的参考图像的类型为第三类型。如果包括在参考索引列表中的参考图像用于运动估计，那么参考图像类型确定单元604确定已确定出的具有最小残差的参考图像的类型为第四类型。如果任何参考图像都不满足阈值，并且在包括在参考索引列表中的参考图像中的具有最小残差的参考图像被确定为当前块的参考图像，那么以与当参考图像被选择时相同的方式来确定参考图像的类型。
图5A至图5C是示出根据本发明实施例的运动估计方法的流程图。
参照图5A至图5C，运动估计方法包括如下的几个操作。
为了确定包括在形成当前图像的多个块中的预定块的参考图像，基于在多个参考图像中的多个图像的优先级来从多个参考图像中选择一个参考图像。然后使用选择出的参考块在预定块上执行运动估计。如果由运动估计的结果所获得的值小于预定阈值，那么在获得该值中使用的参考图像被确定为预定块的参考图像。然后确定已被确定为预定块的参考图像的参考图像的类型。这里，多个参考图像表示包括在参考索引列表中的参考图像，并且该值表示残差。另外，为了清楚地区分选择出的参考图像和确定出的参考图像，选择出的参考图像可以被称为候选参考图像。以下将详细描述根据本发明实施例的运动估计方法。
在操作801中，当在当前块上执行运动估计的时刻，从包括在参考索引列表中的参考图像中选择时间上最接近当前图像的参考图像作为包括在形成当前图像的多个块中的当前块的参考图像。在操作802中，使用时间上最接近的参考图像在在当前块上执行运动估计。在操作803中，如果由使用时间上最接近的参考图像执行运动估计的结果所获得的残差小于阈值，那么在操作804中，该时间上最接近的参考图像被确定为当前块的参考图像。在操作805中，已被确定为当前块的参考图像的该时间上最接近的参考图像的类型被确定为第一类型。
在操作803中，如果由使用时间上最接近的参考图像执行运动估计的结果所获得的残差不小于阈值，那么在操作806中，从包括在参考索引列表中的参考图像中选择当前块的邻近块的参考图像。由于存在几个当前块的邻近块的参考图像，所以导致了有关从这几个参考图像中选择参考图像的问题。换句话说，以具有第一类型的参考图像、具有第二类型的参考图像、具有第三类型的参考图像、然后是具有第四类型的参考图像的顺序，或以具有第四类型的参考图像、具有第三类型的参考图像、具有第二类型的参考图像、然后是具有第一类型的参考图像的顺序，来做出选择。如果参考图像的类型相同，那么以具有较小残差的参考图像的顺序来做出选择。如果参考图像的残差相同，那么以根据邻近块的参考图像的帧内预测模式的顺序来做出选择。
在操作807中，使用邻近块的参考图像在当前块上执行运动估计。在操作808中，如果由使用邻近块的参考图像执行运动估计的结果而获得的残差中的一个小于阈值，那么在操作809中，在邻近块的参考图像中的邻近块的具有小于阈值的残差的参考图像被确定为当前块的参考图像。在操作810中，已被确定为当前块的参考图像的邻近块的参考图像的类型被确定为第二类型。
在操作808中，如果由使用邻近块的参考图像执行运动估计的结果而获得的所有残差都不小于阈值，那么在操作811中，在包括在参考索引列表中的参考图像中选择包括在包括当前块的像条中的块的参考图像。与邻近块的参考图像类似，在像条中存在几个参考图像。因此，存在有关从像条中选择参考图像的问题。在这种情况下，如上所述，根据参考图像的类型、残差、和/或按照帧内预测模式的顺序，来做出参考图像的选择。
在操作812中，使用包括在像条中的块的参考图像在当前块上执行运动估计。在操作813中，如果由使用包括在像条中的块的参考图像执行运动估计的结果而获得的残差中的一个小于阈值，那么在操作814中，在包括在像条中的块的参考图像中的具有小于阈值的残差的参考图像被确定为当前块的参考图像。然后在操作815中，确定出的包括在像条中的块的参考图像的类型被确定为第三类型。
在操作813中，如果由使用包括在像条中的块的参考图像执行运动估计的结果而获得的所有残差都不小于阈值，那么在操作816中，包括在参考索引列表中的参考图像被确定为当前块的参考图像。与当前块的邻近块的参考图像或包括在像条中的块的参考图像类似，存在包括在参考索引列表中的几个参考图像。因此，导致了有关从参考索引列表中选择参考图像的问题。在这种情况下，如上所述，根据参考图像的类型、残差、和/或按照帧内预测模式的顺序，来做出参考图像的选择。
在操作817中，使用包括在参考索引列表中的参考图像在当前块上执行运动估计。在操作818中，如果由使用包括在参考索引列表中的参考图像执行运动估计的结果而获得的残差中的一个小于阈值，那么在操作819中，在包括在参考索引列表中的参考图像中的具有小于阈值的残差的参考图像被确定为当前块的参考图像。然后在操作820中，确定出的包括在参考索引列表中的参考图像的类型被确定为第四类型。
在操作818中，如果由使用包括在参考索引列表中的参考图像执行运动估计的结果而获得的所有残差都不小于阈值，那么在操作821中，在由使用时间上最接近的参考图像、邻近块的参考图像、包括在像条中的块的参考图像、和包括在参考索引列表中的参考图像执行运动估计的结果而获得的所有残差中，具有最小残差的参考图像被确定为当前图像的参考图像。
在操作822中，以与当参考图像被选择时相同的方式来确定已确定出的参考图像的类型。如果使用时间上最接近的参考图像来获得确定出的参考图像的最小残差，那么确定出的参考图像的类型被确定为第一类型。如果使用邻近块的参考图像来获得最小残差，那么确定出的参考图像的类型被确定为第二类型。如果使用包括在像条中的块的参考图像来获得最小残差，那么确定出的参考图像的类型被确定为第三类型。如果使用包括在参考索引列表中的参考图像来获得最小残差，那么确定出的参考图像的类型被确定为第四类型。
如上所述，根据本发明，可以通过在具有高的被确定为参考图像的可能性的参考图像上优先地执行运动估计，而不是在所有的多于一个的参考图像上执行运动估计，来降低加在编码器上的计算量。这种降低在参考图像不仅能够以16×16的宏块为单位而且能够以8×8的子块为单位被选择的H.264标准中特别显著。因此，编码器的计算的复杂性和构造的复杂性能够被减轻，以实现支持更高显示质量和压缩比而不必在它们之间折衷的编码器。
本发明的实施例也可以被编写为计算机可执行的程序，并且能够在使用计算机可读记录介质的通用数字计算机中被实现。
使用各种方法，在本发明的实施例中所使用的数据结构能够被记录在计算机可读记录介质中。
计算机可读记录介质包括所有类型的记录介质，如磁记录介质(例如，ROM、软盘、和硬盘)、光读出介质(例如，CD-ROM和DVD)、和载波(例如，通过因特网的传输)。
虽然显示和描述了本发明的一些实施例，但是本领域的技术人员应该理解，在不脱离由所附权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对其实施例进行改变。

Claims (32)

1、一种运动估计方法，包括：
基于多个参考图像的优先级来从多个参考图像中选择一个候选参考图像，以确定属于形成当前图像的多个块的预定块的参考图像；和
使用选择出的候选参考图像来在预定块上执行运动估计。
2、根据权利要求1所述的方法，还包括如果由执行运动估计的结果所获得的值小于阈值，那么确定选择出的候选参考图像为预定块的参考图像。
3、根据权利要求2所述的方法，其中该值是残差。
4、根据权利要求1所述的方法，其中，当在预定块上执行运动估计时，从多个参考图像中选择时间上最接近的参考图像作为候选参考图像。
5、根据权利要求4所述的方法，还包括如果由使用时间上最接近的候选参考图像执行运动估计的结果所获得的值不小于阈值，那么从预定块的邻近块的参考图像中选择候选参考图像。
6、根据权利要求1所述的方法，其中，在多个参考图像中，从邻近块的参考图像中选择候选参考图像。
7、根据权利要求6所述的方法，还包括如果由使用邻近块的参考图像执行运动估计的结果所获得的所有值都不小于阈值，那么从包括在包括预定块的像条中的块的参考图像中选择候选参考图像。
8、根据权利要求1所述的方法，其中，在多个参考图像中，从包括在包括预定块的像条中的块的参考图像中选择候选参考图像。
9、根据权利要求8所述的方法，还包括如果由使用包括在像条中的块的参考图像执行运动估计的结果所获得的所有值都不小于阈值，那么在多个参考图像中，从包括在包括预定块的参考索引列表中的参考图像中选择候选参考图像。
10、根据权利要求1所述的方法，其中，在多个参考图像中，从包括在包括预定块的参考索引列表中的参考图像中选择候选参考图像。
11、根据权利要求10所述的方法，其中，如果由使用包括在参考索引列表中的参考图像执行运动估计的结果所获得的所有值都不小于阈值，那么在所获得的值中，具有最小值的参考图像被确定为预定块的参考图像。
12、一种运动估计方法，包括：
基于各个类型，从具有表示优先级的各个类型的多个参考图像中选择候选参考图像作为属于形成当前图像的多个块的预定块的参考图像；和
使用选择出的候选参考图像来在预定块上执行运动估计，
其中，当在至少一个属于形成当前图像的多个块并与预定块不同的块上执行运动估计时，该多个参考图像被用作参考图像。
13、根据权利要求12所述的方法，其中，当在至少一个块上执行运动估计时，各个图像类型，如果多个参考图像的预定参考图像被用作时间上最接近的参考图像，则被确定为第一类型，如果预定参考图像被用作至少一个块的邻近块的参考图像，则被确定为第二类型，如果预定参考图像被用作包括在包括至少一个块的像条中的块的参考图像，则被确定为第三类型，如果预定参考图像被用作包括在包括至少一个块的参考索引列表中的参考图像，则被确定为第四类型。
14、根据权利要求13所述的方法，其中，当从邻近块的参考图像中、从包括在像条中的块的参考图像中、或从包括在参考索引列表中的参考图像中选择候选参考图像时，以具有第一类型的参考图像、具有第二类型的参考图像、具有第三类型的参考图像、然后是具有第四类型的参考图像的顺序来做出选择。
15、根据权利要求13所述的方法，其中，当从邻近块的参考图像中、从包括在像条中的块的参考图像中、或从包括在参考索引列表中的参考图像中选择候选参考图像时，以具有第四类型的参考图像、具有第三类型的参考图像、具有第二类型的参考图像、然后是具有第一类型的参考图像的顺序来做出选择。
16、一种运动估计装置，包括：
参考图像选择单元，用于基于多个参考图像的优先级来从多个参考图像中选择一个候选参考图像，以确定属于形成当前图像的多个块的预定块的参考图像；和
运动估计执行单元，用于使用选择出的候选参考图像来在预定块上执行运动估计。
17、根据权利要求16所述的装置，还包括参考图像确定单元，用于如果由执行运动估计的结果所获得的值小于阈值，那么确定选择出的候选参考图像为预定块的参考图像。
18、根据权利要求17所述的装置，其中该值是残差。
19、根据权利要求18所述的装置，其中，当在预定块上执行运动估计时，参考图像选择单元从多个参考图像中选择时间上最接近的参考图像作为候选参考图像。
20、根据权利要求19所述的装置，其中，如果由使用时间上最接近的候选参考图像执行运动估计的结果所获得的值不小于阈值，那么参考图像选择单元从预定块的邻近块的参考图像中选择候选参考图像。
21、根据权利要求20所述的装置，其中，如果由使用邻近块的参考图像执行运动估计的结果所获得的所有值都不小于阈值，那么参考图像选择单元从包括在包括预定块的像条中的块的参考图像中选择候选参考图像。
22、根据权利要求21所述的装置，其中，如果由使用包括在像条中的块的参考图像执行运动估计的结果所获得的所有值都不小于阈值，那么参考图像选择单元在多个参考图像中，从包括在包括预定块的参考索引列表中的参考图像中选择候选参考图像。
23、根据权利要求22所述的装置，其中，如果由使用包括在参考索引列表中的参考图像执行运动估计的结果所获得的所有值都不小于阈值，那么参考图像确定单元确定在所获得的值中具有最小值的参考图像为预定块的参考图像。
24、根据权利要求23所述的装置，还包括参考图像类型确定单元，用于当在至少一个块上执行运动估计时，确定各个图像类型，如果多个参考图像的预定参考图像被用作时间上最接近的参考图像，则确定其为第一类型，如果预定参考图像被用作至少一个块的邻近块的参考图像，则确定其为第二类型，如果预定参考图像被用作包括在包括至少一个块的像条中的块的参考图像，则确定其为第三类型，如果预定参考图像被用作包括在包括至少一个块的参考索引列表中的参考图像，则确定其为第四类型。
25、根据权利要求24所述的装置，其中，当从邻近块的参考图像中、从包括在像条中的块的参考图像中、或从包括在参考索引列表中的参考图像中选择候选参考图像时，以具有第一类型的参考图像、具有第二类型的参考图像、具有第三类型的参考图像、然后是具有第四类型的参考图像的顺序来做出选择。
26、根据权利要求24所述的装置，其中，当从邻近块的参考图像中、从包括在像条中的块的参考图像中、或从包括在参考索引列表中的参考图像中选择候选参考图像时，以具有第四类型的参考图像、具有第三类型的参考图像、具有第二类型的参考图像、然后是具有第一类型的参考图像的顺序来做出选择。
27、一种具有记录在其上的用于执行运动估计方法的程序的计算机可读记录介质，该方法包括：
基于多个参考图像的优先级来从多个参考图像中选择一个候选参考图像，以确定属于形成当前图像的多个块的预定块的参考图像；和
使用选择出的候选参考图像来在预定块上执行运动估计。
28、一种具有记录在其上的用于执行运动估计方法的程序的计算机可读记录介质，该方法包括：
基于各个类型，从具有表示优先级的各个类型的多个参考图像中选择候选参考图像作为属于形成当前图像的多个块的预定块的参考图像；和
使用选择出的候选参考图像来在预定块上执行运动估计，
其中，当在至少一个属于形成当前图像的多个块并与预定块不同的块上执行运动估计时，该多个参考图像被用作参考图像。
29、一种编码器，包括：
运动估计单元，用于将优先级分配给多个参考图像并且基于分配的优先级来执行运动估计，其中，该运动估计单元基于确定出的参考图像来计算运动矢量。
30、根据权利要求29所述的编码器，还包括：
存储单元，用于存储参考索引列表和由参考索引列表参考的多个参考图像。
31、根据权利要求29所述的编码器，还包括：
编码控制单元，用于输出编码类型信息和量化参数信息。
32、根据权利要求31所述的编码器，还包括：
第一编码单元，用于输出量化后的变换系数；和
第二编码单元，用于接收、编码并多路复用由第一编码单元输出的量化后的变换系数、从运动估计单元输出的运动矢量、和由编码控制单元输出的编码类型信息和量化参数信息，并且输出比特流。
CNA2004100867342A 2003-10-30 2004-10-29 用于运动估计的方法和装置 Pending CN1612613A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR76413/2003 2003-10-30
KR1020030076413A KR20050041293A (ko) 2003-10-30 2003-10-30 움직임 예측 장치 및 방법

Publications (1)

Publication Number Publication Date
CN1612613A true CN1612613A (zh) 2005-05-04

Family

ID=34545624

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004100867342A Pending CN1612613A (zh) 2003-10-30 2004-10-29 用于运动估计的方法和装置

Country Status (3)

Country Link
US (1) US20050094727A1 (zh)
KR (1) KR20050041293A (zh)
CN (1) CN1612613A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016188243A1 (zh) * 2015-05-26 2016-12-01 华为技术有限公司 一种视频编解码方法、编码器和解码器
CN107820095A (zh) * 2016-09-14 2018-03-20 北京金山云网络技术有限公司 一种长期参考图像选择方法及装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100843080B1 (ko) * 2006-02-24 2008-07-02 삼성전자주식회사 비디오 트랜스코딩 방법 및 장치
KR100847517B1 (ko) * 2007-03-20 2008-07-22 한양대학교 산학협력단 움직임 추정장치, 방법 및 그 프로그램이 기록된 기록매체
KR101560182B1 (ko) 2008-01-07 2015-10-15 삼성전자주식회사 다시점 비디오 부호화 방법과 그 장치 및 다시점 비디오 복호화 방법과 그 장치
US8861598B2 (en) * 2008-03-19 2014-10-14 Cisco Technology, Inc. Video compression using search techniques of long-term reference memory
KR100978596B1 (ko) * 2008-05-07 2010-08-27 한양대학교 산학협력단 고속 다중 참조프레임 선택 절차에 의한 움직임 추정 방법
US20110206132A1 (en) * 2010-02-19 2011-08-25 Lazar Bivolarsky Data Compression for Video
US9078009B2 (en) * 2010-02-19 2015-07-07 Skype Data compression for video utilizing non-translational motion information
US9609342B2 (en) 2010-02-19 2017-03-28 Skype Compression for frames of a video signal using selected candidate blocks
US9819358B2 (en) * 2010-02-19 2017-11-14 Skype Entropy encoding based on observed frequency
US9313526B2 (en) 2010-02-19 2016-04-12 Skype Data compression for video
US10171813B2 (en) 2011-02-24 2019-01-01 Qualcomm Incorporated Hierarchy of motion prediction video blocks

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10327415A (ja) * 1997-05-22 1998-12-08 Mitsubishi Electric Corp 動きベクトル検出装置
JPH118856A (ja) * 1997-06-17 1999-01-12 Mitsubishi Electric Corp 画像符号化方法及びその装置
JP3540142B2 (ja) * 1998-01-30 2004-07-07 株式会社東芝 動きベクトル検出回路および動きベクトル検出方法
KR100468844B1 (ko) * 2002-01-07 2005-01-29 삼성전자주식회사 정지영상 및 동영상을 부호화/복호화하기 위한변환계수들의 최적주사방법
US7224731B2 (en) * 2002-06-28 2007-05-29 Microsoft Corporation Motion estimation/compensation for screen capture video

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016188243A1 (zh) * 2015-05-26 2016-12-01 华为技术有限公司 一种视频编解码方法、编码器和解码器
US10554997B2 (en) 2015-05-26 2020-02-04 Huawei Technologies Co., Ltd. Video coding/decoding method, encoder, and decoder
CN107820095A (zh) * 2016-09-14 2018-03-20 北京金山云网络技术有限公司 一种长期参考图像选择方法及装置
CN107820095B (zh) * 2016-09-14 2020-01-03 北京金山云网络技术有限公司 一种长期参考图像选择方法及装置

Also Published As

Publication number Publication date
US20050094727A1 (en) 2005-05-05
KR20050041293A (ko) 2005-05-04

Similar Documents

Publication Publication Date Title
CN1314272C (zh) 用于视频编码器的预测方法、装置
KR101228020B1 (ko) 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
CN1200568C (zh) 在图像和视频的编码/解码中的变换系数的最佳扫描方法
US8818114B2 (en) Method and apparatus for image encoding/decoding
TWI524780B (zh) 在變換單元內之多符號位元隱藏
CN1703091A (zh) 可扩展的运动图像编码/解码设备及其方法
KR101356207B1 (ko) 데이터 인코딩/디코딩 방법 및 장치
CN1977539A (zh) 生成编码画面数据和对编码画面数据进行解码的方法和设备
CN1809165A (zh) 预测频率变换系数方法和设备、编码器和解码器及其方法
JP5367097B2 (ja) 動きベクトル予測符号化方法、動きベクトル予測復号方法、動画像符号化装置、動画像復号装置およびそれらのプログラム
CN101064849A (zh) 动态图像编码方法、装置和计算机可读记录介质
WO2010067529A1 (ja) 動画像復号化方法及び装置、動画像符号化方法及び装置
CN1612613A (zh) 用于运动估计的方法和装置
CN1708134A (zh) 用于估计运动的方法和设备
CN103748876A (zh) 有损压缩编码数据方法和设备以及相应的重构数据方法和设备
CN1770867A (zh) 选择性预测编码和解码方法及选择性预测编码和解码装置
KR101375667B1 (ko) 영상의 부호화, 복호화 방법 및 장치
CN1822677A (zh) 预测视频块的系数的设备和方法
CN1134171C (zh) 信号编码设备和方法
CN1209928C (zh) 一种基于预测块组的采用帧内预测的帧内编码帧编码方法
CN1320830C (zh) 噪声估计方法和设备、以及利用其编码视频的方法和设备
CN1604650A (zh) 用于分级运动估计的方法
EP2034742A2 (en) Video coding method and device
CN1613259A (zh) 用于检测内编码图像和用于从未压缩数字视频中提取内dct精度和宏块级编码参数的方法和系统
CN1194544C (zh) 基于时空域相关性运动矢量预测的视频编码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned
C20 Patent right or utility model deemed to be abandoned or is abandoned