CN101366279A - 自适应的运动搜索范围 - Google Patents

自适应的运动搜索范围 Download PDF

Info

Publication number
CN101366279A
CN101366279A CNA2006800340986A CN200680034098A CN101366279A CN 101366279 A CN101366279 A CN 101366279A CN A2006800340986 A CNA2006800340986 A CN A2006800340986A CN 200680034098 A CN200680034098 A CN 200680034098A CN 101366279 A CN101366279 A CN 101366279A
Authority
CN
China
Prior art keywords
motion vector
calculates
block
vector
hunting zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800340986A
Other languages
English (en)
Other versions
CN101366279B (zh
Inventor
苗周荣
詹姆斯·J·卡里格
马里奥·帕尼科尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Electronics Inc
Original Assignee
Sony Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Electronics Inc filed Critical Sony Electronics Inc
Publication of CN101366279A publication Critical patent/CN101366279A/zh
Application granted granted Critical
Publication of CN101366279B publication Critical patent/CN101366279B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

一种通过使用自适应的运动搜索范围来执行运动估计的技术,包括计算目标图像中的像素块的运动矢量,通过使用计算得到的运动矢量来生成与目标图像中的目标像素块相关联的搜索范围,并且通过使用生成的搜索范围来估计目标像素块的运动。

Description

自适应的运动搜索范围
技术领域
本发明涉及视频压缩领域。
背景技术
通过去除图像(帧)之间的时间冗余可以实现视频序列的高压缩增益。例如,为了对图像进行编码,基于先前已编码的图像生成将被编码图像的时间预测。将该时间预测与实际图像进行比较以确定预测误差,并且对预测误差进行编码。可以通过使用被广泛应用的基于块的运动估计和压缩方法(例如,MPEG标准)来完成预测。
运动补偿和估计方法被用于在一个或多个参考图像中找到参考块以预测在目标图像中相应目标块的位置,从而使得仅需要对目标块的预测残差进行编码,通常该预测残差是预测误差和运动矢量。这些方法执行块匹配从而识别与目标图像中的相应目标块最相似的参考图像中的参考像素块。
参考块与相应目标块之间的像素距离是目标块的运动矢量。例如,令mxi,j,myi,j分别表示块Bi,j在x轴(水平的)和y轴(垂直的)处的运动矢量。运动矢量的值与参考块一起被用于视频压缩,以针对目标块生成预测值。
图1是说明性运动矢量的简图。将要利用来自参考图像110的信息对目标图像120进行编码。参考块115被识别为与目标图像120中的目标块125最接近地匹配的参考图像110中的块。在识别了参考块之后,运动矢量130(仅出于说明性目的将其示出为箭头)被生成用于识别相对于参考块115的位置的目标块125的位置。运动矢量130具有表示参考块115与目标块125之间关系的两个项:水平位移和垂直位移。例如,参考块115(其是说明性的3×3的像素组)位于(i′,j′),并且目标块125位于(i,j)。两个块之间的距离是运动矢量(i′-i,j′-j)。
为了识别参考图像中的参考块,将参考图像中的侯选块与目标块进行比较。每个侯选块与目标块大小相同并且位于参考图像中的指定搜索范围内。与目标块最接近地匹配的侯选块被识别为参考块。搜索参考块是运动估计很重要的一部分,并且通常需要大量的算术计算。
针对一个目标块执行运动估计的复杂度与搜索范围内的可能参考块的数目成比例,该可能参考块的数目与运动搜索范围或者距离d的平方成比例,例如,复杂度=a×d2,其中a是常数。运动搜索范围定义被用于找到参考块的参考图像中的区域。换言之,搜索范围指定在运动估计期间将被检查的参考图像中的块数目。
运动搜索范围应该与图像中的物体移动速度相关。例如,对于快速移动的物体,较大的搜索范围适于找到良好的相对块(counter-block)以预测目标块。然而,如果在执行运动估计方法之前预测图像(或者帧)的哪一部分具有较小的运动量以及哪一部分具有较大的运动量是困难的。因此,典型的视频压缩方法将固定的运动搜索范围用于相同目标图像中的所有块。
固定的运动搜索范围的缺点是:如果该搜索范围足够大以至于可以捕获图像中移动最快的物体,那么这不必要地增大了用于具有较小移动的区域的搜索计算。相反,如果该搜索范围太小,那么因为参考块可能在搜索范围之外,所以运动估计方法可能不能够找到具有较大移动量的参考块。
发明内容
一种通过使用自适应的运动搜索范围来执行运动估计的技术,包括计算目标图像中的像素块的运动矢量,通过使用计算得到的运动矢量来生成与目标图像中的目标像素块相关联的搜索范围,并且通过使用生成的搜索范围来估计目标像素块的运动。
附图说明
作为示例示出本发明,并且通过结合附图参考以下描述可以更好地理解本发明,其中:
图1示出基于参考块而生成的目标块的运动矢量的示例。
图2示出用于执行视频序列中的运动估计的可自适应的运动搜索范围的示例。
图3示出用于使运动搜索范围适合与在执行运动估计时所使用的块的方法的示例。
图4和图5示出在图3所示的方法中使用的块扫描顺序的示例。
图6示出使用自适应的运动搜索范围方法的系统的示例。
具体实施方式
在以下的描述中,参考构成本发明的一部分的附图,在附图中作为示例示出其中可以实践本发明的具体实施例。应理解,可以使用其他的实施例并且可以做出结构改变而不背离本发明的范围。例如,熟悉此项技术的技术人员将理解,当关于视频数据使用描述各个实施例所用的术语场、帧、图像或者图片时,它们通常是可互换的。
在运动估计中,一种用于使运动搜索范围适应的方法被用于基于关于目标图像中的运动的现有信息来自动地调整目标块的运动搜索范围。该方法既可以针对较慢运动的物体减小搜索范围,又可以通过针对较快移动的物体自动地增大运动搜索范围来保持对较快运动物体的预测质量。例如,该方法根据先前针对相邻块计算的运动估计结果,针对目标块自适应地调整运动搜索范围。因此,该方法的实施例通过使运动搜索范围适合周围区域中的运动量,降低了找到每个目标块的运动矢量的复杂度。可以将该自适应的方法与其他技术结合以执行视频压缩方法中的时间预测。还可以在需要运动估计的其他视频应用中使用该自适应的方法。
图2示出通过使用自适应方法而确定的运动搜索范围的示例。令Bi,j表示在像素位置i,j处的目标图像220中的目标块225。在此,dxi,j和dyi,j分别是水平和垂直运动搜索范围。在该示例中,参考图像210中的侯选参考块在[2dxi,j+1]×[2dyi,j+1]的矩形区域230内,该矩形区域230包含多个将与目标块进行比较以找到参考块215的侯选块。该搜索范围直接影响执行运动估计的计算复杂度。通过基于相邻块中的已预测运动量来自适应地调整目标块的值dxi,j和dyi,j,如果相邻块被预测具有较低的运动量那么搜索范围的大小可以被减小。作为结果得到的较小搜索范围减小了在目标块中执行运动估计的复杂度。类似地,在一些实施例中,如果相邻块被预测具有较大的运动量,那么搜索范围可以被调整为相对更大。
通常,Nx,Ny是目标块的最大水平和垂直搜索范围。搜索范围dxi,j和dyi,j是用于给定目标块Bi,j的可调整的搜索范围,它们是通过使用先前计算的相邻块的运动矢量被计算出来的。将先前已经计算了其运动估计的相邻块称作前导(preceding)相邻块,因为它们的运动估计在目标块的运动估计之前被确定。该处理通过使用先前计算的相邻块的运动估计,而非通过使用搜索范围的固定值(例如,Nx,Ny),来自动地使搜索范围大小适合特定目标块。
通过使用在图3中示出的说明性方法,自动地使如在图2中说明性示出的定义运动搜索范围的值dxi,j和dyi,j适合目标图像中的每个块。在310,将目标图像划分为块。在315,定义顺序地执行对块的运动估计的扫描顺序。在320,选择用于运动估计处理的目标块。在325,该处理判断目标块是否具有足够用于使搜索范围适应的前导相邻块(即已确定了的运动矢量的相邻块)。如果不具有,那么在330,该处理使用默认搜索范围对目标块执行运动估计。例如,在图2中的目标图像的左上角处的扫描顺序序列中的初始块(例如块B0,0)在编码过程中不具有前导相邻块。在此情况下,可以将运动估计方法的搜索范围参数设定为如下的默认值:用于序列中的该初始块的dxi,j=Nx和dyi,j=Ny。然后在340,对目标块执行运动估计。
在一些实施例中,单个已确定了运动矢量的前导目标块(例如,左上方的块)足够用于开始自适应的搜索范围方法。在其他实施例中,需要多个已确定了运动矢量的前导目标块(例如,如果使用光栅扫描顺序则需要多个左上方的相邻块)。在335,对于具有足够的前导相邻块的目标块,该处理根据前导相邻块计算调整因数。通过使用调整因数,使用于目标块的搜索范围自动地适应前导相邻块中的运动量,并且在340,通过使用经适应的范围针对目标块执行运动估计。在345,该处理判断是否将对其他块执行运动估计。如果是,方法返回320。否则,在350处理结束。
以下是对与图3相关联的说明性实施例的描述。在一个实例中,基于根据前导相邻块而计算的因数,在图3所示的运动估计方法的335中调整用于目标块的搜索范围。这些因数是:
dx i , j = mx ^ i , j + δ x ; dy i , j = my ^ i , j + δ y . - - - ( 1 )
其中
Figure A200680034098D00092
是估计的目标块Bi,j的水平和垂直运动范围,并且δx和δy表示前导相邻块中的运动量与目标块中的运动量之间的相关性的估计量。等式(1)所表达的概念是目标块中的像素运动很可能与相邻块中的像素运动类似。因此,根据特定目标块的相邻块中的已经找到的运动量(如相邻运动矢量所指示的),自动地确定用于该特定目标块的运动搜索范围。
估计用于目标块的运动范围
根据目标块的前导相邻块的运动矢量来计算该目标块的运动搜索范围的值
Figure A200680034098D00093
Figure A200680034098D00094
如果将集合Pi,j定义为目标块Bi,j的前导相邻块的集合,那么
Figure A200680034098D00095
Figure A200680034098D00096
被表示为集合Pi,j中的前导相邻块的运动矢量的函数。在一个实施例中,该函数是集合Pi,j所包含的块的运动矢量的平均值,即:
mx ^ i , j = 1 n Σ B k , l ∈ P i , j mx k , l , my ^ i , j = 1 n Σ B k , l ∈ P i , j my k , l - - - ( 2 )
其中Bk,l∈Pi,j表示集合Pi,j中的块,并且n是Pi,j中的块的总数目。在该示例中,如果诸如上方的块和左侧的块之类的两个块是前导相邻块,那么
Figure A200680034098D00098
Figure A200680034098D00099
被表示为两个运动矢量的平均:
mx ^ i , j = ( mx i - 1 , j + mx i , j - 1 ) / 2 , my ^ i , j = ( my i - 1 , j ) / 2 - - - ( 3 )
因此根据集合Pi,j中的块的运动矢量来确定用于生成的函数。通过该函数,自适应的运动搜索范围方法针对目标图像中的每个块动态地确定运动搜索范围。在一个实施例中,该方法使用等式(3)从而通过利用关于其相邻块的运动量的信息估计目标块中的物体运动量,使搜索范围适合目标块。
例如,如果目标块具有有较小运动矢量的前导相邻块,那么通常目标块具有较小的运动量。在一个实施例中自适应的运动搜索范围方法使用等式(3)来生成用于目标块的较小搜索范围,这是减小运动搜索复杂度的行为。
另一方面,如果目标块具有有较大运动矢量的前导相邻块,那么目标块很可能具有较大的运动量。因此,在一个实施例中,自适应的运动搜索范围方法使用等式(3)来自动地增大用于目标块的搜索范围。然后,用足够大以至于能够识别用于快速移动物体的参考块的增大的搜索范围,针对目标块来执行运动估计。
等式(2)和(3)是可以用于计算集合Pi,j中的运动矢量的平均值的函数的示例。可以通过将滤波器应用于前导相邻块的集合Pi,j生成估计运动范围
Figure A200680034098D00101
Figure A200680034098D00102
来获得更广义的函数。不失一般性地,示出用于得到项的示例,并且项可以根据相同程序得到。令L表示包含n个抽头(tap)的滤波器,L=[l1,l2,...,ln],其中li是L中的第i个元素,并且li也是抽头i的滤波系数。令Mx表示包含前导相邻块(Pi,j)中的块的所有运动矢量(仅x轴的值)的矢量,Mx=[x1,x2,...xn]。那么:
mx ^ i , j = L × ( M x ) T , my ^ i , j = L × ( M y ) T , - - - ( 4 )
其中(Mx)T是矢量Mx的转置。
在等式(2)和(3)中示出的平均方法是等式(4)的滤波方法的特殊情况。例如,如果L=[0.5,0.5],Mx=[mxi-1,j,mxi,j-1],并且M=[myi-1,j,myi,j-1],那么等式(4)被简化为等式(3)。
通常,因为集合Pi,j中块的数目等于滤波器L中的抽头数目,所以可以通过增大Pi,j中块的数目来增大L中的抽头数目。
通常,L可以是低通滤波器(平滑滤波器),用于获得前导相邻块运动矢量的统计平均值。可以使用多种方法来设计这样的滤波器(例如,选择滤波器L中的每个滤波系数(li)的值)。自适应的运动搜索范围方法然后可以使用低通滤波器来获得估计搜索范围
Figure A200680034098D00107
估计经调整的搜索范围的安全边际
等式(1)中调整项的值δx和δy可以用作用于调整运动搜索范围的安全边际,从而说明前导相邻块的运动矢量未能预见目标块中的运动矢量的可能性。例如,如果前导相邻块运动矢量分布导致较大的标准差,那么调整值δx和δy使得用于目标块的运动搜索范围能够与其前导相邻块的运动搜索范围明显不同。
对δx和δy进行选择使得运动搜索范围能够适合目标块的运动特性。较大的δx和δy值使得在运动搜索范围中的较快移动的物体能够被检测到。然而,较大的值因为增大了搜索范围所以可能增大运动搜索复杂度。较小的δx和δy虽然减小了运动搜索的复杂度然而限制了自适应的速度。项δx和δy具有或者固定或者可调整的值。使用固定值简单。使用δx和δy的自适应值可以改善运动估计的准确性。
存在各种能够使δx和δy适合目标块的运动特性的方法。通常,如果目标块很可能具有与其前导相邻块的那些运动矢量不同的运动矢量,那么δx和δy的值应该较大。不失一般性地,示出用于得到项δx的示例(项δy可以根据相同程序得到)。
第一示例使用前导相邻块的运动矢量的标准差来得到δx。例如,对于目标块Bi,j而言,
δ x = k [ 1 n Σ B k , l ∈ P i , j ( mx k , l - mx ^ i , j ) 2 ] 1 2 ,
δ y = k [ 1 n Σ B k , l ∈ P i , j ( my k , l - my ^ i , j ) 2 ] 1 2 , - - - ( 5 )
其中Bk,l∈Pi,j表示集合Pi,j中的所有块,n是Pi,j中的块的总数目,
Figure A200680034098D00113
是目标块Bi,j的估计运动范围(其可以根据等式(4)得到),并且k是常数标量。
第二示例对前导相邻块的运动矢量进行滤波来确定δx。类似于利用等式(4)计算运动搜索范围的方法,用于获得δx和δy的广义方法对目标块Bi,j的前导运动矢量应用滤波器。该滤波器通常是高通滤波器,用H表示。
令H表示包含n个抽头的滤波器,H=[h1,h2,...,hn]。那么:
δx=|H×(Mx)T|,δy=|H×(My)T|,(6)
其中|a|表示a的绝对值。矢量Mx和My的定义与在等式(4)中给出的定义相同。高通滤波器H与Mx(前导相邻块的运动矢量值)的方差有关。因此,当δx较大时,前导运动矢量具有较大的方差,反之亦然。
例如,如果前导相邻块的集合具有两个块(例如,上方的和左侧的),高通滤波器为H=[0.5,-0.5],并且My=[myi-1,j,myi,j-1],那么
δx=|mxi-1,j,mxi,j-1|/2,δy=|myi-1,j,myi,j-1|/2。(7)
在一些实施例中,可以通过增大前导相邻块的数目来使用更多抽头。扩展到多个参考图像
上述的说明性示例是基于单个参考图像的。在一些实施例中,处理被扩展到将多个参考图像用于运动估计的情况,例如,可以根据不同的图像来预测目标块。在这些情况下,运动矢量具有三项,例如[mxi,j,myi,j,mti,j],其中mti,j是特定参考图像的时间索引。
在单个参考图像的情况下,前导相邻块存在于相同参考图像中,例如它们在二维表面中。至于多个参考图像,前导相邻块的范围扩展到三维,例如,在不同的图像中,只要在对目标块进行运动估计之前确定了它们的运动估计。然后只要根据前导相邻块的分布构造了滤波器(L和H),就可以将用于获得
Figure A200680034098D00121
和δx,δy的滤波方法直接应用于三维、多参考的情况。
选择块扫描顺序
块扫描顺序(其建立对每个块执行运动估计的序列),确定可以是特定目标块的前导块的块集合,即比目标块更早地计算出了其运动估计的块可以是目标块的前导块。因此,自适应的运动搜索范围所使用的块扫描顺序的类型影响用于特定目标块的估计运动搜索范围。
块扫描顺序的一个示例是如图4所示的光栅扫描顺序。在该示例中,从左到右并且从上到下地扫描块。首先针对在左上角的块执行运动估计并且针对在第一行中的每个块从左到右地继续执行运动估计。然后,针对在第二行中的块,从左侧的第一块开始执行运动估计。以该从左到右、从上到下的步骤继续估计,直到已经处理了目标图像中的所有的块。该步骤被称作从左到右、从上到下的扫描顺序(或者光栅扫描顺序)。
在图4所示的示例中,加阴影的块已经被运动估计方法处理过,因此具有运动矢量。还要针对未加阴影的块执行运动估计。因此,对于作为将要被运动估计方法处理的下一个块的特定块Bi,j=X而言,其前导相邻块的集合包含所有加阴影的块。然而,可以将前导相邻块的集合定义为所有前导块的子集。例如,块a到e可以被选择作为Bi,j=X的前导相邻块的集合,即Pi,j=[a,b,c,d,e],该Pi,j用于调整目标块X中的运动搜索范围。
虽然在该示例中使用从左到右的扫描顺序,但是对块的扫描顺序可以是任意的。所使用的扫描顺序的类型决定了哪些相邻块在目标块之前接收到运动估计结果。自适应的方法使用这些块来调整用于目标块的的运动搜索范围,这些块的至少一些用作前导相邻块。
块扫描顺序的另一示例是如图5所示的子采样扫描顺序。如在说明性目标图像510中由加阴影的块所示出的,在第一轮中从左到右从上到下地隔块扫描。在该轮中扫描的块是从目标图像的所有块中子采样得到的。那么,如在说明性目标图像520中示出的,在第二轮扫描期间扫描剩余的块。
该子采样方案的一个优点是在第二轮中扫描的块可以具有所有方向上的前导相邻块,而非如图4所示的仅在上方和左侧方向上具有。例如,520中的块X可以具有作为前导相邻块的块f,g,h,i,j和k。因此,虽然当使用子采样扫描顺序时块f和k是目标块X的前导相邻块,然而当使用光栅扫描顺序时块f和k将不再是前导相邻块。该子采样扫描顺序可以导致在获得估计运动范围
Figure A200680034098D00131
值和调整值(δx,δy)方面的改进。
图6示出使用自适应的运动搜索范围方法的系统的示例。数字视频相机610捕获电子形式的图像,并且通过压缩设备620来处理图像,该压缩设备620在压缩和编码处理期间实现自适应的运动搜索范围方法。经由电子传输介质630将经编码的图像发送到数字回放设备640。图像被解码设备650解码,该解码设备在解码处理期间使用该方法。相机610是包括本发明的实施例的各种图像处理装置(例如,其他的图像捕获设备、图像编辑器、图像处理器、个人和商务计算平台等)的说明性装置。类似地,解码设备650是解码图像数据的各种设备的说明性设备。
虽然根据具体系统环境中的说明性实施例描述了本发明,但是本领域中的技术人员应认识到,可以在随附权利要求的精神和范围内在其他的并且不同的硬件和软件环境中以各种方式来实践本发明。
Figure A200680034098E00211
Figure A200680034098E00221
Figure A200680034098E00231
通过使用多个参考图像来计算所述运动矢量。

Claims (24)

1.一种由电子数据处理器执行的方法,包括:
计算目标图像中的像素块的运动矢量;
通过使用所述计算得到的运动矢量来生成与所述目标图像中的目标像素块相关联的搜索范围;并且
通过使用所述生成的搜索范围来估计所述目标像素块的运动。
2.如权利要求1所述的方法,其中生成所述搜索范围包括:
通过使用所述计算得到的运动矢量来确定估计运动范围。
3.如权利要求2所述的方法,其中确定所述估计运动范围包括:
将低通滤波器应用于所述计算得到的运动矢量。
4.如权利要求3所述的方法,其中将所述滤波器应用于所述计算得到的运动矢量包括:
mx ^ i , j = L × ( M x ) T , my ^ i , j = L × ( M y ) T ,
其中L是具有n个抽头的滤波器,从而L=[l1,l2,...,ln],并且li是抽头i的滤波系数;
Figure A200680034098C00023
是所述目标块的所述估计运动范围的x轴的值;Mx是包含所述计算得到的运动矢量的x轴的值的矢量;(Mx)T是矢量Mx的转置;是所述目标块的所述估计运动范围的y轴的值;My是包含所述计算得到的运动矢量的y轴的值的矢量;并且(My)T是矢量My的转置。
5.如权利要求1所述的方法,其中生成所述运动搜索范围包括:
确定所述计算得到的运动矢量的方差。
6.如权利要求5所述的方法,其中确定所述方差包括:
将高通滤波器应用于所述计算得到的运动矢量。
7.如权利要求1所述的方法,还包括:
确定对于所述目标图像中的块的块扫描顺序,所述块扫描顺序是从如下组中选出的:光栅扫描顺序和子采样顺序。
8.如权利要求1所述的方法,其中计算所述目标图像中的像素块的运动矢量包括:
通过使用多个参考图像来计算所述运动矢量。
9.一种装置,包括:
运动矢量计算器,其计算目标图像中的像素块的运动矢量;
搜索范围计算器,其使用所述计算得到的运动矢量来生成与所述目标图像中的目标像素块相关联的搜索范围;并且
运动估计器,其使用所述生成的搜索范围来估计所述目标像素块的运动。
10.如权利要求9所述的装置,其中所述搜索范围计算器使用所述计算得到的运动矢量来确定估计运动范围。
11.如权利要求10所述的装置,其中所述搜索范围计算器将低通滤波器应用于所述计算得到的运动矢量。
12.如权利要求11所述的装置,其中所述搜索范围计算器应用:
mx ^ i , j = L × ( M x ) T , my ^ i , j = L × ( M y ) T ,
其中L是具有n个抽头的滤波器,从而L=[l1,l2,...,ln],并且li是抽头i的滤波系数;
Figure A200680034098C00033
是所述目标块的所述估计运动范围的x轴的值;Mx是包含所述计算得到的运动矢量的x轴的值的矢量;(Mx)T是矢量Mx的转置;
Figure A200680034098C00034
是所述目标块的所述估计运动范围的y轴的值;My是包含所述计算得到的运动矢量的y轴的值的矢量;并且(My)T是矢量My的转置。
13.如权利要求9所述的装置,其中所述搜索范围计算器确定所述计算得到的运动矢量的方差。
14.如权利要求9所述的装置,其中所述搜索范围计算器通过将高通滤波器应用于所述计算得到的运动矢量来确定所述方差。
15.如权利要求9所述的装置,其中以光栅扫描顺序或者子采样顺序扫描所述目标图像中的块。
16.如权利要求9所述的装置,其中所述运动矢量计算器通过使用多个参考图像来计算所述运动矢量。
17.一种存储指令程序的计算机可读介质,当处理系统执行所述指令程序时致使所述系统执行包括如下步骤的方法:
计算目标图像中的像素块的运动矢量;
通过使用所述计算得到的运动矢量来生成与所述目标图像中的目标像素块相关联的搜索范围;并且
通过使用所述生成的搜索范围来估计所述目标像素块的运动。
18.如权利要求17所述的计算机可读介质,其中生成所述搜索范围包括:
通过使用所述计算得到的运动矢量来确定估计运动范围。
19.如权利要求18所述的计算机可读介质,其中确定所述估计运动范围包括:
将低通滤波器应用于所述计算得到的运动矢量。
20.如权利要求19所述的计算机可读介质,其中将所述滤波器应用于所述计算得到的运动矢量包括:
mx ^ i , j = L × ( M x ) T , my ^ i , j = L × ( M y ) T ,
其中L是具有n个抽头的滤波器,从而L=[l1,l2,...,ln],并且li是抽头i的滤波系数;
Figure A200680034098C00043
是所述目标块的所述估计运动范围的x轴的值;Mx是包含所述计算得到的运动矢量的x轴的值的矢量;(Mx)T是矢量Mx的转置;
Figure A200680034098C00044
是所述目标块的所述估计运动范围的y轴的值;My是包含所述计算得到的运动矢量的y轴的值的矢量;并且(My)T是矢量My的转置。
21.如权利要求17所述的计算机可读介质,其中生成所述运动搜索范围包括:
确定所述计算得到的运动矢量的方差。
22.如权利要求21所述的计算机可读介质,其中确定所述方差包括:
将高通滤波器应用于所述计算得到的运动矢量。
23.如权利要求17所述的计算机可读介质,还包括:
确定对于所述目标图像中的块的块扫描顺序,所述块扫描顺序是从如下组中选出的:光栅扫描顺序和子采样顺序。
24.如权利要求17所述的计算机可读介质,其中计算所述目标图像中的像素块的运动矢量包括:
通过使用多个参考图像来计算所述运动矢量。
CN2006800340986A 2005-09-16 2006-09-07 自适应的运动搜索范围 Expired - Fee Related CN101366279B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/228,656 US8107748B2 (en) 2005-09-16 2005-09-16 Adaptive motion search range
US11/228,656 2005-09-16
PCT/US2006/034968 WO2007035276A2 (en) 2005-09-16 2006-09-07 Adaptive motion search range

Publications (2)

Publication Number Publication Date
CN101366279A true CN101366279A (zh) 2009-02-11
CN101366279B CN101366279B (zh) 2013-05-22

Family

ID=37884048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800340986A Expired - Fee Related CN101366279B (zh) 2005-09-16 2006-09-07 自适应的运动搜索范围

Country Status (6)

Country Link
US (1) US8107748B2 (zh)
EP (1) EP1932366A4 (zh)
JP (1) JP5281891B2 (zh)
KR (1) KR101342284B1 (zh)
CN (1) CN101366279B (zh)
WO (1) WO2007035276A2 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101873483B (zh) * 2009-04-24 2012-08-29 深圳市九洲电器有限公司 一种运动估计方法及采用运动估计方法的编码芯片、装置
CN104639944A (zh) * 2013-11-13 2015-05-20 安纳帕斯股份有限公司 运动估计的方法和使用该方法的图像处理装置
CN106340047A (zh) * 2016-09-07 2017-01-18 北京市商汤科技开发有限公司 图像生成方法、装置和系统
CN107018315A (zh) * 2015-11-26 2017-08-04 佳能株式会社 摄像设备、运动矢量检测装置及其控制方法
CN108010067A (zh) * 2017-12-25 2018-05-08 北京航空航天大学 一种基于组合判断策略的视觉目标跟踪方法
TWI656511B (zh) * 2017-07-27 2019-04-11 鴻海精密工業股份有限公司 監控方法、計算裝置及電腦可讀存儲介質
CN114697678A (zh) * 2020-12-30 2022-07-01 中科寒武纪科技股份有限公司 图像编码方法、装置、存储介质及设备

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6765964B1 (en) 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
JP4757080B2 (ja) * 2006-04-03 2011-08-24 パナソニック株式会社 動き検出装置、動き検出方法、動き検出集積回路および画像符号化装置
US8693541B2 (en) * 2007-05-24 2014-04-08 Samsung Electronics Co., Ltd System and method of providing motion estimation
KR20090129926A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
JP2010030281A (ja) * 2008-06-27 2010-02-12 Canon Inc 搬送装置及び記録装置
US8559518B2 (en) * 2008-06-30 2013-10-15 Samsung Electronics Co., Ltd. System and method for motion estimation of digital video using multiple recursion rules
KR100986719B1 (ko) * 2008-07-30 2010-10-11 재단법인서울대학교산학협력재단 H.264/avc 움직임 추정의 연산량 감소방법
US8379727B2 (en) 2008-09-26 2013-02-19 General Instrument Corporation Method and apparatus for scalable motion estimation
KR101543298B1 (ko) * 2008-10-13 2015-08-10 에스케이 텔레콤주식회사 동영상 부호화/복호화 장치 및 그를 위한 가변 단위의 적응적 중첩 블록 움직임 보상 장치 및 방법
KR101487685B1 (ko) 2008-11-21 2015-01-29 삼성전자주식회사 이미지 처리장치, 이미지 처리방법 및 처리방법을 실행시키기 위한 프로그램을 저장한 기록매체
US8295551B2 (en) 2009-04-08 2012-10-23 Samsung Electronics Co., Ltd. System and method of adaptive vertical search range tracking for motion estimation in digital video
JP5238882B2 (ja) * 2009-06-01 2013-07-17 パナソニック株式会社 画像符号化装置、方法、集積回路、プログラム
US8462852B2 (en) * 2009-10-20 2013-06-11 Intel Corporation Methods and apparatus for adaptively choosing a search range for motion estimation
US8917769B2 (en) * 2009-07-03 2014-12-23 Intel Corporation Methods and systems to estimate motion based on reconstructed reference frames at a video decoder
US20110002387A1 (en) * 2009-07-03 2011-01-06 Yi-Jen Chiu Techniques for motion estimation
US9654792B2 (en) 2009-07-03 2017-05-16 Intel Corporation Methods and systems for motion vector derivation at a video decoder
US9609342B2 (en) 2010-02-19 2017-03-28 Skype Compression for frames of a video signal using selected candidate blocks
US9819358B2 (en) 2010-02-19 2017-11-14 Skype Entropy encoding based on observed frequency
US9313526B2 (en) 2010-02-19 2016-04-12 Skype Data compression for video
US9078009B2 (en) 2010-02-19 2015-07-07 Skype Data compression for video utilizing non-translational motion information
US20110228851A1 (en) * 2010-03-18 2011-09-22 Amir Nusboim Adaptive search area in motion estimation processes
WO2012083487A1 (en) 2010-12-21 2012-06-28 Intel Corporation System and method for enhanced dmvd processing
WO2012044118A2 (ko) * 2010-09-30 2012-04-05 한국전자통신연구원 오차 보상을 이용한 영상 부호화/복호화 방법 및 장치
KR101443701B1 (ko) * 2010-11-22 2014-09-29 한국전자통신연구원 적응형 움직임 탐색 범위 결정 장치 및 방법
ES2609303T3 (es) * 2011-03-09 2017-04-19 Nippon Telegraph And Telephone Corporation Dispositivo de codificación de vídeo, procedimiento de codificación de vídeo y programa de codificación de vídeo
US10440373B2 (en) * 2011-07-12 2019-10-08 Texas Instruments Incorporated Method and apparatus for coding unit partitioning
KR102131326B1 (ko) 2013-08-22 2020-07-07 삼성전자 주식회사 영상 프레임 움직임 추정 장치, 그것의 움직임 추정 방법
WO2016185598A1 (ja) * 2015-05-21 2016-11-24 オリンパス株式会社 撮像装置、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体
US20160360234A1 (en) 2015-06-03 2016-12-08 Apple Inc. Techniques For Resource Conservation During Performance Of Intra Block Copy Prediction Searches
US11461919B2 (en) * 2016-04-21 2022-10-04 Ramot At Tel Aviv University Ltd. Cascaded neural network
JP6538609B2 (ja) * 2016-05-11 2019-07-03 日本電信電話株式会社 動きベクトル検出装置、動きベクトル検出方法及び動きベクトル検出プログラム
CN108305272B (zh) * 2018-02-27 2020-04-28 郑州轻工业学院 一种基于alo搜索的突变运动目标跟踪方法
EP3833028B1 (en) 2019-12-03 2022-02-09 Axis AB Method and system for calculating a cost of encoding a motion vector

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3877105D1 (zh) 1987-09-30 1993-02-11 Siemens Ag, 8000 Muenchen, De
US5690934A (en) * 1987-12-31 1997-11-25 Tanox Biosystems, Inc. Peptides relating to the extracellular membrane-bound segment of human alpha chain
US5047850A (en) 1989-03-03 1991-09-10 Matsushita Electric Industrial Co., Ltd. Detector for detecting vector indicating motion of image
US6091460A (en) * 1994-03-31 2000-07-18 Mitsubishi Denki Kabushiki Kaisha Video signal encoding method and system
GB9422738D0 (en) * 1994-11-10 1995-01-04 Univ Western Ontario Context-based, adaptive, progressive, lossless compression of still continuous -tone images
US5872866A (en) 1995-04-18 1999-02-16 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression by predetermination of IDCT results based on image characteristics
US5654771A (en) 1995-05-23 1997-08-05 The University Of Rochester Video compression system using a dense motion vector field and a triangular patch mesh overlay model
AU5501296A (en) 1996-04-19 1997-11-12 Nokia Mobile Phones Limited Video encoder and decoder using motion-based segmentation and merging
US6101276A (en) 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
JP3967405B2 (ja) 1996-10-09 2007-08-29 テキサス インスツルメンツ インコーポレイテツド 画像信号の符号化方法
JP4034380B2 (ja) 1996-10-31 2008-01-16 株式会社東芝 画像符号化/復号化方法及び装置
DE19648016A1 (de) 1996-11-20 1998-05-28 Philips Patentverwaltung Verfahren zur fraktalen Bildkodierung und Anordnung zur Durchführung des Verfahrens
EP2173103A3 (en) 1997-02-13 2010-09-08 Mitsubishi Denki Kabushiki Kaisha Moving picture prediction system
US6014181A (en) * 1997-10-13 2000-01-11 Sharp Laboratories Of America, Inc. Adaptive step-size motion estimation based on statistical sum of absolute differences
US6178205B1 (en) 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
US6208692B1 (en) 1997-12-31 2001-03-27 Sarnoff Corporation Apparatus and method for performing scalable hierarchical motion estimation
US6591015B1 (en) 1998-07-29 2003-07-08 Matsushita Electric Industrial Co., Ltd. Video coding method and apparatus with motion compensation and motion vector estimator
KR100301833B1 (ko) 1998-08-20 2001-09-06 구자홍 오류은폐방법
US6711278B1 (en) 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US6466624B1 (en) 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
JP2000308064A (ja) 1999-04-22 2000-11-02 Mitsubishi Electric Corp 動きベクトル検出装置
US6480615B1 (en) 1999-06-15 2002-11-12 University Of Washington Motion estimation within a sequence of data frames using optical flow with adaptive gradients
WO2001010135A1 (en) * 1999-07-29 2001-02-08 Mitsubishi Denki Kabushiki Kaisha Moving vector detecting method
JP3753578B2 (ja) 1999-12-07 2006-03-08 Necエレクトロニクス株式会社 動きベクトル探索装置および方法
US6864994B1 (en) 2000-01-19 2005-03-08 Xerox Corporation High-speed, high-quality descreening system and method
CN1205818C (zh) 2000-04-11 2005-06-08 皇家菲利浦电子有限公司 视频编码和解码方法
WO2002037859A2 (en) 2000-11-03 2002-05-10 Compression Science Video data compression system
US6682358B1 (en) * 2000-11-15 2004-01-27 Westinghouse Electric Company Llc Instrumentation electrical connector protector
US6782054B2 (en) 2001-04-20 2004-08-24 Koninklijke Philips Electronics, N.V. Method and apparatus for motion vector estimation
US7110455B2 (en) * 2001-08-14 2006-09-19 General Instrument Corporation Noise reduction pre-processor for digital video using previously generated motion vectors and adaptive spatial filtering
KR100455119B1 (ko) * 2002-01-26 2004-11-06 엘지전자 주식회사 움직임 벡터 영역의 적응적 결정 방법
KR100492127B1 (ko) * 2002-02-23 2005-06-01 삼성전자주식회사 적응형 움직임 추정장치 및 추정 방법
JP2005532725A (ja) 2002-07-09 2005-10-27 ノキア コーポレイション ビデオ符号化における内挿フィルタタイプの選択方法および選択システム
US7068722B2 (en) 2002-09-25 2006-06-27 Lsi Logic Corporation Content adaptive video processor using motion compensation
JP4462823B2 (ja) 2002-11-20 2010-05-12 ソニー株式会社 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
JP3997171B2 (ja) 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
WO2005036887A1 (ja) * 2003-10-14 2005-04-21 Nec Corporation 動きベクトル探索方法、動きベクトル探索装置および動きベクトル探索プログラム
US7480334B2 (en) 2003-12-23 2009-01-20 Genesis Microchip Inc. Temporal motion vector filtering
KR20050075483A (ko) 2004-01-15 2005-07-21 삼성전자주식회사 비디오 코딩 및 디코딩 방법, 및 이를 위한 장치
TWI274509B (en) * 2005-02-22 2007-02-21 Sunplus Technology Co Ltd Method and system for dynamically adjusting motion estimation

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101873483B (zh) * 2009-04-24 2012-08-29 深圳市九洲电器有限公司 一种运动估计方法及采用运动估计方法的编码芯片、装置
CN104639944A (zh) * 2013-11-13 2015-05-20 安纳帕斯股份有限公司 运动估计的方法和使用该方法的图像处理装置
US10448048B2 (en) 2013-11-13 2019-10-15 Anapass Inc. Method of motion estimation and image processing apparatus using the same
CN107018315A (zh) * 2015-11-26 2017-08-04 佳能株式会社 摄像设备、运动矢量检测装置及其控制方法
CN106340047A (zh) * 2016-09-07 2017-01-18 北京市商汤科技开发有限公司 图像生成方法、装置和系统
CN106340047B (zh) * 2016-09-07 2018-07-27 北京市商汤科技开发有限公司 图像生成方法、装置和系统
TWI656511B (zh) * 2017-07-27 2019-04-11 鴻海精密工業股份有限公司 監控方法、計算裝置及電腦可讀存儲介質
CN108010067A (zh) * 2017-12-25 2018-05-08 北京航空航天大学 一种基于组合判断策略的视觉目标跟踪方法
CN108010067B (zh) * 2017-12-25 2018-12-07 北京航空航天大学 一种基于组合判断策略的视觉目标跟踪方法
CN114697678A (zh) * 2020-12-30 2022-07-01 中科寒武纪科技股份有限公司 图像编码方法、装置、存储介质及设备

Also Published As

Publication number Publication date
EP1932366A4 (en) 2011-03-16
WO2007035276A3 (en) 2008-08-14
EP1932366A2 (en) 2008-06-18
WO2007035276A2 (en) 2007-03-29
CN101366279B (zh) 2013-05-22
JP5281891B2 (ja) 2013-09-04
WO2007035276B1 (en) 2008-09-25
JP2009509408A (ja) 2009-03-05
US8107748B2 (en) 2012-01-31
US20070064803A1 (en) 2007-03-22
KR101342284B1 (ko) 2013-12-16
KR20080046269A (ko) 2008-05-26

Similar Documents

Publication Publication Date Title
CN101366279B (zh) 自适应的运动搜索范围
US11546627B2 (en) Moving picture decoding method and moving picture encoding method
US7869518B2 (en) Fast motion estimation apparatus and method using block matching algorithm
US7876828B2 (en) Method, medium, and apparatus predicting direct mode motion of a multi-angle moving picture
KR101217627B1 (ko) 블록 기반의 움직임 추정 방법 및 장치
US20060045186A1 (en) Apparatus and method for coding moving picture
US7620108B2 (en) Integrated spatial-temporal prediction
JP2006313950A (ja) 画像符号化装置、及び画像符号化方法
JPH08265781A (ja) 動きベクトル特定方法及び装置
JPH0634651A (ja) 運動ベクター検出方法および装置
KR100994768B1 (ko) 동영상 부호화를 위한 움직임 추정 방법 및 이를 구현하기위한 프로그램이 기록된 기록 매체
EP1703736A1 (en) Global motion estimation
US20100080298A1 (en) Refined Weighting Function and Momentum-Directed Genetic search pattern algorithm
RU2562414C1 (ru) Способ быстрого выбора режима пространственного предсказания в системе кодирования hevc
CN103974077B (zh) 一种用于h.264编码的整数运动估计快速搜索方法
KR100490730B1 (ko) 비디오 영상 압축 시스템에서의 적응적 패턴을 이용한움직임 예측 장치 및 방법
JP2007174202A (ja) 動きベクトル検出装置およびその方法
US20050141615A1 (en) Motion vector estimating method and motion vector estimating apparatus using block matching process
US7885335B2 (en) Variable shape motion estimation in video sequence
US10075691B2 (en) Multiview video coding method using non-referenced view video group
US6463164B1 (en) Motion vector estimation based on statistical features of an image frame
JP2005217746A (ja) 動き予測情報検出装置
WO1999044369A1 (en) Device and method for coding image
Sudhakar et al. Fast Motion Estimation using Modified Unsymmetrical Cross MultiHexagon Grid Search Algorithms for Video Coding Techniques
Jacob et al. An efficient motion estimation algorithm based on particle swarm optimization

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130522

Termination date: 20150907

EXPY Termination of patent right or utility model