CN101742278A - 获取图像的运动矢量和边界强度的方法和系统 - Google Patents

获取图像的运动矢量和边界强度的方法和系统 Download PDF

Info

Publication number
CN101742278A
CN101742278A CN200810171819A CN200810171819A CN101742278A CN 101742278 A CN101742278 A CN 101742278A CN 200810171819 A CN200810171819 A CN 200810171819A CN 200810171819 A CN200810171819 A CN 200810171819A CN 101742278 A CN101742278 A CN 101742278A
Authority
CN
China
Prior art keywords
decode
described current
motion vector
current piecemeal
piecemeal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200810171819A
Other languages
English (en)
Other versions
CN101742278B (zh
Inventor
严英睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Fujitsu Semiconductor Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Semiconductor Ltd filed Critical Fujitsu Semiconductor Ltd
Priority to CN2008101718199A priority Critical patent/CN101742278B/zh
Priority to US12/606,836 priority patent/US8396131B2/en
Priority to JP2009259151A priority patent/JP5423328B2/ja
Publication of CN101742278A publication Critical patent/CN101742278A/zh
Application granted granted Critical
Publication of CN101742278B publication Critical patent/CN101742278B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了一种获取图像的运动矢量和边界强度的方法和系统。其中，该方法包括以下步骤：S202，根据当前要解码的分块的类型以及当前要解码的分块所在宏块/子宏块的类型，确定当前要解码的分块的运动矢量预测方向信息和运动矢量计算方法信息；S204，根据当前要解码的分块的运动矢量计算方法信息，利用当前要解码的分块的运动矢量预测方向信息获取计算当前要解码的分块的运动矢量所需的相关信息；以及S206，利用所获取的计算当前要解码的分块的运动矢量所需的相关信息计算当前要解码的分块的运动矢量，并利用当前要解码的分块的运动矢量计算当前要解码的分块的边界强度。

Description

获取图像的运动矢量和边界强度的方法和系统
技术领域
本发明涉及图像处理领域，更具体地涉及获取图像的运动矢量和边界强度的方法和系统。
背景技术
一般，视频解码标准中关于运动矢量(Motion Vector，MV)的计算方法主要包括以下两种类型：利用周围块或宏块信息的计算方法(记为NEI_CALC)、和利用对应位置(co-located)块或宏块信息的计算方法(记为COLO_CALC)。
其中，NEI_CALC主要涉及以下步骤：根据当前要解码的分块的大小找出该当前要解码的分块的周围块的相关信息(如图1中所示，块A、B、C、D等的相关信息)，并利用所找出的信息以及该当前要解码的分块的其他信息(例如，运动矢量残差、运动矢量预测方向等)根据视频解码标准定义的计算步骤进行计算。
其中，COLO_CALC主要涉及以下步骤：根据当前要解码的分块的位置找出后向参考帧中的对应位置块的信息(例如，对应位置块的运动矢量和参考帧图像索引值等)，并利用所找出的信息根据视频解码标准定义的计算步骤进行计算。
另外，视频解码标准中关于边界强度(Boundary Strength，BS)的计算方法主要利用了当前要解码的分块的边和邻近的边的像素点所在分块的信息，例如，宏块类型、量化参数(Quantize Parameter，QP)值、分块划分、分块残差数据的非零个数和分块所在运动矢量值的差值等进行计算。
例如，在H.264视频解码标准中，在主规范(Main Profile)的主级别(Main Level)的情况下，NEI_CALC涉及的分块大小可以包括16x16到4x4的范围中各种分块大小：16x16、16x8、8x16、8x8、8x4、4x8、4x4，其中，最小分块为4x4块，所涉及的计算模式有前向预测(PRED_L0)、后向预测(PRIED_L1)、双向预测(PRED_BI)和P跳过宏块(PSKIP)。另外，COLO_CALC所涉及的分块大小有16x16和8x8，所涉及的计算模式有空域直接预测模式(Spatial Direct Mode)和时域直接预测模式(Temporal Direct Mode)。另外，在单向预测P和双向预测B的情况下，还可能需要计算加权预测模式。而对于BS计算，在一个宏块中，如果按照最坏情况下4x4块的边来算，最多可能存在40组不同的BS值分别对应所述宏块的不同像素点。
从以上信息可以看出，视频解码标准中MV和BS的计算有其共通的部分，如都存在对于当前要解码的分块的周围块或宏块信息的利用。但由于它们各自计算时的分块大小各不相同，计算模式也复杂多变，通常的做法是将MV的计算和BS的计算分割成两个独立的计算部件，顺序的分别执行宏块的MV计算和宏块的BS计算。例如，先根据宏块中不同分块所使用的不同计算模式分别执行对应该分块的MV计算并得到整个宏块的所有分块的MV值，再利用上述计算出来的整个宏块的所有分块的MV值结合上述宏块/分块可得到的其他信息来计算该宏块的BS值。但是这样的做法也有其固有的缺陷，首先，由于MV和BS的不同分块和计算路径众多，导致MV和BS计算无法统一，同时两者的计算时间也时快时慢，其次，由于不能有效利用MV和BS计算中的特有共性，两者存在重复执行类似操作的情况，如在最坏情况(4x4块，双向预测)的情况下，MV+BS的计算时间几乎是单个MV计算时间的两倍。
发明内容
鉴于以上所述的一个或多个问题，本发明提供了一种获取图像的运动矢量和边界强度的方法和系统。
根据本发明实施例的获取图像的运动矢量和边界强度的方法，包括以下步骤：S202，根据当前要解码的分块的类型以及当前要解码的分块所在宏块/子宏块的类型，确定当前要解码的分块的运动矢量预测方向信息和运动矢量计算方法信息；S204，根据当前要解码的分块的运动矢量计算方法信息，利用当前要解码的分块的运动矢量预测方向信息获取计算当前要解码的分块的运动矢量所需的相关信息；以及S206，利用所获取的计算当前要解码的分块的运动矢量所需的相关信息计算当前要解码的分块的运动矢量，并利用当前要解码的分块的运动矢量计算当前要解码的分块的边界强度。
根据本发明实施例的获取图像的运动矢量和边界强度的系统，包括：第一装置，用于根据当前要解码的分块的类型以及当前要解码的分块所在宏块/子宏块的类型，确定当前要解码的分块的运动矢量预测方向信息和运动矢量计算方法信息；第二装置，用于根据当前要解码的分块的运动矢量计算方法信息，利用当前要解码的分块的运动矢量预测方向信息获取计算当前要解码的分块的运动矢量所需的相关信息；以及第三装置，用于利用所获取的计算当前要解码的分块的运动矢量所需的相关信息计算当前要解码的分块的运动矢量，并利用当前要解码的分块的运动矢量计算当前要解码的分块的边界强度。
本发明针对以上问题，统一了MV和BS的计算模式，将所有分块大小和不同计算模式都统一到了一种相同的4x4最小划分块的计算方式上，其在所有情况下执行时间一致，且和最坏情况下(4x4块，双向预测)的单个MV计算的时间相当。
附图说明
图1是当前要解码的分块及其周围分块的示意图；
图2是根据本发明实施例的获取图像的运动矢量和边界强度的方法的流程图；
图3是根据本发明实施例的用于MV计算的运动矢量保存信息(MVP_INFO)和对应位置保存信息(COLO_INFO)、以及用于BS计算的边界强度保存信息(BS_INFO)和边界强度宏块保存信息(BSUS_INFO)的示意图；以及
图4是根据本发明实施例的用于获取图像的运动矢量和边界强度的系统的框图。
具体实施方式
下面参考附图，详细描述本发明的具体实施方式。
图2是根据本发明实施例的获取图像的运动矢量和边界强度的方法的流程图。如图2所示，该方法包括以下步骤：S202，根据当前要解码的分块的类型以及当前要解码的分块所在宏块/子宏块的类型，确定当前要解码的分块的运动矢量预测方向信息和运动矢量计算方法信息；S204，根据当前要解码的分块的运动矢量计算方法信息，利用当前要解码的分块的运动矢量预测方向信息获取计算当前要解码的分块的运动矢量所需的相关信息；以及S206，利用所获取的计算当前要解码的分块的运动矢量所需的相关信息计算当前要解码的分块的运动矢量，并利用当前要解码的分块的运动矢量计算当前要解码的分块的边界强度。
在当前要解码的分块的运动矢量计算方法信息指示通过利用周围块信息的计算方法来计算当前要解码的分块的运动矢量时，在步骤S204中，利用当前要解码的分块的运动矢量预测方向信息获取当前要解码的分块的运动矢量残差和当前要解码的分块的周围块的相关信息，并且在步骤S206中，利用当前要解码的分块的周围块的相关信息计算当前要解码的分块的运动矢量预测值，并通过将当前要解码的分块的运动矢量预测值和当前要解码的分块的运动矢量残差相加来计算当前要解码的分块的运动矢量。
在当前要解码的分块的运动矢量计算方法信息指示通过利用对应位置块信息的计算方法来计算当前要解码的分块的运动矢量时，在步骤S204中，根据当前要解码的分块的运动矢量计算方法信息确定当前要解码的分块的后向参考帧对应位置块的相关信息，利用当前要解码的分块的运动矢量预测方向信息获取当前要解码的分块的参考帧图像顺序号，并且在步骤S206中，利用当前要解码的分块的后向参考帧对应位置块的相关信息和参考帧图像顺序号计算当前要解码的分块的运动矢量。
在当前要解码的分块的运动矢量计算方法信息指示通过利用周围块信息和对应位置块信息相结合的计算方法来计算当前要解码的分块的运动矢量时，在步骤S204中，根据当前要解码的分块的运动矢量计算方法信息获取当前要解码的分块的周围块的相关信息和当前要解码的分块的后向参考帧对应位置块的相关信息，，并且在步骤S206中，利用当前要解码的分块的周围块的相关信息计算当前要解码的分块的运动矢量预测值，并结合当前要解码的分块的后向参考帧对应位置块的相关信息和运动矢量预测值计算当前要解码的分块的运动矢量。可以根据当前要解码的分块的运动矢量计算方法信息从预先存在的当前要解码的分块的后向参考帧的所有信息中确定当前要解码的分块的后向参考帧对应位置块的相关信息。
另外，在上述两种情况中的任意一种情况下，还可以在步骤S204中利用当前要解码的分块的运动矢量预测方向信息获取当前要解码的分块的参考帧图像顺序号，并且可以在步骤206中利用当前要解码的分块的参考帧图像顺序号为当前要解码的分块的运动矢量计算加权预测值。
具体地，可以预先保存获取图像的MV和BS值需要的周围块或宏块的相关信息。在本实施例中，为一个宏块/子宏块中的所有16个4x4块都保存对应的4x4块信息用于计算宏块/子宏块中的任意一个4x4块的MV和BS值。其中，在用于NEI_CALC的基于行缓存的算法中，在宏块级的帧场自适应(MBAFF)情况下，一般至少需要保存与需要解码的4x4块所在宏块相邻的两行4x4块的相关信息用于求解计算该需要解码的4x4块的MV和BS值的过程中；在非MBAFF情况下，一般至少需要保存与需要解码的4x4块所在宏块/子宏块相邻的一行4x4块的相关信息用于求解计算该需要解码的4x4块的MV和BS值的过程中。在用于COLO_CALC的基于帧缓存的算法中，还需要特别保存后向参考帧中的块或宏块的相关信息用于计算，并且一般至少需要为每个参考帧保存整帧的对应位置信息(COLO_INFO)。
其中，图3示出了用于MV计算的MVP_INFO和COLO_INFO、以及用于BS计算的BS_INFO和BSUS_INFO(其用于保存BS计算所需的上一行的宏块信息)。如图3所示，其中运动矢量保存信息(MVP_INFO)包括前向预测方向指示信号(PRED_L0)、前向参考图像索引值(REFIDX_L0)、前向水平方向运动矢量值(MVX_L0)、前向垂直方向运动矢量值(MVY_L0)、后向预测方向指示信号(PRED_L1)、后向参考图像索引值(REFIDX_L1)、后向水平方向运动矢量值(MVX_L1)、后向垂直方向运动矢量值(MVY_L1)；对应位置保存信息(COLO_INFO)包括场编码宏块对指示信号(MB_FIELD_DECODING_FLAG)、块运动指示信号(BLK_MOVING)、真实参考图像标记值(PICIDX)、参考帧奇偶场选择信号(PARITY)、水平方向运动矢量值(MVX)、垂直方向运动矢量值(MVY)；边界强度保存信息(BS_INFO)包括非零残差块指示信号(IS_NON_ZERO_BLK)、宏块场编码指示信号(IS_MB_FIELD)、宏块帧内编码指示信号(IS_MB_INTRA)、前向参考图像标记值(PICIDX_L0，其唯一记录对应前向的参考图像)、前向参考图像奇偶场选择信号(PICIDX_PARITY_L0)、后向参考图像标记值(PICIDX_L1，其唯一记录对应后向的参考图像)、后向参考图像奇偶场选择信号(PICIDX_PARITY_L1)；边界强度宏块保存信息(BSUS_INFO)包括宏块编码模式(MBMODE，其可包括参考帧的帧场选择和宏块帧场自适应(MBAFF)信息)、宏块量化值(QPYC，其可包括亮度块量化值和色度块量化值)。
不论是NEI_CALC还是COLO_CALC，在本实施例中，针对每个宏块的16个4x4块中的每一个都进行基于12拍的迭代计算。其中，在迭代计算开始的时候，根据当前要解码的4x4块所在宏块/子宏块的类型和该当前要解码的4x4块的类型给出关于该当前要解码的4x4块的以下控制信号(用于控制迭代计算中相关操作的执行)：PRED_L0和PRED_L1，用于给出当前要解码的4x4块的MV预测方向，分别对应前向预测和后向预测；MVD_EN，用于确定当前要解码的4x4块是否存在相关的运动矢量残差(MVD)信息；MV_EN，用于确定是否需要对当前要解码的4x4块执行MV计算；COLO_EN，用于确定是否需要对当前要解码的4x4块进行COLO_CALC计算；MV_MODE，用于给出当前要解码的4x4块的MV计算类型。
下面针对H.264视频解码标准的主规范和主级别，介绍基于最小划分块(4x4)计算运动矢量(MV)和边界强度(BS)的过程。NEI_CALC的基于4x4块的运动矢量(MV)和边界强度(BS)的计算模式有前向预测(PRED_L0)、后向预测(PRED_L1)、双向预测(PRED_BI)和P跳过宏块(PSKIP)。在NEI_CALC的基于4x4块的运动矢量(MV)和边界强度(BS)的计算过程中：
在第2、第3、第4和第5拍，分别得到当前要解码的4x4块所在分块(其可以是宏块或者子宏块中的分块)的左侧(NEI_A)、上侧(NEI_B)、右上侧(NEI_C)和左上侧(NEI_D)的分块的运动矢量保存信息(MVP_INFO)；
在第2和第3拍，分别得到对应于前向预测方向指示信号(PRED_L0)的前向运动矢量残差(MVD_L0)和对应于后向预测方向指示信号(PRED_L1)的后向运动矢量残差(MVD_L1)；
在第4和第5拍，分别得到对应于前向预测方向指示信号(PRED_L0)的真实前向参考图像标记值(PICIDX_L0)和对应于后向预测方向指示信号(PRED_L1)的真实后向参考图像标记值(PICIDX_L1)；
在第4和第5拍，分别利用当前要解码的4x4块的左侧的垂直边和上侧的水平边以及与该边邻近的边的像素点所在分块的信息，如宏块类型、量化参数、分块划分、分块残差数据的非零个数分别计算对应于当前要解码的4x4块的左侧边界强度(BS_L)和上侧边界强度(BS_T)的初始边界强度值；
在第6和第7拍，分别得到对应于前向预测方向指示信号(PRED_L0)的前向参考帧图像顺序号(POC_L0)和对应于后向预测方向指示信号(PRED_L1)的后向参考帧图像顺序号(POC_L1)；
在第6和第8拍，根据当前要解码的4x4块所在分块的左侧(NEI_A)、上侧(NEI_B)、右上侧(NEI_C)和左上侧(NEI_D)的分块的运动矢量保存信息(MVP_INFO)分别得到对应于前向预测方向指示信号(PRED_L0)的前向运动矢量预测值(MVP_L0)和对应于后向预测方向指示信号(PRED_L1)的后向运动矢量预测值(MVP_L1)；
在第7和第9拍，将前向运动矢量残差(MVD_L0)和后向运动矢量残差(MVD_L1)分别和前向运动矢量预测值(MVP_L0)和后向运动矢量预测值(MVP_L1)相加得到前向运动矢量(MV_L0)和后向运动矢量(MV_L1)作为运动矢量(MV)计算的结果；
在第8拍，计算当前要解码的4x4块所在帧的图像顺序号(POC_CUR)与前向参考帧图像顺序号(POC_L0)的差值(TD)；
在第9拍，计算前向参考帧图像顺序号(POC_L0)与后向参考帧图像顺序号(POC_L1)的差值(TB)；
在第10拍，根据差值(TD)和差值(TB)计算加权缩放因子(DistScaleFactor)；
在第11拍，根据加权缩放因子(DistScaleFactor)计算前向缩放参数(W0)和后向缩放参数(W1)作为加权预测(Weighted Prediction)计算的结果；
在第10和第11拍，根据当前要解码的4x4块左侧边界强度(BS_L)和上侧边界强度(BS_T)的初始边界强度值和当前要解码的4x4块所在分块的左侧(NEI_A)、上侧(NEI_B)、右上侧(NEI_C)和左上侧(NEI_D)的分块的运动矢量保存信息(MVP_INFO)和当前要解码的4x4块的前向运动矢量(MV_L0)和后向运动矢量(MV_L1)计算当前要解码的4x4块左侧边界强度(BS_L)和上侧边界强度(BS_T)作为边界强度(BS)计算的结果；
最后在第11拍，将当前要解码的4x4块的运动矢量保存信息(MVP_INFO)和对应位置保存信息(COLO_INFO)写回行缓存。
接着，描述空域直接预测模式(Spatial Direct)的基于4x4块的运动矢量(MV)和边界强度(BS)的计算过程：
在第2拍，得到当前要解码的4x4块在后向参考帧中对应位置块的对应位置保存信息(COLO_INFO)；
在第3拍，根据对应位置保存信息(COLO_INFO)计算对应块位置运动标记(colZeroFlag)；
在第4和第5拍，分别得到对应于前向预测方向指示信号(PRED_L0)的真实前向参考图像标记值(PICIDX_L0)和对应于后向预测方向指示信号(PRED_L1)的真实后向参考图像标记值(PICIDX_L1)；
在第4和第5拍，分别利用当前要解码的4x4块的左侧的垂直边和上侧的水平边以及与该边邻近的边的像素点所在分块的信息，如宏块类型、量化参数(Quantize Parameter，QP)、分块划分、分块残差数据的非零个数分别计算对应于当前要解码的4x4块左侧边界强度(BS_L)和上侧边界强度(BS_T)的初始边界强度值；
在第4和第5拍，根据对应块位置运动标记(colZeroFlag)和空域直接预测模式(Spatial Direct)特有的单独计算的默认运动矢量预测值分别得到对应于前向预测方向指示信号(PRED_L0)的前向运动矢量(MVP_L0)和对应于后向预测方向指示信号(PRED_L1)的后向运动矢量(MVP_L1)作为运动矢量(MV)计算的结果；
在第6和第7拍，分别得到对应于前向预测方向指示信号(PRED_L0)的前向参考帧图像顺序号(POC_L0)和对应于后向预测方向指示信号(PRED_L1)的后向参考帧图像顺序号(POC_L1)；
在第8拍，计算当前要解码的4x4块所在帧的图像顺序号(POC_CUR)与前向参考帧图像顺序号(POC_L0)的差值(TD)；
在第9拍，计算前向参考帧图像顺序号(POC_L0)与后向参考帧图像顺序号(POC_L1)的差值(TB)；
在第10拍，根据差值(TD)和差值(TB)计算加权缩放因子(DistScaleFactor)；
在第11拍，根据加权缩放因子(DistScaleFactor)计算前向缩放参数(W0)和后向缩放参数(W1)作为加权预测(Weighted Prediction)计算的结果；
在第10和第11拍，根据当前要解码的4x4块左侧边界强度(BS_L)和上侧边界强度(BS_T)的初始边界强度值和当前要解码的4x4块所在分块的左侧(NEI_A)、上侧(NEI_B)、右上侧(NEI_C)和左上侧(NEI_D)的分块的运动矢量保存信息(MVP_INFO)和当前要解码的4x4块的前向运动矢量(MV_L0)和后向运动矢量(MV_L1)计算当前要解码的4x4块左侧边界强度(BS_L)和上侧边界强度(BS_T)作为边界强度(BS)计算的结果；
最后在第11拍，将当前要解码的4x4块的运动矢量保存信息(MVP_INFO)和对应位置保存信息(COLO_INFO)写回行缓存。
接着，描述时域直接预测模式(Temporal Direct Mode)的基于4x4块的运动矢量(MV)和边界强度(BS)的计算过程：
在第2拍，得到当前要解码的4x4块在后向参考帧中对应位置块的对应位置保存信息(COLO_INFO)；
在第4拍，得到对应于前向预测方向指示信号(PRED_L0)的前向参考帧图像顺序号(POC_L0)和对应于后向预测方向指示信号(PRED_L1)的后向参考帧图像顺序号(POC_L1)；
在第5拍，得到对应于前向预测方向指示信号(PRED_L0)的真实前向参考图像标记值(PICIDX_L0)和对应于后向预测方向指示信号(PRED_L1)的真实后向参考图像标记值(PICIDX_L1)；
在第5拍，计算当前要解码的4x4块所在帧的图像顺序号(POC_CUR)与前向参考帧图像顺序号(POC_L0)的差值(TD)；
在第6拍，计算前向参考帧图像顺序号(POC_L0)与后向参考帧图像顺序号(POC_L1)的差值(TB)；
在第7拍，根据差值(TD)和差值(TB)计算加权缩放因子(DistScaleFactor)；
在第4和第5拍，根据对应块位置运动标记(colZeroFlag)和空域直接预测模式(Spatial Direct)特有的单独计算的默认运动矢量预测值分别得到对应于前向预测方向指示信号(PRED_L0)的前向运动矢量(MVP_L0)和对应于后向预测方向指示信号(PRED_L1)的后向运动矢量(MVP_L1)作为运动矢量(MV)计算的结果；
在第8和第9拍，分别得到对应于前向预测方向指示信号(PRED_L0)的前向水平方向运动矢量(MVP_L0_MVX)和对应于后向预测方向指示信号(PRED_L1)的后向水平方向运动矢量(MVP_L1_MVX)的值和对应于前向预测方向指示信号(PRED_L0)的前向垂直方向运动矢量(MVP_L0_MVY)和对应于后向预测方向指示信号(PRED_L1)的后向垂直方向运动矢量(MVP_L1_MVY)运动矢量(MV)计算的结果；
在第11拍，根据加权缩放因子(DistScaleFactor)计算前向缩放参数(W0)和后向缩放参数(W1)作为加权预测(Weighted Prediction)计算的结果；
在第10和第11拍，根据当前要解码的4x4块左侧边界强度(BS_L)和上侧边界强度(BS_T)的初始边界强度值和当前要解码的4x4块所在分块的左侧(NEI_A)、上侧(NEI_B)、右上侧(NEI_C)和左上侧(NEI_D)的分块的运动矢量保存信息(MVP_INFO)和当前要解码的4x4块的前向运动矢量(MV_L0)和后向运动矢量(MV_L1)计算当前要解码的4x4块左侧边界强度(BS_L)和上侧边界强度(BS_T)作为边界强度(BS)计算的结果；
最后在第11拍，将当前要解码的4x4块的运动矢量保存信息(MVP_INFO)和对应位置保存信息(COLO_INFO)写回行缓存。
从以上描述可以看出，通过本发明，只需进行一次遍历求解宏块的所有最小划分块(此处为4x4块)的过程，就可以得到该宏块的MV和BS值。并且在每次迭代求解最小划分块的过程中，都可以得到该最小划分块的MV和BS值。
图4是根据本发明实施例的用于获取图像的运动矢量和边界强度的系统的框图。如图4所示，该系统包括：第一装置402，用于根据当前要解码的分块的类型以及当前要解码的分块所在宏块/子宏块的类型，确定当前要解码的分块的运动矢量预测方向信息和运动矢量计算方法信息；第二装置404，用于根据当前要解码的分块的运动矢量计算方法信息，利用当前要解码的分块的运动矢量预测方向信息获取计算当前要解码的分块的运动矢量所需的相关信息；以及第三装置406，用于利用所获取的计算当前要解码的分块的运动矢量所需的相关信息计算当前要解码的分块的运动矢量，并利用当前要解码的分块和其周围块的运动矢量计算当前要解码的分块的边界强度。
在当前要解码的分块的运动矢量计算方法信息指示通过利用周围块信息的计算方法来计算当前要解码的分块的运动矢量的情况下，第二装置利用当前要解码的分块的运动矢量预测方向信息获取当前要解码的分块的运动矢量残差和当前要解码的分块的周围块的相关信息，并且第三装置利用当前要解码的分块的周围块的相关信息计算当前要解码的分块的运动矢量预测值，并通过将当前要解码的分块的运动矢量预测值和当前要解码的分块的运动矢量残差相加来计算当前要解码的分块的运动矢量。
在当前要解码的分块的运动矢量计算方法信息指示通过利用对应位置块信息的计算方法来计算当前要解码的分块的运动矢量的情况下，第二装置根据当前要解码的分块的运动矢量计算方法信息确定当前要解码的分块的后向参考帧对应位置块的相关信息，利用当前要解码的分块的运动矢量预测方向信息获取当前要解码的分块的参考帧图像顺序号，并且第三装置利用当前要解码的分块的后向参考帧对应位置块的相关信息和参考帧图像顺序号计算当前要解码的分块的运动矢量。
在当前要解码的分块的运动矢量计算方法信息指示通过利用周围块信息和对应位置块信息相结合的计算方法来计算当前要解码的分块的运动矢量的情况下，第二装置根据当前要解码的分块的运动矢量计算方法信息获取当前要解码的分块的周围块的相关信息和当前要解码的分块的后向参考帧对应位置块的相关信息，并且第三装置利用当前要解码的分块的周围块的相关信息计算当前要解码的分块的运动矢量预测值，并结合当前要解码的分块的后向参考帧对应位置块的相关信息和运动矢量预测值计算当前要解码的分块的运动矢量。
另外，第二装置还可以利用当前要解码的分块的运动矢量预测方向信息获取当前要解码的分块的参考帧图像顺序号，并且第三装置还可以利用当前要解码的分块的参考帧图像顺序号为当前要解码的分块的运动矢量计算加权预测值。
根据本发明实施例的获取图像的运动矢量和边界强度的系统，还可以包括：第四装置408，用于利用当前要解码的分块所在宏块/子宏块的类型和获取当前要解码的分块的初始边界强度所需的其他信息获取当前要解码的分块的初始边界强度，并利用当前要解码的分块的初始边界强度和当前要解码的分块和其周围块的运动矢量来计算当前要解码的分块的边界强度。
具体地，当前要解码的分块是4×4大小的块。在当前要解码的分块的运动矢量计算方法信息指示通过利用周围块信息的计算方法来计算当前要解码的分块的运动矢量的情况下，该系统在完成了对于所述当前要解码的分块所在宏块/子宏块中所有分块的运动矢量的计算后，保存所述当前要解码的分块所在宏块/子宏块最下方的一行4×4大小的块的相关信息。进一步地，第一装置还可以用于根据当前要解码的分块的类型以及当前要解码的分块所在宏块/子宏块的类型生成以下信号：运动矢量预测方向控制信号、运动矢量残差存在性指示信号、运动矢量计算控制信号、对应位置计算控制信号、以及运动矢量计算类型指示信号。
本领域技术人员将理解，还存在可用于实现本发明实施例的更多可选实施方式和改进方式，并且上述实施方式和示例仅是一个或多个实施例的说明。因此，本发明的范围仅由所附权利要求书限制。

Claims (19)

1.一种获取图像的运动矢量和边界强度的方法，其特征在于，包括以下步骤：
S202，根据当前要解码的分块的类型以及所述当前要解码的分块所在宏块/子宏块的类型，确定所述当前要解码的分块的运动矢量预测方向信息和运动矢量计算方法信息；
S204，根据所述当前要解码的分块的运动矢量计算方法信息，利用所述当前要解码的分块的运动矢量预测方向信息获取计算所述当前要解码的分块的运动矢量所需的相关信息；以及
S206，利用所获取的计算所述当前要解码的分块的运动矢量所需的相关信息计算所述当前要解码的分块的运动矢量，并利用所述当前要解码的分块和其周围块的运动矢量计算所述当前要解码的分块的边界强度。
2.根据权利要求1所述的获取图像的运动矢量和边界强度的方法，其特征在于，当所述当前要解码的分块的运动矢量计算方法信息指示通过利用周围块信息的计算方法来计算所述当前要解码的分块的运动矢量时，
在所述步骤S204中，利用所述当前要解码的分块的运动矢量预测方向信息获取所述当前要解码的分块的运动矢量残差和所述当前要解码的分块的周围块的相关信息，并且
在所述步骤S206中，利用所述当前要解码的分块的周围块的相关信息计算所述当前要解码的分块的运动矢量预测值，并通过将所述当前要解码的分块的运动矢量预测值和所述当前要解码的分块的运动矢量残差相加来计算所述当前要解码的分块的运动矢量。
3.根据权利要求1所述的获取图像的运动矢量和边界强度的方法，其特征在于，当所述当前要解码的分块的运动矢量计算方法信息指示通过利用对应位置块信息的计算方法来计算所述当前要解码的分块的运动矢量时，
在所述步骤S204中，根据所述当前要解码的分块的运动矢量计算方法信息确定所述当前要解码的分块的后向参考帧对应位置块的相关信息，
利用所述当前要解码的分块的运动矢量预测方向信息获取所述当前要解码的分块的参考帧图像顺序号，并且
在所述步骤S206中，利用所述当前要解码的分块的后向参考帧对应位置块的相关信息和所述参考帧图像顺序号计算所述当前要解码的分块的运动矢量。
4.根据权利要求1所述的获取图像的运动矢量和边界强度的方法，其特征在于，当所述当前要解码的分块的运动矢量计算方法信息指示通过利用周围块信息和对应位置块信息相结合的计算方法来计算所述当前要解码的分块的运动矢量时，
在所述步骤S204中，根据所述当前要解码的分块的运动矢量计算方法信息获取所述当前要解码的分块的周围块的相关信息和所述当前要解码的分块的后向参考帧对应位置块的相关信息，并且
在所述步骤S206中，利用所述当前要解码的分块的周围块的相关信息计算所述当前要解码的分块的运动矢量预测值，并结合所述当前要解码的分块的后向参考帧对应位置块的相关信息和运动矢量预测值计算所述当前要解码的分块的运动矢量。
5.根据权利要求1至4中任一项所述的获取图像的运动矢量和边界强度的方法，其特征在于，
在所述步骤S204中，还利用所述当前要解码的分块的运动矢量预测方向信息获取所述当前要解码的分块的参考帧图像顺序号，并且
在所述步骤206中，还利用所述当前要解码的分块的参考帧图像顺序号为所述当前要解码的分块的运动矢量计算加权预测值。
6.根据权利要求1至4中任一项所述的获取图像的运动矢量和边界强度的方法，其特征在于，在利用所述当前要解码的分块和其周围块的运动矢量计算所述当前要解码的分块的边界强度之前，还利用所述当前要解码的分块所在宏块/子宏块的类型和获取所述当前要解码的分块的初始边界强度所需的其他信息获取所述当前要解码的分块的初始边界强度，并利用所述当前要解码的分块的初始边界强度和所述当前要解码的分块和其周围块的运动矢量来计算所述当前要解码的分块的边界强度。
7.根据权利要求1至4中任一项所述的获取图像的运动矢量和边界强度的方法，其特征在于，所述当前要解码的分块是4×4大小的块。
8.根据权利要求7所述的获取图像的运动矢量和边界强度的方法，其特征在于，当所述当前要解码的分块的运动矢量计算方法信息指示通过利用周围块信息的计算方法来计算所述当前要解码的分块的运动矢量时，在完成了对于所述当前要解码的分块所在宏块/子宏块中所有分块的运动矢量的计算后，保存所述当前要解码的分块所在宏块/子宏块最下方的一行4×4大小的块的相关信息。
9.根据权利要求7所述的获取图像的运动矢量和边界强度的方法，其特征在于，当所述当前要解码的分块的运动矢量计算方法信息指示通过利用对应位置块信息的计算方法来计算所述当前要解码的分块的运动矢量时，根据所述当前要解码的分块的运动矢量计算方法信息从预先存在的所述当前要解码的分块的后向参考帧的所有信息中确定所述当前要解码的分块的后向参考帧对应位置块的相关信息。
10.一种获取图像的运动矢量和边界强度的系统，其特征在于，包括：
第一装置，用于根据当前要解码的分块的类型以及所述当前要解码的分块所在宏块/子宏块的类型，确定所述当前要解码的分块的运动矢量预测方向信息和运动矢量计算方法信息；
第二装置，用于根据所述当前要解码的分块的运动矢量计算方法信息，利用所述当前要解码的分块的运动矢量预测方向信息获取计算所述当前要解码的分块的运动矢量所需的相关信息；以及
第三装置，用于利用所获取的计算所述当前要解码的分块的运动矢量所需的相关信息计算所述当前要解码的分块的运动矢量，并利用所述当前要解码的分块和其周围块的运动矢量计算所述当前要解码的分块的边界强度。
11.根据权利要求10所述的获取图像的运动矢量和边界强度的系统，其特征在于，在所述当前要解码的分块的运动矢量计算方法信息指示通过利用周围块信息的计算方法来计算所述当前要解码的分块的运动矢量的情况下，
所述第二装置利用所述当前要解码的分块的运动矢量预测方向信息获取所述当前要解码的分块的运动矢量残差和所述当前要解码的分块的周围块的相关信息，并且
所述第三装置利用所述当前要解码的分块的周围块的相关信息计算所述当前要解码的分块的运动矢量预测值，并通过将所述当前要解码的分块的运动矢量预测值和所述当前要解码的分块的运动矢量残差相加来计算所述当前要解码的分块的运动矢量。
12.根据权利要求10所述的获取图像的运动矢量和边界强度的系统，其特征在于，在所述当前要解码的分块的运动矢量计算方法信息指示通过利用对应位置块信息的计算方法来计算所述当前要解码的分块的运动矢量的情况下，
所述第二装置根据所述当前要解码的分块的运动矢量计算方法信息确定所述当前要解码的分块的后向参考帧对应位置块的相关信息，利用所述当前要解码的分块的运动矢量预测方向信息获取所述当前要解码的分块的参考帧图像顺序号，并且
所述第三装置利用所述当前要解码的分块的后向参考帧对应位置块的相关信息和所述参考帧图像顺序号计算所述当前要解码的分块的运动矢量。
13.根据权利要求10所述的获取图像的运动矢量和边界强度的系统，其特征在于，在所述当前要解码的分块的运动矢量计算方法信息指示通过利用周围块信息和对应位置块信息相结合的计算方法来计算所述当前要解码的分块的运动矢量的情况下，
所述第二装置根据所述当前要解码的分块的运动矢量计算方法信息获取所述当前要解码的分块的周围块的相关信息和所述当前要解码的分块的后向参考帧对应位置块的相关信息，并且
所述第三装置利用所述当前要解码的分块的周围块的相关信息计算所述当前要解码的分块的运动矢量预测值，并结合所述当前要解码的分块的后向参考帧对应位置块的相关信息和运动矢量预测值计算所述当前要解码的分块的运动矢量。
14.根据权利要求10至13中任一项所述的获取图像的运动矢量和边界强度的系统，其特征在于，
所述第二装置还利用所述当前要解码的分块的运动矢量预测方向信息获取所述当前要解码的分块的参考帧图像顺序号，并且
所述第三装置还利用所述当前要解码的分块的参考帧图像顺序号为所述当前要解码的分块的运动矢量计算加权预测值。
15.根据权利要求10至13中任一项所述的获取图像的运动矢量和边界强度的系统，其特征在于，还包括：
第四装置，用于利用所述当前要解码的分块所在宏块/子宏块的类型和获取所述当前要解码的分块的初始边界强度所需的其他信息获取所述当前要解码的分块的初始边界强度，并利用所述当前要解码的分块的初始边界强度和所述当前要解码的分块和其周围块的运动矢量来计算所述当前要解码的分块的边界强度。
16.根据权利要求10至13中任一项所述的获取图像的运动矢量和边界强度的系统，其特征在于，所述当前要解码的分块是4×4大小的块。
17.根据权利要求16所述的获取图像的运动矢量和边界强度的系统，其特征在于，在所述当前要解码的分块的运动矢量计算方法信息指示通过利用周围块信息的计算方法来计算所述当前要解码的分块的运动矢量的情况下，所述系统在完成了对于所述当前要解码的分块所在宏块/子宏块中所有分块的运动矢量的计算后，保存所述当前要解码的分块所在宏块/子宏块最下方的一行4×4大小的块的相关信息。
18.根据权利要求16所述的获取图像的运动矢量和边界强度的系统，其特征在于，在所述当前要解码的分块的运动矢量计算方法信息指示通过利用对应位置块信息的计算方法来计算所述当前要解码的分块的运动矢量的情况下，所述第一装置根据所述当前要解码的分块的运动矢量计算方法信息从预先存在的所述当前要解码的分块的后向参考帧的所有信息中确定所述当前要解码的分块的后向参考帧对应位置块的相关信息。
19.根据权利要求10至13中任一项所述的获取图像的运动矢量和边界强度的系统，其特征在于，所述第一装置还用于：
根据当前要解码的分块的类型以及所述当前要解码的分块所在宏块/子宏块的类型生成以下信号：运动矢量预测方向控制信号、运动矢量残差存在性指示信号、运动矢量计算控制信号、对应位置计算控制信号、以及运动矢量计算类型指示信号。
CN2008101718199A 2008-11-12 2008-11-12 获取图像的运动矢量和边界强度的方法和系统 Expired - Fee Related CN101742278B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2008101718199A CN101742278B (zh) 2008-11-12 2008-11-12 获取图像的运动矢量和边界强度的方法和系统
US12/606,836 US8396131B2 (en) 2008-11-12 2009-10-27 Method and system for obtaining motion vectors and boundary strengths of an image
JP2009259151A JP5423328B2 (ja) 2008-11-12 2009-11-12 モーションベクトルおよび画像の境界強度を取得する方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2008101718199A CN101742278B (zh) 2008-11-12 2008-11-12 获取图像的运动矢量和边界强度的方法和系统

Publications (2)

Publication Number Publication Date
CN101742278A true CN101742278A (zh) 2010-06-16
CN101742278B CN101742278B (zh) 2012-11-07

Family

ID=42222798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008101718199A Expired - Fee Related CN101742278B (zh) 2008-11-12 2008-11-12 获取图像的运动矢量和边界强度的方法和系统

Country Status (3)

Country Link
US (1) US8396131B2 (zh)
JP (1) JP5423328B2 (zh)
CN (1) CN101742278B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104244002A (zh) * 2013-06-14 2014-12-24 北京三星通信技术研究有限公司 一种视频编/解码中运动信息的获取方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI375470B (en) * 2007-08-03 2012-10-21 Via Tech Inc Method for determining boundary strength
KR101831311B1 (ko) * 2010-12-31 2018-02-23 한국전자통신연구원 영상 정보 부호화 방법 및 복호화 방법과 이를 이용한 장치
BR112020022246A2 (pt) * 2018-05-16 2021-02-02 Huawei Technologies Co., Ltd. método de codificação de vídeo, aparelho, dispositivo e mídia de armazenamento legível por computador

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7450641B2 (en) * 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
JP4150742B2 (ja) * 2002-01-09 2008-09-17 松下電器産業株式会社 動きベクトル復号化方法
JP4355319B2 (ja) * 2002-01-24 2009-10-28 株式会社日立製作所 動画像復号化方法
JP4130780B2 (ja) * 2002-04-15 2008-08-06 松下電器産業株式会社 画像符号化方法および画像復号化方法
JP3824268B2 (ja) * 2002-07-02 2006-09-20 松下電器産業株式会社 動きベクトル導出方法、および動きベクトル導出装置
KR100865034B1 (ko) * 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
KR100819289B1 (ko) * 2006-10-20 2008-04-02 삼성전자주식회사 영상 데이터의 디블록킹 필터링 방법 및 디블록킹 필터
JP2008205790A (ja) * 2007-02-20 2008-09-04 Matsushita Electric Ind Co Ltd Ｈ．２６４復号装置、プログラム、および記録媒体
US8204129B2 (en) * 2007-03-27 2012-06-19 Freescale Semiconductor, Inc. Simplified deblock filtering for reduced memory access and computational complexity
CN100493196C (zh) * 2007-07-27 2009-05-27 武汉大学 一种快速计算h.264视频标准中去块滤波边界强度值的方法
TWI375470B (en) * 2007-08-03 2012-10-21 Via Tech Inc Method for determining boundary strength

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104244002A (zh) * 2013-06-14 2014-12-24 北京三星通信技术研究有限公司 一种视频编/解码中运动信息的获取方法及装置
CN104244002B (zh) * 2013-06-14 2019-02-05 北京三星通信技术研究有限公司 一种视频编/解码中运动信息的获取方法及装置
CN111200736A (zh) * 2013-06-14 2020-05-26 北京三星通信技术研究有限公司 一种视频编/解码中运动信息的获取方法及装置
CN111200736B (zh) * 2013-06-14 2022-06-21 北京三星通信技术研究有限公司 一种视频编/解码中运动信息的获取方法及装置

Also Published As

Publication number Publication date
US8396131B2 (en) 2013-03-12
CN101742278B (zh) 2012-11-07
JP5423328B2 (ja) 2014-02-19
US20100135399A1 (en) 2010-06-03
JP2010119106A (ja) 2010-05-27

Similar Documents

Publication Publication Date Title
CN111385569B (zh) 一种编解码方法及其设备
KR101709003B1 (ko) 시간 움직임 벡터 예측 방법 및 장치
US11800150B2 (en) Method for deriving a motion vector
JP5052134B2 (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
KR101218434B1 (ko) 움직임 추정 방법, 시스템 및 컴퓨터 판독가능 매체
CN107396102B (zh) 一种基于Merge技术运动矢量的帧间模式快速选择方法及装置
KR102006443B1 (ko) 오차 보상을 이용한 영상 부호화/복호화 방법 및 장치
CN101917615A (zh) 一种混合视频编码框架中的增强型双向运动矢量预测方法
WO2020181428A1 (zh) 预测方法、编码器、解码器及计算机存储介质
CN101742278B (zh) 获取图像的运动矢量和边界强度的方法和系统
CN113163207B (zh) 一种编解码方法、装置及其设备
CN104918047A (zh) 一种双向运动估计的排除方法和装置
CN113170174B (zh) 视频编码系统中用于决定储存用运动向量的视频处理方法和装置
TW202145784A (zh) 幀間預測方法、編碼器、解碼器以及電腦儲存媒介
Xie et al. UMHexagonS search algorithm for fast motion estimation
CN115280778A (zh) 帧间预测方法、编码器、解码器以及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: SUOSI FUTURE CO., LTD.

Free format text: FORMER OWNER: FUJITSU SEMICONDUCTOR CO., LTD.

Effective date: 20150514

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150514

Address after: Kanagawa

Patentee after: Co., Ltd. Suo Si future

Address before: Kanagawa

Patentee before: Fujitsu Semiconductor Co., Ltd.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121107

Termination date: 20201112