CN102104713B - 使用来自非线性滤波的方向分量的自适应边缘增强 - Google Patents

使用来自非线性滤波的方向分量的自适应边缘增强 Download PDF

Info

Publication number
CN102104713B
CN102104713B CN201010598137.3A CN201010598137A CN102104713B CN 102104713 B CN102104713 B CN 102104713B CN 201010598137 A CN201010598137 A CN 201010598137A CN 102104713 B CN102104713 B CN 102104713B
Authority
CN
China
Prior art keywords
pixel
value
values
pixel value
diagonal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201010598137.3A
Other languages
English (en)
Other versions
CN102104713A (zh
Inventor
B·A·华莱士
J·C·林奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ViXS Systems Inc
Original Assignee
ViXS Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ViXS Systems Inc filed Critical ViXS Systems Inc
Publication of CN102104713A publication Critical patent/CN102104713A/zh
Application granted granted Critical
Publication of CN102104713B publication Critical patent/CN102104713B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/142Edging; Contouring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • H04N1/4092Edge or detail enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及使用来自非线性滤波的方向分量的自适应边缘增强。视频处理设备包括接收一组像素的像素值的输入,组像素值包括大体以选择像素为中心的像素窗口。还包括基于像素值在水平方向上的非线性滤波确定水平瞬时改进值的第一滤波器单元;基于像素值在垂直方向上的非线性滤波确定垂直瞬时改进值的第二滤波器单元;基于像素值在第一对角线方向上的非线性滤波确定第一对角线瞬时改进值的第三滤波器单元;和基于像素值在第二对角线方向上的非线性滤波确定第二对角线瞬时改进值的第四滤波器单元。还包括提供选择像素的第二像素值的输出,第二像素值基于第一像素值、垂直瞬时改进值、水平瞬时改进值、第一对角线瞬时改进值和第二对角线瞬时改进值。

Description

使用来自非线性滤波的方向分量的自适应边缘增强
技术领域
本公开一般地涉及视频处理,并且更具体地,涉及视频内容中的边缘增强。
背景技术
视频系统通常采用边缘增强以便改进图像锐度。边缘增强技术通常采用易受相当大过冲(overshoot)和下冲(undershoot)影响的锐化空间滤波器,从而在得到的图像中引入“激振(ringing)”视觉伪像。减少或消除下冲和过冲的常规方法是复杂的,并且涉及很大的计算吞吐量,并且因此成本高昂,并且对于视频处理系统内的实现来说效率低。
附图说明
参考附图,本领域的技术人员可以更好地理解本公开,并且可以明了其许多特征和优点。在不同附图中使用相同的参考标记指示类似或相同的项目。
图1是示出了根据本公开的至少一个实施例,采用使用非线性滤波的方向分量的自适应边缘增强的视频处理设备的方框图;
图2是示出了根据本公开的至少一个实施例,图1的边缘增强单元的方向滤波器单元的示例实现的图;
图3是示出了根据本公开的至少一个实施例,图2的方向滤波器单元的瞬时改进模块的示例实现的图;和
图4是示出了根据本公开的至少一个实施例,用于实现图1的视频处理设备的示例系统的图。
具体实施方式
图1-4示出了用于视频处理设备处的视频图像内的边缘增强的示例技术。在一个实施例中,四个方向滤波器单元中的每一个通过应用使用像素窗口中的那些像素值的非线性滤波,确定相应方向(水平、垂直、正对角线和负对角线)的瞬时改进值,所述像素窗口以与相应方向上的选择像素共线的选择像素为中心。非线性滤波可以包括确定相应方向上的像素窗口内的共线像素之间的二阶导数近似值,并且然后以基于这些共线像素之间的一阶导数近似值的缩放值缩放二阶导数近似值,以便增加高频分量而不会很大地增加噪声。这种缩放处理的结果值是针对相应方向的方向特定的瞬时改进值。然后,这种方向特定的瞬时改进值与选择像素的原始像素值或选择像素的平滑表示进行累加,以便产生选择像素值的方向特定的增强像素值。针对四个方向中的每一个确定的瞬时改进值可与选择像素的原始像素值进行累加,以便确定该选择像素的新的增强像素值。另外,在至少一个实施例中,每个方向滤波器单元附加地可以包括过激抑止(shootsuppression)模块,其监视由方向滤波器单元产生的方向特定的增强像素值中的潜在下冲或过冲,并且在检测到下冲/过冲的情况下,提供与共线像素值的最大值(对于过冲的情况)或共线像素值的最小值(对于下冲的情况)有关的抑止像素值,以取代增强像素值。由于由方向滤波器单元执行的处理在得到的边缘增强图像中引入了高频分量,可以对增强像素值的产生流应用线性非锐化掩模,以便增强得到的锐化图像中的这些高频分量。
图1示出了采用根据本公开的至少一个实施例的自适应多方向边缘增强的视频处理设备100。视频处理设备100包括像素窗口缓冲器102、边缘增强模块104和输出缓冲器105。边缘增强模块104包括垂直滤波器单元106、水平滤波器单元107、正对角线滤波器单元108、负对角线滤波器单元109和累加模块110。边缘增强模块104还可以包括线性非锐化掩模(LinearUnsharpMask,LUM)模块112。图1-3所示的视频处理设备100的各种模块的功能可被实现为硬件、固件、执行相应软件的一个或多个处理器或它们的组合。为了说明,某些组件的功能可被实现为分立电路、专用集成电路(ASIC)、现场可编程门阵列(FPGA)等,而某些组件的其它功能可被实现为处理系统的执行软件指令的一个或多个处理器。另外,可以在基于一组寄存器传输级(RTL)或Verilog指令设计的处理设备内实现某些或全部组件,这些组件定义该处理设备的功能,并且综合在一起以便产生该处理设备的电气和电子设计。
在操作中,视频处理设备100通过输入118接收输入图像数据,并且通过输出120提供得到的边缘增强视频数据。像素窗口缓冲器102缓冲输入视频数据的多个行的像素的像素数据。可以从各种来源(诸如视频解码器输出处的帧缓冲器)中的任意一种提供或获得像素数据。每个滤波器单元106-109配置为基于对大体围绕像素窗口缓冲器102内的选择像素的像素值的像素窗口进行的非线性滤波,为该选择像素产生相应的方向特定的瞬时改进(TI)值,从而:垂直滤波器单元106基于在垂直方向上对像素窗口的非线性滤波产生瞬时改进值TIV;水平滤波器单元107基于在水平方向上对像素窗口的非线性滤波产生瞬时改进值TIH;正对角线滤波器单元108基于在正对角线方向(例如,+45度)上对像素窗口的非线性滤波产生瞬时改进值TID+;并且负对角线滤波器单元109基于在与正对角线方向垂直的负对角线方向(例如,-45度)上对像素窗口的非线性滤波产生瞬时改进值TID-。每个瞬时改进值TIV、TIH、TID+和TID-表示选择像素在垂直、水平、正对角线和负对角线方向中的相应一个方向上的锐化增强。累加模块110将最初与选择像素相关联的原始像素值(OPV)与某些或全部方向特定的瞬时改进值TIV、TIH、TID+和TID-进行累加,以便产生选择像素的增强像素值(EPV)。然后,可以为将被边缘增强的下一个像素重复这个处理。
如下面更详细描述的,由于滤波器单元106-109执行的瞬时改进处理的非线性属性,增强像素值的输出流可以具有新引入的高频分量。因此,在一个实施例中,LUM模块112对增强像素值的流应用各种线性非锐化掩模中的任意一种,以便控制新引入的高频分量的增益。得到的像素值流在输出缓冲器105内被缓冲(输出缓冲器105可以包括例如帧缓冲器)。由视频处理设备100产生的结果增强像素值可通过输出120作为边缘增强视频数据被提供给另一个视频处理设备(例如,显示控制器、编码器等)。
图2示出了根据本公开的至少一个实施例,用于产生选择像素的瞬时改进值的方向滤波器单元200的示例实现。方向滤波器单元200对应于滤波器单元106-109中的每一个,从而滤波器单元106-109的操作根据采用的方向并且因此在非线性滤波处理中使用的这些像素值而不同。如图所示,方向滤波器单元200包括二维(2D)平滑滤波器202、瞬时改进模块204和相减模块206。方向滤波器单元200还可以包括乘法器模块208,用于以可编程的方向特定的加权值ux对得到的瞬时改进值进行加权或缩放。
在示出的例子中,方向滤波器单元200采用的非线性滤波处理被定向到3×3像素窗口210,像素窗口210以将被增强的选择像素212为中心。选择像素212的像素值被标识为“X22”;选择像素212左边的像素和相同行上该选择像素212右边的像素的像素值被分别标识为“X21”和“X23”;选择像素212之上的行内的像素的像素值被标识为“X11”、“X12”和“X13”(从左到右);并且选择像素212之下的行内的像素的像素值被标识为“X31”、“X32”和“X33”(从左到右)。这些像素值可以包括例如亮度值或色度值。
使用3×3像素窗口的优点在于这种窗口大小涉及相对少的像素值,并且因此需要相对低的计算工作量来执行此处相对于像素窗口210描述的处理。另外,垂直、水平和+/-45度对角定向是3×3像素窗口内仅有的可能边缘定向,并且因此对于锐化处理不需要对3×3像素窗口内的潜在边缘定向的检测。然而,虽然3×3像素窗口在该特定上下文中具有这些优点,此处描述的处理不局限于这种特定的窗口大小,而是可以使用此处提供的指导被扩展到使用各种像素窗口大小中的任意一种,并且不脱离本公开的范围。
方向滤波器单元200的2D平滑滤波器202通过应用不强调或避免使用所关注的相同定向或方向内的像素信息的滤波器矩阵,基于对选择像素212的像素值x22的线性平滑/滤波,产生平滑的像素值X[1]。为了说明,对于采用方向滤波器单元200作为垂直滤波器单元106或水平滤波器单元107,采用滤波器矩阵H1以便降低像素窗口210的对角线方向上的像素信息的重要性。
H 1 = b 0 b 0 a 0 b 0 b
相反,对于采用方向滤波器单元200作为正对角线滤波器单元108或负对角线滤波器单元109,采用滤波器矩阵H2以便降低像素窗口210的水平和垂直方向上的像素信息的重要性。
H 2 = 0 d 0 d c d 0 d 0
从而核心分量“a”、“b”、“c”和“d”可以包括通过计算或经验分析识别出的任意各种适合的值。已经发现矩阵分量的下列值提供可接受的结果:
a = 2 2
b = 0.25 * ( 1 - 2 2 )
c=0.5
d=0.5
根据上面针对像素窗口210的像素值所述的数值方案,平滑滤波器202根据关注的方向,对像素窗口210的像素值应用适当的核滤波器H,以便基于由下列等式表示的计算产生值X[1]:
X [ 1 ] = Σ i , j H ij * xij
瞬时改进模块204从平滑滤波器202接收值X[1],以及在所关注的特定方向上像素窗口210在选择像素212的相对的、共线侧上的像素的像素值X[0]和X[2]。由于垂直滤波器单元106提供垂直锐化滤波,垂直滤波器单元106的瞬时改进模块204分别为X[0]和X[2]使用像素值x12和x32。水平滤波器单元107提供水平锐化滤波,并且因此水平滤波器单元107的瞬时改进模块204分别为X[0]和X[2]使用像素值x21和x23。正对角线滤波器单元108在+45度方向上提供锐化滤波,并且因此正对角线滤波器单元108的瞬时改进模块204分别为X[0]和X[2]使用像素值x31和x13。负对角线滤波器单元109在-45度方向上提供锐化,并且因此负对角线滤波器单元109的瞬时改进模块204分别为X[0]和X[2]使用像素值x11和x33。表1概述了方向滤波器单元200的一般化输入和水平、垂直、正对角线和负对角线方向的特定实现之间的特定关系:
表1
垂直 水平 +45对角线 -45对角线
X[0] x12 x21 x31 x11
X[1] H1滤波器矩阵 H1滤波器矩阵 H2滤波器矩阵 H2滤波器矩阵
X[2] x32 x23 x13 x33
由于垂直和水平滤波器单元106和107使用相同滤波器矩阵,并且因此使用X[1]的相同平滑像素值,因此垂直和水平滤波器单元106和107可以共享单个2D平滑滤波器的输出。出于相同原因,对角线滤波器单元108和109可以共享单个2D平滑滤波器的输出。
使用平滑的中间像素值X[1]和所关注的方向上的共线像素值X[0]和X[2],瞬时改进模块204执行下面更详细描述的非线性滤波处理,以便产生方向特定的增强值x22′,其表示在关注的方向上对选择像素212的原始像素值x22的锐化增强;即,x22′=x22+TIx。因此,为了作为一个单独值获得方向特定的瞬时改进值TIx,相减模块206从该增强像素值x22′中减去原始像素值x22;即,TIx=x22′-x22。在某些情况下,以可编程的加权值ux对瞬时改进值TIx加权可能是有利的,从而可以为每个滤波方向独立编程特定的加权值,并且可以通过计算或通过经验分析确定这些加权值。因此,通过将瞬时改进值TIx与加权值ux相乘,加权模块208可以产生加权的瞬时改进值。已经发现每个方向的加权值ux的示例值1/3提供有效的结果。除非另外说明,此处对方向滤波单元所提供的瞬时改进值的引用可以包括未加权的瞬时改进值或加权的瞬时改进值。
图3示出了根据本公开的至少一个实施例,图2的方向滤波器单元200的瞬时改进模块204的示例实现。在示出的例子中,瞬时改进模块204包括一阶导数模块302、二阶导数模块304、核化滤波器306、增益控制模块308、乘法器310、加法器312和过激抑止模块314。过激抑止模块314包括因子计算模块316、最小/最大模块318、选择逻辑模块320和复用器324。
在操作中,一阶导数模块302和二阶导数模块304使用例如算子:
∂ x ∂ n ≅ 0.5 * x ( n + 1 ) - 0.5 * x ( n - 1 )
- ∂ 2 x ∂ n 2 ≅ 0 - 0.25 * x ( n + 1 ) + 0.5 * x ( n ) - 0.25 x ( n - 1 )
分别确定平滑的中间像素值X[1]和两个共线像素值X[0]和X[2]的一阶和二阶导数的近似值,从而二阶导数模块304出于方便起见确定二阶导数的负近似值。应当理解,在该上下文中,一阶导数在恒定强度的区域内为零、在强度开始改变的区域内为非零、并且伴随着强度改变为非零,而二阶导数在恒定强度以及强度恒定改变的区域内为零、并且在强度开始改变和强度改变结束处为非零。从而,一阶导数近似值用作像素窗口210所表示的局部图像区域内的边缘的指示器,以及二阶导数近似值用作边缘边界的指示器。
在使用典型的线性非锐化掩模(LUM)的常规边缘增强处理中,二阶导数近似值的负数仅被缩放,并且被加到原始像素值上,以便产生所述像素的增强值。然而,这种方法导致激振视觉伪像(由于引入的过冲/下冲)和噪声增强。为了避免这种问题,通过如果二阶导数近似值的绝对值低于某个阈值,则将输出值c(n)设置为零,并且否则输出二阶导数近似值的负数作为输出值c(n),瞬时改进模块204采用核化滤波器306以便滤除噪声。
为了减少激振并且进一步防止噪声影响,增益控制模块308使用对局部区域的测量值,以便通过使用增益值g(n),控制加到瞬时改进模块204所产生的瞬时值TIx上的高频分量的数量,乘法器模块310使用增益值g(n)对输出值c(n)进行缩放。从而,增益控制模块308使用一阶导数近似值的绝对值(在图3中表示为k(n)),来估计该局部区域在所关注方向上的斜率。如图表320所示,图表320示出了k(n)的输入值与增益控制模块308输出的增益值g(n)的相应输出值之间的示例相关性,一阶导数近似值k(n)的绝对值和由增益控制模块308提供的增益控制值g(n)之间的关系可以具有相对为钟形的曲线,从而在k(n)相对小或相对大的情况下,增益控制值g(n)相对小,并且在k(n)落在这两个极值之间的情况下,增益控制值g(n)相对大。这种关系的目的是当进一步的像素锐化不再有利时,当存在过冲/下冲和噪声的潜在可能时,通过增益控制值g(n)降低瞬时改进值的重要性。为了说明,如果以一阶导数近似值表示的斜率相对高(并且因此以图表320右侧远处表示),所表示的边缘可能已经充分锐利,并且任何进一步的锐化可能导致激振,并且如果斜率相对小(并且因此以图表320左侧远处表示),该区域内可能没有显著的边缘,并且因此试图锐化该区域可能仅导致增加的噪声。因此,增益控制模块308在这些情况下回缩增益控制值g(n)。在一个实施例中,增益控制模块308将输入的一阶导数近似值k(n)和相应增益控制值g(n)之间的关系实现为查找表或根据所希望的强调关系,将k(n)的特定值链接到g(n)的特定值的其它数据结构,诸如以图表320所示。
通过由乘法器模块310将二阶导数近似值c(n)和增益控制值g(n)相乘来产生缩放值a(n),增益控制值g(n)被用于控制产生的高频分量c(n)的增益;即,a(n)=g(n)*c(n)。数字乘法器322可以将缩放值a(n)乘以一个可编程的常数增益因子α,并且然后将得到的缩放值α*a(n)加到原始平滑像素值X[1],来产生增强像素值Xc(n),从而Xc(n)=x22+α*a(n),并且因此α*a(n)表示瞬时改进值TIx在所关注方向上的潜在值。
在一个实施例中,增强像素值Xc(n)可被作为选择像素212的方向特定的边缘增强值x22′输出,而不进行其它处理。然而,用于产生增强像素值Xc(n)的处理可能潜在地受到某种程度的下冲/过冲。因此,在替换实施例中,使用过激抑止模块314检查下冲/过冲,并且然后在检测到下冲/过冲的情况下抑止增强像素值Xc(n)。在操作中,最小/最大模块318确定X[0]、X[1]和X[2]的最小值(“xmin”)和最大值(“xmax”),并且以因子R缩放这些极值的和平滑的像素值X[1],并且然后基于由下列等式表示的计算对结果进行累加,从而产生两个抑止值DU和DO
DU=xmin*R+(1-R)*X[1]
DO=xmax*R+(1-R)*X[1]
从而,使用因子R控制下冲/过冲,从而控制最终输出内的激振的数量。在一个实施例中,通过根据以下列等式表示的处理分别以可编程权重a1和a2缩放一阶导数近似值和二阶导数近似值的绝对值,并且然后将缩放结果与值a0(其可以是零)累加,并且然后对该和进行平方,因子计算模块316计算因子R:
R = ( a 0 + a 1 | ∂ x ∂ n | + a 2 | ∂ 2 x ∂ n 2 | ) 2
如果像素窗口中存在大边缘,R将相对大,并且输出被局限为xmax或xmin。如果存在小边缘,R将相对小,并且输出将局限为输入值。从而R的值是对边缘强度的度量。
抑止值Do和DU以及增强像素值Xc(n)被作为输入提供给复用器324,复用器324的输出是选择像素212的方向特定的增强像素值x22′(图2)。因此,增强像素值x22′的可能值是过冲抑止值Do、下冲抑止值Du和增强像素值Xc(n)。为了在这些值之间选择,选择逻辑模块320通过相对于值Xc(n)分析局部极值xmin和xmax,分析下冲/过冲的潜在可能,Xc(n)如上所述表示二阶导数近似值,并且因此指示边缘区域的边界。小于零的c(n)的值指示选择像素212处于上升边缘的底部,并且因此值Xc(n)与xmin比较,以便确定是否存在下冲。在值Xc(n)小于xmin从而指示下冲的情况下,选择逻辑模块320控制复用器324以便输出下冲抑止值Du作为增强像素值x22′。相反,等于零或更大的c(n)的值指示选择像素212处于上升边缘的顶部,并且因此值Xc(n)与xmax比较,以便确定是否存在过冲。在Xc(n)的值大于xmax从而指示过冲的情况下,选择逻辑模块320控制复用器324以便输出过冲抑止值Do作为增强像素值x22′。当c(n)等于0或更大时值Xc(n)小于xmax,或当c(n)小于0时Xc(n)的值大于xmin的情况指示选择像素212不接近边缘边界,并且因此选择逻辑模块320控制复用器324,以便输出增强像素Xc(n)作为选择像素212的方向特定的增强像素值x22′。
由过激抑止模块314提供的抑止处理具有非线性效果,并且因此可以在增强像素值的输出流中引入新的高频分量。因此,如上所述,可以使用LUM模块112(图1)过滤由过激抑止处理引入的非线性,以便强调增强像素流的高频分量。
如上所述,图1-3的视频处理设备100的模块可被实现为硬件。然而,除了适合于执行根据本公开的一个实施例的功能的硬件实现之外,这些模块还可被包含在一个或多个处理器内,这些处理器配置为执行布置在例如配置为存储软件(例如,计算机可读程序代码)的计算机可使用(例如,可读)介质内的软件中的指令。程序代码使得能够实现本发明的实施例,包括下列实施例:(i)此处公开的设备和方法的功能(诸如提升/去交织视频的设备和方法);(ii)此处公开的设备和方法的制造(诸如能够提升或去交织视频的设备的制造);(iii)此处公开的设备和方法的功能和制造的组合。
例如,这可通过使用通用编程语言(诸如C或C++)、硬件描述语言(HDL)(包括Verilog、Verilog-A、HDL、VHDL、AlteraHDL(AHDL)等)、或其它可获得的编程和/或示意捕获工具(诸如电路捕获工具)完成。程序代码可被布置在任意已知的计算机可用介质内,包括半导体、磁盘、光盘(诸如CD-ROM,DVD-ROM),并且作为计算机数据信号包含在计算机可使用(例如,可读)的传输介质(诸如,数字、光学或基于模拟的介质)内。应当理解,上面描述的系统和技术完成的功能和/或提供的结构可被表达在核心内(诸如,GPU核心),其被包含在程序代码内,并且可作为集成电路产品的一部分被变换为硬件。
图4示出了根据本公开的至少一个实施例的处理系统400。处理系统400可以包括一组指令,所述指令可被执行,以便操纵处理系统400执行此处公开的一个或多个方法或功能。处理系统400可以作为独立设备操作,或可例如使用网络被连接到其它处理器设备或外设。
在联网部署中,处理器设备可以作为服务器-客户端用户网络环境中的服务器或客户端用户计算机,或作为对等(或分布式)网络环境中的对等处理器设备操作。处理系统400还可被实现为或结合到例如便携式显示设备内。另外,虽然示出了单个处理系统400,但是可以采用术语“系统”以便包括单独或联合执行一组或多组指令,以便执行一个或多个计算机功能的系统或子系统的任意集合。
处理系统400可以包括处理器402,例如,中央处理单元(CPU)、图形处理单元(GPU)或这两者。另外,处理系统400可以包括主存储器404和静态存储器406,它们可以通过总线408彼此通信。如图所示,处理系统400还可以包括视频显示单元410,诸如液晶显示器(LCD)、有机发光二极管(OLED)、平板显示器、固态显示器或阴极射线管(CRT)。另外,处理系统400可以包括输入设备412诸如键盘,和光标控制设备414诸如鼠标。处理系统400还可以包括盘驱动单元416、信号产生设备418诸如扬声器、以及网络接口设备420。
在特定实施例中,如图4所示,盘驱动单元416可以包括计算机可读存储设备422,其中可以包括一组或多组指令424,例如软件。另外,指令424可以包含此处描述的一个或多个方法或逻辑。在特定实施例中,在处理系统400的执行过程中,指令424可以完全或至少部分地驻留在主存储器404、静态存储器406和/或处理器402内。主存储器404和处理器402还可以包括计算机可读介质。网络接口设备420可以提供到网络426,例如广域网(WAN)、局域网(LAN)或其它网络的连接。
在替换实施例中,专用硬件实现诸如专用集成电路、可编程逻辑阵列和其它硬件设备可被构造为实现此处描述的一个或多个方法。可以包括各种实施例的装置和方法的申请可以广泛地包括各种电子和处理器设备。此处描述一个或多个实施例可以使用具有相关控制和数据信号的两个或更多个特定互连的硬件模块或设备实现功能,所述相关控制和数据信号可在模块之间并且通过模块被传递,或作为专用集成电路的若干部分。因此,本系统包含软件、固件和硬件实现。
根据本公开的各种实施例,此处描述的方法可被整个或部分地以可由处理器设备执行的软件程序实现。本公开设想计算机可读存储设备,其包括指令或接收并且提供指令,以便响应传播的信号执行,从而联网的设备可以在网络426上传递语音、视频或数据。另外,可以通过网络接口设备420在网络426上传输或接收指令424。
在一个实施例中,不是作为直接实现此处描述的功能的软件指令,指令424取而代之可以实现表示上述功能的硬件实现的设计指令,这些指令然后可被综合在一起,以便确定实现上述发明的处理设备的电气和电子设计。为了说明,这些硬件设计指令可以包括寄存器传输级(RTL)指令、Verilog指令等。
虽然计算机可读存储设备被示出为是单个存储设备,术语“计算机可读存储设备”包括单个存储设备或多个存储设备,诸如中央或分布式数据库,和/或存储一组或多组指令的相关高速缓存和服务器。术语“计算机可读存储设备”还包括能够存储指令集以便由处理器执行或使得处理器设备执行此处公开的任意一个或多个方法或操作的任意存储设备。
在特定实施例中,计算机可读存储介质可以包括固态存储器,诸如存储器卡或包含一个或多个非易失只读存储器的其它封装。另外,计算机可读存储设备可以是随机访问存储器或其它易失可重写存储器。另外,计算机可读存储设备可以包括磁光介质或光学介质。因此,本公开被认为包括其中可以存储数据或指令的任意一种或多种计算机可读存储设备或分布介质和其它等同物以及后继介质。
如此处使用的,术语“另一个”被定义为至少第二个或更多。如此处使用的,术语“包含”、“具有”或其变型被定义为包括。如此处参考光电技术使用的,术语“耦连”被定义为连接,虽然不必是直接地并且不必是机械地连接。
通过考虑此处公开的本公开的说明书和实现,本领域的技术人员将明了本公开的其它实施例、用途和优点。本说明书和附图应当被认为仅是示例,并且因此本公开的范围旨在仅由下列权利要求书和其等同物限制。

Claims (18)

1.一种视频处理设备,其特征在于,所述视频处理设备包括:
输入,用于接收一组像素的像素值,该组像素值包括以最初具有第一像素值的选择像素为中心的像素窗口;
第一滤波器单元(107),用于基于所述像素值在所述像素窗口的水平方向上的第一非线性滤波确定水平瞬时改进值,其中所述第一非线性滤波包括确定该组像素中在水平方向上与所述选择像素共线的像素之间的二阶导数近似值;
第二滤波器单元(106),用于基于所述像素值在所述像素窗口的垂直方向上的第二非线性滤波确定垂直瞬时改进值,其中所述第二非线性滤波包括确定该组像素中在垂直方向上与所述选择像素共线的像素之间的二阶导数近似值;
第三滤波器单元,用于基于所述像素值在所述像素窗口的第一对角线方向上的第三非线性滤波确定第一对角线瞬时改进值,其中所述第三非线性滤波包括确定该组像素中在第一对角线方向上与所述选择像素共线的像素之间的二阶导数近似值;和
输出,用于提供所述选择像素的第二像素值,所述第二像素值基于第一像素值、垂直瞬时改进值、水平瞬时改进值和第一对角线瞬时改进值。
2.如权利要求1所述的视频处理设备,还包括:
第四滤波器单元,用于基于所述像素值在所述像素窗口的第二对角线方向上的第四非线性滤波确定第二对角线瞬时改进值,所述第二对角线方向垂直于所述第一对角线方向,并且所述第四非线性滤波包括确定该组像素中在第二对角线方向上与所述选择像素共线的像素之间的二阶导数近似值;和
其中所述选择像素的第二像素值还基于所述第二对角线瞬时改进值。
3.如权利要求2所述的视频处理设备,还包括:
累加模块(110),用于基于第一像素值、垂直瞬时改进值、水平瞬时改进值、第一对角线瞬时改进值和第二对角线瞬时改进值的和,产生第二像素值。
4.如权利要求1所述的视频处理设备,还包括:
累加模块,用于基于第一像素值、垂直瞬时改进值、水平瞬时改进值、和第一对角线瞬时改进值的和,产生第三像素值;和
线性非锐化掩模模块(112),用于基于对第三像素值应用线性非锐化掩模,产生第二像素值。
5.如权利要求1所述的视频处理设备,其中所述像素窗口包括3×3像素窗口。
6.一种视频处理设备,其特征在于,所述视频处理设备包括:
输入,用于接收一组像素的像素值,该组像素值包括以最初具有第一像素值的选择像素为中心的像素窗口;
第一滤波器单元(107),用于基于所述像素值在所述像素窗口的水平方向上的非线性滤波确定水平瞬时改进值;
第二滤波器单元(106),用于基于所述像素值在所述像素窗口的垂直方向上的非线性滤波确定垂直瞬时改进值;
第三滤波器单元,用于基于所述像素值在所述像素窗口的第一对角线方向上的非线性滤波确定第一对角线瞬时改进值;
其中第一滤波器单元、第二滤波器单元和第三滤波器单元中的每一个滤波器单元包括:
二维(2D)滤波器(202),用于产生表示所述选择像素的相应平滑像素值;和
瞬时改进模块(204),所述瞬时改进模块(204)具有用于接收相应平滑像素值的第一输入,用于接收该组像素中的相对于一个相应方向与所述选择像素共线的第一像素的第一相应像素值的第二输入,用于接收该组像素中的相对于所述相应方向与所述选择像素共线的第二像素的第二相应像素值的第三输入,和用于基于使用所述相应平滑像素值、第一相应像素值和第二相应像素值的非线性滤波,提供相应瞬时改进值的输出,其中瞬时改进模块包括:
一阶导数模块(302),用于使用相应平滑像素值、第一相应像素值和第二相应像素值,产生近似一阶导数的第一值;
二阶导数模块(304),用于使用相应平滑像素值、第一相应像素值和第二相应像素值,产生近似二阶导数的第二值;
增益控制模块(308),用于基于第一值产生缩放值;和
乘法器模块(310),用于基于以第一值对第二值的缩放产生第三值,第三值表示相应瞬时改进值在相应方向上的潜在值。
7.如权利要求6所述的视频处理设备,其中:
对于第一滤波器单元的瞬时改进模块,第一像素和第二像素相对于所述选择像素水平共线;
对于第二滤波器单元的瞬时改进模块,第一像素和第二像素相对于所述选择像素垂直共线;
对于第三滤波器单元的瞬时改进模块,第一像素和第二像素相对于所述选择像素对角线共线;
第一滤波器单元和第二滤波器单元中的每一个的2D滤波器对所述像素窗口应用第一滤波器矩阵,以便产生相应平滑像素值,第一滤波器矩阵降低所述像素窗口的相对于所述选择像素垂直共线和水平共线的像素的重要性;和
第三滤波器单元的2D滤波器对所述像素窗口应用第二滤波器矩阵,以便产生相应平滑像素值,第二滤波器矩阵降低所述像素窗口的相对于所述选择像素对角线共线的像素的重要性。
8.如权利要求6所述的视频处理设备,还包括:
过激抑制模块(314),用于基于第二值提供对第三值、第四值或第五值中的一个选择值,作为表示相应瞬时改进值的值;
其中第四值基于缩放因子,相应平滑像素值,以及相应平滑像素值、第一相应像素值和第二相应像素值中的最大值;和
其中第五值基于所述缩放因子,相应平滑像素值,以及相应平滑像素值、第一相应像素值和第二相应像素值中的最小值;
其中,所述缩放因子被用于控制下冲/过冲。
9.如权利要求8所述的视频处理设备,其中过激抑制模块(314)包括:
因子计算模块,用于基于第一值和第二值确定所述缩放因子;和
选择逻辑模块,用于基于第二值与所述最小值和最大值的比较,从第三值、第四值和第五值中选择作为表示所述相应瞬时改进值的值。
10.如权利要求6所述的视频处理设备,还包括:
累加模块(110),用于基于第一像素值、垂直瞬时改进值、水平瞬时改进值、和第一对角线瞬时改进值的和,产生第二像素值。
11.如权利要求6所述的视频处理设备,还包括:
累加模块,用于基于第一像素值、垂直瞬时改进值、水平瞬时改进值、和第一对角线瞬时改进值的和,产生第三像素值;和
线性非锐化掩模模块(112),用于基于对第三像素值应用线性非锐化掩模,产生第二像素值。
12.如权利要求6所述的视频处理设备,其中所述像素窗口包括3×3像素窗口。
13.一种视频处理方法,其特征在于,所述方法包括:
在视频处理设备处接收一组像素的像素值,该组像素包括以最初具有第一像素值的选择像素为中心的像素窗口;
基于所述像素值在所述像素窗口的水平方向上的第一非线性滤波,确定水平瞬时改进值,其中所述第一非线性滤波包括确定该组像素中在水平方向上与所述选择像素共线的像素之间的二阶导数近似值;
基于所述像素值在所述像素窗口的垂直方向上的第二非线性滤波,确定垂直瞬时改进值,其中所述第二非线性滤波包括确定该组像素中在垂直方向上与所述选择像素共线的像素之间的二阶导数近似值;
基于所述像素值在所述像素窗口的第一对角线方向上的第三非线性滤波,确定第一对角线瞬时改进值,其中所述第三非线性滤波包括确定该组像素中在第一对角线方向上与所述选择像素共线的像素之间的二阶导数近似值;和
产生所述选择像素的第二像素值,所述第二像素值基于第一像素值、垂直瞬时改进值、水平瞬时改进值和第一对角线瞬时改进值。
14.如权利要求13所述的视频处理方法,还包括:
基于所述像素值在所述像素窗口的第二对角线方向上的第四非线性滤波,确定第二对角线瞬时改进值,所述第二对角线方向垂直于所述第一对角线方向,并且所述第四非线性滤波包括确定该组像素中在第二对角线方向上与所述选择像素共线的像素之间的二阶导数近似值;和
其中产生第二像素值包括还基于所述第二对角线瞬时改进值产生第二像素值。
15.如权利要求13所述的视频处理方法,其中产生第二像素值包括基于第一像素值、垂直瞬时改进值、水平瞬时改进值和第一对角线瞬时改进值的和,产生第二像素值。
16.如权利要求15所述的视频处理方法,其中产生第二像素值还包括对所述和应用线性非锐化掩模。
17.一种视频处理方法,其特征在于,所述方法包括:
在视频处理设备处接收一组像素的像素值,该组像素包括以最初具有第一像素值的选择像素为中心的像素窗口;
使用第一滤波器矩阵,产生表示所述选择像素的第一平滑像素值,所述第一滤波器矩阵降低所述像素窗口的相对于所述选择像素水平共线或垂直共线的像素的重要性;
使用第二滤波器矩阵,产生表示所述选择像素的第二平滑像素值,所述第二滤波器矩阵降低所述像素窗口的相对于所述选择像素对角线共线的像素的重要性;
基于第一平滑像素值,并且基于该组像素中的与所述选择像素水平共线的两个像素中的每一个的像素值,确定水平瞬时改进值;
基于第一平滑像素值,并且基于该组像素中的与所述选择像素垂直共线的两个像素中的每一个的像素值,确定垂直瞬时改进值;和
基于第二平滑像素值,并且基于该组像素中的与所述选择像素正对角线共线的两个像素中的每一个的像素值,确定第一对角线瞬时改进值;以及
产生所述选择像素的第二像素值,所述第二像素值基于第一像素值、垂直瞬时改进值、水平瞬时改进值和第一对角线瞬时改进值;
其中确定水平瞬时改进值、垂直瞬时改进值和第一对角线瞬时改进值中对应的一个瞬时改进值包括:
接收该组像素中的相对于一个相应方向与所述选择像素共线的第一像素的第一相应像素值;
接收该组像素中的相对于所述相应方向与所述选择像素共线的第二像素的第二相应像素值;
产生第一值,第一值是对第一或第二平滑像素值中的相应平滑像素值,以及该组像素中的两个相应共线像素的像素值的一阶导数的近似;
产生第二值,第二值是对所述相应平滑像素值以及所述两个相应共线像素的像素值的二阶导数的近似;
基于第一值确定缩放值;和
基于以第一值对第二值的缩放产生第三值,所述第三值表示相应瞬时改进值在相应方向上的潜在值。
18.如权利要求17所述的视频处理方法,其中确定水平瞬时改进值、垂直瞬时改进值和第一对角线瞬时改进值中对应的一个瞬时改进值还包括:
基于第一值和第二值的和,确定缩放因子,其中,所述缩放因子被用于控制下冲/过冲;
基于所述缩放因子,相应平滑像素值,以及相应平滑像素值、第一相应像素值和第二相应像素值中的最大值,确定第四值;
基于所述缩放因子,相应平滑像素值,以及相应平滑像素值、第一相应像素值和第二相应像素值中的最小值,确定第五值;和
基于第二值与所述最小值或最大值中的至少一个的比较,提供对第三值、第四值或第五值中的一个选择值,作为表示相应瞬时改进值的值。
CN201010598137.3A 2009-12-16 2010-12-16 使用来自非线性滤波的方向分量的自适应边缘增强 Expired - Fee Related CN102104713B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/639,353 2009-12-16
US12/639,353 US8284314B2 (en) 2009-12-16 2009-12-16 Adaptive edge enhancement using directional components from non-linear filtering

Publications (2)

Publication Number Publication Date
CN102104713A CN102104713A (zh) 2011-06-22
CN102104713B true CN102104713B (zh) 2016-02-24

Family

ID=43743444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010598137.3A Expired - Fee Related CN102104713B (zh) 2009-12-16 2010-12-16 使用来自非线性滤波的方向分量的自适应边缘增强

Country Status (3)

Country Link
US (1) US8284314B2 (zh)
EP (1) EP2357784B1 (zh)
CN (1) CN102104713B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102224524B (zh) * 2008-11-21 2014-03-12 三菱电机株式会社 图像处理装置以及图像处理方法
JP2010278929A (ja) * 2009-05-29 2010-12-09 Toshiba Corp 画像処理装置
US8761537B2 (en) * 2011-05-27 2014-06-24 Vixs Systems, Inc. Adaptive edge enhancement
CN102547070A (zh) * 2011-12-20 2012-07-04 苏州希图视鼎微电子有限公司 视频图像边缘处理方法及装置
EP2672693A1 (en) * 2012-06-07 2013-12-11 ViXS Systems Inc. Adaptive edge enhancement
CN103517048B (zh) * 2012-06-20 2017-03-01 Vixs系统公司 自适应边缘增强
KR20150087701A (ko) * 2014-01-22 2015-07-30 삼성전자주식회사 샤프닝 필터링 기반의 이미지 처리 장치 및 이미지 처리 방법
TWI543586B (zh) 2014-05-30 2016-07-21 國立交通大學 影像增強的方法及其影像處理裝置與電腦程式產品
US9924116B2 (en) 2014-08-05 2018-03-20 Seek Thermal, Inc. Time based offset correction for imaging systems and adaptive calibration control
US9930324B2 (en) 2014-08-05 2018-03-27 Seek Thermal, Inc. Time based offset correction for imaging systems
WO2016022374A1 (en) 2014-08-05 2016-02-11 Seek Thermal, Inc. Local contrast adjustment for digital images
WO2016028755A1 (en) 2014-08-20 2016-02-25 Seek Thermal, Inc. Adaptive adjustment of operating bias of an imaging system
EP3183871B1 (en) 2014-08-20 2020-05-06 Seek Thermal, Inc. Gain calibration for an imaging system
JP6542524B2 (ja) * 2014-10-29 2019-07-10 三星ディスプレイ株式會社Samsung Display Co.,Ltd. 画像処理装置、画像処理方法、およびプログラム
US10600164B2 (en) 2014-12-02 2020-03-24 Seek Thermal, Inc. Image adjustment based on locally flat scenes
US9947086B2 (en) 2014-12-02 2018-04-17 Seek Thermal, Inc. Image adjustment based on locally flat scenes
US10467736B2 (en) 2014-12-02 2019-11-05 Seek Thermal, Inc. Image adjustment based on locally flat scenes
CN106161875B (zh) * 2015-03-25 2019-02-15 瑞昱半导体股份有限公司 图像处理装置与方法
US9549130B2 (en) 2015-05-01 2017-01-17 Seek Thermal, Inc. Compact row column noise filter for an imaging system
US9842410B2 (en) 2015-06-18 2017-12-12 Samsung Electronics Co., Ltd. Image compression and decompression with noise separation
US10432932B2 (en) * 2015-07-10 2019-10-01 Mozilla Corporation Directional deringing filters
CN105314709B (zh) * 2015-11-24 2018-08-17 佛山市顺德区美的饮水机制造有限公司 净水系统和净水系统的控制方法
CN106851399B (zh) 2015-12-03 2021-01-22 阿里巴巴(中国)有限公司 视频分辨率提升方法及装置
US9996902B2 (en) * 2016-01-19 2018-06-12 Google Llc Image upscaling
US10867371B2 (en) 2016-06-28 2020-12-15 Seek Thermal, Inc. Fixed pattern noise mitigation for a thermal imaging system
CN109523564B (zh) * 2018-10-19 2020-04-28 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
US11276152B2 (en) 2019-05-28 2022-03-15 Seek Thermal, Inc. Adaptive gain adjustment for histogram equalization in an imaging system

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5799111A (en) * 1991-06-14 1998-08-25 D.V.P. Technologies, Ltd. Apparatus and methods for smoothing images
US5526446A (en) * 1991-09-24 1996-06-11 Massachusetts Institute Of Technology Noise reduction system
US5852475A (en) * 1995-06-06 1998-12-22 Compression Labs, Inc. Transform artifact reduction process
US6229578B1 (en) * 1997-12-08 2001-05-08 Intel Corporation Edge-detection based noise removal algorithm
JP4046465B2 (ja) * 1999-09-17 2008-02-13 株式会社リコー 画像処理装置、画像処理方法、及び画像処理システム
KR100444997B1 (ko) * 2002-02-21 2004-08-21 삼성전자주식회사 윤곽 보정 방법 및 이에 적합한 장치
SG115542A1 (en) * 2003-05-21 2005-10-28 St Microelectronics Asia Adaptive coring for video peaking
US20060262989A1 (en) 2003-08-24 2006-11-23 Koninklijke Philips Electronics N.V. Image enhacement
US7437013B2 (en) * 2003-12-23 2008-10-14 General Instrument Corporation Directional spatial video noise reduction
US7424168B2 (en) * 2003-12-24 2008-09-09 Sharp Laboratories Of America, Inc. Enhancing the quality of decoded quantized images
US7545391B2 (en) * 2004-07-30 2009-06-09 Algolith Inc. Content adaptive resizer
US7676103B2 (en) 2005-06-20 2010-03-09 Intel Corporation Enhancing video sharpness and contrast by luminance and chrominance transient improvement
US7668387B2 (en) 2005-06-20 2010-02-23 Intel Corporation Selective local transient improvement and peaking for video sharpness enhancement
JP4775052B2 (ja) * 2006-03-17 2011-09-21 ソニー株式会社 画像処理装置および方法、並びにプログラム
US7907215B2 (en) * 2006-06-06 2011-03-15 Sigma Designs, Inc. Video enhancement systems and methods
US7782401B1 (en) * 2006-06-20 2010-08-24 Kolorific, Inc. Method and system for digital image scaling with sharpness enhancement and transient improvement
US8442344B2 (en) 2006-08-07 2013-05-14 Qualcomm Incorporated Adaptive spatial image filter for filtering image information
CN101123680B (zh) * 2006-08-09 2010-10-06 昆山杰得微电子有限公司 去除摄像头斑点噪声的方法
US8411938B2 (en) * 2007-11-29 2013-04-02 Sri International Multi-scale multi-camera adaptive fusion with contrast normalization
TW200939154A (en) * 2008-03-14 2009-09-16 Holtek Semiconductor Inc An edge extraction and enhancement
JP4586893B2 (ja) 2008-06-13 2010-11-24 ソニー株式会社 信号処理装置および方法、並びにプログラム
US8233716B2 (en) 2008-06-27 2012-07-31 Palo Alto Research Center Incorporated System and method for finding stable keypoints in a picture image using localized scale space properties

Also Published As

Publication number Publication date
US8284314B2 (en) 2012-10-09
CN102104713A (zh) 2011-06-22
US20110141368A1 (en) 2011-06-16
EP2357784B1 (en) 2015-09-16
EP2357784A1 (en) 2011-08-17

Similar Documents

Publication Publication Date Title
CN102104713B (zh) 使用来自非线性滤波的方向分量的自适应边缘增强
Lidong et al. Combination of contrast limited adaptive histogram equalisation and discrete wavelet transform for image enhancement
CN107644398B (zh) 图像插补方法及其相关图像插补装置
CN108876733B (zh) 一种图像增强方法、装置、设备和存储介质
CN110533607B (zh) 一种基于深度学习的图像处理方法、装置及电子设备
CN106127688B (zh) 一种超分辨率图像重建方法及其系统
CN106204447A (zh) 基于总变差分和卷积神经网络的超分辨率重建方法
Shin et al. Efficient naturalness restoration for non‐uniform illumination images
US20030161545A1 (en) Method for sharpening a digital image with signal to noise estimation
Liu et al. $ L_ {0} $-regularized image downscaling
JPH05502534A (ja) ディジタル画像のノイズ除去システムおよび方法
CN102682446A (zh) 使用自适应联合双边滤波器生成稠密深度图的设备和方法
CN101882304A (zh) 一种sar图像自适应去噪和特征增强方法
US20030161544A1 (en) Method for sharpening a digital image without amplifying noise
CN101248443B (zh) 使用跳跃样本的图像处理
Sharma et al. Hybrid image fusion scheme using self-fractional Fourier functions and multivariate empirical mode decomposition
CN101491080A (zh) 用于图像去噪和可控去模糊的保曲率滤波器
KR20180097342A (ko) 영상 아티팩트를 최소화하는 초해상도 영상 선명화 방법 및 장치
CN101889295A (zh) 生成多尺度对比度增强的图像的方法
Sakurai et al. Super-resolution through non-linear enhancement filters
KR20220157869A (ko) 영상 처리 장치 및 그 동작 방법
KR102405309B1 (ko) 디스플레이 장치 및 그 디스플레이 방법
CN105279742A (zh) 一种快速的基于分块噪声能量估计的图像去噪方法
JP2013246460A (ja) 画像処理装置、画像処理方法、およびプログラム
CN104835121B (zh) 基于无穷范数约束与最大熵原则的色调映射方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160224

Termination date: 20181216

CF01 Termination of patent right due to non-payment of annual fee