CN103404148A - 图像处理方法、图像处理装置、视频编码化／解码方法、视频编码化／解码装置以及它们的程序 - Google Patents

图像处理方法、图像处理装置、视频编码化／解码方法、视频编码化／解码装置以及它们的程序 Download PDF

Info

Publication number
CN103404148A
CN103404148A CN2012800114393A CN201280011439A CN103404148A CN 103404148 A CN103404148 A CN 103404148A CN 2012800114393 A CN2012800114393 A CN 2012800114393A CN 201280011439 A CN201280011439 A CN 201280011439A CN 103404148 A CN103404148 A CN 103404148A
Authority
CN
China
Prior art keywords
shape
template
exploration
edge direction
denoising
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800114393A
Other languages
English (en)
Other versions
CN103404148B (zh
Inventor
松村诚明
高村诚之
清水淳
如泽裕尚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of CN103404148A publication Critical patent/CN103404148A/zh
Application granted granted Critical
Publication of CN103404148B publication Critical patent/CN103404148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明一边抑制编码化效率的降低，一边削减去噪声滤波器的运算量。在图像处理装置中，边缘方向检测部使用去噪声目标图像算出边缘方向。探索形状设定部将算出的边缘方向作为探索形状的限制中使用的指标，设定与边缘方向正交的方向的探索点的数量比沿所述边缘方向的探索点的数量少的探索形状。滤波执行部，通过对应于目标像素的模板和探索形状内的各探索点的模板的模板相似度的权重与该探索点中的像素值的权重和，去除目标像素的噪声，并仅对设定的探索形状内的各探索点进行模板匹配，执行去除目标像素的噪声的处理。

Description

图像处理方法、图像处理装置、视频编码化／解码方法、视频编码化／解码装置以及它们的程序
技术领域
本发明涉及减轻拍摄图像时的噪声、恶化图像的恶化的图像处理技术。
本申请基于2011年3月9日向日本申请的特愿2011-051443号要求优先权，并且在此援用其内容。
背景技术
将本说明书中使用的各词条定义为以下的内容。
・“探索形状”：作为模板匹配的目标的该像素周边的各探索点的集合体，或者，该集合体所构成的形状。
・“模板形状”：在模板匹配时计算该像素与各探索点的相似度时所使用的像素群，或者，该像素群所构成的形状。在该像素周边的像素群和各探索点周边的像素群使用相同的形状，将相对位置关系为相同的位置彼此的像素值进行比较。
在图像处理领域，作为减轻拍摄图像时的噪声、恶化图像的恶化的技术，提出了各种各样的去噪声滤波器。其中，已知基于Non-local　means法的去噪声滤波器（参照非专利文献1）发挥高去噪声效果。将基于Non-local　means法的去噪声滤波器，以下称为NLM滤波器。
图26是NLM滤波器的说明图。在图26中，正方形的1个块为探索点，这些探索点的集合体为探索形状。P0 是去噪声目标像素，Ps 是探索目标中的探索点的像素。T0 和Ts 是模板形状，比较源的模板形状T0 和探索目标的模板形状Ts 的形状相同。
在NLM滤波器中，将比较源与探索目标的各模板形状T0 、Ts 内的对应的各像素彼此进行比较，算出模板相似度。在模板相似度的计算中，一般使用SSD（Sum of Square Difference）、SAD（Sum of Absolute Difference）。
图27是表示NLM滤波器执行部的输入输出的图。NLM滤波执行部1000，基本上，将去噪声目标图像、探索形状、模板形状、去噪声系数的4个信息作为输入，来生成去噪声后的结果图像。作为去噪声系数，在存在附着噪声前的原始图像的情况下，将方差作为代表值而赋予，在不存在原始图像的情况下，由用户设定适当的值。
NLM滤波执行部1000，按下面的方式针对各像素算出去噪声后的像素值。下面，对模板相似度的计算中使用了SSD的例进行说明。
（1）将权重值合计的变量SW初始化为0，将像素值合计的变量SP初始化为0。
（2）对探索形状内的全部的各探索点，反复以下的处理。
（2-1）作为模板相似度算出SSD。
（2-2）权重值W＝exp（-SSD／去噪声系数）
（2-3）权重值合计SW＝权重值合计SW＋权重值W
（2-4）像素值合计SP＝像素值合计SP＋权重值W×（探索点的像素值）
（3）针对探索形状内的全部的探索点，如果（2）的处理已完成，则将去噪声目标像素的去噪声后的像素值，通过下式来求出。
（去噪声后的像素值）＝像素值合计SP／权重值合计SW　
NLM滤波执行部1000，作为输入的去噪声系数、探索形状、模板形状，在赋予了单一的值的情况下，对去噪声目标图像的全像素，以单一的值、形状进行去噪声处理，在赋予了与每一像素相对应的数据群的情况下，按每一对应点切换值、形状进行去噪声处理。
另外，在“MPEG（Moving　Picture　Experts Group）”、“VCEG（Video　Coding　Experts　Group）”中，在作为目前进行国际标准化活动的下一代视频编码化标准方式的“High Efficiency Video Coding”的雏形（Test　Model）的“HM”中，为了去除编码化失真，搭载有基于解块滤波的去噪声滤波器（参照非专利文献2）。
现有技术文献
非专利文献
非专利文献1：A. Buades， B. Coll， and J.M. Morel，“A non-local algorithm for image denoising ”， Proc.IEEE Int. Conf. on Computer Vision and Pattern Recognition， vol. 2， pp.60-65， June， 2005。　　
非专利文献2：Thomas Wiegand， Woo-Jin Han， Benjamin Bross， Jens-Rainer Ohm， Gary J.Sullivan， “WD1： Working Draft 1 of High-Efficiency Video Coding"， ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 3rd Meeting： Guangzhou， CN， 7-15 October， 2010。
发明内容
本发明所要解决的技术问题
如上所述，在下一代视频编码化标准方式的“High Efficiency Video Coding”的“HM”中，为了去除编码化失真，虽然搭载有基于解块滤波的去噪声滤波器，但如果将上述NLM滤波器导入HM，可认为比现有的解块滤波器能提高编码化效率。
但是，作为NLM滤波器，其运算量巨大，为此，当在解码装置中NLM滤波器对全部的像素进行计算时，存在解码中需要的计算时间增大的隐患。
如上所述，相对去噪声目标像素的一个一个，对任意的探索形状内的各探索点，在任意的模板形状中进行模板匹配，进行模板相似度的计算。为此，例如当假设模板形状为N×N块，探索形状为M×M时，为了进行1像素的去噪声计算，N2 ×M2 次的运算量变为必需。因此，为了在解码装置等中使用NLM滤波器，需要削减该运算量的技术。
本发明为了谋求以上的课题的解决，其目的在于，提供一种一边抑制编码化效率的降低，一边削减去噪声滤波器的运算量的技术。另外，此处作为编码化效率，例如使用从画质和编码化量计算的国际的评价技术之一的BD-rate。
用于解决技术问题的技术方案
本发明为了解决上述课题，在进行变为对于去噪声目标图像中的去噪声的目标像素的比较源的模板与对于变为所述去噪声目标图像中的探索形状内的探索目标的各探索点的模板的模板匹配，通过对应于模板相似度的权重与该探索点中的像素值的权重和去除所述目标像素的噪声的图像处理中，执行以下的处理。
（1）使用所述去噪声目标图像算出边缘方向。
（2）将算出的所述边缘方向，作为所述探索形状的限制中使用的指标，设定与所述边缘方向正交的方向的所述探索点的数量比沿所述边缘方向的所述探索点的数量少的探索形状。
（3）仅对设定的所述探索形状内的各探索点进行所述模板匹配，执行去除所述目标像素的所述噪声的处理。
另外，本发明将上述图像处理适用于视频编码化或解码中的环路滤波器（相当于现有的解块滤波器）中。
进一步，在本发明中，将上述图像处理适用于视频编码化或解码中的环路滤波器中，除了上述处理（1）～（3）之外，执行以下的处理也可。
（4）使用解码图像，算出所述目标像素与所述目标像素的周边像素的偏离度。
（5）将所述偏离度，作为所述模板的模板形状的限制中使用的指标，所述偏离度与所述解码图像内的偏离度最大值进行比较越低越以所述模板形状变小的方式执行限制所述模板形状的处理。
另外，进一步，附加以下的（6）的处理也可。
（6）检测出在处理（5）限制的模板形状中过剩分配的区域，通过模板形状的再设定进一步限制模板形状。
如上所述，在处理（1）中，检测去噪声目标图像中的边缘的方向，在处理（2）中，沿处理（1）的边缘方向的方向的探索点被担保，以削减与边缘方向垂直的方向的探索点的方式，按去噪声目标图像中的每一像素限制探索形状。由此，能削减去噪声滤波器的运算量。
另外，通过将以上的图像处理，与视频编码化／解码处理进行组合，适用于环路滤波器，抑制了编码化效率的降低的环路滤波器的运算量削减成为可能。进而，通过上述处理（4），（5），相对于目前对画面全体以固定值唯一给予的模板形状，导入按每一像素限制模板形状的处理，能削减模板匹配中的运算量。另外，如果进一步执行处理（6），则运算量的进一步削减成为可能。
发明效果
作为本发明的效果，列举如下。
1.去噪声滤波器的运算量削减　
根据本发明，通过限制探索形状，削减模板匹配目标的探索点数，模板匹配的计算次数减少，运算量的削减成为可能。
2.将视频编码化／解码组合时能实现的去噪声滤波器的运算量削减
　另外，根据本发明，通过适用于视频编码化／解码中的环路滤波器，能实现抑制了编码化效率的降低的运算量的削减。
进而，如果导入限制模板形状，削减进行模板内像素彼此的比较计算的像素数的处理，则像素彼此的比较计算次数减少，能削减运算量。即，当将限制探索区域的技术与限制模板形状的技术进行组合时，由于在各探索点进行模板匹配，所以变为在限制的探索形状内进一步进行限制的模板形状的计算，能成倍地削减运算量。
附图说明
[图1]是表示本发明的第一实施方式所涉及的图像处理装置的结构例的图；
[图2]是第一实施方式的图像处理装置的处理流程图；
[图3]是说明基于探索形状的削减导致去噪声滤波器的运算量的削减的图；
[图4]是表示本发明的第二实施方式所涉及的图像处理装置的结构例的图；
[图5]是第二实施方式的图像处理装置的处理流程图；
[图6]是表示本发明的第三实施方式所涉及的图像处理装置的结构例的图；
[图7A]是说明边缘方向检测方法的例中的苏贝尔算子的图；
[图7B]是说明边缘方向检测方法的例中的对应于方向的编号的图；
[图7C]是说明边缘方向检测方法的例中的编号的分配方法的图；
[图8]是表示对应于边缘方向编号的探索形状的设定例的图；
[图9A]是表示对应于弧度角的探索形状的设定例的图；
[图9B]是表示对应于弧度角的探索形状的设定例的图；
[图10]是表示本发明的第五实施方式所涉及的图像处理装置的结构例的图；
[图11]是第五实施方式的图像处理装置的处理流程图；
[图12]说明基于模板形状设定部的模板形状的限制的例的图；
[图13]是表示本发明的第六实施方式所涉及的图像处理装置的结构例的图；
[图14]是第6实施方式的图像处理装置的处理流程图；
[图15A]是说明偏离度检测方法的例的图；
[图15B]是说明偏离度检测方法的例的图；
[图16]是表示偏离度的柱状图与阈值／区域设定的关系的图；
[图17A]是说明对应于积分比的取样数的设定的例的图；
[图17B]是说明对应于积分比的取样数的设定的例的图；
[图18A]是说明模板形状的再设定方法的例中的计算目标区域的图；
[图18B]是说明模板形状的再设定方法的例中的块噪声的特征的图；
[图18C]是说明模板形状的再设定方法的例中的四角的设定的图；
[图19]是表示适用本发明的实施方式的视频编码化装置的结构例的图；
[图20]是视频编码化装置的处理流程图；
[图21]是视频编码化装置的处理流程图；
[图22]是表示适用本发明的实施方式的视频解码装置的结构例的图；
[图23]是视频解码装置的处理流程图；
[图24]是视频解码装置的处理流程图；
[图25]是表示使用软件程序实施本发明的实施方式的情况下的系统的结构例的图；
[图26]是NLM滤波器的说明图；
[图27]是表示NLM滤波执行部的输入输出的图。
具体实施方式
下面，边使用附图边对本发明的实施方式进行说明。
〔第一实施方式〕　
图1是表示本发明的第一实施方式所涉及的图像处理装置的结构例的图。图像处理装置10具备：去噪声滤波处理部101，该去噪声滤波处理部101包括边缘方向检测部102、探索形状设定部103、NLM滤波执行部104。
在该图像处理装置10中，去噪声滤波处理部101输入去噪声系数、探索形状、模板形状、去噪声目标图像的四个信息，并输出去除了滤波后的噪声的图像。
边缘方向检测部102，检测去噪声目标图像的边缘方向，并输出对应于去噪声目标图像中的各像素的边缘方向群。作为边缘方向的例，可列举出按每一方向标有编号的编号群、角度群等。
探索形状设定部103，输入探索形状，并将输入的探索形状作为最大形状，输出对应于去噪声目标图像中的各像素的探索形状群。每一像素的探索形状群，担保沿边缘方向的方向的探索点数，作为削减了与边缘方向垂直的方向的探索点的形状。
NLM滤波执行部104输入去噪声目标图像、去噪声系数、模板形状以及探索形状设定部103设定的每一像素的探索形状群，并输出去噪声后的图像。该NLM滤波执行部104所能进行的处理，与非专利文献1中所示的现有的NLM滤波器的处理相同。
图2是图1所示的图像处理装置10的处理流程图。首先，在步骤S101，去噪声滤波处理部101，通过来自的外部的输入，取得去噪声系数、去噪声目标图像、探索形状、模板形状的各信息。
在步骤S102，边缘方向检测部102，检测去噪声目标图像的边缘方向，并输出边缘方向群。接下来，在步骤S103，探索形状设定部103，根据由边缘方向检测部102检测出的边缘方向，限制输入的探索形状，并输出每一像素的探索形状群。输出的探索形状群的探索形状是将输入的探索形状作为最大，而比其小的探索形状。最后，在步骤S104，NLM滤波执行部104，根据设定的信息执行NLM滤波，并输出滤波后的结果图像。
图3是说明由探索形状的削减带来的去噪声滤波器的运算量的削减的图。在图3中，P0 表示去噪声目标像素，E表示检测出的边缘方向，Q0表示削减前的探索形状（最大范围），Q1表示削减后的探索形状。
目前，例如如图3（A）所示，作为探索形状Q0 ，对画面全体以固定值唯一地赋予。与此相对，在本实施方式中，通过边缘方向检测部102，检测出去噪声目标图像中的边缘方向E，通过探索形状设定部103，如图3（B）所示，担保沿边缘方向E的方向的探索点，并通过设定削减了与边缘方向E垂直的方向的探索点的探索形状Q1，导入按每一像素限制探索形状的处理。
另外，在模板匹配中，将去噪声目标像素P0从计算目标除外。这时因为作为模板相似度的指标的SSD、SAD必定变为0，作为在图27说明的NLM滤波处理中的权重值，必定输出W＝1.0。因此，对削减前的探索形状Q0 的模板匹配的次数为48次，与此相对，对削减后的探索形状Q1的模板匹配的次数变为24次，变为运算量减少约50％。
〔第二实施方式〕　
图4是表示本发明的第二实施方式所涉及的图像处理装置的结构例的图。图像处理装置11在具备包括边缘方向检测部112、探索形状设定部113、NLM滤波执行部114的去噪声滤波处理部111的同时，还具备去噪声系数算出部115。
该图像处理装置11在具备输入附着噪声前的原始图像并算出去噪声系数的去噪声系数算出部115的这一点上，与第一实施方式所涉及的图像处理装置10不同。去噪声滤波处理部111的结构与第一实施方式的去噪声滤波处理部101的结构相同。
图5是图4所示的图像处理装置11的处理流程图。首先，在步骤S111，图像处理装置11，通过来自外部的输入，取得原始图像、去噪声目标图像、探索形状、模板形状的各信息。
在步骤S112，去噪声系数算出部115，从输入的原始图像与去噪声目标图像的方差算出去噪声系数，将算出的去噪声系数向NLM滤波执行部114进行通知。在步骤S113，边缘方向检测部112，检测去噪声目标图像的边缘方向，并输出边缘方向群。接下来，在步骤S114，探索形状设定部113，根据由边缘方向检测部112检测出的边缘方向，限制输入的探索形状，并输出每一像素的探索形状群。输出的探索形状群的探索形状是，将输入的探索形状作为最大，比其小的探索形状。最后，在步骤S115，NLM滤波执行部114，根据设定的信息执行NLM滤波，并输出滤波后的结果图像。
〔第三实施方式〕　
图6是表示本发明的第三实施方式所涉及的图像处理装置的结构例的图。图像处理装置12具备：去噪声滤波处理部121，该去噪声滤波处理部121包括边缘方向检测部122、探索形状设定部123、NLM滤波执行部124、探索形状存储部125、模板形状存储部126。
该图像处理装置12只输入去噪声系数和去噪声目标图像，就探索形状和模板形状而言，在使用去噪声滤波处理部121所保有的固定值的这一点上，与上述的第一实施方式所涉及的图像处理装置10不同。
即，去噪声滤波处理部121，代替从外部输入探索形状和模板形状，而使用在探索形状存储部125、模板形状存储部126中分别存储的固定的探索形状、模板形状。边缘方向检测部122、探索形状设定部123、NLM滤波执行部124的结构与在第一实施方式说明的这些部件相同。
〔第四实施方式〕　
在前述的第三实施方式中，虽然去噪声滤波处理部121作为固定值保有探索形状和模板形状这两个，但仅将探索形状和模板形状中的一个作为固定值进行保有，将另一个作为来自外部的输入可变地实施也是可能的。另外，在第三实施方式中，进而，如第二实施方式那样，能采用设置有去噪声系数算出部，并从原始图像算出去噪声系数的实施方式。基本的处理流程，与在第一实施方式、第二实施方式说明的例相同，省略其详细的处理的说明。
〔边缘方向检测方法的例1〕　
作为边缘方向检测部102、112、122中的边缘方向检测方法的例之一，列举出通过对解码图像适用苏贝尔滤波器，检测边缘方向，并输出按每一方向分配的编号的例。
图7A～图7C是说明该边缘方向检测方法的例（苏贝尔滤波器和对应于方向的编号）的图。对周边像素，适用图7A所示的苏贝尔算子，根据检测出的边缘方向，如图7B所示，分配编号VecIndex（0～10）。此时，设定一个阈值Th，如果x轴、y轴的各个成分（dx、dy）的绝对值和小于阈值Th，则作为在该像素中不存在强的边缘，给VecIndex分配0编号，并将编号作为边缘方向群进行输出。
图7C示出分配该编号的算法。
・假如｜dx｜＋｜dy｜＜Th，则VecIndex＝0。
・假如不符合上述条件，并且dy＝0，则VecIndex＝6。
・假如不符合上述条件，并且dx／dy＜-8.0，则VecIndex＝6。
・假如不符合上述条件，并且dx／dy＜-2.0，则VecIndex＝7。
・假如不符合上述条件，并且dx／dy＜-1.0，则VecIndex＝8。
・假如不符合上述条件，并且dx／dy＜-0.5，则VecIndex＝9。
・假如不符合上述条件，并且dx／dy＜-0.125，则VecIndex＝10。
・假如不符合上述条件，并且dx／dy＜0.125，则VecIndex＝1。
・假如不符合上述条件，并且dx／dy＜0.5，则VecIndex＝2。
・假如不符合上述条件，并且dx／dy＜1.0，则VecIndex＝3。
・假如不符合上述条件，并且dx／dy＜2.0，则VecIndex＝4。
・假如不符合上述条件，并且dx／dy＜8.0，则VecIndex＝5。
・在不符合上述的任一个条件的情况下，VecIndex＝6。
为了减轻基于DCT（离散余弦变换）的蚊式噪声、拍摄时的噪声的影响，另外，为了运算量削减，对作为输入的去噪声目标图像不是等倍图像，对缩小到纵横1／N的图像的苏贝尔滤波器的适用也有效。
对缩小到1／N的图像，在适用苏贝尔滤波器的情况下，算出的苏贝尔滤波器的输出结果，作为缩小时使用的多个像素群的代表值来使用。
〔探索形状设定方法的例1〕　
作为探索形状设定部103、113、123中的探索形状设定方法的例之一，将使用图7B～图7C中说明的边缘方向编号VecIndex的边缘方向群，从装置给予的基准探索形状将5×5块的全点作为目标的情况的探索形状的削减方法的例进行说明。
探索形状设定部103、113、123，根据从边缘方向检测部102、112、122接受的边缘方向群，设定图8所示的探索点。在图8的5×5块中，由阴影示出的部分变为削减后的探索形状。
这样做的理由为以下所述。作为NLM滤波器的计算技术，以模板匹配来算出变为模板相似度的指标的SSD、SAD，取对该指标设定exponential增益的权重的结构。为此，在显著的边缘周边，如果在沿边缘的方向进行取样能有效地发现相似度高的位置。另一方面，由于当从边缘离开时相似度很大地降低，所以权重变为小的值，权重和计算时的影响力小。因此，通过在沿边缘的方向使取样集中，在抑制去噪声效果的恶化的同时，能抑制运算量。
再者，在图8的例中，由于在5×5块的中心位置，作为模板相似度的指标而使用的SSD／SAD必定变为零，所以该点变为计算目标外。因此，在将5×5块的全点作为探索点的情况下，合计24点变为计算目标，与此相对，在VecIndex＝0变为1／3，其之外变为5／12的运算量。在全部的VecInde均等地出现的情况下，理论值变为小超2／5。
〔模拟结果〕　
使用上述边缘方向检测方法的例1和探索形状设定方法的例1中记载的技术，将纵横1／2图像作为目标按每2×2块算出边缘方向，在下述的设定中进行了模拟的结果为如下内容。再者，去噪声系数是反复进行多次NLM滤波，以PSNR（Peak　Signal-to-Noise Ratio）变为最大的方式进行反复计算的最优的值。
在去噪声目标图像中，对下述的各序列的亮度信号加上＋5～-5为止的随机噪声，以滤波后的PSNR-Y和处理时间的各平均值进行了评价。
＜模拟条件＞
・序列： BasketballDrive，BQTerrace ，Cactus，ParkScene 　（Full-HD：1920×1080）
・目标帧：前端各10帧
・探索形状：5×5块
・模板形状：3×3块　
＜NLM滤波中所要的平均处理时间＞　
【表1】
NLM滤波中所要的平均处理时间
Figure 825817DEST_PATH_IMAGE001
从表1可知，将纵横1／2图像作为目标的边缘方向检测和基于按每2×2块发生的方向适用的条件分支的影响导致延迟会产生，PSNR不下降很大，滤波器全体的所要时间能削减至平均约45％为止。其中，在边缘方向集中取样，也能看见平均地PSNR增高的序列。
〔边缘方向检测方法的例2〕　
作为边缘方向检测部102、112、122中的边缘方向检测方法的其它例，列举出通过对去噪声目标图像适用苏贝尔滤波器，检测出边缘方向，并输出弧度角（Radian）的例。对周边像素，适用前述的图7A所示的苏贝尔算子，从x轴、y轴的各个成分（dx、dy）使用arctan（-π／2～π／2）计算弧度角。此时，假如dx、dy的绝对值和小于阈值Th，则设定arctan（-π／2～π／2）的输出范围之外的值（EXatan：例如100等）。
即，将弧度角（Radian）定义为如下。
・在｜dx｜＋｜dy｜＜Th的情况下，Radian＝EXatan。
・假如不符合上述条件，并且dy＝0，则Radian＝π／2。
・其它的情况下，Radian＝arctan（dx／dy）。
〔探索形状设定方法的例2〕　
作为探索形状设定部103、113、123中的探索形状设定方法的其它例，对使用以边缘方向检测方法的例2说明的弧度角给予的边缘方向群，削减从装置给予的探索形状将N×N块的全点作为目标的情况的探索形状的方法的例进行说明。
图9A～图9B是表示对应于弧度角的探索形状的设定例的图。探索形状设定部103、113、123，根据从边缘方向检测部102、112、122接受的弧度角，将图9A～图9B所示的圆或椭圆内的探索点，作为探索形状进行设定。
在弧度角（Radian）为EXatan的情况下，如图9A所示，将设定形状的直径变为（N-1）的圆内的探索点作为探索形状进行设定。
另外，在弧度角（Radian）为EXatan之外的情况下，如图9B所示，将设定形状的长径变为（N×21/2 ），短径变为（N×2-1/2）的椭圆内的探索点作为探索形状进行设定。
〔第五实施方式〕　
图10是表示本发明的第五实施方式所涉及的图像处理装置的结构例的图。图像处理装置13具备：去噪声滤波处理部131，该去噪声滤波处理部131包括边缘方向检测部132、探索形状设定部133、NLM滤波执行部134、探索形状存储部135、模板形状存储部136、去噪声系数设定部137、偏离度检测部138、模板形状设定部139。
第五实施方式示出了作为视频编码化装置或视频解码装置中的环路滤波器使用的图像处理装置13的例。去噪声滤波处理部131中的边缘方向检测部132、探索形状设定部133、NLM滤波执行部134、探索形状存储部135、模板形状存储部136的基本功能，与前述的第一～第四实施方式相同。
去噪声系数设定部137使用从外部给予的变为基准的去噪声系数和编码化信息，生成与去噪声目标图像的各像素位置相对应的去噪声系数。一般情况下，中～低比率中，由于在预测处理单位的PredictionUnit、变换处理单位的TransformUnit的各单元边界线，块噪声开始变显著，所以使用编码化信息，将这些边界线附近的像素位置中的去噪声系数设定得比块内部的去噪声系数高。
为了导入按每一像素限制模板形状的处理，设置偏离度检测部138和模板形状设定部139。在现有的NLM滤波器中，就模板形状而言，一般情况下对画面全体以固定值给予。与此相对，在本实施方式中，作为基于NLM滤波执行部134的NLM滤波器的前处理，通过偏离度检测部138，对去噪声目标图像的各像素，检测与周边像素的偏离度，通过模板形状设定部139，将偏离度检测部138检测出的偏离度分类为多阶段，根据偏离度的强～弱将该像素的模板形状（大～小）分别进行设定。
图11是图10所示的图像处理装置13的处理流程图。首先，在步骤S131，去噪声滤波处理部131，通过来自外部的输入，取得去噪声系数、去噪声目标图像、编码化信息。
在步骤S132，去噪声系数设定部137，从输入的变为基准的去噪声系数和编码化信息，设定与去噪声目标图像的各像素位置相对应的去噪声系数。
接下来，在步骤S133，边缘方向检测部132，检测去噪声目标图像的边缘方向，并输出边缘方向群。在步骤S134，探索形状设定部133，根据由边缘方向检测部132检测出的边缘方向，限制从探索形状存储部135输入的探索形状，设定每一像素的探索形状群。设定的探索形状群的探索形状是将输入的探索形状作为最大，而比其小的探索形状。
在步骤S135，偏离度检测部138，将去噪声目标图像作为输入，计算目标像素与周边像素的偏离度，输出与各像素相对应的偏离度群。在步骤S136，模板形状设定部139，使用偏离度群和在模板形状存储部136存储的规定的模板形状，将与各像素相对应地限制的模板形状进行设定并输出。在限制模板形状时，将输入的模板形状作为最大形状，以偏离度越低模板形状越变小的方式适用限制。
最后，在步骤S137，NLM滤波执行部134，根据设定的信息执行NLM滤波，并输出滤波后的结果图像。
图12是说明基于模板形状设定部139的模板形状的限制的例的图。例如，从外部指定的模板形状，如图12（A）所示，为5×5的块。将该模板形状，根据偏离度，例如如图12（B）所示进行限制。作为模板相似度在使用SSD的情况下，在原始的模板形状中，需要相加24次、相减25次、相乘25次的运算，与此相对，如图12（B）所示，通过限制模板形状，以相加12次、相减13次，相乘13次的运算结束，运算量削减约50％。
基于去噪声滤波处理部131的处理，以基于编码化的噪声的去除为目的，如一般的图像处理那样，不进行去除在画面全体一样地加上了噪声的噪声的假定。基于编码化的噪声（编码化失真），大致能分类为以下的种类。
1.基于平滑化的模样的消失
2.基于DCT的边缘周边的蚊式噪声
3.在PredictionUnit、TransformUnit的各Unit边界线产生的块噪声　
其中，由于通过平滑化损失的模样的复原是非常地困难，在本实施方式中不作为对象。当在这样的像素值中对无变化的平滑化后的区域适用NLM滤波器时，在计算前后像素信号几乎不变化，运算量变为必需。在本实施方式中，通过计算与周边像素的偏离度，削减这样的平滑化的区域中分配的运算量。
〔第6实施方式〕　
图13是表示本发明的第6实施方式所涉及的图像处理装置的结构例的图。图像处理装置14具备：去噪声滤波处理部141，该去噪声滤波处理部141包括边缘方向检测部142、探索形状设定部143、NLM滤波执行部144、探索形状存储部145、模板形状存储部146、去噪声系数设定部147、偏离度检测部148、模板形状设定部149以及模板形状再设定部1410。
该图像处理装置14，在具备模板形状再设定部1410的这一点上，与第五实施方式中的图像处理装置13不同。模板形状再设定部1410，进行用于参照边缘方向群和偏离度群、编码化信息，并将在模板形状设定部149过剩地分配的模板形状进一步限制的再设定。具体地说，进一步限制在PredictionUnit、TransformUnit的各Unit边界线易产生块噪声周边，过剩地分配的模板形状。
图14是图13所示的图像处理装置14的处理流程图。从步骤S141到S146为止的处理与图11中说明的从步骤S131到S136为止的处理相同。在步骤S147，模板形状再设定部1410，使用编码化信息和边缘信息，进行模板形状的再设定，来削减在步骤S146设定的模板形状的过剩分配。最后，在步骤S148，NLM滤波执行部144，根据设定的信息执行NLM滤波，并输出滤波后的结果图像。
〔偏离度检测方法的例〕　
对偏离度检测部138、148中的偏离度检测方法的一例进行说明。图15A～图15B是说明偏离度检测方法的例的图。对将图15A所示的像素z作为去噪声的目标像素，对该周边像素标注了a～x的编号的情况进行说明。在此，将该像素z与周边像素（a～x）的差分绝对值乘以考虑了基于距离的衰减的系数后的权重和作为偏离度的指标（DiffIntensity ）来使用。即，DiffIntensity ，由下式算出。
DiffIntensity ＝　A（｜h-z｜＋｜l-z｜＋｜m-z｜＋｜q-z｜）
　　　 ＋B（｜g-z｜＋｜i-z｜＋｜p-z｜＋｜r-z｜）
＋C（｜c-z｜＋｜k-z｜＋｜n-z｜＋｜v-z｜）
＋D（｜b-z｜＋｜d-z｜＋｜f-z｜＋｜j-z｜＋｜o-z｜＋｜s-z｜＋｜u-z｜＋｜w-z｜）
＋E（｜a-z｜＋｜e-z｜＋｜t-z｜＋｜x-z｜）　
式中的A～E是根据该像素与周边像素的距离预定的系数，任意地设定。在这些的系数A～E的设定中，例如，能适用对应于距离的高斯分布等。再者，A～E也没有必要将全点作为目标，例如假如将D设定为0，则能削减滤波运算量。
偏离度检测部138、148，在全部的DiffIntensity的算出结束之后，将偏离度群输出到下位的模板形状设定部139、149。
另外，偏离度的算出中也可以考虑，拉普拉斯算子滤波的绝对值、SSD（Sum of Square Difference）、方差等的适用。
为了进一步削减运算量，也可考虑，将相对解码图像对任意尺寸的N×N块的各个数点的取样点作为计算目标设定，并作为该像素位置中的偏离度的代表值来使用的技术。
图15B表示取样数的间拔的例。在该例中，在2×2块分割中，将左上，右下的像素作为计算目标。当将该例的偏离度表示为DiffIntensity 2x2 时，DiffIntensity 2x2 由下式算出。
DiffIntensity 2x2 ＝（A的像素位置中的DiffIntensity＋D的像素位置中的DiffIntensity ）／2　
在存在A～D的像素位置中的偏离度的参照要求的情况下，将上述DiffIntensity 2x2 作为代表值来使用。在该例中，偏离度计算中所要的运算量变为约一半。
〔模板形状设定方法的例1〕　
作为模板形状设定部139、149中的模板形状设定方法的例之一，列举出偏离度检测部138、148使用算出的偏离度群，从装置给予的变为基准的模板形状将3×3块的全点作为目标的情况下的模板形状的削减的例。
图16是表示偏离度的柱状图与阈值／区域设定的关系的图。将自然图像作为目标时，偏离度群的柱状图偏向低值侧，随偏离度变强则出现频度变低。另外，随量子化参数的值变大，柱状图具有偏向偏离度小的一边的特性。
模板形状设定部139、149，作成输入的偏离度群的柱状图，以柱状图的面积比变均匀的方式进行4分割，将各个的区域α～δ的模板形状TmpShape 设定为如下。设区域α，β的边界线的值为Thα，区域β，γ的边界线的值为Thβ，区域γ，δ的边界线的值为Thγ。
（1）偏离度小于阈值Thα的情况　　
TmpShape ＝None（要素数0）。
TmpShape 为None的情况，不进行模板匹配。
（2）偏离度为阈值Thα以上且Thβ以下的情况　　
TmpShape ＝Point（要素数1）。
TmpShape 为Point的情况，仅算出针对目标像素与探索点的像素的SSD。
（3）偏离度为阈值Thβ以上且Thγ以下的情况　　
TmpShape ＝Cross（要素数5）。
TmpShape 为Cross的情况，以在目标像素增加上下左右的4像素后的5像素的模板形状进行匹配。
（4）偏离度为阈值Thγ以上的情况　　
TmpShape ＝Block3x3 （要素数9）。
TmpShape 为Block3x3 的情况，在3×3块的模板形状的全点进行匹配。
通过本技术的导入，与对全探索点在3×3块的模板形状的全点进行匹配的技术比较，各自的运算量变为如下。
区域α：运算量　0 　
区域β：运算量　1／9　
区域γ：运算量　5／9　
区域δ：运算量　1　
由于区域占有画面全体的每1／4，所以合计运算量变为5／12，在理论值上约稍低1／2为止能削减运算量。
这样，由偏离度的大小决定模板形状是基于以下的理由。在偏离度强的边缘周边易出现强信号，接着作为基于弱的边缘、DCT的蚊式噪声、拍摄时的噪声等作为小～中程度的信号出现。由于NLM滤波器在边缘周边特别是具有发挥效果的特性，所以在本实施方式中，对偏离度大的区域（区域δ）通过分配大型的模板形状来抑制去噪声效果的恶化。
〔模板形状设定方法的例2〕　
作为模板形状设定部139、149中的模板形状设定方法的其它例，列举出适用偏离度检测部138、148算出的偏离度群，从装置给予的变为基准的模板形状将N×N块的全点作为目标的情况的模板形状的削减的例。
图17A～图17B是说明对应于积分比的取样数的设定的例的图。模板形状设定部139、149，作成偏离度群的柱状图，将柱状图上的去噪声的目标像素的偏离度作为ThIntensity 并以表示偏离度的分布的函数f（DiffIntensity）（图17B）的积分值的比率设定模板形状。
即，如图17A所示，变为基准的模板形状作为N×N块被给予时，将削减后的模板形状的设定形状设为圆，将其直径以如下方式决定。
设定形状（直径）　
＝N×[｛从f（DiffIntensity）的0到ThIntensity 为止的积分值｝　　　　
÷｛从f（DiffIntensity）的0到最大值Max为止的积分值｝]
由此，在偏离度小的情况下，使用小的模板形状，在偏离度大的情况下，使用大的模板形状，能进行有效的模板匹配。
〔模板形状再设定方法的例〕　
作为模板形状再设定部1410中的模板形状再设定方法的例之一，说明将由图16所示的模板形状设定部149设定的模板形状，使用由图15B所示的偏离度检测部148输出的偏离度群、由图7B～图7C所示的边缘方向群和编码化信息进行再设定，进一步削减模板形状的大小的例。
图18A～图18C是说明模板形状的再设定方法的图。首先，从编码化信息取得作为DCT等的变换处理的单位的TransformUnit的Unit尺寸，如图18A所示，在各Unit外边缘的附近将N像素设定于设定目标的区域。作为这之外的区域，将前述的模板形状设定部149的设定结果保持原样地使用。
如图18B所示，在使用了边缘方向群的情况下，在显著的块噪声的Unit外缘上下部分，VecIndex为1，在Unit外缘左右部分，存在VecIndex偏向6的趋势，该边界线部分的偏离度中检测出了高值。另外，在块噪声显著显现的高量子化参数域，存在TransformUnit内部易显现比较平坦的区域的趋势。
也就是说，在量子化参数QP的高的中～低比率域，在图18A中的设定目标的区域，满足如图18B所示的特征的情况下，产生块噪声的可能性高。这些VecIndex对偏向1或6的块边界线的像素位置，以大型的模板形状计算，以小型的模板形状计算，结果几乎不变。但是，在块边界线检测出显著的边缘的情况下，由于设定了大型的模板形状，所以无效。为此，通过模板形状再设定部1410，进行了模板形状的重新修改，实现无效这一问题的解决。
作为具体的解决技术，例如列举出以下的技术。使用对量子化参数QP的规定的阈值Th1QP、Th2QP（但是，Th1QP＜Th2QP）和对偏离度DiffIntensity的规定的阈值Th1Diff、Th2Diff（但是，Th1Diff＜Th2Diff），按每一像素位置进行如下方式的设定。如果这样做，能边抑制去噪声效果的恶化边削减运算量。但是，Th1Diff，Th2Diff为分别根据量子化参数QP进行变动的值。
在满足下述的条件的情况下，通过后述的再设定分支的算法，来设定模板形状TmpShape 。
[条件1］：在Unit外缘上下部分的设定目标区域中的像素位置，目标像素位置的VecIndex为1（横方向的边缘）或0（平坦区域），并且，与Unit内侧方向邻接的像素位置的VecIndex为0（平坦区域）的情况。
[条件2］：此外，在Unit外缘左右部分的设定目标区域中的像素位置，目标像素位置的VecIndex为6（纵向的边缘）或0（平坦区域），并且，与Unit内侧方向邻接的像素位置的VecIndex为0（平坦区域）的情况。
“再设定分支的算法”的例
（1）量子化参数QP＞阈值Th2QP，　　　
并且，模板形状TmpShape 为Block3x3 或Cross，　　　
并且，在偏离度DiffIntensity ＞阈值Th1Diff的情况下，　　　
将TmpShape再设定为Point（要素数1）。
（2）在上述之外，量子化参数QP＞阈值Th1QP，　　　
并且，模板形状TmpShape 为Block3x3 ，　　　
并且，偏离度DiffIntensity ＞阈值Th2Diff的情况下，　　　
将TmpShape再设定为Point（要素数1）。
（3）在上述之外，量子化参数QP＞阈值Th1QP，　　　
并且，模板形状TmpShape 为Block3x3 ，　　　
并且，偏离度DiffIntensity ＞阈值Th1Diff的情况下， 　
将TmpShape 再设定为Cross（要素数5）。
（4）在上述之外，量子化参数QP＞阈值Th1QP，　　　
并且，模板形状TmpShape 为Cross，　　　
并且，偏离度DiffIntensity ＞Th1Diff的情况下，　　　
将TmpShape 再设定为Point（要素数1）。
（5）在上述（1）～（4）之外的情况下，不再设定TmpShape而结束。
由于图18C中的四角的区域E，F，G，H，在由块噪声生成的VecIndex中预测不成立，所以在分别满足以下的条件的情况下，对区域内全部的像素位置进行基于前述的（1）～（5）的再设定分支的模板形状的再设定。
・区域E：在与紧右边邻接的区域A的像素群或与紧下方邻接的区域C的像素群中存在满足上述条件的像素。
・区域F：在与紧左边邻接的区域A的像素群或与紧下方邻接的区域D的像素群中存在满足上述条件的像素。
・区域G：在与紧右边邻接的区域B的像素群或与紧上方邻接的区域C的像素群中存在满足上述条件的像素。
・区域H：在与紧左边邻接的区域B的像素群或与紧上方邻接的区域D的像素群中存在满足上述条件的像素。
在本实施方式中，虽然示出了对块边界线的像素群削减运算量的例子，但是相反地对块内部的像素群设定全部TmpShape ＝None，对该部分不进行模板匹配，通过仅在块边界线适用去噪声滤波器，很大地削减运算量的实施也是可能的。
再者，在第五实施方式、第6实施方式中，虽然说明了去噪声滤波处理部131、141以固定值具有变为基准的探索形状和模板形状的例子，但从外部给予这些的任一个，或两个的实施也是可能的。
〔向视频编码化装置的适用例〕　
图19是表示适用了本发明的实施方式的视频编码化装置的结构例的图。作为第一实施方式～第6实施方式说明的去噪声滤波处理部101～141，能作为图19所示的视频编码化装置中的环路滤波器即去噪声滤波处理部313来使用。由此，与使用了现有的一般的解块滤波器的情况相比，能提高编码化效率。另外，为了解码图像的去噪声，与将现有的NLM滤波器保持原样使用的情况相比，能大幅度地削减运算量。再者，在图19中，去噪声滤波处理部131，141是作为固定值具有变为基准的探索形状和模板形状的双方的例。另外，示出了作为去噪声系数与原始图像进行比较并决定编码化效率最佳的去噪声系数，在位流中作为去噪声系数overhead进行编码化的例。在用户进行设定等从外部给予探索形状和模板形状的任一个，或两个的情况下，由于需要将这些形状传送给解码装置，所以与所述去噪声系数同样地，通过作为overhead将这些形状进行编码化能实现从外部的设定，但是在对本编码化装置的适用例以及对解码装置的适用例中，省略这些说明。
以下，对图19所示的视频编码化装置进行说明。原始图像存储部301是变为编码化目标的输入序列的全图像的存储部，依次输出各帧的编码化目标图像。
块尺寸决定部302决定将规定的CodingUnit分割为怎样的块尺寸并执行编码化，输出目标块和块尺寸。预测尺寸决定部303，决定预测目标块的像素值的块的预测尺寸，输出目标块和预测尺寸。预测技术决定部304，在进行目标块的像素值预测的基础上，在画面内预测／帧间预测的各技术中决定编码化效率最高的技术输出使用了该技术时的预测块和预测信息。由预测尺寸决定部303输出的目标块，与预测块的差值被计算变为差分块。
变换尺寸决定部305，决定分割差分块的变换尺寸，输出每一分割的变换尺寸的差分块和变换尺寸。在离散余弦变换部306中，对差分块适用离散余弦变换，输出DCT系数。在量子化部307中，对DCT系数进行量子化，并输出量子化后的DCT系数。
在逆量子化部308中，对量子化后的DCT系数进行逆量子化，返回到DCT系数。在逆离散余弦变换部309中，对DCT系数适用逆离散余弦变换，输出解码差分块。解码差分块与预测块相加合成，变为部分解码图像。解码图像存储部310是存储部分解码图像，并且即使在解码装置侧也预先存储可参照的图像的存储部。画面内预测部311，参照解码图像存储部310中存储的部分解码图像，输出预测块和预测信息。
去噪声系数决定部312，参照解码图像和原始图像，决定编码化效率变为最佳的去噪声系数，输出去噪声系数。去噪声滤波处理部313，参照解码图像，进行在前述的第一～第6实施方式等说明的用于减轻编码化失真的滤波处理，生成滤波后的解码图像。
在ALF（Adaptive Loop Filter）处理部314中，对滤波后的解码图像以接近原始图像的方式进行滤波处理，输出ALF后的解码图像和ALF系数。帧缓冲器315是预先存储ALF后的解码图像的存储部。帧间预测部316，参照帧缓冲器315，输出预测块和预测信息。
序列信息编码化部317，将视频的纵横像素数等，输入序列固有的信息进行编码化后，对位流存储部325输出序列信息overhead。块尺寸编码化部318，从块尺寸决定部302接受块尺寸，编码化后，输出块尺寸overhead。预测尺寸编码化部319，从预测尺寸决定部303接受预测尺寸，编码化后，输出预测尺寸overhead。预测信息编码化部320，从预测技术决定部304接受预测信息，编码化后，输出预测信息overhead。
变换尺寸编码化部321，从变换尺寸决定部305接受变换尺寸，编码化后，输出变换尺寸overhead。量子化后DCT系数编码化部322，从量子化部307接受量子化后的DCT系数，编码化后，输出DCT overhead。去噪声系数编码化部323，接受由去噪声系数决定部312决定的去噪声系数，编码化后，输出去噪声系数overhead。ALF系数编码化部324，接受ALF系数，编码化后，输出ALF overhead。位流存储部325是预先存储各overhead的存储部，当序列全体的编码化结束时，输出编码化结果的位流。
编码化信息存储部326是预先存储即使在解码装置侧也可参照的编码化信息的存储部。该编码化信息存储部326存储的编码化信息，从去噪声滤波处理部313、其它的各部被参照，被使用。
〔视频编码化装置的处理流程〕　
图20和图21示出图19所示的视频编码化装置的处理流程。视频编码化装置进行以下的处理。
・首先，在步骤S301，将输入序列存储在原始图像存储部301。
・接下来，在步骤S302，将序列信息进行编码化并存储在位流存储部325。
・接下来，在步骤S303，进行对编码化目标的全部帧的步骤S318为止的环路处理。・接下来，在步骤S304，进行对编码化目标图像的全部CodingUnit（CU）的步骤S314为止的环路处理。
・接下来，在步骤S305，决定块尺寸，进行编码化并存储在位流存储部325。
・接下来，在步骤S306，决定预测尺寸，进行编码化并存储在位流存储部325。
・接下来，在步骤S307，在画面内／帧间预测的各预测块中，计算编码化效率最高的技术与目标块的差值。
・接下来，在步骤S308，将预测信息存储在位流存储部325。
・接下来，在步骤S309，决定变换尺寸，进行编码化并存储在位流存储部325。
・接下来，在步骤S310，进行离散余弦变换（DCT）。
・接下来，在步骤S311，进行量子化，并将量子化后的DCT系数进行编码化存储在位流存储部325。
・接下来，在步骤S312，进行逆量子化和逆离散余弦变换。
・接下来，在步骤S313，将在步骤S307适用的预测块与逆变换后的解码差分块进行相加合成。
・接下来，在步骤S314，在解码图像存储部310存储相加合成后的部分解码图像。・当对编码化目标图像的全CU的环路处理结束时，在步骤S315，使用解码图像和原始图像算出编码化效率变为最佳的去噪声系数。
・接下来，在步骤S316，对解码图像，使用算出的去噪声系数执行使用了本技术的去噪声滤波的处理，并将去噪声系数进行编码化存储在位流存储部325。
・接下来，在步骤S317，执行ALF（Adaptive Loop Filter），将ALF系数进行编码化存储在位流存储部325。
・接下来，在步骤S318，将ALF后的解码图像存储在帧缓冲器315。
・当对编码化目标的全部帧的环路处理结束时，在步骤S319，输出位流来结束处理。
〔向视频解码装置的适用例〕　
图22是表示适用于本发明的实施方式的视频解码装置的结构例的图。作为第一～第6实施方式说明的去噪声滤波处理部101～141，能作为图22所示的视频解码装置中的环路滤波器即去噪声滤波处理部415来使用。由此，与将现有的NLM滤波器保持原样使用的情况相比，能大幅度地削减运算量。
以下，对图22所示的视频解码装置进行说明。位流存储部401是输入位流的存储部，根据需要输出各overhead信息。序列信息解码部402，接受序列信息overhead，将视频的纵横像素数等，序列固有的信息进行解码。
块尺寸解码部403，接受块尺寸overhead，并将表示规定的CodingUnit被分割为怎样的块尺寸且是否被编码化的信息进行解码。预测尺寸解码部404，接受预测尺寸overhead，输出在视频编码化装置适用的预测尺寸。
预测信息解码部405，接受预测信息overhead，输出预测信息。变换尺寸解码部406，接受变换尺寸overhead，输出在视频编码化装置适用的变换尺寸。量子化后DCT系数解码部407，接受变换尺寸和DCT overhead，输出量子化后的DCT系数。去噪声系数编码化部408，接受去噪声系数overhead，输出去噪声系数。ALF系数解码部409，接受ALFoverhead，输出ALF系数。
逆量子化部410，对量子化后的DCT系数进行逆量子化，并返回DCT系数。逆离散余弦变换部411，对DCT系数适用逆离散余弦变换输出解码差分信号。预测块生成部412，接受预测信息和部分解码图像、参照帧，生成预测块。部分解码图像生成部413，进行预测块与解码差分信号的相加合成，生成部分解码图像。解码图像存储部414是预先存储部分解码图像的存储部。
去噪声滤波处理部415，参照解码图像，进行在前述的第一～第6实施方式等中说明的用于减轻编码化失真的滤波处理，生成滤波后的解码图像。
在ALF处理部416中，接受ALF系数，对滤波后的解码图像以接近原始图像的方式进行滤波处理，输出ALF后的解码图像。再者，该ALF后的解码图像变为解码时的最终解码图像。帧缓冲器417是预先存储ALF后的解码图像的存储部。编码化信息存储部418是预先存储编码化信息的存储部，该编码化信息存储部418存储的编码化信息，从去噪声滤波处理部415、其它的各部被参照，被使用。
〔视频解码装置的处理流程〕　
图23和图24示出图22所示的视频解码装置的处理流程。视频解码装置进行以下的处理。
・首先，在步骤S401，将输入位流存储在位流存储部401。
・接下来，在步骤S402，将序列信息进行解码。
・接下来，在步骤S403，进行对解码目标的全部帧的步骤S414为止的环路处理。
・接下来，在步骤S404，进行对解码目标图像的全部CodingUnit（CU）的步骤S411为止的环路处理。
・接下来，在步骤S405，将块尺寸进行解码。
・接下来，在步骤S406，将预测尺寸进行解码。
・接下来，在步骤S407，将预测信息进行解码，生成预测块。
・接下来，在步骤S408，将变换尺寸进行解码。
・接下来，在步骤S409，将量子化后的DCT系数进行解码。
・接下来，在步骤S410，进行逆量子化和逆离散余弦变换。
・接下来，步骤S411，适用步骤S407的预测块和步骤S410的结果生成解码块，并存储在解码图像存储部414。
・当对解码目标图像的全部CU的环路处理结束时，在步骤S412，将去噪声系数进行解码，对部分解码图像，执行使用了本技术的去噪声滤波的处理。
・接下来，在步骤S413，将ALF系数进行解码，执行ALF处理。
・接下来，在步骤S414，将ALF后的解码图像存储在帧缓冲器417。
・当对解码目标的全部帧的环路处理结束时，在步骤S415，将帧缓冲器417的各帧按帧编号顺序输出并生成输出序列，结束处理。
〔运算量削减效果〕　
与在下一代视频编码化标准方式中组合了现有的NLM滤波器（基于Non-local　means法的去噪声滤波器）的技术比较，在将基于本技术的去噪声滤波器适用的情况下，在标准的视频的编码化时，确认了一边抑制PSNR的恶化一边将上述滤波器中所要的运算量削减到约50～75％左右。
[使用了软件程序的情况的构成例]
以上的图像处理、视频编码化、解码的处理，也能通过计算机与软件程序来实现，将该程序记录在计算机可读取的记录介质，通过网络提供都是可能的。
图25示出使用计算机和软件程序实施本发明的实施方式的情况下的系统的结构例。
本系统将执行程序的CPU（Central　Processing　Unit）50、存储CPU50访问的程序、数据的RAM（Random　Access　Memory）等的存储器51、存储去噪声目标的图像信号、编码化目标的视频信号或解码图像的视频信号的视频信号存储部52，存储用于使本发明的实施方式中说明的处理在CPU50执行的程序的程序存储装置53、存储编码化结果的位流或解码目标的位流的编码化流存储部54通过总线连接而构成。
程序存储装置53存储有用于使用本发明的实施方式去除图像信号的噪声的图像处理程序531、用于使用本发明的实施方式将视频信号编码化的视频编码化程序532、用于使用本发明的实施方式将编码化位流进行解码的视频解码程序533中的任一个。程序存储装置53，无需将这些程序的全部进行存储。
在图像信号的噪声去除中使用本系统的情况下，图像处理程序531被存储器51调用，CPU50，将存储器51中调用的图像处理程序531的命令依次取得并执行，输入视频信号存储部52中存储的视频信号的图像，通过在本发明的实施方式说明的技术去除噪声，并存储在视频信号存储部52。
另外，在作为视频编码化装置使用本系统的情况下，视频编码化程序532被存储器51调用，CPU50，将存储器51调用的视频编码化程序532的命令依次取得并执行，将视频信号存储部52存储的视频信号，通过在本发明的实施方式说明的技术进行编码化，将编码化结果的位流存储在编码化流存储部54。此外，经由网络适配器等的接口，将位流输出到外部装置也可。
另外，在作为视频解码装置使用本系统的情况下，视频解码程序533被存储器51调用，CPU50，将存储器51调用的视频解码程序533的命令依次取得并执行，将编码化流存储部54中存储的位流，通过在本发明的实施方式说明的技术进行解码，将解码结果的视频信号存储在视频信号存储部52。此外，将解码结果的视频信号输出到外部的再生装置。
特别是，本发明的实施方式被使用于视频编码化程序532、视频解码程序533中的环路滤波处理中，该环路滤波处理的程序部分可由视频编码化程序532、视频解码程序533共用。
以上，虽然对本发明的实施方式参照附图进行了详述，但具体的结构并不限于这些实施方式，也包含不脱离本发明的主旨的范围的设计等（结构的附加、省略、替换以及其它的变更）。本发明并不由前述的说明限定，而只由添付的权利要求限定。
工业实用性
本发明，例如，为了减轻拍摄图像时的噪声、恶化图像的恶化而可利用。根据本发明，一边能抑制编码化效率的降低，一边能削减去噪声滤波器的运算量。
附图标记说明：
10，11，12，13，14　图像处理装置；
101，111，121，131，141　去噪声滤波处理部；　
102，112，122，132，142　边缘方向检测部；　
103，113，123，133，143　探索形状设定部；　
104，114，124，134，144　NLM滤波执行部；　
115　去噪声系数算出部；　
125，135，145　探索形状存储部；　
126，136，146　模板形状存储部；　
137，147　去噪声系数设定部；　
138，148　偏离度检测部；　
139，149　模板形状设定部；　
1410 模板形状再设定部。

Claims (8)

1.一种图像处理方法，进行变为对于去噪声目标图像中的去噪声的目标像素的比较源的模板与对于变为所述去噪声目标图像中的探索形状内的探索目标的各探索点的模板的模板匹配，通过相应于模板相似度的权重与该探索点中的像素值的权重和去除所述目标像素的噪声，具备:
使用所述去噪声目标图像算出边缘方向的步骤；　
将算出的所述边缘方向，作为所述探索形状的限制中使用的指标，设定与所述边缘方向正交的方向的所述探索点的数量比沿所述边缘方向的所述探索点的数量少的探索形状的步骤；以及　
仅对设定的所述探索形状内的各探索点进行所述模板匹配，并执行去除所述目标像素的所述噪声的处理的步骤。
2.一种图像处理装置，进行变为对于去噪声目标图像中的去噪声的目标像素的比较源的模板与对于变为所述去噪声目标图像中的探索形状内的探索目标的各探索点的模板的模板匹配，通过对应于模板相似度的权重与该探索点中的像素值的权重和去除所述目标像素的噪声，具备：　
使用所述去噪声目标图像算出边缘方向的边缘方向检测部；　
将算出的所述边缘方向，作为所述探索形状的限制中使用的指标，设定与所述边缘方向正交的方向的所述探索点的数量比沿所述边缘方向的所述探索点的数量少的探索形状的探索形状设定部；以及　
仅对设定的所述探索形状内的各探索点进行所述模板匹配，并执行去除所述目标像素的所述噪声的处理的滤波执行部。
3.一种视频编码化／解码方法，使用环路滤波器将视频进行编码化或解码，　所述环路滤波器是，进行变为对于解码图像中的去噪声的目标像素的比较源的模板与对于变为所述解码图像中的探索形状内的探索目标的各探索点的模板的模板匹配，并使用通过相应于模板相似度的权重与该探索点中的像素值的权重和去除所述目标像素的噪声的图像处理方法，去除所述解码图像的噪声的滤波器，　
执行
使用所述解码图像算出边缘方向的步骤；
将算出的所述边缘方向，作为在所述探索形状的限制中使用的指标，设定与所述边缘方向正交的方向的所述探索点的数量比沿所述边缘方向的所述探索点的数量少的探索形状的步骤；以及
　仅对设定的所述探索形状内的各探索点进行所述模板匹配，执行去除所述目标像素的所述噪声的处理的步骤。
4.如权利要求3记载的视频编码化／解码方法，其中，
所述环路滤波器，进一步执行
使用所述解码图像，算出所述目标像素与所述目标像素的周边像素的偏离度的步骤；以及
将所述偏离度，作为所述模板的模板形状的限制中使用的指标，所述偏离度与所述解码图像内的偏离度最大值进行比较，越低越以所述模板形状变小的方式限制所述模板形状的步骤。
5.一种视频编码化／解码装置，使用环路滤波器将视频进行编码化或解码，　所述环路滤波器是，进行变为对于解码图像中的去噪声的目标像素的比较源的模板与对于变为所述解码图像中的探索形状内的探索目标的各探索点的模板的模板匹配，使用通过对应于模板相似度的权重与该探索点的像素值的权重和去除所述目标像素的噪声的图像处理装置，去除所述解码图像的噪声的滤波器，　
具备：
使用所述解码图像算出边缘方向的边缘方向检测部；
将算出的所述边缘方向，作为所述探索形状的限制中使用的指标，设定与所述边缘方向正交的方向的所述探索点的数量比沿所述边缘方向的所述探索点的数量少的探索形状的探索形状设定部；以及
仅对设定的所述探的索形状内的各探索点进行所述模板匹配，执行去除所述目标像素的所述噪声的去除的处理的滤波执行部。
6.如权利要求5记载的视频编码化／解码装置，其中，
所述环路滤波器，进一步具备：　
使用所述解码图像，算出所述目标像素与所述目标像素的周边像素的偏离度的偏离度检测部；以及
将所述偏离度，作为所述模板的模板形状的限制中使用的指标，所述偏离度与所述解码图像内的偏离度最大值进行比较，越低越以所述模板形状变小的方式限制所述模板形状的模板形状设定部。
7.一种图像处理程序，用于使权利要求1的图像处理方法在计算机中执行。
8.一种视频编码化／解码程序，用于使权利要求3或权利要求4记载的视频编码化／解码方法在计算机中执行。
CN201280011439.3A 2011-03-09 2012-03-07 图像处理方法、图像处理装置、视频编码化／解码方法、以及使用环路滤波器对视频进行滤波的装置 Active CN103404148B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-051443 2011-03-09
JP2011051443A JP5291133B2 (ja) 2011-03-09 2011-03-09 画像処理方法，画像処理装置，映像符号化／復号方法，映像符号化／復号装置およびそれらのプログラム
PCT/JP2012/055748 WO2012121269A1 (ja) 2011-03-09 2012-03-07 画像処理方法，画像処理装置，映像符号化／復号方法，映像符号化／復号装置およびそれらのプログラム

Publications (2)

Publication Number Publication Date
CN103404148A true CN103404148A (zh) 2013-11-20
CN103404148B CN103404148B (zh) 2016-10-26

Family

ID=46798225

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280011439.3A Active CN103404148B (zh) 2011-03-09 2012-03-07 图像处理方法、图像处理装置、视频编码化／解码方法、以及使用环路滤波器对视频进行滤波的装置

Country Status (11)

Country Link
US (1) US9363515B2 (zh)
EP (1) EP2670142B1 (zh)
JP (1) JP5291133B2 (zh)
KR (1) KR101546894B1 (zh)
CN (1) CN103404148B (zh)
BR (1) BR112013022553A2 (zh)
CA (1) CA2828930C (zh)
ES (1) ES2583129T3 (zh)
RU (1) RU2565499C2 (zh)
TW (1) TWI491253B (zh)
WO (1) WO2012121269A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292828A (zh) * 2016-03-31 2017-10-24 展讯通信（上海）有限公司 图像边缘的处理方法和装置
CN110992288A (zh) * 2019-12-06 2020-04-10 武汉科技大学 一种用于矿山井筒环境下的视频图像盲去噪方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5291134B2 (ja) 2011-03-09 2013-09-18 日本電信電話株式会社 映像符号化／復号方法，映像符号化／復号装置およびそのプログラム
JP5291133B2 (ja) 2011-03-09 2013-09-18 日本電信電話株式会社 画像処理方法，画像処理装置，映像符号化／復号方法，映像符号化／復号装置およびそれらのプログラム
JP6253331B2 (ja) * 2012-10-25 2017-12-27 キヤノン株式会社 画像処理装置及び画像処理方法
JP6452793B2 (ja) * 2012-10-25 2019-01-16 キヤノン株式会社 画像処理装置及び画像処理方法
US9075847B2 (en) * 2012-11-28 2015-07-07 Sap Se Methods, apparatus and system for identifying a document
JP6362333B2 (ja) * 2013-02-14 2018-07-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
CN103208104B (zh) * 2013-04-16 2015-10-07 浙江工业大学 一种基于非局部理论的图像去噪方法
CN104240189B (zh) * 2013-06-17 2017-05-24 富士通株式会社 恢复抗锯齿边缘的滤波方法和装置
JP6465563B2 (ja) * 2014-05-14 2019-02-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US9852353B2 (en) * 2014-11-12 2017-12-26 Adobe Systems Incorporated Structure aware image denoising and noise variance estimation
CN105472205B (zh) * 2015-11-18 2020-01-24 腾讯科技（深圳）有限公司 编码过程中的实时视频降噪方法和装置
EP3395073A4 (en) * 2016-02-04 2019-04-10 Mediatek Inc. VIDEO ENCODING METHOD AND APPARATUS USING NON-LOCAL ADAPTIVE LOOP FILTERS
CN106875354B (zh) * 2017-01-20 2020-04-28 北京东软医疗设备有限公司 图像去噪方法、装置及设备
WO2019050426A1 (en) 2017-09-05 2019-03-14 Huawei Technologies Co., Ltd. METHOD FOR QUICKLY ADAPTING BLOCKS FOR COLLABORATIVE FILTERING IN LOSS VIDEO CODECS
JP2021129131A (ja) * 2018-05-18 2021-09-02 ソニーグループ株式会社 符号化装置、符号化方法、復号装置、及び、復号方法
EP3808093A4 (en) 2018-07-02 2021-12-01 Huawei Technologies Co., Ltd. APPARATUS AND METHOD FOR FILTERING IN VIDEO ENCODING
CN109100788B (zh) * 2018-07-06 2020-02-07 东北石油大学 地震数据非局部均值去噪方法
CN110956594B (zh) * 2019-11-27 2023-12-01 北京金山云网络技术有限公司 图像滤波方法、装置、电子设备及存储介质
CN111815520B (zh) * 2020-04-14 2023-11-07 桂林电子科技大学 一种基于gpu-cuda编码模型的遥感影像快速处理方法
CN113553261B (zh) * 2021-07-22 2023-09-15 上汽通用五菱汽车股份有限公司 软件自动化测试方法、设备及计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957984A (zh) * 2010-08-30 2011-01-26 西安电子科技大学 基于非局部萎缩因子参数估计的图像去噪方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5842033A (en) 1992-06-30 1998-11-24 Discovision Associates Padding apparatus for passing an arbitrary number of bits through a buffer in a pipeline system
JPH1051793A (ja) 1996-08-05 1998-02-20 Nippon Telegr & Teleph Corp <Ntt> ブロックマッチング装置
KR100213089B1 (ko) 1997-01-29 1999-08-02 윤종용 루프필터링 방법 및 루프필터
FI117533B (fi) 2000-01-20 2006-11-15 Nokia Corp Menetelmä digitaalisten videokuvien suodattamiseksi
US7751482B1 (en) * 2004-02-27 2010-07-06 Vbrick Systems, Inc. Phase correlation based motion estimation in hybrid video compression
US20100272182A1 (en) 2004-06-23 2010-10-28 Quanta International Limited Image flow knowledge assisted latency-free in-loop temporal filter
US20060056722A1 (en) 2004-09-14 2006-03-16 Nathan Moroney Edge preserving method and apparatus for image processing
US7388621B2 (en) * 2004-11-30 2008-06-17 Mediatek Inc. Systems and methods for image processing providing noise reduction and edge enhancement
KR100896279B1 (ko) 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
RU2406259C2 (ru) 2006-03-27 2010-12-10 Квэлкомм Инкорпорейтед Способы и системы для кодирования уточняющих коэффициентов при сжатии видеоданных
KR101348365B1 (ko) 2006-08-02 2014-01-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
US8009732B2 (en) 2006-09-01 2011-08-30 Seiko Epson Corporation In-loop noise reduction within an encoder framework
KR101545005B1 (ko) 2006-12-18 2015-08-21 코닌클리케 필립스 엔.브이. 이미지 압축 및 압축해제
ES2698826T3 (es) 2006-12-28 2019-02-06 Nippon Telegraph & Telephone Método y dispositivo de procesamiento de vídeo, programa de procesamiento de vídeo y medio de almacenamiento que contiene el programa
JP2008205737A (ja) * 2007-02-19 2008-09-04 Olympus Corp 撮像システム、画像処理プログラム、画像処理方法
US8086043B2 (en) 2007-12-21 2011-12-27 Ati Technologies Ulc System and method of image correlation based on image structure
JPWO2009133844A1 (ja) 2008-04-30 2011-09-01 株式会社東芝 エッジを考慮したフィルタリング機能を備えた動画像符号化／復号化方法及び装置
JP5223702B2 (ja) * 2008-07-29 2013-06-26 株式会社リコー 画像処理装置、ノイズ低減方法、プログラム、記憶媒体
RU2402070C2 (ru) 2008-08-22 2010-10-20 Самсунг Электроникс Ко., Лтд. Способ удаления искажений на цифровых изображениях
JP5146388B2 (ja) 2009-04-03 2013-02-20 沖電気工業株式会社 映像圧縮符号化データの復号装置
CN101707716B (zh) 2009-11-19 2011-05-11 清华大学 视频编码器和编码方法
WO2011158657A1 (ja) 2010-06-17 2011-12-22 シャープ株式会社 画像フィルタ装置、復号装置、符号化装置、および、データ構造
JP5291134B2 (ja) * 2011-03-09 2013-09-18 日本電信電話株式会社 映像符号化／復号方法，映像符号化／復号装置およびそのプログラム
JP5291133B2 (ja) 2011-03-09 2013-09-18 日本電信電話株式会社 画像処理方法，画像処理装置，映像符号化／復号方法，映像符号化／復号装置およびそれらのプログラム
US9008180B2 (en) 2011-04-21 2015-04-14 Intellectual Discovery Co., Ltd. Method and apparatus for encoding/decoding images using a prediction method adopting in-loop filtering

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101957984A (zh) * 2010-08-30 2011-01-26 西安电子科技大学 基于非局部萎缩因子参数估计的图像去噪方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MATAN PROTTER, MICHAEL ELAD: ""Generalizing the Nonlocal-Means to Super-Resolution Reconstruction"", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》, vol. 18, no. 1, 31 January 2009 (2009-01-31), pages 36 - 51 *
孙伟峰，彭玉华: ""一种改进的非局部平均去噪方法"", 《电子学报》, vol. 38, no. 4, 30 April 2010 (2010-04-30) *
王志明，张丽: ""自适应的快速非局部图像去噪算法"", 《中国图象图形学报》, vol. 14, no. 4, 30 April 2009 (2009-04-30) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107292828A (zh) * 2016-03-31 2017-10-24 展讯通信（上海）有限公司 图像边缘的处理方法和装置
CN110992288A (zh) * 2019-12-06 2020-04-10 武汉科技大学 一种用于矿山井筒环境下的视频图像盲去噪方法
CN110992288B (zh) * 2019-12-06 2023-04-28 武汉科技大学 一种用于矿山井筒环境下的视频图像盲去噪方法

Also Published As

Publication number Publication date
CN103404148B (zh) 2016-10-26
EP2670142B1 (en) 2016-04-20
KR101546894B1 (ko) 2015-08-24
US20130343470A1 (en) 2013-12-26
ES2583129T3 (es) 2016-09-19
EP2670142A1 (en) 2013-12-04
BR112013022553A2 (pt) 2019-09-24
WO2012121269A1 (ja) 2012-09-13
US9363515B2 (en) 2016-06-07
KR20130124537A (ko) 2013-11-14
CA2828930A1 (en) 2012-09-13
CA2828930C (en) 2017-04-04
TWI491253B (zh) 2015-07-01
RU2013140540A (ru) 2015-04-20
TW201304532A (zh) 2013-01-16
JP2012191310A (ja) 2012-10-04
RU2565499C2 (ru) 2015-10-20
JP5291133B2 (ja) 2013-09-18
EP2670142A4 (en) 2014-10-29

Similar Documents

Publication Publication Date Title
CN103404148A (zh) 图像处理方法、图像处理装置、视频编码化／解码方法、视频编码化／解码装置以及它们的程序
CN103416061B (zh) 视频编码/解码方法、视频编码/解码装置
CN103430545B (zh) 用于高效视频编码的内容适应性运动补偿滤波
CN1130917C (zh) 消除块假象的后处理设备及方法
CN108141593B (zh) 用于针对深度视频的高效帧内编码的基于深度不连续的方法
CN104885470A (zh) 用于下一代视频的预测和编码的内容自适应划分
CN104041041A (zh) 用于非均匀运动向量栅格的运动向量缩放
CN110351552A (zh) 视频编码中一种快速编码方法
CN104506867A (zh) 采样点自适应偏移参数估计方法及装置
JP5653307B2 (ja) 画像符号化方法，画像符号化装置およびそのプログラム
US20090238484A1 (en) Lifting-based directional lapped transforms
CN1780402A (zh) 视频图像运动补偿装置
JPWO2020137643A1 (ja) 画像処理装置および方法
CN114503559B (zh) 用于视频译码中的帧间预测装置和方法的插值滤波器
Li et al. Fine Granular Multilevel Parallel Algorithm for HEVC Decoding Based on Tilera-GX36 Multi-core Platform
Liu The Study on Decision Tree Classification and Three-Step Search Algorithm Based Compression Technology for High Efficiency Video Coding
CN110365977A (zh) 一种基于fpga的h265变换量化方法
CN117641125A (zh) 一种联合数字防抖及运动补偿的可见光图像获取方法
Mehta Parallel Optimization Of Intra Mode Selection In HEVC Using Open MP

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant