CN106937020B - 用于自适应像素滤波的系统和方法 - Google Patents

用于自适应像素滤波的系统和方法 Download PDF

Info

Publication number
CN106937020B
CN106937020B CN201610465099.1A CN201610465099A CN106937020B CN 106937020 B CN106937020 B CN 106937020B CN 201610465099 A CN201610465099 A CN 201610465099A CN 106937020 B CN106937020 B CN 106937020B
Authority
CN
China
Prior art keywords
pixel
weighted value
block
difference
selection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610465099.1A
Other languages
English (en)
Other versions
CN106937020A (zh
Inventor
M·钱德拉
A·德劳奥特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STMicroelectronics France SAS
STMicroelectronics International NV
Original Assignee
Yifa Semiconductor Co Ltd
STMicroelectronics International NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yifa Semiconductor Co Ltd, STMicroelectronics International NV filed Critical Yifa Semiconductor Co Ltd
Priority to CN201911124050.XA priority Critical patent/CN110852334B/zh
Publication of CN106937020A publication Critical patent/CN106937020A/zh
Application granted granted Critical
Publication of CN106937020B publication Critical patent/CN106937020B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Nonlinear Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及用于自适应像素滤波的系统和方法。其中，各实施例提供了一种经优化的图像滤波器。经优化的图像和视频获得输入图像并且选择目标像素用于修改。然后在该选择的目标像素与搜索区域的每个参考像素之间确定差值。随后，使用加权函数来针对搜索区域的这些参考像素中的每个参考像素基于它们各自的差值确定多个权重值。该选择的目标像素然后由经优化的图像滤波器使用这些确定的权重值修改。然后在施加块中选择新目标像素用于修改。使用被重新分配给新参考像素集的这些之前确定的权重值来修改该新目标像素。基于该新参考像素集中的每个像素相对于该新目标像素的位置将这些之前确定的权重值重新分配给该新参考像素集。

Description

用于自适应像素滤波的系统和方法
技术领域
本披露总体上涉及滤波器优化。具体地，本披露涉及一种经优化的图像滤波器，该图像滤波器具有取决于邻近像素值的加权函数。
背景技术
随着显示设备(如电视机、计算机、平板计算机和智能电话)的改进，存在针对高质量图像和视频的大量需求。数字图像处理经常用于提高图像和视频的质量。例如，图像滤波器用于数字地减少图像和视频中存在的噪声。参见1998年5月29日提交的并且题为“用于过滤噪声的非线性图像滤波器(Non-linear Image Filter for Filtering Noise)”的美国专利号6,108,455。
一种常见的降噪滤波器是有限脉冲响应(FIR)滤波器。一种自适应FIR滤波器的卷积内核(像素矩阵)可以由方程(1)定义：
其中，i和j是2D坐标向量；i表示有待处理的目标像素的坐标；j表示参考像素的坐标；pixin(j)是在内核中的输入像素值；pixout(i)是pixin(i)的经滤波的值；w(i，j)是加权函数；N(i)是归一化因数：N(i)＝Σi∈Ωw(i，j)；并且Ω是图像的搜索区域，其通常是以目标像素为中心的像素的矩形内核。
通常，方程(1)的滤波器是周围像素的加权平均。可以用多种方式计算针对方程(1)的滤波器的加权函数w(i，j)。例如，针对双边或标准差滤波器的加权函数w(i，j)是空间权重和光子(或值域)权重的乘积。针对双边滤波器的加权函数w(i，j)可以由方程(2)定义：
w双边(i，j)＝f(||i，j||)×g(|pixin(i)-pixin(j)|)(2)
其中，f()和g()理想上是连续且单调递减函数，如高斯曲线；并且||i，j||指定像素i和j的空间位置之间的欧式距离。
用于降噪的另一种常见的滤波器是非局部滤波器。针对非局部滤波器，加权函数w(i，j)取决于以目标像素和参考像素为中心的像素的多个块p之间的差值。在此使用的块指像素子集。针对非局部滤波器的加权函数w(i，j)可以由方程(3)定义：
以上所述的图像滤波器在本领域中是众所周知的并且在本说明书中将不会详细地讨论。
发明内容
根据本披露的实施例，提供一种经优化的图像滤波器。经优化的图像滤波器获得输入图像并且在搜索区域(图像的第一像素子集)内选择第一目标像素用于修改。在一种滤波方法中，绝对差之和(SAD)值然后在选择的第一目标像素与搜索区域的每个参考像素之间被确定。从搜索区域内的第二像素子集和搜索区域内的第三像素子集计算SAD值。第二像素子集与第一目标像素相关联并且每个第三像素子集与对应的参考像素相关联。
随后，使用加权函数来针对这些参考像素中的每个参考像素基于它们各自的SAD值确定多个权重值。第一目标像素然后由图像滤波器使用这些确定的权重值修改。
在修改第一目标像素之后，在施加块内选择第二目标像素用于修改。施加块是包括第一目标像素的第四像素子集。使用之前从第一目标像素确定的权重值修改第二目标像素，即，加权值不是针对施加块内的第二目标像素计算的。相反，针对第二目标像素的搜索区域的这些参考像素中的每一个将被分配给针对第一目标像素计算的这些之前确定的权重值。具体地，基于第一目标像素与第二目标像素的相对位置将这些权重值重新分配给与第二目标像素相关联的参考像素集。例如，如果第二目标像素是在第一目标像素右边的一个像素，那么新参考像素集中的每个像素将被重新分配来自其左边的一个像素的权重值。因此，与修改第一目标像素相比，修改第二目标像素不必确定SAD值和权重值。因此，图像滤波器具有低水平的复杂性，处理时间可以被减少(尤其是在图像滤波器的软件实现中)并且功耗被改良了。
附图说明
由于当结合附图进行时将更好地从以下详细说明中理解本披露的前述和其他特征和优点，因此将会更容易理解本披露的前述和其他特征和优点。
图1是流程图，展示了针对根据本文所披露的一个实施例的经优化的图像滤波器的数据流的示例；
图2是流程图，展示了针对根据本文所披露的一个实施例的经优化的图像滤波器的处理的示例；
图3是图解，展示了根据本文所披露的一个实施例修改施加块的第一像素的示例；
图4是图解，展示了根据本文所披露的一个实施例修改图3的施加块的第二像素的示例；
图5是图解，展示了根据本文所披露的一个实施例修改图3的施加块的第三像素的示例；
图6是图解，展示了根据本文所披露的一个实施例修改图3的施加块的第四像素的示例；并且
图7是示意图，展示了根据本文所披露的一个实施例用于实现经优化的图像滤波器的电子设备的示例。
具体实施方式
在以下描述中，阐明了某些具体细节以便提供对本披露的各个实施例的透彻了解。然而，本领域技术人员将理解的是，可以在没有这些特定细节的情况下实践本披露。在一些情形下，与数字图像处理相关联的公知过程还没有被详细地描述从而避免使本披露的实施例的描述变得模糊。
除非上下文另有要求，否则贯穿说明书和所附权利要求书，“包括(comprise)”一词及其多种变体(诸如，“包括(comprises)”和“包括(comprising)”)将以一种开放式的和包含性的意义来进行解释，也就是作为“包括，但不限于(including,but not limitedto)”。
贯穿本说明书对“一个实施例”或“实施例”的引用意味着结合该实施例所描述的具体特征、结构、或特性包括在至少一个实施例中。因而，贯穿本说明书，短语“在一个实施例中”或“在实施例中”在不同场合中的出现并不一定都是指相同的实施例。另外，特定特征、结构或特性可以根据任何合适的方式组合在一个或多个实施例中。
在附图中，相同的参考号标识相似的特征或元件。附图中的特征的大小和相对位置不一定成比例地绘制。
大多数图像滤波器逐个像素地执行处理并且需要大量的计算。因此，图像滤波器经常消耗大量处理时间或功率。高处理时间和功耗针对实时应用和便携式电子设备而言有问题。例如，数字照相机实时地获得并向用户显示图像。大量的延迟或过度的功耗导致较差的用户体验。低处理时间针对实时地显示视频尤其重要。许多视频以每秒30帧的速率产生720p图像或者甚至以每秒60帧的速率产生4k图像。视频中的任何延迟对用户而言将是显而易见的。
加速技术经常用于降低图像滤波器的复杂性，并且改进处理时间和功耗。常见的加速技术是缩小图像的搜索区域(如搜索区域Ω)的大小或者缩小用于不同计算的像素子集(如目标块38)的大小。图3展示了搜索区域36(其是整个图像用于处理的一部分)和目标块38。然而，缩小搜索区域或目标块的大小也降低了技术的效率并且可能影响图像锐度和分辨率。具体地，缩小搜索区域的大小阻止去除较低频率的噪声并且降低了寻找可接受的匹配区域的能力，并且缩小目标块的大小增加了错误匹配区域的数量。另一种常见的加速技术是针对非局部滤波器使用相对简单的差值计算。使用更简单的差值计算已经被证明可提供良好的结果；然而，复杂性仍然太高，并且进一步的复杂性减少是有利的。
本披露涉及一种图像滤波器，该图像滤波器通过减少用于图像滤波器的加权函数的计算的总量而降低复杂性。具体地，图像滤波器确定在图3中选择的目标像素a的权重值，然后针对其他目标像素a+1、b、b+1再次使用这些确定的权重值。通过再次使用多个目标像素的之前确定的权重值，图像滤波器的复杂性水平被降低了并且处理时间和功耗被改进了。将关于图1至图6更加详细地讨论图像滤波器的处理。
图1是流程图，展示了针对根据本文所披露的一个实施例的图像滤波器的数据流的示例。
在序列的第一部分10，输入图像被获得用于数字图像处理。输入图像可以是单张图像或者可以是输入图像流(如视频)的单帧。可以从各种源获得输入图像，如图像传感器、多媒体内容提供商、存储器和万维网。
在后续步骤12中，输入图像被提供给图像滤波器用于处理。例如，图像滤波器可以修改输入图像以数字地减少在输入图像中存在的噪声并且为用户产生最终的图像。将关于图2至图6更加详细地讨论图像滤波器的处理。
在步骤14中，图像滤波器已经完成处理并且经滤波的图像被获得。尽管未示出，可以针对多张图像重复图1的数据流。例如，可以针对多张图像或输入图像流(如视频)的实时处理重复图1的数据流。
图2是流程图，展示了针对根据本文所披露的一个实施例的图像滤波器的处理的示例。有利的是同时地与图3至图6一起回顾图2的这些步骤，图3至图6是展示了根据本文所披露的一个实施例修改施加块的像素的示例的图解。
在序列的第一部分16，图像滤波器获得输入图像。如之前所讨论的，输入图像可以是单张图像或者可以是输入图像流(如视频)的单帧。
在随后的步骤18中，目标像素被选择用于修改。例如，参照图3，目标像素a被选择。为了处理整张图像，多个目标像素被依次处理。目标像素可以是随机地、逐行地、逐列地或以任何预定的顺序选择的。例如，目标像素可以是通过在输入图像的左上角处开始、从左到右选择第一行的像素、移至下一行并且然后继续此模式直到到达输入图像的右下角。在替代实施例中，输入图像的每隔一个像素被选择为目标像素。
所选目标像素具有相应的搜索区域、目标块、参考块和施加块。例如，参照图3，目标像素a具有相应的搜索区域36、目标块38、参考块40和施加块42。这些块是搜索区域36内的像素子集。
搜索区域包括围绕所选目标像素的参考像素。这些参考像素用于修改目标像素。例如，参照图3，目标像素a可以通过用搜索区域36的参考像素的加权平均替换其值而被修改以用于降噪。如将关于步骤20和步骤22讨论的，参考像素的权重基于距离或差值计算，如绝对差之和(SAD)或平方差之和(SSD)。
目标块38与参考块40具有相同的尺寸并且用于确定选择的目标像素与参考像素之间的相似性。目标像素与参考像素之间的相似性可以被计算为差值，因为每个像素可以具有数值表示并且相似性是每个像素的数值表示的比较。这也可以被称为目标像素值与参考像素值之间的距离，其中，该距离不必表示阵列中的像素之间的物理空间。
在优选实施例中，目标块和参考块分别以目标像素和参考像素为中心。例如，参照图3，目标块38和参考块40用于确定目标像素a与参考像素c之间的差值。搜索区域36内的这些参考像素中的每一个将用于创建关于目标像素的差值。相应地，当搜索区域中的每个参考像素被处理时，参考块40将与正被处理的参考像素相关联。将关于步骤20更加详细地讨论差值的确定。
施加块42包括目标像素a并且是目标块38的子集。施加块包括附加的目标像素a+1、b、b+1，这些附加的目标像素是使用之前从目标像素a确定的权重值修改的。将关于步骤26至步骤30更加详细地讨论施加块。
在步骤20中，在选择的目标像素与搜索区域的这些参考像素的每个参考像素之间确定差值。第一像素(目标像素a)与第二像素(参考像素c)之间的差值是通过将在以第一像素为中心的第一块(目标块38)中的多个像素与在以第二像素为中心的第二块(参考块40)中的各自相应的像素进行比较而确定的。可以使用计算(如SAD或SSD)确定这些差值。SAD和SSD计算在本领域中是众所周知的并且在本说明书中将不会详细地讨论。
例如，参照图3，目标像素a值与参考像素c值之间的差值或距离是通过计算以目标像素a为中心的目标块38与以参考像素c为中心的参考块40之间的差值而确定的。在目标像素a与搜索区域36中的每个参考像素之间确定差值。
应当注意的是，在图3至图6中示出的搜索区域36、目标块38以及参考块40的尺寸用于说明性目的。搜索区域36、目标块38和参考块40可以具有任何大小。在优选实施例中，搜索区域大于目标块。
换言之，一旦目标像素a被标识并且目标块38被标识，那么参考像素(如图3中的参考像素c)被选择。对应于参考像c的参考块(例如，参考块40)被标识。目标块38与参考块40具有相同的尺寸，即，在相同形状中包括相同数量的像素。在图3中，目标块和参考块都是5x5的像素阵列。然后，将目标块的每个像素与参考块的每个像素进行比较并且然后计算单个值以生成差值。
在步骤22中，使用加权函数来针对搜索区域的这些参考像素中的每个参考像素基于它们的在步骤20中确定的选择的目标像素之间的各自的差值确定多个权重值。例如，参照图3，针对参考像素c基于其来自步骤20的目标像素a之间的确定的差值确定权重值。确定搜索区域36的每个参考像素的权重值。在优选实施例中，参考像素的权重值与其确定的差值负相关。也就是说，类似于所选择的目标像素的参考像素(即，较小的差值)被给定较大的权重值，并且反之亦然。
为了确定搜索区域36中的每个像素的权重值，当针对目标像素a进行处理时，针对搜索区域中的每个像素执行如以上针对参考像素c完成的对距离值的比较和确定。
在步骤24中，由图像滤波器使用在步骤22中计算的这些权重值修改选择的目标像素。例如，参照图3，目标像素a可以通过用搜索区域36的参考像素的加权平均替换其值而被修改以用于降噪。图像滤波器可以是利用基于目标像素值与参考像素值之间的差值的加权函数的任何类型的滤波器。
在步骤26中，确定在与选择的目标像素a相关联的施加块42中是否存在附加的像素。例如，确定施加块42是否包括除了目标像素a之外的附加像素。如果在施加块中不存在附加的像素，则处理移至步骤32。如果在施加块中存在附加的像素，则处理移至步骤28。
应当注意的是，图3至图6中示出的施加块42的尺寸和模式用于说明性目的。施加块可以包括作为目标块的一部分的任何数量的像素。例如，施加块42可以包括目标块38的任何数量的像素。在一个实施例中，施加块具有由选择的目标像素和紧紧地在该选择的目标像素右侧、左侧、上侧和下侧的多个像素组成的加号模式。在另一个实施例中，施加块是以选择的目标像素为中心的3x3的块。在进一步实施例中，施加块由与目标块相同的像素组成。在更进一步的实施例中，施加块由两个连续的像素组成，如像素a和a+1。
在步骤28中，在施加块中选择第二目标像素用于修改。例如，参照图4，在施加块42中选择第二目标像素a+1。施加块中的目标像素可以是随机地、逐行地、逐列地或以任何预定的顺序选择的。
在步骤30中，第二目标像素是使用原始目标像素的之前确定的权重值而被修改的。第二目标像素与第二参考像素集相关联。原始目标块与原始参考块之间的差值被认为是目标块的所有像素与参考块的相应像素之间的有效差值。例如，参照图4，以像素a为中心的目标块与以像素c为中心的参考块之间的差值也被认为是像素a+1与像素c+1之间的有效差值。因此，当修改施加块42中的第二目标像素时，在步骤22中确定的权重值可以再次用于第二参考像素集。
基于来自步骤18的第二目标像素相对于原始目标像素的位置针对第二参考像素集再次使用之前在步骤22中确定的权重值。具体地，之前从原始参考像素确定的权重值中的每个权重值被分配给参考像素(第二参考像素集)的相邻像素。第二参考像素相对于原始参考像素的位置与第二目标像素相对于原始目标像素的位置相同。换言之，之前确定的权重值按照与第二目标像素被从原始目标像素移位相同的方向和距离被移位至第二参考像素集。例如，参照图4，当选择的目标像素是像素a并且新目标像素是像素a+1时，对应于参考像素c的权重值被移位并且被分配给参考像素c+1。类似地，如在图5中示出的，当选择的目标像素是像素a并且新目标像素是像素b时，对应于参考像素c的权重值被分配给参考像素d；并且，如在图6中示出的，当选择的目标像素是像素a并且新目标像素是像素b+1时，对应于参考像素c的权重值被分配给参考像素d+1。
然后使用被分配给第二参考像素集的这些之前确定的权重值来修改第二目标像素。例如，类似于步骤24，第二目标像素可以通过用第二参考像素集的加权平均替换其值来降噪。因此，与在步骤20至步骤24中修改目标像素相比，不必针对第二目标像素的修改确定差值和权重值。
通过再次使用之前确定的权重值，有可能将输入图像划分成多个施加块并且针对属于同一施加块的所有像素使用相同的权重值。针对施加块中的每个像素使用相同的权重值减少了图像滤波器的加权函数的计算的总量。例如，参照图4至图6，针对目标像素a、针对a+1、b和b+1再次使用这些确定的权重值导致减少了因数4。类似地，3x3的施加块导致减少了因数9，并且2x1的块导致减少了因数2。因此，可以通过控制施加块的大小调整优化水平。
在步骤30之后，处理返回到步骤26以确定在所选择的目标像素的施加块中是否存在附加的像素。由此，重复步骤28至步骤30，直到施加块中的每个像素已经被修改。例如，重复步骤28至步骤30，直到像素a+1、b和b+1已经被经优化的图像滤波器修改。
在替代性实施例中，再次使用这些之前确定的差值而不是步骤30中的这些权重值。如之前讨论的，目标块与参考块之间的差值被认为是针对目标块的所有像素与参考块的各自相应的像素的有效差值。因此，类似于再次使用这些之前确定的权重值，针对新参考像素使用在步骤20中确定的这些之前确定的差值中的每个差值从而使得新参考像素相对于对应于之前确定的差值的参考像素的位置与新目标像素相对于所选择的目标像素的位置相同。换言之，之前确定的差值按照与新目标像素被从所选择的目标像素移位相同的方向和距离被移位至新参考像素集。例如，参照图4，当选择的目标像素是像素a并且新目标像素是像素a+1时，在像素a与参考像素c之间确定的差值被再次用作像素a+1与像素c+1之间的差值。类似于步骤22，通过再次使用之前确定的差值，可以在步骤30中使用新加权函数而不是之前确定的权重值来为新参考像素集确定新权重值。类似于步骤24，然后可以使用新权重值修改新目标像素。
返回到步骤26，如果在所选择的目标像素的施加块中不存在附加的像素，则处理移至步骤32。在步骤32中，确定在还未由图像滤波器滤波的输入图像中是否存在附加的像素。如果在输入图像中存在附加的未经滤波的图像像素，则处理返回至步骤18。如果在输入图像中不存在未经滤波的像素，则处理移至步骤34。
在步骤34中，图像滤波器已经完成处理并且经滤波的图像被提供。
应当注意的是，图1和图2中示出的每个块可以根据特定实施例酌情表示一个或多个块或者可以与其他块组合。
图7是示意图，展示了根据本文所披露的一个实施例用于实现经优化的图像滤波器的电子设备44的示例。电子设备44的非限制性示例包括数字照相机、移动电话、游戏设备、计算机、平板计算机、电视机或机顶盒。在一个实施例中，电子设备44包括处理单元46、存储器48、输入设备50、输出设备52和I/O接口54。应当注意的是，电子设备44可以包括除了图7中展示的那些之外的附加的功能性和部件。
处理单元46被配置成用于执行针对经优化的图像滤波器的处理。在一个实施例中，处理单元46是数字信号处理器。存储器48可以是非易失性存储器(如ROM)、易失性存储器(如RAM)或其组合。在一个实施例中，经优化的图像滤波器是在软件中实现的并且被存储在存储器48中。输入设备50和输出设备52可以包括由用户使用与电子设备44交互的设备。输入设备50的非限制性示例包括数字照相机的传感器，如CMOS或CCD传感器；键盘；鼠标；按钮；以及触摸屏。输出设备52的非限制性示例包括显示器、电视机、计算机监视器和扬声器。I/O接口54被配置成用于发送并接收数据。例如，I/O接口54可以耦接于卫星天线、万维网或用于发送并接收多媒体内容的外部电子设备。
前述详细描述已经通过使用框图、示意图和示例阐述了这些设备和/或过程的各种实施例。在这些框图、示意图和示例包含一个或多个功能和/或操作的情况下，将由本领域的技术人员理解的是，在这些框图、流程图或示例内的每个功能和/或操作可以由各种各样的硬件、软件、固件、或实质上其任何组合单独地和/或共同地实现。在一个实施例中，可以经由专用集成电路(ASIC)实现本主题。然而，本领域技术人员将意识到，本文所披露的这些实施例可以整体地或部分地在标准集成电路中被等效地实现，作为在一个或多个计算机上运行的一个或多个计算机程序(例如，作为在一个或多个计算机系统上运行的一个或多个程序)，作为在一个或多个控制器(例如，微控制器)上运行的一个或多个程序，作为在一个或多个处理器(例如，微处理器、数字信号处理器)上运行的一个或多个程序，作为固件，或者作为实质上其任何组合，并且意识到针对软件和/或固件设计电路和/或编写代码将鉴于本披露而很好地在本领域普通技术人员的能力之内。
本领域的技术人员将意识到，在此陈述的许多方法或算法可以采用附加的动作，可以省略某些动作，和/或可以按照与指定的不同的顺序执行动作。
此外，本领域的技术人员将认识到，在此教导的这些机制能够分布为各种形式的程序产品，并且认识到说明性实施例等效地应用而不管实际上用于执行该分布的物理信号承载介质的具体类型。信号承载介质的示例包括但不限于以下：如软盘、硬盘驱动器、CDROM、数字磁带和计算机存储器的可记录型介质。
上述各实施例可以被组合以提供进一步的实施例。如果有必要，可以对实施例的各方面进行修改，以采用各专利、申请和公开的概念来提供更进一步的实施例。
将理解的是，尽管出于说明的目的在此描述了本披露的多个特定的实施例，在不背离本披露的精神和范围的情况下可以进行各种修改。相应地，除所附权利要求书之外，本披露不受限制。
鉴于以上详细的描述，可以对这些实施例做出这些和其他改变。总之，在以下权利要求书中，所使用的术语不应当被解释为将权利要求书局限于本说明书和权利要求书中所披露的特定实施例，而是应当被解释为包括所有可能的实施例、连同这些权利要求有权获得的等效物的整个范围。相应地，权利要求书并不受本披露的限制。

Claims (18)

1.一种滤波方法，包括：
接收具有多个像素的图像；
选择所述图像的施加块，所述施加块包括所述多个像素中的第一像素和第二像素，所述第二像素与所述第一像素相邻；
选择所述图像的搜索区域，所述搜索区域至少包括所述多个像素中的第三像素；
基于所述第一像素和所述第三像素周围的像素确定所述第一像素与所述第三像素之间的差值；
基于所述差值确定权重值；
将所述权重值分配给所述第三像素；
用分配给所述第三像素的所述权重值修改所述第一像素；
选择第四像素，所述第四像素与所述第三像素相邻；
将所述权重值分配给所述第四像素；并且
用分配给所述第四像素的所述权重值修改所述第二像素。
2.如权利要求1所述的方法，其中，所述选择所述施加块包括选择所述第二像素以与所述第一像素紧紧相邻。
3.如权利要求1所述的方法，其中，所述选择所述第四像素包括选择所述第四像素使得所述第四像素在所述图像中相对于所述第三像素的位置与所述第二像素在所述图像中相对于所述第一像素的位置相同。
4.如权利要求1所述的方法，其中，所述确定所述权重值包括将所述权重值设置为与所述差值负相关的值。
5.如权利要求1所述的方法，其中，所述确定所述权重值包括为有限脉冲响应滤波器确定所述权重值。
6.如权利要求1所述的方法，进一步包括选择包括所述施加块的目标块、选择包括所述第三像素的参考块并且从所述目标块和所述参考块中的像素来确定差值。
7.如权利要求1所述的方法，其中，所述选择所述施加块包括将所述施加块的大小设置为小于所述搜索区域的大小。
8.如权利要求1所述的方法，其中，所述接收所述图像包括获得多个视频帧中的单个帧。
9.如权利要求1所述的方法，其中，所述选择所述施加块包括选择与所述第一像素和所述第二像素相邻的第五像素，所述方法进一步包括：
选择所述多个像素中的第六像素，所述第六像素与所述第三像素和所述第四像素相邻；
将所述权重值分配给所述第六像素；并且
用分配给所述第六像素的所述权重值修改所述第五像素。
10.如权利要求9所述的方法，其中，所述选择所述第六像素包括选择所述第六像素使得所述第六像素在所述图像中相对于所述第三和第四像素的位置与所述第五像素在所述图像中相对于所述第一和第二像素的位置相同。
11.如权利要求1所述的方法，其中，所述差值是通过使用绝对差之和或平方差之和确定的。
12.一种滤波方法，包括：
选择图像的多个像素中的第一像素；
确定多个差值，所述多个差值是在目标块与多个参考块中的每个参考块之间确定的，所述目标块包括所述第一像素，所述多个参考块各自包括对应的参考像素；
针对第一搜索区域中的每个像素确定多个权重值，所述第一搜索区域包括所述目标块以及所述多个参考块中的每个参考块，所述确定所述多个权重值基于所述多个差值；
使用所述多个权重值修改所述第一像素；
选择所述多个像素中的第二像素，所述第二像素与所述第一像素相邻；并且
使用所述多个权重值修改所述第二像素。
13.如权利要求12所述的方法，其中，所述修改所述第一像素包括将所述多个权重值分配给所述多个像素中的对应像素，并使用所述分配的多个权重值修改所述第一像素。
14.如权利要求13所述的方法，其中，所述修改所述第二像素包括将所述多个权重值重新分配给第二搜索区域，并使用所述重新分配的多个权重值修改所述第二像素。
15.如权利要求14所述的方法，其中，所述将所述多个权重值重新分配给所述第二搜索区域包括按照如所述第二像素距离所述第一像素相同的方向和距离将所述多个权重值移位至所述第二搜索区域的像素。
16.如权利要求12所述的方法，其中，所述确定所述多个权重值包括将所述多个权重值设置为与所述多个差值负相关的值。
17.如权利要求12所述的方法，其中，所述确定所述多个权重值包括为有限脉冲响应滤波器确定所述多个权重值。
18.如权利要求12所述的方法，其中，所述多个差值中的每个差值是通过使用绝对差之和或平方差之和确定的。
CN201610465099.1A 2015-12-29 2016-06-23 用于自适应像素滤波的系统和方法 Active CN106937020B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911124050.XA CN110852334B (zh) 2015-12-29 2016-06-23 用于自适应像素滤波的系统和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/983,150 2015-12-29
US14/983,150 US9710722B1 (en) 2015-12-29 2015-12-29 System and method for adaptive pixel filtering

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201911124050.XA Division CN110852334B (zh) 2015-12-29 2016-06-23 用于自适应像素滤波的系统和方法

Publications (2)

Publication Number Publication Date
CN106937020A CN106937020A (zh) 2017-07-07
CN106937020B true CN106937020B (zh) 2019-12-03

Family

ID=59088078

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911124050.XA Active CN110852334B (zh) 2015-12-29 2016-06-23 用于自适应像素滤波的系统和方法
CN201610465099.1A Active CN106937020B (zh) 2015-12-29 2016-06-23 用于自适应像素滤波的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201911124050.XA Active CN110852334B (zh) 2015-12-29 2016-06-23 用于自适应像素滤波的系统和方法

Country Status (2)

Country Link
US (2) US9710722B1 (zh)
CN (2) CN110852334B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017212214A1 (de) * 2017-07-17 2019-01-17 Carl Zeiss Microscopy Gmbh Verfahren zum Aufzeichnen eines Bildes unter Verwendung eines Teilchenmikroskops und Teilchenmikroskop
TWI712989B (zh) 2018-01-16 2020-12-11 瑞昱半導體股份有限公司 影像處理方法及影像處理裝置
WO2020011756A1 (en) * 2018-07-12 2020-01-16 Telefonaktiebolaget Lm Ericsson (Publ) Bilateral alpha omega: calculating lut argument with few arithmetic operations
CN113434715A (zh) * 2020-03-23 2021-09-24 瑞昱半导体股份有限公司 用于针对图像进行搜索的方法以及图像处理电路
CN113553460B (zh) * 2021-08-13 2022-06-28 北京安德医智科技有限公司 影像检索方法及装置、电子设备和存储介质
CN114115640B (zh) * 2021-11-30 2024-05-14 上海小度技术有限公司 图标的确定方法、装置、设备以及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1625266A (zh) * 2003-12-02 2005-06-08 三星电子株式会社 计算绝对差值的设备、运动估计设备和运动图像编码设备
CN103002285A (zh) * 2012-12-06 2013-03-27 深圳广晟信源技术有限公司 视频单元的复杂度生成方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3092024B2 (ja) * 1991-12-09 2000-09-25 松下電器産業株式会社 画像処理方法
US6108455A (en) 1998-05-29 2000-08-22 Stmicroelectronics, Inc. Non-linear image filter for filtering noise
US7822285B2 (en) * 2004-05-20 2010-10-26 Omnivision Technologies, Inc. Methods and systems for locally adaptive image processing filters
US20080212888A1 (en) * 2007-03-01 2008-09-04 Barinder Singh Rai Frame Region Filters
BRPI0810924A2 (pt) * 2007-04-09 2019-09-24 Ntt Docomo Inc predição de imagem/dispositivo de codificação, predição de imagem/ método de codificação, predição de imagem/programa de codificação, predição de imagem/dispositivo de codificação, predição de imagem/método de codificação e predição de imagem/programa de codificação
KR20080110092A (ko) * 2007-06-14 2008-12-18 삼성전자주식회사 화상형성장치 및 그의 화질 개선방법
JP4640508B2 (ja) * 2009-01-09 2011-03-02 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び撮像装置
US8508668B2 (en) * 2009-09-15 2013-08-13 Broadcom Corporation Method and system for utilizing non-local means (NLM) for separation of luma (Y) and chroma (CbCr) components
US8471865B2 (en) * 2010-04-02 2013-06-25 Intel Corporation System, method and apparatus for an edge-preserving smooth filter for low power architecture
CN102236885A (zh) * 2010-04-21 2011-11-09 联咏科技股份有限公司 减少图像噪声的过滤器与过滤方法
TWI399971B (zh) * 2010-07-28 2013-06-21 Vatics Inc 降低數位影像雜訊的方法及其電子裝置
US8907973B2 (en) 2012-10-22 2014-12-09 Stmicroelectronics International N.V. Content adaptive image restoration, scaling and enhancement for high definition display
JP6071419B2 (ja) * 2012-10-25 2017-02-01 キヤノン株式会社 画像処理装置及び画像処理方法
US9860529B2 (en) * 2013-07-16 2018-01-02 Qualcomm Incorporated Processing illumination compensation for video coding
JP6173199B2 (ja) * 2013-12-09 2017-08-02 オリンパス株式会社 画像処理装置、画像処理方法、および撮像装置
WO2015154305A1 (en) * 2014-04-11 2015-10-15 Intel Corporation Object detection using directional filtering

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1625266A (zh) * 2003-12-02 2005-06-08 三星电子株式会社 计算绝对差值的设备、运动估计设备和运动图像编码设备
CN103002285A (zh) * 2012-12-06 2013-03-27 深圳广晟信源技术有限公司 视频单元的复杂度生成方法及装置

Also Published As

Publication number Publication date
CN106937020A (zh) 2017-07-07
CN110852334B (zh) 2023-08-22
US9710722B1 (en) 2017-07-18
CN110852334A (zh) 2020-02-28
US20170301072A1 (en) 2017-10-19
US20170185863A1 (en) 2017-06-29
US10186022B2 (en) 2019-01-22

Similar Documents

Publication Publication Date Title
CN106937020B (zh) 用于自适应像素滤波的系统和方法
CN108921806B (zh) 一种图像处理方法、图像处理装置及终端设备
Yang et al. Fast single image reflection suppression via convex optimization
Li et al. Video super-resolution using an adaptive superpixel-guided auto-regressive model
EP2709057A2 (en) System, method and computer program product for image processing, in particular for introducing blurring effects to an image
CN108701359A (zh) 跨越具有对应深度图的视频帧跟踪兴趣区域
WO2014045026A1 (en) Systems and methods for reducing noise in video streams
JP7086235B2 (ja) ビデオ処理方法、装置及びコンピュータ記憶媒体
CN108038826B (zh) 透视变形的搁架图像的校正方法和装置
CN101957712A (zh) 一种显示界面背景图片的显示控制方法、系统及移动终端
WO2020001222A1 (zh) 图像处理方法、装置、计算机可读介质及电子设备
CN112995678B (zh) 一种视频运动补偿方法、装置及计算机设备
CN111163265A (zh) 图像处理方法、装置、移动终端及计算机存储介质
CN111179159B (zh) 消除视频中目标影像的方法、装置、电子设备及存储介质
CN112767281A (zh) 图像鬼影消除方法、装置、电子设备及存储介质
Zhu et al. Video super-resolution based on automatic key-frame selection and feature-guided variational optical flow
WO2013020860A1 (en) Image mosaicing
Zhao et al. D2hnet: Joint denoising and deblurring with hierarchical network for robust night image restoration
CN112801890A (zh) 一种视频处理方法、装置及设备
CN108510438A (zh) 一种图像、视频放大方法和系统
Wu et al. Locally low-rank regularized video stabilization with motion diversity constraints
Lee Novel video stabilization for real-time optical character recognition applications
Zhen et al. Inertial sensor aided multi-image nonuniform motion blur removal based on motion decomposition
WO2018148179A1 (en) Method and system for improved image compression
CN112333388B (zh) 图像显示方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Amsterdam

Patentee after: STMicroelectronics International N.V.

Country or region after: Netherlands

Patentee after: STMicroelectronics France

Country or region after: France

Address before: Amsterdam

Patentee before: STMicroelectronics International N.V.

Country or region before: Netherlands

Patentee before: STMicroelectronics S.A.

Country or region before: France

CP03 Change of name, title or address