CN101902562A - 滤波器电路、图像处理设备、成像设备和图像处理方法 - Google Patents

滤波器电路、图像处理设备、成像设备和图像处理方法 Download PDF

Info

Publication number
CN101902562A
CN101902562A CN2010101890888A CN201010189088A CN101902562A CN 101902562 A CN101902562 A CN 101902562A CN 2010101890888 A CN2010101890888 A CN 2010101890888A CN 201010189088 A CN201010189088 A CN 201010189088A CN 101902562 A CN101902562 A CN 101902562A
Authority
CN
China
Prior art keywords
pixel
weight coefficient
level
coefficient
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010101890888A
Other languages
English (en)
Other versions
CN101902562B (zh
Inventor
川岛学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101902562A publication Critical patent/CN101902562A/zh
Application granted granted Critical
Publication of CN101902562B publication Critical patent/CN101902562B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/75—Unsharp masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明提供了滤波器电路、图像处理设备、成像设备和图像处理方法。该滤波器电路包括：第一权重系数计算单元，其计算关于第一像素和围绕该第一像素布置的多个第二像素的像素电平的第一权重系数；第一权重系数调整单元，其在布置在跨所述第一像素的对称位置上的一对第二像素的第一权重系数彼此不同时，用这对第二像素中具有较小的第一权重系数的第二像素的第一权重系数来替换具有较大的第一权重系数的第二像素的第一权重系数；第三权重系数计算单元，其将第一权重系数与关于像素的位置的第二权重系数求积，来计算像素的第三权重系数；以及校正处理单元，其使用第三权重系数和像素的像素电平来校正所述第一像素的像素电平。

Description

滤波器电路、图像处理设备、成像设备和图像处理方法
技术领域
本发明涉及在保存图像边缘的同时对图像进行平滑(smooth)的滤波器电路，使用该滤波器电路的图像处理设备和成像设备，图像处理方法以及计算机程序。
背景技术
过去，在用于静止图像、运动图像等的图像处理设备中，各种滤波器(滤波器电路)被用来提高图像质量。作为这些滤波器中的一种，存在被称为双边滤波器(bilateral filter)的滤波器(例如，参见JP-A-2006-180268)。
双边滤波器是一种主要用于噪声去除的非线性滤波器，并且具有如下特性：双边滤波器可以在保存图像边缘的同时实现图像的平滑。为了获得该特性，双边滤波器确定不仅考虑到像素之间的距离还考虑到像素之间的像素值(亮度)差异的权重。在以下说明中，可以执行这种处理的滤波器也被称为边缘保存平滑滤波器(edge-preserving smoothing filter)。参考图10A到10C简要说明了过去的双边滤波器的处理原理。
图10A到10C是用于说明一种双边滤波器的滤波器处理的原理的示图，该双边滤波器具有包括围绕关注像素71的五个抽头(五个像素)的一维滤波器框，即，该双边滤波器具有1×5像素的最小滤波器框。图10A是在图10B所示的关注像素71中在空间方向上的权重系数(关于位置的权重系数)的分布的示图。图10B是在关注像素71以及围绕关注像素71的外围像素72中像素位置和像素电平之间的关系的示图。图10C是在关注像素71中在电平方向上的权重系数(关于像素电平的权重系数)的分布的示图。
在图10A到10C所示的示例中，处理是利用按如下所述方式设置的关注像素71的像素电平Y2来执行的。首先，在滤波器框中处在位置X0到X5的五个像素中，按以下公式1来计算权重Wi(i＝0到4)。
公式1
Wi＝Gspace(Xi-X2)×Glevel(Yi-Y2)
公式1中的Gspace(x)和Glevel(y)是各个像素中在空间方向和电平方向上的权重系数的分布函数。在双边滤波器中，Gspace(x)和Glevel(y)由高斯函数表示。具体讲，Gspace(x)和Glevel(y)分别由以下公式2和3表示。
公式2
Gspace(x)＝exp[-x2/2σ2]
公式3
Glevel(y)＝exp[-y2/2σ2]
在上述公式中，公式2中的x等于Xi-X2(i＝0到4)。公式3中的y等于Yi-Y2(i＝0到4)。公式2中的σ表示高斯函数的标准偏差(standard deviation)参数。
关注像素71的像素电平Y2通过如下方法被校正(平滑)：使用由公式1计算的像素的权重Wi和像素的电平值Yi来执行以下公式4的算术运算。公式4中的Y2′表示平滑处理之后的关注像素71的像素电平。
公式4
Y 2 ′ = Σ i = 0 4 ( Wi × Yi ) / Σ i = 0 4 Wi
在过去的双边滤波器的滤波器处理中，平滑可以通过改变在空间方向和电平方向上的权重系数的分布函数Gspace(x)和Glevel(y)的标准偏差参数σ来调整。通常，噪声电平的幅度被认为小于图像边缘的电平幅度。因此，通过将电平方向上的权重系数的分布函数Glevel(y)的σ调整到噪声电平的标准偏差，可以在保存图像边缘的同时只平滑噪声。
发明内容
如上所述，由于双边滤波器在保存图像的边缘的同时可以只平滑噪声，因此双边滤波器作为用于提高图像质量的滤波器是非常有效的。因此，近年来，存在对于开发具有更好的特性的边缘保存平滑滤波器的需求。
因此，希望提供具有更高性能的边缘保存平滑型滤波器电路、包括该滤波器电路的图像处理设备和成像设备、图像处理方法以及计算机程序。
根据本发明第一实施例，提供了一种包括第一权重系数计算单元、第一权重系数调整单元、第三权重系数计算单元和校正处理单元的滤波器电路。各个单元的功能如下所述。第一权重系数计算单元计算关于第一像素和围绕该第一像素布置的多个第二像素的像素电平的第一权重系数。第一权重系数调整单元在布置在跨第一像素的对称位置上的一对第二像素的第一权重系数彼此不同时，将这对第二像素的第一权重系数调整为相同的值。在调整第一权重系数时，第一权重系数调整单元用这对第二像素中具有较小的第一权重系数的第二像素的第一权重系数来替换具有较大的第一权重系数的第二像素的第一权重系数。第三权重系数计算单元将由第一权重系数调整单元计算出的像素的第一权重系数与关于像素的位置的第二权重系数求积，来计算像素的第三权重系数。校正处理单元使用由第三权重系数计算单元计算出的像素的第三权重系数和像素的像素电平来校正第一像素的像素电平。
根据本发明的第二实施例，提供了一种图像处理设备，其包括根据第一实施例的滤波器电路和控制滤波器电路的处理操作的控制单元。
根据本发明的第三实施例，提供了一种成像设备，其包括对物体光进行光电转换以生成图像信号的成像单元以及根据第一实施例的滤波器电路。
根据本发明的第四实施例，提供了一种图像处理方法和按下述方式执行处理的计算机程序。首先，计算关于第一像素和围绕该第一像素布置的多个第二像素的像素电平的第一权重系数。随后，在布置在跨第一像素的对称位置上的一对第二像素的第一权重系数彼此不同时，将这对第二像素的第一权重系数调整为相同的值。在调整第一权重系数时，用这对第二像素中具有较小的第一权重系数的第二像素的第一权重系数来替换具有较大的第一权重系数的第二像素的第一权重系数。随后，将像素的第一权重系数与关于像素的位置的第二权重系数求积，来计算像素的第三权重系数。通过使用像素的第三权重系数和像素的像素电平来校正第一像素的像素电平。
如上所述，在本发明的实施例中，布置在跨第一像素的对称位置上的一对第二像素的第一权重系数被调整为相同的值。因此，在滤波器电路中，可以在穿过第一像素的所有方向上分布与第一像素对称的第二像素的第一权重系数，并且使第一权重系数线性化(线性相位校正)。
在本发明的实施例中，用布置在跨第一像素的对称位置上的这对第二像素中具有较小的第一权重系数的第二像素的第一权重系数来替换具有较大的第一权重系数的第二像素的第一权重系数。因此，可以在保存图像的边缘的同时只平滑噪声。
如上所述，在本发明的实施例中，不仅可以在保存图像的边缘的同时只平滑噪声，还可以使第一权重系数线性化(线性相位校正)。因此，根据本发明的实施例可以提供具有更高性能的边缘保存平滑型滤波器电路。
附图说明
图1是根据本发明实施例的成像设备的示意性框图；
图2是根据本实施例的线性相位边缘保存平滑滤波器的示意性框图；
图3是根据本实施例的线性相位边缘保存平滑滤波器的更详细框图；
图4是在滤波器框中穿过关注像素的轴方向的示图；
图5是用于说明根据本实施例的图像处理方法的过程的流程图；
图6A是在权重系数调整之前，在空间方向上的权重系数的分布示例的示图；
图6B是在权重系数调整之前，在电平方向上的权重系数的分布示例的示图；
图7A是在权重系数调整之后，在空间方向上的权重系数的分布示例的示图；
图7B是在权重系数调整之后，在电平方向上的权重系数的分布示例的示图；
图8A是在图4的H轴方向上线性相位边缘保存平滑滤波器的相位的频率特性的曲线图；
图8B是在图4的V轴方向上线性相位边缘保存平滑滤波器的相位的频率特性的曲线图；
图8C是在图4的U轴方向上线性相位边缘保存平滑滤波器的相位的频率特性的曲线图；
图9A是在图4的H轴方向上线性相位边缘保存平滑滤波器的增益的频率特性的曲线图；
图9B是在图4的V轴方向上线性相位边缘保存平滑滤波器的增益的频率特性的曲线图；
图9C是在图4的U轴方向上线性相位边缘保存平滑滤波器的增益的频率特性的曲线图；以及
图10A到10C是用于说明过去的双边滤波器的处理原理的示图。
具体实施方式
根据本发明实施例的滤波器电路、包括该滤波器电路的图像处理设备和图像处理方法的具体示例被参考附图按如下顺序进行说明。本发明并不局限于以下说明的示例。
1.成像设备的配置示例
2.图像处理的过程
3.线性相位边缘保存平滑滤波器的频率特性
<1.成像设备的配置示例>
在本实施例中，诸如照相机之类的成像设备被说明，作为包括根据本实施例的滤波器电路的图像处理设备的示例。但是，根据本实施例的滤波器电路不仅可以被应用到成像设备，也可以被应用到具有图像处理功能的所有设备和系统(例如，显示器、打印机的显示装置等等)以及包括视频处理应用的设备。当根据本实施例的滤波器电路被应用到成像设备时，该滤波器电路不仅可以被应用到照相机本身，还可以被应用到具有照相功能(相机模块)的信息处理设备(例如，便携式终端设备)。
在具体说明根据本实施例的滤波器电路以及包括该滤波器电路的成像设备的配置之前，首先对过去的双边滤波器或者双边滤波器的派生滤波器的问题进行说明。在过去的双边滤波器中，像素中在电平方向上的权重系数(下文中称之为电平权重系数)的滤波器特性由复数表示。权重系数的相位相对于空间频率不具有线性相位属性(线性)。因此，具体讲，在图像边缘附近的区域中，在某些情况下，图像波形失真。
该问题被更详细说明。在电平权重系数的相位是线性的的滤波器中，无论像素中图像的空间频率是否经过滤波器处理，相位的延迟量都是固定的，并且出现群组延迟。在此情况下，相位的延迟差异不会发生，并且在滤波处理之后，相邻像素之间图像波形不会失真。但是，当如双边滤波器中那样电平权重系数相对于空间频率具有非线性相位(是非线性的)时，在滤波器处理之后，相邻像素之间在相位上存在延迟差异。当出现延迟差异时，由于延迟差异的延迟量根据图像的图样(pattern)而改变，因此图像波形失真。具体讲，在运动图像中，即使一物体处于静止，由于延迟量根据噪声影响改变，因此物体图像的边缘的位置也不会静止而总是波动。
在本实施例中，对一种边缘保存平滑型滤波器电路以及包括该滤波器电路的成像设备的配置示例进行了说明，该边缘保存平滑型滤波器电路可以在保持滤波器电路能够在保存图像边缘的同时实现图像平滑的特性(过去的双边滤波器的特性)的同时解决上述问题。
[成像设备的配置]
图1示出根据本实施例的成像设备的示意性框图配置。成像设备100包括透镜1、成像装置(成像单元)2、模数转换器3(在下文中，称之为ADC)和图像处理单元4。透镜1、成像装置2、ADC 3和图像处理单元4被从物体光15的入射一侧起按该顺序布置。
成像设备100还包括显示处理单元5、显示单元6、控制单元7、存储单元8、操作输入单元9、外部接口单元(在下文中，称之为外部I/F单元)10、记录和再现处理单元11和记录介质12。成像设备100的各个单元经由信号线13被直接或间接电连接。
透镜1捕获物体光并将物体光聚焦到成像装置2的成像表面(未示出)上。成像装置2对由透镜1聚焦的物体光进行光电转换以生成图像信号。成像装置2将生成的图像信号输出到ADC 3。作为成像装置2，例如，可以应用各种类型的图像传感器，例如，CCD(电荷耦合器件)型和CMOS(互补金属氧化物半导体)型。
包括一个成像装置2的成像设备100的配置示例如图1所示。但是，本发明并不局限于此。当成像设备100例如是彼此独立地获取对应于三种颜色R(红色)、G(绿色)和B(蓝色)的图像信号的3CCD照相机时，提供三个成像装置2。在此情况下，在包括三个成像装置2的成像装置组和透镜1之间布置将入射光分离成三种颜色R、G和B的颜色分离棱镜。当成像设备100是1CCD照相机时，在透镜1和成像装置2之间布置滤色镜阵列。
ADC 3将从成像装置2输出的模拟图像信号转换成数字图像信号，并将数字转换后的图像信号输出到图像处理单元4。当CMOS图像传感器被用作成像装置2时，由于对图像信号的模数转换处理也在成像装置2内部执行，因此不需要ADC 3。
图像处理单元4对从ADC 3输出的图像信号应用各种类型的处理，并将处理后的图像信号输出到显示处理单元5。图像处理单元4包括光学系统和传感器系统校正单元41、降噪处理单元42、伽马校正单元43和高频增强处理单元44。
光学系统和传感器系统校正单元41针对透镜1引起的图像信号的失真执行校正处理(针对光学系统的校正处理)并针对成像装置2引起的失真执行校正处理(针对传感器系统的校正处理)。在针对光学系统的校正处理中，光学系统和传感器系统校正单元41例如执行失真校正、色差(aberration)校正、环境光量丢失校正和闪光校正。在针对传感器系统的校正处理中，光学系统和传感器系统校正单元41例如执行用于像素的缺陷校正和阴影(shading)校正。当CMOS图像传感器被用作成像装置2时，光学系统和传感器系统校正单元41还执行垂直条纹(vertical streak)校正等，作为针对传感器系统的校正处理。当CCD图像传感器被用作成像装置2时，光学系统和传感器系统校正单元41还执行污点(smear)校正等，作为针对传感器系统的校正处理。
降噪处理单元42对从光学系统和传感器系统校正单元41输出的图像信号应用噪声去除处理，并将经噪声去除处理后的信号输出到伽马校正单元43。在本实施例中，在降噪处理单元42中设置了电平权重系数相对于空间频率具有线性相位属性(线性)的边缘保存平滑滤波器50(在下文中，称之为线性相位边缘保存平滑滤波器)。在本实施例中，一种配置示例被说明，作为线性相位边缘保存平滑滤波器(滤波器电路)50，在该配置示例中，过去的双边滤波器被进一步改进以赋予电平权重系数线性相位属性。线性相位边缘保存平滑滤波器50的配置随后进行详细说明。
伽马校正单元43校正从降噪处理单元42输出的图像信号的伽马值，以与显示单元6的伽马特性匹配。高频增强处理单元44执行用于增强与由经过伽马校正的图像信号获得的图像的边缘部分(轮廓)相对应的高频分量的校正(轮廓增强校正)。
在本实施例中，降噪处理单元42被布置在伽马校正单元43的前级的示例，即，降噪处理单元42被布置在图像信号具有线性的区域中的示例被说明。但是，本发明并不局限于此。降噪处理单元42可以布置在伽马校正单元43的后级。换言之，降噪处理单元42可以布置在图像信号具有非线性的区域中。但是，即使在降噪处理单元42被布置在伽马校正单元43的后级时，也希望降噪处理单元42的布置位置在高频增强处理单元44的前级。这是因为即使降噪处理单元42在与图像的边缘部分相对应的图像信号的高频分量被高频增强处理单元44增强之后对图像信号进行处理，也难以获得足够的降噪效果。
显示处理单元5将经过图像处理单元4的各种处理的图像信号转换成具有在显示单元6中可显示的形式的信号，并将转换后的信号输出到显示单元6。显示单元6可以包括LCD(液晶显示)或有机EL(电致发光)面板。显示单元6将从显示处理单元5提供的信号显示为显示屏上的图像。
控制单元7包括CPU(中央处理单元)。控制单元7基于从操作输入单元9(随后将说明)提供的操作信号等来对成像设备100的各个单元执行控制。存储单元8包括ROM(只读存储器)和/或RAM(随机访问存储器)。图像处理所需的计算机程序和各种数据被存储在ROM中。RAM被用作用于临时存储控制单元7的各种处理的中间结果的工作区。
操作输入单元9包括诸如按钮、拨盘和开关之类的操作装置。操作输入单元9经由操作装置从用户接收预定的操作输入，生成与操作输入的内容相对应的操作信号，并将生成的操作信号输出到控制单元7。
外部I/F单元10包括可以连接到外部设备的输入和输出端子(未示出)。外部I/F单元10经由输入和输出端子来执行成像设备100和外部设备之间的数据输入和输出。
记录和再现处理单元11被连接到随后将说明的记录介质12。记录和再现处理单元11执行：用于将从图像处理单元4输出的图像信号记录在记录介质12上的处理、用于读出和再现记录在记录介质12中的图像数据的处理、以及用于将再现的再现信号输出到显示处理单元5的处理。
记录介质12可以包括HDD(硬盘驱动器)、半导体存储器或光盘。记录介质12例如存储已经经过图像处理单元4的处理的图像信号和由外部的记录装置等记录的图像信号。
[线性相位边缘保存平滑滤波器的配置]
在图2和3中示出了线性相位边缘保存平滑滤波器(滤波器电路)50的示意性框图配置。图3是比图2所示更详细地示出线性相位边缘保存平滑滤波器50的内部配置的示图。在图2和3所示示例中，具有包括3×3个像素的滤波器框的线性相位边缘保存平滑滤波器50被说明。滤波器框并不局限于3×3个像素，而是可以根据整个视频的大小、应用等被适当地改变。
在本实施例中，以3×3个像素为单位的输入图像信号(图像信号)60被输入到线性相位边缘保存平滑滤波器50。线性相位边缘保存平滑滤波器50使用3×3个像素中的中心像素(在下文中，称之为关注像素)61的像素电平和与关注像素61的外围邻近的八个像素62(在下文中，称之为外围像素)的像素电平来对关注像素61的像素电平进行平滑。
在以下说明中，在滤波器框中的像素的位置X和像素电平Y由图2中在从左到右方向上的索引i(＝0到2)和图2中在从下到上方向上的索引j(＝0到2)来表示。例如，关注像素(第一像素)61的位置和像素电平被分别表示为X11和Y11。
线性相位边缘保存平滑滤波器50包括权重系数处理单元51和加权像素加法单元(校正处理单元)56。权重系数处理单元51和加权像素加法单元56被从输入图像信号60的输入一侧起按该顺序布置。
权重系数处理单元51分别计算3×3滤波器框中的像素的权重Wij。如图3所示，权重系数处理单元51主要包括电平权重系数计算单元(第一权重系数计算单元)52、电平权重系数调整单元(第一权重系数调整单元)53、空间权重系数提供单元54和求积单元(第三权重系数计算单元)55。
电平权重系数计算单元52计算在3×3滤波器框中的像素的电平权重系数Wlevel[i，j](第一权重系数)。在本实施例中，电平权重系数计算单元52基于3×3滤波器框中的像素(关注像素61或外围像素(第二像素)62)的像素电平Yij和关注像素61的像素电平Y11之间的差值(Yij-Y11)来计算电平权重系数Wlevel[i，j]。具体讲，电平权重系数计算单元52根据如下公式5来计算像素的电平权重系数Wlevel[i，j]。
公式5
Wlevel[i，j]＝Glevel(Yij-Y11)
为了实现公式5的算术运算，如图3所示，电平权重系数计算单元52包括多个电平权重系数计算电路52a。在本示例中，由于使用3×3滤波器框，因此在电平权重系数计算单元52中设置了9个电平权重系数计算电路52a。在图3中，为了简化说明，只有用于计算在位置X20和位置X02上的外围像素62的电平权重系数Wlevel[2，0]和Wlevel[0，2]的电平权重系数计算电路52a被示出。
关注像素61的像素电平Y11和3×3滤波器框中的像素的像素电平Yij被分别输入到电平权重系数计算电路52a的两个输入端子。电平权重系数计算电路52a基于输入到其的关注像素61的像素电平Y11和像素的像素电平Yij来根据公式5计算电平权重系数Wlevel[i，j]。电平权重系数计算电路52a将计算出的电平权重系数Wlevel[i，j]输出到电平权重系数调整单元53。
电平权重系数调整单元53调整电平权重系数Wlevel[i，j]，以使得由电平权重系数计算单元52计算出的外围像素62的电平权重系数Wlevel[i，j]在穿过关注像素61的所有轴方向上相对于关注像素61对称。由于诸如双边滤波器之类的边缘保存平滑滤波器是FIR滤波器，因此可以通过将滤波器系数设置得在一维轴上相对于滤波器的中心对称来使相位特性线性化。
在电平权重系数调整单元53中电平权重系数Wlevel[i，j]被设置得相对于关注像素61对称的轴方向如图4所示。在四个轴方向之中，两个方向是关注像素61的侧面相对方向(相对侧面方向)，其余两个方向是关注像素61的对角方向。具体讲，相对侧面方向之一是从位置X01上的外围像素62到位置X21上的外围像素62的轴方向(图4中的H(水平)轴方向)。另一相对侧面方向是从位置X10上的外围像素62到位置X12上的外围像素62的轴方向(图4中的V(垂直)轴方向)。对角方向之一是从位置X00上的外围像素62到位置X22上的外围像素62的轴方向(图4中的RU(右上)轴方向)。另一对角方向是从位置X02上的外围像素62到位置X20上的外围像素62的轴方向(RD(右下)轴方向)。
电平权重系数调整单元53调整外围像素62的电平权重系数Wlevel[i，j]，以使得外围像素62的电平权重系数Wlevel[i，j]在穿过关注像素61的四个轴方向上相对于关注像素61对称。具体讲，在本实施例中，电平权重系数调整单元53根据以下公式6调整电平权重系数Wlevel[i，j]。
公式6
Wlevel[i，j]＝Wlevel[2-i，2-j]＝αij
外围像素62的电平权重系数Wlevel[i，j]通过根据公式6调整像素的电平权重系数Wlevel[i，j]而被设置得相对于关注像素61对称。此外，在本实施例中，电平权重系数αij被调整为Wlevel[i，j]和Wlevel[2-i，2-j]中的较小值。换言之，电平权重系数αij通过以下公式7来计算。
公式7
αij＝min(Wlevel[i，j]，Wlevel[2-i，2-j])
电平权重系数αij由于下述原因被调整为Wlevel[i，j]和Wlevel[2-i，2-j]中的较小值。
通常，由于噪声具有高频分量，因此截止频率(cutoff frequency)从滤波器进行噪声去除的角度看被设计为截去高频分量。截止频率指的是当滤波器截去某一频带时其增益在通带(pass band)中的最大增益为-6dB的频率。当截止频率很低时，像素电平的平滑被加强。当截止频率很高时，在图像中遗留有较高频的信号分量。
因此，假设物体图像的边缘被包括在3×3个像素的滤波器中。在此情况下，与边缘相对应的频率分量被包括在穿过关注像素61的所有方向之中跨边缘的轴方向上的空间频率特性的高频区域中。因此，希望在跨边缘的轴方向上将滤波器的截止频率设置得高到一定程度，以保留与边缘相对应的频率分量。另一方面，与边缘相对应的频率分量没有包括在穿过关注像素61的所有方向之中沿边缘的方向上的空间频率特性中。因此，希望尽可能地降低截止频率以进一步加强像素电平的平滑。
在本实施例中，可以通过将电平权重系数αij设置为满足公式7来根据边缘方向改变在轴方向上的截止频率并满足与边缘相对应的轴方向和截止频率之间的两个条件。换言之，通过根据公式7将电平权重系数αij设置为在穿过关注像素61的所有方向上对称，可以在保持电平权重系数的相位的线性的同时实现边缘保存平滑。这在随后将说明的线性相位边缘保存平滑滤波器的频率特性中将更具体地说明。
空间权重系数提供单元54输出3×3滤波器框中的像素的空间权重系数Wspace[i，j](第二权重系数)。空间权重系数Wspace[i，j]是基于3×3滤波器框中的像素(关注像素61或外围像素62)的位置Xij与关注像素61的位置X11之间的差值(Xij-X11)来计算的。具体讲，像素的空间权重系数Wspace[i，j]由以下公式8计算。
公式8
Wspace[i，j]＝Gspace(Xij-X11)
空间权重系数Wspace[i，j]在穿过关注像素61的所有轴方向上对称并具有固定值。因此，空间权重系数Wspace[i，j]在3×3滤波器框中的像素中的分布可以预先作为表存储在空间权重系数提供单元54中。在每次输入3×3个像素的输入图像信号60时，空间权重系数提供单元54可以根据公式8计算空间权重系数Wspace[i，j]。
求积单元55将从电平权重系数调整单元53输出的像素的电平权重系数αij与从空间权重系数提供单元54输出的空间权重系数Wspace[i，j]求积以计算3×3滤波器框中的像素的权重Wij。具体讲，求积单元55执行以下公式9的算术运算以计算权重Wij(第三权重系数)。
公式9
Wij＝Wspace[i，j]×αij
为了实现公式9的算术运算，如图3所示，求积单元55包括多个求积器55a。在本示例中，由于使用3×3滤波器框，因此在求积单元55中设置9个求积器55a。在图3中，为了简化说明，只有用于计算在位置X20和位置X02上的外围像素62的权重W20和W02的求积器55a被示出。求积单元55将由求积器55a计算的权重Wij输出到随后将描述的加权像素加法单元56中的求积器57和平均处理单元58。
加权像素加法单元56使用从权重系数处理单元51输出的3×3滤波器框中的像素的权重Wij对像素的电平值Yij进行加权，并将加权后的像素的电平值相加并取平均。加权像素加法单元56将以这种方式计算出的电平值设置为在对关注像素61进行平滑处理之后的电平值Y11′。具体讲，加权像素加法单元56执行以下公式10的算术运算。
公式10
Y 11 &prime; = &Sigma; i , j = 0 2 ( Wij &times; Yij ) / &Sigma; i , j = 0 2 Wij
为了实现公式10的算术运算，如图3所示，加权像素加法单元56包括多个求积器57和平均处理单元58。在本示例中，使用3×3滤波器框，因此在加权像素加法单元56中设置9个求积器57。
每个求积器57计算公式10中的分子“Wij×Yij”的值。在图3中，为了简化说明，只有分别用于对位置X20和位置X02上的外围像素62应用“W20×Y20”和“W02×Y02”的算术运算的求积器57被示出。求积器57将计算出的“Wij×Yij”的值输出到平均处理单元58。
平均处理单元58使用从权重系数处理单元51输出的像素的权重Wij和从求积器57输出的“Wij×Yij”的值来执行公式10的算术运算。
<2.图像处理的过程>
下面将参考图5来说明本实施例中线性相位边缘保存平滑滤波器50中的图像处理的过程。图5是用于说明该图像处理过程的流程图。
首先，线性相位边缘保存平滑滤波器50获取围绕关注像素61的3×3个像素的输入图像信号60(步骤S1)。像素的电平值Yij被输入到权重系数处理单元51和加权像素加法单元56。随后，在权重系数处理单元51中的电平权重系数计算单元52基于公式5计算3×3个像素中的像素的电平权重系数Wlevel[i，j](步骤S2)。
在图6A和6B中，在步骤S2中获得的3×3个像素中的像素的权重系数Wlevel[i，j]的分布的示例被示出。图6A是空间权重系数Wspace[i，j]的分布示例的示图。图6B是电平权重系数Wlevel[i，j]的分布示例的示图。在图6A和6B中，沿3×3个像素中的RD轴方向(参见图4)出现物体的边缘65的示例被示出。
在步骤S2的处理结束时，权重系数Wlevel[i，j]的分布与在过去的双边滤波器中的处理所获得的分布相同。因此，空间权重系数Wspace[i，j]的分布(图6A)在所有轴方向中相对于关注像素61对称。但是，电平权重系数Wlevel[i，j]的分布(图6B)取决于轴方向相对于关注像素61是不对称的并且具有非线性相位属性(非线性)。
随后，电平权重系数调整单元53调整电平权重系数Wlevel[i，j]，以使得3×3个像素中的像素的电平权重系数Wlevel[i，j]在所有轴方向上都相对于关注像素61对称(步骤S3：线性相位校正处理)。电平权重系数调整单元53根据公式7调整电平权重系数Wlevel[i，j]。电平权重系数调整单元53将通过线性相位校正处理计算的像素的电平权重系数αij输出到求积单元55。
在图7A和7B中，在步骤S3中获得的3×3个像素中的像素的电平权重系数Wlevel[i，j]的分布示例被示出。图7A是空间权重系数Wspace[i，j]的分布示例的示图。图7B是电平权重系数Wlevel[i，j]的分布示例的示图。图7A和7B所示的分布是通过将步骤S3中针对电平权重系数的调整处理应用到图6A和6B所示的电平权重系数Wlevel[i，j]分布示例而获得的示例。
在图7B所示示例中，在H轴方向上，在位置X21上的外围像素62的电平权重系数α21被从1改变到0.5，以被调整到在位置X01上的外围像素62的电平权重系数α01(＝0.5)。在V轴方向上，在位置X12上的外围像素62的电平权重系数α12被从1改变到0.3，以被调整到在位置X10上的外围像素62的电平权重系数α10(＝0.3)。在RU轴方向上，在位置X22上的外围像素62的电平权重系数α22被从1改变到0.1，以被调整到在位置X00上的外围像素62的电平权重系数α00(＝0.1)。
在步骤S3中，如上所述，电平权重系数调整单元53将电平权重系数Wlevel[i，j]调整为在3×3个像素中在所有轴方向上相对于关注像素61对称。空间权重系数Wspace[i，j]分布在3×3个像素中的所有轴方向上都是相对于关注像素61对称的且是固定的。
随后，求积单元55从空间权重系数提供单元54读出像素的空间权重系数Wspace[i，j]。求积单元55将输入到求积单元55的空间权重系数Wspace[i，j]的值与经电平权重系数调整后的像素的电平权重系数αij的值求积，以计算权重Wij(步骤S4)。求积单元55将计算出的像素的权重Wij输出到加权像素加法单元56。
随后，加权像素加法单元56使用从输入图像信号60直接获得的像素的电平值Yij和从求积单元55输入的像素的权重Wij来根据公式10计算关注像素61的电平值Y11′(步骤S5)。具体讲，加权像素加法单元56利用求积器57将从输入图像信号60直接获得的像素的电平值Yij和从求积单元55输入的像素的权重Wij求积，利用平均处理单元58将求积的值相加，并利用权重Wij对相加的值取平均。
加权像素加法单元56将经过平滑处理的关注像素61的电平值Y11′输出到布置在后级的预定电路(步骤S6)。在本实施例的线性相位边缘保存平滑滤波器50中，关注像素61的电平值Y11′按上述方式被平滑。
<3.线性相位边缘保存平滑滤波器的频率特性>
下面将参考图8A到8C和图9A到9C来说明本实施例中的线性相位边缘保存平滑滤波器50的电平权重系数的滤波器特性的相位分量和幅度分量(增益)的频率特性。如上所述，电平权重系数Wlevel[i，j](＝αij)的滤波器特性由复数表示。因此，在对电平权重系数Wlevel[i，j]的滤波器特性求值时，相位分量和幅度分量两者都需要求值。在以下说明中，当图7B所示的电平权重系数被用于3×3个像素中的像素时获得的滤波器特性被说明。
首先，在本实施例中的线性相位边缘保存平滑滤波器的电平权重系数的滤波器特性中的相位分量的频率特性被说明。电平权重系数的滤波器特性中的相位的频率特性如图8A到8C所示。图8A是在H轴方向上的电平权重系数的滤波器特性的相位的频率特性的曲线图。图8B是在V轴方向上的电平权重系数的滤波器特性的相位的频率特性的曲线图。图8C是在RU轴方向上的电平权重系数的滤波器特性的相位的频率特性的曲线图。为了比较，在图8A到8C中，在线性相位校正处理被应用到电平权重系数时所获得的电平权重系数的滤波器特性的相位的频率特性(比较示例：在过去的双边滤波器中的图像处理)也被示出。作为比较示例的双边滤波器中的3×3个像素中的像素的电平权重系数的分布，使用图6B所示的分布。
在图8A到8C中，横坐标表示空间频率，纵坐标表示电平权重系数的滤波器特性中的相位。在图8A到8C中用实线指示的频率特性是本实施例的特性。由虚线指示的频率特性是比较示例的特性。
在比较示例的双边滤波器中，如图6B所示，电平权重系数的分布在H轴方向、V轴方向和RU轴方向上是相对于关注像素61不对称的。因此，如图8A到8C中的虚线特性所指示的，电平权重系数的滤波器特性的相位相对于空间频率波动(是非线性的)。
另一方面，在本实施例中的线性相位边缘保存平滑滤波器50中，如图7B所示，电平权重系数的分布在所有轴方向上都是相对于关注像素61对称的。因此，如图8A到8C中的实线特性所指示的，电平权重系数的滤波器特性的相位相对于空间频率是固定的。
虽然图中没有示出，但是在本实施例以及比较示例中，在沿边缘65的RD轴方向上，外围像素62的电平权重系数都是相对于关注像素61对称的。因此，在两种情况下，电平权重系数的相位的滤波器特性的频率特性都是相对于空间频率固定的。
从以上描述可以看出，通过将外围像素62的电平权重系数的分布设置为在穿过关注像素61的所有轴方向上都相对于关注像素61对称而使得相位特性被线性化。因此，在本实施例中，滤波器处理之后不会在相邻像素之间发生相位上的延迟差异。在滤波器处理后的图像波形不会失真。
下面将说明本实施例中的线性相位边缘保存平滑滤波器的电平权重系数的滤波器特性中的幅度分量(增益)的频率特性。在图9A到9C中，电平权重系数的滤波器特性中的幅度的频率特性被示出。图9A是在H轴方向上电平权重系数的滤波器特性中的幅度的频率特性的曲线图。图9B是在V轴方向上电平权重系数的滤波器特性中的幅度的频率特性的曲线图。图9C是在RU轴方向上电平权重系数的滤波器特性中的幅度的频率特性的曲线图。
在图9A到9C中，横坐标表示空间频率，纵坐标表示电平权重系数的滤波器特性中的幅度。在图9A到9C中，在比较示例中的电平权重系数的滤波器特性中的幅度的频率特性也被示出。在图9A到9C中用实线指示的频率特性是本实施例的特性。用虚线指示的频率特性是比较示例的特性。在沿边缘65的RD轴方向上，本实施例和比较示例中的电平权重系数的滤波器特性中的幅度的频率特性是相同的。因此，该频率特性的说明被省略。
如在图9A到9C所示的电平权重系数的滤波器特性中的幅度的频率特性所显而易见，可以看出，在本实施例中，按外围像素62的电平权重系数αij的小度(smallness)的顺序，即，按RU轴方向、V轴方向和H轴方向的顺序，截止频率较高。这表明在空间频率特性的高频区域中剩余的与边缘65相对应的频率分量按RU轴方向、V轴方向和H轴方向的顺序增大。因此，在本实施例中，可以减小截止频率并增大在沿着边缘65的轴方向上的平滑，并且增大在跨边缘65的轴方向上的截止频率并保留与边缘65相对应的频率分量。
这从图7B所示的外围像素62的电平权重系数αij的分布中也是显而易见的。在图7B所示的外围像素62的电平权重系数αij的分布中，电平权重系数αij按RU轴方向、V轴方向和H轴方向的顺序减小。因此，平滑度也按该顺序减小。这表明边缘65附近的像素之间的电平差异按RU轴方向、V轴方向和H轴方向的顺序增大(边缘变陡峭)，并且表明在空间频率特性的高频区域中剩余的与边缘65相对应的频率分量增大。
当在本实施例中的电平权重系数的滤波器特性中的幅度的频率特性被与比较示例中的情况相比较时，具体讲，在RU轴方向上的特性中(参见图9C)，在本实施例中，在高频区域中权重幅度的下降变得非常平缓。因此，在本实施例中，在包括了大量与边缘65相对应的频率分量的轴方向(例如RU轴方向)上，可以包括数量大得多的该频率分量。因此，可以进一步提高对边缘65的保存。
从本实施例中的线性相位边缘保存平滑滤波器50的频率特性可见，可以在保持过去的边缘保存平滑滤波器的特性的同时对电平权重系数的相位赋予线性。因此，在本实施例中的线性相位边缘保存平滑滤波器50中，可以抑制图像的失真并实现与过去的边缘保存平滑滤波器相同的效果。在本实施例中的线性相位边缘保存平滑滤波器50中，除了上述效果之外，还可以获得下面将说明的效果。
过去，存在一种静态滤波器，其权重系数具有线性相位属性(其权重系数总是固定的)。在这种滤波器中，一般而言，滤波器系数被设置得相对于作为中心点的关注像素呈放射状对称。另一方面，在本实施例中，外围像素62的电平权重系数被根据外围像素62的输入像素电平自适应地调整，以便相对于穿过关注像素61的所有轴方向都对称。因此，在本实施例中，与具有线性相位属性的静态滤波器相比，可以进一步提高对边缘的保存。
此外，在本实施例中的线性相位边缘保存平滑滤波器50中，可以减小相位线性化过程中包含的资源影响(硬件成本)。因此，电路的可能性很高。
在本实施例中，已经说明了滤波器框包括3×3个像素的示例。但是，本发明并不局限于此。例如，即使在使用具有大于3×3个像素的滤波器框时，也可以基于与上述原理相同的原理来应用本发明。在诸如双边滤波器之类的边缘保存平滑滤波器中，在沿着边缘的轴方向上的平滑程度被最大化。当滤波器框更大时，可以获得这种效果的滤波器框的轴方向增多，并因此可以使滤波器框尽可能的大。
在本实施例中，已经说明了本发明被应用到过去的双边滤波器的示例。但是，本发明并不局限于此。例如，诸如ε滤波器、NL(非局部)均值滤波器和三边滤波器之类的双边滤波器的派生滤波器也具有非线性相位属性。因此本发明也可以被应用到这些滤波器并且可实现相同的效果。
在本实施例中，图像处理设备(成像设备)被配置为专用设备的示例被说明。但是，本发明并不局限于此。例如，本实施例中的处理可以通过将用于执行本实施例中的图像处理的软件(计算机程序)安装到连接有所需的外围设备以执行各种数据处理的个人计算机上来执行。在此情况下，用于执行本实施例中的处理的计算机程序除了通过诸如光盘和半导体存储器之类的介质被分发之外，还可以经过传输手段(例如因特网)来下载。
本申请包含与2009年5月29日递交到日本专利局的日本在先专利申请JP 2009-131290中所公开的内容相关的主题，该在先申请的全部内容通过引用被结合于此。
本领域技术人员应该理解，取决于设计需求和其他因素，可以在所附权利要求或其等同物的范围之内进行各种修改、组合、子组合和变更。

Claims (6)

1.一种滤波器电路，包括：
第一权重系数计算单元，其计算关于第一像素和围绕该第一像素布置的多个第二像素的像素电平的第一权重系数；
第一权重系数调整单元，其在布置在跨所述第一像素的对称位置上的一对第二像素的第一权重系数彼此不同时，用这对第二像素中具有较小第一权重系数的第二像素的第一权重系数来替换具有较大第一权重系数的第二像素的第一权重系数；
第三权重系数计算单元，其将由所述第一权重系数调整单元计算出的像素的第一权重系数与关于像素的位置的第二权重系数求积，来计算像素的第三权重系数；以及
校正处理单元，其使用由所述第三权重系数计算单元计算出的像素的第三权重系数和像素的像素电平来校正所述第一像素的像素电平。
2.如权利要求1所述的滤波器电路，其中
由所述第一权重系数计算单元计算出的像素的第一权重系数由以像素的像素电平与所述第一像素的像素电平之间的差值为变量的高斯函数来表示，并且
所述像素的第二权重系数由以像素到所述第一像素的距离为变量的高斯函数来表示。
3.一种图像处理设备，包括：
滤波器电路，其包括：第一权重系数计算单元，其计算关于第一像素和围绕该第一像素布置的多个第二像素的像素电平的第一权重系数；第一权重系数调整单元，其在布置在跨所述第一像素的对称位置上的一对第二像素的第一权重系数彼此不同时，用这对第二像素中具有较小第一权重系数的第二像素的第一权重系数来替换具有较大第一权重系数的第二像素的第一权重系数；第三权重系数计算单元，其将由所述第一权重系数调整单元计算出的像素的第一权重系数与关于像素的位置的第二权重系数求积，来计算像素的第三权重系数；以及校正处理单元，其使用由所述第三权重系数计算单元计算出的像素的第三权重系数和像素的像素电平来校正所述第一像素的像素电平；以及
控制单元，其控制所述滤波器电路的处理操作。
4.一种成像设备，包括：
成像单元，其对物体光进行光电转换以生成图像信号；以及
滤波器电路，其包括：第一权重系数计算单元，其计算关于第一像素和围绕该第一像素布置的多个第二像素的像素电平的第一权重系数；第一权重系数调整单元，其在布置在跨所述第一像素的对称位置上的一对第二像素的第一权重系数彼此不同时，用这对第二像素中具有较小第一权重系数的第二像素的第一权重系数来替换具有较大第一权重系数的第二像素的第一权重系数；第三权重系数计算单元，其将由所述第一权重系数调整单元计算出的像素的第一权重系数与关于像素的位置的第二权重系数求积，来计算像素的第三权重系数；以及校正处理单元，其使用由所述第三权重系数计算单元计算出的像素的第三权重系数和像素的像素电平来校正所述第一像素的像素电平。
5.一种图像处理方法，包括以下步骤：
计算关于第一像素和围绕该第一像素布置的多个第二像素的像素电平的第一权重系数；
在布置在跨所述第一像素的对称位置上的一对第二像素的第一权重系数彼此不同时，用这对第二像素中具有较小第一权重系数的第二像素的第一权重系数来替换具有较大第一权重系数的第二像素的第一权重系数；
将像素的第一权重系数与关于像素的位置的第二权重系数求积，来计算像素的第三权重系数；以及
使用像素的第三权重系数和像素的像素电平来校正所述第一像素的像素电平。
6.一种安装在计算机上的计算机程序，其致使计算机执行以下处理：
用于计算关于第一像素和围绕该第一像素布置的多个第二像素的像素电平的第一权重系数的处理；
用于在布置在跨所述第一像素的对称位置上的一对第二像素的第一权重系数彼此不同时，用这对第二像素中具有较小第一权重系数的第二像素的第一权重系数来替换具有较大第一权重系数的第二像素的第一权重系数的处理；
用于将像素的第一权重系数与关于像素的位置的第二权重系数求积，来计算像素的第三权重系数的处理；以及
用于使用像素的第三权重系数和像素的像素电平来校正所述第一像素的像素电平的处理。
CN2010101890888A 2009-05-29 2010-05-24 滤波器电路、图像处理设备、成像设备和图像处理方法 Expired - Fee Related CN101902562B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-131290 2009-05-29
JP2009131290A JP5169997B2 (ja) 2009-05-29 2009-05-29 フィルタ回路、画像処理装置、撮像装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN101902562A true CN101902562A (zh) 2010-12-01
CN101902562B CN101902562B (zh) 2012-10-24

Family

ID=43219798

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101890888A Expired - Fee Related CN101902562B (zh) 2009-05-29 2010-05-24 滤波器电路、图像处理设备、成像设备和图像处理方法

Country Status (3)

Country Link
US (1) US8314862B2 (zh)
JP (1) JP5169997B2 (zh)
CN (1) CN101902562B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018214769A1 (zh) * 2017-05-24 2018-11-29 阿里巴巴集团控股有限公司 图像处理方法、装置和系统
CN109300095A (zh) * 2018-08-27 2019-02-01 深圳Tcl新技术有限公司 图像增强方法、系统及计算机可读存储介质
CN112804467A (zh) * 2021-04-15 2021-05-14 北京惠风智慧科技有限公司 一种基于多cmos传感器的图像编码方法及装置

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8284271B2 (en) * 2009-06-05 2012-10-09 Apple Inc. Chroma noise reduction for cameras
US8274583B2 (en) * 2009-06-05 2012-09-25 Apple Inc. Radially-based chroma noise reduction for cameras
US9241141B1 (en) * 2011-12-23 2016-01-19 Amazon Technologies, Inc. Projection block extraction
JP5623473B2 (ja) * 2012-08-01 2014-11-12 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム。
US10001993B2 (en) 2013-08-08 2018-06-19 Linear Algebra Technologies Limited Variable-length instruction buffer management
US9910675B2 (en) 2013-08-08 2018-03-06 Linear Algebra Technologies Limited Apparatus, systems, and methods for low power computational imaging
US11768689B2 (en) 2013-08-08 2023-09-26 Movidius Limited Apparatus, systems, and methods for low power computational imaging
US9727113B2 (en) 2013-08-08 2017-08-08 Linear Algebra Technologies Limited Low power computational imaging
US9111336B2 (en) * 2013-09-19 2015-08-18 At&T Intellectual Property I, Lp Method and apparatus for image filtering
US9196017B2 (en) 2013-11-15 2015-11-24 Linear Algebra Technologies Limited Apparatus, systems, and methods for removing noise from an image
US10460704B2 (en) 2016-04-01 2019-10-29 Movidius Limited Systems and methods for head-mounted display adapted to human visual mechanism
TWI645706B (zh) * 2017-05-08 2018-12-21 瑞昱半導體股份有限公司 影像處理方法及影像處理裝置
US10949947B2 (en) 2017-12-29 2021-03-16 Intel Corporation Foveated image rendering for head-mounted display devices
JP7146726B2 (ja) 2019-12-02 2022-10-04 本田技研工業株式会社 鞍乗り型車両

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1873657A (zh) * 2005-06-03 2006-12-06 中国科学院自动化研究所 鲁棒的自然图像分割方法
CN101286228A (zh) * 2008-05-15 2008-10-15 浙江大学 一种基于特征的实时的视频和图像抽象化方法
CN101383044A (zh) * 2007-09-06 2009-03-11 汤姆森许可贸易公司 图像中的空间扩散

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002369071A (ja) * 2001-06-08 2002-12-20 Olympus Optical Co Ltd 画像処理方法および、それを実装したデジタルカメラおよび、プログラム
JP3737436B2 (ja) * 2002-01-24 2006-01-18 株式会社メガチップス ノイズ除去方法およびノイズ除去装置
JP4442413B2 (ja) 2004-12-22 2010-03-31 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP4780374B2 (ja) * 2005-04-21 2011-09-28 Ｎｋワークス株式会社 粒状ノイズ抑制のための画像処理方法及びプログラム及びこの方法を実施する粒状抑制処理モジュール
CN100562065C (zh) * 2005-08-15 2009-11-18 索尼株式会社 摄像装置、降噪装置、降噪方法
JP3992720B2 (ja) * 2005-10-04 2007-10-17 三菱電機株式会社 画像補正装置、画像補正方法、プログラム、及び記録媒体
JP2007149092A (ja) * 2005-11-23 2007-06-14 Sonosite Inc 複数解像度適応フィルタリング
JP5016255B2 (ja) * 2006-02-22 2012-09-05 富士フイルム株式会社 ノイズ低減装置ならびにその制御方法およびその制御プログラムならびに撮像装置およびディジタル・カメラ
US8237808B2 (en) * 2007-01-17 2012-08-07 Sony Corporation Solid state imaging device and imaging apparatus adjusting the spatial positions of pixels after addition by controlling the ratio of weight values during addition
JP4772721B2 (ja) * 2007-03-26 2011-09-14 株式会社東芝 画像処理装置及びその方法
JP2009100373A (ja) * 2007-10-18 2009-05-07 Sanyo Electric Co Ltd ノイズ低減処理装置、ノイズ低減処理方法、及び電子機器
JP4407749B2 (ja) * 2007-12-26 2010-02-03 ソニー株式会社 画像処理回路、撮像装置、方法およびプログラム
JP4544336B2 (ja) * 2008-04-17 2010-09-15 ソニー株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1873657A (zh) * 2005-06-03 2006-12-06 中国科学院自动化研究所 鲁棒的自然图像分割方法
CN101383044A (zh) * 2007-09-06 2009-03-11 汤姆森许可贸易公司 图像中的空间扩散
CN101286228A (zh) * 2008-05-15 2008-10-15 浙江大学 一种基于特征的实时的视频和图像抽象化方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018214769A1 (zh) * 2017-05-24 2018-11-29 阿里巴巴集团控股有限公司 图像处理方法、装置和系统
CN108961170A (zh) * 2017-05-24 2018-12-07 阿里巴巴集团控股有限公司 图像处理方法、装置和系统
CN108961170B (zh) * 2017-05-24 2022-05-03 阿里巴巴集团控股有限公司 图像处理方法、装置和系统
CN109300095A (zh) * 2018-08-27 2019-02-01 深圳Tcl新技术有限公司 图像增强方法、系统及计算机可读存储介质
US11361414B2 (en) 2018-08-27 2022-06-14 Shenzhen Tcl New Technology Co., Ltd. Method and system for enhancing image, and computer readable storage medium
CN112804467A (zh) * 2021-04-15 2021-05-14 北京惠风智慧科技有限公司 一种基于多cmos传感器的图像编码方法及装置

Also Published As

Publication number Publication date
JP5169997B2 (ja) 2013-03-27
US8314862B2 (en) 2012-11-20
US20100302413A1 (en) 2010-12-02
CN101902562B (zh) 2012-10-24
JP2010277464A (ja) 2010-12-09

Similar Documents

Publication Publication Date Title
CN101902562B (zh) 滤波器电路、图像处理设备、成像设备和图像处理方法
US8358319B2 (en) System and method for processing image data using an image processing pipeline of an image signal processor
US8259198B2 (en) System and method for detecting and correcting defective pixels in an image sensor
US7417670B1 (en) Digital video camera with binning or skipping correction
US8525895B2 (en) Binning compensation filtering techniques for image signal processing
US8472712B2 (en) System and method for applying lens shading correction during image processing
US8593483B2 (en) Temporal filtering techniques for image signal processing
CN101232574B (zh) 成像装置、噪声去除设备及噪声去除方法
JP4487903B2 (ja) 画像処理装置および方法、並びにプログラム
JP4487902B2 (ja) 画像処理装置および方法、並びにプログラム
US20110090370A1 (en) System and method for sharpening image data
JP4887546B2 (ja) 輝度変化に適応してノイズをフィルタリングする方法及びシステム
CN102265595B (zh) 用于图像处理的方法和设备以及车载照相机设备
JP5983373B2 (ja) 画像処理装置、情報処理方法及びプログラム
CN102547075A (zh) 图像处理装置、图像处理方法和程序
JP2010277267A (ja) 画像処理装置、撮像装置及び画像処理方法
JP2014010776A (ja) 画像処理装置、画像処理方法、及び、プログラム
US20050062861A1 (en) Image pickup device
CN104427321A (zh) 图像处理装置及其控制方法
CN113132562A (zh) 镜头阴影校正方法、装置及电子设备
US8346021B2 (en) Content adaptive scaler based on a farrow structure
JP5001717B2 (ja) 輪郭強調装置
JP5535443B2 (ja) 画像処理装置
JP5418258B2 (ja) 撮像装置および画像処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121024

Termination date: 20150524

EXPY Termination of patent right or utility model