CN101283603A - 图像处理系统、图像处理程序 - Google Patents
图像处理系统、图像处理程序 Download PDFInfo
- Publication number
- CN101283603A CN101283603A CNA2006800370214A CN200680037021A CN101283603A CN 101283603 A CN101283603 A CN 101283603A CN A2006800370214 A CNA2006800370214 A CN A2006800370214A CN 200680037021 A CN200680037021 A CN 200680037021A CN 101283603 A CN101283603 A CN 101283603A
- Authority
- CN
- China
- Prior art keywords
- vector signal
- unit
- signal
- interest
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 166
- 238000001914 filtration Methods 0.000 claims abstract description 58
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 238000003384 imaging method Methods 0.000 claims description 66
- 238000013139 quantization Methods 0.000 claims description 59
- 230000009467 reduction Effects 0.000 claims description 52
- 238000011946 reduction process Methods 0.000 claims description 47
- 238000012937 correction Methods 0.000 claims description 30
- 206010034972 Photosensitivity reaction Diseases 0.000 claims description 13
- 230000004075 alteration Effects 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 13
- 230000036211 photosensitivity Effects 0.000 claims description 13
- 239000000470 constituent Substances 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 abstract description 25
- 230000008569 process Effects 0.000 abstract description 22
- 230000000694 effects Effects 0.000 description 58
- 230000006870 function Effects 0.000 description 52
- 238000010586 diagram Methods 0.000 description 16
- 238000011156 evaluation Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 11
- 238000003860 storage Methods 0.000 description 10
- 238000005375 photometry Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 230000003321 amplification Effects 0.000 description 8
- 238000003199 nucleic acid amplification method Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 239000000203 mixture Substances 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000006731 degradation reaction Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000005693 optoelectronics Effects 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
- H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Abstract
一种图像处理系统,该图像处理系统包括:提取部(111),其从来自CCD(102)的由多个彩色信号构成的影像信号中提取包括1个关注区域和1个以上附近区域的局部区域;矢量化部(112),其针对每个关注区域和附近区域导出以多个彩色信号作为构成成分的矢量信号;加权设定部(113),其根据关注区域的矢量信号,设定与局部区域内的各矢量信号相关的加权系数;过滤部(114),其对局部区域内的矢量信号,进行使用了加权系数的过滤处理;以及降噪部(115),其根据通过过滤处理得到的矢量信号,降低关注区域的矢量信号的噪声。
Description
技术领域
本发明涉及可降低由摄像元件系列引起的噪声的图像处理系统、图像处理程序。
背景技术
数字照相机和数字摄像机等数字摄像装置通常具有:摄像元件;对从该摄像元件输出的模拟信号进行各种模拟处理的模拟电路;以及将该模拟电路的信号转换成数字信号的A/D转换器。
从这种数字摄像装置的A/D转换器得到的数字信号中通常包含噪声成分,该噪声大致可以区分为随机性的噪声和尖峰性的噪声。
其中随机性的噪声是在摄像元件和模拟电路中产生的,具有与白噪声特性近似的特性。
另一方面,所述尖峰性的噪声主要是由摄像元件引起的噪声,其代表例是因摄像元件的缺陷像素等而产生的噪声。
降低这样的噪声的方案以往已经提出了很多种。
关于前者即随机性的噪声,例如在日本特开2004-72422号公报中记载了如下技术:通过使每个彩色信号的噪声的产生量模型化,从而动态地推定噪声量,进行降噪处理。由此,能够在不影响摄像条件的情况下进行以像素为单位的高精度的降噪处理。
并且,关于后者即尖峰性的噪声,例如在日本特开平6-205216号公报中记载了如下技术:检测是否为尖峰性的噪声,在检测出是尖峰性的噪声的情况下,一边将处理的块尺寸放大一边进行中值滤波处理。由此,具有能够对多种多样的尖峰性的噪声进行稳定的降噪处理的优点。
并且,关于全部噪声,例如在日本特开平8-36640号公报中记载了如下技术:使RGB信号矢量化,并修正矢量信号使得评价函数在矢量空间内最小化。由此,具有能够在保持边缘部的状态下降低彩色噪声的优点。
采用所述日本特开2004-72422号公报所记载的技术,能够对随机性的噪声良好地进行降噪处理,但是,具有不能对尖峰性的噪声进行充分的降噪处理的问题。并且,该公报所记载的技术是对每个彩色信号独立进行降噪处理的,所以需要对应彩色信号的数量进行处理,具有处理时间增长的问题。
并且,所述日本特开平6-205216号公报所记载的技术是一边依次放大块尺寸一边进行中值滤波处理的技术,所以能够良好地降低尖峰性的噪声,但是,将信息组尺寸放大到什么程度好则根据处理对象而不同,所以具有处理时间不稳定且增长的问题。再者,该公报记载的技术是对每个彩色信号独立地进行中值滤波处理,所以具有产生色调突变的像素的问题。
另外,采用所述日本特开平8-36640号公报所记载的技术,通过适当地设定评价函数,能够对全部噪声良好地进行降噪处理,但是具有很难自动地设定适当评价函数的问题。并且,在该公报所记载的技术中,因为需要反复进行处理直至评价函数收敛,所以具有处理时间不稳定且增长的问题。
发明内容
鉴于上述情况,本发明的目的在于提供能够自动地进行高精度的降噪处理的图像处理系统、图像处理程序。
另外,本发明的目的在于提供色调变化等副作用少、能够高速地进行降噪处理的图像处理系统、图像处理程序。
为了达成上述目的,本发明所涉及的图像处理系统对来自摄像元件的由多个彩色信号构成的影像信号进行降噪处理,该图像处理系统包括:提取单元,其从所述影像信号中提取局部区域,该局部区域包括成为进行降噪处理的对象的关注区域、和位于该关注区域附近的至少一个附近区域;矢量化单元,其在每个所述关注区域和所述附近区域上导出以所述多个彩色信号作为构成成分的矢量信号;设定单元,其根据所述关注区域的矢量信号,设定与所述局部区域内的各矢量信号相关的加权系数;过滤单元,其对所述局部区域内的矢量信号,进行使用了所述加权系数的过滤处理;以及降噪单元,其根据通过所述过滤处理得到的矢量信号,降低所述关注区域的矢量信号的噪声。
另外,本发明所涉及的图像处理程序用于使计算机对来自摄像元件的由多个彩色信号构成的影像信号进行降噪处理,其中,该图像处理程序用于使计算机执行如下步骤:提取步骤,其从所述影像信号中提取局部区域,该局部区域包括成为进行降噪处理的对象的关注区域、和位于该关注区域附近的至少一个附近区域;矢量化步骤,其在每个所述关注区域和所述附近区域上,导出以所述多个彩色信号作为构成成分的矢量信号;设定步骤,其根据所述关注区域的矢量信号,设定与所述局部区域内的各矢量信号相关的加权系数;过滤步骤,其对所述局部区域内的矢量信号,进行使用了所述加权系数的过滤处理;以及降噪步骤,其根据通过所述过滤处理而得到的矢量信号,降低所述关注区域的矢量信号的噪声。
附图说明
图1是示出本发明的实施方式1中的图像处理系统的结构的框图。
图2是用于对上述实施方式1中拜尔型6×6像素的示例中的局部区域的结构和局部区域内的信号的矢量化进行说明的图。
图3是用于对上述实施方式1中拜尔型10×10像素的示例中的局部区域的结构和局部区域内的信号的矢量化进行说明的图。
图4是用于对上述实施方式1中色差线顺序型6×6像素的示例中的局部区域的结构和局部区域内的信号的矢量化进行说明的图。
图5是示出上述实施方式1中的加权设定部的结构的框图。
图6是示出上述实施方式1中用于算出与附近区域的矢量信号相关的加权系数wi的函数的情况的线图。
图7是用于说明上述实施方式1中与关注区域的矢量信号相关的加权系数w0的算出方法的线图。
图8是示出上述实施方式1中的噪声推定部的结构的框图。
图9是示出上述实施方式1中噪声量相对于矢量信号的范数的关系的线图。
图10是示出使上述图9所示的噪声模型简化后的噪声模型的线图。
图11是用于说明使用上述图10所示的简化后的噪声模型算出噪声量的方法的线图。
图12是示出上述实施方式1中的过滤部的结构的框图。
图13是示出上述实施方式1中的图像处理系统的其他结构的框图。
图14是示出上述实施方式1中采用图像处理程序的全部信号处理的流程的流程图。
图15是示出上述图14的步骤S5中的噪声量推定的详细处理的流程图。
图16是示出本发明实施方式2中的图像处理系统的结构的框图。
图17是用于对上述实施方式2中三板型5×5像素的局部区域的结构和局部区域内的信号的矢量化进行说明的图。
图18是示出上述实施方式2中的加权设定部的结构的框图。
图19是示出上述实施方式2中用于算出与附近区域的矢量信号相关的加权系数wi的函数的情况的线图。
图20是示出上述实施方式2中的噪声推定部的结构的框图。
图21是示出上述实施方式2中采用图像处理程序的全部信号处理的流程的流程图。
图22是示出上述图21的步骤S30中的噪声量推定的详细处理的流程图。
具体实施方式
以下,参照附图对本发明的实施方式进行说明。
[实施方式1]
图1至图15示出本发明的实施方式1,图1是示出图像处理系统的结构的框图,图2是用于对拜尔型6×6像素的示例中的局部区域的结构和局部区域内的信号的矢量化进行说明的图,图3是用于对拜尔型10×10像素的示例中的局部区域的结构和局部区域内的信号的矢量化进行说明的图,图4是用于对色差线顺序型6×6像素的示例中的局部区域的结构和局部区域内的信号的矢量化进行说明的图,图5是示出加权设定部的结构的框图,图6是示出用于算出与附近区域的矢量信号相关的加权系数wi的函数的情况的线图,图7是用于说明与关注区域的矢量信号相关的加权系数w0的算出方法的线图,图8是示出噪声推定部的结构的框图,图9是示出噪声量相对于矢量信号的范数的关系的线图,图10是示出使图9所示的噪声模型简化后的噪声模型的线图,图11是用于说明使用图10所示的简化后的噪声模型算出噪声量的方法的线图,图12是示出过滤部的结构的框图,图13是示出图像处理系统的其他结构的框图,图14是示出采用图像处理程序的全部信号处理的流程的流程图,图15是示出图14的步骤S5中的噪声量推定的详细处理的流程图。
首先,参照图1对该图像处理系统的结构进行说明。图1所示的图像处理系统是在数字照相机上应用本发明的图像处理系统的示例。
该图像处理系统包括:透镜系统100、光圈101、CCD 102、温度传感器103、放大器104、A/D转换部105、缓冲器106、预设白平衡部(PRE-WHITE BALANCE PART)107、测光评价部108、对焦点检测部109、AF电机110、提取部111、矢量化部112、加权设定部113、过滤部114、降噪部115、标量化部(SCALAR PART)116、信号处理部117、输出部118、控制部119以及外部I/F部120。
透镜系统100用于使被摄体的光学像在CCD 102的摄像面上成像。
光圈101用于规定利用透镜系统100成像的被摄体光束的通过范围,从而改变在CCD 102的摄像面上成像的光学像的亮度。
CCD 102是用于对成像的光学像进行光电转换、并作为模拟影像信号而输出的摄像元件。并且,在本实施方式中,作为CCD 102,假设是在前面配置有图2(A)或图3(A)所示的拜尔型(Bayer)的原色滤色器的单板摄像元件。另外,不限定于此,也可以使用在前面配置有图4(A)所示的色差线顺序型滤色器的单板摄像元件等。并且,摄像元件也并不限定于CCD,当然也可以使用CMOS或其他的摄像元件。
温度传感器103是收集单元,实际测量该CCD 102的温度并向控制部119输出。
放大器104用于放大从CCD 102输出的影像信号。该放大器104的放大量是根据控制部119的控制,由预设白平衡部107或测光评价部108来设定。
A/D转换部105用于将从CCD 102输出并通过放大器104放大后的模拟影像信号转换成数字影像信号。
缓冲器106用于暂时存储从A/D转换部105输出的数字影像信号。
在预摄像模式时,预设白平衡部107针对每个彩色信号,对存储在缓冲器106内的影像信号中的规定电平范围内的信号进行积分(即,累计地进行加法运算),从而算出简化白平衡系数,控制放大部104。
在预摄像模式时,测光评价部108求出存储在缓冲器106内的影像信号中的亮度电平,并考虑所设定的ISO感光度和手抖极限的快门速度等,对用于形成合适曝光的光圈101的光圈值、CCD 102的电子快门速度和放大部104的放大率等进行控制。
在预摄像模式时,对焦点检测部109通过检测存储在缓冲器106的影像信号中的边缘强度,并控制AF电机110使得该边缘强度为最大,从而得到对焦信号。
AF电机110是被对焦点检测部109控制、用于驱动透镜系统100所包含的AF透镜的驱动源。
提取部111是在主摄像时,从存储在缓冲器106内的影像信号依次提取例如图2(A)所示的(或者图3(A)所示、或者图4(A)所示)的局部区域,并向矢量化部112输出的提取单元。
矢量化部112是用于使从提取部111提取的局部区域的影像信号矢量化(参照图2(B)、图3(B)、图4(B)等),并向加权设定部113、过滤部114、降噪部115输出的矢量化单元。
加权设定部113是根据控制部119的控制,算出从矢量化部112输出的与局部区域内的全部矢量信号相关的加权系数,并向过滤部114传送的设定单元。
过滤部114是根据控制部119的控制,使用从加权设定部113输出的加权系数对从矢量化部112输出的矢量信号进行过滤处理,并向降噪部115传送处理结果的过滤单元。
降噪部115是根据控制部119的控制,使用从矢量化部112输出的关注区域的矢量信号和从过滤部114输出的经过过滤处理的矢量信号,对关注区域的矢量信号进行降噪处理,并向标量化部116传送降噪后的矢量信号的降噪单元、平均化单元。
标量化部116是根据控制部119的控制,将从降噪部115输出的经过降噪处理的矢量信号转换成CCD 102本来的彩色信号,在本实施方式中转换成例如R、Gr、Gb、B的彩色信号,并向信号处理部117传送的标量化单元。
并且,上述的提取部111、矢量化部112、加权设定部113、过滤部114、降噪部115、标量化部116的各处理是根据控制部119的控制,以局部区域为单位同步地进行。
信号处理部117根据控制部119的控制,对从标量化部116输出的降噪后的影像信号进行公知的插值处理、强调处理、压缩处理等,并将处理后的信号向输出部118传送。
输出部118向存储卡等记录介质记录并保存从信号处理部117输出的影像信号。
控制部119由例如微型计算机等构成,是与放大部104、A/D转换部105、预设白平衡部107、测光评价部108、对焦点检测部109、提取部111、矢量化部112、加权设定部113、过滤部114、降噪部115、标量化部116、信号处理部117、输出部118以及外部I/F部120在双向上连接,用于控制包括这些部分的该数字照相机整体的控制单元。另外,还向该控制部119输入来自配置在CCD 102附近的温度传感器103的信号。并且,控制部19还兼作收集单元和计算单元。
外部I/F部120是用于从用户向应用图像处理系统的该数字照相机进行输入等的接口,其包括:用于进行电源的接通/切断的电源开关、用于开始进行摄像操作的快门按钮、以及用于切换摄像模式或其他各种模式的模式切换按钮等。用户能够通过该外部I/F部120进行:利用两段式的快门按钮的第一段的按压而开始输入预摄像,以及利用该快门按钮的第二段的按压而开始输入主摄像。另外,用户也能够通过该外部I/F部120进行ISO感光度的设定等。并且,该外部I/F部120将所输入的信息向控制部119输出。
接着,按照影像信号的流程来说明图1所示的数字照相机的作用。
用户在进行摄像前,预先通过外部I/F部120设定ISO感光度等摄像条件。
然后,用户半按压外部I/F部120的由两段式开关构成的快门按钮,该数字照相机进入预摄像模式。
于是,经由透镜系统100和光圈101而成像的被摄体像通过CCD 102进行光电转换,并作为模拟影像信号输出。
该模拟影像信号通过放大器104按照后述那样进行考虑了ISO感光度或白平衡的放大后,通过A/D转换部105转换成数字影像信号,并存储在缓冲器106内。
存储在该缓冲器106内的影像信号分别向预设白平衡部107、测光评价部108和对焦点检测部109传送。
预设白平衡部107根据影像信号按照上述那样算出简化白平衡系数,将算出的简化白平衡系数向放大部104传送。由此,放大部104对每个彩色信号设定不同的增益来将各彩色信号放大,进行简化白平衡处理。
测光评价部108根据影像信号,按照上述那样控制光圈101的光圈值、CCD 102的电子快门速度和放大部104的放大率等,使得形成合适的曝光。
对焦点检测部109根据影像信号,按照上述那样检测边缘强度,并控制AF电机110使得该边缘强度为最大,从而得到对焦信号。
这样,在进行了焦点调节、曝光调节和简化白平衡调节等后,当用户完全按压外部I/F部120的由两段式开关构成的快门按钮时,该数字照相机进入主摄像模式。
于是,与预摄像同样,影像信号向缓冲器106传送。该主摄像根据通过预设白平衡部107求得的简化白平衡系数、通过测光评价部108求得的曝光条件、以及通过对焦点检测部109求得的对焦条件而进行,且这些摄像时的条件传被送给控制部119。
通过主摄像得到的缓冲器106内的影像信号首先向提取部111传送。
该提取部111根据控制部119的控制依次提取图2(A)所示的局部区域,并向矢量化部112传送。在此,如后所述,局部区域是包括关注区域和与该关注区域相关的附近区域的区域。
矢量化部112根据控制部119的控制,按照图2(B)所示那样从关注区域和各附近区域导出以R、Gr、Gb、B作为成分的四维矢量信号。并且,矢量化部112将导出的矢量信号分别向加权设定部113、过滤部114、降噪部115传送。
加权设定部113根据控制部119的控制,使用关注区域的矢量信号算出与局部区域内的全部矢量信号相关的加权系数,并将算出的加权系数向过滤部114传送。
过滤部114根据控制部119的控制,使用来自加权设定部113的加权系数对来自矢量化部112的矢量信号进行过滤处理,并将处理结果向降噪部115传送。
降噪部115根据控制部119的控制,使用来自矢量化部112的关注区域的矢量信号和来自过滤部114的经过过滤处理的矢量信号对关注区域的矢量信号进行降噪处理,并将降噪后的矢量信号向标量化部116传送。
标量化部116根据控制部119的控制,将来自降噪部115的经过降噪处理的矢量信号转换成摄像元件本来的彩色信号,在本实施方式中转换成R、Gr、Gb、B的彩色信号,并向信号处理部117传送。
信号处理部117根据控制部119的控制,对从标量化部116输出的降噪后的影像信号按照上述那样进行公知的插值处理、强调处理、压缩处理等,并将处理后的信号向输出部118传送。
输出部118向存储卡等记录介质记录并保存从信号处理部117输出的影像信号。
接着,参照图2~图4对局部区域的结构和局部区域内的影像信号的矢量化进行说明。
首先,图2(A)示出作为局部区域而提取6×6像素的区域的情况。
图2(A)所示的拜尔型(Bayer)型的原色滤色器是以2×2像素作为基本单位,在该基本单位内的对角的像素位置上分别逐个地配置红色(R)、蓝色(B)滤色器,在剩余的对角的像素位置上分别配置绿色(Gr、Gb)滤色器。另外,绿色滤色器Gr和绿色滤色器Gb是相同的滤色器,但是在本实施方式中为了便于处理而将其区分,将与红色(R)滤色器位于同一直线上的绿色滤色器设为Gr,将与蓝色(B)滤色器位于同一直线上的绿色滤色器设为Gb。
并且,在图2(A)所示的6×6像素尺寸的局部区域上,关注区域是位于中央的2×2像素(R4,Gr4,Gb4,B4)的区域。另外,附近区域是包含该关注区域的2×2像素的区域,并且是以与邻接的附近区域各重叠1行或1列的方式配置的区域。因为局部区域是6×6像素尺寸,所以以重叠的方式配置的2×2像素的区域共计是(6-1)×(6-1)=25个。因为其中的一个是所述的关注区域,所以局部区域内的附近区域共计为24个。
提取部111以关注区域覆盖全部影像信号的方式(即,以关注区域每2行或2列错开下去的方式)进行局部区域的提取,所以,当所述的局部区域为6×6像素尺寸时,提取部111以相对横向邻接的局部区域重叠4列的方式、或者以相对纵向邻接的局部区域重叠4行的方式提取局部区域。
接着,图2(B)示出由矢量化部112生成的、与关注区域和附近区域对应的矢量信号的配置。并且,下面分别利用V0表示关注区域的矢量信号,利用Vi(i=1~24)表示附近区域的矢量信号。
如上所述,在通过具有{R,Gr,Gb,B}的成分的四维向量进行影像信号的矢量化的情况下,图2(B)所示的关注区域的矢量信号V0如果参照图2(A),则用如下数学式1来表示。
[数学式1]
V0={v01,v02,v03,v04}={R4,Gr4,Gb4,B4}
并且,局部区域并不限定于图2(A)所示的结构。例如如图3(A)所示,也可以采取10×10像素尺寸的局部区域。另外,在该示例中,关注区域是位于中央的2×2像素(R12,Gr12,Gb12,B12)的区域。另外,附近区域是包含该关注区域的周围的2×2像素的区域,并且是以不与邻接的附近区域重叠的方式配置的区域。因为局部区域是10×10像素尺寸,所以,以不重叠的方式配置的2×2像素的区域共计是(10/2)×(10/2)=25个。因为其中的一个是所述的关注区域,所以局部区域内的附近区域共计为24个。并且,此时,图3(B)所示的关注区域的矢量信号V0如果参照图3(A),则用如下数学式2来表示。
[数学式2]
V0={v01,V02,v03,v04}={R12,Gr12,Gb12,B12}
这样,当包含在使关注区域和附近区域矢量化上所必需的R、Gr、Gb、B的彩色信号时,则能够采用以任意方式来构成的局部区域。再者,在上述中是以相对1个关注区域包含24个附近区域的方式设定局部区域,但是不限定于此,也可以以相对1个关注区域包含不同的多个附近区域的方式设定局部区域。
另外,在上述中使用了在前面配置有拜尔(Bayer)型原色滤色器的CCD,但是并不限定于这种结构。例如,作为CCD 102,也可以使用在前面配置有色差线顺序型补色滤色器的CCD。
图4(A)示出色差线顺序型补色滤色器的结构。该色差线顺序方式的补色滤色器以2×2像素作为基本单位,在2×2像素的同一直线上分别配置青色(Cy)和黄色(Ye),在2×2像素的其他的同一直线上分别配置品红色(Mg)和绿色(G)。但是,品红色(Mg)和绿色(G)的位置构成为在每条直线上颠倒。
在这种结构中,在提取图4(A)所示的6×6像素的区域作为局部区域的情况下,关注区域是位于局部区域中央的2×2像素的(Cy4,Ye4,Mg4,G4)的区域。另外,局部区域是包含该关注区域的2×2像素的区域,并且是以与邻接的附近区域各重叠1行或1列的方式配置的区域。局部区域内的附近区域的数目基于与图2(A)所示的示例同样的理由,共计为24个。
并且,此时,图4(B)所示的关注区域的矢量信号V0如果参照图4(A),则用如下数学式3来表示。
[数学式3]
V0={v01,v02,v03,v04}={Cy4,Ye4,Mg4,G4}
这样,在前面配置有色差线顺序型补色滤色器的CCD的情况也是,当包含在使关注区域和附近区域矢量化上所必需的Cy、Ye、Mg、G的彩色信号时,则能够采用以任意方式来构成的局部区域。另外,同样也可以以相对1个关注区域包含24个以外的附近区域的方式设定局部区域。
并且,不限定于拜尔(Bayer)型的滤色器和色差线顺序型的滤色器,即使是使用了任意滤色器的摄像元件也同样,只要以含有摄像元件的全部彩色信号的方式设定关注区域和局部区域,就能够进行矢量化。并且,矢量化并不限定于通过四维来进行,通常能够通过n(n为2以上的整数,进一步限定为3以上的整数。)维来进行。
接着,参照图5对加权设定部113进行说明。该图5示出加权设定部113的结构的一例。
该加权设定部113包括:范数算出部200、第一缓冲器201、噪声推定部202、常数算出部203、范数选择部204、加权系数算出部205、第二缓冲器206、距离测度算出部207、第三缓冲器208、平均测度算出部209、乖离度算出部210以及关注矢量加权系数算出部211。
在此,矢量化部112分别连接到范数算出部200和距离测度算出部207上。并且,作为范数算出单元的范数算出部200连接到第一缓冲器201上。第一缓冲器201分别连接到噪声推定部202和范数选择部204上。作为噪声推定单元的噪声推定部202分别连接到常数算出部203和乖离度算出部210上。作为常数算出单元的常数算出部203连接到加权系数算出部205上。范数选择部204连接到加权系数算出部205上。作为加权系数算出单元的加权系数算出部205连接到第二缓冲器206上。作为平均测度值算出单元的距离测度算出部207连接到第三缓冲器208上。第三缓冲器208连接到平均测度算出部209上。作为平均测度值算出单元的平均测度算出部209连接到乖离度算出部210上。作为乖离度算出单元的乖离度算出部210连接到关注矢量加权系数算出部211上。作为关注矢量加权系数算出单元的关注矢量加权系数算出部211连接到第二缓冲器206上。另外,第二缓冲器206和第三缓冲器208分别连接到过滤部114上。
另外,控制部119与范数算出部200、噪声推定部202、常数算出部203、范数选择部204、加权系数算出部205、距离测度算出部207、平均测度算出部209、乖离度算出部210以及关注矢量加权系数算出部211在双向上连接,并对这些部分进行控制。
接着,对这样的加权设定部113的作用进行说明。
范数算出部200根据控制部119的控制,从矢量化部112依次读取关注区域的矢量信号V0和附近区域的矢量信号Vi,并算出各矢量信号的范数。
即,范数算出部200首先根据如下数学式4所示的定义算出关注区域的矢量信号V0的范数‖V0‖。
[数学式4]
另外,范数算出部200同样地按照如下数学式5所示,也算出附近区域的矢量信号Vi的范数‖Vi‖。
[数学式5]
这样,通过范数算出部200算出的范数向第一缓冲器201传送并记录。
噪声推定部202根据控制部119的控制,从第一缓冲器201读取关注区域的矢量信号V0的范数‖V0‖,同时获取来自控制部119的摄像时的信息。并且,噪声推定部202根据读取的范数‖V0‖和所获取的摄像时的信息,推定与关注区域的矢量信号V0相关的噪声量N0,并将推定的噪声量N0分别传送给常数算出部203和乖离度算出部210。另外,噪声推定部202也将关注区域的矢量信号V0的范数‖V0‖传送给常数算出部203。
常数算出部203根据控制部119的控制,从噪声推定部202读取关注区域的矢量信号V0的范数‖V0‖和噪声量N0,并算出用于计算附近区域所涉及的加权系数的函数的常数项。在本实施方式中,作为用于计算附近区域所涉及的加权系数的函数,使用例如图6所示的组合3个1次函数而成的函数。该函数将附近区域的矢量信号Vi的范数‖Vi‖作为输入,并输出与矢量信号相关的加权系数wi。当使用这样得到的加权系数wi时,如后所述,与关注区域的矢量信号V0不同的矢量信号的影响变小,从而边缘结构被保存。该图6所示的3个1次函数具体由如下数学式6来定义。
[数学式6]
用于决定该数学式6所示的函数形状所必需的常数项除了符号不同外,是1/N0和‖V0‖/N0这两项。因此,常数算出部203算出这两项常数项并传送给加权系数算出部205。
范数选择部204根据控制部119的控制,在常数算出部203将常数项传送给加权系数算出部205后,从第一缓冲器201依次选择附近区域的矢量信号Vi的范数‖Vi‖,并传送给加权系数算出部205。
加权系数算出部205根据控制部119的控制,相对从范数选择部204传送的附近区域的矢量信号Vi的范数‖Vi‖,基于数学式6算出加权系数wi,并传送给第二缓冲器206。
另一方面,距离测度算出部207根据控制部119的控制,从矢量化部112读取关注区域的矢量信号V0和附近区域的矢量信号Vi,算出如下数学式7所示的2个矢量信号之间的距离测度值d(Vk,Vl)(k=0~24,l=0~24)。
[数学式7]
另外,该距离测度值d(Vk,Vl)是矢量Vk和矢量Vl的矢量差的范数‖Vk-Vl‖。
并且,在本实施方式中,因为在局部区域内存在25个矢量信号,所以算出25×25=625个距离测度值,所算出的全部距离测度值被传送给第三缓冲器208并记录。另外,距离测度值具有与交换相关的对称性d(Vk,Vl)=d(Vl,Vk),并且由相同的矢量信号之间算出的范数为0(为d(Vk,Vk)=0),所以也能够省略重复的距离测度值的计算等,此时只要算出(625-25)/2=300个距离测度值即可。
平均测度算出部209根据控制部119的控制,从第三缓冲器208读取关注区域的矢量信号V0和附近区域的矢量信号Vi之间的距离测度值d(V0,Vi),并按照如下数学式8算出该距离测度值d(V0,Vi)的平均值Δ。
[数学式8]
这样通过平均测度算出部209算出的平均值Δ传送给乖离度算出部210。
乖离度算出部210根据控制部119的控制,从噪声推定部202读取关注区域的矢量信号V0的噪声量N0,并从平均测度算出部209读取平均值Δ。并且,乖离度算出部210根据所读取的噪声量N0和平均值Δ,算出关注区域的矢量信号和附近区域的矢量信号之间的乖离度Δ/N0,将算出的乖离度Δ/N0传送给关注矢量加权系数算出部211。
关注矢量加权系数算出部211根据控制部119的控制,从乖离度算出部210读取乖离度Δ/N0,使用所读取的乖离度Δ/N0求出如下数学式9所示的与关注区域的矢量信号V0相关的加权系数w0。
[数学式9]
在此,右边的符号max(x,y)表示取x和y的最大一方的值。
在此,参照图7对与关注区域的矢量信号V0相关的加权系数w0的计算进行说明。
在关注区域的矢量信号V0是孤立点噪声的情况下,需要通过增大加权系数w0来减小影响(如后所述,加权系数大的情况影响变小)。与此相对,在关注区域的矢量信号V0不是孤立点噪声的情况下,需要通过减小加权系数w0来增大影响。
因此,为了决定加权系数w0,需要掌握关注区域的矢量信号V0为何种程度的孤立点噪声。为此,例如,只要用数学式8所示的距离测度值d(V0,Vi)的平均值Δ除以噪声量N0,而求出关注区域的矢量信号V0与其他的矢量信号Vi在何种程度上有意乖离即可。这样,认为关注区域的矢量信号V0是孤立点噪声的程度与所述的乖离度Δ/N0成比例。另外,数学式9中的p是调整用的参数,例如使用p=0.2~0.8程度的值。
这样通过关注矢量加权系数算出部211算出的加权系数w0传送给第二缓冲器206。
因此,在第二缓冲器206中保存有附近区域的矢量信号Vi的加权系数wi和关注区域的矢量信号V0的加权系数w0。
第二缓冲器206内的加权系数w0、wi和第三缓冲器208内的距离测度值d(Vl,Vk)根据需要传送给过滤部114。
接着,参照图8对噪声推定部202进行说明。该图8示出噪声推定部202的结构的一例。
该噪声推定部202包括增益算出部300、标准值赋予部301、参数用ROM 302、参数选择部303、插补部304以及修正部305。
在此,第一缓冲器201是噪声量算出单元,连接到作为参数选择单元的参数选择部303上。并且,增益算出部300、标准值赋予部301、参数用ROM 302分别连接到参数选择部303上。参数选择部303连接到插补部304和修正部305上。作为噪声量算出单元、且作为基准噪声量算出单元的插补部304连接到修正部305上。作为噪声量算出单元、且作为基准噪声量修正单元的修正部305分别连接到常数算出部203和乖离度算出部210上。
并且,控制部119与增益算出部300、标准值赋予部301、参数选择部303、插补部304以及修正部305在双向上连接,并对这些部分进行控制。
接着,对这样的噪声推定部202的作用进行说明。
参数选择部303根据控制部119的控制,从第一缓冲器201读取关注区域的矢量信号V0的范数‖V0‖。
另一方面,作为收集单元、且作为增益算出单元的增益算出部300根据从控制部119传送的与ISO感光度和曝光条件相关的信息(曝光信息)、以及白平衡信息中的至少一个,求出放大部104的放大量,并将求得的放大量传送给参数选择部303。
并且,控制部119从温度传感器103获取CCD 102的温度信息,并将获取的温度信息传送给参数选择部303。
参数选择部303根据来自第一缓冲器201的关注区域的矢量信号V0的范数‖V0‖、来自增益算出部300的增益的信息、以及来自控制部119的温度信息,推定关注区域的矢量信号V0的噪声量N0。
在此,参照图9~图11对噪声量的推定进行说明。
如图9所示,示出了噪声量N随着矢量信号的范数‖V‖增大而增加的倾向,此时的增加为相对范数‖V‖呈二维曲线的增加。因此,当使用2次函数使该增加的情况模型化时,则为如下数学式10所示。
[数学式10]
N=α‖V‖2+β‖V‖+γ
在此,α、β、γ是常数项。
但是,噪声量N不是只根据范数‖V‖的变化而变化的,也根据摄像元件的温度或针对影像信号的增益而变化。例如,图9绘出了噪声量N相对于与增益相关的3种ISO感光度100(增益×1)、200(增益×2)、400(增益×4)的曲线。
图9所示的各条曲线形成数学式10所示的形状,但是其系数根据与增益相关的ISO感光度而不同。并且,虽未图示,但噪声量N也根据摄像元件的温度而变化,通常表现出随着摄像元件的温度变高而增加的倾向。
这样,设增益为g、温度为t,以考虑了所述的噪声量N对增益g或温度t的依赖性的形式进行噪声模型的定型化时,则为如下数学式11所示。
[数学式11]
N=αgt‖V‖2+βgt‖V‖+γgt
在此,αgt、βgt、γgt是依赖于增益g和温度t而确定的常数项。
但是,多次记录数学式11所示的函数,通过每次运算来算出噪声量的情况在处理上负担大。为此,进行图10所示的模型的简化。即,在图10所示的简化后的模型中,选择施加最大噪声量的模型作为基准噪声模型,并且该基准噪声模型用具有规定数目的拐点的折线来近似。在此,拐点通过由范数‖V‖和噪声量N构成的坐标数据(‖V‖n,Nn)来表示。另外,n表示拐点的编号。并且,准备用于从所述基准噪声模型导出其他的噪声模型的修正系数kgt。该修正系数kgt使用各噪声模型和基准噪声模型通过最小自乘法来算出。通过使基准噪声模型乘以这样算出的修正系数kgt,可导出其他的噪声模型。
参照图11,对从图10所示的简化后的噪声模型算出噪声量的方法进行说明。
例如,假设求取与范数‖V‖、增益g、温度t对应的噪声量N。首先,检索范数‖V‖属于基准噪声模型的哪个区间。在此假设范数‖V‖属于(‖V‖n,Nn)和(‖V‖n+1,Nn+1)之间的区间。此时,利用如下数学式12所示的线性插补来求取基准噪声模型中的基准噪声量Nv。
[数学式12]
接着,如下面的数学式13所示,通过使求得的基准噪声量Nv乘以修正系数kgt,而求取噪声量N。
[数学式13]
N=kgt·Nv
返回按照图8的说明,参数选择部303从第一缓冲器201读取关注区域的矢量信号V0的范数‖V0‖,并且分别根据来自增益算出部300的放大器104中的放大量设定增益g,根据来自控制部119的温度信息设定温度t。
接着,参数选择部303从作为噪声量算出单元且作为参数选择单元的参数用ROM 302中检索范数‖V0‖所属的区间的坐标数据(‖V‖n,Nn)及(‖V‖n+1,Nn+1),并将其传送给插补部304。
另外,参数选择部303从参数用ROM 302中检索与增益g和温度t对应的修正系数kgt,并将检索出的修正系数kgt传送给修正部305。
插补部304根据控制部119的控制,使用来自参数选择部303的范数‖V0‖和区间的坐标(‖V‖n,Nn)及(‖V‖n+1,Nn+1),根据数学式12算出基准噪声模型中的基准噪声量Nv,并将算出的基准噪声量Nv传送给修正部305。
修正部305根据控制部119的控制,使用来自参数选择部303的修正系数kgt和来自插补部304的基准噪声量Nv,根据数学式13算出噪声量N。修正部305将算出的噪声量N作为关注区域的矢量信号V0的噪声量N0,分别传送给常数算出部203和乖离度算出部210。
并且,参数选择部303检索修正系数kgt时所需要的温度t、增益g等信息未必需要在每次摄像时进行求取。即,也可以构成为:将任意的信息预先存储在作为赋予单元的标准值赋予部301中,省略算出过程。由此,能够实现处理的高速化和节能化等。
接着,参照图12对过滤部114进行说明。该图12示出了过滤部114的结构的一例。
该过滤部114包括:加权系数选择部400、测度选择部401、加权测度值算出部402、缓冲器403、最小测度检索部404以及对应矢量选择部405。
加权设定部113分别连接到加权系数选择部400和测度选择部401上。并且,加权系数选择部400和测度选择部401分别连接到加权测度值算出部402上。另外,作为加权测度值算出单元的加权测度值算出部402通过缓冲器403和最小测度检索部404连接到作为输出单元的对应矢量选择部405上。而且,矢量化部112连接到对应矢量选择部405上。并且,对应矢量选择部405连接到降噪部115上。
另外,控制部119与加权系数选择部400、测度选择部401、加权测度值算出部402、最小测度检索部404以及对应矢量选择部405在双向上连接,并对这些部分进行控制。
接着,对该过滤部114的作用进行说明。
加权系数选择部400根据控制部119的控制,从加权设定部113中依次读取与局部区域内的矢量信号相关的加权系数wk(k=0~24),并传送给加权测度值算出部402。
并且,测度选择部401根据控制部119的控制,从加权设定部113中依次读取局部区域内的矢量信号之间的距离测度值d(Vk,Vl)(k=0~24,l=0~24),并传送给加权测度值算出部402。
加权测度值算出部402根据控制部119的控制,对各矢量信号算出按照如下数学式14所示的加权测度值的总和值Tk。
[数学式14]
通过加权测度值算出部402算出的加权测度值的总和值Tk传送给缓冲器403并记录。而且,所述加权系数选择部400、测度选择部401、加权测度值算出部402中的处理是根据控制部119的控制,以各个矢量信号为单位同步地进行。
在算出针对局部区域内的全部矢量信号的加权测度值的总和值Tk后,作为检索单元的最小测度检索部404根据控制部119的控制,从加权测度值的总和值Tk中检索最小值Tmin。检索到的最小值Tmin从最小测度检索部404传送给对应矢量选择部405。
对应矢量选择部405根据控制部119的控制,使用来自最小测度检索部404的最小值Tmin,从矢量化部112中选择与最小值Tmin对应的矢量信号Vmin,并将所选择的矢量信号Vmin传送给降噪部115。
降噪部115根据控制部119的控制,按照如下数学式15所示那样对来自矢量化部112的关注区域的矢量信号V0和来自过滤部114的通过过滤的输出矢量信号Vmin进行加权加法运算平均,求取降噪后的矢量信号V0’。
[数学式15]
V′0=kV0+(1-k)Vmin
在此,数学式15中的k是规定的常数项,取k=0~1范围内的值。
另外,在上述中,作为图像处理系统列举了数字照相机为例,所以,如图1所示,图像处理系统一体地构成了包括透镜系统100、光圈101、CCD 102、温度传感器103、放大部104、A/D转换部105、预设白平衡部107、测光评价部108、对焦点检测部109、AF电机110的摄像部。
但是,作为图像处理系统不必限定于这种结构。例如,如图13所示,摄像部也可以是独立地。即,图13所示的图像处理系统通过独立的摄像部进行摄像,将以未处理的Raw数据方式记录在存储卡等记录介质中的影像信号从该记录介质中读出并进行处理。但是,此时,影像信号所涉及的摄像条件等附带信息作为头部等记录在记录介质中。另外,从独立的摄像部向图像处理系统传送各种信息不限定于通过记录介质来进行,也可以通过通信电路等来进行。
图13所示的图像处理系统为如下结构:从图1所示的图像处理系统中省略透镜系统100、光圈101、CCD 102、温度传感器103、放大部104、A/D传感部105、预设白平衡部107、测光评价部108、对焦点检测部109以及AF电机110,并增加了输入部500、头部信息解析部501。该图13所示的图像处理系统中的其他的基本结构与图1所示的相同,所以对相同的结构赋予同一名称和符号并适当省略说明,主要只对不同的部分进行说明。
输入部500分别连接到缓冲器106和头部信息解析部501上。并且,控制部119与输入部500以及头部信息解析部501均在双向上连接,并对这些部分进行控制。
接着,该图13所示的图像处理系统中的不同作用如下所述。
当通过例如鼠标或键盘等外部I/F部120开始进行再现操作时,保存在存储卡等记录介质中的影像信号和头部信息通过输入部500读取。
从输入部500读取的信息中的影像信号传送给缓冲器106,头部信息传送给头部信息解析部501。
头部信息解析部501根据从输入部500传送的头部信息来提取摄像时的信息(即,所述的曝光条件、ISO感光度、白平衡信息、摄像元件的温度等)并传送给控制部119。
此后的处理与图1所示的图像处理系统相同。
另外,在上述中,以利用硬件进行处理为前提,但是并不限定于这样的结构。例如,将来自CCD 102的影像信号作为未处理的Raw数据记录在存储卡等记录介质中,并将摄像条件等附带信息作为头部信息预先记录在记录介质中。并且,也可以使计算机执行作为其他软件的图像处理程序,使计算机读取记录介质中的信息并进行处理。再者,从摄像部向计算机传送各种信息不限定于通过记录介质来进行,也可以通过通信电路等来进行。
参照图14对基于图像处理程序的处理的主程序进行说明。
当开始进行该处理时,首先,读取影像信号,并读取增益等头部信息(步骤S1)。
接着,依次提取图2(A)所示的包括关注区域和附近区域的6×6像素尺寸的局部区域(步骤S2)。
并且,导出图2(B)所示的25个矢量信号(步骤S3)。
接着,如数学式4所示,算出矢量信号的范数(步骤S4)。
然后,按照后面参照图15进行说明的那样,推定与关注区域的矢量信号相关的噪声量(步骤S5)。
另外,使用算出的矢量信号的范数和推定出的噪声量算出在数学式6中所示的多个1次函数中使用的常数项(步骤S6)。
接着,使用设定了常数项的数学式6所示的多个1次函数,算出附近区域的矢量信号Vi的加权系数(步骤S7)。
并且,使用在步骤S3中导出的矢量信号算出数学式7所示的距离测度值(步骤S8)。
接着,从关注区域所涉及的距离测度值算出数学式8所示的平均测度值(步骤S9)。
并且,根据在步骤S9中算出的平均测度值和在步骤S5中推定出的关注矢量的噪声量来算出乖离度(步骤S10)。
然后,按照数学式9所示那样算出与关注区域的矢量信号V0相关的加权系数(步骤S11)。
接着,使用在步骤S7中算出的附近区域的矢量信号Vi的加权系数、在步骤S11中算出的关注区域的矢量信号V0的加权系数、以及在步骤S8中算出的距离测度值,按照数学式14所示那样算出加权测度值的总和值(步骤S12)。
并且,从所算出的加权测度值的总和值中检索最小值(步骤S13),并选择与检索到的最小加权测度值的总和值对应的矢量信号(步骤S14)。
然后,按照数学式15所示那样,对在步骤S14中得到的矢量信号、关注矢量的矢量信号进行加权加法运算平均,从而算出降噪后的矢量信号(步骤S15)。
在此,判断是否对全部局部区域完成了处理(步骤S16),在未完成的情况下,返回所述步骤S2,对下一个局部区域重复进行所述的处理。
并且,在判断为对全部局部区域完成了处理的情况下,进行公知的插补处理、强调处理、压缩处理等信号处理(步骤S17),并输出处理后的信号(步骤S18),结束该一系列处理。
接着,参照图15对所述图14的步骤S5中的噪声量推定的处理进行说明。
当在图14的步骤S5中开始该处理时,首先,根据读取的头部信息进行噪声相关信息的设定、即求取增益等参数的处理(步骤S20)。但是,在头部信息内不存在必需参数的情况下,则进行分配规定的标准值的处理。
接着,读取图10所示的基准噪声模型的坐标数据和修正系数(步骤S21)。
并且,选择关注区域的矢量信号V0的范数所属区域的坐标数据(步骤S22)。
接着,通过数学式12所示的插补处理来求取基准噪声量(步骤S23),通过数学式13所示的修正处理来求取噪声量(步骤S24)。
然后,输出所算出的噪声量(步骤S25),从该处理返回图14所示的处理。
根据该实施方式1,使影像信号矢量化,在矢量空间内推定噪声量,根据推定的噪声量对各矢量信号设定加权系数,使用所设定的加权系数来进行过滤处理,能够根据过滤的结果进行降噪处理。其结果是,能够在减少边缘部的劣化和色调变化等副作用的同时,对全部噪声进行高精度的降噪。
并且,数学式9中的p和数学式15中的k只要设定一次就能够固定,所以基本上不需要进行参数设定,能够自动地进行高速处理。
另外,因为对应于矢量信号的范数、摄像时摄像元件的温度、增益等动态变化的条件来动态地进行噪声量的推定,所以能够执行使用了最佳的加权系数的过滤处理,能够进行高精度的降噪处理。
并且,即使在不能得到所述动态变化的条件的信息的情况下,也使用标准值推定噪声量,所以能够得到稳定的降噪效果。
另外,也能够特意省略一部分的参数计算,在该情况下,能够构成可实现低成本化和节能化的图像处理系统。
并且,因为使用噪声模型进行噪声量的计算,所以能够高精度地进行噪声量的推定。
此时,若采用简化后的噪声模型,则根据简化后的噪声模型的插补处理和修正处理容易安装,所以能够构成低成本的系统。并且,因为简化后的噪声模型所需要的存储量少,所以能够进一步实现低成本化。
另一方面,作为用于算出加权系数的函数,使用多个1次函数的组合,所以常数项的计算简单,能够实现处理的高速化和低成本化。
并且,因为与附近区域的矢量信号的加权系数独立地另外算出关注区域的矢量信号的加权系数,所以提高了对尖峰性的噪声的过滤处理的精度,能够进行更高精度的降噪处理。
另外,因为使用距离测度值作为测度值,所以能够提高对亮度噪声的降噪处理的精度。
并且,因为对通过过滤处理得到的矢量信号和本来的矢量信号进行加权加法运算平均,所以能够抑制假轮廓等的产生,能够进行主观上优选的降噪处理。
并且,作为摄像元件,因为使用了在前面配置有拜尔(Bayer)型原色滤色器或者色差线顺序型滤色器的单板摄像元件,所以与现有的摄像部的组合性高,能够容易适用于很多图像处理系统。
并且,因为使降噪处理后的矢量信号恢复为摄像元件本来的彩色信号,所以能维持与后面的处理系统的互换性,能够组合多种多样的系统。
[实施方式2]
图16至图22示出本发明的实施方式2,图16是示出图像处理系统的结构的框图,图17是用于对三板型5×5像素的局部区域的结构和局部区域内的信号的矢量化进行说明的图,图18是示出加权设定部的结构的框图,图19是示出用于算出与附近区域的矢量信号相关的加权系数wi的函数的情况的线图,图20是示出噪声推定部的结构的框图,图21是示出采用图像处理程序的全部信号处理的流程的流程图,图22是示出图21的步骤S30中的噪声量推定的详细处理的流程图。
在该实施方式2中,对与上述实施方式1相同的部分赋予相同的符号并省略说明,主要仅对不同点进行说明。
首先,参照图16对该图像处理系统的结构进行说明。图16所示的图像处理系统为在数字照相机上应用本发明的图像处理系统的示例。
该图16所示的图像处理系统对上述实施方式1的图1所示的图像处理系统作了部分变更。即,该图像处理系统为如下结构:分别将图1所示的CCD 102更换为R_CCD 600、G_CCD 601、B_CCD 602,将图1所示的加权设定部113更换为加权设定部603,将图1所示的降噪部115更换为作为降噪单元且作为置换单元的置换部604。并且,在R_CCD 600、G_CCD 601、B_CCD 602上分别设置有用于将入射的光束分离成RGB三种颜色成分的二向色棱镜。另外,在该图16所示的结构例中,温度传感器103配置在G_CCD 601的附近。其他的基本结构与实施方式1同样,对相同的结构赋予相同的名称和符号。
以下主要仅对不同的部分进行说明。透射过透镜系统100、光圈101的光束由二向色棱镜分离为RGB三种颜色,分别将R成分的光导向R_CCD 600,将G成分的光导向G_CCD 601,将B成分的光导向B_CCD602。
并且,R_CCD 600、G_CCD 601、B_CCD 602分别连接到放大部104上。
另外,矢量化部112连接到加权设定部603和过滤部114上。
并且,分别将作为设定单元的加权设定部603连接到过滤部114上,过滤部114连接到置换部604上,置换部604连接到标量化部116上。
并且,控制部119与R_CCD 600、G_CCD 601、B_CCD 602、加权设定部603、置换部604均在双向上连接,并对这些部分进行控制。
接着,按照影像信号的流向对该图16所示的图像处理系统的作用进行说明。该实施方式2的图像处理系统的作用基本上与所述实施方式1相同,所以主要仅对不同的部分进行说明。
从R_CCD 600输出的R信号、从G_CCD 601输出的G信号、从B_CCD 602输出的B信号分别由放大器104放大,通过A/D转换部105转换为数字信号,传送给缓冲器106并暂时存储。
存储在该缓冲器106内的影像信号还向提取部111传送。
提取部111根据控制部119的控制,依次提取图17(A)所示的R信号的局部区域、图17(B)所示的G信号的局部区域、以及图17(C)所示的B信号的局部区域,并向矢量化部112传送。在此,局部区域与上述同样,是包括关注区域、与该关注区域相关的附近区域的区域。
矢量化部112根据控制部119的控制,从图17(A)~图17(C)所示的关注区域以及各附近区域的信号导出图17(D)所示的以(R、G、B)为成分的三维矢量信号,并分别向加权设定部603和过滤部114传送。
加权设定部603根据控制部119的控制,使用关注区域的矢量信号算出与局部区域内的全部矢量信号相关的加权系数,并向过滤部114传送。
过滤部114根据控制部119的控制,使用来自加权设定部603的加权系数,对来自矢量化部112的矢量信号进行过滤处理,并向置换部604传送。
置换部604根据控制部119的控制,将来自过滤部114的经过过滤处理的矢量信号作为关注区域的矢量信号向标量化部116传送。
标量化部116根据控制部119的控制,将来自置换部604的矢量信号转换为摄像元件本来的彩色信号,在本实施方式中转换为R、G、B的彩色信号,并向信号处理部117传送。
另外,所述的提取部111、矢量化部112、加权设定部603、过滤部114、置换部604、标量化部116的各个处理是根据控制部119的控制,以局部区域为单位同步进行的。
信号处理部117进行公知的强调处理和压缩处理等,并将处理后的信号向输出部118传送。
输出部118将从信号处理部117传送来的影像信号记录并保存在存储卡等记录介质中。
接着,参照图17对三板型摄像元件中的局部区域以及矢量化进行说明。
图17(A)示出R信号的局部区域的结构,图17(B)示出G信号的局部区域的结构,图17(C)示出B信号的局部区域的结构。
在本实施方式中,假设局部区域为5×5像素尺寸。
并且,R、G、B三种信号的关注区域为位于局部区域中央的1×1像素(R12,G12,B12)。另外,附近区域为包含关注区域的周围且以不重叠的方式配置的总计由24个1×1像素构成的区域。
此时,提取部111每4行或4列重叠地依次提取局部区域,使得关注区域覆盖全部影像信号。
接着,图17(D)示出由矢量化部112生成的与关注区域及附近区域对应的矢量信号的配置。另外,下面分别利用V0表示关注区域的矢量信号,利用Vi(i=1~24)表示附近区域的矢量信号。
如上所述,在通过具有{R,G,B}的成分的三维向量进行影像信号矢量化的情况下,图17(D)所示的关注区域的矢量信号V0用如下数学式16来表示。
[数学式16]
V0={v01,v02,v03}={R12,G12,B12}
另外,在本实施方式中,作为摄像元件使用三板式的摄像元件,但是不必限定于这种结构。例如,可以是三板像素位移的摄像元件,也可以是二板式的摄像元件,还能够与其他任意方式的摄像元件对应。
接着,参照图18对加权设定部603的结构进行说明。该图18示出加权设定部603的结构的一例。
该加权设定部603包括:范数算出部200、第一缓冲器201、噪声推定部702、常数算出部203、范数选择部204、加权系数算出部205、第二缓冲器206、距离测度算出部207、角度测度算出部700、乘法运算部701、第三缓冲器208、平均测度算出部209、乖离度算出部210以及关注矢量加权系数算出部211。
即,该图18所示的加权设定部603与上述实施方式1的图5所示的加权设定部113基本上相同,噪声推定部202被置换为噪声推定部702,另外增加了角度测度算出部700和乘法运算部701。其他的结构相同,所以赋予同样的名称和符号,以下主要仅对不同部分进行说明。
第一噪声缓冲器201分别连接到噪声推定部702和范数选择部204上,作为噪声推定单元的噪声推定部702分别连接到常数算出部203和乖离度算出部210上。
并且,矢量化部112分别连接到范数算出部200、距离测度算出部207、角度测度算出部700上。
另外,距离测度算出部207和角度测度算出部700连接到乘法运算部701上。
并且,作为平均测度值算出单元的乘法运算部701连接到第三缓冲器208上。
并且,控制部119与角度测度算出部700、乘法运算部701、噪声推定部702均在双向上连接,并对这些部分进行控制。
接着,对这样的加权设定部603的作用中的与所述加权设定部113的作用不同的部分进行说明。
噪声推定部702根据控制部119的控制,从第一缓冲器201读取关注区域的矢量信号V0的范数‖V0‖。并且,噪声推定部702根据所述关注区域的矢量信号V0的范数‖V0‖和来自控制部119的摄像时的信息,推定与关注区域的矢量信号V0相关的噪声量N0,并将所推定的噪声量N0分别向常数算出部203和乖离度算出部210传送。并且,噪声推定部702也将关注区域的矢量信号V0的范数‖V0‖向常数算出部203传送。
常数算出部203根据控制部119的控制,读取来自噪声推定部702的关注区域的矢量信号V0的范数‖V0‖和噪声量N0,算出用于计算加权系数的函数的常数项。在本实施方式中,作为用于计算加权系数的函数,使用例如图19所示的单一的2次函数。该函数是将附近区域的矢量信号V1的范数‖Vi‖作为输入,并输出与矢量信号相关的加权系数wi的函数。图19所示的2次函数由如下的数学式17来定义。
[数学式17]
常数算出部203算出该数学式17所示的第3项常数项,并向加权系数算出部205传送。
范数选择部204根据控制部119的控制,从第一缓冲器201中依次选择附近区域的矢量信号Vi的范数‖Vi‖,并向加权系数算出部205传送。
加权系数算出部205根据控制部119的控制,相对从范数选择部204传送的附近区域的矢量信号Vi的范数‖Vi‖,基于数学式17算出加权系数wi,并将算出的加权系数wi向第二缓冲器206传送。
另一方面,作为平均测度值算出单元的角度测度算出部700根据控制部119的控制,从矢量化部112读取关注区域的矢量信号V0和附近区域的矢量信号Vi,算出如下数学式18所示的2个矢量信号之间的角度测度值a(Vk,Vl)(k=0~24,l=0~24)。
[数学式18]
角度测度算出部700将算出的角度测度值a(Vk,Vl)向乘法运算部701传送。
另外,该角度测度值也与上述距离测度值同样,具有与交换相关的对称性a(Vk,Vl)=a(Vl,Vk),并且由相同的矢量信号之间算出的角度测度值为0,所以能够省略重复的角度测度值的计算等,此时,只要算出(625-25)/2=300个角度测度值即可。
并且,距离测度算出部207算出与实施方式1中数学式7所示相同的距离测度值d(Vk,Vl),并将算出的距离测度值d(Vk,Vl)向乘法运算部701传送。
乘法运算部701按照如下数学式19所示那样对来自角度测度算出部700的角度测度值a(Vk,Vl)和来自距离测度算出部207的距离测度值d(Vk,Vl)进行乘法运算,算出组合了两个测度值的测度值ad(Vk,Vl)。
[数学式19]
ad(Vk,Vl)=a(Vk,Vl)·d(Vk,Vl)
乘法运算部701将算出的测度值ad(Vk,Vl)向第三缓冲器208传送。第三缓冲器208对传送的测度值ad(Vk,Vl)进行记录。
这以后的处理与上述实施方式1的图5所示的加权设定部113同样。
接着,参照图20对噪声推定部702的结构进行说明。该图20示出噪声推定部702的结构的一例。
该噪声推定部702包括增益算出部300、标准值赋予部301、以及检查表部800。
即,该图20所示的噪声推定部702与上述实施方式1的图8所示的噪声推定部202基本上相同,增加了作为噪声量算出单元且作为检查表单元的检查表部800,并省略了参数用ROM 302、参数选择部303、插补部304以及修正部305。其他结构相同,所以赋予相同的名称和符号,以下主要仅对不同的部分进行说明。
第一缓冲器201、增益算出部300、标准值赋予部301分别连接到检查表部800上。
检查表部800分别连接到常数算出部203和乖离度算出部210上。
并且,控制部119与检查表部800也在双向上连接,并对其进行控制。
接着,对这样的噪声推定部702的作用中的与所述噪声推定部202的作用不同的部分进行说明。
检查表部800根据控制部119的控制,从第一缓冲器201读取关注区域的矢量信号V0的范数‖V0‖。
作为收集单元且作为增益算出单元的增益算出部300根据从控制部119传送的与ISO感光度和曝光条件相关的信息(曝光信息)、以及白平衡信息中的至少一个,求出放大部104的放大量,并将求得的放大量向检查表部800传送。
并且,控制部119从温度传感器103获取G_CCD 601的温度信息,并将获取的温度信息向检查表部800传送。
检查表部800根据来自第一缓冲器201的关注区域的矢量信号V0的范数‖V0‖、来自增益算出部300的增益的信息、以及来自控制部119的温度信息,输出关注区域的矢量信号V0的噪声量N0。
另外,该检查表部800是记录了矢量信号的范数、与影像信号相关的增益、摄像元件的温度、以及矢量信号的噪声量之间的关系的检查表,其根据实施方式1的数学式11而构成。
通过检查表部800得到的噪声量分别向常数算出部203和乖离度算出部210传送。
另外,在上述中,作为测度值而组合了角度测度值a(Vk,Vl)和距离测度值d(Vk,Vl)这两个,但是不必限定于这种结构。例如,也可以是单一地仅使用角度测度值a(Vk,Vl)或者仅使用距离测度值d(Vk,Vl)的结构。并且,在组合两个的情况下也不限定于乘法运算。
而且,与上述的实施方式1的图13所示基本上相同,也能构成为:将由另外的摄像部所拍摄的、存储在存储卡等记录介质中的影像信号从该记录介质中读出并进行处理。
另外,在上述中,以通过硬件来处理作为前提,但是并不限定于这种结构。例如,预先将来自R_CCD 600、G_CCD 601、B_CCD 602的影像信号作为未处理的Raw数据记录在存储卡等记录介质中,并将来自控制部119的摄像条件等附带信息作为头部信息记录在记录介质中。并且,也能够使计算机执行作为另外的软件的图像处理程序,使计算机读取记录介质的信息并进行处理。另外,从摄像部向计算机传送各种信息不限定于通过记录介质来进行,也可以通过通信电路等来进行,这与上述相同。
参照图21对图像处理程序的处理的主程序进行说明。另外,对该图21所示的处理中的与上述实施方式1的图14所示的处理大致相同的处理标注相同的符号。
当开始进行该处理时,首先,读取影像信号,并读取增益等头部信息(步骤S1)。
接着,依次提取图17(A)~图17(C)所示的包括关注区域和附近区域的5×5像素尺寸的局部区域(步骤S2)。
并且,导出图17(D)所示的25个矢量信号(步骤S3)。
接着,按照数学式4那样算出矢量信号的范数(步骤S4)。
然后,按照后面参照图22进行说明的那样,推定与关注区域的矢量信号相关的噪声量(步骤S30)。
另外,使用所算出的矢量信号的范数和所推定的噪声量,算出数学式17所示的2次函数中使用的常数项(步骤S6)。
接着,使用设定了常数项的数学式17所示的2次函数,算出附近区域的矢量信号Vi的加权系数(步骤S7)。
并且,使用在步骤S3中导出的矢量信号,算出数学式18所示的角度测度值和数学式7所示的距离测度值(步骤S31)。
接着,按照数学式19所示那样算出组合了2个测度值所得的测度值(步骤S32)。
接着,根据关注区域所涉及的测度值算出平均测度值(步骤S9)。
并且,根据在步骤S9中算出的平均测度值和在步骤S30中推定的关注区域的噪声量,算出乖离度(步骤S10)。
然后,按照数学式9那样算出与关注区域的矢量信号V0相关的加权系数(步骤S11)。
接着,使用在步骤S7中算出的附近区域的矢量信号Vi的加权系数、在步骤S11中算出的关注区域的矢量信号V0的加权系数、以及在步骤S32中算出的测度值,算出加权测度值的总和值(步骤S12)。
并且,从所算出的加权测度值的总和值中检索最小值(步骤S13),并选择与所检索到的最小加权测度值的总和值对应的矢量信号(步骤S14)。
然后,通过将在步骤S14中得到的矢量信号作为(置换为)关注区域的矢量信号,得到降噪后的矢量信号(步骤S33)。
在此,判断是否对全部局部区域完成了处理(步骤S16),在未完成的情况下,返回所述步骤S2,对下一个局部区域重复进行上述处理。
并且,在判断为对全部局部区域完成了处理的情况下,进行公知的强调处理、压缩处理等信号处理(步骤S17),并输出处理后的信号(步骤S18),结束该一系列处理。
接着,参照图22,对所述图21的步骤S30中的推定噪声量的处理进行说明。
当在图21的步骤S30中开始进行该处理时,首先,根据所读取的头部信息进行噪声相关信息的设定、即求取增益等参数的处理(步骤S20)。但是,在头部信息内不存在必需参数的情况下,进行分配规定的标准值的处理。
接着,根据在步骤S20中求取的各参数,使用检查表求取噪声量(步骤S40)。
然后,输出所算出的噪声量(步骤S25),从该处理返回图21所示的处理。
根据这样的实施方式2,使影像信号矢量化,在矢量空间内推定噪声量,根据推定的噪声量设定针对各矢量信号的加权系数,使用所设定的加权系数进行过滤处理,能够根据过滤的结果进行降噪处理。其结果是,与上述实施方式1相同,能够在减少边缘部的劣化和色调变化等副作用的同时,对全部噪声进行高精度的降噪。
并且,因为使用检查表来算出噪声量,所以能进行高速的处理。
另外,作为用于算出加权系数的函数,而设定单一的2次函数,所以能连续地进行加权系数的生成,从而能进行更高精度的降噪处理。
并且,作为2个矢量信号之间的测度值,而使用组合了距离测度值和角度测度值的测度值,所以,能够提高对亮度噪声和彩色噪声的降噪处理的精度。
而且,因为将通过过滤处理而得到矢量信号作为输出信号,所以能够低成本地构成可进行高速处理的系统。
另外,本发明并不限定于上述实施方式,在不脱离本发明宗旨的范围内当然可进行各种变形和应用。
[附记]
根据以上详细描述的本发明的上述实施方式,能够得到如下的结构。
[附记1]
一种图像处理系统,该图像处理系统对来自摄像元件的由多个彩色信号构成的影像信号进行降噪处理,其特征在于,该图像处理系统包括:
提取单元,其从所述影像信号中提取局部区域,该局部区域包括成为进行降噪处理的对象的关注区域和位于该关注区域附近的至少一个附近区域;
矢量化单元,其针对每个所述关注区域和所述附近区域导出以所述多个彩色信号作为构成成分的矢量信号;
设定单元,其根据所述关注区域的矢量信号,设定与所述局部区域内的各矢量信号相关的加权系数;
过滤单元,其对所述局部区域内的矢量信号,进行使用了所述加权系数的过滤处理;以及
降噪单元,其根据通过所述过滤处理得到的矢量信号,降低所述关注区域的矢量信号的噪声。
(对应的发明实施方式和优选应用例)
该附记对应实施方式1和实施方式2。提取单元分别相当于图1、图13、图16所示的提取部111,矢量化单元分别相当于图1、图13、图16所示的矢量化部112,设定单元分别相当于图1、图5、图13所示的加权设定部113和图16、图18所示的加权设定部603,过滤单元分别相当于图1、图12、图13、图16所示的过滤部114,降噪单元分别相当于图1、图13所示的降噪部115以及图16所示的置换部604。
本发明的优选应用例是如下的图像处理系统:通过提取部111提取包括成为进行降噪处理的对象的关注区域和位于该关注区域附近的至少一个附近区域的局部区域,通过矢量化部112导出以全部彩色信号作为构成成分的矢量信号,通过加权设定部113或加权设定部603根据关注区域的矢量信号来设定与局部区域内的各矢量信号相关的加权系数,通过过滤部114进行使用了加权系数的过滤处理,通过降噪部115或置换部604根据由过滤处理得到的矢量信号来降低关注区域的矢量信号的噪声。
(作用)
使影像信号矢量化,在矢量空间内推定噪声量,根据所推定的噪声量设定针对各矢量信号的加权系数,使用所设定的加权系数来进行过滤处理,根据过滤的结果来进行降噪处理。
(效果)
边缘部的劣化和色调变化等副作用减少,并且能够对全部噪声进行高精度的降噪。并且,不需要进行参数设定,所以能够自动地进行高速的处理。
[附记2]
根据附记1所记载的图像处理系统,其特征在于,所述设定单元具有:
范数算出单元,其算出所述局部区域内的各矢量信号的范数;
噪声推定单元,其根据所述关注区域内的矢量信号的范数,推定与该关注区域的矢量信号相关的噪声量;
常数算出单元,其根据所述噪声量,算出为计算加权系数而使用的函数的常数项;以及
加权系数算出单元,其根据所述局部区域内的各矢量信号的范数和设定了所述常数项的函数,算出该局部区域内的各矢量信号的加权系数。
(对应的发明实施方式和优选应用例)
该附记对应于实施方式1和实施方式2。范数算出单元分别相当于图5、图18所示的范数算出部200,噪声推定单元分别相当于图5、图8所示的噪声推定部202以及图18、图20所示的噪声推定部702,常数算出单元分别相当于图5、图18所示的常数算出部203,加权系数算出单元分别相当于图5、图18所示的加权系数算出部205。
本发明的优选应用例是如下的图像处理系统:通过范数算出部200算出各矢量信号的范数,通过噪声推定部202或噪声推定部702推定与关注区域的矢量信号相关的噪声量,通过常数算出部203根据噪声量来算出用于计算加权系数的函数的常数项,通过加权系数算出部205根据各矢量信号的范数和设定了常数项的函数来算出与局部区域内的各矢量信号相关的加权系数。
(作用)
动态地推定矢量信号的噪声量,根据所推定的噪声量来算出与各矢量信号相关的过滤用的加权系数。
(效果)
能够适当地伴随所产生的噪声量来执行使用了最佳加权系数的过滤处理。由此,能进行高精度的降噪处理。
[附记3]
根据附记2所记载的图像处理系统,其特征在于,所述噪声推定单元具有:
收集单元,其收集与所述摄像元件的温度值、以及针对所述影像信号的增益值相关的信息;
赋予单元,其对不能通过所述收集单元得到的信息赋予标准值;以及
噪声量算出单元,其根据来自所述收集单元或所述赋予单元的信息、和所述关注区域的矢量信号的范数,求取与矢量信号相关的噪声量。
(对应的发明实施方式和优选应用例)
该附记对应实施方式1和实施方式2。收集单元分别相当于图1、图16所示的温度传感器103、控制部119和图8、图20所示的增益算出部300,赋予单元分别相当于图8、图20所示的标准值赋予部301,噪声量算出单元分别相当于图8所示的参数用ROM 302、参数选择部303、插补部304、修正部305以及图20所示的检查表部800。
本发明的优选应用例是如下的图像处理系统:通过温度传感器103、控制部119以及增益算出部300收集用于噪声量推定的信息,标准值赋予部301在不能得到来自温度传感器103、控制部119以及增益算出部300的信息时设定标准值,通过参数用ROM 302、参数选择部303、插补部304、修正部305或检查表部800求取噪声量。
(作用)
每当摄像时,动态地求取与噪声量相关的各种信息,对不能求得的信息设定标准值,由这些信息算出噪声量。
(效果)
每当摄像时,能动态地适应不同的条件,能够高精度地进行噪声量的推定。并且,即使在不能得到必需信息的情况下,也能进行噪声量的推定,所以能获得稳定的降噪效果。
[附记4]
根据附记3所记载的图像处理系统,其特征在于,所述收集单元具有用于测定所述摄像元件的温度值的温度传感器。
(对应的发明实施方式和优选应用例)
该附记对应实施方式1和实施方式2。温度传感器相当于图1、图16所示的温度传感器103。
本发明的优选应用例是由温度传感器103实时测定摄像元件的温度的图像处理系统。
(作用)
测定摄像时的摄像元件的温度,作为用于推定噪声量的信息而使用。
(效果)
能动态地适应摄像时的摄像元件的温度变化,能高精度地进行噪声量的推定。
[附记5]
根据附记3所记载的图像处理系统,其特征在于,所述收集单元具有增益算出单元,该增益算出单元根据ISO感光度、曝光信息、白平衡信息中的至少一个信息来求取所述增益值。
(对应的发明实施方式和优选应用例)
该附记对应实施方式1和实施方式2。增益算出单元相当于图8、图20所示的增益算出部300、控制部119。
本发明的优选应用例为如下的图像处理系统:通过控制部119传送ISO感光度、曝光信息、白平衡信息等,通过增益算出部300求取摄像时的总增益量。
(作用)
根据ISO感光度、曝光信息、白平衡信息中的至少一个信息来求取摄像时的增益量,作为用于推定噪声量的信息来使用。
(效果)
能动态地适应摄像时的增益变化,能高精度地进行噪声量的推定。
[附记6]
根据附记3所记载的图像处理系统,其特征在于,所述噪声量算出单元具有:
记录单元,其记录包括基准噪声模型所涉及的参数和针对该基准噪声模型的修正系数所涉及的参数的参数组;
参数选择单元,其根据来自所述收集单元或所述赋予单元的信息和所述关注区域的矢量信号的范数,从所述参数组中选择所需要的参数;
基准噪声量算出单元,其根据所述关注区域的矢量信号的范数以及通过所述参数选择单元所选择的参数,求取基准噪声量;以及
基准噪声量修正单元,其根据通过所述参数选择单元所选择的参数来修正所述基准噪声量,从而求取噪声量。
(对应的发明实施方式和优选应用例)
该附记对应实施方式1。参数选择单元相当于图8所示的参数用ROM 302,参数选择单元相当于图8所示的参数选择部303,基准噪声量算出单元相当于图8所示的插补部304,基准噪声量修正单元相当于图8所示的修正部305。
本发明的优选应用例是如下的图像处理系统:在参数用ROM 302中记录预先测定的为推定噪声量而使用的基准噪声模型的系数和修正系数,通过参数选择部303选择基准噪声模型的系数和修正系数,通过插补部304根据基准噪声模型算出基准噪声量,通过修正部305根据修正系数进行修正来求取噪声量。
(作用)
通过根据基准噪声模型进行修正处理,来求取噪声量。
(效果)
因为噪声量的计算使用模型,所以能够高精度地进行噪声量的推定。并且,基于基准噪声模型的噪声量的算出处理容易安装,能够低成本地构成系统。
[附记7]
根据附记6所记载的图像处理系统,其特征在于,所述基准噪声模型包括以矢量信号的范数和对应该范数的噪声量为坐标的多个坐标点数据。
(对应的发明实施方式和优选应用例)
该附记对应实施方式1。
本发明的优选应用例是使用图10所示的包括多个坐标点数据的基准噪声模型的图像处理系统。
(作用)
使用多个坐标点数据构成基准噪声模型。
(效果)
因为用于构成模型所必需的存储量少,所以能够实现低成本化。
[附记8]
根据附记3所记载的图像处理系统,其特征在于,所述噪声量算出单元具有检查表单元,该检查表单元将来自所述收集单元或所述赋予单元的信息和所述关注区域的矢量信号的范数作为输入,来求取噪声量。
(对应的发明实施方式和优选应用例)
该附记对应实施方式2。检查表单元相当于图20所示的检查表部800。
本发明的优选应用例是通过检查表部800求取噪声量的图像处理系统。
(作用)
通过检查表单元求取噪声量。
(效果)
因为使用检查表单元以求取噪声量,所以能够高速地进行处理。
[附记9]
根据附记2所记载的图像处理系统,其特征在于,所述常数算出单元算出作为所述函数的多个1次函数的组合所涉及的常数项、或者作为所述函数的单一的2次函数所涉及的常数项。
(对应的发明实施方式和优选应用例)
该附记对应实施方式1和实施方式2。
本发明的优选应用例是如下的图像处理系统:算出图6所示的多个1次函数的组合所涉及的常数项,或者算出图19所示的单一的2次函数所涉及的常数项。
(作用)
作为用于算出加权系数的函数,设定多个1次函数的组合或者单一的2次函数,并算出针对所设定的函数的常数项。
(效果)
在使用多个1次函数的组合时,常数项的算出简单,能够实现处理的高速化和低成本化。并且,在使用单一的2次函数的情况下,能连续地进行加权系数的生成,从而能更高精度地进行降噪处理。
[附记10]
根据附记2所记载的图像处理系统,其特征在于,所述加权系数算出单元还具有:
平均测度值算出单元,其算出所述关注区域的矢量信号和所述附近区域的各矢量信号之间的测度值的平均;
乖离度算出单元,其根据所述测度值的平均以及与所述关注区域的矢量信号相关的噪声量,算出与所述关注区域的矢量信号相关的乖离度;以及
关注矢量加权系数算出单元,其根据所述乖离度算出与所述关注区域的矢量信号相关的加权系数。
(对应的发明实施方式和优选应用例)
该附记对应实施方式1和实施方式2。平均测度值算出单元分别相当于图5、图18所示的距离测度算出部207、平均测度算出部209以及图18所示的角度测度算出部700、乘法运算部701,乖离度算出单元分别相当于图5、图18所示的乖离度算出部210,关注矢量加权系数算出单元分别相当于图5、图18所示的关注矢量加权系数算出部211。
本发明的优选应用例是如下的图像处理系统:通过距离测度算出部207、平均测度算出部209(必要时还有角度测度算出部700、乘法运算部701)算出测度值的平均,通过乖离度算出部210根据测度值的平均以及与关注区域的矢量信号相关的噪声量,来算出与关注区域的矢量信号相关的乖离度,通过关注矢量加权系数算出部211算出与关注区域的矢量信号相关的加权系数。
(作用)
根据关注区域的矢量信号和其他的矢量信号之间的乖离度,独立于与附近区域的矢量信号相关的加权系数而另外算出与关注区域的矢量信号相关的加权系数。
(效果)
提高了对尖峰性的噪声的过滤处理的精度,能够高精度地进行降噪处理。
[附记11]
根据附记1所记载的图像处理系统,其特征在于,所述过滤单元具有:
加权测度值算出单元,其相对于所述局部区域内的各矢量信号,算出该矢量信号和其他矢量信号之间的测度值乘以所述加权系数后的总和;
检索单元,其从相对所述局部区域内的各矢量信号的测度值的总和中检索最小值;以及
输出单元,其输出与所述最小的测度值的总和对应的矢量信号。
(对应的发明实施方式和优选应用例)
该附记对应实施方式1。加权测度值算出单元相当于图12所示的加权测度值算出部402,检索单元相当于图12所示的最小测度检索部404,输出单元相当于图12所示的对应矢量选择部405。
本发明的优选应用例是如下的图像处理系统:通过加权测度值算出部402相对于局部区域内的各矢量信号算出该矢量信号和其他矢量信号之间的测度值乘以加权系数后的总和,通过最小测度检索部404从测度值的总和中检索最小值,通过对应矢量选择部405输出与最小的测度值的总和对应的矢量信号。
(作用)
输出被加权的测度值的总和为最小的矢量信号。
(效果)
边缘部的劣化等副作用减少,且能够对全部噪声进行高精度的降噪处理。
[附记12]
根据附记10或11所记载的图像处理系统,其特征在于,所述测度值是通过如下数学式
对两个n维矢量信号即Vi={Vi1,Vi2,…,Vin}和Vj={Vj1,Vj2,…,Vjn}进行定义的距离测度值d(Vi,Vj)。
(对应的发明实施方式和优选应用例)
该附记对应实施方式1。
本发明的优选应用例是将通过图5所示的距离测度算出部207算出的距离测度值用作测度值的图像处理系统。
(作用)
作为两个矢量信号间的测度值使用距离测度值。
(效果)
因为距离测度值与亮度噪声之间的相关性高,所以能够提高对亮度噪声的降噪处理的精度。
[附记13]
根据附记10或11所记载的图像处理系统,其特征在于,所述测度值是通过如下数学式
对两个n维矢量信号即Vi={Vi1,Vi2,…,Vin}和Vj={Vj1,Vj2,…,Vjn}进行定义的角度测度值a(Vi,Vj)。
(对应的发明实施方式和优选应用例)
该附记对应实施方式2。
本发明的优选应用例是将通过图18所示的角度测度算出部700算出的角度测度值用作测度值的图像处理系统。
(作用)
作为两个矢量信号间的测度值使用角度测度值。
(效果)
因为角度测度值与彩色噪声之间的相关性高,所以能够提高对彩色噪声的降噪处理的精度。
[附记14]
根据附记10或11所记载的图像处理系统,其特征在于,所述测度值是组合通过如下数学式
对两个n维矢量信号即Vi={Vi1,Vi2,…,Vin}和Vj={Vj1,Vj2,…,Vjn}进行定义的距离测度值d(Vi,Vj)和角度测度值a(Vi,Vj)而得到的测度值。
(对应的发明实施方式和优选应用例)
该附记对应实施方式2。
本发明的优选应用例是如下的图像处理系统:将通过图18所示的乘法运算部701组合通过图18所示的距离测度算出部207算出的距离测度值和通过图18所示的角度测度算出部700算出的角度测度值而得到的测度值用作测度值。
(作用)
作为两个矢量信号间的测度值,使用组合距离测度值和角度测度值而得到的测度值。
(效果)
因为距离测度值与亮度噪声之间的相关性高,角度测度值与彩色噪声之间的相关性高,所以通过组合使用两者,能够提高对亮度噪声和彩色噪声的降噪处理的精度。
[附记15]
根据附记1所记载的图像处理系统,其特征在于,所述降噪单元具有平均化单元,该平均化单元将使用规定的加权系数对通过所述过滤处理得到的矢量信号和所述关注区域的矢量信号进行加权加法运算平均而得到的矢量信号作为所述关注区域的矢量信号。
(对应的发明的实施方式和优选应用例)
该附记对应实施方式1。平均化单元相当于图1、图13所示的降噪部115。
本发明的优选应用例为如下的图像处理系统:通过降噪部115,将使用规定的加权系数对通过过滤处理得到的矢量信号和关注区域的矢量信号进行加权加法运算平均而得到的矢量信号作为关注区域的矢量信号。
(作用)
对通过过滤处理得到的矢量信号和本来的矢量信号进行加权加法运算平均。
(效果)
能够抑制假轮廓等的产生,并能够进行主观上优选的降噪处理。
[附记16]
根据附记1所记载的图像处理系统,其特征在于,所述降噪单元具有置换单元,该置换单元将通过所述过滤处理得到的矢量信号作为所述关注区域的矢量信号。
(对应的发明实施方式和优选应用例)
该附记对应实施方式2。置换单元相当于图16所示的置换部604。
本发明的优选应用例是如下的图像处理系统:将通过过滤处理得到的矢量信号作为关注区域的矢量信号。
(作用)
将通过过滤处理得到的矢量信号作为输出信号。
(效果)
能够使处理系统简单化,并能够低成本地构成可进行高速处理的系统。
[附记17]
根据附记1所记载的图像处理系统,其特征在于,所述摄像元件是在前面配置有R(红色)、G(绿色)、B(蓝色)拜尔型原色滤色器的单板摄像元件,或者是在前面配置有Cy(青色)、Mg(品红)、Ye(黄色)和G(绿色)色差线顺序型补色滤色器的单板摄像元件。
(对应的发明实施方式和优选应用例)
该附记对应实施方式1。
本发明的优选应用例为如下的图像处理系统:使用在前面配置有图2(A)或图3(A)所示的拜尔(Bayer)型原色滤色器、或者图4(A)所示的色差线顺序型补色滤色器的单板摄像元件。
(作用)
使用在前面配置有拜尔(Bayer)型原色滤色器或色差线顺序型补色滤色器的单板摄像元件。
(效果)
与现有的摄像部的结合性高,能够应用在很多图像处理系统上。
[附记18]
根据附记1所记载的图像处理系统,其特征在于,该图像处理系统还包括标量化单元,该标量化单元从通过所述降噪单元降低噪声的矢量信号中导出所述多个彩色信号。
(对应的发明实施方式和优选应用例)
该附记对应实施方式1和实施方式2。标量化单元相当于图1、图13、图16所示的标量化部116。
本发明的优选应用例是如下的图像处理系统:通过标量化部116使降噪处理后的矢量信号恢复为摄像元件本来的彩色信号。
(作用)
使降噪处理后的矢量信号恢复为摄像元件本来的彩色信号。
(效果)
因为在降噪处理后恢复为摄像元件本来的彩色信号,所以能够维持与后续的处理系统的互换性,能够与多种多样的系统组合。
[附记19]
一种图像处理程序,其用于使计算机对来自摄像元件的由多个彩色信号构成的影像信号进行降噪处理,其中,该图像处理程序用于使计算机执行如下步骤:
提取步骤,其从所述影像信号中提取局部区域,该局部区域包括成为进行降噪处理的对象的关注区域和位于该关注区域附近的至少一个附近区域;
矢量化步骤,其针对每个所述关注区域和所述附近区域导出以所述多个彩色信号作为构成成分的矢量信号;
设定步骤,其根据所述关注区域的矢量信号,设定与所述局部区域内的各矢量信号相关的加权系数;
过滤步骤,其对所述局部区域内的矢量信号,进行使用了所述加权系数的过滤处理;以及
降噪步骤,其根据通过所述过滤处理得到的矢量信号,降低所述关注区域的矢量信号的噪声。
(对应的发明实施方式和效果)
与附记1大致相同。但是,各步骤对应图14、图15或者图21、图22所示的步骤。
[附记20]
根据附记19所记载的图像处理程序,其特征在于,所述设定步骤包括如下步骤:
范数算出步骤,其算出所述局部区域内的各矢量信号的范数;
噪声推定步骤,其根据所述关注区域的矢量信号的范数,推定与该关注区域的矢量信号相关的噪声量;
常数算出步骤,其根据所述噪声量,算出为计算加权系数而使用的函数的常数项;以及
加权系数算出步骤,其根据所述局部区域内的各矢量信号的范数和设定了所述常数项的函数,算出该局部区域内的各矢量信号的加权系数。
(对应的发明实施方式和效果)
与附记2大致相同。但是,各步骤对应图14、图15或者图21、图22所示的步骤。
[附记21]
根据附记20所记载的图像处理程序,其特征在于,所述噪声推定步骤包括如下步骤:
收集步骤,其收集与所述摄像元件的温度值和针对所述影像信号的增益值相关的信息;
赋予步骤,其对不能通过所述收集步骤得到的信息赋予标准值;以及
噪声量算出步骤,其根据来自所述收集步骤或所述赋予步骤的信息和所述关注区域的矢量信号的范数,求取与矢量信号相关的噪声量。
(对应的发明实施方式和效果)
与附记3大致相同。但是,各步骤对应图14、图15或者图21、图22所示的步骤。
[附记22]
根据附记20所记载的图像处理程序,其特征在于,所述常数算出步骤是如下步骤:即算出作为所述函数的多个1次函数的组合所涉及的常数项、或者作为所述函数的单一的2次函数所涉及的常数项。
(对应的发明实施方式和效果)
与附记9大致相同。但是,各步骤对应图14、图15或者图21、图22所示的步骤。
[附记23]
根据附记20所记载的图像处理程序,其特征在于,所述加权系数算出步骤包括如下步骤:
平均测度值算出步骤,其算出所述关注区域的矢量信号和所述附近区域的各矢量信号之间的测度值的平均;
乖离度算出步骤,其根据所述测度值的平均和与所述关注区域的矢量信号相关的噪声量,算出与所述关注区域的矢量信号相关的乖离度;以及
关注矢量加权系数算出步骤,其根据所述乖离度,算出与所述关注区域的矢量信号相关的加权系数。
(对应的发明实施方式和效果)
与附记10大致相同。但是,各步骤对应图14、图15或者图21、图22所示的步骤。
[附记24]
根据附记19所记载的图像处理程序,其特征在于,所述过滤步骤包括如下步骤:
加权测度值算出步骤,其相对所述局部区域内的各矢量信号,算出该矢量信号和其他矢量信号之间的测度值乘以所述加权系数后的总和;
检索步骤,其从相对所述局部区域内的各矢量信号的测度值的总和中检索最小值;以及
输出步骤,其输出与所述最小的测度值的总和对应的矢量信号。
(对应的发明实施方式和效果)
与附记11大致相同。但是,各步骤对应图14、图15或者图21、图22所示的步骤。
[附记25]
根据附记19所记载的图像处理程序,其特征在于,所述降噪步骤包括平均化步骤,在该平均化步骤中,将使用规定的加权系数对通过所述过滤处理得到的矢量信号和所述关注区域的矢量信号进行加权加法运算平均而得到的矢量信号作为所述关注区域的矢量信号。
(对应的发明实施方式和效果)
与附记15大致相同。但是,各步骤对应图14、图15所示的步骤。
[附记26]
根据附记19所记载的图像处理程序,其特征在于,所述降噪步骤包括置换步骤,在该置换步骤中,将通过所述过滤处理得到的矢量信号作为所述关注区域的矢量信号。
(对应的发明实施方式和效果)
与附记16大致相同。但是,各步骤对应图21、图22所示的步骤。
[附记27]
根据附记19所记载的图像处理程序,其特征在于,该图像处理程序还包括标量化步骤,在该标量化步骤中,从通过所述降噪步骤降低噪声的矢量信号中导出所述多个彩色信号。
(对应的发明实施方式和效果)
与附记18大致相同。但是,各步骤对应图14、图15或者图21、图22所示的步骤。
另外,本发明不限定于所述实施方式,在不脱离发明宗旨的范围内当然可进行各种变形或应用。
本申请要求2005年10月12日向日本申请的日本特愿2005-297983号的优先权,且在本申请的说明书、权利要求书、附图中引用了其公开内容。
Claims (27)
1.一种图像处理系统,该图像处理系统对来自摄像元件的由多个彩色信号构成的影像信号进行降噪处理,其特征在于,该图像处理系统包括:
提取单元,其从所述影像信号中提取局部区域,该局部区域包括成为进行降噪处理的对象的关注区域和位于该关注区域附近的至少一个附近区域;
矢量化单元,其针对每个所述关注区域和所述附近区域导出以所述多个彩色信号作为构成成分的矢量信号;
设定单元,其根据所述关注区域的矢量信号,设定与所述局部区域内的各矢量信号相关的加权系数;
过滤单元,其对所述局部区域内的矢量信号,进行使用了所述加权系数的过滤处理;以及
降噪单元,其根据通过所述过滤处理得到的矢量信号,降低所述关注区域的矢量信号的噪声。
2.根据权利要求1所述的图像处理系统,其特征在于,所述设定单元具有:
范数算出单元,其算出所述局部区域内的各矢量信号的范数;
噪声推定单元,其根据所述关注区域的矢量信号的范数,推定与该关注区域的矢量信号相关的噪声量;
常数算出单元,其根据所述噪声量,算出为计算加权系数而使用的函数的常数项;以及
加权系数算出单元,其根据所述局部区域内的各矢量信号的范数和设定了所述常数项的函数,算出该局部区域内的各矢量信号的加权系数。
3.根据权利要求2所述的图像处理系统,其特征在于,所述噪声推定单元具有:
收集单元,其收集与所述摄像元件的温度值和针对所述影像信号的增益值相关的信息;
赋予单元,其对不能通过所述收集单元得到的信息赋予标准值;以及
噪声量算出单元,其根据来自所述收集单元或所述赋予单元的信息和所述关注区域的矢量信号的范数,求取与矢量信号相关的噪声量。
4.根据权利要求3所述的图像处理系统,其特征在于,所述收集单元具有测定所述摄像元件的温度值的温度传感器。
5.根据权利要求3所述的图像处理系统,其特征在于,所述收集单元具有增益算出单元,该增益算出单元根据ISO感光度、曝光信息和白平衡信息中的至少一个信息,求取所述增益值。
6.根据权利要求3所述的图像处理系统,其特征在于,所述噪声量算出单元具有:
记录单元,其记录包括基准噪声模型所涉及的参数和相对该基准噪声模型的修正系数所涉及的参数的参数组;
参数选择单元,其根据来自所述收集单元或所述赋予单元的信息和所述关注区域的矢量信号的范数,从所述参数组中选择所需要的参数;
基准噪声量算出单元,其根据所述关注区域的矢量信号的范数和通过所述参数选择单元所选择的参数来求取基准噪声量;以及
基准噪声量修正单元,其根据由所述参数选择单元所选择的参数来修正所述基准噪声量,从而求取噪声量。
7.根据权利要求6所述的图像处理系统,其特征在于,所述基准噪声模型包括以矢量信号的范数和相对该范数的噪声量作为坐标的多个坐标点数据。
8.根据权利要求3所述的图像处理系统,其特征在于,所述噪声量算出单元具有检查表单元,该检查表单元将来自所述收集单元或所述赋予单元的信息和所述关注区域的矢量信号的范数作为输入来求取噪声量。
9.根据权利要求2所述的图像处理系统,其特征在于,所述常数算出单元算出作为所述函数的多个1次函数的组合所涉及的常数项、或者作为所述函数的单一的2次函数所涉及的常数项。
10.根据权利要求2所述的图像处理系统,其特征在于,所述加权系数算出单元还具有:
平均测度值算出单元,其算出所述关注区域的矢量信号和所述附近区域的各矢量信号之间的测度值的平均;
乖离度算出单元,其根据所述测度值的平均以及与所述关注区域的矢量信号相关的噪声量,算出与所述关注区域的矢量信号相关的乖离度;以及
关注矢量加权系数算出单元,其根据所述乖离度算出与所述关注区域的矢量信号相关的加权系数。
11.根据权利要求1所述的图像处理系统,其特征在于,所述过滤单元具有:
加权测度值算出单元,其相对所述局部区域内的各矢量信号,算出该矢量信号和其他矢量信号之间的测度值乘以所述加权系数后的总和;
检索单元,其从相对所述局部区域内的各矢量信号的测度值的总和中检索最小值;以及
输出单元,其输出与所述最小的测度值的总和对应的矢量信号。
12.根据权利要求10或11所述的图像处理系统,其特征在于,所述测度值是通过如下数学式
对两个n维矢量信号即Vi={Vi1,Vi2,…,Vin}和Vj={Vj1,Vj2,…,Vjn}进行定义的距离测度值d(Vi,Vj)。
13.根据权利要求10或11所述的图像处理系统,其特征在于,所述测度值是通过如下数学式
对两个n维矢量信号即Vi={Vi1,Vi2,…,Vin}和Vj={Vj1,Vj2,…,Vjn}进行定义的角度测度值a(Vi,Vj)。
14.根据权利要求10或11所述的图像处理系统,其特征在于,所述测度值是组合通过如下数学式
对两个n维矢量信号即Vi={Vi1,Vi2,…,Vin}和Vj={Vj1,Vj2,…,Vjn}进行定义的距离测度值d(Vi,Vj)和角度测度值a(Vi,Vj)而得到的测度值。
15.根据权利要求1所述的图像处理系统,其特征在于,所述降噪单元具有平均化单元,该平均化单元将使用规定的加权系数对通过所述过滤处理得到的矢量信号和所述关注区域的矢量信号进行加权加法运算平均而得到的矢量信号作为所述关注区域的矢量信号。
16.根据权利要求1所述的图像处理系统,其特征在于,所述降噪单元具有置换单元,该置换单元将通过所述过滤处理得到的矢量信号作为所述关注区域的矢量信号。
17.根据权利要求1所述的图像处理系统,其特征在于,所述摄像元件是在前面配置有R(红色)、G(绿色)、B(蓝色)拜尔型原色滤色器的单板摄像元件,或者是在前面配置有Cy(青色)、Mg(品红)、Ye(黄色)和G(绿色)色差线顺序型补色滤色器的单板摄像元件。
18.根据权利要求1所述的图像处理系统,其特征在于,该图像处理系统还包括标量化单元,该标量化单元从通过所述降噪单元降低噪声的矢量信号中导出所述多个彩色信号。
19.一种图像处理程序,其用于使计算机对来自摄像元件的由多个彩色信号构成的影像信号进行降噪处理,其中,该图像处理程序用于使计算机执行如下步骤:
提取步骤,其从所述影像信号中提取局部区域,该局部区域包括成为进行降噪处理的对象的关注区域和位于该关注区域附近的至少一个附近区域;
矢量化步骤,其针对每个所述关注区域和所述附近区域,导出以所述多个彩色信号作为构成成分的矢量信号;
设定步骤,其根据所述关注区域的矢量信号,设定与所述局部区域内的各矢量信号相关的加权系数;
过滤步骤,其对所述局部区域内的矢量信号,进行使用了所述加权系数的过滤处理;以及
降噪步骤,其根据通过所述过滤处理而得到的矢量信号,降低所述关注区域的矢量信号的噪声。
20.根据权利要求19所述的图像处理程序,其特征在于,所述设定步骤包括如下步骤:
范数算出步骤,其算出所述局部区域内的各矢量信号的范数;
噪声推定步骤,其根据所述关注区域的矢量信号的范数,推定与该关注区域的矢量信号相关的噪声量;
常数算出步骤,其根据所述噪声量,算出为计算加权系数而使用的函数的常数项;以及
加权系数算出步骤,其根据所述局部区域内的各矢量信号的范数和设定了所述常数项的函数,算出该局部区域内的各矢量信号的加权系数。
21.根据权利要求20所述的图像处理程序,其特征在于,所述噪声推定步骤包括如下步骤:
收集步骤,其收集与所述摄像元件的温度值和针对所述影像信号的增益值相关的信息;
赋予步骤,其对不能通过所述收集步骤得到的信息赋予标准值;以及
噪声量算出步骤,其根据来自所述收集步骤或所述赋予步骤的信息和所述关注区域的矢量信号的范数,求取与矢量信号相关的噪声量。
22.根据权利要求20所述的图像处理程序,其特征在于,所述常数算出步骤是如下步骤:即算出作为所述函数的多个1次函数的组合所涉及的常数项、或者作为所述函数的单一的2次函数所涉及的常数项。
23.根据权利要求20所述的图像处理程序,其特征在于,所述加权系数算出步骤包括如下步骤:
平均测度值算出步骤,其算出所述关注区域的矢量信号和所述附近区域的各矢量信号之间的测度值的平均;
乖离度算出步骤,其根据所述测度值的平均以及与所述关注区域的矢量信号相关的噪声量,算出与所述关注区域的矢量信号相关的乖离度;以及
关注矢量加权系数算出步骤,其根据所述乖离度算出与所述关注区域的矢量信号相关的加权系数。
24.根据权利要求19所述的图像处理程序,其特征在于,所述过滤步骤包括如下步骤:
加权测度值算出步骤,其相对所述局部区域内的各矢量信号,算出该矢量信号和其他矢量信号之间的测度值乘以所述加权系数后的总和;
检索步骤,其从相对所述局部区域内的各矢量信号的测度值的总和中检索最小值;以及
输出步骤,其输出与所述最小的测度值的总和对应的矢量信号。
25.根据权利要求19所述的图像处理程序,其特征在于,所述降噪步骤包括平均化步骤,在该平均化步骤中,将使用规定的加权系数对通过所述过滤处理得到的矢量信号和所述关注区域的矢量信号进行加权加法运算平均而得到的矢量信号作为所述关注区域的矢量信号。
26.根据权利要求19所述的图像处理程序,其特征在于,所述降噪步骤包括置换步骤,在该置换步骤中,将通过所述过滤处理得到的矢量信号作为所述关注区域的矢量信号。
27.根据权利要求19所述的图像处理程序,其特征在于,该图像处理程序还包括标量化步骤,在该标量化步骤中,从通过所述降噪步骤降低噪声的矢量信号中导出所述多个彩色信号。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP297983/2005 | 2005-10-12 | ||
JP2005297983A JP4660342B2 (ja) | 2005-10-12 | 2005-10-12 | 画像処理システム、画像処理プログラム |
PCT/JP2006/318966 WO2007043325A1 (ja) | 2005-10-12 | 2006-09-25 | 画像処理システム、画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101283603A true CN101283603A (zh) | 2008-10-08 |
CN101283603B CN101283603B (zh) | 2011-11-09 |
Family
ID=37942576
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2006800370214A Expired - Fee Related CN101283603B (zh) | 2005-10-12 | 2006-09-25 | 图像处理系统、图像处理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8019174B2 (zh) |
EP (1) | EP1944982A1 (zh) |
JP (1) | JP4660342B2 (zh) |
CN (1) | CN101283603B (zh) |
WO (1) | WO2007043325A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102318333A (zh) * | 2009-02-18 | 2012-01-11 | 奥林巴斯株式会社 | 图像处理装置、方法以及程序 |
CN102622736A (zh) * | 2011-01-28 | 2012-08-01 | 鸿富锦精密工业(深圳)有限公司 | 影像处理系统及方法 |
CN105049680A (zh) * | 2014-04-25 | 2015-11-11 | 佳能株式会社 | 进行图像恢复处理的图像处理设备和图像处理方法 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5178226B2 (ja) * | 2008-02-08 | 2013-04-10 | オリンパス株式会社 | 画像処理装置および画像処理プログラム |
JP2015039044A (ja) * | 2008-10-23 | 2015-02-26 | 株式会社東芝 | 撮像装置 |
JP5401191B2 (ja) * | 2009-07-21 | 2014-01-29 | 富士フイルム株式会社 | 撮像装置及び信号処理方法 |
JP5991749B2 (ja) * | 2011-09-26 | 2016-09-14 | キヤノン株式会社 | 画像処理装置及び方法 |
JP5751200B2 (ja) | 2012-03-19 | 2015-07-22 | ヤマハ株式会社 | オーディオ機器制御プログラムおよび携帯電話機 |
JP5917258B2 (ja) | 2012-04-20 | 2016-05-11 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP6071419B2 (ja) * | 2012-10-25 | 2017-02-01 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
US9497380B1 (en) | 2013-02-15 | 2016-11-15 | Red.Com, Inc. | Dense field imaging |
TWI573464B (zh) | 2014-04-17 | 2017-03-01 | Morpho Inc | An image processing apparatus, an image processing method, an image processing program, and a recording medium |
CN110930425B (zh) * | 2019-10-21 | 2022-08-05 | 中国科学院西安光学精密机械研究所 | 基于邻域向量内积局部对比度图像增强的损伤目标检测方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR0134352B1 (ko) | 1992-10-30 | 1998-04-23 | 윤종용 | 영상신호의 임펄스노이즈제거방법 및 장치 |
JP3263535B2 (ja) | 1994-07-25 | 2002-03-04 | 日本電信電話株式会社 | カラー画像処理方法 |
US6097836A (en) * | 1996-07-22 | 2000-08-01 | Nec Corporation | Image processing system and its smoothing method for correcting color fog and backlight of a digital image |
US7031548B2 (en) * | 2001-10-04 | 2006-04-18 | Hewlett-Packard Development Company, L.P. | Method and apparatus for filtering noise from a digital image |
JP3934506B2 (ja) | 2002-08-06 | 2007-06-20 | オリンパス株式会社 | 撮像システムおよび画像処理プログラム |
JP3762725B2 (ja) * | 2002-08-22 | 2006-04-05 | オリンパス株式会社 | 撮像システムおよび画像処理プログラム |
JP4042563B2 (ja) * | 2002-12-27 | 2008-02-06 | セイコーエプソン株式会社 | 画像ノイズの低減 |
JP2005130297A (ja) * | 2003-10-24 | 2005-05-19 | Olympus Corp | 信号処理システム、信号処理方法、信号処理プログラム |
JP3934597B2 (ja) * | 2003-12-09 | 2007-06-20 | オリンパス株式会社 | 撮像システムおよび画像処理プログラム |
JP2006023959A (ja) * | 2004-07-07 | 2006-01-26 | Olympus Corp | 信号処理システム及び信号処理プログラム |
JP4547223B2 (ja) * | 2004-09-28 | 2010-09-22 | オリンパス株式会社 | 撮像システム、ノイズ低減処理装置及び撮像処理プログラム |
JP4290193B2 (ja) * | 2006-12-26 | 2009-07-01 | 三洋電機株式会社 | 画像処理装置 |
-
2005
- 2005-10-12 JP JP2005297983A patent/JP4660342B2/ja not_active Expired - Fee Related
-
2006
- 2006-09-25 WO PCT/JP2006/318966 patent/WO2007043325A1/ja active Application Filing
- 2006-09-25 EP EP06798292A patent/EP1944982A1/en not_active Withdrawn
- 2006-09-25 CN CN2006800370214A patent/CN101283603B/zh not_active Expired - Fee Related
-
2008
- 2008-04-09 US US12/100,128 patent/US8019174B2/en active Active
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102318333A (zh) * | 2009-02-18 | 2012-01-11 | 奥林巴斯株式会社 | 图像处理装置、方法以及程序 |
US8896727B2 (en) | 2009-02-18 | 2014-11-25 | Olympus Corporation | Image processing apparatus, method, and computer-readable recording medium having image processing program recorded thereon |
CN102318333B (zh) * | 2009-02-18 | 2015-04-22 | 奥林巴斯株式会社 | 图像处理装置以及图像处理方法 |
CN102622736A (zh) * | 2011-01-28 | 2012-08-01 | 鸿富锦精密工业(深圳)有限公司 | 影像处理系统及方法 |
CN105049680A (zh) * | 2014-04-25 | 2015-11-11 | 佳能株式会社 | 进行图像恢复处理的图像处理设备和图像处理方法 |
CN105049680B (zh) * | 2014-04-25 | 2018-10-09 | 佳能株式会社 | 进行图像恢复处理的图像处理设备和图像处理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4660342B2 (ja) | 2011-03-30 |
US20080193019A1 (en) | 2008-08-14 |
US8019174B2 (en) | 2011-09-13 |
CN101283603B (zh) | 2011-11-09 |
EP1944982A1 (en) | 2008-07-16 |
WO2007043325A1 (ja) | 2007-04-19 |
JP2007110338A (ja) | 2007-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101283603B (zh) | 图像处理系统、图像处理方法 | |
CN101322398B (zh) | 照相机系统、曝光量调节方法 | |
CN101278552A (zh) | 图像处理系统、图像处理程序 | |
CN101861728B (zh) | 降噪系统、降噪方法以及摄像系统 | |
US7595825B2 (en) | Image pickup system and image processing program | |
US7812865B2 (en) | Image pickup system with noise estimator | |
CN101605208B (zh) | 图像处理设备、成像设备及图像处理方法 | |
CN1732694B (zh) | 图像拾取装置和方法 | |
CN1992820B (zh) | 具有有助于曝光补偿的脸部检测功能的数字照相机 | |
JP3624604B2 (ja) | 撮像装置の色再現補正装置および補正方法 | |
EP1718081A1 (en) | Imaging system and image processing program | |
JP4427001B2 (ja) | 画像処理装置、画像処理プログラム | |
CN101273623B (zh) | 摄像装置、图像处理装置以及图像处理方法 | |
CN103098459B (zh) | 立体摄像装置及阴影校正方法 | |
CN103813097A (zh) | 摄像装置以及摄像方法 | |
JP2000299874A (ja) | 信号処理装置及び方法並びに撮像装置及び方法 | |
US20080266432A1 (en) | Image pickup system, image processing method, and computer program product | |
JP5165300B2 (ja) | 映像処理装置および映像処理プログラム | |
CN100542304C (zh) | 图像处理装置和图像拾取装置 | |
CN102883108A (zh) | 摄像设备及其控制方法、图像处理设备和方法 | |
CN101627408B (zh) | 图像信号处理装置、图像信号处理方法 | |
CN101156433A (zh) | 图像处理装置和摄像装置以及图像处理程序 | |
US8351695B2 (en) | Image processing apparatus, image processing program, and image processing method | |
CN102143319A (zh) | 摄像装置和摄像方法 | |
JP2003143622A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20111109 Termination date: 20200925 |
|
CF01 | Termination of patent right due to non-payment of annual fee |