CN101715049B - 噪声消除处理电路、噪声消除处理方法及固体摄像装置 - Google Patents

噪声消除处理电路、噪声消除处理方法及固体摄像装置 Download PDF

Info

Publication number
CN101715049B
CN101715049B CN2009101791771A CN200910179177A CN101715049B CN 101715049 B CN101715049 B CN 101715049B CN 2009101791771 A CN2009101791771 A CN 2009101791771A CN 200910179177 A CN200910179177 A CN 200910179177A CN 101715049 B CN101715049 B CN 101715049B
Authority
CN
China
Prior art keywords
pixel
mentioned
noise
value
gazing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009101791771A
Other languages
English (en)
Other versions
CN101715049A (zh
Inventor
金光史吕志
细川纯一
田渊和浩
川上好日
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN101715049A publication Critical patent/CN101715049A/zh
Application granted granted Critical
Publication of CN101715049B publication Critical patent/CN101715049B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明提供一种噪声消除处理电路、噪声消除处理方法及固体摄像装置。该噪声消除处理电路的特征在于,具备:尖锐部/平坦部判断部,根据数字影像信号的注目像素以及在该注目像素的紧前及紧后输入的规定数量的像素的像素值,计算出表示尖锐度的尖锐度值和对注目像素所含有的噪声值进行概略表示的概略噪声值,并对尖锐度值与概略噪声值进行比较,由此判断注目像素附近是尖锐部还是平坦部;噪声提取部,根据尖锐部/平坦部判断部的判断结果,执行噪声提取处理而提取注目像素的噪声值;以及校正部,使用所提取的注目像素的噪声值,对注目像素的像素值进行校正。

Description

噪声消除处理电路、噪声消除处理方法及固体摄像装置
关联申请的参照:本申请享受2008年10月7日提交的日本专利申请2008-260409的优先权利益,该日本专利申请的全部内容被引用在本申请中。
技术领域
本发明涉及噪声消除处理电路、噪声消除处理方法及固体摄像装置。
背景技术
以往,在数字静态照相机(DSC)或便携电话等中搭载的、进行数字影像输出的固体摄像装置(照相机),通过模数转换器(ADC)将透过摄像透镜而在摄像元件上成像的被摄体像的模拟信号转换为数字影像信号。然后,照相机所内置的图像处理部,对于转换的数字影像信号,进行透镜阴影处理、缺损校正处理以及噪声消除处理等,并输出最终的数字影像信号。
近年来,随着像素的精细化,从摄像元件输出的影像信号的S/N比的劣化开始明显起来。并且,由来自该摄像元件的影像信号的噪声引起的图像处理部中的各种处理的运算精度的劣化成为问题。作为该问题的解决方法可以考虑如下情况,为了除去来自摄像元件的摄像信号的噪声,在进行上述的以往的各种处理的图像处理部中,在初级进一步设置进行另外的噪声消除处理的电路。
但是,以往在图像处理部的内部进行的那样的噪声消除处理电路,由于使用二维滤波器,因此成为具有线存储器的构成(例如参照日本特开2006-20050号公报)。因此,若将噪声消除处理电路设置在图像处理部的初级,则引起电路规模以及消费电力的增大。若想不使用线存储器而根据一维的像素排列来进行噪声消除处理,则存在的问题为,难以将对比度信息极具变化的尖锐的部分与噪声进行区别,而噪声消除处理的结果使尖锐的部分也衰减、解像度感降低,画质劣化。
发明内容
根据本发明的一个方式,提供一种噪声消除处理电路,用摄像元件对通过摄像透镜而入射的被摄体像进行摄像,并根据摄像信号生成数字影像信号,对该数字影像信号的像素值依次进行噪声消除处理,其特征在于,具备:尖锐部/平坦部判断部,根据上述数字影像信号的注目像素以及在该注目像素紧前及紧后输入的规定数量的像素的像素值,计算出表示尖锐度的尖锐度值和对上述注目像素所含有的噪声值进行概略表示的概略噪声值,并对上述尖锐度值与上述概略噪声值进行比较,由此判断上述注目像素附近是尖锐部还是平坦部;噪声提取部,根据上述尖锐部/平坦部判断部的判断结果,选择使用一维滤波器的2种噪声提取处理中的1个噪声提取处理,对上述注目像素以及在该注目像素紧前及紧后输入的规定数量的像素执行该处理,而提取上述注目像素的噪声值;以及校正部,使用上述提取的注目像素的噪声值,对上述注目像素的像素值进行校正。
并且,根据本发明的一个方式,提供一种噪声消除处理方法,用摄像元件对通过摄像透镜而入射的被摄体像进行摄像,并根据摄像信号生成数字影像信号,对该数字影像信号的像素值依次进行噪声消除处理,其特征在于,根据上述数字影像信号的注目像素以及在该注目像素紧前及紧后输入的规定数量像素的像素值,计算出表示尖锐度的尖锐度值和对上述注目像素所含有的噪声值进行概略表示的概略噪声值,并对上述尖锐度值与上述概略噪声值进行比较,由此判断上述注目像素附近是尖锐部还是平坦部,根据上述注目像素附近是尖锐部还是平坦部,选择使用一维滤波器的2种噪声提取处理中的1个噪声提取处理,对上述注目像素以及在该注目像素紧前及紧后输入的规定数量的像素执行该处理,而提取上述注目像素的噪声值,使用上述提取的注目像素的噪声值,对上述注目像素的像素值进行校正。
并且,根据本发明的一个方式,提供一种固体摄像装置,用摄像元件对通过摄像透镜而入射的被摄体像进行摄像,并根据摄像信号生成数字影像信号,通过图像处理部对该生成的数字影像信号执行图像处理,其特征在于,上述图像处理部具备:第1噪声消除处理电路,对上述数字影像信号的像素值依次进行噪声消除处理,设置于上述图像处理部的初级;和第2噪声消除处理电路,设置于上述第1噪声消除处理电路的后级以后,将经由上述噪声消除处理电路而输入的数字影像信号的像素值蓄积到线存储器,并使用二维滤波器对该蓄积的像素值进行噪声消除处理;上述第1噪声消除处理电路具备:尖锐部/平坦部判断部,根据上述数字影像信号的注目像素以及在该注目像素紧前及紧后输入的规定数量像素的像素值,计算出表示尖锐度的尖锐度值和对上述注目像素所含有的噪声值进行概略表示的概略噪声值,并对上述尖锐度值与上述概略噪声值进行比较,由此判断上述注目像素附近是尖锐部还是平坦部;噪声提取部,根据上述尖锐部/平坦部判断部的判断结果,选择使用一维滤波器的2种噪声提取处理中的1个噪声提取处理,对上述注目像素以及在该注目像素紧前及紧后输入的规定数量的像素执行该处理,而提取上述注目像素的噪声值;以及校正部,使用上述所提取的注目像素的噪声值,对上述注目像素的像素值进行校正。
附图说明
图1是说明根据第1实施方式的固体摄像装置的构成的图。
图2是说明根据第1实施方式的第1噪声消除处理部的构成的图。
图3是说明图像帧的构成的图。
图4是说明根据第1实施方式的第1噪声消除处理部的动作的流程图。
图5是说明第2噪声消除处理部的构成的一个例子的图。
图6是说明根据第2实施方式的第1噪声消除处理部的构成的图。
图7是说明根据第2实施方式的第1噪声消除处理部的动作的流程图。
图8是说明根据第3实施方式的第1噪声消除处理部的构成的图。
图9是说明根据第3实施方式的第1噪声消除处理部的动作的流程图。
具体实施方式
以下,参照附图,对本发明实施方式的噪声消除处理电路、噪声消除处理方法以及固体摄像装置进行详细说明。另外,并不通过这些实施方式来限定本发明。
图1是表示本发明第1实施方式的固体摄像装置的构成的框图。该固体摄像装置具有摄像透镜1、摄像部2、AD转换器(ADC)3以及图像处理部4。
摄像透镜1取得来自被摄体的光。摄像部2对入射到摄像透镜1的光进行摄像。并且,在摄像部2中,省略了图示的图像传感器(摄像元件)以与拜耳(Bayer)排列相对应的顺序取得红色、蓝色、绿色的像素值,并用对应于从外部指定的摄像条件的增益对取得的模拟影像信号依次进行放大并输出。模数转换器(ADC)3将从摄像部2输出的模拟影像信号转换为数字影像信号。图像处理部4对于从模数转换部3输出的数字影像信号,以使数字影像信号线性地映出到人眼中的方式进行处理,即执行用于使数字影像信号接近人看到的景象的图像处理。
图像处理部4具有第1噪声消除处理部(噪声消除处理电路)40、透镜阴影处理部41、缺损校正处理部42、第2噪声消除处理部43、像素插补处理部44、白平衡处理部45、色矩阵处理部46、轮廓处理部47以及伽马校正部48,并且具备用于将执行图像处理而得到的数字影像信号进行输出的输出部49。
第1噪声消除处理部40为,为了提高后级的各部的处理的运算精度,在图像处理部4的初级,从由模数转换部3输出的数字影像信号中除去散粒噪声等与被摄体像的信号不同的信号。第1噪声消除处理部40,为了将电路规模以及消费电力抑制为较小而构成为不使用线存储器,对于以与拜耳排列相对应的顺序传递来的数字影像信号的像素值,逐次执行噪声消除处理。即,第1噪声消除处理部40,根据数字影像信号的图像帧中的像素值的一维的排列,执行噪声消除处理。第1噪声消除处理部40的构成以及动作将在后面详细说明。
透镜阴影处理部41为,对于由第1噪声消除处理部40执行了噪声消除处理之后的数字影像信号,乘以根据对应的像素的位置(是从摄影元件的哪个像素取得的信号)而个别决定的校正系数,由此执行电阴影校正。
缺损校正处理部42为,对由透镜阴影处理部41执行了阴影校正后的数字影像信号执行缺损校正处理,该缺损校正处理对摄像元件所产生的不正常工作的像素导致的数字影像信号的缺陷部分(缺损)进行校正。
第2噪声消除处理部43为,对由缺损校正处理部42执行了缺损校正处理的数字影像信号再次执行噪声消除处理。第2噪声消除处理部43构成为使用线存储器,将以与拜耳排列相对应的顺序传递来的数字影像信号的像素值暂时存储在线存储器中,使用二维滤波器等对该存储的像素值执行基于二维像素的排列的噪声消除处理。
像素插补处理部44为,对于由第2噪声消除处理部43执行了噪声消除处理之后的以拜耳排列的顺序传递来的数字影像信号,执行图像插补处理(去马赛克(demosaic)处理)。
白平衡处理部45为,对于由像素插补处理部44执行了去马赛克处理之后的数字影像信号,执行白平衡处理。
色矩阵处理部46为,对于由白平衡处理部45执行了白平衡处理之后的数字影像信号,执行用于得到色再现性的色矩阵运算处理(色再现性处理)。
轮廓处理部47为,对于由色矩阵处理部46执行了色再现性处理之后的数字影像信号,使用根据摄像部2的摄像条件以及各像素的位置而计算出的校正系数,执行轮廓强调处理。
伽马校正部48为,对于由轮廓处理部47强调了轮廓之后的数字影像信号,执行伽马校正。
输出部49为,将由伽马校正部48执行了伽马校正之后的数字影像信号作为最终的数字影像信号(校正后的数字影像信号)向外部输出。
下面,对本发明第1实施方式的主要部分即第1噪声消除处理部40进行详细说明。首先使用图2说明第1噪声消除处理部40的构成。图2是说明第1噪声消除处理部40的构成的框图。如图所示,第1噪声消除处理部40具备非线性处理部401、尖锐度值计算部402、平均值(Ave)计算部403、概略噪声值计算部404、乘法器405、比较器406、分配器407、第1噪声提取部408、第2噪声提取部409、振幅限制部410以及加法器411。
此处,在以下的说明中,第1噪声消除处理部40的各构成要素作为如下内容进行说明:对于以与拜耳排列相对应的顺序传递来的数字信号的注目像素,根据在该注目像素的紧前传递来的最接近的同色的2个像素、和紧后传递来的最接近的同色的2个像素,执行噪声消除处理。另外,将在对注目像素的噪声消除处理中使用的前后邻近的、前后总共同色4个像素,简单表述为邻近4个像素。另外,在注目像素的前后输入的像素中、用于噪声消除处理的像素的数量也可以为2个以外。
图3是说明传递到第1噪声消除处理部40的拜耳排列的图像帧的一例的图。在图3中,“R”表示红色像素、“G”表示绿色像素、“B”表示蓝色像素。如图所示,图像帧为,在奇数线上交替配置蓝色和绿色像素,在偶数线上交替配置绿色和红色像素。数字影像信号朝向图3的H方向的右侧每次1个像素地依次输入,当到达右端时,之后从V方向的下一级的线的左端的像素开始输入。如图所示,当将1个红色像素作为注目像素时,红色像素中在该注目像素的紧后输入的右侧的2个红色像素以及紧前输入的左侧的2个红色像素成为邻近4个像素。各像素,以像素值被输入第1噪声消除处理部40的顺序依次设定为注目像素。
非线性处理部401、尖锐度值计算部402、Ave计算部403、概略噪声值计算部404、乘法器405以及比较器406,作为尖锐部/平坦部判断部起作用,该尖锐部/平坦部判断部为,判断注目像素附近是人看到而感到颜色或亮度的变化为尖锐的尖锐部、还是不尖锐而颜色或亮度的变化为平坦的平坦部。
非线性处理部401为,对于注目像素以及该注目像素的邻近4个像素,根据预定的被视见度特性来进行将像素值转换为非线性的非线性处理,以便在后级能够通过尖锐度值计算部402计算出以与人看的情况接近的感觉来将尖锐度的程度定量化的尖锐度值。尖锐度值计算部402为,在通过非线性处理部401进行了非线性处理后,计算出注目像素与邻近4个像素之间各个差分的绝对值,将该计算出的4个绝对值的平均值作为尖锐度值输出。如此输出的尖锐度值,在注目像素以及邻近4个像素例如包括颜色不同物体的边界部分那样的部分(边缘部分)的情况等、人看到而感到尖锐的程度越大,则取越大的值。另外,此处作为尖锐度值,直接使用注目像素与邻近4个像素之间的各个差分的绝对值的平均值,但是也可以使用对该平均值进一步增加了运算处理的值。
Ave计算部403计算出注目像素以及邻近4个像素这合计5个像素的平均值。概略噪声值计算部404根据Ave计算部403计算出的平均值,计算出对注目像素中混杂的噪声的程度进行概略地表示的概略噪声值。概略噪声值计算部404的概略噪声值的计算方法可以是任意的,但已知随着像素的精细化而增加的散粒噪声的标准偏差一般与像素值平均值的平方根之间存在线性的关系,因此Ave计算部403也可以将计算出的平均值的平方根作为概略噪声值。并且,也可以将对该平方根进一步进行运算处理的值作为概略噪声值。并且,也可以预先求出对摄像部2所使用的摄像元件进行了特化的散粒噪声特性,并根据该散粒噪声特性和上述Ave计算部403计算出的平均值来计算出概略噪声值。乘法器405为,对于概略噪声值计算部404计算出的概略噪声值,乘以通过预先由设定寄存器等赋予的噪声系数(Noise_Mp),由此概略噪声值计算部404进行计算出的概略噪声值的调整。
比较器406对尖锐度值计算部402计算出的尖锐度值与乘法器405调整的概略噪声值进行比较。比较器406,在尖锐度值比概略噪声值大时,判断为注目像素以及邻近4个像素为尖锐部,之后将作为用于对噪声提取部408、409中进行使用的噪声提取部进行选择的选择信号来使用的规定的标志设为0。并且,比较器406,在尖锐度值小于概略噪声值时,由于没有相对于散粒噪声有意义的尖锐度,因此判断为注目像素以及邻近4个像素为平坦部,将标志设为1。
分配器407、第1噪声提取部408以及第2噪声提取部409,作为噪声提取部起作用。
第1噪声提取部408以及第2噪声提取部409,为了在注目像素的校正中使用,使用一维噪声提取滤波器提取比上述的概略噪声值更精密的噪声值。其中,各噪声提取部408、409分别使用具有不同特性的噪声提取滤波器。例如可以是,第1噪声提取部408为了极力保存尖锐度而使用具有低通滤波器那样的特性的噪声提取滤波器,第2噪声提取部409使用在比第1噪声提取部408在广的频率成分中进行平坦化的特性的噪声提取滤波器。分配器407为,根据比较器406的比较结果,决定使用噪声提取部408、409中的哪个噪声提取部来计算对注目像素的噪声消除处理中使用的噪声值,并对该决定的噪声提取部传递注目像素以及邻近4个像素的像素值。即,分配器407为,在上述的规定的标志表示0时,注目像素附近为尖锐部,因此向使用极力保存尖锐度的特性的噪声提取滤波器的噪声提取部408传递注目像素以及邻近4个像素。在上述的规定的标志表示1时,注目像素附近为平坦部,因此分配器407向噪声提取部409传递,该噪声提取部409使用对于比噪声提取部408广的频率成分的像素值进行平坦化的特性的噪声提取滤波器。
振幅限制部410以及加法器411,作为使用由噪声提取部408或噪声提取部409提取的噪声值来对注目像素的像素值进行校正的校正部起作用。即,振幅限制部410,为了防止过校正而对于由噪声提取部408或噪声提取部409提取的噪声值,根据由乘法器405调整了的概略噪声值来进行振幅限制。加法器411,将通过振幅限制部410进行了振幅限制的噪声值与注目像素的像素值相加。第1噪声消除处理部40,将由加法器411输出的注目像素的像素值作为执行了噪声消除处理的像素值输出。
下面,对以上那样构成的第1噪声消除处理部40的动作进行说明。图4是说明第1噪声消除处理部40的动作的流程图。
在图4中,当开始噪声消除处理时,首先第1噪声消除处理部40执行取得Noise_MP的初始设定(步骤S1)。然后,非线性处理部401、Ave计算部403以及分配器407,取得注目像素以及该注目像素的邻近4个像素(步骤S2)。此处,由于第1噪声消除处理部40不具有蓄积像素值的线存储器,因此各构成要素,通过错开定时而从以拜耳排列的顺序逐次输入的像素值中,取得这5个像素的像素值。
非线性处理部401以及尖锐度值计算部402,根据取得的注目像素以及邻近4个像素的像素值,计算出尖锐度值(步骤S3)。Ave计算部403以及概略噪声值计算部404,根据取得的注目像素以及邻近4个像素的像素值,计算出概略噪声值,乘法器405将该概略噪声值与Noise_MP相乘而调整概略噪声值(步骤S4)。
之后,比较器406对尖锐度值与调整后的概略噪声值进行比较(步骤S5)。在尖锐度值比概略噪声值大时(步骤S5,是),比较器406将标志设为“0”,分配器407将取得的注目像素以及邻近4个像素的像素值传递给第1噪声提取部408,第1噪声提取部408提取传递来的注目像素的噪声值(步骤S6)。
在尖锐度值小于概略噪声值时(步骤S5、否),比较器406将标志设为“1”,分配器407将取得的注目像素以及邻近4个像素的像素值传递给第2噪声提取部409,第2噪声提取部409提取传递来的注目像素的噪声值(步骤S7)。
然后,振幅限制部410根据调整后的概略噪声值,对进行了噪声提取的噪声值施加振幅限制(步骤S8),加法器411将进行了振幅限制的噪声值与注目像素的像素值相加(步骤S9)。
如此,第1噪声消除处理部40,根据H方向的像素的排列来判断注目像素附近是尖锐部还是平坦部,在是尖锐部的情况下,进行具有极力保存尖锐度的特性的噪声消除处理,在是平坦部的情况下,进行对广的频率成分的像素值进行平坦化的噪声消除处理。由此,第1噪声消除处理部40能够抑制尖锐的部分的衰减,并执行不损害解像度感的噪声消除处理。即,能够防止画质的劣化并进行噪声消除处理。
下面,对第2噪声消除处理部43的构成进行说明。图5(a)是说明第2噪声消除处理部43的构成的一个例子的框图。
在图5(a)中,第2噪声消除处理部43构成为,使用4H的线存储器,从包括该线存储器以及本线的合计5条线、如图5(b)所示从H方向5个像素×V方向5个像素的像素配置取得包括注目像素的同色9个像素的像素值,对该取得的像素值进行中值处理,检索中央值。通过取得检索的中央值与注目像素的像素值之间的差分来提取负的噪声,将该噪声与规定增益相乘,对该相乘的噪声进行振幅限制而再次与注目像素的像素值相加,由此进行噪声消除。
通过该构成,第2噪声消除处理部43,除了H方向,也能够执行还考虑了V方向的像素的排列的处理,因此能够抑制解像度感的劣化,能够进行高精度的噪声消除处理,但是需要使用线存储器,因此电路规模较大。与此相对,第1噪声消除处理部40由于不具备线存储器,因此与第2噪声消除处理部43相比电路规模以及消费电力较小,且如上所述能够进行抑制了画质的劣化的噪声消除处理。因此,如本发明的第1实施方式的固体摄像装置的构成所示那样,第1噪声消除处理部40与第2噪声消除处理部43可以独立地配置在图像处理部4的初级。
如上所述,根据第1实施方式,构成为,能够根据注目像素以及在该注目像素的紧前及紧后输入的规定数量的像素值,对于以基于摄像元件的排列的顺序而输入的数字摄像信号的像素值,判断注目像素附近是尖锐部还是平坦部,根据判断结果执行不同的噪声消除处理,因此能够提供一种噪声消除处理电路,能够防止画质劣化并进行噪声消除,且电路规模较小。
下面对本发明第2实施方式的固体摄像装置进行说明。第2实施方式为,作为噪声提取部起作用的部分的构成与第1实施方式不同。本第2实施方式的第1噪声消除处理部的符号为50,对该第1噪声消除处理部50的构成以及动作进行说明。
图6是说明第1噪声消除处理部50的构成的框图。对于第1噪声消除处理部50的各构成要素,对于与第1实施方式具有相同功能的构成要素赋予相同符号,并省略详细说明。
第1噪声消除处理部50具有非线性处理部401、尖锐度值计算部402、Ave计算部403、乘法器412、概略噪声值计算部404、乘法器405、比较器406、分配器407、伊普西龙(ε)滤波器413、第3噪声提取部414、振幅限制部410以及加法器411。
ε滤波器413为,在比较器406将标志设为“0”时、即判断为注目像素附近为尖锐部时所使用的滤波器,执行掩蔽(mask)处理以便后级的第3噪声提取部414能够在保存尖锐的部分的状态下除去噪声。具体地说,ε滤波器413,对注目像素以及邻近4个像素的像素值分别与阈值ε进行比较,并进行用注目像素的像素值置换超过阈值ε的像素的像素值的处理。
乘法器412为,将Ave计算部403计算出的注目像素以及邻近4个像素的像素值的平均值,与预先通过设定寄存器等赋予的比1大的值即ε计算用的设定系数(Epsilon_G)相乘,由此计算出阈值ε,将该计算出的阈值ε发送到ε滤波器413。
第3噪声提取部414为,只要是具有将较广频率成分的像素值进行平坦化的特性的滤波器、则可以使用任意的滤波器,例如也可以使用与第2噪声提取部409相同的滤波器。在判断为是尖锐部的注目像素以及邻近4个像素被输出到与第2噪声提取部409相同构成的第3噪声提取部414的情况下,也通过设置在前级的ε滤波器413,值急剧变化而从平均值突出的像素被掩蔽,因此提取噪声值,以便即使执行对较广频率成分的像素值进行平坦化的特性的噪声提取处理,在校正后也不会使尖锐度劣化。
对如上那样构成的第2实施方式的动作进行说明。图7是说明第2实施方式的动作的流程图。在图7中,首先第1噪声消除处理部50执行取得Noise_MP以及Epsilon_G的初始设定(步骤S11)。接着,第1噪声消除处理部50在步骤S12~步骤S14中执行与第1实施方式的步骤S2~步骤S4相同的处理。
接着,比较器406对尖锐度值与调整后的概略噪声值进行比较(步骤S15)。在尖锐度值比概略噪声值大时(步骤S15,是),比较器406将标志设为“0”,分配器407将取得的注目像素以及邻近4个像素的像素值传递给ε滤波器413,ε滤波器413,使用由乘法器412将Ave计算部403所计算出的平均值与Epsilon_G相乘而求得的阈值ε,对传递来的注目像素以及邻近4个像素的像素值进行掩蔽处理(步骤S16)。接着,第3噪声提取部414提取掩蔽处理后的注目像素的噪声值(步骤S17)。
在尖锐度值小于概略噪声值时(步骤S15,否),比较器406将标志设为“1”,分配器407将取得的注目像素以及邻近4个像素的像素值传递给第2噪声提取部409,并转移到步骤S17。在步骤S17中,第3噪声提取部414提取传送来的注目像素的噪声值。
然后,振幅限制部410根据调整后的概略噪声值,对进行了噪声提取的噪声值施加振幅限制(步骤S18),加法器411将进行了振幅限制的噪声值与注目像素的像素值相加(步骤S19)。
然而,在以上的说明中,说明了Epsilon_G为比1大的值,ε滤波器413将比阈值ε大的像素值的像素置换为注目像素的像素值,但是也可以是Epsilon_G为比1小的值,ε滤波器413将比阈值ε小的像素值的像素置换为注目像素的像素值。并且,也可以是,作为Epsilon_G设定为比1大的值和比1小的值这2种,ε滤波器413将超过基于2种Epsilon_G的2种阈值ε中较大的阈值ε的像素值的像素、以及小于较小的阈值ε的像素值的像素,置换为注目像素的像素值。
如上所述,根据第2实施方式,构成为,对于尖锐部在使用ε滤波器之后进行噪声提取,对于平坦部不使用ε滤波器地进行噪声提取,因此能够不使尖锐度劣化并进行噪声消除处理。即,能够提供一种噪声消除处理电路,能够防止画质劣化并进行噪声消除,且电路规模较小。并且,将噪声提取对象的范围的像素的平均像素值与阈值计算用的设定系数相乘,来计算出ε滤波器所使用的阈值ε,因此阈值ε对应于注目像素附近的像素值而变化,因此能够进行高精度的噪声提取。
下面,对本发明第3实施方式的固体摄像装置进行说明。第3实施方式为,作为校正部起作用的部分的构成与第2实施方式不同。本第3实施方式的第1噪声消除处理部的符号为60,对该第1噪声消除处理部60的构成以及动作进行说明。
图8是说明第1噪声消除处理部60的构成的框图。关于第1噪声消除处理部60的各构成要素,对于与第2实施方式具有相同功能的构成要素赋予相同符号,并省略详细说明。
如图8所示,第1噪声消除处理部60构成为,为了能够对于校正所使用的噪声值进一步进行最终的调节,除了第2实施方式的构成之外,还具有选择器415以及乘法器416。
乘法器416为,对于通过振幅限制部410进行了振幅限制的噪声值,进一步乘以选择器415所选择的调节用系数,并传递到加法器411。
选择器415根据是尖锐部还是平坦部的判断来选择乘法器416所相乘的上述调节用系数。即,第1噪声消除处理部60为,预先在设定寄存器中设定:在判断为是尖锐部时相乘的调节用系数ED_MP以及在判断为是平坦部时相乘的调节用系数FL_MP这2种调节用系数。选择器415在标志为“0”时选择ED_MP而传递到乘法器416。选择器415在标志为“1”时选择FL_MP而传递到乘法器416。
调节用系数为,例如在将第3实施方式用于高级机种的情况等、重视细节且一点也不想损伤尖锐度的情况下,为了减弱校正的强度而分别设定为比1小的值。并且,当用于便携电话等中搭载的、搭载了解像度比较低的透镜的照相机的情况下,为了施加较强的校正而分别设定为比1大的值。由于能够分别独立地设定2个调节用系数,因此与通过1个调节用系数使提取的噪声值一律地变化的情况相比,设定的自由度较高、能够进行更优选的设定。
下面,说明第3实施方式的动作。图9是说明第3实施方式的动作的流程图。在图9中,首先第1噪声消除处理部60执行取得Noise_MP、Epsilon_G、ED_MP以及FL_MP的初始设定(步骤S21)。接着,第1噪声消除处理部60在步骤S22~步骤S28中执行与第2实施方式的步骤S12~步骤S18相同的处理。
接着,选择器415判断标志是否为“0”(步骤S29)。在标志为“0”的情况下(步骤S29,是),将ED_MP传递到乘法器416,乘法器416将提取的噪声值与ED_MP相乘(步骤S30)。在标志为“1”的情况下(步骤S29,否),将FL_MP传递到乘法器416,乘法器416将提取的噪声值与FL_MP相乘(步骤S31)。
然后,加法器411将与乘以了ED_MP或者FL_MP的噪声值与注目像素的像素值相加(步骤S32)。
如此,根据第3实施方式,构成为,在对于所提取的注目像素的噪声值,判断为注目像素的附近为平坦部以及尖锐部的各个情况下,与预先赋予的分别不同的系数相乘,因此能够根据制品规格来调节适当的噪声消除量。
本领域技术人员能够容易导出进一步的效果和变形例。因此,本发明的更大范围的方式不限定于以上那样表示、记述的特定的详细以及代表的实施方式。因此,不脱离添加的权利请求以及其等同物所定义的总括的发明概念精神或者范围,能够进行各种变更。

Claims (15)

1.一种噪声消除处理电路,其对数字影像信号的像素值依次进行噪声消除处理,其中数字影像信号是由摄像元件对通过摄像透镜而入射的被摄体像进行摄像,并由模数转换器根据摄像信号所生成的,该噪声消除处理电路的特征在于,具备:
尖锐部/平坦部判断部,根据上述数字影像信号的注目像素以及在该注目像素的紧前及紧后输入的规定数量的像素的像素值,计算出表示尖锐度的尖锐度值和概略表示上述注目像素所含有的噪声值的概略噪声值,并对上述尖锐度值与上述概略噪声值进行比较,由此判断上述注目像素附近是尖锐部还是平坦部;
噪声提取部,根据上述尖锐部/平坦部判断部的判断结果,对于上述注目像素以及在该注目像素的紧前及紧后输入的规定数量的像素,选择出使用一维滤波器的2种噪声提取处理中的1个噪声提取处理并执行,来提取上述注目像素的噪声值;以及
校正部,使用上述提取的注目像素的噪声值,对上述注目像素的像素值进行校正。
2.根据权利要求1所述的噪声消除处理电路,其特征在于,
上述尖锐度值是基于以下差分的绝对值的值,上述差分是根据预定的被视见度特性而分别进行了非线性变换的、上述注目像素的像素值、和在该注目像素的紧前及紧后输入的规定数量的像素的像素值的各个像素值之间的差分。
3.根据权利要求1所述的噪声消除处理电路,其特征在于,
上述概略噪声值是基于上述注目像素的像素值以及在该注目像素的紧前及紧后输入的规定数量的像素的像素值的平均值的平方根的值,或者是根据平均值和预先求出的上述摄像元件的散粒噪声特性而计算出的值。
4.根据权利要求1所述的噪声消除处理电路,其特征在于,
上述噪声提取部,在上述注目像素附近为尖锐部的情况下,在利用了ε滤波器之后,使用噪声提取滤波器提取噪声值,在上述注目像素附近为平坦部的情况下,不利用上述ε滤波器,而使用噪声提取滤波器提取噪声值。
5.根据权利要求1所述的噪声消除处理电路,其特征在于,还具备:
噪声值调整部,在上述注目像素的附近被判断为平坦部的情况以及被判断为尖锐部的情况的各情况下,将预先赋予的分别不同的系数与由上述噪声提取部提取的噪声值相乘;
上述校正部使用由上述噪声值调整部乘以系数的噪声值,对上述注目像素的像素值进行校正。
6.一种噪声消除处理方法,其对数字影像信号的像素值依次进行噪声消除处理,其中数字影像信号是由摄像元件对通过摄像透镜而入射的被摄体像进行摄像,并由模数转换器根据摄像信号所生成的,该噪声消除处理方法的特征在于,
根据上述数字影像信号的注目像素以及在该注目像素的紧前及紧后输入的规定数量的像素的像素值,计算出表示尖锐度的尖锐度值和概略表示上述注目像素所含有的噪声值的概略噪声值;
对上述尖锐度值与上述概略噪声值进行比较,由此判断上述注目像素附近是尖锐部还是平坦部;
根据上述注目像素附近是尖锐部还是平坦部,对于上述注目像素以及在该注目像素的紧前及紧后输入的规定数量的像素,选择出使用一维滤波器的2种噪声提取处理中的1个噪声提取处理并执行,来提取上述注目像素的噪声值;
使用上述提取的注目像素的噪声值,对上述注目像素的像素值进行校正。
7.根据权利要求6所述的噪声消除处理方法,其特征在于,
上述尖锐度值是基于以下差分的绝对值的值,上述差分是根据预定的被视见度特性而分别进行了非线性变换的、上述注目像素的像素值、和在该注目像素的紧前及紧后输入的规定数量的像素的像素值的各个像素值之间的差分。
8.根据权利要求6所述的噪声消除处理方法,其特征在于,
上述概略噪声值是基于上述注目像素的像素值以及在该注目像素的紧前及紧后输入的规定数量的像素的像素值的平均值的平方根的值,或者是根据上述平均值和预先求出的上述摄像元件的散粒噪声特性而计算出的值。
9.根据权利要求6所述的噪声消除处理方法,其特征在于,
在上述注目像素附近为尖锐部的情况下,在利用了ε滤波器之后,使用噪声提取滤波器提取噪声值,在上述注目像素附近为平坦部的情况下,不利用上述ε滤波器,而使用噪声提取滤波器提取噪声值。
10.根据权利要求6所述的噪声消除处理方法,其特征在于,
在上述注目像素的附近被判断为平坦部的情况以及被判断为尖锐部的情况的各情况下,将预先赋予的分别不同的系数与上述提取的噪声值相乘;
使用乘以系数的噪声值,对上述注目像素的像素值进行校正。
11.一种固体摄像装置,其具有摄像透镜、摄像元件、模数转换器以及图像处理部,其中摄像元件对通过摄像透镜而入射的被摄体像进行摄像,模数转换器根据摄像信号生成数字影像信号,图像处理部对该生成的数字影像信号执行图像处理,其特征在于,
上述图像处理部具备:
第1噪声消除处理电路,对上述数字影像信号的像素值依次进行噪声消除处理,设置于上述图像处理部的初级;和
第2噪声消除处理电路,设置于上述第1噪声消除处理电路的后级以后,将经由上述噪声消除处理电路而输入的数字影像信号的像素值蓄积在线存储器中,并使用二维滤波器对该蓄积的像素值进行噪声消除处理;
上述第1噪声消除处理电路具备:
尖锐部/平坦部判断部,根据上述数字影像信号的注目像素以及在该注目像素的紧前及紧后输入的规定数量的像素的像素值,计算出表示尖锐度的尖锐度值和概略表示上述注目像素所含有的噪声值的概略噪声值,并对上述尖锐度值与上述概略噪声值进行比较,由此判断上述注目像素附近是尖锐部还是平坦部;
噪声提取部,根据上述尖锐部/平坦部判断部的判断结果,对于上述注目像素以及在该注目像素的紧前及紧后输入的规定数量的像素,选择出使用一维滤波器的2种噪声提取处理中的1个噪声提取处理并执行,来提取上述注目像素的噪声值;以及
校正部,使用上述提取的注目像素的噪声值,对上述注目像素的像素值进行校正。
12.根据权利要求11所述的固体摄像装置,其特征在于,
上述尖锐度值是基于以下差分的绝对值的值,上述差分是根据预定的被视见度特性而分别进行了非线性变换的、上述注目像素的像素值、和在该注目像素的紧前及紧后输入的规定数量的像素的像素值的各个像素值之间的差分。
13.根据权利要求11所述的固体摄像装置,其特征在于,
上述概略噪声值是基于上述注目像素的像素值以及在该注目像素的紧前及紧后输入的规定数量的像素的像素值的平均值的平方根的值,或者是根据上述平均值和预先求出的上述摄像元件的散粒噪声特性而计算出的值。
14.根据权利要求11所述的固体摄像装置,其特征在于,
上述噪声提取部,在上述注目像素附近为尖锐部的情况下,在利用了ε滤波器之后,使用噪声提取滤波器提取噪声值,在上述注目像素附近为平坦部的情况下,不利用上述ε滤波器,而使用噪声提取滤波器提取噪声值。
15.根据权利要求11所述的固体摄像装置,其特征在于,
第1噪声消除处理电路还具备:噪声值调整部,在上述注目像素的附近被判断为平坦部的情况以及被判断为尖锐部的情况的各情况下,将预先赋予的分别不同的系数与由上述噪声提取部提取的噪声值相乘;
上述校正部使用由上述噪声值调整部乘以系数的噪声值,对上述注目像素的像素值进行校正。
CN2009101791771A 2008-10-07 2009-09-29 噪声消除处理电路、噪声消除处理方法及固体摄像装置 Expired - Fee Related CN101715049B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008260409A JP5060447B2 (ja) 2008-10-07 2008-10-07 ノイズキャンセル処理回路および固体撮像装置
JP260409/2008 2008-10-07

Publications (2)

Publication Number Publication Date
CN101715049A CN101715049A (zh) 2010-05-26
CN101715049B true CN101715049B (zh) 2012-06-27

Family

ID=42075504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101791771A Expired - Fee Related CN101715049B (zh) 2008-10-07 2009-09-29 噪声消除处理电路、噪声消除处理方法及固体摄像装置

Country Status (4)

Country Link
US (1) US8154629B2 (zh)
JP (1) JP5060447B2 (zh)
CN (1) CN101715049B (zh)
TW (1) TWI399080B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010024666A1 (de) * 2010-06-18 2011-12-22 Hella Kgaa Hueck & Co. Verfahren zur optischen Selbstdiagnose eines Kamerasystems und Vorrichtung zur Durchführung eines solchen Verfahrens
JP5445363B2 (ja) 2010-07-08 2014-03-19 株式会社リコー 画像処理装置、画像処理方法および画像処理プログラム
CN101980284B (zh) * 2010-10-26 2012-05-23 北京理工大学 基于两尺度稀疏表示的彩色图像降噪方法
JP5919086B2 (ja) * 2012-05-09 2016-05-18 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム
KR101981573B1 (ko) 2012-11-22 2019-05-23 삼성전자주식회사 이미지 신호 프로세서 및 이미지 신호 프로세서를 포함하는 모바일 촬영 장치
JP6048911B2 (ja) * 2012-12-17 2016-12-21 株式会社リコー 画像処理装置、画像処理方法および撮像装置
CN103067661B (zh) * 2013-01-07 2017-12-05 华为终端有限公司 图像处理方法、装置和拍摄终端
JP6619638B2 (ja) * 2015-12-09 2019-12-11 Eizo株式会社 画像処理装置及びプログラム
WO2018049598A1 (zh) * 2016-09-14 2018-03-22 深圳大学 一种眼底图像增强方法及系统
CN107578387A (zh) * 2017-10-16 2018-01-12 湖南友哲科技有限公司 一种基于hsv颜色空间的同态滤波增强方法
RU2721188C2 (ru) 2017-12-14 2020-05-18 Общество с ограниченной ответственностью "Аби Продакшн" Улучшение контраста и снижение шума на изображениях, полученных с камер
US11508143B2 (en) * 2020-04-03 2022-11-22 Disney Enterprises, Inc. Automated salience assessment of pixel anomalies

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1189652A (zh) * 1997-01-29 1998-08-05 三星电子株式会社 环路滤波器和环路滤波方法
CN1917578A (zh) * 2005-08-18 2007-02-21 索尼株式会社 数据处理设备、数据处理方法及程序
CN101170644A (zh) * 2006-10-25 2008-04-30 奥林巴斯映像株式会社 摄像装置及图像处理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9321372D0 (en) * 1993-10-15 1993-12-08 Avt Communications Ltd Video signal processing
JPH09200579A (ja) * 1996-01-23 1997-07-31 Nippon Hoso Kyokai <Nhk> 画像雑音除去回路
US6094453A (en) * 1996-10-11 2000-07-25 Digital Accelerator Corporation Digital data compression with quad-tree coding of header file
JP3095140B2 (ja) * 1997-03-10 2000-10-03 三星電子株式会社 ブロック化効果の低減のための一次元信号適応フィルター及びフィルタリング方法
RU2150146C1 (ru) * 1998-09-03 2000-05-27 Семенченко Михаил Григорьевич Способ обработки изображения
JP3741982B2 (ja) * 2001-09-10 2006-02-01 シャープ株式会社 ノイズリダクション回路
JP2005210441A (ja) * 2004-01-23 2005-08-04 Sanyo Electric Co Ltd 画像信号処理装置
JP4487658B2 (ja) 2004-07-01 2010-06-23 ソニー株式会社 デジタル画像信号処理装置
TW200733720A (en) * 2006-02-24 2007-09-01 Pixart Imaging Inc Digital image processing method and the device thereof
TWI370673B (en) * 2007-11-05 2012-08-11 Altek Corp Method for an image adjustment and digital image processing device thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1189652A (zh) * 1997-01-29 1998-08-05 三星电子株式会社 环路滤波器和环路滤波方法
CN1917578A (zh) * 2005-08-18 2007-02-21 索尼株式会社 数据处理设备、数据处理方法及程序
CN101170644A (zh) * 2006-10-25 2008-04-30 奥林巴斯映像株式会社 摄像装置及图像处理方法

Also Published As

Publication number Publication date
US20100085447A1 (en) 2010-04-08
US8154629B2 (en) 2012-04-10
TWI399080B (zh) 2013-06-11
CN101715049A (zh) 2010-05-26
TW201015974A (en) 2010-04-16
JP5060447B2 (ja) 2012-10-31
JP2010093470A (ja) 2010-04-22

Similar Documents

Publication Publication Date Title
CN101715049B (zh) 噪声消除处理电路、噪声消除处理方法及固体摄像装置
US7995839B2 (en) Image processing device and method with distance calculating on color space
CN101322416B (zh) 图像信号处理装置及图像信号处理方法
EP2278788B1 (en) Method and apparatus for correcting lens shading
KR101099401B1 (ko) 화상 처리 장치 및 컴퓨터가 판독 가능한 기록 매체
US7710470B2 (en) Image processing apparatus that reduces noise, image processing method that reduces noise, electronic camera that reduces noise, and scanner that reduces noise
US7920183B2 (en) Image processing device and digital camera
JP4395789B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
EP0609592A1 (en) Color wide dynamic range camera
US8086032B2 (en) Image processing device, image processing method, and image pickup apparatus
JP5343726B2 (ja) 画像処理装置、及び画像処理プログラム
EP1931130A2 (en) Image processing apparatus, image processing method, and program
CN101375589A (zh) 用于过滤图像信息的自适应图像过滤器
US20100246994A1 (en) Image processing device, image processing method, and image processing program
WO2008065641A2 (en) Improved processing of mosaic images
JPH05342347A (ja) ディジタル画像処理回路
US20070002153A1 (en) Hue preservation
JP2007094742A (ja) 画像信号処理装置及び画像信号処理プログラム
JP2003304549A (ja) カメラ及び画像信号処理システム
US20140028879A1 (en) Image processing device, image processing method, and solid-state imaging device
WO2019104047A1 (en) Global tone mapping
CN102377911A (zh) 图像处理装置、图像处理方法及摄像机模组
JP4916341B2 (ja) 画像処理装置及び画像処理プログラム
WO2006059365A1 (ja) 画像処理装置、非撮像色信号算出装置及び画像処理方法
JP5103580B2 (ja) 画像処理装置およびデジタルカメラ

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120627

Termination date: 20160929

CF01 Termination of patent right due to non-payment of annual fee