CN101795359A - 摄像设备及其控制方法 - Google Patents

摄像设备及其控制方法 Download PDF

Info

Publication number
CN101795359A
CN101795359A CN201010110780A CN201010110780A CN101795359A CN 101795359 A CN101795359 A CN 101795359A CN 201010110780 A CN201010110780 A CN 201010110780A CN 201010110780 A CN201010110780 A CN 201010110780A CN 101795359 A CN101795359 A CN 101795359A
Authority
CN
China
Prior art keywords
image
developed image
picture signal
shooting part
development treatment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201010110780A
Other languages
English (en)
Other versions
CN101795359B (zh
Inventor
寺山公太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101795359A publication Critical patent/CN101795359A/zh
Application granted granted Critical
Publication of CN101795359B publication Critical patent/CN101795359B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Devices (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明涉及一种摄像设备及其控制方法,所述摄像设备包括:摄像单元,用于生成图像信号,其中,所述摄像单元包括图像传感器,在该图像传感器中,与多种颜色的滤色器相对应地二维排列了用于光电转换被摄体图像的像素;缩小单元,用于缩小从摄像单元输出的图像信号以生成缩小图像;图像处理单元,用于对缩小图像进行显影处理以获得包含亮度成分和色差成分的第一显影图像,并且对从摄像单元输出的图像信号进行显影处理以获得包含亮度成分和色差成分的第二显影图像;放大单元,用于将第一显影图像放大至与第二显影图像的尺寸相同的尺寸;合成部件,用于对第二显影图像和放大图像进行合成。

Description

摄像设备及其控制方法
技术领域
本发明涉及一种在包括图像传感器的摄像设备中的噪声降低技术。
背景技术
近来,安装在诸如数字照相机的电子照相机上的图像传感器由于像素尺寸的减小以及像素数量的增加而倾向于减少每个像素的累积电荷量。为了将感光度(sensitivity)维持在与传统的图像传感器相同的水平上,必须通过放大在读出累积电荷时所获得的信号来进行补偿。由于在放大信号的同时也放大了噪声成分,所以随机噪声变得比以前大,从而导致S/N比降低。由于为了扩宽适于摄像的条件的范围而提高了感光度,所以噪声降低技术变得比以前更加重要。
已知一种通常在单张所拍摄图像的噪声降低技术中使用的方法,例如在日本特开平11-041491号公报中公开的那样,该方法使用二维滤波器来进行低通滤波处理。通过对与感兴趣像素的像素输出值之间的差的绝对值小于或等于预定阈值的周边像素的输出值进行相加和平均,来获得感兴趣像素的输出值。该处理使得振幅小于或等于预定阈值的随机噪声降低。另一方面,振幅大于预定阈值的被摄体边缘部分等保持不变。这使得清晰感方面的劣化达到最小。然而,必须将预定阈值设置得较大以应对较大振幅的随机噪声。这使得难以从具有小振幅的被摄体边缘中区分出随机噪声。由于这个原因,尽管增强了噪声降低效果,但是损失了清晰感。随着滤波器的抽头(tap)数增加,要经过相加和平均的像素数也会增加。因此,尽管增强了噪声降低效果,但是增大了电路规模。
为了解决上述问题,例如,日本特开2007-329905号公报提出了一种使用在两种图像读出模式即低分辨率模式和高分辨率模式下从图像传感器读出的图像数据来进行噪声降低处理的配置。
日本特开2001-057677号公报提出了一种这样的配置:通过缩小原始图像以生成分辨率低于原始图像的分辨率的缩小图像,将缩小图像放大到原始图像的大小,然后将放大图像与原始图像进行合成,来进行噪声降低处理。
这些技术使得能够利用简单的配置来获得高随机噪声降低效果和高分辨率静止图像。
在日本特开2007-329905号公报中,在两种驱动模式之间进行切换。当拍摄运动被摄体的图像时,难以在两种驱动模式下以相同的视角获取同一被摄体的图像。
在日本特开2001-057677号公报中,为了直接使用由图像传感器所生成的RGB信号来执行上述合成处理,有必要生成RGB三色平面以生成任意尺寸的缩小图像。为此,在噪声降低处理期间大大增加了存储器的使用。为了抑制这种存储器使用的增加,在将RGB信号转换成YUV信号之后进行合成处理。与用于生成RGB三色平面的配置相比,转换为YUV信号能够使得所占用的存储区较少。
然而,例如如果噪声降低处理之后的YUV信号具有YUV422数据结构,则上述YUV信号对于两个像素而言包括两个亮度信号(Y)和两个色度信号(U,V)总共四个信号。由于这个原因,如果由图像传感器所生成的RGB信号的位数等于YUV信号的位数,则所占用的存储区加倍。即,进行合成处理所占用的存储区增大。
发明内容
考虑到上述问题而做出了本发明,并且在包括使用二维滤波器进行低通滤波处理的噪声降低单元的摄像设备中,本发明能够在使电路规模和所占用的存储区最小化的同时进行有效的噪声降低。
根据本发明的第一方面,提供一种摄像设备,包括:摄像部件,用于生成图像信号,其中,所述摄像部件包括图像传感器,在所述图像传感器中,与多种颜色的滤色器相对应地二维排列了用于光电转换被摄体图像的像素;缩小部件,用于缩小从所述摄像部件输出的所述图像信号以生成缩小图像;图像处理部件,用于对所述缩小图像进行显影处理以获得包含亮度成分和色差成分的第一显影图像,并且对从所述摄像部件输出的所述图像信号进行显影处理以获得包含亮度成分和色差成分的第二显影图像;放大部件,用于将所述第一显影图像放大至与所述第二显影图像的尺寸相同的尺寸;合成部件,用于对所述第二显影图像和经所述放大部件放大得到的放大图像进行合成;以及存储部件,用于存储从所述摄像部件输出的所述图像信号、所述缩小图像、所述第一显影图像、所述第二显影图像和所述放大图像,其中,所述图像处理部件对从所述摄像部件输出的所述图像信号的部分区域进行显影处理,以获得对应于所述部分区域的第二显影图像,并且在所述合成部件已将对应于所述部分区域的第二显影图像与对应于所述部分区域的放大图像进行合成之后,所述图像处理部件对从所述摄像部件输出的所述图像信号的除所述部分区域以外的剩余区域进行显影处理,以获得对应于所述剩余区域的第二显影图像。
根据本发明的第二方面,提供一种摄像设备的控制方法,其中,所述摄像设备包括用于生成图像信号的摄像部件,所述摄像部件包括图像传感器,在所述图像传感器中,与多种颜色的滤色器相对应地二维排列了用于光电转换被摄体图像的像素,所述控制方法包括以下步骤:缩小步骤,用于缩小从所述摄像部件输出的所述图像信号以生成缩小图像;图像处理步骤,用于对所述缩小图像进行显影处理以获得包含亮度成分和色差成分的第一显影图像,并且对从所述摄像部件输出的所述图像信号进行显影处理以获得包含亮度成分和色差成分的第二显影图像;放大步骤,用于将所述第一显影图像放大至与所述第二显影图像的尺寸相同的尺寸;合成步骤,用于对所述第二显影图像和在所述放大步骤中放大得到的放大图像进行合成;以及存储步骤,用于将从所述摄像部件输出的所述图像信号、所述缩小图像、所述第一显影图像、所述第二显影图像和所述放大图像存储在存储部件中,其中,在所述图像处理步骤中,对从所述摄像部件输出的所述图像信号的部分区域进行显影处理,以获得对应于所述部分区域的第二显影图像,并且在所述合成步骤中已将对应于所述部分区域的第二显影图像与对应于所述部分区域的放大图像进行合成之后,在所述图像处理步骤中,对从所述摄像部件输出的所述图像信号的除所述部分区域以外的剩余区域进行显影处理,以获得对应于所述剩余区域的第二显影图像。
通过以下参考附图对典型实施例的说明,本发明的其他特征将变得显而易见。
附图说明
图1是示出应用本发明的数字照相机的实施例的示意性配置的框图;
图2是根据该实施例的数字照相机的摄像操作的流程图;
图3是图2中的摄像子程序的流程图;
图4是示意性示出存储器的占用状态的图;
图5是针对各摄像感光度设置合成处理中的增益的表;以及
图6A至图6D是缩小处理的解释图。
具体实施方式
以下将参考附图详细说明本发明的实施例。
在本实施例中,图像传感器103是对具有拜尔矩阵(Bayermatrix)式的多种颜色的滤色器(color filter)的像素进行了二维排列的普通CCD或CMOS传感器。由图像处理单元108显影的图像格式是YUV 422数据结构。在该YUV 422数据结构中,各个像素独立地给出亮度(Y),并且相邻像素共有亮度与蓝色成分之间的色差(U)以及亮度与红色成分之间的色差(V)的数据。
图1是示出应用本发明的数字照相机(摄像设备)的实施例的示意性配置的框图。
在根据该实施例的数字照相机中,图像传感器103对通过光学系统101和快门102形成的被摄体图像进行光电转换,从而生成图像信号。包括CDS电路和非线性放大电路(两者都未示出)的预处理电路104从光电转换后的图像信号中去除输出噪声。A/D转换器105对该图像信号进行数字化。存储器控制器106将该图像信号存储在存储器107中。图像处理单元108对从存储器107读出的RGB信号进行噪声降低处理和显影处理(development process),以获得YUV信号(显影图像)。图像处理单元108还转换图像格式并将该图像存储在存储介质109中。图像处理单元108通过使用二维滤波器的上述低通滤波处理来执行噪声降低处理。注意,显示单元110显示所拍摄到的图像、照相机状态信息等。开关111(在下文中将被称为SW1)用于指示摄像的准备动作,例如AE(自动曝光控制)处理或AF(自动调焦控制)处理。摄像开关112(在下文中将被称为SW2)用于在开关SW1的操作之后指示摄像的开始。主开关113(在下文中将被称为主SW)用于使数字照相机通电。系统控制器114控制整个数字照相机的操作。图像处理单元108包括显影处理单元108a、缩小处理单元108b、放大处理单元108c、合成处理单元108d和格式转换单元108e。
下面将参考图2详细说明根据该实施例的数字照相机的操作。图2是示出根据该实施例的数字照相机的摄像操作的流程图。
在步骤S201中,系统控制器114检测用于使数字照相机通电的主SW 113的状态。如果主SW 113接通(ON),则处理进入步骤S202。在步骤S202中,系统控制器114检查存储介质109的剩余容量。如果剩余容量为0,则处理进入步骤S203。否则,处理进入步骤S204。在步骤S203中,系统控制器114使显示单元110显示表示存储介质109的剩余容量为0的警告,并且处理返回至步骤S201。
在步骤S204中,系统控制器114检查开关SW1 111的状态。如果开关SW1 111接通,则处理进入步骤S206。否则,处理进入步骤S205。在步骤S205中,系统控制器114检查主SW 113的状态。如果主SW 113接通,则处理返回至步骤S204。否则处理返回至步骤S201。在步骤S206中,系统控制器114进行AE处理,以基于所设置的摄像模式、快门速度和感光度来确定曝光条件。在步骤S207中,系统控制器114进行AF处理。
在步骤S208中,系统控制器114检查开关SW2 112的状态。如果开关SW21 12接通,则处理进入步骤S210。否则,处理进入步骤S209。在步骤S209中,系统控制器114检查开关SW1 111的状态。如果开关SW1 111接通,则处理返回至步骤S208。否则,处理返回至步骤S204。在步骤S210中,系统控制器114根据下文要描述的图3的流程图进行摄像操作。在步骤S211中,系统控制器114检查存储介质109在摄像操作之后的剩余容量。如果该剩余容量为0或几乎为0,则处理进入步骤S203。否则,处理进入步骤S212。在步骤S212中,系统控制器114检查开关SW2 112的状态。如果开关SW2 112未接通,则处理进入步骤S209。
下面,将参考图3的流程图描述图2中所示的流程图的步骤S210中的摄像子程序。图3是图2的流程图中的摄像子程序(步骤S210)的流程图。
在步骤S301中,系统控制器114根据在图2的流程图中通过AE处理(步骤S206)确定的曝光条件,进行图像传感器103的曝光。将形成在图像传感器上的被摄体图像光电转换为模拟图像信号。在步骤302中,将该信号发送至A/D转换器105并将其转换为数字图像信号。
在步骤S303中,如果在步骤S301中进行曝光即摄像时所设置的感光度等于或低于预先设置的预定感光度,则处理进入步骤S304。否则,处理进入步骤S305。注意,例如,将预定感光度设置为ISO 100或ISO 200,即,设置为由于噪声水平较低而不需要强噪声降低效果的摄像感光度。
在步骤S304中,图像处理单元108对从A/D转换器105输出的图像信号进行显影。更具体地,图像处理单元108通过白平衡处理来调节RGB信号的增益,通过颜色插值处理来生成RGB三色平面,并且通过掩模(masking)处理来调节色相。在经过颜色插值处理之后的RGB颜色平面中,通过使用二维滤波器的低通滤波处理来执行噪声降低处理。如上所述,该噪声降低处理通过对与感兴趣像素的像素输出值之间的差的绝对值小于或等于预定阈值的周边像素的输出值进行相加和平均,来获得感兴趣像素的输出值,从而减少振幅小于或等于预定阈值的随机噪声。另外,执行伽马转换处理以进行在显示器等上显示图像所必需的处理。将RGB信号转换为包括亮度(Y)、蓝色成分的色差(U)和红色成分的色差(V)的YUV信号,并将其存储在存储器107中。
在这种情况下,例如,通过以下各式将RGB信号转换为YUV信号:
Y=0.299×R+0.587×G+0.114×B     …(1)
U=-0.169×R-0.331×G+0.500×B    …(2)
V=0.500×R-0.419×G-0.081×B     …(3)
步骤S305至步骤S311表示当在步骤S303中判断出已经以比预定感光度高的摄像感光度拍摄了图像并且需要进行比在步骤S304的显影处理中进行的噪声降低处理强的噪声降低处理时所执行的处理。图4是示意性示出步骤S305至步骤S311中存储器的占用状态的图。
如下文所述,在步骤S309至步骤S311的处理中,将图像分割为多个区域,并且对各分割区域进行处理,从而使占用的存储区变小。在以下要说明的这个实施例中,将整个图像区域分割为三个部分并进行处理。从具有拜尔矩阵式滤色器的图像传感器中获得的图像信号对于每个像素而言包括一个图像信号。然而,当所显影的图像具有YUV 422格式时,如在这个实施例中那样,该图像对于两个像素而言包括两个亮度信号(Y)和两个色度信号(U,V)总共4个信号。由于这个原因,如果位数未发生变化,则所需的容量加倍。作为一种对策,本实施例通过分割处理使在存储器中同时存储的YUV信号量尽可能地小来使所占用的存储区达到最小。
注意,将由图像传感器103所获得的图像尺寸称为等倍尺寸(direct size),并且下文中,将以下要描述的经过图像处理单元108中的缩小处理单元的缩小处理之后的图像尺寸称为缩小尺寸。
在步骤S305中,存储器控制器106将从A/D转换器105输出的等倍尺寸的图像信号存储在存储器107中(图4中的a)。
在步骤S306中,图像处理单元108中的缩小处理单元108b读出在步骤S305中记录在存储器107中的等倍尺寸的图像信号,缩小图像尺寸以生成缩小尺寸的图像信号,并将其存储在存储器107中(图4中的b)。
例如通过图6A和图6B中所示的方法来执行缩小处理。图6A示出将滤色器R-G的水平行缩小至1/3的处理。图6B示出将滤色器G-B的水平行缩小至1/3的处理。
首先,对相同颜色的三个相邻像素,跳过两个像素来进行权重为[1,2,1]的相加和平均,从而获得在水平方向上缩小至1/3的图像信号。然后,基于在水平方向上缩小至1/3的图像信号,通过相同的运算获得在垂直方向上缩小至1/3的图像信号。
在步骤S307中,图像处理单元108中的显影处理单元108a对通过步骤S306中的缩小处理所获得的缩小尺寸的图像信号进行显影,从而获得缩小尺寸的YUV信号(第一显影图像)。在步骤S308中,存储器控制器106将缩小尺寸的YUV信号存储在存储器107中(图4中的c)。
在步骤S309中,图像处理单元108中的显影处理单元108a对在步骤S305中存储在存储器107中的等倍尺寸的图像信号的一个分割区域进行显影。从而获得一个分割区域的等倍尺寸的YUV信号(第二显影图像)(图4中的d)。
与步骤S309的显影处理相比,在步骤S307的显影处理中,更强地通过使用二维滤波器的低通滤波处理进行噪声降低处理。更具体地,将在步骤307中利用低通滤波处理进行随机噪声降低的第一阈值设置为大于在步骤S309中进行随机噪声降低的第二阈值,从而执行更强的噪声降低处理。
即,根据感兴趣像素与周边像素之间的像素输出值的差,通过对感兴趣像素和周边像素的像素输出值相加和平均而进行的随机噪声降低处理,不是在等倍尺寸的图像信号的显影处理中而是在缩小尺寸的图像信号的显影处理中进行的。
更具体地,基于不会造成被摄体图像的细微边缘信息的任何缺失而设置的阈值进行等倍图像显影。然而,在缩小图像显影中,与缩小处理时的加权相加和平均一起,设置阈值以尽可能多地减少随机噪声。因此,对于噪声水平升高的高感光度摄像,例如,将阈值设置为比等倍图像的阈值大大约1.5倍。
注意,步骤S304的显影处理中的噪声降低处理的强度几乎与步骤S309的显影处理中的噪声降低处理的强度相同。
在步骤S310中,图像处理单元108中的放大处理单元108c从存储器107中读出与在步骤S309中所显影的分割区域相对应的缩小尺寸的YUV信号。然后,放大处理单元108c将这些信号放大至与在步骤S309中所显影的等倍尺寸的YUV信号相同的尺寸(图4中的e)。使用例如在日本特开平11-053531号公报中所描述的插值方法来进行用于获得放大图像的放大处理,本文将省略对其的说明。
在步骤S311中,图像处理单元108中的合成处理单元108d将步骤S310中所放大的YUV图像和步骤S309中所显影的等倍尺寸的YUV图像进行合成。合成处理单元108d通过存储器控制器106将所获得的合成YUV信号(合成图像)存储在存储器107中(图4中的f)。
通过加权合成来进行合成处理。然而,如果对图像直接相加,则各信号值加倍,从而产生曝光过度的图像。为了防止这种情况,在合成处理之前将两个合成目标图像乘以总和为1的增益,然后进行相加。这样能够获得曝光与合成前的曝光相同的图像。通过增益设置来确定合成比率。如图5所示,增益值根据摄像感光度而改变。对于亮度成分和色差成分,通过改变增益设置来改变合成比率。这里所设置的合成比率将影响合成图像的质量。这将在下文进行说明。
如上所述,在步骤S309至步骤S311中对一个(部分)分割区域进行处理。因此,将步骤S309至步骤S311中的处理重复进行与图像区域的分割数量一样多的次数,从而获得整个图像的显影YUV信号(图4中的g至m)。
在步骤S312中,图像处理单元108中的格式转换单元108e将在步骤S304或步骤S311中存储在存储器107中的显影YUV信号的图像格式转换成例如JPEG格式。在步骤S313中,将图像传送至存储介质109并进行存储。注意,在步骤S304中获得的图像相当于通过使合成处理单元108d将步骤S310中放大得到的YUV图像的合成比率设置为0而获得的图像。
如上所述,在该实施例中,将等倍尺寸的图像信号的图像和缩小尺寸的图像信号的图像这两者都分割为多个区域。针对各分割区域,在不同的定时顺序进行根据等倍尺寸的图像信号和缩小尺寸的图像信号中的每一个生成YUV信号并在使这些YUV信号的尺寸相等之后对其进行合成的处理。由于这个原因,针对各分割区域在不同的定时将根据等倍图像信号所生成的等倍尺寸的YUV信号存储在存储器中。在完成合成处理之前,对应于整个图像区域的等倍尺寸的YUV信号从来没有同时存在于存储器中。因此,可以最小化电路规模和所占用的存储区。
注意,在这个实施例中,通过对整个图像区域的缩小尺寸的图像信号进行显影,一次获得整个图像区域的缩小尺寸的YUV信号。作为替代,与等倍尺寸的YUV信号一样,可以针对各个区域在不同的定时根据缩小尺寸的图像信号来获得缩小尺寸的YUV信号。
在将噪声降低强度设置为高的情况下,采用使用二维滤波器的低通滤波处理的噪声降低部件使得清晰感劣化。另外,噪声降低效果受滤波器抽头数的限制。
然而,在这个实施例中,通过将具有强噪声降低效果的放大得到的YUV信号与维持清晰感的等倍尺寸的YUV信号进行合成,来获得最终的显影图像。放大得到的YUV信号由于缩小处理和放大处理而损失了清晰感。然而,即使在滤波器抽头数不变的情况下,针对低频噪声也能获得噪声降低处理的效果。因此,噪声降低处理对于颜色成分的噪声尤其有效。该实施例提供有通过设置强噪声降低处理而侧重于噪声降低的放大得到的YUV信号以及侧重于保持清晰感的等倍尺寸的YUV信号。在合成处理中,在平衡清晰感和噪声降低效果的同时,针对亮度成分和色差成分分别设置合成比率。如图5所示,对于对清晰感的劣化影响不大的颜色成分,针对色差成分的放大得到的YUV信号的合成比率高于针对亮度成分的放大得到的YUV信号的合成比率。
在低感光度处,噪声量小。由于这个原因,不进行使清晰感劣化的合成处理,或者将放大图像的合成比率设置为0。
相反,在低感光度处,尽管将通过对缩小尺寸的YUV信号进行放大所获得的YUV信号与等倍尺寸的YUV信号进行合成,但是可以不进行利用低通滤波处理的噪声降低处理。如上所述,放大得到的YUV信号由于缩小处理和放大处理而损失了清晰感。然而,放大得到的YUV信号和等倍尺寸的YUV信号的加权合成使得能够获得与等倍尺寸的YUV信号的低通滤波处理的效果类似的效果。
注意,在上述实施例中,将图3中流程图的步骤S306中的缩小处理的缩小比率设置为1/3。然而,缩小比率不限于1/3。
还可以基于摄像感光度的设置值来改变缩小比率。例如,如图6C和图6D中所示,对相同颜色的五个相邻像素,跳过四个像素来进行权重为[1,4,6,4,1]的相加和平均,从而获得缩小至1/6的图像信号。越高的缩小比率能够实现越有效的平均并产生越高的噪声降低效果。由于这个原因,在例如ISO 400或ISO 800的摄像感光度处将缩小处理设置为1/3以及在ISO 1600的摄像感光度处将缩小处理设置为1/6同样是有效的。
不仅在高于预定感光度的摄像感光度处,而且在任何其他摄像感光度处,都可以将通过对缩小尺寸的YUV信号进行放大所获得的YUV信号与等倍尺寸的YUV信号进行合成。
在上述实施例中,图像传感器是包括拜尔矩阵式滤色器的CCD或CMOS传感器。然而,本发明并不限于此。显影处理之后的图像格式是YUV 422数据结构。作为替代,可使用YUV 411数据结构或YUV 444数据结构。
当对图像进行显影时,将图像区域分割为三个部分。然而,本发明不限于此。必须注意,由于重复处理会延长处理时间,因此不能使分割区域的数量过大。
如上所述,根据该实施例的摄像设备,可以获得较强的噪声降低效果,同时可以在最小化电路规模和所占用的存储区的同时避免诸如连拍性能等性能方面的任何劣化。
其他实施例
还可以通过系统或设备的计算机(或者诸如CPU或MPU的装置)和方法来实现本发明的各方面,其中,上述系统或设备的计算机读出并执行记录在存储器装置上的程序以进行上述实施例的功能;由系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来执行上述方法的步骤。为了该目的,例如通过网络或者从用作存储器装置的各种类型的记录介质(例如,计算机可读介质)来向该计算机提供该程序。
尽管参考典型实施例说明了本发明,但是应该理解,本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释,以包含所有这类修改、等同结构和功能。

Claims (9)

1.一种摄像设备,包括:
摄像部件,用于生成图像信号,其中,所述摄像部件包括图像传感器,在所述图像传感器中,与多种颜色的滤色器相对应地二维排列了用于光电转换被摄体图像的像素;
缩小部件,用于缩小从所述摄像部件输出的所述图像信号以生成缩小图像;
图像处理部件,用于对所述缩小图像进行显影处理以获得包含亮度成分和色差成分的第一显影图像,并且对从所述摄像部件输出的所述图像信号进行显影处理以获得包含亮度成分和色差成分的第二显影图像;
放大部件,用于将所述第一显影图像放大至与所述第二显影图像的尺寸相同的尺寸;
合成部件,用于对所述第二显影图像和经所述放大部件放大得到的放大图像进行合成;以及
存储部件,用于存储从所述摄像部件输出的所述图像信号、所述缩小图像、所述第一显影图像、所述第二显影图像和所述放大图像,
其中,所述图像处理部件对从所述摄像部件输出的所述图像信号的部分区域进行显影处理,以获得对应于所述部分区域的第二显影图像,并且在所述合成部件已将对应于所述部分区域的第二显影图像与对应于所述部分区域的放大图像进行合成之后,所述图像处理部件对从所述摄像部件输出的所述图像信号的除所述部分区域以外的剩余区域进行显影处理,以获得对应于所述剩余区域的第二显影图像。
2.根据权利要求1所述的摄像设备,其特征在于,所述图像处理部件对所述缩小图像进行第一噪声降低处理和显影处理,以获得包括亮度成分和色差成分的第一显影图像,并且对从所述摄像部件输出的所述图像信号进行第二噪声降低处理和显影处理,以获得包括亮度成分和色差成分的第二显影图像。
3.根据权利要求2所述的摄像设备,其特征在于,所述第二噪声降低处理比所述第一噪声降低处理弱。
4.根据权利要求1所述的摄像设备,其特征在于,当摄像期间的感光度不大于预定感光度时,所述合成部件将所述放大图像相对于所述第二显影图像的合成比率设置为零。
5.根据权利要求1所述的摄像设备,其特征在于,当摄像期间的感光度不大于预定感光度时,所述图像处理部件仅生成所述第二显影图像,而无需通过所述缩小部件进行缩小处理以及通过所述放大部件进行放大处理,并且所述合成部件不执行合成处理。
6.根据权利要求1所述的摄像设备,其特征在于,所述缩小部件的缩小比率根据摄像时的感光度的设置值而改变。
7.根据权利要求1所述的摄像设备,其特征在于,所述合成部件对所述放大图像和所述第二显影图像的合成比率在所述图像信号的亮度成分与色差成分之间不同,并且所述合成比率还根据摄像时的感光度的设置值而改变。
8.根据权利要求1所述的摄像设备,其特征在于,所述图像处理部件、所述放大部件和所述合成部件在将处理目标图像分割成多个区域之后进行处理。
9.一种摄像设备的控制方法,其中,所述摄像设备包括用于生成图像信号的摄像部件,所述摄像部件包括图像传感器,在所述图像传感器中,与多种颜色的滤色器相对应地二维排列了用于光电转换被摄体图像的像素,所述控制方法包括以下步骤:
缩小步骤,用于缩小从所述摄像部件输出的所述图像信号以生成缩小图像;
图像处理步骤,用于对所述缩小图像进行显影处理以获得包含亮度成分和色差成分的第一显影图像,并且对从所述摄像部件输出的所述图像信号进行显影处理以获得包含亮度成分和色差成分的第二显影图像;
放大步骤,用于将所述第一显影图像放大至与所述第二显影图像的尺寸相同的尺寸;
合成步骤,用于对所述第二显影图像和在所述放大步骤中放大得到的放大图像进行合成;以及
存储步骤,用于将从所述摄像部件输出的所述图像信号、所述缩小图像、所述第一显影图像、所述第二显影图像和所述放大图像存储在存储部件中,
其中,在所述图像处理步骤中,对从所述摄像部件输出的所述图像信号的部分区域进行显影处理,以获得对应于所述部分区域的第二显影图像,并且在所述合成步骤中已将对应于所述部分区域的第二显影图像与对应于所述部分区域的放大图像进行合成之后,在所述图像处理步骤中,对从所述摄像部件输出的所述图像信号的除所述部分区域以外的剩余区域进行显影处理,以获得对应于所述剩余区域的第二显影图像。
CN2010101107807A 2009-02-03 2010-02-03 摄像设备及其控制方法 Expired - Fee Related CN101795359B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009-022964 2009-02-03
JP2009022964 2009-02-03
JP2009282224A JP5430379B2 (ja) 2009-02-03 2009-12-11 撮像装置及びその制御方法及びプログラム
JP2009-282224 2009-12-11

Publications (2)

Publication Number Publication Date
CN101795359A true CN101795359A (zh) 2010-08-04
CN101795359B CN101795359B (zh) 2012-06-27

Family

ID=42133743

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101107807A Expired - Fee Related CN101795359B (zh) 2009-02-03 2010-02-03 摄像设备及其控制方法

Country Status (4)

Country Link
US (1) US8218021B2 (zh)
EP (1) EP2214136B1 (zh)
JP (1) JP5430379B2 (zh)
CN (1) CN101795359B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104823446A (zh) * 2012-12-06 2015-08-05 索尼公司 图像处理装置、图像处理方法及程序

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5677040B2 (ja) * 2010-11-08 2015-02-25 キヤノン株式会社 画像処理装置およびその制御方法
JP5911241B2 (ja) * 2011-09-07 2016-04-27 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
KR102087986B1 (ko) * 2013-10-04 2020-03-11 삼성전자주식회사 이미지 데이터를 처리하는 방법 및 장치
JP2017028114A (ja) * 2015-07-23 2017-02-02 パナソニックIpマネジメント株式会社 光検出器、光検出装置、固体撮像装置およびカメラシステム
JP6891014B2 (ja) * 2017-03-22 2021-06-18 キヤノン株式会社 画像処理装置および画像処理方法、並びにプログラム
JP6650986B2 (ja) * 2018-10-23 2020-02-19 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1141491A (ja) 1997-07-16 1999-02-12 Matsushita Electric Ind Co Ltd 2次元ノイズ低減回路
JP3754803B2 (ja) 1997-07-31 2006-03-15 キヤノン株式会社 撮像装置
US6631216B2 (en) * 1997-07-31 2003-10-07 Canon Kabushiki Kaisha Image interpolation apparatus
JP3995854B2 (ja) 1999-06-10 2007-10-24 富士フイルム株式会社 画像処理方法および装置並びに記録媒体
EP1059811A2 (en) * 1999-06-10 2000-12-13 Fuji Photo Film Co., Ltd. Method and system for image processing, and recording medium
US6807319B2 (en) * 2000-06-12 2004-10-19 Sharp Laboratories Of America, Inc. Methods and systems for improving display resolution in achromatic images using sub-pixel sampling and visual error filtering
JP4187425B2 (ja) * 2000-09-11 2008-11-26 富士フイルム株式会社 画像制御装置およびディジタルカメラ
US20030112863A1 (en) * 2001-07-12 2003-06-19 Demos Gary A. Method and system for improving compressed image chroma information
US7266254B2 (en) * 2002-02-13 2007-09-04 Canon Kabushiki Kaisha Data processing apparatus, image processing apparatus, and method therefor
JP3800192B2 (ja) * 2002-05-21 2006-07-26 カシオ計算機株式会社 撮像装置、画像合成方法及び画像合成プログラム
JP3804617B2 (ja) * 2003-02-14 2006-08-02 コニカミノルタフォトイメージング株式会社 画像処理装置及び方法
JP4118766B2 (ja) * 2003-08-25 2008-07-16 株式会社リコー 撮像装置および撮像方法
US7257271B2 (en) * 2003-12-17 2007-08-14 Eastman Kodak Company Noise reduction in color digital images using pyramid decomposition
CN100456212C (zh) * 2004-03-18 2009-01-28 钟煜曦 一种基于图像的互动输入控制方法及系统
JP2006211037A (ja) * 2005-01-25 2006-08-10 Olympus Imaging Corp 画像処理方法及び画像処理装置
KR100632679B1 (ko) * 2005-03-09 2006-10-12 엘지전자 주식회사 디지털 디스플레이 디바이스의 영상처리장치
JP5352942B2 (ja) * 2005-03-31 2013-11-27 株式会社ニコン 画像処理方法、画像処理プログラム、および画像処理装置
JP4683994B2 (ja) * 2005-04-28 2011-05-18 オリンパス株式会社 画像処理装置、画像処理方法、電子カメラ、スキャナ
US7755670B2 (en) * 2005-10-24 2010-07-13 Nikon Corporation Tone-conversion device for image, program, electronic camera, and tone-conversion method
JP4840967B2 (ja) * 2005-12-01 2011-12-21 キヤノン株式会社 撮像装置及び画像処理方法及びプログラム及び記憶媒体
JP4943721B2 (ja) * 2006-03-20 2012-05-30 株式会社リコー 画像データのカラーノイズ除去方法及びこの方法を用いた撮像装置
EP2003612A4 (en) * 2006-03-31 2010-10-13 Nikon Corp IMAGE PROCESSING
US7898581B2 (en) * 2006-05-08 2011-03-01 Panasonic Corporation Image pickup apparatus with noise reduction unit
JP4874864B2 (ja) 2006-05-08 2012-02-15 パナソニック株式会社 撮像装置
CN100550996C (zh) * 2006-07-31 2009-10-14 株式会社理光 图像处理装置,成像装置以及图像处理方法
JP5009004B2 (ja) * 2006-07-31 2012-08-22 株式会社リコー 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム
JP2008053800A (ja) * 2006-08-22 2008-03-06 Pentax Corp デジタルカメラ
US7956907B2 (en) * 2006-08-23 2011-06-07 Panasonic Corporation Image capture device with low-frequency noise suppression

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104823446A (zh) * 2012-12-06 2015-08-05 索尼公司 图像处理装置、图像处理方法及程序
CN104823446B (zh) * 2012-12-06 2019-09-10 索尼公司 图像处理装置、图像处理方法

Also Published As

Publication number Publication date
JP2010206776A (ja) 2010-09-16
CN101795359B (zh) 2012-06-27
EP2214136B1 (en) 2012-10-10
EP2214136A2 (en) 2010-08-04
EP2214136A3 (en) 2011-08-17
JP5430379B2 (ja) 2014-02-26
US8218021B2 (en) 2012-07-10
US20100194916A1 (en) 2010-08-05

Similar Documents

Publication Publication Date Title
CN101795359B (zh) 摄像设备及其控制方法
US6192162B1 (en) Edge enhancing colored digital images
US8395684B2 (en) Noise reduction apparatus, method and program for controlling same, image sensor and digital camera
US6888568B1 (en) Method and apparatus for controlling pixel sensor elements
US7133073B1 (en) Method and apparatus for color interpolation
US8605999B2 (en) Signal processing apparatus and method, noise reduction apparatus and method, and program therefor
US7868927B2 (en) Image data generating apparatus, method and program
CN102090067B (zh) 摄像装置、图像处理方法、图像处理程序及半导体集成电路
CN100407775C (zh) 图像捕获装置、图像传感器和图像捕获处理方法
US8259202B2 (en) Image processing device and image processing program for acquiring specific color component based on sensitivity difference between pixels of an imaging device
CN100534133C (zh) 摄像装置及图像处理方法
JP2004088149A (ja) 撮像システムおよび画像処理プログラム
EP2228983B1 (en) Image data generation device, image data generation method, and image data generation program
US7995120B2 (en) Image brightness compensating apparatus and method, recorded medium recorded the program performing it
JP2013162347A (ja) 画像処理装置、画像処理方法、プログラム、および装置
US7239758B2 (en) Signal processing device for reducing noise of image signal, signal processing program, and signal processing method
US7986856B2 (en) Method and apparatus for increasing brightness of image captured in low light
CN101287131B (zh) 成像装置和成像方法
Lukac Single-sensor digital color imaging fundamentals
JP2007251611A (ja) 撮像装置
JP2023125900A (ja) 画像処理装置及び画像処理装置の制御方法
JP4732795B2 (ja) 固体撮像装置および画像補正方法
JP2004173060A (ja) ノイズ除去方法、撮像装置およびノイズ除去プログラム
JP2003052051A (ja) 画像信号処理方法、画像信号処理装置、撮像装置及び記録媒体
US20040208393A1 (en) Image processing device, image processing method, and image processing program product for making determination based on spectrum

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120627

Termination date: 20200203