CN102572274B - 图像信号处理装置以及图像信号处理方法 - Google Patents

Abstract

在搭载在一般的数字照相机和摄像机上的摄像元件中，存在伴随温度的变化而增减的缺陷，成为像素劣化的原因。具备：包含对来自被摄体的入射光进行光电变换并作为图像信号输出的摄像元件的摄像单元；检测摄像元件的缺陷像素的缺陷像素检测单元；补正用该缺陷像素检测单元检测到的缺陷像素的缺陷像素补正单元；对来自该缺陷像素补正单元的信号针对任意的区域的每一个进行图像信号补正的图像信号补正单元；测量摄像元件附近温度的温度测量单元，综合地控制图像信号处理系统的系统控制单元，系统控制单元使用从上述温度测量单元得到的温度信息，控制缺陷像素检测单元检测缺陷像素时的检测条件、即曝光时间、缺陷像素检测阈值、增益中的至少1个或者多个。

Description

图像信号处理装置以及图像信号处理方法

技术领域

本发明涉及图像信号处理装置以及图像信号处理方法。 

背景技术

作为本技术领域的背景技术，例如有日本特开2010-273378号公报(专利文献1)。在该公报中记载如下，“[课题]提供一种在进行降低噪声时，即使发生暗电流噪声也能进行高精度的缺陷检测，另外，可以尽可能防止由暗电流噪声的增加引起的摄像动态范围降低的摄像装置、以及采用该摄像装置的噪声去除方法以及噪声去除程序。[解决方法]具备：具有用于摄像被摄体的多个像素的摄像单元；取得在非遮光状态下得到的亮时信号的亮时信号取得单元；取得在遮光状态下得到的暗时信号的暗时信号取得单元；放大所得到的亮时信号或者暗时信号的第1放大单元；从所取得的亮时信号中减去所取得的暗时信号并输出减法运算信号的减法运算单元；放大经过减法运算的减发运算信号的第2放大单元；取得在取得亮时信号时的摄像条件的摄像条件取得单元；根据取得的摄像条件改变第1放大单元以及第2放大单元的增益的增益补正单元”(参照摘要)。 

[专利文献1]日本特开2010-273378号公报 

例如在一般的数码照相机和数码摄像机等的摄像装置中，使用对入射光进行光电变换的摄像元件。在摄像元件中，存在输出特性不同的像素、输出异常高的信号的像素的所谓的白缺陷。因此，如果直接使用摄像元件输出的信号，则将会对画质带来不良影响。在使数码照相机和数码摄像机高画质中，需要补正这些缺陷的单元。 

作为用于补正这种缺陷的一般的降低噪声技术，有如下的技术。首先在关闭快门的状态下进行摄影，将暗图像保存在存储器中，接着在打 开快门的状态下进行常规的摄影得到亮图像。通过从所得到的亮图像中减去暗图像，实现降低噪声。但是，在该方法中，不能高精度地进行亮图像的饱和的像素的补正，而且在每次摄影时必须摄影暗图像以及亮图像2张图像，功耗增加。 

在专利文献1(日本特开2010-273378号公报)中提出了这样的摄像装置，即，在进行降低噪声时，通过根据温度改变亮时信号、暗时信号以及从亮时信号中减去暗时信号的信号的增益，即使发生暗电流噪声时也能进行高精度的缺陷检测。但是，当温度上升的情况下，因为由增益控制引起的噪声发生量以及质的变动大，所以高精度地补正伴随温度变化而增减的缺陷有时变得不充分。 

发明内容

因而，本发明的目的在于提供一种高精度地补正伴随温度变化而增减的缺陷的图像信号处理装置以及图像信号处理方法。例如，提供一种通过根据温度控制用于缺陷检测的阈值，从而高精度地补正缺陷的图像信号处理装置以及图像信号处理方法。由此，可以减低噪声，例如，可以期待在编码时抑制比特速率。 

为了实现上述目的，采用一种图像信号处理装置，其特征在于，具备：摄像单元，包含摄像元件，该摄像元件对来自被摄体的入射光进行光电变换，并作为图像信号进行输出；缺陷像素检测单元，检测摄像元件的缺陷像素；缺陷像素补正单元，对用该缺陷像素检测单元检测到的缺陷像素进行补正；图像信号补正单元，对来自该缺陷像素补正单元的信号针对任意区域的每一个进行图像信号补正；温度测量单元，测量摄像元件附近的温度；以及系统控制单元，综合地控制图像信号处理系统，上述系统控制单元使用从上述温度测量单元得到的温度信息，控制上述缺陷像素检测单元检测缺陷像素时的检测条件、即曝光时间、缺陷像素检测阈值、增益中的任意1个或者多个。 

为了实现上述目的，采用一种图像信号处理方法，是具有摄像元件的图像信号处理装置的图像信号处理方法，该图像信号处理方法的特征 在于，具备：摄像步骤，对来自被摄体的入射光进行光电变换，并作为图像信号进行输出；缺陷像素检测步骤，检测上述摄像元件的缺陷像素；缺陷像素补正步骤，对在该缺陷像素检测步骤中检测到的缺陷像素进行补正；图像信号补正步骤，对来自该缺陷像素补正步骤的信号针对任意的区域的每一个进行图像信号补正；以及温度测量步骤，测量上述摄像元件附近的温度，使用从上述温度测量步骤得到的温度信息，控制上述缺陷像素检测步骤检测缺陷像素时的检测条件、即曝光时间、缺陷像素检测阈值、增益中的任意1个或者多个。 

根据本发明，能够在摄像元件中高精度地补正伴随温度变化而增减的缺陷。 

上述以外的课题、结构以及效果能够从以下的实施方式的说明中明了。 

附图说明

图1是说明本发明中的基本结构的一个例子的图。 

图2是说明缺陷补正部102检测缺陷的方法的一个例子的图。 

图3是表示本实施例的缺陷补正控制的一个例子的图。 

图4是表示在步骤S303(图3)中，使用从温度测量部105得到的温度信息、将温度信息以及阈值对应起来的温度-阈值表，控制缺陷检测用的阈值的处理流程的一个例子的图。 

图5是表示在步骤S304(图3)中，根据从温度测量部105得到的温度信息，控制缺陷检测时的曝光时间的处理流程的一个例子的图。 

图6是表示从温度测量部105得到的温度信息是不正当时的处理的一个例子的图。 

图7是表示根据检测到的缺陷个数判定是否进行缺陷的再检测的处理流程的一个例子的图。 

图8是表示从对图像信号处理装置供给电源开始到输出图像之前的期间进行缺陷检测的处理流程的一个例子的图。 

符号说明 

101：摄像部 

102：缺陷补正部 

103：图像信号补正部 

104：图像输出部 

105：温度测量部 

106：系统控制部 

具体实施方式

以下，使用附图说明本发明的实施方式。 

详细说明本发明中的实施例。图1是说明本发明中的基本结构的一个例子的图。摄像部101由调整来自被摄体的入射光的光量的光圈、用于聚集通过该光圈的光的透镜、对该透镜聚集的光进行光电变换并作为图像信号输出的摄像元件等构成。缺陷补正部102检测来自摄像部101的图像信号中所包含的缺陷，补正它们。图像信号补正部103对来自缺陷补正部102的图像信号进行图像信号补正处理。图像输出部104对来自图像信号补正部103的图像信号进行规定的处理并输出。而且，所谓规定的处理是对来自图像信号补正部103的图像信号的噪声除去、伽马补正、轮廓强调、滤波处理、变焦处理、手抖动补正、图像识别等的图像信号处理以及变换为TV和储存器等的输出设备的信号格式的输出接口处理。所谓输出接口处理例如是变换为NTSC和PLA的视频输出的处理，例如，是变换为HDMI信号的处理，例如，是为了网路传送而变换为规定的信号的处理。而且，在本实施例中虽然个别地图示了图像信号补正部和进行图像信号处理的图像输出部，但图像信号补正部也可以被包含在图像输出部的一部分中。温度测量部105测量摄像元件周边的温度。系统控制部106在需要时使用从温度测量部得到的信息，控制摄像部101、缺陷补正部102、图像信号补正部103、图像输出部104。 

利用以上的结构，能够高精度地补正伴随温度变化而增减的缺陷。 

图2是说明缺陷补正部102检测缺陷的方法的一个例子的图。横轴 表示像素，纵轴表示各像素的亮度水平。在本实施例中，比较缺陷检测用阈值和各像素的亮度水平，当亮度水平比阈值还大的情况下，将该像素判定为是缺陷像素，检测为缺陷。利用本方法能够检测所谓的白缺陷。本方法即使在缺陷连续相邻地发生也可以进行检测。而且，作为其他的方法，虽然未图示，但可以对阈值和根据关注像素或周边像素或者其双方的亮度水平计算出的平均值进行比较，当该评价值比阈值大的情况下，将该关注像素判定为缺陷像素，检测为缺陷。由此，因为能够使用和相邻像素的关系来判定是否有缺陷，所以即使是黑水平不稳定的噪声多的图像，也能够检测出包含白缺陷这样的所希望的缺陷。 

图3是表示本实施方式的缺陷补正控制的一个例子的图。在步骤S301中温度测量部105测量并取得摄像元件附近的温度，系统控制部106在步骤S302中设定AGC。在步骤S303中，系统控制部106设定用于缺陷检测的阈值，在步骤S304中系统控制部106设定曝光时间。在步骤S305中，缺陷补正部102进行缺陷的检测，在步骤S306中缺陷补正部102开始缺陷补正。而且，从步骤S302到步骤S304的处理顺序可以不同。 

图4是表示在步骤S303(图3)中，使用从温度测量部105得到的温度信息、将温度信息以及阈值对应起来的温度-阈值表来控制缺陷检测用的阈值的处理流程的一个例子的图。在此，假设为了容易检测缺陷，设定长的曝光时间，另外，在施加了某程度的AGC的状态下检测缺陷。这是因为通过加长曝光时间，即使是摄像元件附近的温度低的状态，也容易检测出将来温度上升时成长为显著的缺陷的像素的缘故。另外，因为AGC如果在摄像元件附近的温度高的状态下改变则画质的变化变得显著，所以抑制在某一程度。如果缺陷检测处理开始，则在步骤S401中系统控制部106参照将温度信息以及阈值对应起来的温度-阈值表。此时，该表也可以在EEPROM(Electrically Erasable Programmable Read-Only Memory)等中保存值，并使用这些值。在步骤S402中，系统控制部106根据上述表以及温度信息计算出阈值，在步骤S403中设定计算出的阈值并结束处理。通过用温度控制阈值，从而能够抑制缺陷检 测个数不会变得特别多。而且，阈值不使用温度-阈值表，而根据函数式和温度信息来进行计算也可以。当使用函数式的情况下，可以详细地掌握温度和适当的阈值的关系，并且，与作为表来保存的方法相比，能够减少所保持的数据。 

通过以上方式，因为可以根据摄像元件附近的温度控制用于缺陷检测的阈值，所以能够高精度地补正根据温度而增减的缺陷。 

图5是表示在步骤S304(图3)中，根据从温度测量部105得到的温度信息控制缺陷检测时的曝光时间的处理流程的一个例子的图。如上所述，为了容易检测缺陷而设定长的曝光时间，但在温度急剧上升时有时缺陷的个数和大小也极度增大。这种情况下，有时通过进行缺陷补正会招致图像劣化。为了应对该问题，在本实施例中，为了要检测的缺陷的个数不会极端地增多而根据摄像元件附近的温度来控制曝光时间。在步骤S501中，系统控制部106判定从温度测量部105得到的温度信息是否大于等于阈值。当该温度信息大于等于阈值的情况下，在步骤S502中，系统控制部106参照将温度信息以及阈值对应起来的温度-曝光时间表。此时，该表以及上述阈值也可以在EEPROM等中保存值，并使用这些值。在步骤S503中，系统控制部106根据上述表以及温度信息计算出曝光时间，在步骤S504中设定计算出的曝光时间并结束处理。在步骤S501中，当温度信息比阈值还小的情况下，在步骤S505中，系统控制部106设定曝光时间的初始值。由此，在温度急剧上升时能够抑制缺陷的个数和大小极端增大的情况。而且，曝光时间也可以不使用温度-曝光时间表，而根据函数式和温度信息来进行计算。当使用函数式的情况下，可以详细掌握温度和适当的曝光时间的关系，并且，与作为表进行保存的方法相比，能够减少所保持的数据。 

通过以上方式，即使在温度急剧上升的情况下，也不会因缺陷补正而致使图像劣化，能够高精度地进行补正。 

图6是表示从温度测量部105得到的温度信息是不正当时的处理的一个例子的图。例如，当使用附属于摄像机的镜头、取得衬底上的电阻和合成电阻、在微机的AD中作为温度信息取得的这种温度测量部的情况下，有时在测量的温度中发生离散的情况。另外，有时因为故障、误动作而输出不适当的值。这种情况下，如果进行与温度相应的设定值的自动控制，则因缺陷的检测个数异常增大等，不能高精度地补正缺陷。为了避免这种问题，在本实施例中检查从温度测量部得到的温度信息是否在允许范围，根据其结果控制检测条件。在图6中，说明根据上述检查结果控制用于缺陷检测的阈值的处理。在步骤S601中，系统控制部106判定从温度测量部105得到的温度信息是否是正常范围。此时，表示正常范围的温度的上限以及下限的值也可以保存在EEPROM中，并使用它。当温度在正常范围内的情况下，在步骤S602中，系统控制部106设定用于缺陷检测的阈值的初始值并结束处理。当温度在正常范围外的情况下，在步骤S603中，系统控制部106参照正常范围外的温度用的阈值的设定值，将该参照值在步骤S604中作为用于缺陷检测的阈值进行设定。此时，也可以将正常范围外的温度用的阈值的设定值保存在EEPROM中来使用它。

通过以上方式，即使温度测量部因故障、误动作等输出了不正当的值的情况下，也能够避免因缺陷补正致使画质劣化的现象。 

图7是表示根据检测到的缺陷个数判定是否进行缺陷的再检测的处理流程的一个例子的图。如果过度地进行缺陷的检测、补正，则有时发生使原本缺陷不存在的像素上发生缺陷(噪声)等的弊端。在本实施例中，通过限制缺陷的检测个数来应对该问题。检测出的缺陷的个数假设是缺陷补正部102计算出的个数。在步骤S701中，温度测量部105测量并取得摄像元件附近的温度，系统控制部106在步骤S702中设定AGC。在步骤S703中，系统控制部106设定用于缺陷检测的阈值，在步骤S704中系统控制部106设定曝光时间。在步骤S705中，缺陷补正部102进行缺陷的检测，在步骤S706中，系统控制部106参照缺陷补正部102计算出的检测缺陷个数，判定该检测缺陷个数是否是允许范围。当在允许范围内的情况下，在步骤S707中，缺陷补正部102开始缺陷补正，之后结束处理。在步骤S706中，当上述检测缺陷个数在允许范围外的情况下，返回步骤S702，改变AGC或阈值或曝光时间、或者其中的多个设定并再次进行缺陷检测。此时，AGC以及阈值以及曝光时间的变化量也可以 保存在EEPROM中来使用它们。上述变化量既可以是和检测缺陷个数联动的，也可以是常数。而且，从步骤S702到步骤S704的处理其顺序也可以不同。 

通过以上方式，能够抑制由于过度地检测及补正缺陷，致使在原本不存在缺陷的像素上发生缺陷(噪声)等的弊端。 

图8是表示从对图像信号处理装置供给电源开始到输出图像之前的期间进行缺陷检测的处理流程的一个例子的图。为了检测缺陷，需要关闭可变光圈等进行遮光，但例如在摄像机中，如果摄像机一旦变成可以记录的状态，就几乎没有进行遮光的机会，所以在照相机起动时检测尽可能多的缺陷是很重要的。在本实施例中，通过在照相机起动时关闭可变光圈加长曝光时间来检测缺陷，在照相机起动时检测尽可能多的缺陷。在步骤S801中，系统控制部106进行AGC、缺陷检测阈值、曝光时间等的设定。在步骤S802中，系统控制部106命令摄像部101关闭可变光圈。在步骤S803中，缺陷补正部102进行缺陷的检测，在步骤S804中，系统控制部106命令摄像部101打开可变光圈，在步骤S805中输出图像。 

通过以上方式，因为在照相机起动时能够检测尽可能多的缺陷，所以本发明可以提供从紧接照相机起动之后补正了缺陷的高画质的影像，另外，也可以不形成以下状态，即为了缺陷检测而在起动后进行遮光由此不能进行记录影像的状态。 

而且，本发明并不限于上述的实施例，包含各种各样的变形例子。例如，上述的实施例为了容易理解本发明进行了详细说明，但并不限定为必须具备已说明的全部的结构。另外，可以将某一实施例的结构的一部分置换为另一实施例的结构，另外，也可以在某一实施例的结构中加入其他的实施例的结构。另外，对于各实施例的结构的一部分，可以进行其他结构的追加、删除、置换。 

另外，上述的各结构的一部分或者全部可以用硬件构成，也可以通过用处理器执行程序来实现而构成。另外，控制线和信息线表示出说明上被认为是需要的线路，不限于在产品上必须表示全部的控制线和信息线。实际上也可以认为几乎全部的结构是相互连接的。 

Claims (7)

1.一种图像信号处理装置，其特征在于，具备：

摄像单元，包含摄像元件，该摄像元件对来自被摄体的入射光进行光电变换，并作为图像信号进行输出；

缺陷像素检测单元，检测摄像元件的缺陷像素；

计算单元，计算由该缺陷像素检测单元检测出的缺陷像素的数量；

缺陷像素补正单元，对用该缺陷像素检测单元检测到的缺陷像素进行补正；

图像信号补正单元，对来自该缺陷像素补正单元的信号针对任意区域的每一个进行图像信号补正；

温度测量单元，测量摄像元件附近的温度；以及

系统控制单元，综合地控制图像信号处理系统，

上述系统控制单元在从上述温度测量单元得到的温度信息处于允许范围内的情况下，通过进行提高缺陷像素检测阈值的控制以及抑制增益控制的控制、或者提高缺陷像素检测阈值的控制和抑制增益控制的控制中的某一个控制来将补正的缺陷像素的数量保持在能够允许的数量以下；在从上述温度测量单元得到的温度信息处于允许范围外的情况下，使用正常范围外的温度用的缺陷像素检测阈值来检测缺陷像素，控制所述缺陷像素检测单元以补正所检测的缺陷像素。

2.根据权利要求1所述的图像信号处理装置，其特征在于：

保持计算上述缺陷像素检测单元检测缺陷像素时的检测条件的函数式，使用上述函数式以及从上述温度测量单元得到的温度信息，计算检测缺陷像素时的上述检测条件，上述缺陷像素检测单元使用该检测条件进行缺陷像素的检测。

3.根据权利要求1所述的图像信号处理装置，其特征在于：

将把上述缺陷像素检测单元检测缺陷像素时的检测条件以及从上述温度测量单元得到的温度信息对应起来的信息作为表进行保持，使用该表的信息和从上述温度测量单元得到的温度信息，计算检测缺陷像素时的上述检测条件，上述缺陷像素检测单元使用该检测条件进行缺陷像素的检测。

4.根据权利要求1至3中的任意一项所述的图像信号处理装置，其特征在于，具备：

上述系统控制单元根据从上述计算单元得到的缺陷像素的数量，为了再次进行缺陷像素的检测而改变用于检测缺陷像素的设定以检测出的缺陷像素的数量成为能够允许的数量以下。

5.根据权利要求1至3中的任意一项所述的图像信号处理装置，其特征在于：

在从对图像信号处理装置供给电源开始到输出图像为止的期间进行由上述缺陷像素检测单元进行的缺陷像素检测。

6.根据权利要求4所述的图像信号处理装置，其特征在于：

在从对图像信号处理装置供给电源开始到输出图像为止的期间进行由上述缺陷像素检测单元进行的缺陷像素检测。

7.一种图像信号处理方法，是具有摄像元件的图像信号处理装置的图像信号处理方法，该图像信号处理方法的特征在于，具备：

摄像步骤，对来自被摄体的入射光进行光电变换，并作为图像信号进行输出；

缺陷像素检测步骤，检测上述摄像元件的缺陷像素；

计算步骤，计算由该缺陷像素检测步骤检测出的缺陷像素的数量；

缺陷像素补正步骤，对在该缺陷像素检测步骤中检测到的缺陷像素进行补正；

图像信号补正步骤，对来自该缺陷像素补正步骤的信号针对任意的区域的每一个进行图像信号补正；以及

温度测量步骤，测量上述摄像元件附近的温度，

在从上述温度测量步骤得到的温度信息处于允许范围内的情况下，通过进行提高缺陷像素检测阈值的控制以及抑制增益控制的控制、或者提高缺陷像素检测阈值的控制和抑制增益控制的控制中的某一个控制来将补正的缺陷像素的数量保持在能够允许的数量以下；在从上述温度测量步骤得到的温度信息处于允许范围外的情况下，使用正常范围外的温度用的缺陷像素检测阈值来检测缺陷像素，进行控制以补正所检测的缺陷图像。