CN103139492A - 摄像装置、摄像方法以及监视系统 - Google Patents
摄像装置、摄像方法以及监视系统 Download PDFInfo
- Publication number
- CN103139492A CN103139492A CN2012104791436A CN201210479143A CN103139492A CN 103139492 A CN103139492 A CN 103139492A CN 2012104791436 A CN2012104791436 A CN 2012104791436A CN 201210479143 A CN201210479143 A CN 201210479143A CN 103139492 A CN103139492 A CN 103139492A
- Authority
- CN
- China
- Prior art keywords
- image change
- pixel
- defect pixel
- size
- camera head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 18
- 238000012544 monitoring process Methods 0.000 title claims description 7
- 238000003672 processing method Methods 0.000 title 1
- 230000007547 defect Effects 0.000 claims abstract description 147
- 238000001514 detection method Methods 0.000 claims abstract description 55
- 238000012937 correction Methods 0.000 claims abstract description 51
- 238000003384 imaging method Methods 0.000 claims abstract description 29
- 230000002950 deficient Effects 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 27
- 206010047571 Visual impairment Diseases 0.000 claims description 13
- 230000033228 biological regulation Effects 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000005693 optoelectronics Effects 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 4
- 238000009987 spinning Methods 0.000 claims 1
- 230000007704 transition Effects 0.000 abstract 3
- 230000015556 catabolic process Effects 0.000 abstract 1
- 238000006731 degradation reaction Methods 0.000 abstract 1
- 239000013598 vector Substances 0.000 description 23
- 230000006870 function Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000003292 diminished effect Effects 0.000 description 3
- 231100000241 scar Toxicity 0.000 description 3
- 241001484259 Lacuna Species 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明能够以不会导致图像质量下降的方式筛选缺陷像素。摄像装置(1)的缺陷像素修正部(13)通过增益调整部(12)从摄像元件(16)取得摄像信号(a12)，并且计算出作为摄像元件(16)的缺陷的检查对象的像素的像素值与该作为检查对象的像素的周围的像素值之间的差分的绝对值，此外，缺陷像素修正部(13)对差分的绝对值和缺陷像素判断阈值进行比较，在差分的绝对值大于缺陷像素判断阈值时，将该作为检查对象的像素判断为缺陷像素。另外，在图像变化检测部(15)中，根据视频信号(a14)而检测图像的变化，并且根据图像变化的大小来改变缺陷像素判断阈值。
Description
技术领域
本发明涉及一种对用于摄像装置的固体摄像元件的缺陷像素进行修正的技术。
背景技术
近年来，作为摄像装置，已经开发出了使用高像素的固体摄像元件的摄像装置。在固体摄像元件中，因制造过程中的原因或者经年变化等，有时会产生缺陷像素。检测该缺陷像素并对该缺陷像素进行修正以避免图像质量下降的技术也在不断地研究开发。
例如，在专利文献1中公开了一种技术，其在进行检测缺陷像素的检查时，根据检查对象的像素的像素值与其周边像素的像素值之间的差分的大小，对作为检查对象的像素进行缺陷判断，并根据该像素的周边像素的像素值对被判断为缺陷的像素的像素值进行插补。
在先技术文献
专利文献
专利文献1日本国专利特开平09-247548号公报
发明内容
但是，在专利文献1所公开的技术中，作为检查对象的像素通过比较其与周边像素之间的差分的大小来进行缺陷判断，所以在被摄体包括高频分量(例如处于相邻的像素之间的像素值发生细微变化的状态)时，存在错误地将其判断为缺陷像素的问题。此外，还存在如果根据该错误的判断以周边像素的插补值对缺陷像素的像素值进行置换，则会导致高频分量丧失的问题。由此，在发生了缺陷像素的错误判断时，可能会因为不必要的修正处理，反而导致图像质量下降。
因此，本发明课题在于提供一种不会导致图像质量下降的缺陷像素的筛选技术。
解决方案
为了实现所述课题，本发明所涉及的摄像装置具有：包括摄像元件的摄像部，该摄像元件对来自被摄体的入射光进行光电转换后将其作为电信号输出；图像变化检测部，该图像变化检测部根据表示由该摄像部分得到的图像的变动的图像变化的大小，改变用于检测所述摄像元件的缺陷像素的修正基准。
发明效果
根据本发明，能够在不会导致图像质量下降的情况下筛选出缺陷像素。
附图说明
图1是表示本实施方式中的摄像装置的结构示例图。
图2是中心像素与用于判断缺陷像素的参照像素之间的位置关系图。
图3是表示用于检测缺陷像素的处理的一例的示例图，(a)表示图像变化的大小较小的场合，(b)表示图像变化的大小较大的场合。
图4是表示缺陷像素的像素值的修正处理的一例的示例图。
图5是表示图像变化检测部的功能示例图。
图6是表示缺陷像素判断阈值的变更条件的示例图。
图7是表示缺陷像素判断阈值的设定处理流程的示例图。
图8是具有残留图像时的处理示例的说明图，(a)表示摄影时的状态，(b)表示没有残留图像时的处理，(c)表示有残留图像时的处理。
图9是变形例中的摄像装置的结构示例图。
图10是监视系统的结构示例图。
具体实施方式
以下参照附图，对用以实施本发明的方式(以下称为“本实施方式”)进行详细的说明。
(概要)
首先对本实施方式的概要进行说明。例如，在将摄像装置固定在三脚架等上以对夜空的星星进行摄影时，摄像元件基本上不会产生醒目的缺陷像素。其理由是，由缺陷像素引起的图像上的伤痕虽然被输出到固定的位置，但图像中的星星的移动很缓慢而大致保持静止的状态。另一方面，在一边水平旋转一边对夜空的星星进行摄影时，由于画面上的伤痕被输出到固定的位置，所以看起来好像是伤痕相对于星星在进行相对移动，导致缺陷像素变得醒目。
为此，在本实施方式中建立了根据表示图像变动的图像变化的大小来改变用于检测摄像元件的缺陷像素的修正基准以使得容易检测出缺陷像素的模型，以下参照图2和图3对该模型进行说明。在此，图像变化不仅是指表示例如因摄像装置的水平旋转(pan)、仰俯(tilt)旋转、变焦和聚焦动作而产生的图像变动的变化，还指表示因所拍摄的被摄体的移动而产生的图像变动的变化。
图2是中心像素C与用于判断缺陷像素的参照像素R之间的位置关系图。中心像素C是作为检查对象的像素，也就是被判断是否为缺陷像素的像素。在图2中，四方形格子表示摄像元件16的像素排列。四方形格子通常为每隔2×2而不同的滤色器排列，在水平方向上每间隔2个像素以及在垂直方向上每间隔2行排列有相同的滤色器。例如，将作为检查对象的像素即中心像素C的像素值与图2中的位于中心像素C的周边的颜色相同的8个像素即参照像素R(R1、R2、R3、R4、R5、R6、R7、R8)的像素值进行比较，以此来判断中心像素C是否为缺陷像素。也就是说，分别针对参照像素R(R1、R2、R3、R4、R5、R6、R7、R8)算出中心像素C与参照像素R的差分的绝对值，并且判断这些的差分的绝对值是否大于规定的阈值(后述的缺陷像素判断阈值)。此外，参照像素R并不仅限于图2所示的位置，可以使用中心像素C以外的像素。
图3(a)表示用于在图像变化的大小较小的场合检测缺陷像素的处理例。在此，图3(a-2)是通过描绘图3(a-1)所示的像素值中的中心像素C的像素值与参照像素值R的像素值之间的差分的绝对值而得到的图。虚线表示在判断是否为缺陷像素时使用的缺陷像素判断阈值T(T0，T1)。其中，缺陷像素判断阈值T0在图像变化的大小较小的场合使用，而缺陷像素判断阈值T1在图像变化的大小较大的场合使用，缺陷像素判断阈值T0大于缺陷像素判断阈值T1。此外，在本实施方式中，如图3(a-2)所示，在8个参照像素R的差分的绝对值都大于缺陷像素判断阈值T时，将中心像素C判断为缺陷像素，关于这一点在后述部分进行说明。此外，作为判断基准，也可以不采用8个参照像素R均大这一判断基准，而将N个以上(1≤N≤7)较大设定为判断基准。
图3(b)表示图像变化的大小较大的场合。其中，图3(b-2)是通过描绘图3(b-1)所示的像素值中的中心像素C的像素值与参照像素R的像素值之间的差分的绝对值而得到的图。与图3(a-2)的场合相比，图3(b-2)中的描绘值变小。从图3(b-2)可以知道，在图像变化的大小较大的场合，通过将缺陷像素判断阈值T1作为判断基准，8个参照像素R的差分的绝对值均被判断为大于缺陷像素判断阈值T1，由此将中心像素C判断为缺陷像素。如此，在图像变化的大小较大的场合，与图像变化的大小较小的场合相比，使缺陷像素判断阈值T变小，由此能够使缺陷像素更容易被检测出。如上所述，在图像变化的大小较大的场合，即使差分的绝对值小，也能够容易地检测出缺陷像素。
(摄像装置)
以下，参照图1对本实施方式中的摄像装置的结构例进行说明。
摄像装置1至少由摄像部11、增益调整部12、缺陷像素修正部13、图像信号处理部14以及图像变化检测部15构成。
摄像部11由包括变焦透镜和聚焦透镜的透镜群、CCD(电荷耦合器件，Charge Coupled Device)或者CMOS(互补金属氧化物半导体，ComplementaryMetal Oxide Semiconductor)等的摄像元件16构成。摄像元件16通过透镜(未图示)接收来自被摄体的入射光，利用光电转换将其转换为电信号后，作为摄像信号a11输出。
增益调整部12由CDS(相关双取样，Correlated Double Sampling)和AGC(自动增益控制，Automatic Gain Control)或者AD(摸拟至数字，Analogto Digital)转换器等构成。增益调整部12控制从摄像部11输出的信号即摄像信号a11的大小，并且输出摄像信号a12。
缺陷像素修正部13具有对在摄像元件16中发生的缺陷像素进行修正的功能，并且输出摄像修正信号a13。首先，为了判断是否为缺陷像素，缺陷像素修正部13计算作为检查对象的像素的像素值与该作为检查对象的像素之外的像素即参照像素的像素值之间的差分的绝对值，并且将算出的绝对值与修正基准进行比较，在差分的绝对值大于修正基准时，判断为该作为检查对象的像素是缺陷像素。此外，修正基准是用于决定进行修正或者不进行修正的基准。例如，使用缺陷像素判断阈值T来检测缺陷像素。从图像变化检测部15取得缺陷像素判断阈值T。此后，缺陷像素修正部13使用参照像素的像素值对缺陷像素的像素值进行修正。缺陷像素修正部13的详细功能在后述部分说明。
图像信号处理部14具有对摄像修正信号a13实施规定处理的功能，并且生成和输出视频信号a14。此外，规定的处理是指对摄像修正信号a13进行除去干扰、伽马校正、轮廓强调、过滤器处理、变焦处理、抖动修正和图像识别等的图像信号处理以及转换为输入到电视和存储装置等的输入装置的信号格式的输出接口处理。此外，输出接口处理是指为了进行网络传送而转换为规定信号的处理，例如转换为NTSC(美国国家电视标准委员会，National Television System Committee)和PAL(相位互换线路，PhaseAlternating Line)等的视频输出，或者例如转换为HDMI(高清晰多媒体接口，High-Definition Multimedia Interface；注册商标)信号。
图像变化检测部15具有根据视频信号a14检测图像变化的功能。图像变化检测部15例如将图像变化作为变动向量而检测出。此外，图像变化检测部15根据变动向量的大小(图像变化的大小)等，改变用于检测缺陷像素的修正基准，由此来决定是进行修正还是不进行修正。例如，使用缺陷像素判断阈值T检测缺陷像素，并且决定是否进行修正。缺陷像素判断阈值T作为阈值信号a15被输出到缺陷像素修正部13。此外，也可以设置成在计算图像变化的大小时将后述的残留图像考虑进去。图像变化检测部15的详细功能在后述部分进行说明。
摄像部11、增益调整部12、缺陷像素修正部13、图像信号处理部14以及图像变化检测部15可以全部由电路(硬件)构成，并且缺陷像素修正部13、图像信号处理部14或者图像变化检测部15的处理功能也可以由程序来实现。此外，摄像装置1具有根据摄影场景对摄像部11的曝光时间、增益调整部12的信号增益进行控制以获得最佳曝光状态的功能。例如，可以设置成在昏暗的环境时增长曝光时间，并且增大信号增益，而在明亮的环境时缩短曝光时间，并且减小信号增益，由此能够使视频信号a14的输出图像保持一定的亮度。
图4是缺陷像素修正部13对缺陷像素的像素值进行修正的处理例的说明图。如图4所示，缺陷像素的像素值例如可以用参照像素R的像素值的中间值来进行置换。
图5是图像变化检测部15的功能例的说明图(适当参照图1)。图像变化检测部15由变动向量计算部151、图像变化速度判断部152以及图像变化时间判断部153构成。
在变动向量计算部151中，将经过图像信号处理部14处理的视频信号a14存储在未图示的存储器中，并将先前存储的视频信号a14作为参照映像与其次输入的视频信号a14进行比较，计算出变动向量a151，并将其输出到图像变化速度判断部152中。具体来说是，将先前存储的参照映像的帧分割为小区域，将该小区域的像素值信息存储在存储器中，检测所述小区域的像素值信息在此后输入的视频信号a14中移动到了哪个位置，由此来算出单位时间的变动向量a151。
在图像变化速度判断部152中判断单位时间的变动向量a151的大小(图像变化的速度)是否在预先设定的规定的速度阈值以上，并将该判断结果作为速度判断阈值信号a152输出到图像变化时间判断部153。
图像变化时间判断部153接收速度判断阈值信号a152，在判断结果表示在规定的速度阈值以上时，判断该判断结果所持续的持续时间(图像变化的时间)是否在预先设定的规定的时间阈值以上。并且，图像变化时间判断部153在判断为持续时间在规定的时间阈值以上时，判断为图像变化的大小较大，而在判断为持续时间小于规定的时间阈值时，判断为图像变化的大小较小。此外，在判断图像变化的大小较大时，改变修正基准，使得与判断为图像变化的大小较小的场合相比，更容易检测出缺陷像素。例如，在作为修正基准采用了缺陷像素判断阈值T时，在判断为图像变化的大小较大的场合，使缺陷像素判断阈值T变小。此时，通过图像变化检测部15将该缺陷像素判断阈值T作为阈值信号a15输出到缺陷像素修正部13中。
作为使缺陷像素判断阈值T变小的方法，例如有(1)在图像变化的大小在规定的阈值以上时，随着图像变化的大小变大，使缺陷像素判断阈值T变小的方法和(2)使用2个值即在判断为图像变化的大小较小的场合设定的缺陷像素判断阈值T0和在判断为图像变化的大小较大时设定的缺陷像素判断阈值T1的方法，可以采用2个方法中的任一个方法。
图6表示缺陷像素判断阈值T的变更条件的一例。图6的横轴表示时间，纵轴表示单位时间的变动向量的大小(图像变化的速度)。单位时间的变动向量的大小在图像没有变化时为0，纵轴的值随着单位时间的变动向量的大小的变化而变化。在图6中，将所述速度阈值设定为δx，将时间阈值设定为δt。在图像变化检测部15中，首先在图像变化速度判断部152中检测单位时间的变动向量的大小(图像变化的速度)变为速度阈值δx以上时的时间即第1时间点t1。此后，由图像变化时间判断部153从第1时间t1起开始测量变动向量的大小在速度阈值δx以上的范围内的时间，在从第1时间点t1起算的持续时间经过时间阈值δt而超出了第2时间点t2时，判断为图像的变化大(图6中的E表示的范围)。接着，图像变化时间判断部153将缺陷像素判断阈值T设定为小于图像变化程度小的场合的缺陷像素判断阈值T，并将该缺陷像素判断阈值T作为阈值信号a15输出到缺陷像素修正部13中。
以下参照图7(适当参照图1和图5)说明在图像变化检测部15中设定缺陷像素判断阈值T的处理流程的一例。
在步骤S701中，图像变化检测部15的图像变化时间判断部153在摄像装置1的电源被接通(ON)时，对缺陷像素判断阈值T进行初始设定。具体来说是，由图像变化检测部15读取存储在未图示的存储部中的缺陷像素判断阈值T的初始设定值(图像变化的大小较小的场合的缺陷像素判断阈值T0)。此外，由图像变化检测部15读取存储在未图示的存储部中的速度阈值δx和时间阈值δt。
在步骤S702中，由变动向量计算部151计算单位时间的变动向量a151。在本实施方式中，由于以每个小区域为单位来算出单位时间的变动向量a151的大小，所以以从图像的一个画面计算出的多个变动向量的大小的平均值或者变动向量的大小的最大值来表示。或者，作为变动向量的大小，也可以使用从包括检查对象的像素位置的小区域而算出的变动向量的大小。
在步骤S703中，通过图像变化速度判断部152判断单位时间的变动向量的大小是否在速度阈值δx以上。在判断为在速度阈值δx以上(步骤S703的判断结果为“是”)时，处理进入步骤S704，在判断为小于速度阈值δx(步骤S703的判断结果为“否”)时，处理进入步骤S706。
在步骤S704中，由图像变化时间判断部153判断在速度阈值δx以上的状态的持续时间是否在时间阈值δt以上。在判断为在时间阈值δt以上(步骤S704的判断结果为“是”)时，处理前往步骤S705中，在判断为小于时间阈值δt(步骤S704的判断结果为“否”)时，处理进入步骤S706。
在步骤S 705中，图像变化时间判断部153将缺陷像素判断阈值T设定为小于初始设定值。
在步骤S706中，图像变化时间判断部153将缺陷像素判断阈值T设定为等于初始设定值。
在步骤S707中，图像变化检测部15将缺陷像素判断阈值T作为阈值信号a15输出到缺陷像素修正部13中。此后处理返回步骤S702。
通过实行图7所示的处理流程，在本实施方式中，在图像变化的大小较大的场合，将缺陷像素判断阈值T设定为小于初始设定值，使得能够容易地检测出缺陷像素。因此，能够以不会导致图像质量下降的方式筛选缺陷像素。
此外，通过将缺陷像素判断阈值T设定为小于初始设定值，还能够容易地检测出包括高频分量的被摄体，但此时由于图像变化大，所以会产生由摄像装置1的设定快门速度与图像变化速度之间的关系所决定的残留图像。利用该残留图像的效果，能使得不易产生图像质量下降，所以，即使缺陷像素判断阈值T小于初始设定值，也能够减小被判断为缺陷像素的频率，以下对此进行说明。
以下参照图8对具有残留图像时的处理例进行说明。
图8(a)表示摄影时的状态。如图8(a)所示，例如一边朝左方向平行移动，一边对具有相当于一个像素大小的白色区域和灰色区域的被摄体S进行拍摄。
图8(b-1)表示水平旋转前的静止摄影时拍摄到的没有残留图像时的像素值的状态，图8(b-2)表示差分的绝对值与缺陷像素判断阈值T0之间的关系。由于8个参照像素的差分的绝对值均大于缺陷像素判断阈值T0，所以将中心像素C判断为缺陷像素。
图8(c-1)表示水平旋转开始后拍摄到的具有残留图像时的像素值的状态，图8(c-2)表示差分的绝对值与缺陷像素判断阈值T1之间的关系。中心像素C和参照像素R4由于受到残留图像的影响而变为大致相似的像素值。因此，虽然缺陷像素判断阈值T1被设定为小于缺陷像素判断阈值T0，但中心像素C和参照像素R4的差分的绝对值变得比缺陷像素判断阈值T1还小。为此，如图8(c-2)所示，在具有残留图像时，将中心像素C判断为不是缺陷像素。也就是说，在残留图像大时，即使将缺陷像素判断阈值T设定得较小，也难以被判断为缺陷像素，由此能够防止无谓的修正处理，并且能够以不会导致图像质量下降的方式筛选缺陷像素。
(变形例)
以下参照图9(并且参照图1和图5)对作为摄像装置1的变形例的摄像装置1a的结构例进行说明。
图9所示的摄像装置1a的结构与图1所示的摄像装置1的结构的不同之处在于，输入到图像变化检测部15的信号是从缺陷像素修正部13输出的摄像修正信号a13。图像变化检测部15的变动向量计算部151算出先前存储的摄像修正信号a13与其次输入的摄像修正信号a13之间的变动向量。
(监视系统)
以下参照图10(适当参照图1)，以采用不是内置在摄像装置1，1a中的外部的监视装置101来实现的监视系统100的结构例为例，对上述的缺陷像素修正部13以及图像变化检测部15的功能进行说明。
监视系统100由摄像装置2、监视装置101以及显示装置102构成，其中所述摄像装置2不具有所述缺陷像素修正部13和图像变化检测部15的功能。
监视装置101例如为计算机，具有功能与缺陷像素修正部13和图像变化检测部15相同的缺陷像素修正部13a和图像变化检测部15a。输入到缺陷像素修正部13a中的视频信号是从摄像装置2输出的视频信号a16。
显示装置102例如是显示器，具有显示从缺陷像素修正部13a输出的显示信号a17的功能。
由于监视系统100具有缺陷像素修正部13a和图像变化检测部15a，所以能够根据图像变化的大小来控制缺陷像素判断阈值T。具体来说是，监视系统100在图像变化的大小较大的场合，将缺陷像素判断阈值T设定为小于图像变化的大小较小的场合的缺陷像素判断阈值T0，由此能够以不会导致图像质量下降的方式筛选缺陷像素。此外，监视系统100能够抑制无谓的修正处理，并且还能够修正缺陷像素。
如上所述，本实施方式的摄像装置1，1a以及监视系统100能够根据图像变化的大小来控制缺陷像素判断阈值T。具体来说是，摄像装置1在图像的变化大小较大的场合使缺陷像素判断阈值T变小，而在图像变化的大小较小的场合增大缺陷像素判断阈值T，由此能够以不会导致图像质量下降的方式筛选缺陷像素。此外，摄像装置1，1a和监视系统100能够抑制无谓的修正处理，并且还能够修正缺陷像素。
另外，在本实施方式中，在检测图像的变化时，以满足图像变化的速度在速度阈值δx以上并且该速度在速度阈值δx以上的状态的持续时间(图像变化的时间)在时间阈值δt以上为条件进行了说明，但也可以设置成根据图像变化的速度和持续时间(图像变化的时间)中的任意一方来判断图像变化的大小。
另外，在本实施方式中，在检测图像变化时使用了变动向量，但本发明并不仅限于此，也可以采用通过加速度传感器、角速度传感器等装置来进行检测的方法或者根据摄像装置1的动作状态(变焦动作和聚焦动作等)来进行检测的方法等。
符号说明
1，1a，2摄像装置
11摄像部
12增益调整部
13，13a缺陷像素修正部
14图像信号处理部
15，15a图像变化检测部
100监视系统
101监视装置
102显示装置
151变动向量计算部
152图像变化速度判断部
153图像变化时间判断部
a11，a12摄像信号
a13摄像修正信号
a14视频信号
a15阈值信号
a16视频信号
a17显示信号
C中心像素
E判断为变动大的区域
M变动向量的大小的经时性变化
R参照像素
S被摄体
t1第1时间点
t2第2时间点
T，T0，T1缺陷像素判断阈值(修正基准)
δx速度阈值
δt时间阈值
Claims (16)
1.一种摄像装置，其特征在于具有：
包括摄像元件的摄像部，所述摄像元件对来自被摄体的入射光进行光电转换后将其作为电信号输出；
图像变化检测部，所述图像变化检测部根据表示由所述摄像部得到的图像的变动的图像变化的大小，改变用于检测所述摄像元件的缺陷像素的修正基准；以及
缺陷像素修正部，所述缺陷像素修正部根据所述修正基准来检测所述摄像元件的缺陷像素，并且对所述缺陷像素的像素值进行修正。
2.如权利要求1所述的摄像装置，其特征在于，
所述图像变化检测部通过改变所述修正基准，使得所述图像变化的大小相对来说越大，所述摄像元件的缺陷像素越容易被检测出。
3.如权利要求1所述的摄像装置，其特征在于，
所述图像变化检测部通过缺陷像素判断阈值来设定所述修正基准，并且根据所述图像变化的大小来改变所述缺陷像素判断阈值，
所述缺陷像素修正部针对通过所述摄像部取得的图像，计算出作为所述摄像元件的缺陷的检查对象的像素即中心像素的像素值和所述中心像素以外的像素即参照像素的像素值之间的差分，并对所述差分和所述缺陷像素判断阈值进行比较，在所述差分大于所述缺陷像素判断阈值时，判断为所述中心像素是缺陷像素，对所述中心像素的像素值进行修正，并生成摄像修正信号。
4.如权利要求3所述的摄像装置，其特征在于，
所述图像变化检测部将所述图像变化的大小在规定的阈值以上时的所述缺陷像素判断阈值设定为小于所述图像变化的大小小于所述规定的阈值时的所述缺陷像素判断阈值。
5.如权利要求3所述的摄像装置，其特征在于，
所述图像变化检测部在所述图像变化的大小在规定的阈值以上时，随着所述图像变化的大小变大，使所述缺陷像素判断阈值变小。
6.如权利要求1所述的摄像装置，其特征在于，
进一步具有控制从所述摄像元件输出的信号的大小的增益调整部和图像信号处理部，
所述缺陷像素修正部取得从所述增益调整部输出的信号后，针对该取得的信号，修正所述缺陷像素的像素值，并且生成摄像修正信号，
所述图像信号处理部对所述摄像修正信号实施规定的处理，并且生成视频信号，
所述图像变化检测部根据所述摄像修正信号的变化或者所述视频信号的变化来算出图像变化的大小，并根据计算出的所述图像变化的大小来改变所述修正基准。
7.如权利要求1所述的摄像装置，其特征在于，
所述图像变化检测部根据图像变化的速度以及/或者图像变化的时间来决定所述图像变化的大小。
8.如权利要求1所述的摄像装置，其特征在于，
所述图像变化检测部根据所述摄像部的透镜的变动或者水平旋转动作或仰俯旋转动作的状态来计算所述图像变化的大小。
9.一种监视系统，其特征在于具有摄像装置和监视装置，
所述摄像装置包括对来自被摄体的入射光进行光电转换并将其作为电信号输出的摄像元件，对从所述摄像元件输出的信号实施规定的处理并生成视频信号，
所述监视装置具有：图像变化检测部，所述图像变化检测部根据表示从所述摄像部得到的视频信号的图像的变动的图像变化的大小，改变用于检测所述摄像元件的缺陷像素的修正基准；以及
缺陷像素修正部，所述缺陷像素修正部根据所述修正基准来检测所述摄像元件的缺陷像素，并且对所述缺陷像素的像素值进行修正。
10.如权利要求9所述的监视系统，其特征在于，
所述图像变化检测部改变所述修正基准，使得所述图像变化的大小相对来说越大，作为所述摄像元件的缺陷的检查对象的像素即中心像素的缺陷越容易被检测出。
11.如权利要求9所述的监视系统，其特征在于，
所述图像变化检测部根据图像变化的速度以及/或者图像变化的时间来决定所述图像变化的大小。
12.一种摄像装置的摄像方法，该摄像装置具有包括对来自被摄体的入射光进行光电转换并将其作为电信号输出的摄像元件的摄像部，检测所述摄像元件的缺陷像素，所述摄像方法包括图像变化检测步骤和缺陷像素修正步骤，
在所述图像变化检测步骤中，所述摄像装置根据表示通过所述摄像部得到的图像的变动的图像变化的大小，改变用于检测所述摄像元件的缺陷像素的修正基准，
在所述缺陷像素修正步骤中，所述摄像装置根据所述修正基准来检测所述摄像元件的缺陷像素，并对所述缺陷像素的像素值进行修正。
13.如权利要求12所述的摄像方法，其特征在于，
在所述图像变化检测步骤中，通过改变所述修正基准，使得所述图像变化的大小相对来说越大，作为所述摄像元件的缺陷的检查对象的像素即中心像素的缺陷越容易被检测出。
14.如权利要求12所述的摄像方法，其特征在于，
在所述图像变化检测步骤中，根据图像变化的速度以及/或者图像变化的时间来决定所述图像变化的大小。
15.如权利要求7所述的摄像装置，其特征在于，
在图像变化的速度在规定的速度阈值以上，并且图像变化的速度在规定的速度阈值以上的状态的持续时间在规定的时间阈值以上的情况下，所述图像变化检测部判断为所述图像变化的大小大。
16.如权利要求7所述的摄像装置，其特征在于，
在根据所述图像变化的速度和摄像时的快门速度之间的关系而定的所述视频信号的残留图像大的情况下，所述图像变化检测部使所述缺陷像素判断阈值变小。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011256898A JP5696026B2 (ja) | 2011-11-25 | 2011-11-25 | 撮像装置、撮像方法および監視システム |
| JP2011-256898 | 2011-11-25 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103139492A true CN103139492A (zh) | 2013-06-05 |
| CN103139492B CN103139492B (zh) | 2016-06-29 |
Family
ID=48466526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210479143.6A Expired - Fee Related CN103139492B (zh) | 2011-11-25 | 2012-11-22 | 摄像装置、摄像方法以及监视系统 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8988562B2 (zh) |
| JP (1) | JP5696026B2 (zh) |
| CN (1) | CN103139492B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105407348A (zh) * | 2015-11-18 | 2016-03-16 | 深圳怡化电脑股份有限公司 | 一种图像传感器的检测方法及系统 |
| CN109696793A (zh) * | 2017-10-20 | 2019-04-30 | 奇景光电股份有限公司 | 控制投影机的方法以及电子装置 |
| CN111614917A (zh) * | 2019-02-22 | 2020-09-01 | 半导体元件工业有限责任公司 | 具有风化检测像素的成像系统 |
| CN112393804A (zh) * | 2019-08-02 | 2021-02-23 | 杭州海康微影传感科技有限公司 | 一种图像校正的方法及装置 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI492621B (zh) * | 2012-02-10 | 2015-07-11 | Novatek Microelectronics Corp | 適應性影像處理方法及其相關裝置 |
| JP6242230B2 (ja) * | 2014-02-12 | 2017-12-06 | オリンパス株式会社 | 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム |
| TWI536319B (zh) * | 2014-06-24 | 2016-06-01 | 瑞昱半導體股份有限公司 | 去雜訊方法以及影像系統 |
| JP2017022671A (ja) * | 2015-07-15 | 2017-01-26 | ソニー株式会社 | 撮像装置および撮像方法、並びにプログラム |
| US20190202372A1 (en) * | 2018-01-03 | 2019-07-04 | Getac Technology Corporation | Vehicular image pickup device and image capturing method |
| KR20220048090A (ko) * | 2020-10-12 | 2022-04-19 | 삼성전자주식회사 | 주파수 도메인을 이용한 이미지 센서의 검사 방법 및 이를 수행하는 검사 시스템 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002354340A (ja) * | 2001-05-24 | 2002-12-06 | Olympus Optical Co Ltd | 撮像装置 |
| JP2004134941A (ja) * | 2002-10-09 | 2004-04-30 | Matsushita Electric Ind Co Ltd | 信号処理装置、信号処理方法、映像信号処理装置および映像信号処理方法 |
| JP2006121478A (ja) * | 2004-10-22 | 2006-05-11 | Canon Inc | 撮像装置 |
| JP2006211069A (ja) * | 2005-01-26 | 2006-08-10 | Sony Corp | 欠陥検出装置および欠陥検出方法、欠陥補正装置および欠陥補正方法、ならびに撮像装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09247548A (ja) | 1996-03-12 | 1997-09-19 | Toshiba Corp | 固体撮像装置 |
| KR100407158B1 (ko) * | 2002-02-07 | 2003-11-28 | 삼성탈레스 주식회사 | 적외선 열상장비의 시변결점 보상방법 및 장치 |
| US7446756B2 (en) * | 2004-03-22 | 2008-11-04 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Apparatus for controlling the position of a screen pointer with low sensitivity to particle contamination |
| JP4479373B2 (ja) * | 2004-06-28 | 2010-06-09 | ソニー株式会社 | イメージセンサ |
| JP2006245999A (ja) * | 2005-03-03 | 2006-09-14 | Konica Minolta Photo Imaging Inc | 撮像装置、およびプログラム |
| WO2011042948A1 (ja) * | 2009-10-05 | 2011-04-14 | キヤノン株式会社 | 撮像装置の欠陥検出方法及び撮像装置 |
-
2011
- 2011-11-25 JP JP2011256898A patent/JP5696026B2/ja not_active Expired - Fee Related
-
2012
- 2012-11-21 US US13/683,207 patent/US8988562B2/en not_active Expired - Fee Related
- 2012-11-22 CN CN201210479143.6A patent/CN103139492B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002354340A (ja) * | 2001-05-24 | 2002-12-06 | Olympus Optical Co Ltd | 撮像装置 |
| JP2004134941A (ja) * | 2002-10-09 | 2004-04-30 | Matsushita Electric Ind Co Ltd | 信号処理装置、信号処理方法、映像信号処理装置および映像信号処理方法 |
| JP2006121478A (ja) * | 2004-10-22 | 2006-05-11 | Canon Inc | 撮像装置 |
| JP2006211069A (ja) * | 2005-01-26 | 2006-08-10 | Sony Corp | 欠陥検出装置および欠陥検出方法、欠陥補正装置および欠陥補正方法、ならびに撮像装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105407348A (zh) * | 2015-11-18 | 2016-03-16 | 深圳怡化电脑股份有限公司 | 一种图像传感器的检测方法及系统 |
| CN109696793A (zh) * | 2017-10-20 | 2019-04-30 | 奇景光电股份有限公司 | 控制投影机的方法以及电子装置 |
| CN111614917A (zh) * | 2019-02-22 | 2020-09-01 | 半导体元件工业有限责任公司 | 具有风化检测像素的成像系统 |
| CN111614917B (zh) * | 2019-02-22 | 2024-05-28 | 半导体元件工业有限责任公司 | 具有风化检测像素的成像系统 |
| CN112393804A (zh) * | 2019-08-02 | 2021-02-23 | 杭州海康微影传感科技有限公司 | 一种图像校正的方法及装置 |
| CN112393804B (zh) * | 2019-08-02 | 2022-04-05 | 杭州海康微影传感科技有限公司 | 一种图像校正的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013115449A (ja) | 2013-06-10 |
| CN103139492B (zh) | 2016-06-29 |
| US8988562B2 (en) | 2015-03-24 |
| US20130135501A1 (en) | 2013-05-30 |
| JP5696026B2 (ja) | 2015-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103139492B (zh) | 摄像装置、摄像方法以及监视系统 | |
| US8208046B2 (en) | Method of detecting defect in image pickup apparatus and the image pickup apparatus | |
| JP4305777B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| US9420206B2 (en) | Image-pickup apparatus and method of detecting defective pixel thereof | |
| US8804011B2 (en) | Imaging device | |
| JP6351271B2 (ja) | 画像合成装置、画像合成方法、およびプログラム | |
| KR102229152B1 (ko) | 이미지 촬영 장치 | |
| CN102870402B (zh) | 成像设备和成像方法 | |
| US9307168B2 (en) | Image capture apparatus and method for controlling image capture apparatus in which defective pixels are indicated | |
| JP5657184B2 (ja) | 撮像装置及び信号処理方法 | |
| JP5084366B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
| JP5238931B2 (ja) | Ｈｄｒ画像生成方法および同方法を用いるデジタル撮像素子 | |
| JPH077651A (ja) | 露光制御回路 | |
| CN107205123B (zh) | 闪光带判断装置及其控制方法、存储介质和摄像设备 | |
| JP2011114473A (ja) | 画素欠陥補正装置 | |
| JP2011166422A (ja) | 撮像装置 | |
| JP2007020045A (ja) | 電子カメラ | |
| US10594912B2 (en) | Flash band determination device for detecting flash band, method of controlling the same, storage medium, and image pickup apparatus | |
| JP5485680B2 (ja) | 撮像装置および撮像方法 | |
| JP2012124800A (ja) | 撮像装置 | |
| WO2019242757A1 (zh) | 图像抖动补偿的方法、装置和存储介质 | |
| JP2005318337A (ja) | 固体撮像素子の欠陥検出補正装置および撮像装置 | |
| JP2013098920A (ja) | 欠陥補正装置、欠陥補正方法および撮像装置 | |
| KR20150100068A (ko) | 배제 픽셀 데이터를 보상하여 영상을 생성하는 방법 및 그것을 이용하는 영상 생성 장치 | |
| JP2006086839A (ja) | 欠陥画素補正装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| ASS | Succession or assignment of patent right |
Owner name: HITACHI INDUSTRIAL CONTROL SOLUTIONS LTD. Free format text: FORMER OWNER: HITACHI,LTD. Effective date: 20141127 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20141127 Address after: Hitachi County of Ibaraki City, Japan Applicant after: HITACHI INDUSTRY AND CONTROL SOLUTIONS, LTD. Address before: Tokyo, Japan, Japan Applicant before: Hitachi Ltd. |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160629 Termination date: 20171122 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |