CN1748409A - 图像处理装置、图像处理程序和记录了该程序的记录介质 - Google Patents
图像处理装置、图像处理程序和记录了该程序的记录介质 Download PDFInfo
- Publication number
- CN1748409A CN1748409A CNA2004800035058A CN200480003505A CN1748409A CN 1748409 A CN1748409 A CN 1748409A CN A2004800035058 A CNA2004800035058 A CN A2004800035058A CN 200480003505 A CN200480003505 A CN 200480003505A CN 1748409 A CN1748409 A CN 1748409A
- Authority
- CN
- China
- Prior art keywords
- level
- picture signal
- coefficient
- signal
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 34
- 238000009825 accumulation Methods 0.000 claims abstract description 12
- 230000006835 compression Effects 0.000 claims description 38
- 238000007906 compression Methods 0.000 claims description 38
- 230000008878 coupling Effects 0.000 claims description 11
- 238000010168 coupling process Methods 0.000 claims description 11
- 238000005859 coupling reaction Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000005755 formation reaction Methods 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract 1
- 230000001934 delay Effects 0.000 abstract 1
- 238000007792 addition Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 4
- 230000005039 memory span Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004040 coloring Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- TWDJIKFUVRYBJF-UHFFFAOYSA-N Cyanthoate Chemical compound CCOP(=O)(OCC)SCC(=O)NC(C)(C)C#N TWDJIKFUVRYBJF-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/571—Control of the dynamic range involving a non-linear response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/57—Control of the dynamic range
- H04N25/58—Control of the dynamic range involving two or more exposures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Nonlinear Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Input (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明提供一种图像处理装置，具有以下结构，包括：输入曝光时间不同的多个图像信号的图像信号输入部(11)；运算多个图像信号的电平变换系数的第一和第二电平变换系数运算部(12、13)；运算多个图像信号的加权系数的加权系数运算部(14)；将在多个图像信号中乘以各自的电平变换系数和加权系数的结果相加的加法部(17)，从而可以简单地获得动态范围宽的图像，进而减少处理延迟和运算误差的累积所导致的微小的图像信息的欠缺。
Description
技术领域
本发明涉及数字图像处理装置，特别是涉及可以获得动态范围宽的图形的图像处理装置、及其程序及其记录介质。
背景技术
在以往的图像处理装置中，有可以获得动态范围宽的图形的装置。在这种图像处理装置中，例如有特开平6-141229号公报公开的装置。
图9表示以往的图像处理装置的结构。如图9所示，以往的图像处理装置由摄像元件1、存储器2、乘法部3、第一和第二加权处理部4、5、加法部6、速度变换部7、电平压缩部8构成。摄像元件1对被摄体摄像。被摄体由摄像元件1以短曝光时间和长曝光时间进行摄像，在每一帧中从摄像元件1依次输出曝光时间短的图像信号和曝光时间长的图像信号。曝光时间短的图像信号和曝光时间长的图像信号两个图像信号在规定的处理后被合成而成为图像信号，曝光时间短的图像信号被输出到存储器2，曝光时间长的图像信号被输出到第一电平加权处理部4。曝光时间短的图像信号被存储在存储器2中，通过定时控制部9，与从摄像元件1输出的曝光时间长的信号进行定时匹配，在乘法部3中乘以短曝光时间和长曝光时间的曝光时间的比，将其输出到第二电平加权处理部5。第二电平加权处理部5将来自乘法部3的曝光时间短的图像信号，与该图像信号的信号电平匹配来乘以加权系数。另一方面，第一电平加权处理部4将从摄像元件1输出的曝光时间长的图像信号，与该图像信号的信号电平匹配来乘以加权系数。由第一电平加权处理部4和第二电平加权处理部5加权的曝光时间短的图像信号和曝光时间长的图像信号由加法部6相加。由于为了读出曝光时间短的图像信号和曝光时间长的图像信号，在摄像元件1中进行比通常的读出速度快的读出，所以由加法部6相加的图像信号由速度变换部7中与监视器等与输出有关的结构要素的处理速度相匹配来变换图形信号速度，由电平压缩部8与输出有关的结构要素的动态范围匹配来压缩图像信号的信号电平高的部分，输出到监视器等。
因此，以往的图像处理装置，在被摄体的暗的部分使用曝光时间长的图像信号，在被摄体的亮的部分使用曝光时间短的信号，图像信号的信号电平高的部分通过非线性压缩来压缩，获得暗的部分没有涂黑并且亮的部分没有飞白的动态范围宽的图像。
但是，以往的图像处理装置，由于如上述那样，在曝光时间短的图像信号上乘以曝光时间的比，而在曝光时间长的图像信号中匹配信号电平来进行的图像信号的处理，所以存在由于处理复杂，图像信号的位数增加，电路规模随之增大的问题。
而且，存在因对于图像信号的运算次数增多，处理延迟增加，以及运算误差的累积而导致微小的图像信息欠缺的问题。
进而，在彩色图像信号的情况下，由于将图像信号分为亮度信号和色差信号，用亮度信号以非线性变化的变化率来控制色差信号，所以进行求亮度信号的变化率的运算，存在电路规模进一步增大的问题。
发明内容
本发明是为解决这样的问题而完成的，提供一种图像处理装置及其程序和其记录介质，可以简单地获得动态范围宽的图像，进而降低处理延迟和由于运算误差的累积而导致的图像信息的欠缺。
本发明的图像处理装置，具有以下结构，包括：
图像信号输入部，输入曝光时间不同的多个图像信号；电平变换系数运算部，运算所述多个图像信号的电平变换系数；加权系数运算部，运算所述多个图像信号的加权系数；以及加法部，将所述多个图像信号乘以各个所述电平变换系数和所述加权系数的结果相加。
按照该结构，通过使用电平变换系数，减少对于图像信号的运算次数，可以以宽的动态范围简单地获得没有暗的部分涂黑，亮的部分飞白的优质的图像而不增大电路规模，进而可以降低处理延迟和运算误差的累积导致的微小的图像信息的欠缺。
而且，本发明的图像处理装置还具有以下结构：所述电平变换系数运算部通过所述电平变换系数，进行使所述多个图像信号的信号电平匹配的电平匹配，同时进行压缩所述多个图像信号的信号电平高的部分的电平压缩。
按照该结构，可以减少对图像信号的运算次数，不增大电路规模，确实简洁地构成。
而且，本发明的图像处理装置，还具有以下结构，还包括：高频分量提取部，从所述多个图像信号中分别提取高频分量；以及高频电平变换系数运算部，运算对应于所述高频分量的特性的高频电平变换系数，所述加法部将所述高频分量乘以了所述高频电平变换系数的结果与被乘以了所述电平变换系数的所述图像信号相加，从而乘以所述加权系数。
按照该结构，可以有效地使用图像的高频分量而产生强弱变化，从而在从暗的部分至亮的部分以宽的动态范围简单地获得优质的图像而不增大电路规模。
而且，本发明的图像处理装置，还具有以下结构，包括：代表值计算部，在所述图像信号为多个彩色分量信号构成的彩色图像信号时，根据多个所述彩色图像信号分别计算代表值，根据所述代表值计算所述电平变换系数和所述加权系数。
按照该结构，对于各彩色信号分量使用相同的电平变换系数，可以没有色相变化的从暗的部分到亮的部分以宽的动态范围简单地获得优质的图像而不增大电路规模。
而且，本发明的图像处理装置，具有以下结构：所述图像信号输入部输入来自摄像装置的图像信号，该摄像装置累积预定的曝光时间的图像信号，匹配所述累积的图像信号之间的定时而进行合成，输出合成的图像信号。
按照该结构，可以以宽的动态范围简单地获得没有暗的部分涂黑，亮的部分飞白的优质的图像。
而且，本发明的图像处理装置的程序：输入曝光时间不同的多个图像信号；运算所述多个图像信号的电平变换系数；运算所述多个图像信号的加权系数；以及将所述多个图像信号乘以各个所述电平变换系数和所述加权系数的结果相加。
按照该程序，使微处理器和数字信号处理器动作，可以以宽的动态范围获得优质的图像。
而且本发明的图像处理装置的程序：通过所述电平变换系数，进行使所述多个图像信号的信号电平匹配的电平匹配，同时进行压缩所述多个图像信号的信号电平高的部分的电平压缩。
按照该程序，可以减少对图像信号的运算次数，可以容易地进行简化而不增大电路规模。
而且，本发明的图像处理装置的程序具有以下步骤：通过预定的电平变换系数的特性数据来运算所述电平变换系数。
按照该程序，可以容易地获得准确的电平变换系数。
本发明的图像处理装置的记录介质，其中记录了以下程序：输入曝光时间不同的多个图像信号；运算所述多个图像信号的电平变换系数；运算所述多个图像信号的加权系数；以及将所述多个图像信号乘以各个所述电平变换系数和所述加权系数的结果相加。
按照该程序的记录介质，使微处理器和数字信号处理器动作，可以以宽的动态范围容易地获得优质的图像。
而且，本发明的图像处理装置的记录介质，其中记录的程序还包括：通过所述电平变换系数，进行使所述多个图像信号的信号电平匹配的电平匹配，同时进行压缩所述多个图像信号的信号电平高的部分的电平压缩。
按照该程序的记录介质，可以减少对图像信号的运算次数，容易地同时实现使图像信号的信号电平匹配的电平匹配和信号电平高的部分的压缩。
进而，本发明的图像处理装置的记录介质，其中记录的程序还包括以下步骤：通过预定的电平变换系数的特性数据运算所述电平变换系数。
按照该程序的记录介质，可以容易得获得准确的电平变换系数。
附图说明
本发明的图像处理装置、图像处理程序的特征和优点，根据以下的附图和后述的记载而变得清楚。
图1是本发明的第一实施方式的图像处理装置的方框图。
图2是图像信号与被摄体亮度的曲线图。
图3是电平压缩函数和电平变换系数的特性数据与曝光时间长的图像的图像信号(长图像信号)和曝光时间短的图像信号(短图像信号)的的曲线图。
图4是对图像信号乘以了图3表示的变换系数时的特性的曲线图。
图5是表示由图1表示的加权系数运算部运算的加权系数的图。
图6是本发明的第二实施方式的图像处理装置的方框图。
图7是本发明的第三实施方式的图像处理装置的方框图。
图8是本发明的实施方式的图像处理装置中使用的摄像装置的方框图。
图9是以往的图像处理装置的结构图。
具体实施方式
以下，对本发明的实施方式进行说明。
图1表示本发明的第一实施方式的图像处理装置的方框图。
如图1所示，本发明的第一实施方式的图像处理装置包括：图像信号输入部11，输入曝光时间长的图像的图像信号(以下称为长图像信号)和曝光时间短的图像的图像信号(以下称为短图像信号)；第一电平变换系数运算部12，运算用于同时进行长图像信号的信号电平的变换和信号电平高的部分的非线性压缩的电平系数；第二电平变换系数运算部13，运算用于同时进行短图像信号的信号电平的变换和信号电平高的部分的非线性压缩的电平系数；加权系数运算部14，运算用于长图像信号和短图像信号的加权加法中使用的加权系数；乘法部15a，将加权系数运算部14的输出和长图像信号的第一电平变换系数运算部12的输出进行相乘；乘法部15b，将加权系数运算部14的输出和短图像信号的第二电平变换系数运算部13的输出进行相乘；乘法部16a，将乘法部15a的输出和来自图像信号输入部11的长图像信号进行相乘；乘法部16b，将乘法部15b的输出和来自图像信号输入部11的短图像信号进行相乘；加法部17，为了对乘法部16a的输出和乘法部16b的输出进行合成而将它们相加。
接着，对本发明的第一实施方式的图像处理装置的动作进行说明。
图像信号输入部11输入被同时化的图像信号，以便同时处理曝光时间不同的同一被摄体的多个图像的图像信号。来自图像信号输入部11的多个图像信号中的长图像信号被输入长图像信号的第一电平变换系数运算部12，运算用于与长图像信号相乘的电平变换系数。同样，短图像信号也被输入短图像信号的第二电平变换系数运算部13，运算用于与短图像信号相乘的电平变换系数。对于该长和短图像信号的电平变换系数的运算方法在后面叙述。
在加权系数运算部14，根据长图像信号的信号电平分别运算长图像信号和短图像信号的加权加法中使用的加权系数。对该加权系数的运算方法在后面叙述。
在第一电平变换系数运算部12中运算的长图像信号的电平变换系数和在加权系数运算部14中运算的加权系数在乘法部15a相乘后，由乘法部16a与来自图像信号输入部11的长图像信号相乘，成为由电平变换系数进行图像信号的信号电平的电平匹配和电平压缩，以及由加权系数进行加权的长图像信号。同样，在第二电平变换系数运算部13中运算的短图像信号的电平变换系数和在加权系数运算部14中运算的加权系数在乘法部15a中相乘后，在乘法部16b中与来自图像信号输入部11的短图像信号相乘，成为由电平变换系数进行图像信号的信号电平的电平匹配和电平压缩，以及由加权系数进行加权的短图像信号。
在加法部17中，将从乘法部16a、16b输出的被加权的长图像信号和短图像信号相加，将图像信号输出到监视器等。
接着，对长图像信号和短图像信号的电平变换系数的运算方法进行说明。
图2表示图像信号与被摄体亮度的曲线图，横轴表示被摄体亮度，纵轴表示图像信号的信号电平。
如图2所示，可知长图像信号21在被摄体亮度高的部分中以饱和电平23而饱和，短图像信号22对于长图像信号21，仅曝光时间比的部分倾斜小。即，可知被摄体亮度高的被摄体亮的部分的长图像信号21的图像成为飞白的图像，被摄体亮度低的被摄体暗的部分的短图像信号22的图像暗，从而成为不清楚的图像。
因此，本发明的第一实施方式的图像处理装置为了获得从亮的部分到暗的部分的高质量的画质，将长图像信号21和短图像信号22两个图像信号根据被摄体的亮度进行合成。为了合成长图像信号21和短图像信号22，进行图像信号的信号电平的匹配，但是为了电平匹配而将短图像信号22放大曝光时间比的图像信号24，由于图像信号24的范围变大，所以位数增加，由于图像信号的例如监视器等的输出目的地的位数被限制，所以需要进行收敛到规定的位数的处理。
因此，进行将图像信号的信号电平高的部分进行非线性压缩的电平压缩，进行图像信号的位数的压缩。
图3表示电平压缩函数和电平变换系数的特性数据与长图像信号和短图像信号的曲线图。
图3(a)表示电平压缩函数的特性数据与长图像信号的曲线图。
如果将长图像信号的电平压缩函数31设为F长(X)，则该F长(X)的计算值Y可以作为(式1)表示。
Y＝F长(X) (式1)
X：输入图像信号
电平压缩函数31可以自由地设定将长图像信号的信号电平低的部分提高(boost)，将长图像信号的信号电平高的部分压缩那样的特性，由此，图像信号的信号电平低的部分，即图像暗的部分被增强而容易看见，信号电平高的部分被压缩到饱和电平以下。
而且，按照被摄体和用途，通过将电平压缩函数的特性设为S形状，可以使中间电平的信号更容易看见，可以对照被摄体的状态，计算机等自适应地控制电平压缩函数31的特性，可以达到良好的图像质量。
图3(b)表示对于长图像信号的电平变换系数的特性数据的曲线图。
如果将电平变换系数32设为A长(X)，则A长(X)对于电平压缩函数31的F长(X)可以表示为式2。
A长(X)＝F长(X)/X (式2)
如式3所示，如果在长图像信号中乘以电平变换系数32，则可以获得与使用了电平压缩函数31时相同的结果。
A长(X)*X＝F长(X)/X*X＝Y (式3)
即，如果在长图像信号中乘以电平变换系数32，可以进行信号的信号电平高的部分的压缩。
图3(c)表示电平压缩函数的特性数据与短图像信号的曲线图。
与长图像信号的情况相同，如果将短图像信号的电平压缩函数33设为F短(X)，则该F短(X)的计算值Y可以表示为式4。
Y＝F短(X) (式4)
这里，F短(X)，通过利用式5，可以在进行电平压缩的同时，进行使长图像信号和短图像信号的信号电平匹配的电平匹配。
F短(X)＝F长(X*N) (式5)
N：曝光时间的比率
图3(d)表示电平变换系数的特性数据与短图像信号的曲线图。
与长图像信号的情况相同，短图像信号的电平变换系数34对于电平压缩函数33的F短(X)，可以表示为式6。
A短(X)＝F短(X)/X (式6)
如式7所示，如果在短图像信号上乘以电平变换系数34，则可以获得与使用了电平压缩函数33时相同的结果。
A短(X)*X＝F短(X)/X*X＝Y (式7)
即，通过在短图像信号上乘以电平变换系数34，可以在电平压缩的同时，进行匹配长图像信号和短图像信号的信号电平的电平匹配。而且，长图像信号和短图像信号的信号电平不一定需要严格地一致。
而且，图3(b)和图3(d)所示的电平变换系数32、34可以通过计算机等计算，作为表存储在存储器等中，通过以输入图像信号的信号电平参照表，可以获得对应的电平变换系数32、34。
而且，选择图3(b)和图3(d)所示的电平变换系数32、34的代表点，仅将代表点作为表存储在存储器等中，代表点之间还可以通过线性插补等补充完善，这种方法在消减存储器方面也是优选的方法。
图4表示在图像信号中乘以图3所示的变换系数时的特性的曲线图，横轴是电平变换前的输入图像信号，纵轴是电平变换后的输出图像信号。长图像信号41和短图像信号42一起，在输入信号中信号电平低的部分的输出被提高，输入信号中信号电平高的部分的输出被抑制。而且，可知长图像信号41和短图像信号42的输入在信号电平低的部分相互一致。
进而对图像信号的加权系数的运算方法进行说明。
图5表示由图1所示的加权系数运算部14运算的加权系数。
在加权系数运算部14中，根据长图像信号的输入电平确定长图像信号的加权系数51和短图像信号的加权系数52。在输入电平低的部分增大长图像信号的加权系数51，在输入电平大的部分增大短图像信号的加权系数52。
由此，通过在被摄体暗的部分使用干扰导致的画质恶化少的长图像信号，在亮的部分使用不饱和的短图像信号，可以获得良好的图像质量。
而且，通过将长图像信号的加权系数51和短图像信号的加权系数52的和始终保持为1，按照信号电平使长图像信号的加权系数51和短图像信号的加权系数52变化，在对乘以了加权系数的图像信号进行相加时没有电平变动，可以以按照信号电平的比率平滑地合成多个图像信号。
进而，通过使图像信号开始交换电平53和图像信号交换的倾斜度54可变，可以与各种条件的图像对应。
而且，本发明的第一实施方式的图像处理装置分别处理长图像信号和短图像信号，但是在长图像信号和短图像信号中进行的处理除了电平变换系数的值以外都相同，所以可以将进行处理的结构元件设为一个，将图像信号提高为两倍速度，从而将长图像信号和短图像信号作为分时信号而仅切换电平变换系数的值，进行切换，使得在加权系数运算部14中仅输入长图像信号，在加法部17中用对图像信号之间进行加法处理的部分进行速度变换，可以在电路规模方面受到欢迎。
而且，本发明的第一实施方式的图像处理装置，对曝光时间不同的两个图像信号进行了说明，但是利用大于等于三个不同的曝光时间的图像信号也可以进行相同的处理，以下的实施方式的图像处理装置也一样。
如上所述，本发明的第一实施方式的图像处理装置，通过电平变换系数进行的图像信号的电平匹配和电平压缩、加权系数进行的加权，可以以宽的动态范围而不增大电路规模地简单地获得减少对于图像信号的运算次数，没有暗的部分的涂黑和亮的部分的飞白的优质的图像，而且通过乘以电平变换系数和加权系数，可以减少对图像信号的运算次数，降低误差延迟、运算误差的累积导致的微小的图像信息的欠缺。
而且，通过使用电平变换系数，可以同时进行图像信号的信号电平的电平匹配和信号电平高的部分的电平压缩，可以容易地避免伴随图像信号的电平匹配的乘法运算导致位数增加的电路规模的增大。
图6表示本发明的第二实施方式的图像处理装置的方框图。
如图6所示，本发明的第二实施方式的图像处理装置在本发明的第一实施方式的图像处理装置上追加以下部件构成：HPF(高通滤波器)65a、65b，为提取图像信号的高频的高频分量提取部；第一高频电平变换系数运算部66，对变换短图像信号的高频分量的信号电平的高频电平变换系数进行运算；第二高频电平变换系数运算部67，对变换长图像信号的高频分量的信号电平的高频电平变换系数进行运算。
以下，对与本发明的第一实施方式的图像处理装置的不同点进行说明。
在HPF65a中，提取被输入的长图像信号的高频分量，在HPF65b中，提取被输入的短图像信号的高频分量。第一高频电平变换系数运算部66将短图像信号的高频分量作为输入，求高频电平变换系数。这里，预先运算的高频电平变换系数的表通过具有与短图像信号的电平变换系数不同的适于高频分量的特性，例如还未怎么进行信号电平高的部分的压缩那样的特性，在后面将所有图像信号相加时保留高频分量，可以获得具有强弱变化的图像。
第二高频电平变换系数运算部67也同样将长图像信号的高频分量作为输入，求取高频电平变换系数，使电平变换系数具有与长图像信号的电平变换系数不同的适于高频分量的特性，例如没怎么进行信号电平高的部分的压缩的特性。
加法部70a对用乘法部68a将来自第一电平变换系数运算部62的电平变换系数与来自图像信号输入部61的长图像信号相乘的结果，以及用乘法部69a将来自第二高频电平变换系数运算部67的高频电平变换系数与来自HPF65a的高频分量的长图像信号相乘的结果进行相加后合成。
同样，加法部70b对用乘法部68b将来自第二电平变换系数运算部63的电平变换系数与来自图像信号输入部61的短图像信号相乘的结果，以及用乘法部69b将来自第一高频电平变换系数运算部66的高频电平变换系数与来自HPF65b的高频分量的短图像信号相乘的结果进行相加后合成。
加法部72将用乘法部71a对来自加法部70a的被合成的长图像信号加权后的长图像信号，以及用乘法部71b对来自加法部70b的被合成的短图像信号加权后的短图像信号进行相加。加法部72相加的图像信号被输出到监视器等进行图像显示。
如上所述，本发明的第二实施方式的图像处理装置，通过取出图像信号的高频分量，乘以适于高频分量特性的高频电平变换系数，可以不象以往那样，伴随图像信号的信号电平的电平匹配引起的位数增加而导致电路规模的增加，可以获得利用了图像信号的高频分量引起的强弱变化的动态范围宽的优质的图像。
图7表示本发明的第三实施方式的图像处理装置的方框图。
本发明的第三实施方式的图像处理装置进行彩色图像的处理，如图7所示，成为在本发明的第一实施方式的图像处理装置上追加计算长图像信号的代表值的第一代表值计算部82a和计算短图像信号的代表值的第二代表值计算部82b的结构。
以下，对与本发明的第一实施方式的图像处理装置的不同点进行说明。
在处理彩色图像的情况下，图像数据将一般作为红(R)、绿(G)、兰(B)的基色信号被输入，或者作为青绿色(Cy)、品红色(Mg)、黄色(Ye)、绿色(G)的互补色信号输入。由于各颜色分量的图像信号的信号电平不同，所以在原样实施了第一实施方式的情况下，有时通过非线性变换，各个色分量的图像信号的比率会被改变，色相会变化。
本发明的第三实施方式的图像处理装置，第一和第二代表值计算部82a、82b根据各颜色分量计算代表值。作为计算的代表值，在互补色信号中，有成为亮度值的平均值和最大值等。在原色数据的图像信号的情况下，可以通过一般的式8计算亮度值，作为代表值。
亮度值＝0.3*R+0.6*G+0.1B (式8)
将由第一和第二代表值计算部82a、82b计算的长图像信号和短图像信号的各个代表值作为输入，通过对变换长图像信号的信号电平的电平变换系数进行运算的第一电平变换系数运算部83和对变换短图像信号的信号电平的电平变换系数进行运算的第二电平变换系数运算部84来求取各个电平变换系数。而且，对加权系数运算部85的输入也设为由第一代表值运算部82a算出的长图像信号的代表值。以后，与本发明的第一实施方式的图像处理装置一样，将对原来的各个颜色分量的图像信号乘以电平变换系数和加权系数的结果相加。
如上所述，本发明的第三实施方式的图像处理装置因为对输入的色分量的各图像信号乘以通过代表值求出的相同的系数，所以各色分量的比率不改变，没有伴随图像信号的信号电平的电平匹配引起的位数增加的电路规模的增加以及用于获得图像信号的变化率的除法处理，可以获得没有色相的变化的动态范围宽的优质的彩色图像。
图8表示利用了本发明的实施方式的图像处理装置的摄像装置的方框图。
在本发明的实施方式的图像处理装置中使用的摄像装置由以下部件构成：摄像元件91；模拟处理部92，进行来自摄像元件91的模拟图像信号的图像处理；AD变换部93，将模拟图像信号变换为数字图像信号；图像信号处理单元94，进行数字图像信号的图像处理。图像信号处理单元94由以下部件构成：定时控制部95，用于进行图像信号的同时化；存储器96；图像信号合成部97，合成长图像信号和短图像信号。
摄像元件91由固体摄像元件(CCD或者CMOS)的传感器，将光变换为电信号。图像信号在模拟处理部92中进行了所谓相关双重采样(CDS)和自动振幅控制(AGC)的处理后，由AD变换部93数字化，输入到图像信号处理单元94。
定时控制部95使用存储器96暂时存储图像信号，匹配长图像信号和短图像信号的定时，以便同时这两个信号的相同被摄体的图像信号，进行长图像信号和短图像信号的合成，之后在图像处理部98中进行合成的图像信号的图像信号处理并输出。
而且，为了获得曝光时间不同的多个图像信号，使摄像元件91、模拟处理部92和AD变换部93以与曝光时间不同的图像的个数倍的速度工作，通过定时控制部95将图像数据暂时存储于存储器96中，将其他图像信号和定时进行匹配而读出。
因此，在以画面的单位切换曝光时间的情况下，需要式9的存储器容量。
存储器容量＝一画面整体的数据*(曝光时间不同的图像个数-1)(式9)
在以行为单位切换曝光时间的情况下，需要式10的存储器容量。
存储器容量＝一行的数据*(曝光时间不同的图像个数-1) (式10)
而且，可以成为准备多个系列的摄像元件91、模拟处理部92、AD变换部93，不需要定时控制部95和存储器96的图像信号的同时化的结构。
而且，也可以成为通过将摄像的结构元件设为多个，在拍摄的多个图像之间没有时间的偏差的结构。
进而，通过将不改变图像信号的频率特性而抑制图像信号的信号电平的光量限制滤波器(以下成为ND滤波器)在摄像元件91中配置为方格花纹或者条纹状，可以获得与使曝光时间变化的方法相同的亮度不同的多个图像。在这种情况下，因为高亮度图像和低亮度图像的像素通过ND滤波器交替地输出，所以可以减少时间的偏差，并且可以容易进行定时控制部95的同时化。
如上所述，通过在本发明的实施方式的图像处理装置中使用上述的摄像装置，通过拍摄亮度不同的多个图像，将它们进行合成的结构，可以获得没有暗的部分的涂黑和亮的部分的飞白的优质的图像，可以获得动态范围宽的图像。
而且，在上述实施方式中，对与本发明有关的图像处理装置进行了说明，但是可以将各处理作为步骤成为图像处理装置的程序，容易地获得动态范围宽且优质的图像，进而可以减少处理延迟和运算误差的累积，可以降低微小的图像信息的欠缺。
而且，可以作为存储该程序的图像处理装置的存储介质，容易地获得动态范围宽且优质的图像，进而可以减少处理延迟和运算误差的累积，降低微小的图像信息的欠缺。
本发明在产业上的可利用性在于，如以上说明的那样，按照本发明，通过输入曝光时间不同的多个图像信号，利用同时进行电平变换和加权的变换系数，可以减少对于图像信号的运算次数，以宽的动态范围简单地获得没有暗的部分的涂黑和亮的部分的飞白的优质的图像而不增大电路的规模，进而可以减少处理延迟和运算误差的累积，降低微小的图像信息的欠缺。
Claims (11)
1、一种图像处理装置，其特征在于，包括：
图像信号输入部，输入曝光时间不同的多个图像信号；
电平变换系数运算部，运算所述多个图像信号的电平变换系数；
加权系数运算部，运算所述多个图像信号的加权系数；以及
加法部，将所述多个图像信号乘以各个所述电平变换系数和所述加权系数的结果相加。
2、如权利要求1所述的图像处理装置，其特征在于，
所述电平变换系数运算部，通过所述电平变换系数，进行使所述多个图像信号的信号电平匹配的电平匹配，同时进行压缩所述多个图像信号的信号电平高的部分的电平压缩。
3、如权利要求1或2所述的图像处理装置，其特征在于，还包括：
高频分量提取部，从所述多个图像信号中分别提取高频分量；以及
高频电平变换系数运算部，运算对应于所述高频分量的特性的高频电平变换系数，
所述加法部将所述高频分量乘以了所述高频电平变换系数的结果与被乘以了所述电平变换系数的所述图像信号相加，从而乘以所述加权系数。
4、如权利要求1至3的任意一项所述的图像处理装置，其特征在于，还包括：
代表值计算部，在所述图像信号为多个彩色分量信号构成的彩色图像信号时，根据多个所述彩色图像信号分别计算代表值，根据所述代表值计算所述电平变换系数和所述加权系数。
5、如权利要求1至4的任意一项所述的图像处理装置，其特征在于，
所述图像信号输入部输入来自摄像装置的图像信号，该摄像装置累积预定的曝光时间的图像信号，匹配所述累积的图像信号之间的定时而进行合成，并输出合成的图像信号。
6、一种图像处理装置的程序，其特征在于：
输入曝光时间不同的多个图像信号；
运算所述多个图像信号的电平变换系数；
运算所述多个图像信号的加权系数；以及
将所述多个图像信号乘以各个所述电平变换系数和所述加权系数的结果相加。
7、如权利要求6所述的图像处理装置的程序，其特征在于：
通过所述电平变换系数，进行使所述多个图像信号的信号电平匹配的电平匹配，同时进行压缩所述多个图像信号的信号电平高的部分的电平压缩。
8、如权利要求6所述的图像处理装置的程序，其特征在于，
通过预定的电平变换系数的特性数据来运算所述电平变换系数。
9、一种图像处理装置的记录介质，其特征在于，其中记录了以下程序：
输入曝光时间不同的多个图像信号；
运算所述多个图像信号的电平变换系数；
运算所述多个图像信号的加权系数；以及
将所述多个图像信号乘以各个所述电平变换系数和所述加权系数的结果相加。
10、如权利要求9所述的图像处理装置的记录介质，其特征在于，其中记录的程序还包括：
通过所述电平变换系数，进行使所述多个图像信号的信号电平匹配的电平匹配，同时进行压缩所述多个图像信号的信号电平高的部分的电平压缩。
11、如权利要求9所述的图像处理装置的记录介质，其特征在于，其中记录的程序还包括：
通过预定的电平变换系数的特性数据运算所述电平变换系数。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP028652/2003 | 2003-02-05 | ||
| JP2003028652A JP4272443B2 (ja) | 2003-02-05 | 2003-02-05 | 画像処理装置および画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1748409A true CN1748409A (zh) | 2006-03-15 |
| CN100355271C CN100355271C (zh) | 2007-12-12 |
Family
ID=32844210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2004800035058A Expired - Fee Related CN100355271C (zh) | 2003-02-05 | 2004-02-05 | 图像处理装置及其方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20060177148A1 (zh) |
| EP (1) | EP1592235B1 (zh) |
| JP (1) | JP4272443B2 (zh) |
| CN (1) | CN100355271C (zh) |
| WO (1) | WO2004071077A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104205804A (zh) * | 2012-03-30 | 2014-12-10 | 富士胶片株式会社 | 图像处理装置、拍摄装置、程序以及图像处理方法 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4855704B2 (ja) * | 2005-03-31 | 2012-01-18 | 株式会社東芝 | 固体撮像装置 |
| JP2008092416A (ja) * | 2006-10-04 | 2008-04-17 | Sony Corp | 撮像装置及び画像処理方法 |
| JP4905229B2 (ja) | 2007-04-11 | 2012-03-28 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法及び画像処理用プログラム |
| KR101665511B1 (ko) * | 2010-02-11 | 2016-10-12 | 삼성전자 주식회사 | 광역 역광 보정 하드웨어 장치 및 이를 포함하는 촬영 장치 |
| DE102010023166B4 (de) * | 2010-06-07 | 2016-01-21 | Dräger Safety AG & Co. KGaA | Wärmebildkamera |
| US8994843B2 (en) * | 2010-09-01 | 2015-03-31 | Qualcomm Incorporated | High dynamic range image sensor |
| JP5762756B2 (ja) | 2011-01-20 | 2015-08-12 | オリンパス株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、および撮影装置 |
| JP2013066145A (ja) * | 2011-08-31 | 2013-04-11 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
| JP2013115470A (ja) | 2011-11-25 | 2013-06-10 | Sony Corp | 固体撮像素子の信号処理回路、固体撮像素子の信号処理方法、及び、電子機器 |
| EP2798847B1 (en) * | 2011-12-30 | 2018-08-22 | Barco NV | Method and system for determining image retention |
| JP6563646B2 (ja) | 2014-12-10 | 2019-08-21 | ハンファテクウィン株式会社 | 画像処理装置および画像処理方法 |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5247366A (en) * | 1989-08-02 | 1993-09-21 | I Sight Ltd. | Color wide dynamic range camera |
| JP3074967B2 (ja) * | 1992-10-27 | 2000-08-07 | 松下電器産業株式会社 | 高ダイナミックレンジ撮像・合成方法及び高ダイナミックレンジ撮像装置 |
| EP0739571A1 (en) * | 1993-02-08 | 1996-10-30 | I Sight, Inc. | Color wide dynamic range camera using a charge coupled device with mosaic filter |
| JPH06245151A (ja) * | 1993-02-16 | 1994-09-02 | Hitachi Denshi Ltd | テレビジョンカメラ装置 |
| US6219097B1 (en) * | 1996-05-08 | 2001-04-17 | Olympus Optical Co., Ltd. | Image pickup with expanded dynamic range where the first exposure is adjustable and second exposure is predetermined |
| JP3989615B2 (ja) * | 1997-06-27 | 2007-10-10 | 松下電器産業株式会社 | 固体撮像装置 |
| US6587149B1 (en) * | 1997-10-17 | 2003-07-01 | Matsushita Electric Industrial Co., Ltd. | Video camera with progressive scanning and dynamic range enlarging modes |
| JP3519002B2 (ja) * | 1997-10-23 | 2004-04-12 | オリンパス株式会社 | 撮像装置 |
| JP3999321B2 (ja) * | 1997-12-05 | 2007-10-31 | オリンパス株式会社 | 電子カメラ |
| KR100335408B1 (ko) * | 1998-03-03 | 2002-08-21 | 삼성전자 주식회사 | 포커스옵셋조정가능한광픽업장치 |
| US6285798B1 (en) * | 1998-07-06 | 2001-09-04 | Eastman Kodak Company | Automatic tone adjustment by contrast gain-control on edges |
| JP3458741B2 (ja) * | 1998-12-21 | 2003-10-20 | ソニー株式会社 | 撮像方法及び撮像装置、画像処理方法及び画像処理装置 |
| KR100363826B1 (ko) * | 1999-06-07 | 2002-12-06 | 히다치덴시 가부시키가이샤 | 넓은 다이내믹레인지의 영상신호를 생성하는텔레비젼신호처리장치와 그 신호처리장치를 가지는텔레비젼카메라 및 텔레비젼신호처리방법 |
| US6687400B1 (en) * | 1999-06-16 | 2004-02-03 | Microsoft Corporation | System and process for improving the uniformity of the exposure and tone of a digital image |
| JP2001169177A (ja) * | 1999-12-06 | 2001-06-22 | Matsushita Electric Ind Co Ltd | ダイナミックレンジ拡大カメラ |
| JP3642245B2 (ja) * | 2000-01-14 | 2005-04-27 | 松下電器産業株式会社 | 固体撮像装置 |
| US6738510B2 (en) * | 2000-02-22 | 2004-05-18 | Olympus Optical Co., Ltd. | Image processing apparatus |
| DE10064184C1 (de) * | 2000-12-22 | 2002-04-04 | Fraunhofer Ges Forschung | Verfahren und Vorrichtung zur Bilderzeugung unter Verwendung mehrerer Belichtungszeiten |
| JP3702222B2 (ja) * | 2001-12-28 | 2005-10-05 | 株式会社東芝 | 撮像装置及び映像信号処理方法 |
-
2003
- 2003-02-05 JP JP2003028652A patent/JP4272443B2/ja not_active Expired - Fee Related
-
2004
- 2004-02-05 EP EP04708504A patent/EP1592235B1/en not_active Expired - Fee Related
- 2004-02-05 CN CNB2004800035058A patent/CN100355271C/zh not_active Expired - Fee Related
- 2004-02-05 WO PCT/JP2004/001226 patent/WO2004071077A1/ja active Application Filing
- 2004-02-05 US US10/544,430 patent/US20060177148A1/en not_active Abandoned
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104205804A (zh) * | 2012-03-30 | 2014-12-10 | 富士胶片株式会社 | 图像处理装置、拍摄装置、程序以及图像处理方法 |
| CN104205804B (zh) * | 2012-03-30 | 2016-05-25 | 富士胶片株式会社 | 图像处理装置、拍摄装置以及图像处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1592235A4 (en) | 2010-02-24 |
| EP1592235A1 (en) | 2005-11-02 |
| JP4272443B2 (ja) | 2009-06-03 |
| WO2004071077A1 (ja) | 2004-08-19 |
| CN100355271C (zh) | 2007-12-12 |
| EP1592235B1 (en) | 2011-11-23 |
| US20060177148A1 (en) | 2006-08-10 |
| JP2004266347A (ja) | 2004-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1128540C (zh) | 动态范围扩展的成像装置、摄像机及其方法 | |
| CN1086534C (zh) | 图象传感设备 | |
| CN1171465C (zh) | 具有单-摄像元件、可抑制伪彩色信号的彩色摄象机 | |
| CN1941917A (zh) | 成像装置及图像处理器 | |
| CN1992818A (zh) | 摄像装置和方法、记录介质以及程序 | |
| CN1748409A (zh) | 图像处理装置、图像处理程序和记录了该程序的记录介质 | |
| CN1251485C (zh) | 摄像装置 | |
| CN1703725A (zh) | 多个图像数据的全景合成处理 | |
| CN1835565A (zh) | 图像捕获装置、图像传感器和图像捕获处理方法 | |
| CN1753506A (zh) | Cmos图像实时增强预处理实现方法 | |
| CN1243384A (zh) | 成像设备 | |
| CN1898945A (zh) | 具有亮度校正功能的图像拾取设备以及校正图像亮度的方法 | |
| CN1848920A (zh) | 自动焦点调节装置和焦点调节方法 | |
| CN1820496A (zh) | 图像修正方法和摄像装置 | |
| CN1933540A (zh) | 匹配于数据提供速度调整图像大小的图像处理装置和方法 | |
| US9083890B2 (en) | Image capturing apparatus, image processing apparatus and image processing method | |
| CN1242666A (zh) | 成像设备和记录/再现设备 | |
| CN1781319A (zh) | 权衡特定颜色的颜色再现后的彩色平衡调整 | |
| CN101047773A (zh) | 成像设备、视频信号处理电路和方法、及计算机程序产品 | |
| CN1992823A (zh) | 信号处理装置 | |
| CN1532939A (zh) | 固体摄像装置及其驱动方法 | |
| CN1218286C (zh) | 图像处理设备 | |
| CN1768535A (zh) | 图像捕获设备 | |
| CN1649393A (zh) | 摄像装置及其控制方法、程序及存储媒体 | |
| CN1653823A (zh) | 影像处理设备和影像处理方法、记录媒体和程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C17 | Cessation of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20071212 Termination date: 20140205 |