CN1452386A

CN1452386A - 摄像装置

Info

Publication number: CN1452386A
Application number: CN03110657A
Authority: CN
Inventors: 吉田英明
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 2002-04-18
Filing date: 2003-04-18
Publication date: 2003-10-29
Also published as: JP2003319240A; JP4024581B2

Abstract

本发明提供一种摄像装置。其对较低亮度的被写体也能获得使用动态范围扩大摄像的宽动态范围图像。其中，CCD摄像元件105以由曝光控制机构(103)控制的规定的曝光，摄像被摄体输出图像信号。两幅图像连续摄像控制部(112a)，为获得最终的一幅静止图像，控制获得曝光量不同的两幅图像(原图像信号)的摄像顺序的执行。图像信号生成处理控制部(112b)通过两幅图像连续摄像控制部(112a)的控制，对从CCD摄像元件(105)获得的两幅图像(原图像信号)，控制进行原图像信号之间位置偏移的修正的同时进行合成产生一幅静止图像(合成图像信号)的图像信号生成处理。

Description

摄像装置

技术领域

本发明涉及使用CCD(Charge Coupled Device)等固体摄像元件的摄像装置，特别涉及一种进行从曝光不同的多张摄像原图像合成一张图像的动态范围(ダイナミツクレンジ)扩大摄像的摄像装置。

背景技术

动态范围扩大摄像的试验已有多种方案，例如已知有将由曝光不同的摄像获得的2张(以上)原图像进行合成处理的方案。在采用这种方式的场合，在摄影时若发生手摇晃，则在两次原图像摄像时刻之间图像发生偏移，因此，由于各像素不对应于被摄体的同一点上，故存在致使合成图像上发生图像质量破绽(不能容许的图像质量劣化)的问题。

针对该问题，本申请人在先申请的日本特愿2000-358144号公告中特别记载了以下技术：采用使2幅图像摄影定时连续的摄像顺序，同时利用预定的手摇晃临界快门速度，限定在可使用短时间快门速度的场合，可以使用动态范围扩大影像，由此，谋求回避图像质量破绽。

本申请人在先申请的日本特愿2000-358144号中记载的技术虽然对于回避图像质量破绽而言极为有效，但因此动态范围扩大摄像的适用被仅限于可以使用高速快门、高亮度的被摄体，对于较低亮度的被摄体，则存在有不能进行动态范围扩大摄像的问题。

发明内容

本发明是考虑上述情况而做出的发明，其目的是提供一种摄像装置，该摄像装置对于较低亮度的被摄体，也可以使用动态范围扩大摄像获得宽动态范围图像。

本发明的特征在于其具备：摄像装置，该装置将被摄体以预定的曝光进行摄像，输出图像信号；曝光控制装置，该装置是对上述摄像装置控制曝光量的；图像信号生成处理控制装置，该装置对由上述曝光控制装置对上述摄像装置付与不同的曝光量而分别获得的多幅原图像信号，在将上述多幅原图像信号之间的位置偏移进行修正的同时进行合成，生成合成图像信号。

在该摄像装置中，在动态范围扩大摄像时，即使随着为谋求低亮度区域一侧的动态范围扩大而加大曝光量(例如加长曝光时间)，由于手的摇晃等原因在多幅图像上发生位置偏移，通过修正图像之间的位置偏移的同时合成最终图像，因此，不会在其过程中招致图像质量的劣化。

附图的简要说明

图1是表示本实施例中摄像装置的构成的框图。

图2是表示使用一般摄像元件构成摄像装置的情况下的摄像元件的光电变换特性图。

图3是表示用于使用长短2个曝光时间的两幅图像连续摄像的摄像顺序的时间图。

图4是本实施例中从CCD摄像元件105读出的第一、二各原图像的像素信息信号的光电变换特性图。

图5是用于对本实施例中的图像信号生成处理进行说明的流程图。

图6是示出第一、二各原图像和生成图像之间关系的图。

符号的说明

101 透镜

102 透镜驱动机构

103 曝光控制机构

104 机械快门

105 CCD摄像元件

106 CCD驱动器

107 预处理器电路

108 数据处理电路

109 卡接口

110 存储卡

111 LCD图像显示系统

112 系统控制器(CPU)

112a 两幅图像连续摄像控制部

112b 图像信号生成处理控制部

113 操作开关系统

114 操作显示系统

115 透镜驱动器

116 频闪观测器

117 曝光控制驱动器

118 永久存储器(EEPROM)

发明的具体实施方式

下面，参照附图说明本发明的实施例。

图1中示出了本实施例中摄像装置的构成。在这里，举出作为数码相机实现的情况为例进行说明。

图中101是由各种透镜(摄影透镜)构成的摄影透镜系统，102是用于进行透镜系统101的伸缩驱动或透镜系统101内的可变焦透镜以及聚焦透镜的驱动的透镜驱动机构，103是用于控制透镜系统101的光圈或机械快门的曝光控制机构，104是机械快门，105是内置了滤色镜的用于将被摄体图像进行光电变换的CCD摄像元件(摄像构件)，106是用于驱动摄像元件105的CCD驱动器，107是包括模拟放大器和A/D变换器等的预处理电路，108是用于记录图像的生成的颜色信号生成处理、矩阵变换处理、压缩扩展处理、以及其他各种数据处理的数据处理电路，109是卡接口，110是存储卡，111则表示LCD图像显示系统。

此外，图中的112表示综合控制各部分的系统控制器(CPU)，113表示由点动开关、设定按钮等各种开关组成的操作开关系统，114表示用于显示操作状态及模式状态等的操作显示系统，115表示用于控制透镜驱动机构102的透镜驱动器，116表示作为发光装置的频闪观测器，117表示用于控制曝光控制机构103及频闪观测器116的曝光控制驱动器，118表示用于存储各种设定信息等的永久存储器(EEPROM)。

在本实施例的摄像装置中，系统控制器112对整个装置进行综合控制，进行曝光控制机构103及机械快门104、和由CCD驱动器106执行的CCD摄像元件105的驱动，而进行曝光(电荷聚积)和信号的读出，并将其通过预处理电路107作A/D变换之后输入数据处理电路108中，在数据处理电路108内实施各种信号处理之后，通过卡接口109存储于存储卡110中。曝光控制机构103及机械快门104以及它们的控制部(包括系统控制器112和曝光控制驱动器117)构成曝光控制装置。

再者，作为CCD摄像元件105，例如使用纵型溢漏排出(オ—バ—フロ—ドレイン)构造的隔行型逐步(顺次)扫描型摄像元件。

CCD摄像元件105的驱动控制利用由CCD驱动器106输出的各种驱动信号(电荷转送脉冲TG、垂直/水平转送用脉冲、基板外加高电压脉冲VSUB等)进行。CCD摄像元件105是由矩阵配置的电荷聚积部和分别被水平和垂直地配置的电荷转送部(垂直电荷转送路、水平电荷转送路)组成的一般隔行型结构，一旦电荷转移脉冲TG被输出，则在各电荷聚积部和垂直电荷转送部之间设置的转送门被打开，电荷从各电荷聚积部向对应的垂直电荷转送路上被转送。通过电荷转送脉冲TG的输出定时，进行实质性的曝光时间控制。此外，基板外加高电压脉冲VSUB用于将电荷聚积部的电荷向半导体基板(感光底层＝纵型溢漏排除VOFD)强制排出。

在本实施例中的摄像装置(数码相机)中，除了下面详述的为实现摄像图像的摇晃修正动态范围扩大而进行的图像信号处理控制之外，是与通常的数码相机进行相同的动作和控制，因此，对于这种公知的部分省略其说明。

系统控制器112上，如图所示，作为本实施例的特征的用于摇晃修正动态范围扩大的功能，设置有两幅图像连续摄像控制部112a和图像信号生成处理控制部112b。两幅图像连续摄像控制部112a，为获得最终的一幅静止图像，通过连续进行长短两次曝光时间的曝光，控制摄像顺序的执行，其为没有定时差的获得不同曝光量的两幅图像(原图像信号)的摄像顺序。图像信号生成处理控制部112b控制图像信号生成处理，对通过两幅图像连续摄像控制部112a的控制获得的两幅图像(原图像信号)，一边进行原图像信号间的位置偏移修正，一边合成产生一幅静止图像(合成图像信号)。

下面，对本实施例中摄像装置的动作进行说明。

摄像范围并不只由摄像元件而决定，而是由包括使用该摄像元件的摄像装置的信号处理的整体来决定，但是至少在其高亮度一侧，摄像元件的饱和电平成为界限，在低亮度一侧，则组装于摄像装置的状态下的摄像元件输出的噪声电平成为界限，因此至少可以获得超过该界限的摄像范围。

在使用一般摄像元件构成的摄像装置场合，摄像元件的光电变换特性成为如图2中模式性地所示那样。图2中，横轴表示入射光量，纵轴将信号电平分别以对数表示。图2中，UL表示高亮度一侧的临界电平，LL表示低亮度一侧的临界电平。UL为大致对应于摄像元件的饱和电平的电平，另一方面关于LL不是定为噪声电平NL，而是定为具有即使与噪声共存也可以经得住鉴赏的预定临界S/N比的信号电平决定。或者是，以称为“这以下的电平为黑色损坏”的判定基准进行视觉评价，也可以定LL作为临界电平。而且，UL和LL之间成为有效亮度区域，这些(对数轴上的)差DR＝UL-LL即为摄像范围。

该DR根据摄像装置的设计制造而不同，在多数情况下为5～6EV(30～36dB)的程度，本实施例的摄像装置也具有这样的结构。此外，在以下说明中，为了使说明变得简单以进行黑白图像的摄像的情况为例。

首先，对用于根据两幅图像连续摄像控制部112a的控制，用长短两个曝光时间进行两幅图像连续摄像的摄像顺序，参照图3中所示的时间图进行说明。图3中示出的摄像顺序是由本申请人在先申请的特愿2000-358144号公报中记载的，逐步扫描(整帧读出)对应型CCD和机械快门相组合而进行没有时滞的两幅图像摄像的驱动方法。根据该驱动顺序可以使摄像两幅原图像的时间差尽量缩小，因此，可以使利用长短2个曝光时间的两幅图像的位置偏移变小(修正的必要性可以变小)，有利于摄像。

图3中，VD为垂直同期信号(但是可根据需要重新设置，因此，在这个意义上也可以称为1帧动作的开始基准信号)，TG是用于从电荷聚积部向垂直电荷转送路(VCCD)上转移信号电荷的电荷转移脉冲，V转送是用于在垂直电荷转送路内转送电荷的电荷转送脉冲，VSUB是用于将电荷聚积部的聚积电荷向基板侧排出的基板外加高电压脉冲，机械快门表示机械快门104的开闭状态。

首先，机械快门104，开始时为开放，之后被关闭。机械快门104以开放的状态，利用V转送脉冲，对“主曝光(本露光)1”进行VCCD的高速电荷排出驱动。此外，在曝光之前，电荷聚积部内的电荷通过VSUB脉冲向基板侧排出。

利用最小的VSUB脉冲，开始“主曝光1”，利用第一电荷转移脉冲TG1将电荷聚积部的信号电荷转送到VCCD，同时终止“主曝光1”，同时开始“主曝光”。

还有，由机械快门104的遮光，终止“主曝光2”之后，进行用于读出由“主曝光1”获得的第一原图像的V转送。而且，在结束第一原图像的读出之后，利用第二电荷转移脉冲TG2开始读出由“主曝光2”获得的第二原图像。

由“主曝光1”获得的第一原图像和由“主曝光2”获得的第二原图像，以系统控制器112(图像信号生成处理控制部112b)的控制为基础，通过数字处理电路108的数字运算处理而进行合成处理，由此，生成最终的一幅静止图像。

再者，若适用以下详述的本实施例中的偏移修正，则即使两幅原图像的摄像定时稍微不同，通过修正位置偏移的同时进行图像合成不产生图像质量劣化。因此，不根据如上述图3所示的摄像顺序，而可以使用一般摄像装置中使用的摄像顺序也可以。

由此，若进行了两幅原图像的摄像，则根据系统控制器112(图像信号生成处理控制部112b)的控制，进行以下说明的动作，利用数字处理电路108进行合成两幅原图像生成一幅图像的图像信号处理。

从CCD摄像元件105读出的原图像的像素信息信号的光电变换特性，对于第一、第二的各原图像，如图4中所示。即，第二原图像(图中T2)比第一原图像(图中T1)以更长的曝光时间进行曝光，只有相当于该曝光时间差的部分，被左右平行移动。而且，此时的长短为相反的也可以。

下面，对本实施例中的图像信号生成处理，参照图5所示的流程图进行说明。图像信号生成处理是通过图像信号生成处理控制部112b的控制来实现。

在这里，将第一原图像的图像信号作为S1，将第二原图像的图像信号作为S2进行说明。

(1)首先，将表示该两幅图像的相对位置移动的移动矢量信息即移动矢量(V＝(x，y))，通过相关运算求出(步骤A1)。具体来说，对摄影图框，将预定部分区域设定为检测区域，关于该检测区域，根据一假定的移动矢量V，算出两幅图像的相关评价值。而且，比较每次变更移动矢量V＝(x，y)的假定时所获得的各相关评价值，以付与最小值(于相关度最大相对应、完全一致的场合成为0)的V作为所求的移动矢量。

但是，由于两幅图像的曝光量不同，故特别需要下面两点处理。

第一，作为移动矢量检测区域使用的区域被设定在两幅图像的共通区域中。即，从信号S1、信号S2的各图像中分别抽出对应于图4中所示的共通亮度区域的区域，以使该检测区域被包含于该被抽出的区域中的方式设定检测区域(步骤A11)。

第二，修正两幅图像的曝光电平差进行相关运算。在这里是对用低曝光摄像获取的信号S1，以曝光时间比g作为修正系数相乘进行处理(步骤A12)。

以下示出相关评价值的一例。

∑|g·S1(i，j)□S2(i+x，j+y)| …(1)

(∑为关于i，j的总和符号)

由此，作为该相关评价值的与最小值(与最小值)求出移动矢量V＝(x，y)。

(2)下面，根据在步骤A1中检测出的移动矢量信息，将第二原图像的摄影图像框进行变换，同时通过对第1原图像进行图像合成，生成最终的摄像图像Sout(i，j)(步骤A2)。在这里是作为图像合成的方法，是通过两幅图像的加法平均生成图像的。

该摄影图像Sout(i，j)如图6(b)中所示，具有对应于生成图像大小的区域的预定像素数p×q(1≤i≤p，1≤j≤q)。再者，生成图像大小，如图6(a)所示，预测由于摇晃引起的移动量，设定为比摄像元件的整体图像框大小稍微小一些的大小。此外，最初的曝光(第1原图像)的摄影图像框中心设定在有效摄像区域的中央，但是为了简化说明将有效摄像区域的坐标在该状态下设定为与生成图像的坐标(i，j)同数值(因此，在该状态下的生成图像框之外还存在负值坐标。)

生成运算公式用下面的式(2)表示：

Sout(i，j)＝{S1(i，j)+S2(i+x，j+y)}/2 …(2)

再者，在上述说明中，通过算出加法平均值进行了第一原图像和第二原图像的合成，但也可以适用除此之外的任意的方法。

由此，利用图像信号生成处理合成两幅图像而获得的图像信号，在后段的电路中被处理，最终记录在存储卡110中，或者在LCD图像显示系统111中显示。

如上所述，根据图像信息生成处理，通过在将曝光不同的两幅图像间的位置差进行修正的同时进行合成处理，即使适用动态范围扩大摄像，也可以回避由于手的摇晃而引起的图像质量的劣化。因此，对于较低亮度的被摄体也可以适用动态范围扩大摄像。

再者，在上述说明中，以摄像黑白图像进行了说明，但是也可以适用于摄像彩色图像的场合。例如，即使是单板元件，经同时化后，即，使各像素都具有RGB信息时，则在上述图像信号生成处理的步骤A1的移动矢量(位置差)检测中，作为信号S1、S2，例如使用由亮度矩阵Y＝0.299R+0.587G+0.114B算出的亮度信号Y(用G信号代替也可以)。还有，在步骤A2的图像生成运算中，根据以亮度信号Y(或者是G信号)为基础检出的移动矢量信息，对RGB各信息与上述相同进行用于图像合成的运算。

此外，移动矢量信息的检测，在实际上使用被摄影图像的这一点上是优良的，但另一方面，检测区域被限制在共通亮度域内。此时，对于被摄体的亮度分布来说，也存在不属于共通亮度域的部分而不能适用的情况。关于这一点，可以通过如下变形例1、2的结构可以对应。

变形例1

在主摄影(本撮影)中，首先，以对应于在监控模式(不适用动态范围扩大的一般动画输出模式)中获取的多幅静态图像的图像信号为基础，通过与上述相同的公知的相关运算方法求出移动矢量信息(位置移动)，将该最终移动矢量信息(主摄影之前的信息)适用于图像信号生成处理(代替步骤A11的处理)。由此，与被摄体的亮度分布无关，可以获取移动矢量信息。此外，在主摄影中事先不仅求出移动矢量信息，在主摄影结束之后同样也求出移动矢量信息，并算出主摄影之前和之后的移动矢量的平均值，也可将其作为移动矢量信息来适用。进一步，也可以仅适用主摄影之后求出的移动矢量信息。

变形例2

设置加速度传感器或角速度传感器等摇晃检测传感器119(参照图1)，系统控制器112在主摄影时，获取利用摇晃检测传感器119检测出的摇晃量信息。图像信号生成处理控制部112b，根据从摇晃检测传感器119获取的摇晃量求出移动矢量信息，根据该移动矢量信息经如上所述的处理进行图像合成。

此外，本实施例的摄像装置中，也可能存在如下的变形例。

上述说明中，作为两幅图像的合成处理，示出了利用最简单的加法平均的例子，但利用其他任意的合成处理方法也可以。例如，也可以是利用嵌入合成法的情况。在嵌入合成法中，例如通过对一幅原图像的超出亮度范围的区域嵌入另一幅原图像，或者通过比较像素的颜色信息或局部对比度信息等图像质量(信息)，对于每个像素采用更好一方的原图像，从而进行合成。

此外，在两幅图像连续摄像的摄像顺序中，曝光时间的错开量为任意的。而且，曝光量也可以根据曝光时间以外的参数(例如光圈量)来调整。

此外，为了使说明变简单，举例了将曝光量不同的两幅图像进行合成的情况，但实际上将曝光量不同的三幅以上的图像进行合成的构成也可以的。例如，可以对曝光量为大、中、小的3幅图像A、B、C，进行与上述相同的处理。

此外，本申请发明并不限于上述实施例，可以在实施阶段在不脱离其要点范围内进行各种变形。而且，含有在上述实施例中种种阶段的方案，由所披露的多个构成要件的适当组合可以做出各种方案。例如，即使从实施例中揭示的全体构成要件中删去几个构成要件，也能获得效果的情况下，可以将该构成要件删除之后的构成作为方案抽出。

根据如上述所详述的本发明，在由不同曝光的多幅摄像原图像合成一幅图像的动态范围扩大摄像中，由于将各原图像间的位置偏移进行修正的同时进行合成处理，因此，即使适用于动态范围扩大摄像也能避免由于手摇晃引起的图像质量劣化，对于较低亮度的被摄体也能获得宽动态范围图像。

Claims

1.一种摄像方法，使用一种具有摄像被摄体输出图像信号的摄像机构和控制上述摄像机构的曝光量的曝光控制机构的电子摄像装置，其特征在于：

由上述曝光控制机构对上述摄像机构分别设定不同的多个曝光量；

根据上述被设定的曝光量依次执行曝光；

将根据上述多次的曝光所获得的多幅原图像信号分别存储；

对于上述被存储的多幅原图像信号检测出相互位置偏移；

修正上述被检测出的位置偏移；

更新存储上述位置偏移修正后的原图像；

合成上述被更新存储的原图像信号，输出扩大动态范围的一幅图像信号。

2.根据权利要求1所述的摄像方法，其特征在于：上述多幅原图像的位置偏移检测是基于上述多幅原图像信号之间共通的亮度范围的图像信息进行检测。

3.根据权利要求1所述的摄像方法，其特征在于：上述多幅原图像间的位置偏移检测是基于由在上述多次摄像的事前或事后的至少任一方所获得的图像信号进行检测。

4.根据权利要求1所述的摄像方法，其特征在于：还具有在摄像时将相机的摇晃以摇晃量输出的摇晃检测机构，根据检测出的上述摇晃量，将上述多幅原图像信号之间的位置偏移检测出。

5.一种电子摄像装置，其包括摄像被摄体输出图像信号的摄像机构和控制上述摄像机构的曝光量的曝光控制机构，其特征在于，其包括：

设定机构，该机构利用上述曝光控制机构对上述摄像机构分别设定不同的多个曝光量；

曝光控制机构，该机构根据上述被设定的曝光量依次执行上述摄像机构的曝光；

存储机构，该机构将通过上述曝光所获得的多幅原图像信号分别进行存储；

检测机构，该机构对上述被存储的多幅原图像信号检测出相互的位置偏移；

修正机构，该机构修正上述被检测出的位置偏移；

将上述位置偏移修正之后的原图像更新存储于上述存储机构中的机构；

合成机构，该机构合成上述被更新存储的原图像信号作成扩大动态范围的一幅图像信号。

6.根据权利要求5所述的电子摄像装置，其特征在于：上述检测机构，根据在上述多幅原图像信号之间共通的亮度范围的图像信息，检测出位置偏移。

7.根据权利要求5所述的电子摄像装置，其特征在于：上述检测机构，根据上述多次摄像的事前或事后的至少一方获得的图像信号，检测出位置偏移。

8.根据权利要求5所述的电子摄像装置，其特征在于：还具有将摄像时的相机摇晃以摇晃量输出的摇晃检测机构，根据由该摇晃检测机构检测出的上述摇晃量，检测出上述多幅原图像信号之间的位置偏移。