CN101931743A

CN101931743A - 使用滚动快门拍摄图像的成像器

Info

Publication number: CN101931743A
Application number: CN2010102052464A
Authority: CN
Inventors: 山元康裕
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2009-06-17
Filing date: 2010-06-13
Publication date: 2010-12-29
Anticipated expiration: 2030-06-13
Also published as: JP2011004068A; CN101931743B; US8294774B2; KR20100135683A; US20100321517A1; JP5272916B2; KR101626894B1

Abstract

本发明提供了一种使用滚动快门拍摄图像的成像器。该成像器具有成像传感器和对焦检测器。成像传感器沿正向或逆向读取所存储的电荷并输出从所读取的电荷创建的图像数据。比较器计算所述成像传感器输出的第一图像数据与成像传感器在输出第一图像数据之后紧接着输出的第二图像数据之间的差，并确定该差是否大于第一阈值。合成器从成像传感器输出的两个图像的数据创建合成图像数据。在比较器确定该差大于第一阈值的情况下，合成器从第二图像数据和通过沿与第二图像数据的扫描方向相反的逆向扫描第二图像获得的逆向扫描图像数据创建合成图像数据。

Description

使用滚动快门拍摄图像的成像器

技术领域

本发明涉及一种包括使用滚动快门捕捉图像的成像传感器的成像器。

背景技术

公知的用于捕捉图像的成像传感器具有设置在二维平面上的光电二极管。成像器连续显示从成像传感器输出到显示器的图像数据。观察显示器的用户能够看到图像，并能够识别预览图像(through image)。美国已公布专利申请公开No.2006-0157760Al公开了一种作为成像器中使用的成像传感器的CMOS成像传感器。

但是，CMOS成像传感器使用滚动快门照相，从而CMOS成像传感器中设置的每个光电二极管的曝光时刻在垂直方向上不同。因此，在对象的位置、尺寸等等随时间变化的情况下，所显示的图像和影片会发生畸变并会很难看。

发明内容

本发明的目的是提供一种在拍摄变化较大的动态对象的情况下在显示器上显示具有最小畸变的图像的成像器。

成像器具有成像传感器和对焦检测器。成像传感器沿正向或逆向读取所存储的电荷并输出从所读取的电荷创建的图像数据。比较器计算所述成像传感器输出的第一图像数据与成像传感器在输出第一图像数据之后紧接着输出的第二图像数据之间的差，并确定该差是否大于第一阈值。合成器(composer)从成像传感器输出的两个图像的数据创建合成图像数据。在比较器确定该差大于第一阈值的情况下，合成器从第二图像数据以及通过沿与第二图像数据的扫描方向相反的逆向扫描第二图像获得的逆向扫描图像数据创建合成图像数据。

附图说明

参照附图，通过下面的描述将更好地理解本发明的目的和优点，其中：

图1是根据本发明的实施例的成像器从其后表面所见的透视图；

图2是成像器的方块图；

图3是具有最小畸变的对象图像；

图4显示了在从上到下扫描的情况下通过使用滚动快门导致的畸变；

图5显示了在从下到上扫描的情况下通过使用滚动快门导致的畸变；

图6显示了通过第一畸变降低过程获得的图像；

图7是第一畸变降低过程的流程图；以及

图8是第二畸变降低过程的流程图。

具体实施方式

下面将参考附图所示的实施例描述本发明。

图1和2显示了作为根据本实施例的成像器的数码相机100。例如，数码相机为轻便型相机。

照相机配备有开启和关闭主电源的主电源开关111、释放按钮112、LCD监视器114、卡槽116、以及从数码相机的前表面突出的成像镜头121。主电源开关111和释放按钮112由操作开关110构成。

主电源开关111是从数码相机100的后表面突出的瞬时开关(momentary switch)。当用户按下主电源开关111时，数码相机100开机。如果用户在数码相机100被供电时按下主电源开关111，则数码相机100关机。

释放按钮112是设置在数码相机100的顶部的二阶(two-step)瞬时开关。在用户部分按下释放按钮112的情况下，数码相机执行测光、测距过程。在用户完全按下释放按钮112的情况下，数码相机捕捉图像。

LCD监视器114的形状是具有与所拍摄的图像相同的纵横比3∶4的矩形。如图1所示，LCD监视器114的矩形的长边沿数码相机100的纵向方向延伸，LCD监视器114设置在靠近数码相机100的后表面的中心处。LCD监视器114显示预览图像和通过照相镜头121获得的图像、所拍摄的图像、以及数码相机100的配置设置。

参考图2描述数码相机中设置的部件。数码相机100主要包括控制数码相机100的操作的DSP 131、用于操作数码相机100的操作开关110、将对象图像转化为数字图像信号的成像单元120、存储从DSP 131发送来的数据的存储器132、存储所拍摄的图像的SD卡133、以及LCD监视器114。成像单元120主要包括CMOS成像传感器124、AFE(模拟前端)125、以及定时发生器(timing generator)126。

成像镜头121将对象图像对焦到CMOS成像传感器124的成像区域上。CMOS成像传感器124具有在其中将进入的对象图像转化为模拟图像信号的成像区域。成像区域是矩形的并设置在数码相机100中，以使成像区域的长边与图1中从右到左的方向一致并且成像区域的短边与图1中从上到下的方向一致。多个光电二极管在成像区域上排列。在下文中，将沿长边方向排列的光电二极管称为行(line)，将沿短边方向排列的光电二极管称为列(row)。

CMOS成像传感器124将在成像区域上形成的对象图像转化为模拟图像信号，然后将模拟图像信号发送到AFE 125。AFE 125在调整模拟图像信号的增益之后将模拟图像信号转化为数字图像信号，然后将数字图像信号发送到DSP 131。

CMOS成像传感器124使用滚动快门来输出模拟图像信号。滚动快门是一种信号读取过程(signal-reading procedure)，其为CMOS成像传感器124的每一行(即沿长边方向排列的每组光电二极管)输出模拟图像信号。根据该实施例的CMOS成像传感器124沿从成像区域的顶部到底部的扫描方向输出模拟图像信号，然后沿从成像区域的底部到顶部的扫描方向输出模拟图像信号。之后，CMOS成像传感器124沿从成像区域的顶部到底部的扫描方向输出模拟图像信号。即，CMOS成像传感器124从上到下以及从下到上交替输出信号。在下文中，从成像区域的顶部到底部的扫描方向为正向，从成像区域的底部到顶部的扫描方向为逆向。

定时发生器126向CMOS成像传感器124和AFE 125两者发送基于来自DSP 131的信号的定时信号。CMOS成像传感器124和AFE 125基于该定时信号操作。

在成像前，DSP 131使用来自数字图像信号中包含的对象图像的光量执行对象的测光过程。其根据测光值计算曝光值，然后计算拍摄中使用的快门速度和光圈值。之后，基于计算出的快门速度和光圈值拍摄照片。DSP 131利用接收到的数字图像信号控制照相镜头121，对象图像被对焦到CMOS成像传感器的成像区域上。

在从AFE 125接收到数字图像信号之后，DSP 131处理数字图像信号并将其发送到LCD监视器114作为预览图像。

DSP 131在拍摄过程中处理所接收的数字图像信号并创建包含用于一帧图像的数据的图像数据。图像数据被存储在SD卡133中并被显示在LCD监视器114上。当DSP 131进行计算并执行图像处理时，存储器132用作临时存储中间数据的工作存储器。

SD卡133可拆卸地存放在设于数码相机100的侧面的卡槽116中。用户可以从数码相机100外部接近卡槽116来更换SD卡133。

在拍摄状态随时间变化的对象的情况下，当能够输出存储在光电二极管的全部行或列中的电荷时对象的状态可能会变化。由于CMOS成像传感器124使用滚动快门输出模拟图像信号，因此对每一行而言在每个光电二极管中存储电荷的时刻不同。因此，CMOS成像传感器124所输出的图像可能会发生畸变。

下文将参考图3详细描述输出图像的畸变。图3显示了作为数码相机100的拍摄对象的节拍器。节拍器具有绕垂直轴以短周期来回摆动的摆。

图4显示了在CMOS成像传感器124沿正向扫描后输出模拟图像信号的情况下获得的图像。为了说明起见，图像的畸变被放大。摆从CMOS成像传感器124拍摄摆的末端的时刻运动到CMOS成像传感器124拍摄摆的轴的时刻。因此，在照片中，摆的直臂看起来具有朝向节拍器顶部的凸曲线。

图5显示了在CMOS成像传感器124沿逆向扫描后输出模拟图像信号的情况下获得的图像。为了说明起见，图像的畸变被放大。摆从CMOS成像传感器124拍摄摆的轴的时刻运动到CMOS成像传感器124拍摄摆的末端的时刻。因此，在照片中，摆的直臂看起来具有朝向节拍器底部的凸曲线。

为了防止变形，执行第一畸变降低过程。在第一畸变降低过程中，如果对象的运动大于阈值，则将CMOS成像传感器124沿正向扫描后输出的图像信号和CMOS成像传感器124沿逆向扫描后输出的图像信号一起平均，从而获得具有最小畸变的图像。作为该过程的结果，获得图6所示的图像。

参考图7描述第一畸变降低过程。在预览图像被显示在LCD监视器114上或拍摄影片的情况下，执行第一畸变降低过程。紧邻执行该过程之前，DSP 131在存储器132中存储从CMOS成像传感器124读取的一个帧图像。

在步骤S701中，DSP 131从CMOS成像传感器124读取帧图像。在下文中，该帧图像为帧图像N。

在步骤S702中，DSP 131计算帧图像N与之前从CMOS成像传感器124读取并存储在存储器132中的帧图像N-1之间的差S。帧图像N-1包括CMOS成像传感器在沿与帧图像N的扫描方向相反的方向扫描后捕捉和输出的图像信号。

通过下面描述的公式计算差S。

S = Σ_{y = 0}^{Yn} Σ_{x = 0}^{Xn} | P_{n} (x, y) - P_{n - 1} (x, y) |

其中，P_n(x，y)是帧图像N中的像素(x，y)的彩色信号。通过对所有像素计算帧图像N中的像素(x，y)的彩色信号与帧图像N-1中的像素(x，y)的彩色信号之差的总和来得到差S。对全部的红色、绿色、以及蓝色信号计算差S。根据差S的计算来防止色移(color shift)。

在步骤S703中，确定差S是否超过特定值。该特定值是令使用滚动快门拍摄的图像不会发生畸变的试验值。在差S大于特定值的情况下，过程进行到步骤S704。在差S小于或等于特定值的情况下，过程进行到步骤S705，而不执行步骤S704。

在步骤S704中，计算用于帧图像N和帧图像N-1的等式。通过计算帧图像N中的每个像素的平均彩色信号来计算用于帧图像N的等式。以类似的方式计算用于帧图像N-1的等式。

在步骤S705中，改变扫描方向，即颠倒扫描方向。从而准备读取下一个帧图像。之后，过程结束。

根据该实施例，在拍摄变化较大的动态对象的情况下，成像器100能够在LCD监视器114上显示具有最小畸变的图像。

下文将参考图8描述第二实施例。第二实施例中与第一实施例相似的结构使用相似的附图标记，并省略其描述。根据第二实施例的CMOS成像传感器124沿从成像区域的顶部到底部的方向输出模拟图像信号。在第二实施例中，扫描方向通常是从上到下的。

DSP 131执行畸变降低过程。参考图8描述第二畸变降低过程。在预览图像被显示在LCD监视器114上或拍摄影片的情况下，执行第二畸变降低过程。紧邻执行畸变降低过程之前，DSP 131在存储器132中存储从CMOS成像传感器124中读取的帧图像。

在步骤S801中，DSP 131从CMOS成像传感器124读取帧图像。在下文中，该帧图像为帧图像N。

在步骤S802中，DSP 131计算帧图像N与之前从CMOS成像传感器124读取并存储在存储器132中的帧图像N-1之间的差S。帧图像N-1包括CMOS成像传感器所输出的通过沿与帧图像N的扫描方向相同的方向扫描来创建的图像信号。

在步骤S803中，确定差S是否超过特定值。该特定值是令使用滚动快门拍摄的图像不会发生畸变的试验值。在差S大于特定值的情况下，过程进行到步骤S804。在差S小于或等于特定值的情况下，过程结束。

在步骤S804中，改变扫描方向，即颠倒扫描方向。从而准备读取下一个帧图像。

在步骤S805中，DSP 131从CMOS成像传感器124读取帧图像。在下文中，该帧图像为帧图像N+1。

在步骤S806中，计算用于帧图像N和帧图像N+1的等式。通过计算帧图像N中的每个像素的平均彩色信号来计算用于帧图像N的等式。以类似的方式计算用于帧图像N+1的等式。

在步骤S807中，改变扫描方向，即颠倒扫描方向。从而准备读取下一个帧图像。之后，过程结束。

根据该实施例，在CMOS成像传感器124无法一直交替扫描的情况下，当只拍摄动态对象时，成像器100仍然可以通过交替扫描在LCD监视器114上显示具有最小畸变的图像。

应当注意的是，滚动快门可以为CMOS成像传感器124的每一列输出模拟图像信号，即为每个沿短边方向排列的光电二极管输出模拟图像信号。CMOS成像传感器124从成像区域从左至右输出模拟图像信号，然后从成像区域从右至左输出模拟图像信号。之后，CMOS成像传感器124从成像区域从左至右输出模拟图像信号。即，CMOS成像传感器124可以从左至右以及从右至左交替输出。

DSP可以对帧图像N中完成扫描的行、或者对扫描完成行和附近的扫描完成行计算差S。因为是在差最大的区域中计算差S，这可以使待检测对象的运动更有效率。

可以不对所有的三个彩色信号计算差S，相反可以只对一个或两个彩色信号计算差S。此外，可以根本不对彩色信号计算差S，而可以改为对亮度进行计算。

如图4所示，成像区域被分成多个块，计算每个块中的信号的平均值，然后可以通过计算从帧图像N计算的所有块的平均值与从帧图像N-1计算的所有块的平均值之差的总和得到差S。

应当注意的是，如果不能对所有像素计算差的总和，也可以改为以预定间隔计算的差的总和。这种变化将缩短计算时间。

还可以计算位于中心成像区域附近的多个像素之间的差的总和。由于对象图像极有可能位于中心成像区域附近，因此对象的运动被精确检测。

此外，当帧图像N中扫描开始的行或列与帧图像N中扫描结束的不同行或列之间的差小于或等于步骤S703中的预定值时，可以不处理步骤S704。由于在差小于或等于预定值的情况下，确定数码相机在进行摇摄并且对象的状态不改变，因此用于帧图像的等式在这种情况下不适用。因此，在数码相机100进行摇摄的情况下，可以获得具有最小畸变的图像。

虽然在此参考附图描述了本发明的实施例，但是显然本领域技术人员可在不脱离本发明的范围的情况下进行多种修改和变化。

Claims

1.一种成像器，包括：

成像传感器，其沿正向或逆向读取存储的电荷并输出从所读取的电荷创建的图像数据；

比较器，其计算所述成像传感器输出的第一图像数据与所述成像传感器在输出第一图像数据之后紧接着输出的第二图像数据之间的差，并确定该差是否大于第一阈值；以及

合成器，其从所述成像传感器输出的两个图像的数据创建合成图像数据；

在所述比较器确定该差大于第一阈值的情况下，所述合成器从第二图像数据和通过在与第二图像数据的扫描方向相反的逆向上扫描第二图像获得的逆向扫描图像数据创建合成图像数据。

2.如权利要求1所述的成像器，其中所述成像传感器通过交替在正向和逆向上读取电荷来输出图像数据，第一图像数据是通过在与第二图像数据的扫描方向相反的逆向上扫描获得的逆向扫描图像数据，所述合成器从第一图像数据和第二图像数据创建合成图像数据。

3.如权利要求1所述的成像器，其中在所述比较器确定差大于第一阈值的情况下，所述成像传感器通过沿与第一图像数据的扫描方向相反的逆向扫描而输出逆向扫描图像数据，所述合成器从第一图像数据和第二图像数据创建合成图像数据。

4.如权利要求1所述的成像器，其中所述比较器对每个相应的像素计算第一图像数据的信号值与第二图像数据的信号值之差的总和，在总和大于第一阈值的情况下，所述合成器创建合成图像数据。

5.如权利要求1所述的成像器，其中所述比较器对每个相应的像素计算第一图像数据的信号值与第二图像数据的信号值之间的任意的差的总和，在总和大于第一阈值的情况下，所述合成器创建合成图像数据。

6.如权利要求1所述的成像器，其中所述成像传感器在所述成像传感器的成像区域的中心处具有中心区域，所述比较器对每个相应的像素计算第一图像数据的中心区域中的信号值与第二图像数据的中心区域中的信号值之差的总和，在总和大于第一阈值的情况下，所述合成器创建合成图像数据。

7.如权利要求1所述的成像器，其中所述成像传感器具有通过划分成像区域获得的多个检测区域，所述比较器计算每个检测区域中的像素的平均信号值，并计算在第一图像数据中对每个相应的检测区域所计算的平均值与在第二图像数据中对每个相应的检测区域所计算的平均值之差的总和，以及确定该总和是否大于第一阈值。

8.如权利要求2所述的成像器，其中所述成像传感器具有通过划分成像区域获得的多个检测区域，初始扫描区域是具有开始时扫描的像素的检测区域，所述比较器计算第一图像数据的初始扫描区域中的像素的信号值与第二图像数据的初始扫描区域中的像素的信号值之差的总和，并确定该总和是否大于第一阈值。

9.如权利要求1所述的成像器，其中所述成像传感器具有通过划分成像区域获得的多个检测区域，

终止扫描区域是具有结束时扫描的像素的检测区域，以及

在第一图像数据的初始扫描区域中的像素的信号值与第二图像数据的初始扫描区域中的像素的信号值之差大于第一阈值并且第一图像数据的终止扫描区域中的像素的信号值与第二图像数据的终止扫描区域中的像素的信号值之差大于第一阈值的情况下，所述合成器不创建合成图像。

10.如权利要求1所述的成像器，其中在所述比较器计算第一图像数据与第二图像数据之差并确定该差大于第一阈值的情况下，所述合成器不创建合成图像。

11.如权利要求1所述的成像器，其中所述比较器计算第一图像数据与第二图像数据中的像素的所有彩色信号之差，并确定该差是否大于第一阈值。

12.如权利要求1所述的成像器，其中所述合成器计算所述成像传感器输出的两个图像的数据中所包括的图像信号值的平均值，并从所计算的平均值创建合成图像。

13.如权利要求1所述的成像器，其中所述成像传感器使用滚动快门输出图像信号，所述成像传感器通过所述滚动快门沿垂直方向读取每一行的电荷。