CN110915196B - 成像设备、图像处理方法和程序 - Google Patents

Abstract

本发明提供一种设备和方法，该设备和方法即使在记录图像的曝光时间段期间也能够输出显示图像，并生成高质量的记录图像。在具有高像素数的记录图像的曝光时间段期间，成像元件输出作为间除成像元件的构成像素的结果而获得的具有低像素数的显示图像。记录图像校正单元在经过曝光时间段之后从帧存储器输入记录图像，并且使用在记录图像的曝光时间段期间输出的显示图像的像素值的相加值来校正记录图像中的构成像素当中的由从成像元件输出显示图像产生的缺陷像素的像素值，从而将缺陷像素的像素值校正为与在记录图像的曝光时间段进行曝光处理的情况下的像素值相同的像素值。

Description

成像设备、图像处理方法和程序

技术领域

本公开涉及成像设备、图像处理方法和程序。特别地，本公开涉及能够在成像设备的显示单元上持续显示图像时获取高质量拍摄的图像的成像设备、图像处理方法和程序。

背景技术

在通过使用照相机(成像设备)拍摄图像的情况下，许多用户(图像拍摄者)查看在诸如照相机的LCD显示单元或电子取景器(EVF)之类的显示单元上显示的图像。

例如，用户(图像拍摄者)可以在观察显示在显示单元上的图像的同时确定成像定时并按下释放按钮(快门按钮)。

此外，用户(图像拍摄者)可以通过将拍摄的图像显示在显示单元上来查看拍摄的图像。

在不进行成像的情况下，入射在成像设备的成像元件上的当前图像(即实时取景图像(LV图像))被显示在成像设备的显示单元上。实时取景图像(LV图像)也被称为直通图像。用户(图像拍摄者)可以查看在显示单元上显示的实时取景图像(LV图像)以确定成像定时。

在进行成像处理的情况下，用户(图像拍摄者)按下释放按钮(快门按钮)。根据释放按钮操作处理，成像元件开始记录图像的曝光处理。

然而，在许多成像设备中，一旦记录图像的曝光处理开始，就停止从成像元件读取实时取景图像(LV图像)。结果，出现了在显示单元上什么也不显示的时间段。发生显示单元的所谓黑视(blackout)。注意，例如在专利文献1(日本特开2015-186234号公报)中描述了显示单元的黑视。

当发生黑视时，用户(图像拍摄者)无法查看显示图像。

此外，还存在以下可能性：在按下释放按钮时发生的显示单元的黑视可能引起用户有不适感或误认为发生操作错误的问题或其他问题。

引文列表

专利文献

专利文献1：日本特开2008-186234号公报

发明内容

本发明要解决的问题

本公开是鉴于例如上述问题而完成的。本公开的一个目的是提供能够在成像设备的显示单元上持续显示图像时获取高质量拍摄的图像的成像设备、图像处理方法和程序。

问题的解决方案

本公开的第一方面是一种成像设备，包括：

成像元件，其在用于获取具有第一像素数的第一图像的曝光时间段期间输出具有低于所述第一像素数的第二像素数的第二图像；和

图像校正单元，其校正在所述第一图像中包括的像素当中的与所述第二图像中包括的像素相对应的像素的像素值。

此外，本公开的第二方面是一种在成像设备中进行的图像处理方法，所述方法包括：

使成像元件在用于获取具有第一像素数的第一图像的曝光时间段期间，输出具有低于所述第一像素数的第二像素数的第二图像；和

使图像校正单元校正在所述第一图像中包括的像素当中的与所述第二图像中包括的像素相对应的像素的像素值。

此外，本公开的第三方面是一种用于使得在成像设备中进行图像处理的程序，所述程序包括：

使成像元件在用于获取具有第一像素数的第一图像的曝光时间段期间，输出具有低于所述第一像素数的第二像素数的第二图像；和

使图像校正单元校正在所述第一图像中包括的像素当中的与所述第二图像中包括的像素相对应的像素的像素值。

注意，根据本公开的程序是可以通过例如存储介质或通信介质提供的程序，该存储介质或通信介质以计算机可读形式提供给可以执行各种程序代码的信息处理设备或计算机系统。作为以计算机可读形式提供这样的程序的结果，在信息处理设备或计算机系统上实现了与该程序相对应的处理。

通过基于稍后描述的本公开的实施例和附图的更详细的描述，本公开的其他目的、特征和优点将变得显而易见。注意，在本说明书中，术语“系统”是指多个装置的逻辑集合配置，并且不限于每个配置的多个装置在同一壳体中的配置。

本发明的效果

根据本公开的实施例的配置，实现了一种设备和方法，其即使在记录图像的曝光时间段期间也能够输出显示图像，并且还能够生成高质量的记录图像。

具体地，例如，在具有高像素数的记录图像的曝光时间段期间，成像元件输出具有低像素数的显示图像，该显示图像是作为间除成像元件中所包括的像素的结果而获得的。记录图像校正单元在经过曝光时间段之后从帧存储器接收记录图像的输入，并且通过使用在记录图像的曝光时间段期间输出的显示图像的像素值的相加值来校正记录图像中所包括的像素当中的由从成像元件输出显示图像而产生的缺陷像素的像素值，从而将缺陷像素的像素值校正为与在针对记录图像的曝光时间段进行曝光处理的情况下的像素值相似的像素值。

作为这些处理的结果，实现了即使在记录图像的曝光时间段期间也能够输出显示图像并且还能够生成高质量的记录图像的设备和方法。

注意，本说明书中描述的效果仅是说明性的而不是限制性的，并且还可以实现附加的效果。

附图说明

图1是描述成像设备中的图像拍摄和显示处理中的数据处理序列的图。

图2是示出描述在成像设备的显示单元上显示显示图像(LV图像)的情况下的处理序列的时序图的图。

图3是示出描述在将显示图像(LV图像)显示在成像设备的显示单元上时进行成像处理和记录图像(CAP图像)记录处理的情况下的处理序列的时序图的图。

图4是描述由根据本公开的成像设备进行的处理的概况的图。

图5是描述在将显示图像(LV图像)显示在成像设备的显示单元上时进行成像处理和记录图像(CAP图像)记录处理的情况下的问题的图。

图6是描述根据本公开的成像设备的配置示例的图。

图7是描述根据本公开的成像设备的信号处理单元的配置和处理示例的图。

图8是描述根据本公开的成像设备的信号处理单元的配置和处理示例的图。

图9是描述根据本公开的成像设备的信号处理单元的配置和处理示例的图。

图10是描述根据本公开的成像设备的信号处理单元的配置和处理示例的图。

图11是描述根据本公开的成像设备的信号处理单元的配置和处理示例的图。

图12是描述根据本公开的成像设备的信号处理单元的配置和处理示例的图。

图13是描述根据本公开的成像设备的信号处理单元的配置和处理示例的图。

图14是描述根据本公开的成像设备的信号处理单元的配置和处理示例的图。

图15是描述根据本公开的成像设备的信号处理单元的配置和处理示例的图。

图16是描述将记录图像(CAP图像)的开始曝光的定时设置为使得记录图像(CAP图像)的曝光在规定的显示图像(LV)的曝光处理的时间段中开始的示例的图。

图17是描述在将记录图像(CAP图像)的开始曝光的定时设置为使得记录图像(CAP图像)的曝光在规定的显示图像(LV)的曝光处理的时间段中开始的情况下的信号处理单元的处理示例的图。

图18是示出描述由成像设备进行的处理序列的流程图的图。

图19是描述由包括机械快门的成像设备进行的处理的图。

图20是描述基于记录图像中的缺陷像素周围的像素的像素值校正该缺陷像素的配置示例的图。

图21是描述基于记录图像中的缺陷像素周围的像素的像素值校正该缺陷像素的处理的示例的图。

图22是描述成像设备的配置示例的图。

具体实施方式

以下将参考附图描述根据本公开的成像设备、图像处理方法和程序的细节。注意，将根据以下项目提供描述。

1.成像设备中的图像拍摄和显示处理概要

2.根据本公开的由成像设备进行的处理概要

3.根据本公开的成像设备的配置示例

4.信号处理单元的配置和在其中进行的处理

5.在具有机械快门的成像设备的情况下的处理示例

6.基于记录图像中的缺陷像素周围的像素的像素值校正缺陷像素的实施例

7.其他实施例

8.本公开的配置的总结

[1.成像设备中的图像拍摄和显示处理概要]

首先，参考图1和随后的附图描述一般的成像设备(照相机)中的图像拍摄和显示处理的概要。

图1示出一般的成像设备中的以下处理示例。

(1)当不进行成像处理(进行实时取景图像(LV)显示处理)时进行的数据处理的示例

(2)当进行成像处理(进行拍摄图像(CAP)记录处理)时进行的数据处理的示例

注意，实时取景图像(LV)是指显示在成像设备的显示单元(比如LCD或EVF)上的图像，用户(图像拍摄者)可以查看该图像。实时取景图像(LV)，也称为直通图像(throughimage)，是无论是否进行成像处理都持续显示在显示单元上的图像。

同时，拍摄图像(CAP)是指由用户(图像拍摄者)操作成像设备的释放按钮(快门按钮)而拍摄的图像。拍摄图像(CAP)被记录在成像措施的记录单元(介质)中。

注意，通常，拍摄图像(CAP)被获取并记录为具有反映成像元件的像素数量的高像素数的高分辨率图像。同时，实时取景图像(LV)被获取并显示为与显示单元上可显示的像素数量相应的低像素图像。

作为间除成像元件中所包括的像素的结果而获得的仅包括这些像素中的一些的图像(间除图像)被用作实时取景图像(LV)。

即，实时取景图像(LV)是与拍摄图像(CAP)相比像素较少的图像。

下面描述如图1的(1)中所示的不进行成像处理(进行实时取景图像(LV)显示处理)时进行的数据处理的示例。

通过光学透镜11入射的光进入成像单元，即包括例如CMOS图像传感器的成像元件12，从而输出通过光电转换获得的图像数据。注意，在此情况下输出的图像是在显示单元21上显示的显示图像(LV图像)。

以下，将在显示单元上显示的图像称为显示图像或LV图像。同时，将用于成像记录的图像称为记录图像、拍摄图像或CAP图像。

当输出要在显示单元上显示的显示图像(LV图像)时，成像元件12输出作为间除成像元件的一部分像素数据的结果而获得的具有低像素数的图像，而不输出全部像素数据。

在进行成像处理的情况下，必须生成具有高像素数的记录图像。因此，基本上输出成像元件的所有像素数据。

如图1的(1)中所示，在不进行成像处理(进行实时取景图像(LV)显示处理)时，成像元件12将具有低像素数的输出图像(LV图像)输入到AD转换单元13。

AD转换单元13进行输入信号的A/D转换，即，将模拟信号转换为数字信号的处理，并将转换后的数字值存储在帧存储器14中。

存储在帧存储器14中的图像被输出到信号处理单元(信号处理LSI)15。

注意，要显示在显示单元上的显示图像(LV图像)可以从AD转换单元13直接输入到信号处理单元15而不存储在帧存储器14中。

信号处理单元15进行用于一般照相机的信号处理，如白平衡(WB)调节和伽马校正，以生成输出图像，即，要在显示单元21上显示的图像(LV图像)，并将所生成的图像存储在存储器16中。

显示单元21显示存储在存储器16中的LV图像。

显示单元21包括例如LCD和EVF，并且可以被图像拍摄者查看。

接下来，下面描述如图1的(2)中所示的当进行成像处理(进行拍摄图像(CAP)记录处理)时要进行的数据处理的示例。

当图像拍摄者操作(按下)释放按钮(快门按钮)时，进行(2)的处理。

当图像拍摄者操作(按下)释放按钮(快门按钮)时，通过光学透镜11入射的光进入成像单元，即，包括例如CMOS图像传感器的成像元件12，从而曝光处理开始。

当在成像元件12中曝光处理结束时，成像元件12将通过光电转换获得的图像数据输出到AD转换单元13。注意，在此情况下输出的图像是要记录和存储在记录单元22中的记录图像(CAP图像)。

记录图像(CAP图像)是反映成像元件12的像素数量的高像素图像。记录图像(CAP图像)是与参考(1)描述的显示图像(LV图像)相比具有较高像素数的高像素图像。

在图1中，(1)中所示的细箭头表示LV图像，(2)中所示的粗箭头表示CAP图像。因此，箭头的粗细表示像素数是高还是低。

AD转换单元13对输入信号进行A/D转换，即，将模拟信号转换为数字信号的处理，并将转换后的数字值存储在帧存储器14中。

存储在帧存储器14中的图像被输出到信号处理单元(信号处理LSI)15。

信号处理单元15进行用于一般照相机的信号处理，如白平衡(WB)调节和伽马校正，以生成输出图像。

在此情况下，信号处理单元15生成要存储在记录单元22中的高像素记录图像(CAP图像)，并将该图像存储在存储器16中。

记录单元22存储在存储器16中存储的高像素记录图像(CAP图像)。

上面是当在成像设备中进行图像拍摄和不进行图像拍摄时进行的各自处理的概述。

接下来，将参考图2和随后的附图中所示的时序图描述这些处理的时间流。

图2是描述在用户(图像拍摄者)未进行成像处理(即用户未按下释放按钮(快门按钮))的时间段中进行的处理的时序图。即，图2是描述在成像设备的显示单元上显示显示图像(LV图像)的情况下的处理序列的时序图。

时间从左到右经过。

图2分别示出以下处理定时(a)至(g)。

(a)成像元件输入同步信号

(b)成像元件的曝光处理和输出到帧存储器

(c)存储在帧存储器(FM)中的图像

(d)成像操作(释放(快门)操作)

(e)控制单元的处理

(f)显示单元输入同步信号

(g)显示单元显示图像

(a)成像元件输入同步信号是在成像设备的控制单元的控制下输入到成像元件12的同步信号。在本示例中，设置为使得每16.7毫秒发出的同步信号被输入到成像元件12。

响应于同步信号的输入，成像元件12开始各种处理或更新要进行的处理，如处理的切换。

(b)成像元件的曝光处理和输出到帧存储器表示成像元件12中的曝光处理和将通过对曝光结果的AD转换而获得的图像存储在帧存储器14中的处理。

图中所示的LV1、LV2、LV3、...表示要在显示单元21上显示的显示图像(LV图像)的曝光处理。

针对每16.7毫秒发出的每个同步信号进行这些图像中的每个图像的曝光处理。

(c)存储在帧存储器(FM)中的图像表示存储在帧存储器14中的图像序列。

(d)成像操作(释放(快门)操作)表示由用户(图像拍摄者)进行的成像操作，即，按下释放按钮(快门按钮)的处理。

图2示出应用于用户(图像拍摄者)不进行成像操作的情况的处理序列。因此，图2中未示出成像操作定时。

注意，稍后将参考图3描述在进行成像处理的情况下进行的处理。

(e)控制单元的处理描述在成像设备的控制单元中进行的控制处理序列。注意，尽管上述图1中未示出控制单元，但是成像设备包括控制单元，该控制单元根据例如存储在存储单元中的程序来控制由成像设备进行的处理。控制单元控制要由图1中所示的每个构成部件进行的处理。

在图2的控制单元的(e)处理中示出由控制单元进行的各种处理中的一些。图2示出主要与要在显示单元上显示的图像的控制有关的处理序列。

图2中示出作为控制单元的(e)处理序列的由FM指示的矩形框。

FM代表对在显示单元21上显示存储在帧存储器(FM)中的最新图像的预约处理和显示存储在帧存储器(FM)中的最新图像的显示处理的控制。

作为该控制处理的结果，存储在帧存储器14中的图像被顺序地显示在显示单元21上。

(f)显示单元输入同步信号是在成像设备的控制单元的控制下输入到显示单元21的同步信号。显示单元21响应于同步信号的输入进行诸如切换显示图像之类的处理。

(g)显示单元显示图像是指要在显示单元21上显示的图像。

LV1、LV2、...对应于显示图像的图像帧1和2，并且表示按显示单元输入同步信号的信号间隔切换显示帧。即，在显示单元21上显示运动图像作为实时取景图像(直通图像)。

接下来，参考图3，下面描述在用户(图像拍摄者)进行成像处理(即用户按下释放按钮(快门按钮))的情况下进行的处理。即，下面描述应用于在成像设备的显示单元上显示显示图像(LV图像)的时间段中用户(图像拍摄者)进行成像处理的情况的处理序列。

时间从左到右经过。

图3与图2一样分别示出以下处理定时(a)至(g)。

(a)成像元件输入同步信号

(b)成像元件的曝光处理和输出到帧存储器

(c)存储在帧存储器(FM)中的图像

(d)成像操作(释放(快门)操作)

(e)控制单元的处理

(f)显示单元输入同步信号

(g)显示单元显示图像

如图3的(d)成像操作(释放(快门)操作)的线的中心附近所示，假设在步骤S01中用户进行成像操作，即用户按下释放按钮(快门按钮)。

当用户进行成像操作时，即，用户按下释放按钮(快门按钮)时，在步骤S02中，控制单元请求停止成像元件12中显示图像(LV图像)的曝光处理，并且开始模式切换。此外，在步骤S03中，在成像元件侧开始记录图像(CAP图像)的曝光处理。

在这些处理中，控制单元基于成像元件和信号处理单元中的控制信号进行处理，如将控制信号输出到成像元件和信号处理单元的处理以及设置处理。

这些处理包括例如切换成像元件(图像传感器)12的模式的处理。

如上所述，当输出要在显示单元21上显示的显示图像(LV图像)时，成像元件12输出作为间除成像元件的一部分像素数据的结果而获得的具有低像素数的图像而不输出所有像素数据。

然而，在执行成像处理的情况下，必须生成具有高像素数的记录图像。因此，基本上输出成像元件的所有像素数据。

当开始记录图像的曝光时，进行用于改变成像元件12的输出数据的处理，如模式切换处理。

当开始用于改变输出数据的模式切换处理时，迫使成像元件12停止显示图像(LV图像)的曝光和存储器输出处理。

如图所示，在步骤S04中，控制单元停止将显示图像提供给显示单元21。即，发生了显示单元21上什么也不显示的黑视。

因此，在成像元件12中的记录图像(CAP图像)的曝光时间段期间，不能从成像元件12获取显示图像(LV图像)。因此，发生了显示单元21上什么都不显示的黑视(黑图像输出)。

注意，在步骤S03中成像元件12进行记录图像(CAP图像)的曝光处理的曝光时间段是例如用户设置的时间段，即，根据快门速度设置的时间段。

在步骤S05中，将步骤S03中通过成像元件12对记录图像(CAP图像)的曝光处理而获得的记录图像(CAP图像)存储在帧存储器(FM)中。

在步骤S06中，控制单元从帧存储器(FM)读取记录图像(CAP图像)，并且进行在显示单元21上显示记录图像(CAP图像)的处理。

从图3中所示的序列图可以理解，当用户(图像拍摄者)进行成像处理时，即，用户按下释放按钮(快门按钮)时，成像元件12开始记录图像(CAP图像)的曝光处理。在该曝光时间段中，来自成像元件12的显示图像(LV图像)不能存储在帧存储器14中。因此，不可能进行在显示单元21上显示显示图像(LV图像)的处理。

即，发生了显示单元21上什么都不显示的黑视。

下面描述的是具有防止在显示单元中发生这种黑视的配置的本公开的一个实施例。

[2.根据本公开的由成像设备进行的处理概要]

首先，将参考图4和图5描述根据本公开的由成像设备进行的处理概要。

即使在成像元件进行记录图像(CAP图像)的曝光处理时，根据本公开的成像设备也在显示单元上持续显示显示图像(LV图像)。此外，根据本公开的成像设备还能够通过使用成像元件的所有像素来生成高像素记录图像(CAP图像)并记录。

即，根据本公开的成像设备的成像元件在用于获取高像素(第一像素数)记录图像(第一图像)的曝光时间段期间输出具有比第一像素数低的像素数(第二像素数)的低像素显示图像(第二图像)。

图4是描述根据本公开的由成像设备进行的处理概况的图。

图4是描述在与上面参考图3描述的情况相同的用户(图像拍摄者)进行成像处理(即用户按下释放按钮(快门按钮))的情况下进行的处理的图。即，图4是描述应用于在成像设备的显示单元上显示显示图像(LV图像)的时间段中用户(图像拍摄者)进行成像处理的情况的处理序列的图。

时间从左到右经过。

图4分别示出以下处理定时(a)至(g)。

(a)成像元件输入同步信号

(b)成像元件的曝光处理和输出到帧存储器

(c)存储在帧存储器(FM)中的图像

(d)成像操作(释放(快门)操作)

(g)显示单元显示图像

如图4的(d)成像操作(释放(快门)操作)的线上所示，假设在步骤S11中用户进行成像操作，即用户按下释放按钮(快门按钮)。

如图4的“(b)成像元件的曝光处理和输出到帧存储器”中所示，当用户进行成像操作时，即，用户按下释放按钮(快门按钮)时，在步骤S12中，在成像元件中开始记录图像(CAP图像)的曝光处理。

根据本公开的成像设备即使在成像元件中进行记录图像(CAP图像)的曝光处理的时间段期间，也持续进行使显示图像(LV图像)从成像元件提供到帧存储器以存储在其中的处理。

如图4的“(b)成像元件的曝光处理和输出到帧存储器”中所示，在同步信号ta2和ta6之间的时间段中进行记录图像(CAP图像)的曝光处理。在该时间段中，以规定的曝光时间段(例如16.7毫秒)为单位将显示图像(LV图像)从成像元件输出到帧存储器。

图4中所示的步骤S13“将LV图像(间除图像)输出到存储器”对应于该处理。

如上所述，显示图像(LV图像)不是根据成像元件的所有像素的像素值的输出产生的图像，而是仅基于这些像素中的一些的低像素图像。

根据本公开的成像设备即使在进行记录图像(CAP图像)的曝光处理的时间段期间，也以针对LV图像规定的曝光时间段(例如，16.7毫秒)为单位将显示图像(LV图像)中包括的像素的像素值从成像元件输出到帧存储器。

图4的项目“(c)帧存储器”示出在同步信号ta2和ta6之间的记录图像(CAP图像)的曝光时间段期间从成像元件输出的多个显示图像(LV图像)(LV1至LV4)。

如图4的步骤S14“将LV图像(间除图像)输出到显示单元”所示，存储在(c)帧存储器中的多个显示图像(LV图像)(LV1至LV4)被作为“(g)显示单元显示图像”顺序输出到显示单元。

如上所述，根据本公开的成像设备被配置为即使在成像元件中进行记录图像(CAP图像)的曝光的时间段期间，也从成像元件获取显示图像(LV图像)并且持续进行在显示单元上显示该图像的处理。因此，在根据本公开的成像设备中不发生黑视(黑图像输出)。

注意，在图4中所示的步骤S12的记录图像(CAP图像)曝光时间段结束时，如步骤S15中所示，将记录图像(CAP图像)存储在帧存储器中。

然而，如果进行这样的处理，则由于在记录图像的曝光时间段期间显示图像(LV图像)的像素值的输出，不同曝光时间段的像素的像素值共存于帧存储器中存储的记录图像(CAP图像)的像素值中。

将参考图5描述该问题。

图5示出存储在帧存储器中的以下两个图像：显示图像(LV图像)和记录图像(CAP图像)。

图5是描述这两个图像的配置的图。

如上所述，记录图像(CAP图像)是根据成像元件中包括的基本上所有像素的像素值的输出产生的高像素图像。即，记录图像(CAP图像)是高质量图像。

相反，显示图像(LV图像)是作为间除成像元件中包括的像素的结果而输出的仅包括这些像素中的一些的低像素图像。即，显示图像(LV图像)是低质量图像。

在图5中所示的示例中，LV图像构成像素51是从成像元件中包括的所有像素中选择的要包括在显示图像(LV图像)中的像素。

图像LV1至LV4是要存储在帧存储器50中的显示图像(LV图像)，它们是仅包括LV图像构成像素51的低像素图像。

以成像元件中的显示图像的曝光时间段为单位(例如，以16.7毫秒为单位)，从成像元件顺序读取仅包括LV图像构成像素51的低像素显示图像(LV图像)LV1至LV4，将其存储在帧存储器50中，并显示在显示单元上。

注意，输出低像素显示图像(LV图像)LV1至LV4的时间段对应于记录图像(CAP图像)的曝光时间段。

因此，在记录图像(CAP图像)的曝光时间段期间，对成像元件中包括的LV图像构成像素51以外的像素持续地进行曝光处理。

当记录图像(CAP图像)的曝光时间段结束时，记录图像(CAP图像)被存储在帧存储器50中。

成像元件的基本上所有像素的像素值形成存储在帧存储器50中的记录图像(CAP图像)。同时，像素中的一些被用于输出显示图像(LV图像)。在记录图像(CAP图像)的曝光时间段期间，在这些像素中未设置由持续曝光处理产生的像素值。

即，该图中所示的形成记录图像(CAP图像)60的一部分的LV图像构成像素51被用于在记录图像(CAP图像)的曝光时间段期间输出显示图像(LV图像)。因此，在记录图像(CAP图像)的曝光时间段期间，不设置形成记录图像(CAP图像)60的一部分的LV图像构成像素51中由持续曝光产生的像素值。

注意，记录图像(CAP图像)60中的LV图像构成像素51以外的像素不被用于输出显示图像(LV图像)。因此，在记录图像(CAP图像)的曝光时间段期间，设置LV图像构成像素51之外的像素中由持续曝光产生的像素值。

因此，存储在帧存储器50中的记录图像(CAP图像)是包括缺陷像素的图像，其中与曝光时间段相对应的以下两种像素值被设置：

(a)正常曝光像素(LV图像构成像素51以外的像素)＝像素值被设置的像素，该像素值由记录图像的曝光时间段期间的曝光处理产生，并且

(b)缺陷像素(LV图像构成像素51)＝像素值被错误设置的像素，像素值不是由记录图像的曝光时间段期间的曝光处理产生的。

根据本公开的成像设备进行校正处理，该校正处理校正包括这样的缺陷像素的记录图像，并且在该缺陷像素中设置正常像素值，即，由记录图像的曝光时间段期间的曝光处理产生的像素值。另外，根据本公开的成像设备进行生成和记录校正后的记录图像的处理。

以下描述根据本公开的成像设备的具体配置以及在其中进行的详细处理。

[3.根据本公开的成像设备的配置示例]

首先，参考图6描述根据本公开的成像设备100的配置示例。

图6中所示的成像设备100包括光学透镜101、成像元件102、AD转换单元103、帧存储器104、信号处理单元(信号处理LSI)105、存储器106、显示单元(LCD/EVF)107、记录单元108、操作单元109和控制单元110。

操作单元109包括例如释放按钮(快门按钮)和用于进行用户输入(如设置成像形式和成像模式以及设置要在显示单元107上显示的图像)的操作部件。

注意，显示单元107还可以被配置为用作用户操作单元的触摸面板。

控制单元110将控制信号和同步信号输入到成像元件102至记录单元108，并且进行各种类型的处理控制，例如，对在每个构成部件中进行处理的定时的控制。

例如，控制单元110控制限定成像元件102的处理定时的同步信号的输出，并且控制限定切换要在显示单元107上显示的图像的定时的同步信号的输出。

具体地，控制单元110包括根据存储在存储单元(未示出)中的程序进行处理的CPU等。

程序包括例如用于拍摄图像、记录图像和显示图像的处理的控制程序，以及同步信号输出控制程序。

通过光学透镜101入射的光进入成像单元，即包括例如CMOS图像传感器的成像元件102，从而输出通过光电转换获得的图像数据。注意，成像元件102在不进行成像处理的情况下输出要在显示单元107上显示的低像素显示图像(LV图像)，而在进行成像处理的情况下输出要存储在记录单元108中的高像素记录图像(CAP图像)。

注意，如上所述，即使在成像元件102进行记录图像(CAP图像)的曝光处理的同时，根据本公开的成像设备100也在显示单元上持续显示显示图像(LV图像)。即，在用于获取高像素(第一像素数)记录图像(第一图像)的曝光时间段期间，成像元件102输出具有比第一像素数低的像素数(第二像素数)的低像素显示图像(第二图像)。

从成像元件102输出的图像被输入到AD转换单元103。

AD转换单元103对输入信号进行A/D转换，即，将模拟信号转换为数字信号的处理，并将转换后的数字值存储在帧存储器104中。

存储在帧存储器104中的图像被顺序输出到信号处理单元(信号处理LSI)105。

信号处理单元105进行用于一般照相机的信号处理，如白平衡(WB)调节和伽马校正，并且还进行上文参考图5描述的对记录图像中的缺陷像素的校正处理。

即，信号处理单元105执行以下处理：对高像素(第一像素数)记录图像(第一图像)中包括的像素当中的、与具有比第一像素数低的像素数(第二像素数)的低像素显示图像(第二图像)中包括的像素相对应的像素的像素值进行校正。

注意，在根据本公开的成像设备中进行各种不同类型的校正处理。例如，进行使用已在要校正的像素中设置的像素值的校正处理以及在临时取消已在要校正的像素中设置的像素值之后设置新的像素值的处理。这些校正处理的具体示例将在后面描述。

信号处理单元105至少生成要在显示单元107上显示的显示图像(LV图像)或者要存储在记录单元108中的记录图像(CAP图像)，并将所生成的图像存储在存储器106中。

显示单元107显示存储在存储器106中的显示图像(LV图像)。

显示单元107包括例如LCD和EVF，并且可以被图像拍摄者查看。

此外，记录单元108存储在存储器106中存储的记录图像(CAP图像)。

[4.信号处理单元的配置和在其中进行的处理]

接下来，以下描述图6中所示的成像设备100的信号处理单元105的具体配置以及在其中进行的处理。

图7是示出图6中所示的成像设备100的信号处理单元105的具体配置示例的图。

如图7中所示，信号处理单元105包括记录图像校正单元121和图像校正单元122。

记录图像校正单元121进行上文参考图5描述的对记录图像中的缺陷像素的校正处理。

图像校正单元122进行用于一般照相机的信号处理，如白平衡(WB)调节和伽马校正。

如图7中所示，以下图像中的任一个被从帧存储器104输入到信号处理单元105的记录图像校正单元121：

包括缺陷像素的记录图像(CAP图像)211，或

间除的显示图像(LV图像)221。

记录图像校正单元121对包括缺陷像素的记录图像(CAP图像)211进行校正处理，进行在缺陷像素中设置正常像素值的处理，并且生成缺陷像素校正后的记录图像(CAP图像)212。

即，记录图像校正单元121进行上文参考图5描述的对记录图像中的缺陷像素的校正处理。

记录图像校正单元121进行在缺陷像素中设置正常像素值的处理，生成缺陷像素校正后的记录图像(CAP图像)212，并且将缺陷像素校正后的记录图像(CAP图像)212输出到图像校正单元122。

注意，记录图像校正单元121将间除的显示图像(LV图像)221原样输出到图像校正单元122，而不对间除的显示图像(LV图像)221进行处理。

图像校正单元122对缺陷像素校正后的记录图像(CAP图像)212和间除的显示图像(LV图像)221进行用于一般照相机的信号处理，如白平衡(WB)调节和伽马校正，以生成校正后的记录图像(CAP图像)213和校正后的显示图像(LV图像)222，从而将校正后的记录图像(CAP图像)213和校正后的显示图像(LV图像)222存储在图6中所示的成像设备100的存储器106中。

将参考图8和随后的附图描述图7中所示的信号处理单元105的记录图像校正单元121的具体配置和处理示例。

如图8中所示，记录图像校正单元121包括加法器301、存储器302、选择器303、加法器304、缺陷校正单元305和选择器306。

将参考图9和随后的附图描述使用图8中所示的记录图像校正单元121进行的处理的具体示例。

首先，将参考图9描述在不进行成像处理(即不曝光记录图像(CAP图像))的时间段中进行的对显示图像(LV图像)的处理。

图9是示出在不进行成像处理(即不曝光记录图像(CAP图像))的时间段中使用的显示图像(LV图像)的输入和输出路径的图。

由图9中示出的LV0和230in表示的图像是从帧存储器104输入的显示图像(LV)。

注意，显示图像(LV图像)是通过如参考图5描述的仅选择性地提取成像元件的一些像素的间除处理而得到的低像素图像。

在不进行记录图像(CAP图像)的曝光处理的情况下，从帧存储器104输入的显示图像(LV0)230in经由选择器303原样输出。记录图像校正单元121将图中所示的显示图像(LV0)230out输出到信号处理单元105中的图像校正单元122。

在图像校正单元122中进行用于一般照相机的信号处理，如白平衡(WB)调节和伽马校正。结果，处理后的图像被显示在显示单元107上。

接下来，将参考图10和随后的附图描述在进行成像处理(即曝光记录图像(CAP图像))的时间段中进行的对显示图像(LV图像)的处理。

图10是示出在与开始记录图像(CAP图像)的曝光相同的定时开始对其进行预定时间段的曝光的显示图像(LV图像)的输入和输出路径的图。

由图10中所示的LV1和231in表示的图像是从帧存储器104输入的显示图像(LV)。

在开始记录图像(CAP图像)的曝光处理的情况下，从帧存储器104输入的显示图像(LV1)231in也经由选择器303原样输出。记录图像校正单元121将图中所示的显示图像(LV1)231out输出到信号处理单元105中的图像校正单元122。

在图像校正单元122中进行用于一般照相机的信号处理，如白平衡(WB)调节和伽马校正。结果，处理后的图像被显示在显示单元107上。

在开始记录图像(CAP图像)的曝光处理的情况下，除了上述处理之外，还在加法器301中对从帧存储器104输入的显示图像(LV1)231in和先前存储在存储器302中的显示图像(LV)进行像素值相加处理。然后，将相加的结果存储在存储器302中。

注意，此时，在存储器302中没有预先存储的显示图像(LV)。因此，显示图像(LV1)231m被存储在存储器302中。显示图像(LV1)231m与输入的显示图像(LV1)231in相同。

注意，存储在存储器302中的显示图像(LV图像)是通过如参考图5描述的仅选择性地提取成像元件的一些像素的间除处理而得到的低像素图像。

此外，将参考图11描述在记录图像(CAP图像)的曝光开始之后对作为第一显示图像的显示图像(LV1)231之后的显示图像(LV2)的处理。

显示图像(LV2)的曝光时间段也落在记录图像(CAP图像)的曝光时间段内。

从帧存储器104输入的显示图像(LV2)232in经由选择器303原样输出。记录图像校正单元121将图中所示的显示图像(LV2)232out输出到信号处理单元105中的图像校正单元122。

在图像校正单元122中进行用于一般照相机的信号处理，如白平衡(WB)调节和伽马校正。结果，处理后的图像被显示在显示单元107上。

此外，除了上述处理之外，还在加法器301中对从帧存储器104输入的显示图像(LV2)232in和先前存储在存储器302中的显示图像(LV1)进行像素值相加处理。然后，将相加的结果存储在存储器302中。

注意，此时，先前存储在存储器302中的显示图像(LV)是LV1。

在加法器301中生成图像(LV1+LV2)232m，并将其存储在存储器中。图像(LV1+LV2)232m是通过将先前存储在存储器302中的显示图像(LV1)231m与从帧存储器104新输入的显示图像(LV2)232in的对应像素的像素值相加而获得的图像。

接下来，对从帧存储器104输入的显示图像(LV3)也进行与参考图11描述的处理类似的处理。

作为对显示图像(LV3)的处理的结果，存储器302存储已经对其进行了像素值相加的图像(LV1+LV2+LV3)。

接下来，将参考图12描述对作为在记录图像(CAP图像)的曝光时间段中包括的最后显示图像的显示图像(LV4)的处理。

从帧存储器104输入的显示图像(LV4)234in经由选择器303原样输出。记录图像校正单元121将图中所示的显示图像(LV4)234out输出到信号处理单元105中的图像校正单元122。

在图像校正单元122中进行用于一般照相机的信号处理，如白平衡(WB)调节和伽马校正。结果，处理后的图像被显示在显示单元107上。

此外，除了上述处理之外，还在加法器301中对从帧存储器104输入的显示图像(LV4)234in和先前存储在存储器302中的显示图像(LV1+LV2+LV3)233m进行像素值相加处理。然后，将相加的结果存储在存储器302中。

结果，像素值相加图像(LV1+LV2+LV3+LV4)234m被存储在存储器302中。

在参考图4描述的设置下，记录图像(CAP图像)的曝光在与显示图像(LV4)的曝光结束相同的定时结束。

当记录图像(CAP图像)的曝光结束时，记录图像(CAP图像)被存储在帧存储器104中。

然而，如上文参考图5描述的，存储在帧存储器104中的记录图像(CAP图像)是包括缺陷像素(即，用于显示图像(LV图像)的像素)的图像，其不具有与记录图像(CAP图像)的曝光时间段相对应的像素值。

信号处理单元105的记录图像校正单元121校正缺陷像素。即，记录图像校正单元121进行将缺陷像素的像素值设置为与记录图像(CAP图像)的曝光时间段相对应的像素值的处理。

下面参考图13描述的是由信号处理单元105的记录图像校正单元121进行的处理。记录图像校正单元121接收包括缺陷像素并且存储在帧存储器104中的记录图像(CAP图像)的输入，并且校正缺陷像素。

如图13中所示，在根据快门速度设置的曝光时间段结束时，存储在帧存储器104中的有缺陷的记录图像(CAP1)241in被输入到信号处理单元105的记录图像校正单元121。

在加法器304中有缺陷的记录图像(CAP1)241in与存储在存储器302中的显示图像相加图像(LV1+LV2+LV3+LV4)234m相加。

显示图像相加图像(LV1+LV2+LV3+LV4)234m是在有缺陷的记录图像(CAP1)241in的曝光时间段期间通过曝光处理生成的显示图像的像素值之和。即，显示图像相加图像(LV1+LV2+LV3+LV4)234m是仅包括参考图5描述的LV像素输出像素51的图像。

即，包括在显示图像相加图像(LV1+LV2+LV3+LV4)234m中的像素具有在与有缺陷的记录图像(CAP1)241in的曝光时间段相同的曝光时间段中通过曝光处理生成的像素值。

然而，显示图像相加图像(LV1+LV2+LV3+LV4)234m仅包括参考图5描述的LV像素输出像素51。

同时，与根据快门速度设置的记录图像(CAP图像)的曝光时间段相对应的像素值被设置在有缺陷的记录图像(CAP1)241in的除参考图5描述的LV像素输出像素51以外的像素中。但是，在与根据快门速度设置的记录图像(CAP图像)的曝光时间段相对应的像素值不设置在LV像素输出像素51中。

加法器304进行将从存储器302读取的显示图像相加图像(LV1+LV2+LV3+LV4)234m的像素值与有缺陷的记录图像(CAP1)241in中的LV像素输出像素51的位置处的像素值相加的处理。

作为该处理的结果，有缺陷的记录图像(CAP1)241in中的LV像素输出像素51的位置处的像素值被校正为与根据快门速度设置的记录图像(CAP图像)的曝光时间段相对应的像素值。

在该相加处理中经过校正处理的记录图像(CAP图像)经由选择器306被输出。

图13示出无缺陷的记录图像(CAP1)241out。

图13中所示的无缺陷的记录图像(CAP1)241out被输出到信号处理单元105中的图像校正单元122。在图像校正单元122中对无缺陷的记录图像(CAP1)241out进行用于一般照相机的信号处理，如白平衡(WB)调节和伽马校正，然后存储在记录单元108中。

如上所述，根据本公开的成像设备即使在记录图像(CAP图像)的曝光时间段期间也生成并且在显示单元上显示显示图像(LV图像)，并且还将在记录图像(CAP图像)的曝光时间段中生成的显示图像(LV图像)的相加像素值存储在存储器中。

当记录图像(CAP图像)的曝光时间段结束时，通过使用存储在存储器中的显示图像(LV图像)的相加像素值来校正记录图像(CAP图像)。

这一系列处理使得能够在记录图像(CAP图像)的曝光时间段期间在显示单元上持续显示显示图像(LV图像)，并且还使得能够生成并记录高质量记录图像，其中在包括记录图像(CAP图像)的像素的所有像素中设置与在针对根据快门速度设置的曝光时间段进行曝光处理的情况类似的像素值。

已经参考图10至图12描述了将显示图像(LV1至LV4)存储在存储器302中的处理以及在显示单元107上显示显示图像(LV1至LV4)的处理的示例。以上基于输入到记录图像校正单元121的图像作为显示图像(LVn)经由选择器303被原样输出到显示单元107的假设描述了该处理示例。

下面描述的是以不同于上述处理的方式显示图像的处理的示例。

在下面描述的处理示例中，存储在存储器302中的相加图像被显示在显示单元107上。将参考图14和随后的附图描述该处理示例。

图14示出显示在与上文参考图11描述的显示图像(LV2)的处理定时相似的定时处理的相加图像的示例。

在上文参考图11描述的示例中，从帧存储器104输入的显示图像(LV2)232in经由选择器303原样输出，并显示在显示单元107上。

同时，在图14中所示的处理示例中，在加法器301中对从帧存储器104输入的显示图像(LV2)232in和先前存储在存储器302中的显示图像(LV1)进行像素值相加处理。然后，通过选择器303将相加结果(LV1+LV2)作为显示图像输出。

记录图像校正单元121将图中所示的显示图像(LV1+LV2)232out'输出到信号处理单元105中的图像校正单元122。

在图像校正单元122中进行用于一般照相机的信号处理，如白平衡(WB)调节和伽马校正。结果，处理后的图像被显示在显示单元107上。

因此，本处理示例不是基于在显示单元107上显示从帧存储器104输入的显示图像(LV2)232in的配置。而是将显示图像(LV2)232in和先前存储在存储器302中的显示图像(LV1)231m的像素值相加，并且将所产生的相加结果作为显示图像(LV1+LV2)232out'输出并显示在显示单元107上。

随后，对输入到记录图像校正单元121的显示图像(LV3和LV4)也进行类似的处理。

例如，在上文所述的图12的设置下，从帧存储器104输入的显示图像(LV4)234in经由选择器303原样输出并显示在显示单元107上。

图15是显示在与上文参考图12描述的显示图像(LV4)的处理定时相似的定时处理的相加图像的处理的示例。

在图15中所示的处理示例中，在加法器301中对从帧存储器104输入的显示图像(LV4)234in与先前存储在存储器302中的显示图像(LV1+LV2+LV3)233m进行像素值加法处理。然后，经由选择器303将相加结果(LV1+LV2+LV3+LV4)作为显示图像输出。

如上所述，也可以采用将相加结果用作要输出到显示单元的显示图像的配置。

注意，也可以采用响应于用户输入而在如上文参考图10至图12描述的用于将显示图像(LV1至LV4)分开地输出到显示单元107的设置和如上文参考图14和图15描述的用于将显示图像(LV1至LV4)的相加结果输出到显示单元107的设置之间进行切换的另一种配置。

无论选择哪个处理，都可以在记录图像(CAP图像)的曝光时间段期间在显示单元上持续显示显示图像(LV图像)，并且还可以生成并记录高质量的记录图像，其中在包括记录图像(CAP图像)的像素的所有像素中设置与在针对根据快门速度设置的曝光时间段进行曝光处理的情况下的像素值相似的像素值。

注意，记录图像(CAP图像)的曝光开始和结束的定时与在参考图4和图9至15描述的记录图像校正单元121的处理示例中的显示图像(LV图像)的曝光开始和结束的定时一致。但是，这些定时不总是彼此一致。

例如，如图16中所示，可能存在这样的情况，其中记录图像(CAP图像)的曝光开始的定时被设置为使得记录图像(CAP图像)的曝光在规定的显示图像(LV1)的曝光处理的时间段中开始。

类似地，可能存在这样的情况，其中记录图像(CAP图像)的曝光结束的定时被设置为使得记录图像(CAP图像)的曝光在规定的显示图像(LV1)的曝光处理的时间段中结束。

在这种情况下，不能在参考图10至13描述的处理中设置正确的像素值。

将参考图17描述用于解决该问题的配置示例。

图17是描述由记录图像校正单元121进行的图16中所示的显示图像(LV1)的处理的图。

如图16中所示，记录图像(CAP图像)的曝光开始的定时被设置为使得记录图像(CAP图像)的曝光在规定的显示图像(LV1)的曝光处理的时间段中开始。

在此情况下，如果将显示图像(LV1)的像素值存储在存储器302中并与后续显示图像(LV2、3、...)的像素值相加，则在存储器302中存储有从针对比图16中所示的记录图像(CAP图像)的曝光时间段更长的时间段进行的曝光处理得到的像素值。

为了防止这种情况，图17中所示的控制单元110计算与从帧存储器104输入的显示图像(LV1)231in的曝光时间段和记录图像(CAP图像)的曝光时间段之间的交叠率相对应的乘法参数α(α＝0至1)。然后，在乘法器311中将从帧存储器104输入的显示图像(LV1)231in的像素值乘以乘法参数α(α＝0至1)，从而将结果输出到加法器301和存储器302。

乘法参数α被设置为0到1范围内的值。

在显示图像(LV)的曝光时间段和记录图像(CAP图像)的曝光时间段之间的交叠率为100％的情况下，α被设置为α＝1。在交叠率为0％时，α被设置为α＝0。

通过进行这样的乘法处理，可以将要存储在存储器302中的显示图像的相加值的像素值调节为使得像素值变为作为在与记录图像(CAP图像)的曝光时间段一致的时间段中进行的曝光处理的结果而获得的像素值。

接下来，下面参考图18所示的流程图描述通过使用存储在存储器中的显示图像(LV图像)的相加像素值进行的对记录图像(CAP图像)中的缺陷像素的上述校正处理的处理序列。

注意，根据图18中所示的流程图的处理是在包括具有程序执行功能的CPU等的控制单元的控制下，根据例如存储在成像设备的存储单元中的程序进行的。

下面将顺序描述图18中所示的流程图的每个步骤的处理。

(步骤S101)

首先，在步骤S101中，成像设备的控制单元确定是否已经进行了成像(已经按下释放按钮)。

在确定已经进行了成像(已经按下释放按钮)的情况下，处理进入步骤S102。

而在确定尚未进行成像的情况下，处理进入步骤S111。

(步骤S102)

在步骤S101中确定已经进行了成像(已经按下释放按钮)的情况下，处理进入步骤S102。

在步骤S102中，进行在显示单元上以规定的输出间隔显示要输出到显示单元的显示图像(LV图像)并且还将显示图像(LV图像)的相加图像存储在存储器中的处理。

该处理是通过使用上文参考图8至17描述的记录图像校正单元121的配置进行的。

(步骤S103)

接下来，在步骤S103中，控制单元确定记录图像(CAP图像)的曝光时间段是否已经结束。

在确定记录图像(CAP图像)的曝光时间段尚未结束的情况下，继续步骤S102的处理。

而在确定记录图像(CAP图像)的曝光时间段已经结束的情况下，处理进入步骤S104。

(步骤S104)

在步骤S103中确定记录图像(CAP图像)的曝光时间段已经结束的情况下，处理进入步骤S104。在步骤S104中，进行将包括血管像素的记录图像(CAP图像)和存储在存储器中的显示图像(LV图像)的相加图像组合的处理，以生成缺陷像素的像素值已被校正的无缺陷的记录图像(CAP图像)，并且进行图像记录处理。

该处理是通过使用上文参考图8至17描述的记录图像校正单元121的配置进行的。

(步骤S111)

在步骤S101中确定尚未进行成像(未按下释放按钮)的情况下，处理进入步骤S111。

在步骤S111中，进行在显示单元上显示显示图像(LV图像)的处理。

该处理是通过使用上文参考图9描述的记录图像校正单元121的配置进行的。

[5.在具有机械快门的成像设备的情况下的处理示例]

接下来，下面描述在包括机械快门的成像设备的情况下的处理示例。

成像设备包括电子快门式成像设备和机械快门式成像设备。电子快门式成像设备在拍摄图像时以电子方式进行快门操作。机械快门式成像设备作为机械操作来进行快门操作。

在电子快门式成像设备或机械快门式成像设备的任一种情况下，从成像元件的上行到下行顺序地进行曝光成像元件的处理和读取曝光的像素的处理。

在电子快门式成像设备的情况下，可以在曝光成像元件的处理开始之前的复位处理(从成像元件释放电荷的处理)之后，使成像元件的从上行到下行的电子快门驱动曝光的开始(或结束)速度与读取曝光像素的处理(读取处理)的速度相同。

即，可以使得与读取每个显示图像(LVn)的处理相对应的从上行到下行的斜率与上文描述的图4和16的(b)成像元件曝光和存储器输出处理的栏中示出的记录图像(CAP)的曝光处理的从上行到下行的斜率相同。

然而，在机械快门式成像设备的情况下，难以在曝光成像元件的处理开始之前的复位处理(从成像元件释放电荷的处理)之后，使成像元件的从上行到下行的电子快门驱动曝光的开始(或结束)速度与读取曝光像素的处理(读取处理)的速度相同。

将参考图19描述机械快门式成像设备中的记录图像(CAP)的曝光处理的示例。

图19是示出在机械快门式成像设备进行与上述电子快门式成像设备的记录图像(CAP)的曝光处理(即图4和图16的(b)成像元件曝光和存储器输出处理的栏中示出的记录图像(CAP)的曝光处理)类似的处理的情况下的处理示例的图。

记录图像(CAP)的曝光处理在时间Tcs开始，在时间Tce结束。

注意，这些时间Tcs和Tce分别代表成像元件的最上像素行的曝光开始时间和结束时间。这是图中所示的机械前帘的处理。

成像元件的最下像素行的曝光开始时间和结束时间分别根据机械快门驱动时间而延迟时间(tm)，使得曝光开始时间＝Tcs+tm，曝光结束时间＝Tce+tm。这是图中所示的机械后帘的处理。

此外，假定顺序读取多个显示图像(LV1至LV4)的处理在记录图像(CAP)的曝光时间段中进行。

根据图19中所示的[读取处理]的虚线，从成像元件的最上像素行到最下像素行顺序地进行从成像元件读取曝光像素的处理(读取处理)。

从图19可以理解，[读取处理]的虚线的斜率比记录图像(CAP)的[曝光开始]和[曝光结束]时由实线表示的斜率(Tcs至Tcs+m，以及Tce至Tce+m)更平缓。

即，从成像元件的上行到下行的曝光开始(结束)速度与读取曝光像素的处理(读取处理)的速度不同。

如果在这种情况下读取紧接在记录图像(CAP)的曝光处理的开始之后的生成的显示图像(LV1)，则显示图像(LV1)的最上像素行的曝光时间是tp，而其最下像素行的曝光时间是比tp长的tq，如图19中所示。因此，曝光时间随图像中的像素位置而变化。

此外，这同样适用于紧接在记录图像(CAP)的曝光处理的结束之前生成的显示图像(LV4)。即，存在曝光时间随图像中的像素位置而变化的问题。

在机械快门的情况下会发生这种问题。

因此，使用机械快门的成像设备不对紧接在记录图像(CAP)的曝光处理的开始之后生成的显示图像(LV1)和紧接在记录图像(CAP)的曝光处理的结束之前生成的显示图像(LV4)进行显示处理。取而代之的是，使用机械快门的成像设备进行选择和显示除了两侧的那些图像之外的显示图像的处理。

从图19可以理解，在记录图像(CAP)的曝光处理开始后生成的第二和之后的显示图像(LV2)是曝光时间与像素位置无关地保持在tr不变的正常图像。

注意，除了如上所述的使用机械快门的成像设备不对紧接在记录图像(CAP)的曝光处理的开始之后生成的显示图像(LV1)和紧接在记录图像(CAP)的曝光处理的结束之前生成的显示图像(LV4)进行显示处理之外，使用机械快门的成像设备也进行与上文参考图9至18描述的使用电子快门的成像设备的处理类似的处理。

即，使用机械快门的成像设备将记录图像(CAP)的曝光处理的时间段期间的所有显示图像(LV1至LV4)的像素值的相加结果存储在存储器302中，通过使用存储在存储器302中的像素值的相加结果进行校正记录图像(CAP)的处理，并输出记录图像(CAP)。

[6.基于缺陷像素周围的像素的像素值校正记录图像中的缺陷像素的实施例]

在上述实施例中，进行在记录图像的曝光时间段期间累积并相加显示图像的像素值的处理，以校正记录图像中缺陷像素的像素值。

接下来，以下描述在记录图像的曝光时间段期间不使用显示图像的像素值的累加和相加的结果对记录图像中的缺陷像素进行校正处理的实施例。

具体地，基于缺陷像素周围的像素的像素值校正记录图像中的缺陷像素的示例有10个。

注意，根据本实施例的成像设备也具有参考图6描述的配置。此外，与上文参考图7描述的配置一样，在本实施例中信号处理单元105也包括记录图像校正单元121和图像校正单元122。

记录图像校正单元121的配置类似于参考图8描述的配置。

下面参考图20描述的是应用了根据本实施例的记录图像校正单元121的处理，即，基于记录图像中的缺陷像素周围的像素的像素值校正缺陷像素的处理。

当记录图像(CAP图像)的曝光结束时，记录图像(CAP图像)被存储在帧存储器104中。

然而，如上文参考图5描述的，存储在帧存储器104中的记录图像(CAP图像)是包括缺陷像素(即，不具有与记录图像(CAP图像)的曝光时间段相对应的像素值的用于显示图像(LV图像)的像素)的图像。

在本实施例中，记录图像校正单元121的缺陷校正单元305校正该缺陷像素。即，记录图像校正单元121进行将缺陷像素的像素值设置为与记录图像(CAP图像)的曝光时间段相对应的像素值的处理。

在根据快门速度设置的曝光时间段结束时，存储在帧存储器104中的有缺陷的记录图像(CAP1)241in被输入到信号处理单元105的记录图像校正单元121，如图20中所示。

有缺陷的记录图像(CAP1)241in被输入到缺陷校正单元305。

缺陷校正单元305基于缺陷像素周围的像素的像素值对缺陷像素进行校正处理。

将参考图21描述该校正处理的具体示例。

图21示出有缺陷的记录图像350。

有缺陷的记录图像350包括用于输出显示图像(LV图像)的缺陷像素，即，其中未设置与记录图像的曝光时间段相对应的像素值的缺陷像素351。

缺陷校正单元305基于缺陷像素351周围的像素的像素值来估计并校正缺陷像素的像素值。具体地，如图21的下图中所示，缺陷像素351周围的八个像素被定义为参考像素352，并且基于参考像素352的像素值估计缺陷像素351的像素值。然后，将估计值设置为缺陷像素351的像素值。

例如，将缺陷像素351周围的八个像素的平均值设置为缺陷像素351的像素值。

注意，在图21中所示的示例中，将缺陷像素周围的八个像素定义为参考像素，但这仅是示例。因此，可以以各种方式设置参考像素的范围。

图20中所示的缺陷校正单元305校正有缺陷的记录图像(CAP1)241in中的所有缺陷像素的像素值，以生成无缺陷的记录图像(CAP1)241out，并经由选择器306输出该无缺陷的记录图像(CAP1)241out。

经由选择器306将无缺陷的记录图像(CAP1)241out输出到信号处理单元105中的图像校正单元122，并且在图像校正单元122中对其进行用于一般照相机的信号处理，如白平衡(WB)调节和伽玛校正。然后，将无缺陷的记录图像(CAP1)241out存储在记录单元108中。

如上所述，在本实施例中，即使在记录图像(CAP图像)的曝光时间段期间，也生成显示图像(LV图像)并将其显示在显示单元上。另外，在记录图像(CAP图像)的曝光时间段之后，通过使用缺陷像素周围的正常像素对记录图像(CAP图像)中的缺陷像素进行校正处理。

该系列处理使得能够在记录图像(CAP图像)的曝光时间段期间在显示单元上持续地显示显示图像(LV图像)，并且还使得能够生成并记录高质量的记录图像，其中在包括记录图像(CAP图像)的像素的所有像素中设置与在针对根据快门速度设置的曝光时间段进行曝光处理的情况下的像素值类似的像素值。

[7.其他实施方式]

接下来，将描述其他实施例。

上面已经参考图6描述了进行根据本公开的处理的成像设备的示例。

根据本公开的处理还可以应用于具有与图6中所示的成像设备100的配置不同的配置的成像设备。

图22示出能够利用与图6中所示的配置不同的配置进行根据本公开的处理的成像设备400的配置示例。

图22中所示的成像设备400包括光学透镜101、成像元件装置410、信号处理单元(信号处理LSI)105、存储器106、显示单元(LCD/EVF)107、记录单元108、操作单元109和控制单元110。

除了成像设备400包括成像元件装置410之外，成像设备400的配置与上文参考图6描述的配置相似。

图22中所示的成像设备400的成像元件装置410包括成像元件411、AD转换单元412、帧存储器413和记录图像校正单元414。

通过光学透镜101入射的光进入成像元件装置410的成像元件411，即，包括例如CMOS图像传感器的成像元件411。然后，成像元件411将通过光电转换获得的图像数据输出到同一成像装置410中包括的AD转换单元412。

成像装置410中的AD转换单元412对输入信号进行A/D转换，即，将模拟信号转换为数字信号的处理，并将转换后的数字值存储在同一成像装置410中包括的帧存储器413中。

存储在帧存储器413中的图像帧被输入到同一成像装置410中包括的记录图像校正单元414。

记录图像校正单元414具有与上文参考图8描述的记录图像校正单元121的配置类似的配置，并且进行与在记录图像校正单元121中进行的处理类似的处理。

即，图22中所示的成像设备400在成像装置410内对记录图像(CAP图像)中的缺陷像素进行校正处理。

信号处理单元(信号处理LSI)105从成像装置410的记录图像校正单元414接收图像数据的输入，并且进行信号处理。

记录图像校正单元414仅具有上文参考图7描述的信号处理单元105的图像校正单元122的功能。

即，记录图像校正单元414进行用于一般照相机的信号处理，如白平衡(WB)调节和伽马校正，以生成输出图像。

以下处理与上文参考图6描述的成像设备100中进行的处理相似。

图22中所示的成像设备400的特征在于成像元件411、AD转换单元412、帧存储器413和记录图像校正单元414被包括在成像装置410中。

成像装置410从控制单元110接收控制信号和同步信号的输入，并且基于该同步信号进行更新处理，如处理的开始、改变和结束。

如上文描述的图6的成像设备100中那样，在图22中所示的成像设备400的配置中，也可以在记录图像(CAP图像)的曝光时间段期间在显示单元上持续显示显示图像(LV图像)，并且还可以生成并记录高质量的记录图像，其中在包括记录图像(CAP图像)的像素的所有像素中设置与在针对根据快门速度设置的曝光时间段进行曝光处理的情况下的像素值相似的像素值。

[8.本公开的配置的总结]

上文已经参考具体示例详细描述了本公开的实施例。然而，很明显，本领域的技术人员可以在不脱离本公开的要旨的情况下对实施例进行修改和替换。换句话说，已经以示例的形式公开了本发明，并且不应限制性地解释本发明。为了判断本公开的要旨，应考虑“权利要求书”部分。

注意，本说明书中公开的技术可以采用以下配置。

(1)一种成像设备，包括：

成像元件，所述成像元件在用于获取具有第一像素数的第一图像的曝光时间段期间输出具有低于所述第一像素数的第二像素数的第二图像；和

图像校正单元，所述图像校正单元校正在所述第一图像中包含的像素当中的与所述第二图像中包含的像素对应的像素的像素值。

(2)根据(1)所述的成像设备，其中

所述图像校正单元将所述第一图像中包含的像素的像素值校正为与在用于获取所述第一图像的所述曝光时间段期间进行曝光处理的情况下的像素值相似的像素值。

(3)根据(1)或(2)所述的成像设备，其中

所述图像校正单元基于所述第二图像中包含的像素的像素值校正所述第一图像中包含的像素的像素值。

(4)根据(1)至(3)中的任一项所述的成像设备，还包括：

帧存储器，所述帧存储器存储由所述成像元件拍摄的图像，

其中所述图像校正单元接收存储在所述帧存储器中的图像的输入，并且校正像素值。

(5)根据(1)至(4)中的任一项所述的成像设备，其中

所述第一图像是记录图像，并且所述第二图像是显示图像。

(6)根据(1)至(5)中的任一项所述的成像设备，其中

所述图像校正单元将所述第一图像中包含的像素当中的缺陷像素的像素值校正为与在所述第一图像的曝光时间段期间进行曝光处理的情况下的像素值相似的像素值，所述缺陷像素是由所述第二图像的输出导致的。

(7)根据(1)至(6)中的任一项所述的成像设备，其中

所述图像校正单元进行将所述第二图像的像素值的相加值与所述第一图像中要校正的像素的像素值相加的处理，所述第二图像是在所述第一图像的曝光时间段期间从所述成像元件输出的。

(8)根据(1)至(7)中的任一项所述的成像设备，其中

所述图像校正单元包括存储器，所述存储器存储在所述第一图像的曝光时间段期间从所述成像元件输出的所述第二图像的像素值的相加值，以及

所述图像校正单元进行将所述存储器中存储的所述值与所述第一图像中要校正的像素的像素值相加的处理。

(9)根据(8)所述的成像设备，其中

在所述第二图像是在所述第一图像的所述曝光时间段期间拍摄的图像的情况下，所述图像校正单元进行将所述第二图像的像素值存储在所述存储器中的处理。

(10)根据(8)所述的成像设备，其中

在所述第二图像是在所述第一图像的所述曝光时间段期间拍摄的图像的情况下，所述图像校正单元将所述第二图像的像素值存储在所述存储器中，并且还进行将所述第二图像作为显示图像输出到显示单元的处理。

(11)根据(8)所述的成像设备，其中

在所述第二图像的曝光时间段与所述第一图像的曝光时间段的一部分交叠的情况下，所述图像校正单元进行将通过将所述第二图像的像素值乘以所述第二图像的曝光时间段和所述第一图像的曝光时间段之间的交叠率而得到的值存储在所述存储器中的处理。

(12)根据(1)至(11)中的任一项所述的成像设备，其中

所述图像校正单元将所述第一图像中要校正的像素周围的像素定义为参考像素，并且基于所述参考像素的像素值对所述要校正的像素进行像素值校正。

(13)根据(12)所述的成像设备，其中

所述参考像素是所述要校正的像素周围的8个像素。

(14)根据(1)至(13)中的任一项所述的成像设备，其中

所述图像校正单元被包括在生成所述第一图像和所述第二图像的信号处理单元中。

(15)根据(1)至(13)中的任一项所述的成像设备，其中

所述图像校正单元被包括在成像装置中，所述成像装置包括下列各项作为构成元件：

所述成像元件；

AD转换单元，所述AD转换单元对从所述成像元件输出的信号进行AD转换处理；以及

帧存储器，所述帧存储器存储由所述AD转换单元生成的数字信号。

(16)一种在成像设备中进行的图像处理方法，所述方法包括：

使成像元件在用于获取具有第一像素数的第一图像的曝光时间段期间输出具有低于所述第一像素数的第二像素数的第二图像；和

使图像校正单元校正在所述第一图像中包含的像素当中的与所述第二图像中包含的像素对应的像素的像素值。

(17)一种用于使得在成像设备中进行图像处理的程序，所述程序包括：

使成像元件在用于获取具有第一像素数的第一图像的曝光时间段期间输出具有低于所述第一像素数的第二像素数的第二图像；和

使图像校正单元校正在所述第一图像中包含的像素当中的与所述第二图像中包含的像素对应的像素的像素值。

此外，本说明书中描述的系列处理可以通过硬件、软件或组合了硬件和软件的配置来实现。在通过软件实现该处理的情况下，可以在将其中记录有处理序列的程序安装在专用硬件中所包含的计算机中的存储器中或者在将该程序安装在能够进行各种处理的通用计算机上之后，执行该程序。例如，该程序可以预先记录在记录介质上。除了从记录介质安装到计算机上以外，还可以经由诸如局域网(LAN)或因特网的网络接收该程序，并且将该程序安装在诸如内置硬盘的记录介质上。

注意，本说明书中描述的各种处理不仅可以根据描述按时间顺序进行，而且还可以根据进行该处理的设备的处理能力或根据需要并行或者分开地执行。此外，在本说明书中，术语“系统”是指多个装置的逻辑集合配置，并且不限于每个配置的装置都在同一壳体中的配置。

工业适用性

如上所述，根据本公开的实施例的配置，实现了一种设备和方法，其即使在记录图像的曝光时间段期间也能够输出显示图像，并且还能够生成高质量的记录图像。

具体地，例如，在具有高像素数的记录图像的曝光时间段期间，成像元件输出具有低像素数的显示图像，该显示图像是作为间除成像元件中所包括的像素的结果而获得的。记录图像校正单元在经过曝光时间段之后从帧存储器接收记录图像的输入，并且通过使用在记录图像的曝光时间段期间输出的显示图像的像素值的相加值来校正记录图像中所包括的像素当中的由从成像元件输出显示图像而导致的缺陷像素的像素值，从而将缺陷像素的像素值校正为与在针对记录图像的曝光时间段进行曝光处理的情况下的像素值相似的像素值。

作为这些处理的结果，实现了即使在记录图像的曝光时间段期间也能够输出显示图像并且还能够生成高质量的记录图像的设备和方法。

附图标记列表

11 光学透镜

12 成像元件

13 AD转换单元

14 帧存储器

15 信号处理单元

16 存储器

21 显示单元

22 记录单元

50 帧存储器

51 LV图像输出像素

60 记录图像(CAP图像)

101 光学透镜

102 成像元件

103 AD转换单元

104 帧存储器

105 信号处理单元

106 存储器

107 显示单元

108 记录单元

109 操作单元

110 控制单元

121 记录图像校正单元

122 图像校正单元

301、304 加法器

302 存储器

303、306 选择器

305 缺陷校正单元

350 有缺陷的记录图像

351 缺陷像素(LV图像输出像素)

400 成像设备

410 成像装置

411 成像元件

412 AD转换单元

413 帧存储器

414 记录图像校正单元

Claims (16)

1.一种成像设备，包括：

成像元件，所述成像元件在用于获取具有第一像素数的第一图像的曝光时间段期间输出具有低于所述第一像素数的第二像素数的第二图像；和

图像校正单元，所述图像校正单元校正在所述第一图像中包含的像素当中的与所述第二图像中包含的像素对应的像素的像素值，

其中，所述图像校正单元包括存储器，所述存储器存储通过对在所述第一图像的曝光时间段期间从所述成像元件输出的各个第二图像进行像素值相加处理而获得的第二图像相加图像，以及

所述图像校正单元进行将所述存储器中存储的所述第二图像相加图像与所述第一图像相加的处理。

2.根据权利要求1所述的成像设备，其中

所述图像校正单元将所述第一图像中包含的像素的像素值校正为与在用于获取所述第一图像的所述曝光时间段期间进行曝光处理的情况下的像素值相似的像素值。

3.根据权利要求1所述的成像设备，其中

所述图像校正单元基于所述第二图像中包含的像素的像素值校正所述第一图像中包含的像素的像素值。

4.根据权利要求1所述的成像设备，还包括：

帧存储器，所述帧存储器存储由所述成像元件拍摄的图像，

其中所述图像校正单元接收存储在所述帧存储器中的图像的输入，并且校正像素值。

5.根据权利要求1所述的成像设备，其中

所述第一图像是记录图像，并且所述第二图像是显示图像。

6.根据权利要求1所述的成像设备，其中

所述图像校正单元将所述第一图像中包含的像素当中的缺陷像素的像素值校正为与在所述第一图像的曝光时间段期间进行曝光处理的情况下的像素值相似的像素值，所述缺陷像素是由所述第二图像的输出导致的。

7.根据权利要求1所述的成像设备，其中

所述图像校正单元进行将所述第二图像的像素值的相加值与所述第一图像中要校正的像素的像素值相加的处理，所述第二图像是在所述第一图像的曝光时间段期间从所述成像元件输出的。

8.根据权利要求1所述的成像设备，其中

在所述第二图像是在所述第一图像的所述曝光时间段期间拍摄的图像的情况下，所述图像校正单元进行将所述第二图像的第二图像相加图像存储在所述存储器中的处理。

9.根据权利要求1所述的成像设备，其中

在所述第二图像是在所述第一图像的所述曝光时间段期间拍摄的图像的情况下，所述图像校正单元将所述第二图像的第二图像相加图像存储在所述存储器中，并且还进行将所述第二图像作为显示图像输出到显示单元的处理。

10.根据权利要求1所述的成像设备，其中

在所述第二图像的曝光时间段与所述第一图像的曝光时间段的一部分交叠的情况下，所述图像校正单元进行将通过将所述第二图像的像素值乘以所述第二图像的曝光时间段和所述第一图像的曝光时间段之间的交叠率而得到的值存储在所述存储器中的处理。

11.根据权利要求1所述的成像设备，其中

所述图像校正单元将所述第一图像中要校正的像素周围的像素定义为参考像素，并且基于所述参考像素的像素值对所述要校正的像素进行像素值校正。

12.根据权利要求11所述的成像设备，其中

所述参考像素是所述要校正的像素周围的8个像素。

13.根据权利要求1所述的成像设备，其中

所述图像校正单元被包括在生成所述第一图像和所述第二图像的信号处理单元中。

14.根据权利要求1所述的成像设备，其中

所述图像校正单元被包括在成像装置中，所述成像装置包括下列各项作为构成元件：

所述成像元件；

AD转换单元，所述AD转换单元对从所述成像元件输出的信号进行AD转换处理；以及

帧存储器，所述帧存储器存储由所述AD转换单元生成的数字信号。

15.一种在成像设备中进行的图像处理方法，所述方法包括：

使成像元件在用于获取具有第一像素数的第一图像的曝光时间段期间输出具有低于所述第一像素数的第二像素数的第二图像；和

使图像校正单元校正在所述第一图像中包含的像素当中的与所述第二图像中包含的像素对应的像素的像素值，

其中，所述图像校正单元包括存储器，所述存储器存储通过对在所述第一图像的曝光时间段期间从所述成像元件输出的各个第二图像进行像素值相加处理而获得的第二图像相加图像，以及

所述方法还包括：

使所述图像校正单元将所述存储器中存储的所述第二图像相加图像与所述第一图像相加。

16.一种存储有用于使得在成像设备中进行图像处理的程序的计算机可读存储介质，所述图像处理包括：

使成像元件在用于获取具有第一像素数的第一图像的曝光时间段期间输出具有低于所述第一像素数的第二像素数的第二图像；和

使图像校正单元校正在所述第一图像中包含的像素当中的与所述第二图像中包含的像素对应的像素的像素值，

其中，所述图像校正单元包括存储器，所述存储器存储通过对在所述第一图像的曝光时间段期间从所述成像元件输出的各个第二图像进行像素值相加处理而获得的第二图像相加图像，以及

所述图像处理还包括：

使所述图像校正单元将所述存储器中存储的所述第二图像相加图像与所述第一图像相加。

Images