CN102742278A - 摄像装置 - Google Patents

Abstract

本发明提供一种摄像装置。该摄像装置具有：摄像部(20)，其以低帧率进行第一颜色分量的像素信号的读出，并且，以高帧率进行第二颜色分量的像素信号的读出；和帧率修正部(22)。摄像部(20)，在由帧率决定的电荷蓄积期间内，与第二颜色分量的像素信号的读出定时同步地进行第一颜色分量的像素信号的非破坏性读出。使用非破坏性读出而得到的信号，以高帧率在显示部(21)中显示彩色图像。

Description

摄像装置

技术领域

本发明涉及摄像彩色动态图像的摄像装置，特别涉及能够在摄像中显示在第一颜色分量与第二颜色分量中电荷蓄积时间不同的彩色动态图像的摄像装置。

背景技术

提出有以不同分辨率以及不同曝光时间来摄像R(红)、G(绿)、B(蓝)的颜色分量的方式。在专利文献1至专利文献4中公开有以下技术：将入射光例如划分为G分量(第一颜色分量)与R以及B分量(第二颜色分量)，按照这两个颜色分量，用各个摄像元件进行摄像。若针对G的颜色分量，以高分辨率且低帧率进行摄像，则针对G的颜色分量，能够确保所需要的电荷蓄积时间(曝光时间)与空间分辨率，因此，能够得到充分的光量从而得到S/N比高的G图像。另一方面、若针对R以及B的颜色分量，以低分辨率且高帧率进行摄像，则针对R以及B的颜色分量，能够得到时间上分辨率高的图像。然后，若根据以高分辨率且低帧率摄像的颜色分量图像和以低分辨率且高帧率摄像的颜色分量图像，通过图像处理，恢复高分辨率且高帧率的动态图像，则能够得到高分辨率且高帧率的彩色动态图像。此外，在专利文献5中，公开有使用单板彩色摄像元件进行上述的方式的方法。

在进行了基于上述现有技术的摄像时，若被摄体有移动，则在电荷蓄积时间短的颜色分量的图像中，被摄体的移动模糊(motion blur)会变少。然而，电荷蓄积时间长的颜色分量的图像，会包括被摄体的相对较大的移动模糊。若单纯地对这些颜色分量图像进行重像，生成彩色图像，则会产生由电荷蓄积时间长的颜色分量的移动模糊所引起的颜色偏差。当摄像被摄体时，在取景器等摄像显示装置中显示以所述摄像方式摄像的彩色图像的情况下，在如上述单纯地对各颜色分量图像进行了重像的彩色图像中，存在由于颜色偏差而难以确认被摄体的状况的问题。至于合成按照每个颜色分量而电荷蓄积时间不同的彩色图像，已公知有在专利文献2中记载的技术。该技术在对电荷蓄积时间长的颜色分量进行蓄积的期间，每当读出电荷蓄积时间短的颜色分量图像就进行加法运算，并以与电荷蓄积时间长的颜色分量相同的定时在显示装置中进行输出。

专利文献1：国際公开第08/047664号

专利文献2：JP特开2008-211273号公报

专利文献3：国際公开第2009/019823号

专利文献4：国際公开第2009/019824号

专利文献5：国際公开第2010/090025号

非专利文献1：Takeo Azuma，Taro Imagawa，Sanzo Ugawa，YusukeOkada，Hiroyoshi Komobuchi，Motonori Ishii，Shigetaka Kasuaga，YoshihisaKato，“A 2.2/3-inch 4K2K CMOS Image Sensor Based on Dual ResolutionAnd Exposure Technique，”Proceedings in IEEE International Solid-StateCircuit Conference 2010，pp.408-410，2010.

非专利文献2：今川太郎，吾妻健夫，佐藤智和，横矢直和，兼顾确保使用了时空分辨率不同的动态图像的高分辨率高帧率摄像与曝光量，映像信息介质学会杂志Vol.63，No.8，pp.1139-1148，2009.

发明的概要

发明所要解决的技术问题

上述现有的结构，为了使电荷蓄积时间短的颜色分量的输出适合于电荷蓄积时间长的颜色分量，而使输出彩色图像的帧率与电荷蓄积时间长的颜色分量图像的帧率一致。此时，存在以下问题：当被摄体的移动较大时，在显示装置中被摄体的移动模糊明显。

另一方面，作为得到被摄体的移动模糊较少、高帧率的彩色图像的方法，可考虑进行用于所述彩色动态图像的高帧率化的图像处理，在显示部中显示由此得到的彩色图像。然而，在生成用于摄像中的被摄体的确认的显示图像时，需要能够实时显示被摄体的图像。因此，若要在显示装置中显示实施了高帧率化处理的彩色图像，则由图像处理需要的时间所引起的显示延迟会成为问题。

发明内容

解决技术问题的手段

本发明的目的在于，提供能够在摄像时显示按照每个颜色分量以电荷蓄积时间不同的摄像方式摄像的彩色图像的摄像装置。

本发明的摄像装置，具有：摄像部，其以第一帧率进行第一颜色分量的像素信号的读出，并且以比所述第一帧率高的第二帧率进行所述第一颜色分量以外的第二颜色分量的像素信号的读出，在由所述第一帧率决定的电荷蓄积期间内，与所述第二颜色分量的像素信号的读出的定时同步地进行所述第一颜色分量的像素信号的非破坏性读出；记录介质，其记录以所述第一帧率进行读出而得到的所述第一颜色分量的像素信号、以及以所述第二帧率进行读出而得到的所述第二颜色分量的像素信号；显示部；和帧率修正部，其能够使用通过所述非破坏性读出而得到的所述第一颜色分量的像素信号和通过以所述第二帧率进行读出而得到的所述第二颜色分量的像素信号，在摄像时使所述显示部以所述第二帧率显示彩色图像。

在某一实施方式中，所述摄像部具有：摄像元件，其进行所述第一颜色分量的像素信号的读出、以及进行所述第二颜色分量的像素信号的读出，且能够进行像素信号的非破坏性读出；和摄像控制部，其通过控制所述摄像元件，以所述第一帧率进行所述第一颜色分量的像素信号的读出，并且以比所述第一帧率高的第二帧率进行所述第二颜色分量的像素信号的读出，在由所述第一帧率决定的电荷蓄积期间内，与所述第二颜色分量的像素信号的读出的定时同步地进行所述第一颜色分量的像素信号的非破坏性读出。

在某一实施方式中，所述帧率修正部具有：存储器，其记录通过所述非破坏性读出而得到的所述像素信号；和减法运算部，其根据记录在所述存储器中的像素信号，将通过上次非破坏性读出而得到的像素信号从通过其后的非破坏性读出而得到的像素信号中减去来求出差分值，并以所述第二帧率输出所述差分值。

在某一实施方式中，所述帧率修正部，具有：增益修正部，其根据所述摄像元件中的在从电荷蓄积开始起的经过时间与从所述摄像元件输出的信号之间具有的饱和特性，来修正所述差分值。

在某一实施方式中，所述增益修正部，具有针对所述减法运算部的输出，对因从电荷蓄积开始起的经过时间而使所述减法运算部的输出变小的情况进行修正的增益调整功能，且与所述第二颜色分量的像素信号的读出的定时同步地进行所述修正。

在某一实施方式中，所述增益修正部，具有：修正系数表，其具有从所述第一颜色分量的像素信号的电荷蓄积开始时刻起的经过时间以及入射光量这两个索引；修正系数选择部，其根据所述经过时间以及所述入射光量，从所述增益修正系数表中选择增益修正系数；和乘法运算部，其进行所述增益修正系数与通过非破坏性读出而得到的所述第一颜色分量的像素信号的相乘，所述增益修正部根据所述经过时间以及所述入射光量，以维持所述彩色图像的各颜色分量的信号强度的平衡的方式进行所述修正。

在某一实施方式中，所述增益修正部，具有：向所述摄像装置入射的入射光量不发生变化时的摄像信号表；和进行所述减法运算部的输出与所述摄像信号表的值的比较的比较部，在所述第一颜色分量的像素信号的非破坏性读出时，通过检测所述减法运算部的输出与所述摄像信号表的值之差，来选择所述增益修正系数，以使在电荷蓄积过程中即使入射光量发生变化时，也维持颜色分量间的平衡。

在某一实施方式中，所述增益修正部具有：函数表，其将所述第一颜色分量的像素信号的输出信号作为输入，通过所述函数表中保持的函数，能够在所述第一颜色分量的像素信号的非破坏性读出时计算所述增益修正系数以及所述入射光量不发生变化时的摄像信号。

在某一实施方式中，所述帧率修正部具有：修正选择部，其根据所述第一颜色分量的像素信号的电荷蓄积时间的长短，来选择所述增益修正动作的有无。

在某一实施方式中，所述第一颜色分量是绿色，所述第二颜色分量是红色以及蓝色。

在某一实施方式中，所述摄像部具有：光分离元件，其将入射光分离为所述第一颜色分量的光和所述第二颜色分量的光；第一固体摄像元件，其接收所述第一颜色分量的光；和第二固体摄像元件，其接收所述第二颜色分量的光。

在某一实施方式中，所述摄像部具有：在一个摄像面内排列了接收所述第一颜色分量的光的多个像素和接收所述第二颜色分量的光的多个像素的固体摄像元件。

在某一实施方式中，具有：第二帧率修正部，其以帧单位对所述第二颜色分量的像素信号进行相加，以使所述第二颜色分量的像素信号的帧率适合于所述第一颜色分量的像素信号的帧率；和修正方法选择部，其根据被摄体的移动的大小，选择所述两个帧率修正部中的一个。

在某一实施方式中，具有：图像复原部，其以所述第二颜色分量的像素信号的移动信息为基础，对所述第一颜色分量的像素信号图像生成方法进行时空分解；和显示方法选择部，其根据由用户进行的录像功能以及再现功能的选择，来选择是由所述帧率修正部生成、还是由所述图像复原部生成在所述显示部显示的彩色动态图像。

本发明的图像生成方法，包括：以第一帧率进行第一颜色分量的像素信号的读出，并以比所述第一帧率高的第二帧率进行所述第一颜色分量以外的第二颜色分量的像素信号的读出，来进行摄像的步骤A；在由所述第一帧率决定的电荷蓄积期间内，与所述第二颜色分量的像素信号的读出的定时同步地进行所述第一颜色分量的像素信号的非破坏性读出的步骤B；在记录介质中记录通过以所述第一帧率进行读出而得到的所述第一颜色分量的像素信号、以及通过以所述第二帧率进行读出而得到的所述第二颜色分量的像素信号的步骤C；以及使用通过所述非破坏性读出而得到的所述第一颜色分量的像素信号和通过以所述第二帧率进行读出而得到的所述第二颜色分量的像素信号，在摄像时使所述显示部以所述第二帧率显示彩色图像的步骤D。

在某一实施方式中，所述步骤D，包括如下步骤：将通过上次非破坏性读出而得到的信号从通过其后的非破坏性读出而得到的信号中减去来求出差分值，并以所述第二帧率输出所述差分值。

在某一实施方式中，所述步骤D包括增益修正步骤，该增益修正步骤根据在从电荷蓄积开始起的经过时间与从摄像元件输出的信号之间具有的饱和特性，来修正所述差分值。

基于本发明的其它图像生成方法，包括：以第一帧率进行第一颜色分量的像素信号的读出，并以比所述第一帧率高的第二帧率进行所述第一颜色分量以外的第二颜色分量的像素信号的读出，来进行摄像的步骤A；在由所述第一帧率决定的电荷蓄积期间内，与所述第二颜色分量的像素信号的读出的定时同步地进行所述第一颜色分量的像素信号的非破坏性读出的步骤B；在记录介质中记录通过以所述第一帧率进行读出而得到的所述第一颜色分量的像素信号、以及通过以所述第二帧率进行读出而得到的所述第二颜色分量的像素信号的步骤C；选择是使用通过所述非破坏性读出而得到的所述第一颜色分量的像素信号和通过以所述第二帧率进行读出而得到的所述第二颜色分量的像素信号，在摄像时使所述显示部以所述第二帧率显示彩色图像；还是使用通过以所述第一帧率进行读出而得到的所述第一颜色分量的像素信号，使所述显示部显示图像的步骤D；以及使用所选择的信号，使所述显示部显示图像的步骤E。

本发明的计算机程序，使设置在图像处理装置中的处理器生成动态图像的数据，所述计算机程序使所述处理器执行：从上述任一项所述的摄像装置，接收通过所述非破坏性读出而得到的所述第一颜色分量的像素信号、以及通过以所述第二帧率进行读出而得到的所述第二颜色分量的像素信号的步骤；以及将通过上次非破坏性读出而得到的像素信号从通过其后的非破坏性读出而得到的像素信号中减去来求出差分值，并以所述第二帧率输出所述差分值的步骤。

在某一实施方式中，还使所述处理器执行：根据在从所述电荷蓄积开始起的经过时间与从所述摄像元件输出的像素信号之间具有的饱和特性，来修正所述差分值的步骤。

本发明的记录介质，记录有上述任一个计算机程序。

发明效果

根据本发明的摄像装置，在获取在第一颜色分量与第二颜色分量中电荷蓄积时间不同的图像时，即使在被摄体的移动较大时，也能够在摄像中在显示部显示减少了移动模糊的彩色动态图像。

附图说明

图1是本发明中成为对象的摄像装置以及摄像显示装置的概念图。

图2是表示本发明第一实施方式中的摄像装置的结构的方框图。

图3A是第一实施方式中的摄像部的结构例的方框图。

图3B是表示本发明的实施方式中能够使用的摄像元件的配置例的图。

图3C是表示本发明的实施方式中能够使用的摄像元件的配置例的图。

图3D是表示本发明的实施方式中能够使用的摄像元件的配置例的图。

图3E是表示像素、读出信号线、以及输出信号线的关系的图。

图3F是表示像素的内部结构的一个示例的电路图。

图3G是表示单板式摄像元件的摄像面的结构例的图。

图4是按照每个颜色示出电荷蓄积时间的不同摄像方式的概念图。

图5是本发明的帧率修正部的动作示意图。

图6是本发明的帧率修正控制部的动作示意图。

图7是电荷曝光时间长的颜色分量的电荷蓄积示意图。

图8是本发明的帧率修正部中的增益修正部的动作示意图。

图9是表示包括本发明的第一实施方式的帧率修正部的、系数以及信号表的结构的方框图。

图10是电荷蓄积时间长的颜色分量的由入射光量的不同引起的电荷蓄积方式的变化的示意图。

图11是电荷蓄积时间长的颜色分量的、在电荷蓄积期间中入射光量变化时的电荷蓄积方式的变化示意图。

图12是表示本发明的第一实施方式中的帧率修正部的、包含函数表的结构的方框图。

图13是表示本发明的第二实施方式中的帧率修正部的结构的方框图。

图14是表示本发明的第三实施方式中的摄像装置以及摄像显示装置的结构的方框图。

图15是表示本发明的第四实施方式中的摄像装置以及摄像显示装置的结构的方框图。

图16是本发明的第五实施方式中的图像显示方法的流程图。

图17是本发明的第三实施方式中的移动检测动作的示意图。

图18是表示本发明的第四实施方式中的图像复原部的结构的方框图。

具体实施方式

以下、参照附图，对本发明的摄像装置的实施方式进行説明。

(实施方式1)

图1是表示本实施方式中的摄像装置的外观的立体图。图1所示的摄像装置是具有主体12、在位于主体12内部的摄像元件(未图示)上对被摄体进行成像的镜头11、和取景器13的摄像机(摄录像机)。取景器13是图像的显示部，显示摄像时的被摄体。此外，该取景器13在摄像结束之后，能够再现显示所摄像到的图像(录像图像)。

图2是表示本实施方式的摄像装置的方框图。如图2所示，本实施方式的摄像装置具有：摄像部20；帧率修正部22；显示部21；记录部23；用于控制摄像装置内的各部的主控制部24；和向主控制部传输来自用户的指示的输入部25。

本实施方式中的摄像部20具有：第一颜色分量读出部20a，其以第一帧率进行第一颜色分量的像素信号的读出；和第二颜色分量读出部20b，其能够以比第一帧率高的第二帧率进行第一颜色分量以外的第二颜色分量的像素信号的读出。本实施方式中的第一颜色分量是绿色(G)，第二颜色分量是红色(R)以及蓝色(B)。当然，分别将第一颜色分量以及第二颜色分量设定为何种颜色是任意的。此外，该摄像部20，在由第一帧率决定的电荷蓄积期间内，能够与第二颜色分量的像素信号的读出定时同步地进行第一颜色分量的像素信号的“非破坏性读出”。针对该“非破坏性读出”在后面详述。

如图2所示，在本实施方式中，从摄像部20的第一颜色分量读出部20a所输出的第一颜色分量图像，被并列地输入到帧率修正部22以及记录部23。另一方面，从摄像部20的第二颜色分量读出部20b所输出第二颜色分量图像，被并列地输入到显示部21以及记录部23。即，从第一颜色分量读出部20a所输出的第一颜色分量图像，不直接被输入到显示部21，而经由帧率修正部22，被输入到显示部21。

帧率修正部22，针对由第一颜色分量读出部20a得到的第一颜色分量图像进行帧率修正。然后，输出与由第二颜色分量读出部20b得到的第二颜色分量图像的帧率相符的彩色图像，赋予显示部21。

在本申请书中，有时将从摄像部读出图像时的帧率称为“摄像帧率”，将在显示部显示图像时的帧率称为“显示帧率”。所谓“摄像帧率”，被定义为：“伴随像素信号的复位读出的(破坏性读出)每一秒的次数”。该摄像帧率，以一般的摄像元件的帧率具有的通常意思来使用。在本实施方式中，针对第一颜色分量图像的“摄像帧率”与“显示帧率”不一致。更具体而言，第一颜色分量图像的“显示帧率”高于“摄像帧率”。例如，第一颜色分量图像的“显示帧率”具有第一颜色分量图像的“摄像帧率”的4倍的大小。另一方面，在本实施方式中，第二颜色分量图像的“显示帧率”与该“摄像帧率”一致。

在本说明书中，将在摄像帧率与显示帧率之间存在差异时，根据通过摄像而得到的图像来生成用于显示的图像称为“帧率修正”。在本实施方式中，虽然针对第一颜色分量图像进行“帧率修正”，但针对第二颜色分量图像，不进行“帧率修正”。帧率修正通过帧率修正部22来执行。

显示部21，能够在摄像时实时显示由帧率修正部22所处理的彩色图像。记录部23记录(录像)由第一以及第二颜色分量读出部得到的各颜色分量图像。

主控制部24，能够根据从输入部25接收到的用户的指示来设定由摄像部20进行的摄像的条件(帧率、曝光时间、变焦倍率等)。

在上述结构中，摄像部20、帧率修正部22、记录部23、主控制部24、以及输入部25，被配置在图1所示的主体12中，显示部21被配置在取景器13中。记录部23可以构成为能够从主体12取下的记录介质。

在图2的结构例中，帧率修正部22具有：存储部221；减法运算部222；修正控制部223；和增益修正部224。存储部221针对由第一颜色分量读出部20a所摄像的第一颜色分量图像，在由摄像控制部201所规定的时刻存储被非破坏性读出的像素信号。减法运算部222求出被存储在存储部221中的上次的非破坏性读出时的像素信号与这次的非破坏性读出时的像素信号之间的差分。修正控制部223控制像素信号向存储部221的写入、以及基于减法运算部222的存储部221的存储数据的读出。增益修正部224调整减法运算部222的输出增益。帧率修正部22更详细的说明将在后述。

接着，说明摄像部20的结构例。

首先，参照图3A。图3A所示的摄像部20包括：具有将Rch(通道)、Gch、Bch的各颜色分量的入射光的強度转换为电信号的光電转换的功能的摄像元件201；和具有向各颜色分量的摄像元件201独立地提供读出信号以及像素复位信号的功能的摄像控制部202。

摄像部20，例如，如图3B所示，可以具有三个摄像元件201a、201b、201c。在图3B的示例中，摄像部20具有：颜色分解部104，其将入射光101分光为R光的波段、G光的波段、B光的波段。由摄像元件201a获取G图像、由摄像元件201b获取R图像、由摄像元件201c获取B图像。颜色分解部104的表面115，反射波长相对较长的R光，透过其余波段的光。颜色分解部104的表面116，反射波长相对较短的B光，透过其余波段的光。如此，将使用三个摄像元件获取彩色图像的方式称为三板式。显示部20的结构，不局限于图3B所示的三板式的结构例，也可以具有图3C或图3D等所示的结构例。

在图3C所示的示例中，摄像部20具有：颜色分解部105，其将入射光101划分为G光(第一颜色分量)、R以及B光(第二颜色分量)。在该示例中，由摄像元件201a获取G图像，由摄像元件201d获取R图像以及B摄像。

在图3D所示的示例中，摄像部20由一个摄像元件201e获取G图像、R图像以及B摄像(单板式)。为了由一个摄像元件201e按照每个颜色分量使读出图像的帧率(摄像帧率)变化，作为摄像元件201，需要使用CMOS图像传感器而不是CCD。若是三板式，则可以使用CCD。

接着，参照图3E以及图3F，说明在摄像元件201的摄像面上所形成的像素的结构例。图3E是示意性表示多个像素之中的一个像素、和与该像素连接的读出信号线42以及输出信号線44的图。读出信号线42上的读出信号经由输入端子405被赋予像素。另一方面，从像素输出的像素信号，经由输出端子406被赋予输出信号线44。

图3F是表示各像素的电路结构的一个示例的图。在摄像元件201的摄像面，以行及列状排列多数像素，各像素基本上具有图3F所示的结构。

如图3F所示，各像素具有通过光电转换来生成与入射光的量相应的量的电荷进行蓄积的光电二极管401。与光电二极管401连接有开关402。开关402响应输入端子405接收的信号，来切换导通状态与截止状态。若开关402从导通状态切换为截止状态，则与蓄积在光电二极管401中的电荷相应的電位会被赋予模拟缓冲器404的栅极。其结果是，模拟缓冲器404能够将与蓄积在光电二极管401中的电荷的量相应的信号作为“像素信号”输出给输出端子406。

对开关403以及模拟缓冲器404的漏极，赋予像素偏压。开关403若处于导通状态，则对模拟缓冲器404的栅极施加像素偏压，像素信号被复位。

读出信号是经由图3E所示的读出信号线42被赋予输入端子405、且将开关402从截止状态设置为导通状态的信号。另一方面，像素信号是响应读出信号的输入、而从输出端子406向输出信号线44输出的信号。即，像素信号是表示在赋予读出信号的时刻蓄积到光电二极管401的电荷的量的信号。通常，读出信号被赋予输入端子405，从输出端子输出像素信号之后，进行像素复位。其结果是，蓄积在光电二极管401中的电荷被复位。

本申请书中的所谓“非破坏性读出”，是指从输出端子406读出像素信号之后，不进行像素复位，而继续光电二极管401中的电荷蓄积的读出。即使进行如此的“非破坏性读出”，光电二极管401中的电荷蓄积量也不被复位。

再次参照图3A。摄像控制部202，根据对各颜色分量的摄像元件201提供读出信号以及像素复位信号的定时，按照R分量、G分量、B分量的各种颜色分别设定：(i)以长时间的电荷蓄积时间、且低帧率的摄像条件摄像的第一摄像条件，和(ii)以短时间的电荷蓄积时间、且高帧率的摄像条件摄像的第二摄像条件。

图3A作为摄像部20的一个示例，虽然表示了将G分量设定为第一颜色分量，将R以及B分量设定为第二颜色分量时的结构，但第一颜色分量以及第二颜色分量不局限于上述示例。

而且，在图3A所示的示例中，分别以三个摄像元件201获取了R分量、G分量、B分量的各个图像。这样结构的摄像部20，如图3B所示，由具有将入射光分离为R分量、G分量、B分量这三个分量的颜色分解元件104来实现。此时，在图3B所示的摄像元件201a、201b、201c的摄像表面不需要滤色器。然而，如图3C所示，在通过一个摄像元件201d来进行R以及B分量的摄像时，在该摄像元件201d中，配置有排列了透过R的滤色器(R滤色器)以及透过B的滤色器(B滤色器)的滤色器阵列。此外，如图3D所示，通过一个摄像元件201e来进行G、R以及B分量的摄像时，在该摄像元件201e中，配置有排列了透过G的滤色器(G滤色器)、R滤色器以及B滤色器的滤色器阵列。

第一颜色分量图像是在长时间曝光、且低帧率的摄像条件下所摄像的。本实施方式中的所谓“低帧率”，是指针对第二颜色分量的摄像帧率的数分之一至二十分之一左右。此外，本实施方式中的所谓“长时间的电荷蓄积时间”，是指将由该摄像帧率的值决定的一帧的时间作为上限，并且比上述“短时间的电荷蓄积时间”长的电荷蓄积时间。

第二颜色分量图像是以短时间曝光、且高帧率的摄像条件所摄像的。本实施方式中的所谓高帧率，是指例如从30fps(帧每秒)至60fps左右的范围。此外，本实施方式中的所谓“短时间的电荷蓄积时间”，是指最长也在由帧率决定的一帧的上限(本实施方式的情况下，从三十分之一秒至六十分之一秒左右)以下的时间的曝光。

而且，上述的短时间的电荷蓄积、长时间的电荷蓄积、高帧率、低帧率的语言的意思是相对而言的。即，只要针对彩色图像的第一颜色分量的电荷蓄积时间，比针对第二颜色分量的电荷蓄积时间长，且第一颜色分量的帧率低于第二颜色分量的帧率即可，并不局限于上述示例的数值范围。

在本实施方式中，虽然按照每个颜色分量使读出图像的帧率(摄像帧率)变化，例如，如专利文献1中记载的技术，除了摄像帧率，还能够按照每个颜色分量使摄像时的像素的密度变化。由于第一颜色分量的帧率低于第二颜色分量的帧率，因此在典型的示例中，第一颜色分量的像素数被设定得高于第二颜色分量的像素数。此时，为了合成第一颜色分量以及第二颜色分量的图像而在显示部23中显示彩色图像，优选按照每个颜色分量使不同的像素数一致。

在摄像时，使彩色图像在显示部23中进行显示时，由于不要求高的空间分辨率，因此，对于像素数多的颜色分量的图像，在此，能够使构成第一颜色分量的图像的像素的数减少。如图3B所示的三板式的情况下，在典型的示例中，高空間分辨率的颜色分量(第一颜色分量)的摄像元件201a的像素数，多于低空間分辨率的颜色分量(第二颜色分量)的摄像元件201b、201c或201d。此时，通过对来自第一颜色分量的摄像元件201a中的多个附近像素的输出进行相加，能够简单地减少构成该颜色分量图像的像素的个数。另一方面、如图3D所示的单板式的情况下，作为按照每种颜色进行像素数不同的摄像的方法，公知：如公开在专利文献5中那样的、针对第二颜色分量将相邻的同色的像素进行空间相加(叠加：Binning)的方式。此时，对于低空间分辨率的颜色分量(第二颜色分量)的图像，通过进行像素插值，能够提高该颜色分量的图像的空间分辨率，使得与高空间分辨率的颜色分量(第一颜色分量)图像的像素数一致。此外，另一方面，作为在摄像部20的外部进行上述叠加操作的结构，通过设置为能够向显示部21输入叠加前的第二颜色分量图像的结构，能够使输入到显示部21的所有颜色分量的像素数一致。由于显示部21是暂时显示摄像时的被摄体的状态的装置，因此，不一定需要S/N高的图像，如上所述，也可以省略第二颜色分量图像的叠加，即使输入了未充分改善S/N的图像，实用上也没有问题。

图3G表示非专利文献1中记载的单板摄像元件的结构。在图3G中，符号R表示用于检测入射光的R分量的强度的像素、符号B表示用于检测入射光的B分量的强度的像素，符号Gr以及Gb表示用于检测入射光的G分量的强度的像素。在该摄像元件中，在垂直方向上交替配置有：在水平方向上交替配置了R像素以及G像素的行(RG行)、和在水平方向上交替配置了B像素以及G像素的行(BG行)。

以下、将RG行的G像素称为Gr像素，将BG行的G像素称为Gb像素。在非专利文献1中，假设：G像素的曝光时间比R以及B像素的曝光时间长，并以低帧率进行输出。如图3G所示，在R、B像素以及G像素，分别配置了向各像素传输读出信号的读出信号线、以及向AD转换等次级的处理传输像素输出信号的输出信号线。其结果是，沿着各像素行，在水平方向上延伸有由与R像素或B像素连接的读出信号线和与G像素连接的读出信号线构成的两条信号线。另一方面，沿着各像素列，在垂直方向上延伸有由与R像素或B像素连接的输出信号线和与G像素连接的输出信号线构成的两条信号线。通过设为这样的结构，能够对R、B像素以及G像素独立地赋予读出信号，并且，从各颜色像素并列地得到输出(进行读出)。而且，单板式摄像元件中的摄像面的结构，并不局限于图3G所示的示例。

如图3A所示，摄像控制部202与主控制部24连接，主控制部24与输入部25连接。

再次参照图2。

显示部21合成由帧率修正部22修正的第一颜色分量图像和第二颜色分量图像来显示彩色图像。

记录部23记录低帧率的第一颜色分量图像与高帧率的第二颜色分量图像。而且，记录部23也可以记录显示部21所包含的与输入显示部21的图像(帧率修正部22的输出)相同的图像。

帧率修正部22进行用于将第一颜色分量图像以与第二颜色分量图像相同的帧率(显示帧率)输出到显示部21的修正。

以下，详细说明帧率修正部22。

图4是表示不进行基于摄像控制部202的非破坏性读出，根据各个电荷蓄积时间读出第一颜色分量图像以及第二颜色分量图像时的蓄积电荷量与时间的关系的图。作为一个示例，将第一颜色分量图像的电荷蓄积时间设为第二颜色分量图像的电荷蓄积时间的4倍。第一颜色分量图像的电荷蓄积时间可以比第二颜色分量图像的电荷蓄积时间长，但不局限于该数值。

在图4中，在带有圆圈的时刻进行读出。基于图4的示例，在四次进行第二颜色分量图像的读出的期间，第一颜色分量图像持续蓄积像素输出。第一颜色分量图像的摄像帧率是第二颜色分量图像的摄像帧率的1/4，第一颜色分量图像在经过了第二颜色分量图像中的4帧的时间的时刻被读出。在第一颜色分量图像的1帧中，第二颜色分量图像的读出被进行4次，在每次该读出中，进行像素信号的复位。第一颜色分量图像的1帧结束之后，第一颜色分量的像素输出被复位。在本实施方式中，在第一颜色分量图像的1帧中进行非破坏性读出。

以下，针对帧率修正部22的动作，参照图5更详细地进行说明。

在本实施方式中，在针对第一颜色分量图像持续蓄积电荷的期间，也配合第二颜色分量图像的读出定时来进行非破坏性读出。具体而言，在图5(a)所示的三个时刻51、52、53中，不对像素信号进行复位，而一边继续电荷蓄积，一边非破坏性地进行像素信号的读出。

在时刻51读出的像素信号(相当于图5(a)的差分55)，与直接被输出到显示部21同时地被存储于存储部221。之后，在时刻52的读出时，通过图2的减法运算部222，求出存储到存储部221的时刻51的像素信号、与在时刻52所读出的像素信号的差分56，输出给显示部21。同时，使存储部221存储在时刻52的读出信号。

分别在时刻53以及时刻54进行所述动作。在各个时刻53、54向显示部21的输出，与同图的差分57以及58相等。在同图的示例中，在时刻54，第一颜色分量的像素信号被复位。

图5(b)示出在与第二颜色分量的四个电荷蓄积期间相等的四个期间所蓄积的第一颜色分量的电荷量。

接着，参照图6，针对帧率修正部22中的修正控制部223的动作进行说明。

修正控制部223，根据从第一颜色分量的像素信号的电荷蓄积开始时刻起读出第二颜色分量的读出次数，控制被非破坏性读出的第一颜色分量的像素信号向存储部221的写入、以及读出。根据图6的示例，存储部221具有两个存储器61以及存储器62。在从第一颜色分量图像的电荷蓄积开始的时刻起进行最初的非破坏性读出时(图5中的时刻51)，如图6(a)所示，在存储器61以及存储器62两者中记录第一颜色分量的像素信号，此外，使减法运算部222不动作，将所读出的像素信号直接输出给显示部21。接着，在第一颜色分量图像的下一个非破坏性读出时(图5中的时刻52)，设为图6(b)所示的结构。将存储在任一个存储器中例如存储器61中的数据和这次非破坏性读出的像素信号输入到减法运算部222，并将其差分输出给显示部21。此外，与此同时，使另一个存储器例如存储器62存储这次非破坏性读出的像素信号。接着，在下一次的非破坏性读出时(图5中的时刻53)，设为如图6(c)所示的结构。将存储在图6(b)中存储有上次非破坏性读出的像素信号的存储器中例如存储器62中的数据和这次被非破坏性读出的像素信号输入到减法运算部222，并将其差分显示到显示部21中。与此同时，使另一个存储器例如存储器61存储这次非破坏性读出的像素信号。此后，每当第一颜色分量图像的非破坏性读出时，重复图6(b)、以及图6(c)的结构，在使第一颜色分量的像素信号复位的时刻，返回图6(a)的结构。

而且，在图2以及图6中，虽然存储部221具有两个存储器，但也可以构成为：将存储器设为一个，在向减法运算部222的读出结束之后，在存储器中写入非破坏性读出信号。

在本实施方式中，如图2所示，由运算部222得到的像素信号的差分，被输入到增益修正部224。增益修正部224，调整成为显示部21的输入的减法运算部222的输出的增益。如第一颜色分量的像素信号，若电荷蓄积时间变长，蓄积电荷量增大，则一般如图7(a)所示，像素信号饱和。这不是因为，例如，在摄像元件20中对像素信号进行放大的放大器，针对所有输入具有相同增益，而是由于随着输入信号增大而使增益减少。此时，第二颜色分量的读出时刻的减法运算部222的输出，如图7(b)的高度75～78所示，随着时间经过而减少。因此，在时刻73或时刻74的读出中，与实际所蓄积电荷量相比会得到较小的差分，因此，在显示部21所显示的彩色图像会成为第一颜色分量减少的颜色不自然的图像。

图8(a)是表示引起饱和时的第一颜色分量的像素信号与蓄积时间的关系的图。图8(b)是表示增益修正部224的効果的图。若进行从第一颜色分量的电荷蓄积开始时刻起经过时间越长越对所述差分乘以较大的增益系数的修正，则如图8(b)所示，能够得到以2点划线所示的大小的信号。图8(b)所示的高度81、82、83、84，是修正后的差分值。通过该修正，能够避免从第一颜色分量图像的读出开始时刻起伴随经过时间的减法运算部223的输出降低。

接着，对进行上述修正的增益修正部224结构例进行说明。

图9是表示帧率修正部22所包含的增益修正部224的结构例的方框图。增益修正部224具有：保持有增益修正用的系数的修正系数表91；从修正系数表91选择合适的修正系数的修正系数选择部92；进行减法运算部222的输出与增益修正系数相乘的乗法运算部93；保持有在第一颜色分量图像的电荷蓄积期间，在对摄像元件20入射的入射光量无变化时得到的像素信号值的期待值表94；和比较部95，其比较期待值表94信号值与减法运算部222的输出的大小，并进行修正系数选择部92的控制。

修正系数表91，除了从第一颜色分量图像的电荷蓄积开始起的经过时间之外，还具有射入摄像元件20的光的强度即第一颜色分量的像素信号大小这两个索引。修正系数选择部92，从修正系数表91选择合适的修正系数，并输出给乗法运算部93。乗法运算部93，将該增益修正系数与减法运算部223的输出相乘，并将相乘结果输出给显示部21。

修正系数选择部92，针对向摄像元件20的入射光量，适应性地使用修正系数表91来选择增益修正系数，以使当入射光量大于规定值时增大增益修正的程度，当小于所述规定值时缩小增益修正的程度。所述规定值，例如，从电荷蓄积开始起，使第一次非破坏性读出信号值设定为像素饱和信号量级的40％。图10是示意性表示由入射光量的不同所引起的第一颜色分量的像素信号的时间变化的图。根据图10，当入射光量较大时(图10(a))、像素信号经过电荷蓄积时间而饱和。另一方面，当入射光量较小时，像素信号无法达到饱和量级，表示如图10(b)所示的由于不饱和而呈近似于直线的增加。此时，若假设如图10(a)那样的时间变化来决定增益修正系数，则如图10(b)的2点划线所示，从电荷蓄积开始时刻起经过长时间之后的第一颜色分量图像的修正输出，会不自然地成为较大的值。增益修正系数表91，鉴于所述入射光量的影响，而具有从第一颜色分量图像的电荷蓄积开始起的经过时间和向摄像元件20的入射光量这两个索引。

表1是表示修正系数表91的一个示例。

[表1]

在表1中，第一帧信号电压，表示从第一颜色分量图像的电荷蓄积开始时刻起，经过了第二颜色分量中的1帧的蓄积时间的时刻的第一颜色分量的像素信号。此外，第二帧、第三帧的表现，相当于从第一颜色分量图像的电荷蓄积开始时刻起的第二颜色分量的帧号码。如该表1所示，该增益修正系数，当第一颜色分量的第一帧信号电压较小时，由经过时间所引起的变化较小，若所述第一帧信号电压变大，则随着时间会逐渐加大变化。

图9中的期待值表94与比较部95，具有当在第一颜色分量图像的电荷蓄积期间中对摄像元件20的入射光量发生变化时，与该变化动态地进行对应的功能。针对期待值表94以及比较部95的动作，参照图11进行说明。

图11是表示在第一颜色分量图像的电荷蓄积期间中，在对摄像元件20的入射光量发生变化时的像素信号以及减法运算部223的输出。图11(a)表示从电荷蓄积开始时刻起，对摄像元件20的入射光量减少的情形，图11(b)表示从电荷蓄积开始时刻起，所述入射光量增加的情形。

在图11(b)中，在第一颜色分量图像的电荷蓄积中，所述入射光量增加，在达到像素信号饱和的量级时，在信号饱和之后，如图11(b)下段所示，减法运算部223的输出变小。此时，在第一颜色分量图像的电荷蓄积开始时刻，若持续使用由增益修正系数选择部92选择的增益修正系数，则增益的修正程度变小(例如，参照表1中的第一帧信号电压＝10m V时的系数值)，相对于后面的非破坏性读出中的像素信号的饱和，增益修正变得不充分。

在期待值表94中保持有在第一颜色分量图像的电荷蓄积期间在入射光量无变化时的像素信号的期待值，并在比较部95中每当第一颜色分量图像的非破坏性读出时就与减法运算部223的输出进行比较，从而能够检测出入射光量的变化，并相应地选择适合的增益修正系数。而且，期待值表94，也与修正系数表91相同，具有自第一颜色分量图像的电荷蓄积开始起的经过时间与对摄像元件20的入射光量这两个索引。表2表示期待值表94的一个示例。

[表2]

在表2中的第1帧输出信号、以及第2帧等的表现，是指与表1相同的内容。

而且，修正系数表91以及期待值表94，由于取决于摄像元件201中的像素的电荷蓄积特性、或者摄像元件201内的放大器的特性，因此需要按照在本发明的摄像装置中使用的每个摄像元件来进行设定。修正系数表91以及期待值表94，例如，能够通过在制成摄像元件201的时刻调查其特性，并根据其结果来制成。

而且，修正系数表91与期待值表94，也可以代替它们，而构成为：保持用于计算該系数值以及摄像信号的期待值的函数，并在参照本实施方式中的表时由所述函数来计算所述系数值以及摄像信号的期待值。图12表示作为所述结构时的帧率修正部1201的方框图。在图12中，增益修正部224具有：修正系数计算部1202；保持用于计算增益修正系数的函数的函数表1203；期待值計算部1204；以及函数表1205，其保持用于计算在对摄像元件20的入射光量无变化时的摄像信号的函数。

此时，在函数表1203中所保持的增益修正系数(设为k)的算式，例如：被赋予为：

[算式1]

$k=\frac{\mathrm{\αt}}{1-\exp (-\mathrm{\αt})}$

其中，t是从第一颜色分量图像的电荷蓄积开始起的经过时间，α是由表1中的第1帧输出电压的大小决定的常数。此外，函数表1205所保持的摄像信号的期待值(设为V e)的算式，例如，被赋予为：

[算式2]

V_e＝E(1-exp(-at))

其中，E是摄像元件201内的像素信号放大器的电源电压，t是从第一颜色分量图像的电荷蓄积开始起的经过时间、α是由表2中的第1帧输出电压的大小决定的常数。

而且，所述(算式1)以及(算式2)，虽然是以指数函数来表现放大器的输入增大时的非线性的示例，但由于是按照这些摄像元件201的每个像素决定的特性，因此，并不限制于(算式1)以及(算式2)所示的算式，此外，需要按照在本发明的摄像装置中使用的每个摄像元件来进行设定。

根据本实施方式的结构，按照每个颜色分量摄像了电荷蓄积时间不同的彩色图像时，不进行大规模的图像处理而生成基于每个颜色分量的电荷蓄积时间不同的无颜色偏差的彩色图像，能够在照相机的取景器等中进行显示。

此外，由于彩色图像的显示帧率适合于电荷蓄积时间短的颜色分量图像的显示帧率，因此，当被摄体的移动较大时，能够生成移动偏差较小的彩色图像。而且，能够通过本实施方式中的增益修正部224，解决随着时间经过而使第一颜色分量图像的亮度值变小的问题。

而且，在本实施方式中，针对第一颜色分量，以比较高的帧率进行非破坏性读出，另一方面，以长时间的电荷蓄积时间并且低帧率进行了摄像。如果代替进行非破坏性读出，而在该时刻进行伴随复位的破坏性读出在逻辑上也是可能的。在以那样短时间的电荷蓄积时间并且高帧率进行了摄像之后，若经过多个帧对图像数据进行相加，则能够得到以长时间的电荷蓄积时间并且低帧率进行摄像而得到的图像。然而，通过对以短的蓄积时间得到的图像数据进行相加而得到的图像，与实际上通过长时间的电荷蓄积而得到的图像相比，会包含更多的噪声。非专利文献2，对实际上延长曝光时间来进行摄像的情况下、与在对通过短时间的电荷蓄积时间得到的图像进行数字性相加的情况下得到的图像中混入的噪声进行了说明。根据该文献，在通过数字性相加得到的图像中，混入比由长时间蓄积得到的图像的多3倍左右的噪声。

在本实施方式中，针对第一颜色分量，实际上，一边获取电荷蓄积时间充分长的图像(低帧率的图像)，一边通过非破坏性读出获取着实时显示中需要的图像。

(实施方式2)

接着，对基于本发明的摄像装置的第二实施方式进行说明。本实施方式的摄像装置，具有如下结构：能够根据第一颜色分量图像的电荷蓄积时间的长度，选择有无第1实施方式中记载的增益修正动作。

图13是表示本实施方式的摄像装置的结构的方框图。同图中的摄像部20、存储部221、减法运算部222、修正控制部223、增益修正部224、显示部21，分别与在第1实施方式中对应的结构要素具有相同的功能。本实施方式与实施方式1的不同点在于，在本实施方式中，帧率修正部1301具有修正方法选择部1302。

根据用户输入到输入部25的摄像条件，主控制部24决定第一颜色分量图像的帧率以及第二颜色分量图像的帧率。由此，确定第一颜色分量图像的电荷蓄积时间的长度。修正方法选择部1302，根据第一颜色分量图像的电荷蓄积时间的长度，来选择是否进行增益修正部224的动作。第一颜色分量图像的电荷蓄积时间较短时，例如，第一颜色分量图像的电荷蓄积时间等于第二颜色分量图像的2帧的蓄积时间时，第一颜色分量的像素信号在饱和的影响变得显著前被复位。此时，由于不需要进行增益修正动作，因此能够通过修正方法选择部1302的作用，使增益修正部224不动作。具体而言，修正方法选择部1302将减法运算部222的输出直接赋予显示部21。

通过本实施方式的结构，在第1实施方式中能够省略按照第二颜色分量的每个读出定时而进行的、第一颜色分量的像素信号的增益修正动作。因此，还能够进一步缩小伴随图像生成的显示延迟。

(实施方式3)

接着，对基于本发明的摄像装置的第三实施方式进行说明。

本实施方式的摄像装置具有：使第一颜色分量图像的帧率适合于第二颜色分量图像的帧率的帧率修正部(第一帧率修正部)22；以及使第二颜色分量图像的帧率适合于第一颜色分量图像的帧率的第二帧率修正部1402。因此，能够根据被摄体移动的大小，选择第一以及第二帧率修正部22、1402的任一个。

图14是表示本实施方式的摄像装置的结构的方框图。

本实施方式的摄像装置，除了第一以及第二实施方式中的帧率修正部22以外，还具有使第二颜色分量图像的帧率适合于第一颜色分量图像的帧率的帧率修正部1402。此外，本实施方式的摄像装置具有：选择是使用帧率修正部22以及1402这两个中的哪一个的修正方法选择部1401；和移动检测部1403。

为了使显示第二颜色分量图像的帧率适合于第一颜色分量图像的帧率，例如，可以对在第一颜色分量的相对较长的电荷蓄积期间中所读出的多个帧的第二颜色分量图像进行相加。另一方面，为了使显示第一颜色分量图像的帧率适合于第二颜色分量图像的帧率，可以使针对实施方式一、二进行了説明的帧率修正部22动作。

在本实施方式中，修正方法选择部1401，根据基于移动検测部1403的检测结果，决定赋予表示部21的图像数据的帧率。即，当被摄体的移动较小时，使第二颜色分量图像的帧率与第一颜色分量的帧率相符。相反地，当被摄体的移动较大时，使第一颜色分量图像的帧率与第二颜色分量的帧率相符。

而且，移动检测部1403，例如，通过块匹配、梯度法、相位相关法等的已存在的公知技术，检测出移动(光流：optical flow)。对自动检测移动的大小的方法的一个示例来进行说明。

图17(a)以及(b)表示通过块匹配进行移动检测时的基准帧与参考帧。移动检测部1403，在作为基准帧(为了求出移动而关注的第t个帧)内，设定如图17(a)所示的窗口区域A。然后，在参考帧内搜索与窗口区域内的图案类似的图案。作为参考帧，例如，大多采用关注帧的下一个帧。

搜索范围如图17(b)所示，通常，以移动量零的位置B为基准，预先设定一定的范围(该图17(b)中的C)。此外，图案的类似程度(程度)，通过计算(算式3)所示的残差平方和(SSD：Sum of SquareDifferrences)或(算式4)所示的残差绝对值和(SAD：Sum of AbsolutedDifferences)作为评价值来进行评价。

[算式3]

$\mathrm{SSD}=\underset{x,y\∈W}{\mathrm{\Σ}}(I(x+u,y+v,t+1)-I(x,y,t){)}^2$

[算式4]

$\mathrm{SAD}=\underset{x,y\∈W}{\mathrm{\Σ}}|I(x+u,y+v,t+1)-I(x,y,t)|$

在(算式3)以及(算式4)中，I(x，y，t)是在图像内的位置(x，y)、帧号码t处的像素的信号值。此外，x，y∈W是指基准帧的窗口区域内所包含的像素的坐标。

移动检测部1403，通过在搜索范围内使(u，v)变化，来搜索将上述评价值设为最小的(u，v)的组，将其作为帧间的移动向量V。通过使窗口区域的设定位置依次移动，从而按每个像素或每个区块(例如8像素×8像素)来求出移动。

当自动检测移动的大小来选择帧率修正法时，例如，自动选择为：相对于通过所述方法求出的移动，若通过下述(算式5)求出的图像内的所有像素的移动的大小的平均值为8像素以上，则使用帧率修正部22，若为8像素以下，则使用帧率修正部1402。

[算式5]

$u_{\mathrm{mean}}\left(t\right)=\frac{1}{N}\underset{x,y\∈\mathrm{\Ω}}{\mathrm{\Σ}}\sqrt{u{(x,y,t)}^2+v{(x,y,t)}^2}$

在(算式5)中，u_mean(t)是指第t号帧中的所有像素的移动的大小的平均值，N是指1帧中的所有像素数、Ω是指1帧中的所有像素的坐标值。

而且，在本实施方式中，上述两种帧率修正法，可以针对所有输入图像选择相同的方法，也可以构成为按照输入图像的每个部分选择不同的方法。当按照输入图像的每个部分改变帧率修正法时，例如，能够通过构成为：不是图像整体，而按照某个尺寸的图像区块求出(算式5)中的u_mean(t)，u_mean(t)为8像素以上的区块被输入帧率修正部22，不为此的区块被输入帧率修正部1402来实现。

在本实施方式中，当被摄体的移动较小时，通过使第二颜色分量图像的帧率适合于第一颜色分量图像的帧率，从而充分进行电荷蓄积，能够得到S/N高的彩色图像。由于被摄体的移动较小，因此即使延长了电荷蓄积时间，在输出给表示部21的彩色图像中，移动偏差也不明显。

(实施方式4)

接着，对基于本发明的摄像装置的第四实施方式进行说明。

本实施方式除了具有第一或第二实施方式的帧率修正部以外，还具有其它图像复原部。而且，构成为：能够根据用户的主摄像显示装置的用途，例如，在录像时使用还是再现时使用的指示，选择其中任一个。

图15是表示本实施方式中的结构方框图。在本实施方式中，具有：帧率修正部1502，其与第一或第二实施方式中的帧率修正部具有相同的结构；图像处理部1503，其进行第一颜色分量图像的高帧率化处理；和显示方法选择部1501，其选择是使用帧率修正部1502以及图像处理部1503中的哪一个。此外，本实施方式的摄像装置，具有接受来自用户的录像/再现的指示，并传输给主控制部24的输入部1504。

针对图像处理部1503的动作一个示例，参照图18进行说明。图像处理部1503的结构以及动作，与在专利文献3以及专利文献4中所公开的装置以及动作相同。在此，引用专利文献3以及专利文献4所公开的整体。

基于图18的示例，在本实施方式中，图像处理部1503由进行使第一颜色分量图像的显示帧率适合于第二颜色分量图像的处理的第一颜色分量上行转换器(up convertor)1801、和根据第二颜色分量图像来检测移动的移动检测部1802构成。

图像处理部1503的动作，是针对第一颜色分量图像，以通过移动检测部1802由例如所述(算式3)或(算式4)求出的移动为基础，按时空进行分解的处理。第一颜色分量图像g _L的复原图像g _H被求出作为对下述(算式6)进行最小化的g _H。

[算式6]

J＝||Hg_H-g_L||²+λ_s||Q_sg_H||²+λ_m||Q_mg_H||²

其中，g_H、g_L是将动态图像的各像素设为要素的纵向量，H表示对基于长时间曝光的光的相加运算进行模型化的矩阵，λ_s表示针对平滑约束的权重，Q_s表示平滑约束，λ_m表示针对移动约束的权重，Q_m表示对移动约束进行了模型化的矩阵。而且，g_H、g_L是将动态图像中的所有位置以及所有帧中的像素值进行了排列的向量。

以下，在(算式7)、(算式8)以及(算式9)中，表示所述(算式6)右边各项的详细算式。

[算式7]

${\mathrm{Hg}}_H(x,y,t)=\underset{t^{\′}=0}{\overset{3}{\mathrm{\Σ}}}{g}_H(x,y,t+t^{\′})$

[算式8]

$Q_s{g}_H(x,y,t)=\underset{x=1}{\overset{x_{\max }-1}{\mathrm{\Σ}}}{\{2\·g_H(x,y,t)-g_H(x+1,y,t)-g_H(x-1,y,t)\}}^2$

$+\underset{y=1}{\overset{y_{\max }-1}{\mathrm{\Σ}}}{\{2\·g_H(x,y,t)-g_H(x,y+1,t)-g_H(x,y-1,t)\}}^2$

[算式9]

$Q_m{g}_H(x,y,t)=\underset{x=0}{\overset{x_{\max }}{\mathrm{\Σ}}}\underset{y=0}{\overset{y_{\max }}{\mathrm{\Σ}}}\underset{t=0}{\overset{t_{\max }}{\mathrm{\Σ}}}{\{g_H(x+u(x,y,t),y+v(x,y,t),t+1)-g_H(x,y,t)\}}^2$

而且，在上述(算式7)、(算式8)、(算式9)中，g_H(x，y，t)、Hg_H(x，y，t)、Q_sg_H(x，y，t)、Q_mg_H(x，y，t)是分别相当于(算式6)中的g_H、Hg_H、Q_sg_H、Q_mg_H的位置(x，y)、帧号码t的要素。此外，在(算式8)、(算式9)中，x_max、y_max、t_{m ax}分别表示x方向像素号码，y方向像素号码、帧号码的最大值。此外，(算式9)中的u(x，y，t)以及v(x，y，t)，是由移动检测部1802求出的、位置(x，y)以及帧号码t的像素位置处的x方向以及y方向的移动的大小。移动检测部1802，例如通过实施方式三的方法来检测移动。而且，在(算式7)中，虽然第一颜色分量图像的电荷蓄积时间被假设为是第二颜色分量图像的电荷蓄积时间的4倍，但本发明并不局限于该值。

第一颜色分量上行转换器1801，根据下述(算式10)得到将(算式6)进行最小化的g_H。

[算式10]

$\frac{\∂J}{\∂g_H}={2H}^T({\mathrm{Hg}}_H-g_L)+2{\mathrm{\λ}}_s{Q}_s^T{Q}_s{g}_H+2{\mathrm{\λ}}_m{Q}_m^T{Q}_m{g}_H=0$

其结果是，第一颜色分量上行转换器1801通过求解(算式11)所示的联立方程式得到g_H。

[算式11]

$(H^{T}H+{\mathrm{\λ}}_s{Q}_s^T{Q}_s+{\mathrm{\λ}}_m{Q}_m^T{Q}_m)g_H=H^T{g}_L$

(算式11)能够通过使用共轭梯度法或最速降下法等的已有的数值計算法(联立方程式的解法)来解出。

在本实施方式中，当不是将本摄像装置的输出图像用于摄像中的被摄体的确认，而是为了在录像后以鉴赏目的来再现而使用时，能够比使用实施方式1的帧率修正部时显示更高质量的彩色图像。而且，高帧率化处理可以通过在摄像装置内安装的图像处理部1503来进行，也在从记录部23向外部运算装置传送了摄像图像之后，在该运算装置内进行。即使是在摄像装置内的图像处理部1503中进行高帧率化处理的情况下，由于该处理将所录像的彩色图像作为对象，因此也不需要实时进行。因此，与进行实时的高帧率化处理时相比，能够抑制在该处理中所需要的电路规模。

而且，本实施方式中的图像处理部1504，可以安装在实施方式1至实施方式3的任意摄像装置中，用于读出来自记录部23的数据进行处理。此时，通过图像处理部1504得到的彩色图像，在摄像结束后，能够在外部的显示装置中进行显示。此外，该图像处理部1504，可以用于在摄像装置的外部处理从实施方式1至实施方式3的任意摄像装置的记录部23中读出的数据。图像处理部1504的结构以及动作，不局限于上述。

(实施方式5)

图16表示本实施方式中的计算机程序的流程图一个示例。

本实施方式中的计算机程序，是使设置在所述各实施方式的摄像装置中的处理器执行各种步骤的指令组。在上述的实施方式中，帧率修正部22、1201、1301、1402虽然具有减法运算部222、增益修正部224、以及其它结构要素，但这些结构要素，既可以通过特别的硬件来实现，也可以通过硬件以及软件的组合来实现。在本实施方式中，能够通过设置在摄像装置中的处理器来实现上述结构要素的至少一部分。

本实施方式的计算机程序，具有以下特征点：执行接收从上述各实施方式的摄像装置中，通过非破坏性读出而得到的第一颜色分量的像素信号，和通过以第二帧率读出而得到的第二颜色分量的图像信号的步骤；通过从由下一次的非破坏性读出而得到的信号减去由上次非破坏性读出而得到的信号求出差分值，以第二帧率输出差分值的步骤。

按照本发明优选的实施方式中的计算机程序来执行处理器的方法，包括：选择是将显示部的图像用于摄像时的被摄体的确认，还是将所录像动态图像用于再现时的显示方法选择步骤1601；根据被摄体的移动的大小选择帧率修正方法的修正方法选择步骤1602；获取被非破坏性读出的第一颜色分量的信号的差分的减法运算步骤1603；进行所述减法运算步骤的输出的增益修正的增益修正步骤1604；以与第一颜色分量图像相同的帧率修正第二颜色分量图像的帧率的帧率修正步骤1605；和根据第一以及第二颜色分量图像来生成高帧率的彩色图像的高帧率化处理步骤1606。

显示方法选择步骤1601的动作与实施方式4中的显示方法选择部1501的动作相同。修正方法选择步骤1602的动作与实施方式3中的修正方法选择部1401的动作相同。减法运算步骤1603的动作与实施方式1中的减法运算部223的动作相同。增益修正步骤1604的动作与实施方式1的增益修正部224的动作相同。帧率修正步骤1605的动作与实施方式3中的帧率修正部1402的动作相同。高帧率化处理步骤1606的动作与实施方式4中的图像复原部1503的动作相同。

不需要通过处理器来执行上述各步骤的全部，一部分步骤也可以通过专用的硬件来执行。该程序以记录在记录介质的方式存在。

产业上的利用可能性

本发明能够作为针对第一颜色分量与第二颜色分量显示以不同的曝光时间(电荷蓄积时间)所摄像的彩色动态图像的摄像显示装置、组装在这样的装置上的映像设备或系统、映像合成装置、映像编辑装置、图像复原装置等进行利用。此外，也能够作为计算机程序来实现。

附图符号说明：

11-镜头，

12-主体，

13-取景器，

20-摄像部，

21-显示部，

22-帧率修正部，

23-记录部，

24-主控制部，

25-输入部，

42-读出信号线，

44-输出信号线，

91-修正系数表，

92-修正系数选择部，

83、93-乘法运算部，

84、94-期待值表，

95-比较部，

101-入射光，

104-颜色分解部，

201-摄像元件，

201a-摄像元件(G用)，

201b-摄像元件(R用)，

201c-摄像元件(B用)，

201d-摄像元件(R、B用)，

201e-摄像元件(R、G、B用)，

202-摄像控制装置，

221-存储部，

222-减法运算部，

223-修正控制部，

224-增益修正部，

1201-帧率修正部，

1202-增益修正系数运算部，

1203-系数表，

1204-输出信号期待值计算部，

1205-函数表，

1301-帧率修正部，

1302-修正方法选择部，

1401-修正方法选择部，

1402-使第二颜色分量图像的帧率适合于第一颜色分量图像的帧率修正部，

1403-移动检测部，

1501-显示方法选择部，

1502-帧率修正部，

1503-图像处理部，

1504-输入部，

1801-第一颜色分量上行转换器，

1802-移动检测部。

Claims (21)

1.一种摄像装置，具有：

摄像部，其以第一帧率进行第一颜色分量的像素信号的读出，并且以比所述第一帧率高的第二帧率进行所述第一颜色分量以外的第二颜色分量的像素信号的读出，在由所述第一帧率决定的电荷蓄积期间内，与所述第二颜色分量的像素信号的读出的定时同步地进行所述第一颜色分量的像素信号的非破坏性读出；

记录介质，其记录以所述第一帧率进行读出而得到的所述第一颜色分量的像素信号、以及以所述第二帧率进行读出而得到的所述第二颜色分量的像素信号；

显示部；和

帧率修正部，其能够使用通过所述非破坏性读出而得到的所述第一颜色分量的像素信号和通过以所述第二帧率进行读出而得到的所述第二颜色分量的像素信号，在摄像时使所述显示部以所述第二帧率显示彩色图像。

2.根据权利要求1所述的摄像装置，其特征在于，

所述摄像部具有：

摄像元件，其进行所述第一颜色分量的像素信号的读出、以及进行所述第二颜色分量的像素信号的读出，且能够进行像素信号的非破坏性读出；和

摄像控制部，其通过控制所述摄像元件，以所述第一帧率进行所述第一颜色分量的像素信号的读出，并且以比所述第一帧率高的第二帧率进行所述第二颜色分量的像素信号的读出，在由所述第一帧率决定的电荷蓄积期间内，与所述第二颜色分量的像素信号的读出的定时同步地进行所述第一颜色分量的像素信号的非破坏性读出。

3.根据权利要求1或2所述的摄像装置，其特征在于，

所述帧率修正部具有：

存储器，其记录通过所述非破坏性读出而得到的所述像素信号；和

减法运算部，其根据记录在所述存储器中的像素信号，将通过上次非破坏性读出而得到的像素信号从通过其后的非破坏性读出而得到的像素信号中减去来求出差分值，并以所述第二帧率输出所述差分值。

4.根据权利要求3所述的摄像装置，其特征在于，

所述帧率修正部，具有：

增益修正部，其根据所述摄像元件中的在从电荷蓄积开始起的经过时间与从所述摄像元件输出的信号之间具有的饱和特性，来修正所述差分值。

5.根据权利要求4所述的摄像装置，其特征在于，

所述增益修正部，具有针对所述减法运算部的输出，对因从电荷蓄积开始起的经过时间而使所述减法运算部的输出变小的情况进行修正的增益调整功能，且与所述第二颜色分量的像素信号的读出的定时同步地进行所述修正。

6.根据权利要求4或5所述的摄像装置，其特征在于，

所述增益修正部，具有：

修正系数表，其具有从所述第一颜色分量的像素信号的电荷蓄积开始时刻起的经过时间以及入射光量这两个索引；

修正系数选择部，其根据所述经过时间以及所述入射光量，从所述增益修正系数表中选择增益修正系数；和

乘法运算部，其进行所述增益修正系数与通过非破坏性读出而得到的所述第一颜色分量的像素信号的相乘，

所述增益修正部根据所述经过时间以及所述入射光量，以维持所述彩色图像的各颜色分量的信号强度的平衡的方式进行所述修正。

7.根据权利要求4～6的任一项所述的摄像装置，其特征在于，

所述增益修正部，具有：

向所述摄像装置入射的入射光量不发生变化时的摄像信号表；和

进行所述减法运算部的输出与所述摄像信号表的值的比较的比较部，

在所述第一颜色分量的像素信号的非破坏性读出时，通过检测所述减法运算部的输出与所述摄像信号表的值之差，来选择所述增益修正系数，以使在电荷蓄积过程中即使入射光量发生变化时，也维持颜色分量间的平衡。

8.根据权利要求7所述的摄像装置，其特征在于，

所述增益修正部具有：函数表，其将所述第一颜色分量的像素信号的输出信号作为输入，

通过所述函数表中保持的函数，能够在所述第一颜色分量的像素信号的非破坏性读出时计算所述增益修正系数以及所述入射光量不发生变化时的摄像信号。

9.根据权利要求4～8的任一项所述的摄像装置，其特征在于，

所述帧率修正部具有：修正选择部，其根据所述第一颜色分量的像素信号的电荷蓄积时间的长短，来选择所述增益修正动作的有无。

10.根据权利要求1～9的任一项所述的摄像装置，其特征在于，

所述第一颜色分量是绿色，所述第二颜色分量是红色以及蓝色。

11.根据权利要求1～10的任一项所述的摄像装置，其特征在于，

所述摄像部具有：

光分离元件，其将入射光分离为所述第一颜色分量的光和所述第二颜色分量的光；

第一固体摄像元件，其接收所述第一颜色分量的光；和

第二固体摄像元件，其接收所述第二颜色分量的光。

12.根据权利要求1～10的任一项所述的摄像装置，其特征在于，

所述摄像部具有固体摄像元件，该固体摄像元件在一个摄像面内排列了接收所述第一颜色分量的光的多个像素和接收所述第二颜色分量的光的多个像素。

13.根据权利要求1～12的任一项所述的摄像装置，其特征在于，

具有：

第二帧率修正部，其以帧单位对所述第二颜色分量的像素信号进行相加，以使所述第二颜色分量的像素信号的帧率适合于所述第一颜色分量的像素信号的帧率；和

修正方法选择部，其根据被摄体的移动的大小，选择所述两个帧率修正部中的一个。

14.根据权利要求1～13的任一项所述的摄像装置，其特征在于，

具有：

图像复原部，其以所述第二颜色分量的像素信号的移动信息为基础，对所述第一颜色分量的像素信号图像生成方法进行时空分解；和

显示方法选择部，其根据由用户进行的录像功能以及再现功能的选择，来选择是由所述帧率修正部生成、还是由所述图像复原部生成在所述显示部显示的彩色动态图像。

15.一种图像生成方法，包括：

步骤A，以第一帧率进行第一颜色分量的像素信号的读出，并以比所述第一帧率高的第二帧率进行所述第一颜色分量以外的第二颜色分量的像素信号的读出，来进行摄像；

步骤B，在由所述第一帧率决定的电荷蓄积期间内，与所述第二颜色分量的像素信号的读出的定时同步地进行所述第一颜色分量的像素信号的非破坏性读出；

步骤C，在记录介质中记录通过以所述第一帧率进行读出而得到的所述第一颜色分量的像素信号、以及通过以所述第二帧率进行读出而得到的所述第二颜色分量的像素信号；以及

步骤D，使用通过所述非破坏性读出而得到的所述第一颜色分量的像素信号和通过以所述第二帧率进行读出而得到的所述第二颜色分量的像素信号，在摄像时使所述显示部以所述第二帧率显示彩色图像。

16.根据权利要求15所述的图像输出方法，其特征在于，

所述步骤D包括如下步骤：将通过上次非破坏性读出而得到的信号从通过其后的非破坏性读出而得到的信号中减去来求出差分值，并以所述第二帧率输出所述差分值。

17.根据权利要求16所述的图像输出方法，其特征在于，

所述步骤D包括增益修正步骤，该增益修正步骤根据在从电荷蓄积开始起的经过时间与从摄像元件输出的信号之间具有的饱和特性，来修正所述差分值。

18.一种图像生成方法，包括：

步骤A，以第一帧率进行第一颜色分量的像素信号的读出，并以比所述第一帧率高的第二帧率进行所述第一颜色分量以外的第二颜色分量的像素信号的读出，来进行摄像；

步骤B，在由所述第一帧率决定的电荷蓄积期间内，与所述第二颜色分量的像素信号的读出的定时同步地进行所述第一颜色分量的像素信号的非破坏性读出；

步骤C，在记录介质中记录通过以所述第一帧率进行读出而得到的所述第一颜色分量的像素信号、以及通过以所述第二帧率进行读出而得到的所述第二颜色分量的像素信号；

步骤D，选择：是使用通过所述非破坏性读出而得到的所述第一颜色分量的像素信号和通过以所述第二帧率进行读出而得到的所述第二颜色分量的像素信号，在摄像时使所述显示部以所述第二帧率显示彩色图像；还是使用通过以所述第一帧率进行读出而得到的所述第一颜色分量的像素信号，使所述显示部显示图像；以及

步骤E，使用所选择的信号，使所述显示部显示图像。

19.一种计算机程序，使设置在图像处理装置中的处理器生成动态图像的数据，

所述计算机程序使所述处理器执行：

从权利要求1～14的任一项所述的摄像装置，接收通过所述非破坏性读出而得到的所述第一颜色分量的像素信号、以及通过以所述第二帧率进行读出而得到的所述第二颜色分量的像素信号的步骤；以及

将通过上次非破坏性读出而得到的像素信号从通过其后的非破坏性读出而得到的像素信号中减去来求出差分值，并以所述第二帧率输出所述差分值的步骤。

20.根据权利要求19所述的计算机程序，其特征在于，

还使所述处理器执行：

根据在从所述电荷蓄积开始起的经过时间与从所述摄像元件输出的像素信号之间具有的饱和特性，来修正所述差分值的步骤。

21.一种记录介质，记录有权利要求19或20所述的计算机程序。

Images