CN102811314A - 成像装置、成像方法和图像处理装置 - Google Patents

Abstract

一种成像装置包括：第一和第二图像传感器，用于分别输出分别具有第一和第二像素数的第一和第二图像数据；像素数转换部分，用于基于第一图像数据生成具有第三像素数的第三图像数据，并且基于第二图像数据生成具有等于第三像素数的像素数的第四图像数据；相似度计算部分，用于基于第一图像数据和第二图像数据，得出根据第一图像数据的图像和根据第二图像数据的图像之间的相似度；以及加权加法部分，用于根据该相似度，通过进行将第四图像数据的相似区域的图像数据加到第三图像数据的加权加法运算，生成第五图像数据。

Description

成像装置、成像方法和图像处理装置

技术领域

本技术涉及一种成像装置、成像方法和图像处理装置。更具体地，本技术涉及具有两个图像传感器的成像装置、为所述成像装置提供的成像方法、以及在所述成像装置中采用的图像处理装置。

背景技术

为了提高拍摄图像的分辨率，提供一种减少图像传感器的每个像素的大小使得增大每单位面积的像素的数量的有用技术。然而，每单位时间要从其读出信号的像素的数量受到传输带宽施加的约束或其他限制（诸如，图像传感器的芯片面积和功耗）的限制。

因此，在本领域的现状下，广泛采用以下描述的技术。也就是说，在比较宽松的限制（诸如，对应于15fps的帧速率的约束）的情况下的静态图像拍摄操作中，花费充分的时间读出来自所有像素的信号。另一方面，在比较严格的约束（诸如，对应于60fps的帧速率的约束）的情况下的、要求读出连续图像的监视操作或运动图像拍摄操作中，经历读出处理的像素的数量减少，并且以期望的帧速率和以全面角（all face angle）执行读出处理。

在该情况下，通过进行诸如以固定间隔对垂直和水平方向的像素执行的稀疏处理的处理、或者相互组合图像传感器上具有相同颜色的多个邻近像素，减少经历读出处理的像素的数量。日本专利公开No.2010-252390是描述对经历读出处理的像素进行稀疏处理的技术的文件的典型示例。

发明内容

对于利用图像传感器获得彩色图像的处理，已经设计了一种技术，该技术通过在诸如拜耳阵列的阵列中以固定间隔交替安排多个颜色，对每个颜色提高空间分辨率。然而，利用该技术，对于读出操作经历以某一固定间隔进行的稀疏处理的情况，此外还对于相互组合具有相同颜色的多个相邻像素的情况，当然引起以下描述的问题。在后者情况下，在如同具有超过组合后空间采样频率的频率的部分的精细图案部分引起问题。以上所述问题是出现到高频成分的低频侧的折回（folding-back）的问题，该问题导致生成伪色和/或生成具有滚花阶梯形状的斜线的现象（或锯齿）。结果，图像的质量劣化。

因此期望基于具有高帧速率的拍摄图像的数据提高图像的质量。

根据本技术的一个模式，提供一种成像装置，包括：

第一图像传感器，配置为输出具有第一像素数的第一图像数据；

第二图像传感器，配置为输出具有大于第一像素数的第二像素数的第二图像数据；

像素数转换部分，配置为基于第一图像传感器输出的第一图像数据生成具有第三像素数的第三图像数据，并且基于第二图像传感器输出的第二图像数据生成具有等于第三像素数的像素数的第四图像数据；

相似度计算部分，配置为基于第一图像数据和第二图像数据，得出根据第一图像数据的图像和根据第二图像数据的图像之间的相似度；以及

加权加法部分，配置为根据相似度计算部分得出的相似度，通过进行将第四图像数据的相似区域的图像数据加到像素数转换部分生成的第三图像数据的加权加法运算，生成第五图像数据。

如上所述，根据本技术的成像装置采用第一和第二图像传感器。第一图像传感器输出具有第一像素数的第一图像数据，而第二图像传感器输出具有大于第一像素数的第二像素数的像素的第二图像数据。在该情况下，第一图像传感器的光学系统可以与第二图像传感器的光学系统相同，或者第一图像传感器的光学系统可以不同于第二图像传感器的光学系统。

例如，第一图像传感器上的每个像素的大小与第二图像传感器上的每个像素的大小相同，并且第一图像传感器的像素数量也与第二图像传感器的像素数量相同。在该情况下，例如，典型地以低帧速率对第二图像传感器的所有像素进行读出操作，以便从第二图像传感器获得第二图像数据。而且在该情况下，例如，通过在垂直和水平方向以固定间隔对经历读出操作的像素执行诸如稀疏处理的处理、或者相互组合第一图像传感器上具有相同颜色的多个相邻像素的处理，典型地以高帧速率对第一图像传感器的像素进行全面角读出操作，以便从第一图像传感器获得第一图像数据。

此外，作为另一示例，第一图像传感器上的每个像素的大小不同于第二图像传感器上的每个像素的大小，并且第一图像传感器上的像素数量也不同于第二图像传感器上的像素数量。也就是说，例如，第一图像传感器上的每个像素的大小大于第二图像传感器上的每个像素的大小，并且第一图像传感器上的像素数量小于第二图像传感器上的像素数量。在该情况下，例如，典型地以低帧速率对第二图像传感器的所有像素进行读出操作，以便从第二图像传感器获得第二图像数据。此外，还在该情况下，例如，典型地以高帧速率对第一图像传感器的所有像素进行读出操作，以便从第一图像传感器获得第一图像数据。

像素数转换部分基于第一图像传感器输出的第一图像数据生成具有第三像素数的第三图像数据。在该情况下，如果第三像素数大于第一像素数，则对第一图像数据进行增大像素数量的像素数增大处理，以便生成第三图像数据。像素数增大处理还称为增大缩放处理。此外，像素数转换部分还基于第二图像传感器输出的第二图像数据，生成像素的第四图像数据，该像素的数量等于第三像素数。在该情况下，如果第三像素数小于第二像素数，则对第二图像数据执行减小像素数量的像素数减小处理，以便生成第四图像数据。像素数减小处理还称为减小缩放处理。

相似度计算部分基于第一图像数据和第二图像数据，得出根据第一图像数据的图像和根据第二图像数据的图像之间的相似度。在该情况下，例如，稀疏处理部分基于第二图像数据生成具有第一像素数的第六图像数据。然后，基于第一图像数据和第六图像数据，对于第一图像数据的每帧，相似度计算部分可以得出根据第一图像数据的图像上的每个预定区域和根据第二图像数据的图像上的相似区域之间的相似度。

此时，例如，基于第一图像数据和第六图像数据得出整个图像的运动矢量。然后，对于第一图像数据的每个预定区域的图像数据，基于该运动矢量得出第六图像数据的相似区域的图像数据。随后，基于第一图像数据的每个预定区域的图像数据和第六图像数据的对应相似区域的图像数据，相似度计算部分对于第一图像数据的每一帧，得出根据第一图像数据的图像上的每个预定区域和根据第二图像数据的图像上的对应相似区域之间的相似度。

加权加法部分根据相似度计算部分得出的相似度，通过对于每个预定图像区域，进行将第四图像数据的相似区域的图像数据加到第三图像数据的加权加法运算，生成具有第三像素数的第五图像数据。在该情况下，相似度越高，在经历加权加法运算的情况下，第四图像数据的相似区域的图像数据的比率越高。

如上所述，根据本技术，具有低帧速率的图像数据根据相似度经历加权加法运算，以将图像数据加到具有高帧速率的图像数据，以便生成具有高帧速率的输出图像数据。在本技术中，具有高帧速率的图像数据、具有低帧速率的图像数据和具有高帧速率的输出图像数据分别称为第三图像数据、第四图像数据和第五图像数据。因此，可以提高根据具有高帧速率的拍摄图像的数据的图像的质量。如果具有高帧速率的图像数据是包括例如稀疏读出操作等引起的折回的图像数据，则可能减少诸如伪色的数量和锯齿现象的数量的量。此外，如果具有高帧速率的图像数据是例如由具有少数像素的图像传感器输出的图像数据，则可以提高分辨率。

要注意，根据本技术的成像装置典型地操作在第一和第二操作模式。更具体地，在第一操作模式中，输出第二图像传感器生成的第二图像数据，而在第二操作模式中，输出加权加法部分生成的第五图像数据。在该情况下，在第二操作模式中，可能输出具有高帧速率的拍摄图像的数据，作为具有改进质量的图像的数据。

根据本技术的另一模式，提供一种成像方法，该方法包括：

像素数转换步骤，基于作为具有第一像素数的第一图像数据的、第一图像传感器输出的第一图像数据，生成具有第三像素数的第三图像数据，并且基于作为具有大于第一像素数的第二像素数的第二图像数据的、第二图像传感器输出的第二图像数据，生成具有等于第三像素数的像素数的第四图像数据；

相似度计算步骤，基于第一图像数据和第二图像数据，得出根据第一图像数据的图像和根据第二图像数据的图像之间的相似度；以及

加权加法步骤，根据在相似度计算步骤得出的相似度，通过进行加权加法运算生成第五图像数据，所述加权加法运算将在像素数转换步骤生成的第四图像数据的相似区域的图像数据加到在像素数转换步骤生成的第三图像数据。

根据本技术的另一模式，提供一种图像处理装置，该装置包括：

像素数转换部分，配置为基于具有第一像素数的第一图像数据生成具有第三像素数的第三图像数据，并且基于具有大于第一像素数的第二像素数的第二图像数据生成具有等于第三像素数的像素数的第四图像数据；

相似度计算部分，配置为基于第一图像数据和第二图像数据，得出根据第一图像数据的图像和根据第二图像数据的图像之间的相似度；以及

加权加法部分，配置为根据相似度计算部分得出的相似度，通过进行加权加法运算生成第五图像数据，所述加权加法运算将像素数转换部分生成的第四图像数据的相似区域的图像数据加到像素数转换部分生成的第三图像数据。

根据本技术，可能提高基于具有高帧速率的拍摄图像的数据的图像的质量。

附图说明

图1是示出根据本技术实施例的相机系统的典型配置的框图；

图2A到2D是相机系统的相似度计算部分进行的典型操作以计算相似度的描述中引用的多个说明图；

图3是示出对于输入图像的图像数据是具有60fps的帧速率的数据，而参考图像的图像数据是具有7.5fps的帧速率的数据的情况，更新输入图像的定时和更新参考图像的定时的图；

图4是相机系统的相似度计算部分进行的典型操作以计算相似度的描述中引用的图；

图5是示出通过在监视模式中操作的相机系统中包括的各块进行的处理的概要的图；

图6是示出通过在静止图像记录模式中操作的相机系统中包括的各块进行的处理的概要的图；

图7是示出通过在运动图像记录模式中操作的相机系统中包括的各块进行的处理的概要的图；

图8是粗略地示出对在运动图像记录模式中操作的子图像传感器和主要图像传感器输出的数据进行的处理的流程的图；

图9是示出对于输入图像的图像数据是具有60fps的帧速率的数据，而参考图像的图像数据是具有3.75fps的帧速率的数据的情况，更新输入图像的定时和更新参考图像的定时的图；以及

图10是示出根据本技术的另一相机系统的典型配置的框图。

具体实施方式

下面描述本技术的实施例。要注意，按以下顺序安排的章节说明实施例。

1.实施例

2.修改版本

<1.实施例>

[相机系统的典型配置]

图1是示出过呢就本技术实施例的相机系统100的典型配置的框图。相机系统100采用成像部分110、扩大处理部分120、缩小处理部分130、相似区域加权加法部分140、选择器150、稀疏处理部分160和相似度计算部分170。

成像部分110具有包括成像透镜111、半透明镜112、用作第一图像传感器的子图像传感器113、以及用作第二图像传感器的主要图像传感器114。在该典型配置中，子图像传感器113和主要图像传感器114共享用于在子图像传感器113的成像表面和主要图像传感器114的成像表面上创建成像对象的图像的成像透镜111。也就是说，子图像传感器113的光学系统与主要图像传感器114的光学系统相同。在该情况下，子图像传感器113的光接收表面的面积等于主要图像传感器114的光接收表面的面积。

在上述配置中，源自成像对象并由成像透镜111捕获的光的一部分由半透明镜112反射到子图像传感器113。因此，在子图像传感器113的成像表面上创建成像对象的图像。此外，在该配置中，源自成像对象并由成像透镜111捕获的光的另一部分穿过半透明镜112并且传播到主要图像传感器114。因此，在主要图像传感器114的成像表面上创建成像对象的图像。

子图像传感器113对于少数像素输出具有典型的高帧速率60fps的图像数据SV1。高帧速率称为第一帧速率，而具有高帧速率的图像数据SV1称为第一图像数据。从其输出图像数据SV1的像素的数量称为第一像素数。因此，第一像素数是作为从其读出图像数据SV1的像素的、子图像传感器113中包括的像素的数量。

另一方面，主要图像传感器114对于许多像素输出具有典型的低帧速率7.5fps的图像数据SV2。低帧速率称为第二帧速率，而具有低帧速率的图像数据SV2称为第二图像数据。从其输出图像数据SV2的像素的数量称为第二像素数。因此，第二像素数是作为从其读出图像数据SV2的像素的、主要图像传感器114中包括的像素的数量。

例如，子图像传感器113上的每个像素的大小等于主要图像传感器114上的每个像素的大小，并且子图像传感器113上的像素数量也等于主要图像传感器114上的像素数量。在该情况下，例如，以称为第二帧速率的低帧速率对主要图像传感器114的所有像素进行读出操作，以便从主要图像传感器114获得称为第二图像数据的图像数据SV2。因为图像数据SV2还没有经历稀疏处理等，所以图像数据SV2是具有很少伪色和很小锯齿的高质量图像数据。

而且在该情况下，例如，通过在垂直和水平方向以固定间隔对经历读出操作的像素执行诸如稀疏处理的处理、或者相互组合子图像传感器113上具有相同颜色的多个相邻像素的处理，以称为第一帧速率的高帧速率对子图像传感器113的像素进行全面角读出操作，以便从子图像传感器113获得称为第一图像数据的图像数据SV1。与图像数据SV2相比，图像数据SV1是具有许多伪色和大量锯齿的低质量图像数据。

此外，例如，子图像传感器113上的每个像素的大小不同于主要图像传感器114上的每个像素的大小，并且子图像传感器113上的像素数量也不同于主要图像传感器114上的像素数量。也就是说，子图像传感器113上的每个像素的大小大于主要图像传感器114上的每个像素的大小，并且子图像传感器113上的像素数量小于主要图像传感器114上的像素数量。

在该情况下，例如，以称为第二帧速率的低帧速率对主图图像传感器114的所有像素进行读出操作，以便从主要图像传感器114获得称为第二图像数据的图像数据SV2。因为图像数据SV2还没有经历稀疏处理等，所以图像数据SV2是具有很少伪色和很小锯齿的高质量图像数据。

而且在该情况下，例如，以称为第一帧速率的高帧速率对子图像传感器113的像素进行全面角读出操作，以便从子图像传感器113获得称为第一图像数据的图像数据SV1。因为子图像传感器113具有少数像素，所以图像数据SV1是具有低分辨率的低质量图像数据。

扩大处理部分120对子图像传感器113输出的图像数据SV1进行增大缩放处理，以便生成各像素的图像数据SV3，该像素的数量等于称为第三像素数的输出像素数。图像数据SV3称为第三图像数据。增大缩放处理是进行来增大像素数量的像素数增大处理。也就是说，扩大处理部分120将图像数据SV1的像素数从第一像素数改变到第三像素数。要注意，在增大缩放处理中像素数可以维持不变。如果第一像素数维持不变，则第三像素数可以等于第一像素数。图像数据SV3的帧速率等于图像数据SV1的帧速率。图像数据SV3的帧速率和图像数据SV1的帧速率是称为第一帧速率的高帧速率。扩大处理部分120是像素数转换部分的一部分。

如果图像数据SV1的像素数小于运动图像记录像素数，则扩大处理部分120根据需要进行像素数增大处理。作为像素数增大处理的结果获得的输出像素数至少等于运动图像记录像素数，但是不大于图像数据SV2的像素数。也就是说，输出像素数可以自由设置在不超过其值从主要图像传感器114读出的像素的数量的范围内的值。

缩小处理部分130对主要图像传感器114输出的图像数据SV2进行减小缩放处理，以便生成各像素的图像数据SV4，该像素的数量等于称为第三像素数的输出像素数。图像数据SV4称为第四图像数据。减小缩放处理是进行用以减小像素数量的像素数减小处理。也就是说，缩小处理部分130将图像数据SV2的像素数减小到等于第三像素数的值，该第三像素数作为扩大处理部分120进行的像素数增大处理的结果获得。如上所述，第三像素数可以是第一像素数的倍数（与第一像素数相同）。图像数据SV4的帧速率等于图像数据SV2的帧速率。图像数据SV的帧速率和图像数据SV2的帧速率是称为第二帧速率的低帧速率。缩小处理部分130也是像素数转换部分的一部分。

不同于稀疏处理部分160，缩小处理部分130在适当的带限滤波之后进行减小缩放处理，以便生成具有很少折回的图像数据。通过对子图像传感器113的输出侧进行增大缩放处理，而不对主要图像传感器114的输出侧进行减小缩放处理，来最大化图像的大小是理想的。通过以该方式最大化图像的大小，可以增强图像质量提高的效果。然而，实际上，从包括处理时间、电路大小和功耗的因素的混合，以与作为像素数增大处理的结果获得的像素数相同的方式，作为像素数减小处理的结果获得的像素数可以具有自由度地设置在至少等于运动图像记录像素数的范围内的值，而不大于其值从主要图像传感器114读出的像素的数量。

稀疏处理部分160对主要图像传感器114输出的图像数据SV2进行稀疏处理，以便生成具有等于图像数据SV1的像素数的像素数、以及具有也称为第二帧速率的低帧速率的图像数据SV6。图像数据SV6也称为第六图像数据。

对于子图像传感器113输出的图像数据SV1的每个帧，相似度计算部分170得出根据图像数据SV1的图像上的每个预定区域和根据主要图像传感器114输出的图像数据SV2的图像上的相似区域之间的相似度。也就是说，相似度计算部分170根据图像数据SV1、图像数据SV2、以及在该实施例的情况下作为稀疏处理部分160对图像数据SV2进行的稀疏处理的结果由稀疏处理部分160输出的图像数据SV6，得出相似度。

接下来，以下描述说明相似度计算部分170进行的用以计算相似度的典型处理。图2A是示出作为输入图像的根据图像数据SV1的图像的图。对于图像数据SV1的每个帧更新输入图像。另一方面，图2B是示出作为参考图像的根据图像数据SV6的图像的图。对于图像数据SV1的每多个帧更新参考图像。

图3是示出对于输入图像的图像数据SV1是60fps的数据，而参考图像的图像数据SV6是7.5fps的数据的情况，更新输入图像的定时和更新参考图像的定时的图。在该情况下，图像数据SV1的八个帧更新一次参考图像。

相似度计算部分170对于图像数据SV1的每个帧，得出根据图像数据SV1的输入图像上的每个预定区域和根据图像数据SV2的参考图像上的相似区域之间的相似度。在该实施例的情况下，代替根据图像数据SV2的参考图像上的相似区域，使用作为对图像数据SV2进行的稀疏处理的结果输出的、根据图像数据SV6的参考图像上的相似区域。当相似度计算部分170得出对于图像数据SV1的某一帧的相似度时，相似度计算部分170利用图像数据SV1的帧和作为图像数据SV6的帧的对应帧。

例如在图3所示的典型情况下，图像数据SV6的帧（1）对应于图像数据SV1的帧（1）到（8），而图像数据SV6的帧（2）对应于图像数据SV1的帧（9）到（16）。

首先，相似度计算部分170对于输入图像得出整个参考图像的运动矢量。然后，相似度计算部分170得出输入图像上的每个预定区域和参考图像上的相似区域之间的相似度。输入图像上的预定区域典型地是在水平x方向和垂直y方向安排的像素构成的矩形区域。参考图像上的相似区域是对应于输入图像上的预定区域的区域。通过利用运动矢量，可以从预定区域的位置获得相似区域的位置。要注意，图2B所示的虚线框是图2A所示的输入图像。

相似度计算部分170利用预定区域中的多个像素的数据和相似区域中的多个像素的数据，得出作为输入图像上的某一预定区域的图2C所示预定预期和作为参考图像上的相似区域的图2D所示相似区域之间的相似度。在该情况下，使用拜耳阵列中的九块绿色像素数据g1到g9，如图中所示。

首先，在预定和相似区域二者中，相似度计算部分170计算第一、第二和第三特征量。第一特征量是通过计算数据g1到数据g9的平均数得出的直流分量。第二特征量是通过进行以下表达式表示的滤波计算处理得出的水平方向高频分量（或垂直条分量）：

[-1×(g1+g4+g7)]+[+2×(g2+g5+g8)]+[-1×(g3+g6+g9)]第三特征量是通过进行以下表达式表示的滤波计算处理得出的垂直方向高频分量（或水平条分量）：

[-1×(g1+g2+g3)]+[+2×(g4+g5+g6)]+[-1×(g7+g8+g9)]

然后，相似度计算部分170得出对于预定和相似区域计算的第一特征量之间的差、对于预定和相似区域计算的第二特征量之间的差、以及对于预定和相似区域计算的第三特征量之间的差。随后，相似度计算部分170典型地通过利用如图4所示阈值规格化各差。然后，规格化之后，相似度计算部分170从规格化值减1，以便得出规格化特征量。

随后，相似度计算部分170根据以下给出的等式（1），通过合成规格化的第一、第二和第三特征量计算相似度。要注意，在等式（1）中每个符号α、β和γ指示具有在0到1范围内的值的权重系数。

相似度=α×(规格化第一特征量)+β×(规格化第二特征量)+γ×(规格化第三特征量)…（1）

返回参考图1，相似区域加权加法部分140对从扩大处理部分120获得图像数据SV3和从缩小处理部分130获得的图像数据SV4，进行加权加法处理，以便生成具有称为第三像素数的输出像素数的图像数据SV5。在该情况下，相似区域加权加法部分140根据相似度计算部分170得出的相似度，对根据图像数据SV3的图像的每个预定区域的图像数据和根据图像数据SV4的图像的相似区域的图像数据进行加权加法处理。在该加权加法处理中，相似度越高，分配给相似区域的图像数据的权重越大。

在该情况下，根据图像数据SV3的图像的预定区域和根据图像数据SV4的图像上的相似区域分别对应于在相似度计算部分170中处理的预定区域和与在相似度计算部分170中处理的预定区域相关联的相似区域。在相似度计算部分170中处理的预定区域是根据图像数据SV1的图像的预定区域。然而，在相似区域加权加法部分140中处理的每个区域是根据扩大处理部分120中使用的用以增大像素数量的扩大率、从相似度计算部分170中处理的区域扩大的区域。

选择器150选择性地输出从扩大处理部分120接收的图像数据SV3或从相似区域加权加法部分140接收的图像数据SV5。

[相机系统的操作]

接下来，如下说明图1所示相机系统100进行的操作。相机系统100能够在三种操作模式（即，监视模式、静止图像记录模式和运动图像记录模式）的任一中操作。允许用户选择三种操作模式的任一。这三种操作模式描述如下。

首先，如下说明监视模式。在该监视模式中，相机系统100的功耗以图像的劣化质量为代价降低。为了降低功耗，暂停主要图像传感器114的操作，并且由子图像传感器113以高帧速率生成的图像数据输出为监视图像数据输出。

图5是示出通过在监视模式中操作的相机系统100中包括的块进行的处理的概要的图。在该监视操作模式中，只有实线块在操作，并且停止虚线块的操作。子图像传感器113输出具有称为第一帧速率的高帧速率的图像数据SV1。图像数据SV1提供到扩大处理部分120。如果需要，扩大处理部分120进行对于图像数据SV1增大像素数的扩大处理，以便生成具有输出像素数的图像数据SV3。然后，选择器150输出图像数据SV3作为监视图像数据输出。

接下来，如下说明静止图像记录模式。在该静止图像记录模式中，图像的质量优先于帧速率。图6是示出通过在静止图像记录模式中操作的相机系统100中包括的块进行的处理的概要的图。在静止图像记录模式中，主要图像传感器114也与如图5所示的监视操作模式中操作的实线块一起操作。

子图像传感器113输出具有称为第一帧速率的高帧速率的图像数据SV1。图像数据SV1提供到扩大处理部分120。如果需要，扩大处理部分120进行对于图像数据SV1增大像素数的扩大处理，以便生成具有输出像素数的图像数据SV3。然后，选择器150输出图像数据SV3作为监视图像数据输出。此外，主要图像传感器114输出具有低帧速率的图像数据SV2。该图像数据SV2输出为静止图像数据输出。

接下来，如下说明运动图像记录模式。在该运动图像记录模式中，图像的质量和帧速率二者都重要。图7是示出通过在运动图像记录模式中操作的相机系统100中包括的块进行的处理的概要的图。在运动图像记录模式中，所有块操作。

子图像传感器113输出具有称为第一帧速率的高帧速率的图像数据SV1。图像数据SV1提供给扩大处理部分120。如果需要，扩大处理部分120进行对于图像数据SV1增大像素数的扩大处理，以便生成具有输出像素数的图像数据SV3。图像数据SV3提供到相似区域加权加法部分140。

此外，主要图像传感器114输出具有低帧速率的图像数据SV2。该图像数据SV2提供给缩小处理部分130。缩小处理部分130进行对于图像数据SV2减小像素数的缩小处理，以便生成具有输出像素数的图像数据SV4。在该情况下，缩小处理部分130在适当的带限滤波之后进行缩小处理，以便生成具有很少折回的图像数据SV4。该图像数据SV4提供给相似区域加权加法部分140。

此外，由子图像传感器113输出的图像数据SV1也提供给相似度计算部分170。除此之外，由主要图像传感器114输出的图像数据SV2还提供给稀疏处理部分160。稀疏处理部分160对图像数据SV2进行稀疏处理，以便生成具有等于图像数据SV1的像素数的像素数、以及具有称为第二帧速率的低帧速率的图像数据SV6。该图像数据SV6提供给相似度计算部分170。

基于图像数据SV1和图像数据SV6，对于图像数据SV1的每个帧，相似度计算部分170得出根据图像数据SV1的输入图像上的每个预定区域和根据图像数据SV2的参考图像上的相似区域之间的相似度。关于用于每个预定区域的相似度的信息和关于对应于预定区域相似区域的位置的信息提供给相似区域加权加法部分140。

相似区域加权加法部分140根据相似度，对根据图像数据SV3的图像上的每个预定区域的图像数据、以及根据图像数据SV4的图像上的相似区域的图像数据，进行加权加法处理，以便生成具有输出像素数的图像数据SV5。根据图像数据SV4的图像上的相似区域是对应于根据图像数据SV3的图像上的预定区域的区域。要注意，相似区域加权加法部分140基于关于相似区域的位置的信息，得出根据图像数据SV4的图像上的相似区域。如上所述，相似区域加权加法部分140与关于用于对应于相似区域的预定区域的相似度的信息一起，从相似度计算部分170接收关于相似区域的位置的信息。图像数据SV5输出为从选择器150输出的监视图像/运动图像数据。

图8是粗略示出在运动图像记录模式中对子图像传感器113输出的图像数据SV1和主要图像传感器114输出的图像数据SV2进行的处理，以便生成图像数据SV5的流程的图。

如之前说明的，当图1所示照相机系统100操作在运动图像记录模式中时，相似区域加权加法部分140生成的图像数据SV5通过选择器150输出为运动图像输出，如图7所示。如上所述，图像数据SV5是作为加权加法处理的结果获得的图像数据。根据相似度进行加权加法处理，以将具有低帧速率的图像数据（第四图像数据）SV4的相似区域的图像数据加到具有高帧速率的图像数据（第三图像数据）SV3的每个对应预定区域。

如上所述，具有高帧速率的拍摄图像数据通过选择器150输出作为运动图像输出。因此可能基于具有高帧速率的拍摄图像数据提高图像的质量。如果作为具有高帧速率的图像数据的、子图像传感器113生成的图像数据SV1是作为典型地例如稀疏处理的结果获得的、具有折回的图像数据，则可以减少伪色、锯齿现象等。此外，如果作为具有高帧速率的图像数据的、子图像传感器113生成的图像数据SV1是例如具有小像素数的图像传感器输出的图像数据，则可以提高分辨率。

此外，如之前说明的，图1所示相机系统100能够在三种操作模式（即，监视模式、静止图像记录模式和运动图像记录模式）的任一中操作。在监视模式中，只有子图像传感器113为高帧速率和差图像质量而操作。在静止图像记录模式中，子图像传感器113和主要图像传感器114进行其各自的相互独立的操作。在运动图像记录模式中，通过根据子图像传感器113和主要图像传感器114的输出之间的相似度进行叠加处理，来提高图像质量。因为可以以高自由度选择这些操作模式的任一，所以可能根据期望的图像质量、期望的帧速率和期望的功耗进行操作。例如，在监视模式和静止图像记录模式中，如图5和6示出的虚线块分别指示的，停止非必需的图像传感器和与非必需的图像传感器相关联的电路部分的操作。因此，可以降低功耗。

此外，在图1所示相机系统100中，对于图像数据SV1的每个帧，相似度计算部分170得出根据图像数据SV1的图像上的预定区域和根据图像数据SV2的图像上的相似区域之间的相似度。在该情况下，相似度计算部分170基于子图像传感器113输出的图像数据SV1和稀疏处理部分160生成的图像数据SV6得出相似度。图像数据SV6是作为对图像数据SV2进行稀疏处理的结果获得的图像数据，作为具有等于图像数据SV1的像素数的像素数的图像数据。因此，与其中在处理中直接使用图像数据SV2得出相似度的配置相比，可以容易地得出相似度，因为预定区域的大小等于对应于预定区域的相似区域的大小（参考图2和4）。

<2.修改版本>

要注意，在上述实施例中，主要图像传感器114输出的图像数据SV2的帧速率典型地是7.5fps。然而，用于主要图像传感器114的帧速率可以以高自由度改变。随着帧速率改变，在短照明时间和/或几乎不移动的成像对象的情况下，用于主要图像传感器114的帧速率（和快门速度）可以进一步的减小，以便通过利用包括更少噪声的参考图像作为基准，来提高图像质量。

图9是对应于图3的图。详细地说，图9是示出对于图像数据SV1是具有60fps的帧速率的数据，而图像数据SV6是具有3.75fps的帧速率的数据的情况，更新输入图像的定时和更新参考图像的定时的图。在该情况下，参考图像16帧更新一次。而且在该情况下，图像数据SV6的帧（1）对应于图像数据SV1的帧（1）到（16）。

此外，在上述实施例中，子图像传感器113和主要图像传感器114共享用于在子图像传感器113的成像表面和主要图像传感器114的成像表面上创建成像对象的图像的成像透镜111。也就是说，子图像传感器113的光学系统与主要图像传感器114的光学系统相同。然而，本技术也可以应用于另一相机系统，其中独立于专门为主要图像传感器114提供的、作为用于在主要图像传感器114的成像表面上创建成像对象的图像的透镜的成像透镜，专门为子图像传感器113提供另一成像透镜，以作为用于在子图像传感器113的成像表面上创建成像对象的图像的透镜。也就是说，在这样的另一相机系统中，子图像传感器113的光学系统不同于主要图像传感器114的光学系统。

图10是示出上述另一相机系统100A典型配置的框图。在图10中，与图1示出的其各自的对应物相同的部分以相同的符号表示为对应物，并且从以下描述中省略相同部分的详细说明。如图10所示，相机系统100A包括子图像传感器113、主要图像传感器114、为子图像传感器113提供的成像透镜111s和为主要图像传感器114提供的成像透镜111m。源自成像对象并由成像透镜111s捕获的光提供到子图像传感器113，并且在子图像传感器113的成像表面上创建成像对象的图像。以相同的方式，源自成像对象并由成像透镜111m捕获的光提供到主要图像传感器114，并且在主要图像传感器114的成像表面上创建成像对象的图像。以与图1所示相机系统100相同的方式配置相机系统100A中采用的其他部分的每个。

此外，本技术还可以实现为如下描述的实现：

1.一种成像装置，包括：

第一图像传感器，配置为输出具有第一像素数的第一图像数据；

第二图像传感器，配置为输出具有大于第一像素数的第二像素数的第二图像数据；

像素数转换部分，配置为基于第一图像传感器输出的第一图像数据生成具有第三像素数的第三图像数据，并且基于第二图像传感器输出的第二图像数据生成具有等于第三像素数的像素数的第四图像数据；

相似度计算部分，配置为基于第一图像数据和第二图像数据，得出根据第一图像数据的图像和根据第二图像数据的图像之间的相似度；以及

加权加法部分，配置为根据相似度计算部分得出的相似度，通过进行将像素数转换部分生成的第四图像数据的相似区域的图像数据加到像素数转换部分生成的第三图像数据的加权加法运算，生成第五图像数据。

2.根据实现1的成像装置，该成像装置能够操作在第一操作模式和第二操作模式中，其中：

在第一操作模式中，输出第二图像传感器生成的第二图像数据；以及

在第二操作模式中，输出加权加法部分生成的第五图像数据。

3.根据实现1或2的成像装置，该成像装置还具有稀疏处理部分，配置为基于第二图像传感器输出的第二图像数据生成具有等于第一像素数的像素数的第六图像数据，其中，基于第一图像传感器输出的第一图像数据和稀疏处理部分生成的第六图像数据，相似度计算部分对于第一图像数据的每个帧，得出对根据第一图像数据的图像的每个预定区域的、根据第二图像数据的图像的相似度。

4.根据实现3的成像装置，其中，

相似度计算部分：

基于第一图像数据和第六图像数据得出整个图像的运动矢量；

基于该运动矢量，得出第六图像数据的相似区域的图像数据，作为对应于第一图像数据的每个预定区域的图像数据的图像数据；以及

基于第一图像数据的预定区域的图像数据和第六图像数据的相似区域的对应图像数据，对于第一图像数据的每一帧，得出根据第一图像数据的图像的每个预定区域和根据第二图像数据的图像的相似区域之间的相似度。

5.根据实现1到4的任一的成像装置，其中第一和第二图像传感器共享相同的光学系统。

6.一种成像方法，包括：

像素数转换步骤，基于作为具有第一像素数的第一图像数据的、第一图像传感器输出的第一图像数据，生成具有第三像素数的第三图像数据，并且基于作为具有大于第一像素数的第二像素数的第二图像数据的、第二图像传感器输出的第二图像数据，生成具有等于第三像素数的像素数的第四图像数据；

相似度计算步骤，基于第一图像数据和第二图像数据，得出根据第一图像数据的图像和根据第二图像数据的图像之间的相似度；以及

加权加法步骤，根据在相似度计算步骤得出的相似度，通过进行加权加法运算生成第五图像数据，所述加权加法运算将在像素数转换步骤生成的第四图像数据的相似区域的图像数据加到在像素数转换步骤生成的第三图像数据。

7.一种图像处理装置，包括：

像素数转换部分，配置为基于具有第一像素数的第一图像数据生成具有第三像素数的第三图像数据，并且基于具有大于第一像素数的第二像素数的第二图像数据生成具有等于第三像素数的像素数的第四图像数据；

相似度计算部分，配置为基于第一图像数据和第二图像数据，得出根据第一图像数据的图像和根据第二图像数据的图像之间的相似度；以及

加权加法部分，配置为根据相似度计算部分得出的相似度，通过进行加权加法运算生成第五图像数据，所述加权加法运算将像素数转换部分生成的第四图像数据的相似区域的图像数据加到像素数转换部分生成的第三图像数据。

本技术包含涉及于2011年6月2日向日本专利局提交的日本优先权专利申请JP 2011-124055中公开的主题，在此通过引用并入其全部内容。

虽然已经使用特定术语描述了公开技术的优选实施例，但是这样的描述仅用于说明的目的，并且要理解可以不背离权利要求的精神和范围作出变化和变更。

Claims (7)

1.一种成像装置，包括：

第一图像传感器，配置为输出具有第一像素数的第一图像数据；

第二图像传感器，配置为输出具有大于所述第一像素数的第二像素数的第二图像数据；

像素数转换部分，配置为基于所述第一图像传感器输出的所述第一图像数据生成具有第三像素数的第三图像数据，并且基于所述第二图像传感器输出的所述第二图像数据生成具有等于所述第三像素数的像素数的第四图像数据；

相似度计算部分，配置为基于所述第一图像数据和所述第二图像数据，得出根据所述第一图像数据的图像和根据所述第二图像数据的图像之间的相似度；以及

加权加法部分，配置为根据所述相似度计算部分得出的所述相似度，通过进行将所述像素数转换部分生成的所述第四图像数据的相似区域的图像数据加到所述像素数转换部分生成的所述第三图像数据的加权加法运算，生成第五图像数据。

2.根据权利要求1的成像装置，其中所述成像装置能够操作在第一操作模式和第二操作模式中，其中：

在所述第一操作模式中，输出所述第二图像传感器生成的所述第二图像数据；以及

在所述第二操作模式中，输出所述加权加法部分生成的所述第五图像数据。

3.根据权利要求1的成像装置，还包括：

稀疏处理部分，配置为基于所述第二图像传感器输出的所述第二图像数据，生成具有等于所述第一像素数的像素数的第六图像数据，其中，

基于所述第一图像传感器输出的所述第一图像数据和所述稀疏处理部分生成的所述第六图像数据，所述相似度计算部分对于所述第一图像数据的每个帧，得出对根据所述第一图像数据的图像的每个预定区域的、根据所述第二图像数据的图像的相似度。

4.根据权利要求3的成像装置，其中所述相似度计算部分：

基于所述第一图像数据和所述第六图像数据得出整个图像的运动矢量；

基于所述运动矢量，得出所述第六图像数据的相似区域的图像数据，作为对应于所述第一图像数据的每个预定区域的图像数据的图像数据；以及

基于所述第一图像数据的所述预定区域的所述图像数据和所述第六图像数据的所述相似区域的所述对应图像数据，对于所述第一图像数据的每一帧，得出根据所述第一图像数据的图像的每个预定区域和根据所述第二图像数据的图像的相似区域之间的相似度。

5.根据权利要求1的成像装置，其中所述第一和第二图像传感器共享相同的光学系统。

6.一种成像方法，包括：

像素数转换步骤，基于作为具有第一像素数的第一图像数据的、第一图像传感器输出的第一图像数据，生成具有第三像素数的第三图像数据，并且基于作为具有大于所述第一像素数的第二像素数的第二图像数据的、第二图像传感器输出的第二图像数据，生成具有等于所述第三像素数的像素数的第四图像数据；

相似度计算步骤，基于所述第一图像数据和所述第二图像数据，得出根据所述第一图像数据的图像和根据所述第二图像数据的图像之间的相似度；以及

加权加法步骤，根据在所述相似度计算步骤得出的所述相似度，通过进行加权加法运算生成第五图像数据，所述加权加法运算将在所述像素数转换步骤生成的所述第四图像数据的相似区域的图像数据加到在所述像素数转换步骤生成的所述第三图像数据。

7.一种图像处理装置，包括：

像素数转换部分，配置为基于具有第一像素数的第一图像数据生成具有第三像素数的第三图像数据，并且基于具有大于所述第一像素数的第二像素数的第二图像数据生成具有等于所述第三像素数的像素数的第四图像数据；

相似度计算部分，配置为基于所述第一图像数据和所述第二图像数据，得出根据所述第一图像数据的图像和根据所述第二图像数据的图像之间的相似度；以及

加权加法部分，配置为根据所述相似度计算部分得出的所述相似度，通过进行加权加法运算生成第五图像数据，所述加权加法运算将所述像素数转换部分生成的所述第四图像数据的相似区域的图像数据加到所述像素数转换部分生成的所述第三图像数据。

Images