CN102572235A - 成像装置、图像处理方法和计算机程序 - Google Patents

Abstract

本发明涉及成像装置、成像处理方法以及计算机程序。一种成像装置包括：第一成像单元，在成像元件上不包括相差检测像素；第二成像单元，在成像元件上包括相差检测像素；像素比较单元，把由第一成像单元获得的第一获得图像与由第二成像单元获得的第二获得图像进行比较；校正单元，基于图像比较单元的比较结果校正由第二成像单元获得的相差信息；相差应用单元，把由校正单元校正的相差信息应用于第一获得图像；记录单元，记录图像信息。

Description

成像装置、图像处理方法和计算机程序

背景技术

本发明涉及一种具有多个成像元件的成像装置、图像处理方法和计算机程序，具体地讲，涉及一种关联由成像元件获得的捕捉图像的成像装置、图像处理方法和计算机程序。

替代于使用胶卷或照相底片捕捉图像的银盐照相机，已广泛使用以数字方式对由固态成像元件(诸如，CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)等)构成的图像传感器所捕捉的图像进行编码的数字照相机。数字照相机具有这样的优点：可以把以数字方式编码的图像存储在存储器上并由计算机在其上执行图像处理和图像管理，并且不用担心胶卷的使用期限。

一些成像元件具有检测相差信息的功能。可以基于从特定光电转换单元(光电二极管)输出的一对图像信号中的相差来检测成像透镜的聚焦状态。

虽然在许多情况下对成像不熟练的人由于不熟悉操作而剧烈地移动照相机(例如，强烈的手抖动)，但许多数字照相机具有图像稳定功能。图像稳定功能包括通过图像传感器上的图像处理实现校正的电子图像稳定和利用光学透镜实现校正的机械图像稳定。

电子图像稳定是这样的校正方法：根据图像稳定的量移动从能够捕捉的最大像素区域作为捕捉图像提取的有效像素区域。根据电子图像稳定，虽然不必安装特殊机构，但存在这样的缺点：成像元件的光接收区域未被有效使用。

另一方面，通过把使用陀螺传感器或加速度传感器测量的手抖动向量的反馈发送给机械系统并执行高速控制以免在投影到图像传感器的图像中产生抖动，能够实现机械图像稳定功能。作为本文描述的机械系统，举例说明透镜、棱镜和成像器(或者与成像器集成的模块)并且它们分别称为“透镜移位”、“棱镜移位”和“成像器移位”。根据基于透镜移位方案的图像稳定，必须嵌入驱动特定透镜的特殊机构，成本变得更高，因为由于增加的尺寸而难以设计照相机透镜。另一方面，根据基于成像器移位方案的图像稳定，可以利用能够安装在照相机主体上的所有照相机透镜执行图像稳定，并且不必设计特殊照相机透镜。

近来，许多数字照相机具有多个图像捕捉单元。例如，已提出了这样的照相机装置：具有分路单元，该分路单元把光路分成多个光路，多个成像元件布置在每个光路的图像形成位置；构造为通过区分成像元件的成像尺寸从每个成像元件输出具有不同图像角度大小的图像的视频信号；能够独立地获得具有多个图像角度的图像的视频信号(例如，参见日本未审专利申请公开No.2003-304115)。

另外，已提出了这样的成像装置，该成像装置具有：副成像元件，捕捉辅助捕捉图像(诸如，将要在取景器窗口上作为实时取景显示的对象图像)；以及主成像元件，捕捉主捕捉图像(例如，参见日本未审专利申请公开No.2010-224112)。当捕捉图像时，用户能够在观看辅助捕捉图像的同时检查成帧(framing)等。

希望通过关联由每个成像单元获得的捕捉图像为具有多个成像单元的数字照相机提供新的应用。

主成像元件具有用于捕捉静止图像的高像素，而副成像元件具有低像素，因为捕捉辅助图像主要是为了实时取景(即，移动图像)。也就是说，难以关联这两种捕捉图像，因为屏幕尺寸、像素数量和像素间距在每个成像元件中是不同的。另外，由于两种成像元件的像素数量的差异所导致的不同帧速，图像捕捉定时并不完全一致。因此，如果在捕捉图像时捕捉图像的人的手抖动快于获得图像的定时，则在一些情况下变得难以在捕捉图像之间采取行动。

另外，能够布置前述图像稳定机械系统的照相机主体中的空间有限，基于成像器移位方案的图像稳定机构通常仅安装在主成像元件侧。如果仅对成像元件的一侧执行图像稳定，则进一步变得难以在捕捉图像之间进行关联。另外，由于校正误差、成像元件的位移量的计算误差和位移误差，即使在两种成像元件中都安装图像稳定机构，也难以在捕捉图像之间进行关联。

发明内容

希望提供一种能够优选地在像素级别关联并存储由多个成像元件中的每个成像元件获得的捕捉图像的极好的成像装置、图像处理方法和计算机程序。

还希望提供一种能够解决由图像尺寸、像素数量、像素间距的差异、每个成像元件的图像捕捉定时不一致、图像稳定仅应用于成像元件的一部分等导致的捕捉图像之间的偏差并且优选地在像素级别关联并记录每个捕捉图像的极好的成像装置、图像处理方法和计算机程序。

根据本发明的第一实施例，提供了一种成像装置，包括：第一成像单元，在成像元件上不包括相差检测像素；第二成像单元，在成像元件上包括相差检测像素；图像比较单元，把由第一成像单元获得的第一获得图像与由第二成像单元获得的第二获得图像进行比较；校正单元，基于图像比较单元的比较结果校正由第二成像单元获得的相差信息；相差应用单元，把由校正单元校正后的相差信息应用于第一获得图像；记录单元，记录图像信息。

根据本发明的第二实施例，根据第一实施例的成像装置的所述记录单元可一起记录相差信息和图像信息。

根据本发明的第三实施例，根据第一实施例的成像装置的所述第一成像单元可具有手抖动校正功能而第二成像单元不具有手抖动校正功能。另外，所述图像比较单元检测已校正了手抖动的第一获得图像和未校正手抖动的第二获得图像之间的偏差。

根据本发明的第四实施例，根据第一实施例的成像装置的所述第二成像单元可具有手抖动校正功能而第一成像单元不具有手抖动校正功能。另外，所述图像比较单元检测已校正了手抖动的第二获得图像和未校正手抖动的第一获得图像之间的偏差。

根据本发明的第五实施例，根据第一实施例的成像装置的所述第一成像单元和第二成像单元可都具有手抖动校正功能。另外，所述图像比较单元检测由手抖动校正中的校正误差导致的第一获得图像和第二获得图像之间的偏差。

根据本发明的第六实施例，根据第五实施例的成像装置可基于成像器移位方案安装手抖动校正功能。另外，所述图像比较单元检测在由第一成像单元和第二成像单元进行手抖动校正时由成像元件的位移量的计算误差或位移误差导致的第一获得图像和第二获得图像之间的偏差。

根据本发明的第七实施例，根据第五实施例的成像装置的所述图像比较单元可检测由第一成像单元和第二成像单元的成像元件的尺寸、像素数量或像素间距导致的图像之间的偏差。

根据本发明的第八实施例，根据第一实施例的成像装置的所述图像比较单元可检测由第一成像单元和第二成像单元中的成像元件的获得定时的差异导致的第一获得图像和第二获得图像之间的偏差。

根据本发明的第九实施例，提供了一种图像处理方法，包括：把由在成像元件上不包括相差检测像素的第一成像单元获得的第一获得图像与由在成像元件上包括相差检测像素的第二成像单元获得的第二获得图像进行比较；基于图像比较的比较结果校正由第二成像单元获得的相差信息；把在所述校正中校正的相差信息应用于第一获得图像。

根据本发明的第十实施例，提供了一种计算机可读计算机程序，该计算机程序使计算机执行以下处理：把由在成像元件上不包括相差检测像素的第一成像单元获得的第一获得图像与由在成像元件上包括相差检测像素的第二成像单元获得的第二获得图像进行比较；基于图像比较的比较结果校正由第二成像单元获得的相差信息；把在所述校正中校正的相差信息应用于第一获得图像。

在根据本发明第十实施例的计算机程序中，定义所述计算机可读计算机程序以在计算机中实现预定处理。换句话说，通过在计算机中安装根据本发明第十实施例的计算机程序，在计算机中实现协同操作，能够获得与根据本发明第一实施例的成像装置相同的效果。

根据本发明，可以提供这样一种极好的成像装置、图像处理方法和计算机程序：通过消除由每个成像元件的屏幕尺寸、像素数量和像素间距的差异、图像捕捉定时的不一致、手抖动校正仅应用于成像元件的一部分等导致的捕捉图像之间的偏差，能够优选地在像素级别关联并记录由多个成像元件获得的捕捉图像。

根据本发明，可以提供这样一种极好的成像装置、图像处理方法和计算机程序：通过消除由每个成像元件的屏幕尺寸、像素数量和像素间距的差异、图像捕捉定时的不一致、手抖动校正仅应用于成像元件的一部分等导致的捕捉图像之间的偏差，能够优选地在像素级别关联并记录来自具有手抖动校正功能的成像元件的捕捉图像与来自不具有手抖动校正功能但具有相差检测像素的成像元件的捕捉图像。

根据本发明，通过以下操作可以没有任何偏差地把由具有相差检测像素的成像元件获得的相位信息应用于另一捕捉图像：参考来自没有相差检测像素的成像元件和具有相差检测像素的成像元件中的任何一个成像元件的捕捉图像，检测来自另一成像元件的捕捉图像在何种程度上偏离将要参考的捕捉图像，并基于检测结果执行捕捉图像的位置校正。

根据本发明，通过以下操作可以没有任何偏差地把由具有相差检测像素的成像元件获得的相位信息应用于另一捕捉图像：参考来自已执行基于成像器移位方案的手抖动校正的成像元件的捕捉图像，检测来自具有相差检测像素的成像元件的捕捉图像在何种程度上偏离将要参考的捕捉图像，并基于检测结果执行捕捉图像的位置校正。

通过基于本发明的实施例和附图的更详细的描述，本发明的其它目的、特征和优点将会变得清楚。

附图说明

图1是显示根据实施例的成像装置的结构的示图；

图2是显示副成像元件的成像平面的结构的示图；

图3是显示相差检测区域的结构的示图；

图4是一对相差检测像素的纵向截面图；

图5是示意性地显示实现成像元件的捕捉图像被关联并记录的视频信号处理的功能结构的示图；

图6是显示成像元件的捕捉图像被关联并记录的处理的过程的流程图；

图7是显示图6中显示的流程图中的步骤S804中执行的静止图像数据获得处理的详细过程的流程图；

图8是显示由主成像元件获得的主捕捉图像(视频信号B)的例子的示图；

图9是显示与图8中显示的主捕捉图像对应的由副成像元件获得的辅助捕捉图像(视频信号A)的示图；

图10是显示在图9中显示的辅助捕捉图像中检测聚焦位置的状态的示图；

图11是显示对图9中显示的辅助捕捉图像执行的边缘检测的结果的示图；

图12是显示叠加在辅助捕捉图像上的距离测量数据的示图；

图13是显示校正距离信息的状态的示图。

具体实施方式

以下，将参照附图详细描述本发明的实施例。

图1显示根据本发明实施例的成像装置100的结构。成像装置100具有：总体控制单元101、镜机构105、快门121、主成像元件102、副成像元件103、信号处理单元111、A/D转换电路112、数字信号处理单元113、图像存储器114、操作单元119、定时控制单元106、快门控制单元107、镜控制单元108、聚焦控制单元109、光阑控制单元110、闪光灯控制单元116、闪光灯120、模糊检测传感器115、模糊校正单元104、监视器117、通信接口122等。

操作单元119由包括释放按钮(未示出)的各种按钮和开关构成。总体控制单元101响应于由捕捉图像的人在操作单元上执行的输入操作执行各种操作。

通信接口122实现用于连接到网络的接口协议(诸如，传输控制协议/互联网协议(TCP/IP))，并能够执行向外部主机(诸如，服务器)的数据传输(诸如，图像)。

总体控制单元101是具有CPU(中央处理单元)、RAM(随机存取存储器)、ROM(只读存储器)等的微型计算机。总体控制单元101通过加载存储在ROM上的程序并由CPU执行该程序实现多种功能。例如，总体控制单元101基于由副成像元件103获得的相差检测信号(稍后将对此进行描述)与聚焦控制单元109等协作，并执行聚焦控制操作，通过该聚焦控制操作控制聚焦透镜131的位置。

通过基于来自总体控制单元101的输入信号产生控制信号并驱动电机M1，聚焦控制单元109在光轴上移动成像透镜单元130的透镜组中所包括的聚焦透镜131的位置。另外，聚焦透镜的位置由透镜位置检测单元134检测并被发送给总体控制单元101作为聚焦透镜的位置数据。

通过基于来自总体控制单元101的输入信号产生控制信号并驱动电机M2，镜控制单元108控制镜机构105退出光路的镜升起状态和光路被阻挡的镜放下状态之间的切换。

通过基于来自总体控制单元101的输入信号产生控制信号并驱动电机M3，快门控制单元107控制快门121的打开和关闭。

通过基于来自总体控制单元101的输入信号产生控制信号并驱动电机M4，光阑驱动控制单元110控制布置在成像透镜单元130中的光阑132的光阑直径。

通过基于来自总体控制单元101的输入信号产生控制信号，定时控制单元106执行主成像元件102和副成像元件103的定时控制。

镜机构105是半反射镜并布置在由成像透镜单元130中的透镜组131形成的光路上以把光路分成两个光路。也就是说，透射通过半反射镜的光在主成像元件102上形成光学图像，而由半反射镜反射的光在副成像元件103上形成光学图像。

模糊检测传感器115检测由于手抖动等给成像装置100带来的模糊。基于水平方向由x轴(俯仰方向)代表并且垂直于x轴的方向由y轴(偏航方向)代表的二维坐标系统的假设，模糊检测传感器115具有在俯仰方向上检测模糊的俯仰方向传感器和在偏航方向上检测照相机抖动的偏航方向传感器。俯仰方向传感器和偏航方向传感器(这两个传感器都未示出)是用于在各自的方向上检测模糊的角速度的陀螺传感器(角速度传感器)。基于成像器移位方案，由模糊检测传感器115检测的模糊的量用于图像稳定，稍后将对此进行描述。

闪光灯120是在对象的亮度不足时使用的光源，闪光灯控制单元116和总体控制单元101等控制是否打开闪光灯120、闪光灯120打开多长时间等等。

成像元件102是由固态成像元件(诸如，CCD、CMOS等)构成的图像传感器，响应于从定时控制单元106输入的驱动控制信号(积累开始信号和积累完成信号)使经透镜组131在光接收表面上形成的对象光图像曝光，并产生与主捕捉图像相关的图像信号(用于记录的图像信号)。主捕捉图像可以是静止图像和移动图像中的任何一种。与第二成像单元104相比，主成像元件102能够获得具有更大屏幕尺寸和大量像素的图像。主成像元件102响应于来自定时控制单元106的读取控制信号把图像信号输出给信号处理单元111。另外，把定时信号(同步信号)从定时控制单元106输入到信号处理单元111和A/D(模拟/数字)转换电路112。

主成像元件102由模糊校正单元104支持以便能够在垂直于成像透镜单元130的光轴的平面上以二维方式移动。具体地讲，可以由布置在模糊校正单元104中的偏航方向致动器和俯仰方向致动器(这两种致动器都未示出)在平行于Y轴的方向和平行于X轴的方向上改变主成像元件102的位置。另外，总体控制单元101在图像稳定模式中基于来自前述模糊检测传感器115的模糊检测信号计算模糊方向和模糊量。基于计算的方向和模糊量产生模糊校正控制信号并把该模糊校正控制信号输出到模糊校正单元104，主成像元件102移向能够抵消手抖动的方向。

信号处理单元111对由主成像元件102获得的图像信号进行模拟信号处理，由A/D转换电路112转换成数字图像数据，然后输入到数字信号处理单元113。数字信号处理单元113对图像数据执行用于图像创建的数字信号处理(诸如，黑色电平校正、白平衡(WB)调整、γ校正等)，并且图像数据暂时存储在图像存储器114上。图像存储器114提供快速访问并包括能够存储与多个帧对应的图像数据的容量。

暂时存储在图像存储器114上的主捕捉图像数据适当地由总体控制单元101进行图像处理(诸如，压缩等)，然后存储在存储卡118中。另外，暂时存储在图像存储器114上的图像数据适当地由总体控制单元101显示在监视器117的屏幕上。通过这样操作，用户(诸如，捕捉图像的人)能够再现用于确认捕捉图像和多个捕捉图像的确认显示(取景后)。

另一方面，副成像元件103是由固态成像元件(诸如，CCD、CMOS等)构成的图像传感器，并用作主要在主捕捉图像之前为实时取景(针对电子取景器)获得与对象相关的图像(即，辅助捕捉图像)的成像元件。因此，与主成像元件102相比，副成像元件103能够以更高速度读取具有更小屏幕尺寸和少量像素的图像。另外，在成像装置100的电源输入的同时，副成像元件103恒定地以每秒60个图像的周期(即，以60fps)获得图像数据。由副成像元件103获得的辅助捕捉图像被输出到监视器117(诸如，液晶面板、EVF(电子取景器)等)的屏幕，并且捕捉图像的人能够使用辅助捕捉图像以检查成帧。

另外，副成像元件103具有光电转换单元，该光电转换单元输出用于相差检测的距离测量信号。当由主成像元件102获得主捕捉图像时，可以通过使用这种距离测量信号检测成像透镜的聚焦状态自动执行聚焦。另一方面，距离测量数据也能够用于使用距离测量数据的应用。距离测量数据可连同主捕捉图像一起存储在图像存储器114或者存储卡118上。

由副成像元件103获得的图像信号也由信号处理单元111进行模拟信号处理，由A/D转换电路112转换成数字图像数据，然后输入到数字信号处理单元113。数字信号处理单元113对图像数据执行用于图像创建的数字信号处理(诸如，黑色电平校正、白平衡(WB)调整、γ校正等)，并且图像数据暂时存储在图像存储器114上。

由副成像元件103获得并存储在图像存储器114上的时间顺序图像数据由总体控制单元101显示在监视器117的屏幕上。通过这样操作，实现用于检查成帧的在移动图像状态下的显示(实时取景显示)。

另外，根据这个实施例，模糊校正单元未安装在副成像元件103中。可以设计模糊校正单元是否安装在多个成像元件中的任何一个成像元件中。在这个实施例中，模糊校正单元104仅安装在主成像元件102中，因为能够布置机构系统的成像装置100的空间有限。

如上所述，副成像元件103具有光电转换单元，该光电转换单元输出用于相差检测的距离测量信号。例如，已转让给本申请的申请人的日本未审专利申请公开No.2009-192605公开了一种光电转换单元并描述了用于相差检测的成像元件。

这里，将参照图2和3描述副成像元件103的结构。

图2显示副成像元件103的成像平面102f的结构。如图中所示，副成像元件103包括成像平面102f中以矩阵形状定义的相差检测区域Ef并且能够在每个相差检测区域Ef中基于相差检测方案执行聚焦检测。

图3显示相差检测区域Ef的结构。如图中所示，在相差检测区域Ef中提供了：普通像素(以下，称为“普通像素”或“成像像素”)310，包括R像素311、G像素312和B像素313，在这些像素的每个像素中，R(红)、G(绿)和B(蓝)中的每种滤色器布置在光电二极管上；和用于相差AF的像素(以下，称为“相差检测像素”)301f。

在相差检测区域Ef中，形成作为普通像素的水平线的Gr线L1(在每个Gr线L1中，G像素312和R像素311在水平方向上交替布置)和Gb线L2(在每个Gb线L2中，B像素313和G像素312在水平方向上交替布置)。通过在垂直方向上交替布置Gr线L1和Gb线L2，构成拜耳(Bayer)排列。

另外，例如针对每6个普通像素的水平线在水平方向上布置相差检测像素301f的相差检测线Lf形成于相差检测区域Ef中。另外，在相差检测区域Ef中提供例如大约20个相差检测线Lf。

图4显示一对相差检测像素的纵向截面图。该相差检测线Lf包括通过图像捕捉光学系统的出射光瞳EY的光瞳分割接收对象光的多对相差检测像素301a和301b。如图4中所示，从图像捕捉光学系统中的出射光瞳EY的右侧(以下，称为“右部分光瞳区域”或者简单称为“右光瞳区域”)Qa接收光通量Ta并且从左侧(以下，称为“左部分光瞳区域”或者简单称为“左光瞳区域”)Qb接收光通量Tb的一对相差检测像素301a和301b在水平方向上布置在相差检测线Lf中。另外，在附图中，+X方向表示为右侧，而-X方向表示为左侧。

一对相差检测像素301a和301b之中的一个相差检测像素(以下，称为“第一相差检测像素”)301a具有：微透镜ML，收集到达第一相差检测像素301a的入射光；第一光屏蔽板AS1，具有狭缝形状(矩形)第一开口OP1；第二光屏蔽板AS2，位于第一光屏蔽板AS1下方并包括狭缝形状(矩形)第二开口OP2；和光电转换单元PD。

另外，第一相差检测像素301a中的第一开口OP1布置在相对于作为基准(开始点)的穿过光接收元件PD的中心并平行于光轴LT的中心轴CL偏向于特定方向(这里，光方向(+X方向))的位置。另外，第一相差检测像素301a中的第二开口OP2布置在相对于作为基准的中心轴CL偏向于与所述特定方向相反的方向(这里，称为“与所述特定方向相反的方向”)的位置。

另外，一对相差检测像素301a和301b之中的另一个相差检测像素(以下，称为“第二相差检测像素”)301b具有：第一光屏蔽板AS1，具有狭缝形状第一开口OP1；和第二光屏蔽板AS2，位于第一光屏蔽板AS1下方并包括狭缝形状第二开口OP2。此外，第二相差检测像素301b中的第一开口OP1布置在相对于作为基准的中心轴CL偏向于与所述特定方向相反的方向的位置。另外，第二相差检测像素301b中的第二开口OP2布置在相对于作为基准的中心轴CL偏向于所述特定方向的位置。

也就是说，布置第一开口OP1以使其在一对相差检测像素301a和301b中偏向于互相不同的方向。另外，布置第二开口OP2以使其相对于相差检测像素301a和301b中对应的第一开口OP1沿不同方向偏离。

具有以上结构的一对相差检测像素301a和301b针对穿过出射光瞳EY中的不同区域(部分)的对象光获得距离测量信号。具体地讲，已穿过出射光瞳EY的右光瞳区域Qa的光通量Ta穿过微透镜ML和第一光屏蔽板AS1中的第一开口OP1，由第二光屏蔽板AS2进一步约束(限制)，并由第一相差检测像素301a的光接收元件PD接收。然后，与右光瞳区域Qa中的光通量Ta相关的距离测量信号由第一相差检测像素301a获得。另外，已穿过出射光瞳EY的左光瞳区域Qb的光通量Tb穿过微透镜ML和第一光屏蔽板AS1中的第一开口OP1，由第二光屏蔽板AS2进一步约束，然后由第二相差检测像素301b的光接收元件PD接收。然后，与左光瞳区域Qb中的光通量Tb相关的距离测量信号由第二相差检测像素301b获得。

如上所述，一对相差检测像素301a和301b中的每个光接收元件PD接收穿过图像捕捉光学系统的出射光瞳EY中的右部分Qa和左部分Qb(一对部分光瞳区域)的对象光的光通量Ta和Tb中的每一个，并且由光接收元件PD产生与接收的光通量Ta和Tb一致的距离测量信号。

然而，本发明的主旨不必局限于距离测量单元的以上结构，只要可以在图像信号的同时获得距离测量信号，副成像元件103可具有另外的结构。

根据这个实施例的成像装置100能够从副成像元件103获得每个像素的距离测量数据。通过把这种距离测量数据与从主成像元件102获得的静止图像或移动图像的主捕捉图像一起记录，可以使用利用捕捉图像的测量距离值的应用。当然，从副成像元件103获得的距离测量数据能够在由主成像元件102捕捉图像时用于自动聚焦。

可以连同来自副成像元件103的图像信号一起获得每个像素的相差信息。如果从主成像元件102获得的主捕捉图像与从副成像元件103获得的辅助捕捉图像关联并且相差信息与主捕捉图像一起记录，则可以获得主捕捉图像中所包括的每个对象的相差信息并且期望使用相差信息开发多种应用。

然而，由成像元件102和103获得的捕捉图像之间的偏差变为问题。当利用由副成像元件103获得的距离信息执行自动聚焦时，例如，不需要在两种捕捉图像在像素级别彼此一致的程度上的准确性。另一方面，在使用每个对象的相差信息的应用的情况下，存在这样的问题：由于捕捉图像之间的偏差量导致错误的相差信息应用于对象并且难以实现应用的原始效果。

这里，将检查在主成像元件102和副成像元件103的捕捉图像之间发生偏差的原因。

已经描述了这样的结构：在该结构中，与主成像元件102相比，副成像元件以更高的帧速读取具有小屏幕尺寸和少量像素的图像。因此，在主成像元件102和副成像元件103之间，获得图像的定时不同。因此，由于在成像时捕捉图像的人的手抖动的速度快于获得图像的定时，所以在捕捉图像之间发生偏差。

图1中显示的成像装置100仅在主成像元件102中安装模糊校正单元104。由于仅对在捕捉图像的人的手抖动的情况下捕捉的主捕捉图像执行图像稳定，所以在两种捕捉图像之间发生偏差。

如上所述，当由主成像元件102获得的在捕捉时存在捕捉图像的人的手抖动的情况下捕捉的主捕捉图像与由副成像元件103获得的辅助捕捉图像关联并且相差信息与主捕捉图像一起记录时，相差信息应用于主捕捉图像，同时由于手抖动的量导致偏差。

另一方面，能够考虑另一方法：电子图像稳定应用于副成像元件103。模糊校正单元14可利用由模糊检测传感器115检测的校正量移动主成像元件102，并且该校正量的反馈被发送给副成像元件103以校正有效像素区域的切割位置。然而，由于图像获得定时在主成像元件102和副成像元件103之间不同，所以当在捕捉图像时捕捉图像的人的手抖动的速度快于图像获得定时时，即使执行图像稳定，也会在两种捕捉图像之间发生偏差。另外，由于主成像元件102和副成像元件103之间的屏幕尺寸和像素数量的差异的影响导致产生舍入误差，难以消除两种捕捉图像之间的偏差。

即使与图1中显示的结构不同而在主成像元件102和副成像元件103中都安装模糊校正单元并且对两种捕捉图像都执行图像稳定，由于成像元件的屏幕尺寸和像素数量的差异的影响也发生校正量的舍入误差和由模糊校正单元执行的成像元件的位移的量的误差，难以消除两种捕捉图像之间的偏差。由于图像获得定时在主成像元件102和副成像元件103之间不同，所以当在捕捉图像时捕捉图像的人的手抖动的速度快于图像获得定时时，即使执行图像稳定也会在两种捕捉图像之间发生偏差。

因此，在这个实施例中，把由主成像元件102获得的主捕捉图像与由副成像元件103获得的辅助捕捉图像进行比较，检测图像的偏差，还通过校正图像的偏差校正相差信息的排列的偏差，然后关联主图像与相差信息。通过这样操作，可以在像素级别把准确的相差信息应用于主捕捉图像并存储主捕捉图像。可以从成像装置100获得准确的相差信息(即，距离信息)嵌入在每个像素中的捕捉图像并把这种具有距离信息的捕捉图像用于多种应用。

例如，关联并记录成像元件102和103的捕捉图像的这种处理通过总体控制单元101和每个控制单元的协作实现为视频信号处理(然而，该视频信号处理可由除总体控制单元101之外的电路模块执行)。图5示意性地显示实现这种视频信号处理的功能结构。另外，图6以流程图的形式显示关联并记录成像元件102和103的捕捉图像的处理的过程。

当成像装置100的电源接通时，开始图6中显示的处理过程(步骤S801)。副成像元件103响应于由定时控制单元106输出的驱动控制信号以60fps的周期读取具有相差信息的视频信号A。然后，视频信号A由数字信号处理单元113执行用于图像创建的数字信号处理(诸如，黑色电平校正、白平衡调整、γ校正等)并被从第二视频信号输入单元702输出(步骤S802)。

这里，例如，如果通过经操作单元119操作释放按钮由捕捉图像的人指示图像捕捉(步骤S803中的“是”)，则执行已单独定义的静止图像数据获得处理(步骤S804)。将详细描述静止图像数据获得处理。

在步骤804中完成静止图像数据获得处理之后或者当捕捉图像的人未指示图像捕捉时(步骤S803中的“否”)，信号处理之后的信号被传送到视频信号输出单元711并经受输出处理(步骤805)。

在视频信号输出单元711中，对视频信号A执行根据后级的输出的装置的分辨率转换处理。例如，当VGA(视频图形阵列)输出的液晶面板被连接作为视频信号输出单元711的输出的目的地时，分辨率转换单元703把分辨率转换成640×480。另外，当连接与全HD(高清)输出兼容的电视时，分辨率转换单元703把分辨率转换成1920×1080。

另外，视频信号输出单元711对视频信号A执行根据后级的输出的装置的格式转换处理。例如，当并行信号输入的液晶面板被连接作为视频信号输出单元711的输出的目的地时，执行至并行格式的转换。此外，当连接能够实现HDMI(高清晰多媒体接口)连接的电视时，执行至HDMI格式的转换。

捕捉图像的人能够在检查从视频信号输出单元711输出的显示屏幕的同时执行成帧。

在成像装置100的电源断开之前(步骤S806中的“否”)，重复执行以上处理步骤S802至S805。然后，当成像装置100的电源断开时(步骤S806中的“是”)，这个处理例程完成(步骤807)。

图7以流程图的形式显示图6中显示的流程图中的步骤S804中执行的静止图像数据获得处理的详细处理过程。

响应于来自捕捉图像的人的图像捕捉的指令(例如，当通过操作单元119操作释放按钮时)，开始这个处理(步骤901)。

定时控制单元106在由捕捉图像的人发出图像捕捉的指令的定时输出驱动控制信号。响应于该驱动控制信号从主成像元件102读取与主捕捉图像对应的视频信号B。假设模糊校正单元104安装在主成像元件102上并且视频信号B不包括手抖动。然后，数字信号处理单元113对视频信号B执行用于图像创建的数字信号处理(诸如，黑色电平校正、白平衡调整、γ校正等)，随后从第一视频信号输入单元701输入视频信号B(步骤902)。

然后，第二视频信号输入单元702把具有输入相差信息的视频信号A传送到分辨率转换单元703。分辨率转换单元703对视频信号A执行分辨率转换以具有与视频信号B的分辨率相同的分辨率(步骤903)。另外，当转换分辨率时，对附属于视频信号A的相差信息(即，距离测量数据)执行相同的内插处理。

这里，作为转换分辨率的方法，数字图像放大算法(诸如，双线性(线性内插)方法、双三次方法等)是例子。然而，本发明的主旨不限于特定分辨率转换算法。

分辨率转换之后的视频信号A被传送到聚焦位置检测单元704并经受聚焦位置检测处理(步骤904)。例如，聚焦位置检测单元704能够通过在从分辨率转换单元703传送的图像中检测具有最高对比度的位置来获得聚焦位置。当聚焦位置的检测完成时，聚焦位置信息连同图像数据和距离测量数据一起被传送到对象获得单元705。

对象获得单元705基于从聚焦位置检测单元704获得的聚焦位置信息和距离测量数据提取图像数据中所包括的对象。然后，对象搜索单元706在作为主捕捉图像的视频信号B中搜索相同的对象(步骤905)。

这里，将描述对象搜索处理的具体例子。图8显示由主成像元件102获得的主捕捉图像(视频信号B)，图9显示由副成像元件103获得的辅助捕捉图像(视频信号A)。由于主成像元件102经受了图像稳定所以在视频信号B中没有模糊，而由于副成像元件103未经受图像稳定所以在视频信号A中包括模糊。另外，图像捕捉定时的差异、屏幕尺寸、像素数量和像素间距的差异以及手抖动影响两种捕捉图像之间的偏差。

图10显示聚焦位置检测单元704从图9中显示的视频信号A检测聚焦位置的状态。在图10中，基本上在牛的脸部中心显示的斑点对应于检测到聚焦位置的位置。

对象获得单元705通过把边缘检测处理应用于视频信号A获得边缘信息。图11显示在图10中显示的图像中的牛的脸部附近提取的边缘信息。在图11显示的例子中，获得由实线、虚线和单点划线包围的三个边缘信息项。然后，获得的边缘区域中包括聚焦位置的由实线包围的区域被提取作为对象。通过如上所述由对象搜索单元706使用聚焦位置附近的对象作为搜索的对象，可以期望搜索精度和搜索速度的提高。

另外，对象获得单元705不仅通过边缘检测而且使用视频信号A中所包括的距离测量数据获得对象。图12显示叠加在视频信号A上的每个像素的距离测量数据。然而，距离测量值由7个比特代表(即，从0到127的值)。对象获得单元705能够通过基于聚焦位置附近的距离测量数据把距离测量数据中具有相似距离的部分(也就是说，聚焦位置附近的部分，在该部分中，相对于聚焦位置的距离测量数据的差异在预定范围内)确定为同一对象区域来获得对象。在图12显示的例子中，在聚焦位置的像素的距离测量值是29，距离测量值在从29到33的范围内的位于聚焦位置的像素附近的像素被提取作为同一对象的像素。这里，如果能够视为同一对象的距离测量值的范围被设置得非常窄，则难以获得该对象。如果该范围设置得非常宽，则获得的对象变得太大，在后级由对象搜索单元706执行的图案匹配处理的负担增加。一些图案可尝试为视为同一对象的距离测量值的范围预设置最佳值。另一方面，也可以应用这样的结构：在该结构中，能够在用户(诸如，捕捉图像的人)方按照所希望的识别级别改变这个值的设置。

在这个领域已广泛地使用用于获得对象的技术。本发明的主旨不限于使用边缘检测或距离测量数据的对象获得方法，也可以应用其它现有技术。

由对象获得单元705在视频信号A中获得的对象被作为搜索的对象传送到对象搜索单元706。对象获得单元705计算获得的对象的重心位置并把结果传送到校正单元707。

对象搜索单元706基于从对象获得单元705传送的搜索的对象搜索相同的对象是否存在于视频信号B中。作为搜索对象的方法，例如，可以应用一般方法(诸如，图案匹配)。然后，确定是否已在视频信号B中找到该搜索的对象(步骤906)。

当已在视频信号B中找到该搜索的对象时(步骤S906中的“是”)，对象搜索单元706计算从第一视频信号输入单元701获得的主捕捉图像中的对象图像位置的重心位置，并把该重心位置作为位置校正信息传送给校正单元707。另外，对象搜索单元706把主捕捉图像传送到后级的距离信息嵌入单元708。

校正单元707基于从对象搜索单元706获得的位置校正信息校正视频信号A中所包括的距离信息(步骤907)。在这个处理步骤中，校正单元707根据从对象获得单元705获得的辅助捕捉图像中的对象的重心位置和从对象搜索单元706获得的主捕捉图像中的相同对象的重心位置计算图像之间的位置偏差。

图13显示校正了距离信息的状态。在该图中，从对象获得单元705获得的辅助捕捉图像中的对象的重心位置表示为(A，B)，从对象搜索单元706获得的主捕捉图像中的相同对象的重心位置表示为(C，D)。在这种情况下，通过把X方向上的A-C和Y方向上的B-D加到从副成像元件103获得的辅助捕捉图像的每个像素，可以校正该位置。通过这种校正，可以消除由每个成像元件的屏幕尺寸、像素数量和像素间距的差异、图像定时的不一致、图像稳定仅应用于成像元件的一部分等导致的捕捉图像之间的偏差。校正单元707类似地移动每个点的距离信息以及每个像素的像素值并把距离信息传送到距离信息嵌入单元708作为位置校正之后的距离信息。

这里，当如图13中所示的校正被应用于距离信息时，不获得根据辅助捕捉图像中的模糊的量移动到主捕捉图像的有效像素区域外面的周围的距离信息。虽然在主捕捉图像的周围不布置距离信息，但认为没有大的问题，因为重要的对象通常存在于主捕捉图像的中心附近。

距离信息嵌入单元708执行从校正单元707获得的校正的距离信息至从对象搜索单元706获得的主捕捉图像的嵌入处理(步骤908)。作为嵌入距离信息的方法，可以考虑一种在图像数据的头部中描述在每个坐标的距离信息的方法、一种由距离信息嵌入单元708中的JPEG(联合图像专家组)压缩单元以JPEG格式压缩图像数据并以Exif(可交换图像文件格式)等把在每个坐标的距离信息作为元数据进行写入的方法等等。另外，距离信息嵌入单元708把已嵌入了距离信息的主捕捉图像传送到视频信号记录单元709。

视频信号记录单元709记录从距离信息嵌入单元708获得的主捕捉图像(步骤909)。例如，在步骤S909中记录先前步骤908中主捕捉图像已转换成JPEG格式并且距离信息以Exif格式嵌入的图像的文件，并且静止图像数据获得处理完成(步骤911)。

另外，作为记录图像文件的设备，其例子可以是磁记录设备(诸如，内置在成像装置100中的硬盘等)、半导体存储器(诸如，闪存)、可拆卸的光盘(所有这些设备均未在图1中示出)、通过存储卡118和通信接口122作为网络连接的外部服务器(未示出)等等。记录文件格式不受具体限制。

另一方面，当在视频信号B中未找到搜索的对象时(步骤S906中的“否”)，显示指示在主捕捉图像中未检测到相同对象或者在主捕捉图像中未嵌入距离信息的错误消息(步骤910)。

这里，这样考虑：因为大的手抖动或者由于某一原因导致的主捕捉图像和辅助捕捉图像之间的很大差异，所以在步骤S906中未找到搜索的对象。由于在这种情况下合适的距离信息未嵌入在主捕捉图像中，所以在步骤S910中显示错误消息。另外，可停止主捕捉图像的记录。另一方面，距离信息嵌入单元708可按原样把主捕捉图像传送并记录到视频信号记录单元709而不执行前述距离信息的位置校正和距离信息嵌入处理(步骤909)。

根据图5中显示的功能结构以及图6和7中显示的处理过程，通过消除由每个成像元件的屏幕尺寸、像素数量和像素间距的差异、图像捕捉定时的不一致、图像稳定仅应用于成像元件的一部分等导致的捕捉图像之间的偏差，成像装置100能够在像素级别合适地关联并记录由主成像元件102获得并经受了图像稳定的主捕捉图像与从副成像元件103获得的具有相差信息的辅助捕捉图像。

当由具有相差检测像素的副成像元件103获得的距离信息被用于诸如图像捕捉辅助等的应用时，可以在获得由校正单元707校正的距离信息之后使用该应用。通过在主捕捉图像的基础上使用校正的距离信息，可以提高使用的应用的精度。

本申请包含与2010年11月25日提交给日本专利局的日本优先权专利申请JP 2010-262068公开的主题相关的主题，该专利申请的全部内容包含于此以资参考。

本领域技术人员应该理解，在不脱离权利要求或其等同物的范围的情况下，可以根据设计的需要和其它因素做出各种变型、组合、子组合和替换。

Claims (10)

1.一种成像装置，包括：

第一成像单元，在成像元件上不包括相差检测像素；

第二成像单元，在成像元件上包括相差检测像素；

图像比较单元，把由第一成像单元获得的第一获得图像与由第二成像单元获得的第二获得图像进行比较；

校正单元，基于图像比较单元的比较结果校正由第二成像单元获得的相差信息；

相差应用单元，把由校正单元校正后的相差信息应用于第一获得图像；

记录单元，记录图像信息。

2.如权利要求1所述的成像装置，

其中所述记录单元一起记录相差信息和图像信息。

3.如权利要求1所述的成像装置，

其中所述第一成像单元具有手抖动校正功能而第二成像单元不具有手抖动校正功能，以及

其中所述图像比较单元检测已校正了手抖动的第一获得图像和未校正手抖动的第二获得图像之间的偏差。

4.如权利要求1所述的成像装置，

其中所述第二成像单元具有手抖动校正功能而第一成像单元不具有手抖动校正功能，以及

其中所述图像比较单元检测已校正了手抖动的第二获得图像和未校正手抖动的第一获得图像之间的偏差。

5.如权利要求1所述的成像装置，

其中所述第一成像单元和第二成像单元都具有手抖动校正功能，以及

其中所述图像比较单元检测由手抖动校正中的校正误差导致的第一获得图像和第二获得图像之间的偏差。

6.如权利要求5所述的成像装置，

其中所述手抖动校正功能用于基于成像器移位方案执行手抖动校正，以及

其中所述图像比较单元检测在由第一成像单元和第二成像单元进行手抖动校正时由成像元件的位移量的计算误差或位移误差导致的第一获得图像和第二获得图像之间的偏差。

7.如权利要求5或6所述的成像装置，

其中所述图像比较单元检测由第一成像单元和第二成像单元的成像元件的尺寸、像素数量或像素间距导致的图像之间的偏差。

8.如权利要求1所述的成像装置，

其中所述图像比较单元检测由第一成像单元和第二成像单元中的成像元件的获得定时的差异导致的第一获得图像和第二获得图像之间的偏差。

9.一种图像处理方法，包括：

把由在成像元件上不包括相差检测像素的第一成像单元获得的第一获得图像与由在成像元件上包括相差检测像素的第二成像单元获得的第二获得图像进行比较；

基于图像比较的比较结果校正由第二成像单元获得的相差信息；

把在所述校正中校正的相差信息应用于第一获得图像。

10.一种计算机可读计算机程序，该计算机可读计算机程序使计算机执行：

把由在成像元件上不包括相差检测像素的第一成像单元获得的第一获得图像与由在成像元件上包括相差检测像素的第二成像单元获得的第二获得图像进行比较；

基于图像比较的比较结果校正由第二成像单元获得的相差信息；

把在所述校正中校正的相差信息应用于第一获得图像。

Images