CN103108133A - 摄像装置 - Google Patents

Abstract

本发明提供一种摄像装置，包括：具有焦距可变的聚焦透镜的摄像单元；曝光控制单元，控制摄像单元的曝光，实现对于同一被摄体的灵敏度不同的多次摄像；摄像机信号处理单元，对摄像单元所输出的信号进行摄像机信号处理，生成影像信号、表示合焦的程度的聚焦评价值；影像合成单元，将摄像机信号处理单元所生成的灵敏度不同的多个影像信号合成而输出；和聚焦控制单元，基于摄像机信号处理单元所输出的聚焦评价值控制该摄像单元的聚焦透镜，对焦距进行调节，摄像机信号处理单元对于该摄像单元所输出的灵敏度不同的多个摄像信号分别生成聚焦评价值，聚焦控制单元对摄像单元的灵敏度不同的多次摄像基于分别对应的聚焦评价值控制聚焦透镜。

Description

摄像装置

技术领域

本发明涉及一种摄像装置，具备将聚焦透镜自动控制至最佳合焦位置的自动聚焦功能，和能够拍摄动态范围大的场景的宽动态范围功能。

背景技术

作为本技术领域的背景技术，例如，专利文献1中，以“在将多种曝光条件下拍摄1个被摄体而得到的多个画面合成以生成宽动态范围的图像时，以处于各种亮度区域的被摄体为对象进行自动聚焦控制”为目的，公开了“设置有焦点电压选择单元，其有选择地输出从曝光条件不同的多个图像检测出的多个焦点电压，作为供自动聚焦控制单元参照的焦点电压，由此，能够在以不同的曝光条件拍摄的各图像中以适当的信号电平下拍摄的各种被摄体为对象进行自动聚焦控制。此外，还设置有使多个焦点电压归一化的单元，通过除去因曝光条件变化对聚焦点电压造成的影响而能够进行不依赖于曝光条件的自动聚焦控制”这一技术方案作为解决手段。

此外，专利文献2中，以“提供按高速视觉系统的帧率进行响应的变焦透镜及其控制装置”为目的，公开了“变焦透镜10具有内部填充了液体的收容体11。收容体11具有与致动器14接触以传递其振动的压力传递部15，和光的入射面和出射面上的两个光透过部12、12。在入射面和出射面的至少一方，设置有对从压力传递部15经液体施加的位移产生响应、能够在光轴方向上以凹凸方式位移的表面部分，表面部分的面积s与压力传递部15的面积S的比（s/S）为规定值以下，通过使表面部分对致动器14的位移产生响应而发生位移，从而使焦距变化”这一技术方案作为解决手段。

专利文献1：日本特开2002-323649号

专利文献2：WO03/102636

发明内容

使用数码摄像机或静物照相机进行摄影时，在对象场景内的明暗差非常大时，可能会在场景的一部分中传感器的受光量不足而发生阴影细节损失（黑溢出），或者传感器的受光量饱和而发生高光细节损失（白溢出）的情况。作为解决它的手段之一，可以列举一种被称作所谓宽动态范围的方法，其切换曝光条件，分别拍摄以低照度下的被摄体为对象的高灵敏度（感光度）的摄像图像，和以高照度下的被摄体为对象的低灵敏度的摄像图像，将它们以特定的比率合成，由此生成动态范围宽的图像。例如，用于高灵敏度摄像的曝光控制和用于低灵敏度摄像的曝光控制，分别基于由光学检波电路从各摄像信号取得的亮度分布信息进行，由此能够进行适当的宽动态范围摄影。

此时，在具有自动检测最佳焦距以对焦（合焦，聚焦）的自动聚焦功能的摄像机中，因为合成中使用的各摄像图像中主要的被摄体不同，所以如何对焦成为了问题。例如上述专利文献1中，对于合成中使用的多个摄像图像，分别求出表示合焦处于何种程度的评价值的焦点电压，控制聚焦透镜的位置以在焦点电压高的摄像图像中合焦。这样，在现有的方法中，一般仅在多个摄像图像中的某一个中合焦。

因此，例如同时拍摄阴暗的室内的近处的人物和明亮的室外的远方的人物的情况下，即使低照度下的被摄体和高照度下的被摄体双方都是用户想要观看的被摄体，当各被摄体与摄像机的距离相差较大时，仅在某一方的被摄体上合焦，另一方的被摄体会虚焦，存在辨认性降低的问题。

另一方面，近年来，能够非常高速地合焦的聚焦透镜的研究正逐渐发展、实用化。作为这样的例子，可以列举如专利文献2中记载的液体透镜，为了合焦而应用液体的折射率，不需要使用电机进行透镜驱动。由此，在短时间内进行多次摄像的情况下，也能够追踪各次摄像进行聚焦。

本发明为了解决上述问题，提供一种能够扩大动态范围的摄像装置，生成影像整体中模糊较少的合成影像，提高辨认性并提高图像识别时的识别性能。

对本申请中公开的发明中有代表性的概要进行简单说明如下。

（1）一种摄像装置，其特征在于，包括：具有焦距可变的聚焦透镜的摄像单元；控制上述摄像单元的曝光的曝光控制单元；聚焦控制单元，与在上述曝光控制单元的控制下上述摄像单元进行的灵敏度不同的多次摄像相应地，控制上述聚焦透镜以使其焦距为按每个上述灵敏度预先设定的焦距；信号处理部，对在上述曝光控制单元的控制和上述聚焦控制单元的控制下由上述摄像单元摄像而得的信号进行处理，生成灵敏度彼此不同的多个合焦图像；和影像合成单元，将由上述信号处理部生成的灵敏度彼此不同的多个合焦图像合成而输出。

（2）一种摄像装置，其特征在于，包括：具有焦距可变的聚焦透镜的摄像单元；曝光控制单元，控制该摄像单元的曝光，实现对于同一被摄体的灵敏度不同的多次摄像；摄像机信号处理单元，对该摄像单元所输出的信号进行摄像机信号处理，生成影像信号、表示合焦的程度的聚焦评价值；影像合成单元，将该摄像机信号处理单元所生成的灵敏度不同的多个影像信号合成而输出；动态范围控制单元，对该曝光控制单元的曝光控制处理、该摄像机信号处理单元的摄像机信号处理和该影像合成单元的影像合成处理进行控制；和聚焦控制单元，基于该摄像机信号处理单元所输出的聚焦评价值控制该摄像单元的聚焦透镜，对焦距进行调节，其中，该摄像机信号处理单元对于该摄像单元所输出的灵敏度不同的多个摄像信号分别生成聚焦评价值，该聚焦控制单元对于同一灵敏度的摄像基于分别对应的聚焦评价值来控制聚焦透镜，该影像合成单元将灵敏度不同且已分别合焦的多个摄像信号合成而输出。

（3）一种摄像装置，其特征在于，包括：具有焦距可变的聚焦透镜的摄像单元；曝光控制单元，控制该摄像单元的曝光，实现对于同一被摄体的灵敏度不同的多次摄像；摄像机信号处理单元，对该摄像单元所输出的信号进行摄像机信号处理，生成影像信号、表示合焦的程度的聚焦评价值；影像合成单元，将该摄像机信号处理单元所生成的灵敏度不同的多个影像信号合成而输出；和聚焦控制单元，基于该摄像机信号处理单元所输出的聚焦评价值控制该摄像单元的聚焦透镜，对焦距进行调节，其中，在该摄像单元对同一被摄体进行灵敏度不同的多次摄像时，在各灵敏度下进行同一灵敏度、不同焦距的多次摄像，该影像合成单元将灵敏度和焦距不同的所有影像信号合成而输出。

根据本发明，能够提供一种解决上述问题、能够扩大动态范围的摄像装置，其生成影像整体中模糊较少的合成影像，提高辨认性并提高图像识别时的识别性能。

附图说明

图1是表示本发明第一实施例的摄像装置的示意图。

图2是表示本发明第一实施例的摄像装置的聚焦控制处理的一例的图。

图3是表示本发明第二实施例的摄像装置的示意图。

图4是表示本发明第二实施例的摄像装置的时序控制处理的一例的第一图。

图5是表示本发明第二实施例的摄像装置的时序控制处理的一例的第二图。

图6是表示本发明第二实施例的摄像装置的聚焦控制信息记录处理流程的一例的图。

图7是表示本发明第三实施例的摄像装置的影像合成处理的一例的第一图。

图8是表示本发明第三实施例的摄像装置的影像合成处理的一例的第二图。

附图标记说明

0101    摄像部

0102    曝光控制部

0103    摄像机信号处理部

0104    影像合成部

0105    聚焦控制部

0106    动态范围控制部

0201    位于室内的摄像机

0202    阴暗室内的距离摄像机较近的人物

0203    明亮室外的距离摄像机较远的人物

0307    时序控制部

0308    聚焦控制信息记录部

具体实施方式

以下用附图说明本发明的实施例。

[实施例1]

图1是表示本发明第一实施例的摄像装置的示意图，0101表示摄像部，0102表示曝光控制部，0103表示摄像机信号处理部，0104表示影像合成部，0105表示聚焦控制部，0106表示动态范围控制部。

图1所示的摄像装置中，摄像部0101适宜使用包括变焦透镜和聚焦透镜的透镜组、光圈、快门、CCD或CMOS等感光元件、CDS和AGC、AD转换器等构成，对感光元件接收到的光学像进行光电变换，作为信号输出。

曝光控制部0102从后述的摄像机信号处理部0103取得实际的曝光量的评价值，从后述的动态范围控制部0106取得作为目标的曝光量，控制光圈的孔径大小、快门时间和AGC的增益量等以使实际的曝光量接近该目标曝光量。此时，通过按每规定的时间切换目标曝光量，能够按每规定的时间以不同灵敏度摄像。于是，例如在某个曝光期间中以比通常更快的时间释放快门（闭合快门），在下一个曝光期间中以比通常更慢的时间释放快门，通过依次进行这样的曝光控制，能够分别进行可优先拍摄低照度下的被摄体像的高灵敏度摄像，和能够优先拍摄高照度下的被摄体像的低灵敏度摄像。为了易于说明，本实施例中提及进行不同灵敏度的多次摄像的情况下，指的是这样分别进行以低照度下的被摄体为对象的高灵敏度摄像，和以高照度下的被摄体为对象的低灵敏度摄像。但是，这只是一例，并不一定是比通常更快的快门时间和比通常更慢的快门时间的组合，此外也能够进行在3个以上不同的灵敏度下按每个曝光期间切换进行曝光控制的控制。此外，也可以按每个摄像期间交替进行高灵敏度摄像和低灵敏度摄像并将合成图像作为动态图像连续输出，也可以仅按特定的时序进行不同的曝光控制。

摄像机信号处理部0103对摄像部0101输出的信号适当进行亮度信号与色彩信号的分离处理、亮度校正处理、伽马处理、色差变换处理、白平衡校正处理和数码变焦等各种数字信号处理，生成影像信号，输出到合成处理部0104。进行各信号处理时使用的系数，例如亮度校正量和伽马特性等，可以使用预先设定并保存在EEPROM等中的值，也可以基于影像的亮度分布等各种信息改变控制值。此时，基于动态范围控制部0106输出的控制信息，对于灵敏度不同的多个曝光影像，分别使用不同的系数，由此能够对各曝光影像进行适当的伽马处理等信号处理。

此外，摄像机信号处理部0103，对于摄像部0101输出的信号，计算曝光量的评价值、亮度分布和聚焦评价值等各种统计信息，输出到曝光控制部0102、动态范围控制部0106和聚焦控制部0105。此处，聚焦评价值指的是摄像影像中对焦至何种程度的评价值，例如能够使用图像整体或图像的一部分区域内的影像的高频域成分的积分而获得。越是合焦，被摄体越清晰，邻接的像素之间的差值越大，所以图像整体高频域成分越多，聚焦评价值也越大。

影像合成部0104，对于摄像机信号处理部0103输出的影像信号，基于动态范围控制部0106输出的控制信息，对不同曝光期间的影像信号以规定的比率合成为合成影像，并输出到未图示的影像显示部、记录部、动态图像压缩部和PC等。为了实现它，例如将某个曝光期间的影像信号保存在SDRAM等存储器中，将其他曝光期间的影像信号与从存储器读出的之前的曝光期间的影像信号在加权后相加即可。通过反复该加法处理，能够合成任意数量的灵敏度不同的影像信号，对于从低照度下的被摄体到高照度下的被摄体都能够进行在影像上都不发生灰度细节损失的摄像，实现宽动态范围功能。此外，作为合成的方法，也可以不采用将不同曝光期间的影像信号加权相加的方法，而是采用按每个像素选择使用哪一个曝光期间的影像信号的方法。此外，在不使用宽动态范围功能的情况下，也可以不进行合成处理，而是直接输出影像信号。

聚焦控制部0105，基于摄像机信号处理部0103输出的聚焦评价值控制聚焦透镜的聚焦以成为摄像部0101要合焦的焦距。具体而言，例如，预先以大致相同的曝光期间变更聚焦进行多次摄像，对得到的各聚焦评价值进行比较，由此可知聚焦评价值较高的是合焦的方向。于是，使聚焦向聚焦评价值较高一方改变，并且与其他聚焦下拍摄时的聚焦评价值进行比较，反复同样的处理。通过反复该处理直到聚焦评价值达到峰值，就能够对拍摄的被摄体实现最佳合焦。此处，作为聚焦控制的方法，例如如果是能够通过利用步进电机使透镜位置与光轴平行地移动而改变焦距的聚焦透镜，则能够通过施加脉冲信号驱动步进电机而使聚焦变更至规定的焦距，此外，如果是如专利文献2所述的液体透镜，则能够通过施加电压改变液体的折射率而使聚焦变更至规定的焦距。

此外，聚焦控制部0105，在按照曝光控制部0102的控制由摄像部0101于不同的曝光期间进行摄像时，对于各次摄像实施最佳的聚焦控制。即，在进行高灵敏度摄像的情况下，预先以同一灵敏度进行摄像作为前处理，基于由摄像机信号处理部0103对该摄像信号进行信号处理而算出的聚焦评价值，聚焦控制部0105推算在高灵敏度摄像时的最佳焦距。同样对于低灵敏度摄像，也在前处理中推算低灵敏度摄像时的最佳焦距。由此，实际使用宽动态范围功能时，通过以与高灵敏度摄像和低灵敏度摄像分别对应的焦距进行摄像，即使在高灵敏度摄像中拍摄的被摄体和低灵敏度摄像中拍摄的被摄体的自摄像机的距离相差较大的情况下，也可以得到合焦在各被摄体上的清晰的影像。通过由影像合成部0104将其合成，能够实现图像整体模糊较少的、大景深的宽动态范围影像的生成。

动态范围控制部0106，基于由摄像机信号处理部0103取得的影像的亮度分布信息和预先决定的控制目标，以及经未图示的用户界面输入的用户设定值等信息，决定灵敏度不同的多次摄像中各次的曝光控制部0102的曝光目标、摄像机信号处理部0103的摄像机信号处理的信号处理系数和影像合成部0104的影像合成处理中的影像信号的合成比率等，作为控制信息输出，以使得影像合成部0104能够生成并输出比摄像部0101输出的摄像信号动态范围更宽的影像。由此，在明暗强烈、照度差较大的场景中也能够生成不会发生高光细节损失和阴影细节损失的宽动态范围的影像。

其中，曝光控制部0102的曝光控制处理、摄像机信号处理部0103的摄像机信号处理、影像合成部0104的影像合成处理、聚焦控制部0105的聚焦控制处理、动态范围控制部0106的动态范围控制处理，通常由摄像机内的微型计算机、摄像机信号处理ISP和专用的LSI等进行。

图2是表示本发明第一实施例的摄像装置的聚焦控制处理的一例的图。图2所示的聚焦控制处理由聚焦控制部0105实施。图2中，设想利用室内的摄像机0201同时拍摄阴暗室内的距离摄像机较近的人物0202和明亮室外的距离摄像机较远的人物0203的场景。图2中，图2（a）是摄像部0101在高灵敏度摄像下得到的影像，图2（b）是摄像部0101在低灵敏度摄像下得到的影像，图2（c）是影像合成部0104中通过影像合成处理得到的合成影像，图2（d）是假设高灵敏度摄像和低灵敏度摄像中使聚焦从近端移动到远端时通过摄像机信号处理部0103得到的聚焦评价值的变化过程的示意图。聚焦控制部0105在摄像部0101进行高灵敏度摄像时，基于图2（d）中实线表示的根据高灵敏度摄像影像得到的聚焦评价值进行聚焦控制。高灵敏度摄像中，室外的被摄体会饱和而发生高光细节损失，所以在阴暗室内的被摄体即人物0202上合焦时聚焦评价值最高，能够获得如图2（a）所示的可清晰地辨认室内的人物0202的摄像影像。同样，在摄像部0101进行低灵敏度摄像时，通过基于图2（d）中虚线表示的根据低灵敏度摄像影像得到的聚焦评价值进行聚焦控制，能够获得如图2（b）所示的可清晰地辨认室外的人物0203的摄像影像。通过由影像合成部0104将高灵敏度摄像影像和低灵敏度摄像影像合成，可得到如图2（c）所示的在阴暗的、较近的室内的被摄体和明亮的、较远的室外的被摄体双方上合焦的影像。

这样，根据本实施例，在通过合成灵敏度不同的多个摄像图像而实现的宽动态范围功能中，能够扩大动态范围，在明暗差强烈的场景的摄像中抑制阴影细节损失和高光细节损失的发生，并且取得在阴暗区域中的被摄体和明亮区域中的被摄体双方上合焦的清晰的影像，能够提高辨认性。

[实施例2]

图3是表示本发明第二实施例的摄像装置的示意图，图3中0101是摄像部，0102是曝光控制部，0103是摄像机信号处理部，0104是影像合成部，0105是聚焦控制部，0106是动态范围控制部，0307是时序控制部，0308是聚焦控制信息记录部，与图1所示的表示本发明第一实施例的摄像装置的示意图相比，增加了时序控制部0307、聚焦控制信息记录部0308。以下对于与本发明第一实施例的摄像装置同样的结构适当省略说明。

图3所示的摄像装置中，时序控制部0307控制曝光控制部0102的曝光控制处理的时序、摄像机信号处理部0103的摄像机信号处理的时序、影像合成部0104的影像合成处理的时序、聚焦控制部0105的聚焦控制处理的实施时序。例如，在为了实时进行使用宽动态范围功能的动态图像摄像，而使摄像部0101交替进行高灵敏度摄像和低灵敏度摄像并由影像合成部0104输出合成影像的情况下，聚焦控制部0105进行时序控制，以使得面向高灵敏度摄像的曝光控制处理、摄像机信号处理、影像合成处理和聚焦控制处理，与面向低灵敏度摄像的曝光控制处理、摄像机信号处理、影像合成处理和聚焦控制处理分别同步地正确动作。时序控制部0307中的时序控制处理的详情将使用图4在后文中叙述。

聚焦控制信息记录部0308，具备EEPROM或RAM等记录介质，从聚焦控制部0105取得聚焦控制部0105控制摄像部0101的聚焦时使用的控制信息——例如摄像部0101的焦距信息、从摄像机信号处理部0103得到的聚焦评价值信息、或者基于聚焦评价值信息进行运算时的运算过程的值等，将其写入记录介质，或者从记录介质中读出并输出到聚焦控制部0105。聚焦控制部0105在使摄像部0101交替进行高灵敏度摄像和低灵敏度摄像的情况下，当通过1次聚焦控制处理不能够控制聚焦至最佳合焦时，先暂时将控制信息输出到聚焦控制信息记录部0308，在下一个控制时序中从聚焦控制信息记录部0308取得上次的控制信息继续处理。由此，即使在摄像部0101交替进行高灵敏度摄像和低灵敏度摄像的情况下，也能够分别连续进行适当的聚焦控制处理。使用聚焦控制信息记录部0308的聚焦控制信息记录处理的详情将基于图6在后文中叙述。由此，在实时进行动态图像摄像时，也能够在高灵敏度摄像和低灵敏度摄像中分别进行最佳的合焦，得到影像整体模糊较少的动态范围较宽的影像。

图4是表示本发明第二实施例的摄像装置的时序控制处理的一例的第一图。图4所示的时序控制处理由时序控制部0307实施。图4的横轴表示时间的经过，在1纵列中记载每单位时间进行的传感器驱动和摄像机信号处理。例如，如果是以每秒30帧动作的摄像机，则分配给1纵列的处理的时间相当于约33.3毫秒。另外，本图是为了说明而简化的示意图，实际的控制中也可以跨1纵列即跨帧进行处理。本图所示的例子中，设想摄像部0101交替进行高灵敏度摄像和低灵敏度摄像，A表示面向高灵敏度摄像的控制，B表示面向低灵敏度摄像的控制。此处，在进行高灵敏度摄像的曝光的时刻n，实施面向高灵敏度摄像的聚焦和曝光，在通过曝光得到的摄像信号被输入到摄像机信号处理部0103的时刻n+1，分别由摄像机信号处理部0103实施面向高灵敏度摄像信号的摄像机信号处理，由影像合成部0104实施面向高灵敏度摄像信号的影像合成处理。同样地，在时刻n+1，实施面向低灵敏度摄像的聚焦和曝光，在时刻n+2，实施面向低灵敏度摄像的摄像机信号处理和影像合成处理。这样的处理例如能够通过这样的方式实现，即时序控制部0307具有值会因内部经过规定时间或来自外部的计时器中断而变化的循环计数器，参照计数器控制各处理的实施时序。由此，在摄像部0101交替进行高灵敏度摄像和低灵敏度摄像的情况下，能够实现分别进行适当的聚焦控制的宽动态范围。

图5是表示本发明第二实施例的摄像装置的时序控制处理的一例的第二图。图5所示的时序控制处理由时序控制部0307实施。图4所示的时序控制处理中，以帧单位控制各模块进行的处理，但也能够进一步在帧内控制进行处理的时序。图5是表示摄像部0101进行聚焦的时序和进行曝光的时序的示意图，表示了摄像部0101交替进行高灵敏度摄像和低灵敏度摄像的情况的例子。此处，箭头表示的曝光期间由传感器的同步信号和0102输出的快门时间的设定而唯一地确定。于是，时序控制部0307决定聚焦控制部0105进行聚焦控制的时序，以使聚焦在摄像部0101没有进行曝光的图中虚线所示的期间内完成。由此，摄像部0101能够在开始曝光前完成聚焦，所以能够抑制因为曝光期间内焦距变化而发生的影像模糊。其中，在不存在不进行曝光的期间的传感器，例如采用滚动快门跨帧按每一行依次进行曝光的CMOS传感器等情况下，例如以对画面上端或下端的线进行曝光的期间为重心进行聚焦的方式决定聚焦控制的时序即可。该情况下，在画面端部存在影像有若干模糊的可能性，但能够抑制拍摄主要被摄体的画面中央附近的影像模糊。另外，使用时序控制部0307，时序控制处理不限于此处所示的实施例，能够进行各种变更。

图6是表示本发明第二实施例的摄像装置的聚焦控制信息记录处理流程的一例的图。图6所示的聚焦控制信息记录处理由聚焦控制部0105和聚焦控制信息记录部0308实施。图6所示的聚焦控制信息记录处理流程中，在ST0601中，聚焦控制部0105从聚焦控制信息记录部0308取得当前的曝光状态所示的上次控制时的焦距信息和聚焦评价值。例如，在摄像部0101交替进行高灵敏度摄像和低灵敏度摄像的情况下，如果当前的聚焦控制部0105控制的对象是面向高灵敏度摄像的聚焦，则取得上次进行面向高灵敏度摄像的聚焦控制时使用的已记录的焦距信息和聚焦评价值。当前的聚焦控制部0105所控制的对象是否面向高灵敏度摄像，能够基于时序控制部0307输出的时序控制信息来判定。在ST0602中，聚焦控制部0105从摄像机信号处理部0105取得对高灵敏度摄像信号进行摄像机信号处理运算而得的最新的聚焦评价值。在ST0603中，聚焦控制部0105基于上次高灵敏度摄像时的焦距信息和聚焦评价值以及最新的高灵敏度摄像时的聚焦评价值，决定摄像部0101下一次进行高灵敏度摄像时的焦距，以该焦距为目标实施聚焦控制。在ST0604中，聚焦控制部0105在聚焦控制信息记录部0308中记录ST0603中决定的最新的面向高灵敏度摄像的焦距信息，和ST0602中取得的最新的面向高灵敏度摄像的聚焦评价值。聚焦控制信息记录部0308通过在记录介质内的不同区域记录面向高灵敏度摄像的焦距信息和聚焦评价值，以及面向低灵敏度摄像的焦距信息和聚焦评价值，而在按帧交替进行面向高灵敏度摄像的聚焦控制和面向低灵敏度摄像的聚焦控制的情况下，也能够持续实施独立的聚焦控制处理。

这样，根据本实施例，在通过合成灵敏度不同的多个摄像图像而实现的宽动态范围功能中，即使在实时进行动态图像摄像的情况下，也能够扩大动态范围，在明暗差强烈的场景的摄像中抑制阴影细节损失和高光细节损失的发生，取得在阴暗区域的被摄体和明亮区域的被摄体双方上合焦的清晰的影像，提高辨认性。

[实施例3]

使用图1说明本发明第三实施例的摄像装置。本发明第三实施例的摄像装置的结构与图1相同，但本实施例中，摄像部0101进行灵敏度不同的多次摄像时，不是在每种灵敏度的摄像中唯一地合焦，而是在各灵敏度的摄像中分别改变聚焦进一步进行多次摄像。即，实施组合了多个灵敏度与多个焦距的多次摄像。作为多个焦距的决定方法，例如在摄像部0101进行高灵敏度摄像和低灵敏度摄像的情况下，聚焦控制部0105分别检测高灵敏度摄像和低灵敏度摄像时的合焦位置，在高灵敏度摄像的合焦位置分别进行高灵敏度摄像和低灵敏度摄像，且在低灵敏度摄像的合焦位置分别进行高灵敏度摄像和低灵敏度摄像，共计摄像4次即可。此外，也可以预先确定若干个焦距，在各焦距上分别进行高灵敏度摄像和低灵敏度摄像。影像合成部0104对灵敏度和焦距不同的多个影像分别进行聚焦合成处理和用于扩大动态范围的影像合成处理，由此能够取得景深和动态范围双方都得到提高的辨认性高的影像。

图7是表示本发明第三实施例的摄像装置的影像合成处理的一例的第一图。图7所示的影像合成处理由影像合成部0104实施。图7中，影像A、B、C、D表示分别对同一被摄体以不同的灵敏度和聚焦摄像而得的影像。影像合成部0104首先对灵敏度相同、焦距不同的影像，即本例中的影像A与B、影像C与D分别使用聚焦合成处理进行合成处理。作为聚焦合成处理，例如使用这样的方式，即按影像的每个小区域分别检测不同焦距的影像的边缘成分，采用边缘成分较大的影像信号作为合成后的影像信号。由此，能够在不同焦距的多个影像之间以拼接合焦区域的方式进行合成，生成影像整体模糊较少的影像。此外，也可以不仅检测边缘成分，也检测小区域内的亮度分布和亮度水平，由此优先检测影像内发生高光细节损失和阴影细节损失的区域附近的模糊，采用模糊较少的影像信号。对于这样得到的进行了各灵敏度下的聚焦合成处理后的合成影像，进一步进行用于扩大动态范围的影像合成处理。由此，能够取得景深和动态范围双方得到提高的辨认性高的影像。此外，影像合成的顺序不限定于本例，作为别的例子，也可以先对以相同焦距摄像的影像A与C、影像B与D分别进行用于扩大动态范围的影像合成处理，对于得到的合成影像进行聚焦合成处理。

图8是表示本发明第三实施例的摄像装置的影像合成处理的一例的第二图。图8中，设想用室内的摄像机同时拍摄阴暗室内的距离摄像机较近的人物和赏叶植物，和明亮室外的距离摄像机较远的人物的场景。图8（a）是高灵敏度且合焦在室内的被摄体上拍摄的图像，相当于图7的影像A，图8（b）是低灵敏度且合焦在室外的被摄体上拍摄的影像，相当于图7的影像D，图8（c）是仅对图8（a）所示的影像A和图8（b）所示的影像D合成而得的合成影像，图8（d）是高灵敏度且合焦在室外的被摄体上拍摄的影像，相当于图7的影像B，图8（e）是低灵敏度且合焦在室内的被摄体上拍摄的影像，相当于图7的影像C，图8（f）是合成影像A至影像D这所有4个影像而得的合成影像。图8（b）所示的影像D中，在发生阴影细节损失的边界附近，作为近处被摄体的室内的赏叶植物没有合焦，模糊扩大。因此，仅对影像A和影像D合成的情况下，如图8（c）所示会成为在没有合焦而模糊扩大的赏叶植物上重叠合焦的赏叶植物的情况，成为不自然的影像。另一方面，之前图8（e）所示的影像C中，因为在低灵敏度摄像下合焦在室内的被摄体上，所以即使在发生阴影细节损失的边界附近，室内的赏叶植物也没有发生模糊。于是，预先对影像C和影像D通过聚焦合成处理进行合成处理，能够抑制发生阴影细节损失的边界附近的室内赏叶植物的模糊和室外被摄体的模糊，并且通过与高灵敏度影像进行用于扩大动态范围的合成处理，能够得到如图8（f）所示图像整体不发生模糊的自然的影像。

这样，根据本实施例，通过合成使灵敏度和焦距组合的不同的多个摄像图像，能够扩大景深和动态范围，并且取得自然的影像，能够提高辨认性。

此外，本发明不限定于上述实施例，包括各种变形例。例如，上述实施例是为了易于理解地说明本发明而详细说明的，并不限定于必须具备说明的所有结构。此外，能够将某个实施例的结构的一部分置换为其他实施例的结构，或者在某个实施例的结构上添加其他实施例的结构。本发明能够用于民用、监视、车载、移动电话和业务用的数码摄像机和静物照相机。

Claims (9)

1.一种摄像装置，其特征在于，包括：

具有焦距可变的聚焦透镜的摄像单元；

控制所述摄像单元的曝光的曝光控制单元；

聚焦控制单元，与在所述曝光控制单元的控制下所述摄像单元进行的灵敏度不同的多次摄像相应地，控制所述聚焦透镜以使其焦距为按每个所述灵敏度预先设定的焦距；

信号处理部，对在所述曝光控制单元的控制和所述聚焦控制单元的控制下由所述摄像单元摄像而得的信号进行处理，生成灵敏度彼此不同的多个合焦图像；和

影像合成单元，将由所述信号处理部生成的灵敏度彼此不同的多个合焦图像合成而输出。

2.如权利要求1所述的摄像装置，其特征在于：

所述信号处理部，对由所述摄像单元摄像而得的信号进行处理，生成与灵敏度彼此不同的多个信号分别对应的聚焦评价值，

所述聚焦控制单元，基于由所述信号处理部生成的聚焦评价值，按每个所述灵敏度预先设定焦距。

3.如权利要求1或2所述的摄像装置，其特征在于：

还包括时序控制单元，对所述曝光控制单元的曝光控制时序、所述信号处理单元的信号处理时序、所述影像合成单元的合成时序和所述聚焦控制单元的控制时序进行控制。

4.如权利要求1或2所述的摄像装置，其特征在于：

所述聚焦控制单元进行控制，使得在所述摄像单元没有进行曝光的期间中所述摄像单元进行聚焦动作。

5.一种摄像装置，其特征在于，包括：

具有焦距可变的聚焦透镜的摄像单元；

曝光控制单元，控制该摄像单元的曝光，实现对于同一被摄体的灵敏度不同的多次摄像；

摄像机信号处理单元，对该摄像单元所输出的信号进行摄像机信号处理，生成影像信号、表示合焦的程度的聚焦评价值；

影像合成单元，将该摄像机信号处理单元所生成的灵敏度不同的多个影像信号合成而输出；

动态范围控制单元，对该曝光控制单元的曝光控制处理、该摄像机信号处理单元的摄像机信号处理和该影像合成单元的影像合成处理进行控制；和

聚焦控制单元，基于该摄像机信号处理单元所输出的聚焦评价值控制该摄像单元的聚焦透镜，对焦距进行调节，其中，

该摄像机信号处理单元对于该摄像单元所输出的灵敏度不同的多个摄像信号分别生成聚焦评价值，该聚焦控制单元对于同一灵敏度的摄像基于分别对应的聚焦评价值来控制聚焦透镜，该影像合成单元将灵敏度不同且已分别合焦的多个摄像信号合成而输出。

6.如权利要求5所述的摄像装置，其特征在于：

还包括时序控制单元，对所述曝光控制单元的曝光控制时序、所述摄像机信号处理单元的信号处理时序、所述影像合成单元的影像信号的合成时序和所述聚焦控制单元的聚焦透镜的控制时序进行控制，

该时序控制单元对各控制时序进行控制，以使所述摄像机信号处理单元对于所述摄像单元所输出的灵敏度不同的多个摄像信号分别生成聚焦评价值，所述聚焦控制单元对于同一灵敏度的摄像使用分别对应的聚焦评价值来控制聚焦透镜。

7.如权利要求6所述的摄像装置，其特征在于：

还包括聚焦控制信息记录单元，写入和读出用于所述聚焦控制单元进行聚焦控制的控制信息，

所述聚焦控制单元，在基于所述时序控制单元所控制的时序对所述摄像装置的灵敏度不同的多次摄像中的聚焦进行控制时，从该聚焦控制信息记录单元读出过去的同一灵敏度的摄像中的控制信息将其用于所述摄像单元的聚焦控制，并将该灵敏度的摄像中的最新的控制信息写入该聚焦控制信息记录单元。

8.如权利要求5～7中任意一项所述的摄像装置，其特征在于：

所述聚焦控制单元进行控制，使得仅在所述摄像单元没有进行曝光的期间中所述摄像单元进行聚焦动作。

9.一种摄像装置，其特征在于，包括：

具有焦距可变的聚焦透镜的摄像单元；

曝光控制单元，控制该摄像单元的曝光，实现对于同一被摄体的灵敏度不同的多次摄像；

摄像机信号处理单元，对该摄像单元所输出的信号进行摄像机信号处理，生成影像信号、表示合焦的程度的聚焦评价值；

影像合成单元，将该摄像机信号处理单元所生成的灵敏度不同的多个影像信号合成而输出；和

聚焦控制单元，基于该摄像机信号处理单元所输出的聚焦评价值控制该摄像单元的聚焦透镜，对焦距进行调节，其中，

在该摄像单元对同一被摄体进行灵敏度不同的多次摄像时，在各灵敏度下进行同一灵敏度、不同焦距的多次摄像，该影像合成单元将灵敏度和焦距不同的所有影像信号合成而输出。

Images