CN102625035A - 成像设备、成像控制方法和程序 - Google Patents

Abstract

在此公开成像设备、成像控制方法和程序。所述成像设备包括：半镀银镜，其将来自对象的入射光分割为沿两个光程行进的光通量；第一成像器件，其接收由半镀银镜分割的入射光通量之一；第二成像器件，其接收由半镀银镜分割的入射光通量的另一个；第一对象亮度信息计算器，其基于来自第一成像器件的输出计算第一对象亮度信息；第二对象亮度信息计算器，其基于来自第二成像器件的输出计算第二对象亮度信息；以及对象亮度信息比较器，其将第一对象亮度信息与第二对象亮度信息进行比较。

Description

成像设备、成像控制方法和程序

技术领域

本技术涉及成像设备、成像控制方法和程序，具体地，涉及可以减小由来自对象的偏振光入射到的两个成像器件产生的图像之间的亮度差异的成像设备、成像控制方法和程序。

背景技术

存在包括两个成像器件的成像设备，一个用于显示实况视图图像，而另一个用于捕获静态图像，并且被配置为由半镀银镜将来自对象的光分到用于显示实况视图图像的成像器件和用于捕获静态图像的成像器件(例如，参见JP-A-2007-97098)。

发明内容

然而，当入射到成像设备上的光偏振时(例如，当捕获液晶屏幕、水面或任何其它类似的对象的图像(液晶屏幕、水面或任何其它类似的对象上显示的图像)并且反射光入射到成像设备上时)，现有技术的由此配置的成像设备具有如下问题。

图1A和1B描述了反射率的差异与偏振状态的差异之间的关系。

考虑p偏振光(其偏振方向平行于入射面2)以及s偏振光(其偏振方向垂直于入射面2)以预定入射角度入射到玻璃表面1上，如图1A所示。图1B示出了入射角度和反射率之间的关系。

s偏振光的反射率随着入射角度增大而增大，而p偏振光的反射率随着入射角度增大而逐渐减小并且在特定入射角度达到0。反射率变为0的角度一般称为布鲁斯特角。反射率随着p偏振光的入射角度超过布鲁斯特角而增大。另一方面，偏振方向不固定的自然光的反射率大于p偏振光的反射率但小于s偏振光的反射率。

例如，考虑这样的情形：将上述的现有技术的成像设备用以捕获液晶屏幕的图像，在所述液晶屏幕上以液晶屏幕上显示的整个图像占据视野的方式显示图像，如图2A所示。假设p偏振光被反射离开液晶屏(其为对象)，并且入射到成像设备上。进一步假设被反射离开半镀银镜的入射光入射到用于显示实况视图的成像器件上，并且经过半镀银镜的入射光入射到用于捕获静态图像的成像器件上。

如参照图1B所述的那样，p偏振光的反射率随着其入射角度接近布鲁斯特角而减小。当入射光是p偏振光时，去往用于显示实况视图图像的成像器件的光量因此相比于入射光是自然光的情况下更小。

当执行曝光控制以使得通过使用用于显示实况视图图像的成像器件而确定的曝光值也用于捕获静态图像的成像器件时，基于通过使用比自然光的光量更小的光量而捕获的图像，确定用于捕获静态图像的曝光值。结果，以用于捕获静态图像的成像器件捕获的静态图像过度曝光，如图2B所示。即，图2B中所示的以用于捕获静态图像的成像器件捕获的静态图像不利地比以用于显示实况视图图像的成像器件捕获的实况视图图像更亮。

首先期望捕获实况视图图像和静态图像以便它们具有相同的亮度。然而，当入射光偏振时，现有技术的成像设备遭受实况视图图像和静态图像之间的辉度(亮度)的差异，如上所述。

因此，期望减小当来自对象的入射光偏振时以两个成像器件捕获的图像之间的亮度的差异。

根据本技术的一个实施例的成像设备包括：半镀银镜，其将来自对象的入射光分割为沿两个光程行进的光通量；第一成像器件，其接收由半镀银镜分割的入射光通量之一；第二成像器件，其接收由半镀银镜分割的入射光通量的另一个；第一对象亮度信息计算器，其基于来自第一成像器件的输出计算第一对象亮度信息；第二对象亮度信息计算器，其基于来自第二成像器件的输出计算第二对象亮度信息；以及对象亮度信息比较器，其将第一对象亮度信息与第二对象亮度信息进行比较。

根据本技术的一个实施例的成像控制方法与成像设备一起使用，所述成像设备包括半镀银镜，其将来自对象的入射光分割为沿两个光程行进的光通量；第一成像器件，其接收由半镀银镜分割的入射光通量之一；第二成像器件，其接收由半镀银镜分割的入射光通量的另一个。所述方法包括：通过使用第一对象亮度信息计算器，基于来自第一成像器件的输出计算第一对象亮度信息；通过使用第二对象亮度信息计算器，基于来自第二成像器件的输出计算第二对象亮度信息；以及通过使用对象亮度信息比较器，将第一对象亮度信息与第二对象亮度信息进行比较。

根据本技术的一个实施例的程序指示计算机用作：第一对象亮度信息计算器，其基于来自第一成像器件的输出计算第一对象亮度信息，所述第一成像器件接收来自对象的部分入射光，由半镀银镜分割入射光通量之一，所述半镀银镜将入射光分割为沿两个光程行进的光通量；第二对象亮度信息计算器，其基于来自第二成像器件的输出计算第二对象亮度信息，所述第二成像器件接收分割的入射光通量中的另一个；以及对象亮度信息比较器，其将第一对象亮度信息与第二对象亮度信息进行比较。

在本技术的实施例中，通过半镀银镜将来自对象的入射光分割为沿两个光程行进的光通量。基于来自第一成像器件的输出计算第一对象亮度信息，所述第一成像器件接收分割的入射光通量之一。基于来自第二成像器件的输出计算第二对象亮度信息，所述第二成像器件接收分割的入射光通量中的另一个。将第一对象亮度信息与第二对象亮度信息进行比较。

可以通过经由传输介质传送程序或将程序记录在记录介质上来提供程序。

成像设备可以是独立设备或形成单个设备的内部块。

根据本技术的一个实施例，当来自对象的入射光偏振时，可以抑制以两个成像器件捕获的图像之间的亮度的差异。

附图说明

图1A和1B描述反射率的差异与偏振状态的差异之间的关系；

图2A和2B描述偏振的影响；

图3是示出了根据本技术应用到的实施例的成像设备的配置示例的框图；

图4是示出了成像器件的详细配置示例的框图；

图5示出了目标物体的示例；

图6描述偏振的影响；

图7是描述由成像设备执行的曝光控制的流程图；

图8A到8C描述由成像设备执行的曝光控制；

图9描述阈值Th的另一个示例；

图10描述图9中所示的阈值Th的示例；

图11示出了报警显示的示例；

图12是描述由成像设备执行的曝光控制的另一个示例的流程图；

图13是详细描述分割处理的流程图；

图14描述分割的更小部分；以及

图15是示出了根据本技术应用到的实施例的计算机的配置示例的框图。

具体实施方式

[成像设备的配置示例]

图3是示出根据本技术应用到的实施例的成像设备的配置示例的框图。

成像设备11包括光学透镜单元21、半镀银镜22、机械快门23、第一成像器件24和第二成像器件25。

反射离开对象12的光经过光学透镜单元21并照射在半镀银镜22上。半镀银镜22将入射到其上的光分割为沿各自光程行进的反射光和透射光。反射光量与透射光量之比为1。即，反射离开对象12的光的一半被反射离开半镀银镜22且由第一成像器件接收，而剩余的另一半经过半镀银镜22且由第二成像器件25接收。半镀银镜22是其上涂覆了多层介质膜(dielectric multilayerfilm)的多层介质膜镜，并且在反射率方面不同地反射p偏振光和s偏振光，如参照图1B所述的那样。

如图3中的箭头所示，半镀银镜22可以固定或者可活动。当半镀银镜22可活动时，来自对象12的光可以入射到第二成像器件25上而不经过半镀银镜22。可替代地，半镀银镜22可以不同地配置为使得反射光量与透射光量之比是1以外的预定值。

第一成像器件24和第二成像器件25中的每一个均在光电转换处理中将预定曝光时段中接收到的光转换为电信号，并输出电信号。第一成像器件24是用于显示实况视图图像的成像器件，第二成像器件25是用于捕获静态图像的成像器件。第一成像器件24和第二成像器件25不一定具有上述的配置和作用，而是其例如可以相反地配置或者具有相反的作用。

第一成像器件24和第二成像器件25中的每一个以多种输出模式工作，不仅包括全像素输出模式，而且包括稀疏(thinning)输出模式(其中通过预定数量的像素稀疏全像素)、局部输出模式(其中仅选择并输出全区域的一部分)和其它输出模式。第一成像器件24的像素数量可以等于或不同于第二成像器件25的像素数量。当第一成像器件24的像素数量不同于第二成像器件25的像素数量时，用以捕获实况视图图像的第一成像器件24的像素数量一般小于第二成像器件25的像素数量。当第一成像器件24的像素数量小于第二成像器件25的像素数量时，第一成像器件24可以不执行像素稀疏或像素求和。

图4示出用作第一成像器件24和第二成像器件25的成像器件的详细配置的示例。

成像器件包括光电二极管51、AFE 52、ADC 53和时序发生器54。

光电二极管51在光电转换处理中将来自每个像素的光信号转换为电信号(像素信号)，并将电信号提供到AFE 52。AFE 52执行预定信号处理，如来自光电二极管51的电信号的放大和电信号中包含的噪声的减小。ADC 53将从AFE 52输出的作为结果的模拟像素信号转换为数字信号，并将其输出。时序发生器54将基于主时钟(master clock)的时序信号提供到光电二极管51、AFE 52和ADC 53以控制这些组件工作的时序。例如，时序发生器54控制光电二极管51输出每个像素信号的时序以及光电二极管51累积所接收的光的时段。时序发生器54还控制AFE 52受到驱动的时序。

再次参照图3，成像设备11进一步包括第一对象亮度计算器26、第一曝光控制器27和第一图像信号处理器28，其都是针对第一成像器件24提供的。类似地，成像设备11进一步包括第二对象亮度计算器29、第二曝光控制器30和第二图像信号处理器31，其都是针对第二成像器件25提供的。

第一对象亮度计算器26接收来自第一成像器件24的输出，并将作为第一输出图像的输出分割为预定数量的部分。在本实施例中，第一对象亮度计算器26将第一输出图像分割为x方向上的八个和y方向上的六个，共计48个部分。第一输出图像是显示为实况视图图像的图像。

第一对象亮度计算器26接着计算关于由第一成像器件24产生的第一输出图像的每一个部分的亮度的对象亮度信息I1。由此计算出的关于第一输出图像的每一个部分的亮度的对象亮度信息I1表示成对象亮度信息I1(i，j)(i＝1～8，j＝1～6)的形式。计算出的对象亮度信息I1(i，j)提供到第一曝光控制器27和曝光校正值计算器32。

第一曝光控制器27基于从第一对象亮度计算器26提供的对象亮度信息I1计算曝光值EV1。第一曝光控制器27接着基于计算出的曝光值EV1确定光学透镜单元21的光圈、第一成像器件24中的光电二极管51累积入射到其上的光的时段、AFE 52中的放大因子和其它值。第一曝光控制器27基于确定的值来控制上述组件。

第一图像信号处理器28对于携带第一输出图像的图像信号执行预定的图像处理，例如白平衡调整和缺陷像素内插。第一图像信号处理器28然后将已经经历了图像处理的图像信号转换例如为RGB(红、绿和蓝)信号(其遵循电子取景器33和液晶面板33的输入规格)，并将RGB信号提供到电子取景器33和液晶面板34。电子取景器33和液晶面板34显示从第一图像信号处理器28提供的RGB信号所对应的图像(实况视图图像)。用户(拍摄者)可以观看电子取景器33或液晶面板34上显示的实况视图图像，并在捕获静态图像之前检查图像的构图、亮度和色调以及其它参数。

为了将实况视图图像记录为运动画面，第一图像信号处理器28对已经经历了例如基于MPEG(运动画面专家组)的图像处理的图像信号执行压缩编码，并向图像记录器35提供处理后的信号。

第二对象亮度计算器29接收来自第二成像器件25的输出，并计算关于第二输出图像(其为来自第二成像器件25的输出)的每一个部分的亮度的对象亮度信息I2。第二输出图像的分割部分的数量等于第一输出图像的分割部分的数量，并且关于每个部分的亮度的对象亮度信息I2如对象亮度信息I1的情况下那样表示成对象亮度信息I2(i，j)的形式。计算出的对象亮度信息I2(i，j)提供到曝光校正值计算器32。

已经经历了稀疏处理的第二输出图像的像素数量被设置为小于以第二成像器件25捕获的全尺寸静态图像的像素数量。其原因在于，第二输出图像未被记录为静态图像，而是被捕获以进行对象亮度信息的比较，因此不需要是高分辨率图像。第二输出图像的像素数量当然可以与待捕获的静态图像的像素数量相同。

曝光校正值计算器32将来自第一对象亮度计算器26的对象亮度信息I1与来自第二对象亮度计算器29的对象亮度信息I2进行比较，并基于比较结果，计算曝光校正值deltaI，其用以通过第二成像器件25捕获静态图像。曝光校正值deltaI校正第一成像器件24和第二成像器件25之间的曝光差异，以在通过使用偏振入射光捕获实况视图图像和静态图像时，防止实况视图图像的辉度(亮度)与静态图像的辉度(亮度)不同。计算出的曝光校正值deltaI与从第一对象亮度计算器26提供的对象亮度信息I1一起提供到第二曝光控制器30。

第二曝光控制器30基于来自曝光校正值计算器32的对象亮度信息I1和曝光校正值deltaI计算曝光值EV2。更具体地，当实况视图图像和待捕获的静态图像之间的比较结果表明静态图像需要曝光校正时，曝光校正值计算器32提供对象亮度信息I1和曝光校正值deltaI。第二曝光控制器30将曝光校正值deltaI加到对象亮度信息I1，以计算经校正的对象亮度信息I2’(I1+deltaI)。第二曝光控制器30基于经校正的对象亮度信息I2’计算曝光值EV2。

另一方面，当实况视图图像和待捕获的静态图像之间的比较结果表明静态图像不需要曝光校正时，曝光校正值计算器32仅提供对象亮度信息I1。在这种情况下，第二曝光控制器30将来自曝光校正值计算器32的对象亮度信息I1直接设置为对象亮度信息I2’(＝I1)。第二曝光控制器30然后基于对象亮度信息I2’计算曝光值EV2。

第二曝光控制器30然后基于计算出的曝光值EV2确定光学透镜单元21的光圈、第二成像器件25中的光电二极管51累积入射到其上的光的时段、AFE 52中的放大因子、机械快门23打开的时段和其它值。第二曝光控制器30基于确定的值控制上述组件。

当实况视图图像和待捕获的静态图像之间的比较结果表明静态图像不需要曝光校正时，第二曝光控制器30可以可替代地获取由第二对象亮度计算器29计算出的对象亮度信息I2，并基于对象亮度信息I2计算曝光值EV2。

当按下释放按钮(未示出)时，第二成像器件25向第二图像信号处理器31提供携带了要作为静态图像记录的图像的图像信号。第二图像信号处理器31对提供的图像信号执行预定图像处理，例如白平衡调节和缺陷像素内插。第二图像信号处理器31然后对携带已经经历了图像处理的静态图像的图像信号执行例如基于JPEG(联合图像专家组)的压缩编码，并向图像记录器35提供处理后的信号。

图像记录器35将从第一图像信号处理器28或第二图像信号处理器31提供的并且基于预定的编码机制(如MPEG和JPEG)编码的图像信号作为文件记录在磁盘(硬盘)、光盘、磁光盘、半导体存储器或预定记录介质上。记录介质上记录的图像文件可以经由输入/输出单元(未示出)或通过卸载记录介质(当其可拆卸时)传送或复制到另一设备。

[目标物体(对象)的示例]

图5示出本实施例中以成像设备11成像的目标物体(对象)的示例。

成像设备11捕获由房间中放置的桌子和水果以及置于桌子上的液晶显示设备(液晶电视接收器)形成的对象的图像，如图5所示。在这种情况下，成像设备11上从液晶显示设备的液晶屏入射的光是偏振光。当成像设备11不执行防止实况视图图像的辉度(亮度)不同于静态图像的辉度(亮度)的曝光校正时，与实况视图图像相比，对应于液晶屏的捕获的静态图像的区域不利地过度曝光，如图2B所示。

图6示出了图5中所示的被分割为x方向上的八个和y方向上的六个(共计48个部分)的目标物体。

例如，在与液晶屏对应的区域之外的部分(1，1)、部分(8，6)和其它部分中，对象亮度信息I1等于对象亮度信息I2。即，对象亮度信息I1(1，1)等于对象亮度信息I2(1，1)，并且对象亮度信息I1(8，6)等于对象亮度信息I2(8，6)。

然而，在对应于液晶屏的区域内的部分(5，2)中，由两个成像器件(第一成像器件24和第二成像器件25)接收到的光量之比为1∶√2。例如，当对象亮度信息I1(5，2)是7EV时，对象亮度信息I2(5，2)是7.5EV。结果，如果不执行曝光校正，则与实况视图图像相比，捕获的静态图像中对应于液晶屏的区域过度曝光。

[曝光控制的流程图]

为了解决此问题，成像设备11执行图7的流程图中所示的曝光控制。

在曝光控制中，在步骤S1，第一对象亮度计算器26首先计算关于以第一成像器件24捕获的第一输出图像的每个部分的亮度的对象亮度信息I1。将针对每个部分计算出的对象亮度信息I1(i，j)提供到第一曝光控制器27和曝光校正值计算器32。

在步骤S2，第一曝光控制器27基于从第一对象亮度计算器26提供的且表示第一输出图像的亮度的对象亮度信息I1来计算曝光值EV1。

在步骤S3，第一曝光控制器27基于计算出的曝光值EV1来确定光学透镜单元21的光圈、第一成像器件24中的光电二极管51累积入射到其上的光的时段、AFE 52中的放大因子和其它值。第一曝光控制器27基于确定的值来控制这些组件。

在步骤S4，第二对象亮度计算器29计算关于以第二成像器件25捕获的第二输出图像的每个部分的亮度的对象亮度信息I2。针对每个部分计算出的对象亮度信息I2(i，j)提供到曝光校正值计算器32。

在步骤S5，曝光校正值计算器32选择48个分割部分中之一作为感兴趣的部分。换言之，曝光校正值计算器32确定标识48个部分中之一的变量i和j。

在步骤S6，曝光校正值计算器32判断关于感兴趣的部分的亮度的对象亮度信息I1(i，j)与对象亮度信息I2(i，j)之间的差的绝对值是否大于预定阈值Th。即，曝光校正值计算器32判断来自第一成像器件24的感兴趣部分的输出图像与来自第二成像器件25的感兴趣部分的输出图像之间是否存在亮度差异。对象亮度信息I1(i，j)与对象亮度信息I2(i，j)之间的差的绝对值在入射到感兴趣部分的光被偏振时变大，而随着偏振程度减小而变小。例如，预定阈值Th可以是1/8EV。

当步骤S6中的判断结果表明关于感兴趣部分的亮度的对象亮度信息I1(i，j)与对象亮度信息I2(i，j)之间的差的绝对值大于阈值Th时，控制进行到步骤S7，并且曝光校正值计算器32将1加到计数器Num，所述计数器Num对于已经判断出亮度差大于阈值Th的部分的总数进行计数。注意，在初始状态下，将计数器Num设置为“0”。

在步骤S8，曝光校正值计算器32针对对象亮度信息I1和对象亮度信息I2的每一个，执行用于计算亮度差已经判断为大的各部分的亮度值之和Sum的运算。具体地，曝光校正值计算器32将关于感兴趣部分的亮度的对象亮度信息I1(i，j)加到第一输出图像的各亮度值之和SumI1，并且将关于感兴趣部分的亮度的对象亮度信息I2(i，j)加到第二输出图像的各亮度值之和SumI2。在初始状态下将总和SumI1和总和SumI2的每一个设置为“0”。

另一方面，当步骤S6中的判断结果表明关于感兴趣部分的亮度的对象亮度信息I1(i，j)和对象亮度信息I2(i，j)之间的差的绝对值小于或等于阈值Th时，跳过上述步骤S7和S8。

在步骤S9，曝光校正值计算器32判断是否已经对于所有部分将对象亮度信息I1与对象亮度信息I2进行了比较。

当步骤S9中的判断结果表明尚未对所有部分将对象亮度信息I1与对象亮度信息I2进行了比较时，控制返回到步骤S5，并且重复步骤S5到S9中的处理。即，选择尚未被选择为感兴趣部分的预定部分作为感兴趣部分，并且曝光校正值计算器32判断对象亮度信息I1(i，j)与对象亮度信息I2(i，j)之间的差的绝对值是否大于阈值Th。

另一方面，当步骤S9中的判断结果表明已经对于所有部分将对象亮度信息I1与对象亮度信息I2进行了比较时，控制进行到步骤S10。

在步骤S10，曝光校正值计算器32判断亮度差已经判断为大的各部分的总数Num是否大于乘以预定比率Ratio的部分的总数(48＝6×8)。即，曝光校正值计算器32判断亮度差已经判断为大的各部分与整个图像的面积比是否大于预定面积比Ratio。期望预定比Ratio至少为0.5。

当面积比小于或等于预定比率Ratio时，认为偏正将不会极大地影响待捕获的静态图像，并且当以第二成像器件25捕获静态图像时不需要曝光校正。另一方面，当面积比大于预定比率Ratio时，认为偏振将极大地影响待捕获的静态图像，并且当以第二成像器件25捕获静态图像时需要曝光校正。其原因如下。

面积比大于预定比率Ratio的示例是如图2A所示那样液晶屏占据成像范围的情况。在这种情况下，曝光校正如上所述那样不会引起捕获的静态图像过度曝光。

相比之下，例如，当液晶屏仅占据部分成像范围且面积比小于预定比率Ratio(如图8A所示)时，如图2B中那样，曝光校正仅不会引起与液晶屏对应的部分过度曝光(如图8B所示)。执行曝光校正允许与液晶屏对应的部分充分地曝光，但由于曝光校正而使得其它区域更暗(如图8C中所示)。即，与液晶屏对应的部分充分地曝光，而其图像更暗的其它区域占据相对大的面积。在这种情况下，观看者认为与液晶屏对应的部分相对于其它区域过度曝光，因而认为图像不正确。因此，当亮度差已经判断为大的各部分与整个图像的面积比很小时，最好不执行曝光校正。

当在步骤S10中的判断结果表明亮度差已经判断为大的部分与整个图像的面积比小于或等于预定比率Ratio时，控制进行到步骤S11，并且曝光校正值计算器32向第二曝光控制器30仅提供对象亮度信息I1。第二曝光控制器30然后将来自曝光校正值计算器32的对象亮度信息I1直接设置为经校正的对象亮度信息I2’(＝I1)。

另一方面，当步骤S10中的判断结果表明亮度差已经判断为大的各部分与整个图像的面积比大于预定比率Ratio时，控制进行到步骤S12，并且曝光校正值计算器32计算曝光校正值deltaI。具体地，曝光校正值计算器32计算亮度值之和之间的差的平均{deltaI＝(SumI1-SumI2)/Num}以按部分计算由于偏振导致的亮度差，并将结果设置为曝光校正值deltaI。

可替代地，可以通过考虑亮度差已经判断为大的各部分与整个图像的面积比{Num/(8×6)}来计算曝光校正值deltaI。即，可以通过表达式deltaI＝{(SumI1-SumI2)/Num}×{Num/(8×6)}计算曝光校正值deltaI。

由此计算的曝光校正值deltaI与对象亮度信息I1一起提供到第二曝光控制器30。

在步骤S13，第二曝光控制器30将曝光校正值deltaI添加到对象亮度信息I1(其已经从曝光校正值计算器32提供)，以计算经校正的对象亮度信息I2’(＝I1+deltaI)。

在步骤S14，第二曝光控制器30基于对象亮度信息I2’计算曝光值EV2。

当亮度差大的部分与整个图像的面积比大于预定比率Ratio并且尤其是偏振影响整个部分时，第二曝光控制器30可以从第二对象亮度计算器29获取对象亮度信息I2，并基于对象亮度信息I2计算曝光值EV2。

在步骤S15，第二曝光控制器30基于计算出的曝光值EV2确定光学透镜单元21的光圈、第二成像器件25中的光电二极管51累积入射到其上的光的时段、AFE 52中的放大因子、机械快门23打开的时段和其它值。第二曝光控制器30基于确定的值来控制上述各组件。然后终止曝光控制。

如上所述，根据成像设备11执行的曝光控制，在多个分割部分的对应部分之间比较对象亮度信息。当偏振不会极大地影响整个图像时，即，当亮度差大的部分与整个部分的面积比小于或等于预定比率Ratio时，将来自曝光校正值计算器32的对象亮度信息I1直接设置为经校正的对象亮度信息I2’(＝I1)。

另一方面，当偏振极大地影响整个图像时，即，当亮度差大的部分与整个部分的面积比大于预定比率Ratio时，通过将曝光校正值deltaI添加到对象亮度信息I1而获得的值被设置为经校正的对象亮度信息I2’(＝I1+deltaI)。

当入射光偏振时，以第一成像器件24捕获的图像与以第二成像器件25捕获的图像之间的亮度差由此减小，从而拍摄者可以捕获几乎不使得拍摄者认为图像不正确的静态图像。

成像设备11将输出图像分割为多个部分，比较分割部分的对应部分之间的亮度差，并且当偏振极大地影响待捕获的静态图像时执行曝光校正。以这种方式，即使当整个成像范围的一部分示出由于偏振的入射光而导致的亮度差时，拍摄者也可以捕获几乎不使得拍摄者认为图像不对的静态图像。

在上述曝光控制中基于对象亮度信息I1计算曝光值EV1时，曝光值EV1可以基于关于亮度差已经判断为大的部分以外的部分的亮度的对象亮度信息I1来计算。以这种方式，偏振影响曝光值EV1的计算很小的量。在这种情况下，第一曝光控制器27需要从曝光校正值计算器32获取关于每一个部分的亮度的对象亮度信息I1(i，j)和对象亮度信息I2(i，j)之间的差的绝对值本身或者用于标识亮度差大的部分的信息。

在上述示例中，基于对象亮度信息I1计算曝光值EV1。曝光值EV1可以可替代地基于对象亮度信息I2和曝光校正值deltaI来计算。在这种情况下，计算过程如下。

第二对象亮度计算器29计算出的对象亮度信息I2首先被提供到第二曝光控制器30，然后第二曝光控制器30基于对象亮度信息I2计算曝光值EV2。

然后计算关于以第一成像器件24捕获的第一输出图像的每一个部分的亮度的对象亮度信息I1，并且通过计算关于每一个部分的亮度的对象亮度信息I1(i，j)和对象亮度信息I2(i，j)之间的差的绝对值来计算曝光校正值deltaI。

当亮度差已经判断为大的部分与整个图像的面积比大于预定比率Ratio时，通过将曝光校正值deltaI添加到对象亮度信息I2而获得的值被设置为经校正的对象亮度信息I1’(＝I2+deltaI)。当亮度差已经判断为大的部分与整个图像的面积比小于或等于预定比率Ratio时，将对象亮度信息I2直接设置为经校正的对象亮度信息I1’(＝I2)。然后基于对象亮度信息I1’计算曝光值EV1。

然后基于计算出的曝光值EV1和EV2来确定光学透镜单元21的光圈和其它参数，并且基于由此确定的参数来控制光学透镜单元21和其它相关组件，如上所述。

[阈值Th的另一个示例]

在图7中所示的过程中，在步骤S6中的判断亮度差是否大的处理中使用的阈值Th是固定的。阈值Th可以可替代地根据亮度而自适应地改变。

例如，认为拍摄者有可能在输出图像、实况视图图像和静态图像的大多部分的亮度值彼此很不同时觉得捕获的静态图像不对。鉴于该事实，当对象亮度信息I1被分布为使得中间亮度值与平均值Iavg一致且如图9中所示那样最频繁地出现时，基于较低的阈值Th可以判断出具有更接近平均值Iavg的亮度的感兴趣部分。

即，基于如下表达式可以确定阈值Th。

Th＝Th0+k×|Iavg-I12avg|

其中Th0和k是预定常数，Iavg表示对象亮度信息I1的平均值，I12avg表示关于感兴趣部分的亮度的对象亮度信息I1(i，j)和对象亮度信息I2(i，j)的平均值(I12avg＝(I1(i，j)+I2(i，j))/2)。

在图9中所示的示例中，将中间亮度值的阈值设置为小值，因此有可能执行校正，而对于低和高亮度值前摄地(proactively)不执行校正。可替代地，Iavg可以是对象亮度信息I2的平均值或者对象亮度信息I1和对象亮度信息I2的平均值。

例如，当将Th0和k设置为使得Th0＝1/8和k＝1/32，并且感兴趣部分的亮度值的平均值I12avg等于对象亮度信息I1的平均值Iavg时，阈值Th等于1/8并且随着平均值I12avg偏移平均值Iavg而增大，如图10所示。当|Iavg-I12avg|＝4时，例如，阈值Th等于1/4。

进一步，在一些情况下，对象亮度信息I1的平均亮度Iavg与频繁出现的亮度不一致。例如，每个亮度以同一频率出现的情形是所述情况。在这种情况下，与使用中的场景模式(如，风景模式和人像模式)对应的预定亮度用作基准，其代替上述Iavg，并且可以改变阈值Th以使得其随着平均值I12avg靠近基准而减小。

进一步，由于认为拍摄者往往观看图像的中心，因此可以根据从图像中心到感兴趣部分的距离来设置阈值Th。在这种情况下，以图像的中心与感兴趣部分的中心之间的距离来替换上述|Iavg-I12avg|的部分。

[报警显示的示例]

在图7中所示的步骤S6的处理中，当存在亮度差已经判断为大的至少一个部分时，换言之，当用户(拍摄者)可能认为捕获的静态图像的一部分与实况视图图像的对应部分不同时，成像设备11可以向用户发布警报以通知存在可察觉的差异。

图11示出了报警显示的示例。

例如，待显示的警报可以是预定符号(标记)或消息，如“亮度差！！”，如图11所示。可替代地，待显示的警报可以是在亮度差已经判断为大的部分上显示的黑白斑马图案。为了通过改变亮度差已经判断为大的部分显示的方式来显示警报，可以显示斑马图案以外的图案，可以颠倒第一输出图像的亮度，或者可以允许第一输出图像闪烁。又或者，基于可视输出的警报可以以基于音频输出的警报代替，如“亮度差！！”或预定声音。

在发出警报之后，成像设备11允许用户选择是否执行曝光校正。可替代地，成像设备11可以允许用户例如通过动作设置屏幕来指定是否执行曝光校正并基于通过动作设置屏幕而设置的信息以及显示警报来执行(或不执行)曝光校正。

[曝光控制的另一个示例]

将描述曝光控制的另一个示例。

在上述曝光控制中，增大分割部分的数量使得可以基于小面积计算亮度差，从而使得计算出的差是精确的。然而，仅增大分割部分的数量相应地增大了计算负荷和时段。

鉴于该事实，成像设备11可以执行图12中的流程图中所示的曝光控制。

在图12中所示的曝光控制中，步骤S27中的分割处理代替图7中的步骤S7和S8中的处理，并且其它步骤与图7中所示的曝光控制中的步骤相同。因此对于步骤S27中的处理以外的处理不进行描述。

在图12所示的曝光控制中，当关于感兴趣部分的亮度的对象亮度信息I1(i，j)和对象亮度信息I2(i，j)之间的差的绝对值判断为大于阈值Th时，将感兴趣部分进一步分割为多个更小的部分，并且在对应的分割部分之间比较对象亮度信息。

即，当步骤S26中的判断结果表明关于感兴趣部分的亮度的对象亮度信息I1(i，j)和对象亮度信息I2(i，j)之间的差的绝对值判断为大于阈值Th时，在步骤S27分割感兴趣部分。

在分割处理中，预先确定将感兴趣部分分割为多少更小的部分。在本实施例中假设将感兴趣部分分割为4(＝2×2)个更小的部分。

图13是详细示出步骤S27中的分割处理的流程图。

在分割处理中，在第一步骤S41，曝光校正值计算器32选择四个分割的更小部分(其已经通过分割感兴趣部分而获得)之一。

在步骤S42，曝光校正值计算器32判断对应的所选择的分割的更小部分之间的亮度差是否大于预定阈值Th’。即，令(i，j)_k(k为范围介于1到4的值之一)为四个分割的更小部分(其已经通过分割感兴趣部分而获得)之一，并且曝光校正值计算器32判断对象亮度信息I1(i，j)_k和对象亮度信息I2(i，j)_k之间的差的绝对值是否大于预定阈值Th’。阈值Th’可以等于步骤S26中的阈值Th，或者可以最好大于阈值Th。

当步骤S42中的判断结果表明对应的所选择的分割的更小部分之间的亮度差大于阈值Th’时，执行步骤S43和S44中的处理，而当步骤S42中的判断结果表明亮度差小于或等于阈值Th’时，跳过步骤S43和S44中的处理。对相应的所选择的分割的更小部分执行的步骤S43和S44中的处理对应于图7中的步骤S7和S8中的处理。

即，在步骤S43，曝光校正值计算器32将表示对应的所选择的分割的更小部分的1/4添加到用于计数亮度差已经判断为大的部分的总数的计数器Num。

在步骤S44，曝光校正值计算器32将关于所选择的分割的更小部分的亮度的对象亮度信息I1(i，j)_k添加到第一输出图像的亮度值之和SumI1，并且将关于所选择的分割的更小部分的亮度的对象亮度信息I2(i，j)_k添加到第二输出图像的亮度值之和SumI2。

在步骤S45，曝光校正值计算器32判断是否已经对于所有分割的更小部分进行了对象亮度信息I1与对象亮度信息I2之间的比较。

当步骤S45中的判断结果表明尚未对于所有分割的更小部分进行了对象亮度信息I1与对象亮度信息I2之间的比较时，控制返回到步骤S41，并且重复步骤S41到S45中的处理。即，曝光校正值计算器32判断尚未选择的感兴趣部分中分割的更小部分之间的亮度差是否大于阈值Th’。

另一方面，当步骤S45中的判断结果表明已经对于所有分割的更小部分进行了对象亮度信息I1和对象亮度信息I2之间的比较时，控制返回到图12中所示的过程，并且进行到下面的步骤S28。

执行上述处理允许包含涉及偏振光的区域和不涉及偏振光的区域二者且产生亮度差(例如，图14中所示的部分I(8，2))的部分的更精确检测。由于预先确定分割数量，因此只要在步骤S26的处理(基于感兴趣部分的亮度差的计算)中也存储分割的更小部分的亮度值，则计算量将不会大量增加。数据量可以小于仅将每个部分分割为更小部分的情况，从而可以缩短计算时段并且可以减小存储容量。

当步骤S42中的判断结果表明对应的所选择的分割的更小部分示出亮度差时，可以将分割的更小部分进一步分割为特定数量的子部分，并且可以基于分割的子部分执行步骤S43和S44中的处理。即，仅进一步分割存在亮度差的部分允许更精确地检测存在亮度差的部分。

在上述曝光控制中，用于确定与第二成像器件25相关联的对象亮度信息I2的光度测量不影响待输出的静态图像。因此，通过适当时执行像素稀疏或局部区域提取，用于确定对象亮度信息I2的第二输出图像的像素数量可以小于捕获的静态图像的像素数量。例如，第二输出图像的像素数量可以等于第一输出图像的像素数量。因此可以减小功耗。通过降低捕获第二输出图像的帧速，可以进一步减小功耗。当然，对于第一成像器件24同样如此，即，可以采用像素稀疏、局部区域提取和帧速改变。进一步，通过使用第二成像器件25的光度测量不一定连续执行，而是可以仅仅在刚捕获静态图像之前执行，从而可以进一步减小功耗。

上述一系列处理可以通过硬件或软件执行。为了通过软件执行这一系列处理，在计算机中安装包含软件的程序。计算机可以是并入了专用硬件的计算机、通过安装各种程序能够执行各种功能的通用个人计算机或者任何其它合适的计算机。

图15是示出使用用以执行上述一系列处理的程序的计算机的硬件配置示例的框图。

在计算机中，CPU(中央处理单元)101、ROM(只读存储器)102、RAM(随机存取存储器)103经由总线104互连。

输入/输出接口105也连接到总线104。输入部分106、输出部分107、存储部分108、通信部分109和驱动器110连接到输入/输出接口105。

输入部分106例如由键盘、鼠标和麦克风形成。输出部分107例如由显示器和扬声器形成。存储部分108例如由硬盘驱动器和非易失性存储器形成。通信部分109例如由网络接口形成。驱动器110驱动可拆卸记录介质111，如磁盘、光盘、磁光盘和半导体存储器。

在如此配置的计算机中，CPU 101例如将存储部分108中存储的程序经由输入/输出接口105和总线104加载到RAM 103，并运行程序以执行上述一系列处理。

在计算机中，通过将可拆卸记录介质111加载到驱动器110中，可以经由输入/输出接口105将程序安装到存储部分108中。可替代地，经由有线或无线传输介质(如，局域网、因特网和数字卫星广播)通过通信部分109接收程序，可以将程序安装到存储部分108中。又或者，可以将程序预先安装在ROM102或存储部分108中。

本说明书的流程图中所述的步骤可以但不一定以所描述的次序按照时间顺序连续执行，或者可以同时执行，或者每一个步骤可以在必要的时刻(例如，在调用步骤时)执行。

本技术的实施例不限于上述那些实施例，而是可以以不脱离本技术的实质的程度进行各种改变。

本公开包含与2011年1月27日向日本专利局提交的日本优先权专利申请JP 2011-014939中公开的主题有关的主题，其全部内容通过引用的方式合并在此。

Claims (13)

1.一种成像设备，包括：

半镀银镜，其将来自对象的入射光分割为沿两个光程行进的光通量；

第一成像器件，其接收由半镀银镜分割的入射光通量之一；

第二成像器件，其接收由半镀银镜分割的入射光通量的另一个；

第一对象亮度信息计算器，其基于来自第一成像器件的输出计算第一对象亮度信息；

第二对象亮度信息计算器，其基于来自第二成像器件的输出计算第二对象亮度信息；以及

对象亮度信息比较器，其将第一对象亮度信息与第二对象亮度信息进行比较。

2.根据权利要求1所述的成像设备，

其中，对象亮度信息比较器基于第一对象亮度信息和第二对象亮度信息之间的比较结果，计算用于校正第一成像器件和第二成像器件之间的输出的差异的曝光校正值。

3.如权利要求1所述的成像设备，

其中，将来自第一和第二成像器件中的每一个的输出分割为多个部分，

第一对象亮度信息计算器对于每一个部分计算第一对象亮度信息，

第二对象亮度信息计算器对于每一个部分计算第二对象亮度信息，以及

对象亮度信息比较器在各部分的对应部分之间将第一对象亮度信息与第二对象亮度信息进行比较。

4.如权利要求3所述的成像设备，

其中，当亮度差大的部分与整个部分的面积比大于预定比率时，对象亮度信息比较器计算用于校正第一和第二成像器件之间的输出的差异的曝光校正值。

5.如权利要求3所述的成像设备，进一步包括曝光控制部件，其用于计算在以第一成像器件捕获图像时使用的曝光值，通过使用关于第一对象亮度信息和第二对象亮度信息之间的差大的部分以外的部分的亮度的第一对象亮度信息来计算曝光值。

6.如权利要求3所述的成像设备，

其中，对象亮度信息比较器将关于各部分的对应部分的亮度的第一对象亮度信息和第二对象亮度信息之间的差与预定阈值进行比较，并且

根据对象亮度信息自适应地改变所述预定阈值。

7.如权利要求3所述的成像设备，

其中，对象亮度信息比较器将第一对象亮度信息和第二对象亮度信息之间的差判断为大的部分进一步分割为多个更小的部分，并将关于分割的更小部分的对应部分的亮度的第一对象亮度信息和第二对象亮度信息彼此比较。

8.如权利要求1所述的成像设备，

进一步包括报警部件，其用于在第一对象亮度信息与第二对象亮度信息之间的比较结果表明各部分中的至少一部分在第一对象亮度信息和第二对象信息之间具有差异时发出警报。

9.如权利要求1所述的成像设备，

其中，来自第一和第二成像器件的至少一个经历稀疏。

10.如权利要求1所述的成像设备，

其中，第一成像器件用以显示实况视图图像，以及

其中，第二成像器件用以捕获静态图像。

11.如权利要求10所述的成像设备，

其中，仅在刚捕获静态图像之前，第二成像器件提供用于将第一对象亮度信息与第二对象亮度信息进行比较的输出。

12.一种与成像设备一起使用的成像控制方法，所述成像设备包括：半镀银镜，其将来自对象的入射光分割为沿两个光程行进的光通量；第一成像器件，其接收由半镀银镜分割的入射光通量之一；第二成像器件，其接收由半镀银镜分割的入射光通量的另一个，所述方法包括：

通过使用第一对象亮度信息计算器，基于来自第一成像器件的输出计算第一对象亮度信息；

通过使用第二对象亮度信息计算器，基于来自第二成像器件的输出计算第二对象亮度信息；以及

通过使用对象亮度信息比较器，将第一对象亮度信息与第二对象亮度信息进行比较。

13.一种程序，其指示计算机用作：

第一对象亮度信息计算器，其基于来自第一成像器件的输出计算第一对象亮度信息，所述第一成像器件接收来自对象的部分入射光，入射光通量之一由半镀银镜分割，所述半镀银镜将入射光分割为沿两个光程行进的光通量；

第二对象亮度信息计算器，其基于来自第二成像器件的输出计算第二对象亮度信息，所述第二成像器件接收分割的入射光通量中的另一个；以及

对象亮度信息比较器，其将第一对象亮度信息与第二对象亮度信息进行比较。

Images