CN104995905B - 图像处理设备、拍摄控制方法和程序 - Google Patents

Abstract

一种信息处理系统，其获取由布置在壳体的第一侧的第一相机单元所捕获的第一图像数据；获取由布置在与壳体的第一侧相对的壳体的第二侧的第二相机单元所捕获的第二图像数据；以及基于第一图像数据来修改第二图像数据。

Description

图像处理设备、拍摄控制方法和程序

相关申请的交叉引用

本申请要求享有于2013年2月20日提交的日本优先权专利申请JP 2013-031376的权益，其全部内容通过引用并入本文。

技术领域

本技术涉及图像处理设备、拍摄控制方法和程序，并且更具体地涉及能够获得较高质量图像的图像处理设备、拍摄控制方法和程序。

背景技术

以往，已知安装有两个相机的成像设备。一些成像设备可以同时用两个相机拍摄图像。

例如，作为所述成像设备，已经提出执行如下控制的成像设备：成像被配置为当试图用主相机对被摄体进行成像时用主相机来执行，并且改变用子相机成像的拍摄者的表示(例如，参见专利文献1)。

引用列表

专利文献

专利文献1：日本未经审查的专利申请公开第2010-11253号

发明内容

技术问题

然而，在上述技术中，由主相机基于用子相机获得的图像来控制拍摄定时。因此，不能获得诸如具有较高锐度的图像或较接近拍摄者的视点的图像这样的较高质量图像。

期望提供能够获得较高质量图像的技术。

解决问题的技术方案

根据一方面，本公开涉及一种包括电路的信息处理系统，所述电路被配置为：获取由被布置在壳体的第一侧的第一相机单元所捕获的第一图像数据；获取由布置在与壳体的第一侧相对的壳体的第二侧的第二相机单元所捕获的第二图像数据；以及基于第一图像数据来修改第二图像数据。

可以在由第二相机单元捕获第二图像数据的基本相同时间由第一相机单元捕获第一图像数据。

所述电路可以被配置为通过基于第一图像数据对第二图像数据进行模糊校正来修改第二图像数据。

所述电路可以被配置为：基于第一图像数据来生成第一运动信息；基于第二图像数据来生成第二运动信息；以及通过基于第一运动信息和第二运动信息对第二图像数据进行模糊校正来修改第二图像数据。

所述电路可以被配置为：通过基于第一图像数据控制与第二图像数据对应的图像捕获角度来修改第二图像数据。

所述电路可以被配置为通过改变第二相机单元的缩放比率、改变第二相机单元的光圈、改变第二相机单元的朝向以及对第二图像数据进行图像变形中的至少一个来控制与第二图像数据对应的图像捕获角度。

所述电路可以被配置为：向显示器输出第二图像数据；基于第一图像数据来检测用户在显示器上的注视位置；以及通过基于所检测到的用户在显示器上的注视位置控制第二相机单元的图像捕获参数来修改第二图像数据。

所述电路可以被配置为通过将第一图像数据和第二图像数据合成来修改第二图像数据。

所述电路可以被配置为：获取与第一图像数据对应的第一白平衡值；获取与第二图像数据对应的第二白平衡值；以及基于第一白平衡值和第二白平衡值来控制光源发射光。

所述电路可以被配置为：获取在光源发射光的同时由第一相机单元所捕获的第三图像数据；以及通过将第三图像数据和第二图像数据合成来修改第二图像数据。

根据另一方面，本公开涉及一种信息处理方法，其包括：获取由布置在壳体的第一侧的第一相机单元所捕获的第一图像；获取由布置在与壳体的第一侧相对的壳体的第二侧的第二相机单元所捕获的第二图像数据；以及基于第一图像数据来修改第二图像数据。

根据另一方面，本公开涉及一种包括计算机程序指令的非暂态计算机可读介质，所述计算机程序指令在被信息处理系统执行时使该系统：获取由被布置在壳体的第一侧的第一相机单元所捕获的第一图像数据；获取由布置在与壳体的第一侧相对的壳体的第二侧的第二相机单元所捕获的第二图像数据；以及基于第一图像数据来修改第二图像数据。

发明的有益效果

根据本技术的实施例，可以获得较高质量图像。

附图说明

图1是例示图像处理设备的外观的配置示例的图。

图2是例示图像处理设备的配置示例的图。

图3是例示信号处理单元的配置示例的图。

图4是描述拍摄处理的流程图。

图5是描述运动信息的图。

图6是描述运动信息的图。

图7是描述相机模糊校正的图。

图8是例示图像处理设备的配置示例的图。

图9是描述拍摄处理的流程图。

图10是描述视场角调整的图。

图11是例示信号处理单元的配置示例的图。

图12是描述拍摄处理的流程图。

图13是描述视场角调整的图。

图14是描述焦点调整的图。

图15是例示信号处理单元的配置示例的图。

图16是描述拍摄处理的流程图。

图17是描述光源匹配的图。

图18是例示信号处理单元的配置示例的图。

图19是描述拍摄处理的流程图。

图20是例示图像处理设备的外观的配置示例的图。

图21是例示图像处理设备的配置示例的图。

图22是描述拍摄处理的流程图。

图23是描述拍摄处理的流程图。

图24是例示计算机的配置示例的图。

具体实施方式

以下将参照附图来描述应用本技术的实施例。

第一实施例

本技术的实施例的概览

本技术的实施例涉及包括多个成像单元的设备，诸如多功能型移动电话或数字相机，所述设备可以沿彼此不同的方向拍摄图像并且在主成像单元拍摄图像时基于从由另一成像单元所拍摄的图像获得的信息来进行拍摄控制。

这里进行的拍摄控制是用于与要拍摄的图像有关的调整的控制，例如驱动对成像单元的控制，诸如图像视图调整、或者对被摄体的照明、或者诸如相机模糊校正或白平衡调整这样的对图像的图像质量调整。假设拍摄控制包括控制执行图像处理直至在拍摄图像以获得用于记录的最终图像之后记录图像。在本技术的实施例中，较高质量图像可以通过进行这样的拍摄控制来获得。

图1是例示应用本技术的实施例的诸如多功能移动电话这样的图像处理设备的外观的配置示例的图。

在图1中，由箭头A11所指示的图像处理设备11的外观是前表面侧，即当用户持有图像处理设备11以进行操作时从用户所观看的外观侧。由箭头A12所指示的图像处理设备11的外观是侧表面侧，即当从由图中的箭头A11所旨示的图像处理设备11的左侧或右侧观看时的外观侧。由箭头A13所指示的图像处理设备11的外观是后表面侧，即前表面侧的相对表面侧的外观。

如箭头A11所指示，显示图像等的显示单元21安装在图像处理设备11的前表面侧。用户用以进行输入操作的触摸面板被安装以叠加在显示单元21上。在显示单元21位于图像处理设备11的前表面上的图中，在上侧还安装有拍摄存在于图像处理设备11的前表面侧的方向上的被摄体的内图像捕获单元22。因此，在大多数情况下，由内图像捕获单元22所拍摄的图像是操作图像处理设备11的用户的图像。以下，由内图像捕获单元22所拍摄的图像被称为内图像(in-image)。将假设拍摄用户的图像作为内图像来继续进行描述。

如箭头A13所指示，拍摄存在于图像处理设备11的后表面侧的方向上的被摄体的外图像捕获单元23安装在图像处理设备11的后表面上。在该示例中，安装外图像捕获单元23以拍摄内图像捕获单元22的拍摄方向的相对方向上的图像。然而，内图像捕获单元22和外图像捕获单元23可以被布置为使得拍摄方向彼此不同。

由外图像捕获单元23所拍摄的图像通常是用户所观看的风景、人类等的图像，即用户认为期望拍摄的被摄体的图像。以下，由外图像捕获单元23所拍摄的图像被称为外图像(out-image)。

图像处理设备11在拍摄外图像时拍摄内图像以及外图像，并且进行拍摄控制以通过使用内图像除去外图像的相机抖动分量来获得具有较高锐度的外图像。即，执行相机模糊校正作为对外图像的拍摄控制。在该实施例中，假设拍摄运动图像作为外图像和内图像。

(图像处理设备的配置示例1)

接下来，将描述图像处理设备11的更详细的配置。

图2是例示图像处理设备11的更详细的配置示例的框图。在图2中，对与图1中的构成元件相对应的构成元件给出相同的标记，并且将适当地省略其描述。

在图2中所例示的图像处理设备11包括显示单元21、内图像捕获单元22、外图像捕获单元23、操作输入单元51、控制单元52、信号处理单元53以及记录单元54。

例如，操作输入单元51由叠加在显示单元21上的触摸面板来形成，并且根据用户的操作向控制单元52提供信号。

控制单元52根据从操作输入单元51提供信号来控制整个图像处理设备11的处理。例如，控制单元52指示内图像捕获单元22或外图像捕获单元23拍摄图像，或者指示信号处理单元53对外图像进行各种处理。控制单元52指示显示单元21显示图像，或者指示记录单元54记录图像。

信号处理单元53基于从外图像捕获单元23提供的外图像以及从内图像捕获单元22提供的内图像对外图像进行相机模糊校正，并且将作为图像处理的结果所获得的外图像提供给记录单元54以记录外图像。信号处理单元53从记录单元54读取外图像，并且向显示单元21提供外图像以显示外图像。

记录单元54记录从信号处理单元53提供的外图像，并且根据需要将所记录的外图像提供给信号处理单元53。

(信号处理单元的配置示例1)

更具体地，图2中的信号处理单元53被配置为如图3中那样。

在图3中所例示的信号处理单元53包括运动估计单元81、运动估计单元82、合成单元83以及相机模糊校正单元84。

运动估计单元81通过对从外图像捕获单元23提供的外图像进行运动估计来生成指示在外图像的拍摄时的图像处理设备11的运动的运动信息，并且将所生成的运动信息提供给合成单元83。

运动估计单元82通过对从内图像捕获单元22提供的内图像进行运动估计来生成指示在内图像的拍摄时的图像处理设备11的运动的运动信息，并且将所生成的运动信息提供给合成单元83。内图像与外图像同时地被拍摄。

合成单元83通过合成从运动估计单元81提供的运动信息和从运动估计单元82提供的运动信息来获得指示在外图像的拍摄时的图像处理设备11的最终运动，并且将所获得的运动信息提供给相机模糊校正单元84。

相机模糊校正单元84基于从合成单元83提供的运动信息对从外图像捕获单元23提供的外图像进行相机模糊校正，并且将作为结果所获取的外图像提供给记录单元54。

[拍摄处理的描述1]

这里，当用户对操作输入单元51进行操作，选择用于对外图像进行相机模糊校正的模式，并且按照同时拍摄外图像和内图像来给出拍摄外图像的指示时，图像处理设备11进行拍摄处理以拍摄外图像。以下，将参照图4的流程图来描述由图像处理设备11进行的拍摄处理。

在步骤S11中，外图像捕获单元23响应于控制单元52的指示来拍摄外图像，并且将外图像提供给运动估计单元81和相机模糊校正单元84。例如，拍摄诸如风景图像这样的运动图像作为外图像。在拍摄外图像时，信号处理单元53将从外图像捕获单元23提供的外图像提供给显示单元21，使得外图像被显示。从而，用户可以在显示单元21上确认外图像(如有必要)的同时进行拍摄。

在步骤S12中，内图像捕获单元22响应于控制单元52的指示来拍摄内图像，并且将内图像提供给运动估计单元82。例如，拍摄操作图像处理设备11的用户的脸的运动图像作为内图像。

在步骤S13中，运动估计单元81通过对从外图像捕获单元23提供的外图像进行运动估计来生成图像处理设备11的运动信息，并且将运动信息提供给合成单元83。

在步骤S14中，运动估计单元82通过对从内图像捕获单元22提供的内图像进行运动估计来生成图像处理设备11的运动信息，并且将运动信息提供给合成单元83。

在步骤S15中，合成单元83合成从运动估计单元81提供的运动信息和从运动估计单元82提供的运动信息，并且将合成的运动信息提供给相机模糊校正单元84。

具体地，例如，在上述的步骤S13至步骤S15中执行下面的处理。

即，如图5的箭头A21所指示，可以假设获得多个图像的组(即，包括各个帧的图像的运动图像)作为外图像。这里，由箭头A21所指示的每个矩形表示外图像的每个帧。

当获得包括多个帧的外图像时，运动估计单元81将外图像划分成多个局部区域，并且获得每个局部区域的运动向量，如箭头A22所指示。由箭头A22所指示的一个矩形表示外图像，并且外图像中的每个矩形表示外图像上的局部区域。另外，在每个局部区域中描绘的箭头指示该局部区域的运动向量。

在计算局部区域的运动向量中，例如使用例如模板匹配方法通过相应时间(帧)的图像之间的相似度来获得被摄体的移动量的方法。从而，当获得外图像的每个局部区域的运动向量时，运动估计单元81基于每个时间的外图像的每个局部区域的运动向量来计算图像处理设备11的运动向量A作为运动信息。

例如，根据诸如牛顿(Newton)方法的仿射参数估计这样的方法来计算图像处理设备11的运动向量A。

在外图像的情况下，还计算基于内图像的运动信息。即，当获得由箭头A23所指示的图像的组作为内图像时，运动估计单元82将内图像划分成多个局部区域，如箭头A24所指示，并且通过模板匹配等获得每个局部区域的运动向量。

箭头A23所指示的每个矩形表示内图像的每个帧。箭头A24所指示的一个矩形表示内图像，并且内图像中的每个矩形表示内图像上的局部区域。另外，在每个局部区域中描绘的箭头指示该局部区域的运动向量。

运动估计单元82基于每个时间的内图像的每个局部区域的运动向量，通过牛顿方法等计算图像处理设备11的运动向量B作为运动信息。

以此方式从内图像获得的运动向量B的右、左、上和下部分相对于从外图像获得的运动向量A是反向的，如图6所示。

即，如图6所示，垂直于图像处理设备11的前表面的方向(即，平行于外图像捕获单元23的拍摄方向的方向)被称为Z轴方向，并且垂直于Z轴的轴被称为X轴和Y轴。这里，X轴是图像处理设备11的水平方向(即，平行于水平面的方向)上的轴，而Y轴是平行于垂直方向的方向上的轴。

当分别使用外图像和内图像计算出运动向量A和运动向量B，并且例如图像处理设备11的运动仅是围绕用作旋转轴的Y轴的旋转运动时，如图的上侧所示，运动向量A和运动向量B为相同方向。

另一方面，当图像处理设备11的运动仅为围绕用作旋转轴的X轴的旋转运动以及围绕用作旋转轴的Z轴的旋转运动时，如图的下侧所示，运动向量A和运动向量B的右、左、上和下部分是反向的，使得其方向被翻转为相对的方向。

图的右侧的一个矩形表示外图像或内图像，并且图像中的箭头表示图像的运动向量。

当以此方式获得运动向量A和运动向量B作为运动信息时，合成单元83将运动向量A和运动向量B合成以生成运动向量C。所获得的运动向量C被假设为图像处理设备11的最终运动信息。

具体地，例如，合成单元83通过计算下面的式(1)来计算运动向量C。

[数学式1]

C＝a1·A+b1·B…(1)

在式(1)中，a1和b1分别指示作为运动向量A和运动向量B的权重的系数，并且被确定为使得满足“a1+b1＝1.0”。

例如，外图像捕获单元23和内图像捕获单元22可以进行拍摄，使得曝光时间不同，并且可以对从曝光时间较短的图像获得的运动向量给出较大的权重，使得根据运动估计的精确度来确定系数a1和b1。这里，对从曝光时间较短的图像获得的运动向量给出较大的权重的原因是：在拍摄图像时曝光时间较短的图像具有较少的由于移动的被摄体或相机抖动所造成的模糊，并且可以精确地进行运动估计。

具体地，在很多情况下，在外图像捕获单元23和内图像捕获单元22中，对于拍摄作为拍摄者的用户的内图像捕获单元22，到被摄体的距离较短。因此，在内图像中，由于相机抖动所造成的模糊(抖动)比在外图像中更少，并且可以以更高的精确度进行运动估计。因此，在将内图像的曝光时间设置成比外图像的曝光时间更短、并且将系数b1设置成具有比系数a1更大的值时，可以获取更高的效率。

返回参照图4的流程图以进行描述，当在步骤S15的处理中将图像处理设备11的运动信息计算为用于相机模糊校正的控制信息时，随后进行步骤S16的处理。

在步骤S16中，相机模糊校正单元84基于从合成单元83提供的运动信息对从外图像捕获单元23提供的外图像进行相机模糊校正，并且将作为结果获得的外图像提供给记录单元54。

例如，相机模糊校正单元84基于作为从合成单元83提供的运动信息的运动向量C来计算外图像上的每个局部区域内部的特征点的移动量，并且基于该移动量来计算仿射参数。

更具体地，如图7的上侧所示，假设在时间t(帧t)时的外图像AP11中获得每个局部区域的运动向量作为图像处理设备11的运动信息。外图像AP11中的每个矩形表示局部区域，并且每个局部区域中的箭头表示该局部区域的运动向量。

现在，如图的下侧所示，假设针对外图像AP11的每个局部区域获得特征点。在图的下侧，一个圆圈(更具体地，没有斜纹的圆圈)表示时间t时的一个特征点，并且具有斜纹的圆圈表示时间t+1时的特征点。

在该情况下，相机模糊校正单元84获得运动向量C作为运动信息，即每个局部区域的运动向量，并且基于时间t时的每个特征点的位置来获得时间t+1时的特征点的位置。然后，相机模糊校正单元84获得满足下面的式(2)和式(3)的变形参数a至l作为仿射参数。这里，假设在外图像AP11上有P个特征点。

[数学式2]

[数学式3]

在式(2)中，具有元素s、t和u的向量指示时间t时的外图像AP11的特征点的坐标。即，具有元素s、t和u的向量指示在图7中用没有斜纹的圆圈表示的特征点的坐标。

在式(3)中，具有元素X、Y和Z的向量指示根据运动信息获得的在时间t+1时的外图像AP11的特征点的坐标。即，具有元素X、Y和Z的向量指示在图7中用具有斜纹的圆圈表示的特征点的坐标。

式(3)指示图7中的时间t+1时的特征点与时间t时的特征点重叠的图像变形，即仿射变换的变形表示。相应地，在式(2)和式(3)中具有元素x、y和z的向量指示在使用仿射参数对时间t+1时的外图像AP11的特征点的坐标进行图像变形的情况下的变形后的特征点的坐标。

当计算出变形参数a至l时，如式(2)所示，获得相互匹配的P个特征点的变形参数a至l，使得变形之后的t+1时的特征点的位置与时间t时的特征点的位置之间的差异(即，变换误差)最小。

当以此方式获得仿射参数时，相机模糊校正单元84通过使用所获得的仿射参数进行在前面的式(3)中所指示的图像变形、以及使从外图像捕获单元23提供的时间t+1时的实际的外图像变形来进行运动校正。即，从外图像中除去相机抖动分量，进行相机模糊校正，并且将作为结果获得的外图像提供给记录单元54。在通过式(3)中所指示的图像变形(图像变换)进行的相机模糊校正中，可以处理平移、扩张和收缩、旋转以及失真的运动。

返回参考图4的流程图以进行描述，当在步骤S16中对外图像进行相机模糊校正时，处理进行到步骤S17。

在步骤S17中，记录单元54在控制单元52的控制下记录从相机模糊校正单元84提供的外图像，然后拍摄处理结束。

如上所述，图像处理设备11基于通过使用外图像和内图像获得图像处理设备11的运动信息所获取的运动信息，对外图像进行相机模糊校正。

从而，可以使用外图像和内图像这两者以较高的精确度来估计图像处理设备11的运动。从而，即使当图像处理设备11在拍摄外图像时更复杂地移动，也可以以较高的精确度除去在图像处理设备11的运动中出现的抖动分量。即，可以获得具有高质量和较高锐度的外图像。

换言之，在图像处理设备11中，通过使用关于通过在两个不同方向上的拍摄而获得的图像的信息对图像进行拍摄控制，相比于拍摄一个图像的情况，可以使用更多信息来进行拍摄控制。因此，可以获得具有更高质量的外图像。

以上已经描述了对外图像进行相机模糊校正的示例。然而，可以通过相同的处理对内图像进行相机模糊校正，并且可以记录作为结果获得的内图像。

(第一实施例的修改示例1)

(图像处理设备的配置示例2)

如上所述，通过合成从外图像获得的运动向量A和从内图像获得的运动向量B，获得了运动向量C。然而，除了所述运动向量之外，还可以合成通过传感器获得的运动向量。

在该情况下，图像处理设备11具有例如在图8中所示的配置。在图8中，对与在图2中所示的构成元件相对应的构成元件给出相同的标号，并且将适当地省略其描述。

在图8中所示的图像处理设备11被配置为使得在图2中的图像处理设备11中还安装运动检测单元111。

运动检测单元111包括例如加速度传感器或陀螺仪传感器，检测图像处理设备11的运动，并且向信号处理单元53的合成单元83提供作为运动信息的指示检测结果的运动向量D。

这里，图8中的图像处理设备11的信号处理单元53具有在图3中所示的信号处理单元53的配置。信号处理单元53的合成单元83合成从运动估计单元81提供的运动信息、从运动估计单元82提供的运动信息以及从运动检测单元111提供的运动信息，并且向相机模糊校正单元84提供合成的运动信息。

[拍摄处理的描述2]

接下来，将参照图9的流程图来描述当图像处理设备11具有在图8中所示的配置时进行的拍摄处理。因为步骤S41和步骤S42的处理与图4的步骤S11和步骤S12的处理相同，所以将省略其描述。

在步骤S43中，运动检测单元111检测图像处理设备11的运动，并且向合成单元83提供作为运动信息的指示检测结果的运动向量D。

在计算运动向量D时，步骤S44和步骤S45的处理被顺序地执行以对外图像和内图像进行运动估计。因为这些处理与图4的步骤S13和步骤S14的处理相同，所以将省略其描述。

在步骤S46中，合成单元83合成从运动估计单元81提供的运动信息、从运动估计单元82提供的运动信息以及从运动检测单元111提供的运动信息，并且向相机模糊校正单元84提供合成的运动信息。具体地，例如合成单元83通过计算下面的式(4)来计算运动向量C。

[数学式4]

C＝a1·A+b1·B+c1·D…(4)

在式(4)中，c1指示用作运动向量D的权重的系数，并且确定系数a1、b1和c1使得满足“a1+b1+c1＝1.0”。因此，在式(4)中，对作为运动信息的运动向量A、运动向量B和运动向量D进行加权加法，使得获得作为图像处理设备11的最终运动信息的运动向量C。

因此，在获得图像处理设备11的运动信息时，顺序地进行步骤S47和步骤S48的处理，并且拍摄处理结束。因为这些处理与图4的步骤S16和步骤S17的处理相同，所以将省略其描述。

从而，图像处理设备11合成从外图像和内图像获得的运动信息以及通过运动检测单元111获得的运动信息，并且基于作为结果获得的运动信息对外图像进行相机模糊校正。

因此，通过不仅使用从外图像和内图像获得的运动信息，而且使用通过运动检测单元111获得的运动信息，可以以更高的精确度估计图像处理设备11的运动。从而，因为可以以更高的精确度通过相机模糊校正除去抖动分量，所以可以获得具有更高的质量的外图像。

[第二实施例]

(信号处理单元的配置示例2)

上面已经描述了进行外图像的相机模糊校正作为拍摄控制的示例。然而，可以进行外图像的视场角的调整作为拍摄控制。

在该情况下，例如，如图10所示，根据作为拍摄者的用户的视线方向来进行外图像的视场角的调整。

具体地，如箭头A31所示，通常，当用户U11通过使图像处理设备11的外图像捕获单元23朝向被摄体H11和被摄体H12所在的方向对目标被摄体进行成像时，用户U11观看显示在显示单元21上的图像进行拍摄。因此，因为拍摄外图像的外图像捕获单元23的位置实际不同于观看被摄体的用户U11的视点位置PE11，所以可能未必获得用户U11想要的图像。

在该示例中，直线AG11指示外图像捕获单元23的视场角，即拍摄范围，并且在拍摄范围中的区域内包含两个被摄体H11和H12。因此，如箭头A32所示，在由外图像捕获单元23所拍摄的外图像中示出被摄体H11和H12。因为外图像显示在显示单元21上，所以用户U11可以观看显示单元21进行拍摄。

然而，实际中，用户U11可能不期望拍摄被摄体H11和H12这两者。在该示例中，如图的上侧所指示的那样，当用户U11观看显示单元21的屏幕上的被摄体H11时，用户关注被摄体H11的概率高。在图10中，虚线AG12指示用户U11的视线，即视场的范围，并且因此，用户U11的视线朝向被摄体H11的方向。

因此，图像处理设备11进行外图像捕获单元23的视场角控制作为外图像的拍摄控制。例如，图像处理设备11调整外图像捕获单元23的视场角，使得外图像捕获单元23的拍摄范围是由直线AG13所指示的范围。

例如，通过改变外图像捕获单元23的光圈的缩放倍率、倾斜外图像捕获单元23(更具体地，外图像捕获单元23中的成像单元)、或者对外图像进行图像变形，来实现视场角的调整。

当进行外图像捕获单元23的视场角的调整(即外图像的视场角的调整)时，如箭头A33所示，仅被摄体H11包含在外图像中。即，外图像捕获单元23的拍摄范围变得接近于从用户U11的视点位置PE11观看的视场的范围。从而，可以获得在用户U11的视点附近示出并且接近于用户U11想要的图像的图像，即更高质量图像。

当进行外图像的视场角的调整作为拍摄控制时，在图2中所示的图像处理设备11的信号处理单元53具有在图11中所示的配置。

在图11中所示的信号处理单元53包括位置计算单元141和视场角变换处理单元142。

位置计算单元141基于从内图像捕获单元22提供的内图像来计算用户(即操作图像处理设备11的拍摄者)的视点位置，并且将视点位置提供给视场角变换处理单元142。

视场角变换处理单元142基于从位置计算单元141提供的视点位置来计算外图像的视场角的调整所需的信息，并且将信息提供给控制单元52。控制单元52基于来自视场角变换处理单元142的信息来生成用于控制外图像捕获单元23的控制信息。然后，控制单元52通过基于控制信息改变外图像捕获单元23的光圈的缩放倍率或倾斜外图像捕获单元23的成像单元来进行视场角的调整。

视场角变换处理单元142包括图像变形单元151。图像变形单元151通过根据来自位置计算单元141的视点位置对来自外图像捕获单元23的外图像进行图像变形来变换外图像的视场角，并且将改变的视场角提供给显示单元21和记录单元54。

[拍摄处理的描述3]

接下来，将参照图12的流程图来描述由图像处理设备11进行的拍摄处理，此时信号处理单元53具有在图11中所示的配置。

当用户选择在进行外图像的视场角的调整的同时进行拍摄的模式并且给出开始拍摄外图像的指示时进行拍摄处理。

因为步骤S71和步骤S72的处理与图4中的步骤S11和步骤S12的处理相同，所以将省略其描述。然而，在步骤S71中拍摄的外图像被提供给视场角变换处理单元142，并且在步骤S72中拍摄的内图像被提供给位置计算单元141。

在步骤S73中，位置计算单元141基于从内图像捕获单元22提供的内图像来计算用户的视点位置。

例如，位置计算单元141通过检测来自内图像的用户的脸和眼睛并且计算离内图像捕获单元22的用户的眼睛的位置(即相对于内图像捕获单元22的到视点位置的距离、视点位置的高度以及视点位置的右和左之间的偏离量)来获得视点位置。由此获得的视点位置是3维位置，即将预定位置设置为基准的3维坐标系统中的用户的视点的位置。另外，可以从内图像中的用户的瞳孔的位置获得用户的视线方向。

在步骤S74中，控制单元52基于来自视场角变换处理单元14的信息来生成用于改变外图像捕获单元23的视场角的控制信息。

在步骤S75中，控制单元52通过基于所生成的控制信息控制外图像捕获单元23来进行外图像的视场角的调整。具体地，控制单元52通过改变外图像捕获单元23的光圈或缩放倍率、或倾斜外图像捕获单元23的成像单元，来进行视场角的调整。

从而，将在一定程度上进行了视场角的调整的外图像被从外图像捕获单元23提供给视场角变换处理单元142。

在步骤S76中，图像变形单元151通过基于从位置计算单元141提供的视点位置对从外图像捕获单元23提供的外图像进行图像变形来调整外图像的视场角，并且将调整的视场角提供给显示单元21和记录录单元54。

这里，将更详细地描述上述的步骤S74至步骤S76的处理。

例如，如图13的上侧所示，当作为拍摄者的用户U11在拍摄外图像时正常地观看显示单元21的显示屏幕的中央时，基于用户U11的视点位置PE11和显示单元21的显示屏幕的位置来获得用户U11的视线方向。在图13的上侧，用户U11的视线如由视点位置PE11和图像处理设备11所限定的虚线所指示。在图13中，对与图10中的部分相对应的部分给出相同的标号，并且将适当地省略其描述。

在步骤S74中，视场角变换处理单元142基于视点位置PE11和显示单元21的位置来获得用户U11的视线方向。另外，视场角变换处理单元142基于所获得的视线方向和视点位置PE11来确定在将外图像捕获单元23实际移动到视点位置PE11时可以获取哪个外图像。

现在，如图的上侧的箭头Q11所示，假设外图像捕获单元23被实际移动至用户U11的视点位置PE11。在该示例中，可以基于外图像捕获单元23的位置、视点位置PE11和用户U11的视线方向来计算外图像捕获单元23到视点位置PE11的移动量、外图像捕获单元23的旋转量等。

因此，视场角变换处理单元142唯一地确定预定3维空间上的点在外图像捕获单元23的移动之前被投射到显示单元21的显示屏幕上的哪个位置，以及该点在外图像捕获单元23的移动之后被投射到显示单元21的显示屏幕上的哪个位置。

从而，视场角变换处理单元142通过根据外图像的估计来获得三个或更多的被摄体的3维位置(即3维空间上的位置)，并且基于所获得的三个或更多的点的3维位置来计算在前面的式(3)中示出的两个图像之间的仿射参数。

用于获得投射点的移动之前和之后的位置的技术例如在Richard Hartley和Andrew Zisserman在2004年3月的Cambridge University Press中的“Multiple ViewGeometry in Computer Vision”中描述了。

因此，当可以在外图像捕获单元23移动到视点位置PE11时所获得的图像中获得用于变换外图像的仿射参数时，基于仿射参数来进行视场角的调整。

例如，视场角变换处理单元142将所获得的仿射参数提供给控制单元52。然后，控制单元52基于来自视场角变换处理单元142的仿射参数来生成外图像捕获单元23的视场角，即用于改变外图像的视场角的控制信息。这里，控制信息例如是指示外图像捕获单23的成像单元的倾斜角度或外图像捕获单元23的光圈或缩放倍率的变换量的信息。控制单元52基于控制信息来控制外图像捕获单元23，然后进行视场角的调整。

图像变形单元151基于仿射参数对外图像进行图像变形以调整外图像的视场角。即，图像变形单元151通过对外图像进行信号处理(变形处理)来调整视场角。

这里，在仿射参数中可以获得平移或旋转分量。因此，例如，缩放可以对应于在图6中所示的Z轴方向上的平移，成像单元的倾斜可以对应于在图6中所示的X轴方向上的旋转，并且图像变形可以对应于视场角的其他调整。在X轴方向上旋转时，可以通过使用X轴作为旋转轴旋转成像单元来倾斜成像单元。

通过视场角的调整，如图13的下侧所示，可以获取外图像捕获单元23看上去位于作为拍摄者的用户U11的视点位置PE11处的外图像。

在该示例中，外图像AP21指示由外图像捕获单元23在视场角的调整之前所拍摄的外图像。在外图像AP21中，被摄体H11上的点HP11被投射到外图像AP21的中下侧。

另一方面，外图像AP22指示由外图像捕获单元23在视场角的调整之后所拍摄的并且由图像变形单元151进行了图像变形的外图像。在外图像AP22中，被摄体H11上的点HP11被投射到外图像AP22的中上侧。

从而，当对外图像进行了视场角的调整时，可以获得用户U11看上去通过显示单元21观看实际的被摄体H11的外图像，即更接近用户U11的视点的高质量外图像。

返回参照图12的流程图以进行描述，当对外图像进行了视场角的调整时，处理从步骤S76进行到步骤S77，并且作为结果获得的外图像被提供给显示单元21和记录单元54。

在步骤S77中，显示单元21显示从视场角变换处理单元142提供的并且在视场角的调整之后获得的外图像。

在步骤S78中，记录单元54记录从视场角变换处理单元142提供的并且在视场角的调整之后获得的外图像，然后拍摄处理结束。

如上所述，图像处理设备11基于内图像来获得用户的视点位置，并且基于视点位置来进行外图像的视场角的调整。从而，通过对外图像进行视场角的调整，可以获得根据用户的视线的外图像。即，可以获取更接近用户的视点的更高质量外图像。

如上所述，已经描述了通过外图像捕获单元23进行的视场角的调整和通过图像变形单元151的图像变形进行的视场角的调整(诸如调整缩放倍率或光圈)这两者的示例。然而，可以只进行所述视场角的调整中的一种。

[第三实施例]

(信号处理单元的配置示例3)

可以进行如下控制作为拍摄控制：从内图像检测用户的视线方向，并且与根据视线方向获得的用户在外图像上的注视位置一致来调整焦点、亮度、白平衡等。

在该情况下，例如，如图14的箭头A41所示，图像处理设备11拍摄作为拍摄者的用户U11的图像作为内图像，并且基于内图像来获得用户U11的视点位置PE11。在图14中，对与在图10中所示的构成元件相对应的构成元件给出相同的标号，并且将适当地省略其描述。

在该示例中，用户U11使外图像捕获单元23朝向两个被摄体H11和H12，并且拍摄外图像。此时，将外图像捕获单元23所接收的图像显示图像处理设备11为在用户U11侧的表面(前表面)上安装的显示单元21上的外图像的预览图像。

用户U11给出进行拍摄、观看显示在显示单元21上的预览图像的指示，并且使外图像被拍摄。在图14中，从视点位置PE11指向图像处理设备11的虚线箭头指示用户U11的视线。

当图像处理设备11从内图像获得视点位置PE11时，图像处理设备11基于视点位置PE11获得用户U11的视线方向，并且根据视线方向指定用户U11在外图像上的注视位置，如箭头A42所示。

在由箭头A42所指示的图像处理设备11中，在显示单元21上显示外图像(更具体地，外图像的预览图像)，并且假设由被摄体H11上的星号所指示的位置是用户U11的注视位置。注视位置是用户的视线和显示单元21的显示屏幕彼此相交的位置，并且是用户U11关注的外图像上的区域的位置。

当获得外图像上的用户U11的注视位置时，图像处理设备11控制外图像捕获单元23作为拍摄控制，使得位于外图像上的注视位置处的被摄体H11被聚焦。图像处理设备11进行亮度调整或白平衡调整，使得处于外图像上的注视位置处的被摄体H11的亮度(曝光)和白平衡是适当的。

因此，如图的右下侧所示，被摄体H11在外图像上被聚焦，并且被摄体H11的亮度或白平移是适当的。即，可以通过将用户U11关注的被摄体设置为基准来获取进行了聚焦、亮度调整和白平衡调整的更高质量外图像。

因此，当设置用户的注视区域为基准进行聚焦、亮度调整等时，在图2中所示的图像处理设备11的信号处理单元53具有例如在图15中所示的配置。在图15中所示的信号处理单元53包括视线方向计算单元181和注视位置计算单元182。

视线方向计算单元181基于从内图像捕获单元22提供的内图像来计算操作图像处理设备11的用户的视线方向，并且将视线方向提供给注视位置计算单元182。

注视位置计算单元182基于从视线方向计算单元181提供的视线方向来获得注视位置，并且将注视位置提供给控制单元52。控制单元52基于来自注视位置计算单元182的注视位置来生成控制信息，使得处于外图像的注视位置处的被摄体被聚焦，并且注视位置处的被摄体的曝光(亮度)和白平衡是适当的。然后，控制单元52基于所生成的控制信息来控制外图像捕获单元23。

[拍摄处理的描述4]

接下来，将参照图16的流程图来描述当信号处理单元53具有在图15中所示的配置时进行的拍摄处理。因为步骤S101和步骤S102的处理与图4的步骤S11和步骤S12的处理是相同的，所以将省略其描述。

在步骤S103中，视线方向计算单元181基于从内图像捕获单元22提供的内图像来计算作为拍摄者的用户的视线方向，并且将视线方向提供给注视位置计算单元182。例如，视线方向计算单元181通过进行与图12的步骤S73的处理相同的处理来获得用户的视点位置，并且基于视点位置来获得用户的视线方向。例如，通过根据内图像检测用户的脸和眼睛的位置来计算视点位置，并且基于视点位置和内图像上的用户的瞳孔的位置来指定视线方向。

在步骤S104中，注视位置计算单元182基于从视线方向单元181提供的视线方向和视点位置来获得注视位置，并且将注视位置提供给控制单元52。例如，注视位置计算单元182基于用户的视线方向、用户的视点位置和显示单元21的位置来获得外图像上的注视位置。

在步骤S105中，控制单元52基于从注视位置计算单元182提供的注视位置来生成用于外图像捕获单元23的焦点调整、亮度调整和白平衡调整的控制信息。

例如，基于注视位置，控制单元52生成用于焦点调整、曝光调整和白平衡调整的控制信息，由此注视位置处的被摄体被聚焦，并且被摄体的亮度和白平衡是最优的。

在步骤S106中，控制单元52通过基于控制信息控制外图像捕获单元23来进行焦点位置、亮度和白平衡的调整。从而，将处于用户的注视位置处的被摄体被聚焦并且被摄体的亮度和白平衡被适当调整的外图像从外图像捕获单元23提供给信号处理单元53。进一步地，信号处理单元53将从外图像捕获单元23提供的外图像提供给显示单元21和记录单元54。

这里，已经描述了外图像捕获单元23进行亮度调整和白平衡调整的示例。然而，可以由信号处理单元53进行亮度调整或白平衡调整。

在步骤S107中，显示单元21显示从信号处理单元53提供的外图像。然后，在步骤S108中，记录单元54记录从信号处理单元53提供的外图像，然后拍摄处理结束。

如上所述，图像处理设备11基于从内图像获得的用户的视线方向来指定用户关注的外图像的注视位置，并且基于注视位置进行焦点调整或亮度调整。因此，可以获取用户关注的被摄体被聚焦并且被摄体的亮度或白平衡适当的较高质量外图像。另外，在该情况下，虽然用户未特别地进行输入操作，但是焦点和亮度也被适当地调整。因此，可以提高方便性。

[第四实施例]

(信号处理单元的配置示例4)

以上已经描述了进行外图像的拍摄控制的示例。然而，可以基于内图像和外图像来进行内图像的拍摄控制。

具体地，例如，如图17所示，假设作为拍摄者的用户U21使图像处理设备11的外图像捕获单元23从房间朝向外面，以拍摄日落风景作为外图像P31，并且拍摄用户U21作为内图像。然后，假设图像处理设备11将内图像合成在外图像P31上，并且获取作为结果获得的合成图像作为用户U21想要获取的最终图像。

在该情况下，在拍摄时照射被摄体的光的光源在房间的内部和外部不同。即，外图像P31的白平衡和内图像的白平衡不相同。因此，当简单地将内图像与外图像合成时，例如，在某些情况下可能获得在内图像上的用户U21和在合成图像P32中的背景之间颜色平衡不自然的图像。在该示例中，合成图像P32的背景(风景)的颜色是暗的，但是用户U21的颜色是亮的，因为用户U21是在室内拍摄的。

因此，图像处理设备11在拍摄外图像P31时初步拍摄内图像，并且获得所获取的外图像P31和内图像的白平衡值。然后，图像处理设备11使显示单元21发射光，使得内图像和外图像的色调基于白平衡值是相同的。即，图像处理设备11获得用于使从现在起想要拍摄的内图像的白平衡适合外图像P31的白平衡的光源颜色，使显示单元21以光源颜色发射光，并且重新拍摄内图像。然后，图像处理设备11合成已经拍摄的外图像P31和重新拍摄的内图像，以生成合成图像P33。

在重新拍摄内图像时，在显示单元21发射光时，作为被摄体的用户U21被适当的光照射。因此，在与拍摄外图像P31的情况下的光源相同的光源下拍摄内图像，并且因此，在所获取的内图像上的用户U21的色调与作为背景的外图像P31的色调相同。即，外图像P31的白平衡与内图像的平衡是相同的。因此，可以在不对拍摄的图像进行白平衡调整的情况下获取具有自然色调的合成图像P33。

从而，通过基于外图像和内图像的白平衡对内图像进行拍摄控制，外图像的光源与内图像的光源匹配，并且可以获取具有自然色调的合成图像，即更高质量的合成图像。该拍摄控制例如在用荧光灯等照亮的内部拍摄太阳下的外部并且合成在内部拍摄的内图像和在外部拍摄的外图像时特别有效。

在进行拍摄控制时，图2中的图像处理设备11的信号处理单元53具有例如在图18中所示的配置。

在图18中所示的信号处理单元53包括白平衡计算单元211、白平衡计算单元212、光源颜色计算单元213和合成单元214。

白平衡计算单元211计算从外图像捕获单元23提供的外图像的白平衡值，并且将白平衡值提供给光源颜色计算单元213。白平衡计算单元212计算从内图像捕获单元22提供的内图像的白平衡值，并且将白平衡值提供给光源颜色计算单元213。

光源颜色计算单元213基于从白平衡计算单元211和白平衡计算单元212提供的白平衡值计算用于使内图像的白平衡适合于外图像的白平衡的光源颜色信息，并且将光源颜色信息提供给控制单元52。控制单元52基于来自光源颜色计算单元213的光源颜色信息来生成用于使显示单元21发射光的控制信息。

合成单元214通过将来自外图像捕获单元23的外图像和来自内图像捕获单元22的内图像合成来生成合成图像，并且将合成图像提供给记录单元54。

[拍摄处理的描述5]

这里，当用户操作操作输入单元51以选择将外图像和内图像合成以生成合成图像的模式并且给出开始拍摄的指示时，图图像处理设备11开始拍摄处理，并且生成合成图像。以下，将参照图19的流程图来描述当信号处理单元53具有在图18中所示的配置时进行的拍摄处理。

因为步骤S131和步骤S132的处理与图4的步骤S11和步骤S12的处理相同，所以将省略其描述。然而，在步骤S131和步骤S132中，拍摄静止图像作为外图像和内图像。具体地，在步骤S132中拍摄的内图像被拍摄以生成光源颜色信息，并且不用于与外图像合成。

外图像被从外图像捕获单元23提供给白平衡计算单元211和合成单元214，内图像被从内图像捕获单元22提供给白平衡计算单元212和合成单元214。

在步骤S133中，白平衡计算单元211计算从外图像捕获单元23提供的外图像的白平衡值，并且将白平衡值提供给光源颜色计算单元213。例如，白平衡计算单元211计算外图像的R(红色)像素的白平衡值Wr1以及外图像的B(蓝色)像素的白平衡值Wb1。

在步骤S134中，白平衡计算单元212计算从内图像捕获单元22提供的内图像的白平衡值，并且将白平衡值提供给光源颜色计算单元213。例如，白平衡计算单元212计算内图像的R(红色)像素的白平衡值Wr2以及内图像的B(蓝色)像素的白平衡值Wb2。

在步骤S135中，光源颜色计算单元213基于来自白平衡计算单元211的白平衡值和来自白平衡计算单元212的白平衡值来确定外图像和内图像的光源是否相同。

例如，在外图像和内图像的白平衡值相同(即Wr1＝Wr2并且Wb1＝Wb2)时，光源颜色计算单元213确定光源是相同的。

在步骤S135中，当确定光源不相同(即光源彼此不同)时，处理进行到步骤S136。

在步骤S136中，光源颜色计算单元213基于外图像和内图像的白平衡值来生成用于使内图像的白平衡适合于外图像的白平衡的光源颜色信息，并且将光源颜色信息提供给控制单元52。

例如，光源颜色计算单元213进行下面的式(5)的计算，并且生成在使显示单元21发射光时指示R、G和B的各自的色调之间的关系的光源颜色信息。即，指示式(5)的关系的信息是光源颜色信息。

[数学式5]

R:G:B＝Wr1/Wr2:1:Wb1/Wb2…(5)

在步骤S137中，控制单元52基于从光源颜色计算单元213提供的光源颜色信息来生成用于使显示单元21发射具有由光源颜色信息指示的色调的光的控制信息，并且基于控制信息对显示单元21进行发光控制。即，控制单元52使显示单元21发射具有由式(5)所指示的色调的光。

当进行了步骤S137的处理或者在步骤S135中确定光源相同时，内图像捕获单元22在步骤S138中拍摄内图像，并且将内图像提供给白平衡计算单元212和合成单元214。

例如，当在步骤S137中使显示单元21发射光时，作为被摄体的用户被通过光照被在室内荧光灯下的光源等的光和来自显示单元21的光照射，并且因此，在与外图像的光源相同的光源下拍摄内图像。即，在步骤S138的拍摄中，可以获取具有与在步骤S131中获取的外图像的白平衡相同的白平衡的内图像。

例如，当在步骤S135中确定光源相同时，显示单元21不发射光。然而，在该情况下，虽然不特别地使显示单元21发射光，但是外图像和内图像在相同的光源下拍摄。即，在步骤S138中拍摄的内图像的白平衡与在步骤S131中拍摄的外图像的白平衡是相同的。

在步骤S139中，合成单元214通过将从外图像捕获单元23提供的外图像和从内图像捕获单元22提供的内图像合成来生成合成图像，并且将合成图像提供给记录单元54。这里，将在步骤S131中获取的外图像和在步骤S138中获取的内图像合成，使得生成合成图像。

当外图像和内图像的光源相同时，可以不执行步骤S138的处理，并且可以将在步骤S131中获取的外图像和在步骤S132中获取的内图像合成。

在步骤S140中，记录单元54记录从合成单元214提供的合成图像，然后拍摄处理结束。

如上所述，图像处理设备11基于外图像和内图像的白平衡值使显示单元21发射光，使得外图像的白平衡与内图像的白平衡是相同的。然后，图像处理设备11重新拍摄内图像，并且通过将所获取的内图像和外图像合成来生成合成图像。

因此，通过使显示单元21发射具有适当的色调的光并且使内图像的白平衡适合于外图像的白平衡，可以获取具有更自然的色调的合成图像。即，可以获取更高质量的合成图像。

在图像处理设备11中，通过使安装在与拍摄内图像的内图像捕获单元22的相同表面上的显示单元21发射具有适当颜色的光(显示具有适当颜色的图像)，外图像的白平衡可以与内图像的白平衡相同。即，可以实际使外图像和内图像的光源相同。因此，即使在外图像和内图像的光源彼此不同时，也可以获取在相同光源下拍摄的图像，并且因此可以获取具有更自然的色调的合成图像。

[第五实施例]

(图像处理设备的外观配置示例)

如上所述，已经描述了仅在图像处理设备11的前表面侧安装显示单元21的示例，如图1所示。然而，显示单元可以安装在图像处理设备的前表面和后表面这两者上。

例如，在该情况下，如图20所示地配置图像处理设备的外观。在图20中，对与图1中所示的构成元件相对应的构成元件给出相同的标号，并且将适当地省略其描述。

例如，在图20中所示的图像处理设备251中安装第一表面261和第二表面262，如箭头A51所指示。

在第一表面261上安装显示单元21和内图像捕获单元22。例如，在显示单元21上显示由内图像捕获单元22拍摄的内图像。另外，在第二表面262上安装外图像捕获单元23和显示单元271。在显示单元271上显示由外图像捕获单元23所拍摄的外图像。安装触摸面板(未例示)以叠加在显示单元271上，从而用户可以进行输入操作。

在箭头A51所指示的示例中，第一表面261和第二表面262布置在相同平面上。另外，当从图的上侧观看由箭头A51所指示的状态下的图像处理设备251时，如箭头A52所指示，在第一表面261和第二表面262之间安装有铰链机构272，铰链机构272被配置为使第一表面261和第二表面262之一相对于其中的另一个旋转。

因此，如箭头A53所指示，用户可以折叠第一表面261和第二表面262。在图像处理设备251的折叠状态下，第一表面261和第二表面262叠加，使得显示单元21和显示单元271相互位于外部。即，在由箭头A53所指示的状态下，显示单元21和内图像捕获单元22位于第一表面261的图的左侧，并且显示单元271和外图像捕获单元23位于第二表面262的图的右侧。

因此，当用户在图像处理设备251的折叠状态下操作图像处理设备251时，用户可以在不具体将前表面和后表面相互区分的情况下进行操作。例如，用户可以操作朝向用户侧的第一表面261，并且也可以操作朝向用户侧的第二表面262。因此，由朝向用户侧的成像单元拍摄的图像是内图像，并且由朝向用户的相反侧的成像单元拍摄的图像是外图像。

以下，为了便于描述，将第一表面261称为前表面，并且将第二表面262称为后表面。即，假设用户操作朝向用户侧的第一表面261。因此，由内图像捕获单元22拍摄的图像是内图像，并且由外图像捕获单元23拍摄的图像是外图像。

(图像处理设备的配置示例3)

更具体地，图像处理设备251具有在图21中所示的配置。在图21中，对与图2或20中的构成元件相对应的构成元件给出相同的标号，并且将省略其描述。

在图21中所示的图像处理设备251包括显示单元21、显示单元271、内图像捕获单元22、外图像捕获单元23、操作输入单元51、控制单元52、信号处理单元53和记录单元54。

图像处理设备251被配置为使得相对于在图2中所示的图像处理设备11还包括显示单元271。显示单元271在控制单元52的控制下显示从信号处理单元53提供的图像。在显示单元271中，叠加地安装用作操作输单元51的触摸面板，从而，用户可以通过操作用作操作输入单元51的触摸面板来输入各种指示。

[拍摄处理的描述6]

具有这样的配置的图像处理设备251可以执行与上述图像处理设备11执行的拍摄处理相同的处理。

例如，当图像处理设备251执行与参照图19所描述的拍摄处理相同的处理时，执行下面的处理。以下，将参照图22的流程图来描述由图像处理设备251所执行的拍摄处理。

在该情况下，图像处理设备251的信号处理单元53具有在图18中所示的配置。在拍摄处理中，假设使由内图像捕获单元22拍摄的用户的图像的白平衡(即内图像的白平衡)适合于外图像的白平衡。

当拍摄处理开始时，执行步骤S171至步骤S175的处理。因为这些处理与图19的步骤S131至步骤S135的处理相同，所以将省略其描述。

当在步骤S175中确定内图像和外图像的光源彼此不同时，进行步骤S176的处理。即，在步骤S176中，光源颜色计算单元213基于外图像和内图像的白平衡值来计算前面的式(5)，并且生成用于使内图像的白平衡适合于外图像的白平衡的光源颜色信息。

光源颜色计算单元213向控制单元52提供以此方式获取的光源颜色信息。

在步骤S177中，控制单元52生成用于使显示单元21发射具有由从光源颜色计算单元213提供的光源颜色信息所指示的色调的光的控制信息，并且基于控制信息对位于内侧(即用户侧)的显示单元21进行发光控制。

当进行了步骤S177的处理或在步骤S175中确定光源相同时，内图像捕获单元22在步骤S178中拍摄作为被摄体的用户的内图像，并且将内图像提供给白平衡计算单元212和合成单元214。

之后，进行步骤S179和步骤S180的处理，然后拍摄处理结束。因为这些处理与图19的步骤S139和步骤S140的处理相同，所以将省略其描述。

如上所述，图像处理设备251基于外图像和内图像的白平衡值使显示单元21发射光，使得外图像的白平衡和内图像的白平衡彼此相同。然后，图像处理设备251重新拍摄内图像，并且通过将所获取的内图像和外图像合成来生成合成图像。

因此，通过使显示单元21发射具有适当色调的光，可以获取具有更自然的色调的合成图像。

(拍摄处理的另一示例)

在参照图22描述的拍摄处理中，已经描述了使内图像的白平衡适合于外图像的白平衡的示例。然而，可以使外图像的白平衡适合于内图像的白平衡。

例如，在图像处理设备251中，在安装有外图像捕获单元23的第二表面262上安装显示单元271。因此，当使显示单元271适当地发射光时，可以使外图像的白平衡适合于内图像的白平衡。当外图像的被摄体位于接近于图像处理设备251的位置处时，该拍摄控制是特别有效的。

以下，将参照图23的流程图来描述在使外图像的白平衡适合于内图像的白平衡时由图像处理设备251执行的拍摄处理。

因为步骤S211至步骤S215的处理与图19的步骤S131至步骤S135的处理是相同的，因此将适当地省略其描述。

当在步骤S215中确定光源不相同(即光源彼此不同)时，处理进行到步骤S216。

在步骤S216中，光源颜色计算单元213基于外图像和内图像的白平衡值来生成用于使外图像的白平衡适合于内图像的白平衡的光源颜色信息，并且将光源颜色信息提供给控制单元52。

例如，光源颜色计算单元213进行下面的式(6)的计算，并且生成在使显示单元271发射光时指示R、G和B的各自的色调之间的关系的光源颜色信息。即，指示式(6)的关系的信息是光源颜色信息。

[数学式6]

R:G:B＝Wr2/Wr1:1:Wb2/Wb1…(6)

在步骤S217中，控制单元52生成用于使显示单元271发射具有由来自光源颜色计算单元213的光源颜色信息所指示的色调的光的控制信息，并且基于控制信息对位于外侧(即用户侧的相对侧)的显示单元271进行发光控制。即，控制单元52使显示单元271发射具有由式(6)所指示的色调的光。因此，外图像的被摄体被来自显示单元271的光照射。

当进行了步骤S217的处理或在步骤S215中确定光源相同时，外图像捕获单元23在步骤S218中拍摄外图像，并且将外图像提供给白平衡计算单元211和合成单元214。

例如，当在步骤S217中使显示单元271发射光时，外图像的被摄体被来自通过光发射在日光等外部的光源的光以及来自显示单元271的光照射，并且因此外图像在与内图像的光源相同的光源下拍摄。即，在步骤S218的拍摄中，可以获取具有与在步骤S212中获取的内图像的白平衡相同的白平衡的外图像。

例如，当在步骤S215中确定光源相同时，显示单元271不发射光。然而，在该情况下，内图像和外图像在相同的光源下拍摄。

当以此方式重新拍摄外图像时，随后执行步骤S219和步骤S220的处理，然后拍摄处理结束。因为这些处理与图19的步骤S139和步骤S140的处理相同，所以将省略其描述。然而，在步骤S219中，将在步骤S212中获取的内图像和在步骤S218中获取的外图像合成。

如上所述，图像处理设备251基于外图像和内图像的白平衡值使显示单元271发射光，使得内图像的白平衡与外图像的白平衡是相同的。然后，图像处理设备251重新拍摄外图像，并且通过将所获取的外图像和所获取的内图像合成来生成合成图像。

因此，通过使显示单元271发射具有适当色调的光并且使外图像的白平衡适合于内图像的白平衡，可以获取具有更自然的色调的合成图像。即，可以获取更高质量的合成图像。

可以将图像处理设备251配置为使得用户可以选择是使显示单元21发射光还是使显示单元271发射光。当用户可以选择是使显示单元21还是使显示单元271发射光时，例如，在使更接近被摄体的图像处理设备251的表面上安装的显示单元显示光时，可以获取更自然的合成图像。

上述处理序列可以由硬件执行，或者可以由软件执行。当处理序列由软件执行时，软件的程序被安装在计算机中。这里，计算机的示例包括嵌入在专用硬件中的计算机或能够通过安装各种应用来执行各种功能的通用个人计算机。

图24是例示由程序执行上述处理序列的计算机的硬件配置示例的框图。

在该计算机中，中央处理单元(CPU)501、只读存储器(ROM)502和随机存取存储器(RAM)503通过总线504彼此连接。

另外，输入/输出接口505连接到总线504。输入单元506、输出单元507、记录单元508、通信单元509和驱动器510连接到输入/输出接口505。

输入单元506通过键盘、鼠标、麦克风、成像元件等来配置。输出单元507通过显示器、扬声器等来配置。记录单元508通过硬盘、非易失性存储器等来配置。通信单元509通过网络接口等来配置。驱动器510驱动诸如磁盘、光盘、磁光盘或半导体存储器这样的可移除介质511。

在具有上述配置的计算机中，例如，CPU 501通过经由输入/输出接口505和总线504将在记录单元508上的程序加载到RAM 503并且执行该程序来执行上述处理序列。

例如，由计算机(CPU 501)执行的程序可以在用作封装介质的可移除介质511中记录和共享。可以经由诸如局域网、因特网或数字卫星广播等有线或无线传输介质来提供程序。

在计算机中，可以通过将可移除介质511安放在驱动器510上经由输入/输出接口505来把程序安装在记录单元508上。程序可以由通信单元509经由有线或无线传输介质来接收，并且可以安装在记录单元508上。另外，程序可以提前安装在ROM 502或记录单元508中。

由计算机执行的程序可以是以在本说明书中描述的次序按照时间顺序处理的程序，或者可以是并行地或在诸如调用时间这样的必要定时处理的程序。

本技术的实施例不限于上述实施例，而是可以在本技术的范围内以各种方式进行修改，而不脱离本技术的要旨。

例如，本技术的实施例可以通过云计算配置来实现，其中一个功能是分布式的，并且经由网络由多个设备共同处理。

在上述流程图中描述的各个步骤可以由一个设备执行，并且也可以是分布式的并且由多个设备执行。

当多个处理包括在一个步骤中时，包括在一个步骤中的所述多个处理可以由一个设备执行，或者可以是分布式的并且由多个设备执行。

另外，本技术的实施例可以被如下地实现。

(1)一种信息处理系统，包括电路，所述电路被配置为：获取由被布置在壳体的第一侧的第一相机单元所捕获的第一图像数据；获取由被布置在与壳体的第一侧相对的壳体的第二侧的第二相机单元所捕获的第二图像数据；以及基于第一图像数据来修改第二图像数据。

(2)根据(1)所述的信息处理系统，其中

在由第二相机单元捕获第二图像数据的基本相同时间由第一相机单元捕获第一图像数据。

(3)根据(1)或(2)中的任一项所述的信息处理系统，其中所述电路被配置为通过基于第一图像数据对第二图像数据进行模糊校正来修改第二图像数据。

(4)根据(1)至(3)中的任一项所述的信息处理系统，其中所述电路被配置为：

基于第一图像数据来生成第一运动信息；基于第二图像数据来生成第二运动信息；以及通过基于第一运动信息和第二运动信息对第二图像数据进行模糊校正来修改第二图像数据。

(5)根据(4)所述的信息处理系统，其中第一运动信息是与第一图像数据对应的第一运动向量，并且第二运动信息是与第二图像数据对应的第二运动向量。

(6)根据(5)所述的信息处理系统，其中所述电路被配置为：通过将第一运动向量和第二运动向量合成来生成第三运动向量；以及通过基于第三运动向量对第二图像数据进行模糊校正来修改第二图像数据。

(7)根据(1)所述的信息处理系统，其中所述电路被配置为：基于第一图像数据来生成与信息处理装置的运动对应的第一运动信息；基于第二图像数据来生成与信息处理装置的运动对应的第二运动信息；基于第一运动信息和第二运动信息来生成与信息处理装置的运动对应的第三运动信息；以及通过基于第三运动信息对第二图像数据进行模糊校正来修改第二图像数据。

(8)根据(1)至(7)中的任一项所述的信息处理系统，其中所述电路被配置为通过基于第一图像数据控制与第二图像数据对应的图像捕获角度来修改第二图像数据。

(9)根据(8)所述的信息处理系统，其中所述电路被配置为通过改变第二相机单元的缩放比率、改变第二相机单元的光圈、改变第二相机单元的朝向以及对第二图像数据进行图像变形中的至少一个来控制与第二图像数据对应的图像捕获角度。

(10)根据(8)至(9)中的任一项所述的信息处理系统，其中所述电路被配置为：基于第一图像数据来计算用户的视点；以及基于计算出的用户的视点来控制与第二图像数据对应的图像捕获角度。

(11)根据(10)所述的信息处理系统，其中

所述电路被配置为通过获得用户相对于包括在信息处理系统中的显示器的视线方向来计算用户的视点。

(12)根据(1)至(11)中的任一项所述的信息处理系统，其中所述电路被配置为：向显示器输出第二图像数据；基于第一图像数据来检测用户在显示器上的注视位置；以及通过基于所检测到的用户在显示器上的注视位置控制第二相机单元的图像捕获参数来修改第二图像数据。

(13)根据(12)所述的信息处理系统，其中在第二图像数据中包括多个对象，并且所述电路被配置为：确定显示在显示器上的所述多个对象中的哪个对象与所检测到的用户的注视位置对应；以及基于所述确定来控制与第二图像数据对应的图像捕获参数。

(14)根据(1)至(13)中的任一项所述的信息处理系统，其中所述电路被配置为通过将第一图像数据和第二图像数据合成来修改第二图像数据。

(15)根据(1)至(14)中的任一项所述的信息处理系统，其中所述电路被配置为：获得与第一图像数据对应的第一白平衡值；获得与第二图像数据对应的第二白平衡值；以及基于第一白平衡值和第二白平衡值来控制光源发射光。

(16)根据(15)所述的信息处理系统，其中所述电路被配置为：获取在光源发射光的同时由第一相机单元所捕获的第三图像数据；以及通过将第三图像数据和第二图像数据合成来修改第二图像数据。

(17)根据(1)至(16)中的任一项所述的系统，其中所述系统是包括壳体和电路的移动电话。

(18)根据(1)至(17)中的任一项所述的系统，其中所述系统包含：包括所述电路和接口的服务器，所述接口被配置为经由网络接收从连接到该服务器的设备接收的第一和第二图像数据。

(19)一种信息处理方法，包含：获取由布置在壳体的第一侧的第一相机单元所捕获的第一图像数据；获取由布置在与壳体的第一侧相对的壳体的第二侧的第二相机单元所捕获的第二图像数据；以及基于第一图像数据来修改第二图像数据。

(20)一种包括计算机程序指令的非暂态计算机可读介质，所述计算机程序指令在被信息处理系统执行时使系统：获取由布置在壳体的第一侧的第一相机单元所捕获的第一图像数据；获取由布置在与壳体的第一侧相对的壳体的第二侧的第二相机单元所捕获的第二图像数据；以及基于第一图像数据来修改第二图像数据。

(21)一种图像处理设备，包括：第一成像单元，在第一方向上进行拍摄；第二成像单元，在不同于第一方向的第二方向上进行拍摄；以及控制信息生成单元，基于从通过由第一成像单元拍摄获得的第一图像获得的信息，生成用于调整通过由第二成像单元拍摄获得的第二图像的控制信息。

(22)在(21)所描述的图像处理设备中，控制信息生成单元可以基于从第一图像获得的运动信息来生成指示图像处理设备的运动的运动信息作为控制信息。图像处理设备还可以包括：校正单元，基于控制信息来校正由图像处理设备造成的第二图像的运动抖动。

(23)在(21)或(22)描述的图像处理设备中，控制信息生成单元可以通过将从第一图像获得的运动信息和从第二图像获得的运动信息合成来生成控制信息。

(24)在(21)至(23)中的任一项所述的图像处理设备中，第一成像单元可以设置在操作图像处理设备的用户侧的表面上。控制信息生成单元可以基于从第一图像获得的用户的视点位置来生成用于改变第二图像的视场角的控制信息。

(25)在(21)至(24)中的任一项所述的图像处理设备中，控制信息生成单元可以通过基于控制信息控制第二成像单元来调整第二图像的视场角。

(26)在(21)至(25)中的任一项所述的图像处理设备中，控制信息生成单元可以通过改变第二成像单元的缩放倍率或光圈、或者倾斜第二成像单元来进行视场角调整。

(27)在(21)至(26)中的任一项中所述的图像处理设备还包括：图像变形单元，通过基于视点位置对第二图像进行图像变形来调整第二图像的视场角。

(28)在(21)至(27)中的任一项所述的图像处设备中，第一成像单元可以设置在操作图像处理设备的用户侧的表面上。控制信息生成单元可以基于从第一图像获得的用户的视线方向来生成用于进行第二成像单元的焦点调整、第二图像的亮度调整或第二图像的白平衡调整的控制信息。

(29)在(21)至(28)中的任一项中所述的图像处理设备还包括：显示单元，设置在第二成像单元侧的表面上。控制信息生成单元可以通过基于第一图像的白平衡值和第二图像的白平衡值来生成控制信息，所述控制信息用于通过使显示单元发射光来用光照射第二图像的被摄体。

(30)在(21)至(29)中的任一项中所述的图像处理设备还包括：合成单元，将在显示单元基于控制信息发射光时拍摄的第二图像和第一图像合成。

本领域技术人员应当理解到，可以根据设计需求和其他因素进行各种修改、组合、子组合和替换，只要它们都在所附权利要求书或其等同范围内。

附图标记列表

11：图像处理设备

21：显示单元

22：内图像捕获单元

23：外图像捕获单元

53：信号处理单元

81：运动估计单元

82：运动估计单元

84：相机模糊校正单元

141：位置计算单元

142：视场角变换处理单元

211：白平衡计算单元

212：白平衡计算单元

213：光源颜色计算单元

214：合成单元

Claims (18)

1.一种信息处理系统，包含：

电路，被配置为

获取由被布置在壳体的第一侧的第一相机单元所捕获的第一图像数据；

获取由被布置在壳体的第二侧的第二相机单元所捕获的第二图像数据，壳体的第二侧与壳体的第一侧相对；

基于第一图像数据来生成第一运动信息；

基于第二图像数据来生成第二运动信息；以及

通过基于第一运动信息和第二运动信息对第二图像数据进行模糊校正来修改第二图像数据。

2.根据权利要求1所述的信息处理系统，其中

在由第二相机单元捕获第二图像数据的基本相同时间由第一相机单元捕获第一图像数据。

3.根据权利要求1所述的信息处理系统，其中

第一运动信息是与第一图像数据对应的第一运动向量；以及

第二运动信息是与第二图像数据对应的第二运动向量。

4.根据权利要求3所述的信息处理系统，其中所述电路被配置为：

通过将第一运动向量和第二运动向量合成来生成第三运动向量；

以及

通过基于第三运动向量对第二图像数据进行模糊校正来修改第二图像数据。

5.根据权利要求1所述的信息处理系统，其中

第一运动信息与信息处理装置的运动对应；

第二运动信息与信息处理装置的运动对应；

所述电路被配置为：

基于第一运动信息和第二运动信息来生成与信息处理装置的运动对应的第三运动信息；以及

通过基于第三运动信息对第二图像数据进行模糊校正来修改第二图像数据。

6.根据权利要求1所述的信息处理系统，其中

所述电路被配置为通过基于第一图像数据控制与第二图像数据对应的图像捕获角度来修改第二图像数据。

7.根据权利要求6所述的信息处理系统，其中

所述电路被配置为通过改变第二相机单元的缩放比率、改变第二相机单元的光圈、改变第二相机单元的朝向以及对第二图像数据进行图像变形中的至少一个来控制与第二图像数据对应的图像捕获角度。

8.根据权利要求6所述的信息处理系统，其中所述电路被配置为：

基于第一图像数据来计算用户的视点；以及

基于计算出的用户的视点来控制与第二图像数据对应的图像捕获角度。

9.根据权利要求8所述的信息处理系统，其中

所述电路被配置为通过获得用户相对于包括在所述信息处理系统中的显示器的视线方向来计算用户的视点。

10.根据权利要求1所述的信息处理系统，其中所述电路被配置为：

向显示器输出第二图像数据；

基于第一图像数据来检测用户在显示器上的注视位置；以及

通过基于所检测到的用户在显示器上的注视位置控制第二相机单元的图像捕获参数来修改第二图像数据。

11.根据权利要求10所述的信息处理系统，其中

在第二图像数据中包括多个对象；以及

所述电路被配置为：

确定显示在显示器上的所述多个对象中的哪个对象与所检测到的用户的注视位置对应；以及

基于所述确定来控制与第二图像数据对应的图像捕获参数。

12.根据权利要求1所述的信息处理系统，其中

所述电路被配置为通过将第一图像数据和第二图像数据合成来修改第二图像数据。

13.根据权利要求1所述的信息处理系统，其中所述电路被配置为：

获得与第一图像数据对应的第一白平衡值；

获得与第二图像数据对应的第二白平衡值；以及

基于第一白平衡值和第二白平衡值来控制光源发射光。

14.根据权利要求13所述的信息处理系统，其中所述电路被配置为：

获取在光源发射光的同时由第一相机单元所捕获的第三图像数据；以及

通过将第三图像数据和第二图像数据合成来修改第二图像数据。

15.根据权利要求1所述的信息处理系统，其中

所述信息处理系统是包括所述壳体和所述电路的移动电话。

16.根据权利要求1所述的系统，其中所述信息处理系统包含：

包括所述电路和接口的服务器，所述接口被配置为经由网络从连接到所述服务器的设备接收第一图像数据和第二图像数据。

17.一种信息处理方法，包含：

获取由布置在壳体的第一侧的第一相机单元所捕获的第一图像数据；

获取由布置在壳体的第二侧的第二相机单元所捕获的第二图像数据，壳体的第二侧与壳体的第一侧相对；

基于第一图像数据来生成第一运动信息；

基于第二图像数据来生成第二运动信息；以及

通过基于第一运动信息和第二运动信息对第二图像数据进行模糊校正来修改第二图像数据。

18.一种包括计算机程序指令的非暂态计算机可读介质，所述计算机程序指令当被信息处理系统执行时使所述信息处理系统：

获取由布置在壳体的第一侧的第一相机单元所捕获的第一图像数据；

获取由布置在壳体的第二侧的第二相机单元所捕获的第二图像数据，壳体的第二侧与壳体的第一侧相对；

基于第一图像数据来生成第一运动信息；

基于第二图像数据来生成第二运动信息；以及

通过基于第一运动信息和第二运动信息对第二图像数据进行模糊校正来修改第二图像数据。