CN115191111A - 图像处理设备和图像处理设备的控制方法 - Google Patents

Abstract

一种图像处理设备，包括：获取单元，其被配置为获取由摄像单元拍摄到的图像、以及所述图像的摄像时的摄像信息；以及计算单元，其被配置为基于所述摄像信息和所述摄像单元的像素尺寸来计算所述图像中的对象被摄体的物侧像素尺寸，其中，所述获取单元获取表示图像中的被摄体的聚焦状态的聚焦信息作为所述摄像信息，以及其中，所述计算单元基于所述聚焦信息来计算所述物侧像素尺寸。

Description

图像处理设备和图像处理设备的控制方法

技术领域

本发明涉及一种图像处理设备和图像处理方法，其基于摄像时的信息和与在摄像中使用的摄像设备有关的信息来进行与图像中的被摄体的尺寸有关的处理。

背景技术

存在使用图像的摄像时的信息来将图像中的被摄体以全尺寸(full scale)显示的技术。

专利文献1论述了将图像以实际大小显示在显示装置的画面上的显示系统和方法。已提出了如下的方法，该方法从与显示图像的显示画面有关的规格信息和以可交换图像文件格式(Exif)形式存储的图像获取摄像时的信息，计算实际大小，并且显示图像。

现有技术文献

专利文献

专利文献1：日本特开2010-78677

发明内容

发明要解决的问题

在专利文献1中论述的技术中，使用Exif文件中所存储的信息来计算实际大小，但没有进行考虑焦点状态的处理，这导致了难以根据图像的焦点状态计算高度准确的全尺寸的问题。另外，仅论述了在将图像中的单个被摄体的尺寸以实际大小显示的配置中的使用。

有鉴于上述问题，本发明旨在提供解决上述问题中的至少一个的图像处理设备和图像处理方法。更具体地，本发明旨在提供生成可以更准确地再现存在于图像中的期望位置处的被摄体的尺寸的输出图像的图像处理设备和图像处理方法。此外，本发明还涉及提供进一步利用被摄体的尺寸的图像处理设备和图像处理方法。

用于解决问题的方案

为了实现上述目的，根据本发明的一种图像处理设备，包括：获取单元，其被配置为获取摄像单元所拍摄到的图像、以及该图像的摄像时的摄像信息；以及计算单元，其被配置为基于所述摄像信息和所述摄像单元的像素尺寸来计算图像中的对象被摄体的物侧像素尺寸，其中，所述获取单元获取表示图像中的被摄体的聚焦状态的聚焦信息作为所述摄像信息，以及其中，所述计算单元基于所述聚焦信息来计算所述物侧像素尺寸。

此外，根据本发明的一种图像处理方法，包括：获取步骤，用于获取由摄像单元拍摄到的图像、以及该图像的摄像时的摄像信息；以及计算步骤，用于基于所述摄像信息和所述摄像单元的像素尺寸来计算图像中的被摄体的物侧像素尺寸，其中，在所述获取步骤中，获取表示图像中的被摄体的聚焦状态的聚焦信息作为所述摄像信息，以及其中，在所述计算步骤中，基于所述聚焦信息来计算所述物侧像素尺寸。

发明的效果

根据本发明，可以生成存在于图像中的期望位置处的被摄体的尺寸更准确和更清晰的图像。还可以利用存在于图像中的期望位置处的被摄体的尺寸来进行被摄体之间的尺寸比较。

附图说明

图1是示出根据第一典型实施例的图像处理设备的功能结构的框图。

图2A是示出在第一典型实施例中要执行的处理的流程图。

图2B是示出在第一典型实施例中要执行的处理的流程图。

图2C是示出在第一典型实施例中要执行的处理的流程图。

图3是示出根据第二典型实施例的图像处理设备的功能结构的框图。

图4A是示出在第二典型实施例中要执行的处理的流程图。

图4B是示出在第二典型实施例中要执行的处理的流程图。

图5A是示出在第二典型实施例中要执行的处理的图。

图5B是示出在第二典型实施例中要执行的处理的图。

图5C是示出在第二典型实施例中要执行的处理的图。

图5D是示出在第二典型实施例中要执行的处理的图。

图5E是示出在第二典型实施例中要执行的处理的图。

图5F是示出在第二典型实施例中要执行的处理的图。

图5G是示出在第二典型实施例中要执行的处理的图。

图6是示出根据第三典型实施例的摄像设备的功能结构的框图。

图7A是示出根据第三典型实施例的图像传感器的图。

图7B是示出根据第三典型实施例的图像传感器的图

图8A是示出摄像面相位差方法的距离测量原理的图。

图8B是示出摄像面相位差方法的距离测量原理的图。

图8C是示出摄像面相位差方法的距离测量原理的图。

图8D是示出摄像面相位差方法的距离测量原理的图。

图8E是示出摄像面相位差方法的距离测量原理的图。

图9A是示出在第三典型实施例中要执行的处理的流程图。

图9B是示出在第三典型实施例中要执行的处理的流程图。

图9C是示出在第三典型实施例中要执行的处理的流程图。

图9D是示出在第三典型实施例中要执行的处理的流程图。

图10A是示出根据第三典型实施例的显示装置和打印设备的功能结构的框图。

图10B是示出根据第三典型实施例的显示装置和打印设备的功能结构的框图。

图11是示出在第四典型实施例中要执行的处理的流程图。

图12A是示出在第四典型实施例中要执行的处理的图。

图12B是示出在第四典型实施例中要执行的处理的图。

图12C是示出在第四典型实施例中要执行的处理的图。

图13是示出根据第五典型实施例的摄像设备的功能结构的框图。

图14A是示出在第五典型实施例中要执行的处理的流程图。

图14B是示出在第五典型实施例中要执行的处理的流程图。

图15A是示出根据第五典型实施例的通知方法的图。

图15B是示出根据第五典型实施例的通知方法的图。

图15C是示出根据第五典型实施例的通知方法的图。

图16是示出在第六典型实施例中要执行的处理的流程图。

图17A是示出在第六典型实施例中要执行的处理中要显示的显示画面的图。

图17B是示出在第六典型实施例中要执行的处理中要显示的显示画面的图。

图18A是示出在第六典型实施例中要执行的处理中要显示的显示画面的图。

图18B是示出在第六典型实施例中要执行的处理中要显示的显示画面的图。

图18C是示出在第六典型实施例中要执行的处理中要显示的显示画面的图。

图18D是示出在第六典型实施例中要执行的处理中要显示的显示画面的图。

图19A是示出在第六典型实施例中要执行的处理中要显示的显示画面上显示网格线的情况的图。

图19B是示出在第六典型实施例中要执行的处理中要显示的显示画面上显示网格线的情况的图。

具体实施方式

[第一典型实施例]

在下文，将参考附图来详细说明典型实施例。以下的典型实施例不旨在限制所附权利要求中阐述的发明。在典型实施例中描述了多个特征，但并非所有的多个特征对于本发明都是必需的，并且可以任意组合这多个特征。此外，在附图中，相同或相似的结构被指派了相同的附图标记，并且将省略冗余的说明。

在以下要说明的典型实施例中，将说明嵌入有本发明的图像处理设备的图像处理设备的示例作为图像处理设备的示例。该图像处理设备获取从诸如数字照相机等的摄像设备获取到的拍摄图像，并将被摄体的全尺寸图像输出到诸如显示装置和打印设备等的输出装置。本发明可应用于可以基于拍摄图像以及与该拍摄图像相对应的摄像信息和输出装置信息来计算全尺寸图像的任何装置。

<图像处理设备100的结构>

将参考图1来说明图像处理设备100的结构。图1是示出图像处理设备100的功能结构的框图。

输入单元10是从数字照相机1或其他外部设备获取由诸如数字照相机1等的摄像设备拍摄到的图像信息(图像数据)以及摄像信息(摄像条件、图像处理参数等)的接口(I/F)。

图像处理单元12对从输入单元11、存储单元13或通信单元14获取到的图像数据进行各种类型的图像处理(诸如亮度或颜色转换处理、对缺陷像素、遮光和噪声分量的校正处理、滤波处理和图像合成处理等)以及图像处理所用的各种类型的计算。图像处理单元12包括转换信息计算单元121和图像生成单元122。转换信息计算单元121基于要获取的图像数据的图像的摄像信息来执行用于将例如获取到了图像数据的数字照相机1的图像传感器中的像素的大小(像素尺寸)转换成期望被摄体距离处的空间中的大小的计算。图像生成单元122使用由转换信息计算单元121计算出的被摄体空间中的像素尺寸和与以全尺寸显示或打印被摄体的装置有关的装置信息(输出目的地信息)来生成输出图像。输出图像是以使得输出目的地装置上的最终输出(显示装置上的显示或来自打印设备的打印品)采用全尺寸的方式执行了图像转换的图像。这里，图像处理单元12可以包括逻辑电路。此外，作为另一配置，图像处理单元12可以包括中央处理单元(CPU)和存储计算处理程序的存储器。

存储单元13包括诸如存储器等的记录介质，其存储经由输入单元11或通信单元14输入的诸如图像数据和参数等的各种类型的信息。此外，存储单元13存储由图像生成单元122生成且被转换以使得被摄体在输出目的地装置上的输出中采用全尺寸的输出图像、以及转换信息计算单元121所需的与数字照相机1有关的装置信息。

通信单元14是与外部设备进行数据发送和接收的通信I/F。在本典型实施例中，通信单元14与数字照相机1、显示器2或打印机3进行通信，并且获取转换信息计算单元121和图像生成单元122所需的与数字照相机1、显示器2或打印机3有关的装置信息。

输出单元15是将包括由图像处理单元12生成的输出图像的全尺寸信息输出到作为输出目的地的显示器2或打印机3的I/F。

控制单元16包含用作计算机的CPU，并且基于非易失性存储器中所存储的计算机程序经由总线控制整个图像处理设备100的各组件。

<输出图像生成处理>

关于输出图像生成处理(其由本典型实施例的图像处理设备100执行，并且在该输出图像生成处理中，通过为了所摄像的被摄体的全尺寸输出而对输入图像进行图像处理来生成输出图像)，将参考图2A的流程图来说明具体处理。与该流程图相对应的处理例如是通过控制单元16或各组件通过如下操作进行操作来实现的：控制单元16读出控制单元16内的非易失性存储器中所存储的相应处理程序，将该处理程序加载到控制单元16内的易失性存储器上，并执行该处理程序。

在S121中，图像处理单元12经由输入单元11从数字照相机1获取附加有摄像时的信息的拍摄图像的图像数据。输入单元11可以从另一外部设备获取类似的附加有摄像时的信息的图像数据。

在S122中，转换信息计算单元121计算用于将拍摄图像中的一个像素的尺寸转换成在期望被摄体距离处的空间中占据的尺寸的转换信息。将参考图2B的流程图来说明转换信息计算处理。与该流程图相对应的处理例如是通过控制单元16或各组件通过如下操作进行操作来实现的：控制单元16读出控制单元16内的非易失性存储器中所存储的相应处理程序，将该处理程序加载到控制单元16内的易失性存储器上，并执行该处理程序。

在S1221中，从附加到拍摄图像的信息(诸如以可交换图像文件格式(Exif)形式存储的标签的数据(元数据)等)获取在对拍摄图像进行拍摄时使用的摄像信息。这里要获取的摄像信息例如是与在获取到的图像的摄像中使用的照相机的照相机名称(照相机ID)、镜头名称(镜头ID)、焦距、F值和被摄体距离有关的信息。通常，以Eixf形式存储的诸如焦距、F值和被摄体距离等的摄像信息是被舍入为整数的值，或者是具有低分辨率的离散值。例如，镜头的焦距被舍入为最接近的整数并被存储，并且不能获取到小数点之后的值。此外，在内调焦透镜中，焦距根据聚焦距离而变化，但即使聚焦距离变化，也将相同的焦距存储在图像文件中。以这种方式，由于采用Exif形式的标签中所存储的信息不是精确值，因此在使用获取到的值计算倍率转换信息的情况下，最终全尺寸图像相对于被摄体的实际大小的误差变得更大。作为针对这种误差的对策，在摄像设备中，将与摄像时的聚焦状态有关的信息记载在采用Exif形式的制造商注释区域中，并作为摄像信息进行存储。与聚焦状态有关的信息是诸如被驱动用于调焦的马达的步长或位置、或者驱动了变焦透镜的马达的步长或位置等的信息。在S1221中，除上述信息之外，还获取到与聚焦状态有关的信息(聚焦信息)，并且在接下来的S1222中在摄像信息的校正中使用该信息。

此外，镜头像差影响拍摄图像，并且由于该像差，在生成全尺寸输出所用的输出图像时可能无法正确地获得全尺寸输出。在畸变像差仍存在的情况下，在图像中发生畸变，并且由于畸变的影响而不能获得正确的全尺寸输出。因此，期望还获取与畸变像差有关的信息作为摄像信息。在摄像时将与摄像时的镜头状态相对应的值记录在采用Exif形式的制造商注释区域中，并且在S1221中通过读出所记录的值来获取畸变像差信息。可替代地，将多个照相机和镜头的畸变像差信息作为校正所用的信息预存储在存储单元13中，并且还可以通过基于摄像时的照相机名称和镜头名称以及焦距信息从存储单元13读出畸变像差信息来获取畸变像差信息。

作为另一类型的像差信息，轴向色像差信息对于生成高度准确的全尺寸输出所用的输出图像也变得有必要。在轴向色像差大的情况下，根据被摄体颜色，即使被摄体存在于相同的距离处，镜头聚焦状态也变化，因而输出不同的被摄体距离。为了校正被摄体距离的误差，需要轴向色像差信息。与畸变像差信息类似，轴向色像差信息可以被记录在拍摄图像的采用Exif形式的制造商注释区域中并被读出，或者可以被预存储在存储单元13中作为校正所用的信息，并且可以基于照相机和镜头信息读出相应的信息。

在S1222中，使用获取到的包括聚焦状态信息的摄像信息，控制单元16执行获取到的摄像信息的校正。在S1222中，基于获取到的照相机名称和镜头名称来获取用于校正预存储在存储单元13中的相应型号的摄像信息的校正信息。可以经由通信单元14从外部获取未存储在存储单元13中的型号的校正信息。

这里的校正信息其中之一是要用于获取焦距相对于聚焦状态的变化量的、表示聚焦状态和与聚焦状态相对应的焦距的值的表信息，并且使用该表信息来校正焦距。在从最近距离到无限远距离的距离中例如基于100个分割状态来控制聚焦状态的情况下，存储与100个不同的聚焦状态相对应的焦距信息。可替代地，可以将聚焦状态和与聚焦状态相对应的焦距之间的关系存储为函数，并且可以计算并获取与输入的聚焦状态相对应的焦距。该信息对于校正由制造引起的与焦距的设计值的差也变得有必要。可以使用基于制造误差的焦距分布信息来减小平均制造误差。可以以如下方式从图像文件获取与制造误差有关的信息：在制造时针对各个体装置测量焦距，将该信息存储在附接到照相机主体或镜头的存储介质中，并且在摄像时读取所存储的信息并将其记录在拍摄图像的制造商注释区域中。

其他校正信息包括用于校正被摄体距离的信息。作为附接到拍摄图像的摄像时的被摄体距离，通常存储从聚焦被摄体到镜头的最前表面的距离或者从聚焦被摄体到图像传感器的距离。因此，将针对各照相机的被摄体距离的定义作为校正信息其中之一预存储到存储单元13中，并且基于获取到的照相机名称来确定获取到的被摄体距离的定义。校正信息还包括用于将获取到的被摄体距离转换成从被摄体到前主点或前焦点的距离的信息。可以基于与镜头有关的设计信息和与镜筒有关的设计信息来生成这些校正信息。由于前主点(光学系统的主点位置)或前焦点位置根据聚焦状态而变化，因此将相对于与各聚焦状态相对应的前主点或前焦点的基准位置(镜头最前表面或图像传感器平面)的差位置信息作为校正信息存储为表或函数。最后，基于获取到的摄像时的被摄体距离、在摄像中使用的照相机的被摄体距离的定义、以及基于该定义的从基准位置到前主点或前焦点位置的差位置信息来校正焦距。

作为用于校正被摄体距离的其他信息，还包括上述的轴向色像差信息。由于轴向色像差，在存在于相同距离处的被摄体之间像侧的聚焦位置根据颜色而变化，因而要输出的被摄体距离变化。为了校正该影响，使用镜头设计信息，预先计算并存储多个可见波长(例如，图像的滤色器的中心波长)中的轴向色像差量。此外，获取到与聚焦被摄体上的聚焦区域有关的颜色信息(与相应图像区域的各颜色分量有关的亮度信息)。根据颜色分量的混合比和轴向色像差的值，计算相对于作为基准的像侧的聚焦位置的偏移，并且进行被摄体距离的校正。作为基准的像侧的聚焦位置是在计算被摄体距离时使用的基准被摄体的颜色中的聚焦位置。例如，在使用黑白图表作为基准的情况下，可以根据与颜色分量有关的亮度信息以及轴向色像差信息来计算作为基准的像侧的聚焦位置。

在S1223中，现在，基于校正后的焦距和被摄体距离来计算摄像时的倍率。当将从被摄体到前焦点的距离表示为被摄体距离x并且焦距由f表示时，通过以下公式(1)获得倍率m：

m＝x/f 公式(1)。

这里的倍率被设置为用于将摄像面上的被摄体转换成物侧的实际大小的放大率。

在被摄体距离被设置为从被摄体到前主点的距离(被摄体距离由S表示)的情况下，可以使用被摄体距离S和焦距x来计算从后主点到像面的距离S′，并且可以通过以下公式(2)获得倍率m：

m＝S′/S 公式(2)。

此外，在S1223中，控制单元16获取在摄像中使用的图像传感器的像素尺寸p(像素间距、像素之间的间隔)。通过计算像素尺寸p和倍率m的乘积，可以计算出被摄体距离处的图像传感器的一个像素的大小(表示存在于一个像素上的被摄体在真实空间中的长度或大小的物侧像素尺寸)，并且可以从被摄体延伸覆盖的像素的数量获得被摄体的实际大小。

这里，说明了根据校正后的焦距和被摄体距离来获得倍率的情况，但可以基于镜头设计信息来预先计算高度准确的倍率信息并进行存储。在这种情况下，存储与诸如被驱动用于调焦的马达的步长或位置、或者驱动了变焦透镜的马达的步长或位置等的信息相对应的表，并且根据这些值来计算适合于摄像情形的倍率。倍率信息的表不需要以与马达可以取的所有值相对应的方式存储。可以存储离散值，并且还可以通过插值来计算离散值之间的值。另外，可以对马达的倍率信息和值进行函数拟合，并且可以存储其系数。

返回参考图2A的流程图，在S1213中，控制单元16和图像生成单元122进行适合于图像的输出目的地装置的全尺寸输出所用的输出图像的生成。将参考图2C的流程图来说明输出图像生成处理。

在S1231中，获取与输出图像的输出目的地有关的信息。例如，在输出图像由打印机3输出为打印品的情况下，获取与要输出的薄片尺寸有关的信息。例如，在输出图像显示在显示器2上的情况下，获取显示器2的显示画面尺寸和显示画面分辨率。这里，显示画面分辨率表示显示画面上的显示像素的数量。

在S1232中，图像生成单元122使用获取到的输出目的地信息和物侧像素尺寸来生成适合于输出目的地的输出图像。在输出是从打印机3等输出的打印品的情况下，通过将薄片尺寸除以物侧像素尺寸，可以计算出拍摄图像相对于薄片尺寸的纵向方向和横向方向上的像素数。该像素数被认为是输出图像的像素数。在拍摄图像的像素数大于计算出的输出图像的像素数的情况下，可以通过从拍摄图像中选择和提取与输出图像的像素数相对应的所需区域来生成输出图像。另一方面，在拍摄图像的像素数小于作为计算出的输出图像的像素数所设置的像素数的情况下，通过向拍摄图像添加空白像素来使拍摄图像的像素数与输出图像的像素数一致，并且生成输出图像。当提取图像中的区域时，选择该区域使得聚焦被摄体包括在该区域中，这是最合适的，并且此外，期望以尽可能不发生空白添加的方式选择该区域。

另一方面，在输出图像的输出目的地是诸如显示器2等的显示装置的情况下，使用显示器2的显示画面尺寸和图像传感器的物侧像素尺寸，与打印输出图像的情况类似地计算显示所需的拍摄图像的纵向方向和横向方向上的像素数。随后，根据计算出的像素数从拍摄图像中提取所需区域。该处理使显示画面尺寸与所提取的拍摄图像的被摄体距离处的图像尺寸一致。接着，根据计算出的像素数和显示画面分辨率来计算转换倍率，并且通过以使得所提取的拍摄图像的像素数与显示画面分辨率一致的方式对所提取的拍摄图像执行放大/缩小处理，来生成显示器2上的全尺寸输出所用的输出图像。

在S124中，图像处理单元12将所生成的输出图像经由输出单元15输出到输出目的地装置，并且结束输出图像生成处理。此时，所生成的输出图像可以连同诸如打印薄片尺寸、显示画面尺寸和显示画面分辨率等的输出目的地装置信息一起被记录到存储单元13中。

如上所述，根据本典型实施例，通过使用附加到拍摄图像的摄像信息和用于提高摄像信息的准确度的校正信息，可以生成能够更准确地再现存在于图像中的期望位置处的被摄体的尺寸的输出图像。

[第二典型实施例]

在第一典型实施例中，给出了对如下配置的说明：高度准确地计算用于对图像进行转换以将拍摄图像中的被摄体以全尺寸输出的信息，获取输出装置信息，并且生成全尺寸输出所用的输出图像。在计算出用于将被摄体以全尺寸输出的信息的情况下，可以在不必生成用于将被摄体以全尺寸输出的输出图像的情况下，以通过与其他物体进行比较来识别被摄体的实际大小的方式进行输出。有鉴于上述，在本典型实施例中，将给出对如下的图像处理设备的说明，该图像处理设备输出图像，使得可以通过使用多个拍摄图像作为输入并且计算多个拍摄图像中的各拍摄图像的全尺寸转换信息，考虑到实际大小来进行相对尺寸比较。在下文，将说明与第一典型实施例的不同之处，将已分配的附图标记和符号用于与第一典型实施例中的事项类似的事项，并且因此将省略对这些事项的详细说明。这种说明省略方法类似地应用于以下要说明的典型实施例。

将参考图3来说明根据本典型实施例的图像处理设备100的结构。在本典型实施例中，图像处理单元22的特征在于包括相对图像生成单元222。除图像处理单元22以外的结构与第一典型实施例的结构类似。可替代地，除了第一典型实施例中所包括的输出图像生成单元122之外，还可以包括相对图像生成单元222，并且第一典型实施例的配置也可以是可执行的。

<相对比较图像生成处理>

关于将由本典型实施例的图像处理设备100执行的用于生成相对图像的相对图像生成处理，将参考图4A的流程图来说明具体处理。与该流程图相对应的处理例如是通过控制单元16或各组件通过如下操作进行操作来实现的：控制单元16读出控制单元16内的非易失性存储器中所存储的相应处理程序，将该处理程序加载到控制单元16内的易失性存储器上，并执行该处理程序。

在S221中，图像处理单元22经由输入单元11从摄像设备1或外部存储装置获取附加有摄像时的信息的多个拍摄图像。

在S222中，类似于第一典型实施例，转换信息计算单元121针对各个拍摄图像计算转换信息，该转换信息用于计算从拍摄图像中的一个像素的尺寸转换得到的期望被摄体距离处的空间中的尺寸。

在S223中，相对图像生成单元222生成相对图像，通过该相对图像，可以考虑到实际大小来相对比较拍摄图像中的多个被摄体。将参考图4B的流程图和图5来说明相关图像生成处理。

在S2231中，控制单元16以使得所输入的多个拍摄图像的被摄体距离处的像素尺寸(物侧像素尺寸)变得彼此相等的方式，进行图像的转换。首先，如图5A至图5C所示，从所输入的多个拍摄图像中选择基准拍摄图像(基准图像)。可以选择任何图像作为基准图像，或者用户可以在图像输入时选择基准图像。此外，在作为最终输出的相对图像的分辨率要具有高分辨率的情况下，选择在S222中计算出的物侧像素尺寸最小的拍摄图像。相反，在需要具有低分辨率的图像的情况下，选择计算出的物侧像素尺寸最大的拍摄图像。在确定基准图像之后，根据基准图像的物侧像素尺寸Ls和另一拍摄图像(比较图像)的物侧像素尺寸Lr，使用以下公式(3)来计算用于使比较图像的像素尺寸与基准图像的像素尺寸一致的比较图像的放大/缩小比Ri。

Ri＝Lr/Ls 公式(3)

针对各比较图像计算放大/缩小比Ri，并且根据放大/缩小比Ri对各比较图像进行放大/缩小处理。通过该处理，如图5D至图5F所示，所有放大/缩小后的输入拍摄图像(处理后的图像将被称为放大/缩小拍摄图像)的物侧像素尺寸变为与基准图像的物侧像素尺寸相同的尺寸。

在S2232中，控制单元16识别各放大/缩小拍摄图像中的被摄体，并且提取特定被摄体的被摄体区域。作为被摄体识别和区域判别的示例，将说明如图5所示的人物图像中的人物识别。人物识别使用机器学习，并且使用学习结果来进行人检测和区域判别。在如图5D所示、在一个放大/缩小拍摄图像中检测到多个人物的情况下，使用面部识别技术来判别在另一放大/缩小拍摄图像中出现的同一人物，并且提取所判别的人物的区域。通过该处理，可以比较同一人物的随时间的尺寸变化。此外，不限于本典型实施例，当在S221中预先获取到多个输入图像时，可以获取到从中识别出期望被摄体的图像(此外，从中提取出被摄体的区域的图像等)。

此外，尽管期望地执行区域提取以沿着被摄体的外缘提取被摄体，但根据使用应用，期望在摄像时同时提取背景信息。在同时提取背景信息的情况下，期望提取基本上围绕所选择的被摄体而外接的矩形区域或椭圆形区域。

此外，在本典型实施例中，给出了对被摄体是人物的示例情况的说明，但可以对任何被摄体执行处理，并且还可以进行不同被摄体之间的维度的相对比较。放大/缩小拍摄图像中的被摄体的选择和提取不需要总是自动执行，并且用户能够选择并提取被摄体。

S2231和S2232的处理也可以按相反的顺序执行。

在S2233中，将从放大/缩小拍摄图像中提取的被摄体合成到一个图像中，并且生成如图5G所示的相对图像。期望以使得相对最大的被摄体的整个图像落在合成图像内的方式调整大小，并且以该最大被摄体为基准以正确的相对尺寸对另一被摄体进行合成。可替代地，可以设置基准被摄体，并且可以以使得基准被摄体的整个图像落在合成图像内的方式调整大小，并且可以对另一被摄体进行合成以具有正确的相对尺寸。关于图像中的被摄体的布置，期望按尺寸的顺序或按摄像日期和时间的顺序在水平方向或垂直方向上布置被摄体。如果当在S1221中获取摄像信息时获取到与摄像日期和时间有关的信息，则该信息变得可用。

这里，给出了对在选择多个被摄体之后执行区域提取、并且将所选择的被摄体按基于基准图像调整的相对大小进行布置这一情况的说明；然而，可以选择背景图像并将其设置为基准图像。通过在根据背景图像的实际大小、以使得相对大小一致的方式对所选择的被摄体进行放大或缩小之后布置该被摄体，可以比较背景和被摄体之间的大小差异。

此外，不需要总是自动布置被摄体。与S2232的处理类似，用户可以布置被摄体。此外，当与用户一起对话地生成能够进行相对比较的合成图像时，期望每次用户选择被摄体时检测最大被摄体，并且在以使得最大被摄体不会落在图像之外的方式进行放大/缩小处理的同时生成并显示合成图像。

在背景图像根据画面中的位置而具有不同的物侧像素尺寸或距离信息的情况下，根据背景图像上的用户布置被摄体的位置，被摄体的相对大小可以改变。例如，在背景图像具有深度的情况下，根据距离，在被摄体布置在前侧的情况下被摄体以相对较大的大小显示，并且在被摄体布置在远处的情况下被摄体以相对较小的大小显示。

在S224中，图像处理单元22将所生成的相对图像经由输出单元15输出到输出目的地装置，并且结束相对图像生成处理。可替代地，将所生成的相关图像存储在存储单元13中，并且结束相关图像生成处理。

根据本典型实施例，通过根据多个拍摄图像计算用于转换成实际大小的转换信息、并且生成在基于该转换信息进行放大/缩小之后布置多个拍摄图像中的被摄体的图像，可以生成能够考虑到实际大小来进行相对尺寸比较的图像。

[第三典型实施例]

在第一典型实施例和第二典型实施例中，给出了对如下配置的说明：转换信息计算处理和用于全尺寸输出的输出图像生成处理或相关图像生成处理由相同的图像处理设备执行。转换信息计算处理可以作为摄像设备的一部分嵌入在摄像设备中并由该摄像设备执行，并且实际大小图像生成处理和相关图像生成处理可以嵌入在输出装置(诸如打印设备或显示装置等)中并由该输出装置执行。有鉴于上述，在本典型实施例中，将给出对如下的图像处理设备的说明，在该图像处理设备中，转换信息计算处理、实际大小图像生成处理和相对图像生成处理分别嵌入到摄像设备和输出装置中。

<摄像设备>

将参考图6来说明数字照相机300的结构。如图6所示，在本典型实施例中，转换信息计算处理单元包括在图像处理单元33中。

摄像光学系统30包括数字照相机300中所包括的透镜单元或可附接到照相机主体单元的镜头装置，并且在图像传感器31上形成被摄体的光学图像。摄像光学系统30包括沿光轴30a的方向布置的多个透镜，并且在与图像传感器31相距预定距离的位置处包括出射光瞳30b。在本说明书中，与光轴30a平行的方向被定义为z方向(深度方向)。换句话说，深度方向是以数字照相机300的位置为基准、被摄体在真实空间中存在的方向。另外，与光轴30a垂直且与图像传感器31的水平方向平行的方向被定义为x方向，并且与光轴30a垂直且与图像传感器31的垂直方向平行的方向被定义为y方向。

图像传感器31例如是电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。图像传感器31对经由摄像光学系统30在摄像面上形成的被摄体图像进行光电转换，并且输出与被摄体图像相关的图像信号。本典型实施例的图像传感器31如以下所述具有输出使得能够进行摄像面相位差方法的距离测量的信号的功能，并且除了输出拍摄图像之外，还输出用于生成表示从摄像设备到被摄体的距离(被摄体距离)的距离信息的视差信号。

控制单元32包括中央处理单元(CPU)或微处理器，并且控制数字照相机100中所包括的组件的操作。例如，控制单元32进行摄像时的自动调焦(自动焦点调节：AF)，改变焦点(聚焦)位置，改变F值(光圈值)，并且导入图像。控制单元32还控制图像处理单元33、存储单元34、输入单元35、显示单元36和通信单元37。

图像处理单元33执行数字照相机100中所包括的各种类型的图像处理。图像处理单元33包括图像生成单元330、深度生成单元331和转换信息计算单元332。图像处理单元33包括用作图像处理所用的工作区域的存储器。图像处理单元33除使用逻辑电路的结构之外，还可以由CPU和存储计算处理程序的存储器构成。

图像生成单元330对从图像传感器31输出的图像信号进行各种类型的信号处理，诸如噪声去除、去马赛克、亮度信号转换、像差校正、白平衡调整和颜色校正等。从图像生成单元330输出的图像数据(拍摄图像)被存储在存储器或存储单元34中，并且由控制单元32使用以进行显示单元36上的图像显示或者经由通信单元37输出到外部设备。

深度图像生成单元331基于与从以下要说明的图像传感器31获得的距离测量图像信号相关的获得信号，生成表示深度信息的分布的深度图像(深度分布信息)。这里，深度图像是二维信息，在该二维信息中，各像素中所存储的值是存在于拍摄图像中的与该像素相对应的区域中的被摄体的被摄体距离。另外，

转换信息计算单元332使用在摄像时使用的控制信息、与图像传感器31有关的信息和根据摄像光学系统30的设计信息生成的校正信息来计算转换信息，该转换信息用于计算从拍摄图像中的一个像素的尺寸转换得到的期望被摄体距离处的空间中的尺寸。

存储单元34是非易失性记录介质，在该非易失性记录介质上，记录有拍摄图像数据、转换信息计算单元332所需的校正信息、在各块的操作过程期间生成的中间数据、以及在图像处理单元33或数字照相机300的操作中要参考的参数。

存储单元34可以是任何记录介质，只要确保了在处理的执行中许可的处理能力、可以以高速进行读取和写入、并且记录介质具有大容量即可。例如，期望闪速存储器。

输入单元35是检测对数字照相机300进行的信息输入或设置改变操作输入的用户接口，诸如拨盘、按钮、开关或触摸面板等。在检测到所进行的操作输入时，输入单元35将相应的控制信号输出到控制单元32。

显示单元36是诸如液晶显示器或有机电致发光(EL)显示器等的显示装置。显示单元36用于通过在控制单元32的控制下显示拍摄图像的实时取景图像来检查摄像时的构图，并且用于呈现各种设置画面和消息信息。此外，通过将用作输入单元35的触摸面板和显示单元26的显示面一体地形成，可以组合地提供显示功能和输入功能。

通信单元37是包括在数字照相机300中以实现与外部设备的信息发送和接收的通信接口。通信单元37可被配置为将所获得的拍摄图像、深度信息、尺寸、坐标信息和尺寸测量准确度发送到另一设备。

<图像传感器的结构>

接着，将参考图7来说明上述图像传感器31的结构示例。

如图7A所示，图像传感器31包括以链接方式排列的多个像素组310，并且各个像素组310包括应用了不同滤色器的2×2个像素。如放大图所示，在像素组310中布置有红色滤色器(R)、绿色滤色器(G)和蓝色滤色器(B)。从各像素(光电转换元件)输出表示R、G和B中的任一个的颜色信息的图像信号。在本典型实施例中，将给出对滤色器具有如图7A所示的分布的配置的说明作为示例，但应容易理解，本发明的实现不限于此。

为了实现摄像面相位差距离测量方法的距离测量功能，在本典型实施例的图像传感器31中，一个像素(光电转换元件)包括在图像传感器31的水平方向上在图7A的I-I’截面中布置的多个光电转换单元。更具体地，如图7B所示，各像素包括导光层313和受光层314，导光层313包括微透镜311和滤色器312，受光层314包括第一光电转换单元315和第二光电转换单元316。

在导光层313中，微透镜311被配置为将入射到像素的光束高效地引导到第一光电转换单元315和第二光电转换单元316。另外，用于使预定波长带内的光通过的滤色器312仅使上述R、G和B中的任一个的波长带内的光通过，并将该光引导到后级的第一光电转换单元315和第二光电转换单元316。

受光层314设置有将接收到的光转换成模拟图像信号的两个光电转换单元(第一光电转换单元315和第二光电转换单元316)，并且将从这两个光电转换单元输出的两个类型的信号用于距离测量。换句话说，图像传感器31的各像素类似地包括在水平方向上布置的两个光电转换单元，并且使用由从所有像素的第一光电转换单元315输出的信号构成的图像信号和由从第二光电转换单元316输出的信号构成的图像信号。换句话说，第一光电转换单元315和第二光电转换单元316各自部分地接收经由微透镜311入射到像素的光束。由于该原因，最终获得的两个类型的图像信号变为与穿过了摄像光学系统30的出射光瞳的不同区域的光束相关的光瞳分割图像组。通过对由各像素中的第一光电转换单元315和第二光电转换单元316光电转换的图像信号进行合成所获得的信号等同于在各像素中仅包括一个光电转换单元的配置中从该一个光电转换单元输出的(用于查看的)图像信号。

利用这种结构，本典型实施例的图像传感器31可以输出查看图像信号和距离测量图像信号(两个类型的光瞳分割图像)。在本典型实施例中，将假定图像传感器31的所有像素各自均包括两个光电转换单元并且被配置为输出高密度的深度信息来给出说明，但本发明的实现不限于此，并且仅一部分像素可以包括多个光电转换单元。可替代地，在各像素中仅设置有一个光电转换单元的配置中，接收穿过了出射光瞳的不同区域的光束的光电转换单元可以布置在图像传感器31的一部分并且可以布置不同的像素中。

<摄像面相位差距离测量法的距离测量原理>

将参考图8来说明在本典型实施例的数字照相机300中进行的、基于从第一光电转换单元315和第二光电转换单元316输出的光瞳分割图像组来计算被摄体距离的原理。

图8A是示出摄像光学系统30的出射光瞳30b和要由图像传感器31中的像素的第一光电转换单元315接收的光束的示意图。图8B是示出要由第二光电转换单元316类似地接收的光束的示意图。

图8A和图8B所示的微透镜311以使得出射光瞳30B和受光层314处于光学共轭关系的方式被布置。穿过了摄像光学系统30的出射光瞳30b的光束由微透镜311聚光，并且被引导到第一光电转换单元315或第二光电转换单元316。此时，第一光电转换单元315和第二光电转换单元316分别如图8A和图8B所示主要接收穿过了不同光瞳区域的光束。第一光电转换单元315接收穿过了第一光瞳区域330的光束，并且第二光电转换单元316接收穿过了第二光瞳区域330的光束。

图像传感器31中所包括的多个第一光电转换单元315主要接收穿过了第一光瞳区域320的光束，并输出第一图像信号。此外，同时，图像传感器31中所包括的多个第二光电转换单元316主要接收穿过了第二光瞳区域330的光束，并输出第二图像信号。根据第一图像信号，可以获得由穿过了第一光瞳区域320的光束在图像传感器31上形成的图像的强度分布。此外，根据第二图像信号，可以获得由穿过了第二光瞳区域330的光束在图像传感器31上形成的图像的强度分布。

第一图像信号和第二图像信号之间的相对位置偏移量(所谓的视差量)变为与散焦量相对应的值。将参考图8C、图8D和图8E来说明视差量和散焦量之间的关系。图8C、图8D和图8E是示出本典型实施例的图像传感器31和摄像光学系统30的示意图。在这些图中，附图标记321表示穿过第一光瞳区域320的第一光束，并且附图标记331表示穿过第二光瞳区域330的第二光束。

图8C示出聚焦状态，并且第一光束321和第二光束331会聚在图像传感器31上。此时，由第一光束321形成的第一图像信号和由第二光束331形成的第二图像信号之间的视差量变为0。图8D示出在像侧在z轴的负方向上发生散焦的状态。此时，由第一光束形成的第一图像信号和由第二信号形成的第二图像信号之间的视差量不变为0并且具有负值。图8E示出在像侧在z轴的正方向上发生散焦的状态。此时，由第一光束形成的第一图像信号和由第二光束形成的第二图像信号之间的视差量具有正值。从图8D和图8E之间的比较可以看出，位置偏移的方向根据散焦量的正/负进行切换。此外，可以看出，根据散焦量，遵照摄像光学系统的成像关系(几何关系)而发生位置偏移。可以使用以下要说明的基于区域的匹配方法来检测作为第一图像信号与第二图像信号之间的位置偏移的视差量。

<图像生成和转换信息计算处理>

关于将由具有上述结构的本典型实施例的数字照相机300执行的摄像的被摄体的图像生成和转换信息计算处理，将参考图9A的流程图来说明具体处理。

在S331中，控制单元32以使用所设置的摄像设置(诸如焦点位置、光圈和曝光时间等)进行摄像的方式执行处理。更具体地，控制单元32控制图像传感器31以进行摄像并将所获得的拍摄图像发送到图像处理单元33，并且控制将拍摄图像存储到存储器中。拍摄图像包括两个类型的信号，即由从图像传感器31中所包括的第一光电转换单元315输出的信号组成的图像信号S1和由从第二光电转换单元316输出的信号组成的图像信号S2。可替代地，可以从图像传感器31输出两个类型的信号，即通过使用例如浮动扩散将从第一光电转换单元315和第二光电转换单元316输出的信号混合(相加)所获得的信号、以及从任一光电转换单元输出的信号(S1或S2)。

在S332中，图像处理单元33根据所获得的拍摄图像生成查看图像。更具体地，首先，图像处理单元33的图像生成单元330通过将图像信号S1和图像信号S2的像素的像素值相加来生成一个拜耳阵列图像。图像生成单元330通过对该拜耳阵列图像进行针对RGB颜色图像的去马赛克处理来生成查看图像。根据图像传感器上所布置的滤色器来进行去马赛克处理，并且可以使用任何方法作为去马赛克方法。除此之外，图像生成单元330进行诸如噪声去除、亮度信号转换、像差校正、白平衡调整和颜色校正等的处理，生成最终查看图像，并将所生成的最终查看图像存储到存储器中。

在S333中，图像处理单元33根据所获得的拍摄图像生成深度图像(深度分布信息)。深度生成单元331进行与深度图像的生成相关的处理。这里，将参考图9B的流程图来说明与深度图像生成相关的处理。

在S3331中，深度生成单元331对图像信号S1和图像信号S2进行光量校正处理。在摄像光学系统30的周边场角处，由于由第一光瞳区域320和第二光瞳区域330的不同形状引起的渐晕，图像信号S1和图像信号S2之间的光量平衡被破坏。因此，在该步骤中，深度生成单元331使用例如预存储在存储器中的光量校正值来进行图像信号S1和图像信号S2的光量校正。

在S3332中，深度生成单元331进行降低在图像传感器31中的转换时生成的噪声的处理。具体地，深度生成单元331通过对图像信号S1和图像信号S2应用滤波处理来实现噪声降低。通常，在空间频率较高的高频区域中，信噪比(S/N)较低并且噪声分量相对增加。因此，深度生成单元331进行应用低通滤波器的处理，其中利用该低通滤波器，空间频率越高，通过率变得越低。因为在步骤S3331中的光量校正中由于摄像光学系统30的制造中的误差而导致有时不能获得期望的结果，因此深度生成单元331期望地应用阻挡直流分量并且高频分量的通过率低的带通滤波器。

在S3333中，基于图像信号S1和图像信号S2(这两个信号统称为相位差信号)，深度生成单元331计算这些图像之间的视差量。具体地，深度生成单元331在图像信号S1中设置与代表像素信息相对应的目标点和以该目标点为中心的对照区域。对照区域可以是矩形区域，诸如以目标点为中心并且一边具有预定长度的正方形区域等。接着，深度生成单元331在图像信号S2中设置参考点，并设置以参考点为中心的参考区域。参考区域具有与上述的对照区域相同的大小和形状。深度生成单元331在使参考点顺次移动的同时计算图像信号S1的对照区域中所包括的图像和图像信号S2的参考区域中所包括的图像之间的相关度，并将具有最高相关度的参考点判别为图像信号S2中的与目标点相对应的对应点。以这种方式判别出的对应点与目标点之间的相对位置偏移量是目标点处的视差量。

通过以这种方式在根据代表像素信息顺次改变目标点的同时计算视差量，深度生成单元331计算由该代表像素信息定义的多个像素位置处的视差量。在本典型实施例中，为了简单起见，为了以与查看图像的分辨率相同的分辨率获得深度信息，用于计算视差量的像素位置(代表像素信息中所包括的像素组)被设置为与查看图像的数量相同的数量。作为相关度的计算方法，可以使用诸如归一化互相关(NCC)、平方差之和(SSD)或绝对差之和(SAD)等的方法。

此外，通过使用预定转换系数，可以将计算出的视差量转换成散焦量，该散焦量与从图像传感器31到摄像光学系统30的焦点的距离相对应。当预定转换系数由K表示并且散焦量由ΔL表示时，可以通过以下公式将视差量d转换成散焦量：

ΔL＝K×d 公式(4)。

转换系数K是基于包括光圈值、出射光瞳距离和图像传感器31中的图像高度的信息针对各区域设置的。

深度生成单元331构成包括以这种方式计算出的散焦量作为像素值的二维信息，并将该二维信息作为深度图像存储到存储器中。另外，深度生成单元331可以将在计算出的视差状态下的视差量的分布作为深度图像存储到存储器中。在这种情况下，在后续步骤中将深度图像用于尺寸计算的情况下，深度图像被转换成散焦量。换句话说，深度分布信息可以是由与直到被摄体为止的图像相对应的相位差信号表示的视差量的分布信息、图像中的被摄体的散焦量的分布信息、以及图像中的直到被摄体为止的被摄体距离的分布信息中的任一者。

在步骤S334中，转换信息计算单元332进行计算转换信息的处理，该转换信息用于将拍摄图像中的一个像素的尺寸转换成在期望被摄体距离处的空间中占据的尺寸。这里，将参考图9C的流程图来说明与测量被摄体显示相关的处理。

在S3341中，从控制单元32获取诸如镜头名称、焦距、被摄体距离和与聚焦状态有关的信息等的信息。与聚焦状态有关的信息例如是驱动了调焦透镜进行调焦的马达的脉冲数有关的信息。此外，从存储单元34获取与镜头名称相对应的畸变像差信息和轴向色像差信息。在摄像光学系统30嵌入有另一单独的存储单元并且在该存储单元中存储有像差信息的情况下，可以经由控制单元32从摄像光学系统32的存储单元获取像差信息。

在S3342中，使用所获取到的摄像信息、聚焦状态信息和各种类型的像差信息，如第一典型实施例中所述执行焦距和被摄体距离的校正。

在S3343中，基于校正后的焦距和在深度图像生成处理中计算出的散焦量，可以通过使用几何光学中的以下透镜公式将散焦量ΔL转换成被摄体距离：

1/A+1/B＝1/F 公式(5)。

在该公式中，A表示从物面到摄像光学系统30的主点的距离(被摄体距离)，B表示从摄像光学系统30的主点到像面的距离，并且F表示摄像光学系统30的焦距。换句话说，由于在透镜公式中可以根据散焦量ΔL计算距离B的值，因此基于摄像时的焦距的设置，可以计算出从被摄体到物面的距离A。

此外，根据拍摄图像的各像素位置处的距离A和距离B，可以计算在摄像时使用的各像素处的倍率m。

在S3343中，通过计算在摄像时使用的图像传感器的像素尺寸p与任意像素位置处的倍率m的乘积，可以计算出任意像素位置处的物侧像素尺寸，并且可以获得实际大小。通过计算所有像素位置处的倍率，可以获得所有像素位置处的物侧像素尺寸(物侧像素尺寸图像)。将该物侧像素尺寸图像作为转换信息连同拍摄图像一起存储到存储单元34中，并且该处理结束。代替物侧像素尺寸图像，也可以将所有像素位置处的倍率信息(倍率信息图像)作为转换信息连同拍摄图像一起存储到存储单元34中。

在使用数字照相机300的情况下，可以在多个区域中计算转换信息，并且可以如上所述获得转换信息图像，在该转换信息图像中，在所有像素上计算转换信息并将其存储为像素值。然而，在期望节省拍摄图像的容量的情况下，不需要总是存储转换信息图像，并且可以存储通过缩小或间隔剔除而具有比拍摄图像的像素数小的像素数的转换信息图像。可替代地，可以仅存储在一个点或多个聚焦区域处的转换信息。此外，可以执行诸如面部检测等的物体检测，并且还可以存储所检测到的物体区域中的转换信息的代表值(例如，平均值)。

在本典型实施例中，假定图像传感器31包括摄像面相位差距离测量方法的光电转换元件并且可以获取查看图像和深度图像给出了说明，但在本发明的实现中，距离信息的获取不限于此。例如，可以基于从双目摄像设备或多个不同摄像设备获得的多个拍摄图像、使用立体距离测量方法来获取距离信息。可替代地，例如，可以利用使用发光单元和摄像设备的立体距离测量方法或者将飞行时间(TOF)方法和摄像设备组合的方法来获取距离信息。

<输出装置>

随后，将参考图10来说明输出图像生成处理和相关图像生成处理嵌入在诸如打印设备或显示装置等的输出装置中的结构。图10A是示出嵌入有输出图像生成处理和相关图像生成处理的显示装置301的功能结构的框图。此外，图10B是示出嵌入有输出图像生成处理和相关图像生成处理的打印设备302的功能结构的框图。

显示装置301或打印设备302经由输入单元11从数字照相机300获取拍摄图像和物侧像素尺寸信息，并将拍摄图像和物侧像素尺寸信息发送到图像处理单元33’。图像处理单元33’包括图像生成单元333和相关图像生成单元334，并且选择并执行任一处理。要由图像生成单元333和相关图像生成单元334执行的处理与在第一典型实施例和第二典型实施例中已说明的输出图像生成处理和相关图像生成处理类似。在显示装置301的情况下，所生成的输出图像或相关图像被发送到显示单元36并显示在其上，并且在打印设备302的情况下，所生成的输出图像或相关图像被发送到打印单元39并显示在其上。所生成的输出图像或相关图像可以存储到存储单元34中，并且还可以经由通信单元37发送到外部。

如上所述，根据本典型实施例的图像处理设备，可以在摄像设备中计算高度准确的物侧像素尺寸，并且不需要将与摄像设备的聚焦状态等有关的信息发送到外部。另一方面，显示装置和打印设备也不需要存储用于根据摄像信息计算高度准确的物侧像素尺寸的校正信息。

此外，通过将该处理嵌入在可以进行摄像面相位差距离测量的摄像设备中，可以生成除聚焦被摄体以外的任意被摄体的、以在输出目的地装置上的输出中采用全尺寸的方式进行了转换的输出图像。

[第三典型实施例的变形例]

在本典型实施例中，假定以下给出了说明：图像传感器31输出相位差信号，包括光电转换元件以使得可以进行摄像面相位差距离测量，并且可以在拍摄图像的多个区域中获取深度图像(深度分布信息)。然而，该配置不限于此，并且转换信息计算处理也可以嵌入在计算一个聚焦区域的被摄体距离的数字照相机或者计算多个聚焦区域的被摄体距离的数字照相机中。在以这种方式可计算的被摄体距离仅用于一个点的情况下，期望从计算出的物侧像素尺寸信息获得每单位长度的像素数，并将所获得的像素数写入采用Exif形式的信息中。将参考图9D的流程图来说明该处理的流程。

S3341至S3343的处理是与第一典型实施例中的S1221至S1223的处理类似的处理，但不同之处在于这些处理在数字照相机中执行。

在S3344中，使用所计算出的物侧像素尺寸来计算每单位长度的像素数，并将其记录为采用Exif形式的分辨率信息。可以使用1mm作为单位长度，但是在考虑打印的情况下可以使用1英寸，并且可以将所计算出的每单位长度的像素数记录为每英寸像素(PPI)信息。

此外，如第三典型实施例中所述，除聚焦区域之外，还可以针对在诸如面部检测等的被摄体检测处理中检测到的各区域来计算每单位长度的像素数，并进行记录。

通过将每单位长度的像素数与相应图像相关联地记录为拍摄图像的属性信息，产生了不需要在打印设备中提供输出图像生成处理的优点。这是因为普通打印设备具有读取PPI信息并根据该信息执行打印的功能。

如上所述，根据本典型实施例的变形例的图像处理设备，可以在不改变采用传统Exif形式的摄像信息的容量的情况下，从拍摄图像获取高度准确的物侧像素尺寸信息。

[第四典型实施例]

接着，将说明本发明的第四典型实施例。在第一典型实施例和第二典型实施例中，拍摄图像上的可以计算物侧像素尺寸的位置局限于聚焦区域。在聚焦区域不同于期望被摄体位置的情况下、以及在期望被摄体存在于与聚焦区域和被摄体不同的距离处的情况下，不能正确地获取到期望被摄体的实际大小。有鉴于上述，在本典型实施例中，通过校正在聚焦位置和期望被摄体距离不同的情况下计算出的物侧像素尺寸来生成全尺寸图像。

将参考图11的流程图和图12来说明根据本典型实施例的用于生成以被摄体在输出目的地装置上的输出中采用全尺寸的方式转换得到的输出图像的输出图像生成处理。图12A示出为了生成输出图像所输入的拍摄图像。此外，在该示例中，将给出对聚焦位置位于人物410的左眼处并且生成人物420的输出图像的情况的说明。与其他流程类似，与该流程图相对应的处理例如是通过控制单元16或各组件通过如下操作进行操作来实现的：控制单元16读出控制单元16内的非易失性存储器中所存储的相应处理程序，将该处理程序加载到控制单元16内的易失性存储器上，并执行该处理程序。

在S401中，从拍摄图像获取拍摄图像中的聚焦区域。例如，可以通过分析拍摄图像并进行边缘提取来估计聚焦区域。可替代地，可以以Exif形式记录并读出在摄像时设置的聚焦区域框(表示聚焦区域框的坐标信息)。图12B将获取到的聚焦区域示出为矩形430。

在S402中，图像生成单元对拍摄图像执行被摄体识别。作为示例，将说明面部检测的情况。通过面部检测处理，如图12C所示，检测到人物410的面部框411和人物420的面部框421。

在S403中，根据检测到的面部区域的图像计算诸如年龄和性别等的特征量。

在S404中，通过根据准备好的规则比较计算出的特征量，在检测到的面部中确定主被摄体。例如，定义用于将估计年龄更年轻的被摄体确定为主被摄体的规则。在这种情况下，人物420被确定为主被摄体。

在S405中，计算聚焦区域430和主被摄体区域421之间的被摄体距离偏差。在如第三典型实施例中所述的可以获取深度信息的数字照相机的情况下，可以容易地计算出被摄体偏差。另一方面，由于在第一典型实施例和第二典型实施例的情况下不能获取到深度信息，因此根据聚焦区域430和主被摄体区域421的图像的对比度或模糊量来估计距离之差。

在S406中，使用计算出的距离之差、在转换信息计算处理中计算出的聚焦区域的被摄体距离、以及焦距来校正物侧像素尺寸，并且计算主被摄体421的被摄体距离处的物侧像素尺寸。

在S407中，获取输出目的地信息，然后在S408中，生成以主被摄体421在主被摄体421的输出目的地装置上的输出中采用全尺寸的方式转换得到的输出图像。

这里，给出了对自动获得存在于与聚焦位置不同的位置处的被摄体的示例情况的说明，但用户可以在不执行S402和S403的情况下在S404中直接指定主被摄体。

如上所述，根据本典型实施例的图像处理设备，可以生成以存在于除聚焦区域以外的区域中的被摄体在输出目的地装置上的输出中采用全尺寸的方式转换得到的输出图像。

[第四典型实施例的变形例]

在本典型实施例中，给出了如下情况的说明：在输出图像生成处理的过程中，执行以使得被摄体在输出目的地装置上的输出中采用全尺寸的方式进行图像转换的被摄体的确定(S401至S406)。然而，也可以在第三典型实施例中所述的摄像设备内执行以使得被摄体在输出目的地装置上的输出中采用全尺寸的方式进行图像转换的被摄体的确定(S401至S406)。将作为该执行的结果所获得的主被摄体中的物侧像素尺寸或每单位长度的像素数与相应图像相关联地记录为拍摄图像的属性信息。利用该配置，在第三典型实施例中所述的显示装置和打印设备中，可以生成以主被摄体在输出目的地装置上的输出中采用全尺寸的方式转换得到的输出图像、或者能够根据实际大小进行相对比较的相对图像。

此外，在如图12所示存在多个被摄体的情况下，可以添加各被摄体区域中的物侧像素尺寸或每单位长度的像素数作为拍摄图像的属性信息。在这种情况下，可以根据如S404中所述的规则设置优先级顺序，并且可以添加各被摄体区域中的物侧像素尺寸或每单位长度的像素数作为拍摄图像的属性信息。

[第五典型实施例]

接着，将说明本发明的第五典型实施例。在上述典型实施例中，给出了对将高度准确计算出的物侧像素尺寸应用于全尺寸图像生成和相对图像生成的情况的说明。在本典型实施例中，将说明尺寸测量的通知作为物侧像素尺寸的不同应用。

将参考图13来说明数字照相机500的结构。图13是示出嵌入有通知信息计算处理的数字照相机500的功能结构的框图。由于除图13所示的图像处理单元53以外的结构与第三典型实施例中所述的数字照相机300的结构类似，因此将省略说明。

关于由具有这种结构的本典型实施例的数字照相机500执行的用于计算通知信息的通知信息计算处理，将参考图14A的流程图来说明具体处理，该通知信息用于在摄像时通知与被摄体尺寸有关的尺寸信息。该流程由控制单元32执行、或者在控制单元32的指令下由各组件执行。

在摄像开始时该处理开始，并且在S531中，生成用于将由数字照相机摄像的被摄体显示在显示单元上的显示图像。要生成的显示图像是根据显示单元的分辨率而缩小的图像。

在S532中，控制单元32将所生成的显示图像显示在显示单元上。在S533中，检查是否按下了快门按钮直到第一级为止以进行聚焦(SW1)。在未按下SW1的情况下，处理返回到S531，并且继续类似的处理。

在按下了SW1的情况下，如第三典型实施例中所述，执行S333中的深度图像生成，并且此外在S344中，执行转换信息计算。这里，深度图像的像素数不需要是与图像传感器的像素数等同的像素数，并且可以是与显示图像的像素数等同的像素数。期望通过减少要生成的深度图像的像素数来减少深度图像生成处理的计算负荷。

在S534中，控制单元32执行用于通过在显示图像上显示来通知可执行尺寸测量的摄像模式的通知信息的计算。将参考图14B的流程图来说明通知信息计算处理。

在S5331中，控制单元32获取执行了聚焦处理的区域的像素数。这里，将给出对聚焦区域是矩形的示例情况的说明，但聚焦区域不限于矩形。聚焦区域可以具有任何形状，只要聚焦区域是用于表示图像中的区域的图形用户界面(GUI)即可。为了获取聚焦区域的像素数，首先，从控制单元获取与在聚焦时使用的矩形区域有关的信息，并且将长边和短边中的至少一个的长度转换成显示图像中的像素数。通过将作为在S334中计算出的转换信息的物侧像素尺寸与获取到的边的像素数相加，计算聚焦被摄体距离处的聚焦框的该边的尺寸。矩形聚焦框及其边的尺寸将是通知信息。

在S5332中，控制单元32将计算出的通知信息叠加到显示图像上，并且生成通知所用的叠加图像。如图15A所示，聚焦区域的框551以叠加方式以预定义颜色显示，并且计算出的矩形的物侧尺寸552在该矩形的边附近以叠加方式显示。在物侧尺寸的显示中，如图15A所示，期望在水平方向和垂直方向上的边中、仅在水平方向上的两个边中的一边附近以叠加方式显示尺寸。

在该示例中，由于基于如第三典型实施例中所述的配备有可以进行摄像面相位差距离测量的图像传感器31的数字照相机给出了说明，因此执行深度图像生成单元331的处理；然而，典型实施例也可以应用于不支持摄像面相位差距离测量方法的数字照相机。在不支持摄像面相位差距离测量方法的数字照相机的情况下，可以使用聚焦区域的被摄体距离信息来计算并显示聚焦框的物侧尺寸。

另一方面，在如本典型实施例中所述的支持摄像面相位差距离测量方法的数字照相机500那样、使用可以进行多个区域的距离测量的传感器的情况下，还可以计算除聚焦区域的框以外的区域的物侧尺寸。例如，如图15B所示，将说明多个人物作为被摄体存在于画面中并且他们的被摄体距离不同的情况。在这种情况下，可以通过面部检测获取到多个面部检测框，并且通过使用深度信息，即使他们的被摄体距离不同，也可以单独计算物侧像素尺寸。通过将计算出的面部框的边的像素数与相应的物侧像素尺寸相加，可以计算各面部框的物侧尺寸，并且可以如图15B所示进行通知信息的叠加显示。

此外，在如图15C所示在画面中存在多个被摄体的情况下，根据被摄体距离来以不同颜色显示矩形框是有效的。图15C示出面部框553的显示颜色不同于面部框554和面部框555的显示颜色。

如上所述，根据本典型实施例的图像处理设备，由于可以通过转换信息计算处理来计算物侧像素尺寸，因此可以在摄像时向拍摄者通知被摄体尺寸，或者通知正在执行能够获取尺寸信息的摄像。

[第六典型实施例]

接着，将说明本发明的第六典型实施例。在第一典型实施例中，说明了执行全尺寸图像的显示和打印的情况，并且在第二典型实施例中，说明了进行多个图像以及这些图像中的被摄体的相对大小比较图像的生成和输出的情况。在本典型实施例中，将说明使用物侧像素尺寸信息的图像合成应用。作为示例，将给出对以下情况的说明：对单个图像或多个图像进行面部检测，通过使用物侧像素尺寸信息考虑到相对大小来提取看起来具有不同大小的面部图像，并且进行图像合成。此外，在本典型实施例中将假定面部作为对象来给出说明，但这同样适用于一般物体。

关于要在本典型实施例中执行的图像合成应用，将参考图16的流程图来说明具体处理。该合成应用可由上述典型实施例中的控制单元16(图1和图3)、控制单元32(图6和图13)、控制单元41(图10A)或控制单元42(图10B)操作。在下文，作为示例，以下将处理作为由控制单元16执行的处理进行说明。

与其他流程类似，与该流程图相对应的处理例如是通过控制单元16或各组件通过如下操作进行操作来实现的：控制单元16读出控制单元16内的非易失性存储器中所存储的相应处理程序，将该处理程序加载到控制单元16内的易失性存储器上，并执行该处理程序。

在S601中，控制单元16根据用户经由操作输入单元17发出的操作输入，接收对包括要执行合成的被摄体的图像的选择。此时，可以使用诸如列表显示或顺次显示等的方法将包括要执行合成的被摄体的图像的候选以可选择的方式显示在显示器2上。

在S602中，控制单元16或图像处理单元22对所选择的图像执行与S222中的处理类似的处理，并且计算物侧像素尺寸。在选择不包括用于计算物侧像素尺寸的信息的图像的情况下，停止处理。可替代地，存储表示没有计算物侧像素尺寸信息的信息，并且处理进入下一处理。

在S603中，对所选择的图像执行面部检测处理，并且输出与面部区域有关的坐标信息。坐标信息是指定从中检测到面部的矩形区域的信息，并且是诸如矩形的左上顶点坐标和右下顶点坐标、或者矩形的左上顶点坐标以及宽度和高度等的信息。在一个图像中检测到多个面部的情况下，针对这多个面部中的各面部输出类似的信息。此外，使用面部区域的输出坐标信息，估计头部中心的坐标。

在头部中心的坐标的估计中，进一步执行面部器官检测，并且检测诸如眉毛之间的位置等的位置。要检测为头部中心的位置取决于各应用。

接着，从被选择为合成对象的图像中裁剪具有根据基于在S602中计算出的物侧像素尺寸计算出的头部中心位置作为原点而指定的半径R[mm]的圆形区域、或者围绕该圆形外接的矩形区域。作为这里要裁剪的范围，用户可以指定期望范围，但为了节省用户的用于设置的劳动，期望预设适合于各检测物体的裁剪范围。裁剪形状不限于圆形或矩形，并且可以是另一任意形状。例如，可以沿着根据检测到的被摄体的轮廓确定的区域执行裁剪。

在记录有所选择的图像的图像文件不包括计算物侧像素尺寸信息所需的元数据的情况下，关于物侧像素尺寸信息的计算失败的图像，估计通过假定一般人物的面部的大小而从中检测到面部的矩形区域的物理大小。根据所估计的矩形区域的物理大小和矩形的一边的像素数，估计物侧像素尺寸。在这种情况下，不考虑各个面部之间的大小差异，并且面部大小统一为作为一般面部大小所假定的大小。为了减轻该问题，期望在面部检测时估计年龄和性别，并根据所估计的年龄和性别设置一般面部大小。还可以在检测到的面部区域中执行面部器官检测，并且根据与面部器官有关的位置信息(诸如眼球中心之间的间隔等)来估计面部的大小。面部部位检测还能够估计面部的朝向，并且通过考虑到取决于面部的朝向的眼球中心之间的间隔的变化来估计面部的大小，可以与在不存在物侧像素尺寸信息的情况下相比更准确地估计面部的大小。

在这种情况下，相对于指定大小的裁剪范围中的误差取决于面部检测中的矩形区域大小的检测结果，并且不能执行具有正确大小的区域裁剪。在物侧像素尺寸信息的计算失败的情况下，期望以使得可识别出裁剪区域不准确的方式，向包括裁剪图像的图像文件的元数据添加信息。

接着，将说明在物侧像素尺寸的计算中仅针对聚焦位置的一个点存储被摄体距离信息并且在图像中出现多个人物的情况。在所有人物都存在于与聚焦位置相同的距离的情况下不会发生问题，但在如图17A所示、人物存在于与摄像设备不同的距离的情况下，即使人物具有相同的大小，人物的大小也会变化。由于如上所述仅可以在聚焦位置处计算物侧像素尺寸，因此不考虑各个距离，并且出现在前侧的人物的面部以较大的大小被裁剪，并且出现在远处的人物的面部以较小的大小被裁剪。

为了避免该问题，以针对出现在聚焦位置处的人物进行的面部检测的结果中的矩形区域大小为基准，计算针对另一人物进行的面部检测的结果中的矩形区域大小的比率。基于该比率，估计适合于各人物的距离的物侧像素尺寸，并且基于所估计的物侧像素尺寸，计算裁剪范围。如图17B所示获得了结果。在这种情况下，在相对于指定大小的裁剪范围中的误差取决于面部检测中的矩形区域大小的检测结果。

在面部出现在拍摄图像中、但该面部不存在于聚焦位置处的情况下，与物侧像素尺寸信息的计算失败的图像类似，可以通过假定人物的一般面部大小来防止面部区域的裁剪范围的大变化。通过将进行聚焦的区域的坐标存储为元数据、并且判断在画面(XY平面)上面部检测位置与聚焦区域是否一致，来进行关于面部是否与聚焦位置一致的判断。此外，检查在裁剪时在面部检测中检测到的矩形区域改变的量，并且在改变量大的情况下，可以判断为在摄像时面部未聚焦并且发生焦点偏移。添加与焦点偏移有关的信息，并且如上所述进一步添加根据一般面部的大小所估计的物侧像素尺寸信息。

期望以使得计算出物侧像素尺寸且执行了裁剪的被摄体和在无需使用物侧像素尺寸的情况下执行了裁剪的被摄体是可区分的方式，添加信息。此外，当进行以下要说明的图像合成时，期望使得用户能够识别裁剪图像是否是通过计算物侧像素尺寸所裁剪的图像。将这些信息与裁剪图像相关联地存储。

在检测到的面部图像的分辨率小的情况下，如果裁剪具有相同大小的区域，则图像的放大处理变得有必要并且图像质量下降。为了避免该问题，需要在面部检测处理中设置最低分辨率。由于最低分辨率取决于打印大小，因此在以下要说明的打印设置中判断是否最终满足所需分辨率。

在S604中，用户从裁剪的面部区域图像中选择期望的面部区域图像，并且将所选择的面部区域图像布置在单独准备的工作图像区域中的期望位置处。可以从同一图像中选择和布置多个面部，并且在期望布置来自另一图像的面部的情况下，重复S601至S604中的处理。图18A示出在显示器2上选择、布置和显示三个儿童的面部的示例。

在面部区域图像选择中选择与其他面部区域图像相比分辨率显著降低的图像的情况下，控制单元16可以通过发出警告来通知用户。例如，如图17A所示，检测到的面部173处于偏离聚焦位置的距离，并且看起来小。在如图17B所示以具有相同大小的方式裁剪面部173的情况下，由于面部173’被放大，因此图像劣化。

在S605中，控制单元16经由操作输入单元17从用户接收将除面部以外的合成物布置在作业区域中的操作。合成物是装饰作为最终产品的合成图像的物体，并且可以是图像、图标、插图或字符。用户可以在面部合成之前进行将各合成物预先布置在作业区域中的操作，或者也可以在面部合成期间进行布置。图18B示出通过在图18A中布置的三个儿童的面部周围布置花插图来进行装饰的示例。

在S606中，控制单元16经由操作输入单元17从用户接收改变所布置的合成物的大小的操作。用户可以单独选择各合成物并改变大小。由于合成面部的裁剪区域的物理大小相同，因此期望使合成面部的大小同时可改变。因此，在本典型实施例中，在接收到改变一个选择的面部的大小的操作时，控制单元16向图像处理单元22发出以连锁方式将其他合成面部的大小改变相同量的指令。图像处理单元22对预设为连锁的多个图像进行相同的放大或缩小处理，并且控制单元16将作为处理结果的多个图像显示在显示器2上。图18C示出将以中央的面部182为基准改变大小的情况。如果如图18C所示、面部182的大小减小，则如图18D所示，其他面部181和183的大小以连锁方式改变。这是仅除用作装饰物的花以外的面部的大小以连锁方式改变的示例情况。在装饰图像也保持物侧像素尺寸的情况下，也可以在维持与面部的相对大小的同时进行大小改变。除保持物侧像素尺寸的面部以外的合成物的大小可以以连锁方式改变。此外，通过将用于存储要经受大小调整的合成图像的存储区域与用于存储装饰图像的存储区域分开，还可以判别从中选择了图像的区域。在还期望装饰物的大小以连锁方式改变的情况下，通过用户进行连锁设置，可以以连锁方式改变大小。

在S607中，控制单元16经由操作输入单元17从用户接收打印设置的指令。在打印设置中，设置要打印的薄片大小和期望打印大小(期望输出大小)。通过将打印薄片大小固定为一般的A4或A3大小、并且仅设置期望执行打印的大小，可以容易地执行打印设置。此外，使全尺寸打印是可指定的，并且以使得合成的主被摄体变为实际大小的方式，使用物侧像素尺寸自动计算打印大小和分割打印。

在期望执行打印的大小与打印薄片大小不同并且进行分割打印的情况(包括上述的全尺寸打印的情况)下，例如，以使得分割位置是可判别的方式，将网格线以叠加方式显示在作业图像区域中。通过显示网格线，使在打印中要分割的合成图像是可判别的。图19A示出在要使用A4大小的打印薄片获得A3大小的打印输出的情况下在分割位置处示出网格线191的示例。容易识别出，面部192存在于分割线上，并且将以分割方式打印。因此，用户可以容易地将诸如面部图像等的重要合成图像移动到在打印时不会导致图像被分割的位置。例如，通过如图19B所示、缩小整个布置图像并使缩小图像向右移动，可以以在打印时不被分割的方式重新布置面部192。此外，可以以面部图像不布置在网格线上的方式自动进行控制。

在已知打印薄片大小和放大打印所用的期望大小的情况下，期望将分割网格线以叠加方式显示在要进行合成作业的作业图像区域中。

此外，在打印设置中，当设置期望打印大小时，检查所布置的合成图像的分辨率，并且以可判别的方式提取并通知在打印时导致分辨率下降的图像放大率大的合成图像。

如上所述，根据本典型实施例的图像合成应用，除了使用物侧像素尺寸信息的合成之外，还可以通过估计尺寸信息来对不具有物侧像素尺寸信息的图像进行合成。通过使物侧像素尺寸信息的有无可判别，用户可以在检查被摄体的尺寸准确度的同时进行图像合成。

[第六典型实施例的变形例]

将说明第六典型实施例的变形例。如第六典型实施例中所述，在仅存储聚焦位置的距离信息的图像中，在图像中的除聚焦位置以外的位置处可能存在多个面部。在这种情况下，将说明能够对出现在除聚焦位置以外的距离处的面部进行全尺寸打印的处理。

控制单元16或图像处理单元22通过假定出现在除聚焦位置以外的距离处的面部的一般面部大小来估计物侧像素尺寸。将所估计的物侧像素尺寸或PPI信息连同检测到的面部区域信息一起附加地存储在图像的元数据中。通过在打印时选择期望以全尺寸打印的面部，可以执行近似全尺寸打印。

[其他典型实施例]

本发明还可以通过以下处理来执行：将用于实现上述典型实施例的一个或多于一个功能的程序经由网络或存储介质供给到系统或设备，并且该系统或设备的计算机中的一个或多于一个处理器读出并执行该程序。此外，本发明也可以通过用于实现该一个或多于一个功能的电路(例如，专用集成电路)来实现。

本发明不限于上述典型实施例，并且可以在未背离本发明的精神和范围的情况下进行各种改变和修改。因此，添加了所附权利要求书以阐述本发明的范围。

本申请要求2020年2月26日提交的日本专利申请2020-031079和2020年11月2日提交的日本专利申请2020-183896的权益，这两个申请的全部内容通过引用而被并入本文。

Claims (26)

1.一种图像处理设备，包括：

获取单元，其被配置为获取摄像单元所拍摄到的图像、以及该图像的摄像时的摄像信息；以及

计算单元，其被配置为基于所述摄像信息和所述摄像单元的像素尺寸来计算图像中的对象被摄体的物侧像素尺寸，

其中，所述获取单元获取表示图像中的被摄体的聚焦状态的聚焦信息作为所述摄像信息，以及

其中，所述计算单元基于所述聚焦信息来计算所述物侧像素尺寸。

2.根据权利要求1所述的图像处理设备，还包括图像书目单元，所述图像书目单元被配置为基于所述物侧像素尺寸来处理所述摄像单元所拍摄到的图像。

3.根据权利要求2所述的图像处理设备，

其中，所述获取单元获取与用于输出图像的输出目的地装置有关的输出目的地信息，以及

其中，所述图像处理单元基于所述计算单元所计算出的物侧像素尺寸，通过以使图像的被摄体在所述输出目的地装置上的输出中采用全尺寸的方式、基于所述输出目的地信息对图像进行转换，来生成输出图像。

4.根据权利要求2或3所述的图像处理设备，其中，在所述物侧像素尺寸的计算失败了的被摄体区域中，所述图像处理单元通过使用由被摄体检测单元检测到的被摄体区域的大小和由被摄体检测差单元在计算出了所述物侧像素尺寸的被摄体区域中检测到的被摄体区域的大小，来估计所述物侧像素尺寸的计算失败了的被摄体区域的所述物侧像素尺寸，并且计算估计物侧像素尺寸。

5.根据权利要求4所述的图像处理设备，其中，所述图像处理单元以能够区分所述物侧像素尺寸和所述估计物侧像素尺寸的方式将信息记录到图像数据中。

6.根据权利要求2至5中任一项所述的图像处理设备，其中，在将具有所述物侧像素尺寸的多个被摄体合成到一个图像中时，所述图像处理单元通过从所述多个被摄体中选择一个被摄体并改变该被摄体的大小，来在维持相对大小的情况下改变除该被摄体以外的具有所述物侧像素尺寸的被摄体的大小。

7.根据权利要求2至6中任一项所述的图像处理设备，其中，所述图像处理单元通过使用所述物侧像素尺寸和由被摄体检测所检测到的被摄体的像素数来计算该被摄体的大小，并且在计算出的被摄体的尺寸比预存储的该被摄体的尺寸大了或小了阈值或更多值的情况下，所述图像处理单元基于预存储的该被摄体的尺寸来进行被摄体裁剪。

8.根据权利要求2至7中任一项所述的图像处理设备，其中，在设置了全尺寸打印的情况下，所述图像处理单元使用主被摄体的所述物侧像素尺寸来计算打印品的大小，并且基于所设置的薄片大小来生成用于打印的分割图像。

9.根据权利要求2至8中任一项所述的图像处理设备，其中，所述图像处理单元通过使用图像中的多个被摄体中的各被摄体的所述物侧像素尺寸，根据实际大小来对所述多个被摄体的图像进行转换，并且生成用于相对比较所述多个被摄体的尺寸的图像。

10.根据权利要求1至9中任一项所述的图像处理设备，其中，所述计算单元基于与所述聚焦信息相对应的焦距的变化量、被摄体距离和光学系统的主点位置中的至少任一者来计算所述物侧像素尺寸。

11.根据权利要求1至9中任一项所述的图像处理设备，其中，所述计算单元通过使用至聚焦被摄体的被摄体距离作为所述摄像信息，计算该被摄体距离的所述物侧像素尺寸。

12.根据权利要求1至9中任一项所述的图像处理设备，其中，所述计算单元基于与所述聚焦信息相对应的摄像倍率来计算所述物侧像素尺寸。

13.根据权利要求1至9中任一项所述的图像处理设备，

其中，所述获取单元获取与所述图像相对应的深度分布信息，以及

其中，所述计算单元使用所述深度分布信息来计算所述深度分布信息的各像素位置处的所述物侧像素尺寸。

14.根据权利要求13所述的图像处理设备，其中，所述计算单元使用所述深度分布信息来获取至存在于图像中的任意位置处的至少一个被摄体的被摄体距离，并且使用该被摄体距离计算该被摄体距离的所述物侧像素尺寸。

15.根据权利要求13或14所述的图像处理设备，其中，所述深度分布信息是由与图像相对应的相位差信号表示的视差量的分布信息、存在于图像中的被摄体的散焦量的分布信息、以及至存在于图像中的被摄体的被摄体距离的分布信息中的至少任一者。

16.根据权利要求1至15中任一项所述的图像处理设备，其中，所述输出目的地信息是与打印薄片尺寸、显示画面尺寸和显示画面分辨率中的至少任一者有关的信息。

17.根据权利要求1至16中任一项所述的图像处理设备，还包括控制单元，所述控制单元被配置为根据所述计算单元所计算出的物侧像素尺寸来计算至少一个每单位长度的像素数，并且将该每单位长度的像素数与相应图像相关联地记录。

18.根据权利要求17所述的图像处理设备，其中，所述控制单元将每英寸像素信息即PPI信息作为所述每单位长度的像素数连同相应图像的图像数据一起记录到采用可交换图像文件格式即Exif形式的图像文件中。

19.根据权利要求17或18所述的图像处理设备，

其中，所述图像处理单元通过对图像执行面部检测处理并使用所检测到的面部区域的被摄体距离执行所述计算单元，来计算图像的至少一个区域的物侧像素尺寸或所述每单位长度的像素数，以及

其中，所述控制单元将所述物侧像素尺寸和所述每单位长度的像素数中的至少任一者与相应图像相关联地记录。

20.根据权利要求1至19中任一项所述的图像处理设备，其中，所述控制单元基于由要叠加在图像上的图形用户界面即GUI指定的区域的像素数，根据所述物侧像素尺寸计算由所述GUI指定的区域的尺寸，并将该尺寸显示在显示单元上。

21.一种摄像设备，包括：

图像传感器，其被配置为从多个光电转换单元获取相位差信号；

根据权利要求1至20中任一项所述的图像处理设备；以及

转换单元。

22.一种显示装置，包括：

根据权利要求1至20所述的图像处理设备；以及

显示单元，其被配置为显示图像。

23.一种打印设备，包括：

根据权利要求1至20中任一项所述的图像处理设备；以及

打印单元，其被配置为打印图像。

24.一种图像处理方法，包括：

获取步骤，用于获取由摄像单元拍摄到的图像、以及该图像的摄像时的摄像信息；以及

计算步骤，用于基于所述摄像信息和所述摄像单元的像素尺寸来计算图像中的被摄体的物侧像素尺寸，

其中，在所述获取步骤中，获取表示图像中的被摄体的聚焦状态的聚焦信息作为所述摄像信息，以及

其中，在所述计算步骤中，基于所述聚焦信息来计算所述物侧像素尺寸。

25.一种程序，用于使计算机执行将由根据权利要求1至20中任一项所述的图像处理设备的各单元执行的过程。

26.一种存储介质，其存储根据权利要求25所述的程序。

Images