CN115004683A

CN115004683A - 成像装置、成像方法和程序

Info

Publication number: CN115004683A
Application number: CN202180009485.9A
Authority: CN
Inventors: 田中寿郎; 板仓英三郎; 冈伸一; 清宫广之
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2020-01-23
Filing date: 2021-01-08
Publication date: 2022-09-02
Also published as: EP4075789A1; EP4075789A4; US20230005213A1; WO2021149509A1; JPWO2021149509A1

Abstract

本技术涉及可以容易地获得从期望的位置捕获的图像的成像装置、成像方法和程序。使用从成像位置到被摄体的距离信息和模型信息，从通过从成像位置对被摄体进行成像的捕获图像，生成通过从与成像位置不同的虚拟成像位置对被摄体进行成像的虚拟图像。本技术适用于例如对被摄体进行成像的成像装置。

Description

成像装置、成像方法和程序

技术领域

本技术涉及成像装置、成像方法和程序，并且具体地，涉及例如能够容易地获得从期望的位置捕获的图像的成像装置、成像方法和程序。

背景技术

例如，专利文献1描述了使用大量成像装置从各种成像位置对被摄体进行成像并从通过成像而获得的捕获图像生成高度精确的三维数据的技术作为用于获得从与实际成像位置不同的虚拟的虚拟成像位置捕获的虚拟图像的技术。

引用列表

专利文献

专利文献1：日本专利申请公开No.2019-103126

发明内容

本发明要解决的问题

在专利文献1中描述的技术中，需要在各种位置处布置大量成像装置。因此，存在由于成像装置的成本、安装所需的劳力等而不能容易地实现该技术的许多情况。

此外，在布置了大量成像装置的情况下，需要考虑某个成像装置由另一成像装置捕获或者当被摄体是移动物体时被摄体不碰到成像装置，并且成像装置不一定能够安装在任何位置处。

本技术是鉴于这种情况做出的，以用于容易地获得从期望的位置捕获的图像。

问题的解决方案

本技术的成像装置或程序是一种成像装置或者一种用于使计算机用作这种成像装置的程序，所述成像装置包括：生成单元，所述生成单元使用从成像位置到被摄体的距离信息和模型信息来从捕获图像生成虚拟图像，所述捕获图像通过从所述成像位置对所述被摄体进行成像而获得，所述虚拟图像通过从与所述成像位置不同的虚拟成像位置对所述被摄体进行成像而获得。

本技术的成像方法是一种成像方法，所述成像方法包括：使用从成像位置到被摄体的距离信息和模型信息来从捕获图像生成虚拟图像，所述捕获图像通过从所述成像位置对所述被摄体进行成像而获得，所述虚拟图像通过从与所述成像位置不同的虚拟成像位置对所述被摄体进行成像而获得。

在本技术的成像装置、成像方法和程序中，通过使用从成像位置到被摄体的距离信息和模型信息，从捕获图像生成虚拟图像，捕获图像通过从成像位置对被摄体进行成像而获得，虚拟图像通过从与成像位置不同的虚拟成像位置对被摄体进行成像而获得。

注意的是，成像装置可以是独立的装置，或者可以是构成单个装置的内部块。

此外，可以通过经由传送介质传送或通过记录在记录介质上来提供程序。

附图说明

图1是图示了成像情形的示例的示图。

图2是图示了成像情形和在该成像情形下捕获的捕获图像的示例的示图。

图3是图示了成像情形和在该成像情形下捕获的捕获图像的另一示例的示图。

图4是图示了成像情形的另一示例的示图。

图5是图示了通过从人的前方的上方对人和建筑进行成像而获得的捕获图像的示图。

图6是图示了不能从与人相距远距离的位置执行成像的成像情形的示例的顶视图。

图7是描述了当通过成像装置执行成像时的透视投影变换的示图。

图8是图示了对单个物平面上存在的被摄体进行成像的成像情形的示例的示图。

图9是图示了使用广角透镜从靠近被摄体的成像位置对被摄体进行成像的广角成像的状态的顶视图。

图10是图示了使用望远透镜从远离被摄体的成像位置对被摄体进行成像的望远成像的状态的顶视图。

图11是描述了获得虚拟图像的处理的示例的示图。

图12是图示了在多个物平面上存在被摄体的情况下的成像情形的示例的示图。

图13是图示了使用广角透镜从靠近被摄体的成像位置对被摄体进行成像的广角成像的状态的顶视图。

图14是图示了使用望远透镜从远离被摄体的成像位置对被摄体进行成像的望远成像的状态的顶视图。

图15是图示了近距离成像的状态以及通过近距离成像获得的捕获图像的示图。

图16是图示了远距离成像的状态以及通过远距离成像获得的捕获图像的示图。

图17是图示了成像状态的顶视图。

图18是描述了在基于通过作为实际成像的近距离成像获得的捕获图像来生成通过作为虚拟成像的远距离成像获得的虚拟图像的情况下像素值的映射的示图。

图19是描述了在基于通过作为实际成像的近距离成像获得的捕获图像来生成通过作为虚拟成像的远距离成像获得的虚拟图像的情况下像素值的映射的另一示图。

图20是描述了补充遮挡(occlusion)部分的像素的遮挡部分补充方法的示例的示图。

图21是描述了基于通过实际成像获得的信息来获得通过虚拟成像而获得的虚拟图像的处理的另一示例的示图。

图22是图示了捕获图像和虚拟图像的示例的平面图。

图23是描述了在执行虚拟成像的情况下表示虚拟成像位置的方法的示图。

图24是图示了在用户指定虚拟成像位置的情况下操作的UI的示例的平面图。

图25是图示了应用本技术的成像装置的实施例的配置示例的框图。

图26是描述了生成单元的处理的示例的流程图。

图27是图示了应用本技术的计算机的实施例的配置示例的框图。

具体实施方式

<成像距离与捕获图像之间的关系>

图1是图示了成像装置的成像情形的示例的示图。

在图1中，通过第三角投影法来图示成像情形。

在图1中，当从成像装置侧观察时，人站在建筑的前方，并且由成像装置从人的前侧对人和建筑进行成像。

下文中，将描述在图1的成像情形下由成像装置实际捕获的图像(捕获图像)。

图2是图示了成像装置的成像情形和在该成像情形下捕获的捕获图像的示例的示图。

图2的A是图示了成像情形的顶视图，并且图2的B图示了在图2的A的成像情形下捕获的捕获图像。

在图2的A中，双点划线指示成像装置的视角，并且该视角内的空间由成像装置进行成像。在图2的A中，虚线指示由作为主被摄体(主要被摄体)的人占据的视角。

在图2的A的成像情形下，当由成像装置执行成像时，人与建筑之间的距离相对于成像装置与人之间的距离(成像距离)是相对长的距离。因此，实际上，存在于人后方的建筑的宽度比人的宽度宽，但在捕获图像中，建筑的宽度显得比人的宽度窄。这是因为，通过所谓的透视，远处的物体看起来小。

图3是图示了成像装置的成像情形和在该成像情形下捕获的捕获图像的另一示例的示图。

图3的A是图示了成像情形的顶视图，并且图3的B图示了在图3的A的成像情形下捕获的捕获图像。

在图3的A中，类似于图2的A，双点划线指示成像装置的视角，并且虚线指示由人占据的视角。

在图3的A中，与图2的A的情况相比，使用具有窄视角的望远透镜(或具有长焦距的变焦透镜)，从较远离被摄体的成像位置对与图2的A中的被摄体相同的人和建筑进行成像。

在图3的A的成像情形下，如图3的B中图示的，类似于实际情形，建筑的宽度显得比人的宽度宽的捕获图像被捕获。这是因为，在图3的A的成像情形下，成像装置与人之间的成像距离大于图2的A的情况下的成像距离，人与建筑之间的距离变得相对小，并且视角减小。

如上所述，即使在相同被摄体(人和建筑)的成像时，所获得的捕获图像的内容(构成)也取决于被摄体与成像装置之间的成像距离而不同。

捕获图像(的内容)取决于成像距离而不同的事实在视频表示方面具有重要意义。在简单示例中，在期望获得用诸如大山之类的风景作为背景的图像的情况下，需要通过使用广角透镜接近被摄体来捕获图像。另一方面，在期望获得尽可能不捕获混杂背景的图像的情况下，需要使用较望远的透镜来捕获远离被摄体的图像。

注意的是，原则上，当从无限远处执行成像时，捕获图像中出现的人和建筑的尺寸的比例等于实际比例。因此，在建筑应用、学术应用等中，为了获得正确反映实际尺寸的比率的捕获图像，需要从较远距离执行成像。

图4是图示了成像装置的成像情形的另一示例的示图。

在图4中，类似于图1，通过第三角投影法来图示成像情形。

在图1的成像情形下，成像装置的光轴方向与从人到建筑的方向基本上一致。在这种情况下，如图2的B和图3的B中图示的，由成像装置捕获的捕获图像是几乎不表现人与建筑之间的距离感的图像。

在图4中，在成像装置的光轴面对人的情况下，从人前方的上方对人和建筑进行成像。在这种情况下，成像装置的光轴方向是与从人到建筑的方向不同的方向，并且可以获得表现人与建筑之间的距离感的捕获图像。

图5是图示了通过从人前方的上方对人和建筑进行成像而获得的捕获图像的示图。

通过在成像装置的光轴面对人的情况下从人前方的上方对人和建筑进行成像，可以获得从上方向下看人和建筑的表现人与建筑之间的距离感的鸟瞰图像作为捕获图像。

为了根据目的执行视频表示，需要从各种位置捕获被摄体的图像。

然而，实际上，成像不一定是从自由位置执行的。例如，如在图3的A中，即使在期望从与人相距远距离的位置捕获图像的情况下，实际上，也存在不能从与人相距远距离的位置执行成像的情况。

在图6中，墙壁存在于人的前侧。因此，在从前方对人进行成像的情况下，由于成像装置不能物理地移动到人前侧的墙壁表面的后侧，因此不能从远距离位置对人进行成像。

此外，如图4中图示的，在从人前方的上方对人和建筑进行成像的情况下，可以通过使用三脚架或梯子在一定程度上从上方执行成像。然而，在使用三脚架或梯子的情况下，最多只能从上方几米处执行成像。此外，因使用三脚架或梯子减少了成像部位的移动性。

近年来，可以通过使用无人机从几乎被摄体的正上方捕获图像，但无人机的飞行时间以及最终成像时间根据安装在无人机上的电池的容量而受限。

此外，无人机的操作不一定容易，并且受到诸如户外雨水和风之类的天气的影响。此外，无人机不能在限制无人机飞行的地方或由于人员集中而禁止无人机飞行的地方使用。

在本技术中，即使在不能取得自由成像位置的情况下，也可以容易地获得通过从期望的位置对被摄体进行成像而获得的图像。在本技术中，例如，从图2的A中的成像情形下捕获的图2的B中的捕获图像，可以生成通过从在例如图3的A或图5中的成像情形下的成像位置对被摄体进行成像而获得的图像。

注意的是，专利文献1描述了以下的技术：从通过使用大量成像装置从各种成像位置对被摄体进行成像并使用通过成像而获得的捕获图像生成的三维数据，生成通过(看似)从任意虚拟的虚拟成像位置对被摄体进行成像而获得的虚拟图像。

然而，在专利文献1中描述的技术中，需要在各种位置处布置大量成像装置，并且由于成像装置的成本、安装所需的劳力等，导致常常不可以容易地实现如专利文献1中描述的成像情形。

此外，在布置了大量成像装置的情况下，需要防止某个成像装置被另一成像装置捕获，或者需要考虑当被摄体是移动物体时被摄体不碰到成像装置。因此，不总是可以将成像装置安装在任意位置处。

在本技术中，从通过从成像位置对被摄体进行成像而获得的捕获图像，通过使用从成像位置到被摄体的距离信息并处理模型信息来生成通过从与成像位置不同的虚拟成像位置对被摄体进行成像而获得的虚拟图像。因此，在本技术中，在不安装大量成像装置的情况下，可以容易地获得通过从期望的虚拟成像位置对被摄体进行成像而获得的虚拟图像。

下文中，将描述从通过从某个成像位置对被摄体进行成像而获得的捕获图像来生成通过从期望的虚拟成像位置对被摄体进行成像而获得的虚拟图像的方法。从通过从某个成像位置对被摄体进行成像而获得的捕获图像来生成通过从期望的虚拟成像位置对被摄体进行成像而获得的虚拟图像的方法是例如以下的方法：从如图2的A的成像情形下使用广角透镜(或具有短焦距的变焦透镜)从与被摄体相距近距离的成像位置处捕获的捕获图像，生成如图3的A的成像情形下使用望远透镜从与被摄体相距远距离的成像位置处捕获的捕获图像作为虚拟图像。

<透视投影变换>

图7是描述了当由成像装置执行成像时的透视投影变换的示图。

图7图示了在存在被摄体的物平面上的实际被摄体与执行成像装置的光电转换的图像传感器的成像平面上的图像之间的关系。

注意的是，图7是从上方观察时垂直立在地面上的被摄体的顶视图，并且水平方向表示与地面水平的水平方向(横向方向)上的位置。以下描述类似地应用于与地面垂直的垂直方向(竖直方向)，该垂直方向由从侧面观察时垂直立在地面上的被摄体的侧视图表示。

从物平面到成像装置的透镜的距离(物平面上的被摄体与成像装置之间的成像距离)被称为物距，并且用L_obj表示。从透镜到成像平面的距离被称为像距，并且用L_img表示。物平面上的位置-即，物平面上的与成像装置的光轴的距离用X_obj表示。像平面上的位置-即，成像平面上的与成像装置的光轴的距离用X_img表示。

对于物距L_obj、像距L_img、距离(位置)X_obj和距离(位置)X_img，式(1)成立。

X_img/X_obj＝L_img/L_obj

...(1)

根据式(1)，可以由式(2)表示与被摄体在物平面上的位置X_obj对应的成像平面上的位置X_img。

X_img＝L_img/L_obj×X_obj

...(2)

式(2)表示被称为透视投影变换的变换。

式(2)的透视投影变换被执行以便在由成像装置进行的被摄体的实际成像时物理地(光学地)表述。

此外，根据式(1)，可以由式(3)表示与成像平面上的位置X_img对应的被摄体在物平面上的位置X_obj。

X_obj＝L_obj/L_img×X_img

...(3)

式(3)表示透视投影变换的逆变换(透视投影逆变换)。

为了执行式(3)的透视投影逆变换，需要物距L_obj、像距L_img和被摄体在成像平面上的位置X_img。

对被摄体进行成像的成像装置可以识别(获取)像距L_img和被摄体在成像平面上的位置X_img。

因此，为了执行式(3)的透视投影逆变换，需要以某种方式识别物距L_obj(距离信息)。

为了获得相对于成像平面的每个像素的物平面上的被摄体的位置X_obj，需要具有以像素为单位或接近其的分辨率的物距L_obj。

作为获得物距L_obj的方法，可以采用任何方法。例如，可以采用从通过使用执行光电转换的多个图像传感器获得的视差计算与被摄体的距离的所谓的立体方法。此外，例如，可以采用利用确定的光学图案照射被摄体并从投影到被摄体上的光学图案的形状计算与被摄体的距离的方法。此外，可以采用从自激光照射到来自被摄体的反射光返回的时间来计算与被摄体的距离的所谓飞行时间(ToF)的方法。此外，可以采用使用作为所谓的自动聚焦方法之一的像面相位差法来计算与被摄体的距离的方法。另外，可以通过组合多个上述方法来计算与被摄体的距离。

下文中，假设可以通过某种方法来识别物距L_obj，将描述以下方法：通过透视投影变换和透视投影逆变换来生成从与被摄体分开与实际物距L_obj不同的距离的虚拟成像位置对被摄体进行成像而获得的(将成像的)虚拟图像。

<虚拟图像生成方法>

在图8中，类似于图1，通过第三角投影法来图示成像情形。

在图8的成像情形下，在单个物平面上存在被摄体，并且物平面平行于成像装置的成像平面。因此，物平面与成像装置的光轴正交。

图9是图示了在图8的成像情形下使用广角透镜从靠近被摄体的成像位置对被摄体进行成像的广角成像的状态的顶视图。

在图9的广角成像中，从分开达物距L_{obj_W}的成像位置对在物平面上的位置为X_obj的被摄体进行成像。广角成像时的像距为L_{img_W}，并且被摄体在成像平面上的位置为X_{img_W}。

图10是图示了在图8的成像情形下使用望远透镜从远离被摄体的成像位置对被摄体进行成像的望远成像的状态的顶视图。

在图10的望远成像中，从分开达物距L_{obj_T}的成像位置，对在物平面上的位置为X_obj并且与图9的广角成像的情况下相同的被摄体进行成像。望远成像时的像距为L_{img_T}，并且被摄体在成像平面上的位置为X_{img_T}。

当透视投影逆变换的式(3)被应用于图9的广角成像时，可以获得透视投影逆变换的式(4)。

X_obj＝L_{obj_W}/L_{img_W}×X_{img_W}

...(4)

当透视投影变换的式(2)被应用于图10的望远成像时，可以获得透视投影变换的式(5)。

X_{img_T}＝L_{img_T}/L_{obj_T}×X_obj

...(5)

通过将式(4)左侧的X_obj代入式(5)右侧的X_obj，可以获得式(6)。

X_{img_T}＝(L_{img_T}/L_{obj_T})×(L_{obj_W}/L_{img_W})×X_{img_W}

...(6)

这里，系数k由式(7)定义。

k＝(L_{img_T}/L_{obj_T})×(L_{obj_W}/L_{img_W})

...(7)

使用式(7)，式(6)可以是式(8)的简单比例表达式。

X_{img_T}＝k×X_{img_W}

...(8)

通过使用式(8)(式(6))，可以获得在使用望远透镜的望远成像中(这里，从与使用广角透镜的广角成像中(这里，从近距离的近距离成像)的成像平面上的位置X_{img_W}相距远距离的远距离成像)的成像平面上的位置X_{img_T}。换句话说，在假设基于诸如通过近距离成像等中的实际成像获得的捕获图像之类的信息在远距离成像中执行成像的情况下，可以获得通过在远距离成像中成像而将获得的虚拟图像的信息。

尽管以上已经描述了使用广角透镜的近距离成像和使用望远透镜的远距离成像作为从与被摄体相距不同的距离处的成像位置进行成像的示例，但以上描述可以应用于使用具有任意焦距的透镜在与被摄体相距任意距离处执行成像的情况。

即，根据式(8)(式(6))，基于诸如通过使用具有某个焦距的透镜从某个成像位置等进行成像而获得的捕获图像之类的信息，可以获得在使用具有另一焦距的透镜从另一成像位置(虚拟成像位置)进行成像的情况下获得的捕获图像(虚拟图像)的信息。

这里，由于使用具有某个焦距的透镜从某个成像位置进行成像是实际执行的成像，因此这也被称为实际成像。另一方面，由于使用具有另一焦距的透镜从另一成像位置(虚拟成像位置)进行成像不是实际执行的成像，因此这也被称为虚拟成像。

图11是描述了使用式(8)基于通过实际成像而获得的信息来获得通过虚拟成像而获得的虚拟图像的处理的示例的示图。

这里，从式(4)和(5)获得式(6)的概念含义如下所述。

被摄体在成像平面上的位置X_{img_W}是通过将三维空间中的被摄体上的点透视投影到作为二维平面的图像传感器的成像平面上而获得的点的位置。可以通过对被摄体在成像平面上的位置X_{img_W}执行式(4)的透视投影逆变换来获得三维空间(物平面)中的被摄体上的点的位置X_obj。

通过对以此方式获得的三维空间中的被摄体的位置X_obj执行式(5)的透视投影变换，可以获得在从与被摄体分开达物距L_{obj_W}的成像位置不同的虚拟成像位置(即，与被摄体分开达物距L_{obj_T}的虚拟成像位置)执行成像的情况下获得的虚拟图像的信息。

式(6)是在三维空间中的被摄体上的点的(指示)位置X_obj(的变量)表面上被去除时从作为二维平面的广角成像时被摄体的成像平面上的位置X_{img_W}到作为另一二维平面的望远成像时被摄体的成像平面上的位置X_{img_T}的变换。然而，在从式(4)和(5)推导出式(6)的过程中，三维空间中的被摄体上的位置X_obj被确定一次。

如图11中图示的，基于通过实际成像获得的信息来获得通过虚拟成像获得的虚拟图像的处理包括实际成像、虚拟被摄体(模型)的生成和虚拟成像。

在实际成像中，物理空间(三维空间)中的被摄体在成像装置中通过诸如物理透镜等之类的光学系统(物理透镜光学系统)在图像传感器上经受透视投影变换，并生成作为二维图像的捕获图像(实际捕获图像)。实际成像中的透视投影变换是使用成像装置的物理成像位置(物理成像位置)作为参数光学地执行的。

在虚拟被摄体的生成中，使用通过测量等分开获得的从成像位置到被摄体的距离信息对通过实际成像获得的捕获图像通过计算来执行式(4)的透视投影逆变换，并且三维空间中的被摄体(的被摄体模型)被虚拟再现(生成)。虚拟再现的被摄体也被称为虚拟被摄体(模型)。

在虚拟成像中，对虚拟被摄体通过计算来执行式(5)的透视投影变换，使得虚拟被摄体被(虚拟地)成像并生成虚拟图像(虚拟捕获图像)。在虚拟成像中，在对虚拟被摄体进行成像时的虚拟成像位置被指定为参数，并且从虚拟成像位置对虚拟被摄体进行成像。

<在多个物平面上存在被摄体的情况下成像平面上的被摄体的位置>

在图12中，类似于图1，通过第三角投影法来图示成像情形。

在图8的成像情形下，假定被摄体的物平面是单个的，但在实际成像中，通常在多个物平面上存在被摄体。图12图示了如上所述在多个物平面上存在被摄体的情况下的成像情形。

在图12的成像情形下，当从成像装置侧观察时，在对应于图8的被摄体的第一被摄体后方，存在作为另一被摄体的第二被摄体。

对于第一被摄体，例如，可以通过使用式(6)(式(8))将作为实际成像的近距离成像中的成像平面上的被摄体的位置X_{img_W}变换为例如作为虚拟成像的远距离成像中的成像平面上的被摄体的位置X_{img_T}。

可以针对第二被摄体执行类似的变换。

图13是图示了在图12的成像情形下使用广角透镜从靠近被摄体的成像位置对被摄体进行成像的广角成像的状态的顶视图。

图14是图示了在图12的成像情形下使用望远透镜从远离被摄体的成像位置对被摄体进行成像的望远成像的状态的顶视图。

图13和图14是与图9和图10相比添加了关于第二被摄体的物平面和成像平面的示图。

在图13和图14中，第一物平面是第一被摄体的物平面，并且第二物平面是第二被摄体的物平面。由于第二被摄体与第一被摄体被同时成像作为第一被摄体的背景，因此在图13和图14中的每一个中，第一被摄体和第二被摄体的成像平面是相同的。

在图13的广角成像中，从分开达物距L_{obj_W2}的成像位置对第二物平面上的位置为X_obj2的第二被摄体进行成像。广角成像时的像距为L_{img_W}，并且第二被摄体在成像平面上的位置为X_{img_W2}。由于第一被摄体和第二被摄体被同时成像，因此广角成像时的像距为L_{img_W}，这与图9的情况相同。注意的是，当第一物平面与第二物平面之间的距离为d时，用式d＝L_{obj_W2}-L_{obj_W}表示d。

在图14的望远成像中，从分开达物距L_{obj_T2}的成像位置对第二物平面上的位置为X_obj2的第二被摄体进行成像。望远成像时的像距为L_{img_T}，并且第二被摄体在成像平面上的位置为X_{img_T2}。由于第一被摄体和第二被摄体被同时成像，因此望远成像时的像距为L_{img_T}，这与图10的情况相同。注意的是，当第一物平面与第二物平面之间的距离为d时，用式d＝L_{obj_T2}-L_{obj_T}表示d。

当透视投影逆变换的式(3)被应用于图13的广角成像时，可以获得透视投影逆变换的式(9)。

X_obj2＝L_{obj_W2}/L_{img_W×}X_{img_W2}

...(9)

当透视投影变换的式(2)被应用于图14的望远成像时，可以获得透视投影变换的式(10)。

X_{img_T2}＝L_{img_T}/L_{obj_T2}×X_obj2

...(10)

通过将式(9)左侧的X_obj2代入式(10)右侧的X_obj2，可以获得式(11)。

X_{img_T2}＝(L_{img_T}/L_{obj_T2})×(L_{obj_W2}/L_{img_W})×X_{img_W2}

...(11)

这里，系数k₂由式(12)定义。

k₂＝(L_{img_T}/L_{obj_T2})×(L_{obj_W2}/L_{img_W})

...(12)

使用式(12)，式(11)可以是式(13)的简单比例表达式。

X_{img_T2}＝k₂×X_{img_W2}

...(13)

通过使用式(13)(式(11))，可以获得在使用望远透镜的望远成像中(这里，从与使用广角透镜的广角成像中(这里，从近距离的近距离成像)的成像平面上的位置X_{img_W2}相距远距离的远距离成像)的成像平面上的位置X_{img_T2}。

因此，通过对通过例如作为实际成像的近距离成像获得的捕获图像的像素当中的出现第一物平面上的第一被摄体的像素应用式(8)并向出现第二物平面上的第二被摄体的像素应用式(13)，可以将通过近距离成像获得的捕获图像的像素映射到例如通过作为虚拟成像的远距离成像获得的虚拟图像的像素。

<遮挡>

图15是图示了在图12的成像情形下的近距离成像的状态以及通过近距离成像获得的捕获图像。

即，图15的A是图示了在图12的成像情形下使用广角透镜从靠近被摄体的成像位置对被摄体进行成像的近距离成像的状态的顶视图。图15的B是图示了通过图15的A的近距离成像获得的捕获图像的平面图，并且等效于从正面观察成像平面的正视图。

图15的A是在图13中添加了作为从第一被摄体和第二被摄体的端点经过透镜中心的辅助线的虚线的示图。

图16是图示了在图12的成像情形下的远距离成像的状态以及通过远距离成像获得的捕获图像。

即，图16的A是图示了在图12的成像情形下使用望远透镜从远离被摄体的成像位置对被摄体进行成像的远距离成像的状态的顶视图。图16的B是图示了通过图16的A的远距离成像获得的捕获图像的平面图，并且类似于图15的情况等效于从正面观察成像平面的正视图。

图16的A是在图14中添加了作为从第一被摄体和第二被摄体的端点经过透镜中心的辅助线的虚线的示图。

现在，为了简化描述，假定在近距离成像和远距离成像中，执行成像使得第一被摄体在成像平面(捕获图像)上的尺寸相同。

与图15的近距离成像相比，在图16的远距离成像中，第二被摄体在成像平面(捕获图像)上的尺寸较大。如上所述，与参考图2和图3描述的情况类似，由透视导致以下现象：与在近距离成像时相比，在远距离成像中，第二被摄体在成像平面上的尺寸变得较大。

图17是图示了图15的A的顶视图和图16的A的顶视图叠加并且省略了一部分的成像的状态的顶视图。

在图17中，第二被摄体的部分M在远距离成像中被成像，但在近距离成像中在第一被摄体后方不被成像。

在多个物平面上存在被摄体的情况下，可能出现遮挡，即，作为前侧被摄体的第一被摄体隐藏作为后侧被摄体的第二被摄体并使第二被摄体不可见的状态。

第二被摄体的部分M在远距离成像中是可见的，但在近距离成像中变为被隐藏在第一被摄体后方的且不可见的遮挡。这也被称为作为如上所述的遮挡的第二被摄体的部分M的遮挡部分(缺失部分)。

在作为实际成像的近距离成像中，作为遮挡部分的第二被摄体的部分M不被成像。因此，在基于通过近距离成像获得的捕获图像而使用式(8)和(13)来生成通过作为虚拟成像的远距离成像获得的虚拟图像的情况下，在虚拟图像中，不能获得作为遮挡部分的第二被摄体的部分M的像素值，因此像素值丢失。

图18是描述了在基于通过作为实际成像的近距离成像获得的捕获图像来生成通过作为虚拟成像的远距离成像获得的虚拟图像的情况下的像素值的映射的示图。

在图18的上侧的通过作为实际成像的近距离成像获得的捕获图像(近距离捕获图像)中，第二被摄体的部分M在第一被摄体后方并且是遮挡部分。

在基于图18的上侧的捕获图像来生成图18的下侧的通过作为虚拟成像的远距离成像获得的虚拟图像的情况下，分别使用式(8)和式(13)将捕获图像(近距离捕获图像)中的第一被摄体的位置X_{img_W}和第二被摄体的位置X_{img_W2}处的像素的像素值映射为虚拟图像(远距离捕获图像)中的第一被摄体的位置X_{img_T}和第二被摄体的位置X_{img_T2}处的像素的像素值。

在图18的下侧的虚拟图像中，出现了第二被摄体的部分M的像素的像素值应该被映射到阴影部分。然而，在图18的上侧的捕获图像中，第二被摄体的部分M未被成像，并且不能获得第二被摄体的部分M的像素值。因此，在图18的下侧的虚拟图像中，第二被摄体的部分M的像素的像素值不能被映射到阴影部分，并且像素值缺失。

如上所述，在多个物平面上存在被摄体的情况下，对于诸如第二被摄体的部分M之类的作为遮挡的遮挡部分，出现像素值的缺失。

图19是描述了在基于通过作为实际成像的近距离成像获得的捕获图像来生成通过作为虚拟成像的远距离成像获得的虚拟图像的情况下的像素值的映射的另一示图。

在图19中，图像picW是通过作为实际成像的近距离成像获得的捕获图像，并且图像picT是通过作为虚拟成像的远距离成像获得的虚拟图像。

此外，在图19中，二维坐标的水平轴表示捕获图像picW的水平位置X_{img_W}和X_{img_W2}，并且垂直轴表示虚拟图像picT的水平位置X_{img_T}和X_{img_T2}。

此外，在图19中，直线L1表示式(8)，并且直线L2表示式(13)。

捕获图像picW中的第一被摄体的位置X_{img_W}处的像素(的像素值)被映射到通过以位置X_{img_W}作为输入的式(8)获得的虚拟图像picT中的第一被摄体的位置X_{img_T}处的像素(的像素值)。

捕获图像picW中的第二被摄体的位置X_{img_W2}处的像素被映射到通过以位置X_{img_W2}作为输入的式(13)获得的虚拟图像picT中的第二被摄体的位置X_{img_T2}处的像素。

在虚拟图像picT中，阴影部分是在捕获图像picW中没有出现对应部分的遮挡部分，并且像素(像素值)缺失。

<遮挡部分的补充>

图20是描述了补充遮挡部分的像素的遮挡部分补充方法的示例的示图。

作为补充遮挡部分的方法，可以采用各种方法。

作为补充遮挡部分的方法，例如，存在使用遮挡部分附近的像素对遮挡部分的像素(的像素值)进行插值的方法。作为对像素进行插值的方法，例如，可以采用诸如最近邻方法、双线性方法、双三次方法等之类的任何方法。

在最近邻方法中，邻近像素的像素值被原样用作遮挡部分的像素的像素值。在双线性方法中，遮挡部分的像素周围的周边像素的像素值的平均值被用作遮挡部分的像素的像素值。在双三次方法中，通过使用遮挡部分的像素周围的周边像素的像素值执行三维插值而获得的插值被用作遮挡部分的像素的像素值。

例如，在遮挡部分是单调墙壁表面的图像的情况下，通过使用遮挡部分附近的像素进行插值来补充遮挡部分，可以生成与在从虚拟图像被成像的虚拟成像位置执行成像的情况下获得的图像(基本上)类似的虚拟图像。在生成与在从虚拟成像位置执行成像的情况下获得的图像类似的虚拟图像的情况下，虚拟图像也被称为具有高再现性的虚拟图像。

注意的是，另外，作为使用遮挡部分附近的像素对遮挡部分的像素进行插值的方法，例如，在遮挡部分是诸如粗糙墙壁表面等之类的带纹理的图像的情况下，可以采用用具有遮挡部分的周边的一定区域的区域的副本(duplicate)对遮挡部分进行插值的方法。

使用遮挡部分附近的像素对遮挡部分的像素进行插值的方法是基于关于遮挡部分将是与遮挡部分附近类似的图像的估计正确的前提。

因此，在遮挡部分不是与遮挡部附近类似的图像的情况下(在与遮挡部分的附近相比较，遮挡部分是独特的情况下)，存在通过使用遮挡部分附近的像素对遮挡部分的像素进行插值的方法不能获得具有高再现性的虚拟图像的可能性。

例如，在部分地具有涂鸦的墙壁的涂鸦部分是遮挡部分的情况下，通过使用遮挡部分附近的像素对遮挡部分的像素进行插值的方法，不能再现涂鸦，并且不能获得具有高再现性的虚拟图像。

在遮挡部分不是与遮挡部分附近类似的图像的情况下，为了获得具有高再现性的虚拟图像，作为实际成像，除了主要成像(原始成像)之外，还可以从与主要成像的成像位置不同的成像位置执行辅助成像，使得出现在主要成像中生成的遮挡部分。然后，可以通过使用由辅助成像获得的捕获图像来补充在主要成像中生成的遮挡部分。

图20是描述了作为第一被摄体和第二被摄体的实际成像执行的主要成像和辅助成像的顶视图。

在图20中，以位置p201作为成像位置的实际成像被作为主要成像执行，并且以从位置p201向右和向左移位的位置p202和p203作为成像位置的每个实际成像被作为辅助成像执行。

在这种情况下，从成像位置p201进行的主要成像不能对作为遮挡部分的第二被摄体的部分M进行成像。然而，在从成像位置p202和p203进行的辅助成像中，可以对作为主要成像中的遮挡部分的第二被摄体的部分M进行成像。

因此，基于通过从成像位置p201进行的主要成像获得的捕获图像来生成通过虚拟成像获得的虚拟图像，并且，在虚拟图像中，使用通过从成像位置p202和p203进行的辅助成像获得的捕获图像来补充作为遮挡部分的第二被摄体的部分M(的像素值)，使得可以获得具有高再现性的虚拟图像。

可以使用多个成像装置同时地或在不同定时处执行主要成像和辅助成像。

此外，可以使用诸如具有多个成像系统的多相机之类的单个成像装置来执行主要成像和辅助成像。

此外，可以使用具有单个成像系统的单个成像装置在不同的定时处执行主要成像和辅助成像。例如，对于不移动的被摄体，可以在主要成像之前或之后执行辅助成像。

可以仅使用通过辅助成像获得的捕获图像的诸如颜色、纹理等之类的一部分信息来执行遮挡部分的补充。此外，遮挡部分可以通过与另一种方法组合地使用而被补充。

如上所述，可以使用通过辅助成像获得的捕获图像，或者使用通过另一主要成像获得的捕获图像(例如，通过过去执行的主要成像获得的捕获图像)来补充遮挡部分。

例如，在作为第一被摄体的背景的第二被摄体是诸如东京塔等之类的著名建筑物(建筑)的情况下，对于这样的著名建筑物，过去从各种成像位置捕获的捕获图像可以被累积在诸如库存照片服务等之类的图像库中。

在通过实际成像的捕获图像(通过实际成像获得的捕获图像)中出现著名的(或已知的)建筑物并且出现了著名建筑物的部分是遮挡部分的情况下，可以使用过去已被捕获并累积在图像库中的出现了相同著名建筑物的捕获图像来执行遮挡部分的补充。此外，可以使用在诸如互联网等之类的网络上发布的图像(例如，在提供地图搜索服务的网站上发布的照片)来补充遮挡部分。

遮挡部分的补充可以使用图像来执行，或者可以使用除图像之外的数据(信息)来执行。

例如，在用作第一被摄体的背景的第二被摄体是建筑物的情况下，当诸如建筑物的形状、表面加工方法、涂层颜色等之类的信息作为关于建筑物的建筑的建筑数据在网络服务器等上公开并可获得时，可以通过使用这样的建筑数据估计遮挡部分的像素值来补充遮挡部分。

在出现了建筑物的部分是遮挡部分的情况下，当使用过去捕获并累积在图像库中的捕获图像或者使用建筑数据来执行遮挡部分的补充时，需要指定建筑物，即，这里是第二被摄体。可以通过例如执行以出现了第二被摄体的捕获图像为目标的图像识别或者指定执行了为了捕获捕获图像的实际成像的位置来指定第二被摄体。可以通过参照诸如可交换图像文件格式(EXIF)信息等之类的捕获图像的元数据来指定执行了实际成像的位置。

注意的是，例如，在被摄体被诸如太阳光之类的光源照明的情形下，执行实际成像。

另一方面，在使用过去的捕获图像(过去捕获的捕获图像)或建筑数据来补充遮挡部分的情况下，实际成像时的光源(进行的照明)未被反映在遮挡部分中。

因此，例如，在使用过去的捕获图像或建筑数据来执行通过在阳光下执行的实际成像而进行的捕获图像的遮挡部分的补充的情况下，(作为)遮挡部分(的部分)的颜色与另一部分的颜色相比较可能变成不自然的颜色。

因此，在使用过去的捕获图像或建筑数据来补充通过在阳光下执行的实际成像而进行的捕获图像的遮挡部分的情况下，当可以获得关于天气的天气数据时，可以使用过去的捕获图像或建筑数据来补充遮挡部分，并且然后，可以使用天气数据来校正遮挡部分的色调。

在阳光下执行的实际成像中，照明被摄体的光的强度和色温受天气影响。在可以获得天气数据的情况下，可以从天气数据指定实际成像时的天气，并且可以根据天气来估计在阳光下执行实际成像时的诸如照明被摄体的光的强度或色温之类的照明光信息。

然后，可以使用过去的捕获图像或建筑数据来补充遮挡部分，并且可以校正遮挡部分的色调，使得遮挡部分的颜色变为当用由照明光信息指示的光照明被摄体时的颜色。

通过如上所述地校正色调，与另一部分的颜色相比较，遮挡部分的颜色可以被设置为自然颜色，因此，可以获得具有高再现性的虚拟图像。

另外，可以使用例如经受机器学习的学习模型来执行遮挡部分的补充。

例如，在可以实际执行近距离成像和远距离成像二者的情况下，可以使用通过实际执行近距离成像和远距离成像获得的捕获图像作为学习数据来执行学习模型的学习，以便通过使用例如通过作为实际成像执行的近距离成像获得的捕获图像作为输入，输出通过作为虚拟成像执行的远距离成像获得的虚拟图像的遮挡部分的图像。

在这种情况下，通过将通过作为实际成像的近距离成像获得的捕获图像输入到学习后的学习模型，获得通过作为虚拟成像的远距离成像获得的虚拟图像的遮挡部分的图像，并且可以通过该图像补充遮挡部分。

补充遮挡部分的补充方法不受特别限制。然而，通过采用可以由单个成像装置或甚至多个但数量少的成像装置执行的补充方法，可以抑制成像部位处的移动性的降低，并容易获得从期望的位置(虚拟成像位置)捕获的图像(虚拟图像)。特别地，通过采用可以由单个成像装置执行的补充方法，成像部位处的移动性可以被最大化。

图21是描述了基于通过实际成像获得的信息来获得通过虚拟成像获得的虚拟图像的处理的另一示例的示图。

在图21中，类似于图11的情况，基于通过实际成像获得的信息来获得通过虚拟成像获得的虚拟图像的处理包括实际成像、虚拟被摄体(模型)的生成和虚拟成像。然而，在图21中，遮挡部分的补充被添加到图11的情况。

在实际成像中，类似于图11的情况，生成(捕获)作为二维图像的捕获图像(实际捕获图像)。

在虚拟被摄体的生成中，使用从实际成像的成像位置到被摄体的距离信息和处理模型信息，从通过实际成像获得的捕获图像再现(生成)作为经校正的模型的虚拟被摄体。

处理模型信息是用于处理遮挡的知识信息，并且包括例如过去捕获的捕获图像(过去的捕获图像)、通过辅助成像获得的捕获图像(辅助捕获图像)、建筑数据、天气数据等中的一个或更多个。

在虚拟被摄体的生成时，首先，类似于图11的情况，使用距离信息执行通过实际成像获得的捕获图像的透视投影逆变换，以便生成虚拟被摄体。

此外，在虚拟被摄体的生成时，虚拟成像位置被作为参数给出，并且从虚拟成像位置成像的虚拟被摄体的成像部分在要稍后执行的虚拟成像中被指定。

然后，在虚拟被摄体的成像部分中，通过使用处理模型信息来补充捕获图像的像素(的像素值)缺失的缺失部分-即，当从虚拟成像位置观察虚拟被摄体时作为遮挡的遮挡部分，生成补充后的虚拟被摄体作为通过校正虚拟被摄体而获得的经校正的模型。

在虚拟成像中，类似于图11的情况，通过透视投影变换生成虚拟图像。

然而，图21的虚拟成像与图11的情况的不同之处在于，透视投影变换的目标不是通过对通过实际成像获得的捕获图像执行透视投影逆变换而生成的虚拟被摄体本身，而是作为虚拟被摄体的遮挡部分已被补充的经校正的模型的虚拟被摄体。

在图21的虚拟成像中，通过对经校正的模型执行透视投影变换，从虚拟成像位置对经校正的模型进行(虚拟)成像，并且生成虚拟图像(虚拟捕获图像)。

关于遮挡部分的补充，通过仅对当从虚拟成像位置观察虚拟被摄体时的作为遮挡的遮挡部分执行补充，可以将补充的范围抑制到需要的最小值。因此，在除了主要成像之外还执行辅助成像的情况下，可以在最小需要范围内执行辅助成像，并且可以抑制成像时的移动性的降低。

注意的是，在辅助成像中，通过对比需要的最小值稍宽的范围进行成像，可以在成像之后对虚拟成像位置进行精细地校正。

<另一虚拟图像生成方法>

图22是图示了捕获图像和虚拟图像的示例的平面图。

在上述情况下，已经描述了以下生成方法作为示例：基于在近距离成像和远距离成像中的一个中实际捕获的捕获图像来生成在近距离成像和远距离成像中的另一个中执行成像的情况下捕获的虚拟图像。即，已经描述了基于捕获图像来生成从虚拟成像位置捕获的虚拟图像的生成方法，该虚拟成像位置是在从实际捕获捕获图像的成像位置起沿着成像时的成像装置的光轴移动并且仅在成像距离上不同的位置。

上述的虚拟图像生成方法还可以应用于从捕获图像的成像位置起在不沿着成像装置的光轴的方向上移动的位置被设置为虚拟成像位置的情况。即，上述虚拟图像的生成可以不仅应用于生成通过从自捕获图像的成像位置起沿着成像装置的光轴移动的位置对被摄体进行成像而获得的虚拟图像的情况，而且应用于生成通过从在不沿着成像装置的光轴的方向上移动的位置对被摄体进行成像而获得的虚拟图像(另一虚拟图像)的情况。

在成像装置的光轴面对被摄体时对被摄体进行成像的情况下，当从捕获图像的成像位置起沿着实际成像时的成像装置的光轴移动的位置被设置为虚拟成像位置时，成像装置的光轴在实际成像和虚拟成像之间是重合的。

另一方面，当从捕获图像的成像位置起在不沿着实际成像时的成像装置的光轴的方向上移动的位置被设置为虚拟成像位置时，成像装置的光轴在实际成像和虚拟成像之间是不同的。

从捕获图像的成像位置起在不沿着成像装置的光轴的方向上移动的位置被设置为虚拟成像位置的情况对应于例如在图1的成像情形下执行实际成像并且在图4的成像情形下执行虚拟成像的情况。

图22的A图示了在图1的成像情形下通过实际成像获得的捕获图像。

图22的B图示了作为在图4的成像情形下通过实际成像获得的捕获图像的鸟瞰图像。

图22的C图示在图4的成像情形下的成像位置作为虚拟成像位置的情况下通过对基于图22的A的捕获图像使用距离信息生成的虚拟被摄体执行虚拟成像而获得(生成)的虚拟图像。

在通过对基于图22的A的捕获图像使用距离信息生成的虚拟被摄体本身执行虚拟成像而获得的虚拟图像中，在图1的成像情形下在捕获图像中没有出现的人和建筑的上部部分变为如图22的C中的阴影所图示的遮挡部分。

通过补充遮挡部分，可以获得接近图22的B的捕获图像的虚拟图像。

即，在虚拟被摄体的成像部分内，使用处理模型信息来补充当从虚拟成像位置观察虚拟被摄体时作为遮挡的遮挡部分，并且执行作为补充之后的虚拟被摄体的经校正的模型的透视投影变换，使得可以获得接近图22的B的捕获图像的虚拟图像。

作为补充遮挡部分的方法，可以采用上述的使用遮挡部分附近的像素对遮挡部分进行插值的方法、使用通过辅助成像获得的捕获图像的方法、使用过去捕获的捕获图像的方法、使用通过机器学习学习的学习模型的方法、使用建筑数据的方法等。

<虚拟成像UI>

在图23中，通过第三角投影法来图示成像情形。

对于成像装置，通过物理(实际)安装成像装置来确定实际成像的成像位置。在本技术中，除了实际成像的成像位置之外，还要求虚拟成像位置，并且需要指定虚拟成像位置。

作为指定虚拟成像位置的指定方法，例如，可以采用将相对于成像位置在预定方向上移动了预定距离的位置自动指定为虚拟成像位置的方法。此外，另外，作为指定虚拟成像位置的指定方法，例如，可以采用使用户执行指定的方法。

下文中，将描述在用户指定虚拟成像位置的情况下的UI，但在此之前，将描述表示虚拟成像位置的方法。

在本实施例中，如图23中图示的，虚拟成像位置是由以(与成像装置的光轴相交的)被摄体的位置作为中心(原点)的球坐标系(的坐标)来表示的。

这里，成像装置(物理上存在的物理成像装置)的光轴-即成像装置(的光学系统)的光轴与被摄体之间的交点被称为被摄体的中心。成像装置的光轴穿过成像装置的图像传感器的中心，并与垂直于图像传感器的直线重合。

连接成像装置的图像传感器的中心和被摄体的中心的光轴(成像装置的光轴)被称为物理光轴，并且连接虚拟成像位置和被摄体的中心的光轴被称为虚拟光轴。

当被摄体的中心被设置为球坐标系的中心时，在球坐标系中，虚拟成像位置可以由相对于虚拟光轴的物理光轴在方位角方向上的旋转量(方位角)

仰角方向上的旋转量(仰角)θ_v和虚拟光轴上的被摄体与虚拟成像位置之间的距离r_v表示的。

注意的是，在图23中，距离r_r表示物理光轴上的被摄体与成像位置之间的距离。

此外，在图23中，顶视图中图示的距离r_v表示沿着虚拟光轴的距离，而非平面上的距离分量。

在图24中，UI包括诸如中心(C)按钮、上(TOP)按钮、下(BTM)按钮、左(LEFT)按钮、右(RIGHT)按钮、近(SHORT)按钮、远(LONG)按钮、望远(TELE)按钮和广角(WIDE)按钮之类的操作按钮。

注意的是，除了操作按钮之外，还可以使用诸如旋转拨盘、操纵杆或触摸面板之类的操作单元来配置UI。此外，在使用操作按钮配置UI的情况下，操作按钮的布置不限于图24的布置。

应用本技术的成像装置可以实时地生成与通过从虚拟成像位置对被摄体进行成像而获得的捕获图像类似的虚拟图像，并实时地将该虚拟图像输出到诸如取景器之类的显示单元。在这种情况下，显示单元可以将虚拟图像实时地显示为所谓的直通图像。通过观察在显示单元上显示为直通图像的虚拟图像，成像装置的用户可以享受到好像用户正在从虚拟成像位置对被摄体进行成像的感觉。

在球坐标系中，需要确定球坐标系的中心，以便表示虚拟成像位置。

在成像装置中，例如，当UI的中心按钮被操作时，成像装置的光轴与被摄体相交的点的位置被确定为球坐标系的中心。然后，虚拟成像位置被设置为实际成像的成像位置，即，方位角

仰角θ_v＝0和距离r_v＝r_r。

可以通过操作左按钮或右按钮来指定方位角

在成像装置中，当左按钮被按下时，方位角

在负方向上改变达预定恒定量。此外，当右按钮被按下时，方位角

在正方向上改变达预定恒定量。

可以通过操作上按钮或下按钮来指定仰角θ_v。当上按钮被按下时，仰角θ_v在正方向上改变达预定恒定量。此外，当下按钮被按下时，仰角θ_v在负方向上改变达预定恒定量。

可以通过操作近按钮或远按钮来指定距离r_v。当近按钮被按下时，距离r_v在负方向上改变达预定恒定量或达恒定倍率。此外，当远按钮被按下时，距离r_v在正方向上改变达预定恒定量或达恒定倍率。

在图24中，如上所述，除了与虚拟成像位置的指定相关的中心按钮、上按钮、下按钮、左按钮、右按钮、近按钮和远按钮之外，UI设置有用于指定在从虚拟成像位置执行虚拟成像时的虚拟成像装置的焦距(下文中，也被称为虚拟焦距)的望远按钮和广角按钮。

当望远按钮被按下时，虚拟焦距在虚拟焦距增加的方向上改变达预定恒定量或达恒定倍率。此外，当广角按钮被按下时，虚拟焦距在虚拟焦距减小的方向上改变达预定恒定量或达恒定倍率。

例如，根据虚拟焦距来确定式(4)和(5)中的图像距离L_{img_W}和L_{img_T}。

注意的是，关于UI的操作按钮的操作改变方位角

等的方式不限于上述那些。例如，在操作按钮被长时间按下的情况下，可以通过在操作按钮被长时间按下时连续改变诸如方位角

之类的虚拟焦距和虚拟成像位置或者根据操作按钮被长时间按下的时间改变诸如方位角

之类的虚拟焦距和虚拟成像位置的改变量来增强便利性。

此外，指定虚拟成像位置的方法不限于操作UI的方法。例如，可以采用检测用户的视线、从视线的检测结果检测用户正在注视的注视点以及指定虚拟成像位置等的方法。在这种情况下，注视点的位置被指定(设置)为虚拟成像位置。

此外，在实时显示通过从通过UI等的操作指定的虚拟成像位置进行虚拟成像而获得的虚拟图像的情况下，成像装置可以显示遮挡部分，使得用户可以识别遮挡部分。

这里，在通过补充遮挡部分生成的虚拟图像中，存在遮挡部分被补充的补充部分的信息的精度比通过从虚拟成像位置进行实际成像而获得的图像低的可能性。

因此，在虚拟成像位置被指定之后，成像装置可以将虚拟图像显示在显示单元上，使得用户可以识别通过从虚拟成像位置进行虚拟成像而获得的虚拟图像中的作为遮挡的遮挡部分。

在这种情况下，成像装置的用户可以通过观察显示在显示单元上的虚拟图像来识别被摄体的哪个部分是遮挡部分。然后，通过识别被摄体的哪个部分是遮挡部分，成像装置的用户可以考虑实际成像的成像位置，使得对于用户而言的被摄体的重要部分不变为遮挡部分。即，可以考虑成像位置，使得对于用户而言的被摄体的重要部分出现在通过实际成像获得的捕获图像中。

此外，通过识别被摄体的哪个部分是遮挡部分，在执行图20中描述的主要成像和辅助成像的情况下，成像装置的用户可以执行辅助成像使得出现被摄体的作为遮挡部分的部分。

作为将虚拟图像显示在显示单元上使得用户可以识别虚拟图像中的作为遮挡的遮挡部分的显示方法，例如，可以采用以特定颜色显示虚拟图像中的遮挡部分的方法、以诸如1秒之类的预定周期将遮挡部分的灰度反转的方法等。

<应用本技术的成像装置的实施例>

图25是图示了应用本技术的诸如数字相机等之类的成像装置的实施例的配置示例的框图。

在图25中，成像装置100包括成像光学系统2、图像传感器3、距离传感器5、逆变换单元7、校正单元9、变换单元11、显示单元13、UI 15、存储单元17、记录单元21至23、以及输出单元24。成像装置100可以应用于移动图像和静止图像二者的成像。

成像光学系统2将来自被摄体的光会聚在图像传感器3上，以形成图像。因此，三维空间中的被摄体在图像传感器3上经受透视投影变换。

图像传感器3接收来自成像光学系统2的光，并执行光电转换以生成作为具有与接收光的量对应的像素值的二维图像的捕获图像4，并将捕获图像4供应到逆变换单元7。

距离传感器5测量与被摄体的每个点的距离信息6，并输出距离信息6。从距离传感器5输出的距离信息6被供应到逆变换单元7。

注意的是，被摄体的距离信息6可以由外部装置测量并被供应到逆变换单元7。在这种情况下，可以在不设置距离传感器5的情况下配置成像装置100。

逆变换单元7使用来自距离传感器5的距离信息6，执行来自图像传感器3的捕获图像4的透视投影逆变换，并且生成并输出作为三维数据8的虚拟被摄体。

校正单元9补充由逆变换单元7输出的作为三维数据8的虚拟被摄体的遮挡部分，并将补充的虚拟被摄体作为经校正的模型10输出。

变换单元11执行由校正单元9输出的经校正的模型10的透视投影变换，并输出作为二维图像的所得到的虚拟图像12。

显示单元13显示由变换单元11输出的虚拟图像12。在变换单元11实时地输出虚拟图像12的情况下，显示单元13可以实时地显示虚拟图像12。

UI 15被配置为例如如图24中图示的，并且例如由作为成像装置100的成像人员的用户操作。用户可以在观察显示单元13上显示的虚拟图像的同时，在UI 15上执行用于指定虚拟成像位置16的操作。

UI 15根据用户的操作来设置并输出虚拟成像位置16。

校正单元9补充当从由UI 15输出的虚拟成像位置16观察虚拟被摄体时变为遮挡的遮挡部分。

即，校正单元9指定当从虚拟成像位置16观察虚拟被摄体时变为遮挡的遮挡部分。此后，在校正单元9中，遮挡部分被补充，并且补充的虚拟被摄体被输出作为经校正的模型10。

在变换单元11中，通过经校正的模型10的透视投影变换，生成通过从由UI 15输出的虚拟成像位置16对通过校正单元9输出的经校正的模型10进行成像而获得的作为二维图像的虚拟图像12。

因此，在显示单元13上，实时地显示通过从根据用户进行的UI 15的操作设置的虚拟成像位置16对经校正的模型10进行成像而获得的虚拟图像12。因此，用户可以在观察显示单元13上显示的虚拟图像12时通过操作UI 15来指定可以获得期望的虚拟图像12的虚拟成像位置16。

注意的是，在校正单元9中，可以通过使用遮挡部分附近的像素对遮挡部分进行插值来执行遮挡部分的补充。此外，例如，从外部获得作为处理模型信息的过去的捕获图像18、建筑数据19、天气数据20等，并且可以使用处理模型信息来执行遮挡部分的补充。

此外，可以使用通过辅助成像获得的捕获图像、经机器学习的学习模型等作为其它处理模型信息来补充遮挡部分。

在执行辅助成像的情况下，当在主要成像之前执行辅助成像时，逆变换单元7中的从通过辅助成像获得的捕获图像4生成的作为三维数据8的虚拟被摄体被存储在存储单元17中。

即，存储单元17存储逆变换单元7中的从通过辅助成像获得的捕获图像4生成的作为三维数据8的虚拟被摄体。

存储在存储单元17中的从通过辅助成像获得的捕获图像4生成的作为三维数据8的虚拟被摄体可以在校正单元9中使用以补充当从虚拟成像位置16观察虚拟被摄体时作为遮挡的遮挡部分，虚拟被摄体是三维数据8并且是从通过辅助成像之后执行的主要成像获得的捕获图像4生成的。

在执行辅助成像的情况下，当在主要成像之后执行辅助成像时，逆变换单元7中的从通过主要成像获得的捕获图像4生成的作为三维数据8的虚拟被摄体被存储在记录单元23中。

即，记录单元23存储逆变换单元7中的从通过主要成像获得的捕获图像4生成的作为三维数据8的虚拟被摄体。

从通过主要成像获得的捕获图像4生成并记录在记录单元23中的作为三维数据8的虚拟被摄体的遮挡部分的补充可以由校正单元9使用从通过在主要成像之后执行的辅助成像获得的捕获图像4生成的作为三维数据8的虚拟被摄体来执行。

因此，在执行辅助成像的情况下，当在主要成像之后执行辅助成像时，在主要成像之后等待执行辅助成像之后，从通过主要成像获得的捕获图像生成的作为三维数据8的虚拟被摄体的遮挡部分被补充。

在执行遮挡部分的这种补充的情况下，难以从通过主要成像获得的捕获图像4实时地生成虚拟图像12。因此，在需要实时地生成虚拟图像的情况下，辅助成像需要在主要成像之前执行，而不是在主要成像之后执行。

在图25中，记录单元21记录由变换单元11输出的虚拟图像12。记录在记录单元21中的虚拟图像12可以被输出到显示单元13和输出单元24。

记录单元22记录由校正单元9输出的经校正的模型10。

例如，校正单元9可以补充比包括当从来自UI 15的虚拟成像位置16观察虚拟被摄体时作为遮挡的遮挡部分的遮挡部分稍宽的大范围部分(包括当虚拟成像位置16被略微改变并且在改变之后从虚拟成像位置16观察虚拟被摄体时的虚拟被摄体中的变为新遮挡部分的部分的部分)。在记录单元22中，可以记录这样的大范围部分被补充的经校正的模型10。

在这种情况下，可以使用记录在记录单元22中并且大范围部分被补充的经校正的模型10作为变换单元11的透视投影变换的目标，生成虚拟成像位置16被精细校正(精细调整)的虚拟图像12。因此，可以在捕获作为大范围部分被补充的经校正的模型10的基础的捕获图像4之后，通过使用记录在记录单元22中并且大范围部分被补充的经校正的模型10来生成虚拟成像位置16被精细校正的虚拟图像12。

记录单元23记录由逆变换单元7输出的作为三维数据8的虚拟被摄体，即，在遮挡部分被校正单元9补充之前的虚拟被摄体。例如，在虚拟图像12被用于新闻等并且虚拟图像12的一部分的真实性被质疑的情况下，记录在记录单元23中的虚拟被摄体可以被称为未处理的，即，用于确认真实性的真实数据。

注意的是，记录单元23可以将作为看作三维数据8的虚拟被摄体的生成的基础的捕获图像4与作为三维数据8的虚拟被摄体一起或者代替作为三维数据8的虚拟被摄体记录。

输出单元24是将数据输出到成像装置100的外部的接口(I/F)，并将由变换单元11输出的虚拟图像12实时地输出到外部。

在未图示的外部装置连接到输出单元24的情况下，当变换单元11实时地输出虚拟图像12时，虚拟图像12可以从输出单元24实时地分布到外部装置。

例如，在未图示的外部显示单元连接到输出单元24的情况下，当变换单元11实时地输出虚拟图像12时，虚拟图像12从输出单元24实时地输出到外部显示单元，并且虚拟图像12被实时地显示在外部显示单元上。

在如上所述配置的成像装置100中，逆变换单元7使用来自距离传感器5的距离信息6来执行来自图像传感器3的捕获图像4的透视投影逆变换，以生成作为三维数据8的虚拟被摄体。

校正单元9使用诸如过去的捕获图像18等之类的处理模型信息来补充当从来自UI15的虚拟成像位置16观察由逆变换单元7生成的作为三维数据8的虚拟被摄体时作为遮挡的遮挡部分，并获得通过校正虚拟被摄体而获得的作为经校正的模型10的补充之后的虚拟被摄体。

使用通过校正单元9获得的校正模型10，变换单元11通过透视投影变换生成通过从虚拟成像位置16对经校正的模型10成像而获得的虚拟图像12。

因此，可以说，逆变换单元7、校正单元9和变换单元11构成生成单元，生成单元通过使用从成像位置到被摄体的距离信息6和处理模型信息，从通过从成像位置对被摄体成像而获得的捕获图像4来生成从与成像位置不同的虚拟成像位置16对被摄体成像而获得的虚拟图像12。

图26是描述了生成单元的处理示例的流程图。

在步骤S1中，生成单元通过使用用于处理诸如过去的捕获图像18等之类的遮挡的处理模型信息(知识信息)和距离信息6，从捕获图像4生成与捕获图像4不同的并且从虚拟成像位置16捕获的虚拟图像12。

具体地，在步骤S11中，生成单元的逆变换单元7通过使用距离信息6执行捕获图像4的透视投影逆变换来生成作为三维数据8的虚拟被摄体，并且处理前进至步骤S12。

在步骤S12中，校正单元9使用诸如过去的捕获图像18等之类的处理模型信息来补充当从虚拟成像位置16观察由逆变换单元7生成的作为三维数据8的虚拟被摄体时作为遮挡的遮挡部分，以生成通过校正作为三维数据8的虚拟被摄体而获得的经校正的模型10(遮挡部分被补充的三维数据8)，并且处理前进至步骤S13。

在步骤S13中，使用通过校正单元9生成的经校正的模型10，变换单元11通过透视投影变换生成通过从虚拟成像位置16对经校正的模型10成像而获得的虚拟图像。

利用成像装置100，例如，即使在难以从期望的成像位置(视点)对被摄体成像的情形的情况下，通过使用从可以执行成像的某个成像位置(视点)捕获的捕获图像、从成像位置到被摄体的距离信息以及作为除了单独获得的距离信息之外的辅助信息的处理模型信息，可以生成从与实际成像位置不同的作为期望的成像位置的虚拟成像位置以伪方式捕获的虚拟图像。因此，可以容易地获得从期望的位置捕获的图像(虚拟图像)。

利用例如如图6中图示的成像装置100，在人前方存在墙壁的成像情形下，可以生成就像从人前方的墙壁表面的后方的位置执行成像一样的虚拟图像。

此外，利用成像装置100，例如，在成像装置100的用户不能接近被摄体的成像情形下，诸如用户通过房间里或车辆上的窗户捕获外部图像的成像情形下，可以生成就像用户已经接近被摄体并捕获了图像一样的虚拟图像。

此外，利用成像装置100，例如，可以在不使用梯子、无人机等的情况下生成诸如图5中图示的的鸟瞰图像之类的虚拟图像。

此外，利用成像装置100，例如，在被摄体是人并且人的视线不指向成像装置的情况下，通过将视线前面的位置设置为虚拟成像位置，可以生成所谓的看着相机的虚拟图像。

此外，利用成像装置100，通过将虚拟成像位置设置为作为成像人员的用户的头部的眼球位置，可以生成示出从用户的视点观察到的状态的虚拟图像。通过将这样的虚拟图像显示在眼镜型显示器上，可以构成不具有视差的电子眼镜。

<应用本技术的计算机的描述>

接下来，可以由硬件或软件执行构成上述生成单元的逆变换单元7、校正单元9和变换单元11的一系列处理。在由软件执行该一系列处理的情况下，构成软件的程序被安装在通用计算机等中。

图27是图示了安装了执行上述一系列处理的程序的计算机的实施例的配置示例的框图。

该程序可以被初步地记录在作为装入计算机中的记录介质的硬盘905或ROM 903上。

可替代地，程序可以被存储(记录)在由驱动器909驱动的可移除记录介质911中。这样的可移除记录介质911可以被设置作为所谓的软件包。这里，可移除记录介质911的示例包括柔性盘、光盘只读存储器(CD-ROM)、磁光(MO)盘、数字多功能盘(DVD)、磁盘、半导体存储器等。

注意的是，该程序不仅可以从上述可移除记录介质911安装在计算机中，还可以经由通信网络或广播网络下载到计算机中并安装在装入的硬盘905中。换句话说，例如，程序可以经由用于数字卫星广播的人造卫星从下载站点无线地传送到计算机，或者可以经由网络(例如，局域网(LAN)或互联网)有线地传送到计算机。

计算机包含中央处理单元(CPU)902。输入/输出接口910经由总线901连接到CPU902。

当通过用户经由输入/输出接口910对输入单元907进行的操作等来输入命令时，CPU 902因此执行存储在只读存储器(ROM)903中的程序。可替代地，CPU 902将存储在硬盘905中的程序加载到随机存取存储器(RAM)904中并执行该程序。

因此，CPU 902执行遵循以上提到的流程图的处理或由以上提到的框图的配置执行的处理。然后，CPU 902使处理结果根据需要例如经由输入/输出接口910从输出单元906输出、从通信单元908发送、由硬盘905记录等。

注意的是，输入单元907包括键盘、鼠标、麦克风等。此外，输出单元906包括液晶显示器(LCD)、扬声器等。

这里，在本说明书中，不一定需要沿着作为流程图描述的过程按时间顺序执行由计算机根据程序执行的处理。换句话说，由计算机根据程序执行的处理还包括并行或独立执行的处理(例如，并行处理或通过对象进行的处理)。

此外，程序可以由单个计算机(处理器)处理，或者可以由多个计算机以分布式方式处理。此外，程序可以被传送到远程计算机并由其执行。

此外，在本说明书中，系统是指多个构成元件(装置、模块(部件)等)的集群，并且所有构成元件是否在同一壳体中并不重要。因此，容纳在不同外壳中并经由网络连接的多个装置、以及多个模块被容纳在单个外壳中的单个装置都是系统。

注意的是，本技术的实施例不限于以上提到的实施例，但可以在不脱离本技术的主旨的范围内进行各种改变。

例如，本技术可以采用云计算的配置，在该配置中一个功能经由网络由多个装置共享和联合处理。

此外，上述流程图中描述的每个步骤可以由单个装置执行或者由多个装置共享并执行。

此外，在单个步骤包括多个处理的情况下，单个步骤中包括的多个处理可以由单个设备执行或者可以由多个设备共享并执行。

此外，本说明书中描述的效果仅仅是例示性的而非限制性的，并且可以提供其他效果。

注意的是，本技术可以是如下的配置。

<1>一种成像装置，包括：

生成单元，所述生成单元使用从成像位置到被摄体的距离信息和模型信息来从捕获图像生成虚拟图像，所述捕获图像通过从所述成像位置对所述被摄体进行成像而获得，所述虚拟图像通过从与所述成像位置不同的虚拟成像位置对所述被摄体进行成像而获得。

<2>根据<1>所述的成像装置，其中，

所述生成单元使用所述距离信息和所述模型信息从所述捕获图像生成经校正的模型，并使用所述经校正的模型生成所述虚拟图像。

<3>根据<1>或<2>所述的成像装置，其中，

所述模型信息包括用于处理遮挡的知识信息。

<4>根据<3>所述的成像装置，其中，

所述生成单元：

通过使用所述距离信息执行所述捕获图像的透视投影逆变换来生成虚拟被摄体；

通过使用所述模型信息补充当从所述虚拟成像位置观察所述虚拟被摄体时作为遮挡的遮挡部分来生成所述虚拟被摄体被校正的经校正的模型；以及

使用所述经校正的模型通过透视投影变换来生成通过从所述虚拟成像位置对所述经校正的模型进行成像而获得的虚拟图像。

<5>根据<4>所述的成像装置，还包括：

记录单元，所述记录单元记录所述虚拟被摄体或所述经校正的模型。

<6>根据<3>至<5>中任一项所述的成像装置，其中，所述模型信息包括过去捕获的所述捕获图像、与建筑相关的建筑数据、以及与天气相关的天气数据中的一个或多个。

<7>根据<1>所述的成像装置，还包括：

用户界面(UI)，所述用户界面指定所述虚拟成像位置。

<8>根据<1>至<7>中任一项所述的成像装置，其中，

所述虚拟图像被实时地输出到显示单元。

<9>根据<7>所述的成像装置，其中，

所述UI包括：

第一操作单元，在要确定表示所述虚拟成像位置的球坐标系的中心时，所述第一操作单元被操作；

第二操作单元，在要改变所述球坐标系中的所述虚拟成像位置的方位角时，所述第二操作单元被操作；

第三操作单元，在要改变所述球坐标系中的所述虚拟成像位置的仰角时，所述第三操作单元被操作；以及

第四操作单元，在要改变所述球坐标系的中心与所述虚拟成像位置之间的距离时，所述第四操作单元被操作。

<10>根据<9>所述的成像装置，其中，

所述UI还包括第五操作单元，在要改变当执行从所述虚拟成像位置的虚拟成像时的虚拟成像装置的焦距时，所述第五操作单元被操作。

<11>根据<10>所述的成像装置，其中，

在所述第一操作单元至所述第五操作单元中的任一个被持续操作时，所述UI连续地改变所述虚拟成像位置或所述焦距。

<12>根据<10>所述的成像装置，其中，

所述UI根据所述第一操作单元至所述第五操作单元中的任一个被持续操作的时间来改变所述虚拟成像位置或所述焦距的改变量。

<13>根据<1>至<12>中任一项所述的成像装置，其中，

所述UI将用户正在注视的注视点指定为所述虚拟成像位置。

<14>一种成像方法，包括：

使用从成像位置到被摄体的距离信息和模型信息来从捕获图像生成虚拟图像，所述捕获图像通过从所述成像位置对所述被摄体进行成像而获得，所述虚拟图像通过从与所述成像位置不同的虚拟成像位置对所述被摄体进行成像而获得。

<15>一种程序，用于使计算机用作：

参考符号列表

2 成像光学系统

3 图像传感器

5 距离传感器

7 逆变换单元

9 校正单元

11 变换单元

13 显示单元

15 UI

17 存储单元

21至23 记录单元

24 输出单元

901 总线

902 CPU

903 ROM

904 RAM

905 硬盘

906 输出单元

907 输入单元

908 通信单元

909 驱动器

910 输入/输出接口

911 可移除记录介质

Claims

1.一种成像装置，包括：

2.根据权利要求1所述的成像装置，其中，

3.根据权利要求1所述的成像装置，其中，

所述模型信息包括用于处理遮挡的知识信息。

4.根据权利要求3所述的成像装置，其中，

所述生成单元：

5.根据权利要求4所述的成像装置，还包括：

6.根据权利要求3所述的成像装置，其中，

所述模型信息包括过去捕获的所述捕获图像、与建筑相关的建筑数据以及与天气相关的天气数据中的一个或多个。

7.根据权利要求1所述的成像装置，还包括：

用户界面UI，所述用户界面UI指定所述虚拟成像位置。

8.根据权利要求1所述的成像装置，其中，

所述虚拟图像被实时地输出到显示单元。

9.根据权利要求7所述的成像装置，其中，

所述UI包括：

10.根据权利要求9所述的成像装置，其中，

11.根据权利要求10所述的成像装置，其中，

12.根据权利要求10所述的成像装置，其中，

13.根据权利要求1所述的成像装置，其中，

所述UI将用户正在注视的注视点指定为所述虚拟成像位置。

14.一种成像方法，包括：

15.一种程序，用于使计算机用作：