CN106464810B - 控制装置、控制方法及程序 - Google Patents

Abstract

一种信息处理设备包括电路，所述电路输出第一图像用于随第一指示物和第二指示物显示，所述第一指示物识别第一图像的场景内的初始焦点位置，所述第二指示物识别在所述场景内的初始焦点位置前面或后面的至少一个焦点位置。响应于将初始焦点位置调节到更新的焦点位置而更新第一指示物显示。另一种信息处理设备包括电路，所述电路从不同的观察点生成在场景的第一图像中包括的至少一个对象的虚拟图像。输出所生成的虚拟图像用于随对应于第一图像的场景内的初始焦点位置的指示物显示。响应于将初始焦点位置调节到更新的焦点位置而更新指示物显示。

Description

控制装置、控制方法及程序

相关申请的交叉引用

本申请要求2014年6月17日提交的日本优先权专利申请JP 2014-124439的权益，该申请的全部内容以引用的方式并入本文。

技术领域

本公开涉及控制装置、控制方法及程序。

背景技术

在相关技术中，以下的专利文献1描述将指示聚焦点的位置的信息叠加到电子相机中的显示图象上面。另外，以下的专利文献2描述绘制覆盖到被显示在电子取景器上的透过镜头的图像上面的预定显示对象，其在指定的被摄物部分中以三维方式表示在深度方向上相对于装置的位置。另外，以下的专利文献3描述创建伪空间并指定具有立体图标的区域。

引文列表

专利文献

PTL 1：JP 2013-26744A

PTL 2：JP 2010-10732A

PTL 3：JP 2009-60338A

发明内容

技术问题

通常是通过在二维显示屏幕上指定对象位置来进行用装置(如图像捕捉装置)聚焦的工作。例如，如果多个人出现在屏幕上，并且期望聚焦于特定的人，则可以通过在屏幕上指定特定的人来聚焦该人。

然而，如果在要被聚焦的所需深度位置处不存在对象，则用户在参照屏幕时指定深度方向上的位置变得极为困难。采用如专利文献3中所描述的移动立体图标的技术难以直观和容易地指定要被聚焦的位置。

此外，得益于广泛采用全尺寸图像传感器，近来以浅景深拍摄的机会已增多。然而，在这类条件下难以确定拍摄时的焦点位置，并且难以在不仔细研究拍摄图像的情况下确定焦点位置所在。例如，当拍摄人的脸时，即使当拍摄时一边看着屏幕一边聚焦脸，在一些情况下也可能难以确定焦点是在眼睛的位置上、鼻子的位置上还是在耳朵的位置上。

因此，当指定要被聚焦的位置时，需要能直观和容易地指定包括在深度方向上在内的位置。

问题的解决方案

在一个实施方案中提供了一种包括电路的信息处理设备，所述电路被配置成输出第一图像用于随第一指示物和第二指示物显示，所述第一指示物识别第一图像的场景内的初始焦点位置，所述第二指示物识别在所述场景内的初始焦点位置前面或后面的至少一个焦点位置。该电路进一步被配置成响应于将初始焦点位置调节到更新的焦点位置而更新第一指示物的显示。

在一个实施方案中提供了一种设置场景内的焦点位置的方法。所述方法包括通过信息处理设备的电路输出第一图像用于随第一指示物和第二指示物显示，所述第一指示物识别第一图像的场景内的初始焦点位置，所述第二指示物识别在所述场景内的初始焦点位置前面或后面的至少一个焦点位置。所述方法进一步包括响应于将初始焦点位置调节到更新的焦点位置而通过所述电路更新第一指示物的显示。

在一个实施方案中提供了一种存储指令的非暂时性计算机可读介质，所述指令当由计算机执行时使计算机执行设置场景内的焦点位置的方法，所述方法包括输出第一图像用于随第一指示物和第二指示物显示，所述第一指示物识别第一图像的场景内的初始焦点位置，所述第二指示物识别在所述场景内的初始焦点位置前面或后面的至少一个焦点位置。所述方法进一步包括响应于将初始焦点位置调节到更新的焦点位置而更新第一指示物的显示。

在一个实施方案中提供了一种包括电路的信息处理设备，所述电路被配置成从不同的观察点生成在场景的第一图像中包括的至少一个对象的虚拟图像。所述电路被配置成输出所生成的虚拟图像用于随对应于第一图像的场景内的初始焦点位置的指示物显示。进一步地，所述电路被配置成响应于将初始焦点位置调节到更新的焦点位置而更新指示物的显示。

在一个实施方案中提供了一种设置场景内的焦点位置的方法，所述方法包括从不同的观察点通过信息处理设备的电路生成在场景的第一图像中包括的至少一个对象的虚拟图像。通过所述电路输出所生成的虚拟图像用于随对应于第一图像的场景内的初始焦点位置的指示物显示。所述方法进一步包括响应于将初始焦点位置调节到更新的焦点位置而通过所述电路更新指示物的显示。

在一个实施方案中提供了一种存储指令的非暂时性计算机可读介质，所述指令当由计算机执行时使计算机执行设置场景内的焦点位置的方法，所述方法包括从不同的观察点生成在场景的第一图像中包括的至少一个对象的虚拟图像。输出所生成的虚拟图像用于随对应于第一图像的场景内的初始焦点位置的指示物显示。所述方法进一步包括响应于将初始焦点位置调节到更新的焦点位置而更新指示物的显示。

发明的有益效果

根据如上所述的本公开的实施方案，当指定要被聚焦的位置时，有可能直观且很容易地指定位置，包括在深度方向上。

要注意的是，上述效果不一定受限制，并且连同这些效果一起或代替这些效果的是，可能展示出期望在本说明书中引入的任何效果或由本说明书可预期的其它效果。

附图说明

图1是示出根据本公开的实施方案的图像捕捉装置的示意性配置的图解。

图2是示出在第一实施方案中由图像捕捉装置捕捉并且在显示器上显示的图像的图解。

图3是详细示出AF图像的图解。

图4是详细示出AF图像的图解。

图5是详细示出AF图像的图解。

图6是示出编辑装置的示例性配置的图解。

图7是示出编辑装置的示例性配置的图解。

图8是示出在第二实施方案中由图像捕捉装置捕捉并且在显示器上显示的图像的示意性图解。

图9是示出描绘观察角度改变的图像的图解。

图10是示出具有深景深且不模糊的图像的图解。

图11是示出相对于图像捕捉光学系统的光轴在小于90度的角度的方向上移动视角并从该方向上观察被摄物的状态的图解。

图12是示出在第三实施方案中由图像捕捉装置捕捉并且在显示器上显示的图像的示意性图解。

图13是示出其中在图像中不存在在深度方向上延伸的线段的情况的图解。

图14是示出其中在图像中不存在在深度方向上延伸的线段的情况的图解。

图15是示出对线段L6和L7增加表示在焦点区域的深度方向上的分辨率的网格标记的实施例的图解。

图16是用于说明第四实施方案的图解。

图17是用于说明所述第四实施方案的图解。

具体实施方式

在下文中将参考附图详细描述本公开优选的实施方案。要注意的是，在本说明书和附图中，用相同的附图标记表示具有基本上相同功能和结构的结构元件，并且省略对这些结构元件的重复说明。

在下文中将按以下顺序进行描述。

1.第一实施方案

1.1.图像捕捉装置的示例性配置

1.2.具有叠加的深度信息的图像的实施例

1.3.对除了图像捕捉装置以外的装置的示例性应用

2.第二实施方案

2.1.深度信息叠加的图像的实施例

3.第三实施方案

3.1.深度信息叠加的图像的实施例

4.第四实施方案

4.1.深度信息叠加的图像的实施例

<1.第一实施方案>

1.1.图像捕捉装置的示例性配置

首先，将参考图1描述根据本公开的实施方案的图像捕捉装置2000的示意性配置。如图1中所示，图像捕捉装置2000包括图像捕捉光学系统100、图像传感器200、显影处理器300、深度图创建器400、叠加图像创建器500、深景深图像创建器600、显示叠加处理器700、显示器800、镜头驱动器IC 900、控制器1000和用户接口1100。另外，图像捕捉装置2000也可配有图像捕捉光学系统110和图像传感器210。

通过图像捕捉光学系统100将被摄物图像聚焦在图像传感器200的成像表面上。显影处理器300处理自图像传感器200得到的图像捕捉的原始数据以创建捕捉图像的图像文件，并将图像文件发送到显示叠加处理器700。

深景深图像创建器600由自图像传感器200发送的图像的原始数据创建具有深景深的图像，并将所创建的图像发送到叠加图像创建器500。图像创建器600配备类似于显影处理器300处理原始数据的功能。通过与捕捉图像相比减小图像捕捉光学系统100的光圈直径，图像创建器600由捕捉的原始数据以与通过显影处理器300处理的捕捉图像分开的方式创建具有深景深的图像。此外，如果图像捕捉装置2000另外配有图像捕捉光学系统110和图像传感器210，则图像创建器600也可由使用图像捕捉光学系统110和图像传感器210单独捕捉的图像产生具有深景深的图像。

深度图创建器400由自图像传感器200发送的图像的原始数据创建具有指示被摄物对于每个像素在深度方向上的位置的增加信息的深度图，并将所创建的深度图发送到叠加图像创建器500。如果图像传感器200由能够获取对于每个像素的相位差信息的相位差传感器构成，则深度图创建器400由自图像传感器200得到的相位差信息创建深度图。而且，如果图像捕捉装置2000是配有两个图像捕捉光学系统100和110及两个图像传感器200和210的立体相机，则深度图创建器400由通过图像传感器200和210捕捉的每个像素的视差创建深度图。而且，如果图像捕捉装置2000是能够记录用于计算深度信息的信息的光场相机，则深度图创建器400在这种信息的基础上创建深度图。

叠加图像创建器500在自图像创建器600接收的具有深景深的图像的数据和由深度图得到的用于指定焦点位置的信息的基础上创建叠加图像数据，并将创建的叠加图像数据发送到显示叠加处理器700。更具体地，叠加图像创建器500由深度图创建用于指定焦点位置的信息，并将该信息叠加到深景深图像3100上面以创建图像数据。虽然稍后有详细描述，但用于指定焦点位置的信息由诸如虚拟平面、轮廓线或指示焦点位置的线框显示的信息构成。

显示叠加处理器700将自显影处理器300接收的图像数据与自叠加图像创建器500接收的图像数据叠加，并创建显示图像数据。显示器800接收并显示来自显示叠加处理器700的显示图像数据。

用户接口1100是接受来自用户的操作输入的结构元件，如触控传感器(触控面板)、操作按钮、键盘或鼠标。通过用户接口1100输入诸如各种用户设置和各种拍摄操作的信息。用户能够用单一动作来操作显示器用于指定焦点位置，如通过旋转转盘或向上和向下按图像捕捉光学系统110的方向键。

控制器1000控制图像捕捉装置2000的结构元件。控制器1000接收来自操作按钮或其它用户接口1100的诸如各种用户设置和各种拍摄操作的信息，并控制图像捕捉装置2000的结构元件。此外，控制器1000将命令发送到镜头驱动器IC 900并驱动图像捕捉光学系统100，以使得图像捕捉光学系统100达到所需的变焦位置和焦点位置。

在本实施方案中，将由深度图得到的用于指定焦点位置的信息(指示深度位置的信息)叠加到图像上面，从而使用户能够指定捕捉图像在深度方向上的位置。用于指定焦点位置的信息的显示状态根据焦点位置与被摄物位置之间的关系而变化。因此，用户就能够很容易地在屏幕上配置焦点位置，并且大大地提高了聚焦期间的可用性。细节描述如下。

1.2.具有叠加的深度信息的图像的实施例

图2是示出在第一实施方案中由图像捕捉装置2000捕捉并且在显示器800上显示的图像的图解。如图2中所示，将具有深景深的AF图像3100叠加到图像3000上面作为画中画(PinP)。图像3000是由显影处理器300处理的捕捉图像，并且是根据用户所需的参数捕捉被摄物的图像。在本实施方案中，假设图像3000是具有浅景深的图象。另一方面，AF图像3100是由于叠加图像创建器500将由深景深图像创建器600创建的图像与由深度图得到的用于指定焦点位置的信息叠加而得到的图像。在AF图像3100中，由于景深深，因而得到在从近景直到无穷大的宽范围上清晰的图像。同时，图像3000根据用户所需的参数捕捉被摄物，并且是在被摄物的仅部分上聚焦的具有浅景深的图像，而被摄物的其余部分是模糊的。由于AF图像3100相比于图像3000是更清晰的图像，因而用户能够很容易地进行聚焦操作，同时检查AF图像3100中的图像。图2中所示的图像是在显示叠加处理器700将图像3000与AF图像3100叠加之后来自显示器800的输出。

图3至5是详细示出AF图像3100的图解。AF图像3100是用以在视觉上展示场景内的焦点位置在屏幕上所在而显示的图像，并且是通过对由深景深图像创建器600创建的具有深景深的图像增加用于指定来自深度图的焦点位置的信息而得到的。在图3中所示的实施例中，焦点位置的虚拟平面(例如，第一指示物)被显示在空间中，并且通过改变在虚拟平面的前面和后面的颜色(或密度)(例如，在AF图像的场景内的焦点位置的前面或后面),用户能够在视觉上把握焦点位置的虚拟平面。在图3中所示的实施例中，对在焦点位置的虚拟平面的后面的图像3110增加预定的密度(点)(例如，至少一个第二指示物)。图3中所示的密度也可以是预定的颜色。同时，在焦点位置的虚拟平面的前面的图像3120仍然是原始图像，并且未增加密度。密度的增加是在深度图的每个像素的深度信息的基础上进行的，以使得对具有在焦点位置的虚拟平面的后面的深度信息的像素增加密度，而不对具有在焦点位置的虚拟平面的前面的深度信息的像素增加密度。通过控制器1000根据图像捕捉光学系统100的聚焦镜头的位置获取焦点位置的虚拟平面的位置。控制器1000将焦点位置的虚拟平面的位置发送到叠加图像创建器500。叠加图像创建器500根据焦点位置的虚拟平面的位置，通过对在虚拟平面的后面的图像3110增加预定的密度(点)来创建图像数据。在图3中所示的实施例中，在深度信息的基础上增加的密度对应于用来从通过叠加图像创建器500叠加的深度图指定焦点位置的信息。

因此，观察AF图像3100的用户能够识别出具有增加的密度的图像3110的最前侧是焦点位置。也可以通过操作用户接口1100来改变焦点位置。如果焦点位置被改变，则AF图像3100上焦点位置的虚拟平面的位置改变。如果焦点位置被改变成在更前面，则密度被新增加到在前面的不具有增加的密度的图像3120，而如果焦点位置被改变成在更后面，则对原始焦点位置与新焦点位置之间的图像3110增加的密度被删除。因此，当焦点位置被改变时，用户能够通过在视觉上注意到具有新增加的密度的区域或密度被删除的区域来区分出AF图像3100上的焦点位置。根据这种技术，当拍摄人的脸时，例如通过在改变焦点位置的同时观察增加(或删除)密度的区域，则有可能识别出焦点是在鼻子上、耳朵上还是在别的什么上，使得更精确地聚焦成为可能。

通过让用户将焦点位置改变到所需的位置并然后进行确认焦点位置的操作，焦点位置被配置到所需的位置。因此，图像捕捉光学系统100的聚焦镜头的位置被驱动到对应于用户配置的焦点位置的位置。此外，也可以结合用户改变AF图像3100上的焦点位置的操作驱动聚焦镜头的位置。控制器1000获取关于通过操作用户接口1100配置的焦点位置的信息，并在获取的关于焦点位置的信息的基础上将命令发送到镜头驱动器IC 900。图像捕捉光学系统100的聚焦镜头被镜头驱动器IC 900驱动到对应于焦点位置的位置。

在图4中所示的实施例中，指示像轮廓线显示之类的被摄物距离的线3140被显示叠加到由图像创建器600创建的具有深景深的图像上面。在这种情况下，通过更改对应于焦点位置的线3140a(例如，第一指示物)与其它线3140(例如，在AF图像的场景内的焦点位置的前面或后面的至少一个第二指示物)之间的线型或颜色，可以按视觉和易于理解的方式在屏幕上指示焦点位置。在图4中所示的实施例中，对应于焦点位置的线显示为点划线，而其它线显示为虚线。增加指示被摄物距离的线3140是在深度图的每个像素的深度信息的基础上进行的，并且通过将每个像素连接到具有同等深度信息的其它像素，可以像轮廓线显示一样显示表示被摄物距离的多条线3140。在图4中所示的实施例中，指示被摄物距离的线3140对应于用来从通过叠加图像创建器500叠加的深度图指定焦点位置的信息。

同样在图4中所示的实施例中，通过让用户选择指示被摄物距离的任意线3140，可以将焦点位置改变到选定线3140的位置。随后，通过将焦点位置改变到所需位置并然后进行确认焦点位置的操作，焦点位置被配置到所需的位置。因此，图像捕捉光学系统100的聚焦镜头的位置被驱动到对应于用户配置的焦点位置的位置。此外，也可以结合用户改变AF图像3100上的焦点位置的操作驱动聚焦镜头的位置。

而且，在图5中所示的实施例中，以线框显示的形式指示焦点位置的范围。在图5中，由最前面的虚线包围的长方体3130(例如，第一指示物)的范围对应于焦点位置。在呈现的显示中，在景深加深时，在由虚线包围的长方体3130的深度方向上的厚度d增加。由于这个原因，控制器1000从图像捕捉光学系统100获取光圈直径，并将获取的光圈直径发送到叠加图像创建器500。叠加图像创建器500通过根据光圈直径配置长方体3130的厚度d来创建图像数据。根据图5中所示的实施例，用户能够识别出焦点位置连同景深。类似于图4，增加指示长方体3130的范围的线是在深度图的每个像素的深度信息的基础上进行的，并且通过针对多条深度信息连接具有同等深度信息的像素，可以显示如图5中所示的长方体3130的范围。在图5中所示的实施例中，指示长方体3130的范围的线(例如，在AF图像的场景内的焦点位置的前面或后面的至少一个第二指示物)对应于用来从通过叠加图像创建器500叠加的深度图指定焦点位置的信息。

同样在图5中所示的实施例中，通过让用户将长方体3130的位置改变到所需的位置并然后进行确认焦点位置的操作，焦点位置被配置到所需的位置。因此，图像捕捉光学系统100的聚焦镜头的位置被驱动到对应于用户配置的焦点位置的位置。此外，也可以结合用户改变AF图像3100上的焦点位置的操作驱动聚焦镜头的位置。而且，如果用户改变长方体3130的宽度d，则控制器1000在宽度d的信息的基础上将命令发送到镜头驱动器IC 900，并改变图像捕捉光学系统100的光圈直径。具体地，进行控制以便使在宽度d变得更大时光圈直径变得更小。因此，可以通过在屏幕上操作来控制景深。

1.3.对除了图像捕捉装置以外的装置的示例性应用

以上讨论的实施方案以图像捕捉装置2000为例描述了根据本公开的实施方案的焦点位置的显示和焦点位置操作，但所述实施方案也可应用于编辑预捕捉图像的编辑装置4000。在这种情况下，编辑装置4000包括图6中所示的结构元件。

编辑装置4000将预捕捉图像数据存储在存储器4100中。编辑装置4000能够通过对存储在存储器4100中的图像数据进行类似于较早讨论到的处理的处理而在显示器800上显示图2中所示的图像。随后，用户能够通过在参考显示器800的同时操作用户接口1100而将焦点位置配置到所需的位置。

例如，如果存储在存储器4100中的图像数据是用光场相机拍摄的数据，则可以在每个像素的数据的基础上事后将焦点位置控制到所需的位置。现在将描述光场相机。光场相机是确立了的技术，其中配有多个微镜头的微镜头阵列被设置在图像传感器的前面。每个微镜头具有不同的焦点，并且通过重构焦点图像，有可能在拍摄之后得到各种焦点位置的图像而不改变图像捕捉光学系统的聚焦位置。例如，如果一个微镜头覆盖N个像素，则可通过相对于微镜头在相同的位置布置像素得到的N个微图像形成通过将主镜头分成N个部分光圈获取的N个立体图像组。因此，采用光场相机也有可能由视差创建深度图。如果存储在存储器4100中的图像数据是用光场相机拍摄的数据，则可以将如图3至5中所示的指定焦点位置的信息叠加到图像数据上面并显示，从而使得有可能直观且很容易地将焦点位置控制到所需的位置。要注意的是，在编辑装置4000的情况下，在拍摄后仅改变图像数据的焦点位置，并且不实际驱动聚焦镜头。

此外，如图7中所示，也可以将编辑装置4000设置在云端中的服务器上。在这种情况下，用户从传送/接收单元5100发送用电子装置5000(如配有图像捕捉光学系统100和图像传感器200的相机或智能手机)捕捉的图像数据，并经由网络6000将图像数据发送到编辑装置4000。编辑装置4000的接收单元4200接收从电子装置5000发送的图像数据。编辑装置4000对接收的图像数据进行类似于图1的处理。传送单元4300经由网络6000将通过显示叠加处理器700叠加的用于显示的图像数据发送到用户的电子装置5000，并且此图像数据被显示在电子装置5000中设置的显示器5200上。另外，图像捕捉光学系统100的聚焦镜头的位置和对用户接口5300的操作输入经由网络6000被发送到编辑装置4000的控制器1000。控制器1000根据聚焦镜头的位置计算焦点位置，另外如果进行改变焦点位置的操作则根据操作输入计算焦点位置，并经由网络6000将计算的结果发送到电子装置5000。电子装置5000接收焦点位置的计算结果，并在其基础上使镜头驱动器IC 5400将图像捕捉光学系统100的聚焦镜头操作和驱动到焦点位置。因此，通过类似于较早讨论的实施方案在显示装置800上显示焦点位置信息，用户能够在进行屏幕上操作的同时将焦点位置配置到所需的位置。而且，在图7中所示的配置的情况下，由于主要的计算都是通过云端中的服务器上的编辑装置4000进行的，因而电子装置5000可具有简单的配置。

根据如上所述的第一实施方案，因为用于指定由深度图得到的焦点位置的信息被显示叠加到具有深景深的AF图像3100上面，所以用户在用于指定焦点位置的信息的基础上就能够很容易地识别出焦点位置。而且，通过在用于指定焦点位置的信息的基础上进行操作，用户就能够很容易地改变焦点位置。因此，用户能够很容易地指定深度方向上的焦点位置，并且变得能够很容易地在视觉上区分焦点位置。

另外，当在屏幕上指定焦点位置时，如果采用诸如被摄物的峰化(边缘增强亮度)的技术显示焦点位置，则焦点位置变为显示在同一屏幕上，使得难以在深度方向上检查位置精确度。根据本实施方案的技术，由于用于指定焦点位置的深度信息是叠加的，并且根据深度信息显示焦点位置，因此就有可能确保在深度方向上以高位置精确度显示焦点位置。

此外，AF图像3100是与具有浅景深的图像3000(其为捕捉图像)分开创建的，其中AF图像3100具有比图像3000更深的景深。因此，通过参考AF图像3100，就有可能可靠地把握被摄物的整体画面，使得能更容易地以预期的合成进行拍摄。而且，通过同时查看具有浅景深的图像3000和具有深景深的AF图像3100，有可能很容易地把握被拍摄场景的整体画面。

<2.第二实施方案>

2.1.深度信息叠加的图像的实施例

接下来将描述本公开的第二实施方案。图8是示出在第二实施方案中由图像捕捉装置2000捕捉并且在显示器800上显示的图像的图解。如图8中所示，描绘观察角度改变的图像3200作为画中画(PinP)被叠加到具有浅景深的图像3000上面。

图9是示出图像3200的图解。图像3200实际上是为了指定焦点位置通过在水平方向上移动被捕捉的图像3000的视角创建的。在深度图信息的基础上通过叠加图像创建器500创建图像3200。显示叠加处理器700将图像3000与图像3200叠加。在图9中所示的实施例中，图像3200被创建为指示在正交于图像捕捉光学系统100的光轴的方向上移动视角并从正交于光轴的方向上观察被摄物的状态的图像。可例如采用经确立的光场技术在深度图信息的基础上进行图像3200的创建。显示叠加处理器700进行将图像3000与图像3200叠加的处理。在第二实施方案中，由于可以将被摄物在深度方向上的位置与图像3200相区别，因而图像创建器600也可以不创建具有深景深的图像。当创建图像3200时，可使用如图10中所示具有深景深且不模糊的图像3300。可按类似于第一实施方案中描述的图像3100的方式获取图像3300。

由于图像3200实际上改变图像3300的视角，因而未描绘在原始图像3300的框中的对象不在图像3200中显示，并且对不显示的区域增加颜色，如灰色。由于在图像3200中观察被摄物的方向不同于图像3000，因而用户就能够从正交于图像捕捉光学系统100的光轴方向的方向上识别出被摄物在深度方向上的位置。因此，通过参考图像3200，可以很容易地在视觉上识别出每个被摄物在图像3000内的深度方向上的位置。

而且，在图像3200中，通过粗线3200a指示焦点位置。此外，根据景深的大小以不同的方式显示粗线3200a的宽度(在图像捕捉光学系统100的光轴的深度方向上的宽度)。用户能够由粗线3200a的位置和宽度识别出焦点位置和景深。类似于第一实施方案，通过控制器1000根据图像捕捉光学系统100的聚焦镜头的位置获取焦点位置。控制器1000将焦点位置发送到叠加图像创建器500。叠加图像创建器500通过根据焦点位置配置粗线3200a的位置来创建图像数据。另外，控制器1000从图像捕捉光学系统100获取光圈直径，并将获取的光圈直径发送到叠加图像创建器500。叠加图像创建器500通过根据光圈直径配置粗线3200a的宽度来创建图像数据。

此外，用户能够通过操作用户接口1100在箭头A1的方向上改变指示焦点位置的粗线3200a的位置。随后，类似于第一实施方案，通过让用户控制粗线3200a的位置以将焦点位置改变到所需的位置并然后进行确认焦点位置的操作，焦点位置被配置到所需的位置。因此，图像捕捉光学系统100的聚焦镜头的位置被驱动到对应于用户配置的焦点位置的位置。此外，也可以结合用户控制粗线3200a的位置的操作驱动聚焦镜头的位置以改变焦点位置。此外，类似于第一实施方案，也可以启用通过控制粗线3200a的宽度来改变景深。

另外，图11中所示的图像3400被创建为示出相对于图像捕捉光学系统100的光轴在小于90度的角度的方向上移动视角并从该方向上观察被摄物的状态的图像。在这种情况下，由于是从相对于光轴小于90度的角度的方向上感知“列车”被摄物，因而图像3400描绘从斜方向上观察“列车”的前面的状态。另一方面，由于图像3200是其中从正交于图像捕捉光学系统100的光轴的方向上感知“列车”被摄物的图像，因而图像3200不描绘“列车”的前面。如图11的图像3400中所示，在从相对于光轴小于90度的角度的方向上感知被摄物的情况下，同样有可能很容易地和在视觉上识别出被摄物在深度方向上的位置。

由于图11中所示的图像3400是其中从相对于图像捕捉光学系统100的光轴小于90度的角度观察被摄物的图像，如图11中所示，因而指定的焦点位置被显示为指示焦点位置的平面3400a。同样在图像3400中，通过让用户控制平面3400a在光轴方向上的位置和宽度，可以将焦点位置和景深调节到所需的状态。

根据如上所述的第二实施方案，描绘观察角度改变的图像的图像3200和3400被创建并显示叠加到具有浅景深的图像3000上面。因此，用户就能够从不同于图像捕捉光学系统100的光轴方向的方向上识别出被摄物在深度方向上的位置。而且，在图像3200和3400中，用粗线3200a或平面3400a指示指定的焦点位置，并且通过控制粗线3200a或平面3400a的位置，就有可能调节焦点位置。而且，通过调节光轴方向上的粗线3200a或平面3400a的宽度，就有可能调节景深。

<3.第三实施方案>

3.1.深度信息叠加的图像的实施例

接下来将描述本公开的第三实施方案。图12是示出在第三实施方案中由图像捕捉装置2000捕捉并且在显示器800上显示的图像的图解。如图12中所示，自图像3000提取出在被摄物的深度方向上延伸的线段L1和L2，并且在线段L1和L2上显示网格标记(刻度标记)。在深度图的每个像素的深度信息的基础上通过叠加图像创建器500进行用于显示网格标记的处理。也可以连同网格标记一起显示指示与图像捕捉装置2000的距离的数值。显示叠加处理器700进行将图像3000与自深度图得到的网格标记叠加的处理。同样在第三实施方案中，图像创建器600也可以不创建具有深景深的图像，但可以创建具有深景深的图像并与网格标记叠加。在第三实施方案中，线段L1和L2上的网格标记成为用于由深度图指定焦点位置的信息。类似于第一和第二实施方案，控制器1000根据图像捕捉光学系统100的聚焦镜头的位置获取焦点位置。控制器1000将焦点位置发送到叠加图像创建器500。叠加图像创建器500根据焦点位置显示指示线段L1和L2上的焦点位置的标记M。用户通过控制线段L1和L2上的标记M的位置能够在一维上控制在线段L1和L2上具有增加的网格标记的哪个位置指定焦点的位置。

如图12中所示，自图像3000提取跟随“列车”被摄物的侧部边缘的线段L1和L2，并且在深度图信息的基础上对提取的线段增加网格标记。用户能够通过操作用户接口1100、从多条提取的线段当中选择所需的线段并指定增加的网格标记来指定焦点位置(标记M的位置)。类似于第一和第二实施方案，控制器1000在通过用户指定焦点位置的操作的基础上控制镜头驱动器IC 900，从而使图像捕捉光学系统100的聚焦镜头移动到指定的焦点位置。

图13和14示出其中在图像3000中不存在在深度方向上延伸的线段的情况。在这种情况下，如图13和14中所示，对图像3000增加不与图像3000中的被摄物的形状或轮廓直接相关的任意线段L3、L4和L5。可在预定的位置增加或者通过让用户指定起点和终点而在任意的位置增加线段L3、L4和L5。线段L3、L4和L5被视为从框的边缘延伸到无穷远的线段，并且以类似于图12的方式增加网格标记。类似于图12，用户能够通过指定图像3000中的线段L3、L4和L5上的网格标记的位置来指定焦点位置。控制器1000在用户的操作基础上控制镜头驱动器IC 900，从而使图像捕捉光学系统100的聚焦镜头移动到指定的焦点位置。

图15是示出对线段L6和L7增加表示在焦点区域的深度方向上的分辨率的网格标记的实施例的图解。当被摄物距离比预定距离更远时，一切都变得被聚焦，类似于当被摄物距离为无穷远时，并且焦点区域的规范变得难以获得。随着距离增加，对图15中所示的线段L6和L7增加的网格标记具有更宽的间隔，并且在图15中所示的区域R中，没有增加网格标记，这指示一切都位于焦点。因此，通过查看对L6和L7增加的网格标记，用户能够识别出在深度方向上分辨率相同的区域，并且如果区域R内的任意位置被指定为焦点位置，则用户能够识别出区域R整体位于焦点。

根据如上所述的第三实施方案，在深度方向上延伸的线段被配置在图像3000中，网格标记(刻度标记)被显示在线段上，并且由用户在网格标记上指定的位置被视为指定的焦点位置。因此，通过指定在深度方向上延伸的线段上的网格标记，用户就能够很容易地配置焦点位置。因此，与通过在屏幕上以二维方式指定被摄物来指定焦点位置的技术相比，就有可能更直观和容易地指定焦点位置。

<4.第四实施方案>

4.1.深度信息叠加的图像的实施例

接下来将描述本公开的第四实施方案。图16和17是用于说明第四实施方案的图解。如图16中所示，在第四实施方案中，使用第一至第三实施方案之一的用户接口来预先配置在深度方向上的任意位置处指示焦点位置的长方体(线框)3500。在图16中所示的实施例中，长方体3500在深度方向上包括宽度d，类似于在第一实施方案中描述的图5的实施例。在长方体3500的深度方向上的宽度d对应于景深的大小。控制器1000根据图像捕捉光学系统100的聚焦镜头的位置获取焦点位置，并且还获取图像捕捉光学系统100的光圈直径。控制器1000将获取的焦点位置和光圈直径发送到叠加图像创建器500。叠加图像创建器500根据获取的焦点位置在深度方向上配置并显示长方体3500的位置。此外，叠加图像创建器500根据光圈直径配置并显示长方体3500的宽度d。在第四实施方案中，长方体3500对应于指定焦点位置的信息。

如图17中所示，当移动着的被摄物到达配置的长方体3500时进行自动拍摄。叠加图像创建器500检测到移动着的被摄物已在深度方向上到达长方体3500的位置。控制器1000自叠加图像创建器500接收指示移动着的被摄物已在深度方向上到达长方体3500的位置的信息。控制器1000接收信息并控制图像传感器200以进行拍摄。因此，当移动着的被摄物到达指示焦点位置的长方体3500时有可能自动地进行拍摄，使得有可能很容易地拍摄正朝着拍摄者前进的被摄物。

要注意的是，可通过具有图像识别技术的图像捕捉装置2000将移动着的被摄物确定为主要被摄物，或者由用户将其确定为主要被摄物。

图17中所示的实施例示出“列车”作为移动着的被摄物。如图17中所示，仅对“列车”被摄物的进入指示焦点位置的长方体3500的部分改变被摄物的颜色。因此，用户能够感知被摄物的哪个部分进入指示焦点区域的长方体3500。另外，当不进行自动拍摄时就有可能通过在“列车”被摄物的前面进入长方体3500之时按下快门而很容易地拍摄出“列车”的前面位于焦点的图像并改变颜色。类似于较早讨论的实施方案，可通过让用户操作用户接口1100来改变长方体3500的位置，并且也可通过改变长方体3500的宽度d来调节景深。

根据如上所述的第四实施方案，通过预先配置指示图像中的焦点位置的长方体3500，当移动着的被摄物进入长方体3500时可进行自动拍摄。因此，有可能采用对没有目标对象的空间的所谓的单点聚焦指定焦点位置。而且，通过仅改变所显示被摄物的进入指示焦点位置的长方体3500的部分的颜色，用户就能够感知被摄物的哪个部分已进入指示焦点位置的长方体。因此，即使在不进行自动拍摄的情况下，也有可能拍摄其中所需被摄物可靠地位于焦点的图像。

本领域技术人员应当理解的是，取决于设计要求及其它因素，可以进行各种修改、组合、子组合及变更，只要它们处于所附权利要求或其等同表述的范围以内。

此外，本说明书中描述的效果仅是说明性和示范性而非限制性的。换言之，连同基于本说明书的效果一起或者代替基于本说明书的效果的是，根据本公开的技术可展示出本领域技术人员显而易见的其它效果。

另外，也可以将本技术进行如下配置。

(1)一种信息处理设备，包括电路，所述电路被配置成输出第一图像用于随第一指示物和第二指示物显示，所述第一指示物识别第一图像的场景内的初始焦点位置，所述第二指示物识别在所述场景内的初始焦点位置前面或后面的至少一个焦点位置；并响应于将初始焦点位置调节到更新的焦点位置而更新第一指示物的显示。

(2)根据特征(1)的信息处理设备，其中所显示的第一图像的在对应于第一指示物的焦点位置的后面的部分带阴影。

(3)根据特征(1)或(2)的信息处理设备，其中所述电路被配置成：随第一图像输出对应于场景内多个不同焦点位置的多个第二指示物。

(4)根据特征(3)的信息处理设备，其中第二指示物中的每一个是线、平面或框。

(5)根据特征(1)至(4)中任一项的信息处理设备，其中第二指示物对应于场景内的多个焦点位置中由随第一图像显示的线段识别的一个。

(6)根据特征(5)的信息处理设备，其中所述线段与在第一图像中包括的对象对准。

(7)根据(1)至(6)中任一项的信息处理设备，其中初始焦点位置对应于用来捕捉场景的镜头的焦点位置。

(8)根据(1)至(7)中任一项的信息处理设备，其中所述电路被配置成：确定对象是否到达所述场景的位于对应于第一指示物的焦点位置的区域；并响应于所述确定生成第二图像。

(9)根据特征(1)至(8)中任一项的信息处理设备，其中所述电路被配置成：响应于根据用户输入将初始焦点位置调节到更新的焦点位置而更新第一指示物的显示。

(10)根据特征(1)至(9)中任一项的信息处理设备，其中所述电路被配置成：根据对应于所显示的第一指示物的更新的焦点位置使镜头被驱动。

(11)根据特征(1)至(10)中任一项的信息处理设备，其中所述电路被配置成：基于对应于所显示的第一指示物的更新的焦点位置生成所述场景的第二图像。

(12)根据特征(11)的信息处理设备，进一步包括配置成捕捉第二图像的图像传感器。

(13)一种包括电路的信息处理设备，所述电路配置成从不同的观察点生成在场景的第一图像中包括的至少一个对象的虚拟图像；输出所生成的虚拟图像用于随对应于第一图像的场景内的初始焦点位置的指示物显示；并响应于将初始焦点位置调节到更新的焦点位置而更新指示物的显示。

(14)根据特征(13)的信息处理设备，其中虚拟图像是至少一个对象的截面视图。

(15)根据特征(13)或(14)的信息处理设备，其中所述电路被配置成：响应于根据用户输入将初始焦点位置调节到所更新的焦点位置而更新指示物的显示。

(16)根据特征(13)至(15)中任一项的信息处理设备，其中所述电路被配置成：根据对应于所显示的指示物的所更新的焦点位置使镜头被驱动。

(17)根据特征(13)至(16)中任一项的信息处理设备，其中所述电路被配置成：基于对应于所显示的指示物的所更新的焦点位置生成场景的第二图像。

(18)根据特征(17)的信息处理设备，进一步包括配置成捕捉第二图像的图像传感器。

(19)一种设置场景内的焦点位置的方法，所述方法包括通过信息处理设备的电路输出第一图像用于随第一指示物和第二指示物显示，所述第一指示物识别第一图像的场景内的初始焦点位置，所述第二指示物识别在场景内的初始焦点位置前面或后面的至少一个焦点位置；并响应于将初始焦点位置调节到更新的焦点位置而通过所述电路更新第一指示物的显示。

(20)一种设置场景内的焦点位置的方法，所述方法包括从不同的观察点通过信息处理设备的电路生成在场景的第一图像中包括的至少一个对象的虚拟图像；通过所述电路输出所生成的虚拟图像用于随对应于第一图像的场景内的初始焦点位置的指示物显示；并响应于将初始焦点位置调节到更新的焦点位置而通过所述电路更新指示物的显示。

(21)一种存储指令的非暂时性计算机可读介质，所述指令当由计算机执行时使计算机执行设置场景内的焦点位置的方法，所述方法包括输出第一图像用于随第一指示物和第二指示物显示，所述第一指示物识别第一图像的场景内的初始焦点位置，所述第二指示物识别在所述场景内的初始焦点位置前面或后面的至少一个焦点位置；并响应于将初始焦点位置调节到更新的焦点位置而更新第一指示物的显示。

(22)一种存储指令的非暂时性计算机可读介质，所述指令当由计算机执行时使计算机执行设置场景内的焦点位置的方法，所述方法包括从不同的观察点生成在场景的第一图像中包括的至少一个对象的虚拟图像；输出所生成的虚拟图像用于随对应于第一图像的场景内的初始焦点位置的指示物显示；并响应于将初始焦点位置调节到更新的焦点位置而更新指示物的显示。

(23)一种控制装置，包括：

深度信息获取单元，其配置成获取被摄物在捕捉图像中的深度信息；和

显示处理单元，其配置成进行处理以将捕捉图像或对应于捕捉图像的图像与由深度信息得到的用于指定焦点位置的信息叠加并显示，并且根据焦点位置与被摄物位置之间的关系改变用于指定焦点位置的信息的显示状态。

(24)根据(23)的控制装置，进一步包括：

操作输入单元，其配置成接受用户操作的输入，

其中显示处理单元根据用户操作改变并显示焦点位置。

(25)根据(23)或(24)的控制装置，其中显示处理单元在深度信息的基础上进行处理以显示指示焦点位置的线或平面。

(26)根据(25)的控制装置，其中

显示处理单元进行处理以对指示焦点位置的线或平面增加预定的颜色或密度。

(27)根据(25)的控制装置，其中

显示处理单元根据景深对指示焦点位置的线或平面赋予宽度。

(28)根据(27)的控制装置，其中

当移动着的被摄物到达指示焦点位置的线或平面时，显示处理单元改变已到达指示焦点位置的线或平面的被摄物的成员的颜色或密度。

(29)根据(23)的控制装置，其中

显示处理单元在深度信息的基础上进行处理以显示与图像捕捉位置等距离的线或平面。

(30)根据(23)的控制装置，其中

显示处理单元进行处理以在捕捉图像和深度信息的基础上从不同于捕捉图像的视角显示图像作为用于指定焦点位置的信息。

(31)根据(23)的控制装置，其中

显示处理单元在深度信息的基础上进行处理以显示延伸进入捕捉图像的线段连同焦点位置。

(32)根据(31)的控制装置，其中

所述线段包括指示深度位置的网格标记。

(33)根据(31)的控制装置，其中

所述线段对应于在被摄物的深度方向上延伸的边缘部分。

(34)根据(31)的控制装置，其中

在捕捉图像或对应于捕捉图像的图像中的预定位置处预先配置所述线段。

(35)根据(31)的控制装置，进一步包括：

操作输入单元，其配置成接受用户操作的输入，

其中通过让用户在捕捉图像或对应于捕捉图像的图像中规定起点和终点来配置所述线段。

(36)根据(24)的控制装置，进一步包括：

图像传感器，其配置成捕捉所述捕捉图像或对应于捕捉图像的图像；

图像捕捉光学系统，其配置成将被摄物图像聚焦到图像传感器的成像表面上面；和

驱动单元，其配置成响应于用户操作根据焦点位置驱动图像捕捉光学系统。

(37)根据(23)至(36)中任一项的控制装置，其中

对应于捕捉图像的图像是具有比捕捉图像更深的景深的图像。

(38)一种控制方法，包括：

获取捕捉图像中的被摄物的深度信息；

将捕捉图像或对应于捕捉图像的图像与由深度信息得到的用于指定焦点位置的信息叠加并显示；并

根据焦点位置与被摄物位置之间的关系改变用于指定焦点位置的信息的显示状态。

(39)一种使计算机用作以下装置的程序：

配置成获取捕捉图像中的被摄物的深度信息的装置；

配置成将捕捉图像或对应于捕捉图像的图像与由深度信息得到的用于指定焦点位置的信息叠加并显示的装置；和

配置成根据焦点位置与被摄物位置之间的关系改变用于指定焦点位置的信息的显示状态的装置。

附图标记列表

400 深度图创建器

500 叠加图像创建器

2000 图像捕捉装置

4000 编辑装置。

Claims (8)

1.一种信息处理设备，包括：

图像捕捉装置，配置为生成场景的第一图像；

叠加图像创建器，配置为基于深度信息以与所述第一图像不同的观察点生成包括所述第一图像中的至少一个对象的虚拟图像，并且根据焦点位置在所述虚拟图像中配置指示所述场景内的初始焦点位置的指示物；以及

显示叠加创建器，配置为将包括所述指示物的虚拟图像以画中画的形式叠加到所述第一图像中；

其中，所述叠加创建器响应于将所述初始焦点位置调节到更新的焦点位置而更新所述指示物的位置。

2.根据权利要求1所述的信息处理设备，其中所述虚拟图像是所述至少一个对象的截面视图。

3.根据权利要求1所述的信息处理设备，其中所述叠加创建器被配置成：

响应于根据用户输入将所述初始焦点位置调节到所更新的焦点位置而更新所述指示物。

4.根据权利要求1所述的信息处理设备，还包括控制器，被配置成：

根据对应于所述指示物的所更新的焦点位置使镜头被驱动。

5.根据权利要求1所述的信息处理设备，其中所述图像捕捉装置被配置成：

基于对应于所述指示物的所更新的焦点位置生成所述场景的第二图像。

6.根据权利要求5所述的信息处理设备，所述图像捕捉装置包括：

图像传感器，所述图像传感器配置成捕捉所述第二图像。

7.一种设置场景内的焦点位置的方法，所述方法包括：

生成场景的第一图像；

基于深度信息以与所述第一图像不同的观察点生成包括所述第一图像中的至少一个对象的虚拟图像，并且根据焦点位置在所述虚拟图像中配置指示所述场景内的初始焦点位置的指示物；

将包括所述指示物的虚拟图像以画中画的形式叠加到所述第一图像中；

其中，响应于将所述初始焦点位置调节到更新的焦点位置而更新所述指示物的位置。

8.一种存储指令的非暂时性计算机可读介质，所述指令当由计算机执行时使所述计算机执行设置场景内的焦点位置的方法，所述方法包括：

生成场景的第一图像；

基于深度信息以与所述第一图像不同的观察点生成包括所述第一图像中的至少一个对象的虚拟图像，并且根据焦点位置在所述虚拟图像中配置指示所述场景内的初始焦点位置的指示物；

将包括所述指示物的虚拟图像以画中画的形式叠加到所述第一图像中；

其中，响应于将所述初始焦点位置调节到更新的焦点位置而更新所述指示物的位置。

Images