CN116134473A - 信息处理设备、信息处理方法和程序 - Google Patents

Abstract

该信息处理设备被配置以执行：关注被摄体设定处理，其中针对包括多个图像的图像组设定关注被摄体；以及对焦处理，其中提取在图像组中包括关注被摄体的图像并且使关注被摄体在提取出的图像中对焦。

Description

信息处理设备、信息处理方法和程序

技术领域

本技术涉及信息处理设备、信息处理方法和程序，并且特别涉及适合于向用户提供图像的技术。

背景技术

用于向用户提供图像的各种服务是已知的。例如，存在这样一种服务，即，由专业摄影师在诸如运动会之类的活动中捕获的图像被上传到服务器，以允许用户在例如由服务器提供的网站上阅览照片(图像)并确定要购买的照片。

此外，已经为捕获的图像开发了各种图像处理技术。

专利文献1公开了一种用于执行适合于可以在深度方向上改变对焦位置的重对焦图像的图像检索的技术。

引文列表

专利文件

专利文献1：日本专利申请公开No.2020-4418

发明内容

本发明要解决的问题

同时，用户在Web上选择用户想要购买的、由专业摄影师捕获的图像的如上所述的服务存在以下问题。

例如，在存在大量捕获图像的情况下，用户从所有可阅览图像中检索出包括用户想要找到的被摄体的图像是麻烦的。具体而言，从小学运动会的大量照片中检索出他/她的孩子出现的照片是困难的。

此外，即使目标被摄体出现，也有可能由于目标被摄体(例如，他/她的孩子)处于离焦或者另一被摄体(例如，另一人)在图像中更显眼，因此图像不适合由用户阅览。

因此，本技术提出以简单方式提供适合于每个用户的图像的技术。

问题的解决方案

根据本技术的信息处理设备包括执行以下处理的控制单元：针对包括多个图像的图像组设定关注被摄体的关注被摄体设定处理，和从图像组中提取包括关注被摄体的图像并且使关注被摄体在提取出的图像中对焦的对焦处理。

例如，信息处理设备对由成像设备捕获的图像执行关注被摄体设定处理和对焦处理。因此，能够准备适合于某个用户的关注被摄体已被对焦的图像。

注意，本公开的对焦处理不仅包括使特定被摄体对焦的处理，还包括使被摄体处于被摄体尽可能完全处于对焦的状态的处理。

在根据本技术的信息处理设备中，控制单元可以执行使包括进行了对焦处理的图像的多个图像在外部设备上可阅览的处理。

作为发出阅览请求的外部设备，可以设想由用户使用的终端设备(客户机终端)。使包括通过对适合于客户机终端的用户的关注被摄体执行对焦处理而获得的图像的图像组在客户机终端上可阅览。

在根据本技术的信息处理设备中，作为对图像的对焦处理，控制单元可以执行使关注被摄体对焦并使景深变浅的处理。

作为对焦处理，能够执行通过在使关注被摄体对焦的同时使景深变浅来模糊化关注被摄体的边缘的处理。

在根据本技术的信息处理设备中，控制单元可以在关注被摄体设定处理中将多个被摄体设定为关注被摄体，并且作为对焦处理，执行使多个关注被摄体中的每个关注被摄体对焦的图像处理。

可以设定多个关注被摄体，并且创建多个关注被摄体中的每个关注被摄体已被对焦的图像。

在根据本技术的信息处理设备中，控制单元可以在关注被摄体设定处理中，将在图像捕获时在深度方向上与成像设备的距离彼此不同的多个被摄体设定为关注被摄体，并且作为对焦处理，执行合成每个关注被摄体已被对焦的图像以创建多个关注被摄体中的每个关注被摄体已被对焦的图像的图像处理。

为了使在深度方向上具有彼此不同距离的多个关注被摄体对焦，创建并合成多个关注被摄体中的每个关注被摄体处于对焦的图像。

在根据本技术的信息处理设备中，作为对焦处理，控制单元可以执行模糊化非关注被摄体的处理。

例如，当非关注被摄体存在于在深度方向上与关注被摄体相同的位置处时，非关注被摄体处于对焦，但被有意模糊化。

在根据本技术的信息处理设备中，控制单元可以在关注被摄体设定处理中基于来自外部设备的操作信息来设定关注被摄体。

例如，假设由用户使用的客户机终端是外部设备，并且根据来自外部设备的用户的操作来设定关注被摄体。

在根据本技术的信息处理设备中，控制单元可以使外部设备呈现关于关注被摄体的列表信息，并基于对列表信息的操作设定关注被摄体。

例如，作为用户界面，提供要成为关注被摄体的面部图像、被摄体人的姓名、物体的名称等的列表，以使用户进行选择。

在根据本技术的信息处理设备中，控制单元可以在关注被摄体设定处理中基于从外部设备发送的图像信息来设定关注被摄体。

例如，允许用户从客户机终端上传面部图像。信息处理设备基于诸如面部图像之类的图像来设定关注被摄体。

在根据本技术的信息处理设备中，控制单元可以在关注被摄体设定处理中基于关于使用外部设备的访问源的用户信息来设定关注被摄体。

例如，根据关于已经登录的用户的识别信息、关于用户的属性信息、有关信息等来设定适合于用户的关注被摄体。

在根据本技术的信息处理设备中，控制单元可以在关注被摄体设定处理中通过执行使用关于使用外部设备的访问源的用户信息的推断处理来设定关注被摄体。

例如，根据关于已经登录的用户的属性信息、有关信息等，执行推断与用户相关的人等的处理，以设定关注被摄体。

在根据本技术的信息处理设备中，控制单元可以在关注被摄体设定处理中使用关于使用外部设备的访问源的用户信息来设定关注被摄体的候选，并执行使外部设备呈现该候选的处理。

例如，根据关于已经登录的用户的属性信息、有关信息等，执行推断与用户相关的人等的处理，以设定并呈现关注被摄体的候选。

在根据本技术的信息处理设备中，控制单元可以在关注被摄体设定处理中基于图像的附加信息来设定关注被摄体。

例如，基于作为添加到图像的元数据的拍摄位置信息、拍摄日期和时间信息等来设定关注被摄体。

在根据本技术的信息处理设备中，控制单元可以在关注被摄体设定处理中基于图像的附加信息来设定关注被摄体的候选，并执行使外部设备呈现该候选的处理。

例如，基于作为添加到图像的元数据的拍摄位置信息、拍摄日期和时间信息等来设定关注被摄体的候选，并呈现该候选。

在根据本技术的信息处理设备中，控制单元可以对进行了对焦处理的图像执行关于图像或声音的附加处理。

例如，对包括关注被摄体的图像，不仅执行对焦处理，而且执行例如改变色调或亮度的图像处理以及例如添加声音的处理等。

在根据本技术的信息处理设备中，可以基于图像的附加信息来执行附加处理。

例如，基于拍摄位置信息、拍摄日期和时间等来确定附加处理的内容。

在根据本技术的信息处理设备中，图像组的图像可以是通过从多个视点捕获图像而获得的图像。

多视点图像对应于例如由从多个视点同时捕获某个被摄体的图像的成像设备/成像系统获得的具有不同视点的多个图像。

在根据本技术的信息处理设备中，图像组的图像可以是添加了关于在图像捕获时在深度方向上到被摄体的距离的信息的图像。

例如，它是添加了在图像捕获时对被摄体的距离测量传感器的信息的图像，或者是基于机器学习等设定被摄体的距离信息的图像。

根据本技术的信息处理方法包括使信息处理设备执行以下处理：

针对包括多个图像的图像组设定关注被摄体的关注被摄体设定处理；和

从图像组中提取包括关注被摄体的图像并且使关注被摄体在提取出的图像中对焦的对焦处理。这允许准备对每个用户来说适当的图像。

根据本技术的程序是用于使信息处理设备执行上述的关注被摄体设定处理和对焦处理的程序。这有利于信息处理设备的实现。

附图说明

图1是用于描述本技术的实施例的系统构成的示图。

图2是实施例的成像设备的框图。

图3是实施例的信息处理设备的框图。

图4是实施例的服务器设备的处理的流程图。

图5是实施例的用于描述图像组的示图。

图6是实施例的由服务器设备预先执行的物体识别的流程图。

图7是实施例的服务器设备的响应于阅览请求的处理的示例的流程图。

图8是实施例的对焦处理的示例的流程图。

图9是实施例的用于描述如何使多个关注被摄体对焦的示图。

图10是实施例的对焦处理的另一示例的流程图。

图11是实施例的用于描述模糊化非关注被摄体的处理的示图。

图12是实施例的关注被摄体设定处理的流程图。

图13是实施例的用于描述用于设定关注被摄体的用户界面的示图。

图14是实施例的关注被摄体设定处理的流程图。

图15是实施例的关注被摄体设定处理的流程图。

图16是实施例的关注被摄体设定处理的流程图。

图17是实施例的关注被摄体设定处理的流程图。

图18是实施例的关注被摄体设定处理的流程图。

图19是实施例的用于描述用于设定关注被摄体的用户界面的示图。

具体实施方式

以下，按以下顺序描述实施例。

<1.系统构成>

<2.成像设备、服务器设备和客户机终端的构成>

<3.处理的概述和目标图像>

<4.服务器设备处理>

<5.对焦处理>

<6.关注被摄体设定>

<7.总结和变形例>

<1.系统构成>

图1示出实施例的系统构成的示例。通过允许一个或多个成像设备1、服务器设备2和客户机终端3通过网络6通信来启用该系统。

成像设备1的示例包括诸如视频相机和静态相机之类的各种成像设备。由此示出的成像设备1可以是由专业摄影师用于在例如体育赛事的活动会场捕获图像的相机，或者可以是由一般用户用于在旅行等期间捕获图像的相机。使用情况不限于任何特定的使用情况。

服务器设备2和客户机终端3均是各自包括计算机装置的信息处理设备，但是，服务器设备2是负责图像提供服务的设备，而客户机终端3是使用由服务器设备2提供的服务的用户的信息处理设备，因此，为了区分服务器设备2和客户机终端3，在本公开中，服务器设备2与客户机终端3分别被称为“服务器设备”和“客户机终端”。

注意，在本公开中，术语“图像”包括静态图像和动态图像。

可以设想，服务器设备2是用作所谓的云服务器的设备。当然，它并不限于作为云服务器的方面。

在服务器设备2中示出的控制单元2a执行稍后描述的关注被摄体设定处理和对焦处理。

服务器设备2通过使用存储装置10保存上传的图像等。例如，在专业摄影师上传用于供用户阅览或出售给用户的图像的情况下，服务器设备2将图像存储在存储装置10中并进行管理。

此外，服务器设备2作为一般用户的图像存储服务，可以存储和管理由一般用户在存储装置10中上传的图像。

此外，服务器设备2可以从数据库7(以下，该数据库被称为“DB”)中检索各种类型的信息。

DB 7可以是构建于可以由服务器设备2本地使用的存储设备上的DB，或者可以是构建于可通过各种类型的网络从中检索信息的存储设备上的DB。即，DB 7可以是可以由服务器设备2(控制单元2a)访问并且可以从中检索信息的任何DB。

此外，服务器设备2可以获得由人工智能(AI)引擎8执行的各种类型的基于机器学习的分析的结果。

例如，AI引擎8通过对保存在存储装置10中的图像进行作为AI处理的图像分析，能够执行诸如图像细节确定、场景确定、物体识别、面部识别或个人识别的处理，并且，服务器设备2的控制单元2a能够使用图像分析的结果来执行各种类型的处理。

客户机终端3为例如由一般用户使用的诸如个人计算机或诸如智能电话或平板电脑的移动终端的信息处理设备。

用户可以使用客户机终端3来使用由服务器设备2提供的服务。例如，用户可以阅览或购买照片。此外，用户可以使用由用户捕获的图像被上传到服务器设备2并保存在其中的所谓的存储服务。

可以设想，网络6是因特网、家庭网络、局域网(LAN)、卫星通信网络或各种其它网络。

在图1的示例中，成像设备1经由基站4与服务器设备2通信。基站4为例如第四代移动通信系统(4G通信)和第五代移动通信(5G通信)的基站。

存在移动边缘计算(MEC)5被应用于基站4的情况。可以通过MEC 5的处理执行每个成像设备1的通信，或者，可以由MEC 5执行服务器设备2的一些功能。

可以使用例如文件传输协议(FTP)通信将图像从成像设备1直接上传到服务器设备2。FTP通信的使用是示例，并且，可以使用基于诸如超文本传输协议(HTTP)通信之类的另一通信协议的通信来执行上传。

或者，在专业摄影师具有诸如智能电话的移动终端9的情况下，还能够通过有线连接或使用近场通信将图像从成像设备1传送到移动终端9以及将图像从移动终端9上传到服务器设备2。

此外，可以以这样一种方式传送图像，即，将图像记录在诸如成像设备1中的存储器卡之类的便携式记录介质上，并且将存储器卡提供给服务器设备2。

此外，不仅可以设想作为成像设备1的发送目的地的服务器设备2是图1所示的云服务器的系统构成，还可以设想成像设备1和服务器设备2被彼此靠近地布置并且通过有线连接或无线连接进行连接的系统构成。

从成像设备1上传到服务器设备2的图像可以是通过转换为诸如联合照片专家组(JPEG)的文件格式而获得的数据，或者可以是诸如未转换为文件的RGB数据的二进制信息。数据格式不限于任何特定格式。

例如，构建图1所示的图像传送系统允许使用成像设备1的摄影师将在活动会场等处捕获的图像上传到服务器设备2，并且允许参与该活动的用户使用例如客户机终端3阅览或购买图像的图像组。

<2.成像设备、服务器设备和客户机终端的构成>

以下，描述成像设备1、服务器设备2和客户机终端3的构成示例。

首先，参考图2描述成像设备1的构成示例。

成像设备1包括例如透镜系统11、成像元件单元12、相机信号处理单元13、记录控制单元14、显示单元15、通信单元16、操作单元17、相机控制单元18、存储器单元19、驱动器单元22和传感器单元23。

透镜系统11包括诸如变焦透镜和对焦透镜之类的透镜、光圈机构等。来自被摄体的光(入射光)由透镜系统11引导并会聚到成像元件单元12上。

成像元件单元12包括例如互补金属氧化物半导体(CMOS)型或电荷耦合器件(CCD)型等的图像传感器12a(成像元件)。

成像元件单元12对通过对由图像传感器12a接收到的光进行光电转换而获得的电信号执行例如相关双采样(CDS)处理和自动增益控制(AGC)处理等，并且进一步对电信号执行模拟/数字(A/D)转换处理。然后，作为数字数据的成像信号被输出到分别被布置在成像元件单元12的后级的相机信号处理单元13和相机控制单元18。

相机信号处理单元13包括诸如数字信号处理器(DSP)之类的图像处理处理器。相机信号处理单元13对来自成像元件单元12的数字信号(捕获的图像信号)执行各种类型的信号处理。例如，作为相机处理，相机信号处理单元13执行预处理、同步处理、YC生成处理、分辨率转换处理和文件形成处理等。

在预处理中，对来自成像元件单元12的捕获图像信号执行将R、G、B的黑电平箝位(clamp)到预定电平的箝位处理以及R、G和B颜色通道之间的校正处理等。

在同步处理中，执行颜色分离处理以使每个像素的图像数据具有所有R、G、B颜色分量。例如，在使用Bayer配置滤色器的成像元件的情况下，执行去马赛克处理作为颜色分离处理。

在YC生成处理中，从R、G、B图像数据中生成(分离)明亮度(Y)信号和颜色(C)信号。

在分辨率转换处理中，对进行了各种类型的信号处理的图像数据执行分辨率转换处理。

在文件形成处理中，例如，进行了上述各种类型的处理的图像数据进行例如用于记录或通信的压缩编码、格式化和元数据的创建或添加等，以创建用于记录或通信的文件。

例如，将诸如JPEG、标记图像文件格式(TIFF)或图形交换格式(GIF)的格式的图像文件创建为静态图像文件。此外，还可以设想创建用于记录符合MPEG-4的动态图像和声音的MP4格式等的图像文件。

注意，还可以设想创建作为原始(RAW)图像数据的图像文件。

相机信号处理单元13创建包括关于相机信号处理单元13中的处理参数的信息、从相机控制单元18获取的各种控制参数、指示透镜系统11或成像元件单元12的动作状态的信息、模式设定信息，拍摄环境信息(日期和时间以及地点等)、关于成像设备本身的识别信息、关于安装的透镜的信息、关于预先登记的摄影师的信息(姓名和识别信息)和国际出版电信委员会(IPTC)元数据等的元数据。

注意，IPTC元数据是由媒体协会制定的格式的元数据，并且可以描述诸如“描述/说明”、“描述作者”、“标题”和“关键词”之类的各种类型的信息。

记录控制单元14在诸如非易失性存储器之类的记录介质上执行记录和再现。例如，记录控制单元14执行在记录介质上记录包括诸如动态图像数据或静态图像数据之类的图像文件、缩略图或屏幕指甲图像(screen nail image)的元数据的处理。

可以设想，存在作为记录控制单元14的实际构成的各种构成。例如，记录控制单元14可以包括内置在成像设备1中的闪存存储器和闪存存储器的写入/读取电路。或者，记录控制单元14可以是对可拆卸地附接到成像设备1的记录介质(诸如存储器卡(便携式闪存存储器等))执行记录/再现访问的卡记录/再现单元。或者，记录控制单元14可以被实现为作为记录控制单元14内置于成像设备1中的构成的硬盘驱动器(HDD)等。

显示单元15是向捕获图像的人输出各种显示的显示单元，并且是例如作为显示设备(诸如布置在成像设备1的壳体中的液晶显示器(LCD)或有机电致发光(EL)显示器)的显示面板或取景器。

显示单元15基于来自相机控制单元18的指令在显示屏上输出各种显示。

例如，显示单元15显示从通过记录控制单元14从记录介质读取出的图像数据再现的图像。

此外，存在这样一种情况，即，由相机信号处理单元13为了显示而对分辨率进行了转换的捕获图像的图像数据被供给到显示单元15，此外，显示单元15根据来自相机控制单元18的指令，基于捕获图像的图像数据来输出显示。作为结果，显示构图确认或动态图像记录期间的捕获图像，即所谓的直通图像(被摄体监视图像)。

此外，显示单元15基于来自相机控制单元18的指令在屏幕上显示各种操作菜单、图标和消息等，即，作为图形用户界面(GUI)的显示。

通信单元16以有线或无线方式执行与外部设备的数据通信或网络通信。

例如，捕获的图像数据(静态图像文件或动态图像文件)和元数据被发送和输出到外部信息处理设备、显示设备、记录设备和再现设备等。

此外，通信单元16作为网络通信单元，可以通过诸如因特网、家庭网络或局域网(LAN)之类的网络6与网络上的服务器或终端通信各种类型的数据。例如，在本实施例中，通信单元16执行将捕获的图像数据(上述图像文件等)和元数据发送到服务器设备2的通信处理。

此外，成像设备1可以具有使用通信单元16用诸如蓝牙(注册商标)、Wi-Fi(注册商标)通信或近场通信(NFC)之类的近距离无线通信或红外通信与例如摄影师拥有的智能电话或平板电脑终端等进行信息通信的能力。在这种情况下，可以经由智能电话等传送图像。

此外，成像设备1和另一设备能够使用有线连接上的通信彼此通信。

操作单元17汇总指示供用户执行各种操作输入的输入设备。具体而言，操作单元17指示设置在成像设备1的壳体中的各种操作元件(键、拨盘、触摸屏、触摸板等)。

用户的操作由操作单元17检测，并且，与输入操作对应的信号被发送到相机控制单元18。

相机控制单元18包括包含中央处理单元(CPU)的微计算机(运算处理设备)。

存储器单元19存储要由相机控制单元18用于处理的信息等。由此示出的存储器单元19汇总指示例如只读存储器(ROM)、随机存取存储器(RAM)和闪存存储器等。

存储器单元19可以是分配于作为相机控制单元18的微型计算机芯片中的存储器区域，或者可以是单独的存储器芯片。

相机控制单元18执行存储在存储器单元19的ROM、闪存存储器等中的程序以控制整个成像设备1。

例如，相机控制单元18控制每个必要单元的动作，诸如成像元件单元12的快门速度的控制、相机信号处理单元13中的各种信号处理的指示、根据用户的操作的成像动作和记录动作、记录的图像文件的再现动作、诸如透镜镜筒中的变焦、对焦和光圈调整之类的透镜系统11的动作以及用户接口动作等。

存储器单元19中的RAM被用作用于在相机控制单元18的CPU的各种数据处理期间临时存储数据和程序等的工作区。

存储器单元19中的ROM或闪存存储器(非易失性存储器)用于存储供CPU控制每个单元的操作系统(OS)、诸如图像文件之类的内容文件、用于各种动作的应用程序、固件和各种类型的设定信息等。

各种类型的设定信息包括通信设定信息、作为关于成像动作的设定信息的曝光设定、快门速度设定、模式设定、作为关于图像处理的设定信息的白平衡设定、颜色设定、关于图像效果的设定和作为关于可操作性的设定信息的自定义键设定和显示设定等。

驱动器单元22设有例如用于变焦透镜驱动电动机的电动机驱动器、用于对焦透镜驱动电动机的电动机驱动器和用于光圈机构的电动机的电动机驱动器等。

这些电动机驱动器各自根据来自相机控制单元18的指令向对应的驱动器施加驱动电流，以使驱动器例如移动对焦透镜或变焦透镜，或打开或关闭光圈机构的光圈叶片。

传感器单元23汇总指示安装在成像设备上的各种传感器。

例如，惯性测量单元(IMU)被安装为传感器单元23，具体而言，俯仰、偏航和滚动三个轴的角速度(陀螺仪)传感器可以检测角速度，并且，加速度传感器可以检测加速度。

此外，存在例如安装位置信息传感器和照度传感器等作为传感器单元23的情况。

此外，作为适合于本实施例的成像设备1的构成，可以设想传感器单元23包括距离测量传感器的构成。

在图像捕获时，可以通过距离测量传感器来测量从成像设备1到被摄体的距离，此外，距离信息可以作为元数据被添加到捕获图像。在服务器设备2等中，该距离信息可以被用作关于到在图像中出现的被摄体在深度方向上的距离的信息。

由传感器单元23检测到的各种类型的信息，诸如位置信息、距离信息、照度信息和IMU数据，与由相机控制单元18管理的日期和时间信息一起作为元数据被添加到捕获图像。

注意，作为在实施例中使用的成像设备1，存在能够同时捕获具有不同视点的多个图像的成像设备。具体而言，存在对某个被摄体同时捕获从诸如五个视点或六个视点之类的大量视点观察到的多个图像的成像设备(成像系统)，并且，在使用这种成像设备(成像系统)的情况下，在同一定时捕获具有不同视点的多个图像。对某个被摄体同时从两个或更多个不同视点捕获的多个图像被称为多视点图像。

在成像设备1捕获多视点图像的情况下，存在设有多个透镜系统11、成像元件单元12和与这些单元相关联的机构的系统，并且，还存在多个成像设备1以联锁方式被控制以捕获图像的系统。此外，还存在用于通过透镜在一个图像传感器上形成多个图像的方法。

接下来，在图3中示出能够用作服务器设备2或客户机终端3的信息处理设备70的构成示例。

信息处理设备70的CPU 71根据存储在诸如ROM 72或电可擦除可编程只读存储器(EEP-ROM)之类的非易失性存储器单元74中的程序或从存储单元79加载到RAM 73中的程序来执行各种处理。RAM 73还根据需要存储供CPU 71执行各种处理所需的数据等。

CPU 71、ROM 72、RAM 73和非易失性存储器单元74通过总线83彼此连接。输入/输出接口75也连接到总线83。

注意，本实施例的服务器设备2主要执行图像处理和AI处理，使得在信息处理设备70被应用为服务器设备2的情况下，可以代替CPU 71或者与CPU 71一起，设置图形处理单元(GPU)、通用计算图形处理单元(GPGPU)或AI专用处理器等。

图3示出设置AI专用处理器84和GPU 85的示例。

包括操作元件或操作设备的输入单元76被连接到输入/输出接口75。

例如，可以设想，作为输入单元76，存在各种操作元件和操作设备，诸如键盘、鼠标、键、拨盘、触摸屏、触摸板和遥控器。

用户的操作由输入单元76检测，此外，与输入操作对应的信号由CPU 71解释。

此外，包括LCD、有机EL面板等的显示单元77和包括扬声器等的音频输出单元78一体地或单独地连接到输入/输出接口75。

显示单元77是输出各种显示的显示单元，并且包括例如设置在信息处理设备70的壳体中的显示设备、连接到信息处理设备70的单独的显示设备等。

显示单元77基于来自CPU 71的指令在显示屏上显示要进行各种类型的图像处理的图像、要处理的动态图像等。此外，显示单元77基于来自CPU 71的指令显示各种操作菜单、图标和消息等，即，作为图形用户界面(GUI)的显示。

存在包括硬盘、固态存储器等的存储单元79和包括调制解调器等的通信单元80进一步连接到输入/输出接口75的情况。

通信单元80在诸如因特网之类的传输路径上执行通信处理，并且与各种设备执行有线/无线通信、总线通信等。

驱动器81也根据需要连接到输入/输出接口75，并且，根据需要附接诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除记录介质82。

驱动器81允许从可移除记录介质82读取诸如图像文件之类的数据文件、各种计算机程序等。读取出的数据文件存储在存储单元79中，并且，包括在数据文件中的图像和声音由显示单元77和音频输出单元78输出。此外，根据需要将从可移除记录介质82读取出的计算机程序等安装在存储单元79中。

在信息处理设备70中，例如，可以通过通信单元80经由网络通信或经由可移除记录介质82安装本实施例的用于处理的软件。或者，该软件可以预先存储在ROM 72、存储单元79等中。

例如，在信息处理设备70是服务器设备2的情况下，安装包括将在下面描述的关注被摄体设定处理和对焦处理的用于图像提供服务的用于处理等的软件。在这种情况下，CPU71等(在某些情况下为AI专用处理器84、GPU 85等)用作图1中的控制单元2a并执行必要的处理。经由通信单元80执行由服务器设备2执行的各种通信。

此外，在信息处理设备70是客户机终端3的情况下，在下面描述的处理期间，根据CPU 71的控制执行使用输入单元76、显示单元77等的接口处理。经由通信单元80执行由客户机终端3执行的各种通信。

<3.处理的概述和目标图像>

在本实施例中，允许用户阅览或购买图像的服务由服务器设备2提供。

在这种情况下，考虑能够阅览大量图像的情况，存在包括多个被摄体的多个图像，并且，当某个用户或一些图像检索软件搜索特定被摄体的图像时，将出现以下问题。

首先，存在难以找到包括特定被摄体的图像的情况。

此外，存在这样一种情况，即，包括了特定被摄体但其处于离焦，或者另一被摄体更显眼，使得不一定处于用于阅览特定被摄体的图像的期望状态。

因此，在本实施例中，服务器设备2允许使用客户机终端3的用户容易地阅览大量图像中的包括目标被摄体的图像。此外，允许向用户提供适合于用户阅览的图像，诸如目标被摄体处于对焦的图像。

例如，假设当某个用户访问服务器设备2时，服务器设备2从在学校运动会上捕获的大量摄影图像中提取包括用户的孩子的图像并使用户阅览该图像，并且，用户的孩子在图像中处于对焦。

为此目的，服务器设备2的主要处理包括针对包括多个图像的图像组设定关注被摄体的关注被摄体设定处理以及从图像组中提取包括关注被摄体的图像并使关注被摄体在提取出的图像中对焦的对焦处理。

在关注被摄体设定处理中，将要由已经访问服务器设备2的客户机终端3的用户阅览的被摄体被设定为关注被摄体。例如，用户本人或与用户相关的人(诸如用户的孩子)被设定为关注被摄体。

为此目的，服务器设备2针对图像组(例如，在某个运动会上捕获的多个图像的图像组)的每个图像，执行使用通过对多个被摄体进行机器学习而构建的推论机来创建指示哪个被摄体出现在图像中的元数据的处理，以允许从图像组中提取特定被摄体出现的图像。然后，响应于来自客户机终端3的访问，使用关于用户的信息，或者执行基于用户信息的推断处理，以设定适合于用户的关注被摄体。

对焦处理对应于使特定被摄体对焦的处理，但不一定意味着被摄体被完全对焦，并且包括使被摄体处于被摄体尽可能完全处于对焦的状态的处理。

作为对焦处理，已经设定关注被摄体的服务器设备2从目标图像组中提取关注被摄体出现的图像，并执行对提取出的图像进行加工以使关注被摄体对焦的处理(使关注被摄体处于被摄体尽可能完全处于对焦的状态的处理)。

可以说，该对焦处理是即使关注被摄体在提取出的图像中处于离焦也使关注被摄体对焦的处理。

因此，需要可以加工图像以使离焦被摄体对焦。

这种图像的一个示例是上述的多视点图像。

成像设备1捕获多视点图像，即，具有不同视点的多个图像。在这种状态下捕获多视点图像，以允许像平移对焦那样对多个被摄体容易地进行图像识别。此外，可以为特定被摄体创建3D模型，并且可以执行诸如极其精确的焦点位置改变的图像处理。

对多视点图像执行透镜模拟处理使得能够创建特定关注被摄体处于对焦并且使得景深尽可能浅的图像。

当使得景深尽可能浅时，不仅使关注被摄体对焦，而且模糊化另一被摄体使得能够在图像中强调关注被摄体。

此外，可以进行对焦处理的图像的示例包括可以将图像中的关于被摄体的来自距离测量传感器的信息(距离信息)作为元数据等参照的图像。

来自距离测量传感器的距离信息的示例包括指示构成图像的每个像素(或包括特定数量的像素的像素块)在深度方向上到被摄体的距离的信息。可以参照这种距离信息的图像允许确定到每个被摄体的距离。基于该确定，能够执行在使关注被摄体对焦之后使景深尽可能浅的图像处理。

此外，即使在不能参照距离信息的图像的情况下，如果可以通过机器学习等确定或推断关于到图像中的被摄体的距离的信息，则可以创建距离信息，使得可以执行对焦处理。使用作为学习大量图像以及距离信息的结果而获得的数据集，使得能够在对图像执行物体识别等之后推断到被摄体的距离。即，即使对于最初不能参照距离信息的图像，也能够推断距离信息，并且在这种情况下，也能够执行在使关注被摄体对焦之后使景深尽可能浅的图像处理。

<4.服务器设备处理>

描述由服务器设备2执行的处理示例。

图4是示出服务器设备2的处理示例的流程图。服务器设备2可以根据需要对上传的图像组执行图4的处理，或者可以在从客户机终端3访问时执行图4的处理。

注意，服务器设备2的处理对应于作为控制单元2a的CPU 71的处理。注意，存在如上所述的由AI专用处理器84、GPU 85等执行处理的另一情况。

在图4的处理中，控制单元2a执行从步骤S100中的关注被摄体设定处理到步骤S106中的根据关注被摄体保存或阅览图像组的处理的处理，但是在根据需要对上传的图像执行处理的情况(第一情况)和在从客户机终端3访问时执行处理的情况(第二情况)之间，处理情况略有不同。

在第一情况下，对于要处理的图像组，对作为被摄体的每个人等重复执行图4的处理，使得预先准备进行了根据每个人等的图像提取和对焦处理的图像组，并执行等待来自客户机终端3的后续访问的处理。

在第二情况下，在从客户机终端3访问时，响应于访问执行图4的处理。即，该处理是选择适当的被摄体、创建进行了根据被摄体的人等的图像提取和对焦处理的图像组以及提供用于在客户机终端3上阅览的图像组的处理。

即，第一情况是预先准备用于阅览每个被摄体的图像组的处理，第二情况是在访问时创建用于阅览特定被摄体的图像组的处理。

在图4的步骤S100中，控制单元2a执行关注被摄体设定处理。

这是当某个图像组被设定为要处理的图像组时将被摄体中的某个人或物体设定为关注被摄体的处理。

首先，假设对从成像设备1上传的某个图像组(诸如包括某个活动的多个图像的图像组)预先执行图4的处理的第一情况。

例如，假设图5A、图5B、图5C和图5D所示的学校运动会的多个图像的图像组作为某个图像组被上传。诸如人H1、H2、H3、…之类的大量学生各自是至少一个图像中的被摄体。

例如，在从成像设备1上传这种图像组的情况下，控制单元2a依次选择出现在图像组中的每个图像中的被摄体(例如，被摄体人)之一，并对每个被摄体执行图4的处理。例如，在步骤S100中，出现在某个图像中的儿童中的一个(诸如人H1)被设定为关注被摄体，并且对该人执行图4的处理。在依次地将人H2和H3设定为关注被摄体的同时，以类似的方式对人H2、H3、…中的每个重复该处理。这允许保存对每个人进行了图像处理的图像组。

此外，在以阅览这种图像组为目的在从客户机终端3访问时执行图4的处理的第二情况下，控制单元2a根据客户机终端3的用户在步骤S100中设定关注被摄体，并且执行图4中的处理，以提供可以在客户机终端3上阅览的图像。

可以设想，存在由控制单元2a在步骤S100中执行的关注被摄体设定处理的各种示例，并且将在后面描述这些示例。

在步骤S101中，控制单元2a确定是否已经对要处理的图像组执行了物体识别处理，并且如果已经执行了物体识别处理，则处理进行到步骤S103。否则，处理进行到S102。

物体识别处理是将指示出现在每个图像中的被摄体的信息设定为图像的元数据的处理。可以设想，存在各种要被识别的物体，并且例如将描述要识别人的示例。

图6示出物体识别处理的示例。

在步骤S10中，控制单元2a识别要处理的图像组。即，上传到服务器设备2的图像组中的一个图像组被设定为要进行物体识别处理的图像组。

在步骤S11中，控制单元2a对要处理的图像组中的每个图像执行物体识别处理，以识别出现在每个图像中的人，并设定元数据。

可以设想，例如，存在对于图5A的图像设定指示存在人H1、H2、H3作为被摄体的元数据并且对于图5B的图像设定指示存在人H1作为被摄体的元数据的示例。

注意，进行物体识别处理的物体不限于人，并且可以是要被成像的任何物体。要进行物体识别处理的物体的示例包括诸如动物、鸟和昆虫之类的生物、植物、诸如建筑物和物品之类的非生物、风景、人群、大海、天空、日落、日出、山和森林等。示例还包括图像中的区域、形状等。

在图4的步骤S101中，确定是否已经对当前进行图4的处理的图像组执行了图6所示的物体识别处理。

如果还没有执行物体识别处理，则控制单元2a在步骤S102中执行图6的处理。

在图4的步骤S103中，控制单元2a从当前正在处理的图像组中提取包括在步骤S100中设定的关注被摄体的图像。如上面描述的那样执行物体识别处理，以参考每个图像的元数据确定哪个图像包括关注被摄体，并提取对应的图像。例如，在关注被摄体是“人H2”的情况下，提取确定为如图5A和图5C所示的那样出现人H2的图像。

在步骤S104中，控制单元2a针对提取出的一个或多个图像中的每个执行使关注被摄体对焦的对焦处理。

即，即使提取出的某个图像处于关注被摄体离焦的状态，也执行使关注被摄体对焦或使关注被摄体处于关注被摄体尽可能处于完全对焦的状态的图像处理。当然，对于关注被摄体最初处于对焦的图像，不需要执行该处理，或者可以执行该处理以强调关注被摄体。

因此，在对焦处理中，如上所述，执行使关注被摄体对焦并使景深尽可能浅的处理。

注意，景深可以被强制调整为更深。

将在后面描述对焦处理的过程的详细示例。

在步骤S105中，控制单元2a根据关注被摄体或图像内容执行附加处理。

附加处理广义上指的是除了对焦处理以外为了增强鉴赏图像的价值而执行的处理。

附加处理的示例包括改变图像的色调、亮度等的图像处理。

例如，执行各种类型的处理，诸如明亮度处理、对比度处理、锐度处理和饱和度处理，以使得图像的图像质量更高或外观更好。

此外，可以执行特殊处理、图像效果等作为附加处理。

此外，可以执行诸如修剪或叠加另一图像或字符之类的处理作为附加处理。

此外，还可以设想将声音或声音效果添加到图像的附加处理。

在这种附加处理中，可以设想，根据关注被摄体的属性信息(年龄、性别等)，或者可以根据从图像中确定的衣服颜色、肤色、表情和关注被摄体的感情等，选择适当的处理参数或者设定图像效果。

此外，还可以设想，根据作为图像内容的地方、时间或天气等选择适当的处理参数。

例如，能够基于图像的元数据中的位置信息优化图像，以使图像对于对应的地点是适当的。对于海边的图像，能够执行确定图像下方的蓝色部分表示大海并使大海的颜色鲜艳的处理。

此外，如果可以参考元数据中的日期和时间信息来确定拍摄时间和数据，并且可以参考日期和时间信息以及位置信息来确定图像是在樱花季节在以樱花闻名的地方捕获的，则也能够确定粉红色部分表示樱花并且优化色调。

此外，可以设想，存在作为附加处理的各种图像加工。例如，还能够形成进行了照明改变或视点改变等的图像。

此外，还可以设想使图像看起来好像是在早晨捕获的图像的图像处理、使图像看起来好像是在夜间捕获的图像的图像处理以及将图像的取向从正视改变为侧视的处理等。

作为改变图像气氛的处理，还可以设想调整滑稽的气氛或严肃的气氛的处理。可以改变对应参数的各种设定。例如，可以根据用户的偏好设定或变更图像处理参数，例如，滑稽80％:严肃20％。

此外，可以设想，从用户的所选择的记录预测喜爱的图像处理并进行推荐。

此外，可以设想，用户指定用户对照片的偏好倾向，例如，指定喜爱的图像投稿者，并且根据偏好倾向加工图像。

注意，不一定执行步骤S105中的附加处理，此外，也可以设想处理在步骤S104之后进行到步骤S106的示例。

此外，可以将附加处理的内容均匀地应用于在步骤S103中提取出的每个图像，或者可以针对每个图像改变内容。

例如，可以对所有图像应用根据天气改变色调的处理，并且可以设想，对每个特定图像应用根据关注被摄体的表情的处理。

在步骤S106中，控制单元2a保存并管理在步骤S103中提取并在步骤S104和S105中处理的每个图像作为与关注被摄体相关联的图像组，或者提供每个图像以供阅览。

在作为第一情况在上传某个图像组之后对每个被摄体人执行图4的处理的情况下，直到步骤S105的处理使得能够针对某个人提取并获得该人出现并进行了对焦处理的图像。因此，在步骤S106中，控制单元2a将图像组作为当存在该人或相关者时提供的图像组保存在存储装置10中并且进行管理。

例如，对图5中的人H1、H2、H3、…中的每个作为关注被摄体依次执行图4的处理，使得创建、保存和管理根据每个人提取并进行了对焦处理的一个或多个图像。即，准备特别是针对每个被摄体人的图像组，诸如针对人H1的图像组、针对人H2的图像组…等，以用于后续访问。

如上所述，预先创建并保存和管理与每个被摄体人相关联的图像的图像组，使得控制单元2a可以在从客户机终端3访问时执行图7的处理。

在图7的步骤S50中，控制单元2a检查来自客户机终端3的阅览请求。

在存在阅览请求的情况下，控制单元2a在步骤S51中根据该请求选择关注被摄体。例如，在访问是来自人1的监护人的情况下，人H1被设定为关注被摄体。

然后，在步骤S52中，控制单元2a从存储装置10中读出已经通过图4的处理创建并与人H1相关联的图像组，并提供图像作为步骤S53中的阅览处理。例如，使得可以从客户机终端3在由服务器设备2提供的网站上阅览针对人H1提取并进行了对焦处理等的一个或多个图像。

当然，不仅可以执行使得可以在网站上阅览图像的处理，而且可以执行例如将图像下载到客户机终端3的处理。只要使得用户可以阅览图像，就可以对这种处理应用任何方法。

这允许客户机终端3的用户在不需要花费时间和精力从大量图像中检索他/她的小孩的图像等的情况下例如将他/她的孩子的图像作为他/她的孩子处于对焦而适合于阅览的图像来阅览。

此外，在如上述的第二情况那样在从客户机终端3访问时执行图4的处理的情况下，在步骤S106中执行阅览处理即可。即，直到步骤S105的处理使得可以在例如在步骤S106中从客户机终端3在由服务器设备2提供的网站上阅览针对关注被摄体提取并进行了对焦处理等的一个或多个图像。或者，这种图像可以被下载到客户机终端3。这允许用户阅览图像。

注意，用户可阅览的图像是进行了对焦处理和附加处理的图像，但是用户也能够在阅览图像时改变或指定对焦处理的程度、附加处理的内容、参数等。

例如，使景深更深以使整个图像对焦，或者，使用户能够在阅览图像和执行操作时改变图像处理或图像效果的类型或参数允许用户获得期望的图像。

或者，可以准备对焦处理的参数被改变的多个图像或附加处理的内容或参数被改变的多个图像，以允许用户选择用户想要购买的图像。

<5.对焦处理>

这里，描述图4的步骤S104中的对焦处理的详细处理示例。

图8示出一个图像上的对焦处理的示例。

即，对于在图4的步骤S103中提取出的每个图像，执行图8的处理。

注意，在图4的步骤S100中设定的关注被摄体的数量可以是一个，或者可以是多个。

如果只有一人可以被设定为关注被摄体，则执行图8的步骤S142作为对焦处理即可。

即，执行创建以该人作为被对焦的关注被摄体并且使景深变浅的图像的处理。

因此，在采用关注被摄体的设定限于一人的处理方法的情况下，只需要对每个提取出的图像执行图8的步骤S142，作为图4的步骤S104中的对焦处理。

另一方面，在一人或多人可以被设定为关注被摄体的情况下，执行图8的处理作为对焦处理。例如，可以设想不仅某个人而且他/她的朋友也被设定为关注被摄体的情况。

在步骤S141中，控制单元2a以取决于一人还是多人被设定为关注被摄体的方式来使处理分支。在仅一人被设定为关注被摄体的情况下，对于每个图像，处理进行到步骤S142，并且仅需要执行上述处理。

注意，即使多人被设定为关注被摄体，与多人对应的关注被摄体也不一定出现于在图4的步骤S103中提取出的所有图像中。例如，在两人被设定为关注被摄体的情况下，存在两人都出现的图像或仅包括两人中的一人的图像。

因此，即使设定多个关注被摄体，即使在当前进行对焦处理的一个图像中出现仅仅一个关注被摄体的情况下，处理也可以从步骤S141进行到步骤S142。即，控制单元2a执行创建在图像中出现的被设定为关注被摄体的一人被对焦并且使得景深变浅的图像的处理。

在多人被设定为关注被摄体并且要进行对焦处理的图像包括多个关注被摄体的情况下，控制单元2a从步骤S141进行到步骤S143，并且在要被处理的图像中选择关注被摄体中的一个。

然后，在步骤S144中，控制单元2a执行创建所选择的关注被摄体处于对焦并且使景深变浅的图像的处理。

在步骤S145中，确认是否已经处理了图像中的所有关注被摄体。

在当前进行对焦处理的图像中存在未处理的关注被摄体的情况下，控制单元2a返回到步骤S143并选择未处理的关注被摄体。然后，在步骤S144中，执行创建所选择的关注被摄体处于对焦并且使景深变浅的图像的处理。

如上所述，在步骤S144中，针对每个关注被摄体，创建焦点已被调整的图像。

当已经处理了在当前正在处理的图像中出现的所有关注被摄体时，控制单元2a从步骤S145进行到步骤S146。

在步骤S146中，控制单元2a合成在步骤S144中创建的图像，以创建所有关注被摄体处于对焦的图像。

在图9中示意性地示出该处理。

假设由于关注被摄体出现在图4的步骤S103中提取出的图像中的一个中因此图9A示出该图像。假设人H1、H2、H3、H4出现在图像中，并且他们在深度方向上的相应距离彼此不同。

此外，在图9中的每个图中，假设由实线表示的人处于对焦，而由虚线表示的人处于离焦。

现在，假设人H1和H4被设定为关注被摄体。

然而，在实际捕获图像时，聚焦点对准在人H2的距离处，使得被设定为关注被摄体的人H1、H4在图9A的原始图像中处于离焦。

在这种情况下，在图8的步骤S143和S144中，控制单元2a首先对人H1执行对焦处理，以创建如图9B所示的人H1处于对焦的图像。

控制单元2a进一步重复步骤S143和S144，以对人H4执行对焦处理，以创建如图9C所示的人H4处于对焦的图像。

然后，在步骤S146中，控制单元2a合成图9B和9C的图像，以创建如图9D所示的人处于H1、H4对焦的图像。

如上所述，尽管不能通过实际的图像捕获获得图像，但是能够获得存在于深度方向上的不同位置处的人H1、H4均处于对焦的图像。

对在图4的步骤S103中提取出的每个图像执行如上所述的图8的处理，使得能够获得一个或多个设定的关注被摄体在每个图像中处于对焦的图像组。

注意，在合成处理中，获得存在于不同深度位置处的所有多个关注被摄体均处于对焦的图像，但是也能够在不执行合成处理的情况下通过例如针对图像中的每个区域的透镜模拟处理来执行使多个关注被摄体对焦的处理。

图10示出对焦处理的另一示例。

注意，步骤S141～S146与图8中的相同，并因此在下面不描述步骤S141～S146。

在图10的示例中，在步骤S147中，控制单元2a确定在深度方向上与关注被摄体的位置相同的位置处是否存在非关注被摄体。然后，如果存在非关注被摄体，则在步骤S148中对非关注被摄体执行模糊化处理。

参考图11示意性地描述这点。

图11A的图像是人H1、H2存在于相对于成像设备1的深度方向上的相同位置处并且处于离焦(各自由虚线表示)的捕获图像示例。存在于不同深度位置处的人H3处于对焦(由实线表示)。

这里，假设人H1被设定为关注被摄体。

例如，当执行图8的对焦处理时，通过步骤S142中的处理执行使人H1对焦的处理，使得获得如图11B所示的图像。即，不仅人H1而且相同深度位置处的人H2也处于对焦。

当然，可以向用户提供这种图像，但是可以执行强调人H1的处理。

因此，在图10的示例中，对作为非关注被摄体的人H2执行模糊化处理。例如，将图10B的创建的图像与图10A的原始图像的对应于人H2的部分合成。或者，通过透镜模拟处理使对应于人H2的部分模糊化。作为结果，例如，如图11C所示，也能够创建只强调作为关注被摄体的人H1的图像。

此外，考虑人H1、H2被设定为关注被摄体的情况，当应用图8的处理示例时，从图11A的图像中获得所有人H1，H2，H3均处于对焦的图像。在应用图10的处理示例的情况下，能够通过对人H2执行模糊化处理来创建图11D所示的仅多个关注被摄体处于对焦的图像。

<6.关注被摄体设定>

描述在图4的步骤S100中执行的关注被摄体设定处理的各种示例。

假设图12～图16和图18的以下示例中的每个被应用于响应于用户访问来执行图4的处理的第二情况下的步骤S100中的关注被摄体设定处理，或者应用于在图6的步骤S51中选择关注被摄体的情况。即，这是在识别作为阅览者的用户的状况下设定一个或多个关注被摄体的示例。

首先，参考图12描述基于来自客户机终端3的操作信息来设定关注被摄体的示例。

可以设想例如当使用客户机终端3的用户访问服务器设备2的网站并执行登录处理时执行图4的处理的情况。

在图12的步骤S110中，控制单元2a识别要处理的图像组。这是例如从成像设备1上传并存储在存储装置10中的图像组中识别要进行图4的处理的图像组的处理。例如，特定运动会的图像组被设定为要处理的图像组。

可以基于例如用户信息或用户的指定来识别图像组。例如，可以设想，当已经参与活动的用户输入针对图像服务而发行的代码信息并访问服务器设备2时，基于代码信息识别该活动的图像组。

或者，可阅览图像组的列表可以显示在网站上，并且用户可以执行选择操作。

在步骤S111中，控制单元2a向客户机终端3提供用于选择关注被摄体的UI画面。

然后，在步骤S112中，控制单元2a根据用户的选择操作来设定关注被摄体。

图13示出在步骤S111中提供给客户机终端3的UI画面的示例。

图13A是呈现面部图像的示例。控制单元2a提取作为要处理的图像组中的被摄体的人的面部图像，并显示其中例如如在网站上所示的那样排列了面部图像的列表图像，以允许用户进行选择。当用户执行通过鼠标操作、光标操作、输入操作或触摸操作等选择特定面部的操作时，控制单元2a将对应于所选择的面部的人设定为关注被摄体。

图13B是呈现人名的列表的示例。控制单元2a通过个人识别或DB检索等来识别作为要处理的图像组中的被摄体的人的个人姓名，显示如所示的那样排列的姓名等的列表图像，并允许用户进行选择。当用户执行通过鼠标操作、光标操作、输入操作或触摸操作等选择特定姓名的操作时，控制单元2a将对应于所选择的姓名的人设定为关注被摄体。用户可以通过语音输入姓名。

注意，对于普通人的个人姓名，预先将姓名与活动参与者的面部相关联的信息等是必要的，但是例如，对于名人是被摄体的图像组，可以基于各种类型的DB信息来识别被摄体人的姓名。

图13C示出访问了服务器设备2的用户上传用户想要设定为关注被摄体的人的图像的示例。例如，准备用于输入示出的图像文件以发送用于上传的图像文件的界面。用户使用该功能以上传他/她的孩子的图像。

根据这种用户的操作，在步骤S112中，控制单元2a从上传的图像中提取面部，执行识别面部特征的处理，并将对应于面部图像的人设定为关注被摄体。

注意，要上传的图像不限于仅一个面部的图像，并且只要包括该面部，就可以包括另一被摄体。在上传的图像中包括多个面部图像的情况下，也可以设想控制单元如图13A所示的那样在列表中显示每个面部，以允许用户进行选择。

或者，可以设想，不仅上传面部图像，而且上传用户想要设定为关注被摄体的物品的图像。

以上是示例，并且可以设想向用户提供用于操作的界面画面并且基于用户的操作来执行关注被摄体设定的各种示例。

图14示出控制单元2a基于关于使用客户机终端3的访问源的用户信息来设定关注被摄体的示例。注意，以下，与上述处理类似的处理由相同的步骤编号表示，并且下面不给出这种处理的详细描述。

在步骤S110中识别要处理的图像组之后，控制单元2a在步骤S115中执行用户确定。即，根据登录ID、用户识别信息等来确定这次访问的用户。在登录时使用面部认证、视网膜认证或指纹认证等的情况下，可以基于这些信息来识别用户。

然后，在步骤S116中，控制单元2a根据所确定的用户来设定关注被摄体。

例如，在针对每个用户准备有登记了用户的面部、作为与用户相关的人的家庭成员的面部、朋友的面部和同事的面部等的DB的情况下，能够基于用户的识别来识别相关人员或相关人员的面部。

此外，还能够使用关于用户所属的某个组、公司或圈子等的信息。

即，在存在可用于在识别用户时确定相关人员的信息的情况下，可以根据用户的识别将一个或多个相关人员自动地设定为关注被摄体。因此，能够从要处理的图像组中通过将用户或相关人员设定为关注被摄体来提取有关图像。

图15示出控制单元2a使用关于访问源的用户信息来执行推断处理以设定关注被摄体的示例。

在步骤S110中识别要处理的图像组之后，控制单元2a在步骤S120中获取用户信息。

然后，在步骤S121中，控制单元2a通过AI处理基于用户信息来执行推断处理，以设定关注被摄体。

在这种情况下，可以设想，用户信息包括已访问的用户的属性信息、历史信息、社交网络服务(SNS)信息、关于SNS等的跟踪信息和作为用户的私人照片库存储在存储装置10中的图像等。即，可以设想存在可以通过服务器设备2获取的各种类型的用户个人信息。

能够推断出现在SNS上的图像中或用户的私人照片库中的被摄体是用户本人或相关人员。特别地，与用户本人一起出现的人很可能是诸如家庭成员之类的相关人员。还能够参考关于用户的家庭结构的信息来提高推断的准确性。

控制单元2a例如使用AI引擎8的功能，基于用户信息来提取用户本人或相关人员的面部图像等。此外，还能够通过分析诸如家庭结构、年龄和爱好之类的属性信息来推断用户期望作为关注被摄体的人。

能够基于这种推断将诸如用户本人或图像组的图像中的相关人员之类的人设定为关注被摄体。

例如，如果可以根据用户信息推断与用户相关的人的面部图像，则检测要处理的图像组中的匹配面部以将对应于该面部图像的被摄体人设定为关注被摄体即可。

图16是如图15所示的那样基于用户信息执行推断但是基于推断结果来设定关注被摄体候选并将其推荐给用户的示例。

在步骤S110中识别要处理的图像组之后，控制单元2a在步骤S120中获取用户信息。

然后，在步骤S122中，控制单元2a基于用户信息或者通过AI处理基于用户信息的推断处理的结果，设定关注被摄体候选。

在步骤S111中，控制单元2a向客户机终端3提供用于从关注被摄体候选中选择关注被摄体的UI画面。

然后，在步骤S112中，控制单元2a根据用户的选择操作来设定关注被摄体。

如对于图14和图15的处理所描述的那样，存在可以基于用户信息或通过基于用户信息的推断处理来识别相关人员的情况。因此，在这种处理中确定的用户本人或相关人员被设定为关注被摄体候选。关注被摄体候选的面部图像、姓名等例如如图13A和图13B所示的那样被呈现，以允许用户进行选择。

当呈现关注被摄体候选以使用户选择关注被摄体候选时，倾向执行用户期望的关注被摄体设定。

图17的示例是作为步骤S100中的处理不仅适用于如上述示例中那样来自用户的访问时的情况(上述第二情况)而且适用于例如在与用户访问不同的定时预先执行图4的处理的情况(上述第一情况)的示例。

在图17的示例中，控制单元2a基于图像的附加信息来设定关注被摄体。

在步骤S110中识别要处理的图像组之后，控制单元2a在步骤S123中获取每个图像的元数据。

然后，在步骤S124中，控制单元2a基于所获取的元数据来设定关注被摄体。

例如，存在作为添加到图像的元数据的拍摄位置信息以及拍摄日期和时间信息等，并且基于这些元数据来设定关注被摄体。例如，确定拍摄日期和时间以及地点使得能够通过DB检索来确定诸如旅游点或设施之类的地点、进行的活动或体育等。

在确定图像组与在某个活动会场捕获的图像组对应的情况下，能够确定作为值得关注的该活动的图像的被摄体的人或物品。

此外，在特定季节在某个旅游点捕获的图像组的情况下，能够确定值得关注的物品，诸如旅游点的当地特产或观光点。

此外，如果可以确定诸如运动会之类的活动，例如，终点带、接力棒或用于掷球游戏的球等可以被设定为作为适合于运动会并且要处于对焦的物体的值得关注的被摄体。

因此，这种物品和人被自动地设定为关注被摄体。

注意，在可以通过图像分析来确定地点或日期和时间的情况下，这种信息也可以被视为图像的附加信息。

因此，还可以设想，基于可以从图像组中的图像中推断的信息来自动地确定关注被摄体。

图18是如图17所示的那样执行基于元数据的确定的示例，但基于确定的结果来设定关注被摄体候选，并且将其推荐给用户。

在步骤S110中识别要处理的图像组之后，控制单元2a在步骤S123中获取每个图像的元数据。

然后，在步骤S125中，控制单元2a基于所获取的元数据来设定关注被摄体候选。

在步骤S111中，控制单元2a向客户机终端3提供用于从关注被摄体候选中选择关注被摄体的UI画面。

然后，在步骤S112中，控制单元2a根据用户的选择操作来设定关注被摄体。

如上所述，能够根据拍摄位置信息以及拍摄日期和时间信息来确定地点或活动以推断关注被摄体，但是关注被摄体作为候选被呈现给用户。

例如，当根据元信息确定图像组是在樱花季节在天空树附近的以樱花闻名的地方捕获的图像的图像组时，“天空树”和“樱花”被设定为关注被摄体候选，并向用户提供如图19A所示的用于选择的UI画面。

然后，根据用户的操作，任意一个或多个关注被摄体候选被设定为关注被摄体。

这使得能够根据候选推断来提供对用户来说容易进行选择的UI。

注意，也可以设想，以与图19A类似的方式，无论拍摄位置以及日期和时间如何，都将预先准备的物体名称列表呈现给用户，以使用户进行选择。

尽管上面描述了关注被摄体设定的示例，但是可以结合另一关注被摄体设定处理来执行每个关注被摄体设定处理。此外，可以设想设定处理的各种其它示例。

此外，如何设定关注被摄体可以由用户设定。

例如，如图19B所示，可以向用户呈现诸如用于基于位置信息来设定关注被摄体的“基于GPS的自动选择”、用于基于位置信息以及日期和时间信息来设定关注被摄体的“基于GPS以及拍摄日期和时间的自动选择”、用于通过基于从图像组中提取出的面部图像等的推断处理来设定关注被摄体的“基于图像组的推断”和用于通过使用用户的SNS信息的推断处理来设定关注被摄体的“基于SNS信息的推断”之类的处理方法，以允许用户进行选择。

<7.总结和变形例>

根据上述实施例，可以获得以下效果。

实施例的服务器设备2包括控制单元2a，该控制单元2a执行针对包括多个图像的图像组设定关注被摄体的关注被摄体设定处理，以及从图像组中提取包括关注被摄体的图像并且使关注被摄体在提取出的图像中对焦的对焦处理。

当服务器设备2例如在诸如运动会之类的某个活动的图像组中执行这样的处理时，创建某个用户期望的被摄体处于对焦的图像。例如，假设专业摄影师捕获运动会等的图像，将大量图像上传到服务器设备2，并且诸如监护人之类的用户在客户机终端3上选择要购买的图像。在这种情况下，提取适合于某个用户的关注被摄体(诸如用户的孩子)的图像，并且可以将其准备为通过对焦化而被对焦的图像。即，即使专业摄影师在不拘泥于特定被摄体的情况下捕获大量人的图像，也能够为每个用户准备用户想要关注的被摄体处于对焦的图像。

已经描述了实施例的服务器设备2使控制单元2a执行使包括进行了对焦处理的图像的多个图像在客户机终端3上可阅览的处理(图4的步骤S106和图7的步骤S53)的示例。

这允许用户通过使用客户机终端3访问服务器设备2来阅览适合于用户的被摄体(例如，用户的孩子)出现并且用户的孩子处于对焦的图像的图像组。

即，用户不需要从大量图像中检索目标被摄体的图像，并且所呈现的图像处于适合于阅览关注目标的状态。

因此，例如，能够消除在大量摄影图像中找到用户想要购买的图像的困难，或者消除用户的孩子出现但处于离焦的情况。

在实施例中，描述了服务器设备2执行使关注被摄体对焦并使景深变浅的处理作为对图像的对焦处理的示例(参见图8)。

这使得能够获得关注被摄体被强调就好像关注被摄体最初被关注一样的图像，并且有预期可以提供对用户来说更期望的图像。

在实施例中，描述了控制单元2a在关注被摄体设定处理中将多个被摄体设定为关注被摄体并执行使多个关注被摄体中的每个关注被摄体对焦的图像处理作为对焦处理的示例(参见图8和图9)。

例如，由于关注被摄体的数量不限于一个，因此可以预期可以通过对多个关注被摄体执行对焦处理来提供对用户来说更期望的图像。例如，在用户的孩子和他/她的朋友出现的图像中，期望孩子和朋友两者在图像中都处于对焦。

在实施例中，描述了控制单元2a在关注被摄体设定处理中将在图像捕获时在深度方向上与成像设备1的距离彼此不同的多个被摄体设定为关注被摄体，并执行合成每个关注被摄体处于对焦的图像以创建关注被摄体中的每个关注被摄体处于对焦的图像的图像处理作为对焦处理的示例(参见图8和图9)。

这使得能够获得即使在深度方向上具有彼此不同到被摄体不能同时处于对焦的程度的距离的多个关注被摄体也处于对焦的图像。即，能够提供不能通过通常的图像捕获而获得的图像。

在实施例中，描述了控制单元2a执行模糊化非关注被摄体的处理作为对焦处理的示例(参见图10和图11)。

即使被摄体通过对焦处理已被对焦，也模糊化不被特别关注的被摄体，使得能够创建并提供已强调关注被摄体的图像。

在实施例中，描述了控制单元2a基于来自作为外部设备的客户机终端3的操作信息来设定关注被摄体的示例(参见图12和图13)。

UI画面被提供给客户机终端3，以允许用户指定期望的关注被摄体。这使得能够提供例如用户期望的关注被摄体已被对焦的图像。

在实施例中，描述了控制单元2a向客户机终端3呈现关于关注被摄体的列表信息并基于对列表信息的操作来设定关注被摄体的示例(参见图12、图13、图18、图19)。

作为要被提供给客户机终端3的UI画面，列出并呈现面部列表、姓名或物体名称等，以允许用户容易地指定期望的关注被摄体。

在实施例中，描述了控制单元2a基于从客户机终端3发送的图像信息来设定关注被摄体的示例(参见图12和图13)。

从客户机终端3上传面部图像或物体图像允许服务器设备2确定用户期望哪个被摄体(个人、物体)作为关注被摄体。然后，只需要将与图像一致的人或物体设定为关注被摄体。

在实施例中，描述了控制单元2a基于关于使用客户机终端3的访问源的用户信息来设定关注被摄体的示例(参见图14)。

基于已经访问的用户(例如，已经登录到服务器设备2的用户)管理相关人员、面部等，使得可以确定适合于用户的关注被摄体。因此，根据用户自动地设定合适的关注被摄体。这使得能够在不使用户花费时间和精力进行操作的情况下提供适当的图像组阅览环境。

在实施例中，描述了控制单元2a通过使用关于使用客户机终端3的访问源的用户信息执行推断处理来设定关注被摄体的示例(参见图15)。

参考已访问的用户(例如，已登录到服务器设备2的用户)的属性信息、历史信息、SNS信息和用户的私人照片库等，使得能够推断用户的面部以及相关人员(家庭成员、朋友等)的面部等。使用这样的推断结果以将特定面部设定为关注被摄体，使得能够自动地设定适合于用户的关注被摄体并且提供与用户相关的人已被对焦的图像。

在实施例中，描述了控制单元2a使用关于使用客户机终端3的访问源的用户信息来设定关注被摄体候选，并执行使客户机终端3呈现关注被摄体候选的处理的示例(参见图16)。

参考登记了与已访问的用户相关的人的DB、用户(例如，已登录到服务器设备2的用户)的属性信息、历史信息、SNS信息和用户的私人照片库等，使得能够确定与用户相关的人或人的面部，以便将确定的结果作为关注被摄体的推荐呈现给用户以使用户进行选择。这使得能够将用户期望的人等设定为关注被摄体。在从候选中进行选择的意义上，用户操作也被简化。此外，即使在候选推断的准确性不太高的情况下，也可以通过由用户选择适当的候选来适当地提供图像作为图像提供服务。

在实施例中，描述了控制单元2a基于图像的附加信息来设定关注被摄体的示例(参见图17)。

能够基于拍摄位置、拍摄日期和时间等确定在捕获对应图像组的地点处值得关注的物体、人或活动内容等。因此，在这种拍摄机会中值得关注的被摄体被设定为关注被摄体。例如，特定旅游点的名胜古迹或当地特产被设定为关注被摄体。或者，在特定活动中值得关注的人被设定为关注被摄体。

这种设定使得能够向用户提供期望的图像作为旅游点或活动的图像的图像组。

在实施例中，描述了控制单元2a基于图像的附加信息来设定关注被摄体候选并执行使客户机终端3呈现关注被摄体候选的处理的示例(参见图18和图19)。

基于拍摄位置、拍摄日期和时间等，确定在捕获对应图像组的地点处值得关注的物体、人或活动内容等，并作为关注被摄体候选呈现，以使用户进行选择。这使得能够将用户期望的人、物体等设定为关注被摄体。在从候选中进行选择的意义上，用户操作也被简化。此外，即使在候选推断的准确性不太高的情况下，也可以通过由用户选择适当的候选来适当地提供图像作为图像提供服务。

在实施例中，描述了控制单元2a对进行了对焦处理的图像执行关于图像或声音的附加处理的示例。例如，对包括关注被摄体的图像不仅执行对焦处理，而且执行例如改变色调或亮度的图像处理和例如添加声音的处理等(见图5)。

这允许提高要呈现给用户的图像的质量。

在实施例中，描述了基于图像的附加信息执行附加处理的情况。

例如，基于拍摄位置信息、拍摄日期和时间等确定附加处理的内容。

例如，执行对色调和明亮度的调整以及适合于拍摄位置或日期和时间的其它图像调整。能够执行适当的图像处理，例如，使在海边捕获的图像中的海的颜色鲜艳，或者改变在日落时捕获的图像的色调以使图像对于日落气氛是适当的。

在实施例中，描述了要处理的图像组的图像是通过从多个视点捕获图像而获得的图像的示例。

这种多视点图像使得能够以更高的准确性改变特定被摄体的对焦状态。

此外，在实施例中，描述了图像组的图像是添加了关于在图像捕获时被摄体在深度方向上的距离的信息的图像的示例。

这种添加了关于深度方向上的距离的信息的图像使得能够改变特定被摄体的对焦状态。

注意，在实施例中，主要描述了作为服务器设备2的信息处理设备70的处理，但是本公开的信息处理设备的具体示例不限于例如作为云服务器的信息处理设备，并且成像设备1中的信息处理设备(相机控制单元18)可以具有与服务器设备2的功能类似的功能，并且执行与服务器设备2的处理类似的处理。

当然，信息处理设备的其它示例包括个人计算机设备、平板电脑信息处理设备、移动电话设备、游戏控制台、音频设备、视频设备、通信设备、电视设备以及各种示例。能够执行作为信息处理的运算的设备(例如，包括微计算机的设备)可以被实现为本公开的信息处理设备。

此外，尽管在图1中示出MEC 5，但MEC 5可以具有对应于实施例的服务器设备2的功能。

此外，MEC 5可以具有成像设备1的功能的一部分(特别是上传发送功能)。

实施例的程序是用于使CPU、DSP、GPU、GPGPU、AI处理器或包括CPU、DSP、GPU、GPGPU和AI处理器等的设备执行上述服务器设备2的处理的程序。

即，实施例的程序是用于使信息处理设备执行以下处理的程序：针对包括多个图像的图像组设定关注被摄体的关注被摄体设定处理；和从图像组中提取包括关注被摄体的图像并且使关注被摄体在提取出的图像中对焦的对焦处理。

这种程序允许上述服务器设备2由各种计算机设备实现。

这种程序可以被预先记录在内置在诸如计算机设备之类的设备中作为记录介质的HDD或具有CPU的微计算机中的ROM等中。

或者，程序可以临时或永久地存储(记录)在诸如软盘、光盘只读存储器(CD-ROM)、磁光盘(MO)、数字多功能盘(DVD)、蓝光光盘(注册商标)、磁盘、半导体存储器或存储器卡之类的可移除记录介质上。这种可移除记录介质可以被提供为所谓的封装软件。

此外，这种程序可以从可移除记录介质被安装到个人计算机等，或者可以通过诸如局域网(LAN)或因特网之类的网络从下载站点下载。

此外，这种程序适合于实施例的服务器设备2的广泛供应。例如，将程序下载到诸如智能电话或平板电脑之类的移动终端设备、移动电话、个人计算机、游戏控制台、视频设备或个人数字助理(PDA)等允许智能电话等用作本公开的服务器设备2或成像设备1。

注意，这里描述的效果仅仅是示例并且不受限制，并且可以提供其它效果。

注意，本技术还可以具有以下构成。

(1)

一种信息处理设备，包括执行以下处理的控制单元：

关注被摄体设定处理，针对包括多个图像的图像组设定关注被摄体；和

对焦处理，从图像组中提取包括关注被摄体的图像并且使关注被摄体在提取出的图像中对焦。

(2)

在根据以上的(1)所述的信息处理设备中，控制单元执行使包括进行了对焦处理的图像的多个图像在外部设备上能阅览的处理。

(3)

在根据以上的(1)或(2)所述的信息处理设备中，作为对图像的对焦处理，控制单元执行使关注被摄体对焦并使景深变浅的处理。

(4)

在根据以上的(1)～(3)中的任一项所述的信息处理设备中，控制单元在关注被摄体设定处理中将多个被摄体设定为关注被摄体，并且作为对焦处理，执行使多个关注被摄体中的每个关注被摄体对焦的图像处理。

(5)

在根据以上的(1)～(4)中的任一项所述的信息处理设备中，控制单元在关注被摄体设定处理中，将在图像捕获时在深度方向上与成像设备的距离彼此不同的多个被摄体设定为关注被摄体，并且作为对焦处理，执行合成每个关注被摄体已被对焦的图像以创建多个关注被摄体中的每个关注被摄体已被对焦的图像的图像处理。

(6)

在根据以上的(1)～(5)中的任一项所述的信息处理设备中，作为对焦处理，控制单元执行模糊化非关注被摄体的处理。

(7)

在根据以上的(1)～(6)中的任一项所述的信息处理设备中，控制单元在关注被摄体设定处理中基于来自外部设备的操作信息设定关注被摄体。

(8)

在根据以上的(7)所述的信息处理设备中，控制单元使外部设备呈现关于关注被摄体的列表信息，并基于对列表信息的操作设定关注被摄体。

(9)

在根据以上的(1)～(8)中的任一项所述的信息处理设备中，控制单元在关注被摄体设定处理中基于从外部设备发送的图像信息设定关注被摄体。

(10)

在根据以上的(1)～(9)中的任一项所述的信息处理设备中，控制单元在关注被摄体设定处理中，基于关于使用外部设备的访问源的用户信息设定关注被摄体。

(11)

在根据以上的(1)～(10)中的任一项所述的信息处理设备中，控制单元在关注被摄体设定处理中通过执行使用关于使用外部设备的访问源的用户信息的推断处理来设定关注被摄体。

(12)

在根据以上的(1)～(11)中的任一项所述的信息处理设备中，控制单元在关注被摄体设定处理中使用关于使用外部设备的访问源的用户信息来设定关注被摄体的候选，并执行使外部设备呈现所述候选的处理。

(13)

在根据以上的(1)～(12)中的任一项所述的信息处理设备中，控制单元在关注被摄体设定处理中基于图像的附加信息来设定关注被摄体。

(14)

在根据以上的(1)～(13)中的任一项所述的信息处理设备中，控制单元在关注被摄体设定处理中基于图像的附加信息来设定关注被摄体的候选，并执行使外部设备呈现所述候选的处理。

(15)

在根据以上的(1)～(14)中的任一项所述的信息处理设备中，控制单元对进行了对焦处理的图像执行关于图像或声音的附加处理。

(16)

在根据以上的(15)所述的信息处理设备中，基于图像的附加信息执行附加处理。

(17)

在根据以上的(1)～(16)中的任一项所述的信息处理设备中，图像组的图像是通过从多个视点捕获图像而获得的图像。

(18)

在根据以上的(1)～(16)中的任一项所述的信息处理设备中，图像组的图像是添加了关于在图像捕获时在深度方向上到被摄体的距离的信息的图像。

(19)

一种信息处理方法，包括使信息处理设备执行以下处理：

关注被摄体设定处理，针对包括多个图像的图像组设定关注被摄体；和

对焦处理，从图像组中提取包括关注被摄体的图像并且使关注被摄体在提取出的图像中对焦。

(20)

一种程序，用于使信息处理设备执行以下处理：

关注被摄体设定处理，针对包括多个图像的图像组设定关注被摄体；和

对焦处理，从图像组中提取包括关注被摄体的图像并且使关注被摄体在提取出的图像中对焦。

附图标记列表

1成像设备

2服务器设备

2a控制单元

3客户机终端

7DB

8AI引擎

9移动终端

10存储装置

18相机控制单元

70信息处理设备

71CPU

Claims (20)

1.一种信息处理设备，包括执行以下处理的控制单元：

关注被摄体设定处理，针对包括多个图像的图像组设定关注被摄体；和

对焦处理，从图像组中提取包括关注被摄体的图像并且使关注被摄体在提取出的图像中对焦。

2.根据权利要求1所述的信息处理设备，其中，

控制单元执行使包括进行了对焦处理的图像的多个图像在外部设备上能阅览的处理。

3.根据权利要求1所述的信息处理设备，其中，

作为对图像的对焦处理，控制单元执行使关注被摄体对焦并使景深变浅的处理。

4.根据权利要求1所述的信息处理设备，其中，

控制单元在关注被摄体设定处理中将多个被摄体设定为关注被摄体，并且作为对焦处理，执行使多个关注被摄体中的每个关注被摄体对焦的图像处理。

5.根据权利要求1所述的信息处理设备，其中，

控制单元在关注被摄体设定处理中，将在图像捕获时在深度方向上与成像设备的距离彼此不同的多个被摄体设定为关注被摄体，并且作为对焦处理，执行合成每个关注被摄体已被对焦的图像以创建多个关注被摄体中的每个关注被摄体已被对焦的图像的图像处理。

6.根据权利要求1所述的信息处理设备，其中，

作为对焦处理，控制单元执行模糊化非关注被摄体的处理。

7.根据权利要求1所述的信息处理设备，其中，

控制单元在关注被摄体设定处理中基于来自外部设备的操作信息设定关注被摄体。

8.根据权利要求7所述的信息处理设备，其中，

控制单元使外部设备呈现关于关注被摄体的列表信息，并基于对列表信息的操作设定关注被摄体。

9.根据权利要求1所述的信息处理设备，其中，

控制单元在关注被摄体设定处理中基于从外部设备发送的图像信息设定关注被摄体。

10.根据权利要求1所述的信息处理设备，其中，

控制单元在关注被摄体设定处理中，基于关于使用外部设备的访问源的用户信息设定关注被摄体。

11.根据权利要求1所述的信息处理设备，其中，

控制单元在关注被摄体设定处理中通过执行使用关于使用外部设备的访问源的用户信息的推断处理来设定关注被摄体。

12.根据权利要求1所述的信息处理设备，其中，

控制单元在关注被摄体设定处理中使用关于使用外部设备的访问源的用户信息来设定关注被摄体的候选，并执行使外部设备呈现所述候选的处理。

13.根据权利要求1所述的信息处理设备，其中，

控制单元在关注被摄体设定处理中基于图像的附加信息来设定关注被摄体。

14.根据权利要求1所述的信息处理设备，其中，

控制单元在关注被摄体设定处理中基于图像的附加信息来设定关注被摄体的候选，并执行使外部设备呈现所述候选的处理。

15.根据权利要求1所述的信息处理设备，其中，

控制单元对进行了对焦处理的图像执行关于图像或声音的附加处理。

16.根据权利要求15所述的信息处理设备，其中，

基于图像的附加信息执行附加处理。

17.根据权利要求1所述的信息处理设备，其中，

图像组的图像是通过从多个视点捕获图像而获得的图像。

18.根据权利要求1所述的信息处理设备，其中，

图像组的图像是添加了关于在图像捕获时在深度方向上到被摄体的距离的信息的图像。

19.一种信息处理方法，包括使信息处理设备执行以下处理：

关注被摄体设定处理，针对包括多个图像的图像组设定关注被摄体；和

对焦处理，从图像组中提取包括关注被摄体的图像并且使关注被摄体在提取出的图像中对焦。

20.一种程序，用于使信息处理设备执行以下处理：

关注被摄体设定处理，针对包括多个图像的图像组设定关注被摄体；和

对焦处理，从图像组中提取包括关注被摄体的图像并且使关注被摄体在提取出的图像中对焦。

Images