CN104243798A - 图像处理装置、服务器和存储介质 - Google Patents

Abstract

本公开涉及一种图像处理装置。根据本公开的图像处理装置包括：提取单元，其被配置成从通过使用特定成像参数拍摄的图像提取对象；测距单元，其被配置成获取指示已拍摄图像的图像拍摄单元和已被成像的对象之间的距离的距离信息；通信单元，其具有第一传送功能、第二传送功能和接收功能；以及合成单元，其被配置成在第二图像中包括的对象的区域中组合通信单元接收到的对象候选图像。

Description

图像处理装置、服务器和存储介质

相关申请的交叉引用

本申请要求在2013年6月14日提交的日本在先专利申请JP2013-125825的优先权，其整体内容通过引用合并于此。

技术领域

本公开涉及图像处理装置、服务器和存储介质。

背景技术

近年来，根据成像性能的显著改进，具有用于拍摄期望图像的多种功能，诸如图像稳定功能、自动对焦功能和笑容检测功能的摄像装置已被开发。作为这些功能之一，图像合成技术已被开发用于将图像中包括的对象替换成另一期望对象并且执行合成。

例如，JP2008-140107A公开了一种用于检测拍摄图像中包括的对象、光源方向和阴影方向，以及获得具有相同或相近的光源方向或阴影方向的对象的合成图像的技术。

此外，JP2001-86497A公开了一种用于通过将拍摄图像分解成背景和对象来执行图像识别，将它们替换成代用素材并且执行合成的技术。

此外，JP2010-244398A公开了一种用于基于拍摄图像中包括的对象的大小来搜索合适的对象图像并且执行合成的技术。

此外，JP2003-116127A公开了一种用于自动地拍摄特定用户的图像并且向用户提供所拍摄的视频数据的技术。

发明内容

不幸地，以上公开的技术难于执行简单的和自然的图像合成。例如，JP2001-86497A和JP2010-244398A中公开的技术没有执行自然的图像合成的视点。此外，JP2008-140107A中公开的技术需要检测每个对象的光源方向和阴影方向的处理，而这并不容易。再者，JP2003-116127A中公开的技术事实上可以获得特定用户的各种图像数据，但是不能通过选择合适的图像来执行图像合成。

根据本公开的实施例，提出了能够执行较简单和自然的图像合成的新型的和改进的图像处理装置、服务器和存储介质。

根据本公开的一个实施例，提供了一种图像处理装置，其包括：

根据本公开的另一实施例，提供了一种服务器，其包括：

根据本公开的另一实施例，提供了一种具有存储在其中的程序的非暂态的计算机可读存储介质，该程序使计算机执行如下操作：

根据本公开的另一实施例，提供了一种具有存储在其中的程序的非暂态的计算机可读存储介质，该程序使计算机执行如下操作：

根据本公开的一个或更多个实施例，可以执行较简单和自然的图像合成。

附图说明

图1示出了根据本公开的一个实施例的图像合成技术的概况；

图2是示出根据第一实施例的图像合成系统的配置的框图；

图3是根据第一实施例的积累处理的流程图；

图4示出了均根据第一实施例的对象提取处理和获取对象属性信息的处理的示例；

图5是示出根据第一实施例的合成处理的流程图；

图6示出了根据第一实施例的合成处理的示例；

图7示出了根据第一实施例的合成处理的示例；

图8示出了根据第一实施例的合成处理的示例；

图9示出了根据第一实施例的合成处理的示例；

图10是示出根据第二实施例的图像合成系统的配置的框图；

图11是示出根据第二实施例的积累处理的流程图；以及

图12是示出根据第二实施例的合成处理的流程图。

具体实施方式

在下文中，将参照附图详细描述本公开的优选实施例。注意，在该说明书和附图中，具有基本上相同的功能和结构的结构元件由相同的附图标记表示，并且省略了这些结构元件的重复说明。

注意，描述将按如下顺序进行。

1.根据本公开的一个实施例的图像合成技术的概况

2.实施例

2-1.第一实施例

2-1-1.图像合成系统的配置

2-1-2.图像合成系统的操作处理

2-2.第二实施例

2-2-1.图像合成系统的配置

2-2-2.图像合成系统的操作处理

3.结论

<<1.根据本公开的一个实施例的图像合成技术的概况>>

首先，将参照图1描述根据本公开的一个实施例的图像合成技术的概况。

图1示出了根据本公开的一个实施例的图像合成技术的概况。如图1中所示，摄像装置1C通过拍摄被摄体3A、3B和3C的图像来获得图像P1，但是被摄体3A在图像P1中眨眼。因此，通过根据该实施例的合成处理，摄像装置1C将服务器2中积累的图像与图像P1组合，从而生成图像P2，其中被摄体3A正在微笑。在根据该实施例的合成处理中，通过使用过去拍摄并且在服务器2中积累的图像来执行图像合成。如图1中所示，在过去，摄像装置1A拍摄被摄体3A在日间在公园中在场景4A中的图像，被摄体3A距摄像装置1A具有距离5A，并且摄像装置1B拍摄被摄体3A在夜间在市区中在场景4B中的图像，被摄体3A距摄像装置1B具有距离5B。注意，在不必进行区分的情况下，摄像装置1A、1B和1C被共同称为摄像装置1。

根据该实施例的图像合成系统包括摄像装置1和服务器2。在下文中，在服务器2中积累显示装置1拍摄的图像的处理被称为积累处理，并且将积累的图像与拍摄图像组合的处理被称为合成处理。注意，拍摄要积累的图像的摄像装置1和拍摄作为合成目标的图像的摄像装置1可以相同或不同。

服务器2存储示出过去拍摄的多种对象的对象图像。这里，对象包括可以作为被摄体的各种物体。例如，人是对象，并且人的器官，诸如眼睛、耳朵、脸、手、腿和躯干，是对象。一个对象的范围根据图像拍摄距离而不同。例如，在近距离拍摄树的图像的情况下，一片树叶或者一根树枝可以是对象；在远距离拍摄树的图像的情况下，一棵树可以是对象；在从更远的距离拍摄树的图像的情况下，整片森林可以是对象。

对象图像是包括一个对象的图像并且是拍摄图像中的区域。在图1中所示的示例中，在摄像装置1A在场景4A中拍摄的图像中，服务器2存储被摄体3A的脸部(对象)的图像作为对象图像6-1。

此外，图1中所示的服务器2与指示对象图像的属性的对象属性信息相关联地存储对象图像。在图1中所示的示例中，服务器2与对象图像6-1相关联地存储对象属性信息7-1，对象属性信息7-1指示摄像装置1A和对象图像6-1中示出的对象(被摄体3A的脸)之间的图像拍摄距离是距离5A。

通过相似的方式，服务器2与指示图像拍摄距离是距离5B的对象属性信息7-2相关联地存储作为场景4B中的被摄体3A的脸部的对象图像6-2。此外，服务器2相似地与对象属性信息7-3相关联地存储作为在另一场景中拍摄的被摄体3A的脸部的对象图像6-3。

上文已描述了根据该实施例的图像合成系统执行的积累处理。接下来，将描述根据该实施例的图像合成系统执行的合成处理。

如图1中所示，摄像装置1C通过在日间在室外在场景4C中拍摄具有距摄像装置1C的距离5C的被摄体3A、3B和3C的图像来获得图像P1。然而，被摄体3A在图像P1中眨眼。因此，摄像装置1C向服务器2发送关于可用于将图像P1中的被摄体3A的脸区域替换成被摄体3A不眨眼的另一图像的合适的对象图像的询问。

在接收到该询问之后，服务器2首先从图像P1中的对象3A的脸部的对象图像获取对象属性信息。随后，基于所获取的对象属性信息，服务器2从迄今为止积累的其他对象图像中搜索合适的对象图像。更具体地，通过使用对象3A的脸部的对象图像的对象属性信息作为搜索关键项，服务器2搜索与相同的或基本上相同的对象属性信息相关联并且包括被摄体3A的脸的对象图像。例如，在距离5A等于或几乎等于图1中的距离5C的情况下，服务器2与指示图像拍摄距离是距离5A的对象属性信息7-1相关联地搜索对象图像6-1。

接下来，服务器2将找到的对象图像6-1传送到摄像装置1C。随后，摄像装置1C将接收到的对象图像6-1组合在图像P1中的被摄体3A的脸区域中，从而生成图像P2。通过这种方式，摄像装置1C可以获得图像P2，其中被摄体3A没有眨眼并且正在微笑。由于图像P2的脸区域的图像拍摄距离和其他对象属性信息在合成之前和之后没有极大地改变，因此可以防止由于合成引起的不自然的图像。注意，图像P2可以由服务器2生成并且被传送到摄像装置1C。

对象属性信息不仅可以包含图像拍摄距离，而且可以包含当拍摄对象图像时获取的各种信息以及通过分析对象图像获取的各种信息。例如，对象属性信息可以包含关于图像拍摄时间、图像拍摄位置、图像拍摄方向和图像拍摄透镜的信息，指示被摄体是否正在微笑的微笑信息等。例如，在图1中所示的示例中，响应于来自摄像装置1C的请求，服务器2可以通过使用图像P1的图像拍摄时间是日间并且被摄体正在微笑的事实作为搜索关键项，将相似地在日间拍摄并且其中被摄体正在微笑的对象图像6-1传送到摄像装置1C。尽管对象属性信息已被描述为由服务器2获取，但是对象属性信息也可以由摄像装置1C获取并且被传送到服务器2。

这里，在JP2008-140107A中公开的技术中，对于每个对象需要检测光源方向和阴影方向的处理。相反，在以上合成处理中，在不检测光源方向和阴影方向的情况下，可以基于图像拍摄时间和图像拍摄方向来搜索合适的对象图像，因为在相同时间在相同方向上拍摄的图像具有相同的光源方向和阴影方向。

上文已描述了根据本公开的一个实施例的图像合成技术的概况。接下来，将参照图2至图9描述包括摄像装置1和服务器2的图像合成系统的配置和操作处理，图像合成系统被配置成执行均根据本公开的实施例的积累处理和合成处理。

<<2.实施例>>

<2-1.第一实施例>

[2-1-1.图像合成系统的配置]

在该实施例中，在服务器2中执行涉及上述合成处理和积累处理的大部分处理。首先，将参照图2描述图像合成系统的配置。

图2是示出根据第一实施例的图像合成系统的配置的框图。如图2中所示，图像合成系统包括通过网络8相互连接的摄像装置1-1(图像处理装置)和服务器2-1(外部装置)。

(网络8)

网络8包括例如互联网、专用线路、互联网协议虚拟私有网络(IP-VPN)等。

(摄像装置1-1)

如图2中所示，摄像装置1-1包括图像拍摄单元11、设定单元12、通信单元13和显示单元14。

-图像拍摄单元11

图像拍摄单元11包括：透镜系统，其包括图像拍摄透镜、光圈、变焦透镜、对焦透镜等；驱动系统，其使透镜系统执行对焦操作和变焦操作；固态图像传感器阵列，其通过对透镜系统获得的图像拍摄光进行光电转换来生成图像拍摄信号；等等。固态图像传感器阵列可以由例如电荷耦合器件(CCD)传感器阵列或者互补金属氧化物半导体(CMOS)传感器阵列形成。

根据该实施例的图像拍摄单元11通过使用特定成像参数来拍摄图像。这些成像参数是与图像拍摄透镜相关的信息，包含快门速度、光圈、透镜F数、CCD像素的数目、对焦位置、变焦率等，以及包含图像拍摄日期、图像拍摄单元11的倾度或面对方向等的信息。此外，成像参数可以包括与可交换图像文件格式(EXIF)的信息相似的信息，诸如国际标准化组织(ISO)速度、曝光时间和白平衡。根据该实施例的图像拍摄单元11通过将这些成像参数中的可调整的参数如快门速度设定为固定值或者特定的极限数值来拍摄图像。如下文所述，这用于使服务器2-1执行的搜索处理更简单。

图像拍摄单元11与图像拍摄时间处的成像参数相关联地将拍摄图像输出到通信单元13。

-设定单元12

设定单元12具有将图像拍摄单元11拍摄的拍摄图像设定为服务器2-1中的积累处理的目标或者服务器2-1中的合成处理的目标的功能。在拍摄图像被设定为合成处理的目标的情况下，设定单元12生成合成指令信息，其调节合成处理的内容。合成指令信息包含目标对象信息和优先级信息，目标对象信息指示拍摄图像中的哪个对象区域将成为合成处理的目标，并且优先级信息指示当搜索后面描述的对象候选图像时要优先对待的对象属性信息。

设定单元12可以基于使用摄像装置1-1的用户的输入来设定合成指令信息或者可以根据拍摄图像的内容被自动设定。例如，在拍摄图像中的被摄体眨眼或者没有微笑的情况下，设定单元12设定包含指示被摄体的脸区域的目标对象信息以及要优先对待微笑图像的优先级信息的合成指令信息。此外，在逆光取得拍摄图像的情况下，设定单元12设定包含涉及光源的位置和方向的优先级信息的合成指令信息，使得可以优先对待顺光取得的对象图像。

同时，在图像拍摄单元11拍摄的拍摄图像被设定为积累处理的目标的情况下，设定单元12生成指示拍摄图像是积累处理的目标的积累指令信息。

设定单元12将所生成的合成指令信息或积累指令信息输出到通信单元13。

-通信单元13

通信单元13是用于有线地或无线地向/从另一信息处理装置传送和接收数据的通信模块。例如，通信单元13连接到局域网(LAN)，电话线路等，以经由网络8与服务器2-1通信。

在设定单元12输出积累指令信息的情况下，通信单元13与成像参数和积累指令信息相关联地将从图像拍摄单元11输出的拍摄图像(第一图像)传送到服务器2-1。

同时，在设定单元12输出合成指令信息的情况下，通信单元13与成像参数和合成指令信息相关联地将从图像拍摄单元11输出的拍摄图像(第二图像)传送到服务器2-1。因此，在服务器2-1中对所传送的拍摄图像执行后面将具体描述的合成处理，并且所生成的合成图像被传送到通信单元13。通信单元13将接收到的合成图像输出到显示单元14。

-显示单元14

例如，显示单元14实时地显示图像拍摄单元11拍摄的拍摄图像并且显示从通信单元13输出的合成图像。显示单元14由例如液晶显示器(LCD)或有机发光二极管(OLED)形成。

上文描述了摄像装置1-1的配置。接下来，将描述服务器2-1的配置。

(服务器2-1)

如图2中所示，服务器2-1包括通信单元21、提取单元22、属性信息获取单元23、记录控制单元24、存储器单元25和合成单元26。

-通信单元21

通信单元21是用于有线地或无线地向/从另一信息处理装置传送和接收数据的通信模块。例如，通信单元21连接到LAN，电话线路等，以经由网络8与摄像装置1-1通信。

更具体地，通信单元21从摄像装置1-1接收拍摄图像、成像参数以及积累指令信息或合成指令信息。此外，通信单元21将从上述合成单元26输出的合成图像传送到摄像装置1-1。

通信单元21将接收到的拍摄图像、成像参数以及积累指令信息或合成指令信息输出到提取单元22和合成单元26。

-提取单元22

提取单元22具有从图像中提取对象的功能。提取单元22通过模式识别、机器学习等从通信单元21接收到的拍摄图像中提取对象。此外，提取单元22可以通过基于关于后面描述的测距单元231获取的每个像素的距离信息将边缘部分识别为对象的边界线，从拍摄图像中提取对象。

提取单元22将提取的对象和从通信单元21输出的成像参数输出到属性信息获取单元23。此外，提取单元22将提取的对象、成像参数和积累指令信息或合成指令信息输出到记录控制单元24。注意，提取单元22可以输出示出提取的对象的对象图像或者指示拍摄图像中的对象范围的信息。

-属性信息获取单元23

属性信息获取单元23具有从提取单元22提取的对象中获取对象属性信息的功能。属性信息获取单元23用作测距单元231、时间获取单元232和标志生成单元233。

-测距单元231

测距单元231具有获取指示拍摄接收到的拍摄图像的图像拍摄单元11和已被成像的对象之间的距离(图像拍摄距离)的距离信息的功能。例如，测距单元231通过基于成像参数估计距离来获取距离信息。在成像参数包括图像拍摄距离的情况下，测距单元231可以从成像参数获取距离信息。替选地，测距单元231可以基于拍摄图像中的光和阴影或者亮度的不同来估计图像拍摄距离。进一步替选地，测距单元231可以通过图像识别来指定拍摄图像中包括的诸如山或建筑物的对象并且基于对象的全球定位系统(GPS)信息来估计距离。测距单元231可以通过获取对象的距离信息并且例如以对象为单位对图像拍摄距离取平均来获取对象的距离信息。

测距单元231将获取的距离信息输出到记录控制单元24。

-时间获取单元232

时间获取单元232具有生成指示拍摄对象的图像的时间的时间信息的功能。时间获取单元232获取成像参数中包括的图像拍摄时间并且生成时间信息。

时间获取单元232将所生成的时间信息输出到记录控制单元24。

-标志生成单元233

标志生成单元233具有生成指示提取单元22提取的对象是否是前景的标志信息的功能。这里，前景意味着图像的最前部。在对象和拍摄该对象的图像的图像拍摄单元之间不存在障碍物的情况下，标志生成单元233生成指示对象是前景的标志信息。同时，在对象不是图像的最前部的情况下，标志生成单元233生成指示对象是背景的标志信息。例如，标志生成单元233生成如下标志信息，其中基于成像参数以及测距单元231获取的对象的距离信息，重叠的对象中的最短距离处的对象被设定为前景，而其他对象被设定为背景。

尽管在本说明书中，描述了作为前景和背景的两类标志信息的示例，但是标志信息可以具有更多类别。例如，标志生成单元233可以基于每个对象的图像拍摄距离来生成如下标志信息，其更具体地表述图像中的分层结构，诸如“短距离处的前景”、“长距离处的前景”、“短距离处的背景”和“长距离处的背景”。

标志生成单元233将所生成的标志信息输出到记录控制单元24。

-存储器单元25

存储器单元25是在特定记录介质中记录并读出数据的部件。存储器单元25被形成为例如硬盘驱动器(HDD)。毋庸赘言，记录介质可以是如下各种介质中的任何介质：诸如闪速存储器的固态存储器、并入固定存储器的存储器卡、光盘、磁光盘、全息存储器等。存储器单元25被配置成根据所采用的记录介质来执行记录和再现。

在下文将描述的记录控制单元24的控制下，存储器单元25与对象属性信息相关联地记录对象图像并且读出对象图像。

-记录控制单元24

记录控制单元24具有基于从摄像装置1-1接收到的积累指令信息或合成指令信息将信息记录在存储器单元25中并且读出存储器单元25中记录的信息的功能。

在接收到积累指令信息的情况下，记录控制单元24与对象属性信息相关联地将示出提取单元22提取的对象的对象图像记录在存储器单元25中。这里，对象属性信息包含与摄像装置1-1的图像拍摄透镜相关的信息，包括图像拍摄单元11的倾度和方向的成像参数。对象属性信息还包含从属性信息获取单元23输出的距离信息、时间信息和标志信息。对象属性信息进一步包含用于识别对象的识别信息。

例如，记录控制单元24通过对象图像的图像识别指定对象，并且当同一对象记录在存储器单元25中时给出同一识别信息，并且当同一对象未被记录在存储器单元25中时给出新的识别信息。这里，在摄像装置1-1具有唯一摄像装置识别信息的情况下，由于同一个人极有可能由同一摄像装置1-1成像，因此记录控制单元24可以引用摄像装置识别信息以指定对象。注意，识别信息可以由属性信息获取单元23获取。

下文示出了与对象图像相关联地记录在存储器单元25中的对象属性信息的示例。

-成像参数：

快门速度、光圈、透镜F数、CCD像素数、对焦位置、变焦率、图像拍摄单元11的倾度和方向、ISO速度、曝光时间、白平衡等。

-标志信息

-距离信息

-时间信息

-识别信息

以上对象属性信息仅是示例并且可以包含其他给定信息。例如，对象属性信息可以包含在拍摄图像时的诸如太阳或路灯的光源的位置和角度、对比度信息、指示被摄体是移动体还是静止体的信息、指示对象种类诸如人、动物或植物的信息、等等。

同时，在接收到合成指令信息的情况下，记录控制单元24基于包含距离信息、时间信息、成像参数等的对象属性信息来搜索存储器单元25以寻找与提取单元22提取的对象对应的对象图像。这里，记录控制单元24搜索与合成指令信息中包含的目标对象信息示出的对象对应的对象图像，作为合成处理的候选。在下文中，通过此时的记录控制单元24的搜索获得的对象图像还被称为对象候选图像。

更具体地，记录控制单元24与对象属性信息相关联地搜索存储器单元25中记录的、适用于接收到的拍摄图像中的对象的对象属性信息的对象图像，作为对象候选图像。例如，记录控制单元24与该对象属性信息相关联地搜索如下对象候选图像，其中识别信息与接收到的拍摄图像中的对象的识别信息相同，并且成像参数、图像拍摄距离、图像拍摄时间以及对象是前景还是背景与接收到的拍摄图像中的对象的成像参数、图像拍摄距离、图像拍摄时间以及对象是前景还是背景相同或相似。这里，如上文所述，由于摄像装置1-1通过使用特定成像参数拍摄图像，因此成像参数并非过度多样的。因此，记录控制单元24可以容易地与相同或相似的对象属性信息相关联地搜索对象候选图像。

此时，基于合成指令信息中包含的优先级信息指示的被优先对待的对象属性信息，记录控制单元24搜索具有相同或相似的被优先对待的对象属性信息的对象候选图像。例如，在被优先对待的对象属性信息是距离信息的情况下，记录控制单元24搜索具有相同或相似的图像拍摄距离的对象候选图像。此外，在被构造为优先级信息是作为前景的标志信息的情况下，记录控制单元24搜索前景的对应的对象候选图像，即使接收到的拍摄图像中的对象是背景。

随后，记录控制单元24将找到的对象候选图像输出到合成单元26。此时，记录控制单元24还与对象候选图像相关联地将已记录在存储器单元25中的对象属性信息输出到合成单元26。

-合成单元26

合成单元26具有将存储器单元25中记录的对象图像与通信单元21连同合成指令信息一起接收到的拍摄图像组合的功能。更具体地，合成单元26生成合成图像，其中记录控制单元24找到的对象候选图像在合成指令信息中包含的目标对象信息指示的拍摄图像中的对象区域中被组合。这里，由于作为合成目标的图像区域的对象属性信息与对象候选图像的对象属性信息相同或相似，因此被成像的对象的大小、对比度、角度等相同或相似。因此，合成单元26可以在例如不调整大小或者校正对比度的情况下执行自然的图像合成。注意，为了执行更自然的图像合成，合成单元26可以例如额外地调整大小或者校正对比度。通过该方式，合成单元26可以执行容易的和自然的图像合成。

对于合成单元26执行的对象的合成处理可以考虑各种情况。例如，合成单元26可以将拍摄图像中包括的对象替换为存储器单元25中记录的相应的对象。替选地，合成单元26可以删除拍摄图像中包括的对象并且利用存储器单元25中记录的对象补偿由于删除引起的缺失部分。此外，合成单元26可以将新的对象添加到拍摄图像。

合成单元26将所生成的合成图像输出到通信单元21。如上文所述，通信单元21将合成单元26生成的合成图像传送回已连同合成指令信息一起传送拍摄图像的摄像装置1-1。

上文已描述了根据该实施例的图像合成系统的配置。接下来，将参照图3至图9描述根据该实施例的图像合成系统的操作处理。

[2-1-2.图像合成系统的操作处理]

根据该实施例的操作处理被分成其中服务器2-1积累对象图像的积累处理和其中服务器2-1通过使用积累的对象图像执行图像合成的合成处理。首先，下文将参照图3和图4描述积累处理。

(积累处理)

图3是示出根据第一实施例的积累处理的流程图。如图3中所示，首先，在步骤S104中，摄像装置1-1的图像拍摄单元11通过使用特定成像参数来拍摄图像。

接下来，在步骤S108中，摄像装置1-1的通信单元13与成像参数和积累指令信息相关联地将拍摄图像传送到服务器2-1。

接下来，在步骤S112中，服务器2-1的提取单元22从接收到的拍摄图像中提取对象，并且随后在步骤S116中，服务器2-1的属性信息获取单元23获取每个对象的对象属性信息。这里，将参照图4具体描述步骤S112和S116中的操作处理。

图4示出了均根据第一实施例的对象提取处理以及获取对象属性信息的处理的示例。如图4中所示，摄像装置1-1拍摄图像P3。在图像P3中，使在最前部的被摄体3D和栅栏9成像，并且使在栅栏9后面的被摄体3E成像。

提取单元22从图像P3提取对象图像6-4、6-5和6-6。这里，对象图像6-4包括被摄体3D，对象图像6-5包括栅栏9，并且对象图像6-6包括被摄体3E。这里，由于在拍摄图像时对象图像6-6中的被摄体3E站在栅栏9后面，因此躯干部分的图像未被拍摄并且缺失。

因此，标志生成单元233生成指示对象图像6-4和6-5是前景并且对象图像6-6是背景的标志信息。此外，测距单元231获取每个对象的距离信息，并且时间获取单元232获取每个对象的时间信息。通过该方式，属性信息获取单元23获取分别与所提取的对象图像6-4、6-5和6-6相关的对象属性信息7-4、7-5和7-6。

回到图3中的流程图的描述。在上文描述的步骤S112和S116之后，在步骤S120中，记录控制单元24与对象属性信息相关联地将提取单元22提取的对象图像记录在存储器单元25中。这里，存储器单元25中记录的对象属性信息包含属性信息获取单元23获取的信息、通信单元21接收到的成像参数以及对象的识别信息。

上文已描述了图像合成系统执行的积累处理。接下来，将参照图5至图9描述图像合成系统执行的合成处理。

(合成处理)

图5是示出根据第一实施例的合成处理的流程图。如图5中所示，首先，在步骤S204中，摄像装置1-1通过使用特定成像参数来拍摄图像。

接下来，在步骤S208中，摄像装置1-1与成像参数和合成指令信息相关联地将拍摄图像传送到服务器2-1。

接下来，在步骤S212中，服务器2-1的提取单元22从接收到的拍摄图像中提取对象，并且随后在步骤S216中，属性信息获取单元23获取对象属性信息。

接下来，在步骤S220中，基于合成指令信息，记录控制单元24搜索存储器单元25以寻找适用于作为合成目标的对象的对象候选图像。更具体地，基于合成指令信息中包含的优先级信息指示的被优先对待的对象属性信息，记录控制单元24搜索具有相同或相似的被优先对待的对象属性信息的对象候选图像。

随后，在步骤S224中，合成单元26在从摄像装置1-1接收到的拍摄图像中的作为合成目标的对象区域中组合记录控制单元24找到的对象候选图像，从而生成合成图像。

注意，后面将详细描述步骤S220和S224中的具体操作处理。

接下来，在步骤S228中，服务器2-1的通信单元21将合成单元26生成的合成图像传送到摄像装置1-1。

接下来，在步骤S232中，摄像装置1-1的显示单元14显示从服务器2-1接收到的合成图像。

上文已描述了图像合成系统执行的合成处理。接下来，将参照图6至图9描述图5中的步骤S220和S224中的具体操作处理。首先，将参照图6描述作为合成处理的一个示例的对象的替换。

-对象的替换

图6示出了根据第一实施例的合成处理的示例。如图6中所示，服务器2-1针对上文参照图4描述的图像P3执行合成处理。注意，服务器2-1已从摄像装置1-1连同图像P3一起接收到包含指示被摄体3E是替换目标的目标对象信息以及指示前景要被优先对待的优先级信息的合成指令信息。

在该情况下，首先，提取单元22如上文参照图4描述的那样从图像P3提取对象图像6-4、6-5和6-6，并且获取各条对象属性信息(步骤S212和S216)。接下来，记录控制单元24搜索存储器单元25以寻找与包括作为替换目标的被摄体3E的对象图像6-6对应的对象候选图像。

这里，服务器2-1已通过先前的积累处理与对象属性信息相关联地将除了标志信息以外对象属性信息与对象图像6-6的对象属性信息相同或相似的对象图像6-7和6-8记录在存储器单元25中。对象图像6-7与包含如下标志信息的对象属性信息7-7相关联，该标志信息指示对象是背景，并且被成像的被摄体3E的胸部下方右侧的图像由于拍摄图像时存在的特定障碍物而未被拍摄。此外，对象图像6-8与包含如下标志信息的对象属性信息7-8相关联，该标志信息指示对象是前景，并且由于拍摄图像时没有障碍物，因此被成像的被摄体3E没有未被成像的部分。

基于指示前景要被优先对待的优先级信息，记录控制单元24与指示对象是前景的标志信息相关联地从对象图像6-7和6-8中搜索对象图像6-8，作为对象候选图像。随后，合成单元26删除图像P3中包括的被摄体3E(对象图像6-6)并且组合对象图像6-8，从而获得其中作为背景的被摄体3E被替换为前景的图像P4。

上文已描述了对象的替换。接下来，将参照图7描述作为合成处理的一个示例的对象的删除。

-对象的删除

图7示出了根据第一实施例的合成处理的示例。如图7中所示，服务器2-1针对上文参照图4描述的图像P3执行合成处理。注意，服务器2-1已从摄像装置1-1连同图像P3一起接收到指示栅栏9是删除目标的目标对象信息。

在该情况下，首先，提取单元22如上文参照图4描述的那样从图像P3提取对象图像6-4、6-5和6-6，并且获取各条对象属性信息(步骤S212和S216)。

接下来，合成单元26从图像P3删除对象图像6-5和6-6，从而获得其中栅栏9和被摄体3E被删除的图像P5。这是因为在拍摄图像时被摄体3E在栅栏9后面，简单地删除栅栏9将产生其中被摄体3E的躯干部分未被成像的不自然的图像。

接下来，记录控制单元24搜索其中被摄体3E被成像并且存在未被成像的部分的对象候选图像。更具体地，记录控制单元24搜索存储器单元25以寻找与图像P3中的被摄体3E对应并且与指示对象是前景的标志信息相关联的对象候选图像。

这里，如果存储器单元25已记录上文参照图6描述的对象图像6-8和对象属性信息7-8，则记录控制单元24搜索对象图像6-8，作为对象候选图像。随后，合成单元26在图像P5中的、与图像P3中的被摄体3E的区域对应的区域中组合对象图像6-8，从而获得其中栅栏9被从图像P3删除的图像P6。

上文已描述了对象的删除。接下来，将参照图8描述作为合成处理的一个示例的对象的补偿。

-对象的补偿

图8示出了根据第一实施例的合成处理的示例。如图8中所示，服务器2-1针对上文参照图4描述的图像P3执行合成处理。注意，服务器2-1已从摄像装置1-1连同图像P3一起接收到指示栅栏9是删除目标的目标对象信息。

在该情况下，首先，提取单元22如上文参照图4描述的那样从图像P3提取对象图像6-4、6-5和6-6，并且获取各条对象属性信息(步骤S212和S216)。

接下来，合成单元26从图像P3删除对象图像6-5，从而获得从中删除栅栏9的图像P7。如图8中所示，由于在拍摄图像时在图像P7中成像的被摄体3E在作为删除目标的栅栏9后面，因此生成了其中被摄体3E的躯干部分未被成像的不自然的状态。因此，记录控制单元24搜索存储器单元25以寻找与图像P7中的被摄体3E对应并且与指示对象是前景的标志信息相关联的对象候选图像。

这里，如果存储器单元25存储了上文参照图6描述的对象图像6-8和对象属性信息7-8，则记录控制单元24搜索对象图像6-8，作为对象候选图像。随后，合成单元26在图像P5中包括的被摄体3E的躯干的缺失区域中组合与对象图像6-8对应的区域6-8-1，从而获得其中图像P7中的缺失部分被补偿的图像P8。

上文已描述了对象的补偿。接下来，将参照图9描述作为补偿处理的一个示例的对象的添加。

-对象的添加

图9示出了根据第一实施例的补偿处理的示例。如图9中所示，服务器2-1针对上文参照图4描述的图像P3执行合成处理。注意，服务器2-1已从摄像装置1-1连同图像P3一起接收到指令将花园添加到前景和背景之间的区域的合成指令信息。

在该情况下，首先，提取单元22如上文参照图4描述的那样从图像P3提取对象图像6-4、6-5和6-6，从而获取各条对象属性信息(步骤S212和S216)。

这里，假设服务器2-1已存储其中花园被成像的对象图像6-9和对象属性信息7-9。

接下来，记录控制单元24搜索其中花园被成像并且图像拍摄距离介于图像P3的前景和背景之间的对象候选图像。更具体地，首先，基于作为图像P3中的前景的对象图像6-4和6-5以及作为图像P3中的背景的对象图像6-6的对象属性信息，记录控制单元24计算前景和背景之间的中途点的图像拍摄距离。随后，记录控制单元24搜索存储器单元25以寻找其中花园被成像并且与计算的图像拍摄距离相关联的对象候选图像。

这里，假设服务器2-1通过先前的积累处理已存储其中花园被成像的对象图像6-9和对象属性信息7-9。除了距离信息之外，对象属性信息7-9与对象图像6-4、6-5和6-6的对象属性信息相同或相似，并且由距离信息指示的图像拍摄距离等于或几乎等于中途点的计算的图像拍摄距离。

因此，记录控制单元24搜索对象图像6-9，作为对象候选图像。随后，基于图像P3中包括的对象图像6-4、6-5和6-6的标志信息，合成单元26在对象图像6-4和6-5后面以及在对象图像6-6前面组合对象图像6-9。此时，基于对象图像6-4、6-5、6-6和6-9的距离信息，合成单元26可以通过调整要添加的对象图像6-9的深度、大小等来执行合成。通过这种方式，服务器2-1获得其中花园被添加到图像P3中的作为被摄体3D和栅栏9的前景和作为被摄体3E的背景之间的区域的图像P9。

上文已描述了对象的添加。

-补充

尽管通过省略诸如天空、山、地面和建筑物的背景来描述了参照图6至图9描述的具体示例，但是服务器2-1可以对作为以上各种补偿处理中的目标的背景物体进行补偿，以便防止缺失背景。例如，在参照图8描述的示例中，在栅栏9被删除的情况下，不仅可能缺失被摄体3E的躯干部分，而且可能缺失因与栅栏9重叠而未被成像的诸如地面的背景。在该情况下，服务器2-1可以搜索其中背景被成像的对象候选图像作为诸如地面的背景的补偿目标，并且执行补偿，从而执行其中背景不缺失的自然的图像合成。

<2-2.第二实施例>

在该实施例中，在摄像装置1-1中执行与补偿处理和积累处理相关的大部分处理。由于补偿处理的内容与上文在第一实施例中描述的内容相同，因此将省略相同的部分。首先，将参照图10描述图像合成系统的配置。

[2-2-1.图像合成系统的配置]

图10是示出根据第二实施例的图像合成系统的配置的框图。如图10中所示，图像合成系统包括经由网络8相互连接的摄像装置1-2(外部装置)和服务器2-2。

(网络8)

网络8具有如第一实施例中描述的配置。

(摄像装置1-2)

如图10中所示，摄像装置1-2包括第一实施例中描述的图像拍摄单元11、设定单元12、通信单元13和显示单元14，并且此外，包括提取单元15、属性信息获取单元16和合成单元17。

-图像拍摄单元11

图像拍摄单元11具有如第一实施例中描述的功能，并且将拍摄图像和成像参数输出到提取单元15和合成单元17。

-设定单元12

设定单元12具有如第一实施例中描述的功能，并且生成合成指令信息或积累指令信息并且将其输出到通信单元13。

-提取单元15

提取单元15具有与第一实施例中描述的通信单元22相同的功能。通信单元15将从拍摄图像提取的对象和成像参数输出到属性信息获取单元16和通信单元13。

-属性信息获取单元16

属性信息获取单元16具有与第一实施例中描述的属性信息获取单元23相同的功能。属性信息获取单元16用作测距单元161、时间获取单元162和标志生成单元163。

-测距单元161

测距单元161具有与第一实施例中描述的测距单元231相同的功能，并且所获取的距离信息输出到通信单元13。这里，根据该实施例的测距单元161不仅可以基于拍摄图像和成像参数获取距离信息，而且可以通过多种方法获取距离信息。例如，测距单元161可以通过基于从光源发射光到接收到反射光的时间的飞行时间(TOF)方法来获取距离信息。此外，在摄像装置1-2包括多个图像拍摄单元11的情况下，测距单元161可以通过使用由多个图像拍摄单元11执行的立体视法技术来获取距离信息。替选地，测距单元161可以通过使用电子测距仪、视差测距仪等来获取距离信息。

-时间获取单元162

时间获取单元162具有与第一实施例中描述的时间获取单元232相同的功能，并且将所生成的时间信息输出到通信单元13。

-标志生成单元163

标志生成单元163具有与第一实施例中描述的标志生成单元233相同的功能，并且将所生成的标志信息输出到通信单元13。

-通信单元13

如第一实施例中描述的，通信单元13经由网络8与服务器2-2通信。

在设定单元12输出积累指令信息的情况下，根据该实施例的通信单元13与对象属性信息和积累指令信息相关联地将提取单元15提取的对象图像(第一图像)传送到服务器2-2。这里，对象属性信息包含从属性信息获取单元16输出的距离信息、时间信息和标志信息以及成像参数。注意，这种连同积累指令信息一起传送对象图像和对象属性信息的功能可以被视为第一传送功能。

在设定单元12输出合成指令信息的情况下，根据该实施例的通信单元13与对象属性信息和合成指令信息相关联地将提取单元15提取的对象图像(第二图像)传送到服务器2-2。注意，这种连同合成指令信息一起传送对象图像和对象属性信息的功能可以被视为第二传送功能。

此时，通信单元13将提取单元15提取的对象候选图像、对象属性信息和合成指令信息输出到合成单元17。此外，通信单元13将从服务器2-2接收到的、基于合成指令信息在服务器2-2中找到的对象候选图像输出到合成单元17。

-合成单元17

合成单元17具有与第一实施例中描述的合成单元26相同的功能。根据该实施例的合成单元17生成其中基于对象属性信息和合成指令信息使通信单元13接收到的对象候选图像与从图像拍摄单元11输出的拍摄图像组合的合成图像。

-显示单元14

如第一实施例中描述的，显示单元14实时地显示图像拍摄单元11拍摄的拍摄图像并且显示例如从合成单元17输出的合成图像。此外，显示单元14可以连同图像拍摄单元11拍摄的拍摄图像一起布置并显示从服务器2-2接收到的多个对象候选图像。此外，显示单元14可以切换并显示使用基于用户操作选择的对象候选图像形成的合成图像。

上文已描述了摄像装置1-2的配置。接下来，将描述服务器2-2的配置。

(服务器2-2)

如图2中所示，服务器2-2包括在第一实施例中描述的通信单元21、记录控制单元24和存储器单元25。

-通信单元21

如第一实施例中描述的，通信单元21经由网络8与摄像装置1-2通信。在接收到合成指令信息的情况下，根据该实施例的通信单元21将记录控制单元24找到的对象候选图像传送到摄像装置1-2。

-记录控制单元24

记录控制单元24具有与第一实施例中描述的记录控制单元24相同的功能。

在接收到积累指令信息的情况下，根据该实施例的记录控制单元24与对象属性信息相关联地将接收到的对象图像记录在存储器单元25中。此时，记录控制单元24可以通过接收到的对象图像的图像识别向对象属性信息添加识别信息以将对象图像记录在存储器单元25中。

同时，在接收到合成指令信息的情况下，根据该实施例的记录控制单元24基于接收到的对象属性信息搜索存储器单元25以寻找与接收到的对象图像对应的对象候选图像。随后，记录控制单元24将找到的对象候选图像输出到通信单元21。

-存储器单元25

如第一实施例中描述的，存储器单元25在记录控制单元24的控制下与对象属性信息相关联地记录对象图像。

上文已描述了根据该实施例的图像合成系统的配置。接下来，将参照图11和图12描述根据该实施例的图像合成系统的操作处理。

[2-2-2.图像合成系统的操作处理]

(积累处理)

图11是示出根据第二实施例的积累处理的流程图。如图3中所示，首先，在步骤S304中，摄像装置1-2的图像拍摄单元11通过使用特定成像参数来拍摄图像。

接下来，在步骤S308中，摄像装置1-2的提取单元15从拍摄图像中提取对象，并且在步骤S312中，属性信息获取单元16获取对象属性信息。

接下来，在步骤S316中，摄像装置1-2的通信单元13与包含属性信息获取单元16获取的信息和成像参数的对象属性信息以及积累指令信息相关联地将提取单元15提取的对象图像传送到服务器2-2。

随后，在步骤S320中，服务器2-2的记录控制单元24与被进一步添加识别信息的对象属性信息相关联地将通信单元21接收到的对象图像记录在存储器单元25中。

上文已描述了图像合成系统执行的积累处理。接下来，将参照图12描述图像合成系统执行的合成处理。

(合成处理)

图12是示出根据第二实施例的合成处理的流程图。如图12中所示，首先，在步骤S404中，摄像装置1-2的图像拍摄单元11通过使用特定成像参数来拍摄图像。

接下来，在步骤S408中，摄像装置1-2的提取单元15从拍摄图像中提取对象，并且在步骤S412中，属性信息获取单元16获取对象属性信息。

接下来，在步骤S416中，摄像装置1-2的通信单元13与包含成像参数的对象属性信息以及合成指令信息相关联地将对象图像传送到服务器2-2。

随后，在步骤S420中，服务器2-2的记录控制单元24基于接收到的合成指令信息搜索存储器单元25以寻找适用于作为合成目标的接收到的对象的对象候选图像。

接下来，在步骤S424中，服务器2-2的通信单元21将记录控制单元24找到的对象候选图像传送到摄像装置2-1。

随后，在步骤S428中，摄像装置1-2的合成单元17基于合成指令信息使从服务器2-2接收到的对象候选图像与图像拍摄单元11拍摄的拍摄图像组合，从而生成合成图像。

接下来，在步骤S432中，摄像装置1-2的显示单元14显示合成单元17生成的合成图像。

上文已描述了图像合成系统执行的合成处理。

<<3.结论>>

如上文所述，根据本公开的实施例的图像合成系统可以通过预先与对象属性信息相关联地记录对象图像来执行容易的和自然的图像合成。此外，图像合成系统通过使用标志信息、距离信息等执行合成处理，从而能够无缺失地执行自然的图像合成。

由于图像合成系统能够基于优先级信息进行搜索以优先对待给定的对象属性信息，因此可以容易地和自然地生成用户期望的合成图像。

本领域技术人员应当理解，在所附权利要求及其等同物的范围内可以根据设计需要和其他因素进行各种修改、组合、子组合和变更。

例如，在以上实施例中与合成处理和积累处理相关的大部分处理由摄像装置1或服务器2执行；然而，本技术不限于这些示例。例如，合成处理和积累处理可以被适当地划分并且可以由摄像装置1或服务器2独立执行。就是说，摄像装置1和服务器2中的任一个可以包括诸如提取单元、属性信息获取单元和合成单元的配置。

此外，在以上实施例中摄像装置1被用作图像处理装置的示例；然而，根据本公开的实施例的图像处理装置不限于此。例如，图像处理装置可以是头戴式显示器(HMD)、耳机、数字视频摄像装置、耳机、数字视频摄像装置、个人数字助理(PDA)、个人计算机(PC)、膝上型PC、平板终端、智能电话、移动电话终端、移动音乐播放装置、移动视频处理装置、移动游戏机等。

此外，可以创建用于使并入在信息处理装置中的诸如CPU、ROM或RAM的硬件执行与以上摄像装置1或服务器2的每个配置相同的功能的计算机程序。还可以提供其上记录有计算机程序的记录介质。

此外，本技术还可以如下配置。

(1)一种图像处理装置，包括：

提取单元，其被配置成从通过使用特定成像参数拍摄的图像中提取对象；

测距单元，其被配置成获取指示已拍摄图像的图像拍摄单元和已被成像的对象之间的距离的距离信息；

通信单元，其具有

第一传送功能，其与对象属性信息相关联地将示出所述提取单元从第一图像提取的对象的对象图像传送到外部装置，所述对象属性信息包含所述距离信息和所述特定成像参数，所述距离信息由所述测距单元从所述第一图像获取，

第二传送功能，其将与所述第一图像不同的第二图像传送到所述外部装置，以及

接收功能，其从所述外部装置接收示出从所述第一图像提取的对象的对象图像作为对象候选图像，所述对象图像对应于所述第二图像中包括的对象；以及

合成单元，其被配置成在所述第二图像中包括的对象的区域中组合所述通信单元接收到的所述对象候选图像。

(2)根据(1)所述的图像处理装置，其中所述通信单元进一步传送所述第二图像的对象属性信息，并且与适用于所传送的对象属性信息的对象属性信息相关联地接收所述对象候选图像。

(3)根据(2)所述的图像处理装置，其中所述通信单元进一步传送指示要被优先对待的对象属性信息的优先级信息，并且与所传送的优先级信息指示的被优先对待的对象属性信息相关联地接收所述对象候选图像。

(4)根据(1)至(3)中任一项所述的图像处理装置，进一步包括：

标志生成单元，其被配置成生成指示所述提取单元提取的对象是否是前景的标志信息，

其中所述对象属性信息进一步包含所述标志生成单元生成的标志信息。

(5)根据(1)至(4)中任一项所述的图像处理装置，其中所述合成单元基于所述第二图像的对象属性信息来组合所述对象候选图像。

(6)根据(1)至(5)中任一项所述的图像处理装置，进一步包括：

时间获取单元，其被配置成生成指示对象被成像的时间的时间信息，

其中所述对象属性信息进一步包含所述时间获取单元生成的时间信息。

(7)根据(1)至(6)中任一项所述的图像处理装置，其中所述第二图像是示出所述提取单元从与所述图像拍摄单元拍摄的所述第一图像不同的图像中提取的对象的对象图像。

(8)一种服务器，包括：

通信单元，其被配置成从外部装置接收通过使用特定成像参数拍摄的图像以及所述成像参数；

提取单元，其被配置成从所述通信单元接收到的图像提取对象；

测距单元，其被配置成获取指示已拍摄图像的图像拍摄单元和已被成像的对象之间的距离的距离信息；

记录控制单元，其被配置成与对象属性信息相关联地、将示出所述提取单元从所述通信单元接收到的第一图像中提取的对象的对象图像记录在存储器单元中，所述对象属性信息包含所述距离信息和所述特定成像参数，所述距离信息由所述测距单元从所述第一图像获取；以及

合成单元，其被配置成将所述存储器单元中记录的对象图像与所述通信单元接收到的图像组合，

其中，基于包含所述测距单元从第二图像获取的距离信息和所述特定成像参数的对象属性信息，所述记录控制单元搜索所述存储器单元以寻找示出从所述第一图像提取的对象的对象图像作为对象候选图像，所述对象图像对应于所述提取单元从所述第二图像提取的对象，所述第二图像与所述通信单元接收到的所述第一图像不同，

其中所述合成单元生成合成图像，其中所述记录控制单元找到的对象候选图像在所述第二图像中包括的对象的区域中被组合，以及

其中所述通信单元向所述外部装置传送由所述合成单元组合的合成图像。

(9)根据(8)所述的服务器，

其中所述通信单元进一步接收指示要被优先对待的对象属性信息的优先级信息，以及

其中，基于由所述通信单元接收到的优先级信息指示的被优先对待的对象属性信息，所述记录控制单元搜索所述存储器单元以寻找对应于所述提取单元提取的对象的对象候选图像。

(10)根据(8)或(9)所述的服务器，进一步包括：

标志生成单元，其被配置成生成指示所述提取单元提取的对象是否是前景的标志信息，

其中所述对象属性信息进一步包含所述标志生成单元生成的标志信息。

(11)根据(8)至(10)中任一项所述的服务器，

其中所述成像参数包括与已拍摄所述第一图像的所述图像拍摄单元的图像拍摄透镜相关的信息，以及指示所述图像拍摄单元的倾度和方向的信息，以及

其中所述记录控制单元记录进一步包含指示所述第一图像被拍摄的时间的时间信息的对象属性信息。

(12)一种具有存储在其中的程序的非暂态的计算机可读存储介质，所述程序使计算机执行如下操作：

从通过使用特定成像参数拍摄的图像中提取对象；

获取指示已拍摄图像的图像拍摄单元和已被成像的对象之间的距离的距离信息；

与对象属性信息相关联地将示出从第一图像提取的对象的对象图像传送到外部装置，所述对象属性信息包含所述距离信息和所述特定成像参数，所述距离信息是从所述第一图像获取的；

将与所述第一图像不同的第二图像传送到所述外部装置；

从所述外部装置接收示出从所述第一图像提取的对象的对象图像作为对象候选图像，所述对象图像对应于所述第二图像中包括的对象；以及

在所述第二图像中包括的对象的区域中组合接收到的对象候选图像。

(13)一种具有存储在其中的程序的非暂态的计算机可读存储介质，所述程序使计算机执行如下操作：

从外部装置接收通过使用特定成像参数拍摄的图像以及所述成像参数；

从接收到的图像提取对象；

获取指示已拍摄图像的图像拍摄单元和已被成像的对象之间的距离的距离信息；

与对象属性信息相关联地将示出从接收到的第一图像中提取的对象的对象图像记录在存储器单元中，所述对象属性信息包含所述距离信息和所述特定成像参数，所述距离信息是从所述第一图像获取的；

基于包含从接收到的第二图像获取的距离信息和所述特定成像参数的对象属性信息，搜索所述存储器单元以寻找示出从所述第一图像提取的对象的对象图像作为对象候选图像，所述对象图像对应于从所述第二图像提取的对象，所述第二图像与所述第一图像不同；

生成合成图像，其中所找到的对象候选图像在所述第二图像中包括的对象的区域中被组合；以及

向所述外部装置传送所生成的合成图像。

Claims (13)

1.一种图像处理装置，包括：

提取单元，其被配置成从通过使用特定成像参数拍摄的图像中提取对象；

测距单元，其被配置成获取指示已拍摄图像的图像拍摄单元和已被成像的对象之间的距离的距离信息；

通信单元，其具有

第一传送功能，其与对象属性信息相关联地将示出所述提取单元从所述图像中的第一图像提取的对象的对象图像传送到外部装置，所述对象属性信息包含所述距离信息和所述特定成像参数，所述距离信息由所述测距单元从所述第一图像获取，

第二传送功能，其将与所述第一图像不同的、所述图像中的第二图像传送到所述外部装置，以及

接收功能，其从所述外部装置接收示出从所述第一图像提取的对象的对象图像作为对象候选图像，所述对象图像对应于所述第二图像中包括的对象；以及

合成单元，其被配置成在所述第二图像中包括的对象的区域中组合所述通信单元接收到的所述对象候选图像。

2.根据权利要求1所述的图像处理装置，其中所述通信单元进一步传送所述第二图像的对象属性信息，并且与适用于所传送的对象属性信息的对象属性信息相关联地接收所述对象候选图像。

3.根据权利要求2所述的图像处理装置，其中所述通信单元进一步传送指示要被优先对待的对象属性信息的优先级信息，并且与所传送的优先级信息指示的被优先对待的对象属性信息相关联地接收所述对象候选图像。

4.根据权利要求1所述的图像处理装置，进一步包括：

标志生成单元，其被配置成生成指示所述提取单元提取的对象是否是前景的标志信息，

其中所述对象属性信息进一步包含所述标志生成单元生成的标志信息。

5.根据权利要求1所述的图像处理装置，其中所述合成单元基于所述第二图像的对象属性信息来组合所述对象候选图像。

6.根据权利要求1所述的图像处理装置，进一步包括：

时间获取单元，其被配置成生成指示对象被成像的时间的时间信息，

其中所述对象属性信息进一步包含所述时间获取单元生成的时间信息。

7.根据权利要求1所述的图像处理装置，其中所述第二图像是示出所述提取单元从与所述图像拍摄单元拍摄的所述第一图像不同的图像中提取的对象的对象图像。

8.一种服务器，包括：

通信单元，其被配置成从外部装置接收通过使用特定成像参数拍摄的图像以及所述成像参数；

提取单元，其被配置成从所述通信单元接收到的图像提取对象；

测距单元，其被配置成获取指示已拍摄图像的图像拍摄单元和已被成像的对象之间的距离的距离信息；

记录控制单元，其被配置成与对象属性信息相关联地、将示出所述提取单元从所述通信单元接收到的所述图像中的第一图像中提取的对象的对象图像记录在存储器单元中，所述对象属性信息包含所述距离信息和所述特定成像参数，所述距离信息由所述测距单元从所述第一图像获取；以及

合成单元，其被配置成将所述存储器单元中记录的对象图像与所述通信单元接收到的图像组合，

其中，基于包含所述测距单元从所述图像中的第二图像获取的距离信息和所述特定成像参数的对象属性信息，所述记录控制单元搜索所述存储器单元以寻找示出从所述第一图像提取的对象的对象图像作为对象候选图像，所述对象图像对应于所述提取单元从所述第二图像提取的对象，所述第二图像与所述通信单元接收到的所述第一图像不同，

其中所述合成单元生成合成图像，其中所述记录控制单元找到的对象候选图像在所述第二图像中包括的对象的区域中被组合，以及

其中所述通信单元向所述外部装置传送由所述合成单元组合的合成图像。

9.根据权利要求8所述的服务器，

其中所述通信单元进一步接收指示要被优先对待的对象属性信息的优先级信息，以及

其中，基于由所述通信单元接收到的优先级信息指示的被优先对待的对象属性信息，所述记录控制单元搜索所述存储器单元以寻找对应于所述提取单元提取的对象的对象候选图像。

10.根据权利要求8所述的服务器，进一步包括：

标志生成单元，其被配置成生成指示所述提取单元提取的对象是否是前景的标志信息，

其中所述对象属性信息进一步包含所述标志生成单元生成的标志信息。

11.根据权利要求8所述的服务器，

其中所述成像参数包括与已拍摄所述第一图像的所述图像拍摄单元的图像拍摄透镜相关的信息，以及指示所述图像拍摄单元的倾度和方向的信息，以及

其中所述记录控制单元记录进一步包含指示所述第一图像被拍摄的时间的时间信息的对象属性信息。

12.一种具有存储在其中的程序的非暂态的计算机可读存储介质，所述程序使计算机执行如下操作：

从通过使用特定成像参数拍摄的图像中提取对象；

获取指示已拍摄图像的图像拍摄单元和已被成像的对象之间的距离的距离信息；

与对象属性信息相关联地将示出从所述图像中的第一图像提取的对象的对象图像传送到外部装置，所述对象属性信息包含所述距离信息和所述特定成像参数，所述距离信息是从所述第一图像获取的；

将与所述第一图像不同的、所述图像中的第二图像传送到所述外部装置；

从所述外部装置接收示出从所述第一图像提取的对象的对象图像作为对象候选图像，所述对象图像对应于所述第二图像中包括的对象；以及

在所述第二图像中包括的对象的区域中组合接收到的对象候选图像。

13.一种具有存储在其中的程序的非暂态的计算机可读存储介质，所述程序使计算机执行如下操作：

从外部装置接收通过使用特定成像参数拍摄的图像以及所述成像参数；

从接收到的图像提取对象；

获取指示已拍摄图像的图像拍摄单元和已被成像的对象之间的距离的距离信息；

与对象属性信息相关联地将示出从接收到的所述图像中的第一图像中提取的对象的对象图像记录在存储器单元中，所述对象属性信息包含所述距离信息和所述特定成像参数，所述距离信息是从所述第一图像获取的；

基于包含从接收到的所述图像中的第二图像获取的距离信息和所述特定成像参数的对象属性信息，搜索所述存储器单元以寻找示出从所述第一图像提取的对象的对象图像作为对象候选图像，所述对象图像对应于从所述第二图像提取的对象，所述第二图像与所述第一图像不同；

生成合成图像，其中所找到的对象候选图像在所述第二图像中包括的对象的区域中被组合；以及

向所述外部装置传送所生成的合成图像。