CN104255026B - 图像处理设备、信息处理设备和图像处理方法 - Google Patents

Abstract

一种包括被配置为基于多个视点图像生成多个内插图像的内插处理单元的图像处理设备。所述图像处理设备还包括被配置为基于显影参数和与所述多个内插图像和所述多个视点图像相关联的多个射线向量显影对象图像的显影处理单元。

Description

图像处理设备、信息处理设备和图像处理方法

技术领域

本公开涉及图像处理设备、信息处理设备和图像处理方法，其能够例如通过处理多个视点图像生成所希望的图像质量的图像数据。

背景技术

近年来，已提出各种成像装置和图像处理设备。例如，下面的专利文献1公开了能够基于从多个视点的成像数据生成对象的重构图像(重聚焦图像)的成像装置，其被设置在可选的聚焦点上。此外，例如，下面的专利文献2公开了能够从多个获取的视点图像生成内插图像的图像处理设备。

参考文献列表

专利文献

PTL 1：日本专利申请公开号2010-183316

PTL 2：日本专利申请公开号2011-139209

发明内容

技术问题

近年来，相机的重量、尺寸和厚度的减少已经取得了进展。同时，已经预期能够获得满足用户的需求(例如实现高品质采集图像)的图像的技术。

鉴于如上所述的情况，需要能够生成符合用户的意图的图像的图像处理设备、信息处理设备和图像处理方法。

问题的解决方案

根据本公开的一个实施例，提供了一种图像处理设备，包括：内插处理单元，被配置为基于多个视点图像生成多个内插图像；和显影处理单元，被配置为基于显影参数和与多个内插图像和多个视点图像相关联的多个射线向量显影对象图像。

根据另一实施例，图像处理设备还包括存储单元，被配置为存储对应于多个显影参数的多个光学系统的信息，其中显影处理单元选择对应于显影参数的至少一个光学系统并生成在射线向量入射到所选择的至少一个光学系统上时获得的图像作为对象图像。

根据另一实施例，显影参数包括透镜、滤波器、聚焦位置、光圈值、白平衡和曝光补偿值的设计信息中的至少一个。

根据另一实施例，所述图像处理设备还包括被配置为从信息处理设备接收所述多个视点图像，并且传输对象图像到信息处理设备的通信单元。

根据另一实施例，显影处理单元被配置为控制通信单元以将多个显影参数的多个选择候补传输到信息处理设备，并从信息处理设备接收所选择的选择候补。

根据另一实施例，显影参数由用户从多个显影参数选择。

根据另一实施例，显影处理单元被配置为基于视点图像中显影至少一个预览图像。

根据另一实施例，图像处理设备还包括成像装置，被配置为采集视点图像；显示器，被配置为显示对象图像；和用户界面，被配置为设置显影参数。

根据另一实施例，内插处理单元被配置为基于多个视点图像获取对象图像的深度信息，并基于多个视点图像和深度信息生成多个内插图像。

根据一个实施例，提供了一种图像处理方法，包括：基于多个视点图像生成多个内插图像；和基于显影参数和与多个内插图像和多个视点图像相关联的多个射线向量显影对象图像。

根据一个实施例，提供了一种信息处理设备，包括：成像单元，被配置为获取对象的多个视点图像；和通信单元，被配置为传输视点图像和显影参数，并被配置为基于显影参数和使用视点图像生成的多个内插图像接收对象图像。

发明的有益效果

如上所述，根据本公开，能够容易地生成符合用户的意图的对象图像。

附图说明

[图1]图1是示出根据本公开的实施例的系统的配置的示意图。

[图2]图2是示出系统中的服务器的硬件配置的图。

[图3]图3是示出系统中的网络终端的硬件配置的框图。

[图4]图4是示出构成系统中的成像装置的相机模块的一个配置实例的示意透视图。

[图5]图5是构成成像装置的相机阵列的示意透视图。

[图6]图6是示出服务器的软件模块的配置的框图。

[图7]图7是示出由相机阵列获取的多个视点图像的图。

[图8]图8是示出由服务器生成的内插图像的实例的图。

[图9]图9是用于描述虚拟透镜阵列的示意透视图。

[图10]图10是示出仅由相机阵列获取的各个视点图像的射线向量的示意图。

[图11]图11是示出具有多个视点图像和多个内插图像的射线向量的虚拟空间的示意图。

[图12]图12是图11中所示的虚拟空间的概念图，其中布置了对应于显影参数的光学系统。

[图13]图13是示出其中使用虚拟图像传感器采样入射到光学系统上的射线向量的状态的概念图。

[图14]图14是生成服务器的基本处理过程的流程图。

[图15]图15是示出系统中的服务器、网络终端和成像装置中的每个的基本操作流程的序列图。

[图16]图16是示出服务器、网络终端和成像装置中的每个的处理流程的流程图。

[图17]图17是生成服务器和网络终端中的每个的处理流程的流程图。

[图18]图18是示出由服务器和显影参数生成的预览图像的实例的示意图。

[图19]图19是示出根据本发明另一实施例的信息处理设备的硬件配置的框图。

具体实施方式

下面，将参考附图描述本公开的实施例。

[系统的网络配置图]图1是示出根据本公开的实施例的系统的配置的示意图。

如图1所示，系统包括云上的服务器100、用户的网络终端200和成像装置300。

网络终端200通常是信息处理设备，诸如PC(个人计算机)、智能电话、移动电话、平板PC和PDA(个人数字助理)。

成像装置300是采集静止图像的数码静态相机或采集运动图像的数字视频相机。在本实施例中，特别而言，成像装置300包括能够获取对象的多个视点图像的相机阵列。

网络终端200和成像装置300可以有线或无线方式彼此通信。由成像装置300获取的对象的成像数据可被传输到网络终端200。网络终端200和成像装置300可以是移动终端400(图1)，其中网络终端200和成像装置300彼此集成。

在网络(诸如因特网50)上，服务器100和网络终端200可彼此通信，或服务器100和移动终端400可彼此通信。

在该系统中，网络终端200的用户可使用由服务器100提供的显影处理系统。如后面将要描述的，服务器100具有如下作为图像处理设备的功能：例如基于从网络终端200传输的多个视点图像的数据对对象的图像进行显影处理。

(服务器的硬件配置)图2是示出服务器100的硬件配置的图。

如图2所示，服务器100包括CPU(中央处理单元)101、ROM(只读存储器)102、RAM(随机存取存储器)103、输入/输出接口105和将上述组件彼此连接的总线104。

CPU101被用作控制器，其根据需要访问RAM103等并对服务器100的整个块进行整体控制，同时进行各种类型的计算处理。ROM102是非易失性存储器，由CPU101执行的OS和固件(诸如程序和各种参数)固定地存储在其中。RAM103用作CPU101的工作区等并暂时存储OS、执行中的各种应用和各条被处理的数据。

显示器106、操作接收单元107、存储器108、通信单元109等连接到输入/输出接口105。

显示器106是显示装置，其使用例如LCD(液晶显示器)、OELD(有机电致发光显示器)或CRT(阴极射线管)。操作接收单元107是例如指示装置，诸如鼠标、键盘、触摸面板或其它输入装置。在其中操作接收单元107是触摸面板的情况下，触摸面板可与显示器106一体形成。

存储器108是例如HDD(硬盘驱动器)、闪速存储器(SSD(固态驱动器))或其它非易失性存储器，诸如固态存储器。存储器108存储OS、各种应用和各种类型的数据。在本实施例中，特别而言，存储器108从网络终端200(或移动终端400)接收对象的多个视点图像的数据并将数据存储在其中。此外，存储器108存储对应于进行显影处理所必需的多个显影参数的各种类型的光学系统的信息。

通信单元109是NIC(网络接口卡)，其用于通过电缆或用于无线通信的模块连接到因特网50或LAN(局域网)。通信单元109与网络终端200(或移动终端400)通信。通信单元109从网络终端200(或移动终端400)接收多个视点图像并将对象的显影图像传输到网络终端200(或移动终端400)。

(网络终端的硬件配置)图3是示出网络终端200的硬件配置的框图。

如图3所示，网络终端200包括CPU201、RAM202、非易失性存储器203、显示器204和通信单元205。

CPU201根据需要访问RAM202等并对网络终端200的整个块进行整体控制，同时进行各种计算处理。RAM202用作CPU201的工作区等且暂时存储OS、执行中的各种应用和被处理的各条数据。

非易失性存储器203是快闪存储器或ROM，例如固定地存储由CPU201和固件(诸如程序(应用))和各种参数执行的OS。此外，非易失性存储器203存储静止图像数据(照片数据)或由成像装置300采集的移动图像数据。照片数据包括由构成成像装置300的多视点相机采集的多个视点图像的数据等。

显示器204是例如LCD或OELD且被配置为显示各种菜单、应用的GUI等。通常，显示器204与触摸面板一体形成并且能够接收用户的触摸操作。

通信单元205使用无线LAN(IEEE802.11等)(诸如Wi-Fi(无线保真)或用于移动通信的3G或4G网络)与服务器100、成像装置300、相邻的便携终端等通信。

(成像装置的配置)成像装置300由相机阵列(多视点相机)(其中多个照相机模块以矩阵布置在平面上)构成。图4是示出相机模块310的一个配置实例的示意透视图。图5是包括多个相机模块310的相机阵列320的示意透视图。

相机模块310由固态成像装置(诸如CMOS(互补金属氧化物半导体)传感器和CCD(电荷耦合器件)传感器)构成。图5示出其中θ角度的视角的九个相机模块310布置在平面上的实例，但布置的相机模块310数量不限于此。在下面的描述中，九个相机模块也被称为相机11、相机12、相机13、相机21、相机22、相机23、相机31、相机32和相机33，如图5所示。

在成像装置300中，对象同时由个人相机模块310成像，使得多个对象的视点图像(其对应于各自相机模块310的位置)被获取。如此获得的视点图像的数据经由网络终端200的通信单元205存储在非易失性存储器203中或经由通信单元205传输到服务器100。

应指出，相机阵列并入其中的成像单元206添加作为移动终端400的硬件配置，其中网络终端200和成像装置300彼此集成，如图3所示。

(服务器的软件模块配置)图6是示出服务器100的软件模块的配置的框图。如图6所示，服务器100包括通信控制器111、内插处理单元112、显影处理单元113等。

通信控制器111与通信单元109合作工作，以与网络终端200(或移动终端400)交换各种信息。特别而言，通信控制器111接收对象图像信息和各种显影参数(其从网络终端200(或移动终端400)传输)的输入。此外，通信控制器111可具有与网络服务器的前端的功能相同的功能。例如，通信控制器111可处理基本网络操作，诸如主页的输出。

(内插处理单元)

基于从网络终端200(或移动终端400)传输的多个视点图像，内插处理单元112生成内插视点图像的的多个内插图像。内插处理单元112通过内插技术基于两个相邻视点图像的中间图像。

图7示出由设置在成像装置300或便携终端的成像单元206中的相机阵列320获得的多个视点图像。相机图像11是来自相机11的视点图像，相机图像12是来自相机12的视点图像且相机图像13是来自相机13的视点图像。类似地，相机图像21、相机图像22、相机图像23、相机图像31、相机图像32和相机图像33分别是来自相机21、相机22、相机23、相机31、相机32和相机33的视点图像。

内插处理单元112生成位于这些相机图像之间的多个内插图像。具体而言，内插处理单元112生成位于将相机图像11耦合到相机图像12的直线上的内插图像02。类似地，内插处理单元112生成位于将相机图像11耦合到相机图像22的直线上的内插图像08。在内插图像25和内插图像29，或内插图像02和内插图像35生成之后，生成内插图像27。

以这样的方式，内插处理单元112生成内插相机图像11至33之间的间隙的多个内插图像01至72，如图8所示。在上述的实例中，已经描述了其中内插处理单元112在相机图像中的两个之间生成三个内插图像，但内插图像的数量不限于此。考虑到最终生成的对象图像的图像质量、计算时间、计算成本等，内插图像的数量可被自由设置。

通过生成内插图像的01至072，图像信息(射线信息)(类似于由包括如图9所示的许多相机模块的相机阵列330采集的图像信息)可由包括少数相机模块的相机阵列320获得。在这里，假设一个对象图像的水平和垂直分辨率是a*b像素且获得由“m”行“n”列布置的这样的图像，采样角度或通过点不同的a*b*m*n条射线信息。

生成内插图像的方法没有特别的限制。在本实施例中，内插处理单元112基于多个视点图像生成对象图像的深度信息并基于多个视点图像和深度信息生成多个内插图像。

深度信息通过进行在一个视点图像的左、右、顶部和底部匹配多次的立体获得。立体匹配是指用于计算距离的算法。在立体匹配中，图像的深度信息通过沿一定方向(例如水平方向)使用每个都具有不同视差的多个视点图像的图像处理获得。具体而言，两个视点图像彼此按顺序在局部区域比较，以获得视点图像之间的相位差(视差)，使得基于相位差来计算距离。获取深度信息的方法不限于上述实例。可采用另一种方法，诸如块匹配。

(显影处理单元)

显影处理单元113通过使用多个视点图像和多个内插图像的射线向量和从多个显影参数中选择的参数显影(重构)对象图像。

由相机阵列320获取的多个视点图像和由内插处理单元112生成的多个内插图像包含被检体图像的各个视点的光向量信息。图10是示出仅由相机阵列320获取的各自视点图像410的射线向量的各示意图。图11是示出具有多个视点图像和由内插处理生成的多个内插图像的射线向量420的虚拟空间的示意图。

显影处理单元113通过使用这些射线向量的射线向量信息和由用户选择的显影参数执行光学模拟生成对象图像。用于执行光学模拟和由用户选择的多种类型的显影参数的程序被存储在服务器100的存储器108中。

存储器108存储对应于多个显影参数的各种类型光学系统的信息。显影参数包括透镜、滤波器、聚焦位置、光圈值、白平衡、曝光补偿值等的设计信息(透镜的形状、布置、材料的质量、涂层等)。上述显影参数参数中的一个或多个参数由用户选择。因此，对象图像可在按照用户的期望的显影条件下显影。

如上所述，存储器108存储对应于多个显影参数的不同类型光学系统的信息。显影处理单元113选择不同类型光学系统中的一个，其信息被存储在存储器108中，并生成在射线向量入射在光学系统上时获取的图像作为对象图像。

图12是具有射线向量420的虚拟空间的概念图，对应于显影参数的光学系统(虚拟透镜430、光圈431)布置在其中。图13是示出其中使用虚拟图像传感器440采样入射到虚拟透镜430的光学系统上的射线向量420和光圈431的状态的概念图。

例如，如果获得产生一定单透镜反射相机的可互换透镜的光学设计信息，则可从a*b*m*n条射线信息中选择仅进入可互换透镜的孔径平面并穿过可更换镜头内部的射线的信息，并进行光学模拟以确定那些射线最终到达虚拟成像装置的哪个点。由虚拟成像装置检测的每个像素的颜色和亮度通过基于到达每个像素的射线和到达像素的周围的射线的类比推理来确定。以这样的方式，高密度射线信息允许成像后使用可选透镜改变聚焦位置或光圈任意次数，使得虚拟成像可进行。此外，高密度射线信息允许其显影参数改变的图像的重构。

显影参数根据用户的指令来确定。在本实施例中，显影处理单元113控制通信单元109使得显影参数的多个选择候补被传输到网络终端200(或移动终端400)且所选择的选择候补被从网络终端200(或移动终端400)接收。

(服务器的处理过程的概要)

图14是表示服务器100的基本处理过程的流程图。

服务器100进行从网络终端200(或移动终端400)接收多个视点图像的步骤(ST11)、获取图像的深度信息的步骤(ST12)、生成内插图像的步骤(ST13)，和显影对象图像并将其传输到网络终端200(或移动终端400)的步骤(ST14)。在生成内插图像的步骤中，基于多个视点图像生成内插多个视点图像的多个内插图像。在显影对象图像的步骤中，对象图像通过使用多个视点图像和多个内插图像的射线向量和所选择的显影参数显影。

(系统的操作)接下来，将描述如上所述配置的系统的细节连同服务器100、网络终端200和成像装置300每个的操作说明。在本实施例中，服务器100和网络终端200中的操作与CPU和在CPU的控制下执行的软件模块合作进行。

图15是示出服务器100、网络终端200和成像装置300中的每个的基本操作流程的时序图。图16是示出服务器100、网络终端200和成像装置300中的每个的处理流程的流程图。图17是生成服务器100和网络终端200中的每个的处理流程的流程图。

成像装置300确定是否由用户按下快门按钮(步骤301)。在按下快门按钮时，相机阵列320同时采集N个视点的视点图像(在本实施例中是九个视点)(步骤302)。

随后，成像装置300通过使用相邻视点图像之间的相关性压缩所获取的视点图像(步骤303)，并通过有线或无线的方式将图像传输请求传输到网络终端200(步骤304)。图像传输请求被重复发送，直到图像传输请求在网络终端200被接受(步骤305)。

网络终端200经由通信单元205从成像装置300接收图像传输请求。当接收到图像传输请求时，网络终端200将传输发送许可传输到成像装置300(步骤401和402)。在从网络终端200接收到传输许可之后，成像装置300以有线或无线方式将压缩图像传输到网络终端200(步骤306)。成像装置300执行上述处理，直到进行关闭电源的操作(步骤307)。

网络终端200经由通信单元205从成像装置300接收多个视点图像的压缩图像(步骤403)。网络终端200将接收的压缩图像存储在非易失性存储器203中。网络终端200经由通信单元205上传(传输)压缩图像到服务器100(步骤404)。

在视点图像的压缩处理中，例如，可使用用于压缩运动图像的算法。在成像装置300中获取的多个视点图像可不被压缩的情况下传输到网络终端200。提供视点图像的压缩，被传输到网络终端200的数据量可被抑制。或者，压缩图像可在网络终端200中生成，因此，成像装置300上的处理负荷可减少。

另一方面，服务器100确定是否经由通信单元109使压缩图像上传到存储器108(步骤501)。在检查上传的压缩图像之后，服务器100解压缩压缩后图像以获得N个视点的原始视点图像，并将原始视点图像存储在存储器108中(步骤502)。

接下来，服务器100生成要在网络终端200的显示器204上显示的低分辨率预览图像(步骤503)。基于N个视点的视点图像(其从网络终端200被传输)生成预览图像。在生成预览图像之后，服务器100将指示预览图像是可用的通知经由通信单元205传输到网络终端200(步骤504)。

网络终端200检查是否在将压缩图像传输到服务器100之后在服务器100中生成预览图像(步骤405)。当从服务器100接收到指示预览图像已准备好要传输的通知时，网络终端200从服务器100接收预览图像(步骤406)。所接收的预览图像被显示在网络终端200的显示器204上，且用户检查要显影的图像。

预览图像不限于如上所述由服务器100生成的一个图像，且可例如由网络终端200生成。此外，仅一个预览图像可生成或显影参数改变的一些样本图像可生成。

在预览图像被传输时或被传输之后，服务器100将显影参数传输到网络终端200，且网络终端200在显示器204上显示所传输的显影参数(步骤407)。因此，可提供给用户非常方便的显影服务。

显影参数可以是例如预览图像被叠加在其上的GUI(图形用户界面)。在接收到由用户的选择操作时，网络终端200设置用户所希望的显影参数(步骤408)。在其中多个样本图像被制备为预览图像的情况下，网络终端200可改变显示屏幕来显示几乎对应于所选择的显影参数的预览图像(步骤409)。在完成显影参数的设置之后，网络终端200将显影参数传输到服务器100(步骤410和411)。

图18是示出预览图像Pv和显影参数(其被显示在显示器204上)的实例的示意图。在本实例中，显示器204包括触摸面板并且被配置为使得显影参数由用户U的触摸操作选择。作为显影参数，透镜单元的选择候补DL、光圈形状的选择候补DA、聚焦位置设置部分DF等被显示。

在透镜单元的选择候补DL中，可用于显影的一些光学透镜单元的配置文件数据被显示为数字并由用户U的触摸操作选择。在光圈形状的选择候补DA中，可用于显影的一些光圈的形状被显示为数字且由用户U的触摸操作选择。聚焦位置设置部分DF通过垂直移动图18中的设置杆Fb在图像中设置聚焦位置。聚焦位置可被设置在屏幕内的用户U的触摸位置处。在这种情况下，设置杆可与触摸位置相结合而移动。

作为透镜单元的选择候补DL，不仅可准备目前可用透镜单元的各种类型的配置文件数据而且也可准备物理上难以产生的稀有(rare)透镜或虚拟透镜的配置文件数据。在这方面，在其中使用吸引用户的兴趣的特殊透镜重构图像的情况下，可收取配置文件数据的费用。

显影参数的选择图像(DL、DA、DF)可显示在显示器204的屏幕中的任何位置处。此外，作为显影参数，白平衡、曝光补偿值等可由其调整的GUI可一起显示。或者，在显影参数中，收费参数可被设置。此外，显影参数的选择不受用户的触摸操作的选择的限制。显影参数可在屏幕内通过由鼠标操作移动的指示器的移动和选择操作来选择。

另一方面，在其中用户通过使用不同于所选择的显影参数的显影参数请求对象图像的生成的情况下，网络终端200可接收不同于设置显影参数的显影参数的选择(步骤412)。在这种情况下，新设置的显影参数通过上述处理被传输到服务器100(步骤408到411)。

在从网络终端200接收显影参数之后，服务器100根据显影参数生成高分辨率最终图像(步骤506)。最终图像通过获取深度信息并生成内插图像的步骤和使用视点图像和内插图像的射线向量信息和所选择的显影参数显影对象图像的步骤生成(步骤12和13)，(步骤14)，如图14所示。换言之，服务器100对上传的视点图像进行内插处理以将上传的视点图像转换成高密度射线信息。此外，服务器100使用显影参数(诸如透镜的设置配置文件数据)执行光学模拟以生成最终图像。

服务器100通知网络终端200最终图像(对象图像)的生成(步骤507)。在从服务器100接收到通知时，网络终端200下载所生成的最终图像(步骤414和415)。网络终端200在显示器204上显示所下载的最终图像，使得用户可查看图像(步骤416)。此外，网络终端200由用户检查图像是否被存储(步骤417)。作为图像是否被存储的选择可被显示在显示器204上。

在由用户选择的显影参数是付费显影参数的情况下，网络终端200在显示器204上显示寻求批准收费的消息(步骤418和419)。在用户同意收费的情况下，网络终端200进行必要的电子支付处理且然后将所下载的最终图像存储在网络终端200的非易失性存储器中或203中或服务器100的存储器108中(步骤421)。另一方面，在显影参数不收费的情况下，无须缴费并执行上述存储处理。

在再次接收到不同类型的显影参数时，服务器100再次执行上述处理以生成最终图像(第二次显影)。在这种情况下，网络终端200再次执行上述处理并在必要时执行最终的图像的存储和电子支付处理。

如上所述，在本实施例中，服务器100被配置为包括内插处理单元112和显影处理单元113的图像处理设备。通过图像处理设备，能够生成这样的图像，其在使用大量视点图像时获得。因此，符合用户的意图的对象图像可容易生成。

在本实施例中，云中的服务器100用于显影由成像装置300采集的对象图像。因此，成像装置没有必要来进行大量的计算处理，诸如内插处理和显影处理(这在服务器100中进行)，其结果是，成像装置的成本和功耗可降低。此外，由于成像装置300和网络终端200(其功能作为查看器)彼此分离，可灵活地进行使用容易携带的成像装置进行的成像。

根据本实施例，在对象被成像之后可设置聚焦位置或光圈。因此，即使图像模糊或设置视场的深度有误差，也可获得符合用户的意图的高品质对象图像。

根据本实施例，显影所需的多个显影参数在服务器100中准备。所以无需携带沉重、长筒可换镜头，其结果是可在成像后获得相当于使用一些可互换镜头采集的一个图像的图像。此外，没有必要将沉重、长筒透镜单元安装到成像装置300上，其结果是，甚至可用小的轻量薄型成像装置即可采集高质量图像。

图19是示出根据本发明另一实施例的信息处理设备的硬件配置的框图。

在本实施例中，将描述其中第一实施例中所描述的系统由单个信息处理设备500构成的实例。信息处理设备500包括成像单元510、显示器520、存储器530、通信单元540和CPU550。

成像单元510对应于成像装置300或第一实施例中描述的成像单元206，并包括能够采集多个视点图像的多视点相机。

显示器520用于显示对象的预览图像(其基于由成像单元510获取的多个视点图像获取而生成)、用于设置显影参数、用于显示通过CPU550等的计算处理而生成的对象像的最终图像。

存储器530存储由成像单元510获取的多个视点图像、多个显影参数、由CPU550的计算处理生成的内插图像、最终图像等。存储在存储器530中的显影参数可经由通信单元540下载或者可从显影参数存储在其中的存储卡中读取。

通信单元540被配置为与外部网络终端或网络上的服务器设备进行通信。

CPU550控制成像单元510、显示器520、存储器530和通信单元540中的每个的操作。CPU550基于多个视点图像生成内插多个视点图像的多个内插图像。CPU550通过使用多个视点图像的射线向量和内插图像和存储在存储器530中并由用户选择的显影参数显影对象图像。由CPU550进行的视点图像的插值处理、显影处理等与上面第一实施例中所描述的服务器100的那些相同，并因此在这里将省略对它们的描述。

此外，在本实施例的信息处理设备500中，可获得与上述第一实施例中的那些相同的作用和效果。

虽然已经在上面描述了本公开的实施例，但是本公开不限于上述实施例，且在作为理所当然的事不脱离本公开的主旨的情况下，可进行各种修改。

例如，在上述实施例中，生成使用N个视点的视点图像生成的低分辨率预览图像作为预览图像。然而，可使用已经经受内插处理的高分辨率图像数据生成预览图像。

此外，设置显影参数的方法不限于使用GUI的选择操作。也可进行参数的模拟设置(其涉及输入数值的操作)。

此外，关于存储在服务器100的存储器108中的显影参数的透镜设计信息，通常使用的透镜设计信息可在云服务器100中管理，且透镜的名称或类型可在网络终端200中管理或选择。

此外，透镜设计信息可被记录在存储卡中且存储卡可被安装到成像装置300或网络终端200中，使得可设置必要的显影参数。

在上述实施例中，已经描述了其中对象图像由用户指定的光学系统中的多个视点图像重构的实例，但是可从多个视点图像生成三维(3D)图像。

此外，在上述实施例中，视点图像的内插处理和显影处理可由服务器100进行，但是本公开不限于此。上述视点图像的内插处理和显影处理可由网络终端200进行。

应指出，本公开可采取以下配置。

(1)一种图像处理设备，包括：

内插处理单元，被配置为基于多个视点图像生成多个内插图像，所述多个内插图像内插多个视点图像；

存储器，被配置为存储多个显影参数；和

显影处理单元，被配置为通过使用多个视点图像和多个内插图像的射线向量和从多个显影参数选择的参数显影对象图像。

(2)根据(1)所述的图像处理设备，其中

存储器被配置为存储对应于多个显影参数的多个类型的光学系统的信息，且

显影处理单元被配置为

从多个类型的光学系统选择其信息存储在存储器中的至少一个光学系统，并

生成在射线向量入射到所选择的光学系统上时获得的图像作为对象图像。

(3)根据(1)或(2)所述的图像处理设备，其中

内插处理单元被配置为

基于多个视点图像获取对象图像的深度信息，并

基于多个视点图像和深度信息生成多个内插图像。

(4)根据(1)至(3)中任一项所述的图像处理设备，其还包括通信单元，被配置为从信息处理设备接收多个视点图像并将对象图像传输到信息处理设备。

(5)根据(4)所述的图像处理设备，其中

显影处理单元被配置为控制通信单元以将多个显影参数的选择候补传输到信息处理设备并从信息处理设备接收所选择的选择候补。

(6)根据(5)所述的图像处理设备，其中

选择候补包括构成对应于参数的光学系统的透镜、聚焦位置和光圈值的信息中的至少一个。

(7)一种信息处理设备，包括：

成像单元，被配置为采集多个视点图像；和

控制器，被配置为

基于多个视点图像生成多个内插图像、多个内插图像内插多个视点图像，并

通过使用多个视点图像和多个内插图像的射线向量和预先选择的显影参数显影对象图像。

(8)一种信息处理设备，包括：

通信单元，被配置为与服务器通信；和

控制器，被配置为控制通信单元以将多个视点图像和由用户选择的显影参数传输到服务器，并

通过使用多个视点图像和内插多个视点图像的多个内插图像的射线向量和所选择的显影参数从服务器接收由服务器生成的对象图像。

(9)根据(8)所述的信息处理设备，其还包括成像单元，被配置为获取多个视点图像。

(10)一种图像处理方法，包括：

通过使用多视点相机获取多个视点图像；

基于多个视点图像生成多个内插图像，多个内插图像内插多个视点图像；

选择显影参数；和

通过使用多个视点图像和多个内插图像的射线向量和所选择的显影参数显影对象图像。

(11)一种图像处理设备，包括：

内插处理单元，被配置为基于多个视点图像生成多个内插图像；和

显影处理单元，被配置为基于显影参数和与多个内插图像和多个视点图像相关联的多个射线向量显影对象图像。

(12)根据(11)所述的图像处理设备，其还包括：

存储单元，被配置为存储对应于多个显影参数的多个光学系统的信息，

其中显影处理单元选择对应于显影参数的至少一个光学系统并生成在所述射线向量入射到所选择的至少一个光学系统上时获得的图像作为对象图像。

(13)根据(11)或(12)所述的图像处理设备，其中显影参数包括透镜、滤波器、聚焦位置、光圈值、白平衡和曝光补偿值的设计信息中的至少一个。

(14)根据(11)、(12)和(13)中任一项所述的图像处理设备，其还包括：

通信单元，被配置为从信息处理设备接收多个视点图像，并将对象图像传输到信息处理设备。

(15)根据(14)所述的图像处理设备，其中显影处理单元被配置为控制通信单元以将多个显影参数的多个选择候补传输到信息处理设备，并从信息处理设备接收所选择的选择候补。

(16)根据(11)、(12)、(13)、(14)和(15)中任一项所述的图像处理设备，其中显影参数由用户从多个显影参数选择。

(17)根据(11)、(12)、(13)、(14)、(15)和(16)中任一项所述的图像处理设备，其中显影处理单元被配置为基于视点图像中显影至少一个预览图像。

(18)根据(11)、(12)、(13)、(14)、(15)、(16)和(17)中任一项所述的图像处理设备，其还包括：

成像装置，被配置为采集视点图像；

显示器，被配置为显示对象图像；和

用户界面，被配置为设置显影参数。

(19)根据(11)、(12)、(13)、(14)、(15)、(16)、(17)和(18)中任一项所述的图像处理设备，其中内插处理单元被配置为基于多个视点图像获取对象图像的深度信息，并基于多个视点图像和深度信息生成多个内插图像。

(20)一种图像处理方法，包括：

基于多个视点图像生成多个内插图像；和

基于显影参数和与多个内插图像和多个视点图像相关联的多个射线向量显影对象图像。

(21)根据(20)所述的图像处理方法，其还包括：

存储对应于多个显影参数的多个光学系统的信息，

选择对应于显影参数的至少一个光学系统；和

生成在射线向量入射到所选择的至少一个光学系统上时获得的图像作为对象图像。

(22)根据(20)或(21)所述的图像处理方法，其中显影参数包括透镜、滤波器、聚焦位置、光圈值、白平衡和曝光补偿值的设计信息中的至少一个。

(23)根据(20)、(21)和(22)中任一项所述的图像处理方法，其还包括：

经由通信单元从信息处理设备接收多个视点图像，和

经由所述通信单元将对象图像传输到信息处理设备。

(24)根据(23)所述的图像处理方法，其还包括：

控制通信单元以将多个显影参数的多个选择候补传输到信息处理设备，并从信息处理设备接收所选择的选择候补。

(25)根据(20)、(21)、(22)、(23)和(24)中任一项所述的图像处理方法，其中显影参数由用户从多个显影参数选择。

(26)根据(20)、(21)、(22)、(23)、(24)和(25)中任一项所述的图像处理方法，其还包括：

基于视点图像显影至少一个预览图像。

(27)根据(20)、(21)、(22)、(23)、(24)、(25)和(26)中任一项所述的图像处理方法，其还包括：

采集视点图像；

显示对象图像；和

经由用户界面选择显影参数。

(28)根据(20)、(21)、(22)、(23)、(24)、(25)、(26)和(27)中任一项所述的图像处理方法，其还包括：

基于多个视点图像获取对象图像的深度信息；和

基于多个视点图像和深度信息生成多个内插图像。

(29)一种信息处理设备，包括：

成像单元，被配置为获取对象的多个视点图像；和

通信单元，被配置为传输视点图像和显影参数，并被配置为基于显影参数和使用视点图像生成的多个内插图像接收对象图像。

(30)根据(29)所述的信息处理设备，其还包括：

用户界面，被配置为从多个显影参数选择显影参数。

(31)根据(29)或(30)所述的信息处理设备，其还包括：

存储单元，被配置为存储对应于多个显影参数的多个光学系统的信息，

其中选择对应于显影参数的至少一个光学系统，且生成对象图像作为在射线向量入射到所选择的至少一个光学系统上时获得的图像。

本申请包含涉及在于2012年5月11日提交日本专利局的日本优先权专利申请JP2012-109898中公开的主题，所述申请的全部内容在此通过引用的方式并入本文。

本领域技术人员应理解，可根据设计要求和其它因素进行各种修改、组合、子组合和变更，只要它们在所附权利要求或其等同物的范围内即可。

参考符号列表

100 服务器

108 存储器

112 内插处理单元

113 显影处理单元

200 网络终端

300 成像装置

500 信息处理设备

Claims (21)

1.一种图像处理设备，包括：

内插处理单元，被配置为基于多个视点图像生成多个内插图像；

显影处理单元，被配置为基于显影参数和与所述多个内插图像和所述多个视点图像相关联的多个射线向量显影对象图像；以及

存储单元，被配置为存储对应于多个显影参数的多个光学系统的信息，

其中，所述显影参数是设计信息。

2.根据权利要求1所述的图像处理设备，其中，所述显影处理单元选择对应于所述显影参数的至少一个光学系统并生成在所述射线向量入射到所选择的至少一个光学系统上时获得的图像作为所述对象图像。

3.根据权利要求2所述的图像处理设备，其中，所述显影参数包括透镜、滤波器、聚焦位置、光圈值、白平衡和曝光补偿值的设计信息中的至少一个。

4.根据权利要求1所述的图像处理设备，还包括：

通信单元，被配置为从信息处理设备接收所述多个视点图像，并将所述对象图像传输到所述信息处理设备。

5.根据权利要求4所述的图像处理设备，其中，所述显影处理单元被配置为控制所述通信单元以将所述多个显影参数的多个选择候补传输到所述信息处理设备，并从所述信息处理设备接收所选择的选择候补。

6.根据权利要求2所述的图像处理设备，其中，所述显影参数由用户从所述多个显影参数选择。

7.根据权利要求1所述的图像处理设备，其中，所述显影处理单元被配置为基于所述视点图像显影至少一个预览图像。

8.根据权利要求1所述的图像处理设备，还包括：

成像装置，被配置为采集所述视点图像；

显示器，被配置为显示所述对象图像；和

用户界面，被配置为设置所述显影参数。

9.根据权利要求1所述的图像处理设备，其中，所述内插处理单元被配置为基于所述多个视点图像获取所述对象图像的深度信息，并基于所述多个视点图像和所述深度信息生成所述多个内插图像。

10.一种图像处理方法，包括：

基于多个视点图像生成多个内插图像；

基于显影参数和与所述多个内插图像和所述多个视点图像相关联的多个射线向量显影对象图像；以及

存储对应于多个显影参数的多个光学系统的信息，

其中，所述显影参数是设计信息。

11.根据权利要求10所述的图像处理方法，还包括：

选择对应于所述显影参数的至少一个光学系统；和

生成在所述射线向量入射到所选择的至少一个光学系统上时获得的图像作为所述对象图像。

12.根据权利要求11所述的图像处理方法，其中，所述显影参数包括透镜、滤波器、聚焦位置、光圈值、白平衡和曝光补偿值的设计信息中的至少一个。

13.根据权利要求10所述的图像处理方法，还包括：

经由通信单元从信息处理设备接收所述多个视点图像，和

经由所述通信单元将所述对象图像传输到所述信息处理设备。

14.根据权利要求13所述的图像处理方法，还包括：

控制所述通信单元以将所述多个显影参数的多个选择候补传输到所述信息处理设备，并从所述信息处理设备接收所选择的选择候补。

15.根据权利要求10所述的图像处理方法，还包括：

基于所述视点图像显影至少一个预览图像。

16.根据权利要求10所述的图像处理方法，还包括：

采集所述视点图像；

显示所述对象图像；和

经由用户界面选择所述显影参数。

17.根据权利要求10所述的图像处理方法，还包括：

基于所述多个视点图像获取所述对象图像的深度信息；和

基于所述多个视点图像和所述深度信息生成所述多个内插图像。

18.一种信息处理设备，包括：

成像单元，被配置为获取对象的多个视点图像；

通信单元，被配置为传输所述视点图像和显影参数，并被配置为基于所述显影参数和使用所述视点图像生成的多个内插图像接收对象图像；以及

存储单元，被配置为存储对应于多个显影参数的多个光学系统的信息，

其中，所述显影参数是设计信息。

19.根据权利要求18所述的信息处理设备，还包括：

用户界面，被配置为从多个显影参数选择显影参数。

20.根据权利要求18所述的信息处理设备，其中，选择对应于所述显影参数的至少一个光学系统，且生成所述对象图像作为在射线向量入射到所选择的至少一个光学系统上时获得的图像。

21.根据权利要求19所述的信息处理设备，还包括

显影处理单元，被配置为控制所述通信单元以将所述多个显影参数的多个选择候补传输到所述信息处理设备，并从所述信息处理设备接收所选择的选择候补。