CN109923854A - 图像处理装置、图像处理方法以及程序 - Google Patents

图像处理装置、图像处理方法以及程序 Download PDF

Info

Publication number
CN109923854A
CN109923854A CN201780067930.0A CN201780067930A CN109923854A CN 109923854 A CN109923854 A CN 109923854A CN 201780067930 A CN201780067930 A CN 201780067930A CN 109923854 A CN109923854 A CN 109923854A
Authority
CN
China
Prior art keywords
image
viewpoint
pixel
shift amount
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780067930.0A
Other languages
English (en)
Other versions
CN109923854B (zh
Inventor
早坂健吾
井藤功久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN109923854A publication Critical patent/CN109923854A/zh
Application granted granted Critical
Publication of CN109923854B publication Critical patent/CN109923854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本技术涉及能够实现被赋予期望的模糊的重聚焦的图像处理装置、图像处理方法以及程序。聚焦处理单元执行聚焦处理，在该处理中，根据移位量对来自多个视点的图像的像素进行移位，并且对像素值进行累计以生成聚焦于规定距离处的处理结果图像。在聚焦处理中，根据通过使用每个视点的校正系数对移位量进行校正而获得的经校正的移位量来使像素移位。本技术适用于根据来自多个视点的图像获得重聚焦图像的情况。

Description

图像处理装置、图像处理方法以及程序
技术领域
本技术涉及图像处理装置、图像处理方法以及程序，并且更具体地，涉及用于实现例如伴随有期望的模糊的重聚焦的图像处理装置、图像处理方法以及程序。
背景技术
已经提出了一种用于根据多个视点的图像来重建重聚焦图像、即、例如用改变了焦点的光学系统捕获的图像等的光场技术(例如，参见非专利文献1)。
例如，非专利文献1公开了一种使用由100个相机形成的相机阵列的重聚焦方法。
引用列表
非专利文献
非专利文献1：Bennett Wilburn等人所著的“High Performance Imaging UsingLarge Camera Arrays”
发明内容
本发明要解决的问题
对于重聚焦，预计对在保持聚焦的同时实现伴随有整个图像的期望的模糊的重聚焦的需要在将来会增加。
鉴于这种情况而做出了本技术，并且本技术旨在实现伴随有期望的模糊的重聚焦。
问题的解决方案
根据本技术的图像处理装置或程序是：
图像处理装置，包括：获取单元，其获取多个视点的图像；以及聚光处理单元，其通过设定用于使多个视点的图像的像素移位的移位量、根据移位量使多个视点的图像的像素移位以及对像素值进行累计，来执行聚光处理以生成聚焦于预定距离处的处理结果图像，其中，聚光处理单元根据通过利用各个视点的校正系数校正移位量而获得的经校正的移位量来使像素移位，或者
用于使得计算机用作这种图像处理装置的程序。
根据本技术的图像处理方法是下述图像处理方法，其包括：获取多个视点的图像；以及通过设定用于使多个视点的图像的像素移位的移位量、根据移位量使多个视点的图像的像素移位以及对像素值进行累计，来执行聚光处理以生成聚焦于预定距离处的处理结果图像，其中，在聚光处理中，根据通过利用各个视点的校正系数校正移位量而获得的经校正的移位量来使像素移位。
在根据本技术的图像处理装置、图像处理方法以及程序中，获取多个视点的图像，并且通过设定用于使多个视点的图像的像素移位的移位量、根据移位量使多个视点的图像的像素移位以及对像素值进行累计，来执行聚光处理以生成聚焦于预定距离处的处理结果图像。在聚光处理中，根据通过利用各个视点的校正系数校正移位量而获得的经校正的移位量来使像素移位。
注意，图像处理装置可以是独立装置，或者可以是单个装置中的内部块。
此外，要提供的程序可以经由传送介质来传送或者可以记录在记录介质上。
本发明的效果
根据本技术，可以执行伴随有期望的模糊的重聚焦。
注意，本技术的效果不限于这里描述的效果，而是可以包括本公开中描述的任何效果。
附图说明
图1是示出应用本技术的图像处理系统的实施方式的示例配置的框图。
图2是图像捕获装置11的示例配置的后视图。
图3是图像捕获装置11的另外的示例配置的后视图。
图4是示出图像处理装置12的示例配置的框图。
图5是示出要由图像处理系统执行的示例处理的流程图。
图6是用于说明在插值单元32处生成插值图像的示例的图。
图7是用于说明在视差信息生成单元31处生成差异图(disparity map)的示例的图。
图8是用于说明通过要由聚光处理单元33执行的聚光处理进行重聚焦的概要的图。
图9是用于说明差异转换的示例的图。
图10是用于说明通过聚光处理进行重聚焦的概要的图。
图11是用于说明要由聚光处理单元33执行的聚光处理的示例的流程图。
图12是示出各个视点的校正系数的示例的图。
图13是示意性地示出在未校正聚焦偏移量DP#i的情况下聚集在聚焦目标像素上的光束的强度分布的示例的图。
图14是示意性地示出在校正了聚焦偏移量DP#i的情况下要聚集在聚焦目标像素上的光束的强度分布的示例的图。
图15是示意性地示出在校正了聚焦偏移量DP#i的情况下要聚集在聚焦目标像素上的光束的强度分布的示例的图。
图16是用于说明要由聚光处理单元33执行的聚光处理的另外的示例的流程图。
图17是示出应用本技术的计算机的实施方式的示例配置的框图。
具体实施方式
<应用本技术的图像处理系统的实施方式>
图1是示出应用本技术的图像处理系统的实施方式的示例配置的框图。
在图1中，图像处理系统包括图像捕获装置11、图像处理装置12和显示装置13。
图像捕获装置11从多个视点捕获对象的图像，并且例如将作为从多个视点进行捕获的结果而获得的(几乎)泛焦的图像(pan-focus image)提供给图像处理装置12。
图像处理装置12通过使用从图像捕获装置11提供的多个视点的捕获图像执行诸如用于生成(重建)聚焦于期望对象的图像的重聚焦的图像处理，并且将作为图像处理的结果而获得的处理结果图像提供给显示装置13。
显示装置13显示从图像处理装置12提供的处理结果图像。
注意，在图1中，构成图像处理系统的图像捕获装置11、图像处理装置12和显示装置13例如可以全部安装在诸如数字(静态/视频)相机、或者诸如智能电话的便携式终端等的独立设备中。
替选地，图像捕获装置11、图像处理装置12和显示装置13可以安装在彼此独立的设备中。
此外，图像捕获装置11、图像处理装置12和显示装置13中的任何两个装置可以安装在独立于安装有其余的一个装置的设备的设备中。
例如，图像捕获装置11和显示装置13可以安装在用户拥有的便携式终端中，而图像处理装置12可以安装在云中的服务器中。
替选地，图像处理装置12的一些块可以安装在云中的服务器中，而图像处理装置12的其余块、图像捕获装置11和显示装置13可以安装在便携式终端中。
<图像捕获装置11的示例配置>
图2是图1所示的图像捕获装置11的示例配置的后视图。
图像捕获装置11包括例如捕获具有作为像素值的RGB值的图像的多个相机单元(在下文中也被称为相机)21i，并且多个相机21i从多个视点捕获图像。
在图2中，图像捕获装置11包括例如作为多个相机的七个相机211、212、213、214、215、216和217，并且这七个相机211至217被布置在二维平面中。
此外，在图2中，七个相机211至217被布置成使得例如七个相机211至217中的一个(例如，相机211)被设置在中心，而另外六个相机212至217被设置在相机211周围以形成正六边形。
因此，在图2中，七个相机211至217中的一个相机21i(i＝1,2,...,或7)与最靠近该相机21i的相机21j(j＝1,2,...,或7)之间的距离(光轴之间的距离)为相同的距离B。
例如，相机21i与21j之间的距离B可以是大约20mm。在这种情况下，图像捕获装置11可以被设计成具有与诸如IC卡的卡的尺寸几乎相同的尺寸。
注意，构成图像捕获装置11的相机21i的数目不必然是七个，而是可以采用2到6的数目或者数目8或更大的数目。
此外，在图像捕获装置11中，除了将多个相机21i布置成形成诸如如上所述的正六边形的正多边形之外，还可以将多个相机21i设置在任何适当的位置处。
在下文中，在相机211至217中，设置在中心处的相机211也将被称为基准相机211，并且设置在基准相机211周围的相机212至217也将被称为外围相机212至217。
图3是图1所示的图像捕获装置11的另外的示例配置的后视图。
在图3中，图像捕获装置11包括九个相机2111至2119，并且这九个相机2111至2119被布置成三行和三列。3×3的相机21i(i＝11,12，...，和19)中的每个相机被设置在距相机21i上方、相机21i下方或者相机21i左侧或右侧的相邻相机21j(j＝11,12,...,或19)的距离B处。
在下面的描述中，除非另有说明，否则图像捕获装置11例如包括如图2所示的七个相机211至217。
同时，基准相机211的视点也被称为基准视点，并且由基准相机211捕获的捕获图像PL1也被称为基准图像PL1。此外，由外围相机21i捕获的捕获图像PL#i也被称为外围图像PL#i。
注意，如图2和图3所示，图像捕获装置11包括多个相机21i，但是也可以用例如由Ren.Ng和其他七人在“Light Field Photography with a Hand-Held PlenopticCamera”，斯坦福科技报告CTSR 2005-02中公开的微透镜阵列(MLA)来形成图像捕获装置11。即使在用MLA形成图像捕获装置11的情况下，也可以获得实质上从多个视点捕获的图像。
此外，从多个视点捕获图像的方法不必然是上述使图像捕获装置11包括多个相机21i的方法或者使得用MLA形成图像捕获装置11的方法。
<图像处理装置12的示例配置>
图4是示出图1所示的图像处理装置12的示例配置的框图。
在图4中，图像处理装置12包括视差信息生成单元31、插值单元32、聚光处理单元33和参数设定单元34。
图像处理装置12被提供有来自图像捕获装置11的由相机211至217从七个视点捕获的捕获图像PL1至PL7。
在图像处理装置12中，捕获图像PL#i被提供给视差信息生成单元31和插值单元323。
视差信息生成单元31使用从图像捕获装置11提供的捕获图像PL#i来获得视差信息，并将视差信息提供给插值单元32和聚光处理单元33。
具体地，例如，视差信息生成单元31执行获得从图像捕获装置11提供的各个捕获图像PL#i与其他捕获图像PL#j之间的视差信息的处理，作为对多个视点的捕获图像PL#i的图像处理。然后，视差信息生成单元31例如生成其中针对捕获图像的每个像素(的位置)登记了视差信息的图，并且将该图提供给插值单元32和聚光处理单元33。
这里，可以采用可以转换为视差的任何适当的信息，例如用像素数来表示视差的差异或与视差对应的深度方向上的距离，作为视差信息。在该实施方式中，例如，采用差异作为视差信息，并且在视差信息生成单元31中生成其中登记了差异的差异图作为其中登记了视差信息的图。
插值单元32使用来自图像捕获装置11的相机211至217的七个视点的捕获图像PL1至PL7以及来自视差信息生成单元31的差异图来执行插值，以生成要从除了相机211到217的七个视点之外的视点获得的图像。
这里，通过稍后描述的由聚光处理单元33执行的聚光处理，可以使包括多个相机211至217的图像捕获装置11用作以相机211至217作为合成光圈(synthetic aperture)的虚拟透镜。在图2所示的图像捕获装置11中，虚拟透镜的合成光圈具有连接外围相机212至217的光轴的、直径约为2B的大致圆形的形状。
例如，在视点是在以虚拟透镜的直径2B为一边的正方形(或者在虚拟透镜的合成光圈中内接的正方形)中等间隔的多个点或者视点是水平方向上的21个点以及竖直方向上的21个点的情况下，例如，插值单元32执行插值以生成多个视点——21×21-7个视点，即21×21个视点减去相机211至217的七个视点。
然后，插值单元32将相机211至217的七个视点的捕获图像PL1至PL7和通过使用捕获图像进行插值而生成的21×21-7个视点的图像提供给聚光处理单元33。
这里，在插值单元32中，通过使用捕获图像进行插值而生成的图像也被称为插值图像。
此外，作为从插值单元32提供给聚光处理单元33的相机211至217的七个视点的捕获图像PL1至PL7以及21×21-7个视点的插值图像的总和的21×21个视点的图像也被称为视点图像。
插值单元32中的插值可以被认为是根据相机211至217的七个视点的捕获图像PL1至PL7来生成更多数量的视点(在该情况下为21×21个视点)的视点图像的处理。生成大量视点的视点图像的处理可以被视为对从真实空间中的真实空间点进入以相机211至217作为合成光圈的虚拟透镜的光束进行再现的处理。
聚光处理单元33使用从插值单元32提供的多个视点的视点图像来执行聚光处理，聚光处理是等同于在真实相机中通过将来自对象的已经通过例如透镜的光学系统的光束聚集到图像传感器或胶片上来形成该对象的图像的图像处理。
在聚光处理单元33进行的聚光处理中，执行重聚焦以生成(重建)聚焦于期望对象的图像。使用从视差信息生成单元31提供的差异图和从参数设定单元34提供的聚光参数来执行重聚焦。
通过经由聚光处理单元33进行聚光处理而获得的图像作为处理结果图像被输出(至显示装置13)。
参数设定单元34将位于通过用户对操作单元(未示出)进行操作、预定应用等指定的位置处的捕获图像PL#i(例如，基准图像PL1)的像素设定为用于聚焦(或示出对象)的聚焦目标像素，并且将该聚焦目标像素作为聚光参数(的一部分)提供给聚光处理单元33。
除了上述之外，参数设定单元34还根据用户操作等设定稍后描述的校正系数，并将该校正系数作为(一些其他的)聚光参数提供给聚光处理单元33。
注意，图像处理装置12可以被配置为服务器，或者可以被配置为客户端。此外，图像处理装置12可以被配置为服务器-客户端系统。在图像处理装置12被配置为服务器-客户端系统的情况下，图像处理装置12的一些块可以被配置为服务器，而其余的块可以被配置为客户端。
<要由图像处理系统执行的处理>
图5是示出要由图1所示的图像处理系统执行的示例处理的流程图。
在步骤S11中，图像捕获装置11捕获作为多个视点的七个视点的图像PL1至PL7。捕获图像PL#i被提供给图像处理装置12(图4)的视差信息生成单元31和插值单元32。
然后，处理从步骤S11前进到步骤S12，并且图像处理装置12从图像捕获装置11获取捕获图像PL#i。此外，在图像处理装置12中，视差信息生成单元31执行视差信息生成处理，以使用从图像捕获装置11提供的捕获图像PL#i来获得视差信息，并且生成其中登记了视差信息的差异图。
视差信息生成单元31将通过视差信息生成处理获得的差异图提供给插值单元32和聚光处理单元33，并且处理从步骤S12前进到步骤S13。注意，在该示例中，图像处理装置12从图像捕获装置11获取捕获图像PL#i，但是图像处理装置12不仅可以直接从图像捕获装置11获取捕获图像PL#i，而且还可以从云获取例如已经被图像捕获装置11或一些其他图像捕获装置(未示出)捕获并且被预先存入云中的捕获图像PL#i。
在步骤S13中，插值单元32执行下述插值处理：使用从图像捕获装置11提供的相机211至217的七个视点的捕获图像PL1至PL7以及从视差信息生成单元31提供的差异图，来生成除相机211至217的七个视点之外的多个视点的插值图像。
插值单元32还将从图像捕获装置11提供的相机211至217的七个视点的捕获图像PL1至PL7和通过插值处理获得的多个视点的插值图像作为多个视点的视点图像提供给聚光处理单元33。然后，处理从步骤S13前进至步骤S14。
在步骤S14中，参数设定单元34执行设定处理以设定聚光参数。
在设定处理中，位于例如由用户操作等指定的位置处的基准图像PL1的像素被设定为用于聚焦的聚焦目标像素。
在设定处理中，还例如根据用户操作等针对由插值单元32获得的视点图像的各个视点设定用于校正用于在聚光处理中使像素移位的像素移位量(稍后将描述的基准移位量BV或聚焦移位量DP#i)的校正系数。
参数设定单元34将通过设定处理获得的聚焦目标像素(关于聚焦目标像素的信息)和针对各个视点的校正系数作为聚光参数提供给聚光处理单元33。然后，处理从步骤S14前进至步骤S15。
这里，在设定处理中，参数设定单元34例如可以使显示装置13显示例如从图像捕获装置11提供的七个视点的捕获图像PL1至PL7中的基准图像PL1以及提示对要聚焦于的对象的指定的消息。然后，参数设定单元34等待用户指定在显示装置13上显示的基准图像PL1中(所示对象中)的位置，并且将基准图像PL1的位于用户指定的位置处的像素设定为聚焦目标像素。
聚焦目标像素不仅可以如上所述的那样根据用户指定来设定，而且还可以例如根据来自应用的指定或者根据基于预定规则的指定等来设定。
例如，可以将示出以预定速度或更高速度移动的对象的像素或者示出持续移动预定时间或更长时间的对象的像素设定为聚焦目标像素。
在步骤S15中，聚光处理单元33使用来自插值单元32的多个视点的视点图像、来自视差信息生成单元31的差异图以及来自参数设定单元34的作为聚光参数的聚焦目标像素和各个视点的校正系数，来执行聚光处理，该聚光处理等同于将来自对象的已经穿过以相机211至217作为合成光圈的虚拟透镜的光束聚集到虚拟传感器(未示出)上。
已经穿过虚拟透镜的光束聚集到其上的虚拟传感器实际上例如是存储器(未示出)。在聚光处理中，多个视点的视点图像的像素值在作为虚拟传感器的存储器中被累计(作为存储值)，这些像素值被视为聚集到虚拟传感器上的光束的亮度。以这种方式，确定了作为对已经穿过虚拟透镜的光束的聚集结果而获得的图像的像素值。
在聚光处理单元33进行的聚光处理中，设定了基准移位量BV(稍后描述)，其是用于对多个视点的视点图像的像素执行像素移位的像素移位量。多个视点的视点图像的像素根据基准移位量BV进行像素移位并且然后被累计。然后，确定聚焦于预定距离处的对焦点的处理结果图像的各个像素值，并且因此执行处理结果图像生成或者重聚焦。
这里，对焦点是实现聚焦的真实空间中的真实空间点，并且在聚光处理单元33进行的聚光处理中，利用从参数设定单元34提供的作为聚光参数的聚焦目标像素来设定作为对焦点的组合的对焦面。
此外，在聚光处理单元33进行的聚光处理中，根据基准移位量BV，来对多个视点的视点图像的像素执行像素移位，或者如稍后将描述的，根据依据基准移位量BV唯一确定的聚焦移位量DP#i来对多个视点的视点图像的像素执行像素移位。在聚光处理中，利用从参数设定单元34提供的作为聚光参数的各个视点的校正系数来校正聚焦移位量DP#i(或基准移位量BV)，并且根据经校正的聚焦移位量DP#i来对多个视点的视点图像的像素执行像素移位。
如上所述，根据利用针对视点的校正系数校正的经校正的聚焦移位量DP#i对多个视点的视点图像的像素执行像素移位。因此，可以根据校正系数执行伴随有期望的模糊的重聚焦。
聚光处理单元33将作为聚光处理的结果而获得的处理结果图像提供给显示装置13，并且然后处理从步骤S15前进至步骤S16。
在步骤S16中，显示装置13显示从聚光处理单元33提供的处理结果图像。
注意，尽管在图5中步骤S14中的设定处理是在步骤S13中的插值处理与步骤S15中的聚光处理之间执行的，但是设定处理中的对作为聚光参数的聚焦目标像素的设定可以在从紧接在步骤S11中的对七个视点的捕获图像PL1至PL7的捕获之后直到紧接在步骤S15中的聚光处理之前的时段期间的任何适当的时刻执行。
此外，可以在直到紧接在步骤S15中的聚光处理之前的任意时刻执行设定处理中的对作为聚光参数的各个视点的校正系数的设定。
替选地，可以仅利用聚光处理单元33来形成图像处理装置12(图4)。
例如，在不需要任何插值图像的情形下利用由图像捕获装置11捕获的图像来执行聚光处理单元33处的聚光处理的情况下，可以将图像处理装置12配置成没有插值单元32。然而，在不仅利用捕获图像而且还利用插值图像来执行聚光处理的情况下，可以防止在处理结果图像中的未聚焦对象中出现振铃(ringing)。
此外，例如在可以使用距离传感器等由外部装置生成关于由图像捕获装置11捕获的多个视点的捕获图像的视差信息以及可以从外部装置获取视差信息的情况下，可以将图像处理装置12配置成没有视差信息生成单元31。
此外，例如在聚光处理单元33根据预定规则设定对焦面和各个视点的校正系数的情况下，可以将图像处理装置12配置成没有参数设定单元34。
<插值图像的生成>
图6是用于说明在图4所示的插值单元32处生成插值图像的示例的图。
在要生成特定视点的插值图像的情况下，插值单元32依序选择插值图像的像素作为用于插值的插值目标像素。插值单元32还选择要在计算插值目标像素的像素值时使用的像素值计算图像。像素值计算图像可以是七个视点的捕获图像PL1至PL7中的全部，或者是接近插值图像的视点的一些视点的捕获图像PL#i。插值单元32使用来自视差信息生成单元31的差异图以及插值图像的视点，来从被选择为像素值计算图像的多个视点的捕获图像PL#i的每个图像中确定与插值目标像素对应的像素(在从插值图像的视点执行图像捕获的情况下，显示与插值目标像素上所示的空间点相同的空间点的像素)。
然后，插值单元32对对应像素的像素值进行加权并将得到的加权值确定为插值目标像素的像素值。
用于对对应像素的像素值进行加权的权重可以是与具有对应像素的作为像素值计算图像的捕获图像PL#i的视点与具有插值目标像素的插值图像的视点之间的距离成反比的值。
注意，在捕获图像PL#i上反映具有方向性的强光的情况下，优选地选择诸如三个或四个视点的一些视点的捕获图像PL#i作为像素值计算图像，而不是选择七个视点的捕获图像PL1至PL7中的全部作为像素值计算图像。利用一些视点的捕获图像PL#i，可以获得与在实际从插值图像的视点执行图像捕获的情况下将获得的图像类似的插值图像。
<差异图的生成>
图7是用于说明在图4所示的视差信息生成单元31处生成差异图的示例的图。
换句话说，图7示出了由图像捕获装置11的相机211至217捕获的捕获图像PL1至PL7的示例。
在图7中，捕获图像PL1至PL7在预定背景的前面示出了作为前景的预定对象obj。由于捕获图像PL1至PL7具有彼此不同的视点，因此在各个捕获图像PL2至PL7中示出的对象obj的位置(在捕获图像中的位置)与捕获图像PL1中示出的对象obj的位置相差例如等同于视点差异的量。
这里，用vp#i来表示相机21i的视点(位置)或者由相机21i捕获的捕获图像PL#i的视点。
例如，在要生成捕获图像PL1的视点vp1的差异图的情况下，视差信息生成单元31将捕获图像PL1设定为被关注的关注图像PL1。视差信息生成单元31还依序选择关注图像PL1的每个像素作为被关注的关注像素，并且从其他捕获图像PL2至PL7中的每个捕获图像中检测与关注像素对应的对应像素(对应点)。
从捕获图像PL2至PL7中的每个捕获图像中检测与关注图像PL1的关注像素对应的像素的方法可以是例如利用诸如立体匹配或多基线立体的三角测量原理的方法。
这里，表示捕获图像PL#i的对应像素相对于关注图像PL1的关注像素的位置移位的矢量被设定为差异矢量v#i,1。
视差信息生成单元31获得针对各个捕获图像PL2至PL7的差异矢量v2,1至v7,1。然后，视差信息生成单元31例如对差异矢量v2,1至v7,1的幅值执行多数决定，并将作为多数的差异矢量v#i，1的幅值设定为关注像素(的位置处)的差异的幅值。
这里，在如以上参照图2所描述的那样，在图像捕获装置11中，用于捕获关注图像PL1的基准相机211与用于捕获捕获图像PL2至PL7的外围相机212至217中的每个之间的距离是相同的距离B的情况下，当关注图像PL1的关注像素中示出的真实空间点也在捕获图像PL2至PL7中示出时，获得取向不同但幅值相等的矢量作为差异矢量v2,1至v7,1。
换句话说，这种情况下的差异矢量v2,1至v7,1是幅值相等并且在与其他捕获图像PL2至PL7的视点vp2至vp7相对于关注图像PL1的视点vp1的方向相反的方向上的矢量。
然而，在捕获图像PL2至PL7中，可能存在有遮挡的图像或者其中在关注图像PL1的关注像素中出现的真实空间点被隐藏在前景后面的图像。
根据没有示出关注图像PL1的关注像素中所示的真实空间点的捕获图像PL#i(该捕获图像PL#i在下文中也将被称为遮挡图像)，难以正确地检测到与关注像素对应的像素。
因此，对于遮挡图像PL#i，获得与示出关注图像PL1的关注像素所示的真实空间点的捕获图像PL#j的差异矢量v#j，1具有不同幅值的差异矢量v#i，1。
在捕获图像PL2至PL7中，估计相对于关注像素有遮挡的图像的数量小于没有遮挡的图像的数量。鉴于此，如上所述，视差信息生成单元31对差异矢量v2,1至v7,1的幅值执行多数决定，并将作为多数的差异矢量v#i，1的幅值设定为关注像素的差异的幅值。
在图7中，差异矢量v2,1至v7,1中的三个差异矢量v2,1、v3,1和v7,1是具有相同幅值的矢量。并且，在差异矢量v4,1、v5,1和v6,1中不存在具有相同幅值的差异矢量。
因此，获得三个差异矢量v2,1、v3,1和v7,1的幅值作为关注像素的差异的幅值。
注意，可以根据关注图像PL1的视点vp1(相机211的位置)与捕获图像PL#i的视点vp#i(相机21i的位置)之间的位置关系(例如从视点vp1朝向视点vp#i的方向)来识别关注图像PL1的关注像素与任何捕获图像PL#i之间的差异的方向。
视差信息生成单元31依序选择关注图像PL1的每个像素作为关注像素并且确定差异的幅值。然后，视差信息生成单元31生成其中针对像素的位置(x-y坐标)登记了关注图像PL1的每个像素的差异的幅值的图作为差异图。因此，差异图是其中将像素的位置与像素的差异幅值相关联的图(表)。
也可以像视点vp#1的差异图那样生成其他捕获图像PL#i的视点vp#i的差异图。
然而，在生成除了视点vp#1之外的视点vp#i的差异图时，在基于捕获图像PL#i的视点vp#i与不同于捕获图像PL#i的捕获图像PL#j的视点vp#j之间的位置关系(相机21i与21j之间的位置关系)(视点vp#i与视点vp#j之间的距离)而调整了差异矢量的幅值之后，对差异矢量执行多数决定。
换句话说，在捕获图像PL5被设定为关注图像PL5并且针对图2所示的图像捕获装置11生成差异图的情况下，例如，在关注图像PL5与捕获图像PL2之间获得的差异矢量为在关注图像PL5与捕获图像PL1之间获得的差异矢量的两倍。
这是因为，虽然作为用于捕获关注图像PL5的相机215的光轴与用于捕获捕获图像PL1的相机211的光轴之间的距离的基线长度为距离B，但是用于捕获关注图像PL5的相机215与用于捕获捕获图像PL2的相机212之间的基线长度为距离2B。
鉴于此，例如，距离B、即基准相机211与其他相机21i之间的基线长度被称为基准基线长度，其是确定差异时的基准。在调整差异矢量的幅值之后对差异矢量执行多数决定，使得基线长度可以被转换为基准基线长度B。
换句话说，例如，由于用于捕获捕获图像PL5的相机215与用于捕获捕获图像PL1的基准相机211之间的基线长度B等于基准基线长度B，因此将要在关注图像PL5与捕获图像PL1之间获得的差异矢量的幅值调整为一倍大的幅值。
此外，例如，由于用于捕获关注图像PL5的相机215与用于捕获捕获图像PL2的相机212之间的基线长度2B等于基准基线长度B的两倍，因此将要在关注图像PL5与捕获图像PL2之间获得的差异矢量的幅值调整为1/2大的幅值(乘以基准基线长度B与相机215与相机212之间的基线长度2B之间的比率后的值)。
同样地，将要在关注图像PL5与其他捕获图像PL#i之间获得的差异矢量的幅值调整为乘以与基准基线长度B的比率后的幅值。
然后，通过使用经过幅值调整的差异矢量来执行差异矢量多数决定。
注意，在视差信息生成单元31中，例如，可以以由图像捕获装置11捕获的捕获图像的像素的精度来确定捕获图像PL#i的(每个像素的)差异。替选地，可以以等于与捕获图像PL#i的像素相比具有更高精度的像素的精度或者低于与捕获图像PL#i的像素相比具有更高精度的像素的精度的精度(例如，诸如1/4像素的子像素的精度)来确定捕获图像PL#i的差异。
在要以像素精度或更低精度确定差异的情况下，例如可以在使用差异的处理中按原样使用具有像素精度或更低精度的差异，或者可以在对具有像素精度或更低精度的差异进行向下取整、向上取整或舍入为最接近的整数之后使用该差异。
这里，在差异图中登记的差异的幅值在下文中也被称为登记差异。例如，在作为如下二维坐标系中的差异的矢量的情况下：在该坐标系中，沿向右方向延伸的轴是x轴而沿向下方向延伸的轴是y轴，登记的差异等于基准图像PL1的每个像素与基准图像PL1左侧的视点的捕获图像PL5之间的差异的x分量(或者表示从基准图像PL1的像素到捕获图像PL5的对应像素、即与基准图像PL1的像素对应的对应像素、的像素移位的矢量的x分量)。
<通过聚光处理进行的重聚焦>
图8是用于说明通过要由图4所示的聚光处理单元33执行的聚光处理进行重聚焦的概要的图。
注意，为了便于说明，在图8中使用三个图像，即基准图像PL1、基准图像PL1右侧的视点的捕获图像PL2以及基准图像PL1左侧的视点的捕获图像PL5，作为用于聚光处理的多个视点的视点图像。
在图8中，在捕获图像PL1、PL2和PL5中示出了两个对象obj1和obj2。例如，对象obj1位于近侧而对象obj2位于远侧。
例如，执行重聚焦以在该阶段聚焦于(或将焦点放置于)对象obj1，从而获得从基准图像PL1的基准视点观看到的图像作为重聚焦后的处理结果图像。
这里，DP1表示处理结果图像的视点相对于捕获图像PL1的示出对象obj1的像素的差异或者这种情况下的基准视点的(基准图像PL1的对应像素的)差异。同样地，DP2表示处理结果图像的视点相对于捕获图像PL2的示出对象obj1的像素的差异，以及DP5表示处理结果图像的视点相对于捕获图像PL5的示出对象obj1的像素的差异。
注意，在图8中，由于处理结果图像的视点等于捕获图像PL1的基准视点，因此处理结果图像的视点相对于捕获图像PL1的示出对象obj1的像素的差异DP1为(0,0)。
对于捕获图像PL1、PL2和PL5，分别根据差异DP1、DP2和DP5对捕获图像PL1、PL2和PL5执行像素移位，并且对经过像素移位的捕获图像PL1和PL2以及PL5进行累计。以这种方式，可以获得聚焦于对象obj1的处理结果图像。
换句话说，对捕获图像PL1、PL2和PL5执行像素移位(与差异DP1、DP2和DP5方向相反的像素移位)以消除差异DP1、DP2和DP5。因此，示出对象obj1的像素的位置在经过像素移位的捕获图像PL1、PL2和PL5中相匹配。
由于以这种方式对经过像素移位的捕获图像PL1、PL2和PL5进行累计，可以获得聚焦于对象obj1的处理结果图像。
注意，在经过像素移位的捕获图像PL1、PL2和PL5中，示出在深度方向上位于与对象obj1不同的位置处的对象obj2的像素的位置不相同。因此，处理结果图像中示出的对象obj2是模糊的。
此外，由于如上所述的那样，处理结果图像的视点是基准视点并且差异DP1为(0,0)，因此基本上不需要对捕获图像PL1执行像素移位。
在聚光处理单元33进行的聚光处理中，例如，如上所述，对多个视点的视点图像的像素进行像素移位以消除处理结果图像的视点(在此情况下为基准视点)相对于示出聚焦目标的聚焦目标像素的差异，并且然后对这些像素进行累计。因此，获得经过针对聚焦目标的重聚焦的图像作为处理结果图像。
<差异转换>
图9是用于说明差异转换的示例的图。
如以上参照图7所述，差异图中登记的登记差异等同于基准图像PL1的像素相对于基准图像PL1的左侧视点的捕获图像PL5的各个像素的差异的x分量。
在重聚焦时，需要对每个视点图像执行像素移位以消除聚焦目标像素的差异。
现在关注作为关注视点的某一视点。在这种情况下，例如，在对关注视点的捕获图像进行像素移位时，需要处理结果图像的聚焦目标像素相对于关注视点的视点图像的差异或者在这种情况下的基准视点的基准图像PL1的聚焦目标像素的差异。
可以在考虑从基准视点(处理结果图像的视点)朝向关注视点的方向的情况下，根据基准图像PL1的聚焦目标像素(基准图像PL的与处理结果图像的聚焦目标像素对应的对应像素)的登记差异来确定基准图像PL1的聚焦目标像素相对于关注视点的视点图像的差异。
这里，以x轴为0[弧度]用逆时针角度表示从基准视点朝向关注视点的方向。
例如，相机212位于+x方向上等于基准基线长度B的距离处，并且从基准视点朝向相机212的视点的方向为0[弧度]。在这种情况下，由于相机212的视点的方向为0[弧度]，因此根据聚焦目标像素的登记差异RD，基准图像PL1的聚焦目标像素相对于相机212的视点处的视点图像(捕获图像PL2)的差异DP2(作为该差异的矢量)可以被确定为(-RD,0)＝(-(B/B)×RD×cos0,-(B/B)×RD×sin0)。
此外，例如，相机213位于π/3方向上等于基准基线长度B的距离处，并且从基准视点朝向相机212的视点的方向为π/3[弧度]。在这种情况下，由于相机213的视点的方向为π/3[弧度]，因此根据聚焦目标像素的登记差异RD，基准图像PL1的聚焦目标像素相对于相机213的视点的视点图像(捕获图像PL3)的差异DP3可以被确定为(-RD×cos(π/3),-RD×sin(π/3))＝(-(B/B)×RD×cos(π/3),-(B/B)×RD×sin(π/3))。
这里，由插值单元32获得的插值图像可以被视为由位于插值图像的视点vp处的虚拟相机捕获的图像。假设该虚拟相机的视点vp位于角度θ[弧度]的方向上距基准视点的距离L处。在这种情况下，由于视点vp的方向为角度θ，因此根据聚焦目标像素的登记差异RD，基准图像PL1的聚焦目标像素相对于视点vp的视点图像(由虚拟相机捕获的图像)的差异DP可以被确定为(-(L/B)×RD×cosθ,-(L/B)×RD×sinθ)。
如上所述的那样根据登记差异RD和关注视点的方向来确定基准图像PL1的像素相对于关注视点的视点图像的差异或者将登记差异RD转换为基准图像PL1(处理结果图像)的像素相对于关注视点的视点图像的差异也被称为差异转换。
在重聚焦时，通过差异转换，根据聚焦目标像素的登记差异RD，确定基准图像PL1的聚焦目标像素相对于每个视点的视点图像的差异，并且对各个视点的视点图像执行像素移位以消除聚焦目标像素的差异。
在重聚焦时，对视点图像执行像素移位以消除聚焦目标像素相对于视点图像的差异，并且该像素移位的移位量也被称为聚焦移位量。
这里，在以下描述中，由插值单元32获得的多个视点的视点图像中的第i个视点图像的视点也被写作视点vp#i。视点vp#i的视点图像的聚焦移位量也被写作聚焦移位量DP#i。
可以在考虑从基准视点朝向视点vp#i的方向的情况下，通过差异转换，根据聚焦目标像素的登记差异RD唯一地确定视点vp#i的视点图像的聚焦移位量DP#i。
这里，在差异转换中，如上所述，根据登记差异RD计算出差异(作为该差异的矢量)(-(L/B)×RD×cosθ,-(L/B)×RD×sinθ)。
因此，差异转换可以被视为例如将登记差异RD乘以-(L/B)×cosθ和-(L/B)×sinθ的操作或者被视为将登记差异RD×-1乘以(L/B)×cosθ和(L/B)×sinθ的操作等等。
这里，差异转换可以被视为例如将登记差异RD×-1乘以(L/B)×cosθ和(L/B)×sinθ的操作。
在这种情况下，要进行差异转换的值，即登记差异RD×-1，是用于确定每个视点的视点图像的聚焦移位量的基准值，并且其在下文中也将被称为基准移位量BV。
通过对基准移位量BV的差异转换唯一地确定聚焦移位量。因此，在重聚焦中用于对每个视点的视点图像的像素执行像素移位的像素移位量基本上是根据基准移位量BV的设定来设定的。
注意，在如上所述的那样采用登记差异RD×-1作为基准移位量BV的情况下，聚焦目标像素被聚焦时的基准移位量BV或者聚焦目标像素的登记差异RD×-1等于聚焦目标像素相对于捕获图像PL2的差异的x分量。
<聚光处理>
图10是用于说明通过聚光处理进行重聚焦的概要的图。
这里，将由一组对焦点(真实空间中的对焦真实空间点)形成的平面设定为对焦面。
在聚光处理中，例如通过设定作为真实空间中的深度方向上的距离恒定(不变化)的平面的对焦面来执行重聚焦，并且使用多个视点的视点图像生成聚焦于位于对焦面上(或在对焦面附近)的对象的处理结果图像。
在图10中，在多个视点的视点图像中的每个中，在近侧示出了一个人，而且在中间示出了另一个人。此外，穿过处于中间的人的位置并且在深度方向上处于恒定距离处的平面被设定为对焦面，并且根据多个视点的视点图像获得了聚焦于对焦面上的对象或者例如处于中间的人的处理结果图像。
注意，例如，对焦面可以是在真实空间中的深度方向上的距离变化的平面或曲面。替选地，可以通过处于深度方向上的不同距离处的多个平面等来形成对焦面。
图11是用于说明要由聚光处理单元33执行的聚光处理的示例的流程图。
换句话说，图11是示出在整个图像中未引起模糊的情况下要执行的聚光处理的示例的流程图。
在步骤S31中，聚光处理单元33从参数设定单元34获取用作聚光参数的聚焦目标像素(关于该聚焦目标像素的信息)，然后处理前进至步骤S32。
具体地，例如，由相机211至217捕获的捕获图像PL1至PL7中的基准图像PL1等被显示在显示装置13上。当用户指定基准图像PL1中的位置时，参数设定单元34将用户所指定的位置处的像素设定为聚焦目标像素，并且将聚焦目标像素(指示该聚焦目标像素的信息)作为聚光参数提供给聚光处理单元33。
在步骤S31中，如上所述，聚光处理单元33获取从参数设定单元34提供的聚焦目标像素。
在步骤S32中，聚光处理单元33获取在从视差信息生成单元31提供的差异图中登记的聚焦目标像素的登记差异RD。然后，聚光处理单元33例如根据聚焦目标像素的登记差异RD来设定基准移位量BV，或者将聚焦目标像素的登记差异RD×-1设定为基准移位量BV。然后，处理从步骤S32前进至步骤S33。
在步骤S33中，聚光处理单元33设定处理结果图像，例如，该处理结果图像是与从插值单元32提供的多个视点的视点图像中的一个视点图像对应的图像，诸如与基准图像对应的图像，或者该处理结果图像是与基准图像具有相同的尺寸并且以0为从基准图像的视点观看到的像素值的初始值的图像。聚光处理单元33还确定处理结果图像的尚未被选择作为关注像素的像素之一作为关注像素。然后，处理从步骤S33前进至步骤S34。
在步骤S34中，聚光处理单元33将关注视点vp#i确定为从插值单元32提供的视点图像的视点之中尚未被确定为关注视点(相对于关注像素)的一个视点vp#i。然后，处理前进至步骤S35。
在步骤S35中，聚光处理单元33根据基准移位量BV确定关注视点vp#i的视点图像的各个像素的聚焦移位量DP#i。聚焦移位量DP#i对于聚焦于聚焦目标像素(将焦点放在聚焦目标像素中示出的对象上)而言是必需的。
换句话说，聚光处理单元33通过考虑从基准视点朝向关注视点vp#i的方向来对基准移位量BV执行差异转换，并且获取通过该差异转换获得的值(矢量)作为关注视点vp#i的视点图像的各个像素的聚焦移位量DP#i。
此后，处理从步骤S35前进至步骤S36。然后，聚光处理单元33根据聚焦移位量DP#i对关注视点vp#i的视点图像的各个像素执行像素移位，并且对经过像素移位的视点图像中的关注像素的位置处的像素的像素值与关注像素的像素值进行累计。
换句话说，聚光处理单元33将关注视点vp#i的视点图像的像素中的与关注像素的位置相距等同于与聚焦移位量DP#i对应的矢量(例如，在此情况下为聚焦移位量DP#i×-1)的距离的像素的像素值与关注像素的像素值进行累计。
然后，处理从步骤S36前进至步骤S37，并且聚光处理单元33确定是否已将从插值单元32提供的视点图像的所有视点设定为关注视点。
如果在步骤S37中确定尚未将来自插值单元32的视点图像的所有视点都设定为关注视点，则处理返回至步骤S34，并且此后，重复与上述类似的处理。
另一方面，如果在步骤S37中确定已将来自插值单元32的视点图像的所有视点设定为关注视点，则处理前进至步骤S38。
在步骤S38中，聚光处理单元33确定是否已将处理结果图像的所有像素设定为关注像素。
如果在步骤S38中确定尚未将处理结果图像的所有像素都设定为关注像素，则处理返回至步骤S33，并且聚光处理单元33新确定处理结果图像的尚未被确定为关注像素的像素之一作为关注像素。此后，重复与上述类似的处理。
另一方面，如果在步骤S38中确定已将处理结果图像的所有像素设定为关注像素，则聚光处理单元33输出处理结果图像，并且结束聚光处理。
注意，在图11所示的聚光处理中，基准移位量BV是根据聚焦目标像素的登记差异RD来设定的，并且其既不随关注像素变化也不随关注视点vp#i变化。鉴于此，设定基准移位量BV，而不管关注像素和关注视点vp#i。
此外，聚焦移位量DP#i随着关注视点vp#i和基准移位量BV变化。然而，如上所述，在简单的重聚焦模式下，基准移位量BV既不随关注像素也不随关注视点vp#i变化。因此，聚焦移位量DP#i随着关注视点vp#i变化，但是不随关注像素变化。换句话说，对于一个视点的视点图像的每个像素而言，聚焦移位量DP#i具有相同的值，而与关注像素无关。
在图11中，对于不同的关注像素，步骤S35中的用于获得聚焦移位量DP#i的处理形成了用于重复计算针对同一视点vp#i的聚焦移位量DP#i的循环(从步骤S33到步骤S38的循环)。然而，如上所述，对于一个视点的视点图像的每个像素而言，聚焦移位量DP#i具有相同的值而与关注像素无关。
因此，在图11中，对于一个视点仅执行一次步骤S35中的用于获得聚焦移位量DP#i的处理。
在图11所示的聚光处理中，如以上参照图10所述，将在深度方向上具有恒定距离的平面设定为对焦面。因此，聚焦于聚焦目标像素所需的视点图像的基准移位量BV具有这样的值：其消除示出在深度方向上具有恒定距离的对焦面上的空间点的聚焦目标像素的差异，或者消除差异是与到对焦面的距离对应的值的聚焦目标像素的差异。
因此，在图11所示的聚光处理中，基准移位量BV既不取决于处理结果图像的像素(关注像素)也不取决于像素值被累计的视点图像的视点(关注视点)，因此，不需要针对处理结果图像的每个像素或视点图像的每个视点设定基准移位量BV(即使针对处理结果图像的每个像素或视点图像的每个视点设定了基准移位量BV，基准移位量BV也被设定为同一值，因此，实际上没有针对处理结果图像的每个像素或视点图像的每个视点设定基准移位量BV)。
注意，在图11中，针对处理结果图像的每个像素执行对视点图像的像素的像素移位和累计。然而，在聚光处理中，除了针对处理结果图像的每个像素之外，也可以针对通过精细划分处理结果图像的每个像素而获得的每个子像素执行对视点图像的像素的像素移位和累计。
此外，在图11所示的聚光处理中，关注像素循环(从步骤S33到步骤S38的循环)在外侧，而关注视点循环(从步骤S34到步骤S37的循环)在内侧。然而，关注视点循环可以是外侧循环而关注像素循环是内侧循环。
<校正系数>
图12是示出针对各个视点的校正系数的示例的图
这里，在利用实际的单透镜相机等执行图像捕获的情况下，安装在透镜前方的软(聚焦)滤波器可以提供具有轻微模糊的整个图像(像模糊光那样的软模糊)。
利用各个视点的校正系数，可以执行伴随着与用软滤波器将实现的模糊类似的模糊的重聚焦。
图12示出了用于产生软滤波器的滤波效果的各个视点的校正系数的示例。
这里，假设由插值单元32获得的视点图像的视点总数为M2＝25(5×5)：水平方向上的M(＝5)个视点和竖直方向上的M个视点。
M×M个视点中的各个视点的校正系数例如可以被设计为以M×M阵列排列的系数。
在这种情况下，在以M×M阵列排列的系数中，可以将作为左起第x个系数且从底部起的第y个系数的系数(该系数在下文中也将被称为第(x,y)个系数)设定为由插值单元32获得的视点图像的视点中的第(x,y)个视点的校正系数。
例如，在软滤波器中形成有凹槽(不平整)，并且可以根据预期提供期望的滤波效果的软滤波器的凹槽来针对各个视点设定校正系数。
在图12中，为了产生其中同心地形成凹槽的软滤波器的滤波效果，在M×M个视点中的在与软滤波器的凹槽的位置对应的位置处呈基本(同心)圆形形式的视点的校正系数(阴影部分)中设定等同于期望的模糊度的值(除了(0,0)之外的值)。并且，在其他视点的校正系数中设定等同于没有模糊(模糊度为0)的(0,0)。
在图12中，特定视点vp#i的校正系数(p,q)是用于校正作为聚焦移位量DP#i的矢量的校正量。例如，在作为聚焦移位量DP#i的矢量被表示为(sx,sy)的情况下，作为通过利用校正系数(p,q)校正聚焦移位量DP#i而获得的经校正的聚焦移位量DP#i的矢量被表示为(sx+p,sy+q)。
通过利用图12中的各个视点的校正系数校正的经校正的聚焦移位量DP#i，呈同心形式的视点的视点图像的像素经受与根据聚光处理中的原始聚焦移位量DP#i的像素移位相比距离短了等同于“a”像素的量的像素移位。
在下文中，具有校正系数(0,0)的视点将被称为零视点，并且具有除(0,0)之外的校正系数的视点将被称为非零视点。
在图12中，视点的总数小至M×M＝5×5个视点，因此，非零视点仅被布置成一个圆。然而，在以上参照图4所述的总共21×21个视点的情况下，例如，可以将校正系数设定成使得非零视点被布置成多个圆(同心圆)。
这里，在水平方向或竖直方向上彼此相邻的视点之间的距离被设定为1/2，并且用r来表示距基准视点(图12中的第(3,3)个视点)的距离。在图12中，距基准视点的距离r处的非零视点的校正系数是在从非零视点朝向基准视点(图12中的第(3,3)个视点))的方向上具有ar幅值的矢量。
对于作为非零视点的校正系数的矢量的幅值ar，“a”可以被认为是校正系数的基准。因此，在将作为非零视点的校正系数的矢量的幅值ar的“a”设定为基准系数的情况下，因为利用校正系数校正了聚焦移位量DP#i，要提供给处理结果图像的模糊度(模糊程度)具有与基准系数成比例的值。
因此，可以通过调整基准系数“a”来提供具有用户期望的模糊度的模糊。
注意，在这种情况下，将已经根据图12中的视点vp#i设定的校正系数添加到视点vp#i的聚焦移位量DP#i，从而校正了聚焦移位量DP#i。然而，也可以通过利用基准系数“a”校正基准移位量BV来执行类似的校正。
具体地，根据视点是零视点还是非零视点，将0设定为针对零视点的基准系数，并且将不为零的值“a”设定为针对非零视点的基准系数。然后，向基准移位量BV添加或者从中减去根据视点设定的基准系数(0或“a”)(在该实施方式中执行了减法)，从而校正基准移位量BV。因此，实质上，可以利用已经根据图12中的视点vp#i设定的校正系数来校正视点vp#i的聚焦移位量DP#i。
这是因为，在对通过利用已经根据视点设定的基准系数(0或“a”)校正基准移位量BV而获得的经校正的基准移位量BV执行差异转换的情况下，差异转换的结果与通过利用已经根据图12中的视点vp#i设定的校正系数校正视点vp#i的聚焦移位量DP#i而获得的经校正的聚焦移位量DP#i一致。
鉴于上述情况，可以将已经根据图12中的视点vp#i设定的校正系数视为聚焦移位量DP#i的校正系数，并且可以将已经根据视点设定的基准系数(0或“a”)视为基准移位量BV的校正系数。
注意，任何期望的圆的圆周上的非零视点的校正系数例如可以是使得将作为聚焦移位量DP#i的矢量校正等同于相同矢量的量(幅值为“a”是矢量)的系数。此外，不同的非零视点的校正系数可以是使得将作为聚焦移位量DP#i的矢量校正等同于不同矢量的量的系数。
例如，可以采用用于针对一个圆的圆周上的非零视点和针对另一圆的圆周上的非零视点将作为聚焦移位量DP#i的矢量校正不同量的系数作为校正系数。
在下面描述的示例中，为了便于说明，在聚焦移位量DP#i的校正系数和基准移位量BV的校正系数中，采用聚焦移位量DP#i的校正系数。
图13是示意性地示出在未校正聚焦移位量DP#i的情况下聚集在聚焦目标像素上的光束的强度分布的示例的图。
在图13中(以及稍后将要描述的图14和图15中)，横坐标轴指示像素位置，并且纵坐标轴指示在聚光处理中穿过虚拟透镜并被虚拟传感器接收的光束的强度(等同于该强度的值)。
这里，在未校正聚焦移位量DP#i的情况下，聚集在聚焦目标像素上的光束也被称为要聚集在聚焦目标像素上的光束。
在此阶段，要聚集在聚焦目标像素上的光束的强度为1.0。
在未校正聚焦移位量DP#i的情况下，要聚集在聚焦目标像素上的所有光束聚集在作为聚焦目标像素的一个像素(的区域)内，并且聚集在聚焦目标像素上的光束的强度为1.0。
在存在总共M×M个视点的情况下，要聚集在聚焦目标像素上的光束是M×M个视点的光束，即对应于M×M个视点的视点图像中的与聚焦目标像素对应的像素的像素值的光束。
图14是示意性地示出在校正了聚焦移位量DP#i的情况下要聚集在聚焦目标像素上的光束的强度分布的示例的图。
在该示例中，存在总共M×M个视点，并且M×M个视点中的N个视点是非零视点。
在校正了作为非零视点的N个视点的聚焦移位量DP#i的情况下，要聚集在聚焦目标像素上的、M×M个视点的光束中的作为零视点的M×M-N个视点的光束聚集在聚焦目标像素内，而由于对聚焦移位量DP#i的校正，作为非零视点的N个视点的光束聚集在聚焦目标像素之外。
这里，聚集在聚焦目标像素内的作为零视点的M×M-N个视点的光束对聚焦状态(对焦状态)有贡献，因此，这些光束也被称为聚焦分量。另一方面，聚集在聚焦目标像素之外的作为非零视点的N个视点的光束对模糊有贡献，因此，这些光束也被称为模糊分量。
图14的A示出了聚焦分量的强度分布，而图14的B示出了模糊分量的强度分布。
如图14的A所示，聚焦分量聚集在聚焦目标像素内，并且聚焦分量的强度等于作为聚焦分量的光束的数目M×M-N与要聚集在聚焦目标像素上的光束的数目M×M之间的比率的值((M×M-N)/(M×M))。
如图14的B所示，模糊分量聚集在聚焦目标像素周围，并且模糊分量的强度体积(通过将模糊分量的强度与模糊分量的分布范围进行积分而获得的体积)等于作为模糊分量的光束的数目N与要聚集在聚焦目标像素上的光束的数目M×M之间的比率的值(N/M×M)。
模糊分量分布在与以上参照图12描述的基准系数“a”对应的尺寸范围内，其中聚焦目标像素的位置是该范围的中心。换句话说，模糊分量根据基准系数“a”扩展。
因此，可以利用基准系数“a”来调整模糊度(模糊程度)。
此外，可以利用非零视点的数目N来调整聚焦分量的强度和模糊分量的强度(体积)。调整聚焦分量的强度和调整模糊分量的强度等同于调整软滤波器的强度。
图15是示意性地示出在校正了聚焦移位量DP#i的情况下要聚集在聚焦目标像素上的光束的强度分布的示例的图。
图15所示的分布是通过组合图14的A所示的聚焦分量的强度分布和图14的B所示的模糊分量的强度分布而获得的分布。
注意，例如，在采用分别以水平方向和竖直方向为其x轴和y轴并且将基准视点设定在原点上的二维坐标系作为限定用于表示如图12所示的各个视点的校正系数的二维平面的二维坐标系的情况下，可以在设定了第一象限中的各个视点的校正系数之后，与第一象限中的针对各个视点设定的校正系数对称地设定该二维坐标系的第一至第四象限之中的除去第一象限的包括第二至第四象限的三个象限中的各个视点的校正系数。
换句话说，第二象限中的各个视点的校正系数可以被设定成与第一象限中的各个视点的校正系数关于y轴对称。第三象限中的各个视点的校正系数可以被设定成与第一象限中的各个视点的校正系数关于原点对称。第四象限中的各个视点的校正系数可以被设定成与第一象限中的各个视点的校正系数关于x轴对称。
如上所述，除了一个象限之外的三个象限中的各个视点的校正系数被设定成与该一个象限中的各个视点的校正系数对称。因此，可以使由于利用校正系数校正聚焦移位量DP#i而产生的模糊部分的形状均匀。在这种情况下，图14的B所示的模糊分量的强度关于聚焦目标像素的位置对称分布，并且可以防止模糊分量的强度分布被偏置。
图16是用于说明要由聚光处理单元33执行的聚光处理的另外的示例的流程图。
换句话说，图16是示出就像使用软滤波器执行图像捕获那样引起模糊的情况下的聚光处理的示例的流程图。
在步骤S51中，聚光处理单元33从参数设定单元34获取作为聚光参数的聚焦目标像素(关于该聚焦目标像素的信息)，如图11中的步骤S31那样地。聚光处理单元33还从参数设定单元34获取作为聚光参数的各个视点的校正系数，然后处理从步骤S51前进至步骤S52。
在步骤S52至S55中，执行与图11中的步骤S32至S35的相应步骤中的处理类似的处理。
此外，在步骤S55中，根据基准移位量BV确定关注视点vp#i的视点图像的每个像素的聚焦移位量DP#i。然后，处理前进至步骤S56，并且聚光处理单元33校正关注视点vp#i(的视点图像的每个像素)的聚焦移位量DP#i。
换句话说，聚光处理单元33根据作为聚光参数的各个视点的校正系数中的关注视点vp#i的校正系数来校正关注视点vp#i的聚焦移位量DP#i，从而确定作为校正后的聚焦移位量DP#i的经校正的移位量MDP#i。
此后，处理从步骤S56前进至步骤S57。然后，聚光处理单元33根据经校正的移位量MDP#i对关注视点vp#i的视点图像的各个像素执行像素移位，并且将经过像素移位的视点图像中的关注像素的位置处的像素的像素值与关注像素的像素值进行累计。
换句话说，聚光处理单元33将关注视点vp#i的视点图像的像素中的与关注像素的位置相距等同于与经校正的移位量MDP#i对应的矢量(例如，在此情况下为经校正的移位量MDP#i×-1)的距离的像素的像素值与关注像素的像素值进行累计。
然后，处理从步骤S57前进至步骤S58。此后，在步骤S58和S59中，执行与图11中的步骤S37和S38中的相应处理类似的处理。
注意，在图16中，利用已经根据视点设定的校正系数直接校正聚焦移位量DP#i。然而，如上面参照图12所述，可以通过利用已经根据视点设定的校正系数校正基准移位量BV来执行伴随有作为软滤波器的滤波效果的模糊的重聚焦。
此外，例如，可以通过根据用户操作等在用于执行图11所示的不引起模糊的聚光处理的模式与用于执行图16所示的引起模糊的聚光处理的模式之间执行模式切换，选择图11所示的不引起模糊的聚光处理或者图16所示的引起模糊的聚光处理。然而，即使在用于执行图16所示的引起模糊的聚光处理的模式下，也可以将各个视点的所有校正系数设定为(0,0)，使得不校正聚焦移位量DP#i，从而可以执行图11所示的不引起模糊的聚光处理。
此外，尽管在本实施方式中采用基准视点作为处理结果图像的视点，但是例如也可以采用除了基准视点之外的点或者虚拟透镜的合成光圈内的任何适当的点等作为处理结果图像的视点。
<对应用本技术的计算机的描述>
接下来，图像处理装置12的上述一系列处理可以利用硬件执行，而且也可以利用软件执行。在利用软件执行这一系列处理的情况下，形成软件的程序被安装到通用计算机等中。
图17是示出安装有用于执行上述一系列处理的程序的计算机的实施方式的示例配置的框图。
可以将程序预先记录在被设置为计算机中的记录介质的硬盘105或ROM 103中。
替选地，可以将程序存储(记录)在可移除记录介质111中。这种可移除记录介质111可以被设置为所谓的封装软件。这里，可移除记录介质111例如可以是软盘、致密盘只读存储器(CD-ROM)、磁光(MO)盘、数字通用盘(DVD)、磁盘、半导体存储器等。
注意，可以将程序从上述可移除记录介质111安装到计算机中，但也可以经由通信网络或广播网络将程序下载至计算机并安装到内部硬盘105中。换句话说，例如，程序可以经由用于数字卫星广播的人造卫星从下载站点无线传输至计算机，或者可以经由诸如局域网(LAN)或因特网的网络通过线缆传输至计算机。
计算机包括中央处理单元(CPU)102，并且输入/输出接口110经由总线101连接至CPU 102。
在通过用户经由输入/输出接口110操作输入单元107等而输入指令时，CPU 102根据该指令执行存储在只读存储器(ROM)103中的程序。替选地，CPU 102将存储在硬盘105中的程序加载到随机存取存储器(RAM)104中并执行该程序。
通过这样做，CPU 102根据上述流程图执行处理或者利用框图所示的上述配置来执行处理。然后，例如，CPU 102根据需要从输出单元106输出处理结果或者经由输入/输出接口110从通信单元108传送处理结果，并且还将处理结果存储到硬盘105中。
注意，输入单元107由键盘、鼠标、麦克风等形成。此外，输出单元106由液晶显示器(LCD)、扬声器等形成。
在本说明书中，要由计算机根据程序执行的处理不必然按照符合流程图所示序列的时间顺序执行。换句话说，要由计算机根据程序执行的处理包括要并行或彼此独立地执行的处理(例如并行处理或基于对象的处理)。
此外，程序可以由一个计算机(处理器)执行，或者可以由多个计算机以分布方式执行。此外，程序可以被传输至远程计算机并在其中被执行。
此外，在本说明书中，系统意味着多个部件(装置、模块(零件)等)的组装，并且不是所有部件都需要被设置在同一壳体中。鉴于此，容纳在不同壳体中并且经由网络彼此连接的多个装置形成系统，并且具有容纳在一个壳体中的多个模块的一个装置也是系统。
注意，本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的范围的情况下对其进行各种修改。
例如，本技术可以在云计算配置中实现，在云计算配置中，经由网络在多个装置之间共享一个功能，并且通过装置彼此协作来执行处理。
此外，参照上述流程图描述的各个步骤可以由一个装置执行或者可以在多个装置之间共享。
此外，在一个步骤中包括多于一个处理的情况下，该步骤中包括的多个处理可以由一个装置执行或者可以在多个装置之间共享。
此外，本说明书中描述的有益效果仅是示例，并且本技术的有益效果不限于此，而是可以包括其他效果。
注意，本技术也可以下述配置来实现。
<1>
一种图像处理装置，包括：
获取单元，其获取多个视点的图像；以及
聚光处理单元，其通过设定用于使所述多个视点的图像的像素移位的移位量，根据所述移位量使所述多个视点的图像的像素移位以及对像素值进行累计，来执行聚光处理以生成聚焦于预定距离处的处理结果图像，
其中，所述聚光处理单元根据通过利用各个所述视点的校正系数校正所述移位量而获得的经校正的移位量来使所述像素移位。
<2>
根据<1>所述的图像处理装置，其中，
所述聚光处理单元：
利用对应于所述视点的所述校正系数来校正所述移位量，并且
根据经校正的所述移位量来使所述视点的图像的像素移位。
<3>
根据<1>或<2>所述的图像处理装置，其中，所述校正系数是根据用于提供模糊的软滤波器的凹槽而针对各个所述视点设定的。
<4>
根据<1>至<3>中任一项所述的图像处理装置，其中，在用于表示各个所述视点的校正系数的二维平面中，除了一个象限之外的三个象限中的各个所述视点的校正系数被设定成与所述一个象限中的各个所述视点的校正系数对称。
<5>
根据<1>至<4>中任一项所述的图像处理装置，其中，所述多个视点的图像包括由多个相机捕获的多个捕获图像。
<6>
根据<5>所述的图像处理装置，其中，所述多个视点的图像包括所述多个捕获图像和通过使用所述捕获图像进行插值而生成的多个插值图像。
<7>
根据<6>所述的图像处理装置，还包括：
视差信息生成单元，其生成关于所述多个捕获图像的视差信息；以及
插值单元，其使用所述捕获图像和所述视差信息来生成不同视点的所述多个插值图像。
<8>
一种图像处理方法，包括：
获取多个视点的图像；以及
通过设定用于使所述多个视点的图像的像素移位的移位量，根据所述移位量使所述多个视点的图像的像素移位以及对像素值进行累计，来执行聚光处理以生成聚焦于预定距离处的处理结果图像，
其中，在所述聚光处理中，根据通过利用各个所述视点的校正系数校正所述移位量而获得的经校正的移位量来使所述像素移位。
<9>
一种程序，所述程序用于使得计算机用作：
获取单元，其获取多个视点的图像；以及
聚光处理单元，其通过设定用于使所述多个视点的图像的像素移位的移位量，根据所述移位量使所述多个视点的图像的像素移位以及对像素值进行累计，来执行聚光处理以生成聚焦于预定距离处的处理结果图像，
其中，所述聚光处理单元根据通过利用各个所述视点的校正系数校正所述移位量而获得的经校正的移位量来使所述像素移位。
<A1>
一种图像处理装置，包括：
聚光处理单元，通过设定用于使多个视点的图像的像素移位的移位量、根据所述移位量使所述多个视点的图像的像素移位以及对像素值进行累计，来执行聚光处理以生成聚焦于预定距离处的处理结果图像，并且
在所述聚光处理中，根据利用用于校正所述移位量的校正系数校正的移位量来使所述多个视点的图像的像素移位，所述校正系数是已经根据所述视点设定的。
附图标记列表
11图像捕获装置，12图像处理装置，13显示装置，211至217以及2111至2119相机单元，31视差信息生成单元，32插值单元，33聚光处理单元，34参数设定单元，101总线，102CPU，103 ROM，104 RAM，105硬盘，106输出单元，107输入单元，108通信单元，109驱动器，110输入/输出接口，111可移除记录介质。

Claims (9)

1.一种图像处理装置，包括：
获取单元，其获取多个视点的图像；以及
聚光处理单元，其通过设定用于使所述多个视点的图像的像素移位的移位量、根据所述移位量使所述多个视点的图像的像素移位以及对像素值进行累计，来执行聚光处理以生成聚焦于预定距离处的处理结果图像，
其中，所述聚光处理单元根据通过利用各个所述视点的校正系数校正所述移位量而获得的经校正的移位量来使所述像素移位。
2.根据权利要求1所述的图像处理装置，其中，
所述聚光处理单元：
利用对应于所述视点的所述校正系数来校正所述移位量，并且
根据经校正的所述移位量来使所述视点的图像的像素移位。
3.根据权利要求1所述的图像处理装置，其中，所述校正系数是根据用于提供模糊的软滤波器的凹槽而针对各个所述视点设定的。
4.根据权利要求1所述的图像处理装置，其中，在用于表示各个所述视点的校正系数的二维平面中，除了一个象限之外的三个象限中的各个所述视点的校正系数被设定成与所述一个象限中的各个所述视点的校正系数对称。
5.根据权利要求1所述的图像处理装置，其中，所述多个视点的图像包括由多个相机捕获的多个捕获图像。
6.根据权利要求5所述的图像处理装置，其中，所述多个视点的图像包括所述多个捕获图像和通过使用所述捕获图像进行插值而生成的多个插值图像。
7.根据权利要求6所述的图像处理装置，还包括：
视差信息生成单元，其生成关于所述多个捕获图像的视差信息；以及
插值单元，其使用所述捕获图像和所述视差信息来生成不同视点的所述多个插值图像。
8.一种图像处理方法，包括：
获取多个视点的图像；以及
通过设定用于使所述多个视点的图像的像素移位的移位量、根据所述移位量使所述多个视点的图像的像素移位以及对像素值进行累计，来执行聚光处理以生成聚焦于预定距离处的处理结果图像，
其中，在所述聚光处理中，根据通过利用各个所述视点的校正系数校正所述移位量而获得的经校正的移位量来使所述像素移位。
9.一种程序，所述程序用于使得计算机用作：
获取单元，其获取多个视点的图像；以及
聚光处理单元，其通过设定用于使所述多个视点的图像的像素移位的移位量、根据所述移位量使所述多个视点的图像的像素移位以及对像素值进行累计，来执行聚光处理以生成聚焦于预定距离处的处理结果图像，
其中，所述聚光处理单元根据通过利用各个所述视点的校正系数校正所述移位量而获得的经校正的移位量来使所述像素移位。
CN201780067930.0A 2016-11-08 2017-10-25 图像处理装置、图像处理方法以及记录介质 Active CN109923854B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-217764 2016-11-08
JP2016217764 2016-11-08
PCT/JP2017/038470 WO2018088212A1 (ja) 2016-11-08 2017-10-25 画像処理装置、画像処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
CN109923854A true CN109923854A (zh) 2019-06-21
CN109923854B CN109923854B (zh) 2022-01-04

Family

ID=62109292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780067930.0A Active CN109923854B (zh) 2016-11-08 2017-10-25 图像处理装置、图像处理方法以及记录介质

Country Status (4)

Country Link
US (1) US10965861B2 (zh)
JP (1) JP7014175B2 (zh)
CN (1) CN109923854B (zh)
WO (1) WO2018088212A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021204020A1 (zh) * 2020-04-07 2021-10-14 深圳市大疆创新科技有限公司 装置、摄像装置、摄像系统、移动体、方法以及程序
CN115150546A (zh) * 2021-03-30 2022-10-04 本田技研工业株式会社 信息处理装置和方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120300095A1 (en) * 2011-05-27 2012-11-29 Canon Kabushiki Kaisha Imaging apparatus and imaging method
JP2013121050A (ja) * 2011-12-07 2013-06-17 Canon Inc 画像撮影方法および画像撮影装置、プログラム
CN103685922A (zh) * 2012-09-12 2014-03-26 佳能株式会社 图像处理设备、摄像设备和图像处理方法
US20140219576A1 (en) * 2013-02-01 2014-08-07 Canon Kabushiki Kaisha Image processing apparatus and control method thereof
CN103997599A (zh) * 2013-02-14 2014-08-20 佳能株式会社 图像处理设备、图像拾取设备以及图像处理方法
CN104038690A (zh) * 2013-03-05 2014-09-10 佳能株式会社 图像处理装置、图像拍摄装置及图像处理方法
JP2014225102A (ja) * 2013-05-15 2014-12-04 日本放送協会 画像処理装置、及びプログラム
CN104618704A (zh) * 2013-11-05 2015-05-13 三星电子株式会社 用于图像处理的方法和设备
US20150287208A1 (en) * 2014-04-07 2015-10-08 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium
CN105191300A (zh) * 2013-03-21 2015-12-23 松下知识产权经营株式会社 图像处理方法以及图像处理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101663227B1 (ko) * 2010-09-13 2016-10-06 삼성전자주식회사 영상 처리 방법 및 장치
CN104508681B (zh) * 2012-06-28 2018-10-30 Fotonation开曼有限公司 用于检测有缺陷的相机阵列、光学器件阵列和传感器的系统及方法
CN104662589B (zh) * 2012-08-21 2017-08-04 派力肯影像公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
US10122993B2 (en) * 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
CN108107571B (zh) * 2013-10-30 2021-06-01 株式会社摩如富 图像处理装置及方法及非暂时性计算机可读记录介质
JP6463900B2 (ja) * 2014-04-17 2019-02-06 キヤノン株式会社 画像符号化装置及びその制御方法
JP6548367B2 (ja) * 2014-07-16 2019-07-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
US9942474B2 (en) * 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
EP3094076A1 (en) * 2015-05-13 2016-11-16 Thomson Licensing Method for obtaining a refocused image from a 4D raw light field data using a shift correction parameter
US10674139B2 (en) * 2015-06-03 2020-06-02 University Of Connecticut Methods and systems for human action recognition using 3D integral imaging

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120300095A1 (en) * 2011-05-27 2012-11-29 Canon Kabushiki Kaisha Imaging apparatus and imaging method
JP2013121050A (ja) * 2011-12-07 2013-06-17 Canon Inc 画像撮影方法および画像撮影装置、プログラム
CN103685922A (zh) * 2012-09-12 2014-03-26 佳能株式会社 图像处理设备、摄像设备和图像处理方法
US20140219576A1 (en) * 2013-02-01 2014-08-07 Canon Kabushiki Kaisha Image processing apparatus and control method thereof
CN103997599A (zh) * 2013-02-14 2014-08-20 佳能株式会社 图像处理设备、图像拾取设备以及图像处理方法
CN104038690A (zh) * 2013-03-05 2014-09-10 佳能株式会社 图像处理装置、图像拍摄装置及图像处理方法
CN105191300A (zh) * 2013-03-21 2015-12-23 松下知识产权经营株式会社 图像处理方法以及图像处理装置
JP2014225102A (ja) * 2013-05-15 2014-12-04 日本放送協会 画像処理装置、及びプログラム
CN104618704A (zh) * 2013-11-05 2015-05-13 三星电子株式会社 用于图像处理的方法和设备
US20150287208A1 (en) * 2014-04-07 2015-10-08 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021204020A1 (zh) * 2020-04-07 2021-10-14 深圳市大疆创新科技有限公司 装置、摄像装置、摄像系统、移动体、方法以及程序
CN115150546A (zh) * 2021-03-30 2022-10-04 本田技研工业株式会社 信息处理装置和方法

Also Published As

Publication number Publication date
US10965861B2 (en) 2021-03-30
CN109923854B (zh) 2022-01-04
JPWO2018088212A1 (ja) 2019-09-26
JP7014175B2 (ja) 2022-02-15
WO2018088212A1 (ja) 2018-05-17
US20190268546A1 (en) 2019-08-29

Similar Documents

Publication Publication Date Title
US9172853B2 (en) Microlens array architecture for avoiding ghosting in projected images
KR20180101165A (ko) 파노라마 프레임으로의 프레임 스티칭
US10957021B2 (en) Method for rendering a final image from initial images acquired by a camera array, corresponding device, computer program product and computer-readable carrier medium
US10341546B2 (en) Image processing apparatus and image processing method
EP3664433A1 (en) Information processing device, information processing method, and program, and interchangeable lens
JP2014107631A (ja) 画像生成方法及び装置
US10475163B2 (en) Method and apparatus for generating data representative of a bokeh associated to light-field data
CN109923854A (zh) 图像处理装置、图像处理方法以及程序
JPWO2019078032A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
US10529057B2 (en) Image processing apparatus and image processing method
JP6598473B2 (ja) 撮像装置および画像処理装置
WO2018079283A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
US10306146B2 (en) Image processing apparatus and image processing method
CN109923853A (zh) 图像处理装置、图像处理方法以及程序
JP6168220B2 (ja) 画像生成装置、画像処理装置、画像生成方法及び画像処理プログラム
US10453183B2 (en) Image processing apparatus and image processing method
JP6330955B2 (ja) 撮像装置及び撮像方法
JP6569769B2 (ja) 任意視点画像合成方法及び画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant