CN108886581A - 图像处理装置、摄像装置、其控制方法和程序 - Google Patents

图像处理装置、摄像装置、其控制方法和程序 Download PDF

Info

Publication number
CN108886581A
CN108886581A CN201780019656.XA CN201780019656A CN108886581A CN 108886581 A CN108886581 A CN 108886581A CN 201780019656 A CN201780019656 A CN 201780019656A CN 108886581 A CN108886581 A CN 108886581A
Authority
CN
China
Prior art keywords
image
viewpoint
visual point
pixel
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780019656.XA
Other languages
English (en)
Other versions
CN108886581B (zh
Inventor
上田晓彦
福田浩
福田浩一
吉村勇希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority claimed from PCT/JP2017/002504 external-priority patent/WO2017163588A1/ja
Publication of CN108886581A publication Critical patent/CN108886581A/zh
Application granted granted Critical
Publication of CN108886581B publication Critical patent/CN108886581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/793—Processing of colour television signals in connection with recording for controlling the level of the chrominance signal, e.g. by means of automatic chroma control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)

Abstract

根据本发明的图像处理装置包括：获得部，用于获得包含入射光束的强度信息和角度信息的图像信号；操作部，用于接受视点改变操作和焦点位置改变操作；以及处理部，用于通过根据视点改变操作改变视点并根据焦点位置改变操作改变焦点位置，基于根据图像信号获得的多个视点图像生成显示图像。

Description

图像处理装置、摄像装置、其控制方法和程序
技术领域
本发明涉及一种图像处理装置、摄像装置、其控制方法和程序。
背景技术
已知一种能够通过记录已经通过摄像透镜的不同光瞳区域的光束来同时拍摄多个视点图像的摄像装置。NPL 1公开了一种使用图像传感器的摄像装置，在该图像传感器中一个微透镜和多个分开的光电转换器形成在一个像素中。在该图像传感器中，分开的光电转换器利用一个微透镜接收已经通过摄像透镜的不同光瞳部分区域的光束，由此实现所谓的光瞳分割。因此，输出信号等同于包含光强度空间分布信息和角度分布信息的LF(光场)数据，所以可以获得多个视点图像。
NPL 1还公开了一种重新聚焦技术，其能够通过使用获得的LF数据生成在与摄像面不同的虚拟平面上形成的合成图像，在摄像后改变拍摄图像的焦点位置(也称为对焦位置)。
引用列表
非专利文献
NPL 1:Ren.Ng,and seven others,"Light Field Photography with a Hand-Held Plenoptic Camera",Stanford Tech Report CTSR 2005-02
发明内容
技术问题
有时需要基于多个视点图像同时进行显示具有改变的视点的图像(视点改变图像)的操作和通过重新聚焦技术显示具有改变的焦点位置的图像的操作。然而，NPL 1没有考虑同时操作视点改变图像的显示和具有改变的焦点位置的图像的显示的方法。
考虑到上述问题而作出了本发明。即，本发明提供了一种能够基于多个视点图像同时进行显示视点改变图像的操作和显示具有改变的焦点位置的图像的操作的技术。
解决问题的方案
为了解决上述问题，本发明的图像处理装置具有以下布置。也即，图像处理装置的特征在于包括：获得部，用于获得包含入射光束的强度信息和角度信息的图像信号；操作部，用于接受视点改变操作和焦点位置改变操作；以及处理部，用于通过根据视点改变操作改变视点并根据焦点位置改变操作改变焦点位置，基于根据图像信号获得的多个视点图像生成显示图像。
本发明的有益效果
本发明使得能够基于多个视点图像同时进行显示视点改变图像的操作和显示具有改变的焦点位置的图像的操作。
通过以下结合附图的说明，本发明的其他特征和优点将变得清楚。注意，在这些附图中，相同的附图标记表示相同或相似的部件。
附图说明
包含在说明书中并构成说明书的一部分的附图，例示了本发明的实施例，并与本描述一起用于说明本发明的原理。
图1是示出根据本发明实施例的作为图像处理装置的示例的数字照相机的功能配置示例的框图；
图2是示出根据第一实施例的图像处理单元的功能配置示例的框图；
图3是示意地示出根据第一实施例的像素阵列的图；
图4A和图4B是示意性地示出根据第一实施例的像素的平面图和截面图；
图5是用于说明根据第一实施例的光瞳分割的概要的图；
图6A和图6B是用于说明根据第一实施例的像素内部的光强度分布的示例的图；
图7是用于说明根据第一实施例的光瞳强度分布的示例的图；
图8A是用于说明根据第一实施例的图像传感器与光瞳分割之间的关系的图；
图8B是用于说明第一视点图像和第二视点图像中的散焦量与像位移量之间的关系的图；
图9是示出根据第一实施例的拍摄图像的对比度分布的示例的图；
图10是用于说明根据第一实施例的放大视点图像之间的差异的视差强调的示例的图；
图11是用于说明根据第一实施例的重新聚焦处理的概要的图；
图12是用于说明根据第一实施例的反锐化处理(unsharpness processing)的概要的图；
图13是用于说明根据第一实施例的重新聚焦可能范围的图；
图14A、图14B和图14C是用于说明根据第一实施例的视点移动处理的原理的图；
图15A、图15B和图15C是用于说明根据第一实施例的在图像传感器的周边像高处的光瞳位移的图；
图16是示出根据第一实施例的根据对拍摄图像的视点移动操作和聚焦调整操作的一系列操作的流程图；
图17是示出根据第一实施例的视点图像操纵处理的一系列操作的流程图；
图18是示出根据第一实施例的显影处理的一系列操作的流程图；
图19A、图19B、图19C和图19D是示意性地示出根据第一实施例的视点移动UI和聚焦调整UI的图；
图20是示意性地示出根据第一实施例的向UI中添加用于强调程度的UI的示例的图；
图21是示出根据第二实施例的视差图像操纵处理的一系列操作的流程图；
图22是示意地示出根据第三实施例的像素阵列的图；
图23A和图23B是示意性地示出根据第三实施例的像素的平面图和截面图；
图24是示意地示出根据第三实施例的视点移动UI和聚焦调整UI的图；
图25A和图25B是示出根据第四实施例的视差图像操纵处理的一系列操作的流程图；
图26是示意地示出根据第四实施例的视点移动UI和聚焦调整UI的标记(notation)示例的图；
图27是示意地示出根据第四实施例的视点移动UI和聚焦调整UI的标记示例的图；以及
图28是示意地示出根据第四实施例的视点移动UI和聚焦调整UI的标记示例的图。
具体实施方式
(第一实施例)
下面将参照附图详细地说明本发明的示例性实施例。注意，作为图像处理装置的示例，下面将说明将本发明应用于能够获得LF数据的任意数字照相机的示例。然而，本发明不仅适用于数字照相机，而且适用于能够处理所获得的LF数据的任意设备。这些设备可以包括例如便携式电话、游戏机、平板终端、个人计算机、手表式和眼镜式信息终端、监控系统、车载系统、诸如内窥镜的医疗系统以及能够提供图像的机器人。本发明还可以包括如下布置，其中任意设备将LF数据和操作内容发送到存在于因特网或本地网络上并且包括处理部(例如处理器)的服务器设备(包括虚拟机)，该服务器设备对LF数据执行部分或全部处理。在这种情况下，本发明可以包括从任意设备或服务器设备接收处理结果并显示处理结果的布置。
(数字照相机100的整体配置)
图1是示出作为本实施例的图像处理装置的示例的数字照相机100的功能配置示例的框图。注意，图1中所示的一个或更多个功能块可以由诸如ASIC或可编程逻辑阵列(PLA)等的硬件实现，并且还可以通过执行软件由诸如CPU或MPU等的可编程处理器实现。还可以通过组合软件和硬件来实现一个或更多个功能块。因此，在以下说明中，即使将不同的功能块描述为主要操作部件，它们也可以通过与主要部件相同的硬件来实现。
第一透镜组101包括例如形成图像形成光学系统的变焦透镜，并且被布置在图像形成光学系统的远端，并且被保持为在光轴方向上可前后移动。快门102包括光阑，并且通过调整光阑的孔径直径来调整在摄像期间进入图像传感器107的光量。当拍摄静止图像时，快门102用作用于调整曝光时间的快门。快门102和形成图像形成光学系统的第二透镜组103一起在光轴方向上前后移动，并且与第一透镜组101的前/后移动协作实现倍率改变动作(变焦功能)。
第三透镜组105包括例如形成图像形成光学系统的聚焦透镜，并且通过在光轴方向上的前/后移动来进行聚焦。光学元件106包括光学低通滤波器，并且减少拍摄图像的假色和莫尔条纹。图像传感器107包括例如由CMOS光电传感器和外围电路形成的图像传感器，并且布置在图像形成光学系统的成像面上。
变焦致动器111包括用于引起第一透镜组101和第三透镜组103的前/后移动的驱动设备，并且通过使凸轮筒(未示出)枢转来在光轴方向上前后驱动第一透镜组101和第三透镜组103。光阑快门致动器112包括用于引起快门102的操作的驱动设备，并且在光阑快门驱动器128的控制下控制快门102的孔径直径和快门操作。聚焦致动器114包括用于引起第三透镜组105的前/后移动的驱动设备，并通过在光轴方向上前后驱动第三透镜组105来进行聚焦。
照明设备115包括用于摄像的被摄体照明电子闪光灯。例如，照明设备115是使用氙管的闪光照明设备，或包括连续发光的LED的照明设备。辅助发光单元116包括AF辅助发光设备，并且通过光投射透镜将具有预定孔径图案的掩模的图像投影到场上，从而提高对暗被摄体或低对比度被摄体的焦点检测能力。
控制器121包括CPU(或MPU)、ROM和RAM，并通过将存储在ROM中的程序加载到RAM中并执行该程序来控制整个数字照相机100的各个单元，从而执行诸如AF、摄像、图像处理和记录等的一系列操作。控制器121还可以包括A/D转换器、D/A转换器、通信接口电路等。此外，控制器121可以具有用于控制要在显示单元131上显示的内容的显示控制器的功能，并且还可以替代图像处理器125执行由图像处理器125执行的处理。
电子闪光灯控制器122包括控制电路或控制模块，并且与摄像操作同步地控制照明设备115的点亮。辅助光驱动器123与焦点检测操作同步地控制辅助光发射单元116的点亮。图像传感器驱动器124控制图像传感器107的摄像操作，对获得的图像信号进行A/D转换，并将转换后的信号发送到控制器121。图像处理电路125对由图像传感器107获得的图像进行诸如γ转换、颜色插值和JPEG压缩等的处理。
聚焦驱动器126、光阑快门驱动器128和变焦驱动器129均包括控制电路或控制模块。聚焦驱动器126基于焦点检测结果控制聚焦致动器114。光阑快门驱动器128在摄像操作的预定定时控制光阑快门致动器112。变焦驱动器129根据用户的变焦操作控制变焦致动器111。
显示单元131包括诸如LCD的显示设备，并且显示例如照相机的摄像模式的信息、摄像前的预览图像和摄像后的检查图像以及焦点检测期间的对焦状态的显示图像。操作单元132包括用于操作数字照相机100的开关，例如，电源开关、释放(摄像触发)开关、变焦操作开关和摄像模式选择开关。当操作单元132将输入的用户操作发送到控制器121时，控制器121控制数字照相机100的各单元以执行与用户操作相对应的操作。记录介质133包括可拆装的闪速存储器等，并记录拍摄的图像。
通信单元134包括通信电路或模块，并且通过使用符合预定标准的通信方法建立与外部装置(例如，安装在外部的服务器)的通信。例如，通信单元134将图像数据上传到外部装置，从外部装置下载图像数据，并且接收由外部装置对上传的图像数据进行的预定处理的结果。
(图像处理器125的布置)
下面将参照图2说明图像处理器125的布置。图像获得单元151保存从记录介质133读出的图像数据。该图像数据是包含通过合成第一视点图像和第二视点图像(稍后描述)获得的图像(也称为A+B像)和第一视点图像的图像数据。
减法单元152通过从A+B像中减去第一视点图像来生成第二视点图像。阴影处理单元153校正由第一视点图像和第二视点图像的像高引起的光量变化。操作信息获得单元154接收由用户改变的用于视点移动和重新聚焦的调整值，并将由用户操纵的调整值提供给视点改变处理单元155和重新聚焦处理单元156。
视点改变处理单元155通过改变第一视点图像和第二视点图像的相加比率(加权)来合成视点改变图像。如稍后将详细描述的，可以通过视点改变处理单元155的处理来生成具有扩展的或减小的景深的图像。重新聚焦处理单元156通过在光瞳分割方向上对第一视点图像和第二视点图像进行移位相加来生成合成图像，从而生成具有不同焦点位置的图像。稍后还将详细描述由重新聚焦处理单元156进行的该处理。
此外，图像处理器125通过使用将在下面说明的白平衡单元157、去马赛克单元158、伽马转换单元159和颜色调整单元160来进行显影处理。白平衡单元157进行白平衡处理。更具体地，白平衡单元157对R、G和B进行增益，使得R、G和B在白色区域中变为同色。通过在去马赛克处理(demosaicing process)之前进行该白平衡处理，能够通过避免使饱和度由于颜色雾化等变得高于伪色的饱和度来防止计算饱和度时的确定误差。
去马赛克单元158对各像素中缺少的三原色的两种颜色的彩色马赛克图像数据进行插值，从而在所有像素中生成具有所有R、G和B彩色图像数据的彩色图像。去马赛克单元158通过使用关注像素周围的像素来对关注像素进行插值。之后，去马赛克单元158生成三原色R、G和B的彩色图像数据作为对各像素的插值结果。
伽马转换单元159对各像素的彩色图像数据应用伽马校正处理，从而生成与例如显示单元131的显示特性匹配的彩色图像数据。颜色调整单元160对彩色图像数据应用各种颜色调整处理，例如降噪、饱和度强调、色调校正和边缘强调，它们是用于改善图像外观的处理。
压缩单元161利用符合诸如JPEG的预定压缩方法的方法来压缩经颜色调整的彩色图像数据，从而在记录数据时减小彩色图像数据的数据大小。输出单元163输出上述彩色图像数据或压缩图像数据，或用于用户界面的显示数据。
(摄像元件107的布置)
将参照图3说明根据本实施例的图像传感器107中的像素和子像素的阵列。图3示出了4列×4行范围内的二维布置的像素阵列，并且还示出了8列×4行范围内的、各像素中包括的子像素阵列。
在图3所示的该像素阵列中，2列×2行像素包括左上角的具有R(红色)的光谱灵敏度的像素200R、右上角和左下角的具有G(绿色)的光谱灵敏度的像素200G以及右下角的具有B(蓝色)的光谱灵敏度的像素200B。另外，各像素包括布置成2列×1行的子像素201和202。
可以通过二维地布置图3中所示的大量的4列×4行像素(8列×4行子像素)来获得拍摄图像(或焦点检测信号)。在图像传感器107中，例如，像素布置的周期P是4μm，像素数N是5575列×3725行＝约20750000个像素，子像素的列方向周期PS是2μm，子像素数NS为11150列×3725行＝约41500000个像素。
下面将更详细地说明图3中所示的像素200G的结构。图4A是从图像传感器107的光接收面侧(+z侧)示出像素200G的平面图，并且，图4B是从-y侧示出图4A中的a-a截面的截面图。
像素200G被形成为使得具有在x方向上通过NH分割(被分割成两个)且在y方向上通过NV分割(被分割成一个)的光电转换器301和302。光电转换器301和302分别对应于子像素201和202。
像素200G具有用于朝向像素的光接收侧(+z方向)会聚入射光的微透镜305，并且被构造成使得已经通过微透镜305进入的光束被光电转换器301或302接收。光电转换器301和302中的各个可以是通过将本征层夹在p型层和n型层之间而形成的pin结构光电二极管，并且还可以是根据需要而省略本征层的pn结光电二极管。滤色器306布置在微透镜305和光电转换器301和302之间，并使具有预定频率的光通过。图4B示出了在一个像素200G中形成一个滤色器306的示例。然而，根据需要，还可以在各子像素中形成具有不同光谱透射率的滤色器，或者省略滤色器。
在光电转换器301和302中，根据接收到的光量产生电子和空穴对，并且通过耗尽层使它们分离。之后，具有负电荷的电子存储在n型层中，并且空穴通过连接到恒压源(未示出)的p型层300输出到图像传感器107的外部。存储在光电转换器301和302的n型层中的电子经由传输门传输到电容部(FD)，并且被转换为电压信号。
(摄像元件107的像素结构与光瞳分割之间的关系)
现在将参照图5说明图4A和图4B中所示的图像传感器107的像素结构与光瞳分割之间的关系。图5示出了从+y侧观察图4A中所示的像素200G的a-a截面的截面图与图像形成光学系统的出射光瞳面之间的关系。注意，在图5中，像素200G的截面图的x轴和y轴是对图4A和图4B中所示的x轴和y轴的反转，以匹配出射光瞳面的坐标轴。
子像素201的光瞳部分区域501表示子像素201能够籍以接收光的光瞳区域。子像素201的光瞳部分区域501的重心朝向光瞳面上的+X侧偏心，并且具有在-x方向上偏心的重心的光电转换器301的光接收面和微透镜大体具有共轭关系。
另一方面，子像素202的光瞳部分区域502表示子像素202能够籍以接收光的光瞳区域。子像素202的光瞳部分区域502的重心朝向光瞳面上的-X侧偏心，并且具有在+x方向上偏心的重心的光电转换器302的光接收面和微透镜大体具有共轭关系。注意，光瞳区域500是如下的光瞳区域，通过该光瞳区域可以由包括光电转换器301和302(子像素201和202)二者的整个像素200G接收光。
将在下面更详细地说明光进入具有上述布置的像素200G的方式。图6A和图6B示出了当光进入形成在像素200G中的微透镜305时的光强度分布的示例。图6A示出了平行于微透镜光轴的截面中的光强度分布，并且，图6B示出了在微透镜焦点位置的与微透镜光轴垂直的截面中的光强度分布。参照图6A，H表示微透镜305的凸侧上的表面；f是微透镜的焦距；nFΔ是通过重新聚焦获得的焦点位置的可移动范围(稍后描述)；并且φ是入射光束的最大角度。
微透镜305将入射光会聚到焦点位置，但是由于光波动的衍射的影响，会聚点的直径不会变得小于衍射极限Δ，并且具有如图6A和6B所示的有限尺寸。例如，当光电转换器301的光接收面的尺寸为约1至2μm时，微透镜的会聚点也约为1μm。因此，经由微透镜305与光电转换器301的光接收面具有共轭关系的光瞳部分区域501(光电转换器302的光瞳部分区域502)形成光接收率分布(光瞳强度分布)，在该光接收率分布中由于衍射模糊而没有清楚地进行光瞳分割。
图7通过以横坐标标示光瞳坐标和以纵坐标标示光接收率来示意性地示出像素200G中的光瞳强度分布。注意，光瞳强度分布701示出了图5中所示的光瞳部分区域501的沿X轴截取的光瞳强度分布的示例(实线)，并且光瞳强度分布702示出了光瞳部分区域502的沿X轴截取的光瞳强度分布的示例(虚线)。图7揭示了光瞳部分区域501和502在不同的光瞳位置具有平缓的光瞳强度峰值，并且已经通过微透镜305的光被平缓地分割成光瞳。
图8A示出了光瞳分割与图像传感器107的不同位置中的像素之间的关系。已经通过不同的光瞳部分区域(光瞳部分区域501和502)的光束通过摄像面800并以不同角度进入图像传感器107的像素。然后，以2×1被分割的各像素的子像素201(光电转换器301)和子像素202(光电转换器302)接收光束。也就是说，在图像传感器107中，排列多个像素，各像素包括多个子像素，这些子像素被构造为接收通过图像形成光学系统的不同光瞳部分区域的光束。
通过使用具有这种布置的图像传感器107，能够通过收集各个像素的子像素201的光接收信号来生成第一视点图像，并且通过收集各像素的子像素202的光接收信号来生成第二视点图像。也即，可以根据由图像传感器107的各像素获得的输入图像，针对不同的光瞳部分区域中的各个生成多个视点图像。注意，在本实施例中，第一视点图像和第二视点图像中的各个是拜耳阵列图像，因此，可以根据需要对第一视点图像和第二视点图像应用去马赛克处理。此外，通过针对图像传感器的各像素相加和读出来自子像素201和202的信号，可以生成具有有效像素数N的分辨率的拍摄图像。在本实施例中，将说明使用由多个视点图像(第一视点图像和第二视点图像)生成的拍摄图像的示例。注意，图8A示出了光瞳区域在水平方向上被分割成两个区域的示例，但是也可以根据子像素分割方法在垂直方向上进行光瞳分割。然而，本发明不限于此，并且本实施例和其他实施例适用于能够通过公知技术获得多个视点图像的任何布置。例如，如日本特开第2011-22796号公报中所公开的，具有多个视点的不同照相机可以被视为图像传感器107。与图1所示的光学系统不同，还可以在微透镜阵列上对来自摄像光学系统的光束成像，并在成像面上形成图像传感器，使得物平面和图像传感器具有共轭关系。此外，还可以在微透镜阵列上对来自摄像光学系统的光束重新成像(这被称为“重新成像”，因为对曾经经过成像的扩散光束成像)，并在成像面上形成图像传感器。还可以使用将具有适当图案的掩模(增益调制元件)插入摄像操作系统的光路中的方法。
(视差图像的散焦量与像位移量之间的关系)
下面将说明从图像传感器107输出的第一视点图像和第二视点图像的散焦量和像位移量之间的关系。图8B示意性地示出了第一视点图像和第二视点图像的散焦量与第一视点图像和第二视点图像的像位移量之间的关系。图像传感器107(图8B中未示出)布置在摄像面800上，并且图像形成光学系统的出射光瞳被分割成两个区域，即，光瞳部分区域501和502，如图5、图8A和图8B所示。
散焦量d表示从被摄体的成像位置到摄像面800的距离，大小为|d|。散焦量d通过负号(d<0)表示被摄体的成像位置比摄像面800更靠近被摄体的状态(该状态也称为前焦点状态)。另一方面，散焦量d通过正号(d>0)表示被摄体的成像位置位于被摄体的与摄像面800相反的一侧的状态(该状态也称为后焦点状态)。被摄体的成像位置在摄像面上的对焦状态是d＝0。图9示出了被摄体801处于对焦状态(d＝0)的示例，以及被摄体802处于前焦点状态(d<0)的示例。注意，前焦点状态(d<0)和后焦点状态(d>0)都是散焦状态(|d|>0)。
在前焦点状态(d<0)中，作为来自被摄体802的光束的一部分并且已经通过光瞳部分区域501(光瞳部分区域502)的光束被会聚一次，并且从光束的重心G1(G2)扩展宽度Γ1(Γ2)，从而在摄像面800上形成模糊像。形成图像传感器中排列的各像素的子像素201(202)接收该模糊像并生成第一视点图像(第二视点图像)。因此，在摄像面800上的重心G1(G2)中，第一视点图像(第二视点图像)被记录为被摄体802以宽度Γ1(Γ2)模糊的被摄体像。随着散焦量d的量值|d|增加，则被摄体像的模糊宽度Γ1(Γ2)大致成比例地增加。同样，随着散焦量d的量值|d|增加，第一视点图像和第二视点图像之间的被摄体像的像位移量p(＝光束的重心差G1-G2)的量值|p|大致成比例地增加。除了第一视点图像和第二视点图像之间的被摄体像的像位移方向与前焦点状态下的像位移方向相反，后焦点状态(d>0)与前焦点状态相同。
因此，在本实施例中，第一视点图像和第二视点图像之间的像位移量的量值随着第一视点图像和第二视点图像的散焦量的量值或者通过相加第一视点图像和第二视点图像而获得的摄像信号的量值增加而增加。
(视点图像校正和重新聚焦)
下面将说明根据本实施例的视点图像校正处理和重新聚焦处理。在本实施例的重新聚焦处理的第一阶段中，视点改变处理单元155基于拍摄图像的各像素值计算表示对比度是高还是低的对比度分布。在第二阶段中，基于计算出的对比度分布，视点改变处理单元155通过针对各像素放大多个视点图像(第一视点图像和第二视点图像)之间的差异来进行用于强调视差的转换，从而生成多个校正视点图像(第一校正视点图像和第二校正视点图像)。在第三阶段中，重新聚焦处理单元156通过相对移位多个校正视点图像(第一校正视点图像和第二校正视点图像)来将它们相加，从而生成重新聚焦图像。
注意，在以下说明中，假设i和j是整数，(j,i)表示图像传感器107的行方向上的第j个位置和列方向上的第i个位置。还注意，A0(j,i)表示在位置(j,i)的像素的第一视点图像，B0(j,i)表示第二视点图像，并且I(j,i)＝A0(j,i)+B0(j,i)表示拍摄图像。
(第一阶段：对比度分布的计算)
视点改变处理单元155针对具有拜耳阵列的拍摄图像I(j,i)，根据式(1)，通过在各位置(j,i)使RGB的颜色重心匹配来计算亮度Y(j,i)。
然后，视点改变处理单元155在作为光瞳分割方向的水平方向(列i方向)上对亮度Y(j,i)应用诸如[1,2,-1,-4,-1,2,1]的拉普拉斯型(Laplacian-type)滤波处理，从而计算水平方向上的高频分量dY(j,i)。视点改变处理单元155还可以根据需要在不是光瞳分割方向的垂直方向(行j方向)上应用诸如[1,1,1,1,1,1,1]的高频截止滤波处理，从而抑制垂直方向上的高频噪声。
随后，视点改变处理单元155根据式(2)计算标准化(归一化)的水平方向高频分量dZ(j,i)。将常量Y0加到分母，以防止由于除以0而引起的式(2)的发散。视点改变处理单元155还可以根据需要通过在利用式(2)的标准化之前对亮度Y(j,i)应用高频截止滤波处理来抑制高频噪声。
dZ(j,i)＝dY(j,i)/(Y(j,i)+Y0) (2)
视点改变处理单元155根据式(3)计算对比度分布C(j,i)。式(3)的第一行示出当拍摄图像的亮度低于预定亮度Yc时对比度分布C(j,i)被设置为0。另一方面，式(3)的第三行示出当标准化的高频分量dZ(j,i)大于预定值Zc时，对比度分布C(j,i)被设置为1。其余(即，式(3)的第二行)示出通过用Zc标准化dZ(j,i)而获得的值是对比度分布C(j,i)。
对比度分布C(j,i)取值在[0,1]的范围内，并且当值变得接近0时对比度变低，而当值变得接近1时对比度变高。
图9示出了通过式(3)获得的拍摄图像的对比度分布C(j,i)的示例。在该对比度分布中，白色部分表示水平方向上的高频分量的量大且对比度高，黑色部分表示水平方向上的高频分量的量小并且对比度低。
(第二阶段：强调视差图像的视差的处理)
现在将说明强调视差图像的视差的处理。在该视差强调处理中，首先计算视点图像的像位移分布。可以通过对一对第一视点图像A0和第二视点图像B0进行相关计算来获得像位移分布，从而计算该对像的相对位置的位移量。各种公知的相关计算方法是可用的，并且视点改变处理单元155可以通过如式(4)所示相加该对像之间的差的绝对值来获得该对像的相关值。
其中A0i和B0i分别表示第一视点图像A0和第二视点图像B0中的第i个像素的亮度，ni是表示计算中要使用的像素的数量的数字，并且根据像位移分布的最小计算范围而被适当地设置。
例如，视点改变处理单元155计算使式(4)的COR(k)最小化的k作为像位移量。也就是说，在该对像移位k个像素的状态下，计算行方向上的第i个A0像素和第i个B0像素之间的差的绝对值，并且相加行方向上的多个像素的绝对值。然后，视点改变处理单元155通过将总和(即，使COR(k)最小化的k)视为A0和B0的像位移量来计算移位量k像素。
相比而言，当通过仅在光瞳分割方向上使二维像移动k个像素并且相加多个列的差来计算第一视点图像A0和第二视点图像B0的像素之间的差时，相关计算由式(5)定义。
其中，A0ij和B0ij分别表示第一视点图像A0和第二视点图像B0中的第j列中的第i个像素的亮度，ni表示计算中要使用的像素的数量，并且nj表示作为相关计算的目标的在列方向上的成对的像的数量。
如式(4)一样，视点改变处理单元155计算使式(5)的COR(k)最小化的k作为像位移量。注意，下标k仅被添加到i并且与j无关。这是因为当仅在光瞳分割方向上移动二维像的同时进行相关计算。视点改变处理单元155可以通过根据式(5)计算第一视点图像A0和第二视点图像B0在各区域中的像位移量来计算像位移分布。
通过仅对高对比度部分进行锐化处理(稍后描述)来进行本实施例的重新聚焦处理(稍后描述)。因此，在上述对比度分布计算处理中，不需要在对比度分布C(j,i)为0的区域中(即，在亮度低于预定亮度Yc的位置处)进行使用式(5)的相关计算。
下面将说明视差强调处理的实际示例。如图7的光瞳强度分布的示例所示，由微透镜和针对各像素形成的多个分开的光电转换器进行的光瞳分割是由于衍射模糊导致的平缓光瞳分割。因此，在对应于平缓分割的光瞳强度分布的多个视点图像中，光瞳分割方向上的有效F值不会充分变暗(增加)，有效的焦深几乎不增加。
因此，在本实施例中，视点改变处理单元155通过针对各像素放大多个视点图像(第一视点图像和第二视点图像)之间的差来进行强调视差的处理。通过该视差强调处理，视点改变处理单元155生成多个校正视点图像(第一校正视点图像和第二校正视点图像)。
视点改变处理单元155根据式(6)和(7)放大第一视点图像A0(j,i)和第二视点图像B0(j,i)之间的差，从而生成第一校正视点图像A(j,i)和第二校正视点图像B(j,i)。在下式中，k(0≤k≤1)和α(0≤α≤1)是实数。
图10示出了视差强调处理放大预定位置的视点图像之间的差的示例。虚线表示视差强调处理之前的第一视点图像A0(101)和第二视点图像B0(102)的示例，实线表示在通过式(4)和(5)进行视差强调处理之后的第一校正视点图像A(103)和第二校正视点图像B(104)的示例。在图10中，横坐标表示以子像素为单位的第1152到第1156个像素，纵坐标表示各像素中的视差的量值。视差强调处理不会大幅改变视点图像之间的差小的部分(例如，在第1154像素附近)，而是放大视点图像之间的差大的部分(例如，第1153像素和第1155像素的附近)，从而强调视差。
在如上所述的本实施例中，视点改变处理单元155通过放大多个视点图像之间的差而强调视差，来针对多个视点图像生成多个校正视点图像。注意，视点改变处理单元155可以通过使用包括在像素中的多个子像素的信号进行计算来抑制视差强调处理的负荷。
在式(6)中，当通过增加k的值来增强视差强调时，多个校正视点图像(第一校正视点图像和第二校正视点图像)之间的视差增加。因此，可以通过增加k的值来使分割方向上的有效F值变暗(增加)，并且通过校正来增加分割方向上的有效焦深。然而，如果过度增强视差强调，则校正视点图像的噪声增加，并且S/N减小。
因此，在本实施例中，基于对比度分布C(j,i)以区域自适应方式调整视差强调的转换程度。例如，视点改变处理单元155通过增加高对比度区域中的视差来增加视差强调程度，从而使分割方向上的有效F值变暗(增大)。另一方面，视点改变处理单元155降低低对比度区域中的视差强调程度以保持S/N，从而抑制S/N的较小。这使得能够增加多个校正视点图像(第一校正视点图像和第二校正视点图像)之间的视差，使分割方向上的有效F值变暗(增加)，并且通过校正增加分割方向上的有效焦深。此外，在稍后描述的重新聚焦处理中，通过使用多个校正视点图像(第一校正视点图像和第二校正视点图像)生成重新聚焦图像，可以改善重新聚焦效果(可以强调通过重新聚焦的图像的变化)。
视点改变处理单元155可以例如通过根据需要使拍摄图像的高亮度区域中的视差强调程度大于低亮度区域中的视差强调程度来抑制S/N的减小。此外，类似地，可以通过根据需要使高频分量的量大的拍摄图像的区域中的视差强调程度大于高频分量的量小的区域中的视差强调程度来抑制S/N的减小。
(第三阶段：重新聚焦处理)
将参照图11说明通过使用多个校正视点图像(第一校正视点图像和第二校正视点图像)在光瞳分割方向(列方向或水平方向)上进行的重新聚焦处理。图11示意性地示出了第一校正视点图像Ai和第二校正视点图像Bi，各校正视点图像包含在摄像面800上布置的图像传感器107的列方向上的第i像素的信号。第一校正视点图像Ai包含以主光线角度θa(对应于图8A所示的光瞳部分区域501)进入第i像素的光束的光接收信号。第二校正视点图像Bi包含以主光线角度θb(对应于图8A中所示的光瞳部分区域502)进入第i像素的光束的光接收信号。也就是说，除了光强度分布信息之外，第一校正视点图像Ai和第二校正视点图像Bi还具有入射角信息。
由于视点图像具有入射角信息，因此重新聚焦处理单元156可以在预定的虚拟成像面上生成重新聚焦图像。更具体地，重新聚焦处理单元156分别沿角度θa和角度θb将第一校正视点图像Ai和第二校正视点图像Bi平移到虚拟成像面810。然后，重新聚焦处理单元156可以通过逐像素地相加平移后的校正视点图像来在虚拟成像面810上生成重新聚焦图像。在图11所示的该示例中，沿着角度θa将第一校正视点图像Ai平移到虚拟成像面810相当于在列方向上将第一校正视点图像Ai移位+0.5像素。另一方面，沿角度θb将第二校正视点图像Bi平移到虚拟成像面810相当于在列方向上将第二校正视点图像Bi移位-0.5像素。即，在图11所示的该示例中，通过将第一校正视点图像Ai和第二校正视点图像Bi相对移位+1像素来获得第一校正视点图像Ai和第二校正视点图像Bi在虚拟成像面810上的组合。这使得通过逐+1个像素地相加第一校正视点图像Ai和第二校正视点图像Bi能够在虚拟成像面810上生成重新聚焦图像。
因此，重新聚焦处理单元156通过使用整数移位量s根据式(8)移位第一校正视点图像A和第二校正视点图像B来将它们相加，从而在与整数移位量s相对应的各虚拟成像面上生成重新聚焦图像I(j,i；s)。
I(j,i；s)＝A(j,i)+B(j,i+s) (8)
在本实施例中，第一校正视点图像A和第二校正视点图像B由拜耳阵列形成，因此重新聚焦处理单元156通过使用作为2的倍数的移位量s＝2n(n：整数)针对各颜色根据式(8)进行移位相加。即，重新聚焦处理单元156在保持图像的拜耳阵列的同时生成重新聚焦图像I(j,i；s)，并且之后对生成的重新聚焦图像I(j,i；s)进行去马赛克处理。注意，重新聚焦处理单元156还可以根据需要对第一校正视点图像A和第二校正视点图像B进行去马赛克处理，并且之后通过使用去马赛克的第一校正视点图像和第二校正视点图像来进行移位相加处理。此外，重新聚焦处理单元156还可以根据需要在第一校正视点图像A和第二校正视点图像B中的像素之间生成插值信号，并生成与非整数移位量相对应的重新聚焦图像。这使得能够通过以更精细的粒度改变虚拟成像面的位置来生成重新聚焦图像。
接下来，将说明重新聚焦处理单元156应用来生成更有效的重新聚焦图像的锐化处理和重新聚焦可能范围的计算。
(锐化处理)
在如上所述的重新聚焦处理中，通过移位第一校正视点图像A和第二校正视点图像B而将它们相加来生成虚拟成像面上的重新聚焦图像。由于第一校正视点图像A和第二校正视点图像B通过移位相加而移位，因此已知重新聚焦处理之前的图像的相对移位量(也称为像移位量)。
上述重新聚焦处理中的整数移位量s对应于该像移位量。因此，重新聚焦处理单元156可以通过对与像移位量s相对应的区域进行锐化处理来强调重新聚焦图像中的被摄体的轮廓。
根据本实施例的锐化处理使用反锐化掩模(unsharp mask)处理，其轮廓在图12中示出。在该反锐化掩模处理中，将模糊滤波器应用于关注像素周围的局部区域(原始信号)，并且应用模糊处理前后的像素值之间的差被反映在关注像素的像素值上，从而实现边缘增强。
根据式(9)计算针对要处理的像素值P的反锐化掩模处理。注意，P'是应用处理后的像素值，R是模糊滤波器的半径，并且T是应用量(％)。
P'(i,j)＝P(i,j)+(P(i,j)-F(i,j,R))×T(i,j)/100 (9)
在式(9)中，F(i,j,R)是通过将具有半径R的模糊滤波器应用于像素P(i,j)而获得的像素值。注意，可以在模糊滤波器中使用诸如高斯模糊的公知方法。高斯模糊是通过根据距要处理的像素的距离而应用对应于高斯分布的加权来进行平均化并且能够获得自然处理结果的处理。此外，模糊滤波器的半径R与要应用锐化处理的图像上的频率的波长有关。也就是说，随着R减小，强调精细图案，并且随着R增加，强调适度图案。应用量T(i,j)是根据像位移分布通过反锐化掩模处理改变边缘增强的应用量的值。更具体地，令pred(i,j)为各像素的位置的像位移量和通过重新聚焦处理的移位量s，在|s-pred(i,j)|具有小值(例如，像位移是一个像素或更小)的区域(即，在虚拟成像面上获得对焦状态的区域)中增加应用量T。另一方面，在|s-pred(i,j)|具有大值(例如，像位移量是三个像素或更多)的区域中减小应用量T。这使得能够在具有小散焦量并且接近焦点位置或对焦位置的区域中强调轮廓，并且不对具有大散焦量的模糊区域进行反锐化掩模处理(或不进行模糊处理)。也就是说，能够通过重新聚焦处理大大增强移动焦点位置的效果。
(重新聚焦可能范围的计算)
重新聚焦可能范围表示通过重新聚焦处理可改变的焦点位置的范围。例如，图13示意性地示出了根据本实施例的重新聚焦可能范围。令δ为允许的混淆圆，F为图像形成光学系统的孔径值，孔径值F处的景深为±Fδ。相比而言，通过除以NH×NV(2×1)而缩小的光瞳部分区域501(502)的水平方向上的有效孔径值F01(F02)与F01＝NHF一样暗。各第一校正视点图像(第二校正视点图像)的有效景深是±NHFδ，即，增加NH倍，并且对焦范围扩大NH倍。即，针对有效景深±NHFδ范围内的各第一校正视点图像(第二校正视点图像)获得聚焦的被摄体像。因此，重新聚焦处理单元156可以通过沿着图11所示的主光线角度θa(θb)平移第一校正视点图像(第二校正视点图像)的重新聚焦处理来在摄像后重新调整(重新聚焦)焦点位置。换句话说，限制从摄像后能够籍以重新调整(重新聚焦)焦点位置的摄像面的散焦量d，并且散焦量d的重新聚焦可能范围大致是式(10)的范围。
|d|≤NHFδ (10)
允许的混淆圆δ由例如δ＝2ΔX(1/(2ΔX)的倒数作为具有像素周期ΔX的奈奎斯特频率)来定义。通过这样计算重新聚焦可能范围，当通过用户操作改变(重新聚焦)焦点位置时，重新聚焦可能范围可以与可操作范围相关联。另外，可以预先掌握能够通过重新聚焦处理聚焦的光线(被摄体)。因此，例如，可以通过控制诸如图像形成光学系统的状态等的摄像条件来再次进行摄像，使得重新聚焦可能范围包括预定被摄体。
(视点移动处理)
下面将说明由视点改变处理单元155执行的根据本实施例的视点移动处理。注意，该视点移动处理是在非主被摄体的这种模糊与主被摄体交叠的情况下减少近侧的非主被摄体的模糊的处理。
图14A至图14C示出了视点移动处理的原理。在图14A至图14C中，图像传感器107(未示出)放置在摄像面600上，并且图像形成光学系统的出射光瞳被分割成两个，即，如图11中的一样的光瞳部分区域501和502。
图14A示出了这样的情况的示例：近侧的被摄体q2的模糊像Γ1+Γ2被拍摄为与主被摄体q1的聚焦像p1交叠(这也称为与主被摄体的前模糊交叠)。图14B和图14C分别例示了图14A所示的通过图像形成光学系统的光瞳部分区域501的光束和通过光瞳部分区域502的光束的示例。在图14B中，来自主被摄体q1的光束通过光瞳部分区域501并形成处于对焦状态的像p1。另一方面，来自近侧的被摄体q2的光束通过光瞳部分区域501并且在散焦状态下扩展成模糊像Γ1。图像传感器107中的不同像素的子像素201接收这些光束，并生成第一视点图像。在如图14B所示的该第一视点图像中，接收主被摄体q1的像p1和近侧的被摄体q2的模糊像Γ1而没有任何交叠。这是多个视点图像(第一视点图像和第二视点图像)中的一个，其中最近侧的被摄体(被摄体q2的模糊像Γ1)在预定区域(被摄体q1的像p1附近)中以最窄的范围被摄像。换句话说，在预定区域(被摄体q1的像p1附近)中获得多个视点图像(第一视点图像和第二视点图像)中的一个，其中被摄体q2的模糊像Γ1的外观小并且对比度评估值最大。
另一方面，在图14C中，来自主被摄体q1的光束通过光瞳部分区域502并形成处于对焦状态的像p1。另一方面，来自近侧的被摄体q2的光束通过光瞳部分区域502并且扩展成散焦状态下的模糊像Γ2。图像传感器107中的像素的子像素202接收这些光束，并生成第二视点图像。在如图14C所示的第二视点图像中，在主被摄体q1的像p1和近侧的被摄体q2的模糊像Γ2交叠的情况下接收它们。这是多个视点图像(第一视点图像和第二视点图像)中的一个，其中最近侧的被摄体(被摄体q2的模糊像Γ2)在预定区域(被摄体q1的像p1附近)中以最宽的范围被摄像。换句话说，在预定区域(被摄体q1的像p1附近)中获得多个视点图像(第一视点图像和第二视点图像)中的一个，其中被摄体q2的模糊像Γ2的外观大并且对比度评估值最小。
因此，在像p1附近，通过增加像p1和模糊像Γ1的交叠小的第一视点图像的权重并减小像p1和模糊像Γ2的交叠大的第二视点图像的权重而进行加算，能够减少与主被摄体的前模糊交叠。
下面将说明视点改变处理单元155通过使用权重来叠加第一视点图像和第二视点图像的处理。注意，视点改变处理单元155接收上述的第一视点图像A(j,i)和第二视点图像B(j,i)。
在第一步骤中，视点改变处理单元155将预定区域R＝[j1,j2]×[i1,i2]设置为视点移动的目标和预定区域的边界宽度σ，并根据式(11)计算对应于预定区域R和该预定区域的边界宽度σ的表函数T(j,i)。
注意，表函数T(j,i)是在预定区域R内部为1并且在预定区域R外部为0的函数，并且通常以预定区域R的边界宽度σ连续地从1变到0。注意，视点改变处理单元155还可以将圆形或其他任意形状设置为预定区域，并设置多个预定区域和多个边界宽度。
在第二步骤中，视点改变处理单元155通过使用实系数w(-1≤w≤1)根据式(12A)计算第一视点图像A(j,i)的第一加权系数Wa(j,i)。另外，视点改变处理单元155根据式(12B)计算第二视点图像B(j,i)的第二加权系数Wb(j,1)。
Wa(j,i)＝1-wT(j,i), (12A)
Wb(j,i)＝1+wT(j,i) (12B)
在第三步骤中，视点改变处理单元155通过使用第一视点图像A(j,i)、第二视点图像B(j,i)、第一加权系数Wa(j,i)和第二加权系数Wb(j,i)，根据式(13)生成输出图像I(j,i)。
I(j,i)＝Wa(j,i)*A(j,i)+Wb(j,i)*B(j,i). (13)
可选地，视点改变处理单元155还可以通过使用移位量s组合该处理和重新聚焦处理，根据式(14A)或(14B)生成输出图像Is(j,i)。
Is(j,i)＝Wa(j,i)*A(j,i)+Wb(j,i)*B(j,i+s), (14A)
Is(j,i)＝Wa(j,i)*A(j,i)+Wb(j,i+s)*B(j,i+s) (14B)
由此输出的输出图像Is(j,i)是视点已移动的图像，以及重新调整焦点位置(重新聚焦)的图像。
如上所述，通过将各视点图像乘以根据输出图像的区域连续变化的加权系数而合成多个视点图像，来生成输出图像。也就是说，当通过使用式(13)减少与主被摄体的前模糊交叠时，在像p1附近，视点改变处理单元155通过使得像p1与模糊像Γ1的交叠小的第一视点图像的第一加权系数Wa大于像p1和模糊像Γ2的交叠大的第二视点图像的第二加权系数Wb来生成输出图像。
换句话说，在图像的预定区域中，视点改变处理单元155最小化其中最近侧的被摄体以最宽范围被摄像的视点图像的加权系数，或者最大化其中最近侧的被摄体以最窄范围被摄像的视点图像的加权系数。此外，在输出图像的预定区域中，视点改变处理单元155最小化对比度评估值最小的视点图像的加权系数，或者最大化对比度评估值最大的视点图像的加权系数。
注意，在不是预定区域并且不进行视点移动处理的区域中，视点改变处理单元155还可以通过大致相等地相加多个视点图像的加权系数(第一加权系数和第二加权系数)来生成输出图像，以不改变图像形成光学系统的模糊形状。还要注意，稍后将描述通过根据用户的指定改变加权系数(即，相加比率)来生成输出图像的方法，但是用户还可以指定将要进行视点移动处理的预定区域。
(光瞳位移的视点移动处理)
下面将说明在图像传感器107的周边像高处的光瞳位移。图15A至图15C各自例示了各像素的子像素201和202接收光的光瞳部分区域(501,502)与图像形成光学系统的出射光瞳400之间的关系。
图15A示出了图像形成光学系统的出射光瞳距离D1和图像传感器107的设置光瞳距离Ds相同的情况。在这种情况下，图像形成光学系统的出射光瞳400在中心像高和周边像高处被光瞳部分区域501和502大致均等地分割。
图15B示出了图像形成光学系统的出射光瞳距离D1短于图像传感器107的设置光瞳距离Ds的情况。在这种情况下，图像形成光学系统的出射光瞳400在周边像高处被光瞳部分区域501和502不均等地分割。在图15B所示的该示例中，与光瞳部分区域501相对应的第一视点图像的有效孔径值比与光瞳部分区域502相对应的第二视点图像的有效孔径值小(更亮)。在相对侧的像高(未示出)处，与光瞳部分区域501相对应的第一视点图像的有效孔径值比与光瞳部分区域502相对应的第二视点图像的有效孔径值大(更暗)。
图15C示出了图像形成光学系统的出射光瞳距离D1长于图像传感器107的设置光瞳距离Ds的情况。在这种情况下，同样在周边像高处，图像形成光学系统的出射光瞳400被光瞳部分区域501和502不均等地分割。在图15C所示的该示例中，与光瞳部分区域501相对应的第一视点图像的有效孔径值比与光瞳部分区域502相对应的第二视点图像的有效孔径值大(更暗)。在相对侧的像高(未示出)处，与光瞳部分区域501相对应的第一视点图像的有效孔径值比与光瞳部分区域502相对应的第二视点图像的有效孔径值小(更亮)。
也就是说，由于光瞳位移导致在周边像高处光瞳分割变得不均等，所以第一视点图像和第二视点图像的有效f数也变得不相等。因此，第一视点图像和第二视点图像中之一的模糊的扩展增加，而另一者的模糊的扩展减小。
因此，在输出图像的预定区域中，根据需要，视点改变处理单元155期望最小化具有最小有效孔径值的视点图像的加权系数，并且最大化具有最大有效孔径值的视点图像的加权系数。通过进行如上所述的视点移动处理，能够减少与主被摄体的前模糊交叠。
(景深扩展处理)
下面将再次参照图14B说明视点改变处理单元155的深度扩展处理。在如上所述的图14B中，已经通过光瞳部分区域501的像是第一视点图像，而已经通过光瞳部分区域502的像是第二视点图像。由于各视点图像是通过如图14所示通过原始光瞳部分区域的一半而获得的图像，所以当光瞳部分区域在水平方向上被分割成两个时，水平方向上的孔径直径变为一半。因此，水平方向上的景深变为四倍。另一方面，在本实施例中，在垂直方向上不进行光瞳分割，所以垂直方向上的景深保持不变。因此，第一视点图像或第二视点图像变为相对于通过合成第一视点图像和第二视点图像获得的图像(A+B像)的景深在水平方向和垂直方向上平均具有双倍景深的图像。
如上所述，视点改变处理单元155通过将第一视点图像或第二视点图像的相加比率改变为除1：1之外的值来生成合成图像，从而能够生成具有扩展景深的图像。另外，视点改变处理单元155将使用上述对比度分布和像位移分布的反锐化掩模处理应用于通过改变第一视点图像或第二视点图像的相加比率而获得的图像。这使得能够扩展景深，并生成具有强调轮廓的合成图像。在该深度扩展处理中，还可以根据用户的指定来处理预定区域，如在视点移动处理中那样。注意，当从视点改变处理单元155输出来自视点图像的合成图像时，将先前描述的显影处理应用于图像，并且图像处理器125输出显影图像。
(拍摄图像的视点移动和聚焦调整的系列操作)
下面将参照图16说明拍摄图像的视点移动和聚焦调整的一系列操作。注意，当用户按下包括在操作单元132中的释放开关等时，该处理开始。还要注意，通过控制器121将存储在ROM(未示出)中的程序加载到RAM的工作区中，执行该程序，并控制图像处理器125的各单元等，来实现该处理。
在步骤S101中，图像传感器107根据控制器121的指令进行摄像。在步骤S102中，图像传感器107输出视差图像数据。更具体地，图像传感器107输出上述视点图像(A+B像和A像)作为具有一种文件格式的图像数据。此外，记录介质133临时存储从图像传感器107输出的图像数据。
在步骤S103中，图像处理器125根据控制器121的指令读取视差图像数据。例如，图像处理器125通过使用图像获得单元151获得存储在记录介质133中的图像数据。在该步骤中，图像处理器125由A+B像生成B像，并且获得例如作为具有左侧视点的图像的第一视点图像(A像)和作为具有右侧视点的图像的第二视点图像(B像)。在步骤S104中，控制器121进行视点图像操纵处理(稍后描述)，即，通过控制操作单元132以及从图像处理器125的输出，来对拍摄图像执行视点移动和聚焦调整。当完成视点图像操纵处理时，控制器121终止一系列处理。
(视点图像操纵处理的系列操作)
下面将参照图17所示的流程图说明步骤S104中的视点图像操纵处理的一系列操作。注意，以下将说明这样的示例，其中在对用于进行聚焦调整的用户界面(聚焦调整UI)的操作之前进行对用于进行视点移动(以及景深的改变)的用户界面(视点移动UI)的操作。然而，也可以在视点移动UI操作之前进行聚焦调整UI操作。
在步骤S201中，控制器121使显示单元131显示包括视点移动UI和聚焦调整UI的用户界面(简称为UI)和拍摄图像。
在步骤S202中，控制器121基于经由操作单元132输入的用户操作来确定是否进行视点移动。如果输入的用户操作指示视点移动的执行，则控制器121确定进行视点移动，并且使处理前进到步骤S203。另一方面，如果输入的用户操作不指示视点移动的执行，则控制器121确定不进行视点移动，并且使处理前进到步骤S207。
在步骤S203中，控制器121还经由操作单元132获得操作视点移动UI的用户操作。图19A示出了要在显示单元131上显示的视点移动UI的示例。在图19A所示的该示例中，在形成UI的部分区域1000中显示图像(拍摄图像或视点图像)。由于如前所述在本实施例中获得了在水平方向上将光瞳分割成两个的图像，因此通过仅使用左视点图像和右视点图像来生成视点图像。
视点移动UI在水平方向上显示滑块1001和滑块条1002，使得用户可以在视点改变方向上对操作构件进行操作。这使得用户能够更直观地操作视点移动。
在步骤S204中，控制器121通过使用图像处理器125改变视点图像的相加比率来生成合成图像。更具体地，图像处理器125经由操作信息获得单元154获得在步骤S203中指定的滑块1001的位置。图像处理器125通过根据滑块101的位置改变这些图像的相加比率来合成第一视点图像和第二视点图像(即，进行视点移动处理)，从而生成具有移动的视点的图像。定义滑块条1002右端的值为1，中心的值为0，左端的值为-1，图像处理器125改变相加比率，使得当滑块1001存在于位置x时，第一视点图像和第二视点图像的比率是(1+x):(1-x)。
在步骤S205中，控制器121通过使用图像处理器125对在步骤S204中合成的图像应用显影处理。稍后将参照图18所示的流程图描述该显影处理。在步骤S206中，控制器121在显示单元131上显示在步骤S205中显影的图像。
在步骤S207中，控制器121基于经由操作单元132输入的用户操作来确定是否进行聚焦调整。如果输入的用户操作指示执行聚焦调整，则控制器121确定进行聚焦调整，并且使处理前进到步骤S208。另一方面，如果输入的用户操作不指示执行聚焦调整，则控制器121确定不进行聚焦调整，并且终止一系列处理。
在步骤S208中，控制器121还经由操作单元132获得操作聚焦调整UI的用户操作。图19A示出聚焦调整UI的示例。在上述视点移动UI中，滑块条设置在视点移动方向上，而在聚焦调整UI中滑块条设置在与视点移动的方向不同的方向(角度)上。在图19A所示的该示例中，聚焦调整UI的滑块条1003和滑块1004被设置在与视点移动UI的滑块条1002的方向垂直的方向(即，垂直方向)上。例如，当滑块1004向上移动时，控制器121控制在后焦点状态变强的方向上的聚焦调整。当滑块1004向下移动时，控制器121控制在前焦点状态变强的方向上的聚焦调整。聚焦调整范围等同于上述重新聚焦可能范围，并且根据式(10)计算。
在步骤S209中，控制器121通过使用图像处理器125基于在步骤S208中指定的滑块位置，计算聚焦调整位置并且进行上述重新聚焦处理。图像处理器125基于滑块1004在滑块条1002上的位置决定对应于重新聚焦可能范围的散焦量(或移位量)。在步骤S210中，控制器121通过使用图像处理器125进行显影处理。然后，在步骤S211中，控制器121使显示单元131显示显影图像，终止视差图像操纵处理的一系列操作，并将处理返回给调用者。
(显影处理的系列操作)
现在将参照图18说明步骤S205和S210中的显影处理。在步骤S301中，图像处理器125通过对R、G和B应用增益来进行白平衡处理，使得R、G和B在白色区域变成同色。在步骤S302中，图像处理器125进行去马赛克处理。更具体地，图像处理器125对各个定义的方向上的输入图像进行插值，之后选择方向，从而生成三原色R、G和B的彩色图像信号作为针对各像素的插值结果。
在步骤S303中，图像处理器125进行伽马处理。在步骤S304中，图像处理器125进行各种颜色调整处理，例如降噪、饱和度强调、色调校正和边缘强调，以改善图像的外观。在步骤S305中，图像处理器125通过诸如JPEG的预定方法压缩在步骤S304中经历了颜色调整的彩色图像信号，并输出压缩的图像数据。在步骤S306中，控制器121将从图像处理器125输出的图像数据记录在记录介质133上，终止显影处理的一系列操作，并将处理返回给调用者。
(视点移动UI和聚焦调整UI的示例)
下面将参照19B至图19E说明上述视点移动UI和聚焦调整UI的操作示例以及操作后的合成图像的示例。图19B示出了通过操作聚焦调整UI进行重新聚焦处理而获得的显示合成图像的示例。响应于向下移动滑块1004的用户操作，控制器121进行聚焦调整(重新聚焦处理)，使得前焦点状态变强(通过使用图像处理器125)，并显示输出图像。
图19C示出了通过进一步将视点移动UI的滑块1001从图19B向右移动而进行了视点移动处理的显示合成图像的示例。响应于将滑块1001向右移动的用户操作，控制器121通过进行视点移动处理(通过使用图像处理器125)扩展景深来显示输出图像。此外，图19D示出了通过将视点移动UI的滑块1001从图19B向左移动进行视点移动处理来扩展景深而获得的显示合成图像的示例。通过将滑块和滑动条布置为操作构件使得视点移动UI和聚焦调整UI可以如上所述并行地被操作，用户可以并行地(同时)进行视点移动、景深的扩展和重新聚焦处理。
图20示出了其中还添加了能够改变上述视差强调处理和锐化处理中的强调程度的UI的示例。除了图19A至图19D中所示的UI之外，控制器121布置能够改变强调程度的滑块1005和滑块条1006。对滑块1005的操作是改变与视差强调处理中的变量k或者锐化处理中的应用量T相对应的参数，从而改变要显示的合成图像中的强调程度。
注意，在本实施例中，视点移动UI被布置在水平方向上，因为基于从各像素在垂直方向上被分割的图像传感器获得的信号在水平方向上进行视点移动处理。然而，如果图像传感器中的分割方向不是水平方向(例如，垂直方向)，则也可以根据分割方向(例如，垂直方向)设置布置视点移动UI的方向。在这种情况下，聚焦调整UI可以布置在与视点移动UI的方向不同的方向上，以更清楚地区分两个UI，并且还可以保持在垂直方向上以更直观地进行焦点位置的操作。
如上所述，在获得包含入射光束的强度信息和角度信息的图像信号之后，接受移动视点的操作和调整焦点位置的操作，并且，生成和显示对应于操作的合成图像。这使得用户能够并行地进行视点移动、景深的扩展和焦点位置的调整(重新聚焦)。换句话说，可以基于多个视点图像并行地进行显示视点改变的图像的操作和显示聚焦位置改变的图像的操作。
此外，通过进一步接受改变强调程度的操作，能够进一步并行地进行强调聚焦调整的合成图像的处理。另外，当用于获得包含入射光束的强度信息和角度信息的图像信号的图像传感器的像素在水平方向上被分成多个部分时，视点移动UI被布置为在水平方向可操作。由于这匹配了视点能够移动的方向以及用户能够进行操作的方向，因此用户可以更直观地进行操作。
(第二实施例)
下面将说明第二实施例。在第二实施例中，将说明通过切换图像的垂直位置显示和水平位置显示来进行视点图像操纵的示例。本实施例的数字照相机100的布置与第一实施例的布置相同，而视差图像操纵处理的一部分是不同的。因此，通过用相同的附图标记表示相同的部件将省略其重复说明，并且将主要说明不同之处。
(视点图像操纵处理的系列操作)
将参照图21说明根据本实施例的视点图像操纵处理。在步骤S401中，控制器121确定是否进行图像数据的垂直位置显示。控制器121通过例如参照图像的元数据来确定是否在垂直位置拍摄输入图像。如果确定在垂直位置拍摄图像，则控制器121使处理前进到步骤S402，以进行垂直位置显示。另一方面，如果确定不在垂直位置拍摄图像，则控制器121使处理前进到步骤S403，以进行水平位置显示。注意，在步骤S401的确定中，当用户通过使用操作单元132的按钮等设置垂直位置显示时，能够进行垂直位置显示，并且还能够从元数据获得指示图像传感器的像素分割方向的信息，并根据分割方向确定显示方向。
在步骤S402中，控制器121在垂直位置显示图像，并且还显示使得能够在垂直方向上被改变的视点移动UI和使得能够在水平方向上被改变的聚焦调整UI。另一方面，在步骤S403中，控制器121在水平方向上显示图像，并且还显示使得能够在水平方向上被改变的视点移动UI和使得能够在垂直方向上被改变的聚焦调整UI。之后，控制器121以与第一实施例中相同的方式进行步骤S202至S211中的处理，并将处理返回给调用者。
在如上所述的本实施例中，根据输入图像是垂直位置显示还是水平位置显示，动态地切换视点移动UI和聚焦调整UI。因此，即使当存在具有不同显示方向的拍摄图像时，用户也能够进行与可以进行拍摄图像的视点移动的方向匹配的操作。
(第三实施例)
下面将说明第三实施例。第三实施例的不同之处在于使用各像素在水平方向和垂直方向中的各个上被分割成两个的图像传感器。因此，除了这一点之外，数字照相机100的布置与第一实施例的布置相同。因此，通过用相同的附图标记表示相同的部件将省略重复说明，并且将主要说明不同之处。
将参照图22说明根据本实施例的图像传感器107中的像素和子像素的阵列。图22示出了在本实施例的图像传感器107中的4列×4行范围的像素阵列以及8列×8行范围的子像素阵列。
在本实施例中，在图22所示的2列×2行像素组200中，具有R(红色)的光谱灵敏度的像素200R布置在左上角，具有G(绿色)的光谱灵敏度的像素200G布置在右上角和左下角，并且具有B(蓝色)的光谱灵敏度的像素200B布置在右下角。此外，各像素由布置成2列×2行的子像素221至224形成。
图像传感器107可以通过在平面上布置图22所示的大量4列×4行像素(8列×8行子像素)来获得拍摄图像(子像素信号)。例如，图像传感器107是这样的图像传感器，其中，像素周期P为4μm，像素数N为5575列(水平方向)×3725行(垂直方向)＝约20750000个像素，子像素周期PSUB是2μm，并且子像素数NSUB是11150列(水平方向)×7450行(垂直方向)＝约83000000个像素。
图23A是从图像传感器107的光接收面侧(+z侧)示出图22中所示的一个像素200G的平面图，并且，图23B是从-y侧示出图23A的a-a截面的截面图。在如图23A所示的本实施例的像素200G中，形成在x方向上按NH分割(被分成两个)且在y方向上按NV分割(被分成两个)的光电转换器2301至2304。光电转换器2301至2304分别对应于子像素221至224。
在本实施例中，通过收集各个像素的子像素201的光接收信号来生成第一视点图像。同样地，通过收集各个像素的子像素202的光接收信号来生成第二视点图像，通过收集各个像素的子像素203的光接收信号来生成第三视点图像，并且通过收集各个像素的子像素204的光接收信号来生成第四视点图像。注意，在本实施例中，第一视点图像至第四视点图像中的各个是具有拜耳阵列的图像，并且可以根据需要对第一视点图像至第四视点图像进行去马赛克处理。
假设j和i是整数，(j,i)表示图像传感器107的行方向上的第j个位置和列方向上的第i个位置，并且A0(j,i)、B0(j,i)、C0(j,i)和D0(j,i)分别表示位置(j,i)的像素的第一视点图像、第二视点图像、第三视点图像和第四视点图像。在这种情况下，拍摄图像I是I(j,i)＝A0(j,i)+B0(j,i)+C0(j,i)+D0(j,i)。
(视点图像校正和重新聚焦)
与第一实施例中一样，视点改变处理单元155进行对比度处理。也就是说，视点改变处理单元155根据式(1)计算具有拜耳阵列的拍摄图像I(j,i)的亮度Y(j,i)。此外，视点改变处理单元155计算高频分量dY(j,i)、高频分量dZ(j,i)和对比度分布C(j,i)。
然后，视点改变处理单元155进行强调视点图像的视差的处理。视点改变处理单元155根据式(15)和(16)放大从第一视点图像A0(j,i)到第四视点图像D0(j,i)的视点图像之间的差，从而进行视差强调转换。通过该处理，视点改变处理单元155生成从第一校正视点图像A(j,i)到第四校正视点图像D(j,i)的校正视点图像。在下式中，0≤kAB,kAC,kAD,kBC,kBD,kCD≤1，并且它们是实数。
然后，重新聚焦处理单元156通过使用从视点改变处理单元155输出的校正视点图像来进行重新聚焦处理。更具体地，重新聚焦处理单元156通过使用整数移位量s，根据式(17)对第一校正视点图像A至第四校正视点图像D进行移位相加。
I(j,i；s)＝A(j,i)+B(j,i+s)+C(j+s,i)+D(j+s,i+s) (17)
也就是说，可以在与整数移位量s相对应的各虚拟成像面上生成重新聚焦图像I(j,i；s)。注意，第一校正视点图像A至第四校正视点图像D具有拜耳阵列，因此通过以作为2的倍数的移位量s＝2n(n：整数)对各颜色进行式(10)的移位相加来在保持拜耳阵列的同时生成重新聚焦图像I(j,i；s)。图像处理器125对所生成的重新聚焦图像I(j,i；s)进行去马赛克处理。
注意，根据需要，还可以将去马赛克处理应用于第一校正视点图像至第四校正视点图像，并且使重新聚焦处理单元156通过对去马赛克的第一校正视点图像至第四校正视点图像进行移位相加处理来生成重新聚焦图像。还要注意，重新聚焦处理单元156可以根据需要在第一校正视点图像至第四校正视点图像的像素之间生成插值信号，并且生成与非整数移位量相对应的重新聚焦图像。
(像位移分布)
将说明根据本实施例的视点图像的像位移分布。在水平方向的光瞳分割方向上的像位移分布与第一实施例的相同，因此将省略其说明。将说明在垂直方向的光瞳分割方向上的像位移分布。
视点改变处理单元155将二维图像仅在垂直方向的光瞳分割方向上移动k个像素，并且获得第一视点图像A0与第三视点图像C0的像素之间的差。因此，通过式(18)定义相加多行的相关计算。
其中A0ij和C0ij分别表示第一视点图像A0和第三视点图像B0的第j列中的第i个像素的亮度。此外，ni是表示在计算中使用的像素数的数字，nj是作为相关计算的目标的列方向上的像对的数量。
视点改变处理单元155计算使式(18)中所示的COR'(k)最小化的k作为像位移量。注意，下标k仅被添加到j并且与i无关。这是因为在仅在垂直方向的光瞳分割方向上移动二维图像的同时进行相关计算。因此，视点改变处理单元155可以通过计算第一视点图像A0和第三视点图像C0的各区域中的像位移量来生成像位移分布。注意，本实施例使用A0和C0，但是也可以通过使用B0和D0，或者使用通过相加A0和B0而获得的信号以及通过相加C0和D0而获得的信号来进行相关计算。
(景深扩展处理)
视点改变处理单元155通过使用实系数w(-1≤w≤1)根据式(19A)至(19D)计算视点图像的加权系数。
Wa(j,i)＝1-wT(j,i), (19A)
Wb(j,i)＝1+wT(j,i), (19B)
Wc(j,i)＝1+wT(j,i), (19C)
Wd(j,i)＝1+wT(j,i) (19D)
其中Wa(j,i)是第一视点图像A(j,i)的第一加权系数，Wb(j,i)是第二视点图像B(j,i)的第二加权系数，Wc(j,i)是第三视点图像C(j,i)的第三加权系数，Wd(j,i)是第四视点图像D(j,i)的第四加权系数。
视点改变处理单元155根据式(20)由与各个视点图像相对应的加权系数生成输出图像I(j,i)。
I(j,i)＝Wa(j,i)*A(j,i)+Wb(j,i)*B(j,i)+Wc(j,i)*C(j,i)+Wd(j,i)*D(j,i) (20)
(视点移动UI和聚焦调整UI的示例)
下面将参照图24说明根据本实施例的视点移动UI和聚焦调整UI的布置。在本实施例的配置中，光瞳分割方向被分成两个方向，即，水平方向和垂直方向，所以用户能够在垂直方向和水平方向上移动视点。因此，在本实施例中，形成两轴的滑块和滑块条以允许用户在两个方向上进行操作。
水平方向上的滑块条3001和滑块3002被布置用于在水平方向上的视点移动，并且竖直方向上的滑块条4001和滑块4002被布置用于在竖直方向上的视点移动。在聚焦调整UI中，在与视点移动UI中的方向不同的方向上布置滑块条5001和滑块5002。注意，聚焦调整UI被布置为通过以十字形式布置的视点移动UI的交叉点，但是也可以布置在其他位置。通过这样在两个方向上移动视点移动滑块，可以改变第一视点图像到第四视点图像的加权系数，并且生成具有不同视点的图像。另外，与第一实施例中一样，视点移动UI和聚焦调整UI可以并行(同时)操作。
在如上所述的本实施例中，在获得包含入射光束的强度信息和角度信息的图像信号之后，接受二维地(在水平方向和垂直方向上)移动视点的操作和调整焦点位置的操作，并生成和显示与这些操作相对应的合成图像。因此，当能够通过根据输入图像信号二维地移动视点来生成图像时，用户可以并行地进行二维视点移动和焦点位置的调整(重新聚焦)。
(第四实施例)
下面将说明第四实施例。在第四实施例中，将说明当通过将图像切换到垂直位置显示或水平位置显示来操纵视点图像时UI的标记(要附加到上述视点移动UI等的显示)的示例。用于操纵视点移动的UI的标记表示例如响应于对视点图像的操纵而改变视点图像的视点的方向。本实施例的数字照相机100的配置与第一实施例的配置相同，而视差图像操纵处理的一部分是不同的。因此，通过用相同的附图标记表示相同的部件将省略重复说明，并且将主要说明不同之处。
(视点图像操纵处理的系列操作)
将参照图25A和图25B说明根据本实施例的视点图像操纵处理。在图25A的步骤S501中，控制器121确定是否在垂直位置显示输入图像，以确定用于操纵视差图像的UI的标记是否与图像的垂直位置显示相匹配。例如，控制器121通过参照图像的元数据来确定输入图像是否是在垂直位置拍摄的图像。如果确定要在垂直位置显示输入图像，则控制器121使处理前进到步骤S502，以使UI的标记与垂直位置相匹配。另一方面，如果确定输入图像不是在垂直位置拍摄的图像，则控制器121使处理前进到步骤S503，以设置水平位置标记。在步骤S502中，控制器121还确定图像的旋转角度。例如，控制器121通过参照输入图像的元数据来确定拍摄图像的角度(例如，通过90°顺时针旋转获得的垂直位置，或通过90°逆时针旋转获得的垂直位置)。如果确定输入图像是通过90°顺时针旋转拍摄的图像，则控制器121使处理前进到步骤S504，以在显示单元131上设置顺时针旋转90°的标记。另一方面，如果确定拍摄图像是未通过90°顺时针旋转拍摄的图像(而是通过垂直位置显示拍摄的)，则控制器121使处理前进到步骤S505，以设置90°逆时针旋转的标记。注意，还可以进行步骤S501和S502中的确定，使得如果用户通过操作单元132上的按钮等设置垂直位置显示，则设置垂直位置标记。还可以从元数据获得指示图像传感器中的像素分割方向的信息，并根据分割方向确定用于操纵视差图像的UI的标记。
在步骤S503中，控制器121在水平位置显示图像，并且通过水平位置标记(左右标记)显示用于操作视点移动的UI的标记(图26)。在步骤S504中，控制器121在90°顺时针旋转的垂直位置显示图像，并且还显示用于操作视点移动的UI的标记，使得滑块的左侧是“向上”而右侧是“向下”(图27)。在步骤S505中，控制器121在90°顺时针旋转的垂直位置显示图像，并且显示用于操作视点移动的UI的标记，使得滑块的左侧是“向下”而右侧是“向上”(图28)。这使得控制器121能够根据视点移动UI切换用于操作视点移动的UI的标记，并且根据相同垂直位置的旋转角度来切换标记。当完成步骤S503至S505中的处理时，控制器121以与第一实施例中相同的方式进行图25B所示的步骤S202至S211中的处理，并将处理返回给调用者。
在如上所述的本实施例中，根据输入图像是在垂直位置还是在水平位置显示，以及图像的旋转角度，动态地切换视点移动UI的标记。因此，即使当存在具有不同显示方向的拍摄图像时，用户也可以进行与能够进行各拍摄图像的视点移动的方向匹配的操作。
(其它实施例)
本发明还可以通过经由网络或存储介质向系统或装置提供用于实现上述实施例的一个或更多个功能的程序，并通过该系统或装置的计算机中的一个或更多个处理器读出和执行该程序来实现。本发明还可以通过实现一个或更多个功能的电路(例如，ASIC)来实现。
本发明不限于上述实施例，并且在不脱离本发明的精神和范围的情况下可以进行各种改变和变型。因此，为了向公众告知本发明的范围，附加以下权利要求。
本申请要求2016年3月24日提交的日本专利申请第2016-060897号和2016年6月3日提交的日本专利申请第2016-112103号的权益，其全部内容通过引用包含于此。
附图标记列表
121...控制器、125...图像处理器、131...显示单元、132...操作单元、151...图像获得单元、155...视点改变处理单元、156...重新聚焦处理单元。

Claims (18)

1.一种图像处理装置，其特征在于，所述图像处理装置包括：
获得部，用于获得包含入射光束的强度信息和角度信息的图像信号；
操作部，用于接受视点改变操作和焦点位置改变操作；以及
处理部，用于通过根据视点改变操作改变视点和根据焦点位置改变操作改变焦点位置，基于根据图像信号获得的多个视点图像生成显示图像。
2.根据权利要求1所述的图像处理装置，其特征在于，在基于图像信号通过在预定方向上改变视点而能够生成显示图像的情况下，操作部接受沿所述预定方向的视点改变操作。
3.根据权利要求1所述的图像处理装置，其特征在于，在基于图像信号通过在预定方向上改变视点而能够生成显示图像的情况下，操作部接受沿与所述预定方向不同的方向的焦点位置改变操作。
4.根据权利要求2或3所述的图像处理装置，其特征在于，操作部接受视点改变操作，使得随着位置在所述预定方向上远离预定位置移动，在所述预定方向上视点的改变增大，并且随着位置沿所述预定方向从所述预定位置向相反侧移动，在与所述预定方向相反的方向上视点的改变增大。
5.根据权利要求2至4中任一项所述的图像处理装置，其特征在于，预定方向是水平方向或垂直方向。
6.根据权利要求5所述的图像处理装置，其特征在于，在垂直位置显示所述显示图像的情况下，操作部接受在垂直方向上的视点改变操作，所述显示图像的视点能够在水平位置的水平方向上改变。
7.根据权利要求6所述的图像处理装置，其特征在于，所述图像处理装置还包括：
显示部，用于根据视点改变操作显示指示视点改变方向的标记，
其中，显示部根据操作部接受视点改变操作的方向来改变标记。
8.根据权利要求2至7中任一项所述的图像处理装置，其特征在于，操作部接受焦点位置改变操作，使得随着焦点位置改变操作在操作接受方向上远离预定位置移动，焦点位置的改变增大。
9.根据权利要求1至8中任一项所述的图像处理装置，其特征在于，操作部在显示基于图像信号的显示图像的状态下接受视点改变操作和焦点位置改变操作。
10.根据权利要求1至9中任一项所述的图像处理装置，其特征在于，
操作部还接受改变显示图像中的边缘增强的程度的操作，并且
处理部根据边缘增强的程度对显示图像中的聚焦区域进行边缘增强。
11.根据权利要求1至10中任一项所述的图像处理装置，其特征在于，处理部通过根据视点改变操作改变用于对所述多个视点图像进行相加的权重，并通过使用该权重将所述多个视点图像相加来生成显示图像。
12.根据权利要求1至11中任一项所述的图像处理装置，其特征在于，处理部通过根据焦点位置改变操作改变所述多个视点图像之间的移位量，并将移位了该移位量的所述多个视差图像相加来生成显示图像。
13.一种摄像装置，其特征在于，所述摄像装置包括：
图像传感器，在该图像传感器中各自包括多个子像素的像素按二维布置，并且，该图像传感器基于从子像素输出的信号，输出包含入射光束的强度信息和角度信息的图像信号；
操作部，用于接受视点改变操作和焦点位置改变操作；以及
处理部，用于通过根据视点改变操作改变视点并根据焦点位置改变操作改变焦点位置，基于根据图像信号获得的多个视点图像生成显示图像，
其中，在图像传感器中，所述多个子像素按预定方向布置在像素中，并且
在基于图像信号通过在预定方向上改变视点而能够生成显示图像的情况下，操作部接受沿预定方向的视点改变操作。
14.根据权利要求13所述的摄像装置，其特征在于，在通过使用摄像装置在水平位置拍摄的图像信号被显示为水平位置的显示图像的情况下，操作部接受沿所述预定方向的视点改变操作，而在水平方向上拍摄的图像信号被显示为垂直位置的显示图像的情况下，操作部接受沿与所述预定方向垂直的方向的视点改变操作。
15.根据权利要求14所述的摄像装置，其特征在于，所述摄像装置还包括：
显示部，用于根据视点改变操作显示指示视点改变的方向的标记，
其中，显示部根据从拍摄图像信号的垂直位置或水平位置的旋转角度来改变标记。
16.一种图像处理装置的控制方法，其特征在于，所述控制方法包括：
获得步骤，使获得部获得包含入射光束的强度信息和角度信息的图像信号；
操作步骤，使操作部接受视点改变操作和焦点位置改变操作；以及
处理步骤，使处理部通过根据视点改变操作改变视点并根据焦点位置改变操作改变焦点位置，基于根据图像信号获得的多个视点图像生成显示图像。
17.一种摄像装置的控制方法，所述摄像装置包括图像传感器，在该图像传感器中各自包括多个子像素的像素按二维布置，并且该图像传感器基于从子像素输出的信号来输出包含入射光束的强度信息和角度信息的图像信号，其特征在于，所述控制方法包括：
获得步骤，使获得部获得从图像传感器输出的图像信号；
操作步骤，使操作部接受视点改变操作和焦点位置改变操作；以及
处理步骤，使处理部通过根据视点改变操作改变视点并根据焦点位置改变操作改变焦点位置，基于根据图像信号获得的多个视点图像生成显示图像，
其中，在图像传感器中，所述多个子像素按预定方向布置在像素中，并且
在操作步骤中，在基于图像信号通过在预定方向上改变视点而能够生成显示图像的情况下，接受沿所述预定方向的视点改变操作。
18.一种用于使计算机执行根据权利要求16所述的图像处理装置的控制方法的各步骤的程序。
CN201780019656.XA 2016-03-24 2017-01-25 图像处理装置、摄像装置及其控制方法 Active CN108886581B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016-060897 2016-03-24
JP2016060897 2016-03-24
JP2016112103A JP6757184B2 (ja) 2016-03-24 2016-06-03 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム
JP2016-112103 2016-06-03
PCT/JP2017/002504 WO2017163588A1 (ja) 2016-03-24 2017-01-25 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム

Publications (2)

Publication Number Publication Date
CN108886581A true CN108886581A (zh) 2018-11-23
CN108886581B CN108886581B (zh) 2020-12-22

Family

ID=60006543

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780019656.XA Active CN108886581B (zh) 2016-03-24 2017-01-25 图像处理装置、摄像装置及其控制方法

Country Status (8)

Country Link
US (1) US10924665B2 (zh)
JP (1) JP6757184B2 (zh)
KR (1) KR102157491B1 (zh)
CN (1) CN108886581B (zh)
DE (1) DE112017001458T5 (zh)
PH (1) PH12018502032A1 (zh)
RU (1) RU2707066C1 (zh)
SG (1) SG11201808036XA (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10714520B1 (en) * 2017-08-04 2020-07-14 Facebook Technologies, Llc Manufacturing an on-chip microlens array
JP6920152B2 (ja) 2017-09-25 2021-08-18 株式会社小糸製作所 車両用灯具
JP7098342B2 (ja) 2018-02-06 2022-07-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
WO2020195198A1 (ja) * 2019-03-27 2020-10-01 ソニー株式会社 画像処理装置、画像処理方法、プログラム、撮像装置
CN110148454B (zh) * 2019-05-21 2023-06-06 上海联影医疗科技股份有限公司 一种摆位方法、装置、服务器及存储介质
JPWO2021106136A1 (zh) * 2019-11-28 2021-06-03
KR20210087809A (ko) * 2020-01-03 2021-07-13 삼성전자주식회사 이미지 센서를 포함하는 전자 장치 및 그의 동작 방법
US11978177B2 (en) * 2020-09-25 2024-05-07 Intel Corporation Method and system of image processing of omnidirectional images with a viewpoint shift
JP2022184138A (ja) * 2021-05-31 2022-12-13 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
US11922606B2 (en) 2021-10-04 2024-03-05 Samsung Electronics Co., Ltd. Multipass interference correction and material recognition based on patterned illumination without frame rate loss

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009211335A (ja) * 2008-03-04 2009-09-17 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN101616237A (zh) * 2008-06-27 2009-12-30 索尼株式会社 图像处理装置、图像处理方法、程序和记录介质
US20120120264A1 (en) * 2010-11-12 2012-05-17 Samsung Electronics Co., Ltd. Method and apparatus for video stabilization by compensating for view direction of camera
US20120287153A1 (en) * 2011-05-13 2012-11-15 Sony Corporation Image processing apparatus and method
CN103581547A (zh) * 2012-07-31 2014-02-12 索尼公司 焦点调整装置和焦点调整方法
US20140327771A1 (en) * 2013-05-01 2014-11-06 Nvidia Corporation System, method, and computer program product for displaying a scene as a light field
JP2015115818A (ja) * 2013-12-12 2015-06-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム。
JP2015198340A (ja) * 2014-04-01 2015-11-09 キヤノン株式会社 画像処理装置およびその制御方法、並びにプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100557172B1 (ko) * 2005-04-22 2006-03-03 삼성전자주식회사 이동통신 단말기의 사용자 인터페이스 표시 장치 및 방법
JP2011022796A (ja) 2009-07-15 2011-02-03 Canon Inc 画像処理方法および画像処理装置
JP5875839B2 (ja) * 2011-11-21 2016-03-02 オリンパス株式会社 プレノプティックカメラ
JP6548367B2 (ja) * 2014-07-16 2019-07-24 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2016060897A (ja) 2014-09-22 2016-04-25 株式会社リコー ポリマーとその製造方法
JP2016112103A (ja) 2014-12-12 2016-06-23 株式会社ハイレックスコーポレーション 昇降装置及び座椅子昇降装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009211335A (ja) * 2008-03-04 2009-09-17 Nippon Telegr & Teleph Corp <Ntt> 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN101616237A (zh) * 2008-06-27 2009-12-30 索尼株式会社 图像处理装置、图像处理方法、程序和记录介质
US20120120264A1 (en) * 2010-11-12 2012-05-17 Samsung Electronics Co., Ltd. Method and apparatus for video stabilization by compensating for view direction of camera
US20120287153A1 (en) * 2011-05-13 2012-11-15 Sony Corporation Image processing apparatus and method
CN103581547A (zh) * 2012-07-31 2014-02-12 索尼公司 焦点调整装置和焦点调整方法
US20140327771A1 (en) * 2013-05-01 2014-11-06 Nvidia Corporation System, method, and computer program product for displaying a scene as a light field
JP2015115818A (ja) * 2013-12-12 2015-06-22 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム。
JP2015198340A (ja) * 2014-04-01 2015-11-09 キヤノン株式会社 画像処理装置およびその制御方法、並びにプログラム

Also Published As

Publication number Publication date
PH12018502032A1 (en) 2019-07-15
US10924665B2 (en) 2021-02-16
KR102157491B1 (ko) 2020-09-18
JP6757184B2 (ja) 2020-09-16
JP2017184217A (ja) 2017-10-05
RU2707066C1 (ru) 2019-11-21
CN108886581B (zh) 2020-12-22
US20190028640A1 (en) 2019-01-24
DE112017001458T5 (de) 2018-12-06
SG11201808036XA (en) 2018-10-30
KR20180123117A (ko) 2018-11-14

Similar Documents

Publication Publication Date Title
CN108886581A (zh) 图像处理装置、摄像装置、其控制方法和程序
CN105323474B (zh) 摄像设备及其控制方法
JP4524717B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6789833B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US9531960B2 (en) Imaging apparatus for generating HDR image from images captured at different viewpoints and method for controlling imaging apparatus
US10681286B2 (en) Image processing apparatus, imaging apparatus, image processing method, and recording medium
CN104662887B (zh) 图像处理设备、图像处理方法和具有该图像处理设备的摄像设备
WO2016035570A1 (ja) 画像処理装置および画像処理方法、並びに固体撮像装置
CN107431755B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
JP2018107654A (ja) 画像処理装置および画像処理方法、プログラム、記憶媒体
JP6275174B2 (ja) 画像処理方法、画像処理装置、および、撮像装置
JP6976754B2 (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
JP7204357B2 (ja) 撮像装置およびその制御方法
JP2009047734A (ja) 撮像装置及び画像処理プログラム
JP6254843B2 (ja) 画像処理装置およびその制御方法
JP7150785B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、記憶媒体
WO2017163588A1 (ja) 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム
JP6800648B2 (ja) 画像処理装置及びその制御方法、プログラム並びに撮像装置
JP6817855B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP7091048B2 (ja) 撮像装置およびその制御方法
JP7319840B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6891470B2 (ja) 撮像装置
JP2019092215A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP2023090628A (ja) 画像処理装置および画像処理方法、撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant