CN107431755A - 图像处理设备、摄像设备、图像处理方法、程序和存储介质 - Google Patents

图像处理设备、摄像设备、图像处理方法、程序和存储介质 Download PDF

Info

Publication number
CN107431755A
CN107431755A CN201680013334.XA CN201680013334A CN107431755A CN 107431755 A CN107431755 A CN 107431755A CN 201680013334 A CN201680013334 A CN 201680013334A CN 107431755 A CN107431755 A CN 107431755A
Authority
CN
China
Prior art keywords
anaglyph
image
weight coefficient
image processing
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680013334.XA
Other languages
English (en)
Other versions
CN107431755B (zh
Inventor
福田浩
福田浩一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN107431755A publication Critical patent/CN107431755A/zh
Application granted granted Critical
Publication of CN107431755B publication Critical patent/CN107431755B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Optics & Photonics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

图像处理设备(图像处理电路125)包括用于确定根据多个视差图像各自的位置而变化的权重系数的确定器(125a)、以及用于基于所述权重系数对所述多个视差图像进行合成以生成图像的图像生成器(125b)。

Description

图像处理设备、摄像设备、图像处理方法、程序和存储介质
技术领域
本发明涉及一种用于对多个视差图像进行合成以输出图像的图像处理设备。
背景技术
以前，已知能够将摄像镜头的出射光瞳分割为多个光瞳区域并且与所分割出的光瞳区域相对应地同时拍摄的多个视差图像的摄像设备。
专利文献1公开了使用包括单个微透镜并且所分割出的多个光电转换器的二维摄像元件的摄像设备。所分割出的光电转换器经由单个微透镜来接收穿过摄像镜头的出射光瞳中的各个部分光瞳区域的光束以进行光瞳分割。可以基于所分割出的各个光电转换器的光接收信号来生成依赖于所分割出的部分光瞳区域的多个视差图像。专利文献2公开了将所分割出的光电转换器的所有光接收信号相加以生成所拍摄图像的摄像设备。
引用文献列表
专利文献
[专利文献1]美国专利4410804
[专利文献2]日本特开2001-083407
发明内容
发明要解决的问题
在专利文献1和专利文献2各自公开的摄像设备中，可以拍摄主被摄体以聚焦在该主被摄体上，从而在前景和背景被极大地模糊的情况下有效强调主被摄体。然而，根据拍摄场景，可能发生主被摄体被位于该主被摄体(例如，鸟)前面的前景(例如，花瓣)的大片模糊所隐藏的模糊覆盖，因此所拍摄图像的质量可能下降。
本发明提供用于提高所拍摄图像的质量的图像处理设备、摄像设备、图像处理方法、程序和存储介质。
用于解决问题的方案
作为本发明的一个方面的图像处理设备包括：确定器，其被配置为确定根据多个视差图像中的各个视差图像的位置而变化的权重系数；以及图像生成器，其被配置为基于所述权重系数对所述多个视差图像进行合成，以生成图像。
作为本发明的另一方面的摄像设备包括：摄像元件，其包括多个像素，其中各个像素包括被配置为接收穿过成像光学系统的彼此不同的部分光瞳区域的光束的多个光电转换器；确定器，其被配置为确定根据从所述多个光电转换器获得的多个视差图像中的各个视差图像的位置而变化的权重系数；以及图像生成器，其被配置为基于所述权重系数对所述多个视差图像进行合成，以生成图像。
作为本发明的又一方面的图像处理方法包括以下步骤：确定根据多个视差图像中的各个视差图像的位置而变化的权重系数；以及基于所述权重系数对所述多个视差图像进行合成，以生成图像。
作为本发明的又一方面，程序用于使计算机执行上述图像处理方法。
作为本发明的又一方面，存储介质存储上述程序。
根据以下对参考附图的典型实施例的描述，本发明的其它特征和方面将变得显而易见。
发明的效果
根据本发明，可以提供用于提高所拍摄图像的质量的图像处理设备、摄像设备、图像处理方法、程序和存储介质。
附图说明
图1是各实施例中的摄像设备的框图。
图2是示出实施例1中的像素阵列的图。
图3A是示出实施例1中的像素结构的图。
图3B是示出实施例1中的像素结构的图。
图4是各实施例中的摄像元件和光瞳分割功能的说明图。
图5是各实施例中的摄像元件和光瞳分割功能的说明图。
图6是各实施例中的散焦量和图像移位量之间的关系的图。
图7是主被摄体的模糊覆盖图像的示例。
图8A是各实施例中的图像处理(模糊调整处理)的说明图。
图8B是各实施例中的图像处理(模糊调整处理)的说明图。
图8C是各实施例中的图像处理(模糊调整处理)的说明图。
图9A是各实施例中的图像处理(模糊调整处理)的效果的说明图。
图9B是各实施例中的图像处理(模糊调整处理)的效果的说明图。
图10A是各实施例中的光瞳移位所引起的有效孔径值的说明图。
图10B是各实施例中的光瞳移位所引起的有效孔径值的说明图。
图10C是各实施例中的光瞳移位所引起的有效孔径值的说明图。
图11是示出实施例2中的像素阵列的图。
图12A是示出实施例2中的像素结构的图。
图12B是示出实施例2中的像素结构的图。
图13是各实施例中的再聚焦处理的示意性说明图。
具体实施方式
以下将参考附图来描述本发明的典型实施例。
实施例1
首先，参考图1，将描述本发明的实施例1中的摄像设备的示意性结构。图1是本实施例中的摄像设备100(照相机)的框图。摄像设备100是包括照相机主体和可移除地安装至照相机主体的可更换镜头(成像光学系统或摄像光学系统)的数字照相机系统。然而，本实施例不限于此，并且还可以适用于照相机主体和镜头彼此一体化的摄像设备。
将第一透镜单元101配置在构成摄像镜头(成像光学系统)的多个透镜单元的最前侧(被摄体侧)，并且将其保持在镜筒上以可以在光轴OA的方向(光轴方向)上往复移动。光圈/快门102(孔径光阑)调节其开口直径以控制拍摄图像时的光强度，并且还用作用以在拍摄静止图像时控制曝光时间的快门。第二透镜单元103在光轴方向上与光圈/快门102一体地往复移动，并且其具有与第一透镜单元101的往复运动连动地进行变倍操作的变焦功能。第三透镜单元105是在光轴方向上往复移动以进行调焦(调焦操作)的调焦透镜单元。光学低通滤波器106是用于减少所拍摄图像的伪色或摩尔纹的光学元件。
摄像元件107对经由成像光学系统形成的被摄体图像(光学图像)进行光电转换，并且例如其包括CMOS传感器或CCD传感器及其外围电路。作为摄像元件107，例如使用二维单板颜色传感器，其中该二维单板颜色传感器包括原色马赛克滤波器，该原色马赛克滤波器具有在片上结构中在水平方向为m个像素且垂直方向为n个像素的光接收像素上形成的拜尔阵列。
变焦致动器111使凸轮筒(未示出)转动移动(驱动)以使第一透镜单元101和第二透镜单元103沿着光轴方向移动，从而进行变倍操作。光圈/快门致动器112控制光圈/快门102的开口直径以调节光强度(拍摄光强度)，并且还控制拍摄静止图像的曝光时间。调焦致动器114使第三透镜单元105在光轴方向移动，以进行调焦。
电子闪光灯115是要用于对被摄体进行照明的照明装置。作为电子闪光灯115，使用包括氙管的闪光灯照明装置或者包括持续发光的LED(发光二极管)的照明装置。AF辅助发光单元116将具有预定开口图案的掩模的图像经由投射透镜投射到被摄体上。利用该结构，可以提高对于暗被摄体或具有低对比度的被摄体的焦点检测能力。
CPU 121是用于管理摄像设备100的各种控制的控制设备(控制器)。CPU121包括处理器、ROM、RAM、A/D转换器、D/A转换器以及通信接口电路等。CPU 121读取并执行存储在ROM中的预定程序，以驱动摄像设备100的各种电路并且执行诸如焦点检测(AF)、摄像(拍摄)、图像处理或记录等的一系列操作。
电子闪光灯控制电路122与摄像操作同步地进行对电子闪光灯115的点亮控制。辅助光驱动电路123与焦点检测操作同步地进行对AF辅助发光单元116的点亮控制。摄像元件驱动电路124控制摄像元件107的摄像操作，并且还对所获取到的图像信号进行A/D转换以将其发送至CPU 121。
图像处理电路125(图像处理设备)对从摄像元件107输出的图像数据进行诸如γ(伽马)转换、颜色插值、或JPEG(联合图像专家小组)压缩等的处理。在本实施例中，图像处理电路125包括确定器125a和图像生成器125b。确定器125a确定根据多个视差图像各自的位置而变化的权重系数。图像生成器125b基于权重系数对多个视差图像进行合成以生成图像。
调焦驱动电路126(调焦驱动器)基于焦点检测结果来驱动调焦致动器114，以使第三透镜单元105沿着光轴方向移动从而进行调焦。光圈/快门驱动电路128驱动光圈/快门致动器112以控制光圈/快门102的开口直径。变焦驱动电路129(变焦驱动器)响应于用户的变焦操作来驱动变焦致动器111。
显示装置131(显示单元)包括例如LCD(液晶显示器)。显示装置131显示与摄像设备100的摄像模式相关的信息、摄像前的预览图像、摄像后的确认图像或焦点检测时的聚焦状态显示图像等。操作构件132(操作开关单元)包括电源开关、释放(摄像触发器)开关、变焦操作开关、以及摄像模式选择开关等。释放开关是处于半按下状态(SW1接通的状态)和处于全按下状态(SW2接通的状态)的两级开关。记录介质133例如为可从摄像设备100移除的闪速存储器，并且其记录所拍摄图像(图像数据)。
随后，参考图2、3A和3B，将描述本实施例中的摄像元件107的像素阵列和像素结构。图2是示出摄像元件107的像素阵列的图。图3A和向3B是示出摄像元件107的像素结构的图，并且图3A和3B分别示出摄像元件107的像素200G的平面图(在+z方向上观看的图)以及沿图3A中的线a-a的截面图(在-z方向上观看的图)。
图2示出摄像元件107(二维CMOS传感器)的4列×4行的范围的像素阵列(摄像像素的阵列)。在本实施例中，各摄像像素(像素200R、200G和200B)包括两个子像素201和202。因此，图2示出8列×4行的范围的子像素阵列。
如图2所示，2列×2行的像素组200包括拜尔阵列中的像素200R、200G和200B。换句话说，在像素组200中，将具有R(红色)的光谱灵敏度的像素200R设置在左上方，将具有G(绿色)的光谱灵敏度的像素200G设置在右上方和左下方，并且将具有B(蓝色)的光谱灵敏度的像素200B设置在右下方。像素200R、200G和200B各自(各摄像像素)包括以2列×1行排列的子像素201和202。子像素201是用于接收穿过成像光学系统的第一光瞳区域的光束的像素。子像素202是用于接收穿过成像光学系统的第二光瞳区域的光束的像素。
如图2所示，摄像元件107包括配置在表面上的4列×4行的多个摄像像素(8列×4行的子像素)，并且其输出摄像信号(子像素信号)。在本实施例的摄像元件107中，像素(摄像像素)的周期P是4μm，并且像素(摄像像素)的数量N是：水平方向上5575列×垂直方向上3725行＝约2075万个像素。在摄像元件107中，列方向上的子像素的周期PSUB是2μm，并且子像素的数量NSUB是水平方向上11150列×垂直方向上3725行＝约4150万个像素。
如图3B所示，本实施例的像素200G在像素的光接收面侧设置有用以会聚入射光的微透镜305。多个微透镜305以二维方式排列，并且各微透镜305被配置为处于在z轴方向(光轴方向OA的方向)上距光接收面预定距离的位置处。在像素200G中，通过将像素在x方向上分割为NH个(二分割)并在y方向上分割为NV个(一分割)来形成光电转换器301和光电转换器302。光电转换器301和光电转换器302分别与子像素201和子像素202相对应。
光电转换器301和302各自被配置为具有p-i-n结构的光电二极管，其中该p-i-n结构包括p型层和n型层以及介于p型层和n型层之间的本征层。必要时，本征层可以省略，并且可以应用具有p-n结的光电二极管。像素200G(各像素)在微透镜305与光电转换器301和302中的各个光电转换器之间设置有颜色滤波器306。必要时，颜色滤波器306的光谱透过率可以针对各子像素而改变，或者可选地，可以省略颜色滤波器。
如图3A和3B所示，入射至像素200G的光通过微透镜305而会聚，并且被颜色滤波器306分光，然后分光被光电转换器301和302接收。在光电转换器301和302的各个光电转换器中，根据光接收量而生成电子和空穴对，并且电子和空穴对在耗尽层中分离，然后在n型层中积累具有负电荷的电子。另一方面，通过连接至恒压源(未示出)的p型层来将空穴排出至摄像元件107的外部。光电转换器301和302的n型层中积累的电子通过传输门而被传输至静电电容(FD)，以转换成电压信号。
随后，参考图4，将描述摄像元件107的光瞳分割功能。图4是摄像元件107的光瞳分割功能的说明图，并且示出一个像素部中的光瞳分割的情形。图4示出当从+y方向观看时图3A所示的像素结构的截面A-A的截面图、以及成像光学系统的出射光瞳面。在图4中，为了与出射光瞳面的坐标轴相对应，将截面图中的x轴和y轴相对于图3A和3B中的x轴和y轴反转。
在图4中，针对子像素201(第一子像素)的部分光瞳区域501(第一部分光瞳区域)经由微透镜305与重心沿-x方向偏移(偏心)的光电池转换器301的光接收面具有大致共轭关系。因此，部分光瞳区域501表示能够利用子像素201来接收光的光瞳区域。针对子像素201的部分光瞳区域501的重心在光瞳面上沿+x方向偏移(偏心)。针对子像素202的部分光瞳区域502(第二部分光瞳区域)经由微透镜与重心沿+x方向偏移(偏心)的光电转换器302的光接收面具有大致共轭关系。因此，部分光瞳区域502表示能够利用子像素202来接收光的光瞳区域。针对子像素202的部分光瞳区域502的重心在光瞳面上沿-x方向偏移(偏心)。光瞳区域500是能够在将光电转换器301和302(子像素201和202)全部组合时的像素200G的整个区域上接收光的光瞳区域。
入射光通过微透镜305而会聚在焦点位置处。然而，由于光的波动性所导致的对衍射的影响，会聚点的直径可能无法小于衍射极限Δ并且其具有有限大小。当光电转换器301和302各自的光接收面的大小约1～2μm时，微透镜305的会聚点约为1μm。因此，图4中的经由微透镜305而与光电转换器301和302的光接收面具有共轭关系的部分光瞳区域501和502由于衍射模糊而没有进行清楚的分割，因此获得光接收率分布(光瞳强度分布)。
图5是说明摄像元件107和光瞳分割功能的图。穿过成像光学系统的光瞳区域中彼此不同的部分光瞳区域501和502的光束以彼此不同的角度入射至摄像元件107的各像素(即摄像元件107的摄像面600)，并且由分割为2×1的子像素201和202接收。本实施例描述了将光瞳区域在水平方向上分割为两个的示例但不限于此，并且必要时可以在垂直方向上进行光瞳分割。
在本实施例中，摄像元件107包括共用一个微透镜、并且接收穿过成像光学系统(摄像镜头)的光瞳中彼此不同的区域(第一部分光瞳区域和第二部分光瞳区域)的多个光束的多个子像素。摄像元件107包括第一子像素(多个子像素201)和第二子像素(多个子像素202)作为多个子像素。在本实施例中，通过收集多个子像素201的光接收信号来生成第一视差图像，并且通过收集多个子像素202的光接收信号来生成第二视差图像。如上所述，在本实施例中，通过收集针对彼此不同的各部分光瞳区域的多个子像素的光接收信号来生成各视差图像。
在本实施例中，第一视差图像和第二视差图像各自为采用拜尔阵列的图像。必要时，可以对第一视差图像和第二视差图像中的每一个进行去马赛克处理。在本实施例中，针对摄像元件107的各像素而将子像素201和202的信号相加(合成)，以可以生成具有有效像素数量N的分辨率的所拍摄图像。如上所述，在本实施例中，基于多个视差图像(第一视差图像和第二视差图像)来生成所拍摄图像。
接下来，参考图6，将描述从摄像元件107的子像素201获取的第一视差图像和从子像素202获取的第二视差图像的散焦量与图像移位量之间的关系。图6是示出散焦量和图像移位量之间的关系的图。在图6中，将摄像元件107配置在摄像面600上，并且与图4和5相同，示出成像光学系统的出射光瞳被分割为两个部分光瞳区域501和502的情形。
对散焦量d进行定义，使得从被摄体的成像位置到摄像面600的距离为|d|，成像位置相对于摄像面600位于被摄体侧的前焦点状态为负号(d<0)，并且成像位置相对于摄像面600位于与被摄体相反的一侧的后焦点状态为正号(d>0)。在被摄体的成像位置位于摄像面600上(聚焦位置)的聚焦状态下，满足散焦量d＝0。在图6中，示出处于聚焦状态(d＝0)的被摄体601和处于前焦点状态(d<0)的被摄体602。将前焦点状态(d<0)和后焦点状态(d>0)统称为散焦状态(|d|>0)。
在前焦点状态(d<0)下，来自被摄体602的光束中的穿过了部分光瞳区域501(或部分光瞳区域502)的光束被会聚一次。然后，光束以光束的重心位置G1(或G2)为中心扩散至宽度Γ1(Γ2)，并且在摄像面600上形成模糊图像。由构成摄像元件107中所排列的各像素的子像素201(子像素202)接收该模糊图像，并且生成第一视差图像(第二视差图像)。因此，将第一视差图像(第二视差图像)记录为被摄体602被模糊为在摄像面600上的重心位置G1(或G2)处具有宽度Γ1(Γ2)的模糊的被摄体图象。被摄体图像的模糊宽度Γ1(Γ2)随着散焦量d的绝对值|d|的增大而大致成比例地增大。同样，第一视差图像和第二视差图像之间的被摄体图像的图像移位量p(即，等于光束的重心位置的差(G1-G2))的绝对值|p|大致随着散焦量d的绝对值|d|的增大而增大。这同样适用于后焦点状态(d>0)，但是第一视差图像和第二视差图像之间的被摄体图像的图像移位方向与前焦点状态相反。
如上所述，在本实施例中，第一视差图像和第二视差图像之间的图像移位量的绝对值随着第一视差图像和第二视差图像的散焦量的绝对值、或者通过将第一视差图像和第二视差图像相加所获得的摄像信号的散焦量的绝对值的增大而增大。
接下来，将描述针对本实施例中的(用于减少主被摄体的模糊覆盖的)模糊调整的图像处理。针对(用于减少主被摄体的模糊覆盖的)模糊调整的图像处理由图像处理电路125(确定器125a和图像生成器125b)基于CPU 121的指令来进行。图像处理电路125输入摄像元件107所获取的多个视差图像(第一视差图像和第二视差图像)以进行本实施例中的图像处理。
图7示出在图7的区域700中发生模糊覆盖的图像，其中在该图像中，位于作为第一被摄体的主被摄体(鸟)的前面(即，近距离处)的作为第二被摄体的前景(花瓣)被极大地模糊，从而隐藏了该主被摄体。
在本实施例中，符号j和i各自为整数，将第一视差图像(和第二视差图像)在行方向上的第j个位置和列方向上的第i个位置表示为(j,i)，并且将位置(j,i)处的第一视差图像和第二视差图像分别表示为A(j,i)和B(j,i)。
作为第一步骤，CPU 121(图像处理电路125)设置用于减少主被摄体的模糊覆盖的预定区域R＝[j1,j2]×[i1,i2]、以及该预定区域的边界宽度σ。然后，CPU121根据以下表达式(1)来计算依赖于预定区域R和预定区域的边界宽度σ的表函数T(j，i)。
[数学式1]
表函数T(j，i)在预定范围R内表示1且在预定范围R外表示0，并且其大致在预定范围R的边界宽度σ中从1到0连续地变化。必要时，预定区域R可以是圆形形状或其它任意形状。此外，必要时，可以设置多个预定区域和边界宽度。
作为第二步骤，CPU 121(图像处理电路125)根据以下表达式(2A)、通过使用实系数w(-1≦w≦1)来计算第一视差图像A(j，i)的第一权重系数Wa(j，i)。同样，CPU 121(图像处理电路125)根据以下表达式(2B)来计算第二视差图像的第二权重系数Wb(j，i)。
[数学式2A]
Wa(j，i)＝1-wT(j，i)…(2A)
[数学式2B]
Wb(j，i)＝1+wT(j，i)…(2B)
作为第三步骤，图像处理电路125根据以下表达式(3)、通过使用第一视差图像A(j，i)、第二视差图像B(j，i)、第一权重系数Wa(j，i)和第二权重系数Wb(j，i)来生成输出图像I(j，i)。
[数学式3]
I(j，i)＝Wa(j，i)＊A(j，i)+Wb(j，i)＊B(j，i)…(3)
必要时，图像处理电路125可以根据以下表达式(4A)和(4B)来将再聚焦处理与移位量s相组合，以生成输出图像Is(j，i)。
[数学式4A]
Is(j，i)＝Wa(j，i)＊A(j，i)+Wb(j，i)＊B(j，i+s)…(4A)
[数学式4B]
Is(j，i)＝Wa(j，i)＊A(j，i)+Wb(j，i+s)＊B(j，i+s)…(4B)
参考图13，将描述再聚焦处理。图13是通过本实施例的摄像元件107所获取到的第一信号(第一子像素的光接收信号)和第二信号(第二子像素的光接收信号)在一维方向(列方向或水平方向)上的再聚焦处理的说明图。在图13中，符号i表示整数，并且示意性地，符号Ai和Bi分别表示被配置在摄像面600上的摄像元件107的列方向上的第i个像素的第一信号和第二信号。第一信号Ai是基于以(与图5中的部分光瞳区域501相对应的)主光线角度θa入射至第i个像素的光束而输出的光接收信号。第二信号Bi是基于以(与图5中的部分光瞳区域502相对应的)主光线角度θb入射至第i个像素的光束而输出的光接收信号。
第一信号Ai和第二信号Bi各自具有入射角度信息以及光强度分布信息。因此，第一信号Ai以角度θa平行移动(平移)至虚拟摄像面610，并且第二信号Bi以角度θb平行移动(平移)至虚拟摄像面610，然后将这些信号相加，从而能够生成虚拟摄像面610上的再聚焦信号。第一信号Ai以角度θa的至虚拟摄像面610的平行移动与在列方向上的+0.5个像素的移位相对应，而第二信号Bi以角度θb的至虚拟摄像面610的平行移动与在列方向上的-0.5个像素的移位相对应。因此，在第一信号Ai和第二信号Bi相对移位+1个像素以将第一信号Ai与相应的第二信号(Bi+1)相加(即，将第一信号Ai与第二信号(Bi+1)进行合成)的情况下，可以生成虚拟摄像面610上的再聚焦信号。同样，在第一信号Ai和第二信号Bi移位像素间距的整数倍(即，进行整数移位)并且将这些信号相加的情况下，可以与整数移位量相对应地生成各虚拟摄像面上的移位相加信号(再聚焦信号)。
在本实施例中，输入通过包括多个像素(其各自包括用于接收穿过成像光学系统的彼此不同的部分光瞳区域的光束的多个子像素)的摄像元件所获取的多个视差图像，并且这些视差图像各自乘以权重系数以对加权后的视差图像进行合成，从而生成输出图像。优选地，在本实施例中，多个视差图像各自的权重系数根据输出图像中的区域而连续地变化。优选地，在本实施例中，在将各视差图像乘以权重系数的情况下，通过将视差图像相加或者通过将视差图像移位并相加来生成输出图像。
接下来，参考图8A至8C，将描述用于减少主被摄体的模糊覆盖的模糊调整的图像处理的原理。图8A至8C是用于模糊调整的图像处理的说明图。在图8A至8C中，将本实施例的摄像元件107配置在摄像面600上，并且与图5相同，将成像光学系统的出射光瞳分割成两个部分光瞳区域501和502。
图8A是主被摄体的模糊覆盖图像的示例，并且其示出拍摄被摄体q2(第二被摄体)的模糊图像(Γ1+Γ2)与位于被摄体q2后面的主被摄体q1(第一被摄体)的图像p1(聚焦图像)重叠的状态。针对图8A中的示例，图8B和8C示出将穿过成像光学系统的部分光瞳区域501和502的光束彼此分离的图。
在图8B中，来自主被摄体q1的光束穿过部分光瞳区域501并且在聚焦状态下被成像为图像p1，而来自位于主被摄体q1前面的被摄体q2的光束穿过部分光瞳区域501并且在散焦状态下扩散为模糊图像Γ1而被摄像元件107的各像素中的子像素201接收。基于子像素201的光接收信号而生成第一视差图像。在第一视差图像中，在没有彼此重叠的情况下拍摄主被摄体q1的图像p1和位于主被摄体q1前面的被摄体q2的模糊图像Γ1。这是在预定区域(主被摄体q1的图像p1附近)中，多个视差图像(第一视差图像和第二视差图像)中的、以最窄范围拍摄处于近距离侧的被摄体(被摄体q2的模糊图像Γ1)的视差图像的示例。此外，其是多个视差图像(第一视差图像和第二视差图像)中的、被摄体q2的模糊图像Γ1拍得较少并且对比度评价值最大的视差图像的示例。
另一方面，在图8C中，来自主被摄体q1的光束穿过部分光瞳区域502并且在聚焦状态下被成像为图像p1，而来自位于主被摄体q1前面的被摄体q2的光束穿过部分光瞳区域502并且在散焦状态下扩散为模糊图像Γ2而被摄像元件107的各像素中的子像素202接收。基于子像素202的光接收信号而生成第二视差图像。在第二视差图像中，在彼此重叠的情况下拍摄主被摄体q1的图像p1和位于主被摄体q1前面的被摄体q2的模糊图像Γ2。这是在预定区域(主被摄体q1的图像p1附近)中，多个视差图像(第一视差图像和第二视差图像)中的、以最宽范围拍摄处于近距离侧的被摄体(被摄体q2的模糊图像Γ2)的视差图像的示例。此外，其是多个视差图像(第一视差图像和第二视差图像)中的、被摄体q2的模糊图像Γ2拍得较多并且对比度评价值最小的视差图像的示例。
在本实施例中，在预定区域(图像p1附近)中，将图像p1和模糊图像Γ1的重叠小的第一视差图像的第一权重系数Wa设置成大于图像p1和模糊图像Γ2的重叠大的第二视差图像的第二权重系数Wb，并且根据表达式(3)来生成输出图像。因此，可以生成主被摄体的模糊覆盖有所减少的图像。
优选地，在本实施例中，在输出图像的预定区域中，多个视差图像中的、以最宽范围拍摄处于近距离侧的被摄体的视差图像的权重系数最小，或者以最窄范围拍摄处于近距离侧的被摄体的视差图像的权重系数最大。优选地，在本实施例中，在输出图像的预定区域中，多个视差图像中的、具有最小对比度评价值的视差图像的权重系数最小，或者具有最大对比度评价值的视差图像的权重系数最大。
接下来，参考图9A和9B，将描述本实施例中的图像处理(模糊调整处理)的效果。图9A和9B是图像处理(模糊调整处理)的效果的说明图。图9A示出在图7的区域700中进行用于减少花瓣对主被摄体(鸟)的模糊覆盖的模糊调整处理之前的图像。图9B示出在进行模糊调整处理之后的图像。在图9A的图像(未进行模糊调整处理的图像)中，鸟的喙、眼和翅膀被花瓣的模糊转换为白色(图9A中的虚线所示的圆圈内)。另一方面，在图9B的图像(已经进行了模糊调整处理的图像)中，模糊覆盖有所减少。在本实施例中，必要时，优选地，在预定区域以外的区域中(即，未进行模糊调整处理的区域中)，为了避免成像光学系统的模糊形状发生变化，将各个视差图像的权重系数(第一权重系数和第二权重系数)相加以使权重系数大致彼此相等，从而生成输出图像。
接下来，参考图10A至10C，将描述本实施例中的位于摄像元件107的周边图像高度处的光瞳移位。图10A至10C是光瞳移位所引起的有效孔径值的说明图，并且这些说明图示出分别由在摄像元件107的周边图像高度处所排列的各像素中的子像素201和202接收到的光所穿过的部分光瞳区域501和502与成像光学系统的出射光瞳400之间的关系。
图10A示出成像光学系统的出射光瞳距离D1(出射光瞳400和摄像元件107的摄像面之间的距离)与摄像元件107的设置光瞳距离Ds大致相等的情况。在这种情况下，与中央图像高度同样地，通过周边图像高度处的部分光瞳区域501和502来大致均等地对成像光学系统的出射光瞳400进行分割。
另一方面，如图10B所示，在成像光学系统的出射光瞳距离D1比摄像元件107的设置光瞳距离Ds短的情况下，在摄像元件107的周边图像高度处，在成像光学系统的出射光瞳400和摄像元件107的入射光瞳之间发生光瞳移位。因此，成像光学系统的出射光瞳400被不均等地分割。在图10B的情况下，与部分光瞳区域501相对应的第一视差图像的有效孔径值比与部分光瞳区域502相对应的第二视差图像的有效孔径值小(亮)。另一方面，在相反侧的图像高度处，与部分光瞳区域501相对应的第一视差图像的有效孔径值比与部分光瞳区域502相对应的第二视差图像的有效孔径值大(暗)。
如图10C所示，在成像光学系统的出射光瞳距离D1比摄像元件107的设置光瞳距离Ds长的情况下，在摄像元件107的周边图像高度处，成像光学系统的出射光瞳400和摄像元件107的入射光瞳之间发生光瞳移位。因此，成像光学系统的出射光瞳400被不均等地分割。在图10C的情况下，与部分光瞳区域501相对应的第一视差图像的有效孔径值比与部分光瞳区域502相对应的第二视差图像的有效孔径值大(暗)。另一方面，在相反侧的图像高度处，与部分光瞳区域501相对应的第一视差图像的有效孔径值比与部分光瞳区域502相对应的第二视差图像的有效孔径值小(亮)。伴随着在周边图像高度处由光瞳移位所引起的对光瞳的不均匀分割，第一视差图像和第二视差图像各自的有效孔径值(有效F值)变得不均匀。因此，第一视差图像和第二视差图像其中之一的模糊扩散得广，而另一视差图像中的模糊扩散得窄。因此，在本实施例中，必要时，优选地，在输出图像中的预定区域中，将多个视差图像中的具有最小有效孔径值的视差图像的权重系数最小化、或者将具有最大有效孔径值的视差图像的权重系数最大化。
在上述的结构中，在拍摄图像之后减少主被摄体的模糊覆盖，使得可以提高所拍摄图像的质量。
实施例2
接下来，参考图11以及图12A和12B，将描述本发明的实施例2中的摄像设备。本实施例与实施例1的不同点在于：基于第一视差图像至第四视差图像作为多个视差图像来生成所拍摄图像，而不是基于第一视差图像和第二视差图像来生成所拍摄图像。
图11是示出本实施例中的摄像元件107的像素阵列的图。图12A和12B是示出摄像元件107的像素结构的图，并且图12A和12B分别示出摄像元件107的像素200G的平面图(在z方向上观看的图)以及沿图12A中的线a-a的截面图(在-z方向上观看的图)。
图11示出摄像元件107(二维CMOS传感器)的4列×4行的范围的像素阵列(摄像像素的阵列)。在本实施例中，各摄像像素(像素200R、200G和200B)包括四个子像素201、202、203和204。因此，图11示出8列×8行的范围的子像素阵列。
如图11所示，2列×2行的像素组200包括采用拜尔阵列的像素200R、200G和200B。换句话说，在像素组200中，将具有R(红色)光谱灵敏度的像素200R设置在左上方，将具有G(绿色)光谱灵敏度的像素200G设置在右上方和左下方，并且将具有B(蓝色)光谱灵敏度的像素200B设置在右下方。像素200R、200G和200B各自(各摄像像素)包括以2列×2行排列的子像素201、202、203和204。子像素201是用于接收穿过成像光学系统的第一光瞳区域的光束的像素。子像素202是用于接收穿过成像光学系统的第二光瞳区域的光束的像素。子像素203是用于接收穿过成像光学系统的第三光瞳区域的光束的像素。子像素204是用于接收穿过成像光学系统的第四光瞳区域的光束的像素。
如图11所示，摄像元件107包括配置在表面上的4列×4行的大量摄像像素(8列×8行的子像素)，并且其输出摄像信号(子像素信号)。在本实施例的摄像元件107中，像素(摄像像素)的周期P是4μm，并且像素(摄像像素)的数量N是：水平方向上5575列×垂直方向上3725行＝约2075万个像素。在摄像元件107中，列方向上的子像素的周期PSUB是2μm，并且子像素的数量NSUB是水平方向上11150列×垂直方向上7450行＝约8300万个像素。
如图12B所示，本实施例的像素200G在像素的光接收面侧设置有微透镜305以会聚入射光。各微透镜305被配置为在z轴方向(光轴方向OA的方向)上位于距光接收面预定距离的位置处，在像素200G中，通过将像素在x方向上分割为NH个(二分割)并在y方向上分割为NV个(二分割)来形成光电转换器301、302、303和304。光电转换器301至304分别与子像素201至204相对应。
在本实施例中，摄像元件107包括共用一个微透镜、并且接收穿过成像光学系统(摄像镜头)的光瞳中彼此不同的区域(第一部分光瞳区域至第四部分光瞳区域)的多个光束的多个子像素。摄像元件107包括第一子像素(多个子像素201)、第二子像素(多个子像素202)、第三子像素(多个子像素203)以及第四子像素(多个子像素204)作为多个子像素。在本实施例中，通过收集多个子像素201的光接收信号来生成第一视差图像。同样，分别通过收集多个子像素202、203和204的光接收信号来生成第二视差图像至第四视差图像。在本实施例中，第一视差图像至第四视差图像各自为采用拜尔阵列的图像。必要时，可以对第一视差图像至第四视差图像中的每一个进行去马赛克处理。
在本实施例中，符号j和i各自为整数，将第一视差图像至第四视差图像各自在行方向上的第j个位置和列方向上的第i个位置表示为(j,i)，并且将位置(j,i)处的第一视差图像、第二视差图像、第三视差图像和第四视差图像分别表示为A(j,i)、B(j,i)、C(j,i)和D(j,i)。将第一视差图像的第一权重系数、第二视差图像的第二权重系数、第三视差图像的第三权重系数和第四视差图像的第四权重系数分别表示为Wa(j,i)、Wb(j,i)、Wc(j,i)和Wd(j,i)。
作为第一步骤，CPU 121(图像处理电路125)设置用于减少主被摄体的模糊覆盖的预定区域R＝[j1,j2]×[i1,i2]、以及该预定区域的边界宽度σ。然后，CPU121根据表达式(1)来计算依赖于预定区域R和预定区域的边界宽度σ的表函数T(j,i)。
表函数T(j,i)在预定范围R内表示1且在预定范围R外表示0，并且其大致在预定范围R的边界宽度σ中从1到0连续地变化。必要时，预定区域R可以是圆形形状或其它任意形状。此外，必要时，可以设置多个预定区域和边界宽度。
作为第二步骤，CPU 121(图像处理电路125)根据以下表达式(5A)、通过使用实系数wa、wb、wc和wd(wa+wb+wc+wd＝0)来计算第一视差图像A(j,i)的第一权重系数Wa(j,i)。同样，CPU 121(图像处理电路125)根据以下表达式(5B)至(5D)来计算第二视差图像B(j,i)的第二权重系数Wb(j,i)、第三视差图像C(j,i)的第三权重系数Wc(j,i)、以及第四视差图像D(j,i)的第四权重系数Wd(j,i)。
[数学式5A]
Wa(j，i)＝1+waT(j，i) …(5A)
[数学式5B]
Wb(j，i)＝1+wbT(j，i) …(5B)
[数学式5C]
Wc(j，i)＝1+wcT(j，i) …(5C)
[数学式5D]
Wd(j，i)＝1+wdT(j，i) …(5D)
作为第三步骤，图像处理电路125通过以下表达式(6)来生成输出图像I(j，i)。
[数学式6]
I(j，i)＝Wa(j，i)＊A(j，i)+Wb(j，i)＊B(j，i)
+Wc(j，i)＊C(j，i)+Wd(j，i)＊D(j，i) …(6)
必要时，图像处理电路125可以根据以下表达式(7A)和(7B)将再聚焦处理与移位量s和t相结合，以生成输出图像Ist(j，i)。
[数学式7A]
Ist(j，i)＝Wa(j，i)＊A(j，i)+Wb(j，i)＊B(j+s)
+Wc(j，i)＊C(j+t，i)+Wd(j，i+s)＊B(j+t，i+s) …(7A)
[数学式7B]
Ist(j，i)＝Wa(j，i)＊A(j，i)+Wb(j，i+s)＊B(j，i+s)
+Wc(j+t，i)＊C(j+t，i)+Wd(j+t，i+s)＊B(j+t，i+s) …(7B)
在本实施例中，其它结构与实施例1中的结构相同，因此省略其描述。通过上述结构，减少了拍摄图像之后的主被摄体上的模糊覆盖，使得可以提高所拍摄图像的质量。
如上所述，在各实施例中，图像处理设备(图像处理电路125)包括确定器125a和图像生成器125b。确定器125a确定根据多个视差图像各自的位置而变化的权重系数。图像生成器125b基于权重系数来对多个视差图像进行合成(组合)以生成图像(合成图像、组合图像或复合图像)。代替确定器125a，图像处理设备可以包括能够获取通过诸如CPU 121等的设备(具有与确定器125a的功能相同的功能的设备)所确定出的权重系数的获取器。
优选地，图像生成器将多个视差图像各自乘以权重系数、并且将加权后的视差图像相加(合成或组合)以生成图像。优选地，图像生成器将多个视差图像各自乘以权重系数、并且将加权后的视差图像移位并相加(通过对加权后的视差图像使用再聚焦处理来合成或组合图像)以生成图像。
优选地，权重系数根据多个视差图像各自的位置而连续地变化。例如，这可以通过使用表函数T(j,i)来实现。优选地，多个视差图像的权重系数的和(总和)针对多个视差图像的所有位置是恒定的。例如，如实施例1中所述的针对一个微透镜包括两个子像素的摄像元件所获得的第一视差图像的第一权重系数Wa和第二视差图像的第二权重系数Wb之和在图像中的任何位置处都是恒定的。可选地，针对一个微透镜包括四个子像素的摄像元件所分别获得的第一视差图像至第四视差图像的第一权重系数Wa至第四权重系数Wd的和(总和)在图像中的任何位置处都是恒定的。
优选地，通过包括多个像素的摄像元件获取多个视差图像，其中该多个像素各自包括用于接收穿过成像光学系统的彼此不同的部分光瞳区域的光束的多个光电转换器(子像素)。换句话说，基于针对各部分光瞳区域的子像素的光接收信号来生成多个视差图像。
优选地，图像生成器基于图像的第一区域(例如，预定区域R和边界宽度σ)中的权重系数来对多个视差图像进行合成。更优选地，第一区域是被设置为减少处于与第一被摄体(被摄体q1)相比更近距离侧的第二被摄体(被摄体q2)的模糊的区域。优选地，图像生成器将多个视差图像乘以彼此相等的权重系数、并且将图像的与第一区域不同的第二区域(例如，预定区域R以外)中的加权后的视差图像相加以生成图像。
优选地，确定器在图像的第一区域中，将多个视差图像的多个权重系数中的、以最宽范围拍摄处于与第一被摄体相比更近距离侧的第二被摄体的视差图像的权重系数设置成最小。优选地，确定器在图像的第一区域中，将多个视差图像的多个权重系数中的、以最窄范围拍摄处于与第一被摄体相比更近距离侧的第二被摄体的视差图像的权重系数设置成最大。
优选地，确定器在图像的第一区域中，将多个视差图像的多个权重系数中的具有最小对比度评价值的视差图像的权重系数设置成最小。优选地，确定器在图像的第一区域中，将多个视差图像的多个权重系数中的具有最大对比度评价值的视差图像的权重系数设置成最大。
优选地，确定器在图像的第一区域中，将多个视差图像的多个权重系数中的具有最小有效孔径值的视差图像的权重系数设置成最小。优选地，确定器在图像的第一区域中，将多个视差图像的多个权重系数中的具有最大有效孔径值的视差图像的权重系数设置成最大。
其它实施例
还可以通过读出并执行记录在存储介质(还可被更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以进行本发明的上述实施例中的一个或多个的功能以及/或者包括用于进行上述实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或设备的计算机和通过下面的方法来实现本发明的实施例，其中，该系统或设备的计算机通过例如从存储介质读出并执行计算机可执行指令以进行上述实施例中的一个或多个的功能以及/或者控制该一个或多个电路以进行上述实施例中的一个或多个的功能来进行上述方法。该计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括单独计算机或单独计算机处理器的网络，以读出并执行计算机可执行指令。例如可以从网络或存储介质将这些计算机可执行指令提供至计算机。该存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算机系统的存储器、光盘(诸如致密盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)TM等)、闪速存储装置和存储卡等中的一个或多个。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
附图标记说明
125 图像处理电路(图像处理设备)
125a 确定器
125b 图像生成器

Claims (20)

1.一种图像处理设备，包括：
确定器，其被配置为确定根据多个视差图像中的各个视差图像的位置而变化的权重系数；以及
图像生成器，其被配置为基于所述权重系数对所述多个视差图像进行合成，以生成图像。
2.根据权利要求1所述的图像处理设备，其中，
所述图像生成器被配置为将所述多个视差图像中的各个视差图像乘以所述权重系数，并且对加权后的视差图像进行相加，以生成所述图像。
3.根据权利要求1或2所述的图像处理设备，其中，
所述图像生成器被配置为将所述多个视差图像中的各个视差图像乘以所述权重系数，并且对加权后的视差图像进行移位并相加，以生成所述图像。
4.根据权利要求1至3中任一项所述的图像处理设备，其中，
所述权重系数根据所述多个视差图像中的各个视差图像的位置而连续变化。
5.根据权利要求1至4中任一项所述的图像处理设备，其中，
对于所述多个视差图像的所有位置，所述多个视差图像的权重系数的和是恒定的。
6.根据权利要求1至5中任一项所述的图像处理设备，其中，
所述多个视差图像是由包括多个像素的摄像元件获取的，其中所述多个像素中的各个像素包括被配置为接收穿过成像光学系统的彼此不同的部分光瞳区域的光束的多个光电转换器。
7.根据权利要求1至6中任一项所述的图像处理设备，其中，
所述图像生成器被配置为在所述图像的第一区域中基于所述权重系数来对所述多个视差图像进行合成。
8.根据权利要求7所述的图像处理设备，其中，
所述第一区域是被设置成与第一被摄体相比的更近距离侧的第二被摄体的模糊减少的区域。
9.根据权利要求7或8所述的图像处理设备，其中，
所述图像生成器被配置为在所述图像的与所述第一区域不同的第二区域中，将所述多个视差图像乘以彼此相等的权重系数，并且对加权后的视差图像进行相加，以生成所述图像。
10.根据权利要求7至9中任一项所述的图像处理设备，其中，
所述确定器被配置为在所述图像的所述第一区域中，将所述多个视差图像的多个权重系数中的、以最宽范围对与第一被摄体相比的更近距离侧的第二被摄体进行拍摄的视差图像的权重系数设置为最小。
11.根据权利要求7至10中任一项所述的图像处理设备，其中，
所述确定器被配置为在所述图像的所述第一区域中，将所述多个视差图像的多个权重系数中的、以最窄范围对与第一被摄体相比的更近距离侧的第二被摄体进行拍摄的视差图像的权重系数设置为最大。
12.根据权利要求7至11中任一项所述的图像处理设备，其中，
所述确定器被配置为在所述图像的所述第一区域中，将所述多个视差图像的多个权重系数中的、具有最小对比度评价值的视差图像的权重系数设置为最小。
13.根据权利要求7至12中任一项所述的图像处理设备，其中，
所述确定器被配置为在所述图像的所述第一区域中，将所述多个视差图像的多个权重系数中的、具有最大对比度评价值的视差图像的权重系数设置为最大。
14.根据权利要求7至13中任一项所述的图像处理设备，其中，
所述确定器被配置为在所述图像的所述第一区域中，将所述多个视差图像的多个权重系数中的、具有最小有效孔径值的视差图像的权重系数设置为最小。
15.根据权利要求7至14中任一项所述的图像处理设备，其中，
所述确定器被配置为在所述图像的所述第一区域中，将所述多个视差图像的多个权重系数中的、具有最大有效孔径值的视差图像的权重系数设置为最大。
16.一种摄像设备，包括：
摄像元件，其包括多个像素，其中各个像素包括被配置为接收穿过成像光学系统的彼此不同的部分光瞳区域的光束的多个光电转换器；
确定器，其被配置为确定根据从所述多个光电转换器获得的多个视差图像中的各个视差图像的位置而变化的权重系数；以及
图像生成器，其被配置为基于所述权重系数对所述多个视差图像进行合成，以生成图像。
17.根据权利要求16所述的摄像设备，其中，
所述摄像元件针对各个微透镜包括所述多个光电转换器，并且所述微透镜以二维方式排列。
18.一种图像处理方法，包括以下步骤：
确定根据多个视差图像中的各个视差图像的位置而变化的权重系数；以及
基于所述权重系数对所述多个视差图像进行合成，以生成图像。
19.一种程序，用于使计算机执行包括以下步骤的处理：
确定根据多个视差图像中的各个视差图像的位置而变化的权重系数；以及
基于所述权重系数对所述多个视差图像进行合成，以生成图像。
20.一种存储介质，其存储根据权利要求19所述的程序。
CN201680013334.XA 2015-03-03 2016-02-10 图像处理设备、摄像设备、图像处理方法和存储介质 Active CN107431755B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-041326 2015-03-03
JP2015041326A JP6486149B2 (ja) 2015-03-03 2015-03-03 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
PCT/JP2016/000700 WO2016139895A1 (en) 2015-03-03 2016-02-10 Image processing apparatus, image pickup apparatus, image processing method, program, and storage medium

Publications (2)

Publication Number Publication Date
CN107431755A true CN107431755A (zh) 2017-12-01
CN107431755B CN107431755B (zh) 2020-10-30

Family

ID=56847432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680013334.XA Active CN107431755B (zh) 2015-03-03 2016-02-10 图像处理设备、摄像设备、图像处理方法和存储介质

Country Status (6)

Country Link
US (2) US10171732B2 (zh)
EP (1) EP3266195B1 (zh)
JP (1) JP6486149B2 (zh)
KR (1) KR101950689B1 (zh)
CN (1) CN107431755B (zh)
WO (1) WO2016139895A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110858871A (zh) * 2018-08-24 2020-03-03 佳能株式会社 图像处理方法、图像处理装置、成像装置、镜头装置、存储介质、以及图像处理系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6486149B2 (ja) * 2015-03-03 2019-03-20 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP6746359B2 (ja) 2015-05-08 2020-08-26 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
US10999500B2 (en) 2017-03-08 2021-05-04 Sony Corporation Imaging apparatus and imaging method, and image processing apparatus and image processing method
JP2019092215A (ja) * 2019-02-21 2019-06-13 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
KR20220017480A (ko) * 2019-06-06 2022-02-11 어플라이드 머티어리얼스, 인코포레이티드 합성 이미지들을 생성하는 방법 및 이미징 시스템

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102595170A (zh) * 2011-01-06 2012-07-18 索尼公司 图像摄取装置和图像处理方法
CN102682440A (zh) * 2011-02-18 2012-09-19 佳能株式会社 图像处理设备、摄像设备和图像处理方法
CN102783162A (zh) * 2010-03-03 2012-11-14 株式会社尼康 摄像装置
CN103002218A (zh) * 2011-09-12 2013-03-27 佳能株式会社 图像处理装置及图像处理方法
US20130155269A1 (en) * 2011-12-16 2013-06-20 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image pickup apparatus, and display device
WO2013105383A1 (en) * 2012-01-13 2013-07-18 Canon Kabushiki Kaisha Image generation method, image generation apparatus, program, and storage medium
CN103327230A (zh) * 2012-03-21 2013-09-25 卡西欧计算机株式会社 摄像装置、图像处理方法
CN103997599A (zh) * 2013-02-14 2014-08-20 佳能株式会社 图像处理设备、图像拾取设备以及图像处理方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4410804A (en) 1981-07-13 1983-10-18 Honeywell Inc. Two dimensional image panel with range measurement capability
JP3774597B2 (ja) 1999-09-13 2006-05-17 キヤノン株式会社 撮像装置
JP6239862B2 (ja) * 2013-05-20 2017-11-29 キヤノン株式会社 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置
JP6486149B2 (ja) * 2015-03-03 2019-03-20 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP6275174B2 (ja) 2015-03-10 2018-02-07 キヤノン株式会社 画像処理方法、画像処理装置、および、撮像装置
US10325356B2 (en) 2015-11-30 2019-06-18 Canon Kabushiki Kaisha Image processing device, image processing method, imaging device, and recording medium for exclusively performing adjustment processing or viewpoint change processing

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102783162A (zh) * 2010-03-03 2012-11-14 株式会社尼康 摄像装置
CN102595170A (zh) * 2011-01-06 2012-07-18 索尼公司 图像摄取装置和图像处理方法
CN102682440A (zh) * 2011-02-18 2012-09-19 佳能株式会社 图像处理设备、摄像设备和图像处理方法
CN103002218A (zh) * 2011-09-12 2013-03-27 佳能株式会社 图像处理装置及图像处理方法
US20130155269A1 (en) * 2011-12-16 2013-06-20 Canon Kabushiki Kaisha Image processing apparatus, image processing method, image pickup apparatus, and display device
WO2013105383A1 (en) * 2012-01-13 2013-07-18 Canon Kabushiki Kaisha Image generation method, image generation apparatus, program, and storage medium
CN103327230A (zh) * 2012-03-21 2013-09-25 卡西欧计算机株式会社 摄像装置、图像处理方法
CN103997599A (zh) * 2013-02-14 2014-08-20 佳能株式会社 图像处理设备、图像拾取设备以及图像处理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110858871A (zh) * 2018-08-24 2020-03-03 佳能株式会社 图像处理方法、图像处理装置、成像装置、镜头装置、存储介质、以及图像处理系统
US11195257B2 (en) 2018-08-24 2021-12-07 Canon Kabushiki Kaisha Image processing method, image processing apparatus, imaging apparatus, lens apparatus, storage medium, and image processing system
CN110858871B (zh) * 2018-08-24 2021-12-31 佳能株式会社 图像处理方法、图像处理装置、成像装置、镜头装置、存储介质、以及图像处理系统

Also Published As

Publication number Publication date
US20180013951A1 (en) 2018-01-11
US20190098210A1 (en) 2019-03-28
EP3266195A4 (en) 2018-10-03
US10171732B2 (en) 2019-01-01
KR101950689B1 (ko) 2019-02-21
KR20170110108A (ko) 2017-10-10
WO2016139895A1 (en) 2016-09-09
JP2016163220A (ja) 2016-09-05
EP3266195A1 (en) 2018-01-10
JP6486149B2 (ja) 2019-03-20
US10674074B2 (en) 2020-06-02
CN107431755B (zh) 2020-10-30
EP3266195B1 (en) 2021-04-07

Similar Documents

Publication Publication Date Title
CN104184939B (zh) 焦点检测设备及方法、焦点调节设备及方法、和摄像设备
CN104662887B (zh) 图像处理设备、图像处理方法和具有该图像处理设备的摄像设备
CN103997599B (zh) 图像处理设备、图像拾取设备以及图像处理方法
CN106101551B (zh) 图像处理装置、图像处理方法、摄像装置及显示设备
CN107431755A (zh) 图像处理设备、摄像设备、图像处理方法、程序和存储介质
CN103501405B (zh) 摄像设备
CN107465866A (zh) 图像处理设备及方法、摄像设备和计算机可读存储介质
JP2015144416A (ja) 撮像装置及び撮像装置の制御方法
JP2018121235A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6003578B2 (ja) 画像生成方法及び装置
US20140071322A1 (en) Image pickup apparatus with image pickup device and control method for image pickup apparatus
CN107960120A (zh) 图像处理设备、摄像设备、图像处理方法、程序和存储介质
CN107431754A (zh) 图像处理方法、图像处理装置和摄像设备
CN104954645B (zh) 摄像元件、摄像设备和图像处理方法
CN110312957A (zh) 焦点检测设备、焦点检测方法和焦点检测程序
JP2014036362A (ja) 撮像装置、その制御方法、および制御プログラム
JP6168220B2 (ja) 画像生成装置、画像処理装置、画像生成方法及び画像処理プログラム
CN106412532B (zh) 控制设备、摄像设备和控制方法
JP7150785B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、記憶媒体
JP2017201810A (ja) 撮像装置及び撮像方法
JP6569769B2 (ja) 任意視点画像合成方法及び画像処理装置
JP2018022984A (ja) 画像処理装置及びその制御方法、プログラム並びに撮像装置
JP6817855B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN105939471B (zh) 图像处理装置、摄像装置以及图像处理方法
JP2019092215A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant