CN110602350B - 图像处理设备及方法、摄像设备、镜头设备和存储介质 - Google Patents

图像处理设备及方法、摄像设备、镜头设备和存储介质 Download PDF

Info

Publication number
CN110602350B
CN110602350B CN201910509333.XA CN201910509333A CN110602350B CN 110602350 B CN110602350 B CN 110602350B CN 201910509333 A CN201910509333 A CN 201910509333A CN 110602350 B CN110602350 B CN 110602350B
Authority
CN
China
Prior art keywords
information
image
distortion
lens
focal length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910509333.XA
Other languages
English (en)
Other versions
CN110602350A (zh
Inventor
白井邦宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN110602350A publication Critical patent/CN110602350A/zh
Application granted granted Critical
Publication of CN110602350B publication Critical patent/CN110602350B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611Correction of chromatic aberration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种图像处理设备及方法、摄像设备、镜头设备和存储介质。提供一种用于例如在校正图像中的失真的情况下生成高质量图像的设备。该设备包括:获取单元,其被配置为获取与用于对通过拍摄由镜头形成的光学图像而获取到的图像的失真进行校正的校正值有关的第一信息和用于对由失真的校正引起的视角的改变进行校正的第二信息;以及处理单元,其被配置为生成使用第一信息和第二信息校正了失真的图像。

Description

图像处理设备及方法、摄像设备、镜头设备和存储介质
技术领域
本发明涉及一种用于校正由摄像光学系统引起的图像像差的技术。
背景技术
由诸如数字照相机等的摄像设备拍摄的图像的质量可能由于安装到该摄像设备的摄像光学系统的像差而劣化。期望摄像光学系统的镜头满足“被摄体和由镜头形成的光学图像在图中类似”的理想条件,但是在实践中由于镜头的失真而难以满足理想条件。失真是导致被摄体的光学图像出现失真的像差。例如,导致光学图像在沿对角线方向扩展的形状中失真的像差被称为枕形(pincushion)失真,而导致光学图像在沿对角线方向缩小的形状中失真的像差被称为桶形(barrel)失真。
在用于电子地校正拍摄图像中的这种失真的典型技术中,根据失真量对各图像高度调整图像的大小。日本特开2014-127773讨论了进行几何变形处理以校正失真的这种技术的示例。特别地,日本特开2014-127773讨论了判断几何变形处理所需的参考区域是否适合于摄像区域内部的技术。如果参考区域不适合于摄像区域内部,则针对参考区域的偏移量设置上限值以使得参考区域适合于摄像区域内部。然后,使用基于上限值的参数进行几何变形处理。另一方面,期望从摄像设备输出的图像包括预设数量的输出像素,以便经常对经受了失真校正的图像进行调整大小处理,从而使得输出像素数被调整为针对摄像设备所设置的预设的输出像素数。然而,在例如运动图像拍摄期间聚焦位置经常改变,并且聚焦位置的改变引起失真量改变。因此,如果对经受了失真校正的图像进行调整大小处理,则可能在被摄体图像的大小改变的状态下获得运动图像。这也适用于在改变聚焦位置的同时连续拍摄静止图像的情况。在这种情况下,如果不断地从经受了失真校正的图像中切出针对摄像设备所设置的预设输出像素数的图像,则防止被摄体图像的大小改变。
然而,在例如像枕形失真的校正中那样进行几何变换以缩小图像的情况下,输出图像可能包括没有图像数据的空白区域(枕形失真的校正可能导致在对角线方向的四个角中的每一个处都没有数据)。在上述的日本特开2014-127773讨论的技术中,如果几何变换处理所需的参考区域不适合于摄像区域内部,则进行校正,使得参考区域适合于摄像区域内部。这使得能够在一定程度上防止产生空白区域。然而,根据条件,可能频繁发生无法校正失真的情况。因此,在使用传统技术的一些情况下,不能获得充分校正了失真的高质量图像。
发明内容
根据本发明的一个方面,一种图像处理设备包括至少一个处理器以及包含指令的存储器,其中所述指令在由处理器执行时使得至少一个处理器获取与用于对通过拍摄由镜头形成的光学图像而获取到的图像的失真进行校正的校正值有关的第一信息和用于对由失真的校正引起的视角的改变进行校正的第二信息,并且生成使用第一信息和第二信息校正了所述失真的图像。
根据本发明的一个方面,一种图像处理设备,包括:获取单元,其被配置为获取与用于对通过拍摄由镜头形成的光学图像而获取到的图像的失真进行校正的校正值有关的第一信息和用于对由所述失真的校正所引起的视角的改变进行校正的第二信息;以及处理单元,其被配置为生成使用所述第一信息和所述第二信息校正了所述失真的图像。
根据本发明的一个方面,一种摄像设备,包括:摄像单元,其被配置为拍摄经由镜头设备形成的光学图像并生成图像;获取单元,其被配置为获取与用于对由所述摄像单元生成的图像的失真进行校正的校正值有关的第一信息和用于对由所述失真的校正引起的视角的改变进行校正的第二信息;以及处理单元,其被配置为生成使用所述第一信息和所述第二信息校正了所述失真的图像。
根据本发明的一个方面,一种镜头设备,其相对于摄像设备是能够安装和能够拆卸的,所述镜头设备包括:存储单元,其被配置为存储与用于对由所述镜头设备引起的失真进行校正的校正值有关的第一信息和用于对由所述失真的校正引起的视角的改变进行校正的第二信息;以及通信单元,其被配置为将所述第一信息和所述第二信息通信至所述摄像设备。
根据本发明的一个方面,一种图像处理设备所执行的图像处理方法,所述图像处理方法包括:获取与用于对通过拍摄由镜头形成的光学图像而获取到的图像的失真进行校正的校正值有关的第一信息和用于对由所述失真的校正所引起的视角的改变进行校正的第二信息;以及生成使用所述第一信息和所述第二信息校正了所述失真的图像。
根据本发明的一个方面,一种非暂时性计算机可读存储介质,其上存储有程序,当所述程序由计算机执行时使所述计算机进行:获取与用于对通过拍摄由镜头形成的光学图像而获取到的图像的失真进行校正的校正值有关的第一信息和用于对由所述失真的校正所引起的视角的改变进行校正的第二信息;以及生成使用所述第一信息和所述第二信息校正了所述失真的图像。
根据以下参考附图对典型实施例的说明,本发明的其它特征将变得显而易见。
附图说明
图1示出根据典型实施例的摄像设备和镜头设备的结构的示例。
图2是示出根据第一典型实施例的校正值的计算处理的流程图。
图3示出对桶形失真的校正。
图4示出对枕形失真的校正。
图5示出对运动图像中的桶形失真的校正。
图6示出对运动图像中的枕形失真的校正。
图7A和7B示出根据第一典型实施例的数据格式的示例。
图8是示出根据第一典型实施例的放大率的计算处理的流程图。
图9示出根据第二典型实施例的运动图像模式下的摄像区域。
图10示出失真特性。
图11示出根据第二典型实施例的失真校正的特征。
图12是示出根据第二典型实施例的校正值的计算处理的流程图。
图13A和13B示出根据第二典型实施例的失真的偏移量。
图14A和14B示出根据第二典型实施例的数据格式的示例。
图15示出失真校正菜单的显示的示例。
具体实施方式
下面将参考附图详细来描述本发明的各种典型实施例。
根据本发明的典型实施例的图像处理设备适用于例如被配置为拍摄静止和运动图像的摄像设备,并且能够实现用于减小在例如拍摄运动图像或连续拍摄静止图像时由调焦透镜的驱动引起的视角的改变的失真校正处理。
下面将描述本发明的第一典型实施例。图1是示出作为根据本典型实施例的图像处理设备的应用示例的摄像设备100的示意性结构的框图。根据本典型实施例的摄像设备100是例如包括用于抑制在拍摄运动图像时由调焦透镜的驱动引起的视角的改变的失真校正功能的可更换镜头型数字照相机。虽然可更换镜头型数字照相机被描述为本典型实施例中的摄像设备100的示例,但是摄像设备100可以是镜头一体化的数字照相机。
根据本典型实施例的摄像设备100包括镜头安装件180。镜头安装件180设置有安装机构,镜头设备150使用该安装机构可安装并且可拆卸。在图1所示的示例中,镜头设备150安装到摄像设备100的镜头安装件180。
镜头设备150包括摄像光学系统和控制系统。摄像光学系统包括调焦透镜151、变焦透镜152、光圈153和防振控制透镜154。控制系统控制摄像光学系统和各种信息的发送/接收。镜头设备150的摄像光学系统在摄像设备100的图像传感器102的摄像面上形成被摄体的光学图像。调焦透镜151、变焦透镜152和防振控制透镜154可以是包括多个透镜的透镜组。下面将描述镜头设备150的摄像光学系统、控制系统和其它结构。
快门101是焦平面快门。
快门控制电路110基于来自系统控制电路130的控制信号来控制用于打开或关闭快门101的驱动。
图像传感器102是例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器,并且将由镜头设备150形成的被摄体图像变换为电信号。图像传感器102可以包括用于像面相位差检测的多个焦点检测像素。图像生成电路103将从图像传感器102输出的拍摄的模拟信号变换为数字数据,由此生成拍摄的图像数据。由图像生成电路103生成的拍摄的图像数据被发送到存储器控制电路105和图像处理电路140。
定时生成电路104将时钟信号和同步信号提供给图像传感器102、图像生成电路103、存储器控制电路105、系统控制电路130和图像处理电路140。
在系统控制电路130的控制下,存储器控制电路105控制向存储器107的写入和从存储器107的读取、向记录电路108的写入和从记录电路108的读取、通过使用图像生成电路103的图像的生成和输出、通过使用图像处理电路140的图像的处理和输出以及通过图像显示设备106的图像的显示。例如,从图像生成电路103输出的图像数据经由图像处理电路140和/或存储器控制电路105写入存储器107或记录电路108。存储器控制电路105还在系统控制电路130的控制下控制定时生成电路104,并控制时钟信号和同步信号向各组件的输出。
存储器107存储所拍摄的静止图像数据和运动图像数据。存储器107还用作系统控制电路130的工作区。图像处理电路140进行的图像处理所需的信息可以根据需要预先存储在存储器107中。
记录电路108包括摄像设备100中的内置非易失性存储器或可从摄像设备100拆卸的非易失性存储器,并存储所拍摄的静止图像数据和运动图像数据。
图像显示设备106包括液晶显示器(LCD)。在图像显示设备106用作电子取景器(EVF)的情况下,连续显示使用图像传感器102拍摄的图像数据,由此实现EVF功能。在图像再现中,读取记录在存储器107或记录电路108上的图像并显示在图像显示设备106上。
快门开关111是通过半按下快门按钮而接通的开关SW1。快门开关112是通过完全按下快门按钮而接通的开关SW2。如果开关SW1接通,则系统控制电路130开始控制照相机操作,诸如自动调焦(AF)处理、自动曝光(AE)处理和自动白平衡(AWB)处理等。如果开关SW2接通,则系统控制电路130控制图像传感器102、存储器控制电路105和快门控制电路110,并经由接口(I/F)120控制镜头设备150以开始在摄像设备100中进行摄像。系统控制电路130使图像处理电路140进行图像处理,并使存储器107和/或记录电路108记录图像数据。
照相机操作构件113包括各种按钮、触摸面板和电源接通/断开按钮,并且被配置为接收用户操作并将提供有用户操作的指示(用户指示)输出到系统控制电路130。系统控制电路130基于经由照相机操作构件113接收到的用户指示来切换摄像设备100的各种功能,例如,诸如AF模式和AE模式等的操作模式等。
照相机电源控制电路114管理外部和内置电池。如果电池被拆卸或剩余电池耗尽,则照相机电源控制电路114进行紧急切断作为照相机控制。此时,系统控制电路130还切断对镜头设备150的供电。
I/F 120是用于向镜头设备150发送和从镜头设备150接收各种信息以及控制命令的接口。I/F 120经由连接器190连接到镜头设备150的I/F 170。I/F 120使用电信号在摄像设备100中的系统控制电路130和镜头设备150中的镜头控制电路160之间进行通信。
系统控制电路130从开关SW1和SW2、存储器控制电路105和照相机操作构件113获取信息。系统控制电路130基于所获取到的信息经由I/F 120控制图像传感器102、存储器控制电路105、快门控制电路110和镜头设备150,从而控制整个照相机。
系统控制电路130进行作为AF控制电路131、镜头通信控制电路133和像差校正控制电路132的各种控制和处理。
AF控制电路131进行摄像设备100处的AF处理和AF控制。作为与用户设置的AF模式相对应的AF处理,AF控制电路131基于经由I/F 120从镜头设备150获取到的诸如焦点位置和焦距等的镜头信息以及(后述的)AF评价值来计算调焦透镜驱动量。在根据本典型实施例的摄像设备100的情况下,准备相位差AF模式、对比度AF模式和像面相位差AF模式作为AF模式,并且这些AF模式中的任何一个通过用户选择或自动选择进行设置。在相位差AF模式的情况下,AF控制电路131使用由聚焦状态判断电路(未示出)根据焦点检测传感器(未示出)检测到的相位差检测信号所生成的相位差AF评价值来计算调焦驱动量。在对比度AF模式的情况下,AF控制电路131使用由图像处理电路140所计算的对比度AF评价值来计算调焦驱动量。在像面相位差AF模式的情况下,AF控制电路131使用从针对图像传感器102所设置的多个焦点检测像素输出的摄像面相位差AF评价值来计算调焦透镜驱动量。虽然在本典型实施例中考虑的AF模式是像面相位差AF模式,但是AF模式不限于像面相位差AF模式,并且AF模式可以是相位差AF模式或对比度AF模式,或者可以进行手动调焦。在根据本典型实施例的摄像设备100中,可以从单点AF模式、多点AF模式和面部检测AF模式中自动选择或由用户选择AF评价模式。在单点AF模式下,使用单个AF点来进行AF。在多点AF模式下,使用多个AF点来进行AF。在面部检测AF模式下,聚焦在被摄体的面部。根据所设置的AF评价模式,AF控制电路131还进行控制以改变用于评价值计算的AF框位置。由AF控制电路131计算出的调焦透镜驱动量从镜头通信控制电路133经由I/F 120发送到镜头设备150。
镜头通信控制电路133控制摄像设备100和镜头设备150之间的通信处理。如果镜头通信控制电路133检测到经由I/F 120安装了镜头设备150,则镜头通信控制电路133开始摄像设备100和镜头设备150之间的通信,在期望的定时接收镜头信息,并发送照相机信息和驱动命令。例如,在摄像设备100处于取景器摄像模式的情况下,镜头通信控制电路133在期望的定时与镜头设备150通信。在摄像设备100处于实时取景摄像模式的情况下,除了期望的定时之外,镜头通信控制电路133还可以在基于从定时生成电路104输出的摄像同步信号的定时进行通信。在基于摄像同步信号的定时进行通信的情况下,如果从定时生成电路104输入摄像同步信号,则镜头通信控制电路133总地接收镜头信息(调焦透镜位置、调焦透镜状态、光圈状态、焦距)。
像差校正控制电路132经由I/F 120和镜头通信控制电路133从镜头设备150获取指示与焦点位置和焦距位置相对应的像差量的信息(下文中为“像差校正信息”)。在与镜头设备150有关的像差校正信息被预先存储在存储器107中的情况下,像差校正控制电路132可以从存储器107获取该信息。在本典型实施例中,描述失真校正作为由镜头设备150的摄像光学系统引起的像差的校正的示例。因此,像差校正控制电路132获取失真校正信息。像差校正控制电路132基于所获取到的失真校正信息来计算针对摄像模式的校正量,并且针对图像处理电路140中的调整大小电路141设置失真校正量。
图像处理电路140对从图像生成电路103或从存储器控制电路105获取到的图像数据进行预定像素插值处理和颜色转换处理,并生成图像数据。图像处理电路140可以使用图像数据来进行各种计算处理。图像处理电路140经由I/F 120和系统控制电路130从镜头设备150获取图像倍率改变特性信息和失真特性信息。在图像倍率改变特性信息和失真特性信息被预先存储在存储器107中的情况下,图像处理电路140可以从存储器107获取该信息。图像处理电路140在调整大小电路141处执行基于获取到的信息的像差校正处理。调整大小电路141还进行图像放大/缩小处理,例如如在失真校正中那样对于大小调整率基于图像高度而不同的情况的放大/缩小处理。图像处理电路140可以对从由镜头设备150形成的光学图像产生的拍摄图像以及还对记录在记录电路108中的单独获取到的拍摄图像进行像差校正处理。下面将描述由本典型实施例中的图像处理电路140进行的失真校正处理的细节。
接着,下面将描述镜头设备150的摄像光学系统和控制系统以及其它结构。如上所述,镜头设备150的摄像光学系统包括调焦透镜151、变焦透镜152、光圈153和防振控制透镜154。镜头设备150的控制系统包括镜头控制电路160、调焦控制电路155、变焦控制电路156、光圈控制电路157、防振控制电路159和镜头操作构件161。镜头设备150还包括角速度检测电路158、存储器162和I/F 170。
调焦透镜151通过沿光轴方向移动来改变摄像光学系统中的焦点位置。变焦透镜152通过沿光轴方向移动来改变摄像光学系统中的焦距。光圈153包括光圈直径(光圈值)改变机构,并且通过改变光圈直径来改变入射在摄像设备100上的光量。防振控制透镜154通过沿垂直于光轴方向的方向移动来减小由例如握持照相机的手的移动(下文中为“手抖动”)引起的照相机抖动导致的图像模糊。
调焦控制电路155在镜头控制电路160的控制下或者基于经由镜头操作构件161输入的用户指示来驱动调焦透镜151。调焦控制电路155将诸如调焦透镜151的位置等的调焦信息输出到镜头控制电路160。
变焦控制电路156在镜头控制电路160的控制下或者基于经由镜头操作构件161输入的用户指示来驱动变焦透镜152。变焦控制电路156将诸如焦距等的变焦信息输出到镜头控制电路160。
光圈控制电路157在镜头控制电路160的控制下或者基于经由镜头操作构件161输入的用户指示来驱动光圈153。光圈控制电路157将诸如光圈值等的光圈信息输出到镜头控制电路160。
角速度检测电路158在镜头控制电路160的控制下,检测通过手抖动、平摇或倾斜使镜头设备150移动时的角速度(横摆和俯仰方向上的角速度),并且将检测到的角速度输出到镜头控制电路160。
防振控制电路159在镜头控制电路160的控制下驱动防振控制透镜154。防振控制电路159将诸如可能防振范围等的防振信息输出到镜头控制电路160。
镜头控制电路160基于经由镜头操作构件161提供的用户指示或者经由I/F 170来自摄像设备100的命令来控制调焦控制电路155、变焦控制电路156、光圈控制电路157、角速度检测电路158和防振控制电路159。例如,如果从摄像设备100发送镜头信息获取命令,则镜头控制电路160将从控制电路或检测电路获取到的信息经由I/F 170发送到摄像设备100。镜头控制电路160基于调焦信息和变焦信息来计算在调焦透镜151的可驱动范围内的可能最大焦距和在调焦透镜151的当前位置处的焦距改变率。镜头控制电路160将例如与最大焦距和焦距改变率的计算结果有关的信息作为对来自摄像设备100的请求的响应经由I/F 170发送到摄像设备100。
镜头操作构件161包括例如调焦操作环、变焦操作环、自动调焦/手动调焦(AF/MF)开关和图像稳定器(IS)(防振)接通/断开开关,并且如果用户操作它们中的任何一个,则操作信息作为用户指示输出到镜头控制电路160。此时的镜头控制电路160将从镜头操作构件161输入的用户操作信息经由I/F 170发送到摄像设备100。在这种情况下,摄像设备100的系统控制电路130基于经由I/F 120接收到的用户操作信息来改变针对镜头设备150的各种功能的操作模式。
存储器162是镜头设备150的内部存储器,并存储用于控制系统的控制的信息和与各镜头设备有关的各个信息。与各镜头设备有关的各个信息包括各种信息,并且其示例包括与镜头设备150有关的各种光学特性信息。各种光学特性信息包括镜头设备150中的图像倍率改变特性信息和失真特性信息。
如果镜头设备150安装到镜头安装件180,则I/F 170经由连接器190连接到摄像设备100的I/F 120。然后,I/F 170经由连接器190和I/F 120来进行使用在摄像设备100的系统控制电路130和镜头设备150的镜头控制电路160之间的电信号的通信。
<用于失真像差校正的结构和处理的说明>
根据本典型实施例的摄像设备100能够使用与用于校正由镜头设备150引起的失真的校正值有关的第一信息和用于减小由失真的校正引起的视角的改变的第二信息来生成失真被校正的图像。
图2是示出根据本典型实施例的摄像设备100抑制在焦点位置改变时(在焦点改变时)视角改变的同时实现失真的校正的失真校正值计算处理的流程图。
在描述图2所示的流程图之前,为了便于理解根据本典型实施例的失真校正,下面将参考图3至图6描述典型的失真校正处理及其问题。
图3示出通常的桶形失真的校正处理。在图3中,图像300示出桶形失真校正之前的图像的示例。在图3所示的示例中,仅将面部显示为被摄体,从而难以识别源自镜头的桶形失真的影响。然而,在例如包括直线的被摄体在图像中的情况下,在失真校正之前的图像中直线部分出现失真。图像301示出在对图像300进行基于镜头特性的桶形失真校正之后的图像。由于桶形失真是引起沿对角线方向的部分缩小的失真的像差,因此进行桶形失真校正,使得图像沿对角线方向扩展。通常,随着距轴的距离(下文为“图像高度”)变大,失真量可能增加,使得桶形失真校正后的图像301变为四个角特别沿对角线方向被拉扯(即图像沿四个角的方向扩展)这样的图像。在像差校正之后的图像301中的被摄体变为处于由镜头的桶形失真导致的失真被校正的状态。另一方面,最终输出图像需要是诸如正方形或长方形等的矩形图像,以便处理失真校正之后的图像301,使得以尽可能最宽的视角获得图像302(下文中该处理将被称为“最大视角计算处理”)。由于期望通常的摄像设备100中的输出像素数是预定的固定值,因此从通过最大视角计算处理获取到的图像中切出矩形图像304,并且进一步处理该矩形图像304以调整为摄像设备的输出像素数(例如,与图像300相同的像素数)。更具体地,最终输出图像303是通过将从通过桶形失真校正而沿四个角的方向扩展的并且执行了最大视角计算处理的图像中切出的矩形图像304缩小到与原始图像300相同的大小而获得的图像。进行上述一系列处理,由此在抑制视角缺陷的同时生成桶形失真被校正的图像。
接着,下面将参照图4来描述通常的枕形失真的校正处理。在图4中,图像400示出枕形失真校正之前的图像的示例。在图4所示的示例中,与图3相同,仅将面部显示为被摄体,使得难以识别由镜头引起的枕形失真的影响。然而,在被摄体包含直线的情况下,直线部分在失真校正之前的图像中出现失真。图像401示出在对图像400进行基于镜头特性的枕形失真校正之后的图像。由于枕形失真是引起沿对角线方向的部分扩展的失真的像差,因此进行枕形失真校正,使得图像沿对角线方向缩小。此外,同样在枕形失真的情况下,随着图像高度变大,失真量可能增加,使得枕形失真校正之后的图像401变为四个角特别沿对角线方向缩小的这样的图像。在像差校正之后的图像401中的被摄体变为处于由枕形失真引起的失真被校正的状态。与在上述情况相同,在进行枕形像差校正的情况下,最终输出图像需要是诸如长方形等的矩形图像,使得像差校正之后的图像401经受最大视角计算处理,从而使得以尽可能最宽的视角获得图像402。然后,从进行了最大视角计算处理之后获取到的图像中切出矩形图像404,并且处理矩形图像404以调整为摄像设备100的输出像素数(与图像400相同大小)。更具体地,最终输出图像403是通过将从通过枕形失真校正而沿四个角的方向缩小的并且执行了最大视角计算处理的图像中切出的矩形图像404放大到与原始图像400相同的大小而获得的图像。进行上述一系列处理,由此生成在减小视角缺陷的同时枕形失真被校正的图像。
虽然上面描述了通常的失真校正方法,但是在对例如运动图像进行摄像的情况下,如果对运动图像进行失真校正,则出现在画面中心的被摄体的大小可能根据失真校正量而改变。在上面参考图3和图4描述的失真校正方法中,从作为最大视角计算处理的结果获取到的图像中切出的矩形图像在通过切出该矩形图像生成最终输出图像时基于失真校正量而被放大(在图3的情况下)或缩小(在图4的情况下)。因此,如果在对运动图像摄像的同时移动聚焦位置,则失真量根据移动后的聚焦位置而改变,并且用于校正的校正量改变。换句话说,在运动图像的摄像期间仅移动聚焦位置改变了在获取最终输出图像时的放大率或缩小率,因此可能获得画面中心的被摄体的大小改变的低质量运动图像。
用于解决这些问题的可能方法的示例是不进行上述最大视角计算处理。下面将参考图5描述该方法。图5示出进行桶形失真校正处理的情况下的示例。在图5中,与图3中的图像300同样地,图像500是桶形失真校正之前的图像的示例,而与图3中的图像301同样地,图像501是桶形失真校正之后的图像的示例。在该示例中,在不进行上述最大视角计算处理的情况下,从桶形失真校正之后的图像501中切出具有与原始图像500相同大小的矩形图像504,并且输出切出的矩形图像504作为最终输出图像503。换句话说,输出图像503是未进行如上所述的调整大小处理以缩小矩形图像504而获取到的图像。该处理使得能够在不改变图像的中心处的被摄体的大小的情况下输出图像。因此,即使例如在运动图像的摄像期间聚焦位置改变并且失真量改变,也可以在防止被摄体的中央部的图像的比例改变的同时进行失真校正。
然而,该方法在校正枕形失真的情况下可能引起下面描述的问题。这将在下面参考图6进行描述。在图6中,与图4中的图像400同样地,图像600是枕形失真校正之前的图像的示例,而与图4中的图像401同样地,图像601是枕形失真校正之后的图像的示例。假设如下:在不进行上述最大视角计算处理的情况下,从枕形失真校正之后的图像401中切出具有与原始图像400相同大小的矩形图像。然而,在枕形失真校正中,如上所述进行沿四个角的对角线方向缩小图像的处理,使得要切出与原始图像400相同大小的矩形图像603导致包括空白区域605的图像,即各角落不包括图像的图像。因此,在进行枕形失真校正的情况下,需要进行上述最大视角计算处理,因此如果例如在运动图像的摄像期间聚焦位置改变,则仍然存在如下问题:获得了图像的中央部的比例根据聚焦位置处的失真特性而改变的低质量运动图像。
为了解决这个问题,根据本典型实施例的摄像设备100进行图2中的流程图所示的失真校正值计算处理,由此在抑制当焦点位置改变时(当焦点改变时)视角的改变的同时实现失真校正。图2中的流程图所示的处理由摄像设备100的系统控制电路130执行。流程图中所示的处理可以通过硬件结构或软件结构基于由中央处理单元(CPU)执行的程序来实现,或处理的一部分可以通过硬件结构实现而其余部分通过软件结构实现。由CPU执行的程序可以存储在例如非易失性存储器(诸如记录电路108等)中,或者可以从外部存储器或经由网络(未示出)获取。这同样适用于稍后描述的其它流程图。
在步骤S201中,系统控制电路130的镜头通信控制电路133经由I/F 170从镜头设备150获取安装到镜头安装件180的镜头的失真校正中的特征信息的标志。如本文所使用的,术语“标志”指的是判断安装的镜头设备150是否是支持运动图像失真校正的镜头所基于的信息。由于失真校正涉及视角变换,因此需要校正诸如运动图像等的按时间顺序改变的图像,使得连续的帧图像平滑地连接。另一方面,一些镜头设备可能具有不够精确的调焦控制值和变焦控制值。在这种镜头设备的情况下,如果对拍摄的运动图像的帧进行失真校正,则如上所述在切换变焦控制值或调焦控制值时,校正量快速改变,并且运动图像的视角快速改变,使得运动图像的质量降低。因此,仅需要针对具有即使在对运动图像摄像时也足以进行失真校正的精确变焦/调焦控制值的镜头设备150添加标志。期望将该标志预先记录在镜头设备150的存储器162中或者在下面描述的失真校正数据中。
接着,在步骤S202中,系统控制电路130的像差校正控制电路132判断当前摄像模式是运动图像模式还是静止图像模式。在静止图像的情况下,视角的微小时间改变不太可能打扰用户太多。因此,如果像差校正控制电路132判断为当前摄像模式是静止图像模式(步骤S202中为“是”),则处理进入步骤S203,并且像差校正控制电路132如上所述参考图3来计算最大视角。然而,在通过连续摄像获得静止图像的情况下,在某些情况下,即使在静止图像模式下也期望减小视角的改变。因此,如果在连续摄像静止图像的情况下期望减小视角的改变,则像差校正控制电路132可以判断为当前摄像模式是运动图像模式。在步骤S202中,如果像差校正控制电路132判断当前摄像模式是运动图像模式(步骤S202中为“否”),则处理进入步骤S204。
在步骤S204中,像差校正控制电路132判断所安装的镜头设备150是否支持运动图像失真校正。基于在步骤S201中获取到的标志信息来进行步骤S204中的判断。如果将失真校正应用于使用不支持运动图像失真校正的镜头设备150所拍摄的运动图像,则如上所述可能无法确保运动图像的质量,因此需要向用户提供其通知。因此,如果像差校正控制电路132判断为镜头设备150不支持运动图像失真校正(步骤S204中为“否”),则处理进入步骤S205,并且通过例如在图像显示设备106上显示警告来向用户提供可能无法确保运动图像的质量的通知。用于用户通知的方法的示例包括在图像显示设备106上显示指示不应用失真校正的图标的方法以及如图15所示失真校正菜单被设置为不可选择的方法。图15示出在图像显示设备106的画面上显示的失真校正菜单的示例,并且通常可选择的菜单项“执行(ON)”和“不执行(OFF)”失真校正被设置为不可选择。在下一步骤S206中,像差校正控制电路132设置用以强制禁用失真校正的参数。
即使对于支持运动图像失真校正的镜头,如果如上所述进行最大视角计算处理,则视角也基于聚焦改变时的焦点位置而改变,从而使得需要在不计算最大视角的情况下计算失真校正值。因此,在步骤S204中,如果像差校正控制电路132判断为镜头设备150是支持运动图像失真校正的镜头(步骤S204中为“是”),则在步骤S207中,像差校正控制电路132在不计算最大视角的情况下计算失真校正值。在省略最大视角的计算的情况下,如上所述,如果进行枕形失真校正,则像素的数量变得小于原始大小,并且在周边部分处形成空白区域。
因此,如果镜头设备150是引起枕形失真的镜头,则在步骤S208中,像差校正控制电路132指示图像处理电路140进行放大处理并控制,以防止在周边部分中形成空白区域。换句话说,图像处理电路140进行放大处理,从而将不包含图像的空白区域移动到上述矩形图像的外部。以这种方式,获取具有与原始图像相同的大小并且在周边部分中也包含图像的矩形图像。图像处理电路140的放大处理的放大率可以被设置为统一放大率,或者可以预先存储在镜头设备150的存储器162中。
根据诸如焦距等的条件,可能存在基本上不发生枕形失真的情况,因此如果设置统一放大率,则即使在基本上不发生枕形失真的情况下,也统一地进行放大处理,这可能会劣化图像质量。为了解决这个问题,例如,使用图7A和图7B中所示的数据以及图8中所示的流程图,针对各焦距改变放大率,从而抑制由放大处理引起的质量劣化。
图7A示出用于预先保持焦距的放大率的数据格式的示例。在图7A中,存储区域701是用于存储失真校正数据的区域。存储区域701中的失真校正数据共通地用于运动图像和静止图像,从而在不进行改变的情况下存储关于镜头设备150的光学特性信息。具体地,针对焦距、聚焦位置和图像高度的值的各组合,预先准备并存储失真校正数据。如果焦距和聚焦位置中的至少一个改变,则用于校正的失真校正数据改变。存储区域702是将在步骤S208中获取的放大率信息存储为表的区域。
图7B示出存储在存储区域702中的表的示例,并且指定镜头设备150的可能焦距和与各个焦距相对应的放大率的值之间的对应关系。在图7B所示的表中,记录与焦距Z01至Z07相对应的并且枕形失真校正中所需的放大率的值。在图7B所示的示例的情况下,与焦距Z01至Z03相对应的放大率均被设置为1。这指示焦距Z01至Z03的区域不需要扩大,因为这些区域基本上不包含枕形失真。另一方面,与焦距Z04至Z07相对应的放大率被设置成按此顺序逐渐增大。这指示枕形像差量在焦距Z04至Z07的区域中按此顺序逐渐增大。如上所述,枕形像差量即使由于聚焦位置移动而改变,但是图7B所示的表也不与聚焦位置相对应而仅与焦距相对应。这是因为记录在表中的针对焦距Z04至Z07各自的放大率均是基于在相应焦距处枕形像差量达到最大量时的聚焦位置来设置的。因此,根据记录在表中的放大率来放大失真校正之后的图像,使得无论聚焦位置设置在何处,都不形成图6中所示的空白区域605。
可选地,代替图7B中所示的表,可以准备记录与焦距和聚焦位置的组合相对应的放大率的表,并且已经接收到表数据的摄像设备100可以选择对于各焦距最大的放大率。
如图7B所示,放大率根据焦距可变,并且放大率的改变通常远小于因焦距的改变而引起的视角的改变。因此,放大率的改变被埋藏在因焦距的改变而引起的视角的改变中,因此在改变焦距时的放大率的改变不存在问题。期望将图7B中的表数据记录在镜头设备150的存储器162中。可以根据需要将表数据传送到摄像设备100的存储器107并使用该表数据。
图8是示出摄像设备100的像差校正控制电路132使用图7B中所示的表来计算放大率的处理的流程图。
在步骤S801中,像差校正控制电路132经由镜头通信控制电路133获取从镜头设备150发送的当前焦距信息。
接着,在步骤S802中,像差校正控制电路132使用以上参考图7A和图7B所述的存储区域702中的表来参考与在步骤S801中获取到的焦距相对应的放大率。如果与放大率有关的数据不是针对镜头设备150的每个可能焦距准备并且被记录为焦距的间隔剔除数据,则像差校正控制电路132通过例如线性插值来计算与所需的焦距相对应的放大率。
然后,像差校正控制电路132以如下方式控制图像处理电路140:基于如上所述获取到的放大率和图7A中的存储区域701中的失真校正数据来进行失真校正和放大处理。
以这种方式,根据本典型实施例的摄像设备100使得能够在运动图像的摄像期间抑制由焦点改变引起的视角改变的同时校正失真。
下面将描述第二典型实施例。根据第二典型实施例的结构与图1中的结构相同,因此省略其图示。在第二典型实施例中,代替如上参考图7B所述的指定焦距和放大率之间的对应关系的表,使用用于指定焦距和失真校正量的偏移量之间的对应关系的表。
下面将参考图9至图11来描述如上面在第一典型实施例中所述的在使用与焦距相对应的放大率的情况下可能出现的问题。在使用放大率的情况下可能出现的问题的示例是各运动图像模式需要不同的放大量。更具体地,图像传感器102的读取区域可能根据摄像设备100的运动图像模式而变化,并且在这种情况下可能出现问题。
例如,图9中的区域901指示图像传感器102的图像可拍摄区域。包括静止图像模式和运动图像模式两者的摄像设备基本上以静止图像模式所需的区域变为图像传感器的区域901的方式设计。在利用摄像设备拍摄运动图像的情况下,尽管期望根据从与用于静止图像模式的区域同样的区域读取的数据来生成运动图像,但是由于在生成运动图像时每秒需要读取至少30帧,因此生成这样的运动图像在处理能力方面经常是困难的。因此,通常,通过在区域901上进行例如水平/垂直间隔剔除或添加来减少像素数,并且生成运动图像,由此减少摄像设备的运动图像模式中的处理负荷。进行间隔剔除或添加的运动图像根据间隔剔除或添加的量而可能遭受图像质量的各种劣化(诸如摩尔纹和分辨感的下降等)。因此,准备作为摄像设备的运动图像模式的模式,其中在该模式中,要从图像传感器102读取的区域被限制为由图9中的区域902所指定,并且在不进行间隔剔除或添加的情况下生成运动图像(该模式将被称为“裁切读取模式”)。在裁切读取模式中,要从图像传感器102读取的区域受到限制,从而降低了处理负荷,并且由于不进行间隔剔除和添加,因此降低了图像质量的劣化(诸如摩尔纹和分辨感的下降等)。
然而,存在这样的情况:裁切读取模式下的图像传感器102中的摄像区域与其它模式下的摄像区域不同。这将在下面参考图10和11进行描述。
首先,下面将参考图10来描述一般失真校正数据。图10是示出图像高度和失真校正值之间的关系的曲线图。在图10中,纵轴的正方向表示枕形失真校正值,并且枕形失真校正值的数值越大指示要校正的枕形失真量越大。纵轴的负方向表示桶形失真校正值,并且桶形失真校正值的数值越小指示要校正的桶形失真量越大。换句话说,在图10中的失真校正中,作为正数值的校正值指示要校正的图像以便沿对角线方向缩小,而作为负数值的校正值指示要校正的图像以便沿对角线方向扩展。
接着,下面将参考图11来描述在上述第一典型实施例中可能被认为问题的失真校正的形状。在图11中,与图10中相同,纵轴的正方向表示枕形失真校正值,而纵轴的负方向表示桶形失真校正值。在图11中作为示例指定的校正值的情况下,针对低图像高度指示用于枕形失真校正的校正,而针对高图像高度指示用于桶形失真校正的校正。在图11中,图像高度a指定图9中的区域902的最大图像高度,而图像高度b指定图9中的区域901(图像可拍摄区域)的最大图像高度。
在上述第一典型实施例中,在对图9中的区域901进行失真校正的情况下的放大率作为枕形失真校正中的放大率被存储在图7A的存储区域702中。因此,例如,在使用图9中的区域902的裁切读取模式下进行失真校正的情况下,所需的放大量大于区域901,因此区域901所需的放大率不足并且可能输出包含空白区域的图像。在与图7A中的存储区域701和702有关的数据存储在镜头设备150的存储器162中的情况下,难以将该数据存储为针对镜头设备150安装至的各种类型的摄像设备100的每个运动图像模式所准备的数据。因此,存在如下情况:使用存储在镜头设备150的存储器162中的数据,在摄像设备100中在失真校正之后无法生成高质量图像。
因此,根据第二典型实施例的摄像设备100进行图12中的流程图所示的失真校正值计算处理。图12的流程图中的步骤S1201至S1207中的处理与图2中的步骤S201至S207中的处理相同,因此省略其说明。第二典型实施例与第一典型实施例的不同之处在于计算失真校正值的偏移量而不是计算第一典型实施例中的放大率。
下面将参考图13A来描述失真校正值的偏移量。如上参考图11所述,图13A是示出在第一典型实施例的情况下出现问题的失真校正的特性的曲线图。在图13A所示的特性中,图像高度x是枕形失真量变为最大的图像高度,而校正值DistMax是与图像高度x相对应的校正值。根据第二典型实施例的校正值的偏移量由校正值DistMax指示。
在图12的步骤S1207中,在不计算最大视角的情况下计算失真校正值,然后在步骤S1208中,像差校正控制电路132经由镜头通信控制电路133从镜头设备150获取失真校正值的偏移量。
在下一步骤S1209中,像差校正控制电路132将失真校正值偏移在步骤S1208中获取到的偏移量。这将在下面参考图13B进行描述。如图13B所示,像差校正控制电路132将失真校正值偏移图13A中指定的偏移量,由此将该值变换为实际上不需要枕形失真校正(即不需要失真校正之后的放大)的参数。图13A示出图像高度为零(即原点)处的被摄体图像被确定为不被移动的基准点的情况下的像差校正的特性,而图13B示出在图像高度x的位置处的被摄体图像被确定为不被移动的基准点的情况下的像差校正的特性。
接着,下面将参考图14A和图14B来描述根据第二典型实施例的用于保持与焦距的校正值的偏移量有关的数据的方法。
图14A示出用于保持焦距的校正值的偏移量的数据格式的示例。在图14A中,存储区域1401用于存储失真校正数据。如在图7A的存储区域702中,存储在存储区域1401中的失真校正数据共通地用于运动图像和静止图像,从而在光学特性信息未改变的情况下存储关于镜头设备150的光学特性信息。存储区域1402是在表中存储与在步骤S1208中获取到的用于校正值的偏移量有关的信息的区域。如图7A的情况那样,期望用于校正值的偏移量与存储区域1401中的失真校正数据相关联地存储。
图14B示出存储在存储区域1402中的表的示例,并且指定镜头设备150的可能焦距与对应于各个焦距的校正值的偏移量之间的对应关系。在图14B所示的表中,在镜头设备150中可设置的焦距Z01至Z07处,记录在使聚焦位置从最近位置朝向无限远改变的情况下的校正值的偏移量的最大值。在例如目标焦距的失真特性是桶形像差的情况下,由于没有出现上述问题,因此不需要使校正值偏移,并记录值“0”作为偏移量的值。换句话说,图14B示出在焦距Z01至Z03处的特性是桶形失真的示例。另一方面,校正值的偏移量从焦距Z04至焦距Z07逐步增加。具体地,在焦距Z04至Z07的区域中偏移量的值以这样的顺序逐步增加,以使校正值偏移。根据本典型实施例,图14B所示的表不与聚焦位置相对应而是仅与焦距相对应,因为针对焦距Z04至Z07记录在表中的偏移量各自是基于在各焦距处枕形像差量达到最大量时的聚焦位置来设置的。
可选地,代替图14B中所示的表,可以准备记录与焦距和聚焦位置的组合相对应的偏移量的表,并且已经接收到表数据的摄像设备100可以选择对于各焦距最大的偏移量。
在第二典型实施例的情况下,如在第一典型实施例中那样,可以将表数据记录在镜头设备150的存储器162中,并且可以在必要的定时读取偏移量,并且可以将所读取的偏移量的通知发送到摄像设备100。可选地,当镜头设备150安装到摄像设备100时,可以将表数据发送到摄像设备100。
尽管在第二典型实施例中描述了准备偏移量的值(参数)的示例,但是本典型实施例不限于该示例。如果存在额外的计算时间,则可以每次根据存储在存储区域1401中的失真校正数据来计算焦距处最大的偏移量。
如上所述,第二典型实施例也能够在与摄像设备的模式无关地抑制在焦点改变的情况下的视角的改变的同时进行失真校正(例如对运动图像进行失真校正)。
<其它典型实施例>
尽管在上述典型实施例中将数字照相机描述为摄像设备100的示例,但是应用不限于该示例,并且本发明也可适用于其它摄像设备。例如,本典型实施例也可适用于诸如设置有能够拍摄静止图像和运动图像的照相机功能的智能电话和平板终端等的各种移动终端以及各种监视照相机、工业照相机、汽车照相机和医疗照相机。
其它实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已经参考典型实施例描述了本发明,但是应该理解,本公开不限于所公开的典型实施例。所附权利要求的范围应被赋予最广泛的解释,以包含所有这些修改和等同的结构和功能。

Claims (29)

1.一种图像处理设备,包括:
获取单元,其被配置为获取与用于对通过拍摄由镜头形成的光学图像而获取到的图像的失真进行校正的校正值有关的第一信息和用于对由所述失真的校正所引起的视角的改变进行校正的第二信息;以及
处理单元,其被配置为生成使用所述第一信息和所述第二信息校正了所述失真的图像,
其中,
所述第一信息包括与所述镜头的焦距和聚焦位置的各个组合相对应的信息,以及
所述第二信息包括不与所述镜头的聚焦位置相对应而是与所述镜头的各个焦距相对应的信息。
2.根据权利要求1所述的图像处理设备,其中,与所述镜头的各个焦距相对应的信息包括基于在焦距中的相应焦距处枕形像差量变得最大的聚焦位置的信息。
3.根据权利要求1所述的图像处理设备,其中,所述处理单元从所述第一信息中选择与在拍摄到作为失真校正对象的图像时的所述镜头的焦距和聚焦位置的组合相对应的信息,并且从所述第二信息中选择与在拍摄到作为失真校正对象的图像时的所述镜头的焦距相对应的信息。
4.根据权利要求1所述的图像处理设备,其中,
所述第一信息和所述第二信息是针对所述镜头的焦距和聚焦位置的各个组合而提供的,以及
所述处理单元从所述第一信息中选择与在拍摄到作为失真校正对象的图像时的所述镜头的焦距和聚焦位置的组合相对应的信息,并且从所述第二信息中选择与在拍摄到作为失真校正对象的图像时的所述镜头的焦距相对应的信息。
5.根据权利要求4所述的图像处理设备,其中,所述处理单元针对所述镜头的各个焦距选择并使用与枕形像差量变为最大的聚焦位置相对应的信息。
6.根据权利要求1所述的图像处理设备,其中,所述处理单元使用所述第一信息来对拍摄图像的失真进行校正,并且基于所述第二信息来放大校正了所述失真的图像。
7.根据权利要求6所述的图像处理设备,其中,所述处理单元在所述失真是桶形失真的情况下不放大校正了所述失真的图像,以及在所述失真是枕形失真的情况下放大校正了所述失真的图像。
8.根据权利要求6所述的图像处理设备,其中,所述处理单元在所述镜头的焦距是第一焦距的情况下不放大校正了所述失真的图像,以及在所述镜头的焦距是与所述第一焦距不同的第二焦距的情况下放大校正了所述失真的图像。
9.根据权利要求1所述的图像处理设备,其中,
所述第一信息包括失真校正值,以及所述第二信息包括指示所述失真校正值的偏移量的信息;以及
所述处理单元通过将由所述第一信息指示的失真校正值改变由所述第二信息指示的偏移量来确定新的失真校正值,并且生成使用所述新的失真校正值校正所述失真的图像。
10.根据权利要求9所述的图像处理设备,其中,所述处理单元在所述失真不包括枕形失真的情况下不改变由所述第一信息指示的失真校正值,以及在所述失真包括枕形失真的情况下将由所述第一信息指示的失真校正值改变由所述第二信息指示的偏移量。
11.根据权利要求9所述的图像处理设备,其中,所述处理单元在所述镜头的焦距是第一焦距的情况下不改变由所述第一信息指示的失真校正值,以及在所述镜头的焦距是与所述第一焦距不同的第二焦距的情况下,将由所述第一信息指示的失真校正值改变由所述第二信息指示的偏移量。
12.根据权利要求11所述的图像处理设备,其中,由所述第二信息指示的偏移量是用于以如下的方式来改变由所述第一信息指示的失真校正值的值:在每个图像高度处,消除用于沿对角线方向缩小校正了所述失真的图像的校正值。
13.根据权利要求1所述的图像处理设备,其中,在拍摄图像是静止图像的情况下,所述处理单元生成在不使用所述第二信息的状态下使用所述第一信息校正了所述失真的图像。
14.根据权利要求1所述的图像处理设备,其中,在所述获取单元无法获取到与所述第二信息相对应的信息的情况下,所述处理单元生成在不使用所述第二信息的状态下使用所述第一信息校正了所述失真的图像。
15.根据权利要求14所述的图像处理设备,其中,所述处理单元基于标志信息来判断所述获取单元是否能够获取到与所述第二信息相对应的信息。
16.根据权利要求14所述的图像处理设备,其中,所述处理单元在生成在不使用所述第二信息的状态下使用所述第一信息校正了所述失真的图像时进行预定通知。
17.根据权利要求1所述的图像处理设备,其中,所述处理单元从安装到安装机构的镜头设备获取所述第一信息和所述第二信息,所述镜头设备相对于所述安装机构是能够拆卸或能够安装的,所述镜头设备包括所述镜头。
18.一种摄像设备,包括:
摄像单元,其被配置为拍摄经由镜头形成的光学图像并生成图像;
获取单元,其被配置为获取与用于对由所述摄像单元生成的图像的失真进行校正的校正值有关的第一信息和用于对由所述失真的校正引起的视角的改变进行校正的第二信息;以及
处理单元,其被配置为生成使用所述第一信息和所述第二信息校正了所述失真的图像,
其中,
所述第一信息包括与所述镜头的焦距和聚焦位置的各个组合相对应的信息,以及
所述第二信息包括不与所述镜头的聚焦位置相对应而是与所述镜头的各个焦距相对应的信息。
19.一种镜头设备,其相对于摄像设备是能够安装和能够拆卸的,所述镜头设备包括:
存储单元,其被配置为存储与用于对由所述镜头设备引起的失真进行校正的校正值有关的第一信息和用于对由所述失真的校正引起的视角的改变进行校正的第二信息;以及
通信单元,其被配置为将所述第一信息和所述第二信息通信至所述摄像设备,
其中,
所述第一信息包括与所述镜头设备的焦距和聚焦位置的各个组合有关的信息,以及
所述第二信息包括不与所述镜头设备的聚焦位置相对应而是与所述镜头设备的焦距相对应的信息。
20.根据权利要求19所述的镜头设备,其中,与所述镜头设备的各个焦距相对应的信息是基于在焦距中的相应焦距处枕形像差量变为最大的聚焦位置的信息。
21.根据权利要求19所述的镜头设备,其中,
所述第一信息包括用于校正所述失真的校正值,以及
所述第二信息包括图像放大率。
22.根据权利要求21所述的镜头设备,其中,
在所述镜头设备的焦距是第一焦距的情况下,由所述第二信息指示的图像放大率为1,以及
在所述镜头设备的焦距是与所述第一焦距不同的第二焦距的情况下,由所述第二信息指示的图像放大率大于1。
23.根据权利要求22所述的镜头设备,其中,
所述第一焦距是由所述镜头设备引起的失真不包括枕形失真的焦距,以及
所述第二焦距是由所述镜头设备引起的失真包括枕形失真的焦距。
24.根据权利要求19所述的镜头设备,其中,
所述第一信息是用于校正所述失真的校正值,以及
所述第二信息是所述校正值的偏移量。
25.根据权利要求24所述的镜头设备,其中,
在所述镜头设备的焦距是第一焦距的情况下,由所述第二信息指示的偏移量为零,以及
在所述镜头设备的焦距是与所述第一焦距不同的第二焦距的情况下,由所述第二信息指示的偏移量是除零之外的值。
26.根据权利要求25所述的镜头设备,其中,
所述第一焦距是由所述镜头设备引起的失真不包括枕形失真的焦距,以及
所述第二焦距是由所述镜头设备引起的失真包括枕形失真的焦距。
27.根据权利要求24所述的镜头设备,其中,由所述第二信息指示的偏移量是用于以如下的方式来改变由所述第一信息指示的失真校正值的值:在每个图像高度处,消除用于沿对角线方向缩小校正了所述失真的图像的校正值。
28.一种图像处理设备所执行的图像处理方法,所述图像处理方法包括:
获取与用于对通过拍摄由镜头形成的光学图像而获取到的图像的失真进行校正的校正值有关的第一信息和用于对由所述失真的校正所引起的视角的改变进行校正的第二信息;以及
生成使用所述第一信息和所述第二信息校正了所述失真的图像,
其中,
所述第一信息包括与所述镜头的焦距和聚焦位置的各个组合相对应的信息,以及
所述第二信息包括不与所述镜头的聚焦位置相对应而是与所述镜头的各个焦距相对应的信息。
29.一种非暂时性计算机可读存储介质,其上存储有程序,当所述程序由计算机执行时使所述计算机进行:
获取与用于对通过拍摄由镜头形成的光学图像而获取到的图像的失真进行校正的校正值有关的第一信息和用于对由所述失真的校正所引起的视角的改变进行校正的第二信息;以及
生成使用所述第一信息和所述第二信息校正了所述失真的图像,
其中,
所述第一信息包括与所述镜头的焦距和聚焦位置的各个组合相对应的信息,以及
所述第二信息包括不与所述镜头的聚焦位置相对应而是与所述镜头的各个焦距相对应的信息。
CN201910509333.XA 2018-06-13 2019-06-13 图像处理设备及方法、摄像设备、镜头设备和存储介质 Active CN110602350B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-112753 2018-06-13
JP2018112753A JP7297412B2 (ja) 2018-06-13 2018-06-13 画像処理装置、画像処理方法、およびレンズ装置

Publications (2)

Publication Number Publication Date
CN110602350A CN110602350A (zh) 2019-12-20
CN110602350B true CN110602350B (zh) 2022-10-28

Family

ID=68724874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910509333.XA Active CN110602350B (zh) 2018-06-13 2019-06-13 图像处理设备及方法、摄像设备、镜头设备和存储介质

Country Status (5)

Country Link
US (1) US11415773B2 (zh)
JP (1) JP7297412B2 (zh)
KR (1) KR102531256B1 (zh)
CN (1) CN110602350B (zh)
DE (1) DE102019113802A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3564917B1 (en) * 2018-05-04 2020-07-01 Axis AB A method for detecting motion in a video sequence
JP7297412B2 (ja) * 2018-06-13 2023-06-26 キヤノン株式会社 画像処理装置、画像処理方法、およびレンズ装置
EP3879811B1 (en) * 2020-03-09 2021-12-15 Axis AB Determining whether a camera is out-of-focus
WO2021195946A1 (en) * 2020-03-31 2021-10-07 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Imaging device, electrical device, method of manufacturing imaging device, and method of manufacturing electrical device

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030141433A1 (en) * 2002-01-31 2003-07-31 Gordon Gary B. Solid state image sensor array for correcting curvilinear distortion of a camera lens system and method for fabricating the image sensor array
JP2004187111A (ja) 2002-12-05 2004-07-02 Nec Viewtechnology Ltd 資料提示装置
JP4940050B2 (ja) 2007-08-09 2012-05-30 キヤノン株式会社 画像データに歪曲収差補正を施す画像処理方法、プログラム、および、記録媒体
US9177368B2 (en) * 2007-12-17 2015-11-03 Nvidia Corporation Image distortion correction
JP2009290863A (ja) 2008-04-28 2009-12-10 Panasonic Corp 撮像装置およびカメラボディ
US20100141852A1 (en) * 2008-12-05 2010-06-10 Robe Lighting S.R.O. Distortion Corrected Improved Beam Angle Range, Higher Output Digital Luminaire System
JP5523017B2 (ja) * 2009-08-20 2014-06-18 キヤノン株式会社 画像処理装置及び画像処理方法
JP5656579B2 (ja) * 2009-11-30 2015-01-21 キヤノン株式会社 光学部材に起因する画質の低下を補正可能な撮像装置、撮像装置の制御方法およびプログラム
US11403739B2 (en) * 2010-04-12 2022-08-02 Adobe Inc. Methods and apparatus for retargeting and prioritized interpolation of lens profiles
US10800329B2 (en) * 2010-04-19 2020-10-13 SMR Patents S.à.r.l. Rear view mirror simulation
US8818101B1 (en) * 2012-01-03 2014-08-26 Google Inc. Apparatus and method for feature matching in distorted images
JP6047008B2 (ja) 2012-12-25 2016-12-21 キヤノン株式会社 画像処理装置およびそれを備えた撮像装置、ならびに画像処理装置の制御方法
JP6253280B2 (ja) * 2013-07-04 2017-12-27 キヤノン株式会社 撮像装置およびその制御方法
JP6472176B2 (ja) 2014-06-10 2019-02-20 キヤノン株式会社 撮像装置、像振れ補正装置、撮像装置の制御方法及び像振れ補正方法
JP5982651B2 (ja) 2014-07-16 2016-08-31 パナソニックIpマネジメント株式会社 ドラム式洗濯機
JP2016025640A (ja) 2014-07-24 2016-02-08 エイオーエフ イメージング テクノロジー リミテッド 情報処理装置、情報処理方法およびプログラム
JP6582644B2 (ja) * 2014-08-11 2019-10-02 セイコーエプソン株式会社 撮像装置、撮像表示装置、及び、車両
JP6516434B2 (ja) * 2014-10-15 2019-05-22 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法
CN104732542B (zh) * 2015-03-27 2018-07-13 巢湖学院 基于多摄像头自标定的全景车辆安全系统的图像处理方法
KR102465969B1 (ko) * 2015-06-23 2022-11-10 삼성전자주식회사 그래픽스 파이프라인을 수행하는 방법 및 장치
JP5981003B1 (ja) * 2015-08-25 2016-08-31 オリンパス株式会社 デジタルカメラシステム,デジタルカメラ,交換レンズ,歪曲収差補正処理方法,歪曲収差補正処理プログラム
US9930326B2 (en) * 2015-09-09 2018-03-27 6115187 Canada, Inc. Method for designing an optimization apparatus for a camera having a lens with non-uniform parameters to be imaged as a lens with uniform parameters
JP2017098631A (ja) 2015-11-18 2017-06-01 オリンパス株式会社 画像合成処理装置
JP2017116738A (ja) * 2015-12-24 2017-06-29 キヤノン株式会社 画像補正装置、画像補正装置の制御方法及びプログラム
US10140687B1 (en) * 2016-01-27 2018-11-27 RAPC Systems, Inc. Real time wide angle video camera system with distortion correction
JP6682336B2 (ja) * 2016-04-20 2020-04-15 オリンパス株式会社 カメラシステム、及びカメラ本体
JP6701023B2 (ja) * 2016-07-29 2020-05-27 キヤノン株式会社 撮像装置、画像処理方法、画像処理システム、及び画像処理プログラム
JP6752685B2 (ja) * 2016-10-28 2020-09-09 キヤノン株式会社 撮像装置、撮像方法およびプログラム
JP6795961B2 (ja) * 2016-12-12 2020-12-02 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、及び、プログラム
JP2018182679A (ja) * 2017-04-21 2018-11-15 キヤノン株式会社 歪曲収差補正方法及びそれを使用する歪曲収差補正装置及び撮像装置
KR102382865B1 (ko) * 2017-06-28 2022-04-05 삼성전자주식회사 카메라 모듈, 카메라 모듈을 포함하는 전자 장치
CN107566685B (zh) 2017-09-26 2020-10-27 联想(北京)有限公司 一种图像数据处理方法及电子设备
US10572982B2 (en) * 2017-10-04 2020-02-25 Intel Corporation Method and system of image distortion correction for images captured by using a wide-angle lens
JP7297412B2 (ja) * 2018-06-13 2023-06-26 キヤノン株式会社 画像処理装置、画像処理方法、およびレンズ装置

Also Published As

Publication number Publication date
DE102019113802A1 (de) 2019-12-19
CN110602350A (zh) 2019-12-20
US20190384033A1 (en) 2019-12-19
JP7297412B2 (ja) 2023-06-26
US11415773B2 (en) 2022-08-16
KR102531256B1 (ko) 2023-05-11
KR20190141080A (ko) 2019-12-23
JP2019216365A (ja) 2019-12-19

Similar Documents

Publication Publication Date Title
CN110602350B (zh) 图像处理设备及方法、摄像设备、镜头设备和存储介质
US8823857B2 (en) Image apparatus
JP5864938B2 (ja) 撮像装置及びその制御方法
JP5623207B2 (ja) 撮像装置及びその制御方法
US20110109771A1 (en) Image capturing appratus and image capturing method
JP5906427B2 (ja) 撮像装置、画像処理装置
US8068699B2 (en) Imaging apparatus and imaging method
JP7169773B2 (ja) 撮像装置およびその制御方法ならびにプログラム
JP5436116B2 (ja) 画像処理装置、撮像装置、及び制御方法
JP5903658B2 (ja) 撮像装置
JP2005012423A (ja) 撮像装置及び信号処理装置
JP5341655B2 (ja) 撮像装置及びその制御方法
US20120188410A1 (en) Imaging device
JP4740074B2 (ja) 撮像装置及び撮像方法
JP6104425B2 (ja) 撮像装置及び撮像装置の制御方法
JP5790011B2 (ja) 撮像装置
JP5384173B2 (ja) オートフォーカスシステム
WO2014136703A1 (ja) 撮像装置及び画像表示方法
JP2018098609A (ja) 撮像装置、撮像装置の制御方法、及び、プログラム
JP2006234993A (ja) カメラ及びプログラム
JP6577820B2 (ja) 撮像装置およびその制御方法ならびにプログラム
JP2011180545A (ja) 撮像装置
JP2014220597A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2017005481A (ja) 撮像装置
JP6539114B2 (ja) 撮像装置およびその制御方法、並びにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant