CN102739956A - 图像处理设备、图像处理方法和计算机程序 - Google Patents

图像处理设备、图像处理方法和计算机程序 Download PDF

Info

Publication number
CN102739956A
CN102739956A CN2012100884130A CN201210088413A CN102739956A CN 102739956 A CN102739956 A CN 102739956A CN 2012100884130 A CN2012100884130 A CN 2012100884130A CN 201210088413 A CN201210088413 A CN 201210088413A CN 102739956 A CN102739956 A CN 102739956A
Authority
CN
China
Prior art keywords
image
target value
correction
unit
correction target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012100884130A
Other languages
English (en)
Inventor
佐藤大辅
上田敬史
水口淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102739956A publication Critical patent/CN102739956A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

公开了图像处理设备、图像处理方法和程序。该图像处理设备包括:图像获得单元,获得图像信号;提取位置信息获得单元,从该图像信号获得关于提取图像的提取位置的信息;校正目标值计算单元,根据基于该提取位置信息的距图像中心的位置信息,计算用于校正图像信号的校正目标值;图像校正单元,根据校正目标值校正图像信号;以及图像提取单元,根据该提取位置信息提取图像。

Description

图像处理设备、图像处理方法和计算机程序
技术领域
本公开涉及用于校正例如数码相机捕获的图像或者另一图像并且对该图像给予光学效果的图像处理设备、图像处理方法以及计算机程序。
背景技术
代替利用胶片和照相底片捕获图像的银盐相机,对由诸如CCD(电荷耦合器件)、CMOS(互补金属氧化物半导体)等的固体成像器件配置的图像传感器捕获的图像执行数字编码的数码相机已经得到广泛普及。根据数码相机,在将数字编码图像存储在存储器上之后,可以由计算机进一步执行图像处理和图像管理。此外,根据数码相机,存在的优点在于胶片的寿命不成为问题。
例如,在数码相机当中,存在其上安装了提取捕获图像的一部分的修剪功能、提取并记录图像的一部分的数字变焦功能等的产品。
最近几年,具有简单配置的廉价玩具相机受到关注,并且逐步受到摄影爱好者和艺术家的支持。由于这种趋势,还存在提供有用于将数码相机捕获的图像校正为如以玩具相机成像的图像的模式。与常规产品相比,根据玩具相机,捕获图像经常发生变形和模糊。因此,在数码相机的玩具相机模式中,原始具有高质量的捕获图像校正为具有较低环境光量的图像。
在这种玩具相机模式下,需要根据在捕获图像信号上的距图像中心的位置信息执行降低亮度的处理。然而,如果在根据距图像中心的位置信息校正亮度之后,以与未对其执行提取的图像相同的方式来提取图像的一部分,则与未执行提取的图像相比,不同地降低了环境光量。因为该原因,存在的问题在于当执行修剪处理和数字变焦处理时难以获得要求的光学效果。特别是,当提取后的图像的中心位置因为修剪处理而与提取前的图像的中心位置不同时,如果执行对于与未对其执行提取的图像相同的校正后提取图像的一部分,则获得其中心位置偏离的图像。
此外,当以与玩具相机模式相同的方式,根据距图像中心的位置信息,将变形而非亮度校正为较大时,如果校正之后提取图像的一部分,则该校正的光学效果与以相同方式的提取之前的图像的光学效果不同。存在JP-A-2009-296031中公开的技术。
发明内容
希望提供可以通过根据距图像中心的位置信息执行校正以优选地给予光学效果并且可以进一步优选地给予通过降低亮度或者放大变形的光学效果的良好图像处理设备、图像处理方法和计算机程序。
还希望提供可以无论提取之后的图像的中心位置与提取之前的图像的中心位置之间的差异如何,根据提取之前的图像上的距图像中心的位置信息执行校正,以使得对提取之后的图像给予与未执行提取的图像相同的光学效果的良好图像处理设备、图像处理方法和计算机程序。
本公开的实施例涉及图像处理设备,包括:图像获得单元,获得图像信号;提取位置信息获得单元,从图像信号获得关于提取图像的提取位置的信息;校正目标值计算单元,基于提取位置信息来计算校正目标值,该校正目标值用于根据距图像中心的位置信息来校正图像信号;图像校正单元,根据校正目标值校正图像信号;以及图像提取单元,根据提取位置信息提取图像。
根据本公开的另一实施例,该图像处理设备配置为使得校正目标值计算单元根据用于校正未执行提取的图像信号的基准目标值来计算用于校正根据提取位置信息执行提取的图像信号的校正目标值。
根据本公开的又一实施例,该图像处理设备配置为使得校正目标值计算单元计算校正目标值,从而获得与当根据该基准目标值校正未执行提取的图像信号时获得技术效果的相同的校正效果。
根据本公开的又一实施例,该图像处理设备配置为使得提取位置信息包括关于提取之后的图像尺寸的信息,以及校正目标值计算单元根据在提取之前的图像尺寸与提取之后的图像尺寸的比较结果来计算校正目标值。
根据本公开的又一实施例,该图像处理设备配置为使得提取位置信息包括关于提取之后的图像中心位置的信息,以及校正目标值计算单元根据提取之前的图像中心位置与提取之后的图像中心位置之间的差异来计算校正目标值。
根据本公开的又一实施例,该图像处理设备配置为使得校正目标值计算单元根据距图像中心的位置信息计算用于执行降低光量的亮度校正的校正目标值。
根据本公开的又一实施例,该图像处理设备配置为使得校正目标值计算单元根据提取之前的图像信号的亮度的标准偏差与提取之后的图像信号的亮度的标准偏差之间的比较结果来修改该校正目标值。
根据本公开的又一实施例,该图像处理设备配置为使得校正目标值计算单元根据距图像中心的位置信息计算用于执行强调变形量的变形强调校正的校正目标值。
根据本公开的又一实施例,该图像处理设备配置为使得图像处理设备还包括:光数据获得单元,获得成像单元中的光数据;以及校正值计算单元,用于计算通过根据光数据校正该校正目标值而获得的校正值。在此,该图像获得单元获得该成像单元捕获的图像信号,以及该图像校正单元利用通过根据光数据校正该校正目标值而获得的校正值来校正该图像信号。
根据本公开的又一实施例,该图像处理设备配置为使得该光数据获得单元获得包括附加到成像单元的镜头的类型以及在成像单元成像时的光圈的光数据,以及该校正值计算单元通过根据基于作为光数据获得的镜头的类型和光圈的距图像中心的位置信息来校正用于执行降低光量的亮度校正的校正目标值,而计算校正值。
根据本公开的又一实施例,该图像处理设备配置为使得该光数据获得单元获得包括附加到成像单元的镜头的类型以及成像单元成像时的焦距的光数据,以及该校正值计算单元通过根据基于作为光数据获得的镜头的类型和焦距的距图像中心的位置信息校正用于执行强调变形的变形强调校正的校正目标值,而计算校正值。
本公开的又一实施例涉及图像处理方法,包括:获得图像信号;从图像信号获得关于提取图像的提取位置的信息;根据基于该提取位置信息的距图像中心的位置信息来计算用于校正该图像信号的校正目标值;根据该校正目标值校正图像信号;以及根据该提取位置信息提取图像。
本公开的又一实施例涉及使得计算机用作如下单元的计算机可读程序:图像获得单元,获得图像信号;提取位置信息获得单元,从图像信号获得关于提取图像的提取位置的信息;校正目标值计算单元,基于提取位置信息来计算校正目标值,该校正目标值用于根据距图像中心的位置信息来校正图像信号;图像校正单元,根据该校正目标值校正图像信号;以及图像提取单元,根据该提取位置信息提取图像。
定义根据本公开实施例的计算机可读程序,以在计算机上实现预定处理。换句话说,通过在计算机中安装根据该实施例的计算机程序,计算机展现了相应效果,并且可以获得与根据该实施例的图像处理设备获得的相同的效果。
根据本说明书中公开的技术,可以提供可以根据距图像中心的位置信息执行校正以优选地给予光学效果且进一步优选地基于降低亮度或者放大变形的光学效果的图像处理设备、图像处理方法和计算机程序。
根据本说明书中公开的技术,可以提供可以无论提取之后的图像的中心位置与提取之前的图像的中心位置之间的差异如何,根据提取之前的图像的距图像中心的位置信息执行校正,以使得可以对提取之后的图像执行与未执行提取的图像相同的光学效果的图像处理设备、图像处理方法和计算机程序。
在下面根据实施例的详细描述中和下面描述的附图中,本说明书公开的技术的其他目的、特征和优点显而易见。
附图说明
图1是示意性地示出根据本说明书公开的技术的实施例的数码相机的硬件配置的框图;
图2是示出在数码相机中在对捕获图像执行给予光学效果的图像校正后执行图像提取的处理过程的流程图;
图3A是用于说明用于计算允许环境光量以与基准目标值相同的方式降低的校正目标值的方法的示意图;
图3B是用于说明无论提取之后的图像的中心位置如何,计算允许环境光量以与基准目标值相同的方式降低的校正目标值的方法的示意图;
图4A是示出基准目标值和校正目标值的特定示例的示意图;
图4B是示出基准目标值和校正目标值的特定示例的示意图;
图5A是示出在设置提取之后图像的尺寸和位置,以使得其中心位置与提取之前图像中的中心位置一致的情况下的校正目标值g(x),以及由于镜头和光圈的缘故的环境光量降低量h(x)的示意图;
图5B是示出当提取之后的图像的中心位置从提前之前的图像的中心位置偏离时的步骤S204计算的校正目标值g(x),以及在步骤S205计算的由于镜头和光圈的缘故的环境光量降低量h(x)的示意图;
图6A是示出当未执行图像提取时,环境光量因为图像校正而降低的状态的示意图;
图6B是示出当执行图像提取时,环境光量因为图像校正而降低的状态的示意图;
图6C是示出当执行图像提取时,环境光量因为图像校正而降低的状态的示意图;以及
图7是示出在数码相机中执行图像校正以对捕获图像给予光学效果之后执行图像提取的处理过程的流程图。
具体实施方式
下面将参考附图描述本说明书公开的技术的实施例。
图1示意性地示出根据本说明书中公开的技术的实施例的数码相机100的硬件配置。在下文中,将描述每个部分。
成像单元101由诸如CCD、CMOS等的图像传感器配置,以根据接收到的光量输出图像信号。
图像数据获得单元102对成像单元101输出的图像信号执行诸如CDS(相关二重抽样)、AGC(自动增益控制)等的信号处理,以将图像信号转换为数字信号。
提取处理设置单元103响应于用户的操作设置关于成像单元101的捕获图像的数字变焦放大率以及修剪的尺寸和位置。
提取位置信息获得单元104获得通过提取处理设置单元103已经由用户的指令确定的提取图像的位置信息。
校正目标值计算单元105根据预定基准目标值、提取位置信息和图像数据来计算校正目标值。基准目标值是作为根据在对提取之前的图像给予预定光学效果的提取之前的图像的距图像中心的位置信息的基准的校正目标值。在此,“距图像中心的位置信息”可以是基于光轴的位置信息。
光数据获得单元106获得取决于成像单元101中使用的镜头和光圈的类型的光数据。
校正值计算单元107根据光数据获得单元106获得的光数据来校正由校正目标值计算单元105计算的校正目标值,并且计算要实际应用于图像数据的校正值。
图像校正单元108对提取之前的图像数据应用由校正值计算单元107计算的校正值,并且执行诸如亮度校正、变形校正等的光学校正。
图像提取单元109根据由提取位置信息获得单元104获得的提取位置信息来由图像校正单元108的光学校正之后的图像数据产生提取图像。
编码单元110对提取图像应用诸如JPEG(联合图像专家组)或者图像编码处理之类的图像压缩。
输出单元111输出由编码单元110编码和压缩的图像数据。输出目的地是例如存储卡,并且输出单元111将图像数据记录在存储卡上。
图2以流程图的形式示出在图1所示的数码相机100中在对由图像数据获得单元102获得的图像执行用于给予光学效果的图像处理后,根据提取位置信息获得单元104获得的提取位置信息来执行图像提取的处理过程。然而,在图2所示的处理过程中,作为光学效果,对提取后的图像执行用于根据距图像中心的位置信息降低亮度和降低环境光量的图像校正。
首先,检查用户是否将数码相机100设置为环境光量降低模式(步骤S201)。当未设置环境光量降低模式时(步骤S201中的“否”),跳过所有后续步骤,并且该处理例程结束。在某些情况下,当未设置环境光量降低模式时,可以执行其他图像处理。
另一方面,当设置环境光量降低模式时(步骤S201中的“是”),则检查是否响应于用户的指令执行图像提取(步骤S202)。
当响应于用户的指令执行图像提取时(步骤S202中的“是”),提取位置信息获得单元104获得用户的指令,或者自动确定图像提取位置信息(步骤S203)。作为图像提取位置信息,可以获得例如提取后的图像的中心坐标、提取之前的图像尺寸以及提取后的图像尺寸。
然后,校正目标值计算单元105根据由提取位置信息获得单元104获得的图像提取位置信息和预定基准目标值,根据提取之前的图像的距图像中心的位置信息来计算校正目标值(步骤S204)。
在此,将描述校正目标值计算单元105计算校正目标值的方法。
即使对于提取后的图像尺寸,校正目标值计算单元105仍以基准目标值计算校正目标值,对于该校正目标值,与在对未执行提取的图像执行校正的情况下相同的方式降低环境光量。
对于以与通过基准目标值的相同的方式计算允许环境光量降低的校正目标值的方法,将参考图3A进行描述。如该图的上部所示,假定提取处理设置单元103设置提取之后的图像的尺寸和位置,以使得其中心位置与提取之前的图像的中心位置一致。此外,该图的下部示出,在图像的中心位置的亮度设置为100%时环境光量如何降低。如上所述,事先确定与光量如何根据距图像中心的位置信息x降低相关的基准目标值f(x)。为了允许在提取之后的图像上如何降低环境光量与在提取之前的图像中的相同,可以利用下面的等式(1)计算与光量如何根据执行提取的情况下的距图像中心的位置信息x降低相关的校正目标值g(x),假定S0表示提取之前的图像尺寸(距图像中心的位置信息的最大值),S1表示提取之后的图像尺寸。
g(x)=f(x×S0/S1)    …(1)
校正目标值计算单元105保存预定基准目标值f(x)并且根据提取位置信息获得单元104获得的提取图像位置信息(提取之后的图像尺寸和中心位置)来计算校正目标值g(x)。校正目标值计算单元105可以以非易失性方式保存校正表,在校正表内写入对于提取之后的图像的图像尺寸事先计算的校正目标值g(x),并且校正目标值计算单元105在执行提取处理时参考该校正表。
此外,校正目标值计算单元105计算以与通过基准目标值的相同方式允许环境光量降低的校正目标值,而无论提取之后的图像的中心位置与提取之前的图像的中心位置处于的位置关系如何。
对于在无论提取之后的图像的中心位置如何都计算以与通过基准目标值的相同的方式允许环境光量降低的基准目标值的方法,将参考图3B予以描述。如该图的上部所示,假定提取处理设置单元103设置提取之后的图像的尺寸和位置,以使得中心位置偏离提取之前的图像Δx。如上所述,事先确定与光量如何根据距图像中心的位置信息x降低相关的基准目标值f(x)。为了允许即使中心位置偏离,仍以与提取之前的图像相同的方式,在提取之后的图像中降低环境光量,可以利用下面的等式(2)计算与当执行提取时光量如何根据距图像中心的位置信息x降低相关的校正目标值g(x),这里假定S0表示提取之前的图像尺寸(距图像中心的位置信息的最大值),而S1表示提取之后的图像尺寸。
g(x)=f((x-Δx)×S0/S1)    …(2)
校正目标值计算单元105保存预定基准目标值f(x),并且根据提取位置信息获得单元104获得的提取图像的位置信息(提取之后的图像的尺寸和中心位置),计算上述等式(1)或者(2)中所示的校正目标值g(x)。校正目标值计算单元105可以以非易失性方式保存校正表,该校正表内描述对于提取之后的图像的每个图像尺寸事先计算的校正目标值g(x),并且校正目标值计算单元105当执行提取处理时参考该校正表。
此外,校正目标值计算单元105可以利用图像数据的光亮度分布信息以计算校正目标值。在具有均匀亮度的物体上容易观察到降低环境光量的效果。因为该原因,将提取之前的图像数据的亮度的标准偏差σ0和提取之后的图像对应的图像数据的亮度的标准偏差σ1互相比较,并且可以根据比较结果来修改根据提取之后的图像尺寸计算的校正目标值。例如,通过下面的等式(3),利用提取之前的图像数据的亮度的标准偏差σ0和提取之后的相应图像的图像数据的亮度的标准偏差σ1,计算与执行提取时光量如何根据距图像中心的位置信息x降低相关的校正目标值g(x)。
g(x)=f(x×σ10×S0/S1)    …(3)
作为基于距图像中心的位置信息x的基准目标值f(x)的示例,可以示例下面的等式(4),这里假定图像的中心位置是x=0,而距图像中心的位置信息的最大值S0是14。
f(x)=(cos(atan(x/y)))4    …(4)
在上面的等式(4)中,y表示确定环境光量如何降低的参数。在图4A中,实线示出当y=12时的基准目标值f(x)。
当使得中心位置与提取之前的图像的中心位置一致时,当修剪尺寸设置为1半(即,提取之后的图像的尺寸S1是7)时执行图像提取,由下面基于上面的等式(3)的等式(5)获得校正目标值g1(x)。在图4A中,虚线示出此时的校正目标值g1(x)。
g1(x)=(cos(atan((x×14/7)/y)))4    …(5)
当修剪尺寸设置为一半(即,提取之后的图像是7),并且当将中心位置从提取之前的图像上的中心位置移动Δx=3时执行图像提取,由下面基于上面的等式(4)的等式(6)获得校正目标值g2(x)。在图4A中,单点划线示出此时的校正目标值g2(x)。
g2(x)=(cos(atan(((x-3)×14/7)/y)))4    …(6)
根据提取之前的图像数据的亮度的标准偏差σ0和与提取之后的图像对应的图像数据的亮度的标准偏差σ1之间的比较结果,校正该校正目标值g2(x),如下面的等式(7)。
g2(x)=(cos(atan(((x-3)×σ10×14/7)/y)))4    …(7)
此外,基准目标值和校正目标值不一定是如上面的等式(4)和(5)以及图4A所示的曲线。例如,如图4B所示,可以采用表示为直线的基准目标值和校正目标值(然而,该图中的实线表示基准目标值,虚线表示具有相同中心位置的提取图像的校正目标值,单点划线表示具有偏离的中心位置的提取图像的校正目标值)。
参考图2,描述对捕获图像执行图像校正的处理过程。
当光通过镜头,并且光圈将环境光量减少时,捕获图像的光量降低。校正值计算单元107从光数据获得单元106获得取决于成像单元101中采用的镜头和光圈的类型的光数据,然后,计算镜头和光圈的环境光量降低量h(x)(步骤S205)。
接着,校正值计算单元107根据在步骤S205计算的由于镜头和光圈的缘故的环境光量降低量h(x),来修改校正目标值计算单元105在步骤S204计算的校正目标值g(x),并且计算每个距图像中心的位置信息x的校正值g’(x),如下面的等式(8)所示。修改校正量g’(x)是对图像数据实际应用的校正值。
g′(x)=g(x)/h(x)    …(8)
图5A示出当设置提取之后的图像的尺寸和位置以使得中心位置与提取之前的图像的中心位置一致时在步骤S204计算的校正目标值g(x),以及在步骤S205计算的由于镜头和光圈的缘故的环境光量降低量h(x)。然而,图像的中心位置的亮度设置为100%,并且示出了环境光量如何降低。图5B示出当提取之后的图像的中心位置偏离提取之前的图像的中心位置时在步骤S204计算的校正目标值g(x),以及在步骤S205计算的由于镜头和光圈的缘故的环境光量降低量h(x)。
所获得的校正值g’(x)是在0与1之间的值,并且校正值1对应于不校正光量。例如,如果在距图像中心的位置信息x中校正目标值g(x)是0.2,而环境光量降低量h(x)是0.8,则校正值g’(x)是0.2/0.8=0.25。
然而,不需要通过取决于镜头和光圈的环境光量降低量h(x)来校正该校正目标值g(x),并且在步骤S204计算的校正目标值g(x)可以原样地应用于该图像。在这种情况下,跳过步骤S205和S206。否则,当诸如在未指定成像单元101中采用的镜头的情况下,在步骤S205不获得光数据时,在步骤S204计算的校正目标值g(x)可以原样地应用于该图像。
接着,图像校正单元108向由图像数据获得单元102获得的图像数据应用在步骤S206计算的校正值g’(x),并且执行其中环境光量降低的图像校正(步骤S207)。作为选择地,在步骤S204计算的校正目标值g(x)应用于图像数据,并且执行图像校正。
然后,图像提取单元109根据提取位置信息获得单元104获得的提取位置信息,从由图像校正单元108已经对其进行了光学校正的图像数据产生提取图像(步骤S208),并结束该处理例程。然而,可以替换执行步骤S207和S208的顺序。
当响应于用户的指令不执行图像提取时(步骤S202中的“否”)时,校正目标值计算单元105将预定基准目标值设置为校正目标值(步骤S209)。
接着,校正值计算单元107从光数据获得单元106获得取决于成像单元101中使用的镜头和光圈的类型的光数据,并且计算取决于镜头和光圈的环境光量降低量(步骤S210)。
接着,校正值计算单元107根据环境光量降低量来修改校正目标值(步骤S211)。
然后,图像校正单元108对图像数据获得单元102获得的图像数据应用在步骤S211计算的校正值,执行用于降低环境光量的图像处理(步骤S212),并结束该处理例程。
图6A是示出当未执行图像提取时(步骤S202中的“否”),环境光量由图像校正降低的状态。图6B和6C分别示出当对图6C中的虚线和单点划线包围的区域执行提取时(步骤S202中的“是”),环境光量由图像校正而降低的状态。可以看出,通过执行上面的处理,在已经执行了提取的图像中可以获得与未执行提取的图像中相同的降低环境光量的效果。
图7以流程图的形式示出在数码相机中对捕获图像执行图像校正以给予光学效果之后执行图像提取的处理过程。然而,在图7所示的处理过程中,作为光学效果,对提取之后的图像执行根据距图像中心的位置信息的用于强调变形的图像校正。
首先,检查用户是否已经将数码相机100设置为变形强调模式(步骤S701)。当未设置变形强调模式时(步骤S701中的“否”),则跳过所有后续步骤,并且结束该处理例程。在某些情况下,当未设置变形强调模式时,可以执行其他图像处理。
另一方面,当设置变形强调模式时(步骤S701中的“是”),检查是否响应于用户的指令执行图像提取(步骤S702)。
当响应于用户的指令执行图像提取时(步骤S702中的“是”),提取位置信息获得单元104获得用户的指令,或者自动确定图像提取位置信息(步骤S703)。
然后,校正目标值计算单元105根据由提取位置信息获得单元104获得的图像提取位置信息和预定基准目标值,根据提取之前的图像的距图像中心的位置信息来计算校正目标值(步骤S704)。
如果事先确定与基于距图像中心的位置信息x的变形强调相关的基准目标值f(x),则可以如下面的等式(9)计算当执行提取时与基于距图像中心的位置信息的变形强调相关的校正目标值g(x),假定Δx表示该中心位置与提取之前的图像的中心位置的偏离量,S0表示提取之前的图像尺寸(距图像中心的位置信息的最大值),S1表示提取之后的图像尺寸。
g(x)=f((x-Δx)×S0/S1)    …(9)
校正目标值计算单元105保存该预定基准目标值f(x),并且根据提取位置信息获得单元104获得的提取图像位置信息(提取之后的图像的尺寸和中心位置)计算校正目标值g(x),如上面的等式(9)所示。校正目标值计算单元105以非易失性方式保存校正表,在该校正表中,描述了事先对于提取之后的图像的每个图像尺寸计算的校正目标值g(x),并且校正目标值计算单元105当执行提取处理时参考该校正表。
捕获图像在通过镜头时发生变形,并且变形量根据成像时的焦距而变化。校正值计算单元107从光数据获得单元106获得取决于成像单元101中使用的镜头的类型以及焦距的失真像差信息,并且根据取决于镜头和焦距的距图像中心的位置信息x来计算失真像差量h(x)(步骤S705)。
接着,校正值计算单元107根据在步骤S705计算的由于镜头和焦距的缘故的失真像差量h(x)来修改校正目标值计算单元105在步骤S704计算的校正目标值g(x),并且计算每个距图像中心的位置信息x中的校正值g’(x),如下面的等式(10)所示。修改的校正值g’(x)是实际应用于图像数据的校正量。
g′(x)=g(x)/h(x)    …(10)
然而,因为取决于镜头和焦距的失真像差量h(x)的缘故,不需要校正该校正目标值g(x),并且在步骤S704计算的校正目标值g(x)可以原样地应用于该图像。在这种情况下,跳过步骤S705和S706。否则,当诸如在未指定成像单元101内使用的镜头的类型的情况下、未记录成像时的焦距的情况下等,未在步骤S205获得光数据时,在步骤S704计算的校正目标值g(x)原样地应用于该图像。
随后,图像校正单元108对图像数据获得单元102获得的图像数据应用在步骤S706计算的校正值g’(x),并且执行变形强调的图像校正(步骤S707)。作为选择地,在步骤S704计算的校正目标值g(x)应用于该图像数据,并且执行图像校正。
然后,图像提取单元109根据提取位置信息获得单元104获得的提取位置信息,由图像校正单元108执行光学校正之后的图像数据产生提取图像(步骤S708),并结束该处理例程。然而,可以替换地执行步骤S707和S708的顺序。
此外,当未响应于用户的指令执行图像提取时(步骤S702中的“否”),校正目标值计算单元105将预定基准目标值设置为校正目标值(步骤S709)。
接着,校正值计算单元107从光数据获得单元106获得取决于成像单元101中使用的镜头的类型和焦距的光数据,并且计算取决于镜头和光圈的失真像差量(步骤S710)。
接着,校正值计算单元107根据失真像差量校正该校正目标值(步骤S711)。
然后,图像校正单元108对图像数据获得单元102获得的图像数据应用在步骤S711计算的校正值,执行变形强调的图像校正(步骤S712),并结束该处理例程。
如上所述,根据本说明书提出的技术,即使对已经执行了降低环境光量的校正或者变形强调校正的图像执行提取处理,仍可以获得与未执行提取处理的图像中相同的光学校正效果。此外,即使在提取处理中中心位置偏离,仍可以获得与提取之前的图像相同的光学校正效果。
上面参考特定实施例详细描述了本说明书提出的技术。然而,显而易见,本领域内技术人员可以对该实施例进行修改和变型,而不脱离本说明书提出的技术的要点。
本说明书主要描述了对数码相机捕获的图像执行图像处理的实施例。然而,本说明书公开的技术的应用并不局限于它们,并且本说明书公开的技术还可以应用于运动图像和由计算机图形产生的人工图像等。
即,利用示例公开了本说明书提出的技术,并且不应该认为本说明书是限制性的。本说明书提出的技术的要点应当考虑到的所附权利要求书的范围而构造。
本公开含有与于2011年4月5日在日本专利局提交的第JP2011-083996号日本优先权专利申请披露的主题有关的主题,在此通过引用包括该专利申请的全部内容。
本领域内技术人员应当明白,根据设计要求和其他因素,可以设想各种修改、组合、部分组合和变型,然而,它们均落入所附权利要求书或者其等效物的范围内。

Claims (13)

1.一种图像处理设备,包括:
图像获得单元,获得图像信号;
提取位置信息获得单元,从所述图像信号获得关于提取图像的提取位置的信息;
校正目标值计算单元,基于所述提取位置信息计算校正目标值,所述校正目标值用于根据距图像中心的位置信息来校正所述图像信号;
图像校正单元,根据所述校正目标值校正所述图像信号;以及
图像提取单元,根据所述提取位置信息提取图像。
2.根据权利要求1所述的图像处理设备,
其中,所述校正目标值计算单元根据用于校正未执行提取的图像信号的基准目标值来计算用于校正根据所述提取位置信息执行了提取的图像信号的校正目标值。
3.根据权利要求2所述的图像处理设备,
其中,所述校正目标值计算单元计算校正目标值,从而获得与当根据所述基准目标值校正未执行提取的图像信号时获得的校正效果相同的校正效果。
4.根据权利要求1所述的图像处理设备,
其中,所述提取位置信息包括关于提取之后的图像尺寸的信息,以及
其中,所述校正目标值计算单元根据在提取之前的图像尺寸与提取之后的图像尺寸之间的比较结果来计算所述校正目标值。
5.根据权利要求1所述的图像处理设备,
其中,所述提取位置信息包括关于提取之后的图像中心位置的信息,以及
其中,所述校正目标值计算单元根据所述提取之前的图像中心位置与提取之后的图像中心位置之间的差异来计算所述校正目标值。
6.根据权利要求1所述的图像处理设备,
其中,所述校正目标值计算单元根据所述距图像中心的位置信息计算用于执行降低光量的亮度校正的校正目标值。
7.根据权利要求6所述的图像处理设备,
其中,所述校正目标值计算单元根据提取之前的图像信号的亮度的标准偏差与提取之后的图像信号的亮度的标准偏差之间的比较结果来修改所述校正目标值。
8.根据权利要求1所述的图像处理设备,
其中,所述校正目标值计算单元根据所述距图像中心的位置信息来计算用于执行强调变形量的变形强调校正的校正目标值。
9.根据权利要求1所述的图像处理设备,还包括:
光数据获得单元,获得成像单元中的光数据;以及
校正值计算单元,计算通过根据所述光数据校正所述校正目标值而获得的校正值,
其中,所述图像获得单元获得由所述成像单元捕获的图像信号,以及
其中,所述图像校正单元利用通过根据所述光数据校正所述校正目标值而获得的校正值来校正所述图像信号。
10.根据权利要求9所述的图像处理设备,
其中,所述光数据获得单元获得包括附加到成像单元的镜头的类型以及在由成像单元成像时的光圈的光数据,以及
其中,所述校正值计算单元通过根据基于作为光数据获得的镜头的类型和光圈的所述距图像中心的位置信息来校正用于执行降低光量的亮度校正的校正目标值,来计算校正值。
11.根据权利要求9所述的图像处理设备,
其中,所述光数据获得单元获得包括附加到成像单元的镜头的类型以及在由成像单元成像时的焦距的光数据,以及
其中,所述校正值计算单元通过根据基于作为光数据获得的镜头的类型和焦距的所述距图像中心的位置信息校正用于执行强调变形的变形强调校正的校正目标值,来计算校正值。
12.一种图像处理方法,包括:
获得图像信号;
从所述图像信号获得关于提取图像的提取位置的信息;
基于所述提取位置信息来计算校正目标值,所述校正目标值用于根据距图像中心的位置信息来校正所述图像信号;
根据所述校正目标值校正所述图像信号;以及
根据所述提取位置信息提取图像。
13.一种使得计算机用作如下单元的计算机可读程序:
图像获得单元,获得图像信号;
提取位置信息获得单元,从所述图像信号获得关于提取图像的提取位置的信息;
校正目标值计算单元,基于所述提取位置信息来计算校正目标值,所述校正目标值用于根据距图像中心的位置信息来校正所述图像信号;
图像校正单元,根据所述校正目标值校正所述图像信号;以及
图像提取单元,根据所述提取位置信息提取图像。
CN2012100884130A 2011-04-05 2012-03-29 图像处理设备、图像处理方法和计算机程序 Pending CN102739956A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-083996 2011-04-05
JP2011083996A JP2012222465A (ja) 2011-04-05 2011-04-05 画像処理装置及び画像処理方法、並びにコンピューター・プログラム

Publications (1)

Publication Number Publication Date
CN102739956A true CN102739956A (zh) 2012-10-17

Family

ID=45936977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012100884130A Pending CN102739956A (zh) 2011-04-05 2012-03-29 图像处理设备、图像处理方法和计算机程序

Country Status (4)

Country Link
US (1) US8629925B2 (zh)
EP (1) EP2509302A3 (zh)
JP (1) JP2012222465A (zh)
CN (1) CN102739956A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5933306B2 (ja) * 2012-03-22 2016-06-08 オリンパス株式会社 撮像装置
US10230957B2 (en) * 2016-03-22 2019-03-12 Cyberlink Corp. Systems and methods for encoding 360 video
DE102020108514A1 (de) * 2019-03-28 2020-10-01 Carl Zeiss Microscopy Gmbh Verfahren zum Bestimmen eines Bildaufnahmefehlers

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090297060A1 (en) * 2008-06-02 2009-12-03 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20090296031A1 (en) * 2008-05-29 2009-12-03 Hitachi Displays, Ltd. Liquid crystal display device
US20110001854A1 (en) * 2009-07-02 2011-01-06 Hugh Phu Nguyen Lens shading correction for autofocus and zoom lenses

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5914787A (en) * 1992-11-19 1999-06-22 Olympus Optical Co., Ltd. Electronic imaging apparatus
JP2002084451A (ja) * 2000-09-11 2002-03-22 Minolta Co Ltd デジタル撮像装置、画像処理システム、記録媒体、およびデジタル撮像方法
JP4574022B2 (ja) * 2001-01-17 2010-11-04 キヤノン株式会社 撮像装置及びシェーディング補正方法
JP3680827B2 (ja) * 2002-08-27 2005-08-10 コニカミノルタフォトイメージング株式会社 デジタルカメラ
US7853097B2 (en) * 2002-12-27 2010-12-14 Nikon Corporation Image processing apparatus and image processing program
JP2004343222A (ja) * 2003-05-13 2004-12-02 Olympus Corp 画像処理装置
JP4341297B2 (ja) * 2003-05-23 2009-10-07 株式会社ニコン 信号処理装置、および電子カメラ
US20080022202A1 (en) * 2006-07-19 2008-01-24 Craig Murray D Image inversion
JP2011083996A (ja) 2009-10-16 2011-04-28 Canon Inc 吐出検査方法、及び、吐出検査用記録媒体
JP6008239B2 (ja) * 2011-09-16 2016-10-19 パナソニックIpマネジメント株式会社 撮像装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090296031A1 (en) * 2008-05-29 2009-12-03 Hitachi Displays, Ltd. Liquid crystal display device
US20090297060A1 (en) * 2008-06-02 2009-12-03 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20110001854A1 (en) * 2009-07-02 2011-01-06 Hugh Phu Nguyen Lens shading correction for autofocus and zoom lenses

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MARTIN EVENING: "Vignettes and Post-Crop Vignettes in Adobe Photoshop Lightroom 2", 《URL:HTTP://WWW.ADOBEPRESS.COM/ARTICLES/PRINTERFRIENDLY.ASP?P=1324272》, 12 February 2009 (2009-02-12) *

Also Published As

Publication number Publication date
EP2509302A3 (en) 2013-07-10
EP2509302A2 (en) 2012-10-10
US8629925B2 (en) 2014-01-14
JP2012222465A (ja) 2012-11-12
US20120257076A1 (en) 2012-10-11

Similar Documents

Publication Publication Date Title
CN101527860B (zh) 白平衡控制设备及其控制方法和摄像设备
CN110493527B (zh) 主体对焦方法、装置、电子设备和存储介质
US11290641B2 (en) Electronic device and method for correcting image corrected in first image processing scheme in external electronic device in second image processing scheme
US11508038B2 (en) Image processing method, storage medium, image processing apparatus, learned model manufacturing method, and image processing system
WO2020097851A1 (zh) 一种图像处理方法、控制终端及存储介质
KR20200048609A (ko) 인공 신경망을 이용한 이미지 처리 방법 및 이를 지원하는 전자 장치
KR102397924B1 (ko) 이미지 보정 방식 및 이미지의 특징 정보에 기반하여 이미지를 보정하는 전자 장치 및 방법
CN113313661A (zh) 图像融合方法、装置、电子设备及计算机可读存储介质
US10848686B2 (en) Method of providing image and electronic device for supporting the method
CN102739956A (zh) 图像处理设备、图像处理方法和计算机程序
CN110689565A (zh) 一种深度图确定的方法、装置及电子设备
KR102422448B1 (ko) 이미지와 관련된 링크 정보를 이용하여 외부 전자 장치와 이미지를 공유하는 방법 및 전자 장치
US10970587B2 (en) Electronic device for notifying of update of image signal processing and method for operating the same
WO2023056926A1 (zh) 图像处理方法、电子设备和存储介质
CN112106352A (zh) 一种图像处理方法及设备
CN116304179A (zh) 一种获取目标视频的数据处理系统
CN116485645A (zh) 图像拼接方法、装置、设备及存储介质
CN113329164B (zh) 一种镜头校正方法、装置、拍摄终端及存储介质
CN102480620B (zh) 图像压缩设备和图像压缩方法
CN113780286A (zh) 对象识别方法及装置、存储介质、电子装置
CN111242998B (zh) 图像融合方法和装置
KR101626155B1 (ko) 촬영 영상의 렌즈 셰이딩 및 채널 차 보정 장치와 방법
US10657673B2 (en) Image processing apparatus, image processing method, and storage medium to correct pixels using singular value decomposition
CN115334245A (zh) 一种图像矫正方法、装置、电子设备及存储介质
KR102457568B1 (ko) 입력된 정보와 관련된 이미지를 제공하기 위한 전자 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121017