CN104113703A - 图像处理装置及图像处理方法 - Google Patents

图像处理装置及图像处理方法 Download PDF

Info

Publication number
CN104113703A
CN104113703A CN201410150677.3A CN201410150677A CN104113703A CN 104113703 A CN104113703 A CN 104113703A CN 201410150677 A CN201410150677 A CN 201410150677A CN 104113703 A CN104113703 A CN 104113703A
Authority
CN
China
Prior art keywords
image
aberration correction
view data
distortion aberration
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410150677.3A
Other languages
English (en)
Other versions
CN104113703B (zh
Inventor
西郡英俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN104113703A publication Critical patent/CN104113703A/zh
Application granted granted Critical
Publication of CN104113703B publication Critical patent/CN104113703B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/20Linear translation of whole images or parts thereof, e.g. panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)

Abstract

本发明提供一种图像处理装置及图像处理方法。所述图像处理装置针对所述图像处理装置通过进行电子图像稳定剪切图像数据的情况以及所述图像处理装置不通过进行电子图像稳定剪切图像数据的情况中的各个,进行适当的失真像差校正。所述图像处理装置包括:校正单元,其被配置为对发生了失真像差的图像数据进行失真像差校正;以及稳定单元,其被配置为基于当生成了所述图像数据时摄像单元的移动,从所述图像数据中进行剪切。与所述稳定单元剪切所述图像数据的情况相比,在所述稳定单元不剪切所述图像数据的情况下,所述校正单元减少所述失真像差校正的量。

Description

图像处理装置及图像处理方法
技术领域
本发明涉及用于通过进行图像处理来校正由于成像光学系统导致的失真像差的失真像差校正机制。此外,本发明涉及包括模糊校正机制的图像处理装置,该模糊校正机构用于校正由于摄像装置的移动而导致在图像传感器上形成的图像的模糊。
背景技术
日本特开第2005-252626号公报讨论了包括如下功能的图像处理装置。该图像处理装置包括用于通过进行图像处理来校正成像光学系统固有的失真像差的功能。此外,图像处理装置包括能够校正由于拍摄图像时摄像装置的移动而引起的被摄体图像的模糊的模糊校正功能(即电子图像稳定功能)。
当对发生了成像光学系统固有的失真像差的图像进行用于减少失真像差的图像处理时,在图像中发生广角失真。在平面被摄体的图像中发生的广角失真不明显。然而,在立体被摄体的图像中发生的广角失真明显。特别地,当通过将包括变焦功能的成像光学系统的图像角度设置为广角来拍摄图像时,在图像中发生大量失真像差。因此,当校正失真像差时发生的广角失真也变大。
当发生广角失真时,画面的周边部分的被摄体在画面的图像高度方向上被拉长。在这种情况下,尤其当针对人脸发生广角失真时,图像给用户强烈的奇怪感。
图7A是例示失真像差被较好地校正了的图像的示意图。如图7A所示,在直线上形成的平面形状看起来是正常的。然而,广角失真倾向于发生在画面的周边部分的诸如人脸的立体被摄体上,使得图像给用户奇怪感。图7B是例示保留有桶型失真像差的图像的示意图。如图7B所示,在直线上形成的平面形状失真,使得图像给用户奇怪感。然而,在画面的周边部分的诸如人脸的立体被摄体在图像中看起来相对正常。因此,当发生大量失真像差时,通过以留下少量失真的方式的校正能够获得具有比较满意的在直线上形成的平面形状以及比较满意的广角失真的图像。
另一方面,作为图像稳定处理的电子图像稳定处理减少了由于摄像装置的抖动而引起的图像的模糊。电子图像稳定处理根据摄像装置的抖动使从图像中要实际输出(即,记录或显示)的剪切区域偏移,从而减少图像的模糊。
然而,当拍摄运动图像时,如果通过使用来自图像传感器的输出而生成的图像中保留有失真像差,则剪切图像中包括的失真像差的状态根据要实际输出的剪切区域的位置的改变而改变。图8A、图8B以及图8C是例示各剪切区域中保留的失真像差的状态根据剪切区域的位置的改变而改变的示意图。更具体地,图8B和图8C例示了通过改变剪切位置而由图8A所示的图像生成的图像。因此,图8B和图8C所示的各图像中保留的失真像差的状态不同。结果,由于这种图像连续的运动图像中的剪切位置的改变,所以图像中保留的失真像差的不同变得明显。
此外,如果被摄体的亮度低,则可以如下进行合成方法。进行多次摄像以获得多个图像数据,并且从获得的多个图像数据的各个中检测同一被摄体。然后,调整多个图像数据的位置,使得包括在多个图像数据的各个中的同一被摄体的位置相互匹配,并且合成多个图像数据。
在这种情况下,如果同一被摄体在图像传感器上的位置在多个图像间不同,则被摄体中保留的失真像差的状态也在多个图像间不同。图9A、图9B、图9C及图9D是例示由于被摄体在图像传感器上的位置的偏移而引起的、在根据被摄体而被剪切的各图像中保留的失真像差的状态在多个图像间的改变的图。更具体地,图9B和图9C例示了由图9A所示的图像生成的剪切位置不同的图像。在这种情况下,各图像中保留的失真像差的状态不同。因此,如果合成这种图像,则即使在被摄体相同时,也生成了不同形状的被摄体图像被合成的图像。结果,在图像中被摄体变得模糊。
发明内容
根据本发明的一方面,提供了一种图像处理装置,该图像处理装置包括:校正单元,其被配置为对发生了失真像差的图像数据进行失真像差校正;以及稳定单元,其被配置为基于当生成了所述图像数据时摄像单元的移动,进行从所述图像数据中剪切部分图像数据的图像稳定处理,其中,与进行所述图像稳定处理的情况相比,在不进行所述图像稳定处理的情况下,所述校正单元减少所述失真像差校正的量。
根据本发明的另一方面,提供了一种图像处理装置,该图像处理装置包括:失真像差校正单元,其被配置为对由于成像光学系统而发生了失真像差的多个图像数据进行失真像差校正;以及合成单元,其被配置为基于所述多个图像数据的各个中包括的被摄体的位置,进行用于通过调整所述多个图像数据的位置来合成所述多个图像数据的合成处理,其中,与进行所述合成处理的情况相比,在不进行所述合成处理的情况下,所述失真像差校正单元减少所述失真像差校正的量。
根据本发明的再一方面,提供了一种图像处理装置,该图像处理装置包括:失真像差校正单元,其被配置为对由于成像光学系统而发生了失真的图像数据进行失真像差校正;以及剪切单元,其被配置为从所述图像数据中剪切部分图像数据,其中,与剪切所述部分图像数据的情况相比,在不剪切所述部分图像数据的情况下,所述失真像差校正单元减少所述失真像差校正的量。
通过以下参照附图对示例性实施例的描述,本发明的其他特征将变得清楚。
附图说明
图1是例示作为根据本发明的示例性实施例的图像处理装置的示例的摄像装置的结构的框图。
图2A、图2B及图2C是例示在摄像装置不进行电子图像稳定的情况下的失真像差校正的量的图。
图3A、图3B及图3C是例示在摄像装置进行电子图像稳定的情况下的失真像差校正的量的图。
图4A、图4B及图4C是例示当摄像装置进行电子图像稳定时输出图像的剪切位置的图。
图5A、图5B、图5C及图5D是例示当摄像装置进行电子图像稳定时输出图像的剪切位置的图。
图6A、图6B、图6C、图6D、图6E及图6F是例示当摄像装置进行电子图像稳定和投影变换时输出图像的剪切位置的图。
图7A和7B是例示失真像差与广角失真之间的关系的示意图。
图8A、图8B及8C是例示失真像差与通过电子图像稳定的输出图像的剪切位置之间的关系的示意图。
图9A、图9B、图9C及图9D是例示失真像差与通过电子图像稳定的输出图像的合成位置之间的关系的示意图。
具体实施方式
下面参照附图详细描述本发明的各种示例性实施例、特征及方面。
图1是例示作为根据本发明的示例性实施例的图像处理装置的示例的摄像装置的结构的框图。根据本示例性实施例,包括电子图像稳定功能和失真像差校正功能的摄像装置将被描述为示例。然而,本发明并不限于此。本发明可应用于从摄像装置分离的图像处理装置,只要图像处理装置包括如下功能即可,即用于基于拍摄图像时的抖动信息剪切图像的功能或用于对准和合成多个图像的功能、以及用于校正失真像差的功能。
如图1所示,成像光学系统101包括具有多个透镜的透镜组,并且能够改变焦点位置和变焦倍率。图像传感器102接收通过成像光学系统101的光,进行光电转换,并生成与被摄体相对应的模拟信号。成像光学系统101和图像传感器102构成摄像单元。模拟/数字(A/D)转换单元103将由图像传感器102生成的模拟信号转换为数字信号,并生成图像数据。
临时存储器104临时存储由A/D转换单元103生成的图像数据。图像处理电路105对从临时存储器104读出的图像数据进行诸如白平衡处理、失真像差校正、电子图像稳定处理以及合成处理等的图像处理。包括小型液晶显示器的监视器106使用由图像处理电路105处理的图像数据来显示图像。记录电路107将从图像处理电路105输出的图像数据转换为诸如联合图像专家组(JPEG)格式的格式,并记录转换后的图像数据。
操作单元108被用户用来输入针对摄像装置的各种指令。控制电路109控制由图1所示的各单元进行的操作。此外,控制电路109根据来自操作单元108的指令进行控制。移动检测电路110检测当用户正拍摄图像时摄像单元的抖动,并将摄像装置的移动输出到控制电路109。例如,移动检测电路110基于摄像装置中包括的角速度传感器的输出或通过比较多个拍摄图像而获得的运动向量,来检测摄像装置的移动。此外,当进行电子图像稳定时,控制电路109基于从移动检测电路110获得的移动信息,将图像的剪切位置发送到图像处理电路105。此外,控制电路109能够从图像数据中检测诸如人等的特定被摄体。
下面将描述根据本发明的第一示例性实施例的摄像装置的操作。
当用户接通操作单元108中的电源开关(未示出)时,向摄像装置中包括的各单元供给电力。通过成像光学系统101的被摄体图像的光在图像传感器102上形成图像,并且图像传感器102将光电转换后的模拟信号输出到A/D转换单元103。A/D转换单元103将输入到其中的模拟信号转换为数字信号,并生成图像数据。然后,临时存储器104存储所生成的图像数据。图像处理电路105对从临时存储器104读取的图像数据进行白平衡处理。
如果经由操作单元108预先设置摄像装置不进行电子图像稳定,则图像处理电路105进行如下操作。图像处理电路105通过对经过白平衡处理的图像数据进行失真像差校正,而不剪切经过白平衡处理的部分图像数据,来生成图像数据。然后,控制电路109使监视器106基于所生成的图像数据显示图像。
另一方面,如果经由操作单元108预先设置摄像装置进行电子图像稳定,则控制电路109基于由移动检测电路110检测到的移动量来设置图像的剪切位置。然后,图像处理电路105根据由控制电路109设置的位置,从经过白平衡处理和失真像差校正的图像中剪切图像数据。控制电路109使监视器106基于剪切的图像数据显示图像。用于失真像差校正的参数与当摄像装置被设置为不进行电子图像稳定时用于失真像差校正的参数不同。稍后描述这种不同。
摄像装置重复上述处理,直到从操作单元108中的快门开关接收到开关(SW)1信号通知(即,快门开关被半按下的通知)为止。然后,运动图像被显示在监视器106上。
如果控制电路109从操作单元108中的快门开关接收到SW1信号通知,则控制电路109通过使用所生成的图像数据进行自动聚焦控制和自动曝光控制。由此,控制电路109获得用于拍摄图像的最佳聚焦和曝光设置条件。
如果摄像装置从操作单元108中的快门开关接收到SW2信号通知(即,快门开关被全按下的通知),则摄像装置进行主摄像处理。更具体地,图像处理电路105根据基于摄像装置是否被设置为进行电子图像稳定的各设置来对图像数据进行处理。然后,图像处理电路105将处理后的图像数据转换为诸如JPEG格式等的格式,并且记录电路107记录转换后的图像数据。
下面将描述用于根据摄像装置是否被设置为进行电子图像稳定来进行失真像差校正的参数的改变。
图2A、图2B及图2C是例示在摄像装置不进行电子图像稳定的情况下的失真像差校正的处理状态的示意图。如图2A所示,如果由于成像光学系统101在图像中引起桶型失真像差,则在网格状被摄体201中以桶形失真的摄像范围202在图像传感器102上形成为图像。
如果摄像装置然后进行校正使得成像光学系统101固有的失真像差被完全校正,则平面被摄体的图像的失真能够被减少。然而,立体被摄体的广角失真变得明显。当包括变焦功能的成像光学系统101的视角被设置为广角时,如果失真像差的量大,则图像处理电路105进行失真像差校正,以故意留下少量桶型失真。由此,图像处理电路105生成在直线上形成的平面形状中的失真像差和广角失真二者都不明显的图像。在这种情况下,根据通过进行失真像差校正而生成的广角失真的量来预先调整失真像差校正参数。然后,图像处理电路105进行失真像差校正,使得摄像范围202中的校正范围203变为输出图像,如图2B所示。由此,图像处理电路105输出留下少量桶型失真的图像作为经过失真像差校正的图像数据,如图2C所示。
图3A、图3B及图3C是例示在摄像装置进行电子图像稳定的情况下的失真像差校正状态的处理状态的示意图。如图3A所示,如果由于成像光学系统101在图像中引起桶型失真像差,则在网格状被摄体301中以桶形失真的摄像范围302在图像传感器102上形成为图像。
摄像装置进行电子图像稳定处理以减少由摄像装置的抖动引起的图像的模糊。因此,摄像装置从图像处理电路105进行了失真像差校正的图像中、在与由移动检测电路110检测到的摄像装置的移动信息对应的位置进行图像剪切。如图2C所示,当留下桶型失真的图像数据的一部分被剪切时,针对各帧,通过偏移剪切位置,留在图像中的失真像差的形状改变。因此,如果当摄像装置通过使用电子图像稳定来拍摄运动图像时留下失真像差,则帧之间的失真像差的形状的不同变得明显。因此,图像给用户奇怪感。当通过使用电子图像稳定来拍摄运动图像时,根据本发明的摄像装置如下设置失真像差校正参数。摄像装置以使得与不进行电子图像稳定相比留下较少的失真像差的量的方式设置失真像差校正参数。例如,图像处理电路105进行失真像差校正,使得摄像范围302中的校正范围303变为输出图像,如图3B所示。然后,图像处理电路105输出几乎没有残留桶型失真的图像作为经过失真像差校正的图像数据,如图3C所示。
图4A、图4B及图4C是例示对几乎没有残留失真像差的、用于进行电子图像稳定处理的图像进行的剪切的示意图。
更具体地,图4A例示了由图像处理电路105校正的以使得几乎没有残留失真像差的图像数据。如图4B和图4C所示,即使通过改变剪切位置来从图4A所示的图像中剪切图像数据,由于失真像差的状态的差异,用户不会感觉奇怪。
此外,如果摄像装置进行电子图像稳定,则从图像处理电路105进行了失真像差校正的图像中剪切输出图像。因此,根据剪切位置,可以排除由于失真像差校正发生了广角失真的区域。
如上所述,如果根据本示例性实施例的图像处理装置进行电子图像稳定,则失真像差校正参数被设置为使得与当图像处理装置不进行电子图像稳定时相比,失真像差校正的量变大。换言之,如果图像处理装置不进行电子图像稳定,则失真像差校正参数被设置为使得与当图像处理装置进行电子图像稳定相比,由于失真像差校正而发生的广角失真量变小。
利用这种结构,如果通过进行电子图像稳定,运动图像中帧之间的失真像差的形状的改变明显,则失真像差校正优先于广角失真。因此,图像处理装置变得能够生成不会给用户奇怪感的运动图像。相反,如果图像处理装置不进行电子图像稳定,则图像处理装置故意留下失真像差。利用这种结构,图像处理装置变得能够生成由于广角失真不会给用户奇怪感的图像。
根据上述示例性实施例,根据摄像装置是否进行电子图像稳定而改变失真像差校正的量。然而,本发明并不限于此。即使当图像处理装置对运动图像进行电子图像稳定时,也可以进行以下的处理。如果图像处理装置对用于记录在记录介质上的、通过实际拍摄获得的运动图像进行失真像差校正,则与在除通过实际拍摄获得的运动图像以外的其他运动图像中进行失真像差校正时相比,可以减少失真像差校正的量。不是通过实际拍摄获得的运动图像是用于在实际拍摄之前观察被摄体而生成的运动图像。换言之,仅针对要存储的运动图像,考虑由于失真像差的形状的改变引起的奇怪感。因此,针对不被存储的运动图像,不考虑由于失真像差的形状的改变引起的奇怪感。
此外,图像处理装置几乎不需要对静止图像进行使剪切位置偏移的电子图像稳定。因此,如果图像处理装置拍摄静止图像,则失真像差校正参数可以被设置为使得与当拍摄运动图像时相比,失真像差校正的量变得更大。
此外,在满足失真像差的量变大的预定条件的情况下,例如,当成像光学系统101被设置为广角侧时,留下少量失真像差。因此,对于其他情况,不论图像处理装置是否进行电子图像稳定,失真像差校正的量可以相同。
下面将描述根据本发明的第二示例性实施例的摄像装置的操作。
根据第一示例性实施例,根据摄像装置是否对运动图像进行电子图像稳定来改变用于进行失真像差校正的参数。与此相反,根据本示例性实施例,根据摄像装置是否对多个静止图像进行合成处理来改变用于进行失真像差校正的参数。根据本示例性实施例,下面将主要描述与第一示例性实施例的不同。
如果操作单元108预先设置了要进行的合成处理,或者如果确定用于获得适当亮度的图像的曝光时间超过了阈值,则控制电路109确定合成静止图像。
如果控制电路109确定不需要合成静止图像,则摄像装置在接收到SW2的通知信号时拍摄静止图像一次。然后,图像处理电路105对拍摄的静止图像进行包括白平衡处理和失真像差校正的图像处理,并生成图像数据。
另一方面,如果控制电路109确定要合成静止图像,则摄像装置在接收到SW2的通知信号时拍摄静止图像多次。然后,图像处理电路105对拍摄的多个静止图像中的各个进行包括白平衡处理和失真像差校正的图像处理,并生成多个图像数据。控制电路109从多个图像数据中的各个中检测同一被摄体。假定控制电路109从多个图像数据中检测人。然后,图像处理电路105调整多个图像数据的位置,使得同一被摄体(例如,人)的位置相互匹配,从而合成多个图像数据。
在根据本示例性实施例的摄像装置中,如果摄像装置进行合成处理,则图像处理电路105设置失真像差校正参数,使得与当摄像装置不进行合成处理时相比,留下少量失真像差。例如,图像处理电路105进行失真像差校正,使得摄像范围302中的校正范围303变为输出图像,如图3B所示。因此,图像处理电路105生成几乎没有残留桶型失真的图像数据,如图3C所示。然后,图像处理电路105通过使用几乎没有残留桶型失真的多个图像数据,来从所述多个图像数据中的各个中检测同一被摄体的位置。图像处理电路105调整多个图像数据的合成位置,使得同一被摄体的位置重叠。
图5A、图5B、图5C及图5D是例示用于对几乎没有残留失真像差的图像数据进行合成处理而进行的剪切的示意图。
更具体地,图5A例示了由图像处理电路105进行校正以使得几乎没有残留失真像差的图像数据。在多个图像数据的各个之间,同一被摄体中的失真像差的形状变得类似,如图5B和5C所示。因此,当如图5D所示合成多个图像数据时,能够减小叠加误差。
图6A、图6B、图6C、图6D、图6E及图6F是例示已进行了失真像差校正和投影变换的图像数据的合成处理的示意图。更具体地,图6A例示了由图像处理电路105进行校正以使得几乎没有残留失真像差的图像数据。然后,对如图6B和图6C所示的由于摄像装置的倾斜而发生梯形失真像差的图像数据进行投影变换处理。结果,如图6D和图6E所示,在由投影变换处理过的图像数据中精确校正了梯形失真。因此,如图6F所示,减小了合成图像数据中的叠加误差。
此外,如果摄像装置执行合成处理,则摄像装置删除各图像中的、不与其他图像重叠的区域。换言之,摄像装置只剪切与其他图像重叠的区域。在图像的周边部分中的广角失真倾向于变大。然而,当摄像装置合成图像时,由于某部分不与其他图像重叠,所以非常可能删除该部分。因此,能够生成广角失真不明显的图像。
如上所述,当根据本示例性实施例的图像处理装置进行合成处理时,将失真像差校正参数设置为使得与当不进行合成处理时相比,失真像差校正的量变得更大。换言之,如果图像处理装置不进行合成处理,则将失真像差校正参数设置为使得与当进行合成处理时相比,失真像差校正的量变得更小。
利用这种结构,如果图像处理装置进行合成处理,则图像处理装置能够通过将失真像差校正优先于广角失真来生成图像的叠加误差小的图像数据。另一方面,如果图像处理装置不进行合成处理,则图像处理装置故意留下失真像差。由此,能够生成由于广角失真而不会给用户奇怪感的图像。
如果在多个图像间无法检测到同一被摄体,或者如果在多个图像之间同一被摄体的位置的差大于阈值,则图像处理装置可以确定不对图像数据进行合成处理。如果图像处理装置不合成多个图像数据,则不会发生图像叠加误差,所述减少广角失真变得优先。
此外,图像处理装置可以进行使得在合成多个图像之后故意增加失真像差以减少广角失真的校正。通过进行这种处理,能够减少通过合成图像数据所引起的叠加误差以及广角失真。
此外,在满足失真像差变大的预定条件的情况下,例如当成像光学系统被设置为广角侧时,增加该失真像差。对于其他情况,不论摄像装置是否进行电子图像稳定,可以将失真像差校正的量设置为相同。
本发明的实施例还可以通过读出并执行记录在存储介质(例如,非易失性计算机可读存储介质)上的用于执行本发明的一个或多个上述实施例的功能的计算机可执行指令的系统或装置的计算机来实现,以及通过由系统或装置的计算机通过例如从存储介质中读出并执行用于执行一个或多个上述实施例的功能的计算机可执行指令的方法来实现。计算机可包括中央处理单元(CPU)、微处理单元(MPU)、或其他电路中的一个或多个,并且可以包括独立计算机或独立计算机处理器的网络。计算机可执行指令可通过例如网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(例如压缩盘(CD)、数字通用光盘(DVD)或蓝光盘(BD)TM)、闪存设备以及存储卡等中的一个或多个。
虽然参照示例性实施例对本发明进行了说明,但是应当理解,本发明不限于所公开的示例性实施例。所附权利要求的范围符合最宽的解释,以使其涵盖所有这种变型、等同结构及功能。

Claims (16)

1.一种图像处理装置,该图像处理装置包括:
校正单元,其被配置为对发生了失真像差的图像数据进行失真像差校正;以及
稳定单元,其被配置为基于当生成了所述图像数据时摄像单元的移动,进行从所述图像数据中剪切部分图像数据的图像稳定处理,
其中,与进行所述图像稳定处理的情况相比,在不进行所述图像稳定处理的情况下,所述校正单元减少所述失真像差校正的量。
2.根据权利要求1所述的图像处理装置,其中,与对静止图像数据进行所述失真像差校正的情况相比,在对运动图像数据进行所述失真像差校正的情况下,所述校正单元减少所述失真像差校正的量。
3.根据权利要求1所述的图像处理装置,其中,所述稳定单元从所述校正单元进行了所述失真像差校正的图像数据中剪切所述部分图像数据。
4.根据权利要求1所述的图像处理装置,其中,在光学系统满足预定条件的情况下,所述校正单元使所述失真像差校正的量在不进行所述图像稳定处理的情况下与在进行所述图像稳定处理的情况下相等。
5.一种图像处理装置,该图像处理装置包括:
校正单元,其被配置为对发生了失真像差的多个图像数据进行失真像差校正;以及
合成单元,其被配置为基于所述多个图像数据的各个中包括的被摄体的位置,进行用于通过调整所述多个图像数据的位置来合成所述多个图像数据的合成处理,
其中,与进行所述合成处理的情况相比,在不进行所述合成处理的情况下,所述校正单元减少所述失真像差校正的量。
6.根据权利要求5所述的图像处理装置,其中,所述合成单元合成所述校正单元进行了所述失真像差校正的多个图像数据。
7.根据权利要求5所述的图像处理装置,所述图像处理装置还包括:
变换单元,其被配置为对所述校正单元进行了所述失真像差校正的图像进行用于进行倾斜校正的投影变换处理,
其中,所述合成单元合成所述变换单元进行了所述倾斜校正的多个图像数据。
8.根据权利要求5所述的图像处理装置,所述图像处理装置还包括:
增加单元,其被配置为对由所述合成单元合成的图像数据增加失真像差。
9.一种图像处理装置,该图像处理装置包括:
校正单元,其被配置为对发生了失真的图像数据进行失真像差校正;以及
剪切单元,其被配置为从所述图像数据中剪切部分图像数据,
其中,与剪切所述部分图像数据的情况相比,在不剪切所述部分图像数据的情况下,所述校正单元减少所述失真像差校正的量。
10.根据权利要求9所述的图像处理装置,所述图像处理装置还包括:
合成单元,其被配置为合成多个图像数据,
其中,所述剪切单元从由所述合成单元合成的多个图像数据的各个中以使得与其他图像数据重叠的区域被包括在所述部分图像数据中的方式剪切所述部分图像数据。
11.一种图像处理方法,该图像处理方法包括以下步骤:
对发生了失真像差的图像数据进行失真像差校正;
基于当生成了所述图像数据时摄像单元的移动,进行从所述图像数据中剪切部分图像数据的图像稳定处理;以及
与进行所述图像稳定处理的情况相比,在不进行所述图像稳定处理的情况下,当进行所述失真像差校正时,减少所述失真像差校正的量。
12.根据权利要求11所述的图像处理方法,其中,与对静止图像数据进行所述失真像差校正的情况相比,在对运动图像数据进行所述失真像差校正的情况下,所述减少步骤减少所述失真像差校正的量。
13.一种图像处理方法,该图像处理方法包括以下步骤:
对发生了失真像差的多个图像数据进行失真像差校正;
基于所述多个图像数据的各个中包括的被摄体的位置,进行用于通过调整所述多个图像数据的位置来合成所述多个图像数据的合成处理;以及
与进行所述合成处理的情况相比,在不进行所述合成处理的情况下,当进行所述失真像差校正时,减少所述失真像差校正的量。
14.根据权利要求13所述的图像处理方法,其中,与对静止图像数据进行所述失真像差校正的情况相比,在对运动图像数据进行所述失真像差校正的情况下,所述减少步骤减少所述失真像差校正的量。
15.一种图像处理方法,该图像处理方法包括以下步骤:
对发生了失真像差的图像数据进行失真像差校正;
从所述图像数据中剪切部分图像数据;以及
与剪切所述部分图像数据的情况相比,在不剪切所述部分图像数据的情况下,减少所述失真像差校正的量。
16.根据权利要求15所述的图像处理方法,其中,与对静止图像数据进行所述失真像差校正的情况相比,在对运动图像数据进行所述失真像差校正的情况下,所述减少步骤减少所述失真像差校正的量。
CN201410150677.3A 2013-04-15 2014-04-15 图像处理装置及图像处理方法 Active CN104113703B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2013-085106 2013-04-15
JP2013085106 2013-04-15
JP2014-045624 2014-03-07
JP2014045624A JP5762587B2 (ja) 2013-04-15 2014-03-07 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
CN104113703A true CN104113703A (zh) 2014-10-22
CN104113703B CN104113703B (zh) 2017-07-28

Family

ID=51686544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410150677.3A Active CN104113703B (zh) 2013-04-15 2014-04-15 图像处理装置及图像处理方法

Country Status (3)

Country Link
US (2) US9560277B2 (zh)
JP (1) JP5762587B2 (zh)
CN (1) CN104113703B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492246A (zh) * 2018-03-12 2018-09-04 维沃移动通信有限公司 一种图像处理方法、装置及移动终端
CN108737726A (zh) * 2017-04-18 2018-11-02 佳能株式会社 图像处理设备和方法、摄像设备和计算机可读存储介质
CN111093031A (zh) * 2019-12-31 2020-05-01 维沃移动通信有限公司 图像生成方法及电子设备
CN112333385A (zh) * 2020-10-28 2021-02-05 维沃移动通信有限公司 电子防抖控制方法及装置
CN115136579A (zh) * 2020-02-27 2022-09-30 株式会社富士 图像校正方法、拍摄装置及检查装置

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5924020B2 (ja) * 2012-02-16 2016-05-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP6047008B2 (ja) * 2012-12-25 2016-12-21 キヤノン株式会社 画像処理装置およびそれを備えた撮像装置、ならびに画像処理装置の制御方法
JP6395156B2 (ja) * 2015-01-16 2018-09-26 オリンパス株式会社 撮像装置及び撮像方法
WO2017020150A1 (zh) * 2015-07-31 2017-02-09 深圳市大疆创新科技有限公司 一种图像处理方法、装置及摄像机
JP6727791B2 (ja) * 2015-11-05 2020-07-22 キヤノン株式会社 追尾制御装置および追尾制御方法、撮像装置
US9986169B2 (en) 2016-02-04 2018-05-29 KARL STORZ, Imaging, Inc. Exposure control method and system for an image capture device
JP6685843B2 (ja) * 2016-06-06 2020-04-22 オリンパス株式会社 撮像装置
JP6885133B2 (ja) * 2017-03-23 2021-06-09 カシオ計算機株式会社 画像処理装置、撮像システム、画像処理方法及びプログラム
TWI663421B (zh) * 2018-02-01 2019-06-21 大陸商江西聯創電子有限公司 廣角鏡頭的畸變矯正方法、裝置及系統
CN108492287B (zh) * 2018-03-14 2020-06-02 罗普特(厦门)科技集团有限公司 一种视频抖动检测方法、终端设备及存储介质
CN108259759A (zh) 2018-03-20 2018-07-06 北京小米移动软件有限公司 对焦方法、装置及存储介质
US10380724B1 (en) * 2019-01-28 2019-08-13 StradVision, Inc. Learning method and learning device for reducing distortion occurred in warped image generated in process of stabilizing jittered image by using GAN to enhance fault tolerance and fluctuation robustness in extreme situations
US11727545B2 (en) 2019-12-12 2023-08-15 Canon Kabushiki Kaisha Image processing apparatus and image capturing apparatus
JP2021097402A (ja) * 2019-12-12 2021-06-24 キヤノン株式会社 画像処理装置および撮像装置
WO2023135726A1 (ja) * 2022-01-14 2023-07-20 日本電気株式会社 情報処理装置、情報処理方法、及びコンピュータ可読媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1444736A (zh) * 2000-07-31 2003-09-24 三洋电机株式会社 电子摄像机和焦距控制方法
CN1777238A (zh) * 2004-11-15 2006-05-24 佳能株式会社 图像处理装置和图像处理方法
CN1992819A (zh) * 2005-12-27 2007-07-04 三星Techwin株式会社 拍摄装置和方法
US20100002088A1 (en) * 2008-07-04 2010-01-07 Canon Kabushiki Kaisha Vibration correcting device
US20100007759A1 (en) * 2008-07-10 2010-01-14 Yoshikazu Watanabe Image processor, imaging apparatus including the same, and image processing method
CN101902573A (zh) * 2009-05-25 2010-12-01 索尼公司 成像设备以及抖动校正方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005252626A (ja) 2004-03-03 2005-09-15 Canon Inc 撮像装置および画像処理方法
JP4418317B2 (ja) * 2004-07-21 2010-02-17 オリンパス株式会社 撮像装置
US9736346B2 (en) * 2006-05-09 2017-08-15 Stereo Display, Inc Imaging system improving image resolution of the system with low resolution image sensor
JP5511324B2 (ja) * 2009-11-17 2014-06-04 キヤノン株式会社 補償光学装置、補償光学方法、撮像装置、撮像方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1444736A (zh) * 2000-07-31 2003-09-24 三洋电机株式会社 电子摄像机和焦距控制方法
CN1777238A (zh) * 2004-11-15 2006-05-24 佳能株式会社 图像处理装置和图像处理方法
CN1992819A (zh) * 2005-12-27 2007-07-04 三星Techwin株式会社 拍摄装置和方法
US20100002088A1 (en) * 2008-07-04 2010-01-07 Canon Kabushiki Kaisha Vibration correcting device
US20100007759A1 (en) * 2008-07-10 2010-01-14 Yoshikazu Watanabe Image processor, imaging apparatus including the same, and image processing method
CN101902573A (zh) * 2009-05-25 2010-12-01 索尼公司 成像设备以及抖动校正方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108737726A (zh) * 2017-04-18 2018-11-02 佳能株式会社 图像处理设备和方法、摄像设备和计算机可读存储介质
US10778896B2 (en) 2017-04-18 2020-09-15 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN108737726B (zh) * 2017-04-18 2021-03-23 佳能株式会社 图像处理设备和方法、摄像设备和计算机可读存储介质
CN108492246A (zh) * 2018-03-12 2018-09-04 维沃移动通信有限公司 一种图像处理方法、装置及移动终端
CN111093031A (zh) * 2019-12-31 2020-05-01 维沃移动通信有限公司 图像生成方法及电子设备
CN111093031B (zh) * 2019-12-31 2021-06-15 维沃移动通信有限公司 图像生成方法及电子设备
CN115136579A (zh) * 2020-02-27 2022-09-30 株式会社富士 图像校正方法、拍摄装置及检查装置
CN115136579B (zh) * 2020-02-27 2023-08-04 株式会社富士 图像校正方法、拍摄装置及检查装置
CN112333385A (zh) * 2020-10-28 2021-02-05 维沃移动通信有限公司 电子防抖控制方法及装置

Also Published As

Publication number Publication date
CN104113703B (zh) 2017-07-28
US20140307111A1 (en) 2014-10-16
US9607361B2 (en) 2017-03-28
US9560277B2 (en) 2017-01-31
US20170004600A1 (en) 2017-01-05
JP2014225864A (ja) 2014-12-04
JP5762587B2 (ja) 2015-08-12

Similar Documents

Publication Publication Date Title
CN104113703A (zh) 图像处理装置及图像处理方法
US10200590B2 (en) Image pickup apparatus and method of controlling the same
US9723208B2 (en) Image processing apparatus, method for controlling the same, and storage medium
US10205878B2 (en) Image processing apparatus, image-capturing apparatus, image processing method, and non-transitory computer-readable storage medium
US20130335618A1 (en) Image recording apparatus and image reproducing apparatus
US20190129134A1 (en) Lens control apparatus, imaging apparatus including lens control apparatus, and lens control method
US11223774B2 (en) Imaging apparatus, lens apparatus, and method for controlling the same
US9743000B2 (en) Moving image processing apparatus, imaging apparatus, and moving image processing method
US20160323501A1 (en) Image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium
JP2011248159A (ja) 撮像装置、撮像システム、撮像装置の制御方法およびプログラム
CN104065868A (zh) 摄像设备及其控制方法
KR102531256B1 (ko) 화상 처리장치, 화상 처리방법, 촬상장치, 및 렌즈장치
US10477112B2 (en) Display control apparatus displaying image, control method therefor, and storage medium storing control program therefor
US20130195374A1 (en) Image processing apparatus, image processing method, and recording medium
US20170064210A1 (en) Control apparatus, control method, and storage medium
JP2011166497A (ja) 撮像装置
CN112995498B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
CN116112796A (zh) 控制装置,图像拾取装置,透镜装置和控制方法
JP2019208168A (ja) 撮像装置およびその制御方法ならびにプログラム
JP2010087564A (ja) 撮像装置、撮影画角補正方法及びプログラム
JP6188531B2 (ja) 撮像装置、その制御方法およびプログラム
US20180109720A1 (en) Image processing apparatus, image processing method, and storage medium
JP6630173B2 (ja) 撮像装置、撮像制御方法、及びプログラム
JP6539115B2 (ja) 撮像装置およびその制御方法、並びにプログラム
JP2009049457A (ja) 撮像装置およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant