CN101505374B - 图像处理设备及方法 - Google Patents

图像处理设备及方法 Download PDF

Info

Publication number
CN101505374B
CN101505374B CN2009100099764A CN200910009976A CN101505374B CN 101505374 B CN101505374 B CN 101505374B CN 2009100099764 A CN2009100099764 A CN 2009100099764A CN 200910009976 A CN200910009976 A CN 200910009976A CN 101505374 B CN101505374 B CN 101505374B
Authority
CN
China
Prior art keywords
image
evaluation
estimate
images
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009100099764A
Other languages
English (en)
Other versions
CN101505374A (zh
Inventor
疋田聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN101505374A publication Critical patent/CN101505374A/zh
Application granted granted Critical
Publication of CN101505374B publication Critical patent/CN101505374B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/365Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals by analysis of the spatial frequency components of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/676Bracketing for image capture at varying focusing conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/743Bracketing, i.e. taking a series of images with varying exposure conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2207/00Control of exposure by setting shutters, diaphragms, or filters separately or conjointly
    • G03B2207/005Control of exposure by setting shutters, diaphragms, or filters separately or conjointly involving control of motion blur
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005Blur detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种从短时间地变更焦点距离拍摄的若干图像中自动选择最对准焦点的图像的情况下,能够减少自动选择失败的图像处理设备。该图像处理设备包括输入装置(10)、补正装置(11)、计算装置(12)、以及选择装置(13)。所述输入装置(10)将变更同一被摄体的焦点距离拍摄的若干图像作为图像数据输入;所述补正装置(11)从被输入的图像数据中得到图像间所拍摄的被摄体的位置偏移量,并根据位置偏移量对各图像实行补正;所述计算装置(12)计算出表示补正后的各图像的对焦状态的评价值;所述选择装置(13)从计算出的评价值中选择具有最高评价值的图像作为最对准焦点的图像。

Description

图像处理设备及方法
技术领域
本发明涉及从短时间地变更焦点距离拍摄的若干图像中自动选择最对准焦点的图像的情况下,能够减少自动选择失败的图像处理设备以及图像处理方法。
背景技术
数字照相机作为能够拍摄被摄体,并将拍摄的图像作为数字数据记录的摄像设备,正在普及。数字照相机中搭载用于记录数字数据的存储卡和内置存储卡,以及用于显示图像的LCD显示器,能够记录若干图像,并显示被摄体和拍摄的图像。
当实际拍摄被摄体时,由于被摄体的人物闭眼,或在按下快门开关时手部发生抖动等,有记录下不良图像的情况。而且,为了将焦点对准喜欢的部分,必须先将焦点对在该部分,半按快门开关,在将自动聚焦锁定后进行拍摄,而该半按操作对于不熟悉照相机操作的人来说较困难,是成为对焦模糊照片的原因。
因此,虽然对同一被摄体连续拍摄若干张图像,并且,用户能够从中选择最好的图像,但是,由于存储卡和内置存储器中有对记录容量的限制,因此,不优选记录所有图像。于是,有些数字照相机中具备了最佳摄影选择功能,该功能用于从连续拍摄的所有图像中仅记录用户指定的图像。
另外,由于数字照相机的对焦点仅为一个部分,因此,当拍摄的对象物和人物是多数时,产生不知道对哪个对象物和人物进行对焦的情况。于是,有些数字照相机中具备了对焦包围摄影功能,该功能用于一边变更焦点位置一边进行连续拍摄。而且,该功能还能够从连续拍摄的图像中仅记录用户指定的图像。
但是,用户很难通过目视判断哪个图像焦点最准,仅采用这些功能不能选择最对准焦点的最好图像。
鉴于上述问题,提出了一种数字照相机,在一边变更焦点位置一边连续拍摄若干图像的情况下,能够从拍摄的若干图像中选择对焦状态良好的图像(参照专利文献1)。
该数字照相机包括上述的对焦包围摄像功能,首先,使用该功能进行连续拍摄,计算出对焦评价值,该对焦评价值表示连续拍摄的若干图像的各对焦状态。接着,根据该对焦评价值,选择对焦状态最好的图像,并记录该图像。更具体地说,如图1所示,用户从用于评价被固定的若干对焦状态的评价区域中选择接近于喜欢部分的评价区域1,并对其进行设定。该数字照相机,变更焦点距离连续拍摄被摄体2得到若干图像3-7,并且,从焦点距离各不相同的若干图像3-7中分别计算出被设定的评价区域的对焦评价值,自动选择对焦评价值最高的图像,并记录该图像。
专利文献1:2004-135029号公报
在上述数字照相机,若变更焦点距离,则包含摄像透镜、聚焦透镜、以及光圈的光学单元中实行变焦,在若干图像间所拍摄的被摄体2的大小发生变化,并且,如图2所示,用于评价对焦状态的评价区域1在图像间发生偏移。结果,不能够得到正确的评价值,并在自动选择与喜欢的部分对准焦点的图像时产生失败。
在连续拍摄时,即使是短时间,也会由于手部抖动等的影响,导致拍摄的被摄体2的位置在若干图像间发生偏移,如图3所示,用于评价对焦状态的评价区域1在图像间发生偏移,结果,不能够得到正确的评价值,在自动选择与喜欢的部分对准焦点的图像时会产生失败。
于是,希望提供一种即使产生上述的位置偏移,仍能够得到正确的评价值,并在自动选择与喜欢的部分对准焦点的图像时减少失败。
发明内容
本发明是鉴于上述课题,提供一种从在短时间以不同的焦点距离拍摄同一被摄体得到的若干图像数据中,得到各图像间所拍摄的被摄体的位置偏移量,根据该位置偏移量对图像进行变倍,并且补正被摄体的位置。由此,通过求得对补正后的各图像的评价值,能够得到正确的评价值,并减少在自动选择与喜欢的部分对准焦点的图像时的失败。
也就是说,根据本发明,提供一种图像处理设备,其包括输入装置、补正装置、计算装置、以及选择装置,所述输入装置将变更同一被摄体的焦点距离拍摄的若干图像作为图像数据输入;所述补正装置从被输入的图像数据中得到图像间所拍摄的被摄体的位置偏移量,并根据位置偏移量对各图像实行补正;所述计算装置计算出表示补正后的各图像的对焦状态的评价值;所述选择装置从计算出的评价值中选择具有最高评价值的图像作为最对准焦点的图像。
由于焦点距离不同导致图像间所拍摄的被摄体的尺寸产生差异,该差异导致产生了位置偏移。因此,补正装置根据位置偏移量通过对各图像进行变倍实行补正。
图像数据包含与图像间所拍摄的被摄体的尺寸相关的焦点距离信息,补正装置使用与该焦点信息对应的变倍率对各图像进行变倍,并且,实行补正,使各图像中所拍摄的被摄体的尺寸相等。由于该被摄体的尺寸依赖焦点距离,因此,在摄影时取得对变更焦点距离的马达设定的脉冲数等焦点距离信息,并且,根据该焦点距离信息能够计算出变倍率。例如,保存表示焦点距离信息与变倍率之关系的表,可以由该表求得变倍率。由此,能够解决图像间倍率不同、不能得到正确评价值的问题,并在自动选择与喜欢的部分对准焦点的图像时能够减少失败。
还可以包括区域指定装置,其根据用于计算评价值的评价区域的设定在各图像中指定评价区域。在此情况下,计算装置计算出表示评价区域的对焦状态的评价值。
进一步包括距离取得装置,其取得由所述选择装置选择的所述最对准焦点的图像的所述焦点距离作为到达所述被摄体的距离。由此,使用距离信息识别目标,并保持前景模糊背景,或区分前景与背景实行白平衡处理。
本发明中,除了提供图像处理设备之外,还提供用于上述图像处理设备的图像处理方法。
另外,提供一种图像处理设备,包括:图像输入装置,用于输入被摄体的多个图像,通过光学系统连续拍摄所述多个图像,同时针对每个图像变更所述光学系统的焦点长度;评价值获得装置,用于针对所述多个图像的每个图像获得评价值,所述评价值指示在每个图像中所述被摄体的被摄体区域被对焦的程度;位置偏移检测装置,用于针对所述多个图像的每个图像获得用于指示每个图像中的所述被摄体区域关于参考点的位置偏移的位置偏移值;位置偏移补正装置,用于产生补正后的评价值,所述补正后的评价值补偿针对每个图像获得的所述位置偏移值;和图像选择装置,用于基于所述补正后的评价值选择具有最为焦点对准的所述被摄体区域的图像作为最为焦点对准的图像。
另外,提供一种图像处理设备,其特征在于:所述位置偏移补正装置进一步配置来使用针对所述多个图像的每个图像获得的所述位置偏移值补正针对所述多个图像的每个图像获得的所述评价值,以产生所述补正后的评价值。
另外,提供一种图像处理设备,其特征在于:所述位置偏移值包括下列位置偏移值中的至少一个:由于所述光学系统的所述焦点长度的变化引起的第一位置偏移值;和由于所述光学系统关于所述被摄体的位置变化引起的第二位置偏移值。
另外,提供一种图像处理设备,进一步包括:存储装置,用于存储指示所述光学系统的焦点长度的信息以及关于与所述光学系统的所述焦点长度对应的变倍率的信息,其中位置偏移检测装置进一步配置来,针对所述多个图像的每个图像获得用于指示在拍摄每个图像时所使用的所述光学系统的所述焦点长度的信息,并且将其作为关于针对每个图像获得的所述第一位置偏移值的信息;和位置偏移补正装置进一步配置来,从所述存储装置获得关于所述变倍率的信息,所述变倍率与关于针对每个图像获得的所述第一位置偏移值的信息对应,并且使用关于所述变倍率获得的信息来产生所述补正后的评价值。
另外,提供一种图像处理设备,其特征在于:所述位置偏移检测装置包括:运动检测电路,配置来针对所述多个图像的每个图像检测所述第二位置偏移值。
另外,提供一种图像处理设备,其特征在于:所述位置偏移检测装置包括:缩小尺寸图像产生装置,用于针对所述多个图像中的每个图像,产生具有小于所述图像输入装置输入的每个图像的图像尺寸的图像尺寸的缩小尺寸图像;处理控制装置,用于将所述缩小尺寸图像设置为第一图像和第二图像,而关于所述第一图像将所述第二图像位置偏移预定值;图案匹配应用装置,用于应用图案匹配来指定具有与所述第二图像的所选部分基本类似的图案的所述第一图像的部分来产生检测结果;和位置偏移值获得装置,用于使用所述检测结果获得所述第二位置偏移值。
另外,提供一种图像处理设备,进一步包括:用户指令输入装置,用于获得用来限定所述被摄体的所述被摄体区域的用户指令,其中针对由所述用户指令限定的所述被摄体区域获得所述补正后的评价值。
另外,提供一种图像处理设备,进一步包括:被摄体距离获得装置,用于获得与最为对焦的图像对应的被摄体距离,以进行进一步处理。
另外,提供一种信息处理系统,包括:如权利要求11至18中的任意一个所述的图像处理设备;和配备了光学系统的照相装置,并且配置来拍摄多个图像。
另外,提供一种由图像处理设备执行的图像处理方法,所述图像处理方法包括:输入被摄体的多个图像,通过光学系统连续拍摄所述多个图像,同时针对每个图像变更所述光学系统的焦点长度;针对所述多个图像的每个图像获得评价值,所述评价值指示在每个图像中所述被摄体的被摄体区域被对焦的程度;针对所述多个图像的每个图像获得用于指示每个图像中的所述被摄体的所述被摄体区域关于参考点的位置偏移的位置偏移值;产生补正后的评价值,所述补正后的评价值补偿针对每个图像获得的所述位置偏移值;和基于所述补正后的评价值选择具有最为焦点对准的所述被摄体区域的图像作为最为焦点对准的图像,其中所述位置偏移值包括下列位置偏移值中的至少一个:由于所述光学系统的所述焦点长度的变化引起的第一位置偏移值;和由于所述光学系统关于所述被摄体的位置变化引起的第二位置偏移值。
另外,提供一种图像处理方法,进一步包括:存储指示所述光学系统的焦点长度的信息以及关于与所述光学系统的所述焦点长度对应的变倍率的信息,其中针对所述多个图像的每个图像获得关于偏移值的信息进一步包括:针对所述多个图像的每个图像获得用于指示在拍摄每个图像时所使用的所述光学系统的所述焦点长度的信息,并且将其作为关于针对每个图像获得的所述第一位置偏移值的信息,其中产生补正后的评价值进一步包括:从所述存储装置获得关于所述变倍率的信息,所述变倍率与关于针对每个图像获得的所述第一位置偏移值的信息对应;和使用关于所述变倍率获得的信息来产生所述补正后的评价值。
另外,提供一种图像处理方法,进一步包括:在所述图像处理设备中提供运动检测电路,所述运动检测电路配置来针对所述多个图像的每个图像检测所述第二位置偏移值。
另外,提供一种图像处理方法,进一步包括:在所述图像处理设备中提供处理器,所述处理器配置来执行针对所述多个图像中的每个图像获得关于位置偏移值的信息的步骤,其中针对所述多个图像中的每个图像获得关于位置偏移值的信息进一步包括:针对所述多个图像中的每个图像,产生具有小于所输入的每个图像的图像尺寸的图像尺寸的缩小尺寸图像;将所述缩小尺寸图像设置为第一图像和第二图像,而关于所述第一图像将所述第二图像位置偏移预定值;应用图案匹配来指定具有与所述第二图像的所选部分基本类似的图案的所述第一图像的部分来产生检测结果;和使用所述检测结果获得所述第二位置偏移值。
另外,提供一种计算机程序,包括当在计算机系统执行时,指令计算机系统执行上述图像处理方法的程序代码。
另外,提供一种记录介质,存储上述计算机程序的记录介质。
附图说明
图1是例示变更焦点距离拍摄的若干图像的图;
图2(2A和2B)是例示变更焦点距离拍摄的两个图像的图;
图3(3A和3B)是表示由于手部抖动产生位置偏移的图像的图;
图4是本实施方式的图像处理装置的功能方框图;
图5是表示焦点距离信息与变倍率之关系的表;
图6是作为图像处理装置的一例表示的数字照相机的外观图;
图7是数字照相机的构成方框图;
图8表示通过变倍实行补正处理的流程图;
图9表示使用通过检测位置偏移的装置取得的偏移量实行补正处理的流程图;
图10是表示组合图样匹配功能与缩小功能求得偏移量,并使用该偏移量实行补正处理的流程图;
图11是表示将图像分割为若干区域的图;
图12是表示实行变倍补正,并将被选择的图像的焦点距离作为到被摄体的正确距离计算的处理;
图13是表示使用通过检测位置偏移的装置取得的偏移量实行补正的性框下,计算到被摄体的正确距离的处理。
具体实施方式
本发明的图像处理设备在从短时间地变更焦点距离拍摄的若干图像中自动选择最对准焦点的图像之情况下,能够减少自动选择的失败。图4是表示该图像处理设备的一例的功能方框图。
该图像处理设备包括:输入装置10、补正装置11、计算装置12、以及选择装置13。所述输入装置10将短时间地变更焦点距离拍摄的若干图像作为图像数据输入;所述补正装置11根据位置偏移量对各图像实行补正;所述计算装置12计算表示补正后各图像的对焦状态的评价值;所述选择装置13从被计算出的评价值中选择具有最高评价值的图像作为最对准焦点的图像。
而且,该图像处理设备还包括区域指定装置14与距离取得装置15。所述区域指定装置14根据评价区域的设定在各图像中指定评价区域,所述评价区域用于计算评价值;所述距离取得装置15取得由选择装置13所选择的最对准焦点的图像的焦点距离作为到达被摄体的距离。
为了正确记录与用户喜欢的部分对准焦点的图像,输入装置10将短时间地变更焦点距离拍摄的若干图像作为图像数据输入,并且,选择装置13根据计算装置12计算出的评价值,从这些图像中自动选择最对准焦点的图像,并将其存储到存储装置16。除了自动选择之外,也可对用户显示评价值并根据用户的决定选择图像。然而,若变更焦点距离,则所拍摄的被摄体尺寸在图像间各不相同,在从若干图像中自动选择一个图像时,不能进行正确的评价。
由于焦点距离不同导致所拍摄的被摄体尺寸在图像间产生差异,该差异使得图像间产生位置偏移。这是因为若被摄体的倍率不同,则从预先设定的任意点到达构成被摄体的各点的距离不同。例如,若将任意点设为图像角上的点,将被摄体设为人物,则图像中被摄体的尺寸越小,从该点到人物脸部的距离越长,而图像中被摄体的尺寸越大,从该点到人物脸部的距离越短。
为了实行避免上述位置偏移的补正,设置补正装置11。该补正装置11包括取得位置偏移量的位置偏移量取得装置11a,与根据所取得的位置偏移量对各图像进行变倍的位置偏移量补正装置11b。位置偏移量取得装置11a求得各图像中从上述的任意点到构成被摄体的各点的距离,并能够将距离差作为位置偏移量取得。该位置偏移量可以作为像素数取得。由于上述距离依赖焦点距离,因此,也可以通过焦点距离信息取得位置偏移量。作为焦点距离信息,可以例举对变更焦点距离的马达设定的脉冲数,该焦点距离信息可以包含在图像数据中取得。
位置偏移量补正装置11b使用由被摄体的尺寸差异计算出的变倍率对各图像进行变倍,并且,实行补正,能够使各图像中所拍摄的被摄体的尺寸成为相等的尺寸。由于被摄体的尺寸差异导致从任意点开始的距离产生差异,因此依赖焦点距离。焦点距离可以作为如上所述的摄影时的脉冲数等取得。因此,将表示焦点距离的信息与变倍率关系的表预先存储在图像处理设备中的存储装置16,在实行补正时读出并使用,从而,能够通过焦点距离的信息求得变倍率。
在补偿被摄体区域1的位置偏移的同时,位置偏移补正器11b获得,或促使评价值获得装置12获得评价值,使得针对每个图像精确地获得用于被摄体区域1的评价值。
例如,为了补正位置偏移,位置偏移值补正器11b放大或缩小每个图像的尺寸,以便使被摄体区域1在图像间具有同样的尺寸,并且促使评价值获得装置12使用已经被放大或缩小的图像,针对每个图像获得评价值。
在另一个实例中,位置偏移补正器11b可以补正评价值,其中针对未被放大或缩小的每个图像,通过评价值获得装置12预先获得该评价值,从而补正后的评价值反映被摄体区域1。更具体地,位置偏移值补正器11b可以使用针对原始图像预先获得的评价值以及与位置偏移值检测器11a获得的位置偏移值对应的变倍率来计算补正后的评价值。
这里,参照图5对上述表进行说明。图5所示的表中,焦点距离与变换焦点距离的马达的脉冲数相关,并且,该脉冲数与焦点距离成正比,因此,可以用脉冲数作为焦点距离信息。变倍率用于根据焦点距离对图像进行变倍,因此,若变倍率为1.03,则对所拍摄的图像实行1.03倍补正。例如,脉冲数为100时,变倍率设定为1.00,可以此为基准决定变倍率。
在图5中,随着脉冲数的增大变倍率也上升,例如脉冲数为124、140、156时,变倍率成为1.03、1.05、1.08。表示焦点距离与变倍率之关系的表可以通过公知的计算式,或通过实际测量作成。
再次参照图4,计算装置12计算出评价值,该评价值用于表示由补正装置11补正后的各图像的对焦状态。在图像的被摄体与背景的边界部分,存在激剧的亮度和色差值(边缘)的变化,并且,若将有边缘的图像变换成频率空间,则高频分量的绝对值变高,这是众所周知的。即,越是浓淡等分布细致的图像,其频率越高,高频分量越多越鲜明。作为表示有多少该高频分量的指标,导入了AF评价值。例如,对于图像数据,使用仅使高频分量通过的高通滤波器,以及仅使某高频分量通过的带通滤波器,并且,累计所得到的输出值,能够求得AF评价值。
上述表示对焦状态的评价值在这里是变倍后的AF评价值,该变倍后的AF评价值是以摄影时的AF评价值为基础,通过变倍对位置偏移实行补正并计算出的。因此,计算装置12对于补正前拍摄的图像,也是实行上述处理计算出摄影时的AF评价值。
该评价值是用于评价焦点对准精度的大概值,该大概值越高表示越对准焦点。因此,选择装置13从计算出的评价值中,选择评价值最高的图像作为最对准焦点的图像。这样,对于变换焦点距离拍摄的若干图像的每个图像,在实行补正后进行评价,从而,能够进行正确的评价,并能够减少在自动选择与用户喜欢的部分最对准焦点图像时的失败。
为了确定用户所喜欢的部分,可以由用户自身指定该部分。该部分可以作为设定信息存储在存储装置16,区域值指定装置14根据该设定将图像的指定区域作为评价区域指定。关于评价区域的指定,包括由用户指定以及初始指定。更具体地说,将图1和图2所示的用正方形包围的部分作为评价区域指定。在区域指定装置14指定了评价区域的情况下,计算装置12计算出该评价区域的评价值。
这样能够自动选择最对准焦点的图像,拍摄被选择图像时的焦点距离最正确地表示了到达被摄体的距离。距离取得装置15取得选择图像的焦点距离作为到达被摄体的距离。由此,利用距离信息识别目标,并且,可以使前景保持原样仅虚化背景,或区分前景与背景进行自动白平衡处理。
以上,参照图4所示的功能方框图对图像处理设备的构成进行了详细说明,但是,也可以是能够执行程序,并且,使上述各装置发挥功能的任何设备,可以例举计算机、复合机、以及图6与图7所示的数字照相机。图6是数字照相机的外观图,图7是详细表示数字照相机构成的方框图。下面,参照图6、7,简单地对作为图像处理设备的一例的数字照相机进行说明。
首先参照图6,数字照相机包括:释放快门SW1与模式转盘SW2。按下所述释放快门SW1以拍摄被摄体,所述模式转盘SW2用于变更包括摄影模式和再生模式等模式。释放快门SW1分为半按与全按,半按时,对准焦点,通过全按执行摄影。
另外,数字照相机还包括:变焦按钮SW3、SW4、自动定时按钮SW5、菜单按钮SW6、上下左右按钮SW7、SW8、SW9、SW10、显示按钮SW11、以及OK按钮SW12。所述变焦按钮SW3、SW4进行宽度与远距离变焦;所述自动定时按钮SW5在定时摄影时被按下;所述菜单按钮SW6所显示的菜单用于设定记录像素数、包括超精密、精密以及标准的压缩率、曝光补正、ISO感度、白平衡、仅显示一个图像的单再生、将若干图像一起显示的索引再生、动画再生等;所述上下左右按钮SW7-SW10用于选择菜单、或使各值增大或减小;所述显示按钮SW11用于使图像和菜单显示在LCD显示器;所述OK按钮SW12用于决定被选择的菜单,并且,设定各值。
而且,数字照相机还包括:光学取景器20、AF LED21、闪光灯LED22、LCD显示器23、以及电源按钮24。所述光学取景器20决定摄影时的范围,并且,用于对准焦点;所述AF LED21用于表示摄影时的对焦状态;所述闪光灯LED22用于表示闪光灯的充电状态;所述LCD显示器23用于监视摄影前被摄体的状态,或确认拍摄的图像,或显示被保存的图像和菜单等;所述电源按钮24用于接通数字照相机的主电源。AF LED21与闪光灯LED22还能够用于显示存储卡正在进行存取等其它显示。
参照图7,数字照相机进一步包括用于保持若干独立的透镜元件的镜筒单元。该镜筒单元设有:变焦光学系统、聚焦光学系统、光圈单元、机械快门单元、以及马达驱动器29。所述变焦光学系统由取入被摄体的光学图像的变焦透镜25a、驱动变焦透镜25a实行变焦的变焦驱动马达25b构成;所述聚焦光学系统由聚焦透镜26a与聚焦驱动马达26b构成,其用于调整焦点;所述光圈单元由光圈27a与光圈马达27b构成,其用于调整光量;所述机械快门单元由机械快门28a与机械快门马达28b构成,其用于在从CCD40读出数据时对CCD40遮光;所述马达驱动器29驱动各马达。
该马达驱动器29通过驱动命令被控制驱动,该驱动命令是根据使用遥控器向遥控受光部69的输入,以及通过按下图4所示的释放快门SW1、模式转盘SW2、以及各按钮SW3-SW12的输入,从处理器中的CPU处理块发出。
该数字照相机还包括作为存储装置的SDRAM30、ROM31、RAM32、内置存储器33,以及使得作为外部存储器的存储卡能够安装或拆下的存储卡槽34。SDRAM30收纳拍摄的图像数据。图像数据可以例举以下数据:RAW-RGB数据、YUV数据、以及JPEG数据。所述RAW-RGB数据是在进行图像处理前数据照相机固有的数据;所述YUV数据是通过亮度信号(Y)、亮度信号与青色分量的差(U)、亮度信号与红色分量的差(V)这三种信息表示颜色的形式;所述JPEG数据作为静止图像数据压缩方式的一种。
ROM31收纳用CPU处理块能够译码的编码的记载的控制程序和用于控制的参数。若数字照相机的电源按钮24被按下,接通电源,则控制程序被从主存储器(没有图示)读出,CPU块按照该程序控制各部分动作,同时,将实行控制时所需的数据暂时保存在RAM32与处理器中的局部存储器SRAM。若在ROM31使用能够重写的快速ROM,则能够变更控制程序和参数,因此,能够容易地实行功能的版本更新。
除了上述SDRAM30以外,还可将上述图像数据存储在内置存储器33和安装在存储卡槽34的存储卡中。即使存储卡槽34中没有安装存储卡,内置存储器33也能够存储拍摄的图像。这些存储器作为图4所示的存储装置16发挥功能。
数字照相机还包括CCD40以及F/E(前端)-IC41。CCD40是用于对光学图像实行光电转换的固态摄像元件。F/E-IC41由CDS41a、AGC41b、A/D转换器41c以及TG41d构成。所述CDS41a实行相关双重取样,用于除去图像噪声;所述AGC41b实行增益调整;所述A/D转换器41c实行数字信号转换;所述TG41d中被提供来自CCD1信号处理块的垂直同步信号(VD)、水平同步信号(HD),并通过CPU块产生CCD40以及F/E-IC41的驱动时间信号。
这里,相关双重取样是指,通过一定的时间间隔对同一信号实行二次取样,使用差值得到信号的峰值。增益是通过放大器在输入或输出时的电压或电流比,表示放大器的放大功能的值。
数字照相机包括处理器,该处理器中包括:CCD1信号处理块50、CCD2信号处理块51、CPU块52、局部SRAM53、USB块54、串行块55、JPEG CODE块56、RESIZE块57、TV信号显示块58以及存储卡块59。所述CCD1信号处理块50对于从CCD40输出到F/E-IC41的数据实行白平衡设定和灰度系数设定,并供给VD以及HD;CCD2信号处理块51通过滤波处理,实行亮度数据和色差数据的转换;所述CPU块52控制该图像处理设备各部分的动作;所述局部SRAM53暂时保存实行控制时所需的数据等;所述USB块54通过USB连接与个人计算机(PC)等外部设备实行通信;所述串行块55与PC等外部设备实行串行通信;所述JPEG CODEC块56实行JPEG压缩与扩张;所述RESIZE块57通过增补处理扩大或缩小图像数据的尺寸;所述TV信号显示块58将图像数据转换为视频信号、以使其显示在液晶显示器和TV等外部显示设备;所述存储卡控制块59对记录被拍摄的图像数据的存储卡进行控制。
处理器在对图像数据实施各种处理时,将图像数据暂时保存在SDRAM30。被保存的图像数据,例如从CCD40经由F/E-IC41被读入,由CCD1信号处理块50实行白平衡设定和灰度系数设定,成为RAW-RGB图像数据。若由CCD2信号处理器51实行亮度数据和色差数据的转换,则成为YUV图像数据。若由JPEGCODE块56实行JPEG压缩,则成为JPEG图像数据。F/E-IC41作为输入装置10发挥功能,CPU块52从ROM31读出控制程序并执行,并作为补正装置11、计算装置12、选择装置13、区域指定装置14、以及距离取得装置15发挥功能。
数字照相机进一步包括:LCD驱动器60、视频AMP61、视频插孔62、USB连接器63、串行驱动电路64、RS-232连接器65、SUB-CPU66、副LCD67、蜂鸣器68、遥控受光部69以及LCD驱动器70。
LCD驱动器60是驱动LCD屏幕23的驱动电路,其功能在于将从TV信号显示块58输出的视频信号转换为用于显示在LCD显示器23的信号。视频AMP61是用于将从TV显示块58输出的视频信号转换为75Ω阻抗的放大器。视频插孔62用于连接TV等外部显示设备。
USB连接器63用于与PC等外部设备实行USB连接。串行驱动电路64变换处理器中串行块55的输出信号的电压,以与PC等外部设备实行串行通信。RS-232连接器65用于与PC等外部设备实行串行连接。
SUB-CPU66是将ROM31与RAM搭载于一个芯片的CPU,其将释放快门SW1、模式转盘SW2、各按钮SW3-SW12、24以及遥控受光部69的输出信号作为用户的操作信息,向CPU块52输出,或将CPU52输出的照相机状态变换为对副LCD67、AF LED21、闪光灯LED22、以及蜂鸣器68的控制信号输出。
副LCD67可作为例如显示可拍摄张数的显示部。LCD驱动器70根据SUB-CPU66的输出信号,驱动副LCD67。
该数字照相机还包括:声音记录单元、声音再生单元、以及Bluetooth(蓝牙)电路73。声音记录单元由用户输入声音的传声器71a、将被输入的声音信号放大的AMP71b以及记录被放大的声音信号的声音记录电路71c构成。声音再生单元由声音再生电路72c、声频AMP72b、以及扬声器72a构成。所述声音再生电路72c将被记录的声音信号转换成能够从扬声器输出的信号;所述声频AMP72b用于放大被变换的声音信号、并且、驱动扬声器;所述扬声器72a输出声音信号。
Bluetooth电路73实行与Bluetooth对应设备的连接。即使在没有该电路73的情况下,通过将Bluetooth卡与存储卡槽34连接,也能够与该Bluetooth对应设备连接。通过Ethernet(以太网)(注册商标)连接电路(没有图示)或无线Ethernet连接电路能够实行与Ethernet的连接。在没有该Ethernet连接电路的情况下,通过将LAN卡或无线LAN卡与存储卡槽34连接,能够与网络连接。
此外,数字照相机还包括:闪光灯发光部74、闪光灯电路75、以及测距单元76。所述闪光灯发光部74使得闪光灯发光;所述闪光灯电路75对上述闪光灯发光部74发出指令,使闪光灯发光;所述测距单元76用于测定照相机到达被摄体的距离。
该数字照相机能够根据各种设定拍摄用户喜欢的被摄体,此外,能够短时间地以不同焦点距离拍摄同一被摄体,并得到若干图像。在被摄体为人物,并将焦点对准脸部的情况下,焦点距离是从数字照相机到脸部的距离。短时间地以不同焦点距离拍摄同一被摄体的情况下,可以设定该摄影用模式。用户通过选择该模式,短时间地以不同焦点距离拍摄,能够得到若干图像。可以通过模式转盘SW2选择摄影模式,并按下菜单按钮SW6选择,设定该模式。
在设定了该模式的情况下,若释放开关SW1被全部按下并被指令拍摄记录,则CPU块52通过马达驱动器29驱动聚焦驱动马达26b,并且,一边变更焦点距离一边短时间地连续拍摄若干图像。拍摄图像的图像数据被存储在SDRAM30。
在用该数字照相机摄影时为了将焦点对准喜欢的部分,需要先将照相机朝向被摄体并半按释放开关SW1。为了保持对准焦点的状态进行拍摄,需要将自动聚焦锁定在喜欢的部分,例如脸部等,之后,将释放开关SW1全部按下进行拍摄。该半按动作对于不熟悉照相机的人来说比较困难,并成为对焦模糊照片的原因。于是,短时间地以不同的焦点距离拍摄若干图像,并且,指定要对准焦点的部分,选择与该部分最对准焦点的图像。
此时,如图2所示,由于变更焦点距离使得光学系统发生变化,因此,根据焦点距离求得变倍率,并根据该变倍率对各图像实行补正。由此,即使在焦点距离不同的图像之间也能够得到正确的评价值。
参照图8所示的流程图,详细说明变更焦点距离进行连续拍摄,在自动选择与指定部分最对准焦点的图像时,根据焦点距离实行通过变倍补正偏移的处理。
从步骤S800开始实行该处理,首先,在步骤S801,选择一边变更焦点距离一边连续拍摄的模式。该模式选择是用户通过菜单进行。
接着,在步骤S802,一边变更焦点距离一边对同一被摄体进行拍摄,并且,将所拍摄的图像作为图像数据保存。图像数据被存储在SDRAM30。在步骤S803,保存该图像数据,同时,保存拍摄时的焦点距离信息与AF评价信息。之后,在步骤804,判断是否达到指定的拍摄张数。
拍摄张数的指定可以由用户预先设定,也可以采用作为初始值被设定的值。作为焦点距离信息,可以例举上述的变更焦点距离的马达的脉冲数。AF评价值信息包含AF评价值。
这里计算并保存AF评价值的目的在于,以该摄影时的AF评价值为基础通过变倍对位置偏移进行补正,从而,计算出变倍后的AF评价值。
在步骤S804,若判断没有达到指定张数,则返回步骤S802,变更焦点距离进行拍摄。若达到指定张数,则进入步骤S805,通过用户界面指定要对准焦点的区域,即评价区域。在使用数字照相机的情况下,通过使用上下左右按钮SW7-SW10,并且指定该区域的对角线上的两个点,能够进行评价区域的指定。
在步骤S806,设定N=1,进入步骤S807。在步骤S807,读出一个图像的图像数据、对应于该图像的焦点距离信息以及AF评价信息。在步骤S808,从表示焦点距离与变倍率之关系的表得到变倍率。在步骤S809,使用该变倍率实行变倍补正,将该图像放大或缩小,并且,计算出该评价区域的AF评价值。之后,进入步骤S810,增加一个N,进入步骤S811。
在步骤S811,判断N是否达到或超过指定张数。由于指定张数中的一张是用于求得偏移量的基准图像,因此,这里不是判断是否超过指定张数,而是判断是否达到或超过指定张数,并且,不对该基准图像实行变倍补正。若没有达到指定张数,则返回步骤S807,读出下一个图像数据、对应于该图像的焦点距离信息以及AF评价值信息。
若达到或超过指定张数,则进入步骤S812,对计算出的评价值进行比较,并且,选择具有最大评价值的图像。之后,在步骤S813,将选择的图像输出,并且,在步骤S814结束处理。可以将图像显示在LCD显示器23,仅将该图像存储在内置存储器33或安装在存储卡槽34中的存储卡,并且将其它图像全部消除。
在拉长焦点距离,或缩短焦点距离的情况下,优选以指定张数的中间一张的拍摄图像为基准,求得变更焦点距离拍摄的若干图像之间产生的偏移量。更具体地说,若指定张数为9张,则将第5张拍摄图像作为基准图像。
这样,在变更了焦点距离的情况下,由于光学系统发生变化引起若干图像间的倍率发生变化,对此实行变倍补正,并通过正确的评价值进行评价,从而,能够减少自动选择与喜欢的部分对准焦点的图像时的失败。
以上说明了由于焦点距离不同,光学系统发生变化,并且拍摄的各图像中,若焦点距离短,则图像中的被摄体变大,若焦点距离长,则图像中的被摄体变小,为了对其实行补正,实行了变倍补正。在实际的摄影中,即使短时间地进行拍摄,但由于手部抖动等影响,仍会产生图3所示的若干图像间产生位置偏移的情况。在产生该位置偏移的情况下,由于评价区域在图像间发生偏移,因此,不能得到正确的评价值,在自动选择与喜欢的部分对准焦点的图像时,恐怕发生失败。
实际上,在两秒钟拍摄16张的情况下,由于手部发生抖动,最大产生15%的偏移。在将水平分辨率设为3072像素的情况下,约有460像素发生偏移,偏移量大。
于是,设置检测图像间偏移量的装置,并根据检测出的偏移量补正评价区域的位置。作为该检测偏移量的装置,可以利用作为数字照相机的功能被搭载的硬件的动作检测功能。可通过动作检测电路实现动作检测功能,检测出图像的移动区域。这里,动作检测电路包含在CPU块52中。移动量与偏移量相等,偏移量以像素数量为单位。
参照图9所示的流程图,说明以下处理,变更焦点距离进行连续拍摄,并且在自动选择与指定部分最对准焦点的图像时,利用该动作检测功能实行偏移量补正处理。
在步骤S900开始处理,首先,在步骤S901选择一边变更焦点距离一边连续拍摄的模式。接着,在步骤S902变更焦点距离进行拍摄。之后,在步骤S903,利用动作检测功能取得图像间的偏移量。为了取得图像间的偏移量,需要作为比较对象的图像,并且不取得该作为比较对象的基准图像的偏移量。在步骤S904,保存所得到的图像间的偏移量、拍摄时得到的焦点距离信息以及AF评价值信息。保存完毕后,在步骤S905判断拍摄张数是否达到指定张数。
若判断没有达到指定张数,则重复实行步骤S902-S904的处理,直到达到指定张数。若判断达到指定张数,则进入步骤S906,通过用户界面指定要对准焦点的区域,即评价区域。在此情况下,可以通过例如上下左右按钮SW7-SW10指定评价区域。
在步骤S907,设定N=1,进入步骤S908。在步骤S908,读出一个图像的图像数据、图像间的偏移量、焦点距离信息以及AF评价值信息。在步骤S909,通过图像间的偏移量补正要对准焦点的区域的位置,并且,在实行该补正后,计算出该区域的AF评价值。之后,进入步骤S910,增加1个N,进入步骤S911。
在步骤S911,判断N是否达到或超过指定张数。若N没有达到或超过指定张数,则返回步骤S908,读出下一个图像数据、图像间的偏移量、焦点距离信息以及AF评价值信息。
若判断达到或超过指定张数,则进入步骤S912,对计算出的评价值进行比较,并且,选择具有最大评价值的图像。之后,在步骤S913,将选择的图像输出,并在步骤S914结束处理。可以将图像显示在LCD显示器23,仅将该图像存储在内置存储器33或安装在存储卡槽34的存储卡,并且,可将其它图像数据全部消除。
由于手部抖动等因素使得被摄体移动,并且,在若干图像间产生位置偏移,即使在这样的情况下,通过实行位置偏移补正,并通过正确的评价值进行评价,能够减少自动选择与喜欢的部分对准焦点的图像时的失败。
在上述实施例中,利用数字照相机所具备的动作检测功能检测偏移量,但是,也有不具备该动作检测功能的数字照相机。于是,使得只具备图样匹配功能与缩小功能等基本功能的数字照相机,也能够组合其基本功能,高速检测图像间的偏移量。所述图样匹配功能用于从8×8像素的区域搜索与4×4像素构成的图样最类似的区域,所述缩小功能用于将图像缩小到指定倍率。
在本实施例中,使用为了实行硬件的基本控制而组入的固件,分级变更缩小率生成缩小图像。之后,在若干部分实行分级匹配,并求得图像间的偏移量。以指定次数实行该处理,并按多数结果决定该图像的偏移量。
参照图10所示的流程图对具体的处理进行说明。在步骤S1000开始处理,首先,在步骤S1001,利用上述缩小功能,生成与所需偏移量精度对应的缩小图像。若过分缩小,则不能检测出偏移量,因此,缩小到至少能够检测出偏移量的尺寸,例如,320×240像素。
在步骤S1002,判断刚生成的缩小到1/2的图像尺寸是否等于或小于16×16像素。若判断没有等于或小于该像素,则进入步骤S1003,生成缩小到1/2的缩小图像。之后,返回步骤S1002,再次判断缩小图像的尺寸。
在步骤S1002,若判断缩小到1/2的图像尺寸等于或小于16×16像素,则进入步骤S1004,在将图像的一个方向设为x方向,并将与其垂直的方向设为y方向的情况下,将表示与基准点相差值的x、y的偏移量初始化,成为0。
在步骤S1005,将缩小率最高的图像设定为最初的基准图像与对象图像。之后,在步骤S1006,将指定次数N初始化,成为1。
在步骤S1007,将基准图像中的数据设定在8×8像素的数据区域,并且,在步骤S1008,使对象图像中的数据移动x、y的偏移量,并设定在4×4像素的数据区域。在步骤S1009,利用图样匹配功能,从指定的8×8像素所构成的图像数据中搜索与指定的4×4像素所构成的图样最类似的部分。之后,在步骤S1010,增加一次指定次数N,并且,在步骤S1011,判断是否达到或超过预先指定的次数,若判断没有达到或超过预先指定的次数,则重复实行步骤S1007-S1010的处理。指定次数可以任意设定,例如,设定为三次。
在步骤S1011,若判断指定次数达到或超过预先指定的次数,则进入步骤S1012,此时,循环指定的次数,作为与指定次数相同次的搜索结果,能够得到最类似的部分。基本上在任意一次中都是将同一部分作为最类似的部分搜索,并且所有搜索结果应该都是相同的偏移量,但实际上,并不仅限于将同一部分作为最类似的部分搜索,在该部分与其它部分近似的情况下,也有将其它部分作为最类似的部分搜索的情况。因此,在步骤1012,按多数搜索结果决定偏移量,并将其作为补正图像用偏移量决定。由此,即使在一部分不能得到正确的偏移量,仍能够通过多数结果得到正确的偏移量。在该阶段,能够取得缩小率最高的图像的偏移量。
进入步骤S1013,判断现在的图像是否是缩小率最低的图像。若判断现在的图像不是缩小率最低的图像,则进入步骤S1014,从其偏移量计算x、y的偏移量,并且,在步骤S1015,将缩小率低一级的图像设定为基准图像与对象图像,并返回步骤S1006。
相对于此,若判断现在的图像是缩小率最低的图像,则由于不存在比该缩小率更低的图像,因此,进入步骤S1016,输出在步骤S1012得到的偏移量,并且,在步骤S1017结束处理。被输出的偏移量是从缩小率最低的图像得到的偏移量。
这样,即使数字照相机不具备动作检测功能,但通过组合图样匹配功能和缩小功能等基本功能,仍能够高速检测图像间的偏移量。
只要知道图像被细分割后得到的各区域到达被摄体的距离,数字照相机就能够使用该距离信息识别目标,保持前景仅使背景模糊,或区分前景与背景,进行自动白平衡处理。
图像是如图11所示,细分割构成各区域100。可以将各区域100到达被摄体的距离作为距离图得到。作为一个为了得到距离图的例子,从短时间变更焦点距离拍摄的若干图像中,搜索细分割的各区域100中最对准焦点的图像,从而,能够计算出到达各区域100的距离。
以往技术中,从若干张图像中检测最对准焦点的图像并计算到达各区域的距离是公知的方法。但是,在以往的方法中,若变更焦点距离,则光学系统发生变化,并且,导致在若干图像间倍率发生变化,用于评价焦点对准状态的评价区域也在图像间发生偏移,因此,不能得到正确的评价值,存在不能计算出正确距离的情况。而且,由于手部抖动等产生位置偏移,结果导致评价区域在图像间发生偏移,有不能得到正确评价值的问题。
但是,通过提供实行上述变倍补正等的图像处理装置,能够得到正确的评价值,并计算出正确的距离。
计算从被摄体到各区域100的距离的处理与图8-10的流程图所示的处理大致相同。这里仅对不同的步骤进行详细说明,并参照图12、13说明该计算距离的处理。
图12所示的步骤S1200-S1204是与图8所示的步骤S800-S804相同的处理。在步骤S1204若判断达到指定张数,则进入步骤S1205,将没有得到距离的评价区域设定为处理对象。若设定评价区域,则与图8所示步骤S806-S811相同,在步骤S1206-S1211中,实行以下处理,使N初始化,设定N=1,并且,读出焦点距离信息与AF评价值信息,直到N达到或超过指定张数,并从表示焦点距离信息与变倍率之关系的表得到变倍率,通过变倍率实行补正,得到评价值。
若判断N达到或超过指定张数,则在步骤S1212,对得到的评价值进行比较,并将评价值最高的图像的焦点距离作为评价区域的距离。接着,在步骤S1213,判断是否得到所有区域的距离。若判断存在没有得到距离的图像,则返回步骤S1205,重复实行步骤S1205-S1212的处理,直到取得该区域的距离。
若判断得到所有评价区域的距离,则进入步骤S1214,输出图像的距离图,即,表示每个区域到被摄体距离的图,并且,在步骤S1215,结束处理。这样,即使变更焦点距离在若干图像间倍率产生变化,仍能够得到正确的评价值,并计算出正确的距离。
图13所示的步骤S1300-S1305是与图9所示步骤S900-S905相同的处理。在步骤S1305若判断达到指定张数,则进入步骤S1306,将还没有得到距离的评价区域设定为处理对象。若设定评价区域,则与图9所示步骤S907-S911相同,在步骤S1307-S1311实行以下处理,使N初始化,设定N=1,并且,读出图像间的偏移量、焦点距离信息、以及AF评价值信息,直到N超过指定张数,并根据图像间的偏移量实行补正,得到评价值。
若判断N超过指定张数,则在步骤S1312,对得到的评价值进行比较,并且,将评价值最高的图像的焦点距离作为评价区域的距离。接着,在步骤S1313,判断是否得到所有区域的距离。若判断存在还没有得到距离的区域,则返回步骤S1306,重复实行步骤S1306-S1312的处理,直到得到该区域的距离。
若判断得到所有评价区域的距离,则进入步骤S1314,输出图像的距离图,即,表示每个区域到被摄体距离的图,并且,在步骤S1315,结束处理。这样,即使由于变更焦点距离在若干图像间发生倍率变化,仍能够得到正确的评价值,并计算出正确的距离。
在使用不具备动作检测功能的数字照相机的情况下,通过实行与图10相同的处理,也能够检测出偏移量。这样,即使变更焦点距离在若干图像间产生偏移,仍能够得到正确的评价值,并计算出正确的距离。
以上,通过上述实施方式对本发明的图像处理装置进行了说明,但是,本发明并不局限于前述的各个实施方式,也可在本领域的普通技术人员的思想范围内采用其它实施方式、从前述各实施方式作追加、变更、删除等,任意一种形式中只要能够发挥本发明的作用和效果,都是本发明的范围所包含的形式。
因此,将由数字照相机执行的处理作为图像处理方法,也可作为用于实现该方法的装置所能够读取的程序提供。该程序被存储在数字照相机的ROM或作为外部存储器的存储卡等记录介质,并且,CPU块能够读出并执行。
本专利申请的基础和优先权要求是2008年2月04日在日本专利局申请的日本专利申请JP2008-023627,其全部内容在此引作结合。
从以上所述还可以有许多的改良和变化。亦即,在权利要求的范围内,该专利说明书的公开内容不局限于上述的说明。

Claims (23)

1.一种图像处理设备,其特征在于包括:
输入装置,其将变更同一被摄体的焦点距离拍摄的若干图像作为图像数据输入;
补正装置,其从被输入的所述图像数据得到所述图像间拍摄的所述被摄体的位置偏移量,并根据所述位置偏移量补正各所述图像;
计算装置,其计算表示补正后的各所述图像的对焦状态的评价值;
选择装置,其从被计算出的所述评价值中选择具有最高评价值的图像作为最为焦点对准的图像。
2.根据权利要求1中记载的图像处理设备,其特征在于:
所述补正装置根据所述位置偏移量对各所述图像进行变倍。
3.根据权利要求2中记载的图像处理设备,其特征在于:
所述图像数据包含焦点距离信息,所述焦点距离信息与所述图像间拍摄的所述被摄体的尺寸相关;
所述补正装置使用与所述焦点距离信息相对应的变倍率对各所述图像进行变倍。
4.根据权利要求1-3的任意一项中记载的图像处理设备,其特征在于:
包括区域指定装置,其根据评价区域的设定在各所述图像中指定所述评价区域,所述评价区域用于计算所述评价值;
所述计算装置计算表示所述评价区域的对焦状态的所述评价值。
5.根据权利要求1-3的任意一项中记载的图像处理设备,其特征在于:
进一步包括距离取得装置,其将由所述选择装置选择的所述最为焦点对准图像之所述焦点距离作为到达所述被摄体的距离来取得。
6.一种图像处理方法,其用于从变更同一被摄体的焦点距离拍摄的若干图像中选择最为焦点对准的图像,所述图像处理方法的特征在于,包括以下步骤:
读出步骤,读出所述若干图像的图像数据;
补正步骤,从所述图像数据得到所述图像间拍摄的所述被摄体的位置偏移量,并根据所述位置偏移量补正各所述图像;
计算步骤,计算表示补正后的各所述图像的焦点对准状态的评价值;
选择步骤,从被计算出的所述评价值中选择具有最高评价值的图像作为最为焦点对准的图像。
7.根据权利要求6中记载的图像处理方法,其特征在于:
在所述补正步骤,根据所述位置偏移量对各所述图像进行变倍。
8.根据权利要求7中记载的图像处理方法,其特征在于:
所述图像数据包含焦点距离信息,所述焦点距离信息与所述图像间拍摄的所述被摄体的尺寸相关;
在所述补正步骤,使用与所述焦点距离信息相对应的变倍率对各所述图像进行变倍。
9.根据权利要求6-8的任意一项中记载的图像处理方法,其特征在于:
进一步包括指定步骤,根据评价区域的设定在各所述图像中指定所述评价区域,所述评价区域用于计算所述评价值;
在所述计算步骤,计算表示所述评价区域的对焦状态的所述评价值。
10.根据权利要求6-8的任意一项中记载的图像处理方法,其特征在于:
进一步包括取得步骤,取得由所述选择步骤选择的所述最为焦点对准的图像的所述焦点距离作为到达所述被摄体的距离。
11.一种图像处理设备,包括:
图像输入装置,用于输入被摄体的多个图像,通过光学系统连续拍摄所述多个图像,同时针对每个图像变更所述光学系统的焦点长度;
评价值获得装置,用于针对所述多个图像的每个图像获得评价值,所述评价值指示在每个图像中所述被摄体的被摄体区域被对焦的程度;
位置偏移检测装置,用于针对所述多个图像的每个图像获得用于指示每个图像中的所述被摄体区域相对于参考点的位置偏移的位置偏移值;
位置偏移补正装置,用于产生补正后的评价值,所述补正后的评价值补偿针对每个图像获得的所述位置偏移值;和
图像选择装置,用于基于所述补正后的评价值选择具有最为焦点对准的所述被摄体区域的图像作为最为焦点对准的图像。
12.如权利要求11所述的设备,其特征在于:
所述位置偏移补正装置进一步配置来使用针对所述多个图像的每个图像获得的所述位置偏移值补正针对所述多个图像的每个图像获得的所述评价值,以产生所述补正后的评价值。
13.如权利要求11所述的设备,其特征在于:
所述位置偏移值包括下列位置偏移值中的至少一个:
由于所述光学系统的所述焦点长度的变化引起的第一位置偏移值;和
由于所述光学系统关于所述被摄体的位置变化引起的第二位置偏移值。
14.如权利要求13所述的设备,进一步包括:
存储装置,用于存储指示所述光学系统的焦点长度的信息以及关于与所述光学系统的所述焦点长度对应的变倍率的信息,
其中位置偏移检测装置进一步配置来,针对所述多个图像的每个图像获得用于指示在拍摄每个图像时所使用的所述光学系统的所述焦点长度的信息,并且将其作为关于针对每个图像获得的所述第一位置偏移值的信息;和
位置偏移补正装置进一步配置来,从所述存储装置获得关于所述变倍率的信息,所述变倍率与关于针对每个图像获得的所述第一位置偏移值的信息对应,并且使用关于所述变倍率获得的信息来产生所述补距后的评价值。
15.如权利要求13所述的设备,其特征在于:
所述位置偏移检测装置包括:
运动检测电路,配置来针对所述多个图像的每个图像检测所述第二位置偏移值。
16.如权利要求13所述的设备,其特征在于:
所述位置偏移检测装置包括:
缩小尺寸图像产生装置,用于针对所述多个图像中的每个图像,产生具有小于所述图像输入装置输入的每个图像的图像尺寸的缩小尺寸图像;
处理控制装置,用于将所述缩小尺寸图像设置为第一图像和第二图像,且相对于所述第一图像将所述第二图像位置偏移预定值;
图案匹配应用装置,用于应用图案匹配来指定具有与所述第二图像的所选部分类似的图案的所述第一图像的部分来产生检测结果;和
位置偏移值获得装置,用于使用所述检测结果获得所述第二位置偏移值。
17.如权利要求11到16中的任意一个所述的设备,进一步包括:
用产指令输入装置,用于获得用来限定所述被摄体的所述被摄体区域的用户指令,
其中针对由所述用户指令限定的所述被摄体区域获得所述补正后的评价值。
18.如权利要求11到16中的任意一个所述的设备,进一步包括:
被摄体距离获得装置,用于获得与最为对焦的图像对应的被摄体距离,以进行进一步处理。
19.一种信息处理系统,包括:
如权利要求11至18中的任意一个所述的图像处理设备;和
配备了光学系统的照相装置,配置来拍摄多个图像。
20.一种由图像处理设备执行的图像处理方法,所述图像处理方法包括:
输入被摄体的多个图像,通过光学系统连续拍摄所述多个图像,同时针对每个图像变更所述光学系统的焦点长度;
针对所述多个图像的每个图像获得评价值,所述评价值指示在每个图像中所述被摄体的被摄体区域被对焦的程度;
针对所述多个图像的每个图像获得用于指示每个图像中的所述被摄体的所述被摄体区域相对于参考点的位置偏移的位置偏移值;
产生补正后的评价值,所述补正后的评价值补偿针对每个图像获得的所述位置偏移值;和
基于所述补正后的评价值选择具有最为焦点对准的所述被摄体区域的图像作为最为焦点对准的图像,
其中所述位置偏移值包括下列位置偏移值中的至少一个:
由于所述光学系统的所述焦点长度的变化引起的第一位置偏移值;和
由于所述光学系统关于所述被摄体的位置变化引起的第二位置偏移值。
21.如权利要求20所述的图像处理方法,进一步包括:
存储指示所述光学系统的焦点长度的信息以及关于与所述光学系统的所述焦点长度对应的变倍率的信息,
其中针对所述多个图像的每个图像获得关于偏移值的信息进一步包括:
针对所述多个图像的每个图像获得用于指示在拍摄每个图像时所使用的
所述光学系统的所述焦点长度的信息,并且将其作为关于针对每个图像获得的
所述第一位置偏移值的信息,
其中产生补正后的评价值进一步包括:
获得所存储的关于所述变倍率的信息,所述变倍率与关于针对每个图像获
得的所述第一位置偏移值的信息对应;和
使用关于所述变倍率获得的信息来产生所述补正后的评价值。
22.如权利要求20或21所述的图像处理方法,进一步包括:
在所述图像处理设备中提供运动检测电路,所述运动检测电路配置来针对所述多个图像的每个图像检测所述第二位置偏移值。
23.如权利要求20或21所述的图像处理方法,进一步包括:
在所述图像处理设备中提供处理器,所述处理器配置来执行针对所述多个图像中的每个图像获得关于位置偏移值的信息的步骤,其中针对所述多个图像中的每个图像获得关于位置偏移值的信息进一步包括:
针对所述多个图像中的每个图像,产生具有小于所输入的每个图像的图像尺寸的缩小尺寸图像;
将所述缩小尺寸图像设置为第一图像和第二图像,且相对于所述第一图像将所述第二图像位置偏移预定值;
应用图案匹配来指定具有与所述第二图像的所选部分类似的图案的所述第一图像的部分来产生检测结果;和
使用所述检测结果获得所述第二位置偏移值。
CN2009100099764A 2008-02-04 2009-02-04 图像处理设备及方法 Expired - Fee Related CN101505374B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008023627A JP5005570B2 (ja) 2008-02-04 2008-02-04 画像処理装置およびプログラム
JP023627/08 2008-02-04

Publications (2)

Publication Number Publication Date
CN101505374A CN101505374A (zh) 2009-08-12
CN101505374B true CN101505374B (zh) 2011-04-20

Family

ID=40602272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100099764A Expired - Fee Related CN101505374B (zh) 2008-02-04 2009-02-04 图像处理设备及方法

Country Status (4)

Country Link
US (1) US8160378B2 (zh)
EP (1) EP2085817B1 (zh)
JP (1) JP5005570B2 (zh)
CN (1) CN101505374B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5267149B2 (ja) * 2009-01-19 2013-08-21 ソニー株式会社 表示制御装置、表示制御方法及びプログラム
JP5387949B2 (ja) 2009-03-03 2014-01-15 株式会社リコー 撮像装置、再生表示装置、撮像記録方法および再生表示方法
JP5182312B2 (ja) * 2010-03-23 2013-04-17 株式会社ニコン 画像処理装置、および画像処理プログラム
JP5521786B2 (ja) * 2010-05-31 2014-06-18 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
KR101700377B1 (ko) 2010-10-20 2017-01-26 삼성전자주식회사 아바타 생성을 위한 처리 장치 및 방법
KR101733792B1 (ko) * 2010-11-10 2017-05-24 삼성전자주식회사 위치 보정 방법 및 장치
US8947584B2 (en) * 2010-12-01 2015-02-03 Blackberry Limited Apparatus, and associated method, for a camera module of electronic device
CN103348667A (zh) * 2011-03-31 2013-10-09 富士胶片株式会社 摄像装置、摄像方法及程序
JP5967473B2 (ja) 2011-06-03 2016-08-10 パナソニックIpマネジメント株式会社 撮像装置及び撮像システム
JP2013013063A (ja) 2011-06-03 2013-01-17 Panasonic Corp 撮像装置及び撮像システム
JP5760727B2 (ja) * 2011-06-14 2015-08-12 リコーイメージング株式会社 画像処理装置および画像処理方法
CN102499678B (zh) * 2011-09-23 2013-11-06 中国人民解放军第四军医大学 一种便携式电阻抗成像系统的电阻抗测量装置及测量方法
TWI518436B (zh) * 2012-01-17 2016-01-21 明基電通股份有限公司 影像擷取裝置及影像處理方法
JP6183038B2 (ja) 2012-11-15 2017-08-23 株式会社リコー 領域抽出装置、領域抽出方法およびプログラム
KR102068748B1 (ko) * 2013-07-31 2020-02-11 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 영상 재생 장치 및 방법
US9973677B2 (en) 2013-10-14 2018-05-15 Qualcomm Incorporated Refocusable images
CN104268863B (zh) * 2014-09-18 2017-05-17 浙江宇视科技有限公司 一种变倍校正方法和设备
JP6486086B2 (ja) * 2014-11-28 2019-03-20 キヤノン株式会社 撮像装置および撮像装置の制御方法
CN107005646B (zh) * 2014-12-02 2020-05-19 奥林巴斯株式会社 对焦控制装置、内窥镜装置以及对焦控制装置的控制方法
CN104618640B (zh) * 2014-12-30 2018-05-01 广东欧珀移动通信有限公司 一种拍照方法及装置
JP2016059051A (ja) * 2015-10-23 2016-04-21 リコーイメージング株式会社 撮像装置および距離情報取得方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1652010A (zh) * 2004-02-02 2005-08-10 光宝科技股份有限公司 撷取不失焦影像的影像撷取装置与方法
CN1728776A (zh) * 2004-07-28 2006-02-01 Lg电子株式会社 移动终端中的图像捕捉
CN1848914A (zh) * 2005-04-05 2006-10-18 奥林巴斯映像株式会社 数字照相机
CN101115132A (zh) * 2006-07-24 2008-01-30 致伸科技股份有限公司 获得高信噪比图像的方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0560528A (ja) 1991-09-03 1993-03-09 Hitachi Ltd 立体情報入力装置
JPH10142490A (ja) 1996-11-15 1998-05-29 Canon Inc 環境認識装置及びカメラ
JP3630965B2 (ja) 1997-12-24 2005-03-23 キヤノン株式会社 焦点検出装置、カメラ及び焦点検出方法
US7027087B2 (en) 1998-08-21 2006-04-11 Nikon Corporation Electronic camera
EP1150252B1 (en) * 2000-04-28 2018-08-15 Panasonic Intellectual Property Management Co., Ltd. Synthesis of image from a plurality of camera views
JP4148139B2 (ja) * 2001-11-21 2008-09-10 株式会社大真空 光学フィルタ、この光学フィルタの製造方法およびこの光学フィルタを用いた光学装置ならびにこの光学フィルタの収納構造
JP2004135029A (ja) 2002-10-10 2004-04-30 Fuji Photo Film Co Ltd デジタルカメラ
EP1710609A1 (en) * 2005-04-08 2006-10-11 Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts Optical scanning device and method of deriving same
JP2006311340A (ja) 2005-04-28 2006-11-09 Olympus Imaging Corp 画像表示装置及びデジタルカメラ
US7688368B2 (en) * 2006-01-27 2010-03-30 Eastman Kodak Company Image sensor with improved light sensitivity
EP2007135B1 (en) 2007-06-20 2012-05-23 Ricoh Company, Ltd. Imaging apparatus
JP4518131B2 (ja) * 2007-10-05 2010-08-04 富士フイルム株式会社 撮像方法及び装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1652010A (zh) * 2004-02-02 2005-08-10 光宝科技股份有限公司 撷取不失焦影像的影像撷取装置与方法
CN1728776A (zh) * 2004-07-28 2006-02-01 Lg电子株式会社 移动终端中的图像捕捉
CN1848914A (zh) * 2005-04-05 2006-10-18 奥林巴斯映像株式会社 数字照相机
CN101115132A (zh) * 2006-07-24 2008-01-30 致伸科技股份有限公司 获得高信噪比图像的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2004-135029A 2004.04.30

Also Published As

Publication number Publication date
EP2085817A2 (en) 2009-08-05
EP2085817B1 (en) 2011-09-28
JP2009188490A (ja) 2009-08-20
EP2085817A3 (en) 2010-07-28
US20090196522A1 (en) 2009-08-06
CN101505374A (zh) 2009-08-12
JP5005570B2 (ja) 2012-08-22
US8160378B2 (en) 2012-04-17

Similar Documents

Publication Publication Date Title
CN101505374B (zh) 图像处理设备及方法
USRE41222E1 (en) Focus control apparatus, image sensor, program and storage medium
CN101632296B (zh) 提供改进的聚焦能力的多镜头照相机
CN101637019B (zh) 提供范围映射的多镜头照相机
KR100820850B1 (ko) 화상처리장치 및 화상처리방법
US9489747B2 (en) Image processing apparatus for performing object recognition focusing on object motion, and image processing method therefor
US8411159B2 (en) Method of detecting specific object region and digital camera
CN101632295A (zh) 可在多种模式下工作的多镜头照相机
JP2010200239A (ja) 撮像装置、画像表示装置と、撮像方法及び画像表示方法並びに合焦領域枠の位置補正方法
CN102196166A (zh) 摄像装置及显示方法
CN102265602A (zh) 图像拍摄装置
KR101046041B1 (ko) 촬상 장치
JP5936358B2 (ja) 画像表示装置、画像表示方法、撮像装置およびその制御方法、プログラムおよびそれを記憶する記憶媒体
JP2003307669A (ja) カメラ
CN103649807A (zh) 成像设备
KR101594297B1 (ko) 오토 포커싱을 이용한 흔들린 영상 판단 방법 및 장치
KR101469544B1 (ko) 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치
US20020060739A1 (en) Image capture device and method of image processing
JP2007133301A (ja) オートフォーカスカメラ
US20100253798A1 (en) Image processing apparatus, digital camera, and recording medium
JP5045538B2 (ja) 撮像装置、及び、プログラム
JP2006317593A (ja) 撮像装置
JPH11211974A (ja) 撮像装置
JP6223502B2 (ja) 画像処理装置、画像処理方法、プログラム、それを記憶した記憶媒体
JP2005181034A (ja) サイズ測定装置およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110420

Termination date: 20190204