CN100426842C - 控制装置及其控制方法,以及照相机 - Google Patents

控制装置及其控制方法,以及照相机 Download PDF

Info

Publication number
CN100426842C
CN100426842C CNB2006100754023A CN200610075402A CN100426842C CN 100426842 C CN100426842 C CN 100426842C CN B2006100754023 A CNB2006100754023 A CN B2006100754023A CN 200610075402 A CN200610075402 A CN 200610075402A CN 100426842 C CN100426842 C CN 100426842C
Authority
CN
China
Prior art keywords
change
brightness value
focal position
relative angle
comprehensive brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2006100754023A
Other languages
English (en)
Other versions
CN1848923A (zh
Inventor
伊藤雄二郎
须藤秀和
竹本新治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1848923A publication Critical patent/CN1848923A/zh
Application granted granted Critical
Publication of CN100426842C publication Critical patent/CN100426842C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

一种控制装置,用于在捕捉物体图像的过程中,控制驱动图像拾取设备的光学元件的驱动器以调整图像拾取设备的聚焦位置,所述控制装置包括用于计算相对角度变化的相对角度变化计算单元,用于通过确定相对角度变化计算单元计算的相对角度变化的模式是包含少量变化的稳定模式还是包含大量变化的不稳定模式来检测相对角度变化模式的变化的模式变化检测单元;以及管理聚焦位置控制过程的启动的聚焦位置控制过程启动单元,聚焦位置控制过程用于响应于模式变化检测单元检测到的模式变化的模型通过控制驱动器去控制聚焦位置。

Description

控制装置及其控制方法,以及照相机
相关申请的交叉参考
本发明包含与2005年4月15日提交的、在日本专利局申请的申请号为JP2005-118318的日本专利申请相关的主题,这里并入其整个内容作为参考。
技术领域
本发明涉及控制装置、控制方法、计算机程序及照相机。尤其是,本发明涉及用于减少自动聚焦操作中的处理量的控制装置、控制方法、计算机程序及照相机。
背景技术
公知的图像拾取装置一般都具备自动聚焦在物体上的自动聚焦(AF)功能。公开号为WO97/25812的国际专利申请公开了一种AF处理技术,该技术检测被捕捉的物体的图像的对比度,并调整镜头的位置以便达到最高对比度(图像处理技术)。
图像拾取装置从图像的对比度在被捕捉图像中的预定区域内(估计帧)中计算估计值,作为估计图像的离焦度的参数(例如亮度值的高频分量),在移动聚焦位置的同时搜索最大估计值(峰值),并在获得峰值的位置对物体聚焦。这样,图像拾取装置准确地聚焦在在其视场内的物体上。
当用户将快门按钮按下一半时开始AF过程,当确定被捕捉图像聚焦在物体上时完成AF过程。每次用户发布命令时执行的这样的AF过程被称作一次拍摄(one-shot)AF过程。
一种图像拾取装置在没有任何用户命令的情况下执行AF过程,例如视频照相机。这样一种图像拾取装置在AF过程中重复执行条件确定操作,并且当满足预定条件时开始上述一次拍摄AF过程。其中一个启动条件是对比度估计值的变化。例如,图像拾取装置在被捕捉图像的预定区域(估计帧)内从图像的对比度中估计图像(亮度值的高频分量)的离焦度,并且当估计值的变化等于或大于一个阈值时开始一次拍摄AF过程。因此图像拾取装置可以通过估计被捕捉图像的离焦度以及基于估计值控制AF过程来连续地聚焦在估计帧内的物体上。
适当地执行AF过程的方法的变化是可行的。例如,公开号为10-215403的日本未审专利申请公开了一种技术,其中在微小的范围内晃动镜头以便有效地搜索最佳聚焦位置,并且基于被捕捉图像的估计值来确定镜头移动的方向。公开号为10-161016的日本未审专利申请公开了另一种技术。根据所述公开的内容,基于各种条件来修改在其上计算估计值的估计帧的大小,以便在拍摄条件的宽范围内执行最佳的AF过程。
在这种图像处理类型的AF过程中,图像拾取装置在观察被捕捉图像的同时移动镜头以便聚焦在物体上。因此在完成AF过程之前需要一段时间(达到聚焦(in-focus)状态)。例如,当图像拾取装置改变拍摄方向时(在摇拍或俯仰拍摄过程中),估计帧内的物体也连续变化。从图像拾取装置确定出在AF过程中已经达到物体的聚焦状态的时候到通过移动镜头到清晰状态来实际完成AF过程的时候,与估计帧中被拍摄物体的距离会变化,这导致失败的聚焦操作。
如图1A所示,照相机1现在摇拍,如箭头曲线2所示的那样连续拍摄物体A、物体B和物体C。从照相机1到物体A的距离3和从从照相机1到物体C的距离5中的每一个都少于从照相机1到物体B的距离4。在摇拍过程中照相机1捕捉到的图像的估计值如图1B的曲线6所示的那样变化。
距离4比距离3长。估计值基本上在时间t2上降低,在估计帧内拍摄物体B,并且因此开始AF过程。摇拍继续,并且当镜头驱动几乎结束时在估计帧中拍摄物体C。具体来说,照相机1不能在保持定位在距离4的聚焦位置上的情况下对焦在物体C上。在随后的时间t3上,估计值变得稳定,保持未触发AF过程。因此在没有对焦物体C的情况下捕捉了图像。这对于俯仰拍摄操作来说是一样的。
除了摇拍和俯仰拍摄操作外的情况中也会发生未聚焦问题。如图2A所示,在拍摄帧10中的估计帧11中拍摄到物体12。现在物体12由于风的原因重复进入和离开估计帧11,因此横向摇摆而不是前后摇摆。因此估计值如图2B的曲线所示的那样大幅度变化。频繁开始AF过程。在AF过程中,推动镜头,使得聚焦位置移动。结果,很难观察到被捕捉图像并且聚焦位置是不稳定的。
发明内容
期望一种用摇摆镜头以合适步骤进行的聚焦位置的控制来克服上述问题。在AF过程中,刚开始用合适的步骤(也就是摇摆)驱动镜头来确定镜头驱动的方向(也就是确定是在向前的方向上驱动镜头还是在向后的方向上驱动镜头以达到聚焦状态)。由此确定镜头驱动方向作为摇摆的,然后按照确定的方向来实际驱动镜头。
通过频繁执行摇摆操作,在物体变得过分离焦之前执行聚焦位置控制过程。利用这种设置,基本上就减少了执行聚焦位置控制所需的处理时间。甚至在图1A所示的摇拍操作的情况中(在俯仰操作中也一样),照相机被设置成连续对焦物体A、物体B、然后是物体C。但是在具有大且重的镜头的专业照相机的情况中,摇摆速度很慢并且摇拍(俯仰拍摄)速度也很慢。这种技术的效用并不能被充分地利用。
专业照相机通常用于长时间周期。与普通照相机相比,在恶劣环境中使用专业照相机。如果在恶劣环境下经常执行摇摆操作,照相机会很快被损坏,导致很短的使用寿命。
在图2A和2B的情况中,重复摇摆操作并且轻微振动聚焦位置。如果照相机得到高清晰度的图片,聚焦位置的更细微的振动在高清晰度图片中变得很明显。图像质量因此下降,使得观看者觉得被拍摄图像很奇怪。
在图2A和2B中可以扩大估计帧的大小以便不启动AF过程。例如,将整个拍摄帧10设置成估计帧。由此防止AF过程的启动,因为即使物体12跨过估计帧摆动,照相机的估计值也不会改变。利用这种设置,用户不能控制照相机在拍摄帧10中对焦哪里。拍摄操作可能变得很困难。
另一种方法试图用根据物体的运动(摆动)设置成可变的估计帧来可适应性地控制AF过程。但是,以没有任何问题的方式来切换估计帧仍然是很困难的,并且很明显需要一种具有复杂结构的控制器(控制过程),这导致生产成本明显增加。
因此希望利用消除其中不必要的部分来减少自动聚焦过程。
根据本发明的一个实施例,一种控制装置包括用于计算相对角度变化的相对角度变化计算单元,所述相对角度变化是图像拾取设备相对于物体的相对角度的每个单位时间的变化,用于通过确定相对角度变化计算单元计算的相对角度变化的模式是包含少量变化的稳定模式还是包含大量变化的不稳定模式来检测相对角度变化模式的改变的模式变化检测单元,用于管理聚焦位置控制过程的启动的聚焦位置控制过程启动单元,所述聚焦位置控制过程用于通过响应于模式变化检测单元检测到的模式变化的模型控制驱动器去控制聚焦位置。
优选地,所述控制装置还包括用于执行由聚焦位置控制过程启动单元启动的聚焦位置控制过程的聚焦位置控制过程执行单元。
优选地,如果模式变化检测单元检测到的模式变化是从不稳定模式到稳定模式的改变,聚焦位置控制过程启动单元就启动聚焦位置控制过程。
优选地,只有当模式变化检测单元检测到的模式变化是从不稳定模式到稳定模式的改变时,聚焦位置控制过程启动单元才启动聚焦位置控制过程。
所述相对角度变化计算单元包括用于通过综合场内物体的被捕捉图像的每个像素的亮度值来计算场内综合亮度值的场内综合亮度值计算器,用于在具有预定时间长度的时间范围内计算由场内综合亮度值计算器计算出来的场内综合亮度值的平均值的平均值计算器,用于计算第一时间范围的平均值与第二时间范围的平均值之间的差值的差值计算器,所述第一时间范围等于具有预定时间长度的时间范围并且包含当前场,所述第二时间范围紧接在第一时间范围之前,每个平均值都由平均值计算器计算,以及用当前场的场内综合亮度值和时间范围的长度来规范差值计算器计算出来的差值、并且将规范化的差值作为相对角度变化进行处理的规范器。
优选地,场内综合亮度值计算器综合被捕捉图像的预定区域中的亮度值并将产生的值作为场内综合亮度值进行处理。
优选地,所述预定区域是独立于在其上计算聚焦位置控制过程中使用的参数的区域而建立的。
优选地,所述预定区域包含在其上计算聚焦位置控制过程中使用的参数的区域。
优选地,所述预定区域是整个被捕捉图像。
优选地,所述模式变化检测单元包括用于将由相对角度变化计算单元计算的相对角度变化与预定阈值比较、并且如果相对角度变化小于预定阈值就确定所述模式是稳定模式而如果相对角度变化等于或大于预定阈值就确定所述模式是不稳定模式的模式确定器,基于模式确定单元的确定结果来检验模式的设置是否被更新的更新检验器,以及用于在由更新检验器检验的模式设置的更新时确定模式变化的模型的模式变化模型确定器。
优选地,所述控制装置还包括用于计算估计值的估计值计算单元,所述估计值估计物体的被捕捉图像的离焦度,作为聚焦位置控制过程的参数,以及用于检测由估计值计算单元计算出来的估计值的变化的估计值变化检测单元。即使模式变化检测单元没有检测到模式中的变化并且模式保持在稳定模式,聚焦位置控制过程启动单元也响应于由估计值变化检测单元检测到的估计值的变化而启动聚焦位置控制过程。
优选地,估计值变化检测单元包括用于在每个预定时间范围内相加由估计值计算单元计算出来的估计值的估计值加法计算器,用于从作为由估计值加法计算器执行的加法的结果的加法结果中存储在从不稳定模式转换到稳定模式时获得的加法结果作为参考加法结果的参考加法结果存储器,基于由估计值加法计算器提供的加法结果和在参考加法结果存储器上存储的参考加法结果来计算估计值变化率的估计值变化率计算器,以及基于估计值变化率计算器计算出来的估计值变化率来确定是否启动聚焦位置控制过程的估计值变化率确定器。
优选地,所述控制装置还包括用于基于由相对角度变化计算单元计算出来的场内综合亮度值来检测场内综合亮度值的变化的综合亮度值变化检测单元。即使模式变化检测单元没有检测到任何模式变化并且模式仍然保持在稳定模式,聚焦位置控制过程启动单元也响应于综合亮度值变化检测单元检测到的场内综合亮度值的变化来启动聚焦位置控制过程。
优选地,综合亮度值变化检测单元包括用于获取由相对角度变化计算单元计算出来的最新的场内综合亮度值的最近场内综合亮度值获取单元,用于从最近场内综合亮度值获取单元获取的场内综合亮度值中,存储在从不稳定模式转换到稳定模式时获取的场内综合亮度值作为参考场内综合亮度值的参考场内综合亮度值存储器,用于基于最近场内综合亮度值获取单元获取的最近场内综合亮度值和在参考场内综合亮度值存储器上存储的参考场内综合亮度值来计算作为场内综合亮度值的变化率的综合亮度值变化率的综合亮度值变化率计算器,以及用于基于综合亮度值变化率计算器计算出来的综合亮度值变化率来确定是否启动聚焦位置控制过程的综合亮度值变化率确定器。
根据本发明的另一个实施例,一种控制方法包括基于图像拾取设备提供的物体的被捕捉图像来计算相对角度变化的相对角度变化计算步骤,所述相对角度变化是图像拾取设备相对于物体的相对角度的每个单位时间的变化,通过确定相对角度变化计算步骤中计算的相对角度变化的模式是包含少量变化的稳定模式还是包含大量变化的不稳定模式来检测相对角度变化模式的改变的模式变化检测步骤,确定是否启动聚焦位置控制过程的启动确定步骤,所述聚焦位置控制过程用于响应于模式变化检测步骤检测到的模式变化的变化模型通过控制驱动器去控制聚焦位置,以及基于启动确定步骤中的确定结果启动聚焦位置控制过程以便使驱动器调整聚焦位置的聚焦位置控制过程启动步骤。
根据本发明的另一个实施例,一种计算机程序产品包括基于图像拾取设备提供的物体的被捕捉图像来计算相对角度变化的相对角度变化计算步骤,所述相对角度变化是图像拾取设备相对于物体的相对角度的每个单位时间的变化,通过确定在相对角度变化计算步骤中计算的相对角度变化的模式是包含少量变化的稳定模式还是包含大量变化的不稳定模式来检测相对角度变化模式的变化的模式变化检测步骤,确定是否启动聚焦位置控制过程的启动确定步骤,所述聚焦位置控制过程用于通过响应于模式变化检测步骤检测到的模式变化的变化模型控制驱动器去控制聚焦位置,以及基于启动确定步骤中的确定结果启动聚焦位置控制过程以便使驱动器调整聚焦位置的聚焦位置控制过程启动步骤。
根据本发明的另一个实施例,一种照相机包括用于计算相对角度变化的相对角度变化计算单元,所述相对角度变化是图像拾取设备相对于物体的相对角度的每个单位时间的变化,用于通过确定相对角度变化计算单元计算的相对角度变化的模式是包含少量变化的稳定模式还是包含大量变化的不稳定模式来检测相对角度变化模式的改变的模式变化检测单元,用于管理聚焦位置控制过程的启动的聚焦位置控制过程启动单元,所述聚焦位置控制过程用于响应于模式变化检测单元检测到的模式变化的模型通过控制驱动器去控制聚焦位置,以及用于执行由聚焦位置控制过程启动单元启动的聚焦位置控制过程的聚焦位置控制过程执行单元,所述聚焦位置控制过程控制驱动器去控制聚焦位置。
根据本发明的实施例,计算相对角度变化,并且执行所述相对角度变化的模式是包含少量变化的稳定模式还是包含大量变化的不稳定模式的确定操作。基于确定结果检测模式的变化。依据模式变化的模型来启动聚焦位置控制过程。
根据本发明的实施例,很容易地消除了自动聚焦过程中不必要的部分。
附图说明
图1A和1B说明了公知的自动聚焦过程的例子;
图2A和2B说明了公知的自动聚焦过程的另一个例子;
图3是根据本发明的一个实施例的图像拾取装置的框图;
图4是详细说明图3的AF启动控制器的框图;
图5用图说明了模式转换确定过程和AF过程;
图6A和6B说明了图3的图像拾取装置的AF启动控制过程的例子;
图7A和7B说明了图3的图像拾取装置的AF启动过程的另一个例子;
图8是说明AF启动控制过程的流程图;
图9是说明相对角度变化计算过程的流程图;
图10是说明模式变化检测过程的流程图;
图11说明了根据本发明的另一个实施例的图像拾取装置的结构;
图12是详细说明图11的AF启动控制器的框图;
图13A和13B说明了图11的图像拾取装置的AF启动控制过程;
图14是说明AF启动控制过程的流程图;
图15是详细说明估计值变化检测过程的流程图;
图16是说明图3的AF启动控制器的另一个例子的框图;
图17A和17B说明了图3的AF启动控制器的另一个例子;
图18是说明AF启动控制器的另一个例子的流程图;
图19是详细说明场内综合亮度值变化检测过程的流程图。
具体实施方式
在描述本发明的实施例之前,下面先讨论权利要求中的特征与本发明实施例中公开的具体元件之间的对应关系。该描述是为了保证在该说明书中描述支持所请求保护的发明的实施例。因此,即使在下面的实施例中没有描述一个与本发明的某个特征相关的元件,那也不意味着所述元件与权利要求的那个特征无关。相反,即使这里描述了与权利要求的某个特征相关的元件,那也不意味着所述元件与权利要求的其他特征无关。
而且,该描述不应该被解释成限制在权利要求中描述实施例中公开的本发明的各个方面。也就是说,本说明不否认那些实施例中描述的、但是未在本申请的发明中要求保护的本发明的各个方面的存在,也就是,将来可以通过分案申请来请求保护本发明的各个方面,或者可以通过修正来另外请求保护本发明的各个方面。
根据本发明的一个实施例,控制装置(例如图3的AF控制器53)控制图像拾取设备(例如图3的图像拾取装置50)的驱动光学元件(例如图3的聚焦透镜61和摇摆透镜62)的驱动器(例如图3的AF驱动器51),以便在捕捉物体图像的过程中调整图像拾取设备的聚焦位置。所述控制装置包括用于计算相对角度变化的相对角度变化计算单元(例如,图4的相对角度变化计算器121),所述相对角度变化是图像拾取设备相对于物体的相对角度的每个单位时间的变化,用于通过确定相对角度变化计算单元计算的相对角度变化模式是包含少量变化的稳定模式还是包含大量变化的不稳定模式来检测相对角度变化模式的变化的模式变化检测单元(例如,图4的模式变化检测器122),以及用于管理聚焦位置控制过程的启动的聚焦位置控制过程启动单元(例如,图4的AF启动命令输出单元123),所述聚焦位置控制过程用于通过响应中模式变化检测单元检测到的模式变化模型控制驱动器去控制聚焦位置。
所述控制装置还包括用于执行由聚焦位置控制过程启动单元启动的聚焦位置控制过程的聚焦位置控制过程执行单元(例如,图3的AF控制处理器83)。
相对角度变化计算单元包括用于通过综合场内的被捕捉的物体图像的每个像素的亮度值来计算场内综合亮度值的场内综合亮度值计算器(例如,图4的场内综合亮度值计算器131),用于计算在预定时间长度的时间范围内、由场内综合亮度值计算器计算的场内综合亮度值的平均值的平均值计算器(例如,图4的周期平均综合亮度值计算器133),用于计算等于具有预定时间长度的时间范围的、包含当前场的第一时间范围的平均值与第一时间范围之前的第二时间范围的平均值之间的差值的差值计算器(例如,图4的差值计算器135),每个平均值都由平均值计算器计算,以及用于用当前场的场内综合亮度值和时间范围长度来规范差值计算器计算的差值并且将规范后的差值处理成相对角度变化的规范器(例如,图4的规范器136)。
模式变化检测单元包括用于将相对角度变化计算单元计算的相对角度变化与预定阈值进行比较、并且如果相对角度变化小于预定阈值就确定模式是稳定模式、而如果相对角度变化等于或大于预定阈值就确定模式是不稳定模式的模式确定器(例如,图4的模式确定器141),用于基于模式确定单元的确定结果来检验模式设置是否被更新的更新检验器(例如,图4的更新检验器144),以及用于在更新检验器检验的模式设置更新时确定模式变化的模型的模式变化模型确定器(例如,图4的模式变化模型确定器146)。
控制装置还包括用于计算估计值、估算物体被捕捉图像的离焦度作为聚焦位置控制过程的参数的估计值计算单元(例如,图11的估计值计算器211),以及用于检测估计值计算单元计算的估计值的变化的估计值变化检测单元(例如,图12的估计值变化检测器231)。聚焦位置控制过程启动单元响应于估计值变化检测单元检测的估计值的变化而启动聚焦位置控制过程,即使模式变化检测单元没有检测到模式变化并且模式保持为稳定模式。
估计值变化检测单元包括用于在每个预定时间范围加入估计值计算单元计算的估计值的估计值加法计算器(例如,图12的估计值加法器241),用于存储作为参考加法结果的、在从不稳定模式转换到稳定模式时从作为由估计值加法计算器执行的加法结果中获得的加法结果中获得加法结果的参考加法结果存储器(例如,图12的参考加法结果保持器242),基于估计值加法计算器提供的加法结果和参考加法结果存储器上存储的参考加法结果来计算估计值变化率的估计值变化率计算器(例如,图12的估计值变化率计算器243),以及基于估计值变化率计算器计算的估计值变化率来确定是否启动聚焦位置控制过程的估计值变化率确定器(例如,图12的估计值变化率确定器244)。
控制装置还包括基于相对角度变化计算单元计算的场内综合亮度值来检测场内综合亮度值变化的综合亮度值变化检测单元(例如,图16的综合亮度值变化检测器301)。聚焦位置控制过程启动单元响应于综合亮度值变化检测单元检测到的场内综合亮度值的变化而启动聚焦位置控制过程,即使模式变化检测单元没有检测到模式的变化并且模式保持为稳定模式。
综合亮度值变化检测单元包括用于获取相对角度变化计算单元计算的最近场内综合亮度值的最近场内综合亮度值获取单元(例如,图16的最近场内综合亮度值获取单元311),用于存储作为参考场内综合亮度值的、在从不稳定模式转换到稳定模式时从最近场内综合亮度值获取单元获取的场内综合亮度值中获得的场内综合亮度值的参考场内综合亮度值存储器(例如,图16的参考场内综合亮度值保持器312),基于由最近场内综合亮度值获取单元获取的最近场内综合亮度值和参考场内综合亮度值存储器上存储的参考场内综合亮度值来计算作为场内综合亮度值变化率的综合亮度值变化率的综合亮度值变化率计算器(例如,图16的综合亮度值变化率计算器313),以及基于综合亮度值变化率计算器计算的综合亮度值变化率来确定是否启动聚焦位置控制过程的综合亮度值变化率确定器(例如,图16的综合亮度值变化率确定器314)。
本发明的另一个实施例涉及一种控制装置(例如,图3的AF控制器53)控制驱动图像拾取设备(例如,图3的图像拾取装置50)的光学元件(例如,图3的聚焦透镜61和摇摆透镜62)的驱动器(例如,图3的AF驱动器51)以便在捕捉物体图像的过程中调整图像拾取设备的聚焦位置的控制方法。所述控制方法包括基于由图像拾取设备提供的物体被捕捉图像来计算相对角度变化的相对角度变化计算步骤(例如,图8的步骤S1),所述相对角度变化是图像拾取设备相对于物体的相对角度每个单位时间的变化,通过确定相对角度变化计算步骤计算的相对角度变化模式是包含少量变化的稳定模式还是包含大量变化的不稳定模式来检测相对角度变化模式的变化的模式变化检测步骤(例如,图8的步骤S2),确定是否启动聚焦位置控制过程的启动确定步骤(例如,图8的步骤S3),所述聚焦位置控制过程用于通过响应于模式变化检测步骤中检测的模式变化的变化模型控制驱动器去控制聚焦位置,以及基于启动确定步骤的确定结果启动聚焦位置控制过程以便让驱动器调整聚焦位置的聚焦位置控制过程启动步骤(例如,图8的步骤S4)。
根据本发明的另一个实施例,计算机程序产品包括与本发明实施例的控制方法的处理步骤相同的处理步骤。
根据本发明的另一个实施例,具有捕捉物体图像的图像拾取设备(例如,图3的CCD 71)和驱动光学元件(例如,图3的聚焦透镜61和摇摆透镜62)来通过图像拾取设备在捕捉物体图像的过程中调整聚焦的驱动器(例如,图3的驱动器51)的照相机(例如,图3的图像拾取装置50)包括用于计算相对角度变化的相对角度变化计算单元(例如,图4的相对角度变化计算器121),所述相对角度变化是图像拾取设备相对于物体的相对角度的每个单位时间的变化,用于通过确定相对角度变化计算单元计算的相对角度变化模式是包含少量变化的稳定模式还是包含大量变化的不稳定模式来检测相对角度变化模式的变化的模式变化检测单元(例如,图4的模式变化检测器122),用于管理聚焦位置控制过程的启动的聚焦位置控制过程启动单元(例如,图4的AF启动命令输出单元123),所述聚焦位置控制过程用于通过响应于模式变化检测单元检测到的模式变化模型控制驱动器去控制聚焦位置,以及用于执行由聚焦位置控制过程启动单元启动的聚焦位置控制过程的聚焦位置控制过程执行单元(例如,图3的AF控制处理器83),所述聚焦位置控制过程控制驱动器去控制聚焦位置。
下面将参照附图来描述本发明的各个实施例。
图3说明了根据本发明的一个实施例的图像拾取装置50。
如图3所示,图像拾取装置50捕捉物体的图像,并获取物体的运动图像和静止图像之一的视频数据。所述图像拾取装置50包括自动聚焦(AF)驱动器51、视频处理器52和AF控制器53。图像拾取装置50还在记录介质上记录获取的视频数据并将视频数据输出到外部。图3只说明了图像拾取装置50中与本发明的实施例相关的元件。
AF驱动器51包括聚焦透镜61、摇摆透镜62、透镜驱动器63、驱动器控制器64、传感器65和开关(SW)66。在AF控制器53的控制下,AF驱动器51驱动光学系统,由此在视频处理器52拾取的光上执行聚焦位置调整过程。
沿着入射到视频处理器52上的光的光轴方向移动的聚焦透镜61控制入射光的聚焦位置(被拍摄图像的聚焦位置)。沿着入射到视频处理器52上的光的光轴方向轻微摆动摇摆透镜62以便移动被拍摄图像的聚焦位置。摇摆透镜62被用于在聚焦调整过程(聚焦过程)中确定聚焦透镜61的移动方向。可以将聚焦透镜61和摇摆透镜62集成在一个单个透镜单元中(例如可以摇摆操作聚焦透镜61来作为摇摆透镜62)。
响应于从驱动器控制器64提供的控制信息,透镜驱动器63通过在位置和操作中控制聚焦透镜61和摇摆透镜62来控制聚焦位置(也就是,操作聚焦透镜61和摇摆透镜62来控制聚焦位置)。如下所述,将驱动器控制器64经由串行总线连接到AF控制器53中的AF控制处理器83。驱动器控制器64响应于从AF控制处理器83提供的包括聚焦控制命令和摇摆控制命令的控制信息来给透镜驱动器63提供与聚焦透镜61和摇摆透镜62的驱动相关的控制信息。驱动器控制器64向透镜驱动器63提供控制信息,由此命令透镜驱动器63移动聚焦透镜61到位并让摇摆透镜62开始摇摆操作。
驱动器控制器64从传感器65经由串行总线向AF控制处理器83提供与光圈值和聚焦位置相关的信息。响应于开关(SW)66的状态来控制驱动器控制器64。只有当SW 66处于接通状态时,驱动器控制器64才执行控制过程和通信过程。当SW 66处于关闭状态时,驱动器控制器64暂停,不执行任何过程。
传感器65感测聚焦位置、变焦位置(焦距)以及光圈值,并且这些测量信息经由驱动器控制器64提供给AF控制处理器83。用户操作SW 66来确定是否执行AF过程,并通知驱动器控制器64SW 66的状态。
视频处理器52响应于入射到图像拾取装置50上的光产生电子视频信号,并且包括电荷耦合器件(CCD)71、放大器72和信号处理器73。
CCD 71是具有例如光电二极管的光电转换元件的图像拾取设备。CCD 71将通过聚焦透镜61和摇摆透镜62进入的入射光进行光电转换,累积对入射光量反应的电荷,然后排出所述电荷,由此产生电子视频信号。CCD 71向放大器72提供视频信号。放大器72包括相关双采样(CDS)电路、自动增益控制(AGC)电路和模数(A/D)转换电路。放大器72从CCD 71提供的视频信号中删除复位噪声,放大视频信号,将模拟形式的视频信号转换成数字视频信号,然后将数字视频信号提供给信号处理器73。
信号处理器73执行自动曝光(AE)过程,自动白平衡(AWB)过程以及对提供的视频信号的γ校验过程,然后在将最终产生的视频信号提供给AF控制器53中的估计值计算器81和AF启动控制器82二者的同时将最终产生的视频信号提供给后面的电路级。信号处理器73也向估计值计算器81和AF启动控制器82提供包括视频信号的水平同步信号和垂直同步信号的控制同步信号以及系统时钟信号。
响应于从视频处理器52提供的视频信号,AF控制器53控制AF驱动器51,由此执行与AF过程控制相关的控制过程。AF控制器53包括估计值计算器81、AF启动控制器82和AF控制处理器83。
估计值计算器81计算估计值,基于视频信号和从视频处理器52中的信号处理器73提供的同步信号估算被捕捉图像(视频信号)的离焦度,并设置从AF控制处理器83提供的数据。估计值计算器81向AF控制处理器83提供计算出的估计值。
响应于都是从信号处理器73提供的所述视频信号和同步信号,AF启动控制器82执行与AF过程的启动相关的控制过程,然后将控制结果提供给AF控制处理器83。在AF启动控制器82的控制下,AF控制处理器83开始AF过程,响应于从估计值计算器81提供的估计值来执行AF过程,然后将控制信息经由串行总线提供给驱动器控制器64。AF控制处理器83产生与估计值的计算相关的设置数据,然后将所述设置数据提供给估计值计算器81。AF控制处理器83经由串行总线从驱动器控制器64中检索例如聚焦位置等传感器信息以及光圈值。
AF控制器53还包括总线90、只读存储器(ROM)91、输入单元92、输出单元93、记录单元94、通信单元95和驱动器96。将AF启动控制器82连接到总线90。而且,将AF启动控制器82通过驱动器96经由总线90连接到ROM 91。
ROM 91是只读存储器,并且预存AF启动控制器82要执行的程序和数据。AF启动控制器82按需要经由总线90读取ROM 91上存储的程序和数据。包括例如开关和按钮等输入设备的输入单元92接收用户输入的命令信息,并将所述命令信息经由总线90提供给AF启动控制器82。输出单元93包括例如发光二极管(LED)、液晶显示器(LCD)、电致发光显示器等显示装置以及例如扬声器等音频输出设备。输出单元93显示和输出从AF启动控制器82经由总线90提供的信息。
包括硬盘、半导体存储器等的记录单元94存储AF启动控制器82要执行的程序和数据。通信单元95包括调制解调器、局域网(LAN)适配器、通用串行总线(USB)接口、电气和电子工程师协会(IEEE)1394接口、小型计算机系统接口(SCSI)、IEEE802.11x适配器等。通信单元95经由网络与另一个装置通信。
驱动器96是一个用可拆除介质97加载的读写处理单元,并且从可拆除介质97读取数据以及向可拆除介质97写入数据。可拆除介质97包括磁盘、光盘、磁-光盘、半导体存储器等。驱动器96从加载的可拆除介质97中读取程序和数据,在记录单元94上安装读取的程序并按需要将读取的程序提供给AF启动控制器82。驱动器96将经由总线90从AF启动控制器82中检索到的程序和数据存储在加载可拆除介质97上。
当使用软件执行AF启动控制器82的过程时,从记录介质或经由网络安装形成所述软件的程序。
存储程序的记录介质可以是与装置本身分离地提供给用户的、给用户提供程序的可拆除介质97。可拆除介质97可包括磁盘(包括软盘)、光盘(例如压缩盘只读存储器(CD-ROM)、数字化视频光盘(DVD)等)、磁-光盘(例如Mini盘(MO))以及半导体存储器中的一种。所述记录介质还包括ROM 91和记录单元94(包括硬盘和半导体存储器中的一种)中的一种,其中每个都在装置机身中提供给用户。
下面将描述装置的操作。
当开始拍摄操作时,视频处理器52中的CCD 71对通过聚焦透镜61和摇摆透镜62沿着如箭头虚线101所示的光轴进入的光进行光电转换,由此产生电子形式的视频信息(视频信号)。CCD 71将视频信号提供放大器72,如箭头实线102所示。在根据预定方法放大了视频信号之后,放大器72将产生的放大视频信号提供给信号处理器73,如箭头实线103所示。信号处理器73对提供的视频信号执行视频处理然后在将处理后的视频信号提供给AF控制器53中的估计值计算器81和AF启动控制器82(分别如箭头实线104B和104C所示)的同时将处理后的视频信号提供给后面的过程,如箭头实线104A所示。如箭头实线105A和105B所示,信号处理器73还将同步信号分别提供给估计值计算器81和AF启动控制器82。
在ROM 91和记录单元94上存储的程序的控制下,AF启动控制器82基于从信号处理器73提供的视频信号(被捕捉图像的内容)来执行用于开始AF过程(一次拍摄AF过程)的控制过程。响应于视频信号的亮度值,AF启动控制器82确定是否执行AF过程。如果满足预定的条件,AF启动控制器82就向AF控制处理器83发布一个命令来开始AF过程,如箭头实线107所示。
当发布开始AF过程的命令时,AF控制处理器83与估计值计算器81一起执行AF过程的控制过程,如箭头实线106所示。
具体来说,估计值计算器81根据预定计算方法,基于从AF控制处理器83提供的设置数据来计算用于估计与从信号处理器73提供的视频信号相对应的被捕捉图像离焦度的估计值,如箭头实线106所示。所述估计值表示在帧图像中的图像区域(估计帧)的一部分中的对比度大小,并且是基于估计帧中亮度值的高频分量的和来计算的。计算完估计值后,估计值计算器81就向AF控制处理器83提供所述估计值,如箭头实线106所示。
AF控制处理器83基于上升/下降趋势确定结果、经由串行总线来命令驱动器控制器64执行摇摆操作和用于AF过程的特定操作。AF控制处理器83接收从估计值计算器81提供的估计值,如箭头实线106所示,以及从驱动器控制器64提供的与聚焦位置和光圈值有关的感测信息,如箭头实线108B所示,并且基于这些信息执行AF过程。
驱动器控制器64从传感器65中检索感测信息,例如聚焦位置和光圈值,如箭头实线109所示,然后将感测信息经由串行总线提供给AF控制处理器83,如箭头实线108B所示。驱动器控制器64从SW 66接收与AF过程的设置有关的用户命令,如箭头实线110所示。响应于所述命令,驱动器控制器64经由串行总线接收从AF控制处理器83提供的控制信息,如箭头实线108A所示。驱动器控制器64执行所述控制信息负责的过程。驱动器控制器64向透镜驱动器63提供用于命令透镜位置等的透镜驱动控制信息,如箭头实线111所示。基于所述透镜驱动控制信息,透镜驱动器63驱动聚焦透镜61,如箭头实线112所示,并且驱动摇摆透镜62,如箭头实线113所示。
图像拾取装置50这样执行AF过程。
图4是详细说明书AF控制器53中的AF启动控制器82的框图。
如图4所示,AF启动控制器82包括相对角度变化计算器121、模式变化检测器122和AF启动命令输出单元123。
相对角度变化计算器121确定每个周期(单位时间)图像拾取装置50相对于物体的相对角度的变化(所述相对角度是物体与拍摄方向之间的关系)。所述变化被称作相对角度变化p0。所述相对角度变化计算器121包括场内综合亮度值计算器131、区域设置器132、周期平均综合亮度值计算器133、周期平均综合亮度值保持器134、差值计算器135和规范器136。
场内综合亮度值计算器131综合(相加)每场图像(在顺序图像的情况下是在每帧图像上)上的每个像素的亮度值(y),并且计算综合亮度值(场内综合亮度值ynow_w5_f0)。场内综合亮度值计算器131计算由区域设置器设置的区域中的像素的综合亮度值作为场内综合亮度值。场内综合亮度值计算器131将计算出来的场内综合亮度值ynow_w5_f0提供给周期平均综合亮度值计算器133。
区域设置器132设置场内综合亮度值计算器131在其上计算场内综合亮度值ynow_w5_f0的区域。具体来说,场内综合亮度值ynow_w5_f0是预定区域内的像素的亮度值(综合值)的和,所述预定区域是整个或部分拍摄帧。
因此场内综合亮度值ynow_w5_f0是从场内综合亮度值计算器131提供的每场的综合亮度值。周期平均综合亮度值计算器133通过预定时间(周期)(例如,每N场(N是自然数))来平均场内综合亮度值ynow_w5_f0,由此产生周期平均综合亮度值yadd_w5_f0。将周期平均综合亮度值yadd_w5_f0(包括中间计算结果)提供给周期平均综合亮度值保持器134用于存储。计算出一个周期平均综合亮度值yadd_w5_f0后,周期平均综合亮度值计算器133就将值yadd_w5_f0提供给周期平均综合亮度值保持器134用于存储,同时还将值yadd_w5_f0提供给差值计算器135。
周期平均综合亮度值yadd_w5_f0是最近周期(N场)的当前场内综合亮度值ynow_w5_f0的平均值。具体来说,周期平均综合亮度值yadd_w5_f0是从当前场之前的N场的场直到当前场的场内综合亮度值ynow_w5_f0的平均值。相邻前一场的周期平均综合亮度值yadd_w5_f1是从当前场之前的N+1场的场到当前场之前的两个场的场的场内综合亮度值ynow_w5_f0的平均值。
计算出最新周期平均综合亮度值yadd_w5_f0后(当完成一个周期的平均值时),周期平均综合亮度值保持器134就删除之前存储的相邻的前一场的周期平均综合亮度值yadd_w5_f1,将之前存储的周期平均综合亮度值yadd_w5_f0改为相邻的前一场的周期平均综合亮度值yadd_w5_f1,并存储最新的周期平均综合亮度值yadd_w5_f0。在每场的基础上更新周期平均综合亮度值保持器134上存储的场内综合亮度值ynow_w5_f0和计算中间的周期平均综合亮度值yadd_w5_f0。
差值计算器135计算由此计算出的最新周期平均综合亮度值yadd_w5_f0与从周期平均综合亮度值保持器134中获取的相邻的前一场的周期平均综合亮度值yadd_w5_f1之间的差值(yadd_w5_f0-yadd_w5_f1),并将计算结果和最新的场内综合亮度值ynow_w5_f0提供规范器136。
规范器136使用最近场内综合亮度值ynow_w5_f0和一个周期的场数N将从差值计算器135提供的差值规范化,并将规范化的值、也就是综合亮度值的变化率作为相对角度变化p0提供给模式变化检测器122中的模式确定器141。
使用下面的方程式(1)来确定相对角度变化p0:
p 0 = yadd _ w 5 _ f 0 - yadd _ w 5 _ f 1 ynow _ w 5 _ f 0 × N (1)
模式变化检测器122基于由相对角度变化计算器121计算的相对角度变化p0来确定被拍摄图像内容的变化,也就是相对角度变化模式是否改变(模式变化)。模式变化检测器122包括模式确定器141、模式标记142、阈值保持器143、更新检验器144、模式更新器145和模式变化模型确定器146。
模式确定器141基于从相对角度变化计算器121中的规范器136提供的相对角度变化来确定当前模式。这里的模式指的是根据变化程度将被拍摄图像的内容变化归类到的类别。这里有两种模式,即稳定模式和不稳定模式。依据相对角度变化p0的大小,模式确定器141确定物体相对于图像拾取装置50的拍摄角度是大幅度移动(不稳定模式)还是没有大幅度移动(稳定模式)。通过参考模式标记142,模式确定器141识别相邻的前一个周期的模式,并从阈值保持器143中获取与该模式相对应的阈值。模式确定器141利用所述阈值从相对角度变化中确定当前周期的模式。所述模式确定器141向更新检验器144提供模式的确定结果以及从模式标记142中读取的相邻的前一周期的模式。
在模式标记142中设置由模式确定器141确定的模式。具体来说,用表示稳定模式或不稳定模式的信息(标记)来加载所述模式标记142。阈值保持器143保留模式确定器141确定模式时使用的阈值(在每个模式的基础上设置的阈值α和β)。阈值保持器143保留的阈值是由AF启动控制器82设置的值。
更新检验器144基于从模式确定器141提供的信息确定所述模式是否已经被更新。然后更新检验器144向模式更新器145和模式变化模型确定器146提供确定结果和由模式确定器141确定的与当前周期的模式相关的信息。
被更新检验器144通知了模式更新后,模式更新器145就更新模标记142的值以便设置一个表示新模式的值。如果已经在模式标记142中设置了表示稳定模式的值,模式更新器145就将该值更新成表示不稳定模式的值。如果已经在模式标记142中设置了表示不稳定模式的值,模式更新器145就将该值更新成表示稳定模式的值。
模式变化模型确定器146确定由更新检验器144检验的模式,即模式变化的模型。具体来说,模式变化模型确定器146确定所述模式是否从稳定模式转换到不稳定模式或者从不稳定模式转换到稳定模式,并将确定结果提供给AF启动命令输出单元123。
AF启动命令输出单元123基于模式变化检测器122中的模式变化模型确定器146的确定结果向AF控制处理器83输出AF启动命令。具体来说,只有当模式变化模型确定器146确定所述模式已经从不稳定模式转换到稳定模式时,AF启动命令输出单元123才将AF启动命令作为开始AF过程的控制信息提供给AF控制处理器83。
如上所述,AF启动控制器82计算照相机相对于物体的相对角度的变化,作为用于控制相对角度变化计算器121的AF过程启动的参数。模式变化检测器122检测模式变化中的变化模型。AF启动命令输出单元123响应于模式变化模型向AF控制处理器83输出AF过程的启动命令。
图5用图表说明了模式转换确定和AF启动之间的关系。
如图5所示,图像拾取装置50相对于物体的拍摄角度的运动模式(相对角度变化)包括两个模式,即稳定模式151和不稳定模式152。
让相邻在先模式是稳定模式151。在这种情况中,在模式标记142中设置表示稳定模式151的值。模式确定器141参考模式标记142。当模式确定器141确定所述模式是稳定模式151时,模式确定器141从阈值保持器143中检索用于稳定模式的阈值α。模式确定器141将从相对角度变化计算器121中的规范器136提供的相对角度变化的绝对值ABSp(0)(规范后的差值)与阈值α进行比较。如果相对角度变化的绝对值小于阈值α,模式确定器141就确定在新周期内的模式是稳定模式151。由于在相邻的前一个周期和当前周期内的模式都是稳定模式151,所以没有发生模式变化,如箭头曲线161所示。
如果相对角度变化的绝对值ABS(p0)大于阈值α,模式确定器141就确定新周期内的模式是不稳定模式152。具体来说,作为模式变化的结果,所述模式已经从相邻的前一个周期的稳定模式151转换到当前周期的不稳定模式152,如箭头曲线162所示。更新检验器144检验所述模式已经稳定模式151转换到不稳定模式152,如箭头曲线162所示,并且模式更新器145更新模式标记142中的值。
由于在模式标记142中设置了表示不稳定模式152的值,所以模式确定器141参考模式标记142来确定所述模式是不稳定模式152。然后模式确定器141从阈值保持器143中检索用于不稳定模式的阈值β。模式确定器141将从相对角度变化计算器121中的规范器136提供的相对角度变化的绝对值ABS(p0)(规范后的差值)与阈值β进行比较。如果相对角度变化的绝对值ABS(p0)等于或大于阈值β,模式确定器141就确定在新周期内的模式还是不稳定模式152。由于在相邻的前一个周期和当前周期内的模式都是不稳定模式152,所以没有发生模式变化,如箭头曲线163所示。
如果相对角度变化的绝对值ABS(p0)小于阈值β,模式确定器141就确定新周期内的模式是稳定模式151。具体来说,作为模式变化的结果,所述模式已经从相邻的前一个周期的不稳定模式152转换到当前周期的稳定模式151。更新检验器144检验所述模式转换模型是从不稳定模式152到稳定模式151的转换,如箭头曲线164所示。模式更新器145更新模式标记142的值。
当模式按照箭头曲线162和164中的一个转换时,模式变化模型确定器146确定转换方向(模式变化模型)。基于确定结果,只有当模式已经从不稳定模式152转换到稳定模式151时,AF启动命令输出单元123才向AF控制处理器83输出AF过程开始命令,如箭头曲线164所示。
具体来说,如果相对角度变化的绝对值ABS(p0)≤α(如箭头曲线161所示),绝对值ABS(p0)>α(如箭头曲线162所示)或者绝对值ABS(p0)≥β(如箭头曲线163所示),都不会开始AF过程。只有绝对值ABS(p0)<β(如箭头曲线164所示),才开始AF过程。具体来说,如果相对角度变化模式已经从不稳定模式152转换到稳定模式151(如果相对角度的变化在一个相对角度大幅度起伏的起伏期后变得逐渐稳定),就开始AF过程。
作为AF启动控制过程的一个例子,下面将参照图6A和6B来描述图像拾取装置50的摇拍操作。
如图6A所示,从右到左(在拍摄方向上)摇动图像拾取装置50来拍摄物体。过去在拍摄帧171的左边作为物体173A没有出现在拍摄图像中的物体进入拍摄帧171作为物体173B,然后从其左边离开拍摄帧171作为物体173C。
小于拍摄帧171的估计帧172被放置在拍摄帧171的中间。在估计帧172内计算被拍摄图像的估计值,而在整个拍摄帧171内计算场内综合亮度值。
当物体进入和离开估计帧172(如物体173B)时,估计值大幅度变化。当响应于估计值的变化而开始AF过程时,试图聚焦在最后离开拍摄帧171的物体上。当移动聚焦位置时,物体没有呈现在拍摄帧171内,导致离焦像。当估计值在摇拍操作结束后变得稳定时,没有开始AF过程,并且被拍摄图像保持在离焦状态。
当图像拾取装置50如图6A那样摇拍时,场内综合亮度值如图6B的曲线174所示的那样变化。如图6B所示,横坐标表示时间而纵坐标表示场内综合亮度值。例如,当图像拾取装置50如图6A所示的那样从时间t1到时间t2摇拍时,直到时间t1都保持稳定的场内综合亮度值在从时间t1到时间t2的时间长度内大幅度变化。从时间t2往后,即从摇拍操作结束之后,场内综合亮度值又变得稳定。具体来说,图像拾取装置50在时间t1之前是稳定的,在时间t1处转换到不稳定模式,然后又在时间t2处转换回到稳定模式。
当AF启动控制器82利用场内综合亮度值(从场内综合亮度值中计算的相对角度变化的绝对值ABS(p0))控制AF启动控制时,只在时间t2处执行AF过程(在从不稳定模式到稳定模式的转换时间上)。具体来说,在AF过程的启动控制中使用作为专用参数的相对角度变化,而不是作为控制聚焦位置参数的估计值。图像拾取装置50(AF启动控制器82)很容易减少AF过程不必要的部分,由此实现稳定的AF过程。图像拾取装置50这样执行AF启动控制过程,由此控制在摇拍过程中对物体(物体173B)不必要的聚焦操作。图像拾取装置50控制模糊图像。这对于俯仰拍摄操作是一样的。
在AF启动控制器82中,如上所述,相对角度变化计算器121计算照相机相对于物体的相对角度的变化,作为控制AF过程启动的参数,模式变化检测器122检测变化的模式变化模型,以及AF启动命令输出单元123基于模式变化模型向AF控制处理器83输出AF过程的启动命令。
作为另一个例子,下面描述物体在拍摄帧171内摆动的AF启动控制。
如图7A所示,物体173D摆动,由此反复进入和离开拍摄帧171中的估计帧172。在该情况中,估计值明显地改变。如果响应于估计值的变化而开始AF过程,就在物体173D摆动的同时连续执行AF过程。如果执行了AF过程,被拍摄图像的聚焦位置由于摇摆操作而改变。具体来说,当物体193D摆动时,被拍摄图像的聚焦位置连续变化,使得观看者觉得图像很奇怪。尤其是当被拍摄图像是高质量和高清晰度图像时,由于高清晰度,观看者可以在聚焦位置看到清楚的变化。因此观看者对于聚焦位置上的不希望的变化就更感到奇怪了。
相反,在整个拍摄帧171上计算场内综合亮度值。即使物体173D如图7A所示的那样摆动,图7B的曲线175也不会象图6B的曲线174那样变化。在图7B中,横坐标表示时间而纵坐标表示场内综合亮度值。即使物体173D在拍摄帧171内摆动,整个拍摄帧171内的亮度值的和(综合值)也不会那样变化。在该情况中,相对角度变化的模式总是稳定模式。
当AF启动控制器82利用上述场内综合亮度值(从场内综合亮度值中计算出来的相对角度变化的绝对值ABS(p0))执行AF启动控制过程时,不开始任何AF过程。具体来说,图像拾取装置50控制对焦不必要物体(物体173D)的细微聚焦操作,由此稳定被拍摄图像的聚焦位置。因此来控制作为聚焦位置中不必要变化结果的奇怪图像的产生。
如图6A、6B、7A和7B所示,在整个拍摄帧171上计算在AF过程启动控制中使用的场内综合亮度值。在作为拍摄帧171的一部分的估计帧192上计算在A聚焦位置控制中使用的估计值。一般来说,估计帧172越小,用户越容易识别估计帧172内的物体,越容易控制聚焦位置。通过计算这些值,用户可以轻易地控制图像拾取装置50中的聚焦位置。图像拾取装置50限制不必要的AF过程,由此稳定聚焦位置并执行正确的AF启动控制。
场内综合亮度值的计算区域可以是拍摄帧171内的任何位置上的拍摄帧171的一部分。可以在拍摄帧171内建立多个区域(在其上计算场内综合亮度值)。所述多个区域可以相互部分重叠,并且在多个区域中一个区域可以包含完整的另一个区域。
对于估计帧172也是一样的。估计帧172可以被安排在拍摄帧171内的任何位置上。可以将整个拍摄帧171建立成估计帧172。可以在拍摄帧171中安排多个估计帧172。所述多个估计帧172可以相互部分重叠,并且在其中一个估计帧172可以包含完整的另一个估计帧172。
场内综合亮度值的计算区域的设置原则上独立于估计帧172的设置。如前面所述,估计帧172优选地小一些,而场内综合亮度值的计算区域优选地大一些,以便稳定聚焦位置(例如不受物体摆动运动的影响)。
如果场内综合亮度值的计算区域没有覆盖估计帧172,场内综合亮度值和估计值就分别受互相不同物体的影响。由于通常基于用户对焦的物体的运动来控制AF过程启动,所以场内综合亮度值的计算区域优选地包含估计帧172。优选地允许场内综合亮度值的计算区域被有意地设置成不包括估计帧172。在该情况中,响应于与用户当前对焦的物体不同的物体的运动来基于亮度值的变化执行AF启动控制。
例如,当在拍摄灯光的过程中打开或关闭灯光时,灯光值改变。在这种情况中,即使物体(照明)保持不动也可以开始AF过程。当在广端(wide-end)拍摄中物体(照明)覆盖了拍摄帧171的一半区域作为时,在拍摄帧171的没有拍摄到物体(没有照明)的部分建立场内综合亮度值计算区域(也就是在没有覆盖估计帧172的部分中建立)。这样,图像拾取装置50以不受灯光开关打开/关闭的影响的方式来执行AF启动控制,由此减少不必要的AF过程。因此来稳定被拍摄图像的聚焦位置。
用户可以在预拍摄会话或拍摄会话期间在拍摄帧171内的任何位置上预设或设置场内综合亮度值的计算区域。在该情况下,场内综合亮度值的计算区域的大小和形状可以留给用户来设置。而且,可以准备多个候选的场内综合亮度值计算区域,并且用户可以在预拍摄会话或拍摄会话期间从多个候选区域中选择和设置任何一个,作为场内综合亮度值的计算区域。这对于估计帧172也是一样的。估计帧172可以是一个预定的帧或者是由用户在预拍摄会话或拍摄会话期间随意设置的。
如果场内综合亮度值的计算区域和估计帧172是预定的,用户在拍摄会话期间可以以不用进行这种设置的方式拍摄。如果允许用户随意设置场内综合亮度值和估计帧172的计算区域,用户可以设置与环境和物体的拍摄条件相匹配的区域。因此图像拾取装置50按照用户意愿执行合适的AF过程。而且,用户可以通过简单选择区域来轻易地设置所述区域。
作为一种设置场内综合亮度值的计算区域的方法,用户可以设置一个在其上没有计算场内综合亮度值的区域。在该情况中,图像拾取装置50综合一个区域上的亮度值,该区域不是用户指定的区域,来计算场内综合亮度值,并使用产生的场内综合亮度值来执行AF启动控制。
下面详细说明上述过程。下面参照图8的流程图来描述AF启动控制器82的AF启动控制过程。
由信号处理器73提供了视频信号(例如场图像或帧图像)后,AF启动控制器82中的相对角度变化计算器121就在步骤S1中执行相对角度变化计算过程。稍后将参照图9的流程图来描述相对角度变化计算过程。
完成相对角度变化计算过程后,模式变化检测器122就在步骤S2中执行模式变化检测过程。将参照图10的流程图来描述模式变化检测过程。
完成模式变化检测过程后,AF启动命令输出单元123就在步骤S3中基于模式变化检测过程来确定是否开AF过程。当如上所述的那样确定了相对角度变化的模式是从不稳定模式152转换到稳定模式151,并且确定开始AF过程时,AF启动命令输出单元123就在步骤S4中向AF控制处理器83输出AF启动命令。在开始AF过程之后,AF启动命令输出单元123完成AF控制过程。如果在步骤S3中确定相对角度变化的模式不是从不稳定模式152转换到稳定模式151,并且AF过程保持要启动,AF启动命令输出单元123就跳过步骤S4,由此结束AF启动控制过程。
下面参照图9的流程图来描述图8的步骤S1中要执行的相对角度变化计算过程。
当相对角度变化计算过程随着信号处理器73提供的视频信号开始时,场内综合亮度值计算器131在步骤S21中基于所提供的视频信号计算一场中预定区域(所述预定区域由区域设置器132在拍摄帧中建立)中的亮度值(场内综合亮度值)的综合值。
在步骤S22中,周期平均综合亮度值计算器133与周期平均综合亮度值保持器134合作计算每个周期内的综合亮度值的平均值(周期平均综合亮度值)。在步骤S23中,差值计算器135计算相邻周期(最新的周期和相邻的前一个周期)的周期平均综合亮度值的差值。在步骤S24中,规范器136用最新的场内综合亮度值和场数来规范在步骤S23中计算的所述差值,由此确定相对角度变化。紧接着步骤S24,规范器136完成相对角度变化计算过程,并且返回到图8的步骤S1去执行步骤S2和后续步骤。
下面参照图10的流程图来描述图8的步骤S2中要执行的模式变化检测过程。
当模式变化检测过程开始时,模式确定器141在步骤S41中比较作为规范化差值的相对角度变化和与通过参考模式标记142和阈值保持器143获得的相邻的前一个周期中的模式相对应的阈值(选择的以及由AF启动控制器82设置的阈值)。在步骤S42中,模式确定器141确定最新的模式。在步骤S43中,更新检验器144确定所述模式是否改变。如果更新检验器144确定模式已经改变了,处理过程就进行到步骤S44。在步骤S44中,模式更新器145更新模式标记142中的值。模式变化模型确定器146在步骤S45中确定模式变化模型,并在步骤S46中向AF启动命令输出单元123输出模式确定结果。模式变化模型确定器146完成模式变化确定过程,然后返回到图8的步骤S2。AF启动控制器82执行步骤S3和后续步骤。
如果在步骤S43中确定模式没有改变,更新检验器144就跳过步骤S44到S46完成模式变化检测过程,然后返回到图8的步骤S2。AF启动控制器82执行步骤S3和后续步骤。
利用上述执行的步骤,AF启动控制器82很容易减少AF过程,并且实现一个更简单的AF过程,由此产生高质量的图像。
在上面的讨论中,作为控制AF过程启动的参数的、照相机相对于物体的相对角度的变化是基于被拍摄图像的亮度值的。所述参数并不限于亮度值。可以使用除亮度值之外的值来计算所述参数,例如与对比度相关的值。计算方法并不限于上述的一种方法。在上面的讨论中,在每个周期上计算场内综合亮度值的平均值,并且使用所述平均值计算相对角度变化。可选地,代替所述综合亮度值,可以使用亮度值的平均值。代替每个周期上场内综合亮度值的平均值,可以使用场内综合亮度值的和来计算相对角度变化。对根据每场确定的亮度值的平均值在每个周期的基础上取平均来计算相对角度变化。可以使用另一个值来执行规范化操作,例如基于每个周期的平均综合亮度值,而不是最新的场内亮度值和场数。甚至可以省略整个规范化操作。
可以使用照相机相对于物体的相对角度的变化之外的一个值来作为控制AF过程启动的参数。可以将照相机相对于物体的相对角度的变化之外的一个值与照相机相对于物体的相对角度的变化一起使用。
图11说明了根据本发明另一个实施例的图像拾取装置200。图11的图像拾取装置200与图3的图像拾取装置50相对应,在结构上一和图像拾取装置50一样。但是,图像拾取装置200中的AF启动控制器212不同于图像拾取装置50中的AF启动控制器82,其不仅获取从信号处理器73提供的视频信号,还获取估计值计算器211计算的估计值。AF启动控制器212执行由估计值驱动的AF启动控制过程和由视频信号的亮度值驱动的AF启动控制过程。
代替了图3的图像拾取装置50中的AF控制器53,图像拾取装置200包含AF控制器203。AF控制器53在其中包含估计值计算器81和AF启动控制器82,而AF控制器203包含估计值计算器211和AF启动控制器212。
与图3的估计值计算器81不同,估计值计算器211不仅将计算出来的估计值提供给AF控制处理器83,还提供给AF启动控制器212(如箭头实线221所示)。AF启动控制器212不仅执行由信号处理器73提供的视频信号的亮度值驱动的AF启动控制(如箭头实线104C所示),还执行由估计值驱动的AF启动控制。即使相对角度变化处于稳定模式中,如果所述估计值很大,也响应于所述估计值开始AF过程。
图12是详细说明图11的AF启动控制器212的框图。如图12所示,AF启动控制器212包括相对角度变化计算器121、模式变化检测器122、AF启动命令输出单元123以及估计值变化检测器231。
检测AF启动控制中的估计值变化的估计值变化检测器231包括估计值加法器241、参考加法结果保持器242、估计值变化率计算器243和估计值变化率确定器244。
估计值加法器241存储最近的M场的估计值(M是自然数),并计算所述估计值的和(hadd_w1_f1)。如果存储的估计值的数量(场数)还没有达到M(M场),估计值加法器241就存储一个从估计值计算器211提供的新的估计值,并将该新的估计值与存储的中间和相加(在相加过程的中间)。如果估计值加法器241已经保留了M场的估计值以及和结果hadd_w1_f1,估计值加法器241就从存储的M个估计值(M场的)中删除旧的估计值,并且从和结果hadd_w1_f1中减去删除的旧的估计值的值,存储从估计值计算器211提供的估计值,将所述估计值与存储的和(M-1个估计值的和)相加,并计算最新的M场的和结果hadd_w1_f1。
作为参考和结果hadd_w1_f0,参考加法结果保持器242存储M个帧的和结果hadd_w1_f1,所述结果在稳定之后立即被存储在估计值加法器241上(紧接在从不稳定模式转换到稳定模式后)。具体来说,如果确定AF启动命令输出单元123输出了AF启动命令(也就是,模式已经从不稳定模式转换到稳定模式),参考加法结果保持器242就存储和结果hadd_w1_f1作为参考和结果hadd_w1_f0。如果已经存储了现有的参考和结果hadd_w1_f0,参考加法结果保持器242就删除那个参考和结果hadd_w1_f0,然后存储来自估计值加法器241的和结果hadd_w1_f1作为参考和结果hadd_w1_f0。
如果模式变化检测器122中的模式标记142中的值表示稳定模式,估计值变化率计算器243就根据方程式(2),使用估计值加法器241保留的和结果hadd_w1_f1和参考加法结果保持器242保留的参考和结果hadd_w1_f0来计算估计值变化率q0,其表示估计值的变化大小,并将估计值变化率q0提供给估计值变化率确定器244:
q 0 = hadd _ w 5 _ f 1 hadd _ w 5 _ f 0 (2)
估计值变化率确定器244基于提供的估计值变化率q0来确定是否执行AF过程,并向AF启动命令输出单元123输出确定结果。例如,估计值变化率确定器244比较提供的估计值变化率q0和阈值γ(γ是自然数)或1/γ。如果满足由下面的方程式(3)表示的条件,估计值变化率确定器244就确定执行AF过程,并且如果没有满足由下面的方程式(3)表示的条件,估计值变化率确定器244就确定不执行AF过程:
q 0 < 1 &gamma; 或者γ<q0  (3)
估计值变化率确定器244还将确定结果提供给AF启动命令输出单元123。AF启动命令输出单元123基于模式变化检测器122提供的模式变化模型的确定结果和估计值变化率确定器244提供的确定结果向AF控制处理器83提供启动命令来开始AF过程。
通过组合使用估计值驱动的AF启动控制,图像拾取装置200在物体的运动上正确地执行AF启动控制,对场内综合亮度值没有大的影响。
下面参照图13A和13B来描述图像拾取装置200的AF启动控制的具体例子。图像拾取装置200拍摄正在接近的物体。
当物体接近图像拾取装置200时(即,物体从物体251A改变到物体251B),如图13A所示,被拍摄图像如图13B所示的那样变化。被拍摄在被拍摄图像的中央的物体251A(如实轮廓线所示)变化到物体251B,其看起来比物体251A(如虚轮廓线所示)稍微大一些。在整个拍摄帧261上计算亮度值的综合。在图13B所示的变化中,在到拍摄帧261的物体251A的占有比例中和到拍摄帧261的物体251B的占有比例中都没有大的变化,并且场内综合亮度值也没有大的变化。尽管物体随着从图像拾取装置200到正在变化的物体的范围而变得离焦,相对角度变化仍然很小,并且模式仍然在稳定模式。没有开始AF过程,也就是被拍摄图像仍然是离焦的。
与这样的场内综合亮度值形成对比,估计值响应于物体的运动而大幅度变化,因为对比度随着物体离开聚焦位置而下降。图像拾取装置200在监视估计值的变化的同时使用场内综合亮度值来执行AF启动控制。即使相对角度变化是在稳定模式中,图像拾取装置200也响应于估计值的高变化率确定物体正在接近,如图13A所示,并且因此开始AF过程。
图像拾取装置200组合执行由估计值驱动的AF启动控制,由此防止因为没有开始AF过程而捕捉到模糊的图像。因此图像拾取装置200允许用户简单控制聚焦位置,由此进行可靠的AF启动控制。
下面参照图14的流程图来描述AF启动控制过程。图14的流程图对应于图8的流程图。
当开始AF启动控制过程时,AF启动控制器212中的相对角度变化计算器121在步骤S61中执行相对角度变化计算过程。所述相对角度变化计算过程仍然与参照图9所讨论的内容相同,并且在这里省略对其的讨论。
在步骤S62中,模式变化检测器122执行模式变化检测过程。所述模式变化检测过程与参照图10所讨论的内容相同,并且在这里省略对其的讨论。
在步骤S63中,估计值变化检测器231执行估计值变化检测过程。稍后将详细描述估计值变化检测过程。
在步骤S64中,AF启动命令输出单元123基于从模式变化检测器122提供的模式确定结果和从估计值变化检测器231提供的确定结果来确定是否开始AF过程。如果确定开始AF过程,AF启动命令输出单元123就进行到步骤S65向AF控制处理器83输出AF启动命令,并完成AF启动控制过程。如果AF启动命令输出单元123确定不开始AF过程,AF启动命令输出单元123就跳过步骤S65结束AF启动控制过程。
下面参照图15来描述图14的步骤S63中要执行的AF启动控制过程。
当开始AF启动控制过程时,估计值加法器241就在步骤S81中确定是否存储了一个周期的估计值(M个估计值)。如果确定存储了M个估计值,处理过程就进行到步骤S82。从最近的和结果hadd_w1_f1中删除旧的估计值。处理过程进行到步骤S83,将最新的估计值与最近的和相加。如果在步骤S81中确定没有存储一个周期的估计值,估计值加法器241就跳过步骤S82进行到步骤S83。然后估计值加法器241将最新的估计值与最近的和相加。
在步骤S84中,参考加法结果保持器242获取与AF启动命令输出单元123是否已经输出了启动命令相关的信息,并由此确定相对角度变化的模式是否已经从不稳定模式转换到稳定模式。如果相对角度变化的模式已经从不稳定模式转换到稳定模式,参考加法结果保持器242就进行到步骤S85。在步骤S85中,参考加法结果保持器242确定是否在其上存储了参考和结果hadd_w1_f0。如果确定已经存储了参考和结果hadd_w1_f0,参考加法结果保持器242就在步骤S86中删除存储的参考和结果hadd_w1_f0用于更新,然后处理过程进行到步骤S87。参考加法结果保持器242存储作为参考和结果hadd_w1_f0的最近的和(从当前场之前的M个场的场到当前场的估计值的和结果hadd_w1_f1,由估计值加法器241计算并存储)。当参考和结果hadd_w1_f0的更新结束时,参考加法结果保持器242进行到步骤S88。
如果在步骤S85中确定没有存储任何参考和结果hadd_w1_f0,参考加法结果保持器242就跳过步骤S86进行到步骤S87。参考加法结果保持器242存储作为参考和结果hadd_w1_f0的最近的和(从当前场之前的M个场的场到当前场的估计值的和结果hadd_w1_f1,由估计值加法器241计算并存储)。当完成参考和结果hadd_w1_f0的存储时,参考加法结果保持器242就进行到步骤S88。
如果在步骤S84中确定模式没有从不稳定模式转换到稳定模式,参考加法结果保持器242就不更新参考和结果而进行到步骤S88。
在步骤S88中,估计值变化率计算器243参考模式变化检测器122中的模式标记142来确定模式是否是稳定模式。如果模式是稳定模式,估计值变化率计算器243就进行到步骤S89。估计值变化率计算器243从估计值加法器241中获取最近的和结果hadd_w1_f1以及从参考加法结果保持器242中获取参考和结果hadd_w1_f0,然后基于获取的和来计算估计值变化率q0。在步骤S90中,估计值变化率确定器244将步骤S89中计算出来的估计值变化率q0与估计值变化率q0比较,基于比较结果确定是否执行AF过程。在步骤S91中,估计值变化率确定器244向AF启动命令输出单元123输出确定结果来结束估计值变化检测过程。处理过程返回到图14的步骤S63来执行步骤S64和后续步骤。
如果在图15的步骤S88中确定出图像拾取装置200不是在稳定模式中,估计值变化率计算器243在不用计算估计值变化率的情况下结束估计值变化检测过程,并返回到图14的步骤S63来执行步骤S64和后续步骤。
利用上面描述的所执行的过程步骤,AF启动控制器212执行减少了不必要的AF过程的可靠的AF过程。图像拾取装置200由此提供高质量的图像。
在上面的讨论中,在预定周期(M场)上将各个估计值相加。本发明并不限于那种方法。可以使用估计值的平均值,或者可以使用一个场的估计值。可以基于当前场的估计值以及在从不稳定模式转换到稳定模式的时刻的场的估计值来计算估计值变化率。通过从综合大量时间周期(在多个场上)上的估计值获得的估计值中计算估计值变化率来控制由于图7A和7B中所示的物体的运动而导致的估计值变化率中的上升(也就是不必要的AF过程的启动)。
图像拾取装置可以考虑照相机相对于物体的相对角度变化的和,将其作为控制AF过程启动的参数来执行AF启动控制。
与图4相对应的图16示详细说明图3的图像拾取装置50中的AF启动控制器82的另一个例子的框图。
图16的AF启动控制器82包括相对角度变化计算器121、模式变化检测器122、AF启动命令输出单元123和综合亮度值变化检测器301。
综合亮度值变化检测器301监视场内综合亮度值中的变化,并且响应于所述变化来执行AF启动控制。综合亮度值变化检测器301包括最近场内综合亮度值获取单元311、参考场内综合亮度值保持器312、综合亮度值变化率计算器313和综合亮度值变化率确定器314。
最近场内综合亮度值获取单元311从相对角度变化计算器121中的场内综合亮度值计算器131中获取最近的场(当前场)的场内综合亮度值y_now。
参考场内综合亮度值保持器312在稳定之后立即从最近场内综合亮度值获取单元311中获取和存储作为参考场内综合亮度值y_jp的最近场内综合亮度值y_now(紧接在从不稳定模式转换到稳定模式后)。如果确定AF启动命令输出单元123已经输出了AF启动命令(也就是如果确定所述装置已经从不稳定模式转换到稳定模式),参考场内综合亮度值保持器312就将存储在最近场内综合亮度值获取单元311上的、作为参考场内综合亮度值y_jp的最近场内综合亮度值y_now存储起来。如果存在现有的参考场内综合亮度值y_jp,参考场内综合亮度值保持器312首先删除现有的参考场内综合亮度值y_jp,并将存储在最近场内综合亮度值获取单元311上的、作为新的参考场内综合亮度值y_jp的最近场内综合亮度值y_now存储起来。
如果模式变化检测器122中的模式标记142中的值表示稳定模式,综合亮度值变化率计算器313就根据下面的方程式(4),使用来自最近场内综合亮度值获取单元311的最近的场内综合亮度值y_now和来自参考场内综合亮度值保持器312的参考场内综合亮度值y_jp来计算表示场内综合亮度值的变化大小的综合亮度值变化率r0,然后将综合亮度值变化率r0提供给综合亮度值变化率确定器314:
r 0 = y _ now y _ jp (4)
综合亮度值变化率确定器314基于所提供的综合亮度值变化率r0来确定是否执行AF过程,然后向AF启动命令输出单元123输出确定结果。例如,综合亮度值变化率确定器314将所提供的综合亮度值变化率r0与预定阈值δ或1/δ(δ是自然数)比较。如果满足下面的方程式(5),综合亮度值变化率确定器314就确定开始AF过程,如果不满足下面的方程式(5),综合亮度值变化率确定器314就确定不开始AF过程:
r 0 < 1 &delta; 或δ<r0      (5)
综合亮度值变化率确定器314将确定结果提供给AF启动命令输出单元123。AF启动命令输出单元123基于来自模式变化检测器122的模式变化模型的确定结果和来自综合亮度值变化率确定器314的确定结果向AF控制处理器83提供AF过程的启动命令。
使用由组合场内综合亮度值驱动的AF启动控制,图像拾取装置200正确地对其场内综合亮度值没有瞬时形状变化的物体执行AF启动控制。
图17A和17B说明了AF启动控制过程的具体例子,其中缓慢摇动图像拾取装置50。
如图17A所示,用户从左向右缓慢摇动图像拾取装置50(也就是,缓慢改变拍摄方向)。用与图6A所示相同的方式,尽管速度很低,但是最初位于拍摄帧321外部的物体(作为物体323A)在摇拍操作中缓慢地进入拍摄帧321。随着图像拾取装置50进一步摇动,物体就完全在拍摄帧321内部(作为物体323B),然后从其左边离开拍摄帧321(作为物体323C)。
如果图像拾取装置50这样缓慢摇动,场内综合亮度值就如图17B的曲线324所示的那样逐渐匀速变化。因为响应于每个单位时间(也就是每场)的场内综合亮度值变化的相对角度变化率没有大幅度波动,所以模式保持稳定模式,并且摇拍操作随着没有开AF过程而结束(聚焦位置固定)。
当匀速缓慢摇动图像拾取装置50时,用户一般希望在摇动过程中对焦物体(例如物体323B)。图16的AF启动控制器82可以执行简单的低摇动速度的聚焦位置控制。为了用开AF过程来对焦物体323B,AF启动控制器82因此不仅基于相对角度变化的变化大小(对应于图17B的曲线324的斜率)来执行AF启动控制过程,还基于场内综合亮度值的变化来执行AF启动控制过程(对应于图17B的曲线234上的两个点之间的差值)。
如果场内综合亮度值从在转换到稳定模式中的场的场内综合亮度值开始变化了预定的比率(δ)或者更多,图16的AF启动控制器82就通过确定被拍摄图像内容变化(也就是正在拍摄一个新的物体或者当前拍摄的物体正离开拍摄帧321)而开始AF过程,然后开始AF过程。
随着AF启动控制被执行,包括图16的AF启动控制器82的图像拾取装置50使用利用了场内综合亮度值变化率的AF启动控制过程。因此图像拾取装置50防止在没有开始AF过程的情况下被拍摄的图像是离焦的。具体来说,图像拾取装置200允许用户简单地控制聚焦位置,并执行可靠的AF启动控制过程。
下面参照图18的流程图来描述AF启动控制过程。图18的流程图对应于图8和图13的流程图。
当开始AF启动控制过程时,AF启动控制器212中的相对角度变化计算器121在步骤S111中执行相对角度变化计算过程。所述相对角度变化计算过程与先前参照图9的流程图描述的内容相同,因此在这里省略对其的讨论。
在步骤S112中,模式变化检测器122执行模式变化检测过程。所述相对角度变化计算过程与先前参照图10的流程图描述的内容相同,因此在这里省略对其的讨论。
在步骤S113中,综合亮度值变化检测器301执行场内综合亮度值变化检测过程。稍后将详细描述所述场内综合亮度值变化检测过程。
在步骤S114中,AF启动命令输出单元123基于从模式变化检测器122提供的模式确定结果和从综合亮度值变化检测器301提供的确定结果来确定是否开始AF过程。确定开始AF过程后,AF启动命令输出单元123就进行到步骤S115来输出AF过程启动命令,然后结束AF启动控制过程。如果在步骤S114中确定不开始AF过程,AF启动命令输出单元123就跳过步骤S115而结束AF启动控制过程。
下面参照图19的流程图来详细描述图18的步骤S113中执行的场内综合亮度值变化检测过程。
当开始场内综合亮度值变化检测过程时,最近场内综合亮度值获取单元311在步骤S131中从相对角度变化计算器121中获取最近的场内综合亮度值y_now。在步骤中S132中,参考场内综合亮度值保持器312获取与AF启动命令输出单元123是否已经发布了启动命令相关的信息,确定相对角度变化的模式是否已经从不稳定模式转到稳定模式,并且如果确定所述模式已经转换到稳定模式,处理过程就进行到步骤S133。在步骤S133中,参考场内综合亮度值保持器312确定其中是否存储了参考场内综合亮度值y_jp。如果确定存储了参考场内综合亮度值y_jp,参考场内综合亮度值保持器312就在步骤S134中删除存储的参考场内综合亮度值y_jp来更新参考场内综合亮度值y_jp。在步骤S135中,参考场内综合亮度值保持器312存储最近的场内综合亮度值y_now作为参考场内综合亮度值y_jp。当完成参考场内综合亮度值y_jp的更新时,参考场内综合亮度值保持器312就进行到步骤S136。
如果在步骤S133中确定没有存储参考场内综合亮度值y_jp,参考场内综合亮度值保持器312就跳过步骤S134进行到步骤S135来存储最近的场内综合亮度值y_now作为参考场内综合亮度值y_jp。当完成参考场内综合亮度值y_jp的存储时,参考场内综合亮度值保持器312就进行到步骤S136。
如果在步骤S132中确定所述模式还没有从不稳定模式转换到稳定模式,参考场内综合亮度值保持器312就不更新参考场内综合亮度值y_jp而进行到步骤S136。
在步骤S136中,综合亮度值变化率计算器313参考模式变化检测器122中的模式标记142来确定所述模式当前是否是稳定模式。如果确定所述模式当前是稳定模式,综合亮度值变化率计算器313就进行到步骤S137。综合亮度值变化率计算器313从最近场内综合亮度值获取单元311中获取最近的场内综合亮度值y_now,并且从参考场内综合亮度值保持器312中获取参考场内综合亮度值y_jp,基于所获取的值计算综合亮度值变化率r0。在步骤S138中,综合亮度值变化率确定器314比较在步骤S137中计算的综合亮度值变化率r0和预定的阈值。综合亮度值变化率确定器314基于比较结果来确定是否开始AF过程。在步骤S139中,综合亮度值变化率确定器314向AF启动命令输出单元123输出确定结果,并且完成场内综合亮度值变化检测过程。处理过程进行到图18的步骤S113来执行步骤S114和后续步骤。
如果在图10的步骤S136中确定所述模式当前不是稳定模式,综合亮度值变化率计算器313就不计算综合亮度值变化率r0而结束场内综合亮度值变化检测过程。处理过程返回到图18的步骤S113来执行步骤S114和后续步骤。
因此图16的AF启动控制器82减少了AF过程,消除了其中的不必要的部分。例如,当用户匀速缓慢摇动图像拾取装置时,AF启动控制器82对焦用户希望拍摄的物体,开始聚焦的AF过程。因此可靠地执行AF过程,产生高质量的图像。对于俯仰拍摄操作也同样可靠地执行AF过程。
可以使用硬件或软件来执行上述过程步骤。如果使用软件来执行所述过程步骤,可以从记录介质中或经由网络来安装形成所述软件的计算机程序。
所述记录介质可包括与装置机身分开提供的、给用户提供计算机程序的可拆除介质97。所述记录介质还可包括ROM 91或记录单元94(包括硬盘),其都存储计算机程序并且是在装置机身中提供给用户的。
可以用这里描述的连续的时间顺序来执行所述在记录介质上存储的、形成计算机程序的过程步骤。或者可以并行地或单独执行所述过程步骤。
可以在多个单元中分割这里描述的装置。或者可以将描述成多个单元的设置综合到一个单个装置中。可以向系统中增加上面没有描述的元件。只要整个装置在结构和操作上保持不变,一个单元的一部分可以包含在另一个单元中。
本领域技术人员应该理解,只要在附加的权利要求的范围或其等同物内,可以依据设计需要和其他因素而出现各种修改、组合、子组合和变换。

Claims (16)

1.一种控制装置,用于在捕捉物体图像的过程中,控制驱动图像拾取设备的光学元件的驱动器以调整图像拾取设备的聚焦位置,所述控制装置包括:
用于计算相对角度变化的相对角度变化计算装置,所述相对角度变化是图像拾取设备相对于物体的相对角度的每个单位时间的变化;
用于通过确定由相对角度变化计算装置计算的相对角度变化的模式是包含少量变化的稳定模式还是包含大量变化的不稳定模式来检测相对角度变化模式的变化的模式变化检测装置;以及
用于管理聚焦位置控制过程的启动的聚焦位置控制过程启动装置,所述聚焦位置控制过程用于响应于由模式变化检测装置检测到的模式变化的模型通过控制驱动器去控制聚焦位置。
2.如权利要求1所述的控制装置,还包括用于执行由聚焦位置控制过程启动装置启动的聚焦位置控制过程的聚焦位置控制过程执行装置。
3.如权利要求1所述的控制装置,其中如果模式变化检测装置检测到的模式变化是从不稳定模式到稳定模式的变化,聚焦位置控制过程启动装置就启动聚焦位置控制过程。
4.如权利要求1所述的控制装置,其中只有模式变化检测装置检测到的模式变化是从不稳定模式到稳定模式的变化,聚焦位置控制过程启动装置才启动聚焦位置控制过程。
5.如权利要求1所述的控制装置,其中所述相对角度变化计算装置包括:
用于通过综合场内的物体的被捕捉图像的每个像素的亮度值来计算场内综合亮度值的场内综合亮度值计算装置;
用于在具有预定时间长度的时间范围内计算由场内综合亮度值计算装置计算出来的场内综合亮度值的平均值的平均值计算装置;
用于计算第一时间范围的平均值与第二时间范围的平均值之间的差值的差值计算装置,所述第一时间范围等于具有所述预定时间长度的时间范围并且包含当前场,所述第二时间范围紧接第一时间范围之前,每个平均值都由平均值计算装置计算;以及
用当前场的场内综合亮度值和所述时间范围的长度来规范差值计算装置计算出来的差值、并且将规范化的差值作为相对角度变化进行处理的规范装置。
6.如权利要求5所述的控制装置,其中场内综合亮度值计算装置综合在被捕捉图像中的预定区域中的亮度值并将产生的值作为场内综合亮度值进行处理。
7.如权利要求6所述的控制装置,其中所述预定区域是独立于在其上计算聚焦位置控制过程中使用的参数的区域而建立的。
8.如权利要求6所述的控制装置,其中所述预定区域包含在其上计算聚焦位置控制过程中使用的参数的区域。
9.如权利要求6所述的控制装置,其中所述预定区域是整个被捕捉图像。
10.如权利要求1所述的控制装置,其中所述模式变化检测装置包括:
用于将由相对角度变化计算装置计算的相对角度变化与预定阈值比较,并且如果相对角度变化小于预定阈值就确定所述模式是稳定模式而如果相对角度变化等于或大于预定阈值就确定所述模式是不稳定模式的模式确定装置;
基于模式确定装置的确定结果来检验模式的设置是否被更新的更新检验装置;以及
用于在由更新检验装置检验的模式设置的更新时确定模式变化的模型的模式变化模型确定装置。
11.如权利要求1所述的控制装置,还包括用于计算估计值的估计值计算装置,该估计值估计物体的被捕捉图像的离焦度,作为聚焦位置控制过程的参数;以及
用于检测由估计值计算装置计算出来的估计值的变化的估计值变化检测装置,
其中即使模式变化检测装置没有检测到模式中的变化并且模式保持在稳定模式,聚焦位置控制过程启动装置也响应于由估计值变化检测装置检测到的估计值的变化而启动聚焦位置控制过程。
12.如权利要求11所述的控制装置,其中所述估计值变化检测装置包括:
用于在每个预定时间范围内相加由估计值计算装置计算出来的估计值的估计值加法计算装置;
用于从作为由估计值加法计算装置执行的加法的结果而获得的加法结果中,存储在从不稳定模式转换到稳定模式时获得的加法结果作为参考加法结果的参考加法结果存储装置;
基于由估计值加法计算装置提供的加法结果和在参考加法结果存储装置上存储的参考加法结果来计算估计值变化率的估计值变化率计算装置;以及
基于估计值变化率计算装置计算出来的估计值变化率来确定是否启动聚焦位置控制过程的估计值变化率确定装置。
13.如权利要求1所述的控制装置,还包括用于基于由相对角度变化计算装置计算出来的场内综合亮度值来检测场内综合亮度值的变化的综合亮度值变化检测装置,
其中即使模式变化检测装置没有检测到任何模式变化并且模式仍然保持在稳定模式,聚焦位置控制过程启动装置也响应于综合亮度值变化检测装置检测到的场内综合亮度值的变化来启动聚焦位置控制过程。
14.如权利要求13所述的控制装置,其中综合亮度值变化检测装置包括:
用于获取由相对角度变化计算装置计算出来的最近的场内综合亮度值的最近场内综合亮度值获取装置;
用于从最近场内综合亮度值获取装置获取的场内综合亮度值中,存储在从不稳定模式转换到稳定模式时获取的场内综合亮度值作为参考场内综合亮度值的参考场内综合亮度值存储装置;
用于基于由最近场内综合亮度值获取装置获取的最近场内综合亮度值和在参考场内综合亮度值存储装置上存储的参考场内综合亮度值来计算作为场内综合亮度值的变化率的综合亮度值变化率的综合亮度值变化率计算装置;以及
用于基于由综合亮度值变化率计算装置计算出来的综合亮度值变化率来确定是否启动聚焦位置控制过程的综合亮度值变化率确定装置。
15.一种控制装置的控制方法,用于在捕捉物体图像的过程中,控制驱动图像拾取设备的光学元件的驱动器以调整图像拾取设备的聚焦位置,所述控制方法包括:
基于由图像拾取设备提供的物体的被捕捉图像来计算相对角度变化的相对角度变化计算步骤,所述相对角度变化是图像拾取设备相对于物体的相对角度的每个单位时间的变化;
通过确定在相对角度变化计算步骤中计算的相对角度变化的模式是包含少量变化的稳定模式还是包含大量变化的不稳定模式来检测相对角度变化模式的变化的模式变化检测步骤;
确定是否启动聚焦位置控制过程的启动确定步骤,所述聚焦位置控制过程用于通过响应于在模式变化检测步骤中检测到的模式变化的变化模型,来控制驱动器去控制聚焦位置;以及
基于启动确定步骤中的确定结果启动聚焦位置控制过程以便使驱动器调整聚焦位置的聚焦位置控制过程启动步骤。
16.一种照相机,其具有捕捉物体图像的图像拾取设备和在捕捉物体图像的过程中通过图像拾取设备调整聚焦位置的驱动器,所述照相机包括:
用于计算相对角度变化的相对角度变化计算装置,所述相对角度变化是图像拾取设备相对于物体的相对角度的每个单位时间的变化;
用于通过确定由相对角度变化计算装置计算的相对角度变化的模式是包含少量变化的稳定模式还是包含大量变化的不稳定模式来检测相对角度变化模式的改变的模式变化检测装置;
用于管理聚焦位置控制过程的启动的聚焦位置控制过程启动装置,所述聚焦位置控制过程用于响应于模式变化检测装置检测到的模式变化的模型通过控制驱动器去控制聚焦位置;以及
用于执行由聚焦位置控制过程启动装置启动的聚焦位置控制过程的聚焦位置控制过程执行装置,所述聚焦位置控制过程控制驱动器去控制聚焦位置。
CNB2006100754023A 2005-04-15 2006-04-14 控制装置及其控制方法,以及照相机 Expired - Fee Related CN100426842C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005-118318 2005-04-15
JP2005118318A JP4419084B2 (ja) 2005-04-15 2005-04-15 制御装置および方法、プログラム、並びにカメラ
JP2005118318 2005-04-15

Publications (2)

Publication Number Publication Date
CN1848923A CN1848923A (zh) 2006-10-18
CN100426842C true CN100426842C (zh) 2008-10-15

Family

ID=36615600

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006100754023A Expired - Fee Related CN100426842C (zh) 2005-04-15 2006-04-14 控制装置及其控制方法,以及照相机

Country Status (5)

Country Link
US (1) US7616252B2 (zh)
EP (1) EP1713257A3 (zh)
JP (1) JP4419084B2 (zh)
CN (1) CN100426842C (zh)
TW (1) TWI306536B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4470901B2 (ja) * 2006-03-31 2010-06-02 ソニー株式会社 撮像装置、高周波成分検出回路、高周波成分検出方法及びコンピュータプログラム
US8274596B2 (en) * 2008-04-30 2012-09-25 Motorola Mobility Llc Method and apparatus for motion detection in auto-focus applications
TWI469629B (zh) * 2008-09-30 2015-01-11 Htc Corp 啟動自動對焦功能的方法、其電子裝置、儲存媒體,與使用此方法之電腦程式產品
US10178406B2 (en) * 2009-11-06 2019-01-08 Qualcomm Incorporated Control of video encoding based on one or more video capture parameters
US8837576B2 (en) * 2009-11-06 2014-09-16 Qualcomm Incorporated Camera parameter-assisted video encoding
US20110292997A1 (en) * 2009-11-06 2011-12-01 Qualcomm Incorporated Control of video encoding based on image capture parameters
JP5537186B2 (ja) * 2010-02-24 2014-07-02 オリンパスイメージング株式会社 アタッチメントレンズ装置及びそれを備えた撮像装置
JP5951211B2 (ja) * 2011-10-04 2016-07-13 オリンパス株式会社 合焦制御装置及び内視鏡装置
JP2013160919A (ja) * 2012-02-06 2013-08-19 Hitachi Ltd 画像信号処理装置及び画像信号処理方法
KR101880636B1 (ko) * 2012-07-25 2018-07-20 삼성전자주식회사 디지털 촬영 장치 및 그의 제어 방법
US9554042B2 (en) 2012-09-24 2017-01-24 Google Technology Holdings LLC Preventing motion artifacts by intelligently disabling video stabilization
US8941743B2 (en) 2012-09-24 2015-01-27 Google Technology Holdings LLC Preventing motion artifacts by intelligently disabling video stabilization
JP6808333B2 (ja) * 2015-04-03 2021-01-06 キヤノン株式会社 表示制御装置及び方法、及び撮像装置
US20160295122A1 (en) 2015-04-03 2016-10-06 Canon Kabushiki Kaisha Display control apparatus, display control method, and image capturing apparatus
JP6177387B2 (ja) * 2016-06-08 2017-08-09 オリンパス株式会社 内視鏡装置の合焦制御装置、内視鏡装置及び内視鏡制御装置の作動方法
CN107770442B (zh) * 2017-10-24 2020-01-14 Oppo广东移动通信有限公司 拍摄图像的方法、装置及终端
US11336656B2 (en) * 2019-09-26 2022-05-17 Continental Automotive Systems, Inc. Verification apparatus, vehicle-to-x communication device, method and use
CN110996003B (zh) * 2019-12-16 2022-03-25 Tcl移动通信科技(宁波)有限公司 一种拍照定位方法、装置及移动终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1527126A (zh) * 2003-03-07 2004-09-08 精工爱普生株式会社 图像处理系统、投影机和图像处理方法
CN1534637A (zh) * 2003-02-18 2004-10-06 日本先锋公司 光学拾取器的焦点位置调整方法和焦点位置调整装置
WO2005026802A1 (ja) * 2003-08-26 2005-03-24 Sony Corporation オートフォーカス制御方法、オートフォーカス制御装置および画像処理装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2659964B2 (ja) 1987-09-02 1997-09-30 キヤノン株式会社 自動合焦装置
GB2209446B (en) * 1987-09-02 1992-09-30 Canon Kk Automatic focusing device
JPH0630322A (ja) * 1992-07-10 1994-02-04 Canon Inc 自動合焦装置
JPH0829669A (ja) * 1994-07-19 1996-02-02 Canon Inc カメラ
JPH08265621A (ja) 1995-03-27 1996-10-11 Canon Inc 撮像装置
US6396540B1 (en) * 1995-09-20 2002-05-28 Canon Kabushiki Kaisha Video camera system with interchangeable lens assembly
WO1997025812A1 (fr) 1996-01-11 1997-07-17 Sony Corporation Dispositif et procede de reglage de la nettete
JP3715722B2 (ja) 1996-07-22 2005-11-16 キヤノン株式会社 自動焦点調節装置および方法
JP3774962B2 (ja) 1996-11-27 2006-05-17 ソニー株式会社 オートフォーカス装置
JPH10215403A (ja) 1997-01-30 1998-08-11 Sony Corp ビデオカメラのオートフォーカス装置
JP3840725B2 (ja) * 1997-01-30 2006-11-01 ソニー株式会社 ビデオカメラのオートフォーカス装置
JP3493455B2 (ja) * 2001-06-06 2004-02-03 ミノルタ株式会社 オートフォーカス装置、カメラ及びオートフォーカス方法
JP4278948B2 (ja) 2002-09-26 2009-06-17 富士フイルム株式会社 カメラ
JP4092636B2 (ja) * 2002-11-01 2008-05-28 フジノン株式会社 オートフォーカスシステム
JP3823921B2 (ja) * 2002-12-27 2006-09-20 コニカミノルタフォトイメージング株式会社 撮像装置
JP4239954B2 (ja) * 2004-11-17 2009-03-18 カシオ計算機株式会社 カメラ装置及び合焦領域制御プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1534637A (zh) * 2003-02-18 2004-10-06 日本先锋公司 光学拾取器的焦点位置调整方法和焦点位置调整装置
CN1527126A (zh) * 2003-03-07 2004-09-08 精工爱普生株式会社 图像处理系统、投影机和图像处理方法
WO2005026802A1 (ja) * 2003-08-26 2005-03-24 Sony Corporation オートフォーカス制御方法、オートフォーカス制御装置および画像処理装置

Also Published As

Publication number Publication date
TW200707057A (en) 2007-02-16
EP1713257A3 (en) 2011-12-21
US20060232697A1 (en) 2006-10-19
TWI306536B (en) 2009-02-21
CN1848923A (zh) 2006-10-18
US7616252B2 (en) 2009-11-10
JP4419084B2 (ja) 2010-02-24
EP1713257A2 (en) 2006-10-18
JP2006301000A (ja) 2006-11-02

Similar Documents

Publication Publication Date Title
CN100426842C (zh) 控制装置及其控制方法,以及照相机
US8300112B2 (en) Image processing apparatus and control method therefor
US8724981B2 (en) Imaging apparatus, focus position detecting method, and computer program product
CN100485435C (zh) 自动聚焦装置和方法,摄影装置
US8670658B2 (en) Image capture apparatus and method of controlling the same
KR101593995B1 (ko) 자동 초점 조절 방법, 상기 방법을 기록한 기록 매체, 및 상기 방법을 실행하는 자동 초점 조절 장치
JP4907740B2 (ja) 撮像装置
CN101355654A (zh) 图像捕获设备和图像捕获控制方法
JP2007304280A (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
JP2009268086A (ja) 撮像装置
CN102917169A (zh) 自动聚焦调节方法和设备及包括该设备的数字拍摄设备
JP2010050798A (ja) 電子カメラ
US20100214407A1 (en) Camera
CN100440935C (zh) 用于自动聚焦控制的设备、方法和摄像机
CN102685384B (zh) 摄像设备
CN100426843C (zh) 控制设备及其控制方法
KR101630302B1 (ko) 입체 터치 패널을 구비하는 디지털 촬영 장치 및 이의 제어 방법
JP5322629B2 (ja) 自動焦点検出装置及びその制御方法、撮像装置
JP2014106411A (ja) 自動焦点調節装置及び自動焦点調節方法
US9467615B2 (en) Imaging apparatus including dynamic image focus detection
JP4750616B2 (ja) 撮像装置及びその制御方法
JP2003121721A (ja) 撮像装置及びその合焦制御方法、並びにプログラム
CN116055844B (zh) 一种跟踪对焦方法、电子设备和计算机可读存储介质
CN112136318B (zh) 控制装置、摄像系统、控制方法以及计算机可读存储介质
JP2005323144A (ja) 電子カメラ

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081015