CN103503433B - 图像的聚焦误差估计 - Google Patents
图像的聚焦误差估计 Download PDFInfo
- Publication number
- CN103503433B CN103503433B CN201280008944.2A CN201280008944A CN103503433B CN 103503433 B CN103503433 B CN 103503433B CN 201280008944 A CN201280008944 A CN 201280008944A CN 103503433 B CN103503433 B CN 103503433B
- Authority
- CN
- China
- Prior art keywords
- wave filter
- group
- defocusing
- defocusing degree
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
估计图像中的聚焦误差包括训练阶段和应用阶段。在训练阶段,光学系统由点‑扩散函数表示。图像传感器阵列由一个或多个波长灵敏度函数、一个或多个噪声函数和一个或多个空间取样函数表示。点‑扩散函数被应用到指定范围内的多个散焦程度的每一个的图像块以产生训练数据。使用波长灵敏度和空间取样函数对每个散焦程度(即聚焦误差)的每个图像进行取样。使用噪声函数添加噪声。从传感器阵列到训练数据的响应被用于生成用于估计指定范围内的聚焦误差的散焦滤波器。然后,散焦滤波器被应用到训练数据的图像块,并且对每个散焦程度的滤波器响应的联合概率分布进行表征。在应用阶段,获得并结合对任意图像块的滤波器响应以推导出每个任意图像块的聚焦误差的连续的、带符号的估计。
Description
相关申请的交叉引用
本申请是与2011年2月25日申请的、发明名称为“单个自然图像中的散焦估计”、序号为61/446566的美国临时中请共同未决的非临时专利申请。为了所有的目的,该临时申请通过全文引用特别地合并在此。
关于对联邦资助的研究或科研做出的发明的权利的声明
根据国立健康研究院资助的2R01EY11747号的条款的规定,美国政府可拥有本发明的某些权利。
技术领域
本发明涉及自动聚焦光学系统,更特别地涉及对通过光学系统接收的图像中的误差的估计。
背景技术
自动聚焦光学系统(如数码相机、数码相机、显微镜、微加工设备)使用传感器、控制系统和电机来全自动聚焦或手动聚焦到选择的点或区域。自动聚焦光学系统用来确定正确焦点的聚焦方法主要有两类。一类是被称为“主动的,,的自动聚焦。此类自动聚焦通过发射信号(如红外线、超声波)来确定焦点。在发射声波的情况下,通过测量声波的反射延时来计算到对象的距离。在发射红外线的情况下,通过三角定位到对象的距离来计算目标距离。当主动自动聚焦方法工作于非常低亮度的条件下时,不能聚焦到非常近的物体(如微距摄影),并且由于玻璃会反射发射的信号,因而不能透过窗户进行聚焦。
自动聚焦的另一类方法被称为“被动的”或“基于图像”的自动聚焦。焦点是通过分析进入光学系统的图像来确定的。因此,被动的自动对焦方法通常不能朝对象引导任何能量,如超声波或红外光波。被动自动对焦的两种主要方法是对比度测量和相位检测。
对比度测量是通过测量小区域内的图像传感器上的像素的强度差异来实现的。传感器的相邻像素间的强度差异通常随着聚焦误差的减少而增加。因此直到检测到最大对比度才调节光学系统。然而,因为此聚焦方法搜索而不是获得焦距的必需变化的估计,所以该方法是缓慢的。此外,该方法依赖于假设对比度完全跟随聚焦误差。但该假设并不完全正确。进一步地,对比度测量不提供散焦符号的估计。也就是说,它不计算光学系统是否聚焦在对象的前面或后面。
相位检测自动聚焦是通过将入射光分到成对的图像并比较它们来实现的。系统耦合有光束分离器、一个小副镜和两个光学棱镜来将光线引导到光学系统内的专用自动聚集传感器上。两个光学棱镜捕获来自透镜的反面的光线并将光线转向到自动聚焦传感器,构成具有与光圈直径类似的基础的简单测距仪。然后为相似光强度模型(峰与谷)分析这两个图像并计算相位差异以确定聚焦误差的量级,并确定光学系统是否聚焦在对象的前面或后面。尽管相位检测方法较快、较精确并且估计散焦符号,但因为需要特别的光束分离器、镜子、棱镜和传感器,所以实施的代价很高。而且,额外的硬件增加了光学系统的尺寸和重量。此外,此方法不能运行于“实时取景”模式(特点是允许光学系统的显示屏如数码相机的显示屏作为取景器使用)。
然而,如果可开发出不需要重复搜索和附加光学器件来完成聚焦误差估计的技术,那么人们可获得对比度和相位检测方法的效益而避开它们的缺点。
发明内容
在本发明的一个实施例中,在将物体的图像数据接收到光学系统的传感器阵列上后,通过计算光学系统的一个或更多个散焦滤波器的每一个的滤波器响应值来估计光学系统的聚焦误差,从而计算的响应值包含接收的图像数据的滤波器响应矢量,然后识别每个可能散焦程度的概率,从这些概率估计散焦程度。在此方式中,不需要分离物镜和传感器阵列间的光学路径就可估计聚焦误差,确定步骤中的最后一个步骤变为关于接收的图像数据的滤波器响应矢量的相对简单的代数运算。因此,聚焦误差在一个计算步骤中确定,相比于对比度技术这是更高效的过程,并且不需要相位检测技术的复杂硬件器件。
在本发明的其他方面,估计图像中的聚焦误差的方法包括收集一组图像块以获得图像的统计学描述。该方法进一步包括通过用于在散焦程度范围内的多个散焦程度中每一个的点-扩散(point-spread)函数来表现光学系统。而且,该方法包括通过至少一个波长灵敏度函数和空间取样函数来表现传感器阵列。另外,该方法包括使用用于多个散焦程度中的每一个的点扩散函数来计算一组指向传感器阵列的散焦图像块。进一步地,该方法包括对在使用传感器阵列的波长、空间-取样和噪声函数的传感器阵列上的一组散焦图像块中的每一个进行取样。该方法进一步包括从该传感器阵列获得用于给定类别传感器的响应。另外,该方法包括为多个散焦程度的每一个从来自传感器阵列的传感器响应生成一组散焦滤波器。另外,该方法包括为用于一组图像块的多个散焦程度的每一个确定滤波器响应分布的参数化描述。此外,该方法包括由处理器从任意滤波器响应矢量和该滤波器响应分布的参数化描述来计算聚焦误差。
如上所述的该方法的实施例的其他形式可在系统和计算机程序产品中提供。
前述内容已相当综合地概括了本发明的一个或更多个实施例的特征和技术优势,以便更好地理解后续的本发明的详细说明。以下将说明形成本发明的权利要求的主题的本发明的附加特征和优势。
附图说明
当结合下列附图考虑下列详细说明时,可获得对本发明的更好的理解,其中:
图1为按照本发明实施例配置的系统的示意图。
图2为阐明用于确定图1系统中的估计的聚焦误差的图1系统的操作的流程图。
图3为阐明在利用图1系统的聚焦误差确定法的装置内的调焦的流程图。
图4为显示根据本发明实施例配置的计算机系统的细节的框图。
图5为根据本发明的实施例阐明对图像中的聚焦误差进行估计的流程图。
图6为根据本发明实施例阐明产生散焦滤波器的流程图。
图7显示了用于如图1所示的示例性光学系统的散焦滤波器。
图8显示了对用于两个图7的滤波器的训练组图像内的光谱的响应。
图9显示了适于图8的滤波器响应的高斯分布。
图10显示了对训练组图像的散焦估计。
具体实施方式
本发明包括用于估计图像内的散焦(即聚焦误差)的方法、系统和计算机程序产品。在本发明的一个实施例中,由点-扩散函数的波动光学模型表征光学系统并由每个传感器类的波长灵敏度、空间取样和噪声函数表征传感器阵列。收集了清晰图像块的训练组。为指定范围内的多个散焦程度的每一个,对每个传感器类计算点-扩散函数。另外,每个散焦程度的点-扩散函数被应用于每个图像块,然后使用用于传感器阵列内的每种传感器的波长灵敏度和空间取样函数对该图像块进行取样。将噪声添加到传感器阵列中的每种传感器的每个传感器元件的取样响应上。通过统计学学习步骤,来自传感器阵列的传感器响应被用于生成一组最优散焦滤波器。然后该最优散焦滤波器被应用于对训练组中的每个图像块的传感器响应。用于图像块的训练组内的多个散焦程度的每一个的联合滤波器响应分布(即条件似然分布)被确定并以参数化函数(如多维高斯函数)来表征。
前述的步骤表明了如何学习最优散焦滤波器。后续描述的步骤表明怎样使用最优散焦滤波器来获得用于任意图像块的最优散焦估计。
为了估计具有任意聚焦误差的任意块的聚焦误差,计算对于任意图像块的滤波器响应矢量(即每个滤波器的响应)。滤波器响应矢量和训练滤波器响应分布的参数化描述被用于确定指定范围内的每个可能散焦程度的概率。从此概率分布可获得聚焦误差的连续贝叶斯最优估计。用此方式,能够开发软件技术来执行聚焦误差估计,而不需要相位检测自动聚焦方法的昂贵的硬件需求。该方式还具有额外的优点,其可被应用“实时取景”模式并可实施于蜂窝电话的相机、无反光镜可换镜头照相机、傻瓜相机和其他当前使用对比度测量自动聚焦并且由于太小或太低价而不能实现相位检测自动聚焦的成像系统。
在下面的描述中,提出了很多详细细节以提供对本发明的完全的理解。然而,对本领域技术人员来说显而易见的是,可在没有这些详细细节的情况下实行本发明。在其他情况下,众所周知的电路以框图方式显示以不使本发明模糊在不必要的细节中。在很大程度上,考虑定时注意事项或类似的细节被省略,因为这些细节对于完全理解本发明不是必需的,并且在相关领域内的普通技术人员的技术范围之内。
图1是按照本发明实施例配置的系统的示意图。系统100接收从外部物体102进入将该物体光线成像到传感器阵列106上的光学系统104的光线。通过可相对彼此移动来调整光学系统104的焦距的物镜108和目镜110,该光学系统被示意性地表现在图1中,但是可以理解的是,在可被调整用以将物体光线聚焦到传感器阵列106上可被使用任意数量和任意布置的光学元件。传感器阵列106可利用各种组件,可包括如响应于接收预定波长,如长(如红色)、中(如绿色)或短(如蓝色)波长的光而生成电能的光电传感器。在典型的系统100中,传感器阵列106包括用于红色光的多个传感器和用于蓝色光的多个传感器。阵列中的每个传感器根据它接收的光强生成小电流。每个传感器被看作接收的传感器图像的像素。
来自阵列106的每个传感器的电流被提供给用于计算的处理器112。处理器利用下面将进一步说明的从数据存储器114、如存储器读取的聚焦误差数据。处理器根据它的基于存储器114中的数据的处理来确定接收的图像中的聚焦误差的符号和量级,并确定接收的图像的聚焦误差。通过调整光学系统104以实现补偿方向性符号(如后聚焦或前聚焦)并补偿量级从而使得接收的图像充分聚焦在传感器阵列106上,处理器112能够补偿确定的聚焦误差。也就是说,基于来自传感器阵列的一组接收图像数据,处理器112可计算对光学系统104的调整,该调整是在该光学系统的动作下促使接收图像准确对焦时所需的。通过光学系统的光路是直接的光路,在此情况下,从物体102到传感器阵列106的光路不会被分散采集的光线的中间结构所中断。也就是说,光路不包含光束分离器或类似的器件。因而,避免了对比度聚焦系统的重复聚焦技术,并且不需要相位检测聚焦系统的复杂的光路和棱镜。
利用此处说明的聚焦误差估计的系统100可被实施于在包括通过光学系统接收光线的传感器阵列的各种设备中。例如,光学系统可位于具有光敏传感器阵列和可根据估计的聚焦误差调整光学系统的焦距的镜头聚焦系统的数码相机中。可利用此处说明的聚焦误差估计的其他系统包括具有光敏传感器阵列和可根据估计的聚焦误差调整显微镜的光学系统的焦距的透镜聚焦系统的数码显微镜。类似地,示例性设备可包括具有光敏传感器阵列和可根据估计的聚焦误差调整望远镜的光学系统的焦距的镜头聚焦系统的数码望远镜。可利用此处说明的聚焦误差估计的另一示例性设备可包括具有光学传感器阵列和可接收包含视频帧的传感器阵列上的图像、并可根据估计的聚焦误差调整相机的光学系统的焦距的镜头聚焦系统的数码相机。也就是说,每帧视频可使用此处说明的技术实现聚焦。由接收图像的数码相机系统和分析系统控制的多种多样的机械设备可从此处描述的用于焦距估计和设备控制的技术获益。例如,微加工、机器人和专家系统可从此处描述的技术获益。本领域技术人员可获知能够使用此处描述的聚焦误差确定技术的其他适当的设备和系统。
图2是阐明为确定聚焦误差而说明的操作的流程图。在第一操作202,通过光学系统在传感器阵列上从外部物体接收图像数据。在从传感器阵列的每个像素产生图像数据后,在下一操作204,为光学系统的一个或更多个散焦滤波器的每一个计算接收的图像数据的滤波器响应值,从而计算的响应值包括接收的图像数据的滤波器响应矢量。在附图说明的实施例中,使用下面将进一步说明的统计学学习技术来识别一组散焦滤波器。滤波器响应值是为阵列中的一个或更多个传感器类型计算的。例如,传感器阵列可包括分别对红、蓝或绿光波敏感的光敏像素。如果要估计聚焦误差的符号,滤波器将处理自这三个传感器通道中的任意挑选的至少两个传感器通道的图像数据。如果只需估计量级,滤波器将处理来自一个或更多个传感器通道的数据。
在估计聚焦误差时,给定观测的滤波器响应矢量,系统下一步计算指定范围内的每个可能散焦程度的概率。这表示于流程图方框206中。散焦处理的下一步骤,如方框208处,是基于计算的每个散焦程度的概率获得接收的图像数据的聚焦误差的估计。使用标准技术(如最小均方误差(MMSE)估计或最大后验(MAP)估计)从概率分布获得聚焦误差的贝叶斯最优估计。用此方法确定的聚焦误差可提供聚焦误差的符号(方向)和聚焦误差的量级。产生针对训练激励的滤波器响应矢量的数学细节将在下面进一步说明。
图3提供了阐明应用到设备上的聚焦误差估计技术的操作的流程图。
在图3的第一操作中,相应于第一个方框302,由设备的用户发起图像接收过程。例如,如果该设备是数码相机,用户可充分按下快门按钮以发起图像处理但不足以发起图像捕获。此“图像预览”操作在传统数码相机中是众所周知的。类似的图像预览操作在按照本发明构造的数码相机、摄像机、数码显微镜或数码望远镜中是可用的。在下一操作方框304中,使用本文件中说明的、例如联合图2的操作说明的技术确定接收图像中估计的聚焦误差。聚焦误差确定后,在方框306,在单次操作中调整设备的光学系统的焦距以适应该估计误差并移动光学系统组件以便促使外部物体充分进入恰当的焦距内。然后用户可继续处理另一个图像,即确定方框308是“是”,或者用户可继续该接收图像的图像捕获,即确定方框是“否”。在“是”的情形下,设备操作循环返回方框302的图像接收处理。
图4是显示按照本发明实施例配置的计算机系统的细节的框图。图4表明了实践本发明的硬件环境的典型的计算机系统400的硬件配置的实施方式。在图4中,计算机系统400可包括通过系统总线402耦合到各种其他组件的处理器401。操作系统403可在处理器401上运行以便提供控制并协调图4的各种组件的功能。根据本发明根据此处的描述执行各种功能或服务的原则,处理器401通过操作系统403执行程序指令以提供应用404。应用404可包括例如如下面进一步讨论的用于图像内的估计散焦的功能和操作。
再如图4所示,只读存储器(ROM)405可耦合到系统总线402并可包括控制计算机系统400的某些基本功能的基本输入/输出系统(BIOS)。随机接入存储器(RAM)406和磁盘适配器407也可耦合到系统总线402。应该注意的是,包括操作系统403和应用404的软件组件可加载到作为计算机系统400的主存储器RAM406中以便执行。磁盘适配器407可以是电子集成驱动器(DE)适配器或类似的与存储单元408如存储器单元,硬盘驱动或固态硬盘驱动进行通信的适配器。应注意的是,如下面进一步讨论的用于估计图像中散焦的程序可驻存于硬盘单元408或应用404中。
计算机系统400可进一步包括耦合到总线402的通信适配器409。通信适配器409可通过网络接口将总线402与外部网络(未示出)互连,因而允许计算机系统400与其他类似设备进行通信。可替代地,计算机系统400可嵌入到设备中,例如相机或数字显微镜,它们均具有将光线从物体引导到传感器阵列上以便可根据此处的描述调整光学系统到恰当的聚焦的光学系统。
输入/输出(I/O)设备可通过用户接口适配器410和显示器适配器411连接到计算机系统400。键盘412、鼠标413和扬声器414都可通过用户接口适配器410与总线402互连。数据可通过任意这些设备输入计算机系统400中。显示监视器415可通过显示器适配器411连接到系统总线402。在此方式中,用户可通过键盘412或鼠标413提供到计算机系统400的输入,可通过显示器415或扬声器414从计算机系统400接收输出。
本领域技术人员能够理解的是,本发明的方面可表现为系统、方法或计算机程序产品。相应地,本发明的方面可采取完全硬件实施方式、完全软件实施方式(包括固件、常驻软件、微代码等)或联合软件和硬件方面的一般在此被称为为“电路”、“模块”或“系统”的实施方式。此外,本发明的方面可采取体现在具有计算机可读程序代码的一个或更多个计算机可读介质内的计算机程序产品的方式。
可以利用一个或更多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或非易失性计算机可读存储介质。计算机可读存储介质可以是但不限于例如电子的、磁的、光学的、电磁的、红外线的、或半导体系统、装置或设备或前述的任意合适的组合。非易失性计算机可读存储介质的更具体的例子(非穷尽列表)可包括下列:便携计算机磁盘、硬盘、随机接入存储器(RAM)、只读存储器(ROM)、可擦写可编程只读存储器(EPROM或闪存)、数据存储介质如光盘只读存储器(CD-ROM)、光学存储设备、磁存储设备、或前述的任意合适的组合。本文本的上下文中,计算机只读存储介质可以是包含或存储程序的任意有形介质,以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备联合使用。
计算机可读信号介质可包括传播的数据信号,其中结合有计算机可读程序代码,例如,在基带或作为载波的一部分。此传播信号可采用多种形式,包括但不限于电磁、光或它们的任意恰当的组合。计算机可读信号介质可以是非计算机可读存储介质、并可通信、传播或传输程序的任意计算机可读介质,以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备联合使用。。
结合于在计算机可读介质上的程序代码可使用任意适当的介质来传输,包括但不限于无线、电缆、光缆、射频等或上述的任意合适的组合。
执行本发明的方面的操作的计算机程序代码可联合一种或多种编程语言来编写,包括面向对象的编程语言如Java、Smalltalk、C++或类似的语言,传统的过程编程语言如C编程语言或类似编程语言。程序代码可完全地在用户的计算机上、部分地在用户的计算机上、作为独立软件包、部分地在用户的计算机上且部分地在远程计算机上、或完全在远程计算机或服务器上执行。在后者的场景中,远程计算机可通过任意类型网络连接到用户的计算机,包括局域网(LAN)或广域网(WAN),或者该连接可连接到外部计算机(如通过使用因特网服务提供商的因特网)。
本发明的各方面可参考根据本发明的实施例的流程图附图和/或方法、装置(系统)和计算机程序产品的框图来描述。可以理解的是,流程图附图和/或框图的每个方框、流程图附图和/或框图的方框的组合,可由计算机程序指令实施。计算机程序指令可提供至普通用途计算机、特殊用途计算机或其他可编程数据处理装置的处理器,用于生产这样的机器,以便通过计算机或其他可编程数据处理装置执行的指令产生执行流程图和/或框图的方框中详细说明的功能/动作的方法。
这些计算机程序指令也可存储于可引导计算机、可编程数据处理装置或其他设备以特殊方式运行的计算机可读介质中,以便存储在计算机可读介质中的指令产生包括执行流程图和/或框图方框中详细说明的功能/动作的指令的制造产品。
计算机程序指令可也加载到计算机/其他可编程数据处理装置、或其他设备上以引起一系列操作步骤,此操作步骤在计算机、其他可编程装置或其他设备上执行,以产生计算机执行的过程,从而执行于计算机或其它可编程装置上的指令能够提供用于执行流程图和/或框图的方框中详细说明的功能/动作的处理。
如在背景技术部分陈述的,通过将入射光分开到成对图像上并对他们进行比较来实现相位检测自动聚焦。该系统耦合有光束分离器、一小副镜以及两个光学棱镜,来将光引导到光学系统内的专用自动聚焦传感器。两个光学棱镜捕获来自镜头反面的光线,将它们转向到自动聚焦传感器,生成具有与透镜直径一致基准的简单测距仪。然后为相似光强度模型(峰与谷)分析这两个图像并计算相位差以便发现物体在前焦或是后焦位置。尽管该相位检测方法快且准确并能估计散焦符号,但因为需要特殊光束分离器、镜子、棱镜和传感器,实现起来成本很大。进一步地,外部硬件增加了光学系统的尺寸和重量。此外,此方法不能操作于视频模式或“实时取景”模式(特点是允许光学系统的显示屏如数码相机的显示屏作为取景器使用)。然而,如果开发软件技术来执行最优聚焦误差估计,那么就不再需要相位检测自动聚焦方法的昂贵的硬件需求。而且光学系统的重量可减轻。
因而,使用此处描述的聚焦误差估计,有时与相对较大的相位检测系统相关的改进的性能可在小型系统内获得,如移动电话的照相机系统,无镜面可换镜头照相机(即非单镜头反射相机),以及当前使用对比度检测聚焦系统的类似相机。
本发明的原理提供了执行聚焦误差估计的技术,该技术不需要对比度测量所需的缓慢重复程序,也不需要可应用于下面进一步讨论的“实时取景”模式的相位检测自动聚焦方法的昂贵的硬件需求。图5是估计通过光学系统获得的图像内的聚焦误差的方法的流程图。图6是生成最优散焦滤波器的方法的流程图。
如图5所示,第一操作501表明光学系统(如数码相机或数码显微镜)以点-扩散函数建模或表征。
讨论光学系统的建模前,需要对散焦概念进行简单的讨论。目标图像区域的散焦被定义为镜头系统的当前功率与促使目标区域聚焦所需的功率之间的差值,如下面的式1所示:
△D=Dfocus-Dtarget(式1)
也就是说,此处描述的技术估计例如自然图像或计算机生成的图像(或任意其他种类的图像)的图像的每个局部区域内的聚焦误差(ΔD),也称其为散焦。
类似于很多视觉估计任务,估计散焦也会遭受“逆光学(inverse optics)”问题:不可能仅从图像准确地确定图像模糊是否由散焦或一些场景属性(如雾)造成。聚焦误差估计能够受到符号模糊的影响。在一些条件下,比焦距近或远同一屈光距离的点目标将被完全相同的成像。然而,此处描述的技术寻求可能的解决方法会受到一些限制。
在描述的聚焦误差估计的方法中,对于每个波长λ,来自场景的输入可由给出在光学系统的传感器阵列的平面内的每个X=(x,y)位置上的光线的理想化图像I(x,λ来表现。总之,光学系统降级理想化图像并由式psf(x,λ,ΔD)给出的点-扩散函数表征,该式描述了穿过传感器阵列的光线的空间分布,由波长λ和散焦ΔD的点目标产生。可扩展点-扩散函数以使确定其形式的参数更明确,如下式2:
psf(x,λ;a(z),W(z,λ,ΔD))(式2)
其中a(z)表示光圈的形状、尺寸和透光率,W(z,λ,ΔD)是波畸变函数,其依赖于光圈平面内的位置z、光的波长λ,散焦程度ΔD和由镜头系统引进的其他畸变。散焦程度是指图像失焦的屈光度有多少,如果有的话。光圈函数决定了衍射对镜头系统的光学质量的影响。波畸变函数决定并非由衍射造成的图像质量的退化。完美的镜头系统(即仅受限于衍射和散焦的镜头系统)将源于目标物体上的点的光转变到聚合的球面波前。波畸变函数描述了实际聚合波前怎样不同于在瞳孔孔径(pupil aperture)内的每个点上的完美球形波前。
在下一操作502,传感器阵列由波长灵敏度函数sc(),每类传感器c的空间取样函数sampc(x)表现,其中一类传感器指的是那些具有同一波长灵敏度简档(光谱灵敏度函数)的传感器。例如,当另一类传感器用于检测短波长(如蓝)光时,一类传感器可用于检测长波长(如红)光。这两种传感器类必须具有不同的波长灵敏度函数。在一实施例中,使用两类或更多传感器类来对色差加以利用,色差可被用于确定散焦的符号(即聚焦误差的方向),如在此进一步所述的。也就是说,使用两个或更多传感器类来利用色差,色差除了连续估计散焦量级外,还可用于确定物体位于焦点前或是焦点后。在另一实施例中,使用一类或更多传感器类对单色像差(如散光和球形像差)加以利用。可同时使用单色像差和色差来估计图像(如自然图像或任意其他种类的图像,包括如计算机生成图像的图像)散焦。为特殊种类的传感器,使用空间取样函数sampc(x)来对每部分图像(在此称为“块”)进行取样。
在下一操作503,确定最优散焦滤波器。在一实施例中,散焦的最具诊断性的空间频率滤波器被发现并随后使用滤波器响应获得在此进一步描述的连续的聚焦误差估计。下面结合图6讨论用于生成最优散焦滤波器的操作503的子步骤的详细描述。
如图6所示,在第一操作601中,收集一组随机选择的良好聚焦的(即清晰)图像块(如部分图像)。然后图像块由用于散焦程度范围内的每个散焦程度的点-扩散函数进行散焦。例如,在典型数码相机系统中,散焦程度可处于如从近似-2.25屈光度到近似2.25屈光度范围的散焦范围内。散焦程度的范围与光学系统的聚焦范围相匹配。散焦的范围以离散增加的屈光度步长(如以0.25屈光度步长)来设置。增加的屈光度步长大小应该按需调整以为设备确保良好的连续估计性能。更特别地,散焦程度的范围和离散屈光度步长的间距是根据可用的光圈设置和执行聚焦误差估计计算的系统的聚焦范围预先确定的。如本领域技术人员所知的,可根据系统资源和应用(如数码相机、数码显微镜、数码望远镜或数码相机)选择散焦程度的其他范围和增加的屈光度步长。
需要注意的是,包括用于单个图像的传感器阵列数据的图像块,典型地限定为图像内的任意像素块区域。例如,执行功率谱、变换和类似的计算的块区域可包括与由用户查看的光学系统的聚焦十字线对应的图像区域。此块区域的尺寸典型的是处于图像中心的量级为64x64像素区域或128x128像素区域。
在下一步骤602,为到每个图像块的每个散焦程度应用点-扩散函数。
在下一步骤603,每个失焦的图像块由传感器阵列取样,传感器阵列由用于每类传感器c的波长灵敏度函数Sc(λ)和空间取样函数sampc(x)表现。
此外,噪声函数可包含在计算中。噪声函数可包括例如被添加作为用于光学系统内的噪声程度的仿真(代理)的噪声随机值,如响应于光学系统的传感器的噪声。
在下一操作604,为给定类别传感器获得传感器阵列响应。在步骤605,为每个散焦程度从来自传感器阵列的响应生成光学散焦滤波器。光学系统的散焦滤波器的典型数目是6个到8个。散焦滤波器的数目是由可用的系统资源和期望的操作精确度确定的。如上所述的,可由统计学学习技术确定散焦滤波器。散焦滤波器表示出可表征聚焦误差的训练组内的图像的特征。
在一实施例中,通过称为准确性最大化分析(AMA)的技术获得最优散焦滤波器,这是用于降维的以任务为中心的统计技术。AMA技术实质上胜过降维的传统方法,如主成分分析(PCA)。实际上,AMA技术为散焦估计任务的执行返回最优滤波器(即,基),在如Geisler,W.S;Najemnik,J.;和Ing,A.D.(2009)所作的《自然任务的最优激励编码器》,第9(13)版期刊:17,1-16(“AMA文件,,)中描述了AMA技术。AMA文件通过参考结合于此。
在一实施例中,给定类别传感器的响应的空间模式如下式3:
其中,*表示x的二维卷积,ηc(x)表示C类传感器的噪声函数。对于可用的传感器类别,从由式3给出的响应的空间模式估计散焦。
对上述等式rc(x)的可替换的、合适的近似式可如下(式3A)获得:
rc(x)=[Ic(x)*psfc(x,ΔD)]sampc(x)+ηc(x)(式3A)
其中式3A的rc(x)近似式给出了C类传感器的传感器响应,并且其中通过采用具有传感器波长灵敏度的每个像素上的波长分布的点积来获得每个图像通道,ηc表示c类传感器的噪声函数。从该计算得到的传感器响应称为“颜色通道”传感器响应。
接收自传感器阵列的数据可被用于学习怎样估计散焦,如通过查看用于每个图像块和每个散焦程度的传感器响应的功率谱。在一实施例中,可通过为每个取样图像块执行变换获得传感器响应的功率谱。该变换可包括例如快速傅立叶变换(FFT);其他变换也是可能的:如余弦变换,或哈特利变换。本领域技术人员了解其他适当的变换。在此方式中,能够将给定图像块内的空间频率内容(即优良的和过程细节的相对量)与作为不同散焦程度的特性的相对量进行比较。
可为具有超过一种传感器类别的传感器阵列确定散焦滤波器,以便可使用色差估计散焦量级和符号。此外,可使用为一类传感器内的不同方向确定的散焦滤波器,以便可使用单色像差估计散焦的量级和符号。
返回图5,在操作504,图像块的训练组,如在图6的第一操作601中接收的图像块,应用于图6的操作605中生成的滤波器。
在图5的下一操作505,估计对用于散焦程度的图像块的滤波器响应的联合概率分布。特别地,为每个散焦程度,通过计算样本均值和协方差矩阵,使得滤波器响应符合高斯分布。在一实施例中,响应矢量从每个散焦程度的传感器阵列输出,散焦程度由矢量R表示。给定观测的滤波器响应矢量R,通过计算式4中的一组离散散焦程度的后验概率加权总和来获得连续散焦估计(下面结合操作506进一步讨论)。
其中△Dj是N个训练散焦程度中的一个,p(△Dj|R)是给定滤波器响应R的观测矢量条件下的散焦程度的后验概率。当后验概率分布经常是双峰时,如随着低程度色差发生的,其他估计方法(如MAP估计)可能更恰当;在低程度色差下散焦符号更难估计。贝叶斯法则给出了每个指定散焦程度△Dj的后验概率,见式5:
其中,p(R|ΔDj)是给定散焦程度时观测的滤波器响应矢量的似然度,p(ΔDj)是该散焦程度的先验概率。在一实施例中,可以假设的是每个散焦程度的似然度是具有平均向量和协方差矩阵∑j的多变量高斯分布(每个滤波器一维)(式6):
p(R|ΔDj)=gauss(R;μj,∑j)(式6)
其中μj和∑j设置为原始滤波器响应的取样均值和协方差矩阵。滤波器响应分布的其他参数描述可能提供更好的性能。如果散焦程度的先验概率相等,那么先验概率将从等式5得出。然而,在很多情况下,不同散焦程度的先验概率将不相等,特别是如果将焦距考虑在内。例如,如果镜头被聚焦在光学无穷远处,散焦为正的概率为零(即目标超出了光学无穷远)。此信息可被用于增加估计的精确度。
在训练组中增加离散散焦程度的数目能增加连续估计的精确度。也就是说,随着程度数目增加,离散散焦程度的识别变得等价于连续估计。然而,增加离散散焦程度的数目增加了训练组的大小和学习滤波器的计算复杂度。实际上,例如使用2mm光圈,使用用于训练的0.25屈光度步长可获得良好连续估计,随后通过内插来估计步长间的高斯分布。增加内插分布直到最大马氏(Mahalanobis)距离(即d-主要距离)小于或等于0.5。这些细节可随着不同光圈或新光学系统改变。
在使用在此描述的技术来估计接收图像的聚焦误差的系统内,可结合如上描述的滤波器响应来估计接收图像内的图像块的散焦。根据此处的描述,本领域技术人员将理解,可使用式4所示的简单加权求和公式获得聚焦误差的估计。通过采用具有针对图像块的传感器响应的标准化、对数化幅度谱的每个空间频率滤波器的点积来获得滤波器响应矢量。如上所述,通过应用具有合适多维高斯概率分布的贝叶斯规则获得后验概率。式4给出了,当N足够大时,使估计的均方误差最小化的贝叶斯最优估计。也可使用本领域技术人员了解的其他估计方法。
式3(或式3A)和式4可应用到任意图像块以获得散焦估计。光学系统可使用这些估计来重新对焦镜头。结合焦距估计,聚焦误差也可用于估计景深,这对于计算的视觉应用是有用的。需要注意的是,估计景深对数码相机的操作不是必需的;然而,景深估计可以用聚焦误差的估计和焦距的估计获得。也就是说,如果知道焦距,通过获取图像内的每个点上的精确散焦估计,到场景内相应点的距离的估计可被容易地计算出。基于散焦的距离估计的精确度依赖于将要估计的距离:对给定的光圈大小(即f-数),源于散焦的距离估计在近距离下比远距离下更精确。基于散焦的距离估计的精确度也依赖于光学系统光圈的大小:对给定的焦距,源于散焦的距离估计在在大光圈下比在小光圈下更精确(大光圈产生更浅的景深)。因而,图5描述的方法在应用中特别有用,如计算视觉、机器人、或涉及估计到附近物体的距离的微加工应用。
图7、8、9和10提供与图5和图6有关的如上描述的使用聚焦滤波器并确定散焦估计的过程的流程图。
图7显示了为具有衍射限制和散焦限制光学的光学系统选取的6个散焦滤波器和只对570nm光敏感的传感器。滤波器是使用如上所述的AMA文件的技术选择的。图7显示了滤波器具有几个有趣特征。第一,它们捕获大部分相关的信息;额外的滤波器对总精确度增加很少。第二,相比基于主要组件分析或匹配模板的滤波器,它们提供更好的性能。第三,它们相对平滑,因此可通过结合几个类似那些在视网膜或初级视觉皮层上发现的相当简单的、中心环绕接收区域来实施。第四,滤波器能量集中在5-15图每度(cpd)频率范围,该频率范围与熟知的驱动人眼调节的范围(4-8cpd)相似。
如上所述,根据与估计散焦有关的本地幅度谱中的AMA文件编码信息选择图7的滤波器。然而,贝叶斯解码器是仅与训练激励联合使用的AMA文件的技术的一部分,因为解码器需要访问对每个激励的每个滤波器响应的均值和方差。换句话说,AMA文件的技术仅得到最优滤波器。下一步骤是将滤波器响应与具有任意散焦程度的任意图像块内的估计散焦结合(联合(pool))起来。选择标准的(即典型的)方法。第一,为训练组内的散焦程度估计对图像块的滤波器响应的联合概率分布。为每个散焦程度,通过计算取样均值和方差矩阵,滤波器响应符合高斯分布。图8显示了用于数个散焦程度的前两个所选滤波器的响应的联合分布。更特别地,图8显示了对用于训练组的散焦程度范围内的幅度谱的滤波器响应(图8未标绘1.25、1.75和2.25屈光度的散焦程度的响应)。符号表示两个信息量最大的滤波器的联合响应。每个轴线上显示了边缘分布。图8表示了对应于标绘的散焦水平的每个的符号组的近似中心。
图9显示了合适的高斯分布的轮廓图。在第二步使用联合分布(六维的,每个滤波器一维)确定联合响应后,使用上面的式4给出的加权求和公式获得散焦估计,其中△Dj是N个散焦程度中的一个,并且式4中的条件概率是在给定滤波器响应R的观测矢量的条件下的散焦程度的后验概率。图9显示符合滤波器响应的高斯分布。较粗的线是从符合训练的散焦程度上的响应分布确定的最大似然面上的iso似然轮廓线。较细的线是内插的响应分布上的iso似然轮廓线。图9中的圈代表由1的d’(即马氏(Mahalanobis)距离)分开的内插均值。图9中的线段显示原则方差(principle variance)和±SD的方向。利用标准化、对数化幅度谱,由每个滤波器的点积给出响应矢量。通过将贝叶斯准则应用到合适的高斯概率分布获得后验概率。当目标是要最小化估计的均方误差并且当N足够大时,式4给出贝叶斯最优估计,如展示的实例中所示。
图10阐明了用于测试图像块的散焦估计,对于具有完美光学器件和单一类传感器的视觉系统的初始情况,该散焦估计标绘为散焦函数。没有测试块是在训练组中的。更特别地,图10显示了对于不属于图像的训练组的测试激励的散焦估计。图10中的符号表示用于每个散焦程度的平均散焦估计。垂直误差线表示有关平均散焦估计的68%(粗线)和90%(细线)置信区间。方框表示不在图像的训练组内的散焦程度。训练程度和非训练程度上相等大小的误差线表示描述的技术产生连续估计。
在如图7、8、9和10所示的获得的结果中,一旦散焦超过大约0.25屈光度,这大致是人类散焦检测阈值,精确度相对较高,偏差相对较低。因为当基本散焦为零时,散焦的适度改变(如大约0.25程度屈光度的量级)不能显著地改变幅度谱,所以精确度在低程度散焦上降低;当基本散焦不为零时,将发生更实质的改变。因为在具有完美视觉器件和只对单一波长敏感的传感器的视觉系统中,相同量级的正负散焦程度产生相同幅度谱,偏差发生在零附近。因而,偏差取决于边界效应:可以在零以上而不是零以下作出估计误差。应用具有超过一类传感器的图5的方法可消除邻近零的偏差并可允许估计散焦符号(即估计焦点是否在对象前或对象后)。
在一些实施例中,图5方法可包括为了清楚而未描述的其他和/或附加步骤。进一步,在一些实施例中,可用提出的不同顺序执行该方法,在图5的讨论中提出的顺序是示意性的。此外,在一些实施例中,图5方法的某些步骤可实质上同时执行或可省略。
例如,在一实施例中,表示光学系统和传感器阵列来确定最优滤波器不是完全必需的,从而不需要步骤501和502,只要收集了一批具有已知散焦程度的图像块。一旦此批图像块在图6的操作601中接收,可在步骤604从用于给定类传感器的传感器阵列获得响应。也就是说,生成滤波器的唯一的关键因素是获得一批用于每个散焦程度的传感器阵列响应。如此的实施例在显微镜或精密加工中特别有用,其中被取像的物体全部位于一个深度平面上。
应该理解的是,本发明的原理适用于特殊种类的图像捕获设备和取像环境。例如,在此描述的技术可定制用于数码相机的多种设置(如肖像、风景、微距摄影)。如上所述,适合此处描述的技术的应用的其他设备包括数码显微镜、数码望远镜和数码摄像机。本领域技术人员将了解使用此处描述的技术的其他设备和应用。
虽然方法、系统和计算机程序产品结合多个实施例进行描述,但是并不意欲受限于此处提出的指定形式,正相反,意欲覆盖可合理地包含在由附加的权利要求定义的发明的精神和保护范围内的可替代的选择、修改和同等设备。
Claims (43)
1.一种聚焦误差处理方法,该方法包括:
接收光学系统的传感器阵列上物体的图像数据;
为光学系统的一组一个或更多散焦滤波器中的每个散焦滤波器计算针对接收的图像数据的图像块的散焦滤波器的滤波器响应值,从而计算的用于所述散焦滤波器组的滤波器响应值产生接收的图像数据的滤波器响应矢量;
从所述接收的图像数据的所述滤波器响应矢量计算散焦程度的预定组中的多个散焦程度的每一个的概率;以及
基于计算的所述多个散焦程度的概率,确定所述接收的图像数据的聚焦误差的估计;
其中计算多个散焦程度的每一个的概率包括,使用训练组图像的参数化函数来确定所述散焦程度的预定组的每个散焦程度的概率,所述训练组图像包括具有与散焦程度的预定组相对应的散焦程度的图像块;
其中确定聚焦误差的估计包括从与和散焦程度相关联的训练滤波器响应矢量最相似的散焦程度的预定组中选择散焦程度。
2.根据权利要求1所述的方法,其中选择散焦程度包括根据确定最相似训练滤波器响应矢量的贝叶斯规则技术从散焦程度的预定组中进行选择。
3.根据权利要求1所述的方法,其中为一组一个或更多散焦滤波器内的每个散焦滤波器计算滤波器响应值包括:
计算接收的图像数据的图像块的傅立叶变换;
从接收的图像数据的傅立叶变换计算径向平均功率谱;以及
计算每个散焦滤波器的径向平均功率谱的点积,为每个滤波器产生响应值;
其中,滤波器的响应值组包括所述滤波器响应矢量。
4.根据权利要求1所述的方法,进一步包括:
调整所述光学系统以补偿聚焦误差所确定的估计,在传感器阵列上获得充分对焦的图像。
5.根据权利要求4所述的方法,其中所述光学系统包括数码相机。
6.根据权利要求4所述的方法,其中所述光学系统包括数码显微镜。
7.根据权利要求4所述的方法,其中所述光学系统包括数码望远镜。
8.根据权利要求4所述的方法,其中所述光学系统包括数码摄像机。
9.根据权利要求4所述的方法,其中所述光学系统包括响应于接收图像数据进行控制的设备。
10.一种聚焦误差处理系统,所述系统包括:
光学系统;
接收通过所述光学系统查看的物体的图像数据的传感器阵列;以及
处理器,其被配置为光学系统的一个或更多散焦滤波器中的每一个计算对接收的图像数据的图像块的散焦滤波器的滤波器响应值,从而计算的滤波器响应值生成接收的图像数据的滤波器响应矢量;
从所述接收的图像数据的所述滤波器响应矢量计算散焦程度的预定组中的多个散焦程度的每一个的概率;以及
基于计算的所述多个散焦程度的概率,确定所述接收的图像数据中的聚焦误差的估计;
其中所述处理器还被配置为
使用训练组图像的参数化函数来计算多个散焦程度的每一个的概率,以确定所述散焦程度的预定组的每个散焦程度的概率,所述训练组图像包括具有与散焦程度的预定组相对应的散焦程度的图像块,以及
通过从与和散焦程度相关联的训练滤波器响应矢量最相似的散焦程度的预定组中选择散焦程度,确定聚焦误差的估计。
11.根据权利要求10所述的系统,其中所述处理器选择散焦程度是通过根据确定最相似训练滤波器响应矢量的贝叶斯规则技术从散焦程度的预定组中进行选择。
12.根据权利要求10所述的系统,其中所述处理器计算包含用于一个或更多散焦滤波器的每一个的滤波器响应值的滤波器响应矢量是通过:
计算接收的图像数据的图像块的傅立叶变换,从接收的图像数据的傅立叶变换计算径向平均功率谱,并且计算每个散焦滤波器的径向平均功率谱的点积,为每个滤波器产生响应值,其中,滤波器响应值组包括所述滤波器响应矢量。
13.根据权利要求10所述的系统,其中所述处理器进一步配置为调整所述光学系统以补偿聚焦误差的所确定的估计,并获得充分对焦的传感器阵列上的图像。
14.根据权利要求13所述的系统,其中所述光学系统包括数码相机。
15.根据权利要求13所述的系统,其中所述光学系统包括数码显微镜。
16.根据权利要求13所述的系统,其中所述光学系统包括数码望远镜。
17.根据权利要求13所述的系统,其中所述光学系统包括数码摄像机。
18.根据权利要求13所述的系统,其中所述光学系统包括响应于接收图像数据进行控制的设备。
19.一种估计通过光学系统接收的图像内的聚焦误差的方法,所述方法包括:
为来自训练组图像的一组图像块、为训练组图像中的每个图像块的散焦程度的预定组内的多个散焦程度的每一个、为光学系统的一组散焦滤波器内的一个或更多散焦滤波器的每一个,计算滤波器响应;
为所述多个散焦程度的每个散焦程度,从用于来自所述训练组图像的一组图像块的所述计算的滤波器响应获得滤波器响应矢量的分布;以及
基于滤波器响应矢量的所述分布为每个散焦程度估计聚焦误差;
其中,使用训练组图像的参数化函数来计算多个散焦程度的每一个的概率,以确定所述散焦程度的预定组的每个散焦程度的概率,所述训练组图像包括具有与散焦程度的预定组相对应的散焦程度的图像块,并且
通过从与和散焦程度相关联的训练滤波器响应矢量最相似的散焦程度的预定组中选择散焦程度,确定聚焦误差的估计。
20.根据权利要求19所述的方法,其中所述一组散焦滤波器是为用于训练组图像中的每个图像块的散焦程度的预定组内的多个散焦程度的每一个,使用表示光学系统的点-扩散函数,从用于每个散焦程度的所述训练组图像确定的;
其中,使用用于光学系统的传感器阵列内的至少一类传感器的至少一个波长灵敏度函数,至少一个空间取样函数和至少一个噪声函数,对训练组图像内的每个图像块进行取样,在传感器阵列上产生通过所述光学系统接收的图像的表示;
其中,从来自用于所述多个散焦程度的每一个的所述传感器阵列的所述传感器响应获得散焦滤波器的所述组。
21.根据权利要求19所述的方法,其中,使用包括准确性最大化分析(AMA)的统计技术,从用于所述多个散焦程度的每一个的所述滤波器响应获得散焦滤波器的所述组。
22.根据权利要求19所述的方法,其中,使用包括主成分分析(PCA)的统计技术,从用于所述多个散焦程度的每一个的所述滤波器响应获得散焦滤波器的所述组。
23.根据权利要求19所述的方法,所述方法进一步包括:
通过使参数化函数服从每个所述滤波器响应矢量分布,对所述分布进行表征,其中所述参数化函数包括条件似然分布函数。
24.根据权利要求23所述的方法,所述方法进一步包括:
为具有训练散焦程度的所述组内的散焦程度之间的值的散焦程度,内插条件似然分布。
25.根据权利要求19所述的方法,进一步包括:
响应于任意图像块为一个或更多散焦滤波器的每一个计算散焦滤波器响应值,并且使用条件似然分布并使用所述训练滤波器响应矢量计算每个散焦程度的概率,由此为任意图像块估计聚焦误差;
其中,响应于任意图像块,从散焦滤波器的所述组以及散焦滤波器的所述组的滤波器响应,来生成所述训练滤波器响应矢量。
26.根据权利要求19所述的方法,其中散焦程度的范围是在大约0.25屈光度间隔内从大约0屈光度到大约2.25屈光度的范围内。
27.根据权利要求19所述的方法,其中散焦程度的范围是在大约0.25屈光度的间隔内从大约-2.25屈光度到大约2.25屈光度的范围内。
28.根据权利要求19所述的方法,进一步包括:
为光学系统中的一类传感器,对来自所述传感器阵列的所述传感器响应执行傅立叶变换。
29.根据权利要求19所述的方法,进一步包括:
为传感器阵列内的超过一类的传感器,从传感器阵列获得响应。
30.根据权利要求19所述的方法,其中为光学系统的传感器阵列内的超过一类的传感器,确定散焦滤波器的所述组,从而散焦滤波器的所述组提供确定散焦程度的量级和符号的信息。
31.一种估计通过光学系统接收的图像内的聚焦误差的系统,包括:
存储用于估计图像内的聚焦误差的计算机程序的存储单元;
耦合到所述存储单元的处理器,其中所述处理器包括电路,响应于执行所述计算机程序,来:
为来自训练组图像的一组图像块、为训练组图像中的每个图像块的散焦程度的预定组内的多个散焦程度的每一个、为光学系统的一组散焦滤波器内的一个或更多散焦滤波器的每一个,计算滤波器响应;
为所述多个散焦程度的每个散焦程度,从用于来自所述训练组图像的一组图像块的所述计算的滤波器响应获得滤波器响应矢量的分布;以及
基于滤波器响应矢量的所述分布为每个散焦程度估计聚焦误差;
其中,使用训练组图像的参数化函数来计算多个散焦程度的每一个的概率,以确定所述散焦程度的预定组的每个散焦程度的概率,所述训练组图像包括具有与散焦程度的预定组相对应的散焦程度的图像块,并且
通过从与和散焦程度相关联的训练滤波器响应矢量最相似的散焦程度的预定组中选择散焦程度,确定聚焦误差的估计。
32.根据权利要求31所述的系统,其中所述一组散焦滤波器是为用于训练组图像中的每个图像块的散焦程度的预定组内的多个散焦程度的每一个,使用表示光学系统的点扩散函数,从用于每个散焦程度的所述训练组图像确定的;
其中,使用用于光学系统的传感器阵列内一类传感器的至少一个波长灵敏度函数,空间取样函数和至少一个噪声函数,对训练组图像内的每个图像块进行取样,在传感器阵列上产生通过所述光学系统接收的图像的表示;
其中,从来自用于所述多个散焦程度的每一个的所述传感器阵列的所述传感器响应获得散焦滤波器的所述组。
33.根据权利要求31所述的系统,其中,使用包括准确性最大化分析(AMA)的统计技术,从用于所述多个散焦程度的每一个的所述滤波器响应获得散焦滤波器的所述组。
34.根据权利要求31所述的系统,其中,使用包括主成分分析(PCA)的统计技术,从用于所述多个散焦程度的每一个的所述滤波器响应获得散焦滤波器的所述组。
35.根据权利要求31所述的系统,其中所述处理器进一步执行:
通过使参数化函数服从每个所述滤波器响应矢量分布,对所述分布进行表征,其中所述参数化函数包括条件似然分布函数。
36.根据权利要求35所述的系统,所述系统进一步包括:
为具有训练散焦程度的所述组内的散焦程度之间的值的散焦程度,内插条件似然分布。
37.根据权利要求31所述的系统,其中所述处理器进一步执行:
通过响应于任意图像块为一个或更多散焦滤波器的每一个计算散焦滤波器响应值,使用条件似然分布并使用所述训练滤波器响应矢量计算每个散焦程度的概率,来为任意图像块估计聚焦误差;
其中,响应于任意图像块,从散焦滤波器的所述组以及散焦滤波器的所述组的滤波器响应,生成所述训练滤波器响应矢量。
38.根据权利要求31所述的系统,其中散焦程度的范围是在大约0.25屈光度间隔内从大约0屈光度到大约2.25屈光度的范围内。
39.根据权利要求31所述的系统,其中散焦程度的范围是在大约0.25屈光度的间隔内从大约-2.25屈光度到大约2.25屈光度的范围内。
40.根据权利要求31所述的系统,进一步包括:
为光学系统中的一类传感器,对来自所述传感器阵列的所述传感器响应执行傅立叶变换。
41.根据权利要求31所述的系统,进一步包括:
为传感器阵列内的超过一类的传感器,从所述传感器阵列获得响应。
42.根据权利要求31所述的系统,其中为光学系统的传感器阵列内的超过一类的传感器,确定散焦滤波器的所述组,从而散焦滤波器的所述组提供确定散焦程度的量级和符号的信息。
43.一种确定在光学系统的传感器阵列上接收的图像内的聚焦误差的方法,所述方法包括:
为一组在传感器阵列上接收的、在使用表示光学系统的点-扩散函数的仿真中失焦的训练图像块组,为用于在训练图像块组内的每个图像块的散焦范围内的多个散焦程度的每一个,为多个滤波器,计算滤波器响应,所述滤波器响应包含所述多个滤波器的每一个的滤波器响应矢量;
使用表示所述传感器阵列的波长灵敏度函数和空间取样函数,对在所述传感器阵列上的所述组的训练图像块的每一个进行取样;
从传感器阵列获得传感器阵列内的一类传感器的传感器响应;
为所述多个散焦程度的每一个,从来自所述传感器阵列的传感器响应生成一组散焦滤波器;
通过获得所述训练图像块组中的每个训练图像块的滤波器响应矢量的分布,确定每个滤波器响应矢量的概率似然度;
使用参数化多维函数对对应于所述训练图像块组中的每个散焦程度的滤波器响应矢量分布进行表征;
为在所述训练图像块组中的散焦程度之间的散焦程度,内插条件似然分布;以及
为具有未知聚焦误差的任意图像块导出聚焦误差估计,通过:
计算响应于所述任意块的所述滤波器响应矢量,
计算在散焦的指定范围内的每个散焦程度的概率,以及
从所计算出的概率导出聚焦误差的估计。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161446566P | 2011-02-25 | 2011-02-25 | |
US61/446,566 | 2011-02-25 | ||
PCT/US2012/026817 WO2012161829A2 (en) | 2011-02-25 | 2012-02-27 | Focus error estimation in images |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103503433A CN103503433A (zh) | 2014-01-08 |
CN103503433B true CN103503433B (zh) | 2017-01-18 |
Family
ID=47217946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280008944.2A Expired - Fee Related CN103503433B (zh) | 2011-02-25 | 2012-02-27 | 图像的聚焦误差估计 |
Country Status (8)
Country | Link |
---|---|
US (1) | US8917346B2 (zh) |
EP (1) | EP2678999A4 (zh) |
JP (1) | JP5866383B2 (zh) |
KR (1) | KR101824936B1 (zh) |
CN (1) | CN103503433B (zh) |
CA (1) | CA2827236C (zh) |
MX (1) | MX2013009389A (zh) |
WO (1) | WO2012161829A2 (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6000773B2 (ja) * | 2012-09-13 | 2016-10-05 | キヤノン株式会社 | 収差推定方法、プログラムおよび撮像装置 |
US9897792B2 (en) * | 2012-11-30 | 2018-02-20 | L&T Technology Services Limited | Method and system for extended depth of field calculation for microscopic images |
US9214011B2 (en) | 2014-05-05 | 2015-12-15 | Sony Corporation | Camera defocus direction estimation |
US9516302B1 (en) * | 2014-11-14 | 2016-12-06 | Amazon Techologies, Inc. | Automated focusing of a camera module in production |
FR3030971A1 (fr) | 2014-12-17 | 2016-06-24 | Stmicroelectronics (Grenoble 2) Sas | Procede d'estimation de flou independant du contenu de la scene et utilisation dans un systeme de mise au point automatique |
JP6485116B2 (ja) * | 2015-02-27 | 2019-03-20 | 富士通株式会社 | 合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム |
GB201512278D0 (en) * | 2015-07-14 | 2015-08-19 | Apical Ltd | Hybrid neural network |
KR102523643B1 (ko) | 2015-10-26 | 2023-04-20 | 삼성전자주식회사 | 이미지 신호 프로세서의 작동 방법과 상기 이미지 신호 프로세서를 포함하는 이미지 처리 시스템의 작동 방법 |
US9930243B2 (en) | 2016-05-02 | 2018-03-27 | Mitutoyo Corporation | Variable focal length imaging system |
US9736355B1 (en) * | 2016-05-03 | 2017-08-15 | Mitutoyo Corporation | Phase difference calibration in a variable focal length lens system |
CN109640830B (zh) * | 2016-07-14 | 2021-10-19 | 医视特有限公司 | 基于先例的超声聚焦 |
US10878546B2 (en) * | 2016-08-16 | 2020-12-29 | Sony Semiconductor Solutions Corporation | Image processing device, image processing method, and imaging device |
KR101948674B1 (ko) | 2016-10-20 | 2019-02-18 | (주)하이모 | 포터블 스캐너 및 그 스캐닝 방법 |
US20220087813A1 (en) * | 2019-01-31 | 2022-03-24 | The Trustees Of The University Of Pennsylvania | Anti-pulfrich monovision ophthalmic correction |
CN112213728A (zh) * | 2019-07-11 | 2021-01-12 | 深圳市优必选科技股份有限公司 | 一种超声测距方法、装置、计算机可读存储介质及机器人 |
CN112417703B (zh) * | 2020-12-03 | 2023-01-03 | 中国人民解放军国防科技大学 | 一种大规模符号的自适应标绘方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101465943A (zh) * | 2007-12-21 | 2009-06-24 | 索尼株式会社 | 图像处理设备、图像处理方法、程序和学习设备 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6677565B1 (en) * | 1998-08-18 | 2004-01-13 | Veeco Tucson Inc. | High speed autofocus and tilt for an optical imaging system |
JP2001103358A (ja) * | 1999-09-30 | 2001-04-13 | Mitsubishi Electric Corp | 色収差補正装置 |
JP2002116372A (ja) * | 2000-10-10 | 2002-04-19 | Ricoh Co Ltd | 自動合焦装置、その合焦方法、およびその方法をコンピュータで実行するためのプログラムが格納されているコンピュータが読み取り可能な記録媒体 |
JP2006216865A (ja) * | 2005-02-04 | 2006-08-17 | Canon Inc | 判別方法及び装置、露光装置、並びにデバイス製造方法 |
JP4437228B2 (ja) * | 2005-11-07 | 2010-03-24 | 大学共同利用機関法人情報・システム研究機構 | 焦点ぼけ構造を用いたイメージング装置及びイメージング方法 |
JP2008046484A (ja) * | 2006-08-18 | 2008-02-28 | Olympus Corp | 自動焦点検出装置及び自動焦点検出方法 |
WO2009145931A1 (en) * | 2008-05-27 | 2009-12-03 | Nikon Corporation | Device and method for estimating defocus blur size in an image |
US8538140B2 (en) * | 2008-06-23 | 2013-09-17 | Nikon Corporation | Device and method for detecting whether an image is blurred |
US8218061B2 (en) * | 2008-09-04 | 2012-07-10 | Csr Technology Inc. | Apparatus, method, and manufacture for iterative auto-focus using depth-from-defocus |
US8374389B2 (en) * | 2009-02-06 | 2013-02-12 | Robert Bosch Gmbh | Iris deblurring method based on global and local iris image statistics |
US8368964B2 (en) * | 2009-08-06 | 2013-02-05 | Xerox Corporation | Method for estimation of image defocus and defocus restoration |
US8373789B2 (en) * | 2010-02-18 | 2013-02-12 | Ju Jin | Auto focus system and auto focus method |
US8503801B2 (en) * | 2010-09-21 | 2013-08-06 | Adobe Systems Incorporated | System and method for classifying the blur state of digital image pixels |
-
2012
- 2012-02-27 MX MX2013009389A patent/MX2013009389A/es active IP Right Grant
- 2012-02-27 WO PCT/US2012/026817 patent/WO2012161829A2/en active Application Filing
- 2012-02-27 CN CN201280008944.2A patent/CN103503433B/zh not_active Expired - Fee Related
- 2012-02-27 EP EP12788758.6A patent/EP2678999A4/en not_active Ceased
- 2012-02-27 JP JP2013555638A patent/JP5866383B2/ja not_active Expired - Fee Related
- 2012-02-27 KR KR1020137021503A patent/KR101824936B1/ko active IP Right Grant
- 2012-02-27 CA CA2827236A patent/CA2827236C/en not_active Expired - Fee Related
-
2013
- 2013-08-13 US US13/965,758 patent/US8917346B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101465943A (zh) * | 2007-12-21 | 2009-06-24 | 索尼株式会社 | 图像处理设备、图像处理方法、程序和学习设备 |
Also Published As
Publication number | Publication date |
---|---|
KR20140057190A (ko) | 2014-05-12 |
US8917346B2 (en) | 2014-12-23 |
JP5866383B2 (ja) | 2016-02-17 |
CA2827236A1 (en) | 2012-11-29 |
US20130329122A1 (en) | 2013-12-12 |
KR101824936B1 (ko) | 2018-02-02 |
CA2827236C (en) | 2020-07-14 |
EP2678999A2 (en) | 2014-01-01 |
WO2012161829A2 (en) | 2012-11-29 |
EP2678999A4 (en) | 2015-12-16 |
MX2013009389A (es) | 2014-03-27 |
WO2012161829A3 (en) | 2013-02-28 |
CN103503433A (zh) | 2014-01-08 |
JP2014511508A (ja) | 2014-05-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103503433B (zh) | 图像的聚焦误差估计 | |
CN109521547B (zh) | 一种变步长的自动调焦方法及系统 | |
US8432479B2 (en) | Range measurement using a zoom camera | |
EP2314988A1 (en) | Image photographing device, distance computing method for the device, and focused image acquiring method | |
US8049811B2 (en) | Automatic focusing apparatus and method for digital images using automatic filter switching | |
EP2642245B1 (en) | Image pickup device and distance measuring method | |
CN106210520B (zh) | 一种自动调焦电子目镜及系统 | |
EP2328006A1 (en) | Task-based imaging systems | |
CN106303242A (zh) | 多光谱显微成像的快速主动对焦系统及方法 | |
CN102647941A (zh) | 用于执行光电容积描记的方法和系统 | |
JP2003500691A (ja) | 赤外線像分析自動焦点調整装置およびその方法 | |
CN104079827A (zh) | 一种光场成像自动重对焦方法 | |
CN107133982A (zh) | 深度图构建方法、装置及拍摄设备、终端设备 | |
US10230940B2 (en) | Method for determining the complex amplitude of the electromagnetic field associated with a scene | |
CN106412400A (zh) | 基于可见光及近红外的仿生视觉成像系统及其调焦方法 | |
CN104754250B (zh) | 基于声光可调谐滤光器的红外线成像取证系统及其校正像面漂移的方法 | |
JP5591090B2 (ja) | 画像処理装置およびその方法 | |
Wang et al. | Fast auto-focus scheme based on optical defocus fitting model | |
CN108431660B (zh) | 范围优化的全光变焦 | |
Marrugo et al. | Anisotropy-based robust focus measure for non-mydriatic retinal imaging | |
JP2020067503A (ja) | 撮像装置、監視システム、撮像装置の制御方法およびプログラム | |
CN106683064B (zh) | 一种基于二维耦合卷积的多聚焦图像融合方法 | |
Zhang et al. | Focusing algorithm of automatic control microscope based on digital image processing | |
Ackerman | Optics of iris imaging systems | |
Short | Automated image-based range performance measurement using TOD |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170118 Termination date: 20210227 |
|
CF01 | Termination of patent right due to non-payment of annual fee |