CN101387734A - 用于自动聚焦的方法和设备 - Google Patents

用于自动聚焦的方法和设备 Download PDF

Info

Publication number
CN101387734A
CN101387734A CNA2008102131172A CN200810213117A CN101387734A CN 101387734 A CN101387734 A CN 101387734A CN A2008102131172 A CNA2008102131172 A CN A2008102131172A CN 200810213117 A CN200810213117 A CN 200810213117A CN 101387734 A CN101387734 A CN 101387734A
Authority
CN
China
Prior art keywords
image
focal length
distance
fuzzy
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008102131172A
Other languages
English (en)
Other versions
CN101387734B (zh
Inventor
朴炳冠
姜炳豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Samsung Electro Mechanics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Samsung Electro Mechanics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd, Samsung Electro Mechanics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101387734A publication Critical patent/CN101387734A/zh
Application granted granted Critical
Publication of CN101387734B publication Critical patent/CN101387734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus

Abstract

本发明提供一种用于自动聚焦的方法和设备。一种用于自动聚焦的距离分类器包括：距离计算模块，基于至少两个图像的模糊等级计算焦距；准确距离计算模块，当按照由距离计算模块计算的焦距捕获的图像处于离焦时，计算到对象的准确距离；距离计算校正模块，基于所述模糊等级以及由准确距离计算模块计算的到对象的准确距离，来校正距离计算模块。

Description

用于自动聚焦的方法和设备
本申请要求于2007年9月14日提交到韩国知识产权局的第10-2007-0093743号韩国专利申请的优先权，其公开通过引用完全包含于此。
技术领域
本发明涉及一种用于自动聚焦的方法和设备，更具体地讲，涉及这样一种用于自动聚焦的方法和设备，其基于图像的模糊等级(blur level)计算焦距，并且当按照计算的焦距捕获的图像处于离焦时，校正用于计算焦距的方法。
背景技术
已经作出了许多努力，通过使用自动聚焦功能来提高图像捕获设备(诸如广泛使用的数字相机和数字摄相机)中的图像的质量。
通常，图像捕获设备(诸如摄相机或相机)执行光电转换(即，将入射在镜头上的光信号转换为电信号)，并且对转换后的图像信号执行预定的图像处理以形成图像。
自动聚焦和手动聚焦是调整图像捕获设备的聚焦的方法。根据自动聚焦技术，使用被镜头捕获的对象的图像信号来检测对象，根据所述对象自动驱动聚焦镜头，从而自动调整图像捕获设备的聚焦。
为了调整图像捕获设备的聚焦，通常移动聚焦镜头以捕获完全聚焦的图像。在这种情况下，需要捕获离焦的图像，这需要长时间，导致快门滞后。
为了解决该问题，已经提出了这样一些方法，这些方法通过使用两个或三个离焦的图像来找到使图像处于焦点对准的聚焦镜头的位置。
根据大多数上述方法，从按照不同距离捕获的图像采集图像数据，从采集的图像数据获得用于确定聚焦镜头的位置的数据，并且获得的数据按照查找表(LUT)的形式被存储在图像捕获设备中。
在将用于确定聚焦镜头的位置的数据按照查找表(LUT)的形式存储在图像捕获设备中的方法(作为一种图像捕获设备的自动聚焦方法)中，难以按照LUT的形式存储所有数据。其结果是，如果输入了没有包括在存储于图像捕获设备中的LUT中的数据，则发生错误。
发明内容
因此，本发明的一方面在于提供一种用于自动聚焦的设备和方法，其能够通过使用两个图像来快速调整聚焦，并且当发生离焦时，能够进行自校正。
本发明的另一方面在于提供一种用于自动聚焦的设备和方法，其基于图像的模糊等级计算焦距，并且当按照计算的焦距捕获的图像处于离焦时，校正用于计算焦距的方法。
另外方面和/或优点将在下面的描述中部分地阐明，并且从描述中部分是清楚的，或者通过本发明的实施可以被理解。
可通过提供一种用于自动聚焦的距离分类器来实现本发明的上述和/或其它方面，该距离分类器包括：距离计算模块，基于至少两个图像的模糊等级计算焦距；准确距离计算模块，当按照由距离计算模块计算的焦距捕获的图像中的一个处于离焦时，计算到对象的准确距离；距离计算校正模块，基于所述模糊等级以及由准确距离计算模块计算的到对象的准确距离，来校正距离计算模块。
还可通过提供一种用于自动聚焦的设备来实现本发明的上述和/或其它方面，该用于自动聚焦的设备包括：模糊等级计算模块，计算具有不同焦距的至少两个图像的模糊等级；距离计算模块，基于由模糊等级计算模块计算的模糊等级计算焦距；准确距离计算模块，当按照由距离计算模块计算的焦距中的一个捕获的图像中的一个处于离焦时，计算到对象的准确距离；距离计算校正模块，基于模糊等级以及由准确距离计算模块计算的到对象的准确距离，来校正距离计算模块。
还可通过提供一种图像捕获设备来实现本发明的上述和/或其它方面，该图像捕获设备包括：镜头，对象的图像光入射在所述镜头上；传感器，捕获由入射的图像光形成的图像；自动聚焦设备，通过计算由传感器捕获的图像的模糊等级来计算焦距，并且当按照计算的焦距捕获的图像处于离焦时，所述自动聚焦设备校正用于计算焦距的方法；聚焦镜头控制器，根据由自动聚焦设备计算的焦距来对镜头进行定位，以调整焦距；图像处理器，对按照调整的焦距捕获的图像进行处理，以形成最终图像。
还可通过提供一种自动聚焦方法来实现本发明的上述和/或其它方面，该自动聚焦方法包括：计算按照第一焦距捕获的第一图像的模糊等级以及按照第二焦距捕获的第二图像的模糊等级；基于第一图像的模糊等级以及第二图像的模糊等级计算第一焦距和第二焦距；当捕获的所述图像中的一个处于离焦时，校正用于计算焦距的方法。
还可通过提供一种图像捕获方法来实现本发明的上述和/或其它方面，该图像捕获方法包括：当图像光入射时捕获图像；计算捕获的图像的模糊等级；基于计算的模糊等级来计算图像的焦距；当按照计算的焦距捕获的图像处于离焦时，校正用于计算焦距的方法；对按照计算的焦距捕获的图像进行处理，以形成最终图像。
附图说明
通过结合附图，从下面实施例的描述中，这些和/或其它方面及优点将会变得清楚和更易于理解，其中：
图1是示出根据本发明实施例的设置有自动聚焦设备的图像捕获设备的框图；
图2是示出根据本发明实施例的自动聚焦设备的框图；
图3是示出根据本发明实施例的自动聚焦方法的流程图；
图4是示出根据本发明实施例的自动聚焦方法中的校正计算焦距的方法的处理的流程图；
图5是示出根据本发明实施例的自动聚焦设备中的计算到对象的准确距离的处理的流程图；
图6是示出根据本发明实施例的自动聚焦设备中的距离分类器的多层神经网络的示意图；
图7是示出根据本发明实施例的自动聚焦设备的计算多层神经网络中的神经元的处理的示意图；
图8是示出根据本发明实施例的自动聚焦设备中的校正多层神经网络的系数的反向传播处理的示意图；
图9是示出根据本发明实施例的自动聚焦设备中的校正多层神经网络的系数的处理的示意图。
具体实施方式
现在将详细描述实施例，其示例在附图中示出，其中，相同的标号始终表示相同的部件。下面通过参照附图来描述实施例以解释本发明。
下面参照根据本发明的实施例的用户接口、方法和计算机程序产品的流程图来描述本发明。应该理解，流程图的每个块以及流程图中的块的组合可通过计算机程序指令被实现。这些计算机程序指令可被提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器以生成机器，以使得可通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程块或多个流程块中指定的功能的装置。
计算机程序指令也可被存储在计算机可用或计算机可读存储器中，计算机程序指令可指示计算机或其它可编程数据处理设备以特定的方式运行，以使得存储在计算机可用或计算机可读存储器中的指令生成包括指令装置的一件产品，所述指令装置实现在流程块或多个流程块中指定的功能。
计算机程序指令也可被加载到计算机或其它可编程数据处理设备上，以使得在计算机或其它可编程设备上执行一系列操作，以生成计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供实现在流程块或多个流程块中指定的功能的操作。
流程图的每个块可表示代码的模块、代码段或代码的一部分，代码包括实现指定的逻辑功能的一个或多个可执行指令。还应注意到，在一些可选择的实施方式中，在块中标注的功能可不按照指定的次序发生。例如，取决于所涉及的功能性，连续显示的两个块实际上可以基本同时被执行，或者有时这些块可按照相反的次序被执行。
可通过计算硬件(计算设备)和/或软件，诸如(非限制性示例)可存储、取出、处理和/或输出数据和/或与其它计算机通信的任何计算机，来实现实施例。生成的结果可被显示在计算硬件的显示器上。实现实施例的程序/软件可被记录在包括计算机可读记录介质的计算机可读介质上。实现实施例的程序/软件也可通过传输通信介质被传输。计算机可读记录介质的示例包括磁记录设备、光盘、磁光盘和/或半导体存储器(例如RAM、ROM等)。磁记录设备的示例包括硬盘装置(HDD)、软盘(FD)和磁带(MT)。光盘的示例包括DVD(数字多功能盘)、DVD-RAM、CD-ROM(致密盘-只读存储器)和CD-R(可记录)/RW。通信介质的示例包括载波信号。
图1是示出根据本发明实施例的设置有用于自动聚焦的设备的图像捕获设备的框图。
图像捕获设备包括镜头110、传感器120、图像处理器130、用于自动聚焦的设备(下文中称为“自动聚焦设备”)140以及聚焦镜头控制器150。
来自对象的图像光通过镜头110入射在传感器120上。传感器120的示例包括CCD、CMOS以及本领域公知的其它图像捕获装置。在传感器120的成像表面上形成的模拟图像被转换为数字图像。
图像处理器130通过对处于焦点对准的图像应用标准成像算法，来产生最终图像。图像处理器130执行图像处理，诸如从图像去除噪声、加亮边缘以及压缩，以形成最终图像。
自动聚焦设备140计算由传感器120捕获的图像的模糊等级，然后基于计算的模糊等级计算焦距。自动聚焦设备140基于两个模糊等级计算焦距。当基于计算的焦距采集的图像处于离焦时，校正用于计算焦距的方法。将参照图2进行详细描述。
聚焦镜头控制器150根据确定的焦距对镜头110进行定位。
图2是示出根据本发明实施例的自动聚焦设备140的框图。
自动聚焦设备140包括模糊等级计算模块210和距离分类器200，距离分类器200包括距离计算模块220、准确距离计算模块230和距离计算校正模块240。
模糊等级计算模块210基于第一焦距计算第一图像I1的模糊等级B1，并基于第二焦距计算第二图像I2的模糊等级B2。通过使用变换方法(诸如离散余弦变换(DCT)方法、傅里叶变换(FT)方法或小波变换(WT)方法)，以及通过使用利用高通滤波器(诸如Laplacian滤波器或Sobel滤波器)的方法，来计算模糊等级。
模糊等级计算模块210将计算的模糊等级B1和B2输入到可计算焦距的距离分类器200。
距离分类器200基于计算的模糊等级B1和B2来计算焦距。当按照计算的焦距采集的图像处于离焦时，距离分类器200计算到对象的准确距离，以校正用于计算焦距的方法。距离分类器200包括距离计算模块220、准确距离计算模块230和距离计算校正模块240。
距离计算模块220基于模糊等级B1和B2计算焦距。距离计算模块220可根据各种方法基于模糊等级来计算焦距。距离计算模块220可通过使用多层神经网络来计算焦距。随后将参照图6和图7进行详细描述。
当按照由距离计算模块220计算的焦距捕获的图像处于离焦时，准确距离计算模块230计算到对象的准确距离。准确距离计算模块230通过使用有源自动聚焦方法来计算到对象的准确距离，所述有源自动聚焦方法使用红外线或超声波。或者，用户可输入准确距离。然而，考虑到设备的性能和经济效率，可使用无源自动聚焦方法，所述无源自动聚焦方法基于图像捕获设备捕获的图像。高通滤波和爬山搜索算法是代表性的方法。随后将参照图5进行详细描述。
距离计算校正模块240基于由准确距离计算模块230计算的到对象的准确距离、第一图像的模糊等级B1和第二图像的模糊等级B2，来校正距离计算模块220。当多层神经网络用作距离计算模块220时，距离计算校正模块240使用在线学习方法以校正多层神经网络的系数，从而距离计算模块220具有最小误差。随后将参照图8和图9进行详细描述。
这里所使用的术语“模块”指的是但不限于软件或硬件组件，诸如执行特定任务的现场可编程门阵列(FPGA)或专用集成电路(ASIC)。模块可有利地被配置为驻留在可寻址存储介质上，并且被配置为在一个或多个处理器中执行。因此，模块可包括，例如，诸如软件组件、面向对象的软件组件、类组件和任务组件的组件、进程、函数、属性、过程、子程序、程序代码段、驱动程序、固件、微代码、电路、数据、数据库、数据结构、表、数组和变量。设置在这些组件和模块中的功能性可被组合为更少的组件和模块，或者还可被分离为另外的组件和模块。
图3是示出根据本发明实施例的自动聚焦方法的流程图。
分别按照第一焦距和第二焦距捕获第一图像I1和第二图像I2(S310)。聚焦镜头控制器150将镜头110定位在与第一焦距相应的第一位置和与第二焦距相应的第二位置。然后，传感器120捕获第一图像I1和第二图像I2。
计算第一图像I1的模糊等级B1和第二图像的模糊等级B2(S320)。自动聚焦设备140的模糊等级计算模块210通过使用变换方法(诸如离散余弦变换(DCT)、傅里叶变换(FT)或小波变换(WT))，或者通过使用高通滤波器(诸如Laplacian滤波器或Sobel滤波器)，来计算第一图像I1的模糊等级B1和第二图像I2的模糊等级B2。
基于第一图像的模糊等级B1和第二图像的模糊等级B2计算焦距(S330)。自动聚焦设备140的距离计算模块220可使用各种方法基于模糊等级来计算焦距。例如，距离计算模块220可使用多层神经网络(MNN)来计算焦距。随后将参照图6和图7进行详细描述。
按照计算的焦距捕获图像I-F(S340)。聚焦镜头控制器150根据计算的焦距对镜头110进行定位，并且传感器120捕获图像。
确定捕获的图像I-F是处于焦点对准还是处于离焦(S350)。可询问用户采集的图像I-F是处于焦点对准还是处于离焦。或者，可根据预定的标准来进行所述确定。当确定捕获的图像I-F处于焦点对准时，图像处理器130执行图像处理，诸如应用标准成像算法、去除噪声、加亮边缘以及压缩，以形成最终图像。
当确定捕获的图像I-F处于离焦时，校正计算焦距的方法(S360)。下面将参照图4进行详细描述。
根据校正后的计算焦距的方法，基于第一图像的模糊等级B1和第二图像的模糊等级B2再次计算焦距(S330)。重复该过程，直到获得了处于焦点对准的图像。
图4是示出根据本发明实施例的自动聚焦方法中的校正计算焦距的方法的处理的流程图。
计算到对象的准确距离(S410)。当按照由距离计算模块220计算的焦距捕获的图像I-F处于离焦时，准确距离计算模块230计算到对象的准确距离(S410)。准确距离计算模块230可通过使用有源自动聚焦方法来计算到对象的准确距离，所述有源自动聚焦方法使用红外线或超声波。或者，用户可输入准确距离。然而，考虑到设备的性能和经济效率，可使用无源自动聚焦方法，所述无源自动聚焦方法基于图像捕获设备捕获的图像。高通滤波和爬山搜索算法是代表性的示例。下面将参照图5进行详细描述。
输入模糊等级(S420)。为了校正距离计算模块220，距离计算校正模块240接收第一图像的模糊等级B1和第二图像的模糊等级B2，作为用于由准确距离计算模块230计算的到对象的准确距离的数据。
基于输入的模糊等级进行校正(S430)。距离计算校正模块240基于由准确距离计算模块230计算的到对象的准确距离以及输入的模糊等级B1和B2，来校正距离计算模块220。当多层神经网络用作距离计算模块220时，距离计算校正模块240使用在线学习方法以校正多层神经网络的系数，使得距离计算模块220的误差尽可能减小。下面将参照图8和图9进行详细描述。
图5是示出根据本发明实施例的自动聚焦设备计算到对象的准确距离的操作的流程图。
镜头被设置在初始位置N(S510)。聚焦镜头控制器150将镜头110定位在初始位置N。初始位置N的值可小于与由自动聚焦设备140的距离计算模块220计算的焦距相应的镜头的位置的值。
传感器120在设置的位置捕获图像(S520)。
对捕获的图像执行高通滤波(S530)。通常，随着通过高通滤波获得的值增大，图像的清晰度增加。因此，准确距离计算模块230对捕获的图像执行高通滤波。
将滤波后的值进行相加以计算FV(N)的值(S540)。准确距离计算模块230将通过对在位置N获得的图像执行高通滤波而获得的所有值进行相加，并返回FV(N)的值。
确定FV(N-2)的值是否大于FV(N-1)的值以及FV(N-1)的值是否大于FV(N)的值(S550)。在大多数情况下，经过高通滤波处理的值在聚焦镜头的位置范围内单增和单减。通过计算FV(N)的值增大然后开始减小的点，可确定保证最锐聚焦的聚焦镜头的位置。因此，准确距离计算模块230确定FV(N-2)的值是否大于FV(N-1)的值以及FV(N-1)的值是否大于FV(N)的值。
当FV(N-2)的值大于FV(N-1)的值并且FV(N-1)的值大于FV(N)的值时，经过高通滤波处理的值开始从N-1减小。因此，在聚焦镜头的位置N-2计算到对象的准确距离(S560)。准确距离计算模块230在经过高通滤波处理的值为最大的聚焦镜头的位置计算到对象的准确距离。
当确定FV(N-2)的值小于FV(N-1)的值并且FV(N-1)的值小于FV(N)的值时，聚焦镜头的位置移动到下一位置N+1(S570)。聚焦镜头控制器150将镜头110移动到下一位置N+1。
在位置N+1捕获图像，然后重复上述过程，直到计算出经过高通滤波处理的值为最大的镜头的位置。
图6是示出根据本发明实施例的自动聚焦设备中的距离分类器的多层神经网络的示意图。
当根据实验存在用于不同焦距的模糊等级数据时，需要一种根据相应距离将模糊等级数据分类的方法。在将数据分类的方法中，可使用多层神经网络。多层神经网络在理论上已被建立，并且可易于被应用。此外，可通过使用反向传播方法来校正和补偿误差。
如图6所示，对于距离分类，使用包括两个输入和四个输出的三层神经网络。根据计算神经元的处理来计算输出节点。当在输出节点中选择了具有最大值的输出节点时，计算相对于输入的模糊等级的焦距。将参照图7来详细描述计算每个神经元的方法。
图7是示出根据本发明实施例的自动聚焦设备的计算多层神经网络中的神经元的方法的示意图。
每个神经元包括两个单元。第一单元将数据1和系数w11相乘，将数据2和系数w12相乘，并将两个相乘值相加。这里，系数w11和系数w12是权重。由下面的等式表示上述过程。
x＝Data1×w11+Data2×w12
第二单元实现被称为激活函数的非线性函数。下面的S形函数用作激活函数。
f ( x ) = 1 1 + e - x
通过使用上述计算方法来计算每个神经元，以计算输出节点。最大的输出节点成为焦距。
图8是示出根据本发明实施例的自动聚焦设备中的校正多层神经网络的反向传播方法的示意图。
当误差被表示为δ时，相对于距离1的误差是δ。当相对于距离1的误差是δ时，相对于层2-1的误差δ21如下。
δ21＝δ×w31
根据反向传播方法，计算相对于第一层的误差δ11、δ12、δ13和δ14。
图9是示出根据本发明实施例的自动聚焦设备中的校正多层神经网络的方法的示意图。
通过下面的等式来计算针对层1-1校正的系数。
w ′ 11 = w 11 + η δ 11 df ( x 1 ) dx 1 x 1
这里，η表示学习率，f(x)表示上述S形函数，x1表示数据1的值。根据上述方法来校正多层神经网络的系数。当η和f(x)被保持为具有常数值时，通过使用上述方法校正所有系数直到最终输出节点。
如上所述，本发明具有下述优点。首先，可使用最小数量的图像来快速调整聚焦。第二，即使当处于离焦时，也可进行自校正。第三，尽管存在快速场景变化，也可有效调整聚焦。第四，即使先前没有构建大型数据集，也可通过实时校正来获得准确的聚焦。
虽然已经显示和描述了实施例，但是本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对实施例作出多种改变。

Claims (25)

1、一种用于自动聚焦的距离分类器，包括:
距离计算模块，基于至少两个图像的模糊等级计算焦距；
准确距离计算模块，当按照由距离计算模块计算的焦距捕获的图像中的一个处于离焦时，计算到对象的准确距离；
距离计算校正模块，基于所述模糊等级以及由准确距离计算模块计算的到对象的准确距离，来校正距离计算模块。
2、根据权利要求1所述的距离分类器，其中:
距离计算模块通过使用多层神经网络来计算焦距，并且
距离计算校正模块校正多层神经网络的系数。
3、根据权利要求1所述的距离分类器，其中，准确距离计算模块通过使用利用红外线或超声波的方法或者利用高通滤波或爬山搜索算法的方法，来计算所述准确距离。
4、一种用于自动聚焦的设备，包括:
模糊等级计算模块，计算具有不同焦距的至少两个图像的模糊等级；
距离计算模块，基于由模糊等级计算模块计算的模糊等级计算焦距；
准确距离计算模块，当按照由距离计算模块计算的焦距中的一个捕获的图像中的一个处于离焦时，计算到对象的准确距离；
距离计算校正模块，基于模糊等级以及由准确距离计算模块计算的到对象的准确距离，来校正距离计算模块。
5、根据权利要求4所述的设备，其中，模糊等级计算模块通过使用离散余弦变换、傅里叶变换、小波变换、Laplacian滤波器和Sobel滤波器中的至少一个来计算模糊等级。
6、根据权利要求4所述的设备，其中:
距离计算模块通过使用多层神经网络来计算焦距，并且
距离计算校正模块校正多层神经网络的系数。
7、根据权利要求4所述的设备，其中，准确距离计算模块通过使用利用红外线或超声波的方法或者利用高通滤波和爬山搜索算法的方法，来计算所述准确距离。
8、根据权利要求4所述的设备，其中，模糊等级计算模块计算按照所述焦距中的第一个而捕获的两个图像中的第一个的模糊等级以及按照所述焦距中的第二个而捕获的两个图像中的第二个的模糊等级。
9、一种图像捕获设备，包括:
镜头，对象的图像光入射在所述镜头上；
传感器，捕获由入射的图像光形成的图像；
自动聚焦设备，通过计算由传感器捕获的图像的模糊等级来计算焦距，并且当按照计算的焦距捕获的图像处于离焦时，所述自动聚焦设备校正用于计算焦距的方法；
聚焦镜头控制器，根据由自动聚焦设备计算的焦距来对镜头进行定位，以调整焦距；
图像处理器，对按照调整的焦距捕获的图像进行处理，以形成最终图像。
10、根据权利要求9所述的图像捕获设备，其中，
自动聚焦设备包括:
模糊等级计算模块，计算捕获的具有不同焦距的至少两个图像的模糊等级；
距离计算模块，基于由模糊等级计算模块计算的模糊等级计算焦距；
准确距离计算模块，当按照由距离计算模块计算的焦距捕获的图像中的一个处于离焦时，计算到对象的准确距离；
距离计算校正模块，基于模糊等级以及由准确距离计算模块计算的到对象的准确距离，来校正距离计算模块。
11、根据权利要求10所述的图像捕获设备，其中，模糊等级计算模块通过使用离散余弦变换、傅里叶变换、小波变换、Laplacian滤波器和Sobel滤波器中的至少一个来计算模糊等级。
12、根据权利要求10所述的图像捕获设备，其中:
距离计算模块通过使用多层神经网络来计算焦距，并且
距离计算校正模块校正多层神经网络的系数。
13、根据权利要求10所述的图像捕获设备，其中，准确距离计算模块通过使用利用红外线或超声波的方法或者利用高通滤波和爬山搜索算法的方法，来计算准确距离。
14、一种自动聚焦方法，包括:
计算按照第一焦距捕获的第一图像的模糊等级以及按照第二焦距捕获的第二图像的模糊等级；
基于第一图像的模糊等级以及第二图像的模糊等级计算第一焦距和第二焦距；
当捕获的所述图像中的一个处于离焦时，校正用于计算焦距的方法。
15、根据权利要求14所述的自动聚焦方法，其中，通过使用离散余弦变换、傅里叶变换、小波变换、Laplacian滤波器和Sobel滤波器中的一个来计算模糊等级。
16、根据权利要求14所述的自动聚焦方法，其中:
通过使用多层神经网络来计算焦距，并且
通过校正多层神经网络的系数，来执行对用于计算焦距的方法的校正。
17、根据权利要求14所述的自动聚焦方法，还包括:
当按照计算的焦距捕获的图像处于离焦时，计算到对象的准确距离，
其中，基于所述到对象的准确距离、第一图像的模糊等级以及第二图像的模糊等级，来执行对用于计算焦距的方法的校正。
18、根据权利要求17所述的自动聚焦方法，其中，通过使用利用红外线或超声波的方法或者利用高通滤波和爬山搜索算法的方法，来计算到对象的准确距离。
19、一种图像捕获方法，包括:
当图像光入射时捕获图像；
计算捕获的图像的模糊等级；
基于计算的模糊等级来计算图像的焦距；
当按照计算的焦距捕获的图像中的一个处于离焦时，校正用于计算焦距的方法；
对按照计算的焦距捕获的图像进行处理，以形成最终图像。
20、根据权利要求19所述的方法，其中，计算模糊等级的步骤包括:使用离散余弦变换、傅里叶变换、小波变换、Laplacian滤波器和Sobel滤波器中的一个。
21、根据权利要求19所述的方法，其中:
计算焦距的步骤包括:使用多层神经网络，并且
校正用于计算焦距的方法的步骤包括:校正多层神经网络的系数。
22、根据权利要求19所述的方法，还包括:
当按照计算的焦距捕获的图像处于离焦时，计算到对象的准确距离，
其中，基于所述到对象的准确距离、第一图像的模糊等级以及第二图像的模糊等级，来执行对用于计算焦距的方法的校正。
23、一种用于自动聚焦的距离分类器，包括:
距离计算模块，基于至少两个图像的模糊等级计算焦距；
距离计算校正模块，基于所述焦距以及所述模糊等级来校正距离计算模块。
24、根据权利要求23所述的距离分类器，还包括:准确距离计算模块，当按照由距离计算模块计算的焦距捕获的图像中的一个处于离焦时，计算到对象的准确距离。
25、根据权利要求24所述的距离分类器，其中，距离计算校正模块基于由准确距离计算模块计算的到对象的准确距离，来校正距离计算模块。
CN2008102131172A 2007-09-14 2008-09-12 用于自动聚焦的方法和设备 Active CN101387734B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2007-0093743 2007-09-14
KR20070093743A KR101488655B1 (ko) 2007-09-14 2007-09-14 자동 초점 조절 장치 및 방법
KR1020070093743 2007-09-14

Publications (2)

Publication Number Publication Date
CN101387734A true CN101387734A (zh) 2009-03-18
CN101387734B CN101387734B (zh) 2012-01-11

Family

ID=40454564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008102131172A Active CN101387734B (zh) 2007-09-14 2008-09-12 用于自动聚焦的方法和设备

Country Status (4)

Country Link
US (1) US7936987B2 (zh)
JP (1) JP5485527B2 (zh)
KR (1) KR101488655B1 (zh)
CN (1) CN101387734B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102231798A (zh) * 2011-06-24 2011-11-02 天津市亚安科技电子有限公司 一种控制云台摄像机自动变倍的方法及系统
CN103052960A (zh) * 2010-11-11 2013-04-17 数字光学欧洲有限公司 失焦状况下的对象检测和识别
CN103220534A (zh) * 2012-01-20 2013-07-24 宏达国际电子股份有限公司 图像撷取装置与方法
CN105578033A (zh) * 2014-11-05 2016-05-11 佳能株式会社 图像捕获装置及图像捕获装置的控制方法
CN107005653A (zh) * 2014-12-05 2017-08-01 微软技术许可有限责任公司 虚拟聚焦反馈
CN107329233A (zh) * 2017-08-25 2017-11-07 西南大学 一种基于神经网络的微滴式pcr仪自动对焦方法
CN108259753A (zh) * 2018-02-28 2018-07-06 中国航空工业集团公司洛阳电光设备研究所 一种基于离焦估计改进爬山法的相机自动调焦方法及装置
CN109698901A (zh) * 2017-10-23 2019-04-30 广东顺德工业设计研究院(广东顺德创新设计研究院) 自动对焦方法、装置、存储介质和计算机设备
CN110749974A (zh) * 2019-11-04 2020-02-04 中南大学 全载玻片成像扫描仪的自动聚焦方法及其图像获取方法
CN110785691A (zh) * 2017-06-27 2020-02-11 索尼公司 可互换透镜装置、成像装置、成像系统、方法以及程序
CN111551117A (zh) * 2020-04-29 2020-08-18 湖南国科智瞳科技有限公司 显微图像焦点漂移距离的测量方法及系统、计算机设备
CN112053288A (zh) * 2019-06-06 2020-12-08 佳能株式会社 图像处理方法、图像处理装置与图像处理系统

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8194995B2 (en) * 2008-09-30 2012-06-05 Sony Corporation Fast camera auto-focus
US8553093B2 (en) * 2008-09-30 2013-10-08 Sony Corporation Method and apparatus for super-resolution imaging using digital imaging devices
US8064761B2 (en) * 2010-03-04 2011-11-22 Digital Imaging Systems Gmbh Method to determine auto focus of a digital camera
JP2012003233A (ja) * 2010-05-17 2012-01-05 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP5869883B2 (ja) * 2010-06-17 2016-02-24 パナソニック株式会社 画像処理装置
CN102472622B (zh) * 2010-06-17 2015-12-02 松下电器产业株式会社 距离推定装置以及距离推定方法
US8760563B2 (en) 2010-10-19 2014-06-24 Hand Held Products, Inc. Autofocusing optical imaging device
US8692927B2 (en) 2011-01-19 2014-04-08 Hand Held Products, Inc. Imaging terminal having focus control
US8411195B2 (en) * 2011-04-01 2013-04-02 Sony Corporation Focus direction detection confidence system and method
US9113059B2 (en) 2011-11-30 2015-08-18 Canon Kabushiki Kaisha Image pickup apparatus and image region discrimination method
JP5983373B2 (ja) * 2012-12-07 2016-08-31 富士通株式会社 画像処理装置、情報処理方法及びプログラム
KR101299645B1 (ko) * 2013-06-19 2013-08-23 (주)태극기전 디지털 광학장치용 자동 초점 제어방법
CN103473776B (zh) * 2013-09-17 2016-05-25 深圳市华因康高通量生物技术研究院 一种比较图像清晰度的方法、系统及自动聚焦控制方法
KR102244082B1 (ko) * 2014-08-05 2021-04-23 한화테크윈 주식회사 저조도 환경에서의 고속 자동초점 조정장치 및 방법
CN105578029B (zh) * 2015-09-01 2018-12-28 闽南师范大学 一种多尺度变步长的自动对焦搜索算法
SE541141C2 (en) * 2016-04-18 2019-04-16 Moonlightning Ind Ab Focus pulling with a stereo vision camera system
CN108122234B (zh) * 2016-11-29 2021-05-04 北京市商汤科技开发有限公司 卷积神经网络训练及视频处理方法、装置和电子设备
US10867374B2 (en) * 2017-02-13 2020-12-15 Sensors Unlimited, Inc. Auto-focusing system and method by determining contrast difference between adjacent pixels using sobel filter
JP6971934B2 (ja) * 2018-08-10 2021-11-24 株式会社東芝 画像処理装置
US10839264B2 (en) * 2018-11-09 2020-11-17 International Business Machines Corporation Scalable feature classification for laser scanning data and digital elevation models
US11360970B2 (en) 2018-11-13 2022-06-14 International Business Machines Corporation Efficient querying using overview layers of geospatial-temporal data in a data analytics platform
DE102018219867B4 (de) 2018-11-20 2020-10-29 Leica Microsystems Cms Gmbh Lernender Autofokus
DE102018133188A1 (de) * 2018-12-20 2020-06-25 Carl Zeiss Microscopy Gmbh Abstandbestimmung einer probenebene in einem mikroskopsystem

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2761391B2 (ja) * 1988-10-04 1998-06-04 オリンパス光学工業株式会社 焦点検出装置
KR940003241B1 (ko) 1991-05-23 1994-04-16 금성일렉트론 주식회사 To-220 반도체 제조기의 리드프레임 자동 공급장치
JPH0575910A (ja) * 1991-09-17 1993-03-26 Olympus Optical Co Ltd 合焦点検出装置
JPH05199444A (ja) 1992-01-20 1993-08-06 Olympus Optical Co Ltd カメラ及び交換レンズ
JPH0854556A (ja) 1994-08-09 1996-02-27 Nikon Corp カメラのオートフォーカス装置
JPH0854557A (ja) * 1994-08-09 1996-02-27 Nikon Corp カメラのオートフォーカス装置
JP2000165734A (ja) * 1998-09-24 2000-06-16 Ricoh Co Ltd 自動焦点制御装置および自動焦点制御方法
JP2000171682A (ja) 1998-12-02 2000-06-23 Canon Inc 自動焦点カメラ
US6151415A (en) * 1998-12-14 2000-11-21 Intel Corporation Auto-focusing algorithm using discrete wavelet transform
JP5002086B2 (ja) 1999-10-28 2012-08-15 キヤノン株式会社 焦点検出装置と撮像装置
EP1508827A4 (en) * 2002-05-30 2007-09-19 Sony Corp PICTURE DEVICE, SIGNAL PROCESSING METHOD, RECORDING MEDIUM AND PROGRAM
US7466336B2 (en) * 2002-09-05 2008-12-16 Eastman Kodak Company Camera and method for composing multi-perspective images
US7929801B2 (en) * 2005-08-15 2011-04-19 Sony Corporation Depth information for auto focus using two pictures and two-dimensional Gaussian scale space theory

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103052960A (zh) * 2010-11-11 2013-04-17 数字光学欧洲有限公司 失焦状况下的对象检测和识别
CN103052960B (zh) * 2010-11-11 2017-10-24 快图有限公司 失焦状况下的对象检测和识别
CN102231798B (zh) * 2011-06-24 2015-09-23 天津市亚安科技股份有限公司 一种控制云台摄像机自动变倍的方法及系统
CN102231798A (zh) * 2011-06-24 2011-11-02 天津市亚安科技电子有限公司 一种控制云台摄像机自动变倍的方法及系统
CN103220534A (zh) * 2012-01-20 2013-07-24 宏达国际电子股份有限公司 图像撷取装置与方法
US10313578B2 (en) 2014-11-05 2019-06-04 Canon Kabushiki Kaisha Image capturing apparatus and method for controlling image capturing apparatus
CN105578033A (zh) * 2014-11-05 2016-05-11 佳能株式会社 图像捕获装置及图像捕获装置的控制方法
CN105578033B (zh) * 2014-11-05 2019-07-05 佳能株式会社 图像捕获装置及图像捕获装置的控制方法
CN107005653A (zh) * 2014-12-05 2017-08-01 微软技术许可有限责任公司 虚拟聚焦反馈
CN107005653B (zh) * 2014-12-05 2021-04-27 微软技术许可有限责任公司 进行虚拟聚焦反馈的装置、方法以及头戴式显示器
CN110785691A (zh) * 2017-06-27 2020-02-11 索尼公司 可互换透镜装置、成像装置、成像系统、方法以及程序
CN110785691B (zh) * 2017-06-27 2023-08-04 索尼公司 可互换透镜装置、成像装置、成像系统、方法以及计算机存储介质
US11493829B2 (en) 2017-06-27 2022-11-08 Sony Group Corporation Interchangeable lens device, imaging device, imaging system, method, and program
CN107329233B (zh) * 2017-08-25 2019-10-11 西南大学 一种基于神经网络的微滴式pcr仪自动对焦方法
CN107329233A (zh) * 2017-08-25 2017-11-07 西南大学 一种基于神经网络的微滴式pcr仪自动对焦方法
CN109698901A (zh) * 2017-10-23 2019-04-30 广东顺德工业设计研究院(广东顺德创新设计研究院) 自动对焦方法、装置、存储介质和计算机设备
CN108259753B (zh) * 2018-02-28 2020-08-07 中国航空工业集团公司洛阳电光设备研究所 一种基于离焦估计改进爬山法的相机自动调焦方法及装置
CN108259753A (zh) * 2018-02-28 2018-07-06 中国航空工业集团公司洛阳电光设备研究所 一种基于离焦估计改进爬山法的相机自动调焦方法及装置
CN112053288A (zh) * 2019-06-06 2020-12-08 佳能株式会社 图像处理方法、图像处理装置与图像处理系统
CN110749974A (zh) * 2019-11-04 2020-02-04 中南大学 全载玻片成像扫描仪的自动聚焦方法及其图像获取方法
CN110749974B (zh) * 2019-11-04 2021-06-01 中南大学 全载玻片成像扫描仪的自动聚焦方法及其图像获取方法
CN111551117A (zh) * 2020-04-29 2020-08-18 湖南国科智瞳科技有限公司 显微图像焦点漂移距离的测量方法及系统、计算机设备
CN111551117B (zh) * 2020-04-29 2021-07-20 湖南国科智瞳科技有限公司 显微图像焦点漂移距离的测量方法及系统、计算机设备

Also Published As

Publication number Publication date
JP5485527B2 (ja) 2014-05-07
CN101387734B (zh) 2012-01-11
KR20090028267A (ko) 2009-03-18
KR101488655B1 (ko) 2015-02-03
JP2009069831A (ja) 2009-04-02
US20090074393A1 (en) 2009-03-19
US7936987B2 (en) 2011-05-03

Similar Documents

Publication Publication Date Title
CN101387734B (zh) 用于自动聚焦的方法和设备
US10354369B2 (en) Image processing method, image processing apparatus, image pickup apparatus, and storage medium
US8050509B2 (en) Method of and apparatus for eliminating image noise
US8023000B2 (en) Image pickup apparatus, image processing apparatus, image pickup method, and image processing method
CN102724399B (zh) 基于场景深度图的缩放、孔径和快门速度的自动设定
CN101388952B (zh) 恢复图像的设备和方法
US9071754B2 (en) Image capturing apparatus, image processing apparatus, image processing method, and image processing program
US20080259172A1 (en) Image pickup apparatus, image processing apparatus, image pickup method, and image processing method
US20180146135A1 (en) Image processing apparatus, image processing apparatus control method, image pickup apparatus, and image pickup apparatus control method
CN105230001A (zh) 图像处理设备、处理图像的方法、图像处理程序，以及成像设备
JP5068214B2 (ja) イメージセンサの自動焦点調節のための装置及び方法
EP2785047A2 (en) Image pickup apparatus, image processing system, image pickup system, image processing method, image processing program, and storage medium
TWI482468B (zh) 物體偵測裝置、方法及其電腦可讀取紀錄媒體
KR101437234B1 (ko) 초점이 흐려진 필박스 화상을 이용하여 깊이 평가를 수행하는 시스템 및 방법
CN102867297A (zh) 一种低照度图像采集的数字化处理方法
CN112351196B (zh) 图像清晰度的确定方法、图像对焦方法及装置
CN106204554A (zh) 基于多聚焦图像的景深信息获取方法、系统及拍摄终端
CN106791663A (zh) 一种基于背景建模的跟踪聚焦算法
KR20170101532A (ko) 이미지 융합 방법 및 이를 위한 컴퓨터 프로그램, 그 기록매체
KR20210048736A (ko) 머신 러닝 기반 디블러 엔진
JP2016110622A (ja) 制御装置、画像処理装置、レンズ装置、画像処理システム、制御方法、画像処理方法、プログラム、および、記憶媒体
JP6063680B2 (ja) 画像生成装置、画像生成方法、撮像装置、および撮像方法
CN111885297A (zh) 图像清晰度的确定方法、图像对焦方法及装置
CN102087459B (zh) 自动聚焦方法
WO2023106119A1 (ja) 制御装置、制御方法、情報処理装置、生成方法、およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant