CN103688537A - 自动自适应图像锐化 - Google Patents

自动自适应图像锐化 Download PDF

Info

Publication number
CN103688537A
CN103688537A CN201280034289.8A CN201280034289A CN103688537A CN 103688537 A CN103688537 A CN 103688537A CN 201280034289 A CN201280034289 A CN 201280034289A CN 103688537 A CN103688537 A CN 103688537A
Authority
CN
China
Prior art keywords
acutance
parameter
index
image
institute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280034289.8A
Other languages
English (en)
Inventor
江晓云
羽田江里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103688537A publication Critical patent/CN103688537A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

本发明描述用于最初校准图像俘获装置的技术。根据一个方面,所述校准包含校准图像滤波器的参数以用于分辨所俘获图像。所述方法包含接收测试目标的所俘获图像及使用一组初始参数分辨所述所俘获图像。在未将所述所俘获图像与所述测试目标匹配的情况下,确定所述所分辨图像的锐度索引。使用所述锐度索引来最小化用于确定用于供所述图像俘获装置使用的参数的成本函数。

Description

自动自适应图像锐化
技术领域
一个方面涉及用于校准图像俘获装置中的图像传感器的系统和方法。更具体来说,方面涉及操作以校准并存储图像传感器参数的自适应图像锐化系统和方法。
背景技术
用图像俘获装置(例如数字静态照相机等)俘获的图像信息可能易受由于以下各者产生的噪声影响:图像传感器的物理限制、来自照明源的干扰等等。随着小型图像俘获装置(例如移动无线通信装置等)的风行度增长,此情形变得更盛行。此类装置中的图像传感器模块的大小的减小外加增加的像素大小一般导致每一图像内所俘获的噪声的量的增加。
在不同型号系列的数字照相机(包含形成为移动装置的部分的小型数字照相机)当中,图像质量可大大变化。小型数字照相机经历归因于(例如)装置的光学组件的变化而产生的性能的变化。这些变化可导致无法预测的图像质量,且因此,光学组件的制造商试图通过照相机校准及滤波来最小化类似照相机之间的此类变化。
为了从小型数字照相机(例如蜂窝式电话照相机等)产生商业上可接受的图像品质,通常在工厂或在使用期间校准照相机,且接着使用基于此校准的滤波操作产生高质量的最终图像。滤波操作可经设计以通过减少所俘获图像的伪影及/或增加边缘锐度来提高图像质量。校准照相机以确定用于特定照相机的适当后处理程序的过程一般被称作“照相机调谐”。通常,每当在数字照相机中使用新透镜和/或传感器时,重复照相机调谐。
在照相机校准期间,通常通过图像信号处理流水线来处理所俘获图像以便输出高质量图像。图像信号处理流水线一般具有用于调整所俘获图像的各种分量的一组参数。照相机中的所俘获图像的图像锐度一般取决于对这些参数的校准。
可调整所述参数以补偿影响所俘获图像的分辨率和质量的任何数目个因素。所述因素可涉及图像大小、照相机的分辨能力(即,12兆像素、8兆像素等)、所俘获图像环境的亮度级,或针对照相机单元自身的组件的各种组合。举例来说,所述参数可用以调整以用于照相机单元中的高质量透镜和低质量传感器的特定组合,及可用以调整以用于照相机单元中的低质量透镜和高质量传感器的特定组合。其它参数可用于低质量透镜与高质量传感器的组合。
一些常规系统使用这些参数的手动优化以便校准照相机。在手动优化期间,技术人员在各种条件下俘获若干图像。技术人员接着手动地调谐各种参数以便达到优化结果。因此优化结果是基于技术人员的判断和技术。不幸的是,执行校准的不同技术人员实现不同结果。最后,手动过程由于所需的样本图像的数目和在达到优化结果之前执行的调谐的反复次数而为非常耗时的。
其它常规系统执行所俘获图像与测试目标之间的匹配操作以便评估所俘获图像的锐度并相应地调整参数。用图像传感器来俘获若干测试图像且根据一组参数来对所述若干测试图像进行滤波。将经滤波的或所分辨的所俘获图像中的每一者与测试目标进行匹配。接着基于所匹配的测试目标的比较来分析所分辨图像的锐度达标。由于所分辨图像中的每一者与测试目标直接匹配,因此执行对准过程以便将所分辨图像与测试目标直接映射起来。在对准期间将所分辨图像上的若干参考点映射到测试目标上的参考点,使得可评估所分辨图像。然而,此过程也为耗时的。举例来说,对于5兆像素分辨率照相机,过程可能需要高达8小时来确定图像传感器参数。另外,此过程一般需要大量测试目标以便配置图像传感器的各种参数。
发明内容
本发明的系统、方法和装置各自具有若干创新方面,所述创新方面中的单一者并不仅仅负责本文中所揭示的所要属性。
根据一个方面,揭示一种最初校准图像俘获装置的方法。所述方法包含接收至少一个测试目标的所俘获图像,分辨所述所俘获图像,以及基于所述所分辨图像确定至少一个锐度索引。所述至少一个锐度索引是在未将所述所俘获图像与所述至少一个测试目标进行匹配的情况下确定。所述方法进一步包含基于所述至少一个锐度索引确定成本函数,最小化所述成本函数以确定锐度参数,以及存储所述锐度参数以供所述图像俘获装置使用。
根据另一方面,揭示一种用于最初校准图像俘获装置的设备。所述设备包含用于接收至少一个测试目标的所俘获图像的装置、用于分辨所述所俘获图像的装置,以及用于基于所述所分辨图像确定至少一个锐度索引的装置。所述至少一个锐度索引是在未将所述所俘获图像与所述至少一个测试目标进行匹配的情况下确定。所述设备进一步包含用于基于所述至少一个锐度索引确定成本函数的装置、用于最小化所述成本函数以确定锐度参数的装置,以及用于存储所述锐度参数以供所述图像俘获装置使用的装置。
根据另一方面,揭示一种非暂时性计算机可读媒体,其具有存储于其上的代码,所述代码在经执行时执行方法。通过所述经执行的代码执行的所述方法包含接收至少一个测试目标的所俘获图像,分辨所述所俘获图像,以及基于所述所分辨图像确定至少一个锐度索引。所述至少一个锐度索引是在未将所述所俘获图像与所述至少一个测试目标进行匹配的情况下确定。所述方法进一步包含基于所述至少一个锐度索引确定成本函数,最小化所述成本函数以确定锐度参数,以及存储所述锐度参数以供图像俘获装置使用。
根据另一方面,揭示一种用于最初校准图像俘获装置的设备。所述设备包含:滤波器,其经配置以接收所俘获图像及分辨所述所俘获图像;以及参数确定模块。所述参数确定模块经配置以基于所述所分辨图像确定至少一个锐度索引。所述至少一个锐度索引是在未将所述所俘获图像与所述至少一个测试目标进行匹配的情况下确定。所述参数确定模块经进一步配置以基于所述至少一个锐度索引确定成本函数,最小化所述成本函数以确定锐度参数,以及存储所述锐度参数以供所述图像俘获装置使用。
在随附图式和以下描述中阐述本说明书中所描述的标的物的一个或一个以上实施方案的细节。其它特征、方面和优点将从所述描述、图式以及从权利要求书变得显而易见。
附图说明
图1为说明用于俘获图像信息的示范性图像俘获装置的框图。
图2说明根据一些示范性实施方案的自适应空间滤波器的各种组件的框图。
图3说明根据一些示范性实施方案的参数存储模块30的组件的框图。
图4说明根据一些示范性实施方案的确定锐度参数的方法的流程图。
图5说明根据一些示范性实施方案的倾斜边缘测试目标的实例。
图6说明根据一些示范性实施方案的纹理测试目标的实例。
图7说明根据一些示范性实施方案的计算纹理MTF的方法的流程图。
图8说明不同频率下的倾斜边缘MTF和纹理MTF的实例曲线图。
图9说明根据一些示范性实施方案的倾斜边缘MTF和纹理MTF的曲线图。
图10说明根据一些示范性实施方案的确定成本函数的权重的方法1000。
具体实施方式
一个方面是一种用于执行不需要对准过程以将所俘获图像映射到目标的自动自适应图像锐化的系统和方法。如本文中所使用,“目标”是具有经设计以校准照相机的特定特征的物理或打印图像。举例来说,目标可具有黑暗和明亮区,或倾斜和笔直边缘。目标通常经配置以使得可在校准期间分析目标的所俘获图像的特定特征。系统一般可包含自适应锐化滤波器(ASF)模拟器作为自适应空间锐化块的部分。ASF模拟器可包含用于调整所俘获图像的各种分量的一组参数。可将样本图像和一组初始参数用作ASF模拟器的输入。ASF模拟器可接着基于所述组初始参数输出图像。可基于用于在未将用照相机俘获的所分辨图像与测试目标进行匹配的情况下最大化所俘获图像的锐度的过程来评估图像。举例来说,可执行所分辨图像的频域分析以便校准图像传感器参数。可由系统基于频域分析的结果来进一步调整所述参数。可接着将经优化的参数存储在照相机中以用于分辨所俘获图像。
在一个实施例中,用图像俘获装置在未进行ASF滤波的情况下俘获测试目标或一组测试目标。接着将图像发射到自动参数优化系统,所述自动参数优化系统使用ASF基于一组初始参数分辨所俘获图像。可接着计算在ASF的输出处的所分辨图像的成本函数。成本函数一般可包含对来自测试目标的所分辨的所俘获图像的锐度评估,下文将更详细地描述此情形。系统可接着基于成本函数的最小化确定是否已达到优化停止准则。如果已达到优化停止准则,那么输出经优化的参数作为用于供照相机的ASF使用的所存储参数。如果成本函数未得到最小化,那么未达到优化停止准则,且更新所述参数并将所述参数反馈到ASF模拟器。ASF模拟器继续基于反馈处理所俘获图像,直到成本函数得到最小化为止。
现参看图1,现在将更详细地描述示范性图像俘获装置10。如图1中所展示,图像俘获装置10包含图像传感器12、自适应空间图像滤波器(ASF)模拟器14、图像处理器16、存储器18、显示器20、参数确定模块30以及参数存储单元32。
如本文中所使用的图像俘获装置10包含(例如)电子照相机、录像机、网络照相机、建置到便携式或移动计算机中的照相机,包含(但不限于)蜂窝式电话、智慧型电话、便携式媒体播放器、个人数字助理、膝上型计算机或平板计算机。图像俘获装置10可以是数字照相机,例如数字摄像机、数字静态图像照相机或所述两者的组合。图像俘获装置10可以是独立装置(例如独立照相机等),或可集成于另一多用途装置(例如无线通信装置等)中。图像俘获装置10可经装备以俘获彩色像、黑白像或两者。在本发明中,术语“图像”或类似术语可互换地指视频或静态图片。
图像俘获装置10包含用于俘获外部图像的图像传感器12。图像传感器12可为(例如)电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)传感器等等。图像传感器12可耦合到图像处理器16以将所俘获图像发射到图像处理器16。图像处理器16可经配置以对所接收的所俘获图像执行各种后处理操作以便输出高质量图像。
再参看图1,图像处理器16进一步耦合到存储器18和显示器20。图像处理器16控制从图像传感器12接收的数字图像的处理、存储及显示。存储器18可配置为任何存储媒体装置。举例来说,系统存储器18可包含磁盘驱动器(例如软盘驱动器、硬盘驱动器、光盘驱动器或磁光盘驱动器等),或固态存储器(例如,快闪存储器、RAM、ROM,和/或EEPROM)。存储器18也可包含多个存储器单元,且所述存储器单元中的任一者可经配置而在图像俘获装置10内,或可在图像俘获装置10外部。举例来说,存储器18可包含ROM存储器,其含有存储在图像俘获装置10内的系统程序指令。存储器18也可包含经配置以存储所俘获图像的存储卡或高速存储器,其可从照相机卸除。
图像处理器16可经进一步配置以控制显示器20以将所俘获图像显示给用户。显示器20可在成像装置10外部或可为成像装置10的部分。显示器20也可经配置以在俘获图像之前为用户提供取景器,或可经配置以显示存储在存储器中或最近由用户俘获的所俘获图像。
图像俘获装置10也包含参数确定模块30和参数存储单元32。参数确定模块30经配置以校准及确定待供ASF模拟器14和图像处理器16使用的参数,且将所确定参数存储到参数存储单元32以供图像处理器16使用。可将用图像传感器12俘获的图像发送到ASF模拟器14或图像处理器16。如果图像俘获装置10未经校准,或需要更新校准,那么将所俘获图像发送到ASF模拟器14,使得可通过参数确定模块30来优化ASF参数。一旦确定了参数,便将参数存储到参数存储单元32以供图像处理器16使用。
图1中所说明的特征可通过硬件或软件组件的任何合适组合来实现。关于单元的不同特征的描绘希望突出显示图像俘获装置10的不同功能方面,且未必暗示这些单元必须通过单独的硬件或软件组件来实现。确切地说,与一个或一个以上单元相关联的功能性可集成在共同硬件或软件组件内。举例来说,ASF模拟器14和参数确定模块30可提供在图像俘获装置10外部,使得ASF模拟器14和参数确定模块30可经配置以确定用于多个图像俘获装置10的参数。
其它方面可将ASF模拟器卸载到外部系统。对于外部ASF模拟器和参数确定模块,用图像俘获装置的图像传感器来俘获图像,且在未进行滤波的情况下用图像俘获装置处理所述图像。接着将未经滤波的或未经分辨的图像传送到已耦合到参数确定模块的外部ASF模拟器,以用于基于一组初始参数对所接收的图像进行滤波。可将所述组初始参数存储到远程本地参数存储单元中。参数确定模块可接着将所确定的锐度参数传送到图像俘获装置的参数存储单元。
现在将参看图2更详细地描述ASF模拟器14。图2说明根据一些示范性实施方案的自适应空间滤波器的各种组件的框图。ASF模拟器14经配置以模拟由图像俘获装置的图像处理器16执行的滤波操作。因此,ASF模拟器14的组件也对应于图像俘获装置16的图像处理器单元16中所含有的自适应空间滤波器。因此,所属领域的技术人员将认识到,ASF模拟器14的组件的描述也适用于图像处理器16中所含有的ASF的组件。
ASF模拟器14对所俘获图像中的一者或一者以上执行后处理程序以获得对应的所分辨图像。举例来说,ASF模拟器14可经配置以执行自适应空间滤波操作,例如题为“用于对图像信息进行滤波的自适应空间滤波器(ADAPTIVE SPATIAL FILTER FORFILTERING IMAGE INFORMATION)”(“江”)的美国公开专利申请案第2008/0031538号中所描述的滤波操作范围当中的任一范围,所述申请案以引用的方式并入本文中。此自适应空间滤波器(其可具有大量参数)可经配置以减少噪声,同时找到边缘锐度与伪影产生之间的最优平衡。
根据一些示范性实施方案,首先将所俘获图像发送到ASF模拟器14中的平滑滤波器202。平滑滤波器202可对应于应用于整个图像的3×3低通滤波器。实例平滑滤波器可对应于根据以下方程式1的平滑滤波器:
F 3 x 3 _ LPF = 14 14 14 14 16 14 14 14 14 · SC 1 + ( 1 - sp 3 x 3 100 ) · - 1 - 1 - 1 - 1 8 - 1 - 1 - 1 - 1 · SC 2         方程式(1)
其中SC1和SC2对应于预定平滑常数,且SP3×3对应于平滑度。ASF模拟器14用根据存储在参数存储单元32中的一组初始参数的相关联的平滑度SP3×3参数设置平滑度SP3×3参数。可将平滑度SP3×3表达为平滑度的百分比。当SP3×3=0%时,滤波器为无平滑效应的滤波器。当SP3×3=100%时,滤波器为具有可通过给定滤波器(例如,3×3滤波器)实现的最大平滑效应的平均滤波器。
在通过平滑滤波器202之后,所俘获图像可进入一系列滤波器中。如图2中所展示,ASF模拟器14也包含水平锐化滤波器204,和垂直锐化滤波器206。垂直锐化滤波器206和水平锐化滤波器204可配置为5×5高通滤波器。举例来说,根据以下方程式2,垂直锐化滤波器206可对应于F1且水平锐化滤波器204可对应于滤波器F2:
F 1 = 0 0 0 0 0 - 1 0 2 0 - 1 - 2 0 4 0 - 2 - 1 0 2 0 - 1 0 0 0 0 0 / 4 F 2 = 0 - 1 - 2 - 1 0 0 0 0 0 0 0 2 4 2 0 0 0 0 0 0 0 - 1 - 2 - 1 0 / 4   方程式(2)
水平锐化滤波器204的输出由箝位单元214接收,箝位单元214具有箝位值E2和E3。E2可对应于最大正锐化极限,且E3可对应于最大负锐化极限。箝位单元214经配置以调整经水平滤波的图像的输出,以便排除在通过E2和E3界定的锐化窗外部的信号。在减法单元215处接收经箝位的输出,减法单元215将减法阈值E1从经箝位的信号中减去。减法单元215的输出由乘法器接收,所述乘法器将信号倍增等于K1的水平锐化度216。
接着由箝位单元220接收信号,箝位单元220基于最大正锐化极限E4和最大负锐化极限E5将信号箝位。箝位单元220经配置以调整经垂直滤波的图像的输出,以便排除在通过E4和E5界定的锐化窗外部的信号。在减法单元222处接收经箝位的输出,减法单元222将减法阈值E1从经箝位的信号中减去。减法单元215的输出由乘法器接收,所述乘法器将信号倍增等于K2的垂直锐化度224。
加法单元接收经垂直锐化的信号K2×V的输出、经水平锐化的信号K1×H的输出以及平滑滤波器202的输出且将所述信号组合以产生经锐化的图像。因此,大于E1的高通信号用平滑滤波器202来平滑且用锐化滤波器204和206来锐化。小于E1的信号用平滑滤波器202来平滑,且产生组合的经锐化的图像。根据一些实施方案,加法单元可通过指定预定权重系数将经垂直锐化的图像、经水平锐化的图像和经平滑的图像相加。此外,水平锐化滤波器和垂直锐化滤波器204和206的应用可同时发生,且在其它示范性实施方案中,这些滤波器的应用可顺序地发生。
经锐化的图像由选择器226接收,选择器226也接收由平滑滤波器202和低通滤波器208平滑的经平滑的图像。平滑滤波器202可配置为高通平滑滤波器(如上文所论述),且低通滤波器208可配置为5×5低通滤波器以使所俘获图像的低频分量平滑。类似于3×3平滑滤波器202,5×5平滑滤波器可包含平滑度SP5×5,其控制待由低通滤波器208应用的平滑的量。举例来说,低通滤波器208可配置为高斯滤波器,以使得在图像属于平滑范围内的情况下,应用高斯滤波器。高斯滤波器的操作可根据以下方程式3来描述:
g ( x , y ) ≅ e - ( x 2 + y 2 2 σ 2 ) σ = e sp 5 × 5 / 50 - 1      方程式(3)
其中x等于水平轴上距原点的距离,y等于垂直轴上距原点的距离,且σ为高斯分布的标准偏差。因此,可控制低通滤波器208的平滑度,以使得在SP5×5大的情况下,发生较多平滑,且在SP5×5小的情况下,发生较少平滑。
选择器226经配置以基于高通滤波器标志(HPF_flag)选择经锐化的图像和经平滑的图像中的一者作为输出。由于经水平锐化或经垂直锐化的信号可对应于噪声信号,因此在经水平锐化或经垂直锐化的信号大于0的情况下(例如,H>0|V>0),将HPF_Flag设置为1,以使得选择器226经配置以选择经锐化的信号。在经水平锐化或经垂直锐化的信号不大于0的情况下,将HPF_Flag设置为0,以使得选择器226经配置以选择经平滑的信号。
如上文所论述,ASF模拟器14可提供可调整的杂音减少控制、水平及垂直锐化度控制,以及最大锐化效应控制。另外,可根据照明光强度、图像大小和比例因子来控制ASF模拟器14的效率。明确地说,ASF模拟器14可适应于由图像传感器12获得的图像信息的当前曝光级数和当前按比例调整级数。因此,ASF模拟器14提供用于分辨所俘获图像的装置。
可根据存储在参数存储单元32中的参数来设置图像处理器16用于分辨所俘获图像的参数。这些参数包含相应水平锐化滤波器204和垂直锐化滤波器206的水平锐化度K1、垂直锐化度K2。参数也包含锐化范围E1的下限,和对应于箝位范围的值(如上文所论述,作为值E2到E5提供)。此外,可根据参数存储单元32的参数来设置上文所论述的平滑度SP3×3和平滑度SP5×5
用参数确定模块30来确定存储在参数存储单元32中的参数。现在将参看图3更详细地描述参数确定模块30。图3说明根据一些示范性实施方案的参数存储模块30的组件的框图。参数存储模块30包含纹理锐度单元302、倾斜边缘锐度单元304和噪声确定单元306。用图像传感器12俘获的图像由ASF模拟器14根据一组初始参数(如上文所论述)来分辨。接着用参数确定模块30来分析所分辨图像。纹理锐度单元302确定所分辨图像的纹理锐度索引。倾斜边缘锐度单元304确定所分辨图像的倾斜边缘锐度索引。纹理锐度单元302和倾斜边缘锐度单元304中的每一者可包含分别用于计算纹理锐度索引和倾斜边缘锐度索引的指令。因此,纹理锐度单元302和倾斜边缘锐度单元304中所提供的指令各自提供用于确定至少一个锐度索引的装置。噪声确定单元306确定所分辨图像的噪声索引。由单元302、304和306产生的每一索引由成本确定单元308接收。
成本确定单元308产生包含以下各者的成本函数:由纹理锐度单元302、倾斜边缘锐度单元304和噪声确定单元306提供的锐度索引。成本函数包含以下各者中的一者或一者以上:倾斜边缘锐度项、过度锐化测量项、纹理锐度项,和噪声项,下文将更详细地加以论述。成本确定单元308可包含用于按至少一个锐度索引的总和的形式计算成本函数的指令。因此,成本确定单元308中所包含的指令提供用于基于至少一个锐度索引确定成本函数的装置。将成本确定单元308的结果输出到参数优化单元310。
参数优化单元310基于一组指令基于成本确定单元308的结果确定成本函数是否得到最小化。参数优化单元310中所包含的指令可包含确定成本函数的锐度索引的总和是否低于预定质量阈值。另外,所述指令可经配置以在更新滤波参数的反复次数超过预定阈值的情况下,确定成本函数已得到最小化。因此,参数优化单元310中所提供的指令提供用于基于质量阈值和更新滤波参数的反复次数最小化成本函数的装置。当成本函数得到最小化时,随后将由参数优化单元310确定的锐度参数存储到参数存储单元32以用于供图像处理器16使用。参数存储单元32经配置为存储器,其提供用于存储锐度参数的装置。
将参看图4更详细地描述ASF锐度参数的确定。图4说明根据一些示范性实施方案的确定锐度参数的方法的流程图。如图4中所说明,在框400处接收所俘获图像。在框402处加载用于对所俘获图像进行滤波的ASF参数。经加载的ASF参数可对应于预定的一组初始ASF参数。在框404处基于初始参数分辨所俘获图像。举例来说,如上文关于图3所论述,用ASF模拟器来分辨所俘获图像。
在框406处通过分析所分辨图像的锐度来确定至少一个锐度索引。可用倾斜边缘锐度单元和纹理锐度单元来确定所述至少一个锐度索引,如下文将参看图5到图7更详细描述。在框408处产生包含所述至少一个锐度索引的成本函数。成本函数可包含锐度索引中的每一者的经加权总和。在决策框410处,确定成本函数是否得到最小化。即,确定成本函数的经加权总和,且确定总和是否低于预定图像质量阈值或方法400的反复次数是否超过预定阈值。举例来说,可基于差分进化方法最小化成本函数,如下文将更详细描述。如果成本函数得到最小化,那么方法确定ASF参数对应于ASF的最佳锐度参数。在框412处存储锐度参数以供图像俘获装置的图像处理器使用。
如果在决策框410处确定成本函数未得到最小化,那么在框414处更新ASF参数。将经更新的参数存储到参数存储单元以用于进行所俘获图像的后续滤波操作。方法接着返回到框402,在框402处,加载经更新的ASF参数以用于对所俘获图像进行滤波。方法继续反复地分辨所俘获图像且更新ASF参数,直到在决策框410处成本函数得到最小化为止。
测试目标可经配置以提供待俘获的图像以用于计算成本函数的锐度项。测试目标一般可包含倾斜边缘图像测试目标、枯叶图像测试目标等等。图5说明根据一些示范性实施方案的倾斜边缘测试目标的实例。图5中所说明的倾斜边缘测试目标可用以按由ASF模拟器14滤波的图像的一个锐度索引的形式来计算倾斜边缘模块化传递函数(MTFslant)。
模块化传递函数(MTF)为图像的空间频率响应的表示。MTF提供对包含若干行的所俘获图像的对比度的测量,所述若干行以预定频率隔开。MTF提供对从物体传送到所俘获图像的细节或锐度的等级的测量。计算MTF的方法可类似于ISO12233方法中所描述的通过关于倾斜边缘的MTF计算描述的方法。在以下描述中,所描述的频率对应于每一像素的循环或线对。然而,所属领域的技术人员将认识到,频率可对应于其它值,例如每一毫米线对或每一英寸线对等。
计算倾斜边缘MTF的方法包含俘获具有笔直边缘的测试目标(例如图5的测试目标等)的图像。所属领域的技术人员将认识到,图5中所说明的测试目标为示范性的,且可使用包含笔直边缘的任何数目个不同测试目标来计算倾斜边缘MTF。举例来说,笔直边缘可为一组阶跃函数。所俘获图像可通过超分辨率映射来映射。计算边缘扩散函数(ESF)以表示经映射的图像阵列的每一行的边缘处的像素强度和像素位置。计算ESF的一阶倒数以获得线扩散函数(LSF)。LSF的傅立叶变换表示所俘获图像的MTF。
接着可根据以下方程式4描述倾斜边缘MTF:
MTF=DFT[LSF]  方程式(4)
其中DFT[LSF]为线扩散函数(LSF)的离散傅立叶变换。在通过上文所论述的成本函数确定锐度参数时,可将倾斜边缘MTF提供为经滤波的图像的锐度的一个索引。
成本函数也可包含基于所俘获纹理测试目标的锐度索引。图6说明根据一些示范性实施方案的纹理测试目标的实例。图6中所说明的纹理测试目标为枯叶型,其含有与从自然图像得到的经验事实一致的统计性质。如图6中所说明,纹理测试目标含有不同大小的圆、不同对比度的边缘,和位于不同方向上的边缘。可俘获并分析测试目标的特征以产生用于图像俘获装置10的锐度的索引。
可基于纹理测试目标计算的一个锐度索引是纹理模块化传递函数(MTFtxt)。如上文所论述,MTF基于对所分辨图像的频域分析提供对于所述图像的锐度的测量。现在将参看图7更详细地描述计算纹理MTF的过程。
图7说明根据一些示范性实施方案的计算纹理MTF的方法700的流程图。在框701处,接收对应于纹理测试目标的所俘获图像。纹理测试目标可为图6的纹理目标或类似纹理测试目标。在框702处,方法700计算以下各者的功率谱密度(PSD):1)所俘获平场图像,2)原始图像,和3)所俘获纹理图像。举例来说,如图7中所说明,方法在框704处计算所俘获的平场图像的功率谱密度(PSD)。
计算功率谱密度的过程可通过以下操作来执行:计算数字原始纹理测试目标、纹理目标的所俘获图像及所俘获平场图像的二维功率谱。二维功率谱对应于图像的X和Y方向上的像素的功率谱映射。可计算二维功率谱的平均值以便依据辐射频率获得一维功率谱。举例来说,可通过假定辐射对称以使得可将二维功率谱映射为一维功率谱来环状地计算平均值。可使用一维功率谱来导出上文所论述的图像的功率谱密度。所属领域的技术人员将认识到,计算功率谱密度的过程不限于上文所描述的方法,且可通过任何数目个不同方法来计算。
所俘获的平场图像对应于用图像传感器俘获的已得到校准从而去除伪影(伪影是由图像传感器的像素变化造成)的图像。举例来说,图像俘获装置可包含用于校准图像俘获装置以俘获平场图像的一组参数。所述参数可通过伽玛曲线校准或类似平场校正技术来确定。接着可由图像传感器根据平场校正参数来俘获测试目标。接着计算所俘获平场图像的功率谱密度。可将此函数表示为PSDnoise(f),其对应于从所俘获平场图像的功率谱密度的计算导出的所俘获图像的噪声的功率谱密度。
在框706处,方法700计算原始图像的功率谱密度(PSD)。举例来说,所述方法可通过分析图6中所说明的纹理测试目标的功率谱密度来计算原始图像的功率谱密度。可将对应于纹理测试目标的数据存储在参数确定模块30中,或将对应于纹理测试目标的数据作为输入提供到纹理锐化单元302以便计算原始测试目标的功率谱密度。可将此函数表示为PSDideal(f),其对应于原始纹理测试目标的功率谱密度。一旦计算出纹理测试目标的功率谱密度,便将纹理测试目标的功率谱密度存储在参数确定模块30中以用于在确定锐度参数的方法的后续反复中在计算纹理MTF时使用。或者,可先前计算纹理测试目标的功率谱密度且将纹理测试目标的功率谱密度存储在图像俘获装置10中。
在框708处,计算所俘获纹理图像的功率谱密度(PSD)。所俘获纹理图像对应于如由图像传感器俘获的纹理测试目标的图像。可将此函数表示为PSDmeas(f),其对应于针对所俘获纹理测试目标图像测量的功率谱密度。对应于功率谱密度的计算的方法框704、706和708中的每一者可以任何次序来执行,或可同时来执行。
在框710处,所述方法基于所计算的功率谱密度计算纹理模块化传递函数(MTFtxt)。纹理MTF的计算可根据以下方程式5来描述:
MTF txt ( f ) = PSD meas ( f ) - PSD noise ( f ) PSD ideal ( f )   方程式(5)
其中PSDmeas(f)对应于针对所俘获的纹理测试目标图像测量的功率谱密度,PSDnoise(f)对应于从所俘获的平场图像的功率谱密度的计算导出的所俘获图像的噪声的功率谱密度,且PSDideal(f)对应于原始纹理测试目标的功率谱密度。接着可在框712处确定对应于针对MTFtxt的所计算值的纹理锐度索引。
可使用纹理MTF(MTFtxt)和倾斜边缘MTF(MTFslant)来计算主观质量因素(SQF)锐度测量。主观质量因素为基于MTF曲线的对锐度的评估。可根据以下方程式6来计算SQF:
SQF=A∫f[HVC*MTF]*d(log f)  方程式(6)
其中A对应于预定常数,HVC*MTF的积分是针对对应于频率f的范围进行,HVC对应于人类视觉对比度灵敏度函数,MTF对应于模块化传递函数,且d(log f)对应于频率f的对数的导数。通过计算主观质量因素,可将纹理MTF和倾斜边缘MTF的SQF作为锐度索引提供到成本函数。由于SQF提供对锐度的数值评估,而不是基于频率函数的锐度索引,因此可简化在成本函数中执行的计算。
用参数确定模块30调整的参数中的每一者可影响先前所论述的倾斜边缘MTF和纹理MTF。图8说明不同频率下的倾斜边缘MTF和纹理MTF的实例曲线图。如上文所论述,依据每一像素的循环或线对来提供频率。
待调整的参数将不同程度地影响倾斜边缘MTF和纹理MTF。将参看图9更详细地描述此情形。图9说明根据一些示范性实施方案的倾斜边缘MTF和纹理MTF的曲线图。如图9中所说明,对应于水平锐化度(K1)216或垂直锐化度(K2)224(如上文所论述)的K项较大程度地影响倾斜边缘MTF与纹理MTF两者。举例来说,当将K设置为1.2时,倾斜边缘MTF具有大约1.4的峰值,且纹理MTF具有大约1.3的峰值。另一方面,当将K设置为3时,倾斜边缘MTF具有大约4.9的峰值,且纹理MTF具有大约0.9的峰值。因此,以下情形为清楚的:锐化度的改变对MTF曲线具有很大程度的影响。类似地,上文所论述的参数E1到E5将对MTF曲线具有不同影响。举例来说,减法阈值E1将对倾斜边缘MTF具有轻微影响,但将对纹理MTF具有清楚的影响。或者,箝位值E2将对倾斜边缘MTF具有清楚的影响但对纹理MTF仅具有轻微影响。
为了避免通过各种参数的调整达到过度锐化,可将过度锐化项包含在成本函数中。过度锐化项可提供对参数的调整以减少伪影产生的边缘锐化操作。举例来说,此类伪影可显现为正突峰(即,在来自黑暗区的转变附近的过度明亮像素)或负突峰(即,在来自明亮区的转变附近的过度黑暗像素)。由ASF14基于一组特定参数进行的对所俘获图像的滤波将为过度锐化伪影的主要来源。
成本函数的过度锐化项可提供用于提供MTF曲线的上限的装置。举例来说,返回参看图9,MTF可限定于大约1.2处。过度锐化项可经配置以提供用于将成本函数限定于预定峰值极限的值。举例来说,对应于倾斜边缘MTF和纹理MTF的过度锐化项可如以下方程式7和8中所描述来提供:
max ( MTF slamt peak , a const ) - a const )    方程式(7)
max ( MTF txt peak , b const ) - b const )      方程式(8)
其中
Figure BDA0000455405410000133
对应于倾斜边缘MTF的峰值,aconst对应于倾斜边缘MTF的恒定上限,
Figure BDA0000455405410000134
对应于纹理MTF的峰值且bconst对应于纹理MTF的恒定上限。举例来说,如果将aconst和bconst设置为1.1,那么过度锐化项将会将对应于高于上限的过度锐化量的值提供给成本函数,且可相应地调整所述参数。或者,如果对应MTF峰值低于上限,那么所述项将减小到0且将对通过成本函数进行的对经更新的参数的确定不具有影响。aconst和bconst的值可对应于对应MTF曲线的上限的任何值,且可基于系统的调整要求将aconst和bconst的值设置为彼此不同的值。
另外,可基于对所俘获测试目标的图像的分析计算成本函数的噪声项。返回参看图6,测试目标可包含像素噪声量化图案。像素噪声量化图案提供可用以量化照相机传感器的噪声的信息(例如,图案噪声)。此图案可经配置以包含具有低像素间变化的一个或一个以上区(例如,减少像素间响应差的来源,而不是传感器噪声的来源)。举例来说,此图案可包含一个或一个以上平场区。一个此实例为如图6中所展示的图案,其包含配置为环绕纹理测试目标的方形区的九个平场区。方形区可对应于具有不同对比度的区。举例来说,方形区可包含:高度饱和补片(例如,最大强度,或在1.0处或1.0附近的归一化明度),其用以特性化突出显示区域中的噪声;中间色调区(例如,在0.5处或0.5附近的归一化明度),其用以特性化中间色调区域中的噪声;以及高度未饱和区(例如,最小强度,或在0.0处或0.0附近的归一化明度),其用以特性化阴影区域中的噪声。另外,方形区可包含对应于在0到1.0的范围内的变化的明度值的补片。
成本函数的噪声项可通过分析具有均匀区的所俘获图像来计算。可将噪声项指明为Vnoise。Vnoise可对应于均匀补片或方形区的标准偏差的总和,如先前所描述。因此,噪声项可由成本函数使用以便减少参数调整可能对将噪声引入系统具有的效应。
由ASF模拟器14使用如上文所论述的各种参数来处理测试目标。可接着评估经处理的图像的锐度以便确定优化参数。成本函数可包含以下各者中的一者或一者以上:倾斜边缘锐度索引、纹理锐度索引、倾斜边缘过度锐化索引、纹理过度锐化索引,以及噪声项。作为实例,成本函数可通过以下方程式9来表示:
cos t = - ω 1 SQF slant + ω 2 ( max ( MTF slant peak , a const ) - a const ) - ω 3 SQF txt + ω 4 ( max ( MTF txt peak , b const ) - b const ) + ω 5 V noise 方程式(9)
其中SQFslant对应于基于倾斜边缘MTF的主观质量因素,
Figure BDA0000455405410000142
对应于如上文所论述的倾斜边缘过度锐化项,SQFtxt对应于基于纹理MTF的主观质量因素,
Figure BDA0000455405410000143
对应于如上文所论述的纹理过度锐化项,且Vnoise对应于如上文所论述的噪声项。方程式9的成本函数中的每一项可包含加权系数ω。加权系数ω可用以校准成本函数中的所述项中的每一者对确定锐度参数的重要性或影响程度。可将加权系数与ASF参数分别进行校准,或可设置加权系数以使得相同加权系数用于不同图像俘获装置。
图10说明根据一些示范性实施方案的确定成本函数的权重的方法1000。如图10中所说明,所述方法可以框1001处设置成本函数的初始权重开始。初始加权系数可对应于预定值。预定值可(例如)基于锐度参数的先前校准。在框1002处,接收纹理测试目标的所俘获图像。纹理测试目标可(例如)对应于上文所论述的图6的纹理测试目标。在框1004处,加载用于对所俘获图像进行滤波或分辨所俘获图像的ASF参数。ASF参数可对应于存储在锐度参数存储单元32中的锐度参数。举例来说,可根据参看上述图4所描述的方法来确定ASF参数。
在框1006处,基于所加载的ASF参数分辨所俘获纹理图像。在框1008处,计算成本函数以便分析所分辨图像的锐度。成本函数可包含上文所论述的锐度索引的任何组合。在决策框1010处,确定权重是否得到优化。即,确定成本函数是否得到最小化,由此产生对应于锐度参数的最佳锐度权重值。如果成本函数得到最小化,那么在框1012处存储加权系数以供参数确定模块30使用。另一方面,如果成本函数未得到最小化,那么在框1014处更新加权系数,且方法返回到框1008处,基于经更新的权重重新计算成本函数。所述方法反复地继续更新加权系数及计算成本函数,直到成本函数得到最小化为止。因此,可确定最佳权重值且存储所述最佳权重值以供参数确定模块34使用。
图10中所说明的方法可在根据关于上述图4所描述的方法确定锐度参数之前或之后执行。另外,可在确定加权系数之后预先执行确定锐度参数的方法。因此,可反复地执行两种方法以使得锐度参数和加权系数得到进一步细化为止。
关于上述图4和图10所论述的更新加权系数和锐度参数的过程可基于任何数目种技术来执行以便迅速地达到最佳值。举例来说,一种用于优化可使用的大参数空间的技术是差分进化技术。差分进化技术评估解答的全体,其中每一解答为解域(即,参数空间的解域)的一般表示,其编码一组特定参数值。差分进化方法反复地从先前全体产生基因组的新全体,直到找到满足适应性准则的基因组为止及/或直到已执行最大次数反复为止。在差分进化技术的每一次反复下的解答的全体也被称为一代。
在差分进化技术的情况下,更新ASF参数或加权系数的方法可经配置以编码每一参数的值以将其优化为位向量,所述位向量足够长以涵盖参数的可能值的范围,及串接用于个别参数的向量以获得为具有某一长度L的位向量的基因组。在此系统中,长度为L的每一向量定义对优化问题的特定解答(即,参数空间中的特定数据点)。所属领域的技术人员将认识到,向量为提供特定解答的一个实例,且可使用其它数据结构来定义特定解答。
更新参数的方法可经配置以从随机产生的初始全体(例如,长度为n的随机向量)开始。随机解答可基于随机地设置于每一参数的特定极限内的参数值的组合。在此情况下,对于全体中的每一基因组,根据基因组中所编码的参数值执行后处理操作以产生对应的经滤波的表示。针对对应于每一基因组的每一经滤波的表示分析成本函数以确定基因组的适应性。
所述方法的后续反复是基于从来自先前代的新一代产生的经更新的参数。对于每一解答(即,X)或基因组,可根据以下方程式10产生新候选者:
v=Xr1,G+F(Xr2,G-Xr3,G)  方程式(10)
其中v为对应于参数值的新候选者的向量,r1、r2和r3对应于解答全体内的随机点,Xr1,G对应于解答向量X的一代G中的参数的第一解答向量,且Xr2,G、Xr3,G分别对应于一代G中的参数的第二解答向量和第三解答向量。解答Xr1,G、Xr2,G、Xr3,G中的每一者是从解答全体中随机地选择。函数F(Xr2,G-Xr3,G)提供从解答向量Xr2,G到Xr3,G的移位的正值。反过来,v对应于基于前一代G的解答的参数的新近产生的解答向量。如果解答向量v的成本函数小于对应于正进行分析的解答X的成本函数,那么选择v为解答全体中的新解答向量且在解答全体中用v替换X。如果解答向量v的成本函数不小于全体中的解答中的任一者的成本函数,那么丢弃v。针对全体中的所有解答反复地执行根据上述方程式10的更新参数的方法,直到成本函数得到最小化为止。
也可能需要配置更新参数的方法以为每个基因组提供再现的机会。也可执行更新参数的方法以使得基因组将再现的机率是基于根据来自所俘获图像的基因组产生的经处理的图像的对应成本函数值。另外或替代地,更新参数的方法可经配置以通过执行变异操作产生新一代的基因组。变异操作实现更新参数的额外变化。根据变异差分进化方法的一些实例,选择用于变异的参数的子集来进行更新。即,不是用新解答v替换解答X,而是部分地修改X以使得仅用向量v的对应参数来替换向量X的某些参数。将所得解答向量(即,通过参数v进行的X的变异)添加到解答全体。
如上文所论述,所揭示实施方案涉及一种用于自动自适应图像锐化的系统,其减少图像俘获装置的图像处理器达到锐化参数所需的时间量。举例来说,对于5兆像素照相机,所揭示系统可在少到大约15分钟内确定锐度参数。另外,所述系统可消除对基于照相机技术人员的体验的对锐度的主观评估的信赖。
因此,所属领域的技术人员将了解,示范性实施方案的配置和原理可适于任何其它电子系统。可将使用上文所描述的配置的电路实施到各种电子装置或集成电路中。电子装置的实例可包含(但不限于)消费型电子产品、消费型电子产品的部分、电子测试装备、保健监视器等。另外,电子装置可包含未完成的产品。
前述描述和主张可指“连接”或“耦合”在一起的元件或特征。如本文中所使用,除非另外明确陈述,否则“连接”意味着一个元件/特征直接或间接地连接到另一元件/特征,且未必机械连接。同样地,除非另外明确陈述,否则“耦合”意味着一个元件/特征直接或间接地耦合到另一元件/特征,且未必机械耦合。因此,尽管诸图中所展示的各种示意图描绘元件和组件的实例配置,但额外介入元件、装置、特征或组件可存在于实际实施例中(假定所描绘电路的功能性不受不利影响)。
尽管已依据某些示范性实施方案描述本发明,但一般所属领域的技术人员显而易见的其它示范性实施方案也在本发明的范围内,包含并不提供本文中所阐述的所有特征和优点的示范性实施方案。此外,可组合上文所描述的各种示范性实施方案以提供其它示范性实施方案。另外,在一个实施例的上下文中展示的某些特征也可并入到其它示范性实施方案中。因此,本发明的范围仅通过参考所附权利要求书来界定。
应理解,本文中使用例如“第一”、“第二”等名称进行的对元件的任何参考一般并不限制那些元件的量或次序。确切地说,这些名称在本文中可用作区别两个或两个以上元件或元件的多个实例的便利方法。因此,对第一和第二元件的参考并不意味着仅可使用两个元件或第一元件必须以某种方式在第二元件之前。又,除非另外陈述,否则一组元件可包括一个或一个以上元件。
所属领域的技术人员将理解,可使用多种不同技术和技艺中的任一者来表示信息和信号。举例来说,可用电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在上述描述中始终参考的数据、指令、命令、信息、信号、位、符号及码片。
所属领域的技术人员将进一步了解,结合本文中所揭示的方面描述的各种说明性逻辑块、模块、核心、处理器、装置、电路和算法步骤中的任一者可实施为电子硬件(例如,数字实施方案、模拟实施方案,或两者的组合,其可使用源译码或某一其它技艺来设计)、并有指令的各种形式的程序或设计代码(为了便利起见,其在本文中可被称作“软件”或“软件模块”),或两者的组合。为了清楚地说明硬件与软件的此互换性,上文已大致关于其功能性而描述了各种说明性组件、块、模块、电路和步骤。所述功能性是实施为硬件还是软件取决于特定应用及施加于整个系统上的设计约束。所属领域的技术人员可针对每一特定应用以不同方式实施所描述功能性,但此类实施决策不应被解释为导致偏离本发明的范围。
结合本文中所揭示的方面以及结合图1到图5描述的各种说明性逻辑块、模块、核心和电路可实施于集成电路(IC)、接入终端或接入点内或由集成电路(IC)、接入终端或接入点来执行。IC可包括通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件、电组件、光学组件、机械组件或其经设计以执行本文中所描述的功能的任何组合,且可执行驻留于IC内、IC外或两种情况的代码或指令。逻辑块、模块、核心和电路可包含天线和/或收发器以与网络内或装置内的各种组件通信。通用处理器可以是微处理器,但在替代例中,处理器可以是任何处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合,例如,DSP与微处理器的组合、多个微处理器的组合、一个或一个以上微处理器与DSP核心的联合,或任何其它此配置。可以如本文中所教示的某一其它方式来实施模块或核心的功能性。此外,本文中所描述的功能性(例如,关于随附图中的一者或一者以上)在一些方面中可对应于所附权利要求书中的经类似指明的“用于……的装置”功能性。
应理解,任何所揭示过程中的步骤的任何特定次序或层级为样本方法的实例。基于设计偏好,应理解,过程中的步骤的特定次序或层级可经重新布置,同时保持在本发明的范围内。随附方法请求项以样本次序呈现各种步骤的要素,且其并不意味着限于所呈现的特定次序或层级。
所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施,那么可将功能作为一个或一个以上指令或代码存储在有形的非暂时性计算机可读媒体上或通过有形的非暂时性计算机可读媒体传输。计算机可读媒体包含计算机存储媒体与通信媒体两者,通信媒体包含促进计算机程序从一处传送到另一处的任何媒体。存储媒体可为可由计算机存取的任何可用媒体。以实例说明且并非限制,此类计算机可读媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置,或可用于载送或存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。计算机可读媒体可呈非暂时性或暂时性计算机可读媒体形式。又,可将任何连接适当地称为计算机可读媒体。举例来说,如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源传输软件,则同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。如本文中所使用,磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘及蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘使用激光以光学方式再现数据。上文各者的组合也应包含在计算机可读媒体的范围内。总之,应了解,计算机可读媒体可实施于任何合适的计算机程序产品中。
提供上述描述以使得任何所属领域的技术人员能够在所附权利要求书的范围内制作或使用示范性实施方案。对于所属领域的技术人员来说,将易于显而易见对这些方面的各种修改,且在不脱离本发明的范围的情况下,本文中界定的一般原理可适用于其它方面。因此,本发明不希望限于本文中所展示的方面,而应符合与本文中所揭示的原理及新颖特征相一致的最广范围。

Claims (45)

1.一种最初校准图像俘获装置的方法,其包括:
接收至少一个测试目标的所俘获图像;
分辨所述所俘获图像;
基于所述所分辨图像确定至少一个锐度索引,其中所述至少一个锐度索引是在未将所述所俘获图像与所述至少一个测试目标进行匹配的情况下确定;
基于所述至少一个锐度索引确定成本函数;
最小化所述成本函数以确定锐度参数;以及
存储所述锐度参数以供所述图像俘获装置使用。
2.根据权利要求1所述的方法,其中所述所俘获图像是接收到固态存储器中。
3.根据权利要求1所述的方法,其中存储所述锐度参数包括将所述锐度参数存储在所述图像俘获装置中的存储器中。
4.根据权利要求1所述的方法,其中确定所述至少一个锐度索引是由所述图像俘获装置外部的处理器来执行。
5.根据权利要求1所述的方法,其中所述图像俘获装置为无线电话。
6.根据权利要求1所述的方法,其中所述至少一个锐度索引是通过在频域中分析所述所分辨图像来确定。
7.根据权利要求1所述的方法,其中所述至少一个锐度索引包含多个锐度索引,且其中所述成本函数包含对应于所述多个锐度索引中的每一者的多个加权系数。
8.根据权利要求7所述的方法,其进一步包括通过以下操作来确定所述多个加权系数:俘获纹理测试目标的图像;以及基于所述锐度参数分辨所述纹理测试目标的所述所俘获图像。
9.根据权利要求1所述的方法,其中所述至少一个索引包含至少第一锐度索引和第二锐度索引,且其中所述第一锐度索引对应于倾斜边缘模块化传递函数MTF且所述第二锐度索引对应于纹理模块化传递函数MTF。
10.根据权利要求1所述的方法,其中所述至少一个锐度索引包含多个锐度索引,且其中所述多个锐度索引中的每一锐度索引对应于倾斜边缘锐度项、过度锐化测量项、纹理锐度项及噪声项中的至少一者。
11.根据权利要求1所述的方法,其中所述至少一个测试目标包含倾斜边缘测试目标和枯叶测试目标。
12.根据权利要求1所述的方法,其中最小化所述成本函数包含评估所述所分辨图像的锐度。
13.根据权利要求1所述的方法,其进一步包括基于所述成本函数确定一组经更新的参数;以及基于所述组经更新的参数分辨所述图像。
14.根据权利要求13所述的方法,其进一步包括执行基于经更新的参数分辨所述图像的一序列反复;以及基于所述序列反复确定所述锐度参数。
15.根据权利要求1所述的方法,其进一步包括将初始参数输入到锐化滤波器;以及基于所述初始参数分辨所述所俘获图像。
16.一种用于最初校准图像俘获装置的设备,其包括:
用于接收至少一个测试目标的所俘获图像的装置;
用于分辨所述所俘获图像的装置;
用于基于所述所分辨图像确定至少一个锐度索引的装置,其中所述至少一个锐度索引是在未将所述所俘获图像与所述至少一个测试目标进行匹配的情况下确定;
用于基于所述至少一个锐度索引确定成本函数的装置;
用于最小化所述成本函数以确定锐度参数的装置;以及
用于存储所述锐度参数以供所述图像俘获装置使用的装置。
17.根据权利要求16所述的设备,其中所述设备为无线电话。
18.根据权利要求16所述的设备,其中用于接收所俘获图像的所述装置为存储器。
19.根据权利要求16所述的设备,其中用于分辨所述所俘获图像的所述装置包括自适应空间滤波器ASF模拟器。
20.根据权利要求16所述的设备,其中用于确定至少一个锐度索引的所述装置包括用于计算纹理锐度索引和倾斜边缘锐度索引中的至少一者的指令。
21.根据权利要求16所述的设备,其中用于确定成本函数的所述装置包括用于基于所述至少一个锐度索引的总和确定成本函数的指令。
22.根据权利要求16所述的设备,其中用于最小化成本函数的所述装置包括用于基于质量阈值和更新滤波参数的反复次数最小化所述成本函数的指令。
23.根据权利要求16所述的设备,其中用于存储所述锐度参数的所述装置包括存储器。
24.根据权利要求16所述的设备,其中用于确定所述至少一个锐度索引的所述装置包括用于在频域中分析所述所分辨图像的指令。
25.根据权利要求16所述的设备,其中所述至少一个锐度索引包含多个锐度索引,且其中所述成本函数包含对应于所述多个锐度索引中的每一者的多个加权系数。
26.根据权利要求25所述的设备,其进一步包括用于确定所述多个加权系数的装置,其中用于确定所述多个加权系数的所述装置包含:
用于俘获纹理测试目标的图像的装置;以及
用于基于所述锐度参数分辨所述纹理测试目标的所述所俘获图像的装置。
27.根据权利要求16所述的设备,其中所述至少一个索引包含至少第一锐度索引和第二锐度索引,且其中所述第一锐度索引对应于倾斜边缘模块化传递函数MTF且所述第二锐度索引对应于纹理模块化传递函数MTF。
28.根据权利要求16所述的设备,其中所述至少一个锐度索引包含多个锐度索引,且其中所述多个锐度索引中的每一锐度索引对应于倾斜边缘锐度项、过度锐化测量项、纹理锐度项及噪声项中的至少一者。
29.根据权利要求16所述的设备,其中所述至少一个测试目标包含倾斜边缘测试目标和枯叶测试目标。
30.根据权利要求16所述的设备,其中最小化所述成本函数包含评估所述所分辨图像的锐度。
31.根据权利要求16所述的设备,其进一步包括用于基于所述成本函数确定一组经更新的参数的装置;以及用于基于所述组经更新的参数分辨所述图像的装置。
32.根据权利要求31所述的设备,其进一步包括执行基于经更新的参数分辨所述图像的一序列反复;以及基于所述序列反复确定所述锐度参数。
33.一种非暂时性计算机可读媒体,其具有存储于其上的代码,所述代码在经执行时执行包括以下各者的方法:
接收至少一个测试目标的所俘获图像;
分辨所述所俘获图像;
基于所述所分辨图像确定至少一个锐度索引,其中所述至少一个锐度索引是在未将所述所俘获图像与所述至少一个测试目标进行匹配的情况下确定;
基于所述至少一个锐度索引确定成本函数;
最小化所述成本函数以确定锐度参数;以及
存储所述锐度参数以供图像俘获装置使用。
34.一种用于最初校准图像俘获装置的设备,其包括:
滤波器,其经配置以接收所俘获图像及分辨所述所俘获图像;以及
参数确定模块,其经配置以:
基于所述所分辨图像确定至少一个锐度索引,其中所述至少一个锐度索引是在未将所述所俘获图像与所述至少一个测试目标进行匹配的情况下确定;
基于所述至少一个锐度索引确定成本函数;
最小化所述成本函数以确定锐度参数;以及
存储所述锐度参数以供所述图像俘获装置使用。
35.根据权利要求34所述的设备,其中所述参数确定模块经进一步配置以通过在频域中分析所述所分辨图像确定所述至少一个锐度索引。
36.根据权利要求34所述的设备,其中所述至少一个锐度索引包含多个锐度索引,且其中所述成本函数包含对应于所述多个锐度索引中的每一者的多个加权系数。
37.根据权利要求34所述的设备,其进一步包括经配置以俘获至少一个测试目标的图像的传感器。
38.根据权利要求37所述的设备,其中所述传感器经进一步配置以俘获纹理测试目标的图像,其中所述滤波器经进一步配置以基于所述锐度参数分辨所述纹理测试目标的所述所俘获图像,且其中所述参数确定模块经进一步配置以基于所述纹理测试目标的所述所分辨图像确定所述多个加权系数。
39.根据权利要求34所述的设备,其中所述至少一个索引包含至少第一锐度索引和第二锐度索引,且其中所述第一锐度索引对应于倾斜边缘模块化传递函数MTF且所述第二锐度索引对应于纹理模块化传递函数MTF。
40.根据权利要求34所述的设备,其中所述至少一个锐度索引包含多个锐度索引,且其中所述多个锐度索引中的每一锐度索引对应于倾斜边缘锐度项、过度锐化测量项、纹理锐度项及噪声项中的至少一者。
41.根据权利要求34所述的设备,其中所述至少一个测试目标包含倾斜边缘测试目标和枯叶测试目标。
42.根据权利要求34所述的设备,其中最小化所述成本函数包含评估所述所分辨图像的锐度。
43.根据权利要求34所述的设备,其中所述参数确定模块经进一步配置以基于所述成本函数确定一组经更新的参数,且其中所述滤波器经配置以基于所述组经更新的参数分辨所述图像。
44.根据权利要求43所述的设备,其中所述滤波器经进一步配置以执行基于经更新的参数分辨所述图像的一序列反复,且所述参数确定模块经配置以基于所述序列反复确定所述锐度参数。
45.根据权利要求34所述的设备,其中所述设备为无线电话。
CN201280034289.8A 2011-07-11 2012-06-15 自动自适应图像锐化 Pending CN103688537A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/180,338 2011-07-11
US13/180,338 US8730329B2 (en) 2011-07-11 2011-07-11 Automatic adaptive image sharpening
PCT/US2012/042763 WO2013009434A1 (en) 2011-07-11 2012-06-15 Automatic adaptive image sharpening

Publications (1)

Publication Number Publication Date
CN103688537A true CN103688537A (zh) 2014-03-26

Family

ID=46354495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280034289.8A Pending CN103688537A (zh) 2011-07-11 2012-06-15 自动自适应图像锐化

Country Status (6)

Country Link
US (1) US8730329B2 (zh)
EP (1) EP2732632A1 (zh)
JP (1) JP2014521263A (zh)
KR (1) KR20140044899A (zh)
CN (1) CN103688537A (zh)
WO (1) WO2013009434A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107580159A (zh) * 2016-06-30 2018-01-12 华为技术有限公司 信号校正方法、装置及终端
CN109709860A (zh) * 2018-12-30 2019-05-03 武汉极目智能技术有限公司 一种基于fpga的图像滤波器流水线控制系统及方法

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104094312B (zh) * 2011-12-09 2017-07-11 英特尔公司 对基于测得的知觉质量特性的视频处理算法的控制
US9215433B2 (en) * 2014-02-11 2015-12-15 Duelight Llc Systems and methods for digital photography
US9282326B2 (en) * 2013-10-28 2016-03-08 The Regents Of The University Of Michigan Interactive camera calibration tool
JP6096382B2 (ja) * 2014-04-11 2017-03-15 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6289275B2 (ja) * 2014-06-05 2018-03-07 三菱電機株式会社 撮像制御装置、撮像装置および撮像制御方法
US9819948B2 (en) 2014-06-18 2017-11-14 Qualcomm Incorporated Signaling HRD parameters for bitstream partitions
US20160142700A1 (en) * 2014-11-19 2016-05-19 Ginni Grover Measuring Accuracy of Image Based Depth Sensing Systems
EP3295146B1 (en) 2015-05-10 2024-03-13 6 Over 6 Vision Ltd Apparatus, system and method of determining one or more optical parameters of a lens
US10670494B2 (en) 2015-05-10 2020-06-02 6 Over 6 Vision Ltd. Apparatus, system and method of determining one or more optical parameters of a lens
US10178381B2 (en) * 2015-07-14 2019-01-08 Microsoft Technology Licensing, Llc Depth-spatial frequency-response assessment
WO2017173500A1 (en) * 2016-04-08 2017-10-12 Lbt Innovations Limited Method and test chart for testing operation of an image capture system
US11176643B1 (en) * 2020-05-04 2021-11-16 Apple Inc. Circuit for correcting chromatic aberration through sharpening
US11341682B2 (en) * 2020-08-13 2022-05-24 Argo AI, LLC Testing and validation of a camera under electromagnetic interference
JP7504780B2 (ja) 2020-11-20 2024-06-24 株式会社日立製作所 画像処理装置、画像処理方法および画像処理プログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285799B1 (en) * 1998-12-15 2001-09-04 Xerox Corporation Apparatus and method for measuring a two-dimensional point spread function of a digital image acquisition system
CN1534548A (zh) * 2003-03-28 2004-10-06 ���µ�����ҵ��ʽ���� 处理图像的装置和方法
WO2007141368A1 (en) * 2006-06-09 2007-12-13 Nokia Siemens Networks Oy A method, a device, a module and a computer program product for determining the quality of an image
JP2009111596A (ja) * 2007-10-29 2009-05-21 Sanyo Electric Co Ltd 撮像装置
CN101502097A (zh) * 2006-08-07 2009-08-05 高通股份有限公司 用于滤波图像信息的自适应空间图像滤波器
CN101540043A (zh) * 2009-04-30 2009-09-23 南京理工大学 单幅图像复原的解析迭代快速频谱外推方法
CN101606178A (zh) * 2006-12-28 2009-12-16 伊斯曼柯达公司 成像设备中依赖于条件的锐化
WO2010129893A2 (en) * 2009-05-08 2010-11-11 Qualcomm Incorporated Systems, methods, and apparatus for camera tuning and systems, methods, and apparatus for reference pattern generation
US20110007166A1 (en) * 2008-03-04 2011-01-13 Thales Mixed Optical Device for Multifocal Imaging and IR Calibration

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696850A (en) * 1995-12-21 1997-12-09 Eastman Kodak Company Automatic image sharpening in an electronic imaging system
JP2002042105A (ja) * 2000-07-28 2002-02-08 Kurabo Ind Ltd コンピュータカラーマッチング方法
JP4828728B2 (ja) * 2001-06-21 2011-11-30 オリンパス株式会社 解像度測定装置および解像度測定方法
GB0224358D0 (en) * 2002-10-19 2002-11-27 Eastman Kodak Co Image processing
JP2004208026A (ja) * 2002-12-25 2004-07-22 Minolta Co Ltd 固体撮像装置
JP4468442B2 (ja) * 2004-03-31 2010-05-26 キヤノン株式会社 イメージングシステム性能測定
JP2005309985A (ja) * 2004-04-23 2005-11-04 Canon Inc 画像処理装置およびその方法
US7545421B2 (en) 2004-10-28 2009-06-09 Qualcomm Incorporated Apparatus, system, and method for optimizing gamma curves for digital image devices
US7728904B2 (en) * 2005-11-08 2010-06-01 Qualcomm Incorporated Skin color prioritized automatic focus control via sensor-dependent skin color detection
US7706609B2 (en) * 2006-01-30 2010-04-27 Microsoft Corporation Bayesian demosaicing using a two-color image
JP4749985B2 (ja) * 2006-09-28 2011-08-17 京セラ株式会社 撮像装置、並びにその製造装置および製造方法
US8103121B2 (en) * 2007-08-31 2012-01-24 Adobe Systems Incorporated Systems and methods for determination of a camera imperfection for an image

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285799B1 (en) * 1998-12-15 2001-09-04 Xerox Corporation Apparatus and method for measuring a two-dimensional point spread function of a digital image acquisition system
CN1534548A (zh) * 2003-03-28 2004-10-06 ���µ�����ҵ��ʽ���� 处理图像的装置和方法
WO2007141368A1 (en) * 2006-06-09 2007-12-13 Nokia Siemens Networks Oy A method, a device, a module and a computer program product for determining the quality of an image
CN101502097A (zh) * 2006-08-07 2009-08-05 高通股份有限公司 用于滤波图像信息的自适应空间图像滤波器
CN101606178A (zh) * 2006-12-28 2009-12-16 伊斯曼柯达公司 成像设备中依赖于条件的锐化
JP2009111596A (ja) * 2007-10-29 2009-05-21 Sanyo Electric Co Ltd 撮像装置
US20110007166A1 (en) * 2008-03-04 2011-01-13 Thales Mixed Optical Device for Multifocal Imaging and IR Calibration
CN101540043A (zh) * 2009-04-30 2009-09-23 南京理工大学 单幅图像复原的解析迭代快速频谱外推方法
WO2010129893A2 (en) * 2009-05-08 2010-11-11 Qualcomm Incorporated Systems, methods, and apparatus for camera tuning and systems, methods, and apparatus for reference pattern generation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曾湧,陈世平,于晋: "光学遥感成像系统调制传递函数补偿技术", 《中国空间科学技术》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107580159A (zh) * 2016-06-30 2018-01-12 华为技术有限公司 信号校正方法、装置及终端
CN107580159B (zh) * 2016-06-30 2020-06-02 华为技术有限公司 信号校正方法、装置及终端
CN109709860A (zh) * 2018-12-30 2019-05-03 武汉极目智能技术有限公司 一种基于fpga的图像滤波器流水线控制系统及方法
CN109709860B (zh) * 2018-12-30 2021-08-20 武汉极目智能技术有限公司 一种基于fpga的图像滤波器流水线控制系统及方法

Also Published As

Publication number Publication date
KR20140044899A (ko) 2014-04-15
US20130016222A1 (en) 2013-01-17
US8730329B2 (en) 2014-05-20
EP2732632A1 (en) 2014-05-21
JP2014521263A (ja) 2014-08-25
WO2013009434A1 (en) 2013-01-17

Similar Documents

Publication Publication Date Title
CN103688537A (zh) 自动自适应图像锐化
Jiang et al. Learning the image processing pipeline
Lai et al. A quantitative measure based infrared image enhancement algorithm using plateau histogram
CN106871925B (zh) 一种在轨综合动态调整的遥感卫星相对辐射定标处理方法
Horé et al. Is there a relationship between peak‐signal‐to‐noise ratio and structural similarity index measure?
US8908989B2 (en) Recursive conditional means image denoising
Zhou et al. Multi-scale retinex-based adaptive gray-scale transformation method for underwater image enhancement
Akpinar et al. Learning wavefront coding for extended depth of field imaging
CN108737815B (zh) 一种图像传感器的质量检测方法及系统
CN111656781A (zh) 用于使用参考图像进行图像信号处理器调谐的系统和方法
CN104023166A (zh) 一种环境自适应视频图像降噪方法及装置
CN111630854A (zh) 用于图像信号处理器调谐的系统和方法
CN112365418A (zh) 一种图像失真评测的方法、装置及计算机设备
US20180089812A1 (en) Method and system for image enhancement
CN106664370B (zh) 图像处理装置、图像处理方法及记录介质
CN106664372B (zh) 图像处理装置、图像处理方法及记录介质
Li et al. A novel detail weighted histogram equalization method for brightness preserving image enhancement based on partial statistic and global mapping model
Fry et al. Bridging the gap between imaging performance and image quality measures
US11468269B2 (en) Arithmetic device, arithmetic method, and discrimination system
CN111615827A (zh) 用于图像信号处理器调谐的系统和方法
CN112165616B (zh) 一种摄像头模组的测试方法、装置、电子设备及存储介质
Wu et al. A no-reference quality assessment for contrast-distorted image based on improved learning method
Fang et al. SQAD: Automatic Smartphone Camera Quality Assessment and Benchmarking
CN113139563A (zh) 一种图像分类模型的优化方法及装置
CN105527072B (zh) 一种基于遥感图像获取遥感器在轨焦距的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140326