CN100504489C - 透镜缺陷校正 - Google Patents
透镜缺陷校正 Download PDFInfo
- Publication number
- CN100504489C CN100504489C CNB2004800402714A CN200480040271A CN100504489C CN 100504489 C CN100504489 C CN 100504489C CN B2004800402714 A CNB2004800402714 A CN B2004800402714A CN 200480040271 A CN200480040271 A CN 200480040271A CN 100504489 C CN100504489 C CN 100504489C
- Authority
- CN
- China
- Prior art keywords
- lens
- picture
- circuit
- image
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
Abstract
一种系统,其使用影像区的聚焦估计信息来构造合成影像。
Description
技术领域
本申请一般涉及成像。
背景技术
与成像相关的技术人们有所知晓。美国专利US2002/0181762 A1公开了构造具有延伸景深的图像的方法和装置。
发明内容
在一实施例中,一种方法包括但并不局限于:当透镜在第一位置的情况下捕获(capture)第一次像,所述透镜具有超过目标光学性质的第一公差的至少一个偏差;当所述透镜在另一位置下捕获另一影像;确定所述第一次像的至少一个离焦区;相对于所述第一次像的所述至少一个离焦区的聚焦来确定所述另一影像的至少一个区域的聚焦;以及响应于相对所述第一次像的所述至少一个离焦区的聚焦具有更精确聚焦的所述另一影像的所述至少一个区域,来构造合成影像。除了前述的以外,在本申请的正文(例如,权利要求和/或详细的描述)和/或附图陈述和描述了多种其它方法的实施例。
在一或更多种实施例中,相关系统包括但并不局限于用于实现在此引入的方法的实施例的机电系统(例如,电动机、传动装置、电路和/或程序设计);电路可实际上为硬件、软件和/或固件的任何组合,其被配置成以实现前述引入的方法的实施例,这取决于系统设计者的设计选择。
在一实施例中,一种系统包括但并不局限于:光检测器阵列;透镜,其具有超过目标光学性质的第一公差的至少一个偏差;控制器,配置其以相对于所述光检测器阵列将所述透镜定位在第一位置和另一位置,且在所述第一位置和所述另一位置导致影像捕获信号;影像构造单元,配置其以用在所述另一位置所捕获的另一影像的更清晰的对焦区来构造在所述第一位置所捕获的第一影像的至少一个离焦区。
根据本发明,一种方法,其包括:当透镜在第一位置的情况下捕获第一次像,所述透镜具有超过目标光学性质的第一公差的至少一个偏差;
当所述透镜在另一位置的情况下捕获另一影像,其中当所述透镜在另一位置的情况下捕获另一影像的所述步骤进一步包括:将所述透镜的至少一部分移动至由所述目标光学性质的所述第一公差所限制的至少一个距离内的所述另一位置;
确定所述第一次像的至少一个离焦区;
相对于所述第一次像的所述至少一个离焦区的聚焦来确定所述另一影像的至少一个区域的聚焦;以及
响应于所述另一影像的所述至少一个区域,来构造合成影像,其中所述另一影像的所述至少一个区域相对所述第一次像的所述至少一个离焦区的所述聚焦具有更精确聚焦。
根据本发明,一种系统,其包括:
透镜,其具有超过目标光学性质的第一公差的至少一个偏差;
用于当透镜在第一位置的情况下捕获第一次像的装置;
用于当所述透镜在另一位置的情况下捕获另一影像的装置,所述用于当所述透镜在另一位置的情况下捕获另一影像的装置进一步包括:用于将所述透镜的至少一部分移动到由所述目标光学性质的所述第一公差所限制的至少一个距离内的所述另一位置的装置;
用于确定所述第一次像的至少一个离焦区的装置;
用于相对于所述第一次像的所述至少一个离焦区的聚焦来确定所述另一影像的至少一个区域的聚焦的装置;以及
用于响应于所述另一影像的所述至少一个区域来构造合成影像的装置,其中所述另一影像的所述至少一个区域相对所述第一次像的所述至少一个离焦区的所述聚焦具有更精确聚焦。
除了前述以外,在本申请的正文(例如,权利要求和/或详细的描述)和/或附图陈述和描述了多种其它方法和或系统的实施例。
前述是总结,且因此必要地包括细节的简化、概括和省略;因此,本领域的技术人员应该理解,该总结仅是示例性的且并不旨在以任何方式进行限制。在此所陈述的非限制性详细描述中,仅由权利要求限定的在此所述的设备和/或过程的其它方面、发明特征和优点将会变得显而易见。
附图说明
图1显示投射到光检测器阵列102的人(例如图2的人202)的像100的正视平面图。
图2图示出产生图1的像100的透镜系统200的侧视平面图。
图3图示出过程的高层逻辑流程图。
图4图示出图2的系统的侧视平面图,其中根据关于图3所示出和描述的过程的方面,已移动透镜204。
图5示出图2的系统的另一侧视平面图,其中根据关于图3所示出和描述的过程的方面,已移动透镜204。
在不同附图中使用相同的符号一般表示相似或相同的项(item)。
具体实施方式
参照附图,且现在参照图1,显示出投射到光检测器阵列102的人(例如图2的人202)的像100的正视平面图。由于像100投射通过的透镜(例如图2的透镜系统200的透镜204)的缺陷,示出的像100失真。示出像100的第一部分104大而不清晰,当透镜缺陷引起像100的部分104聚焦在光检测器阵列102表面的前面时可出现这种情况。示出的第二、第三和第四部分106为正确的尺寸,当透镜引起像100的部分106正确聚焦在光检测器阵列102的成像面上时可出现这种情况。显示出第五部分108小而模糊,当透镜缺陷引起像100的部分108焦距(虚)在光检测器阵列102的成像面之后时可出现这种情况。另外,尽管未专门示出,然而本领域的技术人员应该理解,多种透镜缺陷也可引起像在x-y失真;本领域的技术人员还应该理解,不同颜色波长的光由于不同颜色波长的光的折射不同而可在或自己聚焦在不同位置。
现在参照图2,图示出可产生图1的像100的透镜系统200的侧视平面图。示出透镜系统200的透镜204位于第一位置,且其具有引起有关图1示出和描述的像100的五个不同部分的缺陷。示出像100的第一部分104聚焦在光检测器阵列102成像面的前面。示出第二、第三和第四部分106为正确的尺寸,且其聚焦在光检测器阵列102的成像面上。(应认识到在侧视平面图人202的头和脚应呈现为线形;然而,为了清晰,在图2中以轮廓示出其以帮助读者相对于图1定向。)显示出第五部分108小而模糊,且其实际上聚焦在光检测器阵列102的成像面之后。
继续参照图2,进一步示出了可用作有关图3所示和描述的过程的环境的部件。具体地讲,图示出控制器208用于(例如通过使用反馈控制子系统)控制透镜系统200的透镜204的位置。示出影像捕获单元206用于从光检测器102接收影像数据,和从控制器208接收控制信号。显示出影像捕获单元206用于将所捕获的影像信息发送给聚焦检测单元(focusdetection unit)210。图示出聚焦检测单元210用于将聚焦数据发送给影像构造单元212。示出影像构造单元212用于将合成影像发送给影像存储/显示单元214。
现在参照图3,图示出过程的高层逻辑流程图。方法步骤200显示过程的开始。方法步骤302描述当透镜在第一位置的情况下捕获第一次像,该透镜具有超过目标光学性质的第一公差的至少一个偏差。具有超过目标光学性质的第一公差的至少一个偏差的透镜的例子为这样的情况:透镜具有超过定义的焦距的第一公差的至少一个焦距(例如,在光检测器102的成像面后的某一位置产生像100的部分108的缺陷,或在光检测器阵列102的成像面的前面的某一位置产生部分104的缺陷,其中在成像面之前或之后的距离超过了定义的公差距离,在此公差距离,用光检测器阵列102所捕获的像被认为是可接受的)。例如,透镜可具有超过定义的球面像差的第一公差的至少一个球面像差,或透镜可具有超过定义的柱面像差(cylindrical aberration)的第一公差的至少一个柱面像差。可选地,透镜可具有上述缺陷的某些组合。在一实施中,方法步骤302包括在透镜的第一焦面位置(例如,透镜的定义的焦面,如果透镜没有像差,那么在此处会成像)捕获第一次像的子步骤。在另一实施中,方法步骤302包括用光检测器阵列在透镜的第一焦面位置(例如,定位透镜,使得透镜的定义的焦面与光检测器阵列的成像面重合)捕获第一次像的子步骤。
再次参照图2,方法步骤302(图3)的一个具体示例为控制器208控制透镜系统200在第一位置定位透镜204,且此后指示影像捕获单元100从光检测器102捕获影像。
再次参照图3,方法步骤304示出确定第一次像的至少一个离焦区(或确定第一次像的至少一个聚焦区)。在一实施中,方法步骤304包括计算第一次像的至少一部分(例如,清晰或对焦(in-focus)影像产生通常具有相当高频率成分的突变)的傅里叶变换的子步骤。
再次参照图2,方法步骤304(图3)的一个具体示例为聚焦检测单元210对透镜204在第一位置时由影像捕获单元206捕获的影像的至少一部分执行傅立叶变换和随后的分析。在此示例中,聚焦检测单元210可认为具有相当高频率成分的部分影像为“对焦”影像。
再次参照图3,方法步骤306示出当透镜在另一位置的情况下捕获另一影像。在一实施中,方法步骤306包括在第一位置下的透镜的第一焦面位置捕获另一影像(例如,如有关图4和5所示和所述,透镜204移动到另一位置,而光检测器102保持静止)的子步骤。在另一实施中,在第一位置下的透镜的第一焦面位置捕获另一影像的步骤进一步包括将透镜的至少一部分移动到另一位置;和用光检测器阵列在第一位置下的透镜的第一焦面位置捕获另一影像的子步骤。在另一实施中,将透镜的至少一部分移动到另一位置的步骤进一步包括在由目标光学性质的第一公差限制的至少一距离内将透镜的至少一部分移动到另外位置的子步骤。在另一实施中,将透镜的至少一部分移动到另一位置的步骤进一步包括移动中间透镜的子步骤。在另一实施中,将透镜的至少一部分移动到另一位置的步骤进一步包括使透镜变形从而透镜的至少一部分在另一位置的子步骤(例如,如若透镜204被以控制的方式侧向压缩可出现的,透镜204的一部分移动到另一位置,而光检测器102保持静止,例如有关图4和5所示和所描述的)。
现在参照图2、4和/或5,方法步骤306(图3)的一个具体示例为控制器208控制透镜系统200将透镜204定位在不同于第一位置的一位置,且此后指示影像捕获单元100从光检测器102捕获影像。图4显示和描述将透镜的至少一部分移在第一位置的前面(例如,如通过控制器208使透镜204向前移动,或引起透镜204压缩,从而透镜204的一部分相对于光检测器102的成像面向前移动)。图5显示和描述将透镜的至少一部分移动在第一位置的后面(例如,如通过控制器208使透镜向前移动,或引起透镜204压缩,从而透镜204的一部分相对于光检测器102的像面向后移动)。
再次参照图3,方法步骤308描述相对于第一次影像的至少一个离焦区的聚焦确定另一影像的至少一个区域的聚焦。在一实施中,方法步骤310包括计算另一影像的至少一个区域的至少一部分(例如,清晰或对焦影像产生通常具有相当高频率成分的突变)的傅里叶变换的子步骤。在一实施中,计算另一影像的至少一个区域的至少一部分(例如,清晰或对焦影像产生通常具有相当高频率成分的突变)的傅里叶变换的步骤包括,将第一次影像的至少一个区域与另一影像的至少一个区域映射(例如,将第一影像的离焦区映射到第二影像的相应区域)的子步骤。
再次参照图2、4和/或5,方法步骤302(图3)的一个具体示例为聚焦检测单元210对当透镜204在由控制器208指定的另一位置时由影像捕获单元206捕获的影像的至少一部分执行傅立叶变换和随后的分析。
再次参照图3,方法步骤310描述响应于相对第一次像的至少一个离焦区的聚焦具有更精确的聚焦的另一影像的至少一个区域来构造合成影像。在一实施中,响应于相对第一次像的至少一个离焦区的聚焦具有更精确的聚焦的另一影像的至少一个区域来构造合成影像的步骤包括,用另一影像的至少一个区域的至少一部分来代替第一次影像离焦区的至少一部分的子步骤。在另一实施中,响应于相对第一次像的至少一个离焦区的聚焦具有更精确的聚焦的另一影像的至少一个区域来构造合成影像的步骤包括,用另一影像的至少一个区域的至少一部分来代替第一次像的离焦区的至少一部分的子步骤。在另一实施中,响应于相对第一次像的至少一个离焦区的聚焦具有更精确的聚焦的另一影像的至少一个区域来构造合成影像的步骤包括,使用平铺影像处理技术、渐变影像处理技术、混合影像处理技术和缝合影像处理技术的至少一个的子步骤。
在另一实施中,响应于相对第一次像的至少一个离焦区的聚焦具有更精确的聚焦的另一影像的至少一个区域来构造合成影像的步骤包括下列子步骤:将第一次像的特征和另一影像的特征相关联;检测第一次像和另一影像中至少一个的尺寸失真、彩色失真和位移失真中的至少一个;校正所检测的第一次像和另一影像中至少一个的尺寸失真、彩色失真和位移失真中的至少一个;以及使用校正的失真来组合该合成影像。在另一实施中,响应于相对第一次像的至少一个离焦区的聚焦具有更精确的聚焦的另一影像的至少一个区域来构造合成影像的步骤包括,校正在第一次像和另一影像间的移动的子步骤。
再次参照图2、4和/或5,方法步骤302(图3)的一个具体示例为,通过用当透镜204在另一位置时由影像捕获单元206捕获的更精确对焦的人202的像的地方来代替在第一位置捕获的人202的像的那些部分,影像构造单元212来产生合成影像。在该示例的一实施中,影像构造单元212使用传统技术来校正影像间的移动,若上述校正是期望的话。在该示例的另一实施中,不使用移动校正。
再次参照图3,方法步骤312显示确定相对于方法步骤302的第一位置聚焦的总变化是否已超过了透镜的最大期望偏差。例如,即使用质量相对差的透镜,也一般上有制造上限,超过此上限,透镜缺陷是不期望的(例如,透镜具有制造标准,例如5mm+/-0.05mm的焦距)
再次参照图2、4和/或5,方法步骤312(图3)的一个具体示例为控制器208对比预存储的上限偏差值来比较在定义方向的总移动。在图4所示的示例的实施中,如果透镜204具有制造标准,例如5mm+/-0.05mm的焦距,那么控制器208确定透镜的向前的总移动相对于第一位置是否超过0.05mm。在图5所示的示例的一实施中,如果透镜204具有制造标准,例如5mm+/-0.05mm的焦距,那么控制器208确定透镜的向后的总移动相对于第一位置是否超过0.05mm。
再次参照图3,如果方法步骤312的调查确定聚焦的总变化已达到或超过透镜的最大期望偏差,那么过程进行到方法步骤314。方法步骤314示出存储和/或显示当前的合成影像(例如方法步骤310的)。方法步骤314的一个具体示例为存储/显示单元214存储或显示合成影像。
方法步骤316显示过程的结束。
返回到方法步骤312,显示出在未达到或超过透镜公差的上限的情况下,过程进行到方法步骤306且按在此所描述的继续。
现在参照图4,图示出图2的系统的侧视平面图,其中根据有关图3所示和所描述的过程的方面已移动了透镜204。示出透镜系统200的透镜204已移动到第一位置的前面的另一位置,其引起有关图1和2所示和所描述的影像100的五个不同部分。具体地讲,示出透镜系统200的透镜204被改变位置,使得影像100的第五部分108是正确的尺寸,且聚焦在光检测器阵列102的成像面上(例如,如有关方法步骤306所示和所述的)。在一实施中,影像100的第五部分108可与先前捕获的对焦且正确尺寸的部分106(例如图1和2)相结合以产生合成影像,从而减轻了与关于图1和2所示和所述的第五部分108有关的缺陷(例如,如有关方法步骤310所示和所述的)。图4的各部分的其余的部件和控制方面按在此别处所描述的起作用。
现在参照图5,示出了图2的系统的另一侧视平面图,其中根据有关图3所示和所描述的过程的方面已移动了透镜204。示出透镜系统200的透镜204已移动到第一位置的后面的另一位置,其引起有关图1所示和所描述的影像100的五个不同部分。具体地讲,示出透镜系统200的透镜204被定位,使得影像100的第一部分104是正确的尺寸,且聚焦在光检测器阵列102的成像面上(例如,如有关方法步骤306所示和所述的)。在一实施中,影像100的第一部分104可与先前捕获的对焦且正确尺寸的部分106、108(例如图1、2和4)相结合以产生合成影像,从而减轻了与关于图1和2所示和所述的第一部分104有关的缺陷(例如,如有关方法步骤310所示和所述的)。图5的各部分的其余的部件和控制方面按在此别处所描述的起作用。
本领域的技术人员应该认识到,技术状态已进步到系统方面的硬件和软件实施间几乎没有留下区别;硬件或软件的使用一般上(但并不总是,这是因为在某些背景下,硬件和软件的选择可能是重要的)是表示成本对效率权衡的设计选择。本领域的技术人员应该理解,存在多种媒介(vehicle)(例如硬件、软件和/或固件),通过其可实现在此所述的过程和/或系统,且优选的媒介随着过程被使用的背景而改变。例如,如果实施者确定速度和准确度是最重要的,那么该实施者可选择硬件和/或固件媒介;可选地,如果灵活性(flexibility)是最重要的,那么该实施者可选择单独的软件实施;或仍再次可选地,实施者可选择硬件、软件和/或固件的某一组合。因此,存在若干可能的媒介,通过其可实现在此所述的过程,其中没有一个固有地优于另一个,这是因为任何要使用的媒介是依赖于媒介被使用的背景和实施者的特殊关注(例如速度、灵活性或可预测性)的选择,而其中的任何一个可改变。本领域的技术人员应该认识到,实施的光学方面需要光学定向的硬件、软件和或固件。
前述的详细描述已同归使用方框图、流程图和示例陈述了设备和/或过程的多种实施例。在上述方框图、流程图和示例包括一个或更多功能和/或操作的情况下,本领域内的那些人众所周知应该理解的是,可个别地和/或共同地通过许多硬件、软件、固件或实际上任何其组合来实施在上述方框图、流程图或示例内的每一功能和/或操作。在一实施例中,可通过特定用途集成电路(ASICs)、现场可编程门阵列(FPGA)或其它的集成形式来实施本发明。然而,本领域的技术人员应该认识到,在此公开的实施例完全或部分地可在标准集成电路,如在一个或更多计算机上运行的一个或更多的计算机程序(例如,如在一个或更多计算机系统上运行的一个或更多程序)、如在一个或更多处理器上运行的一个或更多程序(例如,如在一个或更多微处理器上运行的一个或更多程序)、如固件或如实际上任何其组合,来同等地实施,和根据此公开,设计电路和/或写用于软件和或固件的代码会充分落在本领域的技术人员的技术范围内。另外,本领域的技术人员应该理解,本发明的机制能够发布成多种形成的程序产品,且本发明的示例性实施例同等应用,而与用于实际执行该发布的特定类型的携带信号的介质无关。携带信号的介质的示例包括但并不局限于下列:可记录类型的介质,例如软盘、硬盘驱动、CD ROM、数字磁带和计算机存储器;和传输类型的介质,例如使用基于TDM或IP通信链路的数字和模拟通信链路(例如,数据包通信链路)。
通常,本领域的技术人员应该认识到,可个别地和/或共同地通过具有许多电部件例如硬件、软件、固件或实际上任何其组合,和可给予机械力或运动的许多部件例如刚体、弹性体或扭力体、液压传动装置或电磁驱动设备或实际上任何其组合的多种机电系统来实施在此描述的多种实施例。因此,在此所使用的“机电系统”包括但并不局限于可与变换器(transducer)(例如,传动装置、电动机、压电晶体等)联结操作的电路、具有至少一个分立电路的电路、具有至少一个集成电路的电路、具有至少一个特定用途集成电路的电路、形成由计算机程序配置的通用计算设备(例如,由计算机程序配置的通用计算机,其至少部分执行在此所描述的过程和/或设备;或由计算机程序配置的微处理器,其至少部分执行在此所描述的过程和/或设备)的电路、形成存储器设备(例如随机存取存储器形式)的电路、形成通信设备(例如、调制解调器、通信交换机或光电装置)的电路、和此外任何非电类似物,例如光学或其它类似物。本领域的技术人员还应该理解,机电系统的例子包括但并不局限于多种消费电子系统、以及其它系统例如机动运输系统、工厂自动化系统、安全系统和通信/计算系统。本领域的技术人员应该认识到,在此所使用的机电除了上下文另外指示的外并不必局限于具有电和机械传动的系统。
本领域的技术人员应该认识到,以在此所陈述的方式描述设备和/或过程,以及其后使用标准工程实践来将所述设备和/或过程集成到影像处理系统,其在该领域内是普遍的。即,通过适当量的实验在此所述的设备和/或过程的至少一部分可集成到影像处理系统。本领域的技术人员应该认识到,典型的影像处理系统一般包括一个或更多系统单元框架(systemunit housing)、视频显示设备、存储器例如易失性存储器和非易失性存储器、处理器例如微处理器和数字信号处理器、计算实体例如操作系统、驱动器和应用程序、一个或更多交互设备例如触控板或触摸屏、控制系统包括反馈回路和控制电动机(例如,用于检测透镜位置和/或速度的反馈;用于使透镜移动/变形以提供期望的聚焦的控制电动机)。可使用任何合适的商业可用的部件,例如一般在数字静止系统和/或数字运动系统中所存在的部件来实施典型的影像处理系统。
前述的实施例描述了不同的部件,其包括在不同的其它部件内或与其连接。应该理解,所述结构仅是示例性的,且事实上,可实施许多其它的结构(architecture),其实现相同的功能。在概念上,实现相同功能的部件的任何安排都是有效“关联”的,从而实现期望的功能。因此,不考虑结构或中间部件,组合以实现特定功能的在此的任何两部件可视为彼此“关联”的,从而实现期望的功能。同样,这样关联的任何两部件也可视为彼此“可操作连接”或“可操作联结”的,以实现期望的功能。
尽管已示出和描述了本发明的具体实施例,然而本领域的技术人员应该理解,根据在此的教导,在不脱离本发明和其较广泛的方面的情况下,可进行改变和修改,且因此所附权利要求包括在其范围内,所有的上述改变和修改都落在本发明的基本的精神和范围内。此外,应该理解,本发明仅由所附权利要求定义。本领域的那些人员应该理解,一般上,在此且特别是在所附权利要求(例如,所附权利要求的主要部分)中所使用的术语一般表示“开放性”术语(例如,术语“包括(including)”应解释为“包括但不局限于”,术语“具有”应解释为“至少具有”,术语“包含(include)”应解释为“包含但不局限于”,“包括(comprise)”及其变型例如“包括(comprises)”和“包括(comprising)”以开放性、包括性解释,即解释为“包括但不局限于”等等。)。进一步本领域的那些人员应该理解,如果想要特定数量的介绍性的权利要求列举,那么这样的意图要明确地列举在权利要求中,且在没有这样的列举的情况下,不表示会存在这样的意图。例如,为帮助理解,下列的权利要求可包括使用介绍性用语“至少一个”和“一个或更多”来介绍权利要求列举。然而,即使当同样的权利要求包括介绍性用语“一个或更多”或“至少一个”和不定冠词“一(a)”或“一(an)”(例如“一(a)和/或“一(an)”一般应解释成表示“至少一个”或“一个或更多”)时,使用这样的用语也不应被解释为意指,通过不定冠词“一(a)”或“一(an)”权利要求列举的介绍将包括这样介绍的权利要求列举的任何特定权利要求限制为包括仅一个这样的列举的发明;同样地也适用于介绍权利要求列举的定冠词的使用。另外,即使明确列举了特定数量的介绍的权利要求列举,然而本领域的技术人员应该认识到,这样的列举一般应解释为表示至少所列举的数量(例如,没有其它的修饰语,“两列举”的无限定的列举一般表示至少两个列举,或两或更多的列举)。
Claims (38)
1.一种方法,其包括:
当透镜在第一位置的情况下捕获第一次像,所述透镜具有超过目标光学性质的第一公差的至少一个偏差;
当所述透镜在另一位置的情况下捕获另一影像,其中当所述透镜在另一位置的情况下捕获另一影像的所述步骤进一步包括:将所述透镜的至少一部分移动至由所述目标光学性质的所述第一公差所限制的至少一个距离内的所述另一位置;
确定所述第一次像的至少一个离焦区;
相对于所述第一次像的所述至少一个离焦区的聚焦来确定所述另一影像的至少一个区域的聚焦;以及
响应于所述另一影像的所述至少一个区域,来构造合成影像,其中所述另一影像的所述至少一个区域相对所述第一次像的所述至少一个离焦区的所述聚焦具有更精确聚焦。
2.如权利要求1所述的方法,其中所述具有超过目标光学性质的第一公差的至少一个偏差的透镜进一步包括:
透镜,其具有超过定义的焦距的第一公差的至少一个焦距。
3.如权利要求1所述的方法,其中所述具有超过目标光学性质的第一公差的至少一个偏差的透镜进一步包括:
透镜,其具有超过定义的球面像差的第一公差的至少一个球面像差。
4.如权利要求1所述的方法,其中所述具有超过目标光学性质的第一公差的至少一个偏差的透镜进一步包括:
透镜,其具有超过定义的柱面像差的第一公差的至少一个柱面像差。
5.如权利要求1所述的方法,其中所述当透镜在第一位置的情况下捕获第一次像,所述透镜具有超过目标光学性质的第一公差的至少一个偏差的步骤进一步包括下列步骤:
在所述透镜的第一焦面位置捕获所述第一次像。
6.如权利要求5所述的方法,其中所述在所述透镜的第一焦面位置捕获所述第一次像的步骤进一步包括下列步骤:
在所述透镜的所述第一焦面位置用光检测器阵列捕获所述第一次像。
7.如权利要求1所述的方法,其中所述当所述透镜在另一位置的情况下捕获另一影像的步骤进一步包括下列步骤:
在所述第一位置下的所述透镜的第一焦面位置捕获所述另一影像。
8.如权利要求7所述的方法,其中所述在所述第一位置下的所述透镜的第一焦面位置捕获所述另一影像的步骤进一步包括下列步骤:
在所述第一位置下的所述透镜的所述第一焦面位置用光检测器阵列捕获所述另一影像。
9.如权利要求8所述的方法,其中所述将所述透镜的至少一部分移动到所述另一位置的步骤进一步包括下列步骤:
使所述透镜变形,从而所述透镜的所述至少一部分在所述另一位置。
10.如权利要求1所述的方法,其中所述确定所述第一次像的至少一个离焦区的步骤进一步包括下列步骤:
计算所述第一次像的至少一部分的傅立叶变换。
11.如权利要求1所述的方法,其中所述相对于所述第一次像的所述至少一个离焦区的聚焦来确定所述另一影像的至少一个区域的聚焦的步骤进一步包括下列步骤:
计算所述另一影像的所述至少一个区域的至少一部分的傅立叶变换。
12.如权利要求11所述的方法,其中所述计算所述另一影像的所述至少一个区域的至少一部分的傅立叶变换的步骤进一步包括下列步骤:
将所述第一次像的至少一个区域与所述另一影像的至少一个区域映射。
13.如权利要求1所述的方法,其中所述响应于相对所述第一次像的所述至少一个离焦区的所述聚焦具有更精确聚焦的所述另一影像的所述至少一个区域,来构造合成影像的步骤进一步包括下列步骤:
用所述另一影像的所述至少一个区域的至少一部分来代替所述第一次像的所述离焦区的至少一部分。
14.如权利要求13所述的方法,其中所述用所述另一影像的所述至少一个区域的至少一部分来代替所述第一次像的所述离焦区的至少一部分的步骤进一步包括下列步骤:
使用平铺影像处理技术、渐变影像处理技术、混合影像处理技术和缝合影像处理技术的至少一个。
15.如权利要求1所述的方法,其中所述响应于相对所述第一次像的所述至少一个离焦区的所述聚焦具有更精确聚焦的所述另一影像的所述至少一个区域,来构造合成影像的步骤进一步包括下列步骤:
将所述第一次像的特征与所述另一影像的特征相关;
检测所述第一次像和所述另一影像的至少一个的尺寸、彩色和位移失真的至少一个;
校正所检测的所述第一次像和所述另一影像的至少一个的尺寸、彩色和位移失真的至少一个;以及
使用所校正的失真来组合所述合成影像。
16.如权利要求1所述的方法,其中所述响应于相对所述第一次像的所述至少一个离焦区的所述聚焦具有更精确聚焦的所述另一影像的所述至少一个区域,来构造合成影像的步骤进一步包括下列步骤:
校正在所述第一次像和所述另一影像间的移动。
17.一种系统,其包括:
透镜,其具有超过目标光学性质的第一公差的至少一个偏差;
用于当透镜在第一位置的情况下捕获第一次像的装置;
用于当所述透镜在另一位置的情况下捕获另一影像的装置,所述用于当所述透镜在另一位置的情况下捕获另一影像的装置进一步包括:用于将所述透镜的至少一部分移动到由所述目标光学性质的所述第一公差所限制的至少一个距离内的所述另一位置的装置;
用于确定所述第一次像的至少一个离焦区的装置;
用于相对于所述第一次像的所述至少一个离焦区的聚焦来确定所述另一影像的至少一个区域的聚焦的装置;以及
用于响应于所述另一影像的所述至少一个区域来构造合成影像的装置,其中所述另一影像的所述至少一个区域相对所述第一次像的所述至少一个离焦区的所述聚焦具有更精确聚焦。
18.如权利要求17所述的系统,其中所述具有超过目标光学性质的第一公差的至少一个偏差的透镜进一步包括:
透镜,其具有超过定义的焦距的第一公差的至少一个焦距。
19.如权利要求17所述的系统,其中所述具有超过目标光学性质的第一公差的至少一个偏差的透镜进一步包括:
透镜,其具有超过定义的球面像差的第一公差的至少一个球面像差。
20.如权利要求17所述的系统,其中所述具有超过目标光学性质的第一公差的至少一个偏差的透镜进一步包括:
透镜,其具有超过定义的柱面像差的第一公差的至少一个柱面像差。
21.如权利要求17所述的系统,其中所述用于当透镜在第一位置的情况下捕获第一次像的装置进一步包括:
用于在所述透镜的第一焦面位置捕获所述第一次像的装置。
22.如权利要求21所述的系统,其中所述用于在所述透镜的第一焦面位置捕获所述第一次像的装置进一步包括:
用于在所述透镜的所述第一焦面位置用光检测器阵列捕获所述第一次像的装置。
23.如权利要求17所述的系统,其中所述用于当所述透镜在另一位置的情况下捕获另一影像的装置进一步包括:
用于在所述第一位置下的所述透镜的第一焦面位置捕获所述另一影像的装置。
24.如权利要求23所述的系统,其中所述用于在所述第一位置下的所述透镜的第一焦面位置捕获所述另一影像的装置进一步包括:
在所述第一位置下的所述透镜的所述第一焦面位置用光检测器阵列捕获所述另一影像。
25.如权利要求24所述的系统,其中所述用于将所述透镜的至少一部分移动到所述另一位置的装置进一步包括:
用于使所述透镜变形,从而所述透镜的所述至少一部分在所述另一位置的装置。
26.如权利要求17所述的系统,其中所述用于确定所述第一次像的至少一个离焦区的装置进一步包括:
用于计算所述第一次像的至少一部分的傅立叶变换的装置。
27.如权利要求17所述的系统,其中所述用于相对于所述第一次像的所述至少一个离焦区的聚焦来确定所述另一影像的至少一个区域的聚焦的装置进一步包括:
用于计算所述另一影像的所述至少一个区域的至少一部分的傅立叶变换的装置。
28.如权利要求27所述的系统,其中所述用于计算所述另一影像的所述至少一个区域的至少一部分的傅立叶变换的装置进一步包括:
用于将所述第一次像的至少一个区域与所述另一影像的至少一个区域映射的装置。
29.如权利要求17所述的系统,其中所述用于响应于相对所述第一次像的所述至少一个离焦区的所述聚焦具有更精确聚焦的所述另一影像的所述至少一个区域来构造合成影像的装置进一步包括:
用于用所述另一影像的所述至少一个区域的至少一部分来代替所述第一次像的所述离焦区的至少一部分的装置。
30.如权利要求29所述的系统,其中所述用于用所述另一影像的所述至少一个区域的至少一部分来代替所述第一次像的所述离焦区的至少一部分的装置进一步包括:
用于使用平铺影像处理技术、渐变影像处理技术、混合影像处理技术和缝合影像处理技术的至少一个的装置。
31.如权利要求17所述的系统,其中所述用于响应于相对所述第一次像的所述至少一个离焦区的所述聚焦具有更精确聚焦的所述另一影像的所述至少一个区域来构造合成影像的装置进一步包括:
用于将所述第一次像的特征与所述另一影像的特征相关的装置;
用于检测所述第一次像和所述另一影像的至少一个的尺寸、彩色和位移失真的至少一个的装置;
用于校正所检测的所述第一次像和所述另一影像的至少一个的尺寸、彩色和位移失真的至少一个的装置;以及
用于使用所校正的失真来组合所述合成影像的装置。
32.如权利要求17所述的系统,其中所述用于响应于相对所述第一次像的所述至少一个离焦区的所述聚焦具有更精确聚焦的所述另一影像的所述至少一个区域来构造合成影像的装置进一步包括:
用于校正在所述第一次像和所述另一影像间的移动的装置。
33.一种系统,其包括:
光检测器阵列;
透镜,其具有超过目标光学性质的第一公差的至少一个偏差;
控制器,配置其以相对于所述光检测器阵列将所述透镜定位在第一位置和另一位置,且在所述第一位置和所述另一位置导致影像捕获信号,其中所述另一位置相对于所述第一位置在由所述目标光学性质的所述第一公差所限制的至少一个距离内;
影像构造单元,配置其以用在所述另一位置所捕获的另一影像的更清晰的对焦区来构造在所述第一位置所捕获的第一影像的至少一个离焦区。
34.如权利要求33所述的系统,其中,所述被配置以相对于所述光检测器阵列将所述透镜定位在第一位置和另一位置,且在所述第一位置和所述另一位置导致影像捕获信号的控制器进一步包括:
变换器系统,其具有与所述控制器可操作联结的控制信号输入,和与所述透镜可操作联结的移动输出。
35.如权利要求34所述的系统,其中所述变换器系统进一步包括可操作联结的以使所述透镜移动的电动机。
36.如权利要求34所述的系统,其中所述变换器系统进一步包括可操作联结的以使所述透镜变形的电动机。
37.如权利要求33所述的系统,其中所述被配置以用在所述另一位置所捕获的另一影像的更清晰的对焦区来构造在所述第一位置所捕获的第一影像的至少一个离焦区的影像构造单元进一步包括:
用于用在所述另一位置所捕获的另一影像的更清晰的对焦区来构造在所述第一位置所捕获的第一影像的至少一个离焦区的电路,所述电路包括具有至少一个分立电路的电路、具有至少一个集成电路的电路、具有至少一个特定用途集成电路的电路、具有由计算机程序配置的通用计算设备的电路、具有存储器设备的电路以及具有通信设备的电路的至少一个。
38.一种系统,其包括:
透镜,其具有超过目标光学性质的第一公差的至少一个偏差;
配置以当透镜在第一位置的情况下捕获第一次像的机电系统的第一部分,所述机电系统的所述第一部分包括与变换器可操作联结的电路、具有至少一个分立电路的电路、具有至少一个集成电路的电路、具有至少一个特定用途集成电路的电路、具有由计算机程序配置的通用计算设备的电路、具有存储器设备的电路以及具有通信设备的电路的至少一个;
配置以当所述透镜在另一位置的情况下捕获另一影像的机电系统的第二部分,其中所述另一位置相对于所述第一位置在由所述目标光学性质的所述第一公差所限制的至少一个距离内,所述机电系统的所述第二部分包括与变换器可操作联结的电路、具有至少一个分立电路的电路、具有至少一个集成电路的电路、具有至少一个特定用途集成电路的电路、具有由计算机程序配置的通用计算设备的电路、具有存储器设备的电路以及具有通信设备的电路的至少一个;
配置以确定所述第一次像的至少一个离焦区的机电系统的第三部分,所述机电系统的所述第三部分包括与变换器可操作联结的电路、具有至少一个分立电路的电路、具有至少一个集成电路的电路、具有至少一个特定用途集成电路的电路、具有由计算机程序配置的通用计算设备的电路、具有存储器设备的电路以及具有通信设备的电路的至少一个;
配置以相对于所述第一次像的所述至少一个离焦区的聚焦来确定所述另一影像的至少一个区域的聚焦的所述机电系统的第四部分,所述机电系统的所述第四部分包括与变换器可操作联结的电路、具有至少一个分立电路的电路、具有至少一个集成电路的电路、具有至少一个特定用途集成电路的电路、具有由计算机程序配置的通用计算设备的电路、具有存储器设备的电路以及具有通信设备的电路的至少一个;以及
配置以响应于相对所述第一次像的所述至少一个离焦区的聚焦具有更精确聚焦的所述另一影像的所述至少一个区域来构造合成影像的所述机电系统的第五部分,所述机电系统的所述第五部分包括与变换器可操作联结的电路、具有至少一个分立电路的电路、具有至少一个集成电路的电路、具有至少一个特定用途集成电路的电路、具有由计算机程序配置的通用计算设备的电路、具有存储器设备的电路以及具有通信设备的电路的至少一个。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/738,626 US7231097B2 (en) | 2003-12-16 | 2003-12-16 | Lens defect correction |
US10/738,626 | 2003-12-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1942802A CN1942802A (zh) | 2007-04-04 |
CN100504489C true CN100504489C (zh) | 2009-06-24 |
Family
ID=34654243
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2004800402714A Expired - Fee Related CN100504489C (zh) | 2003-12-16 | 2004-12-08 | 透镜缺陷校正 |
Country Status (5)
Country | Link |
---|---|
US (2) | US7231097B2 (zh) |
JP (1) | JP2007514248A (zh) |
CN (1) | CN100504489C (zh) |
DE (1) | DE112004002476T5 (zh) |
WO (1) | WO2005060600A2 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200822691A (en) * | 2006-11-01 | 2008-05-16 | Altek Corp | Aberration compensation system of digital camera |
US8897595B2 (en) | 2008-03-26 | 2014-11-25 | Ricoh Co., Ltd. | Adaptive image acquisition for multiframe reconstruction |
US9866826B2 (en) | 2014-11-25 | 2018-01-09 | Ricoh Company, Ltd. | Content-adaptive multi-focal display |
US9865043B2 (en) | 2008-03-26 | 2018-01-09 | Ricoh Company, Ltd. | Adaptive image acquisition and display using multi-focal display |
JP5528139B2 (ja) * | 2010-02-02 | 2014-06-25 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
JP5818514B2 (ja) * | 2011-05-27 | 2015-11-18 | キヤノン株式会社 | 画像処理装置および画像処理方法、プログラム |
US9864205B2 (en) | 2014-11-25 | 2018-01-09 | Ricoh Company, Ltd. | Multifocal display |
CA3002902C (en) | 2015-12-18 | 2023-05-09 | Ventana Medical Systems, Inc. | Systems and methods of unmixing images with varying acquisition properties |
CN112308832B (zh) * | 2020-10-29 | 2022-07-22 | 常熟理工学院 | 一种基于机器视觉的轴承质量检测方法 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE2655525C3 (de) * | 1976-12-08 | 1979-05-03 | Ernst Leitz Wetzlar Gmbh, 6300 Lahn- Wetzlar | Verfahren zur Erweiterung des Schärfentiefebereiches fiber die durch die konventionelle Abbildung gegebene Grenze hinaus sowie Einrichtung zur Durchführung dieses Verfahrens |
GB1603033A (en) * | 1977-04-13 | 1981-11-18 | Jones N K | Method of and means for scanning images |
US4584704A (en) * | 1984-03-01 | 1986-04-22 | Bran Ferren | Spatial imaging system |
JPH06311411A (ja) * | 1993-03-15 | 1994-11-04 | Toshiba Corp | 画像処理装置 |
GB9314402D0 (en) | 1993-07-12 | 1993-08-25 | Philips Electronics Uk Ltd | An imaging device |
US5943050A (en) * | 1994-04-07 | 1999-08-24 | International Business Machines Corporation | Digital image capture control |
JPH08237407A (ja) * | 1994-12-09 | 1996-09-13 | Xerox Corp | 画像タイルの相対的なアラインメントを見当合わせすると共に透視歪みを修正するための方法 |
US5751863A (en) * | 1996-06-18 | 1998-05-12 | Hewlett Packard Company | Method and system having relaxed front end distortion requirements |
JPH1070639A (ja) * | 1996-06-19 | 1998-03-10 | Asahi Optical Co Ltd | 走査型画像読み取り装置 |
US5805348A (en) * | 1996-08-12 | 1998-09-08 | Eastman Kodak Company | Lens system with reduced sensitivities and a method of manufacturing |
JPH10290389A (ja) * | 1997-04-16 | 1998-10-27 | Toyota Motor Corp | マルチフォーカス画像作成方法及び画像作成装置 |
DE19746575A1 (de) | 1997-10-22 | 1999-04-29 | Zeiss Carl Fa | Optische Bildaufnahmeeinrichtung und Verfahren zu deren Nutzung |
JP4136044B2 (ja) * | 1997-12-24 | 2008-08-20 | オリンパス株式会社 | 画像処理装置及びその画像処理方法 |
JP4097761B2 (ja) * | 1998-03-02 | 2008-06-11 | オリンパス株式会社 | 自動焦点顕微鏡及び自動合焦検出装置 |
JP3956584B2 (ja) * | 2000-06-02 | 2007-08-08 | 株式会社日立製作所 | 全焦点画像合成方法及び装置 |
US20030098352A1 (en) | 2000-11-24 | 2003-05-29 | Metrologic Instruments, Inc. | Handheld imaging device employing planar light illumination and linear imaging with image-based velocity detection and aspect ratio compensation |
US20020114077A1 (en) * | 2001-01-23 | 2002-08-22 | Bahram Javidi | Integral three-dimensional imaging with digital reconstruction |
JP2002351439A (ja) * | 2001-05-25 | 2002-12-06 | Fuji Photo Film Co Ltd | オン・スクリーン機能付きディジタル・カメラおよびその動作制御方法 |
US7184087B2 (en) * | 2001-05-22 | 2007-02-27 | Fuji Photo Film Co., Ltd. | On-screen device for subject of interest in portable electronic device, and method of controlling same |
US7058233B2 (en) * | 2001-05-30 | 2006-06-06 | Mitutoyo Corporation | Systems and methods for constructing an image having an extended depth of field |
US7046401B2 (en) * | 2001-06-01 | 2006-05-16 | Hewlett-Packard Development Company, L.P. | Camera-based document scanning system using multiple-pass mosaicking |
US6595642B2 (en) | 2001-08-31 | 2003-07-22 | Adaptive Optics Associates, Inc. | Ophthalmic instrument having Hartmann wavefront sensor with extended source |
US7068306B2 (en) * | 2002-01-02 | 2006-06-27 | Hewlett-Packard Development Company, L.P. | Proxy-based remote control method and system for a digital camera |
US7012757B2 (en) * | 2002-05-08 | 2006-03-14 | Be Here Corporation | Method for designing a lens system and resulting apparatus |
GB0216641D0 (en) * | 2002-07-18 | 2002-08-28 | Univ Nottingham | Image analysis method, apparatus and software |
US7308158B2 (en) * | 2003-06-20 | 2007-12-11 | Eastman Kodak Company | Imaging method and system |
US7251078B2 (en) * | 2004-01-21 | 2007-07-31 | Searete, Llc | Image correction using a microlens array as a unit |
US6967780B2 (en) * | 2004-01-21 | 2005-11-22 | Searete Llc | Image correction using individual manipulation of microlenses in a microlens array |
-
2003
- 2003-12-16 US US10/738,626 patent/US7231097B2/en active Active
-
2004
- 2004-12-08 JP JP2006545737A patent/JP2007514248A/ja active Pending
- 2004-12-08 DE DE112004002476T patent/DE112004002476T5/de not_active Withdrawn
- 2004-12-08 CN CNB2004800402714A patent/CN100504489C/zh not_active Expired - Fee Related
- 2004-12-08 WO PCT/US2004/041038 patent/WO2005060600A2/en active Application Filing
-
2007
- 2007-05-15 US US11/804,314 patent/US20070280550A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
DE112004002476T5 (de) | 2006-10-26 |
US20070280550A1 (en) | 2007-12-06 |
US7231097B2 (en) | 2007-06-12 |
CN1942802A (zh) | 2007-04-04 |
JP2007514248A (ja) | 2007-05-31 |
WO2005060600A3 (en) | 2006-11-02 |
US20050129327A1 (en) | 2005-06-16 |
WO2005060600A2 (en) | 2005-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100504489C (zh) | 透镜缺陷校正 | |
US10303909B2 (en) | Add-on device with configurable optics for an image scanner for scanning barcodes | |
KR101617069B1 (ko) | 이미지 관리 시스템, 장치 및 방법 | |
US11689809B2 (en) | Reflection module capable of image stabilization, camera module and electronic device | |
US8374383B2 (en) | Systems, devices, and/or methods for managing images | |
CN208174838U (zh) | 相机模块及相机模块的感测单元 | |
WO2020036157A1 (en) | Lens driving device, camera module, and camera-mounted device | |
EP2194415A2 (en) | Imaging system for microscope and microscope system | |
US10268859B2 (en) | Three dimensional aimer for barcode scanning | |
EP1746816A1 (en) | Movement decision method for acquiring sub-pixel motion image appropriate for super resolution processing and imaging device using the same | |
CN101480041A (zh) | 用于全景照相机系统的参数校准 | |
EP1596337A2 (en) | Image processing apparatus | |
CN101132485A (zh) | 摄像装置和摄像方法 | |
CN215449772U (zh) | 光学系统 | |
CN105657274A (zh) | 控制方法、控制装置及电子装置 | |
CN107180210A (zh) | 用于使用子像素移位来产生高分辨率图像的成像设备和使用所述成像设备的方法 | |
CN105704378A (zh) | 控制方法、控制装置及电子装置 | |
EP1159670B1 (de) | Eingabe-/ausgabevorrichtung für ein benutzerendgerät | |
JP2003338232A (ja) | スイッチ入力装置 | |
JP7381638B2 (ja) | フォーカシング方法、電子機器および可読記憶媒体 | |
US10754123B2 (en) | Flex member actuator | |
US10747975B2 (en) | Methods for changing a configuration of a device for reading machine-readable code | |
Campos Zamora et al. | MoiréWidgets: High-Precision, Passive Tangible Interfaces via Moiré Effect | |
WO2022263259A1 (en) | Optical imaging devices incorporating a metalens to facilitate zooming operations | |
KR20230082771A (ko) | 카메라 모듈 평가 장치 및 그것의 동작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C56 | Change in the name or address of the patentee |
Owner name: INVENTION SCIENCE FUND LLC Free format text: FORMER NAME: XIERLAITE CO., LTD. |
|
CP03 | Change of name, title or address |
Address after: Washington State Patentee after: Searete LLC Address before: Washington, USA Patentee before: Searete LLC A. Ltd Liability Co. |
|
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090624 Termination date: 20171208 |