CN107430762B - 数字变焦方法及系统 - Google Patents
数字变焦方法及系统 Download PDFInfo
- Publication number
- CN107430762B CN107430762B CN201680008215.5A CN201680008215A CN107430762B CN 107430762 B CN107430762 B CN 107430762B CN 201680008215 A CN201680008215 A CN 201680008215A CN 107430762 B CN107430762 B CN 107430762B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- delta
- pixels
- upscaled
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000008859 change Effects 0.000 claims description 26
- 125000001475 halogen functional group Chemical group 0.000 claims description 24
- 238000003384 imaging method Methods 0.000 claims description 14
- 230000009467 reduction Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 230000015654 memory Effects 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 description 31
- 239000003086 colorant Substances 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 12
- 230000001629 suppression Effects 0.000 description 10
- 230000007704 transition Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 238000001914 filtration Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000003936 working memory Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
在一些状况下,常规数字变焦技术可导致低质量图像。揭示用于改进由数字变焦产生的图像的质量的系统及方法。例如,在一些实施例中,利用其中图像同时通过锐化器及2D定向升频器的并行结构。接着对所述经锐化图像执行升频操作。将所述经升频的经锐化图像加总到所述2D定向升频器的输出以产生经增强图像。
Description
技术领域
本申请案大体来说涉及图像处理,且更具体来说涉及用于增强数字变焦的方法及系统。
背景技术
成像系统(例如,相机)的变焦特征允许系统从场景的长镜头流畅地改变到特写镜头,且反之亦然。换句话说,变焦减少及/或缩小数字图片或视频的表观角视图。
相机通常存在两种变焦类型。一种变焦类型为光学变焦。光学变焦可使用真实变焦透镜及/或主要远距透镜。由于这些透镜允许相机物理聚焦于目标上,光学变焦可产生经变焦图像而不损失图像质量。数字变焦允许相机变焦而非必须物理聚焦透镜。所述技术使用图像处理来放大原始图像的部分。
现有数字变焦技术的一个挑战为其产生低质量图像。在一些状况下,这些技术致使图像具有锯齿边缘、模糊细节、过渡平滑边缘、图像伪影及/或褪色外观。因此,由于当前数字变焦技术的缺陷,因此需要用于数字变焦的更高效系统及方法。
发明内容
在一些状况下,现有数字变焦技术产生低质量图像。本申请案涉及用于增强由数字变焦产生的图像的质量的系统及方法。
因此,一个方面涉及成像系统,其包括:图像升频模块,其经配置以接收包括具有对应像素值(其贯穿本发明还可称作“像素颜色”)的多个像素的输入图像,及通过将输入图像放大到经定义大小且在所述输入图像的每一像素之间内插经定义数目个像素来产生经升频的输出图像;锐化模块,其经配置以通过增大所述输入图像的所述像素的像素值的差来产生经锐化图像;锐化升频模块,其经配置以:通过将所述经锐化图像放大到所述经定义大小且在所述经锐化图像的每一像素之间内插所述经定义数目个像素来升频所述经锐化图像;产生第一增量图像,所述第一增量图像的每一像素对应于所述经升频的输出图像的每一像素,且所述第一增量图像的每一像素包括至少基于所述经升频的经锐化图像以及第一增益因数的像素值的第一改变;产生第二增量图像,所述第二增量图像的每一像素对应于所述经升频的输出图像的每一像素,且所述第二增量图像的每一像素包括至少基于所述经升频的经锐化图像以及第二增益因数的像素值的第二改变;以及产生第三增量图像,所述第三增量图像的每一像素对应于所述经升频的输出图像的每一像素,且所述第三增量图像的每一像素包括至少基于所述第一增量图像以及所述第二增量图像的像素值的第三改变;以及处理模块,其经配置以基于加总所述经升频的图像及所述第三增量图像的所述对应像素的所述像素值而产生经增强图像。
另一方面涉及成像方法,其包括:接收包括多个像素的图像,其中每一像素具有对应像素值;通过将所述图像放大到经定义大小且在所述图像的每一像素之间内插经定义数目个像素来产生经升频的输出图像;通过增大所述图像的所述像素的像素值的差来产生经锐化图像;通过将所述经锐化图像放大到所述经定义大小且在所述经锐化图像的每一像素之间内插所述经定义数目个像素来升频所述经锐化图像;产生第一增量图像,其中所述第一增量图像的每一像素对应于所述经升频的输出图像的每一像素,且所述第一增量图像的每一像素包括至少基于所述经升频的经锐化图像以及第一增益因数的像素值的第一改变;产生第二增量图像,其中所述第二增量图像的每一像素对应于所述经升频的输出图像的每一像素,且所述第二增量图像的每一像素包括至少基于所述经升频的经锐化图像以及第二增益因数的像素值的第二改变;产生第三增量图像,其中所述第三增量图像的每一像素对应于所述经升频的输出图像的每一像素,且所述第三增量图像的每一像素包括至少基于所述第一增量图像以及所述第二增量图像的像素值的第三改变;以及基于加总所述经升频的图像及所述第三增量图像的所述对应像素的所述像素值而产生经增强图像。
另一方面涉及成像系统,包括:用于接收包括多个像素的图像的装置,其中每一像素具有对应像素值;用于通过将所述图像放大到经定义大小且在所述图像的每一像素之间内插经定义数目个像素来产生经升频的输出图像的装置;用于通过增大所述图像的所述像素的像素值的差来产生经锐化图像的装置;用于通过将所述经锐化图像放大到所述经定义大小且在所述经锐化图像的每一像素之间内插所述经定义数目个像素来升频所述经锐化图像的装置;用于产生第一增量图像的装置,其中所述第一增量图像的每一像素对应于所述经升频的输出图像的每一像素,且所述第一增量图像的每一像素包括至少基于所述经升频的经锐化图像以及第一增益因数的像素值的第一改变;用于产生第二增量图像的装置,其中所述第二增量图像的每一像素对应于所述经升频的输出图像的每一像素,且所述第二增量图像的每一像素包括至少基于所述经升频的经锐化图像以及第二增益因数的像素值的第二改变;用于产生第三增量图像的装置,其中所述第三增量图像的每一像素对应于所述经升频的输出图像的每一像素,且所述第三增量图像的每一像素包括至少基于所述第一增量图像以及所述第二增量图像的像素值的第三改变;以及用于基于加总所述经升频的图像及所述第三增量图像的所述对应像素的所述像素值而产生经增强图像的装置。
另一方面涉及成像方法,其包括:接收包括多个像素的图像,其中每一像素具有对应像素值;通过将所述图像放大到经定义大小且在所述图像的每一像素之间内插经定义数目个像素来产生经升频的输出图像;通过增大所述图像的所述像素的像素值的差来产生所述图像的经锐化部分;产生包括多个增量像素的增量图像,其中每一像素具有所述经锐化图像与所述图像之间的像素值的对应改变;通过将所述增量图像放大到所述经定义大小且在所述经锐化图像的每一像素之间内插所述经定义数目个像素来升频所述增量图像;以及基于加总所述经升频的图像及所述增量图像的所述对应像素的所述像素值而产生经增强图像。
附图说明
所揭示方面将在下文结合附图进行描述,经提供以说明且并不限于所揭示方面,其中相同指定表示相同元件。
图1A为人使用具有光学变焦透镜的实例相机的说明。
图1B为人使用具有有限光学变焦能力的实例装置的说明。
图2为来自图1B的具有有限光学变焦能力的实例装置的放大说明。
图3说明成像系统的实施例的功能框图的实例。
图4为说明图像的像素的实例。
图5为说明图像的升频的实例。
图6为输入图像经锐化且接着经升频的实例实施例。
图7为具有可用于处理图像的平行处理结构的实例实施例。
图8A为说明输入图像的定向升频的实例。
图8B说明源图像803的实例边缘图806。
图9A说明锐化输入图像的实例。
图9B说明使用混合升频器的实施例锐化图像的实例。
图10为锐化混合器的实例实施例。
图11A到11C说明在锐化图像时可能发生的实例光晕过冲。
图12说明光晕抑制的实例实施例。
图13说明根据实例实施例的流程图。
图14为根据实例实施例的方法的流程图。
具体实施方式
下文中参考附图更全面地描述本文中所揭示的新颖系统、设备及方法的各个方面。然而,本发明可以许多不同形式体现且不应理解为限制于贯穿本发明呈现的任何特定结构或功能。确切来说,这些方面经提供以使得本发明将为透彻且完整的,且将向所属领域的技术人员充分地传达本发明的范围。基于本文中的教示,所属领域的技术人员应了解本发明的范围意欲涵盖本文中所揭示的新颖系统、设备及方法的任何方面,无论是独立于本发明的任何其它方面抑或与其组合实施。举例来说,可使用本文中所阐明的任何数目个方面实施设备或实践方法。另外,本发明的范围意欲涵盖使用其它结构、功能性或除本文中所阐明的本发明的各个方面外的结构及功能性来实践的此设备或方法。应理解,本文中所揭示的任何方面可由技术方案的一或多个要素体现。
尽管本文中描述特定方面,但这些方面的许多变化及排列属于本发明的范围。尽管提及优选方面的一些益处及优点,但本发明的范围并不意欲限于特定益处、用途或目的。详细描述及图式仅说明本发明而非限制性。本发明的范围由所附权利要求书及其等效物界定。
图1A为人使用具有光学变焦透镜的实例相机的说明。人100使用相机101拍摄花107的图片。相机101为具有光学变焦透镜102的相机(例如,数字单透镜反光(DSLR)相机或单透镜反光(SLR)相机)。光学变焦透镜102可具有各种物理调拨转盘,例如调拨转盘105及106,所述调拨转盘用于调整变焦的焦距及范围。光学变焦透镜102还可通过连接器104连接到相机主体103。通过连接器104,光学变焦透镜102可拆卸或附接,及/或替换为其它透镜,包含其它光学变焦透镜。
相比来说,图1B为人使用具有有限光学变焦能力的实例装置的说明。人100使用相机电话108拍摄花107的图片。明显地,相机电话108不具有大的光学变焦透镜,例如图1A中所说明的光学变焦透镜102。
图2来自图1B的具有有限光学变焦能力的实例装置的放大说明。相机电话200具有双相机201及203。在一些状况下,相机201及203的大小可介于四(4)毫米及五(5)毫米之间。此外,在一些状况下,相机201及203不能变更用于光学变焦(例如,其不具有光学变焦能力)。在一些实施例中,相机201及203(其可包含相机主体及透镜)可为可在装置中调换及/或替换的模块。闪光灯202可与相机201及203一起用于为摄影提供闪光照明。
所属领域的一般技术人员应理解,本文发明并不限于相机电话。其它装置也可由于例如空间、成本或硬件约束而具有有限的或不具有光学变焦能力。例如,平板及其它移动装置不具有用于大的光学变焦透镜的空间。此外,在一些状况下,甚至在相机不使用光学变焦透镜时,光学变焦能力仍有限。例如,某些紧凑相机具有可用于光学变焦的物理透镜。然而,通过这些光学透镜的变焦量有限。这些相机可通过使用光学变焦及数字变焦两者的组合来增加变焦量。例如,具有4x光学变焦及4x数字变焦的相机可产生16x变焦。本发明也不限于使用双相机的装置,但也可用于具有仅单个相机的装置及具有多于两个相机的装置。例如,还可存在额外相机,包含3、4、5、6、7、8、9、10、11、12、13、14、15、16、17、18、19及/或20个相机,或大于20个相机的数目个相机。例如,相机可布置成4×4阵列。相机还可布置成多相机/混合相机设计。在一些状况下,这些多个相机及/或透镜可用于产生单个图像,所述单个图像可接着由本发明的系统及方法进行处理。在其它状况下,多个相机及/或透镜可产生多个图像,所述多个图像可类似地由本发明的系统及方法进行处理。
此外,在一些状况下,图像可为2D,而在其它状况下,图像可为3D。图像还可随时间拍摄及/或为视频及/或录像的部分。本发明的系统及方法可用于任何此些图像。
图3说明成像系统的实施例的功能框图的实例。成像系统300包含相机301,所述相机301可为可从相机装置300移除及/或调换出的模块。其还可整合及/或固定到相机装置300。相机301连接到图像处理器302。图像处理器302控制分析来自相机301的图像的基本操作。图像处理器302与装置处理器304通信,所述装置处理器与存储器305通信。
另外,图像处理器302可与工作存储器303耦合,所述工作存储器可包含只读存储器(ROM)及随机存取存储器(RAM)两者,且可将指令及数据提供到图像处理器302。工作存储器303的部分可包含非易失性随机存取存储器(NVRAM)。图像处理器302通常基于存储在工作存储器303内的程序指令而执行逻辑及算术运算。工作存储器303中的指令可执行以实施本文中所描述的方法。组件313中的模块可耦合到图像处理器302以便执行例如图像捕获、定向升频、锐化、内插、锐化升频、边缘检测、图像选择及/或图像加总。
例如,模块组件306为图像捕获模块,所述图像捕获模块可用于从相机301获得图像。模块组件307为定向升频器,所述定向升频器可放大及/或伸展图像。在一些状况下,模块组件307还可在其放大及/或伸展图像时在图像的原始像素之间内插像素。所属领域的一般技术人员应了解组件313还可含有任何数目个其它升频器,所述升频器放大及/或伸展图像。例如,其可含有2D通用升频器,例如双三次、双线性及最近邻内插器,其还可含有边缘自适应2D升频器。
模块组件308为锐化器,其增强图像的相邻区域之间的像素值差。在一些状况下,模块组件308使用高通滤波器来进行锐化。
模块组件309为内插器,其在图像的像素之间添加额外像素信息。模块组件310为锐化升频器。如本申请案中将进一步描述,此模块执行操作以增强并升频经锐化图像。
模块组件311为边缘检测器,其可检测图像中的颜色转变的位置。在一些实施例中,模块组件311可产生边缘强度图,所述边缘强度图计算像素之间转变的量(相对或绝对值)。模块组件312为选择器,选择器可用于选择图像的特定部分用于检视及/或增强。模块组件314为图像加法器。所述图像加法器可用于将图像加总在一起。例如,图像加法器可为将来自两个不同图像的像素的像素值加总在一起以形成第三图像的处理器。模块组件315为操作系统。所述操作系统可用于配置图像处理器302以管理工作存储器303及相机装置300的处理资源。例如,模块组件315可包含装置驱动程序以管理实例相机301中的硬件资源。模块组件315可进一步配置图像处理器302以与装置处理器304共享信息。
所属领域的一般技术人员应了解存在成像系统/相机装置技术的各种实施方案。这些不同类型的成像系统可具有不同的捕获图像的方式。例如,相机可以数字方式或以模拟方式捕获图像(例如,胶卷或宝丽来(polaroid))。相机可捕获图片及/或视频。所述相机可具有远焦透镜、变焦透镜及/或标准透镜。所述相机还可在其使用的特征的类型方面不同,例如,慢动作捕获、光调整器、全景模式、时间推移视频及/或夜视。本发明并不限于任何特定类型的相机装置及/或具有特定特征集的相机装置。
在一些状况下,可在根本无相机的情况下使用本发明的实施例。例如,某些实施例可在独立程序、硬件及/或电子应用中处理先前捕获的图像。
图4为说明图像的像素的实例。图像400为照片。所述照片由像素或图片元素(其为图像400的可定址元素)组成。每一像素具有相关联颜色。所述图像为这些像素的这些颜色的组合,所述组合可在图像400中形成可视为花及草的内容。表示图像400的另一方式为矩阵。通过说明,矩阵401为代表性矩阵,其中矩阵中的每一项对应于图像中(或图像的部分中)的像素。
此外通过说明,图像可具有600×400像素。在此状况下,图像可由具有600行及400列的矩阵表示。矩阵的每一条目可接着通过其行编号及列编号定址。例如,行10、列100可在矩阵中定址一个条目,且行20、列50将在矩阵中定址另一条目。矩阵的每一条目还可反映图像中的对应像素的颜色。条目可呈不同形式。例如,每一条目可实际上包括表示像素的相关红色、绿色及蓝色成分的三个值。在其它状况中,每一条目可为介于零(0)与一(1)之间的按比例调整数值,反映颜色及/或颜色强度。在其它状况下,每一条目可为在反映不同颜色的数值范围中的数值。在其它状况下,条目可为对应于特定颜色及/或颜色强度的字母及/或数值。所属领域的一般技术人员应了解,图像的像素的颜色可以任何数目个方式表示。在本发明中,表示图像像素的颜色、颜色强度及/或任何其它属性的任何方式(例如,色度、对比度、亮度、阴影、灰度等)将被称作“像素值”或“像素颜色”。此外,本发明的实施例并不限于在图像中存储及/或表示像素值(或颜色)的任何方式。
图5为说明图像的升频的实例。在使用光学变焦能力时,相机的透镜可经物理改变以便产生包含特定区域的更多细节的图像。然而,在使用数字变焦能力时,由相机捕获的图像的部分可经升频以放大及/或在图像的像素之间内插额外像素数据。在一些状况下,图像可在较大视窗中显现(例如,图像经放大)。例如,100×200像素图像可经升频2倍,形成200×400像素图像。在此实例中,在原始100×200像素图像的每一邻近像素之间,可内插额外像素以使得图像放大成200×400像素。
在一些状况下,可通过相机装置实时执行数字变焦能力。在其它状况下,可对存储在存储器中的图像执行数字变焦能力。经升频的输出图像503表示输入图像502的升频版本。在此实例中,整个输入图像502已经升频。然而,在一些状况下,可升频输入图像502的部分。升频技术的一些实例为最近邻内插、双线性内插、双三次内插及/或定向升频。
图6为输入图像经锐化且接着经升频的实例实施例。输入图像600为实例输入图像。在输入图像600内为选定区域601,其为经选择用于变焦的区域。选定区域601可为输入图像600的部分、整个输入图像600、特定像素及/或像素群组、输入图像600的不连续部分及/或像素,及/或输入图像600的任何其它部分及/或部分集合。将选定区域601传递到锐化器602。接着将锐化器602的输出传递到升频器603。升频器603可为本发明中所提及及/或此项技术中所已知的任何升频器。通常,升频器603放大锐化器602的输出。例如,升频器603可为定向升频器或对称升频器。升频器603的输出为输出图像604。输出图像604为选定区域601的放大图像。
使用锐化器602及接着升频器603的结构被所属领域的技术人员称作“级联结构”。替代地,可首先使用升频器,且接着锐化器。此也为级联结构。在一些状况下,级联结构导致不清楚、具有过量过冲及/或展现振铃的输出图像。
图7为具有可用于处理图像的平行处理结构的实例实施例。此处,输入输入图像600,如图6中所说明。类似地,选定区域601为经选择用于变焦的区域。将选定区域601输入到定向升频器703。同时,将选定区域601输入到锐化器702。将锐化器702的输出输入到锐化升频器705。接着使用图像加法器704将锐化升频器705的输出加总到定向升频器703的输出。图像加法器704的输出为输出图像706。
应认识到,本发明的系统及方法中的任何者可涉及图像、图像的区域、像素群组及/或个别像素。例如,锐化器702、锐化升频器705、定向升频器703及图像加法器704可一次接收并输出整个图像、图像区域、像素群组及/或个别像素。一些步骤可还涉及接收增量图像或增量值,其包含一个图像与另一图像之间的像素颜色差的测量值。所属领域的一般技术人员将认识到,可基于硬件及存储器使用、速度及与算法或装置资源管理的效率有关的其它考虑事项视情况调整及/或改变本发明的系统及方法操作的数据的形式。如此,本发明中的“图像”的任何揭示应理解为可与图像的区域、像素群组、个别像素及/或增量图像及增量值交换。
图8A为说明输入图像的定向升频的实例。此外,将输入图像600的选定区域601输入到定向升频器703,所述定向升频器可为2D定向升频器及/或此项技术中已知的任何定向升频器。作为说明性实例,在一些实施例中,定向升频器703使用图像像素窗口。例如,图像像素窗口可为4×4矩阵,或视情况任何其它尺寸或形状的窗口(例如,2×2、3×3、2×3、3×2、4×2、2×4、3×4、4×3,等,及/或任何尺寸的正方形、任何尺寸的矩形、任何尺寸的圆形、任何尺寸的平行四边形、任何尺寸的棱形、任何尺寸的三角形、任何尺寸的四面体,等)。图像像素窗口依序对选定区域601的每一像素(及/或内插像素)进行操作。在定向升频器703升频选定区域601时,其基于图像像素窗口中的其它像素的像素颜色而计算图像像素窗口的像素的边缘强度。在一些状况下,当与图像像素窗口中的周围像素的像素颜色相比存在所述像素处的像素颜色的不连续性时可在像素处检测图像的边缘。在一些状况下,当像素的颜色与邻近像素急剧变化时可发生不连续性。检测边缘的一个方式为通过采用边缘滤波器,所述边缘滤波器可使用拉普拉斯(Laplace)滤波器、索贝尔(Sobel)滤波器、坎尼(canny)滤波器及/或此项技术中已知的任何其它边缘检测滤波器。
例如,索贝尔滤波器可用于发现边缘且计算边缘强度。在一些状况下,索贝尔滤波器可使用一对3×3卷积掩模,所述卷积掩模估计x方向(列)及y方向(行)中的梯度。Mx及My(下文所展示)为此类卷积掩模:
因此,可通过用图像卷积卷积掩模来发现x方向及y方向中的梯度(分别为Gx及Gy)。例如,Gx=Mx*图像,且Gy=My*图像。因此,每一点处的边缘强度G可通过公式G=sqrt(Gx2+Gy2)计算。边缘方向θ也可在每一像素处通过公式θ=atan2(Gy,Gx)计算。
也可使用其它方法来发现边缘,计算边缘强度及/或发现边缘方向。例如,可使用张量(例如,梯度结构张量)。通常,图像的张量可为结构张量,所述结构张量为图像梯度函数的2×2矩阵。如所属领域的一般技术人员应了解,可使用结构张量的特征值及特征矢量来发现像素的邻域中的边缘方向及边缘强度。在本发明的一些实施例中,4接头滤波器可用作张量。每一4接头滤波器对同一邻域中的九个2×2图斑进行操作,其可为结构张量,所述结构张量为梯度函数的2×2矩阵。
边缘图可由图像中的每一点处的所计算边缘强度形成。图8B说明源图像803的实例边缘图806。边缘图806展示对应于源图像803中的像素的边缘。边缘图806可具有与源图像803相同的尺寸。因此,边缘图806的每一像素可具有与源图像803的每一像素处的边缘强度测量值成比例的值。在一些状况下,边缘强度可为介于0与1之间的按比例调整数值。在其它状况下,边缘强度还可为任何数值范围中的数值。边缘强度还可由字母及/或数值表示。所属领域的一般技术人员应了解,存在任何数目个表示边缘强度的方式,且任何特定方式可使用基本数学技术来相乘、相除、变换及/或以其它方式变更。
边缘图806还可存储关于其像素中的每一者的边缘方向或定向的信息,所述信息可用于定向升频器,例如定向升频器703(图7)。沿着任何边缘方向,所述边缘方向中的像素颜色保持恒定或逐渐改变。然而,跨越边缘方向,像素颜色剧烈改变。如先前所描述,边缘图806计算每一像素方向处的边缘强度及边缘方向。
边缘图806为边缘图的实例视觉表示。应注意,在一些状况下,整个边缘图(例如边缘图806)并非同时产生。替代地,计算可遍及每一像素或像素群组以用于计算而无需同时汇编整个边缘图。在边缘图806中,较暗像素(例如,像素805)为较强边缘(例如,急剧转变点)。较淡区域(例如,像素804)为较弱及/或无边缘的位置。
继续图8A,在一些实施例中,定向升频器703在通过在计算内插像素的像素颜色中赋予沿着边缘的像素比跨越边缘的像素多的权重进行内插时考量边缘方向。例如,定向内插器703可检测笔直边缘及其定向且使用沿着边缘的线性内插来保留边缘。在一些状况下,定向升频器703可使用加权平均数来基于像素窗口中的像素来计算内插像素的像素颜色。在计算加权平均数时,方向升频器703可发现像素窗口中的像素的主导边缘方向。例如,像素窗口中的像素的主导边缘方向可为大部分像素的方向、像素的边缘方向的平均数、及/或此项技术中已知的计算主导边缘方向的任何其它方式。加权平均数基于像素的边缘方向与主导边缘方向的接近程度而将权重指派到像素窗口中的像素的每一像素颜色。
图像像素窗口以预定义方式围绕选定区域601移动使得含有M×N像素的输入图像产生输出图像802,所述输出图像具有大于M×N的数目个像素。
输出图像802为选定区域601的升频版本。应注意,如先前所提及,定向升频器703可对整个图像、图像的区域、像素群组、个别像素及/或增量图像及增量值进行操作。例如,在一些情况中通过一次处理仅数组像素来节省存储器及结算成本。
图9A说明锐化输入图像的实例。将输入图像600(更具体来说选定区域601)输入到锐化器702。锐化器702可使用此项技术中已知的任何图像锐化过程,例如高通滤波、反锐化遮蔽、非局部均值、双边、三边等。在通过锐化器702之后,输出经锐化图像900。此外,锐化器702可对整个图像、图像区域、像素群组、个别像素及/或增量图像及/或增量值进行操作。
例如,在此阶段,在一些实施例中,经锐化图像900可为增量图像,其中每一像素表示经锐化图像900中的经锐化像素的像素强度与图8A的选定区域601中的对应像素之间的差。在一些状况下,增量图像及/或增量值可由锐化器702通过低通滤波选定区域601的像素并将其从原始选定图像601的对应像素减去来产生。
图9B说明使用混合升频器的实施例锐化图像的实例。将锐化图像900通过混合升频器902。在此实例中,经锐化图像900首先通过倍增器903。倍增器903可使经锐化图像900的像素的强度增加A倍(例如,使经锐化图像900的像素颜色乘以A)。刚刚经倍增的经锐化图像900并行通过两个处理。第一处理为对称滤波器904,其可为此些技术中已知的任何种类对称滤波器。例如,对称滤波器904可使用平均内核,所述平均内核对附近像素的像素颜色求平均以计算内插像素的像素颜色。在一些状况下,平均内核可通过其远离内插像素的空间距离来加权像素。在一些实施例中,对称滤波器904可为各向同性滤波器,其将像素信息用于所有方向进行内插。其还可使用双线性、双三次或三线性方法。此与定向滤波器905相反,所述定向滤波器与对称滤波器904并行运行。定向滤波器905使用边缘方向906(其可包括每一像素的边缘方向)来执行定向内插。例如,定向滤波器905可为定向升频器703(图8A)。
对称滤波器904及定向滤波器905也可为具有任何数目个接头的滤波器。滤波器的接头与所使用的滤波器的大小(例如,其用于内插的像素的数目)有关。例如,对称滤波器904及方向滤波器905可为四个接头滤波器,意指其为4×4滤波器。对称滤波器904及定向滤波器905也可视情况具有变化的系数。在一些状况下,这些系数可为静态的及/或存储在存储器中。在其它状况下,可基于通过滤波器的特定数据而动态地计算系数。
如先前所描述,内插在原始图像的每一像素之间添加多个像素。以此方式,图像由对称滤波器904及定向滤波器905升频。在一些实施例中,对称滤波器904及定向滤波器905在选定区域601中的每一像素之间添加相同数目个像素。在一些状况下,此为定向升频器703(图8A)在选定区域601的像素之间添加的相同数目个像素。因此,对称滤波器904、方向滤波器905及定向升频器703的输出在一些实施例中具有相同尺寸。然而,在一些实施例中,其不可能具有相同尺寸。在此状况下,可执行稍后步骤中的进一步计算,如稍后将描述。
使用图像加法器910将对称滤波器904及定向滤波器905的输出加总在一起。在一些实施例中,图像加法器910获得对称滤波器904及定向滤波器905的输出的加权和。在这些实施例中,加权和可使用边缘强度907(其可为如先前所描述的定向升频器703(图8A)的附带结果)且提供每一像素的边缘强度。定向滤波器905的输出乘以权数W 909(其可为边缘强度907或从边缘强度907导出的值)。类似地,对称滤波器904的输出为权数1-W 908,其为一(1)减去边缘强度907或从边缘强度907导出的值。
在一些实施例中,权数W 909可并非从定向升频703计算的准确边缘强度907。其可视情况按比例调整及/或修改。所属领域的一般技术人员应了解使用边缘强度907来将对称滤波器904及定向滤波器905的输出加总在一起允许经锐化图像900中的较强边缘来适应相对较多定向类比,此考虑那些边缘。实际上,对称滤波可导致边缘变得模糊。另一方面,在不存在大量边缘的情况下,对称滤波可能较适于发现内侧像素颜色,因为定向滤波可造成图像伪影。可对整个图像、图像区域、像素群组、个别像素及/或增量图像及增量值进行计算。以此方式,由于使用对称滤波器904及定向滤波器905两者,混合内插器902可视为混合的对称滤波器904及定向滤波器905。混合内插器902的输出为内插输出911。
应了解,此时,如果在一些实施例中内插输出911并非增量图像,那么可期望将图像(或图像的区段、像素群组、像素等)转换成增量图像。例如,升频器603(图6)及/或定向升频器703(图8)可用于选定区域601上以形成与内插输出911相同尺寸的图像。可将此所形成图像从混合升频器902的输出减去以形成增量图像。
图10为锐化混合器的实例实施例。将内插输出911输入到锐化混合器1000。同时,将内插输出911输入到倍增器1001。在一些状况下,倍增器1001使内插输出911的像素颜色改变1/A倍。此因数可与倍增器903(图9B)有关,所述倍增器可使像素强度增加A倍。在此状况下,倍增器1001为倍增器903的倒数增益。在其它实施例中,倍增器1001可视情况通过因数调整。应认识到,倍增器1001可减小内插输出911的锐化增益。
因此,内插输出911表现为锐化混合器1000中的强锐化图像1004。规则锐化图像1002为已通过倍增器1001的内插输出911。在一些实施例中,应了解,如果倍增器1001将内插输出911的像素颜色乘以1/A(其可能小于一),那么规则锐化图像1002与强锐化图像1004相比较不尖锐。
使用图像加法器1007将强锐化图像1004及规则锐化图像1002加总在一起。在这些实施例中,加权和可使用权数W'1006,其可取决于边缘强度907。将边缘强度907输入到图像加法器1007中。规则锐化图像1002通过权数1-W'1005加权重。类似地,强锐化图像1004通过权数W'1006加权重。加权重在一些实施例中(例如,在权数1-W'1005及权数W'1006介于0与1之间时)可通过以下步骤来执行:使强锐化图像1004倍增权数W'1006及使规则锐化图像1002倍增权数1-W'1005,且接着使用图像加法器1007将那些积加总在一起。最终积为混合的锐化输出1010。
权数W'1006及权数1-W'1005可从边缘强度907计算,所述边缘强度可如先前所描述为定向升频器703(图8A)的附带结果。其可为边缘强度907自身或从边缘强度907计算的值。例如,权数W'1006可为服从阈值的边缘强度907。阈值可充当规则锐化图像1002及强锐化图像1004的所要相对贡献的上部边界(例如,上限)及/或下部边界(例如,底限)。通过说明,权数W'1006可为介于0与1之间的值。由于权数W'1006为强锐化图像1004的相对权数,因此如果来自混合的锐化输出1010中的强锐化图像1004的更多贡献为合意的,那么可将权数W'1006阈值底限设置为0.6。以此方式,权数W'1006将为至少0.6(例如,如果权数W'1006从边缘强度907经计算为0.2,那么阈值底限将使权数W'1006增加到0.6)。如果想要确保输出图像的锐度的最小水平,那么上述情形可为合意的。类似地,可将权数W'1006的阈值上限设置为0.6。以此方式,权数W'1006将为最多0.6(例如,如果权数W'1006经计算为0.8,那么阈值上限将使权数W'1005减小到0.6)。
应了解,混合的锐化输出1010为已由锐化器702、混合升频器902及锐化混合器1000处理的选定区域601(图7)的图像。还应了解,在一些实施例中,混合的锐化输出1010可实际上为增量图像。还应了解,混合的锐化输出1010可为整个图像、图像的区域、像素群组及/或个别像素。
图像1003放大规则锐化图像1002的部分。图像1009放大强锐化图像1004的部分。如与图像1003相比,图像1009展示像素强度的较急剧转变。图像1011放大混合的锐化输出1010的部分。图像1011比图像1009中展示纹理区域更多细节及较少褪色伪影,但比在图像1003中展示较急剧转变。
图11A到11C说明在锐化图像时可能发生的实例光晕过冲。图11A展示输入信号1103,其具有四个说明像素,像素1114、1115、1116及1117。出于说明目的使用连接输入信号1103的这四个像素的说明线,然而,实际输入信号1103可仅由离散像素组成。明显地,像素1114、1115、1116及1117一起展示转变区,其中像素的像素颜色在图像中快速改变(从左到右增加)。如此,锐化输入信号1103将造成更急剧转变。局部最小值1109展示像素1114的像素颜色,其具有所说明像素的最低像素颜色。局部最大值1112展示像素1117的像素颜色,其具有所说明像素的最高像素颜色。
图11B连同两个锐化水平(强锐化信号1104及规则锐化信号1106)的输入信号1103。在与输入信号1103相同的图像段上展示这两个锐化水平。由于经锐化图像已经升频,因此强锐化信号1104及规则锐化信号1106在输入信号1103的像素之间具有额外像素。例如,在输入信号1103的像素1115与像素1116之间,强锐化信号1104具有像素1118、1119及1120。类似地,规则锐化信号1106在输入信号1103的像素1115与1116之间具有像素1121、1119及1122。在一些实施例中,规则锐化信号1106可为规则锐化图像1002(图10)的区段且强锐化信号1104可为强锐化图像1004(图10)的区段。明显地,规则锐化信号1106具有比输入信号1103较急剧转变,如由穿过像素1121、1119及1122的较陡曲线所见。强锐化信号1104在所述相同间隔中具有比规则锐化信号1106更急剧转变,如通过穿过像素1118、1119及1120的较陡曲线所见。
图11C说明在使用强锐化时可发生的过冲。强锐化信号1104具有过冲区域1124,其中代表曲线走势在局部最小值1109下。类似地,强锐化信号1104具有过冲区域1110,其中代表曲线走势在局部最大值1112上,这些过冲的结果为具有看起来虚假的像素颜色的不自然表观。在一些实施例中,过冲区域1110及1124可经抑制以便减少其虚假表观。例如,过冲区域1110可经抑制成在区域1111中所见的形状。类似地,过冲区域1124可经抑制成区域1107中所见的形状。通过说明性实例,经减小的光晕量级1108(其表示区域1107的局部最小值)为规则锐化信号1106(图11B中所展示)的相同局部最小值。可对区域1111与规则锐化信号1106的局部最大值进行类似比较
在一些实施例中,可使用动态箝位。动态箝位不允许强锐化信号1104具有小于局部最小值1109及/或大于输入信号1103的局部最大值1112的像素颜色。在一些状况下,动态箝位可造成褪色伪影。
作为动态箝位的替代方案,图12说明光晕抑制的实例实施例。框1211从强锐化信号(例如强锐化信号1104)接收像素。框1213接着查看所接收像素是否大于局部最大值,例如来自图11C的局部最大值1112。如果所接收像素大于局部最大值,那么框1214通过以下公式调整像素:像素=局部最大值+1/A×(像素–局部最大值),其中1/A可为与图10的倍增器1001相同的倍增器。以此方式,光源过冲可减小光晕缩减因数。
否则,框1215查看来自框1211的所接收像素是否小于局部最小值(例如图11C的局部最小值1109)。如果所接收像素小于局部最小值,那么框1216通过以下公式调整像素:像素=局部最小值+1/A×(像素–局部最小值),其中1/A可为与图10的倍增器1001相同的倍增器。以此方式,光源过冲可减小光晕缩减因数。否则,那么框1217通过以下公式调整像素:像素=像素。换句话说,使像素不改变。
应注意,图12中的框可对图像的像素颜色进行操作。如果强锐化信号包括增量图像及/或增量值,那么可将其转换成具有图像(及/或图像的区域、像素群组及/或个别像素)的像素颜色。例如,升频器603(图6)及/或定向升频器703(图8)可用于选定区域601上以形成与增量图像相同尺寸的图像。可将所形成图像的像素颜色加总到增量图像的像素以形成具有图像的像素颜色的强锐化信号。在对强锐化信号执行光晕抑制之后,可通过本发明中所描述的或此项技术在已知的任何方法将所述强锐化信号往回转换成增量图像及/或增量值。
作为另一实例,可将输出图像802(图8A)(其为并行运行的定向升频器703的输出)加总到强锐化及规则锐化信号的增量图像及/或增量值。强锐化增量图像及输出图像802的和可接着经受光晕抑制。可接着通过求光晕抑制的输出和规则锐化增量图像与输出802的和的加权平均数来产生增强数字变焦图像。
图12的光晕抑制技术及/或本发明中所论述及/或此项技术中已知的任何其它光晕抑制技术可用于强锐化信号/图像以增强所述强锐化信号/图像。例如,可对强锐化信号1104(图11B)及/或强锐化图像1004(图10)执行光晕抑制。在强锐化图像1004的状况下,可在将强锐化图像1004传递到图像加法器1007之前执行光晕抑制。光晕抑制还可经延迟直到在强锐化图像1004及规则锐化图像1002已传递到图像加法器1007之后。在这些实施例中,对混合的锐化输出1010执行光晕抑制。
图13说明根据实例实施例的流程图。流程图1314为图7中所展示的流程图700的更详细的流程图。将输入图像1300并行地输入到定向升频器1301及锐化器1311。定向升频器具有输出Y 1310。锐化器1311的输出进入到锐化升频器1312。锐化升频器1312包括升频器1304及锐化混合器1307。升频器1304接收边缘方向1302及从边缘强度1303导出的权数W1305。边缘方向1302及边缘强度1303为定向升频器1301的积。升频器1304可为混合升频器902(图9B)或本发明中所论述或此项技术中已知的任何其它升频器。锐化混合器1307接收W'1306,其是从边缘强度1303导出。锐化混合器1312可为锐化混合器1000(图10)或本发明中所论述或此项技术中已知的任何其它锐化混合器。使用图像加法器1308将锐化升频器1312的输出加总到定向升频器1301的输出。
应了解,在一些实施例中,锐化升频器1312的输出为具有与输出Y 1310相同尺寸的增量图像。如此,图像加法器1308将增量图像的每一像素及输出Y 1310的每一像素加总在一起以产生经增强图像1309。实际上,在一些实施例中,图像、图像的区域、像素群组及/或个别像素可通过流程图1314。
在锐化升频器1312的输出并非增量图像的情况下,可将其变成增量图像。例如,输入图像1300可使用此项技术中已知的任何升频技术(例如,图6中所说明的升频器603)单独地升级使得其具有与锐化升频器1312相同的尺寸。可将经单独升频图像的像素中的每一者的像素颜色从来自锐化升频器1312的输出的像素的像素颜色减去。此减法将形成增量图像,可将所述增量图像加总到输出Y 1310以产生经增强图像1309。
在一些实施例中,锐化升频器1312的输出(图像、图像的区域、像素群组及/或个别像素)可不具有与输出Y 1310相同的尺寸。在此状况下,图像加法器可执行额外内插及/或求平均以便加总图像。
图14为根据实例实施例的方法的流程图。在框1400中,方法接收包括多个像素的图像,其中每一像素具有对应像素颜色。在框1401中,方法通过将图像放大到经定义大小且在图像的每一像素之间内插经定义数目个像素来产生经升频的输出图像。在框1402中,方法通过增大图像的像素的像素颜色的差来产生经锐化图像。在框1403中,方法通过将经锐化图像放大到经定义大小且在经锐化图像的每一像素之间内插经定义数目个像素来升频经锐化图像。在框1404中,方法产生第一增量图像,其中第一增量图像的每一像素对应于经升频的输出图像的每一像素,且第一增量图像的每一像素包括至少基于经升频的经锐化图像以及第一增益因数的像素颜色的第一改变。在框1405中,方法产生第二增量图像,其中第二增量图像的每一像素对应于经升频的输出图像的每一像素,且第二增量图像的每一像素包括至少基于经升频的经锐化图像以及第二增益因数的像素颜色的第二改变。在框1406中,方法产生第三增量图像,其中第三增量图像的每一像素对应于所述经升频的输出图像的每一像素,且第三增量图像的每一像素包括至少基于第一增量图像以及第二增量图像的像素颜色的第三改变。在框1407中,方法基于加总经升频的图像及第三增量图像的对应像素的像素值而产生经增强图像。
所属技术领域的一般技术人员将理解,可使用各种不同技艺及技术中的任一者表示信息及信号。举例来说,可通过电压、电流、电磁波、磁场或磁性粒子、光场或光学粒子或其任何组合来表示可贯穿以上描述所参考的数据、指令、命令、信息、信号、位、符号及码片。
所属领域的一般技术人员将进一步了解,结合本文中所揭示的方面描述的各种说明性逻辑块、模块、处理器、装置、电路及算法步骤或块中的任一者可实施为电子硬件(例如,数字实施方案、模拟实施方案或两者的组合,此可使用源编码或某一其它技术设计)、并入有指令的各种形式的程序或设计码(其在本文中可称作例如“软件”或“软件模块”)或两者的组合。为清楚地说明硬件及软件的此可互换性,上文通常已就其功能性方面描述了各种说明性组件、块、模块、电路及步骤或块。此功能性是实施为硬件还是软件取决于强加于整个系统的特定应用及设计约束。虽然所属领域的技术人员可针对每一特定应用以变化方式实施所描述功能性,但不应将此些实施方案决策解释为导致对本发明的范围的脱离。
结合本文中所揭示的方面及结合图所描述的各种说明性逻辑块、模块及电路可实施在集成电路(IC)、接入终端或接入点内或由集成电路、接入终端或接入点执行。IC可包含经设计以执行本文中所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、场可编程门阵列(FPGA)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件、电组件、光学组件、机械组件或其任何组合,且可执行驻存在IC内、IC外部或既在IC内且在IC外部的码或指令。逻辑块、模块及电路可包含天线及/或收发器以与网络内或装置内的各种组件通信。通用处理器可为微处理器,但在替代方案中,处理器可为任何常规处理器、控制器、微控制器或状态机。还可将处理器实施为计算装置的组合,例如DSP与微处理器的组合、多个微处理器、结合DSP核心的一或多个微处理器或任一其它此类配置。模块的功能性可如本文中所教示以某一其它方式实施。本文中所描述的功能性(例如,关于附图中的一或多者)可在一些方面中对应于所附权利要求书中的类似指定用于功能性的“装置”。
如果以软件予以实施,那么所述功能可作为一或多个指令或代码而存储于计算机可读媒体上或经由计算机可读媒体进行发射。可以可驻存于计算机可读媒体上的处理器可执行软件模块实施本文中所揭示的方法或算法是步骤或块。计算机可读媒体包含计算机存储媒体及通信媒体两者,包含可经启用以将计算机程序从一个地方传送到另一地方的任一媒体。存储媒体可为可由计算机存取的任何可用媒体。通过实例的方式且非限制性,此些计算机可读媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光学磁盘存储器、磁盘存储器或其它磁性存储装置或可用于以指令或数据结构的形式存储所要代码且可由计算机存取的其它媒体。此外,可将任一连接适当地称为计算机可读媒体。如本文中所使用,磁盘及光盘包含光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘及蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘通过激光以光学方式再现数据。上述各项的组合还应包括在计算机可读媒体的范围内。另外,方法或算法的操作可以一个或任何代码及指令组合或集合形式驻存于可并入到计算机程序产品中的机器可读媒体及计算机可读媒体上。
应理解,任何所揭示过程中的步骤或块的任何特定次序或阶层为样本方法的实例。基于设计偏好,应理解,可重新布置过程中的步骤或块的特定次序或阶层同时维持在本发明的范围内。所附方法权利要求书以样本次序呈现各种步骤的要素,且并不意欲限于所呈现的特定次序或阶层。
所属领域的技术人员将轻易明了对本发明中所描述的实施方案的各种修改,且本文所界定的通用原理可应用于其它实施方案而不背离本发明的精神或范围。因此,本发明并不意欲限于本文中所展示的实施方案,而被授予与权利要求书、本文中所揭示的原理及新颖特征相一致的最宽广范畴。措词“实例”在本文中用于仅仅意指“用作实例、例子或说明”。本文中描述为“实例”的任一实施方案未必解释为比其它实施方案较佳或有利。
还可将在本说明书中以单独实施方案的上下文中描述的某些特征以组合形式实施于单项实施方案中。相反,还可将以单项实施方案的上下文中所描述的各种特征单独地或以任一合适子组合的形式实施于多项实施方案中。此外,尽管上文可将特征描述为以某些组合形式起作用且甚至最初是如此主张的,但在一些情形中,可自所主张组合去除来自所述组合的一或多个特征,且所主张组合可针对子组合或子组合的变化。
类似地,虽然在所述图式中以特定次序绘示操作,但此不应理解为要求以所展示的特定次序或以顺序性次序来执行此类操作,或执行所有所说明的操作以达成所要的结果。在某些情形中,多任务及并行处理可为有利的。此外,上文所描述的实施方案中的各种系统组件的分离不应被理解为需要在所有实施方案中进行此分离,而应理解为所描述的程序组件及系统通常可一起整合于单个软件产品中或封装到多个软件产品中。另外,其它实施方案在以下权利要求书的范围内。在一些情形中,权利要求书中所述的动作可以不同次序执行且仍达成期望的结果。
Claims (30)
1.一种成像系统,其包括:
图像升频模块,其经配置以接收包括具有对应像素值的多个像素的输入图像,且通过将所述输入图像放大到经定义大小且在所述输入图像的每一像素之间内插经定义数目个像素来产生经升频的输出图像;
锐化模块,其经配置以通过增大所述输入图像的所述像素的像素值的差来产生经锐化图像;
锐化升频模块,其经配置以:
通过将所述经锐化图像放大到所述经定义大小且在所述经锐化图像的每一像素之间内插所述经定义数目个像素来升频所述经锐化图像,
产生第一增量图像,所述第一增量图像的每一像素对应于所述经升频的输出图像的每一像素,且所述第一增量图像的每一像素包括至少基于所述经升频的输出图像与乘以第一增益因数的所述经升频的经锐化图像之间的差的像素值的第一改变,所述第一增益因数经配置以调整所述经升频的经锐化图像的所述像素的强度,
产生第二增量图像,所述第二增量图像的每一像素对应于所述经升频的输出图像的每一像素,且所述第二增量图像的每一像素包括至少基于所述经升频的输出图像与乘以第二增益因数的所述经升频的经锐化图像之间的差的像素值的第二改变,所述第二增益因数不同于所述第一增益因数且经配置以调整所述经升频的经锐化图像的所述像素的所述强度,以及
产生第三增量图像,所述第三增量图像的每一像素对应于所述经升频的输出图像的每一像素,且所述第三增量图像的每一像素包括至少基于将所述第一增量图像以及所述第二增量图像加总在一起的像素值的第三改变;以及
处理模块,其经配置以基于加总所述经升频的输出图像及所述第三增量图像的所述对应像素的所述像素值而产生经增强图像。
2.根据权利要求1所述的系统,其中所述第一增益因数比所述第二增益因数大。
3.根据权利要求2所述的系统,其中在所述经升频的输出图像的所述对应像素处的所述经升频的经锐化图像的像素与对应于所述经升频的输出图像的像素的所述第一增量图像的像素的和大于所述经升频的输出图像的所述对应像素处的所述图像的像素值的局部最大值时使所述第一增量图像的所述像素减小第一光晕缩减因数。
4.根据权利要求2所述的系统,其中在所述经升频的输出图像的所述对应像素处的所述经升频的经锐化图像的像素与对应于所述经升频的输出图像的像素的所述第一增量图像的像素的和小于所述经升频的输出图像的所述对应像素处的所述图像的像素值的局部最小值时使所述第一增量图像的所述像素增加第二光晕缩减因数。
5.根据权利要求1所述的系统,其进一步包括经配置以拍摄所述输入图像的相机及经配置以存储所述输入图像的存储器中的至少一者。
6.根据权利要求1所述的系统,其中所述图像升频模块经进一步配置以产生与所述经升频的输出图像的每一像素相关联的边缘强度。
7.根据权利要求6所述的系统,其中所述第三增量图像的所述产生基于所述第一增量图像以及所述第二增量图像的加权平均数。
8.根据权利要求7所述的系统,其中所述加权平均数进一步基于所述边缘强度。
9.根据权利要求1所述的系统,其中增大像素值的差包括使用高通滤波器。
10.一种成像方法,其包括:
接收包括多个像素的图像,其中每一像素具有对应像素值;
通过将所述图像放大到经定义大小且在所述图像的每一像素之间内插经定义数目个像素来产生经升频的输出图像;
通过增大所述图像的所述像素的像素值的差来产生经锐化图像;
通过将所述经锐化图像放大到所述经定义大小且在所述经锐化图像的每一像素之间内插所述经定义数目个像素来升频所述经锐化图像;
产生第一增量图像,其中所述第一增量图像的每一像素对应于所述经升频的输出图像的每一像素,且所述第一增量图像的每一像素包括至少基于所述经升频的输出图像与乘以第一增益因数的所述经升频的经锐化图像的之间差的像素值的第一改变,所述第一增益因数经配置以调整所述经升频的经锐化图像的所述像素的强度;
产生第二增量图像,其中所述第二增量图像的每一像素对应于所述经升频的输出图像的每一像素,且所述第二增量图像的每一像素包括至少基于所述经升频的输出图像与乘以第二增益因数的所述经升频的经锐化图像之间的差的像素值的第二改变,所述第二增益因数不同于所述第一增益因数且经配置以调整所述经升频的经锐化图像的所述像素的所述强度;
产生第三增量图像,其中所述第三增量图像的每一像素对应于所述经升频的输出图像的每一像素,且所述第三增量图像的每一像素包括至少基于将所述第一增量图像以及所述第二增量图像加总在一起的像素值的第三改变;以及
基于加总所述经升频的输出图像及所述第三增量图像的所述对应像素的像素值而产生经增强图像。
11.根据权利要求10所述的方法,其中所述第一增益因数比所述第二增益因数大。
12.根据权利要求11所述的方法,其进一步包括在所述经升频的输出图像的所述对应像素处的所述经升频的经锐化图像的像素与对应于所述经升频的输出图像的像素的所述第一增量图像的像素的和大于所述经升频的输出图像的所述对应像素处的所述图像的像素值的局部最大值时使所述第一增量图像的所述像素减小第一光晕缩减因数。
13.根据权利要求11所述的方法,其进一步包括在所述经升频的输出图像的所述对应像素处的所述经升频的经锐化图像的像素与对应于所述经升频的输出图像的像素的所述第一增量图像的像素的和小于所述经升频的输出图像的所述对应像素处的所述图像的像素值的局部最小值时使所述第一增量图像的所述像素增加第二光晕缩减因数。
14.根据权利要求10所述的方法,其进一步包括用相机产生所述图像及将所述图像存储在存储器中的至少一者。
15.根据权利要求10所述的方法,其中产生经升频的输出图像进一步包括产生与所述经升频的输出图像的每一像素相关联的边缘强度。
16.根据权利要求15所述的方法,其中所述第三增量图像的所述产生基于所述第一增量图像以及所述第二增量图像的加权平均数。
17.根据权利要求16所述的方法,其中所述加权平均数进一步基于所述边缘强度。
18.根据权利要求10所述的方法,其中增大像素值的差包括使用高通滤波器。
19.一种成像系统,其包括:
用于接收包括多个像素的图像的装置,每一像素具有对应像素值;
用于通过将所述图像放大到经定义大小且在所述图像的每一像素之间内插经定义数目个像素来产生经升频的输出图像的装置;
用于通过增大所述图像的所述像素的像素值的差来产生经锐化图像的装置;
用于通过将所述经锐化图像放大到所述经定义大小且在所述经锐化图像的每一像素之间内插所述经定义数目个像素来升频所述经锐化图像的装置;
用于产生第一增量图像的装置,所述第一增量图像的每一像素对应于所述经升频的输出图像的每一像素,且所述第一增量图像的每一像素包括至少基于所述经升频的输出图像与乘以第一增益因数的所述经升频的经锐化图像之间的差的像素值的第一改变,所述第一增益因数经配置以调整所述经升频的经锐化图像的所述像素的强度;
用于产生第二增量图像的装置,所述第二增量图像的每一像素对应于所述经升频的输出图像的每一像素,且所述第二增量图像的每一像素包括至少基于所述经升频的输出图像与乘以第二增益因数的所述经升频的经锐化图像之间的差的像素值的第二改变,所述第二增益因数不同于所述第一增益因数且经配置以调整所述经升频的经锐化图像的所述像素的所述强度;
用于产生第三增量图像的装置,所述第三增量图像的每一像素对应于所述经升频的输出图像的每一像素,且所述第三增量图像的每一像素包括至少基于将所述第一增量图像以及所述第二增量图像加总在一起的像素值的第三改变;以及
用于基于加总所述经升频的输出图像及所述第三增量图像的所述对应像素的像素值而产生经增强图像的装置。
20.根据权利要求19所述的系统,其中所述第一增益因数比所述第二增益因数大。
21.根据权利要求19所述的系统,其进一步包括用于在乘以所述经升频的输出图像的对应像素的第一增益因数的所述经升频的经锐化图像的所述像素大于所述经升频的输出图像的所述对应像素处的所述图像的像素值的局部最大值时使所述第一增量图像的像素减小第一光晕缩减因数的装置。
22.根据权利要求19所述的系统,其进一步包括用于在乘以所述经升频的输出图像的对应像素的第一增益因数的所述经升频的经锐化图像的所述像素小于所述经升频的输出图像的所述对应像素处的所述图像的像素值的局部最小值时使所述第一增量图像的像素增加第二光晕缩减因数的装置。
23.根据权利要求19所述的系统,其进一步包括用于产生所述图像的装置及用于存储所述图像的装置中的至少一者。
24.根据权利要求19所述的系统,其中用于产生经升频的输出图像的装置进一步包括用于产生与所述经升频的输出图像的每一像素相关联的边缘强度的装置。
25.根据权利要求24所述的系统,其中所述第三增量图像的所述产生基于所述第一增量图像以及所述第二增量图像的加权平均数。
26.根据权利要求25所述的系统,其中所述加权平均数进一步基于所述边缘强度。
27.根据权利要求19所述的系统,其中增大像素值的差包括使用高通滤波器。
28.一种成像方法,其包括:
接收包括多个像素的图像,其中每一像素具有对应像素值;
通过将所述图像放大到经定义大小且在所述图像的每一像素之间内插经定义数目个像素来产生经升频的输出图像;
通过增大所述图像的所述像素的像素值的差来产生所述图像的经锐化部分;
产生包括多个第一增量像素的第一增量图像,所述多个第一增量像素中的每一像素具有乘以第一增益因数的经锐化图像与所述图像之间的像素值的对应改变,所述第一增益因数经配置以调整所述经锐化图像的所述像素的强度;
产生包括多个第二增量像素的第二增量图像,所述多个第二增量像素中的每一像素具有乘以第二增益因数的所述经锐化图像与所述图像之间的像素值的对应改变,所述第二增益因数不同于所述第一增益因数且经配置以调整所述经锐化图像的所述像素的所述强度;
产生包括多个第三增量像素的第三增量图像,所述多个第三增量像素中的每一像素具有至少基于将所述第一增量图像与所述第二增量图像加总在一起的像素值的对应改变;
通过将所述第三增量图像放大到所述经定义大小且在所述经锐化图像的每一像素之间内插所述经定义数目个像素来升频所述第三增量图像;以及
基于加总所述经升频的输出图像及所述第三增量图像的所述对应像素的像素值而产生经增强图像。
29.根据权利要求28所述的方法,其进一步包括在所述经升频的输出图像的所述对应像素处的经升频图像的像素与对应于所述经升频的输出图像的像素的所述第一增量图像的像素的和大于所述经升频的输出图像的所述对应像素处的所述图像的像素值的局部最大值时使所述第一增量图像的所述像素减小第一光晕缩减因数。
30.根据权利要求28所述的方法,其进一步包括在所述经升频的输出图像的所述对应像素处的经升频图像的像素与对应于所述经升频的输出图像的像素的所述第一增量图像的像素的和小于所述经升频的输出图像的所述对应像素处的所述图像的像素值的局部最小值时使所述第一增量图像的所述像素增加第二光晕缩减因数。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/631,588 | 2015-02-25 | ||
US14/631,588 US9445007B1 (en) | 2015-02-25 | 2015-02-25 | Digital zoom methods and systems |
PCT/US2016/016792 WO2016137725A1 (en) | 2015-02-25 | 2016-02-05 | Digital zoom methods and systems |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107430762A CN107430762A (zh) | 2017-12-01 |
CN107430762B true CN107430762B (zh) | 2021-04-27 |
Family
ID=55587322
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680008215.5A Expired - Fee Related CN107430762B (zh) | 2015-02-25 | 2016-02-05 | 数字变焦方法及系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9445007B1 (zh) |
EP (1) | EP3262603A1 (zh) |
JP (1) | JP6859262B2 (zh) |
CN (1) | CN107430762B (zh) |
WO (1) | WO2016137725A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10540750B2 (en) * | 2016-07-07 | 2020-01-21 | Stmicroelectronics Sa | Electronic device with an upscaling processor and associated method |
US10713792B1 (en) * | 2017-01-13 | 2020-07-14 | Amazon Technologies, Inc. | System and apparatus for image processing |
JP6904842B2 (ja) * | 2017-08-03 | 2021-07-21 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
JP6924896B2 (ja) | 2018-03-30 | 2021-08-25 | 富士フイルム株式会社 | 画像のレイアウト・サイズ算出装置および方法ならびに画像のレイアウト・サイズ算出プログラムおよびそのプログラムを格納した記録媒体 |
CN110796674A (zh) * | 2019-10-15 | 2020-02-14 | 中国人民解放军国防科技大学 | 宽线条提取相结合的sar图像边缘检测方法和装置 |
CN112805991A (zh) * | 2020-06-15 | 2021-05-14 | 深圳市大疆创新科技有限公司 | 数字变焦成像方法、装置、相机以及无人飞行器系统 |
US11363209B1 (en) * | 2021-02-24 | 2022-06-14 | Qualcomm Incorporated | Systems and methods for camera zoom |
US11321899B1 (en) * | 2021-05-28 | 2022-05-03 | Alexander Dutch | 3D animation of 2D images |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0645736B1 (en) * | 1993-09-27 | 2003-02-05 | Canon Kabushiki Kaisha | Image processing apparatus |
EP0677821A3 (en) * | 1994-04-14 | 1996-03-06 | Hewlett Packard Co | Enlargement of a digital image by slaving. |
US5446804A (en) * | 1994-04-14 | 1995-08-29 | Hewlett-Packard Company | Magnifying digital image using edge mapping |
US5905822A (en) * | 1995-07-13 | 1999-05-18 | Fuji Photo Film Co., Ltd. | Interpolating operation method and apparatus for image signals |
AU2002258683A1 (en) * | 2001-03-30 | 2002-10-15 | Kodak Polychrome Graphics | Automated sharpening of images for soft proofing |
CN1190066C (zh) * | 2001-11-28 | 2005-02-16 | 凌阳科技股份有限公司 | 数字影像放大电路的锐化加强方法与装置 |
JP3882651B2 (ja) * | 2002-03-20 | 2007-02-21 | 富士ゼロックス株式会社 | 画像処理装置およびプログラム |
CN1965330B (zh) * | 2004-06-09 | 2010-04-14 | 松下电器产业株式会社 | 图象处理方法及图象处理装置、图象放大方法 |
US7653257B2 (en) * | 2005-07-19 | 2010-01-26 | Intel Corporation | Enhancing video sequence sharpness by adaptive peaking |
US8106956B2 (en) | 2005-06-27 | 2012-01-31 | Nokia Corporation | Digital camera devices and methods for implementing digital zoom in digital camera devices and corresponding program products |
JP4794963B2 (ja) * | 2005-06-28 | 2011-10-19 | キヤノン株式会社 | 撮像装置および撮像プログラム |
JP4655991B2 (ja) | 2006-04-21 | 2011-03-23 | カシオ計算機株式会社 | 撮像装置及び電子ズーム方法と、プログラム |
US8442344B2 (en) * | 2006-08-07 | 2013-05-14 | Qualcomm Incorporated | Adaptive spatial image filter for filtering image information |
JP2008283442A (ja) | 2007-05-10 | 2008-11-20 | Olympus Corp | 撮像装置 |
CN101911112B (zh) * | 2007-12-25 | 2012-06-13 | 日本电气株式会社 | 图像处理装置、图像压缩装置及图像传输系统 |
CN101600044A (zh) * | 2008-06-03 | 2009-12-09 | 宝利微电子系统控股公司 | 基于缩放因子的图像清晰度增强方法及装置 |
CN101815157B (zh) * | 2009-02-24 | 2013-01-23 | 虹软(杭州)科技有限公司 | 图像及视频的放大方法与相关的图像处理装置 |
US8330832B2 (en) | 2009-06-23 | 2012-12-11 | Research In Motion Limited | Adjustment of sharpness during digital zoom in digital photography |
CN102137221A (zh) * | 2010-01-22 | 2011-07-27 | 富士通微电子(上海)有限公司 | 数字视频图像的锐化方法与系统 |
US8488024B2 (en) | 2010-02-10 | 2013-07-16 | Panasonic Corporation | Image capture device |
CN102164228B (zh) * | 2010-02-23 | 2013-09-18 | 科立尔有限公司 | 增强影像边缘解析的影像处理方法 |
JP2011211474A (ja) * | 2010-03-30 | 2011-10-20 | Sony Corp | 画像処理装置および画像信号処理方法 |
CN102281387B (zh) * | 2010-06-09 | 2013-07-24 | 联咏科技股份有限公司 | 影像瞬时改善装置 |
KR101582479B1 (ko) * | 2012-05-15 | 2016-01-19 | 에스케이 텔레콤주식회사 | 동영상에 포함된 헤이즈 제거를 위한 영상 처리 장치 및 그 방법 |
CN103067661B (zh) * | 2013-01-07 | 2017-12-05 | 华为终端有限公司 | 图像处理方法、装置和拍摄终端 |
CN103179324A (zh) * | 2013-03-27 | 2013-06-26 | 珠海全志科技股份有限公司 | 图像锐化方法及装置 |
-
2015
- 2015-02-25 US US14/631,588 patent/US9445007B1/en active Active
-
2016
- 2016-02-05 EP EP16711031.1A patent/EP3262603A1/en not_active Withdrawn
- 2016-02-05 CN CN201680008215.5A patent/CN107430762B/zh not_active Expired - Fee Related
- 2016-02-05 WO PCT/US2016/016792 patent/WO2016137725A1/en active Application Filing
- 2016-02-05 JP JP2017544711A patent/JP6859262B2/ja active Active
Non-Patent Citations (3)
Title |
---|
The effect of Laplacian filter in adaptive unsharp masking for infrared image enhancement;H.Gökhanİlk et al;《Infrared Physics & Technology》;20110930;第54卷(第5期);第427-438页 * |
基于双边滤波的图像去噪及锐化技术研究;邱宇;《中国博士学位论文全文数据库电子期刊 信息科技辑》;20111215;第2011年卷(第12期);第I138-64页 * |
高动态范围红外图像压缩的细节增强算法研究;詹筱;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140715;第2014年卷(第7期);第I138-784页 * |
Also Published As
Publication number | Publication date |
---|---|
WO2016137725A1 (en) | 2016-09-01 |
US9445007B1 (en) | 2016-09-13 |
CN107430762A (zh) | 2017-12-01 |
US20160248984A1 (en) | 2016-08-25 |
JP6859262B2 (ja) | 2021-04-14 |
EP3262603A1 (en) | 2018-01-03 |
JP2018508898A (ja) | 2018-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107430762B (zh) | 数字变焦方法及系统 | |
US9591237B2 (en) | Automated generation of panning shots | |
US9020302B2 (en) | Method for producing super-resolution images and nonlinear digital filter for implementing same | |
US10827107B2 (en) | Photographing method for terminal and terminal | |
JP6545670B2 (ja) | デジタルカメラに対する単一フレームベースのスーパー解像度補間のためのシステムおよび方法 | |
EP1231778A2 (en) | Method and system for motion image digital processing | |
US10726524B2 (en) | Low-resolution tile processing for real-time bokeh | |
Šorel et al. | Space-variant deblurring using one blurred and one underexposed image | |
US20200219229A1 (en) | Edge-Aware Upscaling for Improved Screen Content Quality | |
Georgiev et al. | Rich image capture with plenoptic cameras | |
Bando et al. | Towards digital refocusing from a single photograph | |
CN112184609B (zh) | 图像融合方法及装置、存储介质、终端 | |
CN107979715B (zh) | 摄像装置 | |
CN115631171A (zh) | 一种图片清晰度评价方法、系统及存储介质 | |
Yu et al. | Continuous digital zooming of asymmetric dual camera images using registration and variational image restoration | |
Kwon et al. | All-in-focus imaging using average filter-based relative focus measure | |
CN110503603A (zh) | 一种基于引导上采样获得光场重对焦图像的方法 | |
Wolf et al. | Image and Video Enhancement | |
Qian | Image enhancement methods and applications in computational photography | |
Kim | Panoramic image communication for mobile application using content-aware image resizing method | |
Feng et al. | Perceptual thumbnail generation | |
Yitzhaky et al. | Restoration of depth-based space-variant blurred images | |
Illes et al. | Realistic Depth of Field in Postproduction | |
Huang et al. | Directional moving averaging interpolation for texture mapping | |
KR20150032764A (ko) | 인위적으로 디포커스된 블러 이미지를 생성하는 방법 및 이미지 캡쳐링 디바이스 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210427 Termination date: 20220205 |