CN1991908A - 用于视频锐度增强的选择性局部瞬时改进和峰化 - Google Patents

用于视频锐度增强的选择性局部瞬时改进和峰化 Download PDF

Info

Publication number
CN1991908A
CN1991908A CN200610064223.XA CN200610064223A CN1991908A CN 1991908 A CN1991908 A CN 1991908A CN 200610064223 A CN200610064223 A CN 200610064223A CN 1991908 A CN1991908 A CN 1991908A
Authority
CN
China
Prior art keywords
value
sharpening
pixel
wavelet decomposition
linear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200610064223.XA
Other languages
English (en)
Other versions
CN1991908B (zh
Inventor
W·S·I·阿利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN1991908A publication Critical patent/CN1991908A/zh
Application granted granted Critical
Publication of CN1991908B publication Critical patent/CN1991908B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

一种选择性地锐化图像的方法，其可包括：对于图像中的至少一部分像素，确定与图像中的像素值相关联的频率内容。如果该频率内容超出阈值，则该像素可被线性地锐化。如果该频率内容没有超出阈值，则该像素可被非线性地锐化。在某些实现中，非线性锐化可包括图像的小波分解和分解分量的增强。

Description

用于视频锐度增强的选择性局部瞬时改进和峰化
相关申请的交叉参考
本申请是于2005年6月20日提交的申请NO.11/157,335(档案号为NO.P21783)的部分继续申请，该申请的内容由此被引入以供参考，本申请也是于2005年7月19日提交的申请NO.11/184,688(标签号为NO.P21764)的部分继续申请，该申请的内容由此被引入以供参考。
技术领域
要求保护的本发明的实现总地可涉及用于增强视频信息的方案，以及更具体地，涉及变更视频信息锐度的这样的方案。
背景技术
视频信息可以经由媒介以分离的时间和/或位置在时间和/或空间上进行传输以用于观看。在某些情况下，媒介可以是传输媒介，诸如载波(例如陆地的和/或电缆载送的)或基于协议的数据网络。在某些情况下，媒介可以是在其显示之前能存储视频信息的存储媒介(例如带子、硬盘、数字视频盘(DVD)等等)。典型地，视频数据在传输之前可以被编码成多种格式的其中一种。某些编码格式可以包括但不限于MPEG-1、MPEG-2、MPEG-4、高级视频编码(AVC)(例如，MPEG-4，part 10和ITU-T推荐H.264)、Windows Media Video 9(WMV-9)、和/或SMPTE’s VC-1。
视频信息的这种编码会移除(例如通过量化等)原始视频信息中的某些较高频内容。解码的信息在被显示时可能看来好象被平滑和/或有些模糊。这种现象可能不只对于编码的视频数据才有，而且例如还可能由于传输路径中的障碍而出现在传输的模拟视频中。因此，希望增加接收到的和/或解码的视频数据的锐度以提高其被感知的图像质量。
为了进一步介绍锐化(sharpen)视频的概念，将针对于图1A和1B讨论一维的例子。视频序列中的图像可以包括例如在水平和垂直方向都被采样的亮度和色度信号(例如Y，U和V)。当图像在某一区域内大致均匀时，采样值可以是基本上相同的。然而，当边缘(例如水平边缘)存在于图像中时，在水平方向的采样值可能在数值上遭受突变。图1A图示了在多个像素上有些突变的亮度值的一维曲线图110。
为了使视频信号锐化，可以通过把曲线图110的二次微分(例如d2Y/dx2)加到它自身，而在信号(例如Y，U或V)中生成过冲/负向过冲。图1B图示了通过加入负向过冲130和过冲140而被这样锐化的曲线图120。加入过冲/负向过冲140/130可以提升被感知的较高频分量。由于曲线图120可能比曲线图110具有更陡峭的边缘，因此它的转变可能比未锐化的曲线图110在视觉上被感知为更锐利。
然而，一些用于增强视频信息的锐度的方案可能把视频信息内的噪声增大到不能接受的程度。
附图说明
被结合到本说明书中并构成本说明书一部分的附图，图示了一个或多个与本发明的原理相一致的实现，并与描述一起解释这样的实现。这些附图不必是按比例的，替代地，重点要放在图示本发明的原理上。在附图中，
图1A和1B概念性地图示了把视频信号锐化；
图2图示了视频显示系统的一部分；
图3图示在图2的系统中的示例性线性锐化器；
图4概念性地图示了示范卷积核(kemel)；
图5图示在图3的线性锐化器中的放大器的示例性增益分布图；
图6图示在图2的系统中的示例性非线性锐化器；
图7图示由图6的锐化器进行的示例性第一级分解；和
图8图示选择性地改变视频数据的锐度的示例性处理过程。
具体实施方式
下面的详细描述参考于附图。在不同的图中可使用相同的参考标记来标识相同或类似的单元。在下面的描述中，为了解释而不是限制的目的，阐述了具体细节例如特定的构件、体系结构、接口、技术等，以便提供对要求保护的本发明的各个方面的透彻了解。然而，对于从本公开内容受益的本领域技术人员来说，显然要求保护的本发明的各个方面可以在脱离了这些具体细节的其它例子中实行。在某些情况下，省略了对公知设备、电路以及方法的描述，以免不必要的细节遮掩了本发明的描述。
图2图示了视频显示系统200的一部分。系统200可以接收来自于任何适当媒介的视频信息，其中任何适当的媒介包括但并不限于各种传输和/或存储媒质。虽然为了易于解释而被图示为分开的功能单元，但是系统200的任何或所有的单元都可以共处一处和/或用共同的一组门和/或晶体管来实现。更进一步地，系统200可以通过软件、固件、硬件或它们的任何适当的组合来实现。
在各种实现中，系统200可以包括一个或多个处理系统、处理子系统、处理器、计算机、设备、编码器、解码器、编码器/解码器(CODEC)、滤波设备(例如图形缩放设备(graphic scaling device)、解锁滤波设备)、转换设备、娱乐系统、显示器或任何其它处理结构，或者是成为它们的一部分。这些实现不限定在本上下文中。
图2所示的显示系统200的一部分可以包括线性锐化器210、非线性锐化器220、选择器230以及显示缓冲器240。输入到系统200的视频数据可以已经依据多个编码方案中的任意一个被解码，其中所述多个编码方案包括但不限于MPEG-1、MPEG-2、MPEG-4、高级视频编码(AVC)(例如，MPEG-4，part10和ITU-T推荐H.264)、Windows Media Video 9(WMV-9)、和/或SMPTE’sVC-1。
线性锐化器210可以起作用来选择性地锐化视频图像流。在某些实现中，线性锐化器210可以基于视频流中图片的某些部分的振幅度/或其相邻像素而对它们进行不同的锐化。
图3图示了线性锐化器210的一个实现。线性锐化器210可以包括卷积器310、放大器320和组合器330。虽然为了易于说明而把它们图示为以确定的方式被连接，但是图3中的线性锐化器210可以以其它配置来连接。例如，在某些实现中，组合器330可以位于放大器320之前，而不是如所示的位于其后。其它变例是可能和预期的。
通过对像素加入内容，卷积器310可以被安排来锐化视频数据的像素(例如Y，U和/或V分量)。卷积器310可以利用围绕所讨论的像素的多个像素对2维(2D)拉普拉斯算子核(Laplacian kernel)进行卷积，以得到一个微分值。这样的微分值—即卷积器310的输出—可以被称为锐化值。
例如，在某些实现中，卷积器310可以使用5×5核，例如图4中所示的拉普拉斯算子卷积核410。卷积器310可以利用包含所讨论的像素的例如5×5亮度数据对核410进行卷积，以得到亮度信号的2D微分。卷积器310的输出例如可以是7×7阵列，其作为5×5亮度(或色度)数据与5×5核的卷积的结果。由卷积器310输出的锐化值可以是与所讨论的像素相对应的这样的结果阵列的中心值。
除了这个具体例子之外的其他变例是预期的。例如，卷积器310可以使用与核410相比不同大小的核。在某些实现中，相同或不同的核可以被用于亮度(例如Y)和色度(例如U和/或V)视频数据。在某些实现中，只有亮度数据可以被卷积，而色度数据则未被变更地通过。
返回图3，放大器320可以被安排来选择性地增大来自于卷积器310的锐化值以产生放大的值。在某些实现中，放大器320可以应用依赖于输入—即锐化值—的非线性增益曲线，以产生放大的值。例如，在某些实现中，放大器320可以不提供(和/或不施加)增益给那些不超过输入到卷积器310的像素值总动态范围的大约5％(或另外的相对小的阈值)的锐化值。放大器320进行的这种选择性放大可以避免放大在某一信号电平以下的噪声(例如防止由组合器330输出的最终的、锐化的像素值中的“核化”(coring))。类似地，在某些实现中，放大器320 还可以不提供和/或不施加增益给超出某一阈值的锐化值。如此，放大器320还可以防止在由组合器330输出的最终的、锐化的像素值中进行限幅(clipping)。
图5图示了放大器320的示例性的增益分布图(gain profile)500。在某些实现中，可以存在期望的或优选的增益分布图510，其被示为短划线。在图5的实现中，增益分布图500可以是期望分布图510的分段线性近似。然而，其它实现是可能的和预期的，例如对期望分布图510的曲线近似(例如二次或三次函数)。在某些实现中，期望分布图510可以被精确地实施，例如通过查找表。
增益分布图500可以表示放大器320的增益(或增益比例因子)与输入信号(例如来自于卷积器310的锐化值，其可以是亮度和/或色度)的关系。增益分布图500可以基本上为零，直到核化点520，在核化点520和中间点530之间通常可以增大，在中间点520和限幅点540之间通常可以降低，且超出限幅点540则实际上可以是零。分布500的最大值550可以出现在输入值位于中间点530的时候。
在某些实现中，(例如其中的满标度值可以是对应于8位的255)，核化点520可以约为40，且中间点530可以约为50。在某些实现中，限幅点540可以是一个适当的值，用来防止在由组合器330输出的最终的、锐化的像素值中进行限幅。在某些实现中，最大值550可以设置为125，几乎是满标度值的一半。然而，其它的值是可能的。应当指出的是，增益分布图500的非零部分不需要是关于中间点530对称的。
返回图3，虽然放大器320(以及图5中相关联的增益分布图)已经被描述为基于由卷积器310输出的锐化值进行操作，但是在某些实现中，放大器320可以基于输入到卷积器310的视频数据(例如锐化前的值(pre-sharpend values))进行操作。在某些实现中，放大器320可以基于锐化前的像素数据和由卷积器310输出的锐化值的组合进行操作。不管放大器320是基于哪种数据进行操作的，它都可以发挥作用来防止在由组合器330输出的锐化的像素值中进行核化和/或限幅。
组合器330可以把来自于放大器320的放大值与输入到卷积器310的像素值组合，以输出锐化的像素值。在某些实现中，组合器330可以包括一个加法器，用于把来自放大器320的放大值加到相应的未锐化的像素值上。在某些实现中，组合器330可以包括其它逻辑电路，用来在算术上地(例如减法器、乘法器等)和/或逻辑上地(例如与(AND)、异或(XOR)等)将放大值组合到相应的适当的像素值上。
返回图2，非线性锐化器220可以发挥作用来选择性地对视频图像流进行锐化。在某些实现中，非线性锐化器220可以基于图像的以频率为基础的非线性变换来对视频流中图片的某些部分进行不同的锐化。
图6图示了非线性锐化器220的实现。非线性锐化器220可以包括小波分解模块610、水平边缘增强模块660、垂直边缘增强模块、对角边缘增强模块680以及重建模块690。
小波分解模块610可以被安排来接收输入图像620。输入图像620可以包括例如在视频序列中的图片，其中该视频序列包括在水平和垂直方向都采样的信号(例如Y，U或V)。这些实现不限定在本上下文中。
在各种实现中，小波分解模块610可以被安排来执行小波分解。小波分解可以包括例如二维正交小波分解。小波分解可以自动地检测信号分量(例如YUV或RGB)中任意常规方向上的边缘信息。可以看出的是，可使用各种小波分解。这些实现不限定在本上下文中。
在各种实现中，小波分解可以包括通过修改组成频率分量来确定边缘的位置并使得边缘更陡峭。小波分解可以包括执行对于边缘检测和/或瞬变过程的小波分析。边缘信息可以通过例如小波滤波器组而被分解，并且可以自适应地改变用于边缘的频率振幅分布。小波可以包括时间方面和标度或空间方面，这些方面使得能在时间和空间上对任何物理现象进行分析。小波分析可包括具有可变大小区域的窗口技术。小波分析可允许使用期望更精确低频信息的长的时间间隔，和使用期望高频信息的更短区域。这些实现不限定在本上下文中。
小波分解可包括采用小波变换。在各种实现中，小波变换可包括例如二维离散小波变换(2D-DWT)，诸如Debauchies小波变换。在各种实现中，小波变换可使用遵循比率为2(ratio two)的几何序列的二进标度和位置(dyadicscales and positions)以降低小波系数计算的量。二进小波变换提高了效率且通常恰好是精确的。这些实现不限定在本上下文中。
在各种实现中，小波分解可包括执行多级分解。在一个实现中，例如，小波分解可包括三级分解。例如2D-DWT可将图像分解成一个低细节分量和在水平方向、垂直方向及对角方向上的三个较高细节分量(例如包括较高频信息)。那些熟知DWT的人可认识到：在第一级的分解之后，所得到的低细节分量可在第二、第三，等等级的分解中被继续地分解。这些实现不限定在本上下文中。
小波分解模块610可安排来对原始图像620执行小波分解。在各种实现中，小波分解模块610可执行三级的二维小波分解(例如2D-DWT)以生成第一级分解630、第二级分解640和第三级分解650。这些实现不限定在本上下文中。
水平边缘增强模块660、垂直边缘增强模块和对角边缘增强模块680可被安排来改变分解输出(例如2D-DWT输出)。在各种实现中，可将水平、垂直和对角增强只施加于小波分解的细节分量(例如较高频)，而每级的小波分解的近似分量(例如较低频)可以不经过任何增强而传给重建模块690。这样可以保证该锐度增强方法不对图像中的低频分量起作用，而是对中频和高频分量起作用。这些实现不限定在本上下文中。
在各种实现中，水平边缘增强模块660、垂直边缘增强模块和对角边缘增强模块680可被安排来给较高频分量填充更多适合该被分解分量的分量。基于在每个分解级中的相对的能量的量，可区别地对待不同的分解级(软阈值)。在各种实现中，可以通过在第一级用因数t1、在第二级用因数t2和在第三级用因数t3来在水平、垂直和对角方向上增加高频分量，从而修改2D-DWT分解，其中t1＞t2＞t3。这些实现不限定在本上下文中。
水平边缘增强模块660可通过第一增强因数th1在水平方向上提升来自于第一级分解630的高频分量。水平边缘增强模块660可通过第二增强因数th2在水平方向上提升来自于第二级分解640的高频分量。水平边缘增强模块660可通过第三增强因数th3在水平方向上提升来自于第三级分解650的高频分量(th1＞th2＞th3)。这些实现不限定在本上下文中。
垂直边缘增强模块670可通过第一增强因数tv1在垂直方向上提升来自于第一级分解630的高频分量。垂直边缘增强模块670可通过第二增强因数tv2在垂直方向上提升来自于第二级分解640的高频分量。垂直边缘增强模块670可通过第三增强因数tv3在垂直方向上提升来自于第三级分解650的高频分量(tv1＞tv2＞tv3)。这些实现不限定在本上下文中。
对角边缘增强模块680可通过第一增强因数td1在对角方向上提升来自于第一级分解630的高频分量。对角边缘增强模块680可通过第二增强因数td2在对角方向上提升来自于第二级分解640的高频分量。对角边缘增强模块680可通过第三增强因数td3在对角方向上提升来自于第三级分解650的高频分量(td1＞td2＞td3)。这些实现不限定在本上下文中。
重建模块690可被安排来利用修改的分解级来执行重建。在各种实现中，重建模块690可接收来自于水平边缘增强模块660、垂直边缘增强模块670和对角边缘增强模块680的小波分解的增强的水平、垂直和对角的细节分量。重建模块690可接收来自于小波分解模块610的未被增强的小波分解的每级的近似分量(低频)。在各种实现中，重建模块690可使用亮度和/或色度(Y和/或UV)信号的修改的频率分量，并且执行逆变换以获得从小波变换返回的每个图像。这些实现不限定在本上下文中。
在某些情况下，如果边缘信息微弱，则微弱的真实信号可能受噪声的干扰。在各种实现中，可使用局部噪声测量技术来自适应地决定用于噪声存在的局部阈值以补救这种情形。局部噪声测量技术可自适应地基于图像内容确定核化值(coring value)。核化值可取决于图像特性而被设置为输入信号(YU或V)的一个非常低的百分比。在各种实现中，核化值可被设置为2-4％，从而排除原始值的几乎96％(设想一个有效的高斯假定(Gaussian assumption))以假设图像内的核化阈值。核化值可在每个分解级局部地被使用来测量噪声的水平，并在时域(图像本身)和频域(每个分解级)中都给出一个局部化的测量。这些实现不限定在本上下文中。
返回图2，选择器230可以基于来自非线性锐化器220的信息(在图2中被示为虚线)而在线性锐化器210和非线性锐化器220的输出之间进行选择，以输出到显示缓冲器240。在某些实现中，选择器230可默认为输出来自于非线性锐化器220的已锐化的视频信息，除非在图像620中有特别锐利的边缘。在存在这种锐利边缘时，替代地选择器可输出来自于线性锐化器210的已锐化的视频信息。
在某些实现中，选择器230可利用在第一级分解630中的较高频信息来确定存在或不存在锐利边缘。选择器230可依据分解630(例如在水平方向、垂直方向和/或对角方向)的任何一个、两个或所有三个较高细节分量来确定高密度空间频率的区域。可能有多种用于确定高密度空间频率的区域的方案和准则。例如，选择器230可通过将分解630的较高细节分量与阈值相比较而在像素接像素(pixel-by-pixel)(或像素组)的基础上做出这种确定。在某些实现中，选择器230可对于与超出这样阈值的像素邻接的某一数量的像素(或块)做出这种确定。在某些实现中，选择器230可凭借在某一区域内(例如块、宏块等等)的某一数量的超出阈值的值来确定高密度的区域。
纯粹为了举例说明的目的，图7显示了示例性的第一级的2D小波分解630，其中该小波分解630包括一个低细节分量710和在水平方向(即水平分量720)、在垂直方向(即垂直分量730)和在对角方向(即对角分量740)上的三个高细节分量(例如包括高频信息)。选择器230对于与分量720、730和/或740对应的环形区域的某些像素(例如高空间密度区域)可以选择线性锐化器210的输出，以及对于所有其他像素(例如低空间密度区域)可以选择非线性锐化器220的输出。虽然可利用来自于第一级小波分解630的分量来执行要求保护的本发明，但是应当并不局限于此，因为还可以通过较高级小波分解和/或其它类型的变换来提取例如高频分量720-740或类似高频信息，而执行本发明。
返回图2，显示缓冲器240可接收来自于选择器230的视频数据，并可以在将其输出到显示设备(未示出)之前暂时地存储至少一部分这样的数据。除了缓冲(例如存储)的功能之外，显示缓冲器240还可执行与显示相关的其它任务，例如使其输出信号与定时或同步信号同步以利于显示。在显示缓冲器中典型地存在的其它功能性也可以出现在显示缓冲器240中。
图8图示了选择性地改变视频数据的锐度的示范处理过程800。虽然为了简单和清楚地进行解释，可相对于在图2-7中所描述的系统200来描述图8，但应当理解的是，处理过程800可以由其它硬件和/或软件实现来执行。
处理过程开始于由选择器230确定与像素或像素组相关联的频率内容[动作810]。如前所述，基于第一级小波分解630中的、在水平、垂直和/或对角方向的其中任何一个或所有方向上的频率内容，可以作出这种确定。
如果像素或像素组的频率内容被确定为高[动作820]，则选择器230可对于这个像素或像素组输出来自于线性锐化器210的已锐化的像素值[动作830]。如此，系统200通过更大程度地(例如非线性地)增加已经是高频的内容，而避免引入噪声和/或其它不希望的影响。替代地，这些高频内容的区域可以被较低程度地(例如通常可被称为“线性”的一阶或更低阶的锐化)锐化。
如果像素或像素组的频率内容未被确定为高[动作820]，那么选择器230可对于这个像素或像素组输出来自于非线性锐化器220的已锐化的像素值[动作840]。如此，系统200可较高程度地锐化(例如通常可被称为“非线性”的二阶或更高阶的锐化)这些相对低频内容的区域。由于图像可能典型地包括较大百分比的低频内容(例如80％，90％，95％等)，所以在动作840中更多地可把非线性锐化看作是“默认”情况，而在通常数量较少的存在锐利边缘(例如高频内容)的情况下可执行动作830。
前面的对一个或多个实现的描述提供了例示和描述，但并不打算是详尽无遗的、或用来把本发明的范围限制于所公开的准确的形式。根据上述教导，修改和变化是可能的、或是可从本发明的各种实现的实践中获得的。
例如，虽然在此描述的方案可以在像素接像素的基础上来执行，但是它也可以对于图像中的像素集合或像素组来执行。而且，在此使用的术语“线性”和“非线性”不应该被严格地解译。更确切地说，“线性”在此用作对一阶或更低阶(即0阶)锐化的方便的简写。例如，增益分布图500包括零和分段线性部分，但是由于其包括一阶或更低阶的内容，故其可被认为是“线性”。同样地，在此使用的“非线性”并不需要必然地排除一阶内容。更确切地，在此使用的术语“非线性”可表示存在二阶(例如二次)或更高阶的锐化。
此外，在此描述的方案不应该受限于所公开的具体实现(例如选择性放大和基于小波)，而是除了存在高空间频率的场合之外，还可以应用到以超线性方式(super-linear manner)进行锐化的任何技术。要求保护的本发明打算包含任何这样的技术，其中它们使这种较少的较高频内容锐化，并可能利用了不相同的技术。
更进一步地，图7中的至少某些动作可以被实施为指令或指令集，它们被实现在机器可读的介质中。
在本申请的描述中所使用的单元、动作或指令，没有一个应被解释为对本发明是关键性的或根本性的，除非被明确地这样描述。此外，在此使用的冠词“一”打算包括一个或多个项目。在基本上不脱离本发明的精神和原理的情况下，可以对要求保护的本发明的上述实现做出变化和修改。所有这种修改或变化在此都打算包括在本公开内容的范围内，并由随后的权利要求予以保护。

Claims (19)

1、一种方法，包括：
确定与图像内的像素值相关联的频率内容；
如果该频率内容超出阈值则将该像素线性地锐化；以及
如果该频率内容没有超出阈值则将该像素非线性地锐化。
2、如权利要求1所述的方法，其中所述确定包括：
使用小波将该图像分解成第一级小波分解。
3、如权利要求2所述的方法，其中所述频率内容包括在第一级小波分解中的水平分量，在第一级小波分解中的垂直分量，或在第一级小波分解中的对角分量。
4、如权利要求1所述的方法，其中所述线性地锐化包括：
生成用于像素值的锐化值，
以分段线性方式放大该锐化值以产生放大的值，以及
组合该像素值与该放大的值。
5、如权利要求4所述的方法，其中所述生成包括：
用一个核对该像素值和多个周围的像素进行卷积，以产生所述锐化值。
6、如权利要求1所述的方法，其中所述非线性地锐化包括：
执行图像的小波分解以产生输出，以及
增强小波分解的输出的高频分量。
7、如权利要求6所述的方法，其中所述非线性地锐化还包括：
基于已增强的小波分解的输出的高频分量来重建图像。
8、一种系统，包括：
线性锐化器，其选择性地锐化图像的像素、并输出对于该像素的线性锐化的值；
非线性锐化器，其选择性地锐化该像素、并输出对于该像素的非线性锐化的值；以及
选择器，其基于与该像素相关联的频率内容来选取该线性锐化的值和非线性锐化的值中的一个作为输出值。
9、如权利要求8所述的系统，其中所述频率内容从非线性锐化器获得。
10、如权利要求8所述的系统，其中所述线性锐化器包括：
锐化部分，其将像素锐化并输出锐化值，
放大器，其施加增益给该锐化值以产生变更的值，其中所述增益改变了锐化值的函数，以及
组合器，其组合所述变更的值和所述像素、并输出线性锐化的值。
11、如权利要求10所述的系统，其中所述锐化部分包括：
卷积器，其用同样大小的核对所述像素和多个周围的像素进行卷积。
12、如权利要求8所述的系统，其中所述非线性锐化器包括：
小波分解模块，其执行图像的小波分解以检测和修改边缘信息；以及
边缘增强模块，其增强来自于小波分解模块的小波分解输出。
13、如权利要求12所述的系统，其中所述非线性锐化器还包括：
重建模块，其基于来自该小波分解模块和边缘增强模块的输出来执行图像重建。
14、如权利要求8所述的系统，其中所述选择器被安排来当与像素相关联的频率内容超出阈值时选取线性锐化的值作为输出值，以及
其中所述选择器被安排来当与像素相关联的频率内容没有超出阈值时选取非线性锐化的值作为输出值。
15、如权利要求8所述的系统，还包括：
显示缓冲器，其存储来自于选择器的输出值。
16、一种方法，包括：
利用第一锐化技术以第一数量将图像中的像素锐化以产生第一锐化的值；
利用第二锐化技术以小于第一数量的第二数量将图像中的像素锐化以产生第二锐化的值；
如果与像素相关联的空间频率为高，则选择第二锐化的值；以及
如果与像素相关联的空间频率不高，则选择第一锐化的值。
17、如权利要求16所述的方法，其中所述第一锐化技术包括图像的小波分解、分解分量的增强以及图像的重建。
18、如权利要求16所述的方法，其中所述第二锐化技术包括将分段线性增益函数应用到用于该像素的锐化值。
19、如权利要求17所述的方法，其中与该像素相关联的空间频率是从分解的分量中获得的。
CN200610064223.XA 2005-12-29 2006-12-29 用于视频锐度增强的选择性局部瞬时改进和峰化 Expired - Fee Related CN1991908B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/321,690 US7668387B2 (en) 2005-06-20 2005-12-29 Selective local transient improvement and peaking for video sharpness enhancement
US11/321690 2005-12-29

Publications (2)

Publication Number Publication Date
CN1991908A true CN1991908A (zh) 2007-07-04
CN1991908B CN1991908B (zh) 2012-08-08

Family

ID=38015386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200610064223.XA Expired - Fee Related CN1991908B (zh) 2005-12-29 2006-12-29 用于视频锐度增强的选择性局部瞬时改进和峰化

Country Status (6)

Country Link
US (3) US7668387B2 (zh)
EP (1) EP1966994A2 (zh)
JP (1) JP4681655B2 (zh)
CN (1) CN1991908B (zh)
TW (1) TWI330494B (zh)
WO (1) WO2007078829A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111143585A (zh) * 2019-04-11 2020-05-12 王晓东 自动化大数据排序方法

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8872906B2 (en) 2005-01-05 2014-10-28 Avantis Medical Systems, Inc. Endoscope assembly with a polarizing filter
US8235887B2 (en) 2006-01-23 2012-08-07 Avantis Medical Systems, Inc. Endoscope assembly with retroscope
US8182422B2 (en) 2005-12-13 2012-05-22 Avantis Medical Systems, Inc. Endoscope having detachable imaging device and method of using
US8797392B2 (en) 2005-01-05 2014-08-05 Avantis Medical Sytems, Inc. Endoscope assembly with a polarizing filter
US8289381B2 (en) 2005-01-05 2012-10-16 Avantis Medical Systems, Inc. Endoscope with an imaging catheter assembly and method of configuring an endoscope
US7847863B2 (en) * 2005-06-10 2010-12-07 Intel Corporation Enhancing sharpness in video images
US7668387B2 (en) * 2005-06-20 2010-02-23 Intel Corporation Selective local transient improvement and peaking for video sharpness enhancement
US8287446B2 (en) 2006-04-18 2012-10-16 Avantis Medical Systems, Inc. Vibratory device, endoscope having such a device, method for configuring an endoscope, and method of reducing looping of an endoscope
JP2009537283A (ja) 2006-05-19 2009-10-29 アヴァンティス メディカル システムズ インコーポレイテッド ビデオアーチファクトの影響を低減するための装置および方法
US8577168B2 (en) * 2006-12-28 2013-11-05 Vidyo, Inc. System and method for in-loop deblocking in scalable video coding
US8064666B2 (en) 2007-04-10 2011-11-22 Avantis Medical Systems, Inc. Method and device for examining or imaging an interior surface of a cavity
US8885967B2 (en) * 2009-01-19 2014-11-11 Csr Technology Inc. Method and apparatus for content adaptive sharpness enhancement
US8503814B2 (en) * 2009-01-19 2013-08-06 Csr Technology Inc. Method and apparatus for spectrum estimation
JP2010278929A (ja) * 2009-05-29 2010-12-09 Toshiba Corp 画像処理装置
US8655101B2 (en) 2009-06-04 2014-02-18 Sharp Kabushiki Kaisha Signal processing device, control method for signal processing device, control program, and computer-readable storage medium having the control program recorded therein
JP2011024050A (ja) * 2009-07-16 2011-02-03 Canon Inc 画像処理装置および画像処理方法
CN102598668B (zh) 2009-11-17 2014-11-12 夏普株式会社 编码装置、解码装置、编码装置的控制方法、解码装置的控制方法、传送系统
US8824825B2 (en) 2009-11-17 2014-09-02 Sharp Kabushiki Kaisha Decoding device with nonlinear process section, control method for the decoding device, transmission system, and computer-readable recording medium having a control program recorded thereon
US8284314B2 (en) * 2009-12-16 2012-10-09 Vixs Systems, Inc. Adaptive edge enhancement using directional components from non-linear filtering
CN102771111B (zh) 2010-02-15 2015-04-29 夏普株式会社 信号处理装置和集成电路
TW201133394A (en) * 2010-03-31 2011-10-01 Novatek Microelectronics Corp Image transient improvement apparatus
US8773594B2 (en) 2010-09-29 2014-07-08 Sharp Kabushiki Kaisha Signal processing device, and integrated circuit including oblique lowpass filtering and multiple sharpening components
US8795179B2 (en) * 2011-04-12 2014-08-05 Shenzhen Mindray Bio-Medical Electronics Co., Ltd. Methods, modules, and systems for gain control in B-mode ultrasonic imaging
US9324133B2 (en) 2012-01-04 2016-04-26 Sharp Laboratories Of America, Inc. Image content enhancement using a dictionary technique
JP5703255B2 (ja) * 2012-04-27 2015-04-15 株式会社東芝 画像処理装置、画像処理方法およびプログラム
US20160022377A1 (en) * 2013-03-15 2016-01-28 Ultradent Products, Inc. Combined use of ultrasound with nickel titanium endodontic file in endodontic procedure
KR101457896B1 (ko) 2013-03-21 2014-11-04 삼성전자주식회사 영상의 세밀감을 향상시키기 위한 처리 방법 및 장치
FR3018081B1 (fr) 2014-03-03 2020-04-17 Acerde Procede de reparation d'une anode pour l'emission de rayons x et anode reparee
WO2024057768A1 (ja) * 2022-09-14 2024-03-21 富士フイルム株式会社 画像生成装置、学習装置、画像処理装置、画像生成方法、学習方法及び画像処理方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3629396C2 (de) * 1986-08-29 1993-12-23 Agfa Gevaert Ag Verfahren zur elektronischen Bildverarbeitung
DE69214229T2 (de) * 1991-08-14 1997-04-30 Agfa Gevaert Nv Verfahren und Vorrichtung zur Kontrastverbesserung von Bildern
US5703965A (en) * 1992-06-05 1997-12-30 The Regents Of The University Of California Image compression/decompression based on mathematical transform, reduction/expansion, and image sharpening
US6141446A (en) * 1994-09-21 2000-10-31 Ricoh Company, Ltd. Compression and decompression system with reversible wavelets and lossy reconstruction
GB2311432B (en) * 1996-03-20 2000-05-03 Sony Uk Ltd Method and apparatus for processing an input image
US5880767A (en) * 1996-09-11 1999-03-09 Hewlett-Packard Company Perceptual image resolution enhancement system
US5889559A (en) * 1997-01-14 1999-03-30 Intel Coproration Method and apparatus for minimally-shifted wavelet decomposition and recomposition
DE19708109A1 (de) * 1997-02-28 1998-09-03 Hella Kg Hueck & Co Scheinwerfer für Fahrzeuge
WO1998040842A1 (en) * 1997-03-11 1998-09-17 Computer Information And Sciences, Inc. System and method for image compression and decompression
US6021228A (en) * 1997-10-14 2000-02-01 Netscape Communications Corporation Integer-only short-filter length signal analysis/synthesis method and apparatus
US6051228A (en) * 1998-02-19 2000-04-18 Bristol-Myers Squibb Co. Antibodies against human CD40
US6697534B1 (en) * 1999-06-09 2004-02-24 Intel Corporation Method and apparatus for adaptively sharpening local image content of an image
US6611627B1 (en) * 2000-04-24 2003-08-26 Eastman Kodak Company Digital image processing method for edge shaping
US6600518B1 (en) * 2000-11-06 2003-07-29 Koninklijke Philips Electronics N.V. Adaptive clipping prevention for picture sharpness enhancement
JP4187134B2 (ja) * 2001-02-20 2008-11-26 株式会社リコー 画像処理装置、画像処理方法、該方法を実行するプログラムおよび該プログラムを記録した記録媒体
US7391901B2 (en) * 2003-09-29 2008-06-24 Xerox Corporation Method for embedding color image information into a black-and-white image
US7676103B2 (en) * 2005-06-20 2010-03-09 Intel Corporation Enhancing video sharpness and contrast by luminance and chrominance transient improvement
US7668387B2 (en) * 2005-06-20 2010-02-23 Intel Corporation Selective local transient improvement and peaking for video sharpness enhancement
US7653257B2 (en) * 2005-07-19 2010-01-26 Intel Corporation Enhancing video sequence sharpness by adaptive peaking

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111143585A (zh) * 2019-04-11 2020-05-12 王晓东 自动化大数据排序方法

Also Published As

Publication number Publication date
TWI330494B (en) 2010-09-11
WO2007078829A9 (en) 2007-08-23
US8260073B2 (en) 2012-09-04
JP2009515440A (ja) 2009-04-09
US20110211767A1 (en) 2011-09-01
EP1966994A2 (en) 2008-09-10
US7668387B2 (en) 2010-02-23
US7957605B2 (en) 2011-06-07
TW200803467A (en) 2008-01-01
WO2007078829A1 (en) 2007-07-12
US20060285766A1 (en) 2006-12-21
JP4681655B2 (ja) 2011-05-11
US20100150468A1 (en) 2010-06-17
CN1991908B (zh) 2012-08-08

Similar Documents

Publication Publication Date Title
CN1991908A (zh) 用于视频锐度增强的选择性局部瞬时改进和峰化
EP1892964B1 (en) A data filling technique for compound document compression
CN1085464C (zh) 用于减少阻塞效应和跳动噪声的信号自适应后处理方法
US5432870A (en) Method and apparatus for compressing and decompressing images of documents
Di et al. High-fidelity reversible data hiding by Quadtree-based pixel value ordering
Rabie et al. Maximizing embedding capacity and stego quality: curve-fitting in the transform domain
Haribabu et al. A secure & invisible image watermarking scheme based on wavelet transform in HSI color space
CN1217124A (zh) 基于区域的纹理编码和译码方法以及相应的系统
CN104766289A (zh) 一种图像去噪和压缩处理方法
Malallah et al. Reversible color video watermarking scheme based on hybrid of integer-to-integer wavelet transform and Arnold transform
Thriveni Satellite image enhancement using discrete wavelet transform and threshold decomposition driven morphological filter
Muhammad et al. Image noise reduction based on block matching in wavelet frame domain
Van Trinh et al. Edge-preserving block compressive sensing with projected landweber
JP3727767B2 (ja) 画像処理装置
Bao et al. Local adaptive shrinkage threshold denoising using curvelet coefficients
Taujuddin et al. Progressive Pixel-to-Pixel Evaluation to Obtain the Hard and Smooth Region for Image Compression
Thomas et al. A novel image compression method using wavelet coefficients and Huffman coding
Aherrahrou et al. The efficiency of PDE decomposition in images watermarking
Kobozeva et al. Steganographic Method with Code Control of Information Embedding Based on Multi-level Code Words
Saevarsson et al. Combined curvelet and wavelet denoising
Ali Real time video sharpness enhancement by wavelet-based luminance transient improvement
Alkanhel et al. Securing Color Video When Transmitting through Communication Channels Using DT-CWT-Based Watermarking. Electronics 2022, 11, 1849
Nishanthi et al. Modified BPS algorithm based on shearlet transform for noisy images
Murakami et al. Direction-adaptive hierarchical decomposition for image coding
Nadernejad et al. Improving quality of fractal compressed images

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120808

Termination date: 20171229