CN101815157B - 图像及视频的放大方法与相关的图像处理装置 - Google Patents

Abstract

本发明是一种图像及视频的放大方法与相关的图像处理装置，所述方法包括一预处理模块及一复合放大模块，所述预处理模块是对输入图像执行一高通滤波处理，提取所述输入图像的高频部分，且对所述输入图像执行一图像分解处理，以将输入图像分解成平坦区域和边缘区域；所述复合放大模块是对于原输入图像及平坦区域使用简单插值运算进行放大处理，对于边缘区域及高频部分，则同时使用复杂插值运算和简单插值运算来进行放大处理；所述方法对原输入图像、平坦区域、边缘区域及高频部分的放大结果，进行融合，即能在运算工作量较小、复杂度较低及速度较高的情形下，依预定的放大比例，输出一具有抗锯齿、边缘锐利、细节丰富及对比度强等特点的输出图像。

Description

图像及视频的放大方法与相关的图像处理装置

技术领域

本发明涉及一种图像及视频的放大(upscaling)方法，尤指一种将低解析度的输入图像放大且显示在高解析度的视频设备上时，能使放大的输出图像仍具有抗锯齿、边缘锐利、细节丰富及对比度强等特点的方法。

背景技术

近年来，各式数字摄像装置(如：数字相机及摄影机等)不断推陈出新，不仅图像品质愈来愈高、产品体积愈来愈小，其市场价格也日渐便宜，因此，所述数字摄像装置已日益普及，而成为人们日常生活及工作中不可或缺的一重要工具。以目前市场上颇为流行的具摄像功能的移动电话为例，所述移动电话除设有CCD或CMOS摄像单元，用以拍摄图像外，尚设有一小尺寸的液晶显示荧幕，用以显示所拍摄的图像，供使用者浏览。一般而言，当使用者利用移动电话拍摄景物时，所拍摄的图像储存在其内所插设的一记忆卡内，使用者在移动电话上点选图像时，移动电话将自记忆卡内读取欲浏览的图像，并经重新编码后，将图像的缩小图显示在液晶显示荧幕上，如此，使用者即可在液晶显示荧幕上对图像进行缩小、放大、拖曳或调整页面大小等操控动作。因此，无论前述数字摄像装置上储存的图像是几百万个位元组(如：1.2Mega byte)，或数十万个位元组(如：120K byte)，所述图像均是被储存在其上所设的一储存装置(如：记忆卡、硬盘或移动存储器)内，使用者每次点选欲浏览的图像时，数字摄像装置再自储存装置内读取图像，并经重新编码，将原始图像缩小成数万个位元组(如：75K byte)或数千个位元组(如：7.5K byte)的缩小图后，始将缩小图显示在小尺寸的液晶显示荧幕上，供使用者浏览，并令使用者可依实际需要，对缩小图进行缩小、放大、拖曳或页面大小调整等操控动作。

由于，所述数字摄像装置的图像解析度及读取速度已愈来愈高，使得各式数字摄像装置已被广泛地应用在各专业领域，如：刑事、生物、医药及天文科学等，用以保存许多重要的事证，如：刑事案件的关键线索、证物或犯罪现场等存证图像；生物科学的新发现或实验结果；医学上X光片或电脑断层图像等供医疗人员判断病征的资料，因此，如何为专业研究人员保存实验室或其他研究领域中的重要事证，并以数字图像格式存档，作为日后实验或研究时，查阅或比对的重要数据，且在对数字图像进行放大时，能有效降低图像失真，提供高解析度且有利于辨识的数字图像，供解读及研判数字图像内所呈现的相关特征，即成为各所述专业领域人士非常重视的一项课题。

按，图像处理业者及设计人员对于图像及视频放大技术，已展开了很多年的研究，无论是从初期的线性放大技术，到后来基于边缘(edge)的放大技术，新的理论及应用方法不断地被开发出来，其中常用的线性放大技术包括双线性插值运算(Bilinear Interpolation)、双立方插值运算(Bicubic Interpolation)及兰索斯法(Lanzcos)等，而基于边缘的放大技术中最具代表性者则是NEDI(NewEdge-Directed Interpolation)，但是，所述这些放大技术仍存在诸多缺点，其中前述线性放大技术容易造成边缘锯齿(blocky edge)效应、细节损失及边缘模糊(blurry)等问题，而前述基于边缘的放大技术是沿着图像的边缘根据梯度方向(gradient direction)进行插值(interpolation)，虽可解决部分的边缘锯齿和模糊等问题，但是，所述基于边缘的放大技术对于边缘方向(edge direction)的准确性有着较大的依赖，容易出现因边缘方向不准确，而造成插值错误的现象，特别是，在图像中细节丰富且边缘杂乱的区域中，插值错误的问题格外明显且严重；此外，所述基于边缘的放大技术，为了保持其结果的准确性，往往必需使用庞大的运算，易造成图像处理效率不彰的问题。最后，由于目前使用的放大技术一般均是采用邻域(neighborhood)图元(pixel)的加权求和，来进行插值计算，对原图像具有低通滤波的作用，故在图像被放大后，不可避免地会造成原图像上应有的锐度和细节信息(高频部分)的损失。有鉴于此，图像处理业者为恢复原图像的品质，往往会在图像被放大后，对图像进行一些增强和恢复处理，但是所述处理又产生了边缘过冲(overshoot)及振铃效应(ringing effect)等新的瑕疵。

故，如何提供一种全新的图像放大技术，使得解析度较低的图像及视频被放大且显示在解析度较高的视频设备上时，仍能呈现清晰且有利于辨识相关特征的数字图像，即成为各图像处理业者及设计人员刻正努力研究且亟待解决的一重要课题。

发明内容

有鉴于此，本发明的一目的，在于提供一种图像及视频的放大方法与相关的图像处理装置，以改进前述传统图像放大技术的缺点。

本发明揭露一种图像及视频的放大方法，其是应用在一图像处理装置上，以在一数字图像被输入所述图像处理装置后，所述图像处理装置能依预定的放大比例，输出一放大的数字图像，所述方法包括提供一预处理模块及一复合放大模块，其中所述预处理模块是对所述输入图像执行一高通滤波处理，提取所述输入图像的高频部分，用于对放大后的图像进行高频补偿，且对所述输入图像执行一图像分解处理，利用梯度运算元提取所述输入图像的梯度，且根据预设的一固定门限，将所述输入图像分解成平坦区域和边缘区域，并在输入图像上标记所述二区域，所述复合放大模块是对原输入图像、平坦区域、边缘区域及高频部分，分别进行放大处理，其中对于原输入图像及平坦区域是使用简单插值运算，如：双立方插值运算(bicubicinterpolation)，进行放大处理，对于边缘区域及高频部分则同时使用复杂插值运算和简单插值运算，复杂插值运算是对边缘区域及高频部分的图元使用方向插值(directional interpolation)运算，进行放大处理，对所述方向插值运算的结果，进行可信度处理(confidence process)，即边缘方向愈明确，方向插值运算结果的可信度愈高，否则，方向插值运算结果的可信度愈低，再根据计算得到的可信度，对方向插值运算的结果和简单插值运算的结果进行加权求和(weighted sum)，最后，对原输入图像、平坦区域、边缘区域及高频部分的放大结果，进行融合，即能在运算工作量较小、复杂度较低及速度较高的情形下，依预定的放大比例，输出一具有抗锯齿、边缘锐利、细节丰富及对比度强等特点的输出图像。

本发明另揭露一种图像处理装置，用以在一数字图像被输入所述图像处理装置后，能依据一放大比例，输出一放大的数字图像。所述图像处理装置包括：一预处理模块，用以对所述输入图像执行一高通滤波处理，以提取所述输入图像的高频部分，所述高频部分是用于对所述输入图像的放大结果进行高频补偿，所述预处理模块并对所述输入图像执行一图像分解处理，所述图像分解处理是利用一梯度运算元提取所述输入图像的图像梯度，且根据预设的一固定门限，将所述输入图像分解成平坦区域和边缘区域，并在所述输入图像上标记所述二区域；一复合放大模块，其对于原输入图像及所述平坦区域是使用一简单插值运算，进行放大处理，对于所述边缘区域及所述高频部分分别同时使用一复杂插值运算和所述简单插值运算，进行放大处理，接着，对所述复杂插值运算的结果，进行可信度处理，其中，边缘方向愈明确，所述复杂插值运算的结果的可信度愈高，否则，所述复杂插值运算的结果的可信度愈低，最后，根据所述可信度，对所述复杂插值运算的结果和所述简单插值运算的结果进行加权求和；以及一融合处理单元，用以将原输入图像、平坦区域、边缘区域及高频部分的放大结果，融合成为所述输出图像。

本发明的有益效果在于：使用本发明的方法对低解析度的输入图像进行放大，以显示在高解析度的视频设备上时，不仅能使放大运算量较其他基于边缘的方法为小，且在复杂度较低及速度较高的情形下，使放大的输出图像仍具有抗锯齿、边缘锐利、细节丰富及对比度强等特点，以在对数字图像进行放大时，能有效降低图像失真，提供高解析度且有利于辨识相关特征的数字图像。

附图说明

图1是本发明的图像处理装置的架构示意图；

图2是本发明的图像处理装置的细部架构示意图；

图3是本发明的图像分解处理的细部架构示意图；

图4是在本发明的一最佳实施例中一幅经过插值放大得到的高解析度的图像示意图；

图5是所述实施例中第一复合插值放大模块及第二复合插值放大模块的架构示意图；

图6是所述实施例中复杂插值放大运算的细部架构示意图；

图7是所述实施例中一幅经过方向插值运算得到的高解析度的图像示意图；

图8A是一视频播放软件的架构的示意图；

图8B是将图8A的预处理模块与复合放大模块整合于视频渲染器的示意图；及

图9是图8B的视频播放软件架构的一具体实施例的方块图。

附图标记说明：1-图像处理装置；10-预处理模块；11-高通滤波处理；12-图像分解处理；121-图像分解；122-去杂乱处理；123-形态学膨胀处理；30-复合放大模块；31-第一复合插值放大模块；32-第二复合插值放大模块；33-融合处理；34-锐化处理；51-边缘区域的判断处理；52-复杂插值运算；53-简单插值运算；521-方向插值运算；522-可信度及权重计算；523-加权求和处理；80，90-视频播放器；81，91-视频解码器；82，92-视频渲染器；921-放大模块；922-融合器与呈现器；9210-提取影像纹理；9211-去噪点；9212-去块；9213-边缘插值运算；9214-抗锯齿；9215-边缘锐化；9216-双线性插值运算；9217-设定影像纹理。

具体实施方式

以下结合附图，对本发明上述的和另外的技术特征和优点作更详细的说明。

本发明是一种图像及视频的放大方法，请参阅图1所示，所述方法是应用在一图像处理装置1上，以在一数字图像被输入所述图像处理装置1后，所述图像处理装置1能依预定的放大比例，输出一放大的数字图像，使得一解析度较低的输入图像及视频被放大，且被显示在一解析度较高的视频设备上时，仍能呈现出清晰且有利于辨识相关特征的数字图像。在本发明的一较佳实施例中，参阅图1所示，所述方法包括提供一预处理模块(preprocess module)10及一复合放大模块(compositeup-scaling module)30，参阅图2所示，其中所述预处理模块10是对一输入图像执行一高通滤波处理11，提取所述输入图像的高频部分，以在后续处理过程中，利用所述高频部分对所述输入图像的放大结果进行高频补偿，且对所述输入图像执行一图像分解处理12，利用梯度运算元，将所述输入图像分解成平坦区域和边缘区域，所述复合放大模块30是对原输入图像、平坦区域、边缘区域及高频部分，分别进行放大处理，其中对于原输入图像及平坦区域是使用简单插值运算，对于边缘区域及高频部分则同时使用复杂插值运算与简单插值运算，最后，对原输入图像、平坦区域、边缘区域及高频部分的放大结果，进行一融合处理33，即能依预定的放大比例，产生一输出图像。

由于，目前使用的传统插值放大技术都具有低通滤波的特性，输入图像被放大后，放大的输出图像必然会损失掉输入图像中的高频信息，在所述实施例中，复参阅图1所示，所述预处理模块10为了防止高频信息的过分损失，以为后续处理做好准备工作，会对输入图像先进行所述高通滤波处理11，参阅图2所示，以提取输入图像中高频成分，在输入图像的放大处理过程中，所述高频部分与所述边缘区域是使用相同的插值运算法被放大，当原输入图像、平坦区域、边缘区域及高频部分都完成放大后，再对其进行所述融合处理(fusion)33，以补偿输入图像在放大过程中损失的高频部分。

此外，由于人眼往往对图像中梯度较强的边缘区域特别敏感，因此，在所述实施例中，为了减少后续插值放大处理的运算量，以简化及加速整体的运算效能，仅对图像中人眼特别敏感的边缘区域使用复杂插值运算(如：方向插值运算(directional interpolation))，进行高精确度的放大处理，对于图像中平坦区域则使用简单插值运算，如：双立方插值运算(bicubic interpolation)，进行放大处理，此一权宜作法，最终仍能在不影响视觉效果的前提下，获得清晰的放大图像。另，由于图像中较为杂乱的边缘区域(如：草地等)，其边缘方向不易准确判断，且人眼对于所述这些杂乱的边缘区域的放大处理是否准确，也不会太感兴趣，所以，在所述实施例中，对于所述这些杂乱的边缘区域也同时使用简单插值运算，以简化插值放大处理的复杂度及运算量。为了实现前述目的，参阅图3所示，所述实施例在对输入图像执行所述图像分解处理12时，是先针对输入图像进行一图像分解121，以分解出平坦区域和边缘区域，其作法是利用梯度运算元，提取高频成分的梯度Grd(x)，在所述实施例中是使用sobel运算元(operator)，提取高频成分的梯度Grd(x)，然后，根据人眼对梯度变化的敏感程度，使用固定门限ThreshD为16，根据下列公式(1)分解出平坦区域(plane)和边缘区域(edge)，并对高频成分的图元(pixel)进行标记Label(x)：

$\mathrm{Label}\left(x\right)=\left\{\begin{array}{cc}\mathrm{Edge},& \mathrm{if}(\mathrm{Grd}\left(x\right)\&GreaterEqual;\mathrm{ThreshD})\\ \mathrm{Plane},& \mathrm{if}(\mathrm{Grd}\left(x\right)<\mathrm{ThreshD})\end{array}\right.---\left(1\right);$

复参阅图3所示，再针对所述边缘区域内较为杂乱的边缘图元，进行一去杂乱处理122，去掉杂乱的边缘图元，其作法是先提取某一边缘图元的一预定范围的邻域M×N，再统计所述邻域内边缘图元的数目Nedge，且根据下列公式(2)，在判断出所述邻域内边缘图元的数目超过一预定数目(太多或太少)时，即删除所述边缘图元：

if(Nedge＞ThrH or Nedge＜ThrL)remove the edge；………………….(2)，

其中ThrL＝min(M，N)，ThrH＝0.8·M·N。最后，为了扩大边缘区域，复参阅图3所示，所述实施例乃对边缘图元向四周进行一形态学膨胀处理(dilation)123，在所述实施例中是使用十字结构元(Cross structure element)，对边缘图元进行所述形态学膨胀处理123，以扩大边缘区域。

在所述实施例中，参阅图1及3所示，所述复合放大模块30是对原输入图像、平坦区域、边缘区域及高频部分，分别进行放大处理，其中对于边缘区域及高频部分是使用第一复合插值放大模块31，进行插值放大及增益处理，对于原输入图像及平坦区域是使用第二复合插值放大模块32进行插值放大处理，第一复合插值放大模块31和第二复合插值放大模块32中所使用的插值放大运算法可为相同，且在实际运算过程中，第一复合插值放大模块31和第二复合插值放大模块32中的插值放大运算可同时进行，以节省整体的运算量，最后，再对所述第一复合插值放大模块31及第二复合插值放大模块32输出的图像，进行融合(fusion)处理33，整个计算过程依下列公式(3)，即能依预定的放大比例，产生一高解析度的输出图像：

HR(x)＝LR(x)*Hp(x)*CUp(x)·Gain+LR(x)*CUp(x)…………….(3)，

其中HR(x)是高解析度的输出图像，LR(x)是低解析度的输入图像，Hp(x)是预处理模块10使用的高通滤波函数，CUp(x)是所述第一复合插值放大模块31和第二复合插值放大模块32中使用的插值放大函数，Gain是所述第一复合插值放大模块31中使用的常数增益因数。

一般言，所述这些复合插值放大模块31及32主要是执行输入图像的放大功能，目前使用的插值放大技术只能将输入图像放大成偶数倍，若要放大成任意倍，则要结合使用降采样(down sample)技术。现在以放大两倍为例，说明所述这些复合插值放大模块31及32的功能，参阅图4所示为一幅经过插值放大得到的高解析度的图像，其中标记为黑色的图元是直接从低解析度的输入图像中拷贝而来的图元，其他图元则是根据黑色图元插值而来的图元，在本发明的插值放大运算过程中，是先计算标记为灰色的图元，最后，再计算白色图元，且本发明针对由原输入图像分解出的边缘区域及平坦区域，是使用不同的插值放大运算，其中对于边缘区域使用复杂插值运算(smart interpolation)，如：方向插值运算，对于平坦区域则使用简单插值运算(simple interpolation)如：双立方插值运算。

在所述实施例中，所述第一复合插值放大模块31分别对预处理模块10输出的边缘区域及高频部分进行插值放大处理，所述第二复合插值放大模块32分别对预处理模块10输出的原输入图像及平坦区域进行插值放大处理，第一复合插值放大模块31和第二复合插值放大模块32可使用相同的插值放大运算法，参阅图5所示，唯一不同的地方在于第一复合插值放大模块31的放大结果要做增益处理。由于，所述预处理模块10已经在原输入图像上标记了边缘区域和平坦区域，根据所述这些标记，第一复合插值放大模块31和第二复合插值放大模块32会针对图像中的图元进行边缘区域的判断处理51，若被标记为边缘区域，即采用复杂插值运算52但是对于其中的所述杂乱的边缘区域则使用简单插值运算，若被标记为平坦区域，则采用简单插值运算(如：双立方插值运算)53，其中所述复杂插值运算52的运算结构，参阅图6所示，是针对处于边缘区域的当前图元，同时进行方向插值运算521(directional interpolation)和简单插值运算53(如：双立方插值运算)，然后，针对方向插值运算521的结果，执行可信度(confidence)及权重(weight)计算522，可信度计算的原则是边缘方向愈明确，方向插值运算521结果的可信度愈高，否则，可信度愈低；最后，根据可信度及权重计算522得到的可信度，再对方向插值运算521的结果和简单插值运算53的结果，进行加权求和(weighted sum)处理523，并予输出。

在所述实施例中，方向插值运算521是先根据处于边缘区域的当前图元的梯度值，估算出其边缘方向，然后，沿着其边缘方向获取其他图元，以进行插值放大运算，以下是以图7所示的灰色点x为例，说明如何使用方向插值运算521，将灰色图元x的插值范本旋转45度，而得到图7所示白色图元的运算过程：

首先，复参阅图7所示，使用所述灰色图元x邻域的12个图元P₀～P₁₁，依照下列公式(4)，对其进行插值计算DPx，由于其插值计算是从六个方向进行判断，而所述等图元P₀～P₁₁的排列更接近于圆形，故具有更高的精确度：

$\mathrm{DPx}=\underset{i=0}{\overset{11}{\mathrm{\&Sigma;}}}{a}_i\&CenterDot;P_i,\underset{i=0}{\overset{11}{\mathrm{\&Sigma;}}}{a}_i=1---\left(4\right),$

其中a_i为所述这些邻域图元P₀～P₁₁的加权系统，依照下列公式(5)，计算其六个方向上的梯度值：

Dir₀＝|P₀-P₃|，Dir₁＝|P₁-P₂|，Dir₂＝|P₄-P₇|，

Dir₃＝|P₅-P₆|，Dir₄＝|P₈-P₁₁|，Dir₅＝|P₉-P₁₀|……………….(5)，

若公式(5)中有些邻域图元P₀～P₁₁还未计算出，可先用简单插值运算53(如：双立方插值运算)估算出替代值。然后，使用所述等梯度值，依照下列公式(6)，计算各图元的权重a_i：

${\mathrm{Dir}}_{\min }=\min ({\mathrm{Dir}}_0,...{\mathrm{Dir}}_5),\begin{array}{}\end{array}\left\{\begin{array}{cc}\mathrm{if}({\mathrm{Dir}}_{\min }==\mathrm{Di}{r}_0)& a_0=a_3=0.5,\mathrm{other}{a}_i=0\\ \mathrm{if}({\mathrm{Dir}}_{\min }=={\mathrm{Dir}}_1)& a_1=a_2=0.5,\mathrm{other}{a}_i=0\\ \mathrm{if}({\mathrm{Dir}}_{\min }=={\mathrm{Dir}}_2)& a_4=a_7=0.5,\mathrm{other}{a}_i=0\\ \mathrm{if}({\mathrm{Dir}}_{\min }=={\mathrm{Dir}}_3)& a_5=a_6=0.5,\mathrm{other}{a}_i=0\\ \mathrm{if}({\mathrm{Dir}}_{\min }=={\mathrm{Dir}}_4)& a_8=a_{11}=0.5,\mathrm{other}{a}_i=0\\ \mathrm{if}({\mathrm{Dir}}_{\min }=={\mathrm{Dir}}_5)& a_9=a_{10}=0.5,\mathrm{other}{a}_i=0\end{array}\right....\left(6\right),$

计算出所述这些加权系统a_i后，便可根据公式(4)，再对方向插值运算521的结果和简单插值运算53的结果，进行加权求和(weighted sum)处理523，计算出复杂插值运算52的结果DPx，并予输出。

此外，本发明为了提高方向插值运算521的鲁棒性(robustness)，以防止在边缘方向不明显的边缘区域，产生错误的鬼(Ghost)点，参阅图2所示，乃针对所述第一复合插值放大模块31和第二复合插值放大模块32中简单插值运算及方向插值运算的放大结果，采用下列公式(7)，进行融合处理33，以依预定的放大比例，产生一高解析度的输出图像：

HPx＝(1-fMix)·SPx+fMix·DPx…………………………(7)，

其中HPx是最终输出图像的图元值，SPx是针对所述输入图像图元的简单插值运算的放大结果，DPx是针对所述输入图像的方向插值运算的放大结果，fMix是采用下列公式(8)获得的融合系统：

${\mathrm{Dir}}_{\mathrm{mean}}=\underset{i=0}{\overset{5}{\mathrm{\&Sigma;}}}{\mathrm{Dir}}_i/6,\begin{array}{}\end{array}\left\{\begin{array}{cc}\mathrm{if}({\mathrm{Dir}}_{\min }\&CenterDot;2>{\mathrm{Dir}}_{\mathrm{mean}})& \mathrm{fMix}=0.25;\\ \mathrm{elseif}({\mathrm{Dir}}_{\min }\&CenterDot;4>{\mathrm{Dir}}_{\mathrm{mean}})& \mathrm{fMix}=0.5;\\ \mathrm{elsefMix}=1.& \end{array}\right.......\left(8\right)$

另外，由于，在前述插值放大运算过程中所使用的插值放大函数均具有低通滤波的特性，会导致放大图像的边缘发生模糊的问题，因此，本发明为了提高放大图像边缘的清晰度，乃需要对图像进行一锐化处理34，复参阅图2所示，且为了避免在锐化过程中在边缘产生过冲(overshoot)现象，本发明特别使用下列公式(9)所示的非线性高通滤波器，如：有限脉波响应(Finite Impulse Response，简称FIR)的高通滤波器：

SHP(x)＝Medain(LocMax(x).LocMin(x)，Fir(x))…………………(9)，

其中SHP(x)是锐化的结果，Medain()函数是取中值操作，LocMax(x)和LocMin(x)是当前图元邻域内的最大和最小值，Fir(x)是具有非线性高通特性的FIR滤波器。如此，将高通滤波的结果限制在局部邻域内的最大及最小值之间，即能有效防止锐化过程中的边缘过冲现象。

如此，使用本发明的方法对低解析度的输入图像进行放大，以显示在高解析度的视频设备上时，不仅能使放大运算量较其他基于边缘的方法为小，且在复杂度较低及速度较高的情形下，使放大的输出图像仍具有抗锯齿、边缘锐利、细节丰富及对比度强等特点，以在对数字图像进行放大时，能有效降低图像失真，提供高解析度且有利于辨识相关特征的数字图像。

当前述的图像及视频的放大方法以软件实施时，可通过硬件的协助来加速执行。具体来说，图1的预处理模块10与复合放大模块30以软件的程序实施，而所述程序可通过一硬件的图像处理器(graphics processing unit，GPU)来执行。若所述图像处理器支援通用平行计算，也即通用图像处理器(General Purpose GPU，GPGPU)，便可以更快的速度执行所述程序，提升图像及视频的放大效率。例如，若使用有支援CUDA技术(Compute Unified Device Architecture，由NVIDIA公司所开发的并行运算技术)的图像处理器，则可将预处理模块10与复合放大模块30所执行的前述各项运算，如高通滤波处理11、简单插值运算53、复杂插值运算52、融合处理33、锐化处理34等等，编写为CUDA核函数(kernel function)的程序，而有支援CUDA技术的图像处理器在执行这些CUDA核函数时，可产生多个执行绪(thread)来同时执行同一个CUDA核函数，此种并行运算的方式可大幅提高效率。

前述的图像及视频的放大方法可应用于影像后处理(post processing)领域，例如，应用于视频播放软件中，如图8A所示。图8A是显示一视频播放软件的架构，其中，视频播放器(video player)80包含视频解码器(video decoder)81、预处理模块10、复合放大模块30以及视频渲染器(video renderer)82。视频解码器81可从各种视频来源取得影像数据，以对其进行解码；预处理模块10与复合放大模块30则将解码后的影像数据予以放大；视频渲染器82则利用影像渲染(rendering)技术，如微软(Microsoft)的Direct3D技术，将所放大的影像数据绘制显示。

一般而言，当图8A的架构置在电脑中运作时，视频解码器81是将解码后的影像数据存在电脑的系统存储器中，而预处理模块10与复合放大模块30则对于系统存储器所储存的解码影像数据进行放大。预处理模块10与复合放大模块30也可整合于视频解码器81中。然而，若电脑具有支援CUDA技术的图像处理器，且预处理模块10与复合放大模块30是以CUDA核函数的程序来实施，则将预处理模块10与复合放大模块30整合于视频渲染器82中，如图8B所示，可进一步提升硬件加速的效果。这是因为，当视频解码器81将解码后的影像数据传递到视频渲染器82时，视频渲染器82会建立Direct3D表面(surface)(此处是以Direct3D技术为例说明)，用以显示所述影像数据，而这些表面是储存于显示存储器中。另一方面，CUDA技术有支援Direct3D互用性(interoperability)机制，使得预处理模块10与复合放大模块30可直接对Direct3D表面进行处理，因此，将预处理模块10与复合放大模块30整合于视频渲染器82中，使其可直接对储存于显示存储器的Direct3D表面进行放大，有助于提升效率，而避免浪费时间于系统存储器与显示存储器间的数据传输。

图9是图8B的视频播放软件架构的一具体实施例的方块图，其中，视频播放器90包含视频解码器91及视频渲染器92，而视频渲染器92包含放大模块921及融合器与呈现器(mixer and presenter)922。图9的架构是通过有支援CUDA技术的图像处理器来实现，而放大模块921是以CUDA核函数的程序来实施。视频渲染器92从视频解码器91接收解码后的影像数据后，会建立Direct3D表面存于显示存储器中，而放大模块921会从显示存储器中的Direct3D表面提取影像纹理(texture)(即方块9210)，将其区分为亮度分量(即Y分量)与色度分量(即U/V分量)，以分别执行不同的放大处理：亮度分量依序经过去噪点9211(de-noising)、去块9212(de-blocking)、边缘插值运算9213(edge interpolation)、抗锯齿9214(anti-aliasing)、边缘锐化9215(edge sharpening)等处理；色度分量则经过双线性插值运算9216(bilinear interpolation)。最后，放大模块921依据放大后的亮度分量与色度分量，设定所要显示的影像纹理9217，再送至融合器与呈现器922进行绘制显示。对于前述的方块9211～9216，可分别编写适当的CUDA核函数来实施，如此，当图像处理器在执行这些CUDA核函数时，便可以并行运算的方式执行，以大幅提升放大模块921的运作效率。

以上说明对本发明而言只是说明性的，而非限制性的，本领域普通技术人员理解，在不脱离权利要求所限定的精神和范围的情况下，可作出许多修改、变化或等效，但都将落入本发明的保护范围之内。

Claims (16)

1.一种图像及视频的放大方法，其特征在于，是应用在一图像处理装置上，以在一数字图像被输入所述图像处理装置后，所述图像处理装置依据一放大比例，输出一放大的数字图像，所述方法包括：

提供一预处理模块，用以对所述输入图像执行一高通滤波处理，以提取所述输入图像的高频部分，所述高频部分是用于对所述输入图像的放大结果进行高频补偿，所述预处理模块并对所述输入图像执行一图像分解处理，所述图像分解处理是利用一梯度运算元提取所述输入图像的图像梯度，且根据预设的一固定门限，将所述输入图像分解成平坦区域和边缘区域，并在所述输入图像上标记所述二区域；

提供一复合放大模块，其对于原输入图像及所述平坦区域是使用一简单插值运算，进行放大处理；对于所述边缘区域及所述高频部分分别同时使用一复杂插值运算和所述简单插值运算，进行放大处理；接着，对所述边缘区域的所述复杂插值运算的结果，进行可信度处理，其中，边缘方向愈明确，所述边缘区域的所述复杂插值运算的结果的可信度愈高，否则，所述边缘区域的所述复杂插值运算的结果的可信度愈低；最后，根据所述可信度，对所述边缘区域的所述复杂插值运算的结果和对该边缘区域所执行的所述简单插值运算的结果进行加权求和；其中，所述的复杂插值运算是方向插值运算，所述的简单插值运算是双立方插值运算、双线性插值运算或兰索斯法三者其中之一；及

执行一融合处理，以将原输入图像、平坦区域、边缘区域及高频部分的放大结果，融合成为所述输出图像。

2.根据权利要求1所述的图像及视频的放大方法，其特征在于，所述复合放大模块包括一第一复合插值放大模块及一第二复合插值放大模块，所述的第一复合插值放大模块和第二复合插值放大模块会针对图像中的图元进行边缘区域的判断处理，若被标记为边缘区域，即采用复杂插值运算和该简单插值运算，若被标记为平坦区域，则采用简单插值运算；其中所述第一复合插值放大模块是对输入图像的边缘区域及高频部分执行插值放大及增益处理，所述第二复合插值放大模块是对原输入图像及平坦区域，执行插值放大处理，其中第一及第二复合插值放大模块中使用的简单插值运算法相同，所述融合处理是对所述第一复合插值放大模块及第二复合插值放大模块输出的图像进行融合，所述插值放大处理及融合处理是依下列公式，以预定的放大比例，产生高解析度的输出图像：

HR(x)＝LR(x)*Hp(x)*CUp(x)·Gain+LR(x)*CUp(x)

其中HR(x)是高解析度的输出图像，LR(x)是低解析度的输入图像，Hp(x)是所述预处理模块使用的高通滤波函数，CUp(x)是所述第一和第二复合插值放大模块使用的插值放大函数，Gain是所述第一复合插值放大模块使用的常数增益因数。

3.根据权利要求2所述的图像及视频的放大方法，其特征在于，所述图像分解处理是利用所述梯度运算元，提取所述输入图像的高频成分的图像梯度Grd(x)，然后，根据人眼对梯度变化的敏感程度，使用所述固定门限ThreshD，根据下列公式分解出平坦区域和边缘区域，并对输入图像的高频成分的图元进行标记Label(x)：

4.根据权利要求3所述的图像及视频的放大方法，其特征在于，所述方向插值运算是根据某一边缘图元的梯度值，估算出其边缘方向，然后，沿着边缘方向获取邻域内的图元，进行方向插值运算。

5.根据权利要求4所述的图像及视频的放大方法，其特征在于，所述方向插值运算是先根据处于边缘区域的当前图元x的梯度值，估算出其边缘方向，然后，沿着其边缘方向获取所述当前图元x邻域的其他12个图元P₀～P₁₁，以依照下列公式，对其进行插值计算DPx：

$\mathrm{DPx}=\underset{i=0}{\overset{11}{\mathrm{\&Sigma;}}}{a}_i\&CenterDot;P_i,\underset{i=0}{\overset{11}{\mathrm{\&Sigma;}}}{a}_i=1$

其中a_i为所述多个邻域图元p_i的加权系统，依照下列公式，计算其六个方向上的梯度值：

Dir₀＝|P₀-P₃|，Dir₁＝|P₁-P₂|，Dir₂＝|P₄-P₇|，

Dir₃＝|P₅-P₆|，Dir₄＝|P₈-P₁₁|，Dir₅＝|P₉-P₁₀|

然后，使用所述多个梯度值，依照下列公式，计算各图元p_i的加权系统a_i：

在计算出所述多个加权系统a_i后，再对所述边缘区域的方向插值运算的结果和所述边缘区域的简单插值运算的结果，进行加权求和处理，计算出边缘区域的复杂插值运算和所述边缘区域的所述简单插值运算的加权求和结果，并予输出。

6.根据权利要求5所述的图像及视频的放大方法，其特征在于，针对所述第一复合插值放大模块和第二复合插值放大模块中简单插值运算及方向插值运算的放大结果，是采用下列公式，进行融合处理，以依预定的放大比例，产生所述高解析度的输出图像：

HPx＝(1-fMix)·SPx+fMix·DPx

其中HPx是最终输出图像的图元值，SPx是针对所述输入图像的图元的简单插值放大运算的结果，DPx是针对所述输入图像的图元的方向插值运算的结果，fMix是采用下列公式获得的融合系统：

${\mathrm{Dir}}_{\mathrm{mean}}=\underset{i=0}{\overset{5}{\mathrm{\&Sigma;}}}{\mathrm{Dir}}_i/6,\left\{\begin{array}{c}\mathrm{if}({\mathrm{Dir}}_{\min }\&CenterDot;2>{\mathrm{Dir}}_{\mathrm{mean}})\mathrm{fMix}=0.25;\\ \mathrm{else\; if}({\mathrm{Dir}}_{\min }\&CenterDot;4>{\mathrm{Dir}}_{\mathrm{mean}})\mathrm{fMix}=0.5;\\ \mathrm{else\; fMix}=1.\end{array}\right..$

7.根据权利要求6所述的图像及视频的放大方法，其特征在于，所述图像分解处理还对边缘区域内的边缘图元进行一去杂乱处理，以去除掉杂乱的边缘图元；所述去杂乱处理是先提取某一边缘图元的一预定范围的邻域M×N，再统计所述邻域内边缘图元的数目Nedge，且根据下列公式，在判断出所述邻域内边缘图元的数目不在一预定范围内时，即删除所述边缘图元：

若(Nedge＞ThrH或Nedge＜ThrL)，删除该边缘图元；

其中ThrL＝min(M，N)，ThrH＝0.8·M·N。

8.根据权利要求7所述的图像及视频的放大方法，其特征在于，所述预处理模块在完成所述去杂乱处理后，会对所述边缘区域进行一形态学的膨胀处理，以扩大所述边缘区域。

9.根据权利要求8所述的图像及视频的放大方法，其特征在于，所述形态学膨胀处理是使用十字结构元对边缘图元向四周扩大边缘区域。

10.根据权利要求9所述的图像及视频的放大方法，其特征在于，还包括使用一非线性高通滤波的有限脉波响应滤波器，对所述输出图像进行一锐化处理，将高通滤波的结果限制在局部邻域内的最大及最小值之间。

11.根据权利要求10所述的图像及视频的放大方法，其特征在于，所述有限脉波响应滤波器是采用下列公式进行锐化处理：

SHP(x)＝Medain(LocMax(x).LocMin(x)，Fir(x))

其中SHP(x)是锐化的结果，Medain()函数是取中值操作，LocMax(x)和LocMin(x)是当前图元邻域内的最大和最小值，Fir(x)是所述有限脉波响应滤波器。

12.根据权利要求1所述的图像及视频的放大方法，其特征在于，所述预处理模块与所述复合放大模块是以一程序实施，所述程序是通过一图像处理器来执行，其中，所述图像处理器支援并行运算，以提高所述程序的执行效率。

13.根据权利要求12所述的图像及视频的放大方法，其特征在于，所述图像处理器支援CUDA技术。

14.根据权利要求13所述的图像及视频的放大方法，其特征在于，所述预处理模块与所述复合放大模块是整合于一视频渲染器中，其中，所述视频渲染器于一显示存储器中建立Direct3D表面，而所述预处理模块与所述复合放大模块从所述Direct3D表面提取所述输入图像。

15.一种图像处理装置，其特征在于，用以在一数字图像被输入所述图像处理装置后，依据一放大比例，输出一放大的数字图像，所述图像处理装置包括：

一预处理模块，用以对所述输入图像执行一高通滤波处理，以提取所述输入图像的高频部分，所述高频部分是用于对所述输入图像的放大结果进行高频补偿，所述预处理模块并对所述输入图像执行一图像分解处理，所述图像分解处理是利用一梯度运算元提取所述输入图像的图像梯度，且根据预设的一固定门限，将所述输入图像分解成平坦区域和边缘区域，并在所述输入图像上标记所述二区域；

一复合放大模块，其对于原输入图像及所述平坦区域是使用一简单插值运算，进行放大处理；对于所述边缘区域及所述高频部分是分别同时使用一复杂插值运算和所述简单插值运算，进行放大处理；接着，对所述边缘区域的所述复杂插值运算的结果，进行可信度处理，其中，边缘方向愈明确，所述边缘区域的所述复杂插值运算的结果的可信度愈高，否则，所述边缘区域的所述复杂插值运算的结果的可信度愈低；最后，根据所述可信度，对所述边缘区域的所述复杂插值运算的结果和对该边缘区域所执行的所述简单插值运算的结果进行加权求和；其中，所述的复杂插值运算是方向插值运算，所述的简单插值运算是双立方插值运算、双线性插值运算或兰索斯法三者其中之一；及

一融合处理单元，用以将原输入图像、平坦区域、边缘区域及高频部分的放大结果，融合成为所述输出图像。

16.根据权利要求15所述的图像处理装置，其特征在于，所述梯度运算元是sobel运算元。

Images