CN101621684B - 模式检测模块、视频编码系统及其使用的方法 - Google Patents

Abstract

本发明涉及模式检测模块、视频编码系统及其使用的方法。一种用于把包括至少一个图像的视频流编码成处理后的视频信号的系统包括：模式检测模块，用于在该至少一个图像中检测感兴趣模式，并在所述感兴趣模式被检出时标识包含该感兴趣模式的区域；以及编码器部件，产生处理后的视频信号，其中当所述感兴趣模式被检出时，与该至少一个图像在该区域外的部分相比，诸如更高的比特分配或更高的计算处理的较高质量被分配给所述区域。

Description

模式检测模块、视频编码系统及其使用的方法

相关申请的交叉参考

本申请涉及以下同时提交且共同受让的美国专利申请：“PEAKSIGNAL TO NOISE RATIO WEIGHTING MODULE，VIDEOENCODING SYSTEM AND METHOD FOR USE THEREWITH”，该申请的序列号为11/772,774，于2007年7月2日提交，其全部内容在此通过参考引入。

技术领域

本发明涉及在诸如视频编码器/编解码器的设备中使用的编码。

背景技术

视频编码已经成为现代视频处理设备的重要问题。稳健的编码算法使得视频信号能够用更小的带宽传输，并能被保存在较小的存储器中。然而，这些编码方法的准确度面临着正变得习惯于更高分辨率和更好图像质量的用户的详细检查。对于许多编码方法的标准已经被颁布，包括也被称为MPEG-4第10部分或高级视频编码(AVC)的H.264标准。尽管该标准提出了许多功能强大的技术，进一步改善以提高此类方法的性能和执行速度是可能的。

对于本领域的普通技术人员来说，通过将此类系统与本发明进行比较，常规及传统方法的更多局限性和缺点将是显然的。

附图说明

图1示出了依照本发明实施例的视频处理设备125的结构图。

图2示出了依照本发明实施例的PSNR(峰值信噪比)加权模块150的结构图。

图3示出了依照本发明实施例的视频处理设备125’的结构图。

图4示出了依照本发明进一步实施例的模式检测模块175的结构图。

图5示出了依照本发明进一步实施例的区域检测模块320的结构图。

图6示出了依照本发明实施例的视频编码系统102的结构图。

图7示出了依照本发明实施例的视频分配系统175的结构图。

图8示出了依照本发明实施例的视频存储系统179的结构图。

图9示出了依照本发明实施例的方法的流程图。

图10示出了依照本发明实施例的方法的流程图。

图11示出了依照本发明另一实施例的区域检测模块320’的结构图。

具体实施方式

图1示出了依照本发明实施例的视频处理设备125的结构图。具体地，视频处理设备125包括接收模块100，例如机顶盒、电视接收机、个人计算机、有线电视接收机、卫星广播接收机、宽带调制解调器、3G收发机或其它信息接收机或收发机，其能够从诸如有线广播系统、卫星广播系统、因特网、数字激光视盘播放机、数字录像机或其它视频源的一个或多个源接收视频信号110。视频编码系统102被连接到接收模块100上，用以对一个或多个视频信号110进行编码、速率转换和/或代码转换，以形成处理后的视频信号112。

在本发明的实施例中，视频信号110可以包含广播视频信号，例如电视信号、高清晰度电视信号、增强高清晰度电视信号或其它广播视频信号，其直接或通过一个或多个卫星或其它中继站在无线媒体上传输，或通过电缆网、光学网或其它传输网络传输。此外，视频信号110可从存储的视频文件产生，从诸如磁带、磁盘或光盘的记录媒体上重放，并且能够包含在诸如局域网、广域网、城域网或因特网的公用或专用网上传输的流式传输视频信号。

视频信号110可包括模拟视频信号，其被以包括国家电视体制委员会(NTSC制)、逐行倒相(PAL制)或顺序彩色与存储(SECAM制)的许多视频格式中的任一种格式化。处理后的视频信号112包括诸如H.264，MPEG-4第10部分-高级视频编码(AVC)的数字视频编解码标准格式，或诸如运动图像专家组(MPEG)格式(例如MPEG1、MPEG2或MPEG4)、Quicktime格式、Real Media格式、Windows媒体视频(WMV)或音视频交错(AVI)的其它数字格式，或标准或专有的另一种数字视频格式。

视频编码系统102包括PSNR加权模块150，该模块将结合稍后和图2一起描述的许多可选功能和特征进行更加详细的描述。

图2示出了依照本发明实施例的PSNR加权模块150的结构图。在一些情况下，特别是当视频编码系统102执行H.264或包含环内解块滤波的其它编码时，图像中的非自然边缘(尤其是弱的窄边缘)可被模糊。PSNR加权模块150识别图像中的边缘，并加权被识别为与所识别边缘相关联的像素的峰值信噪比处理。具体地，PSNR加权模块150包括从视频信号的图像310(帧或场)产生边缘检测信号304的边缘检测模块302。峰值信噪比(PSNR)模块306根据图像310、从图像310编码(可能包括代码转换和速率转换)的编码图像300和边缘检测信号304来产生加权峰值信噪比信号308。

在本发明的实施例中，边缘检测信号304标识图像310的沿着或接近在图像310中识别的一个或多个边缘的多个边缘像素。边缘检测模块可以使用诸如Canny边缘检测的边缘检测算法，然而，诸如Roberts Cross、Prewitt、Sobel、Marr-Hildreth、过零等的其它边缘检测算法同样可被使用。把M×N的编码图像表示为f(i，j)，边缘检测信号304可被表示为W(i，j)，对于帧f(i，j)的每个像素，对于图像中的边缘和非边缘像素，W(i，j)具有不同的值，例如：

对于边缘像素，W(i，j)＝1；

对于非边缘像素，W(i，j)＝0。

假定编码图像310被表示为^＊f(i，j)，而加权峰值信噪比信号308被表示为PSNR_w，峰值信噪比模块306能够运行以求出：

${\mathrm{PSNR}}_w={10\log }_{10}({\mathrm{MAX}}_I^2/{\mathrm{MSE}}_w)$

其中，

${\mathrm{MSE}}_w=\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}[\left(f(i,j){-}^{*}f(i,j){)}^2(1+\mathrm{\λW}(i,j))\right]/[\underset{i=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{j=0}{\overset{N-1}{\mathrm{\Σ}}}(1+\mathrm{\λW}(i,j))]$

其中，λ是加权常数，B是图像中每个样本的比特数，MAX_I是2^B-1。如上式中所示，峰值信噪比模块306以与相应于多个非边缘像素的信噪比不同的方式加权相应于多个边缘像素的信噪比。

图3示出了依照本发明实施例的视频处理设备125’的结构图。具体地，视频处理设备125’像视频处理设备125一样运行，而视频编码系统102’类似于视频编码系统102运行，但可能不包含PSNR加权模块150而包含模式检测模块175。具体地，模式检测模块175可通过聚类、统计模式识别、语法模式识别或其它模式检测技术来运行以在视频信号110的图像(帧或场)中检测感兴趣模式，并在该感兴趣模式被检出时标识包含该感兴趣模式的区域。视频编码系统102’的编码器部件通过以特定图像质量进行量化和数字化来产生处理后的视频信号，其中，当感兴趣模式被检出时，与至少一个图像在该区域外的部分相比，诸如较低量化度、较高分辨率或其它更高质量的更高质量被分配给该区域，以在编码该区域时比该区域外部的图像部分提供更高质量的图像。例如，编码器部件在编码该区域内的宏块时使用比它在该模式没有被检出时通常会使用的更高的分辨率、量化度等，并且该区域被标识。模式检测模块175的操作将结合下面的图4和5中的许多可选功能和特征进行更加详细的描述。

图4示出了依照本发明进一步实施例的模式检测模块175的结构图。具体地，模式检测模块175包括用于在至少一个图像中检测被检出区域322的区域检测模块320，其中所述区域是基于该被检出区域的。在运行中，区域检测模块320能够检测特定模式或可能需要较高图像质量的其它感兴趣区域的存在。这种模式的一个例子是人面部或其它面部，然而，包括符号、文本、重要图像以及专用模式的其它模式同样可被实现。模式检测模块175可选地包括通过诸如形态学运算根据被检出区域322产生清洁区域326的区域清洁模块324。模式检测模块175可进一步包括扩展清洁区域326以产生标识包含感兴趣模式的区域的区域标识信号330的区域生长模块328。

例如，考虑图像310包含人面部，并且模式检测模块175产生与人面部相对应的区域的情况，区域检测模块320能够根据与诸如皮肤色调的面部特征相对应的像素颜色值的检测来产生被检出区域322。区域清洁模块324能够产生包含这些面部特征的更相关的区域，而区域生长模块328能够生长该区域以包含周围的头发和其它图像部分，以确保整个面部被包含在由区域标识信号330标识的区域中。编码器部件能够使用区域标识信号330来操作，以加强该面部区域的质量而可能削弱图像其它区域的质量。值得注意的是，对于对面部有更高敏感性和鉴别力的观察着来说，整个图像可具有更高的质量。

图5示出了依照本发明进一步实施例的区域检测模块320的结构图。在该实施例中，区域检测模块320通过在图像310中的颜色检测进行操作。颜色偏差校正模块340从图像310产生颜色偏差校正图像342。颜色空间变换模块344从颜色偏差校正图像342产生颜色变换图像346。颜色检测模块348从颜色变换图像346的颜色产生被检出区域322。

例如，接着用结合图4讨论的检测人面部的例子，颜色检测模块348可运行以通过在诸如变换YC_bC_r空间的C_bC_r子空间的变换空间中使用椭圆皮肤模型来检测颜色变换图像346中对应于皮肤色调的颜色。具体地，在高斯皮肤色调分布的假设下，对应于恒定Mahalanobis距离的轮廓的参数椭圆能够被构建，以根据C_bC_r子空间中的二维投影标识被检出区域322。作为范例，与来自Heinrich-Hertz-Institute图像数据库的皮肤片相对应的853，571个像素可被用于此目的，然而，其它范例在本发明的更宽范围内同样可被使用。

图6示出了依照本发明实施例的视频编码系统102的结构图。具体地，视频编码系统102根据H.264标准、MPEG-4标准、VC-1(SMPTE标准421M)或其它标准的许多功能和特征进行操作，以对经由信号接口198接收到的输入视频信号110进行编码、速率转换或代码转换。

视频编码系统102包括具有信号接口198、处理模块230、运动补偿模块240、存储模块232和编码模块236的编码器部件103。处理模块230可使用单个处理设备或多个处理设备来实现。这种处理设备可以是微处理器、协处理器、微控制器、数字信号处理器、微计算机、中央处理单元、现场可编程门阵列、可编程逻辑设备、状态机、逻辑电路、模拟电路、数字电路和/或根据存储在诸如存储模块232的存储器上的操作指令处理信号(模拟和/或数字)的任何设备。存储模块232可以是单个存储设备或多个存储设备。这种存储设备可包括硬盘驱动器或其它磁盘驱动器、只读存储器、随机存取存储器、易失性存储器、非易失性存储器、静态存储器、动态存储器、闪存、高速缓存和/或存储数字信息的任何设备。注意，当处理模块经由状态机、模拟电路、数字电路和/或逻辑电路实现其一个或多个功能时，保存相应操作指令的存储器可被嵌入或外接到包括状态机、模拟电路、数字电路和/或逻辑电路的电路上。

处理模块230和存储模块232经由总线250连接到信号接口198和例如PSNR加权模块150、模式检测模块175、运动补偿模块240和编码模块236的多个其它模块。视频编码系统102的各模块可用软件、固件或硬件实现，这依赖于处理模块230的具体实现。还值得注意的是，本发明的软件实现可被保存在诸如磁盘或光盘、只读存储器或随机存取存储器的有形存储介质上，也可作为制造产品进行生产。尽管示出了一种特定的总线体系结构，在一个或多个模块之间使用直接连接和/或附加总线的其它体系结构也可依照本发明同样实现。

在运行中，运动补偿模块240和编码模块236运行以根据来自一个或多个视频信号110的视频流产生压缩视频流。运动补偿模块240在视频流的每一帧或场的多个宏块中运行，对于每个宏块产生与最终运动向量对应的剩余亮度和/或色度像素值。编码模块236通过转换编码以及把剩余像素值量化成量化变换系数来产生处理后的视频信号112，该量化变换系数能够由诸如熵编码进一步编码，由解块滤波器滤波，并作为处理后的视频信号112被传输和/或保存。在数字视频流由编码器102接收的代码转换应用中，输入的视频信号在可在进一步编码、速率转换或代码转换之前被组合。可选地，两个或更多经过编码、速率转换或代码转换的视频流可使用这里描述的本发明进行组合。

图7示出了依照本发明实施例的视频分配系统175的结构图。具体地，处理后的视频信号112经由传输路径112被传输到视频解码器104。视频解码器104可运行以解码处理后的视频信号，以便在诸如电视机10、计算机20或其它显示设备的显示设备上进行显示。

传输路径122可以包括依照诸如802.11协议、WIMAX协议、蓝牙协议等的无线局域网协议运行的无线路径。此外，该传输路径也可以包括依照诸如通用串行总线协议、以太网协议或其它高速协议的有线协议运行的有线路径。

图8示出了依照本发明实施例的视频存储系统179的结构图。具体地，设备11是具有内置数字录像机功能的机顶盒、独立的数字录像机、DVD记录器/播放器或存储用于在诸如电视机12的视频显示设备上显示的处理后的视频信号的其它设备。虽然视频编码器102被显示为分立的设备，它可被进一步并入设备11。虽然这些特定的设备被例示，视频存储系统179可以包括硬盘驱动器、闪存设备、计算机、DVD烧制器或能够根据结合这里描写的本发明的特征和功能描述的方法和系统产生、保存、解码和/或显示组合后的视频流的任意其它设备。

图9示出了依照本发明实施例的方法的流程图。具体地，示出了结合与图1-8一起描述的一个或多个功能和特征使用的方法。在步骤500中，该方法判断感兴趣模式是否在图像中被检出。当感兴趣模式被检出时，包含该感兴趣模式的区域被标识，如步骤502所示，而且相比该至少一个图像在该区域外的部分，较高的质量被分配给该区域，如步骤504所示。

在本发明的实施例中，在图像中检测感兴趣模式的检测步骤检测图像中的人面部。步骤502能够根据检出的区域产生清洁区域，其中所述区域是基于该清洁区域的。步骤502能够根据形态学运算产生清洁区域。步骤502能够进一步扩展该清洁区域以产生标识该区域的区域标识信号，从该至少一个图像产生颜色偏差校正图像，从颜色偏差校正图像产生颜色变换图像，根据该至少一个图像的颜色标识区域，和/或在该至少一个图像中检测人面部颜色。步骤504可作为对该至少一个图像进行代码转换和/或速率转换的一部分被执行。

图10示出了依照本发明实施例的方法的流程图。具体地，示出了结合与图1-9一起描述的一个或多个功能和特征使用的方法。在步骤400中，编码图像从至少一个图像产生。在步骤402中，边缘检测信号从该至少一个图像产生。在步骤404中，加权峰值信噪比信号根据该至少一个图像、编码图像和边缘检测信号而被产生。

在本发明的实施例中，步骤402包括Canny边缘检测。该至少一个图像包含多个像素，这些像素包括沿着包含在该至少一个图像中的至少一个边缘上的多个边缘像素，边缘检测信号识别沿着至少一个边缘上的多个边缘像素。边缘检测信号能够识别在该至少一个图像中的多个非边缘像素。

步骤404可包括以与对应于多个非边缘像素的信噪比不同的方式加权对应于多个边缘像素的信噪比。编码图像从该至少一个图像的代码转换和/或速率转换产生。

就像结合图3讨论的一样，诸如编码系统102’的视频编码系统的编码器部件通过以特定图像质量量化和数字化来产生处理后的视频信号。当感兴趣模式被检出时，与在该区域外的图像或图像部分相比，诸如低量化度、高分辨率或其它高质量的更高质量被分配给包含感兴趣模式的区域。这在编码该区域时，相对该区域外的图像部分提供了更高质量的图像。

例如，编码器部件当编码在该区域内部的宏块时，使用比它在该模式没有被检出时通常会使用的较高的分辨率、较小的量化度、更多的计算资源等等，而且该区域被标识。此质量变化可以不同方式实现。例如，在比特分配方法中，量化参数和速率可根据图像部分是在包含感兴趣模式的区域内部还是在包含感兴趣模式的区域外部来进行调整。

其它方法也被可使用。例如，与编码该区域外部相比，计算能力被更多地分配给在该区域内编码。在这种方法中，诸如预定的运动估计搜索范围、子像素运动估计精度、参考帧数量和宏块模式候选数量的编码参数可被调整以增加在感兴趣区域内使用的计算量，和/或降低在感兴趣区域外使用的计算量。

例如，本发明可被实现以使用更少的比特实现相似的视觉质量或使用相同的比特数实现更高的视觉质量。此外，编码处理可被更快执行以实现相似的编码质量或相同的处理时间可被用来实现更好的视觉质量。在这种方式下，编码处理可被集中在与用户相关的图像区域上。

就像结合图5讨论的那样，颜色检测可被运行以通过在诸如变换YC_bC_r空间的C_bC_r子空间的变换空间中使用椭圆皮肤模型来检测与皮肤色调相对应的颜色变换图像中的颜色。具体地，与恒定Mahalanobis距离的轮廓相对应的参数椭圆可在高斯皮肤色调分布假设下构建，以根据C_bC_r子空间中的二维投影来标识被检出区域322。作为范例，与来自Heinrich-Hertz-Institute图像数据库的皮肤片相对应的853，571个像素可被用于此目的。在简化的方法中，上述建模方法可使用根据实际图像样本产生的查找表近似。在这种方式下，诸如被检出区域322的鉴别的检测结果可在单个步骤中被确定。

图11示出了依照本发明另一实施例的区域检测模块320’的结构图。在这个实施例中，诸如图像310的图像被变换成另一个域中的变换图像311。检测由区域检测模块500在图像310的原始域中执行，并由区域检测模块504在变换图像311的变换域中进一步执行。由比较模块510比较检测判决506和508以确定被检出区域322。

在本发明的实施例中，区域检测模块500以与区域检测模块320相似的方式在YUV域对图像进行操作。图像变换模块502把图像310变换到RGB域，而区域检测模块504在RGB域中运行。如果区域检测模块500或区域检测模块504进行这种检测，比较模块510能够发信号通知区域包含感兴趣模式。在这种方式下，YUV建模中的可能的性能下降可通过在诸如RGB域的可替换域中并行检测来补偿。

在优选实施例中，各种电路组件使用0.35微米或更小的CMOS技术实现。然而，集成和非集成的其它电路技术在本发明的较宽范围内也可被使用。

尽管本发明的各种功能和特征的特定组合在这里进行了清晰的描述，这些特征和功能的其它组合也是可能的，而并不限于这里公开的特定范例，它们被显式地并入本发明的范围内。

作为本领域的普通技术人员将会明白术语“基本上”或“近似地”，像可在这里使用的一样，为其对应术语和/或术语间的相关性提供了工业可接受的容限。这种工业可接受的容限的范围从小于一个百分点到二十个百分点，并且对应但不限于元件值、集成电路处理变量、温度变量、上升和下降时间和/或热噪声。这种术语间的相关性的范围从几个百分点差异到数值差异。作为本领域的普通技术人员还会懂得术语“连接”，像可在这里使用的一样，包括直接连接和经由其它元件、组件、电路或模块进行的间接连接，这不会更改信号的信息，但会调整其电流等级、电压等级和功率等级。作为本领域的普通技术人员还会认可所述连接(即，一个组件通过接口连接到另一个组件上)包括以与“被连接”相同的方式在两个组件之间进行的直接连接和间接连接。作为本领域的普通技术人员还会理解术语“有利对比”，像可在这里使用的一样，表示在两个或多个组件、条目、信号等之间进行的比较，提供了期望的联系。例如，当期望的联系是信号1具有大于信号2的幅度，有利对比可在信号1的幅度大于信号2或信号2的幅度小于信号1时被实现。

像术语“模块”用于本发明各种实施例的描述中一样，模块包括用硬件、软件和/或固件实现以执行诸如处理输入信号以产生输出信号的一个或多个功能的功能块。像在这里使用的一样，模块可以包括自身就是模块的子模块。

这样，在这里描述的设备和方法，与包括优选实施例的多个实施例一样，用于实现视频编码系统及其使用的模式检测模块和峰值信噪比加权模块。这里描述的本发明的各个实施例具有使本发明区别于现有技术的特征。

对本领域的技术人员来说，以上公开的发明显然可用很多方式修改，并且除在上面具体提出并描述的优选形式之外可采取许多实施例。因此，所附的权利要求书打算覆盖在本发明实际精神和范围内的本发明的所有变型。

Claims (17)

1.一种用于把视频流编码成处理后的视频信号的系统，该视频流包括至少一个图像，所述系统包括：

模式检测模块，用于在该至少一个图像中检测感兴趣模式，其中所述模式检测模块包括：

用于在该至少一个图像中检测包含该感兴趣模式的被检出区域的区域检测模块，所述区域检测模块包括从该至少一个图像产生颜色偏差校正图像的颜色偏差校正模块，其中该被检出区域是基于从该颜色偏差校正图像产生的颜色变换图像被检出的；

区域清洁模块，用于通过清洁包含该感兴趣模式的被检出区域来产生清洁区域；以及

区域生长模块，用于扩展所述清洁区域以产生标识整个区域的区域标识信号，所述整个区域包括所述清洁区域和至少一个包括附加图像特征的邻近区域；

连接到所述模式检测模块的编码器部件，用于产生处理后的视频信号，其中，当所述感兴趣模式被检出时，与该至少一个图像的在该整个区域外的部分相比，更高的质量被分配给该整个区域。

2.权利要求1的系统，其中区域检测模块在该至少一个图像中检测面部。

3.权利要求1的系统，其中所述区域清洁模块使用形态学运算。

4.权利要求1的系统，其中所述区域检测模块进一步包括从所述颜色偏差校正图像产生颜色变换图像的颜色空间变换模块。

5.权利要求1的系统，其中所述区域检测模块包括根据该至少一个图像的颜色产生所述被检出区域的颜色检测模块。

6.权利要求5的系统，其中所述颜色检测模块在该至少一个图像中检测面部颜色。

7.权利要求1的系统，其中所述编码器部件代码转换该至少一个图像。

8.权利要求1的系统，其中所述编码器部件速率转换该至少一个图像。

9.权利要求1的系统，其中所述区域检测模块在相应的多个域中产生多个检测判决，并根据所述多个检测判决来检测所述被检出区域。

10.一种用于把视频流编码成处理后的视频信号的方法，该视频流包括至少一个图像，所述方法包括下列步骤：

在该至少一个图像中检测感兴趣模式；以及

在该感兴趣模式被检出时，

标识包含所述感兴趣模式的被检出区域，其中包括从该至少一个图像产生颜色偏差校正图像，和基于从该颜色偏差校正图像产生的颜色变换图像标识该被检出区域；

通过清洁包含该感兴趣模式的被检出区域来产生清洁区域；

扩展所述清洁区域以产生标识整个区域的区域标识信号，所述整个区域包括所述清洁区域和至少一个包括附加图像特征的邻近区域；以及

与该至少一个图像的在该整个区域外的部分相比，给该整个区域分配更高的质量。

11.权利要求10的方法，其中所述在该至少一个图像中检测感兴趣模式的步骤在该至少一个图像中检测面部。

12.权利要求10的方法，其中所述产生清洁区域的步骤根据形态学运算产生该被检出区域。

13.权利要求10的方法，其中所述标识该被检出区域的步骤包括从所述颜色偏差校正图像产生颜色变换图像。

14.权利要求10的方法，其中所述标识该被检出区域的步骤能够根据该至少一个图像的颜色标识所述区域。

15.权利要求10的方法，其中所述标识该被检出区域的步骤包括在该至少一个图像中检测面部颜色。

16.权利要求10的方法，其中所述编码包括代码转换该至少一个图像。

17.权利要求10的方法，其中所述编码包括速率转换该至少一个图像。

Images