CN1720717A - 用于在视频系统的二进制表示中使用概率向量以获得具有最小计算需求的更快速收敛的方法和设备 - Google Patents

Abstract

一种系统，把概率向量用于二进制表示，以便允许比使用遗传算法更快地优化视频。所述系统包括：二进制表示模块(107)，用于把视频链转换为具有预定数目比特的二进制表示；级联的四模块视频处理链，用于处理二进制表示的视频链，其具有：(1)空间多相标量模块(101)；(2)降噪器模块(102)；(3)锐度增强器模块(103)；(4)直方图模块(104)；其中四模块视频处理链的初始级联次序是随机的。优化算法模块基于视频质量把级联次序从随机级联优化为最优次序。只要存在视频链就可以进行所述优化，由此使设备随时间改善时自动纠正。

Description

用于在视频系统的二进制表示中使用概率向量 以获得具有最小计算需求的更快速收敛的方法和设备

本发明涉及视频系统，诸如电视机，进行交互并且使用多种算法来改善视频质量。更重要的是，本发明涉及一种使用概率模式来最大化最佳解的概率的设备和方法。

为了增强现有视频链的质量，有时会引入新算法来处理所述链。反之，有时引入新的视频链。本发明的发明人先前已经讲授了可以通过二进制表示来表示视频链，同时采用遗传算法(GA)来得到最佳全局解，以便使视频链的设置产生最佳图像质量，并且把如下文献作为背景材料结合于此，以供参考，所述文献是于2001年3月27日提交的序号为09/817,981题目为“System and Method for OptimizingControl Parameter Settings in a Chain of Video ProcessingAlgorithms”的美国专利申请，以及于2000年12月12日提交的序号为09/734,823题目为“System and Method for Providing A ScalableDynamic Objective Metric For Automatic Video QualityEvaluation”的美国专利申请。

然而，由于遗传算法是迭代过程，所述迭代过程以染色体的形式来保持全体候选解，所以在把它们用于智能消费产品方面存在某种难度，这需要“快速(on the fly)”执行优化。这种“快速”优化模式迅速地把解向全局最优状态调整，同时把计算需要保持在最小横向。

本发明致力于一种使用概率向量来提取视频装置中的概率模式的方法和设备，从而该装置将使优良解的概率最大化，并且使不良解的概率最小化。前述过程是在把计算需要保持在最小的同时执行的。

图1A示出了由19个比特二进制染色体表示的四个模块视频链。

图1B包括基因1在最佳和最差解区域中的分布。

图1C是根据本发明这种优化过程如何发生的概述。

图2A和2B分别示出了基因2在最佳和最差解区域中的概率分布。

图3A和3B分别示出了基因3在最佳和最差解区域中的概率分布。

图4A和4B分别示出了基因4在最佳和最差解区域中的概率分布。

图5A和5B分别示出了基因5在最佳和最差解区域中的概率分布。

图6A和6B分别示出了基因6在最佳和最差解区域中的概率分布。

图7A和7B示出了在基因1和4之间的联合概率分布。

图8A和8B示出了在基因1和5之间的联合概率分布。

图9示出了用于自我改进的视频装置的设备的一个例子。

为了举例说明普通技术人员可以实施本发明的一种方式，给出了对构造所述概率模式需要的分析的介绍，概率模式是从简单的视频链中获得的。随后，所述设备提取概率模式(亦称向量)，以及如何利用它通过最大化优良解的概率并且最小化不良解的概率来使视频装置向自我改善方向调整。此过程是在把计算需要保持在最小的同时执行的。

图1A示出了根据本发明的设备提取概率向量并且控制视频链的一种方式。本领域中普通技术人员应该理解的是，存在许多具有等效功能的可能组合，并且本例子是为了说明的目的，而不应该将其视为限制的手段。

依照图1A，所述系统包括四个视频模块，也就是空间多相标量模块101、降噪器模块102、进行亮度峰化的锐度增强器模块103以及直方图修正模块104。把所述四个模块级联，但是依照特定次序来级联它们并不是绝对必要的。

就锐度增强而言，这一点如今在电视机中是相当普通的特征，焦点在于改善感觉到的亮度信号的锐度。通过增加亮度信号中的高频，人们基本上可以增强锐度。然而，此过程会引起图形失真假象(aliasing artifacts)，这显然需要被防止。在子算法、对比度控制、防止削波、动态范围控制以及自适应核心化(coring)的不同集合中，所有这些相互竞争以便减少图形失真假象。它们中的每一个提供可以可靠地增加高频的增益因子。选择器子单元决定将使用这些竞争增益因子的哪一个。

就所述降噪器模块而言，此功能通常基于测量噪声的存在来减少高频分量。

就多相标量模块而言，通常使用FIR滤波器来实现它们。横向定标器处理每行输入视频数据，并且生成一行已横向定标的输出视频数据。在扩大的情况下，通过向上采样来完成此过程，向上采样或者由多相滤波器执行(对于多相滤波器，横向扩大因子确定生成每个输出像素所需的滤波器相位)，或者由使用该因子从输入像素内插输出像素的滤波器执行。在压缩的情况下，使用转置的多相滤波器向下采样输入数据，并且横向压缩因子确定所需要的滤波器相位。作为对比，纵向定标器生成与输入模块的数目不同的输出视频行，输入和输出行具有相同数目的像素。在扩大的情况下，为输入多相滤波器的每一行输出至少一行视频数据，对于该多相滤波器，纵向扩大因子确定响应于输入行而生成的向上采样行的数目，并且确定所要求的滤波器相位，或者通过多相滤波器使用此因子来根据输入行内插输出行。在压缩的情况下，为输入至已转置或者未转置的多相滤波器的每行输出最多一行视频数据，对于该多相滤波器，纵向压缩因子确定是否响应于输入行生成向下采样行，并且确定所要求的滤波器相位。

直方图修正模块伸长了黑色和白色的亮度值以便更好地表示视频序列的色彩容量。

优化算法模块106尽可能从种属上以上四个模块101、102、103和104的每一个来操作。所述算法假定不存在与任何特定模块有关的先验信息，也不存在任何连通性约束(诸如被级联的模块的次序)。两个级联模块之间的数据精确度(例如，数据总线上的比特数，即总线宽度)以及级联模块的次序都作视为要优化的参数。通过优化所述参数就出现了每个基因和基因对的概率模式，以便提供使最佳解的概率最大化并且使最差解的概率最小化的基因值选择。整体过程可以利用最小的计算能力来实时(“快速”)完成。

图1B示出了二进制串来表示所研究的视频链105。表示优化过程中的某一参数的每个比特集被称作“基因”。在该情况下，19个二进制比特由六个基因110、115、120、125、130、135来表示。

图1C提供了报告在100个最佳和100个最差所得到的解中的每个基因的分析的表。此分析是在绘制联合概率模式之前为每个基因做出的。基因1被限制为只有3个值属于最佳解的24个值，正如可以从所述表中看出的那样，只有当优良解是23、58和17时，在“优良”列中的解多于“不良”列中的解。每个解的概率是58％、23％、17％和2％，如图1B所示。

图2示出了基因2的概率分布，图2A表示最佳解区域，而图2B表示最差解区域。在所述最佳解区域中，基因2始终被设置为同一值(NR＝4)，并且在最差解区域中是均匀分布的。

图3A和3B表示第三基因。此概率分布在最佳解区域中显得偏向于低值，并且在最差解区域中偏向于中间值。

图4A和4B表示第四基因。如图所示，所述概率分布在两个解区域的子集中显得是均匀分布的。

图5A和5B也示出了基因五相当一致的分布，都偏向于NR＝8的值。

图6A和6B也示出了偏向于NR＝8的值，其中在最佳区域把基因六设置为NR＝8。

在基因1，2和6的可用数据中存在一个趋势。当装置运行时此趋势可以从该装置中进一步提取。此外，对于缺少决定性的基因(例如，基因4和5)来说，可以使用其与另一表现良好的基因(例如，基因1)的联合概率分布更好地设置其值。

图7A和7B以优良P(基因1、基因4|优良)以及P(基因1、基因4|不良)示出了基因1和基因4的联合概率分布。

同样，图8A和8B示出了基因1和5之间的联合概率分布。由此，结果是，如前所述构造的概率模式将调整趋向于最大化最佳解概率并最小化不良解概率的基因值。所述视频链将被反复地分析并且提取统计结果以连续地构造每个基因的概率分布以及最大化最佳解的概率并且最小化最差解的概率的基因值选择，然后将其反馈以优化参数设置。

图9示出了把视频链905输入到设备900中并作为优化链输出。首先，使用二进制串表示模块910来表示所述视频链，在该实例中是使用19个比特。当然，此数目可以多于或少于19。在915a、915b、915n……存储各基因中每个允许值的出现次数。在920，存在每个基因和每个基因对在最佳区域和最差区域中的概率分布。把此数据送到基因值选择模块925，该模块根据模块920提供的概率分布来选择基因，以便最大化优良解的概率并且最小化不良解的概率。接着把此数据反馈给二进制串表示模块910，其构造概率向量(模式)，并且反馈给所述视频链，以便对该视频链或该多个视频链进行调节。此设备实际上是自我改进的视频装置。

应该理解的是，在不脱离本发明的精神或者所附权利要求书的范围的情况下，本领域中普通技术人员可以作出各种修改。例如，比特数可以明显多于或少于19，基因的数目可以多于或低于六个。模块的数目可以大于四个或者小于四个，这取决于在优化过程期间人们希望获得的准确度。

Claims (20)

1.一种把概率向量用于二进制表示的系统，包括：

二进制表示模块107，使用概率向量把视频链转换为包括预定数目比特的二进制表示；

级联的四模块视频处理链101，102，103，104，用于处理二进制表示的视频链，所述四模块处理链包括：

(1)空间多相标量模块101；

(2)降噪器模块102；

(3)锐度增强器模块103；

(4)直方图模块104；

其中四模块视频处理链的初始级联次序是随机的；以及

优化算法模块106，根据视频质量把级联次序从随机级联优化为优化次序。

2.依照权利要求1所述的系统，其中所述优化算法模块通过确定任意两个级联模块之间的总线宽度来优化四模块视频处理链的设置。

3.依照权利要求1所述的系统，其中所述二进制表示模块107把所述视频链表示为二进制串105，所述二进制串包括在五个以上的基因之间分布的至少一个19个二进制比特的染色体。

4.一种把概率向量用于二进制表示的系统，包括：

二进制表示模块107，使用概率向量把视频链转换为二进制表示，所述二进制表示包括具有预定数目比特的视频链；

级联的四模块视频处理链101，102，103，104，用于处理所述视频链，所述处理链包括：

(1)具有输出的空间多相标量模块101；

(2)级联到所述空间多相模块的输出的降噪器模块102；

(3)级联到降噪器模块的输出的锐度增强器模块103；

(4)级联到锐度增强器模块的输出的直方图模块104；以及

优化算法模块106，优化四模块视频处理链的设置，包括任意两个级联模块之间的总线宽度。

5.依照权利要求4所述的系统，其中所述优化算法模块通过确定任意两个级联模块之间的总线宽度来优化四模块视频处理链的设置。

6.依照权利要求5所述的系统，其中所述二进制表示模块107把所述视频链表示为二进制串105，所述二进制串包括在六个基因之间分布的19个二进制比特的染色体。

7.依照权利要求4所述的系统，其中所述模块视频处理链包括四个以上视频模块。

8.一种自我改善的设备，包括：

用于接收视频链905的装置；

二进制表示模块910，用于采用预定数目的比特来表示视频链905，所述预定数目的比特被根据概率向量分组成预定数目的基因1至n；

提取和存储装置915a，915b，915n，用于在可能具有优良解和不良解的解中提取基因1至n中每一个基因的每个允许值的出现次数；

概率分布装置920，用于通过为基因1至n中每个可能的基因对构造概率向量来执行从提取和存储装置915a，915b，915n中获得的、基因1至n中每一个的概率分布，以提供在具有最高概率的多个最佳区域和具有最低概率的多个最差区域中的概率分布；以及

基因值选择装置925，与所述概率分布装置通信，用于最大化最佳解的概率并且最小化最差解的概率，其中所述基因值选择装置925向所述二进制串表示模块910提供反馈，并且其中所述二进制串表示模块910选择基因的另一集合以更新视频链的质量。

9.依照权利要求8所述的设备，其中所述二进制表示模块以预定数目的基因当中的至少19个比特来表示视频链。

10.依照权利要求9所述的设备，其中所述概率分布装置920包括用于优化参数设置的算法模块，并且其中预定数目的比特被分组成预定数目的基因。

11.一种把概率向量用于视频系统的二进制表示的方法，包括如下步骤：

(a)提取每个基因在视频链的二进制表示中出现的次数以及其在优良/不良解区域中存在的次数；

(b)为每个基因/基因对构造在优良/不良解区域中的概率向量；

(c)基于步骤(b)的概率来设置基因值；并且

(d)最大化在最佳区域具有解的概率，并且最小化在不良解区域具有解的概率。

12.依照权利要求11所述的方法，其中步骤(a)包括第一于步骤(i)，用于把视频链转换为二进制表示，所述二进制表示具有预定数目的比特并且把预定数目的比特分组为基因。

13.依照权利要求11所述的方法，其中步骤(b)、(c)和(d)由优化算法执行。

14.依照权利要求13所述的方法，视频处理链的二进制表示接下来由级联的四模块视频处理链处理。

15.依照权利要求14所述的方法，其中四个视频模块的级联最初是随机的，并且优化算法得到可以优化概率结果的级联次序。

16.依照权利要求11所述的方法，其中步骤(b)包括使用各个基因的最佳和最差的概率分布。

17.依照权利要求11所述的方法，其中步骤(b)包括使用每个不同基因对的联合概率分布。

18.依照权利要求14所述的方法，其中所述优化算法包括优化四个视频模块之间的级联总线宽度。

19.依照权利要求14所述的方法，其中所述级联的四个视频模块包括空间多相标量模块101、降噪器模块102、锐度增强器模块103以及直方图模块104。

20.依照权利要求11所述的方法，其中步骤(a)至(d)在一个视频链或者多个视频链的持续时间内被重复进行。

Images