CN103379335B - 用于转码视频信号的方法、设备及系统 - Google Patents

Abstract

本公开涉及基于方差度量对视频特征的检测。表示图像的一区域的像素块的方差和的度量被用来识别该图像的视频特征的存在，并且响应于识别出该视频特征的存在而执行转码。所识别的视频特征可以包括但不限于，场景变化、黑边框区或字幕区的存在、或者图像的复杂度。该转码操作可以包括但不限于，将该图像编码为帧内帧，从转码图像中省略与黑边框区或字幕区相对应的内容，或者在转码该图像期间向黑边框区分配相对较低的比特预算或向字幕区分配相对较高的比特预算，或者在转码期间设置用于速率控制的比特预算。

Description

用于转码视频信号的方法、设备及系统

技术领域

本公开总体上涉及视频处理，并且更具体地涉及视频编码和转码。

背景技术

频繁使用视频编码或转码来减少要存储或发送的视频数据的量，或者将视频信号从一种格式转换至另一格式。有效的转码往往依靠对视频内容中存在的特征（如空白屏幕、场景变化、黑边框(black border)等）的准确检测。用于识别这些特征的常规技术，诸如通过检测声音水平的变化来识别场景变化，或者通过确定具有特定颜色的像素的数量来识别黑边框，它们在识别对应特征方面往往低效或者无效。

发明内容

根据本发明的一些方面，提供如所附权利要求中所述的装置和方法。

根据本发明的另一方面，提供一种用于转码视频信号的方法，该方法包括：基于视频信号的图像的一区域的方差和度量，将该图像识别为包括至少一个视频特征；并且基于该至少一个视频特征转码该图像，以生成经转码的视频信号的对应的转码图像。该区域可包括整个图像；该至少一个视频特征可包括场景变化；并且转码该图像的步骤可包括以下至少之一：将该图像转码为经转码的视频信号的帧内编码帧；以及调节用于转码该图像的速率控制参数。该区域可包括该图像的边框区；该至少一个视频特征可包括该图像中黑边框区或字幕区之一的存在；并且转码该图像的步骤可包括以下至少之一：从用于经转码的视频信号的对应的转码图像中省略该区域的图像内容；以及在转 码期间向该区域分配第一比特数用于速率控制，并且在转码期间向该图像的活动图像区（active image region）分配第二比特数用于速率控制，该第二比特数不同于该第一比特数。该区域可包括整个图像；该至少一个视频特征可包括该图像的复杂度；并且转码该图像的步骤可包括基于该图像的复杂度，在转码期间向该图像分配一定数量的比特用于速率控制。将视频信号的图像识别为包括至少一个视频特征的步骤可包括：确定该区域的方差和度量与该视频信号的至少一个在前图像的对应区域的方差和度量之间的差别；以及基于该差别与预定阈值的比较，将该图像识别为包括至少一个视频特征。

附图说明

通过参照附图，可以更好地理解本公开，并且使本领域技术人员明白其许多特征和优点。

图1是例示根据本公开至少一个实施例的、具有基于方差和度量（a sum ofvariances metric）的视频特征检测的视频处理系统的框图。

图2是例示根据本公开至少一个实施例的、用于计算视频信号的一图像的方差和度量的各种方法的图。

图3是例示根据本公开至少一个实施例的、用于基于通过方差和分析（a sum ofvariances analysis）所识别的视频特征来转码视频信号的方法的流程图。

图4是例示根据本公开至少一个实施例的、用于基于方差和分析来检测场景变化的方法的流程图。

图5是例示图4的方法的示例实现的图。

图6是例示根据本公开至少一个实施例的、用于基于方差和分析来检测图像中的黑边框区或字幕区的方法的流程图。

图7是例示根据图6的方法，基于对黑边框区或字幕区的检测，针对图像的示例转码操作的图。

图8是例示根据本公开至少一个实施例的、用于基于方差和分析来确定图像的复杂度并且基于该复杂度来调节该图像的转码的方法的 流程图。

具体实施方式

图1-8例示了基于利用对视频信号表示的图像的一个或多个方差和度量的分析而检测到的视频特征，来编码或转码视频信号的技术。在典型的转码处理期间，计算宏块或其它像素块内的像素的方差（通称为“VAR”），并将其用于运动检测或运动估计。像素块的方差表示该像素块内的像素的相对相似度或相异度。然而，在跨一像素块区域考虑时，该方差还可以被用于识别特定视频特征，其中，对于该特定视频特征来说，预期该区域的方差相对较低（例如，在黑边框区内，由于是常黑像素），或者该区域的方差相对较高（例如，在字幕区内，由于字幕文本的白像素与背景的黑像素之间的高对比度）。而且，一个图像的一区域的方差与下一图像的同一区域的方差之间的显著差别可以指示这些图像之间的场景变化。因此，在至少一个实施例中，对指定区域的像素块的方差求和，并且使用表示该方差和（SVAR）的度量来确定该图像中是否存在特定类型的视频特征。接着，可以响应于图像中的视频特征的识别而执行一个或多个编码或转码操作。在一个示例中，图像的多个或全部像素块的方差和可以被用作图像的复杂度的度量，并且图像的该复杂度特征可以被用于针对速率控制处理的比特分配。作为另一示例，图像的方差和度量可以与表示一个或多个在前图像的方差和的度量相比较，以确定该图像是否表示场景变化。响应于检测到该图像表示场景变化，转码处理可以实现该图像的转码版本，作为新的图片组（GOP）中的帧内编码帧（I-帧）。作为又一示例，一列或多列像素块或一行或多行像素块的方差和度量可以被用于检测黑边框区或字幕区的存在，于是转码处理通过以下步骤来适应：诸如通过从经转码信号中的对应图像中省略黑边框区/字幕区，通过确定被黑边框区包围或者与字幕区相邻的活动图像区的真实分辨率（其可以证明在为场景变化检测设置阈值时有用），通过基于黑边框区的存在或者黑边框区中的变化来检测场景变化，或者通过在转码图像的同时向黑 边框区/字幕区指派一不同比特预算。

图1按框图形式例示了根据本公开至少一个实施例的视频处理系统100。该视频处理系统100包括：视频源102、转码系统104、以及视频目的地106。视频源102按模拟或数字形式发送或以其它方式提供一个或多个视频信号。例如，视频源102可以包括：用于卫星或有线传输系统的接收器、存储部件（例如，硬盘驱动器）、通过因特网或其它网络流传输视频内容的服务器、数字万用盘（DVD）或Blu-Ray^TM盘等。视频目的地106可以包括经转码的视频信号的各种中间或最终目的地中的任一种，诸如存储部件、联网计算机、机顶盒、或电视机等。转码系统104对从视频源102接收的视频信号108进行转码，以生成用于向视频目的地106输出的经转码视频信号110。例如，转码系统104可以被实现为机顶盒的芯片上系统（SOC）或其它组件、个人录像机（PVR）、媒体网关、或网络附连存储部（NAS）。视频信号108和经转码视频信号110皆可以根据数字视频格式来编码，诸如H.264、MPEG-4Part10高级视频编码（AVC）、或其它数字格式，诸如运动图片专家组（MPEG）格式（如MPEG1、MPEG-2或MPEG-4）、Quicktime格式、Real Media格式、Windows Media Video（WMV）或Audio Video Interleave（AVI）、或者标准的或专有的另一数字视频格式。

视频处理系统100可以表示其中可以有利地使用编码或转码的各种视频系统中的任一种。例如，在一个实施例中，视频处理系统100包括卫星或有线电视系统，由此，视频内容从广播方流传输至顾客房屋的机顶盒。在这个示例中，视频目的地106例如可以包括机顶盒处的非易失性存储器，并且转码系统104可以包括机顶盒处的SOC，以用于转码视频内容和将经转码视频内容提供给该非易失性存储器。作为另一示例，视频处理系统100可以包括视频内容服务器系统，由此，视频源102包括存储原始视频内容的硬盘驱动器，视频目的地106是经由网络连接至该视频内容服务器的远程计算机系统，并且转码系统104被用于在经由网络向远程计算机系统发送经转码视频内容之前，响应于当前网络条件来转码视频内容。

在所示实施例中，转码系统104包括：接口112和114、解码器116、编码器118、以及特征检测模块120。接口112和114分别包括被用于与视频源102和视频目的地106传送信令的接口。接口112和114的示例包括输入/输出（I/O）接口，诸如外围组件互连扩展（PCIE）、通用串行总线（USB）、串行连接技术附件（SATA）、诸如以太网的有线网络接口、或者诸如IEEE802.11x或Bluetooth^TM的无线网络接口，或诸如3GPP、4G或LTE蜂窝数据标准的无线蜂窝接口。解码器116、编码器118以及特征检测模块120皆可以全部采用硬件实现，或者全部实现为存储在存储器122中并且通过处理器124执行的软件，或者采用硬件逻辑和软件执行的功能的组合来实现。作为例示，在一个实施例中，转码系统104被实现为SOC，由此解码器116、编码器118以及特征检测模块120的一些部分被实现为硬件逻辑，而其它部分经由存储在SOC处并且通过SOC的处理器执行的固件来实现。转码系统104的硬件可以利用单个处理装置或多个处理装置来实现。这种处理装置可以包括：中央处理单元（CPU）、图形处理单元（GPU）、微控制器、数字信号处理器、现场可编程门阵列、可编程逻辑器件、状态机、逻辑电路、模拟电路、数字电路、或者基于存储在诸如存储器122的存储器中的可操作指令来操纵信号（模拟和/或数字）的任何装置。存储器122可以是单个存储器装置或多个存储器装置。这种存储器装置可以包括：硬盘驱动器或其它盘驱动器、只读存储器、随机存取存储器、易失性存储器、非易失性存储器、静态存储器、动态存储器、闪速存储器、高速缓冲存储器、和/或存储数字信息的任何装置。应注意到，当处理模块经由状态机、模拟电路、数字电路和/或逻辑电路来实现其功能中的一个或多个时，存储对应的可操作指令的存储器可以嵌入在包括状态机、模拟电路、数字电路和/或逻辑电路的电路内或位于其外部。

解码器116操作以经由接口112接收视频信号108，并且部分或全部解码该视频信号108以创建经解码的数据流126，经解码的数据流126可以包括像素信息、运动估计/检测信息、定时信息，以及其它视频参数。转码器118接收经解码数据流126，并且使用由经解码的数据流表 示的视频参数来生成经转码的视频信号110，经转码的视频信号110包括原始视频信号108的视频内容的转码表示。由编码器118实现的转码处理例如可以包括：流格式改变（例如，从MEPG-2格式至AVC格式的转换）、分辨率改变、帧速率改变、比特率改变等。

特征检测模块120在解码器116解码视频信号108时接收来自该解码器116的像素信息128，并且基于该像素信息的方差分析，经由控制信令130来修改或以其它方式控制编码器118的各种编码操作。例如，在运动估计/检测处理期间，提供被分析图像的一些或所有像素块的方差，作为像素信息128的一部分，并且特征检测模块120使用该图像的一个或多个区域内的像素块的方差和来检测一个或多个视频特征的存在。作为例示，整个图像（或其大部分）的像素块的方差和被特征检测模块120用于检测场景变化，并且作为响应，指示编码器118开始新的图片组（GOP）并且编码该图像作为帧内帧（I-帧）。作为另一示例，特征检测模块120可以使用图像的一个或多个区域的像素块的方差和来检测在活动图像区的外围处的黑边框区或图像中用于显示字幕信息的区域，并且作为响应，可以控制编码器118，以便从所得到的编码图像中去除所检测到的黑边框/字幕区，将较低比特率分配给所检测到的黑边框而将较高比特率分配给图像的活动图像区（即，图像中以黑边框区为边界或与字幕区相邻的区域，并且其包含非字幕/非黑边框的图像内容），将较高比特率分配给所检测到的字幕区以减小主观伪像的可能性，或者基于黑边框区的存在或者黑边框区中的变化来确定场景变化。作为又一示例，特征检测模块可以使用图像的一个或多个区域的像素的方差和来确定该图像的复杂度，并接着基于该确定的复杂度，调节编码器118应用到帧的速率控制参数。

图2提供了示例上下文以例示在此使用的与方差有关的各种术语。所示图像200（I-帧）由以多个行和列排列的像素块202的矩阵组成。图像200可以是视频帧的场（例如，隔行扫描实现中的奇数场或偶数场），或者是完全视频帧（例如，逐行扫描实现中组合的奇数场和偶数场两者）。典型视频图像可以包括几百甚或几千行和列的这些像素块 202。然而，为容易例示，图像200是包括按八个水平行（标注1-8）和八个列（标注A-H）排列的六十四个像素块202的简化图像。每一个像素块202又包括按行和列排列的像素矩阵（未示出）。每一个像素块202可以包括一个或多个宏块。作为例示，在一个实施例中，每一个像素块202都是根据H.263或H.264标准的16x16宏块，并由此表示按十六行和十六列排列的256个像素。在另一实施例中，每一个像素块202都包括宏块的矩阵，诸如16x16个宏块的4x4矩阵。在又一实施例中，每一个像素块202都仅包括宏块的一部分，诸如一个16x16宏块的4x4分区。

通常被标记为“VAR”的方差可以针对图像200的一些或全部像素块202来确定，作为运动估计或运动检测处理的一部分，或者作为一分开的处理。该方差通常根据像素块202的像素的亮度值来确定，但在其它实施例中，可以使用颜色信息来确定方差。用于计算像素块的方差的技术是本领域公知的，并且在美国专利No.6223193中描述了对用于方差计算的一种这样的技术的讨论。为容易引用，在行i和列j处的像素块202的方差被标记为VAR_i,j。由此，在行1和列A处的像素块202的方差被标记为VAR_1A，而在行1和列F处的像素块202的方差被标记为VAR_1F。

关于图像的一个或多个区域的方差和（SVAR）的度量可以证明在识别图像的特定特性方面有用。例如，如在此更详细描述的，图像200的一些或全部像素块202的方差和可以证明在确定该图像200是否表示场景变化方面或者在确定该图像的相对复杂度方面有用。作为另一示例，像素块202的特定区域的方差和可以证明在识别图像200中的黑边框区或字幕区方面有用。

如在此使用的，表示沿像素块的行i的像素块的方差的总和的方差和度量被称作方差行投影并且被标记为SVAR_R[i]。类似的是，表示沿像素块的列j的像素块的方差的总和的方差和度量被称作方差列投影并且被标记为SVAR_C[j]。还可以针对图像200的包括多个行或多个列的区域计算方差和度量。例如，可以计算表示由行1和2组成的区域X的方差和度量并且标记为SVAR_RegX，或者可以计算表示由列A和B组成 的区域Y的方差和度量并且标记为SVAR_RegY。另外，可以针对图像200的包括行的仅仅一部分或列的仅仅一部分的区域计算方差和度量。作为例示，可以针对由例如既处于行3-6又处于列C-F的那些像素块202所组成的预期活动图像区计算方差和度量，或者可以针对由例如既处于行1、2、7或8之一又处于列A、B、G或H之一的那些像素块202所组成的预期黑边框区计算方差和度量。而且，可以针对图像的全部像素块202计算方差和度量并且标记为SVAR_I。

图3例示了图1的转码系统104的操作的示例方法300。在框302，转码系统104接收来自视频源102的视频信号108，其中，视频信号108可以通过有线或无线网络从移动源接收、经由I/O接口从本地存储装置接收，等等。在框304，转码系统104转码视频信号108，以生成经转码的视频信号110。该转码处理可以包括以下的一个或多个：编码格式转换、分辨率转换、比特率转换、帧速率转换，等等。在框306，转码系统104向视频目的地106发送经转码视频信号，其中，经转码视频信号可以经由有线或无线网络发送至远程目的地、经由I/O接口发送至本地存储装置，等等。

作为框304的转码处理的一部分，特征检测模块120处理在视频信号108（或其解码版本）中表示的特定图像，以识别这些图像中的特定特性，并且响应于识别该特性而修改转码处理。例如，由特征检测模块120处理的图像典型地包括例如视频信号108的I-帧（或I-帧的子集），但也可以分析预测帧（P-帧）和双向预测帧（B-帧）。在框308，特征检测模块120对图像的处理包括确定图像的或该图像的一个或多个区域的一个或多个方差和度量。例如，针对该图像确定的方差和度量可以包括整个图像的方差和（SVAR_I）、一个或多个行的方差行投影（SVAR_R[i]）、一个或多个列的方差列投影（SVAR_C[j]）、或者该图像的其它区域的方差和。

在框310，特征检测模块120使用在框308确定的一个或多个SVAR度量，来检测与该图像相关联的一个或多个视频特性。可以检测的视频特性的示例包括但不限于，场景变化、重复图片、淡入或淡出、用 于提供闭路字幕或文字说明的字幕区的存在和位置、黑边框区和活动图像区的存在和位置、图像的相对复杂度等。在框312，特征检测模块120经由控制信令130来控制编码器118（图1），以基于检测到的图像特性来执行至少一个转码操作（其可以包括修改至少一个转码操作）。如果检测到的特性是，该图像表示场景变化，则作为响应而执行的转码操作例如可以包括：编码该图像作为新GOP起始处的I-帧，或者在转码期间向该图像分配更高比特率。如果检测到的特性是黑边框区或字幕区的存在，则作为响应而执行的转码操作例如可以包括：编码图像以从对应的经编码图像中省略黑边框区或字幕区，从用于场景变化检测的图像分析中省略黑边框区或字幕区，或者编码图像以将与指派给活动图像区的比特分配不同的比特分配指派给黑边框区/字幕区。如果检测到的特性是图像的复杂度，则作为响应而执行的转码操作例如可以包括：设置速率控制或量化参数。图4-8例示了在框308-312执行的处理的各种示例。

图4和5例示了根据本公开至少一个实施例的、用于基于SVAR度量来检测视频信号500（图5）中的场景变化的方法400（图4）。该方法400在框402开始，由此，特征检测模块120从正被处理以便由转码系统104（图1）编码或转码的视频信号500接收或选择用于场景变化分析的图像502。在框404，特征检测模块120确定当前被分析的图像502的当前SVAR度量，以用于场景变化检测。在一个实施例中，当前SVAR度量包括整个图像502的当前SVAR度量（SVAR_I）。在另一实施例中，当前SVAR度量可以包括图像502的所选择区域的SVAR度量，诸如在图像502的中心处或者另选地在该图像的边沿处的一定数量的行投影SVAR_R[x]或一定数量的列投影SVAR_C[X]的和。一种有效方法可以包括使用已经去除或废弃了任何黑边框或字幕区（例如，由于字幕区所引入的显著VAR波动）的图像502的活动图像区的当前SVAR度量。作为另一示例，由于黑边框的出现或消失通常是场景变化的可靠指示符，因而当前SVAR度量可以包括图像502的边沿区域的SVAR度量。在试图检测淡入或淡出的情况下，活动图像区的当前SVAR度量可以针对 逐渐增加或减小来估算，由此指示淡入或淡出。作为又一示例，在框404计算的当前SVAR度量可以包括图像502的定义的中心区域处的块的SVAR度量SVAR_Reg[X]。

在框406，特征检测模块120确定或访问视频信号500中的一个或多个在前图像的先前SVAR度量。例如，特征检测模块120可以将先前SVAR度量确定为紧邻的前一图像504的对应SVAR度量。作为另一示例，特征检测模块120可以将先前SVAR度量确定为多个在前图像的滑动窗口（诸如包括相对于当前图像502的在前帧504、506和508的三图像滑动窗口505）的对应SVAR度量的平均或其它表示。针对滑动窗口505计算的先前SVAR度量可以是滑动窗口505中的图像的SVAR度量的未加权平均（即，滑动窗口505中的每一个图像的SVAR被均等地加权），或者先前SVAR度量可以被计算为加权平均，由此，最接近被分析的当前图像的图像（例如，相对于当前图像502的图像504）的SVAR度量被最重地加权。先前SVAR度量通常根据一个或多个先前图像的、与为计算图像502的当前SVAR度量所使用的区域相同的区域来计算。例如，当前SVAR度量是全图像SVAR度量，则先前SVAR度量根据滑动窗口505中的一个或多个图像中的每一个的全图像SVAR度量来计算。

视频信号中的当前图像与一个或多个在前图像之间的SVAR度量中的统计上显著的变化是当前图像表示场景变化的强指示符。因此，在框408，特征检测模块120确定框404计算出的当前SVAR度量与框406计算出的先前SVAR度量之间的差别。接着，特征检测模块120将该差别与预定阈值进行比较，以识别图像502是否表示场景变化（即，当前图像502与一个或多个在前图像的SVAR度量之间存在统计上显著的差别）。在一个实施例中，预定阈值是相对阈值，如百分比变化。作为例示，该阈值可以被设置为相对于先前SVAR度量的+/-20%变化。由此，如果当前SVAR度量高于先前SVAR度量超过20%或者低于先前SVAR度量超过20%，则当前SVAR度量将超出该阈值。另选的是，该预定阈值可以表示绝对变化，而非相对变化。另外，在一个实施例中， 该阈值可以包括相对阈值分量和绝对阈值分量两者，以使得只有当相对阈值分量和绝对阈值分量都被超出时才超出该阈值。该阈值可以依照经验确定，通过模拟或建模来确定，等等。而且，虽然该阈值在一些实现中可能是静态的，但在其它实现中，该阈值可以基于转码处理期间的反馈而动态地改变。

在当前SVAR度量与先前SVAR度量之间的差别未超出预定阈值的情况下，在框410，特征检测模块120将图像502识别为不表示场景变化并相应地用信号通知编码器118（图1）。相反的是，响应于确定该差别超出阈值，在框412，特征检测模块120将图像502识别为表示场景变化并相应地用信号通知编码器118。在一个实施例中，不是仅仅基于SVAR度量进行场景变化检测，而是转码系统104结合一个或多个其它场景变化指示符来使用SVAR度量。例如，转码系统104可以使用SVAR度量和音量变化检测的组合，来确定是否出现了场景变化。

在框414，编码器104基于在步骤410和412确定图像502是否表示场景变化，来编码视频信号500的与图像502相对应的部分。例如，响应于特征检测模块120经由控制信令130通知图像502是场景变化，编码器118可以执行生成新GOP的转码操作，其中图像502作为新GOP的第一个I-帧，或者以其它方式改变转码参数（诸如速率控制参数和图像502的引用），以改进图像502的转码表示的质量。并行地，方法400针对视频信号500中的下一图像返回至框402，此时，图像502变为相对于下一图像而言的在前图像。方法400的处理可以继续，直到编码或转码了视频信号500为止。

图6和7例示了根据本公开至少一个实施例的、用于基于SVAR度量来检测图像700（图7）中的黑边框区或字幕区的方法600（图6）。如图7的图像700所示，视频信号的图像可以包括黑边框，黑边框包含一个或多个黑边框区，诸如顶部水平黑条702、底部水平黑条704、左侧垂直黑条706、以及右侧垂直黑条708。这些黑边框条（也统称为“遮罩（mattes）”）通常在其中原始视频内容与作为结果的视频内容之间的宽高比或分辨率被改变的视频编码处理或视频格式化处理期间引入。 作为例示，如果要保持全部原始内容，则从ATSC格式常见的16：9宽高比至NTSC电视的4：3宽高比的视频转换通常导致引入垂直黑条702和704。另外，出于显示闭路字幕文本或文字说明的目的，字幕区710往往可能存在于图像700中（通常处于底部水平黑条704中）。常规地，图像中这些黑边框区或字幕区的存在会导致图像的次优编码，因为编码资源被不必要地分配为，以与活动图像区（即，图像中显示非边框或非字幕内容的区域）相同的保真度编码黑边框区或字幕区。

返回参照图6，方法600例示了检测图像中的这些黑边框区或字幕区以便调节分配给这些区域的编码资源的处理。方法600在框602开始，由此，特征检测模块120接收用于分析的图像700，并且确定图像700的一个或多个边框区中的一个或多个方差行投影和/或一个或多个方差列投影的SVAR度量。作为例示，如果假定黑边框（若果真存在的话）位于垂直边框区712和714内的像素块的列内和水平边框区716和718内的像素块的行内，则特征检测模块120可以确定落入垂直边框区712和714内的像素块的那些列X的方差列投影SVAR_C[X]，以及落入水平边框区716和718内的像素块的那些行Y的方差行投影SVAR_R[Y]。而且在该假定下，特征检测模块120将绕过落入垂直区720和水平区722两者内的像素块的SVAR度量计算，因为预期这些像素块将构成图像700的活动图像区724。

特征检测模块120可以按许多方式根据这些SVAR投影来检测黑边框区726。在一个实施例中，特征检测模块120可以分别地检测黑边框的每一个黑条或遮蔽。例如，特征检测模块120可以对水平边框区716中的方差行投影求和或取平均，以确定用于检测顶部水平黑条702的存在的区域SVAR度量。同样地，特征检测模块120可以对水平边框区718中的方差行投影求和或取平均，以确定用于检测底部水平黑条704的存在的区域SVAR度量。类似的是，特征检测模块120可以对垂直边框区712中的方差列投影求和或取平均，以确定用于检测左侧垂直黑条706的存在的区域SVAR度量，并且对垂直边框区714中的方差列投影求和或取平均，以确定用于检测右侧垂直黑条708的存在的区域SVAR度 量。

另选的是，特征检测模块120可以成对地检测黑条（顶部和底部黑条702和704，或者左侧和右侧黑条706和708），诸如通过对边框区716和718两者中的方差行投影求和或取平均，或者通过对边框区712和714两者中的方差列投影求和或取平均。在另一实施例中，可以通过例如对来自水平边框区716和718的方差行投影和来自垂直边框区712和714的方差列投影一起求和或取平均，来检测作为整体的黑边框区726的存在。

在框604，特征检测模块120使用在框602确定的一个或多个SVAR度量，来检测图像700中是否存在黑边框区726或其一个或多个黑条。一般来说，其中存在黑边框或边框条的图像的那些区域的SVAR度量具有相对较低的方差，因为像素块的像素之间具有很小的方差。因此，特征检测模块120可以使用与该预期低方差相对应的预定阈值，作为用于检测黑边框区726的触发。在来自框602的SVAR度量超出阈值的情况下，特征检测模块120将图像700识别为包含黑边框726（或对应的条分量），并相应地用信号通知编码器118（图1）。作为例示，可以根据经验性分析或建模来确定，图像的具有黑边框的区域716中的方差行投影的平均值小于K。由此，用于检测顶部黑条702的存在的阈值可以被设置成K，以使得当图像700的区域716中的像素块的方差行投影的平均值低于K时，特征检测模块120识别图像700在水平区716处具有顶部黑条702。虽然该阈值在一些实现中可能是静态的，但在其它实现中，该阈值可以基于转码处理期间的反馈而动态地改变。

在某些实现中，边框条的范围可能无法可靠预测。例如，转码系统104可能无法获知所接收的视频信号108中进行的任何宽高比变化。因此，不是依靠预定义区域712、714、716和718，而是特征检测模块120可以通过检测相邻行的像素块的方差行投影之间或者相邻列的像素块的方差列投影之间的统计上显著的变化，来检测从黑条至活动图像区724的转变（即，黑条的边缘）。例如，特征检测模块120可以将划分方差列投影低于预定阈值的一列像素块与方差列投影高于预定阈值 的一列像素块的线识别为左侧垂直黑条706的边缘。另选的是，特征检测模块120可以将这样的第一列像素识别为左侧垂直黑条706的边缘：该第一列像素的方差列投影比与该第一列侧向相邻的像素列的方差列投影至少大例如20%。

转码系统104可以响应于检测到图像700中的黑边框区726（或其分量）而执行各种转码操作中的任一种。作为例示，在框606，转码系统104可以针对所得到的经转码视频信号修剪图像700，以使黑边框区726中的图像内容在对应的转码图像中被省略，并由此，在对应的转码图像中仅包括活动图像区724的图像内容。另选的是，在框608，所检测到的黑边框区726（或其分量）可以继续被表示在对应的转码图像中，但是具有较低的保真度。在这种情况下，编码器118可以向活动图像部分724分配较高的比特率或比特预算，而向检测到的黑边框区726分配较低的比特率或比特预算，由此，对于用于整体图像的给定比特分配，允许活动图像区724具有改进的保真度。

字幕区710可以按类似方式通过转码系统104来检测和处理。例如，在框604，特征检测模块120可以例如通过对字幕区710的方差行投影求和或取平均来确定SVAR度量。然而，不同于黑框区域，由于代表字幕区710中的字符的典型为白色的像素与代表字幕区710中的背景的典型为黑色的像素之间的强烈对比度（和由此的方差），预期字幕区710具有相对较高的SVAR。因此，在框606，特征检测模块120通过确定预期字幕区710的SVAR度量高于预定阈值来检测字幕区710的存在，该阈值可以经验性地、通过建模来确定，并且可以是静态的，或者可以基于转码处理期间的反馈而动态地更新。在识别了字幕区710的情况下，可以在框606从所得到的转码图像中裁去字幕区710，或者可以向字幕区710分配用于极低比特率转码的较高比特预算，以按上面的详细描述改进主观质量。

图8例示了根据本公开至少一个实施例的、用于利用SVAR度量向图像分配比特以用于比特率控制的示例方法800。方法800在框802开始，由此，特征检测模块120接收来自视频信号108（图1）的图像以供 分析，并且确定整个图像的SVAR度量（SVAR_I）。该SVAR度量表示图像的复杂度，其中，SVAR_I更高，图像就越复杂。在框804，编码器118基于所指示的图像复杂度修改所实施的速率控制。作为例示，对于恒定质量系统，与具有更低SVAR_I并由此具有更低复杂度的图像相比，具有更高SVAR_I并由此具有更高复杂度的图像可以被分配更高的比特预算或更低的量化参数。对于恒定比特率系统，在相同比特预算限制下，具有更高SVAR_I并由此具有更高复杂度的图像可以比具有更低SVAR_I并由此具有更低复杂度的图像要求更高的量化参数。

尽管图3-8例示了可以基于所确定的SVAR度量来实现或修改的示例转码操作，但在不脱离本公开的范围的情况下，可以按类似方式实现或修改各种转码操作中的任一种。

在本文档中，诸如“第一”、“第二”等的关系术语可以单独使用，以区分一个实体或动作与另一实体或动作，而不是一定要求或暗示这种实体或动作之间的任何实际关系或次序，或者这种实体和要求保护元素之间的任何实际关系或次序。如在此使用的术语“另一”被定义为至少一第二或更多。如在此使用的术语“包括（including）”、“具有（having）”或其任何变型被定义为包括（comprising）。

根据对在此所公开的本公开的说明书和实践的考虑，本领域技术人员将清楚本公开的其它实施例、用途以及优点。本说明书和附图应当仅被视为示例，并且本公开的范围因此仅通过权利要求书及其等同来限定。

应注意到，上文的一般性描述中所描述的所有活动或元素不是必需的，具体活动或装置的一部分可能不是必需的，并且可以执行一个或多个进一步的活动或者还包括除了上述那些以外的其它元素。更进一步，列出活动的次序不必是执行它们的次序。

而且，已经参照具体实施例对该构思进行了描述。然而，在不脱离权利要求书中阐述的本公开的范围的情况下，本领域普通技术人员清楚可以进行各种修改和改变。因此，本说明书和附图按例示性意义而非限制性意义来考虑，并且所有这种修改都旨在被包括在本公开的 范围内。

上面已经就具体实施例描述了益处、其它优点、以及问题的解决方案。然而，可以导致任何益处、优点或解决方案出现或变得更显著的益处、优点、问题的解决方案以及任何特征不被解释为任何或所有权利要求的关键、必需、或基本的特征。

Claims (6)

1.一种用于转码视频信号的系统，该系统包括：

特征检测模块，用于确定表示视频信号的图像的一区域的像素块的方差和的第一方差和度量，确定表示至少在前图像的对应区域的像素块的方差和的第二方差和度量，并且基于第一方差和度量和多个在前图像的平均方差和度量之差来确定所述图像表示场景变化，其中第二方差和度量被表示在该平均方差和度量内；和

转码器，用于对视频信号进行转码，以生成经转码的视频信号，该转码器用于响应于所述特征检测模块确定所述图像表示场景变化而执行至少一个转码操作。

2.根据权利要求1所述的系统，其中，所述至少一个转码操作包括以下至少之一：生成新的图片组，其中所述图像的转码表示作为该新的图片组的第一个帧内编码帧；以及调节用于转码所述图像的速率控制参数。

3.一种用于转码视频信号的方法，该方法包括：

在转码系统的特征检测模块处确定表示视频信号的图像的一区域的像素块的方差和的第一方差和度量；

在该特征检测模块处确定表示至少在前图像的对应区域的像素块的方差和的第二方差和度量；

在该特征检测模块处基于第一方差和度量和多个在前图像的平均方差和度量之差来确定所述图像表示场景变化，其中第二方差和度量被表示在该平均方差和度量内；和

在转码系统的转码器处响应于确定所述图像表示场景变化而执行至少一个转码操作以生成经转码的视频信号。

4.根据权利要求3所述的方法，其中执行至少一个转码操作包括以下至少之一：生成新的图片组，其中所述图像的转码表示作为该新的图片组的第一个帧内编码帧；以及调节用于转码所述图像的速率控制参数。

5.一种用于转码视频信号的设备，该设备包括：

用于在转码系统的特征检测模块处确定表示视频信号的图像的一区域的像素块的方差和的第一方差和度量的装置；

用于在该特征检测模块处确定表示至少在前图像的对应区域的像素块的方差和的第二方差和度量的装置；

用于在该特征检测模块处基于第一方差和度量和多个在前图像的平均方差和度量之差来确定所述图像表示场景变化的装置，其中第二方差和度量被表示在该平均方差和度量内；和

用于在转码系统的转码器处响应于确定所述图像表示场景变化而执行至少一个转码操作以生成经转码的视频信号的装置。

6.根据权利要求5所述的设备，其中，用于执行至少一个转码操作的装置包括以下至少之一：用于生成新的图片组的装置，其中所述图像的转码表示作为该新的图片组的第一个帧内编码帧；以及用于调节用于转码所述图像的速率控制参数的装置。