CN101346997A - 新型用户敏感信息适应性视频代码转换架构 - Google Patents

Abstract

本发明涉及一种视频系统，该视频系统包括敏感信息产生器，用于产生敏感信息部分(SIP)区域的定义。该视频系统还包括代码转换器，基于用于对被代码转换过的帧进行发送的可用带宽，对SIP区域以高于非SIP区域的比特率进行代码转换。SIP区域是静态地或动态地产生的。视频系统适用于不同的网络环境，并且能够有效地利用带宽来进行高质量的敏感信息传输，并能增强用户体验。

Description

新型用户敏感信息适应性视频代码转换架构

背景技术

代码转换表示一种数字文件到另一种的转换。这种转换包括但不限于格式变化、分辨率变化以及比特率变化。在视频点播应用中，主机计算机可以响应于用户请求来浏览所存储的视频文件。主机计算机可以把所存储的视频文件进行代码转换而变成合适的视频格式和比特率，以通过网络传输给用户。代码转换的格式可以是与用户平台相兼容的，例如，电视或个人电脑。主机计算机也可以调整传输比特率以满足连接主机计算机和用户的网络的带宽需求。

主机计算机和用户之间的网络连接有时可能是不稳定的或拥塞的。无线连接比如无线保真(WiFi)网络上的视频传输很容易发生数据丢失或者错误。因此，主机计算机上的代码转换一般降低传输比特率以在这种网络条件下进行防护。但是，降低的比特率一般会降低用户所接收到的视频质量。

附图说明

通过举例的方式来阐明了诸实施例，附图中图形并不是对本发明的限制，附图中，相同的附图标记表示相同的元件。需要注意的是，本发明中“一个”实施例并不一定是指的同一个实施例，其表示至少一个。

图1是视频系统实施例的方框图。

图2是包括有三帧的帧序列的示例。

图3是视频系统静态模型的方框图。

图4视频系统动态模型的方框图。

图5是示出视频系统代码转换操作的流程图。

具体实施方式

图1示出了视频系统10实施例的方框图。视频系统10可以是个人电脑，文件服务器，或者任意具有视频代码转换功能的计算设备。在一个实施例中，视频系统10可以是视频点播(VOD)系统，响应于用户请求通过网络向终端用户发送视频流。视频系统10可以通过存储器接口17和存储路径18而耦合到存储器12。视频系统10也可以通过网络接口19耦合到网络15上，用于向终端用户发送视频流。网络15可以是有线或无线网络，或者二者组合。网络15可以是局域网，广域网，因特网或以上所述的组合。存储器12可以是一个或多个易失或非易失存储设备的组合，或者任意机器可读介质。例如，机器可读介质包括只读存储器(ROM)；随机存取存储器(RAM)；磁盘存储媒体；光存储媒体；闪存设备；生物电子、机械系统；电、光、声或其它形式的传播信号(比如，载波、红外信号或数字信号)。

存储器12可存储多个视频文件，包括一种或多种视频格式的媒体流文件123。媒体流文件123可包括一系列帧。每个帧的部分可包含用户特别感兴趣或敏感的信息。例如，图2示出了三个连续帧，其中每个都包括一个正在奔跑的人和两辆移动的汽车。用户可能对人比对汽车更感兴趣，因此，可能会更加关注人的细节。因此，用户可以指定人为包含更多用户敏感信息的物体。包含人的区域，如椭圆21-23所表示的，被称之为敏感信息部分(SIP)区域。SIP区域之外的区域称之为非SIP区域。

参照图1，在一个实施例中，视频系统10可以具有一个包括代码转换器110、敏感信息部分(SIP)产生器120以及可选SIP文件分析器130的代码转换单元16，用于向视频文件施加偏差率控制。在一个实施例中，比起向非SIP区域，代码转换器110可以向SIP区域分配更多的用于每个宏块的位数(例如16象素×16象素块)，从而增强SIP的质量和用户体验。SIP产生器120为每一帧产生SIP信息。SIP信息可以与代码转换流的传输一起产生或者静态地产生到存储在存储器12里的SIP配置文件125。如果SIP信息是离线产生的并存储到SIP配置文件125中的，SIP配置文件的格式可能并不能与代码转换器110相兼容。SIP文件分析器130可以用于把用于代码转换器110的文件格式进行转换以解决任何格式不兼容问题。

图1中，代码转换器110、SIP产生器120以及SIP文件分析器130作为硬件设备而示出，其可通过特定用途集成电路(ASIC)、现场可编程门阵列(FPGA)，或任何适用于逻辑设备执行的硬件技术。这些硬件设备可以通过直接存储器存取(DMA)控制器13直接对存储器12里的文件进行存取。作为备选地，一个或多个代码转换器110、SIP产生器120和SIP文件分析器130可以实现为预定义的存储在机器可读介质中的软件模块。这些软件模块可以包含由处理器14执行的指令。

在静态实施例中，SIP可以在用户的指导下产生。例如，用户可以手动为各帧标记一个或多个SIP区域，并为所标记的区域分配优先级。SIP产生器120可以产生每个被标记区域的坐标，并将其存储到SIP配置文件125中。作为备选地，用户可以在SIP首先出现的帧中对SIP进行标记。SIP产生器120可以使用标记的信息来自动对其后的帧中的SIP进行定位。例如，参照图2，用户可以手动标记椭圆21-23来表示正在奔跑的人包包含敏感信息。用户可以仅仅选择性地标记椭圆21。SIP产生器120可以分析物体(正在奔跑的人)的特点，或者包含在椭圆21内的区域，并且在后续帧中搜索具有相同或相似特点的物体或区域。SIP产生器120可以利用标准函数，比如运动图象专家组-4(MPEG-4)中所描述的，来进行分析或搜索。当SIP产生器120对物体或区域定位后，SIP产生器可以产生标记，椭圆形或者任意合适的形状，来包围它。标记的坐标，无论是由用户还是SIP产生器120产生的，都可以存储在SIP配置文件125中。SIP配置文件125可以以项目(item)形式来存储每个SIP，该项目包括帧序列号、SIP号、SIP优先级以及包围SIP的标记的形状和坐标。

作为备选地，用户也可以向SIP产生器120指示某个物体(比如正在奔跑的人)就是SIP，而不用把物体圈起来。在这种场景下，用户可以向SIP产生器120来描述物体的特点(比如某种颜色或某种高宽比的物体)。作为备选地，用户还可以把固定坐标或形状的区域指定SIP区域。SIP产生器120可以根据用户的指导来在所有帧中定位物体或区域。

SIP产生器120也可以自动对SIP进行定位，而不需要用户的指导，或者只需要用户最小的输入。例如，用户可以为每个频繁出现的物体提供一个优先级。SIP产生器120可以比较帧序列中的物体，并指定出现最频繁的物体和/或具有最高优先级的物体为SIP。作为备选地，SIP产生器120也可以比较一系列帧中的物体，并指定出现这些帧最中心位置的物体作为SIP。在另外一些场景中，SIP产生器120可以比较帧序列中的感兴趣区域并指定这些出现最为频繁的区域作为SIP。

在某些实施例中，图1中的视频系统10可以由静态模型或静态模型实现。图3和图4分别示出了视频系统10的静态模型和动态模型的实施例。在静态模型和动态模型中，代码转换器110可以基于SIP信息和网络15的可用带宽来对媒体流文件123进行代码转换。代码转换器110可以为SIP区域和非SIP区域决定不同的比特率以保证SIP的质量并不妥协于有限的带宽。与非SIP区域相比，SIP区域可以以更高的比特率被发送。如果可用带宽较低，或者网络15不稳定，代码转换器110可以降低用于发送非SIP区域的比特率而维持用于发送SIP区域的比特率。作为备选的，代码转换器110可以降低用于SIP和非SIP区域的比特率，但是对非SIP区域施加的比特率降低更多。为了为高优先级SIP保留更多的带宽，一些低优先级的SIP区域可能会丢弃。即，低优先级SIP区域可以用与非SIP区域相同的比特率进行编码。因此，视频系统10可以适用于不同的网络环境，并可以有效地利用带宽来传输高质量的敏感信息。

在图3的静态模型中，SIP配置文件125优先于被代码转换的视频传输而产生。SIP配置文件125也可以从不同的平台导入，并且可以具有不易被代码转换器110所解读的格式。SIP文件分析器130可以读取SIP配置文件125，并把文件格式转换成其它能与代码转换器110兼容的格式。然后代码转换器110可以基于从SIP文件分析器130处所接收到的SIP和网络15的带宽状态而从媒体流文件123中产生代码转换的流。

图4的动态模型中，SIP配置文件125和SIP文件分析器130可以省略。SIP产生器120与代码转换操作同时产生SIP信息，并且直接把SIP发送给代码转换器110。在一个实施例中，代码转换器110可以把网络15的带宽状态馈送给SIP产生器120，并允许SIP产生器基于网络条件动态地调整SIP的量。

图5是示出某些实施例中例如图1中的代码转换器110中代码转换器操作的例子的流程图。方框51处，代码转换器110接收带宽状态，带宽状态指示可用于发送代码转换的视频的可用带宽。方框52处，根据图3的静态模型，代码转换器110从SIP文件分析器130处接收SIP信息。作为备选的，根据图4的动态模型，代码转换器110也可从SIP产生器120处接收SIP信息，并把带宽状态转发SIP产生器。尽管，如图所示，SIP信息是在接收到带宽状态之后才被接收的，但是，这些接收可以是任意顺序的，并且可以是同时的。方框53处，代码转换器110基于带宽状态而决定对SIP以及非SIP区域进行代码转换的比特率。代码转换器110也可以决定是否丢弃具有低优先级的SIP。方框54处，代码转换器110形成近似被标记区域或物体的宏块。在块55处，比起非SIP区域中的宏块，代码转换器110对SIP区域的宏块中的每一个用更高的比特率进行代码转换。方框56处，代码转换器通过网络15向每个终端用户发送进行了代码转换的流。

在上述说明中，对一些特定实施例进行了说明。但是，很明显可以对其进行各种变型或变化，而并不偏离权利要求书的精神和范围。因而，本说明以及附图应该视为是示范性的，而非限制性的。

Claims (20)

1.一种方法，包括：

定义帧的第一部分为包含敏感信息，其中所述帧包括所述第一部分和第二部分；

基于可用于发送代码转换的帧的带宽，而对所述帧的所述第一部分以高于所述帧的所述第二部分的比特率进行代码转换。

2.如权利要求1所述的方法，其特征在于，所述定义帧的第一部分还包括：

定义所述帧的所述第一部分的一个或多个项目为包含敏感信息，其中所述项目为区域和物体中的一个。

3.如权利要求2所述的方法，还包括：

把每个所述项目的坐标存储到文件中。

4.如权利要求2所述的方法，其特征在于，定义所述帧的所述第一部分的一个或多个项目还包括：

如果所述可用带宽降低，则用与所述帧的所述第二部分相同的比特率对低优先级项目进行代码转换。

5.如权利要求1所述的方法，其特征在于，所述代码转换还包括：

如果所述可用带宽降低，则降低所述帧的所述第二部分的比特率，同时维持所述帧的所述第一部分的比特率。

6.如权利要求1所述的方法，其特征在于，所述代码转换还包括：

如果所述可用带宽降低，则所述帧的所述第二部分的比特率的降低大于所述帧的所述第一部分的比特率的降低。

7.如权利要求1所述的方法，其特征在于，定义帧的第一部分还包括：

比较帧序列中的物体；以及

定义所述第一部分为包含所述帧序列中出现最频繁的物体。

8.如权利要求1所述的方法，其特征在于，定义帧的第一部分还包括：

比较帧序列中的物体；以及

定义所述第一部分为包含所述帧序列中最中心位置出现的物体。

9.一种系统，包括：

敏感信息产生器，以产生把帧的第一部分作为包含敏感信息的定义，其中所述帧包括所述第一部分和第二部分；

代码转换器，以基于可用于发送代码转换的帧的带宽，而对所述帧的所述第一部分以高于所述帧的所述第二部分的比特率进行代码转换。

10.如权利要求9所述的系统，还包括：

存储器，以存储包括所述帧的所述第一部分中项目的坐标的配置文件，其中所述项目是物体和区域中的一个。

11.如权利要求9所述的系统，还包括：

存储器，以存储包括所述帧的所述第一部分中项目的优先级的配置文件，其中所述项目是物体和区域中的一个。

12.如权利要求11所述的系统，还包括：

文件分析器，以把所述配置文件的格式转换成与所述代码转换器兼容的另一种格式。

13.如权利要求9所述的系统，其特征在于，所述敏感信息产生器发送所述第一帧的定义到所述代码转换器，并且从所述代码转换器接收的所述带宽的状态。

14.一种其中具有指令的机器可读介质，在所述指令被执行时能使机器：

定义帧的第一部分为包含敏感信息，其中所述帧包括所述第一部分和第二部分；

基于可用于发送代码转换的帧的带宽，而对所述帧的所述第一部分以高于所述帧的所述第二部分的比特率进行代码转换。

15.如权利要求14所述的机器可读介质，其特征在于，定义帧的第一部分还包括如下指令，所述指令可操作以：

定义所述帧的所述第一部分的一个或多个项目为包含敏感信息，其中所述项目是区域和物体中的一个。

16.如权利要求15所述的机器可读介质，其特征在于，定义所述帧的所述第一部分的一个或多个项目还包括指令，可操作以：

如果所述可用带宽降低，则以与所述帧的所述第二部分相同的比特率对低优先级项目进行代码转换。

17.如权利要求14所述的机器可读介质，其特征在于，还包括指令，可操作以：

如果所述可用带宽降低，则降低所述帧的所述第二部分的比特率，同时维持所述帧的所述第一部分的比特率。

18.如权利要求14所述的机器可读介质，其特征在于，还包括指令，可操作以：

如果所述可用带宽降低，则所述帧的所述第二部分的比特率的降低大于所述帧的所述第一部分的比特率的降低。

19.如权利要求14所述的机器可读介质，其特征在于，所述定义帧的第一部分还包括指令，可操作以：

比较帧序列中的物体；以及

定义所述第一部分为包含所述帧序列中出现最频繁的所述物体。

20.如权利要求14所述的方法，其特征在于，所述定义帧的第一部分还包括指令，可操作以：

比较帧序列中的物体；以及

定义所述第一部分为包含所述帧序列中最中心位置出现的物体。

Images