CN103891272A - 用于视频分析和编码的多个流处理 - Google Patents

Abstract

通过有选择地仅编码帧的部分且改为使用先前已编码的部分，可以使用视频分析来辅助视频编码。在后续帧具有少于阈值的运动水平时，可以使用先前已编码的部分。在这样的情况中，可以不编码后续帧的全部或部分，这在一些实施例中增加了带宽和速度。

Description

用于视频分析和编码的多个流处理

背景

本发明通常涉及计算机，且尤其涉及视频处理。

存在其中必须处理和/或存储视频的多种应用。一个示例是视频监视，其中，出于安全或其他目的，可以接收、分析和处理一个或多个视频输入源(video feed)。另一种常规应用是用于视频会议。

通常，诸如中央处理单元等的通用处理器被用于视频处理。在一些情况中，被称为图形处理器的专用处理器可以辅助中央处理单元。

视频分析涉及获得关于视频信息的内容的信息。例如，视频处理可以包括内容分析，其中，分析内容视频以便检测特定事件或事情，或者以便查找感兴趣的信息。

附图简述

图1是根据本发明的一种实施例的系统体系结构；

图2是根据一种实施例的、图1中所示出的视频分析引擎的电路描述；

图3是根据本发明的一种实施例的视频捕捉的流程图；

图4是根据一种实施例的二维矩阵存储器的流程图；

图5是根据一种实施例的分析辅助编码的流程图；以及

图6是另一实施例的流程图。

详细描述

根据一些实施例，可以并行处理多个视频流。在实现视频分析的同时，可以编码视频流。此外，在多个流中的每一个正在受到视频分析的同时，可以在一个快照(shot)中编码多个流中的每一个。在一些实施例中，可以由用户在已经实现编码或分析的同时即时(on the fly)改变编码或分析的特性。

尽管给出了其中使用了视频分析的实施例的示例，但在一些实施例中，视频分析仅是可选的，且可以使用或不使用视频分析。

参见图1，计算机系统10可以是各种计算机系统中的任何，包括使用视频分析的那些计算及系统(例如视频监控和视频会议应用)以及不使用视频分析的实施例。仅举几个示例，系统10可以是台式计算机、服务器、膝上型计算机、移动因特网设备或蜂窝式电话。

系统10可以具有耦合到系统总线14的一个或多个主机中央处理单元12。系统存储器22可以耦合到系统总线14。尽管提供了主机系统体系结构的示例，但本发明决不限于任何具体的系统体系结构。

系统总线14可以耦合到总线接口16，总线接口16又耦合到常规总线18。在一种实施例中，可以使用快速外围组件互连(PCIe)总线，但本发明决不限于任何具体的总线。

视频分析引擎20可以经由总线18耦合到主机。在一种实施例中，视频分析引擎可以是提供编码和视频分析两者的单个集成电路。在一种实施例中，集成电路可以使用嵌入式动态随机存取存储器(EDRAM)技术。然而，在一些实施例中，可以省去编码或视频分析中的任一种。另外，在一些实施例中，引擎20可以包括控制板载集成二维矩阵存储器并提供与外部存储器的通信的存储器控制器。

因而，在图1中所阐释的实施例中，视频分析引擎20与本地动态随机存取存储器(DRAM)19通信。具体地，视频分析引擎20可以包括用于访问存储器19的存储器控制器。替代地，引擎20可以使用系统存储器22且可以包括到系统存储器的直接连接。

一个或多个相机24也可以耦合到视频分析引擎20。在一些实施例中，可以以标清格式接收高达四路的同时视频输入。在一些实施例中，可以在三路输入上提供一路高清输入，且可以在第四路输入上提供一路标清。在其他实施例中，可以提供更多或更少的高清输入，且可以提供更多或更少的标清输入。作为一个示例，三路输入中的每一路可以接收十个比特的高清输入数据，例如R、G和B输入或Y、U和V输入，每一路都在分开的十比特输入线上。

在上面所叙述的带有四路相机通道输入的实施例中叙述图2中所示出的视频分析引擎20的一种实施例。四路输入可以由视频捕捉接口26接收。视频捕捉接口26可以接收以相机输入或其他视频信息的形式的多个同时视频输入，仅举几个示例，包括电视、数字录像机或媒体播放器输入。

视频捕捉接口自动地捕捉并复制每一输入帧。把输入帧的一个副本提供给VAFF单元66，且可以把其他副本提供给VEFF单元68。VEFF单元68负责把视频存储在诸如图1中所示出的存储器22等的外部存储器上。在一种实施例中，外部存储器可以耦合到片上系统存储器控制器/仲裁器50。在一些实施例中，外部存储器上的存储可以是出于视频编码的目的。具体地，如果一个副本被存储在外部存储器上，则它可以由视频编码器32访问，以便以期望的格式编码信息。在一些实施例中，可以得到多种格式，且系统可以选择最期望的具体编码格式。

如上所述，在一些情况中，视频分析可以用来改善由视频编码器32实现的编码过程的效率。一旦编码了各帧，就可以经由PCI快速(PCI Express)总线36把它们提供给主机系统。

与此同时，输入视频帧的其他副本被存储在二维矩阵或主存储器28上。VAFF可以同时处理和传送所有四路输入视频通道。VAFF可以包括四路副本单元以便处理和传送视频。存储器28的视频的传送可以使用多路复用。由于视频回扫时间中固有的延时，在一些实施例中，可以实时进行多个通道的传输。

可以有选择地以非线性或线性方式实现主存储器上的存储。通常，指定线性寻址交叉寻址线上的一个或多个位置，以便访问存储器位置。在一些情况中，可以指定诸如字或位线等的寻址线，且可以指示沿着该字或位线的范围，以使得可以以自动方式接连地存储所寻址的存储器线的一部分。

相反，在二维或非线性寻址中，在一个操作中可以访问行线和列线两者。操作可以指定在存储器矩阵内的初始点，例如，在诸如行线或列线等的两个寻址线的交叉处。然后，提供存储器大小或其他定界符，以便例如沿着行线和列线指示矩阵在两个维度中的范围。一旦指定了初始点，则通过自动进行可寻址位置的递增，可以自动存储整个矩阵。换句话说，没有必要在初始点之后回到主机或其他设备以便判断用于存储存储器矩阵的后续部分的地址。二维存储器减轻了生成地址的任务，或者几乎完全地消除了这样的任务。结果，在一些实施例中，可以减少所要求的带宽和访问时间两者。

基本上，可以反过来进行相同的操作以读取二维存储器矩阵。替代地，也可以使用常规线性寻址来访问二维存储器矩阵。

尽管给出了其中指定了存储器矩阵的大小的示例，但也可以提供其他定界符，包括两个维度中的每一个(即沿着字和位线)中的范围。对于静态和移动的图片、图像和带有二维数据的其他应用，二维存储器是有益的。

可以以二维或一维把信息存储在存储器28中。在一种实施例中，可以在硬件中自动地即时发生在一维和二维之间的转换。

在一些实施例中，在多个流也在视频分析功能单元42中受到分析的同时，可以在视频编码器中进行多个流的视频编码。通过在视频捕捉接口26中制作各流中的每一个的副本并把各流中的每一个的一组副本发送给视频编码器32，同时另一副本去往视频分析功能单元42，可以实现这一点。

在一种实施例中，在视频编码器32和视频分析功能单元42中的每一个中可以进行所述多个流中的每一个的时分复用。例如，基于用户输入，可以编码来自第一流的一个或多个帧，跟着是来自第二流的一个或多个帧，跟着是下一流的一个或多个帧，等等。类似地，时分复用可以以相同的方式用于视频分析功能单元42，其中，基于用户输入，来自一个流的一个或多个帧经历视频分析，然后，来自下一流的一个或多个帧经历视频分析，等等。因而，在编码器和视频分析功能单元中，可以几乎同时(即是说，在一个快照里)处理一系列流。

在一些实施例中，用户可以设置这样的序列：哪一流首先处理，且在任何特定时刻处理每一流的多少帧。在视频编码器和视频分析引擎的情况中，在处理各帧时，可以在总线36上输出它们。

可以把编码器中的每一流的上下文保存在寄存器组122中的该流专用的寄存器中，寄存器组122可以包括用于各流中的每一个的寄存器。寄存器组122可以记录已经以包括用户输入在内的各种方式中的一种指定的编码的特性。例如，可以记录对于每一流所期望的分辨率、压缩率和编码类型。然后，在多路复用的编码发生的同时，视频编码器可以从用于正确的流的寄存器116访问当前正被处理的流的正确特性。

类似地，使用寄存器组124，在视频分析功能单元46中可以进行同样的事情。换句话说，可以在寄存器124和122内记录每个流的视频分析处理或编码的特性，且在每一组寄存器中，为每一流保留一个寄存器。

另外，用户或一些其他源可以指示即时改变特性。对于“即时”，其旨在指在分析处理期间(在视频分析功能单元42的情况中)或者在编码期间(在视频编码器32的情况中)发生的改变。

当正在处理帧的时候出现改变时，最初把改变记录在阴影寄存器116(对于视频编码器)和阴影寄存器114(对于视频分析功能单元42)中。然后，只要完成了该帧(或经指定的数量的帧)，视频编码器32检查以便了解是否已经把任何改变存储在寄存器116中。如果是这样，则视频编码器在路径120上把那些改变传送给寄存器122，在适用于其编码特性即时改变的每一流的寄存器中更新该新特性。

再次，在一种实施例中，在视频分析功能单元42中可以进行相同的即时改变。在检测到即时改变时，可以使用旧的特性来完成现有的帧(或现有的一组工作)，同时把改变存储在阴影寄存器114中。然后，在适宜的时刻，在已经完成处理工作量或帧之后，可以在总线118上从寄存器114把该改变传递给视频分析功能单元42，以供存储在寄存器124中，通常代替在各寄存器124当中的分开的寄存器中为任何具体流而存储的特性。然后，一旦更新完成，接下来的处理负载使用新的特性。

因而，参见图6，序列130可以以软件、固件和/或硬件实现。在基于软件或固件的实施例中，该序列可以由被存储在诸如光、磁或半导体存储器等的非暂态计算机可读介质中的计算机执行的指令实现。例如，在编码器32的情况中，该序列可以被存储在编码器内的存储器中，且在分析功能单元的情况中，在一种实施例中，例如可以把它们存储在像素管线(pipeline)单元44中。

最初，该序列等待用于编码或分析的上下文指令的用户输入。在一些实施例中，对于分析和编码，该流可以是相同的。一旦接收到用户输入，如菱形132中所判断的，对于每一流，把上下文存储在适当的寄存器122或124中，如框134中所指示的。然后，时分复用处理开始，如框136中所指示的。在该处理期间，在菱形138处的检查判断是否存在任何处理改变指令。如果没有，则在菱形142处的检查判断是否已经完成了处理。如果不是，则时分复用处理继续。

如果已经检测到处理改变，则可以把它存储在适当的阴影寄存器114或116中，如框140中所指示的。然后，在完成了当前的处理任务时，可以在下一组操作(在视频编码器32的情况中是编码，或者在功能单元42的情况中是分析)中自动实现该改变。

在一些实施例中，编码的频率可以随编码器上的负载大小而改变。通常，编码器运行快到足以在从存储器读出下一帧之前完成一个帧的编码。在多种情况中，编码引擎可以以比在下一帧或下一组帧从存储器出来之前编码一个帧或一组帧所需的更快的速度运行。

上下文寄存器可以存储用于进行编码或分析的任何必要准则，在编码器的情况中包括分辨率、编码类型和压缩率。通常，可以以从一个流或通道进行到下一流或通道的循环方式进行处理。然后，在一种实施例中，把已编码数据输出到快速外围组件互连(PCIe)总线18。在一些情况中，与PCI Express总线相关联的缓冲器可以从每一通道接收编码。即，在一些实施例中，可以为与PCI Express总线相关联的每一视频通道提供缓冲器。每一通道缓冲器可被清空到由与PCI Express总线相关联的仲裁器控制的总线。在一些实施例中，仲裁器将每一通道清空到总线的方式可以接受用户输入。

因而，参见图3，用于视频捕捉的系统20可以以硬件、软件和/或固件实现。在一些情况中，硬件实施例是有益的，因为它们允许更大的速度。

如框72中所指示的，可以从一个或多个通道接收到视频帧。然后，如框74中所指示的，复制各视频帧。接下来，把视频帧的一个副本存储在外部存储器中以便编码，如框76中所指示的。把其他副本存储在内部存储器或主存储器28，用于分析目的，如框78中所指示的。

接下来参见二维矩阵序列80，如图4中所示出，它是可以以软件、固件或硬件实现的序列。再次，使用硬件实施例可以具有速度优点。

最初，在菱形82处的检查判断是否已经接收到存储命令。按照惯例，可以从主机系统且尤其从它的中央处理单元12接收到这样的命令。那些命令可以由分派单元34接收到，然后，分派单元34把命令提供给用来实现命令的引擎20的适当单元。在已经实现了该命令时，在一些实施例中，分派单元向主机系统报告。

如果涉及到存储命令，如菱形82中所判断的，则可以接收初始的存储器位置和二维大小信息，如框84中所指示的。然后，该信息被存储在适当的二维矩阵中，如框86中所指示的。初始位置可以例如定义矩阵的左上角。存储操作可以在存储器20内自动地查找所需要的大小的矩阵，以便实现该操作。在一些实施例中，一旦提供了存储器中的初始点，该操作可以自动地存储矩阵的后续部分，而不要求附加的地址计算。

相反，如果涉及读访问，如菱形88中所确定的，则接收到初始位置和二维大小信息，如框90中所指示的。然后，读取所指定的矩阵，如框92中所指示的。再次地，可以以自动方式进行访问，其中，可以访问初始点，如同常规线性寻址中所进行的那样，且然后，自动确定地址的其余部分，而不必以常规方式返回并计算地址。

最终，如果已经从主机接收到移动命令，如框94中所确定的，则接收到初始位置和二维大小信息，如框96中所指示的，且自动地实现移动命令，如框98中所指示的。再次地，简单地通过指定开始位置和提供大小信息，可以把信息的矩阵从一个位置自动地移动到另一位置。

回头参见图2，视频分析单元42可以通过像素管线单元44耦合到系统的其余部分。单元44可以包括状态机，该状态机执行来自分派单元34的命令。通常，这些命令起源于主机且由分派单元实现。基于应用，可以包括各种不同的分析单元。在一种实施例中，可以包括用于自动提供卷积的卷积单元46。

卷积命令可以包括命令和自变量两者，自变量指定掩码(mask)、参考或内核，以便把所捕捉的图像中的特征与存储器28中的参考二维图像进行比较。该命令可以包括指定把卷积结果存储在何处的目的地。

在一些情况中，视频分析单元中的每一个都可以是硬件加速器。对于“硬件加速器”，其旨在指比在中央处理单元上运行的软件更快地执行功能的硬件设备。

在一种实施例中，视频分析单元中的每一个可以是由该单元的特定功能专用的专用硬件执行的状态机。结果，各单元可以相对快速的方式执行。此外，视频分析单元实现的每一操作仅需要一个时钟周期，这是因为一个时钟周期是告诉硬件加速器执行该任务并为该任务提供自变量的全部时钟周期，且然后可以实现操作序列，而不需要来自包括主机处理器在内的任何处理器的进一步控制。

在一些实施例中，其他视频分析单元可以包括以自动方式计算质心的质心单元48、以自动方式确定直方图的直方图单元50和膨胀(dilate)/腐蚀(erode)单元52。

膨胀/腐蚀单元52可以负责以自动方式增加或减少给定图像的分辨率。当然，除非已经可以获得信息，否则不可能增加分辨率，但在一些情况中，可以以较低分辨率处理以较高分辨率接收的帧。结果，可以以较高分辨率获得该帧且可以由膨胀/腐蚀单元52将其变换成较高分辨率。

矩阵存储器转移(MTOM)单元54负责实现如先前所描述的移动指令。在一些实施例中，可以提供运算单元56和布尔单元58。即使结合中央处理单元或已经存在的协处理器可以获得这些相同的单元，使得它们板载在引擎20上也是有益的，因为它们存在于片上可以减少对从引擎20到主机并从主机回到引擎20的众多数据传输操作的需要。此外，在一些实施例中，通过使得它们板载在引擎20上，可以使用二维或矩阵主存储器。

可以提供提取单元60以便从图像提取矢量。查找单元62可以用来查找具体类型的信息，以便了解是否已经存储了它。例如，查找单元可以用来查找已经存储的直方图。最后，在图像具有对具体的任务来说太高的分辨率时，使用子采样单元64。可以对图像进行子采样以便减小其分辨率。

在一些实施例中，也可以提供其他组件，包括I₂C接口38，以便与相机配置命令和通用输入/输出设备40连接，通用输入/输出设备40连接到所有相应的模块，以便接收通用的输入和输出，且在一些实施例中结合调试一起使用。

最后，参见图5，在一些实施例中，可以实现分析辅助编码方案100。该方案可以以软件、固件和/或硬件实现。然而，硬件实施例可以更快。分析辅助编码可以使用分析能力来判断应当编码给定帧的视频信息的什么部分(如果有的话)。结果，在一些实施例中不需要编码一些部分或帧，且结果可以增加速度和带宽。

在一些实施例中，编码或不编码的内容是因情况而异的，且可以即时确定，例如，仅举几个示例，基于可用的电池功率、用户选择和可用带宽。更具体地，可以对现有的帧vs下一个帧进行图像或帧分析，以便判断是需要编码整个帧还是仅需要编码该帧的一部分。这种分析辅助编码大大不同于常规的基于运动估计的编码，这种常规的基于运动估计的编码仅仅决定是否包括运动矢量，但仍然编码每一帧。

在本发明的一些实施例中，基于选择性基础和帧内所选择的区域，编码或不编码后续的帧，基于在那些区域的运动程度，可以编码或者全都不编码。然后，告诉解码系统编码或不编码多少帧，且可以简单地根据需要复制各帧。

参见图5，可以在开始时就完全编码第一帧或各帧，如框102中所指示的，以便确定基准或参考。然后，在菱形104处的检查判断是否应当提供分析辅助编码。如果不使用分析辅助编码，则编码如同按照惯例所做的那样进行。

如果提供分析辅助编码，如菱形104中所判断的，则确定阈值，如框106中所指示的。阈值可以是固定的，或者可以是自适应的，这取决于非运动因素，仅举几个示例，例如可用电池功率、可用带宽或用户选择。接下来，在框108中，分析现有帧和后续帧，以便判断是否出现了超过阈值的运动，且如果是这样，则判断是否可以将其隔离到具体的区域。为此，可以利用各种分析单元，包括但不限于卷积单元、腐蚀/膨胀单元、子采样单元和查找单元。具体地，可以相对于先前的和/或后续的帧分析图像或帧以便得到高于阈值的运动。

然后，如框110中所指示的，可以定位具有超过阈值的运动的区域。在一种实施例中，仅编码那些区域，如框112中所指示的。在一些情况中，给定帧上根本没有区域要编码，且可以简单地记录这种结果，以使得在解码期间可以简单地复制该帧。一般地，编码器在首部或其他位置提供关于编码了什么帧以及各帧是否仅有一部分被编码的信息。在一些实施例中，可以以初始点和矩阵大小的形式提供已编码部分的地址。

图3、4和5是可以以硬件实现的流程图。它们也可以以软件或固件实现，在这种情况中，它们可以在诸如光、磁或半导体存储器等的非暂态计算机可读介质上实现。非暂态介质存储由处理器执行的指令。这样的处理器或控制器的示例可以包括分析引擎20，且作为两个示例合适的非暂态介质可以包括主存储器28和外部存储器22。

在此描述的图形处理技术可以以各种硬件体系结构实现。例如，图形功能性可以被集成在芯片组内。替代地，可以使用独立的图形处理器。作为又一实施例，图形功能可以由包括多核心处理器在内的通用处理器实现。

贯穿本说明书对“一种实施例”或“一个实施例”的引用意味着结合该实施例描述的具体的特征、结构或特性被包括在本发明所包含的至少一种实现中。因而，短语“一种实施例”或“在一个实施例中”的出现并不必定是指相同的实施例。此外，可以以不同于所阐释的具体实施例的其他合适的形式设立具体的特征、结构或特性，且所有这样的形式都被包含在本申请的权利要求内。

尽管已经相对于有限数量的实施例描述了本发明，但本领域中的技术人员将明白源于其的众多修改和变更。预期所附权利要求覆盖所有落在本发明的真实精神和范围内的这样的修改和变更。

Claims (30)

1.一种方法，包括：

使用时分复用来处理多个视频流；以及

存储每一流的所述处理上下文。

2.如权利要求1所述的方法，其特征在于，包括同时在视频编码器和视频分析功能单元中处理一组多个流。

3.如权利要求1所述的方法，其特征在于，包括接收多个同时输入视频通道。

4.如权利要求3所述的方法，其特征在于，包括复制所述各流中的每一个，并把一组副本发送给所述视频分析功能单元，且把另一组副本发送给视频编码器。

5.如权利要求2所述的方法，其特征在于，包括使用时分复用来处理所述流。

6.如权利要求5所述的方法，其特征在于，包括把每一流的所述上下文存储在该流专用的寄存器中。

7.如权利要求6所述的方法，其特征在于，包括给所述编码器和所述视频分析功能单元中的每一个提供用于每个流的专用寄存器。

8.如权利要求2所述的方法，其特征在于，包括即时实现处理改变。

9.如权利要求8所述的方法，其特征在于，包括把处理改变存储在寄存器中，且然后，在完成了处理任务时，实现所述处理改变。

10.如权利要求9所述的方法，其特征在于，包括为每一流以及为所述编码器和所述视频分析功能单元中的每一个提供即时改变的专用寄存器。

11.一种非暂态计算机可读介质，其存储指令，所述指令允许计算机处理器：

时分复用多个视频流；

根据处理上下文处理每一流；以及

存储每一流的所述处理上下文。

12.如权利要求11所述的介质，其特征在于，进一步存储同时在视频编码器和视频分析功能单元中处理一组多个流的指令。

13.如权利要求11所述的介质，其特征在于，进一步存储接收多个同时输入视频通道的指令。

14.如权利要求13所述的介质，其特征在于，进一步存储复制所述流中的每一个并把一组副本发送给所述视频分析功能单元且把另一组副本发送给视频编码器的指令。

15.如权利要求14所述的介质，其特征在于，进一步存储使用时分复用处理所述流的指令。

16.如权利要求15所述的介质，其特征在于，进一步存储把每一流的所述上下文存储在该流专用的寄存器中的指令。

17.如权利要求16所述的介质，其特征在于，进一步存储为所述编码器和所述视频分析功能单元中的每一个提供用于每个流的专用寄存器的指令。

18.如权利要求17所述的介质，其特征在于，进一步存储即时实现处理改变的指令。

19.如权利要求15所述的介质，其特征在于，进一步存储把处理改变存储在寄存器中且然后在完成了处理任务时实现所述处理改变的指令。

20.如权利要求19所述的介质，其特征在于，进一步存储为每一流以及为所述编码器和所述视频分析功能单元中的每一个提供即时改变的专用寄存器的指令。

21.一种集成电路，包括：

视频捕捉接口；

主存储器，其耦合到所述视频捕捉接口；

像素管线单元，其耦合到所述主存储器；以及

视频编码器，其耦合到所述像素管线单元和所述视频捕捉接口，时分复用多个视频流，根据处理上下文处理每一流，并存储每一流的所述处理上下文。

22.如权利要求21所述的电路，其特征在于，所述电路是嵌入式动态随机存取存储器。

23.如权利要求22所述的电路，其特征在于，所述电路同时在视频编码器和视频分析功能单元中处理一组多个流。

24.如权利要求21所述的电路，其特征在于，所述视频捕捉接口接收多个同时输入视频通道并复制所述输入视频通道中的每一个。

25.如权利要求24所述的电路，其特征在于，所述电路复制所述流中的每一个并把一组副本发送给所述视频分析功能单元且把另一组副本发送给视频编码器。

26.如权利要求25所述的电路，其特征在于，所述电路使用时分复用处理所述流。

27.如权利要求26所述的电路，其特征在于，所述电路把每一流的所述上下文存储在该流专用的寄存器中。

28.如权利要求27所述的电路，其特征在于，所述电路为所述编码器和所述视频分析功能单元中的每一个提供每一流专用的寄存器。

29.如权利要求25所述的电路，其特征在于，所述电路即时实现处理改变。

30.如权利要求29所述的电路，其特征在于，所述电路把处理改变存储在寄存器中，且然后在完成了处理任务时，实现所述处理改变。

Images