CN103518210A - 用于动态地调整视频图像参数以便于执行后续应用的方法 - Google Patents

Abstract

一种用于改编输入视频流（V）以便于在由接收机接收到改编视频流时执行后续应用的方法，包括根据质量要求参数（QR）、带宽限制参数（BW）和空间参数（x,y）来确定控制参数（AVP）的步骤，根据所述控制参数（AVP）执行所述输入视频流（V）的时空改编从而生成所述改编视频流（AV）以提供到所述接收机的步骤。

Description

用于动态地调整视频图像参数以便于执行后续应用的方法

技术领域

本发明涉及一种用于动态地调整视频图像参数以便于（facilitate）在由接收机接收到改编视频流时执行后续应用的方法。

背景技术

对于移动终端，诸如移动电话，实时的视频传输的质量受到网络的有效带宽的限制。对于依赖于对实时视频帧的分析的应用（例如，目标识别或远程医疗应用），其中例如当在事故发生的地点处仅有简单的移动电话可用于制作视频的情况下向专家请求紧急建议，由于这些视频图像固有质量较低，由移动电话发送和/或接收的视频帧将会导致较差的识别效果。人脸识别应用实际上需要具有足够高分辨率的非常清晰的人脸区域的图像。类似的，医学专家可能需要例如伤口的清晰图像以用于形成他/她的意见和相应的紧急治疗的建议。

在自动图像识别应用的情况下，这种应用还可能需要大量的处理功率，在接收机端移动电话中通常不能得到所述大量的处理功率。而且，可能需要庞大的数据库存储器，例如，用于存储已经识别的对象的特征。在普通的移动电话中也不能得到这大量的存储器。

由于所有这些困难，目前无论是自动或者通过人工，都不能在移动电话终端接收或生成的视频图像上执行诸如实时对象识别/解释的应用。

发明内容

因此本发明的实施方式的目的是提供对前述问题的解决方案。

根据本发明的实施方式，通过提供用于改编（adapt）输入视频流以便于在由接收机接收到改编视频流时执行后续应用的方法来达到该目的，所述方法包括根据质量要求参数、带宽限制参数和空间参数确定控制参数的步骤，根据所述控制参数执行所述输入视频流的时空改编从而生成所述改编视频流以提供到所述接收机的步骤。

质量要求参数、带宽限制参数与空间参数的结合会得到要用于改变输入视频流的一组优化的控制参数，所述质量要求参数是在通信网络上传输之后确定需要用来对修改或改编的视频执行某些应用（诸如对象识别）的最低水平，所述带宽限制参数表示修改的视频在通信网络上传输期间的固有传输限制，所述空间参数指示需要经历该特定的识别应用的视频序列图片中的感兴趣区域。该改编可以是空间改编，意味着将改编不同图像的一些区域，而不改编其他区域，或者可以是时间改编，意味着从视频中删掉其一些帧或一些部分，而不删掉其他帧或部分，或者可以是空间改编与时间改编的结合。

在第一实施方式中，通过减小与所述应用不相关的图像区域的分辨率来执行所述时空改编。

这在例如在医生需要分析病人的伤情的情况下，根据移动网络上传输的视频是有帮助的。在生成高质量视频的情况下，接收的视频图像将仍然足够用于允许远程服务，诸如对该改编的视频进行的对象识别和/或对象解释，所述质量视频随后被改编成例如仅在与例如病人的伤处相关的区域中保持高分辨率，以用于在宽带限制的网络上被发射到该远程专家的接收机上，而在改编的过程期间图像的其他部分变得模糊。

在另一个实施方式中，对于通过相对于所述应用的图像的部分，减小与所述应用不相关的图像的这些部分的帧率来执行所述时空改编。

例如在要从视频流中识别移动对象的情况中这可能是有趣的。通过仅关注以及从而保留运动的对象所位于的这些帧，同时收回一些或部分其他帧，从而减小这些部分上的帧率，可以将视频改编成在与要识别的对象相关的区域中保持高质量。同时，在符合需要输送改编的视频的通信网络的带宽限制的情况下，将降低不感兴趣的区域的质量。

本发明还涉及用于改编输入视频流的视频改编设备的实施方式，所述视频改变设备适于确定当执行所述输入视频流的时空改编从而生成改编视频流时所使用的控制参数，所述视频改编设备还适于根据提供到所述视频改编设备的质量要求参数、带宽限制参数和空间参数来计算所述控制参数。

在第一实施方式中，该视频改编设备还适于通过减小所述空间参数所限定的区域外的所述视频流的图像区域的分辨率来执行所述时空改编。

在另一个实施方式中，视频改编设备还适于通过减小所述空间参数所限定的区域外的所述视频流的图像的部分的帧率来执行所述时空改编。

在另一个实施方式中，视频改编设备还适于对所述输入视频流执行对象检测操作，从而生成检测的对象特征。

该粗略的对象检测对于例如确认关于要进一步识别的对象的空间参数是有帮助的，所述粗略的对象检测和真实对象识别相比需要的资源少得多。当确定进一步的元数据时也可以使用该对象检测，所述元数据还可以与改编视频流一起传送，从而便于未来对象识别，或已经向接收机提供一些关于确认的对象的信息。

本发明还涉及终端的实施方式，所述终端包括该视频改编设备；用于对改编视频流进行编码从而提供编码的改编视频流的编码器；以及用于通过通信网络向接收机设备进一步传送所述编码的改编视频流的装置。

这样的终端可以是移动或固定终端。对于诸如GSM网络的传统移动通信网络的带宽中的当前限制，移动终端可以从这样的视频改编设备的存在中受益很多。然而，还在诸如许多用户共享本地网络的具有减小的带宽的固定网络中，在固定终端中存在这样的视频改编设备，能够允许诸如先前在这些环境中不可能使用的对象识别的应用。

在另一个实施方式中，所述终端还包括视频描述符装置，该视频描述符装置耦合到视频改编设备并适于根据所述检测的对象特征生成元数据以提供到所述终端的封装设备，所述封装设备适于根据所述编码的改编视频流和所述元数据生成增强的编码的改编视频分组以提供到所述接收机设备。

本发明还涉及接收机设备的实施方式，该接收机设备根据先前所述的任意一种来通信耦合到终端，所述接收机设备包括用于对所述编码的改编视频流进行解码从而提供所述改编视频流的解码器。

在一个实施方式中，接收机还可以包括该适于对所述改编视频流执行对象识别的视频对象识别模块。

在又一个实施方式中，接收机设备是通信网络的应用服务器的一部分，所述应用服务器本身可以包括用于存储所述视频对象识别模块的要求参数和用于将所述要求参数作为所述质量要求参数提供到所述终端的所述视频改编设备的装置。

本发明还涉及通信网络的应用服务器的实施方式，所述应用服务器如上所述通信耦合到终端，并包括用于对所述编码的改变视频流进行解码以提供到所述应用服务器的应用服务模块的解码器，所述应用服务模块适于对所述改编视频流执行应用，所述应用服务器还包括用于存储所述应用服务模块的要求参数和用于将所述要求参数作为所述质量要求参数提供到所述终端的所述视频改编设备的装置。

在一个实施方式中，应用服务模块包括适于对所述改编视频流执行对象识别的视频对象识别模块。

需要注意，在权利要求中使用的术语“耦合”不应该被解释为仅局限于直接连接。从而，表述“设备A耦合到设备B”的范围不应该局限于其中设备A的输出直接耦合到设备B的输入的装置或系统。这意味着，在A的输出与B的输入之间存在路径，该路径可以是包括其他设备或装置的路径。

应该注意，在权利要求中使用的术语“包括”不应该被解释为局限于随后所列出的装置。从而，表述“设备包括装置A和B”的范围不应该局限于仅包括组件A和B的设备。这意味着对于本发明，只有A和B是设备的相关组件。

附图说明

通过参考以下对实施方式的描述并结合附图，本发明的上述和其他目的和特征将会变得更加清楚，以及并且发明本身将会被最好地理解，其中：

图1a-d示意性示出了合作地耦合到应用服务器的第一终端MT1/MT1’的高级实施方式，该第一终端MT1/MT1’适于执行方法的不同实施方式的步骤；

图2a-c示出了方法的高级实施方式；

图3示出了图2a-c的步骤500的更详细实施，用于计算改编视频参数；

图4示出了图2a-c的结合的步骤600和700的更详细实施，用于执行时空改编和视频的编码；

图5a-b示意性示出了用于执行方法的其他实施方式的第一终端MT1的其他高级实施方式。

具体实施方式

说明书和附图仅示出了本发明的原理。所以，可以理解，虽然在此做了明确地描述或显示，但是本领域的技术人员将能够想出各种实现本发明的原理的安排并且该安排被包括在本发明的精神和范围内。而且，在此所列举的所有示例，主要意在仅专门用于教导的目的，以用于帮助读者理解本发明的原理和发明人所贡献的概念从而促进本领域技术，并且要被解释为不对所述特定列举的示例和条件做出限制。而且，在此对本发明的原理、方面和实施方式进行详述的所有表述，以及其特定的示例，意在包含其等价实施方式。

本领域的技术人员应该理解，这里的任何框图表示实现本发明原理的示意电路的概念视图。类似地，应该理解，任何流程表、流程图、状态转换图、随机码等表示基本上可以在计算机可读介质中表示以及由此可以由计算机或处理器执行的各种过程，而不管是否明确示出了所述计算机或处理器。

图1a示出了第一终端MT1的第一实施方式的示意图，所述第一终端MT1优选但不必须为移动终端，诸如移动电话、笔记本电脑、PDA、游戏设备、平板电脑等。在图1a中示出的实施方式中，该第一终端适于与网络中的应用服务器AS协同操作，目的在于允许例如对该移动终端生成或接收到的视频图像进行自动对象识别的服务或应用。然而，在图5a-b中所示出的实施方式中，第一终端MT1不与网络中的应用服务器协同操作，而是可以用作执行本方法的其他实施方式的单机设备。这可以例如用于远程医疗应用，其中在第一终端上记录视频，所述视频随后被改编、编码和向例如医师的另一个终端发射，所述医师可以由他或她自己对接收和解码的改编视频进行对象识别。

在所有实施方式中，终端MT1包括视频改编设备VAD，用于改编输入视频流的视频图像参数，以及用于根据所述参数执行对输入视频比特流V本身的改编。图1a-d中的虚线表示的VAD适于接收例如由移动终端MT1的相机CAM生成的未编码的输入视频比特流V，以及用于提供改编视频比特流AV，在下面的段落中将会进一步解释所述改编视频比特流。

将描述下面的实施方式以用于允许对象识别的应用。然而，很清楚的是，还可以设想其他实施方式来执行其他应用。技术人员可以根据本文件中呈现的对于所述其他应用的教导来设想用于所述其他应用的实施方式。

在多数实施方式中，VAD可以通过触发信号UT的方式由用户激活，所述触发信号可以是用户生成的，例如经由软件或硬件输入由用户生成，或者也可以是在用户订阅例如对象识别或远程医疗的服务的情况下生成的应用。在图1a的实施方式中，VAD还包括视频对象检测器VOD模块，该视频对象检测器VOD模块适于立即检测输入的视频帧中的特定对象或事件。所以，VOD适于接收由粗的白箭头指示的该视频输入比特流V。如先前在该文件中所提到的，该输入视频流本身可以由终端本身的相机CAM生成，但是，然而在其他实施方式中，该视频输入比特流可以是例如通过MMS或其他传输方式从其他用户接收到的解码比特流。VOD还适于分析该输入视频比特流的一个或多个帧，以用于检测所需对象或事件。对象检测操作需要的处理资源比对象识别少，这种VOD模块可以容易地合并在移动电话内，例如作为中央处理器的一部分。其可以通过分析连续帧等中的场景修改，以便检测例如脸、建筑、对象……或者可替换地可以检测事件。

视频对象检测器VOD的输出是一系列粗略识别的对象或事件，例如“脸”、“车辆”、“足球比赛”。在图1中该输出被示出为“DO”。该输出数据DO通常包括元数据，该元数据描述帧中的对象和/或其位置。

要注意的是，存在视频改编设备的不包括这种视频对象检测模块的其他实施方式。当描述图5b时将会示出这些。

将信息DO提供到视频改编设备的另一个模块中，表示为动态视频控制器DVC。在图1a-d中示出的实施方式中，该动态视频控制器适于获取关于所请求的服务的信息，在该情况下，所请求的服务为对象识别。为此，动态视频控制器适于获取反映应用所需的视频质量的最小水平的参数，在图1a-d的示例中，为位于应用服务器AS上的对象识别模块VOR。可以通过从DVC到应用服务器AS的请求来完成所述获取，如图1a中“质量请求”信号所示出的。在图1a中，通过动态视频控制器DVC内的质量管理器模块QM来生成和发射信号，但是在其他实施中可以不需要该特定的限定。然后由从应用服务器返回的消息来响应该请求，所述消息将包括关于服务器AS内的应用模块VOR所需要用来执行该特定应用的质量要求的信息。在图1a中，该请求被发送到应用服务器AS中的应用模块VOR内的存储库模块R，并由存储库模块R应答，但是在没有该专用的存储库模块的情况下也存在其他实施方式。

质量要求参数被表示为QR，并且对于对象识别应用，可以包括最小分辨率的值，通常对应于最小像素密度、在移动对象情况下的所需帧的数量、要识别的对象的最小所需大小，其表示为二维的像素数；清晰度，其表示为给定窗口上亮度的导数的幅度；色度，其表示为最小数量的颜色级别，定义为随机性的统计测量的熵，用于表征图像中的纹理等。

在一些实施方式中，从来自应用服务器的消息由QM提取所述质量要求参数QR，并将该质量要求参数QR转发到空间区域定界符模块SAS，用于接收所述参数。例如为了描述图5a-b的实施方式时示出的远程医疗的应用，后一模块还适于检测所述质量要求参数QR是否符合用于向应用服务器和/或向其他移动终端传输视频的网络中的可用带宽。

要注意的是，对于图5a-b中所述的实施方式，QR参数可以被预配置，并且可以存储在QM模块本身以内。在该情况下，不再需要从应用服务器请求QR参数，并且QM具有存储器的功能。

从而，SAD模块从QM接收质量参数QR，并且还从第一终端MT1内的带宽管理器BWM接收带宽信息BW。该带宽管理器可以是单独的模块，该模块可以被第一终端内的与本发明无关的其他功能块共享。例如在移动网络中这可以是以下情况：在MT1与基站之间存在频繁的通信，以用于在通信信道上接收可用带宽的最后状态。可替换地，该带宽管理器BWM还可以合并在动态视频控制器或VAD本身之内。

在图1a的实施方式中，带宽管理器BWM示出为单独的模块，该模块能够与例如位于应用服务器上的探测业务接收机P进行通信。该通信可以包括诸如BART（其是实时可用带宽的缩写）的主动测量。

在图5a-b的实施方式中，移动终端不将改编视频发射到应用服务器，而是发射到其他地方，可能是通信网络的预定的移动或其他终端。在该情况下，带宽管理器BWM适于测量MT1与其他终端之间的带宽。可以使用与图1a的实施方式类似的技术，例如经由基站中或两个终端之间的其他网络元件中的探测业务接收机P。

在带宽要求BW使得能够在网络上向应用服务器或向其他移动终端发射高质量视频的情况下，动态视频控制器DVC会将控制信号提供到VAD的其他模块STA。STA是时空质量适配器，并且在这种情况下DVC将会向STA通知输入视频比特流V不需要进一步改进且就可以被转发到MT1的视频编码器E。为了不让附图过于复杂，在图1a-d和5a-b中没有示出该控制信号。

在另一方面，如果网络的带宽请求BW使得不能够手动和自动传输高质量视频来允许对其进行对象识别，则动态视频控制器DVC需要指示时空视频质量适配器STA改编视频比特流。该改编需要能够与带宽要求相符合，同时还能允许对所检测到的对象执行或者在VOD不存在的情况下对图片本身上手动指示的对象执行服务，例如自动或手动对象识别服务。为了允许改编，DVC还接收关于视频比特流的帧内的区域的进一步的信息，要识别的特定对象位于所述视频比特流的帧的区域中。还可以由用户他或她本身经由图形用户界面GUI来提供，如图1a的实施方式所示。然后用户在需要进一步识别的对象周围提供用户信息UI，例如以视频比特流的帧上的指示的矩形或区域的形式来提供。图形用户界面GUI将该信息翻译成动态视频控制器可理解的合适的格式。该信息由图1a和图5a-b上的x,y表示。

可替换地，完全自动的实施方式还可以依靠耦合到视频对象检测器的视频对象跟踪模块VOT，如图1b中示出的实施方式所示。该视频对象跟踪模块VOT从VOD接收关于要跟踪的对象的DO信息，并且从那里识别和跟踪该对象，还需要从那里在后续帧上更仔细地识别该对象。所以，还需要将视频输入比特流V提供到VOT。在图1b中，示出了VOD还将接下来的帧提供到VOT的实施方式，但是在其他实施方式中，还可以直接将视频输入比特流从相机或视频输入设备本身提供到VOT。在所有这些实施方式中，关于在视频的后续图像中要识别的对象的位置表示为x,y的空间信息被提供到DVC。在多数实施方式中，将该空间信息提供到SAD，该SAD适于由此根据带宽限制BW和质量要求QR计算用于指示时空视频质量适配器如何改变视频帧从而符合所有这些要求的参数。STA进行的所述改编可以包括降低与要识别的对象不相关的帧的所有区域中的分辨率和颜色级别，从而仅在要识别的对象所位于的这些帧的区域中保持高质量图像部分。

根据对象是否运动，以及时间分辨率是否可以减小，造成例如对于不包括要识别的对象的帧每秒钟传输较少的帧。在图1a-d和5a-b中由VAP表示这些控制参数。

图3示出了如何计算这些AVP参数的可能的实施方式。该实施方式使用输入带宽BW、高分辨率区域x,y的大小和一个QR参数，在该实施方式中，所述一个QR参数是需要用来允许正确的识别的最小帧大小。根据输入视频V，还计算每秒钟帧的初始数。然后，考虑带宽限制和最小所需帧的大小，计算AVP参数的第一个值，其是基于每秒钟帧的初始数的全局改编视频的帧率的估计值。基于需要保持高分辨率以允许对象识别的区域的大小x,y，以及基于改编视频的全局帧率的该第一估计值，还可以计算高质量区域的帧率。这用于确定低质量区域的可用帧率。在该低分辨率帧率仍然高于阈值1的情况下，限定低分辨率区域的最小帧率，这意味着AVP参数的初始估计值是正确的，并且因此他们将以高质量（缩写为HQ）区域的帧率、低质量（缩写为LQ）区域的帧率、以及这些区域的色彩空间的初始值的形式输出。这些初始值可以为输入视频本身的原始值，在其他实施方式中，可以为一些最小默认值。

在该较低的分辨率区域的可用带宽低于第一阈值所指示的可用带宽时，需要对高分辨率区域的帧率进行改编，或者可替换地可以改编低质量区域的色彩空间。在图3中，并列遵循两种选择。在现在所计算的高质量区域的帧率太低时，低于阈值2，并且在低质量区域的色彩空间也太低时，改编高质量区域的色彩空间。然后在接下来的计算全局改编帧率和高质量与低质量部分的帧率的迭代步骤中再次使用所有的改编值，直到所确定的低质量区域的帧率可接受。

对于本领域的技术人员显然的是，这只是计算AVP参数的示例性实施方式，存在许多其他的可能性。在一些实施方式中，基于QR要求和可用带宽等，将会计算高分辨率区域的改编值。

基于服务器侧图像处理算法和空间区域划界所请求的视频质量信息，从而动态视频控制器DVC能够计算不同区域的帧率的改编值、色彩空间编码、子图像分辨率等。这些改编的视频参数表示为AVP，并由动态视频控制器DVC提供到时空视频质量适配器STA。

该时空视频质量适配器将由动态视频控制器实时提供的这些特定的确定的参数作为输入，并相应地改编输入视频比特流。

可以通过在每一帧上计算识别要被改编的不同区域的掩码，来执行对视频V本身的改编，从而这些区域能够如x和y的初始值所指示的那样是不同的，其中质量可以降低的区域与质量保持其原始值的区域分开改编。此后，两个部分可以用于合并的或构建的新帧。这是高质量区域与低质量区域相比具有更高的帧率的情况。该改编的视频被表示为AV，接下来被提供到编码器，例如传统的H.264MPEG编码器，该H.264MPEG编码器包括且封装有改编的视频输入比特流。编码器的输出是编码的改编视频，在图1a中表示为EAV。

在可替换的实施方式中，可以在合并的步骤中进行编码和视频改编，如图4所示。在该实施方式中，将STA和编码器ENC操作合并到单个设备中。该合并的实施方式将获得的AVP参数作为输入，并且编码器管理器将低质量区域的AVP参数（表示为AVPLQ）分发到低质量区域适配器/编码器，而将高质量区域的AVP参数（表示为AVPHQ）分发到高质量区域适配器/编码器。

在改编步骤中，表示为视频描述符VD的另外的模块也可以生成编码视频的相应元数据。这些元数据包括诸如每一帧的起始字节、帧的长度和高质量子图像的定位的信息。VD模块接收DO元数据，DO元数据通常描述每一帧中所检测对象的位置。MD元数据还用诸如分辨率和色彩数等编码参数来完善该信息。由于一些对象识别算法是基于颜色的，所以在后续对象识别过程期间这可能是有帮助的。另外，也有助于向对象识别模块指示要执行对象识别的帧内的实际区域。这些实际坐标可能与DO元数据中存在的之前确定的粗的指示不同。在图1c-d的实施方式中示出了该另外的VD模块。

一旦生成在图1c-d中表示为MD的这些元数据，在另外的封装步骤（表示为图1c-d的ENC）期间可以向编码的改编视频添加这些元数据。该视频封装器将编码的改编视频比特流和元数据比特流放入容器中并将数据发送到图1c-d所示的应用服务器AS。

该应用服务器可以包括接收机设备RD，包括解码器DEC和应用模块，所述解码器DEC用于对EAV或EEAV进行解码，所述应用模块诸如负责识别解码的改编视频流AV的特定部分上的复杂对象或事件的视频对象识别器VOR。

在启动时，该视频对象识别器VOR可以描述其功能并将能够识别对象或事件所必须的其图像质量要求登记到存储库R。这些参数具体说明例如对象的最小大小、对象与图像边缘之间的最小举例、彩色要求、曝光质量和清晰度等。

在接收到编码的改编视频文件EEAV（在最终的封装步骤期间向该改编视频文件EEAV添加元数据）时，VOR可能已经使用元数据MD来将识别过程限制到元数据所指定的帧的这些部分。可替换地，视频对象识别器可以执行整个识别，包括在编码的改编视频流EAV中不提供元数据的情况下执行检测过程本身。所以，如图1a-b所示的该解决方案不像先前描述的图1c-d中所示的实施方式中的方案那样是最优的。

在识别过程期间，可以将从子帧中提取的特征与数据库的数据相比来识别对象。如果识别了对象，则对象描述被生成，并且可以由本文件中没有描述的其他不同的应用来使用该对象描述。还可以将该描述添加到改编视频比特流，可以将该改编视频比特流重新编码和转发到另一个终端MRT上的另一个用户。从而，修改的编码的视频比特流在图1a-b中表示为EAVM，以及在图1c-d中表示为EEAVM。

图5a-b显示了其中接收机设备不是应用服务器的一部分而是另一个终端MT2的一部分或包括另一个终端MT2的方法的实施方式。在这些实施方式中，接收机设备MT2还包括解码器DEC，以用于对接收到的编码的改编视频流EAV或接收到的编码的增强改编视频流进行解码。例如远程医疗应用，将解码的视频发送到显示器，在显示器上医师或专家可以看到改编的视频并且由他或她本身进行解释。在该第二终端MT2（其可以是移动终端，但不必须是移动终端）包括自动对象检测模块的情况下，该模块可以参考图1a-d，以与应用服务器中操作的类似方式来执行自动对象检测。

图2a-b描述了包括图1a-d中的实施方式中执行的不同步骤的方法的实施方式，其中图2c描述了图5a-b的实施方式的情况的为了之后的人工解释仅改编视频的情况的步骤。步骤1000以及步骤200和650和750是可选的。

对于这些实施方式显然的是，在视频对象检测器、动态视频控制器与时空视频质量适配器之间需要平稳的操作和好的同步。本领域的技术人员对于实现这些的技术是了解的，并且为了不让附图过于复杂，在附图中没有示出实现该同步的控制模块。

还有，清楚的是，用于从第一移动终端向应用服务器和向其他移动终端传输编码的改编视频比特流的网络可以是任意类型的电信或数据网络。该网络或者部分该网络可以使用任意一个或多个不同的传输介质（例如有线/RF电缆）、RF无线和/或通信或网络协议（例如SONET,DOCSIS、IEEE标准802.3、802.11、802.15、802.16、ATM、X.25、帧延迟、3GPP、3GPP2、WAP、SIP、UDP、RTP、H.323、LTE等）。

虽然结合特定的设备描述了本发明的原理，但是应该很清楚地明白，这些描述仅仅是示例方式的，而不用于限制所述权利要求所限定的本发明的范围。

Claims (12)

1.一种用于改编输入视频流（V）以便于在由接收机接收到改编视频流时执行后续应用的方法，所述方法包括根据质量要求参数（QR）、带宽限制参数（BW）和空间参数（x,y）来确定控制参数（AVP）的步骤，根据所述控制参数（AVP）执行所述输入视频流（V）的时空改编从而生成所述改编视频流（AV）以提供到所述接收机的步骤。

2.根据权利要求1所述的方法，其中通过相对于与所述应用相关的所述输入视频流的图像的区域，减小与所述应用不相关的所述输入视频流的所述图像的这些区域的分辨率来执行所述时空改编。

3.根据权利要求1或2所述的方法，其中通过相对于与所述应用相关的所述输入视频流的图像的部分，减小与所述应用不相关的所述输入视频流的图像的这些部分的帧率来执行所述时空改编。

4.根据上述权利要求中任一项所述的方法，其中所述应用包括对象识别的步骤。

5.一种用于改编输入视频流（V）的视频改编设备（VAD），所述视频改编设备（VAD）适于确定当执行所述输入视频流（V）的时空改编从而生成改编视频流（AV）时所使用的控制参数（AVP），所述视频改编设备（VAD）还适于根据提供到所述视频改编设备的质量要求参数（QR）、带宽限制参数（BW）和空间参数（x,y）来计算所述控制参数（AVP）。

6.根据权利要求5所述的视频改编设备（VAD），还适于通过减小所述空间参数（x,y）所限定的区域外的所述输入视频流的图像的区域的分辨率来执行所述时空改编。

7.根据权利要求5或6所述的视频改编设备（VAD），还适于通过减小所述空间参数所限定的区域外的所述输入视频流的图像的部分的帧率来执行所述时空改编。

8.根据上述权利要求5-7中任一项所述的视频改编设备（VAD），还适于对所述输入视频流执行对象检测操作，从而生成检测的对象特征（DO）。

9.一种终端（MT1；MTI’），包括：根据上述权利要求5-8中任一项所述的视频改编设备（VAD）、用于对所述改编视频流（AV）进行编码从而提供编码的改编视频流（EAV）的编码器（E）、以及用于通过通信网络向接收机设备（AS；MT2）进一步传送所述编码的改编视频流（EAV）的装置。

10.根据权利要求8或9所述的终端（MT1’），还包括视频描述符装置（VD），该视频描述符装置（VD）耦合到所述视频改编设备（VAD）并适于根据所述检测的对象特征（DO）生成元数据（MD）以提供到所述终端（MT1）的封装设备（END），所述封装设备（END）适于根据所述编码的改编视频流（EAV）和所述元数据（MD）生成增强的编码的改编视频分组（EEAV）以提供到所述接收机设备（AS）。

11.一种通信网络的应用服务器（AS），所述应用服务器（AS）通信耦合到根据权利要求9-10中任一项所述的终端（MT1；MTI’）、并且包括用于对所述编码的改编视频流（EAV）进行解码以提供到所述应用服务器的应用服务（VOR）模块的解码器（DEC），所述应用服务模块（VOR）适于对所述改编视频流执行应用、并且包括用于存储所述应用服务模块的要求参数且用于将所述要求参数作为所述质量要求参数（QR）提供到所述终端（MT1；MTI’）的所述视频改编设备（VAD）的装置（R）。

12.根据权利要求11所述的应用服务器（AS），其中所述应用服务模块包括适于对所述改编视频流（AV）执行对象识别的视频对象识别模块（VOR）。

Images