CN104904212A - 对传输至设备的音频和/或视频流的编码进行动态调整的方法 - Google Patents

对传输至设备的音频和/或视频流的编码进行动态调整的方法 Download PDF

Info

Publication number
CN104904212A
CN104904212A CN201380070080.1A CN201380070080A CN104904212A CN 104904212 A CN104904212 A CN 104904212A CN 201380070080 A CN201380070080 A CN 201380070080A CN 104904212 A CN104904212 A CN 104904212A
Authority
CN
China
Prior art keywords
equipment
stream
designator
coding
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380070080.1A
Other languages
English (en)
Inventor
X·迪克卢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
France Brevets SAS
Original Assignee
France Brevets SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Brevets SAS filed Critical France Brevets SAS
Publication of CN104904212A publication Critical patent/CN104904212A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及用于对由第一设备(101)传输至远程设备(102)的音频和/或视频流(112)的有损编码进行动态调整的方法。所述方法包括下面的步骤：远程设备(102)接收并解码被称为输入流的所述流(112)，并传输输出流(111)，包括有关通过完成对输入流(112)进行解码而修改的所述远程设备(102)的状态的至少一个指示符；第一设备(101)接收输出流(111)，从其提取所述至少一个指示符，并以所述至少一个提取的指示符为基础来调整所述输入流(112)的编码。该方法特别能够被应用至从独立能源的终端操作的视频会议，以维持所述终端的操作时间。

Description

对传输至设备的音频和/或视频流的编码进行动态调整的方法
技术领域
本发明涉及对传输至设备的音频和/或视频流的编码进行动态调整的方法。该方法能够在对编码的音频和/或视频流实时交换的装置中实现，目的是调整流的编码来适应接收这些流的装置特有的可变约束。其特别能够被应用至在自供电的终端基础上进行的视频会议，以维持这些终端的操作期。
背景技术
无线通信装置能力的快速发展意味着现在可以以令人满意水平的质量在移动终端的基础上实时进行视频通信。为了在网络基础设施上维持对于这些流的传输合理的比特率要求，这些视频流通常被压缩编码，因此，需要由这些流的接收器进行解码。该解码通常构成(连同其他要素)在计算资源(因而功耗)方面要求高的操作。
已提出减小需要执行流解码的终端的功耗的技术。特别地，SamsungElectronics Co.Ltd公司在2012年4月日内瓦和2012年7月斯德哥尔摩的MPEG——运动图像专家组——标准化会议中已提出了基于被称为DVFS“动态电压频率缩放”技术的解决方案，该技术在大量计算芯片中实现。DVFS涉及通过减少向其施加的电压，来减小芯片的时钟频率，该芯片的消耗因而被减小。通常，响应于鉴于在接收的流中传输的最近图像而发现该芯片具有用于对该流进行解码的功率余量，触发了电压的这一减少，因此，能够减少其计算功率而不影响解码的正确执行。此外，Samsung ElectronicsCo.Ltd公司提出了该方法的改善：通过将一个或多个元数据传输至流接收器(该元数据提供了流的解码的复杂性的指示，该指示允许该装置接收流，以更好地调节用于对该流进行解码的芯片的功率)。
然而，该技术被证明在某些情形下不恰当，以至于通信能够被突然中断，因为执行解码的该装置已耗尽了其功率储备。
发明内容
本发明的目的在于特别地最佳使用流解码装置的资源。为此，本发明的主题是一种用于动态调整由第一设备传输至远程设备的音频和/或视频流的有损编码的方法，所述方法的特征在于，包括下面的步骤：
-远程设备接收并解码称作传入流的所述音频和/或视频流，并从远程设备传输传出流，所述传出流具有转变所述远程设备期望的省电水平或省电率的至少一个指示符，所述指示符对应于在流的解码操作中或者在处理器P处理周期中的减小水平或减小率，
-第一设备从远程设备接收传出流，从其提取所述至少一个指示符，并根据所述至少一个提取的指示符，调整传入流到远程设备的编码。
因此，根据本发明的方法允许根据与负责解码该流的远程装置相关联的约束，动态调整编码的流的特性。有利地，传入流被实时传输。可以注意到，通过执行对传入流的解码而修改的远程设备的状态同样能够通过对传出流进行编码而被修改(当后者是编码的流时)。
根据本发明的方法的一个实施方式，远程设备包括专用的电源和能量存储单元；以及用于测量消耗的功率和用于计算省电水平的单元，第一设备根据所述至少一个指示符的值来修改传入流的编码特性，以减小由远程设备为解码所述传入流所消耗的功率。以示例的方式，第一设备能够减小编码的传入流的复杂性，以便远程设备具有用于解码该流的功率余量。该远程设备上的计算单元(例如微处理器)然后可以是时钟频率的减小、向其施加的电压的减少的主体，因此，允许减小远程设备的消耗。
根据变型，为了将省电的期望水平转变为每秒操作/周期的数量的减小的水平，该方法使用：操作频率或者每秒操作/周期的数量按照电源电压的关系、以及功耗按照设备的电源电压的关系。
远程设备能够向传出流插入一个或多个元数据包括至少一个所述指示符，第一设备在进行传入流的调整的编码之前，从所述元数据提取所述指示符。
根据本发明的用于动态调整的方法的一个实施方式，远程设备向传出流插入元数据，包括来自以下的至少一个指示符：所述能量存储单元的充电水平、所述充电水平随着时间的改变、以及所述改变随着时间的迅速性，第一设备根据至少一个所述指示符的值来修改传入流的编码特性，以便减小由远程设备为解码所述传入流所消耗的功率。以示例的方式，如果远程设备包括电蓄电池，那么其能够根据该蓄电池的充电水平来修改流的编码。方法能够同样被应用到由其他单元(诸如太阳能板或者由于与设备的环境相关的原因而能够不再满足设备的能量需要的任何其他单元)提供动力的远程设备。以示例的方式，如果第二设备包括光伏板，那么远程设备能够根据暴露给所述面板的亮度的水平，修改传入流的编码。
根据本发明的用于动态调整的方法的一个实施方式，传出流是以“MPEG4-高级视频编码”标准或者与该标准具有向上兼容性的标准为基础的编码的视频流，远程设备将所述至少一个指示符插入到与传出流的多个图像相关联的“补充增强信息”类型的消息中。
根据本发明的用于动态调整的方法的一个实施方式，远程设备根据远程设备的状态，对于传出流应用不同编码参数，第一设备以传出流的编码特性为基础，确定针对传入流的编码的调整的指示符。根据本发明的方法的该实施方式见证了指示符的可能隐含的本质：后者没有明确由元数据而是由编码特性传输。实际上能够将编码的流的特性的修改视为通信信道。以示例的方式，如果远程设备配备有用于根据其自身电池水平来调整对流编码的复杂性的模块，那么当电池的充电水平减少到预定阈值之下时，这减少了传出流的编码的复杂性。该复杂性的改变由第一设备察觉，其然后配置为将该改变解释为向第一设备的指示来编码传入流，以便将由远程设备使用的解码功率最小化。换言之，复杂性的改变由第一设备考虑为是指示符，其目的在于减轻远程设备上的解码责任。以示例的方式，更低分辨率的传出流能够由第一设备解释为信号，以生成比用于远程设备的更低分辨率的编码的传入流。
第一设备能够同样包括专用的电源和能量存储单元，第一设备联合根据所述至少一个指示符的值和第一设备的能量存储单元的充电水平，修改传入流的编码特性。
根据本发明的动态调整的方法的一个实施方式，由第一设备对传入流编码包括压缩编码，包括将图像切割为块的步骤，并对于每个块进行转变和量化，第一设备根据传出流的指示符，修改以下中至少一个参数：将图像切割为块的细度、具有空间预测编码的块关于具有时间预测编码的块的数量的相对比率、量化水平。
由第一设备对传入流的编码可以包括滤波预处理以及进而对预处理的流的压缩编码，第一设备根据传出流的指示符，修改以下中的至少一个参数：所述预处理滤波器的强度、编码的压缩水平、传入流的分辨率。因此，可以在多个水平上采用对传入流的编码的矫正的动作。
本发明的主题同样是用于音频和/或视频流的编码设备，所述设备被配置为实现(如上所述由第一设备执行的)动态调整的方法的步骤。以示例的方式，编码设备是设置有编码和解码单元的移动通信终端，以示例的方式，所述单元使其能够进行视频会议。
本发明的主题同样是用于音频和/或视频流的解码设备，所述设备被配置为实现(如上所述由远程设备执行的)动态调整的方法的步骤。
本发明的主题同样是用于音频和/或视频流的编码和解码设备，该设备能够交替实现如上所述的动态调整的方法中由第一设备执行的步骤以及相同的方法中由远程设备执行的步骤。
本发明的主题同样是一种通过音频和/或视频流通信的系统，包括如上所述的编码设备，带有如上所述的解码设备，编码设备根据解码设备的状态，动态调整对传输到解码设备的流的编码。
根据本发明的通信的系统，其中，第一设备和远程设备每一个是如上所述的编码和解码设备，这些设备能够交换流，对2个设备的每个本地执行的所述流的编码根据与其他设备相关联的约束被动态调整。
附图说明
当阅读具体实施方式会发现其他特征，具体实施方式随着参考附图以示例而非限制的方式被提供，其中：
-图1示出根据本发明实现方法示例的系统的示意图；
-图2示出根据本发明示出方法示例的步骤的总览；
-图3示出的总览示出了用于确定为减少编码的流的解码的复杂性，而要对编码的流执行的动作的方法。
具体实施方式
图1示出根据本发明实现方法示例的系统的示意图。
系统100包括被调整为将视频流111、112交换的第一设备101和第二设备102。以示例的方式，这些设备101、102是用于视频会议通信的移动终端。因此，每个设备包括形成单元(图像传感器)和视频编码和解码单元，用以在将其分开的网络基础设施150(例如蜂窝通信网络)上传输小尺寸的数据。第一设备101的编码器121生成传输至第二设备102的解码器132的编码的视频流112。此外，在示例中，第二设备102的编码器131生成被传输至第一设备101的解码器122的编码的视频流111。编码的视频流111也被传输至提取模块123，用于指示符312转变省电水平。提取模块可以是解码器122的一部分。
这些终端101、102是移动的，它们从功率的观点而言是自主的；在该示例中，其每个具有可再充电电池(图中未示出)。此外，第二设备102有利地包括计量器，以确定其电池中充电水平。根据本发明的方法的一个实施方式，第二设备102在其生成的称作第一流111的编码的流111中，传输该充电水平。
根据第一实施例，第一设备101接收该第一流111，将其解码，并从其提取第二设备102的电池中关于充电水平的信息。第一设备101然后使用该信息来检查第二流112的编码的特性、参数(第二流112由第一设备101的编码器121生成)。原因是：如果第二设备102向第一设备101指示其电池水平低，那么期望是向第二设备102提供能够不需要大量功率消耗来解码的第二流112，剩余操作期间与充电水平相链接。因此，第二流112的编码的复杂性能够通过考虑远程设备102特有的状态参数(诸如其电池水平)来调节。
凭借根据本发明的方法，第一设备101生成更好地适应设备102经受的约束(也就是说在该示例中，适应其电池中充电水平)的第二编码的流112。当第二设备102接收解码被简化的第二流112时，以示例的方式，第二设备102能够减少被施加到其(负责对流112进行解码的)计算处理器P的电压，并能够因此减小为了对接收的流112进行解码所需要的功耗。因此，第二设备102能够延长其操作期间。根据本发明的方法形成如下循环：包括向编码设备提供信息的阶段；使用传输的信息进行参数化编码的阶段；以及然后解码的阶段，该循环能够随着时间重复，以便向解码设备的状态和/或环境提供动态调整的功能。
有利地，元数据同样插入到该第二流112，以向第二设备102提供对该流112进行解码所需要的复杂性的水平的指示，以便于调节被分配来解码的计算芯片的功率。
对称地，根据本发明的方法能够同样被实现来减小被用于对由第一设备101接收的第一流111进行解码的功率量，以便第二设备102的编码器131考虑在第二流112中传输的指示符，用以调节第一流111的编码，因此，减轻了经由第一设备101被链接至该第一流111的解码的计算责任。
因此，每个设备101、102能够间接控制用于根据其具有的电池水平来进行解码的其计算负载的动态调整。
根据另一个实施例，设备101被调整为考虑以第二传输的流112为基础与其当前消耗有关的设备102所期望的省电水平。为此，以示例的方式，设备102被调整为将省电的期望水平转变为操作或者处理器处理周期的减小的水平，以示例的方式，这是通过使用：处理器的操作频率或者每秒操作/周期的数量按照电源电压的关系；以及功耗按照特定于该设备的电源电压的关系。处理器处理操作或者周期的减小的水平独立于处理器类型，这意味着当对流112动作时，由设备101的处理器估计的解码操作的减小将对于设备102的处理器非常有效，即使其本质不同于设备101的处理器。为了转变省电的水平，方法将特别使用根据处理器的电源电压的功耗的表、以及根据处理器的操作频率的电源电压的表。处理操作或者周期的数量与处理器的操作频率之间有直接的关系。设备101然后根据说明书中进一步说明的步骤，修改流112。在该示例中，构成置于流111中的指示符312的是对于流112的解码操作的减小的水平。
在该实施方式的变型中，设备101包括请求或者元数据的提取模块，其在输入处接收流111并在输出处产生指示符312，将去往编码器的请求转变以产生允许节省功率的流。在该示例中，指示符312表示解码操作中的减小比率或者减小的水平。设备101能够直接使用指示符，因此不再必须使用表。
如果指示符是节能率，那么这是设备101使用表来将请求转换为能够用于其自身的数据的情况。
图2示出根据本发明的方法示例的步骤。该方法能够在上述参考图1的系统中实现。
在第一步骤201中，第二设备102传输第一编码的流111，其具有有关该第二设备102的状态或者环境的至少一个指示符。传输的指示符能够包括能量存储单元(诸如电池)的充电水平。尽管电池的充电水平在使用的示例中进行传输，但其他指示符能够被提供给第一设备101，以便其检查被传输至第二设备102的编码的流112的特性。同样地，多个指示符能够联合使用。以示例的方式，能够使用关于电池的充电的演变的指示符，以便如果电池是低充电水平但是该水平因为第二设备102连接至外部电源而再次上升，那么第一设备101能够考虑到此，使得不会过分地降低生成的第二流112的质量。在一些特殊的情形中，指示符能够同样涉及第二设备102位于的环境，例如气象数据(诸如温度，或者可能影响设备102的操作，更具体而言为其功耗的任何其他要素)。
在使用的第二示例中，传输的指示符在服务长度方面合并先前的参数和用户的偏好，以从其导出省电水平、甚至由设备101直接可用的解码操作中的减小的水平。此外，指示符能够直接代表要由第一设备101对第二流112进行编码应用的编码参数或者预定义的编码模式。
指示符能够由在第一流111中插入的元数据进行传输。以示例的方式，在对MPEG4-AVC“运动图像专家组4–高级视频编解码器”类型的视频流进行编码的情况下，指示符能够插入到SEI“补充增强信息”消息，到流111中的每个图像或者根据具有更长持续时间的周期。
指示符同样能够由其他单元传输。要注意的是，第一流111其本身的编码特性能够构成指示符。以示例的方式，如果编码的流111的分辨率已减少，那么第一设备101能够将分辨率的该改变解释为第二设备102的该部分需要省电。这是因为第二设备102的电池的充电水平可能低，以便其编码器131被命令来减少其生成的第一流111的编码的复杂性。该复杂性的减少能够由第一设备101解释为指示符，需要使用该指示符来使得其自身修改其编码器121的参数。
指示符能够在独立于第一流111的信号中传输。根据本发明的动态调整方法的另一个实施方式，第一流111不存在，并且被更换为去往第一设备101的简单信息信号，所述信号具有允许第一设备101调整其编码的指示符。
在第二步骤202中，第一设备101接收并解码第一流111，从其提取存在于流111中的指示符，并且编码并生成第二流112，其编码根据提取的指示符被调节。当指示符以元数据的形式(例如存在于MPEG4-AVC流的SEI类型的消息)存在时，第二设备102从SEI消息提取/读出该指示符。第一设备102能够同样被配置为提取隐含指示符，换言之，以第一流111的编码特性的形式存在的指示符。以示例的方式，第一流111的分辨率能够被认为是指示符。当已识别所有指示符时，第一设备101确定编码参数，并且编码且传输第二流112。能够采取进一步参考图2设定的多个动作，以调整第二流112的编码来适应解码设备102的约束。
在第三步骤203中，第二设备102接收并解码第二流112。凭借在经由第一设备101对第二流112的编码期间进行的参数化调整，第二流112的解码受益于调节至适应与第二设备102的状态和/或环境链接的约束。解码能够被认为对于第二设备102所处于的条件是合适的。
图3示出了用于确定为减少编码的流的解码的复杂性，而要对编码的流执行的动作的方法。以示例的方式，该方法能够在图1所示的第一设备101中实现。
第二流112的编码301使用从第一流111提取的指示符312，以示例的方式，用以对来自存在于第一设备101的图像传感器的源流310进行编码。以示例的方式，编码301包括预处理303，以及然后压缩编码305。这两个步骤303、305的参数化由考虑指示符312的决定模块307检查。
以示例的方式，压缩编码305实现块编码技术(诸如MPEG4-AVC格式的编码)。这种类型的技术特别具有如下步骤：将要编码的图像切割为块，该块是经历了转换(经常通过DCT、离散余弦转换)，量化，以及然后熵编码。此外，一些块具有空间预测编码(经常称作帧内块)，其他具有时间预测编码(帧间块)。该编码的若干特性是可参数化的，特别地，量化或者切割为块，以生成更容易解码的编码的流。
预处理303在输入处接收源流310，并能够对源流310执行滤波，以例如减少其熵，并且因此便于压缩编码305。例如，这能够涉及低通频率滤波器。预处理303能够同样修改源流310的图像的分辨率，较低分辨率的视频需要更少的计算功率来被解码。
决定模块307对预处理303和压缩编码305的参数执行动作，以特别是根据接收的指示符312使生成的流112的解码的复杂性改变。因此，决定模块307特别地能够将在预处理期间应用的滤波器的强度参数化，能够将视频的分辨率参数化，能够将切割图像为块的细度参数化，能够将有关帧间块的数量的帧内块的相对的比率参数化，能够将在压缩编码期间应用的量化水平参数化，或者允许指示符312意图满足的约束的任何其他参数化。
这些参数修改应用的顺序和其应用的强度可以是各种策略的主题。以示例的方式，可能要求对编码的流保留预定质量，以便在解码的复杂性与流的质量之间需要发现妥协。
根据本发明的方法的实施方式示例，当要需要调整视频流的编码以减少其解码的复杂性时，根据指示符随着时间的改变(例如，根据远程设备102的电池水平的减少)来逐步做出3个调节。首先，预处理滤波器的强度增加；第二，修改压缩编码参数(例如量化水平、块的数量被减小，或者块的编码特性被修改)；第三，减少视频的分辨率。因此，当电池的水平减少但是保持在预定阈值之上时，仅执行有关预处理操作的第一动作。这些逐步调节允许在对第二流112进行解码时获得的省电与该流的察觉的质量之间获得妥协。其原因是：通过示出的方式，可以期望增加用于流的量化水平(在该示例中其次执行)，但是高达对于察觉的质量的可接受的劣化限制。超出此外，视频的分辨率减小，如第三设想的那样。
由决定模块307采取的参数化决定可以同样依赖于除指示符312外的数据。以示例的方式，如果供应至第一设备101的功率也依赖于电池，那么该电池的充电水平能够是应用到第二流112的编码的调整选择的一部分。在该假定的基础上，实际上需要考虑(第一设备101的)本地电池的充电水平，以限制用于对第二流112编码的功耗，并同样需要考虑(第二设备102的)远程电池的充电水平，以限制归因于流112的解码的功耗。
此外，在与第一流111传输的多个指示符312当中，可能有链接到正被执行的通信服务的用户参数。以示例的方式，第二设备102的用户能够配置影响第二流112的编码的调整策略的功率管理策略。以示出的方式，如果用户知道与流的接收相关联的服务将有短的持续时间，那么大幅减小流112的质量没有用处。根据本发明的方法的另一个实施方式，该功率管理策略能够不由第一流111中传输的指示符312定义，而是通过当通信在2个设备101、102之间设置时传输的消息定义。
根据本发明的另一个实施方式，不执行预处理，且源流310由压缩编码305直接处理。此外，尽管选择MPEG类型的块编码作为例示，但能够使用任何类型的可参数化压缩编码。
根据本发明的一个实施方式，决定模块307不存在于生成编码器流的设备的编码器121，因为指示符312是能够直接由预处理303和/或压缩编码305解释的编码参数。以示例的方式，指示符可以是在MPEG编码期间要应用的量化水平。以示例的方式，该水平之前已由已传输第一流111的第二设备102确定。
根据本发明的方法的一个实施方式，当决定模块307决定减少流的分辨率时，该分辨率直接在流的源处减少，也就是说，源流310是低分辨率。以示例的方式，如果第一设备101具有输出分辨率能够配置的视频照相机，那么决定模块307传输命令到该照相机，以便其生成较低分辨率的流。该改变构成流的复杂性的大幅减小而对预处理303或者压缩编码305的水平的参数化不需要任何特殊的介入。
根据本发明的方法能够以计算机程序的形式实现，所述计算机程序由(例如存在于第一设备101和第二设备102上的)微处理器执行。根据另一个实施方式，根据本发明的方法的功能以电路的形式实现，例如FPGA(现场可编程门阵列)类型的可编程电路或者特定电路。
根据本发明动态调整的方法特别能够被应用至视频会议，对于其，经由提供有独立且因而有限的电源单元的移动终端，连接至少一个参与者。然后能够实现该方法，以根据远程移动终端的电池的环境或者充电状态，动态调整由本地终端编码的流的复杂性。
根据本发明的动态调整的方法能够被应用到多个类型的标清(SD)或者高清(HD)视频流和多个格式(诸如MPEG4-AVC(运动图像专家组4-高级视频编码，还记为H.264)、MPEG2(H.262)、HEVC(高效率视频编码，有时记为H.265)、VP8(来自Google Inc.公司)和DivX HD+格式的流)、或者与这些格式中的一个具有向上兼容性的格式。与MPEG4-AVC的向上兼容性被理解为意味着如下格式：该格式的流的编码器同样能够对MPEG4-AVC格式的流进行编码和/或该格式的流的解码器同样能够对MPEG4-AVC格式的视频进行解码。根据本发明的动态调整的方法能够同样被应用到其他类型的流(诸如音频流)，或者更通常地为具有有损编码的流。

Claims (15)

1.一种用于动态调整由第一设备(101)传输至远程设备(102)的音频和/或视频流(112)的有损编码的方法，所述方法的特征在于，其至少包括下面的步骤：
所述远程设备(102)接收并解码被称为传入流的所述音频和/或视频流(112)，并从所述远程设备(102)传输传出流(111)，所述传出流具有转变由所述远程设备(102)期望的省电率的至少一个指示符(312)，所述指示符(312)对应于在所述传入流(112)至所述远程设备(102)的解码操作中或者在处理器P处理周期中的减小率，
所述第一设备(101)从所述远程设备(102)接收所述传出流(111)，从其提取所述至少一个指示符(312)，并根据所提取的至少一个指示符(312)，调整所述传入流(112)至所述远程设备(102)的编码。
2.如权利要求1所述的用于动态调整流编码的方法，其中，所述远程设备(102)具有专用的电源和能量存储单元；以及用于测量所消耗的功率和用于计算必要的省电率的单元，所述第一设备(101)根据所述至少一个指示符(312)的值来修改所述传入流(112)的编码特性，以减小由所述远程设备(102)对所述传入流(112)进行解码所消耗的功率。
3.如权利要求1和2中任一项所述的用于动态调整流编码的方法，其特征在于，为了将所述期望的省电率转变为每秒操作/周期的减小，使用操作频率或者每秒操作/周期的数量按照电源电压的关系、以及功耗按照所述设备(102)的所述电源电压的关系。
4.如权利要求1至3所述的用于动态调整流编码的方法，其中，所述远程设备(102)向所述传出流(111)插入一个或多个元数据，所述一个或多个元数据包括至少一个所述指示符(312)，所述第一设备(101)在进行所述传入流(112)的调整的编码之前，从所述元数据提取所述指示符(312)。
5.如权利要求3所述的用于动态调整流编码的方法，其中，所述远程设备(102)向所述传出流(111)插入元数据，所述元数据包括来自以下的至少一个指示符(312)：所述能量存储单元的充电水平；所述充电水平随着时间的改变；以及所述改变随着时间的迅速性，所述第一设备(101)根据至少一个所述指示符(312)的值来修改所述传入流(112)的所述编码特性，以便减小由所述远程设备(102)对所述传入流(112)进行解码所消耗的功率。
6.如权利要求4或5所述的用于动态调整流编码的方法，其中，所述传出流(111)是以“MPEG4-高级视频编码”标准或者具有与这一标准的向上兼容性的标准为基础而编码的视频流，所述远程设备(102)将所述至少一个指示符(312)插入到与所述传出流(111)的多个图像相关联的“补充增强信息”类型的消息中。
7.如权利要求1至3所述的用于动态调整流编码的方法，其中，所述远程设备(102)根据所述远程设备(102)的状态，对于所述传出流(111)应用不同的编码参数，所述第一设备(101)以所述传出流(111)的编码特性为基础，确定针对所述传入流(112)的所述编码的调整的所述指示符。
8.如权利要求1至7中任一项所述的用于动态调整流编码的方法，其中，所述第一设备(101)同样包括专用的电源和能量存储单元，所述第一设备(101)联合地根据所述至少一个指示符(312)的值和所述第一设备(101)的所述能量存储单元的充电水平，来修改所述传入流(112)的编码特性。
9.如前述权利要求中任一项所述的用于动态调整流编码的方法，其中，由所述第一设备(101)对所述传入流(112)进行的所述编码包括压缩编码(305)，所述压缩编码(305)包括将所述图像切割为块的步骤，并对于每个块，转变和量化，所述第一设备(101)根据所述传出流(111)的所述指示符(312)，修改以下中的至少一个参数：将所述图像切割为块的细度、具有空间预测编码的块关于具有时间预测编码的块的数量的相对比率、量化水平。
10.如前述权利要求中任一项所述的用于动态调整流编码的方法，其中，由所述第一设备(101)对所述传入流(112)进行的所述编码包括滤波预处理(303)并且接着对预处理的流进行压缩编码(305)，所述第一设备(101)根据所述传出流(111)的所述指示符(312)，修改以下中的至少一个参数：预处理滤波器(305)的强度、所述编码(305)的压缩水平、所述传入流(112)的分辨率。
11.一种用于音频和/或视频流的编码设备，其特征在于，其被配置为实现如由所述第一设备(101)执行的前述权利要求中的任何一项所述方法的步骤。
12.一种用于音频和/或视频流的解码设备，其特征在于，其被配置为实现如由所述远程设备(102)执行的权利要求1至9中任何一项所述方法的步骤。
13.一种用于音频和/或视频流的编码和解码设备，其特征在于，其能够交替实现如权利要求1至9中任何一个所述方法中由所述第一设备(101)执行的所述步骤以及相同的方法中由所述远程设备(102)执行的所述步骤。
14.一种用于通过音频和/或视频流进行通信的系统，包括如权利要求11所述的编码设备(101)，其具有如权利要求12所述的解码设备(102)，所述编码设备(101)根据所述解码设备(102)的状态，动态调整传输到所述解码设备的流的编码。
15.如权利要求14所述的系统，其中，所述第一设备和所述远程设备(102)分别是如权利要求13所述的编码设备和解码设备，所述设备(101、102)能够交换流，在两个设备(101、102)中的每一个上本地执行的所述流的编码根据与另一个设备(101、102)相关联的约束而被动态调整。
CN201380070080.1A 2012-12-12 2013-12-12 对传输至设备的音频和/或视频流的编码进行动态调整的方法 Pending CN104904212A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1261932 2012-12-12
FR1261932A FR2999373B1 (fr) 2012-12-12 2012-12-12 Procede d'adaptation dynamique du codage d'un flux audio et/ou video transmis a un dispositif
PCT/EP2013/076397 WO2014090950A1 (fr) 2012-12-12 2013-12-12 Procede d'adaptation dynamique du codage d'un flux audio et/ou video transmis a un dispositif

Publications (1)

Publication Number Publication Date
CN104904212A true CN104904212A (zh) 2015-09-09

Family

ID=48128447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380070080.1A Pending CN104904212A (zh) 2012-12-12 2013-12-12 对传输至设备的音频和/或视频流的编码进行动态调整的方法

Country Status (7)

Country Link
US (1) US10341686B2 (zh)
EP (1) EP2932717A1 (zh)
KR (1) KR20150095829A (zh)
CN (1) CN104904212A (zh)
FR (1) FR2999373B1 (zh)
HK (1) HK1216570A1 (zh)
WO (1) WO2014090950A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108292506A (zh) * 2015-12-01 2018-07-17 Ati科技无限责任公司 使用视频信息的音频编码
WO2019192490A1 (en) * 2018-04-02 2019-10-10 Huawei Technologies Co., Ltd. Adaptive quantization in video coding
CN111862996A (zh) * 2020-07-14 2020-10-30 北京百瑞互联技术有限公司 一种音频编解码器均衡负载的方法、系统、存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9423853B2 (en) * 2013-12-10 2016-08-23 Qualcomm Incorporated System and method for balanced user experience in a multimedia conferencing community
US10264269B2 (en) 2014-10-13 2019-04-16 Apple Inc. Metadata hints to support best effort decoding for green MPEG applications
EP3038366A1 (en) * 2014-12-22 2016-06-29 Alcatel Lucent Devices and method for video compression and reconstruction
FR3043818B1 (fr) * 2015-11-16 2019-10-18 Synapsys Systeme d'elaboration, d'emission et d'interpretation d'un flux composite et procedes associes
IN201841014667A (zh) * 2018-04-18 2018-04-27
EP3985976B1 (en) * 2020-10-16 2022-09-28 Axis AB Method of encoding an image including a privacy mask
US11924464B2 (en) * 2021-09-20 2024-03-05 Qualcomm Incorporated Processing video data picture size change request and notification messages

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1853391A (zh) * 2003-09-17 2006-10-25 英特尔公司 用于正交频分复用系统的调制方案等
US20070142082A1 (en) * 2005-12-20 2007-06-21 Dacosta Behram M Mobile TV system and method with fast channel change
US20080192822A1 (en) * 2007-02-09 2008-08-14 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US20090161755A1 (en) * 2007-12-21 2009-06-25 Broadcom Corporation Device adaptive video transmission system for use with layered video coding and methods for use therewith

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000341222A (ja) * 1999-05-27 2000-12-08 Sony Corp 通信端末およびホスト装置
US7649898B1 (en) * 2003-05-27 2010-01-19 Cisco Technology, Inc. Converting media streams in a communication system
WO2006080261A2 (en) * 2005-01-27 2006-08-03 Matsushita Electric Industrial Co., Ltd. Portable image transmission/reception terminal having power consumption influences encoding/decoding modes
US8560753B1 (en) * 2005-03-30 2013-10-15 Teradici Corporation Method and apparatus for remote input/output in a computer system
JP5170972B2 (ja) * 2006-03-28 2013-03-27 株式会社東芝 無線通信装置及び無線通信システム
US7456760B2 (en) * 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
US9883202B2 (en) 2006-10-06 2018-01-30 Nxp Usa, Inc. Scaling video processing complexity based on power savings factor
US8165644B2 (en) 2007-08-29 2012-04-24 Qualcomm Incorporated Server initiated power mode switching in portable communication devices
US20090074084A1 (en) * 2007-09-18 2009-03-19 David Drezner Method and System for Adaptive Preprocessing for Video Encoder
KR101617377B1 (ko) * 2009-11-06 2016-05-02 삼성전자주식회사 동적 전압 주파수 스케일링 방법
US8879654B2 (en) * 2010-03-10 2014-11-04 Micron Technology, Inc. Communication interface with configurable encoding based on channel termination
US8514968B2 (en) * 2010-09-03 2013-08-20 Qualcomm Incorporated Methods and apparatus for encoding and transmitting mobile device location information
US8767895B2 (en) * 2011-01-25 2014-07-01 Telefonaktiebolaget L M Ericsson (Publ) Interference cancellation based on interfering link IL signal quality and related methods and devices
US8718207B2 (en) * 2011-05-10 2014-05-06 Issc Technologies Corp. Method used for providing an adaptive receiving in wireless communication
US9392295B2 (en) * 2011-07-20 2016-07-12 Broadcom Corporation Adaptable media processing architectures
KR101881019B1 (ko) * 2011-10-26 2018-07-24 삼성전자 주식회사 휴대 단말기의 전원절약 장치 및 방법
AU2013288859B2 (en) * 2012-07-09 2016-05-19 Vid Scale, Inc. Power aware video decoding and streaming
US9106887B1 (en) * 2014-03-13 2015-08-11 Wowza Media Systems, LLC Adjusting encoding parameters at a mobile device based on a change in available network bandwidth

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1853391A (zh) * 2003-09-17 2006-10-25 英特尔公司 用于正交频分复用系统的调制方案等
US20070142082A1 (en) * 2005-12-20 2007-06-21 Dacosta Behram M Mobile TV system and method with fast channel change
US20080192822A1 (en) * 2007-02-09 2008-08-14 Microsoft Corporation Complexity-based adaptive preprocessing for multiple-pass video compression
US20090161755A1 (en) * 2007-12-21 2009-06-25 Broadcom Corporation Device adaptive video transmission system for use with layered video coding and methods for use therewith

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108292506A (zh) * 2015-12-01 2018-07-17 Ati科技无限责任公司 使用视频信息的音频编码
CN108292506B (zh) * 2015-12-01 2023-10-31 Ati科技无限责任公司 使用视频信息的音频编码
WO2019192490A1 (en) * 2018-04-02 2019-10-10 Huawei Technologies Co., Ltd. Adaptive quantization in video coding
CN111862996A (zh) * 2020-07-14 2020-10-30 北京百瑞互联技术有限公司 一种音频编解码器均衡负载的方法、系统、存储介质
CN111862996B (zh) * 2020-07-14 2024-03-08 北京百瑞互联技术股份有限公司 一种音频编解码器均衡负载的方法、系统、存储介质

Also Published As

Publication number Publication date
HK1216570A1 (zh) 2016-11-18
US20150326887A1 (en) 2015-11-12
KR20150095829A (ko) 2015-08-21
FR2999373B1 (fr) 2018-04-06
EP2932717A1 (fr) 2015-10-21
US10341686B2 (en) 2019-07-02
WO2014090950A1 (fr) 2014-06-19
FR2999373A1 (fr) 2014-06-13

Similar Documents

Publication Publication Date Title
CN104904212A (zh) 对传输至设备的音频和/或视频流的编码进行动态调整的方法
Gao et al. DCT coefficient distribution modeling and quality dependency analysis based frame-level bit allocation for HEVC
CN104301724A (zh) 视频处理方法、编码设备和解码设备
US20120307890A1 (en) Techniques for adaptive rounding offset in video encoding
US20180352259A1 (en) Video Compression Techniques for High Dynamic Range Data
CN102857746A (zh) 环路滤波编解码方法及装置
CN102868883B (zh) 一种视频编码的码率控制方法
JP2019512970A (ja) ディスプレイストリーム圧縮における量子化パラメータの適応計算のための装置および方法
CN104185024A (zh) 一种基于总码率与信息熵模型的hevc量化参数优化方法
CN101888550A (zh) 一种slice头信息中量化参数编码方法和装置
CN103533365A (zh) 比特率控制方法与比特率控制系统
CN102857760B (zh) 一种无反馈的优化码率的分布式视频编解码方法及其系统
TWI686078B (zh) 用於在顯示串流壓縮(dsc)中計算失真之系統及方法
Yang et al. Energy minimization via dynamic voltage scaling for real-time video encoding on mobile devices
CN105187832B (zh) 基于2.5g无线网络移动视频码率控制方法
Chiu et al. Hybrid distributed video coding with frame level coding mode selection
CN102104778A (zh) 一种图像编码中码率控制的方法和装置
US11076153B2 (en) System and methods for joint and adaptive control of rate, quality, and computational complexity for video coding and video delivery
CN104053009A (zh) 一种监控视频的编码方法及装置
Raoufi et al. Energy-efficient wireless video streaming with H. 264 coding
Pu et al. Joint power-distortion optimization on devices with MPEG-4 AVC/H. 264 codec
Wei et al. Recent advances in rate control: From optimization to implementation and beyond
CN116457793A (zh) 针对多个机器任务的学习视频压缩框架
CN115280786A (zh) 用于本地色度量化参数控制的高级约束标记
US10531096B2 (en) Decoder, method and system for decoding multimedia streams

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20160601

Address after: American California

Applicant after: Harmony Ltd

Address before: France

Applicant before: France Brevets

AD01 Patent right deemed abandoned

Effective date of abandoning: 20190104

AD01 Patent right deemed abandoned