CN101401434B - 用于改变视频图像序列的时间频率的方法和装置 - Google Patents

用于改变视频图像序列的时间频率的方法和装置 Download PDF

Info

Publication number
CN101401434B
CN101401434B CN200780009006.3A CN200780009006A CN101401434B CN 101401434 B CN101401434 B CN 101401434B CN 200780009006 A CN200780009006 A CN 200780009006A CN 101401434 B CN101401434 B CN 101401434B
Authority
CN
China
Prior art keywords
video sequence
frequency
image
sequence
decision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200780009006.3A
Other languages
English (en)
Other versions
CN101401434A (zh
Inventor
H·利·弗洛什
C·吉斯奎特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN101401434A publication Critical patent/CN101401434A/zh
Application granted granted Critical
Publication of CN101401434B publication Critical patent/CN101401434B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种为了视频图像序列在通信网络上传输的目的而改变所述视频图像序列的时间频率的方法，其特征在于所述序列的图像已经以时间频率f1被采样。该方法和设备用于改变视频图像序列的时间频率，该方法包括：为了确定该序列的采样时间频率f是否可以被增大的目的，做出关于执行对于以时间频率f2>f1采样的视频序列的图像的编码进行仿真的步骤的决定的步骤，该决定是基于与能够执行该仿真步骤(412；516)的通信设备的资源相关的至少一个准则(409；513)而做出的，和/或是基于视频序列和/或网络的特性(512，515)随时间的演变而做出的。

Description

用于改变视频图像序列的时间频率的方法和装置
技术领域
本发明涉及用于为了视频图像序列在通信网络上传输的目的而改变所述视频图像序列的时间频率的方法和装置。
背景技术
当视频序列例如根据MPEG-4标准使用编码算法而被压缩时，解压缩后的视频序列的图像质量可能呈现为不好。
一般来说当视频序列的图像被高度纹理化并具有剧烈运动和/或当速率低时遭遇到这种情况。
在这种状况下，已知在时间上对视频序列进行下采样，这实际上相当于删除序列中的某些图像。
因而，从下采样得到的图像质量更好，这是因为压缩率更低。
如果例如希望将一秒钟中的50幅图像压缩为一兆比特，则可以理解，通过因子2进行时间下采样，仅每秒25幅图像被压缩为一兆比特。
由于上述原因，施加到视频序列的每个图像的压缩率被降低，从而其质量被改善。
由这种下采样得到的流动性(fluidity)的感觉经常不那么好，但是在某些情况下是可以接受的。
当认为从下采样得到的图像的清晰度具有优先级，或者在视频序列的解压缩之后通过时间内插得到补偿时，会发生上述情况。
从文献US6 633 609已知改善视频编码的常规方法。
常规上，如果编码器的计算资源可用，则视频序列的每幅图像都由编码器编码。可能发生这样的情况：编码器已经忙，因此不能处理视频序列的当前图像。在这种情况下，当前图像被删除，并且当编码器已处于活动时对于该序列的其他图像也是相同。
由于这些图像删除是不规则的，因此在序列中发生急振(jerk)。
在该文献中，提出以规则的间隔删除图像以便避免该现象。
为此，所提出的方法关注于求出编码器的图像压缩的平均时间，并且生成与该平均时间相符的视频的采样时间频率。
然而，此方法并不充分有效，因为频率如此被生成一次并一直使用，即使编码器的活动性随时间变化也是如此。
通过2003年1月的SPIE Conference on Image and VideoCommunications and Processing的题目为“Rate-Distortion Modelsfor Video Transcoding”的文献，还已知一种利用速率-失真(rate-distortion)模型的编码方法。
根据此方法，在图像的简单量化的情况下，使用第一速率-失真模型。
在此情况下，视频的采样时间频率呈现为最大，并且通过该第一模型而提供取决于想要的速率的失真的值。
所述第一速率-失真模型涉及将速率和失真链接在一起的方程式，该方程式简单且为本领域技术人员所熟知。
此方法还涉及第二速率-失真模型，所述第二速率-失真模型用于图像被规则地删除，从而认为采样时间频率与前述的情况相比被降低的情况中。
关于所述第二模型，假定了相同场景的图像是静态的，并且丢失的图像(丢失的图像由时间的观点上最接近的解码后的图像代替)的失真可以用静态的性质而推导出。
为了这样做，从参数学习阶段和将视频分段成同种场景的阶段生成分析的(analytical)时间失真模型。
因而，根据此文献的教导，这两个速率-失真模型在一个时间间隔中提供对失真的两个测量值，即第一模型以最大时间分辨率提供的平均失真和第二模型提供的平均失真(考虑了图像的时间下采样)。
然后将基于通过这些模型所计算的失真值来进行关于对视频序列进行下采样的决定。
要指出的是，此方法实施起来特别复杂，尤其是关于学习和分段阶段，并且涉及非常多的计算。此外，其基于内插模型，而内插模型可能表现出低的可靠性。
发明内容
本发明通过以更简单的方式使得能够修改视频序列的采样时间频率，致力于减轻至少一个上述的缺点。
为此，本发明涉及一种为了视频图像序列在通信网络上传输的目的而改变所述视频图像序列的时间频率的方法，其特征在于所述序列的图像已经以时间频率f1被采样，该方法包括如下步骤：为了确定该视频序列的采样时间频率f1是否可以增大，做出关于执行对于以时间频率f2>f1采样的视频序列的图像的编码进行仿真的步骤的决定，该决定是基于与能够执行该仿真步骤的通信设备的资源相关的至少一个准则而做出的，和/或是基于视频序列和/或网络的特性随时间的演变而做出的。
因而，在决定增大采样时间频率之前，将决定是否适宜以该频率执行编码的仿真，这根据不同的状况而进行。
本发明因而尤其灵活，因为它使得能够根据可能随时间演变(evolve)的所满足的不同状况而动态地改变采样频率。
此外，本发明实现起来尤其简单，并且表现出比涉及速率-失真模型的现有技术中所用的技术更加精确。
应该指出的是，该视频序列可以表征为可能较强或较弱的能量或视频活动性，也可以表征为可能较高或较低的视觉质量。
关于网络，这可以表征为其传输容量(例如可用带宽，数据传输时间等)，其可能较好或较坏(例如较高或较低的带宽、较多或较少的数据传输时间等)。
根据一个特征，视频序列和/或网络的特性随时间的演变关于当决定了使用时间频率f1用于采样时视频序列和/或网络所呈现出的初始特性是显著的。
现在将对情境(context)的时间演变进行观察，其中，采样时间频率已被修改为转成频率f1。该情境通过给定时刻的视频序列和/或网络的状态而被定义。
根据一个特征，该方法在做出关于仿真步骤的执行的决定的步骤之前包含与视频序列的图像的采样时间频率相关地在存储器中存储给定时间的视频序列的特性和/或网络的特性的步骤。
因而使得能够在存储器中存储由视频序列和/或网络定义的情境，以便能够追随其随时间的演变。
要指出的是，此情境在存储器中的存储可能在将采样时间频率修改成值f1之前或之后发生。
例如用于统计的目的，在存储器中的存储可能是有用的，尤其是由于追随视频情境和/或网络情境的演变的原因。
根据一个特征，在存储器中进行存储的步骤是在已经决定将视频序列的图像的采样时间频率从频率f0降低到f1之后执行的。
要指出的是，在存储器中的存储可以在序列的采样时间频率降低时和/或如上所述在其他时候发生，例如以获得所述情境随时间的演变历史。
采样频率降低时视频情境和/或网络情境的记录将使得能够之后在检查所述情境的演变时决定是否增大该序列的采样频率。
根据一个特征，该方法在进行关于执行仿真步骤的决定的步骤之前包括以下步骤：
-以时间频率f0>f1对视频序列的图像进行采样，
-对采样的图像进行编码，
-确定已编码的图像的质量，
-相对于预定的阈值比较所确定的质量，
-根据比较结果，进行关于将视频序列的图像的采样时间频率从频率f0降低到频率f1的决定。
因而，在估计已编码的采样的图像的质量之后，已经进行了将视频序列的采样时间频率降低到值f1的决定。
要指出的是，当提供存储器存储的步骤时，可以关于前述的采样步骤、编码步骤、质量确定步骤、比较步骤和决定步骤中的任何一个在任何时间执行此步骤。
也可以与这些步骤中的任何一个并行地发生记录的步骤。
举例来说，当决定将采样频率从f0降低到f1时，可以在进行该决定之前、之后，或者在频率的修改之后，或者与频率修改并行地，发生记录的步骤，
根据一个特征，该方法包括在视频序列和/或网络呈现的当前特性与当决定使用时间频率f1用于采样时视频序列和/或网络呈现的初始特性之间进行比较的步骤。
当前特性是指与首先进行了改变时间频率的决定连续地，在经过某段时间之后，视频序列和/或网络的特性。
这些当前特性例如是在进行关于编码仿真的决定时存在的特性。
所述比较使得能够确定视频序列和/或网络的特征随时间的演变。
根据一个特征，比较特性的步骤特别按照以下步骤的形式来执行：将分别利用视频序列的当前特性(当前情境)和初始特性(初始情境)获得的该视频序列的质量进行比较。
要指出的是，此比较步骤假设初始情境中的视频序列的质量已被存储在存储器中，并且在当前状态下确定。
根据一个特征，该方法包括：根据比较步骤的结果，进行关于将采样时间频率从f1增大到f2的决定的步骤。
因而能够根据当前特性和初始特性的比较结果，更一般地说，根据这些特性随时间的演变，直接决定时间频率的增大，因而免除编码仿真步骤。
此演变提供了近似的指示，该近似的指示使得能够进行快速的决定。然而，如果根据环境情况(例如要传输的视频数据的类型)优选地在决定增大频率之前获得关于情境的演变的更多详情，则前述的编码仿真的步骤是优选的。
根据一个特征，该方法包括当视频序列和/或网络的当前特性随时间而改善时增大采样时间频率的步骤。
因而，当视频和/或网络情境有利地演变时，能够设想(envisage)直接增大采样时间频率，而不求助于编码仿真步骤。
这使得能够节省时间，并且降低该方法的计算成本。
根据一个特征，当视频序列和/或网络的当前特性随时间改善时，对于对以时间频率f2>f1采样的图像的编码进行仿真的步骤的执行取决于通信设备的资源相对于预定阈值的状态。
当视频和/或网络情境有利地演变时，在对执行编码仿真步骤做出决定之前考虑通信设备的资源。
然而，在某些环境中，可以设想不考虑这些资源而仍然执行编码仿真。当不需要快速做出增大频率的决定时或者当视频数据可能被更慢地编码时，可设想到这点。
根据一个特征，通信设备的资源的状态低于预定阈值的情况下，该方法包括增大采样时间频率而不求助于编码仿真步骤的步骤。
因而，当通信设备的资源(计算能力、存储空间)的状态不足时，可以在某些情况下被提供以免除编码仿真并且直接增大采样频率。
然而要指出的是，当资源的状态允许时，可以在对增大采样频率做出决定之前设想编码仿真步骤，以便评估以仿真的方式被如此编码的视频序列的质量。
根据一个特征，当视频序列和/或网络的当前特性随时间恶化时，不执行编码仿真步骤。
因而，取决于对视频和/或网络情境的之后情况，尤其是当该情境恶化时，可以从而推断出编码仿真步骤是无用的，因为增大的采样频率的视频序列的质量将非常可能不足。
根据另一个特征，该方法包括当通信设备的资源的状态大于预定阈值时，对以时间频率f2>f1采样的视频序列的图像的编码进行仿真的步骤。
因而，当设备的资源的状态允许时，执行编码仿真。
更特别地，仿真步骤被再划分为几个子步骤：
-以时间频率f2对视频序列的图像进行采样，
-对采样的图像的编码进行仿真，
-确定已编码图像的质量，
-比较确定的质量与预定的阈值，
-在阈值被超过的情况下，增大视频序列的图像的采样时间频率。
因而，如果从仿真产生的已编码图像的质量呈现为不足，则保持视频序列的图像的相同采样时间频率。
根据一个特征，视频序列的特性是序列的视频活动性例如预测误差的方差、运动矢量的方差，和/或视频序列的质量。
视频序列或图像的此质量可以关于视频序列或图像或编码之后的若干图像的信号噪声比而被表示。
此外，网络的特性例如通过网络的带宽而被定义。
本发明还涉及一种为了视频图像序列在通信网络上传输的目的而改变所述视频图像序列的时间频率的装置，其特征在于所述序列的图像已经以时间频率f1被采样，该装置包括：用于为了确定该序列的采样时间频率f1是否可以增大，做出关于对以时间频率f2>f1采样的视频序列的图像的编码执行仿真的决定的装置，该决定是基于与能够执行该仿真步骤的通信设备的资源相关的至少一个准则而做出的，和/或是基于视频序列和/或网络的特性随时间的演变而做出的。
用于实现上述方法的装置具有与该方法相同的优点。
本发明还涉及：
-计算机系统可读的信息载体，可能全部或部分是可移动的，尤其是CD-ROM或磁介质，诸如硬盘或磁盘，或者可传输的介质，诸如电或光信号，所述信息载体包含计算机程序指令，其特征在于当程序被装载并由计算机系统执行时，它使得能够实施以上简述的方法。
-可载入计算机系统的计算机程序，所述程序包含当该程序被装载并由计算机系统执行时使得能够实施以上简述的方法的指令。
其他特征和优点将在以下的描述中出现，以下的描述完全通过非限制性示例而给出，并且参照附图进行。
附图说明
图1是其中可以实施本发明的通信设备的图；
图2是本发明的环境的示意性表示；
图3是根据本发明的用于确定视频图像序列的时间频率的算法的示意性视图；
图4是根据本发明第一实施例的用于确定视频图像序列的时间频率的算法的示意性视图；
图5是根据第二实施例的用于确定视频图像序列的时间频率的算法的示意性视图。
具体实施方式
如图1中所表示，用于实施本发明的装置110例如以连接到不同外围设备的微计算机的形式实施。
在这些外围设备当中，有连接到未示出的图形卡的数字视频摄像机1100，其将要处理的数据提供给装置110。
要指出的是，视频摄像机可以由任何用于图像获取或存储的装置替换，或者甚至由能够将数据发送到装置110的扫描仪替换。
装置110包含连接到通信网络1103的通信接口1102，数字数据通过所述通信网络1103被传输。
装置110可以从网络1103接收要处理的那些数据，或者可以在处理了那些数据之后将它们通过网络传输。
装置110还包括诸如硬盘之类的数据存储装置1104。
在装置110中还可以找到用于盘1106的驱动器1105，所述盘可能是磁盘、CD-ROM或DVD-ROM。
正如对于硬盘1104那样，盘1106可以包含根据本发明被处理的数据，以及实施本发明的一个或多个计算机程序。
此一个或多个程序例如可以被包含在存储介质1106中，并且被传送到装置110中以便被存储在其中，例如被存储在硬盘1104上。
根据一种变型，使得装置110能够实施本发明的所述一个或多个程序可以被存储在只读存储器1107(ROM)中。
根据另一种变型，所述一个或多个程序可以由装置110从通信网络1103接收，以便按照与已经描述的方式相同的方式被存储在其中。
装置110还连接到麦克风1108以处理音频数据。
屏幕1109使得能够观看要处理的数据或者处理后的数据，或者充当与用户的界面，用户可以由此利用键盘1110或任何其他装置诸如鼠标或其他指点装置将某些处理模式参数化。
该装置还包含中央处理单元1111(CPU)，其执行与本发明的实施相关的指令。
这些指令或代码行被存储在只读存储器1107中或者其他前述的存储装置中。
在对该装置供电后，根据本发明的、存储在非易失性存储器(例如存储器1107(ROM))中的一个或多个处理程序被传送到随机存取存储器1112(RAM)以及用于存储本发明的实现所需要的变量的寄存器中，所述随机存取存储器1112(RAM)接着将包含所述一个或多个程序的可执行代码。
更一般地说，可由计算机或者微计算机读取的数据存储装置存储实施根据本发明的方法的所述一个或多个程序，更具体地，所述根据本发明的方法为数据的编码、传输以及解码的方法。
要指出的是，数据存储装置可以被集成或不被集成到装置110中，并且可能是可移除的。
装置110还包含通信总线1113，其能够使得不同的前述组件彼此链接，不论它们被集成到装置110中还是连接到其上，因此使得能够在这些不同的元件之间建立通信。
总线1113的表示不是限制性的，特别是中央处理单元1111能够将指令传送到装置110的任何组件或与其连接的组件，不论是直接还是经由该装置的其他组件。
要指出的是，由装置110处理的数据是来自视频图像序列的数据。
如在图2中表示的，本发明尤其应用于视频图像序列通过通信网络从通信设备进行的传输的情境中，所述通信设备例如与图1的装置110相同。
在传输的上游，例如以递送非压缩格式的图像的摄像机的形式提供用于获取视频序列的模块200。
在所示的示例中，假设视频获取的频率是每秒30幅图像。
模块200所获取的图像接着被传送到视频编码模块201，所述视频编码模块201例如是根据MPEG-4标准的视频编码器。
由模块201压缩的每个图像接着被模块203切割成数据分组，并且如此形成的分组经由网络被传输模块204传输。
应该指出的是，分组经由网络的传输是符合网络的带宽B(t)的限制而在控制模块205的监督下执行的。
变量t是时间指标，在给定时间确定的网络的带宽因而可以随着时间演变。
还应该指出的是，带宽B(t)的值对于视频编码模块201是已知的，所述视频编码模块201因而改变图像的压缩速率从而改变其质量，以便能够将所有分组经由网络传输。当带宽值B(t)过低时，压缩速率过高，并且视频质量强烈下降。
在这种情况下，使得能够通过删除视频获取模块200所提供的图像中的一些来改变视频序列的采样时间频率。
模块202具有确定视频序列的图像的适当采样时间频率的功能。
时间频率已被模块202改变一次或多次的视频序列经由网络被传输。
网络例如是无线网络。
要指出的是，模块200～205形成被称作发送方的通信设备的一部分。
传输的分组被主数据接收模块206以及分组接收模块207连续地接收，在所述分组接收模块207中，这些分组被组装在一起以构成二进制文件。
然后，构成此文件的数据被视频数据解码模块208处理。
当已执行了视频序列的图像的解码时，这些图像，或者作为其全部的视频，可以经历后处理以便改善视觉质量。
这种处理由后处理模块209执行，并且例如可以通过时间内插方法来恢复视频序列的初始时间频率。
模块209可以进一步实施抑制区组效应(block effect)的方法和本领域技术人员已知的大量的其他方法。
显示模块210接着执行视频序列的显示。
模块206～210形成被称为接收方的通信设备的一部分，所述被称为接收方的通信设备例如与图1的装置110相同。
要指出的是，在上述的情境中，视频获取及其编码是实时执行的。
然而，根据本发明的视频序列的时间频率的改变也可以对于已经例如以MPEG-4或其他格式经过压缩的视频执行。
在该情况下，压缩视频的代码转换则是必要的，以便使压缩视频的尺寸适应于网络的带宽限制。
此代码转换可以包括重新量化和/或修改时间频率。
图3中所表示的算法更加详细地示出了图2的模块202所实施的不同功能的一部分。
要指出的是，总体来说，图2的模块202必须基于以下将定义的准则对于视频序列的采样所要采用的时间频率做出决定。此决定因而导致视频序列的图像的下采样或者导致采样时间频率的增大。
图3的算法包含例如利用摄像机获取视频序列的第一步骤300。
在获取视频序列时，其图像以时间频率f0被采样。
在之后的步骤301期间，此视频序列被编码，并且步骤303使得能够控制分配给视频序列的每个图像的速率。
更具体地，在步骤303期间，速率控制使得能够考虑经由通信网络而可用的带宽B(t)，改变编码参数。
在之后的步骤304中，确定已采样和编码的图像的视觉质量。
因而例如能够使用PSNR(峰信号-噪声比)作为视频序列的图像的视觉质量的度量。
峰信号-噪声比通过以下公式确定：
PSNR＝20Log10(255/RMSE)，
其中，RMSE表示MSE的平方根，MSE表示关于图像的彩色分量(诸如亮度或色度)的均方误差，并且由以下公式确定，其中L表示图像的宽度，H表示其高度：
MSE = 1 L × H Σ i = 0 L - 1 Σ j = 0 H - 1 ( X ( i , j ) - X ( i ~ , j ) ) 2
要指出的是，均方误差可以在视频编码步骤301实施的量化阶段期间直接计算。
在确定已编码图像的视觉质量之后，在之后的步骤305期间执行该质量与预定阈值S的比较。
当以频率f0采样并且编码后的图像的视觉质量低于该预定阈值时，这意味着图像的空间质量必需被改善。
要指出的是，此阈值是根据经验确定的，并且取决于视频数据的类型和/或所设想的应用。因而，例如该阈值对于关于视频会议的应用可以等于29dB，并且对于视频监视应用可以更低。
为此，视频序列的图像的采样时间频率应该因此被降低。
此决定在步骤306进行。
要指出的是，为了清楚的考虑，在图3中没有设想已编码图像的视觉质量高于阈值S的情况。
然而，在这种情况下，视频序列的采样频率f0不被修改。
一做出将频率f0降低到频率f1的决定，就使得能够在步骤307期间记录引起所做的该决定的条件。
更具体地，在存储器中存储例如是由给定时间的视频序列的特性或性质组成的，和/或由给定时间的网络的特性或性质组成的。
如此导致降低视频序列的采样时间频率的情境被存储在存储器中，并且表示为“context_to_record”(要记录的情境)的、初始具有值0的变量被设为1。
因而，在对之后的图像进行编码时，如果该变量具有值1，则在步骤304确定的质量(例如PSNR)被记录作为初始情境值，并且该变量在该记录之后被立即重置为0。
要指出的是，在步骤307被存储在存储器中的情境例如是在频率和视频活动性(预测误差的方差、运动矢量的方差)的改变期间可用的带宽B(t)。
进一步对于步骤306的决定的进行，步骤308使得能够确定新的降低的时间频率f1。
例如，时间频率f0除以2。
因而，图3的算法使得能够基于给定的准则对时间下采样进行决定，并且将进行该决定的情境存储在存储器中，所述情境在之后将用于返回到更高的采样时间频率。
现在将要描述的图4的算法定义了根据本发明的第一实施例可以增大采样频率的条件。
根据此算法，对执行对以高于f1的时间频率f2被采样的视频序列的图像的编码进行仿真的步骤的决定是基于与可以执行仿真步骤的通信设备的资源有关的至少一个准则进行的。
此仿真步骤在那里根据真实条件而精确地确定是否可以采用新的频率用于采样。
图4的算法包含用摄像机获取视频序列的第一步骤400，步骤401例如被提供用于暂时存储如此获取的视频数据。
在以下步骤402期间，以降低的频率f1执行视频序列的下采样。
这是因为，在图3的步骤306，已经进行了将采样频率从f0降低到f1的决定。
如此采样的序列的图像接着例如可以在步骤403被暂时存储，然后在步骤404被编码。
之后的步骤405使得能够例如确定如此编码的图像的质量，并且将其与阈值S比较，如图3的两个步骤304和305所提供的。
要指出的是，在此设想的处理是一幅图像一幅图像地进行的。
当获得的质量低于预定的阈值时，选择新的降低的时间频率(步骤406)，进行降低频率的决定的条件(情境)被存储在存储器中(视频序列的特性和/或网络的特性)。
更具体地，变量“context_to_record”被设定为1。
要指出的是，对于更多详情，可以参照关于图3进行的上述描述，其定义了在步骤307和308期间转为更低的频率。
之后的步骤407使得能够选择以新的频率采样的序列的之后的图像，并且然后以相同的方式执行之后的操作：
-对所述新图像进行编码，
-确定该已编码的图像的质量，以及
-与阈值进行比较，如刚刚已对于之前图像描述过的。
回到步骤405，当已编码图像的视觉质量高于该阈值时，之后的步骤408使得能够保持相同采样频率，并且以频率f1采样的序列的之后的图像如上所述被传递(步骤407)。
与这些操作并行地，步骤409使得能够分析通信设备的资源的状态，并且特别地确定计算资源和存储空间是否在该设备中可用以执行编码仿真。
例如，该可用性可以关于一个阈值而被确定，所述阈值定义计算单元和存储空间的占用的最大水平。
当资源的状态如此允许时，在离开步骤401时选择视频序列的某数量的连续图像。要指出的是，根据这些资源的状态，可以决定通过改变所选的图像的数量并且例如如果资源接近该阈值则仅使用几幅图像(1、2或3)来执行编码仿真。用于计算这些图像的编码的时间还可以分散在一段流逝时间上，这段时间长于实时所强加的时间。这将在增大时间频率的可能的决定中引起轻微的时间偏移，但是这将使得在进行决定的过程中能够考虑一些更多的图像(5或6幅图像)。
所选择的图像接着在步骤410以大于用于步骤402的采样的频率f1的时间频率f2被下采样。
在步骤410施加的下采样的水平(level)例如是在步骤402施加的下采样的水平的二分之一。
如此下采样的图像例如在步骤411被暂时存储，然后在步骤412被编码。
要指出的是，就编码步骤404和412使用相同的图像来说，在第二编码的仿真期间，在步骤412执行的一些计算可以之后在编码步骤404被再次使用。
在之后的步骤413期间，例如通过在图3的步骤304如上所述确定其编码已被仿真的每个图像的视觉质量而对其质量进行确定。
在之后的步骤414期间，将已编码图像的质量与阈值aS进行比较，其中a>1，以便确定质量是否可观地大于质量阈值S。
实际上，如果有若干已编码图像，则此步骤仅对最后一个所选图像执行，以便确保用于此测试的图像的质量尽可能地(因而最具代表性地可能地)稳定代表所有所选图像的质量。
在肯定的情况下，步骤414之后是步骤415，步骤415授权将时间采样频率从f1增大到f2。
例如于是在此步骤期间，下采样的速率被除以2。
返回到步骤414，当已经对编码进行了仿真的图像的质量呈现出不足时，决定不修改采样频率，如已经参照上述的步骤408说明的。
因而，如刚刚在步骤409到415描述的，确定计算资源的可用性，以及可能确定存储空间，以便决定是否能够与以给定时间频率进行的第一编码(步骤404)并行地对具有更高时间频率的第二编码进行仿真。
例如，如果发现以当前时间频率对一秒钟的视频进行编码使用了机器资源的50％，则能够在步骤410和412选择0.5秒的视频对第二编码进行仿真。
已知在视频编码器中，两幅图像之间的运动的估计呈现出在计算方面开销很大。
考虑这一点，因而能够在编码步骤404期间基于在编码步骤412估计的运动来估计两幅图像之间的运动。
因而，如果在步骤412，在图像I(0)和I(1)之间以及在图像I(1)和I(2)之间计算运动，则通过简单相加，在编码步骤404期间，I(0)和I(2)之间的运动被估计并且可以作为第一近似。相反也是可以的，即也可以在步骤412再次使用在步骤404执行的计算。
这使得能够大大降低搜索空间和计算时间。
应该指出的是，当进行决定在步骤402以降低的频率f1对图像进行采样时，图3的步骤307和308已被执行。
因而，初始情境已被记录(例如：视频活动性和带宽)，并且变量“context_to_record”已经被设置为1。
然后，在以频率f1采样的之后的图像的视觉质量在步骤405被确定之前，在步骤404，对所述之后的图像进行编码。
尽管如此，与编码并行或者在该编码之后，执行步骤416，所述步骤416验证前述的变量是否是值1。
在肯定的情况下，之后的步骤417使得能够将该变量设定为0，并且记录在图3的步骤304确定的最后一个视觉质量(PSNR)的值。
然而要指出的是，作为替换方案，此记录(除了PSNR值的记录之外)也可以在图3的步骤307发生。
一般来说，图像的视觉质量取决于视频活动性并且取决于网络的传输能力。更具体地，对于给定带宽，视频活动性越高，其视觉质量越低。
如果在步骤416的测试期间，变量为0，则没有情境(PSNR)要被记录，这是因为这意味着采样频率还没有被降低。
图5图示了用于根据本发明第二实施例，根据视频序列和/或网络(情境)的特性随时间的演变来改变视频序列的采样频率的算法。
如以下将可看出的，在考虑前述的情境的时间演变的同时，此算法使得能够(尤其在某些环境下)降低机器资源(计算单元和/或存储空间)的使用。
图5的算法包含获取视频序列的第一步骤500，所述视频序列接着在步骤501被存储，根据在步骤502(对应于图3的步骤306)涉及的降低时间频率的决定而在步骤503以频率f1被下采样，在步骤504被存储，然后在步骤505被编码。
所有这些步骤与图4的相应的步骤400、401、402、306、403、和404相同。
类似地，与已编码图像质量的阈值S进行比较的步骤506和步骤507涉及的降低采样时间频率的决定和记录新情境，以及步骤509涉及的保持相同采样频率的决定与图4的相应步骤405、406、408相同。
在这些步骤之后，在步骤508进行之后图像的处理，所述步骤508与图4的步骤407相似。
在步骤505对之后图像进行编码之后，提供步骤510以便确定情境随时间演变的方式。
取决于此测试步骤的结果，将决定对以更高采样时间频率进行的第二编码的仿真是否呈现出是有用的。
要指出的是，当情境由视频活动性和/或网络的传输能力来表征时，步骤510可以在该算法中的其他地方发生，并不一定在编码之后。
更具体地，在步骤510期间，在决定降低采样时间频率时的代表视频序列和/或网络的情境(事先记录的情境515)、与代表当前时间的或不久之前的视频序列的状态和/或网络的状态的所谓的当前情境(视频活动性和当前带宽512)之间进行比较。
要指出的是，在图3的步骤307，记录了初始情境515，记录515还包括在刚刚将频率降低到f1之后(图4的步骤417)对已编码图像的视觉质量(PSNR)的记录。
情境例如由给定时间的视频序列和/或网络所呈现的特性定义，并且其例如可以是视频或图像的视觉质量(例如PSNR)，视频活动性(例如预测误差的方差和/或运动矢量的方差)以及参照时的可用带宽。
然而，在此步骤期间，能够仅考虑图像的视觉质量，因而将图4的步骤417起初记录的即当决定降低视频序列的采样时间频率时的图像的视觉质量与步骤505处编码的图像的被称为当前的视觉质量进行比较。
此已编码图像是从以降低的频率的采样得到的。
因而，当情境的时间演变示出视频序列和/或网络的当前特性已随时间改善时，也就是说，例如如果当前视频序列的视觉质量大于初始视频序列的视觉质量或者如果带宽大于之前的带宽，则可能更高的采样时间频率的视频序列的视觉质量是好的。
在这种情况下，该仿真可以被设想为，视频序列的图像的第二编码，其以大于步骤503的频率f1的时间频率被采样。
然而，要指出的是，此编码仿真可以从属于在给定时间可用的机器资源(计算单元和/或存储空间)的状态。
关于预定阈值(计算单元或存储空间的占用水平)验证机器资源的状态的步骤在步骤513执行，步骤513与图4的步骤409相同。
然而，要指出的是，也能够执行编码仿真的步骤，而不考虑机器资源的状态。
因而，在采用比步骤503处使用的采样频率更大的采样频率时，执行下采样514、存储515、编码516、确定视觉质量517、将质量与阈值aS进行比较518的步骤。
这些步骤与图4的相应的步骤410、411、412、413和414相同。
如果更高的频率的视频序列的视觉质量被证明为充分好(PSNR>aS)，则之后的步骤519使得能够通过选择更高的时间频率来改变频率，所述更高的时间频率例如是执行编码仿真的时间频率。
另一方面，如果视觉质量被证明为不充足(PSNR≤aS)，则保持在步骤503所用的采样频率(步骤509)。
应该指出的是，当步骤513所用的机器资源的状态被证明为小于预定阈值(占用水平)时，能够设想直接增大采样时间频率，而不求助于步骤514及之后的步骤提供的编码仿真。
因而节省了计算时间，并且增大了决定速度。
返回比较步骤510，当情境随时间恶化时，其例如导致视觉序列的当前视觉质量(PSNR)，该当前视觉质量小于或等于降低采样时间频率时的视频序列的视觉质量，则更高时间频率的视频序列的视觉质量非常可能是不充足的。
更具体地，这通过当前情境呈现为不如导致了时间频率降低的情境好的事实来解释。
在这种情况下，在步骤514和之后步骤提供的编码仿真被证明是无用的，并且步骤510之后是步骤520，步骤520将所确定的视觉质量(PSNR)的值重置为0。接着，步骤520之后是已经在之前描述的步骤518并且在给定PSNR的值的情况下直接导致保持相同采样频率的步骤509。
还要指出的是，经由变量“context_to_record”的对情境的记录以与参照图4的步骤416和417描述的方式相同的方式执行。
应该指出的是，当选择更高的采样时间频率时，例如当加倍时，当前情境对应于在采样时间频率先前降低期间记录的情境。

Claims (25)

1.一种为了视频图像序列在通信网络上传输的目的而改变所述视频图像序列的时间频率的方法，其特征在于所述序列的图像已经以时间频率f1被采样，该方法包括：为了确定该序列的采样时间频率f1是否可以增大的目的，做出关于执行对于以时间频率f2＞f1采样的视频序列的图像的编码进行仿真的步骤的决定，该决定是基于与能够执行该仿真步骤(412；516)的通信设备的资源相关的至少一个准则(409；513)而做出的，和/或是基于视频序列和/或网络的特性(512，515)随时间的演变而做出的。
2.根据权利要求1的方法，其特征在于，所述视频序列和/或网络的特性随时间的演变关于决定使用用于采样的时间频率f1时的视频序列和/或网络所呈现的初始特性是显著的。
3.根据权利要求1的方法，其特征在于，其在进行关于执行仿真步骤的决定的步骤之前包含与视频序列的图像的采样时间频率相关地在存储器中存储(307)给定时间的视频序列的特性和/或网络的特性的步骤。
4.根据权利要求3的方法，其特征在于，在存储器中存储(307)的步骤是在决定(306)将视频序列的图像的采样时间频率从频率f0降低为频率f1之后执行的。
5.根据权利要求1的方法，其特征在于，其在进行关于执行仿真步骤的决定的步骤之前包含以下步骤：
-以时间频率f0＞f1对视频序列的图像进行采样(300)，
-对采样后的图像进行编码(301)，
-确定已编码图像的质量(304)，
-比较(305)所确定的质量与预定的阈值，
-根据比较结果，做出关于将视频序列的图像的采样时间频率从频率f0降低到频率f1的决定(306)。
6.根据权利要求1的方法，其特征在于其包含在视频序列和/或网络所呈现的当前特性(512)与当决定使用时间频率f1用于采样时的视频序列和/或网络所呈现的初始特性(515)之间进行比较(510)的步骤。
7.根据权利要求6的方法，其特征在于，对所述特性进行比较(510)的步骤具体是按照比较分别以当前特性和初始特性获得的视频序列的质量的步骤的形式来执行的。
8.根据权利要求6的方法，其特征在于其包含根据比较步骤的结果做出关于将采样时间频率从f1增大到f2的决定(518)的步骤。
9.根据权利要求8的方法，其特征在于，该方法包含当视频序列和/或网络的当前特性随时间改善时增大(519)采样时间频率的步骤。
10.根据权利要求6的方法，其特征在于，当视频序列和/或网络的当前特性随时间改善时，对于执行对以时间频率f2＞f1采样的图像的编码进行仿真的步骤的决定取决于通信设备的资源(513)关于预定阈值的状态。
11.根据权利要求10的方法，其特征在于，通信设备的资源的状态低于预定阈值，该方法包括不必求助于编码仿真步骤而增大(507)采样时间频率的步骤。
12.根据权利要求6的方法，其特征在于，当视频序列和/或网络的当前特性随时间恶化时，不执行所述编码仿真步骤。
13.根据权利要求1的方法，其特征在于包含当通信设备的资源(409；513)的状态大于预定阈值时对以时间频率f2＞f1采样的视频序列的图像的编码进行仿真(412；516)的步骤。
14.根据权利要求13的方法，其特征在于，所述仿真的步骤被进一步划分为若干个子步骤：
-以时间频率f2对视频序列的图像进行采样(410；514)，
-对采样的图像的编码进行仿真(412；516)，
-确定已编码图像的质量(413；517)，
-比较(414；518)所确定的质量和预定的阈值，
-在超过了所述阈值的情况下，增大(415；519)视频序列的图像的采样时间频率。
15.根据权利要求1的方法，其特征在于，所述视频序列的特性是视频序列的视频活动性和/或质量。
16.根据权利要求1的方法，其特征在于，所述视频序列的或图像的质量是关于已编码图像或视频序列的信噪比来表达的。
17.根据权利要求1的方法，其特征在于，所述网络的特性是网络的带宽。
18.一种为了视频图像序列在通信网络上传输的目的而改变所述视频图像序列的时间频率的设备，其特征在于所述序列的图像已经以时间频率f1被采样，该设备包括：为了确定该序列的采样时间频率f1是否可以增大的目的，做出关于执行对于以时间频率f2＞f1采样的视频序列的图像的编码进行仿真的决定的装置，该决定是基于与能够执行该仿真步骤的通信设备的资源相关的至少一个准则而做出的，和/或是基于视频序列和/或网络的特性随时间的演变而做出的。
19.根据权利要求18的设备，其特征在于其包含与视频序列的图像的采样时间频率相关地在存储器中存储给定时间的视频序列的特性和/或网络的特性的装置。
20.根据权利要求18的设备，其特征在于，其包含：
-以时间频率f0＞f1对视频序列的图像进行采样的装置，
-对采样后的图像进行编码的装置，
-确定已编码图像的质量的装置，
-比较所确定的质量与预定的阈值的装置，
-进行关于将视频序列的图像的采样时间频率从频率f0降低到频率f1的决定的装置，用于进行决定的所述装置适于取决于比较结果进行该决定。
21.根据权利要求18的设备，其特征在于其包含在视频序列和/或网络所呈现的当前特性和当决定使用时间频率f1用于采样时的视频序列和/或网络所呈现的初始特性之间进行比较的装置。
22.根据权利要求21的设备，其特征在于其包含进行关于将采样时间频率从f1增大到f2的决定的装置，用于进行决定的所述装置适于取决于比较结果进行该决定。
23.根据权利要求22的设备，其特征在于其包含当视频序列和/或网络的当前特性随时间改善时增大采样时间频率的装置，其适于增大频率。
24.根据权利要求18的设备，其特征在于其包含用于对以时间频率f2＞f1采样的视频序列的图像的编码进行仿真的装置，该装置适于当通信设备的资源的状态大于预定的阈值时对该编码进行仿真。
25.根据权利要求24的设备，其特征在于，所述仿真装置包括：
-用于以时间频率f2对视频序列的图像进行采样的装置，
-用于对采样的图像的编码进行仿真的装置，
-用于确定已编码图像的质量的装置，
-用于比较所确定的质量和预定的阈值的装置，
-用于增大视频序列的图像的采样时间频率的装置，其适于在超过了所述阈值的情况下增大时间频率。
CN200780009006.3A 2006-03-14 2007-03-09 用于改变视频图像序列的时间频率的方法和装置 Expired - Fee Related CN101401434B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0650866 2006-03-14
FR0650866A FR2898757A1 (fr) 2006-03-14 2006-03-14 Procede et dispositif d'adaptation d'une frequence temporelle d'une sequence d'images video
PCT/IB2007/001768 WO2007105118A2 (en) 2006-03-14 2007-03-09 A method and device for adapting a temporal frequency of a sequence of video images

Publications (2)

Publication Number Publication Date
CN101401434A CN101401434A (zh) 2009-04-01
CN101401434B true CN101401434B (zh) 2010-12-22

Family

ID=37433603

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780009006.3A Expired - Fee Related CN101401434B (zh) 2006-03-14 2007-03-09 用于改变视频图像序列的时间频率的方法和装置

Country Status (6)

Country Link
US (1) US20090041132A1 (zh)
EP (1) EP1994759B1 (zh)
JP (1) JP5164866B2 (zh)
CN (1) CN101401434B (zh)
FR (1) FR2898757A1 (zh)
WO (1) WO2007105118A2 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2915342A1 (fr) * 2007-04-20 2008-10-24 Canon Kk Procede et dispositif de codage video
FR2920632A1 (fr) * 2007-08-31 2009-03-06 Canon Kk Procede et dispositif de decodage de sequences video avec masquage d'erreurs
US8897364B2 (en) * 2007-08-31 2014-11-25 Canon Kabushiki Kaisha Method and device for sequence decoding with error concealment
FR2929787B1 (fr) 2008-04-04 2010-12-17 Canon Kk Procede et dispositif de traitement d'un flux de donnees
FR2930387B1 (fr) * 2008-04-17 2010-09-24 Canon Kk Procede de traitement d'un flux de donnees codes
EP2299716B1 (en) 2009-09-09 2016-11-23 Canon Kabushiki Kaisha Method and device for coding a multidimensional digital signal
GB2505912B (en) * 2012-09-14 2015-10-07 Canon Kk Method and device for generating a description file, and corresponding streaming method
JP6739200B2 (ja) * 2016-03-24 2020-08-12 キヤノン株式会社 映像処理装置、映像処理システムおよび制御方法
CN107960839B (zh) * 2016-10-20 2020-08-07 佛山市顺德区美的电热电器制造有限公司 烹饪器具、流量控制方法和流量控制装置
EP3499885A1 (en) 2017-12-18 2019-06-19 Canon Kabushiki Kaisha Method and device for encoding video data
EP3499886A1 (en) 2017-12-18 2019-06-19 Canon Kabushiki Kaisha Method and device for encoding video data
CN112534842B (zh) * 2018-08-07 2024-05-28 昕诺飞控股有限公司 使用分布式计算网络的边缘节点的压缩感测系统和方法
TWI676781B (zh) * 2018-08-17 2019-11-11 鑑微科技股份有限公司 三維掃描系統

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005151280A (ja) * 2003-11-18 2005-06-09 Matsushita Electric Ind Co Ltd カメラ装置
US6954859B1 (en) * 1999-10-08 2005-10-11 Axcess, Inc. Networked digital security system and methods

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4025950A (en) * 1976-05-27 1977-05-24 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Sampling video compression system
JPH10164503A (ja) * 1996-11-26 1998-06-19 Matsushita Electric Ind Co Ltd 映像処理装置及び方法
JPH10164533A (ja) * 1996-11-26 1998-06-19 Canon Inc 画像通信方法及び装置
US6633609B1 (en) * 1996-12-24 2003-10-14 Intel Corporation Method and apparatus for bit rate control in a digital video environment for arbitrary bandwidth
JP3604864B2 (ja) * 1997-04-25 2004-12-22 シャープ株式会社 動画像符号化装置
US5978029A (en) * 1997-10-10 1999-11-02 International Business Machines Corporation Real-time encoding of video sequence employing two encoders and statistical analysis
JP4186242B2 (ja) * 1997-12-26 2008-11-26 ソニー株式会社 画像信号処理装置及び画像信号処理方法
US6567117B1 (en) * 1998-09-09 2003-05-20 Nippon Telegraph And Telephone Corporation Method for regulating image quality, picture communication equipment using same and recording medium having recorded therein a program for executing the method
JP2002077917A (ja) * 2000-06-13 2002-03-15 Sony Corp 画像データ処理装置及び画像データ処理方法
US6748020B1 (en) * 2000-10-25 2004-06-08 General Instrument Corporation Transcoder-multiplexer (transmux) software architecture
JP4599609B2 (ja) * 2001-09-18 2010-12-15 株式会社メガチップス 画像圧縮符号化方法、画像配信方法、およびそれらのプログラム
JP3836701B2 (ja) * 2001-10-10 2006-10-25 株式会社東芝 動画像を符号化する方法及び装置及びプログラム並びに動画像音声多重化の方法及び装置
CN1650622B (zh) * 2002-03-13 2012-09-05 图象公司 用于数字重新灌录或修改电影或其他图像序列数据的系统和方法
WO2004023821A1 (en) * 2002-09-05 2004-03-18 Agency For Science, Technology And Research A method and an apparatus for controlling the rate of a video sequence; a video encoding device
JP3917124B2 (ja) * 2003-10-21 2007-05-23 株式会社日立国際電気 画像蓄積配信システムの帯域制御方式
US20050089092A1 (en) * 2003-10-22 2005-04-28 Yasuhiro Hashimoto Moving picture encoding apparatus
JP2006033393A (ja) * 2004-07-15 2006-02-02 Matsushita Electric Ind Co Ltd 画像符号化装置および画像符号化方法
JP2007025073A (ja) * 2005-07-13 2007-02-01 Sony Corp データ伝送方法、データ送信装置及びデータ受信装置、並びにプログラム
US9113147B2 (en) * 2005-09-27 2015-08-18 Qualcomm Incorporated Scalability techniques based on content information

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6954859B1 (en) * 1999-10-08 2005-10-11 Axcess, Inc. Networked digital security system and methods
JP2005151280A (ja) * 2003-11-18 2005-06-09 Matsushita Electric Ind Co Ltd カメラ装置

Also Published As

Publication number Publication date
EP1994759B1 (en) 2012-05-23
US20090041132A1 (en) 2009-02-12
JP2009530892A (ja) 2009-08-27
CN101401434A (zh) 2009-04-01
EP1994759A2 (en) 2008-11-26
FR2898757A1 (fr) 2007-09-21
WO2007105118A2 (en) 2007-09-20
WO2007105118A3 (en) 2008-08-21
JP5164866B2 (ja) 2013-03-21

Similar Documents

Publication Publication Date Title
CN101401434B (zh) 用于改变视频图像序列的时间频率的方法和装置
US11310509B2 (en) Method and apparatus for applying deep learning techniques in video coding, restoration and video quality analysis (VQA)
US20210160556A1 (en) Method for enhancing resolution of streaming file
CN110418177B (zh) 视频编码方法、装置、设备和存储介质
CN114584849A (zh) 视频质量评估方法、装置、电子设备及计算机存储介质
CN106961603A (zh) 帧内编码帧码率分配方法和装置
CN112584119B (zh) 一种基于强化学习的自适应全景视频传输方法及系统
US10911785B2 (en) Intelligent compression of grainy video content
CN102308582B (zh) 用于对图像进行分割编码的方法
KR101805550B1 (ko) 프리젠테이션 가상화를 위한 화면 부호화 방법 및 서버
CN105430393B (zh) 一种图片处理方法、图片处理装置、图片处理平台以及存储介质
CN115022629B (zh) 云游戏视频的最优编码模式确定方法与装置
CN114554211A (zh) 内容自适应视频编码方法、装置、设备和存储介质
CN113628116B (zh) 图像处理网络的训练方法、装置、计算机设备和存储介质
CN110740316A (zh) 数据编码方法及装置
CN112437301B (zh) 一种面向视觉分析的码率控制方法、装置、存储介质及终端
CN111836092A (zh) 一种虚拟桌面的数据处理方法、装置及相关组件
CN113452996A (zh) 一种视频编码、解码方法及装置
CN103517074B (zh) 图像编码设备及其控制方法
CN115379291B (zh) 一种码表更新方法、装置、设备及存储介质
CN110740326A (zh) 图像编码方法及装置
KR101703330B1 (ko) 이미지 재부호화 방법 및 그 장치
CN116980604A (zh) 视频编码方法、视频解码方法及相关设备
KR20220070866A (ko) 딥러닝 기술이 적용된 영상 개선 방법, 장치 및 프로그램
Feng et al. BVI-Artefact: An Artefact Detection Benchmark Dataset for Streamed Videos

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101222

Termination date: 20200309