CN102239690A - 用于拥塞控制的稳定视频速率适配 - Google Patents

用于拥塞控制的稳定视频速率适配 Download PDF

Info

Publication number
CN102239690A
CN102239690A CN2009801444327A CN200980144432A CN102239690A CN 102239690 A CN102239690 A CN 102239690A CN 2009801444327 A CN2009801444327 A CN 2009801444327A CN 200980144432 A CN200980144432 A CN 200980144432A CN 102239690 A CN102239690 A CN 102239690A
Authority
CN
China
Prior art keywords
end points
network
data
relevant
videoconference data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801444327A
Other languages
English (en)
Other versions
CN102239690B (zh
Inventor
莫塔巴·胡赛尼
帕特里克·怀特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
N Harris Computer Corp
Original Assignee
Magor Communications Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=42152418&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN102239690(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Magor Communications Corp filed Critical Magor Communications Corp
Publication of CN102239690A publication Critical patent/CN102239690A/zh
Application granted granted Critical
Publication of CN102239690B publication Critical patent/CN102239690B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/148—Interfacing a video terminal to a particular transmission medium, e.g. ISDN

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及在第一端点和第二端点之间经由网络交换视频会议数据的方法，包括在第一端点上接收与第一视频会议数据的传输有关的统计数据。尤其是，第一视频会议数据是经由网络预先地从第一端点传送到第二端点的数据，并且该统计数据与在第一视频会议数据的传输期间的网络性能特征有关。用于该网络性能特征的近似地优化的数据传输速率是基于该统计数据确定的。与第一端点有关的视频编码器的输出位速率被调整，使得与其视频会议有关的第二视频会议数据在比第一视频会议数据更迟的时间上被编码，以调整的输出位速率提供输出数据，用于以近似地优化的数据传输速率经由网络传送。

Description

用于拥塞控制的稳定视频速率适配
技术领域
本发明通常涉及可视会议，尤其是，通常涉及经尽力服务的网络动态地调整用于增强可视会议体验的视频编码和输入参数。
背景技术
视频会议是一组交互的远程通信技术，其允许两个或更多个位置去经由双向并行视频和音频传输交互作用。在视频会议系统中使用的核心技术是音频和视频数据流的实时数字压缩。视频会议系统的其它的部件包括：视频输入，即，摄像机或者网络摄像机；视频输出，即，计算机监视器、电视接收机或者投影仪；音频输入，即，麦克风；音频输出，即，通常与显示设备或者电话有关的扬声器；和数据传输，即，模拟或者数字电话网、LAN或者因特网。
通常，可视会议市场大概划分为二个组：愿意承担很大支出的那些用户，和不愿意承担支出的那些用户。愿意承担很大支出的一些用户的例子包括大的和/或全球公司和公用事业，其能够在避免与行程有关的成本和耽误时间的基础上证明支出是对的。承担的支出来自于所有权成本或者租用专用网的成本。上述的专用网被管理，传送服务质量(QoS)通常形成为服务级协定(SLA)的一部分。
市场的平衡包括那些无需访问专用网的用户，其典型地使用因特网用于数据传输。这个组不仅包括那些不访问专用网的用户，而且包括那些其专用网不提供QoS保证或者没有连接到所有端点(用户可能希望连接到其)的用户。该因特网是尽力服务网络的例子。上述的网络不同于管理的网络，其中由于网络拥塞的结果，尽力服务网络的传输参数常遭受比较大的和可变的传输损害，包括抖动、延迟、丢失分组等等。此外，这些损害典型地常遭受在从秒到分钟或者小时的范围周期上求平均值的值方面突然和显著的变化。
该传输损害与尽力服务网络，诸如因特网有关，其导致用户典型地不舒适的体验，由于视频成分是劣质的“不连贯的”，和/或没有与通信的音频成分精确同步。而不是增强通信，该视频成分可以事实上提供虚假的视觉提示，并且甚至使通信的各方迷惑或者厌恶。由于这个缘故，尽管与之相关的许多的优点，商店和个人已经慢慢去采用基于IP的可视会议。当然，当视频成分被足够地改善以提供更加自然运动和通信方更加逼真表示的时候，很可能出现更宽的采用。因此，在视频数据的编码和/或传输方面的每次增长的改善是朝着实现可视会议技术分布广泛的采用的方向的重要步骤。
令人遗憾地，当前的端点技术和传输协议产生典型地差的交互式的体验。由于丢失分组的重复传输的结果，使用处理拥塞的现有的协议，诸如，传输控制协议(TCP)，视频传输经历潜在地非常大的延迟，并且由于对于拥塞TCP的添加提高倍增减小(AIMD)策略的结果，在传输速率方面明显减小。因此，TCP被认为是用于现行实时视频数据流的传输不足够的协议。
做为选择，当使用没有拥塞控制的现有的协议，诸如用户数据报协议(UDP)的时候，用户在拥塞事件中经历严重的分组损失，因为压缩的视频分组损失导致在解码的图像中很大的视觉人为现象，其显著地降低视频会议体验的质量。由于在网络上视频分组排队(其经历拥塞)延迟的结果，连续的拥塞也显著地增加延迟。因此，UDP数据流在有网络拥塞的情况下被认为是不充分地执行。
最后，当使用数据报拥塞控制协议(DCCP)(其对于实时应用，诸如音频和视频提供拥塞控制)的时候，视频传输在发射机侧上常遭受潜在地大的缓冲延迟，以便附着在DCCP的速率控制机构上。令人遗憾地，延迟是在现行的可视会议应用中的关键参数，因为在接收来自远程参与者的响应时长的延迟减弱面对面交谈的错觉。关于DCCP的另一个问题是标记为DCCP的分组不必然地由核心因特网路由器路由，因为DCCP没有被广泛地采用。此外，DCCP没有阐明视频编码参数如何改变，以便附着于给定的传输速率上。
在经由尽力服务网络流出音频视频内容期间，将反馈信号从接收者提供给发送者也是已知的。这些信号包含与在特定的传输间隔期间的带宽通过量有关的信息。尤其是，正在流动的视频被编码为多个品质片段或者细流。因此，当带宽通过量不匹配正在网络上发送的细流的位速率的时候，发送者停止发送一些细流。在流出音频视频内容之前，若干质量的步骤，诸如低、中等、中等高和高被预先确定，并且在不同的步骤之间移动导致在视频内容的质量方面显著的差别。这种方法适用于视频点播类型应用，其容许缓冲延迟，并且需要可靠的分组传送，但是，考虑不适用于实时可视会议应用。
其对于提供克服现有技术的上述局限性的至少一些的方法和系统将是有益的。
发明内容
按照本发明的一个方面，提供了一种在第一端点和第二端点之间经由网络交换视频会议数据的方法，包括：在第一端点上接收统计数据，该统计数据是以预先地从第一端点经由网络传送到第二端点的第一视频会议数据为基础，统计数据被在第二端点上确定，并且与在传送第一视频会议数据的已知的时间间隔期间的网络性能特征有关；基于统计数据，确定用于网络性能特征的近似地优化的数据传输速率；在比捕捉第一视频会议数据更迟的时间上捕捉与其视频会议有关的第二视频会议数据；调整与第一端点有关的视频编码器的输出位速率，以便支持视频会议数据以近似地优化的数据传输速率经由网络的传输；和使用与第一端点有关的视频编码器，编码第二视频会议数据以调整的输出位速率提供输出数据，用于以近似地优化的数据传输速率经由网络传送。
按照本发明的一个方面，提供了一种在第一端点和第二端点之间经由网络交换视频会议数据的方法，包括：经由网络将第一视频会议数据从第一端点传送到第二端点；在第一端点上接收从第二端点传送的统计数据，并且与在传送第一视频会议数据的已知的时间间隔期间的网络性能特征有关；基于统计数据，确定与第一端点有关的视频编码器的目标编码器位速率，与第一端点有关的照相机的照相机帧速率，和与第一端点有关的照相机的照相机帧分辨率的至少一个，用于对于网络性能特征提供视频会议数据近似地优化的传输速率；等待直到视频会议数据的I帧被编码供经由网络传输为止；和在开始编码I帧之前，调整视频编码器位速率、照相机帧速率和用于设置视频编码器输出位速率的照相机帧大小的确定的至少一个，使得在另一个已知的时间间隔期间传送的视频会议数据以对于网络性能特征近似地优化的传输速率经由网络传送。
按照本发明的一个方面，提供了一种在第一端点和第二端点之间经由网络交换视频会议数据的方法，包括：经由网络在第一端点和第二端点之间传送视频会议数据；在传送视频会议数据的至少已知的时间间隔期间，在第一端点和第二端点之间交换与网络性能特征有关的统计数据；基于统计数据，确定用于网络性能特征的多个近似地优化的数据传输速率，包括对于在第一端点和第二端点之间的每个传输方向近似地优化的数据传输速率；和对于第一端点和第二端点的每个，改变视频编码器位速率、照相机帧捕捉速率和照相机帧分辨率的至少一个，使得在下一个已知的时间间隔期间，视频会议数据被使用多个近似地优化的数据传输速率的至少一个，在第一端点和第二端点之间的每个方向传送。
附图说明
现在将与以下的附图一起描述本发明示范的实施例，其中：
图1是示出按照本发明的一个实施例的点对点视频会议系统的简化方框图；
图2是举例说明在视频参数调节器模块内沿用的逻辑步骤的简化逻辑流程图；
图3是举例说明用于提高dropFPS或者dropSize沿用的逻辑步骤的简化逻辑流程图；
图4是举例说明用于降低dropFPS或者dropSize沿用的逻辑步骤的简化逻辑流程图；和
图5是示出用于对I帧编码的编码器参数变化同步的处理步骤的简化逻辑流程图。
具体实施方式
以下的描述被给出以允许所属技术领域的专业人员制作和使用本发明，并且在特定的应用及其需求的背景下提供。对于公开的实施例的各种各样的修改对那些本领域技术人员来说是容易地显而易见的，并且不脱离本发明的范围，在此处限定的常规原则可以适用于其他的实施例和应用。因此，本发明不意欲被限制在公开的实施例，而是要给予按照在此处公开的原理和特点最宽的范围。
参考图1，所示出的是按照本发明一个实施例的点对点视频会议系统的简化方框图。二个端点2和4经由IP网络6，例如因特网相互连接。为了清楚，方框图仅仅示出与单向视频传输有关的功能。如将清晰可见的，在相反的方向中的视频传输、音频传输和呼叫控制子系统已经被省略。选择性地，在图1中示出的系统适用于多方视频会议，包括P个端点，P大于二个。
模块8至14表示在视频会议系统中公知的功能。在模块8上表示的摄像机输出原始视频信号24，其被馈送给在模块10上表示的照相机接口。该照相机接口包括至少颜色转换，并且选择性地一个或多个其它的视频功能。照相机控制信号42例如控制帧速率和分辨率。在这个例子中，仅仅示出一个摄像机，但是，选择性地多个摄像机和/或视频信源在模块10上被合并在该照相机接口功能中以产生单个未压缩的视频信号26。未压缩的图像帧被以给定的速率(每秒帧数，fps)和给定的分辨率(帧大小，以宽度×高度像素的分辨率)馈送给在模块12上表示的视频编码器。该视频编码器使用预定的方法，诸如例如H.264(也称为MPEG-4部分10或者MPEG-4 AVC)压缩视频信号，如在呼叫建立期间协商的。压缩的视频28流出给在模块14上表示的发射机，包含下层RTP/UDP/IP堆栈，然后经由IP网络到在远程端点4中在模块16上表示的接收机。信号30被认为是虚拟IP连接。
为了清楚，接收端点4的所有剩余的接收机功能对了解本实施例的操作说来不是重要的，其被在模块18上共同地表示。另外，虽然摄像机、照相机接口和视频编码器在图1中分别地作为离散的模块8、10和12表示，选择性地，它们被以不影响本实施例操作的许多的方法的任何一个集成。
在图1中示出的点对点视频会议系统按照由信号32表示的标准化的反馈方法(RTCP(如在RFC 3550中定义的RTF控制协议))操作，以馈送与接收信号30有关的统计数值返回给发送端点2。尤其是，统计数值包括计算往返行程延迟、抖动和分组损失需要的RTCP接收机报告消息。RTCP接收机报告消息被扩展去发送“用户消息”，其包含一系列对于数据流的损失间隔统计数值，因为标准RTCP接收机报告不包括损失间隔。需要损失间隔阵列、往返行程延迟和抖动值，以便允许目标带宽计算器(其在模块20上表示)去计算推荐的传输速率(以千比特/s或者kbps的RecRate)。
在当前和非限制例子中，该目标带宽计算器模块20被从IETF(Internet工程任务组)RFC 3448，“TCP支持的速率控制(TFRC)：协议规范”修改。TFRC意欲供在UDP(用户数据报协议)连接的传输点上使用。在这个特定的TFRC示例和由IETF RFC 3448推荐的那个之间的主要差别是交换流传输参数(往返行程延迟、抖动和损失间隔)的频率。代替如由IETF RFC 3448推荐的至少每个往返时间(通常数量级为毫秒)，从接收端点4传送这些统计数值，它们代之以被数量级为秒传送，通常每个N秒，这里N大于或等于一。当然，每N秒传送统计数值降低TCP支持和这个示例对拥塞的响应，但是，其还导致使反馈环路稳定，该反馈环路基于由TFRC算法计算的RecRate调整视频编码器的输出速率。这是因为与在单个帧或者几个帧上相反，典型的视频编码器管理在视频的几秒上的其平均位速率。因此，推荐的传输速率(RecRate)的计算频率被安排例如每个N＝1秒，以便不经常对编码器平均位速率进行改变。
相对于作为由IETF RFC 3448推荐的TFRC的另一个偏离是代替使用即时的往返行程延迟，这个特定的示例使用在上在一个间隔上接收的往返行程延迟的指数加权移动平均数(EWMA)，例如，以上提及的例子N＝1秒间隔，以到达对于在TFRC中使用的往返时间(RTT)更加稳定的平均值。
仍然参考图1，在模块20上的该目标带宽计算器使用接收的损失间隔阵列、往返行程延迟和抖动值去确定推荐的传输速率，其被最好地优化为IP网络的现状。与DCCP不同，其也采用TFRC，但是仅仅使用发送缓存器去调整该发送速率，该目标带宽计算器提供信号34给在模块22上表示的视频参数调节器。尤其是，该信号34表示推荐的发送速率。该视频参数调节器随后处理信号34以确定对编码器位速率、照相机帧速率和照相机捕捉分辨率的一个或多个的调整。该视频参数调节器模块22的输出信号是提供给模块12的编码器位速率信号36，和提供给模块10的照相机帧速率和捕捉分辨率信号38和40。另外，模块10还基于该信号38和40将用于例如控制帧速率和分辨率的照相机控制信号42提供给模块8。以这种方法，基于各自的控制信号，模块8至12提供视频传输信号30，其被优化为IP网络的现状。
现在参考图2，所示出的是举例说明在视频参数调节器模块22内执行的处理步骤的简化流程图。在步骤200上，从目标带宽计算器模块20提供的该信号34被在视频参数调节器模块22上接收。在决定步骤202，其确定是否由TFRC推荐的发送速率(RecRate)大于视频编码器的最大位速率(maxRate)。如果其确定RecRate＞maxRate，那么，在204上，视频编码器的速率(EncRate)被设置为maxRate，dropFPS的值(即，帧数正在被丢弃)被设置为NO_FPS_DROP(即，设置为零)，并且dropSize(即，用于缩放分辨率比例的比例因子)被设置为NO_SIZE_DROP(即，设置为单位)。因此，在步骤216上，frameRate＝maxFPS-dropFPS，也就是说，frameRate被设置为maxFPS的值。同样地，在216上，frameSize＝maxSizedropSize，也就是说，frameSize被设置为maxSize。该处理然后在步骤206上终止。
如果代之以在决定步骤202上，其确定RecRate不大于maxRate，那么，在决定步骤208上，其进一步确定是否RecRate大于视频编码器的最小位速率(minRate)。如果在决定步骤208上其确定RecRate不大于minRate，那么，在决定步骤210上其确定是否dropFPS＝maxFPS-minFPS(即，是当前的frameRate等于最小可接受的照相机帧速率？)。如果在决定步骤210上其确定frameRate不等于minRate，那么，在212上，dropFPS的值被提高，如在下面参考图3更详细描述的。接下来，在步骤214上，EncRate被设置为minRate，编码器的最小可接受的位速率(用于maxSize)。该处理移动到步骤216，并且frameRate被设置为值maxFPS-dropFPS，并且frameSize＝maxSize/dropSize。因此，当该处理在206上终止的时候，照相机输出的帧速率与其当前值相比被减小，并且照相机视频分辨率(宽度×高度像素)与其当前值相比不变。
如果代之以在决定步骤210上其确定frameRate等于minRate，那么，在218上，dropSize的值被提高，如在下面参考图3更详细描述的。接下来，在步骤220上，EncRate被设置为minRate/dropSize。该处理移动到步骤216，这里frameRate被设置为值maxFPS-dropFPS，并且frameSize被设置为值maxSize/dropSize。因此，当该处理在206上终止的时候，照相机输出的帧速率与其当前值相比不变，并且照相机视频分辨率(宽度×高度像素)与其当前值相比被减小。
现在返回到决定步骤208，如果其确定RecRate大于minRate，那么，在步骤222上，EncRate被设置为RecRate。接下来，在决定步骤224上其确定是否dropFPS大于NO_DROP_FPS(即，是dropFPS＞0？)。如果其确定dropFPS不大于NO_DROP_FPS，那么，在216上，frameRate被设置为maxFPS-dropFPS，并且frameSize被设置为maxSize/dropSize。该处理在206上终止。
如果代之以在决定步骤224上其确定dropFPS大于NO_DROP_FPS(即，某些帧当前正在被丢弃)，那么，在226上，其确定是否dropSize大于NO_SIZE_DROP(即，是正在由因子缩放的分辨率大于单位？)。如果在决定步骤226上其确定dropSize不大于NO_SIZE_DROP(即，全分辨率)，那么，dropFPS被减小，如在下面参考图4更详细描述的。接下来，在216上，frameRate被设置为maxFPS-dropFPS，并且frameSize被设置为maxSize/dropSize。因此，当该处理在206上终止的时候，照相机输出的帧速率与其当前值相比被提高，并且照相机视频分辨率(宽度×高度像素)与其当前值相比不变。
如果代之以在决定步骤226上其确定dropSize大于NO_SIZE_DROP(即，正在由因子缩放的分辨率大于单位)，那么，dropSize的值被减小，如在下面参考图4更详细描述的。接下来，在216上，frameRate被设置为maxFPS-dropFPS，并且frameSize被设置为maxSize/dropSize。因此，当该处理在206上终止的时候，照相机输出的帧速率与其当前值相比不变，并且照相机视频分辨率(宽度×高度像素)与其当前值相比被提高。
在步骤200上开始的如上所述的整个处理被每隔N秒，例如，每隔1秒无限地重复。
仍然参考图2，该视频参数调节器模块的推荐的编码器位速率(EncRate)保持在最小和最大编码器位速率的预定的范围之内。这个约束被施用，因为在编码给定分辨率期间，存在实际的位速率范围，走到或者由编码器(例如，用于高分辨率1920×1080视频64kbps的位速率)(导致很大的视频“堵塞”和质量损失)忽略的外面是不必要的(例如，用于176×144视频20Mbps的位速率)，或者在正在使用的网络上是不合理的。类似地，该视频参数调节器模块的推荐的帧速率和帧分辨率也保持在预定的范围之内。
此外，如果推荐的速率达到低于由编码器容许的最小位速率，该视频参数调节器模块代之以改变视频信源以其馈给该编码器的速率。假定编码器已经被以最大帧速率初始化，因而，降低编码器以其接收帧的速率有助于降低产生的位速率。例如，如果帧被代之以以15fps馈送给其，对于640×480视频以2Mbps工作的编码器实际上以30fps产生1Mbps。
做为选择，如果推荐的速率低于由编码器容许的最小位速率，并且当前的帧速率已经处于最小，那么，输入视频分辨率被降低。
如在图2中示出的，对网络拥塞的响应涉及首先降低编码器位速率，然后降低帧速率，然后最终帧分辨率。提高速率是反向的，帧分辨率首先被提高，继之以提高帧速率，并且最终编码器位速率。此外，当推荐的位速率提高的时候，帧速率下降被恢复。
在“步骤”中进行帧速率和帧大小的增加和减小，以便使在帧速率方面的变化频率适中。如果帧速率或者帧大小被通过给定的“步骤”减小，只有在由推荐的速率要求的位速率的方面减小的百分比大于在位速率的方面减小的百分比的时候，进行帧速率和帧大小的减小。当推荐的速率正好低于最小编码器位速率的时候，这种机制避免帧速率和帧大小的经常改变。
现在参考图3，所示出的是举例说明逻辑步骤的简化流程图，该逻辑步骤继图2的步骤212之后，用于提高dropFPS，或者继图2的步骤218之后，用于提高dropSize，这里VAR表示FPS或者SIZE的适宜的一个。在300上，值％_drop被作为(minRate-RecRate)/minRate计算，并且值curr_drop被作为通过当前的drop[VAR]降低的max[VAR]的％计算(即，总数，通过其照相机帧速率或者照相机帧大小分别地小于最大照相机帧速率或者最大照相机帧大小，表示为各自的max[VAR]的一小部分)。如果在决定步骤302上其确定％_drop不大于curr_drop，那么，该处理继续进行到步骤304，并且终止。如果代之以在决定步骤302上其确定％_drop大于curr_drop，那么，该处理继续进行到决定步骤306。在决定步骤306上，其确定是否(％_drop-curr_drop大于DROP_STEP_[VAR])。如果是否，那么，该处理移动到304，并且终止。如果是，那么，在308上，drop[VAR]被提高DROP_STEP_[VAR]。在310上，其确定是否drop[VAR]大于max[VAR]-min[VAR]。如果是否，那么，drop[VAR]的值是可接受的，并且在304上该处理终止。如果是，那么，drop[VAR]的值导致在用于VAR允许的范围外面的值，并且因此，在步骤312上，drop[VAR]被设置为值max[VAR]-min[VAR]，并且在304上该处理终止。
现在参考图4，所示出的是举例说明逻辑步骤的简化流程图，该逻辑步骤继用于降低dropFPS或者dropSize之后，这里VAR表示FPS或者SIZE的适宜的一个。在400上，drop[VAR]的值被降低总计[VAR]_STEP，这里VAR或者是FPS或者SIZE。在402上，其确定是否drop[VAR]小于NO_[VAR]_DROP。如果是否，那么，在404上，该处理终止。如果是，那么，drop[VAR]被设置为NO_[VAR]_DROP，并且在404上该处理然后终止。
在图5中示出的逻辑步骤用于决定何时去基于推荐的编码器位速率实际上改变编码器平均位速率。尤其是，其所希望的是去以不导致额外的I帧传输的方式调用变化。现在参考图5，作为按照图2确定的EncRate值被在500上接收。在502上，其确定是否编码器将要编码I帧。例如，在由编码器编码I帧之前，或者通过外部输入给编码器，决定去编码I帧。如果在502上确定是“否”，那么，该处理移动到504，并且无需设置编码器输出位速率而终止。
如果在502上确定是“是”，那么，在506上其进一步确定是否EncRate＞currRate(以kbps为单位的编码器当前的平均位速率)。如果在506上确定是“是”，那么，在508上，其确定是否在EncRate(目标编码器位速率)和currRate(编码器当前的平均位速率)之间的差值大于Enclnc％和当前的速率的乘积，这里Enclnc％是增长的阈值(0至1的范围)。如果答案是“是”，那么，在EncRate和currRate之间的差值是足够地大，以在510上证明从currRate到EncRate改变编码器输出位速率是对的。如果在508上答案是“否”，那么，该处理直接移动到504，并且终止。
如果在506上确定是“否”，那么，在512上，其确定是否在currRate和EncRate之间的差值大于EncDec％和当前的速率的乘积，这里EncDec％是减小的阈值(0至1的范围)。如果答案是“是”，那么，在EncRate和currRate之间的差值是足够地大，以在510上证明从currRate到EncRate改变编码器输出位速率是对的。该处理在504上终止。如果在512上答案是“否”，那么，该处理直接移动到504，并且终止。
按照图5，在编码器开始编码I帧时刻之前，该编码器的平均编码位速率(currRate)被改变。通过仅仅在I帧出现时在currRate方面进行改变，当从一个位速率改变到另一个的时候，避免引入额外的I帧。此外，只有在变化量超过给定的阈值(取决于是否该变化是增长或者减小，Enclnc％或者EncDec％)的时候，该编码器位速率被改变。以这种方法，在推荐的位速率(RecRate)方面小的波动不会引起在编码器参数方面的变化，因此，提高稳定性。另外，代替对于变化使用绝对阈值，使用当前值的百分比。这进一步提高稳定性，因为当当前值是很小的时候，在推荐的速率(RecRate)方面小的变化引起在编码器位速率方面的变化，但是当当前值是很大的时候，仅仅在推荐的速率(RecRate)方面大的变化引起在编码器位速率方面的变化。
用于提高编码器位速率(Enclnc％)的百分比阈值小于用于减小编码器位速率(EncDec％)的百分比阈值。因此，与提高编码器位速率的百分比变化相比，该算法对降低编码器位速率需要更小的百分比变化。这种改变编码器平均位速率的保守方法有助于保持整个产生的位速率低于由TFRC算法估算的最大值。
应该理解，虽然本发明意欲在尽力服务的网络中改善性能，如果在其它的网络，例如，没有QoS保证的管理的专用网中使用，也将获得改善。
此外，已经仅仅相对于双向可视会议体验的一个方向描述了本发明的实施例。很显然，为了优化在端点2和4之间的双向视频会议的性能，每个端点2和4必须执行大体上相同的步骤，使得每个端点2和4近似地将与之相关的传输速率优化为IP网络的现状。除仅仅IP网络的现状以外的因素也可以影响由每个端点2和4确定的优化的传输速率。例如，如果端点2反馈与削弱处理能力有关的信息，诸如例如如果端点2同时地处理一个或多个额外的视听流，那么，端点4调整其传输速率以在端点2上近似地优化可视会议体验。因此，概括地陈述，近似地优化的传输速率是随多个参数而变，包括但是不限于IP网络的当前的条件，在一个或者两个端点上的当前的处理需求和风险容许因素。该风险容许因素例如基于IP网络的历史上的条件指定阈值传输速率。因此，通过设置风险容限为低电平，甚至在拥塞的条件之下，传输速率被限制在由IP网络容纳的值。做为选择，该风险容限被设置为较高的电平，以允许更快的传输速率，但是，由于风险，如果网络拥塞提高太多，在流出的视频会议数据中将有延迟。选择性地，端点的数目大于二个。例如，多方视频会议包括P个端点，这里P大于二个。此外，由于某些端点退出，或者新的端点加入视频会议，在视频会议期间端点P的数目变化。选择性地，一些端点P仅仅观察视频会议，但是不传送视听数据回到其它的端点的任何一个，诸如例如当二个活跃的端点忙于争论的时候，其余的无源端点仅仅是旁观者。二个活跃的端点如上所述将反馈从一个提供给另一个，用于优化传输速率给IP网络的当前条件。但是，其余的无源端点仅仅反馈统计数据给二个活跃的端点，用于允许二个活跃的端点去近似地优化传输速率给其余的无源端点。做为选择，其它的端点反馈统计数据给二个活跃的端点，以确保传输同步，并且可视和优化被消除。
不脱离本发明的范围可以设想许多其它的实施例。

Claims (25)

1.一种在第一端点和第二端点之间经由网络交换视频会议数据的方法，包括：
在第一端点上接收统计数据，该统计数据是以预先地从第一端点经由网络传送到第二端点的第一视频会议数据为基础，统计数据被在第二端点上确定，并且与在传送第一视频会议数据的已知的时间间隔期间的网络性能特征有关；
基于统计数据，确定用于网络性能特征的近似地优化的数据传输速率；
在比捕捉第一视频会议数据更迟的时间上捕捉与其视频会议有关的第二视频会议数据；
调整与第一端点有关的视频编码器的输出位速率，以便支持视频会议数据以近似地优化的数据传输速率经由网络的传输；和
使用与第一端点有关的视频编码器，编码第二视频会议数据以调整的输出位速率提供输出数据，用于以近似地优化的数据传输速率经由网络传送。
2.根据权利要求1的方法，其中，调整视频编码器的输出位速率包括改变与第一端点有关的照相机的帧速率，改变与第一端点有关的照相机的帧分辨率，和改变与第一端点有关的编码器参数的至少一个，该参数对于相同的输入数据导致不同的输出位数。
3.根据权利要求2的方法，其中，帧速率、帧分辨率和参数每个的变化是在允许值的各自的预定范围内执行的。
4.根据权利要求1的方法，其中，在第一端点和第二端点之间的视频会议数据的交换是双向的，并且包括：
在第二端点上接收统计数据，该统计数据是以预先地从第二端点经由网络传送到第一端点的第三视频会议数据为基础，统计数据被在第一端点上确定，并且与在传送第三视频会议数据的已知的时间间隔期间的网络性能特征有关；
基于统计数据，确定用于网络性能特征的近似地优化的数据传输速率；
在比捕捉第三视频会议数据更迟的时间上捕捉与其视频会议有关的第四视频会议数据；
调整与第二端点有关的视频编码器的输出位速率，以便支持视频会议数据以近似地优化的数据传输速率经由网络的传输；和
使用与第二端点有关的视频编码器，编码第四视频会议数据以调整的输出位速率提供输出数据，用于以近似地优化的数据传输速率经由网络传送。
5.根据权利要求4的方法，其中，调整视频编码器的输出位速率包括改变与第二端点有关的照相机的帧速率，改变与第二端点有关的照相机的帧分辨率，和改变与第二端点有关的编码器参数的至少一个，该参数对于相同的输入数据导致不同的输出位数。
6.根据权利要求1至5的任何一个的方法，其中，网络是尽力服务网络。
7.根据权利要求1至5的任何一个的方法，其中，网络是因特网。
8.根据权利要求1至7的任何一个的方法，其中，已知的时间间隔的幅值数量级为秒。
9.根据权利要求1至8的任何一个的方法，其中，统计数据包括至少往返行程延迟值、抖动值和一系列损失间隔统计数值。
10.根据权利要求8的方法，其中，往返行程延迟值是在已知的时间间隔上往返行程延迟的指数加权移动平均数。
11.根据权利要求1的方法，其中，调整与第一端点有关的视频编码器的输出位速率是仅仅在开始编码视频会议数据的I帧时执行的。
12.一种在第一端点和第二端点之间经由网络交换视频会议数据的方法，包括：
经由网络将第一视频会议数据从第一端点传送到第二端点；
在第一端点上接收从第二端点传送的统计数据，并且与在传送第一视频会议数据的已知的时间间隔期间的网络性能特征有关；
基于统计数据，确定与第一端点有关的视频编码器的目标编码器位速率，与第一端点有关的照相机的照相机帧速率，和与第一端点有关的照相机的照相机帧分辨率的至少一个，用于对于网络性能特征提供视频会议数据近似地优化的传输速率；
等待直到视频会议数据的I帧被编码供经由网络传输为止；和
在开始编码I帧之前，调整视频编码器位速率、照相机帧速率和用于设置视频编码器输出位速率的照相机帧大小的确定的至少一个，使得在另一个已知的时间间隔期间传送的视频会议数据以对于网络性能特征近似地优化的传输速率经由网络传送。
13.根据权利要求12的方法，其中，等待直到视频会议数据的I帧被编码供经由网络传输为止，包括：
在第一端点上接收从第二端点传送的统计数据之后，并且在开始从I帧开始的另一个已知的时间间隔之前，不存在调整视频编码器位速率、照相机帧速率和用于设置视频编码器输出位速率的照相机帧大小的确定的至少一个，捕捉和编码视频会议数据。
14.根据权利要求12或者13的方法，其中，网络是尽力服务网络。
15.根据权利要求12或者13的方法，其中，网络是因特网。
16.根据权利要求12至15的任何一个的方法，其中，已知的时间间隔的幅值数量级为秒。
17.根据权利要求12至16的任何一个的方法，其中，统计数据包括至少往返行程延迟值、抖动值和一系列损失间隔统计数值。
18.根据权利要求17的方法，其中，往返行程延迟值是在已知的时间间隔上往返行程延迟的指数加权移动平均数。
19.一种在第一端点和第二端点之间经由网络交换视频会议数据的方法，包括：
经由网络在第一端点和第二端点之间传送视频会议数据；
在传送视频会议数据的至少已知的时间间隔期间，在第一端点和第二端点之间交换与网络性能特征有关的统计数据；
基于统计数据，确定用于网络性能特征的多个近似地优化的数据传输速率，包括对于在第一端点和第二端点之间的每个传输方向近似地优化的数据传输速率；和
对于第一端点和第二端点的每个，改变视频编码器位速率、照相机帧捕捉速率和照相机帧分辨率的至少一个，使得在下一个已知的时间间隔期间，视频会议数据被使用多个近似地优化的数据传输速率的至少一个，在第一端点和第二端点之间的每个方向传送。
20.按照权利要求19的方法，其中，网络是尽力服务网络。
21.按照权利要求19的方法，其中，网络是因特网。
22.根据权利要求19至21的任何一个的方法，其中，至少已知的时间间隔的幅值数量级为秒。
23.根据权利要求19至22的任何一个的方法，其中，与网络性能特征有关的统计数据包括一系列损失间隔统计数值、往返行程延迟值和抖动值。
24.根据权利要求19至23的任何一个的方法，其中，往返行程延迟值是在至少已知的时间间隔上往返行程延迟的指数加权移动平均数。
25.根据权利要求19至24的任何一个的方法，其中，改变视频编码器位速率、照相机帧捕捉速率和照相机帧大小的至少一个是在视频会议数据的I帧正在各自的端点上编码的时间上，在第一端点和第二端点的每个上执行的。
CN200980144432.7A 2008-11-07 2009-09-18 用于拥塞控制的稳定视频速率适配 Expired - Fee Related CN102239690B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/289,946 2008-11-07
US12/289,946 US8446452B2 (en) 2008-11-07 2008-11-07 Video rate adaptation for congestion control
PCT/CA2009/001296 WO2010051618A1 (en) 2008-11-07 2009-09-18 Stable video rate adaptation for congestion control

Publications (2)

Publication Number Publication Date
CN102239690A true CN102239690A (zh) 2011-11-09
CN102239690B CN102239690B (zh) 2016-01-13

Family

ID=42152418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980144432.7A Expired - Fee Related CN102239690B (zh) 2008-11-07 2009-09-18 用于拥塞控制的稳定视频速率适配

Country Status (5)

Country Link
US (1) US8446452B2 (zh)
CN (1) CN102239690B (zh)
CA (1) CA2742447C (zh)
GB (1) GB2477253B (zh)
WO (1) WO2010051618A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104335163A (zh) * 2012-06-05 2015-02-04 坦戈迈公司 控制cpu 利用率以平衡快速设备和慢速设备
CN108702370A (zh) * 2016-03-09 2018-10-23 高通股份有限公司 用于网络技术的多流交织

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2946820B1 (fr) * 2009-06-16 2012-05-11 Canon Kk Procede de transmission de donnees et dispositif associe.
US9015335B1 (en) * 2009-06-17 2015-04-21 Amazon Technologies, Inc. Server side stream switching
JP5326908B2 (ja) * 2009-07-29 2013-10-30 ソニー株式会社 送信レート制御方法および通信装置
US8558868B2 (en) * 2010-07-01 2013-10-15 Cisco Technology, Inc. Conference participant visualization
EP2589229A4 (en) * 2010-07-02 2016-03-30 Librestream Technologies Inc ADAPTIVE FRAME FREQUENCY CONTROL FOR VIDEO CONTENT IN A SYSTEM WITH LIMITED RESOURCES
US8723913B2 (en) * 2010-10-07 2014-05-13 T-Mobile Usa, Inc. Rate adaptation for video calling
JP2014515895A (ja) * 2011-03-29 2014-07-03 リリカル ラブス エルエルシー ビデオエンコードシステムおよび方法
US20130064306A1 (en) * 2011-05-16 2013-03-14 Broadcom Corporation Variable Link Rate Streaming For Audio And Video Content From Home Media Server
US9609370B2 (en) 2011-05-31 2017-03-28 Alcatel Lucent Video delivery modification based on network availability
US9071954B2 (en) 2011-05-31 2015-06-30 Alcatel Lucent Wireless optimized content delivery network
EP2761869A4 (en) * 2011-09-30 2015-03-18 Intel Corp ADAPTIVE WIRELESS ADAPTIVE WIRELESS CHANNEL-BASED ENCODING SOFTWARE BASED ACCOUNT
US9118801B2 (en) * 2011-10-24 2015-08-25 T-Mobile Usa, Inc. Optimizing video-call quality of service
US9467361B2 (en) * 2011-12-20 2016-10-11 Shoretel, Inc. Bandwidth utilization monitoring for a communication system
US9197565B2 (en) 2012-04-27 2015-11-24 Magor Communications Corp. Network congestion prediction
US9779260B1 (en) 2012-06-11 2017-10-03 Dell Software Inc. Aggregation and classification of secure data
US10616086B2 (en) * 2012-12-27 2020-04-07 Navidia Corporation Network adaptive latency reduction through frame rate control
US10341509B2 (en) * 2013-02-24 2019-07-02 Qualys, Inc. Client device state collection and network-based processing solution
US10326748B1 (en) 2015-02-25 2019-06-18 Quest Software Inc. Systems and methods for event-based authentication
US10417613B1 (en) 2015-03-17 2019-09-17 Quest Software Inc. Systems and methods of patternizing logged user-initiated events for scheduling functions
US9990506B1 (en) 2015-03-30 2018-06-05 Quest Software Inc. Systems and methods of securing network-accessible peripheral devices
US9800972B2 (en) * 2015-04-05 2017-10-24 Nicholaus J. Bauer Distributed audio system
US9842220B1 (en) 2015-04-10 2017-12-12 Dell Software Inc. Systems and methods of secure self-service access to content
US10536352B1 (en) 2015-08-05 2020-01-14 Quest Software Inc. Systems and methods for tuning cross-platform data collection
US10218588B1 (en) * 2015-10-05 2019-02-26 Quest Software Inc. Systems and methods for multi-stream performance patternization and optimization of virtual meetings
US10157358B1 (en) * 2015-10-05 2018-12-18 Quest Software Inc. Systems and methods for multi-stream performance patternization and interval-based prediction
US10142391B1 (en) 2016-03-25 2018-11-27 Quest Software Inc. Systems and methods of diagnosing down-layer performance problems via multi-stream performance patternization
US10153980B2 (en) 2016-07-19 2018-12-11 Coco Communications Corp Systems and methods for managing network congestion
US11132957B2 (en) 2018-10-03 2021-09-28 Mediatek Inc. Method and apparatus for performing display control of an electronic device with aid of dynamic refresh-rate adjustment
US11893791B2 (en) * 2019-03-11 2024-02-06 Microsoft Technology Licensing, Llc Pre-processing image frames based on camera statistics
CN110351595B (zh) * 2019-07-17 2023-08-18 北京百度网讯科技有限公司 一种缓冲处理方法、装置、设备和计算机存储介质
US20230108722A1 (en) * 2021-10-01 2023-04-06 Microsoft Technology Licensing, Llc Allocating bit rate between video streams using machine learning

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040240390A1 (en) * 2003-05-30 2004-12-02 Vidiator Enterprises Inc. Method and apparatus for dynamic bandwidth adaptation
US20060176832A1 (en) * 2005-02-04 2006-08-10 Sean Miceli Adaptive bit-rate adjustment of multimedia communications channels using transport control protocol
CN1845611A (zh) * 2005-04-08 2006-10-11 华为技术有限公司 基于h.264的视频传输保护方法
US7142506B1 (en) * 1999-02-02 2006-11-28 Vocaltec Communications Ltd. Method and apparatus for transmitting packets
WO2006137762A1 (en) * 2005-06-23 2006-12-28 Telefonaktiebolaget Lm Ericsson (Publ) Method for synchronizing the presentation of media streams in a mobile communication system and terminal for transmitting media streams

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020071052A1 (en) * 2000-12-07 2002-06-13 Tomoaki Itoh Transmission rate control method
JP3775346B2 (ja) * 2002-05-29 2006-05-17 株式会社日立製作所 テレビ電話システムおよびその端末装置
JP2004253883A (ja) 2003-02-18 2004-09-09 Nec Corp 音声・画像リアルタイム通信におけるビットレート制御を実行するデータ通信装置
US20040257434A1 (en) 2003-06-23 2004-12-23 Robert Davis Personal multimedia device video format conversion across multiple video formats
US20050024487A1 (en) * 2003-07-31 2005-02-03 William Chen Video codec system with real-time complexity adaptation and region-of-interest coding
KR100641159B1 (ko) * 2004-07-23 2006-11-02 엘지전자 주식회사 Ｒｔｃｐ패킷 기반의 적응적 멀티미디어 데이터 전송률추정방법
JP4831351B2 (ja) * 2007-02-01 2011-12-07 日本電気株式会社 映像音声帯域制御システム及び映像音声帯域制御方法
US8305914B2 (en) * 2007-04-30 2012-11-06 Hewlett-Packard Development Company, L.P. Method for signal adjustment through latency control

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7142506B1 (en) * 1999-02-02 2006-11-28 Vocaltec Communications Ltd. Method and apparatus for transmitting packets
US20040240390A1 (en) * 2003-05-30 2004-12-02 Vidiator Enterprises Inc. Method and apparatus for dynamic bandwidth adaptation
US20060176832A1 (en) * 2005-02-04 2006-08-10 Sean Miceli Adaptive bit-rate adjustment of multimedia communications channels using transport control protocol
CN1845611A (zh) * 2005-04-08 2006-10-11 华为技术有限公司 基于h.264的视频传输保护方法
WO2006137762A1 (en) * 2005-06-23 2006-12-28 Telefonaktiebolaget Lm Ericsson (Publ) Method for synchronizing the presentation of media streams in a mobile communication system and terminal for transmitting media streams

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ISUKAPALLI 等: "Efficient Real Time Content Delivery on Wireless Networks", 《IEEE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104335163A (zh) * 2012-06-05 2015-02-04 坦戈迈公司 控制cpu 利用率以平衡快速设备和慢速设备
CN108702370A (zh) * 2016-03-09 2018-10-23 高通股份有限公司 用于网络技术的多流交织

Also Published As

Publication number Publication date
US20100118114A1 (en) 2010-05-13
WO2010051618A1 (en) 2010-05-14
GB201108691D0 (en) 2011-07-06
CA2742447A1 (en) 2010-05-14
GB2477253A (en) 2011-07-27
CA2742447C (en) 2017-03-21
US8446452B2 (en) 2013-05-21
GB2477253B (en) 2014-07-02
CN102239690B (zh) 2016-01-13

Similar Documents

Publication Publication Date Title
CN102239690B (zh) 用于拥塞控制的稳定视频速率适配
CA2470128C (en) Data transmission
CN101909060B (zh) 一种适用于移动视频实时流媒体传输的Qos控制方法
RU2497304C2 (ru) Динамическая модификация свойств видео
CN100591124C (zh) 视频编码的码率控制方法及视频数据的发射设备
CN103944834B (zh) 一种音视频转发控制方法及系统
WO2012075951A1 (zh) 会场带宽的调整方法、装置、会议终端和媒体控制服务器
WO2014063833A1 (en) A method and apparatus for distributing media content services
JP2006333254A (ja) 動画像リアルタイム通信端末、動画像リアルタイム通信端末の制御方法及び動画像リアルタイム通信端末の制御プログラム
CN103051978A (zh) 一种基于h264的实时移动视频服务控制方法
CN104270649A (zh) 影像编码装置及影像编码方法
CN114339445B (zh) 实时视频流自适应协调系统及方法
Zhang et al. Network-adaptive rate control with TCP-friendly protocol for multiple video objects
Zhai et al. Joint source coding and packet classification for real-time video transmission over differentiated services networks
KR100502186B1 (ko) 고화질 인터넷 방송 서비스 시스템
CN105306970B (zh) 一种流媒体直播发送速度的控制方法及装置
Zhang et al. Resource allocation for audio and video streaming over the Internet
KR100931375B1 (ko) 개선된 파라미터 산출방법이 적용된 데이터 스트림 전송률 제어방법 및 데이터 스트리밍 서버
Futemma et al. TFRC-based rate control scheme for real-time JPEG 2000 video transmission
Yang et al. Video transmission control for networked vision system based on RTCP
Kassler et al. Classification and evaluation of filters for wavelet coded videostreams
Zhu et al. Research on adaptive transmission of H. 264 video stream and QoS guarantee based on SIP
Hong et al. Adaptive QoS control of multimedia transmission over band-limited networks
Dujfield et al. Feedback of rate and loss information for networked video
Servetto et al. Video multicast over fair queueing networks

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160113

Termination date: 20180918