CN102547214B - 一种多人视频通信中的视频编码方法以及终端 - Google Patents

一种多人视频通信中的视频编码方法以及终端 Download PDF

Info

Publication number
CN102547214B
CN102547214B CN201210040481XA CN201210040481A CN102547214B CN 102547214 B CN102547214 B CN 102547214B CN 201210040481X A CN201210040481X A CN 201210040481XA CN 201210040481 A CN201210040481 A CN 201210040481A CN 102547214 B CN102547214 B CN 102547214B
Authority
CN
China
Prior art keywords
video
date
obtains
focus
ordinary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210040481XA
Other languages
English (en)
Other versions
CN102547214A (zh
Inventor
谷沉沉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Tencent Cloud Computing Beijing Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201210040481XA priority Critical patent/CN102547214B/zh
Publication of CN102547214A publication Critical patent/CN102547214A/zh
Priority to SG11201404904VA priority patent/SG11201404904VA/en
Priority to RU2014138120/07A priority patent/RU2570355C1/ru
Priority to CA2865045A priority patent/CA2865045C/en
Priority to MYPI2014702349A priority patent/MY168126A/en
Priority to US14/378,091 priority patent/US9332267B2/en
Priority to EP13752176.1A priority patent/EP2819405B1/en
Priority to BR112014020225-7A priority patent/BR112014020225B1/pt
Priority to NZ630215A priority patent/NZ630215A/en
Priority to PCT/CN2013/070833 priority patent/WO2013123839A1/zh
Priority to AP2014007931A priority patent/AP2014007931A0/xx
Priority to KR1020147025280A priority patent/KR101629226B1/ko
Application granted granted Critical
Publication of CN102547214B publication Critical patent/CN102547214B/zh
Priority to PH12014501820A priority patent/PH12014501820B1/en
Priority to CL2014002194A priority patent/CL2014002194A1/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/155—Conference systems involving storage of or access to video conference sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种多人视频通信中的视频编码方法，当任一终端X参与到一多人视频通信中后，进行以下处理：A、分别统计出自身已启用的焦点视频编码器数和普通视频编码器数；B、根据自身的处理能力以及最新的统计结果，分别确定出焦点视频的编码参数以及普通视频的编码参数，并通知各已启用的焦点视频编码器和普通视频编码器分别按照最新确定出的编码参数进行视频编码；当已启用的焦点视频编码器数和普通视频编码器数中的至少一个发生变化时，重复执行步骤A和B。本发明同时公开了一种终端。应用本发明所述方案，能够提高整体视频通信质量。

Description

一种多人视频通信中的视频编码方法以及终端
技术领域
本发明涉及多人视频通信技术，特别涉及一种多人视频通信中的视频编码方法以及一种应用该视频编码方法的终端。
背景技术
随着互联网技术和无线通信技术的发展和普及，群体视频聊天、视频会议，以及网络视频游戏等多人视频通信形式使得人与人之间的沟通交流变得更加方便快捷，娱乐方式更加丰富直观，因此越来越受到人们的欢迎。多人视频通信是指3人或3人以上同时参与的即时视频通信。
由于多人视频通信中需要处理多路视频数据，为适应多路不同的网络状况，参与多人视频通信的终端中通常包括多个视频编码器。视频编码的计算复杂度通常较高，同时进行多路视频编码的计算复杂度会更高，因此，需要在终端的处理能力有限的情况下，合理地设置各视频编码器的编码参数，以便达到合理地控制计算复杂度的目的。
在实际应用中，通常会按照平均或者多数终端的处理能力为各终端上的各视频编码器设置统一的编码参数，如最高编码帧率等，各视频编码器按照所设置的最高编码帧率等进行视频编码，并将编码后数据进行发送。
但是，参与到多人视频通信中的终端可能是个人计算机(PC，PersonalComputer)等传统终端，也可能是移动电子设备，如手机或掌上电脑等新型终端，不同类型的终端在处理能力等方面存在着很大的差别，这样，如果针对各终端中的各视频编码器设置统一的编码参数，则会导致以下问题：对于处理能力较强的终端，会带来计算资源等的浪费，从而不能达到最好的视频通信质量，而对于处理能力较弱的终端，则会造成视频通信质量下降等。
另外通常，当参与多人视频通信的终端总数增加或减少时，各仍在参与通信的终端中所启用的视频编码器数也会相应的增加或减少，但各已启用的视频编码器仍只能按照所设置的最高编码帧率等进行视频编码，而无法灵活地进行调整，如当终端中所启用的视频编码器数减少时，增大各已启用的视频编码器的最高编码帧率等。
无论出现上述哪种情况，均会导致终端中的计算资源等不能被合理地利用，从而影响了整体视频通信质量。
发明内容
有鉴于此，本发明提供了一种多人视频通信中的视频编码方法以及一种终端，能够提高整体视频通信质量。
为达到上述目的，本发明的技术方案是这样实现的：
一种多人视频通信中的视频编码方法，当任一终端X参与到一多人视频通信中后，进行以下处理：
A、分别统计出自身已启用的焦点视频编码器数和普通视频编码器数；
B、根据自身的处理能力以及最新的统计结果，分别确定出焦点视频的编码参数以及普通视频的编码参数，并通知各已启用的焦点视频编码器和普通视频编码器分别按照最新确定出的编码参数进行视频编码；
当已启用的焦点视频编码器数和普通视频编码器数中的至少一个发生变化时，重复执行步骤A和B。
一种终端，包括：焦点视频编码器、普通视频编码器、自适应调节模块；
自适应调节模块，用于当终端参与到一多人视频通信中后，分别统计出终端中已启用的焦点视频编码器数和普通视频编码器数；
根据终端的处理能力以及最新的统计结果，分别确定出焦点视频的编码参数以及普通视频的编码参数，并通知各已启用的焦点视频编码器和普通视频编码器分别按照最新确定出的编码参数进行视频编码；
当已启用的焦点视频编码器数和普通视频编码器数中的至少一个发生变化时，重复执行自身功能。
可见，采用本发明所述方案，可针对参与到多人视频通信中的每个终端，分别根据其处理能力以及所启用的焦点视频编码器数和普通视频编码器数等有针对性地确定其焦点视频的编码参数以及普通视频的编码参数，从而使得终端中的计算资源等能够得到更为合理的利用，进而提高了整体视频通信质量；而且，当已启用的焦点视频编码器数和普通视频编码器数中的至少一个发生变化，如参与多人视频通信的终端总数增加或减少，或总数未发生变化，但发生了焦点视频到普通视频之间的切换，导致焦点视频编码器数和普通视频编码器数变化时，可重新确定焦点视频的编码参数和普通视频的编码参数，从而进一步提高了整体视频通信质量。
附图说明
图1为本发明多人视频通信中的视频编码方法实施例的流程图。
图2为本发明终端X确定焦点视频的最高编码帧率以及普通视频的最高编码帧率的过程示意图。
图3为本发明终端实施例的组成结构示意图。
具体实施方式
针对现有技术中存在的问题，本发明中提出一种改进后的多人视频通信中的视频编码方案。
为使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案作进一步地详细说明。
图1为本发明多人视频通信中的视频编码方法实施例的流程图。当任一终端X参与到一多人视频通信中后，按照图1所示流程进行处理。
步骤11：终端X分别统计出自身已启用的焦点视频编码器数和普通视频编码器数。
为便于表述，本实施例中，用终端X来代表任一终端，终端X可为PC、手机、掌上电脑等。
本发明中，根据关注度将视频区分为焦点视频和普通视频，焦点视频是指关注度较高的视频，即需要重点注意的视频，普通视频则是指关注度较低的视频，通常，焦点视频的分辨率较高，而普通视频的分辨率则较低。
当终端X加入到一多人视频通信中后，需要与参与到该多人视频通信中的其它每个远程终端之间分别建立视频连接；终端X的使用者(用户)可以根据自身需求，自由选择将各路远端视频作为焦点视频还是普通视频，并可在通信过程中进行切换，即将焦点视频切换为普通视频，或将普通视频切换为焦点视频，比如，对于某一路远端视频，之前不太关注，只将其作为普通视频，但由于某种原因需要对其进行关注，则可切换为焦点视频，可通过通信界面上显示的按钮等来实现切换；同样，参与到该多人视频通信中的其它每个远程终端的使用者也可自由选择将终端X产生的视频作为焦点视频还是普通视频，并可在通信过程中进行切换。
在一实施方式中，针对每个远程终端，终端X分别启用一个视频编码器，在某些情况下，也可以多个远程终端共用一个视频编码器。
这样，如果有n个远程用户将终端X产生的视频作为了焦点视频，那么终端X就需要启用nb(nb≤n)个焦点视频编码器，如果有m个远程用户将终端X产生的视频作为了普通视频，那么终端X就需要启用mc(mc≤m)个普通视频编码器。
本步骤中，终端X分别统计出自身已启用的焦点视频编码器数和普通视频编码器数。
步骤12：终端X根据自身的处理能力以及最新的统计结果，分别确定出焦点视频的编码参数以及普通视频的编码参数，并通知各已启用的焦点视频编码器和普通视频编码器分别按照最新确定出的编码参数进行视频编码。
由于焦点视频的关注度高于普通视频，因此针对焦点视频和普通视频，可采用不同的编码参数，所述编码参数主要是指最高编码帧率，当然，在实际应用中，也可能包括其它参数，具体包括哪些参数可根据实际需要而定。
即可适当提高焦点视频的最高编码帧率，从而将有限的计算资源等集中在关注度高的焦点视频上，使得焦点视频具有更高的质量，进而提高用户对视频质量的主观体验。
但是，焦点视频的分辨率高，提高焦点视频的最高编码帧率后，会导致终端的计算资源消耗等急剧上升，因此，在提高焦点视频的最高编码帧率的同时，还需要控制终端的计算资源消耗等处于终端的处理能力范围内。
基于上述介绍，图2为本发明终端X确定焦点视频的最高编码帧率以及普通视频的最高编码帧率的过程示意图。如图2所示，包括：
步骤21：根据自身的处理能力以及最新的统计结果，分别初始化焦点视频的最高编码帧率fb和普通视频的最高编码帧率fs。
fb＝fs＝F/(m+n·r)；    (1)
其中，m表示最新统计出的普通视频编码器数；
n表示最新统计出的焦点视频编码器数；
r表示分别对分辨率为wb×hb的焦点视频和分辨率为ws×hs的普通视频进行编码时计算资源消耗的比例因子，可以简单地按分辨率比例计算：
r＝wb×hb/(ws×hs)；    (2)
或者，也可以通过实验测试得到分别对分辨率为wb×hb的焦点视频和分辨率为ws×hs的普通视频进行编码时的编码速度比，将得到的编码速度比作为r，所述测试是指在终端X上进行的测试；
F表示终端X的处理能力，用编码一个分辨率为ws×hs的视频允许的最高编码帧率进行表示，可通过如下方式计算得到：
F＝fpsenc·wusage；    (3)
其中，fpsenc表示终端X的处理器满负荷编码一个分辨率为ws×hs的视频时的编码速度(用平均每秒钟编码的帧数表示)，可预先通过实验测试得到各不同主频的处理器分别对应的fpsenc，并以表格的形式进行存储，然后通过查表得到终端X的处理器的主频对应的fpsenc；wusage表示所期望的编码处理对终端X的处理器的占用率，具体取值可根据实际需要而定，可由用户输入设定，并可根据需要进行调整，如在终端X的电量充足时，设定wusage＝60％，而在终端X的电量有限或用户期望其省电运行时，设定wusage＝20％。
步骤22：增大fb和降低fs。
本步骤中，提高焦点视频的最高编码帧率，并降低普通视频的最高编码帧率，如，可以令fb＝fb+Δf，fs＝fs-Δf，Δf＞0。Δf的具体取值可根据实际需要而定，通常为1。
步骤23：确定最新得到的fb和fs是否满足预定条件，如果是，则重复执行步骤22，如果否，则执行步骤24。
如果最新得到的fb和fs，即经过步骤22处理后的fb和fs同时满足(a)和(b)两个条件，则重复执行步骤22，如果否，则执行步骤24。
条件(a)
焦点视频的主观平均意见(MOS，Mean Opinion Score)分值与普通视频的MOS分值之差的绝对值小于预定阈值ΔMOSTheshold；
ΔMOSTheshold的具体取值可根据实际需要而定，比如为0.5；
MOS分值是反映视频的主观质量的一种度量值，可以通过不同观测者对于视频质量评价得出的主观分值进行平均得到，一般采用满分为5分的打分方式；
可根据最新得到的fb确定出焦点视频的MOS分值，并根据最新得到的fs确定出普通视频的MOS分值；
本发明中，可按照以下公式来计算MOS分值：
MOSfps(f)＝5-α·[log(fmax)-log(f)]β；    (4)
或，MOSfps(f)＝5-ln(fmax/f)；              (5)
其中，α和β均为计算系数；
fmax表示视频通信中可能的最高编码帧率；
在实际应用中，可预先按照公式(4)或(5)分别计算出视频通信中可能用到的每个编码帧率对应的MOS分值，并以表格的形式进行存储，然后当需要时，通过查表分别得到最新得到的fb和fs对应的MOS分值；
通常，取α＝2，β＝1.4，fmax＝30，f＝1，2，3，...，30，那么，按照公式(4)计算出的表格中将存储有以下内容：(1，1.5469)、(2，2.4902)、(3，3)、(4，3.3409)、(5，3.5923)、(6，3.7886)、(7，3.9479)、(8，4.0805)、(9，4.1932)、(10，4.2902)、(11，4.3749)、(12，4.4495)、(13，4.5156)、(14，4.5746)、(15，4.6275)、(16，4.6752)、(17，4.7182)、(18，4.7571)、(19，4.7923)、(20，4.8242)、(21，4.8531)、(22，4.8792)、(23，4.9027)、(24，4.9238)、(25，4.9426)、(26，4.9591)、(27，4.9734)、(28，4.9853)、(29，4.9946)、(30，5)，其中，括号中的前一项表示编码帧率，即f，后一项表示对应的MOS分值；
假设最新得到的fb为10，那么经查表可知其对应的焦点视频的MOS分值为4.2902，假设最新得到的fs为8，那么经查表可知其对应的普通视频的MOS分值为4.0805；
或者，也可以不通过查表的方式，而是直接按照公式(4)或(5)分别计算出最新得到的fb和fs对应的MOS分值。
条件(b)
所有视频的计算资源消耗不超过终端X的处理能力F，即：
m·fs+n·fb·r≤F，1≤fb，fs≤fmax。    (6)
步骤24：根据最新得到的fb确定出焦点视频的最高编码帧率，根据最新得到的fs确定出普通视频的最高编码帧率，即：用最新得到的fb-Δf作为确定出的焦点视频的最高编码帧率，用最新得到的fs+Δf作为确定出的普通视频的最高编码帧率。
上述步骤21～24可举例说明如下：
假设初始化后的fb＝fs＝15；
之后，令fb＝16，fs＝14；
确定fb＝16和fs＝14是否满足预定条件，如果是，则令fb＝17，fs＝13，并确定fb＝17和fs＝13是否满足预定条件，如果否，则将16作为确定出的焦点视频的最高编码帧率，将14作为确定出的普通视频的最高编码帧率。
经过步骤21～24的处理后，在提高焦点视频的最高编码帧率，使得焦点视频具有更高的质量的同时，又保证了焦点视频和普通视频的主观质量差距在合理范围内，而且将计算资源消耗控制在了终端的处理能力范围之内。
步骤13：终端X确定出已启用的焦点视频编码器数和普通视频编码器数中的至少一个发生了变化，重复执行步骤11和12。
已启用的焦点视频编码器数和普通视频编码器数中的至少一个发生变化，可包括以下情况：参与多人视频通信的终端总数增加或减少(即有终端加入或退出)，或者总数未发生变化，但发生了焦点视频到普通视频之间的切换(如一个远程终端将终端X产生的视频由焦点视频切换为了普通视频)，或者为上述各种情况的任意组合等。
本发明中，能够根据焦点视频编码器数和普通视频编码器数的变化快速有效地作出调节响应。
当终端X关闭后，结束流程。
需要说明的是，以上涉及到的各个公式也可以有其它选择或变形，只要能够达到相应的目的即可。
至此，即完成了关于本发明方法实施例的介绍。
基于上述介绍，图3为本发明终端实施例的组成结构示意图。如图3所示，包括：焦点视频编码器(如图3所示EB1～EBn)、普通视频编码器(如图3所示Es1～Esm)、自适应调节模块31。
其中，自适应调节模块31，用于当终端参与到一多人视频通信中后，分别统计出终端中已启用的焦点视频编码器数和普通视频编码器数；
根据终端的处理能力以及最新的统计结果，分别确定出焦点视频的编码参数以及普通视频的编码参数，并通知各已启用的焦点视频编码器和普通视频编码器分别按照最新确定出的编码参数进行视频编码；
当已启用的焦点视频编码器数和普通视频编码器数中的至少一个发生变化时，重复执行自身功能。
所述编码参数包括：最高编码帧率。
自适应调节模块31中可具体包括(为简化附图，未图示)：
第一处理单元，用于分别统计终端中已启用的焦点视频编码器数和普通视频编码器数，并将统计结果发送给第二处理单元；
第二处理单元，用于根据终端的处理能力以及最新的统计结果，分别初始化焦点视频的最高编码帧率fb和普通视频的最高编码帧率fs，并发送给第三处理单元；
第三处理单元，用于增大fb和降低fs，并确定最新得到的fb和fs是否满足预定条件，如果是，则重复执行自身功能，如果否，则根据最新得到的fb确定出焦点视频的最高编码帧率，根据最新得到的fs确定出普通视频的最高编码帧率，并通知各已启用的焦点视频编码器和普通视频编码器分别按照最新确定出的最高编码帧率进行视频编码；
第四处理单元，用于当已启用的焦点视频编码器数和普通视频编码器数中的至少一个发生变化时，通知第一处理单元重复执行自身功能。
其中，第二处理单元中又可进一步包括：
第一处理子单元，用于计算fb＝fs＝F/(m+n·r)；
其中，m表示最新统计出的普通视频编码器数；
n表示最新统计出的焦点视频编码器数；
r表示分别对分辨率为wb×hb的焦点视频和分辨率为ws×hs的普通视频进行编码时计算资源消耗的比例因子，r＝wb×hb/(ws×hs)，或者，通过实验测试得到分别对分辨率为wb×hb的焦点视频和分辨率为ws×hs的普通视频进行编码时的编码速度比，将得到的编码速度比作为r；
F表示终端的处理能力，F＝fpsenc·wusage，其中，fpsenc表示终端的处理器满负荷编码一个分辨率为ws×hs的视频时的编码速度，wusage表示所期望的编码处理对终端的处理器的占用率；
第二处理子单元，用于将计算出的fb和fs发送给第三处理单元。
第三处理单元中又可进一步包括：
第三处理子单元，用于计算fb＝fb+Δf，fs＝fs-Δf，Δf＞0，并将计算结果发送给第四处理子单元；
第四处理子单元，用于根据最新得到的fb确定出焦点视频的主观平均意见MOS分值，根据最新得到的fs确定出普通视频的MOS分值；
如果焦点视频的MOS分值与普通视频的MOS分值之差的绝对值小于预定阈值ΔMOSTheshold，且m·fs+n·fb·r≤F，1≤fb，fs≤fmax，fmax表示视频通信中可能的最高编码帧率，则确定最新得到的fb和fs满足预定条件，通知第三处理子单元重复执行自身功能，否则，用最新得到的fb-Δf作为确定出的焦点视频的最高编码帧率，用最新得到的fs+Δf作为确定出的普通视频的最高编码帧率，并通知各已启用的焦点视频编码器和普通视频编码器分别按照最新确定出的最高编码帧率进行视频编码。
其中，第四处理子单元预先按照预定公式分别计算出视频通信中可能用到的每个编码帧率对应的MOS分值，并以表格的形式进行存储，通过查表分别得到最新得到的fb和fs对应的MOS分值；
或者，第四处理子单元直接按照预定公式分别计算出最新得到的fb和fs对应的MOS分值；
所述预定公式为：MOSfps(f)＝5-α·[1og(fmax)-log(f)]β，或，MOSfps(f)＝5-ln(fmax/f)；其中，α和β均为计算系数。
在实际应用中，除上面提到的外，图3所示终端中还会进一步包括一些其它组成部分，如捕获模块32、视频解码器(如图3所示D1～DN)和显示模块33。
捕获模块32中可进一步包括：焦点视频源捕获单元321和普通视频源捕获单元322；其中，焦点视频源捕获单元321将捕获到的视频数据发送给各已启用的焦点视频编码器，普通视频源捕获单元322将捕获到的视频数据发送给各已启用的普通视频编码器；焦点视频源捕获单元321和普通视频源捕获单元322捕获到的视频内容一样，但分辨率不同。
通常，针对每个远程终端，都需要启用一个视频解码器，但一个视频编码器编码生成的码流可以发送给一个或多个远程终端。假设图3所示终端(终端0)针对每个远程终端，即终端1～N分别启用了一个视频编码器和一个视频解码器，那么，终端0中共需要启用N个视频编码器和N个视频解码器。
显示模块33将各视频解码器解码得到的焦点视频和普通视频进行显示。
图3所示终端实施例的具体工作流程请参照前述方法实施例中的相应说明，此处不再赘述。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (11)

1.一种多人视频通信中的视频编码方法，其特征在于，当任一终端X参与到一多人视频通信中后，进行以下处理：
A、分别统计出自身已启用的焦点视频编码器数和普通视频编码器数；
B、根据自身的处理能力以及最新的统计结果，分别确定出焦点视频的编码参数以及普通视频的编码参数，并通知各已启用的焦点视频编码器和普通视频编码器分别按照最新确定出的编码参数进行视频编码；
当已启用的焦点视频编码器数和普通视频编码器数中的至少一个发生变化时，重复执行步骤A和B；
其中，所述编码参数包括：最高编码帧率；所述分别确定出焦点视频的编码参数以及普通视频的编码参数包括：
b1、根据自身的处理能力以及最新的统计结果，分别初始化焦点视频的最高编码帧率fb和普通视频的最高编码帧率fs：
b2、增大fb和降低fs，并确定最新得到的fb和fs是否满足预定条件，如果是，则重复执行步骤b2，如果否，则根据最新得到的fb确定出焦点视频的最高编码帧率，根据最新得到的fs确定出普通视频的最高编码帧率。
2.根据权利要求1所述的方法，其特征在于，
所述增大fb和降低fs包括：令fb＝fb+Δf，fs＝fs-Δf，Δf＞0；
所述根据最新得到的fb确定出焦点视频的最高编码帧率，根据最新得到的fs确定出普通视频的最高编码帧率包括：
用最新得到的fb-Δf作为确定出的焦点视频的最高编码帧率，用最新得到的fs+Δf作为确定出的普通视频的最高编码帧率。
3.根据权利要求1所述的方法，其特征在于，所述分别初始化焦点视频的最高编码帧率fb和普通视频的最高编码帧率fs包括：
计算fb＝fs＝F/(m+n·r)；
其中，m表示最新统计出的普通视频编码器数；
n表示最新统计出的焦点视频编码器数；
r表示分别对分辨率为wb×hb的焦点视频和分辨率为ws×hs的普通视频进行编码时计算资源消耗的比例因子，r＝wb×hb/(ws×hs)，或者，通过实验测试得到分别对分辨率为wb×hb的焦点视频和分辨率为ws×hs的普通视频进行编码时的编码速度比，将得到的编码速度比作为r；
F表示终端X的处理能力，F＝fpsenc·wusage，其中，fpsenc表示终端X的处理器满负荷编码一个分辨率为ws×hs的视频时的编码速度，wusage表示所期望的编码处理对终端X的处理器的占用率。
4.根据权利要求3所述的方法，其特征在于，该方法进一步包括：
预先通过实验测试得到各不同主频的处理器分别对应的fpsenc，并以表格的形式进行存储；通过查表得到终端X的处理器的主频对应的fpsenc。
5.根据权利要求3所述的方法，其特征在于，所述确定最新得到的fb和fs是否满足预定条件包括：
根据最新得到的fb确定出焦点视频的主观平均意见MOS分值，并根据最新得到的fs确定出普通视频的MOS分值；
如果焦点视频的MOS分值与普通视频的MOS分值之差的绝对值小于预定阈值ΔMOSTheshold，且m·fs+n·fb·r≤F，1≤fb,fs≤fmax，则确定最新得到的fb和fs满足预定条件，fmax表示视频通信中可能的最高编码帧率。
6.根据权利要求5所述的方法，其特征在于，所述根据最新得到的fb确定出焦点视频的MOS分值，并根据最新得到的fs确定出普通视频的MOS分值包括：
预先按照预定公式分别计算出视频通信中可能用到的每个编码帧率对应的MOS分值，并以表格的形式进行存储；通过查表分别得到最新得到的fb和fs对应的MOS分值；
或者，直接按照预定公式分别计算出最新得到的fb和fs对应的MOS分值。
7.根据权利要求6所述的方法，其特征在于，所述预定公式为以下之一：
MOSfps(f)＝5-α·[log(fmax)-log(f)]β，MOSfps(f)＝5-ln(fmax/f)；
其中，α和β均为计算系数。
8.一种应用于多人视频通信领域的终端，其特征在于，包括：焦点视频编码器、普通视频编码器、自适应调节模块；
自适应调节模块，用于当终端参与到一多人视频通信中后，分别统计出终端中已启用的焦点视频编码器数和普通视频编码器数；
根据终端的处理能力以及最新的统计结果，分别确定出焦点视频的编码参数以及普通视频的编码参数，并通知各已启用的焦点视频编码器和普通视频编码器分别按照最新确定出的编码参数进行视频编码；
当已启用的焦点视频编码器数和普通视频编码器数中的至少一个发生变化时，重复执行自身功能；
其中，所述编码参数包括：最高编码帧率；所述自适应调节模块中包括：
第一处理单元，用于分别统计终端中已启用的焦点视频编码器数和普通视频编码器数，并将统计结果发送给第二处理单元；
第二处理单元，用于根据终端的处理能力以及最新的统计结果，分别初始化焦点视频的最高编码帧率fb和普通视频的最高编码帧率fs，并发送给第三处理单元；
第三处理单元，用于增大fb和降低fs，并确定最新得到的fb和fs是否满足预定条件，如果是，则重复执行自身功能，如果否，则根据最新得到的fb确定出焦点视频的最高编码帧率，根据最新得到的fs确定出普通视频的最高编码帧率，并通知各已启用的焦点视频编码器和普通视频编码器分别按照最新确定出的最高编码帧率进行视频编码；
第四处理单元，用于当已启用的焦点视频编码器数和普通视频编码器数中的至少一个发生变化时，通知第一处理单元重复执行自身功能。
9.根据权利要求8所述的终端，其特征在于，所述第二处理单元中包括：
第一处理子单元，用于计算fb＝fs＝F/(m+n·r)；
其中，m表示最新统计出的普通视频编码器数；
n表示最新统计出的焦点视频编码器数；
r表示分别对分辨率为wb×hb的焦点视频和分辨率为ws×hs的普通视频进行编码时计算资源消耗的比例因子，r＝wb×hb/(ws×hs)，或者，通过实验测试得到分别对分辨率为wb×hb的焦点视频和分辨率为ws×hs的普通视频进行编码时的编码速度比，将得到的编码速度比作为r；
F表示终端的处理能力，F＝fpsenc·wusage，其中，fpsenc表示终端的处理器满负荷编码一个分辨率为ws×hs的视频时的编码速度，wusage表示所期望的编码处理对终端的处理器的占用率；
第二处理子单元，用于将计算出的fb和fs发送给第三处理单元。
10.根据权利要求9所述的终端，其特征在于，所述第三处理单元中包括：
第三处理子单元，用于计算fb＝fb+Δf，fs＝fs-Δf，Δf＞0，并将计算结果发送给第四处理子单元；
第四处理子单元，用于根据最新得到的fb确定出焦点视频的主观平均意见MOS分值，根据最新得到的fs确定出普通视频的MOS分值；
如果焦点视频的MOS分值与普通视频的MOS分值之差的绝对值小于预定阈值ΔMOSTheshold，且m·fs+n·fb·r≤F，1≤fb,fs≤fmax，fmax表示视频通信中可能的最高编码帧率，则确定最新得到的fb和fs满足预定条件，通知第三处理子单元重复执行自身功能，否则，用最新得到的fb-Δf作为确定出的焦点视频的最高编码帧率，用最新得到的fs+Δf作为确定出的普通视频的最高编码帧率，并通知各已启用的焦点视频编码器和普通视频编码器分别按照最新确定出的最高编码帧率进行视频编码。
11.根据权利要求10所述的终端，其特征在于，
第四处理子单元预先按照预定公式分别计算出视频通信中可能用到的每个编码帧率对应的MOS分值，并以表格的形式进行存储，通过查表分别得到最新得到的fb和fs对应的MOS分值；
或者，第四处理子单元直接按照预定公式分别计算出最新得到的fb和fs对应的MOS分值；
所述预定公式为：MOSfps(f)＝5-α·[log(fmax)-log(f)β，或，MOSfps(f)＝5-ln(fmax/f)；其中，α和β均为计算系数。
CN201210040481XA 2012-02-22 2012-02-22 一种多人视频通信中的视频编码方法以及终端 Active CN102547214B (zh)

Priority Applications (14)

Application Number Priority Date Filing Date Title
CN201210040481XA CN102547214B (zh) 2012-02-22 2012-02-22 一种多人视频通信中的视频编码方法以及终端
NZ630215A NZ630215A (en) 2012-02-22 2013-01-22 Video coding method in multi-person video communications and terminal
AP2014007931A AP2014007931A0 (en) 2012-02-22 2013-01-22 Video coding method in multiperson video communications and terminal
CA2865045A CA2865045C (en) 2012-02-22 2013-01-22 Method and terminal for video encoding in multi-party video communication
MYPI2014702349A MY168126A (en) 2012-02-22 2013-01-22 Video coding method in multi-person video communications and terminal
US14/378,091 US9332267B2 (en) 2012-02-22 2013-01-22 Method and terminal for video encoding in multi-party video communication
EP13752176.1A EP2819405B1 (en) 2012-02-22 2013-01-22 Video coding method in multi-person video communications and terminal
BR112014020225-7A BR112014020225B1 (pt) 2012-02-22 2013-01-22 Método de codificação de vídeo em comunicações de vídeo com múltiplas pessoas e terminal
SG11201404904VA SG11201404904VA (en) 2012-02-22 2013-01-22 Video coding method in multi-person video communications and terminal
PCT/CN2013/070833 WO2013123839A1 (zh) 2012-02-22 2013-01-22 一种多人视频通信中的视频编码方法以及终端
RU2014138120/07A RU2570355C1 (ru) 2012-02-22 2013-01-22 Способ и терминал для кодирования видеоданных при обмене видеоданными между множеством участников
KR1020147025280A KR101629226B1 (ko) 2012-02-22 2013-01-22 다자간 비디오 통신에서의 비디오 코딩 방법 및 단말기
PH12014501820A PH12014501820B1 (en) 2012-02-22 2014-08-12 Method and terminal for video encoding in multi-party video communication
CL2014002194A CL2014002194A1 (es) 2012-02-22 2014-08-18 Método para codificar el video de una comunicación de video multipartita, comprende integrar una terminal x a una comunicación de video multipartita, determinar un número de codificadores de video en uso, según la capacidad de proceso de la terminal y resultado determinado, determinar un parámetro de codificación para un video importante y para un video común.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210040481XA CN102547214B (zh) 2012-02-22 2012-02-22 一种多人视频通信中的视频编码方法以及终端

Publications (2)

Publication Number Publication Date
CN102547214A CN102547214A (zh) 2012-07-04
CN102547214B true CN102547214B (zh) 2013-05-29

Family

ID=46353028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210040481XA Active CN102547214B (zh) 2012-02-22 2012-02-22 一种多人视频通信中的视频编码方法以及终端

Country Status (14)

Country Link
US (1) US9332267B2 (zh)
EP (1) EP2819405B1 (zh)
KR (1) KR101629226B1 (zh)
CN (1) CN102547214B (zh)
AP (1) AP2014007931A0 (zh)
BR (1) BR112014020225B1 (zh)
CA (1) CA2865045C (zh)
CL (1) CL2014002194A1 (zh)
MY (1) MY168126A (zh)
NZ (1) NZ630215A (zh)
PH (1) PH12014501820B1 (zh)
RU (1) RU2570355C1 (zh)
SG (1) SG11201404904VA (zh)
WO (1) WO2013123839A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109862388A (zh) * 2019-04-02 2019-06-07 网宿科技股份有限公司 直播视频集锦的生成方法、装置、服务器及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015111289A1 (ja) * 2014-01-23 2015-07-30 ソニー株式会社 復号装置、復号方法、符号化装置及び符号化方法
CN104254018B (zh) * 2014-03-19 2018-04-03 深圳深讯和科技有限公司 多媒体播放中的视频帧处理方法和装置
CN105657321A (zh) * 2015-11-09 2016-06-08 乐视致新电子科技（天津）有限公司 视频清晰度自适应调节方法、装置及终端
CN108076301A (zh) * 2016-11-11 2018-05-25 联芯科技有限公司 VoLTE视频多方电话的视频处理方法和系统
KR20190033849A (ko) * 2017-09-22 2019-04-01 삼성에스디에스 주식회사 다자간 회의 제공 장치 및 상기 장치에서의 인코더 할당 방법
US11025964B2 (en) 2019-04-02 2021-06-01 Wangsu Science & Technology Co., Ltd. Method, apparatus, server, and storage medium for generating live broadcast video of highlight collection
US11470300B2 (en) 2020-05-08 2022-10-11 Tencent America LLC Event-based trigger interval for signaling of RTCP viewport for immersive teleconferencing and telepresence for remote terminals
CN112511788B (zh) * 2020-11-27 2022-04-01 厦门亿联网络技术股份有限公司 一种视频会议的视频传输控制方法及视频传输系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1788494A (zh) * 2003-02-21 2006-06-14 红河资源公司 用于大量视频序列传输的系统和方法
US20090033739A1 (en) * 2007-07-31 2009-02-05 Cisco Technology, Inc. Dynamic management of picture quality in a video conference with diversified constraints
CN101365125A (zh) * 2008-09-27 2009-02-11 腾讯科技（深圳）有限公司 多路视频通信方法与系统
CN101742223A (zh) * 2010-01-19 2010-06-16 上海华平信息技术股份有限公司 视频流带宽智能调节方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002305733A (ja) * 2001-04-06 2002-10-18 Matsushita Electric Ind Co Ltd マルチキャスト会議装置、及びマルチキャスト会議プログラム
WO2006126974A1 (en) 2005-04-11 2006-11-30 Tubitak Bilten Optimal video adaptation for resource constrained mobile devices based on subjective utility models
RU2378790C1 (ru) * 2005-09-27 2010-01-10 Квэлкомм Инкорпорейтед Методики масштабируемости на основе информации содержимого
US7456760B2 (en) * 2006-09-11 2008-11-25 Apple Inc. Complexity-aware encoding
TWI343216B (en) * 2007-06-12 2011-06-01 Quanta Comp Inc High-definition video conference system and method
CN101588252B (zh) 2008-05-23 2011-07-20 华为技术有限公司 一种多点会议的控制方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1788494A (zh) * 2003-02-21 2006-06-14 红河资源公司 用于大量视频序列传输的系统和方法
US20090033739A1 (en) * 2007-07-31 2009-02-05 Cisco Technology, Inc. Dynamic management of picture quality in a video conference with diversified constraints
CN101365125A (zh) * 2008-09-27 2009-02-11 腾讯科技（深圳）有限公司 多路视频通信方法与系统
CN101742223A (zh) * 2010-01-19 2010-06-16 上海华平信息技术股份有限公司 视频流带宽智能调节方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109862388A (zh) * 2019-04-02 2019-06-07 网宿科技股份有限公司 直播视频集锦的生成方法、装置、服务器及存储介质

Also Published As

Publication number Publication date
EP2819405B1 (en) 2021-08-11
KR101629226B1 (ko) 2016-06-10
MY168126A (en) 2018-10-11
BR112014020225A2 (zh) 2017-06-20
RU2570355C1 (ru) 2015-12-10
EP2819405A1 (en) 2014-12-31
CA2865045A1 (en) 2013-08-29
CN102547214A (zh) 2012-07-04
WO2013123839A1 (zh) 2013-08-29
PH12014501820A1 (en) 2014-11-24
PH12014501820B1 (en) 2014-11-24
EP2819405A4 (en) 2015-03-04
US9332267B2 (en) 2016-05-03
CA2865045C (en) 2016-10-18
US20150215627A1 (en) 2015-07-30
AP2014007931A0 (en) 2014-09-30
BR112014020225A8 (pt) 2017-07-11
NZ630215A (en) 2015-05-29
KR20140128420A (ko) 2014-11-05
CL2014002194A1 (es) 2015-02-27
BR112014020225B1 (pt) 2019-09-17
SG11201404904VA (en) 2014-10-30

Similar Documents

Publication Publication Date Title
CN102547214B (zh) 一种多人视频通信中的视频编码方法以及终端
JP7229261B2 (ja) ビデオ符号化のビットレート制御方法、装置、機器、記憶媒体及びプログラム
CN108011686B (zh) 信息编码帧丢失恢复方法和装置
US11089305B2 (en) Video frame coding method during scene change, terminal and storage medium
CN102291561B (zh) 在视频会议中减少对周期性关键帧的使用
CN103248947A (zh) 一种视频多屏共享方法及实现该方法的系统
WO2010037310A1 (zh) 多路视频通信方法与系统
CN111757107A (zh) 一种视频编码方法、装置、设备及介质
CN101742294A (zh) 一种提高监控视频压缩率的方法和设备
CN102148747A (zh) 媒体流的发送方法及装置
WO2013032662A1 (en) Techniques for dynamic switching between coded bitstreams
CN112073723B (zh) 视频信息处理方法、装置、电子设备及存储介质
CN105554517B (zh) 一种视频流发送方法及装置
WO2015071865A1 (en) Method and system to control bit rate in video encoding
CN111617466A (zh) 编码格式的确定方法、装置及云游戏的实现方法
CN107493478B (zh) 编码帧率设置方法及设备
CN104780512A (zh) 一种即时应用消息处理方法及调制解调器
US20140185785A1 (en) Collaborative volume management
CN108347579B (zh) 带宽控制方法和装置
WO2018192518A1 (zh) 数据处理方法、装置及存储介质
CN106254873B (zh) 一种视频编码方法及视频编码装置
CN104618165B (zh) 一种网络评估方法及装置
CN103023746A (zh) 一种基于im系统的画板实现方法和一种im系统
CN105872538A (zh) 时域滤波方法和时域滤波装置
JP2020120188A (ja) メディア符号化方法および装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200821

Address after: 518057 Nanshan District science and technology zone, Guangdong, Zhejiang Province, science and technology in the Tencent Building on the 1st floor of the 35 layer

Co-patentee after: TENCENT CLOUD COMPUTING (BEIJING) Co.,Ltd.

Patentee after: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.

Address before: Shenzhen Futian District City, Guangdong province 518044 Zhenxing Road, SEG Science Park 2 East Room 403

Patentee before: TENCENT TECHNOLOGY (SHENZHEN) Co.,Ltd.