CN115633149A - 会议数据传输方法、装置、电子设备及存储介质 - Google Patents
会议数据传输方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN115633149A CN115633149A CN202211123667.1A CN202211123667A CN115633149A CN 115633149 A CN115633149 A CN 115633149A CN 202211123667 A CN202211123667 A CN 202211123667A CN 115633149 A CN115633149 A CN 115633149A
- Authority
- CN
- China
- Prior art keywords
- conference
- conference data
- coding
- data packet
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 230000005540 biological transmission Effects 0.000 title claims abstract description 42
- 230000002159 abnormal effect Effects 0.000 claims abstract description 108
- 230000015556 catabolic process Effects 0.000 claims description 38
- 238000006731 degradation reaction Methods 0.000 claims description 38
- 230000003044 adaptive effect Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 238000004806 packaging method and process Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 10
- 230000006855 networking Effects 0.000 description 10
- 230000005856 abnormality Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/155—Conference systems involving storage of or access to video conference sessions
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Telephonic Communication Services (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例提供了一种会议数据传输方法、装置、电子设备及存储介质。本发明实施例中,会议发言端可以根据参会终端(接收端)的异常反馈信息,知晓参会终端的网络状况,从而在会议过程中对当前自身的编码参数进行实时的自适应调整,以适应参会终端的实时网络状况,从而在复杂的网络环境下,对会议数据进行实时的自适应调整,避免丢包和延迟,保证会议数据的实时顺利传输。
Description
技术领域
本发明涉及网络通信技术领域,特别是涉及一种会议数据传输方法、装置、电子设备及存储介质。
背景技术
随着科技发展,处于各地的不同使用者越老越多地选择通过视频会议来交换信息。
在视频会议过程中,通常采用固定的编码参数进行会议数据的编码和传输,在接收端的网络环境差的情况下,会造成会议视频卡顿、花屏现象,影响视频会议的正常进行。
因此,目前亟需一种新的会议传输方法。
发明内容
鉴于上述问题,提出了本发明实施例提供一种会议数据传输方法、装置、电子设备及存储介质,以便克服上述问题或者至少部分地解决上述问题的。
本发明实施例的第一方面,提供了一种会议数据传输方法,应用于会议发言端,所述方法包括:
按照当前编码参数,对实时采集到的会议数据进行编码,将得到的会议数据包发送给参会终端;
解析接收到的所述参会终端反馈的信息流,得到异常反馈信息,根据调整策略对所述当前编码参数进行自适应调整,所述自适应调整用于调整所述会议发言端后续编码得到的会议数据包的数据量;
按照调整后的编码参数对实时采集到的会议数据进行编码,将自适应调整后得到的会议数据包发送给所述参会终端。
可选地,根据调整策略对所述当前编码参数进行自适应调整,包括:
在所述异常反馈信息为丢包率异常信息和/或延迟时间异常信息的情况下,对所述当前编码参数进行降级调整,所述降级调整用于降低所述会议发言端后续编码得到的会议数据包的数据量。
可选地,所述方法还包括:
检测当前编码参数是否是最低层级的编码参数;
在所述当前编码参数是最低层级的编码参数的情况下,继续按照所述当前编码参数,对实时采集到的会议数据进行编码,将得到的会议数据包发送给参会终端;
在接收到所述参会终端反馈的丢包率异常信息和/或延迟时间异常信息的情况下,对所述当前编码参数进行降级调整,包括:
在接收到所述参会终端反馈的丢包率异常信息和/或延迟时间异常信息的情况下,在所述当前编码参数不是最低层级的编码参数时,将所述当前编码参数调整为低一层级的编码参数。
可选地,在按照降级调整后的编码参数对实时采集到的音视频进行编码,将得到的会议数据包发送给所述参会终端之后,所述方法还包括:
在指定周期内持续接收到所述参会终端反馈的丢包率异常信息和/或延迟时间异常信息的情况下,对所述降级调整后的编码参数进行降级调整。
可选地,所述方法还包括:
在未接收到所述参会终端反馈的丢包率异常信息和/或延迟时间异常信息的情况下,继续按照所述当前编码参数,对实时采集到的会议数据进行编码,将得到的会议数据包数据发送给参会终端。
可选地,对实时采集到的会议数据进行编码,包括:
将对实时采集到的会议数据进行编码所采用的编码参数,同所述实时采集到的会议数据均编码到会议数据包中。
本发明实施例的第二方面,提供了一种会议数据传输方法,应用于参会终端,所述方法包括:
接收来自会议发言端的会议数据包,所述会议数据包是所述会议发言端按照当前编码参数编码得到的;
生成异常反馈信息,封装所述异常反馈信息得到信息流;
将所述信息流发送给所述会议发言端,以使所述会议发言端根据调整策略对所述当前编码参数进行自适应调整,所述自适应调整用于调整所述会议发言端后续编码得到的会议数据包的数据量。
可选地,生成异常反馈信息,封装所述异常反馈信息得到信息流,包括:
统计当前时间段内接收到的会议数据包的丢包率和/或平均延迟时间;
在所述丢包率大于第一预设阈值的情况下,生成丢包率异常信息;
在所述平均延迟时间大于第二预设阈值的情况下,生成延迟时间异常信息;
对所述丢包率异常信息和/或延迟时间异常信息进行封装,得到所述信息流。
可选地,所述方法还包括:
对当前时间段内接收到的会议数据包进行解析,得到所述当前编码参数;
根据所述当前编码参数,设置所述参会终端内的解码器的当前解码参数;
根据所述当前解码参数,对所述当前时间段内接收到的会议数据包进行解码。
可选地,在根据所述当前编码参数,设置所述参会终端内的解码器的当前解码参数之后,所述方法还包括:
对下一时间段内接收到的会议数据包进行解析,得到所述下一时间段对应的编码参数;
根据所述下一时间段对应的编码参数,确定所述下一时间段对应的解码参数;
在所述下一时间段对应的解码参数不同于已设置于所述解码器内的解码参数的情况下,按照所述下一时间段对应的解码参数重置所述解码器,并重启所述解码器,以对所述下一时间段内接收到的会议数据包进行解码。
本发明实施例的第三方面,提供一种会议数据传输装置,应用于会议发言端,所述装置包括:
第一编码模块,用于按照当前编码参数,对实时采集到的会议数据进行编码,将得到的会议数据包发送给参会终端;
调整模块,用于解析接收到的所述参会终端反馈的信息流,得到异常反馈信息,根据调整策略对所述当前编码参数进行自适应调整,所述自适应调整用于调整所述会议发言端后续编码得到的会议数据包的数据量;
第二编码模块,用于按照调整后的编码参数对实时采集到的会议数据进行编码,将自适应调整后得到的会议数据包发送给所述参会终端。
可选地,所述调整模块,具体用于:
在所述异常反馈信息为丢包率异常信息和/或延迟时间异常信息的情况下,对所述当前编码参数进行降级调整,所述降级调整用于降低所述会议发言端后续编码得到的会议数据包的数据量。
可选地,所述装置还包括:
检测模块,用于检测当前编码参数是否是最低层级的编码参数;
第三编码模块,用于在所述当前编码参数是最低层级的编码参数的情况下,继续按照所述当前编码参数,对实时采集到的会议数据进行编码,将得到的会议数据包发送给参会终端;
所述降级模块,具体用于:
在接收到所述参会终端反馈的丢包率异常信息和/或延迟时间异常信息的情况下,在所述当前编码参数不是最低层级的编码参数时,将所述当前编码参数调整为低一层级的编码参数。
可选地,所述装置还包括:
第二降级模块,用于在指定周期内持续接收到所述参会终端反馈的丢包率异常信息和/或延迟时间异常信息的情况下,对所述降级调整后的编码参数进行降级调整。
可选地,所述装置还包括:
第四编码模块,用于在未接收到所述参会终端反馈的丢包率异常信息和/或延迟时间异常信息的情况下,继续按照所述当前编码参数,对实时采集到的会议数据进行编码,将得到的会议数据包数据发送给参会终端。
可选的,所述第一编码模块,具体用于:
将对实时采集到的会议数据进行编码所采用的编码参数,同所述实时采集到的会议数据均编码到会议数据包中。
本发明实施例的第四方面,还提供了一种会议数据传输装置,应用于参会终端,所述装置包括:
接收模块,用于接收来自会议发言端的会议数据包,所述会议数据包是所述会议发言端按照当前编码参数编码得到的;
生成模块,用于生成异常反馈信息,封装所述异常反馈信息得到信息流;
发送模块,用于将所述信息流发送给所述会议发言端,以使所述会议发言端根据调整策略对所述当前编码参数进行自适应调整,所述自适应调整用于调整所述会议发言端后续编码得到的会议数据包的数据量。
可选地,所述生成模块,具体用于:
统计当前时间段内接收到的会议数据包的丢包率和/或平均延迟时间;
在所述丢包率大于第一预设阈值的情况下,生成丢包率异常信息;
在所述平均延迟时间大于第二预设阈值的情况下,生成延迟时间异常信息;
对所述丢包率异常信息和/或延迟时间异常信息进行封装,得到所述信息流。
可选地,所述装置还包括:
第一解析模块,用于对当前时间段内接收到的会议数据包进行解析,得到所述当前编码参数;
设置模块,用于根据所述当前编码参数,设置所述参会终端内的解码器的当前解码参数;
解码模块,用于根据所述当前解码参数,对所述当前时间段内接收到的会议数据包进行解码。
可选地,所述装置还包括:
第二解析模块,用于对下一时间段内接收到的会议数据包进行解析,得到所述下一时间段对应的编码参数;
确定模块,用于根据所述下一时间段对应的编码参数,确定所述下一时间段对应的解码参数;
重置模块,用于在所述下一时间段对应的解码参数不同于已设置于所述解码器内的解码参数的情况下,按照所述下一时间段对应的解码参数重置所述解码器,并重启所述解码器,以对所述下一时间段内接收到的会议数据包进行解码。
本发明实施例的第五方面,提供一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器被配置为:执行如上述第一方面所述的任一种会议数据传输方法,或者,执行如上述第二方面所述的任一种会议数据传输方法。
本发明实施例的第六方面,提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的任一种会议数据传输方法,或者,执行如上述第二方面所述的任一种会议数据传输方法。
本发明实施例中,会议发言端可以根据参会终端(接收端)的异常反馈信息,知晓参会终端的网络状况,从而在会议过程中对当前的编码参数进行实时的自适应调整,以适应参会终端的实时网络状况,从而在复杂的网络环境下,对会议数据进行自适应调整,避免丢包和延迟,保证会议数据的实时顺利传输。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中的一种会议数据传输方法的步骤流程图;
图2是本发明实施例中的另一种会议数据传输方法的步骤流程图;
图3是本发明实施例中的另一种会议数据传输方法的步骤流程图;
图4是本发明实施例中的另一种会议数据传输方法的步骤流程图;
图5是本发明实施例的一种会议数据传输装置的结构示意图;
图6是本发明实施例的另一种会议数据传输装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1所示,图1示出了本发明实施例中的一种会议数据传输方法的步骤流程图,所述方法应用于会议发言端,所述方法包括以下步骤:
S101,按照当前编码参数,对实时采集到的会议数据进行编码,将得到的会议数据包发送给参会终端。
本发明实施例中,在视频会议过程中,会议发言端可以对发言人的音视频进行采集,得到会议数据,并在本端对会议数据进行编码,得到会议数据包。
本发明实施例中,在视频会议过程中,通常存在多个参会终端,其中,根据会议控制终端的设置,每个参会终端都有可能作为会议发言端,当控制终端确定某个参会终端为会议发言端时,该会议发言短将编码得到的会议数据包发送给所有的参会终端。其中,会议控制终端可以是参会终端中的其中一个(例如:会议发起端),用于对视频会议相关设置进行控制,例如:参会人员权限控制、会议音视频质量控制等。
本发明实施例中,编码参数包括:码流、帧率、分辨率中的一者或多者。其中,码率是指视频文件在单位时间内使用的数据流量;码率是指1秒钟传输的帧数。分辨率是指视频成像产品所成图像的大小或尺寸。
S102,解析接收到的所述参会终端反馈的信息流,得到异常反馈信息,根据调整策略对所述当前编码参数进行自适应调整。
本发明实施例中,所述自适应调整用于调整所述会议发言端后续编码得到的会议数据包的数据量。
本发明实施例中,每个参会终端均可以向会议发言端反馈信息流,以向参会终端反馈会议数据包的接收情况。而会议发言端可以根据接收到所述参会终端反馈的信息流和提前预设的调整策略对当前编码参数进行自适应调整,以调整会议数据包的数据量。
其中,调整策略可以由技术人员提前预设。具体的,可以在会议开始之前,通过会议控制终端进行设置。示例的,可以设置只要有参会终端反馈信息,会议发言端就对当前编码参数进行调整,也可以设置在预设数量个参会终端反馈信息之后,会议发言端对当前编码参数进行调整。也可以根据参会终端的权限等级,设置权限等级高于预设等级的参会终端反馈信息之后,会议发言端对当前编码参数进行调整。
本发明实施例中,根据调整策略对所述当前编码参数进行自适应调整具体可以包括:对当前编码参数进行降级调整或者升级调整。
具体地,参会终端在本地网络状况较差的情况下,可能存在会议数据包丢失的情况,因此,可以向会议发言端反馈丢包,在会议发言端收到较多参会终端反馈丢包的情况下,会议发言端可以对当前编码参数进行降级,以降低编码得到的会议数据包的数据量,以适应参会终端的网络状况。参会终端在本地网络状况较好的情况下,不存在会议数据包丢失情况,因此,无需向会议发言端反馈丢包,在没有会议发言端反馈丢包的情况下,会议发言端可以对当前编码参数进行升级,以提高编码得到的会议数据包的数据量,以提高会议数据包解析得到的音视频的质量。
本发明实施例中,参会终端反馈的异常反馈信息可以包括:丢包率异常信息和/或延迟时间异常信息。
其中,丢包率异常信息和/或延迟时间异常信息反映接收端在接收会议数据包时存在较为严重的丢包和/或延时情况。
具体地,本发明实施例中,根据调整策略对所述当前编码参数进行自适应调整,可以包括:
在所述异常反馈信息为丢包率异常信息和/或延迟时间异常信息的情况下,对所述当前编码参数进行降级调整,所述降级调整用于降低所述会议发言端后续编码得到的会议数据包的数据量。
S103,按照调整后的编码参数对实时采集到的会议数据进行编码,将自适应调整后得到的会议数据包发送给所述参会终端。
本发明实施例中,会议发言端在进行编码参数的自适应调整后,继续按照调整后的编码参数对实时采集到的会议数据进行编码,并发送自适应调整后的会议数据包。
参照图2所示,图2示出了本发明实施例中的一种会议数据传输方法的步骤流程图,所述方法应用于会议发言端,所述方法包括以下步骤:
S201,按照当前编码参数,对实时采集到的会议数据进行编码,将得到的会议数据包发送给参会终端。
S202,检测当前编码参数是否是最低层级的编码参数。
本发明实施例中,还可以提前设置多种不同层级的编码参数,会议发言端在进行编码参数的调整时,可以按照层级逐级进行调整。
例如:在视联网会议场景下,可以设置为4k(4096×2160 30帧)、2k(2560×144030帧),HD(1920×1080 30帧)、D1(720×480 25帧)、CIF(352×288 25帧)五种编码参数,并且设置这五种编码参数的调整顺序为:4K→2K→HD→D1→CIF。
S203,在接收到所述参会终端反馈的丢包率异常信息和/或延迟时间异常信息的情况下,在所述当前编码参数不是最低层级的编码参数时,将所述当前编码参数调整为低一层级的编码参数。
本发明实施例中,会议发言端在按照固定层级对编码参数进行调整的情况下,需要先检测当前编码参数的层级,在当前编码参数不是最低层级的情况下,方能执行编码参数的降级调整。相应的,在当前编码参数不是最高层级的情况下,方能执行编码参数的升级调整。
在发明一种可选地实施方式中,在所述当前编码参数是最低层级的编码参数的情况下,继续按照所述当前编码参数,对实时采集到的会议数据进行编码,将得到的会议数据包发送给参会终端。
本发明实施例中,在会议发言短按照层级逐级对当前编码参数进行调整的情况下,若当前编码参数为最低层级的编码参数,则即使接收到丢包率异常信息和/或延迟时间异常信息,也不对当前编码参数进行调整,持续按照当前编码参数对实时采集到的会议数据进行编码,并发送编码得到的会议数据包。
在发明一种可选地实施方式中,在未接收到所述参会终端反馈的丢包率异常信息和/或延迟时间异常信息的情况下,继续按照所述当前编码参数,对实时采集到的会议数据进行编码,将得到的会议数据包数据发送给参会终端。
本发明实施例中,在会议进行过程中,会议发言端可以在对编码参数进行降级调整后,经得到的数据量降低的实时会议数据包发送给所有参会终端,如果没有参会终端再反馈出丢包率异常信息和/或延迟时间异常信息,则表明当前调整后的编码参数可以适应所有参会终端的网络状况,则可以持续按照当前编码参数进行会议数据的编码,以及会议数据包的发送。
在实际应用中,当在预设时间段内没有接收到参会终端反馈的异常反馈信息,则表明参会终端的网络状况已经稳定,在当前编码参数不是最低层级的编码参数的情况下,会议发言端还可以将当前编码参数的层级调高。
在发明一种可选地实施方式中,所述方法还包括:
S204,在指定周期内持续接收到所述参会终端反馈的丢包率异常信息和/或延迟时间异常信息的情况下接收到所述参会终端反馈的丢包率异常信息和/或延迟时间异常信息的情况下,对所述降级调整后的编码参数进行降级调整。
本发明实施例中,在会议进行过程中,会议发言端可以在对编码参数进行降级调整后,将得到的数据量降低的实时会议数据包发送给所有参会终端,如果仍然有参会终端反馈出丢包率异常信息和/或延迟时间异常信息,则会议发言端可以对降级调整后的编码参数再次进行降级调整。
本发明实施例中,可以在会议开始之前通过会议控制终端提前设置编码参数的调整周期,在会议进行过程中,会议发言端按照指定周期对编码参数进行调整,但是如果在指定周期内持续收到参会终端反馈的丢包率异常信息和/或延迟时间异常信息,则表明当前参会终端网络状态较差,或者当前编码参数层级过高,可以在指定周期内对编码参数进行连续的调整。
本发明实施例中,在会议进行过程中,会议发言端可以在对编码参数进行降级调整后,将得到的数据量降低的实时会议数据包发送给所有参会终端,如果在下一个调整周期仍然有参会终端反馈出丢包率异常信息和/或延迟时间异常信息,则会议发言端可以对降级调整后的编码参数再次进行降级调整。
从而,本发明实施例中,在视频会议进行过程中,会议发言端可以实时地对当前编码参数进行调整,也适应参会终端的实时网络状况。
本发明实施例中,会议发言端在对会议数据进行编码时,还可以将编码参数写入会议数据包。由于会议发言端的编码参数在实时调整,因此,将编码参数写入会议数据包中,便于参会终端知晓具体的编码参数,从而确定对应的解码参数,以对会议数据包进行解码并播放。
具体的,所述步骤S201包括:将对实时采集到的会议数据进行编码所采用的编码参数,同所述实时采集到的会议数据均编码到会议数据包中。
参照图3所示,图3示出了本发明实施例中的一种会议数据传输方法的步骤流程图,所述方法应用于参会终端,所述方法包括以下步骤:
S301,接收来自会议发言端的会议数据包,所述会议数据包是所述会议发言端按照当前编码参数编码得到的。
S302,生成异常反馈信息,封装所述异常反馈信息得到信息流。
S303,将所述信息流发送给所述会议发言端,以使所述会议发言端根据调整策略对所述当前编码参数进行自适应调整,所述自适应调整用于调整所述会议发言端后续编码得到的会议数据包的数据量。
具体地,在视频会议进行的过程中,参会终端可以根据会议数据包的接收情况,向会议发言端反馈异常反馈信息,以使会议发言端可以对自身的编码参数进行自适应调整。
S401,接收来自会议发言端的会议数据包,所述会议数据包是所述会议发言端按照当前编码参数编码得到的。
S402,对当前时间段内接收到的会议数据包进行解析,得到所述当前编码参数。
S403,根据所述当前编码参数,设置所述参会终端内的解码器的当前解码参数。
S404,根据所述当前解码参数,对所述当前时间段内接收到的会议数据包进行解码。
本发明实施例中,参会终端在接收到会议数据包之后,可以对会议数据包进行解析,获得会议数据包的编码参数,从而确定对应的解码参数,并对自身的解码器进行设置,从而对会议数据包进行解码,得到会议数据并播放。
S405,统计当前时间段内接收到的会议数据包的丢包率和/或平均延迟时间。
S406,在所述丢包率大于第一预设阈值的情况下,生成丢包率异常信息。
S407,在所述平均延迟时间大于第二预设阈值的情况下,生成延迟时间异常信息。
S408,对所述丢包率异常信息和/或延迟时间异常信息进行封装,得到所述信息流。
本发明实施例中,参会终端可以根据会议数据包的接收情况,统计当前时间段内接收到的会议数据包的丢包率和/或平均延迟时间。该当前时间段可以与前述参会终端的调整周期相适应。也可以由会议控制终端提前设定。
本发明实施例中,第一预设阈值和第二预设阈值可以由开发人员提前设置在视频会议系统中,也可以由会议控制终端在会议开始之前根据实际情况设定。
S409,将所述信息流发送给所述会议发言端,以使所述会议发言端根据调整策略对所述当前编码参数进行自适应调整,所述自适应调整用于调整所述会议发言端后续编码得到的会议数据包的数据量。
在一种可选地实施方式中,所述方法还包括:
S410,对下一时间段内接收到的会议数据包进行解析,得到所述下一时间段对应的编码参数。
S411,根据所述下一时间段对应的编码参数,确定所述下一时间段对应的解码参数。
S412,在所述下一时间段对应的解码参数不同于已设置于所述解码器内的解码参数的情况下,按照所述下一时间段对应的解码参数重置所述解码器,并重启所述解码器,以对所述下一时间段内接收到的会议数据包进行解码。
本发明实施例中,在会议发言端对编码参数进行自适应调整的情况下,每个时间段(与会议发言端的调整周期相对应)内的会议编码参数均可能不同于上一时间段的编码参数,因此,会议数据包在每个时间段均可以对会议数据包进行解析,得到会议数据包的编码参数,从而确定对应的解码参数,在解码参数不同于已设置于所述解码器内的解码参数的情况下,对解码器进行重置并重启,以对会议数据包进行正常解码。
为了便于理解,以下将以一个具体的示例,对本发明实施例所提供的会议数据传输方法进行解释。
在会议开始前,使用视联网会议控制终端配置好相关参数(例如:调整周期、丢包率阈值、延迟时间阈值等)以及所有的参会终端A、B、C、D、E。配置完成后,视联网会议控制终端开启会议,将相关参数发送至视联网会议服务器,视联网会议服务器拉所有的参会终端入会,并将相关参数发送至每个参会终端,开始会议。
当终端A为会议发言人时,作为会议发言端将采集到的音视频编码成会议数据包上传至视联网会议服务器,视联网意义服务器转发至其他参会终端:终端B、C、D、E。该会议数据包中包括:视频的码流、帧率、分辨率等编码参数以及会议发言端的视联终端号码。
其他参会终端作为接收端在10秒时间内统计该时段的丢包率、平均延迟时间。当接收端所得单位时间内的丢包率、延迟时间大于预设阈值时,接收端通过视联网透传协议反馈当前设备的丢包率、延迟时间,给会议发言端(参会终端从会议数据包中获取到会议发言端的视联网号码,并作为目标地进行发送)。
当会议发言端方,接收参会终端发送的丢包率、延迟时间时,主动调整编码参数,降低码率,并采用新的编码参数对实时采集到的音视频进行编码,得到会议数据包,并发送。
其他参会终端根据,会议数据包内的编码参数,得到解码参数,重置解码器,继续解码。
按照调整周期重复以上过程,直至没有终端反馈丢包、延时或视频已降至最低质量,会议发言端不再调整。
基于同一发明构思,本发明实施例提供一种会议数据传输装置,参考图5,示出了一种会议数据传输装置,应用于会议发言端,所述装置包括:
第一编码模块501,用于按照当前编码参数,对实时采集到的会议数据进行编码,将得到的会议数据包发送给参会终端;
调整模块502,用于解析接收到的所述参会终端反馈的信息流,得到异常反馈信息,根据调整策略对所述当前编码参数进行自适应调整,所述自适应调整用于调整所述会议发言端后续编码得到的会议数据包的数据量;
第二编码模块503,用于按照调整后的编码参数对实时采集到的会议数据进行编码,将自适应调整后得到的会议数据包发送给所述参会终端。
可选地,所述调整模块502,具体用于:
在所述异常反馈信息为丢包率异常信息和/或延迟时间异常信息的情况下,对所述当前编码参数进行降级调整,所述降级调整用于降低所述会议发言端后续编码得到的会议数据包的数据量。
可选地,所述装置还包括:
检测模块,用于检测当前编码参数是否是最低层级的编码参数;
第三编码模块,用于在所述当前编码参数是最低层级的编码参数的情况下,继续按照所述当前编码参数,对实时采集到的会议数据进行编码,将得到的会议数据包发送给参会终端;
所述降级模块502,具体用于:
在接收到所述参会终端反馈的丢包率异常信息和/或延迟时间异常信息的情况下,在所述当前编码参数不是最低层级的编码参数时,将所述当前编码参数调整为低一层级的编码参数。
可选地,所述装置还包括:
第二降级模块,用于在指定周期内持续接收到所述参会终端反馈的丢包率异常信息和/或延迟时间异常信息的情况下,对所述降级调整后的编码参数进行降级调整。
可选地,所述装置还包括:
第四编码模块,用于在未接收到所述参会终端反馈的丢包率异常信息和/或延迟时间异常信息的情况下,继续按照所述当前编码参数,对实时采集到的会议数据进行编码,将得到的会议数据包数据发送给参会终端。
可选的,所述第一编码模块,具体用于:
将对实时采集到的会议数据进行编码所采用的编码参数,同所述实时采集到的会议数据均编码到会议数据包中。
基于同一发明构思,本发明实施例提供一种会议数据传输装置,参考图6,示出了一种会议数据传输装置,应用于参会终端,所述装置包括:
接收模块601,用于接收来自会议发言端的会议数据包,所述会议数据包是所述会议发言端按照当前编码参数编码得到的;
生成模块602,用于生成异常反馈信息,封装所述异常反馈信息得到信息流;
发送模块603,用于将所述信息流发送给所述会议发言端,以使所述会议发言端根据调整策略对所述当前编码参数进行自适应调整,所述自适应调整用于调整所述会议发言端后续编码得到的会议数据包的数据量。
可选地,所述生成模块602,具体用于:
统计当前时间段内接收到的会议数据包的丢包率和/或平均延迟时间;
在所述丢包率大于第一预设阈值的情况下,生成丢包率异常信息;
在所述平均延迟时间大于第二预设阈值的情况下,生成延迟时间异常信息;
对所述丢包率异常信息和/或延迟时间异常信息进行封装,得到所述信息流。
可选地,所述装置还包括:
第一解析模块,用于对当前时间段内接收到的会议数据包进行解析,得到所述当前编码参数;
设置模块,用于根据所述当前编码参数,设置所述参会终端内的解码器的当前解码参数;
解码模块,用于根据所述当前解码参数,对所述当前时间段内接收到的会议数据包进行解码。
可选地,所述装置还包括:
第二解析模块,用于对下一时间段内接收到的会议数据包进行解析,得到所述下一时间段对应的编码参数;
确定模块,用于根据所述下一时间段对应的编码参数,确定所述下一时间段对应的解码参数;
重置模块,用于在所述下一时间段对应的解码参数不同于已设置于所述解码器内的解码参数的情况下,按照所述下一时间段对应的解码参数重置所述解码器,并重启所述解码器,以对所述下一时间段内接收到的会议数据包进行解码。
基于同一发明构思,本发明实施例还提供了一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器被配置为:执行如上述第一方面所述的任一种会议数据传输方法,或者,执行如上述第二方面所述的任一种会议数据传输方法。
基于同一发明构思,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述第一方面所述的任一种会议数据传输方法,或者,执行如上述第二方面所述的任一种会议数据传输方法。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种会议数据传输方法、、装置、电子设备及存储介质,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (14)
1.一种会议数据传输方法,其特征在于,应用于会议发言端,所述方法包括:
按照当前编码参数,对实时采集到的会议数据进行编码,将得到的会议数据包发送给参会终端;
解析接收到的所述参会终端反馈的信息流,得到异常反馈信息,根据调整策略对所述当前编码参数进行自适应调整,所述自适应调整用于调整所述会议发言端后续编码得到的会议数据包的数据量;
按照调整后的编码参数对实时采集到的会议数据进行编码,将自适应调整后得到的会议数据包发送给所述参会终端。
2.根据权利要求1所述的会议数据传输方法,其特征在于,根据调整策略对所述当前编码参数进行自适应调整,包括:
在所述异常反馈信息为丢包率异常信息和/或延迟时间异常信息的情况下,对所述当前编码参数进行降级调整,所述降级调整用于降低所述会议发言端后续编码得到的会议数据包的数据量。
3.根据权利要求1所述的会议数据传输方法,其特征在于,所述方法还包括:
检测当前编码参数是否是最低层级的编码参数;
在所述当前编码参数是最低层级的编码参数的情况下,继续按照所述当前编码参数,对实时采集到的会议数据进行编码,将得到的会议数据包发送给参会终端;
在接收到所述参会终端反馈的丢包率异常信息和/或延迟时间异常信息的情况下,对所述当前编码参数进行降级调整,包括:
在接收到所述参会终端反馈的丢包率异常信息和/或延迟时间异常信息的情况下,在所述当前编码参数不是最低层级的编码参数时,将所述当前编码参数调整为低一层级的编码参数。
4.根据权利要求1所述的会议数据传输方法,其特征在于,在按照降级调整后的编码参数对实时采集到的音视频进行编码,将得到的会议数据包发送给所述参会终端之后,所述方法还包括:
在指定周期内持续接收到所述参会终端反馈的丢包率异常信息和/或延迟时间异常信息的情况下,对所述降级调整后的编码参数进行降级调整。
5.根据权利要求1-4任一所述的会议数据传输方法,其特征在于,所述方法还包括:
在未接收到所述参会终端反馈的丢包率异常信息和/或延迟时间异常信息的情况下,继续按照所述当前编码参数,对实时采集到的会议数据进行编码,将得到的会议数据包数据发送给参会终端。
6.根据权利要求1-4任一所述的会议数据传输方法,其特征在于,对实时采集到的会议数据进行编码,包括:
将对实时采集到的会议数据进行编码所采用的编码参数,同所述实时采集到的会议数据均编码到会议数据包中。
7.一种会议数据传输方法,其特征在于,应用于参会终端,所述方法包括:
接收来自会议发言端的会议数据包,所述会议数据包是所述会议发言端按照当前编码参数编码得到的;
生成异常反馈信息,封装所述异常反馈信息得到信息流;
将所述信息流发送给所述会议发言端,以使所述会议发言端根据调整策略对所述当前编码参数进行自适应调整,所述自适应调整用于调整所述会议发言端后续编码得到的会议数据包的数据量。
8.根据权利要求7所述的会议数据传输方法,其特征在于,生成异常反馈信息,封装所述异常反馈信息得到信息流,包括:
统计当前时间段内接收到的会议数据包的丢包率和/或平均延迟时间;
在所述丢包率大于第一预设阈值的情况下,生成丢包率异常信息;
在所述平均延迟时间大于第二预设阈值的情况下,生成延迟时间异常信息;
对所述丢包率异常信息和/或延迟时间异常信息进行封装,得到所述信息流。
9.根据权利要求7所述的会议数据传输方法,其特征在于,所述方法还包括:
对当前时间段内接收到的会议数据包进行解析,得到所述当前编码参数;
根据所述当前编码参数,设置所述参会终端内的解码器的当前解码参数;
根据所述当前解码参数,对所述当前时间段内接收到的会议数据包进行解码。
10.根据权利要求7所述的会议数据传输方法,其特征在于,在根据所述当前编码参数,设置所述参会终端内的解码器的当前解码参数之后,所述方法还包括:
对下一时间段内接收到的会议数据包进行解析,得到所述下一时间段对应的编码参数;
根据所述下一时间段对应的编码参数,确定所述下一时间段对应的解码参数;
在所述下一时间段对应的解码参数不同于已设置于所述解码器内的解码参数的情况下,按照所述下一时间段对应的解码参数重置所述解码器,并重启所述解码器,以对所述下一时间段内接收到的会议数据包进行解码。
11.一种会议数据传输装置,其特征在于,应用于会议发言端,所述装置包括:
第一编码模块,用于按照当前编码参数,对实时采集到的会议数据进行编码,将得到的会议数据包发送给参会终端;
调整模块,用于解析接收到的所述参会终端反馈的信息流,得到异常反馈信息,根据调整策略对所述当前编码参数进行自适应调整,所述自适应调整用于调整所述会议发言端后续编码得到的会议数据包的数据量;
第二编码模块,用于按照调整后的编码参数对实时采集到的会议数据进行编码,将自适应调整后得到的会议数据包发送给所述参会终端。
12.一种会议数据传输装置,其特征在于,应用于参会终端,所述装置包括:
接收模块,用于接收来自会议发言端的会议数据包,所述会议数据包是所述会议发言端按照当前编码参数编码得到的;
生成模块,用于生成异常反馈信息,封装所述异常反馈信息得到信息流;
发送模块,用于将所述信息流发送给所述会议发言端,以使所述会议发言端根据调整策略对所述当前编码参数进行自适应调整,所述自适应调整用于调整所述会议发言端后续编码得到的会议数据包的数据量。
13.一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器被配置为:执行如权利要求1-6或者7-10任一项所述的会议数据传输方法的步骤。
14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-6或者7-10任一项所述的会议数据传输方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211123667.1A CN115633149A (zh) | 2022-09-15 | 2022-09-15 | 会议数据传输方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211123667.1A CN115633149A (zh) | 2022-09-15 | 2022-09-15 | 会议数据传输方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115633149A true CN115633149A (zh) | 2023-01-20 |
Family
ID=84903223
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211123667.1A Pending CN115633149A (zh) | 2022-09-15 | 2022-09-15 | 会议数据传输方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115633149A (zh) |
-
2022
- 2022-09-15 CN CN202211123667.1A patent/CN115633149A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10819766B2 (en) | Voice encoding and sending method and apparatus | |
US8249237B2 (en) | Heterogeneous video conferencing | |
US8861701B2 (en) | Multi-participant conference adjustments | |
US7899170B2 (en) | Multi-participant conference setup | |
EP1875769B1 (en) | Multi-participant conferencing | |
US8842159B2 (en) | Encoding processing for conferencing systems | |
CN104756099B (zh) | 添加内容以及相关客户端装置 | |
US8760490B2 (en) | Techniques for a rate-adaptive video conference bridge | |
CN110505522A (zh) | 视频数据的处理方法、装置、及电子设备 | |
CN110662100A (zh) | 一种信息处理方法、装置、系统和计算机可读存储介质 | |
CN111741248B (zh) | 一种数据传输方法、装置、终端设备和存储介质 | |
CN108881931B (zh) | 一种数据缓冲方法及网络设备 | |
CN112511782B (zh) | 视频会议方法、第一终端、mcu、系统及存储介质 | |
CN112202755B (zh) | 一种服务器分配方法、装置、设备及介质 | |
CN113852824A (zh) | 视频转码方法、装置、电子设备和存储介质 | |
US9538132B2 (en) | Methods, devices, and systems for controlling audio and video transmission | |
CN114245196B (zh) | 一种录屏推流方法、装置、电子设备及存储介质 | |
CN115529300A (zh) | 自动调整关键帧量化参数和帧率的系统和方法 | |
CN111147892A (zh) | 用于视频传输的方法和装置,存储介质和电子设备 | |
CN113194276A (zh) | 在视频会议系统中生成动态布局的方法、系统、存储装置 | |
CN115633149A (zh) | 会议数据传输方法、装置、电子设备及存储介质 | |
US20230247069A1 (en) | Systems and Methods for Adaptive Video Conferencing | |
CN116962613A (zh) | 数据传输方法及装置、计算机设备、存储介质 | |
WO2013001375A2 (en) | Systems, methods, and media for controlling a presentation of data images in a video stream | |
CN114302142A (zh) | 视频编码方法、图像发送设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |