CN116132622A - 视频会议实现方法、装置、设备及存储介质 - Google Patents

视频会议实现方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116132622A
CN116132622A CN202310130469.6A CN202310130469A CN116132622A CN 116132622 A CN116132622 A CN 116132622A CN 202310130469 A CN202310130469 A CN 202310130469A CN 116132622 A CN116132622 A CN 116132622A
Authority
CN
China
Prior art keywords
participants
video
client
voice
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310130469.6A
Other languages
English (en)
Inventor
周伟
李琳
郑彬戈
李小海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202310130469.6A priority Critical patent/CN116132622A/zh
Publication of CN116132622A publication Critical patent/CN116132622A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0896—Bandwidth or capacity management, i.e. automatically increasing or decreasing capacities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/155—Conference systems involving storage of or access to video conference sessions

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了一种视频会议实现方法、装置、设备及存储介质，该方法包括：基于与会者的数量与客户端的当前带宽，确定客户端为弱网；计算出在当前带宽的情况下所述与会者的最大数量；确定与会者的当前优先级，基于当前优先级与最大数量，确定显示视频的视频参会人员与不能显示视频的语音参会人员；基于所述视频参会人员、所述语音参会人员与所述当前带宽，确定所述客户端的带宽分配方案。在本申请中，在客户端为弱网的情况下，确定与会者的优先级，并根据优先级，确定视频参会人员与语音参会人员，再根据视频参会人员与语音参会人员合理分配当前带宽的使用，进而提高了用户的体验效果。

Description

视频会议实现方法、装置、设备及存储介质
技术领域
本申请涉及电子通信技术领域，尤其涉及一种视频会议实现方法、装置、设备及存储介质。
背景技术
随着通信技术在工作中的应用范围越来越广泛，目前对于无法面对面的会议，用户都选择通过视频会议进行开会，以提高工作效率。
视频会议一般对网络要求比较高，在客户端的网络信号较弱，或多人视频会议的情况下，通常会降低分辨率，或者关闭用户本人的视频采集功能，以降低视频会议对网络的要求，进而调节客户端的网络分配。但是，通过降低分辨率或关闭用户本人的视频采集功能，以调整客户端的网络分配，会使与会者不能看到用户本人，且降低分辨率容易使视频中内容模糊不清，导致用户的体验效果低下。
发明内容
本申请的主要目的在于提供一种视频会议实现方法、装置、设备及存储介质，旨在解决现有技术中在视频会议时，通过降低分辨率或关闭用户本人的视频采集功能，导致用户的体验效果低下的技术问题。
为实现上述目的，本申请提供一种视频会议实现方法，视频会议实现方法包括：
基于与会者的数量与客户端的当前带宽，确定所述客户端为弱网；
计算出在所述当前带宽的情况下所述与会者的最大数量；
确定所述与会者的当前优先级，基于所述当前优先级与所述最大数量，确定显示视频的视频参会人员与不能显示视频的语音参会人员；
基于所述视频参会人员、所述语音参会人员与所述当前带宽，确定所述客户端的带宽分配方案。
可选地，所述确定所述与会者的当前优先级的步骤，包括：
基于所述与会者加入会议的顺序，确定所述与会者的初始优先级；
确定所述与会者中的当前正在主持的主持人与当前发表言论的发言人员，并实时记录所述与会者在会议中的发言活跃状态；
基于所述发言活跃状态、主持人与发言人员，修正所述初始优先级，确定所述与会者的当前优先级；
其中，所述主持人与所述发言人员的优先级高于所述其余所述与会者的优先级。
可选地，所述确定所述与会者的当前优先级，基于所述当前优先级与所述最大数量，确定显示视频的视频参会人员与不能显示视频的语音参会人员的步骤，包括：
确定所述与会者的当前优先级，并确定所述与会者中的当前说话人员与当前未说话人员；
基于所述当前优先级与所述最大数量，从所述当前说话人员中确定显示视频的视频参会人员，与不能显示视频的非视频参会人员；
将所述当前未说话人员与所述非视频参会人员定义为语音参会人员。
可选地，所述基于所述视频参会人员、所述语音参会人员与所述当前带宽，确定所述客户端的带宽分配方案的步骤之后，所述方法还包括：
下发所述视频参会人员的视频信息至客户端，并下发所述语音参会人员的语音信息至所述客户端，以供所述客户端基于所述语音信息对应渲染预设的数智人。
可选地，所述下发所述视频参会人员的视频信息至客户端，并下发所述语音参会人员的语音信息至所述客户端，以供所述客户端基于所述语音信息对应渲染预设的数智人的步骤，包括：
若所述视频参会人员为零人，则计算当前带宽支持音频信息的数量；
若支持下发所述音频信息的数量为一个，则确定下发所述与会者中的主持人或发言人员的音频信息；
将其余所述与会者的音频数据转化为语音文本；
下发所述音频信息至客户端，以供客户端基于所述音频信息渲染与所述主持人或所述发言人员对应的数智人；
下发所述语音文本至所述客户端，以供所述客户端将所述语音文本转化为音频，并基于音频渲染与其余所述与会者对应的所述数智人。
可选地，所述若所述视频参会人员为零人，则计算当前带宽支持音频信息的数量的步骤之后，还包括：
若支持所述语音文本的数量为零，则确定所述客户端断开网络，并记录断开时间；
若所述断开时间小于预设的恢复时间，且所述当前带宽支持下发所述音频信息的数量至少为一个，则将所述客户端断开网络时的会议内容推送至所述客户端。
可选地，所述下发所述视频参会人员的视频信息至客户端，并下发所述语音参会人员的语音信息至所述客户端，以供所述客户端基于所述语音信息对应渲染预设的数智人的步骤，包括：
若所述视频参会人员仅为所述与会者中的主持人或发言人员，则下发所述主持人或所述发言人员的视频信息至客户端；
下发所述非视频参会人员的音频信息至所述客户端，以供所述客户端基于音频信息渲染与所述非视频参会人员对应的预设的数智人，并将所述当前未说话人员对应的所述数智人渲染为聆听状态。
本申请还提供一种视频会议实现装置，视频会议实现装置包括：
第一确定模块，用于基于与会者的数量与客户端的当前带宽，确定所述客户端为弱网；
计算模块，用于计算出在所述当前带宽的情况下所述与会者的最大数量；
第二确定模块，用于确定所述与会者的当前优先级，基于所述当前优先级与所述最大数量，确定显示视频的视频参会人员与不能显示视频的语音参会人员；
分配模块，用于基于所述视频参会人员、所述语音参会人员与所述当前带宽，确定所述客户端的带宽分配方案。
本申请还提供一种视频会议实现设备，视频会议实现设备为实体节点设备，视频会议实现设备包括：存储器、处理器以及存储在存储器上并可在处理器上运行的视频会议实现方法的程序，视频会议实现方法的程序被处理器执行时可实现如上述的视频会议实现方法的步骤。
本申请还提供一种存储介质，存储介质上存储有实现上述视频会议实现方法的程序，视频会议实现方法的程序被处理器执行时实现如上述的视频会议实现方法的步骤。
本申请提供一种视频会议实现方法、装置、设备及存储介质，与现有技术中在视频会议时，通过降低分辨率或关闭用户本人的视频采集功能，导致用户的体验效果低下相比，在本申请中，基于与会者的数量与客户端的当前带宽，确定所述客户端为弱网，计算出在所述当前带宽的情况下所述与会者的最大数量；确定所述与会者的当前优先级，基于所述当前优先级与所述最大数量，确定显示视频的视频参会人员与不能显示视频的语音参会人员；基于所述视频参会人员、所述语音参会人员与所述当前带宽，确定所述客户端的带宽分配方案。在本申请中，若确定用户端的当前带宽为弱网，则确定与会者的优先级，并确定当前带宽可以满足与会者的最大数量，根据优先级与最大数量，确定显示视频的视频参会人员与不能显示视频的语音参会人员，根据视频参会人员、语音参会人员与客户端的当前带宽，确定带宽分配方案，即在本申请中，在客户端为弱网的情况下，确定显示与会者视频的优先级，并根据优先级，确定视频参会人员与语音参会人员，再根据视频参会人员与语音参会人员合理分配当前带宽的使用，进而提高了用户的体验效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本申请视频会议实现方法第一实施例的流程示意图；
图2为本申请视频会议实现方法的流程示意图；
图3为本申请实施例方案涉及的硬件运行环境的设备机构示意图；
图4为本申请视频会议实现方法第一实施例中确定当前带宽为弱网场景图；
图5为本申请视频会议实现方法第二实施例的流程示意图。
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供一种视频会议实现方法，在本申请视频会议实现方法的第一实施例中，参照图1，视频会议实现方法包括：
步骤S10，基于与会者的数量与客户端的当前带宽，确定所述客户端为弱网；
步骤S20，计算出在所述当前带宽的情况下所述与会者的最大数量；
步骤S30，确定所述与会者的当前优先级，基于所述当前优先级与所述最大数量，确定显示视频的视频参会人员与不能显示视频的语音参会人员；
步骤S40，基于所述视频参会人员、所述语音参会人员与所述当前带宽，确定所述客户端的带宽分配方案。
本实施例旨在：在视频会议中，合理分配当前带宽的使用，以提高用户的体验效果。
在本实施例中，需要说明的是，视频会议实现方法可以应用于视频会议实现装置，该视频会议实现装置从属于视频会议实现设备，该视频会议实现设备属于视频会议实现系统。
需要说明的是，视频会议实现系统包括客户端和服务端。
具体地，服务端可以判断客户端的是否为弱网，若客户端是弱网，可以确定与会者的优先级，并根据优先级与客户端的当前带宽，确定显示视频的视频参会人员，与不能显示视频的语音参会人员，还可以计算视频参会人员所需的视频带宽与语音参会人员所需的语音带宽，再根据时频带宽与语音带宽的比例合理分配当前带宽。
在本实施例中，若客户端的当前带宽为弱网，则计算出当前带宽可以支持与会者的最大数量，并根据确定的优先级，确定显示与会者视频的视频参会人员与不能显示视频的语音参会人员，通过计算得到视频参会人员所需的视频带宽与语音参会人员所需的语音带宽的比例，合理地分配当前带宽，并使客户端显示视频的分辨率相同，以提高会议的流畅度，提高用户的体验效果。
在本实施例中，参考图2，图2为本申请视频会议实现方法的流程示意图。
具体步骤如下：
步骤S10，基于与会者的数量与客户端的当前带宽，确定所述客户端为弱网；
步骤S20，计算出在所述当前带宽的情况下所述与会者的最大数量；
需要说明的是，与会者的数量可能是实时变化的，在与会者的数量变化时，需要重新判断当前带宽是否为弱网，以使客户端合理分配当前带宽，并提高当前带宽的利用效率。
在本实施例中，需要先计算出客户端需要的带宽，再根据客户端需要的带宽与当前带宽对比，确定当前带宽是否为弱网，若确定当前带宽为弱网，则计算当前带宽可以支持与会者视频信息的最大数量，确定与会者显示视频的优先级，并根据最大数量与优先级确定显示视频的与会者，并将这些与会者的视频信息发送至客户端，以供客户端根据视频信息播放这些与会者的视频与音频。
具体地，所述基于与会者的数量与客户端的当前带宽，确定所述客户端为弱网的步骤，包括：
步骤S11，计算当前所述与会者都为视频参会人员时，所述客户端的需求带宽；
步骤S12，若所述客户端的当前带宽小于所述需求带宽，则确定所述客户端为弱网。
其中，计算客户端需要的带宽的公式为：
f(t1,t2,n)＝t1*(n-1)+t2
其中，f(t1,t2,n)为各客户端需要的带宽，t1为客户端的下行带宽，t2为客户端的上行带宽，n为与会者的总数。
其中，下行带宽可以是接收数据的最小带宽。
其中，上行带宽可以是客户端向服务端上传数据的最小带宽。
在本实施例中，在当前带宽不满足需求带宽时，则确定客户端的当前带宽不能支持处用户自己外的全部与会者的视频信息，并确定当前带宽为弱网。
参照图4，例如，参加视频会议的有4人，也即，与会者的总数n为4，且下行带宽t1为1兆，上行带宽t2为3兆，由于用户自己的视频信息不需要接收，则需要接收的视频信息为3份，也即，n-1份，通过计算可是客户端接收视频信息需要用的带宽为3兆，上传自己的视频信息需要用的带宽为3兆，也即，客户端需求带宽为6兆，若用户端的当前带宽为5兆，则确定当前带宽为弱网。
步骤S30，确定所述与会者的当前优先级，基于所述当前优先级与所述最大数量，确定显示视频的视频参会人员与不能显示视频的语音参会人员。
其中，当前优先级可以根据与会者的发言活跃程度确定，还可以根据与会者的身份确定等，具体不做限定。
需要说明的是，不能显示视频的语音参会人员中至少包括说话的与会者或不说话的与会者中的一种，以使每个与会者在视频会议上的会议数据都能被客户端接收到。
在本实施例中，由于在视频会议过程中，会出现一些与会者中途退出，或中途网络终端等情况，需要实时确定与会者的当前优先级，也即，与会者的人数有变化时，则重现对与会者的优先级确定，得到当前优先级，基于当前优先级，从与会者中筛选出最大数量相等的视频参会人员，其余与会者为语音参会人员。
例如，若与会者为与会者A、与会者B、与会者C、与用户，除去用户后，该顺序为与会者的优先级顺序，且客户端可以支持视频信息的最大数量为2个，则与会者A、与会者B为视频参会人员，与会者C，若在视频会议中途与会者D、与会者E加入，且与会者B退出，则重现计算所有与会者的优先级。
其中，在客户端不能显示语音参会人员的视频，只能根据客户端设置的与语言参会人员对应的数智人代替语言参会人员的视频。
在本实施例中，通过优先级与客户端的当前带宽可以支持视频信息的最大数量，确定与会者中的视频参会人员与语音参会人员，以合理分配客户端的当前带宽，使客户端显示的每个与会者的会议画面流畅，且可以接收到整个会议的内容，避免由于降低与会者视频的分辨率，不能接收到与会者视频中的会议内容，进而错过会议内容，还避免了由于网络波动，或其他未知因素导致的会议信息丢失，今天提高了用户的体验效率。
具体地，所述确定所述与会者的当前优先级，基于所述当前优先级与所述最大数量，确定显示视频的视频参会人员与不能显示视频的语音参会人员的步骤，包括：
步骤S21，确定所述与会者的当前优先级，并确定所述与会者中的当前说话人员与当前未说话人员；
步骤S22，基于所述当前优先级与所述最大数量，从所述当前说话人员中确定显示视频的视频参会人员，与不能显示视频的非视频参会人员；
步骤S23，将所述当前未说话人员与所述非视频参会人员定义为语音参会人员。
在本实施例中，识别出当前会议中正在说话与会者，并计算出当前使用带宽，若当前使用带宽大于当前带宽，则根据当前优先级，从正在说话的与会者(当前说话人员)中确定出视频参会人员，并确定正在说话的与会者中不能显示视频的非视频参会人员，将视频参会人员与当前未说话人员定义为语音参会人员。也即，语音参会人员至少包括当前说话人员与当前未说话人员中的一种。
需要说明的是，若当前说话人员的数量小于最大数量，则当前说话人员全部为视频参会人员，且视频参会人员中不存在当前未说话人员，以供节省客户端的当前带宽，进而使当前带宽可以是有剩余的带宽应对网络突发状况。
例如，若所有的与会者都在说话，则语音参会人员全部为当前说话人员，若当前说话人员全都为视频参会人员，则语音参会人全部为当前未说话人员，若部分当前说话人员为视频参会人员，则语音参会人包括为当前未说话人员与当前说话人员。
步骤S40，基于所述视频参会人员、所述语音参会人员与所述当前带宽，确定所述客户端的带宽分配方案。
在本实施例中，计算视频参会人员需要用到的视频带宽，并计算语音参会人员需要用到的语音带宽，按照视频带宽与语音带宽的比例分配当前带宽，得到带宽分配方案。
需要说明的是，若按照视频带宽与语音带宽的比例分配后，当前带宽的剩余带宽满足一个或多个与会者通过视频参加会议需要的带宽，则根据当前优先级，合理增加视频参会人员。
在本实施例中，根据与会者确定客户端能够支持所有与会者的需求带宽，并根据需求带宽与客户端的当前带宽，判断当前带宽是否为弱网，若当前带宽为弱网，则计算出在当前带宽的情况下，客户端可以支持与会者的最大数量，根据确定的当前优先级与最大数量，确定显示视频的视频参会人员，在确定好视频参会人员后，将其余与会者确定为不能显示视频的语音参会人员，再确定视频参会人员所需的视频带宽，与语音参会人员所需的语音带宽，根据视频带宽与语音带宽合理分配客户端的当前带宽。
在本实施例中，通过合理的分配视频参会人员与语音参会人员，进而合理分配客户端的当前带宽，以使整个会议过程不会受到网络波动的影响，以提高视频会议的流畅度，最终提高了用户的体验效果。
本申请提供一种视频会议实现方法、装置、设备及存储介质，与现有技术中在视频会议时，通过降低分辨率或关闭用户本人的视频采集功能，导致用户的体验效果低下相比，在本申请中，基于与会者的数量与客户端的当前带宽，确定所述客户端为弱网；计算出在所述当前带宽的情况下所述与会者的最大数量；确定所述与会者的当前优先级，基于所述当前优先级与所述最大数量，确定显示视频的视频参会人员与不能显示视频的语音参会人员；基于所述视频参会人员、所述语音参会人员与所述当前带宽，确定所述客户端的带宽分配方案。在本申请中，若确定用户端的当前带宽为弱网，则确定与会者的优先级，并确定当前带宽可以满足显示与会者视频的最大数量，根据优先级与最大数量，确定显示视频的视频参会人员与不能显示视频的语音参会人员，根据视频参会人员、语音参会人员与客户端的当前带宽，确定带宽分配方案，即在本申请中，在客户端为弱网的情况下，确定显示与会者视频的优先级，并根据优先级确定视频参会人员与语音参会人员，再根据视频参会人员与语音参会人员合理分配当前带宽的使用，进而提高了用户的体验效果。
进一步地，基于本申请中上述实施例，提供本申请的另一实施例，在该实施例中，参考图5，所述确定所述与会者的当前优先级的步骤，包括：
步骤S01，基于所述与会者加入会议的顺序，确定所述与会者的初始优先级；
在本实施例中，可以基于与会者加入会议的顺序，确定与会者的初始优先级，可以将创建视频会议的与会者定义为最高优先级，然后根据与会者进入视频会议的时间，从早到晚的顺序依次定义与会者的优先级，得到初始优先级。
步骤S02，确定所述与会者中的当前正在主持的主持人与当前发表言论的发言人员，并实时记录所述与会者在会议中的发言活跃状态；
在本实施例中，若视频会议中的主持人正在说话，则将正在说话的主持人定义为最到高优先级，若有与会者正在发表言论，则将发表言论的发言人员定义为最高优先级，并实时记录所有与会者在会议中的发言活跃状态，也即，根据所记录的与会者在会议中的发言频率、发言时长与加入会议时间，确定发言活跃状态。
在本实施例中，可以根据与会者的发言活跃状态，将与会者分为说话的与会者与不说话的与会者，并根据不同的与会者定义不同的优先级。
步骤S03，基于所述发言活跃状态、主持人与发言人员，修正所述初始优先级，确定所述与会者的当前优先级；
其中，所述主持人与所述发言人员的优先级高于所述其余所述与会者的优先级。
在本实施例中，正在主持的主持人与正在发表言论发言人员的优先级高于其他与会者的优先级，在主持人或发言人员未说话时，则根据发言活跃状态确定优先级的顺序。也即，主持人在主持时或发言人员正在发言时的优先级高于任何与会者的优先级。
在本实施例中，在视频会议创建初始，根据加入视频会议的顺序，确定与会者的初始优先级，在视频会议进行的过程中，实时根据与会者的发言活跃状态，重新调整初始优先级，确定当前优先级，以使客户端合理分为当前带宽需要显示的与会者视频，避免用户漏掉会议内容。
进一步地，基于本申请中上述实施例，提供本申请的另一实施例，在该实施例中，所述基于所述视频参会人员、所述语音参会人员与所述当前带宽，确定所述客户端的带宽分配方案的步骤之后，所述方法还包括：
步骤S50，下发所述视频参会人员的视频信息至客户端，并下发所述语音参会人员的语音信息至所述客户端，以供所述客户端基于所述语音信息对应渲染预设的数智人。
具体地，视频会议实现系统中的客户端可以接收服务端下发的视频信息与语音信息，并根据视频信息显示对应与会者，还可以根据语音信息渲染数智人，通过数智人代替与会者说话。
具体地，客户端内设有数据模型，数据模型可以生成数智人，并驱动数智人动作。
需要说明的是，客户端在接收到与会者的语音信息时，会同时接收到对应数智人的版本号，在接收到的版本号与本地数智人的版本号相同时，则通过语音信息渲染本地的数智人，若接收到的版本号与本地数智人的版本号不同，则基于接收到的版本号，从服务端获取与接收到的版本号对应的最新数智人，并通过语音信息渲染最新数智人。
需要说明的是，通过语音信息渲染数智人是渲染数智人的口型，也即，通过数智人将语音信息代替与会者说出，以增加用户的趣味性。例如，若语音信息为“是的”则客户端渲染数智人的口型，为“是的”的口型，且使数智人口型的变化与声音一致，也即，客户端在发出“是”的声音时，数智人的口型与声音对应为“是”的口型，或者，数智人的口型为“是”的口型时，客户端发出“是”的声音，进而使数智人的口型和客户端的声音一致，以增加用户的体验效果。
需要说明的是，在客户端基于语音信息对应渲染数智人之前，需要确定服务端下发的数智人的版本号与客户端本地的数智的版本号是否相同，若相同，则根据语音信息对应渲染数智人。
在本实施例中，下发视频参会人员的视频信息至客户端，以使客户端将视频信息向用户播放。下发语音参会人员的语音信息至客户端，以使客户端根据语音信息中的语音内容对应渲染数智人。例如，若语音信息来自与会者A，则将根据语音信息渲染与会者A对应的数智人，避免出现声音与画面不对应的情况。
在本实施例中，根据语音信息渲染数智人时，需要使声音与数智人的口型相匹配，且还可以根据语音信息中与会者的语气，确定与会者的面部表情，进而渲染数智人的脸部表情，使数智人更加形象生动，也即，在本实施例中，通过提高趣味性，以提高用户的体验效果。
具体地，所述下发所述视频参会人员的视频信息至客户端，并下发所述语音参会人员的语音信息至所述客户端，以供所述客户端基于所述语音信息对应渲染预设的数智人的步骤，包括：
步骤A10，若所述视频参会人员仅为所述与会者中的主持人或发言人员，则下发所述主持人或所述发言人员的视频信息至客户端；
步骤A20，下发所述非视频参会人员的音频信息至所述客户端，以供所述客户端基于音频信息渲染与所述非视频参会人员对应的预设的数智人，并将所述当前未说话人员对应的所述数智人渲染为聆听状态。
在本实施例中，若当前带宽只能支持一名与会者的视频信息，则在主持人主持或发言人员正在发言时，则确定视频参会人员为主持人或发言人员，并将主持人或发言人员的视频信息发送至客户端，使用户可以专心聆听主持人或发言人员的会议内容。
在本实施例中，下发视频信息至客户端时，还需要下发其余与会者的语音信息至客户端，并从语音信息中确定出当前说话人员与当前未说话人员，以使客户端根据当前说话人员的语音信息渲染对应的数智人，并将当前未说话人员对应的数智人渲染为认真聆听的状态，以增加视频会议的趣味性，进而使用户忽略掉当前带宽弱，带来的烦恼，提高了用户的体验效果。
具体地，所述下发所述视频参会人员的视频信息至客户端，并下发所述语音参会人员的语音信息至所述客户端，以供所述客户端基于所述语音信息对应渲染预设的数智人的步骤，包括：
步骤B1，若所述视频参会人员为零人，则计算当前带宽支持音频信息的数量；
步骤B2，若支持下发所述音频信息的数量为一个，则确定下发所述与会者中的主持人或发言人员的音频信息；
步骤B3，将其余所述与会者的音频数据转化为语音文本；
步骤B4，下发所述音频信息至客户端，以供客户端基于所述音频信息渲染与所述主持人或所述发言人员对应的数智人；
步骤B5，下发所述语音文本至所述客户端，以供所述客户端将所述语音文本转化为音频，并基于音频渲染与其余所述与会者对应的所述数智人。
在本实施例中，若当前带宽不能支持任何为与会者的视频信息，则确定视频参会人员为零人，为了能够正常参加视频会议，则计算当前带宽可以支持音频信息的数量，若可以支持的多个音频信息，则根据当前优先级，确定下发音频信息，以使客户端根据音频信息直接渲染对应数智人，以使客户端可以以最快速度接收优先级高的与会者的会议内容。
在本实施例中，对于不能下发音频信息的与会者，则将与会者音频信息转化为语音文本，再将语音文本下发至客户端，以使客户端将语音文本转化为音频，在根据音频渲染对应数智人，以使视频会议增加趣味性的同时，用户可以接收到所有与会者的会议内容。
具体地，所述若所述视频参会人员为零人，则计算当前带宽支持音频信息的数量的步骤之后，还包括：
步骤C10，若支持所述语音文本的数量为零，则确定所述客户端断开网络，并记录断开时间；
步骤C20，若所述断开时间小于预设的恢复时间，且所述当前带宽支持下发所述音频信息的数量至少为一个，则将所述客户端断开网络时的会议内容推送至所述客户端。
在本实施例中，在判断当前带宽可支持语音文本的数量为零，则确定当前带宽不能继续用来参加视频会议，为保证客户端因为网络波动等原因，导致暂时性的网络连接，若网络断开时间小于预设的恢复时间，则在用户重新进入视频会议时，服务端会将网络断开时的所有会议内容推送至客户端，以避免用户错失关键的会议信息，提高用户的体验效果。
参照图3，图3是本申请实施例方案涉及的硬件运行环境的设备机构示意图。
如图3所示，该视频会议实现设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该视频会议实现设备还可以包括矩形用户接口、网络接口、摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解，图3中示出的视频会议实现设备机构并不构成对视频会议实现设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图3所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块以及视频会议实现程序。操作系统是管理和控制视频会议实现设备硬件和软件资源的程序，支持视频会议实现程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与视频会议实现系统中其它硬件和软件之间通信。
在图3所示的视频会议实现设备中，处理器1001用于执行存储器1005中存储的视频会议实现程序，实现上述任一项的视频会议实现方法的步骤。
本申请视频会议实现设备具体实施方式与上述视频会议实现方法各实施例基本相同，在此不再赘述。
本申请还提供一种视频会议实现装置，视频会议实现装置包括：
第一确定模块，用于基于与会者的数量与客户端的当前带宽，确定所述客户端为弱网；
计算模块，用于计算出在所述当前带宽的情况下所述与会者的最大数量；
第二确定模块，用于确定所述与会者的当前优先级，基于所述当前优先级与所述最大数量，确定显示视频的视频参会人员与不能显示视频的语音参会人员；
分配模块，用于基于所述视频参会人员、所述语音参会人员与所述当前带宽，确定所述客户端的带宽分配方案。
可选地，所述确定模块包括：
第一确定子模块基于所述与会者加入会议的顺序，确定所述与会者的初始优先级；
记录模块，用于确定所述与会者中的当前正在主持的主持人与当前发表言论的发言人员，并实时记录所述与会者在会议中的发言活跃状态；
修正模块，用于基于所述发言活跃状态、主持人与发言人员，修正所述初始优先级，确定所述与会者的当前优先级；
其中，所述主持人与所述发言人员的优先级高于所述其余所述与会者的优先级。
可选地，所述确定模块还包括：
第二确定子模块，用于确定所述与会者的当前优先级，并确定所述与会者中的当前说话人员与当前未说话人员；
第三确定子模块，用于基于所述当前优先级与所述最大数量，从所述当前说话人员中确定显示视频的视频参会人员，与不能显示视频的非视频参会人员；
定义模块，用于将所述当前未说话人员与所述非视频参会人员定义为语音参会人员。
可选地，所述视频会议实现装置还包括：
下发模块，用于下发所述视频参会人员的视频信息至客户端，并下发所述语音参会人员的语音信息至所述客户端，以供所述客户端基于所述语音信息对应渲染预设的数智人。
可选地，所述下发模块包括：
计算子模块，用于若所述视频参会人员为零人，则计算当前带宽支持音频信息的数量；
第一确定单元，用于若支持下发所述音频信息的数量为一个，则确定下发所述与会者中的主持人或发言人员的音频信息；
转化模块，用于将其余所述与会者的音频数据转化为语音文本；
第一下发单元，用于下发所述音频信息至客户端，以供客户端基于所述音频信息渲染与所述主持人或所述发言人员对应的数智人；
第二下发单元，用于下发所述语音文本至所述客户端，以供所述客户端将所述语音文本转化为音频，并基于音频渲染与其余所述与会者对应的所述数智人。
可选地，所述视频会议实现装置还包括：
记录子模块，用于若支持所述语音文本的数量为零，则确定所述客户端断开网络，并记录断开时间；
推送模块，用于若所述断开时间小于预设的恢复时间，且所述当前带宽支持下发所述音频信息的数量至少为一个，则将所述客户端断开网络时的会议内容推送至所述客户端。
可选地，所述下发模块还包括：
第三下发单元，用于若所述视频参会人员仅为所述与会者中的主持人或发言人员，则下发所述主持人或所述发言人员的视频信息至客户端；
渲染模块，用于下发所述非视频参会人员的音频信息至所述客户端，以供所述客户端基于音频信息渲染与所述非视频参会人员对应的预设的数智人，并将所述当前未说话人员对应的所述数智人渲染为聆听状态。
本申请视频会议实现装置的具体实施方式与上述视频会议实现方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种存储介质，且存储介质存储有一个或者一个以上程序，一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项的视频会议实现方法的步骤。
本申请存储介质具体实施方式与上述视频会议实现方法各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效机构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种视频会议实现方法，其特征在于，视频会议实现方法包括：
基于与会者的数量与客户端的当前带宽，确定所述客户端为弱网；
计算出在所述当前带宽情况下所述与会者的最大数量；
确定所述与会者的当前优先级，基于所述当前优先级与所述最大数量，确定显示视频的视频参会人员与不能显示视频的语音参会人员；
基于所述视频参会人员、所述语音参会人员与所述当前带宽，确定所述客户端的带宽分配方案。
2.如权利要求1所述的视频会议实现方法，其特征在于，所述确定所述与会者的当前优先级的步骤，包括：
基于所述与会者加入会议的顺序，确定所述与会者的初始优先级；
确定所述与会者中的当前正在主持的主持人与当前发表言论的发言人员，并实时记录所述与会者在会议中的发言活跃状态；
基于所述发言活跃状态、主持人与发言人员，修正所述初始优先级，确定所述与会者的当前优先级；
其中，所述主持人与所述发言人员的优先级高于所述其余所述与会者的优先级。
3.如权利要求1所述的视频会议实现方法，其特征在于，所述确定所述与会者的当前优先级，基于所述当前优先级与所述最大数量，确定显示视频的视频参会人员与不能显示视频的语音参会人员的步骤，包括：
确定所述与会者的当前优先级，并确定所述与会者中的当前说话人员与当前未说话人员；
基于所述当前优先级与所述最大数量，从所述当前说话人员中确定显示视频的视频参会人员，与不能显示视频的非视频参会人员；
将所述当前未说话人员与所述非视频参会人员定义为语音参会人员。
4.如权利要求3所述的视频会议实现方法，其特征在于，所述基于所述视频参会人员、所述语音参会人员与所述当前带宽，确定所述客户端的带宽分配方案的步骤之后，所述方法还包括：
下发所述视频参会人员的视频信息至客户端，并下发所述语音参会人员的语音信息至所述客户端，以供所述客户端基于所述语音信息对应渲染预设的数智人。
5.如权利要求4所述的视频会议实现方法，其特征在于，所述下发所述视频参会人员的视频信息至客户端，并下发所述语音参会人员的语音信息至所述客户端，以供所述客户端基于所述语音信息对应渲染预设的数智人的步骤，包括：
若所述视频参会人员为零人，则计算当前带宽支持音频信息的数量；
若支持下发所述音频信息的数量为一个，则确定下发所述与会者中的主持人或发言人员的音频信息；
将其余所述与会者的音频数据转化为语音文本；
下发所述音频信息至客户端，以供客户端基于所述音频信息渲染与所述主持人或所述发言人员对应的数智人；
下发所述语音文本至所述客户端，以供所述客户端将所述语音文本转化为音频，并基于音频渲染与其余所述与会者对应的所述数智人。
6.如权利要求5所述的视频会议实现方法，其特征在于，所述若所述视频参会人员为零人，则计算当前带宽支持音频信息的数量的步骤之后，还包括：
若支持所述语音文本的数量为零，则确定所述客户端断开网络，并记录断开时间；
若所述断开时间小于预设的恢复时间，且所述当前带宽支持下发所述音频信息的数量至少为一个，则将所述客户端断开网络时的会议内容推送至所述客户端。
7.如权利要求4所述的视频会议实现方法，其特征在于，所述下发所述视频参会人员的视频信息至客户端，并下发所述语音参会人员的语音信息至所述客户端，以供所述客户端基于所述语音信息对应渲染预设的数智人的步骤，包括：
若所述视频参会人员仅为所述与会者中的主持人或发言人员，则下发所述主持人或所述发言人员的视频信息至客户端；
下发所述非视频参会人员的音频信息至所述客户端，以供所述客户端基于音频信息渲染与所述非视频参会人员对应的预设的数智人，并将所述当前未说话人员对应的所述数智人渲染为聆听状态。
8.一种视频会议实现装置，其特征在于，视频会议实现装置包括：
第一确定模块，用于基于与会者的数量与客户端的当前带宽，确定所述客户端为弱网；
计算模块，用于计算出在所述当前带宽情况下所述与会者的最大数量；
第二确定模块，用于确定所述与会者的当前优先级，基于所述当前优先级与所述最大数量，确定显示视频的视频参会人员与不能显示视频的语音参会人员；
分配模块，用于基于所述视频参会人员、所述语音参会人员与所述当前带宽，确定所述客户端的带宽分配方案。
9.一种视频会议实现设备，其特征在于，视频会议实现设备包括：存储器、处理器以及存储在存储器上的用于实现视频会议实现方法的程序，
存储器用于存储实现视频会议实现方法的程序；
处理器用于执行实现视频会议实现方法的程序，以实现如权利要求1至7中任一项视频会议实现方法的步骤。
10.一种存储介质，其特征在于，存储介质上存储有实现视频会议实现方法的程序，实现视频会议实现方法的程序被处理器执行以实现如权利要求1至7中任一项视频会议实现方法的步骤。
CN202310130469.6A 2023-02-03 2023-02-03 视频会议实现方法、装置、设备及存储介质 Pending CN116132622A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310130469.6A CN116132622A (zh) 2023-02-03 2023-02-03 视频会议实现方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310130469.6A CN116132622A (zh) 2023-02-03 2023-02-03 视频会议实现方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116132622A true CN116132622A (zh) 2023-05-16

Family

ID=86309883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310130469.6A Pending CN116132622A (zh) 2023-02-03 2023-02-03 视频会议实现方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116132622A (zh)

Similar Documents

Publication Publication Date Title
RU2518423C2 (ru) Методики управления мультимедийным содержимым для события мультимедийной конференции
US8416715B2 (en) Interest determination for auditory enhancement
US7742587B2 (en) Telecommunications and conference calling device, system and method
US9325940B2 (en) Video class room
US8289362B2 (en) Audio directionality control for a multi-display switched video conferencing system
US20120056971A1 (en) Virtual Presence Via Mobile
CN109565568B (zh) 对用户设备的用户界面进行控制的方法
KR20080085030A (ko) 네트워크 가능형 컨퍼런스의 화자 소팅을 위한 방법 및컴퓨터 판독가능 매체
US20160050504A1 (en) Utilizing a Smartphone During a Public Address System Session
JP3752932B2 (ja) 通信システムおよび通信方法
US11412278B1 (en) Streaming video trunking
CN111246154A (zh) 视频通话方法、系统
CN115022576A (zh) 一种极端网络环境下网络会议优化方法及装置
CN114640892A (zh) 用于在通信会话期间进行基于上下文的公告的方法和系统
US9026090B2 (en) Advanced presence states for collaboration applications
JP2006229903A (ja) 会議支援システム及び会議支援方法、並びにコンピュータ・プログラム
CN116132622A (zh) 视频会议实现方法、装置、设备及存储介质
JP2970645B2 (ja) 多地点接続会議システム構成方法及び多地点接続会議システム及びサーバ装置及びクライアント装置及び多地点接続会議システム構成プログラムを格納した記憶媒体
JP2016189532A (ja) テレビ会議システム、テレビ会議制御装置、及びテレビ会議制御方法
CN113099154B (zh) 一种可切换直播的视频会议方法、模块和系统
CN114449205B (zh) 数据处理方法、终端设备、电子设备及存储介质
EP4322501A1 (en) Audio in audio-visual conferencing service calls
JP4522332B2 (ja) 映像音声配信システムおよび方法およびプログラム
CN115941881A (zh) 视频会议数据传输方法和视频会议系统
KR20220031520A (ko) 온라인 팬미팅 서비스 장치 및 이를 이용한 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination