CN111885345A - 远程会议实现方法、装置、终端设备和存储介质 - Google Patents

远程会议实现方法、装置、终端设备和存储介质 Download PDF

Info

Publication number
CN111885345A
CN111885345A CN202010820692.XA CN202010820692A CN111885345A CN 111885345 A CN111885345 A CN 111885345A CN 202010820692 A CN202010820692 A CN 202010820692A CN 111885345 A CN111885345 A CN 111885345A
Authority
CN
China
Prior art keywords
data
behavior data
audio
time
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010820692.XA
Other languages
English (en)
Other versions
CN111885345B (zh
Inventor
杨跃斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shirui Electronics Co Ltd
Original Assignee
Guangzhou Shirui Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shirui Electronics Co Ltd filed Critical Guangzhou Shirui Electronics Co Ltd
Priority to CN202010820692.XA priority Critical patent/CN111885345B/zh
Publication of CN111885345A publication Critical patent/CN111885345A/zh
Application granted granted Critical
Publication of CN111885345B publication Critical patent/CN111885345B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs

Abstract

本申请实施例公开了一种远程会议实现方法、装置、终端设备和存储介质，该方法包括：将实时的音视频数据和实时的行为数据上传到云服务器；以时间戳为依据，将从云服务器拉取到的最新行为数据和当前终端设备当前生成的行为数据进行合并，确定目标行为数据；将从云服务器拉取到的音视频数据和当前终端设备当前生成的音视频数据进行混流，确定目标音视频数据；其中，最新行为数据为云服务器存储的行为数据中，时间戳与时间基准差值最大的行为数据；以时间戳为依据，在当前演示文稿中渲染目标行为数据和目标音视频数据。实现了音视频会议场景下，多人连麦进行互动的同时，还可以对一份演示文稿进行协同编辑的效果，提高了用户体验。

Description

远程会议实现方法、装置、终端设备和存储介质
技术领域
本申请实施例涉及远程会议互动技术，尤其涉及一种远程会议实现方法、装置、终端设备和存储介质。
背景技术
随着科技的进步，远程会议和协同编辑给人们工作带来了极大的便利。在远程会议中，多人连麦进行互动，但是文案拥有用户可以对演示文案进行编辑等操作，其他与会人员只能进行观看。
另外，相关技术中，使用协同编辑应用后，对应用进行录屏展示，这样造成数据传输量大，存储成本和传输成本高，传输效果差的问题。另外，相关技术中的协同编辑中，参与协同办公的人仅可以对文档进行编辑，功能单一。
因此，上述远程会议和协同编辑应用场景单一，无法适用更多的应用场景。
发明内容
本申请提供了一种远程会议实现方法、装置、终端设备和存储介质，以解决现有技术中远程会议实现中应用场景单一的问题。
本发明采用如下技术方案：
第一方面，本申请实施例提供了一种远程会议实现方法，该方法包括：
将实时的音视频数据和实时的行为数据上传到云服务器；
以时间戳为依据，将从所述云服务器拉取到的最新行为数据和实时生成的行为数据进行合并，确定目标行为数据；将从云服务器拉取到的音视频数据和当前终端设备当前生成的音视频数据进行混流，确定目标音视频数据；其中，所述最新行为数据为所述云服务器存储的行为数据中，时间戳与时间基准差值最大的行为数据；
以时间戳为依据，在当前演示文稿中渲染所述目标行为数据和所述目标音视频数据。
第二方面，本申请实施例提供了一种远程会议实现装置，该装置包括：
数据上传模块，用于将实时的音视频数据和实时的行为数据上传到云服务器；
数据合并模块，用于以时间戳为依据，将从所述云服务器拉取到的最新行为数据和实时生成的行为数据进行合并，确定目标行为数据；将从云服务器拉取到的音视频数据和当前终端设备当前生成的音视频数据进行混流，确定目标音视频数据；其中，所述最新行为数据为所述云服务器存储的行为数据中，时间戳与时间基准差值最大的行为数据；
渲染模块，用于以时间戳为依据，在当前演示文稿中渲染所述目标行为数据和所述目标音视频数据。
第三方面，本申请实施例提供了一种终端设备，包括存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的远程会议实现方法。
第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的远程会议实现方法。
本发明采用的技术方案中有如下有益效果：通过将实时的音视频数据和实时的行为数据上传到云服务器；然后以时间戳为依据，将从云服务器拉取到的最新行为数据和实时生成的行为数据进行合并，确定目标行为数据；将从云服务器拉取到的音视频数据和当前终端设备当前生成的音视频数据进行混流，确定目标音视频数据；在当前演示文稿中渲染目标行为数据和目标音视频数据。实现了音视频会议场景下，多人连麦进行互动的同时，还可以对一份演示文稿进行协同编辑的效果，提高了用户体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请实施例提供的一种远程会议实现方法的流程图；
图2是本申请实施例提供的另一种远程会议实现方法的流程图；
图3是本申请实施例中适用的一种远程会议的页面展示图；
图4是本申请实施例提供的一种远程会议实现装置的结构示意图；
图5是本申请实施例提供的一种终端设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
首先，对本申请实施例的可应用场景进行说明，在远程教研场景中，需要远程视频会议和协同编辑同时进行，比如，参与教研的5个用户分别在不同的地方，教研内容为对演示文稿进行研讨，演示文稿可以是课件。因此，在这个场景中，不仅需要开启远程会议多人连麦互动，还需要参与教研的人分别对课件或者演示文稿进行批注或编辑等。每个参与教研的人对应一个终端设备，本申请实施例中的远程会议实现方法应用于各个终端设备，本申请实施提供了一套整合方案来满足用户需求。
图1给出了本申请实施例提供的一种远程会议实现方法的流程图，本实施例提供的远程会议实现方法可以由远程会议实现装置来执行，该远程会议实现装置可通过硬件和/或软件的方式实现。参考图1，该方法具体可以包括：
S101、将实时的音视频数据和实时的行为数据上传到云服务器。
其中，本申请实施例中涉及到的云课件是一种可以通过网页浏览访问的一种课件展示文档，保存在云服务器中，课件拥有用户可以生成分享码，邀请其他用户访问同一份云课件。例如，课件拥有用户为用户A，被分享课件的用户为B、用户C、用户D、用户E，用户A将云课件分享给其他用户后，5个用户分别可以对云课件进行批注、编辑等操作。另外，在协同编辑的同时，远程教研场景中开启会议直播模式，这样，多人互动对云课件进行编辑。
具体的，用户操作云课件产生的数据称为实时的行为数据，用户在远程会议直播过程中产生的音视频数据称为实时音频数据。在实际的应用过程中，各个用户的终端设备将自身设备产生的实时的音视频数据和实时的行为数据上传至云服务器。
另外，用户可以根据当前教研场景的实际需求，确定是上传纯音频数据还是将音频数据和视频数据一同上传。具体的，比如教研过程需要用户进行实物展示，则可以将音频数据和视频数据一同上传，这样可以让其他用户更直观的感受教研内容；或者直接用纯音频数据和用户实时的行为数据进行结合的展示，可以降低数据传输体积，使直播过程更流畅，提高用户体验。
S102、以时间戳为依据，将从云服务器拉取到的最新行为数据和当前终端设备当前生成的行为数据进行合并，确定目标行为数据；将从云服务器拉取到的音视频数据和当前终端设备当前生成的音视频数据进行混流，确定目标音视频数据。
其中，最新行为数据为云服务器存储的行为数据中，时间戳与时间基准差值最大的行为数据。具体的，各条数据在产生时，均为其添加时间戳，一方面表征数据生成时刻，另一方面来表征数据的唯一性。具体的，各个终端都将实时的音视频数据和实时的行为数据上传至云服务器，然后各个终端设备再实时或者周期性从云服务器拉取其他用户对该云课件的实时的行为数据和其他用户在直播过程中的实时的音视频数据。具体的，以一个终端设备为例，以时间戳为依据，将从云服务器拉取到的最新行为数据和当前终端设备当前生成的行为数据进行合并，这样，确定当前时刻的目标行为数据。在一个具体的例子中，最新行为数据为云服务器存储的行为数据中，时间戳与时间基准差值最大的行为数据。这样，直接拉取最新的行为数据，降低了数据处理量，提高处理速度。
另外，各条音视频数据中也携带时间戳，终端设备将从云服务器拉取到的来自其他设备的音视频数据和当前终端设备当前时刻生成的音视频数据进行混流，这样确定目标音视频数据。
S103、以时间戳为依据，在当前演示文稿中渲染目标行为数据和目标音视频数据。
具体的，结合目标行为数据的时间戳和目标音视频数据的时间戳，在当前演示文稿中渲染目标行为数据和目标音视频数据。其中，目标行为数据的渲染结果可以是各个用户对同一页的编辑或者批注效果。另外，对于音视频直播的具体实现方案，可以应用相关技术中直播连麦和实时音视频通信中应用较广的RTC(Web Real-Time Communication，实时通信)协议推拉流方案，在此不进行赘述。
需要说明的是，上述渲染过程为实时进行的，或者是周期性进行的，而可以设定一个比较小的周期，这样实现了远程会议下的协同编辑。另外，行为数据远小于录屏产生的视频流，且在没有行为执行操作时，不会产生任何数据，大大减小了数据传输量。
本申请实施例中，通过将实时的音视频数据和实时的行为数据上传到云服务器；然后以时间戳为依据，将从云服务器拉取到的最新行为数据和实时生成的行为数据进行合并，确定目标行为数据；将从云服务器拉取到的音视频数据和当前终端设备当前生成的音视频数据进行混流，确定目标音视频数据；在当前演示文稿中渲染目标行为数据和目标音视频数据。实现了音视频会议场景下，多人连麦进行互动的同时，还可以对一份演示文稿进行协同编辑的效果，提高了用户体验。
在上述实施例的基础上，图2给出了本申请实施例提供的另一种远程会议实现方法的流程图。该远程会议实现方法是对上述远程会议实现的具体化。参考图2，该远程会议实现方法包括：
S201、获取实时的行为数据，其中，行为数据包括操作行为信息和产生操作行为的用户信息，操作行为包括对演示文稿的操作和对演示文稿展示效果的操作。
其中，行为数据是指一种按照时间戳描述操作云课件元素或者批注的描述数据，当用户操作云课件时，终端设备的客户端会在本地实时记录用户的操作行为，也记录有产生行为数据的用户信息。
具体的，操作行为可以包括对演示文稿的操作，比如修改其中的某些段落或者对某句话添加批注，对演示文稿展示效果的操作可以包括对演示文稿进行设定模式的播放，或者进行翻页等操作。比如，参与调研的用户C，想让与会人员均观看第5页，用户C将就第5页的内容阐述自己的看法，则用户C也可以进行翻页操作。可选的，操作行为信息包括批注描述信息、翻页描述信息和/或元素编辑描述信息。元素编辑描述信息比如是对某个段落的内容进行删除、增加或者修改等。另外，行为数据中还包括产生操作行为的用户信息，用户信息可以是用户名，也可以是该用户操作的终端设备的设备名称等，这样可以确定操作行为具体是由哪个用户产生的。具体的，各个终端设备获取自身设备实时产生的行为数据。
S202、获取麦克风的音频数据和摄像头的视频数据，确定实时的音视频数据。
各个终端设备的麦克风实时采集当前终端设备的用户在直播过程中的音频数据和摄像头实时采集的视频数据。其中，摄像头采集的视频数据可以包括用于的面部图像和用户想要展示给其他用户的内容，比如，用户B手里拿着一个待展示实物，则此时，摄像头采集的视频数据还可以包括该实物。
S203、去除实时的行为数据中的冗余数据和抖动数据；将去除冗余数据和抖动数据后的实时的行为数据上传到云服务器；将实时的音视频数据上传到云服务器。
具体的，终端设备会对采集到的数据进行实时处理，以避免无效数据或者干扰数据占用数据处理资源。在一个具体的例子中，去除实时的行为数据中的冗余数据和抖动数据，然后将去除冗余数据和抖动数据后的实时的行为数据上传至云服务器，另外，将实时的音视频数据上传至云服务器。针对任一与会的终端设备，每一帧新的行为数据将被通过流的方式推送到云服务器，以供其他用户拉取。
S204、以时间戳为依据，将从云服务器拉取到的最新行为数据和当前终端设备当前生成的行为数据进行合并，确定目标行为数据；将从云服务器拉取到的音视频数据和当前终端设备当前生成的音视频数据进行混流，确定目标音视频数据。
其中，最新行为数据为云服务器存储的行为数据中，时间戳与时间基准差值最大的行为数据。
S205、以时间戳为依据，在当前演示文稿中，渲染目标行为数据至当前显示页面的第一区域；渲染目标音视频数据至当前显示页面的第二区域。
其中，WebView是终端应用主要的展示和操作视图，用户通过URL(UniformResource Locator，统一资源定位器)访问云课件，云课件在WebView中进行展示。通过操作云课件，可以在本地生成实时的行为数据，通过从云服务器拉取的行为数据，也可以渲染云课件的行为，例如批注、翻页或者元素编辑等。示例性的，目标行为数据可以应用WebView进行展示，将展示目标行为数据的区域称为第一区域。
可选的，在当前显示页面上提供一个或者多个SurfaceView，用于渲染视频流，可以用来渲染本地摄像头的视频流，可以渲染从云服务器拉取的视频流，用来显示当前与会用户或者当前连麦用户的直播视频。将展示目标音视频数据的区域称为第二区域。
S206、将设定时间范围内的目标音频数据和目标行为数据上传至云盘，以指示所述云盘生成下载地址。
在一个具体的例子中，选取一个设定的时间范围，比如是整个直播会议时长。将设定时间范围内的目标音频数据和目标行为数据上传至云盘，云盘可以生成下载地址。
S207、根据接收到的下载地址对设定时间范围内的目标音频数据和目标行为数据进行回放。
具体的，终端设备接收到下载地址后，用户可以点击下载地址来对设定时间范围内的目标音频数据和目标行为数据进行回放。每个下载地址对应一个数据集，在一个具体的例子中，比如每个数据集即为一次远程教研的会议中的全部数据。使用行为数据作为回放数据，与使用录屏数据作为回放数据相比，减小了回放文件的体积，缩小了回放成本和传输成本。
需要说明的是，行为数据的获取和音视频数据的获取以及上传过程同时进行，并无明显的先后顺序，图2只是举例说明。
为了使本申请的技术方案更容易理解，下面用一个具体的例子来说明。具体的，以主持人首先发起控制云课件，之后其中一个与会用户也对云课件进行了控制为例，步骤如下：
主持人操作云课件，终端设备会根据用户操作实时生成行为数据；经过数据优化后，终端设备会把新产生的行为数据实时推送到云服务器；当其他与会用户拉取新的行为数据流时，都会从云服务器拉取到主持人所推送的行为数据，并渲染到终端设备的WebView中；其中一位与会用户也对云课件进行了控制，此时他的终端应用也会一样生产其行为数据；其行为数据经过优化后，终端设备会把新产生的行为数据实时推送到云服务器；当主持人和其他与会用户拉取新的行为数据流时，也都会从云服务器拉取到该与会用户所推送的行为数据，并渲染到终端设备的WebView中。
另外，针对音视频数据的这一路数据流，终端设备的播放器通过播放从云服务器拉取的音频流，实现音频直播；终端设备的麦克风用于采集本地音频，并实时把音频流推送到云服务器，云服务器对各连麦观众推送的音频流混流后提供给所有与会用户拉取；可选的，与音频流类似，终端设备的摄像头用于采集本地视频，并实时把视频流推送到云服务器，云服务器对各视频流混流后提供给与会用户拉取；选的，以上的混流操作也可以放在终端设备上进行。
需要说明的是，为了表述清晰，分别从终端设备的视角和云服务器的视角对上述流程进行说明，在实际的应用过程中，音视频数据和行为数据是同步采集、处理和渲染的。在一个具体的例子中，图3示出了一种远程会议的页面展示图，其中，31为WebView提供的第一区域，用于云课件展示和行为数据捕获，32为SurfaceView提供的第二区域，用于展示视频直播内容。
在上述实施例的基础上，图4为本申请实施例提供的一种远程会议实现装置的结构示意图。参考图4，本实施例提供的远程会议实现装置具体包括：数据上传模块401、数据合并模块402和渲染模块403。
其中，数据上传模块401，用于将实时的音视频数据和实时的行为数据上传到云服务器；数据合并模块402，用于以时间戳为依据，将从云服务器拉取到的最新行为数据和当前终端设备当前生成的行为数据进行合并，确定目标行为数据；将从云服务器拉取到的音视频数据和当前终端设备当前生成的音视频数据进行混流，确定目标音视频数据；其中，最新行为数据为云服务器存储的行为数据中，时间戳与时间基准差值最大的行为数据；渲染模块403，用于以时间戳为依据，在当前演示文稿中渲染目标行为数据和目标音视频数据。
本申请实施例中，通过将实时的音视频数据和实时的行为数据上传到云服务器；然后以时间戳为依据，将从云服务器拉取到的最新行为数据和实时生成的行为数据进行合并，确定目标行为数据；将从云服务器拉取到的音视频数据和当前终端设备当前生成的音视频数据进行混流，确定目标音视频数据；在当前演示文稿中渲染目标行为数据和目标音视频数据。实现了音视频会议场景下，多人连麦进行互动的同时，还可以对一份演示文稿进行协同编辑的效果，提高了用户体验。
可选的，还包括数据获取模块，用于在将实时的音视频数据和实时的行为数据上传到云服务器之前：
获取麦克风的音频数据和摄像头的视频数据，确定实时的音视频数据；
获取实时的行为数据，其中，行为数据包括操作行为信息和产生操作行为的用户信息，操作行为包括对演示文稿的操作和对演示文稿展示效果的操作。
可选的，还包括回放模块，用于在确定目标音频数据之后：
将设定时间范围内的目标音频数据和目标行为数据上传至云盘，以指示所述云盘生成下载地址；
根据接收到的下载地址对设定时间范围内的目标音频数据和目标行为数据进行回放。
可选的，数据上传模块401具体用于：
去除实时的行为数据中的冗余数据和抖动数据；
将去除冗余数据和抖动数据后的实时的行为数据上传到云服务器。
可选的，渲染模块403具体用于：
在当前演示文稿中，渲染目标行为数据至当前显示页面的第一区域；渲染目标音视频数据至当前显示页面的第二区域。
可选的，操作行为信息包括批注描述信息、翻页描述信息和/或元素编辑描述信息。
本申请实施例提供的远程会议实现装置可以用于执行上述实施例提供的远程会议实现方法，具备相应的功能和有益效果。
本申请实施例提供了一种终端设备，且该终端设备中可集成本申请实施例提供的远程会议实现装置。图5是本申请实施例提供的一种终端设备的结构示意图。参考图5，该终端设备包括：处理器50、存储器51。该终端设备中处理器50的数量可以是一个或者多个，图5中以一个处理器50为例。该终端设备中存储器51的数量可以是一个或者多个，图5中以一个存储器51为例。该设备的处理器50和存储器51可以通过总线或者其他方式连接，图5中以通过总线连接为例。
存储器51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请任意实施例所述的远程会议实现方法对应的程序指令/模块(例如，远程会议实现装置中的数据上传模块401、数据合并模块402渲染模块403)。存储器51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储器51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器51可进一步包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器50通过运行存储在存储器51中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的远程会议实现方法，该远程会议实现方法包括：将实时的音视频数据和实时的行为数据上传到云服务器；以时间戳为依据，将从云服务器拉取到的最新行为数据和当前终端设备当前生成的行为数据进行合并，确定目标行为数据；将从云服务器拉取到的音视频数据和当前终端设备当前生成的音视频数据进行混流，确定目标音视频数据；其中，最新行为数据为云服务器存储的行为数据中，时间戳与时间基准差值最大的行为数据；以时间戳为依据；在当前演示文稿中渲染目标行为数据和目标音视频数据。
上述提供的设备可用于执行上述实施例提供的远程会议实现方法，具备相应的功能和有益效果。
本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种远程会议实现方法，该远程会议实现方法包括：将实时的音视频数据和实时的行为数据上传到云服务器；以时间戳为依据，将从云服务器拉取到的最新行为数据和当前终端设备当前生成的行为数据进行合并，确定目标行为数据；将从云服务器拉取到的音视频数据和当前终端设备当前生成的音视频数据进行混流，确定目标音视频数据；其中，最新行为数据为云服务器存储的行为数据中，时间戳与时间基准差值最大的行为数据；以时间戳为依据；在当前演示文稿中渲染目标行为数据和目标音视频数据。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的远程会议实现方法，还可以执行本申请任意实施例所提供的远程会议实现方法中的相关操作。
上述实施例中提供的远程会议实现装置、存储介质及设备可执行本申请任意实施例所提供的远程会议实现方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的远程会议实现方法。
注意，上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解，本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由所附的权利要求范围决定。

Claims (10)

1.一种远程会议实现方法，其特征在于，包括：
将实时的音视频数据和实时的行为数据上传到云服务器；
以时间戳为依据，将从所述云服务器拉取到的最新的行为数据和实时生成的行为数据进行合并，确定目标行为数据；将从所述云服务器拉取到的音视频数据和当前终端设备当前生成的音视频数据进行混流，确定目标音视频数据；
其中，所述最新的行为数据为所述云服务器存储的行为数据中，时间戳与时间基准差值最大的行为数据；
以时间戳为依据，在当前演示文稿中渲染所述目标行为数据和所述目标音视频数据。
2.根据权利要求1所述的方法，其特征在于，所述将实时的音视频数据和实时的行为数据上传到云服务器之前，还包括：
获取实时的行为数据，其中，所述行为数据包括操作行为信息和产生所述操作行为的用户信息，所述操作行为包括对演示文稿的操作和对所述演示文稿展示效果的操作；
获取麦克风的音频数据和摄像头的视频数据，确定实时的音视频数据。
3.根据权利要求1所述的方法，其特征在于，所述确定目标音频数据之后，还包括：
将设定时间范围内的所述目标音频数据和所述目标行为数据上传至云盘，以指示所述云盘生成下载地址；
根据接收到的所述下载地址对所述设定时间范围内的所述目标音频数据和所述目标行为数据进行回放。
4.根据权利要求1所述的方法，其特征在于，所述将实时的行为数据上传到云服务器，包括：
去除所述实时的行为数据中的冗余数据和抖动数据；
将去除冗余数据和抖动数据后的实时的行为数据上传到云服务器。
5.根据权利要求1所述的方法，其特征在于，所述在当前演示文稿中渲染所述目标行为数据和所述目标音视频数据，包括：
在当前演示文稿中，渲染所述目标行为数据至当前显示页面的第一区域；渲染所述目标音视频数据至当前显示页面的第二区域。
6.根据权利要求2所述的方法，其特征在于，所述操作行为信息包括批注描述信息、翻页描述信息和/或元素编辑描述信息。
7.一种远程会议实现装置，其特征在于，包括：
数据上传模块，用于将实时的音视频数据和实时的行为数据上传到云服务器；
数据合并模块，用于以时间戳为依据，将从所述云服务器拉取到的最新行为数据和实时生成的行为数据进行合并，确定目标行为数据；将从所述云服务器拉取到的音视频数据和当前终端设备当前生成的音视频数据进行混流，确定目标音视频数据；其中，所述最新行为数据为所述云服务器存储的行为数据中，时间戳与时间基准差值最大的行为数据；
渲染模块，用于以时间戳为依据，在当前演示文稿中渲染所述目标行为数据和所述目标音视频数据。
8.根据权利要求1所述的方法，其特征在于，还包括数据获取模块，用于在所述将实时的音视频数据和实时的行为数据上传到云服务器之前：
获取实时的行为数据，其中，所述行为数据包括操作行为信息和产生所述操作行为的用户信息，所述操作行为包括对演示文稿的操作和对所述演示文稿展示效果的操作；
获取麦克风的音频数据和摄像头的视频数据，确定实时的音视频数据。
9.一种终端设备，其特征在于，包括：
存储器以及一个或多个处理器；
所述存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6任一所述的远程会议实现方法。
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-6任一所述的远程会议实现方法。
CN202010820692.XA 2020-08-14 2020-08-14 远程会议实现方法、装置、终端设备和存储介质 Active CN111885345B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010820692.XA CN111885345B (zh) 2020-08-14 2020-08-14 远程会议实现方法、装置、终端设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010820692.XA CN111885345B (zh) 2020-08-14 2020-08-14 远程会议实现方法、装置、终端设备和存储介质

Publications (2)

Publication Number Publication Date
CN111885345A true CN111885345A (zh) 2020-11-03
CN111885345B CN111885345B (zh) 2022-06-24

Family

ID=73203865

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010820692.XA Active CN111885345B (zh) 2020-08-14 2020-08-14 远程会议实现方法、装置、终端设备和存储介质

Country Status (1)

Country Link
CN (1) CN111885345B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117499688A (zh) * 2023-12-29 2024-02-02 淘宝（中国）软件有限公司 直播连麦中音视频合流处理方法、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101286865A (zh) * 2008-05-14 2008-10-15 华为技术有限公司 音视频会议中实现电子白板的方法、装置及系统
US20110208822A1 (en) * 2010-02-22 2011-08-25 Yogesh Chunilal Rathod Method and system for customized, contextual, dynamic and unified communication, zero click advertisement and prospective customers search engine
CN102291562A (zh) * 2008-10-20 2011-12-21 华为终端有限公司 会议终端、会议服务器、会议系统及数据处理方法
EP2837154A1 (de) * 2013-02-22 2015-02-18 Unify GmbH & Co. KG Verfahren zur steuerung von datenströmen einer virtuellen sitzung mit mehreren teilnehmern, kollaborationsserver, computerprogramm, computerprogrammprodukt und digitales speichermedium
US20150149540A1 (en) * 2013-11-22 2015-05-28 Dell Products, L.P. Manipulating Audio and/or Speech in a Virtual Collaboration Session
US20150178260A1 (en) * 2013-12-20 2015-06-25 Avaya, Inc. Multi-layered presentation and mechanisms for collaborating with the same
CN105100679A (zh) * 2014-05-23 2015-11-25 三星电子株式会社 提供协作服务的服务器和方法及接收协作服务的用户终端
US9749367B1 (en) * 2013-03-07 2017-08-29 Cisco Technology, Inc. Virtualization of physical spaces for online meetings
CN110609779A (zh) * 2019-08-20 2019-12-24 腾讯科技（深圳）有限公司 数据处理方法及装置、电子设备和计算机可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101286865A (zh) * 2008-05-14 2008-10-15 华为技术有限公司 音视频会议中实现电子白板的方法、装置及系统
CN102291562A (zh) * 2008-10-20 2011-12-21 华为终端有限公司 会议终端、会议服务器、会议系统及数据处理方法
US20110208822A1 (en) * 2010-02-22 2011-08-25 Yogesh Chunilal Rathod Method and system for customized, contextual, dynamic and unified communication, zero click advertisement and prospective customers search engine
EP2837154A1 (de) * 2013-02-22 2015-02-18 Unify GmbH & Co. KG Verfahren zur steuerung von datenströmen einer virtuellen sitzung mit mehreren teilnehmern, kollaborationsserver, computerprogramm, computerprogrammprodukt und digitales speichermedium
US9749367B1 (en) * 2013-03-07 2017-08-29 Cisco Technology, Inc. Virtualization of physical spaces for online meetings
US20150149540A1 (en) * 2013-11-22 2015-05-28 Dell Products, L.P. Manipulating Audio and/or Speech in a Virtual Collaboration Session
US20150178260A1 (en) * 2013-12-20 2015-06-25 Avaya, Inc. Multi-layered presentation and mechanisms for collaborating with the same
CN105100679A (zh) * 2014-05-23 2015-11-25 三星电子株式会社 提供协作服务的服务器和方法及接收协作服务的用户终端
CN110609779A (zh) * 2019-08-20 2019-12-24 腾讯科技（深圳）有限公司 数据处理方法及装置、电子设备和计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
程瀚: ""视频会议客户端信息管理系统的设计与实现"", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117499688A (zh) * 2023-12-29 2024-02-02 淘宝（中国）软件有限公司 直播连麦中音视频合流处理方法、设备及存储介质
CN117499688B (zh) * 2023-12-29 2024-05-03 淘宝（中国）软件有限公司 直播连麦中音视频合流处理方法、设备及存储介质

Also Published As

Publication number Publication date
CN111885345B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
US6665835B1 (en) Real time media journaler with a timing event coordinator
Zhang et al. An automated end-to-end lecture capture and broadcasting system
US8139099B2 (en) Generating representative still images from a video recording
US20140123014A1 (en) Method and system for chat and activity stream capture and playback
US20080165388A1 (en) Automatic Content Creation and Processing
JP2009111991A (ja) コンピュータ読み取り可能な記録媒体およびテレビ会議装置
US9055193B2 (en) System and method of a remote conference
EP3055761B1 (en) Framework for screen content sharing system with generalized screen descriptions
JP2004343756A (ja) メディア再生アーキテクチャのための方法並びにシステム
US8693842B2 (en) Systems and methods for enriching audio/video recordings
JP2008293219A (ja) コンテンツ管理システム、コンテンツ管理システムにおける情報処理装置、情報処理装置におけるリンク情報生成方法、情報処理装置におけるリンク情報生成プログラム、及びリンク情報生成プログラムを記録した記録媒体
CN111818383B (zh) 视频数据的生成方法、系统、装置、电子设备及存储介质
CN111885345B (zh) 远程会议实现方法、装置、终端设备和存储介质
WO2015035934A1 (en) Methods and systems for facilitating video preview sessions
JP2010251920A (ja) コンテンツ制作管理装置、コンテンツ制作装置、コンテンツ制作管理プログラム、及びコンテンツ制作プログラム
US20220377407A1 (en) Distributed network recording system with true audio to video frame synchronization
US11611609B2 (en) Distributed network recording system with multi-user audio manipulation and editing
US11838338B2 (en) Method and device for conference control and conference participation, server, terminal, and storage medium
US11395049B2 (en) Method and device for content recording and streaming
JP2007066315A (ja) 共有ホワイトボード履歴再現方法、共有ホワイトボードシステム、プログラム、および記録媒体
JP2001350775A (ja) 複数情報提示方法及び装置
CN112738617A (zh) 一种有声幻灯片录制与播放方法及系统
Rocha et al. Hyper-linked Communications: WebRTC enabled asynchronous collaboration
de Almeida et al. Sensemaking: A Proposal for a Real-Time on the Fly Video Streaming Platform
CN112004100A (zh) 将多路音视频源集合成单路音视频源的驱动方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant