CN111381918A - 一种实现远程协助的方法及相关设备 - Google Patents

一种实现远程协助的方法及相关设备 Download PDF

Info

Publication number
CN111381918A
CN111381918A CN201811653187.XA CN201811653187A CN111381918A CN 111381918 A CN111381918 A CN 111381918A CN 201811653187 A CN201811653187 A CN 201811653187A CN 111381918 A CN111381918 A CN 111381918A
Authority
CN
China
Prior art keywords
data
video stream
electronic whiteboard
assisting
party
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811653187.XA
Other languages
English (en)
Inventor
苏达峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN202211615052.0A priority Critical patent/CN116795464A/zh
Priority to CN201811653187.XA priority patent/CN111381918A/zh
Priority to US17/419,444 priority patent/US20220078214A1/en
Priority to EP19903954.6A priority patent/EP3905669A4/en
Priority to PCT/CN2019/129749 priority patent/WO2020135851A1/zh
Publication of CN111381918A publication Critical patent/CN111381918A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/10—Architectures or entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M7/00—Arrangements for interconnection between switching centres
    • H04M7/0024—Services and arrangements where telephone services are combined with data services
    • H04M7/0027—Collaboration services where a computer is used for data transfer and the telephone is used for telephonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/50—Telephonic communication in combination with video communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明实施例公开了一种实现远程协助的方法及相关设备，其中方法之一包括：协助方设备接收并显示第一数据，所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；发送第二数据。如此，实现了协助方对请求协助方的实时视频内容叠加电子白板，使得远程协助更加高效准确。

Description

一种实现远程协助的方法及相关设备
技术领域
本发明实施例涉及但不限于多媒体视频会议技术领域，更具体的涉及一种实现远程协助的方法及相关设备。
背景技术
现有远程协助方案主要包括如下几类：1)、图片，文档等文件形式数据离线回传，然后语音在线或者消息等离线方式协助；2)、集成监控系统，采用单向视频实时监控数据回传，然后其他方式协作；3)远程桌面等方式远程协助。这几类方案的主要问题在于协助手段有限，无法准确实时把协助方的指示传送到前方(请求协助方)。
发明内容
有鉴于此，本发明实施例提供了一种实现远程协助的方法，包括：协助方设备接收并显示第一数据，所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
发送第二数据，所述第二数据包括以下之一：所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。
本发明实施例还提供了一种实现远程协助的方法，包括：
请求协助方设备发送第一数据，所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
接收并显示第二数据，所述第二数据包括以下之一：所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。
本发明实施例还提供了一种实现远程协助的方法，包括：
协助服务器接收请求协助方设备发送的第一数据，并转发给协助方设备；所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
接收所述协助方设备发送的第二数据，并转发给所述请求协助方设备；所述第二数据包括以下之一：所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。
本发明实施例还提供了一种实现远程协助的方法，包括：
第三方协助设备接收协助方设备发送的第一请求，所述第一请求用于请求第三方参与协助；
向协助服务器发送建立连接请求，并接收所述协助服务器发送的第一数据，所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
发送第三数据，所述第三数据包括以下之一：所述第一数据中的视频流和第三电子白板数据、从所述第一数据中的视频流中截取的图片和第三电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据、所述第三方协助设备采集的音频流以及所述第一数据中的视频流和第三电子白板数据、所述第三方协助设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第三电子白板数据、所述第三方协助设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据。
本发明实施例还提供了一种实现远程协助的方法，包括：
协助服务器接收至少一个第三方协助设备发送的建立连接请求，并向所述至少一个第三方协助设备发送第一数据；
接收协助方设备发送的第二数据和所述至少一个第三方协助设备发送的第三数据；
将所述第二数据和所述第三数据进行混合处理后得到的第四数据发送给请求协助方设备。
本发明实施例还提供了一种实现远程协助的方法，包括：
请求协助方设备接收并显示第四数据，所述第四数据包括：将第二数据和第三数据中的音频流进行混音处理后得到的音频流，将第二电子白板数据和第三电子白板数据进行内部叠加混合处理后得到的第四电子白板数据，以及正在进行电子白板标注的第一数据中的视频流或者正在进行电子白板标注的从所述第一数据中的视频流中截取的图片或者正在进行电子白板标注的从所述第一数据中的视频流中选取的回放视频流。
本发明实施例还提供了一种协助方设备，包括：
接收及显示单元，用于接收并显示第一数据，所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
发送单元，用于发送第二数据，所述第二数据包括以下之一：所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。
本发明实施例还提供了一种请求协助方设备，包括：
发送单元，用于发送第一数据，所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
接收及显示单元，用于接收并显示第二数据，所述第二数据包括以下之一：所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。
本发明实施例还提供了一种协助服务器，包括：
第一接收及转发单元，用于接收请求协助方设备发送的第一数据，并转发给协助方设备；所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
第二接收及转发单元，用于接收所述协助方设备发送的第二数据，并转发给所述请求协助方设备；所述第二数据包括以下之一：所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。
本发明实施例还提供了一种第三方协助设备，包括：
接收单元，用于接收协助方设备发送的第一请求，所述第一请求用于请求第三方参与协助；
第一发送单元，用于向协助服务器发送建立连接请求，并接收所述协助服务器发送的第一数据，所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
第二发送单元，用于发送第三数据，所述第三数据包括以下之一：所述第一数据中的视频流和第三电子白板数据、从所述第一数据中的视频流中截取的图片和第三电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据、所述第三方协助设备采集的音频流以及所述第一数据中的视频流和第三电子白板数据、所述第三方协助设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第三电子白板数据、所述第三方协助设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据。
本发明实施例还提供了一种协助服务器，包括：
第一接收及发送单元，用于接收至少一个第三方协助设备发送的建立连接请求，并向所述至少一个第三方协助设备发送第一数据；
第二接收单元，用于接收协助方设备发送的第二数据和所述至少一个第三方协助设备发送的第三数据；
发送单元，用于将所述第二数据和所述第三数据进行混合处理后得到的第四数据发送给请求协助方设备。
本发明实施例还提供了一种请求协助设备，包括：
接收及显示单元，用于接收并显示第四数据，所述第四数据包括：将第二数据和第三数据中的音频流进行混音处理后得到的的音频流，将第二电子白板数据和第三电子白板数据进行内部叠加混合处理后得到的第四电子白板数据，以及正在进行电子白板标注的第一数据中的视频流或者正在进行电子白板标注的从所述第一数据中的视频流中截取的图片或者正在进行电子白板标注的从所述第一数据中的视频流中选取的回放视频流。
本发明实施例还提供了一种协助方设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现所述协助方设备执行的所述实现远程协助的方法。
本发明实施例还提供了一种请求协助方设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现所述请求协助方设备执行的所述实现远程协助的方法。
本发明实施例还提供了一种协助服务器，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现所述协助服务器执行的所述实现远程协助的方法。
本发明实施例还提供了一种第三方协助设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现所述第三方设备执行的所述实现远程协助的方法。
本发明实施例还提供了一种实现远程协助的系统，包括所述协助方设备、和所述请求协助方设备。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有信息处理程序，所述信息处理程序被处理器执行时实现上述任一项所述实现远程协助的方法的步骤。
与相关技术相比，本发明实施例提供了一种实现远程协助的方法及相关设备，其中方法之一包括：协助方设备接收并显示第一数据，所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；发送第二数据，所述第二数据包括以下之一：所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。如此，实现了协助方对请求协助方的实时视频内容叠加电子白板，使得远程协助更加高效准确。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本发明实施例一提供的实现远程协助的方法的流程示意图；
图2为本发明实施例二提供的实现远程协助的方法的流程示意图；
图3为本发明实施例三提供的实现远程协助的方法的流程示意图；
图4为本发明实施例四提供的实现远程协助的方法的流程示意图；
图5为本发明实施例五提供的实现远程协助的方法的流程示意图；
图6为本发明实施例六提供的实现远程协助的方法的流程示意图；
图7为本发明实施例七提供的实现远程协助的方法的流程示意图；
图8为本发明实施例八提供的实现远程协助的方法的流程示意图；
图9为本发明实施例九提供的实现远程协助的方法的流程示意图；
图10为本发明实施例十提供的实现远程协助的方法的流程示意图；
图11为本发明实施例十一提供的实现远程协助的方法的流程示意图；
图12为本发明实施例十二提供的协助方设备的结构示意图；
图13为本发明实施例十三提供的请求协助方设备的结构示意图；
图14为本发明实施例十四提供的协助服务器的结构示意图；
图15为本发明实施例十五提供的第三方协助设备的结构示意图；
图16为本发明实施例十六提供的另一种协助服务器的结构示意图；
图17为本发明实施例十七提供的另一种请求协助方设备的结构示意图；
图18为本发明实施例提供的实现远程协助的系统的结构示意图；
图19为本发明实施例提供的另一种实现远程协助的系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
视频会议中，主要通过IP网络传送会议中各方音视频数据，而摄像头采集的YUV数据非常大，以十兆每秒计；在有限的网络带宽中传送几乎不可能，所以需要通过某种技术在网络发送前压缩，收到后在解压播放；目前通常采用H.26x算法处理来做视频压缩，最新的H.265算法，720P30fps可以压缩到256k左右，使得移动网络中的实时视频应用具备技术条件。
视频业务中，在视频流发送给最终用户前可以按照用户需求做视频合成或者叠加，比如推送给用户的视频流可以叠加一个图片等信息，最终用户能看到远端实时视频信息外，还能看到视频业务系统叠加的信息如会场名称。
现有远程协助的方案主要问题在于协助手段有限，无法准确实时把协助方的指示传送到前方(请求协助方)。
互动电子白板是远程协助的一种新技术，用户通过各种网络接入服务器后，各方成员均可以在一个“白板”上涂写，同时各方成员均能看到其他成员涂写的数据；虚拟出各方成员在“一块白板”上涂写讨论的场景。
本发明实施例提供的技术方案，采用实时视频流合成技术和电子白板技术，设计了基于实时视频流的远程协助的技术方案。
实施例一
图1为本发明实施例一提供的实现远程协助的方法的流程示意图，如图1所示，该方法包括：
步骤101，协助方设备接收并显示第一数据，所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
步骤102，发送第二数据，所述第二数据包括以下之一：所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。
其中，当所述第一数据包括所述请求协助方设备采集的音频视频流和第一电子白板数据时，所述显示第一数据包括：
将所述请求协助方设备采集的音频视频流和第一电子白板数据进行叠加合成后进行显示。
其中，所述第一电子白板数据为所述请求协助方在所述请求协助方设备采集的视频流上做的标注涂写信息；
所述第二电子白板数据为所述协助方在所述第一数据中的视频流上做的标注涂写信息，或者所述协助方在从所述第一数据中的视频流中截取的图片上做的标注涂写信息，或者所述协助方在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。
其中，在所述协助方设备接收第一数据之前，该方法还包括：
所述协助方设备与所述请求协助方设备建立连接通道；
通过所述连接通道接收所述第一数据以及发送所述第二数据。
其中，在所述协助方设备接收第一数据之前，该方法还包括：
所述协助方设备通过协助服务器与所述请求协助方设备建立连接；
通过所述协助服务器接收所述第一数据以及发送所述第二数据。
其中，在协助方设备接收并显示第一数据之后，该方法还包括：
向至少一个第三方协助设备发送第一请求，所述第一请求用于请求第三方参与协助。
实施例二
图2为本发明实施例二提供的实现远程协助的方法的流程示意图，如图2所示，该方法包括：
步骤201，请求协助方设备发送第一数据，所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
步骤202，接收并显示第二数据，所述第二数据包括以下之一：所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。
其中，当所述第二数据包括所述第一数据中的视频流和第二电子白板数据时，所述显示第二数据包括：
将所述第一数据中的视频流和第二电子白板数据进行叠加合成后进行显示；
或者，当所述第二数据包括从所述第一数据中的视频流中截取的图片和第二电子白板数据时，所述显示第二数据包括：
将从所述第一数据中的视频流中截取的图片和第二电子白板数据进行叠加合成后进行显示；
或者，当所述第二数据包括从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据时，所述显示第二数据包括：
将从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据进行叠加合成后进行显示。
其中，所述第一电子白板数据为所述请求协助方在所述请求协助方设备采集的视频流上做的标注涂写信息；
所述第二电子白板数据为所述协助方在所述第一数据中的视频流上做的标注涂写信息，或者在从所述第一数据中的视频流中截取的图片上做的标注涂写信息，或者在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。
其中，在所述请求协助方设备发送第一数据之前，该方法还包括：
所述请求协助方设备与所述协助方设备建立连接通道；
通过所述连接通道发送所述第一数据以及接收所述第二数据。
其中，在所述请求协助方设备发送第一数据之前，该方法还包括：
所述请求协助方设备通过协助服务器与所述协助方设备建立连接；
通过所述协助服务器发送所述第一数据以及接收所述第二数据。
实施例三
图3为本发明实施例三提供的实现远程协助的方法的流程示意图，如图3所示，该方法包括：
步骤301，协助服务器接收请求协助方设备发送的第一数据，并转发给协助方设备；所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
步骤302，接收所述协助方设备发送的第二数据，并转发给所述请求协助方设备；所述第二数据包括以下之一：所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。
其中，所述第一电子白板数据为所述请求协助方在所述请求协助方设备采集的视频流上做的标注涂写信息；
所述第二电子白板数据为所述协助方在所述第一数据中的视频流上做的标注涂写信息，或者在从所述第一数据中的视频流中截取的图片上做的标注涂写信息，或者在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。
其中，在所述接收请求协助方设备发送的第一数据之前，该方法还包括：
接收所述接收请求协助方设备发送的协助请求；
为所述接收请求协助方设备分配对应的所述协助方设备，并为所述请求协助方设备和所述协助方设备建立在线连接。
下面通过四个具体的实施例详细阐述本发明实施例一、二、三提供的技术方案。
实施例四
图4为本发明实施例四提供的实现远程协助的方法的流程示意图，如图4所示，该方法包括：
步骤401，请求协助方设备向协助服务器发送协助请求；
其中，请求协助方发现自身无法解决问题，需要协助时，通过请求协助方设备向协助服务器(协助系统)申请协助。
步骤402，协助服务器为所述接收请求方分配对应的协助方(协助专家)，并为所述请求协助方设备和所述协助方设备建立在线连接；
其中，可以在协助方(协助专家)同意协助的前提下，为所述请求协助方设备和所述协助方设备建立在线连接，例如建立视频通话或在线会议等在线连接。
步骤403，请求协助方设备采集音视频流等数据并实时发送给协助服务器；
其中，请求协助方可以利用现场设备(可以是专业设备，也可以使移动设备的APP等)实时采集音视频。
另外，还可以在现场设备上进行批注涂写电子白板内容，并实时将采集的音视频流和该电子白板内容通过IP网络发送给协助服务器。
例如，请求协助方通过设备采集现场声音视频信号；请求协助方在必要时在本地视频流具体标注问题所在；请求协助方设备，把本地视频流上的标注(透明画布上的笔画信息)对应的电子白板数据和采集的音频视频流，通过IP网络发送给协助服务器。
步骤404，协助服务器接收到请求协助方设备发送的音视频流等数据后，转发给协助方设备；
其中，可以利用原来已经建立的在线连接传输所述音视频流等数据。
步骤405，协助方设备接收并显示协助服务器发送的音视频流等数据；
其中，如果接收的所述音视频流等数据中包括电子白板数据时，可以通过视频合成技术，把涂写信息的电子白板数据和视频流进行视频叠加/合成在一起进行展示(显示)。如此，协助方专家就能实时查看到现场具体情况以及请求协助方初步怀疑故障点，同时结合自身能力经验，给出具体诊断意见；实时标注问题所在具体位置等信息；
步骤406，协助方设备将把本地标注对应的电子白板数据和收到的视频流以及音频流通过IP网络发送给请求协助服务器；
其中，协助方专家可以依据自身能力经验，在协助设备(可以是专业设备，也可以移动设备的APP)上涂写(例如透明画布上的笔画)，并实时推送到请求协助方。
步骤407，协助服务器将协助方设备发送的数据转发给请求协助方设备；
步骤408，请求协助方设备接收并显示协助方设备发送的数据；
其中，申请协助方设备接收音视频流，以及协助方的电子白板信息，并把视频流和电子白板书画合成为一路视频进行显示，请求协助方能看到协助方在现场情况下的协助信息。
如此，请求协助方观看视频流，获取协助信息，完成整个请求协助流程。如果请求协助方仍然有疑问，则重复执行步骤403-408，完成整个请求协助流程。
本发明实施例四提供的技术方案，基于视频会议的实时传送原理，采用通用的媒体连接，使得请求协助方能获得丰富的协助方式，包括在线的语音协助，在线的视频协助，以及协助方对请求协助方的实时视频内容叠加电子白板，使得远程协助更加高效准确，提升了远程协助的准确性和效率。
实施例五
图5为本发明实施例五提供的实现远程协助的方法的流程示意图，如图5所示，该方法包括：
步骤501，请求协助方设备向协助服务器发送协助请求；
其中，请求协助方遇到问题时，可以通过随身设备(可以是专业设备，也可以是APP软件)向协助服务器(协助系统)请求协助。
步骤502，协助服务器为请求协助方分配协助方(协助专家)
其中，在协助服务器可以预先存在协助方(协助专家)信息库，当收到协助请求后，从协助方信息库中根据一定的原则选定协助方。
步骤503，协助服务器连接协助方设备；
其中，可以根据选定的协助方的信息连接协助方设备，并询问协助方是否同意协助。如果协助方同意协助，则执行下面步骤504；如果不同意可以选定其他协助方或者向请求协助方拒绝协助。
步骤504，为所述请求协助方设备和所述协助方设备建立连接；
其中，可以根据选定的协助方的信息为所述请求协助方设备和所述协助方设备建立连接。
其中，该建立连接可以是在线连接的各种形式，例如创建视频会议等方式。
步骤505，请求协助方借助设备采集实时音视频数据；
其中，请求协助方可以借助专业设备或者移动设备上的APP软件等采集现场的实时音视频数据，如果有需要还可以执行步骤506；
步骤506，在采集的本地视频上标注涂写电子白板数据；
其中，该电子白板数据可以是请求协助方的疑问等信息，比如怀疑现场网络某个设备故障等，可以方便协助方快速分析。
其中，该步骤为可选步骤。
步骤507，请求协助方设备将采集的音视频等数据发送给协助服务器；
其中，发送的数据可以包括音视频，还可以包括白板数据。
步骤508，协助服务器将收到的音视频等数据转发给协助方设备；
其中，上述发送或转发可以通过步骤504中已经建立的连接(通道)进行传输。
步骤509-511，协助方设备播放收到的音频信息和视频信息，如果还有电子白板数据，则把电子白板数据和视频叠加合成出来展示；
步骤512，协助方依据自身技能和经验，给出进一步分析，直接在收到的视频上做标注涂写新的电子白板数据；
其中，该新的电子白板数据，例如可以是通过分析某个设备某个单板信号灯闪烁异常情况，直接圈出某块单板位置。
步骤513-515，协助方设备将采集的音频流，并将涂写标注的电子白板数据以及接收到的视频流发送给协助服务器；
其中，可以通过步骤504中已经建立的连接或建立好的通道发送给协助服务器；
步骤516，协助服务器将收到的协助方设备发送的数据转发给请求协助方设备；
步骤517-519，请求协助方设备播放接收到的音频信息，并将接收的电子白板数据和视频叠加合成出来展示；
步骤520，如果请求协助方仍然有疑问，则重复走步骤505-519，完成整个请求协助流程
本发明实施例五提供的技术方案，音频数据，视频数据，电子白板数据在网络中实时传送，请求协助方和协助专家可以在“白板”上的实时标注涂写，实现了实时视频流协助，协助方对请求协助方的实时视频内容叠加电子白板，使得远程协助更加高效准确。
实施例六
图6为本发明实施例六提供的实现远程协助的方法的流程示意图，如图6所示，该方法包括：
步骤601，请求协助方设备向协助服务器发送协助请求；
其中，请求协助方遇到问题时，可以通过随身设备(可以是专业设备，也可以是APP软件)向协助服务器(协助系统)请求协助。
步骤602，协助服务器为请求协助方分配协助方(协助专家)
其中，在协助服务器可以预先存在协助方(协助专家)信息库，当收到协助请求后，从协助方信息库中根据一定的原则选定协助方。
步骤603，协助服务器连接协助方设备；
其中，可以根据选定的协助方的信息连接协助方设备，并询问协助方是否同意协助。如果协助方同意协助，则执行下面步骤504；如果不同意可以选定其他协助方或者向请求协助方拒绝协助。
步骤604，为所述请求协助方设备和所述协助方设备建立连接；
其中，可以根据选定的协助方的信息为所述请求协助方设备和所述协助方设备建立连接。
其中，该建立连接可以是在线连接的各种形式，例如创建视频会议等方式。
步骤605，请求协助方借助设备采集实时音视频数据；
其中，请求协助方可以借助专业设备或者移动设备上的APP软件等采集现场的实时音视频数据，如果有需要还可以执行步骤506；
步骤606，在采集的本地视频上标注涂写电子白板数据；
其中，该电子白板数据可以是请求协助方的疑问等信息，比如怀疑现场网络某个设备故障等，可以方便协助方快速分析。
其中，该步骤为可选步骤。
步骤607，请求协助方设备将采集的音视频等数据发送给协助服务器；
其中，发送的数据可以包括音视频，还可以包括白板数据。
步骤608，协助服务器将收到的音视频等数据转发给协助方设备；
其中，上述发送或转发可以通过步骤504中已经建立的连接(通道)进行传输。
步骤609-611，协助方设备播放收到的音频信息和视频信息，如果还有电子白板数据，则把电子白板数据和视频叠加合成出来展示；
步骤612-613，协助方依据自身技能和经验，从视频中抓取一幅或多幅图片，给出进一步分析，直接在抓取的图片上做标注涂写新的电子白板数据；
其中，该新的电子白板数据，例如可以是示波器某个波形存在问题，直接标注问题位置。
步骤614-616协助方设备将采集的音频流，并将涂写标注的电子白板数据以及抓取的图片发送给协助服务器；
其中，抓取的图片可以编码为视频流进行传输。
其中，可以通过步骤604中已经建立的连接或建立好的通道发送给协助服务器；
步骤617，协助服务器将收到的协助方设备发送的数据转发给请求协助方设备；
步骤618-620，请求协助方设备播放接收到的音频信息，并将接收的电子白板数据和视频(抓取的图片)叠加合成出来展示；
步骤621，如果请求协助方仍然有疑问，则重复走步骤605-620，完成整个请求协助流程
本发明实施例六提供的技术方案，音频数据，视频数据，电子白板数据在网络中实时传送，请求协助方和协助专家可以在“白板”上的实时标注涂写，实现了视频抓图协助，协助方对请求协助方的实时视频内容抓取图片后叠加电子白板，使得远程协助更加高效准确。
实施例七
图7为本发明实施例七提供的实现远程协助的方法的流程示意图，如图7所示，该方法包括：
步骤701，请求协助方设备向协助服务器发送协助请求；
其中，请求协助方遇到问题时，可以通过随身设备(可以是专业设备，也可以是APP软件)向协助服务器(协助系统)请求协助。
步骤702，协助服务器为请求协助方分配协助方(协助专家)
其中，在协助服务器可以预先存在协助方(协助专家)信息库，当收到协助请求后，从协助方信息库中根据一定的原则选定协助方。
步骤703，协助服务器连接协助方设备；
其中，可以根据选定的协助方的信息连接协助方设备，并询问协助方是否同意协助。如果协助方同意协助，则执行下面步骤504；如果不同意可以选定其他协助方或者向请求协助方拒绝协助。
步骤704，为所述请求协助方设备和所述协助方设备建立连接；
其中，可以根据选定的协助方的信息为所述请求协助方设备和所述协助方设备建立连接。
其中，该建立连接可以是在线连接的各种形式，例如创建视频会议等方式。
步骤705，请求协助方借助设备采集实时音视频数据；
其中，请求协助方可以借助专业设备或者移动设备上的APP软件等采集现场的实时音视频数据，如果有需要还可以执行步骤506；
步骤706，在采集的本地视频上标注涂写电子白板数据；
其中，该电子白板数据可以是请求协助方的疑问等信息，比如怀疑现场网络某个设备故障等，可以方便协助方快速分析。
其中，该步骤为可选步骤。
步骤707，请求协助方设备将采集的音视频等数据发送给协助服务器；
其中，发送的数据可以包括音视频，还可以包括白板数据。
步骤708，协助服务器将收到的音视频等数据转发给协助方设备；
其中，上述发送或转发可以通过步骤504中已经建立的连接(通道)进行传输。
步骤709-711，协助方设备播放收到的音频信息和视频信息，如果还有电子白板数据，则把电子白板数据和视频叠加合成出来展示；
步骤712-713，协助专家依据自身技能和经验，从已播放的视频流中选取一段回放，给出进一步分析，直接在回放视频流上做标注涂写新的电子白板数据；
步骤714-716协助方设备将采集的音频流，并将涂写标注的电子白板数据以及回放的视频流发送给协助服务器；
其中，抓取的图片可以编码为视频流进行传输。
其中，可以通过步骤704中已经建立的连接或建立好的通道发送给协助服务器；
步骤717，协助服务器将收到的协助方设备发送的数据转发给请求协助方设备；
步骤718-720，请求协助方设备播放接收到的音频信息，并将接收的电子白板数据和视频(回放视频流)叠加合成出来展示；
步骤721，如果请求协助方仍然有疑问，则重复走步骤605-620，完成整个请求协助流程
本发明实施例七提供的技术方案，音频数据，视频数据，电子白板数据在网络中实时传送，请求协助方和协助专家可以在“白板”上的实时标注涂写，实现了视频流回放协助，协助方对请求协助方的实时视频内容选取回放视频流后叠加电子白板，使得远程协助更加高效准确。
实施例八
图8为本发明实施例八提供的实现远程协助的方法的流程示意图，如图4所示，该方法包括：
步骤801，第三方协助设备接收协助方设备发送的第一请求，所述第一请求用于请求第三方参与协助；
步骤802，向协助服务器发送建立连接请求，并接收所述协助服务器发送的第一数据，所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
步骤803，发送第三数据，所述第三数据包括以下之一：所述第一数据中的视频流和第三电子白板数据、从所述第一数据中的视频流中截取的图片和第三电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据、所述第三方协助设备采集的音频流以及所述第一数据中的视频流和第三电子白板数据、所述第三方协助设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第三电子白板数据、所述第三方协助设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据。
其中，所述第一电子白板数据为所述请求协助方在所述请求协助方设备采集的视频流上做的标注涂写信息；
所述第三电子白板数据为所述第三方在所述第一数据中的视频流上做的标注涂写信息，或者所述第三方在从所述第一数据中的视频流中截取的图片上做的标注涂写信息，或者所述第三方在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。
实施例九
图9为本发明实施例九提供的实现远程协助的方法的流程示意图，如图9所示，该方法包括：
步骤901，协助服务器接收至少一个第三方协助设备发送的建立连接请求，并向所述至少一个第三方协助设备发送第一数据；
步骤902，接收协助方设备发送的第二数据和所述至少一个第三方协助设备发送的第三数据；
步骤903，将所述第二数据和所述第三数据进行混合处理后得到的第四数据发送给请求协助方设备。
其中，所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
所述第二数据包括以下之一：所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据；
所述第三数据包括以下之一：所述第一数据中的视频流和第三电子白板数据、从所述第一数据中的视频流中截取的图片和第三电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据、所述至少一个第三方协助设备采集的音频流以及所述第一数据中的视频流和第三电子白板数据、所述至少一个第三方协助设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第三电子白板数据、所述至少一个第三方协助设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据。
其中，所述第一电子白板数据为所述请求协助方在所述请求协助方设备采集的视频流上做的标注涂写信息；
所述第二电子白板数据为所述协助方在所述第一数据中的视频流上做的标注涂写信息，或者在从所述第一数据中的视频流中截取的图片上做的标注涂写信息，或者在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。
所述第三电子白板数据为所述至少一个第三方在所述第一数据中的视频流上做的标注涂写信息，或者所述至少一个第三方在从所述第一数据中的视频流中截取的图片上做的标注涂写信息，或者所述至少一个第三方在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。
其中，所述第四数据包括以下之一：所述第二数据和所述第三数据中进行混音处理后的音频流，将第二电子白板数据和第三电子白板数据进行内部叠加混合处理后的第四电子白板数据，以及正在进行电子白板标注的所述第一数据中的视频流或者从所述第一数据中的视频流中截取的图片或者从所述第一数据中的视频流中选取的回放视频流。
其中，在协助服务器接收至少一个第三方协助设备发送的建立连接请求之前，该方法还包括：
接收请求协助方设备发送的第一数据，并将所述第一数据转发给协助方设备。
实施例十
图10为本发明实施例十提供的实现远程协助的方法的流程示意图，如图10所示，该方法包括：
步骤1001，请求协助方设备接收并显示第四数据，所述第四数据包括：将第二数据和第三数据中的音频流进行混音处理后得到的音频流，将第二电子白板数据和第三电子白板数据进行内部叠加混合处理后得到的第四电子白板数据，以及正在进行电子白板标注的第一数据中的视频流或者正在进行电子白板标注的从所述第一数据中的视频流中截取的图片或者正在进行电子白板标注的从所述第一数据中的视频流中选取的回放视频流。
其中，在所述请求协助方设备接收第四数据之前，该方法还包括：
发送第一数据，所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据。
其中，所述第二数据包括以下之一：所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据；
所述第三数据包括以下之一：所述第一数据中的视频流和第三电子白板数据、从所述第一数据中的视频流中截取的图片和第三电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据、所述至少一个第三方协助设备采集的音频流以及所述第一数据中的视频流和第三电子白板数据、所述至少一个第三方协助设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第三电子白板数据、所述至少一个第三方协助设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据。
其中，所述第一电子白板数据为所述请求协助方在所述请求协助方设备采集的视频流上做的标注涂写信息；
所述第二电子白板数据为所述协助方在所述第一数据中的视频流上做的标注涂写信息，或者在从所述第一数据中的视频流中截取的图片上做的标注涂写信息，或者在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。
所述第三电子白板数据为所述至少一个第三方在所述第一数据中的视频流上做的标注涂写信息，或者所述至少一个第三方在从所述第一数据中的视频流中截取的图片上做的标注涂写信息，或者所述至少一个第三方在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。
其中，所述显示第四数据，包括：
将所述第四数据中的第四电子白板数据和视频流或者图片或者回放视频流进行叠加合成后进行显示。
下面通过一个具体的实施例详细阐述本发明实施例八、九、十提供的技术方案。
实施例十一
如果协助专家无法解决问题，可以邀请第三方或更多协助方加入，共同解决请求协助方问题。
图11为本发明实施例十一提供的实现远程协助的方法的流程示意图，如图10所示，该方法包括：
步骤1101，请求协助方设备向协助服务器发送协助请求；
其中，请求协助方遇到问题时，可以通过随身设备(可以是专业设备，也可以是APP软件)向协助服务器(协助系统)请求协助。
步骤1102，协助服务器为请求协助方分配协助方(协助专家)
其中，在协助服务器可以预先存在协助方(协助专家)信息库，当收到协助请求后，从协助方信息库中根据一定的原则选定协助方。
步骤1103，协助服务器连接协助方设备；
其中，可以根据选定的协助方的信息连接协助方设备，并询问协助方是否同意协助。如果协助方同意协助，则执行下面步骤504；如果不同意可以选定其他协助方或者向请求协助方拒绝协助。
步骤1104，为所述请求协助方设备和所述协助方设备建立连接；
其中，可以根据选定的协助方的信息为所述请求协助方设备和所述协助方设备建立连接。
其中，该建立连接可以是在线连接的各种形式，例如创建视频会议等方式。
步骤1105，请求协助方借助设备采集实时音视频数据；
其中，请求协助方可以借助专业设备或者移动设备上的APP软件等采集现场的实时音视频数据，如果有需要还可以执行步骤506；
步骤1106，在采集的本地视频上标注涂写电子白板数据；
其中，该电子白板数据可以是请求协助方的疑问等信息，比如怀疑现场网络某个设备故障等，可以方便协助方快速分析。
其中，该步骤为可选步骤。
步骤1107，请求协助方设备将采集的音视频等数据发送给协助服务器；
其中，发送的数据可以包括音视频，还可以包括白板数据。
步骤1108，协助服务器将收到的音视频等数据转发给协助方设备；
其中，上述发送或转发可以通过步骤504中已经建立的连接(通道)进行传输。
步骤1109-1111，协助方设备播放收到的音频信息和视频信息，如果还有电子白板数据，则把电子白板数据和视频叠加合成出来展示；
步骤1112，协助方根据自身技能和经验无法解决问题，则可以邀请第三方(第三方协助专家)协助；
其中，协助方可以连接第三方协助设备，询问第三方是否同意加入协助，如果第三方同意协助，则执行步骤1013；
步骤1113，第三方协助设备和协助服务器建立连接，加入请求协助方和协助方的链接；
其中，例如请求协助方和协助方的链接可以为在线视频会议，第三方可以加入在线多点会议。
步骤1114，协助服务器将请求协助方发送的数据发送给第三方协助设备；
步骤1115-1118，协助方设备将采集的音频流，并将涂写标注的电子白板数据以及接收到的视频流发送给协助服务器；
其中，协助方可以依据自身技能和经验，在视频流上做出进一步分析，直接在视频流上做标注涂写电子白板数据；
其中，可以通过步骤1104中已经建立的连接或建立好的通道发送给协助服务器；
步骤1119-1121，第三方协助设备播放收到的音频信息和视频信息，如果还有电子白板数据，则把电子白板数据和视频叠加合成出来展示；
步骤1122-1125，第三方设备将采集的音频流，并将涂写标注的电子白板数据以及接收到的视频流发送给协助服务器；
其中，第三方可以依据自身技能和经验，在视频流上做出进一步分析，直接在视频流上做标注涂写电子白板数据；
其中，可以通过步骤1113中已经建立的连接或建立好的通道发送给协助服务器；
步骤1126，协助服务器把收到音频数据混音处理，收到电子白板数据内部叠加混合处理，发送给请求协助方设备；视频则是，如果谁在写“白板”则把那位协助方设备过来的视频流发送给申请协助方；
其中，由于数据都是实时传输的，如果是协助方在写白板则将协助方发送的视频数据发送给请求协助方，如果是第三方协助方在写白板则将第三方发送的视频数据发送给请求协助方。
步骤1127-1129，请求协助方设备播放接收到的音频信息，并将接收的电子白板数据和视频叠加合成出来展示；
其中，如果请求协助方仍然有疑问，则可以重复步骤1105-1129，完成整个请求协助流程。
其中，如果协助方需要要求更多人协助时，可以重复步骤1112-1114，邀请其他的第三方参与协助。
其中，协助方或者第三方可以在请求协助方发的视频流上进行标注涂写电子白板数据，正如本发明实施例中所述，也可以从请求协助方发的视频流中抓取图片进行标注涂写电子白板数据，也可以从请求协助方发的视频流中选取回放视频进行标注涂写电子白板数据，不同的协助方也可以选择不同的写白板方式，由多种协助手段并行。
本发明实施例十一提供的技术方案，音频数据，视频数据，电子白板数据在网络中实时传送，请求协助方和协助专家可以在“白板”上的实时标注涂写，实现了多人参与视频协助，协助方对请求协助方的实时视频内容叠加电子白板，使得远程协助更加高效准确。
实施例十二
图12为本发明实施例十二提供的协助方设备的结构示意图，如图12所示，该协助方设备包括：
接收及显示单元，用于接收并显示第一数据，所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
发送单元，用于发送第二数据，所述第二数据包括以下之一：所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。
其中，所述接收及显示单元，具体用于将所述请求协助方设备采集的音频视频流和第一电子白板数据进行叠加合成后进行显示。
其中，所述第一电子白板数据为所述请求协助方在所述请求协助方设备采集的视频流上做的标注涂写信息；
所述第二电子白板数据为所述协助方在所述第一数据中的视频流上做的标注涂写信息，或者所述协助方在从所述第一数据中的视频流中截取的图片上做的标注涂写信息，或者所述协助方在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。
其中，还包括建立单元，
所述建立单元，用于在所述协助方设备接收第一数据之前，与所述请求协助方设备建立连接通道；
通过所述连接通道接收所述第一数据以及发送所述第二数据。
其中，还包括建立单元，
所述建立单元，用于通过协助服务器与所述请求协助方设备建立连接；
通过所述协助服务器接收所述第一数据以及发送所述第二数据。
其中，还包括发送单元，用于在协助方设备接收并显示第一数据之后，向至少一个第三方协助设备发送第一请求，所述第一请求用于请求第三方参与协助。
实施例十三
图13为本发明实施例十三提供的请求协助方设备的结构示意图，如图13所示，该请求协助方设备包括：
发送单元，用于发送第一数据，所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
接收及显示单元，用于接收并显示第二数据，所述第二数据包括以下之一：所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。
其中，所述接收及显示单元，具体用于当所述第二数据包括所述第一数据中的视频流和第二电子白板数据时，将所述第一数据中的视频流和第二电子白板数据进行叠加合成后进行显示；
或者，当所述第二数据包括从所述第一数据中的视频流中截取的图片和第二电子白板数据时，将从所述第一数据中的视频流中截取的图片和第二电子白板数据进行叠加合成后进行显示；
或者，当所述第二数据包括从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据时，将从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据进行叠加合成后进行显示。
其中，所述第一电子白板数据为所述请求协助方在所述请求协助方设备采集的视频流上做的标注涂写信息；
所述第二电子白板数据为所述协助方在所述第一数据中的视频流上做的标注涂写信息，或者在从所述第一数据中的视频流中截取的图片上做的标注涂写信息，或者在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。
其中，还包括建立单元，用于在所述请求协助方设备发送第一数据之前，与所述协助方设备建立连接通道；
通过所述连接通道发送所述第一数据以及接收所述第二数据。
其中，还包括建立单元，用于在所述请求协助方设备发送第一数据之前，所述请求协助方设备通过协助服务器与所述协助方设备建立连接；
通过所述协助服务器发送所述第一数据以及接收所述第二数据。
实施例十四
图14为本发明实施例十四提供的协助服务器的结构示意图，如图14所示，该协助服务器包括：
第一接收及转发单元，用于接收请求协助方设备发送的第一数据，并转发给协助方设备；所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
第二接收及转发单元，用于接收所述协助方设备发送的第二数据，并转发给所述请求协助方设备；所述第二数据包括以下之一：所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。
其中，所述第一电子白板数据为所述请求协助方在所述请求协助方设备采集的视频流上做的标注涂写信息；
所述第二电子白板数据为所述协助方在所述第一数据中的视频流上做的标注涂写信息，或者在从所述第一数据中的视频流中截取的图片上做的标注涂写信息，或者在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。
其中，还包括处理单元，用于在所述接收请求协助方设备发送的第一数据之前，接收所述接收请求协助方设备发送的协助请求；为所述接收请求协助方设备分配对应的所述协助方设备，并为所述请求协助方设备和所述协助方设备建立在线连接。
实施例十五
图15为本发明实施例十五提供的第三方协助设备的结构示意图，如图15所示，该第三方协助设备包括：
接收单元，用于接收协助方设备发送的第一请求，所述第一请求用于请求第三方参与协助；
第一发送单元，用于向协助服务器发送建立连接请求，并接收所述协助服务器发送的第一数据，所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
第二发送单元，用于发送第三数据，所述第三数据包括以下之一：所述第一数据中的视频流和第三电子白板数据、从所述第一数据中的视频流中截取的图片和第三电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据、所述第三方协助设备采集的音频流以及所述第一数据中的视频流和第三电子白板数据、所述第三方协助设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第三电子白板数据、所述第三方协助设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据。
其中，所述第一电子白板数据为所述请求协助方在所述请求协助方设备采集的视频流上做的标注涂写信息；
所述第三电子白板数据为所述第三方在所述第一数据中的视频流上做的标注涂写信息，或者所述第三方在从所述第一数据中的视频流中截取的图片上做的标注涂写信息，或者所述第三方在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。
实施例十六
图16为本发明实施例十六提供的另一种协助服务器的结构示意图，如图16所示，该协助服务器包括：
第一接收及发送单元，用于接收至少一个第三方协助设备发送的建立连接请求，并向所述至少一个第三方协助设备发送第一数据；
第二接收单元，用于接收协助方设备发送的第二数据和所述至少一个第三方协助设备发送的第三数据；
发送单元，用于将所述第二数据和所述第三数据进行混合处理后得到的第四数据发送给请求协助方设备。
其中，所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
所述第二数据包括以下之一：所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据；
所述第三数据包括以下之一：所述第一数据中的视频流和第三电子白板数据、从所述第一数据中的视频流中截取的图片和第三电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据、所述至少一个第三方协助设备采集的音频流以及所述第一数据中的视频流和第三电子白板数据、所述至少一个第三方协助设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第三电子白板数据、所述至少一个第三方协助设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据。
其中，所述第一电子白板数据为所述请求协助方在所述请求协助方设备采集的视频流上做的标注涂写信息；
所述第二电子白板数据为所述协助方在所述第一数据中的视频流上做的标注涂写信息，或者在从所述第一数据中的视频流中截取的图片上做的标注涂写信息，或者在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。
所述第三电子白板数据为所述至少一个第三方在所述第一数据中的视频流上做的标注涂写信息，或者所述至少一个第三方在从所述第一数据中的视频流中截取的图片上做的标注涂写信息，或者所述至少一个第三方在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。
其中，所述第四数据包括以下之一：所述第二数据和所述第三数据中进行混音处理后的音频流，将第二电子白板数据和第三电子白板数据进行内部叠加混合处理后的第四电子白板数据，以及正在进行电子白板标注的所述第一数据中的视频流或者从所述第一数据中的视频流中截取的图片或者从所述第一数据中的视频流中选取的回放视频流。
其中，还包括处理单元，用于在协助服务器接收至少一个第三方协助设备发送的建立连接请求之前，接收请求协助方设备发送的第一数据，并将所述第一数据转发给协助方设备。
实施例十七
图17为本发明实施例十七提供的另一种请求协助方设备的结构示意图，如图17所示，该请求协助方设备包括：
接收及显示单元，用于接收并显示第四数据，所述第四数据包括：将第二数据和第三数据中的音频流进行混音处理后得到的的音频流，将第二电子白板数据和第三电子白板数据进行内部叠加混合处理后得到的第四电子白板数据，以及正在进行电子白板标注的第一数据中的视频流或者正在进行电子白板标注的从所述第一数据中的视频流中截取的图片或者正在进行电子白板标注的从所述第一数据中的视频流中选取的回放视频流。
其中，还包括发送单元，用于在所述请求协助方设备接收第四数据之前，发送第一数据，所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据。
其中，所述第二数据包括以下之一：所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据；
所述第三数据包括以下之一：所述第一数据中的视频流和第三电子白板数据、从所述第一数据中的视频流中截取的图片和第三电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据、所述至少一个第三方协助设备采集的音频流以及所述第一数据中的视频流和第三电子白板数据、所述至少一个第三方协助设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第三电子白板数据、所述至少一个第三方协助设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据。
其中，所述第一电子白板数据为所述请求协助方在所述请求协助方设备采集的视频流上做的标注涂写信息；
所述第二电子白板数据为所述协助方在所述第一数据中的视频流上做的标注涂写信息，或者在从所述第一数据中的视频流中截取的图片上做的标注涂写信息，或者在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。
所述第三电子白板数据为所述至少一个第三方在所述第一数据中的视频流上做的标注涂写信息，或者所述至少一个第三方在从所述第一数据中的视频流中截取的图片上做的标注涂写信息，或者所述至少一个第三方在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。
其中，所述接收及显示单元，具体用于将所述第四数据中的第四电子白板数据和视频流或者图片或者回放视频流进行叠加合成后进行显示。
本发明实施例还提供了一种协助方设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现协助方设备执行的上述任一项所述实现远程协助的方法。
本发明实施例还提供了一种请求协助方设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现请求协助方设备执行的上述任一项所述实现远程协助的方法。
本发明实施例还提供了一种协助服务器，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现协助服务器执行的上述任一项所述实现远程协助的方法。
本发明实施例还提供了一种第三方协助设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现第三方协助设备执行的上述任一项所述实现远程协助的方法。
如图18所示，本发明实施例还提供了一种实现远程协助的系统，包括上述任一项所述的协助方设备和上述任一项所述的请求协助方设备。协助方设备和请求协助方设备之间直接建立连接，发送和接收协助数据。
如图19所示，本发明实施例还提供了另一种实现远程协助的系统，包括上述任一项所述的协助方设备、上述任一项所述的请求协助方设备、还包括：上述任一项所述的协助服务器。协助方设备和请求协助方设备之间通过协助服务器建立连接，通过协助服务器发送和接收协助数据。
其中，该系统还包括：上述任一项所述的第三方协助设备。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有信息处理程序，所述信息处理程序被处理器执行时实现上述任一项所述实现远程协助的方法的步骤
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (40)

1.一种实现远程协助的方法，包括：
协助方设备接收并显示第一数据，所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
发送第二数据，所述第二数据包括以下之一：所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。
2.根据权利要求1所述的方法，其特征在于，当所述第一数据包括所述请求协助方设备采集的音频视频流和第一电子白板数据时，所述显示第一数据包括：
将所述请求协助方设备采集的音频视频流和第一电子白板数据进行叠加合成后进行显示。
3.根据权利要求1所述的方法，其特征在于，所述第一电子白板数据为所述请求协助方在所述请求协助方设备采集的视频流上做的标注涂写信息；
所述第二电子白板数据为所述协助方在所述第一数据中的视频流上做的标注涂写信息，或者所述协助方在从所述第一数据中的视频流中截取的图片上做的标注涂写信息，或者所述协助方在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。
4.根据权利要求1所述的方法，其特征在于，在所述协助方设备接收第一数据之前，该方法还包括：
所述协助方设备与所述请求协助方设备建立连接通道；
通过所述连接通道接收所述第一数据以及发送所述第二数据。
5.根据权利要求1所述的方法，其特征在于，在所述协助方设备接收第一数据之前，该方法还包括：
所述协助方设备通过协助服务器与所述请求协助方设备建立连接；
通过所述协助服务器接收所述第一数据以及发送所述第二数据。
6.根据权利要求1所述的方法，其特征在于，在协助方设备接收并显示第一数据之后，该方法还包括：
向至少一个第三方协助设备发送第一请求，所述第一请求用于请求第三方参与协助。
7.一种实现远程协助的方法，包括：
请求协助方设备发送第一数据，所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
接收并显示第二数据，所述第二数据包括以下之一：所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。
8.根据权利要求7所述的方法，其特征在于，
当所述第二数据包括所述第一数据中的视频流和第二电子白板数据时，所述显示第二数据包括：
将所述第一数据中的视频流和第二电子白板数据进行叠加合成后进行显示；
或者，当所述第二数据包括从所述第一数据中的视频流中截取的图片和第二电子白板数据时，所述显示第二数据包括：
将从所述第一数据中的视频流中截取的图片和第二电子白板数据进行叠加合成后进行显示；
或者，当所述第二数据包括从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据时，所述显示第二数据包括：
将从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据进行叠加合成后进行显示。
9.根据权利要求7所述的方法，其特征在于，
所述第一电子白板数据为所述请求协助方在所述请求协助方设备采集的视频流上做的标注涂写信息；
所述第二电子白板数据为所述协助方在所述第一数据中的视频流上做的标注涂写信息，或者在从所述第一数据中的视频流中截取的图片上做的标注涂写信息，或者在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。
10.根据权利要求7所述的方法，其特征在于，在所述请求协助方设备发送第一数据之前，该方法还包括：
所述请求协助方设备与所述协助方设备建立连接通道；
通过所述连接通道发送所述第一数据以及接收所述第二数据。
11.根据权利要求7所述的方法，其特征在于，在所述请求协助方设备发送第一数据之前，该方法还包括：
所述请求协助方设备通过协助服务器与所述协助方设备建立连接；
通过所述协助服务器发送所述第一数据以及接收所述第二数据。
12.一种实现远程协助的方法，包括：
协助服务器接收请求协助方设备发送的第一数据，并转发给协助方设备；所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
接收所述协助方设备发送的第二数据，并转发给所述请求协助方设备；所述第二数据包括以下之一：所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。
13.根据权利要求12所述的方法，其特征在于，
所述第一电子白板数据为所述请求协助方在所述请求协助方设备采集的视频流上做的标注涂写信息；
所述第二电子白板数据为所述协助方在所述第一数据中的视频流上做的标注涂写信息，或者在从所述第一数据中的视频流中截取的图片上做的标注涂写信息，或者在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。
14.根据权利要求12所述的方法，其特征在于，在所述接收请求协助方设备发送的第一数据之前，该方法还包括：
接收所述接收请求协助方设备发送的协助请求；
为所述接收请求协助方设备分配对应的所述协助方设备，并为所述请求协助方设备和所述协助方设备建立在线连接。
15.一种实现远程协助的方法，包括：
第三方协助设备接收协助方设备发送的第一请求，所述第一请求用于请求第三方参与协助；
向协助服务器发送建立连接请求，并接收所述协助服务器发送的第一数据，所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
发送第三数据，所述第三数据包括以下之一：所述第一数据中的视频流和第三电子白板数据、从所述第一数据中的视频流中截取的图片和第三电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据、所述第三方协助设备采集的音频流以及所述第一数据中的视频流和第三电子白板数据、所述第三方协助设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第三电子白板数据、所述第三方协助设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据。
16.根据权利要求15所述的方法，其特征在于，
所述第一电子白板数据为所述请求协助方在所述请求协助方设备采集的视频流上做的标注涂写信息；
所述第三电子白板数据为所述第三方在所述第一数据中的视频流上做的标注涂写信息，或者所述第三方在从所述第一数据中的视频流中截取的图片上做的标注涂写信息，或者所述第三方在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。
17.一种实现远程协助的方法，包括：
协助服务器接收至少一个第三方协助设备发送的建立连接请求，并向所述至少一个第三方协助设备发送第一数据；
接收协助方设备发送的第二数据和所述至少一个第三方协助设备发送的第三数据；
将所述第二数据和所述第三数据进行混合处理后得到的第四数据发送给请求协助方设备。
18.根据权利要求17所述的方法，其特征在于，
所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
所述第二数据包括以下之一：所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据；
所述第三数据包括以下之一：所述第一数据中的视频流和第三电子白板数据、从所述第一数据中的视频流中截取的图片和第三电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据、所述至少一个第三方协助设备采集的音频流以及所述第一数据中的视频流和第三电子白板数据、所述至少一个第三方协助设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第三电子白板数据、所述至少一个第三方协助设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据。
19.根据权利要求18所述的方法，其特征在于，该方法还包括：
所述第一电子白板数据为所述请求协助方在所述请求协助方设备采集的视频流上做的标注涂写信息；
所述第二电子白板数据为所述协助方在所述第一数据中的视频流上做的标注涂写信息，或者在从所述第一数据中的视频流中截取的图片上做的标注涂写信息，或者在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息；
所述第三电子白板数据为所述至少一个第三方在所述第一数据中的视频流上做的标注涂写信息，或者所述至少一个第三方在从所述第一数据中的视频流中截取的图片上做的标注涂写信息，或者所述至少一个第三方在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。
20.根据权利要求17所述的方法，其特征在于，
所述第四数据包括以下之一：所述第二数据和所述第三数据中进行混音处理后的音频流，将第二电子白板数据和第三电子白板数据进行内部叠加混合处理后的第四电子白板数据，以及正在进行电子白板标注的所述第一数据中的视频流或者从所述第一数据中的视频流中截取的图片或者从所述第一数据中的视频流中选取的回放视频流。
21.根据权利要求17所述的方法，其特征在于，在协助服务器接收至少一个第三方协助设备发送的建立连接请求之前，该方法还包括：
接收请求协助方设备发送的第一数据，并将所述第一数据转发给协助方设备。
22.一种实现远程协助的方法，包括：
请求协助方设备接收并显示第四数据，所述第四数据包括：将第二数据和第三数据中的音频流进行混音处理后得到的音频流，将第二电子白板数据和第三电子白板数据进行内部叠加混合处理后得到的第四电子白板数据，以及正在进行电子白板标注的第一数据中的视频流或者正在进行电子白板标注的从所述第一数据中的视频流中截取的图片或者正在进行电子白板标注的从所述第一数据中的视频流中选取的回放视频流。
23.根据权利要求22所述的方法，其特征在于，在所述请求协助方设备接收第四数据之前，该方法还包括：
发送第一数据，所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据。
24.根据权利要求23所述的方法，其特征在于，
所述第二数据包括以下之一：所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据；
所述第三数据包括以下之一：所述第一数据中的视频流和第三电子白板数据、从所述第一数据中的视频流中截取的图片和第三电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据、所述至少一个第三方协助设备采集的音频流以及所述第一数据中的视频流和第三电子白板数据、所述至少一个第三方协助设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第三电子白板数据、所述至少一个第三方协助设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据。
25.根据权利要求24所述的方法，其特征在于，
所述第一电子白板数据为所述请求协助方在所述请求协助方设备采集的视频流上做的标注涂写信息；
所述第二电子白板数据为所述协助方在所述第一数据中的视频流上做的标注涂写信息，或者在从所述第一数据中的视频流中截取的图片上做的标注涂写信息，或者在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息；
所述第三电子白板数据为所述至少一个第三方在所述第一数据中的视频流上做的标注涂写信息，或者所述至少一个第三方在从所述第一数据中的视频流中截取的图片上做的标注涂写信息，或者所述至少一个第三方在从所述第一数据中的视频流中选取的回放视频流上做的标注涂写信息。
26.根据权利要求22所述的方法，其特征在于，所述显示第四数据，包括：
将所述第四数据中的第四电子白板数据和视频流或者图片或者回放视频流进行叠加合成后进行显示。
27.一种协助方设备，其特征在于，包括：
接收及显示单元，用于接收并显示第一数据，所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
发送单元，用于发送第二数据，所述第二数据包括以下之一：所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。
28.一种请求协助方设备，其特征在于，包括：
发送单元，用于发送第一数据，所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
接收及显示单元，用于接收并显示第二数据，所述第二数据包括以下之一：所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。
29.一种协助服务器，其特征在于，包括：
第一接收及转发单元，用于接收请求协助方设备发送的第一数据，并转发给协助方设备；所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
第二接收及转发单元，用于接收所述协助方设备发送的第二数据，并转发给所述请求协助方设备；所述第二数据包括以下之一：所述第一数据中的视频流和第二电子白板数据、从所述第一数据中的视频流中截取的图片和第二电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据、所述协助方设备采集的音频流以及所述第一数据中的视频流和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第二电子白板数据、所述协助方设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第二电子白板数据。
30.一种第三方协助设备，其特征在于，包括：
接收单元，用于接收协助方设备发送的第一请求，所述第一请求用于请求第三方参与协助；
第一发送单元，用于向协助服务器发送建立连接请求，并接收所述协助服务器发送的第一数据，所述第一数据包括以下之一：请求协助方设备采集的音频视频流、所述请求协助方设备采集的音频视频流和第一电子白板数据；
第二发送单元，用于发送第三数据，所述第三数据包括以下之一：所述第一数据中的视频流和第三电子白板数据、从所述第一数据中的视频流中截取的图片和第三电子白板数据、从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据、所述第三方协助设备采集的音频流以及所述第一数据中的视频流和第三电子白板数据、所述第三方协助设备采集的音频流以及从所述第一数据中的视频流中截取的图片和第三电子白板数据、所述第三方协助设备采集的音频流以及从所述第一数据中的视频流中选取的回放视频流和第三电子白板数据。
31.一种协助服务器，其特征在于，包括：
第一接收及发送单元，用于接收至少一个第三方协助设备发送的建立连接请求，并向所述至少一个第三方协助设备发送第一数据；
第二接收单元，用于接收协助方设备发送的第二数据和所述至少一个第三方协助设备发送的第三数据；
发送单元，用于将所述第二数据和所述第三数据进行混合处理后得到的第四数据发送给请求协助方设备。
32.一种请求协助设备，其特征在于，包括：
接收及显示单元，用于接收并显示第四数据，所述第四数据包括：将第二数据和第三数据中的音频流进行混音处理后得到的音频流，将第二电子白板数据和第三电子白板数据进行内部叠加混合处理后得到的第四电子白板数据，以及正在进行电子白板标注的第一数据中的视频流或者正在进行电子白板标注的从所述第一数据中的视频流中截取的图片或者正在进行电子白板标注的从所述第一数据中的视频流中选取的回放视频流。
33.一种协助方设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述实现远程协助的方法。
34.一种请求协助方设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求7至11或者权利要求22至26中任一项所述实现远程协助的方法。
35.一种协助服务器，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求12至14或者权利要求17至21中任一项所述实现远程协助的方法。
36.一种第三方协助设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求15至16中任一项所述实现远程协助的方法。
37.一种实现远程协助的系统，其特征在于，包括如权利要求33所述的协助方设备和如权利要求34所述的请求协助方设备。
38.根据权利要求37所述的系统，其特征在于，还包括：
如权利要求35所述的协助服务器。
39.根据权利要求38所述的系统，其特征在于，还包括：
如权利要求36所述的第三方协助设备。
40.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息处理程序，所述信息处理程序被处理器执行时实现如权利要求1至26中任一项所述实现远程协助的方法的步骤。
CN201811653187.XA 2018-12-29 2018-12-29 一种实现远程协助的方法及相关设备 Pending CN111381918A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202211615052.0A CN116795464A (zh) 2018-12-29 2018-12-29 一种实现远程协助的方法及相关设备
CN201811653187.XA CN111381918A (zh) 2018-12-29 2018-12-29 一种实现远程协助的方法及相关设备
US17/419,444 US20220078214A1 (en) 2018-12-29 2019-12-30 Method for realizing remote assistance and related device
EP19903954.6A EP3905669A4 (en) 2018-12-29 2019-12-30 METHOD FOR PRODUCING REMOTE ASSISTANCE AND ASSOCIATED DEVICE
PCT/CN2019/129749 WO2020135851A1 (zh) 2018-12-29 2019-12-30 实现远程协助的方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811653187.XA CN111381918A (zh) 2018-12-29 2018-12-29 一种实现远程协助的方法及相关设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202211615052.0A Division CN116795464A (zh) 2018-12-29 2018-12-29 一种实现远程协助的方法及相关设备

Publications (1)

Publication Number Publication Date
CN111381918A true CN111381918A (zh) 2020-07-07

Family

ID=71127782

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811653187.XA Pending CN111381918A (zh) 2018-12-29 2018-12-29 一种实现远程协助的方法及相关设备
CN202211615052.0A Pending CN116795464A (zh) 2018-12-29 2018-12-29 一种实现远程协助的方法及相关设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202211615052.0A Pending CN116795464A (zh) 2018-12-29 2018-12-29 一种实现远程协助的方法及相关设备

Country Status (4)

Country Link
US (1) US20220078214A1 (zh)
EP (1) EP3905669A4 (zh)
CN (2) CN111381918A (zh)
WO (1) WO2020135851A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115883865A (zh) * 2023-01-31 2023-03-31 北京微吼时代科技有限公司 白板交互数据和音视频数据的同步方法、系统、存储介质和电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422545B (zh) * 2021-12-22 2024-05-03 中国建设银行股份有限公司 一种远程协助处理方法和装置

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050117910A1 (en) * 2003-12-02 2005-06-02 Fuji Xerox Co., Ltd. System and methods for remote control of multiple display and devices
US20050248652A1 (en) * 2003-10-08 2005-11-10 Cisco Technology, Inc., A California Corporation System and method for performing distributed video conferencing
US20070156816A1 (en) * 2003-11-18 2007-07-05 Microsoft Corporation System and method for real-time whiteboard capture and processing
CN101370115A (zh) * 2008-10-20 2009-02-18 深圳华为通信技术有限公司 会议终端、会议服务器、会议系统及数据处理方法
US20100030505A1 (en) * 2006-06-06 2010-02-04 Kvavle Brand C Remote Diagnostics for Electronic Whiteboard
US20120229590A1 (en) * 2011-03-07 2012-09-13 Ricoh Company, Ltd. Video conferencing with shared drawing
US20140184720A1 (en) * 2012-12-28 2014-07-03 Ittiam Systems Pte. Ltd. Platform for end point and digital content centric real-time shared experience for collaboration
CN104038722A (zh) * 2013-03-06 2014-09-10 中兴通讯股份有限公司 一种视频会议的内容交互方法及系统
CN203984563U (zh) * 2014-08-08 2014-12-03 北京博通佳信科技有限责任公司 一种实现多画面组合显示的电子白板与视频会议一体系统
CN104363407A (zh) * 2014-10-31 2015-02-18 华为技术有限公司 一种视频会议系统通讯方法及相应装置
CN104869348A (zh) * 2014-02-21 2015-08-26 中兴通讯股份有限公司 基于视频会议的电子白板交互方法、及终端
CN106201491A (zh) * 2016-07-01 2016-12-07 北京奇虎科技有限公司 移动终端和移动终端远程协助过程控制方法、装置
CN106339094A (zh) * 2016-09-05 2017-01-18 山东万腾电子科技有限公司 基于增强现实技术的交互式远程专家协作检修系统及方法
CN206042060U (zh) * 2016-09-27 2017-03-22 云南电网有限责任公司昭通供电局 一种移动远程协助系统
CN107070980A (zh) * 2017-01-22 2017-08-18 微鲸科技有限公司 智能终端的远程协助方法、装置及系统
CN107370982A (zh) * 2017-08-15 2017-11-21 北京北纬天辰科技有限公司 基于电子白板的远程会议系统
CN107395671A (zh) * 2017-06-12 2017-11-24 深圳增强现实技术有限公司 远程协助方法、系统及增强现实终端
CN107509052A (zh) * 2017-09-08 2017-12-22 广州视源电子科技股份有限公司 双流视频会议方法、装置、电子设备及系统
CN107534704A (zh) * 2015-05-07 2018-01-02 株式会社理光 信息处理设备、信息处理方法和信息处理程序

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7492387B2 (en) * 2002-08-05 2009-02-17 Chih-Lung Yang Implementation of MPCP MCU technology for the H.264 video standard
CN101132516B (zh) * 2007-09-28 2010-07-28 华为终端有限公司 一种视频通讯的方法、系统及用于视频通讯的装置
US9113033B2 (en) * 2012-08-28 2015-08-18 Microsoft Technology Licensing, Llc Mobile video conferencing with digital annotation
US20140160153A1 (en) * 2012-12-07 2014-06-12 Jatinder Pal Singh Method and system for real-time learning and collaboration solution
US20150149540A1 (en) * 2013-11-22 2015-05-28 Dell Products, L.P. Manipulating Audio and/or Speech in a Virtual Collaboration Session
US20180011627A1 (en) * 2014-06-16 2018-01-11 Siracusano Meeting collaboration systems, devices, and methods
US9298884B1 (en) * 2014-12-17 2016-03-29 Vitaax Llc Remote instruction and monitoring of health care
US20160182579A1 (en) * 2014-12-23 2016-06-23 Smart Technologies Ulc Method of establishing and managing messaging sessions based on user positions in a collaboration space and a collaboration system employing same
US9654727B2 (en) * 2015-06-01 2017-05-16 Apple Inc. Techniques to overcome communication lag between terminals performing video mirroring and annotation operations
US9769183B2 (en) * 2015-07-14 2017-09-19 Ricoh Company, Ltd. Information processing apparatus, information processing system, and image processing method
JP6720513B2 (ja) * 2015-12-01 2020-07-08 株式会社リコー 通信端末、通信システム、通信制御方法、及びプログラム

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050248652A1 (en) * 2003-10-08 2005-11-10 Cisco Technology, Inc., A California Corporation System and method for performing distributed video conferencing
US20070156816A1 (en) * 2003-11-18 2007-07-05 Microsoft Corporation System and method for real-time whiteboard capture and processing
US20050117910A1 (en) * 2003-12-02 2005-06-02 Fuji Xerox Co., Ltd. System and methods for remote control of multiple display and devices
US20100030505A1 (en) * 2006-06-06 2010-02-04 Kvavle Brand C Remote Diagnostics for Electronic Whiteboard
CN101370115A (zh) * 2008-10-20 2009-02-18 深圳华为通信技术有限公司 会议终端、会议服务器、会议系统及数据处理方法
CN101572794A (zh) * 2008-10-20 2009-11-04 深圳华为通信技术有限公司 会议终端、会议服务器、会议系统及数据处理方法
US20120229590A1 (en) * 2011-03-07 2012-09-13 Ricoh Company, Ltd. Video conferencing with shared drawing
US20140184720A1 (en) * 2012-12-28 2014-07-03 Ittiam Systems Pte. Ltd. Platform for end point and digital content centric real-time shared experience for collaboration
CN104038722A (zh) * 2013-03-06 2014-09-10 中兴通讯股份有限公司 一种视频会议的内容交互方法及系统
WO2015123977A1 (zh) * 2014-02-21 2015-08-27 中兴通讯股份有限公司 基于视频会议的电子白板交互方法、及终端
CN104869348A (zh) * 2014-02-21 2015-08-26 中兴通讯股份有限公司 基于视频会议的电子白板交互方法、及终端
CN203984563U (zh) * 2014-08-08 2014-12-03 北京博通佳信科技有限责任公司 一种实现多画面组合显示的电子白板与视频会议一体系统
CN104363407A (zh) * 2014-10-31 2015-02-18 华为技术有限公司 一种视频会议系统通讯方法及相应装置
CN107534704A (zh) * 2015-05-07 2018-01-02 株式会社理光 信息处理设备、信息处理方法和信息处理程序
CN106201491A (zh) * 2016-07-01 2016-12-07 北京奇虎科技有限公司 移动终端和移动终端远程协助过程控制方法、装置
CN106339094A (zh) * 2016-09-05 2017-01-18 山东万腾电子科技有限公司 基于增强现实技术的交互式远程专家协作检修系统及方法
CN206042060U (zh) * 2016-09-27 2017-03-22 云南电网有限责任公司昭通供电局 一种移动远程协助系统
CN107070980A (zh) * 2017-01-22 2017-08-18 微鲸科技有限公司 智能终端的远程协助方法、装置及系统
CN107395671A (zh) * 2017-06-12 2017-11-24 深圳增强现实技术有限公司 远程协助方法、系统及增强现实终端
CN107370982A (zh) * 2017-08-15 2017-11-21 北京北纬天辰科技有限公司 基于电子白板的远程会议系统
CN107509052A (zh) * 2017-09-08 2017-12-22 广州视源电子科技股份有限公司 双流视频会议方法、装置、电子设备及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115883865A (zh) * 2023-01-31 2023-03-31 北京微吼时代科技有限公司 白板交互数据和音视频数据的同步方法、系统、存储介质和电子设备

Also Published As

Publication number Publication date
EP3905669A4 (en) 2022-03-02
CN116795464A (zh) 2023-09-22
WO2020135851A1 (zh) 2020-07-02
EP3905669A1 (en) 2021-11-03
US20220078214A1 (en) 2022-03-10

Similar Documents

Publication Publication Date Title
US8860776B2 (en) Conference terminal, conference server, conference system and data processing method
CN105763832B (zh) 一种视频互动、控制方法及装置
US20130093832A1 (en) Snapshot Capture in Video Stream
CN102638672A (zh) 用于多流多站点远程呈现会议系统的自动视频布局
CN101478642A (zh) 视频会议系统的多画面混图方法及装置
US20150121441A1 (en) Systems and methods for embedding multimedia data in surgical feeds
CN103338348A (zh) 一种网络音视频会议的实现方法、系统和服务器
CN103841361B (zh) 一种低带宽下整合多种会议系统的通讯方法
CN102223515B (zh) 远程呈现会议系统、远程呈现会议的录制与回放方法
CN111381918A (zh) 一种实现远程协助的方法及相关设备
CN105553978A (zh) 带式输送机可视化辅助维修系统及流媒体的交互过程
US20170310932A1 (en) Method and system for sharing content in videoconferencing
CN111107301A (zh) 一种视频会议平台及基于视频会议平台的通讯方法
CN106781762B (zh) 一种显示问题信息的方法、装置和系统
CN108616711A (zh) 一种基于视频信号解决信息网络隔离的交互方法
US9389765B2 (en) Generating an image stream
CN114979777A (zh) 超高清视频信号处理设备、方法以及超高清视频管理系统
CN211830976U (zh) 一种视频会议平台
US8421841B2 (en) Multi-media controlling system, device and method for controlling data transmission and processing
CN109377800A (zh) 基于互联网思想政治理论远程教学系统及远程教学方法
CN110493231A (zh) 信息传输的方法、装置和系统
Alcober Segura et al. High Definition videoconferencing: The future of collaboration in healthcare and education
CN202872967U (zh) 数字多媒体会议系统
CN117793285A (zh) 视频会议监测方法、系统、设备及存储介质
CN113703707A (zh) 一种课堂数据交互方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination