CN114201256A - 基于视频会议共享辅流的远程协作的方法、系统及存储设备 - Google Patents

基于视频会议共享辅流的远程协作的方法、系统及存储设备 Download PDF

Info

Publication number
CN114201256A
CN114201256A CN202111497395.7A CN202111497395A CN114201256A CN 114201256 A CN114201256 A CN 114201256A CN 202111497395 A CN202111497395 A CN 202111497395A CN 114201256 A CN114201256 A CN 114201256A
Authority
CN
China
Prior art keywords
terminal
remote
mouse
video conference
keyboard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111497395.7A
Other languages
English (en)
Inventor
赵杰
何贤英
刘玉焘
崔芳芳
石金铭
陈保站
王文超
张延家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
First Affiliated Hospital of Zhengzhou University
Original Assignee
First Affiliated Hospital of Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Affiliated Hospital of Zhengzhou University filed Critical First Affiliated Hospital of Zhengzhou University
Priority to CN202111497395.7A priority Critical patent/CN114201256A/zh
Publication of CN114201256A publication Critical patent/CN114201256A/zh
Priority to PCT/CN2022/125416 priority patent/WO2023103586A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Abstract

本发明提供的基于视频会议共享辅流的远程协作的方法、系统及存储设备，所述方法包括：视频会议与两个终端建立连接；视频会议终端的屏幕播放内容以视频辅流的形式发送至本地终端和远程终端；远程终端申请远程协作，经授权后，建立远程终端和本地终端之间的远程协作通道；远程终端在其接收的屏幕画面上，通过鼠标和/或键盘进行操作后，将操作指令对应的触发事件内容封装成数据包后发送给视频会议终端；视频会议终端接收数据包后，解析出具体的触发事件内容后，转换为虚拟鼠标和/或虚拟键盘的操作指令并在本地终端上执行；本发明具有视频会议的两个终端均无需额外部署应用程序，即可实现远程会议协作的的有益效果，适用于视频会议领域。

Description

基于视频会议共享辅流的远程协作的方法、系统及存储设备
技术领域
本发明涉及视频会议的技术领域，具体涉及基于视频会议共享辅流的远程协作的方法、系统及存储设备。
背景技术
视频会议终端在日常工作交流、学术研讨、培训教学等方面被广泛应用；在视频会议中除了能进行图像和音频的实时传输外，还存在双端甚至多端远程协作的需求，远程协作是将本地电脑屏幕共享给远端实现远程协助操作，以方便与会双方的高效沟通。
现在的远程协作技术一般采用客户端-服务器的双端应用模式，客户端先与服务端建立连接，服务端开放桌面共享权限，客户端就可以通过远程进行鼠标与键盘操作，就像在本地一样操作远程一样方便。
当前主流的远程协作软件工具比较成熟，包括QQ软件中的桌面共享、LookMyPC远程桌面连接软件、PCAnywhere葵远程控制软件、向日葵远程控制软件等，这些软件工具的缺陷和不足体现在必须双端部署独立的应用程序且互联互通。
视频会议终端具有双端可以实时进行语音和图像传输的及时通讯功能，但视频会议的一端想与另一端进行远程协作，不能通过鼠标和键盘进行控制，只能通过语音和视频进行引导由本端自行操作。
发明内容
针对相关技术中存在的不足，本发明所要解决的技术问题在于：提供一种视频会议的两个终端均无需额外部署应用程序，即可实现远程会议协作的基于视频会议共享辅流的远程协作的方法、系统及存储设备。
为解决上述技术问题，本发明采用的技术方案为：
基于视频会议共享辅流的远程协作的方法，包括：
S10，视频会议与两个终端建立连接，其中一个终端为本地终端、另一个终端为远程终端；
S20，视频会议终端的屏幕播放内容以视频辅流的形式发送至本地终端和远程终端；
S30，远程终端申请远程协作，经视频会议终端授权后，建立远程终端和本地终端之间的远程协作通道；
S40，远程终端在其接收的屏幕画面上，通过电连接的鼠标和/或键盘进行操作后，根据操作指令集将操作指令对应的触发事件内容封装成数据包后发送给视频会议终端；
S50，视频会议终端接收数据包后，解析出具体的触发事件内容后，转换为虚拟鼠标和/或虚拟键盘的操作指令并在本地终端上执行，完成与远程终端相对应的操控；
其中，所述的操作指令集上包含有基于鼠标和键盘动作属性的操作指令。
优选地，所述步骤S50中，转换为虚拟鼠标和/或虚拟键盘的操作指令并执行，具体包括：
S501，调用SDK接口的SendInput函数模拟远程终端的触发事件；
S502，将SendInput函数插入INPUT结构，串联到键盘或鼠标的输入流中后，发送到线程；
S503，监听线程中的触发事件，并生成虚拟鼠标和/或虚拟键盘的操作事件。
优选地，在步骤S502，将SendInput函数插入INPUT结构的过程中，设置用户界面特权隔离约束，以允许应用程序仅将事件输入注入到等于或小于完整性级别的应用程序当中。
优选地，在步骤S502，将SendInput函数插入INPUT结构，串联到键盘或鼠标的输入流中，具体包括：
S5021，判断是鼠标事件还是键盘事件，如为鼠标事件，至执行步骤S5022，否则执行步骤S5023；
S5022，将坐标位置传入到MOUSEINPUT结构中；
S5023，将键盘的键值传入到KEYBDINPUT结构中。
优选地，所述操作指令由json格式数据组成，包括：事件类型，与事件类型对应的健值。
优选地，所述的事件类型包括：鼠标按键事件、鼠标移动事件、鼠标触控事件和键盘按键事件；
与鼠标按键事件对应的健值包括：左键、中键和右键；
与鼠标移动事件对应的健值包括：画面宽度、画面高度、鼠标坐标x和鼠标坐标y；
与鼠标触控事件对应的健值包括：手指的动作和手指的坐标信息组；
与键盘按键事件对应的健值包括：键盘按键值。
其中：鼠标坐标x为鼠标相对于画面宽度的x坐标；鼠标坐标y为鼠标相对于画面高度的y坐标；
手指的动作包括：第一个手指按下、最后一个手指松开、非第一个手指按下、非最后一个手指松开、手指移动；
手指的坐标信息组包括：手指的横坐标和手指的纵坐标。
相应地，基于视频会议共享辅流的远程协作的系统，包括本地终端、远程终端和视频会议终端，其特征在于：
所述视频会议终端，用于将其上屏幕播放内容以视频辅流的形式发送至本地终端和远程终端；包括：
操作指令集，用于建立基于鼠标和键盘动作属性的操作指令；
授权模块，用于响应于申请模块的远程协作请求，为远程终端授权，并在授权后为远程终端和本地终端建立远程协作通道；
数据解析模块，用于接收数据生成模块的数据包并解析，解析出具体的触发事件内容后，生成模拟操作指令；
本地操作生成模块，用于将数据解析模块解析的触发事件内容，转换为虚拟鼠标和/或虚拟键盘的操作指令并在本地终端的本地显示界面显示；
所述远程终端包括：
申请模块，用于向视频会议终端发起远程协作请求；
远程操作模块，在接收的屏幕画面上，通过鼠标和/或键盘进行操作；
数据生成模块，用于根据操作指令集将远程操作模块的操作生成对应的触发事件内容并封装成一组命令后发送给视频会议终端；
屏幕画面，为远程终端的显示界面，用于显示屏幕播放内容。
所述本地终端包括：
本地显示界面，用于显示视频会议终端的播放内容。
相应地，存储设备，其中存储有多条指令，其特征在于：所述指令适于由处理器加载并执行如上任一所述的基于视频会议共享辅流的远程协作的方法。
本发明的有益技术效果在于：
本发明提供的基于视频会议共享辅流的远程协作的方法及系统，通过建立两个终端之间的线路连接，并将本地终端的视频会议内容以视频辅流的形式传输到远程终端；远程终端需要对会议内容进行标注时，远程终端的用户申请远程协作，经视频会议终端授权后，建立视频会议的远程协作通道；远程终端通过本地鼠标和键盘的操作，将操作指令对应的触发事件内容封装成数据包后发送给视频会议终端；视频会议终端接收数据包后，解析出具体的触发事件内容后，转换为虚拟鼠标和/或虚拟键盘的操作指令并在本地终端上执行，通过虚拟鼠标和/或虚拟键盘完成对本地的控制和操作，包括对屏幕进行标注共享，从而实现了远程协作的功能，实用性极强。
附图说明
图1是本发明实施例一提供的基于视频会议共享辅流的远程协作的方法的流程示意图；
图2是本发明实施例一提供的基于视频会议共享辅流的远程协作的系统的结构示意图；
图3是本发明实施例二提供的基于视频会议共享辅流的远程协作的方法中步骤S50的流程示意图；
图4是本发明实施例二中步骤S502的流程示意图；
图5是本发明使用过程中的设备部署示意图；
图6是本发明使用过程中的数据流程图；
图中：
10为本地终端，20为远程终端，30为视频会议终端；
101为本地显示界面；
201为申请模块，202为远程操作模块，203为数据生成模块，204为屏幕画面；
301为操作指令集，302为授权模块，303为数据解析模块，304为本地操作生成模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
其次，本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
以下结合附图详细说明本发明基于视频会议共享辅流的远程协作的方法、系统及存储设备的一个实施例。
实施例一
如图1所示，基于视频会议共享辅流的远程协作的方法，包括：
S10，视频会议与两个终端建立连接，其中一个终端为本地终端、另一个终端为远程终端；
S20，视频会议终端的屏幕播放内容以视频辅流的形式发送至本地终端和远程终端；
S30，远程终端申请远程协作，经视频会议终端授权后，建立远程终端和本地终端之间的远程协作通道；
S40，远程终端在其接收的屏幕画面上，通过电连接的鼠标和/或键盘进行操作后，根据操作指令集将操作指令对应的触发事件内容封装成数据包后发送给视频会议终端；
S50，视频会议终端接收数据包后，解析出具体的触发事件内容后，转换为虚拟鼠标和/或虚拟键盘的操作指令并在本地终端上执行，完成与远程终端相对应的操控；
其中，所述的操作指令集上包含有基于鼠标和键盘动作属性的操作指令。
在编程领域，json(JavaScriptObjectNotation)是一种轻量级的数据交换格式是基于ECMAScript的一个子集；json采用完全独立于语言的文本格式，但是也使用包括C、C++、C#、Java、JavaScript、Perl、Python等类似于C语言家族的习惯。这些特性使json成为理想的数据交换语言，易于人阅读和编写，同时也易于机器解析和生成，大大提升网络传输速率；json格式数据的数据格式比较简单，易于读写，格式经过压缩，占用带宽比较小，同时支持多种语言，便于服务器端解析。对于大多数Web应用来说，根本不需要复杂的XML来传输数据，json数据交换格式提供了更好的简单性和灵活性。
因此，本发明在实施时，所述操作指令由json格式数据组成，包括：事件类型，与事件类型对应的健值。
进一步地，所述的事件类型包括：鼠标按键事件、鼠标移动事件、鼠标触控事件和键盘按键事件。
更进一步地，与鼠标按键事件对应的健值包括：左键、中键和右键；其具体的json格式数据，可由如下代码实现：
鼠标按键事件的json数据包：
{
"method":1,//事件类型
"body":{
"button":1//鼠标事件类型，1左键，2中键，3右键
}
}
更进一步地，与鼠标移动事件对应的健值包括：画面宽度、画面高度、鼠标坐标x和鼠标坐标y；其中：鼠标坐标x为鼠标相对于画面宽度的x坐标；鼠标坐标y为鼠标相对于画面高度的y坐标；其具体的json格式数据，可由如下代码实现：
Figure BDA0003401292050000061
更进步一步地，与鼠标触控事件对应的健值包括：手指的动作和手指的坐标信息组；其中，手指的动作包括：第一个手指按下、最后一个手指松开、非第一个手指按下、非最后一个手指松开、手指移动；手指的坐标信息组包括：手指的横坐标和手指的纵坐标；其具体的json格式数据，可由如下代码实现：
Figure BDA0003401292050000062
Figure BDA0003401292050000071
更进一步地，与键盘按键事件对应的健值包括：键盘按键值。
本发明还提供了基于视频会议共享辅流的远程协作的系统。
如图2所示，基于视频会议共享辅流的远程协作的系统，包括本地终端10、远程终端20和视频会议终端30；
所述视频会议终端30，用于将其上屏幕播放内容以视频辅流的形式发送至本地终端10和远程终端20；包括：
操作指令集301，用于建立基于鼠标和键盘动作属性的操作指令；
授权模块302，用于响应于申请模块201的远程协作请求，为远程终端20授权，并在授权后为远程终端20和本地终端10建立远程协作通道；
数据解析模块303，用于接收数据生成模块203的数据包并解析，解析出具体的触发事件内容后，生成模拟操作指令；
本地操作生成模块303，用于将数据解析模块303解析的触发事件内容，转换为虚拟鼠标和/或虚拟键盘的操作指令并在本地终端10的本地显示界面101显示；
所述远程终端20包括：
申请模块201，用于向视频会议终端30发起远程协作请求；
远程操作模块202，在接收的屏幕画面204上，通过鼠标和/或键盘进行操作；
数据生成模块203，用于根据操作指令集将远程操作模块202的操作生成对应的触发事件内容并封装成一组命令后发送给视频会议终端30；
屏幕画面204，为远程终端的显示界面，用于显示屏幕播放内容。
所述本地终端10包括：
本地显示界面101，用于显示视频会议终端30的播放内容。
本实施例提供的基于视频会议共享辅流的远程协作的方法及系统，通过建立两个终端之间的线路连接，并将本地终端的视频会议内容以视频辅流的形式传输到远程终端；远程终端需要对会议内容进行标注时，远程终端的用户申请远程协作，经视频会议终端授权后，建立视频会议的远程协作通道；远程终端通过本地鼠标和键盘的操作，将操作指令对应的触发事件内容封装成数据包后发送给视频会议终端；视频会议终端接收数据包后，解析出具体的触发事件内容后，转换为虚拟鼠标和/或虚拟键盘的操作指令并在本地终端上执行，通过虚拟鼠标和/或虚拟键盘完成对本地的控制和操作，包括对屏幕进行标注共享，从而实现了远程协作的功能，实用性极强。
实施例二
在实施例一的基础上，基于视频会议共享辅流的远程协作的方法，所述步骤S50中，转换为虚拟鼠标和/或虚拟键盘的操作指令并执行，具体包括：
S501，调用SDK接口的SendInput函数模拟远程终端的触发事件；
S502，将SendInput函数插入INPUT结构，串联到键盘或鼠标的输入流中后，发送到线程；
S503，监听线程中的触发事件，并生成虚拟鼠标和/或虚拟键盘的操作事件。
具体地，在步骤S502，将SendInput函数插入INPUT结构的过程中，设置用户界面特权隔离约束，以允许应用程序仅将事件输入注入到等于或小于完整性级别的应用程序当中。
本发明中将SendInput函数插入INPUT结构的过程中，受UIPI(User InterfacePrivilege Isolation，用户界面特权隔离)约束，即：允许应用程序仅将事件输入注入到等于或小于完整性级别的应用程序当中，低级别的应用程序应以管理员权限启动才能开启完整控制权限。
此外，该函数插入INPUT结构串联到键盘或鼠标输入流中并发送到线程当中，系统或者挂钩侦听器从线程中截获并处理事件，最终生成鼠标、键盘事件。
进一步地，在步骤S502，将SendInput函数插入INPUT结构，串联到键盘或鼠标的输入流中，具体包括：
S5021，判断是鼠标事件还是键盘事件，如为鼠标事件，至执行步骤S5022，否则执行步骤S5023；
S5022，将坐标位置传入到MOUSEINPUT结构中；
S5023，将键盘的键值传入到KEYBDINPUT结构中。
本实施例中，INPUT具体结构如下：
Figure BDA0003401292050000081
Figure BDA0003401292050000091
结构说明：
type:事件类型，0鼠标事件，1键盘事件；
如果是鼠标事件，坐标位置传入到MOUSEINPUT结构中；
如果是键盘事件，键盘的键值等信息传入到KEYBDINPUT结构中。
本发明还提供了一种存储设备，其中存储有多条指令，其特征在于：所述指令适于由处理器加载并执行如上所述的基于视频会议共享辅流的远程协作的方法。
所述存储设备可为一计算机可读存储介质，可以包括：ROM、RAM、磁盘或光盘等。
以下，以一个具体的实施例对本发明的使用过程进行说明。
图5是本发明使用过程中的设备部署示意图，如图5所示，本发明基于视频会议共享辅流的远程协作的系统由双端设备(本地终端和远程终端)及软件构成，本地终端可包括视频会议终端及本地电脑，远程终端可包括：远程电脑和视频播放软件：其中，本地终端和远程终端的系统是网络联通的(即：建立了两个终端之间的线路连接)，但视频会议终端及本地电脑网络并不一定网络连通，可只是通过VGA或HDMI连线的方式来共享电脑屏幕信息。
图6是本发明使用过程中的数据流程图；以鼠标移动事件的过程进行示例说明，如图6所示，接收方(远程终端)通过操作鼠标，在画面上移动鼠标，形成鼠标移动事件，并生成移动事件的json数据包，通过socket通道发送给发起方(本地终端)；
发起方(本地终端)接收到json数据后并对其进行解析出具体事件，通过windows提供的SendInput接口，把事件具体内容填充到INPUT数据结构当中，传入SendInput，事件发送到系统线程当中，系统从线程当中获取事件并进行处理，最终把鼠标移动到指定的位置。
本发明中，本地终端的本地显示界面可通过VGA或HDMI方式与视频会议终端进行连接，同时视频会议终端的屏幕播放内容以视频辅流的形式发送至本地终端和远程终端；使得本发明中的本地终端和远程终端可不在同一个网络中；
使用时，远程终端先申请协作，视频会议终端接受请求并授权后，建立远程终端和本地终端之间的远程协作通道；开启基于本地终端视频辅流的虚拟键盘和虚拟鼠标操作，实现了本地和远程终端之间的屏幕共享标注。
本实施例中，两个终端之间的角色(本地终端或远程终端)可以互换，将申请远程协作的一方视为远程终端，使得任何一方标注后对方可以同步显示，与传统技术相比，通过视频会议终端内置操作指令集的方式，两个终端无需部署独立的应用程序，操作便捷。
此外，在视频会议的过程中，数据共享仅限于视频流，没有数据外泄的风险；同时，远程协作基于提前预约授权，在可控范围内进行相关的操作，减少安全性风险，实用性极强。
在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
可以理解的是，上述方法及系统中的相关特征可以相互参考。
所述领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (8)

1.基于视频会议共享辅流的远程协作的方法，其特征在于：包括：
S10，视频会议与两个终端建立连接，其中一个终端为本地终端、另一个终端为远程终端；
S20，视频会议终端的屏幕播放内容以视频辅流的形式发送至本地终端和远程终端；
S30，远程终端申请远程协作，经视频会议终端授权后，建立远程终端和本地终端之间的远程协作通道；
S40，远程终端在其接收的屏幕画面上，通过电连接的鼠标和/或键盘进行操作后，根据操作指令集将操作指令对应的触发事件内容封装成数据包后发送给视频会议终端；
S50，视频会议终端接收数据包后，解析出具体的触发事件内容后，转换为虚拟鼠标和/或虚拟键盘的操作指令并在本地终端上执行，完成与远程终端相对应的操控；
其中，所述的操作指令集上包含有基于鼠标和键盘动作属性的操作指令。
2.根据权利要求1所述的基于视频会议共享辅流的远程协作的方法，其特征在于：所述步骤S50中，转换为虚拟鼠标和/或虚拟键盘的操作指令并执行，具体包括：
S501，调用SDK接口的SendInput函数模拟远程终端的触发事件；
S502，将SendInput函数插入INPUT结构，串联到键盘或鼠标的输入流中后，发送到线程；
S503，监听线程中的触发事件，并生成虚拟鼠标和/或虚拟键盘的操作事件。
3.根据权利要求2所述的基于视频会议共享辅流的远程协作的方法，其特征在于：在步骤S502，将SendInput函数插入INPUT结构的过程中，设置用户界面特权隔离约束，以允许应用程序仅将事件输入注入到等于或小于完整性级别的应用程序当中。
4.根据权利要求2所述的基于视频会议共享辅流的远程协作的方法，其特征在于：在步骤S502，将SendInput函数插入INPUT结构，串联到键盘或鼠标的输入流中，具体包括：
S5021，判断是鼠标事件还是键盘事件，如为鼠标事件，至执行步骤S5022，否则执行步骤S5023；
S5022，将坐标位置传入到MOUSEINPUT结构中；
S5023，将键盘的键值传入到KEYBDINPUT结构中。
5.根据权利要求1所述的基于视频会议共享辅流的远程协作的方法，其特征在于：所述操作指令由json格式数据组成，包括：事件类型，与事件类型对应的健值。
6.根据权利要求5所述的基于视频会议共享辅流的远程协作的方法，其特征在于：所述的事件类型包括：鼠标按键事件、鼠标移动事件、鼠标触控事件和键盘按键事件；
与鼠标按键事件对应的健值包括：左键、中键和右键；
与鼠标移动事件对应的健值包括：画面宽度、画面高度、鼠标坐标x和鼠标坐标y；
与鼠标触控事件对应的健值包括：手指的动作和手指的坐标信息组；
与键盘按键事件对应的健值包括：键盘按键值。
其中：鼠标坐标x为鼠标相对于画面宽度的x坐标；鼠标坐标y为鼠标相对于画面高度的y坐标；
手指的动作包括：第一个手指按下、最后一个手指松开、非第一个手指按下、非最后一个手指松开、手指移动；
手指的坐标信息组包括：手指的横坐标和手指的纵坐标。
7.基于视频会议共享辅流的远程协作的系统，包括本地终端(10)、远程终端(20)和视频会议终端(30)，其特征在于：
所述视频会议终端(30)，用于将其上屏幕播放内容以视频辅流的形式发送至本地终端(10)和远程终端(20)；包括：
操作指令集(301)，用于建立基于鼠标和键盘动作属性的操作指令；
授权模块(302)，用于响应于申请模块(201)的远程协作请求，为远程终端(20)授权，并在授权后为远程终端(20)和本地终端(10)建立远程协作通道；
数据解析模块(303)，用于接收数据生成模块(203)的数据包并解析，解析出具体的触发事件内容后，生成模拟操作指令；
本地操作生成模块(303)，用于将数据解析模块(303)解析的触发事件内容，转换为虚拟鼠标和/或虚拟键盘的操作指令并在本地终端(10)的本地显示界面(101)显示；
所述远程终端(20)包括：
申请模块(201)，用于向视频会议终端(30)发起远程协作请求；
远程操作模块(202)，在接收的屏幕画面(204)上，通过鼠标和/或键盘进行操作；
数据生成模块(203)，用于根据操作指令集将远程操作模块(202)的操作生成对应的触发事件内容并封装成一组命令后发送给视频会议终端(30)；
屏幕画面(204)，为远程终端的显示界面，用于显示屏幕播放内容。
所述本地终端(10)包括：
本地显示界面(101)，用于显示视频会议终端(30)的播放内容。
8.存储设备，其中存储有多条指令，其特征在于：所述指令适于由处理器加载并执行如权利要求1至6任一所述的基于视频会议共享辅流的远程协作的方法。
CN202111497395.7A 2021-12-09 2021-12-09 基于视频会议共享辅流的远程协作的方法、系统及存储设备 Pending CN114201256A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111497395.7A CN114201256A (zh) 2021-12-09 2021-12-09 基于视频会议共享辅流的远程协作的方法、系统及存储设备
PCT/CN2022/125416 WO2023103586A1 (zh) 2021-12-09 2022-10-14 基于视频会议共享辅流的远程协作的方法、系统及存储设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111497395.7A CN114201256A (zh) 2021-12-09 2021-12-09 基于视频会议共享辅流的远程协作的方法、系统及存储设备

Publications (1)

Publication Number Publication Date
CN114201256A true CN114201256A (zh) 2022-03-18

Family

ID=80651512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111497395.7A Pending CN114201256A (zh) 2021-12-09 2021-12-09 基于视频会议共享辅流的远程协作的方法、系统及存储设备

Country Status (2)

Country Link
CN (1) CN114201256A (zh)
WO (1) WO2023103586A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114756318A (zh) * 2022-04-20 2022-07-15 杰显通计算机系统(深圳)有限公司 视频协作管控系统及方法
CN115910261A (zh) * 2023-01-05 2023-04-04 四川智康科技有限责任公司 一种安全的电子病历远程调阅和操作方法
WO2023103586A1 (zh) * 2021-12-09 2023-06-15 郑州大学第一附属医院 基于视频会议共享辅流的远程协作的方法、系统及存储设备
WO2024007799A1 (zh) * 2022-07-05 2024-01-11 中兴通讯股份有限公司 显示屏幕远程共享的处理方法、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101557496B (zh) * 2009-04-30 2010-10-13 华中科技大学 一种嵌入式视频会议协同工作系统
TW201334535A (zh) * 2012-02-13 2013-08-16 Quanta Comp Inc 在視訊會議中協同操作分享內容的方法、視訊會議系統以及電腦程式產品
CN102883134B (zh) * 2012-11-01 2015-04-22 成都飞视美视频技术有限公司 用于视频会议系统的屏幕共享及控制方法
CN108055704A (zh) * 2017-12-22 2018-05-18 广州视源电子科技股份有限公司 交互控制方法、系统、终端及存储介质
CN114201256A (zh) * 2021-12-09 2022-03-18 郑州大学第一附属医院 基于视频会议共享辅流的远程协作的方法、系统及存储设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023103586A1 (zh) * 2021-12-09 2023-06-15 郑州大学第一附属医院 基于视频会议共享辅流的远程协作的方法、系统及存储设备
CN114756318A (zh) * 2022-04-20 2022-07-15 杰显通计算机系统(深圳)有限公司 视频协作管控系统及方法
WO2024007799A1 (zh) * 2022-07-05 2024-01-11 中兴通讯股份有限公司 显示屏幕远程共享的处理方法、设备及存储介质
CN115910261A (zh) * 2023-01-05 2023-04-04 四川智康科技有限责任公司 一种安全的电子病历远程调阅和操作方法

Also Published As

Publication number Publication date
WO2023103586A1 (zh) 2023-06-15

Similar Documents

Publication Publication Date Title
CN114201256A (zh) 基于视频会议共享辅流的远程协作的方法、系统及存储设备
US9088749B2 (en) Method, apparatus and system for mobile terminal to remotely control television
CN110874959B (zh) 一种多终端同屏教学系统及教学方法
US20090313329A1 (en) Methods, Systems and Computer Program Products for Communication of Information in Electronic Conferences
EP2262167A1 (en) Method, device and system for realizing the electronic whiteboard in an audio/video conference
WO2017101440A1 (zh) 远程批注同步的方法与系统
US20150035938A1 (en) Communication control system and control device
CN108173946B (zh) 一种实现课堂实时互动的方法、系统及相关方法
CN112799891B (zh) iOS设备测试方法、装置、系统、存储介质及计算机设备
CN103150132A (zh) 一种传屏方法及电子设备
CN109379549A (zh) 一种无线传屏方法、设备及系统
Thommes et al. RemoteUI: A high-performance remote user interface system for mobile consumer electronic devices
CN107995096A (zh) 一种动态图文交互方法、装置和系统
CN108345469A (zh) 一种用于在线教学通用课件的互动方法及其装置
CN113961291B (zh) 一种基于触摸手势识别与压缩表示的移动设备远程控制方法与系统
CN108322691A (zh) 视频会议实现方法、装置和系统、计算机可读存储介质
CN111356009B (zh) 音频数据的处理方法、装置、存储介质以及终端
CN110794966B (zh) Ar显示系统及方法
CN209028599U (zh) 一种高效的虚拟场景共享装置
CN110099113B (zh) 实时笔迹绘制方法及系统
CN103336649A (zh) 一种多终端间反馈窗图像共享的方法及装置
CN113382311A (zh) 在线教学交互方法、装置、存储介质以及终端
CN110692036B (zh) 演示服务器、数据中继方法和用于生成虚拟指针的方法
CN109284056A (zh) 一种高效的虚拟场景共享方法和装置
CN201238354Y (zh) 一种介于电视显示器和互联网间的音视频通讯转换盒

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination