CN117008855A - 一种多屏互动方法、装置、设备及存储介质 - Google Patents

一种多屏互动方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117008855A
CN117008855A CN202310724932.XA CN202310724932A CN117008855A CN 117008855 A CN117008855 A CN 117008855A CN 202310724932 A CN202310724932 A CN 202310724932A CN 117008855 A CN117008855 A CN 117008855A
Authority
CN
China
Prior art keywords
participant
slave
master
screen
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310724932.XA
Other languages
English (en)
Inventor
唐乐
吴广财
李一兵
郑颖龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Branch Of China Southern Power Grid Digital Power Grid Group Co ltd
Original Assignee
Guangdong Branch Of China Southern Power Grid Digital Power Grid Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Branch Of China Southern Power Grid Digital Power Grid Group Co ltd filed Critical Guangdong Branch Of China Southern Power Grid Digital Power Grid Group Co ltd
Priority to CN202310724932.XA priority Critical patent/CN117008855A/zh
Publication of CN117008855A publication Critical patent/CN117008855A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种多屏互动方法、装置、设备及存储介质。该方法包括：通过从互联的多个参会端中确定主参会端和至少一个从参会端；将每个从参会端的屏幕界面共享至主参会端；获取主参会端待控制的目标从参会端，并向目标从参会端发送屏幕控制请求；在目标从参会端同意屏幕控制后，将主参会端自身的屏幕界面切换至目标从参会端的共享屏幕界面，并获取在共享屏幕界面上的操作步骤信息；将操作步骤信息和目标从参会端标识信息发送至中转服务器，中转服务器将操作步骤信息发送至目标从参会端；在目标从参会端自身的屏幕界面上执行相应的操作步骤。通过本发明实施例的技术方案，可以实现稳定可靠地多屏互动，保证投屏质量，优化用户体验。

Description

一种多屏互动方法、装置、设备及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种多屏互动方法、装置、设备及存储介质。
背景技术
随着计算机技术的快速发展，互动技术越来越广泛地应用于社会生活的各个领域。目前，现有的互动方式是通过两个设备连接同一个局域网，之后进行内网投屏，从而实现双屏互动。在设备不接入内网的情况下，只能访问本机或互联网资源，当需要对内网的应用系统、文件资料进行演示时，需要连接至内网通过投屏显示，同时实现内外网信息资源的访问十分不便。如何设计一种能够稳定可靠地实现多屏互动的方式，是当前急需解决的问题。
发明内容
本发明提供了一种多屏互动方法、装置、设备及存储介质，以实现稳定可靠地多屏互动，保证投屏质量，优化用户体验。
第一方面，本发明实施例提供了一种多屏互动方法，包括：
从互联的多个参会端中确定主参会端和至少一个从参会端；
将每个所述从参会端的屏幕界面共享至所述主参会端；
获取所述主参会端待控制的目标从参会端，并向所述目标从参会端发送屏幕控制请求；
在所述目标从参会端同意屏幕控制后，将所述主参会端自身的屏幕界面切换至所述目标从参会端的共享屏幕界面，并获取在所述共享屏幕界面上的操作步骤信息；
将所述操作步骤信息和目标从参会端标识信息发送至中转服务器，以使所述中转服务器基于所述目标从参会端标识信息，将所述操作步骤信息发送至所述目标从参会端；
基于所述操作步骤信息，在所述目标从参会端自身的屏幕界面上执行相应的操作步骤，使得所述目标从参会端的屏幕界面与所述主参会端的屏幕界面内容一致。
第二方面，本发明实施例还提供了一种多屏互动装置，包括：
主从确定模块，用于从互联的多个参会端中确定主参会端和至少一个从参会端；
屏幕界面共享模块，用于将每个所述从参会端的屏幕界面共享至所述主参会端；
屏幕控制模块，用于获取所述主参会端待控制的目标从参会端，并向所述目标从参会端发送屏幕控制请求；
操作步骤获取模块，用于在所述目标从参会端同意屏幕控制后，将所述主参会端自身的屏幕界面切换至所述目标从参会端的共享屏幕界面，并获取在所述共享屏幕界面上的操作步骤信息；
操作步骤发送模块，用于将所述操作步骤信息和目标从参会端标识信息发送至中转服务器，以使所述中转服务器基于所述目标从参会端标识信息，将所述操作步骤信息发送至所述目标从参会端；
操作步骤执行模块，用于基于所述操作步骤信息，在所述目标从参会端自身的屏幕界面上执行相应的操作步骤，使得所述目标从参会端的屏幕界面与所述主参会端的屏幕界面内容一致。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
至少一个处理器；
以及与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如本发明任意实施例所提供的多屏互动方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任意实施例所提供的多屏互动方法。
本发明实施例的技术方案，通过从互联的多个参会端中确定主参会端和至少一个从参会端；将每个从参会端的屏幕界面共享至主参会端；获取主参会端待控制的目标从参会端，并向目标从参会端发送屏幕控制请求；在目标从参会端同意屏幕控制后，将主参会端自身的屏幕界面切换至目标从参会端的共享屏幕界面，并获取在共享屏幕界面上的操作步骤信息；将操作步骤信息和目标从参会端标识信息发送至中转服务器，以使中转服务器基于目标从参会端标识信息，将操作步骤信息发送至目标从参会端；基于操作步骤信息，在目标从参会端自身的屏幕界面上执行相应的操作步骤，使得目标从参会端的屏幕界面与主参会端的屏幕界面内容一致，从而实现了主参会端与从参会端之间的互动，并且通过采用中转服务器进行中转可以保证每次主通信节点与从通信节点之间的信息交互稳定，能够稳定可靠地实现多屏互动，优化用户的使用体验，便于会议的开展。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种多屏互动方法的流程图；
图2是根据本发明实施例二提供的一种多屏互动方法的流程图；
图3是实现本发明实施例三提供的一种多屏互动装置的结构示意图；
图4是实现本发明实施例的多屏互动方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“目标”、“当前”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供的一种多屏互动方法的流程图，本实施例可适用多个参会端之间进行远程互动的场景中。该方法可以由多屏互动装置来执行，该装置可以由软件和/或硬件的方式来实现，集成于电子设备中，比如用于所有参会端的控制器中。如图1所示，该方法具体包括以下步骤：
S110、从互联的多个参会端中确定主参会端和至少一个从参会端。
其中，参会端可以是指用于参加会议的设备。例如，参会端可以是指电脑、手机等。参会端的数量可以为多个，其基于实际场景进行确定。例如，可以将每个会议室中的设备作为一个参会端，以便在多个会议室中开展会议。每个参会端中装载了远程控制软件，以便进行参会端的相互连接通信。主参会端可以是需要主动控制其他参会端的参会端，即主动控制者。例如，主参端可以是指发出共享屏幕请求的参会端。从参会端可以是指能够被主参会端控制的参会端，即被控制者。例如，从参会端可以是指响应并同意共享屏幕请求的参会端。
具体的，控制器可以将互联的多个参会端设备中发出共享屏幕请求的设备作为主参会端，将响应共享屏幕请求的参会端设备作为从参会端设备。
示例性的，多个参会端通过远程控制软件实现互联，其中一个参会端发出屏幕共享请求，则控制器将此参会端确定为主参会端，有参会端同意屏幕共享请求，则控制器将同意此屏幕共享请求的参会端确定为从参会端。
示例性的，S110可以包括：基于远程控制方式，将多个参会端进行互联，每个参会端作为一处通信节点；将互联的多个参会端中发送共享屏幕请求的参会端确定为主参会端，以及将响应所述共享屏幕请求的至少一个参会端确定为从参会端。
其中，远程控制方式可以是指利用远程控制软件建立设备间的远程服务，然后通过这个远程服务，使用各种远程控制功能发送远程控制指令，控制被控端设备中的各种应用程序运行。
具体的，多个参会设备通过远程控制软件建立通信连接，每一个参会端设备都作为一个通信节点，当控制器获取任意通信节点的共享屏幕请求，且存在至少一处其他通信节点响应此共享屏幕请求，则将当前通信节点临时定义为主通信节点，响应的通信节点定义为从通信节点；将主通信节点对应的参会端确定为主参会端，将从通信节点对应的参会端作为从参会端。
示例性的，一次远程会议中，参会人员将各自的电脑通过远程控制软件互相建立通信连接，会议主讲人的电脑发出屏幕共享请求，其余参会人员在各自电脑端同意此屏幕共享请求，此时会议主讲人的电脑端即为主参会端，其余参会人员的电脑端为从参会端。
S120、将每个从参会端的屏幕界面共享至主参会端。
具体的，控制器将每个从参会端的屏幕界面共享至主参会端，使主参会端界面显示从参会端的屏幕界面。
S130、获取主参会端待控制的目标从参会端，并向目标从参会端发送屏幕控制请求。
其中，目标从参会端可以是指主参会端从屏幕中选择的一个屏幕界面对应的从参会端，也就是主参会端当前需要控制的从参会端。具体的，主参会端界面显示多个从参会端共享的从参会端界面，选择其中一个作为主参会端待控制的目标从参会端，并向此目标参会端发送屏幕控制请求。
示例性的，一次远程会议中，确定会议主讲人的电脑为主参会端，其余参会人员的电脑为从参会端，其余参会人员的电脑界面均会共享至主讲人的电脑界面显示，主讲人在其电脑界面选择一个参会人员的电脑界面作为待控制的目标从参会端，并向目标从参会端对应的电脑发送屏幕控制请求。
S140、在目标从参会端同意屏幕控制后，将主参会端自身的屏幕界面切换至目标从参会端的共享屏幕界面，并获取在共享屏幕界面上的操作步骤信息。
具体的，目标从参会端同意主参会端发出的屏幕控制请求后，将主参会端自身的屏幕界面切换为目标从参会端共享的界面，控制器获取主参会端在目标从参会端的共享界面上的操作步骤信息。
示例性的，目标从参会端设备同意主参会端设备发出的屏幕控制请求后，将主参会端设备的显示界面切换为目标从参会端设备共享的自身的显示界面，此时控制器获取主参会端设备在切换后的共享屏幕界面上的操作步骤信息。
S150、将操作步骤信息和目标从参会端标识信息发送至中转服务器，以使中转服务器基于目标从参会端标识信息，将操作步骤信息发送至目标从参会端。
其中，中转服务器可以是指为不同网络之间提供转接功能的服务器。目标从参会端标识信息可以是指用于表征目标从参会端的信息，以便区分不同的参会端。
具体的，控制器将主参会端在目标从参会端设备共享显示界面上的操作步骤信息和用于表征目标从参会端的标识信息发送至中转服务器，中转服务器根据接收到的目标从参会端的标识信息确定与之对应的目标从参会端，将主参会端的操作步骤信息发送至目标从参会端。
示例性的，S150中的“将操作步骤信息发送至目标从参会端”，可以包括：中转服务器通过全双工通信协议WebSocket，将操作步骤信息发送至目标从参会端。
其中，全双工通信协议WebSocket可以是指基于传输控制协议(TransmissionControl Protocol，TCP)的一种新的网络协议，实现浏览器与服务器全双工(full-duplex)通信，允许服务器主动发送信息给客户端。中转服务器在基于WebSocket协议将操作步骤信息发送至目标从参会端时，此时的数据传输只产生较少的控制开销，且中转服务器和目标从参会端之间始终保持连接状态，中转服务器可以随时下发数据，能够保证数据交互的稳定性和实时性。
S160、基于操作步骤信息，在目标从参会端自身的屏幕界面上执行相应的操作步骤，使得目标从参会端的屏幕界面与主参会端的屏幕界面内容一致。
具体的，目标从参会端根据接收到的操作步骤信息，在目标从参会端自身的显示界面执行对应的操作步骤，以使目标从参会端和主参会端各自显示界面的显示内容始终保持一致，从而实现了多屏互动，保证多屏互动的稳定可靠性，提高用户互动体验。
示例性的，目标从参会端设备接收到主参会端在共享屏幕中打开某一应用的操作，目标从参会端在自身显示界面上执行打开相同应用的操作，以使目标从参会端和主参会端各自显示界面显示相同的应用界面。
本发明实施例的技术方案，通过从互联的多个参会端中确定主参会端和至少一个从参会端；将每个从参会端的屏幕界面共享至主参会端；获取主参会端待控制的目标从参会端，并向目标从参会端发送屏幕控制请求；在目标从参会端同意屏幕控制后，将主参会端自身的屏幕界面切换至目标从参会端的共享屏幕界面，并获取在共享屏幕界面上的操作步骤信息；将操作步骤信息和目标从参会端标识信息发送至中转服务器，以使中转服务器基于目标从参会端标识信息，将操作步骤信息发送至目标从参会端；基于操作步骤信息，在目标从参会端自身的屏幕界面上执行相应的操作步骤，使得目标从参会端的屏幕界面与主参会端的屏幕界面内容一致，从而实现了主参会端与从参会端之间的互动，并且通过采用中转服务器进行中转可以保证每次主通信节点与从通信节点之间的信息交互稳定，能够稳定可靠地实现多屏互动，优化用户的使用体验，便于会议的开展。
在上述技术方案的基础上，该方法还包括：主参会端与每个从参会端之间是基于预先确定的最大交互次数和最大通道数量进行信息交互的，使得每次交互的平均响应时间小于预设阈值；其中，最大交互次数是指同时交互次数的最大门限值，最大通道数量是指允许使用的通信通道数量的最大门限值。
具体的，主参会端和从参会端在进行信息交互时，需要保证预设交互原则，两者之间基于预先确定的最大交互次数和最大通道数量进行信息交互，每次交互的平均响应时间小于预设阈值。
示例性的，假定主参会端与从参会端在进行信息交互时的同时交互次数的最大门限值，即最大交互次数为a，允许使用的通信通道数量最大门限值，即最大通道数量为s，其中a与s均为自然数；则有，
其中，
综上，计算得到每次主通信节点与从通信节点在进行交互的平均请求次数E[N]：
公式整理转换得到：
其中ρ＝a/s，且ρ＜1，为每次主参会端与从参会端在交互时，等待队列中已有的平均请求数，/>
则平均响应时间E[w]为：
其中，λ和μ为常数，满足λ/μ＝a；
通过预设a与s的值，以保证平均响应时间E[w]小于预设阈值，进而保证每次主通信节点与从通信节点之间的信息交互稳定。
需要说明的是，预设a与s的值通过针对主参会端与从参会端在交互时进行不断的实验分析作为预训练，进而得到适宜的a与s值。
实施例二
图2为本发明实施例二提供的一种多屏互动方法的流程图，本实施例在上述实施例的基础上，对步骤“将每个从参会端的屏幕界面共享至主参会端”进行了优化。其中与上述各实施例相同或相应的术语的解释在此不再赘述。
参见图2，本实施例提供的另一种跨网投屏方法具体包括以下步骤：
S210、从互联的多个参会端中确定主参会端和至少一个从参会端。
S220、对每个从参会端的屏幕界面进行录屏，获得每个从参会端对应的源视频流。
其中，源视频流可以是指录屏生成的未处理过的数据。具体的，控制器对每个从参会端的屏幕界面进行录屏，获得未处理过的录屏数据，作为每个从参会端对应的源视频流。
S230、将源视频流和主参会端标识信息发送至中转服务器，以使中转服务器基于主参会端标识信息，将源视频流发送至主参会端，并在主参会端上播放每个从参会端对应的源视频流。
其中，主参会端标识信息可以是指用于表征主参会端设备的信息。具体的，远程控制器将对从参会端显示界面录屏得到的源视频流和用于表征主参会端的标识信息发送至中转服务器，中转服务器根据接收到的主参会端的标识信息确定与之对应的主参会端，将对从参会端录屏得到的源视频流发送至主参会端，并在主参会端上播放每个从参会端对应的源视频流。
示例性的，S230可以包括：将源视频流进行预处理，获得每个从参会端对应的目标视频流，并将目标视频流和主参会端标识信息发送至中转服务器，以使中转服务器基于主参会端标识信息，将目标视频流发送至主参会端；主参会端对目标视频流进行解析，获得每个从参会端对应的源视频流，并在主参会端上播放每个从参会端对应的源视频流。
其中，目标视频流可以是指将源视频流进行编码操作后压缩成利于网络传输的格式后生成的数据流。
具体的，控制器对源视频流进行编码操作将视频压缩成利于网络传输的格式，将编码后的视频流及其关联的音频、字幕的数据流打包到容器中，完成封装，得到每个从参会端对应的目标视频流。并将目标视频流和主参会端标识信息发送至中转服务器，中转服务器基于主参会端标识信息，将目标视频流发送至主参会端；主参会端接收到预处理得到的目标视频流后，对预处理后的目标视频流进行解封装，将编码后的视频流及其关联的音频、字幕数据分离出来，对编码后的视频流进行解码，还原为源视频流，并在主参会端上播放源视频流。经过编码操作生成的数据流为更有利于数据传输的格式，进一步的保证了数据交互的稳定性。
S240、获取主参会端待控制的目标从参会端，并向目标从参会端发送屏幕控制请求。
S250、在目标从参会端同意屏幕控制后，将主参会端自身的屏幕界面切换至目标从参会端的共享屏幕界面，并获取在共享屏幕界面上的操作步骤信息。
S260、将操作步骤信息和目标从参会端标识信息发送至中转服务器，以使中转服务器基于目标从参会端标识信息，将操作步骤信息发送至目标从参会端。
S270、基于操作步骤信息，在目标从参会端自身的屏幕界面上执行相应的操作步骤，使得目标从参会端的屏幕界面与主参会端的屏幕界面内容一致。
本发明实施例的技术方案，通过对每个从参会端的屏幕界面进行录屏，获得每个从参会端对应的源视频流；将源视频流和主参会端标识信息发送至中转服务器，以使中转服务器基于主参会端标识信息，将源视频流发送至主参会端，并在主参会端上播放每个从参会端对应的源视频流。从而实现从通信节点的共享屏幕与主通信节点的自身屏幕一致，完成屏幕互动的同时保证流传输过程的稳定性，保证投屏质量，优化用户的互动体验。
在上述技术方案的基础上，目标视频流可以是基于预设流控制方式的流控制传输协议进行发送的；预设流控制方式是基于当前网络带宽调整流传输策略的方式。
其中，预设流控制方式可以是指通过控制带宽改变传输效率的方式。流控制传输协议(Stream Control Transmission Protocol，SCTP)可以是指一个传输层协议，是提供基于不可靠传输业务的协议之上的可靠的数据报传输协议。
具体的，将目标视频流和主参会端的标识信息发送至中转服务器，对目标视频流进行传输时通过基于当前网络带宽调整流传输策略的方式进行视频流的传输，可以保证视频流质量。需要说明的是，主参会端和从参会端可以处于不同的网络环境时，比如主参会端位于第一局域网中，从参会端位于不同于第一局域网的第二局域网中，通过利用中转服务器，并且基于当前网络带宽调整流传输策略的方式进行视频流的跨网传输，可以进一步实现跨网的稳定投屏，优化用户的使用体验，便于会议的开展。
示例性的，获取当前网络带宽，并检测当前网络带宽是否不等于第一网络带宽。其中，网络带宽可以是指在单位时间内能传输的数据量。当前网络带宽Wcur是指网络的实时带宽。第一网络带宽Wbase是指对基本层传输的数据完全解码所需要的带宽。基本层是指数据传输时优先级最高的部分码流。
可以预先设置一个基本层的预设数据子流量为1base。基本层在每个保护力度下实时传输的数据子流量为实时传输的增强层的数据子流量为/>使用前向纠错(ForwardError Correction,FEC)保护的增强层的数据子流量为Gi(t)。使用FEC保护的基本层的数据子流量为Hj(t)。Hjmax(t)为预设基本层的数据子流量的最大值。其中，i与j为表征FEC保护力度的程度值，且i与j与保护力度的程度呈正相关。增强层是指数据传输时优先级低于基本层的部分码流。
若当前网络带宽Wcur大于第一网络带宽Wbase，且Wcur的变化走势为逐渐增大，则确定调整后的流传输策略为：将基本层的预设数据子流量确定为基本层在每个保护力度下实时传输的数据子流量；将增强层在上一保护力度下实时传输的数据子流量加1处理，获得增强层在当前保护力度下实时传输的数据子流量；将使用前向纠错保护的基本层在上一时刻最大保护力度下的数据子流量确定为使用前向纠错保护的基本层在当前时刻最大保护力度下的数据子流量；将使用前向纠错保护的增强层在上一时刻上一保护力度下的数据子流量加1处理，获得使用前向纠错保护的增强层在当前时刻当前保护力度下的数据子流量。即：Gi(t)＝Gi-1(t-1)+1，Hjmax(t)＝Hjmax(t-1)。
若Wcur大于Wbase，且Wcur的变化走势为逐渐减小，则确定调整后的流传输策略为：将基本层的预设数据子流量确定为基本层在每个保护力度下实时传输的数据子流量；将增强层在上一保护力度下实时传输的数据子流量减1处理，获得增强层在当前保护力度下实时传输的数据子流量；将使用前向纠错保护的基本层在当前时刻最大保护力度下的数据子流量维持不变，不作调整；将使用前向纠错保护的增强层在上一时刻上一保护力度下的数据子流量加1处理，获得使用前向纠错保护的增强层在当前时刻当前保护力度下的数据子流量。即：Gi(t)＝Gi-1(t-1)+1，Hjmax(t)不变。
若Wcur小于Wbase，且Wcur的变化走势为逐渐增大，则确定调整后的流传输策略为：将基本层在上一保护力度下实时传输的数据子流量加1处理，获得基本层在当前保护力度下实时传输的数据子流量；确定增强层在每个保护力度下实时传输的数据子流量为0；将使用前向纠错保护的基本层在上一时刻上一保护力度下的数据子流量确定为使用前向纠错保护的基本层在当前时刻当前保护力度下的数据子流量；将使用前向纠错保护的增强层在当前时刻当前保护力度下的数据子流量维持不变，不作调整。即：Hj(t)＝Hj-1(t-1)，/>
若Wcur小于Wbase，且Wcur的变化走势为逐渐减小，则确定调整后的流传输策略为：将基本层在上一保护力度下实时传输的数据子流量减1处理，获得基本层在当前保护力度下实时传输的数据子流量；确定增强层在每个保护力度下实时传输的数据子流量为0；将使用前向纠错保护的基本层在下一时刻上一保护力度下的数据子流量确定为使用前向纠错保护的基本层在当前时刻当前保护力度下的数据子流量；将使用前向纠错保护的增强层在当前时刻当前保护力度下的数据子流量维持不变，不作调整。即：Hj(t)＝Hj+1(t-1)，/>
若Wcur等于Wbase，则不作调整，维持原有的传输状态。其中，原有流传输状态可以是指预设流控制方式的SCTP协议中规定的传输状态。
本发明实施例中的流传输策略可以保证开始传输的数据子流量一直处于数据子流量中重要程度最大的状态，而结束传输的数据子流量一直保持传输数据子流量中重要程度最小的状态，通过针对性地设置流控制规则防止网络堵塞，保证传输过程稳定。
实施例三
图3为本发明实施例三提供的一种多屏互动装置的结构示意图。如图3所示，该装置具体包括：主从确定模块310、屏幕界面共享模块320、屏幕控制模块330、操作步骤获取模块340、操作步骤发送模块350和操作步骤执行模块360。
其中，主从确定模块310，用于从互联的多个参会端中确定主参会端和至少一个从参会端；屏幕界面共享模块320，用于将每个所述从参会端的屏幕界面共享至所述主参会端；屏幕控制模块330，用于获取所述主参会端待控制的目标从参会端，并向所述目标从参会端发送屏幕控制请求；操作步骤获取模块340，用于在所述目标从参会端同意屏幕控制后，将所述主参会端自身的屏幕界面切换至所述目标从参会端的共享屏幕界面，并获取在所述共享屏幕界面上的操作步骤信息；操作步骤发送模块350，用于将所述操作步骤信息和目标从参会端标识信息发送至中转服务器，以使所述中转服务器基于所述目标从参会端标识信息，将所述操作步骤信息发送至所述目标从参会端；操作步骤执行模块360，用于基于所述操作步骤信息，在所述目标从参会端自身的屏幕界面上执行相应的操作步骤，使得所述目标从参会端的屏幕界面与所述主参会端的屏幕界面内容一致。
本实施例的技术方案，通过从互联的多个参会端中确定主参会端和至少一个从参会端；将每个从参会端的屏幕界面共享至主参会端；获取主参会端待控制的目标从参会端，并向目标从参会端发送屏幕控制请求；在目标从参会端同意屏幕控制后，将主参会端自身的屏幕界面切换至目标从参会端的共享屏幕界面，并获取在共享屏幕界面上的操作步骤信息；将操作步骤信息和目标从参会端标识信息发送至中转服务器，以使中转服务器基于目标从参会端标识信息，将操作步骤信息发送至目标从参会端；基于操作步骤信息，在目标从参会端自身的屏幕界面上执行相应的操作步骤，使得目标从参会端的屏幕界面与主参会端的屏幕界面内容一致，从而实现了主参会端与从参会端之间的互动，并且采用中转服务器进行中转可以保证每次主通信节点与从通信节点之间的信息交互稳定，能够稳定可靠地实现多屏互动，优化用户的使用体验，便于会议的开展。
可选地，主从确定模块310，具体用于：
基于远程控制方式，将多个参会端进行互联，每个参会端作为一处通信节点；将互联的多个参会端中发送共享屏幕请求的参会端确定为主参会端，以及将响应所述共享屏幕请求的至少一个参会端确定为从参会端。
可选地，屏幕界面共享模块320，包括：
源视频流生成单元，用于对每个所述从参会端的屏幕界面进行录屏，获得每个所述从参会端对应的源视频流；
源视频流播放单元，用于将所述源视频流和主参会端标识信息发送至所述中转服务器，以使所述中转服务器基于所述主参会端标识信息，将所述源视频流发送至所述主参会端，并在所述主参会端上播放每个所述从参会端对应的源视频流。
可选地，源视频流播放单元，包括：
目标视频流发送子单元，用于将所述源视频流进行预处理，获得每个所述从参会端对应的目标视频流，并将所述目标视频流和主参会端标识信息发送至所述中转服务器，以使所述中转服务器基于所述主参会端标识信息，将所述目标视频流发送至所述主参会端；
源视频流播放子单元，所述主参会端对所述目标视频流进行解析，获得每个所述从参会端对应的源视频流，并在所述主参会端上播放每个所述从参会端对应的源视频流。
可选地，所述目标视频流是基于预设流控制方式的流控制传输协议进行发送的；所述预设流控制方式是基于当前网络带宽调整流传输策略的方式。
可选地，操作步骤发送模块350，具体用于：
所述中转服务器通过全双工通信协议WebSocket，将所述操作步骤信息发送至所述目标从参会端。
可选的，所述主参会端与每个从参会端之间是基于预先确定的最大交互次数和最大通道数量进行信息交互的，使得每次交互的平均响应时间小于预设阈值；其中，所述最大交互次数是指同时交互次数的最大门限值，所述最大通道数量是指允许使用的通信通道数量的最大门限值。
本发明实施例所提供的多屏互动装置可执行本发明任意实施例所提供的多屏互动方法，具备执行方法相应的功能模块和有益效果。
图4示出了可以用来实施本发明的实施例的电子设备12的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，台式计算机、工作台、服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发实施例所提供的一种多屏互动方法步骤，该方法包括：
从互联的多个参会端中确定主参会端和至少一个从参会端；
将每个所述从参会端的屏幕界面共享至所述主参会端；
获取所述主参会端待控制的目标从参会端，并向所述目标从参会端发送屏幕控制请求；
在所述目标从参会端同意屏幕控制后，将所述主参会端自身的屏幕界面切换至所述目标从参会端的共享屏幕界面，并获取在所述共享屏幕界面上的操作步骤信息；
将所述操作步骤信息和目标从参会端标识信息发送至中转服务器，以使所述中转服务器基于所述目标从参会端标识信息，将所述操作步骤信息发送至所述目标从参会端；
基于所述操作步骤信息，在所述目标从参会端自身的屏幕界面上执行相应的操作步骤，使得所述目标从参会端的屏幕界面与所述主参会端的屏幕界面内容一致。
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的多屏互动方法的技术方案。
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的多屏互动方法步骤，该方法包括：
从互联的多个参会端中确定主参会端和至少一个从参会端；
将每个所述从参会端的屏幕界面共享至所述主参会端；
获取所述主参会端待控制的目标从参会端，并向所述目标从参会端发送屏幕控制请求；
在所述目标从参会端同意屏幕控制后，将所述主参会端自身的屏幕界面切换至所述目标从参会端的共享屏幕界面，并获取在所述共享屏幕界面上的操作步骤信息；
将所述操作步骤信息和目标从参会端标识信息发送至中转服务器，以使所述中转服务器基于所述目标从参会端标识信息，将所述操作步骤信息发送至所述目标从参会端；
基于所述操作步骤信息，在所述目标从参会端自身的屏幕界面上执行相应的操作步骤，使得所述目标从参会端的屏幕界面与所述主参会端的屏幕界面内容一致。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种多屏互动方法，其特征在于，包括：
从互联的多个参会端中确定主参会端和至少一个从参会端；
将每个所述从参会端的屏幕界面共享至所述主参会端；
获取所述主参会端待控制的目标从参会端，并向所述目标从参会端发送屏幕控制请求；
在所述目标从参会端同意屏幕控制后，将所述主参会端自身的屏幕界面切换至所述目标从参会端的共享屏幕界面，并获取在所述共享屏幕界面上的操作步骤信息；
将所述操作步骤信息和目标从参会端标识信息发送至中转服务器，以使所述中转服务器基于所述目标从参会端标识信息，将所述操作步骤信息发送至所述目标从参会端；
基于所述操作步骤信息，在所述目标从参会端自身的屏幕界面上执行相应的操作步骤，使得所述目标从参会端的屏幕界面与所述主参会端的屏幕界面内容一致。
2.根据权利要求1所述的方法，其特征在于，从互联的多个参会端中确定主参会端和至少一个从参会端，包括：
基于远程控制方式，将多个参会端进行互联，每个参会端作为一处通信节点；
将互联的多个参会端中发送共享屏幕请求的参会端确定为主参会端，以及将响应所述共享屏幕请求的至少一个参会端确定为从参会端。
3.根据权利要求1所述的方法，其特征在于，将每个所述从参会端的屏幕界面共享至所述主参会端，包括：
对每个所述从参会端的屏幕界面进行录屏，获得每个所述从参会端对应的源视频流；
将所述源视频流和主参会端标识信息发送至所述中转服务器，以使所述中转服务器基于所述主参会端标识信息，将所述源视频流发送至所述主参会端，并在所述主参会端上播放每个所述从参会端对应的源视频流。
4.根据权利要求3所述的方法，其特征在于，将所述源视频流和主参会端标识信息发送至所述中转服务器，以使所述中转服务器基于所述主参会端标识信息，将所述源视频流发送至所述主参会端，并在所述主参会端上播放每个所述从参会端对应的源视频流，包括：
将所述源视频流进行预处理，获得每个所述从参会端对应的目标视频流，并将所述目标视频流和主参会端标识信息发送至所述中转服务器，以使所述中转服务器基于所述主参会端标识信息，将所述目标视频流发送至所述主参会端；
所述主参会端对所述目标视频流进行解析，获得每个所述从参会端对应的源视频流，并在所述主参会端上播放每个所述从参会端对应的源视频流。
5.根据权利要求4所述的方法，其特征在于，所述目标视频流是基于预设流控制方式的流控制传输协议进行发送的；所述预设流控制方式是基于当前网络带宽调整流传输策略的方式。
6.根据权利要求1所述的方法，其特征在于，所述主参会端与每个从参会端之间是基于预先确定的最大交互次数和最大通道数量进行信息交互的，使得每次交互的平均响应时间小于预设阈值；
其中，所述最大交互次数是指同时交互次数的最大门限值，所述最大通道数量是指允许使用的通信通道数量的最大门限值。
7.根据权利要求1所述的方法，其特征在于，所述中转服务器将所述操作步骤信息发送至所述目标从参会端，包括：
所述中转服务器通过全双工通信协议WebSocket，将所述操作步骤信息发送至所述目标从参会端。
8.一种多屏互动装置，其特征在于，包括：
主从确定模块，用于从互联的多个参会端中确定主参会端和至少一个从参会端；
屏幕界面共享模块，用于将每个所述从参会端的屏幕界面共享至所述主参会端；
屏幕控制模块，用于获取所述主参会端待控制的目标从参会端，并向所述目标从参会端发送屏幕控制请求；
操作步骤获取模块，用于在所述目标从参会端同意屏幕控制后，将所述主参会端自身的屏幕界面切换至所述目标从参会端的共享屏幕界面，并获取在所述共享屏幕界面上的操作步骤信息；
操作步骤发送模块，用于将所述操作步骤信息和目标从参会端标识信息发送至中转服务器，以使所述中转服务器基于所述目标从参会端标识信息，将所述操作步骤信息发送至所述目标从参会端；
操作步骤执行模块，用于基于所述操作步骤信息，在所述目标从参会端自身的屏幕界面上执行相应的操作步骤，使得所述目标从参会端的屏幕界面与所述主参会端的屏幕界面内容一致。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的多屏互动方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的多屏互动方法。
CN202310724932.XA 2023-06-16 2023-06-16 一种多屏互动方法、装置、设备及存储介质 Pending CN117008855A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310724932.XA CN117008855A (zh) 2023-06-16 2023-06-16 一种多屏互动方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310724932.XA CN117008855A (zh) 2023-06-16 2023-06-16 一种多屏互动方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117008855A true CN117008855A (zh) 2023-11-07

Family

ID=88564382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310724932.XA Pending CN117008855A (zh) 2023-06-16 2023-06-16 一种多屏互动方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117008855A (zh)

Similar Documents

Publication Publication Date Title
Wu et al. Enabling adaptive high-frame-rate video streaming in mobile cloud gaming applications
US9338614B2 (en) Voice messaging method and mobile terminal supporting voice messaging in mobile messenger service
US8612819B2 (en) Systems, methods, and media for checking available bandwidth using forward error correction
CN105723656A (zh) 针对通信会话的服务策略
US8984156B2 (en) Multi-party mesh conferencing with stream processing
CN114666225B (zh) 带宽调整方法、数据传输方法、设备及计算机存储介质
CN111629210A (zh) 一种数据处理的方法、装置及电子设备
US11196868B2 (en) Audio data processing method, server, client and server, and storage medium
CN107509086B (zh) 一种云桌面下的视频重定向方法及装置
CN112866746A (zh) 一种多路串流云游戏控制方法、装置、设备及存储介质
US20140099040A1 (en) Image processing device and image processing method
CN112771875B (zh) 在保持视频质量的同时提高视频比特率
CN112311784A (zh) 一种投屏系统及投屏方法
CN117008855A (zh) 一种多屏互动方法、装置、设备及存储介质
WO2023109053A1 (zh) 用于服务器的带宽分配方法和装置
CN115022725A (zh) 一种视频播放方法和装置
CN115243074A (zh) 视频流的处理方法及装置、存储介质、电子设备
WO2016107174A1 (zh) 多媒体文件数据的处理方法及系统、播放器和客户端
CN113259690A (zh) 一种跨网系的音视频实时在线协同系统及方法
CN112737971A (zh) 数据处理方法、装置、存储介质及网络设备
CN114448588A (zh) 音频传输方法、装置、电子设备及计算机可读存储介质
CN116136751B (zh) 一种用于主屏以及次屏跨操作系统的镜像方法
CN113727183B (zh) 直播推流方法、装置、设备、存储介质及计算机程序产品
JP4496987B2 (ja) コンテンツ送信サーバ、システム及びサーバプログラム
CN115209189B (zh) 一种视频流传输方法、系统、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination