CN114071217A - 基于指令流的多屏互动方法、装置、计算机及存储介质 - Google Patents

基于指令流的多屏互动方法、装置、计算机及存储介质 Download PDF

Info

Publication number
CN114071217A
CN114071217A CN202111131868.1A CN202111131868A CN114071217A CN 114071217 A CN114071217 A CN 114071217A CN 202111131868 A CN202111131868 A CN 202111131868A CN 114071217 A CN114071217 A CN 114071217A
Authority
CN
China
Prior art keywords
target application
target
instruction
display
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111131868.1A
Other languages
English (en)
Inventor
曾金龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Coocaa Network Technology Co Ltd
Original Assignee
Shenzhen Coocaa Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Coocaa Network Technology Co Ltd filed Critical Shenzhen Coocaa Network Technology Co Ltd
Priority to CN202111131868.1A priority Critical patent/CN114071217A/zh
Publication of CN114071217A publication Critical patent/CN114071217A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/65—Updates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/70—Software maintenance or management
    • G06F8/71—Version control; Configuration management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/34—Network arrangements or protocols for supporting network services or applications involving the movement of software or configuration parameters 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42226—Reprogrammable remote control devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开一种基于指令流的多屏互动方法、装置、计算机及存储介质，获取主控投屏端发送的目标应用标识，显示目标应用标识对应的目标应用界面；接收每一参与投屏端发送的控制指令；执行控制指令，显示操作结果。本发明的显示端接收每一参与投屏端发送的控制指令，所需的带宽要求小，时延低，具有网络适应性好的优点，可以有效保证显示画面流畅，保证用户交互体验和观看体验良好，且可以实现多端互动。

Description

基于指令流的多屏互动方法、装置、计算机及存储介质
技术领域
本发明涉及投屏技术领域，尤其涉及一种基于指令流的多屏互动方法、装置、计算机及存储介质。
背景技术
投屏就是采用大屏幕显示端显示特定内容，以便多人观看。
目前，现有投屏方式虽然可以实现多个参与投屏端与显示端连接，以观看显示端显示的内容，但是通常只能在显示端上显示和观看视频流数据，而无法进行操作，不理于多端互动的实现；且参与投屏端将视频流发送给显示端显示的过程，需要较大的带宽，容易导致显示画面出现卡顿；且当参与投屏端查看个人软件等操作也将被实时录屏，容易泄露用户的个人信息。
发明内容
本发明实施例提供一种基于指令流的多屏互动方法、装置、计算机设备及存储介质，以解决基于指令流的多屏互动问题。
一种基于指令流的多屏互动方法，包括：
获取主控投屏端发送的目标应用标识，显示所述目标应用标识对应的目标应用界面；
接收每一所述参与投屏端发送的控制指令；
执行所述控制指令，显示操作结果。
一种基于指令流的多屏互动方法装置，包括：
应用界面显示模块，用于获取主控投屏端发送的目标应用标识，显示所述目标应用标识对应的目标应用界面；
控制指令接收模块，用于接收每一所述参与投屏端发送的控制指令；
操作结果显示模块，用于执行所述控制指令，显示操作结果。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于指令流的多屏互动方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于指令流的多屏互动方法的步骤。
上述基于指令流的多屏互动方法、装置、计算机设备及存储介质，获取主控投屏端发送的目标应用标识，显示所述目标应用标识对应的目标应用界面，以实现多个参与投屏端控制目标应用程序，多端互动。接收每一所述参与投屏端发送的控制指令，所需的带宽要求小，时延低，具有网络适应性好的优点，可以有效保证显示画面流畅，保证用户交互体验和观看体验良好。执行所述控制指令，显示操作结果，即使在网络较差的环境中，显示端可以即时显示操作结果，且显示画面流畅。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中基于指令流的多屏互动方法的一应用环境示意图；
图2是本发明一实施例中基于指令流的多屏互动方法的一流程图；
图3是本发明一实施例中基于指令流的多屏互动方法的另一流程图；
图4是本发明一实施例中基于指令流的多屏互动方法的另一流程图；
图5是本发明一实施例中基于指令流的多屏互动方法的另一流程图；
图6是本发明一实施例中基于指令流的多屏互动方法的另一流程图；
图7是本发明一实施例中基于指令流的多屏互动方法的另一流程图；
图8是本发明一实施例中基于指令流的多屏互动方法的另一流程图；
图9是本发明一实施例中基于指令流的多屏互动装置的一示意图；
图10是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的基于指令流的多屏互动方法，应用于如图1所示的多端投屏系统中，多端投屏系统包括显示端和与显示端相连的N个参与投屏端。该显示端可安装在但不限于电视、盒子等硬件载体上。其中，盒子需要通过HDMI接到显示器，以在显示器上显示；电视则可以直接显示。参与投屏端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备显示端上。其中，N大于等于2。
所述基于指令流的多屏互动方法包括所述显示端执行的如下步骤：
S201：获取主控投屏端发送的目标应用标识，显示所述目标应用标识对应的目标应用界面。
其中，主控投屏端指当前时刻，将目标投屏数据通过显示端进行显示的投屏端。可以理解地，主控投屏端为N个参与投屏端中的一个。
目标应用标识是主控投屏端希望控制的目标应用程序对应的标识，以便后续基于目标应用程序进行多屏互动。例如，目标应用标识可以是程序的名称或者程序的存储路径等，在此不做限定。本实施例中，该目标应用标识对应的目标应用程可以是网页游戏、本地游戏、办公程序、互联网程序、多媒体程序、分析程序、协作程序、绘画程序、vr程序或者地图程序等。
目标应用界面是目标应用程序对应的界面。
本实施例中，在主控投屏端显示目标应用标识对应的目标应用界面，每一参与投屏端对应的用户可以观看显示端显示的目标应用界面，当想要进行交互的时候，用户可以通过参与投屏端向显示端发送控制指令，以对目标应用程序进行控制，实现多个参与投屏端控制目标应用程序，多端互动。
S202：接收每一所述参与投屏端发送的控制指令。
传统的多端投屏时，通常是其中一个参与投屏端向显示端发送视频数据流，以在显示端显示特定的视频内容，带宽要求大，容易出现时延，画面卡顿，严重影响用户使用观感。本实施例中，在显示端安装主控投屏端的用户想要的目标应用程序。在互动过程中，用户可以通过参与投屏端向显示端发送控制指令，显示端根据参与投屏端的控制指令，控制目标应用程序，以实现多端互动。本实施例中，交互过程只有控制指令的传输，数据量非常小，而且不需要视频数据流等资源类的数据传输，因此，所需带宽要求小，适用于网络环境较差，但是需要多端互动的情况，时延低，具有网络适应性好的优点，可以有效保证显示画面流畅，保证用户交互体验和观看体验良好。
S203：执行所述控制指令，显示操作结果。
本实施例中，显示端接收到参与投屏端的控制指令后，则执行控制指令，以控制目标应用程序，并在显示端显示操作结果，以便用户了解。本实施例中，显示端在自身的目标应用程序中，执行控制指令，不需要大宽带，即使在网络较差的环境中，显示端可以即时显示操作结果，且显示画面流畅。
本实施例所提供的基于指令流的多屏互动方法，获取主控投屏端发送的目标应用标识，显示所述目标应用标识对应的目标应用界面，以实现多个参与投屏端控制目标应用程序，多端互动。接收每一所述参与投屏端发送的控制指令，所需的带宽要求小，时延低，具有网络适应性好的优点，可以有效保证显示画面流畅，保证用户交互体验和观看体验良好。执行所述控制指令，显示操作结果，即使在网络较差的环境中，显示端可以即时显示操作结果，且显示画面流畅。
作为一实施例，如图3所示，步骤S201，即所述显示所述目标应用标识对应的目标应用界面，包括：
S301：判断所述目标应用标识对应的应用类型是否为本地类型。
其中，本地类型指目标应用标识对应的目标应用程序为本地应用程序。本地应用程序是预先下载在显示端中的程序。
本实施例中，当显示端接收到目标应用标识时，则查看数据库，若可以得到与目标应用标识对应的目标应用程序，则目标应用标识对应的应用类型为本地类型，即目标应用标识对应的目标应用程序为本地应用程序；若无法得到与目标应用标识对应的目标应用程序，则目标应用标识对应的应用类型不为本地类型，即目标应用标识对应的目标应用程序不为本地应用程序。
作为一示例，目标应用标识包括目标应用ID；显示端查看数据库，若可以得到与目标应用ID对应的目标应用程序，则目标应用标识对应的应用类型为本地类型。若无法得到与目标应用ID对应的目标应用程序，则目标应用标识对应的应用类型不为本地类型。
目标应用标识包括目标应用URL，显示端查看数据库，若目标应用URL存储有目标应用程序，则确定目标应用标识对应的应用类型为本地类型。若目标应用URL不为显示端的存储路径，则确定目标应用标识对应的应用类型不为本地类型。
S302：若所述目标应用标识对应的应用类型为本地类型，则执行第一显示策略，显示目标应用标识对应的目标应用界面。
其中，第一显示策略是在显示端存在目标应用程序的情况下，在显示端展示目标应用界面的策略。
本实施例中，当目标应用标识对应的应用类型为本地类型，则直接打开目标应用程序，以显示目标应用标识对应的目标应用界面，为后续的多端互动提供技术支持。
S303：若所述目标应用标识对应的应用类型不为本地类型，则执行第二显示策略，显示目标应用标识对应的目标应用界面。
其中，第二显示策略是在显示端不存在目标应用程序的情况下，在显示端展示目标应用界面的策略。
本实施例中，当目标应用标识对应的应用类型不为本地类型，则无法在显示端上显示目标应用界面，此时，显示端执行第二显示策略，以在显示端显示目标应用标识对应的目标应用界面，为后续的多端互动提供技术支持。
本实施例所提供的基于指令流的多屏互动方法，所述目标应用标识对应的应用类型为本地类型，则执行第一显示策略，显示目标应用标识对应的目标应用界面；所述目标应用标识对应的应用类型不为本地类型，则执行第二显示策略，显示目标应用标识对应的目标应用界面。利用第一显示策略和第二显示策略，保证显示端显示目标应用标识对应的目标应用界面，以保证在显示端的本地应用程序进行多端互动，所需的带宽要求小，时延低，具有网络适应性好的优点，可以有效保证显示画面流畅，保证用户交互体验和观看体验良好为后续的多端互动提供技术支持。
作为一实施例，如图4所示，步骤S302，即所述目标应用标识对应的应用类型为本地类型，则执行第一显示策略，显示目标应用标识对应的目标应用界面，包括：
S401：基于所述目标应用标识确定本地应用程序，判断所述本地应用程序是否需要更新。
通常情况下，当应用程序没有更新至最新版本时，在应用程序使用过程中可能出现更新指令，而导致应用程序应用过程被中断，或者部分指令无法执行。本实施例中，目标应用标识对应的应用类型为本地类型，则说明目标应用标识对应的目标应用程序为本地应用程序，此时，为了保证本地应用程序的应用过程，用户可以顺畅使用且不被打断；显示端向云端服务器发送包含目标应用标识的版本查询请求，以接收云端服务器反馈的本地应用程序的最新版本，将本地应用程序的最新版本和本地应用程序的当前版本进行比对，当本地应用程序的最新版本和本地应用程序的当前版本为同一版本，则本地应用程序无需更新；当本地应用程序的最新版本和本地应用程序的当前版本不为同一版本，则本地应用程序需要更新。
S402：若所述本地应用程序需要更新，则向云端服务器发送资源更新请求，获取所述云端服务器反馈的目标更新资源，基于所述目标更新资源和所述本地应用程序，显示所述目标应用标识对应的目标应用界面。
其中，资源更新请求是用于更新目标应用标识对应的本地应用程序的版本的请求。可以理解地，资源更新请求包括目标应用标识。
目标更新资源是用于对目标应用标识对应的本地应用程序进行更新的资源，可以理解为目标应用标识对应的本地应用程序的最新版本对应的资源。
本实施例中，当本地应用程序的最新版本和本地应用程序的当前版本不为同一版本，则该本地应用程序需要更新；此时，显示端向云端服务器发送资源更新请求，以使所述云端服务器基于目标应用标识，反馈目标更新资源；当显示端接收到目标更新资源时，则基于所述目标更新资源更新所述本地应用程序，以得到最新版本的本地应用程序；显示端向主控投屏端发送本地应用程序为最新版本的最新版本确认信息；主控投屏端基于最新版本确认，向显示端发送打开目标应用程序的程序控制指令，以控制显示端打开目标应用程序的目标应用界面。
本实施例中，当本地应用程序需要更新，则显示端向云端服务器请求本地应用程序的目标更新资源，以更新本地应用程序，保证多端互动过程中，用户可以顺畅互动且不被打断。
S403：若所述本地应用程序不需要更新，则打开所述本地应用程序，以显示所述目标应用标识对应的目标应用界面。
本实施例中，当本地应用程序的最新版本和本地应用程序的当前版本为同一版本，则该本地应用程序为最新版本，本地应用程序不需要更新；此时，显示端向主控投屏端发送本地应用程序为最新版本的最新版本确认信息；主控投屏端基于最新版本确认，向显示端发送打开目标应用程序的程序控制指令，以控制显示端打开目标应用程序的目标应用界面，保证多端互动过程中，用户可以顺畅互动且不被打断。
本实施例提供的基于指令流的多屏互动方法，基于所述目标应用标识确定本地应用程序，判断所述本地应用程序是否需要更新；所述本地应用程序需要更新，则向云端服务器发送资源更新请求，获取所述云端服务器反馈的目标更新资源，基于所述目标更新资源和所述本地应用程序，显示所述目标应用标识对应的目标应用界面；所述本地应用程序不需要更新，则打开所述本地应用程序，以显示所述目标应用标识对应的目标应用界面。本实施例中，通过保证目标应用程序为最新版本的程序，保证多端互动过程中，用户可以顺畅互动且不被打断。
作为一实施例，如图5所示，步骤S303，即所述目标应用标识对应的应用类型不为本地类型，则执行第二显示策略，显示目标应用标识对应的目标应用界面，包括：
S501：向云端服务器发送代码资源下载请求，所述代码资源下载请求包括目标应用标识。
其中，代码资源下载请求是显示端向云端服务器发送的请求，用于获取与目标应用标识对应的目标代码资源。
S502：获取所述云端服务器基于所述目标应用标识反馈的目标代码资源。
其中，目标代码资源是与目标应用标识对应的代码资源。
本实施例中，当显示端确定目标应用标识对应的应用类型不为本地类型，则说明目标应用标识对应的目标应用程序没有下载在显示端中，或者目标应用标识对应的目标应用程序为网页程序；此时，则向云端服务器发送代码资源下载请求，以便得到云端服务器反馈的目标代码资源，以保证可以在显示端打开目标应用程序。
S503：基于所述目标代码资源，显示所述目标应用标识对应的目标应用界面。
本实施例中，根据目标代码资源，以在显示端显示目标应用标识对应的目标应用界面，保证在显示端的本地应用程序进行多端互动，所需的带宽要求小，时延低，具有网络适应性好的优点，可以有效保证显示画面流畅，保证用户交互体验和观看体验良好为后续的多端互动提供技术支持。
作为一实施例，如图6所示，在步骤S203之后，即在所述执行所述控制指令，显示操作结果之后，所述基于指令流的多屏互动方法还包括：
S601：获取所述目标应用程序的程序类型，判断所述目标应用程序对应的程序类型是否为进度存档类型。
其中，程序类型是指示目标应用程序的类型。示例性地，目标应用程序可以是网页游戏、本地游戏、办公程序、互联网程序、多媒体程序、分析程序、协作程序和绘画程序等。通常情况下，网页游戏是不需要进行存档的，而如本地游戏、办公程序、互联网程序、多媒体程序、分析程序、协作程序和绘画程序等，则需要可以进行存档，以便在当前时刻进入目标应用程序的时候，可以进入上一次控制目标应用程序时相应的进度。
本实施例中，当目标应用程序的程序类型包括进度存档类型和非进度存档类型。其中，进度存档类型是指目标应用程序需要保存进度存档；例如，本地游戏程序则为进度存档类型，为保证下次玩游戏的时候，还可以继续之前的进度，不需要每次都重新开始；非进度存档类型是指目标应用程序不需要保存进度存档；例如，网页游戏程序或者导航程序等则为非进度存档类型。
S602：若所述目标应用程序对应的程序类型为进度存档类型，则当接收到退出指令时，基于所述控制指令确定所述目标应用程序对应的当前处理进度，并生成与所述当前处理进度对应的当前存档文件，其中，退出指令携带有目标用户标识。
其中，当前处理进度是指用户互动过程中，显示端执行控制指令形成的结果。示例性地，目标应用程序为本地游戏程序时，则当前处理进度为显示端执行控制指令，通过的剧情或者关卡等。或者，目标应用程序为绘图程序时，则当前处理进度为绘图进度等。目标用户标识是用于确定使用参与投屏端的用户身份的标识，该目标用户标识可以是用户的账号或者用户的身份证号等。
本实施例中，当用户想要退出目标应用程序时，则点击参与投屏端的退出按键，以向显示端发送退出指令，且退出指令中还携带有使用该参与投屏端的用户对应的目标用户标识；显示端接收到退出指令时，则根据当前时刻中，显示端接收到的所有控制指令确定当前处理进度，并生成与当前处理进度对应的当前存档文件，以便后续可以进行存档。
S603：将所述当前存档文件和所述目标用户标识关联存储在数据库中。
本实施例中，将当前存档文件和目标用户标识关联存储在数据库中，因此，后续目标用户标识对应的用户想要打开目标应用程序时，则可以打开自身所需的进度，而不需要重新开始。
本实施例中，当目标应用程序对应的程序类型为进度存档类型，当接收到主控投屏发送的退出本地应用程序的退出指令，则显示端根据控制指令得到的当前处理进度与目标应用标识关联存储在数据库中，则后续，在显示端重新打开目标应用程序时，可以打开当前存档文件，直接进入当前处理进度，再次控制目标应用程序，实现按需进入目标应用程序的当前处理进度，避免每次都要从开始控制目标应用程序，导致工作效率低，或者娱乐体验差。
进一步地，在步骤S201之前，即在显示所述目标应用标识对应的目标应用界面之前，所述基于指令流的多屏互动方法，还包括：基于所述目标应用标识查询数据库，判断是否存在与所述目标应用标识对应的当前处理进度；若不存在与所述目标应用标识对应的当前存档文件；则直接打开目标应用程序，显示目标应用界面；若存在一个与所述目标应用标识对应的当前存档文件；则打开当前存档文件，此时，所述当显示端进入所述当前存档文件对应的目标应用界面；若存在至少两个与所述目标应用标识对应的当前存档文件；则将至少两个当前存档文件对应的当前处理进度和目标用户标识在显示端上显示，以便用户选择其中一个当前存档文件，为用户提供灵活的选择。
本实施例所提供的基于指令流的多屏互动方法，获取所述目标应用程序的程序类型，当所述目标应用程序对应的程序类型为进度存档类型，则当接收到退出指令时，基于所述控制指令确定所述目标应用程序对应的当前处理进度，并生成与所述当前处理进度对应的当前存档文件；将所述当前存档文件和所述目标用户标识关联存储在数据库中。实现按需进入目标应用程序的当前处理进度，避免每次都要从开始控制目标应用程序，导致工作效率低，或者娱乐体验差。
作为一实施例，如图7所示，步骤S201，即所述执行所述控制指令，包括：
S701：查询指令队列；
其中，指令队列是用于存储控制指令的队列。
本实施例中，显示端与多个参与投屏端连接，则每一个参与投屏端均可以向显示端发送控制指令，当控制指令的数量过多的时候，则无法保证实时地执行控制指令，本实施中，为保证有序执行控制指令，则当显示端接收到控制指令时，则将所述控制指令压入指令队列中，以存储控制指令。
按照先进先出的顺序，执行所述指令队列中的每一所述控制指令。
本实施例中，显示端根据控制指令存储在指令队列的顺序，执行控制指令，即按照先进如指令队列，则先执行的顺序执行控制指令，以保证有序执行控制指令，避免出现混乱。
本实施例所提供的基于指令流的多屏互动方法，查询指令队列；按照先进先出的顺序，执行所述指令队列中的每一所述控制指令，以保证有序执行控制指令，避免出现混乱。
作为一实施例，如图8所示，在步骤S201之后，即在所述获取主控投屏端发送的目标应用标识，显示所述目标应用标识对应的目标应用界面之后，所述基于指令流的多屏互动方法还包括：
S801：确定可对所述目标应用程序进行操作的可操作控制器。
其中，可操作控制器是用于发送控制指令的控制器，以便对目标应用程序进行操作。
参与投屏端中设置有多个原始控制器，而对于不同的应用程序，所需要的控制器有所不同，但是在参与投屏端中显示过多的原始控制器，往往对用户的操作造成不便，无法准确地控制目标应用程序所对应的原始控制器，发送控制指令，导致操作失误。本实施例中，显示端根据目标应用程序，查询数据库，确定用户在控制目标应用程序进行交互时，所需要的可操作性控制器，以便后续用户可以进行精准操作。
其中，原始控制器包括但不限于鼠标和触控板控制、手柄控制器、话筒控制器、键盘控制器、遥控控制器等，在此不做限定。其中，鼠标和触控板控制即在一个控制器上集成了鼠标功能和触控板功能，以模拟个人电脑的鼠标和触控板的交互操作；示例性地，当目标应用程序为VR网页程序性时，用户可以通过参与投屏端的控制器驱动鼠标可以用于选择场景；使用触控板可以用于旋转视角查看，便于用户操作。手柄控制器便于用于控制游戏角色等。键盘控制器，用于在显示端存在输入框，需要用户输入数据时；显示端向参与投屏端发送一个输入指令，参与投屏端根据输入指令，在键盘控制器中进行操作，得到输入数据，并将数据输入发送给显示端，显示端通过底层连接模块将输入数据注入到输入框，可以加快操作速度，便于操作。话筒控制器：用于当目标应用程序需要输入语音时，用户可以通过话筒控制器，将语音发送给显示端，以利用显示端的扬声器进行播放。
S801：将所述参与投屏端中与所述可操作控制器对应的原始控制器，确定为目标控制器，将所述目标控制器的控制模式显示为可操作模式。
本实施例中，显示端将参与投屏端中，与可操作控制器对应的原始控制器确定为目标控制器，并将目标控制器的控制模式设置为可操作模式，则可参与投屏端上与目标应用程序对应的目标控制器显示为可操作模式，非目标控制器显示为不可操作模式，有利于用户可以精准地进行操作，避免出现误操作，利用显示端控制多个参与投屏端的目标控制器可以达到快速控制，避免出错的效果。
本实施例所提供的基于指令流的多屏互动方法，确定可对所述目标应用程序进行操作的可操作控制器，以便后续用户可以进行精准操作。将所述参与投屏端中与所述可操作控制器对应的原始控制器，确定为目标控制器，将所述目标控制器的控制模式显示为可操作模式。有利于用户可以精准地进行操作，避免出现误操作，利用显示端控制多个参与投屏端的目标控制器可以达到快速控制，避免出错的效果。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种基于指令流的多屏互动方法装置，该基于指令流的多屏互动方法装置与上述实施例中基于指令流的多屏互动方法一一对应。如图9所示，该基于指令流的多屏互动方法装置包括应用界面显示模块901、控制指令接收模块902、和操作结果显示模块903。各功能模块详细说明如下：
应用界面显示模块901，用于获取主控投屏端发送的目标应用标识，显示所述目标应用标识对应的目标应用界面。
控制指令接收模块902，用于接收每一所述参与投屏端发送的控制指令。
操作结果显示模块903，用于执行所述控制指令，显示操作结果。
优选地，所述应用界面显示模块901，包括：应用类型判断单元、第一显示策略执行单元和第二显示策略执行单元。
应用类型判断单元，用于判断所述目标应用标识对应的应用类型是否为本地类型。
第一显示策略执行单元，用于若所述目标应用标识对应的应用类型为本地类型，则执行第一显示策略，显示目标应用标识对应的目标应用界面。
第二显示策略执行单元，用于若所述目标应用标识对应的应用类型不为本地类型，则执行第二显示策略，显示目标应用标识对应的目标应用界面。
优选地，所述第一显示策略执行单元，包括：判断子单元、更新子单元和非更新子单元。
判断子单元，用于基于所述目标应用标识确定本地应用程序，判断所述本地应用程序是否需要更新。
更新子单元，用于若所述本地应用程序需要更新，则向云端服务器发送资源更新请求，获取所述云端服务器反馈的目标更新资源，基于所述目标更新资源和所述本地应用程序，显示所述目标应用标识对应的目标应用界面。
非更新子单元，用于若所述本地应用程序不需要更新，则打开所述本地应用程序，以显示所述目标应用标识对应的目标应用界面。
优选地，所述第二显示策略执行单元，包括：代码资源下载请求子单元、目标代码资源获取子单元和显示子单元。
代码资源下载请求子单元，用于向云端服务器发送代码资源下载请求，所述代码资源下载请求包括目标应用标识。
目标代码资源获取子单元，用于获取所述云端服务器基于所述目标应用标识反馈的目标代码资源。
显示子单元，用于基于所述目标代码资源，显示所述目标应用标识对应的目标应用界面。
优选地，在所述操作结果显示模块903之后，所述基于指令流的多屏互动装置还包括：程序类型判断单元、当前存档文件单元和存储单元。
程序类型判断单元，用于获取所述目标应用程序的程序类型，判断所述目标应用程序对应的程序类型是否为进度存档类型。
当前存档文件单元，用于若所述目标应用程序对应的程序类型为进度存档类型，则当接收到退出指令时，基于所述控制指令确定所述目标应用程序对应的当前处理进度，并生成与所述当前处理进度对应的当前存档文件，其中，退出指令携带有目标用户标识。
存储单元，用于将所述当前存档文件和所述目标用户标识关联存储在数据库中。
优选地，所述操作结果显示模块903，包括：查询单元和执行单元。
查询单元，用于查询指令队列。
执行单元，用于按照先进先出的顺序，执行所述指令队列中的每一所述控制指令。
优选地，在所述应用界面显示模块901之后，所述基于指令流的多屏互动装置还包括：可操作控制器确定单元和可操作模式确定单元。
可操作控制器确定单元，用于确定可对所述目标应用程序进行操作的可操作控制器。
可操作模式确定单元，用于将所述参与投屏端中与所述可操作控制器对应的原始控制器，确定为目标控制器，将所述目标控制器的控制模式显示为可操作模式。
关于基于指令流的多屏互动方法装置的具体限定可以参见上文中对于基于指令流的多屏互动方法的限定，在此不再赘述。上述基于指令流的多屏互动方法装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储本地应用程序。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于指令流的多屏互动方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中基于指令流的多屏互动方法的步骤，例如图2所示的步骤S201-S203，或者图3至图8中所示的步骤，为避免重复，这里不再赘述。或者，处理器执行计算机程序时实现基于指令流的多屏互动方法装置这一实施例中的各模块/单元的功能，例如图9所示的应用界面显示模块901、控制指令接收模块902、和操作结果显示模块903的功能，为避免重复，这里不再赘述。
在一实施例中，提供一计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中基于指令流的多屏互动方法的步骤，例如图2所示的步骤S201-S203，或者图3至图8中所示的步骤，为避免重复，这里不再赘述。或者，处理器执行计算机程序时实现基于指令流的多屏互动方法装置这一实施例中的各模块/单元的功能，例如图9所示的应用界面显示模块901、控制指令接收模块902、和操作结果显示模块903的功能，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于指令流的多屏互动方法，应用于多端投屏系统中，所述多端投屏系统包括显示端和与显示端连接和N个参与投屏端；其特征在于，所述基于指令流的多屏互动方法包括所述显示端执行的如下步骤：
获取主控投屏端发送的目标应用标识，显示所述目标应用标识对应的目标应用界面；
接收每一所述参与投屏端发送的控制指令；
执行所述控制指令，显示操作结果。
2.如权利要求1所述的基于指令流的多屏互动方法，其特征在于，所述显示所述目标应用标识对应的目标应用界面，包括：
判断所述目标应用标识对应的应用类型是否为本地类型；
若所述目标应用标识对应的应用类型为本地类型，则执行第一显示策略，显示目标应用标识对应的目标应用界面；
若所述目标应用标识对应的应用类型不为本地类型，则执行第二显示策略，显示目标应用标识对应的目标应用界面。
3.如权利要求2所述的基于指令流的多屏互动方法，其特征在于，所述目标应用标识对应的应用类型为本地类型，则执行第一显示策略，显示目标应用标识对应的目标应用界面，包括：
基于所述目标应用标识确定本地应用程序，判断所述本地应用程序是否需要更新；
若所述本地应用程序需要更新，则向云端服务器发送资源更新请求，获取所述云端服务器反馈的目标更新资源，基于所述目标更新资源和所述本地应用程序，显示所述目标应用标识对应的目标应用界面；
若所述本地应用程序不需要更新，则打开所述本地应用程序，以显示所述目标应用标识对应的目标应用界面。
4.如权利要求2所述的基于指令流的多屏互动方法，其特征在于，所述目标应用标识对应的应用类型不为本地类型，则执行第二显示策略，显示目标应用标识对应的目标应用界面，包括：
向云端服务器发送代码资源下载请求，所述代码资源下载请求包括目标应用标识；
获取所述云端服务器基于所述目标应用标识反馈的目标代码资源；
基于所述目标代码资源，显示所述目标应用标识对应的目标应用界面。
5.如权利要求1所述的基于指令流的多屏互动方法，其特征在于，在所述执行所述控制指令，显示操作结果之后，所述基于指令流的多屏互动方法还包括：
获取所述目标应用程序的程序类型，判断所述目标应用程序对应的程序类型是否为进度存档类型；
若所述目标应用程序对应的程序类型为进度存档类型，则当接收到退出指令时，基于所述控制指令确定所述目标应用程序对应的当前处理进度，并生成与所述当前处理进度对应的当前存档文件，其中，退出指令携带有目标用户标识；
将所述当前存档文件和所述目标用户标识关联存储在数据库中。
6.如权利要求1所述的基于指令流的多屏互动方法，其特征在于，所述执行所述控制指令，包括：
查询指令队列；
按照先进先出的顺序，执行所述指令队列中的每一所述控制指令。
7.如权利要求1所述的基于指令流的多屏互动方法，其特征在于，在所述获取主控投屏端发送的目标应用标识，显示所述目标应用标识对应的目标应用界面之后，所述基于指令流的多屏互动方法还包括：
确定可对所述目标应用程序进行操作的可操作控制器；
将所述参与投屏端中与所述可操作控制器对应的原始控制器，确定为目标控制器，将所述目标控制器的控制模式显示为可操作模式。
8.一种基于指令流的多屏互动装置，其特征在于，包括：
应用界面显示模块，用于获取主控投屏端发送的目标应用标识，显示所述目标应用标识对应的目标应用界面；
控制指令接收模块，用于接收每一所述参与投屏端发送的控制指令；
操作结果显示模块，用于执行所述控制指令，显示操作结果。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述基于指令流的多屏互动方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于指令流的多屏互动方法的步骤。
CN202111131868.1A 2021-09-26 2021-09-26 基于指令流的多屏互动方法、装置、计算机及存储介质 Pending CN114071217A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111131868.1A CN114071217A (zh) 2021-09-26 2021-09-26 基于指令流的多屏互动方法、装置、计算机及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111131868.1A CN114071217A (zh) 2021-09-26 2021-09-26 基于指令流的多屏互动方法、装置、计算机及存储介质

Publications (1)

Publication Number Publication Date
CN114071217A true CN114071217A (zh) 2022-02-18

Family

ID=80233692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111131868.1A Pending CN114071217A (zh) 2021-09-26 2021-09-26 基于指令流的多屏互动方法、装置、计算机及存储介质

Country Status (1)

Country Link
CN (1) CN114071217A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116627370A (zh) * 2023-04-12 2023-08-22 广东敏行数据有限公司 显示屏更新内容处理方法、存储介质、装置和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106792055A (zh) * 2016-12-28 2017-05-31 福建星网视易信息系统有限公司 实时投屏方法、设备及系统
WO2018000648A1 (zh) * 2016-06-30 2018-01-04 乐视控股（北京）有限公司 交互信息显示方法、装置、服务器及终端
CN111782606A (zh) * 2020-07-06 2020-10-16 聚好看科技股份有限公司 显示设备、服务器和文件管理方法
CN111965996A (zh) * 2020-06-29 2020-11-20 北京百度网讯科技有限公司 智能设备控制方法、装置、设备和存储介质
CN112394898A (zh) * 2020-11-23 2021-02-23 深圳乐播科技有限公司 投屏方法、装置、系统、投屏设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018000648A1 (zh) * 2016-06-30 2018-01-04 乐视控股（北京）有限公司 交互信息显示方法、装置、服务器及终端
CN106792055A (zh) * 2016-12-28 2017-05-31 福建星网视易信息系统有限公司 实时投屏方法、设备及系统
CN111965996A (zh) * 2020-06-29 2020-11-20 北京百度网讯科技有限公司 智能设备控制方法、装置、设备和存储介质
CN111782606A (zh) * 2020-07-06 2020-10-16 聚好看科技股份有限公司 显示设备、服务器和文件管理方法
CN112394898A (zh) * 2020-11-23 2021-02-23 深圳乐播科技有限公司 投屏方法、装置、系统、投屏设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116627370A (zh) * 2023-04-12 2023-08-22 广东敏行数据有限公司 显示屏更新内容处理方法、存储介质、装置和系统

Similar Documents

Publication Publication Date Title
WO2022095673A1 (zh) 帧率调整方法、装置、设备、计算机可读存储介质及计算机程序产品
WO2017173793A1 (zh) 一种视频投屏方法及装置
CN111773667B (zh) 直播游戏交互方法、装置、计算机可读介质及电子设备
US8074227B2 (en) Utilizing a first managed process to host at least a second managed process
WO2022121302A1 (zh) 游戏直播处理方法及电子设备
US20230039978A1 (en) Video data processing method and apparatus, computer device, and storage medium
EP3089467A1 (en) Method and device for mobile communication terminal to control smart television to play video file
WO2022193595A1 (zh) 对象播放方法及装置
CN104539977A (zh) 直播预览方法及装置
US20170171270A1 (en) Method and electronic device for controlling video playing
CN112911320B (zh) 一种直播方法、装置、计算机设备和存储介质
CN112291579A (zh) 数据处理方法、装置、设备和存储介质
US10423139B2 (en) Device control method and apparatus, and device control system
CN106802762B (zh) 在虚拟会话中同步服务器侧键盘布局与客户端侧布局
CN114071230B (zh) 多端投屏方法、计算机设备及计算机可读存储介质
US20230046042A1 (en) Picture display method and apparatus, terminal device, and storage medium
EP4043081A1 (en) Image update method and apparatus, computer device, and storage medium
CN112351296B (zh) 视频流的拉流转推方法、装置、服务器及存储介质
CN103813202A (zh) 具有互动功能的智能电视和手持设备及其互动方法
US20230403412A1 (en) Method and apparatus for video displaying
CN110769189A (zh) 视频会议切换方法、装置及可读存储介质
WO2023284428A1 (zh) 直播视频的播放方法、装置、电子设备、存储介质及程序产品
US10237195B1 (en) IP video playback
US10575030B2 (en) System, method, and program for distributing video
CN114071217A (zh) 基于指令流的多屏互动方法、装置、计算机及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220218

RJ01 Rejection of invention patent application after publication