CN113938756B - 一种显示界面共享处理方法及系统 - Google Patents

一种显示界面共享处理方法及系统 Download PDF

Info

Publication number
CN113938756B
CN113938756B CN202111242768.6A CN202111242768A CN113938756B CN 113938756 B CN113938756 B CN 113938756B CN 202111242768 A CN202111242768 A CN 202111242768A CN 113938756 B CN113938756 B CN 113938756B
Authority
CN
China
Prior art keywords
display interface
controlled
simulation
display
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111242768.6A
Other languages
English (en)
Other versions
CN113938756A (zh
Inventor
李煜
张冠南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN202111242768.6A priority Critical patent/CN113938756B/zh
Publication of CN113938756A publication Critical patent/CN113938756A/zh
Application granted granted Critical
Publication of CN113938756B publication Critical patent/CN113938756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H04N21/4586—Content update operation triggered locally, e.g. by comparing the version of software modules in a DVB carousel to the version stored locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种显示界面共享处理方法及系统，获得基于浏览工具的显示共享指令，基于显示共享指令确定第一显示界面的视频流信息以及控制方设备，将第一显示界面的视频流信息发送至控制方设备，接收控制方设备发送的针对第一显示界面的视频流信息执行的操作事件，对操作事件进行分析，得到模拟操作，基于模拟操作对第一显示界面进行控制。本方案通过在获得基于浏览工具的显示共享指令后，基于该显示共享指令将第一显示界面发送至控制方设备，以便于控制方设备能够执行操作事件，并在接收到操作事件后进行模拟操作，实现对第一显示界面的控制，实现了直接通过浏览工具对显示界面的共享，无需操作系统的共享，减少了系统数据的处理量。

Description

一种显示界面共享处理方法及系统
技术领域
本申请涉及数据共享领域，尤其涉及一种显示界面共享处理方法及系统。
背景技术
目前，要实现将一个设备的浏览器的屏幕共享至另一个设备，通常需要将一个设备的操作系统完整共享至另一个设备，在操作系统共享完成后，再基于对浏览器的操作实现浏览器的共享，这就导致了系统中数据处理量的增加，不仅要处理其中关于浏览器的数据，还需要处理共享的系统中其他应用的数据。
发明内容
有鉴于此，本申请提供一种显示界面共享处理方法及系统，其具体方案如下：
一种显示界面共享处理方法，包括：
获得基于浏览工具的显示共享指令；
基于所述显示共享指令确定第一显示界面的视频流信息以及控制方设备；
将所述第一显示界面的视频流信息发送至所述控制方设备；
接收所述控制方设备发送的针对所述第一显示界面的视频流信息执行的操作事件；
对所述操作事件进行分析，得到模拟操作；
基于所述模拟操作对所述第一显示界面进行控制。
进一步的，还包括：
基于所述显示共享指令调用所述浏览工具的预设接口，建立输出所述显示共享指令的受控方设备的浏览工具与所述控制方设备的浏览工具的连接。
进一步的，所述对所述操作事件进行分析，得到模拟操作，包括：
确定操作主体执行所述操作事件时，所述操作主体的位置及执行事件；
基于所述操作主体的位置及执行事件确定模拟操作主体的模拟位置及模拟执行事件；
基于所述模拟操作主体的模拟位置及模拟执行事件确定模拟操作。
进一步的，所述确定模拟操作主体的模拟位置，包括：
确定所述操作主体执行所述操作事件时，所述操作主体在所述控制方设备的第二显示界面的第一位置信息；
基于所述操作主体在所述控制方设备的第二显示界面的第一位置信息、以及所述控制方设备的第二显示界面与受控方设备的第一显示界面的比例，确定模拟操作的模拟操作主体在所述受控方设备的第一显示界面的第二位置信息，将所述第二位置信息确定为所述模拟操作主体的模拟位置。
进一步的，所述基于所述模拟操作对所述第一显示界面进行控制，包括：
获得模拟操作中模拟操作主体的模拟位置及模拟执行事件；
在所述受控方设备的第一显示界面模拟所述模拟操作主体在所述模拟位置执行模拟执行事件，得到模拟控制指令；
响应所述模拟控制指令，对所述受控方设备的第一显示界面进行控制。
一种显示界面共享处理方法，其中，
获得受控方设备基于浏览工具发送的第一显示界面的视频流信息；
获得对所述视频流信息生成的显示界面图像执行的操作事件；
将所述操作事件发送至所述受控方设备，以便于所述受控方设备基于所述操作事件生成模拟操作，从而能够基于所述模拟操作对所述第一显示界面进行控制。
进一步的，还包括：
接收通信连接指令，所述通信连接指令基于所述受控方设备的显示共享指令生成；
基于所述通信连接指令调用控制方设备的浏览工具，建立所述受控方设备的浏览工具与所述控制方设备的浏览工具的连接。
进一步的，还包括：
获得所述受控方设备发送的更新后的第一显示界面的视频流信息。
进一步的，所述获得对所述视频流信息生成的显示界面图像执行的操作事件，包括：
基于所述视频流图像生成所述受控方设备的显示界面图像；
获得操作主体对所述显示界面图像执行操作时所述操作主体的位置及执行事件。
一种显示界面共享处理系统，包括：
受控方设备，用于获得基于浏览工具的显示共享指令，基于所述显示共享指令确定第一显示界面的视频流信息以及控制方设备，将所述第一显示界面的视频流信息发送至所述控制方设备；接收所述控制方设备发送的针对所述第一显示界面的视频流信息执行的操作事件，对所述操作事件进行分析，得到模拟操作，基于所述模拟操作对所述第一显示界面进行控制。
控制方设备，用于获得所述受控方设备基于所述浏览工具发送的第一显示界面的视频流信息，获得对所述视频流信息生成的显示界面图像执行的操作事件，将所述操作事件发送至所述受控方设备，以便于所述受控方设备能够基于所述操作事件生成模拟操作。
从上述技术方案可以看出，本申请公开的显示界面共享处理方法及系统，获得基于浏览工具的显示共享指令，基于显示共享指令确定第一显示界面的视频流信息以及控制方设备，将第一显示界面的视频流信息发送至控制方设备，接收控制方设备发送的针对第一显示界面的视频流信息执行的操作事件，对操作事件进行分析，得到模拟操作，基于模拟操作对第一显示界面进行控制。本方案通过在获得基于浏览工具的显示共享指令后，基于该显示共享指令将第一显示界面发送至控制方设备，以便于控制方设备能够执行操作事件，并在接收到操作事件后进行模拟操作，实现对第一显示界面的控制，实现了直接通过浏览工具对显示界面的共享，无需操作系统的共享，减少了系统数据的处理量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例公开的一种显示界面共享处理方法的流程图；
图2为本申请实施例公开的一种显示界面共享处理方法的流程图；
图3为本申请实施例公开的一种显示界面共享处理方法的流程图；
图4为本申请实施例公开的一种控制方设备与受控方设备显示屏与操作位置的示意图；
图5为本申请实施例公开的一种显示界面共享处理方法的流程图；
图6为本申请实施例公开的一种控制方设备执行操作事件的示意图；
图7为本申请实施例公开的一种显示界面共享处理系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请公开了一种显示界面共享处理方法，其流程图如图1所示，包括：
步骤S11、获得基于浏览工具的显示共享指令；
步骤S12、基于显示共享指令确定第一显示界面的视频流信息以及控制方设备；
步骤S13、将第一显示界面的视频流信息发送至控制方设备；
步骤S14、接收控制方设备发送的针对第一显示界面的视频流信息执行的操作事件；
步骤S15、对操作事件进行分析，得到模拟操作；
步骤S16、基于模拟操作对第一显示界面进行控制。
若要实现对受控方设备的显示界面的共享，通常需要在受控方设备与控制方设备的系统间建立连接关系，实现将受控方设备的系统共享至控制方设备的系统，在系统共享的基础上，实现受控方设备的显示界面的共享，这就使得控制方设备在获得受控方设备的基础上，还需要获得受控方设备的系统，对受控方设备的系统进行控制，从而导致控制方设备的数据处理量的增加。
为了避免这一问题，减少控制方设备的数据处理量，本方案中直接基于浏览工具实现对显示界面的共享，具体的：
在浏览工具上获得显示共享指令，以便于基于该显示共享指令实现对浏览工具的显示界面的共享。在受控方设备的屏幕上显示浏览工具，通过浏览工具进行网页或其他页面的浏览，在浏览过程中，接收到显示共享指令，则该显示共享指令针对的是浏览工具当前浏览的界面。
显示共享指令可以为用户针对受控方设备的某个预设按键执行的按压操作，或者，也可以为用户针对浏览工具的界面中的某个预设功能菜单项执行的选择操作。
当受控方设备接收到相应操作后，会生成显示共享指令，基于该显示共享指令能够确定待共享的显示界面为受控方设备的浏览工具当前显示的界面，即第一显示界面，以及需要将该第一显示界面共享至哪一个电子设备，将该电子设备确定为控制方设备。
在受控方设备基于该显示共享指令确定待共享的第一显示界面以及将第一显示界面待共享至的控制方设备后，直接基于该浏览工具将第一显示界面的视频流信息发送至控制方设备，以使控制方设备与受控方设备建立连接，并能够直接接收受控方设备共享的第一显示界面的视频流信息，而无需使受控方设备共享其系统信息至控制方设备，控制方设备也无需对受控方设备的系统进行共享，降低了控制方设备的数据处理量，使其仅需要处于基于浏览工具共享的第一显示界面的视频流信息即可。
在将第一显示界面的视频流信息发送至控制方设备后，控制方设备会将该视频流信息恢复成第一显示界面的形式在控制方设备的屏幕上进行显示，此时，控制方设备仅需要对显示的基于视频流信息恢复成的第一显示界面执行操作，控制方设备将其针对恢复成的第一显示界面执行的操作生成操作事件，将操作事件发送至受控方设备，以使受控方设备能够接收到操作事件，并基于接收到的操作事件进行操作的模拟，从而使受控方设备对第一显示界面执行与控制方设备执行的操作事件相应的操作，从而实现对第一显示界面的控制。
受控方设备接收到控制方设备的操作事件后，对该操作事件进行分析，确定该操作事件是控制方设备显示的第一显示界面的哪一个菜单项执行的什么样的具体操作，即确定控制方设备对第一显示界面执行的操作的位置及操作内容。
受控方设备在确定控制方设备针对第一显示界面执行的操作事件的具体内容后，生成模拟操作，该模拟操作是模拟的控制方设备对第一显示界面执行操作的操作事件，受控方设备执行该模拟操作，即受控方设备对其自身显示的第一显示界面执行模拟的控制方设备对第一显示界面的操作事件。
如：控制方设备对其显示的基于视频流信息恢复的第一显示界面在第一位置处执行点击操作，则受控方设备模拟该操作事件，受控方设备在其自身显示的第一显示界面的第一位置上执行点击操作，从而实现基于控制方设备对共享的第一显示界面的操作使受控方设备对第一显示界面执行相应的操作，实现对受控方设备显示的第一显示界面的控制。
本方案中仅需要基于浏览工具实现对浏览工具的第一显示界面的共享，通过控制方设备对共享的显示界面的操作事件，实现受控方设备对该操作事件的模拟，基于模拟的操作对第一显示界面进行控制，实现了仅基于浏览工具进行共享，避免了对受控方设备的系统的完整共享，降低了控制方设备的数据处理量，提高了用户体验。
本实施例公开的浏览器共享处理方法，获得基于浏览工具的显示共享指令，基于显示共享指令确定第一显示界面的视频流信息以及控制方设备，将第一显示界面的视频流信息发送至控制方设备，接收控制方设备发送的针对第一显示界面的视频流信息执行的操作事件，对操作事件进行分析，得到模拟操作，基于模拟操作对第一显示界面进行控制。本方案通过在获得基于浏览工具的显示共享指令后，基于该显示共享指令将第一显示界面发送至控制方设备，以便于控制方设备能够执行操作事件，并在接收到操作事件后进行模拟操作，实现对第一显示界面的控制，实现了直接通过浏览工具对显示界面的共享，无需操作系统的共享，减少了系统数据的处理量。
本实施例公开了一种显示界面共享处理方法，其流程图如图2所示，包括：
步骤S21、获得基于浏览工具的显示共享指令；
步骤S22、基于显示共享指令确定第一显示界面的视频流信息以及控制方设备；
步骤S23、基于显示共享指令调用浏览工具的预设接口，建立输出显示共享指令的受控方设备的浏览工具与控制方设备的浏览工具的连接；
步骤S24、将第一显示界面的视频流信息发送至控制方设备；
步骤S25、接收控制方设备发送的针对第一显示界面的视频流信息执行的操作事件；
步骤S26、对操作事件进行分析，得到模拟操作；
步骤S27、基于模拟操作对第一显示界面进行控制。
在受控方设备确定有显示界面待共享时，确定将待共享的第一显示界面共享至哪一个控制方设备，在确定控制方设备后，需要首先建立受控方设备与控制方设备之间的连接，以便于受控方设备基于该连接将待共享的第一显示界面共享至控制方设备。
待共享的第一显示界面为浏览工具的显示界面，即受控方设备当前显示界面所显示的是浏览工具的页面，则将浏览工具当前显示的页面确定为第一显示页面，则在建立受控方设备与控制方设备之间的通信连接时，直接在受控方设备的浏览工具与控制方设备的浏览工具之间建立连接，无需建立受控方设备的系统与控制方设备的系统之间的连接，这就避免了通过受控方设备的系统的共享才能实现对受控方设备上的显示界面的共享。
建立受控方设备的浏览工具与控制方设备的浏览工具之间的连接关系，直接实现受控方设备的浏览工具与控制方设备的浏览工具的通信连接，实现在浏览工具层面显示界面的共享。
具体的，受控方设备在获得基于浏览工具的显示共享指令后，对显示共享指令进行分析，确定待分享的浏览工具的第一显示界面以及将第一显示界面待分享至的控制方设备，之后直接基于该显示共享指令调用受控方设备的浏览工具的预设接口，以便于基于该预设接口向控制方设备发送调用控制方设备的浏览工具的预设接口的指令。
当受控方设备的浏览工具的预设接口被调用，控制方设备的浏览工具的预设接口被调用后，受控方设备的浏览工具与控制方设备的浏览工具之间的连接建立，能够通过受控方设备的浏览工具与控制方设备的浏览工具之间的连接实现数据传输。如：将受控方设备的浏览工具的第一显示界面通过该通信连接通路发送至控制方设备，将控制方设备的操作事件通过该通信连接通路反馈至受控方设备。
其中，浏览工具可以为浏览器。
采用浏览工具与浏览工具之间的连接实现显示界面的共享，并不需要限定受控方设备与控制方设备的浏览工具必须相同，不同浏览工具的预设接口是通用的，如：受控方设备的浏览工具为IE浏览器，控制方设备的浏览工具为360浏览器，当受控方设备的浏览工具与控制方设备的浏览工具不同时，也能够通过对应浏览工具的预设接口实现两个设备浏览工具之间的通信连接，这就避免了当受控方设备与控制方设备通过系统实现共享时，若受控方设备与控制方设备的操作系统不同，而导致的两个操作系统之间无法直接实现远程控制的问题。
其中，预设接口可以为浏览工具自身的定义接口，也可以为第三方插件或补充的定义接口。具体的，预设接口可以为：JavaScript API接口。
本实施例公开的浏览器共享处理方法，获得基于浏览工具的显示共享指令，基于显示共享指令确定第一显示界面的视频流信息以及控制方设备，将第一显示界面的视频流信息发送至控制方设备，接收控制方设备发送的针对第一显示界面的视频流信息执行的操作事件，对操作事件进行分析，得到模拟操作，基于模拟操作对第一显示界面进行控制。本方案通过在获得基于浏览工具的显示共享指令后，基于该显示共享指令将第一显示界面发送至控制方设备，以便于控制方设备能够执行操作事件，并在接收到操作事件后进行模拟操作，实现对第一显示界面的控制，实现了直接通过浏览工具对显示界面的共享，无需操作系统的共享，减少了系统数据的处理量。
本实施例公开了一种显示界面共享处理方法，其流程图如图3所示，包括：
步骤S31、获得基于浏览工具的显示共享指令；基于显示共享指令确定第一显示界面的视频流信息以及控制方设备；
步骤S32、将第一显示界面的视频流信息发送至控制方设备；接收控制方设备发送的针对第一显示界面的视频流执行的操作事件；
步骤S33、确定操作主体执行操作事件时，操作主体的位置及执行事件；
步骤S34、基于操作主体的位置及执行事件确定模拟操作主体的模拟位置及模拟执行事件；
步骤S35、基于模拟操作主体的模拟位置及模拟执行事件确定模拟操作，基于模拟操作对第一显示界面进行控制。
在受控方设备获得基于浏览工具的显示共享指令时，确定该显示共享指令指定的第一显示界面的视频流信息以及控制方设备，将第一显示界面的视频流信息发送至控制方设备后，接收控制方设备发送的针对第一显示界面的视频流执行的操作事件。
在受控方设备获得控制方设备针对其接收到的第一显示界面的操作事件后，对该操作事件进行分析，确定操作事件的执行主体的位置以及其执行的具体事件操作，如：执行主体在控制方设备显示的第一显示界面的第二位置执行点击操作，操作事件至少包括操作位置及执行事件，则对操作事件的分析能够确定出在控制方设备显示的第一显示界面上被操控的位置及操控动作。
其中，控制方设备显示其接收到的第一显示界面，将控制方设备的屏幕显示的界面确定为第二显示界面，若控制方设备全屏显示该完整的第一显示界面，则第二显示界面与第一显示界面相同；也可以为控制方设备的部分屏幕显示该完整的第一显示界面，则第二显示界面与第一显示界面不同，同时，第二显示界面中至少包括第一显示界面。那么，在确定操作位置时，其实际确定的是操作主体执行的操作事件在控制方设备的显示屏显示的第一显示界面上的位置，即该操作位置对应的是第一显示界面上的位置，而不是受控方设备的显示屏上的位置。
在确定出控制方设备的操作主体的位置及执行事件后，受控方设备会对该操作事件进行模拟，即由受控方设备的处理器或者受控方设备的浏览工具上的处理引擎作为针对受控方设备的第一显示界面的操作主体，对受控方设备显示的第一显示界面执行该操作事件。
如：受控方设备通过分析确定控制方设备的操作事件是：执行主体在控制方设备显示的第一显示界面的第二位置执行点击操作，则受控方设备通过处理器或处理引擎在受控方设备显示的第一显示界面的第二位置执行点击操作，从而实现对操作事件的模拟，实现对模拟操作的执行，受控方设备对模拟操作的执行进行响应，若第一显示界面的第二位置为搜索按钮，则受控方设备执行搜索指令，而控制方设备则不执行搜索指令，控制方设备仅对受控方设备发送的第一显示界面执行操作，以使得受控方设备执行相应的操作，从而使受控方设备进行响应。
其应用场景如：受控方设备的用户不确定对浏览器的当前页面如何操作，则给予浏览器输出显示共享指令，以使控制方设备能够显示该页面，从而在控制方设备的用户对该页面执行操作时，受控方设备能够接收到该操作，并模拟该操作的执行，从而实现对该页面的操作，实现方式简洁，且数据处理量低，提高了用户的体验。
具体的，确定模拟操作主体的模拟位置，包括：确定操作主体执行操作事件时，操作主体在控制方设备的第二显示界面的第一位置信息，基于操作主体在控制方设备的第二显示界面的第一位置信息以及控制方设备的第二显示界面与受控方设备的第一显示界面的比例，确定模拟操作的模拟操作主体在受控方设备的第一显示界面的第二位置信息，将第二位置信息确定为模拟操作主体的模拟位置。
在受控方设备的显示屏与控制方设备的显示屏大小不同时，或者若控制方设备显示其接收到的第一显示界面时，是按照受控方设备发送的第一显示界面的大小显示的，则在受控方设备基于操作主体的位置确定模拟位置时，无需对该位置坐标进行比例的调整，此时，直接确定控制方设备显示的接收到的第一显示界面所接收到的执行事件的位置坐标，并将该位置坐标确定为模拟位置；
若控制方设备显示其接收到的第一显示界面时，并未按照受控方设备发送的第一显示界面的大小显示，而是按照控制方设备的显示屏的大小进行显示，则在控制方设备的显示屏与受控方设备的显示屏大小不同时，控制方设备的显示屏全屏或非全屏显示其接收到的第一显示界面，此时，需要基于控制方设备所显示的其接收到的第一显示界面大小与受控方设备的第一显示界面大小的比例调整控制方设备接收到的操作主体的位置坐标进行调整，从而确定模拟位置的坐标信息。
如图4所示，控制方设备的第一显示屏41尺寸为1920*1080，受控方设备的第二显示屏42尺寸为1280*960，控制方设备的显示屏全屏显示其接收到的受控方设备的第一显示界面，若控制方设备接收到的操作事件的位置为A(300，540)，则基于第一显示屏与第二显示屏的比例关系以及控制方设备接收到的操作事件的位置，确定受控方设备上的模拟位置B，其计算公式如下：
Figure BDA0003319799700000121
基于上述公式可确定B(X'1,Y'1)为B(200,480)。
具体的，基于模拟操作对第一显示界面进行控制，包括：获得模拟操作中模拟操作主体的模拟位置及模拟执行事件，在受控方设备的第一显示界面模拟该模拟操作主体在模拟位置执行模拟执行事件，得到模拟控制指令，响应模拟控制指令，对受控方设备的第一显示界面进行控制。
需要说明的是，控制方设备对第二显示界面的操作动作可以为连续执行的，也可以为仅一个操作动作，而控制方反馈至受控方设备的操作事件，则是实时的，即若控制方设备对第二显示界面的操作动作为多个，则只要控制方设备对第二显示界面执行一个操作动作，就会向受控方设备反馈一个操作事件，直至控制方设备对第二显示界面的操作动作执行完成，停止向受控方设备反馈操作事件，因此，受控方设备对第一显示界面的控制与控制方设备对第二显示界面的操作的时间间隔是小于一定的阈值的。
本实施例公开的浏览器共享处理方法，获得基于浏览工具的显示共享指令，基于显示共享指令确定第一显示界面的视频流信息以及控制方设备，将第一显示界面的视频流信息发送至控制方设备，接收控制方设备发送的针对第一显示界面的视频流信息执行的操作事件，对操作事件进行分析，得到模拟操作，基于模拟操作对第一显示界面进行控制。本方案通过在获得基于浏览工具的显示共享指令后，基于该显示共享指令将第一显示界面发送至控制方设备，以便于控制方设备能够执行操作事件，并在接收到操作事件后进行模拟操作，实现对第一显示界面的控制，实现了直接通过浏览工具对显示界面的共享，无需操作系统的共享，减少了系统数据的处理量。
本实施例公开了一种显示界面共享处理方法，应用于控制方设备，其流程图如图5所示，包括：
步骤S51、获得受控方设备基于浏览工具发送的第一显示界面的视频流信息；
步骤S52、获得对视频流信息生成的显示界面图像执行的操作事件；
步骤S53、将操作事件发送至受控方设备，以便于受控方设备基于操作事件生成模拟操作，从而能够基于模拟操作对第一显示界面进行控制。
在受控方设备基于浏览工具将第一显示界面的视频流信息发送至控制方设备后，控制方设备接收到该视频流信息，对其进行显示，以第二显示界面的形式显示，之后对其显示的第二显示界面执行操作事件。
其中，控制方设备在接收到受控方设备发送的第一显示界面的视频流信息后，会将该视频流信息恢复成显示界面的形式，其恢复后的显示界面是与第一显示界面的展示形式相同的，控制方设备对该恢复的第一显示界面执行操作，如：通过鼠标执行点击或滑动或选中等操作，以使控制方设备的屏幕上显示的恢复的第一显示界面被控制，从而使界面发生变化。
以图6所示的视图为例进行说明：若图6为控制方设备恢复的第一显示界面，控制方设备对该第一显示界面进行操作，如：对搜索框61输入数据，之后点击搜索按钮62，实现对输入数据的搜索，在对输入数据搜索的同时实现对第一显示界面的更新。
进一步的，本实施例公开的显示界面共享处理方法，还包括：接收通信连接指令，通信连接指令基于受控方设备的显示共享指令生成，基于通信连接指令调用控制方设备的浏览工具，建立受控方设备的浏览工具与控制方设备的浏览工具的连接。
其中，浏览工具与浏览工具的连接是通过调用浏览工具的预设接口实现的。
进一步的，本实施例公开的显示界面共享处理方法，还包括：获得受控方设备发送的更新后的第一显示界面的视频流信息。
即在基于控制方设备的操作事件生成模拟事件，受控方设备基于该模拟事件对第一显示界面进行控制后，第一显示界面更新，在第一显示界面更新后，受控方设备还会将该第一显示界面的视频流信息发送至控制方设备，由控制方设备显示更新后的第一显示界面，从而使得在控制方设备对接收的第一显示界面执行操作事件后，由于控制方设备并不会对该操作事件进行响应，因此，为了保证控制方设备对该界面操作的连续性，会在受控方设备对该操作事件的模拟事件响应后，将更新后的第一显示界面的视频流信息发送至控制方设备，以使控制方设备接收并显示的为实时更新的受控方设备的第一显示界面。
进一步的，获得对视频流信息生成的显示界面图像执行的操作事件，包括：基于视频流图像生成受控方设备的显示界面图像，获得操作主体对显示界面图像执行操作时操作主体的位置及执行事件。
本实施例公开的显示界面共享处理方法与上述实施例公开的显示界面共享处理方法是分别不同的主体设备，相对交互处理的，其具体处理流程是相对应的，在此不再赘述。
本实施例公开了一种显示界面共享处理方法，获得受控方设备基于浏览工具发送的第一显示界面的视频流信息，获得对视频流信息生成的显示界面图像执行的操作事件，将操作事件发送至受控方设备，以便于受控方设备基于操作事件生成模拟操作，从而能够基于模拟操作对第一显示界面进行控制。本实施例通过在主控方设备获得受控方设备基于浏览工具发送的第一显示界面的视频流信息后，能够对接收到的视频流信息执行操作事件，并将操作事件反馈给受控方设备，以便于受控方设备能够基于该操作事件进行控制，实现了直接通过浏览工具对显示界面的共享，无需操作系统的共享，减少了系统数据的处理量。
本实施例公开了一种显示界面共享处理系统，其结构示意图如图7所示，包括：
受控方设备71及控制方设备72。
受控方设备71用于获得基于浏览工具的显示共享指令，基于显示共享指令确定第一显示界面的视频流信息以及控制方设备，将第一显示界面的视频流信息发送至控制方设备；接收控制方设备发送的针对第一显示界面的视频流信息执行的操作事件，对操作事件进行分析，得到模拟操作，基于模拟操作对第一显示界面进行控制。
控制方设备72用于获得受控方设备基于浏览工具发送的第一显示界面的视频流信息，获得对视频流信息生成的显示界面图像执行的操作事件，将操作事件发送至受控方设备，以便于受控方设备能够基于操作事件生成模拟操作。
本实施例公开的显示界面共享处理系统是基于上述实施例公开的显示界面共享处理方法实现的，在此不再赘述。
本实施例公开的浏览器共享处理系统，获得基于浏览工具的显示共享指令，基于显示共享指令确定第一显示界面的视频流信息以及控制方设备，将第一显示界面的视频流信息发送至控制方设备，接收控制方设备发送的针对第一显示界面的视频流信息执行的操作事件，对操作事件进行分析，得到模拟操作，基于模拟操作对第一显示界面进行控制。本方案通过在获得基于浏览工具的显示共享指令后，基于该显示共享指令将第一显示界面发送至控制方设备，以便于控制方设备能够执行操作事件，并在接收到操作事件后进行模拟操作，实现对第一显示界面的控制，实现了直接通过浏览工具对显示界面的共享，无需操作系统的共享，减少了系统数据的处理量。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种显示界面共享处理方法，应用于受控方设备，包括：
获得基于浏览工具的显示共享指令；
基于所述显示共享指令确定第一显示界面的视频流信息以及控制方设备，所述第一显示界面为所述浏览工具当前浏览的界面；
直接基于所述浏览工具将所述第一显示界面的视频流信息发送至所述控制方设备；
接收所述控制方设备发送的针对所述第一显示界面的视频流信息执行的操作事件；
对所述操作事件进行分析，得到模拟操作；
基于所述模拟操作对所述第一显示界面进行控制。
2.根据权利要求1所述的方法，其中，还包括：
基于所述显示共享指令调用所述浏览工具的预设接口，建立输出所述显示共享指令的受控方设备的浏览工具与所述控制方设备的浏览工具的连接。
3.根据权利要求1所述的方法，其中，所述对所述操作事件进行分析，得到模拟操作，包括：
确定操作主体执行所述操作事件时，所述操作主体的位置及执行事件；
基于所述操作主体的位置及执行事件确定模拟操作主体的模拟位置及模拟执行事件；
基于所述模拟操作主体的模拟位置及模拟执行事件确定模拟操作。
4.根据权利要求3所述的方法，其中，所述确定模拟操作主体的模拟位置，包括：
确定所述操作主体执行所述操作事件时，所述操作主体在所述控制方设备的第二显示界面的第一位置信息；
基于所述操作主体在所述控制方设备的第二显示界面的第一位置信息、以及所述控制方设备的第二显示界面与受控方设备的第一显示界面的比例，确定模拟操作的模拟操作主体在所述受控方设备的第一显示界面的第二位置信息，将所述第二位置信息确定为所述模拟操作主体的模拟位置。
5.根据权利要求1所述的方法，其中，所述基于所述模拟操作对所述第一显示界面进行控制，包括：
获得模拟操作中模拟操作主体的模拟位置及模拟执行事件；
在所述受控方设备的第一显示界面模拟所述模拟操作主体在所述模拟位置执行模拟执行事件，得到模拟控制指令；
响应所述模拟控制指令，对所述受控方设备的第一显示界面进行控制。
6.一种显示界面共享处理方法，应用于控制方设备，其中，
获得受控方设备基于浏览工具发送的第一显示界面的视频流信息，所述第一显示界面为所述浏览工具当前浏览的界面；
获得对所述视频流信息生成的显示界面图像执行的操作事件；
将所述操作事件发送至所述受控方设备，以便于所述受控方设备基于所述操作事件生成模拟操作，从而能够基于所述模拟操作对所述第一显示界面进行控制。
7.根据权利要求6所述的方法，其中，还包括：
接收通信连接指令，所述通信连接指令基于所述受控方设备的显示共享指令生成；
基于所述通信连接指令调用控制方设备的浏览工具，建立所述受控方设备的浏览工具与所述控制方设备的浏览工具的连接。
8.根据权利要求6所述的方法，其中，还包括：
获得所述受控方设备发送的更新后的第一显示界面的视频流信息。
9.根据权利要求6所述的方法，其中，所述获得对所述视频流信息生成的显示界面图像执行的操作事件，包括：
基于所述视频流信息生成所述受控方设备的显示界面图像；
获得操作主体对所述显示界面图像执行操作时所述操作主体的位置及执行事件。
10.一种显示界面共享处理系统，包括：
受控方设备，用于获得基于浏览工具的显示共享指令，基于所述显示共享指令确定第一显示界面的视频流信息以及控制方设备，直接基于所述浏览工具将所述第一显示界面的视频流信息发送至所述控制方设备；接收所述控制方设备发送的针对所述第一显示界面的视频流信息执行的操作事件，对所述操作事件进行分析，得到模拟操作，基于所述模拟操作对所述第一显示界面进行控制；所述第一显示界面为所述浏览工具当前浏览的界面；
控制方设备，用于获得所述受控方设备基于所述浏览工具发送的第一显示界面的视频流信息，获得对所述视频流信息生成的显示界面图像执行的操作事件，将所述操作事件发送至所述受控方设备，以便于所述受控方设备能够基于所述操作事件生成模拟操作。
CN202111242768.6A 2021-10-25 2021-10-25 一种显示界面共享处理方法及系统 Active CN113938756B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111242768.6A CN113938756B (zh) 2021-10-25 2021-10-25 一种显示界面共享处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111242768.6A CN113938756B (zh) 2021-10-25 2021-10-25 一种显示界面共享处理方法及系统

Publications (2)

Publication Number Publication Date
CN113938756A CN113938756A (zh) 2022-01-14
CN113938756B true CN113938756B (zh) 2022-11-18

Family

ID=79284123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111242768.6A Active CN113938756B (zh) 2021-10-25 2021-10-25 一种显示界面共享处理方法及系统

Country Status (1)

Country Link
CN (1) CN113938756B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106385590A (zh) * 2016-09-12 2017-02-08 广州华多网络科技有限公司 视频推送远程控制方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101674110A (zh) * 2009-10-21 2010-03-17 中兴通讯股份有限公司 一种实现移动终端桌面共享和控制的方法及移动终端
US8554938B2 (en) * 2010-08-31 2013-10-08 Millind Mittal Web browser proxy-client video system and method
CN104038527A (zh) * 2013-03-08 2014-09-10 腾讯科技（深圳）有限公司 远程操作方法和系统
CN107256135A (zh) * 2017-06-07 2017-10-17 黄之 一种屏幕显示信息的处理、显示方法及系统
RU2697950C2 (ru) * 2018-02-06 2019-08-21 Акционерное общество "Лаборатория Касперского" Система и способ выявления скрытого поведения расширения браузера
CN113138814A (zh) * 2020-01-17 2021-07-20 北京沃东天骏信息技术有限公司 远程协助方法、装置、设备和存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106385590A (zh) * 2016-09-12 2017-02-08 广州华多网络科技有限公司 视频推送远程控制方法及装置

Also Published As

Publication number Publication date
CN113938756A (zh) 2022-01-14

Similar Documents

Publication Publication Date Title
CN113157906B (zh) 推荐信息展示方法、装置、设备及存储介质
CN110046021B (zh) 一种页面显示方法、装置、系统、设备和存储介质
CN105159537A (zh) 基于多屏的实时独立交互系统
CN111338721A (zh) 在线交互方法、系统、电子设备和存储介质
CN110928509A (zh) 显示控制方法、显示控制装置、存储介质、通信终端
CN112099714B (zh) 截图方法、装置、电子设备及可读存储介质
KR20180052439A (ko) 셋톱박스
CN113938756B (zh) 一种显示界面共享处理方法及系统
US20150271431A1 (en) Information Transmission Method and Wireless Display System
EP4290361A1 (en) Display control method and apparatus for pointer in window, device, and storage medium
CN113271494B (zh) 视频帧处理方法、装置和电子设备
JP5147742B2 (ja) 画面伝送システム及び画面伝送方法
CN111708533B (zh) 在应用瘦客户端中设置鼠标显示状态的方法及装置
CN114995713A (zh) 显示控制方法、装置、电子设备和可读存储介质
WO2021039680A1 (ja) 情報処理システム及び情報処理方法
CN113923392A (zh) 视频录制方法、视频录制装置和电子设备
CN103853470A (zh) 数据处理和显示方法、装置及系统
CN110362249B (zh) 书写屏软件页面跳转的控制方法和装置
CN113190162A (zh) 显示方法、装置、电子设备及可读存储介质
JP6695530B1 (ja) 情報処理システム及び情報処理方法
CN113840165B (zh) 屏幕录制方法、装置、设备及介质
CN113457117B (zh) 游戏中的虚拟单位选取方法及装置、存储介质及电子设备
JP2021034006A (ja) 情報処理システム及び情報処理方法
JP7085311B2 (ja) 情報処理装置、情報処理システム、情報処理方法、情報処理プログラム
CN117590984A (zh) 处理方法、第一电子设备和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant