CN115297344B - 屏端设备协同交互方法、装置、存储介质及电子装置 - Google Patents
屏端设备协同交互方法、装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN115297344B CN115297344B CN202210745199.5A CN202210745199A CN115297344B CN 115297344 B CN115297344 B CN 115297344B CN 202210745199 A CN202210745199 A CN 202210745199A CN 115297344 B CN115297344 B CN 115297344B
- Authority
- CN
- China
- Prior art keywords
- screen
- screen sharing
- display
- sharing
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000009133 cooperative interaction Effects 0.000 title claims abstract description 51
- 230000003993 interaction Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000010365 information processing Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请公开了一种屏端设备协同交互方法、装置、存储介质及电子装置，涉及智能家居/智慧家庭技术领域，该屏端设备协同交互方法包括：获取屏幕共享请求信息；根据所述屏幕共享请求信息，获取屏幕共享主设备和屏幕共享从设备的分辨率信息；基于所述分辨率信息，将所述屏幕共享主设备的显示屏上显示的内容，投射到所述屏幕共享从设备的显示屏上显示；通过所述屏幕共享从设备的显示屏，获取触控信息，并根据所述触控信息，对所述屏幕共享主设备的显示器上显示的内容进行控制。本申请实现多个屏端设备共同观看同一设备源，并可精准控制该设备源。
Description
技术领域
本申请涉及智能家居技术领域，尤其涉及一种屏端设备协同交互方法、装置、存储介质及电子装置。
背景技术
现有多屏互动技术，主要是实现不同屏端设备之间的界面共享，使得多个屏端设备可共同观看同一设备源上显示的视屏内容。
在现有多屏互动过程中，若需要对正在播放的视屏内容进行控制，需要通过对视屏内容分享一端的主设备进行控制(例如，暂停、快进等)，而接受视屏内容共享一端的从设备无法对自身显示屏上的视屏内容进行控制。若需要利用共享界面对设备源端进行控制，现有方案中主要还是通过远程控制程序，构建接受屏幕共享内容一端与屏幕分享一端之间的通信连接，实现一对一的屏幕共享控制，且控制精度较低。
因此，现在亟需一种屏端设备协同交互方法、装置、存储介质及电子装置来解决上述问题。
发明内容
本申请提供一种屏端设备协同交互方法、装置、存储介质及电子装置，用以解决现有技术中多屏互动过程中无法通过多个屏幕共享从设备实现对屏幕共享主设备进行控制的缺陷，实现一种多屏端设备共同控制设备源的技术，具有较高的控制精度。
本申请提供一种屏端设备协同交互方法，包括：
获取屏幕共享请求信息；
根据所述屏幕共享请求信息，获取屏幕共享主设备和屏幕共享从设备的分辨率信息；
基于所述分辨率信息，将所述屏幕共享主设备的显示屏上显示的内容，投射到所述屏幕共享从设备的显示屏上显示；
通过所述屏幕共享从设备的显示屏，获取触控信息，并根据所述触控信息，对所述屏幕共享主设备的显示器上显示的内容进行控制。
根据本申请提供的一种屏端设备协同交互方法，所述根据所述屏幕共享请求信息，获取屏幕共享主设备和屏幕共享从设备的分辨率信息，包括：
根据所述屏幕共享请求信息，确定屏幕共享主设备和屏幕共享从设备；
根据第一分辨率和第二分辨率之间的比值，获取所述屏幕共享主设备和所述屏幕共享从设备的分辨率信息，其中，所述第一分辨率为所述屏幕共享主设备的显示器对应的分辨率，所述第二分辨率为所述屏幕共享从设备的显示器对应的分辨率。
根据本申请提供的一种屏端设备协同交互方法，在所述根据所述屏幕共享请求信息，确定屏幕共享主设备和屏幕共享从设备之后，所述方法还包括：
若所述屏幕共享主设备和所述屏幕共享从设备未连接同一WiFi信号，则生成屏端设备共享失败提示信息。
根据本申请提供的一种屏端设备协同交互方法，所述通过所述屏幕共享从设备的显示屏，获取触控信息，包括：
接收第一触碰输入，所述第一触碰输入包括目标用户对所述屏幕共享从设备的显示屏进行控制的触碰操作，所述目标用户为使用所述屏幕共享从设备的用户；
响应于所述第一触碰输入，获取用户在触碰所述屏幕共享从设备的显示屏时的像素坐标信息；
根据所述分辨率信息和所述像素坐标信息，确定用户在触碰所述屏幕共享从设备的显示屏时，所述屏幕共享主设备的显示屏上对应的目标像素区域；
基于所述目标像素区域，生成所述触控信息。
根据本申请提供的一种屏端设备协同交互方法，在所述通过所述屏幕共享从设备的显示屏，获取触控信息之后，所述方法还包括：
对所述触控信息进行加密处理，得到加密后的触控信息；
将所述加密后的触控信息发送到所述屏幕共享主设备，以供所述屏幕共享主设备对所述加密后的触控信息进行解密处理，得到解密后的触控信息；
根据所述解密后的触控信息，对所述屏幕共享主设备的显示器上显示的内容进行控制。
根据本申请提供的一种屏端设备协同交互方法，所述基于所述分辨率信息，将所述屏幕共享主设备的显示屏上显示的内容，投射到所述屏幕共享从设备的显示屏上显示，包括：
对所述屏幕共享主设备的显示器上显示的内容进行录屏操作，得到录屏数据；
基于所述分辨率信息，将所述录屏数据的分辨率转换成所述屏幕共享从设备的显示器对应的分辨率，得到分辨率转换后的录屏数据；
将所述分辨率转换后的录屏数据，投射到所述屏幕共享从设备的显示屏上显示。
根据本申请提供的一种屏端设备协同交互方法，所述方法还包括：
若存在多个屏幕共享从设备对所述屏幕共享主设备进行控制，则根据触控信息生成时间，通过每个屏幕共享从设备对应的触控信息，依次对所述屏幕共享主设备的显示器上显示的内容进行控制。
本申请还提供一种屏端设备协同交互装置，包括：
屏幕共享请求获取模块，用于获取屏幕共享请求信息；
处理模块，用于根据所述屏幕共享请求信息，获取屏幕共享主设备和屏幕共享从设备的分辨率信息；
屏幕共享模块，用于基于所述分辨率信息，将所述屏幕共享主设备的显示屏上显示的内容，投射到所述屏幕共享从设备的显示屏上显示；
触控交互模块，用于通过所述屏幕共享从设备的显示屏，获取触控信息，并根据所述触控信息，对所述屏幕共享主设备的显示器上显示的内容进行控制。
本申请还提供一种计算机可读的存储介质，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行实现如上述任一种所述屏端设备协同交互方法。
本申请还提供一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行实现如上述任一种所述屏端设备协同交互方法。
本申请提供的屏端设备协同交互方法、装置、存储介质及电子装置，根据屏幕共享请求信息，获取屏幕共享主设备和屏幕共享从设备的分辨率信息，并基于分辨率信息，将屏幕共享主设备显示屏上显示内容的分辨率，转换为适应于屏幕共享从设备显示器的分辨率，以投射到屏幕共享从设备的显示屏上显示，从而通过屏幕共享从设备的显示屏上获取得到触控信息，对屏幕共享主设备的显示器上显示的内容进行控制，实现多个屏端设备共同观看同一设备源，并可精准控制该设备源。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本申请实施例的一种智能设备的交互方法的硬件环境示意图；
图2为本申请提供的屏端设备协同交互方法的流程示意图；
图3为本申请提供的屏端设备协同交互装置的结构示意图；
图4为本申请提供的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本申请实施例的一个方面，提供了一种屏端设备协同交互方法。该屏端设备协同交互方法广泛应用于智慧家庭(Smart Home)、智能家居、智能家用设备生态、智慧住宅(Intelligence House)生态等全屋智能数字化控制应用场景。可选地，在本实施例中，上述屏端设备协同交互方法可以应用于如图1所示的由终端设备102和服务器104所构成的硬件环境中。如图1所示，服务器104通过网络与终端设备102进行连接，可用于为终端或终端上安装的客户端提供服务(如应用服务等)，可在服务器上或独立于服务器设置数据库，用于为服务器104提供数据存储服务，可在服务器上或独立于服务器配置云计算和/或边缘计算服务，用于为服务器104提供数据运算服务。
上述网络可以包括但不限于以下至少之一：有线网络，无线网络。上述有线网络可以包括但不限于以下至少之一：广域网，城域网，局域网，上述无线网络可以包括但不限于以下至少之一：WIFI(Wireless Fidelity，无线保真)，蓝牙。终端设备102可以并不限定于为PC、手机、平板电脑、智能空调、智能烟机、智能冰箱、智能烤箱、智能炉灶、智能洗衣机、智能热水器、智能洗涤设备、智能洗碗机、智能投影设备、智能电视、智能晾衣架、智能窗帘、智能影音、智能插座、智能音响、智能音箱、智能新风设备、智能厨卫设备、智能卫浴设备、智能扫地机器人、智能擦窗机器人、智能拖地机器人、智能空气净化设备、智能蒸箱、智能微波炉、智能厨宝、智能净化器、智能饮水机、智能门锁等。
目前利用多屏互动的技术，主要还是单一的实现屏幕内容共享，但是多个设备共同观看同一设备源，并可以共同精准控制该设备源，现有技术对于此类应用场景并没有较好解决方案，主要还是通过一些远程控制程序，实现一对一的远程控制操作。本申请提供一种屏端设备协同交互方法，当用户A正在观看家庭电视时，可以将观看内容共享给其他家庭成员的屏端设备，例如设备B，设备C和设备D。在其他成员的屏端设备接收到共享请求之后，所有人都可以通过触屏设备，如手机的点击事件精准控制用户A的电视，比如，调整播放进度、暂停、快进、调整声音和调整视频等。
图2为本申请提供的屏端设备协同交互方法的流程示意图，如图2所示，本申请提供了一种屏端设备协同交互方法，包括：
步骤201，获取屏幕共享请求信息。
在本申请中，屏端设备包括具有触摸屏的播放设备，例如，手机，平板电脑，以及可通过输入设备控制的显示器，例如，利用鼠标或键盘进行操作的显示器。需要说明的是，本申请提供的屏端设备协同交互方法，可通过在屏端设备中设置一个屏幕共享装置，通过该屏幕共享装置内的处理器或与多媒体云服务器连接，对屏端设备之间的共享内容以及共享控制进行处理，实现屏端设备协同交互。
具体地，本申请首先获取屏幕共享请求信息，该请求信息中包括有屏端设备的相关信息，如分辨率信息，是否正在播放视频内容，设备连接的WiFi信号等信息，并且该请求信息可以是分享方主动发出，也可以是共享请求方发出，例如，A用户通过终端(记为终端A)正在观看精彩视频内容，终端A利用用户数据报协议(User Datagram Protocol，简称UDP)，发现局域网内的触屏终端终端B和终端C，并向终端B和终端C发送屏幕共享请求信息，终端B和终端C在接收到屏幕共享请求信息之后，生成该请求的应答消息，从而接收屏幕共享内容；或者，终端A正在观看视频内容，终端B和终端C，通过获取局域网内的家庭设备，发现终端A，并分别向终端A发送屏幕共享请求信息，终端A在接收到屏幕共享请求信息之后，生成该请求的应答消息，开始向终端B和终端C进行屏幕共享。在本申请中，无论是分享方主动发出共享信息，还是共享请求方发出共享请求信息，都可通过屏幕共享请求信息，确认设备屏幕共享主设备和屏幕共享从设备(根据发送的屏幕共享请求信息，以及应答该屏幕共享请求信息的反馈信息确定)，然后再通过数据传输协议，将主设备当前播放的视屏内容传输到从设备。
步骤202，根据所述屏幕共享请求信息，获取屏幕共享主设备和屏幕共享从设备的分辨率信息。
在本申请中，通过屏幕共享请求信息，获取终端A、终端B和终端C各自对应的分辨率，进而根据主设备与从设备之间分辨率的比值关系，得到分辨率信息。通过该分辨率信息，可以将终端B或终端C显示器上显示(或用户触碰显示器时的屏幕位置)X，Y处的像素，精确地预测同一像素在终端A处显示的像素坐标。
步骤203，基于所述分辨率信息，将所述屏幕共享主设备的显示屏上显示的内容，投射到所述屏幕共享从设备的显示屏上显示。
具体地，所述基于所述分辨率信息，将所述屏幕共享主设备的显示屏上显示的内容，投射到所述屏幕共享从设备的显示屏上显示，包括：
对所述屏幕共享主设备的显示器上显示的内容进行录屏操作，得到录屏数据；
基于所述分辨率信息，将所述录屏数据的分辨率转换成所述屏幕共享从设备的显示器对应的分辨率，得到分辨率转换后的录屏数据；
将所述分辨率转换后的录屏数据，投射到所述屏幕共享从设备的显示屏上显示。
在本申请中，终端A通过多媒体服务器，请求向终端B和终端C发送完整的录屏数据。当终端B和终端C接收到终端A的视频源之后，通过分辨率信息，将录屏数据的分辨率转换成各自显示器所对应的分辨率，并按照自身分辨率宽高比完整展示终端A的显示器上显示的内容。
步骤204，通过所述屏幕共享从设备的显示屏，获取触控信息，并根据所述触控信息，对所述屏幕共享主设备的显示器上显示的内容进行控制。
在本申请中，用户通过触摸屏触屏终端B，处理器或多媒体云服务器基于用户的点击和滑动等触控事件，计算对应终端A显示屏上的相应像素坐标，从而得到触控信息，再将该触控信息发送到终端A，使得终端A显示器上对应像素坐标模拟用户触碰的操作，实现对终端A的显示器上显示的内容进行控制。相应地，终端C的用户也可通过触屏方式，在终端C一侧实现对终端A显示内容的控制，此时，处理器或多媒体云服务器基于终端C的用户的点击和滑动等触控事件，计算终端C上的触控区域对应在终端A显示屏上的区域，从而得到触控信息，再将该触控信息发送到终端A，使得终端A显示器上对应像素坐标模拟终端C处触碰的操作，实现对终端A的显示器上显示的内容进行控制。
本申请提供的屏端设备协同交互方法，根据屏幕共享请求信息，获取屏幕共享主设备和屏幕共享从设备的分辨率信息，并基于分辨率信息，将屏幕共享主设备显示屏上显示内容的分辨率，转换为适应于屏幕共享从设备显示器的分辨率，以投射到屏幕共享从设备的显示屏上显示，从而通过屏幕共享从设备的显示屏上获取得到触控信息，对屏幕共享主设备的显示器上显示的内容进行控制，实现多个屏端设备共同观看同一设备源，并可精准控制该设备源。
在上述实施例的基础上，所述根据所述屏幕共享请求信息，获取屏幕共享主设备和屏幕共享从设备的分辨率信息，包括：
根据所述屏幕共享请求信息，确定屏幕共享主设备和屏幕共享从设备；
根据第一分辨率和第二分辨率之间的比值，获取所述屏幕共享主设备和所述屏幕共享从设备的分辨率信息，其中，所述第一分辨率为所述屏幕共享主设备的显示器对应的分辨率，所述第二分辨率为所述屏幕共享从设备的显示器对应的分辨率。
在本申请中，通过屏幕共享主设备和屏幕共享从设备之间的分辨率比值，从而将屏幕共享主设备分享给屏幕共享从设备的显示内容进行相应的放大或缩放，从而适应于不同分辨率的终端，使得后续屏端设备协同交互的控制精度提高。
在上述实施例的基础上，在所述根据所述屏幕共享请求信息，确定屏幕共享主设备和屏幕共享从设备之后，所述方法还包括：
若所述屏幕共享主设备和所述屏幕共享从设备未连接同一WiFi信号，则生成屏端设备共享失败提示信息。
在本申请中，为了提高数据共享安全性以及保障显示内容同步效果，在确定屏幕共享主设备和屏幕共享从设备之后，需要判断屏幕共享主设备和屏幕共享从设备是否处于同一WiFi信号下，若已连接相同的WiFi信号，此时可进一步进行屏幕共享和协同交互；若未连接相同WiFi信号，则生成一个共享失败的提示信息，该提示信息中会提示当前状态下的屏幕共享主设备和屏幕共享从设备未处于相同WiFi信号。
在上述实施例的基础上，所述通过所述屏幕共享从设备的显示屏，获取触控信息，包括：
接收第一触碰输入，所述第一触碰输入包括目标用户对所述屏幕共享从设备的显示屏进行控制的触碰操作，所述目标用户为使用所述屏幕共享从设备的用户；
响应于所述第一触碰输入，获取用户在触碰所述屏幕共享从设备的显示屏时的像素坐标信息；
根据所述分辨率信息和所述像素坐标信息，确定用户在触碰所述屏幕共享从设备的显示屏时，所述屏幕共享主设备的显示屏上对应的目标像素区域；
基于所述目标像素区域，生成所述触控信息。
在本申请中，屏幕共享从设备的用户，通过自身设备的触摸屏进行触屏操作，此时，该屏幕共享从设备上的触控事件，会产生一系列的像素坐标信息，进一步地，根据分辨率信息，将该像素坐标信息转换为屏幕共享主设备显示屏上对应的像素坐标，形成屏幕共享从设备上的触控事件对应于屏幕共享主设备上的目标像素区域，并按照时序生成触控信息，从而根据这个触控信息，模拟屏幕共享从设备的用户触碰的操作，实现对屏幕共享主设备显示器上显示的内容进行控制。
在上述实施例的基础上，在所述通过所述屏幕共享从设备的显示屏，获取触控信息之后，所述方法还包括：
对所述触控信息进行加密处理，得到加密后的触控信息；
将所述加密后的触控信息发送到所述屏幕共享主设备，以供所述屏幕共享主设备对所述加密后的触控信息进行解密处理，得到解密后的触控信息；
根据所述解密后的触控信息，对所述屏幕共享主设备的显示器上显示的内容进行控制。
在本申请中，通过Proto Buffer将触控信息进行封装，并通过信息摘要算法(Message-Digest Algorithm，简称MD5)对封装数据加密，以压缩文件的方式传输到屏幕共享主设备；屏幕共享主设备在接收到触控信息后，通过解压解密处理数据，并根据触控信息对应事件类型，相应执行屏幕共享从设备触屏的控制事件，从而提高共享数据的安全性。
在上述实施例的基础上，所述方法还包括：
若存在多个屏幕共享从设备对所述屏幕共享主设备进行控制，则根据触控信息生成时间，通过每个屏幕共享从设备对应的触控信息，依次对所述屏幕共享主设备的显示器上显示的内容进行控制。
在本申请中，将不同屏幕共享从设备的触控信息按照各个从设备各自发生触控时的时间，依次执行，使得屏幕共享主设备的显示器上显示按照时间顺序逐个进行控制。对于存在同一时刻发生的不同类型触控操作，可通过设置预设协同交互操作规则，将优先级低的触控操作延后处理，例如，终端B为家长模式，终端C为儿童模式，终端B的权限和优先级，相比终端C较高，在同一时刻发生的不同类型触控操作，可优先执行终端B的触控信息。
下面对本申请提供的屏端设备协同交互装置进行描述，下文描述的屏端设备协同交互装置与上文描述的屏端设备协同交互方法可相互对应参照。
图3为本申请提供的屏端设备协同交互装置的结构示意图，如图3所示，本申请提供了一种屏端设备协同交互装置，包括屏幕共享请求获取模块301、处理模块302、屏幕共享模块303和触控交互模块304，其中，屏幕共享请求获取模块301用于获取屏幕共享请求信息；处理模块302用于根据所述屏幕共享请求信息，获取屏幕共享主设备和屏幕共享从设备的分辨率信息；屏幕共享模块303用于基于所述分辨率信息，将所述屏幕共享主设备的显示屏上显示的内容，投射到所述屏幕共享从设备的显示屏上显示；触控交互模块304用于通过所述屏幕共享从设备的显示屏，获取触控信息，并根据所述触控信息，对所述屏幕共享主设备的显示器上显示的内容进行控制。
本申请提供的屏端设备协同交互装置，根据屏幕共享请求信息，获取屏幕共享主设备和屏幕共享从设备的分辨率信息，并基于分辨率信息，将屏幕共享主设备显示屏上显示内容的分辨率，转换为适应于屏幕共享从设备显示器的分辨率，以投射到屏幕共享从设备的显示屏上显示，从而通过屏幕共享从设备的显示屏上获取得到触控信息，对屏幕共享主设备的显示器上显示的内容进行控制，实现多个屏端设备共同观看同一设备源，并可精准控制该设备源。
在上述实施例的基础上，所述处理模块包括主从设备确定单元和分辨率处理单元，其中，主从设备确定单元用于根据所述屏幕共享请求信息，确定屏幕共享主设备和屏幕共享从设备；分辨率处理单元用于根据第一分辨率和第二分辨率之间的比值，获取所述屏幕共享主设备和所述屏幕共享从设备的分辨率信息，其中，所述第一分辨率为所述屏幕共享主设备的显示器对应的分辨率，所述第二分辨率为所述屏幕共享从设备的显示器对应的分辨率。
在上述实施例的基础上，所述装置还包括WiFi信号判断模块，用于若所述屏幕共享主设备和所述屏幕共享从设备未连接同一WiFi信号，则生成屏端设备共享失败提示信息。
在上述实施例的基础上，所述触控交互模块包括：触控信号采集单元、触控处理单元、主设备触控区域确定单元和触控信息处理单元，其中，触控信号采集单元用于接收第一触碰输入，所述第一触碰输入包括目标用户对所述屏幕共享从设备的显示屏进行控制的触碰操作，所述目标用户为使用所述屏幕共享从设备的用户；触控处理单元用于响应于所述第一触碰输入，获取用户在触碰所述屏幕共享从设备的显示屏时的像素坐标信息；主设备触控区域确定单元用于根据所述分辨率信息和所述像素坐标信息，确定用户在触碰所述屏幕共享从设备的显示屏时，所述屏幕共享主设备的显示屏上对应的目标像素区域；触控信息处理单元用于基于所述目标像素区域，生成所述触控信息。
在上述实施例的基础上，所述装置还包括加密模块和加密传输模块，其中，加密模块用于对所述触控信息进行加密处理，得到加密后的触控信息；加密传输模块用于将所述加密后的触控信息发送到所述屏幕共享主设备，以供所述屏幕共享主设备对所述加密后的触控信息进行解密处理，得到解密后的触控信息；并通过触控交互模块，根据所述解密后的触控信息，对所述屏幕共享主设备的显示器上显示的内容进行控制。
在上述实施例的基础上，所述屏幕共享模块包括录屏单元、分辨率转换单元和共享投射单元，其中，录屏单元用于对所述屏幕共享主设备的显示器上显示的内容进行录屏操作，得到录屏数据；分辨率转换单元用于基于所述分辨率信息，将所述录屏数据的分辨率转换成所述屏幕共享从设备的显示器对应的分辨率，得到分辨率转换后的录屏数据；共享投射单元用于将所述分辨率转换后的录屏数据，投射到所述屏幕共享从设备的显示屏上显示。
在上述实施例的基础上，所述装置还用于：若存在多个屏幕共享从设备对所述屏幕共享主设备进行控制，则根据触控信息生成时间，通过每个屏幕共享从设备对应的触控信息，依次对所述屏幕共享主设备的显示器上显示的内容进行控制。
图4为本申请提供的电子装置的结构示意图，如图4所示，该电子装置可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行屏端设备协同交互方法，该方法包括：获取屏幕共享请求信息；根据所述屏幕共享请求信息，获取屏幕共享主设备和屏幕共享从设备的分辨率信息；基于所述分辨率信息，将所述屏幕共享主设备的显示屏上显示的内容，投射到所述屏幕共享从设备的显示屏上显示；通过所述屏幕共享从设备的显示屏，获取触控信息，并根据所述触控信息，对所述屏幕共享主设备的显示器上显示的内容进行控制。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本申请还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在计算机可读的存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的屏端设备协同交互方法，该方法包括：获取屏幕共享请求信息；根据所述屏幕共享请求信息，获取屏幕共享主设备和屏幕共享从设备的分辨率信息；基于所述分辨率信息，将所述屏幕共享主设备的显示屏上显示的内容，投射到所述屏幕共享从设备的显示屏上显示；通过所述屏幕共享从设备的显示屏，获取触控信息，并根据所述触控信息，对所述屏幕共享主设备的显示器上显示的内容进行控制。
又一方面，本申请还提供一种计算机可读的存储介质，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行上述各方法提供的屏端设备协同交互方法，该方法包括：获取屏幕共享请求信息；根据所述屏幕共享请求信息，获取屏幕共享主设备和屏幕共享从设备的分辨率信息；基于所述分辨率信息，将所述屏幕共享主设备的显示屏上显示的内容，投射到所述屏幕共享从设备的显示屏上显示；通过所述屏幕共享从设备的显示屏，获取触控信息，并根据所述触控信息，对所述屏幕共享主设备的显示器上显示的内容进行控制。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (9)
1.一种屏端设备协同交互方法，其特征在于，包括：
获取屏幕共享请求信息；
根据所述屏幕共享请求信息，获取屏幕共享主设备和屏幕共享从设备的分辨率信息；
基于所述分辨率信息，将所述屏幕共享主设备的显示屏上显示的内容，投射到所述屏幕共享从设备的显示屏上显示；
通过所述屏幕共享从设备的显示屏，获取触控信息，并根据所述触控信息，对所述屏幕共享主设备的显示器上显示的内容进行控制；
若存在多个屏幕共享从设备对所述屏幕共享主设备进行控制，则根据触控信息生成时间和预设协同交互操作规则，通过每个屏幕共享从设备对应的触控信息，依次对所述屏幕共享主设备的显示器上显示的内容进行控制。
2.根据权利要求1所述的屏端设备协同交互方法，其特征在于，所述根据所述屏幕共享请求信息，获取屏幕共享主设备和屏幕共享从设备的分辨率信息，包括：
根据所述屏幕共享请求信息，确定屏幕共享主设备和屏幕共享从设备；
根据第一分辨率和第二分辨率之间的比值，获取所述屏幕共享主设备和所述屏幕共享从设备的分辨率信息，其中，所述第一分辨率为所述屏幕共享主设备的显示器对应的分辨率，所述第二分辨率为所述屏幕共享从设备的显示器对应的分辨率。
3.根据权利要求2所述的屏端设备协同交互方法，其特征在于，在所述根据所述屏幕共享请求信息，确定屏幕共享主设备和屏幕共享从设备之后，所述方法还包括：
若所述屏幕共享主设备和所述屏幕共享从设备未连接同一WiFi信号，则生成屏端设备共享失败提示信息。
4.根据权利要求1所述的屏端设备协同交互方法，其特征在于，所述通过所述屏幕共享从设备的显示屏，获取触控信息，包括：
接收第一触碰输入，所述第一触碰输入包括目标用户对所述屏幕共享从设备的显示屏进行控制的触碰操作，所述目标用户为使用所述屏幕共享从设备的用户；
响应于所述第一触碰输入，获取用户在触碰所述屏幕共享从设备的显示屏时的像素坐标信息；
根据所述分辨率信息和所述像素坐标信息，确定用户在触碰所述屏幕共享从设备的显示屏时，所述屏幕共享主设备的显示屏上对应的目标像素区域；
基于所述目标像素区域，生成所述触控信息。
5.根据权利要求1所述的屏端设备协同交互方法，其特征在于，在所述通过所述屏幕共享从设备的显示屏，获取触控信息之后，所述方法还包括：
对所述触控信息进行加密处理，得到加密后的触控信息；
将所述加密后的触控信息发送到所述屏幕共享主设备，以供所述屏幕共享主设备对所述加密后的触控信息进行解密处理，得到解密后的触控信息；
根据所述解密后的触控信息，对所述屏幕共享主设备的显示器上显示的内容进行控制。
6.根据权利要求1所述的屏端设备协同交互方法，其特征在于，所述基于所述分辨率信息，将所述屏幕共享主设备的显示屏上显示的内容，投射到所述屏幕共享从设备的显示屏上显示，包括：
对所述屏幕共享主设备的显示器上显示的内容进行录屏操作，得到录屏数据；
基于所述分辨率信息，将所述录屏数据的分辨率转换成所述屏幕共享从设备的显示器对应的分辨率，得到分辨率转换后的录屏数据；
将所述分辨率转换后的录屏数据，投射到所述屏幕共享从设备的显示屏上显示。
7.一种屏端设备协同交互装置，其特征在于，包括：
屏幕共享请求获取模块，用于获取屏幕共享请求信息；
处理模块，用于根据所述屏幕共享请求信息，获取屏幕共享主设备和屏幕共享从设备的分辨率信息；
屏幕共享模块，用于基于所述分辨率信息，将所述屏幕共享主设备的显示屏上显示的内容，投射到所述屏幕共享从设备的显示屏上显示；
触控交互模块，用于通过所述屏幕共享从设备的显示屏，获取触控信息，并根据所述触控信息，对所述屏幕共享主设备的显示器上显示的内容进行控制；
若存在多个屏幕共享从设备对所述屏幕共享主设备进行控制，则根据触控信息生成时间和预设协同交互操作规则，通过每个屏幕共享从设备对应的触控信息，依次对所述屏幕共享主设备的显示器上显示的内容进行控制。
8.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行权利要求1至6中任一项所述的方法。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210745199.5A CN115297344B (zh) | 2022-06-27 | 2022-06-27 | 屏端设备协同交互方法、装置、存储介质及电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210745199.5A CN115297344B (zh) | 2022-06-27 | 2022-06-27 | 屏端设备协同交互方法、装置、存储介质及电子装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115297344A CN115297344A (zh) | 2022-11-04 |
| CN115297344B true CN115297344B (zh) | 2024-03-22 |
Family
ID=83819802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210745199.5A Active CN115297344B (zh) | 2022-06-27 | 2022-06-27 | 屏端设备协同交互方法、装置、存储介质及电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115297344B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114465838B (zh) * | 2022-02-16 | 2023-10-31 | 海信视像科技股份有限公司 | 显示设备、智能家居系统及多屏控制方法 |
| CN115988277A (zh) * | 2022-12-07 | 2023-04-18 | 深圳创维－Rgb电子有限公司 | 智能电视控制方法、电子设备及可读存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140137642A (ko) * | 2013-05-23 | 2014-12-03 | 네이버 주식회사 | 단말기간 화면 공유 제어 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
| CN105247855A (zh) * | 2014-04-29 | 2016-01-13 | 华为技术有限公司 | 一种实现屏幕共享的方法、装置和系统 |
| CN105262974A (zh) * | 2015-08-12 | 2016-01-20 | 北京恒泰实达科技股份有限公司 | 一种实现多人屏幕无线共享的方法 |
| CN109144443A (zh) * | 2018-07-20 | 2019-01-04 | 重庆宝力优特科技有限公司 | 电子设备多屏显示方法、电子设备及计算机可读存储介质 |
| CN109189320A (zh) * | 2018-09-26 | 2019-01-11 | 深圳壹账通智能科技有限公司 | 一种智能设备的控制方法、存储介质和服务器 |
| CN111182303A (zh) * | 2019-10-08 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 共享屏幕的编码方法、装置、计算机可读介质及电子设备 |
| CN113157234A (zh) * | 2021-05-24 | 2021-07-23 | 努比亚技术有限公司 | 一种投屏显示控制方法、设备及计算机可读存储介质 |
| CN114489529A (zh) * | 2020-10-23 | 2022-05-13 | 华为技术有限公司 | 电子设备的投屏方法及其介质和电子设备 |
| CN114647390A (zh) * | 2020-12-21 | 2022-06-21 | 华为技术有限公司 | 一种增强的屏幕共享方法和系统、电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102341301B1 (ko) * | 2017-03-27 | 2021-12-20 | 삼성전자 주식회사 | 전자 장치 및 전자 장치의 화면 공유 방법 |
-
2022
- 2022-06-27 CN CN202210745199.5A patent/CN115297344B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140137642A (ko) * | 2013-05-23 | 2014-12-03 | 네이버 주식회사 | 단말기간 화면 공유 제어 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
| CN105247855A (zh) * | 2014-04-29 | 2016-01-13 | 华为技术有限公司 | 一种实现屏幕共享的方法、装置和系统 |
| CN105262974A (zh) * | 2015-08-12 | 2016-01-20 | 北京恒泰实达科技股份有限公司 | 一种实现多人屏幕无线共享的方法 |
| CN109144443A (zh) * | 2018-07-20 | 2019-01-04 | 重庆宝力优特科技有限公司 | 电子设备多屏显示方法、电子设备及计算机可读存储介质 |
| CN109189320A (zh) * | 2018-09-26 | 2019-01-11 | 深圳壹账通智能科技有限公司 | 一种智能设备的控制方法、存储介质和服务器 |
| CN111182303A (zh) * | 2019-10-08 | 2020-05-19 | 腾讯科技（深圳）有限公司 | 共享屏幕的编码方法、装置、计算机可读介质及电子设备 |
| CN114489529A (zh) * | 2020-10-23 | 2022-05-13 | 华为技术有限公司 | 电子设备的投屏方法及其介质和电子设备 |
| CN114647390A (zh) * | 2020-12-21 | 2022-06-21 | 华为技术有限公司 | 一种增强的屏幕共享方法和系统、电子设备 |
| CN113157234A (zh) * | 2021-05-24 | 2021-07-23 | 努比亚技术有限公司 | 一种投屏显示控制方法、设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115297344A (zh) | 2022-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115297344B (zh) | 屏端设备协同交互方法、装置、存储介质及电子装置 | |
| US10284644B2 (en) | Information processing and content transmission for multi-display | |
| CN100446548C (zh) | 遥控器及应用该遥控器的数字信息系统 | |
| US20180103300A1 (en) | Transcoder enabled cloud of remotely controlled devices | |
| CN102638715B (zh) | 智能电视系统远程监控方法、相关设备以及智能电视系统 | |
| WO2019090902A1 (zh) | 屏幕共享的方法、装置、电子设备及存储介质 | |
| WO2015021928A1 (zh) | 一种多屏交互方法、终端及系统 | |
| MX2014012325A (es) | Habilidad de clientes web para proporcionar servicios web. | |
| KR101650804B1 (ko) | 미디어 콘텐츠 공유 방법, 단말 장치, 및 콘텐츠 공유 시스템 | |
| CN109144396A (zh) | 一种触摸信息处理方法、装置、设备和存储介质 | |
| CN103796076A (zh) | 数据处理方法及相应的媒体播放设备和播放控制设备 | |
| CN105282587A (zh) | 一种基于手机的同步可视化控制智能电视的方法 | |
| CN102970611A (zh) | 一种网络电视的控制方法、装置和系统 | |
| TWI521825B (zh) | Wisdom home control server | |
| CN112218144B (zh) | 投屏控制方法、装置、电子设备以及计算机可读介质 | |
| CN108616643A (zh) | 通过计算设备控制手机的方法、装置及系统 | |
| Ha et al. | N-screen service using I/O virtualization technology | |
| Wang et al. | A new territory of multi-user variable remote control for interactive TV | |
| CN109547830A (zh) | 一种用于多个虚拟现实设备的同步播放的方法与装置 | |
| US20150215575A1 (en) | Relay apparatus | |
| CN113038251B (zh) | 一种控制方法和控制装置 | |
| CN111147879B (zh) | 直播节目缓存方法、系统、设备和计算机存储介质 | |
| CN113132774B (zh) | 一种智能电视的控制方法及相关设备 | |
| WO2024021036A1 (zh) | 模型控制方法、装置、设备、系统以及计算机存储介质 | |
| CN115296958B (zh) | 设备控制任务的分发方法、装置、存储介质及电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |