CN112000306B

CN112000306B - 多端投屏的反向控制方法、装置、设备及存储介质

Info

Publication number: CN112000306B
Application number: CN202011172646.XA
Authority: CN
Inventors: 李凌; 陈锡华
Original assignee: Shenzhen Happycast Technology Co Ltd
Current assignee: Shenzhen Happycast Technology Co Ltd
Priority date: 2020-10-28
Filing date: 2020-10-28
Publication date: 2021-02-19
Anticipated expiration: 2040-10-28
Also published as: CN112000306A

Abstract

本发明公开了一种多端投屏的反向控制方法、装置、设备及存储介质。该方法包括监听接收端设备的显示画面上的点击事件；获取点击事件在接收端设备的显示画面上的第一坐标位置；根据第一坐标位置确定点击事件对应的发送端设备；获取发送端设备在接收端设备的显示画面上的投屏区域；计算第一坐标位置在投屏区域对应的第二坐标位置；根据投屏区域与发送端设备的显示画面之间的尺寸比例，计算得到第二坐标位置在发送端设备的显示画面上对应的第三坐标位置；生成第三坐标位置的点击指令，控制发送端设备执行点击指令对应的操作。本发明通过采集接收端设备点击事件的坐标位置并转换获得反控的精确坐标，能够实现对多个发送端设备投屏时进行反控。

Description

多端投屏的反向控制方法、装置、设备及存储介质

技术领域

本发明涉及投屏技术领域，尤其涉及一种多端投屏的反向控制方法、装置、设备及存储介质。

背景技术

现有技术中存在有在单端投屏（一个接收端连接一个发送端）的情形中，实现对发送端设备的反向控制的技术，但是并不存在有在多端投屏（一个接收端连接多个发送端）的情形中，实现对每个发送端设备进行精准反向控制的技术，现有多端投屏技术无法满足用户的投屏需求。

因此，现有技术还有待于改进和发展。

发明内容

本发明的主要目的在于解决现有技术无法实现多端投屏下对每个发送端设备进行精准反控的技术问题。

本发明第一方面提供了一种多端投屏的反向控制方法，所述反向控制方法包括：

监听接收端设备的显示画面上的点击事件；

获取所述点击事件在所述接收端设备的显示画面上的第一坐标位置；

根据所述第一坐标位置确定所述点击事件对应的发送端设备；

获取所述发送端设备在所述接收端设备的显示画面上的投屏区域；

计算所述第一坐标位置在所述投屏区域对应的第二坐标位置；

根据所述投屏区域与所述发送端设备的显示画面之间的尺寸比例，计算得到所述第二坐标位置在所述发送端设备的显示画面上对应的第三坐标位置；

生成所述第三坐标位置的点击指令，控制所述发送端设备执行所述点击指令对应的操作。

可选的，在本发明第一方面的第一种实现方式中，所述监听接收端设备的显示画面上的点击事件之前包括：

建立多个发送端设备与接收端设备之间的投屏连接；

将多个所述发送端设备的显示画面分别投屏到所述接收端设备的显示画面的多个投屏区域中；

对投屏到所述投屏区域后的所述发送端设备的显示画面进行调整和渲染。

可选的，在本发明第一方面的第二种实现方式中，所述建立多个发送端设备与接收端设备之间的投屏连接包括：

将多个所述发送端设备和所述接收端设备置于同一局域网环境中；

建立多个所述发送端设备和所述接收端设备的通信连接，并为每个所述发送端设备分配不同的投屏数据传输通道。

可选的，在本发明第一方面的第三种实现方式中，所述对投屏到所述投屏区域后的所述发送端设备的显示画面进行调整和渲染包括：

获取所述投屏区域的大小；

基于所述投屏区域的大小对所述发送端设备的显示画面进行调整；

调用所述接收端设备的线程池中的多个线程；

通过所述多个线程对多个所述发送端设备的显示画面进行同时渲染，以使所述发送端设备的显示画面适配所述投屏区域。

可选的，在本发明第一方面的第四种实现方式中，所述将多个所述发送端设备的显示画面分别投屏到所述接收端设备的显示画面的多个投屏区域中包括：

根据多个所述发送端设备的类型将所述接收端设备的显示画面分成多个不同的投屏区域；

将多个不同类型的所述发送端设备的显示画面分别投屏到对应的投屏区域中。

可选的，在本发明第一方面的第五种实现方式中，所述根据多个所述发送端设备的类型将所述接收端设备的显示画面分成多个不同的投屏区域包括：

若所述发送端设备为手机，则将所述发送端设备对应在所述接收端设备的显示画面上的投屏区域设置成竖长方形；

若所述发送端设备为电脑，则将所述发送端设备对应在所述接收端设备的显示画面上的投屏区域设置成横长方形。

可选的，在本发明第一方面的第六种实现方式中，所述点击事件包括所述接收端设备的触摸屏上的触摸事件，所述接收端设备连接的鼠标的点击事件，以及所述接收端设备连接的键盘的点击事件。

本发明第二方面提供了一种多端投屏的反向控制装置，所述反向控制装置包括：

监听模块，用于监听接收端设备的显示画面上的点击事件；

第一获取模块，用于获取所述点击事件在所述接收端设备的显示画面上的第一坐标位置，以及用于根据所述第一坐标位置确定所述点击事件对应的发送端设备；

第二获取模块，用于获取所述发送端设备在所述接收端设备的显示画面上的投屏区域；

第一计算模块，用于计算所述第一坐标位置在所述投屏区域对应的第二坐标位置；

第二计算模块，用于根据所述投屏区域与所述发送端设备的显示画面之间的比例，计算得到所述第二坐标位置在所述发送端设备的显示画面上对应的第三坐标位置；

控制模块，用于生成所述第三坐标位置的点击指令，控制所述发送端设备执行所述点击指令对应的操作。

本发明第三方面提供了一种多端投屏的反向控制设备，其特征在于，所述多端投屏的反向控制设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述多端投屏的反向控制设备执行如上述任一项所述的多端投屏的反向控制方法。

本发明第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述任一项所述的多端投屏的反向控制方法。

附图说明

图1为本发明多端投屏的反向控制方法的一个实施例示意图；

图2为本发明多端投屏的反向控制装置的一个实施例示意图；

图3为本发明多端投屏的反向控制设备的一个实施例示意图。

具体实施方式

本发明实施例提供了一种多端投屏的反向控制方法、装置、设备及存储介质。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中本发明第一方面提供了一种多端投屏的反向控制方法，所述反向控制方法包括：

101、监听接收端设备的显示画面上的点击事件；

在本实施例中，可以在接收端设备中设置一个监听进程用来获取用户通过触摸屏、鼠标或键盘等设备操作接收端设备时所产生的点击事件。

102、获取所述点击事件在所述接收端设备的显示画面上的第一坐标位置；

在本实施例中，获取接收端设备显示屏上的整个显示画面的大小，并建立以显示画面左下角为原点的坐标系，然后基于该坐标系获得点击事件在整个显示画面上对应的第一坐标位置。

103、根据所述第一坐标位置确定所述点击事件对应的发送端设备；

在本实施例中，多个发送端设备投屏完成之后，在接收端设备中保存有每个发送端设备投屏区域的坐标范围，根据第一坐标位置所处的坐标范围获得点击事件对应的是哪个发送端设备。

104、获取所述发送端设备在所述接收端设备的显示画面上的投屏区域；

在本实施例中，投屏区域具体指的是投屏区域四个角落所处的坐标范围，比如，以显示画面左下角为原点的坐标系中，投屏区域的坐标范围为（1，1），（3，1），（1，3），（3，3）四个坐标点围成的范围，点击事件的第一坐标位置为（2，2）。

105、计算所述第一坐标位置在所述投屏区域对应的第二坐标位置；

在本实施例中，先建立投屏区域的坐标系，之后将第一坐标位置的坐标转换为投屏区域的坐标系中对应的第二坐标位置。此时，基于投屏区域的坐标系，点击事件对应的第二坐标位置为（1，1）。

106、根据所述投屏区域与所述发送端设备的显示画面之间的尺寸比例，计算得到所述第二坐标位置在所述发送端设备的显示画面上对应的第三坐标位置；

在本实施例中，根据发送端设备显示画面的长与投屏区域的长的比值，以及发送端设备显示画面的宽与投屏区域的宽的比值计算得到第二坐标位置对应在发送端设备的显示画面上的第三坐标位置。

107、生成所述第三坐标位置的点击指令，控制所述发送端设备执行所述点击指令对应的操作。

在本实施例中，生成所述第三坐标位置的点击指令，点击第三坐标位置对应的虚拟按钮，发送端设备查找虚拟按钮对应的功能并执行。

简单来说，本发明技术方案首先获取的点击位置P₀（X₀，Y₀）是基于接收端设备的显示画面，之后计算P₀在投屏区域（显示画面中的子画面）的坐标位置P₁（X₁，Y₁），再之后在根据投屏区域与发送端设备的显示画面之间的尺寸比例关系计算得到点击位置对应在发送端设备上的位置P₂（X₂，Y₂）。从而在接收端设备上实现对单个发送端设备的精准反控，本发明技术方案拓展了现有投屏技术的功能。

在本发明第一方面的一种可选的实现方式中，所述步骤100、监听接收端设备的显示画面上的点击事件之前包括：

建立多个发送端设备与接收端设备之间的投屏连接；

在本实施例中，预先在多个发送端设备和接收端设备安装投屏应用，建立投屏连接时，开启发送端设备和接收端设备中的投屏应用，发送端设备搜索附近的接收端设备，搜索到后点击接收端设备的标识与接收端设备建立连接。

在本实施例中，接收端设备的显示画面被分成了多干的投屏区域（子显示画面），每个投屏区域的大小和形状不相同，投屏过程中，优先级别最高的接收端设备先占用投屏区域中面积最大的一个，依次类推，优先级别的设置可以通过收集日常发送端投屏的次数来决定，发送端设备日常投屏次数越多，优先级别越高。当然，在另一种实施方式中，也可以按照和接收端设备投屏连接的顺序分配接收端设备的显示画面在哪个投屏区域中。

在本实施例中，一方面，接收端设备的屏幕分辨率和发送端设备的屏幕分辨率可能不相同，以及视频分辨率可能与发送端设备的屏幕不匹配，所以后续还需要对投屏区域的发送端设备的显示画面进行调整。

在本发明第一方面的一种可选的实现方式中，所述建立多个发送端设备与接收端设备之间的投屏连接包括：

在本实施例中，将多个发送端设备和接收端设备连接到同一WIFI网络中，这样开启投屏软件之后，发送端设备可以快速的搜索到接收端设备，提高投屏连接速度。

在本实施例中，发送端设备和接收端设备之间通过不同的投屏数据传输通道（WIFI信道）进行数据传输，这样一方面可以提高投屏数据传输效率，另一方面还能避免不同发送端设备数据之间的干扰，提高接收端设备反控的稳定性。

在本发明第一方面的一种可选的实现方式中，所述对投屏到所述投屏区域后的所述发送端设备的显示画面进行调整和渲染包括：

获取所述投屏区域的大小；

在本实施例中，基于投屏区域的大小对发送端设备的显示画面进行调整的主要目的是使发送端设备的显示画面能够完全在投屏区域的大小的范围内显示以及使发送端设备的显示画面与投屏区域的屏幕分辨率匹配。

调用所述接收端设备的线程池中的多个线程；

在本实施例中，接收端设备中预先设置有专门用于显示画面渲染的线程池，线程池内的线程根据实际需求进行设置，在一种情况中，线程的数量为最高能够连接的接收端设备数量的两倍，此时，每一个显示画面也可以通过2个线程来进行渲染，进一步提高渲染的效率。

在本实施例中，在多投一情况下，接收端设备能够会同时渲染多路显示画面（图片或视频），在一种情况下，本发明技术方案中投屏区域的布局，包括大小、位置、层级都是可以随意变动的，以满足不同场景下的投屏需求。

在本发明第一方面的一种可选的实现方式中，所述将多个所述发送端设备的显示画面分别投屏到所述接收端设备的显示画面的多个投屏区域中包括：

在本实施例中，发送端设备的类型指的是根据发送端设备的屏幕形状进行的分类，也就是说本发明技术方案投屏时，显示画面在发送端设备上是什么形状在接收端设备上也是什么形状，从而提高用户体验。

在本实施例中，投屏区域可以通过对话框的形式设置在接收端设备的显示画面上，每个对话框包括任务栏和显示框，这样本发明技术方案投屏区域可以灵活的调整控制接收端设备的显示画面上投屏区域的数量，进一步提高投屏的用户体验。

在本发明第一方面的一种可选的实现方式中，所述根据多个所述发送端设备的类型将所述接收端设备的显示画面分成多个不同的投屏区域包括：

在本实施例中，手机的投屏区域竖向显示，电脑的投屏区域横向显示，具有更加的投屏效果，反控时也可以具有与发送端设备相同的控制体验。

在本发明第一方面的一种可选的实现方式中，所述点击事件包括所述接收端设备的触摸屏上的触摸事件，所述接收端设备连接的鼠标的点击事件，以及所述接收端设备连接的键盘的点击事件。

上面对本发明实施例中多端投屏的反向控制方法进行了描述，下面对本发明实施例中多端投屏的反向控制装置进行描述，请参阅图2，本发明实施例中多端投屏的反向控制装置一个实施例包括：

监听模块10，用于监听接收端设备的显示画面上的点击事件；

第一获取模块20，用于获取所述点击事件在所述接收端设备的显示画面上的第一坐标位置，以及用于根据所述第一坐标位置确定所述点击事件对应的发送端设备；

第二获取模块30，用于获取所述发送端设备在所述接收端设备的显示画面上的投屏区域；

第一计算模块40，用于计算所述第一坐标位置在所述投屏区域对应的第二坐标位置；

第二计算模块50，用于根据所述投屏区域与所述发送端设备的显示画面之间的比例，计算得到所述第二坐标位置在所述发送端设备的显示画面上对应的第三坐标位置；

控制模块60，用于生成所述第三坐标位置的点击指令，控制所述发送端设备执行所述点击指令对应的操作。

在本发明一种可选的实施例中，所述反向控制装置还包括：

连接模块，用于建立多个发送端设备与接收端设备之间的投屏连接；

投屏模块，用于将多个所述发送端设备的显示画面分别投屏到所述接收端设备的显示画面的多个投屏区域中；

调整模块，用于对投屏到所述投屏区域后的所述发送端设备的显示画面进行调整和渲染。

在本发明一种可选的实施例中，所述连接模块包括：

局域网单元，用于将多个所述发送端设备和所述接收端设备置于同一局域网环境中；

传输单元，用于建立多个所述发送端设备和所述接收端设备的通信连接，并为每个所述发送端设备分配不同的投屏数据传输通道。

在本发明一种可选的实施例中，所述调整模块包括：

获取单元，用于获取所述投屏区域的大小；

调整单元，用于基于所述投屏区域的大小对所述发送端设备的显示画面进行调整；

调用单元，用于调用所述接收端设备的线程池中的多个线程；

渲染单元，用于通过所述多个线程对多个所述发送端设备的显示画面进行同时渲染，以使所述发送端设备的显示画面适配所述投屏区域。

在本发明一种可选的实施例中，所述投屏模块包括：

划分单元，用于根据多个所述发送端设备的类型将所述接收端设备的显示画面分成多个不同的投屏区域；

投屏单元，用于将多个不同类型的所述发送端设备的显示画面分别投屏到对应的投屏区域中。

在本发明一种可选的实施例中，所述划分单元还用于若所述发送端设备为手机，则将所述发送端设备对应在所述接收端设备的显示画面上的投屏区域设置成竖长方形；

在本发明一种可选的实施例中，所述点击事件包括所述接收端设备的触摸屏上的触摸事件，所述接收端设备连接的鼠标的点击事件，以及所述接收端设备连接的键盘的点击事件。

上面从模块化功能实体的角度对本发明实施例中的多端投屏的反向控制装置进行详细描述，下面从硬件处理的角度对本发明实施例中多端投屏的反向控制设备进行详细描述。

图3是本发明实施例提供的一种多端投屏的反向控制设备的结构示意图，该多端投屏的反向控制设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）70（例如，一个或一个以上处理器）和存储器80，一个或一个以上存储应用程序或数据的存储介质90（例如一个或一个以上海量存储设备）。其中，存储器和存储介质可以是短暂存储或持久存储。存储在存储介质的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对多端投屏的反向控制设备中的一系列指令操作。更进一步地，处理器可以设置为与存储介质通信，在多端投屏的反向控制设备上执行存储介质中的一系列指令操作。

多端投屏的反向控制设备还可以包括一个或一个以上电源100，一个或一个以上有线或无线网络接口110，一个或一个以上输入输出接口120，和/或，一个或一个以上操作系统，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图3示出的多端投屏的反向控制设备结构并不构成对多端投屏的反向控制设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述多端投屏的反向控制方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统或装置、单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种多端投屏的反向控制方法，其特征在于，所述反向控制方法包括：

监听接收端设备的显示画面上的点击事件；

生成所述第三坐标位置的点击指令，控制所述发送端设备执行所述点击指令对应的操作；

所述监听接收端设备的显示画面上的点击事件之前包括：

建立多个发送端设备与接收端设备之间的投屏连接；

对投屏到所述投屏区域后的所述发送端设备的显示画面进行调整和渲染；

多个发送端设备投屏完成之后，在接收端设备中保存有每个发送端设备投屏区域的坐标范围；

投屏区域通过对话框的形式设置在接收端设备的显示画面上；

所述建立多个发送端设备与接收端设备之间的投屏连接包括：

建立多个所述发送端设备和所述接收端设备的通信连接，并为每个所述发送端设备分配不同的投屏数据传输通道；

所述对投屏到所述投屏区域后的所述发送端设备的显示画面进行调整和渲染包括：

获取所述投屏区域的大小；

调用所述接收端设备的线程池中的多个线程；

通过所述多个线程对多个所述发送端设备的显示画面进行同时渲染，以使所述发送端设备的显示画面适配所述投屏区域；

接收端设备中预先设置有专门用于显示画面渲染的线程池，线程的数量为最高能够连接的接收端设备数量的两倍；

所述将多个所述发送端设备的显示画面分别投屏到所述接收端设备的显示画面的多个投屏区域中包括：

将多个不同类型的所述发送端设备的显示画面分别投屏到对应的投屏区域中；

所述根据多个所述发送端设备的类型将所述接收端设备的显示画面分成多个不同的投屏区域包括：

若所述发送端设备为电脑，则将所述发送端设备对应在所述接收端设备的显示画面上的投屏区域设置成横长方形；

所述点击事件包括所述接收端设备的触摸屏上的触摸事件，所述接收端设备连接的鼠标的点击事件，以及所述接收端设备连接的键盘的点击事件。

2.一种多端投屏的反向控制装置，其特征在于，所述反向控制装置包括：

监听模块，用于监听接收端设备的显示画面上的点击事件；

控制模块，用于生成所述第三坐标位置的点击指令，控制所述发送端设备执行所述点击指令对应的操作；

所述反向控制装置还包括：

调整模块，用于对投屏到所述投屏区域后的所述发送端设备的显示画面进行调整和渲染；

所述连接模块包括：

传输单元，用于建立多个所述发送端设备和所述接收端设备的通信连接，并为每个所述发送端设备分配不同的投屏数据传输通道；

所述调整模块包括：

获取单元，用于获取所述投屏区域的大小；

渲染单元，用于通过所述多个线程对多个所述发送端设备的显示画面进行同时渲染，以使所述发送端设备的显示画面适配所述投屏区域；

所述投屏模块包括：

投屏单元，用于将多个不同类型的所述发送端设备的显示画面分别投屏到对应的投屏区域中；

所述划分单元还用于若所述发送端设备为手机，则将所述发送端设备对应在所述接收端设备的显示画面上的投屏区域设置成竖长方形；

3.一种多端投屏的反向控制设备，其特征在于，所述多端投屏的反向控制设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；

所述至少一个处理器调用所述存储器中的所述指令，以使得所述多端投屏的反向控制设备执行如权利要求1所述的多端投屏的反向控制方法。

4.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1所述的多端投屏的反向控制方法。