CN114461124B - 投屏控制方法、装置、投屏器及计算机可读存储介质 - Google Patents
投屏控制方法、装置、投屏器及计算机可读存储介质 Download PDFInfo
- Publication number
- CN114461124B CN114461124B CN202210114220.1A CN202210114220A CN114461124B CN 114461124 B CN114461124 B CN 114461124B CN 202210114220 A CN202210114220 A CN 202210114220A CN 114461124 B CN114461124 B CN 114461124B
- Authority
- CN
- China
- Prior art keywords
- control
- screen projection
- image frame
- screen
- electronic equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种投屏控制方法、装置、投屏器及计算机可读存储介质，投屏控制方法包括：接收第一电子设备发送的投屏数据，其中，投屏数据包括至少一个图像帧，图像帧包括投屏画面和独立于投屏画面的UI控件；将图像帧中的UI控件显示于第二电子设备的第一预设显示区域；若接收到在UI控件上的操控指令，则获取与UI控件对应的反控指令，并将反控指令发送至第一电子设备，以对第一电子设备进行反向控制。本发明能实现对移动设备进行多个应用界面的定制操控，进而提高了用户的便利性。
Description
技术领域
本发明涉及投屏技术领域，尤其涉及一种投屏控制方法、装置、投屏器及计算机可读存储介质。
背景技术
当今，科技迅速发展，智能电视和智能手机几乎是每个家庭的标配，而且随着视频内容的大爆炸式发展和人们对用户体验要求的逐步升级，投屏、镜像等多屏互动的方法是一个跨设备的理想方式，并且已经被广泛接受，而且使用时长和频次在快速增加。但是当前投屏和镜像，所有的控制都在移动设备端(手机或平板等)实现，当移动设备内容投屏或者镜像到显示设备(例如电视或显示器)上时，无法使用显示设备的控制指令对移动设备进行反控，导致用户在移动端和大屏端之间频繁切换视线焦点，操作不便的同时，也造成用户体验的下降。为了解决该问题，在一种技术方案中，通过遥控器发送遥控指令至显示设备，显示设备确定该遥控指令对应的键值，从预存的键值映射功能表中，将该键值映射为对移动设备进行反控的反控指令，并将该反控指令发送至该移动设备，以对该移动设备进行反向控制。但是由于移动设备中的不同应用界面，用于交互的UI控件往往不同，因此移动设备上的UI(User Interface，用户界面)控件特别多，而遥控器上的控制按钮非常有限，如果只是通过将遥控器上各控制按钮对应的键值，映射为对移动设备进行控制的反控指令，对移动设备进行反控，可实现的功能操作比较少，因此，如何对移动设备进行多个应用界面的定制操控，以提高用户便利性，已成为亟待解决的技术问题。
上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种投屏控制方法、装置、投屏器及计算机可读存储介质，旨在解决投屏时显示终端无法对移动设备进行多个应用界面的定制操控，导致用户便利性较差的技术问题。
为实现上述目的，本发明提供一种投屏控制方法，所述投屏控制方法包括以下步骤：
接收第一电子设备发送的投屏数据，其中，所述投屏数据包括至少一个图像帧，所述图像帧包括投屏画面和独立于所述投屏画面的UI控件；
将所述图像帧中的UI控件显示于所述第二电子设备的第一预设显示区域；
若接收到在所述UI控件上的操控指令，则获取与所述UI控件对应的反控指令，并将所述反控指令发送至所述第一电子设备，以对所述第一电子设备进行反向控制。
可选地，所述将所述图像帧中的UI控件显示于所述第二电子设备的第一预设显示区域的步骤包括：
若所述图像帧中的UI控件为多个，则将多个所述UI控件显示于所述第二电子设备的第一预设显示区域的不同位置。
可选地，所述获取所述UI控件对应的反控指令的步骤包括：
当接收到所述UI控件上的预设操作时，获取所述预设操作的位置信息；
根据所述位置信息确定所述UI控件对应的反控指令。
可选地，所述获取所述UI控件对应的反控指令的步骤包括：
接收遥控器发送的操控指令，确定所述操控指令对应的键值；
根据所述键值的序号，触发所述序号对应UI控件的反控指令。
可选地，所述投屏控制方法还包括：
将所述图像帧显示于第二电子设备的第二预设显示区域，其中，第一预设显示区域和第二预设显示区域的位置不重叠。
可选地，所述将所述图像帧中的UI控件显示于所述第二电子设备的第一预设显示区域的步骤之前，包括：
识别所述图像帧中的UI控件。
可选地，所述识别所述图像帧中的UI控件的步骤包括:
获取所述图像帧中的控件标识；
将所述控件标识对应的UI控件，作为所述图像帧中的UI控件。
此外，为实现上述目的，本发明还提供一种投屏控制装置，所述投屏控制装置包括：
接收模块，用于接收第一电子设备发送的投屏数据，其中，所述投屏数据包括至少一个图像帧，所述图像帧包括投屏画面和独立于所述投屏画面的UI控件；
显示模块，用于将所述图像帧中的UI控件显示于所述第二电子设备的第一预设显示区域；
反控模块，用于若接收到在所述UI控件上的操控指令，则获取与所述UI控件对应的反控指令，并将所述反控指令发送至所述第一电子设备，以对所述第一电子设备进行反向控制。
此外，为实现上述目的，本发明还提供一种投屏器，所述投屏器包括：投屏发射器及投屏接收器，所述投屏发射器用于连接第一电子设备，所述投屏接收器用于连接第二电子设备，所述投屏发射器与所述投屏接收器通过无线网络或协议进行数据传输；所述投屏接收器和/或投屏发射器还包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的投屏控制程序，所述投屏控制程序被处理器执行时实现如上所述的投屏控制方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有投屏控制程序，所述投屏控制程序被处理器执行时实现如上述的投屏控制方法的步骤。
由于第一电子设备中的不同应用界面，用于交互的UI(User Interface，用户界面)控件往往不同。需要说明的是，不同的应用界面既可以指不同APP(Application，应用程序)的不同界面，也可以指相同APP的不同界面。例如，在微信应用的登录界面包括登录控件和注册控件等UI控件，微信应用登录进入后的主页面包括“通讯录”控件和“发现”控件等UI控件，支付宝应用登录进入后的主页面包括“扫一扫”控件和“收付款”控件等UI控件。容易理解的是，第一电子设备中的不同应用界面投屏至第二电子设备时，表现为不同的图像帧。因此，本发明通过在接收第一电子设备(即移动设备)发送的投屏数据，将该图像帧中的UI控件显示于所述第二电子设备(即显示设备)的第一预设显示区域，若接收到在UI控件上的操控指令，则获取与该UI控件对应的反控指令，并将该反控指令发送至第一电子设备，从而实现将不同时刻播放的各图像帧中的UI控件，依次分时同步显示于第一预设显示区域，然后基于遥控器对该第一预设显示区域的UI控件的操控指令，触发该UI控件对应的反控指令，并将该反控指令发送给第一电子设备，达到对第一电子设备进行反控的目的。也就是说，本发明基于控件元素显示方式，将不同时刻播放的各图像帧的UI控件，对应分时同步显示于第一预设显示区域，从而可在不同时刻对当前播放图像帧中的UI控件输入操控指令，实现对第一电子设备进行多个应用界面的定制操控，进而使得对第一电子设备进行的功能操作不会受限于遥控器上控制按钮的数量，提高了用户便利性，克服了投屏时显示设备无法对移动设备进行多个应用界面的定制操控，导致用户便利性较差的技术问题。
附图说明
图1为本发明投屏控制方法一实施例的投屏连接场景示意图；
图2是本发明实施例方案涉及的硬件运行环境的终端结构示意图；
图3为本申请投屏控制方法第一实施例的流程示意图；
图4是本申请实施例涉及图像帧投屏时的界面显示示意图；
图5为本发明投屏控制装置的装置模块示意图。
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的投屏连接场景示意图。
如图1所示，投屏器包括：投屏发射器及投屏接收器，其中，第一电子设备可以是个人电脑，也可以是智能手机、平板电脑、电子书阅读器、便携计算机等可移动式终端设备，第二电子设备可以是电视，也可以是显示器，投影仪等具有显示功能的显示设备。
在一些实施例中，第一电子设备通过有线或无线网络连接投屏发射器或投屏接收器进行数据传输与交互；投屏发射器通过无线网络连接投屏接收器进行数据传输与交互，或者投屏发射器通过无线网络连接第二电子设备进行数据传输与交互；投屏接收器通过有线或无线网络连接第二电子设备进行数据传输与交互。在一可选实现方式中，投屏接收器与第二电子设备之间以及投屏发射器与第一电子设备之间的有线连接方式，可以包括基于HDMI(High Definition Multimedia Interface，高清多媒体接口)、USB(UniversalSerial Bus，通用串行总线)、DP(DisplayPort，显示接口)和VGA(Video Graphics Array，视频图形阵列)等有线连接。第一电子设备与投屏发射器和投屏接收器之间、第二电子设备与投屏发射器和投屏接收器之间的无线通信方式，可以包括蓝牙(Bluetooth)、无线宽带(Wi-Fi)、红外通讯等无线通信。
所以，第一电子设备、投屏发射器、投屏接收器和第二电子设备之间实现投屏时可能的连接方式至少包括：
(1)投屏发射器与投屏接收器连接，第一电子设备画面经过投屏发射器、投屏接收器最终投屏到第二电子设备；
(2)投屏发射器与第二电子设备无线连接，第一电子设备画面经过投屏发射器投屏到第二电子设备，此时投屏发射器与第二电子设备内置的无线通信模块通过无线网络相连；
(3)第一电子设备与投屏接收器连接，第一电子设备画面经过投屏接收器投屏到第二电子设备。
参照图2，图2为本发明实施例案涉及的硬件运行环境的终端结构示意图。
如图2所示，投屏器还包括：处理器1001，例如中央处理器(Central ProcessingUnit，CPU)，通信总线1002，网络接口1003，存储器1004。其中，通信总线1002用于实现这些组件之间的连接通信。网络接口1003可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，WI-FI)接口)。存储器1004可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1004可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图2中示出的结构并不构成对运行设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图2所示，作为一种存储介质的存储器1004中可以包括操作系统、数据存储模块、网络通信模块以及投屏控制程序。
在图2所示的运行设备中，网络接口1003主要用于与其他设备进行数据通信。本发明运行设备中的处理器1001、存储器1004可以设置在运行设备中，所述运行设备通过处理器1001调用存储器1004中存储的投屏控制程序，并执行以下操作：
接收第一电子设备发送的投屏数据，其中，所述投屏数据包括至少一个图像帧，所述图像帧包括投屏画面和独立于所述投屏画面的UI控件；
将所述图像帧中的UI控件显示于所述第二电子设备的第一预设显示区域；
若接收到在所述UI控件上的操控指令，则获取与所述UI控件对应的反控指令，并将所述反控指令发送至所述第一电子设备，以对所述第一电子设备进行反向控制。
由于移动设备(手机或平板等)中的不同应用界面，用于交互的UI控件往往不同，因此移动设备上的UI控件特别多，例如移动设备为手机时，手机界面为触控设计，所以手机界面上的交互元素特别多。而遥控器上的控制按钮非常有限，如果只是通过将遥控器上各控制按钮对应的键值，映射为对移动设备上的UI控件进行反向控制的反控指令，可实现的功能操作比较少。
基于此，请参照图3，本发明提供一种投屏控制方法，在投屏控制方法的第一实施例中，所述投屏控制方法包括以下步骤：
步骤S100，接收第一电子设备发送的投屏数据，其中，所述投屏数据包括至少一个图像帧，所述图像帧包括投屏画面和独立于所述投屏画面的UI控件。
在本实施例中，第一电子设备是指包括手机、平板电脑、电子阅读器和便携计算机等移动设备。该投屏数据中包括至少一个图像帧，该图像帧包括投屏画面和独立于所述投屏画面的UI控件。当然，该投屏数据还可包括音频数据，可将投屏数据中的音频数据发送至第二电子设备与对应的图像帧一起同步播放。
步骤S200，将所述图像帧中的UI控件显示于所述第二电子设备的第一预设显示区域；
在本实施例中，第二电子设备是指包括电视、显示器和投影仪等显示设备。需要说明的是，本实施例中的投屏控制方法可应用于投屏器或第二电子设备，其中，投屏器分为具有有线和无线通信能力的投屏发射器和投屏接收器，在投屏发射器以有线或无线的方式连接手机、平板电脑等第一电子设备，或者以内置的方式存在于第一电子设备内部。在本实施例中，投屏器投屏发射器为投屏发起方的数据发送设备，对投屏器投屏发射器与投屏发起设备之间的电气连接关系不做限定。
投屏接收器同样以有线或无线的方式连接用作显示器的第二电子设备，如显示器或电视等。当投屏接收器为独立通信外设时，适用于显示器设备，当投屏接收器为电视内置的通信模块时，适用于电视设备。在本实施例中，投屏器投屏接收器为投屏受理方的数据接收设备，对投屏器投屏接收器与投屏受理设备之间的电气连接关系不做限定。
在本实施例中，第一预设显示区域可以与投屏画面属于同一显示区域，也可以属于不同显示区域。
在本实施例中，投屏至第二电子设备的图像帧为多个时，应该是基于各图像帧的播放顺序，依次将每个图像帧进行分时播放。容易理解的是，在各图像帧在分时播放的同时，各图像帧中的UI控件也应该对应同步分时显示于第二电子设备的第一预设显示区域。
步骤S300，若接收到在所述UI控件上的操控指令，则获取与所述UI控件对应的反控指令，并将所述反控指令发送至所述第一电子设备，以对所述第一电子设备进行反向控制。
在本实施例中，该操控指令是指用户操控遥控器而产生的指令。在一实施例中，用户可通过遥控器操控第一预设显示区域的操控标识，将该操控标识落点于UI控件上，并按压遥控器上的确认按键，而触发该UI控件对应的反控指令。其中，该操控标识可通过遥控器的操控在该第一预设显示区域上进行移动。该操控标识可包括十字光标、箭头标和框选标等，本实施例不作具体的限定。该反控指令代表控制第一电子设备进行对应功能操作的指令。
可以理解的是，不同的UI控件往往对应不同的反控指令。作为一种示例，该反控指令包括显示数据的上滑指令、显示数据的下滑指令、显示数据的左滑指令、显示数据的右滑指令、暂停指令、播放指令、音量增加指令和音量减少指令等。需要说明的是，以上通过对反控指令进行举例的方式，是为了助于对反控指令的理解，并不构成对反控指令的限定。
在本实施例中，由于第一电子设备中的不同应用界面，用于交互的UI(UserInterface，用户界面)控件往往不同。需要说明的是，不同的应用界面既可以指不同APP(Application，应用程序)的不同界面，也可以指相同APP的不同界面。例如，在微信应用的登录界面包括登录控件和注册控件等UI控件，微信应用登录进入后的主页面包括“通讯录”控件和“发现”控件等UI控件，支付宝应用登录进入后的主页面包括“扫一扫”控件和“收付款”控件等UI控件。容易理解的是，第一电子设备中的不同应用界面投屏至第二电子设备时，表现为不同的图像帧。因此，本实施例通过在接收第一电子设备(即移动设备)发送的投屏数据，将该图像帧中的UI控件显示于所述第二电子设备(即显示设备)的第一预设显示区域，若接收到在UI控件上的操控指令，则获取与该UI控件对应的反控指令，并将该反控指令发送至第一电子设备，从而实现将不同时刻播放的各图像帧中的UI控件，依次分时同步显示于第一预设显示区域，然后基于遥控器对该第一预设显示区域的UI控件的操控指令，触发该UI控件对应的反控指令，并将该反控指令发送给第一电子设备，达到对第一电子设备进行反控的目的。也就是说，本实施例基于控件元素显示方式，将不同时刻播放的各图像帧的UI控件，对应分时同步显示于第一预设显示区域，从而可在不同时刻对当前播放图像帧中的UI控件输入操控指令，实现对第一电子设备进行多个应用界面的定制操控，进而使得对第一电子设备进行的功能操作不会受限于遥控器上控制按钮的数量，提高了用户便利性，克服了投屏时显示设备无法对移动设备进行多个应用界面的定制操控，导致用户便利性较差的技术问题。
在一种可能的实施方式中，所述将所述图像帧中的UI控件显示于所述第二电子设备的第一预设显示区域的步骤包括：
步骤A10，若所述图像帧中的UI控件为多个，则将多个所述UI控件显示于所述第二电子设备的第一预设显示区域的不同位置。
在本实施例中，可以理解的是，由于第一电子设备的当前应用界面上可能存在多个UI控件的情况，例如淘宝应用登录进入后的主页面包括“购物车”控件、“搜索”控件和“消息”控件等，而该包含多个UI控件的应用界面作为图像帧发送至第二电子设备进行投屏时，投屏器或第二电子设备则将该图像帧中的多个UI控件显示于第二电子设备的第一预设显示区域的不同位置，从而避免多个UI控件重叠显示于该第一预设显示区域，使用户无法便捷、准确地对重叠后的UI控件进行操控。因此，本实施例通过若图像帧中的UI控件为多个，则将多个该UI控件显示于第二电子设备的第一预设显示区域的不同位置，从而使用户更便捷准确地对意图操控的UI控件输入操控指令，进而提高了用户的便利性。
在一种可能的实施方式中，所述获取所述UI控件对应的反控指令的步骤包括：
步骤B10，当接收到所述UI控件上的预设操作时，获取所述预设操作的位置信息；
步骤B20，根据所述位置信息确定所述UI控件对应的反控指令。
在本实施例中，该预设操作可包括对单击、双击、预设时长的长按等，该预设操作是指触发UI控件对应反控指令的操作，该预设操作的具体表现形式，本实施例不作具体的限定。例如用户可通过遥控器的方向键操控第一预设显示区域的操控标识，移动至UI控件，然后再通过某一指定按键的单击、某两个指定按键的单击、某一指定按键的双击或某一指定按键的预设时长的长按而完成对该UI控件的预设操作，然后便触发该UI控件对应的反控指令。
在本实施例中，该预设操作的位置信息是指预设操作的坐标位置，需要说明的是，投屏器或第二电子设备预先存储有各UI控件与坐标位置的映射关系。也就是说，显示于第一预设显示区域的UI控件均对应一个坐标位置，当投屏器或第二电子设备接收到遥控器发送的预设操作时，获取该预设操作的坐标位置，然后根据该坐标位置，可定位至该坐标位置映射的UI控件，并触发该映射的UI控件对应的反控指令。例如，若投屏器或第二电子设备接收到对UI控件上的预设操作：遥控器上的确认按键的单击，则获取单击时操控标识当前的坐标位置，根据该坐标位置确定该坐标位置映射的UI控件，并触发映射的该UI控件对应的反控指令，然后将该反控指令发送至第一电子设备，从而准确地控制第一电子设备执行用户意图需求的功能操作。本实施例通过当接收到UI控件上的预设操作时，获取该预设操作的位置信息，根据该位置信息触发该UI控件对应的反控指令，就像手机触屏或者电脑鼠标点击一样，从而更加符合用户对投屏画面的操控习惯，提高了用户通过遥控器对第一电子设备进行反控的操控体验。
在一种可能的实施方式中，所述获取所述UI控件对应的反控指令的步骤包括：
步骤C10，接收遥控器发送的操控指令，确定所述操控指令对应的键值；
步骤C20，根据所述键值的序号，触发所述序号对应UI控件的反控指令。
在本实施例中，需要说明的是，在将应用界面的UI控件显示于第二电子设备的第一预设显示区域时，会对显示于该第一预设显示区域的每个UI控件进行排序，也就是说每个UI控件上都有排序后对应的序号，例如控件1、控件2和控件3等，用户可通过按压遥控器上该序号对应键值的按键，从而触发该序号对应UI控件的反控指令，对第一电子设备进行反控。例如，若用户按压遥控器上的“频道1”按键，则触发控件1的反控指令，若用户按压遥控器上的“频道2”按键，则触发控件2的反控指令，若用户按压遥控器上的“频道3”按键，则触发控件3的反控指令。
本实施例通过键值映射UI控件的排序序号的方式，从而可通过按压遥控器该键值对应的按键，直接触发UI控件的反控指令，无需操控坐标进行每个时间步的移动，进一步提高了对第一电子设备进行反控的便捷性。
在一种可能的实施方式中，所述投屏控制方法还包括：
步骤D10，将所述图像帧显示于第二电子设备的第二预设显示区域，其中，第一预设显示区域和第二预设显示区域的位置不重叠。
在本实施例中，第一预设显示区域为预先设置于第二电子设备的显示界面中的部分显示区域，第二预设显示区域同样为预先设置于第二电子设备的显示界面中的部分显示区域，但第二预设显示区域区别于该第一预设显示区域，也就是说，第一预设显示区域和第二预设显示区域属于第二电子设备显示界面中的不同显示区域。
为了助于理解，可参照图4，在图4展示的实施例中，该第一电子设备为手机，第二电子设备为电视。在电视接收到手机的投屏数据后，将投屏数据中的手机画面(即图像帧)显示于电视的第二预设显示区域，并将手机画面中的UI控件：控件1、控件2和控件3，显示于电视的第一预设显示区域，其中，第一预设显示区域和第二预设显示区域的位置不重叠。
在本实施例中，投屏器或第二电子设备通过将图像帧中的UI控件显示第一预设显示区域，并将该图像帧显示在区别于第一显示区域的第二显示区域，然后基于对该第一显示区域的UI控件上的操控指令，触发该UI控件的反控指令，并将该反控指令发送给第一电子设备，以使第一电子设备执行该反控指令对应的功能操作。由于将移动设备所投屏的图像帧上的UI控件进行识别，并显示在区别于该图像帧的另一显示区域，使得对UI控件操控的操控标识不会遮挡投屏的该图像帧，从而不会影响用户观看第二电子设备上的投屏内容，进而提高了用户的视觉体验。
在一种可能的实施方式中，所述将所述图像帧中的UI控件显示于所述第二电子设备的第一预设显示区域的步骤之前，包括：
步骤E10，识别所述图像帧中的UI控件。
在本实施例中，在将图像帧中的UI控件显示于第二电子设备的第一预设显示区域的步骤之前，还需要先识别图像帧中的UI控件。
在一种可能的实施方式中，所述识别所述图像帧中的UI控件的步骤包括:
步骤F10，从预设的图像映射控件表中，查询得到所述图像帧映射的UI控件。
在本实施例中，该图像映射控件表可预先存储于第二电子设备或投屏器，该图像映射控件表中具有各个需要投屏的图像帧与UI控件的映射关系。
本实施例通过从预设的图像映射控件表中，查询得到当前投屏的图像帧映射的UI控件，从而准确地识别出该图像帧中的UI控件，同时识别算法简单，降低了第二电子设备或投屏器识别UI控件的运算负载。
在另一种可能的实施方式中，所述识别所述图像帧中的UI控件的步骤包括:
步骤G10，通过收敛的神经网络模型识别所述图像帧中的UI控件。
在本实施例中，该神经网络模型预先通过大量不同的图像帧进行训练，直至识别出图像帧中的UI控件的准确率达到预设比率阈值，确认收敛，停止训练，该预设比率阈值本领域技术人员可根据实际需要进行设置，本实施例不作具体的限定。在一实施例中，该预设比率阈值为98％。
本实施例通过收敛的神经网络模型识别图像帧中的UI控件，其中，所述神经网络模型预先通过大量不同的图像帧进行训练，直至识别出图像帧中的UI控件的准确率达到预设比率阈值，确认收敛，停止训练，从而准确地识别出当前投屏的图像帧对应的UI控件，同时当训练出收敛的神经网络模型后，无需将上述的对每个图像帧映射的UI控件存储至图像映射控件表中，从而降低了人工成本，提高了第二电子设备或投屏器识别UI控件的智能性。
在另一种可能的实施方式中，所述识别所述图像帧中的UI控件的步骤包括:
步骤H10，获取所述图像帧中的控件标识；
步骤H20，将所述控件标识对应的UI控件，作为所述图像帧中的UI控件。
在本实施例中，该控件标识可为用户或技术人员在后台预先对图像帧上的各UI控件进行人工批注所得。需要说明的是，该控件标识为虚拟标识，也就是说，该控件标识存储于后台程序，并不显示于用于投屏的图像帧上，从而不会造成遮挡该图像帧上的内容而影响用户观看体验。
本实施例通过获取图像帧中的控件标识，将该控件标识所标记的UI控件，作为该图像帧中的UI控件，从而准确地识别出当前投屏的图像帧中的UI控件，同时识别算法简单，降低了第二电子设备或投屏器识别UI控件的运算负载。
此外，请参照图5，本发明实施例还提供一种投屏控制装置，所述投屏控制装置包括：
接收模块10，用于接收第一电子设备发送的投屏数据，其中，所述投屏数据包括至少一个图像帧，所述图像帧包括投屏画面和独立于所述投屏画面的UI控件；
显示模块20，用于将所述图像帧中的UI控件显示于所述第二电子设备的第一预设显示区域；
反控模块30，用于若接收到在所述UI控件上的操控指令，则获取与所述UI控件对应的反控指令，并将所述反控指令发送至所述第一电子设备，以对所述第一电子设备进行反向控制。
可选地，显示模块20，还用于：
若所述图像帧中的UI控件为多个，则将多个所述UI控件显示于所述第二电子设备的第一预设显示区域的不同位置。
可选地，显示模块20，还用于：
当接收到所述UI控件上的预设操作时，获取所述预设操作的位置信息；
根据所述位置信息确定所述UI控件对应的反控指令。
可选地，反控模块30，还用于：
接收遥控器发送的操控指令，确定所述操控指令对应的键值；
根据所述键值的序号，触发所述序号对应UI控件的反控指令。
可选地，将所述图像帧显示于第二电子设备的第二预设显示区域，其中，第一预设显示区域和第二预设显示区域的位置不重叠。
可选地，显示模块20，还用于：
识别所述图像帧中的UI控件。
可选地，显示模块20，还用于：
获取所述图像帧中的控件标识；
将所述控件标识对应的UI控件，作为所述图像帧中的UI控件。
其中，投屏控制装置的各个功能模块实现的步骤可参照本发明投屏控制方法的各个实施例，此处不再赘述。
此外，本发明还提供一种投屏器，所述投屏器包括：投屏发射器及投屏接收器，所述投屏发射器用于连接第一电子设备，所述投屏接收器用于连接第二电子设备，所述投屏发射器与所述投屏接收器通过无线网络或协议进行数据传输；所述投屏接收器和/或投屏发射器还包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的投屏控制程序，所述投屏控制程序被处理器执行时实现如上所述的投屏控制方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述投屏控制方法各实施例的步骤。
本发明计算机可读存储介质具体实施方式与上述投屏控制方法各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (7)
1.一种投屏控制方法，其特征在于，所述投屏控制方法包括以下步骤：
接收第一电子设备发送的投屏数据，其中，所述投屏数据包括至少一个图像帧，所述图像帧包括投屏画面和独立于所述投屏画面的UI控件；
将所述图像帧中的UI控件显示于第二电子设备的第一预设显示区域；
若接收到在所述UI控件上的操控指令，则获取与所述UI控件对应的反控指令，并将所述反控指令发送至所述第一电子设备，以对所述第一电子设备进行反向控制；
其中，所述获取与所述UI控件对应的反控指令的步骤包括：
接收遥控器发送的操控指令，确定所述操控指令对应的键值；
根据所述键值的序号，触发所述序号对应UI控件的反控指令；
所述将所述图像帧中的UI控件显示于所述第二电子设备的第一预设显示区域的步骤之前，包括：
识别所述图像帧中的UI控件；
其中，所述识别所述图像帧中的UI控件的步骤包括:
获取所述图像帧中的控件标识；
将所述控件标识对应的UI控件，作为所述图像帧中的UI控件。
2.如权利要求1所述的投屏控制方法，其特征在于，所述将所述图像帧中的UI控件显示于所述第二电子设备的第一预设显示区域的步骤包括：
若所述图像帧中的UI控件为多个，则将多个所述UI控件显示于所述第二电子设备的第一预设显示区域的不同位置。
3.如权利要求2所述的投屏控制方法，其特征在于，所述获取所述UI控件对应的反控指令的步骤包括：
当接收到所述UI控件上的预设操作时，获取所述预设操作的位置信息；
根据所述位置信息确定所述UI控件对应的反控指令。
4.如权利要求1所述的投屏控制方法，其特征在于，所述投屏控制方法还包括：
将所述图像帧显示于第二电子设备的第二预设显示区域，其中，第一预设显示区域和第二预设显示区域的位置不重叠。
5.一种投屏控制装置，其特征在于，所述投屏控制装置包括：
接收模块，用于接收第一电子设备发送的投屏数据，其中，所述投屏数据包括至少一个图像帧，所述图像帧包括投屏画面和独立于所述投屏画面的UI控件；
显示模块，用于将所述图像帧中的UI控件显示于第二电子设备的第一预设显示区域；
反控模块，用于若接收到在所述UI控件上的操控指令，则获取与所述UI控件对应的反控指令，并将所述反控指令发送至所述第一电子设备，以对所述第一电子设备进行反向控制；
所述反控模块，还用于接收遥控器发送的操控指令，确定所述操控指令对应的键值；根据所述键值的序号，触发所述序号对应UI控件的反控指令；
所述显示模块，还用于识别所述图像帧中的UI控件；
所述显示模块，还用于获取所述图像帧中的控件标识；将所述控件标识对应的UI控件，作为所述图像帧中的UI控件。
6.一种投屏器，其特征在于，所述投屏器包括：投屏发射器及投屏接收器，所述投屏发射器用于连接第一电子设备，所述投屏接收器用于连接第二电子设备，所述投屏发射器与所述投屏接收器通过无线网络或协议进行数据传输；所述投屏接收器和/或投屏发射器还包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的投屏控制程序，所述投屏控制程序被处理器执行时实现如权利要求1至4中任一项所述的投屏控制方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有投屏控制程序，所述投屏控制程序被处理器执行时实现如权利要求1至4中任一项所述的投屏控制方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210114220.1A CN114461124B (zh) | 2022-01-30 | 2022-01-30 | 投屏控制方法、装置、投屏器及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210114220.1A CN114461124B (zh) | 2022-01-30 | 2022-01-30 | 投屏控制方法、装置、投屏器及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114461124A CN114461124A (zh) | 2022-05-10 |
| CN114461124B true CN114461124B (zh) | 2023-03-21 |
Family
ID=81412110
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210114220.1A Active CN114461124B (zh) | 2022-01-30 | 2022-01-30 | 投屏控制方法、装置、投屏器及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114461124B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116156234A (zh) * | 2022-12-19 | 2023-05-23 | 深圳创维－Rgb电子有限公司 | 基于无线投屏的反向控制方法、装置及无线投屏系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110381195A (zh) * | 2019-06-05 | 2019-10-25 | 华为技术有限公司 | 一种投屏显示方法及电子设备 |
| CN112667181A (zh) * | 2020-12-31 | 2021-04-16 | 努比亚技术有限公司 | 投屏方法及投屏设备、投屏控制系统、存储介质 |
| CN113986167A (zh) * | 2021-10-12 | 2022-01-28 | 深圳Tcl新技术有限公司 | 投屏控制方法、装置、存储介质及显示设备 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107071551B (zh) * | 2017-04-26 | 2020-07-24 | 四川长虹电器股份有限公司 | 应用于智能电视系统中的多屏互动屏幕响应方法 |
| CN110046085B (zh) * | 2018-12-03 | 2022-12-13 | 创新先进技术有限公司 | 识别终端设备上显示的应用程序控件的方法及装置 |
| CN110377250B (zh) * | 2019-06-05 | 2021-07-16 | 华为技术有限公司 | 一种投屏场景下的触控方法及电子设备 |
| CN110780789B (zh) * | 2019-10-25 | 2023-01-06 | 腾讯科技（深圳）有限公司 | 游戏应用启动方法和装置、存储介质及电子装置 |
| CN111858331A (zh) * | 2020-07-16 | 2020-10-30 | 安徽听见科技有限公司 | 前端控件覆盖度检测方法、装置以及设备 |
| CN112631535A (zh) * | 2020-12-22 | 2021-04-09 | 努比亚技术有限公司 | 一种投屏反向控制方法及装置、移动终端、存储介质 |
| CN113050860B (zh) * | 2021-04-27 | 2022-08-02 | 腾讯科技（深圳）有限公司 | 一种控件识别方法和相关装置 |
| CN113849415A (zh) * | 2021-10-18 | 2021-12-28 | 东软集团股份有限公司 | 控件测试方法、装置、存储介质及电子设备 |
| CN113952710A (zh) * | 2021-10-18 | 2022-01-21 | 网易（杭州）网络有限公司 | 投屏游戏的控制方法、装置、电子设备及存储介质 |
-
2022
- 2022-01-30 CN CN202210114220.1A patent/CN114461124B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110381195A (zh) * | 2019-06-05 | 2019-10-25 | 华为技术有限公司 | 一种投屏显示方法及电子设备 |
| CN112667181A (zh) * | 2020-12-31 | 2021-04-16 | 努比亚技术有限公司 | 投屏方法及投屏设备、投屏控制系统、存储介质 |
| CN113986167A (zh) * | 2021-10-12 | 2022-01-28 | 深圳Tcl新技术有限公司 | 投屏控制方法、装置、存储介质及显示设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114461124A (zh) | 2022-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020244266A1 (zh) | 智能电视的远程控制方法、移动终端和智能电视 | |
| EP1858238A2 (en) | Display method and system for portable device using external display device | |
| CN110996175A (zh) | 控制电视横竖屏操作的方法、装置和存储介质 | |
| CN112911190A (zh) | 一种远程协助的方法、电子设备和系统 | |
| JP2004264769A (ja) | 情報処理装置およびプログラム | |
| CN108958569B (zh) | 智能电视的控制方法、装置、系统、终端及智能电视 | |
| JP2005065118A (ja) | リモコン機能付き携帯端末及びリモコンサーバ | |
| JP6289758B2 (ja) | 制御プログラムダウンロード方法、装置、プログラム及び記録媒体 | |
| US20180035170A1 (en) | Method and device for controlling playing state | |
| TW200807246A (en) | A two-way data transmission system and method, a display device and a microcomputer | |
| CN114461124B (zh) | 投屏控制方法、装置、投屏器及计算机可读存储介质 | |
| CN104768055B (zh) | 显示设备、移动设备、系统及其连接的设置控制方法 | |
| CN112073770A (zh) | 显示设备及视频通讯数据处理方法 | |
| US20240095049A1 (en) | Control Method, Electronic Device, and Non-Transitory Readable Storage Medium | |
| CN110941340A (zh) | 分屏显示方法和终端设备 | |
| US9525905B2 (en) | Mapping visual display screen to portable touch screen | |
| US20140215347A1 (en) | Portable device and control method thereof | |
| WO2020000975A1 (zh) | 视频拍摄方法、客户端、终端及介质 | |
| CN114461123A (zh) | 投屏控制方法、装置、投屏器及计算机可读存储介质 | |
| CN111010528A (zh) | 视频通话方法、移动终端及计算机可读存储介质 | |
| CN114466239B (zh) | 投屏控制方法、装置、投屏器及计算机可读存储介质 | |
| CN114911404A (zh) | 界面控制方法、控制系统、电子设备及存储介质 | |
| CN112316410A (zh) | 基于电视游戏的控制方法、系统、设备及可读存储介质 | |
| CN110692036B (zh) | 演示服务器、数据中继方法和用于生成虚拟指针的方法 | |
| KR20110004203A (ko) | 원격 제어 장치 및 원격 제어 장치에 대한 사용자 인터페이스 제공 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |