CN109857321A - 基于屏幕投影的操作方法、移动终端、可读存储介质 - Google Patents

Abstract

本发明公开了一种基于屏幕投影的操作方法，应用于移动终端，包括：对当前显示界面执行投影操作，并确定投影所在的目标界面；针对预设图像采集周期，获取所述目标界面所在区域的图像；获取所述图像中目标物体的移动轨迹；基于所述移动轨迹，确定所述目标物体所对应的操作指令；执行所述操作指令。另外，本发明还提供了一种终端设备及一种可读存储介质，应用本发明实施例，能够通过屏幕投影显示映射到目标界面上以后，通过对目标界面的操作实现操作指令反馈到移动终端，实现可以脱离屏幕操作。

Description

基于屏幕投影的操作方法、移动终端、可读存储介质

技术领域

本发明涉及移动终端的基于屏幕投影的操作技术领域，尤其涉及一种基于屏幕投影的操作、移动终端、可读存储介质。

背景技术

移动终端或者叫移动通信终端是指可以在移动中使用的计算机设备，广义的讲包括手机、笔记本、POS机甚至包括车载电脑。现有的移动终端，有些增加了投影功能，例如手机。

现有技术中，例如增加了投影功能的手机，用户在手机端进行操作，以改变投影的结果。当用户站在投影的界面进行讲解等操作时，如果想要调整当前的显示界面，还要再转而去操作手机的显示界面以实现对当前显示界面的调整，由此可见，会造成不便于操作的问题。

发明内容

本发明的主要目的在于提出一种基于屏幕投影的操作、移动终端、可读存储介质，旨在通过屏幕投影显示映射到目标界面上以后，通过对目标界面的操作实现操作指令反馈到移动终端，实现可以脱离屏幕操作。

为实现上述目的，本发明提出一种基于屏幕投影的操作，应用于移动终端，包括：

对当前显示界面执行投影操作，并确定投影所在的目标界面；

针对预设图像采集周期，获取所述目标界面所在区域的图像；

获取所述图像中目标物体的移动轨迹；

基于所述移动轨迹，确定所述目标物体所对应的操作指令；

执行所述操作指令。

一种优选实施方式中，在所述当前显示界面为所述移动终端的第一分屏时，所述方法还包括：

基于所述操作指令的执行结果，刷新所述移动终端的分屏；

在所述分屏为第一分屏时，将所述第一分屏的当前显示界面进行投影。

一种优选实施方式中，所述基于所述操作指令的执行结果，刷新所述移动终端的分屏的步骤，包括：

确定所述操作指令所对应的应用程序；

判断当前分屏显示中是否存在第二分屏，其中，所述第二分屏为当前运行所述应用程序的分屏；

如果存在，基于所述操作指令的执行结果，刷新所确定的第二分屏。

一种优选实施方式中，在所述第二分屏的个数为多个的情况下，所述方法还包括：

判断所述第二分屏中是否存在第三分屏，其中，所述第三分屏为当前显示界面显示有所述应用程序对应内容；

如果是，基于所述操作指令的执行结果，刷新所确定的第三分屏。

一种优选实施方式中，在判断当前分屏显示中不存在第二分屏的情况下，所述方法还包括：

基于所述操作指令的执行结果，刷新预设分屏。

一种优选实施方式中，所述获取所述图像中目标物体的移动轨迹的步骤，包括：

确定所述移动轨迹与所述目标界面的距离；

判断所述距离是否不大于预设距离；

如果是，基于人体识别，获取人体目标部位的所在的移动轨迹。

一种优选实施方式中，所述基于所述移动轨迹，确定所述目标物体所对应的操作指令的步骤，包括：

判断所述移动轨迹对应的应用图标是否为多个；

如果是，确定所述移动轨迹的移动方向是否一致；

如果所述移动轨迹的移动方向一致，确定所述目标物体所对应的操作指令为滑动指令。

一种优选实施方式中，所述方法还包括：

在判断所述移动轨迹对应的应用图标为一个的情况下，确定所述移动轨迹的触发时间；

确定所述应用图标对应的应用程序；

基于所述触发时间确定针对所述应用程序的操作指令。

此外，本发明实施例还公开了一种移动终端，所述移动终端包括处理器、以及通过通信总线与处理器连接的存储器；其中，

所述存储器，用于存储基于屏幕投影的操作程序；

所述处理器，用于执行所述基于屏幕投影的操作程序，以实现以下步骤：

对当前显示界面执行投影操作，并确定投影所在的目标界面；

针对预设图像采集周期，获取所述目标界面所在区域的图像；

获取所述图像中目标物体的移动轨迹；

基于所述移动轨迹，确定所述目标物体所对应的操作指令；

执行所述操作指令；

以及任一项所述的基于屏幕投影的操作的步骤。

以及，公开了一种可读存储介质，所述可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以使所述一个或者多个处理器执行任一项所述的基于屏幕投影的操作的步骤。

因此，相较于现有技术，本发明所提出的一种基于屏幕投影的操作、移动终端及可读存储介质，通过对当前显示界面执行投影操作，并确定投影所在的目标界面；然后针对预设图像采集周期，获取所述目标界面所在区域的图像；并通过图像处理算法获取所述图像中目标物体的移动轨迹；并通过移动轨迹，确定用户针对目标物体所发出的操作指令；并执行所述操作指令。通过本发明实施例，在对投影所在的目标界面进行操作时，能够将对应的操作指令反馈到移动终端，从而使得移动终端指令该操作指令，解决了现有技术中还需要用户返回执行移动终端进行指令的发送。因此，本发明实施例，能够通过屏幕投影显示映射到目标界面上以后，通过对目标界面的操作实现操作指令反馈到移动终端，实现可以脱离屏幕操作。

附图说明

图1为实现本发明各个实施例中一可选的移动终端的硬件结构示意图；

图2为如图1所示的移动终端的无线通信系统示意图；

图3为本发明实施例所提供的基于屏幕投影方法的操作的一可选的流程示意图；

图4为本发明实施例所提供的基于屏幕投影方法的操作一可选应用场景示意图；

图5为本发明实施例所提供的基于屏幕投影方法的操作的另一可选应用场景示意图。

附图标记：

本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant，PDA)、便捷式媒体播放器(Portable Media Player，PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端，以及诸如数字TV、台式计算机等固定终端。

后续描述中将以移动终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

请参阅图1，其为实现本发明各个实施例的一种移动终端的硬件结构示意图，该移动终端100可以包括：RF(Radio Frequency，射频)单元101、WiFi模块102、音频输出单元103、A/V(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解，图1中示出的移动终端结构并不构成对移动终端的限定，移动终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图1对移动终端的各个部件进行具体的介绍：

射频单元101可用于收发信息或通话过程中，信号的接收和发送，具体的，将基站的下行信息接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobile communication，全球移动通讯系统)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA2000(CodeDivision Multiple Access 2000，码分多址2000)、WCDMA(Wideband Code DivisionMultiple Access,宽带码分多址)、TD-SCDMA(Time Division-Synchronous CodeDivision Multiple Access，时分同步码分多址)、FDD-LTE(Frequency DivisionDuplexing-Long Term Evolution，频分双工长期演进)和TDD-LTE(Time DivisionDuplexing-Long Term Evolution，分时双工长期演进)等。

WiFi属于短距离无线传输技术，移动终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块102，但是可以理解的是，其并不属于移动终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、信息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。

A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器(Graphics Processing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它可读存储介质)中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。

移动终端100还包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度，接近传感器可在移动终端100移动到耳边时，关闭显示面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。

用户输入单元107可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)，并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，并能接收处理器110发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。具体地，其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种，具体此处不做限定。

进一步地，触控面板1071可覆盖显示面板1061，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能，具体此处不做限定。

接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。

存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器110是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元；优选的，处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

移动终端100还可以包括给各个部件供电的电源111(比如电池)，优选的，电源111可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管图1未示出，移动终端100还可以包括蓝牙模块等，在此不再赘述。

为了便于理解本发明实施例，下面对本发明的移动终端所基于的通信网络系统进行描述。

请参阅图2，图2为本发明实施例提供的一种通信网络系统架构图，该通信网络系统为通用移动通信技术的LTE系统，该LTE系统包括依次通讯连接的UE(User Equipment，用户设备)201，E-UTRAN(Evolved UMTS Terrestrial Radio Access Network，演进式UMTS陆地无线接入网)202，EPC(Evolved Packet Core，演进式分组核心网)203和运营商的IP业务204。

具体地，UE201可以是上述终端100，此处不再赘述。

E-UTRAN202包括eNodeB2021和其它eNodeB2022等。其中，eNodeB2021可以通过回程(backhaul)(例如X2接口)与其它eNodeB2022连接，eNodeB2021连接到EPC203，eNodeB2021可以提供UE201到EPC203的接入。

EPC203可以包括MME(Mobility Management Entity，移动性管理实体)2031，HSS(Home Subscriber Server，归属用户服务器)2032，其它MME2033，SGW(Serving GateWay，服务网关)2034，PGW(PDN GateWay，分组数据网络网关)2035和PCRF(Policy and ChargingRules Function，政策和资费功能实体)2036等。其中，MME2031是处理UE201和EPC203之间信令的控制节点，提供承载和连接管理。HSS2032用于提供一些寄存器来管理诸如归属位置寄存器(图中未示)之类的功能，并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过SGW2034进行发送，PGW2035可以提供UE 201的IP地址分配以及其它功能，PCRF2036是业务数据流和IP承载资源的策略与计费控制策略决策点，它为策略与计费执行功能单元(图中未示)选择及提供可用的策略和计费控制决策。

IP业务204可以包括因特网、内联网、IMS(IP Multimedia Subsystem，IP多媒体子系统)或其它IP业务等。

虽然上述以LTE系统为例进行了介绍，但本领域技术人员应当知晓，本发明不仅仅适用于LTE系统，也可以适用于其他无线通信系统，例如GSM、CDMA2000、WCDMA、TD-SCDMA以及未来新的网络系统等，此处不做限定。

基于上述移动终端硬件结构以及通信网络系统，提出本发明方法各个实施例。

为解决现有技术问题，本发明实施例提出一种基于屏幕投影的操作方法、移动终端、以及一种存储介质，下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。

需要说明的是，投影显示是由平面图像信息控制光源，利用光学系统和投影空间把图像放大并显示在投影屏幕上的方法或装置。在我们生活中应用广泛，如教学，现在所用的基本都是投影显示。其屏幕较大，显示清晰是最大的特点，方便教学。投影显示适应了大屏幕显示的要求，特别是hdtv的要求。

而投影手机，顾名思义也就是集成了投影功能的手机。投影手机基于LCOS或DLP技术运用于微型投影并集成于手机中，以满足消费者便携性，娱乐性，实用性等要求。鉴于微型投影技术已发展数年，技术相对稳定成熟，即便手机增添了投影这个功能，外形却无明显变化。

本发明实施例提供一种基于屏幕投影的操作，应用于移动终端，图3为实现本发明实施例所提供的基于屏幕投影的操作的一可选的方法示意图，如图3所示，包括步骤如下：

S301，对当前显示界面执行投影操作，并确定投影所在的目标界面。

可以理解的是，移动终端的屏幕显示有对应的内容，例如移动终端的桌面显示、启动应用程序所对应的界面显示、播放电影等视频的界面显示、办公软件的界面显示等等。

需要说明的是，投影需要用用来显示接收投影图像的物体，本发明实施例中定义接收投影图像的物体所在的界面为目标界面。示例性的，投影图像所在的物体可以是桌子，那么目标界面为桌面；投影图像所在的物体可以是墙体，那么目标界面为墙面。

基于此，移动终端在进行投影的时候，会将当前的界面显示内容投影到物体所对应的目标界面上。

具体的，如何确定目标界面，本发明实施例通过投影的光线反射回来的路径，可以确定目标界面。或者通过图像采集，判断当前移动终端的内容所投影的物体表面，确定为目标界面。具体过程确定目标界面的过程，本发明实施例在此不做具体限定。

另外，当投影所在的界面为不规则平面时，移动终端可以设置一主体平面，该主体界面可以以投影距离来划分，离移动终端最近的界面确定为主体平面，将该主体平面作为目标界面。

S302，针对预设图像采集周期，获取所述目标界面所在区域的图像。

可以理解的是，如果需要持续获取用户是否发出操作指令，那么需要持续的进行图像采集，以便通过采集到的图像进行判断。所以本发明实施例中，设定图像采集周期，定期进行图像采集，例如采集周期为0.1s，那么每隔0.1s会通过移动终端的摄像头进行图像的采集，并对采集到的图像进行分析。

需要说明的是，移动终端的摄像头拍摄到的区域会包含除了目标界面以外的其他区域。

另外，在目标界面获取的过程中，如果出现移动终端的移动，从而造成目标界面没有采集到，会发出移动终端的提示报警。例如，设定的采集时间为2s，如果在2s内移动终端判断所采集的图像中均没有包含目标界面，那么会发出针对不包含目标界面的报警提示，以便用户进行确认移动终端产生移动或者目标界面产生移动。

另外，由于移动终端的携带方便性，随时随地可能进行投影，当在初始投影的时刻，移动终端会获得一个目标界面，如果用户在投影的过程中，例如在会议状态，可能随时调整手机的投影界面，以便向其他人进行内容展示，所以目标界面会发生变化。本发明实施例中，在原目标界面产生移动的情况下，如果能够重新确定投影物体所在的目标界面，那么会重新确定该目标界面，并继续执行目标界面所在区域的图像采集作业。以实现目标界面的自动切换，提高投影的适应性。

S303，获取所述图像中目标物体的移动轨迹。

可以理解的是，移动终端按照采集周期采集多个图像，通过连续时间内的多个图像能够获得目标物体的移动轨迹。

示例性的，目标物体为人的手指，当获取手指的移动过程是从第一应用图标到第二应用图标时，确定从第一应用图标到第二应用图标的轨迹为移动轨迹，如图4所示。

另外，可以理解的是，目标物体的移动轨迹可以直线，可以是点，可以是弧形等等。

S304，基于所述移动轨迹，确定所述目标物体所对应的操作指令。

可以理解的是，用户在对移动终端的显示界面进行滑动、点击、双击等操作时，会使得移动终端对应接收到操作指令。例如，用户在桌面进行滑动的时候，是进行桌面的滑动切换。用户手指点击应用图标的时候，启动该应用程序。

所以，基于移动轨迹以及移动轨迹在目标界面所对应的被执行区域，能够获得移动轨迹所对应的操作指令。

S305，执行所述操作指令。

另外，可以理解的是，有的移动轨迹会对应有效操作指令，有的移动轨迹会对应无效操作指令。例如，目标界面投影的是移动终端的桌面，当移动轨迹为针对移动终端的空白区域、用移动轨迹为在空白区域的点，那么对应移动终端本身在桌面空白区域的点操作是不做任何响应的，所以为无效操作指令。

又例如，移动轨迹对应的是向右前进的直线，在移动终端中代表向右滑动操作，例如向右滑动为查看下一个图像，若当前显示的是最后一个图像，那么下一个图像是不存在的，所以无法进行下一个图像的展示。若当前显示的不是一个图像，那么移动轨迹代表的是切换到下一个图像的显示。

相较于现有技术，本发明实施例所提出的基于屏幕投影的操作，通过对当前显示界面执行投影操作，并确定投影所在的目标界面；然后针对预设图像采集周期，获取所述目标界面所在区域的图像；并通过图像处理算法获取所述图像中目标物体的移动轨迹；并通过移动轨迹，确定用户针对目标物体所发出的操作指令；并执行所述操作指令。通过本发明实施例，在对投影所在的目标界面进行操作时，能够将对应的操作指令反馈到移动终端，从而使得移动终端指令该操作指令，解决了现有技术中还需要用户返回执行移动终端进行指令的发送。因此，本发明实施例，能够通过屏幕投影显示映射到目标界面上以后，通过对目标界面的操作实现操作指令反馈到移动终端，可以实现脱离屏幕操作。

需要说明的是，移动终端的分屏是将当前的移动终端屏幕分成至少两个独立的显示区域，例如，在分成两个的时候，第一个分屏用来显示聊天对话框，第二分屏用来播放视频，这两个应用程序同步进行。

所以本发明图3的实施例在应用到移动终端分屏显示的时候，在所述当前显示界面为所述移动终端的第一分屏时，所述方法还包括：基于所述操作指令的执行结果，刷新所述移动终端的分屏；在所述分屏为第一分屏时，将所述第一分屏的当前显示界面进行投影。

可以理解的是，根据投影反馈回来的操作指令更新了移动终端的显示界面以后，会改变移动终端的一个分屏显示，所以刷新对应的分屏。另外，该分屏有可能不是当前投影界面所对应的第一分屏，如果不是，对投影界面没有影响，如果刷新了第一分屏，那么通过第一分屏的屏幕内容改变也会调整当前的投影显示。

本发明的一种具体实现方式中，所述基于所述操作指令的执行结果，刷新所述移动终端的分屏的步骤，包括：确定所述操作指令所对应的应用程序；判断当前分屏显示中是否存在第二分屏，其中，所述第二分屏为当前运行所述应用程序的分屏；如果存在，基于所述操作指令的执行结果，刷新所确定的第二分屏。

可以理解的是，在当前为分屏显示的情况下，当操作指令为针对某一应用程序发出的，那么执行的结果应当是刷新该应用程序当前所在的分屏，即第二分屏。应用本发明实施例，能够自动实现操作指令与显示分屏的对应，进一步提高操作的可靠性。

具体的，第一分屏和第二分屏可以为同一个分屏，也可以不是同一个分屏。

可以理解的是，在分屏的情况下，如果两个分屏中均启动了该应用程序，那么在哪个分屏中执行该操作指令，并显示对应的结果就是需要解决的问题，本发明实施例提供的方案包括：判断所述第二分屏中是否存在第三分屏，其中，所述第三分屏为当前显示界面显示有所述应用程序对应内容；如果是，基于所述操作指令的执行结果，刷新所确定的第三分屏。

比如，分屏A启动了聊天软件，分屏B也启动了聊天软件，而分屏A的聊天软件是在后台运行的，分屏B的聊天软件是在当前显示的，所以针对执行聊天软件A的操作指令所刷新后的界面应该在分屏B中进行显示。

或者，提供一种问询对话框，请用户确认执行分屏A或者是分屏B，如图5所示。

另一种实现方式中，在判断当前分屏显示中不存在第二分屏的情况下，所述方法还包括：基于所述操作指令的执行结果，刷新预设分屏。例如，当用户设置了主屏和副屏的情况下，例如分屏A是主屏，假如分屏A没有启动聊天软件，分屏B也没有启动聊天软件，当用户发出针对聊天软件的指令后，针对该操作指令所刷新的页面显示结果显示在分屏A中。

本发明提供一种，目标物体的移动轨迹的步骤，包括：确定所述移动轨迹与所述目标界面的距离；判断所述距离是否不大于预设距离；如果是，基于人体识别，获取人体目标部位的所在的移动轨迹。

可以理解的是，例如，当用户的手指离目标界面太远时，不表示为用户需要进行移动轨迹的绘制，因为这样会造成的误差太大，所以在用户的手指距离目标界面的距离小于预设距离的情况下，才视为进行移动轨迹的绘制，从而进一步提高移动轨迹绘制所对应指令的准确性。

另一种实现方式中，所述基于所述移动轨迹，确定所述目标物体所对应的操作指令的步骤，包括：判断所述移动轨迹对应的应用图标是否为多个；如果是，确定所述移动轨迹的移动方向是否一致；如果所述移动轨迹的移动方向一致，确定所述目标物体所对应的操作指令为滑动指令。本发明实施例与在移动终端中进行滑动指令的操作一致，滑动操作指令简单，且使用较为广泛，能够提高用户操作的便利性。

再一种实现方式中，所述方法还包括：在判断所述移动轨迹对应的应用图标为一个的情况下，确定所述移动轨迹的触发时间；确定所述应用图标对应的应用程序；基于所述触发时间确定针对所述应用程序的操作指令。

具体的，根据触发时间，可以确定为单击、双击和长按操作，可以分别设置第一阈值、第二阈值，当触发时间不大于第一阈值时确定为单击操作，当触发时间为第一阈值、第二阈值时，确定为双击操作，当触发时间大于第二阈值时，确定为长按操作。由于对目标界面执行的操作不易于获取，通过触发时间的判断，能够提高便利性和可操作性，进一步提高用户通过投影界面反馈指令至移动终端的可靠性。

进一步地，本发明提供了一种移动终端，请继续参阅图1，所述移动终端包括处理器110、以及通过通信总线与处理器110连接的存储器109；其中，

所述存储器109，用于存储基于屏幕投影的操作程序；

所述处理器110，用于执行基于屏幕投影的操作程序，以实现以下步骤：

对当前显示界面执行投影操作，并确定投影所在的目标界面；

针对预设图像采集周期，获取所述目标界面所在区域的图像；

获取所述图像中目标物体的移动轨迹；

基于所述移动轨迹，确定所述目标物体所对应的操作指令；

执行所述操作指令。

可以理解的是，移动终端的屏幕显示有对应的内容，例如移动终端的桌面显示、启动应用程序所对应的界面显示、播放电影等视频的界面显示、办公软件的界面显示等等。

需要说明的是，投影需要用用来显示接收投影图像的物体，本发明实施例中定义接收投影图像的物体所在的界面为目标界面。示例性的，投影图像所在的物体可以是桌子，那么目标界面为桌面；投影图像所在的物体可以是墙体，那么目标界面为墙面。

基于此，移动终端在进行投影的时候，会将当前的界面显示内容投影到物体所对应的目标界面上。

具体的，如何确定目标界面，本发明实施例通过投影的光线反射回来的路径，可以确定目标界面。或者通过图像采集，判断当前移动终端的内容所投影的物体表面，确定为目标界面。具体过程确定目标界面的过程，本发明实施例在此不做具体限定。

另外，当投影所在的界面为不规则平面时，移动终端可以设置一主体平面，该主体界面可以以投影距离来划分，离移动终端最近的界面确定为主体平面，将该主体平面作为目标界面。

可以理解的是，如果需要持续获取用户是否发出操作指令，那么需要持续的进行图像采集，以便通过采集到的图像进行判断。所以本发明实施例中，设定图像采集周期，定期进行图像采集，例如采集周期为0.1s，那么每隔0.1s会通过移动终端的摄像头进行图像的采集，并对采集到的图像进行分析。

需要说明的是，移动终端的摄像头拍摄到的区域会包含除了目标界面以外的其他区域。

另外，在目标界面获取的过程中，如果出现移动终端的移动，从而造成目标界面没有采集到，会发出移动终端的提示报警。例如，设定的采集时间为2s，如果在2s内移动终端判断所采集的图像中均没有包含目标界面，那么会发出针对不包含目标界面的报警提示，以便用户进行确认移动终端产生移动或者目标界面产生移动。

另外，由于移动终端的携带方便性，随时随地可能进行投影，当在初始投影的时刻，移动终端会获得一个目标界面，如果用户在投影的过程中，例如在会议状态，可能随时调整手机的投影界面，以便向其他人进行内容展示，所以目标界面会发生变化。本发明实施例中，在原目标界面产生移动的情况下，如果能够重新确定投影物体所在的目标界面，那么会重新确定该目标界面，并继续执行目标界面所在区域的图像采集作业。以实现目标界面的自动切换，提高投影的适应性。

可以理解的是，移动终端按照采集周期采集多个图像，通过连续时间内的多个图像能够获得目标物体的移动轨迹。

示例性的，目标物体为人的手指，当获取手指的移动过程是从第一应用图标到第二应用图标时，确定从第一应用图标到第二应用图标的轨迹为移动轨迹。

另外，可以理解的是，目标物体的移动轨迹可以直线，可以是点，可以是弧形等等。

可以理解的是，用户在对移动终端的显示界面进行滑动、点击、双击等操作时，会使得移动终端对应接收到操作指令。例如，用户在桌面进行滑动的时候，是进行桌面的滑动切换。用户手指点击应用图标的时候，启动该应用程序。

所以，基于移动轨迹以及移动轨迹在目标界面所对应的被执行区域，能够获得移动轨迹所对应的操作指令。

另外，可以理解的是，有的移动轨迹会对应有效操作指令，有的移动轨迹会对应无效操作指令。例如，目标界面投影的是移动终端的桌面，当移动轨迹为针对移动终端的空白区域、用移动轨迹为在空白区域的点，那么对应移动终端本身在桌面空白区域的点操作是不做任何相应的，所以为无效操作指令。

又例如，移动轨迹对应的是向右前进的直线，在移动终端中代表向右滑动操作，例如向右滑动为查看下一个图像，若当前显示的是最后一个图像，那么下一个图像是不存在的，所以无法进行下一个图像的展示。若当前显示的不是一个图像，那么移动轨迹代表的是切换到下一个图像的显示。

可选地，所述处理器110，用于执行基于屏幕投影的操作程序，以实现以下步骤：

基于所述操作指令的执行结果，刷新所述移动终端的分屏；

在所述分屏为第一分屏时，将所述第一分屏的当前显示界面进行投影

可选地，所述处理器110，用于执行基于屏幕投影的操作程序，以实现以下步骤：

确定所述操作指令所对应的应用程序；

判断当前分屏显示中是否存在第二分屏，其中，所述第二分屏为当前运行所述应用程序的分屏；

如果存在，基于所述操作指令的执行结果，刷新所确定的第二分屏。

可选地，所述处理器110，用于执行基于屏幕投影的操作程序，以实现以下步骤：

判断所述第二分屏中是否存在第三分屏，其中，所述第三分屏为当前显示界面显示有所述应用程序对应内容；

如果是，基于所述操作指令的执行结果，刷新所确定的第三分屏。

可选地，所述处理器110，用于执行基于屏幕投影的操作程序，以实现以下步骤：

基于所述操作指令的执行结果，刷新预设分屏。

可选地，所述处理器110，用于执行基于屏幕投影的操作程序，以实现以下步骤：

确定所述移动轨迹与所述目标界面的距离；

判断所述距离是否不大于预设距离；

如果是，基于人体识别，获取人体目标部位的所在的移动轨迹。

可选地，所述处理器110，用于执行基于屏幕投影的操作程序，以实现以下步骤：

判断所述移动轨迹对应的应用图标是否为多个；

如果是，确定所述移动轨迹的移动方向是否一致；

如果所述移动轨迹的移动方向一致，确定所述目标物体所对应的操作指令为滑动指令。

可选地，所述处理器110，用于执行基于屏幕投影的操作程序，以实现以下步骤：

在判断所述移动轨迹对应的应用图标为一个的情况下，确定所述移动轨迹的触发时间；

确定所述应用图标对应的应用程序；

基于所述触发时间确定针对所述应用程序的操作指令。

相较于现有技术，本发明实施例所提出的移动终端，通过对当前显示界面执行投影操作，并确定投影所在的目标界面；然后针对预设图像采集周期，获取所述目标界面所在区域的图像；并通过图像处理算法获取所述图像中目标物体的移动轨迹；并通过移动轨迹，确定用户针对目标物体所发出的操作指令；并执行所述操作指令。通过本发明实施例，在对投影所在的目标界面进行操作时，能够将对应的操作指令反馈到移动终端，从而使得移动终端指令该操作指令，解决了现有技术中还需要用户返回执行移动终端进行指令的发送。因此，本发明实施例，能够通过屏幕投影显示映射到目标界面上以后，通过对目标界面的操作实现操作指令反馈到移动终端，实现可以脱离屏幕操作。

进一步地，本发明还提供了一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现以下步骤：

对当前显示界面执行投影操作，并确定投影所在的目标界面；

针对预设图像采集周期，获取所述目标界面所在区域的图像；

获取所述图像中目标物体的移动轨迹；

基于所述移动轨迹，确定所述目标物体所对应的操作指令；

执行所述操作指令。

可选地，所述一个或者多个程序还被所述一个或者多个处理器执行，以实现以下步骤：

基于所述操作指令的执行结果，刷新所述移动终端的分屏；

在所述分屏为第一分屏时，将所述第一分屏的当前显示界面进行投影。

可选地，所述一个或者多个程序还被所述一个或者多个处理器执行，以实现以下步骤：

确定所述操作指令所对应的应用程序；

判断当前分屏显示中是否存在第二分屏，其中，所述第二分屏为当前运行所述应用程序的分屏；

如果存在，基于所述操作指令的执行结果，刷新所确定的第二分屏。

可选地，所述一个或者多个程序还被所述一个或者多个处理器执行，以实现以下步骤：

判断所述第二分屏中是否存在第三分屏，其中，所述第三分屏为当前显示界面显示有所述应用程序对应内容；

如果是，基于所述操作指令的执行结果，刷新所确定的第三分屏。

可选地，所述一个或者多个程序还被所述一个或者多个处理器执行，以实现以下步骤：

基于所述操作指令的执行结果，刷新预设分屏。

可选地，所述一个或者多个程序还被所述一个或者多个处理器执行，以实现以下步骤：

确定所述移动轨迹与所述目标界面的距离；

判断所述距离是否不大于预设距离；

如果是，基于人体识别，获取人体目标部位的所在的移动轨迹。

可选地，所述一个或者多个程序还被所述一个或者多个处理器执行，以实现以下步骤：

判断所述移动轨迹对应的应用图标是否为多个；

如果是，确定所述移动轨迹的移动方向是否一致；

如果所述移动轨迹的移动方向一致，确定所述目标物体所对应的操作指令为滑动指令。

可选地，所述一个或者多个程序还被所述一个或者多个处理器执行，以实现以下步骤：

在判断所述移动轨迹对应的应用图标为一个的情况下，确定所述移动轨迹的触发时间；

确定所述应用图标对应的应用程序；

基于所述触发时间确定针对所述应用程序的操作指令。

相较于现有技术，本发明实施例所提出的存储介质，通过对当前显示界面执行投影操作，并确定投影所在的目标界面；然后针对预设图像采集周期，获取所述目标界面所在区域的图像；并通过图像处理算法获取所述图像中目标物体的移动轨迹；并通过移动轨迹，确定用户针对目标物体所发出的操作指令；并执行所述操作指令。通过本发明实施例，在对投影所在的目标界面进行操作时，能够将对应的操作指令反馈到移动终端，从而使得移动终端指令该操作指令，解决了现有技术中还需要用户返回执行移动终端进行指令的发送。因此，本发明实施例，能够通过屏幕投影显示映射到目标界面上以后，通过对目标界面的操作实现操作指令反馈到移动终端，实现可以脱离屏幕操作。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台移动终端(可以是手机，计算机，服务器，空调器，或者网络设备，机器人等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于屏幕投影的操作方法，应用于移动终端，其特征在于，包括：

对当前显示界面执行投影操作，并确定投影所在的目标界面；

针对预设图像采集周期，获取所述目标界面所在区域的图像；

获取所述图像中目标物体的移动轨迹；

基于所述移动轨迹，确定所述目标物体所对应的操作指令；

执行所述操作指令。

2.根据权利要求1所述的基于屏幕投影的操作，其特征在于，在所述当前显示界面为所述移动终端的第一分屏时，所述方法还包括：

基于所述操作指令的执行结果，刷新所述移动终端的分屏；

在所述分屏为第一分屏时，将所述第一分屏的当前显示界面进行投影。

3.根据权利要求2所述的基于屏幕投影的操作，其特征在于，所述基于所述操作指令的执行结果，刷新所述移动终端的分屏的步骤，包括：

确定所述操作指令所对应的应用程序；

判断当前分屏显示中是否存在第二分屏，其中，所述第二分屏为当前运行所述应用程序的分屏；

如果存在，基于所述操作指令的执行结果，刷新所确定的第二分屏。

4.根据权利要求3所述的基于屏幕投影的操作，其特征在于，在所述第二分屏的个数为多个的情况下，所述方法还包括：

判断所述第二分屏中是否存在第三分屏，其中，所述第三分屏为当前显示界面显示有所述应用程序对应内容；

如果是，基于所述操作指令的执行结果，刷新所确定的第三分屏。

5.根据权利要求3所述的基于屏幕投影的操作，其特征在于，在判断当前分屏显示中不存在第二分屏的情况下，所述方法还包括：

基于所述操作指令的执行结果，刷新预设分屏。

6.根据权利要求1所述的基于屏幕投影的操作，其特征在于，所述获取所述图像中目标物体的移动轨迹的步骤，包括：

确定所述移动轨迹与所述目标界面的距离；

判断所述距离是否不大于预设距离；

如果是，基于人体识别，获取人体目标部位的所在的移动轨迹。

7.根据权利要求1所述的基于屏幕投影的操作，其特征在于，所述基于所述移动轨迹，确定所述目标物体所对应的操作指令的步骤，包括：

判断所述移动轨迹对应的应用图标是否为多个；

如果是，确定所述移动轨迹的移动方向是否一致；

如果所述移动轨迹的移动方向一致，确定所述目标物体所对应的操作指令为滑动指令。

8.根据权利要求7所述的基于屏幕投影的操作，其特征在于，所述方法还包括：

在判断所述移动轨迹对应的应用图标为一个的情况下，确定所述移动轨迹的触发时间；

确定所述应用图标对应的应用程序；

基于所述触发时间确定针对所述应用程序的操作指令。

9.一种移动终端，其特征在于，所述移动终端包括处理器、以及通过通信总线与处理器连接的存储器；其中，

所述存储器，用于存储基于屏幕投影的操作程序；

所述处理器，用于执行所述基于屏幕投影的操作程序，以实现以下步骤：

对当前显示界面执行投影操作，并确定投影所在的目标界面；

针对预设图像采集周期，获取所述目标界面所在区域的图像；

获取所述图像中目标物体的移动轨迹；

基于所述移动轨迹，确定所述目标物体所对应的操作指令；

执行所述操作指令；

以及任意一项所述的基于屏幕投影的操作所对应的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以使所述一个或者多个处理器执行如权利要求1-8任一项所述的基于屏幕投影的操作的步骤。