CN107479815A - 实现分屏屏幕控制的方法、终端和计算机可读存储介质 - Google Patents

实现分屏屏幕控制的方法、终端和计算机可读存储介质 Download PDF

Info

Publication number
CN107479815A
CN107479815A CN201710518058.9A CN201710518058A CN107479815A CN 107479815 A CN107479815 A CN 107479815A CN 201710518058 A CN201710518058 A CN 201710518058A CN 107479815 A CN107479815 A CN 107479815A
Authority
CN
China
Prior art keywords
screen
terminal
loudspeaker
microphone
user gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710518058.9A
Other languages
English (en)
Inventor
周龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nubia Technology Co Ltd
Original Assignee
Nubia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nubia Technology Co Ltd filed Critical Nubia Technology Co Ltd
Priority to CN201710518058.9A priority Critical patent/CN107479815A/zh
Publication of CN107479815A publication Critical patent/CN107479815A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Abstract

本发明公开了一种实现分屏屏幕控制的方法,在分屏模式下,当用户通过手势操作终端时,利用终端上的麦克风和扬声器识别用户手势;获取用户手势相对于终端触摸屏的相对位置;根据相对位置与两个分屏的预设对应关系,确定用户手势对应控制的分屏,根据用户手势控制对应的分屏。本发明公开了一种实现分频屏幕控制的终端及计算机可读存储介质,通过上述方案,在分屏模式下,无法使用手势单独控制某个分屏的问题,为用户在分屏摸下多提供了一种分屏控制方式,提升了用户体验。

Description

实现分屏屏幕控制的方法、终端和计算机可读存储介质
技术领域
本发明涉及终端技术领域,尤其涉及一种实现分屏屏幕控制的方法、终端和计算机可读存储介质。
背景技术
随着终端应用对生活各个方面的渗透,用户越来越多地使用终端上的应用完成衣食住行以及娱乐。有些时候,用户渴望同时能够操作两个不同的应用,单一的显示屏不再能满足满足用户的需求。例如当用户在网上阅读小说时,通讯软件如微信中有某个联系人发来即时信息需要处理,在用户退出当前的小说界面,进入微信处理即时信息后,需要再度打开浏览器或阅读软件才能再进入小说界面。这无疑会给用户带来不良的阅读体验,这种时候,就需要开启终端的分屏功能,在两个分屏中显示小说界面以便用户阅读,显示微信界面以便用户和联系人进行通讯。
分屏功能使得用户在终端上能够同时操作多个应用,但是分屏操作一般是通过触摸终端触摸屏实现的。若是用户使用手势控制终端触摸屏,由于分屏的数量有两个,手势只有一个,不能确定手势具体控制的分屏是哪一个,导致在分屏状态下手势操作分屏方式的失败,降低用户体验。
发明内容
本发明的主要目的在于提出一种实现分屏屏幕控制的方法、终端和计算机可读存储介质,旨在解决现有技术中在分屏状态下无法使用手势操作终端触摸屏的问题。
为实现上述目的,本发明提供一种实现分屏屏幕控制的方法,包括:
在分屏模式下,当用户通过手势操作终端时,利用终端上的麦克风和扬声器识别用户手势;
获取用户手势相对于终端触摸屏的相对位置;
根据相对位置与两个分屏的预设对应关系,确定用户手势对应控制的分屏,根据用户手势控制对应的分屏。
进一步的,终端包括至少一个麦克风、第一扬声器和第二扬声器;
获取用户手势相对于终端触摸屏的相对位置包括:
利用第一扬声器和第二扬声器分别发送第一信号和第二信号;第一信号和第二信号的频率不同;
利用至少一个麦克风接收第一信号和第二信号被用户手势反射的反射信号;
根据至少一个麦克风对两个不同频率的反射信号的接收时间,至少一个麦克风相对于第一扬声器和第二扬声器的位置,以及第一扬声器和第二扬声器在终端触摸屏上的位置,确定用户手势相对于终端触摸屏的位置。
进一步的,终端的麦克风的数量为一个,第一扬声器和第二扬声器相对于终端触摸屏一上一下设置,麦克风与两个扬声器中的一个设置在一端;
根据至少一个麦克风对两个不同频率的反射信号的接收时间,至少一个麦克风相对于第一扬声器和第二扬声器的位置,以及第一扬声器和第二扬声器在终端触摸屏上的位置,确定用户手势相对于终端触摸屏的位置包括:
获取麦克风对两个不同频率的反射信号的接收时间;
当麦克风与第一扬声器在一端时,若第一信号的反射信号的接收时间在第二信号的反射信号的接收时间之前,则用户手势相对于终端触摸屏的相对位置为:用户手势在靠近第一扬声器的终端触摸屏一侧,否则,用户手势相对于终端触摸屏的相对位置为:用户手势在靠近第二扬声器的终端触摸屏一侧;
或者,终端上设有第一麦克风和第二麦克风,第一麦克风和第一扬声器设置在一端,第二麦克风和第二扬声器设置在一端;
根据至少一个麦克风对两个不同频率的反射信号的接收时间,至少一个麦克风相对于第一扬声器和第二扬声器的位置,以及第一扬声器和第二扬声器在终端触摸屏上的位置,确定用户手势相对于终端触摸屏的位置包括:
获取第一麦克风和第二麦克风对两个不同频率的反射信号的接收时间;
若第一麦克风对第一信号的反射信号的接收时间在第二信号的反射信号的接收时间之前,和/或,第二麦克风对第一信号的反射信号的接收时间在第二信号的反射信号的接收时间之前,则用户手势相对于终端触摸屏的相对位置为:用户手势在靠近第一扬声器的终端触摸屏一侧;否则,用户手势相对于终端触摸屏的相对位置为:用户手势在靠近第二扬声器的终端触摸屏一侧。
进一步的,获取用户手势相对于终端触摸屏的相对位置包括:
利用终端触摸屏的红外传感器探测用户手部,获取用户手部相对于触摸屏的相对位置;
或者,利用终端触摸屏的超声波传感器探测用户手部,获取用户手部相对于终端触摸屏的相对位置。
进一步的,两个分屏为第一分屏和第二分屏,根据相对位置与触摸屏的两个分屏的预设对应关系,确定用户手势对应控制的分屏包括:
若相对位置在第一分屏的一侧,则用户手势对应控制的是第一分屏;
若相对位置在第二分屏的一侧,则用户手势对应控制的是第二分屏。
为实现上述目的,本发明还提供一种实现分屏屏幕控制的终端,终端包括处理器、存储器及通信总线;
通信总线用于实现处理器和存储器之间的连接通信;
处理器用于执行存储器中存储的实现分屏屏幕控制的程序,以实现以下步骤:
在分屏模式下,当用户通过手势操作终端时,利用终端上的麦克风和扬声器识别用户手势;
获取用户手势相对于终端触摸屏的相对位置;
根据相对位置与两个分屏的预设对应关系,确定用户手势对应控制的分屏,根据用户手势控制对应的分屏。
进一步的,终端包括至少一个麦克风、第一扬声器和第二扬声器;
处理器用于执行存储器中存储的实现分屏屏幕控制的程序,以实现以下步骤:
利用第一扬声器和第二扬声器分别发送第一信号和第二信号;第一信号和第二信号的频率不同;
利用至少一个麦克风接收第一信号和第二信号被用户手势反射的反射信号;
根据至少一个麦克风对两个不同频率的反射信号的接收时间,至少一个麦克风相对于第一扬声器和第二扬声器的位置,以及第一扬声器和第二扬声器在终端触摸屏上的位置,确定用户手势相对于终端触摸屏的位置。
进一步的,终端的麦克风的数量为一个,第一扬声器和第二扬声器相对于终端触摸屏一上一下设置,麦克风与两个扬声器中的一个设置在一端;
处理器用于执行存储器中存储的实现分屏屏幕控制的程序,以实现以下步骤:
获取麦克风对两个不同频率的反射信号的接收时间;
当麦克风与第一扬声器在一端时,若第一信号的反射信号的接收时间在第二信号的反射信号的接收时间之前,则用户手势相对于终端触摸屏的相对位置为:用户手势在靠近第一扬声器的终端触摸屏一侧,否则,用户手势相对于终端触摸屏的相对位置为:用户手势在靠近第二扬声器的终端触摸屏一侧;
或者,终端上设有第一麦克风和第二麦克风,第一麦克风和第一扬声器设置在一端,第二麦克风和扬声器设置在一端;
处理器用于执行存储器中存储的实现分屏屏幕控制的程序,以实现以下步骤:
获取第一麦克风和第二麦克风对两个不同频率的反射信号的接收时间;
若第一麦克风对第一信号的反射信号的接收时间在第二信号的反射信号的接收时间之前,和/或,第二麦克风对第一信号的反射信号的接收时间在第二信号的反射信号的接收时间之前,则用户手势相对于终端触摸屏的相对位置为:用户手势在靠近第一扬声器的终端触摸屏一侧;否则,用户手势相对于终端触摸屏的相对位置为:用户手势在靠近第二扬声器的终端触摸屏一侧。
进一步的,两个分屏为第一分屏和第二分屏,处理器用于执行存储器中存储的实现分屏屏幕控制的程序,以实现以下步骤:
若相对位置在第一分屏的一侧,则用户手势对应控制的是第一分屏;
若相对位置在第二分屏的一侧,则用户手势对应控制的是第二分屏。
为实现上述目的,本发明还提供一种计算机可读存储介质,计算机可读存储介质存储有一个或者多个程序,一个或者多个程序可被执行,以实现以下步骤:
在分屏模式下,当用户通过手势操作终端时,利用终端上的麦克风和扬声器识别用户手势;
获取用户手势相对于终端触摸屏的相对位置;
根据相对位置与两个分屏的预设对应关系,确定用户手势对应控制的分屏,根据用户手势控制对应的分屏。
采用本发明提出的实现分屏屏幕控制的方法、终端和计算机可读存储介质,在分屏模式下,当用户通过手势操作终端时,可以利用终端上的麦克风和扬声器识别用户手势;获取用户手势相对于终端触摸屏的相对位置;根据相对位置与两个分屏的预设对应关系,确定用户手势对应控制的分屏,根据用户手势控制对应的分屏。解决了现有技术中,在分屏模式下,无法使用手势单独控制某个分屏的问题,为用户在分屏摸下多提供了一种分屏控制方式,提升了用户体验。
附图说明
图1为实现本发明各个实施例的移动终端的硬件结构示意图;
图2是本发明的一种实现分屏屏幕控制的方法的流程图;
图3是本发明的一种终端分屏示意图;
图4是本发明在一个麦克风的情况下,识别手势位置的示意图;
图5是本发明在两个麦克风的情况下,识别手势位置的示意图;
图6是本发明的一种实现分屏屏幕控制的终端的硬件结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明,其本身没有特定的意义。因此,“模块”、“部件”或“单元”可以混合地使用。
终端可以以各种形式来实施。例如,本发明中描述的终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(Personal Digital Assistant,PDA)、便捷式媒体播放器(Portable Media Player,PMP)、导航装置、可穿戴设备、智能手环、计步器等移动终端,以及诸如数字TV、台式计算机等固定终端。
后续描述中将以移动终端为例进行说明,本领域技术人员将理解的是,除了特别用于移动目的的元件之外,根据本发明的实施方式的构造也能够应用于固定类型的终端。
请参阅图1,其为实现本发明各个实施例的一种移动终端的硬件结构示意图,该移动终端100可以包括:RF(Radio Frequency,射频)单元101、WiFi模块102、音频输出单元103、A/V(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解,图1中示出的移动终端结构并不构成对移动终端的限定,移动终端可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图1对移动终端的各个部件进行具体的介绍:
射频单元101可用于收发信息或通话过程中,信号的接收和发送,具体的,将基站的下行信息接收后,给处理器110处理;另外,将上行的数据发送给基站。通常,射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外,射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于GSM(Global System of Mobile communication,全球移动通讯系统)、GPRS(General Packet Radio Service,通用分组无线服务)、CDMA2000(CodeDivision Multiple Access 2000,码分多址2000)、WCDMA(Wideband Code DivisionMultiple Access,宽带码分多址)、TD-SCDMA(Time Division-Synchronous CodeDivision Multiple Access,时分同步码分多址)、FDD-LTE(Frequency DivisionDuplexing-Long Term Evolution,频分双工长期演进)和TDD-LTE(Time DivisionDuplexing-Long Term Evolution,分时双工长期演进)等。
WiFi属于短距离无线传输技术,移动终端通过WiFi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块102,但是可以理解的是,其并不属于移动终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时,将射频单元101或WiFi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且,音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。
A/V输入单元104用于接收音频或视频信号。A/V输入单元104可以包括图形处理器(Graphics Processing Unit,GPU)1041和麦克风1042,图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或WiFi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据),并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。
移动终端100还包括至少一种传感器105,比如光传感器、运动传感器以及其他传感器。具体地,光传感器包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度,接近传感器可在移动终端100移动到耳边时,关闭显示面板1061和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1061。
用户输入单元107可用于接收输入的数字或字符信息,以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地,用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作),并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器110,并能接收处理器110发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071,用户输入单元107还可以包括其他输入设备1072。具体地,其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种,具体此处不做限定。
进一步的,触控面板1071可覆盖显示面板1061,当触控面板1071检测到在其上或附近的触摸操作后,传送给处理器110以确定触摸事件的类型,随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中,触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能,但是在某些实施例中,可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能,具体此处不做限定。
接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如,外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。
存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器109可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。本发明的存储器109中可以存储实现分屏屏幕控制的程序。
处理器110是移动终端的控制中心,利用各种接口和线路连接整个移动终端的各个部分,通过运行或执行存储在存储器109内的软件程序和/或模块,以及调用存储在存储器109内的数据,执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元;优选的,处理器110可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器110中。本发明的处理器110可以运行存储在上述存储器109中的实现分屏屏幕控制的程序,以实现以下步骤:在分屏模式下,当用户通过手势操作终端时,利用终端上的麦克风和扬声器识别用户手势;获取用户手势相对于终端触摸屏的相对位置;根据相对位置与两个分屏的预设对应关系,确定用户手势对应控制的分屏,根据用户手势控制对应的分屏。
移动终端100还可以包括给各个部件供电的电源111(比如电池),优选的,电源111可以通过电源管理系统与处理器110逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图1未示出,移动终端100还可以包括蓝牙模块等,在此不再赘述。
基于上述移动终端硬件结构,提出本发明方法各个实施例。
实施例一:
参见图2,本实施例示出了一种实现分屏屏幕控制的方法,采用本实施例的方法,当终端处于分屏模式下的时候,若用户通过手势操作终端,则可以利用终端上的麦克风和扬声器来识别用户手势,并且终端还可以获取用户手势相对于终端触摸屏的相对位置,根据相对位置与两个分屏的预设对应关系,可以确定用户手势对应控制的分屏是哪一个,由此成功实现手势对两个分屏的控制,解决了现有技术中在分屏模式下,无法使用手势分别单独控制两个分屏的问题。
如图2所示,本实施例的实现分屏屏幕控制的方法,包括:
S201、在分屏模式下,当用户通过手势操作终端时,利用终端上的麦克风和扬声器识别用户的手势;
S202、获取用户手势相对于终端触摸屏的相对位置;
S203、根据相对位置与两个分屏的预设对应关系,确定用户手势对应控制的分屏,根据用户手势控制对应的分屏。
本实施例中的上述终端包括但不限于移动终端,如手机、平板电脑等等。
本实施例的终端上扬声器和麦克风的数量分别为至少为一个,在S201中,手势识别技术的原理利用的是多普勒效应,依靠麦克风和扬声器来感知和理解用户的手势。具体的,识别用户的手势是利用麦克风和扬声器对声波的发射和接收来实现。进一步的,麦克风和扬声器使用的声波信号可以是超声波信号。
目前,利用麦克风和扬声器识别用户手势的技术已经十分成熟,例如微软的SoundWave技术,根据研究报告,即使在嘈杂的环境中,SoundWave识别人动作的准确性也已达到90%至100%之间。本实施例中,终端可以基于现有的麦克风和扬声器识别用户手势的技术如SoundWave技术,对用户手势进行识别。具体的,当终端配备了特定的超声波软件后,就可以发出恒定频率的超声波,如20-22KHz的超声波。如果终端周围没有任何物体移动,终端的麦克风听到音调是不会发生变化的。但是如果有一个物体朝着终端移动,这时候终端接收到的超声波反射信号的频率就会变高,如果物体远去,终端接收到的超声波反射信号的频率将会下降。经过软件对接收的超声波反射信号的频率的分析,可以确定物体的大小,移动速度和运动方向,基于这一切,就可以推断出手势。所以本实施例S201中,利用终端上的麦克风和扬声器识别用户的手势包括:利用终端上的麦克风发出预设声音信号,利用扬声器接收被用户反射的声音信号,对反射的声音信号的频率进行分析,确定用户的手势。
在S202中获取用户手势相对于终端触摸屏的相对位置时,由于手势与终端触摸屏之间可能具有一定的距离,需要终端能够隔空实现对手势的识别,基于光波和生比可以在空气中传播,以及遇到障碍物可以反射的原理,在一个实施例中可以通过发射声波和接收被用户手部反馈的声波确定用户手势相对于终端屏幕的相对位置;在一个实施例中,可以通过发送光波以及接收反射光波确定用户手势相对于终端屏幕的位置。
由于终端在分屏时一般是竖屏显示,在S202中,获取用户手势相对于终端触摸屏的相对位置包括:获取用户手势相对于终端触摸屏在竖直方向上的相对位置。目前的分屏方式一般是上下分屏,例如当终端在分屏状态下时,根据终端上分屏线所在的直线如图3中的虚线,可以将终端所在的空间位置分为两个大的区域,一个是上分屏区域31,一个是下分屏区域32,上下分屏区域的分界线可以认为是分屏线所在的直线。可以理解的是,在S202中识别出来的手势的位置是在区域31或区域32中。按照一般用户的操作习惯,都希望手势靠近触摸屏上方分屏区域31时控制上方的分屏区域,手势靠近触摸屏下方分屏区域32时控制的是下方分屏区域。所以一般的相对位置与两个分屏的预设对应关系为手势相对于自动触摸屏的位置落在哪一个分屏区域,则该相对位置就与哪一个分屏区域对应,用户手势控制的也就是哪一个分屏区域。当然,在另一个实施例中,也不排除用户手势相对于触摸屏的位置在某一个分屏区域内,该相对位置就与哪一个分屏区域对应,用户手势控制的是另一个分屏区域。
在一个实施例中,将终端的两个分屏命名为第一分屏和第二分屏,第一分屏和第二分屏的上下相对位置没有限定。在S203中根据相对位置与触摸屏的两个分屏的预设对应关系,确定用户手势对应控制的分屏包括:若相对位置在第一分屏的一侧,则用户手势对应控制的是第一分屏;若相对位置在第二分屏的一侧,则用户手势对应控制的是第二分屏。这里可以理解的是,相对位置在第一分屏的一侧表示手势的空间位置是在终端触摸屏的第一分屏的一侧,也就是离第一分屏更近。相对位置在第二分屏的一侧表示手势的空间位置是在终端触摸屏的第二分屏的一侧,也就是离第二分屏更近。
在上述的分析中我们知道,可以利用信号传输和接收的方式来确定手势的位置,获取用户手势相对于终端触摸屏的相对位置。而扬声器和麦克风是可以发送和接收声波信号的一对仪器。所以在一个实施例中,可以利用终端自带的扬声器和麦克风实现步骤S202。我们都知道,当两个信号在空气中的传播速度相同时,若是信号经过的路程更短,则到达接收端的时间就会更早,利用这个原理,本实施例可以实现对用户手势的相对位置的获取。其中,终端上包括至少一个麦克风和两个扬声器-第一扬声器和第二扬声器,在S202中获取用户手势相对于终端触摸屏的相对位置包括:利用第一扬声器和第二扬声器分别发送第一信号和第二信号;第一信号和第二信号的频率不同;利用至少一个麦克风接收第一信号和第二信号被用户手势反射的反射信号;根据至少一个麦克风对两个不同频率的反射信号的接收时间,至少一个麦克风相对于第一扬声器和第二扬声器的位置,以及第一扬声器和第二扬声器在终端触摸屏上的位置,确定用户手势相对于终端触摸屏的位置。例如某个麦克风对第一信号的反射信号的接收时间在第二信号的反射信号的接收时间之前,而该麦克风距离第一扬声器更近,则该用户手势的位置距离第一扬声器的位置更近,假设第一扬声器是在终端上方,则该用户手势的相对位置是:位于靠近第一扬声器的分屏的一侧。该手势是控制靠近第一扬声器的分屏的手势。其中,可以理解的是,第一信号和第二信号在空气中的传播速度是相同的,第一信号和第二信号可以是声波如超声波,也可以是其他形式的信号。
在一个实施例中,第一信号和第二信号还可以用来实现对用户手势的识别,即在分屏模式下,当用户通过手势操作终端时,利用第一扬声器和第二扬声器分别发送第一信号和第二信号;利用至少一个麦克风接收第一信号和第二信号被用户手势反射的反射信号;根据反射信号的频率分析得到用户手势;根据至少一个麦克风对两个不同频率的反射信号的接收时间,至少一个麦克风相对于第一扬声器和第二扬声器的位置,以及第一扬声器和第二扬声器在终端触摸屏上的位置,确定用户手势相对于终端触摸屏的位置。
在一个实施例中,麦克风的数量可以是一个,第一扬声器和第二扬声器的相对于终端触摸屏一上一下设置,即第一扬声器和第二扬声器一个设置在终端触摸屏的上方的位置,一个设置在终端触摸屏下方的位置,而麦克风与起两个扬声器中的一个设置在一端。根据至少一个麦克风对两个不同频率的反射信号的接收时间,至少一个麦克风相对于第一扬声器和第二扬声器的位置,以及第一扬声器和第二扬声器在终端触摸屏上的位置,确定用户手势相对于终端触摸屏的位置包括:获取麦克风对两个不同频率的反射信号的接收时间;当麦克风与第一扬声器在一端,若第一信号的反射信号的接收时间在第二信号的反射信号的接收时间之前,则用户手势相对于终端触摸屏的相对位置为:用户手势在靠近第一扬声器的终端触摸屏一侧,否则,用户手势相对于终端触摸屏的相对位置为:用户手势在靠近第二扬声器的终端触摸屏一侧。例如,图4为在一个麦克风的情况下,识别手势位置的示意图,在图4中,终端处于分屏状态,终端上的一个麦克风41和第一扬声器42位终端的触摸屏的上方的位置,发送的是第一信号,第二扬声器43位于终端的下边框上,发送的是第二信号。假设用户的手势位置是在图4中的A点上,则第一扬声器42发出的信号到达麦克风的路径为图4中的路径44,第二扬声器43发出的信号到达麦克风的路径为图4中的路径45,明显路径44的长度比路径45的长度短,所以在实际中,第一信号达到麦克风41的时间在第二信号之前,而麦克风41距离第一扬声器42更近,所以手势的位置距离第一扬声器更近,所以用户手势相对于终端触摸屏的相对位置为:用户手势在靠近第一扬声器的终端触摸屏一侧。而第一扬声器位于终端触摸屏的上方,距离触摸屏的上半部分的分屏更近,所以该用户手势是控制触摸屏上半部分分屏的手势。
在一个实施例中,为了使得用户手势的相对位置识别的更准确,终端上设有两个麦克风-第一麦克风和第二麦克风,第一麦克风和第一扬声器设置在一端,第二麦克风和第二扬声器设置在一端;此时,根据至少一个麦克风对两个不同频率的反射信号的接收时间,至少一个麦克风相对于第一扬声器和第二扬声器的位置,以及第一扬声器和第二扬声器在终端触摸屏上的位置,确定用户手势相对于终端触摸屏的位置包括:获取第一麦克风和第二麦克风对两个不同频率的反射信号的接收时间;若第一麦克风对第一信号的反射信号的接收时间在第二信号的反射信号的接收时间之前,和/或,第二麦克风对第一信号的反射信号的接收时间在第二信号的反射信号的接收时间之前,则用户手势相对于终端触摸屏的相对位置为:用户手势在靠近第一扬声器的终端触摸屏一侧;否则,用户手势相对于终端触摸屏的相对位置为:用户手势在靠近第二扬声器的终端触摸屏一侧。
图5为在两个麦克风的情况下,识别手势位置的示意图,在图5的终端上,触摸屏上方的位置设置有第一扬声器42和第一麦克风51,触摸屏下方的边框上设置有第二扬声器43和第二麦克风52,假设用户手势的位置是在图5中的B点,则第一扬声器42发出的第一信号到达第一麦克风51和第二麦克风52的路径分别为图5中的53和54,第二扬声器42发出的第二信号到达第一麦克风51和第二麦克风52的路径分别为图5中的55和56。则第一信号的反射信号到达第一麦克风51的时间在第二信号的反射信号到达第一麦克风51的时间之后,第一信号的反射信号到达第二麦克风的时间在第二信号的反射信号到达第二麦克风的时间之后,所以用户手势在靠近第二扬声器43的终端触摸屏一侧。所以用户手势是控制第二扬声器43一侧的分屏的手势。
本实施例中的用户手势包括但不限于放大手势,缩小手势等等。
除了利用终端的麦克风和扬声器实现对用户手势的位置的识别,本实施例还可以有其他的用户手势的相对位置的识别方式。在一个实施例中,终端的触摸屏上可以设置有红外线传感器,利用终端触摸屏的红外传感器探测用户手部,获取用户手部相对于触摸屏的相对位置,具体的可以利用终端触摸屏上的红外线传感器来探测触摸屏相对的空间中是否存在用户的手部,若存在,则该手部相对于终端触摸屏的相对位置就是用户手势相对于终端触摸屏的位置。
在一个实施例中,终端触摸屏上可以设置有超声波传感器,利用终端触摸屏的超声波传感器探测用户手部,获取用户手部相对于终端触摸屏的相对位置。具体的,超声波传感器可以发射超声波,接收由触摸屏前方的手部反射的超声波,根据反射的超声波的接收位置确定用户手部相对于触摸屏的位置。
上述的两种对用户手势的识别方式适用于用户手势距离终端触摸屏较近的情况,而通过麦克风和扬声器识别用户手势的相对位置的方式对用户手势相对于终端触摸屏的距离没有限制,可以在用户手势距离终端触摸屏较远的情况下使用。
采用本实施例提供的实现分屏屏幕控制的方法,在分屏模式下,当用户通过手势操作终端时,利用终端上的麦克风和扬声器识别用户手势;获取用户手势相对于终端触摸屏的相对位置;根据相对位置与两个分屏的预设对应关系,确定用户手势对应控制的分屏,根据用户手势控制对应的分屏。解决了现有技术中,在分屏模式下,无法使用手势单独控制某个分屏的问题,为用户在分屏摸下多提供了一种分屏控制方式,提升了用户体验。
实施例二:
参见图6,本实施例示出一种实现分屏屏幕控制的终端,该终端包括处理器61、存储器62及通信总线63;
通信总线63用于实现处理器和存储器之间的连接通信;
处理器61用于执行存储器62中存储的实现分屏屏幕控制的程序,以实现以下步骤:
在分屏模式下,当用户通过手势操作终端时,利用终端上的麦克风和扬声器识别用户手势;
获取用户手势相对于终端触摸屏的相对位置;
根据相对位置与两个分屏的预设对应关系,确定用户手势对应控制的分屏,根据用户手势控制对应的分屏。
本实施例中的上述终端包括但不限于移动终端,如手机、平板电脑等等。
本实施例的终端上扬声器和麦克风的数量分别为至少为一个,本实施例中手势识别技术的原理利用的是多普勒效应,依靠麦克风和扬声器来感知和理解用户的手势。具体的,识别用户的手势是利用麦克风和扬声器对声波的发射和接收来实现。进一步的,麦克风和扬声器使用的声波信号可以是超声波信号。
一般地,当终端配备了特定的超声波软件后,就可以发出恒定频率的超声波,如20-22KHz的超声波。如果终端周围没有任何物体移动,终端的麦克风听到音调是不会发生变化的。但是如果有一个物体朝着终端移动,这时候终端接收到的声音的频率就会变高,如果物体远去,终端接收到的声音的频率将会下降。经过软件对接收的反射信号的频率的分析,可以确定物体的大小,移动速度和运动方向。基于这一切,就可以推断出手势。所以本实施例的处理器61用于执行存储器62中存储的实现分屏屏幕控制的程序,以实现以下步骤:利用终端上的麦克风发出预设声音信号,利用扬声器接收被用户反射的声音信号,对反射的声音信号的频率进行分析,确定用户的手势。
获取用户手势相对于终端触摸屏的相对位置时,由于手势与终端触摸屏之间可能具有一定的距离,需要终端能够隔空实现对手势的识别,基于光波和生比可以在空气中传播,以及遇到障碍物可以反射的原理,在一个实施例中可以通过发射声波和接收被用户手部反馈的声波确定用户手势相对于终端屏幕的相对位置;在一个实施例中,可以通过发送光波以及接收反射光波确定用户手势相对于终端屏幕的位置。
由于终端在分屏时一般是竖屏显示,处理器61用于执行存储器62中存储的实现分屏屏幕控制的程序,以实现以下步骤:获取用户手势相对于终端触摸屏在竖直方向上的相对位置。目前的分屏方式一般是上下分屏,按照一般用户的操作习惯,都希望手势靠近触摸屏上方分屏区域时控制上方的分屏区域,手势靠近触摸屏下方分屏区域时控制的是下方分屏区域。所以一般的相对位置与两个分屏的预设对应关系为:手势相对于自动触摸屏的位置落在哪一个分屏区域,则该相对位置就与哪一个分屏区域对应;用户手势控制的也就是哪一个分屏区域。当然,在另一个实施例中,也不排除用户手势相对于触摸屏的位置在某一个分屏区域内,该相对位置就与哪一个分屏区域对应,用户手势控制的是另一个分屏区域。
在一个实施例中,将终端的两个分屏命名为第一分屏和第二分屏,第一分屏和第二分屏的上下相对位置没有限定。处理器61用于执行存储器62中存储的实现分屏屏幕控制的程序,以实现以下步骤:若相对位置在第一分屏的一侧,则用户手势对应控制的是第一分屏;若相对位置在第二分屏的一侧,则用户手势对应控制的是第二分屏。这里可以理解的是,相对位置在第一分屏的一侧表示手势的空间位置是在终端触摸屏的第一分屏的一侧,也就是离第一分屏更近。相对位置在第二分屏的一侧表示手势的空间位置是在终端触摸屏的第二分屏的一侧,也就是离第二分屏更近。
在上述的分析中我们知道,可以利用信号传输和接收的方式来确定手势的位置,获取用户手势相对于终端触摸屏的相对位置。而扬声器和麦克风是可以发送和接收声波信号的一对仪器。当两个信号在空气中的传播速度相同时,若是信号经过的路程更短,则到达接收端的时间就会更早,利用这个原理,本实施例可以实现对用户手势的相对位置的获取。其中,终端上包括至少一个麦克风、两个扬声器-第一扬声器和第二扬声器,处理器61用于执行存储器62中存储的实现分屏屏幕控制的程序,以实现以下步骤:利用第一扬声器和第二扬声器分别发送第一信号和第二信号;第一信号和第二信号的频率不同;利用至少一个麦克风接收第一信号和第二信号被用户手势反射的反射信号;根据至少一个麦克风对两个不同频率的反射信号的接收时间,至少一个麦克风相对于第一扬声器和第二扬声器的位置,以及第一扬声器和第二扬声器在终端触摸屏上的位置,确定用户手势相对于终端触摸屏的位置。
在一个实施例中,第一信号和第二信号还可以用来实现对用户手势的识别,处理器61用于执行存储器62中存储的实现分屏屏幕控制的程序,以实现以下步骤:即在分屏模式下,当用户通过手势操作终端时,利用第一扬声器和第二扬声器分别发送第一信号和第二信号;利用至少一个麦克风接收第一信号和第二信号被用户手势反射的反射信号;根据反射信号的频率分析得到用户手势;根据至少一个麦克风对两个不同频率的反射信号的接收时间,至少一个麦克风相对于第一扬声器和第二扬声器的位置,以及第一扬声器和第二扬声器在终端触摸屏上的位置,确定用户手势相对于终端触摸屏的位置。
在一个实施例中,麦克风的数量可以是一个,第一扬声器和第二扬声器的相对于终端触摸屏一上一下设置,即第一扬声器和第二扬声器一个设置在终端触摸屏的上方的位置,一个设置在终端触摸屏下方的位置,而麦克风与起两个扬声器中的一个设置在一端。处理器61用于执行存储器62中存储的实现分屏屏幕控制的程序,以实现以下步骤:获取麦克风对两个不同频率的反射信号的接收时间;当麦克风与第一扬声器在一端,若第一信号的反射信号的接收时间在第二信号的反射信号的接收时间之前,则用户手势相对于终端触摸屏的相对位置为:用户手势在靠近第一扬声器的终端触摸屏一侧,否则,用户手势相对于终端触摸屏的相对位置为:用户手势在靠近第二扬声器的终端触摸屏一侧。
在一个实施例中,为了使得用户手势的相对位置识别的更准确,终端上设有两个麦克风-第一麦克风和第二麦克风,第一麦克风和第一扬声器设置在一端,第二麦克风和第二扬声器设置在一端;此时,处理器61用于执行存储器62中存储的实现分屏屏幕控制的程序,以实现以下步骤:获取第一麦克风和第二麦克风对两个不同频率的反射信号的接收时间;若第一麦克风对第一信号的反射信号的接收时间在第二信号的反射信号的接收时间之前,和/或,第二麦克风对第一信号的反射信号的接收时间在第二信号的反射信号的接收时间之前,则用户手势相对于终端触摸屏的相对位置为:用户手势在靠近第一扬声器的终端触摸屏一侧;否则,用户手势相对于终端触摸屏的相对位置为:用户手势在靠近第二扬声器的终端触摸屏一侧。
本实施例中的用户手势包括但不限于放大手势,缩小手势等等。
除了利用终端的麦克风和扬声器实现对用户手势的位置的识别,本实施例还可以有其他的用户手势的相对位置的识别方式。在一个实施例中,终端的触摸屏上可以设置有红外线传感器,处理器61用于执行存储器62中存储的实现分屏屏幕控制的程序,以实现以下步骤:利用终端触摸屏的红外传感器探测用户手部,获取用户手部相对于触摸屏的相对位置,具体的,处理器61用于执行存储器62中存储的实现分屏屏幕控制的程序,以实现以下步骤:利用终端触摸屏上的红外线传感器来探测触摸屏相对的空间中是否存在用户的手部,若存在,则确定该手部相对于终端触摸屏的相对位置就是用户手势相对于终端触摸屏的位置。
在一个实施例中,终端触摸屏上可以设置有超声波传感器,处理器61用于执行存储器62中存储的实现分屏屏幕控制的程序,以实现以下步骤:利用终端触摸屏的超声波传感器探测用户手部,获取用户手部相对于终端触摸屏的相对位置。具体的,处理器61用于执行存储器62中存储的实现分屏屏幕控制的程序,以实现以下步骤:利用超声波传感器发射超声波,接收由触摸屏前方的手部反射的超声波,根据反射的超声波的接收位置确定用户手部相对于触摸屏的位置。
上述的超声波传感器和红外线传感器对用户手势的识别方式适用于用户手势距离终端触摸屏较近的情况,而通过麦克风和扬声器识别用户手势的相对位置的方式对用户手势相对于终端触摸屏的距离没有限制,可以在用户手势距离终端触摸屏较远的情况下使用。
采用本实施例提供的实现分屏屏幕控制的终端,在分屏模式下,当用户通过手势操作终端时,利用终端上的麦克风和扬声器识别用户手势;获取用户手势相对于终端触摸屏的相对位置;根据相对位置与两个分屏的预设对应关系,确定用户手势对应控制的分屏,根据用户手势控制对应的分屏。解决了现有技术中,在分屏模式下,无法使用手势单独控制某个分屏的问题,为用户在分屏摸下多提供了一种分屏控制方式,提升了用户体验。
实施例三:
本实施例示出一种计算机可读存储介质,计算机可读存储介质存储有一个或者多个程序,一个或者多个程序可被执行,以实现以下步骤:
在分屏模式下,当用户通过手势操作终端时,利用终端上的麦克风和扬声器识别用户手势;
获取用户手势相对于终端触摸屏的相对位置;
根据相对位置与两个分屏的预设对应关系,确定用户手势对应控制的分屏,根据用户手势控制对应的分屏。
本实施例中的上述终端包括但不限于移动终端,如手机、平板电脑等等。
本实施例的终端上扬声器和麦克风的数量分别为至少为一个,本实施例中手势识别技术的原理利用的是多普勒效应,依靠麦克风和扬声器来感知和理解用户的手势。具体的,识别用户的手势是利用麦克风和扬声器对声波的发射和接收来实现。进一步的,麦克风和扬声器使用的声波信号可以是超声波信号。
一般地,当终端配备了特定的超声波软件后,就可以发出恒定频率的超声波,如20-22KHz的超声波。如果终端周围没有任何物体移动,终端的麦克风听到音调是不会发生变化的。但是如果有一个物体朝着终端移动,这时候终端接收到的声音的频率就会变高,如果物体远去,终端接收到的声音的频率将会下降。经过软件对接收的反射信号的频率的分析,可以确定物体的大小,移动速度和运动方向。基于这一切,就可以推断出手势。所以本实施例的计算机可读存储介质存储有一个或者多个程序,一个或者多个程序可被执行,以实现以下步骤:利用终端上的麦克风发出预设声音信号,利用扬声器接收被用户反射的声音信号,对反射的声音信号的频率进行分析,确定用户的手势。
获取用户手势相对于终端触摸屏的相对位置时,由于手势与终端触摸屏之间可能具有一定的距离,需要终端能够隔空实现对手势的识别,基于光波和生比可以在空气中传播,以及遇到障碍物可以反射的原理,在一个实施例中可以通过发射声波和接收被用户手部反馈的声波确定用户手势相对于终端屏幕的相对位置;在一个实施例中,可以通过发送光波以及接收反射光波确定用户手势相对于终端屏幕的位置。
在一个实施例中,计算机可读存储介质存储有一个或者多个程序,一个或者多个程序可被执行,以实现以下步骤:获取用户手势相对于终端触摸屏在竖直方向上的相对位置。目前的分屏方式一般是上下分屏,按照一般用户的操作习惯,都希望手势靠近触摸屏上方分屏区域时控制上方的分屏区域,手势靠近触摸屏下方分屏区域时控制的是下方分屏区域。所以一般的相对位置与两个分屏的预设对应关系为:手势相对于自动触摸屏的位置落在哪一个分屏区域,则该相对位置就与哪一个分屏区域对应;用户手势控制的也就是哪一个分屏区域。当然,在另一个实施例中,也不排除用户手势相对于触摸屏的位置在某一个分屏区域内,该相对位置就与哪一个分屏区域对应,用户手势控制的是另一个分屏区域。
在一个实施例中,将终端的两个分屏命名为第一分屏和第二分屏,第一分屏和第二分屏的上下相对位置没有限定。计算机可读存储介质存储有一个或者多个程序,一个或者多个程序可被执行,以实现以下步骤:若相对位置在第一分屏的一侧,则用户手势对应控制的是第一分屏;若相对位置在第二分屏的一侧,则用户手势对应控制的是第二分屏。这里可以理解的是,相对位置在第一分屏的一侧表示手势的空间位置是在终端触摸屏的第一分屏的一侧,也就是离第一分屏更近。相对位置在第二分屏的一侧表示手势的空间位置是在终端触摸屏的第二分屏的一侧,也就是离第二分屏更近。
在上述的分析中我们知道,可以利用信号传输和接收的方式来确定手势的位置,获取用户手势相对于终端触摸屏的相对位置。而扬声器和麦克风是可以发送和接收声波信号的一对仪器。当两个信号在空气中的传播速度相同时,若是信号经过的路程更短,则到达接收端的时间就会更早,利用这个原理,本实施例可以实现对用户手势的相对位置的获取。其中,终端上包括至少一个麦克风、两个扬声器-第一扬声器和第二扬声器,计算机可读存储介质存储有一个或者多个程序,一个或者多个程序可被执行,以实现以下步骤:利用第一扬声器和第二扬声器分别发送第一信号和第二信号;第一信号和第二信号的频率不同;利用至少一个麦克风接收第一信号和第二信号被用户手势反射的反射信号;根据至少一个麦克风对两个不同频率的反射信号的接收时间,至少一个麦克风相对于第一扬声器和第二扬声器的位置,以及第一扬声器和第二扬声器在终端触摸屏上的位置,确定用户手势相对于终端触摸屏的位置。
在一个实施例中,第一信号和第二信号还可以用来实现对用户手势的识别,计算机可读存储介质存储有一个或者多个程序,一个或者多个程序可被执行,以实现以下步骤:即在分屏模式下,当用户通过手势操作终端时,利用第一扬声器和第二扬声器分别发送第一信号和第二信号;利用至少一个麦克风接收第一信号和第二信号被用户手势反射的反射信号;根据反射信号的频率分析得到用户手势;根据至少一个麦克风对两个不同频率的反射信号的接收时间,至少一个麦克风相对于第一扬声器和第二扬声器的位置,以及第一扬声器和第二扬声器在终端触摸屏上的位置,确定用户手势相对于终端触摸屏的位置。
在一个实施例中,麦克风的数量可以是一个,第一扬声器和第二扬声器的相对于终端触摸屏一上一下设置,即第一扬声器和第二扬声器一个设置在终端触摸屏的上方的位置,一个设置在终端触摸屏下方的位置,而麦克风与起两个扬声器中的一个设置在一端。计算机可读存储介质存储有一个或者多个程序,一个或者多个程序可被执行,以实现以下步骤:获取麦克风对两个不同频率的反射信号的接收时间;当麦克风与第一扬声器在一端,若第一信号的反射信号的接收时间在第二信号的反射信号的接收时间之前,则用户手势相对于终端触摸屏的相对位置为:用户手势在靠近第一扬声器的终端触摸屏一侧,否则,用户手势相对于终端触摸屏的相对位置为:用户手势在靠近第二扬声器的终端触摸屏一侧。
在一个实施例中,为了使得用户手势的相对位置识别的更准确,终端上设有两个麦克风-第一麦克风和第二麦克风,第一麦克风和第一扬声器设置在一端,第二麦克风和第二扬声器设置在一端;此时,计算机可读存储介质存储有一个或者多个程序,一个或者多个程序可被执行,以实现以下步骤:获取第一麦克风和第二麦克风对两个不同频率的反射信号的接收时间;若第一麦克风对第一信号的反射信号的接收时间在第二信号的反射信号的接收时间之前,和/或,第二麦克风对第一信号的反射信号的接收时间在第二信号的反射信号的接收时间之前,则用户手势相对于终端触摸屏的相对位置为:用户手势在靠近第一扬声器的终端触摸屏一侧;否则,用户手势相对于终端触摸屏的相对位置为:用户手势在靠近第二扬声器的终端触摸屏一侧。
本实施例中的用户手势包括但不限于放大手势,缩小手势等等。
除了利用终端的麦克风和扬声器实现对用户手势的位置的识别,本实施例还可以有其他的用户手势的相对位置的识别方式。在一个实施例中,终端的触摸屏上可以设置有红外线传感器,计算机可读存储介质存储有一个或者多个程序,一个或者多个程序可被执行,以实现以下步骤:利用终端触摸屏的红外传感器探测用户手部,获取用户手部相对于触摸屏的相对位置,具体的,计算机可读存储介质存储有一个或者多个程序,一个或者多个程序可被执行,以实现以下步骤:利用终端触摸屏上的红外线传感器来探测触摸屏相对的空间中是否存在用户的手部,若存在,则确定该手部相对于终端触摸屏的相对位置就是用户手势相对于终端触摸屏的位置。
在一个实施例中,终端触摸屏上可以设置有超声波传感器,计算机可读存储介质存储有一个或者多个程序,一个或者多个程序可被执行,以实现以下步骤:利用终端触摸屏的超声波传感器探测用户手部,获取用户手部相对于终端触摸屏的相对位置。具体的,处理器61用于执行存储器62中存储的实现分屏屏幕控制的程序,以实现以下步骤:利用超声波传感器发射超声波,接收由触摸屏前方的手部反射的超声波,根据反射的超声波的接收位置确定用户手部相对于触摸屏的位置。
上述的超声波传感器和红外线传感器对用户手势的识别方式适用于用户手势距离终端触摸屏较近的情况,而通过麦克风和扬声器识别用户手势的相对位置的方式对用户手势相对于终端触摸屏的距离没有限制,可以在用户手势距离终端触摸屏较远的情况下使用。
采用本实施例提供的计算机可读存储介质,可以执行该计算机可读存储介质中存储有一个或者多个程序,实现以下步骤:在分屏模式下,当用户通过手势操作终端时,利用终端上的麦克风和扬声器识别用户手势;获取用户手势相对于终端触摸屏的相对位置;根据相对位置与两个分屏的预设对应关系,确定用户手势对应控制的分屏,根据用户手势控制对应的分屏。由此,本实施例实现了在分屏模式下,无法使用手势单独控制某个分屏的问题,为用户在分屏摸下多提供了一种分屏控制方式,提升了用户体验。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。

Claims (10)

1.一种实现分屏屏幕控制的方法,其特征在于,包括:
在分屏模式下,当用户通过手势操作终端时,利用所述终端上的麦克风和扬声器识别用户手势;
获取所述用户手势相对于终端触摸屏的相对位置;
根据所述相对位置与两个分屏的预设对应关系,确定所述用户手势对应控制的分屏,根据所述用户手势控制对应的分屏。
2.如权利要求1所述的实现分屏屏幕控制的方法,其特征在于,所述终端包括至少一个麦克风、第一扬声器和第二扬声器;
所述获取用户手势相对于终端触摸屏的相对位置包括:
利用所述第一扬声器和第二扬声器分别发送第一信号和第二信号;所述第一信号和第二信号的频率不同;
利用所述至少一个麦克风接收所述第一信号和第二信号被用户手势反射的反射信号;
根据所述至少一个麦克风对两个不同频率的反射信号的接收时间,所述至少一个麦克风相对于第一扬声器和第二扬声器的位置,以及所述第一扬声器和所述第二扬声器在终端触摸屏上的位置,确定所述用户手势相对于终端触摸屏的位置。
3.如权利要求2所述的实现分屏屏幕控制的方法,其特征在于,所述终端的麦克风的数量为一个,所述第一扬声器和所述第二扬声器相对于所述终端触摸屏一上一下设置,所述麦克风与两个扬声器中的一个设置在一端;
所述根据所述至少一个麦克风对两个不同频率的反射信号的接收时间,所述至少一个麦克风相对于第一扬声器和第二扬声器的位置,以及所述第一扬声器和所述第二扬声器在终端触摸屏上的位置,确定所述用户手势相对于终端触摸屏的位置包括:
获取所述麦克风对两个不同频率的反射信号的接收时间;
当所述麦克风与所述第一扬声器在一端时,若所述第一信号的反射信号的接收时间在所述第二信号的反射信号的接收时间之前,则所述用户手势相对于终端触摸屏的相对位置为:所述用户手势在靠近所述第一扬声器的终端触摸屏一侧,否则,所述用户手势相对于终端触摸屏的相对位置为:所述用户手势在靠近所述第二扬声器的终端触摸屏一侧;
或者,所述终端上设有第一麦克风和第二麦克风,所述第一麦克风和所述第一扬声器设置在一端,所述第二麦克风和所述第二扬声器设置在一端;
所述根据所述至少一个麦克风对两个不同频率的反射信号的接收时间,所述至少一个麦克风相对于第一扬声器和第二扬声器的位置,以及所述第一扬声器和所述第二扬声器在终端触摸屏上的位置,确定用户手势相对于终端触摸屏的位置包括:
获取所述第一麦克风和第二麦克风对两个不同频率的反射信号的接收时间;
若所述第一麦克风对所述第一信号的反射信号的接收时间在所述第二信号的反射信号的接收时间之前,和/或,所述第二麦克风对所述第一信号的反射信号的接收时间在所述第二信号的反射信号的接收时间之前,则所述用户手势相对于终端触摸屏的相对位置为:所述用户手势在靠近所述第一扬声器的终端触摸屏一侧;否则,所述用户手势相对于终端触摸屏的相对位置为:所述用户手势在靠近所述第二扬声器的终端触摸屏一侧。
4.如权利要求1所述的实现分屏屏幕控制的方法,其特征在于,所述获取用户手势相对于终端触摸屏的相对位置包括:
利用终端触摸屏的红外传感器探测用户手部,获取所述用户手部相对于触摸屏的相对位置;
或者,利用终端触摸屏的超声波传感器探测用户手部,获取所述用户手部相对于终端触摸屏的相对位置。
5.如权利要求1-4任一项所述的实现分屏屏幕控制的方法,其特征在于,所述两个分屏为第一分屏和第二分屏,所述根据所述相对位置与触摸屏的两个分屏的预设对应关系,确定所述用户手势对应控制的分屏包括:
若所述相对位置在所述第一分屏的一侧,则所述用户手势对应控制的是所述第一分屏;
若所述相对位置在所述第二分屏的一侧,则所述用户手势对应控制的是所述第二分屏。
6.一种实现分屏屏幕控制的终端,其特征在于,所述终端包括处理器、存储器及通信总线;
所述通信总线用于实现处理器和存储器之间的连接通信;
所述处理器用于执行存储器中存储的实现分屏屏幕控制的程序,以实现以下步骤:
在分屏模式下,当用户通过手势操作所述终端时,利用所述终端上的麦克风和扬声器识别用户手势;
获取所述用户手势相对于终端触摸屏的相对位置;
根据所述相对位置与两个分屏的预设对应关系,确定所述用户手势对应控制的分屏,根据所述用户手势控制对应的分屏。
7.如权利要求6所述的实现分屏屏幕控制的终端,其特征在于,所述终端包括至少一个麦克风、第一扬声器和第二扬声器;
所述处理器用于执行存储器中存储的实现分屏屏幕控制的程序,以实现以下步骤:
利用所述第一扬声器和第二扬声器分别发送第一信号和第二信号;所述第一信号和第二信号的频率不同;
利用所述至少一个麦克风接收所述第一信号和第二信号被用户手势反射的反射信号;
根据所述至少一个麦克风对两个不同频率的反射信号的接收时间,所述至少一个麦克风相对于第一扬声器和第二扬声器的位置,以及所述第一扬声器和所述第二扬声器在终端触摸屏上的位置,确定所述用户手势相对于终端触摸屏的位置。
8.如权利要求7所述的实现分屏屏幕控制的终端,其特征在于,所述终端的麦克风的数量为一个,所述第一扬声器和所述第二扬声器相对于所述终端触摸屏一上一下设置,所述麦克风与两个扬声器中的一个设置在一端;
所述处理器用于执行存储器中存储的实现分屏屏幕控制的程序,以实现以下步骤:
获取所述麦克风对两个不同频率的反射信号的接收时间;
当所述麦克风与所述第一扬声器在一端时,若所述第一信号的反射信号的接收时间在所述第二信号的反射信号的接收时间之前,则所述用户手势相对于终端触摸屏的相对位置为:所述用户手势在靠近所述第一扬声器的终端触摸屏一侧,否则,所述用户手势相对于终端触摸屏的相对位置为:所述用户手势在靠近所述第二扬声器的终端触摸屏一侧;
或者,所述终端上设有第一麦克风和第二麦克风,所述第一麦克风和所述第一扬声器设置在一端,所述第二麦克风和所述扬声器设置在一端;
所述处理器用于执行存储器中存储的实现分屏屏幕控制的程序,以实现以下步骤:
获取所述第一麦克风和第二麦克风对两个不同频率的反射信号的接收时间;
若所述第一麦克风对所述第一信号的反射信号的接收时间在所述第二信号的反射信号的接收时间之前,和/或,所述第二麦克风对所述第一信号的反射信号的接收时间在所述第二信号的反射信号的接收时间之前,则所述用户手势相对于终端触摸屏的相对位置为:所述用户手势在靠近所述第一扬声器的终端触摸屏一侧;否则,所述用户手势相对于终端触摸屏的相对位置为:所述用户手势在靠近所述第二扬声器的终端触摸屏一侧。
9.如权利要求6-8任一项所述的实现分屏屏幕控制的终端,其特征在于,所述两个分屏为第一分屏和第二分屏,所述处理器用于执行存储器中存储的实现分屏屏幕控制的程序,以实现以下步骤:
若所述相对位置在所述第一分屏的一侧,则所述用户手势对应控制的是所述第一分屏;
若所述相对位置在所述第二分屏的一侧,则所述用户手势对应控制的是所述第二分屏。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被执行,以实现以下步骤:
在分屏模式下,当用户通过手势操作终端时,利用所述终端上的麦克风和扬声器识别用户手势;
获取所述用户手势相对于终端触摸屏的相对位置;
根据所述相对位置与两个分屏的预设对应关系,确定所述用户手势对应控制的分屏,根据所述用户手势控制对应的分屏。
CN201710518058.9A 2017-06-29 2017-06-29 实现分屏屏幕控制的方法、终端和计算机可读存储介质 Pending CN107479815A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710518058.9A CN107479815A (zh) 2017-06-29 2017-06-29 实现分屏屏幕控制的方法、终端和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710518058.9A CN107479815A (zh) 2017-06-29 2017-06-29 实现分屏屏幕控制的方法、终端和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN107479815A true CN107479815A (zh) 2017-12-15

Family

ID=60595994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710518058.9A Pending CN107479815A (zh) 2017-06-29 2017-06-29 实现分屏屏幕控制的方法、终端和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN107479815A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110347306A (zh) * 2019-05-30 2019-10-18 努比亚技术有限公司 一种分屏显示方法、终端及计算机可读存储介质
CN113728295A (zh) * 2019-05-31 2021-11-30 华为技术有限公司 控屏方法、装置、设备及存储介质
CN114035759A (zh) * 2021-08-06 2022-02-11 重庆康佳光电技术研究院有限公司 屏幕控制方法、控制终端、屏幕和计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105094298A (zh) * 2014-05-13 2015-11-25 华为技术有限公司 终端以及基于该终端的手势识别方法
CN105260024A (zh) * 2015-10-15 2016-01-20 广东欧珀移动通信有限公司 一种在屏幕上模拟手势运动轨迹的方法及装置
CN105389111A (zh) * 2015-10-28 2016-03-09 维沃移动通信有限公司 一种分屏显示的操作方法及电子设备
CN106168870A (zh) * 2016-06-30 2016-11-30 深圳市金立通信设备有限公司 一种分屏窗口显示方法及终端
CN106293479A (zh) * 2016-08-22 2017-01-04 维沃移动通信有限公司 一种屏幕背光亮度的控制方法及移动终端
CN106527915A (zh) * 2015-09-11 2017-03-22 联想(北京)有限公司 一种信息处理方法及电子设备
CN106569715A (zh) * 2016-10-31 2017-04-19 努比亚技术有限公司 一种终端分屏控制装置、终端及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105094298A (zh) * 2014-05-13 2015-11-25 华为技术有限公司 终端以及基于该终端的手势识别方法
CN106527915A (zh) * 2015-09-11 2017-03-22 联想(北京)有限公司 一种信息处理方法及电子设备
CN105260024A (zh) * 2015-10-15 2016-01-20 广东欧珀移动通信有限公司 一种在屏幕上模拟手势运动轨迹的方法及装置
CN105389111A (zh) * 2015-10-28 2016-03-09 维沃移动通信有限公司 一种分屏显示的操作方法及电子设备
CN106168870A (zh) * 2016-06-30 2016-11-30 深圳市金立通信设备有限公司 一种分屏窗口显示方法及终端
CN106293479A (zh) * 2016-08-22 2017-01-04 维沃移动通信有限公司 一种屏幕背光亮度的控制方法及移动终端
CN106569715A (zh) * 2016-10-31 2017-04-19 努比亚技术有限公司 一种终端分屏控制装置、终端及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110347306A (zh) * 2019-05-30 2019-10-18 努比亚技术有限公司 一种分屏显示方法、终端及计算机可读存储介质
CN113728295A (zh) * 2019-05-31 2021-11-30 华为技术有限公司 控屏方法、装置、设备及存储介质
CN114035759A (zh) * 2021-08-06 2022-02-11 重庆康佳光电技术研究院有限公司 屏幕控制方法、控制终端、屏幕和计算机可读存储介质
CN114035759B (zh) * 2021-08-06 2023-12-22 重庆康佳光电科技有限公司 屏幕控制方法、控制终端、屏幕和计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN107145293A (zh) 一种截图方法、移动终端及存储介质
CN108089808A (zh) 一种屏幕画面获取方法、终端及计算机可读存储介质
CN107229389A (zh) 一种共享文件的方法、设备及计算机可读存储介质
CN107844763A (zh) 一种人脸识别方法、移动终端及计算机可读存储介质
CN107436801A (zh) I/o资源调度方法、终端和计算机可读存储介质
CN107463897A (zh) 指纹识别方法及移动终端
CN107635065A (zh) 一种截屏方法、移动终端及计算机可读存储介质
CN107682558A (zh) 一种屏幕控制方法及移动终端
CN107632757A (zh) 一种终端控制方法、终端及计算机可读存储介质
CN108172161A (zh) 基于柔性屏的显示方法、移动终端及计算机可读存储介质
CN108234767A (zh) 屏幕状态的控制方法、移动终端及计算机可读存储介质
CN107765941A (zh) 一种图标显示方法、终端及计算机可读存储介质
CN107797871A (zh) 内存占用资源释放方法、移动终端及计算机可读存储介质
CN107450795A (zh) 状态栏图标加载方法、终端和计算机可读存储介质
CN107888759A (zh) 一种实现信息发送的方法、设备及计算机可读存储介质
CN107479815A (zh) 实现分屏屏幕控制的方法、终端和计算机可读存储介质
CN107422853A (zh) 一种手势识别方法、移动终端及计算机可读存储介质
CN107992455A (zh) 一种文本处理方法、终端及计算机可读存储介质
CN107870722A (zh) 终端间的文件传输方法、移动终端及计算机可读存储介质
CN107273024A (zh) 一种实现应用数据处理的方法及设备
CN107729104A (zh) 一种显示方法、移动终端以及计算机存储介质
CN109388326A (zh) 一种电子设备、双屏电子设备的控制方法及装置
CN107765954A (zh) 一种应用程序图标更新方法、移动终端及服务器
CN107885416A (zh) 一种文本复制方法、终端及计算机可读存储介质
CN107809527A (zh) 一种呈现快捷操作的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171215