CN110806830A - 一种用户交互方法及电子设备 - Google Patents

一种用户交互方法及电子设备 Download PDF

Info

Publication number
CN110806830A
CN110806830A CN201910841190.2A CN201910841190A CN110806830A CN 110806830 A CN110806830 A CN 110806830A CN 201910841190 A CN201910841190 A CN 201910841190A CN 110806830 A CN110806830 A CN 110806830A
Authority
CN
China
Prior art keywords
area
event
touch screen
application
operation event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910841190.2A
Other languages
English (en)
Inventor
陈浩
陈晓晓
王卿
郑爱华
胡凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910841190.2A priority Critical patent/CN110806830A/zh
Publication of CN110806830A publication Critical patent/CN110806830A/zh
Priority to PCT/CN2020/104906 priority patent/WO2021042910A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing

Abstract

本申请实施例提供了一种用户交互方法及电子设备。电子设备包括:至少一个触摸屏,所述至少一个触摸屏包括第一区域和第二区域,第一区域用于为第一应用提供显示输出以及提供触控输入;第二区域用于提供触控输入;处理器,经配置用于接收对第二区域的第一操作事件,所述第一操作事件是触控输入的事件;还经配置用于根据所述第一操作事件提供对第一区域的第二操作事件,以便所述电子设备根据所述第二操作事件进行动作;其中,所述第二操作事件根据第一操作事件映射得到。本申请实施例的用户交互方法及电子设备可以提供用户操作的便利性,改善用户体验,提升交互效率。

Description

一种用户交互方法及电子设备
技术领域
本申请涉及电子设备技术领域,具体涉及一种基于扩展区域的用户交互方法及电子设备。
背景技术
触摸屏作为一种计算机输入设备,提供了简单、方便、自然的一种人机交互方式。工作时,用手指或其它物体触摸安装在显示器前端的触摸屏,然后系统根据手指触摸的图标或菜单位置来定位选择信息输入。
随着屏幕技术的发展,出现了曲面屏,折叠屏等产品形态。曲面屏的曲线带来不同屏幕部位的视觉和触控感觉,折叠屏进一步将这种差异放大。与此同时,屏幕材料的改进,也允许屏幕越来越大,允许在不同区域设定不同的功能。这些新屏幕产品形态的出现,带来了更为丰富的用户体验的可能性。
发明内容
本申请实施例提供了一种用户交互方法及电子设备,可以提供用户操作的便利性,改善用户体验,提升交互效率。
第一方面,本申请实施例提供了一种电子设备,所述电子设备包括:至少一个触摸屏,所述至少一个触摸屏包括第一区域和第二区域,第一区域用于为第一应用提供显示输出以及提供触控输入;第二区域用于提供触控输入;处理器,经配置用于接收对第二区域的第一操作事件,所述第一操作事件是触控输入的事件;还经配置用于根据所述第一操作事件提供对第一区域的第二操作事件,以便所述电子设备根据所述第二操作事件进行动作;其中,所述第二操作事件根据第一操作事件映射得到。
结合第一方面,在第一方面一种可能的实现方式中,所述处理器还经配置用于发送第二操作事件给所述第一应用,以便所述第一应用根据所述第二操作事件进行动作。
结合第一方面,在第一方面一种可能的实现方式中,所述至少一个触摸屏包括第一触摸屏和第二触摸屏,第一区域位于第一触摸屏上,第二区域位于第二触摸屏上;所述处理器还经配置用于将在第二区域的第一操作事件映射为对第一区域的第二操作事件。
结合第一方面,在第一方面一种可能的实现方式中,所述第一区域和第二区域分别位于至少一个触摸屏中同一个触摸屏的不同部分;所述处理器还经配置用于通过事件输入子系统将在第二区域的第一操作事件映射为对第一区域的第二操作事件;所述处理器还经配置用于将第一应用所对应的窗口配置在第一区域上。
结合第一方面,在第一方面一种可能的实现方式中,所述第一区域和第二区域分别位于至少一个触摸屏中同一个触摸屏的不同部分;所述处理器还经配置用于利用第二应用接收第一操作事件,将在第二区域的第一操作事件映射为对第一区域的第二操作事件;所述处理器还经配置用于将第一应用所对应的窗口配置在第一区域上。
结合第一方面,在第一方面一种可能的实现方式中,第一区域具有第一尺寸,第二区域具有第二尺寸,第一尺寸和第二尺寸构成等比例;所述处理器还经配置用于按第二尺寸和第一尺寸的比例,将第一操作事件在第二区域的坐标映射为第二操作事件在第一区域的坐标。
结合第一方面,在第一方面一种可能的实现方式中,第一区域具有第一尺寸,第二区域中的第三区域具有第三尺寸,第一尺寸和第三尺寸构成等比例;所述处理器还经配置用于按第三尺寸和第一尺寸的比例,将第一操作事件在第三区域的坐标映射为第二操作事件在第一区域的坐标。
结合第一方面,在第一方面一种可能的实现方式中,第一区域中的第四区域具有第四尺寸,第二区域中的第三区域具有第三尺寸,第四尺寸和第三尺寸构成等比例;所述处理器还经配置用于按第三尺寸和第四尺寸的比例,将第一操作事件在第三区域的坐标映射为第二操作事件在第四区域的坐标。
结合第一方面,在第一方面一种可能的实现方式中,所述第一操作事件所包括的操作不同于所述第二操作事件所包括的操作。
结合第一方面,在第一方面一种可能的实现方式中,所述第一操作事件包括一次操作,所述第二操作事件包括两次或两次以上操作。
结合第一方面,在第一方面一种可能的实现方式中,处理器还经配置用于根据第一应用提供对第一区域的第二操作事件。
结合第一方面,在第一方面一种可能的实现方式中,电子设备还包括存储器,用于存储在第二区域的第一操作和在第一区域的第二操作之间的映射关系;
所述处理器还经配置用于根据所述映射关系和在第二区域的第一操作,提供对第一区域的第二操作事件。
第二方面,本申请实施例提供了一种用户交互方法,用户交互方法应用于配置有至少一个触摸屏的电子设备,所述至少一个触摸屏包括第一区域和第二区域,第一区域用于为第一应用提供显示输出以及提供触控输入;第二区域用于提供触控输入;所述方法包括:接收对第二区域的第一操作事件;第一操作事件是触控输入的事件;根据所述第一操作事件提供对第一区域的第二操作事件,以便所述电子设备根据所述第二操作事件进行动作;其中,所述第二操作事件根据第一操作事件映射得到。
结合第二方面,在第二方面一种可能的实现方式中,所述提供对第一区域的第二操作事件包括,发送第二操作事件给第一应用,以便所述第一应用根据所述第二操作事件进行动作。
结合第二方面,在第二方面一种可能的实现方式中,所述至少一个触摸屏包括第一触摸屏和第二触摸屏,第一区域位于第一触摸屏上,第二区域位于第二触摸屏上;所述方法包括将在第二区域的第一操作事件映射为对第一区域的第二操作事件。
结合第二方面,在第二方面一种可能的实现方式中,所述第一区域和第二区域分别位于至少一个触摸屏中同一个触摸屏的不同部分;所述方法还包括通过事件输入子系统将在第二区域的第一操作事件映射为对第一区域的第二操作事件;所述方法还包括将第一应用所对应的窗口配置在第一区域上。
结合第二方面,在第二方面一种可能的实现方式中,所述第一区域和第二区域分别位于至少一个触摸屏中同一个触摸屏的不同部分;所述方法还包括利用第二应用接收第一操作事件,将在第二区域的第一操作事件映射为对第一区域的第二操作事件;所述方法还包括将第一应用所对应的窗口配置在第一区域上。
结合第二方面,在第二方面一种可能的实现方式中,所述提供对第一区域的第二操作事件包括,根据第一应用向应用提供对第一区域的第二操作事件。
结合第二方面,在第二方面一种可能的实现方式中,所述方法还包括:记录用户在第二区域的操作事件和在第一区域的操作事件;保存在第二区域的操作事件和在第一区域的操作事件之间的映射关系;所述提供对第一区域的第二操作事件包括,根据所述映射关系和在第二区域的第一操作事件提供对第一区域的第二操作事件。
第三方面,本申请实施例提供了一种计算机存储介质,所述计算机存储介质包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行第二方面所述的方法。
第四方面,本申请实施例提供了一种计算机程序产品,所述计算机程序产品包含的程序代码被电子设备中的处理器执行时,实现第二方面所述的方法。
本申请实施例提供的用户交互方法及电子设备,可以提供用户操作的便利性,改善用户体验,提升交互效率。
附图说明
图1是扩展区域的几种情形;图1(a)示意了扩展区域位于曲面屏或正常屏幕的边缘区域;图1(b)示意了扩展区域位于曲面屏或正常屏幕的某部分屏幕区域的情形;图1(c)示意了扩展区域位于折叠屏中的一块屏幕或其一部分屏幕区域的情形;图1(d)示意了扩展区域位于折叠屏在折叠状态下的折叠区域的情形;
图2是根据本申请实施例的用户交互系统的示意图;
图3是根据本申请另一实施例的用户交互系统的示意图;
图4是根据本申请又一实施例的用户交互系统的示意图;
图5是根据本申请再一实施例的用户交互系统的示意图;
图6是根据本申请再一实施例的用户交互系统的示意图;
图7是物理屏划分显示区域和扩展区域的示意图;
图8是显示区域和扩展区域1:1映射的示意图;
图9是显示区域和扩展区域非等比例映射的示意图;
图10是显示区域和扩展区域非等比例映射的另一示意图;
图11是示意了显示区域和扩展区域不同姿态映射的示意图;
图12是根据本申请实施例的一种用户交互方法的流程示意图;
图13是本申请实施例的一种电子设备的结构示意图;
图14是操作事件映射局部生效的示意图。
具体实施方式
下面将结合附图,对本发明实施例中的技术方案进行描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。
在本说明书的描述中“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。
其中,在本说明书的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
在本说明书的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
本申请实施例披露了一种用户交互方法和采用该方法的电子设备。电子设备可以包括至少一个触摸屏,至少一个触摸屏上可以包括两个不同的区域。根据区域的主要形态和功能,可以将这两个区域分别简称为显示区域和扩展区域,显示区域和通常的触摸屏一样可以为应用提供显示输出以及提供触摸输入,而扩展区域则侧重在接收触摸输入。电子设备在接收对扩展区域的操作事件时,将该操作事件映射到显示区域上,以便电子设备及其工作在显示区域上的应用可以根据该原本发生在扩展区域上的操作事件进行动作。扩展区域上的触摸输入事件(即操作事件)也可以和显示区域上的触摸输入事件结合在一起为应用或其它系统功能提供输入事件。当然,本申请实施例可以适用于其它形态和功能的区域划分,因此,本申请将以显示区域和扩展区域为例展开说明,而不应以此为限。
本申请实施例的用户交互方法可以应用于各种电子设备,包括但不限于手机、平板电脑、个人数字助理(personal digital assistant,PDA)、可穿戴设备、膝上型计算机(laptop)等便携式电子设备。便携式电子设备的示例性实施例包括但不限于搭载iOS、android、microsoft或者其他操作系统的便携式电子设备。电子设备还可以是其它类型的电子设备,诸如冰箱、洗衣机等家用设备,或者汽车、工业用电子设备。本申请实施例对电子设备的类型不做具体限定。
在展开说明本申请的各实施例之前,首先探讨一下扩展区域的定义。在本申请中,扩展区域既可以视作为单独的对显示区域的输入功能,也可以视作为对显示区域的输入功能的补充。扩展区域可以利用不同于显示区域所在物理屏以外的其它物理屏加以实现,也可以和显示区域实现在相同物理屏的不同部位,而根据屏幕形态和/或状态加以选择和区分。
图1是利用同一物理屏实现扩展区域的几种情形。图1(a)示意了扩展区域位于曲面屏或正常屏幕的边缘区域,其中,中间部分为主要的显示区域A1,两侧划分出细长条形的区域作为扩展区域A2。图1(b)示意了扩展区域位于曲面屏或正常屏幕的某部分屏幕区域的情形,其中,从曲面屏或正常屏幕中划分出较大的一块屏幕作为扩展区域A2。图1(c)示意了扩展区域位于折叠屏中的一块屏幕或其一部分屏幕区域的情形,其中折叠屏可被折叠为大小相近的两个部分,类似于笔记本电脑的上下两部分;将折叠态下会处于不同平面的两部分屏幕分为显示区域A1和扩展区域A2。图1(d)示意了扩展区域位于折叠屏在折叠状态下的折叠区域的情形,其中折叠屏可以折叠为书本形状,中间有一个折叠区域;可将折叠区域设置为扩展区域A2,而未被折叠的部分(即平面部分)设置为显示区域A1。在图1所示的各种情形下,扩展区域可以为显示区域提供独立的输入或者输入补充。有关扩展区域提供输入的具体内容在下文展开讨论。
需要注意,在图1(a)、图1(b)和图1(d)中,扩展区域和显示区域同属于一个物理屏,因此对扩展区域和显示区域的显示控制和输入控制原本是由相同的硬件和软件模块实现的。为了实现本申请实施例所赋予扩展区域和显示区域的不同功能,需要在软件模块方面对扩展区域和显示区域的信息/事件进行分别处理。
在图1(c)中,考虑到折叠屏的特点,扩展区域和显示区域可以采用不同的硬件加以驱动和控制。在此情况下,则需在软件模块中建立对来自不同硬件的事件/信息的沟通机制,即可实现本申请实施例所赋予扩展区域和显示区域的不同功能。如果扩展区域和显示区域采用相同的硬件,则可参照图1(a)、图1(b)和图1(d)的处理办法,在软件模块方面进行调整。
当然,图1仅属举例,本申请中扩展区域不限于图1的各种情况。
图2是根据本申请实施例的用户交互系统的示意图。用户交互系统可以实现于电子设备中。如图2所示,电子设备包括两个物理屏,例如液晶(Liquid Crystal Display,LCD)212和LCD 222。LCD 212和LCD 222均为触摸屏。显示区域A1实现于LCD 212上,可以是LCD212的全部或一部分。扩展区域A2实现于LCD 222上,可以是LCD222的全部或一部分。当然,本申请所指的显示屏可以包括但不限于液晶显示屏、发光二极管(Light-EmittingDiode,OLED)显示屏、有机发光二极管(Organic Light-Emitting Diode,OLED)显示屏。仅仅出于描述便利,下文以LCD为例。
对应于LCD 212,LCD驱动器215接收用户对LCD 212的一次或多次操作,并且把这些操作合并为各种操作事件,并且标记为发生在显示区域A1的操作B1。框架层输入子系统219把操作事件B1提供给应用(未图示)。需要说明,这里的应用可以是一个应用,也可以是多个应用。
以安卓系统为例,框架层输入子系统219可以在InputManagerService中启动(start)方法会通过JNI调用,启动Native层的InputReaderThread,InputDispatcherThread线程,从而开始输入Input系统的运行。InputReaderThread主要是执行和InputReader相关的内容,主要是从EventHub中读取事件,预处理事件;然后,根据规则(policy)来处理此事件;最后发送一个消息到InputDispatcher中,通知事件的产生。紧接着,InputDispatcher会开始事件的分发,通过InputChannel把事件分发给窗口管理器WindowManager或者应用程序。
另一方面,需要显示的数据,包括来自应用的图形、视频数据和来自系统的构图数据等等,经框架层显示系统提供给LCD驱动器214,从而使得在LCD212上提供系统和应用程序的输出。
以安卓系统为例,显示系统可以包括窗口管理器218和表面合成器214。窗口管理器218在应用的指示下创建窗口,窗口管理器为每一个窗口创建一个表面(Surface)来让该应用在上面绘制各种物体。表面是指向显存的一个物体,用来被绘制到屏幕上,所有能看见的窗口都拥有可以在上面绘制的表面。系统使用表面合成器(Surface Flinger)214服务来把各表面按照正确的深度信息渲染到最终的屏幕上。
对于LCD222,LCD驱动器215接收用户对LCD 222的操作,并且把这些操作合并为各种操作事件,操作事件会被标记为在扩展区域A2的操作B2,对此不复赘述。随后,相应的操作事件被发送给框架层输入子系统219。需要说明,对于LCD212和LCD222的驱动,可以采用不同的驱动器。
在本申请实施例中,框架层输入子系统219可以设置事件处理单元,判断操作事件是发生在显示区域还是扩展区域,对这些发生在扩展区域(即LCD222)上的操作事件进行处理,将这些操作事件映射到显示区域(即LCD212)上,然后提供这些原本发生在LCD222上但被映射到LCD212上的操作事件。在一个例子中,这些原本发生在LCD222上但被映射到LCD212上的操作事件以及发生在LCD212上的操作事件(如果有的话)被发送给运行在LCD212上的应用,以便应用根据所述操作事件进行动作。
本领域的技术人员意识到,映射过程可以实现为函数,该函数可以在框架层输入子系统219的各个环节之一实现,从而将操作事件从扩展区域映射到显示区域。
图2所示实施例可以适用于具有两块以上物理屏的情形,在此情形下可以将其中两块分别选做承载显示区域和扩展区域的屏幕即可。
图3是根据本申请另一实施例的用户交互系统的示意图。用户交互系统可以实现于电子设备中。
如图3所示,电子设备有一块物理触摸屏,在该屏上可以设置显示区域A1和扩展区域A2,物理屏及其显示区域A1和扩展区域A2的配置情形可以如图1所示。在显示区域A1上可以提供系统及应用程序界面输出,同时在显示区域A1和扩展区域A2可以分别提供触摸输入。
LCD驱动器315可以接收用户对LCD312的操作,并且将这些操作合并为各种操作事件。同时,操作事件的发生区域的坐标被确定。在本实施例中,操作可以按发生区域的坐标分为在显示区域A1的操作B1,和在扩展区域A2的操作B2。随后,相应的操作事件被发送给框架层输入子系统319。
框架层输入子系统319提供发生在显示区域A1的操作事件B1和从扩展区域A2映射到显示区域A1的操作事件B2。在一个例子中,框架层输入子系统319将发生在显示区域A1的操作事件提供给应用219;对于发生在扩展区域A2的操作事件B2,框架层输入子系统319将映射后的操作事件B2提供给应用219。所述映射,是指原本发生在扩展区域A2的操作事件在进行坐标转换后,被当作发生在显示区域A1的操作事件。
另一方面,应用可以通过窗口管理器318来创建一个或多个窗口,窗口管理器318为每一个窗口创建一个表面(Surface)来让该应用在上面绘制各种图形或展示视频。表面是指向显存的一个物体,用来被绘制到屏幕上;所有能看见的窗口都拥有可以在上面绘制的表面。底层显示系统中的表面合成器(Surface Flinger)314可以把各表面按照正确的深度信息渲染到最终的屏幕上。
表面合成器314可以根据系统配置或软件代码确定屏幕的大小。在本实施例中,通过系统配置或软件代码设定屏幕的大小为显示区域A1。如此,表面合成器314将按设定的屏幕大小去配置缓冲器buffer、合成图像的大小。同样,窗口管理器318也按照设定的屏幕大小去确定窗口画布的大小。
图4是根据本申请又一实施例的用户交互系统的示意图。图4的用户交互系统不同于图3的地方在于,在图4中,窗口管理器418让各个应用处于强制分屏状态,使得各应用的窗口被限制在显示区域A1,进而各应用的图片或视频仅能被绘制在显示区域A1。在一个例子中,窗口管理器418可以在接收到来自应用的Getdisplaysize、getRealSiz等等的时候,将A1的尺寸通过接口返回。如此,各应用将把显示区域A1作为系统设置的显示区域,而系统层面则感知整个屏幕。
图5是根据本申请再一实施例的用户交互系统的示意图。图5的用户交互系统不同于图4的地方在于,专门设置了应用525,该应用525被配置对应于扩展区域A2。框架层输入子系统319并不对发生在扩展区域A2的操作事件B2进行特别处理,而是将其按正常方式分发,使得应用525接收到该发生在扩展区域A2的操作事件B2。应用525对该操作事件B2进行处理和分发,使得操作事件B2重新回到框架层输入子系统319,只是此时的操作事件B2被映射到显示区域A1。框架层输入子系统319提供映射到显示区域A1上的操作事件B2和发生在显示区域A1上的操作事件B1,比如将之分发给各个应用219。在一个例子中,应用525通过模拟事件注入injectinputEvent的方式将操作事件返回框架层输入子系统。
图6是根据本申请再一实施例的用户交互系统的示意图。图6不同于图3的地方在于专门设置了应用525以及相应的框架层输入子系统419。而应用525及框架层输入子系统419的工作机制可参见上文结合图5的说明,不再赘述。
需要说明,虽然上文提及扩展区域部分接收触摸输入,但是,也可以同时通过显示系统通过view等方式在扩展区域部分触摸输入的位置处绘制光标或类似图标,以便给用户带来视觉的反馈。
图7是物理屏划分显示区域和扩展区域的示意图。物理屏划分可以是在图1所示的物理屏上进行,也可以是在不同的物理屏上进行。如图7所示,物理屏A具有W x H的尺寸,其原点定义为(0,0),对角点为(W,H)。将物理屏A等分为显示区域A1和扩展区域A2,则显示区域A1的坐标原点为(0,0),对角点为(W,H/2);扩展区域A2的坐标原点为(0,0),对角点为(W,H/2)。对于不同物理屏上的区域划分可以按同理进行。
图8是显示区域和扩展区域1:1映射的示意图。映射可以在图7所示的物理屏上实现。如图8所示,将物理屏等分为显示区域A1和扩展区域A2。参照图7,显示区域A1的坐标原点为(0,0),对角点为(W,H/2);扩展区域A2的坐标原点为(0,0),对角点为(W,H/2)。因此,扩展区域A2到显示区域A1的映射可以通过区域置换即可完成,而不必进行位置坐标的映射。换句话说,用户在扩展区域A2的任何触控行为(例如P2),可以按1:1关系被直接映射到显示区域A1(例如P1)。
图9是显示区域和扩展区域非等比例映射的示意图。如图9所示,显示区域A2和A1非等比例关系,可以在扩展区域中选定某个区域A3,然后在A3和A1之间进行比例映射。例如,A1的尺寸为(W1,H1),A3的尺寸为(W3,H3)。位于A3中的点P2的本地坐标为(a,b)。那么P2映射为A1中的点P1,则p1的本地坐标为((W1/W3)*a,(H1/H3)*a)。
图10是显示区域和扩展区域非等比例映射的另一示意图。如图10所示,显示区域A2和A1非等比例关系,可以在扩展区域中选定某个区域A3,在显示区域中选定某个区域A4,然后在A3和A4之间进行比例映射。在一种情形下,A3可以和A2重叠,如此可以在A2和A4之间进行比例映射。
在扩展区域的操作事件到显示区域的映射,不仅体现在区域的改变,位置/坐标的映射,还可以体现在操作本身所代表姿态的映射。可以在输入子系统中预制一些手势映射表,当在扩展区域发生操作事件B22,则通过映射在显示区域发生操作事件B12。B21可以不同于B22。
图11是示意了显示区域和扩展区域不同姿态映射的示意图。在扩展区域A2的点P1位置点击一下,则映射为在显示区域A1的从点P2滑动到P3的一个行为。P1的点击时间越长,则P3相对P2的滑道距离越长。
在一个实施例中,发生在扩展区域的操作事件到显示区域的映射,可以全局(在各种场景下)生效。例如,图11的点击操作,只要发生,便在显示区域出现一个滑动行为。
当然,也可以将某些预设手势设置为局部生效。比如,王者荣耀游戏有一个组合件,需要用户T2、T3、T4三个键组合按,才能进行技能组合释放。在本申请实施例中,输入子系统可以为王者荣耀在扩展区域定义功能按钮S1。当用户在扩展区域将按钮S1按下时,事件处理模块识别到是王者荣耀游戏场景,自动向输入子系统分发T2、T3、T4的按键组合事件(参见图14)。
对全局或局部生效的设置,可以采用白名单方式。Inputdispatch确定向白名单指定的应用(例如,王者荣耀游戏)分发和S1对应的T2、T3、T4的按键组合事件。
用户可以通过录制界面进行交互定义。首先,可以在扩展区域进行操作定义。可以选择点击、长按、滑动,或者直接在屏幕进行一段操作(例如,在屏幕滑动一段距离L),记录扩展区域的操作。扩展区域可以描述为:点击、长按T、滑动、两指远离操作…等。
在扩展区域的手势定义好之后,对在显示区域的按键行为/手势进行记录。在显示区域的按键行为将记录包括坐标、位置、时长等各项按键信息。
将记录的用户在扩展区域的操作S和在显示区域的操作T建立映射关系,并且将映射关系以配置文件或其它方式保存。在后续操作阶段,一旦在扩展区域检测到同类操作S,将由输入子系统直接将T事件还原和发送。
图12是根据本申请实施例的一种用户交互方法的流程示意图。用户交互方法可应用于配置有至少一个触摸屏的电子设备。所述至少一个触摸屏包括第一区域和第二区域,第一区域用于为第一应用提供显示输出以及提供触控输入;第二区域用于提供触控输入。电子设备可以是图2-图6之一所述的电子设备。
如图12所示,所述方法包括:在步骤1200,接收对第二区域的第一操作事件;第一操作事件是触控输入的事件。
在步骤1202,提供对第一区域的第二操作事件,以便所述电子设备根据所述第二操作事件进行动作;其中,所述第二操作事件根据第一操作事件映射得到。
在一个实施例中,所述提供对第一区域的第二操作事件包括,发送第二操作事件给第一应用,以便所述第一应用根据所述第二操作事件进行动作。
在一个实施例中,所述至少一个触摸屏包括第一触摸屏和第二触摸屏,第一区域位于第一触摸屏上,第二区域位于第二触摸屏上;所述方法包括将在第二区域的第一操作事件映射为对第一区域的第二操作事件。
在一个实施例中,所述第一区域和第二区域分别位于至少一个触摸屏中同一个触摸屏的不同部分;所述方法还包括将在第二区域的第一操作事件映射为对第一区域的第二操作事件;所述方法还包括将第一应用所对应的窗口配置在第一区域上。
在一个实施例中,所述第一区域和第二区域分别位于至少一个触摸屏中同一个触摸屏的不同部分;所述方法还包括利用第二应用接收第一操作事件,将在第二区域的第一操作事件映射为对第一区域的第二操作事件;所述方法还包括将第一应用所对应的窗口配置在第一区域上。
有关用户交互方法的实施细节可以参阅前文结合图1-图11的描述,此处不再赘述。
图13是本申请实施例的一种电子设备的结构示意图。如图13所示,电子设备包括处理器1310、存储器1320、至少一个触摸屏(比如触摸屏1330、触摸屏1340)。所述至少一个触摸屏包括第一区域和第二区域,第一区域用于为至少一个应用提供显示输出以及提供触控输入;第二区域用于提供触控输入。所述存储器1320用于存储计算机执行指令,当所述电子设备运行时,所述处理器1310执行所述存储器1320存储的所述计算机执行指令,以使所述电子设备执行图12所示的方法。
在一些实施例中,该终端还包括通信总线1350,其中,处理器1310可通过通信总线1350与存储器1320、至少一个触摸屏(可以是触摸屏1330、触摸屏1340)连接。
本申请的实施例中的方法步骤可以通过硬件的方式来实现,也可以由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块(例如上文的输入子系统、窗口管理器、表面合成器等等)组成,软件模块可以被存放于随机存取存储器(random accessmemory,RAM)、闪存、只读存储器(read-only memory,ROM)、可编程只读存储器(programmable rom,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
可以理解的是,在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分,并不用来限制本申请的实施例的范围。

Claims (20)

1.一种电子设备,所述电子设备包括:
至少一个触摸屏,所述至少一个触摸屏包括第一区域和第二区域,第一区域用于为第一应用提供显示输出以及提供触控输入;第二区域用于提供触控输入;
处理器,经配置用于接收对第二区域的第一操作事件,所述第一操作事件是触控输入的事件;还经配置用于根据所述第一操作事件提供对第一区域的第二操作事件,以便所述电子设备根据所述第二操作事件进行动作;其中,所述第二操作事件根据第一操作事件映射得到。
2.根据权利要求1所述的电子设备,其特征在于,所述处理器还经配置用于发送第二操作事件给所述第一应用,以便所述第一应用根据所述第二操作事件进行动作。
3.根据权利要求1或2所述的电子设备,其特征在于,所述至少一个触摸屏包括第一触摸屏和第二触摸屏,第一区域位于第一触摸屏上,第二区域位于第二触摸屏上;
所述处理器还经配置用于将在第二区域的第一操作事件映射为对第一区域的第二操作事件。
4.根据权利要求1或2所述的电子设备,其特征在于,
所述第一区域和第二区域分别位于至少一个触摸屏中同一个触摸屏的不同部分;
所述处理器还经配置用于通过事件输入子系统将在第二区域的第一操作事件映射为对第一区域的第二操作事件;
所述处理器还经配置用于将第一应用所对应的窗口配置在第一区域上。
5.根据权利要求1或2所述的电子设备,其特征在于,
所述第一区域和第二区域分别位于至少一个触摸屏中同一个触摸屏的不同部分;
所述处理器还经配置用于利用第二应用接收第一操作事件,将在第二区域的第一操作事件映射为对第一区域的第二操作事件;
所述处理器还经配置用于将第一应用所对应的窗口配置在第一区域上。
6.根据权利要求1或2所述的电子设备,其特征在于,
第一区域具有第一尺寸,第二区域具有第二尺寸,第一尺寸和第二尺寸构成等比例;
所述处理器还经配置用于按第二尺寸和第一尺寸的比例,将第一操作事件在第二区域的坐标映射为第二操作事件在第一区域的坐标。
7.根据权利要求1或2所述的电子设备,其特征在于,
第一区域具有第一尺寸,第二区域中的第三区域具有第三尺寸,第一尺寸和第三尺寸构成等比例;
所述处理器还经配置用于按第三尺寸和第一尺寸的比例,将第一操作事件在第三区域的坐标映射为第二操作事件在第一区域的坐标。
8.根据权利要求1或2所述的电子设备,其特征在于,
第一区域中的第四区域具有第四尺寸,第二区域中的第三区域具有第三尺寸,第四尺寸和第三尺寸构成等比例;
所述处理器还经配置用于按第三尺寸和第四尺寸的比例,将第一操作事件在第三区域的坐标映射为第二操作事件在第四区域的坐标。
9.根据权利要求1或2所述的电子设备,其特征在于,所述第一操作事件包括一次操作,所述第二操作事件包括两次或两次以上操作。
10.根据权利要求1或2所述的电子设备,其特征在于,处理器还经配置用于根据第一应用提供对第一区域的第二操作事件。
11.根据权利要求1或2所述的电子设备,其特征在于,电子设备还包括存储器,用于存储在第二区域的第一操作和在第一区域的第二操作之间的映射关系;
所述处理器还经配置用于根据所述映射关系和在第二区域的第一操作,提供对第一区域的第二操作事件。
12.一种用户交互方法,其特征在于,应用于配置有至少一个触摸屏的电子设备,所述至少一个触摸屏包括第一区域和第二区域,第一区域用于为第一应用提供显示输出以及提供触控输入;第二区域用于提供触控输入;所述方法包括:
接收对第二区域的第一操作事件;第一操作事件是触控输入的事件;
根据所述第一操作事件提供对第一区域的第二操作事件,以便所述电子设备根据所述第二操作事件进行动作;其中,所述第二操作事件根据第一操作事件映射得到。
13.根据权利要求12所述的方法,其特征在于,所述提供对第一区域的第二操作事件包括,发送第二操作事件给第一应用,以便所述第一应用根据所述第二操作事件进行动作。
14.根据权利要求12或13所述的方法,其特征在于,所述至少一个触摸屏包括第一触摸屏和第二触摸屏,第一区域位于第一触摸屏上,第二区域位于第二触摸屏上;
所述方法包括将在第二区域的第一操作事件映射为对第一区域的第二操作事件。
15.根据权利要求12或13所述的方法,其特征在于,所述第一区域和第二区域分别位于至少一个触摸屏中同一个触摸屏的不同部分;
所述方法还包括通过事件输入子系统将在第二区域的第一操作事件映射为对第一区域的第二操作事件;
所述方法还包括将第一应用所对应的窗口配置在第一区域上。
16.根据权利要求12或13所述的方法,其特征在于,所述第一区域和第二区域分别位于至少一个触摸屏中同一个触摸屏的不同部分;
所述方法还包括利用第二应用接收第一操作事件,将在第二区域的第一操作事件映射为对第一区域的第二操作事件;
所述方法还包括将第一应用所对应的窗口配置在第一区域上。
17.根据权利要求12或13所述的方法,其特征在于,所述提供对第一区域的第二操作事件包括,根据第一应用提供对第一区域的第二操作事件。
18.根据权利要求12或13所述的方法,其特征在于,所述方法还包括:记录用户在第二区域的操作事件和在第一区域的操作事件;保存在第二区域的操作事件和在第一区域的操作事件之间的映射关系;
所述提供对第一区域的第二操作事件包括,根据所述映射关系和在第二区域的第一操作事件提供对第一区域的第二操作事件。
19.一种计算机存储介质,其特征在于,所述计算机存储介质包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行权利要求12-18任一项所述的方法。
20.一种计算机程序产品,其特征在于,所述计算机程序产品包含的程序代码被电子设备中的处理器执行时,实现权利要求12-18任一项所述的方法。
CN201910841190.2A 2019-09-06 2019-09-06 一种用户交互方法及电子设备 Pending CN110806830A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910841190.2A CN110806830A (zh) 2019-09-06 2019-09-06 一种用户交互方法及电子设备
PCT/CN2020/104906 WO2021042910A1 (zh) 2019-09-06 2020-07-27 一种用户交互方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910841190.2A CN110806830A (zh) 2019-09-06 2019-09-06 一种用户交互方法及电子设备

Publications (1)

Publication Number Publication Date
CN110806830A true CN110806830A (zh) 2020-02-18

Family

ID=69487487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910841190.2A Pending CN110806830A (zh) 2019-09-06 2019-09-06 一种用户交互方法及电子设备

Country Status (2)

Country Link
CN (1) CN110806830A (zh)
WO (1) WO2021042910A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112269518A (zh) * 2020-11-17 2021-01-26 三星电子(中国)研发中心 触控方法和装置
WO2021042910A1 (zh) * 2019-09-06 2021-03-11 华为技术有限公司 一种用户交互方法及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593136A (zh) * 2013-10-21 2014-02-19 广东欧珀移动通信有限公司 单手操作大屏幕触控终端的方法、装置及触控终端
CN108319422A (zh) * 2017-01-18 2018-07-24 中兴通讯股份有限公司 一种多屏互动触控显示方法、装置、存储介质和终端
CN108459790A (zh) * 2018-05-01 2018-08-28 苏州鸥鹄智能科技有限公司 一种电子设备触控交互方法
CN108563379A (zh) * 2018-05-01 2018-09-21 苏州鸥鹄智能科技有限公司 一种电子设备触控交互方法
CN108595076A (zh) * 2018-05-01 2018-09-28 苏州鸥鹄智能科技有限公司 一种电子设备触控交互方法
CN108595075A (zh) * 2018-05-01 2018-09-28 苏州鸥鹄智能科技有限公司 一种电子设备触控交互方法
CN108992924A (zh) * 2018-08-21 2018-12-14 苏州蜗牛数字科技股份有限公司 一种触发有序触摸屏操作事件的方法
CN109062464A (zh) * 2018-06-27 2018-12-21 Oppo广东移动通信有限公司 触控操作方法、装置、存储介质和电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140134940A (ko) * 2013-05-15 2014-11-25 삼성전자주식회사 터치 스크린을 제어하는 휴대 단말 및 방법 및 이를 위한 시스템
CN110806830A (zh) * 2019-09-06 2020-02-18 华为技术有限公司 一种用户交互方法及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593136A (zh) * 2013-10-21 2014-02-19 广东欧珀移动通信有限公司 单手操作大屏幕触控终端的方法、装置及触控终端
CN108319422A (zh) * 2017-01-18 2018-07-24 中兴通讯股份有限公司 一种多屏互动触控显示方法、装置、存储介质和终端
CN108459790A (zh) * 2018-05-01 2018-08-28 苏州鸥鹄智能科技有限公司 一种电子设备触控交互方法
CN108563379A (zh) * 2018-05-01 2018-09-21 苏州鸥鹄智能科技有限公司 一种电子设备触控交互方法
CN108595076A (zh) * 2018-05-01 2018-09-28 苏州鸥鹄智能科技有限公司 一种电子设备触控交互方法
CN108595075A (zh) * 2018-05-01 2018-09-28 苏州鸥鹄智能科技有限公司 一种电子设备触控交互方法
CN109062464A (zh) * 2018-06-27 2018-12-21 Oppo广东移动通信有限公司 触控操作方法、装置、存储介质和电子设备
CN108992924A (zh) * 2018-08-21 2018-12-14 苏州蜗牛数字科技股份有限公司 一种触发有序触摸屏操作事件的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021042910A1 (zh) * 2019-09-06 2021-03-11 华为技术有限公司 一种用户交互方法及电子设备
CN112269518A (zh) * 2020-11-17 2021-01-26 三星电子(中国)研发中心 触控方法和装置
CN112269518B (zh) * 2020-11-17 2022-03-22 三星电子(中国)研发中心 触控方法和装置

Also Published As

Publication number Publication date
WO2021042910A1 (zh) 2021-03-11

Similar Documents

Publication Publication Date Title
CN107168712B (zh) 界面绘制方法、移动终端及计算机可读存储介质
KR102220085B1 (ko) 멀티윈도우 운용 방법 및 이를 지원하는 전자 장치
US8924885B2 (en) Desktop as immersive application
WO2019041779A1 (zh) 终端界面切换、移动、手势处理的方法、装置及终端
US20120304102A1 (en) Navigation of Immersive and Desktop Shells
US20100321323A1 (en) Method and apparatus for reducing multi-touch input error in portable communication system
US20190317658A1 (en) Interaction method and device for a flexible display screen
US20180181288A1 (en) Method for displaying information, and terminal equipment
WO2023005920A1 (zh) 分屏方法、装置及电子设备
WO2015184736A1 (zh) 一种触屏设备背景图变换的方法及终端
CN113179205A (zh) 图像分享方法、装置及电子设备
WO2021042910A1 (zh) 一种用户交互方法及电子设备
WO2022161281A1 (zh) 显示方法、装置和电子设备
CN112399010B (zh) 页面显示方法、装置和电子设备
US9588679B2 (en) Virtual viewport and fixed positioning with optical zoom
CN114090110A (zh) 应用程序启动方法、装置及电子设备
CN113794795A (zh) 信息共享方法、装置、电子设备及可读存储介质
CN113268182A (zh) 应用图标的管理方法和电子设备
CN112148167A (zh) 控件设置方法、装置和电子设备
CN112286612A (zh) 信息显示方法、装置及电子设备
CN112269501A (zh) 图标移动方法、装置及电子设备
WO2022143337A1 (zh) 显示控制方法、装置、电子设备和存储介质
CN115202524A (zh) 显示方法和装置
CN112578961B (zh) 应用标识显示方法及装置
CN113885748A (zh) 对象切换方法、装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination