CN110531864A - 一种手势交互方法、装置及终端设备 - Google Patents
一种手势交互方法、装置及终端设备 Download PDFInfo
- Publication number
- CN110531864A CN110531864A CN201910881606.3A CN201910881606A CN110531864A CN 110531864 A CN110531864 A CN 110531864A CN 201910881606 A CN201910881606 A CN 201910881606A CN 110531864 A CN110531864 A CN 110531864A
- Authority
- CN
- China
- Prior art keywords
- incoming event
- display area
- touch display
- terminal device
- touch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000003993 interaction Effects 0.000 title claims abstract description 43
- 230000004044 response Effects 0.000 claims abstract description 61
- 238000003825 pressing Methods 0.000 claims description 25
- 238000012545 processing Methods 0.000 claims description 23
- 238000003860 storage Methods 0.000 claims description 20
- 238000011022 operating instruction Methods 0.000 claims description 14
- 230000006399 behavior Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 9
- 230000002441 reversible effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 description 36
- 238000004891 communication Methods 0.000 description 35
- 230000006854 communication Effects 0.000 description 35
- 238000010586 diagram Methods 0.000 description 19
- 210000003811 finger Anatomy 0.000 description 15
- 238000007726 management method Methods 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 14
- 230000001960 triggered effect Effects 0.000 description 14
- 238000013461 design Methods 0.000 description 13
- 210000000988 bone and bone Anatomy 0.000 description 10
- 238000010295 mobile communication Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 230000009471 action Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 229920001621 AMOLED Polymers 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 210000004247 hand Anatomy 0.000 description 4
- 230000007774 longterm Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 210000003813 thumb Anatomy 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000010985 leather Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- VIKNJXKGJWUCNN-XGXHKTLJSA-N norethisterone Chemical compound O=C1CC[C@@H]2[C@H]3CC[C@](C)([C@](CC4)(O)C#C)[C@@H]4[C@@H]3CCC2=C1 VIKNJXKGJWUCNN-XGXHKTLJSA-N 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000000392 somatic effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
- G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
- H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
- H04M1/0268—Details of the structure or mounting of specific components for a display module assembly including a flexible display panel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Environmental & Geological Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- User Interface Of Digital Computer (AREA)
- Telephone Function (AREA)
Abstract
本申请实施例提供了一种手势交互方法和装置，该方法应用于具有折叠屏的终端设备，所述终端设备的折叠屏在折叠状态下包括第一触控显示区域、第二触控显示区域和第三触控显示区域；所述第三触控显示区域在所述第一触控显示区域和所述第二触控显示区域之间；所述方法包括确定所述第一触控显示区域和所述第二触控显示区域所形成的夹角的角度值小于设定的角度值；获取作用于所述第三触控显示区域的输入事件；响应于所述输入事件，触发所述终端设备执行所述输入事件对应的操作指令。该方法可以响应作用于终端设备的折叠屏的折叠区域的手势操作，有利于丰富终端设备的功能，提升终端设备的操作体验。
Description
技术领域
本发明涉及通信领域，尤其涉及一种手势交互方法、装置及终端设备。
背景技术
随着终端的形态多样化，折叠屏，异形屏等各种产品形态的终端进入市场，那么传统的人机交互方式已经不能满足用户需求，例如，终端设备采用折叠屏，当折叠屏处于折叠状态时，该终端设备的折叠屏的折叠区域存在可操作区域，但现有技术中终端设备对折叠区域的操作局限较大，没有专门针对折叠区域设计相关的功能操作，那么如何对具有折叠屏的终端设备的折叠区域的交互方式进行设计，以提升用户的操控感和操作体验成为待解决的问题。
发明内容
本申请实施例提供了一种手势交互方法、装置及终端设备，其中，所述手势交互方法应用于具有折叠屏的终端设备，所述终端设备的折叠屏在折叠状态下包括第一触控显示区域、第二触控显示区域和第三触控显示区域，其中，所述第三触控显示区域连接在所述第一触控显示区域和所述第二触控显示区域之间。该手势交互方法可以确定所述第一触控显示区域和所述第二触控显示区域所形成的夹角的角度值小于设定的角度值，获取作用于所述第三触控显示区域的输入事件，并响应于所述输入事件，触发所述终端设备执行所述输入事件对应的操作指令，有利于丰富终端设备的功能，提升终端设备的操控体验。
第一方面，本申请实施例提供一种手势交互方法，应用于具有折叠屏的终端设备，终端设备的折叠屏在折叠状态下，包括第一触控显示区域、第二触控显示区域和第三触控显示区域；所述第三触控显示区域在所述第一触控显示区域和所述第二触控显示区域之间。该方法可以确定所述第一触控显示区域和所述第二触控显示区域所形成的夹角的角度值小于设定的角度值，则表示终端当前获取作用于第三触控显示区域的输入事件，并触发所述终端设备执行所述输入事件对应的操作指令。该方法可以解决具有折叠屏终端设备的折叠区域存在触控响应区域时，对用户的输入事件进行处理的问题，有利于提升终端设备的操控体验。
在一种可能的设计中，所述第三触控显示区域包括所述终端设备的侧边区域。
在一种可能的设计中，通过检测用户在所述第三触控显示区域输入的手势操作，确定所述用户作用于所述第三触控显示区域的输入事件。采用该设计，有利于确定用户在第三触控显示区域执行的手势操作。
在一种可能的设计中，用户在第三触控显示区域输入的手势操作包括单手握持、双手握持、点击操作、滑动操作、按压操作、拖动操作和缩放操作中的一种或多种。
在一种可能的设计中，终端设备针对正在运行的应用层的应用程序进行应用注册回调；响应于所述输入事件，确定所述输入事件对应的应用操作指令；通过回调调用或广播通知的方式触发所述正在运行的应用层的应用程序执行所述应用操作指令。采用该设计，可以确定用户的手势操作是针对应用层的应用程序的操作，以使应用层的应用程序响应于用户的手势操作，实现相应的功能。
在一种可能的设计中，终端设备可以将所述输入事件分发至系统层的应用；响应于所述输入事件，触发所述系统层的应用执行所述输入事件对应的系统操作指令。采用该设计，可以确定用户的手势操作是针对系统的操作，以使系统响应于用户的手势操作，实现相应的系统功能。
在一种可能的设计中，终端设备可以获取所述输入事件的特征参数，并根据所述输入事件的特征参数触发与所述第一触控显示区域和/或所述第二触控显示区域关联的任务，执行所述输入事件对应的操作指令。采用该设计，当终端设备的折叠屏处于折叠状态时，有利于确定用户作用于折叠区域的输入事件是针对哪一个触控显示区域的操作。
在一种可能的设计中，操作指令包括截屏、调节音量、翻页、切换窗口、打开或退出应用程序、快进或快退中的一种或多种。
第二方面，本申请实施例提供一种手势交互装置，该装置具有实现第一方面所提供的手势交互方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第三方面，本申请实施例提供一种终端设备，该终端设备包括处理器和存储器；该存储器用于存储计算机程序，该处理器执行存储器中存储的计算机程序，以使该终端设备执行第一方面或第一方面中任一种可能实现方式中的方法。
第四方面，本申请实施例提供一种可读存储介质，该可读存储介质包括程序或指令，当所述程序或指令在计算机上运行时，使得计算机执行第一方面或第一方面中任一种可能实现方式中的方法。
上述方面中的芯片系统可以是片上系统(system on chip，SOC)，也可以是基带芯片等，其中基带芯片可以包括处理器、信道编码器、数字信号处理器、调制解调器和接口模块等。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种终端设备的结构示意图；
图2a至图2c是本申请实施例提供的具有折叠屏的终端设备的不同形态的示意图；
图3是本申请实施例提供的具有异形屏的终端设备的示意图；
图4a和图4b是本申请实施例提供的手势交互的应用场景图；
图5是本申请实施例提供的一种终端设备的软件系统和硬件层的结构示意图；
图6是本申请实施例提供的一种手势交互方法的流程示意图；
图7是本申请实施例提供的一种将输入事件转换为手势事件的流程示意图；
图8是本申请实施例提供的另一种将输入事件转换为手势事件的流程示意图；
图9是本申请实施例提供的一种触发手势事件对应的功能操作的流程示意图；
图10是本申请实施例提供的另一种触发手势事件对应的功能操作的流程示意图；
图11a是本申请实施例提供的一种具有折叠屏的终端设备的应用示意图；
图11b是本申请实施例提供的另一种具有折叠屏的终端设备的应用示意图；
图12是本申请实施例提供的另一种手势交互方法的流程示意图；
图13是本申请实施例提供的一种手势交互装置的结构示意图；
图14是本申请实施例提供的另一种手势交互装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
以下描述终端设备和终端设备的实现方法的实施例，其中，该终端设备可以是移动电话(又称智能终端设备)、平板电脑(tablet personal computer)、个人数字助理(personal digital assistant)、电子书阅读器(e-book reader)或虚拟现实交互设备(virtual reality interactive device)等，该终端设备可以接入各种类型的通信系统中，例如：长期演进(long term evolution，LTE)系统，未来的第五代(5th Generation，5G)系统，新一代无线接入技术(new radio access technology，NR)，及未来的通信系统，如6G系统；还可以是无线局域网(wireless local area networks，WLAN)等。
为了方便说明，在以下实施例中，以智能终端设备为例进行说明。
本申请实施例提供一种终端设备的结构示意图，请参见图1，该终端设备100的结构示意图，其中，终端设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
可以理解的是，本发明实施例示意的结构并不构成对终端设备100的具体限定。在本申请另一些实施例中，终端设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一种实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
在一种实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronousreceiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。
I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一种实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现终端设备100的触摸功能。
I2S接口可以用于音频通信。在一种实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一种实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一种实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一种实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一种实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一种实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一种实施例中，处理器110和摄像头193通过CSI接口通信，实现终端设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现终端设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一种实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。
USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为终端设备100充电，也可以用于终端设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他终端设备，例如AR设备等。
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对终端设备100的结构限定。在本申请另一些实施例中，终端设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一种有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一种无线充电的实施例中，充电管理模块140可以通过终端设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为终端设备供电。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在一种实施例中，电源管理模块141也可以设置于处理器110中。在另一种实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
终端设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。终端设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在终端设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(lownoise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一种实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一种实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一种实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在终端设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
在一种实施例中，终端设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得终端设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。
终端设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等，其中，显示屏194包括显示面板，显示屏具体可以包括折叠屏、异形屏等，显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一种实施例中，终端设备100可以包括1个或N个显示屏194，N为大于1的正整数。
终端设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一种实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一种实施例中，终端设备100可以包括1个或N个摄像头193，N为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当终端设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。终端设备100可以支持一种或多种视频编解码器。这样，终端设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现终端设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展终端设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储终端设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行终端设备100的各种功能应用以及数据处理。
终端设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一种实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。终端设备100可以通过扬声器170A收听音乐，或收听免提通话。
受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当终端设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。
麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。终端设备100可以设置至少一个麦克风170C。在另一些实施例中，终端设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，终端设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动终端设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。
压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一种实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。终端设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，终端设备100根据压力传感器180A检测所述触摸操作强度。终端设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一种实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
陀螺仪传感器180B可以用于确定终端设备100的运动姿态。在一种实施例中，可以通过陀螺仪传感器180B确定终端设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测终端设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消终端设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。
气压传感器180C用于测量气压。在一种实施例中，终端设备100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。
磁传感器180D包括霍尔传感器。终端设备100可以利用磁传感器180D检测翻盖皮套的开合。在一种实施例中，当终端设备100是翻盖机时，终端设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。
加速度传感器180E可检测终端设备100在各个方向上(一般为三轴)加速度的大小。当终端设备100静止时可检测出重力的大小及方向。还可以用于识别终端设备姿态，应用于横竖屏切换，计步器等应用。
距离传感器180F，用于测量距离。终端设备100可以通过红外或激光测量距离。在一种实施例中，拍摄场景，终端设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。终端设备100通过发光二极管向外发射红外光。终端设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定终端设备100附近有物体。当检测到不充分的反射光时，终端设备100可以确定终端设备100附近没有物体。终端设备100可以利用接近光传感器180G检测用户手持终端设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。终端设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测终端设备100是否在口袋里，以防误触。
指纹传感器180H用于采集指纹。终端设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
温度传感器180J用于检测温度。在一种实施例中，终端设备100利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，终端设备100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，终端设备100对电池142加热，以避免低温导致终端设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，终端设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。
触摸传感器180K，也称“触控器件”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于终端设备100的表面，与显示屏194所处的位置不同。
在一种实施例中，由触摸传感器180K与显示屏194组成的触控屏可以位于终端设备100的侧边区域或折叠区域，用于当用户手接触触控屏时，确定用户触碰的位置以及触碰的手势；例如，用户手持终端设备时，可以通过大拇指点击触控屏上的任一位置，则触摸传感器180K可以检测到用户的点击操作，并将该点击操作传递给处理器，处理器根据该点击操作确定该点击操作用于唤醒屏幕。
骨传导传感器180M可以获取振动信号。在一种实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。在一种实施例中，骨传导传感器180M也可以设置于耳机中，结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音信号，实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息，实现心率检测功能。
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。终端设备100可以接收按键输入，产生与终端设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和终端设备100的接触和分离。终端设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。终端设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一种实施例中，终端设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在终端设备100中，不能和终端设备100分离。
当终端设备采用异形屏或折叠屏时，终端设备的触控显示屏可以包括多个触控显示区域，例如，终端设备的折叠屏在折叠状态下包括折叠区域，该折叠区域也可以实现触控响应。但是，现有技术中终端设备对特定的触控显示区域的操作局限较大，没有专门针对特定的触控显示区域的相关操作，基于此，本申请实施例提供一种手势交互方法，该手势交互方法中的终端设备的侧边区域或折叠区域存在触控响应区域，终端设备可以获取该触控响应区域的输入事件，并响应于所述输入事件，触发所述终端设备执行所述输入事件对应的操作指令，以实现对终端设备的侧边区域或折叠区域的手势操作，提升终端设备的操控体验。
图2a至图2c所示的实施例提供了终端设备的触控显示屏的不同形态，其中，终端设备的触控显示屏可以是折叠屏，如图2a和图2b所示。该终端设备的折叠屏200可以处于两种不同的形态，包括展开形态和折叠形态。当折叠屏200处于展开形态时，如图2a所示，折叠屏200在展开形态下的包括一个触控显示区域200A，用户可以在触控显示区域200A内输入手势操作。例如，用户可以点击该触控显示区域中的应用程序的图标，终端设备响应于该手势操作将在该触控显示区域显示对应的应用程序的用户界面。
其中，当折叠屏200处于折叠形态时，如图2b所示，该折叠屏200在折叠状态下包括第一触控显示区域200B、第二触控显示区域200C和第三触控显示区域200D。其中，第一触控显示区域200B可以是用户使用该终端设备时观看的其中一面，第二触控显示区域200C可以是折叠屏在折叠状态下第一触控显示区域200B的相对面，第三触控显示区域200D为折叠屏200在折叠状态下连接第一触控显示区域200B和第二触控显示区域200C的连接面，如图2b所示。其中，折叠屏200在折叠状态下，第一触控显示区域200B和第二触控显示区域200C所形成的夹角的角度值小于设定的角度值，例如，当第一触控显示区域200B和第二触控显示区域200C所形成的夹角小于60度时，确定折叠屏200处于折叠状态。可选的，当折叠屏200完全折叠后，即第一触控显示区域200B和第二触控显示区域200C所形成的夹角约等于0度时，如图2b右侧的折叠屏所示。当折叠屏200处于折叠形态时，形成的第三触控显示区域200D可以获取用户作用于该区域的输入事件(如获取用户的手势操作等)。例如，用户的手指可以在第三触控显示区域上下滑动，终端设备响应于该手势操作，可以调整系统音量的大小。
可选的，折叠屏200的第三触控显示区域200D还可以包括终端设备的侧边区域。例如，当折叠屏200处于展开形态时，位于终端设备的侧边的第三触控显示区域200D如图2c所示，所述第三触控显示区域为图2c中的虚线部分包围的区域，所述第三触控显示区域200D可以获取用户作用于该区域的输入事件(如获取用户的手势操作等)。可以理解的是，图2c所示的终端设备的侧边区域为一种示例，位于终端设备的侧边的第三触控显示区域还可以包括其他侧边区域，本实施例不作限制。
可选的，终端设备的触控显示屏还可以是异形屏，如图3所示，该异形屏包括终端设备的第一触控显示区域300A，两侧的第二触控显示区域300B和第三触控显示区域300C，其中，第一触控显示区域300A可以是用户使用该终端设备时观看的一面，两侧的第二触控显示区域300B和第三触控显示区域300C是用户观看第一触控显示区域300A时手持终端设备的两侧，如图3所示。其中，第二触控显示区域300B和第三触控显示区域300C可以获取用户作用于该区域的输入事件(如获取用户的手势操作等)。例如，当用户单手握持终端设备时，用户的大拇指可以在第二触控显示区域300B连续点击两次，终端设备响应于该手势操作，可以实现对第一触控显示区域300A进行截屏。可以理解的是，第二触控显示区域300B和第三触控显示区域300C可以是平面的，也可以是从第一触控显示区域300A向两侧方向上延伸的具有一定弧度的面。
基于上述对终端设备的触控显示屏的不同形态的描述，图4a和图4b所示的实施例提供了用户手持终端设备进行手势交互的应用场景。本实施例所述的手势交互方式包括握持方式和手势触发方式。其中，握持方式表示用户握持终端设备的方式，可以包括单手握持和双手握持，例如，用户单手握持终端设备时，通过手指触发终端设备的触控面板(touchpanel，TP)响应区域以触发手势操作。手势触发方式表示用户对触控显示屏执行的手势操作，可以包括但不限于滑动操作、按压操作、点击操作、拖动操作和缩放操作等。其中，滑动操作的参数可以包括但不限于滑动时手指的个数、滑动的距离、滑动的速度等。例如，用户在TP响应区域触发的手势操作为用户通过手指在图2b所示的第三触控区域200D滑动10毫米。按压操作的参数可以包括但不限于按压时手指的个数、手指按压的力度等，例如，当用户用力按压如图2b所示的第三触控显示区域200D时，该触控显示区域可以检测到用户的手势操作为按压操作。点击操作的参数可以包括但不限于点击的次数、点击的速度等，例如，当用户在预设的时间段内连续多次点击如图2b所示的第三触控显示区域200D时，该触控显示区域可以检测到用户的手势操作为连续点击操作。拖动操作的参数可以包括但不限于拖动的距离、拖动的速度等，例如，用户可以拖动如图2a所示的第一触控显示区域200A内的图标以改变图标在该触控显示区域内的位置。缩放操作的参数可以包括但不限于缩放时手指的个数、缩放的范围等，例如，用户可以在如图2a所示的第一触控显示区域200A通过大拇指和食指对该触控显示区域执行缩放操作。
基于上述对手势交互方式的描述，下面以图2b的折叠屏为例介绍用户手持终端设备进行手势交互的场景，如图4a所示。图4a为折叠屏处于折叠形态时，用户对第三触控显示区域200D输入手势操作的应用场景，在该应用场景中，折叠屏的第一触控显示区域200B面向用户，第二触控显示区域200C在折叠状态下位于第一触控显示区域200D的背面，第三触控显示区域200D连接了第一触控显示区域200B和第二触控显示区域200C，如图4a所示。其中，第三触控显示区域200D存在TP响应区域，则第三触控显示区域200D可以获取用户作用于该区域的手势操作，例如，用户作用于该第三触控显示区域200D的手势操作为在第三触控显示区域200D内的TP响应区域向右滑动10毫米，如图4a所示。
下面以图3的异形屏为例介绍用户手势终端设备进行手势交互的场景，如图4b所示。图4b用户采用单手(右手)握持终端设备的场景，该异形屏的第二触控显示区域300B和第三触控显示区域300C存在TP响应区域，则可以检测到该场景下用户与终端设备的手势交互为单手握持终端设备。例如，用户采用右手握持终端设备并利用大拇指在第二触控显示区域300B的TP响应区域内向上滑动，则第二触控显示区域300B通过TP响应区域检测到该场景下用户与终端设备的手势交互为单手握持终端设备并在第二触控显示区域300B内向上滑动。
下面结合图4a和图4b所示的用户手持终端设备进行手势交互的场景，示例性地说明终端设备软件系统和硬件层的结构，请参见图5，终端设备软件系统和硬件层主要包括以下三个模块，包括硬件层，内核空间和用户空间。其中，硬件层用于根据用户操作产生对应的硬件中断信号，硬件层可以包括但不限于触控显示屏、传感器等。内核空间用于接收和上报硬件层产生的硬件中断信息，并根据硬件中断信息生成输入事件，将输入事件上传至用户空间；其中，内核空间可以包括多个驱动，如TP驱动、传感器驱动等。用户空间用于输入事件的读取、加工以及分发，用户空间包括设备节点和应用程序框架层等；其中，设备节点为连接内核空间和用户空间的枢纽。下面对用户手持终端设备进行手势交互的软硬件工作流程进行具体描述，可以包括以下步骤：
当硬件层的触控显示屏中的TP响应区域接收到用户输入的手势操作时，产生相应的硬件中断信号，并将所述硬件中断信号发送至内核空间；
内核空间接收到所述硬件中断信号后，可以将该硬件中断信号加工成输入事件，该输入事件包括触摸坐标，触摸操作的时间戳等信息，并将所述输入事件上报至用户空间；
用户空间中的设备节点可以获取所述输入事件，再通过应用程序框架层对所述输入事件进行处理以响应用户输入的手势操作。
其中，以图4a中的折叠屏为例，用户在第三触控显示区域输入手势操作，所述手势操作为长按两秒并向下滑动，则硬件层将产生相应的硬件中断信号，并将该硬件中断信号发送至内核空间。内核空间接收到该硬件中断信号后，将该硬件中断信号加工成输入事件，所述输入事件包括手势操作的触发区域为第三触控显示区域，手势类型为按压操作和滑动操作。用户空间获取所述输入事件后，调用应用程序框架层，检测到终端设备当前没有正在运行的应用程序，则用户空间将触发系统行为，该输入事件对应的系统行为是解锁屏幕。终端设备响应于所述输入事件，将解锁屏幕。
下面将详细介绍本申请实施例提供的一种手势交互方法，请参见图6，该手势交互方法可以应用于具有折叠屏或异形屏的终端设备，具体可以包括以下步骤：
S601，确定所述第一触控显示区域和所述第二触控显示区域所形成的夹角的角度值小于设定的角度值。
当终端设备的触控显示屏为折叠屏时，该终端设备的折叠屏在折叠状态下包括第一触控显示区域、第二触控显示区域和第三触控显示区域，其中，第三触控显示区域在第一触控显示区域和第二触控显示区域之间，例如，图2b所示的终端设备的折叠屏在折叠状态下，第三触控显示区域200D在第一触控显示区域200B和第二触控显示区域200C之间。其中，当第一触控显示区域和第二触控显示区域所形成的夹角的角度值小于设定的角度值时，可以确定所述终端设备的折叠屏处于折叠状态。例如，当第一触控显示区域和第二触控显示区域之间的夹角小于60度时，可以确定终端设备的折叠屏处于折叠状态。可以理解的是，上述第三触控显示区域即为终端设备的折叠屏在折叠状态下产生的折叠区域，该折叠区域可以获取用户的输入事件。可选的，当终端设备的触控显示屏为异形屏时，该终端设备的第三触控显示区域可以是异形屏的侧边区域，例如，图3所示的终端设备的两侧的触控显示区域300B和/或触控显示区域300C。
S602，获取作用于所述第三触控显示区域的输入事件。
第三触控显示区域包括TP响应区域，该TP响应区域用于检测用户在第三触控显示区域输入的手势操作，其中，用户输入的手势操作可以包括但不限于滑动操作、按压操作、点击操作、拖动操作和缩放操作等。例如，图4a所示的第三触控显示区域200D可以用于检测用户输入的手势操作(如滑动操作、按压操作等)。其中，用户输入的手势操作可以通过触摸传感器采集得到，例如，TP响应区域触发硬件层的触摸传感器采集用户输入的手势操作，硬件层根据采集到的手势操作生成相应的硬件中断信号。
可选的，硬件层产生相应的硬件中断信号后，可以将硬件中断信号传输至内核空间。内核空间获取硬件中断信号后，可以根据硬件中断信号对应的手势操作确定用户作用于第三触控显示区域的输入事件，所述输入事件包括事件类型、事件触发时间、操作数据等参数。例如，当TP响应区域检测到用户在第三触控显示区域执行手势操作时，假设该手势操作为用户的手指在图4a中折叠屏的第三触控显示区域200D中的指定区域向右滑动10毫米，则触摸传感器将产生相应的硬件中断信号并将该硬件中断信号传输至内核空间。内核空间根据该硬件中断信号生成输入事件，该输入事件的事件类型为滑动操作，事件触发时间为1秒，操作数据为向右滑动10毫米。
可选的，当内核空间接收到输入事件后，需要将所述输入事件进行封装，其中，将所述输入事件进行封装可以是内核空间将所述输入事件直接转换为手势事件，或者，将所述输入事件上报给用户空间，由用户空间再将所述输入事件转换为手势事件。手势事件为可以被内核空间或用户空间读取并处理的事件，包括了手势操作以及响应该手势操作的对象。在一种可行的实现方式中，内核空间可以将所述输入事件直接转换为手势事件，涉及到的软件模块包括内核空间和用户空间，如图7所示，具体可以包括以下步骤：
s11，内核空间采用算法识别输入事件，并将所述输入事件转换为手势事件；
s12，内核空间将所述手势事件上报至用户空间。
其中，内核空间的TP驱动接收到输入事件后，将所述输入事件输入至内核空间的算法识别模块，该算法识别模块可以采用算法(如匹配算法、基于神经网络的算法等)识别输入事件，确定所述输入事件的事件类型、事件触发时间和触控数据等，并将所述输入事件转换为手势事件；例如，当输入事件包括事件类型为滑动触发，事件触发时间为1秒，触控数据为向上滑动10毫米时，内核空间采用算法识别该输入事件，并将该输入事件转换为手势事件，手势事件包括手势操作为用户的手指在触控响应区域向上滑动10毫米，响应该手势操作的对象为操作系统。
在另一种可行的实现方式中，内核空间可以将所述输入事件上报给用户空间，由用户空间再将所述输入事件转换为手势事件，涉及到的软件模块包括内核空间和用户空间，如图8所示，具体可以包括以下步骤：
s21，内核空间将输入事件上报至用户空间；
s22，用户空间采用算法识别所述输入事件，并将所述输入事件转换为手势事件。
其中，内核空间接收到输入事件后，不对输入事件执行相关操作，直接将所述输入事件上报至用户空间，用户空间中的应用程序框架层可以采用算法识别该输入事件，确定所述输入事件的事件类型、事件触发时间和触控数据等，并将所述输入事件转换为手势事件，所述手势事件包括了手势操作以及响应该手势操作的对象；例如，当输入事件包括事件类型为点击触发，事件触发时间为1秒，触控数据为连续点击两次时，用户空间采用算法识别该输入事件，并将该输入事件转换为手势事件，手势事件包括手势操作为用户的手指在触控响应区域连续点击两次，响应该手势操作的对象为操作系统。可以理解的是，区别于图7所示的实施例中内核空间采用算法识别输入事件，并将所述输入事件转换为手势事件，图8所示的实施例中为用户空间采用算法识别输入事件，并将所述输入事件转换为手势事件，两种实施例的处理流程不同，但是得到的结果都是用户空间确定手势事件，以便进一步响应所述手势事件以执行手势事件对应的功能操作。
S603，响应于所述输入事件，触发所述终端设备执行所述输入事件对应的操作指令。
终端设备获取作用于第三触控显示区域的输入事件后，可以触发终端设备执行对应的操作指令，其中，终端设备可以根据输入事件的事件类型、事件触发时间、操作数据等参数，执行对应的操作指令。其中，所述操作指令可以包括但不限于截屏、音量调节、翻页、切换窗口、打开或退出应用程序、快进或快退等操作。例如，当输入事件为连续两次点击操作时，对应的操作指令为截屏。由于输入事件对应的操作指令可以是针对系统层应用的系统操作指令，或者是针对应用层的应用程序的应用操作指令。若终端设备当前正在运行应用程序，则S603具体可以包括以下步骤：
针对正在运行的应用层的应用程序进行应用注册回调；
响应于所述输入事件，确定所述输入事件对应的应用操作指令；
通过回调调用或广播通知的方式触发所述正在运行的应用层的应用程序执行所述应用操作指令。
若终端设备当前没有正在运行的应用程序，则S603具体可以包括以下步骤：
将所述输入事件分发至系统层的应用；
响应于所述输入事件，触发所述系统层的应用执行所述输入事件对应的系统操作指令。
其中，当终端设备存在正在运行的应用程序时，可以确定所述输入事件为针对正在运行的应用程序的操作，则根据所述输入事件确定输入事件对应的应用操作指令，并触发正在运行的应用程序执行对应的应用操作指令。例如，输入事件为连续两次点击操作，终端设备当前正在运行的应用程序为视频播放应用程序，则该输入事件对应的应用操作指令为视频截图，终端设备将触发该视频播放应用程序执行视频截图操作以获取当前正在播放的视频的截图。当终端设备不存在正在运行的应用程序时，可以确定所述输入事件对应系统层的应用的系统操作指令，则根据所述输入事件触发系统层的应用执行对应的系统操作指令。例如，输入事件为长按两秒并沿着第三触控显示区域的长边滑动10毫米，终端设备检测到当前没有正在运行的应用程序，则确定该输入事件对应的系统操作指令为解锁屏幕，终端设备的系统将解锁屏幕以显示用户界面。
具体的，终端设备的软件系统中的用户空间可以对输入事件转换的手势事件进行分发，以触发手势事件对应的功能操作，其中，对手势事件的分发可以根据手势事件的类型和信息，直接触发系统行为，或者，通过应用注册回调触发应用的自定义的行为。在一种可行的实现方式中，用户空间响应于手势事件，触发系统行为时，涉及到的软件模块包括用户空间，如图9所示，可以包括以下步骤：
s31，应用程序框架层将所述手势事件进行分发；
s32，应用程序框架层根据所述手势事件的类型和信息，触发系统行为。
其中，事件管理器可以管理手势事件，系统行为直接由应用程序框架层进行事件分发，以执行相应的功能操作，例如，手势事件为用力按压后再点击一次，则该手势事件对应的功能操作为窗口切换；又例如，手势事件为向下慢速滑动10毫米，则该手势事件对应的功能操作为降低音量。
在另一种可行的实现方式中，用户空间响应于所述手势事件，通过应用注册回调触发应用的自定义的行为时，涉及到的软件模块包括用户空间和应用程序层，如图10所示，可以包括以下步骤：
s41，应用程序层采用应用注册回调机制，将应用添加至应用程序层；
s42，应用程序框架层通知应用以触发应用行为；
s43，应用程序层中的应用执行对应的功能操作。
其中，采用应用注册回调机制，首先由应用程序层提交注册信息至应用程序架构层的事件管理器，然后当应用程序框架层响应于手势事件，触发应用行为时，通过回调调用、广播等方式通知应用以触发应用自定义的行为，例如，当手势事件为手指用力按压2秒后向下滑动10毫米，用户空间将识别该手势操作用于触发相机应用，则通过调用应用程序框架层的接口，启动相机应用，进而通过调用内核空间启动摄像头驱动，通过摄像头捕获图像或视频。
可选的，当终端设备采用折叠屏，且折叠屏处于折叠状态时，由于存在第一触控显示区域和第二触控显示区域，那么当检测到作用于第三触控显示区域的输入事件时，需要判断该输入事件对应的操作指令是针对哪一个触控显示区域的操作指令。S603具体可以包括以下步骤：
获取所述输入事件的特征参数，所述特征参数包括按压力度、滑动方向、作用位置和触摸次数中的一种或多种；
根据所述输入事件的特征参数触发与所述第一触控显示区域和/或所述第二触控显示区域关联的任务，执行所述输入事件对应的操作指令。
其中，当检测到作用于第三触控显示区域的输入事件时，终端设备可以获取输入事件的特征参数，其中，输入事件的特征参数用于指示用户在第三触控显示区域输入手势操作时，具体是对哪一个触控显示区域进行的手势操作。所述输入事件的特征参数可以包括但不限于按压力度、滑动方向、作用位置和触摸次数等。例如，终端设备可以预先设置用户作用于第三触控显示区域的第一位置的输入事件用于触发针对第一触控显示区域关联的任务执行对应的操作指令，用户作用于第三触控显示区域的第二位置的输入事件用于触发针对第一触控显示区域关联的任务执行对应的操作指令，如图11a所示。又例如，终端设备可以预先设置用户面向第一触控显示区域时，在第三触控显示区域向右滑动用于触发针对第一触控显示区域关联的任务执行对应的操作指令，在第三触控显示区域向左滑动用于触发针对第二触控显示区域关联的任务执行对应的操作指令，如图11b所示。根据所述输入事件的特征参数可以确定目标触控显示区域，进而触发终端设备针对所述目标触控显示区域关联的任务执行所述输入事件对应的操作指令。其中，目标触控显示区域关联的任务包括正在运行并显示在目标触控显示区域的应用程序，例如，目标触控显示区域关联的任务可以是视频应用程序正在播放视频。
举例来说，当前终端设备的第一触控显示区域关联的任务为音乐应用程序正在播放音乐，第二触控显示区域关联的任务为使用微信应用程序与其他微信用户进行即时通讯。假设用户在使用微信的过程中接到其他微信用户发送的视频通话请求，用户需要降低正在播放的音乐的音量，以使用户的通话不受音乐干扰。则用户可以在第三触控显示区域的第一位置输入手势操作，例如在所述第一位置内向左滑动10毫米。终端设备根据输入事件以及输入事件的特征参数，确定目标触控显示区域为第一触控显示区域，触发终端设备降低音乐应用程序正在播放的音乐的音量。
可见，本申请实施例提供一种手势交互方法，该手势交互方法中的终端设备的侧边区域或折叠区域存在触控响应区域，通过获取该触控响应区域的输入事件，并将输入事件转换为手势事件，再根据手势事件触发对应的操作，以实现对终端设备的侧边区域或折叠区域的手势操作，提升终端设备的操控体验。
结合图6所示的实施例中的描述，图12所示的实施例提供了一种在终端设备操作手势交互方法的流程示意图，以异形屏手机为例，当用户单手握持手机时，处理器控制触控响应区域进行感应；处理器对触控响应区域进行手势识别，确定用户手指在手机侧边屏上的握持方式和手势触发方式，例如，用户单手握持手机，手指在侧边屏上下滑动；当确定用户手指在侧边屏的手势操作后，检测当前运行的应用程序，例如，检测到当前运行的应用程序为相机应用，则将用户的手势操作和当前的应用程序相关联，确定预先定义的该手势事件对应的操作为调节焦距，则调用相机应用执行该操作，调节当前相机镜头的焦距，实现焦距调节的功能。
本申请实施例提供一种手势交互装置，如图13所示。该手势交互装置1300可以用于执行图6所述的手势交互方法，包括：
确定单元1301，用于确定所述第一触控显示区域和所述第二触控显示区域所形成的夹角的角度值小于设定的角度值；
获取单元1302，用于获取作用于所述第三触控显示区域的输入事件；
处理单元1303，用于响应于所述输入事件，触发所述终端设备执行所述输入事件对应的操作指令。
在一种实现方式中，所述第三触控显示区域包括所述终端设备的侧边区域。
在一种实现方式中，所述获取单元1302具体可以用于：
检测用户在所述第三触控显示区域输入的手势操作；
根据所述手势操作确定所述用户作用于所述第三触控显示区域的输入事件。
在一种实现方式中，所述手势操作包括单手握持、双手握持、点击操作、滑动操作、按压操作、拖动操作和缩放操作中的一种或多种。
在一种实现方式中，所述处理单元1303具体可以用于：
针对正在运行的应用层的应用程序进行应用注册回调；
响应于所述输入事件，确定所述输入事件对应的应用操作指令；
通过回调调用或广播通知的方式触发所述正在运行的应用层的应用程序执行所述应用操作指令。
在一种实现方式中，所述处理单元1303具体可以用于：
将所述输入事件分发至系统层的应用；
响应于所述输入事件，触发所述系统层的应用执行所述输入事件对应的系统操作指令。
在一种实现方式中，所述处理单元1303还用于：
获取所述输入事件的特征参数，所述特征参数包括按压力度、滑动方向、作用位置和触摸次数中的一种或多种；
根据所述输入事件的特征参数触发与所述第一触控显示区域和/或所述第二触控显示区域关联的任务，执行所述输入事件对应的操作指令。
在一种实现方式中，所述操作指令包括截屏、调节音量、翻页、切换窗口、打开或退出应用程序、快进或快退中的一种或多种。
本申请实施例提供另一种手势交互装置，如图14所示。该手势交互装置1400可以包括处理器1401，其中，图13所示的确定单元1301，获取单元1302和处理单元1303所实现的相关功能均可以通过处理器1401来实现。处理器1401可以包括一个或多个处理器，例如该处理器1401可以是一个或多个中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)，硬件芯片或者其任意组合。在处理器1301是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。
手势交互装置1400还可以包括存储器1402，存储器1402用于存储程序代码等。存储器1402可以包括易失性存储器(volatile memory)，例如随机存取存储器(randomaccess memory，RAM)；存储器1402也可以包括非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，ROM)，快闪存储器(flash memory)，硬盘(hard diskdrive，HDD)或固态硬盘(solid-state drive，SSD)；存储器1402还可以包括上述种类的存储器的组合。
上述处理器1401和存储器1402可以用于实现图6所述的手势交互方法，其中，处理器1401用于确定所述第一触控显示区域和所述第二触控显示区域所形成的夹角的角度值小于设定的角度值；
获取作用于所述第三触控显示区域的输入事件；
响应于所述输入事件，触发所述终端设备执行所述输入事件对应的操作指令。
在一种实现方式中，所述第三触控显示区域包括所述终端设备的侧边区域。
在一种实现方式中，处理器1401具体可以用于：
检测用户在所述第三触控显示区域输入的手势操作；
根据所述手势操作确定所述用户作用于所述第三触控显示区域的输入事件。
在一种实现方式中，所述手势操作包括单手握持、双手握持、点击操作、滑动操作、按压操作、拖动操作和缩放操作中的一种或多种。
在一种实现方式中，处理器1401具体可以用于：
针对正在运行的应用层的应用程序进行应用注册回调；
响应于所述输入事件，确定所述输入事件对应的应用操作指令；
通过回调调用或广播通知的方式触发所述正在运行的应用层的应用程序执行所述应用操作指令。
在一种实现方式中，处理器1401具体可以用于：
将所述输入事件分发至系统层的应用；
响应于所述输入事件，触发所述系统层的应用执行所述输入事件对应的系统操作指令。在一种实现方式中，处理器1401具体可以用于：
获取所述输入事件的特征参数，所述特征参数包括按压力度、滑动方向、作用位置和触摸次数中的一种或多种；
根据所述输入事件的特征参数触发与所述第一触控显示区域和/或所述第二触控显示区域关联的任务，执行所述输入事件对应的操作指令。
在一种实现方式中，所述操作指令包括截屏、调节音量、翻页、切换窗口、打开或退出应用程序、快进或快退中的一种或多种。
需要说明的是，上述实施例中的装置可以是终端设备，也可以是应用于终端设备中的芯片或者其他具有上述终端功能的组合器件、部件等。
本申请实施例还提供一种可读存储介质，该可读存储介质包括程序或指令，当所述程序或指令在计算机上运行时，使得计算机执行上述方法实施例中手势交互装置所执行的手势交互方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(Digital Video Disc，DVD))、或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (25)
1.一种手势交互方法，应用于具有折叠屏的终端设备，其特征在于，所述终端设备的折叠屏在折叠状态下包括第一触控显示区域、第二触控显示区域和第三触控显示区域；所述第三触控显示区域在所述第一触控显示区域和所述第二触控显示区域之间；所述方法包括：
确定所述第一触控显示区域和所述第二触控显示区域所形成的夹角的角度值小于设定的角度值；
获取作用于所述第三触控显示区域的输入事件；
响应于所述输入事件，触发所述终端设备执行所述输入事件对应的操作指令。
2.根据权利要求1所述的方法，其特征在于，所述第三触控显示区域包括所述终端设备的侧边区域。
3.根据权利要求1或2所述的方法，其特征在于，所述获取作用于所述第三触控显示区域的输入事件，包括：
检测用户在所述第三触控显示区域输入的手势操作；
根据所述手势操作确定所述用户作用于所述第三触控显示区域的输入事件。
4.根据权利要求3所述的方法，其特征在于，所述手势操作包括单手握持、双手握持、点击操作、滑动操作、按压操作、拖动操作和缩放操作中的一种或多种。
5.根据权利要求1所述的方法，其特征在于，所述响应于所述输入事件，触发所述终端设备执行所述输入事件对应的操作指令，包括：
针对正在运行的应用层的应用程序进行应用注册回调；
响应于所述输入事件，确定所述输入事件对应的应用操作指令；
通过回调调用或广播通知的方式触发所述正在运行的应用层的应用程序执行所述应用操作指令。
6.根据权利要求1所述的方法，其特征在于，所述响应于所述输入事件，触发所述终端设备执行所述输入事件对应的操作指令，所述方法还包括：
将所述输入事件分发至系统层的应用；
响应于所述输入事件，触发所述系统层的应用执行所述输入事件对应的系统操作指令。
7.根据权利要求1所述的方法，其特征在于，所述响应于所述输入事件，触发所述终端设备执行所述输入事件对应的操作指令，包括：
获取所述输入事件的特征参数，所述特征参数包括按压力度、滑动方向、作用位置和触摸次数中的一种或多种；
根据所述输入事件的特征参数触发与所述第一触控显示区域和/或所述第二触控显示区域关联的任务，执行所述输入事件对应的操作指令。
8.根据权利要求1所述的方法，其特征在于，所述操作指令包括截屏、调节音量、翻页、切换窗口、打开或退出应用程序、快进或快退中的一种或多种。
9.一种手势交互装置，其特征在于，包括：
确定单元，用于确定所述第一触控显示区域和所述第二触控显示区域所形成的夹角的角度值小于设定的角度值；
获取单元，用于获取作用于所述第三触控显示区域的输入事件；
处理单元，用于响应于所述输入事件，触发所述终端设备执行所述输入事件对应的操作指令。
10.根据权利要求9所述的装置，其特征在于，所述第三触控显示区域包括所述终端设备的侧边区域。
11.根据权利要求9或10所述的装置，其特征在于，所述获取单元用于获取作用于所述第三触控显示区域的输入事件时，具体用于：
检测用户在所述第三触控显示区域输入的手势操作；
根据所述手势操作确定所述用户作用于所述第三触控显示区域的输入事件。
12.根据权利要求11所述的装置，其特征在于，所述手势操作包括单手握持、双手握持、点击操作、滑动操作、按压操作、拖动操作和缩放操作中的一种或多种。
13.根据权利要求9所述的装置，其特征在于，所述处理单元用于响应于所述输入事件，触发所述终端设备执行所述输入事件对应的操作指令时，具体用于：
针对正在运行的应用层的应用程序进行应用注册回调；
响应于所述输入事件，确定所述输入事件对应的应用操作指令；
通过回调调用或广播通知的方式触发所述正在运行的应用层的应用程序执行所述应用操作指令。
14.根据权利要求9所述的装置，其特征在于，所述处理单元用于响应于所述输入事件，触发所述终端设备执行所述输入事件对应的操作指令时，具体用于：
将所述输入事件分发至系统层的应用；
响应于所述输入事件，触发所述系统层的应用执行所述输入事件对应的系统操作指令。
15.根据权利要求9所述的装置，其特征在于，所述处理单元用于响应于所述输入事件，触发所述终端设备执行所述输入事件对应的操作指令时，具体用于：
获取所述输入事件的特征参数，所述特征参数包括按压力度、滑动方向、作用位置和触摸次数中的一种或多种；
根据所述输入事件的特征参数触发与所述第一触控显示区域和/或所述第二触控显示区域关联的任务，执行所述输入事件对应的操作指令。
16.根据权利要求9所述的装置，其特征在于，所述操作指令包括截屏、调节音量、翻页、切换窗口、打开或退出应用程序、快进或快退中的一种或多种。
17.一种终端设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于执行所述存储器中存储的计算机程序，以使所述终端设备执行如下方法：
确定所述第一触控显示区域和所述第二触控显示区域所形成的夹角的角度值小于设定的角度值；
获取作用于所述第三触控显示区域的输入事件；
响应于所述输入事件，触发所述终端设备执行所述输入事件对应的操作指令。
18.根据权利要求17所述的设备，其特征在于，所述第三触控显示区域包括所述终端设备的侧边区域。
19.根据权利要求17或18所述的设备，其特征在于，所述处理器在获取作用于所述第三触控显示区域的输入事件时，具体用于：
检测用户在所述第三触控显示区域输入的手势操作；
根据所述手势操作确定所述用户作用于所述第三触控显示区域的输入事件。
20.根据权利要求19所述的设备，其特征在于，所述手势操作包括单手握持、双手握持、点击操作、滑动操作、按压操作、拖动操作和缩放操作中的一种或多种。
21.根据权利要求17所述的设备，其特征在于，所述处理器在响应于所述输入事件，触发所述终端设备执行所述输入事件对应的操作指令时，具体用于：
针对正在运行的应用层的应用程序进行应用注册回调；
响应于所述输入事件，确定所述输入事件对应的应用操作指令；
通过回调调用或广播通知的方式触发所述正在运行的应用层的应用程序执行所述应用操作指令。
22.根据权利要求17所述的设备，其特征在于，所述处理器在响应于所述输入事件，触发所述终端设备执行所述输入事件对应的操作指令时，具体用于：
将所述输入事件分发至系统层的应用；
响应于所述输入事件，触发所述系统层的应用执行所述输入事件对应的系统操作指令。
23.根据权利要求17所述的设备，其特征在于，所述处理器在响应于所述输入事件，触发所述终端设备执行所述输入事件对应的操作指令时，具体用于：
获取所述输入事件的特征参数，所述特征参数包括按压力度、滑动方向、作用位置和触摸次数中的一种或多种；
根据所述输入事件的特征参数触发与所述第一触控显示区域和/或所述第二触控显示区域关联的任务，执行所述输入事件对应的操作指令。
24.根据权利要求17所述的设备，其特征在于，所述操作指令包括截屏、调节音量、翻页、切换窗口、打开或退出应用程序、快进或快退中的一种或多种。
25.一种可读存储介质，其特征在于，包括程序或指令，当所述程序或指令在计算机上运行时，如权利要求1至8中任一项所述的方法被执行。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910881606.3A CN110531864A (zh) | 2019-09-18 | 2019-09-18 | 一种手势交互方法、装置及终端设备 |
| PCT/CN2020/113884 WO2021052214A1 (zh) | 2019-09-18 | 2020-09-08 | 一种手势交互方法、装置及终端设备 |
| EP20866625.5A EP4024168A4 (en) | 2019-09-18 | 2020-09-08 | HAND GESTURE INTERACTION METHOD AND DEVICE AND TERMINAL |
| US17/698,683 US20220206682A1 (en) | 2019-09-18 | 2022-03-18 | Gesture Interaction Method and Apparatus, and Terminal Device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910881606.3A CN110531864A (zh) | 2019-09-18 | 2019-09-18 | 一种手势交互方法、装置及终端设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110531864A true CN110531864A (zh) | 2019-12-03 |
Family
ID=68669218
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910881606.3A Pending CN110531864A (zh) | 2019-09-18 | 2019-09-18 | 一种手势交互方法、装置及终端设备 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20220206682A1 (zh) |
| EP (1) | EP4024168A4 (zh) |
| CN (1) | CN110531864A (zh) |
| WO (1) | WO2021052214A1 (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110944315A (zh) * | 2019-12-14 | 2020-03-31 | 华为技术有限公司 | 数据处理方法、终端设备、蓝牙设备及存储介质 |
| CN111050109A (zh) * | 2019-12-24 | 2020-04-21 | 维沃移动通信有限公司 | 电子设备控制方法及电子设备 |
| CN111182137A (zh) * | 2019-12-19 | 2020-05-19 | 华为技术有限公司 | 具有柔性屏幕的电子设备的显示方法和电子设备 |
| CN111258455A (zh) * | 2020-01-17 | 2020-06-09 | Oppo广东移动通信有限公司 | 一种事件流处理方法、事件流处理装置及移动终端 |
| WO2021052214A1 (zh) * | 2019-09-18 | 2021-03-25 | 华为技术有限公司 | 一种手势交互方法、装置及终端设备 |
| CN112579231A (zh) * | 2020-12-08 | 2021-03-30 | 惠州Tcl移动通信有限公司 | 一种折叠屏显示方法及终端 |
| CN112882766A (zh) * | 2021-02-03 | 2021-06-01 | 广州华欣电子科技有限公司 | 一种数据处理方法、装置和系统 |
| CN113485632A (zh) * | 2021-07-26 | 2021-10-08 | 深圳市柔宇科技股份有限公司 | 一种折叠屏触控方法、终端设备及计算机可读存储介质 |
| CN114089902A (zh) * | 2020-07-30 | 2022-02-25 | 华为技术有限公司 | 手势交互方法、装置及终端设备 |
| WO2022052740A1 (zh) * | 2020-09-11 | 2022-03-17 | 华为技术有限公司 | 一种折叠设备及其开合控制方法 |
| CN114981753A (zh) * | 2020-01-24 | 2022-08-30 | 华为技术有限公司 | 卷曲式设备的音量调节手势与防误触 |
| WO2022252600A1 (zh) * | 2021-06-01 | 2022-12-08 | 刘启成 | 一种数据处理方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105843464A (zh) * | 2014-09-18 | 2016-08-10 | Lg电子株式会社 | 移动终端及其控制方法 |
| CN105938426A (zh) * | 2015-03-05 | 2016-09-14 | 三星显示有限公司 | 显示装置 |
| CN106293580A (zh) * | 2011-02-10 | 2017-01-04 | 三星电子株式会社 | 便携式设备及其控制方法 |
| CN107831999A (zh) * | 2017-11-07 | 2018-03-23 | 广东欧珀移动通信有限公司 | 屏幕控制方法、装置及终端 |
| CN108508967A (zh) * | 2017-02-23 | 2018-09-07 | 三星电子株式会社 | 可折叠的电子设备及其控制方法 |
| CN109840061A (zh) * | 2019-01-31 | 2019-06-04 | 华为技术有限公司 | 控制屏幕显示的方法及电子设备 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102148717B1 (ko) * | 2011-12-05 | 2020-08-28 | 삼성전자주식회사 | 휴대용 단말기의 디스플레이 제어 방법 및 장치 |
| KR102083937B1 (ko) * | 2012-10-10 | 2020-03-04 | 삼성전자주식회사 | 멀티 디스플레이 장치 및 그 툴 제공 방법 |
| KR20140092059A (ko) * | 2013-01-15 | 2014-07-23 | 삼성전자주식회사 | 플렉서블 디스플레이를 구비하는 휴대 장치의 제어 방법 및 그 휴대 장치 |
| US9927840B2 (en) * | 2013-06-21 | 2018-03-27 | Semiconductor Energy Laboratory Co., Ltd. | Information processor for processing and displaying image data on a bendable display unit |
| KR102127930B1 (ko) * | 2014-02-14 | 2020-06-29 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
| CN105022550A (zh) * | 2014-04-29 | 2015-11-04 | 宇龙计算机通信科技(深圳)有限公司 | 一种终端及显示方法 |
| KR102516590B1 (ko) * | 2016-01-29 | 2023-04-03 | 삼성전자주식회사 | 전자 장치 및 전자 장치에서 디스플레이의 변형에 따라 기능을 실행하기 위한 방법 |
| US10346117B2 (en) * | 2016-11-09 | 2019-07-09 | Microsoft Technology Licensing, Llc | Device having a screen region on a hinge coupled between other screen regions |
| CN107765968A (zh) * | 2017-10-19 | 2018-03-06 | 广东欧珀移动通信有限公司 | 任务切换方法、装置、终端及计算机可读存储介质 |
| CN109917999A (zh) * | 2019-03-11 | 2019-06-21 | Oppo广东移动通信有限公司 | 显示方法、装置、移动终端及存储介质 |
| CN110119295B (zh) * | 2019-04-16 | 2022-05-17 | 华为技术有限公司 | 一种显示控制方法及相关装置 |
| CN110531864A (zh) * | 2019-09-18 | 2019-12-03 | 华为技术有限公司 | 一种手势交互方法、装置及终端设备 |
-
2019
- 2019-09-18 CN CN201910881606.3A patent/CN110531864A/zh active Pending
-
2020
- 2020-09-08 WO PCT/CN2020/113884 patent/WO2021052214A1/zh unknown
- 2020-09-08 EP EP20866625.5A patent/EP4024168A4/en active Pending
-
2022
- 2022-03-18 US US17/698,683 patent/US20220206682A1/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106293580A (zh) * | 2011-02-10 | 2017-01-04 | 三星电子株式会社 | 便携式设备及其控制方法 |
| CN105843464A (zh) * | 2014-09-18 | 2016-08-10 | Lg电子株式会社 | 移动终端及其控制方法 |
| CN105938426A (zh) * | 2015-03-05 | 2016-09-14 | 三星显示有限公司 | 显示装置 |
| CN108508967A (zh) * | 2017-02-23 | 2018-09-07 | 三星电子株式会社 | 可折叠的电子设备及其控制方法 |
| CN107831999A (zh) * | 2017-11-07 | 2018-03-23 | 广东欧珀移动通信有限公司 | 屏幕控制方法、装置及终端 |
| CN109840061A (zh) * | 2019-01-31 | 2019-06-04 | 华为技术有限公司 | 控制屏幕显示的方法及电子设备 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021052214A1 (zh) * | 2019-09-18 | 2021-03-25 | 华为技术有限公司 | 一种手势交互方法、装置及终端设备 |
| CN110944315A (zh) * | 2019-12-14 | 2020-03-31 | 华为技术有限公司 | 数据处理方法、终端设备、蓝牙设备及存储介质 |
| CN111182137A (zh) * | 2019-12-19 | 2020-05-19 | 华为技术有限公司 | 具有柔性屏幕的电子设备的显示方法和电子设备 |
| WO2021121335A1 (zh) * | 2019-12-19 | 2021-06-24 | 华为技术有限公司 | 具有柔性屏幕的电子设备的显示方法和电子设备 |
| CN111050109A (zh) * | 2019-12-24 | 2020-04-21 | 维沃移动通信有限公司 | 电子设备控制方法及电子设备 |
| CN111050109B (zh) * | 2019-12-24 | 2021-09-17 | 维沃移动通信有限公司 | 电子设备控制方法及电子设备 |
| CN111258455A (zh) * | 2020-01-17 | 2020-06-09 | Oppo广东移动通信有限公司 | 一种事件流处理方法、事件流处理装置及移动终端 |
| CN111258455B (zh) * | 2020-01-17 | 2023-08-18 | Oppo广东移动通信有限公司 | 一种事件流处理方法、事件流处理装置及移动终端 |
| CN114981753A (zh) * | 2020-01-24 | 2022-08-30 | 华为技术有限公司 | 卷曲式设备的音量调节手势与防误触 |
| CN114089902A (zh) * | 2020-07-30 | 2022-02-25 | 华为技术有限公司 | 手势交互方法、装置及终端设备 |
| WO2022052740A1 (zh) * | 2020-09-11 | 2022-03-17 | 华为技术有限公司 | 一种折叠设备及其开合控制方法 |
| CN112579231A (zh) * | 2020-12-08 | 2021-03-30 | 惠州Tcl移动通信有限公司 | 一种折叠屏显示方法及终端 |
| CN112882766A (zh) * | 2021-02-03 | 2021-06-01 | 广州华欣电子科技有限公司 | 一种数据处理方法、装置和系统 |
| WO2022252600A1 (zh) * | 2021-06-01 | 2022-12-08 | 刘启成 | 一种数据处理方法和装置 |
| CN113485632A (zh) * | 2021-07-26 | 2021-10-08 | 深圳市柔宇科技股份有限公司 | 一种折叠屏触控方法、终端设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220206682A1 (en) | 2022-06-30 |
| WO2021052214A1 (zh) | 2021-03-25 |
| EP4024168A4 (en) | 2022-10-26 |
| EP4024168A1 (en) | 2022-07-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110531864A (zh) | 一种手势交互方法、装置及终端设备 | |
| CN109271081B (zh) | 滚动截屏的方法及电子设备 | |
| WO2020224449A1 (zh) | 一种分屏显示的操作方法及电子设备 | |
| CN109766043A (zh) | 电子设备的操作方法和电子设备 | |
| CN110072070A (zh) | 一种多路录像方法及设备 | |
| CN110445978A (zh) | 一种拍摄方法及设备 | |
| CN110347269A (zh) | 一种空鼠模式实现方法及相关设备 | |
| CN110119295A (zh) | 一种显示控制方法及相关装置 | |
| CN110221798A (zh) | 一种投屏方法、系统及相关装置 | |
| CN110134316A (zh) | 模型训练方法、情绪识别方法及相关装置和设备 | |
| CN110506416A (zh) | 一种终端切换摄像头的方法及终端 | |
| CN110032307A (zh) | 一种应用图标的移动方法及电子设备 | |
| CN109766066A (zh) | 一种消息处理的方法、相关装置及系统 | |
| CN110489215A (zh) | 一种应用程序中等待场景的处理方法和装置 | |
| CN110381282A (zh) | 一种应用于电子设备的视频通话的显示方法及相关装置 | |
| CN110012154A (zh) | 一种具有折叠屏的电子设备的控制方法及电子设备 | |
| CN110222491A (zh) | 一种启动应用的方法及一种电子设备 | |
| CN109976626A (zh) | 一种应用图标的切换方法及电子设备 | |
| CN110012130A (zh) | 一种具有折叠屏的电子设备的控制方法及电子设备 | |
| WO2020088633A1 (zh) | 支付方法、装置和用户设备 | |
| WO2020056684A1 (zh) | 通过转发模式连接的多tws耳机实现自动翻译的方法及装置 | |
| CN110262877A (zh) | 一种卡片处理方法及设备 | |
| WO2020019355A1 (zh) | 一种可穿戴设备的触控方法、可穿戴设备及系统 | |
| CN110198362A (zh) | 一种在联系人中添加智能家居设备的方法及系统 | |
| WO2020221062A1 (zh) | 一种导航操作方法及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |