CN113986047B - 识别误触信号的方法和装置 - Google Patents
识别误触信号的方法和装置 Download PDFInfo
- Publication number
- CN113986047B CN113986047B CN202111590614.6A CN202111590614A CN113986047B CN 113986047 B CN113986047 B CN 113986047B CN 202111590614 A CN202111590614 A CN 202111590614A CN 113986047 B CN113986047 B CN 113986047B
- Authority
- CN
- China
- Prior art keywords
- touch signal
- screen
- touch
- signal
- false
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000002265 prevention Effects 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 239000010410 layer Substances 0.000 description 27
- 210000003811 finger Anatomy 0.000 description 21
- 230000001960 triggered effect Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000001976 improved effect Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 12
- 210000004247 hand Anatomy 0.000 description 8
- 238000009877 rendering Methods 0.000 description 6
- 239000004020 conductor Substances 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 239000010409 thin film Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007747 plating Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
- G06F3/04186—Touch location disambiguation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0412—Digitisers structurally integrated in a display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请涉及终端领域,提供了一种识别误触信号的方法和装置。该方法应用于终端设备,该终端设备包括第一屏幕和第二屏幕,该方法包括:确定第一屏幕和第二屏幕的工作状态;获取第一屏幕生成的第一触摸信号和第二屏幕生成的第二触摸信号;当第一屏幕和第二屏幕的工作状态均为亮屏状态时,根据第一触摸信号和第二触摸信号的信号特征共同确定第一触摸信号和第二触摸信号是否为误触信号。上述方法提高了识别多屏终端设备的误触信号的准确性。
Description
技术领域
本申请涉及终端领域,具体涉及一种识别误触信号的方法和装置。
背景技术
终端设备通常包含显示屏,用户可以通过显示屏与终端设备进行交互,例如,用户可以在显示屏上进行滑动操作,控制终端设备显示的用户界面(user interface,UI)。一些终端设备包含多个显示屏,该多个显示屏位于终端设备的两个对立的表面,终端设备可以通过该多个显示屏显示相同或不同的UI,为用户提供丰富的体验。
用户手持终端设备进行操作是一种常见的使用场景。例如,用户在手持终端设备进行视频通话时,手部与多个显示屏接触触发该多个显示屏生成多个触摸信号,该多个触摸信号可能是握持终端设备的手掌和手指触发的信号,也可能是用户通过手指设置视频通话界面时触发的信号;前一种信号属于误触信号,后一种信号属于非误触信号,现有的误触信号识别方法通常是针对单个显示屏的识别方法,对于多个显示屏的误触识别效果不够理想。
发明内容
本申请实施例提供了一种识别误触信号的方法、装置、计算机可读存储介质和计算机程序产品,能够提高识别多屏终端设备的误触信号的准确性。
第一方面,提供了一种识别误触信号的方法,该方法应用于终端设备,该终端设备包括第一屏幕和第二屏幕,该方法包括:确定第一屏幕和第二屏幕的工作状态;获取第一屏幕生成的第一触摸信号和第二屏幕生成的第二触摸信号;当第一屏幕和第二屏幕的工作状态均为亮屏状态时,将第一触摸信号和第二触摸信号的信号特征作为整体输入量,同时共同来确定第一触摸信号和第二触摸信号是否为误触信号。
第一屏幕和第二屏幕均为触控显示屏(touch panel,TP),可以是终端设备的内屏和外屏,第一触摸信号和第二触摸信号为用户接触第一屏幕和第二屏幕触发终端设备生成的信号。当第一屏幕和第二屏幕处于亮屏状态时,用户可能同时对内屏和外屏进行操作,因此,终端设备需要判断第一触摸信号和第二触摸信号是否为误触信号。由于用户手持终端设备触发的多个触摸信号的信号特征通常具有关联性,例如,用户手持终端设备时触发的多个触摸信号通常是同时(或者在很短的时段内)生成的,终端设备可以将第一触摸信号和第二触摸信号的信号特征作为整体输入量判断第一触摸信号和第二触摸信号是否为误触信号,相比于基于独立的信号特征判断触摸信号是否为误触信号的方法,本申请实施例提高识别多屏终端设备的误触信号的准确性。
在一种可选的实现方式中,第一触摸信号和第二触摸信号的信号特征包括坐标位置,将第一触摸信号和第二触摸信号的信号特征作为整体输入量,同时共同来确定第一触摸信号和第二触摸信号是否为误触信号,包括:
当第一触摸信号和第二触摸信号的坐标位置满足条件1和条件2中的任意一项时,确定第一触摸信号和第二触摸信号为误触信号:
条件1,第一触摸信号和第二触摸信号的坐标位置均位于预设区域内;
条件2,第一触摸信号的坐标位置中靠近第一屏幕的边缘的坐标位置的数量大于远离第一屏幕的边缘的坐标位置的数量;并且,第二触摸信号的坐标位置中靠近第二屏幕的边缘的坐标位置的数量大于远离第二屏幕的边缘的坐标位置的数量;
当第一触摸信号和第二触摸信号的坐标位置满足条件3和条件4中的任意一项时,确定第一触摸信号和第二触摸信号为非误触信号:
条件3,第一触摸信号和/或第二触摸信号的坐标位置位于预设区域外;
条件4,第一触摸信号的坐标位置中靠近第一屏幕的边缘的坐标位置的数量小于或等于远离第一屏幕的边缘的坐标位置的数量;并且,第二触摸信号的坐标位置中靠近第二屏幕的边缘的坐标的位置数量小于或等于远离第二屏幕的边缘的坐标位置的数量。
预设区域可以是用户手持终端设备时经常接触第一屏幕和第二屏幕的区域,当第一触摸信号和第二触摸信号的坐标位置均位于预设区域内时,第一触摸信号和第二触摸信号有较大的概率是用户手持终端设备时触发的信号;当第一触摸信号和/或第二触摸信号的坐标位置位于预设区域外时,第一触摸信号和第二触摸信号有较大的概率是用户在进行输入操作时触发的信号;因此,终端设备可以根据第一触摸信号和第二触摸信号的坐标位置确定第一触摸信号和第二触摸信号是否为误触信号,提高识别多屏终端设备的误触信号的准确性。
当用户手持终端设备时,手部与屏幕的接触区域通常位于屏幕边缘,导致靠近屏幕边缘的触摸信号的坐标数量大于远离屏幕边缘的触摸信号的坐标数量;当用户对终端设备进行输入操作时,手指与屏幕的接触区域通常位于屏幕中央,导致靠近屏幕边缘的触摸信号的坐标数量小于远离屏幕边缘的触摸信号的坐标数量。因此,终端设备可以根据这些特性来确定第一触摸信号和第二触摸信号是否为误触信号,提高识别多屏终端设备的误触信号的准确性。
在一种可选的实现方式中,预设区域为第一屏幕的边缘的至少一块区域和第二屏幕的边缘的至少一块区域。
当用户手持终端设备时,手部与屏幕的接触区域通常位于屏幕边缘而非屏幕中央,将预设区域设置为屏幕边缘的区域能够提高识别多屏终端设备的误触信号的准确性。
在一种可选的实现方式中,预设区域为与终端设备的应用场景关联的区域。
在不同的场景中,用户手持终端设备时手部与屏幕的接触区域不同,基于不同的场景确定不同的预设区域,能够提高识别多屏终端设备的误触信号的准确性。
在一种可选的实现方式中,应用场景包括游戏场景、输入场景或观影场景,与终端设备的应用场景关联的区域,包括:在游戏场景中用户握持终端设备时接触第一屏幕和第二屏幕的区域;或者,在输入场景中用户握持终端设备时接触第一屏幕和第二屏幕的区域;或者,在观影场景中用户握持终端设备时接触第一屏幕和第二屏幕的区域。
在一种可选的实现方式中,预设区域为神经网络基于用户的历史握持区域确定的参数。
不同用户手持终端设备时与屏幕的接触区域不同,用户的历史握持区域反映了用户的使用习惯,因此,基于用户的历史握持区域对应的触摸信号确定的预设区域能够更加准确地识别多屏终端设备的误触信号。
在一种可选的实现方式中,第一触摸信号和第二触摸信号的信号特征包括触摸时间,讲第一触摸信号和第二触摸信号的信号特征作为整体输入量,同时共同来确定第一触摸信号和第二触摸信号是否为误触信号,包括:
当第一触摸信号的起始时刻和第二触摸信号的起始时刻的间隔小于或等于第一时间阈值时;和/或,当第一触摸信号的持续时间和第二触摸信号的持续时间均大于第二时间阈值时,确定第一触摸信号和第二触摸信号为误触信号;
当第一触摸信号的起始时刻和第二触摸信号的起始时刻的间隔大于第一时间阈值时;和/或,当第一触摸信号的持续时间和第二触摸信号的持续时间均小于或等于第二时间阈值时,确定第一触摸信号和第二触摸信号为非误触信号。
用户抓起终端设备时,手指和手掌会在很短的时间内接触屏幕,手指和手掌接触屏幕的持续时间通常也大于输入操作时手指与屏幕接触的持续时间,因此,终端设备可以根据这些特性来确定第一触摸信号和第二触摸信号是否为误触信号,提高识别多屏终端设备的误触信号的准确性。
在一种可选的实现方式中,第一时间阈值和第二时间阈值为神经网络基于用户的历史握持时间确定的参数。
不同用户手持终端设备时手部与屏幕的接触时间不同,用户的历史握持时间反映了用户的使用习惯,因此,基于用户的历史握持时间确定的时间阈值能够更加准确地识别多屏终端设备的误触信号。
在一种可选的实现方式中,第一触摸信号和第二触摸信号的信号特征包括信号强度,将第一触摸信号和第二触摸信号的信号特征作为整体输入量,同时共同来确定第一触摸信号和第二触摸信号是否为误触信号,包括:
当第一触摸信号的信号强度中靠近第一屏幕的边缘的信号强度大于远离第一屏幕的边缘的信号强度时;并且,当第二触摸信号的信号强度中靠近第二屏幕的边缘的信号强度大于远离第二屏幕的边缘的信号强度时,确定第一触摸信号和第二触摸信号为误触信号;
当第一触摸信号的信号强度中靠近第一屏幕的边缘的信号强度小于或等于远离第一屏幕的边缘的信号强度时;或者,当第二触摸信号的信号强度中靠近第二屏幕的边缘的信号强度小于或等于远离第二屏幕的边缘的信号强度时,确定第一触摸信号和第二触摸信号为非误触信号。
当用户手持终端设备时,手部与屏幕的接触区域通常位于屏幕边缘,导致靠近屏幕边缘的触摸信号的信号强度大于远离屏幕边缘的触摸信号的信号强度;当用户对终端设备进行输入操作时,手指与屏幕的接触区域通常位于屏幕中央,导致靠近屏幕边缘的触摸信号的信号强度小于远离屏幕边缘的触摸信号的信号强度。因此,终端设备可以根据这些特性来确定第一触摸信号和第二触摸信号是否为误触信号,提高识别多屏终端设备的误触信号的准确性。
在一种可选的实现方式中,将第一触摸信号和第二触摸信号的信号特征作为整体输入量,同时共同来确定第一触摸信号和第二触摸信号是否为误触信号之前,该方法还包括:分别对第一触摸信号和第二触摸信号进行单屏防误触识别;将第一触摸信号和第二触摸信号的信号特征作为整体输入量,同时共同来确定第一触摸信号和第二触摸信号是否为误触信号,包括:当单屏防误触识别的结果指示第一触摸信号和第二触摸信号均属于非误触信号时,将第一触摸信号和第二触摸信号的信号特征作为整体输入量,同时共同来确定第一触摸信号和第二触摸信号是否为误触信号。
单屏防误触识别处理的信息量较少,能够快速判断触摸信号是否为误触信号。若终端设备通过单屏防误触识别确定第一触摸信号和第二触摸信号为误触信号,则无需再进行多屏防误触识别;若终端设备通过单屏防误触识别确定第一触摸信号和第二触摸信号为非误触信号,再进行多屏防误触识别可以提高识别多屏终端设备的误触信号的准确性。
在一种可选的实现方式中,还包括:当第一触摸信号和第二触摸信号为非误触信号时,通过窗口管理器处理第一触摸信号和第二触摸信号对应的输入事件;当第一触摸信号和第二触摸信号为误触信号时,确定不处理第一触摸信号和第二触摸信号。
在一种可选的实现方式中,终端设备为折叠屏终端设备或者非折叠屏终端设备。
第二方面,提供了一种识别误触信号的装置,包括用于执行第一方面中任一种方法的单元。该装置可以是终端设备,也可以是终端设备内的芯片。该装置可以包括输入单元和处理单元。
当该装置是终端设备时,该处理单元可以是处理器,该输入单元可以是通信接口;该终端设备还可以包括存储器,该存储器用于存储计算机程序代码,当该处理器执行该存储器所存储的计算机程序代码时,使得该终端设备执行第一方面中的任一种方法。
当该装置是终端设备内的芯片时,该处理单元可以是芯片内部的逻辑处理单元,该输入单元可以是输出接口、管脚或电路等;该芯片还可以包括存储器,该存储器可以是该芯片内的存储器(例如,寄存器、缓存等),也可以是位于该芯片外部的存储器(例如,只读存储器、随机存取存储器等);该存储器用于存储计算机程序代码,当该处理器执行该存储器所存储的计算机程序代码时,使得该芯片执行第一方面的任一种方法。
第三方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序代码,当所述计算机程序代码被识别误触信号的装置运行时,使得该装置执行第一方面中的任一种方法。
第四方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码被识别误触信号的装置运行时,使得该装置执行第一方面中的任一种方法。
附图说明
图1是一种适用于本申请的装置的硬件系统的示意图;
图2是一种适用于本申请的装置的软件系统的示意图;
图3是用户在触控屏上操作时,装置100的处理过程的示意图;
图4是电容屏的工作原理的示意图;
图5是电容屏的工作原理的另一示意图;
图6是本申请实施例提供的一种应用场景的示意图;
图7是图6所示的应用场景的触摸信号的示意图;
图8是本申请实施例提供的一种识别误触信号的方法的示意图;
图9是本申请实施例提供的另一种应用场景的示意图;
图10是本申请实施例提供的再一种应用场景的示意图;
图11是本申请实施例提供的再一种应用场景的示意图;
图12是本申请实施例提供的再一种应用场景的示意图;
图13是本申请实施例提供的再一种应用场景的示意图;
图14是图13所示的应用场景的触摸信号的示意图;
图15是本申请实施例提供的另一种识别误触信号的方法的示意图。
具体实施方式
下面将结合附图,对本申请实施例中的技术方案进行描述。
图1示出了一种适用于本申请的装置的硬件系统。
装置100可以是手机、智慧屏、平板电脑、可穿戴电子设备、增强现实(augmentedreality,AR)设备、虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digitalassistant,PDA)等等,本申请实施例对装置100的具体类型不作任何限制。
装置100可以包括处理器110、内部存储器120、显示屏130、传感器140等。其中, 显示屏130可以包含一个显示屏(也可称为“屏幕”),也可以包含两个显示屏(如显示屏131和显示屏132),还可以包含更多块显示屏;传感器140可以包括压力传感器141,触摸传感器142等。
需要说明的是,图1所示的结构并不构成对装置100的具体限定。在本申请另一些实施例中,装置100可以包括比图1所示的部件更多或更少的部件,或者,装置100可以包括图1所示的部件中某些部件的组合,或者,装置100可以包括图1所示的部件中某些部件的子部件。图1示的部件可以以硬件、软件、或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元。例如,处理器110可以包括以下处理单元中的至少一个:应用处理器(application processor,AP)、调制解调处理器、图形处理器(graphics processing unit,GPU)、图像信号处理器(image signal processor,ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor,DSP)、基带处理器、神经网络处理器(neural-network processing unit,NPU)。其中,不同的处理单元可以是独立的器件,也可以是集成的器件。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。例如,处理器110可以包括以下接口中的至少一个:内部集成电路(inter-integrated circuit,I2C)接口、内部集成电路音频(inter-integrated circuit sound,I2S)接口、脉冲编码调制(pulse codemodulation,PCM)接口、通用异步接收传输器(universal asynchronous receiver/transmitter,UART)接口、移动产业处理器接口(mobile industry processor interface,MIPI)、通用输入输出(general-purpose input/output,GPIO)接口、用户身份识别模块(subscriber identification module,SIM)接口、通用串行总线(universal serial bus,USB)接口。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C接口。处理器110可以通过不同的I2C接口分别耦合不同的传感器。例如,处理器110可以通过I2C接口耦合触摸传感器142,使处理器110与触摸传感器142通过I2C总线接口通信,实现装置100的触摸功能。
MIPI接口可以被用于连接处理器110与显示屏130等外围器件。MIPI接口包括显示屏串行接口(display serial interface,DSI)等。在一些实施例中,处理器110和显示屏130通过DSI接口通信,实现装置100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号接口,也可被配置为数据信号接口。在一些实施例中,GPIO接口可以用于连接处理器110与显示屏130和传感器140。GPIO接口还可以被配置为I2C接口、I2S接口、UART接口或MIPI接口。
图1所示的各模块间的连接关系只是示意性说明,并不构成对装置100的各模块间的连接关系的限定。可选地,装置100的各模块也可以采用上述实施例中多种连接方式的组合。
装置100可以通过GPU、显示屏130以及应用处理器实现显示功能。GPU为图像处理的微处理器,连接显示屏130和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏130可以用于显示图像或视频。显示屏130包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD)、有机发光二极管(organic light-emitting diode,OLED)、有源矩阵有机发光二极体(active-matrix organic light-emitting diode,AMOLED)、柔性发光二极管(flex light-emitting diode,FLED)、迷你发光二极管(mini light-emitting diode,Mini LED)、微型发光二极管(micro light-emitting diode,Micro LED)、微型OLED (Micro OLED)或量子点发光二极管(quantum dotlight emitting diodes,QLED)。
NPU是一种借鉴生物神经网络结构的处理器,例如借鉴人脑神经元之间传递模式对输入信息快速处理,还可以不断地自学习。通过NPU可以实现装置100的智能认知等功能,例如:图像识别、人脸识别、语音识别和文本理解。
内部存储器120可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器120可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能(例如,声音播放功能和图像播放功能)所需的应用程序。存储数据区可存储装置100使用过程中所创建的数据(例如,音频数据和电话本)。此外,内部存储器120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如:至少一个磁盘存储器件、闪存器件和通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器120的指令和/或存储在设置于处理器中的存储器的指令,执行装置100的各种处理方法。
压力传感器141用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器141可以设置于显示屏130。压力传感器141的种类很多,例如可以是电阻式压力传感器、电感式压力传感器或电容式压力传感器。电容式压力传感器可以是包括至少两个具有导电材料的平行板,当力作用于压力传感器141,电极之间的电容改变,装置100根据电容的变化确定压力的强度。当触摸操作作用于显示屏130时,装置100根据压力传感器141检测所述触摸操作。装置100也可以根据压力传感器141的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令;当触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
触摸传感器142,也称为触控器件。触摸传感器142可以设置于显示屏130,由触摸传感器142与显示屏130组成触摸屏,触摸屏也称为触控屏。触摸传感器142用于检测作用于其上或其附近的触摸操作。触摸传感器142可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏130提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器142也可以设置于装置100的表面,并且与显示屏130设置于不同的位置。
上文详细描述了装置100的硬件系统,下面介绍装置100的软件系统。软件系统可以采用分层架构、事件驱动架构、微核架构、微服务架构或云架构,本申请实施例以分层架构为例,示例性地描述装置100的软件系统。
如图2所示,采用分层架构的软件系统分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,软件系统可以分为四层,从上至下分别为应用程序层、应用程序框架层、系统库、安卓运行时以及内核层。
应用层可以包括一系列应用程序包。应用程序包可以包括电话、邮箱、日历、相机等应用程序(application,APP),其中,窗口1和窗口2可以是同一个APP的窗口,也可以不同APP的窗口。
应用程序框架层为应用层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括状态管理器、窗口管理器和防误触模块等。
状态管理器用于管理显示屏130的显示状态、触摸状态等,例如,状态管理器可以将显示屏130的状态设置为亮屏状态或者熄屏状态,状态管理器还可以使能或者去使能显示屏130的触摸功能。当显示屏130包含折叠屏时,状态管理器还可以通过传感器140获取折叠屏的折叠状态。
窗口管理器用于管理窗口内容。例如,窗口管理器可以将原始触摸事件转换为系统触摸事件,并将系统触摸事件转发给对应的窗口。
防误触模块用于调用系统库或核心库中的函数,从内核层获取触摸操作触发的报点数据,并根据报点数据判断该触摸操作是否为误触操作,其中,报点数据可以是包含触摸坐标、触摸压力、触摸区域形态、电容值等信息的数据。
Android runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用层和应用程序框架层运行在虚拟机中。虚拟机将应用层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:图像渲染库、图像合成库、函数库、媒体库和输入处理库等。
图像渲染库用于二维或三维图像的渲染。图像合成库用于二维或三维图像的合成。
函数库提供C语言中所使用的宏、类型定义、字符串操作函数、数学计算函数以及输入输出函数等。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:动态图像专家组(moving picture experts group,MPEG)4、H.264、动态图像专家组音频层面3(moving picture experts group audiolayerIII,MP3)、高级音频编码(advanced audio coding,AAC)、自适应多码率(adaptivemulti-rate,AMR)、联合图像专家组(joint photographic experts group,JPG)和便携式网络图形(portable network graphics,PNG)。
输入处理库用于处理输入设备的库,可以实现鼠标、键盘和触摸输入处理等。
内核层是硬件和软件之间的层。内核层可以包含TP驱动、显示驱动等。
TP驱动用于处理TP(如,触摸传感器142和显示屏130的组合)生成的原始数据(RawData),例如,将原始数据转换为报点数据。当TP为电容触摸屏时,该原始数据可以是包含电容值的数据。
显示驱动用于将包含窗口内容的数据转换为显示屏130能够识别的电信号,通过该电信号控制显示屏130显示窗口内容。
下面结合防误触场景,示例性地说明装置100的软件以及硬件的工作流程。
当用户在TP上操作时,装置100的处理过程可以分为以下几个阶段,如图3所示。
TP响应阶段:
TP响应阶段是装置100识别用户操作的阶段。用户的手指接触触控屏使得触控屏的状态发生变化,触发TP生成原始数据;随后,TP将该原始数据发送至处理器110。
当TP为电容触摸屏时,原始数据为包含电容值的数据,TP还可以是其他类型的触控屏,本申请对TP的具体类型不做限定。
误触信号识别阶段:
处理器110获取原始数据后,通过内核层的TP驱动将原始数据转换为报点数据,报点数据是包含触摸坐标、触摸压力、触摸区域形态等信息,处理器110通过防误触模块对报点数据进行分析,确定报点数据对应的操作是否为误触操作。下文会详细描述防误触模块识别误触信号的方法。
误触信号处理阶段:
若报点数据对应的操作为误触操作,防误触模块过滤该报点数据,即,不再向窗口管理器发送该报点数据。
若报点数据对应的操作为非误触操作,防误触模块将报点数据转换为原始触摸事件,向窗口管理器发送该原始触摸事件,该原始触摸事件包含触摸坐标等信息。随后,窗口管理器将原始触摸事件转换为系统触摸事件,系统触摸事件除了包含坐标信息外,还包含事件类型,如,按压(down)、滑动(move)、抬起(up)或者取消(cancel)。
系统触摸事件传递至应用层后,由对应的控件对系统触摸事件进行处理,确定UI变化内容(如窗口1和窗口2的变化内容)。
例如,系统触摸事件是用户在滚动条(scroller)所在区域触发的事件,窗口管理器可以将系统触摸事件传递至scroller,scroller根据系统触摸事件确定UI变化内容;随后,处理器110可以通过GPU对UI变化内容进行绘制、渲染、合成等处理,生成待显示的界面,并通过TP显示该界面。
下面以装置100为终端设备为例,结合图4至图14详细描述上述各个阶段。
首先以电容屏为例介绍TP响应阶段的工作流程。
图4示出了电容屏的工作原理。电容屏的构造主要是在玻璃屏幕上镀一层透明的薄膜导体层,再在薄膜导体层外加上一块保护玻璃,双玻璃设计能彻底保护导体层及传感器。由于人体存在电场,当手指触摸电容屏时,用户的手指和电容屏的面板形成耦合电容,面板上的高频信号输入端(Tx)与接收端(Rx)之间形成电容差,该电容差即为电容屏所检测到的电容采样值。由于电流等于电容乘以电压在时间上的微分,因此基于电容采样值,可以确定手指触摸电容屏时引起的电流变化值,即相当于用户手指触摸电容屏时吸走一个很小的电流,而这个电流分别从面板的四个角上的电极中流出。
Tx的驱动电压所产生的高频信号脉冲可以是直流脉冲信号(如图4中的脉冲波形所示),该驱动电压可以经驱动缓冲器(如图4中的三角形符号所示)接入各触控单元上其中一角的电极,该电极作为驱动电极;触控单元上与该驱动电极竖向同侧的另一角的接收电极则用于接收电荷形成电流输出,输入高频信号的一端即为上述Tx,接收电流输出的一端即为上述Rx。
如图5所示,当手指触摸电容屏时,流经上述四角上4个电极的电流与用户手指到四个角的距离成正比,因此,电容屏上的集成芯片(integrated circuit,IC)通过对四个电流比例的精密计算便可确定用户手指或触控笔的触摸位置(即,触摸坐标)。
图6是一种用户触摸TP的示意图。图6所示的终端设备包含内屏和外屏,当用户手持终端设备时,面对用户的屏幕为内屏,另外一个屏幕为外屏。内屏为折叠屏,内屏中部的虚线表示该折叠屏的折线。
当用户手持终端设备时,用户的大拇指和手掌与内屏接触,其余四根手指与外屏接触,内屏和外屏的电容值如图7所示。图7中,每个方格代表一个电容传感器的电容值,不同的填充内容代表不同的电容值。空心方格代表小于100的电容值,网状方格代表大于等于100且小于等于1000的电容值,点状方格代表大于1000且小于等于2000的电容值,实心方格代表大于2000的电容值。
用户手持终端设备时,用户没有对终端设备进行操作的意愿,因此,图7所示的电容值属于误触信号,下面介绍本申请提供的识别误触信号的方法。
图8是从模块交互的角度描述的识别误触信号的方法。
用户的手指接触内屏和外屏后,触发内屏和外屏表面的电容值发生变化,内屏和外屏分别将包含电容值的触摸信号(第一触摸信号和第二触摸信号)传递至处理器110。
处理器110通过内屏驱动处理第一触摸信号,生成第一报点数据;并且通过外屏驱动处理第二触摸信号,生成第二报点数据。内屏驱动和外屏驱动均属于内核层的TP驱动。报点数据可以包含触摸坐标、触摸压力、触摸区域形态、电容值等信息。
需要说明的是,图8所示的内屏和外屏可以是图6所示的两个独立的TP,也可以是图9所示的一个TP的两个区域。
图9示出了适用于本申请的另一种终端设备。该终端设备包括一个折叠屏,当该终端设备处于展开状态时,折叠屏不分内屏和外屏;当该终端设备处于折叠状态时,折叠屏面对用户的部分为内屏,折叠屏背对用户的部分为外屏。对于图9所示的终端设备,内屏驱动和外屏驱动为一个驱动,内屏防误触模块和外屏防误触模块也是一个模块。
回到图8,内屏防误触模块收到第一报点数据后,可以对第一报点数据进行单屏防误触识别。
例如,内屏防误触模块可以获取第一报点数据中的触摸坐标和触摸区域形态,若触摸坐标位于屏幕中央,并且,触摸区域形态为圆形,则内屏防误触模块可以确定第一触摸信号为非误触信号(通常情况下,用户手持终端设备造成的误触信号都是位于边缘区域的不规则形状的信号)。
外屏防误触模块收到第二报点数据后,可以基于类似的方法对第二报点数据进行单屏防误触识别。本申请对内屏防误触模块和外屏防误触模块进行单屏防误触识别的方式不做限定。
单屏防误触识别处理的信息量较少,能够快速判断触摸信号是否为误触信号。若终端设备通过单屏防误触识别确定第一触摸信号和第二触摸信号为误触信号,则无需再进行多屏防误触识别;若终端设备通过单屏防误触识别确定第一触摸信号和第二触摸信号为非误触信号,再进行多屏防误触识别可以提高识别多屏终端设备的误触信号的准确性。
若内屏防误触模块确定第一触摸信号为非误触信号,外屏防误触模块确定第二触摸信号为非误触信号,则防误触模块可以通过多屏防误触模块处理第一报点数据和第二报点数据。
多屏防误触模块在进行多屏防误触识别前需要确定内屏和外屏的工作状态。多屏防误触模块可以通过屏幕状态模块从状态管理器获取屏幕工作状态,其中,屏幕的工作状态包括熄屏状态或亮屏状态,屏幕状态模块可以通过传感器确定屏幕的工作状态。
当内屏和外屏同时处于熄屏状态时,或者,当内屏和外屏中的一个处于熄屏状态时,用户不会同时对内屏和外屏进行操作,因此,多屏防误触模块无需进行多屏防误触识别。
当内屏和外屏的工作状态均为亮屏状态时,用户可能同时对内屏和外屏进行操作,多屏防误触模块可以根据第一触摸信号和第二触摸信号的信号特征共同确定第一触摸信号和第二触摸信号是否为误触信号。
由于用户手持终端设备触发的多个触摸信号的信号特征通常具有关联性,例如,用户手持终端设备时触发的多个触摸信号通常是同时(或者在很短的时段内)生成的,多屏防误触模块可以将第一触摸信号和第二触摸信号的信号特征作为整体输入量判断第一触摸信号和第二触摸信号是否为误触信号,相比于基于独立信号特征判断触摸信号是否为误触信号的方法,基于多个信号特征共同识别误触信号能够提高识别多屏终端设备的误触信号的准确性。
下面详细描述基于多个信号特征识别误触信号的实施例。
在一种可选的实现方式中,第一触摸信号和第二触摸信号的信号特征包括坐标位置, 多屏防误触模块可以根据条件1~条件4确定第一触摸信号和第二触摸信号为误触信号。
当第一触摸信号和第二触摸信号的坐标位置满足条件1和条件2中的任意一项时,多屏防误触模块确定第一触摸信号和第二触摸信号为误触信号。
条件1,第一触摸信号和第二触摸信号的坐标位置均位于预设区域内。
条件2,第一触摸信号的坐标位置中靠近内屏的边缘的坐标位置的数量大于远离内屏的边缘的坐标位置的数量;并且,第二触摸信号的坐标位置中靠近外屏的边缘的坐标位置的数量大于远离外屏的边缘的坐标位置的数量。
当第一触摸信号和第二触摸信号的坐标位置满足条件3和条件4中的任意一项时,终端设备确定第一触摸信号和第二触摸信号为非误触信号:
条件3,第一触摸信号和/或第二触摸信号的坐标位置位于预设区域外;
条件4,第一触摸信号的坐标位置中靠近内屏的边缘的坐标位置的数量小于或等于远离内屏的边缘的坐标位置的数量;和/或,第二触摸信号的坐标位置中靠近外屏的边缘的坐标的位置数量小于或等于远离外屏的边缘的坐标位置的数量。
首先介绍基于预设区域识别误触信号的方法(条件1和条件3)。
预设区域可以是用户手持终端设备时经常接触内屏和外屏的区域,当第一触摸信号和第二触摸信号的坐标位置均位于预设区域内时,第一触摸信号和第二触摸信号有较大的概率是用户手持终端设备时触发的信号;当第一触摸信号和/或第二触摸信号的坐标位置位于预设区域外时,第一触摸信号和第二触摸信号有较大的概率是用户在进行输入操作时触发的信号;因此,终端设备可以根据第一触摸信号和第二触摸信号的坐标位置确定第一触摸信号和第二触摸信号是否为误触信号,提高识别多屏终端设备的误触信号的准确性。
情况一:预设区域是内屏和外屏边缘的区域。
当用户手持终端设备时,手部与屏幕的接触区域通常位于屏幕边缘而非屏幕中央,因此,预设区域可以是内屏和外屏边缘的区域。
以图7为例,预设区域可以是序号为1、2、3的三列电容传感器所在的区域(右手握持终端设备的区域),以及,序号为9、10、11的三列电容传感器所在的区域(左手握持终端设备的区域)。图7所示的第一触摸信号和第二触摸信号的坐标位置位于内屏和外屏中序号为1、2、3的三列电容传感器所在区域,因此,多屏防误触模块可以根据条件1确定图7所示的第一触摸信号和第二触摸信号为误触信号。
若第一触摸信号和第二触摸信号中的任意一个位于图7所示的预设区域外,则多屏防误触模块可以根据条件3确定第一触摸信号和第二触摸信号为非误触信号。
情况二:预设区域是与终端设备的应用场景关联的区域。
多屏防误触模块可以通过状态管理器获取当前的应用场景(即,前台运行的APP的信息)。应用场景可以是游戏场景、输入场景或观影场景,与终端设备的应用场景关联的区域可以是:在游戏场景中用户握持终端设备时接触内屏和外屏的区域;或者,在输入场景中用户握持终端设备时接触内屏和外屏的区域;或者,在观影场景中用户握持终端设备时接触内屏和外屏的区域。
在不同的场景中,用户手持终端设备时手部与屏幕的接触区域不同,基于不同的场景确定不同的预设区域,能够提高识别多屏终端设备的误触信号的准确性。
图10示出了游戏场景中用户可能与终端设备接触的区域。
用户双手握持终端设备,并且双手与内屏和外屏均有接触,多屏防误触模块可以确定在游戏模式下,内屏和外屏的边缘区域为预设区域,将预设区域触发的触摸信号判定为误触信号。
图11示出了输入场景中用户可能与终端设备接触的区域。
用户习惯左手握持终端设备,右手输入信息,多屏防误触模块可以确定在输入模式下,内屏和外屏与左侧的边缘区域为预设区域,将预设区域触发的触摸信号判定为误触信号。
图12示出了观影场景中用户可能与终端设备接触的区域。
用户手持终端设备观影时,折叠屏的折线处于竖直方向,用户的右手与内屏和外屏均存在接触区域,用户的左手与内屏存在接触区域,则多屏防误触模块可以将观影模式下的这些接触区域设置为预设区域,将预设区域触发的触摸信号判定为误触信号。
在一种可选的实现方式中,预设区域为神经网络基于用户的历史握持区域确定的参数。
不同用户手持终端设备时与屏幕的接触区域不同,用户的历史握持区域反映了用户的使用习惯,终端设备可以将反映用户的历史握持区域的信息(如图7所示容值图像)输入神经网络(如卷积神经网络),通过神经网络确定用户的习惯握持区域,因此,基于用户的历史握持区域确定的预设区域能够更加准确地识别多屏终端设备的误触信号。
下面介绍基于坐标位置的数量识别误触信号的方法(条件2和条件4)。
当用户手持终端设备时,手部与屏幕的接触区域通常位于屏幕边缘,导致靠近屏幕边缘的触摸信号的坐标数量大于远离屏幕边缘的触摸信号的坐标数量;当用户对终端设备进行输入操作时,手指与屏幕的接触区域通常位于屏幕中央,导致靠近屏幕边缘的触摸信号的坐标数量小于远离屏幕边缘的触摸信号的坐标数量。因此,终端设备可以根据这些特性来确定第一触摸信号和第二触摸信号是否为误触信号,提高识别多屏终端设备的误触信号的准确性。
如图7所示,用户在内屏触发的第一触摸信号中,位于第1列的电容信号有17个,位于第2列的电容信号有13个,位于第3列的电容信号有7个;用户在外屏触发的第二触摸信号中,位于第1列的电容信号有8个,位于第2列的电容信号有6个,位于第3列的电容信号有1个。第一触摸信号和第二触摸信号中,电容信号的坐标数量均从边缘到中央递减,符合条件2的要求,因此,多屏防误触模块可以将图7所示的第一触摸信号和第二触摸信号判定为误触信号。
若第一触摸信号和第二触摸信号中任意一个不符合图7所示的特征,则多屏防误触模块可以根据条件4确定第一触摸信号和第二触摸信号为非误触信号。
多屏防误触模块可以单独根据条件1和条件3判断第一触摸信号和第二触摸信号是否为误触信号;也可以单独根据条件2和条件4判断第一触摸信号和第二触摸信号是否为误触信号;还可以综合考虑条件1~条件4判断第一触摸信号和第二触摸信号是否为误触信号。
上文介绍了多屏防误触模块基于触摸信号的空间域特征识别误触信号的方法,下面介绍多屏防误触模块基于触摸信号的时域特征识别误触信号的方法。
在一种可选的实现方式中,第一触摸信号和第二触摸信号的信号特征包括触摸时间,多屏防误触模块可以基于下列条件确定第一触摸信号和第二触摸信号是否为误触信号。
当第一触摸信号的起始时刻和第二触摸信号的起始时刻的间隔小于或等于第一时间阈值时;和/或,当第一触摸信号的持续时间和第二触摸信号的持续时间均大于第二时间阈值时,多屏防误触模块确定第一触摸信号和第二触摸信号为误触信号;
当第一触摸信号的起始时刻和第二触摸信号的起始时刻的间隔大于第一时间阈值时;和/或,当第一触摸信号的持续时间和第二触摸信号的持续时间均小于或等于第二时间阈值时,多屏防误触模块确定第一触摸信号和第二触摸信号为非误触信号。
用户抓起终端设备时,手指和手掌会在很短的时间内接触屏幕,手指和手掌接触屏幕的持续时间通常也大于输入操作时手指与屏幕接触的持续时间,因此,多屏防误触模块可以根据这些特性来确定第一触摸信号和第二触摸信号是否为误触信号,提高识别多屏终端设备的误触信号的准确性。
在一种可选的实现方式中,第一时间阈值和第二时间阈值为神经网络基于用户的历史握持时间确定的参数。
不同用户手持终端设备时手部与屏幕的接触时间不同,用户的历史握持时间反映了用户的使用习惯,终端设备可以将用户的历史握持区域的时间参数(如:手部接触内屏和外屏的时间差,手部接触内屏和外屏的持续时间)输入神经网络,通过神经网络确定用户握持终端设备的时间特征,因此,基于用户的历史握持区域确定的预设区域能够更加准确地识别多屏终端设备的误触信号。
下面介绍多屏防误触模块基于触摸信号的强度域特征识别误触信号的方法。
在一种可选的实现方式中,第一触摸信号和第二触摸信号的信号特征包括信号强度,屏防误触模块可以基于下列条件确定第一触摸信号和第二触摸信号是否为误触信号。
当第一触摸信号的信号强度中靠近第一屏幕的边缘的信号强度大于远离第一屏幕的边缘的信号强度时;并且,当第二触摸信号的信号强度中靠近第二屏幕的边缘的信号强度大于远离第二屏幕的边缘的信号强度时,终端设备确定第一触摸信号和第二触摸信号为误触信号。
当第一触摸信号的信号强度中靠近第一屏幕的边缘的信号强度小于或等于远离第一屏幕的边缘的信号强度时;或者,当第二触摸信号的信号强度中靠近第二屏幕的边缘的信号强度小于或等于远离第二屏幕的边缘的信号强度时,终端设备确定第一触摸信号和第二触摸信号为非误触信号。
如图7所示,当用户手持终端设备时,手部对屏幕边缘的按压力度大于手部对屏幕中央的按压力度,因此,第1列电容信号的信号强度大于第2列电容信号的信号强度,第2列电容信号的信号强度大于第3列电容信号的信号强度,多屏防误触模块可以判定图7所示的触摸信号为误触信号。
图13示出了另一种触摸场景。该场景中,用户右手握持终端设备,通过左手操作内屏上的虚拟方向盘,控制内屏上的汽车。由图13可知,右手的握持区域位于屏幕边缘,左手的控制区域位于非边缘区域。该触摸场景触发的触摸信号如图14所示。
图14所示的握持区域中,靠近屏幕边缘的触摸信号的信号强度大于远离屏幕边缘的触摸信号的信号强度;图14所示的控制区域中,靠近屏幕边缘的触摸信号的信号强度小于远离屏幕边缘的触摸信号的信号强度;因此,多屏防误触模块可以确定握持区域中的触摸信号为误触信号,并且确定控制区域中的触摸信号为非误触信号。
上文分别讲述了多屏防误触模块基于多个触摸信号的空间域特征、时间域特征和强度域特征确定该多个触摸信号是否为误触信号的方法,多屏防误触模块可以基于一种特征识别误触信号,也可以基于多种特征识别误触信号。
此外,上文讲述的方法中,防误触模块首先对触摸信号进行单屏防误触识别,再对触摸信号进行多屏防误触识别。单屏防误触识别处理的信息量较少,能够快速判断触摸信号是否为误触信号。若终端设备通过单屏防误触识别确定第一触摸信号和第二触摸信号为误触信号,则无需再进行多屏防误触识别;若终端设备通过单屏防误触识别确定第一触摸信号和第二触摸信号为非误触信号,再进行多屏防误触识别可以提高识别多屏终端设备的误触信号的准确性。
可选地,防误触模块也可以先对多个触摸信号进行多屏防误触识别,若识别结果为非误触信号,再对该多个触摸信号进行单屏防误触识别。
回到图8,当防误触模块确定第一触摸信号和第二触摸信号为误触信号时,防误触模块确定不处理第一触摸信号和第二触摸信号,即,防误触模块不再向其他模块传递第一报点数据和第二报点数据,从而完成了误触信号的处理。
当防误触模块确定第一触摸信号和第二触摸信号为非误触信号时,防误触模块将第一报点数据转换为第一原始触摸事件,并且将第二触摸信号转换为第二原始触摸事件;随后向窗口管理器发送第一原始触摸事件和第二原始触摸事件,第一原始触摸事件和第二原始触摸事件包含触摸坐标等信息,通常不包含电容值。
窗口管理器将第一原始触摸事件转换为第一系统触摸事件,并且将第二原始触摸事件转换为第二系统触摸事件,随后分别向内屏窗口和外屏窗口发送对应的系统触摸事件,由内屏窗口和外屏窗口对应的APP处理系统触摸事件。第一系统触摸事件和第二系统触摸事件除了包含坐标信息外,还包含事件类型,如,按压(down)、滑动(move)、抬起(up)或者取消(cancel)。
内屏窗口和外屏窗口对应的APP收到对应的系统触摸事件后,可以将系统触摸事件转发至触摸区域的控件,控件基于系统触摸事件确定UI变化内容,并将UI变化内容传递至应用程序框架层的视图系统(图2未示出)。视图系统根据UI变化内容调用系统库进行绘制、渲染、合成等处理,生成帧;随后,帧被送入内屏和外屏进行显示,从而完成了非误触信号的处理。
下面结合图15从模块执行顺序的角度描述本申请提供的识别误触信号的方法。
S1501,内屏驱动向内屏防误触模块发送第一报点数据。
内屏驱动从内屏获取第一触摸信号后,对包含电容值的第一触摸信号进行分析处理,生成包含触摸坐标、触摸压力、触摸区域形态、电容值等信息的第一报点数据。
S1502,内屏驱动对第一报点数据进行单屏防误触识别。
上文已经介绍了单屏防误触识别的方法,此处不再赘述。
S1503,若第一报点数据的单屏防误触识别结果为非误触信号,则内屏防误触模块将第一报点数据传递至多屏防误触模块。
S1504,外屏驱动向外屏防误触模块发送第二报点数据。
外屏驱动从外屏获取第二触摸信号后,对包含电容值的第二触摸信号进行分析处理,生成包含触摸坐标、触摸压力、触摸区域形态、电容值等信息的第二报点数据。此外,S1501和S1504的执行顺序不分先后。
S1505,外屏驱动对第二报点数据进行单屏防误触识别。
S1506,若第二报点数据的单屏防误触识别结果为非误触信号,则内屏防误触模块将第二报点数据传递至多屏防误触模块。
S1507,状态管理器获取内屏和外屏的工作状态,并向屏幕状态模块发送屏幕工作状态。
S1507与S1501~ S1506的执行顺序不分先后。
S1508,屏幕状态模块向多屏防误触模块发送屏幕工作状态。
S1509,当内屏和外屏的工作状态均为亮屏状态时,多屏防误触模块对第一报点数据和第二报点数据进行多屏防误触识别,确定第一报点数据和第二报点数据是否为误触信号。
S1510,当第一报点数据和第二报点数据为非误触信号时,多屏防误触模块将第一报点数据转换为第一原始触摸事件,并且将第二报点数据转换为第二原始触摸事件。
S1511,多屏防误触模块将第一原始触摸事件和第二原始触摸事件传递至窗口管理器。
S1512,窗口管理器将第一原始触摸事件转换为第一系统触摸事件,并且将第二原始触摸事件转换为第二系统触摸事件。
S1513,窗口管理器将第一系统触摸事件传递至内屏窗口。
S1514,窗口管理器将第二系统触摸事件传递至外屏窗口。
本申请还提供了一种计算机程序产品,该计算机程序产品被处理器执行时实现本申请中任一方法实施例所述的方法。
该计算机程序产品可以存储在存储器中,经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器执行的可执行目标文件。
该计算机程序产品也可以固化在芯片中的代码。本申请对计算机程序产品的具体形式不做限定。
本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被计算机执行时实现本申请中任一方法实施例所述的方法。该计算机程序可以是高级语言程序,也可以是可执行目标程序。
该计算机可读存储介质可以是易失性存储器或非易失性存储器,或者,可以同时包括易失性存储器和非易失性存储器。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamic RAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rateSDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(directrambus RAM,DR RAM)。
本领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置和设备的具体工作过程以及产生的技术效果,可以参考前述方法实施例中对应的过程和技术效果,在此不再赘述。
在本申请所提供的几个实施例中,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的方法实施例的一些特征可以忽略,或不执行。以上所描述的装置实施例仅仅是示意性的,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,多个单元或组件可以结合或者可以集成到另一个系统。另外,各单元之间的耦合或各个组件之间的耦合可以是直接耦合,也可以是间接耦合,上述耦合包括电的、机械的或其它形式的连接。
应理解,在本申请的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请的实施例的实施过程构成任何限定。
另外,本文中术语“系统”和“网络”在本文中常被可互换使用。本文中的术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
总之,以上所述仅为本申请技术方案的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (14)
1.一种识别误触信号的方法,其特征在于,应用于终端设备,所述终端设备包括第一屏幕和第二屏幕,所述方法包括:
确定所述第一屏幕和所述第二屏幕的工作状态;
获取所述第一屏幕生成的第一触摸信号和所述第二屏幕生成的第二触摸信号;
当所述第一屏幕和所述第二屏幕的工作状态均为亮屏状态时,将所述第一触摸信号和所述第二触摸信号的信号特征作为整体输入量,同时共同来确定所述第一触摸信号和所述第二触摸信号是否为误触信号。
2.根据权利要求1所述的方法,其特征在于,所述第一触摸信号和所述第二触摸信号的信号特征包括坐标位置,所述将所述第一触摸信号和所述第二触摸信号的信号特征作为整体输入量,同时共同来确定所述第一触摸信号和所述第二触摸信号是否为误触信号,包括:
当所述第一触摸信号和所述第二触摸信号的坐标位置满足条件1和条件2中的任意一项时,确定所述第一触摸信号和所述第二触摸信号为误触信号:
条件1,所述第一触摸信号和所述第二触摸信号的坐标位置均位于预设区域内;
条件2,所述第一触摸信号的坐标位置中靠近所述第一屏幕的边缘的坐标位置的数量大于远离所述第一屏幕的边缘的坐标位置的数量;并且,所述第二触摸信号的坐标位置中靠近所述第二屏幕的边缘的坐标位置的数量大于远离所述第二屏幕的边缘的坐标位置的数量;
当所述第一触摸信号和所述第二触摸信号的坐标位置满足条件3和条件4中的任意一项时,确定所述第一触摸信号和所述第二触摸信号为非误触信号:
条件3,所述第一触摸信号和/或所述第二触摸信号的坐标位置位于所述预设区域外;
条件4,所述第一触摸信号的坐标位置中靠近所述第一屏幕的边缘的坐标位置的数量小于或等于远离所述第一屏幕的边缘的坐标位置的数量;并且,所述第二触摸信号的坐标位置中靠近所述第二屏幕的边缘的坐标的位置数量小于或等于远离所述第二屏幕的边缘的坐标位置的数量。
3.根据权利要求2所述的方法,其特征在于,所述预设区域为所述第一屏幕的边缘的至少一块区域和所述第二屏幕的边缘的至少一块区域。
4.根据权利要求2或3所述的方法,其特征在于,所述预设区域为与所述终端设备的应用场景关联的区域。
5.根据权利要求4所述的方法,其特征在于,所述应用场景包括游戏场景、输入场景或观影场景,所述与所述终端设备的应用场景关联的区域,包括:
在所述游戏场景中用户握持所述终端设备时接触所述第一屏幕和所述第二屏幕的区域;或者,
在所述输入场景中用户握持所述终端设备时接触所述第一屏幕和所述第二屏幕的区域;或者,
在所述观影场景中用户握持所述终端设备时接触所述第一屏幕和所述第二屏幕的区域。
6.根据权利要求2或3所述的方法,其特征在于,所述预设区域为神经网络基于用户的历史握持区域确定的参数。
7.根据权利要求1至3中任一项所述的方法,其特征在于,所述第一触摸信号和所述第二触摸信号的信号特征包括触摸时间,所述将所述第一触摸信号和所述第二触摸信号的信号特征作为整体输入量,同时共同来确定所述第一触摸信号和所述第二触摸信号是否为误触信号,包括:
当所述第一触摸信号的起始时刻和所述第二触摸信号的起始时刻的间隔小于或等于第一时间阈值时;和/或,当所述第一触摸信号的持续时间和所述第二触摸信号的持续时间均大于第二时间阈值时,确定所述第一触摸信号和所述第二触摸信号为误触信号;
当所述第一触摸信号的起始时刻和所述第二触摸信号的起始时刻的间隔大于所述第一时间阈值时;和/或,当所述第一触摸信号的持续时间和所述第二触摸信号的持续时间均小于或等于所述第二时间阈值时,确定所述第一触摸信号和所述第二触摸信号为非误触信号。
8.根据权利要求7所述的方法,其特征在于,所述第一时间阈值和所述第二时间阈值为神经网络基于用户的历史握持时间确定的参数。
9.根据权利要求1至3中任一项所述的方法,其特征在于,所述第一触摸信号和所述第二触摸信号的信号特征包括信号强度,所述将所述第一触摸信号和所述第二触摸信号的信号特征作为整体输入量,同时共同来确定所述第一触摸信号和所述第二触摸信号是否为误触信号,包括:
当所述第一触摸信号的信号强度中靠近所述第一屏幕的边缘的信号强度大于远离所述第一屏幕的边缘的信号强度时;并且,当所述第二触摸信号的信号强度中靠近所述第二屏幕的边缘的信号强度大于远离所述第二屏幕的边缘的信号强度时,确定所述第一触摸信号和所述第二触摸信号为误触信号;
当所述第一触摸信号的信号强度中靠近所述第一屏幕的边缘的信号强度小于或等于远离所述第一屏幕的边缘的信号强度时;或者,当所述第二触摸信号的信号强度中靠近所述第二屏幕的边缘的信号强度小于或等于远离所述第二屏幕的边缘的信号强度时,确定所述第一触摸信号和所述第二触摸信号为非误触信号。
10.根据权利要求1至3中任一项所述的方法,其特征在于,所述将所述第一触摸信号和所述第二触摸信号的信号特征作为整体输入量,同时共同来确定所述第一触摸信号和所述第二触摸信号是否为误触信号之前,所述方法还包括:
分别对所述第一触摸信号和所述第二触摸信号进行单屏防误触识别;
所述将所述第一触摸信号和所述第二触摸信号的信号特征作为整体输入量,同时共同来确定所述第一触摸信号和所述第二触摸信号是否为误触信号,包括:
当所述单屏防误触识别的结果指示所述第一触摸信号和所述第二触摸信号均属于非误触信号时,将所述第一触摸信号和所述第二触摸信号的信号特征作为整体输入量,同时共同来确定所述第一触摸信号和所述第二触摸信号是否为误触信号。
11.根据权利要求1至3中任一项所述的方法,其特征在于,还包括:
当所述第一触摸信号和所述第二触摸信号为非误触信号时,通过窗口管理器处理所述第一触摸信号和所述第二触摸信号对应的输入事件;
当所述第一触摸信号和所述第二触摸信号为误触信号时,确定不处理所述第一触摸信号和所述第二触摸信号。
12.根据权利要求1至3中任一项所述的方法,其特征在于,所述终端设备为折叠屏终端设备或者非折叠屏终端设备。
13.一种识别误触信号的装置,其特征在于,包括处理器和存储器,所述处理器和所述存储器耦合,所述存储器用于存储计算机程序,当所述计算机程序被所述处理器执行时,使得所述装置执行权利要求1至12中任一项所述的方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,当所述计算机程序被处理器执行时,使得所述处理器执行权利要求1至12中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111590614.6A CN113986047B (zh) | 2021-12-23 | 2021-12-23 | 识别误触信号的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111590614.6A CN113986047B (zh) | 2021-12-23 | 2021-12-23 | 识别误触信号的方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113986047A CN113986047A (zh) | 2022-01-28 |
CN113986047B true CN113986047B (zh) | 2023-10-27 |
Family
ID=79734167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111590614.6A Active CN113986047B (zh) | 2021-12-23 | 2021-12-23 | 识别误触信号的方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113986047B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018107849A1 (zh) * | 2016-12-16 | 2018-06-21 | 广东欧珀移动通信有限公司 | 一种移动终端上触摸操作的控制方法及相关产品 |
WO2018107896A1 (zh) * | 2016-12-16 | 2018-06-21 | 广东欧珀移动通信有限公司 | 一种分屏防误触方法、装置、移动终端及存储介质 |
CN109871147A (zh) * | 2019-02-22 | 2019-06-11 | 华为技术有限公司 | 一种触摸屏的响应方法及电子设备 |
CN110658975A (zh) * | 2019-09-17 | 2020-01-07 | 华为技术有限公司 | 一种移动终端操控方法及装置 |
CN111262975A (zh) * | 2020-01-08 | 2020-06-09 | 华为技术有限公司 | 亮屏控制方法及电子设备 |
CN111596781A (zh) * | 2019-02-20 | 2020-08-28 | 华为技术有限公司 | 一种防误触方法及一种终端 |
CN111610874A (zh) * | 2019-02-22 | 2020-09-01 | 华为技术有限公司 | 一种触摸屏的响应方法及电子设备 |
WO2020259674A1 (zh) * | 2019-06-28 | 2020-12-30 | 华为技术有限公司 | 一种曲面屏的防误触方法及电子设备 |
WO2021115210A1 (zh) * | 2019-12-09 | 2021-06-17 | 华为技术有限公司 | 一种触控区域调整方法及装置 |
WO2021197085A1 (zh) * | 2020-03-31 | 2021-10-07 | 华为技术有限公司 | 屏下摄像头终端设备的误触提醒方法和装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7421321B2 (en) * | 1995-06-07 | 2008-09-02 | Automotive Technologies International, Inc. | System for obtaining vehicular information |
US20050192727A1 (en) * | 1994-05-09 | 2005-09-01 | Automotive Technologies International Inc. | Sensor Assemblies |
-
2021
- 2021-12-23 CN CN202111590614.6A patent/CN113986047B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018107849A1 (zh) * | 2016-12-16 | 2018-06-21 | 广东欧珀移动通信有限公司 | 一种移动终端上触摸操作的控制方法及相关产品 |
WO2018107896A1 (zh) * | 2016-12-16 | 2018-06-21 | 广东欧珀移动通信有限公司 | 一种分屏防误触方法、装置、移动终端及存储介质 |
CN111596781A (zh) * | 2019-02-20 | 2020-08-28 | 华为技术有限公司 | 一种防误触方法及一种终端 |
CN109871147A (zh) * | 2019-02-22 | 2019-06-11 | 华为技术有限公司 | 一种触摸屏的响应方法及电子设备 |
CN111610874A (zh) * | 2019-02-22 | 2020-09-01 | 华为技术有限公司 | 一种触摸屏的响应方法及电子设备 |
WO2020259674A1 (zh) * | 2019-06-28 | 2020-12-30 | 华为技术有限公司 | 一种曲面屏的防误触方法及电子设备 |
CN110658975A (zh) * | 2019-09-17 | 2020-01-07 | 华为技术有限公司 | 一种移动终端操控方法及装置 |
WO2021115210A1 (zh) * | 2019-12-09 | 2021-06-17 | 华为技术有限公司 | 一种触控区域调整方法及装置 |
CN111262975A (zh) * | 2020-01-08 | 2020-06-09 | 华为技术有限公司 | 亮屏控制方法及电子设备 |
WO2021197085A1 (zh) * | 2020-03-31 | 2021-10-07 | 华为技术有限公司 | 屏下摄像头终端设备的误触提醒方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113986047A (zh) | 2022-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8452057B2 (en) | Projector and projection control method | |
US10168812B1 (en) | Reducing inadvertent actions on a computing device | |
WO2020019616A1 (zh) | 触控数据处理的方法、装置、智能设备和存储介质 | |
CN108595220B (zh) | 应用组件的处理方法、设备及计算机可读存储介质 | |
US8270670B2 (en) | Method for recognizing and tracing gesture | |
US20110219340A1 (en) | System and method for point, select and transfer hand gesture based user interface | |
CN104199552A (zh) | 多屏显示方法、设备及系统 | |
US9588673B2 (en) | Method for manipulating a graphical object and an interactive input system employing the same | |
CN108228040A (zh) | 移动终端及浮屏操作控制方法、装置 | |
US20190324613A1 (en) | Display interface systems and methods | |
US10013595B2 (en) | Correlating fingerprints to pointing input device actions | |
CN103870120B (zh) | 一种信息处理方法及电子设备 | |
CN113268182A (zh) | 应用图标的管理方法和电子设备 | |
US11301124B2 (en) | User interface modification using preview panel | |
EP4325340A1 (en) | Display method and terminal device | |
CN113986047B (zh) | 识别误触信号的方法和装置 | |
WO2020249103A1 (zh) | 智能交互设备的控制方法和装置 | |
US9658734B2 (en) | Information processing method and electronic device | |
Lakshmi et al. | A novel air writing recognition system using Raspberry Pi for the control and interaction of digital systems | |
KR101229629B1 (ko) | 애플리케이션 간의 콘텐츠 전달 방법 및 이를 실행하는 장치 | |
WO2019024507A1 (zh) | 一种触摸控制方法、装置及终端 | |
EP2902898B1 (en) | System and method in managing low-latency direct control feedback | |
CN108595091B (zh) | 屏幕控制显示方法、装置及计算机可读存储介质 | |
CN110096193A (zh) | 电子小说的处理方法、设备及计算机可读存储介质 | |
WO2024032037A1 (zh) | 未读消息通知的处理方法、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |