CN117991966A - 终端设备及其界面交互方法 - Google Patents
终端设备及其界面交互方法 Download PDFInfo
- Publication number
- CN117991966A CN117991966A CN202410400700.3A CN202410400700A CN117991966A CN 117991966 A CN117991966 A CN 117991966A CN 202410400700 A CN202410400700 A CN 202410400700A CN 117991966 A CN117991966 A CN 117991966A
- Authority
- CN
- China
- Prior art keywords
- sliding
- touch
- event
- value
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000003993 interaction Effects 0.000 title claims abstract description 24
- 230000008859 change Effects 0.000 claims abstract description 44
- 238000003062 neural network model Methods 0.000 claims abstract description 43
- 238000005070 sampling Methods 0.000 claims abstract description 15
- 230000000694 effects Effects 0.000 claims description 22
- 230000000977 initiatory effect Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 abstract description 12
- 230000006870 function Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 13
- 239000010410 layer Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000002085 persistent effect Effects 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000010200 validation analysis Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000005684 electric field Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- BIIBYWQGRFWQKM-JVVROLKMSA-N (2S)-N-[4-(cyclopropylamino)-3,4-dioxo-1-[(3S)-2-oxopyrrolidin-3-yl]butan-2-yl]-2-[[(E)-3-(2,4-dichlorophenyl)prop-2-enoyl]amino]-4,4-dimethylpentanamide Chemical compound CC(C)(C)C[C@@H](C(NC(C[C@H](CCN1)C1=O)C(C(NC1CC1)=O)=O)=O)NC(/C=C/C(C=CC(Cl)=C1)=C1Cl)=O BIIBYWQGRFWQKM-JVVROLKMSA-N 0.000 description 1
- 108010014173 Factor X Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- VLCQZHSMCYCDJL-UHFFFAOYSA-N tribenuron methyl Chemical compound COC(=O)C1=CC=CC=C1S(=O)(=O)NC(=O)N(C)C1=NC(C)=NC(OC)=N1 VLCQZHSMCYCDJL-UHFFFAOYSA-N 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本公开涉及一种终端设备及其界面交互方法。该方法包括:获取对触摸屏输入的触控起始事件,该事件包括起始坐标和起始触摸面积参数;获取对触摸屏持续输入的触控滑动事件,该事件包括滑动坐标和滑动触摸面积参数;根据前述坐标、和触摸屏采样率计算坐标变化值和滑动速度值,并且计算面积参数值;将缩放系数、滑动速度值和面积参数值作为输入送入轻量化神经网络模型,以基于输入和在前模型输出的缩放系数执行推理,以获取当前模型输出的缩放系数;基于当前模型输出的缩放系数和坐标变化值确定变化的滑动坐标并由此进行显示变换。通过基于模型生成的自适应的缩放系数进行实时滑动事件调整,灵活准确地对用户在触摸屏上的操作进行响应。
Description
技术领域
本公开涉及终端设备触摸屏交互技术,特别涉及终端设备及其界面交互方法。
背景技术
一些终端设备,例如手机,配备有触摸屏。触摸屏上显示的内容会在用户的触控操作下发生变化。例如,手指在屏幕上的位移会使得对应的触控对象在屏幕上的显示也产生对应距离的变化。现有技术中,存在屏幕上显示的距离变化与期望不符的情况,从而影响了用户的终端操作体验。
发明内容
根据本公开实施例的第一个方面,提供了一种界面交互方法,包括:获取对触摸屏输入的触控起始事件,所述触控起始事件包括起始坐标和起始触摸面积参数;获取对所述触摸屏持续输入的触控滑动事件,所述触控滑动事件包括滑动坐标和滑动触摸面积参数;根据所述起始坐标、所述滑动坐标和触摸屏采样率计算坐标变化值和滑动速度值,并且基于所述起始触摸面积参数和/或所述滑动触摸面积参数计算面积参数值;将缩放系数、所述滑动速度值和所述面积参数值作为输入送入轻量化神经网络模型;使用所述轻量化神经网络模型基于所述输入和在前模型输出的缩放系数执行推理,以获取当前模型输出的缩放系数;基于所述当前模型输出的缩放系数和所述坐标变化值确定变化的滑动坐标,并且基于所述变化的滑动坐标调整所述触控滑动事件;以及将调整后的触控滑动事件分发至所述触摸屏显示的应用,以使所述应用基于调整后的触控滑动事件进行变换。
可选地,使用所述轻量化神经网络模型基于所述输入和在前模型输出的缩放系数执行推理包括:在推理过程中,将在前模型输出的缩放系数送至所述轻量化神经网络模型的中间层,其中,所述轻量化神经网络模型是经剪枝的残差卷积神经网络模型。
可选地,所述方法还包括:获取更新的缩放系数并上传模型更新服务器;以及获取所述模型更新服务器下发的经微调的轻量化神经网络模型,其中,所述模型更新服务器基于所述更新的缩放系数对所述轻量化神经网络模型进行微调。
可选地,所述方法还包括:获取所述缩放系数的自定义值;以及获取所述自定义值的适用范围,其中,所述在前模型的缩放系数对应于所述轻量化神经网络模型针对所述适用范围内的前次浏览操作的首次滑动的输出值,并且为所述适用范围内的当前浏览操作的首次滑动计算所述当前模型输出的缩放系数。
可选地,获取所述缩放系数的自定义值包括:获取所述缩放系数的多个自定义值,并且获取所述自定义值适用的范围还包括如下至少一种:获取设置的多个自定义值各自适用的应用范围;和获取设置的多个自定义值各自适用的操作对象范围。
可选地,获取所述缩放系数的自定义值包括:基于获取的对所述触摸屏持续输入的触控滑动事件显示根据当前值的当前滑动效果;获取改变所述当前值的输入以生成改变值;基于对所述触摸屏持续输入的触控滑动事件显示根据所述改变值的改变滑动效果;以及基于所述改变值确定所述自定义值。
可选地,所述触控起始事件和所述触控滑动事件的操作对象为界面,并且所述应用的界面基于调整后的触控滑动事件进行滑动;和/或所述触控起始事件和所述触控滑动事件的操作对象为界面中的显示对象,所述应用的界面中的显示对象基于调整后的触控滑动事件进行移动。
可选地,获取对触摸屏输入的触控起始事件包括:获取所述触摸屏输入的多个触控起始事件,获取对所述触摸屏持续输入的触控滑动事件包括:同时获取所述触摸屏持续输入的多个触控滑动事件,根据所述起始坐标、所述滑动坐标和触摸屏采样率计算坐标变化值和滑动速度值,并且基于所述起始触摸面积参数和/或滑动触摸面积参数计算面积参数值包括:根据所述多个触控起始事件各自的起始坐标、各自对应的触控滑动事件的滑动坐标和所述触摸屏采样率计算多个坐标变化值,并且基于各自的所述起始触摸面积参数和/或各自的所述滑动触摸面积参数计算各自的面积参数值,将用户设置的缩放系数、所述滑动速度值和所述面积参数值作为输入送入客户端上部署的轻量化神经网络模型包括:将所述用户设置的缩放系数、各自的所述滑动速度值和各自的所述面积参数值作为输入送入客户端上部署的轻量化神经网络模型,使用所述轻量化神经网络模型基于所述输入和在前模型输出的缩放系数执行推理,以获取当前模型输出的缩放系数包括:使用所述轻量化神经网络模型基于所述输入和在前模型输出的多点缩放系数执行推理,以获取当前模型输出的多点缩放系数,基于所述当前模型输出的缩放系数和所述坐标变化值确定变化的滑动坐标,并且基于所述变化的滑动坐标调整所述触控滑动事件包括:基于所述当前模型输出的多点缩放系数和所述多个坐标变化值确定多个变化的滑动坐标,并且基于所述多个变化的滑动坐标调整所述多个触控滑动事件,以及将调整后的触控滑动事件分发至所述触摸屏显示的应用,以使所述应用基于调整后的触控滑动事件进行变换包括:将多个调整后的触控滑动事件分发至所述触摸屏显示的应用,以使所述应用基于所述多个调整后的触控滑动事件进行缩放和/或旋转。
可选地,所述多个触控起始事件和所述多个触控滑动事件的操作对象包括如下至少一项:界面;图片;以及视频播放窗口。
根据本公开实施例的第二个方面,提供了一种终端设备,包括触摸屏;处理器;以及存储器,其上存储有可执行代码,当可执行代码被处理器执行时,使处理器执行如上述第一个方面的方法。
根据本公开实施例的第三个方面,提供了一种计算机程序产品,包括可执行代码,当可执行代码被电子设备的处理器执行时,使处理器执行上述第一个方面的方法。
根据本公开实施例的第四个方面,提供了一种非暂时性机器可读存储介质,其上存储有可执行代码,当可执行代码被电子设备的处理器执行时,使处理器执行如上述第一个方面的方法。
通过持续计算当前触控滑动事件中滑动坐标相对于起始坐标的变化值,并基于缩放系数进行实时调整,能够灵活准确地对用户在触摸屏上的位移操作进行响应,从而给出更符合用户期望的操作显示结果。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显,其中,在本公开示例性实施方式中,相同的参考标号通常代表相同部件。
图1示意性地示出了根据本公开的实施例的终端设备的示例性硬件结构框图。
图2示例性地示出了根据本公开的界面交互方法的示意性流程图。
图3示出了根据本公开一个实施例的轻量化残差卷积神经网络的例子。
图4A-D示出了缩放参数设置界面中滑动效果展示的例子。
图5示出了缩放参数设置界面的一个例子。
图6示出了根据本公开至少一个实施例的可用于实现上述界面交互方法的终端设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式,然而应该理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
本公开实施例提供的终端设备的界面交互方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等具有显示模组的电子设备上,还可以应用于数据库、服务器以及基于终端人工智能的具有显示模组的服务响应系统,本公开实施例对电子设备的具体类型不作任何限制。
例如,具有显示模组的所述终端设备可以是WLAN中的站点(STAION,ST),可以是蜂窝电话、无绳电话、会话启动协议(Session Initiation Protocol,SIP)电话、无线本地环路(Wireless Local Loop,WLL)站、个人数字处理(Personal Digital Assistant,PDA)设备、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、电脑、膝上型计算机、手持式通信设备、手持式计算设备、和/或用于在无线系统上进行通信的其它设备以及下一代通信系统,例如,5G网络中的移动终端、未来演进的公共陆地移动网络(Public Land Mobile Network,PLMN)中的移动终端或者未来演进的非地面网络(Non-terrestrial Network,NTN)中的移动终端等。
作为示例而非限定,当具有显示模组的所述终端设备为可穿戴设备时,该可穿戴设备还可以是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称,如配置有远场通信模块和/或近场通信模块以及显示模组的手套、手表、AR((AugmentedReality,增强现实)头戴显示设备、VR(Virtual Reality,虚拟现实)头戴显示设备或者MR(Mixed Reality,混合现实)头戴显示设备等。
在一些实施例中,上述终端设备可以是具备如图1所示的示例性硬件结构的示例性的手机100,如图1所示,手机100具体可以包括:射频(Radio Frequency,RF)电路110、存储器120、输入单元130、显示单元140、传感器150、音频电路160、短距离无线通信模块170、处理器180、以及电源190等部件。本领域技术人员可以理解,图1中示出的手机100的结构并不构成对终端设备的限定,终端设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图1对手机100的各个构成部件进行具体的介绍:
RF电路110可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器180处理;另外,将上行的数据发送给基站。通常,RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier,LNA)、双工器等。此外,RF电路110还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,所述无线通信可以包括全球移动通讯系统(GlobalSystem For Mobile Communications,GSM),通用分组无线服务(General Packet RadioService,GPRS),码分多址接入(Code DivisionMultiple Access,CDMA),宽带码分多址(Wideband Code Division Multiple Access,WCDMA),时分码分多址(Time-DivisionCode Division Multiple Access,TD-SCDMA),长期演进(Long Term Evolution,LTE),新无线(New Radio,NR),GNSS,FM,低轨卫星连接和/或IR技术等。所述GNSS可以包括全球卫星定位系统(Global Positioning System,GPS),全球导航卫星系统(Global NavigationSatellite System,GLONASS),北斗卫星导航系统(BeiDou Navigation SatelliteSystem,BDS),准天顶卫星系统(Quasi-Zenithsatellite System,QZSS)和/或星基增强系统(Satellite Based Augmentation Systems,SBAS)等。
存储器120可用于存储软件程序以及模块,处理器180通过运行存储在存储器120的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器120可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如图片、音频数据、电话本等)等。此外,存储器120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。例如,存储器120可以存储操作系统和应用代码,并且可以存储本公开的界面交互方法中使用的轻量化神经网络模型以及针对缩放系数的相关设置。
输入单元130可用于接收输入的数字或字符信息,以及产生与手机100的用户设置以及功能控制有关的键信号输入。具体地,输入单元130可包括触控面板131以及其他输入设备132。触控面板131,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指(例如单指或多指)、触控笔等任何适合的物体或附件在触控面板131上或在触控面板131附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板131可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器180,并能接收处理器180发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板131。除了触控面板131,输入单元130还可以包括其他输入设备132。具体地,其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单,例如显示不同的应用。显示单元140可包括显示面板141,可选的,可以采用液晶显示器(Liquid CrystalDisplay,LCD)、发光二极管(Light Emitting Diode,LED)、有机发光二极管(Organic Light-Emitting Diode,OLED)、有源矩阵有机发光二极管(Active-MatrixOrganic Light Emitting Diode,AMOLED)等形式来配置显示面板141。进一步的,触控面板131可覆盖显示面板141,当触控面板131检测到在其上或附近的触摸操作后,传送给处理器180以确定触摸事件的类型,随后处理器180根据触摸事件的类型在显示面板141上提供相应的视觉输出。例如,当触控面板131检测到触控滑动事件时,处理器180根据用户的触控滑动轨迹在显示面板141上变换滑动对象的显示,例如,显示界面的上移或下移。虽然在图1中,触控面板131与显示面板141是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板131与显示面板141集成为触摸屏而实现手机的输入和输出功能。
手机100还可包括至少一种传感器150,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板141的亮度,接近传感器可在手机移动到耳边时,关闭显示面板141和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路160、扬声器161,传声器162可提供用户与手机之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号,传输到扬声器161,由扬声器161转换为声音信号输出;另一方面,传声器162将收集的声音信号转换为电信号,由音频电路160接收后转换为音频数据,再将音频数据输出处理器180处理后,经RF电路110以发送给比如另一电子设备,或者将音频数据输出至存储器120以便进一步处理。
Wi-Fi、蓝牙、近距离无线通信(Near Field Communication,NFC)以及超宽带(Ultra Wide Band,UWB)等通信技术属于短距离无线传输技术,手机通过短距离无线模块170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。上述短距离无线模块170可以包括Wi-Fi芯片、蓝牙芯片、NFC芯片以及UWB芯片,通过该Wi-Fi芯片可以实现手机100与其他电子设备进行Wi-Fi Direct连接的功能,也可以使手机100工作在能够提供无线接入服务,允许其它无线设备接入的AP模式(AccessPoint模式)或工作在可以连接到AP不接受无线设备接入的STA模式(Station模式),从而建立手机100与其他Wi-Fi设备的点对点通信。
处理器180是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器120内的软件程序和/或模块,以及调用存储在存储器120内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器180可包括一个或多个处理单元;可选地,处理器180例如可以包括应用处理器(ApplicationProcessor,AP),调制解调处理器,图形处理器(Graphics ProcessingUnit,GPU),图像信号处理器(Image Signal Processor,ISP),控制器,视频编解码器,数字信号处理器(DigitalSignal Processor,DSP),基带处理器,和/或神经网络处理器(Neural-NetworkProcessing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
手机100还包括给各个部件供电的电源190(比如电池),优选的,电源可以通过电源管理系统与处理器180逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
手机100还可以包括摄像头。可选地,摄像头在手机上的位置可以为前置的,也可以为后置的,本公开实施例对此不作限定。
手机100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构等,例如安卓(Android)系统或者IOS(I Operating System)都采用分层架构。
在现有的终端设备操作系统中,会根据用户在触摸屏上滑动的距离调整界面的显示。例如,用户在利用终端设备进行文章阅读时,手指在屏幕中心向上划过长度方向上三分之一的距离(即,手指在触摸屏上进行连续位移),则文章界面的显示也会相应地上移,由此实现三分之一界面更新内容的显示。
然而,不同人群使用手机时习惯差异很大,有的在滑动界面时手指滑动距离较大,有的滑动距离较小;有的浏览速度较快,有的则较慢。例如,部分用户可能因为手指不够灵活而无法一次性在触摸屏上滑动足够的距离,导致界面内容滑动过慢。如果这些用户浏览速度又较快,会出现界面实际滑动距离和用户自身期望差异较大的情况,从而降低用户体验。
再例如,用户可以通过多点触控(例如,两点触控)对于视频播放小窗和图像的显示进行调整。在需要精细调整的场合,例如,将图像顺时针旋转3°或是将视频播放小窗缩放至某一个期望的大小时,调整的幅度仍然直接对应于(多个)手指在屏幕上的滑动距离,因此会出现显示变化过快难以恰好调整到期望调整幅度的情况下。这同样会降低用户体验。
由此,本公开实施例公开了一种终端设备及其界面显示方法,更具体地,公开了一种可以灵活调整屏幕显示与触控滑动事件对应关系的方法。
在用户用手指(或触控笔)接触触摸屏时,操作系统层的触摸事件接口会接收到触控起始事件。手指可以在触摸屏上随意进行划动。当手指离开触摸屏时,触摸事件交互结束。整个交互期间,程序接收开始、移动、结束三个阶段的触摸事件。一次完整的触摸事件是从手指触摸屏幕一直到离开屏幕,这个过程可能非常短暂,但是对于操作系统系统而言发生了很多状态的切换,并产生对应的事件。以Android系统为例,手指刚接触到的状态对应于DOWN事件(即,触控起始事件)的产生。随着手指在触摸屏上滑动,持续获取并追踪手指的滑动坐标,并由此产生MOVE(即,触控滑动事件)。当手指离开时,产生UP事件(即,触控结束事件)。此外,触摸事件还可以包括CANCEL状态,此时滑动到了无效状态。
在支持多点触控的情况下,触摸事件还可以包括更多的状态。具体地,POINTER_DOWN事件对应于在在其他点(例如第二点)发生了触摸。POINTER_MOVE对应于第二点的滑动事件。POINTER_UP则对应于该点离开屏幕。
这些事件可被放入触摸监听器中,并可以分发至当前操作所对应应用,应用由此进行相应的操作,例如,界面的滑动。
本公开实施例中,可以对用户的单点触控操作进行自适应调节。进一步地,也可以对用户的多点触控操作进行自适应调节。如上调节可以借助部署在客户端本地轻量化神经网络模型实现。
图2示例性地示出了根据本公开的界面交互方法的示意性流程图。图2所示的界面交互方法可在操作系统层实现,例如,可以通过修改Android的底层代码实现。应该理解的是,该方法也可应用于Android之外的其他操作系统。
如图所示,在步骤S210,获取对触摸屏输入的触控起始事件,所述触控起始事件包括起始坐标和起始触摸面积参数。
在实际操作中,可以预先注册触摸监听器,并对例如DOWN、MOVE和UP事件进行监听。一旦响应于用户的手指(或触控笔)对触摸屏的接触监听到DOWN事件(触控起始事件),就可以将包括起始坐标的DOWN事件存入触摸监听器。
起始坐标通常是2维的,在此可以用(dx, dy)表示,分别对应于接触点在触摸屏上的横向和纵向坐标,例如将触摸屏视窗的左上角定义为(0,0),从视窗向右定义为x轴的正方向以及从视窗向下定义为y轴的正方向。
起始触摸面积参数可以是单个值,可以利用触摸屏的具体工作原理来获取例如用户手指与屏幕的接触面积。例如,电容式触摸屏通过在屏幕表面放置一层导电材料并施加电场,当用户触摸屏幕时,会改变电场的分布,从而检测到触摸位置和接触面积。
在手机APP的应用界面中,如果起始坐标对应于可点击对象的范围,则通常会引发后续的其他操作,例如,跳转显示。如果接触的时间足够长,还会引发诸如文本选择的操作。而如果手指在其他范围接触触摸屏后没有滑动直接离开,则不对当前应用的操作产生影响。但如果手指在接触屏幕后以未抬离的状态发生位移,则会产生MOVE事件,而并不会使得手机的应用执行其它例如跳转、选中等操作。
于是,在步骤S220,获取对所述触摸屏持续输入的触控滑动事件,所述触控滑动事件包括滑动坐标和滑动触摸面积参数。
由于触摸屏以相对用户操作极高的频率进行采样(例如,触摸屏采样率可以为60Hz,100Hz,甚至更高),因此在用户滑动屏幕的短暂时间内,操作系统可以持续获得采样得到的触控滑动事件。例如,用户的手指在一秒的时间内划过了屏幕上的一段距离,在100Hz采样频率的情况下,可以对这一滑动行为进行100次的采样,每次采样对应于一个触控滑动事件,并且每个触控滑动事件都包括采样时刻用户手指所处的位置,即触摸屏在这一秒内监听到了100次的触控滑动事件。
应该理解的,滑动坐标通常对应于起始坐标,也可以是2维的,在此可以用(ox,oy)表示,分别对应于接触点在触摸屏上的横向和纵向坐标。相应地,可以获取各个触控滑动事件对应的滑动触摸面积参数。在某些实施例中,为了降低不必要的运算量,可以以一定间隔获取滑动触摸面积参数,例如,每十个触控滑动事件获取一次滑动触摸面积参数
在步骤S230,根据所述起始坐标、所述滑动坐标和触摸屏采样率计算坐标变化值和滑动速度值,并且基于所述起始触摸面积参数和/或所述滑动触摸面积参数计算面积参数值。
具体地,可以根据所述起始坐标和所述滑动坐标计算坐标变化值。进一步根据触摸屏采样率计算滑动速度值。坐标变化值对应于起始坐标和滑动坐标,也可以是二维的,在此,可以用(Δx, Δy)表示。显然,Δx=ox-dx,Δy=oy-dy。
面积参数值则可基于所述起始触摸面积参数和/或所述滑动触摸面积参数计算。在一个实施例中,可以仅根据起始触摸面积参数确定面积参数值。在另一个实施例中,可以根据起始触摸面积参数和滑动触摸面积参数,例如,它们的平均值确定面积参数值。
随后,在步骤S240,将缩放系数、所述滑动速度值和所述面积参数值作为输入送入轻量化神经网络模型。
在此,缩放系数可以是用户在专门的设置页面(例如图4A-D所示的设置页面)中设置的缩放系数。在用户首次设置之前,该缩放系数X可以是默认值,例如X=1。
缩放系数可以用于对滑动幅度的缩放。但用户在不同的使用场景,不同的心情状态,或是在面对不同的浏览内容时,会存在不同的滑动幅度偏好。在实际操作中,可以通过用户的滑动速度以及手指与触摸屏的接触面积从一定程度上表征用户的当前滑动偏好。例如,用户在常规浏览时,会轻轻滑动页面。此时,手指与触摸屏的接触面积不大,滑动速度也不大。而当用户需要仔细浏览时,通常会缓慢地进行滑动,且手指与触摸屏的接触面积也会变得较大。而当用户需要快速浏览时(例如,快速略过不想看的内容是),通常会快速地进行滑动,且手指与触摸屏的接触面积通常也较大。为此,在本公开中,可以在客户端上部署一个轻量化神经网络模型,该模型可以使用用户设置的缩放系数、滑动速度值和面积参数值作为输入,由此对用户当前的实际滑动需求进行评估。
在步骤S250,使用所述轻量化神经网络模型基于所述输入并使用在前模型输出的缩放系数执行推理,以获取当前模型输出的缩放系数。在此,为了对用户的整体偏好有所记忆,可以在推理过程中考虑在前模型输出的缩放系数。为了降低计算和存储的开销,在前模型输出的缩放系数可以用直连(shortcut)的方式与中间层计算的特征值合并(例如,求平均),由此使得模型输出的当前模型输出的缩放系数更贴近用户的实际滑动缩放需求。
随后,在步骤S260,基于所述当前模型输出的缩放系数和所述坐标变化值确定变化的滑动坐标,并且基于所述变化的滑动坐标调整所述触控滑动事件。在此,缩放系数是用于对用户输入的滑动事件作用至应用界面实际变换的缩放因子。应用界面实际发生的变换可以是界面本身变换或是应用界面内某个对象的变换,如下将详述。更大的缩放系数可以意味着在触摸屏上发生的相同一段滑动(例如几个厘米或者其它距离)可以引发应用界面发生更大的变换;更小的缩放系数则意味着在触摸屏上发生的相同一段滑动可以引发应用界面发生更小的变换。对于本公开而言,缩放系数首先可以是被用户自定义的,例如,在设置APP中的对应功能/界面中进行调节。在一个实施例中,缩放系数还可以是根据系统确定的,例如进入老年模式的系统可以具有更小的默认缩放系数,而正常模式的系统可以具有更大的默认缩放系数,以实现更快的滑动响应。当然此时用户仍然可以在设置界面中对缩放系数进行选择。这些用户设置或是首先由系统特别设置再又用户调节的缩放系数都可以看作是用户设置的缩放系数。用户设置的缩放系数可以表示用户整体的滑动倾向。由模型输出的当前模型输出的缩放系数则可以看作是自适应的缩放系数,即,在考虑了用户整体滑动倾向和当前偏好后自适应地生成的缩放系数。
在此,缩放系数使用X表示。在一个实施例中,缩放系数用于表示实际变换幅度和用户滑动幅度的比值。此时,X是一个大于0的值。在X=1时,可以表示不进行缩放。在X=2时,界面发生的实际变换距离加倍,在X=0.5时,界面发生的实际变换距离减半。在步骤S260中,变化的滑动坐标基于坐标变化值和缩放系数确定。在此,可以用(nx, ny)表示变化的滑动坐标。在一个实施例中,nx=dx+(ox-dx)×X,并且ny= dy+(oy-dy)×X。在另一个实施例中,当确认用户的主要滑动方向后,可以仅计算主要滑动方向上变化的滑动坐标。例如,用户在进行上滑界面操作时,通常其手指滑动轨迹并非一条平行于手机长度方向的线,例如,滑行开始时坐标为(200,1000),滑行结束时为(210,500)。此时,可以通过多个连续的滑动坐标判定滑动方向,并且忽略水平方向上的变化。当然,在步骤S260中仍然可以计算两个方向上的变化的滑动坐标,并由如下步骤分发得到该调整后的触控滑动事件的应用进行滑动方向和判定。
于是,在步骤S270,将调整后的触控滑动事件分发至所述触摸屏显示的应用,以使所述应用基于调整后的触控滑动事件进行变换。
基于调整后的触控滑动事件进行变换的对象可以是应用界面本身。此时,触控起始事件和所述触控滑动事件的操作对象为界面,并且应用的界面基于调整后的触控滑动事件进行滑动。
作为替换或是补充,基于调整后的触控滑动事件进行变换的对象可以是应用中的显示对象。此时,触控起始事件和所述触控滑动事件的操作对象可以是界面中的显示对象,所述应用的界面中的显示对象基于调整后的触控滑动事件进行移动,例如,基于缩放系数所对应的灵敏度进行拖放(Drag and Drop)。界面中的显示对象可以是视图中的对象,例如视频播放小窗或是图片等。
应该理解的是,触控滑动事件的获取,坐标变化值的计算,基于缩放系数的触控滑动事件调整,和应用内部的变换是相继实时进行的。换句话说,并非是在步骤S220中一次性获取多个触控滑动事件,再基于这多个滑动事件的坐标来进行坐标变化值的求取以及触控滑动事件调整和应用的变换,而是每一次在步骤S220获取一个触控滑动事件,便会基于该滑动事件进行步骤S230、S260和S270的一系列操作(出于计算开销的考虑,步骤S240和S250对于的模型输入和推理通常不针对每一个连续的触控滑动事件进行,而是基于预定的条件触发,例如,仅在当前浏览的第一次或前几次滑动中计算),一直持续到触控事件结束。换句话说,从获取到一个触控滑动事件到在应用上变换并显示的响应时间是极短的,并且与后续的触控滑动事件无关。
由此,本公开的界面交互方法能够根据触摸屏本身的采样频率监听持续输入的触控滑动事件进行基于神经网络输出的自适应缩放系数的应用界面变换和显示反馈,为用户提供更贴合当前使用状态的触控反馈体验。
如前所示,在客户端上部署的是轻量化的神经网络模型。在此,轻量化指的是相比于常规的高存储和计算开销的神经网络,本公开中使用的模型具有相对更浅的层数、更稀疏的参数,并且可以基于量化值进行计算。在某些实施例中,在客户端本地部署的神经网络模型可以小至几十k的规模。
进一步地,为了在推理过程中考虑在前模型输出的缩放系数,同时保证模型的轻量化,本公开中使用的神经网络模型可以是残差卷积神经网络模型。图3示出了根据本公开一个实施例的轻量化残差卷积神经网络的例子。
卷积神经网络可以具有N+M个卷积模块,其中,N大于等于1,M大于等于0。每个卷积模块包括卷积层、BN(Batch Normalization,批量归一化)层和激活函数层(例如,ReLU层)。如图所示,在前模型输出的缩放系数可以以直连(shortcut)的方式与中间层计算的特征值合并(例如,求平均),由此降低计算和存储的开销。此时,步骤S250可以包括:在推理过程中,将在前模型输出的缩放系数送至所述轻量化神经网络模型的中间层,例如使用残差连接。
另外,虽然图3中示出了在前模型输出的缩放系数直连至某一个卷积模块的输出,但在其他实施例中,在前模型输出的缩放系数同时也可以作为模型输入的一部分。
部署在客户端上的残差卷积神经网络可以是经训练的神经网络。训练可以在服务器上进行。在模型训练过程中,可以构造训练样本并进行有监督的训练。为了进一步实现轻量化,服务器端可以对经训练的模型进行剪枝,例如,进行稀疏性正则化(SparsityRegularization)剪枝。具体地,可以在模型训练过程中引入稀疏性正则项,鼓励模型学习稀疏的权重,然后将学习到的稀疏模型用于推断时,剔除较小的权重,从而实现剪枝。
在某些实施例中,还可以基于用户反馈来实现模型参数的持续更新。例如,如果用户更新了缩放系数,表明模型提供的自适应缩放参数与用户期望存在差距,此时,可由服务器收集这些更新的缩放系数作为用户反馈,并据此进行模型微调。此时,所述方法还包括:获取更新的用户设置的缩放系数并上传模型更新服务器;以及获取所述模型更新服务器下发的经微调的轻量化神经网络模型,其中,所述模型更新服务器基于所述更新的缩放系数对所述轻量化神经网络模型进行微调。
在一个实施例中,本公开的界面交互方法可以适用于多点触控(例如,两点触控)的场景。此时,步骤S210可以包括:获取所述触摸屏输入的多个触控起始事件。在此,获取的多个触控起始事件可以包括一个DOWN事件和至少一个POINTER_DOWN事件。多个触控起始事件可被同时获取,或是在终端设备可识别为多点触控的情况下以一定的时间差被获取,例如触摸屏可以同时监听到在一个位置上发生的DOWN事件和其他一个和多个位置上发生的POINTER_DOWN事件,和/或先监听到在一个位置上发生的DOWN事件再监听到在其他一个和多个位置上发生的POINTER_DOWN事件,以实现多点触控。
随后,在步骤S220,可以同时获取所述触摸屏持续输入的多个触控滑动事件。即,持续获取一个手指滑动轨迹所对应的MOVE事件,同时持续获取例如另一个手指滑动轨迹所对应的POINTER_MOVE事件。于是,可以在步骤S230,根据所述多个触控起始事件各自的起始坐标、各自对应的触控滑动事件的滑动坐标和所述触摸屏采样率计算多个坐标变化值,并且基于各自的所述起始触摸面积参数和/或各自的所述滑动触摸面积参数计算各自的面积参数值,并且可以在步骤S240,将所述缩放系数、各自的所述滑动速度值和各自的所述面积参数值作为输入送入所述轻量化神经网络模型。在步骤S250,可以使用所述轻量化神经网络模型基于所述输入和在前模型输出的多点缩放系数执行推理,以获取当前模型输出的多点缩放系数。随后在步骤S260,可以基于所述当前模型输出的多点缩放系数和所述多个坐标变化值确定多个变化的滑动坐标,并且基于所述多个变化的滑动坐标调整所述多个触控滑动事件。在获取了多个调整后的触控滑动事件后,可以在步骤S270,将多个调整后的触控滑动事件分发至所述触摸屏显示的应用,以使所述应用基于所述调整后的多个触控滑动事件进行变换,例如,进行缩放或是旋转。
多点触摸事件的操作对象可以是界面本身,或是界面中的特定对象,例如,图片或是视频播放小窗。此时,多个触控起始事件和所述多个触控滑动事件的操作对象包括如下至少一项:界面;图片;以及视频播放窗口。
多点触摸事件的典型实现包括缩放和旋转。例如,在获取一个DOWN事件和一个POINTER_DOWN事件并由此知晓两个手指初始接触的起始坐标后,如果后续的MOVE事件和POINTER_MOVE事件指示两个手指的相对距离发生变化,则说明用户期望进行缩放操作;如果后续的MOVE事件和POINTER_MOVE事件指示两个手指的相对距离没有发生变化但围绕两手指连线中心旋转,则说明用户期望进行旋转操作;而如果如果后续的MOVE事件和POINTER_MOVE事件指示两个手指的相对距离发生变化并且围绕两手指连线中心旋转,在说明用户期望进行缩放加旋转操作。
在基于本公开的交互方法中,经调整的多个触控滑动事件由于当前模型输出的自适应的多点缩放系数的引入,会改变应用变化对手指移动的灵敏度,但应用仍然可以从经调整的多个触控滑动事件中判定所进行的缩放、旋转或是缩放加旋转的操作,针对多点触摸事件的作用对象进行相应的操作并进行即时显示。
如前所述,模型输入需要用户设置的缩放系数,因此在一个实施例中,本公开的界面交互方法还包括获取对所述用户设置的缩放系数的相关参数的设置。这里的相关参数至少可以包括缩放系数的值。于是,本公开的界面交互方法可以包括:获取所述用户设置的缩放系数的自定义值。可以在系统设置APP中专门的缩放参数设置界面中完成对用户设置的缩放系数值的确定。在一个实施例中,可以在默认的滑动界面中向用户显示不同缩放系数下的滑动效果,由此方便用户在设定时对缩放系数可以实现的滑动效果有直观的认识。此时,获取设置的所述缩放系数的自定义值包括:基于获取的对所述触摸屏持续输入的触控滑动事件显示根据当前值的当前移动效果;获取改变当前值的输入以生成改变值;基于对所述触摸屏持续输入的触控滑动事件显示根据所述改变值的改变的滑动效果;以及基于所述改变值确定所述自定义值。在缩放系数未进行过设置时,缩放系数的当前值可以是出厂设置值,例如默认值,此时X=1。在缩放系数进行过设置时,缩放系数的当前值可以是用户在前定义的值。
图4A-D示出了缩放参数设置界面中滑动效果展示的例子。如图4A所示,缩放参数设置界面可以是默认的滑动界面。该界面中展示了作为滑动参照的多行可选项(对应于图中的Option item 1 ~ Option item 10)。当用户用手指在界面中按下并向上滑动一段距离时,则如图4B所示,滑动界面中的显示内容也向上滑动,从显示Option item 1 ~ Optionitem 10变为显示Option item 4 ~ Option item 13,即文本向上滑动了3行。此时,界面上滑的距离与手指上滑的距离相等。此时,可以设缩放参数X=1,为默认值或者例如已经经过一次或者多次改动后仍为1的当前值。
如果用户根据如上效果展示认为滑动速度过慢,则可以如图4C所示,通过点击界面中的“增加滑动速度”按钮来调高缩放参数X,此时,可以通过手指在界面中按下并滑动一段距离来测试调整效果。在图示的例子中,用户的手划过了与图4B相同的距离,但此时从显示Option item 1 ~ Option item 10变为显示Option item 6 ~ Option item 15,即文本向上滑动了5行。此时,界面上滑的距离大于手指上滑的距离。此时,可以认为用户设置的缩放参数X>1,在此例中为1.667(5/3)。
相应地,如果用户根据如上效果展示认为滑动速度过快,则可以如图4D所示,通过点击界面中的“降低滑动速度”按钮来调低缩放参数X=1,此时,也可以通过手指在界面中按下并滑动一段距离来测试调整效果。在图示的例子中,用户的手划过了与图4C和图4B相同的距离,但此时从显示Option item 1 ~ Option item 10变为显示Option item 3 ~Option item 12,即文本向上滑动了2行。此时,界面上滑的距离小于手指上滑的距离相等。此时,可以认为缩放参数X小于1,在此例中为0.667(2/3)。
应当说明的是,“增加滑动速度”和/或“降低滑动速度”可以根据实际的需求进行调节,点击“增加滑动速度”按钮一次可以适当提高缩放参数X,例如+10%,点击“降低滑动速度”按钮一次可以适当减小缩放参数X,例如-10%。上述提高缩放参数X和减小缩放参数X的比例可以是始终基于默认缩放参数X=1来进行调整的,即每次增加0.1或者减小0.1,也可以是基于当前缩放参数来进行调整的,例如进入默认的滑动界面时当前缩放参数为X=2,则以X=2作为基础每次增加0.2或者减小0.2。上述增加比例和减小比例也可以根据实际的需求进行调节,例如可以为5%、15%或者其它合适的比例或者具体的参数值0.1、0.2等,这不成为本公开的限定。
在一些示例中,还可以限定最高滑动速度和最低滑动速度(例如限定最高缩放参数和最低缩放参数),以避免由于用户过多的“增加滑动速度”和/或“降低滑动速度”导致最后生效的滑动速度过快或者过慢,影响实际的使用。
在另一些示例中,默认的滑动界面可以提供例如基于进度条的滑动速度调节方式,进度条的底部表示系统限定的最低滑动速度,进度条的顶部表示系统限定的最高滑动速度,用户可以通过拉动进度条接近顶部来实现滑动速度的增加(例如提高缩放参数X),通过拉动进度条接近底部来实现滑动速度的降低(例如减小缩放参数X)。
用户在根据演示效果确定了期望的滑动效果后,就可以点击界面中的确定按钮,由此将当前值作为缩放参数值。
在一个实施例中,获取对所述缩放系数的相关参数的设置还包括获取自定义值的适用范围。而在不适用所述自定义值适用范围时,使用未经调整的触控滑动事件进行变换。
在此,所述在前模型的缩放系数可以对应于所述轻量化神经网络模型针对所述适用范围内的前次浏览操作的首次滑动的输出值(例如,用户前一次打开适用范围内某个APP时,进行首次滑动时计算的模型输出的缩放系数),并且为所述适用范围内的当前浏览操作的首次滑动计算所述当前模型输出的缩放系数(例如,用户本次打开适用范围内某个APP时,进行首次滑动时计算的模型输出的缩放系数,后续滑动时就直接利用首次滑动时计算的自适应缩放系数)。
可以如图4A-D所示在系统设置APP中专门界面中完成对用户设置的缩放系数值的选择,随后完成自定义值使用范围的设置。
图5示出了缩放参数设置界面的一个例子。该缩放参数设置界面显然用于用户设置的缩放参数的自定义值的设置。具体地,图5从左到右依次示出了缩放参数设置所涉及的三个界面:缩放参数值设置界面、缩放参数生效范围设置界面和具体生效应用选择界面。用户例如可以在终端设备系统设置APP的预定路径中进入缩放参数设置界面。例如,首先可以进入左侧的缩放参数值设置界面,用户可以如图4A-D所示调整缩放参数值,在达到想要的滑动效果后点击“确定”。用户在点击“确定”后,显示可跳转至缩放参数生效范围设置界面。用户可以如图所示选择所有应用作为在前确定的缩放系数的使用范围。也可以选择部分应用作为在前确定的缩放系数的使用范围。在用户选择部分应用时,显示下拉内容。此时,缩放参数生效范围设置界面可以看作是具体生效应用选择界面。用户可以通过勾选框来选择,例如图中选择了应用3、应用5和应用8作为生效范围。未包括在生效范围内的其他应用则可以使用未经缩放参数调整的触控滑动事件进行相关的变换操作。
应该理解的是,虽然如上结合图4A-D和图5描述了缩放系数相关参数设置的例子,但缩放系数值的具体设置方式以及适用范围的设置不限于此。例如,图4A-D和图5的例子描述了针对界面滑动操作的缩放系数设置并且适用范围是特定的应用范围,但在其他实施例中,缩放系数可以应用于界面滑动操作之外的场合。在一个实施例中,缩放系数所使用的范围可以根据操作对象的不同而加以设置。例如,操作对象可以包括应用界面本身、应用界面中显示的视频播放小窗或是图片。因此可以在设置界面选择需要应用该缩放系数的操作对象,例如,仅应用于视频播放小窗。在另一个实施例中,缩放系数所使用的范围可以根据触控滑动模式的不同而加以设置。不同的触控滑动模式可以包括单点触控和多点触控,多点触控中可以包括两点缩放触控和两点选择触控等。因此可以在设置界面选择需要应用该缩放系数的触控滑动模式,例如,仅应用于两点触控模式。
在一个实施例中,针对各种使用场景,可以为缩放系数设置多个自定义值,并且将不同的自定义值应用于不同的范围。为此,获取设置的所述缩放系数的自定义值包括:获取设置的所述缩放系数的多个自定义值。此时,获取所述自定义值适用的范围还包括如下至少一种:获取设置的多个自定义值各自适用的应用范围;获取设置的多个自定义值各自适用的操作对象范围;以及获取设置的多个自定义值各自适用的触控滑动模式范围。例如,用户期望在某些应用中更快的滑动,在某些应用中滑动速度不变,而在另一些应用中滑动的更慢,此时可以设置两个不同的值,分别用于期望快滑和期望慢滑的应用。再例如,用户期望调高界面滑动的速度,但调低针对视频播放小窗的两点触控的缩放和/或旋转速度。此时,则可以为应用设置对应于界面滑动的通用自定义值,为视频播放小窗设置两点触控自定义值。此时,例如在应用了这两个自定义值的视频APP中,用户能够以X>1的缩放系数进行视频播放列表浏览(对应于界面滑动),同时能够以X<1的缩放系数进行视频播放小窗大小的调整(对应于指定操作对象的两点触控)。
如上详细描述了基于本公开的界面交互方法及其实施例。通过持续计算当前触控滑动事件中滑动坐标相对于起始坐标的变化值,并基于缩放系数进行实时调整,能够灵活准确地对用户在触摸屏上的位移操作进行响应,从而给出更符合用户期望的操作显示结果。
本公开提出了一种界面交互方法,主要在智能手机等配备有触摸屏的终端设备上使用。用户首先可以在例如图5所示的系统设置APP中,设置缩放系数以获取期望的滑动效果。例如,用户如果对图4C所示的效果满意,则可以通过点击确认键将缩放系数设置为X=1.667,并如图5右侧所示选择X=1.667适用的应用范围。
随后,用户打开一个应用,操作系统自动判断该应用是否适用用户设置的自定义滑动速度系数。如果用户之前设置的是所有应用生效,则打开的应用自动适用自定义的缩放系数。如果用户之前设置的是部分应用生效,且当下打开的应用在其范围中,则适用自定义滑动速度系数,否则不适用。如果该应用不适用,则不对触控滑动事件进行调整,即,对界面滑动速度不进行调整;
如果该应用适用,则获取自定义的用户设置的缩放系数X=1.667,并由此计算模型输出的自适应的缩放系数,并对分发至该应用的触摸事件进行拦截处理。
本公开还可以实现为一种终端设备。图6示出了根据本公开至少一个实施例的可用于实现上述界面交互方法的终端设备的结构示意图。如图所示,终端设备600包括存储器610、处理器620和触摸屏630。
触摸屏630可以随时报告触控事件,并且能够基于用户的操作进行显示。
处理器620可以是一个多核的处理器,也可以包含多个处理器。在一些实施例中,处理器620可以包含一个通用的主处理器以及一个或多个特殊的协处理器,例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中,处理器620可以使用定制的电路实现,例如特定用途集成电路(ASIC,Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA,Field Programmable Gate Arrays)。
存储器610可以包括各种类型的存储单元,例如系统内存、只读存储器(ROM),和永久存储装置。其中,ROM可以存储处理器620或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中,永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中,永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备,例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外,存储器610可以包括任意计算机可读存储媒介的组合,包括各种类型的半导体存储芯片(DRAM,SRAM,SDRAM,闪存,可编程只读存储器),磁盘和/或光盘也可以采用。在一些实施方式中,存储器610可以包括可读和/或写的可移除的存储设备,例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM,双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器610上存储有可执行代码,当可执行代码被处理器620处理时,可以使处理器620执行上文述及的界面交互方法。
此外,根据本公开的方法还可以实现为一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品包括用于执行本公开的上述方法中限定的上述各步骤的计算机程序代码指令。
或者,本公开还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质),其上存储有可执行代码(或计算机程序、或计算机指令代码),当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时,使所述处理器执行根据本公开的上述方法的各个步骤。
本领域技术人员还将明白的是,结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本公开的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (12)
1.一种界面交互方法,包括:
获取对触摸屏输入的触控起始事件,所述触控起始事件包括起始坐标和起始触摸面积参数;
获取对所述触摸屏持续输入的触控滑动事件,所述触控滑动事件包括滑动坐标和滑动触摸面积参数;
根据所述起始坐标、所述滑动坐标和触摸屏采样率计算坐标变化值和滑动速度值,并且基于所述起始触摸面积参数和/或所述滑动触摸面积参数计算面积参数值;
将缩放系数、所述滑动速度值和所述面积参数值作为输入送入轻量化神经网络模型;
使用所述轻量化神经网络模型基于所述输入和在前模型输出的缩放系数执行推理,以获取当前模型输出的缩放系数;
基于所述当前模型输出的缩放系数和所述坐标变化值确定变化的滑动坐标,并且基于所述变化的滑动坐标调整所述触控滑动事件;以及
将调整后的触控滑动事件分发至所述触摸屏显示的应用,以使所述应用基于调整后的触控滑动事件进行变换。
2.如权利要求1所述的方法,其中,使用所述轻量化神经网络模型基于所述输入和在前模型输出的缩放系数执行推理包括:
在推理过程中,将在前模型输出的缩放系数送至所述轻量化神经网络模型的中间层,其中,所述轻量化神经网络模型是经剪枝的残差卷积神经网络模型。
3.如权利要求1所述的方法,还包括:
获取更新的缩放系数并上传模型更新服务器;以及
获取所述模型更新服务器下发的经微调的轻量化神经网络模型,其中,所述模型更新服务器基于所述更新的缩放系数对所述轻量化神经网络模型进行微调。
4.如权利要求1所述的方法,还包括:
获取所述缩放系数的自定义值;以及
获取所述自定义值的适用范围,其中,
所述在前模型的缩放系数对应于所述轻量化神经网络模型针对所述适用范围内的前次浏览操作的首次滑动的输出值,并且
为所述适用范围内的当前浏览操作的首次滑动计算所述当前模型输出的缩放系数。
5.如权利要求4所述的方法,其中,获取所述缩放系数的自定义值包括:
获取所述缩放系数的多个自定义值,并且
获取所述自定义值适用的范围还包括如下至少一种:
获取设置的多个自定义值各自适用的应用范围;和
获取设置的多个自定义值各自适用的操作对象范围。
6.如权利要求4所述的方法,其中,获取所述缩放系数的自定义值包括:
基于获取的对所述触摸屏持续输入的触控滑动事件显示根据当前值的当前滑动效果;
获取改变所述当前值的输入以生成改变值;
基于对所述触摸屏持续输入的触控滑动事件显示根据所述改变值的改变滑动效果;以及
基于所述改变值确定所述自定义值。
7.如权利要求1所述的方法,其中,
所述触控起始事件和所述触控滑动事件的操作对象为界面,并且所述应用的界面基于调整后的触控滑动事件进行滑动;和/或
所述触控起始事件和所述触控滑动事件的操作对象为界面中的显示对象,所述应用的界面中的显示对象基于调整后的触控滑动事件进行移动。
8.如权利要求1所述的方法,其中,获取对触摸屏输入的触控起始事件包括:
获取所述触摸屏输入的多个触控起始事件,
获取对所述触摸屏持续输入的触控滑动事件包括:
同时获取所述触摸屏持续输入的多个触控滑动事件,
根据所述起始坐标、所述滑动坐标和触摸屏采样率计算坐标变化值和滑动速度值,并且基于所述起始触摸面积参数和/或滑动触摸面积参数计算面积参数值包括:
根据所述多个触控起始事件各自的起始坐标、各自对应的触控滑动事件的滑动坐标和所述触摸屏采样率计算多个坐标变化值,并且基于各自的所述起始触摸面积参数和/或各自的所述滑动触摸面积参数计算各自的面积参数值,
将缩放系数、所述滑动速度值和所述面积参数值作为输入送入轻量化神经网络模型包括:
将所述缩放系数、各自的所述滑动速度值和各自的所述面积参数值作为输入送入所述轻量化神经网络模型,
使用所述轻量化神经网络模型基于所述输入和在前模型输出的缩放系数执行推理,以获取当前模型输出的缩放系数包括:
使用所述轻量化神经网络模型基于所述输入和在前模型输出的多点缩放系数执行推理,以获取当前模型输出的多点缩放系数,
基于所述当前模型输出的缩放系数和所述坐标变化值确定变化的滑动坐标,并且基于所述变化的滑动坐标调整所述触控滑动事件包括:
基于所述当前模型输出的多点缩放系数和所述多个坐标变化值确定多个变化的滑动坐标,并且基于所述多个变化的滑动坐标调整所述多个触控滑动事件,以及
将调整后的触控滑动事件分发至所述触摸屏显示的应用,以使所述应用基于调整后的触控滑动事件进行变换包括:
将多个调整后的触控滑动事件分发至所述触摸屏显示的应用,以使所述应用基于所述多个调整后的触控滑动事件进行缩放和/或旋转。
9.如权利要求8所述的方法,其中,所述多个触控起始事件和所述多个触控滑动事件的操作对象包括如下至少一项:
界面;
图片;以及
视频播放窗口。
10.一种终端设备,包括:
触摸屏;
处理器;以及
存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行基于如权利要求1至9中任一项所述的方法。
11.一种非暂时性机器可读存储介质,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行基于如权利要求1至9中任一项所述的方法。
12.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现基于如权利要求1至9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410400700.3A CN117991966B (zh) | 2024-04-03 | 2024-04-03 | 终端设备及其界面交互方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410400700.3A CN117991966B (zh) | 2024-04-03 | 2024-04-03 | 终端设备及其界面交互方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117991966A true CN117991966A (zh) | 2024-05-07 |
CN117991966B CN117991966B (zh) | 2024-07-02 |
Family
ID=90902375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410400700.3A Active CN117991966B (zh) | 2024-04-03 | 2024-04-03 | 终端设备及其界面交互方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117991966B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106777990A (zh) * | 2016-12-21 | 2017-05-31 | 湖南文理学院 | 智能终端操作者年龄估计方法 |
CN113885729A (zh) * | 2021-09-30 | 2022-01-04 | 惠州Tcl移动通信有限公司 | 触控采样控制方法、装置、终端和计算机可读存储介质 |
US20220230055A1 (en) * | 2021-01-21 | 2022-07-21 | Genesys Logic, Inc. | Computing circuit and data processing method based on convolutional neural network and computer readable storage medium |
CN114816212A (zh) * | 2021-01-27 | 2022-07-29 | Oppo广东移动通信有限公司 | 界面交互方法、界面交互装置、电子装置和存储介质 |
CN116225256A (zh) * | 2022-12-31 | 2023-06-06 | 吉兴信(广东)信息技术有限公司 | 一种基于触摸屏的电路板移动控制方法及系统 |
WO2023224425A1 (en) * | 2022-05-20 | 2023-11-23 | Samsung Electronics Co., Ltd. | Method and system for image artifact modification based on user interaction |
CN117785677A (zh) * | 2023-12-15 | 2024-03-29 | 深圳市盛世伟业光电有限公司 | 一种屏幕灵敏度的滑动测试方法、移动终端及存储介质 |
-
2024
- 2024-04-03 CN CN202410400700.3A patent/CN117991966B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106777990A (zh) * | 2016-12-21 | 2017-05-31 | 湖南文理学院 | 智能终端操作者年龄估计方法 |
US20220230055A1 (en) * | 2021-01-21 | 2022-07-21 | Genesys Logic, Inc. | Computing circuit and data processing method based on convolutional neural network and computer readable storage medium |
CN114816212A (zh) * | 2021-01-27 | 2022-07-29 | Oppo广东移动通信有限公司 | 界面交互方法、界面交互装置、电子装置和存储介质 |
CN113885729A (zh) * | 2021-09-30 | 2022-01-04 | 惠州Tcl移动通信有限公司 | 触控采样控制方法、装置、终端和计算机可读存储介质 |
WO2023224425A1 (en) * | 2022-05-20 | 2023-11-23 | Samsung Electronics Co., Ltd. | Method and system for image artifact modification based on user interaction |
CN116225256A (zh) * | 2022-12-31 | 2023-06-06 | 吉兴信(广东)信息技术有限公司 | 一种基于触摸屏的电路板移动控制方法及系统 |
CN117785677A (zh) * | 2023-12-15 | 2024-03-29 | 深圳市盛世伟业光电有限公司 | 一种屏幕灵敏度的滑动测试方法、移动终端及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117991966B (zh) | 2024-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11009958B2 (en) | Method and apparatus for providing sight independent activity reports responsive to a touch gesture | |
US20220157310A1 (en) | Intelligent device identification | |
US20220137759A1 (en) | Music user interface | |
US9965074B2 (en) | Device, method, and graphical user interface for transitioning between touch input to display output relationships | |
AU2016100155C4 (en) | Navigation user interface | |
CN107665089B (zh) | 触摸屏上的手指识别 | |
EP4007288A1 (en) | Method for pre-loading content data, and electronic device and storage medium | |
CN111712787B (zh) | 一种显示控制方法及终端 | |
CN108062180B (zh) | 触摸屏灵敏度控制方法、装置及存储介质和移动终端 | |
CN110471588B (zh) | 应用图标整理方法、装置及移动终端 | |
CN108616771B (zh) | 视频播放方法及移动终端 | |
US11863954B2 (en) | Wireless headphone interactions | |
US20230244953A1 (en) | Artificial intelligence model distributed processing system, and method for operating same | |
CN107390931A (zh) | 触摸操作的响应控制方法、装置、存储介质及移动终端 | |
US10108320B2 (en) | Multiple stage shy user interface | |
US20220004874A1 (en) | Electronic apparatus training individual model of user and method of operating the same | |
JP2018511093A (ja) | アプリケーション・インタフェース要素を移動させるために使用されるデバイス、方法およびグラフィック・ユーザ・インタフェース | |
CN105513098B (zh) | 一种图像处理的方法和装置 | |
CN117991966B (zh) | 终端设备及其界面交互方法 | |
CN111159551B (zh) | 用户生成内容的显示方法、装置及计算机设备 | |
CN111158552B (zh) | 位置调整方法和装置 | |
US20220008828A1 (en) | Electronic device for providing interactive game and operating method therefor | |
CN112732214B (zh) | 控制方法、电子设备和可读存储介质 | |
WO2019072168A1 (zh) | 人机交互的方法和电子设备 | |
WO2022033282A1 (zh) | 一种数据处理方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |