CN114237399A - 触觉反馈方法、装置、介质、设备 - Google Patents

触觉反馈方法、装置、介质、设备 Download PDF

Info

Publication number
CN114237399A
CN114237399A CN202111547048.0A CN202111547048A CN114237399A CN 114237399 A CN114237399 A CN 114237399A CN 202111547048 A CN202111547048 A CN 202111547048A CN 114237399 A CN114237399 A CN 114237399A
Authority
CN
China
Prior art keywords
target
interface element
vibration
category
interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111547048.0A
Other languages
English (en)
Other versions
CN114237399B (zh
Inventor
徐士立
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202111547048.0A priority Critical patent/CN114237399B/zh
Publication of CN114237399A publication Critical patent/CN114237399A/zh
Application granted granted Critical
Publication of CN114237399B publication Critical patent/CN114237399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开一种触觉反馈方法、装置、介质、设备，可应用于游戏、游戏基础技术、数据处理等各种场景。该方法包括：在触控显示屏中显示用户界面，用户界面包括多个界面元素；响应于针对用户界面的第一触控操作，确定在用户界面上当前被触控的目标界面元素以及目标界面元素的所属类别；根据目标界面元素的所属类别以及预设的界面元素和振动信号的对应关系，确定目标界面元素对应的目标振动信号；根据目标振动信号控制目标设备振动，并输出目标振动效果，其中，目标振动效果用于提示目标界面元素的所属类别和/或目标界面元素的功能，通过触觉反馈快速识别当前操作的界面元素，提升视障用户对界面元素的识别率，提升视障用户的终端使用体验。

Description

触觉反馈方法、装置、介质、设备
技术领域
本申请涉及计算机技术领域，具体涉及一种触觉反馈方法、装置、介质、设备。
背景技术
随着通信技术以及终端技术的发展，使用终端设备的用户群体中，视障用户群体也在不断增加。
由于视障用户的特殊性，终端屏幕上显示的信息难以被视障用户获知，因此通常采用设置无障碍模式来辅助视障用户正常使用终端设备。目前的无障碍模式主要通过读屏操作来实现，用户需要完整听完语音才能了解当前组件的功能，费时费力，同时在嘈杂环境、户外等无法听清语音的情况下将无法进行操作。
发明内容
本申请实施例提供一种触觉反馈方法、装置、介质、设备，可以提供触觉反馈效果，可以通过触觉反馈快速识别当前操作的界面元素，提升视障用户对界面元素的识别率。
一方面，提供一种触觉反馈方法，应用于具有触控显示屏的计算机设备，所述方法包括：在所述触控显示屏中显示用户界面，所述用户界面包括多个界面元素；响应于针对所述用户界面的第一触控操作，确定在所述用户界面上当前被触控的目标界面元素以及所述目标界面元素的所属类别；根据所述目标界面元素的所属类别以及预设的界面元素和振动信号的对应关系，确定所述目标界面元素对应的目标振动信号；根据所述目标振动信号控制目标设备振动，并输出目标振动效果，其中，所述目标振动效果用于提示所述目标界面元素的所属类别和/或所述目标界面元素的功能。
另一方面，提供一种触觉反馈装置，应用于具有触控显示屏的计算机设备，所述装置包括：
显示单元，用于在所述触控显示屏中显示用户界面，所述用户界面包括多个界面元素；
第一确定单元，用于响应于针对所述用户界面的第一触控操作，确定在所述用户界面上当前被触控的目标界面元素以及所述目标界面元素的所属类别；
第二确定单元，用于根据所述目标界面元素的所属类别以及预设的界面元素和振动信号的对应关系，确定所述目标界面元素对应的目标振动信号；
振动单元，用于根据所述目标振动信号控制目标设备振动，并输出目标振动效果，其中，所述目标振动效果用于提示所述目标界面元素的所属类别和/或所述目标界面元素的功能。
另一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如上任一实施例所述的触觉反馈方法中的步骤。
另一方面，提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行如上任一实施例所述的触觉反馈方法中的步骤。
另一方面，提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现如上任一实施例所述的触觉反馈方法中的步骤。
本申请实施例通过在触控显示屏中显示用户界面，用户界面包括多个界面元素；响应于针对用户界面的第一触控操作，确定在用户界面上当前被触控的目标界面元素以及目标界面元素的所属类别；根据目标界面元素的所属类别以及预设的界面元素和振动信号的对应关系，确定目标界面元素对应的目标振动信号；根据目标振动信号控制目标设备振动，并输出目标振动效果，其中，目标振动效果用于提示目标界面元素的所属类别和/或目标界面元素的功能。本申请实施例通过触觉反馈快速识别当前操作的界面元素，提升视障用户对界面元素的识别率，常用操作不再依赖于声音提示，在嘈杂、室外的环境也可以通过触觉反馈快速识别所需操作的界面元素，操作更加快捷，触觉反馈可以更加直接、快速，不再需要耗费更多的时间听语音，提升视障用户的终端使用体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的触觉反馈系统的结构示意图。
图2为本申请实施例提供的触觉反馈方法的第一流程示意图。
图3为本申请实施例提供的触觉反馈方法的应用场景示意图。
图4为本申请实施例提供的触觉反馈方法的交互流程示意图。
图5为本申请实施例提供的触觉反馈方法的第二流程示意图。
图6为本申请实施例提供的触觉反馈装置的第一结构示意图。
图7为本申请实施例提供的触觉反馈装置的第二结构示意图。
图8为本申请实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种触觉反馈方法、装置、介质、设备。具体地，本申请实施例的触觉反馈方法可以由计算机设备执行，其中，该计算机设备可以为终端或者服务器等设备。本申请实施例可应用于游戏、游戏基础技术、数据处理等各种场景。
首先，在对本申请实施例进行描述的过程中出现的部分名词或者术语作如下解释：
用户界面(user interface，UI)，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。应用程序的用户界面是通过java、可扩展标记语言(extensible markup language，XML)等特定计算机语言编写的源代码，界面源代码在计算机设备上经过解析，渲染，最终呈现为用户可以识别的内容，比如图片、文字、按钮等控件。控件(control)也称为部件(widget)，是用户界面的基本元素，典型的控件有工具栏(toolbar)、菜单栏(menu bar)、文本框(text box)、按钮(button)、滚动条(scrollbar)、图片和文本。界面中的控件的属性和内容是通过标签或者节点来定义的，比如XML通过<Textview>、<ImgView>、<VideoView>等节点来规定界面所包含的控件。一个节点对应界面中一个控件或属性，节点经过解析和渲染之后呈现为用户可视的内容。此外，很多应用程序，比如混合应用(hybrid application)的界面中通常还包含有网页。网页，也称为页面，可以理解为内嵌在应用程序界面中的一个特殊的控件，网页是通过特定计算机语言编写的源代码，例如超文本标记语言(hy pe r te x t ma rk u p lang uag e，GTML)，层叠样式表(cascading style sheets，CSS)，java脚本(JavaScript，JS)等，网页源代码可以由浏览器或与浏览器功能类似的网页显示组件加载和显示为用户可识别的内容。网页所包含的具体内容也是通过网页源代码中的标签或者节点来定义的，比如GTML通过<p>、<img>、<video>、<canvas>来定义网页的元素和属性。
用户界面常用的表现形式是图形用户界面(graphic user interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。用户界面可以包括在计算机设备的显示屏中显示的窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、列表、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。GUI设计师为界面元素设计的尺寸、风格、颜色等UI属性可定义于应用程序的界面源代码以及资源文件中。
计算机设备可以通过绘制几何图形、文字、图片等中一项或多项绘图元素来呈现应用程序的用户界面中的界面元素。这里，应用程序可包括桌面程序(Launcher)。例如，针对主屏幕(home)中的应用程序图标，计算机设备可以通过绘制表示该图标的前景图片来呈现。又例如，针对弹窗，计算机设备可以通过绘制图形(弹窗的形状)、图片(弹窗的背景)和文字(弹窗中显示的文字)来呈现。绘制绘图元素可以包括为该绘图元素设置颜色。
请参考图1，图1为本申请实施例提供的触觉反馈系统的结构示意图。请该图像配色系统包括终端10和服务器20等；终端10和服务器20之间通过网络连接，比如，通过有线或无线网络连接等。该终端10可以为智能手机、平板电脑、笔记本电脑、智能电视、智能音箱、穿戴式智能设备、智能车载终端等设备，终端10还可以包括客户端，该客户端可以是游戏客户端、视频客户端、浏览器客户端、即时通信客户端或者小程序等。服务器20可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
其中，终端10，可以用于显示图形用户界面。其中，该终端用于通过图形用户界面与用户进行交互，例如通过终端下载安装相应的客户端并运行，例如通过调用相应的小程序并运行，例如通过登录网站呈现相应的图像用户界面等。在本申请实施例中，该终端10可以为视障用户所使用的具有触控显示屏的终端设备。
其中，在本申请实施例中，视障用户在使用终端10时，终端10可以具体用于：在触控显示屏中显示用户界面，用户界面包括多个界面元素；响应于针对用户界面的第一触控操作，确定在用户界面上当前被触控的目标界面元素以及目标界面元素的所属类别；根据目标界面元素的所属类别以及预设的界面元素和振动信号的对应关系，确定目标界面元素对应的目标振动信号；根据目标振动信号控制目标设备振动，并输出目标振动效果，其中，目标振动效果用于提示目标界面元素的所属类别和/或目标界面元素的功能。
可选的，终端10还可以用于：获取第一触控操作的触发时间点与针对目标界面元素的第二触控操作的触发时间点之间的第一间隔时间；获取第一触控操作的触发时间点与播放目标语音提示信息的播放结束时间点之间的第二间隔时间；将第一间隔时间和第二间隔时间发送至服务器，以指示服务器根据第一间隔时间和第二间隔时间确定对象针对目标界面元素的快速识别率。
可选的，服务器20可以基于当前对象所使用的终端10上传的第一间隔时间和第二间隔时间确定当前对象针对目标界面元素的快速识别率，并基于当前对象针对目标界面元素的快速识别率生成引导指令，并将引导指令发送至终端10。终端10通过接收服务器发送的引导指令，引导指令为服务器在识别率低于预设值时发出的指令，根据引导指令，引导对象重新识别目标振动效果、或者引导对象重新自定义振动信号。
可选的，服务器20还可以基于所有对象所使用的终端10上传的第一间隔时间和第二间隔时间确定所有对象中每一对象针对目标界面元素的快速识别率，并基于所有对象中每一对象针对目标界面元素的快速识别率生成引导指令，并将引导指令发送至终端10。终端10通过接收服务器发送的引导指令，引导指令为服务器在识别率低于预设值时发出的指令，引导指令用于引导对象重新识别目标振动效果、或者引导对象重新自定义振动信号。
目前的无障碍模式主要通过读屏操作来实现，用户需要完整听完语音才能了解当前组件的功能，费时费力，同时在嘈杂环境、户外等无法听清语音的情况下将无法进行操作。
本申请实施例通过触觉反馈技术帮助视障用户快速区分界面元素类型，配合语音及用户的操作习惯，让用户在任何环境下都可以快速完成终端上的客户端的常规操作，其中，核心功能可以包括界面元素分类和设计专属的触觉反馈效果。
以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优先顺序的限定。
请参阅图2至图5，图2、图5均为本申请实施例提供的触觉反馈方法的流程示意图，图3为本申请实施例提供的触觉反馈方法的应用场景示意图，图4为本申请实施例提供的触觉反馈方法的交互流程示意图。该方法可以应用于具有触控显示屏的计算机设备，例如，该计算机设备可以为智能手机、平板电脑、笔记本电脑、触控屏幕、游戏机、个人计算机(PC，Personal Computer)、个人数字助理(Personal Digital Assistant，PDA)等终端设备。该方法包括：
步骤210，在所述触控显示屏中显示用户界面，所述用户界面包括多个界面元素。
其中，用户界面可以包括在计算机设备的显示屏中显示的窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、列表、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
例如，在本申请实施例中，该界面元素可以包括返回上一页，返回桌面，下一页、确定、取消、接听、挂断、单选框、多选框、单行输入框、多行输入框、密码输入框、字母键、数字键、输入法切换键、文字显示、可编辑区域、图片区域、多媒体区域、播放、暂停、进度条、进度值、上一首、下一首、快进等。例如，用户界面上可同时显示一个或多个界面元素，该多个界面元素的所属类别可以为同一个类别，也可以为不同的类别。
可选的，在所述触控显示屏中显示用户界面之前，所述方法还包括：预先设置所述预设的界面元素和振动信号的对应关系，所述对应关系包括每一所述界面元素的名称、编码和所属类别，以及与每一所述界面元素对应的振动信号的振动时长、振动强度、振动频率和振动效果的描述内容。
例如，进行预先设置时，首先可以先对界面元素进行分类，然后再对每一类别的界面元素(比如操作组件)都设计一个专属的触觉反馈效果，可以有效识别不同类别的界面元素。
可选的，所述预先设置所述预设的界面元素和振动信号的对应关系，包括：响应于在类别设置界面输入的分类设置指令，设置每一所述界面元素的所属类别；响应于在振动设置界面输入的振动设置指令，设置与每一所述界面元素对应的振动信号的振动时长、振动强度和振动频率。
例如，在对界面元素进行分类时，可以由计算机设备提供默认设置，也可以由用户通过类别设置界面输入的分类设置指令，设置每一所述界面元素的所属类别。
例如，界面元素的分类可以包括页面导航类、按钮类、输入类、文字类、多媒体操制类等。
例如，导航类可以包括返回上一页，返回桌面，下一页等。
例如，按钮类可以包括确定、取消、接听、挂断等。
例如，输入类可以包括单选框、多选框、单行输入框、多行输入框、密码输入框等。
例如，输入键盘类可以包括字母键、数字键、输入法切换键等。
例如，显示区域类可以包括文字显示、可编辑区域、图片区域、多媒体区域等。
例如，多媒体控制类可以包括播放、暂停、进度条、进度值、上一首、下一首、快进等。
其次，可以由用户通过振动设置界面输入的振动设置指令，设置每一界面元素对应的振动信号的振动时长、振动强度和振动频率，以对每一类别的界面元素(比如操作组件)都设计一个专属的触觉反馈效果，可以有效识别不同类别的界面元素。其中，每一个界面元素均有一个专属振动效果。
例如，可以为不同类别的界面元素设定振动效果规范，然后为同一类别下的不同界面元素设置不同的效果，确保不同的类别有区分。
例如，在设置振动频率与振动强度时，可以假设终端设备内的马达的振动频率的工作范围为0-100的相对值，其中，终端设备内的马达的最大工作振动频率对应于100的相对值。例如，可以将低频的振动频率fL设置为0<fL≤25；可以将中频的振动频率fM设置为25<fM≤75；可以将高频的振动频率fH设置为75<fH≤100。可以假设终端设备内的马达的振动强度的工作范围为0-100的相对值，其中，终端设备内的马达的最大工作振动强度对应于100的相对值。例如，可以将低强度的振动强度kL设置为0<kL≤25；可以将中强度的振动强度kM设置为25<kM≤75；可以将高强度的振动强度kH设置为75<kH≤100。
在设置振动时长时，可以将振动时长设置为短促时长t1(比如t1≤1秒)、中等时长t2(比如1<t2≤3)中的任一种。
例如，对于所属类别为导航类或导航类的界面元素，振动效果可以指示界面元素的所属类别，同一类别具有相同的振动信号，相同类别下的不同界面元素的功能可通过不同位置进行区分。
例如，关于界面元素在用户界面显示的位置，可以限定为显示屏幕可以随时用户的手持方式来切换屏幕显示方式(比如横屏或竖屏)，以保持屏幕显示界面的左上角位于终端在当前姿态下的屏幕的左上角，屏幕显示界面的右上角位于终端在当前姿态下的屏幕的右上角，以此来让用户明确知晓界面元素在用户界面显示的位置。
例如，对于所属类别为导航类的界面元素，该导航类的振动效果可以设计为“低频短促的振动”；其中，不同的界面元素通过界面元素在用户界面上的不同位置进行区分，比如返回一般在左上角；关闭在右上角；上一页、下一页分别在左下角和右下角等。例如，对于所属类别为导航类的界面元素，振动时长可以设置为短促时长t1；振动强度可以设置为低强度kL、中强度kM、高强度kH中的任意振动强度值；振动频率可以设置为低频fL中的任意振动频率值。
例如，对于所属类别为按钮类的界面元素，该按钮类的振动效果可以设计为“中低频高强度的振动”；其中，不同的界面元素通过界面元素在用户界面上的不同位置进行区分，比如一般终端的显示界面的左边表示确定的操作(如确定、接听)，终端的显示界面的右边表示否定的操作(如取消、挂断)等。例如，对于所属类别为按钮类的界面元素，振动时长可以设置为中等时长t2；振动强度可以设置为高强度kH中的任意振动强度值；振动频率可以设置为低频fL和中频fM中的任意振动频率值。
例如，对于所属类别为导航类或导航类的界面元素，振动效果只能指示界面元素的所属类别，同一类别具有相同的振动信号，相同类别下的不同界面元素的功能可通过不同位置进行区分。在另一可选实施例中，也可以针对同一类别中的不同界面元素设置不同的振动效果。
例如，可以在可选的振动时长、振动强度、振动频率的设置范围内，设置不同数值的振动时长、振动强度、振动频率，以为每一界面元素设置不同的振动信号，进而根据不同的振动信号输出不同的振动效果。
例如，对于所属类别为导航类的界面元素，还可以设计一个针对不同触控位置的不同的“低频短促的振动”效果。例如，针对不同位置设置不同的触发振动次数：比如，第一位置(左上角)，触发1次“低频短促的振动”效果；第二位置(右上角)，触发2次“低频短促的振动”效果；第三位置(左下角)，触发3次“低频短促的振动”效果；第二位置(右下角)，触发4次“低频短促的振动”效果。
例如，对于所属类别为按钮类的界面元素，还可以设计一个针对不同触控位置的不同的“中低频高强度的振动”效果。例如，针对不同位置设置不同的触发振动次数：比如，第五位置(左边)，触发1次“中低频高强度的振动”效果；第六位置(右边)，触发2次“中低频高强度的振动”效果。
例如，对于所属类别为导航类或导航类的界面元素，还可以在相同振动时长和振动频率的情况下，针对不同的位置设置不同的振动强度。例如，还可以在触发振动效果时，针对不同位置设置不同的响铃信号。
例如，对于所属类别为输入类、输入键盘类、显示区域类、多媒体控制类中的任一种的界面元素，振动效果可以指示界面元素的所属类别和功能，相同类别下的不同界面元素的功能对应不同的振动信号。
例如，对于所属类别为输入类的界面元素，该输入类的振动效果可以设计为“高频中强度的振动”效果，例如，可以通过不同的频率区分不同类型的输入框(界面元素)。例如，对于所属类别为输入类的界面元素，振动时长可以设置为中等时长t2；振动强度可以设置为中强度kM中的任意振动强度值；振动频率可以设置为中频fM和高频fH中的任意振动频率值，并且通过不同的频率区分不同类型的输入框。例如，该输入框可以包括勾选框(比如单选框、多选框)、文本输入框、语音输入框等。
例如，对于所属类别为输入键盘类的界面元素，该输入类的振动效果可以设计为与输入类的振动效果相同或不同的振动效果，其中，可以将振动效果分为三段波形，通过编码为每个键位设置一个振动效果。例如，针对功能键，如输入法切换单独设计效果。例如，一个振动信号可以由多个波形组成，比如，振动信号可以由三段波形组成，可以通过对振动信号中的多个波形进行编码，进而为每个键位设置一个振动效果。例如，该编码方式可以为摩尔斯电码的编码。通过为键盘类的每个键位设置一个专属的编码，用户在触控某个键位时，通过触发对应的专属的编码，就可以提示用户该键位的功能，以使用户通过振动效果的触觉反馈知道触发的是哪个键位。
例如，对于所属类别为显示区域类的界面元素，该显示区域类的振动效果可以设计为“低频低强度的振动”效果，例如，可以通过不同的频率和强度区分不同的组件(界面元素)。例如，对于所属类别为显示区域类的界面元素，振动时长可以设置为中等时长t2；振动强度可以设置为低强度kL中的任意振动强度值；振动频率可以设置为低频fL中的任意振动频率值，并且通过不同的频率和强度区分不同的组件(界面元素)。
例如，对于所属类别为多媒体控制类的界面元素，该多媒体控制类的振动效果可以设计为“中低频中低强度的振动”效果，例如，可以通过不同的频率和强度区分不同的组件(界面元素)。例如，对于所属类别为多媒体控制类的界面元素，振动时长可以设置为中等时长t2；振动强度可以设置为低强度kL和中强度kM中的任意振动强度值；振动频率可以设置为低频fL和中频fM中的任意振动频率值，并且通过不同的频率和强度区分不同的组件(界面元素)。
例如，表1示出了不同类别的界面元素与其对应的振动效果的描述内容：
表1
Figure BDA0003416057300000091
例如，上述例举的预先设置所述预设的界面元素和振动信号的对应关系，即该对应关系包括的每一所述界面元素的名称、编码和所属类别，以及与每一所述界面元素对应的振动信号的振动时长、振动强度、振动频率和振动效果的描述内容，不作为对本申请实施例的限定，可以允许用户针对各个振动效果进行自定义。
可选的，所述预先设置所述预设的界面元素和振动信号的对应关系，还包括：响应于导入指令，导入包含有所述预设的界面元素和振动信号的对应关系的目标文件。
可选的，所述方法还包括：响应于导出指令，导出包含有所述预设的界面元素和振动信号的对应关系的目标文件。
例如，还可以提供导出、导入功能，方便用户在不同设备间设置效果，同时也可以分享自定义效果给其他用户。
例如，如果用户选择自定义振动效果，则加载当前振动效果的波形，用户可以自定义振动信号的振动强度和振动频率，调整完成后即可保存，同时下次触发相同的组件时，即可使用新编辑的振动效果。例如，如图3所示的振动设置界面，在该振动设置界面上可以显示用于供用户自定义振动信号的振动强度和振动频率的调节窗口，该调节窗口上还可以加载当前振动效果的波形。
其中，自定义的包含有振动效果的预设的界面元素和振动信号的对应关系，支持导出，可以保存为备份的目标文件，该目标文件可以包括界面元素名称、界面元素编码、界面元素的所属类别、振动信号内容、振动效果的描述内容、应用功能等。
其中，自定义的包含有振动效果的预设的界面元素和振动信号的对应关系，支持导入，可以用上面导出的目标文件初始化新的终端设备，同时也支持云端存储，确保用户可以通过云更快捷地在不同终端之间进行自定义信息的共享。
步骤220，响应于针对所述用户界面的第一触控操作，确定在所述用户界面上当前被触控的目标界面元素以及所述目标界面元素的所属类别。
例如，该触控操作可以是滑动、点击、按压、长按、拖动等操作。
例如，终端设备响应于对象(该对象为用户)针对用户界面上显示的某个界面元素的第一触控操作，终端设备确定在用户界面上当前被触控的目标界面元素以及该目标界面元素的所属类别。
例如，以导航类为例，视障用户在使用终端设备时，并不知道此时显示的用户界面是否为导航类对应的用户界面，当用户触控到导航类中的组件A时产生第一触控操作，此时，终端设备响应于针对用户界面的第一触控操作，确定在用户界面上当前被触控的目标界面元素为组件A，以及目标界面元素的所属类别为导航类。
步骤230，根据所述目标界面元素的所属类别以及预设的界面元素和振动信号的对应关系，确定所述目标界面元素对应的目标振动信号。
例如，终端设备在确定在用户界面上当前被触控的目标界面元素以及该目标界面元素的所属类别后，就可以将该目标界面元素以及该目标界面元素的所属类别与预设的界面元素和振动信号的对应关系中的所属类别及界面元素相匹配，以确定目标界面元素对应的目标振动信号以及目标振动效果。
步骤240，根据所述目标振动信号控制目标设备振动，并输出目标振动效果，其中，所述目标振动效果用于提示所述目标界面元素的所属类别和/或所述目标界面元素的功能。
例如，视障用户在使用终端设备时，并不知道此时显示的用户界面是否为导航类对应的用户界面，当用户触控到导航类中的组件A时产生第一触控操作，此时，终端设备响应于针对用户界面的第一触控操作，确定在用户界面上当前被触控的目标界面元素为组件A，以及目标界面元素的所属类别为导航类；终端设备根据目标界面元素的所属类别以及预设的界面元素和振动信号的对应关系，确定目标界面元素对应的目标振动信号，比如该目标振动信号的振动时长为短促时长t1，振动强度可以设置为低强度kL，振动频率为低频fL；然后根据目标振动信号控制计算机设备振动，触发的振动效果为导航类对应的“低频短促的振动”效果，用户可以在感受到这个“低频短促的振动”的振动效果时知晓当前触控的目标界面元素为导航类，用户通过触控位置得知目标界面元素的功能为组件A的功能。
例如，如图4所示的交互流程图，其交互流程可以表示为：
步骤1，用户点击APP上的某个界面元素(比如按键B)，产生第一触控操作；
步骤2，APP根据第一触控操作确定当前被点击的目标界面元素，并调用终端接口处与目标界面元素对应的目标振动效果；
步骤3，终端基于APP调用的与目标界面元素对应的目标振动效果，控制终端的马达根据目标振动效果对应的目标振动信号进行振动，以输出目标振动效果；
步骤4，将目标振动效果反馈给用户；
步骤5，用户基于输出的目标振动效果，判断该目标界面元素的功能，用户根据判断结果再次触控目标界面元素以产生第二触控操作；
步骤6，APP根据第二触控操作执行该目标界面元素对应的功能或执行动作，并调用终端接口处与目标界面元素对应的功能或执行动作；
步骤7，终端将与目标界面元素对应的功能或执行动作反馈至APP；
步骤8，APP响应该与目标界面元素对应的功能或执行动作，并将其功能或执行动作反馈给用户。
可选的，若所述目标界面元素的所属类别为导航类或按钮类，则所述目标振动效果用于提示所述目标界面元素的所属类别；其中，针对界面元素的所属类别为导航类或按钮类的情况，具有相同所属类别的不同功能的界面元素对应相同的振动信号，在所述用户界面的不同位置显示导航类或按钮类中不同功能的界面元素。
例如，对于导航类和按钮类，振动效果指示界面元素的所属类别，同一类别具有相同的振动信号，相同类别下的不同界面元素可以通过不同位置进行区分。
可选的，若所述目标界面元素的所属类别为输入类、输入键盘类、显示区域类、多媒体控制类中的任一种，则所述目标振动效果用于提示所述目标界面元素的所属类别和所述目标界面元素的功能；其中，针对界面元素的所属类别为输入类、输入键盘类、显示区域类、多媒体控制类中的任一种的情况，具有相同所属类别的不同功能的界面元素对应不同的振动信号。
例如，于输入类、输入键盘类、显示区域类、多媒体控制类等，相同类别下的不同界面元素具有不同的振动信号，每一个界面元素都具有专属的振动效果，振动效果指示界面元素的所属类别和功能。
可选的，所述方法还包括：在输出所述目标振动效果的同时，播放所述目标界面元素对应的目标语音提示信息，所述目标语音提示信息用于播报所述目标界面元素的所属类别和所述目标界面元素的功能。
例如，在无障碍模式下，若用户触摸到对应的界面元素，则即时触发提前配置的目标振动效果，同时结合文字的语音播报读屏，让用户快速识别界面元素的功能及需要展示的内容，触觉和听觉的提示配合可以提升用户的操作速度。
可选的，所述方法还包括：获取所述第一触控操作的触发时间点与针对所述目标界面元素的第二触控操作的触发时间点之间的第一间隔时间；获取所述第一触控操作的触发时间点与播放所述目标语音提示信息的播放结束时间点之间的第二间隔时间；将所述第一间隔时间和所述第二间隔时间发送至服务器，以指示所述服务器根据所述第一间隔时间和所述第二间隔时间确定对象针对所述目标界面元素的快速识别率。
可选的，所述方法还包括：接收所述服务器发送的引导指令，所述引导指令为所述服务器在所述快速识别率低于预设值时发出的指令；
根据所述引导指令，引导所述对象重新识别所述目标振动效果、或者引导所述对象重新自定义所述振动信号。
例如，该对象可以为用户，比如视障用户。
例如，适用于视障用户的终端设备中，一般是用户先触控到目标界面元素(操作组件)以产生第一触控操作，并基于第一触控操作确定在用户界面上当前被触控的目标界面元素以及目标界面元素的所属类别，然后根据目标界面元素的所属类别以及预设的界面元素和振动信号的对应关系，确定目标界面元素对应的目标振动信号，并根据目标振动信号控制目标设备振动，并输出目标振动效果，以提示该界面元素的所属类别和/或功能，然后视障用户根据提示再次触控目标界面元素产生第二触控操作，以对该目标界面元素进行确认操作，最后基于第二触控操作执行该目标界面元素的相应功能。
其中，可以获取实际操作耗时(第一间隔时间)和语音播报时间(第二间隔时间)，并将实际操作耗时(第一间隔时间)和语音播报时间(第二间隔时间)发送至服务器分析对象(用户)针对目标界面元素的快速识别率，若快速识别率低，则需引导用户重新识别振动效果或重新自定义振动信号。
例如，终端设备可以上报并统计针对各个界面元素对应的用户选中到实际操作的耗时，如果耗时较久说明用户并不能通过振动快速识别界面元素的功能，仍然需要通过语音进行辅助，则可以引导用户重新学习此振动解决方案，如果发现大部分用户都无法快速识别此振动效果，则重新设计更合适的振动效果。
例如，服务器中可以设置有辅助分析系统，该辅助分析系统主要用于分析用户是否可以通过目标振动效果就快速地判断出当前被触控的目标界面元素的功能，并对目标界面元素进行相应操作。例如，该辅助分析系统的主要逻辑如下：
1、快速识别的定义：如果用户在语音播报完成前就进行了下一步操作，说明用户可以通过目标振动效果或其他辅助手段快速判断出当前被触控的目标界面元素的功能，定义为针对当前被触控的目标界面元素的本次操作，用户可以快速识别。即第一间隔时间大于第二间隔时间时，确定当前被触控的目标界面元素的本次操作，用户可以快速识别。
2、单用户的分析：根据上述的快速识别的定义，计算当前用户针对每一个界面元素的快速识别率，则针对快速识别率低于预设值(比如50％)的界面元素，引导用户重新识别振动效果或者引导用户自定义振动信号中的波形。例如，在预设时段内，当前用户针对界面元素1的识别次数为10次，其中有7次可以快速识别，则针对该界面元素1的快速识别率为70％。
3、整体分析：把所有用户的快速识别率按界面元素进行汇总计算，针对所有用户对应的快速识别率低于预设值(比如50％)的界面元素，则重新设计振动信号中的波形或引导用户重新识别振动效果。
例如，服务器在快速识别率低于预设值(比如50％)时发出引导指令，该引导指令用于引导对象(用户)重新识别目标振动效果、或者引导对象(用户)重新自定义振动信号中的波形。
为了更好的说明本申请实施例提供的触觉反馈方法，请参阅图5，本申请实施例提供的触觉反馈方法的流程可总结归纳为下述步骤：
步骤501，预先设置所述预设的界面元素和振动信号的对应关系，所述对应关系包括每一所述界面元素的名称、编码和所属类别，以及与每一所述界面元素对应的振动信号的振动时长、振动强度、振动频率和振动效果的描述内容。
步骤502，在所述触控显示屏中显示用户界面，所述用户界面包括多个界面元素。
步骤503，响应于针对所述用户界面的第一触控操作，确定在所述用户界面上当前被触控的目标界面元素以及所述目标界面元素的所属类别。
步骤504，根据所述目标界面元素的所属类别以及预设的界面元素和振动信号的对应关系，确定所述目标界面元素对应的目标振动信号。
步骤505，根据所述目标振动信号控制目标设备振动，并输出目标振动效果，其中，所述目标振动效果用于提示所述目标界面元素的所属类别和/或所述目标界面元素的功能。
步骤506，在输出所述目标振动效果的同时，播放所述目标界面元素对应的目标语音提示信息，所述目标语音提示信息用于播报所述目标界面元素的所属类别和所述目标界面元素的功能。
步骤507，获取所述第一触控操作的触发时间点与针对所述目标界面元素的第二触控操作的触发时间点之间的第一间隔时间。
步骤508，获取所述第一触控操作的触发时间点与播放所述目标语音提示信息的播放结束时间点之间的第二间隔时间。
步骤509，将所述第一间隔时间和所述第二间隔时间发送至服务器，以指示所述服务器根据所述第一间隔时间和所述第二间隔时间确定对象针对所述目标界面元素的快速识别率。
步骤510，接收所述服务器发送的引导指令，所述引导指令为所述服务器在所述快速识别率低于预设值时发出的指令；
步骤511，根据所述引导指令，引导所述对象重新识别所述目标振动效果、或者引导所述对象重新自定义所述振动信号。
上述所有的技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
本申请实施例通过在触控显示屏中显示用户界面，用户界面包括多个界面元素；响应于针对用户界面的第一触控操作，确定在用户界面上当前被触控的目标界面元素以及目标界面元素的所属类别；根据目标界面元素的所属类别以及预设的界面元素和振动信号的对应关系，确定目标界面元素对应的目标振动信号；根据目标振动信号控制目标设备振动，并输出目标振动效果，其中，目标振动效果用于提示目标界面元素的所属类别和/或目标界面元素的功能。本申请实施例通过触觉反馈快速识别当前操作的界面元素，提升视障用户对界面元素的识别率，常用操作不再依赖于声音提示，在嘈杂、室外的环境也可以通过触觉反馈快速识别所需操作的界面元素，操作更加快捷，触觉反馈可以更加直接、快速，不再需要耗费更多的时间听语音，提升视障用户的终端使用体验。
另外，本申请实施例还可以通过基于具有配色标注信息的样本数据训练得到的配色模型对原始图像进行自动配色，无需人工判定配色效果，提升了图像配色的效率，可以实现批量自动化生产。
为便于更好的实施本申请实施例的触觉反馈方法，本申请实施例还提供一种触觉反馈装置。请参阅图6及图7，图6及图7为本申请实施例提供的触觉反馈装置的结构示意图。其中，可该触觉反馈装置600应用于具有触控显示屏的计算机设备，该触觉反馈装置600可以包括：
显示单元602，用于在所述触控显示屏中显示用户界面，所述用户界面包括多个界面元素；
第一确定单元603，用于响应于针对所述用户界面的第一触控操作，确定在所述用户界面上当前被触控的目标界面元素以及所述目标界面元素的所属类别；
第二确定单元604，用于根据所述目标界面元素的所属类别以及预设的界面元素和振动信号的对应关系，确定所述目标界面元素对应的目标振动信号；
振动单元605，用于根据所述目标振动信号控制目标设备振动，并输出目标振动效果，其中，所述目标振动效果用于提示所述目标界面元素的所属类别和/或所述目标界面元素的功能。
可选的，如图7所示，该触觉反馈装置600还包括预设单元601、播报单元606、第一获取单元607、第二获取单元608、发送单元609和接收单元610。
其中，所述预设单元601，用于预先设置所述预设的界面元素和振动信号的对应关系，所述对应关系包括每一所述界面元素的名称、编码和所属类别，以及与每一所述界面元素对应的振动信号的振动时长、振动强度、振动频率和振动效果的描述内容。
可选的，所述预设单元601，可以用于：响应于在类别设置界面输入的分类设置指令，设置每一所述界面元素的所属类别；响应于在振动设置界面输入的振动设置指令，设置与每一所述界面元素对应的振动信号的振动时长、振动强度和振动频率。
可选的，所述预设单元601，还可以用于：响应于导入指令，导入包含有所述预设的界面元素和振动信号的对应关系的目标文件。
可选的，所述预设单元601，还可以用于：响应于导出指令，导出包含有所述预设的界面元素和振动信号的对应关系的目标文件。
其中，所述播报单元606，用于在输出所述目标振动效果的同时，播放所述目标界面元素对应的目标语音提示信息，所述目标语音提示信息用于播报所述目标界面元素的所属类别和所述目标界面元素的功能。
可选的，所述第一获取单元607，可以用于获取所述第一触控操作的触发时间点与针对所述目标界面元素的第二触控操作的触发时间点之间的第一间隔时间；
所述第二获取单元608，可以用于获取所述第一触控操作的触发时间点与播放所述目标语音提示信息的播放结束时间点之间的第二间隔时间；
所述发送单元609，用于将所述第一间隔时间和所述第二间隔时间发送至服务器，以指示所述服务器根据所述第一间隔时间和所述第二间隔时间确定对象针对所述目标界面元素的快速识别率。
可选的，所述接收单元610，用于接收所述服务器发送的引导指令，所述引导指令为所述服务器在所述快速识别率低于预设值时发出的指令，并根据所述引导指令，引导所述对象重新识别所述目标振动效果、或者引导所述对象重新自定义所述振动信号。
可选的，若所述目标界面元素的所属类别为导航类或按钮类，则所述目标振动效果用于提示所述目标界面元素的所属类别；其中，针对界面元素的所属类别为导航类或按钮类的情况，具有相同所属类别的不同功能的界面元素对应相同的振动信号，在所述用户界面的不同位置显示导航类或按钮类中不同功能的界面元素。
可选的，若所述目标界面元素的所属类别为输入类、输入键盘类、显示区域类、多媒体控制类中的任一种，则所述目标振动效果用于提示所述目标界面元素的所属类别和所述目标界面元素的功能；其中，针对界面元素的所属类别为输入类、输入键盘类、显示区域类、多媒体控制类中的任一种的情况，具有相同所属类别的不同功能的界面元素对应不同的振动信号。
上述触觉反馈装置中的各个单元可全部或部分通过软件、硬件及其组合来实现。上述各个单元可以以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行上述各个单元对应的操作。
触觉反馈装置600，可以集成在具备储存器并安装有处理器而具有运算能力的终端或服务器中，或者该触觉反馈装置600为该终端或服务器。
相应的，本申请实施例还提供一种计算机设备，该计算机设备可以为终端或者服务器，该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、游戏机、个人计算机(PC，Personal Computer)、个人数字助理(Personal Digital Assistant，PDA)等终端设备。
如图8所示，图8为本申请实施例提供的计算机设备的结构示意图，该计算机设备可以是图1所示的终端。该计算机设备800包括有一个或者一个以上处理核心的处理器801、有一个或一个以上计算机可读存储介质的存储器802及存储在存储器802上并可在处理器上运行的计算机程序。其中，处理器801与存储器802电性连接。本领域技术人员可以理解，图中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
处理器801是计算机设备800的控制中心，利用各种接口和线路连接整个计算机设备800的各个部分，通过运行或加载存储在存储器802内的软件程序和/或模块，以及调用存储在存储器802内的数据，执行计算机设备800的各种功能和处理数据，从而对计算机设备800进行整体监控。
在本申请实施例中，计算机设备800中的处理器801会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器802中，并由处理器801来运行存储在存储器802中的应用程序，从而实现各种功能：
在所述触控显示屏中显示用户界面，所述用户界面包括多个界面元素；响应于针对所述用户界面的第一触控操作，确定在所述用户界面上当前被触控的目标界面元素以及所述目标界面元素的所属类别；根据所述目标界面元素的所属类别以及预设的界面元素和振动信号的对应关系，确定所述目标界面元素对应的目标振动信号；根据所述目标振动信号控制目标设备振动，并输出目标振动效果，其中，所述目标振动效果用于提示所述目标界面元素的所属类别和/或所述目标界面元素的功能。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
可选的，如图8所示，计算机设备800还包括：触控显示屏803、射频电路804、音频电路805、输入单元806以及电源807。其中，处理器801分别与触控显示屏803、射频电路804、音频电路805、输入单元806以及电源807电性连接。本领域技术人员可以理解，图8中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
触控显示屏803可用于显示图形用户界面以及接收用户作用于图形用户界面产生的操作指令。触控显示屏803可以包括显示面板和触控面板。其中，显示面板可用于显示由用户输入的信息或提供给用户的信息以及计算机设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-EmittingDiode)等形式来配置显示面板。触控面板可用于收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并生成相应的操作指令，且操作指令执行对应程序。可选的，触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器801，并能接收处理器801发来的命令并加以执行。触控面板可覆盖显示面板，当触控面板检测到在其上或附近的触摸操作后，传送给处理器801以确定触摸事件的类型，随后处理器801根据触摸事件的类型在显示面板上提供相应的视觉输出。在本申请实施例中，可以将触控面板与显示面板集成到触控显示屏803而实现输入和输出功能。但是在某些实施例中，触控面板与触控面板可以作为两个独立的部件来实现输入和输出功能。即触控显示屏803也可以作为输入单元806的一部分实现输入功能。
射频电路804可用于收发射频信号，以通过无线通信与网络设备或其他计算机设备建立无线通讯，与网络设备或其他计算机设备之间收发信号。
音频电路805可以用于通过扬声器、传声器提供用户与计算机设备之间的音频接口。音频电路805可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路805接收后转换为音频数据，再将音频数据输出处理器801处理后，经射频电路804以发送给比如另一计算机设备，或者将音频数据输出至存储器802以便进一步处理。音频电路805还可能包括耳塞插孔，以提供外设耳机与计算机设备的通信。
输入单元806可用于接收输入的数字、字符信息或用户特征信息(例如指纹、虹膜、面部信息等)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
电源807用于给计算机设备800的各个部件供电。可选的，电源807可以通过电源管理系统与处理器801逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源807还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管图8中未示出，计算机设备800还可以包括摄像头、传感器、无线保真模块、蓝牙模块等，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
可选的，本申请还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
本申请还提供了一种计算机可读存储介质，用于存储计算机程序。该计算机可读存储介质可应用于计算机设备，并且该计算机程序使得计算机设备执行本申请实施例中的触觉反馈方法中的相应流程，为了简洁，在此不再赘述。
本申请还提供了一种计算机程序产品，该计算机程序产品包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得计算机设备执行本申请实施例中的触觉反馈方法中的相应流程，为了简洁，在此不再赘述。
本申请还提供了一种计算机程序，该计算机程序包括计算机指令，计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得计算机设备执行本申请实施例中的触觉反馈方法中的相应流程，为了简洁，在此不再赘述。
应理解，本申请实施例的处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
可以理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
应理解，上述存储器为示例性但不是限制性说明，例如，本申请实施例中的存储器还可以是静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)以及直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)等等。也就是说，本申请实施例中的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种触觉反馈方法，其特征在于，应用于具有触控显示屏的计算机设备，所述方法包括：
在所述触控显示屏中显示用户界面，所述用户界面包括多个界面元素；
响应于针对所述用户界面的第一触控操作，确定在所述用户界面上当前被触控的目标界面元素以及所述目标界面元素的所属类别；
根据所述目标界面元素的所属类别以及预设的界面元素和振动信号的对应关系，确定所述目标界面元素对应的目标振动信号；
根据所述目标振动信号控制目标设备振动，并输出目标振动效果，其中，所述目标振动效果用于提示所述目标界面元素的所属类别和/或所述目标界面元素的功能。
2.如权利要求1所述的触觉反馈方法，其特征在于，所述方法还包括：
在输出所述目标振动效果的同时，播放所述目标界面元素对应的目标语音提示信息，所述目标语音提示信息用于播报所述目标界面元素的所属类别和所述目标界面元素的功能。
3.如权利要求2所述的触觉反馈方法，其特征在于，所述方法还包括：
获取所述第一触控操作的触发时间点与针对所述目标界面元素的第二触控操作的触发时间点之间的第一间隔时间；
获取所述第一触控操作的触发时间点与播放所述目标语音提示信息的播放结束时间点之间的第二间隔时间；
将所述第一间隔时间和所述第二间隔时间发送至服务器，以指示所述服务器根据所述第一间隔时间和所述第二间隔时间确定对象针对所述目标界面元素的快速识别率。
4.如权利要求3所述的触觉反馈方法，其特征在于，所述方法还包括：
接收所述服务器发送的引导指令，所述引导指令为所述服务器在所述快速识别率低于预设值时发出的指令；
根据所述引导指令，引导所述对象重新识别所述目标振动效果、或者引导所述对象重新自定义所述振动信号。
5.如权利要求1所述的触觉反馈方法，其特征在于，所述方法还包括：
预先设置所述预设的界面元素和振动信号的对应关系，所述对应关系包括每一所述界面元素的名称、编码和所属类别，以及与每一所述界面元素对应的振动信号的振动时长、振动强度、振动频率和振动效果的描述内容。
6.如权利要求5所述的触觉反馈方法，其特征在于，所述预先设置所述预设的界面元素和振动信号的对应关系，包括：
响应于在类别设置界面输入的分类设置指令，设置每一所述界面元素的所属类别；
响应于在振动设置界面输入的振动设置指令，设置与每一所述界面元素对应的振动信号的振动时长、振动强度和振动频率。
7.如权利要求5所述的触觉反馈方法，其特征在于，所述预先设置所述预设的界面元素和振动信号的对应关系，还包括：
响应于导入指令，导入包含有所述预设的界面元素和振动信号的对应关系的目标文件。
8.如权利要求5所述的触觉反馈方法，其特征在于，所述方法还包括：
响应于导出指令，导出包含有所述预设的界面元素和振动信号的对应关系的目标文件。
9.如权利要求1～8任一项所述的触觉反馈方法，其特征在于，若所述目标界面元素的所属类别为导航类或按钮类，则所述目标振动效果用于提示所述目标界面元素的所属类别；
其中，针对界面元素的所属类别为导航类或按钮类的情况，具有相同所属类别的不同功能的界面元素对应相同的振动信号，在所述用户界面的不同位置显示导航类或按钮类中不同功能的界面元素。
10.如权利要求1～8任一项所述的触觉反馈方法，其特征在于，若所述目标界面元素的所属类别为输入类、输入键盘类、显示区域类、多媒体控制类中的任一种，则所述目标振动效果用于提示所述目标界面元素的所属类别和所述目标界面元素的功能；
其中，针对界面元素的所属类别为输入类、输入键盘类、显示区域类、多媒体控制类中的任一种的情况，具有相同所属类别的不同功能的界面元素对应不同的振动信号。
11.一种触觉反馈装置，其特征在于，应用于具有触控显示屏的计算机设备，所述装置包括：
显示单元，用于在所述触控显示屏中显示用户界面，所述用户界面包括多个界面元素；
第一确定单元，用于响应于针对所述用户界面的第一触控操作，确定在所述用户界面上当前被触控的目标界面元素以及所述目标界面元素的所属类别；
第二确定单元，用于根据所述目标界面元素的所属类别以及预设的界面元素和振动信号的对应关系，确定所述目标界面元素对应的目标振动信号；
振动单元，用于根据所述目标振动信号控制目标设备振动，并输出目标振动效果，其中，所述目标振动效果用于提示所述目标界面元素的所属类别和/或所述目标界面元素的功能。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如权利要求1-10任一项所述的触觉反馈方法中的步骤。
13.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，用于执行权利要求1-10任一项所述的触觉反馈方法中的步骤。
CN202111547048.0A 2021-12-16 2021-12-16 触觉反馈方法、装置、介质、设备 Active CN114237399B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111547048.0A CN114237399B (zh) 2021-12-16 2021-12-16 触觉反馈方法、装置、介质、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111547048.0A CN114237399B (zh) 2021-12-16 2021-12-16 触觉反馈方法、装置、介质、设备

Publications (2)

Publication Number Publication Date
CN114237399A true CN114237399A (zh) 2022-03-25
CN114237399B CN114237399B (zh) 2023-03-21

Family

ID=80757517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111547048.0A Active CN114237399B (zh) 2021-12-16 2021-12-16 触觉反馈方法、装置、介质、设备

Country Status (1)

Country Link
CN (1) CN114237399B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114895813A (zh) * 2022-05-24 2022-08-12 维沃移动通信有限公司 信息显示方法、装置、电子设备及可读存储介质
CN115047971A (zh) * 2022-06-16 2022-09-13 腾讯科技（深圳）有限公司 振动编码处理方法、装置、计算机设备及存储介质
WO2023241105A1 (zh) * 2022-06-16 2023-12-21 腾讯科技（深圳）有限公司 振动控制方法、装置、计算机设备及存储介质
WO2023240545A1 (zh) * 2022-06-16 2023-12-21 京东方科技集团股份有限公司 触觉反馈方法、触觉反馈膜层的驱动电路及触觉反馈设备
WO2024012357A1 (zh) * 2022-07-14 2024-01-18 腾讯科技（深圳）有限公司 振动提醒方法、相关设备、计算机存储介质
WO2024087433A1 (zh) * 2022-10-26 2024-05-02 瑞声开泰声学科技(上海)有限公司 触觉反馈方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080155415A1 (en) * 2006-12-21 2008-06-26 Samsung Electronics Co., Ltd. Device and method for providing haptic user interface in mobile terminal
CN103425245A (zh) * 2012-05-22 2013-12-04 三星电子株式会社 用于提供用户接口的方法和应用该方法的便携式装置
CN109213319A (zh) * 2018-08-04 2019-01-15 瑞声科技(新加坡)有限公司 基于场景的振动反馈方法及移动终端
US20190255567A1 (en) * 2018-02-20 2019-08-22 Cirrus Logic International Semiconductor Ltd. Adaptive localization of vibrational energy in a system with multiple vibrational transducers
CN113391731A (zh) * 2021-06-28 2021-09-14 业成科技（成都）有限公司 触控组件、提供触控反馈的方法、终端及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080155415A1 (en) * 2006-12-21 2008-06-26 Samsung Electronics Co., Ltd. Device and method for providing haptic user interface in mobile terminal
CN103425245A (zh) * 2012-05-22 2013-12-04 三星电子株式会社 用于提供用户接口的方法和应用该方法的便携式装置
US20190255567A1 (en) * 2018-02-20 2019-08-22 Cirrus Logic International Semiconductor Ltd. Adaptive localization of vibrational energy in a system with multiple vibrational transducers
CN109213319A (zh) * 2018-08-04 2019-01-15 瑞声科技(新加坡)有限公司 基于场景的振动反馈方法及移动终端
CN113391731A (zh) * 2021-06-28 2021-09-14 业成科技（成都）有限公司 触控组件、提供触控反馈的方法、终端及可读存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114895813A (zh) * 2022-05-24 2022-08-12 维沃移动通信有限公司 信息显示方法、装置、电子设备及可读存储介质
CN115047971A (zh) * 2022-06-16 2022-09-13 腾讯科技（深圳）有限公司 振动编码处理方法、装置、计算机设备及存储介质
CN115047971B (zh) * 2022-06-16 2023-02-14 腾讯科技（深圳）有限公司 振动编码处理方法、装置、计算机设备及存储介质
WO2023241105A1 (zh) * 2022-06-16 2023-12-21 腾讯科技（深圳）有限公司 振动控制方法、装置、计算机设备及存储介质
WO2023241106A1 (zh) * 2022-06-16 2023-12-21 腾讯科技（深圳）有限公司 振动信号编码处理方法、装置、计算机设备及存储介质
WO2023240545A1 (zh) * 2022-06-16 2023-12-21 京东方科技集团股份有限公司 触觉反馈方法、触觉反馈膜层的驱动电路及触觉反馈设备
WO2024012357A1 (zh) * 2022-07-14 2024-01-18 腾讯科技（深圳）有限公司 振动提醒方法、相关设备、计算机存储介质
WO2024087433A1 (zh) * 2022-10-26 2024-05-02 瑞声开泰声学科技(上海)有限公司 触觉反馈方法和装置

Also Published As

Publication number Publication date
CN114237399B (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
CN114237399B (zh) 触觉反馈方法、装置、介质、设备
EP3821330B1 (en) Electronic device and method for generating short cut of quick command
US11269575B2 (en) Devices, methods, and graphical user interfaces for wireless pairing with peripheral devices and displaying status information concerning the peripheral devices
US9613623B2 (en) User interface method and device comprising repeated output of an audible signal and a visual display and vibration for user notification
DE102016214955A1 (de) Latenzfreier digitaler Assistent
CN106406867B (zh) 一种基于android系统的读屏方法及装置
CN109947650B (zh) 脚本步骤处理方法、装置和系统
CN106610826B (zh) 在线场景应用的制作方法及装置
CN104007816A (zh) 用于提供语音-言语服务的方法和实现该方法的移动终端
CN109803050B (zh) 一种适用于盲人操作手机的全屏引导点击方法
KR20140106801A (ko) 시각 장애인들을 위한 휴대 단말기의 음성 서비스 지원 방법 및 장치
CN106547676A (zh) 一种用户操作录制方法及终端
US11243679B2 (en) Remote data input framework
EP3076642B1 (en) Operation processing method and device
CN109189243B (zh) 输入法切换方法、装置及用户终端
CN112817582B (zh) 代码处理方法、装置、计算机设备和存储介质
US10979582B2 (en) Extension of remote frame buffer (RFB) protocol
CN111966257A (zh) 信息处理方法、装置及电子设备
US9773409B1 (en) Automatically configuring a remote control for a device
CN105159874A (zh) 文字的修改方法及装置
WO2018113751A1 (zh) 一种设置通信快捷方式的方法及电子设备
CN115145547A (zh) 基于语音的编程方法、装置、电子设备及存储介质
US9613311B2 (en) Receiving voice/speech, replacing elements including characters, and determining additional elements by pronouncing a first element
CN112260938B (zh) 会话消息的处理方法、装置、电子设备及存储介质
US20240078079A1 (en) Devices, Methods, and User Interfaces for Controlling Operation of Wireless Electronic Accessories

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
OL01 Intention to license declared
OL01 Intention to license declared