CN112764593A - 触控反馈控制方法、存储介质、触控反馈系统和终端设备 - Google Patents

Abstract

本发明公开了一种触控反馈控制方法、存储介质、触控反馈系统和终端设备，所述触控反馈控制方法，用于触觉反馈子系统，所述触觉反馈子系统包括超声波发射器阵列，所述方法包括：接收到空中交互界面的触控点坐标信息和触控反馈控制指令；根据所述触控反馈控制指令和所述触控点坐标信息控制所述超声波发射器阵列发射超声波，并将所述超声波聚焦至所述空中交互界面的触控点。该方法既可以实现用户非接触式触觉反馈，又可以在视觉和触觉上同时满足用户的交互体验，更加卫生安全。

Description

触控反馈控制方法、存储介质、触控反馈系统和终端设备

技术领域

本发明涉及触控反馈技术领域，尤其是涉及一种触控反馈控制方法、存储介质以及一种触控反馈系统和一种终端设备。

背景技术

相关技术中，对于接触式触觉反馈技术，通过借助相关设备(如屏幕、手套等)辅助，利用振动、静电力等原理和技术实现触觉感知。但是，该方式需必须与辅助设备进行接触，一方面设备的交叉使用会引起公共卫生安全问题，用户也无法摆脱笨重设备的束缚；另一方面，用户使用后在设备上遗留的指纹、掌纹等个人信息，会对个人信息安全面临泄露风险。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明的一个目的在于提出一种触控反馈控制方法，该方法既可以实现用户非接触式触觉反馈的目的，又可以在视觉和触觉上同时满足用户的交互体验，更加卫生安全。

本发明的目的之二在于提出一种存储介质。

本发明的目的之三在于提出一种触控反馈系统。

本发明的目的之四在于提出一种终端设备。

为了解决上述问题，本发明第一方面实施例提供的触控反馈控制方法，用于触觉反馈子系统，所述触觉反馈子系统包括超声波发射器阵列，所述方法包括：接收到空中交互界面的触控点坐标信息和触控反馈控制指令；根据所述触控反馈控制指令和所述触控点坐标信息控制所述超声波发射器阵列发射超声波，并将所述超声波聚焦至所述空中交互界面的触控点。

根据本发明实施例的触控反馈控制方法，通过将人机交互信息在空中目标区域成像显示以形成空中交互界面，即采用可交互空中成像技术，将空中交互界面作为触觉感知的基准面，以用于引导用户触控，并在检测到用户与空中交互界面的交互信号时，发送触控反馈控制指令和触控点坐标信息至触控反馈子系统，以使触控反馈子系统根据获取的触控反馈控制指令和触控点坐标信息，控制超声波发射器阵列发射超声波并将超声波聚焦至触控点，即通过超声波辐射压力，以在人体与触控点之间产生触觉反馈效果，实现用户非接触式触觉反馈的目的，以及本发明实施例中基于在空中目标区域呈现空中交互界面，通过用户触摸空中交互界面即可触发触控反馈的操作，在视觉和触觉上同时满足用户的交互体验，且操作方式也更加自然舒适，无需设置额外的限制用户操作装置，避免用户操作时接触设备的风险，也避免出现因用户信息残留在接触面上而造成个人信息泄露的问题，更加卫生安全。

在一些实施例中，根据所述触控反馈控制指令和所述触控点坐标信息控制超声波发射器阵列发射超声波并将所述超声波聚焦至所述空中交互界面的触控点，包括：根据所述触控点坐标信息和所述超声波发射器阵列中每个超声波发射器的发射端的位置信息确定每个所述超声波发射器的延时相位；根据所述触控反馈控制指令生成原始驱动信号；根据每个所述超声波发射器的延时相位对所述原始驱动信号进行调整，以将多个所述超声波发射器发射的超声波聚焦至所述触控点。

在一些实施例中，根据所述触控反馈控制指令生成原始驱动信号，包括：根据所述触控反馈控制指令产生时钟信号和调制信号；根据所述时钟信号和所述调制信号生成所述原始驱动信号。

在一些实施例中，根据每个所述超声波发射器的延时相位对所述原始驱动信号进行调整，包括：根据每个所述超声波发射器的延时相位对所述原始驱动信号进行延时处理；获得每个所述超声波发射器的目标驱动信号；根据所述目标驱动信号驱动每个所述超声波发射器。

在一些实施例中，还包括：获取环境温度；根据所述环境温度对每个所述超声波发射器的延时相位进行校正。

在一些实施例中，所述超声波发射器阵列包括n个分布在同一平面的超声波发射器子阵列，所述空中交互界面划分为n个触控子区，n个所述超声波发射器子阵列与n个所述触控子区一一对应配置；根据所述触控反馈控制指令和所述触控点坐标信息控制超声波发射器阵列发射超声波并将所述超声波聚焦至所述空中交互界面的触控点，包括：根据所述触控点坐标信息确定触控点对应所述空中交互界面中的目标触控子区；根据所述目标触控子区确定目标超声波发射器子阵列，根据所述触控点坐标信息和所述目标超声波发射器子阵列中每个超声波发射器的发射端的位置信息确定所述目标超声波发射器子阵列中每个所述超声波发射器的延时相位；根据所述触控反馈控制指令产生时钟信号和调制信号，并根据所述时钟信号和所述调制信号生成原始驱动信号；根据所述目标超声波发射器子阵列中每个所述超声波发射器的延时相位对所述原始驱动信号进行延时处理以获得所述超声波发射器子阵列的每个所述超声波发射器的目标驱动信号；根据所述目标驱动信号驱动所述超声波发射器子阵列的每个所述超声波发射器。

在一些实施例中，所述超声波发射器阵列为n个，n个所述超声波发射器阵列分布在同一平面或者以预设角度错开设置，所述空中交互界面划分为n个触控子区，n个所述超声波发射器阵列与n个所述触控子区一一对应配置；根据所述触控反馈控制指令和所述触控点坐标信息控制超声波发射器阵列发射超声波并将所述超声波聚焦至所述空中交互界面的触控点，包括：根据所述触控点坐标信息确定触控点对应所述空中交互界面中的目标触控子区；根据所述目标触控子区确定目标超声波发射器阵列，根据所述触控点坐标信息和所述目标超声波发射器阵列中每个超声波发射器的发射端的位置信息确定所述目标超声波发射器阵列中每个所述超声波发射器的延时相位；根据所述触控反馈控制指令产生时钟信号和调制信号，并根据所述时钟信号和所述调制信号生成原始驱动信号；根据所述目标超声波发射器阵列中每个所述超声波发射器的延时相位对所述原始驱动信号进行延时处理以获得所述目标超声波发射器阵列中每个所述超声波发射器的目标驱动信号；根据所述目标驱动信号驱动所述目标超声波发射器阵列中每个所述超声波发射器。

本发明第二方面实施例提供一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述实施例所述的触控反馈控制方法。

本发明第三方面实施例提供的触控反馈系统，包括，成像子系统，用于将人机交互信息在空中目标区域成像显示以形成空中交互界面，并在检测到用户与所述空中交互界面的交互信号时发送触控反馈控制指令和触控点坐标信息；触觉反馈子系统，所述触觉反馈子系统包括超声波发射器阵列，所述触觉反馈子系统与所述成像子系统连接，用于执行上述实施例所述的触控反馈控制方法。

根据本发明实施例的触控反馈系统，通过成像子系统将人机交互信息在空中目标区域成像显示以形成空中交互界面，即成像子系统采用可交互空中成像技术，将空中交互界面作为触觉感知的基准面，以用于引导用户触控，并在成像子系统检测到用户与空中交互界面的交互信号时，发送触控反馈控制指令和触控点坐标信息至触觉反馈子系统，触觉反馈子系统根据接收的触控反馈控制指令和触控点坐标信息，发射超声波并将超声波聚焦至触控点，即触觉反馈子系统以超声波辐射压力，在人体与触控点之间产生触觉反馈效果，实现用户非接触式触觉反馈的目的，以及本发明实施例中基于在空中目标区域呈现空中交互界面，通过用户触摸空中交互界面即可触发触控反馈的操作，在视觉和触觉上同时满足用户的交互体验，且操作方式也更加自然舒适，无需设置额外的限制用户操作装置，避免用户操作时接触设备的风险，也避免出现因用户信息残留在接触面上而造成个人信息泄露的问题，更加卫生安全。

本发明第四方面实施例提供一种终端设备，包括，设备本体；上述实施例所述的触控反馈系统，所述触控反馈系统设置在所述设备本体上。

根据本发明实施例的终端设备，通过采用上述实施例提供的触控反馈系统，可以实现用户非接触式触觉反馈的目的，且无需设置额外的限制用户操作装置，操作方式也更加自然方便，并在视觉和触觉上同时满足用户的交互体验。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本发明一个实施例的触控反馈系统的结构框图；

图2是根据本发明一个实施例的触控反馈控制方法的流程示意图；

图3是根据本发明一个实施例的单块超声波发射器阵列的布局示意图；

图4是根据本发明一个实施例的多块超声波发射器阵列的布局示意图；

图5是根据本发明一个实施例的触觉反馈子系统的结构示意图；

图6是根据本发明一个实施例的超声波发射器阵列的示意图；

图7是根据本发明一个实施例的触控反馈系统的结构示意图；

图8是根据本发明一个实施例的人机交互的结构示意图；

图9是根据本发明一个实施例的终端设备的结构框图。

附图标记：

终端设备2000；

触控反馈系统1000；设备本体300；

成像子系统100；触觉反馈子系统200；

第一壳体210；超声波发射器阵列220；控制器250；数据处理模块230；驱动模块240；

第一容纳腔2；超声波发射器30；

第二壳体110；成像组件120；检测模块130；主控模块140；

显示器25；光学组件26；空中目标区域10；显示窗口40；第二容纳腔50。

具体实施方式

下面详细描述本发明的实施例，参考附图描述的实施例是示例性的，下面详细描述本发明的实施例。

为了解决上述问题，本发明第一方面实施例提出一种触控反馈控制方法，该方法既可以实现用户非接触式触觉反馈，又可以在视觉和触觉上同时满足用户的交互体验，更加卫生安全。

本发明实施例的触控反馈控制方法用于触觉反馈子系统，如图1所示，本发明实施例提供的触控反馈系统1000包括成像子系统100和触觉反馈子系统200。

其中，成像子系统100用于将人机交互信息在空中目标区域成像显示以形成空中交互界面，并在检测到用户与空中交互界面的交互信号时发送触控反馈控制指令和触控点坐标信息。触觉反馈子系统200与成像子系统100连接，触觉反馈子系统200包括超声波发射器阵列，用于执行上述实施例提供的触控反馈控制方法，即根据触控反馈控制指令和触控点坐标信息发射超声波并将超声波聚焦至空中交互界面的触控点。

在本发明实施例中，成像子系统100采用可交互空中成像技术，在空中的确定位置处形成浮空实像即空中交互界面，以作为用户触觉感知的基准面，而覆盖浮空实像所在的三维空间即为空中目标区域。通过成像子系统100将人机交互信息汇聚成像在空中目标区域，以形成空中交互界面，并在检测到用户与空中交互界面的交互信号时，成像子系统100发送触控反馈控制指令和触控点坐标信息至触觉反馈子系统200。

触觉反馈子系统200的触控区域设置为覆盖空中交互界面所在三维空间，即空中目标区域。具体地，基于空中交互界面的大小和显示位置是相对固定的，触觉反馈子系统200根据已知的空中交互界面，产生一个与之等大等位置的触控反馈平面。即由成像子系统100提供空中交互界面，以引导用户触摸，以及由触觉反馈子系统200提供触控反馈平面，以反馈用户对触摸对象的感知。

根据本发明实施例的触控反馈系统1000，通过成像子系统100将人机交互信息在空中目标区域成像显示以形成空中交互界面，将空中交互界面作为用户触觉感知的基准面，以用于引导用户触控，并在成像子系统100检测到用户与空中交互界面的交互信号时，发送触控反馈控制指令和触控点坐标信息至触觉反馈子系统200。触觉反馈子系统200根据接收的触控反馈控制指令和触控点坐标信息，发射超声波并将超声波聚焦至触控点，在人体与触控点之间产生触觉反馈效果，使得人体可以真实感受到触控点的存在，实现用户非接触式触觉反馈的目的。本发明实施例中基于在空中目标区域呈现空中交互界面，通过用户触摸空中交互界面即可触发触控反馈的操作，在视觉和触觉上同时满足用户的交互体验，且操作方式也更加自然舒适，无需设置额外的限制用户操作装置，避免用户操作时接触设备的风险。同时避免出现因用户指纹信息残留，使得个人信息泄露而造成的信息安全问题。

基于上述实施例提供的触控反馈系统，下面参考附图描述本发明实施例提出的触控反馈控制方法。如图2所示，该方法至少包括步骤S1和步骤S2。

步骤S1，接收到空中交互界面的触控点坐标信息和触控反馈控制指令。

本发明实施例采用以可交互空中成像技术与超声波辐射压力触觉反馈技术相结合的方式，用以高效完成空中触觉反馈交互。

在实施例中，本发明实施例通过采用可交互空中成像技术，可以将人机交互信息在空中目标区域成像显示以形成空中交互界面，在视觉上满足用户的交互体验。空中交互界面位置在空中是相对固定的，因此将空中交互界面所在的三维空间作为空中目标区域。因此，用户可以直接与空中交互界面进行交互，而无需设置额外的限制机构来引导用户进行操作，避免了用户与设备本体接触的风险，减少因用户交叉使用而引发的公共卫生安全问题，同时也避免因用户指纹信息残留，使得个人信息泄露而造成的信息安全问题。

进一步地，成像子系统实时检测用户与空中交互界面的交互信号，以获取触控点坐标信息，并发送触控反馈控制指令至触控反馈子系统。即，将空中交互界面作为触觉感知的基准面，用于引导用户触控。成像子系统在检测到用户与空中交互界面的交互信号后，可以根据空中交互界面的显示对象，并结合触控点的分布，确定触控点坐标信息，进而发送触控点坐标信息和触控反馈控制指令至触觉反馈子系统，以触发触觉反馈子系统在触控点处为用户提供触觉反馈。

步骤S2，根据触控反馈控制指令和触控点坐标信息控制超声波发射器阵列发射超声波并将超声波聚焦至空中交互界面的触控点。

根据声学理论，超声波可以在一定空间内产生声压，声压分布与距离呈反相关，由于单个超声波发射器发出的超声波所产生的声压不足以对用户提供触觉反馈，当超声波发射器的数量达到一定数量时，每个超声波发射器所产生的超声波同时到达空间中某一点并在该点进行聚焦叠加，所叠加的声压远远大于单个超声波发生器产生的声压，在该点人体可感知到振动，从而实现超声波触觉反馈。

在实施例中，本发明实施例通过采用超声波辐射压力触觉反馈技术，响应于触控反馈控制指令，控制超声波发射器阵列发射超声波，同时结合触控点坐标信息，控制超声波发射器阵列的多个超声波发射器发射的超声波在同时刻聚焦至触控点，使得在触控点处所叠加后的超声波声压可以被人体感知，实现超声波触觉反馈。

根据本发明实施例的触控反馈控制方法，通过将人机交互信息在空中目标区域成像显示以形成空中交互界面，即采用可交互空中成像技术，将空中交互界面作为触觉感知的基准面，以用于引导用户触控，并在成像子系统检测到用户与空中交互界面的交互信号时，发送触控反馈控制指令和触控点坐标信息至触控反馈子系统，以使触控反馈子系统根据接收的触控反馈控制指令和触控点坐标信息，控制超声波发射器阵列发射超声波并将超声波聚焦至触控点，即通过超声波辐射压力，以在人体与触控点之间产生触觉反馈效果，使得人体可以真实感受到触控点的存在，实现用户非接触式触觉反馈的目的，以及本发明实施例中基于在空中目标区域呈现空中交互界面，通过用户触摸空中交互界面即可触发触控反馈的操作，既在视觉和触觉上同时满足用户的交互体验，且操作方式也更加自然舒适，又无需设置额外的限制用户操作的装置，避免用户操作时接触设备的风险，也避免出现因用户信息残留在接触面上而造成个人信息泄露的问题，更加卫生安全。

基于超声波发射器阵列包括多个超声波发射器，且由于超声波发射器阵列中每个超声波发射器与触控点的距离不同，因此，在一些实施例中，对于根据触控反馈控制指令和触控点坐标信息控制超声波发射器阵列发射超声波并将超声波聚焦至空中交互界面的触控点，可以包括：根据触控点坐标信息和超声波发射器阵列中每个超声波发射器的发射端的位置信息确定每个超声波发射器的延时相位，以及根据触控反馈控制指令生成原始驱动信号。从而根据每个超声波发射器的延时相位对原始驱动信号进行调整，以控制每个超声波发射器发射超声波的发射时间，将多个超声波发射器发射的超声波在同时刻聚焦至空中交互界面的触控点，实现触觉反馈。

具体地，以超声波发射器阵列的阵列面为坐标平面，以阵列面几何中心作为坐标原点O，阵列面上与阵列边平行且经过原点O的一组正交轴作为x、y轴，z轴垂直于阵列面且经过原点O，建立空间直角坐标系，其中，阵列面为超声波发射器阵列的发射端所在平面。触觉反馈子系统根据超声波发射器在超声波发射器阵列上的排布，获取超声波发射器发射端几何中心的坐标，并结合成像子系统发送的触控点坐标信息，计算获得每个超声波发射器发射端几何中心至各触控点的空间距离，进而将超声波发射器阵列中各超声波发射器之间的空间距离差值，代入声速值c，最终获得各超声波发射器的延时相位。需要说明的是，成像子系统获取的触控点坐标与超声波发射器发射端的几何中心的坐标为同一坐标系。进而，在完成触控点坐标数据处理与相位计算后，根据每个超声波发射器的位置和触控点坐标数据，对超声波发射器的原始驱动信号进行延时控制，使超声波在同时刻传播至触控点，实现多个超声波同时刻在触控点进行叠加而产生振动反馈。

在一些实施例中，根据触控反馈控制指令产生时钟信号和调制信号，并根据时钟信号和调制信号生成原始驱动信号，以根据对应的原始驱动信号实现对超声波发射器阵列中各个超声波发射器的控制。

具体地，在成像子系统检测到用户与空中交互界面的交互信号后，成像子系统将空中交互界面中的触控点坐标信息和触控反馈控制指令传送给触觉反馈子系统。触觉反馈子系统根据触控点空间坐标以及超声波发射器阵列上各超声波发射器的位置，计算出每个超声波发射器的延时相位。触觉反馈子系统接收触控反馈控制指令并完成信号调制过程与时钟分配，即产生时钟信号和调制信号，以生成若干超声波发射器的原始驱动信号；以及触觉反馈子系统再根据每个超声波发射器的延时相位，对每个超声波发射器的原始驱动信号进行延时控制，以使得各个超声波发射器在对应的相位下发射超声波，并在同一时刻到达触控点处进行叠加汇聚，以产生触控反馈，使得人体可以真实感受到触控点的存在。

在一些实施例中，根据每个超声波发射器的延时相位对原始驱动信号进行调整，例如，根据每个超声波发射器的延时相位对原始驱动信号进行延时处理，获得每个超声波发射器的目标驱动信号；根据目标驱动信号驱动每个超声波发射器。从而，通过对一定数量的超声波发射器相位的控制，实现所有超声波发射器同时刻到达触控点处进行叠加，以使叠加后的超声波声压可以被人体真实感知，实现超声波触觉反馈。

具体地，触觉反馈子系统根据每个超声波发射器的延时相位，对每个超声波发射器的原始驱动信号进行延时处理，并对延时控制后的信号再进行放大处理，以获得每个超声波发射器所需的目标驱动信号，并将各个超声波发射器的目标驱动信号同步传输至超声波发射器阵列，以驱动各个超声波发射器在对应的目标驱动信号下依次发射超声波，实现每个超声波发射器发射的超声波在同一时刻到达触控点，以在触控点产生触觉反馈。

此外，在空气介质中传播的超声波，其速度也因环境温度的影响而改变，在标准大气压下，温度为0℃时，声速为c₀＝331.45m/s，超声波实际传输速度为

其中，T为环境温度。因此，在一些实施例中，本发明需对环境温度进行实时采集，具体包括，获取环境温度，并根据环境温度对每个超声波发射器的延时相位进行校正，以减小延时控制误差，提高超声波发射器阵列的聚焦精度，避免因温度陡变而引起的系统功能异常。

本发明实施例中对于较复杂的二维交互界面或三维立体交互对象，分别采用单块阵列分区域控制或多块阵列同步控制的方案，具体如下。

在一些实施例中，由于超声波发射器阵列所提供的触控区域面积的限制，复杂交互界面触控区域较大，单一阵列控制时对系统刷新频率要求高，且大阵列所有超声波传感器都进行聚焦控制时，相位延时时间增大，无法保证聚焦精度，无法满足系统实时性要求，因此，本发明设置超声波发射器阵列包括n个分布在同一平面的超声波发射器子阵列，空中交互界面划分为n个触控子区，n个超声波发射器子阵列与n个触控子区一一对应配置。也就是，采用单块阵列分区域控制的方式，将超声波发射器阵列进行分区，以分成若干个超声波发射器子阵列，且每个超声波发射器子阵列分别映射到对应的触控子区，由所有的触控子区组成复杂的二维交互界面。

对于单块阵列分区域控制的方式，本发明实施例中根据触控反馈控制指令和触控点坐标信息控制超声波发射器阵列发射超声波并将超声波聚焦至空中交互界面的触控点，包括，根据触控点坐标信息确定触控点对应空中交互界面中的目标触控子区；根据目标触控子区确定目标超声波发射器子阵列，根据触控点坐标信息和目标超声波发射器子阵列中每个超声波发射器的发射端的位置信息确定超声波发射器子阵列中每个超声波发射器的延时相位；根据触控反馈控制指令产生时钟信号和调制信号，并根据时钟信号和调制信号生成原始驱动信号；根据目标超声波发射器子阵列中每个超声波发射器的延时相位对原始驱动信号进行延时处理以获得目标超声波发射器子阵列中每个超声波发射器的目标驱动信号；根据目标驱动信号驱动超声波发射器子阵列中每个超声波发射器。由此，基于超声波发射器阵列分为多个区域，通过控制目标触控子区中的每个超声波发射器的相位，从而可以减少聚焦点数目以及相位延时时间差，保证聚焦精度，满足系统的实时性要求。

举例说明，如图3所示，本发明实施例将空中交互界面分割成四个触控子区，并分别映射到对应的超声波发射器子阵列上，以减少聚焦点数目以及相位延时时间差，并采用局部聚焦的方式实现聚焦扫描。具体地，在数据处理模块获取触控区域所有触控点坐标后，按照就近原则将触控点分配给对应的超声波发射器子阵列，组成四个触控子区域与超声波发射器子阵列分组，各分组的聚焦控制过程与单阵列聚焦控制过程原理相同，即根据触控点坐标信息确定触控点对应空中交互界面中的触控子区，该区域作为目标触控子区，目标触控子区对应的超声波发射器子阵列即为目标超声波发射器子阵列。数据处理模块计算目标触控子区所对应的所有超声波发射器的延时相位数据，并将延时相位数据发送至驱动模块。驱动模块根据接收到的延时相位数据以及触控反馈控制指令，完成目标触控子区的信号调制、时钟分配、延时控制以及驱动放大，并将目标驱动信号同步输出至对应的超声波发射器子阵列，以控制超声波发射器子阵列上每个超声波发射器在规定时刻发射超声波，由此完成对应触控点的聚焦控制，保证聚焦精度。

在一些实施例中，对于三维立体交互场景，由于聚焦点分布在空间任意点，而并非在同一个平面上，因此，本发明设置超声波发射器阵列为n个，n个超声波发射器阵列分布在同一平面或者以预设角度错开设置，空中交互界面划分为n个触控子区，n个超声波发射器阵列与n个触控子区一一对应配置。也就是，采用多块超声波发射器阵列，并将触控区域分为若干个触控子区域，按照触控子区域所在的位置布置相应的超声波发射器阵列，即以多块阵列同步控制的方式，实现各超声波发射器在触控点叠加汇聚。其中，对于多块超声波发射器阵列的布置，根据实际需求可以分布在同一平面上，也可以按照一定角度错开布置，对此不作限制。

对于多块阵列同步控制的方式，本发明实施例中根据触控反馈控制指令和触控点坐标信息控制超声波发射器阵列发射超声波并将超声波聚焦至空中交互界面的触控点，包括，根据触控点坐标信息确定触控点对应空中交互界面中的目标触控子区；根据目标触控子区确定目标超声波发射器阵列；根据触控点坐标信息和目标超声波发射器阵列中每个超声波发射器的发射端的位置信息确定目标超声波发射器阵列中每个超声波发射器的延时相位；根据触控反馈控制指令产生时钟信号和调制信号，并根据时钟信号和调制信号生成原始驱动信号；根据目标超声波发射器阵列中每个超声波发射器的延时相位对原始驱动信号进行延时处理以获得目标超声波发射器阵列中每个超声波发射器的目标驱动信号；根据目标驱动信号驱动目标超声波发射器阵列中每个超声波发射器。基于多块超声波发射器阵列的设置，通过控制目标超声波发射器阵列中的每个超声波发射器的相位，可以保证聚焦精度，满足系统的实时性要求。

举例说明，如图4所示，可以设置八个超声波发射器阵列对应八个触觉反馈子系统，触控点按照就近原则分配给对应的触觉反馈子系统，组成八个触控子区与触觉反馈子系统分组，各分组的聚焦控制过程与单阵列聚焦控制过程原理相同。具体地，八个触觉反馈子系统对应的数据处理模块分别获取对应触控子区的触控点坐标，根据触控点坐标确定该触控点所对应的触控子区即为目标触控子区，目标触控子区对应的超声波发射器阵列即为目标超声波发射器阵列，目标超声波发射器阵列对应的数据处理模块计算目标超声波发射器阵列内所有超声波发射器的延时相位数据，并将数据发送给对应的驱动模块。驱动模块根据接收到的目标超声波发射器阵列的延时相位数据以及触控反馈控制指令，完成对目标超声波发射器阵列的信号调制、时钟分配、延时控制以及驱动放大，并将目标驱动信号传送给目标超声波发射器阵列，以控制目标超声波发射器阵列上每个超声波发射器在规定时刻发射超声波，完成对应触控点的聚焦控制。因此，通过采用多个超声波发射器阵列，以在不同角度对触控对象进行聚焦控制，可以保证聚焦精度和系统实时性。

需要注意的是，本发明考虑多个超声波发射器阵列控制的同步问题，在整个系统中设置一路同步控制信号，使得各触控子区与触觉反馈子系统分组在同步控制信号的控制下可以进行同步工作，从而保证各触控子区域触控点的同步扫描，为用户提供良好的触控感受，避免出现渲染失真如边界触控不连续的问题。

本发明第二方面实施例提供一种存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现上述实施例提供的触控反馈控制方法。

在一些实施例中，如图5所示，触觉反馈子系统200包括第一壳体210、超声波发射器阵列220和控制器250。

第一壳体210上设置有开窗且在内部形成有第一容纳腔2。第一壳体210可以为触觉反馈子系统200提供保护和支撑，以防止外力冲击、振动对系统造成损坏。

超声波发射器阵列220设置于第一容纳腔2中，以起到保护作用。在本发明实施例中，例如图6所示的结构示意图，超声波发射器阵列220包括多个超声波发射器30，多个超声波发射器30以N*N阵列或M*N阵列组合构成超声波发射器阵列220，且如图5所示，每个超声波发射器30的发射端均朝向开窗，并暴露于开窗处，使得超声波可以正常辐射，减少辐射能量的损失。

超声波发射器阵列220可以由若干个小功率、小型化的超声波发射器30组成，以便用于商用和集成。

需要说明的是，超声波发射器阵列220采用超声波发射器30的数量可以根据系统需求如触控区域大小、触控距离等以及根据超声波发射器30自身技术指标例如谐振频率、声压级、方向角等实际情况来决定，在此，对于采用超声波发生器30的数量不作限制。

控制器250设置于第一容纳腔2中，与超声波发射器阵列220连接，用于根据触控反馈控制指令和触控点坐标信息控制每个超声波发射器30发射超声波，并将超声波聚焦至触控点。具体地，将超声波发射器阵列220的聚焦点位置设定为空中交互界面所在区域。当用户与空中交互界面交互时，控制器250根据触控反馈控制指令控制超声波发射器阵列220发射超声波且根据触控点坐标信息控制每个超声波发射器30的超声波聚焦至触控点，在触控点处超声波声压叠加而产生触觉反馈力，使得人体真实感受到触控点的存在，实现对触摸对象的感知。

在一些实施例中，如图5所示，控制器250包括数据处理模块230以及驱动模块240。

数据处理模块230用于根据触控点坐标信息和每个超声波发射器30的发射端的位置信息确定每个超声波发射器30发射超声波的延时相位。具体地，由于超声波发射器阵列220上的每个超声波发射器30发射端到触控点的空间距离不同，为了使得每个超声波发射器30发射的超声波在同一时刻到达触控点，以在触控点产生触觉反馈，数据处理模块230在完成触控点坐标数据处理与相位计算后，根据每个超声波发射器30的位置和触控点坐标数据，对超声波发射器30的控制信号相位进行延时控制，使超声波在同时刻传播至触控点，实现多个超声波同时刻在触控点进行叠加而产生振动反馈。

驱动模块240与超声波发射器阵列220和数据处理模块230连接，用于响应于触控反馈控制指令生成原始驱动信号，并根据每个超声波发射器30的延时相位调整原始驱动信号以将多个超声波发射器30发射的超声波聚焦至触控点。具体地，由于超声波发射器阵列220上每个超声波发射器30发射端到触控点的空间距离不同，因此通过驱动模块240根据每个超声波发射器30的延时相位对原始驱动信号进行延时处理，即通过调节每个超声波发射器30发射超声波的发射时间，以控制多个超声波声压同时刻在触控点进行叠加，实现触觉反馈。

在一些实施例中，驱动模块240在响应于触控反馈控制指令时，根据触控反馈控制指令产生时钟信号和调制信号，并根据时钟信号和调制信号生成原始驱动信号。

在一些实施例中，驱动模块240根据每个超声波发射器30的延时相位对原始驱动信号进行延时处理，以获得每个超声波发射器30的目标驱动信号，并根据目标驱动信号驱动每个超声波发射器30发射超声波。

本发明实施例中，优选地，超声波发射器30采用类球面波形式向外发射超声波，球面波球心即为超声波发射器30发射端的几何中心。

此外，超声波在有限空间内的声压分布，一方面与距离呈负相关，即距离越远声压越弱，使得触控点距超声波发射器阵列220的阵列面的距离受限制；另一方面与超声波频率f有关，根据超声波相关理论，超声波在空气介质中的自由空间波数

即频率f越高，自由空间波数k越大，但超声波辐射功率E∝k²，超声波频率越高波长越短，使得超声波穿透性越弱，传播途中能量损失也越大。因此为保证有效触控距离，超声波频率取值不宜过大，优选地，超声波频率取值范围为小于60KHz。另外，超声波发射器30发射的超声波具有方向性，无法以理想球面波的形式进行辐射，受超声波发射器30方向角的限制，优选地超声波发射器30方向角范围为60°-80°。在布置超声波发射器阵列220中的超声波发射器30时，需要结合阵列大小、方向角、触控区域大小综合考虑，例如，超声波发射器30取80°方向角时，在距离阵列面300mm处，可呈现与阵列面面积相当的触控区域。

依据以上控制超声波发射器30发射超声波的原理，本发明实施例可以通过控制不同超声波发射器30的发射时间差使超声波在空中目标区域内任意点聚焦，对于多个触控点，按照一定的刷新频率更改各个超声波发射器30的发射时间差，即可实现多点触控交互需求。

此外，对于多个触控点，可通过触觉反馈子系统200高速刷新来实现多点触控反馈，并与成像子系统100呈现的空中交互界面相结合，以引导用户进行触控操作。对于现实对象较大或3D对象触控的应用场景，因其聚焦点数目增多，本发明实施例也可以采用多个触觉反馈子系统200同步工作，以组合和拼接的方式，实现用户与复杂操作界面的人机交互，尤其对于3D显示对象的轮廓感知，提高用户体验。

此外，本发明实施例中数据处理模块230、驱动模块240和超声波发射器阵列220之间均通过微小型板间连接器进行装配，且触觉反馈子系统200整体采用模块化、小型化设计，使得在系统组装后可以降低整体高度、缩小体积，减少占用空间，提高系统的美观性和集成性。

在一些实施例中，如图7所示，成像子系统100包括第二壳体110、成像组件120、检测模块130以及主控模块140。

其中，第二壳体110形成有显示窗口40且在内部形成有第二容纳腔50。

成像组件120设置于第二容纳腔50中，用于将人机交互信息在空中目标区域10成像显示以形成空中交互界面。具体地，成像组件120在空中的确定位置处形成浮空实像即空中交互界面，覆盖浮空实像所在的三维空间即为空中目标区域10，也就是，成像组件120无需借助实体介质即可在空中目标区域10呈现浮空实像，满足用户在视觉上的交互体验，以及成像组件120也无需设置额外的限制机构来引导用户进行操作，减少了用户与设备本体接触的风险。

检测模块130用于检测用户与空中交互界面的交互信号。具体地，如图8所示，检测模块130的感应区域与空中交互界面位于同一平面且包含空中交互界面所处三维空间。通过检测模块130实时检测空中目标区域10处用户对空中交互界面的交互操作，以在检测到用户与空中交互界面的交互信号时，将检测的交互信号反馈至主控模块140，主控模块140响应于交互信号发送触控反馈控制指令和触控点坐标信息至触觉反馈子系统200，以触发触觉反馈子系统200反馈用户对触摸对象的感知。因此，用户通过与空中交互界面直接交互，来触发触觉反馈子系统200进行触觉反馈的操作方式，更加自然舒适。

在实施例中，检测模块130可以为光学传感器，其感应形式可以包括但不限于远近红外、超声波、激光干涉、光栅、编码器、光纤式或CCD(Charge-coupled Device，电荷耦合器件)等。

在实际应用时，检测模块130可以根据安装空间、观看角度和使用环境选择最佳的感应形式，从而方便用户以最佳的姿态在空中目标区域10进行操作，提高用户体验。

主控模块140与成像组件120和检测模块130连接，用于响应于交互信号发送触控反馈控制指令和触控点坐标信息。其中，主控模块140与检测模块130之间可以采用有线或无线方式连接，以传输数字或模拟信号，从而可以灵活控制整体装置的体积，且可以增强触控反馈系统1000的电气稳定性。

在一些实施例中，如图7所示，成像组件120包括显示器25和光学组件26。

具体地，显示器25设置于第二容纳腔50中，与主控模块140连接，用于显示人机交互信息。光学组件26设置于第二容纳腔50中，用于将携带人机交互信息的光线折射至空中目标区域10，以形成空中交互界面。

其中，如图7所示，显示器25设置于光学组件26的光源侧，显示窗口40在光学组件26的成像侧。通过主控模块140控制显示器25显示人体交互信息，显示器25显示的人体交互信息的光线通过光学组件26成像显示在空中目标区域10，形成空中交互界面，以用于引导用户触控。

本发明实施例中，超声波发射器阵列220可以采用穿透性较强的超声波发射器30，因此，对于超声波发射器阵列220的布置方式，可以根据实际应用场合以及系统的需求进行灵活布置，对此不作限制。以下具体说明本发明实施例优选的几种布置方案。

本发明第四方面实施例提供一种终端设备，如图9所示，终端设备2000包括设备本体300以及上述实施例提供的触控反馈系统1000，触控反馈系统1000设置在设备本体300上。在实施例中，终端设备可以包括电梯、取票机、取款机、业务查询机器等以及其它可适用的具备触控交互功能的设备。

根据本发明实施例的终端设备2000，通过采用上述实施例提供的触控反馈系统1000，可以实现用户非接触式触觉反馈的目的，且无需设置额外的限制用户操作装置，操作方式也更加自然方便，并在视觉和触觉上同时满足用户的交互体验。

在本说明书的描述中，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (10)

1.一种触控反馈控制方法，其特征在于，用于触觉反馈子系统，所述触觉反馈子系统包括超声波发射器阵列，所述方法包括：

接收到空中交互界面的触控点坐标信息和触控反馈控制指令；

根据所述触控反馈控制指令和所述触控点坐标信息控制所述超声波发射器阵列发射超声波，并将所述超声波聚焦至所述空中交互界面的触控点。

2.根据权利要求1所述的触控反馈控制方法，其特征在于，根据所述触控反馈控制指令和所述触控点坐标信息控制超声波发射器阵列发射超声波并将所述超声波聚焦至所述空中交互界面的触控点，包括：

根据所述触控点坐标信息和所述超声波发射器阵列中每个超声波发射器的发射端的位置信息确定每个所述超声波发射器的延时相位；

根据所述触控反馈控制指令生成原始驱动信号；

根据每个所述超声波发射器的延时相位对所述原始驱动信号进行调整，以将多个所述超声波发射器发射的超声波聚焦至所述触控点。

3.根据权利要求2所述的触控反馈控制方法，其特征在于，根据所述触控反馈控制指令生成原始驱动信号，包括：

根据所述触控反馈控制指令产生时钟信号和调制信号；

根据所述时钟信号和所述调制信号生成所述原始驱动信号。

4.根据权利要求3所述的触控反馈控制方法，其特征在于，根据每个所述超声波发射器的延时相位对所述原始驱动信号进行调整，包括：

根据每个所述超声波发射器的延时相位对所述原始驱动信号进行延时处理；

获得每个所述超声波发射器的目标驱动信号；

根据所述目标驱动信号驱动每个所述超声波发射器。

5.根据权利要求2所述的触控反馈控制方法，其特征在于，还包括：

获取环境温度；

根据所述环境温度对每个所述超声波发射器的延时相位进行校正。

6.根据权利要求1所述的触控反馈控制方法，其特征在于，所述超声波发射器阵列包括n个分布在同一平面的超声波发射器子阵列，所述空中交互界面划分为n个触控子区，n个所述超声波发射器子阵列与n个所述触控子区一一对应配置；

根据所述触控反馈控制指令和所述触控点坐标信息控制超声波发射器阵列发射超声波并将所述超声波聚焦至所述空中交互界面的触控点，包括：

根据所述触控点坐标信息确定触控点对应所述空中交互界面中的目标触控子区；

根据所述目标触控子区确定目标超声波发射器子阵列，根据所述触控点坐标信息和所述目标超声波发射器子阵列中每个超声波发射器的发射端的位置信息确定所述目标超声波发射器子阵列中每个所述超声波发射器的延时相位；

根据所述触控反馈控制指令产生时钟信号和调制信号，并根据所述时钟信号和所述调制信号生成原始驱动信号；

根据所述目标超声波发射器子阵列中每个所述超声波发射器的延时相位对所述原始驱动信号进行延时处理以获得所述目标超声波发射器子阵列的每个所述超声波发射器的目标驱动信号；

根据所述目标驱动信号驱动所述目标超声波发射器子阵列的每个所述超声波发射器。

7.根据权利要求1所述的触控反馈控制方法，其特征在于，所述超声波发射器阵列为n个，n个所述超声波发射器阵列分布在同一平面或者以预设角度错开设置，所述空中交互界面划分为n个触控子区，n个所述超声波发射器阵列与n个所述触控子区一一对应配置；

根据所述触控反馈控制指令和所述触控点坐标信息控制超声波发射器阵列发射超声波并将所述超声波聚焦至所述空中交互界面的触控点，包括：

根据所述触控点坐标信息确定触控点对应所述空中交互界面中的目标触控子区；

根据所述目标触控子区确定目标超声波发射器阵列，根据所述触控点坐标信息和所述目标超声波发射器阵列中每个超声波发射器的发射端的位置信息确定所述目标超声波发射器阵列中每个所述超声波发射器的延时相位；

根据所述触控反馈控制指令产生时钟信号和调制信号，并根据所述时钟信号和所述调制信号生成原始驱动信号；

根据所述目标超声波发射器阵列中每个所述超声波发射器的延时相位对所述原始驱动信号进行延时处理以获得所述目标超声波发射器阵列中每个所述超声波发射器的目标驱动信号；

根据所述目标驱动信号驱动所述目标超声波发射器阵列中每个所述超声波发射器。

8.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的触控反馈控制方法。

9.一种触控反馈系统，其特征在于，包括：

成像子系统，用于将人机交互信息在空中目标区域成像显示以形成空中交互界面，检测到用户与所述空中交互界面的交互信号，获取触控点坐标信息并发送触控反馈控制指令；

触觉反馈子系统，所述触觉反馈子系统包括超声波发射器阵列，所述触觉反馈子系统与所述成像子系统连接，用于执行权利要求1-7任一项所述的触控反馈控制方法。

10.一种终端设备，其特征在于，包括：

设备本体；

权利要求9所述的触控反馈系统，所述触控反馈系统设置在所述设备本体上。

Images