CN113906372A - 一种空中成像交互系统 - Google Patents

Abstract

本申请适用于空中交互技术领域，提供了一种空中成像交互系统，其中，所述空中成像交互系统包括：控制组件，用于在检测到第一预设信号时，向空气成像组件发送第一信号；空气成像组件，与控制组件连接，用于在接收到第一信号时，在空气中形成虚拟屏幕，并在虚拟屏幕上显示第一图像；至少一组红外触摸组件，与控制组件连接，用于在虚拟屏幕的表面形成红外探测网，并在检测到第二预设信号时，向控制组件发送触摸点的坐标；控制组件还用于在接收到坐标时，向触觉反馈组件发送坐标；触觉反馈组件，与控制组件连接，用于在接收到坐标时，基于坐标向触摸点发送触觉反馈信号。本申请提供的空中成像交互系统在发生用户触碰事件时可以实现触觉反馈效果。

Description

一种空中成像交互系统

技术领域

本申请属于空中交互技术领域，具体涉及一种空中成像交互系统。

背景技术

空中成像技术是一种无需使用介质作为屏幕，也无需专门的眼镜才能观看，即可将影像显示在空中，且用户伸手可穿透性的触摸到影像的技术。

现有的空中成像交互系统仅通过红外触摸传感器在空气成像区域内形成手势检测区域，并在手势检测区域检测到相应手势时，在空气成像区域内反馈与该手势相对应的显示内容。

发明内容

本申请实施例的目的之一在于：提供一种空中成像交互系统。

本申请实施例采用的技术方案是：

第一方面，提供了一种空中成像交互系统，包括：

控制组件，用于在检测到第一预设信号时，向空气成像组件发送第一信号；

所述空气成像组件，与所述控制组件连接，用于在接收到所述第一信号时，在空气中形成虚拟屏幕，并在所述虚拟屏幕上显示第一图像；

至少一组红外触摸组件，与所述控制组件连接，用于在所述虚拟屏幕的表面形成红外探测网，并在检测到第二预设信号时，向所述控制组件发送触摸点的坐标；

所述控制组件还用于在接收到所述坐标时，向触觉反馈组件发送所述坐标；

所述触觉反馈组件，与所述控制组件连接，用于在接收到所述坐标时，基于所述坐标向所述触摸点发送触觉反馈信号。

在一个实施例中，所述控制组件还用于在接收到所述坐标时，基于预先存储的预设坐标和预设图像之间的对应关系，向所述空气成像组件发送第三信号；

相应的，所述空气成像组件还用于在接收到所述第三信号后，将所述虚拟屏幕上显示的第一图像更换至与所述坐标相对应的目标图像。

在一个实施例中，所述空气成像组件包括：显示单元和空气成像板；

所述显示单元，用于向所述空气成像板发射预设光线，并显示需要投影的投影图像；

所述空气成像板，用于将所述显示单元发射的预设光线折射至空气中形成虚拟屏幕，并将所述投影图像产生的光线折射至所述虚拟屏幕，以在所述虚拟屏幕上显示与所述投影图像相对应的所述第一图像。

在一个实施例中，所述显示单元与所述触觉反馈组件平行，所述空气成像板设置于所述触觉反馈组件与所述显示单元之间，且分别与所述触觉反馈组件、所述显示单元形成预设角度；

相应的，所述触觉反馈组件还用于：在接收到所述坐标时，确定在所述显示单元中，以所述空气成像板所在平面为对称平面，与所述坐标相对称的对称坐标。

在一个实施例中，所述触觉反馈组件还用于：向所述对称坐标发送所述触觉反馈信号；

相应的，所述空气成像板还用于将所述触觉反馈信号反射至所述触摸点所在的坐标处。

在一个实施例中，所述红外触摸组件还用于：在检测到所述第二预设信号，且所述触摸点的面积大于第一预设面积阈值，且小于第二预设面积阈值时，向所述控制组件发送所述触摸点的坐标。

在一个实施例中，所述红外触摸组件具体包括：红外发射单元和红外接收单元；

所述红外发射单元，用于发射红外线；

所述红外接收单元，用于接收所述红外线。

在一个实施例中，所述触觉反馈组件为超声波触觉装置，相应的，所述触觉反馈信号为超声波信号。

在一个实施例中，所述空中成像交互系统还包括信息存储组件；所述信息存储组件分别与所述控制组件、所述空气成像组件连接；

所述信息存储组件，用于存储所述预设坐标和所述预设图像之间的对应关系。

在一个实施例中，所述控制组件还用于在接收到所述坐标时，向所述信息存储组件发送第四信号；

所述信息存储组件还用于在接收到所述第四信号时，向所述空气成像组件发送与所述坐标相对应的目标图像；

所述空气成像组件还用于在接收到所述目标图像时，将所述虚拟屏幕上显示的第一图像更换至所述目标图像。

实施本申请实施例提供的空中成像交互系统具有以下有益效果：

在通过控制组件和空气成像组件在空气中形成虚拟图像后，红外触摸组件可以在虚拟图像的表面形成红外探测网，并在检测到第一触摸信号时，向控制组件发送触摸点的坐标，控制组件再将该坐标发送至触觉反馈组件，触觉反馈组件可以基于该坐标向触摸点发送触觉反馈信号，此时，形成触摸点的触摸物可以感受到上述触觉反馈信号。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种空中成像交互系统的结构示意图；

图2为本申请实施例提供的一种空中成像交互系统的应用场景示意图；

图3为本申请另一实施例提供的一种空中成像交互系统的结构示意图；

图4为本申请实施例提供的负折射示意图；

图5为本申请实施例提供的触觉反馈组件的工作原理示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本申请。

需说明的是，当部件被称为“固定于”或“设置于”另一个部件，它可以直接在另一个部件上或者间接在该另一个部件上。当一个部件被称为是“连接于”另一个部件，它可以是直接或者间接连接至该另一个部件上。术语“上”、“下”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。术语“第一”、“第二”仅用于便于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明技术特征的数量。“多个”的含义是两个或两个以上，除非另有明确具体的限定。

图1为本申请实施例提供的一种空中成像交互系统的结构示意图，图2是本申请实施例提供的一种空中成像交互系统的应用场景示意图，该空中成像交互系统用于在检测到目标用户触摸空中成像区域时向目标用户反馈触觉效果。其中，空中成像区域指虚拟屏幕所在的区域。

如图1所示，该空中成像交互系统10包括：控制组件11、空气成像组件12、至少一组红外触摸组件13(图中仅示出一组)、触觉反馈组件14以及由空气成像组件12形成的虚拟屏幕15。空气成像组件12、红外触摸组件13以及触觉反馈组件14均与控制组件11连接。

需要说明的是，本申请实施例中，为了确保目标用户在触碰空气成像组件12形成的虚拟屏幕15的任意位置时，红外触摸组件13均能感应到，因此，红外触摸组件13设置于虚拟屏幕15所在区域的四周，且在虚拟屏幕15的表面形成红外探测网。

在实际应用中，当目标用户想要与空中成像交互系统10进行人机交互时，可以通过控制组件11触发第一预设信号。第一预设信号用于指示空中成像组件12在空气中形成虚拟屏幕15。

在本申请实施例的一种实现方式中，目标用户触发第一预设信号可以是：目标用户对控制组件11的预设控件进行点击，即控制组件11在检测到自身的预设控件被点击时，确定目标用户触发了第一预设信号。其中，预设控件可以根据实际需要确定，此处不作限制。

控制组件11用于在检测到第一预设信号时，向空气成像组件12发送第一信号。

在实际应用中，控制组件11可以是控制器。示例性的，控制组件11可以是中央处理器(central processing unit，CPU)，也可以是微控制单元(Microcontroller Unit，MCU)。

基于此，控制组件11发送的任何信号均可以是控制信号。

空气成像组件12用于在接收到第一信号时，在空气中形成虚拟屏幕15，并在虚拟屏幕15上显示第一图像。

在实际应用中，空气成像组件12包括显示器，基于此，第一图像为显示器上显示的图像。

红外触摸组件13用于在虚拟屏幕15的表面形成红外探测网，并在检测到第二预设信号时，向控制组件11发送触摸点的坐标。

本申请实施例中，红外触摸组件13检测到第二预设信号可以是：检测到红外探测网中的部分红外线被遮挡，即红外触摸组件13若检测到自身形成的红外探测网中部分红外线被遮挡，则确定检测到第二预设信号。

在实际应用中，当有物体触摸虚拟屏幕15时，虚拟屏幕15表面的红外探测网中的部分红外线会被触摸物遮挡，因此，红外触摸组件13可以根据虚拟屏幕15表面的红外线的遮挡情况来确认触摸点的坐标。

其中，触摸点指触摸物与虚拟屏幕15的接触点。

在本申请实施例中，触摸物可以是目标用户的手指。

由于红外触摸组件13还可以根据虚拟屏幕15表面的红外线的遮挡情况来计算触摸点的面积，因此，在本申请的一个实施例中，红外触摸组件13还可以在检测到第二预设信号，且触摸点的面积大于第一预设面积阈值，且小于第二预设面积阈值时，向控制组件11发送该触摸点的坐标。

示例性的，第一预设面积阈值和第二预设面积阈值可以分别是人们手指与虚拟屏幕15形成的触摸点的最小值和最大值。

基于此，红外触摸组件13还可以在确定触摸物为人的手指时，才向控制组件11发送触摸点的坐标，避免非生命体在触碰虚拟屏幕15时，红外触摸组件13仍然将非生命体与虚拟屏幕15形成的触摸点的坐标发送至控制组件11，提高了红外触摸组件13的感应精准度。

在实际应用中，红外触摸组件13可以是红外线传感器。

控制组件11还用于在接收到上述坐标时，向触觉反馈组件14发送该坐标。

在本申请的另一个实施例中，控制组件11还用于在接收到上述坐标时，基于预先存储的预设坐标与预设图像之间的对应关系，向空气成像组件13发送第三信号。

基于此，空气成像组件13在接收到第三信号时，将虚拟屏幕15上显示的第一图像更换至目标图像。其中，目标图像指与上述坐标相对应的预设图像。

触觉反馈组件14用于在接收到上述坐标时，基于该坐标向触摸点发送触觉反馈信号。

在本申请的一个实施例中，触觉反馈组件14可以是超声波触觉装置，基于此，触觉反馈信号可以是超声波信号。

在本申请的另一个实施例中，空中成像交互系统10还包括：信息存储组件(图中未示出)。该信息存储组件分别与控制组件11、空气成像组件12连接。

信息存储组件用于存储预设坐标和预设图像之间的对应关系。

基于此，在本申请的一个实施例中，控制组件11还用于在接收到触摸点的坐标时，向信息存储组件发送第四信号；

信息存储组件还用于在接收到所述第四信号时，向空气成像组件12发送与上述坐标相对应的目标图像；

空气成像组件12还用于在接收到上述目标图像时，将虚拟屏幕15上显示的第一图像更换至上述目标图像。

以上可以看出，本申请实施例提供的空中成像交互系统，在通过控制组件和空气成像组件在空气中形成虚拟屏幕，且在该虚拟屏幕显示第一图像后，红外触摸组件可以在虚拟屏幕的表面形成红外探测网，并在检测到第二预设信号时，向控制组件发送触摸点的坐标，控制组件再将该坐标发送至触觉反馈组件，触觉反馈组件可以基于该坐标向触摸点发送触觉反馈信号，此时，形成触摸点的触摸物可以感受到上述触觉反馈信号，因此，本申请实施例提供的空中成像交互系统对发生用户触碰事件时可以实现触觉反馈效果。

请参阅图3，图3为本申请另一实施例提供的一种空中成像交互系统的结构示意图。如图3所示，相对于图1对应的实施例，本实施例中的空中成像组件12包括：显示单元121和空气成像板122。显示单元121与控制组件11连接。

需要说明的是，显示单元121与空气成像板122之间的夹角为预设角度。其中，预设角度可以根据实际需要设置，此处不作限制，示例性的，预设角度可以是45度。

具体地，显示单元121用于向空气成像板122发射预设光线，并显示需要投影的投影图像；

在实际应用中，显示单元121可以是显示器。示例性的，显示器可以是液晶显示器、LED显示器、OLED显示器或投影器等。

空气成像板122用于将显示单元121发射的预设光线折射至空气中形成虚拟屏幕15，并将投影图像产生的光线折射至虚拟屏幕15，以在虚拟屏幕15上显示与投影图像相对应的第一图像。

本实施例中，预设光线可以是：显示单元121在工作时产生的，且以平行光的方式入射到空气成像板122上的光线。

需要说明的是，平行光指又称为方向光(Directional Light)，是一组没有衰减的平行的光线。

在实际应用中，空气成像板122可以是负折射平板透镜。

负折射(Negative refraction)指当光波从具有正折射率的材料入射到具有负折射率材料的界面时，光波的折射与常规折射相反，入射波和折射波处于界面法线方向同一侧。

示例性的，如图4所示，光线L1指从显示单元121发射的入射光线，光线L2为光线1以空气成像板122为界面的反射光线，光线L3为以空气成像板122为界面的正折射光线，光线L4为以空气成像板122为界面的负折射光线，夹角a为入射(反射)夹角，夹角b为折射(正折射和负折射)夹角，直线L5为以空气成像板122为界面的法线。

在本申请的一个实施例中，触觉反馈组件14可以平行设置在显示单元121的上方，且与空气成像板122之间的夹角为预设角度。

结合图2，由于触觉反馈组件14发送的触觉反馈信号可以通过空气成像板122反射至虚拟屏幕的任意一处，因此，为了确保触觉反馈组件14发送的触觉反馈信号可以准确到达触摸点所在的坐标处，触觉反馈组件14可以确定与上述坐标相对称的对称坐标。

具体的，触觉反馈组件14在接收到坐标时，确定在显示单元121中，以空气成像板122所在平面为对称平面，与上述坐标相对称的对称坐标。

基于此，触觉反馈组件14还用于向上述对称坐标发送触觉反馈信号。

空气成像板122还用于将上述触觉反馈信号反射至触摸点所在的坐标处。

因此，上述坐标的触摸点可以对触摸物产生触觉反馈效果。

请继续参阅图3，在本申请的一个实施例中，一组红外触摸组件13具体可以包括：红外发射单元131和红外接收单元132。其中，红外发射单元131和红外接收单元均设置在虚拟屏幕的四周，且红外发射单元131与红外接收单元132所在方向相互垂直。

具体地，红外发射单元131用于发射红外线。

红外接收单元132用于接收上述红外线。

在实际应用中，红外发射单元131可以是红外线发射器，红外接收单元132可以是红外线接收器。

以上可以看出，本申请实施例提供的空中成像交互系统，由于显示单元与触觉反馈组件平行，且空气成像板设置在显示单元、触觉反馈组件之间，且空气成像板与显示单元、触觉反馈组件之间的角度均为预设角度，使得触觉反馈组件发出的触觉反馈信号可以通过空气成像板准确到达目标用户与虚拟图像之间的接触点，使得目标用户可以通过触摸点准确感受到触觉反馈信号，提高了在发生用户触碰事件时，对触觉反馈效果的模拟的真实度。

以下结合图2和图3对本申请实施例提供的空中成像交互系统10的具体工作原理进行详细说明：

如图2和图3所示，空中成像交互系统10的实现触觉反馈效果的过程如下：

控制组件11在检测到第一预设信号时，向空气成像组件12发送第一信号，空气成像组件12中的显示单元121在接收到第一信号时，显示单元121开始工作，此时，显示单元121发出的预设光线以平行光的方式入射到空气成像组件12中的空气成像板122上，空气成像板122将显示单元121发出的预设光线折射至空气中并形成虚拟屏幕15，显示单元121在开始工作后，立即显示需要进行投影的投影图像，而空气成像板122也继续将投影图像产生的光线折射至虚拟屏幕15，从而在虚拟屏幕15上显示出与上述投影图像相对应的第一图像。

之后，在虚拟屏幕15的表面覆盖了红外探测网的红外触摸组件13可以实时检测是否发生用户触碰事件，红外触摸组件13在检测到第二预设信号时，说明发生用户触碰事件，此时，红外触摸组件13向控制组件11发生触摸点的坐标，控制组件11在接收到上述坐标后，将该坐标发送至触觉反馈组件14，触觉反馈组件14在接收到该坐标时，可以在与触觉反馈组件14相对平行的显示单元121所在的平面上，确定一个以空气成像板122所在平面为对称平面，与该坐标相对称的对称坐标。示例性的，结合图5，假设目标用户的手指与虚拟屏幕15之间的触摸点为点p，则与该点p在显示单元121所在的平面上，以空气成像板122为对称平面的对称点为点p'，基于此，触觉反馈组件14可以向点p'发送触觉反馈信号的发送范围为阴影区域141，直线L6即为触觉反馈组件14发送触觉反馈信号的一条发送路径，直线L7为与其相对应的反射路径；直线L8为触觉反馈组件14发送触觉反馈信号的另一条发送路径，直线L9为与其相对应的反射路径。

之后触觉反馈组件14向上述对称坐标发送触觉反馈信号，触觉反馈信号在到达空气成像板122后，会被空气成像板122反射至触摸点所在的坐标处，从而，目标用户的手指可以通过该触觉反馈信号实际感受到触觉反馈效果。

示例性的，以空中作画为例，目标用户可以在虚拟屏幕15上呈现的虚拟画布上通过手指滑动的轨迹来绘制图形。目标用户可以通过空中成像交互系统10反馈的触觉反馈效果确定图形是否绘制成功。需要说明的是，此时，手指滑动的触觉反馈效果是通过以摩擦力的形式提供的触觉反馈信号来实现的。

示例性的，以银行取款机为例，目标用户可以通过虚拟屏幕15上呈现的虚拟键盘进行密码的输入，同时通过触觉反馈组件14发送的触觉反馈信号确定密码的成功输入，不仅有效避免了目标用户通过实体键盘输入密码时感染病毒，还避免留下指纹，造成指纹被盗用的可能。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参照其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种空中成像交互系统，其特征在于，包括：

控制组件，用于在检测到第一预设信号时，向空气成像组件发送第一信号；

所述空气成像组件，与所述控制组件连接，用于在接收到所述第一信号时，在空气中形成虚拟屏幕，并在所述虚拟屏幕上显示第一图像；

至少一组红外触摸组件，与所述控制组件连接，用于在所述虚拟屏幕的表面形成红外探测网，并在检测到第二预设信号时，向所述控制组件发送触摸点的坐标；

所述控制组件还用于在接收到所述坐标时，向触觉反馈组件发送所述坐标；

所述触觉反馈组件，与所述控制组件连接，用于在接收到所述坐标时，基于所述坐标向所述触摸点发送触觉反馈信号。

2.根据权利要求1所述的空中成像交互系统，其特征在于，所述控制组件还用于在接收到所述坐标时，基于预先存储的预设坐标和预设图像之间的对应关系，向所述空气成像组件发送第三信号；

相应的，所述空气成像组件还用于在接收到所述第三信号后，将所述虚拟屏幕上显示的第一图像更换至与所述坐标相对应的目标图像。

3.根据权利要求1所述的空中成像交互系统，其特征在于，所述空气成像组件包括：显示单元和空气成像板；

所述显示单元，用于向所述空气成像板发射预设光线，并显示需要投影的投影图像；

所述空气成像板，用于将所述显示单元发射的预设光线折射至空气中形成虚拟屏幕，并将所述投影图像产生的光线折射至所述虚拟屏幕，以在所述虚拟屏幕上显示与所述投影图像相对应的所述第一图像。

4.根据权利要求3所述的空中成像交互系统，其特征在于，所述显示单元与所述触觉反馈组件平行，所述空气成像板设置于所述触觉反馈组件与所述显示单元之间，且分别与所述触觉反馈组件、所述显示单元形成预设角度；

相应的，所述触觉反馈组件还用于：在接收到所述坐标时，确定在所述显示单元中，以所述空气成像板所在平面为对称平面，与所述坐标相对称的对称坐标。

5.根据权利要求4所述的空中成像交互系统，其特征在于，所述触觉反馈组件还用于：向所述对称坐标发送所述触觉反馈信号；

相应的，所述空气成像板还用于将所述触觉反馈信号反射至所述触摸点所在的坐标处。

6.根据权利要求1所述的空中成像交互系统，其特征在于，所述红外触摸组件还用于：在检测到所述第二预设信号，且所述触摸点的面积大于第一预设面积阈值，且小于第二预设面积阈值时，向所述控制组件发送所述触摸点的坐标。

7.根据权利要求1所述的空中成像交互系统，其特征在于，所述红外触摸组件具体包括：红外发射单元和红外接收单元；

所述红外发射单元，用于发射红外线；

所述红外接收单元，用于接收所述红外线。

8.根据权利要求1所述的空中成像交互系统，其特征在于，所述触觉反馈组件为超声波触觉装置，相应的，所述触觉反馈信号为超声波信号。

9.根据权利要求1所述的空中成像交互系统，其特征在于，所述空中成像交互系统还包括信息存储组件；所述信息存储组件分别与所述控制组件、所述空气成像组件连接；

所述信息存储组件，用于存储所述预设坐标和所述预设图像之间的对应关系。

10.根据权利要求9所述的空中成像交互系统，其特征在于，所述控制组件还用于在接收到所述坐标时，向所述信息存储组件发送第四信号；

所述信息存储组件还用于在接收到所述第四信号时，向所述空气成像组件发送与所述坐标相对应的目标图像；

所述空气成像组件还用于在接收到所述目标图像时，将所述虚拟屏幕上显示的第一图像更换至所述目标图像。

Images