CN211827195U - 一种交互设备 - Google Patents

Abstract

本实用新型提供了一种交互设备，包含，外壳，外壳的内部容纳投影单元、信号发射单元、红外摄像头、广角摄像头、深度高清摄像头等结构。所述外壳包括上部连通的前壳体和后壳体；所述前壳体的前壁面高处开设有T形窗口，低处开设有若干通孔。所述红外摄像头、广角摄像头和RGB摄像头的镜头对应于所述T形窗口的上部；所述投影单元的光线经由所述T形窗口的下部穿出所述前壳体；所述信号发射单元被配置为产生红外光栅，所述红外光栅经由所述前壳体的前壁面上的若干通孔穿出所述前壳体；计算板，所述计算板与所述红外摄像头、广角摄像头、深度摄像头、投影单元连接。通过本设备能够准确识别用户的操作，提高交互设备的用户信息获取能力。

Description

一种交互设备

技术领域

本实用新型涉及人机交互技术领域，特别是一种交互设备。

背景技术

人机交互是一门研究系统与用户之间的交互关系的学问。系统可以是各种各样的机器，也可以是计算机化的系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交互界面与系统交流，并进行操作，但是，现有人机交互技术中主要存在以下技术缺陷。

现有技术中，交互投影仪使用的触控方案基本上均是红外平扫方案，即在桌面定高位置放置红外发射器，有物体(如手指)遮挡后识别为点击事件。这种方案的缺点在于：必须在交互平面上放置发射器，投影仪形态受限；不能处理水平方向上的遮挡，不能处理有高度的物体；任何物体都有可能误触；精度有待提高；投影仪的界面无法自动校正。

现有技术中都是基于单模态获取用户的动作，无法同时基于两种或以上的信号进行用户动作的捕捉，而单一信号获取用户动作的姿态精度低，因此，如何提高用户动作的识别精度是人机交互的一个重点及难点。

现有技术不能根据定界物体的大小自适应调整投影仪与投影界面的距离，导致投影模糊，影响了用户体验。

实用新型内容

本实用新型针对上述现有技术中的一个或多个缺陷，提出了如下技术方案。

交互设备，其特征在于，包含，

外壳，所述外壳包括前壳体和后壳体，所述前壳体和后壳体的上部连通；所述前壳体的前壁面高处开设有T形窗口，低处开设有若干通孔；

红外摄像头、广角摄像头和深度摄像头，所述红外摄像头、广角摄像头和深度摄像头设于所述前壳体内，所述红外摄像头、广角摄像头和深度摄像头的镜头对应于所述T形窗口的上部；

投影单元，所述投影单元设于所述前壳体内，所述投影单元的光线经由所述T形窗口的下部穿出所述前壳体，所述投影单元的光线在一物理界面形成用户操作界面；

信号发射单元，所述信号发射单元安装在所述前壳体内，所述信号发射单元被配置为产生红外光栅，所述红外光栅经由所述前壳体的前壁面上的若干通孔穿出所述前壳体；

计算板，所述计算板设于所述外壳内，所述红外摄像头、广角摄像头、深度摄像头、投影单元均与所述计算板连接。

更进一步地，所述信号发射单元包含多个红外激光器，各所述红外激光器发射一束一字型光栅，多束所述一字型光栅形成的所述红外光栅与所述用户操作界面平行。

更进一步地，所述广角摄像头将拍摄的每一帧场景图像发送至所述计算板，所述计算板输出启动信号至所述深度摄像头，所述深度摄像头输出深度图像至所述计算板；所述计算板输出距离数据至所述投影单元；

其中，所述计算板根据所述场景图像确定所述用户操作界面的边界范围并计算所述边界范围的中心点的位置，所述计算板通过所述深度图像计算所述场景图像的中心点的距离数据，所述投影单元根据所述距离数据调整投影焦距。

更进一步地，所述信号发射单元安装在升降驱动装置的输出端，所述升降驱动装置与所述计算板连接；

其中，所述计算板输出所述深度数据至所述升降驱动装置，所述升降驱动装置按照所述深度数据改变所述信号发射单元的高度，使得所述红外光栅与所述用户操作界面相临近。

更进一步地，所述红外光栅与所述用户操作界面之间的距离为1-2mm。

更进一步地，所述红外摄像头通过红外光栅获取用户在用户操作界面上的第一操作数据并发送至所述计算板；所述深度摄像头获取用户在用户界面上的第二操作数据并发送至所述计算板；所述计算板将所述第一操作数据和第二操作数据进行卡尔曼滤波法处理得到用户操作数据，并将所述用户操作数据发送至所述投影单元。

更进一步地，所述红外摄像头通过红外光栅获取用户在用户界面上的第一操作数据并发送至所述计算板包括：当用户通过手在用户操作界面上进行操作时，信号发射单元发射的红外光被手指遮挡后反射的红外光形成光斑，红外摄像头持续拍摄光栅状态，通过滤波处理得到形成光斑的信息后，将每一帧信息传输至所述计算板进行存储分析，当所述计算板在判断当前帧的光斑信息中用户手部的动作为按压事件后，从所述计算板中获取已存储的当前帧的前N帧的光斑信息，计算板通过该当前帧的光斑信息和前N帧的光斑信息确定所述第一操作数据。

更进一步地，所述深度摄像头获取用户在用户界面上的第二操作数据发送并至所述计算板包括：所述深度摄像头利用双目摄像头对所述用户操作界面的场景进行拍摄并将拍摄的深度图像发送至计算板并存储，所述计算板通过双目摄像头拍摄的深度图像计算出所述用户操作界面的场景中用户的手部位置和动作，当所述计算板在判断当前帧的深度图像中所述用户手部的动作为按压事件后，从所述计算板中获取已存储的当前帧的前N帧的深度图像，计算板通过该当前帧的深度图像和前N帧的深度图像确定所述第二操作数据。

更进一步地，还包含扬声器和麦克风，在所述后壳体上设置开口，所述开口面向所述前壳体，所述扬声器位于所述开口处，所述麦克风设于所述前壳体的前壁面。

更进一步地，所述投影单元包含投影仪光机，所述投影仪光机的镜头与所述T形窗口的下部对应；

所述投影单元还包含DMD控制板，所述DMD控制板与所述投影仪光机连接并驱动所述投影仪光机。

本实用新型的技术效果为：

本实用新型提供的交互设备包含了深度摄像头、红外摄像头以及信号发射单元，通过深度摄像头获取深度图像计算出所述用户操作界面的场景中用户的手部位置和动作；通过红外摄像头获取信号发射单元发射的红外光被用户的手指遮挡后反射的红外光形成光斑的光栅状态；将两个维度的数据进行卡尔曼滤波法处理得到用户操作数据。基于两种信号进行用户动作的捕捉，减少其他物体误触造成的误判，提高了判断的准确性。

本实用新型提供的交互设备设置有广角摄像头，用于捕捉较大场景的图片，在该较大的场景中确定一个用户操作界面，也用于拍摄设备的使用者，在视频通信中使用。

本实用新型将信号发生器产生设置在交互设备的低处，其产生的红外光栅的方向与水平方向存在夹角，因此用户水平方向的动作能够通过设置在高处的红外摄像头采集的光栅状态获取，提高了交互设备的用户信息获取能力。

本实用新型中交互设备的外壳的内部容纳投影单元、信号发射单元、红外摄像头、广角摄像头、深度高清摄像头等结构；所述外壳包括前壳体和后壳体，所述前壳体和后壳体的上部连通，外壳呈跨式结构，用户在使用所述交互设备时将其放置于桌面等承载结构上，整体结构支撑稳固且不笨重。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。

图1是根据本实用新型的实施例之一的一种交互设备的结构示意图。

图中:前壳体101、后壳体102、T形窗口103、通孔104、广角摄像头2、深度摄像头3、红外摄像头4、投影单元5、DMD控制板501、计算板6、红外激光器7、电源8、扬声器9、升降驱动装置10。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该实用新型的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关实用新型相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了本实用新型的一种交互设备，所述设备包括：外壳、广角摄像头2、深度摄像头3、红外摄像头4、投影单元5、计算板6、红外激光器7、电源8、扬声器9、麦克风、升降驱动装置10。

所述外壳包括前壳体101和后壳体102，前壳体101和后壳体102的上部连通；前壳体101的前壁面高处开设有T形窗口103，低处开设有若干通孔104。

前壳体101内安装红外摄像头4、广角摄像头2和深度摄像头3，红外摄像头4、广角摄像头2和深度摄像头3的镜头对应于T形窗口103的上部。

前壳体101内安装投影单元5，投影单元5包含投影仪光机，投影仪光机的镜头与T形窗口103的下部对应，投影单元5的光线经由T形窗口103的下部穿出前壳体101。投影单元5发出的光线在一物理界面上形成用户操作界面，物理界面可以是所述交互设备放置的桌面后或桌面上放置的书本。所述投影单元还包含DMD控制板501，DMD控制板501与所述投影仪光机连接并驱动所述投影仪光机。

本实施例中所述交互设备放置在桌面上，投影单元5在所述桌面上形成用户操作界面。

所述信号发射单元包含多个红外激光器7，红外激光器7安装在前壳体101。红外激光器7发射一束一字型光栅，一字型光栅经由前壳体101的前壁面上的通孔104穿出前壳体101，形成一与所述用户操作界面平行的红外光栅。

在一优选的实施例中，所述通孔104为长边水平的长条形通孔，方便所述多个红外激光器7发射的多束一字型光栅形成连续的红外光栅，连续的红外光栅有利于捕捉用户手部的精确细节动作。

红外激光器7安装在升降驱动装置10的输出端，升降驱动装置10与计算板6连接。

计算板6设于所述外壳内，红外摄像头4、广角摄像头2、深度摄像头3、投影单元5均与计算板6连接，互相之间发送数据。

本实施例中，广角摄像头2实时拍摄场景图像，并将拍摄的每一帧场景图像发送至计算板6，计算板6接收到所述每一帧场景图像后基于获取的每一帧场景图像确定所述用户操作界面的边界范围并计算所述边界范围的中心点的位置。深度摄像头3采集所述场景图像的深度图像，计算板6通过所述深度图像计算所述场景图像的中心点的距离数据，投影单元5根据所述距离数据调整投影仪光机的投影焦距，使得投影出来的界面更加清晰，这是本发明的一个重要发明点。

计算板6输出所述深度数据至升降驱动装置10，升降驱动装置10按照所述深度数据改变红外激光器7的高度，使得红外激光器7生成的所述红外光栅与所述用户操作界面相临近，相邻近一般是指距离为1-2mm。通过广角摄像头和深度摄像头确定用户操作界面与二者之间的距离，从而调整信号发射单元的高度，使其与所述用户操作界面保持临近。当用户在较厚的书本上进行操作时，用户操作界面在该较厚书本上形成，只有调高所述信号发射单元，用户手部动作才能因此光斑的变化，进而被红外摄像头捕捉到光栅状态，形成交互，这是本发明的另一个重要发明点。

本实施例中，还包含扬声器9和麦克风，在所述后壳体上设置开口，所述开口面向所述前壳体，所述扬声器位于所述开口处，所述麦克风设置在前壳体101的前壁面上。所述麦克风用于接受用户的声音指令，所述扬声器用于传播交互设备的声音。增加扬声器与麦克风之间的距离，有利于消除回声。所述麦克风采取阵列的形式设置，即设置多个用于语音收集的麦克风，按照环形对称分布或者十字排列等。本实施例中，在所述外壳内上部安装电源8，为广角摄像头2、深度摄像头3、红外摄像头4、投影单元5、DMD控制板501、计算板6、红外激光器7、扬声器9、升降驱动装置10提供电力的支持。

在本实施例中，所述红外摄像头通过红外光栅获取用户在用户操作界面上的第一操作数据并发送至所述计算板；所述深度摄像头获取用户在用户界面上的第二操作数据发送并至所述计算板；所述计算板将所述第一操作数据和第二操作数据进行卡尔曼滤波法处理得到用户操作数据，并将所述用户操作数据发送至所述投影单元。

在本实施例中，所述红外摄像头通过红外光栅获取用户在用户界面上的第一操作数据并发送至所述计算板包括：当用户通过手在用户操作界面上进行操作时，信号发射单元发射的红外光被手指遮挡后反射的红外光形成光斑，红外摄像头持续拍摄光栅状态，通过滤波处理得到形成光斑的信息后，将每一帧信息传输至计算板进行存储分析，当所述计算板在判断当前帧的光斑信息中用户手部的动作为按压事件后，从所述计算板中获取已存储的当前帧的前N帧的光斑信息，计算板通过该当前帧的光斑信息和前N帧的光斑信息确定所述第一操作数据。

优选地，信号发射单元发射的红外光被手指遮挡后反射的红外光形成光斑具体为：使用者利用手指(或其他遮挡物)对需要进行交互的位置进行按压，当距离小于1mm便可遮挡住红外光束。红外光束被遮挡，遮挡部分便会作为反射面将发射的红外光进行反射，形成所谓的光斑，并且能够被红外摄像头捕获光斑的位置。红外摄像头持续拍摄光栅状态，通过滤波处理得到形成光斑的信息具体为：红外摄像头持续不停的拍摄当前平面的红外光分布情况并进行记录；红外摄像头获取分布情况后对拍摄图像利用多种滤波算法进行处理，处理后得到红外线被遮挡部分的位置和形状；红外摄像头对得到的光斑信息进行规范化调整，利用相连的数据导线传输至计算板并进行存储。

在本实施例中，所述深度摄像头获取用户在用户界面上的第二操作数据并发送至所述计算板包括：深度摄像头利用双目摄像头对用户操作界面的场景进行拍摄并将拍摄的图像发送至计算板并存储，所述计算板通过双目摄像头拍摄的图像计算出所述用户操作界面的场景中各部分的深度信息，使用计算板获取图像中用户的手部位置，计算板基于所述深度信息和所述手部位置确定用户手部的动作，当所述计算板在判断当前帧的深度图像中所述用户手部的动作为按压事件后，从所述计算板中获取已存储的当前帧的前N帧的深度图像，计算板通过该当前帧的深度图像和前N帧的深度图像确定所述第二操作数据。

本实用新型中，所述计算板将所述第一操作数据和第二操作数据进行卡尔曼滤波法处理得到用户操作数据。卡尔曼滤波法用于融合低层次实时动态多传感器冗余数据，利用测量模型的统计特性递推，决定统计意义下的最优融合和数据估计。将第一操作数据和第二操作数据进行融合的操作过程如下：

利用设备上的传感器(即红外摄像头和深度摄像头)获取到红外与深度两种观测目标的数据(即第一操作数据和第二操作数据)；

使用计算板对这两种输出数据(即第一操作数据和第二操作数据)(离散或连续的时间函数数据、输出矢量、成像数据或一个直接的属性说明)进行特征提取的变换，提取代表两种数据的特征矢量Yi；

对特征矢量Yi进行模式识别处理，完成各传感器关于目标的说明；将各传感器关于目标的说明数据按同一目标进行分组，即关联(即第一操作数据和第二操作数据的关联)；利用随机类算法——卡尔曼滤波法将目标的各传感器数据进行合成，得到该目标的一致性解释与描述，从而实现了通过深度摄像头联合红外的光斑信息进行手势动作的确定，进一步提高了手势动作的识别精度，这是本发明的重要发明点之另一。

在一个实施例中，所述计算板通过该当前帧的光斑信息和前N帧的光斑信息确定所述第一操作数据的操作为：计算板通过该当前帧的光斑信息和前N帧的光斑信息确定用户的手指动作以获得用户的手部轨迹信息；获取当前投影单元的用户操作界面上的投影内容，基于所述轨迹信息对按压位置所涉及的功能进行判断以确定所述第一操作数据，所述按压位置为利用均值计算出光斑中心点位置。

在一个实施例中，所述计算板通过该当前帧的深度图像和前N帧的深度图像确定所述第二操作数据的操作为：计算板通过该当前帧的深度图像和前N帧的光斑图像中用户的具体手部动作以获得用户的手部轨迹信息；获取当前投影单元的用户操作界面上的投影内容，基于所述轨迹信息对按压位置所涉及的功能进行判断以确定所述第二操作数据，所述按压位置为指尖位置。

具体地，计算板如何通过该当前帧的光斑信息和前N帧的光斑信息确定所述第一操作数据，这里以红外的光斑信息、摄像头帧率为50帧对具体流程进行描述：

当计算板对当前的反射光位置判断为用户的按压行为时，便需要对一个持续时间进行判断，这里假设持续100ms(即5帧)算是一个真正的按压事件，并进一步去调用相应的处理方法；

当仅检测到某一帧用户为按压行为时，计算板会开始查询操作，首先会获取前一帧用户的行为类型，如果为同一位置的按压行为，则计算板继续获取前一帧的用户行为类型。当遇到非法行为(非同一位置的按压行为或者非按压行为)，会进行特殊处理：跳过这一帧再向前读一帧。

此时有两种情况：1.再向前的一帧仍为非法行为则本次查询终止，直到当前帧不能算作真正的按压事件，多帧判断结束，此时计算板开始等待下一帧的用户行为并判断。2.再向前的一帧是同一位置的按压行为，那么之前遇到的非法行为被标记为错误数据，并当作一个同一位置的按压行为来进行处理。在经过查询和特殊处理之后，如果计算板判断此时已经有连续五帧同一位置的按压行为，则会将其视为真正的按压事件，多帧判断结束。深度图像中多帧判断的方式与前面描述的红外图像的多帧判断方式相同，不在赘述。

优选地，使用计算板获取图像中用户的手部位置具体为：深度摄像头利用双目摄像头对场景进行拍摄，利用光反射获取一级距离，两个摄像头信息进一步汇总处理的计算方式计算出场景中各部分的详细深度信息，即获取到当前场景的图像以及完整的RGB-D信息，并利用白平衡、直方图均衡的方法对信息进行预处理以及略微的矫正；在得到整体的深度信息后，计算板对采集的场景图片利用部署好的mobilenet-ssd检测网络进行处理，得到用户手部的粗略位置；将手部位置与深度信息结合，进一步利用hourglass结构的卷曲神经网络进行骨关节点位置的预测，进而便可得到用户当前的手部姿势，进而得到手部的动作并储存。

在确定得到手部的动作时首先利用hourglass得到的标注J_k生成手部关节点k的热力图(热力图是一个概率图，和图像的像素组成一致，不过每一个像素位置上的数据是当前像素是某个关节的概率，基于概率分析出进一步的关节信息)：

然后根据预测得到的热力图H_k，进一步得到手关节点k在图像中的位置P(基于预测的位置进行进一步的矫正，已得到更准确的位置信息)

然后关于对姿势进行分类，并对每一类给出每个关节点的位置区域，只要各个关节点在相应区域就判定为当前动作，这些对手部动作的过程及相应的公式也称为先进的深度判断模型。

计算板在判断当前帧的图像中所述用户手部的动作为用户操作为按压事件的操作为：在得到手部动作分析后，如果判断出手部与投影平面距离相差小于1mm，则判定用户动作为按压平面；在判断出为按压事件后，为了分析用户的具体动作，从存储中获取前几帧的用户动作信息，将这些信息同样也作为下一步分析的源数据。

本实用新型中，在动作分析过程中不仅针对当前帧进行，而是结合此前的多帧状态进行联合分析，通过这种“动态效果”的分析，能够保证对用户动作的判断更加准确，从而实现更加精确的控制；本发明采用获取的深度图像基于先进的深度判断模型获取丰富的手势动作，而基于用户的手势便可实现更多更丰富的交互方法，便有后续功能的扩展，这是本发明的重要发明点之另一。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。

最后所应说明的是：以上实施例仅以说明而非限制本实用新型的技术方案，尽管参照上述实施例对本实用新型进行了详细说明，本领域的普通技术人员应当理解：依然可以对本实用新型进行修改或者等同替换，而不脱离本实用新型的精神和范围的任何修改或局部替换，其均应涵盖在本实用新型的权利要求范围当中。

Claims (6)

1.交互设备，其特征在于，包含，

外壳，所述外壳包括前壳体和后壳体，所述前壳体和后壳体的上部连通；所述前壳体的前壁面高处开设有T形窗口，低处开设有若干通孔；

红外摄像头、广角摄像头和深度摄像头，所述红外摄像头、广角摄像头和深度摄像头设于所述前壳体内，所述红外摄像头、广角摄像头和深度摄像头的镜头对应于所述T形窗口的上部；

投影单元，所述投影单元设于所述前壳体内，所述投影单元的光线经由所述T形窗口的下部穿出所述前壳体，所述投影单元的光线在一物理界面形成用户操作界面；

信号发射单元，所述信号发射单元安装在所述前壳体内，所述信号发射单元被配置为产生红外光栅，所述红外光栅经由所述前壳体的前壁面上的若干通孔穿出所述前壳体；

计算板，所述计算板设于所述外壳内，所述红外摄像头、广角摄像头、深度摄像头、投影单元均与所述计算板连接。

2.根据权利要求1所述的交互设备，其特征在于，所述信号发射单元包含多个红外激光器，各所述红外激光器发射一束一字型光栅，多束所述一字型光栅形成的所述红外光栅与所述用户操作界面平行。

3.根据权利要求2所述的交互设备，其特征在于，所述信号发射单元安装在升降驱动装置的输出端，所述升降驱动装置与所述计算板连接。

4.根据权利要求3所述的交互设备，其特征在于，所述红外光栅与所述用户操作界面之间的距离为1-2mm。

5.根据权利要求1所述的交互设备，其特征在于，还包含扬声器和麦克风，在所述后壳体上设置开口，所述开口面向所述前壳体，所述扬声器位于所述开口处，所述麦克风设于所述前壳体的前壁面。

6.根据权利要求1所述的交互设备，其特征在于，所述投影单元包含，

投影仪光机，所述投影仪光机的镜头与所述T形窗口的下部对应；

所述投影单元还包含DMD控制板，所述DMD控制板与所述投影仪光机连接并驱动所述投影仪光机。

Images