CN106598293B - 一种三维大空间多通道笔式交互系统 - Google Patents

Abstract

本发明涉及一种三维大空间多通道笔式交互系统，涉及三维大空间多通道笔式交互系统。主机和智能电子笔，采用超声波信号与加速度、陀螺仪信号的组合笔式识别方法，在因遮挡无法通过超声波信号实现电子笔的笔式识别，通过加速度、陀螺仪信号完成辅助定位，并实现笔姿态信息的提取。本发明提供的三维大空间多通道笔式交互系统及方法支持三维空间、二维平面的笔式交互、手势交互和语音交互操作，具备定位精度高，交互空间大，支持三维书空模式等优点。

Description

一种三维大空间多通道笔式交互系统

技术领域

本发明具体涉及一种基于超声波无线定位技术的多通道三维笔式交互系统，可实现智能笔的三维实时定位、姿态获取、笔尖压力等信号提取，可用于人机交互、教育信息化、三维图像及视频交互控制等领域。

背景技术

近年来，人机交互对信息技术的发展产生了巨大的影响，以人为中心的高效自然的人机交互已经成为人机交互领域的研究热点。

人类使用纸笔已经有数千年的历史，使用笔在纸上书写、绘画、各种演算。计算机的普及逐渐替代了纸笔的使用，与纸笔方式比较，计算机的数据处理技术具有占用空间小、处理时间短、有利于信息安全、能实现不失真的复制和便于检索和导航等等优点。近些年，笔式交互的出现既模拟了人们使用纸笔的习惯，同时又充分利用了电子计算的优势，是一种回归自然的灵活的交互方式。

笔式交互是一种重要的人机交互方式，通过类似于传统的纸笔隐喻(Metaphor)来提供给人们最大的习惯性。笔作为输入设备因其便于携带、学习周期短、支持直接操作并且易于书画等优势被越来越广泛地应用于电子白板、平板电脑和移动电话等电子设备上，如苹果公司的Apple pencil，微软公司的Surface触控笔以及三星note智能手机触控笔等。目前在笔式交互方面，当前主要基于电容触摸屏、电磁定位触控笔以及基于二维平面的超声定位笔等，并呈现丰富的压力感受，让操作者能够模拟纸笔书写过程。

随着智能人机交互技术的发展，人机对话中的信息呈现方式越来越趋向三维化，如何用笔同这些三维信息交互成为一个亟待解决的问题。国内外在二维平面上的笔式交互技术和应用研发方面有良好积累，但在三维多通道融合的笔式交互方面有待深入研究，对三维大空间多通道笔式交互的研究还处于起步阶段。本发明公开一种三维大空间笔式交互系统，提供一种支持非接触操控、姿态、压力、语音等交互通道的三维笔式交互系统。

三维大空间笔式交互系统的关键技术是高精度三维无线定位技术，主要包括三维电磁定位、三维超声定位和数字视觉定位技术。三维电磁定位技术的系统复杂，且定位范围较小，很难实现大范围多目标操控功能。数字视觉定位技术应用在三维定位中，很难象二维平面定位那样设计特殊边框，仅靠数字图像识别算法实现目标跟踪，算法复杂，受环境影响较大。超声波定位技术是上述三种定位技术中最适用于大空间三维定位的技术，虽然需要专用超声波发射器，但超声波定位范围大，精度高，本发明采用超声波无线定位技术实现智能笔的实时三维定位。

中国专利“一种多感知便捷式智能笔”(申请号201420470088.90)公开了一种多感知便捷式智能笔，包括笔壳、电容屏触摸笔头、NFC感应线圈、条码扫描引擎模组、加速度/陀螺仪/地磁九轴传感器、温度/湿度传感器、控制芯片、蓝牙/WIFI通信模块等，能够在触摸屏上通过电容触摸头实现笔迹书写，通过九轴传感器获得智能笔姿态，并通过蓝牙/WIFI通信模块将姿态、条码信息发送到互连设备，但该智能笔仅能在触摸屏上实现二维定位，定位范围小，不支持压感识别，且不能实现对智能笔的三维定位。

中国专利“大范围多目标超声跟踪定位系统和方法”(申请号201010546442.8)公开了一种大范围多目标超声跟踪定位系统及方法，采用不同频率和不同时隙实现多目标识别，采用空间分割法实现大范围定位和跟踪。该系统及方法主要提供一种室内三维定位跟踪与定位系统，采用超声波定位技术实现对目标的大范围三维定位，该目标可以是电子笔，但该系统不具有笔尖压力、姿态识别功能。

中国专利“一种三维交互电子白板系统及方法”(申请号201310404513.4)公开了一种采用超声波定位的三维交互电子白板及方法，该系统采用多个接收器，基于三维超声波无线定位技术，通过选取不在同一条直线上的4个接收器作为定位接收器，利用频分复用技术和陷波技术实现多目标实时的分离与识别，能够实现发射器(含笔式发射器)的大范围三维定位，但该系统未考虑笔尖压力、姿态识别等功能。

发明内容

本发明提供一种三维大空间多通道笔式交互系统，以解决传统笔式交互系统不能支持大空间三维定位、非接触操控的问题，基于超声波三维无线定位技术，公开一种支持非接触操控、姿态、压感的三维大空间笔式交互系统，具备三维无线定位、非接触操控、多通道交互等功能。

本发明采取的技术方案是，包括主机和智能电子笔两部分，其中：

(一)主机包括超声三维定位模块、深度摄像头、主机电路、光电定位摄像头、平板电视屏幕或白板；

(1)所述超声三维定位模块为三维大空间多通道笔式交互系统的核心，包括3 个不在一条直线上的超声传感器构成三维超声定位阵列和2个红外传感器，用于接收智能电子笔发射的红外同步信号；

(2)所述深度摄像头通过摄取的深度图像，由处理器完成操作者三维姿态和手势的提取；

(3)所述主机电路包括微处理器一、超声波三维定位模块、光电定位模块、深度摄像模块、音频驱动电路、扬声器、麦克风一、音频放大电路、蓝牙通信模块以及接口模块，其中：

微处理器一为DSP、ARM、FPGA，完成系统总体控制和交互通道信息的处理；

所述超声波三维定位模块电路包括3路超声信号处理电路和1路红外信号处理电路；

所述光电定位模块采用两个或多个光电定位摄像头，根据各摄像头摄取的有无触摸点的图像，获得触摸点的位置，根据触摸点的个数及变化实现触控操作或手势识别；

所述深度摄像模块根据深度摄像头摄取图像的深度信息，提取三维手势；

所述音频驱动电路和扬声器构成音频输出电路，完成语音交互的语音输出和扬声器的语音的输出；

所述麦克风一和音频放大电路构成主机的音频信号采集与处理电路，完成主机麦克风一的语音交互输入信号的采集；

所述蓝牙通信模块负责接收电子笔发送的音频信号、加速度角速度信号、笔尖压力信号以及主机对电子笔的配置信息；

所述接口模块包括USB、UART接口电路，用于实现与PC机以及其他主机的数据传输；

(4)主机采用两个或多个光电定位摄像头构成二维平面触控定位和手势识别输入通道，通过各摄像头摄取的有无触摸点的图像的差异，实现裸指及无源触摸物的二维平面定位和手势识别；

(二)智能电子笔包括微处理器二、超声波驱动电路、红外驱动电路、电源模块、三轴加速度陀螺仪、压力模块、按键电路、蓝牙通信芯片、语音信号采集电路、麦克风二；其中：

超声发射采用脉冲激励方式，微处理器二产生超声波脉冲信号，由超声波驱动电路放大后由PVDF超声波压电薄膜发射；

红外发射采用脉冲方式，发送两个红外脉冲，根据红外脉冲间隔对按键功能进行编码，由微处理器二产生红外发射脉冲，由红外驱动电路进行放大后由红外发射管发射出去；

电源模块包括电池和升压电路，电池采用AAA、AA或者纽扣电池，为了满足微处理器二及其他电路对电源电压的要求，需要通过升压电路产生5V或3.3V的电源电压；

六轴加速度陀螺仪传感器直接与微处理器二连接，由微处理器二读取加速度和角速度信号，用于电子笔姿态以及电子笔的辅助定位，六轴加速度陀螺仪传感器采用 MEMS六轴加速度陀螺仪传感器；

压力模块用于检测笔尖按键的压力，采用MEMS压力传感器；

按键电路包括两个按键，采用微动开关按键，模拟鼠标左右键以及其它按键操作；

蓝牙通信芯片采用集成处理器的蓝牙芯片；

麦克风二采用MEMS麦克风或小型驻极体电容麦克风，语音信号调理电路完成语音信号的放大和滤波，语音信号采集电路完成语音信号的A/D转换。

本发明所述超声波三维定位模块电路包括3路超声波信号接收与采集电路和2路红外信号接收与采集电路：超声波传感器一，超声波放大与采集电路一，超声波传感器二，超声波放大与采集电路二，超声波传感器三，超声波放大与采集电路三，红外传感器一，红外放大与采集电路一，红外传感器二，红外放大与采集电路二、温度采集电路、接口电路以及微处理器三，其中：

每路超声波信号接收与采集电路的构成相同，其中第一路超声波信号接收与采集电路包括超声波传感器一和超声波放大与采集电路一，超声波传感器一采用压电陶瓷超声波传感器，或采用麦克风，超声波放大与采集电路一完成超声波信号匹配、放大、滤波、A/D转换及增益调整；

每路红外放大与采集电路的构成和功能相同，其中第一路红外信号接收与采集电路包括红外传感器一和红外放大与采集电路一，红外传感器一接收红外信号，红外放大与采集电路一主要负责红外信号的放大、滤波、A/D转换以及增益调整；

接口电路包括USB、UART、电源接口，负责与上位机通信和三维定位模块提供电源；

温度采集电路主要完成环境温度的采集，用于调整超声波的传播速度，可采用半导体温度传感器；

微处理器三采用DSP，主要完成三维超声波定位和三维定位模块的总体控制。

本发明所述微处理器二采用低功耗、低引脚单片机。

本发明的优点在于：本发明公开的三维大空间多通道笔式交互系统集成笔式、语音、手势等交互通道，采用超声波信号与加速度、陀螺仪信号的组合笔式识别方法，在因遮挡无法通过超声波信号实现电子笔的笔式识别，通过加速度、陀螺仪信号完成辅助定位，并实现笔姿态信息的提取。本发明提供的三维大空间多通道笔式交互系统及方法支持三维空间、二维平面的笔式交互、手势交互和语音交互操作，具备定位精度高，交互空间大，支持三维书空模式等优点。

附图说明

图1是本发明主机组成框图；

图2是本发明智能电子笔结构示意图；

图3是本发明超声三维定位模块组成图；

图4是本发明主机电路原理框图；

图5是本发明智能电子笔电路原理框图；

图6是本发明超声三维定位模块电路原理框图；

图7是本发明超声三维定位原理示意图；

具体实施方式

下边结合附图进行说明如下：

包括主机和智能电子笔；

图1中，主机1包括超声三维定位模块101、深度摄像头102、主机电路、光电定位摄像头104、平板电视屏幕或白板105；

图2中，智能电子笔2主要包括麦克风201、蓝牙通信芯片202、MEMS六轴加速度陀螺仪传感器203、按键204、压力传感器205、PVDF超声薄膜206、笔尖207 以及红外发射管208；

通过图2中的按键204和笔尖207在三维空间内无需接触板面即可触发超声波和红外信号，以红外信号作为测距同步信号，通过三维超声定位技术对电子笔的三维实时定位和跟踪，实现三维空间的无线定位和书空操作；

图2中，笔尖207为可拆卸笔尖，可以是普通耐磨笔尖，也可以是电容性笔尖，可以在电容触摸屏上使用。

图3中，超声三维定位模块101为三维大空间多通道笔式交互系统的核心，包括 3个不在一条直线上的超声传感器10101构成三维超声定位阵列，2个红外传感器 10102用于接收智能电子笔发射的红外同步信号；

图4中，主机电路包括微处理器一401、超声波三维定位模块402、光电定位模块403、深度摄像模块404、音频驱动电路405、扬声器406、麦克风一407、音频放大电路408、蓝牙通信模块409以及接口模块410；其中：

微处理器一401可以为DSP、ARM、FPGA，主要完成系统总体控制和交互通道信息的处理；

超声波三维定位模块402电路主要包括3路超声信号处理电路和1路红外信号处理电路，具体如图6所示，并完成电子笔的三维高精度定位；

光电定位模块403采用图1中的两个或多个光电定位摄像头104，根据各摄像头摄取的有无触摸点的图像，获得触摸点的位置，根据触摸点的个数及变化实现触控操作或手势识别；

深度摄像模块404根据深度摄像头102摄取图像的深度信息，提取三维手势；

音频驱动电路405和扬声器406构成音频输出电路，完成语音交互的语音输出和智能电子笔麦克风的语音的输出；

麦克风一407和音频放大电路408构成主机的音频信号采集与处理电路，完成主机麦克风一的语音交互输入信号的采集；

蓝牙通信模块409负责接收电子笔发送的音频信号、加速度角速度信号、笔尖压力信号以及主机对电子笔的配置信息等；

接口模块410包括USB、UART接口电路，用于实现与PC机以及其他主机的数据传输；

图5为智能电子笔电路原理框图，包括超声波驱动电路、红外驱动电路、电源模块、六轴加速度陀螺仪、压力模块、按键电路、蓝牙通信芯片、语音信号采集电路；其中：

超声发射采用脉冲激励方式，微处理器二502产生超声波脉冲信号，由超声波驱动电路503放大后由PVDF206超声波压电薄膜发射；

红外发射采用脉冲方式，发送两个红外脉冲，根据红外脉冲间隔对按键功能进行编码，由微处理器二502产生红外发射脉冲，有红外驱动电路510进行放大后由红外发射管208发射出去，由于要保证足够的发射角度，一般需要多个红外发射管并行发射；

电源模块501包括电池和升压电路两部分，考虑到电子笔的体积小的要求，电子笔电池采用AAA、AA或者纽扣电池，为了满足微处理器二502及其他电路对电源电压的要求，需要通过升压电路产生5V或3.3V的电源电压；

六轴加速度陀螺仪506传感器直接与微处理器二502连接，由微处理器二502读取加速度和角速度信号，用于电子笔姿态以及电子笔的辅助定位，考虑的电子笔的体积，六轴加速度陀螺仪506采用MEMS六轴加速度陀螺仪传感器；

压力模块507用于检测笔尖按键的压力，考虑的电子笔的体积，采用MEMS压力传感器；

按键电路509包括两个按键，采用微动开关按键，可以模拟鼠标左右键以及其它按键操作；

蓝牙通信芯片508采用集成处理器的蓝牙芯片；

麦克风二201可采用MEMS麦克风或小型驻极体电容麦克风，语音信号调理电路504主要完成语音信号的放大和滤波，语音信号采集电路505主要完成语音信号的 A/D转换；

微处理器二502采用低功耗、低引脚单片机降低电子笔功耗和体积。

图6为超声波三维定位模块402电路原理框图，包括3路超声波信号接收与采集电路和2路红外信号接收与采集电路：超声波传感器一602，超声波放大与采集电路一603，超声波传感器二604，超声波放大与采集电路二605，超声波传感器三606，超声波放大与采集电路三607，红外传感器一608，红外放大与采集电路一609，红外传感器二612，红外放大与采集电路二613、温度采集电路611、接口电路610以及微处理器三601；其中：

以第一路超声波信号接收与采集电路为例，描述每路超声波信号接收与采集电路的构成和功能。第一路超声波信号接收与采集电路包括超声波传感器一602和超声波放大与采集电路一603，超声波传感器一602可以采用压电陶瓷超声波传感器，也可以采用麦克风，超声波放大与采集电路一603完成超声波信号匹配、放大、滤波、A/D 转换及增益调整等，其它超声波信号接收与采集电路以此类推；

以第一路红外信号接收与采集电路为例，描述每路红外放大与采集电路的构成和功能。第一路红外信号接收与采集电路包括红外传感器一608和红外放大与采集电路一609，为满足大空间范围内接收红外信号，一般采用多个红外传感器608并联，或者增加光学透镜，红外放大与采集电路一609主要负责红外信号的放大、滤波、A/D 转换以及增益调整等；

接口电路610包括USB、UART、电源等接口，负责与上位机通信和三维定位模块提供电源；

温度采集电路611主要完成环境温度的采集，用于调整超声波的传播速度，可采用半导体温度传感器；

微处理器三601采用DSP，主要完成三维超声波定位和三维定位模块的总体控制；

利用两个或多个图6所示的三维超声定位装置进行拼接，扩大对智能电子笔三维定位空间，扩大三维操控范围。

图7是超声波三维定位原理示意图，图7中，三个超声波传感器布置在X-O-Y平面内，三个传感器的坐标分别为O(0,0,0)、A(a,0,0)、B(a,0,0)；电子笔在空间的任意位置表示为P(x,y,z)，P(x,y,z)到三个超声波传感器的距离分别为l₁、l₂和l₃，图6中超声三维定位模块以红外信号为同步信号，根据电子笔在位置P(x,y,z)发射的超声波到达超声波三个超声波传感器的传播时间和声速，可以计算出电子笔距离三个超声波传感器的O(0,0,0)、A(a,0,0)、B(a,0,0)距离l₁、l₂和l₃；根据两点间距离公式，可得：

利用公式(1)、公式(2)、公式(3)，可计算出：

将由公式(4)和公式(5)计算出的x、y值带入公式(6)中计算出z，获得电子笔的坐标P(x,y,z)，从而对电子笔实现三维定位。

主机集成超声三维定位模块、麦克风、光电定位摄像头、扬声器、蓝牙模块、深度摄像头等传感器和部件。超声三维定位模块采用三个超声波传感器和两个红外传感器构成无线定位阵列，通过接收智能电子笔发射的超声波信号和红外信号，实现智能电子笔的三维无线定位。麦克风负责语音信息的采集，与对应的语音信号处理电路构成语音交互通道。主机采用两个或多个光电定位摄像头构成二维平面触控定位输入通道，实现裸指及无源触摸物的二维平面定位和手势识别。扬声器负责语音信号的输出，实现智能电子笔语音输入的播放。主机中的蓝牙模块负责接收智能电子笔发送的姿态、语音、压力等数据，并实现对智能电子笔的配置功能。深度摄像头负责提取操作者三维姿态和手势。

智能电子笔(以下简称电子笔)集成微处理器、PVDF压电薄膜、MEMS六轴加速度陀螺仪、MEMS麦克风、蓝牙通信芯片、压力传感器、按键等微型和小型多通道感知传感器及部件。PVDF压电薄膜为超声波发射器，发射定位所需的超声波信号。 MEMS六轴加速度/陀螺仪完成加速度和角速度信号的提取，由电子笔的微处理器完成电子笔姿态信息的提取以及电子笔三维辅助坐标。MEMS麦克风负责操控者语音信息的采集，并由相应的音频处理电路处理后通过蓝牙通信芯片发送给主机。蓝牙通信芯片主要负责传送电子笔发送给主机的语音信号、电子笔姿态信号、笔尖压力信号以及主机的发送的控制和配置信息。按键主要为智能电子笔提供点击、滑动、触发等快捷功能。压力传感器负责笔尖压力的提取，主要用于平面操控提供压力信息。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内所做的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种三维大空间多通道笔式交互系统，其特征在于：包括主机和智能电子笔两部分，其中：

(一)主机包括超声三维定位模块、深度摄像头、主机电路、光电定位摄像头、平板电视屏幕或白板；

(1)所述超声三维定位模块为三维大空间多通道笔式交互系统的核心，包括3个不在一条直线上的超声传感器构成三维超声定位阵列和2个红外传感器，用于接收智能电子笔发射的红外同步信号；

(2)所述深度摄像头通过摄取的深度图像，由处理器完成操作者三维姿态和手势的提取；

(3)所述主机电路包括微处理器一、超声波三维定位模块、光电定位模块、深度摄像模块、音频驱动电路、扬声器、麦克风一、音频放大电路、蓝牙通信模块以及接口模块，其中：

微处理器一为DSP、ARM、FPGA，完成系统总体控制和交互通道信息的处理；

所述超声波三维定位模块电路包括3路超声信号处理电路和1路红外信号处理电路；

所述光电定位模块采用两个或多个光电定位摄像头，根据各摄像头摄取的有无触摸点的图像，获得触摸点的位置，根据触摸点的个数及变化实现触控操作或手势识别；

所述深度摄像模块根据深度摄像头摄取图像的深度信息，提取三维手势；

所述音频驱动电路和扬声器构成音频输出电路，完成语音交互的语音输出和扬声器的语音的输出；

所述麦克风一和音频放大电路构成主机的音频信号采集与处理电路，完成主机麦克风一的语音交互输入信号的采集；

所述蓝牙通信模块负责接收电子笔发送的音频信号、加速度角速度信号、笔尖压力信号以及主机对电子笔的配置信息；

所述接口模块包括USB、UART接口电路，用于实现与PC机以及其他主机的数据传输；

(4)主机采用两个或多个光电定位摄像头构成二维平面触控定位和手势识别输入通道，通过各摄像头摄取的有无触摸点的图像的差异，实现裸指及无源触摸物的二维平面定位和手势识别；

(二)智能电子笔包括微处理器二、超声波驱动电路、红外驱动电路、电源模块、三轴加速度陀螺仪、压力模块、按键电路、蓝牙通信芯片、语音信号采集电路、麦克风二；其中：

超声发射采用脉冲激励方式，微处理器二产生超声波脉冲信号，由超声波驱动电路放大后由PVDF超声波压电薄膜发射；

红外发射采用脉冲方式，发送两个红外脉冲，根据红外脉冲间隔对按键功能进行编码，由微处理器二产生红外发射脉冲，由红外驱动电路进行放大后由红外发射管发射出去；

电源模块包括电池和升压电路，电池采用AAA、AA或者纽扣电池，为了满足微处理器二及其他电路对电源电压的要求，需要通过升压电路产生5V或3.3V的电源电压；

六轴加速度陀螺仪传感器直接与微处理器二连接，由微处理器二读取加速度和角速度信号，用于电子笔姿态以及电子笔的辅助定位，六轴加速度陀螺仪传感器采用MEMS六轴加速度陀螺仪传感器；

压力模块用于检测笔尖按键的压力，采用MEMS压力传感器；

按键电路包括两个按键，采用微动开关按键，模拟鼠标左右键以及其它按键操作；

蓝牙通信芯片采用集成处理器的蓝牙芯片；

麦克风二采用MEMS麦克风或小型驻极体电容麦克风，语音信号调理电路完成语音信号的放大和滤波，语音信号采集电路完成语音信号的A/D转换。

2.根据权利要求1所述的一种三维大空间多通道笔式交互系统，其特征在于：所述超声波三维定位模块电路包括3路超声波信号接收与采集电路和2路红外信号接收与采集电路：超声波传感器一，超声波放大与采集电路一，超声波传感器二，超声波放大与采集电路二，超声波传感器三，超声波放大与采集电路三，红外传感器一，红外放大与采集电路一，红外传感器二，红外放大与采集电路二、温度采集电路、接口电路以及微处理器三，其中：

每路超声波信号接收与采集电路的构成相同，其中第一路超声波信号接收与采集电路包括超声波传感器一和超声波放大与采集电路一，超声波传感器一采用压电陶瓷超声波传感器，或采用麦克风，超声波放大与采集电路一完成超声波信号匹配、放大、滤波、A/D转换及增益调整；

每路红外放大与采集电路的构成和功能相同，其中第一路红外信号接收与采集电路包括红外传感器一和红外放大与采集电路一，红外传感器一接收红外信号，红外放大与采集电路一主要负责红外信号的放大、滤波、A/D转换以及增益调整；

接口电路包括USB、UART、电源接口，负责与上位机通信和三维定位模块提供电源；

温度采集电路主要完成环境温度的采集，用于调整超声波的传播速度，采用半导体温度传感器；

微处理器三采用DSP，主要完成三维超声波定位和三维定位模块的总体控制。

3.根据权利要求1所述的一种三维大空间多通道笔式交互系统，其特征在于：所述微处理器二采用低功耗、低引脚单片机。