CN116860154A - 一种投影仪智能人机交互系统 - Google Patents

一种投影仪智能人机交互系统 Download PDF

Info

Publication number
CN116860154A
CN116860154A CN202310811305.XA CN202310811305A CN116860154A CN 116860154 A CN116860154 A CN 116860154A CN 202310811305 A CN202310811305 A CN 202310811305A CN 116860154 A CN116860154 A CN 116860154A
Authority
CN
China
Prior art keywords
handwriting
handwriting pen
pen
data
sending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310811305.XA
Other languages
English (en)
Inventor
林连冬
佀同彪
李卓
蓝润泽
朱贺
陈滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Heilongjiang University
Original Assignee
Heilongjiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heilongjiang University filed Critical Heilongjiang University
Priority to CN202310811305.XA priority Critical patent/CN116860154A/zh
Publication of CN116860154A publication Critical patent/CN116860154A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种投影仪智能人机交互系统，涉及人机交互技术领域。本发明是为了解决现有投影仪交互系统人机互动效率低，互动内容不完整的问题。本发明包括：云平台、手写笔、投影控制模块、投影仪；所述云平台用于存储演示内容；所述手写笔用于输出用户在演示内容上的标注，并将用户标注内容发送给投影控制模块；所述投影控制模块用于在云平台获取演示内容，并将演示内容发送给投影仪；然后将用户标注内容展示到演示内容上，最后将带有用户标注的演示内容上传到云平台上；所述投影仪用于显示演示内容。本发明用于实现智能人机交互。

Description

一种投影仪智能人机交互系统
技术领域
本发明涉及人机交互技术领域，特别涉及一种投影仪智能人机交互系统。
背景技术
投影机是一种能够通过光机将光线照射到图像显示元件上来产生影像，然后通过镜头进行投影显示的设备。但是，在某些特殊场合，如：教学、展览、发布会和各种小型会议等，用户会有需要直接在投影画面上互动操作的需求。
传统的投影仪交互系统通过电子白板进行添加笔记，然而这种方法只能对书写完成的笔记进行识别，导致人机互动效率低。此外，传统的投影仪交互系统无法识别投影画面中演示的物体和颜色，导致与用户交互的投影内容并不完整。
发明内容
本发明目的是为了解决现有投影仪交互系统人机互动效率低，互动内容不完整的问题，而提出了一种投影仪智能人机交互系统。
一种投影仪智能人机交互系统，包括：云平台、手写笔、投影控制模块、投影仪；
所述云平台用于存储演示内容；
所述手写笔用于输入用户在演示内容上的标注，并将用户标注内容发送给投影控制模块；
所述投影控制模块用于在云平台获取演示内容，并将演示内容发送给投影仪；然后将用户标注内容展示到演示内容上，最后将带有用户标注的演示内容上传到云平台上；
所述投影仪用于显示演示内容。
进一步地，所述手写笔包括：惯性传感单元、触控单元、压力传感器、微型振动马达、微处理单元、颜色变换单元、第二通信单元；
所述惯性传感单元包括：陀螺仪、加速度传感器、磁力计；
所述惯性传感单元用于获取手写笔陀螺仪数据、手写笔加速度传感器数据、手写笔磁力计数据，并将陀螺仪数据、加速度传感器数据、磁力计数据发送给微处理单元；
所述触控单元用于获取手写笔功能指令，并将手写笔功能指令发送给第二通信单元；
所述压力传感器用于获取手写笔所受压力，并将手写笔所受压力发送给微处理单元；
所述微处理单元用于根据陀螺仪数据、加速度传感器数据、磁力计数据获取手写笔姿态数据，并对手写笔姿态数据进行预处理，将预处理后的手写笔姿态数据发送给第二通信单元；
所述微处理单元用于利用压力传感器获得的手写笔压力判断手写笔的状态，并将手写笔状态发送给颜色变换单元；
所述微处理单元用于接收第二通信单元发送的振动指令，并将振动指令发送给微型振动马达；
所述微型振动马达用于根据微处理单元发出的振动指令进行振动；
所述颜色变换单元用于根据第二通信单元发送的振动指令变换手写笔轨迹颜色；
所述颜色变换单元用于根据微处理单元发送的手写笔状态变换显示灯颜色；
所述第二通信单元用于与投影控制模块进行通信，接收投影控制模块发送的指令，并将指令发送给其他单元，同时将手写笔的指令发送给投影控制模块。
进一步地，所述对手写笔姿态数据进行预处理采用卡尔曼滤波算法。
进一步地，所述手写笔还包括第二供电单元；
所述第二供电单元用于给手写笔提供电力。
进一步地，所述投影控制模块包括：图像传感器、深度相机、嵌入式ARM处理器、第一通信单元；
所述第一通信单元用于与第二通信单元、云平台进行通信；
所述图像传感器用于获取手写笔位置图像，并将手写笔位置图像发送给嵌入式ARM处理器；
所述深度相机用于获取用户对投影屏幕的触控操作手势、教具的位置和形状、演示内容中的颜色和形状、当前场景图像，并将用户对投影屏幕的触控操作手势、教具的位置和形状、演示内容中的颜色和形状、当前场景图像发送给嵌入式ARM处理器；
所述嵌入式ARM处理器用于根据触控操作手势完成对演示内容的操作；
所述嵌入式ARM处理器用于根据教具的位置和形状、演示内容中的颜色和形状、当前场景图像，将教具展示到演示内容中；
所述嵌入式ARM处理器用于根据手写笔轨迹位置图像和预处理后的手写笔姿态信息预测手写轨迹信息，并将预测的手写轨迹信息上传到演示内容中；
所述嵌入式ARM处理器用于获取第一通信单元的触控指令，并完成触控指令，并将振动指令发送给手写笔中的第二通信单元。
进一步地，所述投影控制模块还包括第一供电单元；
所述第一供电单元用于给投影控制模块提供电力。
进一步地，所述触控操作手势包括：投影页面的触控手势、投影页面的切换手势、拖动投影页面的图形元素手势、投影页面图形元素的放大与缩小手势。
进一步地，所述根据手写笔陀螺仪、手写笔加速度传感器、手写笔磁力计数据获取手写笔姿态数据，具体为：
首先，采用移动加权平均算法对手写笔加速度计数据，手写笔陀螺仪数据，手写笔磁力计数据进行平滑滤波；
然后，采用四元数法对平滑滤波后的手写笔加速度计数据，手写笔陀螺仪数据，手写笔磁力计数据进行处理获得手写笔姿态数据。
进一步地，根据手写笔位置图像和预处理后的手写笔姿态信息预测手写轨迹信息，具体为：
步骤一、将手写笔位置图像输入到训练好的ResNet模型中，获得手写笔位置信息：
步骤二、利用手写笔位置信息和预处理后的手写笔姿态信息数据采用基于图像数据的扩展卡尔曼融合滤波算法，获得预测的手写笔轨迹信息。
进一步地，所述采用基于图像数据的扩展卡尔曼融合滤波算法，获得预测的手写笔轨迹信息，具体为：
首先，获取卡尔曼滤波器状态更新方程：
Qk＝ΔQk-1*Qk(7)
其中，k是时刻，是k时刻手写笔状态向量的最佳估计值，/>是k-1时刻手写笔状态向量的最佳估计值，Ak是卡尔曼增益系数，H是测量矩阵，Rk是测量噪声的协方差矩阵，为/>的协方差矩阵，/>是/>的协方差矩阵，mk＝(xRGB,yRGB,ψRGB)表示是手写笔位置信息，xRGB表示手写笔x轴坐标，yRGB表示手写笔y轴坐标，ψRGB表示偏航角，I是单位矩阵，/>是手写笔速度的估计值，/>为k时刻世界坐标系下手写笔三维加速度，/>是手写笔角度的估计值，Sstop表示修正时间间隔，Ts表示采样间隔，G(0,0,g)T表示地球引力，wk为系统噪声，/>为手写笔在三维空间加速度数据，Euler2Q表示欧拉角转换成四元数的函数，Q′k是Qk的导数，Qk＝(qw,q1,q2,q3)是手写笔输出的四元数，ΔQk-1是中间变量，qw是四元数的实部，q1、q2、q3是四元数的虚部；
然后，根据公式(1)到(8)获得k时刻预测的手写笔轨迹
其中，Pk＝(xk,yk,zk)T表示手写笔在世界坐标系下的位置坐标，是手写笔在世界坐标系下的速度信息，Ok＝(φkθkψk)T是手写笔在世界坐标系下的欧拉角，φk是滚转角，θk是俯仰角，ψk是偏航角，/> 是k-1时刻世界坐标系下手写笔加速度。
本发明的有益效果为：
本发明提出了基于图像数据改进的扩展卡尔曼滤波算法，融合了手写笔轨迹数据和手写笔姿态数据，对手写笔轨迹进行跟踪和预测，可以在手写笔被遮挡的情况下准确进行数字轨迹跟踪，本发明提出的手写笔轨迹预测方法精度高、运算需求小，能够在手写笔被遮挡的情况下准确进行跟踪，能够完整的展示互动内容，提高了人机互动效率。本发明通过传感器和深度相机识别投影中物体的颜色和形状，能够准确将教具的形状和颜色绘制到演示内容中，使互动内容更完整。
附图说明
图1为本发明系统整体框图；
图2为本发明系统结构框图；
图3为手写笔的示意性结构框图。
具体实施方式
具体实施方式一：如图1-2所示，本实施方式一种投影仪智能人机交互系统包括：云平台、手写笔、投影控制模块、投影仪；
所述云平台用于存储演示内容；
所述手写笔用于输入用户在演示内容上的标注，并通过蓝牙或者WIFI将用户对演示内容的标注发送给投影控制模块；
所述投影控制模块用于在云平台获取演示内容，并将演示内容通过视频信号线发送给投影仪；然后获取用户对演示内容的标注，将用户对演示内容的标注展示到演示内容上，然后将标注后的演示内容，通过路由器上传回云平台进行存储；
所述投影仪用于显示演示内容。
具体实施方式二：如图3所示，所述手写笔包括：惯性传感单元、触控单元、压力传感器、微型振动马达、微处理单元、颜色变换单元、第二通信单元、第二供电单元；
所述惯性传感单元包括：陀螺仪、加速度传感器、磁力计；所述惯性传感单元为多个，分布在手写笔的笔头、笔尖或笔杆等位置；
所述惯性传感单元用于获取陀螺仪、加速度传感器、磁力计数据，并将陀螺仪、加速度传感器、磁力计数据通过UART通信协议或者IIC通信协议发送给微处理单元；
所述触控单元用于获取手写笔功能指令，并将功能指令发送给第二通信单元；所述触控单元为电容触控键，所述电容触控键包括多个，分别设置在手写笔的不同位置上，如：手握处、顶部、笔杆中部等，用于实现不同的功能；
所述压力传感器用于获取手写笔所受压力，并将手写笔所受压力发送给微处理单元；
所述微处理单元：根据陀螺仪、加速度传感器、磁力计数据获取手写笔姿态数据，对手写笔姿态数据进行预处理，并将预处理后的手写笔姿态发送给第二通信单元；
所述对手写笔姿态数据进行预处理采用卡尔曼滤波算法实现；
利用压力传感器获得的压力判断手写笔的状态，并将手写笔状态发送给颜色变换单元(若压力传感器获得的压力大于等于压力阈值，则手写笔处于书写状态；若压力传感器获得的压力小于压力阈值，则手写笔处于悬空状态)；用于接收第二通信单元发送的振动指令，并将振动指令发送给微型振动马达；所述微型振动马达用于根据微处理单元发出的振动指令进行振动；
所述颜色变换单元为三色灯；所述颜色变换单元用于根据第二通信单元的指令变换手写笔轨迹颜色，根据微处理器的手写笔状态信号变换手写笔状态显示灯颜色；三色灯通过所述微处理器的I/O口进行控制。
所述第二通信单元用于与投影控制模块通信，投影控制模块和第二通信单元可以通过蓝牙建立链路连接；
所述第二供电单元用于给手写笔供电，采用电池供电。
具体实施方式三：所述投影控制模块包括：图像传感器、深度相机、嵌入式ARM处理器、第一通信单元、第一供电单元；
所述第一通信单元用于与手写笔的第二通信单元、云平台进行链路通信，用于获取手写笔的指令并将手写笔的指令、预处理后的手写笔姿态信息，并将手写笔的指令并将手写笔的指令、预处理后的手写笔姿态信息发送给嵌入式ARM处理器，以及接收标注后的演示内容，将标注后的演示内容上传到云平台；通信方式包括但不限于蓝牙通信电路、红外通信电路、WIFI通信电路；第一通信单元可以通过网络通信协议与云平台建立通信链路。
所述图像传感器用于捕捉、识别手写笔位置图像，并将手写笔位置图像通过通用串行总线(USB)传输给嵌入式ARM处理器；
所述深度相机用于获取用户对投影屏幕的触控操作手势、教具的位置和形状、演示内容中物体颜色和形状、当前场景图像，并将触控操作手势、教具的位置和形状、当前场景图像、演示内容中物体颜色和形状通过通用串行总线(USB)传输给嵌入式ARM处理器；
所述触控操作手势包括：投影页面的触控、投影页面的切换、拖动投影页面的图形元素、投影页面图形元素的放大与缩小；其中也包括手势放大、缩小、移动演示内容中的教具图形；
所述嵌入式ARM处理器：
根据深度相机获取的触控操作手势完成对演示内容的操作；根据教具的位置和形状、演示内容中物体颜色和形状、当前场景图像将教具绘制到演示内容中；
根据手写笔位置图像和预处理后的手写笔姿态信息预测手写轨迹信息，并将预测的手写轨迹信息上传到演示内容中；
接收第一通信单元的触控指令，并完成触控指令，并将振动指令发送给手写笔第二通信单元。所述嵌入式ARM处理器可以是树莓派、Jetson nano等嵌入式ARM处理器。
所述第一供电模块用给投影控制模块供电，可以为电池，第一供电模块可以通过USB充电接口进行供电；
本具体实施方式中，嵌入式ARM处理器模块具有物体检测与识别能力，可以完成对用户书写轨迹的检测与识别，以及对教具形状和颜色的识别，同时支持用户与投影画面识别到的图案进行交互。嵌入式ARM处理器完成感器采集的手写笔轨迹数据和智能交互手写笔运动姿态数据的数据融合获得准确的手写轨迹，使用图像融合技术把手写轨迹准确的标注在当前投影展示的页面上，同时所述嵌入式ARM处理器通过神经网络算法预测手写轨迹，所述嵌入式ARM处理器通过蓝牙通信协议获取手写笔的ID，通过网络通信协议访问云平台进行演示内容下载，控制投影仪展示下载内容。第一通信单元也可以与其它电子设备建立通信连接。比如，所述第一通信单元与智能手机、电脑等设备建立通信链路，将手写笔或嵌入式ARM处理器所采集或处理后的数据发送至其它电子设备，或者通过该链路，手写笔或者嵌入式ARM处理器接收其它电子设备所发送的数据。
具体实施方式四：所述根据陀螺仪、加速度传感器、磁力计数据获取手写笔姿态数据，具体为：
首先，采用移动加权平均算法对加速度计数据，陀螺仪数据，磁力计数据进行平滑滤波；
然后，采用四元数法对平滑滤波后的加速度计数据，陀螺仪数据，磁力计数据进行坐标变换得到手写笔相对于大地坐标系姿态坐标信息。
具体实施方式五：所述根据手写笔位置图像和预处理后的手写笔姿态信息数据预测手写笔轨迹信息，具体为：
步骤一、将手写笔位置图像输入到训练好的ResNet模型中，获得手写笔位置信息：
所述手写笔位置图像中的手写笔特征，通过以下方式获得：
通过深度相机采集的当前场景的图像时，可以根据预先所设定的手写笔特征，识别所述当前场景的图像中的手写笔的初始位置。比如，可以根据当前场景的图像中手写笔的笔头特征位置，相对于图像中的其它参照信息的位置，确定手写笔的初始位置。其它参照信息可以为书写平面的边、顶点、书写平面中包括的文字或图案等信息。或者，在一种实现方式中，可以结合当前场景手写笔笔头颜色特征的图像，以及当前场景的深度信息；
然后，根据图像传感器采集的图像视频结合场景的深度信息，确定手写笔的初始位置；
首先，初始投影画面中四个角是红色圆点；然后，通过深度学习模型识别到投影四个角的位置数据；变换颜色和形状再次进行位置校验；生成图像尺寸坐标信息，识别到的白板笔和手势采用与投影边界的相对坐标进行定位。最后，根据手写笔的笔头特征确定手写笔的初始位置；
所述手写笔的笔头特征包括：形状特征、颜色特征；
利用手写笔的笔头特征确定手写笔初始位置，包括颜色特征、形状特征中的一项或者多项。包括单独颜色特征，单独形状特征或者颜色特征和形状特征的结合。
通过设置手写笔的笔头为特定颜色，可以通过深度相机进行颜色检测快速得到手写笔在当前场景的图像中的位置。所述笔头的颜色需要与书写平面的颜色不同。在一种实现方式中，可以检测当前的书写平面的颜色，并根据当前书写平面的颜色，调整所述笔头的颜色。所述调整手写笔的笔头颜色特征是通过手写笔中的电容触控键调整笔头内部三色灯的颜色配比实现的。
设置手写笔的笔头为特定形状，可以通过形状检测快速得到手写笔在当前场景的图像中的位置。所述笔头的形状需要与书写平面的中的其他形状不同。在一种实现方式中，可以检测当前手写笔笔头形状，并根据当前形状特征，调整手写笔在当前展示图像中不同的手写笔类型，比如手写笔笔头形状为圆形，则图像中对应的手写笔类型为毛笔，其他类型不在一一列举。
其中，调整手写笔的笔头形状特征是通过手动拧下当前形状更换为其他手写笔笔头的形状。
步骤二、利用手写笔位置信息和预处理后的手写笔姿态信息数据采用基于图像数据改进的卡尔曼融合滤波算法，获得预测的手写笔轨迹信息：
已知卡尔曼滤波器状态更新方程(1)：
其中，k是时刻，是k时刻手写笔状态向量的最佳估计值，/>是k-1时刻手写笔状态向量的最佳估计值，Ak是卡尔曼增益系数，H是测量矩阵，Rk是测量噪声的协方差矩阵，为/>的协方差矩阵，/>是/>的噪声协方差矩阵，mk＝(xRGB,yRGB,ψRGB)表示由是手写笔位置信息，xRGB表示手写笔x轴坐标，yRGB表示手写笔y轴坐标，ψRGB表示偏航角，I是单位矩阵。
公式(1)中可以由公式(5)表示：
其中，表示手写笔在世界坐标系下的速度信息，Ts表示采样间隔，Sstop表示修正时间间隔，Qk＝(qw,q1,q2,q3)是IMU输出的四元数，wk为系统噪声，/>是手写笔角度的估计值，/>是手写笔速度的估计值，/>为k时刻世界坐标系下手写笔三维加速度计算值，其中，实部qw表示旋转角度的余弦值的一半。它决定了旋转的大小，是[-1,1]中的整数。a＝|qw|，当a＝1时，表示旋转角度为180度；当a＝0时，表示旋转角度为0度，虚部q1,q2,q3表示旋转轴的三个分量的正弦值的一半。它们决定了旋转的方向，取值范围为[-1,1]。当虚部的模长为1时，表示旋转轴与坐标轴重合；当虚部的模长为0时，表示旋转轴与坐标轴垂直，通过四元数的实部和虚部，可以表示旋转的角度和轴向。实部表示旋转的角度，虚部表示旋转的轴向。通过四元数的乘法运算，可以实现对物体的旋转操作；
如下式：
Qk＝ΔQk-1*Qk (7)
其中，G(0,0,g)T表示球引力，wk为系统噪声，为手写笔在三维空间加速度数据，，Euler2Q表示欧拉角转换成四元数的函数，Q′k是Qk的导数，ΔQk-1是中间变量。
由公式(1)到公式(8)可知：
手写笔的当前状态向量即k时刻预测的手写笔轨迹信息可以由公式(9)和公式(10)计算得到：
其中，Pk＝(xk,yk,zk)T表示手写笔在世界坐标系下的3D位置坐标，是k-1时刻世界坐标系下手写笔三维加速度，/>表示I手写笔在世界坐标系下的速度信息，/>Ok＝(φkθkψk)T表示手写笔在世界坐标系下的欧拉角，其中φk也称为滚转角，表示物体绕X轴旋转的角度。当物体绕X轴正方向逆时针旋转时，滚转角为正；当物体绕X轴正方向顺时针旋转时，滚转角为负，θk也称为俯仰角，表示物体绕Y轴旋转的角度。当物体绕Y轴正方向逆时针旋转时，俯仰角为正；当物体绕Y轴正方向顺时针旋转时，俯仰角为负，ψk也称为偏航角，表示物体绕Z轴旋转的角度。当物体绕Z轴正方向逆时针旋转时，偏航角为正；当物体绕Z轴正方向顺时针旋转时，偏航角为负。
本实施方式中，投影仪控制模块端ARM处理器，使用手写图像数据通过迁移学习方法对ResNet模型进行训练使其可以对白板笔端颜色和形状进行识别，同时计算识别到的白板笔在投影空间的相对位置坐标数据，当检测到白板笔的运动有停顿的时候，使用图像识别的坐标该数据对加速度数据和陀螺仪数据进行置零修正以消除累积误差提高IMU连续运行时空间定位精度。
具体实施方式六：所述手写笔触控功能如下：
双击电容触控键利用蓝牙通信协议给嵌入式ARM处理器发送切换手写笔当前功能。
双击该电容触控键更改当前手写笔的功能变为橡皮擦，同时驱动微型振动马达进行响应提示。
当手写笔通过电容触控键选定当前展示图像的任意一段文字或者图形时，手写笔利用蓝牙通信接收嵌入式ARM处理器的反馈信号驱动微型振动马达进行振动提示。
当手写笔的笔尖按压幕布时，压力传感器反馈信号给微处理器，微处理器依据反馈信号点亮手写笔笔头的三色灯。当检测到手写笔处于按压的书写状态，且按压位置处于文字或者图形所在区域时，可以对所述文字进行编辑，包括修改文字内容、添加批注信息、复制选择、翻译或者可以拖动所选中图形。在进行所述的编辑或者拖动时，微处理器会实时通过蓝牙通信协议接收嵌入式ARM处理器反馈的选中信号，同时微处理器驱动微型振动马达进行振动提示。
具体实施方式七：所述云平台可以通过网络通信协议实现用户上传演示内容的保存以及保存嵌入式ARM处理器发送的带有标注信息的资料，同时云平台支持嵌入式ARM处理器通过网络通信协议请求下载用户上传的资料以及发送分享保存带有标注信息的资料给其他用户。
本发明可以在教室教学、会馆展览、公司会议等领域得到广泛的应用，手写输入、手势识别、教学教具识别的便利性和输入精度的提升，可大大的提升操作使用体验。

Claims (10)

1.一种投影仪智能人机交互系统，其特征在于所述系统包括：云平台、手写笔、投影控制模块、投影仪；
所述云平台用于存储演示内容；
所述手写笔用于输入用户在演示内容上的标注，并将用户标注内容发送给投影控制模块；
所述投影控制模块用于在云平台获取演示内容，并将演示内容发送给投影仪；然后将用户标注内容展示到演示内容上，最后将带有用户标注的演示内容上传到云平台上；
所述投影仪用于显示演示内容。
2.根据权利要求1所述的一种投影仪智能人机交互系统，其特征在于：所述手写笔包括：惯性传感单元、触控单元、压力传感器、微型振动马达、微处理单元、颜色变换单元、第二通信单元；
所述惯性传感单元包括：陀螺仪、加速度传感器、磁力计；
所述惯性传感单元用于获取手写笔陀螺仪数据、手写笔加速度传感器数据、手写笔磁力计数据，并将陀螺仪数据、加速度传感器数据、磁力计数据发送给微处理单元；
所述触控单元用于获取手写笔功能指令，并将手写笔功能指令发送给第二通信单元；
所述压力传感器用于获取手写笔所受压力，并将手写笔所受压力发送给微处理单元；
所述微处理单元用于根据陀螺仪数据、加速度传感器数据、磁力计数据获取手写笔姿态数据，并对手写笔姿态数据进行预处理，将预处理后的手写笔姿态数据发送给第二通信单元；
所述微处理单元用于利用压力传感器获得的手写笔压力判断手写笔的状态，并将手写笔状态发送给颜色变换单元；
所述微处理单元用于接收第二通信单元发送的振动指令，并将振动指令发送给微型振动马达；
所述微型振动马达用于根据微处理单元发出的振动指令进行振动；
所述颜色变换单元用于根据第二通信单元发送的指令变换手写笔轨迹颜色；
所述颜色变换单元用于根据微处理单元发送的手写笔状态变换显示灯颜色；
所述第二通信单元用于与投影控制模块进行通信，接收投影控制模块发送的指令，并将指令发送给其他单元，同时将手写笔的指令发送给投影控制模块。
3.根据权利要求2所述的一种投影仪智能人机交互系统，其特征在于：所述对手写笔姿态数据进行预处理采用卡尔曼滤波算法。
4.根据权利要求3所述的一种投影仪智能人机交互系统，其特征在于：所述手写笔包括：所述手写笔还包括第二供电单元；
所述第二供电单元用于给手写笔提供电力。
5.根据权利要求4所述的一种投影仪智能人机交互系统，其特征在于：所述投影控制模块包括：图像传感器、深度相机、嵌入式ARM处理器、第一通信单元；
所述第一通信单元用于与第二通信单元、云平台进行通信；
所述图像传感器用于获取手写笔位置图像，并将手写笔位置图像发送给嵌入式ARM处理器；
所述深度相机用于获取用户对投影屏幕的触控操作手势、教具的位置和形状、演示内容中的颜色和形状、当前场景图像，并将用户对投影屏幕的触控操作手势、教具的位置和形状、演示内容中的颜色和形状、当前场景图像发送给嵌入式ARM处理器；
所述嵌入式ARM处理器用于根据触控操作手势完成对演示内容的操作；
所述嵌入式ARM处理器用于根据教具的位置和形状、演示内容中的颜色和形状、当前场景图像，将教具展示到演示内容中；
所述嵌入式ARM处理器用于根据手写笔轨迹位置图像和预处理后的手写笔姿态信息预测手写轨迹信息，并将预测的手写轨迹信息上传到演示内容中；
所述嵌入式ARM处理器用于获取第一通信单元的触控指令，并完成触控指令，并将振动指令发送给手写笔中的第二通信单元。
6.根据权利要求5所述的一种投影仪智能人机交互系统，其特征在于：所述投影控制模块还包括第一供电单元；
所述第一供电单元用于给投影控制模块提供电力。
7.根据权利要求6所述的一种投影仪智能人机交互系统，其特征在于：所述触控操作手势包括：投影页面的触控手势、投影页面的切换手势、拖动投影页面的图形元素手势、投影页面图形元素的放大与缩小手势。
8.根据权利要求7所述的一种投影仪智能人机交互系统，其特征在于：所述根据手写笔陀螺仪、手写笔加速度传感器、手写笔磁力计数据获取手写笔姿态数据，具体为：
首先，采用移动加权平均算法对手写笔加速度计数据，手写笔陀螺仪数据，手写笔磁力计数据进行平滑滤波；
然后，采用四元数法对平滑滤波后的手写笔加速度计数据，手写笔陀螺仪数据，手写笔磁力计数据进行处理获得手写笔姿态数据。
9.根据权利要求8所述的一种投影仪智能人机交互系统，其特征在于：根据手写笔位置图像和预处理后的手写笔姿态信息预测手写轨迹信息，具体为：
步骤一、将手写笔位置图像输入到训练好的ResNet模型中，获得手写笔位置信息：
步骤二、利用手写笔位置信息和预处理后的手写笔姿态信息数据采用基于图像数据的扩展卡尔曼融合滤波算法，获得预测的手写笔轨迹信息。
10.根据权利要求9所述的一种投影仪智能人机交互系统，其特征在于：所述采用基于图像数据的扩展卡尔曼融合滤波算法，获得预测的手写笔轨迹信息，具体为：
首先，获取卡尔曼滤波器状态更新方程：
Qk＝ΔQk-1*Qk (7)
其中，k是时刻，Xk是K时刻手写笔状态向量的更新值，是k时刻手写笔状态向量的最佳估计值，/>是k-1时刻手写笔状态向量的最佳估计值，Ak是卡尔曼增益系数，H是测量矩阵，Rk是测量噪声的协方差矩阵，/>为/>的协方差矩阵，/>是/>的协方差矩阵，mk＝(xRGB,yRGB,ψRGB)表示是手写笔位置信息，xRGB表示手写笔x轴坐标，yRGB表示手写笔y轴坐标，ψRGB表示偏航角，I是单位矩阵，/>是手写笔速度的估计值，/>为k时刻世界坐标系下手写笔三维加速度，/>是手写笔角度的估计值，Sstop表示修正时间间隔，Ts表示采样间隔，G＝(0,0,g)T表示地球引力，wk为系统噪声，/>为手写笔在三维空间加速度数据，Euler2Q表示欧拉角转换成四元数的函数，Q′k是Qk的导数，Qk＝(qw,q1,q2,q3)是手写笔输出的四元数，ΔQk-1是中间变量，qw是四元数的实部，q1、q2、q3是四元数的虚部；
然后，根据公式(1)到(8)获得k时刻预测的手写笔轨迹
其中，Pk＝(xk,yk,zk)T表示手写笔在世界坐标系下的位置坐标，是手写笔在世界坐标系下的速度信息，Ok＝(φkθkψk)T是手写笔在世界坐标系下的欧拉角，φk是滚转角，θk是俯仰角，ψk是偏航角，/> 是k-1时刻世界坐标系下手写笔加速度。
CN202310811305.XA 2023-07-04 2023-07-04 一种投影仪智能人机交互系统 Pending CN116860154A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310811305.XA CN116860154A (zh) 2023-07-04 2023-07-04 一种投影仪智能人机交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310811305.XA CN116860154A (zh) 2023-07-04 2023-07-04 一种投影仪智能人机交互系统

Publications (1)

Publication Number Publication Date
CN116860154A true CN116860154A (zh) 2023-10-10

Family

ID=88233387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310811305.XA Pending CN116860154A (zh) 2023-07-04 2023-07-04 一种投影仪智能人机交互系统

Country Status (1)

Country Link
CN (1) CN116860154A (zh)

Similar Documents

Publication Publication Date Title
TWI827633B (zh) 具有廣泛使用性的三維圖形使用者介面的系統及方法與對應的可讀式媒體
JP6116064B2 (ja) 車両インターフェース用ジェスチャ基準制御システム
US20190019348A1 (en) Generating virtual notation surfaces with gestures in an augmented and/or virtual reality environment
US9910415B2 (en) System, method and computer program for enabling signings and dedications on a remote basis
EP2866204B1 (en) Apparatus and method for digital image processing
CN102810015B (zh) 基于空间运动的输入方法及终端
EP1899793A1 (en) Control device for information display, corresponding system, method and program product
KR20130088104A (ko) 비접촉 방식의 인터페이스를 제공하기 위한 휴대 장치 및 방법
CN110489027B (zh) 手持输入设备及其指示图标的显示位置控制方法和装置
US20190050132A1 (en) Visual cue system
CN102339141B (zh) 一种移动终端及其显示控制方法
JP2022008987A (ja) 仮想現実システム内の仮想コントローラの位置および向きの追跡
US10248652B1 (en) Visual writing aid tool for a mobile writing device
CN106293099A (zh) 手势识别方法及系统
US20190171299A1 (en) Information processing apparatus, display apparatus, and information processing system
CN116860154A (zh) 一种投影仪智能人机交互系统
CN114816088A (zh) 线上教学方法、电子设备和通信系统
WO2023024536A1 (zh) 一种绘图方法、装置、计算机设备及存储介质
CN109085937B (zh) 智能鼠标笔及其控制方法
CN112181135A (zh) 一种基于增强现实的6-dof视触觉交互方法
CN206195973U (zh) 一种电子设备
WO2021034022A1 (en) Content creation in augmented reality environment
Lim Application of intelligent gesture control to simultaneously control multiple remote devices
JP4586168B2 (ja) デジタル拓本装置及び方法
Ansari et al. Air Pose Canvas with Hand Pose Estimation using Machine Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination