CN104615283B - 一种激光笔交互方法 - Google Patents

Abstract

本发明公开了一种激光笔交互方法，解决现有技术在激光笔交互系统中背景切换时的激光点误检、坐标映射误差大和交互命令易误判问题。交互方法由自适应背景切换的激光点检测方法、非线性坐标映射方法和分区域的交互方法组成。其中通过一种在线背景字典创建与更新方法，以及一种稀疏重构方法以实时鲁棒的检测出运动激光点，可以很好的解决交互过程中幻灯片换页或绘图等功能造成的背景突变问题；通过一种神经网络学习模型训练出坐标映射系数提高了坐标映射的精度；并通过一种将投影屏幕划分成绘图交互区域和控制交互区域的方法解决了交互命令易误判的问题。本发明可以实时鲁棒的完成激光笔交互功能，可广泛应用于会议、演讲、教学等多媒体演示系统中。

Description

一种激光笔交互方法

技术领域

本发明属于人机交互及计算机视觉领域，更具体的涉及激光笔交互系统中的激光点检测方法，坐标映射方法和交互方法。

背景技术

如今，激光笔已经被广泛应用在会议、演讲、教学等多媒体演示系统中，借助激光笔演讲者可以离开计算机周围操控演讲稿，从而可以更加普适的与听众互动完成信息传递的任务。然而现有的激光笔交互系统仍然存在很多缺陷，例如：中国专利03270412公开了一种带有上下翻页按钮和无线收发装置的激光笔，可以使用激光笔完成计算机幻灯片上下翻页的功能，但是功能相对而言比较单一，无法满足演讲者的需求；中国专利102073395公开了一种基于FPGA的无线激光笔互动系统，可以完成功能丰富的交互系统，然而该系统需要额外的嵌入式设备，安装部署不方便；论文Kirstein C,Muller H.Interaction with aprojection screen using a camera-tracked laser pointer[C]//MultimediaModeling,1998.MMM'98.Proceedings.1998.IEEE,1998:191-192描述了一个利用激光点和摄像头实现的交互系统，该系统包括激光点检测、坐标映射、交互方法三部分组成。搭建该系统仅需传统的投影系统外加额外的一个摄像头，部署方便，但该系统实现依然面临着挑战。

中国专利102262733公开了一种激光点检测方法及装置，利用摄像头采集激光点状态进行平滑绘图等交互功能，然而在激光笔交互系统中由于幻灯片换页等功能使得背景不断变化，该系统并不能鲁棒的检测出激光点；中国专利103116889公开了一种定位方法及电子设备，利用线性变换完成坐标映射模块，然而由于摄像头位置摆放以及图像采集、投影可能会产生图像畸变，线性变化并不能达到系统要求精度；美国专利20040239653公开了一种交互指示设备，通过识别激光点状态进行交互，然而该系统利用激光点闪烁容易发生交互命令误判，并且在交互方法上绘图标注的实现容易误判。现有的激光笔交互专利技术仍然没有解决背景变化的激光点检测问题、坐标映射的非线性畸变问题以及交互方法易发生交互命令误判问题。

发明内容

鉴于现有专利技术的上述不足，本发明提出了一种激光笔交互方法，由自适应背景切换的激光点检测方法、非线性坐标映射方法和分区域的交互方法组成。

本发明的技术方案：该激光笔交互系统包括计算机、投影仪系统、摄像头和激光笔，计算机与投影仪通过VGA连接将计算机内容投影到投影屏幕，摄像头捕捉投影仪图像通过USB传回给计算机。

该激光笔交互方法包括自适应背景切换的激光点检测方法、非线性坐标映射方法和分区域的激光点行为分析方法完成激光笔交互功能。

所述的自适应背景切换的激光点检测技术，通过一种在线背景字典创建与更新技术，以及一种稀疏重构方法实时鲁棒的检测出运动激光点，过程如下：

令摄像头采集的图像为Y，将其每一列连接在一起组成列向量y，将不包含激光点的图像称为背景图像，将仅包含激光点的图像称为前景图像，y由背景图像和前景图像线性表示：

y＝y_B+y_F (1)

其中y∈R^n×1,y_B∈R^n×1和y_F∈R^n×1分别为采集图像列向量，背景图像列向量，和前景图像列向量，n是图像的像素点数，R^n×1表示n维的实数列向量。

首先通过训练和更新得到背景图像y_B，然后利用摄像头采集图像y，最后用公式(1)得到前景图像y_F，即得激光点位置。然而在激光笔交互过程中幻灯片换页或幻灯片动画会使得背景突变，为了应对这种背景的突变，将不断变化的背景组成背景字典D∈R^n×K，其中D的每一列表示一种背景，K是调节字典包含背景数量的参数，某时刻的背景图像通过背景字典D稀疏表示：

y_B＝Dx (2)

其中x＝[0,...,0,x_i,0,...0]∈R^K×1为稀疏向量，在理想情况下仅有一项非零值。为了增加背景字典D对噪声的鲁棒性，利用累积平均方法对背景字典D按列创建：

其中D_i为字典D的每一列，K为字典的列数，即背景的个数，α为背景更新速率。

在检测激光点前景图像时，首先求解x以决定当前的背景图像，然后通过式(2)解出y_B，最后通过式(1)求出激光点前景y_F。因为前景激光点相对于背景图像是非常稀疏的向量，仅在激光点位置处非零，y_F是稀疏向量，而且背景的稀疏向量x也是稀疏的，根据压缩感知中稀疏重构方法得出x：

其中λ为调谐因子，||·||₀代表l₀范数，由于求解l₀范数为非凸问题，并且考虑到激光点是非常稀疏的，式(4)利用下式近似得到：

其中||·||₁，||·||₂分别为l₁和l₂范数。这样就可以由式(5)，式(2)和式(1)解出激光点前景y_F.

在交互过程中，幻灯片换页或放映动画等出现新的背景，会导致解出的激光点前景y_F不是稀疏解，反之则解出的y_F为稀疏解。通过观测y_F的稀疏性来控制字典的更新，当y_F非稀疏解时说明出现了新的背景，需要将背景立即加入到背景字典中，当y_F是稀疏解时通过累积平均的方式更新字典来抑制噪声，公式如下：

其中k＝mod(i,K)+1，mod为取模操作，Th为控制前景激光点稀疏性的参数，y_i为采集到的第i帧图像。

解出y_F后需要将其转换成二维图像Y_F，由于激光点并不是单一像素点，采用坐标平均的方式得到激光点的坐标(u,v)：

其中N为Y_F中非零值的个数，Y_Fxi和Y_Fyi分别为前景激光点二维图像非零值的横纵坐标。

通过上述的自适应的背景字典创建和更新过程，以及利用稀疏重构方法重构激光点前景的方法，可以实时鲁棒的检测出激光点的位置，解决了激光点检测中的背景突变问题。

所述的非线性坐标映射方法，通过一种神经网络学习模型训练出摄像头采集图像坐标与计算机坐标的映射关系，过程如下：

得到摄像头采集到图像中激光点的坐标(u,v)后，将该坐标映射到计算机中的坐标进而完成交互任务。由于该系统摄像头摆放位置非固定，投影过程或者摄像头采集图像有可能存在非线性畸变，如枕形失真，桶形失真等，因此需要非线性的模型完成坐标映射模块。通过神经网络学习一个模型完成非线性映射，首先要对系统输入进行归一化，假定输入为(u,v)，采集图像y的分辨率为pic_width×pic_height，归一化方程为：

令系统输入S_in＝(u′,v′)^T，系统输出为归一化计算机坐标S_out＝(X′,Y′)^T，计算机分辨率为pc_width×pc_height，则计算机坐标计算公式为：

系统输入为摄像头采集图像归一化坐标S_in＝(u′,v′)^T，系统输出为计算机图像归一化坐标S_out＝(X′,Y′)^T，其映射关系由下式确定：

其中ω⁽¹⁾为输入层与隐藏层之间的系数矩阵，ω⁽²⁾为隐藏层与输出层之间的系数矩阵，M为除去偏置后的隐藏层神经元个数，σ(·)表示sigmoid函数，函数表达式为：

因此只要得到了ω⁽¹⁾和ω⁽²⁾便可以得到采集图像激光点坐标(u,v)与计算机坐标(X,Y)的唯一对应关系，求解ω⁽¹⁾和ω⁽²⁾涉及神经网络的训练过程，训练过程利用BP神经网络误差反向传播完成，训练数据可以通过预先投影棋盘图像，然后利用harris角点检测得到对应的数据。假设采集的角点数为N，检测出的输入角点归一化后数据和输出角点归一化数据防止过拟合的正则化神经网络的代价函数为：

其中为了提升上述批量处理优化问题的速度，可以利用增量梯度的方法：

其中i＝1～N循环选取直到算法收敛。

神经网络模型具有学习非线性的能力，因此通过神经网络模型训练得到坐标映射关系可以很好的解决非线性问题，进而提升了系统的精度，增加了后续激光点行为分析的鲁棒性。

所述的分区域的激光点行为分析方法，将投影屏幕划分成绘图交互区域和控制交互区域，解决了交互命令易误判的问题，过程如下：

在多媒体激光笔交互中一般涉及到的功能包括“下一页”、“上一页”，“第一页”、“绘图标注”和“清除绘图”等。采用对绘图轨迹识别完成相应功能，然而“绘图标注”功能旨在允许用户绘制任意图形以达到强调功能，这样用户在使用“绘图标注”功能时系统容易误判成其他控制交互功能，为了增加交互行为的鲁棒性，采用分区域的激光点行为分析实时完成上述交互功能：

1)划分交互区域：在幻灯片的制作过程中，演讲者一般将需要演示的内容置于屏幕显要的位置，而在屏幕的四个角落很少放置演示内容，“绘图标注”功能旨在标注演示内容，所以在屏幕的四个角落一般“绘图标注”功能很少会用到，这样用户可以划分屏幕主显示区域为绘图交互区域，重点完成“绘图标注”功能，而把屏幕某个角落或某些角落划分成控制交互区域完成其他交互功能。以屏幕右上角划分为控制交互区域为例，控制交互区域坐标(X,Y)限制为：

其中Th_wid×Th_hei为交互区域的大小，由用户控制。

2)“绘图标注”实现：对激光点行为分析，若激光点落在绘图交互区域，并且连续在某一邻域出现一段时间则启动“绘图标注”功能；若连续一段时间检测不到激光点则关闭“绘图标注”功能。为了增强系统的鲁棒性，采用投票的原则判断激光点在某一邻域的停留时间，假设采集N帧图像，若满足下式则启动“绘图标注”功能：

其中Th×Th为邻域大小，count_e为N帧图像内检测到激光点的个数，(X_i,Y_i)为检测到激光点映射后的坐标。当count_o>N×50％时关闭“绘图标注”功能，其中count_o为连续时间内未检测到激光点的个数。

3)控制交互区域内的交互功能：若激光点落在控制交互区域内，则根据激光点的不同行为完成交互任务。将激光点在交互区域内的绘图轨迹，映射成相应的交互命令。以一种交互识别方法为例，若是向右划线则为“下一页”功能，向左划线为“上一页”功能，向上划线为“第一页”功能，向下划线为“清除绘图”功能。其条件约束分别为：

“下一页”：

“上一页”：

“第一页”：

“清除绘图”：

其中(X₁,Y₁)为绘图轨迹初始点，Th_i为允许划线的浮动控制量，Th_o为完成交互所需划线的长度。

通过将屏幕划分为绘图交互区域和控制交互区域的方法，解决了交互过程中交互命令易误判等问题，可以实时完成丰富的交互命令。

通过上述激光笔交互方法的描述，包括自适应背景切换的激光点检测方法、非线性坐标映射方法和分区域的交互方法，可以看出本发明解决了激光笔交互系统中的关键问题，其中包括在激光笔交互中的背景切换问题，图像采集等原因造成的激光点坐标映射误差问题，以及交互命令易误判等问题。利用本发明所描述的激光笔交互方法，该类系统可以广泛应用于会议、演讲、教学等多媒体演示系统中。

附图说明

图1是本发明所使用的系统框图。

图2是本发明的实施流程图。

图3是本发明坐标映射训练阶段的棋盘图像。

图4是本发明坐标映射所用神经网络的结构图。

图5是本发明划分交互区域的示意图。

图中：1计算机；2投影仪；3投影屏幕；4摄像头；5激光笔；

6控制交互区域；7绘图交互区域。

具体实施方式

下面结合附图对本发明的实施方案作详细说明：本实施方案在本发明技术为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施方案。

本发明系统框图如图1所示，由计算机1、投影仪2，投影屏幕3、摄像头4和激光笔5组成，计算机1与投影仪2通过VGA连接将计算机内容投影到投影屏幕3，摄像头4放置于能够采集到所有投影屏幕内容的地方，将采集到的图像通过USB传回给计算机1，进而由计算机1完成激光笔交互方法。

所述的交互方法的实施流程如图2所示，基本步骤包括棋盘图像投影、坐标映射训练、交互内容投影、字典创建、激光点检测、字典更新、坐标映射、激光点行为分析和交互动作完成，在完成交互动作后重新回到激光点检测步骤执行直到用户停止交互结束。

所述的棋盘图像投影，其特征在于放映如图3所示的棋盘图像，为后续的坐标映射训练提供数据支持。

所述的坐标映射训练，其特征在于通过一种神经网络学习模型训练出坐标映射系数，用以确定摄像头采集图像坐标与计算机坐标的映射关系。因为图像采集过程中可能会产生非线性畸变，采用非线性的映射方法以提高映射精度。采用神经网络学习模型训练得到映射参数，放映棋盘图像后，通过Harris角点检测获得摄像头采集到的图像角点坐标集合为{(u₁,v₁),...,(u_i,v_i),...,(u_N,v_N)}，对应的计算机坐标{(X₁,Y₁),...,(X_i,Y_i),...,(X_N,Y_N)}，将坐标值通过下式归一化：

令和作为训练系统的输入和输出，其中神经网络训练系统框图如图4所示，系统训练代价函数为：

其中求解出{ω⁽¹⁾,ω⁽²⁾}，就唯一确定了摄像头采集图像坐标与计算机坐标的映射关系。

所述的交互内容投影为放映需要交互的幻灯片或资料等。

所述的字典创建其特征在于初始化包含不断变化背景的字典，该字典旨在解决激光笔交互中背景的变化问题。令摄像头采集的图像为Y，将其每一列连接在一起组成列向量y，将不包含激光点的图像称为背景图像，将仅包含激光点的图像称为前景图像，y由背景图像和前景图像线性表示：

y＝y_B+y_F (22)

为了解决激光笔交互过程中幻灯片换页或幻灯片动画所导致的背景突变，将不断变化的背景组成背景字典D∈R^n×K，其中D的每一列表示一种背景，K是调节字典包含背景数量的参数，某时刻的背景可以通过背景字典D稀疏表示：

y_B＝Dx (23)其中x＝[0,...,0,x_i,0,...0]∈R^K×1为稀疏向量，在理想情况下仅有一项非零值。字典采用下式累积平均的方式创建：

其中D_i为字典D的每一列，K为字典的列数，即背景的个数，α为背景更新速率。

所述的激光点检测其特征为在背景不断变换的情况下鲁棒的检测出激光点的位置。将不断变化的背景放置于背景字典中，根据背景稀疏向量x以及前景激光点的稀疏性，通过解以下优化问题解出x：

则前景激光点由y_F＝y-Dx解得，由于解出的y_F是列向量，需要将其转换成二维图像Y_F＝reshape(y_F)，则激光点位置坐标(u,v)为：

其中N为Y_F中非零值的个数，Y_Fxi和Y_Fyi分别为前景非零值的横纵坐标。

所述的字典更新其特征在于将突变的背景实时动态的加入到字典中，在幻灯片换页等背景突变会使得解出的激光点前景并不是稀疏解，通过判断y_F的稀疏性决定字典更新的方式如下：

所述的坐标映射其特征在于利用坐标映射训练得到的映射系数{ω⁽¹⁾,ω⁽²⁾}，将采集图像中检测到的激光点坐标映射到计算机坐标，首先需要对检测到的坐标归一化，

然后通过计算得出(X′,Y′)，最终反归一化得到计算机坐标：

所述的激光点行为分析其特征在于利用划分交互区域的交互方法，实现激光笔的交互功能，包括“上一页”、“下一页”、“第一页”，“绘图标注”和“清除绘图”等功能。将屏幕主显示区域划分为绘图交互区域，重点完成“绘图标注”功能，而把屏幕某个角落或某些角落划分成控制交互区域完成其他交互功能，图5给出了划分屏幕右上角区域为交互区域的示意图，其中6为控制交互区域，大小为Th_wid×Th_hei，7为绘图交互区域。实现各交互功能的特征为：

“下一页”：

“上一页”：

“第一页”：

“清除绘图”：

“绘图标注”：

其中(X₁,Y₁)为绘图轨迹初始点，Th_i为允许划线的浮动控制量，Th_o为完成交互所需划线的长度。

所述的交互动作其特征为激光点行为分析后触发相应的交互任务，例如换页和绘图等功能的实现。

在完成交互动作后重新回到激光点检测环节，循环完成用户的指令直到交互结束。

Claims (2)

1.一种激光笔交互方法，其特征在于，激光笔交互方法所用的激光笔交互系统包括计算机、投影仪系统、摄像头和激光笔，计算机通过VGA与投影仪连接将计算机内容投影到投影屏幕，摄像头通过USB将捕捉投影仪图像传给计算机；

该激光笔交互方法包括自适应背景切换的激光点检测方法、非线性坐标映射方法和分区域的激光点行为分析方法完成激光笔交互功能；

所述的自适应背景切换的激光点检测方法，通过在线背景字典创建与更新方法以及稀疏重构方法实时鲁棒的检测出运动激光点，步骤如下：

令摄像头采集的图像为Y，将其每一列连接在一起组成列向量y；其中，不包含激光点的图像称为背景图像，仅包含激光点的图像称为前景图像，y由背景图像和前景图像线性表示：

y＝y_B+y_F (1)

其中y∈R^n×1、y_B∈R^n×1和y_F∈R^n×1分别为采集图像列向量、背景图像列向量和前景图像列向量，n是图像的像素点数，R^n×1表示n维的实数列向量；

通过训练和更新得到背景图像y_B，利用摄像头采集图像y，通过式(1)得到前景图像y_F，即得激光点位置；在激光笔交互过程中幻灯片换页或幻灯片动画使得背景突变，应对背景突变，将不断变化的背景组成背景字典D∈R^n×K，其中D的每一列表示一种背景，K是调节字典包含背景数量的参数，某时刻的背景图像通过背景字典D稀疏表示：

y_B＝Dx (2)

其中x＝[0,...,0,x_i,0,...0]∈R^K×1为稀疏向量，在理想情况下仅有一项非零值；为了增加背景字典D对噪声的鲁棒性，利用累积平均方法对背景字典D按列创建：

其中D_i为字典D的每一列，K为字典的列数，即背景的个数，α为背景更新速率；

在检测激光点前景图像时，首先求解x以决定当前的背景图像，然后通过式(2)解出y_B，最后通过式(1)求出激光点前景y_F；前景激光点相对于背景图像是非常稀疏的向量，仅在激光点位置处非零，y_F是稀疏向量，背景的稀疏向量x也是稀疏的，根据压缩感知中稀疏重构方法得出x：

$x=\arg \underset{x}{min}\left|\right|y-Dx|{|}_0+\mathrm{\λ}|\left|x\right|{|}_0---\left(4\right)$

其中λ为调谐因子，||·||₀代表l₀范数，求解l₀范数为非凸问题，激光点是非常稀疏的，式(4)利用下式近似得到：

$x=\arg \underset{x}{min}\left|\right|y-Dx|{|}_2+\mathrm{\λ}|\left|x\right|{|}_1---\left(5\right)$

其中||·||₁，||·||₂分别为l₁和l₂范数；由式(5)、式(2)和式(1)解出激光点前景y_F；

在交互过程中，幻灯片换页或放映动画出现新的背景，导致解出的激光点前景y_F不是稀疏解，反之则解出的y_F为稀疏解；通过观测y_F的稀疏性控制字典的更新，当y_F非稀疏解时说明出现了新的背景，将新的背景立即加入到背景字典中，当y_F是稀疏解时通过累积平均的方式更新字典来抑制噪声，公式如下：

其中k＝mod(i,K)+1，mod为取模操作，Th为控制前景激光点稀疏性的参数，y_i为采集到的第i帧图像；

将解出的y_F转换成二维图像Y_F，激光点并不是单一像素点，采用坐标平均的方式得到激光点的坐标(u,v)：

$\left\{\begin{array}{c}u=\frac{1}{N}{\Σ}_{i=1}^N{Y}_{Fxi}\\ v=\frac{1}{N}{\Σ}_{i=1}^N{Y}_{Fyi}\end{array}\right.---\left(7\right)$

其中N为Y_F中非零值的个数，Y_Fxi和Y_Fyi分别为前景激光点二维图像非零值的横纵坐标；

所述的非线性坐标映射方法，通过神经网络学习模型训练出摄像头采集图像坐标与计算机坐标的映射关系，步骤如下：

得到摄像头采集到图像中激光点的坐标(u,v)后，将该坐标映射到计算机中的坐标完成交互；该系统摄像头摆放位置非固定，投影过程或者摄像头采集图像有可能存在非线性畸变，需要非线性的模型完成坐标映射模块；通过神经网络学习一个模型完成非线性映射，首先要对系统输入进行归一化，假定输入为(u,v)，采集图像y的分辨率为pic_width×pic_height，归一化方程为：

$\left\{\begin{array}{c}{u}^{\′}=\frac{u}{{\mathrm{pic}}_{width}}\\ v^{\′}=\frac{v}{{\mathrm{pic}}_{height}}\end{array}\right.---\left(8\right)$

令系统输入S_in＝(u′,v′)^T，系统输出为归一化计算机坐标S_out＝(X′,Y′)^T，计算机分辨率为pc_width×pc_height，则计算机坐标计算公式为：

$\left\{\begin{array}{c}X=X^{\′}\×{\mathrm{pc}}_{width}\\ Y=Y^{\′}\×{\mathrm{pc}}_{height}\end{array}\right.---\left(9\right)$

系统输入为摄像头采集图像归一化坐标S_in＝(u′,v′)^T，系统输出为计算机图像归一化坐标S_out＝(X′,Y′)^T，其映射关系由下式确定：

$S_{out}=\mathrm{\σ}\{\underset{j=1}{\overset{M}{\Σ}}{\mathrm{\ω}}_{kj}^{\left(2\right)}\[\mathrm{\σ}(\underset{i=1}{\overset{2}{\Σ}}{\mathrm{\ω}}_{ji}^{\left(1\right)}{S}_{in}+{\mathrm{\ω}}_{j0}^{\left(1\right)})\]+{\mathrm{\ω}}_{k0}^{\left(2\right)}\}---\left(10\right)$

其中ω⁽¹⁾为输入层与隐藏层之间的系数矩阵，ω⁽²⁾为隐藏层与输出层之间的系数矩阵，M为除去偏置后的隐藏层神经元个数，σ(·)表示sigmoid函数，函数表达式为：

$\mathrm{\σ}\left(z\right)=\frac{1}{1+e^{-z}}---\left(11\right)$

由ω⁽¹⁾和ω⁽²⁾便得到采集图像激光点坐标(u,v)与计算机坐标(X,Y)的唯一对应关系，求解ω⁽¹⁾和ω⁽²⁾涉及神经网络的训练过程，训练过程利用BP神经网络误差反向传播，训练数据通过预先投影棋盘图像，然后利用harris角点检测得到对应的数据；假设采集的角点数为N，检测出的输入角点归一化后数据和输出角点归一化数据防止过拟合的正则化神经网络的代价函数为：

$\left\{{\mathrm{\ω}}^{\left(1\right)},{\mathrm{\ω}}^{\left(2\right)}\right\}=\arg \underset{{\mathrm{\ω}}^{\left(1\right)},{\mathrm{\ω}}^{\left(2\right)}}{min}\frac{1}{2N}{\mathrm{\Σ}}_{i=1}^N\left|\right|S_{out}^i-S_{std}^i|{|}_2^2+\frac{\mathrm{\λ}}{2N}|\left|{\mathrm{\ω}}^{\left(1\right)}\right|{|}_2^2+\frac{\mathrm{\λ}}{2N}\left|\right|{\mathrm{\ω}}^{\left(2\right)}|{|}_2^2---\left(12\right)$

其中

所述的分区域的激光点行为分析方法，将投影屏幕划分成绘图交互区域和控制交互区域，解决了交互命令易误判的问题，步骤如下：

在多媒体激光笔交互中涉及到的功能包括“下一页”、“上一页”，“第一页”、“绘图标注”和“清除绘图”；采用对绘图轨迹识别完成相应功能，“绘图标注”功能旨在允许用户绘制任意图形达到强调功能，用户在使用“绘图标注”功能时系统容易误判成其他控制交互功能，为了增加交互行为的鲁棒性，采用分区域的激光点行为分析实时完成上述交互功能：

1)划分交互区域：在幻灯片的制作过程中，演讲者将需要演示的内容置于屏幕显要的位置，在屏幕的四个角落很少放置演示内容，“绘图标注”功能旨在标注演示内容，在屏幕的四个角落“绘图标注”功能很少用到，用户划分屏幕主显示区域为绘图交互区域，重点完成“绘图标注”功能，把屏幕某个角落或某些角落划分成控制交互区域完成其他交互功能；以屏幕右上角划分为控制交互区域为例，控制交互区域坐标(X,Y)限制为：

$\left\{\begin{array}{c}{\mathrm{pc}}_{width}-{\mathrm{Th}}_{wid}<X<{\mathrm{pc}}_{width}\\ 0<Y<{\mathrm{Th}}_{hei}\end{array}\right.---\left(14\right)$

其中Th_wid×Th_hei为交互区域的大小，由用户控制；

2)“绘图标注”实现：对激光点行为分析，若激光点落在绘图交互区域，并且连续在某一邻域出现一段时间则启动“绘图标注”功能；若连续一段时间检测不到激光点则关闭“绘图标注”功能；为了增强系统的鲁棒性，采用投票的原则判断激光点在某一邻域的停留时间，假设采集N帧图像，若满足下式则启动“绘图标注”功能：

其中Th×Th为邻域大小，count_e为N帧图像内检测到激光点的个数，(X_i,Y_i)为检测到激光点映射后的坐标；当count_o>N×50％时关闭“绘图标注”功能，其中count_o为连续时间内未检测到激光点的个数；

3)控制交互区域内的交互功能：若激光点落在控制交互区域内，则根据激光点的不同行为完成交互任务；将激光点在交互区域内的绘图轨迹，映射成相应的交互命令；以一种交互识别方法为例，若是向右划线则为“下一页”功能，向左划线为“上一页”功能，向上划线为“第一页”功能，向下划线为“清除绘图”功能；其条件约束分别为：

“下一页”：

“上一页”：

“第一页”：

“清除绘图”：

其中(X₁,Y₁)为绘图轨迹初始点，Th_i为允许划线的浮动控制量，Th_o为完成交互所需划线的长度；

通过将屏幕划分为绘图交互区域和控制交互区域的方法，解决了交互过程中交互命令易误判，实时完成丰富的交互命令。

2.根据权利要求1所述的激光笔交互方法，其特征在于，针对公式(12)防止过拟合的正则化神经网络的代价函数进行提升批量处理优化问题的速度，利用增量梯度的方法：

$\{{\mathrm{\&omega;}}^{\left(1\right)},{\mathrm{\&omega;}}^{\left(2\right)}\}=\arg \underset{{\mathrm{\&omega;}}^{\left(1\right)},{\mathrm{\&omega;}}^{\left(2\right)}}{min}\frac{1}{2}\left|\right|S_{out}^i-S_{std}^i|{|}_2^2+\frac{\mathrm{\&lambda;}}{2}|\left|{\mathrm{\&omega;}}^{\left(1\right)}\right|{|}_2^2+\frac{\mathrm{\&lambda;}}{2}\left|\right|{\mathrm{\&omega;}}^{\left(2\right)}|{|}_2^2---\left(13\right)$

其中i＝1～N循环选取直到算法收敛。