CN102279668A - 信息交互方法及系统 - Google Patents

信息交互方法及系统 Download PDF

Info

Publication number
CN102279668A
CN102279668A CN2010101940321A CN201010194032A CN102279668A CN 102279668 A CN102279668 A CN 102279668A CN 2010101940321 A CN2010101940321 A CN 2010101940321A CN 201010194032 A CN201010194032 A CN 201010194032A CN 102279668 A CN102279668 A CN 102279668A
Authority
CN
China
Prior art keywords
laser spots
laser
information
state
projection screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010101940321A
Other languages
English (en)
Other versions
CN102279668B (zh
Inventor
张文波
李东来
于海龙
潘萍萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201010194032.1A priority Critical patent/CN102279668B/zh
Publication of CN102279668A publication Critical patent/CN102279668A/zh
Application granted granted Critical
Publication of CN102279668B publication Critical patent/CN102279668B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Position Input By Displaying (AREA)

Abstract

本发明提供了一种信息交互方法和系统,所述系统通过图像捕获装置捕获包含激光笔投射在投影屏幕上形成激光点投影屏幕的图像,并检测所述图像捕获装置所捕获的每帧图像中的激光点以及所述激光点在所述投影屏幕中位置信息和时间信息。之后,该系统基于所检测的位置信息和时间信息,确定激光点是出于移动状态或停顿状态,并根据所述激光点状态信息,按照书写一个字符的过程中定位于书写交替进行的规律,将激光点在所述投影屏幕上的轨迹分割为定位轨迹和书写轨迹。最后,对所分割出的书写轨迹进行处理并将其映射为能够显示在投影屏幕上的字符的笔画。

Description

信息交互方法及系统
技术领域
本发明属于人机交互及数字图像处理领域。尤其是,本发明提供了一种在投影屏幕交互显示设备上使用激光笔作为输入设备实现的非接触的或者远距离手写输入的信息交互方法和系统。
背景技术
在各种研讨会中,采用投影仪作为辅助工具对于演讲的进行非常有帮助。但是在演讲的过程中,演讲人通常会有一些即兴的讲解内容可能是预先准备的演示文稿中不存在的,因此演讲人通常需要在一种固定白板上进行板书以便听众理解。这种实体板书方式非常费时费力,并且听众来回在投影屏幕和固定白板直接转换也很不方便。因此,人们希望采用一种能够直接在投影屏幕上手书的系统和方法来解决上述问题。因此,人们提出了一种人机交互系统,该系统使用激光笔作为输入设备在大屏幕交互系统里实现非接触的或者远距离的手写操作。
发明名称为“System and Method For Presenting,Capturing,and ModifyingImages on A Presentation Board”美国专利US8802611B2披露了一种用于演示和拍摄演示板上的图片的方法和系统,并且提供了一个耦合了投影仪和摄像头的界面,用户可以通过该界面控制该演示系统,在演示板上修改图片或者书写字符。发明名称为“Collaborative Pointing Devices”美国专利公开US20040239653A1披露了一种在初始图像中依据某种投票规则判断激光点位置的方法和系统。该方法包含有从摄像头拍摄一系列图像用于产生要处理的图像,并使用了激光笔的状态去区分图像当中多个激光笔产生的激光点。但是这些采用激光笔作为输入装置的交互系统都存在如下问题:在激光笔移动时不能准确确定书写的初始落笔位置;不能正确地确定激光笔的那些移动属于笔画,那些移动属于书写定位过程;不能准确获得笔画的开始/结束位置;在分辨率较大的情况下,不能在在大屏幕交互系统中写小字符;以及不能非接触手写过程中克服手抖动带来的影响。
因此,人们希望能够有一种方法和系统能够解决上述问题,从而能够准确在投影屏幕上现实激光笔所书写的内容。
发明内容
本发明提供了一种协作型虚拟白板系统和信息交互方法。这种系统可以把计算机生成的图像通过投影设备投射到屏幕或者墙面上,激光笔作为该系统的输入设备,可以让用户手执激光笔在投影屏幕上画出激光轨迹转换为字符笔画并显示出来。
具体而言,本发明提供了一种信息交互系统,包括:激光笔,用于发射激光并在投影屏幕上形成激光点;图像捕获装置,用于捕获包含有投影屏幕的图像;激光点检测单元,用于检测所述图像捕获装置所捕获的每帧图像中的激光点以及所述激光点在所述投影屏幕中位置信息和时间信息;激光点状态确定单元,基于所述激光点检测单元所检测的位置信息和时间信息,确定激光点是出于移动状态或停顿状态;激光点轨迹分割单元,用于根据所述激光点状态信息,按照书写一个字符的过程中定位于书写交替进行的规律,将激光点在所述投影屏幕上的轨迹分割为定位轨迹和书写轨迹;以及笔画映射单元,用于对所述激光点轨迹分割单元所分割出的书写轨迹进行处理并将其映射为能够显示在投影屏幕上的字符的笔画。
根据本发明的信息交互系统,所述激光点状态确定单元还包括超时计数器,用于累计不包含激光点的图像的连续帧数,当所述超时计数器所累计的不包含激光点的图像的连续帧数超过以预定时间阈值时,则确定激光笔处于激光笔处于关状态。
根据本发明的信息交互系统,所述激光点状态确定单元还包括激光点位置比较单元,用于计算当前一帧图像中的激光点位置与前一帧图像中的激光点之间的距离,其中当所述激光点位置比较单元所计算的两者的距离大于一预定的距离时,所述激光点状态确定单元将激光点的状态确定为所述移动状态。
根据本发明的信息交互系统,所述激光点状态确定单元还包括停顿计数器,当所述激光点位置比较单元所计算的两者的距离小于所述预定的距离时,累计激光点距离小于所述预定距离连续图像帧数,其中当所述停顿计数器所累计的激光点距离小于所述预定距离连续图像帧数超过预定的时间阈值时,所述激光点状态确定单元将激光点的状态确定为停顿状态。
根据本发明的信息交互系统,其还包括:线性变换单元,采用矩阵的线性变换,将字符笔画映射到投影屏幕上的指定区域。
根据本发明的另一个方面,还提供了一种信息交互方法,包括:发射激光并在投影屏幕上形成激光点;捕获包含有投影屏幕的图像;检测所捕获的每帧图像中的激光点以及所述激光点在所述投影屏幕中位置信息和时间信息;基于所检测的位置信息和时间信息,确定激光点是出于移动状态或停顿状态;根据所述激光点状态信息,按照书写一个字符的过程中定位于书写交替进行的规律,将激光点在所述投影屏幕上的轨迹分割为定位轨迹和书写轨迹;以及对所分割出的书写轨迹进行处理并将其映射为能够显示在投影屏幕上的字符的笔画。
根据本发明的信息交互方法,其中所述确定激光点是出于移动状态或停顿状态还包括:累计不包含激光点的图像的连续帧数,当所述超时计数器所累计的不包含激光点的图像的连续帧数超过以预定时间阈值时,则确定激光笔处于激光笔处于关状态。
根据本发明的信息交互方法,其中所述确定激光点是出于移动状态或停顿状态还包括:计算当前一帧图像中的激光点位置与前一帧图像中的激光点之间的距离,并且所计算的距离大于一预定的距离时,将激光点的状态确定为所述移动状态。
根据本发明的信息交互方法,其中所述确定激光点是出于移动状态或停顿状态还包括:当所述激光点位置比较单元所计算的两者的距离小于所述预定的距离时,累计激光点距离小于所述预定距离连续图像帧数,并且当所累计的激光点距离小于所述预定距离连续图像帧数超过预定的时间阈值时,将激光点的状态确定为停顿状态。
根据本发明的信息交互方法,其还包括:采用矩阵的线性变换,将字符笔画映射到投影屏幕上的指定区域。
附图说明
图1所示的是根据本发明的信息交互系统的示意图。
图2所示的是构成根据本发明的信息交互系统的模块化示意图。
图3所示的是根据本发明信息交互方法的流程示意图。
图4所示的是用激光笔书写汉字的一个实例。
图5所示的是激光笔悬停时投影屏幕上停顿激光点的放大示意图。
图6所示的是激光点状态的表示及其包含的三个维度的信息的示意图。
图7所示的是进行激光点检测和激光点状态转换的流程图。
图8所示的是进行笔画分割的流程图。
图9所示的是在投影屏幕上进行笔画映射的示意图,其中激光笔所书写的较大的字符被映射到指定的区域里。
具体实施方式
以下,将参照附图来详细说明本发明的具体实施例。
图1所示的是根据本发明的信息交互系统的示意图。该系统包括:摄像头1、投影屏幕2、计算机3、投影仪4以及激光笔5。
图2所示的是构成根据本发明的信息交互系统中的计算机3的模块化示意图。该计算机3中包括了激光点检测单元31、由虚线框表示的激光点状态确定单元32以及笔画分割单元33。其中激光点状态确定单元32包括:激光点存在判断单元321、超时计数器322、激光笔关闭判断单元323、激光点位置比较单元324、激光点移动确定单元325、停顿计数器326以及激光点停顿确定单元327。笔画分割单元33中包含一个分割触发单元331
下面结合图1和图2,按照图3所示的流程描述根据本发明的信息交互方法。
图3所示的根据本发明信息交互方法的流程示意图。如图1所示,根据本发明的信息交互方法通过如下步骤来实现。
首先,在步骤S1处,摄像头1拍摄包含有投影屏幕2的图像,并将所拍摄的图像输入到计算机3。计算机3中的激光点检测单元31对所接收到的图像进行激光点检测,检测这些图像中是否存在激光点,从而获得激光点信号。也就是说获得关于摄像头1所拍摄的图像中的激光点的激光点信号。在已知发明及文献中有许多方法可以用来检测激光点,所以这里就不再详细叙述。激光点检测单元31以摄像头拍摄的图像作为输入,检测每幅图像中的激光点,并生成一系列的激光点信号S。S可以表示为一个二元组((x,y),t),其中(x,y)是激光点在图像中的坐标位置,t是激光点检测时的时间信息。然后这些激光点信号被激光点检测单元31传送到计算机3中的激光点状态确定单元32。
在步骤S2处,激光点状态确定单元32分析这些激光点信号的坐标位置及时间信息,并将其转换成激光点状态信息。
图6所示的是激光点状态的表示及其包含的三个维度的信息的示意图。每一个激光点状态信息包含有三个维度的信息:
(1)一个维度是如前所述的激光点位置信息,即激光点在图像当中的坐标。
(2)一个维度是激光笔开关的物理状态信息,即此时激光笔的打开或者关闭。
(3)最后一个维度是关于激光点的时间信息,包括激光点在所述投影画面上的停顿时间及激光笔打开,关闭或者闪动的时刻。
在本发明中,总共定义了如下四种激光点状态:
(1)激光开(Laser On):表明当前激光笔处于打开状态,系统检测到了激光笔发射的光线在投影屏幕上形成的激光点。
(2)激光关(Laser Off):表明当前激光笔处于关闭状态,系统无法检测到投影屏幕上的激光点。
(3)激光移动(Laser Move):表明用户当前正手执激光笔移动,表现为投影屏幕上的激光点的位置不断变化。
(4)激光停顿(Laser Dwell):表明用户当前手执激光笔,但悬停不动,表现为投影屏幕上的激光点的位置在一定时间内没有发生明显的变化。在激光点状态转换单元的处理过程中,要判断当前激光笔是否停顿,系统需要通过激光点计时器单元计算确定激光笔的停顿时间来进行判断。关于这方面的具体过程将在下面结合附图7进行描述。
接着,在步骤S3中,计算机3中的笔画分割单元33依据上述的激光点状态信息,从激光点轨迹中分割出字符笔画。也就是,基于人们的书写规律,将所述激光轨迹分割为两种部分:书写定位轨迹和书写轨迹。所谓书写定位轨迹就是用户打开并移动激光笔在屏幕上定位到所要起笔的位置的过程中产生的那部分轨迹。所谓书写轨迹,是用户打开并移动激光笔在屏幕上真正书写的那部分轨迹,即用户的实际书写笔画。关于书写定位轨迹和书写轨迹的分割的描述将在下面结合附图8进行。
随后,在步骤S4中,计算机3中的笔画映射单元34对笔画分割单元33所分割出的笔画进行处理。
之后,在步骤S5中将其投影到投影屏幕上相应的位置区域。如何将笔画投射到屏幕上属于现有技术,这里将不再详细叙述这方面的内容。
当完成上述几个步骤后,一条激光轨迹的整个处理过程就完成了。每个被处理过的笔画都显示在屏幕上,这些笔画组成了完整的字符。如果用户再次书写字符,只要重复以上各步,由用户控制激光笔所产生的新的激光轨迹会被再次处理,形成新的字符。
为方便后面的描述,这里先以图4所示的实例为例子描述一些人们通常采用激光笔进行书写的过程。图4所示的是用激光笔书写汉字的一个实例。
如图4所示,用户用激光笔在投影屏幕上书写一个汉字字符“山”,从而在投影屏幕上形成了如图4所示的激光点轨迹。根据图4所示的字符,其中参考标记401、402、403所指代的深黑实线是书写轨迹,即笔画,而参考标记404、405所指代的虚线是书写定位轨迹,其中每个书写轨迹的端点处的粗重的实心点表示该字符的书写轨迹的起笔或落笔位置。在本发明中起笔或落笔处通常为本发明所述的处于停顿状态的激光点。
在图4所示的包含多个笔画实例性字符中,在找到起笔点后,人们书写的规律通常为“停顿、移动激光点书写第一笔画、停顿、移动激光点寻找第二笔起点、停顿、移动激光点书写第二笔画、停顿、移动激光点寻找第三笔起点、停顿、移动激光点书写第三笔画......”。
在本发明中,由用户手执激光笔所画的包含多个笔画的字符可以由一条激光轨迹完成。也就是说,用户仅需要画出一条激光轨迹就可以完成一个字符的手写输入。在书写一个字符的过程中激光笔不需要频繁的闪灭,而是一直保持亮的状态,这样用户可以很容易的通过亮着的激光点进行定位手移动的方向和位置。
图5所示的是激光笔悬停时投影屏幕上停顿激光点的放大示意图。当检测到的激光点的位置都落在一定的范围内且激光笔被用户悬停了一定的时间后,产生了激光点的停顿现象。激光点的停顿状态被用来在激光轨迹中分割出笔画,这将在结合附图6解释轨迹的分割时进行详细描述。
图7所示的是进行激光点检测和激光点状态确定的具体流程图。
在如图7所示的检测和确定的流程中,在步骤S701处,激光点检测单元31对摄像头1所拍摄的图像帧执行检测,获取激光点信号S,即一个二元组((x,y),t),并将该二元组输入激光点状态确定单元32。在步骤S702处,激光点状态确定单元32中激光点存在判断单元321判断是否存在激光点。如果确定存在激光点S,则步骤进入S703。如果确定不存在激光点,则步骤进入S704.
在步骤S704处,由激光点状态确定单元32中的超时计数器322对连续不存在激光点的图像帧的数量进行累计,并将累计值A输入到激光点状态确定单元32中的激光笔关闭判断单元323,随后进入步骤S705。在步骤S705处,激光点状态确定单元32中的激光笔关闭判断单元323判断所接收的所述累计值A是否大于一个预定的时间阈值,如果大于预定的时间阈值T1,则在步骤S706处输出激光点状态信息为“激光关(Laser Off)”,否则,返回到步骤S701进行下一帧图像的检测。
相反,如果在步骤S702处,激光点存在判断单元321判断存在激光点,直接在步骤503处输出激光点状态信息“激光开(Laser On)”,从而触发步骤C,即开始笔画分割进程。与此同时,将超时计数器322清零,并使得进程进入步骤S707。
在步骤S707,激光点状态确定单元32中的激光点位置比较单元324搜索前一帧图像中激光点状态信息,如果前一帧图像中的激光点状态信息为“激光关(Laser Off)”,则进程返回到步骤S701,如果前一帧图像的激光点状态信息为“激光开(Laser On)”,则比较当前图像帧中的激光点的位置与前一帧图像中的激光点的位置之间的距离L,并将该距离输出到激光点状态确定单元32中的激光点移动确定单元325,随后进程进入步骤S709。
在步骤S708处,激光点移动确定单元325判断所接收的距离L是否大于一预定的距离阈值D。如果判断结果表示所接收的距离是否大于一预定的距离阈值D,则在步骤S709处输出激光点状态信息“激光移动(Laser Move)”;否则,进程进入步骤S710。该预定的距离阈值通过如下方式确定:1.通过大量试验找到一个对于大多数用户都较合适的值。2.通过用户训练,针对每个用户的习惯,系统记录相应的值。
在步骤S710处,激光点状态确定单元32中的停顿计数器326对连续出现的相邻两帧图像中的激光点的位置之间的距离小于预定阈值D的帧数进行累计,并将累计值B输出到激光点状态确定单元32中的停顿状态确定单元327。之后进程进入步骤S711。在步骤S711处,停顿状态确定单元327判断所接收的累计值B是否大于一预定的时间阈值T2。如果判断的结果为累计值B大于一预定的时间阈值T2,则在步骤S712中输出激光点状态信息“激光停顿(Laser Dwell)”;否则,返回到步骤S701进行下一图像帧的检测。
如上所述的激光笔停顿时间B可以用如下方法来确定:
首先确定最小反应时间。假设摄像头的帧率为f,采样率为r,则最小反应时间t可以由t=1000/(f*r),单位为毫秒。
这样,信息交互系统在一定的配置下,反应时间是可以确定的,则检测到的激光点信号的数量可以反映时间。假设连续出现的相邻两帧图像中的激光点的位置之间的距离L小于预定阈值D的激光点信号数量为N,则N*t可以表示停顿计数器326所累计的停顿时间B。进一步,假设停顿时间阈值为T2,如果满足条件B>=T2,且当前的激光点状态不是“激光移动(LaserMove)”而是“激光停顿(Laser Dwell)”状态。
如前所述的采样率r,是一个统计量,它表明了所采用的激光点检测算法的正确率。只有正确检测出的激光点信号对于转换激光点状态才是有效的。
如前所述的停顿时间阈值T2,不是一个固定值,它可以依据不同的用户习惯进行自适应的调整。要做到这点,可以通过某些训练方法或者分类算法在系统初始化阶段时依据用户训练的数据确定该阈值T2。
通过上面结合附图5所描述的检测和确定过程,可以确定一条连续的激光笔移动过程中投射在投影屏幕上的激光点轨迹中那些部分属于移动轨迹,那些部分属于激光点的停顿。
图8所示的是根据本发明的实施方式进行笔画分割的流程图。该流程随着激光点状态确定单元32所依次输出的激光点状态信息而依此执行步骤S801-S809。
当上面结合附图7所述的步骤S703中初次输出“激光开(Laser On)”时,触发本发明所述的信息交互过程的开始,即触发激光笔书写过程(步骤S801)。该过程有计算机3中的笔画分割单元33进行。
笔画分割单元33通过获得激光点状态确定单元32所依次输出的机关点状态信息对已经处理的激光点轨迹在下述步骤中进行分割,从而分割出书写定位轨迹和书写轨迹。
在步骤S703处,当初次出现Laser On状态时,进入随后的步骤S801,,并。在步骤S801处,笔画分割单元33中的分割触发单元331触发笔画分割过程。
当笔画分割单元33在初次获得Laser On状态之后,从激光点状态确定单元32所获取的激光点状态信息为“激光移动(Laser Move)”时,则执行步骤S802,在步骤S802中将随后的连续出现的属于“激光移动(Laser Move)”的所有激光点组成的轨迹都分割为“初始书写定位轨迹”,直到从激光点状态确定单元32所获取的激光点状态信息为“激光停顿(Laser Dwell)”为止,从而进入步骤S803。如果当笔画分割单元33在初次获得Laser On状态之后,从激光点状态确定单元32所获取的激光点状态信息为“激光停顿(LaserDwell)”,则直接进入步骤S803。在步骤S803中,将激光点停顿点确定为书写轨迹的起点。
随后,如果笔画分割单元33从激光点状态确定单元32所获取的激光点状态信息为“激光移动(Laser Move)”时,执行步骤S804。在步骤S804中,将随后的连续出现的属于“激光移动(Laser Move)”的所有激光点组成的轨迹都分割为“书写轨迹”,直到从激光点状态确定单元32再次获取激光点状态信息“激光停顿(Laser Dwell)”为止。当再次获取激光点状态信息“激光停顿(Laser Dwell)”时,进入步骤S805。在该步骤S805处,将再次获取的激光点状态信息“激光停顿(Laser Dwell)”的停顿点作为所述书写轨迹的终点。
随后,笔画分割单元33在步骤S806中对所分割出的书写轨迹进行处理,并将处理后的书写轨迹作为笔画投射到投影屏幕上。
之后,笔画分割单元33依据人们书写多个笔画的字符的规律重复步骤S802-S805,直到在步骤S807从激光点状态确定单元32所获取的激光点状态信息为“激光关(Laser Off)”为止,从而在步骤S807处结束笔画分割,由此结束一个字符的书写。
激光点状态确定单元32所输出激光点状态信息的规律也符合上面结合附图4所给出的书写规律,即“停顿、移动激光点书写第一笔画、停顿、移动激光点寻找第二笔起点、停顿、移动激光点书写第二笔画、停顿、移动激光点寻找第三笔起点、停顿、移动激光点书写第三笔画......”。也就是,当进入书写状态时,激光点状态确定单元32所输出激光点状态信息为“激光移动(Laser Move)”与“激光停顿(Laser Dwell)”交替出现。而笔画分割单元33则基于所获得的状态信息依据上述书写规律重复执行步骤S802-S806来分割激光点轨迹。
图9所示的是在投影屏幕上进行笔画映射的示意图,其中激光笔所书写的较大的字符被映射到指定的区域里。
用户手执激光笔在根据本发明的信息交互系统的投影屏幕左下方写下了一个较大的汉字“山”。经过笔画映射单元的处理与映射后,这个汉字“山”被映射到投影屏幕上的映射区域内,图中的虚线矩形框表示该映射区域,该矩形框内的实心线条表示被映射后的字符。
令p(x,y)表示书写的轨迹上点的坐标,P(X,Y)表示点p经过映射后的新坐标,则P与p的坐标变换可由下面的矩阵表示:
X Y = x 1 x ′ y 1 y ′ 1 1 - - - ( 1 )
x ′ y ′ = Sx O O S y x y - - - ( 2 )
Sx Sy = 1 / W 0 0 1 / W x 2 x 1 y 2 y 1 1 - 1 - - - ( 3 )
通过上述方式,可以增强这些笔画在屏幕上的显示效果,最终提高系统的交互体验。例如,可以采用矩阵进行线性变换将笔画映射到大屏幕上的较小的区域里,使得系统支持用户使用激光笔进行非接触的书写较小的字符。
采用上面所描述的信息交互系统和方法,能够将激光笔照射在屏幕上的激光信号转换并映射成所要写的字符笔画上的点的坐标信息,并将这些点在大屏幕上显示出来,从而实现用户使用该激光笔在该投影画面上手写输入或者画画的愿望。使用本发明,在每条激光轨迹包含有多个笔画的情况下,用户仅需要画出一条激光轨迹就可以完成一个字符的手写输入。在手写一个字符的过程中激光笔不需要频繁的闪灭,而是一直保持亮的状态,这样用户可以很容易的通过亮着的激光点进行定位手移动的方向和位置。
上面已经参考附图描述了根据本发明实施例的代表性信息交互方法和系统。应当注意的是,上述实施例仅是示例性的,而并非限制性的。本领域技术人员完全可以对本发明实施例进行各种修改和替换,而不背离本发明的范围。

Claims (10)

1.一种信息交互系统,包括:
激光笔,用于发射激光并在投影屏幕上形成激光点;
图像捕获装置,用于捕获包含有投影屏幕的图像;
激光点检测单元,用于检测所述图像捕获装置所捕获的每帧图像中的激光点以及所述激光点在所述投影屏幕中位置信息和时间信息;
激光点状态确定单元,基于所述激光点检测单元所检测的位置信息和时间信息,确定激光点是出于移动状态或停顿状态;
激光点轨迹分割单元,用于根据所述激光点状态信息,按照书写一个字符的过程中定位于书写交替进行的规律,将激光点在所述投影屏幕上的轨迹分割为定位轨迹和书写轨迹;
笔画映射单元,用于对所述激光点轨迹分割单元所分割出的书写轨迹进行处理并将其映射为能够显示在投影屏幕上的字符的笔画。
2.根据权利要求1所述的信息交互系统,其中所述激光点状态确定单元还包括超时计数器,用于累计不包含激光点的图像的连续帧数,当所述超时计数器所累计的不包含激光点的图像的连续帧数超过以预定时间阈值时,则确定激光笔处于激光笔处于关状态。
3.根据权利要求1所述的信息交互系统,其中所述激光点状态确定单元还包括激光点位置比较单元,用于计算当前一帧图像中的激光点位置与前一帧图像中的激光点之间的距离,
其中当所述激光点位置比较单元所计算的两者的距离大于一预定的距离时,所述激光点状态确定单元将激光点的状态确定为所述移动状态。
4.根据权利要求3所述的信息交互系统,其中所述激光点状态确定单元还包括停顿计数器,当所述激光点位置比较单元所计算的两者的距离小于所述预定的距离时,累计激光点距离小于所述预定距离连续图像帧数,
其中当所述停顿计数器所累计的激光点距离小于所述预定距离连续图像帧数超过预定的时间阈值时,所述激光点状态确定单元将激光点的状态确定为停顿状态。
5.根据权利要求1所述的信息交互系统,其还包括:
线性变换单元,采用矩阵的线性变换,将字符笔画映射到投影屏幕上的指定区域。
6.一种信息交互方法,包括:
发射激光并在投影屏幕上形成激光点;
捕获包含有投影屏幕的图像;
检测所捕获的每帧图像中的激光点以及所述激光点在所述投影屏幕中位置信息和时间信息;
基于所检测的位置信息和时间信息,确定激光点是出于移动状态或停顿状态;
根据所述激光点状态信息,按照书写一个字符的过程中定位于书写交替进行的规律,将激光点在所述投影屏幕上的轨迹分割为定位轨迹和书写轨迹;
对所分割出的书写轨迹进行处理并将其映射为能够显示在投影屏幕上的字符的笔画。
7.根据权利要求6所述的信息交互方法,其中所述确定激光点是出于移动状态或停顿状态还包括:
累计不包含激光点的图像的连续帧数,当所述超时计数器所累计的不包含激光点的图像的连续帧数超过以预定时间阈值时,则确定激光笔处于激光笔处于关状态。
8.根据权利要求6所述的信息交互方法,其中所述确定激光点是出于移动状态或停顿状态还包括:
计算当前一帧图像中的激光点位置与前一帧图像中的激光点之间的距离,并且所计算的距离大于一预定的距离时,将激光点的状态确定为所述移动状态。
9.根据权利要求8所述的信息交互方法,其中所述确定激光点是出于移动状态或停顿状态还包括:
当所述激光点位置比较单元所计算的两者的距离小于所述预定的距离时,累计激光点距离小于所述预定距离连续图像帧数,并且当所累计的激光点距离小于所述预定距离连续图像帧数超过预定的时间阈值时,将激光点的状态确定为停顿状态。
10.根据权利要求6所述的信息交互方法,其还包括:
采用矩阵的线性变换,将字符笔画映射到投影屏幕上的指定区域。
CN201010194032.1A 2010-06-08 2010-06-08 信息交互方法及系统 Expired - Fee Related CN102279668B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201010194032.1A CN102279668B (zh) 2010-06-08 2010-06-08 信息交互方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201010194032.1A CN102279668B (zh) 2010-06-08 2010-06-08 信息交互方法及系统

Publications (2)

Publication Number Publication Date
CN102279668A true CN102279668A (zh) 2011-12-14
CN102279668B CN102279668B (zh) 2014-12-10

Family

ID=45105150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010194032.1A Expired - Fee Related CN102279668B (zh) 2010-06-08 2010-06-08 信息交互方法及系统

Country Status (1)

Country Link
CN (1) CN102279668B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662500A (zh) * 2012-05-11 2012-09-12 重庆大学 基于多媒体投影系统的鼠标指针位置控制方法
CN103268170A (zh) * 2013-04-26 2013-08-28 国家电网公司 通过图像识别激光笔指向的位置形成连续坐标输出的定位装置及定位方法
CN104464448A (zh) * 2015-01-06 2015-03-25 京东方科技集团股份有限公司 激光笔轨迹记录驱动电路及方法、显示装置及其驱动方法、激光笔轨迹记录控制系统及方法
WO2017045517A1 (zh) * 2015-09-17 2017-03-23 深圳市国华识别科技开发有限公司 基于手势识别的文字输入方法、装置及存储介质
CN107065729A (zh) * 2017-05-23 2017-08-18 歌尔股份有限公司 一种激光笔的安全防护方法及安全防护系统
CN107539871A (zh) * 2016-06-23 2018-01-05 卡西欧计算机株式会社 输出控制装置、输出控制方法及计算机可读取介质
CN109002198A (zh) * 2018-10-08 2018-12-14 陈超 投影设备激光笔输入系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040075820A1 (en) * 2002-10-22 2004-04-22 Chu Simon C. System and method for presenting, capturing, and modifying images on a presentation board
CN1687869A (zh) * 2005-05-17 2005-10-26 殷绪成 激光笔的数字墨水生成方法与生成系统
US7193608B2 (en) * 2003-05-27 2007-03-20 York University Collaborative pointing devices
CN101251784A (zh) * 2008-04-03 2008-08-27 上海交通大学 激光笔指示与光点轨迹识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040075820A1 (en) * 2002-10-22 2004-04-22 Chu Simon C. System and method for presenting, capturing, and modifying images on a presentation board
US7193608B2 (en) * 2003-05-27 2007-03-20 York University Collaborative pointing devices
CN1687869A (zh) * 2005-05-17 2005-10-26 殷绪成 激光笔的数字墨水生成方法与生成系统
CN101251784A (zh) * 2008-04-03 2008-08-27 上海交通大学 激光笔指示与光点轨迹识别方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662500A (zh) * 2012-05-11 2012-09-12 重庆大学 基于多媒体投影系统的鼠标指针位置控制方法
CN102662500B (zh) * 2012-05-11 2015-02-04 重庆大学 基于多媒体投影系统的鼠标指针位置控制方法
CN103268170A (zh) * 2013-04-26 2013-08-28 国家电网公司 通过图像识别激光笔指向的位置形成连续坐标输出的定位装置及定位方法
CN104464448A (zh) * 2015-01-06 2015-03-25 京东方科技集团股份有限公司 激光笔轨迹记录驱动电路及方法、显示装置及其驱动方法、激光笔轨迹记录控制系统及方法
CN104464448B (zh) * 2015-01-06 2016-11-30 京东方科技集团股份有限公司 激光笔轨迹记录驱动电路及方法、显示装置及其驱动方法、激光笔轨迹记录控制系统及方法
WO2017045517A1 (zh) * 2015-09-17 2017-03-23 深圳市国华识别科技开发有限公司 基于手势识别的文字输入方法、装置及存储介质
US10725552B2 (en) 2015-09-17 2020-07-28 Shenzhen Prtek Co., Ltd. Text input method and device based on gesture recognition, and storage medium
CN107539871A (zh) * 2016-06-23 2018-01-05 卡西欧计算机株式会社 输出控制装置、输出控制方法及计算机可读取介质
CN107065729A (zh) * 2017-05-23 2017-08-18 歌尔股份有限公司 一种激光笔的安全防护方法及安全防护系统
CN107065729B (zh) * 2017-05-23 2019-04-30 歌尔股份有限公司 一种激光笔的安全防护方法及安全防护系统
CN109002198A (zh) * 2018-10-08 2018-12-14 陈超 投影设备激光笔输入系统

Also Published As

Publication number Publication date
CN102279668B (zh) 2014-12-10

Similar Documents

Publication Publication Date Title
CN102279668B (zh) 信息交互方法及系统
CN105988567B (zh) 手写信息的识别方法和装置
CN104616028B (zh) 基于空间分割学习的人体肢体姿势动作识别方法
CN110458059B (zh) 一种基于计算机视觉的手势识别方法及识别装置
CN102024151B (zh) 手势动作识别模型的训练方法和手势动作识别方法
CN109407954B (zh) 一种书写轨迹的擦除方法和系统
US20120062736A1 (en) Hand and indicating-point positioning method and hand gesture determining method used in human-computer interaction system
Munich et al. Visual input for pen-based computers
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
CN103150019A (zh) 一种手写输入系统及方法
CN104166509A (zh) 一种非接触式屏幕交互方法及系统
CN114138121B (zh) 用户手势识别方法、装置、系统、存储介质及计算设备
US11482001B2 (en) Image processing device, image processing method, and image processing system
KR20130118895A (ko) 제스처 입력을 검출하기 위한 방법 및 장치
CN114327064A (zh) 一种基于手势控制的标绘方法、系统、设备及存储介质
CN110427945A (zh) 一种基于实物及手势的交互方法和计算机设备
US20120139838A1 (en) Apparatus and method for providing contactless graphic user interface
CN112965602A (zh) 一种基于手势的人机交互方法及设备
CN107102781A (zh) 一种自标识触控笔及多点触控交互系统
Mocaër et al. Online spatio-temporal 3d convolutional neural network for early recognition of handwritten gestures
Jain et al. Gestarlite: An on-device pointing finger based gestural interface for smartphones and video see-through head-mounts
CN1326023C (zh) 电子显示系统定位方法及其装置
CN107329578A (zh) 一种手势识别装置、远程写字系统及其应用方法
CN115097928A (zh) 手势控制方法及装置、电子设备、存储介质
CN114942690A (zh) 显示面板的图像处理装置、显示系统及图像处理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20141210

Termination date: 20200608

CF01 Termination of patent right due to non-payment of annual fee