CN107102781A - 一种自标识触控笔及多点触控交互系统 - Google Patents

一种自标识触控笔及多点触控交互系统 Download PDF

Info

Publication number
CN107102781A
CN107102781A CN201710249634.4A CN201710249634A CN107102781A CN 107102781 A CN107102781 A CN 107102781A CN 201710249634 A CN201710249634 A CN 201710249634A CN 107102781 A CN107102781 A CN 107102781A
Authority
CN
China
Prior art keywords
stylus
tagging
laser
module
interactive system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710249634.4A
Other languages
English (en)
Inventor
王江涛
江剑峰
徐刚
陈彪
肖宇
赵新峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Huaquan Information Science & Technology Co Ltd
East China Normal University
Original Assignee
Shanghai Huaquan Information Science & Technology Co Ltd
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Huaquan Information Science & Technology Co Ltd, East China Normal University filed Critical Shanghai Huaquan Information Science & Technology Co Ltd
Priority to CN201710249634.4A priority Critical patent/CN107102781A/zh
Publication of CN107102781A publication Critical patent/CN107102781A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种用于多点触控交互系统的自标识触控笔，包括相连的笔杆和笔头、电源模块、中控模块和激光模块；电源模块和中控模块及激光模块分别连接；中控模块和激光模块连接，用于控制激光模块以特定唯一频率发射激光。触控笔的中控模块控制激光模块以特定的频率发射激光，该频率可以唯一确定笔的编号，摄像机以不低于激光模块发射激光的频率的帧率拍摄触控屏，并将拍摄的图片序列传至处理单元，处理单元分析处理提取到的明暗变化的光斑图片序列得到所对应笔的编号和轨迹，克服多点交互情况下不能识别不同触控笔操作产生的轨迹、不同操作者的操作的不足，基于该自标识触控笔，本发明还公开了一种多点触控交互系统。

Description

一种自标识触控笔及多点触控交互系统
技术领域
本发明属于激光成像和图像分析领域，尤其涉及一种自标识触控笔及多点触控交互系统。
背景技术
由计算机和投影仪等组成的多媒体设备丰富了传统板书教学方式、会议组织形式，获得了广泛使用。但由于讲演者需要不断地操作计算机，比如无法在课堂教学中充分展现个人魅力，无暇充分顾及听众的反应，两者缺乏情感交流，很难做到及时互动，导致课堂效率低下。
触控交互系统扩展了传统多媒体的功能，使用者可以灵活方便地对触控屏如白板上的内容进行编辑、注释、操作等，实现互动式展示、互动式教学，因此触控交互系统在教育教学、会议等场合下越来越得到广泛地应用。
其中采用摄像机的触控交互系统由于其可靠准确定位、触控屏体积小、成本低等优势越来越送到关注，但是在多人交互情况下，不能将触控屏的操作轨迹点与笔、操作者对应起来，所以具有一定的局限性。
有鉴于此，本发明提出了一种用于多点触控交互系统的自标识触控笔，应用在现有的触控交互系统中，触控笔产生激光光束照射触控屏，触控屏上出现激光点，摄像机以不低于激光模块发射激光的频率的帧率拍摄触控屏，并将拍摄的图片序列传至处理单元，处理单元分析处理提取到的明暗变化的光斑图片序列得到所对应笔的编号和轨迹，克服多点交互情况下不能识别不同触控笔操作产生的轨迹、不同操作者的操作的不足。基于该自标识触控笔，本发明还提出了一种多点触控交互系统。
发明内容
本发明提出了一种用于多点触控交互系统的自标识触控笔，包括相连的笔杆和笔头，进一步设有电源模块、中控模块和激光模块；所述电源模块和所述中控模块及所述激光模块分别连接；所述中空模块和所述激光模块连接，用于控制所述激光模块以固定唯一频率发射激光。
本发明提出的所述自标识触控笔中，所述自标识触控笔配置有唯一编号。
本发明提出的所述自标识触控笔中，所述激光模块的激光发射频率与所述唯一编号相关。
本发明提出的所述自标识触控笔中，所述唯一编号包括校验位和载荷位。
本发明还提出了一种多点触控交互系统，包括：触控屏，用于被投射影像和自标识触控笔的光斑；投影仪，其投射影像到所述触控屏上；至少一支所述自标识触控笔；所述自标识触控笔发射激光到所述触控屏上形成光斑；摄像机，其以不低于自标识触控笔激光发射频率的帧率采集所述触控屏的图像；处理单元，其与所述摄像机连接，通过获取图像中光斑的明暗变化分析得到激光的发射频率，进而获取自标识触控笔的信号序列，得到所述自标识触控笔的轨迹和唯一编号。
本发明提出的所述多点触控交互系统中，所述处理单元逐帧提取图像，捕捉图像中的光斑，利用二进制数表示光斑的明暗变化，得到所述自标识触控笔的唯一编码。
本发明提出的所述多点触控交互系统中，所述触控屏为白板、透明或半透明投影幕布。
本发明提出的所述多点触控交互系统中，所述投影仪、所述摄像机和所述自标识触控笔位于所述触控屏的同侧或两侧。
本发明的有益效果在于：在多人交互情况下将触控屏的操作的轨迹点与笔、操作者不能对应起来，实现在多人交互情况下识别不同操作者操作轨迹，具有一定的实用价值和商业价值。
附图说明
图1为本发明提出的用于多点触控交互系统的自标识触控笔的结构示意图。
图2为本发明多点触控交互系统的的示意图。
图3为多点触控交互系统中的一种投影仪、摄像机和触控屏的设置关系示意图。
图4为本发明触控笔编号对应的二进制脉冲信号的一编码格式实例示意图。
图5为本发明触控笔的一实施例中触控笔的一无效编码情况示意图
图6为本发明触控笔的一实施例中触控笔的另一无效编码情况示意图
图7为本发明触控笔的一实施例中笔的除上述外另一无效编码情况示意图
图8为本发明触控笔的一实施例中触控笔的有效编码情况示意图
图9为本发明提出的多点交互系统中的处理单元对激光点光斑的图像序列分组示意图。
具体实施方式
结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。
如图1所示，本发明用于多点触控交互系统的自标识触控笔10包括相连的笔杆11和笔头12，进一步设有电源模块13、中控模块14和激光模块15；电源模块13和中控模块14及激光模块15分别连接；中空模块14和激光模块15连接，用于控制激光模块15以固定唯一频率发射激光。自标识触控笔10配置有对应于自标识触控笔10的唯一编号。本发明提出的自标识触控笔10的激光发射频率与该唯一编号相关。
图2显示的是多点触控交互系统的的示意图，具体包括触控屏22、投影仪23、摄像机21、处理单元24和自标识触控笔10。投影仪23投射影像到触控屏22上。自标识触控笔10发射激光到触控屏22上形成光斑，摄像机21以不低于自标识触控笔10激光发射频率的帧率采集触控屏22的图像。处理单元24与摄像机21连接，通过获取图像中光斑的明暗变化分析得到激光的发射频率，进而获取自标识触控笔10的信号序列，得到自标识触控笔10的轨迹和唯一编号。图3显示的是一种投影仪、摄像机和触控屏的设置关系，投影仪23、摄像机21和自标识触控笔10位于触控屏22的同侧或两侧均可。触控屏22为白板、透明或半透明投影幕布，只需能够反射或部分反射影像即可。
如图3所示，为上述触控笔10对应的应用系统，该系统包括投影仪、处理单元、触控屏、自标识触控笔10、摄像机，其中，投影仪和摄像机与处理单元连接，将处理单元显示设备的结果投射到触控屏上。
如图4所示，为触控笔10的编号对应的二进制脉冲信号的编码格式实例，通信数据帧包括同步头，如图所示，前3位内容为二进制表示的，内容是111，用SYNC标识同步头；后5位内容也是二进制表示的，该部分表示数据帧的载荷，用来表示触控笔10编号，用Payload标识该部分，当处理单元软件分析处理图片，将图像序列还原成脉冲信号编码后，因为前三位表示同步，从第四位开始计算触控笔10的编码，分析出触控笔10的编码的过程即就实现了区分不同触控笔10产生的笔迹。
以下结合若干具体实施例，对本发明多点触控交互系统的交互方式进行详细阐述。
本实施例中两使用者各持一支触控笔10，A笔编号为11101000，B笔编号为11101010，A笔、B笔在触控屏上运动，并同时在触控笔10的编号对应的脉冲信号的控制下发送激光，因编号不同，两笔发射激光的频率不同。
摄像机21放置在触控屏22前面，以30FPS的帧率对激光点光斑摄像，摄像机21通过数据线连接处理单元24(也可以通过视频采集卡连接处理单元)，并将图像序列传至处理单元24。在本实施例中，摄像机21在1s时间内拍摄30张图像，并将图像序列传至处理单元24。处理单元24通过驱动软件对图像序列进行采样形成新的图像序列，在本实施例中，每隔1/30s，处理单元24接收到一张图像，顺序接收到的多张图像为一组，对该组图片进行分析。如图9所示，自标识触控笔10的二进制编号的总位数为8bit(即8位)，所以当处理单元24每收到8帧图像后就会把这些图像归为一组进行处理。图像中出现光点表示二进制1，图像中没出现光点表示二进制0。在本实施例中，两笔编号第7位不同，因为其他图像都一样，所以只要比较第7张图像中有没有出现激光点，根据图像序列就可以还原激光模块15的二进制脉冲信号，又因为二进制脉冲信号与自标识触控笔10的编号一致，这样就得到自标识触控笔10的编号。
因为光斑的位置变化对应触控笔10的笔迹，处理单元24处理统计30张图像便得到光斑的移动轨迹。综合上述结果，处理单元24可以区分不同笔产生的轨迹。
自标识触控笔10的唯一编码如图4所示，触控笔10的二进制编码对应的脉冲信号共8个bit，前3个表示SYNC(同步)，用于同步，在本实施例中用111表示，后5bit为Payload(载荷)，表示笔的编码信息。分析后5bit，可得出笔的编码范围，除下面几种情况外的编码都是有效的编码：
1)如图5所示，Payload部分出现连续111，共3bit。
如图6所示，Payload部分的第1位是1，和SYNC(同步)冲突。
如图7所示，Payload部分的最后一位是1，和下一个帧中的SYNC(同步)冲突。
综上分析，Payload中首末两位均不能为1，即就是只能为0，则payload编码范围为00000——01110，其中01110因含有连续“111”，所以该编码是无效的，另外定义当payload中为“00000”，表示出现故障，所以用于识别笔的编码数量为23-2＝6，编码如下图8所示。
本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (8)

1.一种用于多点触控交互系统的自标识触控笔，包括相连的笔杆(11)和笔头(12)，其特征在于，进一步设有电源模块(13)、中控模块(14)和激光模块(15)；
所述电源模块(13)和所述中控模块(14)及所述激光模块(15)分别连接；
所述中空模块(14)和所述激光模块(15)连接，用于控制所述激光模块(15)以固定唯一频率发射激光。
2.如权利要求1所述的自标识触控笔，其特征在于，所述自标识触控笔配置有唯一编号。
3.如权利要求2所述的自标识触控笔，其特征在于，所述激光模块(15)的激光发射频率与所述唯一编号相关。
4.如权利要求2所述的自标识触控笔，其特征在于，所述唯一编号包括校验位和载荷位。
5.一种多点触控交互系统，其特征在于，包括：
触控屏(22)，用于被投射影像和自标识触控笔的光斑；
投影仪(23)，其投射影像到所述触控屏(22)上；
至少一支如权利要求1-4之任一项所述的自标识触控笔(10)；所述自标识触控笔(10)发射激光到所述触控屏(22)上形成光斑；
摄像机(21)，其以不低于自标识触控笔(10)激光发射频率的帧率采集所述触控屏(22)的图像；
处理单元(24)，其与所述摄像机(21)连接，通过获取图像中光斑的明暗变化分析得到激光的发射频率，进而获取自标识触控笔(10)的信号序列，得到所述自标识触控笔(10)的轨迹和唯一编号。
6.如权利要求5所述的多点触控交互系统，其特征在于，所述处理单元(24)逐帧提取图像，捕捉图像中的光斑，利用二进制数表示光斑的明暗变化，得到所述自动标识触控笔(10)的唯一编码。
7.如权利要求5所述的多点触控交互系统，其特征在于，所述触控屏(22)为白板、透明或半透明投影幕布。
8.如权利要求5所述的多点触控交互系统，其特征在于，所述投影仪(23)、所述摄像机(21)和所述自标识触控笔(10)位于所述触控屏(22)的同侧或两侧。
CN201710249634.4A 2017-04-17 2017-04-17 一种自标识触控笔及多点触控交互系统 Pending CN107102781A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710249634.4A CN107102781A (zh) 2017-04-17 2017-04-17 一种自标识触控笔及多点触控交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710249634.4A CN107102781A (zh) 2017-04-17 2017-04-17 一种自标识触控笔及多点触控交互系统

Publications (1)

Publication Number Publication Date
CN107102781A true CN107102781A (zh) 2017-08-29

Family

ID=59656275

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710249634.4A Pending CN107102781A (zh) 2017-04-17 2017-04-17 一种自标识触控笔及多点触控交互系统

Country Status (1)

Country Link
CN (1) CN107102781A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108762579A (zh) * 2018-06-15 2018-11-06 广州华欣电子科技有限公司 一种多支压感笔书写笔迹的生成方法、系统及相关组件
CN111880671A (zh) * 2020-07-08 2020-11-03 扬州哈工科创机器人研究院有限公司 激光笔指示系统和激光笔指示光标定位的方法
CN112486347A (zh) * 2019-09-12 2021-03-12 青岛海信商用显示股份有限公司 触控显示装置、触控笔、触控显示系统及其触控检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW394879B (en) * 1996-02-09 2000-06-21 Sega Enterprises Kk Graphics processing system and its data input device
US7692639B2 (en) * 2006-02-10 2010-04-06 Microsoft Corporation Uniquely identifiable inking instruments
CN101776962A (zh) * 2006-05-12 2010-07-14 深圳市巨龙科教高技术股份有限公司 一种用于交互电子白板的电子笔
US8040330B2 (en) * 2006-12-28 2011-10-18 3M Innovative Properties Company Untethered stylus empolying multiple reference frequency communication
CN102918480A (zh) * 2010-04-01 2013-02-06 智能技术无限责任公司 通过解调图像帧确定有源指示器属性
CN103500017A (zh) * 2013-09-17 2014-01-08 锐达互动科技股份有限公司 一种光电互动模组多笔识别和跟踪方法
CN103941924A (zh) * 2014-04-25 2014-07-23 锐达互动科技股份有限公司 一种实现红外光编解码的互动投影装置及其方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW394879B (en) * 1996-02-09 2000-06-21 Sega Enterprises Kk Graphics processing system and its data input device
US7692639B2 (en) * 2006-02-10 2010-04-06 Microsoft Corporation Uniquely identifiable inking instruments
CN101776962A (zh) * 2006-05-12 2010-07-14 深圳市巨龙科教高技术股份有限公司 一种用于交互电子白板的电子笔
US8040330B2 (en) * 2006-12-28 2011-10-18 3M Innovative Properties Company Untethered stylus empolying multiple reference frequency communication
CN102918480A (zh) * 2010-04-01 2013-02-06 智能技术无限责任公司 通过解调图像帧确定有源指示器属性
CN103500017A (zh) * 2013-09-17 2014-01-08 锐达互动科技股份有限公司 一种光电互动模组多笔识别和跟踪方法
CN103941924A (zh) * 2014-04-25 2014-07-23 锐达互动科技股份有限公司 一种实现红外光编解码的互动投影装置及其方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108762579A (zh) * 2018-06-15 2018-11-06 广州华欣电子科技有限公司 一种多支压感笔书写笔迹的生成方法、系统及相关组件
CN108762579B (zh) * 2018-06-15 2021-09-28 广州华欣电子科技有限公司 一种多支压感笔书写笔迹的生成方法、系统及相关组件
CN112486347A (zh) * 2019-09-12 2021-03-12 青岛海信商用显示股份有限公司 触控显示装置、触控笔、触控显示系统及其触控检测方法
CN112486347B (zh) * 2019-09-12 2023-04-11 青岛海信商用显示股份有限公司 触控显示装置、触控笔、触控显示系统及其触控检测方法
CN111880671A (zh) * 2020-07-08 2020-11-03 扬州哈工科创机器人研究院有限公司 激光笔指示系统和激光笔指示光标定位的方法

Similar Documents

Publication Publication Date Title
CN100583017C (zh) 带用户身份标识的无线控制激光笔及多用户光点识别系统
US20060092178A1 (en) Method and system for communicating through shared media
JP5099595B2 (ja) 電子ペン・システム及びそのプログラム
KR102492423B1 (ko) Diy 전자칠판 기반의 원격강의 제공 시스템 및 그 방법
CN107102781A (zh) 一种自标识触控笔及多点触控交互系统
CN108492634A (zh) 一种基于智慧课堂的教学系统及其工作方法
CN114327064A (zh) 一种基于手势控制的标绘方法、系统、设备及存储介质
JP6248409B2 (ja) データ管理システム及びプログラム
Margetis et al. Augmenting physical books towards education enhancement
CN207557895U (zh) 一种应用于大型显示屏幕或投影屏幕的设备定位装置
JP2010154089A (ja) 会議システム
JP6056263B2 (ja) 端末装置、電子ペンシステム及びプログラム
CN208197930U (zh) 可记录笔迹信息的黑板
CN110109576A (zh) 一种内容查询方法、装置、智能投影设备及存储介质
JP5366035B2 (ja) コンピュータ装置及びプログラム
JP5915118B2 (ja) アーカイブシステム、第一の端末及びプログラム
JP5483266B2 (ja) 電子ペンによる記入進捗を管理する端末装置及びプログラム
JP5288340B2 (ja) 表示システムおよびそのプログラム
JP5141997B2 (ja) コンピュータ、それを用いた表示システム、およびそのプログラム
Wang et al. CAPFF: A context-aware assistant for paper form filling
JP5472505B2 (ja) コンピュータ装置及びプログラム
CN101308411A (zh) 光学人机互动识别系统及方法
JP5862395B2 (ja) 端末装置、コンテンツ再生システム、及びプログラム
CN103135805A (zh) 一种投影近点控制和远程控制的切换系统及方法
JP5983136B2 (ja) 電子ペンシステム及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170829