CN103984482A - 基于普通摄像头的激光笔绘图方法 - Google Patents

基于普通摄像头的激光笔绘图方法 Download PDF

Info

Publication number
CN103984482A
CN103984482A CN201410229000.9A CN201410229000A CN103984482A CN 103984482 A CN103984482 A CN 103984482A CN 201410229000 A CN201410229000 A CN 201410229000A CN 103984482 A CN103984482 A CN 103984482A
Authority
CN
China
Prior art keywords
image
laser pen
laser pointer
hot spot
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410229000.9A
Other languages
English (en)
Inventor
陈远
陈文欣
罗必辉
马跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201410229000.9A priority Critical patent/CN103984482A/zh
Publication of CN103984482A publication Critical patent/CN103984482A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明涉及一种基于普通摄像头的激光笔绘图方法。其特征在于,提供一种用低成本的普通摄像头能实现的通过对教师手中的激光笔投射到屏幕上的光斑进行检测与跟踪,在投影屏幕上绘图的方法。具体步骤为:1.视频图像的采集,从摄像头中采集图像,输入到存储图像的空间中,为后续的处理做准备;2.图像的处理,包括将采取到的视频图像进行颜色空间的转换,分离图像的颜色通道,以及一些图像的处理,为了获得更好的跟踪效果;3.激光笔的检测与跟踪,对投影屏幕上的激光笔光斑进行检测,定位出具体坐标位置,然后再跟踪光斑的运动;4.绘图,检测到激光笔光斑的坐标后,就可以根据光斑的运动轨迹,在建立的画图窗口中绘制图形。通过低成本的硬件设备,实现方便地用激光笔在投影屏幕上勾画、标注。

Description

基于普通摄像头的激光笔绘图方法
技术领域
本发明属于图像处理和计算机视觉领域,尤其涉及一种基于普通摄像头跟踪捕捉激光笔运动轨迹在投影屏幕上绘图的方法。
背景技术
激光笔,或者叫激光指示器,常被用来在教育和业务的演示中作为一个醒目的光斑进行远距离指向。激光是一种定向发光的光,激光笔发射的激光只会朝一个方向发出,激光的光束发散的度数只有大约0.001弧度,基本接近平行,可以认为它是基本不发散的光线。而且激光笔的亮度很高,所以它能射到并指亮远距离的物体,对远距离的物体进行指示。激光的波长涵盖的范围很窄,所以激光的颜色是很纯正的。学生在课堂上经常会看到老师使用激光笔,在多媒体教学中,激光笔代替了传统的教鞭,它又被称为电子教鞭。它可以使老师离开投影屏幕,在需要指出重点注意的知识点时使用激光笔指出,从而提高多媒体教学中的讲课效率。
虽然教师在讲课时可以用激光笔指出重点字句,但不能像使用粉笔一样方便地勾画、涂写。为了让教师能方便简洁地在投影屏幕上像黑板一样勾画、标记,需要设计一种激光笔绘图方法。同时考虑到硬件成本,如果使用触摸屏等技术,价格较高,并且不便于移动。而基于目前大量广泛使用的普通摄像头,运用图像处理技术,能实现跟踪激光笔光斑进行绘图。
发明内容
本发明的目的是提供一种用低成本的普通摄像头能实现的通过对教学所用的激光笔光斑进行检测与跟踪,实现在投影屏幕上绘图的方法。
为了达到上述目的,本发明的技术方案提供了一种基于普通摄像头的激光笔光斑检测、跟踪和绘图方法,其步骤为:
1.视频图像的采集
从摄像头中采集图像,输入到存储图像的空间中,为后续的处理做准备;
2.图像的处理
包括将采取到的视频图像进行颜色空间的转换,分离图像的颜色通道,以及一些图像的处理,为了获得更好的跟踪效果;
3.激光笔的检测与跟踪
对投影屏幕上的激光笔光斑进行检测,定位出具体坐标位置,然后再跟踪光斑的运动;
4.绘图
检测到激光笔光斑的坐标后,就可以根据光斑的运动轨迹,在建立的画图窗口中绘制图形了。
本发明通过图像处理和计算机视觉的技术,基于低成本的普通摄像头,检测教学演示用的激光笔光斑位置,跟踪光斑的运动,从而实现在投影屏幕上勾画绘制图形,为教师讲课提供了一个方便快捷的教学演示方式。
附图说明
图1是视频捕获及目标跟踪流程图
图2是对激光笔光斑进行跟踪的算法流程图
具体实施方式
本发明使用普通的摄像头采集包含有投影屏幕的视频信号,通过图像处理和计算机视觉的技术,处理视频画面,基于颜色信息检测出激光笔光斑的位置,然后用MeanShift算法跟踪光斑的运动,根据激光笔光斑的运动轨迹,以及光斑的出现与消失,在投影屏幕上绘制图形。使激光笔真正的成为笔,使得它打出的光斑经过的地方可以得到保存,将激光笔的光斑轨迹记录下来,从而在一个低成本硬件平台的基础上实现一种方便的教学演示方式。
1.视频图像的采集
首先,摄像头视频捕获功能的设计。初始化一个摄像头捕捉的类,调用成员函数打开摄像头,n表示的是摄像头的索引。它需要运行程序的计算机是存在摄像头设备的,打开摄像头的成员函数需要输入程序要用到的摄像头的代表参数,比如说要打开第几个摄像头。打开摄像头后,摄像头会捕获到摄像区域的画面,将摄像头捕捉的类定义的对象捕捉的图像输入到定义的存储图像的矩阵类型中,以此来进行进一步的处理。如果计算机不存在摄像头,或者存在摄像头的情况下调用摄像头失败,则返回不能打开摄像头的信息给用户。具体流程见图1。
2.图像的处理
进行激光笔绘图时所处的环境总是变化的,环境中的光照亮度等也总是变化的,RGB的颜色空间对光照强度的变化比较敏感,如果采用RGB的颜色空间进行跟踪,会由于光照强度的影响对实验的结果产生影响。本实验采用的算法,要求将摄像头采取到的RGB颜色空间下的图像转化到HSV颜色空间,然后再用该算法对HSV颜色空间下的图像进行处理。
HSV颜色空间,参数H代表图像的色彩信息,也就是该像素在光谱中所处的位置的颜色。这个参数用角度量来表示,红、绿、蓝分别相隔120度,互补色分别相隔180度。参数S代表纯度,它是一个比例值,表示的是所选颜色的纯度与该颜色最大的纯度之间的比率,范围从0到1。当S=0时,只有灰度。参数V代表的是色彩的明亮程度,它和光强度没有直接的联系。
RGB颜色空间转化到HSV空间的算法:
max=max(R,G,B)
min=min(R,G,B)
if R=max,H=(G-B)/(max-min)
if G=max,H=2+(B-R)/(max-min)
if B=max,H=4+(R-G)/(max-min)
H=H*60
if H<0,H=H+360
V=max(R,G,B)
S=(max-min)/max
需要注意的是,如果图像的亮度值即参数V很低的话,纯度S也会很低,对应的参数H色度就会在很小的区域范围内,这样的话会导致色度H的噪声较多,不利于进行光斑跟踪算法。
图像的效果处理是基于图像空间转换后根据H分量计算出一个灰度图,对所得的灰度图像进行处理。
3.激光笔的检测与跟踪
激光笔的检测是基于光斑的颜色特征,获知激光笔光斑的H分量的取值范围后,对视频图像进行基于H分量的取值范围的灰度转换。得到的图像进行相关处理后就可以进行光斑的检测。由于是根据目标的H分量进行的图像转化,所以得到的灰度图像应该是目标以及与目标物体颜色相近的区域的取值越高,表现在人眼看来,就是那个图像部位越白亮。H分量取值范围外的区域显示黑色。这样就可以通过在图像检测出激光笔光斑。
检测得到激光笔光斑的初始位置,根据位置信息,就可以舍弃很多与目标物体颜色相近的非目标物体。由运动的连续性可以得到,相近的两帧画面中目标物体的位置应该变化不大。这样就可以实现连续的检测跟踪。
本程序跟踪目标物体是采用如下步骤,选取目标物体后计算目标物体的颜色直方图,根据直方图计算视频图像的反向投影图,在反向投影图上运行跟踪算法得到结果。跟踪算法流程见图2。
激光笔光斑的中心位置由y0移动到新的位置y1
y ^ 1 = &Sigma; i = 1 n h x i &omega; i g ( | | y ^ 0 - x i h | | 2 ) &Sigma; i = 1 n h &omega; i g ( | | y ^ 0 - x i h | | 2 )
4.绘图
得到激光笔光斑的坐标后就可以在绘图窗口中绘图了。设置函数中的参数line(draw,Point(tempx,tempy),Point(x3,y3),RGB(255,0,0),3,8,0)来绘制图像。第一个参数是为绘图建立的图像矩阵类型,第二个参数为上一帧图像跟踪到的目标物体的位置坐标,第三个参数为当前帧中计算出的目标物体的坐标,第四个参数为绘制图像的线条颜色,RGB(255,0,0)代表蓝色,第五个参数为画笔的粗细,第六个参数为线段的类型,第七个参数为坐标点小数点的位数。每一帧图像绘制完成后,都将当前的坐标Point(x3,y3)赋值给Point(tempx,tempy),为下一帧图像的线段绘制做准备。

Claims (1)

1.一种基于普通摄像头的激光笔绘图方法,其特征在于,步骤为:
a)激光笔光斑所处区域图像的色彩空间变换
激光笔绘图时所处的环境总是变化的,环境中的光照亮度等也总是变化的,RGB的颜色空间对光照强度的变化比较敏感,如果采用RGB的颜色空间进行跟踪,会由于光照强度的影响对实验的结果产生影响;本实验采用的算法,要求将摄像头采取到的RGB颜色空间下的图像转化到HSV颜色空间,然后再用该算法对HSV颜色空间下的图像进行处理;
b)激光笔光斑的检测与跟踪
激光笔的检测是基于光斑的颜色特征,获知激光笔光斑的H分量的取值范围后,对视频图像进行基于H分量的取值范围的灰度转换,得到的图像进行相关处理后就可以进行光斑的检测;由于是根据目标的H分量进行的图像转化,所以得到的灰度图像应该是目标以及与目标物体颜色相近的区域的取值越高,表现在人眼看来,就是那个图像部位越白亮;H分量取值范围外的区域显示黑色;这样就可以通过在图像检测出激光笔光斑;
检测得到激光笔光斑的初始位置,根据位置信息,舍弃很多与目标物体颜色相近的非目标物体;由运动的连续性可以得到,相近的两帧画面中目标物体的位置应该变化不大,这样就可以实现连续的检测跟踪;
本方法跟踪目标物体是采用如下步骤,选取目标物体后计算目标物体的颜色直方图,根据直方图计算视频图像的反向投影图,在反向投影图上运行跟踪算法得到结果;
c)激光笔绘图
依据跟踪得到的每帧图像中激光笔光斑的位置,用直线段讲它们连起来;每一帧图像绘制完成后,都将当前的坐标Point(x,y)赋值给Point(tempx,tempy),为下一帧图像的线段绘制做准备。
CN201410229000.9A 2014-05-28 2014-05-28 基于普通摄像头的激光笔绘图方法 Pending CN103984482A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410229000.9A CN103984482A (zh) 2014-05-28 2014-05-28 基于普通摄像头的激光笔绘图方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410229000.9A CN103984482A (zh) 2014-05-28 2014-05-28 基于普通摄像头的激光笔绘图方法

Publications (1)

Publication Number Publication Date
CN103984482A true CN103984482A (zh) 2014-08-13

Family

ID=51276480

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410229000.9A Pending CN103984482A (zh) 2014-05-28 2014-05-28 基于普通摄像头的激光笔绘图方法

Country Status (1)

Country Link
CN (1) CN103984482A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850276A (zh) * 2015-06-05 2015-08-19 安徽状元郎电子科技有限公司 一种基于光学感应控制的电子白板
CN105159449A (zh) * 2015-08-24 2015-12-16 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种用于多屏幕的自动寻踪激光笔系统
CN106937085A (zh) * 2016-12-12 2017-07-07 大连文森特软件科技有限公司 基于ar增强现实技术的绘画辅助系统
CN106949883A (zh) * 2017-02-15 2017-07-14 邢天宜 一种三坐标测绘仪及测绘方法
CN108628570A (zh) * 2017-03-22 2018-10-09 卡西欧计算机株式会社 显示控制装置、显示控制方法及存储介质
CN108701365A (zh) * 2017-08-29 2018-10-23 广东虚拟现实科技有限公司 光点识别方法、装置以及系统
CN108735019A (zh) * 2018-04-25 2018-11-02 深圳中兴网信科技有限公司 便携式互动教学设备、互动教学设备控制方法和装置
CN111375197A (zh) * 2018-12-27 2020-07-07 美泰有限公司 技能游戏装置
CN113382131A (zh) * 2020-03-09 2021-09-10 杭州海康威视数字技术股份有限公司 补光位置可视化方法、摄像机、补光模组及终端设备
CN114690965A (zh) * 2020-12-31 2022-07-01 广州视源电子科技股份有限公司 一种交互设备、交互方法及存储介质
CN115909342A (zh) * 2023-01-03 2023-04-04 湖北瑞云智联科技有限公司 基于触点运动轨迹的图像标记识别系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100322480A1 (en) * 2009-06-22 2010-12-23 Amit Banerjee Systems and Methods for Remote Tagging and Tracking of Objects Using Hyperspectral Video Sensors
CN102707817A (zh) * 2012-04-24 2012-10-03 广州市唯昕电子科技有限公司 激光书写系统
CN103077539A (zh) * 2013-01-23 2013-05-01 上海交通大学 一种复杂背景及遮挡条件下的运动目标跟踪方法
CN103376921A (zh) * 2012-04-25 2013-10-30 鸿富锦精密工业(深圳)有限公司 激光标注系统及标注方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100322480A1 (en) * 2009-06-22 2010-12-23 Amit Banerjee Systems and Methods for Remote Tagging and Tracking of Objects Using Hyperspectral Video Sensors
CN102707817A (zh) * 2012-04-24 2012-10-03 广州市唯昕电子科技有限公司 激光书写系统
CN103376921A (zh) * 2012-04-25 2013-10-30 鸿富锦精密工业(深圳)有限公司 激光标注系统及标注方法
CN103077539A (zh) * 2013-01-23 2013-05-01 上海交通大学 一种复杂背景及遮挡条件下的运动目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张铮等: "《数字图像处理与机器视觉 Visual C++与Matlab实现》", 30 April 2010 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850276A (zh) * 2015-06-05 2015-08-19 安徽状元郎电子科技有限公司 一种基于光学感应控制的电子白板
CN105159449A (zh) * 2015-08-24 2015-12-16 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种用于多屏幕的自动寻踪激光笔系统
CN105159449B (zh) * 2015-08-24 2018-05-15 广东顺德中山大学卡内基梅隆大学国际联合研究院 一种用于多屏幕的自动寻踪激光笔系统
CN106937085A (zh) * 2016-12-12 2017-07-07 大连文森特软件科技有限公司 基于ar增强现实技术的绘画辅助系统
CN106949883B (zh) * 2017-02-15 2022-12-23 天津长瑞大通流体控制系统有限公司 一种三坐标测绘仪及测绘方法
CN106949883A (zh) * 2017-02-15 2017-07-14 邢天宜 一种三坐标测绘仪及测绘方法
CN108628570A (zh) * 2017-03-22 2018-10-09 卡西欧计算机株式会社 显示控制装置、显示控制方法及存储介质
CN108701365A (zh) * 2017-08-29 2018-10-23 广东虚拟现实科技有限公司 光点识别方法、装置以及系统
CN108701365B (zh) * 2017-08-29 2022-05-31 广东虚拟现实科技有限公司 光点识别方法、装置以及系统
CN108735019A (zh) * 2018-04-25 2018-11-02 深圳中兴网信科技有限公司 便携式互动教学设备、互动教学设备控制方法和装置
CN111375197A (zh) * 2018-12-27 2020-07-07 美泰有限公司 技能游戏装置
CN113382131A (zh) * 2020-03-09 2021-09-10 杭州海康威视数字技术股份有限公司 补光位置可视化方法、摄像机、补光模组及终端设备
CN113382131B (zh) * 2020-03-09 2022-11-25 杭州海康威视数字技术股份有限公司 补光位置可视化方法、摄像机、补光模组及终端设备
CN114690965A (zh) * 2020-12-31 2022-07-01 广州视源电子科技股份有限公司 一种交互设备、交互方法及存储介质
CN115909342A (zh) * 2023-01-03 2023-04-04 湖北瑞云智联科技有限公司 基于触点运动轨迹的图像标记识别系统及方法

Similar Documents

Publication Publication Date Title
CN103984482A (zh) 基于普通摄像头的激光笔绘图方法
Alonso et al. EV-SegNet: Semantic segmentation for event-based cameras
Scheerlinck et al. CED: Color event camera dataset
US10372226B2 (en) Visual language for human computer interfaces
Loh et al. Low-light image enhancement using Gaussian Process for features retrieval
CN104851099B (zh) 一种基于表示学习的图像融合方法
CN103598870A (zh) 一种基于深度图像手势识别的视力检测方法
CN103345644A (zh) 在线训练的目标检测方法及装置
CN114067172A (zh) 一种仿真图像生成方法、仿真图像生成装置及电子设备
Su et al. Smart training: Mask R-CNN oriented approach
CN104813341A (zh) 使用差分相机的图像处理设备
CN104143195A (zh) 一种手势跟踪过程中手形变化导致跟踪偏移的修正方法
Hu et al. Simulation of English classroom effectiveness based on human-computer interaction and facial identification
US10296081B2 (en) Augmented reality man-machine interactive system
US10338695B1 (en) Augmented reality edugaming interaction method
CN104123008A (zh) 一种基于静态手势的人机交互方法及系统
Widodo et al. Laser spotlight detection and interpretation of its movement behavior in laser pointer interface
CN107831894A (zh) 一种适用于移动终端的隔空手势板书方法
CN104122995A (zh) 一种利用视觉信息模拟赛车游戏方向盘的方法
Naganandhini et al. Hand Tracking Based Human-Computer Interaction Teaching System
Gu et al. Colorizing single-band thermal night vision images
CN113780051A (zh) 评估学生专注度的方法和装置
CN113706402A (zh) 神经网络训练方法、装置及电子设备
CN111126279A (zh) 一种手势互动方法及手势互动装置
Yuxi et al. A new motion obstacle detection based monocular-vision algorithm

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140813