CN102073395B

CN102073395B - 基于fpga的无线激光笔互动系统

Info

Publication number: CN102073395B
Application number: CN201110046991A
Authority: CN
Inventors: 刘钢; 陈刚; 申瑞民
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2011-02-25
Filing date: 2011-02-25
Publication date: 2012-08-29
Anticipated expiration: 2031-02-25
Also published as: CN102073395A

Abstract

一种嵌入式无线控制技术领域的基于FPGA的无线激光笔互动系统，由发射器和接收控制器组成，发射器包括：按键编码模块、可控激光头模块、无线发射模块和电源模块，接收控制器包括：主处理器模块、摄像头采集模块、无线接收模块、VGA接口模块、存储模块、串口转USB口模块和电源模块。本发明在提供丰富交互功能的同时将外置设备集成为带无线通信的发射端和接收端两部分，大大方便了安装部署，可以在会议、产品演示、教育培训等场合得到广泛的应用。

Description

基于FPGA的无线激光笔互动系统

技术领域

本发明涉及的是嵌入式无线控制技术领域的装置，具体是一种基于FPGA的无线激光笔互动系统。

背景技术

近年来，随着多媒体技术的普及，投影仪和计算机取代了黑板和粉笔成为了主流的授课设备。但传统的计算机控制设备键盘和鼠标是为个人计算机使用设计的，需要在计算机前进行操作，这样导致教师在进行多媒体教学的时候，往往需要守在计算机前边，一边操作计算机一边进行讲解，需要重点强调的地方，还要不时地站起身来，指指点点，本来提供方便的多媒体演示设备，却把教师丰富的课堂语言给束缚了。

无线控制激光笔的引入很好地解决了这一问题。例如：在中国专利03270412中，公开了一种带有上下翻页按钮和无线收发装置的激光笔，可以完成对计算机幻灯片的上下翻页控制，但功能相对而言比较单一，无法实现其他激光笔的互动功能；在中国专利200810035544.6中，公开了一种识别激光笔光点轨迹的方法，能成功识别光点的轨迹信息，形成各种形状、字母、数字等的展示效果，但实施所需设备较多，安装部署不方便；在中国专利200810243107.3中，公开了一种红外激光笔遥指虚拟触摸系统，能根据红外激光的时间长短和次数区分包括光点指示、光点移动、点击在内的不同操作，并控制计算机系统在显示屏的对应位置上产生光点，且完成对应操作，同样实施时所需设备较多，光是摄像头就需要两个。通过对现有的专利及文献比较发现，一般只带幻灯片翻页功能的激光笔只需要发射端和接收端两部分，安装部署方便，但功能相对单一；而功能稍微多些的激光笔交互系统往往需要设备较多，如带图像处理模块的激光笔系统至少要包含摄像头设备，从而造成线缆较多，安装部署不方便。目前电子技术的发展方向为轻便，可移动性好，但是现有的专利技术还未实现一种功能丰富而且安装部署方便的激光笔交互系统。

发明内容

本发明针对上述现有技术的不足，提供一种基于FPGA的无线激光笔互动系统，在提供丰富交互功能的同时将外置设备集成为带无线通信的发射端和接收端两部分，大大方便了安装部署，可以在会议、产品演示、教育培训等场合得到广泛的应用。

本发明是通过以下技术方案实现的，本发明由发射器和接收控制器组成，其中：

发射器包括：按键编码模块、可控激光头模块、无线发射模块和电源模块，其中：按键编码模块与无线发射模块相连接并传输按键控制信息，可控激光头模块与无线发射模块连接并传输激光头按键信息，电源模块分别与按键编码模块、可控激光头模块和无线发射模块相连接并提供工作电源；

接收控制器包括：主处理器模块、摄像头采集模块、无线接收模块、VGA接口模块、存储模块、串口转USB口模块和电源模块，其中：主处理器模块与摄像头采集模块、无线接收模块、VGA接口模块、存储模块、串口转USB口模块相连接并传输控制信息，摄像头采集模块与主处理器模块相连连接并传输图像信息，无线接收模块与主处理器模块相连接并传输接收到的发射器的无线控制信息，VGA接口模块与主处理器模块相连接并传输图像信息，存储模块与主处理器模块相连接并传输图像信息，串口转USB口模块与主处理器模块相连接并传输激光点坐标及无线控制信息，电源模块分别与主处理器模块、摄像头采集模块、无线接收模块、VGA接口模块、存储模块以及串口转USB口模块相连接并提供工作电源。

所述的发射器的无线发射模块和接收控制器的无线接收解码模块中的编码和解码相匹配。

由于摄像头所采集到的图像信息中无法准确地只包含显示屏幕的信息而不含其它成分，且显示屏幕在视频图像中往往不是规则的四边形而是带有较小曲率的类似四边形，因此需要通过屏幕校准模块将图像信息中的坐标转换为显示屏幕对应的坐标。

屏幕显示模块的输入为来自屏幕校准模块校准后的激光点坐标信息，输出为轨迹绘制的显示、鼠标操作的响应或放大镜操作的响应。

使用时，首先将接收控制器上电并与授课主机通过USB接口连接，接着开启主机上相应的控制软件。若是初次使用，需要进行校准，具体为通过接收控制端VGA接口接的显示器查看摄像头拍摄的位置，确保使拍摄的图像包含整个显示屏幕，接着用激光笔产生的激光点按顺时针顺序分别标示显示屏幕上的四个顶点，这样就记录下了显示屏幕上四个顶点的坐标，校准步骤到此结束。演讲时，无线发射器由操作者手持进行控制，按键信息通过无线模块传送到接收控制器，由接收控制器进行适当处理后，将控制信息及坐标信息通过USB接口送至授课主机的软件端并进行相应的响应，同时显示在大屏幕上。演讲过程中您可以通过上下键来切换幻灯片页面，在屏幕上绘制激光点的轨迹，模拟鼠标的移动、左击和右击功能，以及对需要重点指出或看不清楚地部分进行局部放大。

通过上面的描述可以看出，这套装置提供了一种方便实用的无线激光笔辅助教学和演讲方式，适合各种不同的教学和演讲场合，如礼堂，会议室等。经查询中国专利信息网，尚未见相同装置报导。

本发明的优点或积极效果为：教学过程中不再需要守在电脑旁边，改变了传统的多媒体授课方式；激光笔作为一种多功能的无线设备，不再仅仅具有激光指示功能，而且还能实现轨迹绘制、模拟鼠标操作以及局部放大等功能，而且成本低廉；轻便，可移动性好，整套设备只由发射器和接收控制器两部分组成，仅有接收控制器与电脑连接采用USB线缆连接，其他均为无线连接，安装部署方便。

附图说明

图1为本发明结构示意图。

图2为发射器外形结构图。

图3为接收控制器外形结构图。

图4为发射器内部硬件结构示意图。

图5为接收控制器内部硬件结构示意图。

图6为授课主机端软件逻辑流程图。

具体实施方式

下面结合附图对本发明的实施方案作详细说明：本实施方案在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施方案。

本实施例由发射器1和接收控制器2组成，其中：

发射器1包括：按键编码模块3、可控激光头模块4、无线发射模块5和第一电源模块6，其中：按键编码模块3与无线发射模块5相连接并传输按键控制信息，可控激光头模块4与无线发射模块5连接并传输激光头按键信息，第一电源模块6分别与按键编码模块3、可控激光头模块4和无线发射模块5相连接并提供工作电源；

接收控制器2包括：主处理器模块7、摄像头采集模块8、无线接收模块9、VGA接口模块10、存储模块11、串口转USB口模块12和第二电源模块13，其中：主处理器模块7与摄像头采集模块8、无线接收模块9、VGA接口模块10、存储模块11、串口转USB口模块12相连接并传输控制信息，摄像头采集模块8与主处理器模块7相连连接并传输图像信息，无线接收模块9与主处理器模块7相连接并传输接收到的发射器1的无线控制信息，VGA接口模块10与主处理器模块7相连接并传输图像信息，存储模块11与主处理器模块7相连接并传输图像信息，串口转USB口模块12与主处理器模块7相连接并传输激光点坐标及无线控制信息，第二电源模块13分别与主处理器模块7、摄像头采集模块8、无线接收模块9、VGA接口模块10、存储模块11以及串口转USB口模块12相连接并提供工作电源。

如图2所示，所述的发射器1上设有：激光发射开关14、向上翻页及鼠标左击键15、向下翻页及鼠标右击键16、清屏键17、切换鼠标模式键18、切换放大镜模式键19、指示灯20、激光发射头21和发射天线22；

如图3所示，所述的接收控制器2上设有摄像头模块23、VGA接口24和USB接口25；

如图4所示，所述的按键编码模块3采用PT2262编码芯片，主控逻辑读取6位地址与6位数据的电平状态，并产生串行编码。OSC1和OSC2用于外接电阻，根据电阻的阻值，产生不同频率的内部时钟。TE/SELECT为使能端，低电平时芯片工作。DATA OUT端输出编码后的信号。对于每一位地址和数据，均有三种编码状态，分别是“0”、“1”和浮空。SW0至SW5为六个按键，分别对应数据位D0至D5。当所有按键都断开时，三极管Q2截止，电路中没有电流，芯片不工作。当六个按键中任意一个被按下时，Q2导通，PT2262芯片开始工作，指示灯D1工作。此时，除了闭合的按键所对应的数据位为逻辑高电平之外，其他位为低电平。

所述的可控激光头模块4的激光头采用通用圆点半导体激光头。此模块用按键控制激光头的开关，同时将开关的信息关联到编码芯片。SW0和D0为编码按键模块中的0位按键和数据位，按键通过一个MOS管控制激光头的开断。

所述的无线发射模块5将按键信息编码调制到高频载波上并发送。载波频率为315MHz，调制方式为幅度调制。Q3为普通三极管，基极通过电阻R2接PT2262的Data Out端，采用开关的方式完成信号调制。Q4为高频NPN管，与L1、L2和C2构成三端振荡电路。Q1为315MHz声表面滤波器，串联在反馈通路中，使频率稳定在315MHz。R1为Q4的基极偏置电阻，C1用于天线的阻抗匹配。

所述的第一电源模块6由GP Ultra 23A 12V系列电池供电，该模块用于产生发射器1其它模块的工作电源：VCC、VCC_LASER和VCC-12。其中，VCC作为按键编码模块3的工作电源；VCC_LASER作为可控激光头模块4的工作电源；VCC-12作为无线发射模块5的工作电源。

如图5所示，所述的主处理器模块7由现场可编程门阵列FPGA模块U4实现，是接收控制器的核心，它负责将摄像头采集模块8采集到的图像信息缓存在同步动态存储器SDRAM中，在SDRAM中存储的是RGB565格式的图片，FPGA模块根据图片中像素的R通道的数值的大小检测出激光点的坐标，并将坐标信息通过串口转USB口模块12传输到授课主机的软件端。同时FPGA将无线接收模块9接收到的来自发射器1的控制信息也通过串口转USB口模块12将控制信息传输到授课主机的软件端。当第一次使用该系统时，使用校准模式，FPGA模块通过对图像的RGB色度信号、行同步信号、场同步信号等信号的控制，并参照VGA接口标准，将图像数据通过VGA接口传送到显示器端显示，将检测出的显示屏幕的四个顶点的坐标信息通过串口转USB口模块12J传输到授课主机的软件端，完成校准步骤。选择ALTERA公司的EP2C8Q208C8FPGA芯片，该芯片拥有5256个逻辑单元(LE)、36个M4K、2个pLL和18个嵌入式乘法器，并且拥有最多138个通用I/O口，能够提供足够多的扩展口，足以完成对其功能的要求。

所述的摄像头采集模块8采用OMNIVISION公司的OV9650数字CMOS图像传感芯片，主要功能是将图像传感器采集到的图像信号进行A/D转换和处理，然后将图像数据传送到主处理器模块(现场可编程门阵列FPGA)E中。该芯片由一个SXGA图像传感器和图像处理器组成，有效阵列规模为1300×1028，最大速率在SXGA格式时为15fps，在VGA格式时为30fps，是一款130万像素的彩色摄像头。它支持SXGA(1280×1024)、VGA(640×480)、CIF(352×288)、QCIF(176×144)、QQVGA(160×120)和QQCIF(88×72)不同分辨率的图像输出格式，通过串行SCCB(Serial Camera ControlBus，串行摄像头控制总线)接口与S3C2440A的I²C总线接口相连，可以读写芯片的130个内部寄存器，实现其曝光控制、伽马校正、白平衡、色彩饱和度、亮度控制、消噪等参数的设置。

OV9650与FPGA处理器的连接包括SCCB接口、控制接口和数据接口三部分。

SCCB接口

SCCB是一种类似于I²C总线的串行摄像头控制总线，用于FPGA对摄像头芯片内部寄存器的设置。它是一个两线串口协议，SIO_C是串行时钟输入线，SIO_D是串行双向数据线。

控制接口

OV9650的PWDN管脚置为高电平时，能够关闭芯片所有内部时钟使之进入省电模式。在芯片正常工作时，PWDN要保持低电平。OV9650的RESET管脚设为高电平时，可以将芯片内部寄存器设置清除并恢复为默认值。正常工作时，RESET要保持低电平。

OV9650的XVCLK1用于接收FPGA模块输出的时钟信号。OV9650内部产生三个时钟信号：场同步信号VSYNC、行同步信号HREF和像素时钟信号PCLK，这些信号输入到FPGA芯片中对图像采集进行控制。每一个VSYNC脉冲表示开始采集一帧图像数据，HREF脉冲表示采集一行图像数据，图像传感器以从左到右的顺序在每个PCLK脉冲过程中依次采集一个字节的数据，直至一帧图像数据全部采集完成。

数据接口OV9650内嵌了一个10位A/D转换器，有10个数据输出接口D0-D9，输出图像数据的格式是10位原始RGB格式，。由于系统需要16位RGB565格式，通过FPGA芯片将10位原始RGB格式转换为RGB565格式的数据输出。OV9650的D[9:0]连接FPGA芯片的CAM_D[9:0]。摄像头捕获的数据通过数据接口传送入FPGA芯片，以便进行下一步的显示或保存操作。

无线接收解码模块G：由超外差无线接收模块P5(RXB6)、解码模块U8(PT2272)、电感L4、电阻R24和电容C24组成，用于接收发射器1通过无线发射模块5发送来的控制信息并进行解码。解码芯片采用PT2272，与PT2262配套使用。

为了配合PT2262的六位编码，采用PT2272-M6芯片进行解码。DIN为编码信号输入接口，OSC1、OSC2为内部时钟频率，需与PT2262的时钟配套使用。VT为解码指示，D0-D5为六位数据输出。当解码成功时，VT跳转至高电平，同时对应的数据位瞬态输出高电平。

所述的VGA接口模块10采用标准的DB-15VGA输出接口J3，用于屏幕校准时接收控制器2与显示器之间的连接。U4(FPGA芯片)输出的RGB数字信号通过U2(ADV7123芯片)转换为三路模拟信号。它包含以下信号：U2(ADV7123芯片)的IOR与J3的1相连，作为红色信号线；U2(ADV7123芯片)的IOG与J3的2相连，作为绿色信号线；U2(ADV7123芯片)的IOB与J3的3相连，作为蓝色信号线；U4(FPGA芯片)的VGA_VS与J3的14相连，作为垂直同步信号；U4(FPGA芯片)的VGA_HS与J3的13相连，作为水平同步信号。

所述的存储模块11外加SDRAM模块进行存储。当一帧图像过来时，SDRAM开始存储一帧的图像数据，当一帧图像数据存储满时，SDRAM将会将该帧数据重新发给FPGA芯片。通过U4(FPGA)模拟U6(SDRAM)接口时序可以实现对U6(SDRAM)的读写，它包括以下信号：U4的SD_A[12:0]与U6的A[12:0]连接，作为地址线；U4的SD_DQ[15:0]与U6的DQ[15:0]连接，作为数据线；U4的SD_WE与U6的

连接，作为使能信号；U4的SD_CAS与U6的连接，作为列地址选通信号；U4的SD_RAS与U6的

连接，作为行地址选通信号；U4的SD_CS与U6的

连接，作为片选使能信号。

所述的串口转USB口模块12采用SILICON LABS公司的CP2102芯片。CP2102是一种高度集成的单片USB转UART桥接器。用CP2102进行串口扩展所需的外部器件非常少，使用起来非常方便。内部集成有USB收发器，且不需外接电阻；内部集成有USB功能控制器，兼容USB2.0规范，支持全速传输12Mbps，无需任何外部的USB器件；供电电压方面：自我供电电压(3.0V-3.6V)和USB总线供电电压(4.0V-5.25V)；28管脚的QFN-28封装，尺寸仅为5mm＊5mm。

CP2102异步串行数据总线(UART)接口包括TXD(发送)和RXD(接收)数据信号以及RTS，CTS，DSR，DTR，DCD和RI控制信号，UART支持RTS/CTS，DSR/DTR和X-On/X-Off握手。支持握手和调制解调器接口信号，支持576Byte接收缓冲器，640Byte发送缓冲器。U4(FPGA)的2102_TXD与U7(CP2102)的TXD连接，发送数据信号；U4(FPGA)的2102_RXD与U7(CP2102)的RXD连接，接收数据信号。

所述的第二电源模块13由电源芯片U1、U3及周围电路所需的电阻和电容组成，该模块用于产生接收控制器2各模块所需的工作电源：VCCINT、VCCIO、VCC_5、VGA_VCC33、SD_VCC33。其中，VCCINT、VCCIO作为U4(FPGA)的工作电源；VCC_5作为P1(Connector10^＊2)、P5(RXB6)、U8(PT2272)的工作电源；VGA_VCC33作为U2(ADV7123)的工作电源；SD_VCC33作为U6(SDRAM)的工作电源。

如图6所示，授课主机端软件由屏幕校准模块26和屏幕显示模块27两部分组成。

所述的屏幕校准模块26将图像信息中的坐标转换为显示屏幕对应的坐标。

屏幕校准模块具体为：

令采集到的屏幕信息为绝对坐标系，目标屏幕其中的位置由目标屏幕的四个矩形顶点决定，设屏幕四个顶角按顺时针方向由左上开始为：U、V、W、X，而光点的绝对位置为S，则光点位置相对于目标屏幕的相对坐标如下得出：

直线UV与WX的交点，记为P；直线UW与VX的交点，记为Q；直线PS与UX、VW的交点，记为u、v；直线QS与UV、WX的交点，记为w、x；

求出Su∶uv，Sw∶wx两个比值。

光点在目标屏幕的相对坐标由X、Y二维构成，X方向为目标屏幕X方向分辨率与Su∶uv的乘积，Y方向为目标屏幕Y方向分辨率和Sw∶wx的乘积。

屏幕显示模块27：屏幕显示模块27的输入为来自屏幕校准模块26校准后的激光点坐标信息，输出为轨迹绘制的显示、鼠标操作的响应或放大镜操作的响应。具体来说，这三种输出时本系统的功能模式的实现，分别为：

绘图模式

使用激光笔在屏幕上描绘，屏幕上出现对应的轨迹，同时可以通过激光笔上的按键实现幻灯片的上下翻页及擦除屏幕轨迹的操作。

鼠标模式

使用激光笔在屏幕上指示位置，屏幕上的鼠标移动到相应位置，并可通过激光笔上的按键实现鼠标左击及右击的操作。

放大镜模式

使用激光笔在屏幕上指示位置，屏幕上对应的区域会进行局部放大，并且屏幕上的放大区域会随着光点发生移动。

本装置的工作过程如下：接收控制器2作为固定装置，接通电源，同时通过串口转USB口模块12直接连接到现场的授课主机上，并开启授课主机上相应的控制软件；发射器1是手持设备，安装上电池即可。

若是初次使用，需要进行校准，具体为通过接收控制端VGA接口接的显示器查看摄像头拍摄的位置，确保使拍摄的图像包含整个显示屏幕，接着用激光笔产生的激光点按顺时针顺序分别标示显示屏幕上的四个顶点，这样就记录下了显示屏幕上四个顶点的坐标，校准步骤到此结束。演讲时，无线发射器1由操作者手持进行控制，按键信息通过无线模块传送到接收控制器2，由接收控制器2进行适当处理后，将控制信息及坐标信息通过USB接口送至授课主机的软件端并进行相应的响应，同时显示在大屏幕上。演讲过程中可以通过上下键来切换幻灯片页面，在屏幕上绘制激光点的轨迹，模拟鼠标的移动、左击和右击功能，以及对需要重点指出或看不清楚地部分进行局部放大。

本系统摄像头每秒采集25帧VGA(640×480)分辨率的图像，而且图像中的光点识别过程每帧所需要的时间小于0.04秒，能够实时地跟踪激光点的坐标；通过校准步骤可以使得光点轨迹地误差不超过10个屏幕像素，这完全在肉眼可以接受的误差范围内；发射器1上各功能按键响应时间小于0.5秒，能够流畅地实现各个功能；如果图像中较长时间不出现光点，而且系统处于绘图模式，则绘制的前一轨迹中止，光点重新出现后将新的光点位置作为起点，开始绘制新的轨迹。

Claims

1.一种基于现场可编程门阵列的无线激光笔互动系统，其特征在于，由发射器和接收控制器组成，其中：

接收控制器包括：主处理器模块、摄像头采集模块、无线接收模块、VGA接口模块、存储模块、串口转USB口模块和电源模块，其中：主处理器模块与摄像头采集模块、无线接收模块、VGA接口模块、存储模块、串口转USB口模块相连接并传输控制信息，摄像头采集模块与主处理器模块相连连接并传输图像信息，无线接收模块与主处理器模块相连接并传输接收到的发射器的无线控制信息，VGA接口模块与主处理器模块相连接并传输图像信息，存储模块与主处理器模块相连接并传输图像信息，串口转USB口模块与主处理器模块相连接并传输激光点坐标及无线控制信息，电源模块分别与主处理器模块、摄像头采集模块、无线接收模块、VGA接口模块、存储模块以及串口转USB口模块相连接并提供工作电源；

所述的主处理器模块由现场可编程门阵列模块实现。

2.根据权利要求1所述的基于现场可编程门阵列的无线激光笔互动系统，其特征是，所述的发射器的无线发射模块和接收控制器的无线接收模块中的编码和解码相匹配。

3.根据权利要求1所述的基于现场可编程门阵列的无线激光笔互动系统，其特征是，所述的发射器上设有：激光发射开关、向上翻页及鼠标左击键、向下翻页及鼠标右击键、清屏键、切换鼠标模式键、切换放大镜模式键、指示灯、激光发射头和发射天线。

4.根据权利要求1所述的基于现场可编程门阵列的无线激光笔互动系统，其特征是，所述的接收控制器上设有摄像头模块、VGA接口和USB接口。

5.根据权利要求1所述的基于现场可编程门阵列的无线激光笔互动系统，其特征是，所述的按键编码模块采用PT2262编码芯片。

6.根据权利要求1所述的基于现场可编程门阵列的无线激光笔互动系统，其特征是，所述的可控激光头模块的激光头采用通用圆点半导体激光头。

7.根据权利要求1所述的基于现场可编程门阵列的无线激光笔互动系统，其特征是，所述的无线发射模块将按键信息编码调制到高频载波上并发送，其载波频率为315MHz，调制方式为幅度调制。

8.根据权利要求1所述的基于现场可编程门阵列的无线激光笔互动系统，其特征是，所述的VGA接口模块采用标准的DB-15VGA输出接口实现。