CN101025656A - 嵌入式屏幕光点定位装置 - Google Patents

Abstract

本发明涉及投影屏幕上的激光点自动识别和定位技术，其特征在于：在装在摄像机镜头中的650nm高透滤光片的配合下，对图像中的激光点进行识别，通过自动屏幕校准过程获得的屏幕坐标信息计算出激光点相对于屏幕的实际坐标，并通过光圈驱动模块控制镜头光圈大小，来适应屏幕校准和激光点定位情况下对镜头光圈大小的不同要求，图像的处理和分析由FPGA处理器来完成，单片机将激光点定位结果通过多通道RF收/发器向PC主机发出，该单片机同时通过RF收/发器接收PC主机发来的图像处理器配置文件，实现配置程序的无线升级。本发明同时实现了屏幕自动校准、光圈自动控制、光点自动定位和配置程序无线下载功能，具有实时性强，可靠性高，配置简单灵活易维护等优点。

Description

嵌入式屏幕光点定位装置

技术领域

本发明涉及到一种对屏幕上的光点进行自动识别和准确定位的专用嵌入式系统。

背景技术

目前，由投影机和大屏幕构成的大屏幕显示系统已被广泛的应用到了社会生活的各个领域。但是，普通的大屏幕只是一个显示工具，如果用户要对屏幕上的内容进行拖拽、点击等操作，就不得不借助于鼠标来完成。随着计算机科学的发展，基于激光笔的大屏幕交互方式使得这一现状有所改变。用户可以通过激光笔直接控制大屏幕，实现控制鼠标移动，点击等常用鼠标功能。其基本原理和实现方法在很多文章中都有很详尽的描述，如：中国图形图像学报的《基于激光笔的远程人机交互技术》一文。

激光笔交互系统的核心技术是激光点的准确定位，即通过分析摄像机拍摄到的图像，获得激光点相对于投影屏幕的坐标位置，进而可以作为用户输入。在本发明提出以前，已有的激光点定位系统都是基于PC机+视频采集卡的结构实现的。这种方式下，视频采集卡将摄像头输出的模拟信号量化为数字视频流，PC主机程序通过分析视频流中的数据获取激光点的位置。这样做有如下几个缺点：1.成本高：系统需要配备一台性能较高的计算机提供计算能力；2.实时性不好：PC+Widows(或是Unix、Linux)的通用软硬件平台不能保证视频信号被实时处理；3.硬件部署困难：摄像头必须通过视频线和插在PC机上的视频采集卡相连，硬件布置需要综合考虑屏幕、投影仪和主机三者位置等因素。4.可靠性不高：激光点的识别能力容易受到环境光的干扰，通过在摄像头前安装红色滤光片可以解决这个问题，但是也需要手工调节摄像头的光圈来适应不同光照条件的影响，操作麻烦。由于以上原因，激光点交互系统的应用并没有普及开来。

发明内容

本发明采用嵌入式的设计方案实现激光笔交互过程中的激光点定位技术，主要是为了解决现有方案成本高，实时性差，硬件部署困难，可靠性不高等问题，并通过操作自动化的设计，使用户不必干预就可以方便的使用。

本发明的特征在于，含有：镜头前装有650nm高透滤光片的摄像机、视频解码器和视频编码器、图像处理器、单片机、多通道的RF收/发器、固化有激光光点定位程序的Flash存储器、光圈驱动器、自动光圈镜头及投影机，其中：

摄像机，采用480线黑白摄像机，其AV视频输出端与所述视频解码器的模拟视频输入端相连，该摄像机实时监视投影屏幕，并将采集到的图像交给系统其他部分进行处理；

投影机，其AV视频输入端和所述视频编码器的模拟视频输出端相连，当投影机工作在AV输入模式下，显示由视频编码芯片产生的校准图像。

视频解码器，采用飞利浦公司的SAA7113视频解码芯片，其数字视频信号输出端与所述图像处理器的视频数据输入端相连，作用是将所述摄像机输入的模拟视频信号抽样量化为数字视频信号供图像处理器进行处理；

视频编码器，采用飞利浦公司的SAA7121视频编码芯片，其数字视频信号输入端与所述图像处理器的视频数据输出端相连，作用是将图像处理器产生的数字视频信号转化为模拟视频信号，并由投影机投影显示；

图像处理器，采用15万门的FPGA器件，设有：视频编解码芯片控制端，分别与所述视频编码器和视频解码器的控制输入端相连；在系统初始化时，图像处理器负责配置视频编解码芯片的各种运行参数；在系统运行时，图像处理器对由视频数据输入端接收到的视频数据进行实时分析，确定图像中是否存在激光点、激光点的位置坐标以及光点亮度等信息；同时，在进行屏幕自动校准时，图像处理器负责产生黑白棋盘格模式的校准图像，并对含有黑白棋盘格图像的图像进行分析，定位出各角点的位置，从而确定投影屏幕在图像中的位置参数；通过这些参数，由激光点在图像中的位置求出激光点相对于投影屏幕的位置；

两个同步动态随机存储器，分别与所述图像处理器互连，并通过乒乓操作对收到的连续视频图像进行分时存储和处理；

单片机，设有图像处理器控制端和图像处理结果输入端；其中，图像处理器控制端与所述图像处理器的控制输入端相连，单片机通过该端口向图像处理器发出各种初始化、控制命令；图像处理结果输入端与所述图像处理器的结果输出端相连，单片机通过该端口接收图像处理器分析的结果；单片机是系统的控制核心，负责整个系统的初始化和运行控制；

RF收/发器，采用2.4GHz无线单片收发芯片nRF2401构成，通过RF数据收发端与所述单片机的通用端口相连；接收状态下，RF收/发器接收由PC主机发出的以无线RF信号为载体图像处理程序，并解调为数字信号通过该端口送给单片机；发射状态下，RF收/发器接收来自单片机的激光点位置信息，并调制为无线RF信号发射出；

红外接收器，设有遥控信号输出端口和所述单片机的通用端口相连，接收红外遥控信号，进行解调后送给单片机处理；

Flash存储器，设有数据端口和地址端口与所述单片机的通用端口相连；负责存储单片机的固件程序和图像处理程序，单片机通过可以通过读写操作来访问其中数据；

光圈驱动器，设有：光圈控制输入端，和所述单片机的通用端口相连，接收单片机发送来的5位光圈控制信号；光圈控制输出端口，与所述自动光圈镜头的四针插孔相连，光圈驱动器通过该端口驱动所述自动光圈镜头里的电机转动，控制光圈变化；为了适应自动屏幕校准和激光点识别两种情况下光圈大小的不同要求，摄像机在进行自动屏幕校准时，增大镜头光圈，摄入屏幕校准图像；在进行激光点识别时，调小镜头光圈，这种情况下，只有激光点的红光可以透过镜头成像，从而提高了信噪比。

本发明将光点定位技术与嵌入式系统进行了有机的结合，可以从复杂的背景中定位出光点在屏幕上的位置。系统采用了自动屏幕校准方案和自动光圈控制方案，无需用户干预便可完成屏幕校准过程。650nm高透滤光片的设计也大大增加了系统的可靠性。本发明可以方便的嵌入到基于投影仪正投或背投的大屏幕显示系统中来为用户提供激光笔交互方式，比如：多媒体教室里或背投电视中。整个系统具有实时性强、可靠性高、软硬件配置简单灵活，易于维护等显著优点，生产使用成本也明显低于现有产品。

附图说明：

图1、本发明嵌入式屏幕光点定位装置的硬件系统结构框图。

图2、本发明中RF接收板结构框图。

图3、本发明嵌入式屏幕光电定位装置的工作流程图。

图4、本发明中光点定位程序流程图。

图5、本发明中自动屏幕校准程序流程图。

图6、本发明中图象处理程序无线下载方案流程图。

具体实施

为了解决现有的基于PC+视频采集卡结构的方案高成本、部署困难和可靠性不高等问题，本发明提供了一种嵌入式屏幕光点定位装置。该装置不仅具有嵌入式系统成本低、实时性强等特点，而且具有软硬件配置简单灵活、可靠性高等特点。

通常，激光点定位系统需要解决两个主要问题：激光点识别和屏幕校正。因为，要准确定位激光点的位置，首先要能在摄像机拍摄到的图像中准确识别出激光点。其次，由于摄像头相对于屏幕的位置是不确定的，所以屏幕在图像中的位置也是不确定的。这样，为了从激光点在图像中的位置得到激光点在屏幕上的位置，需要事先知道屏幕在图像中出现的位置，这是由屏幕校正过程来完成的。

已有的激光点定位系统的屏幕校正过程是由人用激光点照亮屏幕上几个特殊的点来完成的。这种方式操作麻烦，精度不高。为此，本发明设计了自动屏幕校正技术来简化用户的操作。其原理是，由嵌入式屏幕光点定位装置产生特殊的校准图像信号作为投影机的输入，在屏幕上投影出该图像。典型的，该图像采用6×8的黑白格(黑白交错的棋盘格)图像，该图像经摄像头拍摄后，可以由图像处理模块进行分析，得到校准图像中各角点位置。由于各角点相对于投影屏幕的位置是事先知道的，所以可以建立图像中检测到的角点和相应屏幕坐标的对应关系，从而完成屏幕校准过程。整个过程不需要用户的参与，而且用时很短。

此外，为了提高激光点识别的可靠性，不少系统在摄像机镜头前安装了红色滤光片来提高信噪比。但是，实际使用中，当背景也是红色的时候，效果并不佳；而且，装上了红色滤光片之后，镜头只能透过红光，限制了摄像机的能力。为此，本发明特别订制了650m高透滤光片。和一般的红色滤光片不同，该滤光片对中心波长为650nm的窄带范围内的可见光的具有较高的透射率，这个范围正是红色激光的波长范围，从而进一步提高了信噪比；而对该窄带范围之外的可见光具有较低的透射率。因此，当镜头光圈比较小时，只有红色激光点可以被摄像头拍到，而背景是一片漆黑；当镜头光圈比较大时，可见光都可以通过镜头而被摄像头捕获，相当于一个普通的摄像机。这样，在进行自动屏幕校准时，通过增大光圈使摄像机能拍摄到校正图像；在进行激光点识别时，通过调小光圈，突出激光点。为了可控的对镜头光圈进行调解，本发明还设计了光圈驱动模块，由单片机给出控制信号，对镜头光圈进行自动调节。

视频信号的数据量是很大的，以一秒钟内拍摄25帧800×600的图像计算，系统频率至少为12M才能满足要求。为了能对视频信号进行实时处理，需要有运算速度足够快的处理器来实现图像处理模块。为此，本发明采用FPGA来处理视频。FPGA的时钟频率可达数百兆，完全可以胜任视频图像的实时处理任务，而且，其丰富的可重复编程的逻辑资源和灵活的配置方式也保证了系统的可靠性。

最后，为了便于用户的操作，本发明还加入了红外遥控模块，使用户可以使用遥控器发出命令或对系统状态进行设置；激光点定位的结果，采用无线的RF方式传递给接收板，并进一步通过USB接口传入主机；同时，为了便于系统的维护和升级，本发明还设计了FPGA图像处理程序的无线下载方案。在这种方式下，由PC主机通过RF无线信道将FPGA的配置文件传送到嵌入式屏幕光点定位装置中的单片机上，由单片机将该配置文件写入Flash，并对FPGA进行现场的配置实现升级；考虑到同一室内环境中可能布置多个嵌入式激光点定位系统，因此RF模块采用了多频道的机制形成多个互不干扰的无线信道。

下面结合附图对本系统进行进一步说明。

见图1，嵌入式屏幕光点定位装置，其特征在于，包括：单片机1、FPGA图像处理模块2、SAA7113视频解码器3、SAA7121视频编码器4、2个外部同步动态随机存储器5、RF收/发器6、红外接收器7、能将光点定位程序固化在其内的Flash存储器8、光圈驱动模块9、摄像机10、投影机11和自动光圈镜头12；其中，单片机1通过控制线、数据线跟RF收/发器6、红外接收器7、Flash存储器8、光圈驱动模块9和FPGA图像处理模块2相连，FPGA图像处理模块2通过控制线、数据线和SAA7113视频解器3和SAA7121视频编码器4相连，并通过地址线和数据线和2块同步动态随机存储器5相连，SAA7113视频解码器3接摄像机10，SAA7121视频编码器4接投影机11，光圈驱动模块9接自动光圈镜头12。

单片机1：本系统的中心控制器件。在系统初始化阶段，它负责配置RF收/发器6和FPGA图像处理模块2；在运行阶段，它负责响应由RF收/发器接6收到的主机控制信号和数据、以及由红外接收器7接收到的用户遥控信息，并通过图像分析结果输入端接收FPGA图像处理的结果，并根据该结果控制光圈驱动模块来调整镜头光圈大小。当FPGA图像处理模块2定位出光点位置后，它将该结果通过RF收/发器发出。此外，在FPGA图像处理程序无线下载过程中，它将由RF收/发器6接收的FPGA配置程序数据写入Flash，并对FPGA进行在线配置。

FPGA图像处理模块2：为了满足图像处理数据量大、实时性高的特点，本模块选择采用15万门的Altera FPGA器件EP1C6Q240C8来实现。该模块通过视频编解芯片控制端对分别对视频编解码芯片进行控制，并对从SAA7113视频解码器3获得视频数据流进行分析；当进行自动屏幕校准时，该模块产生黑白棋盘格模式的校准图像的数字信号输出给SAA7121视频编码器4进行D/A转换，最后由投影机投到显示屏幕上，同时对含有黑白棋盘格图像的图像进行分析，定位出各角点的位置，从而确定投影屏幕在图像中的位置参数；通过这些参数，可以由激光点在图像中的位置求出激光点相对于投影屏幕的位置；同时，该模块将图像处理的结果，包括亮度信息和激光点位置信息通过图像分析结果输出端，向单片机1实时的发出。

同步动态随机存储器5：采用2片1M×16bit的SDRAM实现对视频图像的乒乓操作，即通过数据选择开关对连续的视频图像进行分时的存储和处理，保证数据处理的连续性。

RF收/发器6：采用2.4GHz无线单片收发芯片nRF2401，该芯片支持125个频道，传输速率高达1Mb/s，可以满足同一室内多个本装置同时工作的情况。

自动光圈镜头12：采用直接驱动自动光圈镜头computar公司的TG2314FCS-3，由光圈驱动模块通过其上四针接口控制光圈大小。

SAA7113视频解码器3和SAA7121视频编码器4：采用飞利浦公司的视频编解码芯片，采用I2C总线进行配置。

光圈驱动模块9：接受单片机的5bit控制信号，产生32个级别的模拟电压来驱动自动光圈的四针接口。

Flash存储器8：存储单片机和FPGA固件程序，采用32MB的配置。

红外接受器7：接受红外遥控信号。

Claims (1)

1.嵌入式屏幕光点定位装置，其特征在于，含有：镜头前装有650nm高透滤光片的摄像机、视频解码器和视频编码器、图像处理器、单片机、多通道的RF收/发器、固化有激光光点定位程序的Flash存储器、光圈驱动器、自动光圈镜头及投影机，其中：

摄像机，采用480线黑白摄像机，其AV视频输出端与所述视频解码器的模拟视频输入端相连，该摄像机实时监视投影屏幕，并将采集到的图像交给系统其他部分进行处理；

投影机，其AV视频输入端和所述视频编码器的模拟视频输出端相连，当投影机工作在AV输入模式下，显示由视频编码芯片产生的校准图像。

视频解码器，采用飞利浦公司的SAA7113视频解码芯片，其数字视频信号输出端与所述图像处理器的视频数据输入端相连，作用是将所述摄像机输入的模拟视频信号抽样量化为数字视频信号供图像处理器进行处理；

视频编码器，采用飞利浦公司的SAA7121视频编码芯片，其数字视频信号输入端与所述图像处理器的视频数据输出端相连，作用是将图像处理器产生的数字视频信号转化为模拟视频信号，并由投影机投影显示；

图像处理器，采用15万门的FPGA器件，设有：视频编解码芯片控制端，分别与所述视频编码器和视频解码器的控制输入端相连；在系统初始化时，图像处理器负责配置视频编解码芯片的各种运行参数；在系统运行时，图像处理器对由视频数据输入端接收到的视频数据进行实时分析，确定图像中是否存在激光点、激光点的位置坐标以及光点亮度等信息；同时，在进行屏幕自动校准时，图像处理器负责产生黑白棋盘格模式的校准图像，并对含有黑白棋盘格图像的图像进行分析，定位出各角点的位置，从而确定投影屏幕在图像中的位置参数；通过这些参数，由激光点在图像中的位置求出激光点相对于投影屏幕的位置；

两个同步动态随机存储器，分别与所述图像处理器互连，并通过乒乓操作对收到的连续视频图像进行分时存储和处理；

单片机，设有图像处理器控制端和图像处理结果输入端；其中，图像处理器控制端与所述图像处理器的控制输入端相连，单片机通过该端口向图像处理器发出各种初始化、控制命令；图像处理结果输入端与所述图像处理器的结果输出端相连，单片机通过该端口接收图像处理器分析的结果；单片机是系统的控制核心，负责整个系统的初始化和运行控制；

RF收/发器，采用2.4GHz无线单片收发芯片nRF2401构成，通过RF数据收发端与所述单片机的通用端口相连；接收状态下，RF收/发器接收由PC主机发出的以无线RF信号为载体图像处理程序，并解调为数字信号通过该端口送给单片机；发射状态下，RF收/发器接收来自单片机的激光点位置信息，并调制为无线RF信号发射出；

红外接收器，设有遥控信号输出端口和所述单片机的通用端口相连，接收红外遥控信号，进行解调后送给单片机处理；

Flash存储器，设有数据端口和地址端口与所述单片机的通用端口相连；负责存储单片机的固件程序和图像处理程序，单片机通过可以通过读写操作来访问其中数据；

光圈驱动器，设有：光圈控制输入端，和所述单片机的通用端口相连，接收单片机发送来的5位光圈控制信号；光圈控制输出端口，与所述自动光圈镜头的四针插孔相连，光圈驱动器通过该端口驱动所述自动光圈镜头里的电机转动，控制光圈变化；为了适应自动屏幕校准和激光点识别两种情况下光圈大小的不同要求，摄像机在进行自动屏幕校准时，增大镜头光圈，摄入屏幕校准图像；在进行激光点识别时，调小镜头光圈，这种情况下，只有激光点的红光可以透过镜头成像，从而提高了信噪比。

Images