CN105511649A - 一种多点定位系统及多点定位方法 - Google Patents

Abstract

本发明提供了一种多点定位系统及多点定位方法，该多点定位系统包括：图像捕捉单元，用于对发光装置投射在投射面上的投射光点进行捕捉，为主控单元提供相关信号；通讯单元，该通讯单元用于将主控单元处理得到的光点坐标数据发送给其它需要使用坐标数据的设备；以及主控单元，用于为图像捕捉单元设置各种参数，采用分时复用技术，实现同时控制多个光点交互。本发明的技术方案，可以实现多点坐标捕捉，例如：10个人拿10支激光笔同时操作；不需要配置高性能的计算机且响应速度快，满足操作者的“实时”响应感。

Description

一种多点定位系统及多点定位方法

技术领域

本发明涉及人机交互技术，特别涉及一种远程人机交互系统及方法。

背景技术

随着计算机技术的发展，新的人机交互技术不断被开发出来，从传统的鼠标键盘到后来的触摸屏技术，再到游戏业的体感设备(如：任天堂公司推出了带运动传感器的游戏手柄、微软推出了能捕获人体动作的Kinect设备)。每种人机交互新技术的出现，都给人们带来了更好、更新鲜的交互体验。

在已有的人机交互技术中，有一类技术是与点坐标实时捕捉密切相关的，如：鼠标——实时捕捉单个点的坐标；触摸屏——实时捕捉1个或多个点坐标。以上两种技术都把操作者限制在电脑或屏幕的旁边，在一些场合会明显地操作不方便，例如：在使用投影仪的教学和会议之中。再例如：在枪击类游戏设备中，需要实时捕捉游戏枪所瞄准的坐标，以上技术更是无法满足需求。

《中国图象图形学报：A辑》2003年第11期刊登的《基于激光笔的远程人机交互技术》一文所发表的技术可以解决上述问题：手持的激光笔可以在屏上投射出一个光点，使用摄像机捕捉到带有光点的图像，把图像传送给计算机，由计算机的图像处理软件分析出光点的位置。该技术的主要问题在于：1、需要把图像传送到计算机，由于数据量大，数据传输与图像分析都需要占用大量的计算机I/O口通讯资源、CPU资源以及内存资源，需要高性能配置的计算机；2、只能捕获一个光点的坐标，无法实现多光点坐标捕捉(同一时刻只能使用一支激光笔)。

申请号200710062861.2、发明名称为“嵌入式屏幕光点定位技术”的中国发明专利文献公开了一种技术：用FPGA作为硬件处理摄像机捕捉的图像，分析出坐标数据，再把分析好的坐标直接发给计算机，无需把大量的数据发送给计算机并由计算机处理，很好地解决了《基于激光笔的远程人机交互技术》中占用计算资源过多、需要高性能计算机的问题，但该技术也只能捕获一个光点的坐标，无法实现多光点坐标捕捉。

授权公告号CN202120235U、发明名称为“基于LCD、投影仪的多点光枪控制装制”的中国实用新型专利文献公开了另一种技术：使用2个摄像机、2种波长的激光，实现对2个光点坐标的捕捉。具体方法为：摄像机A镜头加装980nm通带滤光片，只接收980nm波长的红外光线；摄像机B镜头加装850nm通带滤光片，只接收850nm波长的红外光线；A激光器发射980nm波长激光，B激光器发射850nm波长激光；这样A摄像头只捕捉A激光器投射的光点，B摄像头只捕捉B激光器投射的光点；这时再将2个摄像头捕捉的2幅图像传送给计算机处理，得到2个光点的坐标。该技术的问题是：1、摄像机数据增加了一倍，成本增加；2、图像数据量增加了一倍，还由计算机处理图像，要求的计算机性能更高；3、虽然可以技术捕捉2个光点，但要继续增加光点数几乎不可能：a、要继续增加摄像机数量；b、要使用更多波长的激光以及对应的通带滤光片，但受限于现在的激光技术，无法制造出任意波长的激光器，通带滤光片的也无法做到对波长相差不大的光线做选择性过滤。

远程人机交互技术有着很好的应用前景，随着《基于激光笔的远程人机交互技术》一文的发表，以激光器+摄像机为基础的光点定位技术方案在不断地得到优化，但始终没有哪种方案能同时解决如下问题：1、多点坐标捕捉(例如：10个人拿10支激光笔同时操作)；2、不需要配置高性能的计算机；3、响应速度快，满足操作者的“实时”响应感。

发明内容

为解决现有技术中存在的上述技术问题，本发明提供一种多点定位系统，以实现多点定位交互，并达到低成本、响应速度快的技术效果。

本发明提供一种多点定位系统，所述多点定位系统包括：

图像捕捉单元，用于对发光装置投射在投射面上的投射光点或发光装置本身形成的光点进行捕捉，为主控单元提供捕捉的图像数据、捕捉图像数据时产生的行同步信号和场同步信号，该图像捕捉单元包含图像传感器芯片、为图像传感器芯片生成光学实像的镜头以及图像传感器外围电路；

通讯单元，该通讯单元用于将主控单元处理得到的光点坐标数据发送给其它需要使用坐标数据的设备；以及

主控单元，该主控单元用于为图像捕捉单元设置各种参数，采用分时复用技术，响应图像捕捉单元的场同步信号，精确控制当前捕捉光点亮，其余光点灭，即图像捕捉单元的捕捉顺序与相应光点亮其余光点灭同步，接收图像捕捉单元输出的图像数据，在接收图像数据的同时对像素做处理，得到光点坐标，将光点坐标通过通迅单元发送给其它需要使用坐标数据的设备，实现同时控制多个光点交互。

本发明的基于多点定位系统的多点定位方法，采用分时复用技术，主控单元实现摄像机的图像捕捉时序与光点亮灭时序精准同步，提取光点的亮度阈值，计算光点的坐标，实现同时控制多个光点交互。

本发明的上述技术方案，能同时解决如下问题：1、多点坐标捕捉(例如：10个人拿10支激光笔同时操作)；2、不需要配置高性能的计算机；3、响应速度快，满足操作者的“实时”响应感。现有技术只能对1--2个光点做出定位，而本技术则可以轻易实现10个以上光点的实时定位，而且成本低、稳定可靠，可以极大地扩充该项定位技术的应用范围。

附图说明

图1为多点定位系统框图；

图2为发光装置控制流程图；

图3为亮度阈值提取流程图；

图4为光点坐标计算流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明为实现对多个光点的实时坐标捕捉，在现有技术的基础上，提出一种分时复用技术。原理如下：人脑对图像的处理是需要时间的，当图像更新达到一定速度后，人脑会认为图像的变化是连续的，例如：电影每秒播放24帧画面，人观看时会感觉电影画面是连续运动的，不存在“顿卡”。同理，人机交互设备只要每秒钟捕捉到数据的次数足够多，人就会感觉交互是连续(即：实时)的。事实上，现有技术对光点坐标的捕捉速度通常在每秒30次以内，人们操作时已经有非常好的“实时”感。普通电脑摄像头一般每秒最多捕捉30帧图像，因此普通电脑摄像头被广泛使用在现有的光点捕捉技术中。如果摄像机的捕捉速度达到300帧/秒，采用分时机制捕捉10个光点：摄像机捕捉第1帧图像时，让第1个光点亮，其它9个光点灭，可以捕捉出第1个光点的坐标；摄像机捕捉第2帧图像时，让第2个光点亮，其它9个光点灭，可以捕捉出第2个光点的坐标……如此循环，则在1秒钟内，每个光点的坐标都被捕捉了30次，所以每个光点交互的实时性都能达到现有技术一样的效果。

为实现分时复用，必须解决如下几个问题：1、摄像机的图像捕捉速度要足够快，而且光点越多，要求捕捉速度越快；2、摄像机的图像捕捉时序要与光点亮灭时序精准同步；3、捕捉到图像后，要立即分析出图像内光点的坐标。本发明的多点定位系统是这样解决上述问题的：1、选用高捕捉速度的图像传感器，例如日本索尼公司2015年正在研发的平价高速图像传感器已可以实现每秒捕捉1000帧图像；2、图像传感器每捕捉一帧图像后，会产生一个“场同步”信号，多点定位系统通过硬件电路直接响应“场同步”信号，当信号出现时，立即将当前亮的光点熄灭，同时点亮下一个光点，从而实现图像捕捉时序要与光点亮灭时序精准同步；3、多点定位系统通过硬件处理图像数据，在图像传感器输出每一个像素数据的同时对该像素数据做处理，在整帧图像所有像素都输出完毕的同时，光点坐标也计算完毕。

下面结合附图对本系统进行进一步的说明。

参见图1，多点定位系统包含如下单元模块：图像捕捉单元、主控单元和通讯单元。其中，图像捕捉单元与主控单元电连接，为主控单元提供图形数据信号、行同步信号和场同步信号；发光装置1到发光装置n电连接到图像捕捉单元，以使图像捕捉单元能够采集发光装置的光点信号。主控单元接收图像捕捉单元提供的上述各种信号，并为图像捕捉单元提供参数设置信号，对图像捕捉单元进行控制。主控单元还与通讯单元电连接，将经过处理得到的光点坐标数据通过通讯单元发送到需要使用多点定位系统的智能设备。

所述多点定位系统中的图像捕捉单元具有如下特征：a、包含图像传感器芯片；b、包含为图像传感器芯片生成光学实像的镜头；c、图像传感器外围电路。上述图像捕捉单元已经有成熟的现有技术及商品化的模块，这里不再细述。通讯单元用于将系统捕捉的光点坐标数据发送给其它需要使用坐标数据的设备(例如：计算机、游戏主机、其它任何智能设备)。通讯单元的通信接口可以是USB、串口、以太网等等，由于这些接口都是现有成熟接口，这里也不再细述。主控单元用于：a、为图像传感应器设置各种参数；b、响应图像传感器的“场同步”信号，精确控制当前捕捉光点亮，其余光点灭，即图像捕捉单元的捕捉顺序与相应光点亮其余光点灭同步；c、接收图像传感应器输出的图像数据，在接收数据的同时对像素做处理，得到光点坐标；d、将光点坐标通过通讯单元发送给其它设备。主控单元集中了整个系统的所有核心技术，其器件的选择可以用如下几种方案：1、通用型微处理器(如：51系列单片机、ARM处理器等等)；2、FPGA(现场可编程门阵列)；3、CPLD(复杂可编程逻辑器件)；4、DSP(数字信号处理的芯片)；5、上述器件的组合。

主控单元用来实现下列核心功能：1、摄像机的图像捕捉时序与光点亮灭时序精准同步。2、提取光点的亮度阈值。3、计算光点的坐标。

参见图2的发光装置控制流程图，实现摄像机的图像捕捉时序与光点亮灭时序精准同步的流程为：主控单元初始化完成后，首先打开第1个发光装置，设置变量index的值为1，表示当前第1个发光装置工作；图像传感器每捕捉一帧图像，会产生一个“场同步”信号，当图像传感器的第1个发光装置的“场同步”信号到达时，关闭当前已打开的第1个发光装置，打开第2个发光装置……，如此循环；如果当前已经是最后1个发光装置，则循环打开第1个发光装置。依照上述流程实现图像捕捉时序与光点亮灭时序的精准同步。

参见图3的亮度阈值提取流程图。主控单元在判断某像素是否为光点时，是基于该像素亮度与阈值亮度的比对：如果像素的亮度比阈值更亮，则认为是光点，反之则不是。在理想情况下，亮度阈值应该是固定的，即：取最大亮度的90％即可。但考虑到实际应用中光点位置不一样，会导致光点亮度不一样，例如：激光笔在投影屏上投出的光点，实测数据显示光点在屏幕中央位置较亮，在四个角位置会暗一点。为防止光点亮度不一样可能造成的误差，主控单元会在每一帧图像输出时，实时提取一次最大亮度值，并将该值乘以0.9，并将该结果设置为亮度阈值。并且，亮度阈值是与发光设备相关的，每个发光设备都在被点亮的那一帧提取一个自己的亮度阈值。

参见图4的光点坐标计算流程图。当主控单元将接收到图像传感器的“场同步”信号后，开始新一帧图像的光点坐标计算，首先将代表光点坐标的统计值vx、vy和代表有效像素点数的points清0；图像传感器每输出一个像素时，主控单元立即判断该像素的亮度是否大于当前发光装置的亮度阈值(在本发光装置上一次被点亮时已提取)比较，如果是光点，则将当前像素的x，y坐标值分别累加到vx，vy，并将points的值累加1。完成本帧所有像素的输出后，即得到光点坐标(vx/points，vy/points)。

上文中提到的发光装置可以是：1、激光发射器(例如：激光笔)；2、安装在移动平台或手持设备上的LED灯(例如：在教鞭末端加装LED灯，配合本系统，可以定位出教鞭末端所在的位置)。3、其它可以快速控制点亮/熄灭的光源。

当使用本系统对激光发射器所投射光点进行定位时，如果投射面的介质对光的漫反射光性差，则很难投射出一个高亮度的光点。例如，投射面是液晶显示器的屏幕，由于显示器屏幕一般会使用对光线反射性反差的材料，以保证屏幕不会反射太多的环境光造成“眩光”。当激光点投射在这种屏幕上时，同样也不会被良好地反射，光点很难被本系统检测到。为适应这种应用环境，本系统给出的解决方案是：在显示器上贴一层同时具有高透射高反射性能的膜，高透射性是为了满足显示器的图像能够正常输出，高反射性是为了反射激光投射的光点。市面有上销的“幻影成像膜”具有这样的特性；常用于贴在办公室/浴室玻璃墙上的半透明磨砂膜，也可以使用。

本发明的多点定位系统可应用于计算机、游戏设备或其它只能设备中。特别是应用在游戏设备，例如采用投影显示游戏画面的枪击类游戏设备，能够让更多名玩家同时用游戏枪在同一屏幕上玩射击游戏，由于参与玩家多，能够产生非常好的游戏氛围，为玩家带来更加流畅精准的射击体验。本发明的多点定位系统应用到游戏设备中，一定能够成为游戏机行业内畅销的游戏设备，带来很好的经济效益。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种多点定位系统，其特征在于，所述多点定位系统包括：

图像捕捉单元，用于对发光装置投射在投射面上的投射光点进行捕捉，为主控单元提供捕捉的图像数据、捕捉图像数据时产生的行同步信号和场同步信号，该图像捕捉单元包含图像传感器芯片、为图像传感器芯片生成光学实像的镜头以及图像传感器外围电路；

通讯单元，该通讯单元用于将主控单元处理得到的光点坐标数据发送给其它需要使用坐标数据的设备；以及

主控单元，该主控单元用于为图像捕捉单元设置各种参数，采用分时复用技术，响应图像捕捉单元的场同步信号，精确控制当前捕捉光点亮，其余光点灭，即图像捕捉单元的捕捉顺序与相应光点亮其余光点灭同步，接收图像捕捉单元输出的图像数据，在接收图像数据的同时对像素做处理，得到光点坐标，将光点坐标通过通迅单元发送给其它需要使用坐标数据的设备，实现同时控制多个光点交互。

2.根据权利要求1所述的多点定位系统，其特征在于，所述主控单元可以为通用型微处理器、FPGA、CPLD、DSP或上述器件的组合中的任意一种。

3.根据权利要求1所述的多点定位系统，其特征在于，所述发光装置是能够快速控制点亮/熄灭的光源。

4.根据权利要求3所述的多点定位系统，其特征在于，所述发光装置为激光发射器、安装在移动平台或手持设备上的LED灯。

5.根据权利要求1所述的多点定位系统，其特征在于，其它需要使用坐标数据的设备为计算机、游戏机或其它智能设备中的一种。

6.根据权利要求1-5中任一项所述的多点定位系统，其特征在于，当投射面的介质对光的漫反射光性差时，在投射面贴一层同时具有高透射性能和高反射性能的膜。

7.一种利用如权利要求1所述的多点定位系统的多点定位方法，其特征在于，该方法采用分时复用技术，主控单元实现摄像机的图像捕捉时序与光点亮灭时序精准同步，提取光点的亮度阈值，计算光点的坐标，实现控制多个光点交互。

8.根据权利要求7所述的多点定位方法，其特征在于，其中实现摄像机的图像捕捉时序与光点亮灭时序精准同步的方法为：主控单元初始化，打开第一个发光装置；图像传感器每捕捉该发光装置的图像，产生场同步信号，当场同步信号到达主控单元时，关闭当前已打开的发光装置，打开下一个发光装置，如果当前已经是第最后一个发光装置，则循环打开第一个发光装置。

9.根据权利要求8所述的多点定位方法，其特征在于，其中提取光点的亮度阈值的方法为：主控单元在每一帧图像输出时，实时提取一次最大亮度值，并将该值乘以0.9，并将该结果设置为亮度阈值。

10.根据权利要求9所述的多点定位方法，其特征在于，其中计算光点坐标的方法为：当主控单元将接收到图像捕捉单元的场同步信号后，开始新一帧图像的光点坐标计算，将代表光点坐标的统计值vx，vy和代表有效像素点数的points清0；图像捕捉单元每输出一个像素，主控单元立即判断该像素是否为光点，若是，则将当前像素的x，y坐标值分别累加到统计量vx，vy，并将光点数统计量points的值累加1，完成本帧所有像素的输出后，即得到光点坐标vx/points，vy/points。