CN105126338A - 一种适用于光枪射击游戏的视频定位系统 - Google Patents

Abstract

一种适用于光枪射击游戏的视频定位系统，可以捕捉到红外光线而人眼无法识别的特点，制定红外特征点排列规则，通过图像处理算法识别出图像中的红外特征点，建立特征点图像坐标与实际坐标之间的对应关系，然后根据特征点的图像坐标和实际坐标利用近景摄影测量的相关理论和算法计算得到枪口对准点的实际坐标，从而为服务器判断光枪是否命中目标提供依据良好的特征点编码规则、高速的图像采集帧率、精确实时的特征点识别算法、稳健而有效的特征区域校验算法、快速鲁棒的空间坐标计算算法、简洁稳定的系统输出接口。本发明包括有六个模块：图像采集模块，特征点识别模块，特征点聚类模块、特征区域校验模块，空间坐标计算模块和系统输出接口模块。

Description

一种适用于光枪射击游戏的视频定位系统

技术领域

本发明涉及游戏射击领域，尤其是指一种适用于光枪射击游戏的利用红外光源作为特征点的视频定位系统。

背景技术

光枪射击游戏或光线枪射击游戏，常简称为光枪游戏，是一种射击游戏，主要设计元素是使用枪形控制器瞄准并射击。光枪射击游戏以主人公为中心，射击敌人或无生命对象等目标。光线枪射击游戏通常使用动作或惊悚主题，亦有以幽默、戏仿方式的。这些游戏通常使用“顺轨道行进”的移动方式，玩家仅控制瞄准；主人公其他动作由游戏决定。使用此设备的游戏有时被称为“轨道射击”，但此术语还适用于“顺轨道”移动的其他类型游戏。某些，特别是后来的游戏，给予玩家更高的移动控制自由权，其他的主人公仍然完全不移动。枪射击游戏使用“光线枪”控制器，其因使用光传感器功能而得名。在1930年代就有使用光线枪的机械游戏，但他们的运作与电子游戏有别。随着电子游戏在1970年代取代机械游戏，1980年出现了流行的光枪射击游戏，此类游戏在1990年代达到顶峰。

光枪作为一个视频采集及处理设备，首先采集红外特征点的图像，在采集到图像后，根据特征点编码的先验知识对图像进行特征点识别、特征点聚类、特征区域校验等模块的处理获得标记区域的图像坐标，然后通过目标点坐标计算模块获得枪口对准点在屏幕上的实际坐标，最后把枪口对准点的坐标传回给游戏机，告诉主机枪口所瞄准的位置。当按下扳机后，系统采集并计算当前枪口对准点在屏幕上的坐标。简单的来说，光枪的工作原理就是：抠下扳机――线缆将信号传给系统――采集一帧图像――特征点识别――特征点聚类――特征区域校验――枪口对准点空间坐标计算――返回枪口对准点坐标到游戏服务器――服务器判断光枪是否打中目标。

发明内容

本发明的目的在于搭建一种适用于光枪射击游戏的视频定位系统，在无需大幅提高当前光枪射击游戏硬件配置的前提下，提升光枪射击游戏的射击感和可玩性，促进国内外基于视频定位技术的光枪射击游戏产业的发展，丰富游乐市场，填补国内在高精度实时光枪射击游戏领域的空白。本发明利用视频采集系统可以捕捉到红外光线而人眼无法识别的特点，制定红外特征点排列规则，通过图像处理算法识别出图像中的红外特征点，建立特征点图像坐标与实际坐标之间的对应关系，然后根据特征点的图像坐标和实际坐标利用近景摄影测量的相关理论和算法计算得到枪口对准点的实际坐标，从而为服务器判断光枪是否命中目标提供依据。良好的特征点编码规则、高速的图像采集帧率、精确实时的特征点识别算法、稳健而有效的特征区域校验算法、快速鲁棒的空间坐标计算算法、简洁稳定的系统输出接口等是本发明需要解决的关键技术问题。

本发明解决其技术问题所采用的技术方案是：

本方案采用图像处理和单视摄影测量的技术，从图像中的红外灯所对应的特征点对来解算枪口所指向的屏幕上的坐标，输出到游戏控制模块来提供流畅自然的游戏体验。本系统为典型的嵌入式系统，硬件上我们选用成熟主流的美国TI公司的图像处理解决方案DavinciDM6446。设计的方案共分为如下六个模块：图像采集模块，特征点识别模块，特征点聚类模块、特征区域校验模块，空间坐标计算模块和系统输出接口模块。下面将逐一介绍：

（1）图像采集模块

此模块主要负责将红外传感器CCD获取的连续图像传输到计算机。软件系统中的采集模块通过摄像机驱动，采集到图像部分数据，将对应数据段传输给用于数据处理的识别跟踪模块。

（2）特征点识别模块

红外灯特征点在屏幕上的编排编码方式采用类似如图1所示的形式：将屏幕分为若干分区，每个分区包含数目不同的红外灯特征点，红外灯特征点就是红外特征点，相邻分区之间的距离大于分区的对角线长度的两倍。根据物理空间的大小和光枪拍摄范围可以调整分区的个数和分区之间的距离。每个分区中红外灯特征点的数目表征了此分区的区域属性。识别特征点是整个系统处理的关键步骤，后续的处理都依赖于特征点的识别跟踪每一个特征点以便有足够的特征点来计算位置。模块用数字图像处理的方法提取出特征点的位置，并根据每个特征点所属特征区域的先验知识实现特征点区域聚类。

（3）特征点聚类模块

对各特征点按照距离约束对特征点进行分类，将符合距离约束的特征点分为若干区域，并以属于同一特征区域的特征点的坐标均值代表此特征区域的坐标，以特征区域内特征点个数表征此特征区域的类别，实现与其他区域的区分。完成无序特征点的聚类和坐标计算，以特征区域中特征点的个数作为其类标。

（4）特征区域校验模块

当光枪非垂直指向屏幕上的目标时，会产生透视投影和成像畸变，此时采集到的图像多为倾斜和透视变形的，导致特征点排列规则被破坏，会影响特征点区域聚类结果的准确性，需要建立个特征区域之间的邻域路由表。当确定所有邻域的排布时，所谓的邻域路由表就建立起来了，邻域路由表即表述表中相邻元素之间、对岸元素间的对应关系的图表，借助此表，可以帮助我们在信息缺失时可以方便快捷的确定区域的正确性、推导出邻域。

（5）空间坐标计算模块

获取到校验后的特征点信息后，通过确定的屏幕在图像坐标系中的位置和在地辅系中的位置，坐标计算模块实时计算出红外传感器正对到屏幕中的位置坐标，并利用该坐标转换到光枪指向的位置。此模块是整个系统的关键，决定了视频定位系统的精度。运用射影几何理论，利用单幅图像和场景中图像信息以及场景信息，从而实现对场景中坐标的测量。

（6）系统输出接口模块

计算得到的指向位置坐标通过该接口模块实现坐标数据信息实时传输连接到视景仿真系统。我们采用了ARM+DSP的架构，计算密集型的图像处理和单视测量计算安排在数字处理芯片DSP上，调度和接口安排在ARM上进行。DSP解算的枪口所指向的屏幕空间坐标交由ARM上的Linux操作系统送出。

综上所述，本发明充分利用图像处理和单视近景摄影测量技术，搭建一种适用于光枪射击游戏的视频定位系统，上述方案给出了本系统的完整流程和涉及的主要技术。

本发明一种适用于光枪射击游戏的视频定位系统具有以下优点：

（1）本发明的技术方案中使用红外灯特征点作为特征点，易识别、图像处理计算量小、易于安装调试、稳定性强、不影响游戏者的游戏体验。

（2）本发明的技术方案中使用红外特征点分区，只要安装实际情况调整每个分区中红外特征点的个数和分区的个数就可以实现多种编码方式，满足各种实际需要，调整方案简便易行，成本低。

（3）本发明的技术方案中使用数量较少的红外特征点分区，定位速度快，到达视频流级别，定位精度高。

（4）本发明的技术方案中使用基于DaVinci技术的DM6446系列数字视频片上系统，其图像处理和图像采集显示功能都很强大，把软件、硬件、开发工具与服务支持作为一个整体，给开发视频产品带来了极大的便利，其成熟高效的DSP技术，高速ARM处理器，支持视频图像输入，支持Linux操作系统等技术优点，使得开发人员可以通过增减系统功能灵活地实现各种视频应用产品，且开发复杂性降低、周期缩短，灵活性得到加强。

（5）本发明的技术方案中使用一种应用于视频投影运动目标定位参考点识别方法，基于基准点和基准距离迭代的算法进行图像中红外特征点编码的聚类，形成特征点，速度快，精度高。

（6）本发明的技术方案中加入特征区域校验模块，当特征点识别模块因遮挡和图像畸变引起的错误识别时，对错误识别的特征点进行识别和纠错，提供特征点的正确坐标，提高了特征点识别的鲁棒性。

（7）本发明的技术方案中使用一种基于近景摄影测量的空间坐标计算模块，在只需要至少三个特征点的情况下，建立光枪坐标空间与屏幕坐标空间之间的转化关系，实现光枪坐标空间上任意一点都可以在屏幕坐标空间上找到与之对应的点，该模块计算实时性和鲁棒性与传统匹配方法相比都取得了较大提升。

（8）本发明的技术方案中采用了ARM+DSP的架构，将视频采集与图像处理过程分开进行，充分利用ARM和DSP各自的优势，保证了整个系统计算的实时性。

附图说明：

图1为系统总体布置图；

图2为系统框架；

图3为红外特征点编码图例；

图4为特征点聚类的图例；

图5为特征区域校验的图例；

图6为空间坐标计算的图例。

具体实施方式：

游戏总体布置如图1所示。其中屏幕在左边，中间是游戏枪区域，在屏幕前3-10米的扇形区间。屏幕上安放红外灯，安放位置按照不同的方式编码以区分屏幕不同的方位。游戏枪前端配置CCD摄像机，实时拍摄枪口所指向的屏幕部分。红外灯对人眼不可见，但对CCD敏感，在CCD图像平面上显示为清晰可辨的亮点，通过解码可以辨别图像中枪口所对应的不同方位。

本系统可以快速精确地计算出当前光枪指向目标在屏幕上的实际坐标，实现光枪射击游戏中用枪口对准点的实时精确定位，它主要由图像采集模块、特征点识别模块、特征点聚类模块、特征区域校验模块、空间坐标计算模块、系统输出接口模块六个模块组成。各模块之间的关系如图2所示。当光枪扣下扳机时图像采集模块采集到一帧图像，由于光枪对可见光具有滤光功能，所以图像中只包含红外光线的信息，表现为红色亮点，即特征点。特征点识别模块通过图像处理方法计算这些特征点的图像坐标。特征点聚类模块将这些特征点按照特征点编码规则完成聚类，将属于同一个区域的特征点划分到同一个特征区域，并以特征区域内各特征点的坐标均值作为此特征区域的坐标，以特征区域中所含特征点的个数为此特征区域的标号，作为其身份标识，由于各特征区域的实际坐标为已知量，所以可以依据此身份标识完成各特征区域实际坐标与图像坐标的匹配。特征区域校验模块通过一种路由表算法依据各特征区域之间的位置关系，完成特征区域的校验，实现错误特征区域的识别与纠错，恢复错误的特征区域，保证各特征区域的准确性。空间坐标计算模块利用近景摄影测量中的四元数后方交会算法建立个特征点图像坐标与实际坐标之间的对应关系，得到空间变化方程，利用已知的枪口对准点图像坐标计算枪口对准点的实际坐标。系统输出接口模块将计算得到的枪口对准点实际坐标通过串口通信或网络通信方式传输到服务器端，为服务器决策提供依据，系统输出接口模块采用先进的DSP+ARM加框，保证图像采集模块的采集帧率和图像处理与坐标计算的快速有效，为整个系统的数据计算与传输提供保障。

图3为红外特征点编码的一个实例。每个特征点以一个黑色圆点代替，每个特征点与其周围紧邻的其他特征点形成一个区域，称为特征区域，每个特征区域以其包含的特征点个数为标号，从左到右依次记为3，4，5，6。具体的排布方式可以按照个人喜好，只是需要遵循不属于同一特征区域的任意特征点之间距离的最小值大于属于同一个特征区域的所有特征点之间距离的最大值的3/2倍即可。

特征点识别是通过将图像二值化，利用k均值聚类算法将属于同一个连通域的像素赋予相同的标识符，这些具有相同标识符的像素属于同一个特征点，计算每个特征点中所含像素的坐标均值作为该特征点的坐标。

特征点聚类模块的主要目的是按照特征点编码规则，将属于同一个特征区域的特征点划分到同一个区域，以特征区域中所含特征点的个数作为其身份标识，图4为特征点聚类的一个实例。首先根据距离图像坐标原点（0,0）距离的最大值和最小值，分别将距离图像坐标原点的最近点和最远点记为基准点A和B；然后通过计算其他亮块到这两个基准点之间的距离，将距离的最小值作为初始基准距离，并根据就近原则确定亮块归属，形成区域RA和RB；接着分别计算区域RA和RB内所有亮块的坐标均值，并以此作为这个区域的坐标，计算区域内所有亮块到区域坐标的距离，若这个距离大于初始基准距离的某个倍数，则认为这个区域还需要再次分解，直到满足上述条件。对于分解后的区域，需要对其进行区域完备性检查并对存在错分的亮块和区域分布进行重新加入及合并。最后完成整个聚类过程。

特征区域校验模块如图5所示，根据各特征区域的邻域信息，建立以此特征区域为中心的路由表，当检测到当前特征区域的邻域信息与路由表不符时对其进行纠错，保证特征区域识别的正确性。

空间坐标计算模块如图6所示，主要是利用近景摄影测量的相关理论和算法，以特征区域的图像坐标和实际坐标为自变量，以枪口对准点实际坐标及其枪口对准点图像坐标为已知量，求得枪口对准点在屏幕上的实际坐标。由于枪口对准点在图像上反映为图像的中心，而图像坐标系以图像中心为坐标原点，所以枪口对准点的图像坐标为（0,0），枪口对准点在屏幕上的实际坐标是各特征点图像坐标与实际坐标的函数。

以上所具体描述的，是一种适用于光枪射击游戏的视频定位系统技术方案，对本方案的原理，技术方案和实施方式进行了详细的阐述，以上具体实施步骤内容只是为了帮助理解，并不限定本方案的保护范围，本发明适用于利用特征控制点进行空间视频定位领域，凡在本发明的核心思想和原则之内，做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种适用于光枪射击游戏的视频定位系统，其特征在于，包括如下模块：

（1）图像采集模块

此模块主要负责将红外传感器CCD获取的连续图像传输到计算机；图像采集模块通过摄像机驱动，采集到图像部分数据，将对应数据段传输给用于数据处理的识别跟踪模块；

（2）特征点识别模块

红外灯特征点在屏幕上的编排编码方式为：将屏幕分为若干分区，每个分区包含数目不同的红外灯特征点，红外灯特征点就是红外特征点，相邻分区之间的距离大于分区的对角线长度的两倍；根据物理空间的大小和光枪拍摄范围可以调整分区的个数和分区之间的距离；每个分区中红外灯特征点的数目表征了此分区的区域属性；识别特征点是整个系统处理的关键步骤，后续的处理都依赖于特征点的识别跟踪每一个特征点以便有足够的特征点来计算位置；模块用数字图像处理的方法提取出特征点的位置，并根据每个特征点所属特征区域的先验知识实现特征点区域聚类；

（3）特征点聚类模块

对各特征点按照距离约束对特征点进行分类，将符合距离约束的特征点分为若干区域，并以属于同一特征区域的特征点的坐标均值代表此特征区域的坐标，以特征区域内特征点个数表征此特征区域的类别，实现与其他区域的区分；完成无序特征点的聚类和坐标计算，以特征区域中特征点的个数作为其类标；

（4）特征区域校验模块

当光枪非垂直指向屏幕上的目标时，会产生透视投影和成像畸变，此时采集到的图像多为倾斜和透视变形的，导致特征点排列规则被破坏，会影响特征点区域聚类结果的准确性，需要建立个特征区域之间的邻域路由表；当确定所有邻域的排布时，所谓的邻域路由表就建立起来了，邻域路由表即表述表中相邻元素之间、对岸元素间的对应关系的图表，借助此表，可以帮助我们在信息缺失时可以方便快捷的确定区域的正确性、推导出邻域；

（5）空间坐标计算模块

获取到校验后的特征点信息后，通过确定的屏幕在图像坐标系中的位置和在地辅系中的位置，坐标计算模块实时计算出红外传感器正对到屏幕中的位置坐标，并利用该坐标转换到光枪指向的位置；此模块是整个系统的关键，决定了视频定位系统的精度；运用射影几何理论，利用单幅图像和场景中图像信息以及场景信息，从而实现对场景中坐标的测量；

（6）系统输出接口模块

计算得到的指向位置坐标通过该接口模块实现坐标数据信息实时传输连接到视景仿真系统；我们采用了ARM+DSP的架构，计算密集型的图像处理和单视测量计算安排在数字处理芯片DSP上，调度和接口安排在ARM上进行；DSP解算的枪口所指向的屏幕空间坐标交由ARM上的Linux操作系统送出。