CN110345815A - 一种基于视线追踪的履带车枪械瞄准方法 - Google Patents

一种基于视线追踪的履带车枪械瞄准方法 Download PDF

Info

Publication number
CN110345815A
CN110345815A CN201910638823.XA CN201910638823A CN110345815A CN 110345815 A CN110345815 A CN 110345815A CN 201910638823 A CN201910638823 A CN 201910638823A CN 110345815 A CN110345815 A CN 110345815A
Authority
CN
China
Prior art keywords
pupil
image
eye
point
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910638823.XA
Other languages
English (en)
Inventor
陈万忠
蒋鋆
韩志武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN201910638823.XA priority Critical patent/CN110345815A/zh
Publication of CN110345815A publication Critical patent/CN110345815A/zh
Pending legal-status Critical Current

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G1/00—Sighting devices
    • F41G1/46—Sighting devices for particular applications
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F41—WEAPONS
    • F41G—WEAPON SIGHTS; AIMING
    • F41G3/00—Aiming or laying means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于视线追踪的履带车枪械瞄准方法，为克服现有技术适用性不高、精度较低与实时性不能满足要求的问题，该方法步骤：1)获取人眼图像：正确佩戴视线追踪器后，调节人眼CCD摄像头至双眼居中的位置，且面向正前方，以确保视线追踪器能够准确的完成对射手眼部图像的采集；2)瞳孔检测：(1)眼部图像预处理；(2)瞳孔中心定位；(3)瞳孔跟踪；(4)普尔钦光斑中心定位；(5)获得P‑CR向量；3)定点标定；4)视线追踪：得到P‑CR向量与场景图像视线落点坐标的映射关系后，进一步获取新的人眼图像的眼动参数，然后借助已经确定的映射关系完成视点在场景图像中位置的估计，完成最终的视线追踪；5)执行控制指令。

Description

一种基于视线追踪的履带车枪械瞄准方法
技术领域
本发明涉及属于机器视觉技术领域中的一种方法，更确切地说，本发明涉及一种基于视线追踪的履带车枪械瞄准方法。
背景技术
视线追踪技术也称为眼动追踪技术，英文称为Eye tracking/gaze tracking，是利用软件算法、机械、电子、光学等各种检测手段获取受试者当前视觉注意方向的技术。视线追踪技术通过图像传感器来捕捉眼球图像，依据图像处理技术识别眼球瞳孔里的特征，最后通过这些特征实时地反算出在屏幕上的注视点，属于一种机器视觉技术。该技术广泛应用于人机交互、车辆辅助驾驶、心理研究、虚拟现实和军事应用等多个领域。
视线追踪技术的典型应用是面向残疾人的人机交互系统，最常见的是眼睛动作控制的鼠标系统。通过视线追踪技术获取人的视线在屏幕上的落点，从而控制计算机鼠标的移动，使肢体严重残障的残疾人可以用眼睛直接操作计算机，此外常见的还有专门为残疾人或行动不便的老年人设计的视线打字系统，这种系统的交互界面上设有虚拟键盘，用户可以通过盯视虚拟键盘中的按键达到输入文本的目的，同时界面上还有一些控制命令可以完成计算机的其它操作。
目前，简单的机械瞄准具由准星和带照门的表尺组成，主要配用在手枪、步枪、冲锋枪、机枪和火箭筒等近距离射击武器上；光学瞄准具主要由瞄准镜、表尺分划筒、方向和高低机等装置组成。使用时，将瞄准具装定好对准目标的方向角和高低角，并将瞄准参数赋予武器实施射击，通过射程和方向的不断修正，保证弹道准确通过目标。机械瞄具非常可靠耐操，而且使用得当也可以有不错的精度，但有两短板。首先，机械瞄具的瞄准原理决定了若要精确射击，必须要精确的对正前后瞄具，即准星和照门。若存在一个小偏差，都会在弹着点上有明显变化。其次，在对较远目标射击时，因为前瞄宽度固定且为了可靠和方便瞄准，不可能太窄，会存在射击较远敌人时前瞄挡住目标而不便瞄准的情况。机械瞄具有个缺陷，就是眼睛必须在瞄具中心线上才能瞄准，射手要姿态稳定后才能射击，这导致机械瞄具的实用性大大降低。
本发明基于机器视觉的视线追踪技术，对基于视线追踪的枪械瞄准方法的各项关键技术进行了研究，立足于开发一种基于视线追踪的履带车枪械瞄准方法。
发明内容
本发明所要解决的技术问题是克服现有技术存在的适用性不高、精度较低以及实时性不能满足要求的问题，提供了一种基于视线追踪的履带车枪械瞄准方法。
为解决上述技术问题，本发明是采用如下技术方案实现的：所述的一种基于视线追踪的履带车枪械瞄准方法包括步骤如下：
1)获取人眼图像：
正确佩戴视线追踪器后，调节人眼CCD摄像头至双眼居中的位置，且面向正前方，以确保视线追踪器能够准确的完成对射手眼图像采集；
2)瞳孔检测：
(1)眼部图像预处理；
(2)瞳孔中心定位；
(3)瞳孔跟踪；
(4)普尔钦光斑中心定位；
(5)获得P-CR向量；
通过精确提取到瞳孔中心坐标和普尔钦光斑中心坐标后，计算两者的二维偏移向量，得到P-CR向量；
3)定点标定；
4)视线追踪：
获得定点标定步骤得到的P-CR向量与场景图像视线落点坐标的映射关系后，进一步获取新的人眼图像的眼动参数，然后借助已经确定的映射关系完成视点在场景图像中位置的估计，完成最终的视线追踪；
5)执行控制指令。
技术方案中所述的眼部图像预处理是指：
(1)灰度化处理
首先将彩色的眼部图像转换为单色的灰度图像，转换公式为：
Gray＝0.299*red+0.587*green+0.114*blue；
然后将灰度图像划分为M*N个子区域，其中M、N均为正整数；
计算每个子区域内像素点矩阵中的所有像素点的灰度值，分别与预设的瞳孔阈值和光斑阈值进行比较，若子区域的灰度值小于或等于瞳孔阈值，则判定该区域为瞳孔区；若子区域的灰度值大于或等于光斑阈值，则判定该区域为光斑区，否则为眼白区；
(2)降噪处理
对瞳孔进行定位之前可以包括对眼睛的灰度图像进行降噪处理的步骤，以提高确定瞳孔和光斑中心坐标的精度；采用均值滤波、中值滤波的方法对灰度图像进行降噪处理；
均值滤波的公式如下：
式中：f(x,y)为原始图像，g(x,y)为处理后得到的图像；x,y＝0,1,2，...,N-1，S为(x,y)点领域中所有点的坐标的集合，但不包括(x,y)点，M为集合内坐标点的总数,为了尽可能地减少模糊失真，采用阈值法减少由于领域平均而产生的模糊效应，即设置非负阈值T；
中值滤波的基本思想是使用图像像素点的灰度值的中值来代替该像素点的灰度值，二维中值滤波的表达式为：yij＝Med{fij}；
式中：fij为图像像素值，yij为中值滤波后的灰度值，i,j为像素点的坐标；
(3)亮度增强处理
采用Sobel算子对眼部图像的灰度图像进行亮度增强，进而增大灰度对比度；假定Z5表示模板中心，定义Z5周围从左到右，从上到下依次为Z1,Z2,Z3,Z4,Z6,Z7,Z8,Z9；则其计算方法为：
采用增强算子作用于所述眼部图像的灰度图的每个像素，以达到图像亮度增强的目的，进而使图像灰度对比度增大。
技术方案中所述的瞳孔中心定位是指：
(1)Canny边缘检测
使用自适应Canny边缘检测方法提取出候选曲线，得到的这些曲线是瞳孔椭圆边线的一部分，从而完成对瞳孔的边缘检测；使用Canny边缘检测获取边缘曲线时，设每个边缘点的表达形式为：pi＝(xi,yi,ηi)，其中xi,yi是边缘点坐标，ηi为每个边缘点对应的梯度方向；
为了获得没有分支的边缘线，利用曲线梯度的正负性来表示边缘方向，因此，曲线按照边缘方向被分为两类,边缘方向落在1，3象限则认为是正方向，落在2，4象限则为负方向，对于垂直或者水平方向上的像素点，直接舍弃，在同一方向上的两个连续边缘点的8连通性用于提取连通边缘曲线，计算出曲线的最小区域包围盒OBBmin、最小区域包围盒OBBmin长边与短边的比值阈值threr以及最小区域包围盒OBBmin的面积阈值threa；如果包围盒长边与短边的比值大于threr，则表示这个曲线近似为直线段或者其直径非常大，说明这个椭圆的中心点不在图像中；如果这个最小区域包围盒的面积小于threa，则表明这个直线段非常小，不足以提供有效的信息；这两种情况的曲线会被抛弃，则剩下的这些曲线被认为是可能构成椭圆的曲线候选，由此完成边缘检测并提取眼部图像中的所有轮廓；
(2)弧段提取
选择弧段的关键点在于判断取得的边缘是否是平滑的，分别使用曲率的变化量和变化方向判断转角的拐点，步骤如下：
a.用一组直线段l1,l2,…,ln逼近一个弧段，θi表示li-1,li之间的夹角，也就是直线段方向的变化角度，如果θi很小，则说明这个点的曲率很小；反之，表示曲率很大，若|θi|＞threθ，此点处被认作是一个转角；
b.椭圆的弧段变化方向应该具有相同的符号，如果符号不同，则说明这里存在拐点，使用||θi|-|θi-1||＜|θi-θi-1|来识别拐点，如果这个式子两边相等，则说明是同一个方向，否则就说明方向不同，即存在拐点；
(3)建立弧段集合
普遍认为瞳孔形状近似为圆形或椭圆形，因此，仅需检测眼部图像中合适的椭圆，则认为该椭圆就是瞳孔；
a.初步选择较合适的弧段
从分布在4个象限的弧段中随机选择两个弧段τab＝(aa,bb)作为一个象限约束弧段集合，这个集合表示这些弧段可以初步的被选择出来，去构成较合适的一个椭圆；
使用下标Ⅰ、Ⅱ、Ⅲ、Ⅳ分别表示来自第一、二、三、四象限；因此得到六种不同的弧段组合：(aⅠ,aⅡ),(aⅠ,aⅢ),(aⅠ,aⅣ),(aⅡ,aⅢ),(aⅡ,aⅣ),(aⅢ,aⅣ)；
b.由椭圆中心进一步确定弧段
进一步计算可能构成这些弧段的椭圆中心，然后基于弧段集合的中心的接近度创建这些弧段的超集，若基于两个圆弧所估计的两个中心在可接受范围区域内的情况下，这样的弧段集合属于同一椭圆；两个弧段的相关距离约束函数如下式：
式中：r表示右，l表示左；al(x)为弧段最左侧的横坐标；ar(x)为弧段最右侧的横坐标；al(y)为弧段最左侧的纵坐标；ar(y)为弧段最右侧的纵坐标；如果Ω(aa,bb)小于阈值1，这个集合不可能构成一个椭圆，丢弃这个集合；否则保留这个集合；
(4)椭圆拟合
通过遍历这些集合做最小二乘椭圆拟合求出椭圆参数，以下为利用最小二乘法进行椭圆拟合的方法:
设在X-Y平面上有一系列待测点，{(xi,yi),i＝1,2,3,...,n}为待测椭圆轮廓点集合，(x,y)为集合中的任一点，在平面坐标系中椭圆方程可以用如下形式表示：
Ax2+Bxy+Cy2+Dx+Ey+F＝0，可以使用A,B,C,D,E,F这5个参数可以唯一确定一个椭圆；
最小二乘的目的是通过最小化误差的平方和寻找数据的最佳函数匹配，定义平面上的某一点到曲线最短的距离，对于目标函数：
使得f(A,B,C,D,FE),的值最小，由极值定理可得：可得到一个线性方程组，求得方程系数A,B,C,D,E,F值，然后代入方程就可求得一个椭圆方程，即该椭圆就表示我们需要的瞳孔；
(5)得到瞳孔的特征参数
拟合出椭圆之后，还要看边缘图上有多少个边缘点落在这个椭圆上，如果属于当前椭圆的边缘点个数与椭圆周长的比值小于设定阈值0.45，则认为这个椭圆是虚假椭圆，最后采用mean-shift聚类的方法获得局部密度最大，由此最终得到检测到的一系列瞳孔目标的参数，获得瞳孔的中心坐标。
技术方案中所述的瞳孔跟踪是指：
采用粒子滤波和卡尔曼滤波相结合的方法完成对瞳孔的实时跟踪，粒子滤波跟踪瞳孔过程步骤如下：
(1)参数初始化
首先在瞳孔中心定位步骤中选定瞳孔作为初始跟踪目标，得到初始瞳孔的特征参数；
(2)计算瞳孔特征直方图
对于得到的初始瞳孔特征参数，利用式计算瞳孔特征值直方图Qx；
(3)粒子状态初始化
接着完成粒子跟踪初始化，即选择适当的方差高斯函数对初始瞳孔进行随机采样，初始化的粒子状态，设粒子数为N，初始化粒子集状态STATESt-1；
则
式中：STATESt-1为每个粒子的状态矢量，为粒子状态；Vt-1为噪声矢量，为粒子权重；
(4)粒子状态预测
矩阵A为单位时间内瞳孔目标在图像中的偏移量，通过瞳孔目标状态转移矩阵A预测粒子集状态，预测粒子集的状态STATESt为:
(5)计算粒子相似度
利用灰度直方图计算粒子的欧氏距离：
式中：u＝1,…,bi为灰度级，mu为粒子的直方图，qu为目标状态的直方图；
对粒子区域进行二值化，计算各粒子区域的椭圆形状为其中为粒子区域像素数，为粒子区域周长；
然后令灰度特征观测值为：令形状特征观测值为：通过灰度特征和形状特征计算并更新每个粒子的权重，权重为对瞳孔目标状态进行估计，有其中瞳孔目标状态的概率权重其中和Ft E分别为瞳孔目标的灰度特征观测值和形状特征观测值；
(6)粒子重采样
为了对权值退化和多样性匮乏做出平衡，根据粒子的权重对粒子集中的粒子使用序贯重要性采样(SIR)进行重采样，即小权值的粒子丢弃，选取大权值的粒子并且可以重复选取，进行N次重复操作，有效的避免长时间跟踪造成的粒子退化问题；
(7)更新瞳孔目标模型
通过对目标状态的概率权重和预先设置的阈值ωt进行比较，若小于该阈值，则不更新瞳孔目标模型，即令Xt＝Xt-1；否则，更新瞳孔目标模型，即令Xt＝(1-θ)Xt-1+θE(Xt)，θ为权重；
粒子滤波的跟踪结果指导着卡尔曼滤波确定瞳孔目标的参数，据前一帧图像中确定的瞳孔目标参数，以此为基础使用卡尔曼滤波去确定下一帧图像中的瞳孔目标参数；且粒子滤波的跟踪结果决定着卡尔曼滤波的状态转移方程，其中，通过粒子滤波跟踪区域的瞳孔分割得到了卡尔曼滤波中的观测值，则利用前一时刻的估计值和观测值通过状态转移方程得到新时刻的估计值，这个时刻粒子滤波瞳孔的跟踪结果作为卡尔曼滤波中的观测值，卡尔曼滤波瞳孔跟踪开始，卡尔曼滤波跟踪瞳孔过程步骤如下：
a.假定t-1时刻的状态参数
假设t-1时刻的瞳孔目标状态的卡尔曼滤波估计为状态转移矩阵设为Φ，其中状态转移矩阵Φ的取值随着t时刻的粒子滤波状态估计中的矩形框位移的改变而改变；
b.t时刻卡尔曼滤波观测值
确定t时刻卡尔曼滤波观测差，为式中Z(t)为t时刻的观测值；
c.卡尔曼增益K
确定卡尔曼增益K，为
d.t时刻瞳孔状态预测
对t时刻的瞳孔状态进行预测，为
到此为止，完成了一次卡尔曼滤波跟踪瞳孔过程，完成卡尔曼滤波跟踪后，将t时刻的瞳孔目标位置参数作为粒子滤波的t时刻的状态矢量的估计值，进入到下一帧的预测当中，如此一帧一帧的循环，就实现粒子滤波和卡尔曼滤波相结合的瞳孔跟踪过程。
技术方案中所述的普尔钦光斑中心定位是指：
红外光源照射在眼睛上，眼睛上的角膜会反射红外光会形成一个高亮的普尔钦光斑，并且斑点的位置靠近瞳孔且绝对位置不会发生变化；但是瞳孔的中心位置会随着眼球的转动时刻发生改变，也就是说普尔钦光斑和瞳孔的相对位置关系会发生变化，因此利用瞳孔与普尔钦光斑中心之间的P-CR向量进行视线跟踪，普尔钦光斑中心定位步骤如下：
(1)得到延伸矩形图像
选取以瞳孔中心坐标向y轴增加一个瞳孔外接矩形最大边长的长度，并以瞳孔中心坐标向x轴两边都延伸一个瞳孔外接矩形最大边长的长度，得到延伸的矩形图像；
(2)进行OSTU自适应阈值分割，提取二值化图像信息
虽然普尔钦光斑灰度值很高，但是会出现不同帧图像的亮度和背景都不相同的情况；因此，对所有图像中光斑的提取都使用相同的阈值并不能达到准确的分割出该光斑的效果，针对这个问题选用OSTU即最大类间差方法来确定阈值，完成对图像的二值化分割，OSTU阈值法的步骤如下：
a.计算我们所要二值化图像的直方图，并且将该直方图归一化；
b.初始化参数
i表示当前的阈值，并从0开始迭代；
c.归一化直方图
假设像素值在0-i范围的像素叫做前景像素，统计该阈值内灰度值的像素所占整幅图像的比例w0，计算前景像素的平均灰度u0，与前面方法相似，假设像素值在i-255范围的像素叫做背景像素，也统计大于该阈值并小于最大灰度值的像素所占整幅图像的比例w1，计算背景像素的平均灰度值u1；
d.计算前景像素和背景像素的方差g＝w0*w1*(u0-u1)(u0-u1)；
e.i值迭代一次后转到归一化直方图步骤，循环执行c-e步骤，直到i等于256时，迭代结束；
f.迭代完成提取最g值相对应的i值就是我们所需的全局阈值；
(3)计算普尔钦光斑中心
用质心法计算普尔钦光斑中心，计算公式为：和
式中：xn为x方向上的灰度值，yn为y方向上的灰度值，N为某一方向上像素的数量。
技术方案中所述的定点标定是指：
定点标定的重点在于由获取到的P-CR向量以及给定的注视点中心来得到人眼与屏幕落点的映射关系，其中P-CR向量已经在瞳孔检测步骤中得到，因此，定点标定的重点在于获取给定的注视点中心以及映射关系的确定；
设向量X为人眼图像坐标系下的P-CR偏移向量，向量Y是场景图像坐标系下的视线落点向量，而函数F描述了X与Y之间的映射关系，A为函数中的各个参数向量，则有：Y＝F(X,A)；定点标定步骤就是确定函数F的具体形式，也就确定了眼动参数与人眼的运动之间的对应关系，但是函数F不是简单的线性关系，采用人工神经网络对P-CR偏移向量和注视点进行描述；
1)定点的显示
首先在显示屏上依次显示5个给定的注视点，其中4个注视点位于显示屏的四个直角边缘处，第5个注视点位于显示屏的正中间；每个标定点均采用直径为8个像素的黑色实心圆，其中四个直角边缘处的注视点的位置分布如下：左右两个相邻点相隔1800像素值，上下两个相邻点间隔800像素值，每个标定点按照在显示屏上位置从左到右，从上到下的顺序依次显示，当射手完成前一个标定点后，下一个标定点才会在显示屏上显示，直至完成对所有定点的标定；
2)检测注视点中心
对给定的注视点中心进行检测提取的步骤如下：
(1)对场景图像进行预处理，进行高斯平滑和灰度化，并采用OSTU算法求最佳阈值，进而将图像进行二值化；
(2)提取场景图像中所有的轮廓，求每个轮廓的面积，去除面积大于600和小于200像素点的轮廓；
(3)计算前面步骤获得的轮廓的最大外接椭圆，用质心法计算椭圆的中心得到注视点中心；
3)映射关系的确定
完成显示屏上给定的固定位置的注视点中心的检测获取后，需要确定P-CR向量与场景图像视线落点坐标的映射关系，选用基于前馈神经网络：BP神经网络的静态标定方法，也就是用BP神经网络去描述眼睛图像坐标系与场景图像坐标系的非线性映射关系，采用这种方法需要将人眼特征参数和视线落点作为神经网络的训练样本，对这些样本进行学习训练确定神经网络内的参数，从而获得人眼特征参数与视线落点的映射关系；
BP神经网络是由输入层、输出层及隐层组成，该算法由两部分组成，信息的正向传递及误差的反向传播；1)正向传递：输入信息从输入层通过隐含层一层一层计算传向输出层得到输出结果；2)反向传播：若输入信息经过正向传递的输出层其结果未达到要求，就需要转向反向传播来修改各层神经元的权值，即网络将误差信号沿着之前的链接通路反向传回，正向传递之后反向传播，如此反复直到达到期望目标；具体实现步骤如下：
需要完成对BP神经网络中网络隐层数目及各隐层神经元数目这两个参数的确定，这两个参数决定了模型的精度，只要隐层神经元数目足够，具有一个隐层的BP神经网络能够以任意精度逼近一个复杂的非线性函数，因此使用含有一个隐层的BP网络进行注视点定位，而对于隐藏神经元的数目，现在已经有了经验公式：其中，m是输出神经元的数量，n是输入神经元的数量，a的范围[1，10]之间的整数；因此，我们的网络是有两个输入分别为P-CR向量的x1和y1，和两个输出分别为注视点的x2和y2，由此得到隐藏神经元的数目。
技术方案中所述的执行控制指令是指：
根据射手的视线在显示屏上的移动方向，执行不同的功能；通过眼球的上、下、左、右及平视五种眼球状态控制显示屏放大、缩小、左移、右移以及选定五个行为；
实时获取射手的注视点，时刻将注视点设定为屏幕的正中间处；
若射手的注视点从中心处向上移动，则中央处理控制台发送放大注视点处图像的指令；
若射手的注视点从中心处向下移动，则中央处理控制台发送缩小注视点处图像的指令；
若射手的注视点从中心处向左移动，则中央处理控制台发送注视点处图像向左移动的指令；
若射手的注视点从中心处向右移动，则中央处理控制台发送注视点处图像向右移动的指令；
若射手的眼球保持平视，即注视点保持不动，则注视点处被选定，当射手扳动扳机时，完成子弹对该注视点的追踪射击功能；
完成放大或缩小注视点处图像的指令时，对以注视点为中心的2.0cm*2.0cm的区域进行局部放大或缩小；完成左移或右移注视点处图像的指令时，对以注视点为起点的2.0cm的区域进行局部左移或右移，以便射手能够更好更清晰的对注视点周围区域进行观察；
显示屏上也可以按照需求添加一系列的虚拟按键，以完成不同的功能，如放大、缩小、左移、右移、上移或下移；射手在显示屏上注视一个具有一定区域的虚拟按键超过预设的时间阈值时，程序就可以自动确定为确认点击该按键，如定义放大按键，在一段预定的时间内如800毫秒，若射手视线悬停在该虚拟按键上，程序可认为射手对该按键所对应的功能进行了选择，即显示屏内的图片进行局部放大显示，而不需要射手用手去进行放大屏幕的操作，因此，当中央处理控制台获取到射手的注视位置，就能通过调整显示屏，针对射手的动作完成更多的功能，以便获取更多的信息。
与现有技术相比本发明的有益效果是：
1.本发明所述的一种基于视线追踪的履带车枪械瞄准方法将视线追踪技术与枪械的瞄准技术相结合，实现人机交互在战场上的应用。
2.本发明所述的一种基于视线追踪的履带车枪械瞄准方法研究了瞳孔和普尔钦光斑中心坐标的提取算法。并使用粒子滤波和卡尔曼滤波相结合的方法对瞳孔进行实时跟踪，本发明的鲁棒性有明显提高。
3.本发明所述的一种基于视线追踪的履带车枪械瞄准方法利用人眼特征参数和视线落点坐标之间的非线性映射关系估计出场景图像坐标系下注视点的坐标，从而完成视线追踪。算法简单，运算量小，具有较高的计算精度。而且使用图像处理方法提取人眼特征可以满足实时性要求。最大限度地降低了误检率和误控率，具有较高的可靠性。
4.本发明所述的一种基于视线追踪的履带车枪械瞄准方法利用人眼图像的眼动参数与注视点在场景图像位置的相对移动方向去指导完成控制指令的执行，最终达到基于视线追踪的履带车枪械瞄准的目的。
5.本发明所述的一种基于视线追踪的履带车枪械瞄准方法的视线追踪技术更精确、快速，且适应性强、功能丰富。能够检测到人眼细微的实时变化，提供高精度的计算结果。能够快速获得眼动信息，轻松的实现视线的实时追踪。而且稳定的高性能表现使该方法不受光照、距离等各种常见影响。
附图说明
下面结合附图对本发明作进一步的说明：
图1为本发明所述的一种基于视线追踪的履带车枪械瞄准装置整体结构组成示意图；
图2为本发明所述的一种基于视线追踪的履带车枪械瞄准方法中所采用的一种履带车枪械瞄准装置结构组成的示意图；
图3为本发明所述的一种基于视线追踪的履带车枪械瞄准方法的总体流程框图；
图4为本发明所述的一种基于视线追踪的履带车枪械瞄准方法的瞳孔检测流程框图；
图5为本发明所述的一种基于视线追踪的履带车枪械瞄准方法的瞳孔中心定位流程框图；
图6为本发明所述的一种基于视线追踪的履带车枪械瞄准方法的粒子滤波跟踪瞳孔流程框图；
图7为本发明所述的一种基于视线追踪的履带车枪械瞄准方法的卡尔曼滤波跟踪瞳孔流程框图；
图8为本发明所述的一种基于视线追踪的履带车枪械瞄准方法的普尔钦光斑中心定位流程框图；
图9为本发明所述的一种基于视线追踪的履带车枪械瞄准方法的定点标定和视线追踪的步骤示意图；
图10为本发明所述的一种基于视线追踪的履带车枪械瞄准方法中的显示屏上5个定点位置的示意图；
图11为本发明所述的一种基于视线追踪的履带车枪械瞄准方法中正确佩戴视线追踪器的示意图；
图12为本发明所述的一种基于视线追踪的履带车枪械瞄准方法中对眼部图像预处理后的结果示意图；
图13为本发明所述的一种基于视线追踪的履带车枪械瞄准方法中对瞳孔轮廓定位的结果示意图；
图14-a为本发明所述的一种基于视线追踪的履带车枪械瞄准方法中向上看时的瞳孔跟踪结果示意图；
图14-b为本发明所述的一种基于视线追踪的履带车枪械瞄准方法中平视时的瞳孔跟踪结果示意图；
图14-c为本发明所述的一种基于视线追踪的履带车枪械瞄准方法中向左看时的瞳孔跟踪结果示意图；
图14-d为本发明所述的一种基于视线追踪的履带车枪械瞄准方法中向右看时的瞳孔跟踪结果示意图；
图15为本发明所述的一种基于视线追踪的履带车枪械瞄准方法中瞳孔中心与普尔钦光斑中心的定位结果示意图；
图16-a为本发明所述的一种基于视线追踪的履带车枪械瞄准方法中向左看时的视线追踪结果示意图；
图16-b为本发明所述的一种基于视线追踪的履带车枪械瞄准方法中向上看时的视线追踪结果示意图；
图中：1.红外光源，2.人眼CCD摄像头，3.场景摄像头，4.头盔，5.中央处理控制台，6.显示屏，7.枪械，8.履带车，9.射手。
具体实施方式
下面结合附图对本发明作详细的描述：
参阅图1,一种基于视线追踪的履带车枪械瞄准装置主要由视线追踪器、控制单元以及执行单元组成。
参阅图2，所述的视线追踪器包括红外光源1、人眼CCD摄像头2、场景摄像头3以及头盔4，主要完成对人眼部位图像的获取以及场景图像的获取，并将获取到的瞳孔图像、场景图像通过有线USB传输的方式发送至控制单元；
所述的红外光源1选用array矩阵式红外光源，该红外光源常用于高质量的红外夜视一体机摄像机；不仅体积小、重量轻、使用方便，而且成本低、寿命长，性能非常可靠；在虹膜识别时，为了提高对用户眼球图像的虹膜识别率，便于提取虹膜特征值，一般采用波长介于760nm-850nm的红外光。而在视线追踪时，一方面为了提高眼球图像中的红外光斑的清晰度，另一方面也要避免红外光直接照射人眼造成的伤害，一般采用波长介于850nm-940nm的红外光。因此，本方法中使用功率为1mw，波长850nm的红外光源。通过USB串口与人眼CCD摄像头2有线连接，由人眼CCD摄像头2完成对红外光源1的供电使用。
所述的人眼CCD摄像头2选用型号为WX051HD的红外摄像头来采集眼部图像。该摄像头具有双通道红外镜头，并在摄像头周围均匀分布10颗850nm红外灯珠和1颗光控光明电阻，具有超强红外夜视功能。默认分辨率达到640×480，可视角度为70度。通过USB串口与中央处理控制台5有线连接，完成对人眼CCD摄像头2采集的人眼图像信息的传输。
在人眼CCD摄像头2前增加固定一个红外光源1，用来给人眼补光。由于在普通光照条件下拍摄眼睛图像时，瞳孔与它周围的虹膜亮度相近，两者较难区分。而在红外光照射下，由于瞳孔与虹膜对红外线有不同的吸收率和反射率，瞳孔部分对红外光反射率很低，大部分红外光会被吸收，因此呈现黑色。然而虹膜几乎会将红外线完全反射，导致在它表面会出现一个普尔钦光斑。因而瞳孔部分会表现得偏暗，而虹膜部分则会偏亮，两者之间的差距明显，从而可以较容易的检测出瞳孔。
所述的场景摄像头3选用型号为RER-USB8MP02G的高清工业摄像头模组。该模组中采用SONY感光片索尼IMX179CMOS Sensor，8MP 800万像素高清工业摄像头搭配M12 1000万像素高清镜头，配有AF自动对焦马达镜头，主要应用于高清监控以及工业应用等领域，能满足本方法中自由获取场景图像的需求；通过USB串口与中央处理控制台5有线连接，完成场景摄像头3采集的场景图像信息的传输。
所述的头盔4选用型号为GoPro hero7的头盔，该头盔重量仅110g，不仅重量轻而且坚固可靠。头盔4上包含多组加长臂以及旋转基座，可以任意调节支架的高度和远近，即可以随意调整摄像头与眼睛之间的距离；头盔上还包含长短螺丝、安全扣、头盔带、弧形3M胶等，可以使头盔更加稳定的固定在射手9的头部，射手9可以随意转动头部而不影响头盔4与头部的相对位置；头盔4前侧的固定支架可以将红外光源1、人眼CCD摄像头2以及场景摄像头3固定于前部；佩戴时，人眼CCD摄像头2需装载在射手9双眼的正前方位置，既能避免阻碍射手9的视线，又能准确的获取射手9眼部的图像信息；红外光源1固定于人眼CCD摄像头2的左侧或右侧即可；场景摄像头3安装在头盔4上靠近额头的位置，方向朝向正前方。场景摄像头3前方不允许有物体遮挡，以免获取不到场景的图像。
所述的控制单元为中央处理控制台5，完成对瞳孔图像的分析处理以及对人眼视线的检测及跟踪，并将控制命令以无线传输的方式发送至执行单元；
所述的中央处理控制台5选用芯盛美i7工控机，具有多个串口，完成对视线追踪器得到的所有图像数据的处理，包括人眼图像以及场景图像，并完成对执行单元的控制。中央处理控制台5通过USB串口分别与人眼CCD摄像头2和场景摄像头3有线连接，实现数据的发送与接收。并与执行单元中的显示屏6以无线图传的方式连接，完成对场景摄像头3获取图像的显示；并以无线数传的方式完成对显示屏6的放大、缩小、左移、右移以及选定等控制指令的传输。
所述的执行单元包括显示屏6、枪械7以及履带车8；完成对场景图像的显示，以及完成对控制单元发出的控制指令的实施；最后执行单元的图像信息以及执行结果均经由射手9完成反馈，由此形成一个完整的反馈过程，实现基于视线追踪的枪械瞄准。
所述的显示屏6采用5.8英寸(对角线)的OLED显示屏，完成对场景摄像头3所获取场景图像的显示，并完成由中央处理控制台5发出的控制指令的执行；其中显示屏6上配有无线图传模块、无线数传模块，无线图传模块完成由中央处理控制台5发出的场景摄像头3采集得到的图像数据的传输，并在显示屏6上进行显示；无线数传模块将中央处理控制台5发出的控制命令发送至显示屏6，并由显示屏6完成命令的执行；最后控制命令的执行结果经由射手9完成反馈，射手9根据结果进行新的眼部动作，从而完成一个完整的反馈过程。
本方法中头戴式的视线跟踪器配有两个摄像头作为采集图像的设备，分别是人眼CCD摄像头2、场景摄像头3。人眼CCD摄像头2获取眼部图像，场景摄像头3获取真实场景图像，这样可以将真实场景与眼动参数实时结合。由于视线跟踪器与头部的相对位置固定，受试者不再需要保持头部静止，不会给受试者造成很大的负担，因此实验环境更加舒适。
本发明采用计算机视觉和图像处理与分析的方法获取人眼图像，并将人眼图像发送至中央处理控制台5，经过一系列的处理后获取视觉瞳孔以及普尔钦光斑中心坐标，以及人眼图像坐标系与场景图像坐标系之间的映射关系。求得与视线方向相关的视线参数，最后根据这些参数以及映射关系计算出实时的视线方向和视线在显示屏幕上的落点，从而完成对履带车上枪械的辅助瞄准。视线追踪技术就是在这些随视线变化的特征之间提取反映视线方向的参数，进而获取视线方向或视线在屏幕上的落点位置。
以下结合附图介绍本发明所述的一种基于视线追踪的履带车枪械瞄准方法的具体实施步骤：
参阅图3，本发明所述的一种基于视线追踪的履带车枪械瞄准方法的总体工作流程包括获取人眼图像、瞳孔检测、定点标定、视线追踪以及执行控制指令。
首先正确佩戴视线追踪器，通过人眼CCD摄像头2获取人眼部位的图像；然后对图像进行灰度化、降噪以及亮度增强等预处理，在可能构成椭圆的弧段区域使用最小二乘椭圆拟合算法提取瞳孔轮廓获得瞳孔初始中心坐标，以此为基础使用粒子滤波和卡尔曼滤波相结合的方法跟踪瞳孔；接着获取瞳孔周边矩形区域，采用OSTU自适应阈值法二值化该区域，最后用质心法提取普尔钦光斑中心；由此可以得到瞳孔中心和普尔钦光斑中心二维偏移向量，即P-CR向量。由于本方法中所使用的红外光源1、人眼摄像头2以及场景摄像头3均固定于头盔4上，因此人眼摄像头2及场景摄像头3不会产生相对位移，是相对静止的，不需要用户头部位置保持静止，能够解决头部运动对系统估计精度的影响，也不需要对人眼自身参数信息进行获取，因此综合考虑下本文采用静态标定的方法来进行注视点估计，从而获取注视点的中心坐标。通过在电脑屏幕上依次显示特征鲜明的点，标定时射手9注视这些点，并实时采集眼部图像和场景图像，计算眼部图像中的眼动参数和给定的标定点在场景图像上的坐标，采用BP神经网络去拟合出红外光源下的瞳孔中心和普尔钦光斑中心的P-CR向量与场景图像视线落点坐标之间存在的非线性映射关系。然后通过获取实时的眼动参数，再结合已经得到的映射关系确定人眼的视线方向，最终达到实时视线追踪的目的。最后依据视线追踪结果完成控制指令的执行，主要是利用人眼图像的眼动参数与注视点在场景图像位置的相对移动方向判断需要执行的功能，包括放大、缩小、左移、右移以及选定等功能。算法较为简单，能够达到实时性要求。详细操作步骤如下:
1.获取人眼图像：
正确佩戴视线追踪器后，通过调节人眼CCD摄像头2至合适的位置，即调整至双眼居中的位置，且面向正前方，以确保射手9使用方便且视线追踪器能够准确的完成对人眼图像的采集；当射手9注视显示屏6时，人眼CCD摄像头2获取射手9的眼部图像，由红眼效应可知，在红外光照射人眼时，会将瞳孔和虹膜分开；
2.瞳孔检测：
参阅图4，瞳孔检测包括步骤如下:
1)眼部图像预处理
(1)灰度化处理
首先将彩色的眼部图像转换为单色的灰度图像，转换公式为：
Gray＝0.299*red+0.587*green+0.114*blue；
然后将灰度图像划分为M*N个子区域，其中M、N均为正整数；
计算每个子区域内像素点矩阵中的所有像素点的灰度值，分别与预设的瞳孔阈值和光斑阈值进行比较。若子区域的灰度值小于或等于瞳孔阈值，则判定该区域为瞳孔区；若子区域的灰度值大于或等于光斑阈值，则判定该区域为光斑区，否则为眼白区；
(2)降噪处理
对瞳孔进行定位之前可以包括对眼睛的灰度图像进行降噪处理的步骤，以提高确定瞳孔和光斑中心坐标的精度；本方法采用均值滤波、中值滤波的方法对灰度图像进行降噪处理；
均值滤波的公式如下：
式中：f(x,y)为原始图像，g(x,y)为处理后得到的图像。x,y＝0,1,2，…,N-1，S为(x,y)点领域中所有点的坐标的集合，但不包括(x,y)点，M为集合内坐标点的总数,为了尽可能地减少模糊失真，采用阈值法减少由于领域平均而产生的模糊效应，即设置非负阈值T；
中值滤波的基本思想是使用图像像素点的灰度值的中值来代替该像素点的灰度值，二维中值滤波的表达式为：yij＝Med{fij}；
式中：fij为图像像素值，yij为中值滤波后的灰度值，i,j为像素点的坐标。
(3)亮度增强处理
最后采用Sobel算子对眼部图像的灰度图像进行亮度增强，进而增大灰度对比度。假定Z5表示模板中心，定义Z5周围从左到右，从上到下依次为Z1,Z2,Z3,Z4,Z6,Z7,Z8,Z9。则其计算方法为：
采用增强算子作用于所述眼部图像的灰度图的每个像素，以达到图像亮度增强的目的，进而使图像灰度对比度增大；
2)瞳孔中心定位
参阅图5，瞳孔中心定位包括(1)Canny边缘检测；(2)弧段提取；(3)建立弧段集合；(4)椭圆拟合；(5)得到瞳孔的特征参数共五个步骤。详细步骤说明如下。
(1)Canny边缘检测
在这一部分，使用自适应Canny边缘检测方法提取出候选曲线，得到的这些曲线是瞳孔椭圆边线的一部分，从而完成对瞳孔的边缘检测。使用Canny边缘检测获取边缘曲线时，设每个边缘点的表达形式为：pi＝(xi,yi,ηi)。其中xi,yi是边缘点坐标，ηi为每个边缘点对应的梯度方向。
为了获得没有分支的边缘线，利用曲线梯度的正负性来表示边缘方向，因此，曲线按照边缘方向被分为两类。边缘方向落在1，3象限则认为是正方向，落在2，4象限则为负方向。对于垂直或者水平方向上的像素点，直接舍弃。在同一方向上的两个连续边缘点的8连通性用于提取连通边缘曲线。计算出曲线的最小区域包围盒OBBmin、最小区域包围盒OBBmin长边与短边的比值阈值threr以及最小区域包围盒OBBmin的面积阈值threa。如果包围盒长边与短边的比值大于threr，则表示这个曲线近似为直线段或者其直径非常大，说明这个椭圆的中心点不在图像中。如果这个最小区域包围盒的面积小于threa，则表明这个直线段非常小，不足以提供有效的信息。这两种情况的曲线会被抛弃，则剩下的这些曲线被认为是可能构成椭圆的曲线候选。由此完成边缘检测并提取眼部图像中的所有轮廓。
(2)弧段提取
选择弧段的关键点在于判断取得的边缘是否是平滑的。在本部分，分别使用曲率的变化量和变化方向判断转角的拐点。步骤如下：
a.用一组直线段l1,l2,…,ln逼近一个弧段，θi表示li-1,li之间的夹角，也就是直线段方向的变化角度。如果θi很小，则说明这个点的曲率很小；反之，表示曲率很大。若|θi|＞threθ，此点处被认作是一个转角。
b.椭圆的弧段变化方向应该具有相同的符号，如果符号不同，则说明这里存在拐点。使用||θi|-|θi-1||＜|θi-θi-1|来识别拐点。如果这个式子两边相等，则说明是同一个方向，否则就说明方向不同，即存在拐点。
(3)建立弧段集合
在视线跟踪研究中，研究者普遍认为瞳孔形状近似为圆形或椭圆形,因此，仅需检测眼部图像中合适的椭圆，则认为该椭圆就是瞳孔；
a.初步选择较合适的弧段
从分布在4个象限的弧段中随机选择两个弧段τab＝(aa,bb)作为一个象限约束弧段集合，这个集合表示这些弧段可以初步的被选择出来，去构成较合适的一个椭圆；
使用下标Ⅰ、Ⅱ、Ⅲ、Ⅳ分别表示来自第一、二、三、四象限；因此得到六种不同的弧段组合：(aⅠ,aⅡ),(aⅠ,aⅢ),(aⅠ,aⅣ),(aⅡ,aⅢ),(aⅡ,aⅣ),(aⅢ,aⅣ)；
b.由椭圆中心进一步确定弧段
进一步计算可能构成这些弧段的椭圆中心，然后基于弧段集合的中心的接近度创建这些弧段的超集,若基于两个圆弧所估计的两个中心在可接受范围区域内的情况下，这样的弧段集合属于同一椭圆；两个弧段的相关距离约束函数如下式：
式中：r表示右，l表示左；al(x)为弧段最左侧的横坐标；ar(x)为弧段最右侧的横坐标；al(y)为弧段最左侧的纵坐标；ar(y)为弧段最右侧的纵坐标；如果Ω(aa,bb)小于阈值1，这个集合不可能构成一个椭圆，丢弃这个集合；否则保留这个集合；
(4)椭圆拟合
通过遍历这些集合做最小二乘椭圆拟合求出椭圆参数，以下为利用最小二乘法进行椭圆拟合的方法:
设在X-Y平面上有一系列待测点，{(xi,yi),i＝1,2,3,...,n}为待测椭圆轮廓点集合，(x,y)为集合中的任一点，在平面坐标系中椭圆方程可以用如下形式表示：Ax2+Bxy+Cy2+Dx+Ey+F＝0。可以使用A,B,C,D,E,F这5个参数可以唯一确定一个椭圆；
最小二乘的目的是通过最小化误差的平方和寻找数据的最佳函数匹配，定义平面上的某一点到曲线最短的距离，对于目标函数：
使得f(A,B,C,D,FE),的值最小，由极值定理可得：可得到一个线性方程组，求得方程系数A,B,C,D,E,F值，然后代入方程就可求得一个椭圆方程，即该椭圆就表示我们需要的瞳孔；
(5)得到瞳孔的特征参数
拟合出椭圆之后，还要看边缘图上有多少个边缘点落在这个椭圆上，如果属于当前椭圆的边缘点个数与椭圆周长的比值小于设定阈值0.45，则认为这个椭圆是虚假椭圆，最后采用mean-shift聚类的方法获得局部密度最大。由此最终得到检测到的一系列瞳孔目标的参数，获得瞳孔的中心坐标。
3)瞳孔跟踪
由于对摄像机摄取的序列图像进行逐帧检测瞳孔时，计算复杂度极大，无益于对瞳孔的实时检测。因此我们需要对瞳孔目标运动跟踪。本方法中采用粒子滤波和卡尔曼滤波相结合的方法完成对瞳孔的实时跟踪。
参阅图6，粒子滤波跟踪瞳孔过程步骤如下：
(1)参数初始化
首先在步骤2)瞳孔中心定位中选定瞳孔作为初始跟踪目标，得到初始瞳孔的特征参数。
(2)计算瞳孔特征直方图
对于得到的初始瞳孔特征参数，利用式计算瞳孔特征值直方图Qx；
(3)粒子状态初始化
接着完成粒子跟踪初始化，即选择适当的方差高斯函数对初始瞳孔进行随机采样，初始化的粒子状态，设粒子数为N，初始化粒子集状态STATESt-1；
则
式中：STATESt-1为每个粒子的状态矢量，为粒子状态；Vt-1为噪声矢量，为粒子权重；
(4)粒子状态预测
矩阵A为单位时间内瞳孔目标在图像中的偏移量，通过瞳孔目标状态转移矩阵A预测粒子集状态，预测粒子集的状态STATESt为：
(5)计算粒子相似度
利用灰度直方图计算粒子的欧氏距离：其中u＝1,...,bi为灰度级，mu为粒子的直方图，qu为目标状态的直方图。对粒子区域进行二值化，然后计算各粒子区域的椭圆形状为其中为粒子区域像素数，为粒子区域周长。然后令灰度特征观测值为：令形状特征观测值为：通过灰度特征和形状特征计算并更新每个粒子的权重，权重为对瞳孔目标状态进行估计，有其中瞳孔目标状态的概率权重其中和Ft E分别为瞳孔目标的灰度特征观测值和形状特征观测值；
(6)粒子重采样
为了对权值退化和多样性匮乏做出平衡，本方法根据粒子的权重对粒子集中的粒子使用序贯重要性采样(SIR)进行重采样，即小权值的粒子丢弃，选取大权值的粒子并且可以重复选取。进行N次重复操作，有效的避免长时间跟踪造成的粒子退化问题。
(7)更新瞳孔目标模型
通过对目标状态的概率权重和预先设置的阈值ωt进行比较，若小于该阈值，则不更新瞳孔目标模型，即令Xt＝Xt-1；否则，更新瞳孔目标模型，即令Xt＝(1-θ)Xt-1+θE(Xt)，θ为权重。
粒子滤波的跟踪结果指导着卡尔曼滤波确定瞳孔目标的参数。据前一帧图像中确定的瞳孔目标参数，以此为基础使用卡尔曼滤波去确定下一帧图像中的瞳孔目标参数；且粒子滤波的跟踪结果决定着卡尔曼滤波的状态转移方程，其中，通过粒子滤波跟踪区域的瞳孔分割得到了卡尔曼滤波中的观测值，则利用前一时刻的估计值和观测值通过状态转移方程得到新时刻的估计值。这个时刻粒子滤波瞳孔的跟踪结果作为卡尔曼滤波中的观测值，卡尔曼滤波瞳孔跟踪开始。参阅图7，卡尔曼滤波跟踪瞳孔过程步骤如下：
a.假定t-1时刻的状态参数
假设t-1时刻的瞳孔目标状态的卡尔曼滤波估计为状态转移矩阵设为Φ，其中状态转移矩阵Φ的取值随着t时刻的粒子滤波状态估计中的矩形框位移的改变而改变；
b.t时刻卡尔曼滤波观测值
确定t时刻卡尔曼滤波观测差，为式中Z(t)为t时刻的观测值；
c.卡尔曼增益K
确定卡尔曼增益K，为
d.t时刻瞳孔状态预测
对t时刻的瞳孔状态进行预测，为
到此为止，就完成了一次卡尔曼滤波跟踪瞳孔过程，完成卡尔曼滤波跟踪后，将t时刻的瞳孔目标位置参数作为粒子滤波的t时刻的状态矢量的估计值，进入到下一帧的预测当中，如此一帧一帧的循环，就实现粒子滤波和卡尔曼滤波相结合的瞳孔跟踪过程。
4)普尔钦光斑中心定位
红外光源照射在眼睛上，眼睛上的角膜会反射红外光会形成一个高亮的普尔钦光斑，并且斑点的位置靠近瞳孔且绝对位置不会发生变化。但是瞳孔的中心位置会随着眼球的转动时刻发生改变，也就是说普尔钦光斑和瞳孔的相对位置关系会发生变化，因此本方法利用瞳孔与普尔钦光斑中心之间的P-CR向量进行视线跟踪。参阅图8，普尔钦光斑中心定位步骤如下：
(1)得到延伸矩形图像
选取以瞳孔中心坐标向y轴增加一个瞳孔外接矩形最大边长的长度，并以瞳孔中心坐标向x轴两边都延伸一个瞳孔外接矩形最大边长的长度，得到延伸的矩形图像。
(2)进行OSTU自适应阈值分割，提取二值化图像信息
虽然普尔钦光斑灰度值很高，但是会出现不同帧图像的亮度和背景都不相同的情况。因此，对所有图像中光斑的提取都使用相同的阈值并不能达到准确的分割出该光斑的效果。在本部分，针对这个问题选用OSTU(最大类间差方法)来确定阈值，完成对图像的二值化分割。OSTU阈值法的步骤如下：
a.首先计算我们所要二值化图像的直方图，并且将该直方图归一化；
b.初始化参数
i表示当前的阈值，并从0开始迭代；
c.归一化直方图
假设像素值在0-i范围的像素叫做前景像素，统计该阈值内灰度值的像素所占整幅图像的比例w0，计算前景像素的平均灰度u0，与前面方法相似，假设像素值在i-255范围的像素叫做背景像素，也统计大于该阈值并小于最大灰度值的像素所占整幅图像的比例w1，计算背景像素的平均灰度值u1；
d.计算前景像素和背景像素的方差g＝w0*w1*(u0-u1)(u0-u1)；
e.i值迭代一次后转到步骤c，循环执行cˉe，直到i等于256时，迭代结束；
f.迭代完成提取最g值相对应的i值就是我们所需的全局阈值；
(3)计算普尔钦光斑中心
用质心法计算普尔钦光斑中心，计算公式为：和质心法具有简单易实现、算法复杂度小能很好的实现实时性，因此质心法能够满足本方法的精度及实时性需求；式中xn为x方向上的灰度值，yn为y方向上的灰度值，N为某一方向上像素的数量；
5)获得P-CR向量
通过上述步骤精确提取到瞳孔中心坐标和普尔钦光斑中心坐标后，计算两者的二维偏移向量，即得到P-CR向量；
3.定点标定
参阅图9，定点标定的重点在于由获取到的P-CR向量以及给定的注视点中心来得到人眼与屏幕落点的映射关系，其中P-CR向量已经在瞳孔检测步骤中得到，因此，本部分中重点在于获取给定的注视点中心以及映射关系的确定；
设向量X为人眼图像坐标系下的P-CR偏移向量，向量Y是场景图像坐标系下的视线落点向量，而函数F描述了X与Y之间的映射关系，A为函数中的各个参数向量，则有：Y＝F(X,A)，定点标定步骤3就是确定函数F的具体形式，也就确定了眼动参数与人眼的运动之间的对应关系，但是函数F不是简单的线性关系，本方法采用人工神经网络对P-CR偏移向量和注视点进行描述；
1)定点的显示
首先在显示屏6上依次显示5个给定的注视点，5个定点的位置示意图参阅图10。其中4个注视点位于显示屏6的四个直角边缘处，第5个注视点位于显示屏6的正中间；每个标定点均采用直径为8个像素的黑色实心圆。其中四个直角边缘处的注视点的位置分布如下：左右两个相邻点相隔1800像素值，上下两个相邻点间隔800像素值。每个标定点按照在显示屏6上位置从左到右，从上到下的顺序依次显示。当射手9完成前一个标定点后，下一个标定点才会在显示屏上显示，直至完成对所有定点的标定；
2)检测注视点中心
对给定的注视点中心进行检测提取的步骤如下：
(1)对场景图像进行预处理，进行高斯平滑和灰度化，并采用OSTU算法求最佳阈值，进而将图像进行二值化；
(2)提取场景图像中所有的轮廓，求每个轮廓的面积，去除面积大于600和小于200像素点的轮廓；
(3)计算步骤(2)获得的轮廓的最大外接椭圆，用质心法计算椭圆的中心得到注视点中心；
该方法简单易实现、算法复杂度小能够满足本系统的精度需求。
3)映射关系的确定
完成显示屏6上给定的固定位置的注视点中心的检测获取后，需要确定P-CR向量与场景图像视线落点坐标的映射关系。本方法选用基于前馈神经网络：BP神经网络的静态标定方法，也就是用BP神经网络去描述眼睛图像坐标系与场景图像坐标系的非线性映射关系。采用这种方法需要将人眼特征参数和视线落点作为神经网络的训练样本，对这些样本进行学习训练确定神经网络内的参数，从而获得人眼特征参数与视线落点的映射关系。
BP神经网络是由输入层、输出层及隐层组成，该算法由两部分组成，信息的正向传递及误差的反向传播。1)正向传递：输入信息从输入层通过隐含层一层一层计算传向输出层得到输出结果。2)反向传播：若输入信息经过正向传递的输出层其结果未达到要求，就需要转向反向传播来修改各层神经元的权值，即网络将误差信号沿着之前的链接通路反向传回。正向传递之后反向传播，如此反复直到达到期望目标；具体实现步骤如下：
本部分需要完成对BP神经网络中网络隐层数目及各隐层神经元数目这两个参数的确定，这两个参数决定了模型的精度。只要隐层神经元数目足够，具有一个隐层的BP神经网络能够以任意精度逼近一个复杂的非线性函数,因此本发明使用含有一个隐层的BP网络进行注视点定位。而对于隐藏神经元的数目，现在已经有了经验公式：其中，m是输出神经元的的数量，n是输入神经元的数量，a的范围[1,10]之间的整数。因此，我们的网络是有两个输入分别为P-CR向量的x1和y1，和两个输出分别为注视点的x2和y2，由此得到隐藏神经元的数目。
4.视线追踪
获得定点标定步骤得到的P-CR向量与场景图像视线落点坐标的映射关系后，进一步获取新的人眼图像的眼动参数，然后借助已经确定的映射关系完成视点在场景图像中位置的估计，完成最终的视线追踪。
5.执行控制指令
根据射手9的视线在显示屏6上的移动方向，执行不同的功能；通过眼球的上、下、左、右及平视五种眼球状态控制显示屏放大、缩小、左移、右移以及选定五个行为。
实时获取射手9的注视点，时刻将注视点设定为屏幕的正中间处。此时，若射手9的注视点从中心处向上移动，则中央处理控制台5发送放大注视点处图像的指令；若射手9的注视点从中心处向下移动，则发送缩小注视点处图像的指令；若射手9的注视点从中心处向左移动，则发送注视点处图像向左移动的指令；若射手9的注视点从中心处向右移动，则发送注视点处图像向右移动的指令；若射手9的眼球保持平视，即注视点保持不动，则注视点处被选定，当射手9扳动扳机时，完成子弹对该注视点的追踪射击功能。
完成放大或缩小注视点处图像的指令时，对以注视点为中心的2.0cm*2.0cm的区域进行局部放大或缩小；完成左移或右移注视点处图像的指令时，对以注视点为起点的2.0cm的区域进行局部左移或右移。以便射手9能够更好更清晰的对注视点周围区域进行观察。
显示屏6上也可以按照需求添加一系列的虚拟按键，以完成不同的功能，如放大、缩小、左移、右移、上移或下移等。射手9在显示屏6上注视一个具有一定区域的虚拟按键超过预设的时间阈值时，程序就可以自动确定为确认点击该按键。如定义放大按键，在一段预定的时间内如800毫秒，若射手9视线悬停在该虚拟按键上，程序可认为射手9对该按键所对应的功能进行了选择，即显示屏6内的图片进行局部放大显示，而不需要射手9用手去进行放大屏幕的操作。因此，当中央处理控制台5获取到射手9的注视位置，就能通过调整显示屏6，针对射手9的动作完成更多的功能，以便获取更多的信息。
实施例：
1.获取人眼图像
参阅图11，正确佩戴视线追踪器，通过调节头盔带等使头盔更加稳定的固定在射手9的头部，确保当头部随意转动时，头盔与头部不产生相对位移。调节人眼CCD摄像头2至双眼居中位置，且面向正前方，确保视线追踪器能够准确的完成对人眼图像的采集，并且能够保证场景摄像头3可以获取到不受遮挡的正前方场景图像；
2.瞳孔检测
1)首先对眼部图像做预处理，包括对眼部图像进行灰度化处理、降噪处理以及亮度增强处理等步骤。参阅图12，为预处理后的眼部图像结果示意图。
2)然后对瞳孔中心进行定位。主要是通过(1)Canny边缘检测；(2)弧段提取；(3)建立弧段集合；(4)椭圆拟合；(5)得到瞳孔的特征参数共五个步骤完成对瞳孔椭圆轮廓的定位以及获取瞳孔的中心坐标；参阅图13，图中标注的黑色椭圆即为使用最小二乘椭圆拟合算法提取到的瞳孔轮廓，由检测到的一系列瞳孔目标的参数，获得瞳孔的中心坐标；
3)完成瞳孔跟踪，本方法采用粒子滤波和卡尔曼滤波相结合的方法完成对瞳孔的实时跟踪。参阅图14-a，14-b，14-c，14-d均为使用粒子滤波和卡尔曼滤波相结合的方法完成瞳孔跟踪的结果图。其中图14-a，14-b，14-c，14-d分别为向上看，平视，向左看以及向右看时的瞳孔跟踪结果，图中的矩形方框为获取的瞳孔周边延伸矩形区域，矩形区域内的圆点为检测到的瞳孔中心；
4)接着对普尔钦光斑中心进行定位。由于红外光源照射眼睛时形成的高亮普尔钦光斑的绝对位置不会发生变化，因此本方法利用瞳孔与普尔钦光斑中心之间的P-CR向量进行视线跟踪。参阅图15，瞳孔中标记的圆点为检测到的瞳孔中心，瞳孔区域外侧下方位置的圆点为质心提取法检测到的普尔钦光斑中心；
5)最后获得P-CR向量。参阅图15，瞳孔中心位置处的坐标与普尔钦光斑中心坐标之间的偏移向量构成P-CR向量；
3.定点标定
1)首先在显示屏6上依次显示5个给定的注视点，注视点的位置参阅图10；
2)然后检测注视点中心，用户注视显示屏6上的依次显示的5个注视点，通过对场景摄像头3获取的场景图像进行一系列处理后得到场景图像中的注视点中心的位置坐标；
3)最终确定P-CR向量与场景图像视线落点坐标的映射关系。从采集获得的100张人眼图像中获得眼动处理数据与视线落点信息，参阅表1，为其中一些眼睛图像坐标系中P-CR向量和注视点在场景坐标系中的坐标数据之间的对应关系表。将这些作为BP神经网络的训练样本，对这些样本进行学习训练确定神经网络内的参数，从而获得人眼特征参数与视线落点的映射关系，也就是获得眼睛图像坐标系与场景图像坐标系之间的非线性映射关系。
表1
4.视线追踪
重新获取新的人眼图像的眼动参数，并借助由BP神经网络训练得到的P-CR向量与场景图像视线落点坐标的映射关系，完成视点在场景图像中位置的估计，完成最终的视线追踪，视线追踪的最终结果参阅图16-a与图16-b，其中图16-a与图16-b分别为向左看以及向上看时的视线追踪结果；
5.执行控制指令
根据用户视线在显示屏6上的移动方向得到的视线追踪结果，去指导完成控制指令的执行。主要是利用人眼图像的眼动参数与注视点在场景图像位置的相对移动方向判断需要执行的功能，包括放大、缩小、左移、右移以及选定等功能；
参阅图16-a，此时用户的视线从屏幕的正中间处向左移动，注视点也从中心处向左移动，则中央处理控制台5发送注视点处图像向左移动的指令，即以注视点为起点的2.0cm的区域进行局部左移；
参阅图16-b，此时用户的视线从屏幕的正中间处向上移动，注视点也从中心处向上移动，则中央处理控制台5发送放大注视点处图像的指令，即以注视点为中心的2.0cm*2.0cm的区域进行局部放大。

Claims (7)

1.一种基于视线追踪的履带车枪械瞄准方法,其特征在于，所述的一种基于视线追踪的履带车枪械瞄准方法包括步骤如下：
1)获取人眼图像：
正确佩戴视线追踪器后，调节人眼CCD摄像头(2)至双眼居中的位置，且面向正前方，以确保视线追踪器能够准确的完成对射手(9)眼图像采集；
2)瞳孔检测：
(1)眼部图像预处理；
(2)瞳孔中心定位；
(3)瞳孔跟踪；
(4)普尔钦光斑中心定位；
(5)获得P-CR向量；
通过精确提取到瞳孔中心坐标和普尔钦光斑中心坐标后，计算两者的二维偏移向量，得到P-CR向量；
3)定点标定；
4)视线追踪：
获得定点标定步骤得到的P-CR向量与场景图像视线落点坐标的映射关系后，进一步获取新的人眼图像的眼动参数，然后借助已经确定的映射关系完成视点在场景图像中位置的估计，完成最终的视线追踪；
5)执行控制指令。
2.按照权利要求1所述的一种基于视线追踪的履带车枪械瞄准方法,其特征在于，所述的眼部图像预处理是指：
(1)灰度化处理
首先将彩色的眼部图像转换为单色的灰度图像，转换公式为：
Gray＝0.299*red+0.587*green+0.114*blue；
然后将灰度图像划分为M*N个子区域，其中M、N均为正整数；
计算每个子区域内像素点矩阵中的所有像素点的灰度值，分别与预设的瞳孔阈值和光斑阈值进行比较，若子区域的灰度值小于或等于瞳孔阈值，则判定该区域为瞳孔区；若子区域的灰度值大于或等于光斑阈值，则判定该区域为光斑区，否则为眼白区；
(2)降噪处理
对瞳孔进行定位之前可以包括对眼睛的灰度图像进行降噪处理的步骤，以提高确定瞳孔和光斑中心坐标的精度；采用均值滤波、中值滤波的方法对灰度图像进行降噪处理；
均值滤波的公式如下：
式中：f(x,y)为原始图像，g(x,y)为处理后得到的图像；x,y＝0,1,2，...,N-1，S为(x,y)点领域中所有点的坐标的集合，但不包括(x,y)点，M为集合内坐标点的总数,为了尽可能地减少模糊失真，采用阈值法减少由于领域平均而产生的模糊效应，即设置非负阈值T；
中值滤波的基本思想是使用图像像素点的灰度值的中值来代替该像素点的灰度值，二维中值滤波的表达式为：yij＝Med{fij}；
式中：fij为图像像素值，yij为中值滤波后的灰度值，i,j为像素点的坐标；
(3)亮度增强处理
采用Sobel算子对眼部图像的灰度图像进行亮度增强，进而增大灰度对比度；假定Z5表示模板中心，定义Z5周围从左到右，从上到下依次为Z1,Z2,Z3,Z4,Z6,Z7,Z8,Z9；则其计算方法为：
采用增强算子作用于所述眼部图像的灰度图的每个像素，以达到图像亮度增强的目的，进而使图像灰度对比度增大。
3.按照权利要求1所述的一种基于视线追踪的履带车枪械瞄准方法,其特征在于，所述的瞳孔中心定位是指：
(1)Canny边缘检测
使用自适应Canny边缘检测方法提取出候选曲线，得到的这些曲线是瞳孔椭圆边线的一部分，从而完成对瞳孔的边缘检测；使用Canny边缘检测获取边缘曲线时，设每个边缘点的表达形式为：pi＝(xi,yi,ηi)，其中xi,yi是边缘点坐标，ηi为每个边缘点对应的梯度方向；
为了获得没有分支的边缘线，利用曲线梯度的正负性来表示边缘方向，因此，曲线按照边缘方向被分为两类,边缘方向落在1，3象限则认为是正方向，落在2，4象限则为负方向，对于垂直或者水平方向上的像素点，直接舍弃，在同一方向上的两个连续边缘点的8连通性用于提取连通边缘曲线，计算出曲线的最小区域包围盒OBBmin、最小区域包围盒OBBmin长边与短边的比值阈值threr以及最小区域包围盒OBBmin的面积阈值threa；如果包围盒长边与短边的比值大于threr，则表示这个曲线近似为直线段或者其直径非常大，说明这个椭圆的中心点不在图像中；如果这个最小区域包围盒的面积小于threa，则表明这个直线段非常小，不足以提供有效的信息；这两种情况的曲线会被抛弃，则剩下的这些曲线被认为是可能构成椭圆的曲线候选，由此完成边缘检测并提取眼部图像中的所有轮廓；
(2)弧段提取
选择弧段的关键点在于判断取得的边缘是否是平滑的，分别使用曲率的变化量和变化方向判断转角的拐点，步骤如下：
a.用一组直线段l1,l2,…,ln逼近一个弧段，θi表示li-1,li之间的夹角，也就是直线段方向的变化角度，如果θi很小，则说明这个点的曲率很小；反之，表示曲率很大，若|θi|＞threθ，此点处被认作是一个转角；
b.椭圆的弧段变化方向应该具有相同的符号，如果符号不同，则说明这里存在拐点，使用||θi|-|θi-1||＜|θi-θi-1|来识别拐点，如果这个式子两边相等，则说明是同一个方向，否则就说明方向不同，即存在拐点；
(3)建立弧段集合
普遍认为瞳孔形状近似为圆形或椭圆形，因此，仅需检测眼部图像中合适的椭圆，则认为该椭圆就是瞳孔；
a.初步选择较合适的弧段
从分布在4个象限的弧段中随机选择两个弧段τab＝(aa,bb)作为一个象限约束弧段集合，这个集合表示这些弧段可以初步的被选择出来，去构成较合适的一个椭圆；
使用下标Ⅰ、Ⅱ、Ⅲ、Ⅳ分别表示来自第一、二、三、四象限；因此得到六种不同的弧段组合：(aⅠ,aⅡ),(aⅠ,aⅢ),(aⅠ,aⅣ),(aⅡ,aⅢ),(aⅡ,aⅣ),(aⅢ,aⅣ)；
b.由椭圆中心进一步确定弧段
进一步计算可能构成这些弧段的椭圆中心，然后基于弧段集合的中心的接近度创建这些弧段的超集，若基于两个圆弧所估计的两个中心在可接受范围区域内的情况下，这样的弧段集合属于同一椭圆；两个弧段的相关距离约束函数如下式：
式中：r表示右，l表示左；al(x)为弧段最左侧的横坐标；ar(x)为弧段最右侧的横坐标；al(y)为弧段最左侧的纵坐标；ar(y)为弧段最右侧的纵坐标；如果Ω(aa,bb)小于阈值1，这个集合不可能构成一个椭圆，丢弃这个集合；否则保留这个集合；
(4)椭圆拟合
通过遍历这些集合做最小二乘椭圆拟合求出椭圆参数，以下为利用最小二乘法进行椭圆拟合的方法:
设在X-Y平面上有一系列待测点，{(xi,yi),i＝1,2,3,...,n}为待测椭圆轮廓点集合，(x,y)为集合中的任一点，在平面坐标系中椭圆方程可以用如下形式表示：Ax2+Bxy+Cy2+Dx+Ey+F＝0，可以使用A,B,C,D,E,F这5个参数可以唯一确定一个椭圆；
最小二乘的目的是通过最小化误差的平方和寻找数据的最佳函数匹配，定义平面上的某一点到曲线最短的距离，对于目标函数：
使得f(A,B,C,D,FE),的值最小，由极值定理可得：可得到一个线性方程组，求得方程系数A,B,C,D,E,F值，然后代入方程就可求得一个椭圆方程，即该椭圆就表示我们需要的瞳孔；
(5)得到瞳孔的特征参数
拟合出椭圆之后，还要看边缘图上有多少个边缘点落在这个椭圆上，如果属于当前椭圆的边缘点个数与椭圆周长的比值小于设定阈值0.45，则认为这个椭圆是虚假椭圆，最后采用mean-shift聚类的方法获得局部密度最大，由此最终得到检测到的一系列瞳孔目标的参数，获得瞳孔的中心坐标。
4.按照权利要求1所述的一种基于视线追踪的履带车枪械瞄准方法,其特征在于，所述的瞳孔跟踪是指：
采用粒子滤波和卡尔曼滤波相结合的方法完成对瞳孔的实时跟踪，粒子滤波跟踪瞳孔过程步骤如下：
(1)参数初始化
首先在瞳孔中心定位步骤中选定瞳孔作为初始跟踪目标，得到初始瞳孔的特征参数；
(2)计算瞳孔特征直方图
对于得到的初始瞳孔特征参数，利用式计算瞳孔特征值直方图Qx；
(3)粒子状态初始化
接着完成粒子跟踪初始化，即选择适当的方差高斯函数对初始瞳孔进行随机采样，初始化的粒子状态，设粒子数为N，初始化粒子集状态STATESt-1；
则
式中：STATESt-1为每个粒子的状态矢量，为粒子状态；Vt-1为噪声矢量，为粒子权重；
(4)粒子状态预测
矩阵A为单位时间内瞳孔目标在图像中的偏移量，通过瞳孔目标状态转移矩阵A预测粒子集状态，预测粒子集的状态STATESt为:
(5)计算粒子相似度
利用灰度直方图计算粒子的欧氏距离：
式中：u＝1,...,bi为灰度级，mu为粒子的直方图，qu为目标状态的直方图；
对粒子区域进行二值化，计算各粒子区域的椭圆形状为其中为粒子区域像素数，为粒子区域周长；
然后令灰度特征观测值为：令形状特征观测值为：通过灰度特征和形状特征计算并更新每个粒子的权重，权重为对瞳孔目标状态进行估计，有其中瞳孔目标状态的概率权重其中和Ft E分别为瞳孔目标的灰度特征观测值和形状特征观测值；
(6)粒子重采样
为了对权值退化和多样性匮乏做出平衡，根据粒子的权重对粒子集中的粒子使用序贯重要性采样(SIR)进行重采样，即小权值的粒子丢弃，选取大权值的粒子并且可以重复选取，进行N次重复操作，有效的避免长时间跟踪造成的粒子退化问题；
(7)更新瞳孔目标模型
通过对目标状态的概率权重和预先设置的阈值ωt进行比较，若小于该阈值，则不更新瞳孔目标模型，即令Xt＝Xt-1；否则，更新瞳孔目标模型，即令Xt＝(1-θ)Xt-1+θE(Xt)，θ为权重；
粒子滤波的跟踪结果指导着卡尔曼滤波确定瞳孔目标的参数，据前一帧图像中确定的瞳孔目标参数，以此为基础使用卡尔曼滤波去确定下一帧图像中的瞳孔目标参数；且粒子滤波的跟踪结果决定着卡尔曼滤波的状态转移方程，其中，通过粒子滤波跟踪区域的瞳孔分割得到了卡尔曼滤波中的观测值，则利用前一时刻的估计值和观测值通过状态转移方程得到新时刻的估计值，这个时刻粒子滤波瞳孔的跟踪结果作为卡尔曼滤波中的观测值，卡尔曼滤波瞳孔跟踪开始，卡尔曼滤波跟踪瞳孔过程步骤如下：
a.假定t-1时刻的状态参数
假设t-1时刻的瞳孔目标状态的卡尔曼滤波估计为状态转移矩阵设为Φ，其中状态转移矩阵Φ的取值随着t时刻的粒子滤波状态估计中的矩形框位移的改变而改变；
b.t时刻卡尔曼滤波观测值
确定t时刻卡尔曼滤波观测差，为式中Z(t)为t时刻的观测值；
c.卡尔曼增益K
确定卡尔曼增益K，为
d.t时刻瞳孔状态预测
对t时刻的瞳孔状态进行预测，为
到此为止，完成了一次卡尔曼滤波跟踪瞳孔过程，完成卡尔曼滤波跟踪后，将t时刻的瞳孔目标位置参数作为粒子滤波的t时刻的状态矢量的估计值，进入到下一帧的预测当中，如此一帧一帧的循环，就实现粒子滤波和卡尔曼滤波相结合的瞳孔跟踪过程。
5.按照权利要求1所述的一种基于视线追踪的履带车枪械瞄准方法,其特征在于，所述的普尔钦光斑中心定位是指：
红外光源照射在眼睛上，眼睛上的角膜会反射红外光会形成一个高亮的普尔钦光斑，并且斑点的位置靠近瞳孔且绝对位置不会发生变化；但是瞳孔的中心位置会随着眼球的转动时刻发生改变，也就是说普尔钦光斑和瞳孔的相对位置关系会发生变化，因此利用瞳孔与普尔钦光斑中心之间的P-CR向量进行视线跟踪，普尔钦光斑中心定位步骤如下：
(1)得到延伸矩形图像
选取以瞳孔中心坐标向y轴增加一个瞳孔外接矩形最大边长的长度，并以瞳孔中心坐标向x轴两边都延伸一个瞳孔外接矩形最大边长的长度，得到延伸的矩形图像；
(2)进行OSTU自适应阈值分割，提取二值化图像信息
虽然普尔钦光斑灰度值很高，但是会出现不同帧图像的亮度和背景都不相同的情况；因此，对所有图像中光斑的提取都使用相同的阈值并不能达到准确的分割出该光斑的效果，针对这个问题选用OSTU即最大类间差方法来确定阈值，完成对图像的二值化分割，OSTU阈值法的步骤如下：
a.计算我们所要二值化图像的直方图，并且将该直方图归一化；
b.初始化参数
i表示当前的阈值，并从0开始迭代；
c.归一化直方图
假设像素值在0-i范围的像素叫做前景像素，统计该阈值内灰度值的像素所占整幅图像的比例w0，计算前景像素的平均灰度u0，与前面方法相似，假设像素值在i-255范围的像素叫做背景像素，也统计大于该阈值并小于最大灰度值的像素所占整幅图像的比例w1，计算背景像素的平均灰度值u1；
d.计算前景像素和背景像素的方差g＝w0*w1*(u0-u1)(u0-u1)；
e.i值迭代一次后转到归一化直方图步骤，循环执行c-e步骤，直到i等于256时，迭代结束；
f.迭代完成提取最g值相对应的i值就是我们所需的全局阈值；
(3)计算普尔钦光斑中心
用质心法计算普尔钦光斑中心，计算公式为：和
式中：xn为x方向上的灰度值，yn为y方向上的灰度值，N为某一方向上像素的数量。
6.按照权利要求1所述的一种基于视线追踪的履带车枪械瞄准方法,其特征在于，所述的定点标定是指：
定点标定的重点在于由获取到的P-CR向量以及给定的注视点中心来得到人眼与屏幕落点的映射关系，其中P-CR向量已经在瞳孔检测步骤中得到，因此，定点标定的重点在于获取给定的注视点中心以及映射关系的确定；
设向量X为人眼图像坐标系下的P-CR偏移向量，向量Y是场景图像坐标系下的视线落点向量，而函数F描述了X与Y之间的映射关系，A为函数中的各个参数向量，则有：Y＝F(X,A)；定点标定步骤就是确定函数F的具体形式，也就确定了眼动参数与人眼的运动之间的对应关系，但是函数F不是简单的线性关系，采用人工神经网络对P-CR偏移向量和注视点进行描述；
1)定点的显示
首先在显示屏(6)上依次显示5个给定的注视点，其中4个注视点位于显示屏(6)的四个直角边缘处，第5个注视点位于显示屏(6)的正中间；每个标定点均采用直径为8个像素的黑色实心圆，其中四个直角边缘处的注视点的位置分布如下：左右两个相邻点相隔1800像素值，上下两个相邻点间隔800像素值，每个标定点按照在显示屏(6)上位置从左到右，从上到下的顺序依次显示，当射手(9)完成前一个标定点后，下一个标定点才会在显示屏上显示，直至完成对所有定点的标定；
2)检测注视点中心
对给定的注视点中心进行检测提取的步骤如下：
(1)对场景图像进行预处理，进行高斯平滑和灰度化，并采用OSTU算法求最佳阈值，进而将图像进行二值化；
(2)提取场景图像中所有的轮廓，求每个轮廓的面积，去除面积大于600和小于200像素点的轮廓；
(3)计算前面步骤获得的轮廓的最大外接椭圆，用质心法计算椭圆的中心得到注视点中心；
3)映射关系的确定
完成显示屏(6)上给定的固定位置的注视点中心的检测获取后，需要确定P-CR向量与场景图像视线落点坐标的映射关系，选用基于前馈神经网络：BP神经网络的静态标定方法，也就是用BP神经网络去描述眼睛图像坐标系与场景图像坐标系的非线性映射关系，采用这种方法需要将人眼特征参数和视线落点作为神经网络的训练样本，对这些样本进行学习训练确定神经网络内的参数，从而获得人眼特征参数与视线落点的映射关系；
BP神经网络是由输入层、输出层及隐层组成，该算法由两部分组成，信息的正向传递及误差的反向传播；1)正向传递：输入信息从输入层通过隐含层一层一层计算传向输出层得到输出结果；2)反向传播：若输入信息经过正向传递的输出层其结果未达到要求，就需要转向反向传播来修改各层神经元的权值，即网络将误差信号沿着之前的链接通路反向传回，正向传递之后反向传播，如此反复直到达到期望目标；具体实现步骤如下：
需要完成对BP神经网络中网络隐层数目及各隐层神经元数目这两个参数的确定，这两个参数决定了模型的精度，只要隐层神经元数目足够，具有一个隐层的BP神经网络能够以任意精度逼近一个复杂的非线性函数，因此使用含有一个隐层的BP网络进行注视点定位，而对于隐藏神经元的数目，现在已经有了经验公式：其中，m是输出神经元的数量，n是输入神经元的数量，a的范围[1，10]之间的整数；因此，我们的网络是有两个输入分别为P-CR向量的x1和y1，和两个输出分别为注视点的x2和y2，由此得到隐藏神经元的数目。
7.按照权利要求1所述的一种基于视线追踪的履带车枪械瞄准方法,其特征在于，所述的执行控制指令是指：
根据射手(9)的视线在显示屏(6)上的移动方向，执行不同的功能；通过眼球的上、下、左、右及平视五种眼球状态控制显示屏放大、缩小、左移、右移以及选定五个行为；
实时获取射手(9)的注视点，时刻将注视点设定为屏幕的正中间处；
若射手(9)的注视点从中心处向上移动，则中央处理控制台(5)发送放大注视点处图像的指令；
若射手(9)的注视点从中心处向下移动，则中央处理控制台(5)发送缩小注视点处图像的指令；
若射手(9)的注视点从中心处向左移动，则中央处理控制台(5)发送注视点处图像向左移动的指令；
若射手(9)的注视点从中心处向右移动，则中央处理控制台(5)发送注视点处图像向右移动的指令；
若射手(9)的眼球保持平视，即注视点保持不动，则注视点处被选定，当射手(9)扳动扳机时，完成子弹对该注视点的追踪射击功能；
完成放大或缩小注视点处图像的指令时，对以注视点为中心的2.0cm*2.0cm的区域进行局部放大或缩小；完成左移或右移注视点处图像的指令时，对以注视点为起点的2.0cm的区域进行局部左移或右移，以便射手(9)能够更好更清晰的对注视点周围区域进行观察；
显示屏(6)上也可以按照需求添加一系列的虚拟按键，以完成不同的功能，如放大、缩小、左移、右移、上移或下移等；射手(9)在显示屏(6)上注视一个具有一定区域的虚拟按键超过预设的时间阈值时，程序就可以自动确定为确认点击该按键，如定义放大按键，在一段预定的时间内如800毫秒，若射手(9)视线悬停在该虚拟按键上，程序可认为射手(9)对该按键所对应的功能进行了选择，即显示屏(6)内的图片进行局部放大显示，而不需要射手(9)用手去进行放大屏幕的操作，因此，当中央处理控制台(5)获取到射手(9)的注视位置，就能通过调整显示屏(6)，针对射手(9)的动作完成更多的功能，以便获取更多的信息。
CN201910638823.XA 2019-07-16 2019-07-16 一种基于视线追踪的履带车枪械瞄准方法 Pending CN110345815A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910638823.XA CN110345815A (zh) 2019-07-16 2019-07-16 一种基于视线追踪的履带车枪械瞄准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910638823.XA CN110345815A (zh) 2019-07-16 2019-07-16 一种基于视线追踪的履带车枪械瞄准方法

Publications (1)

Publication Number Publication Date
CN110345815A true CN110345815A (zh) 2019-10-18

Family

ID=68175367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910638823.XA Pending CN110345815A (zh) 2019-07-16 2019-07-16 一种基于视线追踪的履带车枪械瞄准方法

Country Status (1)

Country Link
CN (1) CN110345815A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807427A (zh) * 2019-11-05 2020-02-18 中航华东光电（上海）有限公司 一种视线追踪方法、装置、计算机设备和存储介质
CN112464829A (zh) * 2020-12-01 2021-03-09 中航航空电子有限公司 一种瞳孔定位方法、设备、存储介质及视线追踪系统
CN112748797A (zh) * 2019-10-31 2021-05-04 Oppo广东移动通信有限公司 一种眼球追踪方法及相关设备
CN112904997A (zh) * 2019-12-04 2021-06-04 Oppo广东移动通信有限公司 设备控制方法及相关产品
CN113361459A (zh) * 2021-06-29 2021-09-07 平安普惠企业管理有限公司 基于注视点识别的广告展示方法、装置、设备及存储介质
CN113436205A (zh) * 2021-06-16 2021-09-24 中国电子科技集团公司第五十四研究所 一种基于视线追踪的遥感图像快速解译方法
CN113554700A (zh) * 2021-07-26 2021-10-26 贵州电网有限责任公司 一种不可见光瞄准方法
CN114373217A (zh) * 2022-01-20 2022-04-19 天津大学 一种高鲁棒性瞳孔定位方法
CN115393440A (zh) * 2022-10-27 2022-11-25 长春理工大学 一种光端机信标光斑中心定位方法、存储介质及电子设备
CN117876488A (zh) * 2024-01-12 2024-04-12 湖州露湖鄱生物科技有限公司 一种基于图像处理核心算法的瞳孔仪

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040174496A1 (en) * 2003-03-06 2004-09-09 Qiang Ji Calibration-free gaze tracking under natural head movement
CN201477518U (zh) * 2009-08-31 2010-05-19 北京科技大学 一种基于瞳孔角膜反射方法的视线追踪装置
CN101788848A (zh) * 2009-09-29 2010-07-28 北京科技大学 用于视线追踪系统的眼部特征参数检测方法
CN104055478A (zh) * 2014-07-08 2014-09-24 金纯� 基于视线追踪控制的医用内窥镜操控系统
US20180005008A1 (en) * 2016-06-29 2018-01-04 International Business Machines Corporation System, method, and recording medium for tracking gaze using only a monocular camera from a moving screen
CN108681403A (zh) * 2018-05-18 2018-10-19 吉林大学 一种采用视线跟踪的小车控制方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040174496A1 (en) * 2003-03-06 2004-09-09 Qiang Ji Calibration-free gaze tracking under natural head movement
CN201477518U (zh) * 2009-08-31 2010-05-19 北京科技大学 一种基于瞳孔角膜反射方法的视线追踪装置
CN101788848A (zh) * 2009-09-29 2010-07-28 北京科技大学 用于视线追踪系统的眼部特征参数检测方法
CN104055478A (zh) * 2014-07-08 2014-09-24 金纯� 基于视线追踪控制的医用内窥镜操控系统
US20180005008A1 (en) * 2016-06-29 2018-01-04 International Business Machines Corporation System, method, and recording medium for tracking gaze using only a monocular camera from a moving screen
CN108681403A (zh) * 2018-05-18 2018-10-19 吉林大学 一种采用视线跟踪的小车控制方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112748797A (zh) * 2019-10-31 2021-05-04 Oppo广东移动通信有限公司 一种眼球追踪方法及相关设备
CN110807427B (zh) * 2019-11-05 2024-03-01 中航华东光电（上海）有限公司 一种视线追踪方法、装置、计算机设备和存储介质
CN110807427A (zh) * 2019-11-05 2020-02-18 中航华东光电（上海）有限公司 一种视线追踪方法、装置、计算机设备和存储介质
CN112904997A (zh) * 2019-12-04 2021-06-04 Oppo广东移动通信有限公司 设备控制方法及相关产品
CN112464829A (zh) * 2020-12-01 2021-03-09 中航航空电子有限公司 一种瞳孔定位方法、设备、存储介质及视线追踪系统
CN112464829B (zh) * 2020-12-01 2024-04-09 中航航空电子有限公司 一种瞳孔定位方法、设备、存储介质及视线追踪系统
CN113436205A (zh) * 2021-06-16 2021-09-24 中国电子科技集团公司第五十四研究所 一种基于视线追踪的遥感图像快速解译方法
CN113361459A (zh) * 2021-06-29 2021-09-07 平安普惠企业管理有限公司 基于注视点识别的广告展示方法、装置、设备及存储介质
CN113554700A (zh) * 2021-07-26 2021-10-26 贵州电网有限责任公司 一种不可见光瞄准方法
CN113554700B (zh) * 2021-07-26 2022-10-25 贵州电网有限责任公司 一种不可见光瞄准方法
CN114373217A (zh) * 2022-01-20 2022-04-19 天津大学 一种高鲁棒性瞳孔定位方法
CN114373217B (zh) * 2022-01-20 2024-04-26 天津大学 一种高鲁棒性瞳孔定位方法
CN115393440A (zh) * 2022-10-27 2022-11-25 长春理工大学 一种光端机信标光斑中心定位方法、存储介质及电子设备
CN115393440B (zh) * 2022-10-27 2023-01-24 长春理工大学 一种光端机信标光斑中心定位方法、存储介质及电子设备
CN117876488A (zh) * 2024-01-12 2024-04-12 湖州露湖鄱生物科技有限公司 一种基于图像处理核心算法的瞳孔仪

Similar Documents

Publication Publication Date Title
CN110345815A (zh) 一种基于视线追踪的履带车枪械瞄准方法
US11288837B2 (en) Method of influencing virtual objects of augmented reality
US11392146B2 (en) Method for detecting target object, detection apparatus and robot
CN105138965B (zh) 一种近眼式视线跟踪方法及其系统
CN109558764B (zh) 人脸识别方法及装置、计算机设备
CN109102522B (zh) 一种目标跟踪方法及装置
CN103106401B (zh) 一种具有人机交互机制的移动终端虹膜识别装置
CN109241820B (zh) 基于空间探索的无人机自主拍摄方法
CN107741175B (zh) 一种人工智能精确瞄准方法
CN104809424B (zh) 一种基于虹膜特征实现视线追踪的方法
US20220100268A1 (en) Eye tracking device and a method thereof
CN108595008A (zh) 基于眼动控制的人机交互方法
CN110360877B (zh) 一种射击训练智能辅助系统及方法
WO2019067903A1 (en) HEAD POSTURE ESTIMATION FROM A LOCAL EYE REGION
CN108154126B (zh) 虹膜成像系统及方法
DE112017003558T5 (de) Intelligenter trainer für taktische einsätze
CN110276286B (zh) 一种基于tx2的嵌入式全景视频拼接系统
CN109697428B (zh) 基于rgb_d和深度卷积网络的无人机识别定位系统
CN108681403A (zh) 一种采用视线跟踪的小车控制方法
Tkach et al. Switching between collaboration levels in a human–robot target recognition system
EP3399738B1 (en) Omnidirectional image capturing method and device for performing method
Soetedjo et al. Developing of low cost vision-based shooting range simulator
CN117615255A (zh) 基于云台的拍摄追踪方法、装置、设备及存储介质
CN107194954A (zh) 多视角视频的球员追踪方法和装置
Engel et al. Pedestrian detectability: Predicting human perception performance with machine vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191018

WD01 Invention patent application deemed withdrawn after publication