CN111012301B - 一种头戴式目视精确瞄准系统 - Google Patents
一种头戴式目视精确瞄准系统 Download PDFInfo
- Publication number
- CN111012301B CN111012301B CN201911318767.8A CN201911318767A CN111012301B CN 111012301 B CN111012301 B CN 111012301B CN 201911318767 A CN201911318767 A CN 201911318767A CN 111012301 B CN111012301 B CN 111012301B
- Authority
- CN
- China
- Prior art keywords
- target
- aiming
- head
- tracking
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 93
- 238000013135 deep learning Methods 0.000 claims abstract description 59
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000007499 fusion processing Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 10
- 210000001747 pupil Anatomy 0.000 claims description 58
- 239000013598 vector Substances 0.000 claims description 18
- 230000004424 eye movement Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 16
- 238000012216 screening Methods 0.000 claims description 15
- 210000003128 head Anatomy 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000005520 cutting process Methods 0.000 claims description 9
- 238000005266 casting Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 241001347978 Major minor Species 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000013434 data augmentation Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 206010044565 Tremor Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004384 eye physiology Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种头戴式目视精确瞄准系统，将目视瞄准控制技术与基于深度学习的目标检测方法相融合，能够进行精确的目视瞄准。其方法为：人眼检测与注视点输出模块获得实时的注视点坐标，并发送给数据融合处理模块；深度学习目标检测模块基于训练得到的深度学习目标检测模型，对视野场景图像中的目标进行实时检测，并将检测到的目标以候选目标框的形式标注在视野场景图像中然后发送给头戴式设备；同时将各候选目标的边界框信息发送给数据融合处理模块；数据融合处理模块依据接收到的注视点坐标和各候选目标的边界框信息，得到选定目标的位置坐标和用于跟踪选定目标的瞄准跟踪伺服控制量，控制伺服云台对选定目标进行瞄准跟踪。
Description
技术领域
本发明涉及一种瞄准系统，具体涉及一种能够进行精确目视瞄准的系统，属于头戴式设备的目视瞄准技术领域。
背景技术
目前世界上约44家眼动仪研发与生产单位对于头戴式眼动检测设备进行研制，其中比较成熟的有美国ASL应用科学实验室、加拿大SR科学研究所，德国SMI传感运动仪器公司和瑞典的Tobii眼动仪公司。这些眼动检测设备基本上都能对人眼的相应数据进行采集，并将采集到的数据进行分析应用于相关研究领域。国内相关研究领域引进了一些桌面式和头戴式眼动设备，进一步开发自己的眼动测量与视线跟踪系统。这些眼动设备用于心理学、行为科学和人类感知研究；用于网页、广告宣传、广告评估；用于交互控制等。
在文献Marcus Nystrom，Richard Andersson&Kenneth Holmqvist：Theinfluence of calibration method and eye physiology on eyetracking dataquality中，提出眼动跟踪数据的质量受系统眼动跟踪系统的不稳定性和数据测试因素影响，眼动设备的实际测试精确度都在0.5°～1°，甚至精确度更差。
但是将其眼动设备进行应用于工程的交互控制，注视精确度测试，受各种测试环境影响，实际的注视精确度，仅能达到0.5°～1°，甚至精确度更差大于1°。精确度越差，对于实际的工程应用实现目视瞄准控制的精确度就越差，很难满足实际应用的要求。
上述眼动测量与视线跟踪系统的缺陷为：
(1)因人眼生理特性，在注视过程中，人眼微颤等的影响，求解的注视点数据也存在一定波动，影响实际的注视精确度；
(2)已有的眼动跟踪各项设备，实质的注视精确度经测量仅能达到0.5°～1°，甚至精确度大于1°，将注视点数据应用于云台伺服控制中，很难以实现对云台伺服运动的精确控制；
(3)基于深度学习的目标检测方法，可以精确地对目标检测，但是对于场景中的同类多个目标检测，还不能实现有选择性、分辨性地对同类目标中具体某个目标进行检测。
发明内容
有鉴于此，本发明提供一种头戴式目视精确瞄准系统，将目视瞄准控制技术与基于深度学习的目标检测方法相融合，进行精确的目视瞄准，使得注视瞄准的位置更加准确，提高目视瞄准的精度。
所述头戴式目视瞄准系统包括：人眼检测与注视点输出模块、深度学习目标检测模块、伺服云台跟踪瞄准模块和数据融合处理模块；
所述人眼检测与注视点输出模块通过头戴式设备采集眼部图像，然后依据采集的眼部图像获得实时的注视点坐标，并发送给数据融合处理模块；
所述深度学习目标检测模块接收场景摄像机采集的视野场景图像，然后基于训练得到的深度学习目标检测模型，对接收到的视野场景图像中的目标进行实时检测，并将检测到的目标作为候选目标，以候选目标框的形式标注在视野场景图像中然后发送给头戴式设备，在头戴式设备的屏幕上进行显示；同时将各候选目标的边界框信息发送给数据融合处理模块；
所述数据融合处理模块依据接收到的注视点坐标和候选目标的边界框信息，得到选定目标的位置坐标和用于跟踪选定目标的瞄准跟踪伺服控制量；然后将瞄准跟踪伺服控制量发送给伺服云台跟踪瞄准模块；同时将选定目标以选定目标框的形式标注在视野场景图像后发送给头戴式设备，在头戴式设备的屏幕进行显示；
所述伺服云台跟踪瞄准模块依据接收到的瞄准跟踪伺服控制量，控制伺服云台对选定目标进行瞄准跟踪。
优选的：所述人眼检测与注视点输出模块的过程为：
101：接收头戴式设备实时采集的眼部图像；
102：通过眼睛图像的匹配模板对眼部图像进行眼睛区域匹配，裁剪眼部图像，即裁剪掉眼睛区域之外的图像；
103：对裁剪后的眼部图像进行图像处理，突出眼部图像中瞳孔的位置；经过所述图像处理后得到一组以上边缘像素点系，然后依据设定的筛选条件对得到的一组以上边缘像素点系进行筛选，筛选后剩下的边缘像素点系作为瞳孔边缘像素点系；
104：对每个瞳孔边缘像素点系进行瞳孔椭圆拟合，得到对应的瞳孔椭圆的参数，包括瞳孔椭圆在眼部图像坐标系下的中心点坐标、长短轴长度；然后依据预设的筛选条件对瞳孔椭圆进行筛选，排除异常瞳孔；
若排除异常瞳孔后只剩一个瞳孔椭圆，则直接进入下一步；
若排除异常瞳孔后还剩两个以上瞳孔椭圆，则将剩下的两个以上瞳孔椭圆的中心点坐标取均值，作为瞳孔椭圆的中心点坐标，进入下一步；
105：以瞳孔椭圆的中心点坐标建立瞳孔位置在眼部图像坐标系中的眼动特征向量：
106：对眼部图像坐标系下的眼动特征向量与头戴式设备中屏幕坐标系下注视点坐标向量通过标定进行匹配，建立映射函数；
107：依据实时计算得到的眼动特征向量，通过所建立的映射函数得到相应注视点坐标，实现屏幕坐标系下注视点坐标的输出。
优选的：所述深度学习目标检测模块内部预存有深度学习目标检测模型，所述深度学习目标检测模型的建立方法为：使用深度学习方法，根据期望检测的目标类别训练对应的深度学习目标检测模型；
所述深度学习目标检测模块接收到场景摄像机采集的场景视野图像后，依据所建立的深度学习目标检测模型，判断场景视野图像中是否有指定类型的目标，若有，将其作为候选目标，将各候选目标以候选目标框的形式标注在视野场景图像中然后发送给头戴式设备，在头戴式设备的屏幕上进行显示；同时将各候选目标的边界框信息发送数据融合处理模块；若没有，则处理下一帧图像。
优选的：在建立深度学习目标检测模型前，采用如下两种方式中的一种或两种对目标数据集中的图像样本进行扩展：
对目标数据集中的图像样本进行对水平镜像或HSV色彩迁移或随机尺寸缩放或随机旋转或随即裁剪或上述方法中两种以上的组合处理，扩展目标数据集中的图像样本；
以生成对抗网络GAN对弈的方式为基础，使用两个生成器GX->Y、GY->X和两个判别器DX、DY，两个GAN网络组成环形网络CycleGAN，对目标数据集中的图像样本进行扩展。
优选的：所述据融合处理模块的控制过程为：
301：对比注视点坐标和各候选目标边界框：
判断注视点是否位于候选目标边界框内，如果不是则进入302；如果是，则进一步判断注视点是否位于不同候选目标边界框重叠区域，如果在不同候选目标边界框重叠区域，则放弃当前帧；如果不在不同候选目标边界框重叠区域，则将注视点所在候选目标边界框的候选目标为选定目标，进入步骤303；
302：计算注视点与各候选目标边界框之间的距离，以与注视点距离最近的候选目标为选定目标，然后进入步骤303；
303：对选定目标进行跟踪，实时输出选定目标位置坐标信息；并将选定目标的位置坐标信息转换为伺服云台控制量输出至伺服云台跟踪瞄准模块。
优选的：所述据融合处理模块中，采用ECO目标跟踪方法对选定目标进行跟踪。
有益效果：
(1)本发明将基于深度学习的目标检测应用与头戴式目视瞄准系统，用于在目标检测后，缩小目视瞄准的感兴趣区域，能够使得注视瞄准更快速、更准确，并且同过目标检测的方法计算出目标更准确地位置，融合注视点信息，使得注视瞄准的位置更加准确，提高目视瞄准的精度。
(2)对于场景中的同类多个目标检测，能够实现有选择性、分辨性地对同类目标中具体某个目标进行检测。
(3)在训练深度学习目标检测模型前，对目标数据集进行增广，实现基于少量样本的目标深度学习检测。
附图说明
图1为该瞄准系统的工作流程示意图；
图2和图3为人眼检测与注视点输出模块的工作流程图；
图4为基于深度学习的目标检测模块的工作流程图；
图5为数据融合处理模块的工作流程图；
图6为目标特征提取网络darknet36的网络结构示意图；
图7为目标特征提取网络darknet36第二个Dense Block的结构示意图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本实施例提供一种头戴式目视精确瞄准系统，将目视瞄准控制技术与基于深度学习的目标检测方法相融合，进行精确的目视瞄准，能够使得注视瞄准更快速、更准确。
如图1所示，该头戴式目视瞄准系统包括：人眼检测与注视点输出模块、深度学习目标检测模块、伺服云台跟踪瞄准模块和数据融合处理模块。采用该目视瞄准系统进行目视瞄准的过程为：
所述人眼检测与注视点输出模块通过头戴式设备(具有眼睛摄像机和屏幕)采集眼部图像，然后依据采集的眼部图像计算获得实时的注视点坐标(注视点在屏幕坐标系下的坐标)，并发送给数据融合处理模块；
深度学习目标检测模块接收场景摄像机采集的视野场景图像，然后基于深度学习的目标检测，对采集的视野场景图像中的目标(所需跟踪的目标如人等)进行实时的检测，并将其在视野场景图像中检测到的目标作为候选目标(通常为多个)，以候选目标框的形式标注在视野场景图像中然后发送给头戴式设备，在头戴式设备的屏幕上进行显示；同时将各候选目标的边界框信息(在屏幕坐标系下的)发送给数据融合处理模块；
数据融合处理模块对接收到的数据(包括人眼检测与注视点输出模块检测的注视点坐标和深度学习目标检测模块检测的多个候选目标的位置坐标)进行处理与计算，得到选定目标的位置坐标和瞄准跟踪伺服控制量；然后将瞄准跟踪伺服控制量发送给伺服云台跟踪瞄准模块；同时将选定目标以选定目标框的形式标注在视野场景图像后发送给头戴式设备，在头戴式设备的屏幕进行显示。
伺服云台跟踪瞄准模块依据接收到的瞄准跟踪伺服控制量，实现伺服云台对选定目标的瞄准跟踪运动。
其中人眼检测与注视点输出模块的工作过程如图2和图3所示，人眼检测与注视点输出模块通过头戴式设备对使用者的眼部图像进行采集，并对采集的眼部图像的瞳孔进行检测，获得瞳孔中心坐标；然后建立瞳孔眼动特征向量与头戴式设备中屏幕坐标系下注视点坐标向量之间的映射函数，依据该映射函数进行视线估计跟踪，输出注视点坐标。具体过程如下：
101：头戴式设备由使用者佩戴，固连在头戴式设备上的眼睛摄像机实时采集眼部图像；
102：通过现有的眼睛图像的匹配模板对眼部图像进行眼睛区域匹配，裁剪眼部图像，即裁剪掉眼睛区域之外的图像；
103：对裁剪后的眼部图像进行图像处理：通过常规的图像处理相关方法对裁剪后的眼部图像以及进行灰度处理、高斯滤波、二值化处理、开闭运算以及边缘检测，从而突出眼部图像中瞳孔的位置，以便对瞳孔进行进一步的检测。其中通过图像边缘检测的方式得到多组边缘像素点系，依据设定的筛选条件(如瞳孔尺寸阈值、瞳孔形状等)对得到的多组边缘像素点系进行筛选，筛选后剩下的边缘像素点系作为瞳孔边缘像素点系；
104：对瞳孔进行椭圆拟合，获得瞳孔椭圆参数，并排除异常瞳孔：
对每个瞳孔边缘像素点系进行基于最小二乘法的瞳孔椭圆拟合，得到对应的瞳孔椭圆的相关参数(瞳孔椭圆在眼部图像坐标系下的中心点坐标、长短轴长度等)，即得到瞳孔的中心位置及大小。
通过预设的筛选条件对瞳孔椭圆进行筛选，如椭圆形状、大小、在眼部图像中的位置等；排除异常瞳孔；
若排除异常瞳孔后只剩一个瞳孔椭圆，则直接进入下一步；
若排除异常瞳孔后还剩两个以上瞳孔椭圆，则将剩下的两个以上瞳孔椭圆的中心点坐标取均值，作为瞳孔椭圆的中心点坐标，进入下一步；
105：以经步骤104处理后的瞳孔椭圆的中心点坐标建立瞳孔位置在眼部图像坐标系中的眼动特征向量X：
106：眼部图像坐标系下的眼动特征向量X与头戴式设备中屏幕坐标系下注视点坐标向量Y之间通过标定进行匹配，建立映射关系F，即映射函数：Y＝F(X,P)；
其中P为待求未知参数向量，Y＝F(X,P)的具体形式及参数确定后，即可通过实时计算得到的眼动特征向量X'来估计相应注视点坐标Y'，实现屏幕坐标系下注视点坐标Y'的输出。
Y'＝F(X',P)
本例中对注视3×3均匀分布的9点标定界面进行标定，建立映射关系，并基于多项式回归方法进行视线估计映射模型求解。具体为：
映射函数Y＝F(X,P)的具体形式采用二阶多项式形式，令Xs(xs,ys)T为屏幕坐标系下注视标定点坐标向量，Xe(xe,ye)T为相应眼部图像坐标下眼睛特征向量，则Y＝F(X,P)如下：
其中j＝1,2,…,N，N为标定点的个数9，(xsj,ysj)为第j个注视标定点在屏幕坐标系下的坐标，(xej,yej)为第j个注视标定点对应的眼睛特征向量在图像坐标系下的坐标。
定义残差：
对上述式(2)中的ak(j＝1,2,3,4,5,6)求偏导，得约束条件为：
其中，σ1＝1，σ2＝xej，σ3＝yej，σ4＝xejyej，
于是，可通过下式所示线性方程组求解ak的值：
同理，可求解bk(k＝1,2,3,4,5,6)的值；由此便可求解得该多项式的各参数，即得到映射函数的具体形式，由此便可通视线估计注视点，实现屏幕坐标系下注视点坐标的输出。
深度学习目标检测模块进行基于深度学习的目标检测，利用图像位置、尺度及颜色变换，以及生成对抗网络方法对少量目标样本的数据集进行增广，实现基于少量样本的目标深度学习检测；并基于darknet36的改进目标检测方法YOLO-S，优化目标检测的精度和速度；通过深度学习目标检测模块能够进行全自动的目标检测。
深度学习目标检测模块内部预存有深度学习目标检测模型和目标检测方法，深度学习目标检测模型的建立方法为：首先对获取到的人目标数据集图像样本进行有效的数据增广，增加人目标数据集样本的丰富程度，让训练获取的目标检测模型能够适应不同颜色、尺寸和形状的人目标。
采用如下两种方式对人目标数据集中的样本进行数据增广的方式：
(1)人目标数据集中的图像样本进行对水平镜像或HSV色彩迁移或随机尺寸缩放或随机旋转或随即裁剪或上述方法中两种以上的组合处理，由此通过不同的方法组合得到大数量的扩展人目标数据集。
(2)以生成对抗网络GAN(Generative Adversarial Network)对弈的方式为基础，使用两个生成器GX->Y、GY->X和两个判别器DX、DY，两个GAN网络组成环形网络CycleGAN，解决输入数据一一配对的问题，对数据集进行增广，扩展。
然后使用深度学习方法，根据期望检测的目标类别训练对应的深度学习目标检测模型。本例中基于改进后的目标特征提取网络darknet36采用YOLO-S检测方法对人目标进行检测训练，得到深度学习目标检测模型。
深度学习目标检测模型通过预设的目标检测方法进行目标的检测。该目标检测方法对现有YOLOv3的原darknet53网络结构改进，提高目标检测算法的精度和实时性。darknet53网络结构对于人目标检测网络结构过于复杂，因此在保证人目标检测精确度和实时性的要求下，提出一种层数较少的目标特征提取网络darknet36，并在此基础上完成三个尺度特征图上的目标检测。
如图6所示，Darknet36包括一个Res残差块和四个Dense Block。与darknet53相比，Darknet36依旧使用残差网络结构，以加快网络的训练速度，同时借鉴DenseNet网络结构，将浅层特征图直接跨层连接至网络深层位置。以第二个Dense Block为例(如图7),共包含八个卷积层，将每两个卷积层视为一组。记第l组输入为xl-1、输出为xl，其中l＝1,2,3，4；则有xl＝Hl([x0,x1,...,xl-1])，Hl为该组的非线性转化函数，即每组的输入为模块内该组前所有组输出在维度上的叠加，使深层网络重用浅层网络特征，解决梯度消失的问题，强化浅层特征图包含的小目标特征信息的传递，实现特征图信息的有效利用；也可以大幅裁剪网络中间1×1和3×3两种卷积核组成特征提取层，在降低参数量的同时保证能够在训练数据较少的情况下避免过拟合现象的出现。
深度学习目标检测模块的工作原理如图4所示(以人作为目标为例)：深度学习目标检测模块接收到场景摄像机采集的场景视野图像后，依据所建立的深度学习目标检测模型，判断场景视野图像中是否有指定类型的目标(即与指定目标类型一致的目标)，若有，将其作为候选目标，将各候选目标以候选目标框的形式标注在视野场景图像中然后发送给头戴式设备，在头戴式设备的屏幕上进行显示；同时将各候选目标的边界框信息发送数据融合处理模块；若没有，则处理下一帧图像。
数据融合处理模块将人眼检测与注视点输出模块输出的注视点坐标和深度学习目标检测模块输出的候选目标的边界框信息融合，以注视点坐标从各候选目标边界框中选出要瞄准的目标，将该目标作为跟踪目标；采用ECO目标跟踪方法对选定的跟踪目标进行跟踪(ECO是一种基于DCF(Discriminative Correlation Filter，判别式相关滤波)的目标跟踪方法。通过组合卷积特征、HOG特征和颜色特征的方式，以很少的参数、很低的模型复杂度实现高精度、实时地目标跟踪)；并实时计算跟踪目标的边界框中心坐标与屏幕中心坐标的差值作为瞄准跟踪伺服控制量发送给伺服云台跟踪瞄准模块，实现伺服云台的跟踪瞄准运动控制。
数据融合处理模块的控制过程如图5所示：
301：对比注视点坐标和各候选目标边界框：
判断注视点是否位于候选目标边界框内，如果不是则进入302；如果是，则进一步判断注视点是否位于不同候选目标边界框重叠区域，如果在不同候选目标边界框重叠区域，则放弃当前帧；如果不在不同候选目标边界框重叠区域(即位于某个单一候选目标边界框内)，则将注视点所在候选目标边界框的候选目标为选定目标，进入步骤303；
302：计算注视点与各候选目标边界框之间的距离，以与注视点距离最近的候选目标为选定目标，然后进入步骤303；
303：采用ECO目标跟踪方法对选定目标进行跟踪，经过目标检测跟踪算法，能够实时地跟踪图像中的选定目标，并能实时输出选定目标位置坐标信息；并将选定目标的位置坐标信息转换为伺服云台控制量输出至伺服云台跟踪瞄准模块，伺服云台跟踪瞄准模块控制伺服云台进行瞄准跟踪运动。
伺服云台上安装有获取视野场景图像信息的场景摄像机，伺服云台上连接有控制板，在控制板的控制下实现云台的伺服运动。
数据处理融合模块主要进行各模块的数据处理和数据传输。深度学习目标检测模块接收场景摄像机获取的视野场景图像，并将该视野场景图像发送至头戴式设备的屏幕进行显示；使用者在头戴设备中实时注视伺服云台的场景摄像机采集的实时图形图像；人眼检测与注视点输出模块将注视点信息输出至数据处理融合模块中进行如图4的判断，并通过注视的注视点对场景摄像机获取的场景图像中检测跟踪目标候选框进行选择，深度学习目标检测模块对场景摄像机采集的图像中目标进行检测，并将检测结果输出至数据融合处理模块；使用者时刻对屏幕中的图像信息进行注视，通过注视进行进一步选取基于深度学习的目标检测的目标候选检测框，随着人眼观看注视点的变化，数据处理融合模块将该注视运动变化转换为云台伺服控制量的信息发送至云台控制板，从而完成目视瞄准控制伺服云台的伺服运动。
该方法中，目标检测和目标跟踪独立运作，无论操控人员是否目视选定目标，深度学习目标检测都会持续对场景视野中的目标进行检测，而操控人员目视瞄准选定新的跟踪目标之前，目标跟踪部分将持续对原选定目标进行跟踪。
综上，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种头戴式目视精确瞄准系统，其特征在于：包括：人眼检测与注视点输出模块、深度学习目标检测模块、伺服云台跟踪瞄准模块和数据融合处理模块；采用该目视瞄准系统进行目视瞄准的方法为：
所述人眼检测与注视点输出模块通过头戴式设备采集眼部图像，然后依据采集的眼部图像获得实时的注视点坐标，并发送给数据融合处理模块；
所述深度学习目标检测模块接收场景摄像机采集的视野场景图像，然后基于训练得到的深度学习目标检测模型，对接收到的视野场景图像中的目标进行实时检测，并将检测到的目标作为候选目标，以候选目标框的形式标注在视野场景图像中然后发送给头戴式设备，在头戴式设备的屏幕上进行显示；同时将各候选目标的边界框信息发送给数据融合处理模块；
所述数据融合处理模块依据接收到的注视点坐标和候选目标的边界框信息，得到选定目标的位置坐标和用于跟踪选定目标的瞄准跟踪伺服控制量；然后将瞄准跟踪伺服控制量发送给伺服云台跟踪瞄准模块；同时将选定目标以选定目标框的形式标注在视野场景图像后发送给头戴式设备，在头戴式设备的屏幕进行显示；
所述伺服云台跟踪瞄准模块依据接收到的瞄准跟踪伺服控制量，控制伺服云台对选定目标进行瞄准跟踪；
所述人眼检测与注视点输出模块的过程为：
101：接收头戴式设备实时采集的眼部图像；
102：通过眼眼睛图像的匹配模板对眼部图像进行眼睛区域匹配，裁剪眼部图像，即裁剪掉眼睛区域之外的图像；
103：对裁剪后的眼部图像进行图像处理，突出眼部图像中瞳孔的位置；经过所述图像处理后得到一组以上边缘像素点系，然后依据设定的筛选条件对得到的一组以上边缘像素点系进行筛选，筛选后剩下的边缘像素点系作为瞳孔边缘像素点系；
104：对每个瞳孔边缘像素点系进行瞳孔椭圆拟合，得到对应的瞳孔椭圆的参数，包括瞳孔椭圆在眼部图像坐标系下的中心点坐标、长短轴长度；然后依据预设的筛选条件对瞳孔椭圆进行筛选，排除异常瞳孔；
若排除异常瞳孔后只剩一个瞳孔椭圆，则直接进入下一步；
若排除异常瞳孔后还剩两个以上瞳孔椭圆，则将剩下的两个以上瞳孔椭圆的中心点坐标取均值，作为瞳孔椭圆的中心点坐标，进入下一步；
105：以瞳孔椭圆的中心点坐标建立瞳孔位置在眼部图像坐标系中的眼动特征向量：
106：对眼部图像坐标系下的眼动特征向量与头戴式设备中屏幕坐标系下注视点坐标向量通过标定进行匹配，建立映射函数；
107：依据实时计算得到的眼动特征向量，通过所建立的映射函数得到相应注视点坐标，实现屏幕坐标系下注视点坐标的输出；
所述数据融合处理模块的控制过程为：
301：对比注视点坐标和各候选目标边界框：
判断注视点是否位于候选目标边界框内，如果不是则进入302；如果是，则进一步判断注视点是否位于不同候选目标边界框重叠区域，如果在不同候选目标边界框重叠区域，则放弃当前帧；如果不在不同候选目标边界框重叠区域，即在单一候选目标边界框内，则将注视点所在候选目标边界框的候选目标为选定目标，进入步骤303；
302：计算注视点与各候选目标边界框之间的距离，以与注视点距离最近的候选目标为选定目标，然后进入步骤303；
303：采用ECO目标跟踪方法对选定目标进行跟踪，实时输出选定目标位置坐标信息；并将选定目标的位置坐标信息转换为伺服云台控制量输出至伺服云台跟踪瞄准模块；
目标检测和目标跟踪独立运作，所述深度学习目标检测模块持续对视野场景图像中的目标进行检测，选定新的跟踪目标之前，所述伺服云台跟踪瞄准模块持续对原选定目标进行跟踪。
2.如权利要求1所述的头戴式目视精确瞄准系统，其特征在于：所述深度学习目标检测模块内部预存有深度学习目标检测模型，所述深度学习目标检测模型的建立方法为：使用深度学习方法，根据期望检测的目标类别训练对应的深度学习目标检测模型；
所述深度学习目标检测模块接收到场景摄像机采集的场景视野图像后，依据所建立的深度学习目标检测模型，判断场景视野图像中是否有指定类型的目标，若有，将其作为候选目标，将各候选目标以候选目标框的形式标注在视野场景图像中然后发送给头戴式设备，在头戴式设备的屏幕上进行显示；同时将各候选目标的边界框信息发送数据融合处理模块；若没有，则处理下一帧图像。
3.如权利要求1所述的头戴式目视精确瞄准系统，其特征在于：在建立深度学习目标检测模型前，采用如下两种方式中的一种或两种对目标数据集中的图像样本进行扩展：
对目标数据集中的图像样本进行对水平镜像或HSV色彩迁移或随机尺寸缩放或随机旋转或随即裁剪或上述方法中两种以上的组合处理，扩展目标数据集中的图像样本；
以生成对抗网络GAN对弈的方式为基础，使用两个生成器GX->Y、GY->X和两个判别器DX、DY，两个GAN网络组成环形网络CycleGAN，对目标数据集中的图像样本进行扩展。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911318767.8A CN111012301B (zh) | 2019-12-19 | 2019-12-19 | 一种头戴式目视精确瞄准系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911318767.8A CN111012301B (zh) | 2019-12-19 | 2019-12-19 | 一种头戴式目视精确瞄准系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111012301A CN111012301A (zh) | 2020-04-17 |
| CN111012301B true CN111012301B (zh) | 2021-04-13 |
Family
ID=70210616
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911318767.8A Expired - Fee Related CN111012301B (zh) | 2019-12-19 | 2019-12-19 | 一种头戴式目视精确瞄准系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111012301B (zh) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111914753A (zh) * | 2020-08-03 | 2020-11-10 | 西安杰邦科技股份有限公司 | 基于深度学习的低功耗智能枪瞄图像处理系统及处理方法 |
| CN112800906B (zh) * | 2021-01-19 | 2022-08-30 | 吉林大学 | 一种基于改进YOLOv3的自动驾驶汽车跨域目标检测方法 |
| CN112764547B (zh) * | 2021-02-07 | 2022-08-16 | 中国人民解放军国防科技大学 | 一种基于脑电和眼动信号的射击控制系统及控制方法 |
| CN113159844B (zh) * | 2021-04-20 | 2022-12-23 | 上海外国语大学 | 一种基于眼球轨迹追踪的广告智能评估方法及系统 |
| CN113208558B (zh) * | 2021-04-30 | 2022-10-21 | 南昌虚拟现实研究院股份有限公司 | 眼球追踪方法、装置、电子设备及存储介质 |
| CN113473015B (zh) * | 2021-06-08 | 2022-03-08 | 荣耀终端有限公司 | 一种云台控制方法及电子设备 |
| CN113821108B (zh) * | 2021-11-23 | 2022-02-08 | 齐鲁工业大学 | 基于多模态交互技术的机器人远程控制系统及控制方法 |
| CN114500839B (zh) * | 2022-01-25 | 2024-06-07 | 青岛根尖智能科技有限公司 | 一种基于注意力跟踪机制的视觉云台控制方法及系统 |
| CN114972818B (zh) * | 2022-05-07 | 2024-05-14 | 浙江理工大学 | 一种基于深度学习与混合现实技术的目标锁定系统 |
| CN116823746B (zh) * | 2023-06-12 | 2024-02-23 | 广州视景医疗软件有限公司 | 一种基于深度学习的瞳孔尺寸预测方法及装置 |
| CN116909407B (zh) * | 2023-09-12 | 2024-01-12 | 深圳康荣电子有限公司 | 基于虚拟现实的触控显示屏全景交互方法及控制系统 |
| CN118155244B (zh) * | 2024-05-11 | 2024-08-13 | 烟台睿创微纳技术股份有限公司 | 人体检测预警方法、产品、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105589551A (zh) * | 2014-10-22 | 2016-05-18 | 褚秀清 | 一种用于移动设备人机交互的眼动跟踪方法 |
| CN108732746A (zh) * | 2018-05-29 | 2018-11-02 | 北京理工大学 | 一种头戴式目视瞄准控制系统 |
| CN109816013A (zh) * | 2019-01-17 | 2019-05-28 | 陆宇佳 | 基于眼动追踪进行图像样本快速获取装置及方法 |
-
2019
- 2019-12-19 CN CN201911318767.8A patent/CN111012301B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105589551A (zh) * | 2014-10-22 | 2016-05-18 | 褚秀清 | 一种用于移动设备人机交互的眼动跟踪方法 |
| CN108732746A (zh) * | 2018-05-29 | 2018-11-02 | 北京理工大学 | 一种头戴式目视瞄准控制系统 |
| CN109816013A (zh) * | 2019-01-17 | 2019-05-28 | 陆宇佳 | 基于眼动追踪进行图像样本快速获取装置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111012301A (zh) | 2020-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111012301B (zh) | 一种头戴式目视精确瞄准系统 | |
| CN108596974B (zh) | 动态场景机器人定位建图系统及方法 | |
| CN105913487B (zh) | 一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法 | |
| CN105046708B (zh) | 一种与主观感知相一致的颜色校正客观评估方法 | |
| CN102149325B (zh) | 视线方向判定装置及视线方向判定方法 | |
| CN103679180B (zh) | 一种基于单摄像头单光源的视线追踪方法 | |
| WO2020252969A1 (zh) | 眼部关键点的标注及其检测模型的训练方法和装置 | |
| CN109886356A (zh) | 一种基于三分支神经网络的目标追踪方法 | |
| CN106126786A (zh) | 座舱显示器人机界面设计人机工效定量评估方法 | |
| CN108235778A (zh) | 基于云端计算的标定方法、装置、电子设备和计算机程序产品 | |
| CN109345513A (zh) | 一种具有烟包姿态计算的卷烟包装缺陷检测方法 | |
| CN114333046A (zh) | 舞蹈动作评分方法、装置、设备和存储介质 | |
| CN116030519A (zh) | 一种直播教学平台的学习注意力检测与评估方法 | |
| JP2010523293A (ja) | 視覚および神経処理の一元的検査センター | |
| CN112183160A (zh) | 视线估计方法及装置 | |
| CN114202565A (zh) | 一种基于学习过程情绪实时分析的智能化学习干预系统 | |
| CN114201985A (zh) | 一种人体关键点的检测方法及装置 | |
| CN207589060U (zh) | 一种结合视觉疲劳检测的裸眼立体显示装置 | |
| CN116453198B (zh) | 一种基于头部姿态差异的视线校准方法和装置 | |
| CN115619747B (zh) | 幼儿眼底视网膜全景影像图谱生成和随访数据对齐方法 | |
| CN110400333A (zh) | 教练式双目立体视觉装置及高精度立体视觉图像获取方法 | |
| Zhang et al. | Mask R-CNN method for dashboard feature extraction in eye tracking | |
| KR102075403B1 (ko) | Rgbd 카메라를 이용한 선자세 균형 평가와 훈련 방법 및 이를 포함하는 시스템 | |
| Yoshimura et al. | Appearance-based gaze estimation for digital signage considering head pose | |
| Socha et al. | Design of wearable eye tracker with automatic cockpit areas of interest recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210413 |