CN116708974B - 一种头戴式主动视觉相机的通用摄像头干扰方法及系统 - Google Patents
一种头戴式主动视觉相机的通用摄像头干扰方法及系统 Download PDFInfo
- Publication number
- CN116708974B CN116708974B CN202310957749.4A CN202310957749A CN116708974B CN 116708974 B CN116708974 B CN 116708974B CN 202310957749 A CN202310957749 A CN 202310957749A CN 116708974 B CN116708974 B CN 116708974B
- Authority
- CN
- China
- Prior art keywords
- camera
- interfered
- user
- helmet
- cradle head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004438 eyesight Effects 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 69
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 238000005259 measurement Methods 0.000 claims abstract description 24
- 238000013135 deep learning Methods 0.000 claims abstract description 12
- 210000003128 head Anatomy 0.000 claims description 85
- 210000001508 eye Anatomy 0.000 claims description 81
- 238000012544 monitoring process Methods 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 17
- 230000004424 eye movement Effects 0.000 claims description 14
- 230000001133 acceleration Effects 0.000 claims description 13
- 210000005252 bulbus oculi Anatomy 0.000 claims description 12
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 6
- 101100001676 Emericella variicolor andK gene Proteins 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 13
- 230000036544 posture Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000036632 reaction speed Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Landscapes
- Accessories Of Cameras (AREA)
Abstract
本发明涉及摄像头干扰技术领域，提供一种头戴式主动视觉相机的通用摄像头干扰方法及系统，眼动跟踪摄像头基于眼动跟踪算法确定用户的视线方向；与头盔的转动方向保持相对固定情况下，根据用户的视线方向，基于眼动跟踪算法确定用户辅助定位的待干扰的摄像头所处的感兴趣区域；主动视觉相机根据感兴趣区域基于深度学习的检测跟踪算法定位待干扰的摄像头；根据用户的视线方向、头盔的转动方向、惯性测量单元采集自动云台的当前姿态数据和定位的待干扰的摄像头，基于控制算法控制自动云台的转动；干扰激光器向待干扰的摄像头的镜头发射干扰激光，结合眼动跟踪辅助与惯性测量单元反馈，快速、稳定、持续和高精度的对待干扰的摄像头进行行进间干扰。
Description
技术领域
本发明涉及摄像头干扰技术领域，尤其涉及一种头戴式主动视觉相机的通用摄像头干扰方法及系统。
背景技术
随着科学技术的发展，通用监控摄像头的大量部署，为社会生活的安全提供了有力保证。但是在一些特殊情况下，摄像头的滥用也可能会导致个人隐私的暴露、军事、安保等机密信息的泄露，因此需要对监控摄像头进行干扰，以确保社会财产安全。现有技术中主要针对摄像头进行人工手动扫描干扰，但是存在漏检，反应速度慢，精度控制不高，不容易对准，扫描漏光等问题。
发明内容
本发明提供一种头戴式主动视觉相机的通用摄像头干扰方法及系统，用以解决现有技术中针对摄像头进行人工手动扫描干扰，但是存在漏检，反应速度慢，精度控制不高，不容易对准，扫描漏光的缺陷，结合眼动跟踪辅助与惯性测量单元反馈，能够快速、稳定、持续和高精度的对待干扰的摄像头进行行进间干扰。
本发明提供一种头戴式主动视觉相机的通用摄像头干扰方法，包括：控制头盔上的眼动跟踪摄像头基于眼动跟踪算法确定用户的视线方向；与所述头盔的转动方向保持相对固定情况下，根据所述用户的视线方向，控制所述眼动跟踪摄像头基于所述眼动跟踪算法确定用户辅助定位的待干扰的摄像头所处的感兴趣区域；根据所述感兴趣区域，控制所述头盔上的主动视觉相机基于深度学习的检测跟踪算法定位待干扰的摄像头；根据所述用户的视线方向、所述头盔的转动方向、惯性测量单元采集所述头盔上的自动云台的当前姿态数据和所述主动视觉相机定位的待干扰的摄像头，基于控制算法控制所述自动云台的转动，以修正装配在所述自动云台上的干扰激光器的方向；控制所述干扰激光器向所述待干扰的摄像头的镜头发射干扰激光。
根据本发明提供的一种头戴式主动视觉相机的通用摄像头干扰方法，所述控制头盔上的眼动跟踪摄像头基于眼动跟踪算法确定用户的视线方向，包括：控制所述眼动跟踪摄像头实时检测用户的眼球动作；根据所述眼球动作，基于眼球坐标系相对摄像头坐标系的位置确定所述用户的视线方向。
根据本发明提供的一种头戴式主动视觉相机的通用摄像头干扰方法，所述与所述头盔的转动方向保持相对固定情况下，根据所述用户的视线方向，控制所述眼动跟踪摄像头基于所述眼动跟踪算法确定用户辅助定位的待干扰的摄像头所处的感兴趣区域，包括：控制所述眼动跟踪摄像头对用户的眼睛进行关键点检测，确定用户眨眼次数；与所述头盔的转动方向保持相对固定情况下，根据所述用户的视线方向，将所述用户眨眼次数达到预设次数时的区域作为用户辅助定位的待干扰的摄像头所处的感兴趣区域。
根据本发明提供的一种头戴式主动视觉相机的通用摄像头干扰方法，所述根据所述感兴趣区域，控制所述头盔上的主动视觉相机基于深度学习的检测跟踪算法定位待干扰的摄像头，包括：控制所述主动视觉相机基于检测模型和跟踪模型自动检测跟踪所述感兴趣区域中的若干个枪式摄像头和/或球式摄像头；根据对若干个枪式摄像头的镜头标注位置、镜头方向和镜头关键点确定若干个所述枪式摄像头的监控方向，和/或，根据对若干个球式摄像头的镜头标注位置和镜头关键点确定若干个所述球式摄像头的监控方向；根据若干个所述枪式摄像头的监控方向和/或若干个所述球式摄像头的监控方向计算若干个所述枪式摄像头和/或球式摄像头观察到所述感兴趣区域的概率，得到若干个观察概率值；对若干个所述观察概率值进行排序，将排序最大的观察概率值所对应的枪式摄像头或球式摄像头作为待干扰的摄像头。
根据本发明提供的一种头戴式主动视觉相机的通用摄像头干扰方法，所述控制所述干扰激光器向所述待干扰的摄像头的镜头发射干扰激光之前，还包括：根据所述惯性测量单元采集的所述自动云台的外部环境干扰，基于控制算法控制所述自动云台的转动，以修正装配所述干扰激光器的方向。
根据本发明提供的一种头戴式主动视觉相机的通用摄像头干扰方法，所述眼动跟踪摄像头为红外摄像头。
根据本发明提供的一种头戴式主动视觉相机的通用摄像头干扰方法，所述主动视觉相机集成有可见光和红外光的传感器。
根据本发明提供的一种头戴式主动视觉相机的通用摄像头干扰方法，所述主动视觉相机集成有全景摄像头。
根据本发明提供的一种头戴式主动视觉相机的通用摄像头干扰方法，所述根据所述用户的视线方向、所述头盔的转动方向、惯性测量单元采集所述头盔上的自动云台的当前姿态角度和所述主动视觉相机定位的待干扰的摄像头，基于控制算法控制所述自动云台的转动，包括：根据所述用户的视线方向、所述头盔的转动方向和所述主动视觉相机定位的待干扰的摄像头确定所述自动云台的目标姿态数据；通过陀螺仪采集所述自动云台的角速度数据；通过加速度计采集所述自动云台的加速度数据；对所述角速度数据和所述加速度数据进行滤波处理，得到滤波后的采集数据；根据所述滤波后的采集数据，基于姿态解算算法得到所述自动云台的当前姿态数据；根据所述当前姿态数据和所述目标姿态数据，基于PID控制算法确定控制所述自动云台转动的控制信号；根据所述控制信号，通过电机控制所述自动云台的转动；所述控制信号为：
；
其中，e(t)为当前姿态数据与目标姿态数据之差，K p 、K i 和K d 分别为比例、积分、微分系数。
本发明还提供一种头戴式主动视觉相机的通用摄像头干扰系统，包括头盔，还包括设置在所述头盔上的眼动跟踪摄像头、主动视觉相机、自动云台、惯性测量单元、干扰激光器、眼动跟踪摄像头控制模块、主动视觉相机控制模块、自动云台控制模块和干扰激光器控制模块；所述眼动跟踪摄像头控制模块用于控制所述眼动跟踪摄像头基于眼动跟踪算法确定用户的视线方向；与所述头盔的转动方向保持相对固定情况下，根据所述用户的视线方向，控制所述眼动跟踪摄像头基于所述眼动跟踪算法确定用户辅助定位的待干扰的摄像头所处的感兴趣区域；所述主动视觉相机控制模块用于根据所述感兴趣区域，控制所述头盔上的主动视觉相机基于深度学习的检测跟踪算法定位待干扰的摄像头；所述自动云台控制模块用于根据所述用户的视线方向、所述头盔的转动方向、惯性测量单元采集所述头盔上的自动云台的当前姿态数据和所述主动视觉相机定位的待干扰的摄像头，基于控制算法控制所述自动云台的转动，以修正装配在所述自动云台上的干扰激光器的方向；所述干扰激光器控制模块用于控制所述干扰激光器向所述待干扰的摄像头的镜头发射干扰激光。
本发明提供的一种头戴式主动视觉相机的通用摄像头干扰方法及系统，头盔上的眼动跟踪摄像头基于眼动跟踪算法确定用户的视线方向；与头盔的转动方向保持相对固定情况下，根据所述用户的视线方向，基于眼动跟踪算法确定用户辅助定位的待干扰的摄像头所处的感兴趣区域；主动视觉相机根据感兴趣区域，基于深度学习的检测跟踪算法定位待干扰的摄像头；并根据用户的视线方向、头盔的转动方向、惯性测量单元采集头盔上的自动云台的当前姿态数据和主动视觉相机定位的待干扰的摄像头，基于控制算法控制自动云台的转动，以修正装配在自动云台上的干扰激光器的方向；最后干扰激光器向待干扰的摄像头的镜头发射干扰激光。本发明结合眼动跟踪辅助与惯性测量单元反馈，能够快速、稳定、持续和高精度的对待干扰的摄像头进行行进间干扰。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的头戴式主动视觉相机的通用摄像头干扰方法的流程示意图；
图2是本发明提供的头戴式主动视觉相机的通用摄像头干扰方法的原理示意图；
图3是本发明提供的头戴式主动视觉相机的通用摄像头干扰方法的具体流程示意图；
图4是本发明提供的眼动跟踪摄像头的原理示意图之一；
图5是本发明提供的眼动跟踪摄像头的原理示意图之二；
图6是本发明提供的眼动跟踪摄像头的原理示意图之三；
图7是本发明提供的主动视觉相机的原理示意图；
图8是本发明提供的头戴式主动视觉相机的通用摄像头干扰系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图8描述本发明的头戴式主动视觉相机的通用摄像头干扰方法及系统。
随着科学技术的发展，摄像头的普及程度越来越高，但是摄像头的迅速普及也带来了对个人隐私和场所安全造成了严重的危害与挑战。现有技术中主要针对摄像头进行人工手动扫描干扰，但是存在漏检，反应速度慢，精度控制不高，不容易对准，扫描漏光等问题。
为了解决现有技术所存在的技术问题，本发明提供了一种头戴式主动视觉相机2的通用摄像头干扰方法和系统，采用头盔上的眼动跟踪摄像头1、主动视觉相机2、自动云台3、惯性测量单元4、和干扰激光器5，对待干扰的通用摄像头进行自动快速准确检测定位，并通过激光照射待干扰摄像头的镜头中心进行过曝干扰。
图1为本发明提供的头戴式主动视觉相机的通用摄像头干扰方法的流程示意图。
图2为本发明提供的头戴式主动视觉相机的通用摄像头干扰方法的原理示意图。
本发明提供一种头戴式主动视觉相机2的通用摄像头干扰方法，包括：
101：控制头盔上的眼动跟踪摄像头1基于眼动跟踪算法确定用户的视线方向；
102：与头盔的转动方向保持相对固定情况下，根据用户的视线方向，控制眼动跟踪摄像头1基于眼动跟踪算法确定用户辅助定位的待干扰的摄像头所处的感兴趣区域；
103：根据感兴趣区域，控制头盔上的主动视觉相机2基于深度学习的检测跟踪算法定位待干扰的摄像头；
104：根据用户的视线方向、头盔的转动方向、惯性测量单元采集头盔上的自动云台3的当前姿态数据和主动视觉相机2定位的待干扰的摄像头，基于控制算法控制自动云台3的转动，以修正装配在自动云台3上的干扰激光器5的方向；
105：控制干扰激光器5向待干扰的摄像头的镜头发射干扰激光。
具体的，用户戴上头戴式主动视觉相机2的通用摄像头干扰系统，并启动系统。通过眼动跟踪摄像头1可以实时跟踪用户的眼睛运动，从而确定用户的视线方向。并且用户通过视线移动和头盔转动对当前视野范围内是否存在对方的待干扰的摄像头做快速全景扫描，快速确定一个威胁区域所在方位，基于眼动跟踪算法可以确定用户辅助定位的待干扰的摄像头所处的感兴趣区域，例如当用户持续观察某个特定范围时，往往意味着用户对该位置感兴趣，在这个感兴趣区域内就可能存在目标摄像头。根据上一步眼动跟踪摄像头1的感兴趣区域，使用深度学习模型对此区域快速检测，可以准确地检测出前面场景中的待干扰的摄像头，并以此目标为跟踪目标。然后，结合云台上的惯性测量单元采集的当前姿态数据信号，以及主动视觉相机2定位待干扰的摄像头的检测结果，云台可以根据用户的视线方向以及头盔的转动方向，并基于控制算法可以实时控制自动云台3的转动，从而实时调整干扰激光器5的指向，确保干扰激光器5能够对待干扰的摄像头进行准确的干扰。最后，对于待干扰的摄像头的干扰，需要保证干扰效果的同时，避免对周围环境和人员造成不良影响。可以考虑使用可调节功率的激光干扰器，根据监控摄像头的距离和类型，动态调整激光功率，使干扰效果最佳，同时降低对周围环境和人员的影响。干扰激光器5实时修正照射角度，保证长时间、动态对被干扰目标摄像头进行持续干扰照射。当然根据装载的激光器的不同功率，可以对目标待干扰摄像头进行干扰或毁坏。被干扰摄像头画面出现光线光爆情况，无法正常看到画面中的人或物体经过面前。功率大可以将其感光器件烧毁，彻底破坏其监控能力。例如：头戴式主动视觉相机2的通用摄像头干扰系统能够在1-3秒内完成目标检测和干扰目标，在30米范围内，实现5分钟以上的自动、动态、持续的激光干扰。
此外，眼动跟踪摄像头1的数量可以为两个，其安装在头盔上便于追踪用户眼部动作的位置，可以为单目摄像头或2个摄像头，均为带有红外补光的红外摄像头，保证在复杂光照条件下，均能较好的获取眼动信号。主动视觉相机2采用NPU芯片，RGB-IR多光谱传感器，内置检测和控制算法，具有成本低、体积可控和隐蔽性好的优势；惯性测量单元可以为陀螺仪和加速度计传感器，将其安装在云台上，并接入微控制器，以便实时采集云台的姿态和加速度数据；云台可以选用专用二轴高精度（20米对应0.1°）云台，具有更佳的防抖效果，干扰激光器5的功率可以选用30mW，也可以选用相机集成的激光二极管，其具有重量轻、按需发射和定位准确的优势，本发明在此不作特别的限定。
当然，为了提高系统的实时性和可靠性，头戴式视觉系统可以采用先进的硬件加速技术，例如使用FPGA或ASIC芯片进行实时图像处理和深度学习模型推理。同时，可以使用多传感器融合技术，如红外、雷达等辅助传感器，提高待干扰的摄像头检测的准确性和鲁棒性。
综上，本发明提供的头戴式主动视觉相机2的通用摄像头干扰方法，使待干扰的摄像头的图像连续出现过饱和，并结合眼动跟踪辅助与惯性测量单元反馈，能够快速、稳定、持续和高精度的对待干扰的摄像头进行行进间干扰。
在上述实施例的基础上：
图3为本发明提供的头戴式主动视觉相机2的通用摄像头干扰方法的具体流程示意图。
图4为本发明提供的眼动跟踪摄像头的原理示意图之一。
图5为本发明提供的眼动跟踪摄像头的原理示意图之二。
图6为本发明提供的眼动跟踪摄像头的原理示意图之三。
作为一种优选的实施例，控制头盔上的眼动跟踪摄像头1基于眼动跟踪算法确定用户的视线方向，包括：控制眼动跟踪摄像头1实时检测用户的眼球动作；根据眼球动作，基于眼球坐标系相对摄像头坐标系的位置确定用户的视线方向。
具体的，眼动跟踪摄像头1可以检测用户的眼球动作，例如眼球的运动和眼球注视的位置，并测量每次眼球注视的时间。以主动视觉相机2为中心原点，采用多项式拟合标定法对眼球坐标系和主动视觉相机坐标系（世界坐标系）的映射关系进行标定：（x1，y1）为左眼拍摄图片瞳孔中心点画面的坐标值；（x2，y2）为右眼拍摄图片瞳孔中心点画面的坐标值；X，Y为世界坐标系画面中的坐标值。
X=a1*x1+b1*y1+c1*x1*y1+d1*x1 2+e1*y1 2+f1*(x1 2)*(y1 2)+a2*x2+b2*y2+c2*x2*y2+d2*x2 2+e2*y2 2+f2*(x2 2)*(y2 2)+k1
Y=a3*x1+b3*y1+c3*x1*y1+d3*x1 2+e3*y1 2+f3*(x1 2)*(y1 2)+a4*x2+b4*y2+c4*x2*y2+d4*x2 2+e4*y2 2+f4*(x2 2)*(y2 2)+k2
通过同时拍摄世界坐标系统和眼球摄像头下的画面，可以对3个相机间的映射关系进行标定，得到左右眼瞳孔中心的坐标（x1，y1）(x2，y2)与世界坐标画面中（X，Y）的转换系数。这样在系统运行时，可以根据眼球摄像头拍摄的画面，推导出观察的世界坐标系中的感兴趣区域的位置方向。
作为一种优选的实施例，与头盔的转动方向保持相对固定情况下，根据用户的视线方向，控制眼动跟踪摄像头1基于眼动跟踪算法确定用户辅助定位的待干扰的摄像头所处的感兴趣区域，包括：控制眼动跟踪摄像头1对用户的眼睛进行关键点检测，确定用户眨眼次数；与头盔的转动方向保持相对固定情况下，根据用户的视线方向，将用户眨眼次数达到预设次数时的区域作为用户辅助定位的待干扰的摄像头所处的感兴趣区域。
具体的，人体或头部带动头盔进行整体方向变化，朝向一个大的方向，用户快速观察当前视野中是否存在可疑区域，如果有，就凝视该方向并眨动眼睛，眼动跟踪摄像头1可以检测眨眼动作，例如，当眼动跟踪摄像头1检测到当前用户连着眨眼三次时，根据用户的视线方向，确定该区域为感兴趣区域。通过眼睛关键点检测，用于视线估计，以及眨眼确认。当然，具体的眨眼次数可以根据情况设定，甚至还可以根据每个用户的不同智能调整。还可以设置眨眼频率，将眨眼频率和眨眼动作相结合，所以深入分析眼球动作，可以知道用户的观察兴趣点。值得注意的是，由于用户有时候可能需要对当前视野范围内的所有景观做快速全景浏览，对于这种情况，眼球动作监测并不将其判定为用户在到处寻找观察兴趣点，只有那些眼球动作比较缓慢、目的性明确，并且眼球移动后保持一定时长的持续观测行为，才会被系统识别为用户辅助定位的待干扰的摄像头所处的感兴趣区域。
图7为本发明提供的主动视觉相机的原理示意图。
作为一种优选的实施例，根据感兴趣区域，控制头盔上的主动视觉相机2基于深度学习的检测跟踪算法定位待干扰的摄像头，包括：控制主动视觉相机2基于检测模型和跟踪模型自动检测跟踪感兴趣区域中的若干个枪式摄像头和/或球式摄像头；根据对若干个枪式摄像头的镜头标注位置、镜头方向和镜头关键点确定若干个枪式摄像头的监控方向，和/或，根据对若干个球式摄像头的镜头标注位置和镜头关键点确定若干个球式摄像头的监控方向；根据若干个枪式摄像头的监控方向和/或若干个球式摄像头的监控方向计算若干个枪式摄像头和/或球式摄像头观察到感兴趣区域的概率，得到若干个观察概率值；对若干个观察概率值进行排序，将排序最大的观察概率值所对应的枪式摄像头或球式摄像头作为待干扰的摄像头。
待干扰摄像头的生产厂商众多，产品外形和配件也根据不同的应用场景和功能需求，出现了颜色、外形、补光灯、固定/可旋转、不同视场角、安装位置的不同的摄像头，为了能够快速准确的在场景中检测出待干扰摄像头，且随着头戴式主动视觉相机2的通用摄像头干扰系统与摄像头相对位置的变化，需要实时检测并跟踪场景中的摄像头，为了训练通用待干扰摄像头的检测模型，采集了近150多种待干扰摄像头，2万多张图片、安装场景、姿态、光照条件下的摄像头图像。对整理的多种摄像头图片进行了标定，包括摄像头外轮廓，镜头轮廓以及镜头关键点等。将摄像头按照外形分为枪式摄像头和球式摄像头。对于枪式摄像头标注方向和镜头位置及镜头关键点，对于球式摄像头标注镜头位置及镜头关键点。
采用yolov5（You Only Look Once）网络模型进行摄像头和镜头检测训练，对感兴趣区域截取的640*640画面中的摄像头进行了快速的检测，采用Deep Sort算法对检测到的摄像头进行跟踪。针对待干扰摄像头在多种干扰因素影响下（如光照、遮挡、距离远）的问题，提出了可同时检测待干扰摄像头及定位关键点的改进型神经网络。将YOLOV5算法与改进的DS-sandglass模块结合，在关键点回归分支应用去归一化的编解码方法提高网络定位宽度，并且在损失函数引入完全交并比（Complete intersection-over-union，CIoU）和均方误差（Mean square error，MSE），使得网络整体性能提升。且准确率高、模型较小、泛化能力强，能够适用于低性能的边缘计算设备。Deep Sort是实现目标跟踪的算法，易于使用且运行速度快，在场景中出现多个摄像头后，可以采用此方法对摄像头进行跟踪（对每一个摄像头提取特征，后续帧中的摄像头会同样提取特征，与原始特征序列进行比对，按相似度大小以及画面位置相对位置，得到对应的编号）。画面移动后得到的新图像中继续保持了第一帧中摄像头的编号顺序，为后续联合激光干扰提供前后一致的索引及位置信息。通过检测和跟踪算法，可以实时计算出画面中摄像头的位置。为了更好的检测因距离过远或者光照条件差的情况，需要继续增加训练样本。
从若干个枪式摄像头和/或球式摄像头中确定待干扰的摄像头，通过对画面中若干个枪式摄像头和/或球式摄像头的姿态估计和镜头位置，判断其监控方向，进而计算威胁程度，根据排序，优先干扰威胁程度大的摄像头。首先需要利用监控画面中的摄像头外接框的位置和大小和镜头位置等信息来推断摄像头的大致位置和方向。例如，如果外接框靠近画面的左上角，则摄像头很可能位于画面的左上方，并朝向中心位置。其次，可以利用镜头的位置和方向信息来更精确地确定摄像头的姿态。一般来说，镜头的方向与摄像头的朝向是一致的。因此，可以通过计算镜头中心点与外接框中心点之间的距离和方向关系，来推断摄像头的朝向。
具体来说，以基于主动视觉相机2的通用摄像头干扰系统中主动视觉相机2的镜头作为坐标系原点，向上为z轴，向前为x轴建立世界坐标系。画面中的待干扰摄像头根据自身镜头为原点建立本地坐标系。当主动视觉相机2检测到待干扰摄像头后，通过自动云台3控制主动视觉相机2的方向，使得待干扰摄像头调整到画面中心，根据待干扰摄像头的镜头关键点确定它的本地坐标系，最终可以求出待干扰摄像头对于基于主动视觉相机2的通用摄像头干扰系统的夹角。例如如果在75度以内，都可以认为是有观察威胁的待干扰摄像头。
可以将摄像头外接框和镜头位置表示为二维坐标系中的点或向量。假设外接框中心点为P1（x1，y1），镜头中心点为P2（x2，y2），则可计算出两者的距离d=sqrt((x2-x1)^2+(y2-y1)^2)和方向差θ=atan2(y2-y1，x2-x1)。其中，sqrt表示平方根，atan2表示反正切函数，返回的角度范围为[-π，π]。根据距离和方向差，就可以推断出摄像头的姿态。例如，如果镜头位置在外接框中心点上方，且方向差与y轴负方向夹角小于90度，则可判断摄像头朝向画面下方。
计算摄像头观察到感兴趣区域的概率，需要考虑多个因素，包括摄像头的视野范围、姿态和感兴趣区域的位置和大小等。在假设待干扰摄像头的视场角为45度的情况下，可以通过以下步骤计算观察到感兴趣区域（假设为一个人）的概率：计算感兴趣区域（人）相对于摄像头的朝向和位置关系。假设感兴趣区域（人）在二维平面坐标系上的位置为P（x，y），则可以计算出感兴趣区域中心点与摄像头中心点之间的距离d'=sqrt(x^2+y^2)和方向差θ'=atan2(y，x)-θ，其中，sqrt表示平方根，atan2表示反正切函数，返回的角度范围为[-π，π]。
判断感兴趣区域是否在摄像头的视野范围内。由于假设摄像头的视场角为45度，因此摄像头的视野范围为正方形，其边长为D=2*d *tan(π/8)。如果感兴趣区域中心点与摄像头中心点之间的距离d'小于等于D/2，则认为感兴趣区域在摄像头的视野范围内。计算摄像头观察到人的概率。如果人在摄像头的视野范围内，则可以根据感兴趣区域的大小和位置关系，计算出感兴趣区域在摄像头视野范围内所占的比例p。假设感兴趣区域为矩形，其长和宽分别为L和W，则有
p=min(L，D/2-abs(d'-D/2))*min(W，D/2-abs(d'-D/2))/(L*W)
其中，min表示取最小值，abs表示绝对值。公式中的分子表示感兴趣区域在摄像头视野范围内的面积，分母表示感兴趣区域总面积。由于感兴趣区域可能超出摄像头视野范围，因此需要用min函数限制计算结果不超过1。最终根据概率大小排序，确定最先干扰的摄像头。
作为一种优选的实施例，控制干扰激光器5向待干扰的摄像头的镜头发射干扰激光之前，还包括：根据惯性测量单元采集的自动云台3的外部环境干扰，基于控制算法控制自动云台3的转动，以修正装配干扰激光器5的方向。
考虑到在实际应用中，自动云台3可能受到外部环境的干扰，例如风、振动等。惯性测量单元可以实时检测这些干扰，并将其反馈给PID控制器，从而实现对自动云台3的自适应调整，抵抗外部干扰。
作为一种优选的实施例，眼动跟踪摄像头1为红外摄像头。
为了提高眼动跟踪的精度，可以采用多摄像头或结合红外光源的方法进行跟踪，从而使眼动跟踪更加精准。
作为一种优选的实施例，主动视觉相机2集成有可见光和红外光的传感器。
具体的，主动视觉相机2作为识别及控制核心，在硬件传感器感光能力上，使用可见光和红外的模式，白天增加动态范围，夜间增强彩色，每像素4维信息，实现在白天和夜晚都能对目标摄像头进行有效的自动检测。
作为一种优选的实施例，主动视觉相机2集成有全景摄像头。
在视觉系统方面，可以考虑采用高分辨率和高帧率的摄像头，提高图像的质量和实时性。此外，可以引入全景摄像头，减小头盔转动的次数，提高检测效率。
作为一种优选的实施例，根据用户的视线方向、头盔的转动方向、惯性测量单元采集头盔上的自动云台3的当前姿态角度和主动视觉相机2定位的待干扰的摄像头，基于控制算法控制自动云台3的转动，包括：根据用户的视线方向、头盔的转动方向和主动视觉相机2定位的待干扰的摄像头确定自动云台3的目标姿态数据；通过陀螺仪采集自动云台3的角速度数据；通过加速度计采集自动云台3的加速度数据；对角速度数据和加速度数据进行滤波处理，得到滤波后的采集数据；根据滤波后的采集数据，基于姿态解算算法得到自动云台3的当前姿态数据；根据当前姿态数据和目标姿态数据，基于PID（proportion integraldifferential，积分 微分比例）控制算法确定控制自动云台3转动的控制信号；根据控制信号，通过电机控制自动云台3的转动；控制信号为：
；
其中，e(t)为当前姿态数据与目标姿态数据之差，K p 、K i 和K d 分别为比例、积分、微分系数。
为了提高云台的精度和响应速度，可以采用伺服电机驱动，并使用PID控制算法进行闭环控制。提高云台的稳定性：陀螺仪和加速度计可以实时检测云台的角速度和角位移和加速度数据，从而帮助PID控制器更准确地调整云台的运动，提高云台的稳定性和系统的响应速度。
具体实现步骤如下：
安装陀螺仪和加速度计传感器：将陀螺仪和加速度计传感器安装在云台上，并将其接入微控制器，以便实时采集自动云台3的姿态和加速度数据。
数据采集和滤波：通过陀螺仪和加速度计传感器采集自动云台3的姿态和加速度数据，并对采集到的数据进行滤波处理，以去除噪声和干扰。
姿态解算：根据陀螺仪采集到的角速度数据和加速度计采集到的加速度数据，通过姿态解算算法计算出自动云台3的姿态角度。
控制算法设计：根据自动云台3的姿态角度和目标角度，设计控制算法，计算出控制信号，通过控制自动云台3的电机来实现对激光发射器方向的修正。
控制信号输出：将控制信号输出到自动云台3的电机控制器中，通过电机进行控制。
控制算法可以采用PID控制算法，其中P代表比例控制项，I代表积分控制项，D代表微分控制项。控制信号可以表示为：
；
其中，e(t)为当前姿态数据与目标姿态数据之差，K p 、K i 和K d 分别为比例、积分、微分系数。
综上，通过3个摄像头建立眼睛视线与外部观测方向的相互关系。当佩戴此设备在行进间转向某一个方向时，人眼快速确定画面中是否存在需要干扰的对方摄像头，算法根据眼睛视线方向，确定了前置摄像头对应的画面区域。采用深度学习算法，主动视觉相机2在较小的范围内，进行精确定位对方摄像头的位置和姿态。云台控制算法，通过当前陀螺仪传递的姿态角以及加速度信号，实时调整照射对方摄像头的姿态（角度），保证干扰效果，实现了对通用摄像头的自动检测与跟踪，在行进间系统排除振动影响，稳定对准干扰。
图8为本发明提供的头戴式主动视觉相机的通用摄像头干扰系统的结构示意图。
本发明还提供一种头戴式主动视觉相机2的通用摄像头干扰系统，包括头盔，还包括设置在头盔上的眼动跟踪摄像头1、主动视觉相机2、自动云台3、惯性测量单元4、干扰激光器5、眼动跟踪摄像头控制模块801、主动视觉相机控制模块802、自动云台控制模块803和干扰激光器控制模块804；眼动跟踪摄像头控制模块801用于控制眼动跟踪摄像头1基于眼动跟踪算法确定用户的视线方向；与头盔的转动方向保持相对固定情况下，根据所述用户的视线方向，控制眼动跟踪摄像头1基于眼动跟踪算法确定用户辅助定位的待干扰的摄像头所处的感兴趣区域；主动视觉相机控制模块802用于根据感兴趣区域，控制头盔上的主动视觉相机2基于深度学习的检测跟踪算法定位待干扰的摄像头；自动云台控制模块803用于根据用户的视线方向、头盔的转动方向、惯性测量单元4采集头盔上的自动云台3的当前姿态数据和主动视觉相机2定位的待干扰的摄像头，基于控制算法控制自动云台3的转动，以修正装配在自动云台3上的干扰激光器5的方向；干扰激光器控制模块804用于控制干扰激光器5向待干扰的摄像头的镜头发射干扰激光。
对于本发明提供的一种头戴式主动视觉相机2的通用摄像头干扰系统的介绍请参照上述方法实施例，本发明在此不再赘述。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种头戴式主动视觉相机的通用摄像头干扰方法，其特征在于，包括：
控制头盔上的眼动跟踪摄像头基于眼动跟踪算法确定用户的视线方向；
与所述头盔的转动方向保持相对固定情况下，根据所述用户的视线方向，控制所述眼动跟踪摄像头基于所述眼动跟踪算法确定用户辅助定位的待干扰的摄像头所处的感兴趣区域；
根据所述感兴趣区域，控制所述头盔上的主动视觉相机基于深度学习的检测跟踪算法定位待干扰的摄像头；
根据所述用户的视线方向、所述头盔的转动方向、惯性测量单元采集所述头盔上的自动云台的当前姿态数据和所述主动视觉相机定位的待干扰的摄像头，基于控制算法控制所述自动云台的转动，以修正装配在所述自动云台上的干扰激光器的方向；
控制所述干扰激光器向所述待干扰的摄像头的镜头发射干扰激光。
2.根据权利要求1所述的头戴式主动视觉相机的通用摄像头干扰方法，其特征在于，所述控制头盔上的眼动跟踪摄像头基于眼动跟踪算法确定用户的视线方向，包括：
控制所述眼动跟踪摄像头实时检测用户的眼球动作；
根据所述眼球动作，基于眼球坐标系相对摄像头坐标系的位置确定所述用户的视线方向。
3.根据权利要求1所述的头戴式主动视觉相机的通用摄像头干扰方法，其特征在于，所述与所述头盔的转动方向保持相对固定情况下，根据所述用户的视线方向，控制所述眼动跟踪摄像头基于所述眼动跟踪算法确定用户辅助定位的待干扰的摄像头所处的感兴趣区域，包括：
控制所述眼动跟踪摄像头对用户的眼睛进行关键点检测，确定用户眨眼次数；
与所述头盔的转动方向保持相对固定情况下，根据所述用户的视线方向，将所述用户眨眼次数达到预设次数时的区域作为用户辅助定位的待干扰的摄像头所处的感兴趣区域。
4.根据权利要求1所述的头戴式主动视觉相机的通用摄像头干扰方法，其特征在于，所述根据所述感兴趣区域，控制所述头盔上的主动视觉相机基于深度学习的检测跟踪算法定位待干扰的摄像头，包括：
控制所述主动视觉相机基于检测模型和跟踪模型自动检测跟踪所述感兴趣区域中的若干个枪式摄像头和/或球式摄像头；
根据对若干个枪式摄像头的镜头标注位置、镜头方向和镜头关键点确定若干个所述枪式摄像头的监控方向，和/或，根据对若干个球式摄像头的镜头标注位置和镜头关键点确定若干个所述球式摄像头的监控方向；
根据若干个所述枪式摄像头的监控方向和/或若干个所述球式摄像头的监控方向计算若干个所述枪式摄像头和/或球式摄像头观察到所述感兴趣区域的概率，得到若干个观察概率值；
对若干个所述观察概率值进行排序，将排序最大的观察概率值所对应的枪式摄像头或球式摄像头作为待干扰的摄像头。
5.根据权利要求1所述的头戴式主动视觉相机的通用摄像头干扰方法，其特征在于，所述控制所述干扰激光器向所述待干扰的摄像头的镜头发射干扰激光之前，还包括：
根据所述惯性测量单元采集的所述自动云台的外部环境干扰，基于控制算法控制所述自动云台的转动，以修正装配所述干扰激光器的方向。
6.根据权利要求1所述的头戴式主动视觉相机的通用摄像头干扰方法，其特征在于，所述眼动跟踪摄像头为红外摄像头。
7.根据权利要求1所述的头戴式主动视觉相机的通用摄像头干扰方法，其特征在于，所述主动视觉相机集成有可见光和红外光的传感器。
8.根据权利要求1所述的头戴式主动视觉相机的通用摄像头干扰方法，其特征在于，所述主动视觉相机集成有全景摄像头。
9.根据权利要求1至8任一项所述的头戴式主动视觉相机的通用摄像头干扰方法，其特征在于，所述根据所述用户的视线方向、所述头盔的转动方向、惯性测量单元采集所述头盔上的自动云台的当前姿态角度和所述主动视觉相机定位的待干扰的摄像头，基于控制算法控制所述自动云台的转动，包括：
根据所述用户的视线方向、所述头盔的转动方向和所述主动视觉相机定位的待干扰的摄像头确定所述自动云台的目标姿态数据；
通过陀螺仪采集所述自动云台的角速度数据；
通过加速度计采集所述自动云台的加速度数据；
对所述角速度数据和所述加速度数据进行滤波处理，得到滤波后的采集数据；
根据所述滤波后的采集数据，基于姿态解算算法得到所述自动云台的当前姿态数据；
根据所述当前姿态数据和所述目标姿态数据，基于PID控制算法确定控制所述自动云台转动的控制信号；
根据所述控制信号，通过电机控制所述自动云台的转动；
所述控制信号为：
；
其中，e(t)为当前姿态数据与目标姿态数据之差，K p 、K i 和K d 分别为比例、积分、微分系数。
10.一种头戴式主动视觉相机的通用摄像头干扰系统，其特征在于，包括头盔，还包括设置在所述头盔上的眼动跟踪摄像头、主动视觉相机、自动云台、惯性测量单元、干扰激光器、眼动跟踪摄像头控制模块、主动视觉相机控制模块、自动云台控制模块和干扰激光器控制模块；
所述眼动跟踪摄像头控制模块用于控制所述眼动跟踪摄像头基于眼动跟踪算法确定用户的视线方向；与所述头盔的转动方向保持相对固定情况下，根据所述用户的视线方向，控制所述眼动跟踪摄像头基于所述眼动跟踪算法确定用户辅助定位的待干扰的摄像头所处的感兴趣区域；
所述主动视觉相机控制模块用于根据所述感兴趣区域，控制所述头盔上的主动视觉相机基于深度学习的检测跟踪算法定位待干扰的摄像头；
所述自动云台控制模块用于根据所述用户的视线方向、所述头盔的转动方向、惯性测量单元采集所述头盔上的自动云台的当前姿态数据和所述主动视觉相机定位的待干扰的摄像头，基于控制算法控制所述自动云台的转动，以修正装配在所述自动云台上的干扰激光器的方向；
所述干扰激光器控制模块用于控制所述干扰激光器向所述待干扰的摄像头的镜头发射干扰激光。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310957749.4A CN116708974B (zh) | 2023-08-01 | 2023-08-01 | 一种头戴式主动视觉相机的通用摄像头干扰方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310957749.4A CN116708974B (zh) | 2023-08-01 | 2023-08-01 | 一种头戴式主动视觉相机的通用摄像头干扰方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116708974A CN116708974A (zh) | 2023-09-05 |
| CN116708974B true CN116708974B (zh) | 2023-10-17 |
Family
ID=87824265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310957749.4A Active CN116708974B (zh) | 2023-08-01 | 2023-08-01 | 一种头戴式主动视觉相机的通用摄像头干扰方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116708974B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108960937A (zh) * | 2018-08-10 | 2018-12-07 | 陈涛 | Ar智能眼镜的应用基于眼动追踪技术的广告推送方法 |
| CN111202663A (zh) * | 2019-12-31 | 2020-05-29 | 浙江工业大学 | 一种基于vr技术的视觉训练学习系统 |
| CN112507799A (zh) * | 2020-11-13 | 2021-03-16 | 幻蝎科技(武汉)有限公司 | 基于眼动注视点引导的图像识别方法、mr眼镜及介质 |
| CN113709411A (zh) * | 2020-05-21 | 2021-11-26 | 陈涛 | 一种mr智能眼镜基于眼动追踪技术的体育辅助训练系统 |
| CN114371779A (zh) * | 2021-12-31 | 2022-04-19 | 北京航空航天大学 | 一种视线深度引导的视觉增强方法 |
| CN114415832A (zh) * | 2022-01-07 | 2022-04-29 | 中山大学 | 一种战斗机头盔显示瞄准系统、方法、设备及终端 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3268847A4 (en) * | 2015-03-10 | 2018-10-24 | Eyefree Assisting Communication Ltd. | System and method for enabling communication through eye feedback |
-
2023
- 2023-08-01 CN CN202310957749.4A patent/CN116708974B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108960937A (zh) * | 2018-08-10 | 2018-12-07 | 陈涛 | Ar智能眼镜的应用基于眼动追踪技术的广告推送方法 |
| CN111202663A (zh) * | 2019-12-31 | 2020-05-29 | 浙江工业大学 | 一种基于vr技术的视觉训练学习系统 |
| CN113709411A (zh) * | 2020-05-21 | 2021-11-26 | 陈涛 | 一种mr智能眼镜基于眼动追踪技术的体育辅助训练系统 |
| CN112507799A (zh) * | 2020-11-13 | 2021-03-16 | 幻蝎科技(武汉)有限公司 | 基于眼动注视点引导的图像识别方法、mr眼镜及介质 |
| CN114371779A (zh) * | 2021-12-31 | 2022-04-19 | 北京航空航天大学 | 一种视线深度引导的视觉增强方法 |
| CN114415832A (zh) * | 2022-01-07 | 2022-04-29 | 中山大学 | 一种战斗机头盔显示瞄准系统、方法、设备及终端 |
Non-Patent Citations (1)
| Title |
|---|
| 头戴式眼动跟踪系统设计与实现;宫德麟;施家栋;张广月;王建中;;科技创新与应用(31);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116708974A (zh) | 2023-09-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6902075B2 (ja) | 構造化光を用いた視線追跡 | |
| US10165176B2 (en) | Methods, systems, and computer readable media for leveraging user gaze in user monitoring subregion selection systems | |
| US9373023B2 (en) | Method and apparatus for robustly collecting facial, ocular, and iris images using a single sensor | |
| US10373334B2 (en) | Computer program, object tracking method, and object tracking device | |
| JP4865517B2 (ja) | 頭部の位置・姿勢検出装置 | |
| US20160084949A1 (en) | Locating method and locating system | |
| US10360450B2 (en) | Image capturing and positioning method, image capturing and positioning device | |
| EP3631600B1 (en) | Dynamic control of performance parameters in a six degrees-of-freedom sensor calibration subsystem | |
| JP2006502675A (ja) | 生物の眼球運動神経システムに基づいたバイオ型自動視覚と視線制御システム | |
| JP7030317B2 (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
| JP2016173313A (ja) | 視線方向推定システム、視線方向推定方法及び視線方向推定プログラム | |
| US20180144500A1 (en) | Computer program, pose derivation method, and pose derivation device | |
| US10248191B2 (en) | Virtual rigid framework for sensor subsystem | |
| US20190266743A1 (en) | Occupant monitoring apparatus | |
| US11294179B2 (en) | Coordinating an eye-mounted imager with an external camera | |
| JP2016099759A (ja) | 顔検出方法、顔検出装置、及び顔検出プログラム | |
| CN116708974B (zh) | 一种头戴式主动视觉相机的通用摄像头干扰方法及系统 | |
| US20220350167A1 (en) | Two-Eye Tracking Based on Measurements from a Pair of Electronic Contact Lenses | |
| CN112689084B (zh) | 一种机载光电侦察成像系统及电子稳像方法 | |
| CN116506735B (zh) | 一种基于主动视觉相机的通用摄像头干扰方法及系统 | |
| CN113110562A (zh) | 一种基于多个广角摄像头的无人机避障装置及其避障方法 | |
| WO2017167033A1 (zh) | 一种视觉系统的图像处理方法及系统 | |
| US20230335024A1 (en) | Position information acquisition device, head-mounted display, and position information acquisition method | |
| US20230358892A1 (en) | Position information acquisition system, position information acquisition method, and position information acquisition device | |
| CN114902131A (zh) | 摄像设备及其控制方法、程序和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |