CN113963416A - 一种基于激光视觉反馈的眼动交互方法及系统 - Google Patents
一种基于激光视觉反馈的眼动交互方法及系统 Download PDFInfo
- Publication number
- CN113963416A CN113963416A CN202111305832.0A CN202111305832A CN113963416A CN 113963416 A CN113963416 A CN 113963416A CN 202111305832 A CN202111305832 A CN 202111305832A CN 113963416 A CN113963416 A CN 113963416A
- Authority
- CN
- China
- Prior art keywords
- laser
- image
- steering engine
- eye
- human eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004424 eye movement Effects 0.000 title claims abstract description 50
- 230000003993 interaction Effects 0.000 title claims abstract description 46
- 230000000007 visual effect Effects 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013507 mapping Methods 0.000 claims abstract description 54
- 210000001508 eye Anatomy 0.000 claims description 205
- 210000001747 pupil Anatomy 0.000 claims description 75
- 238000004422 calculation algorithm Methods 0.000 claims description 44
- 238000001514 detection method Methods 0.000 claims description 33
- 239000013598 vector Substances 0.000 claims description 32
- 230000004397 blinking Effects 0.000 claims description 17
- 238000012937 correction Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 210000004087 cornea Anatomy 0.000 claims description 10
- 239000011521 glass Substances 0.000 claims description 9
- 230000003068 static effect Effects 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000010845 search algorithm Methods 0.000 claims description 4
- 230000010339 dilation Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 208000003443 Unconsciousness Diseases 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000008713 feedback mechanism Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000010146 3D printing Methods 0.000 description 1
- 206010061818 Disease progression Diseases 0.000 description 1
- 241000287181 Sturnus vulgaris Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 230000008846 dynamic interplay Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于激光视觉反馈的眼动交互方法及系统，包括：眼动追踪系统、视觉反馈系统以及舵机云台控制系统，其中，眼动追踪系统包括：眼镜框架、人眼摄像头、红外灯、场景摄像头、防滑橡胶套、支架、第一USB线以及第二USB线，视觉反馈系统包括：激光器、水平舵机、垂直舵机，水平舵机设置在垂直舵机上，用于向目标物体发射激光的激光器设置在水平舵机上，舵机云台控制系统，用于依据人眼图像中的注视点映射到激光光斑图像所在坐标系的人眼映射注视点的位置，以及，激光光斑图像中的激光光斑的位置，输出控制信号以对水平舵机以及垂直舵机的方位进行调整。可以提高跟踪精度。
Description
技术领域
本发明涉及信息交互技术领域，具体而言，涉及一种基于激光视觉反馈的眼动交互方法及系统。
背景技术
肌萎缩侧索硬化症(ALS，Amyotrophic Lateral Sclerosis)由于其独特而可怕的病症，导致患者不可逆转地失去控制肌肉的能力。在疾病发展过程中，患者意识完全清醒，但无法像正常人一样与周围环境互动，其中，眼动是ALS患者最后失去的肌肉控制功能之一。因而，可以利用基于计算机辅助交互(CAI，Computer Aided Instruction)的眼动追踪技术，获取ALS患者的眼动意图，依据眼动意图执行相应的操作，从而实现与患者更长时间的交互，方便ALS患者的生活，同时也缓解ALS患者的精神痛苦。
目前，常用的眼动追踪一般采用头戴式眼动追踪设备，头戴式眼动追踪设备允许用户自由移动头部，而轻微的肌肉运动不仅可以减缓疾病进展，也能使患者的视线区域范围脱离界面束缚，可以探索更广阔的空间，因此更适合ALS患者。但目前的头戴式眼动追踪，在头戴式眼动追踪设备获取ALS患者的凝视点对应的注视点后，还无法向患者提供视觉反馈来指示获取的注视点，因而，ALS患者无法确定头戴式眼动追踪设备是否准确追踪了凝视点，追踪精度较低，进而，使得基于注视点进行操作的操作精度较低；进一步地，缺乏实时反馈机制，还会使ALS患者在交互期间感到疲劳。
发明内容
有鉴于此，本发明的目的在于提供基于激光视觉反馈的眼动交互方法及系统，以提高跟踪精度。
第一方面，本发明实施例提供了基于激光视觉反馈的眼动交互系统，包括：眼动追踪系统、视觉反馈系统以及舵机云台控制系统，其中，
眼动追踪系统包括：眼镜框架、人眼摄像头、红外灯、场景摄像头、防滑橡胶套、支架、第一USB线以及第二USB线，其中，
人眼摄像头固定在支架上，红外灯设置在人眼摄像头周围，红外灯向人眼发射红外光，人眼摄像头对人眼的注视点进行摄像，得到人眼图像；
防滑橡胶套包裹眼镜框架；
支架连接到眼镜框架的右腿框架，位于右眼前方预定距离；
场景摄影头通过扎带固定在眼镜框架的左腿框架上，对目标物体上形成的激光光斑进行摄像，得到激光光斑图像；
第一USB线连接到人眼摄像头以及舵机云台控制系统，内置在右腿框架内，第二USB线连接到场景摄像头以及舵机云台控制系统，内置在左腿框架内；
视觉反馈系统包括：激光器、水平舵机、垂直舵机，其中，
水平舵机设置在垂直舵机上，用于向目标物体发射激光的激光器设置在水平舵机上，水平舵机和垂直舵机接收舵机云台控制系统输出的控制信号，依据控制信号分别调整水平舵机以及垂直舵机的方位，以调整激光器发射的激光在目标物体的位置；
舵机云台控制系统，用于依据人眼图像中的注视点映射到激光光斑图像所在坐标系的人眼映射注视点的位置，以及，激光光斑图像中的激光光斑的位置，输出控制信号以对水平舵机以及垂直舵机的方位进行调整。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述舵机云台控制系统包括：瞳孔角膜反射向量获取单元、映射单元、激光光斑位置获取单元以及定位校正单元，其中，
瞳孔角膜反射向量获取单元，用于对获取的人眼图像进行高斯滤波和灰度处理，得到人脸灰度图像；从人脸灰度图像中提取包含瞳孔的感兴趣区域；采用基于邻域平均的自适应阈值算法，对感兴趣区进行分割，通过Canny边缘检测算法，提取分割的感兴趣区的人眼轮廓；通过Hough圆变换算法，从提取的人眼轮廓中确定瞳孔区域；通过最小二乘椭圆拟合算法，拟合瞳孔区域中包含的瞳孔轮廓，得到瞳孔中心坐标；针对分割的感兴趣区，通过调整二值化灰度阈值，定位普尔钦斑，依据瞳孔中心坐标以及普尔钦斑，得到瞳孔角膜反射向量；
映射单元，用于基于瞳孔角膜反射向量，利用预先标定的二阶多项式回归算法，该二阶多项式回归算法用于标定人眼图像中的注视点与激光光斑图像所在坐标系的人眼映射注视点的位置，获取瞳孔角膜反射向量映射的人眼映射注视点的位置；
激光光斑位置获取单元，用于基于场景摄像头获取的激光光斑图像，获取激光光斑图像中的激光光斑的位置；
定位校正单元，用于依据激光光斑的位置与人眼映射注视点的位置的差异，输出控制信号调整激光器的方位，以使激光器发射的激光在目标物体上形成的激光光斑与人眼映射注视点相匹配。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述激光光斑位置获取单元包括：
静态检测单元，用于基于预设的连续步进阈值，对场景图像执行二值化操作，得到二值化图像；基于轮廓搜索算法，提取每个步进阈值下二值化图像形成的连通区域，得到候选连通区域；依据预先设置的连通区域参数选择策略，从候选连通区域中，选取参数符合连通区域参数选择策略的候选连通区域，得到光斑区域，计算光斑区域的中心像素坐标作为激光光斑的位置。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述激光光斑位置获取单元包括：
动态检测单元，用于获取连续帧的激光光斑图像的灰度值，针对每一激光光斑图像的每一像素点，若该像素点的灰度值与前一激光光斑图像对应的像素点的灰度值大于预先设置的二值化阈值，将该像素点作为动态激光光斑的像素点；基于获取的动态激光光斑的像素点，定位激光光斑的位置。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述舵机云台控制系统还包括：
眼态识别单元，用于对获取的人眼图像进行眼态识别，将识别的眼态信息输出至定位校正单元，以使定位校正单元依据激光光斑的位置、人眼映射注视点的位置以及眼态信息输出控制信号。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述舵机云台控制系统还包括：
眨眼检测单元，用于对获取的人眼图像进行眨眼检测，获取检测的眨眼映射的工作模式，并进入该工作模式。
结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述眨眼检测单元，具体用于：
对人眼图像进行灰度化和模糊处理，使用基于邻域平均的自适应阈值算法，对处理的图像进行图像对比度增强，得到增强图像；使用Canny算子，提取增强图像中的瞳孔边缘；对增强图像进行形态学膨胀，并使用3×3矩阵连接未闭合瞳孔的边缘；依据瞳孔边缘以及连接的未闭合瞳孔的边缘，找到最大闭环轮廓，获取最大闭环轮廓内的像素点数，得到瞳孔面积，依据预设的瞳孔面积与眨眼的对应关系，确定眨眼状态。
第二方面，本发明实施例还提供了一种基于激光视觉反馈的眼动交互方法，包括：
获取人眼摄像头对人眼的注视点进行摄像得到的人眼图像；
获取场景摄影头对目标物体上形成的激光光斑进行摄像得到的激光光斑图像；
依据人眼图像中的注视点映射到激光光斑图像所在坐标系的人眼映射注视点的位置，以及，激光光斑图像中的激光光斑的位置，输出控制信号以对所述激光光斑的方位进行调整。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。
本发明实施例提供的基于激光视觉反馈的眼动交互方法及系统，系统包括：眼动追踪系统、视觉反馈系统以及舵机云台控制系统，其中，眼动追踪系统包括：眼镜框架、人眼摄像头、红外灯、场景摄像头、防滑橡胶套、支架、第一USB线以及第二USB线，其中，人眼摄像头固定在支架上，红外灯设置在人眼摄像头周围，红外灯向人眼发射红外光，人眼摄像头对人眼的注视点进行摄像，得到人眼图像；防滑橡胶套包裹眼镜框架；支架连接到眼镜框架的右腿框架，位于右眼前方预定距离；场景摄影头通过扎带固定在眼镜框架的左腿框架上，对目标物体上形成的激光光斑进行摄像，得到激光光斑图像；第一USB线连接到人眼摄像头以及舵机云台控制系统，内置在右腿框架内，第二USB线连接到场景摄像头以及舵机云台控制系统，内置在左腿框架内；视觉反馈系统包括：激光器、水平舵机、垂直舵机，其中，水平舵机设置在垂直舵机上，用于向目标物体发射激光的激光器设置在水平舵机上，水平舵机和垂直舵机接收舵机云台控制系统输出的控制信号，依据控制信号分别调整水平舵机以及垂直舵机的方位，以调整激光器发射的激光在目标物体的位置；舵机云台控制系统，用于依据人眼图像中的注视点映射到激光光斑图像所在坐标系的人眼映射注视点的位置，以及，激光光斑图像中的激光光斑的位置，输出控制信号以对水平舵机以及垂直舵机的方位进行调整。这样，通过将激光器集成到舵机，从而实现视觉反馈功能，眼动仪接收到眼球注视信息后，控制舵机微调激光光斑位置，提升对目标物体的跟踪精度。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的基于激光视觉反馈的眼动交互系统结构示意图；
图2示出了本发明实施例所提供的眼动追踪系统结构示意图；
图3示出了本发明实施例所提供的基于激光视觉反馈的眼动交互系统应用场景示意图；
图4示出了本发明实施例所提供的基于激光视觉反馈的眼动交互方法流程示意图；
图5为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种基于激光视觉反馈的眼动交互方法及系统，下面通过实施例进行描述。
图1示出了本发明实施例所提供的基于激光视觉反馈的眼动交互系统结构示意图。如图1所示，该眼动交互系统包括：眼动追踪系统101、视觉反馈系统102以及舵机云台控制系统103，其中，
图2示出了本发明实施例所提供的眼动追踪系统结构示意图。如图2所示，眼动追踪系统101包括：眼镜框架、人眼摄像头、红外灯、场景摄像头、防滑橡胶套(未示出)、支架(未示出)、第一USB线以及第二USB线(统称USB线)，其中，
人眼摄像头固定在支架上，红外灯设置在人眼摄像头周围，红外灯向人眼发射红外光，人眼摄像头对人眼的注视点进行摄像，得到人眼图像；
防滑橡胶套包裹眼镜框架；
支架连接到眼镜框架的右腿框架，位于右眼前方预定距离；
场景摄影头通过扎带固定在眼镜框架的左腿框架上，对目标物体上形成的激光光斑进行摄像，得到激光光斑图像；
第一USB线连接到人眼摄像头以及舵机云台控制系统，内置在右腿框架内，第二USB线连接到场景摄像头以及舵机云台控制系统，内置在左腿框架内；
视觉反馈系统102包括：激光器、水平舵机、垂直舵机，其中，
水平舵机设置在垂直舵机上，用于向目标物体发射激光的激光器设置在水平舵机上，水平舵机和垂直舵机接收舵机云台控制系统输出的控制信号，依据控制信号分别调整水平舵机以及垂直舵机的方位，以调整激光器发射的激光在目标物体的位置；
舵机云台控制系统103，用于依据人眼图像中的注视点映射到激光光斑图像所在坐标系的人眼映射注视点的位置，以及，激光光斑图像中的激光光斑的位置，输出控制信号以对水平舵机以及垂直舵机的方位进行调整。
本发明实施例中，人眼摄像头和场景摄像头都用于捕获图像，将捕获的图像分别通过第一USB线以及第二USB线传输到舵机云台控制系统，其中，红外灯向人眼方向发出红外光，人眼摄像头正对人眼，用以对人眼注视目标物体的注视点进行摄像，场景摄像头正对目标物体，对激光器在目标物体上形成的激光光斑进行摄像。作为一可选实施例，支架为3D打印支架，预定距离约8cm，即人眼摄像头距离右眼8cm。
本发明实施例中，水平舵机设置在垂直舵机上，激光器设置在水平舵机上，从而使得激光器能够在水平和垂直两个方向上自由旋转。舵机云台控制系统依据人眼图像以及激光光斑图像的差异调整水平舵机以及垂直舵机的方位，从而调整激光器发射的激光，以使激光光斑定位于人眼图像中的注视点，而激光光斑能够被患者感知，从而使患者通过眼动调节，调节激光光斑与注视点相重合，从而提升了追踪精度。
本发明实施例中，作为一可选实施例，舵机云台控制系统包括：瞳孔角膜反射向量获取单元、映射单元、激光光斑位置获取单元以及定位校正单元，其中，
瞳孔角膜反射向量获取单元，用于对获取的人眼图像进行高斯滤波和灰度处理，得到人脸灰度图像；从人脸灰度图像中提取包含瞳孔的感兴趣区域(ROI，Region ofInterest)；采用基于邻域平均的自适应阈值算法，对感兴趣区进行分割，通过Canny边缘检测算法，提取分割的感兴趣区的人眼轮廓；通过Hough圆变换算法，从提取的人眼轮廓中确定瞳孔区域；通过最小二乘椭圆拟合算法，拟合瞳孔区域中包含的瞳孔轮廓，得到瞳孔中心坐标；针对分割的感兴趣区，通过调整二值化灰度阈值，定位普尔钦斑，依据瞳孔中心坐标以及普尔钦斑，得到瞳孔角膜反射向量；
本发明实施例中，采用瞳孔角膜反射法(PCCR，Pupil Centre CornealReflection)对人眼摄像头获取的人眼图像进行处理，获取瞳孔角膜反射向量。其中，PCCR是在红外光照射下，利用图像处理技术提取瞳孔中心和普尔钦斑点。其中，瞳孔角膜反射向量(P-CR向量)为从普尔钦斑点到瞳孔中心的二维偏移向量，包括：u分量以及v分量。
本发明实施例中，通过提取感兴趣区，可以减少对非感兴趣区进行处理所需的计算量。
本发明实施例中，考虑到大部分瞳孔都是椭圆形，因而，通过Hough圆变换算法，确定人眼轮廓中的瞳孔区域，瞳孔区域包括瞳孔中心点和瞳孔半径；再通过最小二乘椭圆拟合算法，拟合以瞳孔中心点以及瞳孔半径形成的瞳孔区域中包含的瞳孔轮廓，基于拟合的瞳孔轮廓，获取精确的瞳孔中心坐标。
本发明实施例中，普尔钦斑位于瞳孔区域周围，灰度值最高，因此，可以在对感兴趣区进行分割后，调整二值化灰度阈值，可以有效地定位普尔钦斑。
映射单元，用于基于瞳孔角膜反射向量，利用预先标定的二阶多项式回归算法，该二阶多项式回归算法用于标定人眼图像中的注视点与激光光斑图像所在坐标系的人眼映射注视点的位置，获取瞳孔角膜反射向量映射的人眼映射注视点的位置；
本发明实施例中，作为一可选实施例，通过人眼摄像头坐标系中的P-CR向量(u,v)与场景摄像头的视场坐标系(激光光斑图像所在坐标系)中的人眼映射注视点(x,y)之间存在的映射关系来估计注视方向，该映射关系为二阶多项式回归算法，二阶多项式回归算法的公式如下：
x＝a0+a1u+a2v+a3uv+a4u2+a5v2
y＝b0+b1u+b2v+b3uv+b4u2+b5v2
式中，
(x,y)为人眼映射注视点的坐标；
(u,v)为瞳孔角膜反射向量的u分量以及v分量；
a0、a1、a2、a3、a4、a5、b0、b1、b2、b3、b4、b5为二阶多项式回归常数。
本发明实施例中，可以利用标定点获取二阶多项式回归常数。其中，标定点的数量至少为6个，作为一可选实施例，使用9个标定点以获得更高的二阶多项式回归常数精度。标定方法如下：
受试者的头部静止，凝视墙壁上的九个固定点，固定点距离受试者3m，按顺序记录P-CR向量，将顺序记录的P-CR向量输入映射关系，固定点的位置为人眼映射注视点的位置(坐标)，通过最小二乘拟合方法，计算二阶多项式回归常数。这样，通过获得人眼摄像头拍摄的人眼图像中的P-CR向量，可以基于映射关系，能够获取在场景图像中的人眼映射注视点，从而与场景摄像头拍摄的激光光斑图像中获取的场景注视点(激光光斑)进行比较，以对激光光斑进行调节，使之与注视点相重合。
激光光斑位置获取单元，用于基于场景摄像头获取的激光光斑图像，获取激光光斑图像中的激光光斑的位置；
定位校正单元，用于依据激光光斑的位置与人眼映射注视点的位置的差异，输出控制信号调整激光器的方位，以使激光器发射的激光在目标物体上形成的激光光斑与人眼映射注视点相匹配。
本发明实施例中，舵机云台控制系统根据人眼摄像头和场景摄像头的坐标系，为水平舵机和垂直舵机提供方位调节信息，以将激光器发射的激光在目标物体上形成的激光光斑，调整到与人眼映射注视点重合。
本发明实施例中，激光光斑位置获取单元通过激光光斑检测获取激光光斑的当前位置，其中，激光光斑检测包括：动态激光光斑检测和静态激光光斑检测。作为一可选实施例，激光光斑位置获取单元包括：静态检测单元、和/或，动态检测单元，其中，
对于静态激光光斑检测，当激光光斑静止时，具有以下特征：亮度从中心到边缘降低(通常遵循高斯曲线)。因而，作为一可选实施例，使用分水岭算法(WST，Water ShedTransform)从场景摄像头拍摄的激光光斑图像中获取激光光斑的位置。
静态检测单元，用于基于预设的连续步进阈值，对场景图像执行二值化操作，得到二值化图像；基于轮廓搜索算法，提取每个步进阈值下二值化图像形成的连通区域，得到候选连通区域；依据预先设置的连通区域参数选择策略，从候选连通区域中，选取参数符合连通区域参数选择策略的候选连通区域，得到光斑区域，计算光斑区域的中心像素坐标作为激光光斑的位置。
本发明实施例中，作为一可选实施例，参数包括：面积、圆度和惯性比。
本发明实施例中，对于动态激光光斑，由于激光光斑的圆度、惯性比等参数发生较大变化，使得通过静态光斑检测算法无法捕捉光斑。因而，作为一可选实施例，利用基于帧间差分的算法实现动态激光光斑检测，具体地，通过比较连续帧图像之间的像素变化，依据像素变化的灰度值对场景图像执行二值化操作，从而提取高速移动的激光光斑。
动态检测单元，用于获取连续帧的激光光斑图像的灰度值，针对每一激光光斑图像的每一像素点，若该像素点的灰度值与前一激光光斑图像对应的像素点的灰度值大于预先设置的二值化阈值，将该像素点作为动态激光光斑的像素点；基于获取的动态激光光斑的像素点，定位激光光斑的位置。
本发明实施例中，利用下式对场景摄像头拍摄的激光光斑图像进行二值化处理：
式中，
Dk(i,j)为第k帧场景图像中的像素点(i，j)的二值化值；
Gk+1(i,j)为第k+1帧场景图像中的像素点(i，j)的灰度值；
Gk(i,j)为第k帧场景图像中的像素点(i，j)的灰度值；
T为二值化阈值。
本发明实施例中，由于激光光斑的运动会使连续两帧图像中某些像素的灰度值发生较大的变化，因此，通过提取灰度变化较大的点，即灰度变化值超过二值化阈值的点的坐标，基于超过二值化阈值的点的坐标来确定动态激光光斑的位置。作为一可选实施例，为了抑制背景环境的噪声干扰，可通过实验确定T值。优选地，当T＝80时，动态激光光斑定位效果良好。
本发明实施例中，由于场景摄影头和舵机云台控制系统之间的空间关系是不固定的，因而，舵机云台控制系统利用基于PID的控制算法，以将激光光斑对准注视点。
本发明实施例中，舵机云台控制系统基于坐标误差调节激光的发射角度。作为一可选实施例，利用下式计算激光光斑的位置(xl，yl)和人眼映射注视点的位置(xf，yf)之间的坐标误差：
ex＝xf-xl
ey＝yf-yl
式中，
ex为激光光斑的位置和人眼映射注视点的位置在x方向上的坐标误差；ey为激光光斑的位置和人眼映射注视点的位置在y方向上的坐标误差；
(xl，yl)为激光光斑的位置；
(xf，yf)为人眼映射注视点的位置。
本发明实施例中，x、y方向上的坐标误差为PID控制的输入。其中，PID控制算法包括：比例(P)、积分(I)和微分(D)三个并行处理环节。其中，比例控制调整步长，积分影响稳态误差，微分改善系统的动态响应。
本发明实施例中，当用户凝视目标物体时，注视点仅轻微改变，因此不用使用微分环节。
本发明实施例中，舵机云台控制系统通过输出脉宽调制(PWM)信号控制激光发射的方位，其中，舵机(水平舵机以及垂直舵机)角度与占空比一一对应，因而，可以通过调整双自由度舵机(水平舵机、垂直舵机)方向实现激光光斑的对准。作为一可选实施例，PWM信号为一1×2矢量[PWMx，PWMy]信号，分别对应水平舵机以及垂直舵机，舵机每个方向的转角范围为0～180°，并划分为200份，这样，转角分辨率为0.9°。
本发明实施例中，由于眼动仪和舵机云台之间的距离是动态变化的，输出的PWM信号随着坐标误差进行动态变化。作为一可选实施例，利用如下自适应跟踪算法调节输出的PWM信号：
PWMi-new＝PWMi-pre+ui(i＝x,y)
其中，
PWMi-new为输出的当前PWM信号；
PWMi-pre为输出的上一PWM信号；
ui为PWM矢量变化值。
本发明实施例中，作为一可选实施例，利用下式计算PWM矢量变化值：
其中，
kp1、kp2为预设的比例系数；
ki为积分系数；
ei为坐标误差，i＝x,y；
eM为预设的PWM矢量变化最大阈值，em为预设的PWM矢量变化最小阈值。
本发明实施例中，当
时，采用系数较大的比例控制，可以使得激光光斑快速逼近注视点；
当em≤|ei|≤eM时，采用小比例控制和积分控制以精确逼近注视点；
当
时，控制停止。
本发明实施例中，通过激光光斑的视觉反馈，可以使用户获取当前注视点映射的映射注视点位置，从而使得用户感知系统是否准确追踪了用户的眼动，进而可以通过眼动控制发出相应操作指令。
本发明实施例中，在确定出当前PWM信号后，还需要确定输出的当前PWM信号的方向，以指示舵机的运动方向，因而，作为另一可选实施例，舵机云台控制系统还包括：
眼态识别单元，用于对获取的人眼图像进行眼态识别，将识别的眼态信息输出至定位校正单元，以使定位校正单元依据激光光斑的位置、人眼映射注视点的位置以及眼态信息输出控制信号。
本发明实施例中，作为一可选实施例，眼态包括：向上看、向下看、向左看、向右看、正常和闭眼。但由于不同的人具有不同的眼态特征，例如，一些患者患有异位症，因而，眼态检测还需要针对该特定用户进行定制。作为一可选实施例，利用基于卷积神经网络(CNN，Convolutional Neural Network)的深度学习方法进行训练，得到眼态识别模型，从而利用眼态识别模型进行眼态识别。具体包括：
在室内环境中拍摄2100张同一测试者的人眼图像，分辨率为640×480，包括六种眼睛状态，每种眼睛状态350张。
对采集到的图像进行预处理以减小计算量。
将预处理的图像转化为灰度图像，并归一化为固定分辨率64×64。
对灰度图像进行旋转、平移，以对灰度图像进行扩展。
将经过扩展得到的灰度图像(8400张图像)分为训练组和测试组，比例为7:3。
将训练组的图像输入CNN网络进行训练，得到眼态识别模型。
本发明实施例中，CNN网络包括八层，具体为一个输入层、三个卷积层、两个池层、一个全连接层和一个输出层，输入层为64x64x1，卷积层均为64x64x32、64x64x32、64x64x32，池层和全连接层均为64x64x64。
本发明实施例中，利用softmax分类器，通过以下公式预测人眼图像属于每个状态的概率pk(k＝1,2，…，6)：
其中，Wj为反向传播算法学习的参数。
Softmax根据交叉熵，将损失函数(L)定义为：
其中，tij为样本i属于类别j的真实概率，其中，类别为六种眼态；
yij为模型的预测概率。
本发明实施例中，训练目标是最小化交叉熵的损失值。由于损失函数是凸函数，采用动量梯度下降法进行训练优化。通过计算梯度的指数加权平均值，然后利用计算的指数加权平均值更新权重。优化完成后，CNN根据最大概率实时输出眼睛图像的状态。
本发明实施例中，为了避免“米斯达触碰”问题，通过将四种不同的眼睛状态组合映射成相应的控制命令。表1中示出了映射关系，其中，CS表示行为的初始眼睛状态，CM表示过渡眼睛状态，CE表示结束眼睛状态。当检测到某个眼睛状态组合时，会触发相应的控制命令，场景摄像机像素坐标系中的注视点会将5个像素平移到所需的方向，并伴随着激光的自动跟踪。
表1眼睛状态(眼态)转换与控制的对应关系
本发明实施例中，在有多种工作模式时，还可以通过眨眼方式对工作模式进行选择，因而，作为再一可选实施例，舵机云台控制系统还包括：
眨眼检测单元，用于对获取的人眼图像进行眨眼检测，获取检测的眨眼映射的工作模式，并进入该工作模式。
本发明实施例中，眨眼检测用于选择工作模式，眼态识别用于调整选取的工作模式下的激光光斑位置。
本发明实施例中，眨眼时，瞳孔面积的大小与眼睛的睁开程度呈正相关。因而，可以通过监控瞳孔面积S来检测眨眼，眨眼检测单元，具体用于：
对人眼图像进行灰度化和模糊处理，使用基于邻域平均的自适应阈值算法，对处理的图像进行图像对比度增强，得到增强图像；使用Canny算子，提取增强图像中的瞳孔边缘；对增强图像进行形态学膨胀，并使用3×3矩阵连接未闭合瞳孔的边缘；依据瞳孔边缘以及连接的未闭合瞳孔的边缘，找到最大闭环轮廓，获取最大闭环轮廓内的像素点数，得到瞳孔面积，依据预设的瞳孔面积与眨眼的对应关系，确定眨眼状态。
本发明实施例中，像素点数的多少可以表征瞳孔面积的大小。对于每帧人脸图像，对应有一瞳孔面积。通过获取连续帧的人眼图像，可以绘制瞳孔面积曲线，描述其随时间的变化。
本发明实施例中，针对每一瞳孔面积曲线，搜索瞳孔面积曲线范围的极小值点，并通过设置合理的闭瞳面积阈值和眨眼持续时间来消除干扰，以确定是否眨眼。本发明实施例中，考虑到瞳孔面积不会超过1000，眨眼通常持续约150到300毫秒，因而，将闭瞳面积阈值设置为1000，将眨眼持续时间设置为0.3，从而可以准确识别每次眨眼。
本发明实施例中，对于眨眼，包括有意识眨眼和无意识眨眼，人机交互过程中，需要刨除无意识眨眼以提升追踪精度，从而避免“米斯达触碰”问题。作为一可选实施例，通过相邻眨眼之间的时间间隔来识别有意识眨眼，由于无意识眨眼之间的间隔时间通常大于1s，因而，将眨眼之间的间隔时间小于1s的眨眼确定为有意识眨眼。
本发明实施例中，在通过激光光斑确定眼动跟踪准确后，作为再一可选实施例，舵机云台控制系统还用于：
在对水平舵机以及垂直舵机的方位进行调整后，与机械臂进行眼动交互，将机械臂定位于目标物体上方的预定位置，通过眨眼检测控制机械臂抓取所述目标物体。
本发明实施例中，患者使用上述的眼动追踪技术、激光反馈技术和眼动控制技术实现与机器人的交互，例如，在眼动交互系统检测到用户的注视点后，发射激光指向表征该注视点的目标位置；然后，患者可以观察眼动交互系统判断的激光光斑的位置与凝视的注视点的位置是否相同。如果不相同，通过眼态控制方式对激光光斑进行微调。最后，当激光光斑与患者凝视目标物体的注视点的位置基本重合时，通过眨眼确定微调结束，机械臂接收眨眼指令，抓取目标物体。
图3示出了本发明实施例所提供的基于激光视觉反馈的眼动交互系统应用场景示意图。如图3所示，渐冻症患者坐在轮椅上，利用眼动仪(眼动追踪系统)获取注视点，舵机云台控制系统(舵机云台)用于生成控制信号，视觉反馈系统分别布设在眼动仪以及舵机云台上，通过眼动交互，控制并实现机械臂抓取目标物体的目的。
本发明实施例中，通过在交互领域中引进视觉反馈系统，利用激光光斑作为传输注视点位置的视觉信号，使得用户随时可以知道眼动交互系统是否准确识别到其凝视的注视点的位置，引入PID算法控制视觉反馈，从而通过实时补偿场景摄像头中的激光光斑和注视点之间的像素坐标差，实现激光对人眼注视点的实时追踪，并通过眼态方式使得激光光斑与凝视的注视点的位置相重合，由于视觉反馈可以将用户注视目标物体的注视点进行映射并可视化，因而，患者可以依据可视化的注视点，在发出控制命令之前，微调激光光斑位置，提升对目标物体的控制精度，有效提升了跟踪精度，进一步地，通过实时反馈机制，实现ALS患者与目标物体的动态交互，能有效消除用户疲劳，提高操作精度。而且，对基于PCCR的人眼检测算法进行优化，在边缘提取过程中使用了自适应阈值算法，可以更好地削弱环境光的影响；基于瞳孔粗定位和精定位结合的方法，提高了定位精度，经过调试校准，达到了1°以内的眼动追踪误差，实现了低成本眼动仪的高精度定位。此外，在利用图像处理算法定位激光点的过程中，提出了一种动静结合的激光光斑检测算法，结合了基于分水岭算法的静态激光点检测和基于帧间差分法的动态激光点检测，实现了两种状态下对激光点定位的无缝衔接。
本发明实施例的基于激光视觉反馈的眼动交互系统，通过将激光器集成到舵机，从而实现视觉反馈功能。眼动仪接收到眼球注视信息(注视点)后，控制舵机将激光束旋转到所需的方向。
图4示出了本发明实施例所提供的基于激光视觉反馈的眼动交互方法流程示意图。如图4所示，包括：
步骤401，获取人眼摄像头对人眼的注视点进行摄像得到的人眼图像；
本发明实施例中，红外灯向人眼发射红外光，人眼摄像头对人眼的注视点进行摄像，得到人眼图像。
步骤402，获取场景摄影头对目标物体上形成的激光光斑进行摄像得到的激光光斑图像；
本发明实施例中，用于向目标物体发射激光的激光器设置在水平舵机上，水平舵机设置在垂直舵机上。
步骤403，依据人眼图像中的注视点映射到激光光斑图像所在坐标系的人眼映射注视点的位置，以及，激光光斑图像中的激光光斑的位置，输出控制信号以对所述激光光斑的方位进行调整。
本发明实施例中，作为一可选实施例，依据人眼图像中的注视点映射到激光光斑图像所在坐标系的人眼映射注视点的位置，以及，激光光斑图像中的激光光斑的位置，输出控制信号，包括：
对获取的人眼图像进行高斯滤波和灰度处理，得到人脸灰度图像；从人脸灰度图像中提取包含瞳孔的感兴趣区域；采用基于邻域平均的自适应阈值算法，对感兴趣区进行分割，通过Canny边缘检测算法，提取分割的感兴趣区的人眼轮廓；通过Hough圆变换算法，从提取的人眼轮廓中确定瞳孔区域；通过最小二乘椭圆拟合算法，拟合瞳孔区域中包含的瞳孔轮廓，得到瞳孔中心坐标；针对分割的感兴趣区，通过调整二值化灰度阈值，定位普尔钦斑，依据瞳孔中心坐标以及普尔钦斑，得到瞳孔角膜反射向量；
基于瞳孔角膜反射向量，利用预先标定的二阶多项式回归算法，该二阶多项式回归算法用于标定人眼图像中的注视点与激光光斑图像所在坐标系的人眼映射注视点的位置，获取瞳孔角膜反射向量映射的人眼映射注视点的位置；
基于场景摄像头获取的激光光斑图像，获取激光光斑图像中的激光光斑的位置；
依据激光光斑的位置与人眼映射注视点的位置的差异，输出控制信号调整激光器的方位，以使激光器发射的激光在目标物体上形成的激光光斑与人眼映射注视点相匹配。
本发明实施例中，作为一可选实施例，基于场景摄像头获取的激光光斑图像，获取激光光斑图像中的激光光斑的位置，包括：
基于预设的连续步进阈值，对场景图像执行二值化操作，得到二值化图像；基于轮廓搜索算法，提取每个步进阈值下二值化图像形成的连通区域，得到候选连通区域；依据预先设置的连通区域参数选择策略，从候选连通区域中，选取参数符合连通区域参数选择策略的候选连通区域，得到光斑区域，计算光斑区域的中心像素坐标作为激光光斑的位置。
本发明实施例中，作为另一可选实施例，基于场景摄像头获取的激光光斑图像，获取激光光斑图像中的激光光斑的位置，包括：
获取连续帧的激光光斑图像的灰度值，针对每一激光光斑图像的每一像素点，若该像素点的灰度值与前一激光光斑图像对应的像素点的灰度值大于预先设置的二值化阈值，将该像素点作为动态激光光斑的像素点；基于获取的动态激光光斑的像素点，定位激光光斑的位置。
本发明实施例中，作为一可选实施例，该方法还包括：
对获取的人眼图像进行眼态识别，将识别的眼态信息输出至定位校正单元，以使定位校正单元依据激光光斑的位置、人眼映射注视点的位置以及眼态信息输出控制信号。
本发明实施例中，作为另一可选实施例，该方法还包括：
对获取的人眼图像进行眨眼检测，获取检测的眨眼映射的工作模式，并进入该工作模式。
本发明实施例中，作为另一可选实施例，该方法还包括：
在对水平舵机以及垂直舵机的方位进行调整后，与机械臂进行眼动交互，将机械臂定位于目标物体上方的预定位置，通过眨眼检测控制机械臂抓取所述目标物体。
如图5所示，本申请一实施例提供了一种计算机设备，用于执行图4中的基于激光视觉反馈的眼动交互方法，该设备包括存储器501、处理器502及存储在该存储器501上并可在该处理器502上运行的计算机程序，其中，上述处理器502执行上述计算机程序时实现上述基于激光视觉反馈的眼动交互方法的步骤。
具体地，上述存储器501和处理器502能够为通用的存储器和处理器，这里不做具体限定，当处理器502运行存储器501存储的计算机程序时，能够执行上述基于激光视觉反馈的眼动交互方法。
对应于图4中的基于激光视觉反馈的眼动交互方法，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述基于激光视觉反馈的眼动交互方法的步骤。
具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述基于激光视觉反馈的眼动交互方法。
在本申请所提供的实施例中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种基于激光视觉反馈的眼动交互系统，其特征在于，包括：眼动追踪系统、视觉反馈系统以及舵机云台控制系统，其中，
眼动追踪系统包括：眼镜框架、人眼摄像头、红外灯、场景摄像头、防滑橡胶套、支架、第一USB线以及第二USB线，其中，
人眼摄像头固定在支架上，红外灯设置在人眼摄像头周围，红外灯向人眼发射红外光，人眼摄像头对人眼的注视点进行摄像，得到人眼图像；
防滑橡胶套包裹眼镜框架；
支架连接到眼镜框架的右腿框架，位于右眼前方预定距离；
场景摄影头通过扎带固定在眼镜框架的左腿框架上，对目标物体上形成的激光光斑进行摄像，得到激光光斑图像；
第一USB线连接到人眼摄像头以及舵机云台控制系统，内置在右腿框架内，第二USB线连接到场景摄像头以及舵机云台控制系统，内置在左腿框架内；
视觉反馈系统包括：激光器、水平舵机、垂直舵机，其中，
水平舵机设置在垂直舵机上，用于向目标物体发射激光的激光器设置在水平舵机上，水平舵机和垂直舵机接收舵机云台控制系统输出的控制信号，依据控制信号分别调整水平舵机以及垂直舵机的方位，以调整激光器发射的激光在目标物体的位置；
舵机云台控制系统，用于依据人眼图像中的注视点映射到激光光斑图像所在坐标系的人眼映射注视点的位置，以及，激光光斑图像中的激光光斑的位置，输出控制信号以对水平舵机以及垂直舵机的方位进行调整。
2.根据权利要求1所述的眼动交互系统，其特征在于，所述舵机云台控制系统包括：瞳孔角膜反射向量获取单元、映射单元、激光光斑位置获取单元以及定位校正单元，其中，
瞳孔角膜反射向量获取单元，用于对获取的人眼图像进行高斯滤波和灰度处理，得到人脸灰度图像；从人脸灰度图像中提取包含瞳孔的感兴趣区域；采用基于邻域平均的自适应阈值算法，对感兴趣区进行分割，通过Canny边缘检测算法，提取分割的感兴趣区的人眼轮廓；通过Hough圆变换算法，从提取的人眼轮廓中确定瞳孔区域；通过最小二乘椭圆拟合算法，拟合瞳孔区域中包含的瞳孔轮廓，得到瞳孔中心坐标；针对分割的感兴趣区，通过调整二值化灰度阈值，定位普尔钦斑，依据瞳孔中心坐标以及普尔钦斑，得到瞳孔角膜反射向量；
映射单元，用于基于瞳孔角膜反射向量，利用预先标定的二阶多项式回归算法，该二阶多项式回归算法用于标定人眼图像中的注视点与激光光斑图像所在坐标系的人眼映射注视点的位置，获取瞳孔角膜反射向量映射的人眼映射注视点的位置；
激光光斑位置获取单元，用于基于场景摄像头获取的激光光斑图像，获取激光光斑图像中的激光光斑的位置；
定位校正单元，用于依据激光光斑的位置与人眼映射注视点的位置的差异，输出控制信号调整激光器的方位，以使激光器发射的激光在目标物体上形成的激光光斑与人眼映射注视点相匹配。
3.根据权利要求2所述的眼动交互系统，其特征在于，所述激光光斑位置获取单元包括：
静态检测单元，用于基于预设的连续步进阈值，对场景图像执行二值化操作，得到二值化图像；基于轮廓搜索算法，提取每个步进阈值下二值化图像形成的连通区域，得到候选连通区域；依据预先设置的连通区域参数选择策略，从候选连通区域中，选取参数符合连通区域参数选择策略的候选连通区域，得到光斑区域，计算光斑区域的中心像素坐标作为激光光斑的位置。
4.根据权利要求2所述的眼动交互系统，其特征在于，所述激光光斑位置获取单元包括：
动态检测单元，用于获取连续帧的激光光斑图像的灰度值，针对每一激光光斑图像的每一像素点，若该像素点的灰度值与前一激光光斑图像对应的像素点的灰度值大于预先设置的二值化阈值，将该像素点作为动态激光光斑的像素点；基于获取的动态激光光斑的像素点，定位激光光斑的位置。
5.根据权利要求2所述的眼动交互系统，其特征在于，所述舵机云台控制系统还包括：
眼态识别单元，用于对获取的人眼图像进行眼态识别，将识别的眼态信息输出至定位校正单元，以使定位校正单元依据激光光斑的位置、人眼映射注视点的位置以及眼态信息输出控制信号。
6.根据权利要求2所述的眼动交互系统，其特征在于，所述舵机云台控制系统还包括：
眨眼检测单元，用于对获取的人眼图像进行眨眼检测，获取检测的眨眼映射的工作模式，并进入该工作模式。
7.根据权利要求6所述的眼动交互系统，其特征在于，所述眨眼检测单元，具体用于：
对人眼图像进行灰度化和模糊处理，使用基于邻域平均的自适应阈值算法，对处理的图像进行图像对比度增强，得到增强图像；使用Canny算子，提取增强图像中的瞳孔边缘；对增强图像进行形态学膨胀，并使用3×3矩阵连接未闭合瞳孔的边缘；依据瞳孔边缘以及连接的未闭合瞳孔的边缘，找到最大闭环轮廓，获取最大闭环轮廓内的像素点数，得到瞳孔面积，依据预设的瞳孔面积与眨眼的对应关系，确定眨眼状态。
8.一种基于激光视觉反馈的眼动交互方法，其特征在于，包括：
获取人眼摄像头对人眼的注视点进行摄像得到的人眼图像；
获取场景摄影头对目标物体上形成的激光光斑进行摄像得到的激光光斑图像；
依据人眼图像中的注视点映射到激光光斑图像所在坐标系的人眼映射注视点的位置，以及，激光光斑图像中的激光光斑的位置，输出控制信号以对所述激光光斑的方位进行调整。
9.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求8所述的基于激光视觉反馈的眼动交互方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求8所述的基于激光视觉反馈的眼动交互方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111305832.0A CN113963416B (zh) | 2021-11-05 | 一种基于激光视觉反馈的眼动交互方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111305832.0A CN113963416B (zh) | 2021-11-05 | 一种基于激光视觉反馈的眼动交互方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113963416A true CN113963416A (zh) | 2022-01-21 |
| CN113963416B CN113963416B (zh) | 2024-05-31 |
Family
ID=
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116379960A (zh) * | 2023-05-31 | 2023-07-04 | 天津宜科自动化股份有限公司 | 一种获取物体轮廓信息的数据处理系统 |
| CN116772744A (zh) * | 2023-08-24 | 2023-09-19 | 成都量芯集成科技有限公司 | 一种基于激光测距和视觉融合的3d扫描装置及其方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5481622A (en) * | 1994-03-01 | 1996-01-02 | Rensselaer Polytechnic Institute | Eye tracking apparatus and method employing grayscale threshold values |
| WO2004086952A2 (en) * | 2003-03-28 | 2004-10-14 | Digital Vision, Llc | Application of neuro-ocular wavefront data in vision correction |
| CN101460097A (zh) * | 2006-06-07 | 2009-06-17 | 国立大学法人九州工业大学 | 基于激光眼底血流测定的个人认证方法及个人认证装置 |
| CN107912061A (zh) * | 2015-03-06 | 2018-04-13 | 伊利诺斯工具制品有限公司 | 用于焊接的传感器辅助头戴式显示器 |
| CN108595008A (zh) * | 2018-04-27 | 2018-09-28 | 北京计算机技术及应用研究所 | 基于眼动控制的人机交互方法 |
| CN108646741A (zh) * | 2018-05-31 | 2018-10-12 | 哈尔滨工程大学 | 一种基于视觉反馈的无人艇目标跟踪方法 |
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5481622A (en) * | 1994-03-01 | 1996-01-02 | Rensselaer Polytechnic Institute | Eye tracking apparatus and method employing grayscale threshold values |
| WO2004086952A2 (en) * | 2003-03-28 | 2004-10-14 | Digital Vision, Llc | Application of neuro-ocular wavefront data in vision correction |
| CN101460097A (zh) * | 2006-06-07 | 2009-06-17 | 国立大学法人九州工业大学 | 基于激光眼底血流测定的个人认证方法及个人认证装置 |
| CN107912061A (zh) * | 2015-03-06 | 2018-04-13 | 伊利诺斯工具制品有限公司 | 用于焊接的传感器辅助头戴式显示器 |
| CN108595008A (zh) * | 2018-04-27 | 2018-09-28 | 北京计算机技术及应用研究所 | 基于眼动控制的人机交互方法 |
| CN108646741A (zh) * | 2018-05-31 | 2018-10-12 | 哈尔滨工程大学 | 一种基于视觉反馈的无人艇目标跟踪方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116379960A (zh) * | 2023-05-31 | 2023-07-04 | 天津宜科自动化股份有限公司 | 一种获取物体轮廓信息的数据处理系统 |
| CN116379960B (zh) * | 2023-05-31 | 2023-09-15 | 天津宜科自动化股份有限公司 | 一种获取物体轮廓信息的数据处理系统 |
| CN116772744A (zh) * | 2023-08-24 | 2023-09-19 | 成都量芯集成科技有限公司 | 一种基于激光测距和视觉融合的3d扫描装置及其方法 |
| CN116772744B (zh) * | 2023-08-24 | 2023-10-24 | 成都量芯集成科技有限公司 | 一种基于激光测距和视觉融合的3d扫描装置及其方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11699293B2 (en) | Neural network image processing apparatus | |
| KR101962302B1 (ko) | 구조화 광을 사용한 안구 추적 | |
| US10318831B2 (en) | Method and system for monitoring the status of the driver of a vehicle | |
| CA2882413C (en) | System and method for on-axis eye gaze tracking | |
| US6659611B2 (en) | System and method for eye gaze tracking using corneal image mapping | |
| JP2019519859A (ja) | 視線追跡を実行するシステム及び方法 | |
| JP5578603B2 (ja) | 視線制御装置、視線制御方法、及びそのプログラム | |
| CN112380935B (zh) | 面向自动驾驶的人机协同感知方法及系统 | |
| CN112732071B (zh) | 一种免校准眼动追踪系统及应用 | |
| JP2022538669A (ja) | 眼追跡待ち時間向上 | |
| Hennessey et al. | Fixation precision in high-speed noncontact eye-gaze tracking | |
| CN113808160A (zh) | 视线方向追踪方法和装置 | |
| CN109634431B (zh) | 无介质浮空投影视觉追踪互动系统 | |
| TW202044828A (zh) | 眼動追蹤裝置及其方法 | |
| JP2022502757A (ja) | 運転者注意状態推定 | |
| EP3757655B1 (en) | Method and system for 3d cornea position estimation | |
| CN115482574A (zh) | 基于深度学习的屏幕注视点估计方法、装置、介质及设备 | |
| CN116051631A (zh) | 光斑标注方法及系统 | |
| CN113160260B (zh) | 一种头眼双通道智能人机交互系统及运行方法 | |
| CN113963416B (zh) | 一种基于激光视觉反馈的眼动交互方法及系统 | |
| CN113963416A (zh) | 一种基于激光视觉反馈的眼动交互方法及系统 | |
| CN114967128A (zh) | 一种应用于vr眼镜的视线追踪系统及方法 | |
| CN114391129A (zh) | 凝视方向的确定 | |
| US20210350554A1 (en) | Eye-tracking system | |
| Arai | Computer input system based on gaze vector estimation with iris center detection from face images acquired with a Web camera allowing user movement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |