CN109471527B - 基于视觉跟踪技术的特殊病人信息交互系统及使用方法 - Google Patents

Abstract

本发明公开了一种基于视觉跟踪技术的特殊病人信息交互系统及使用方法，本系统中贴膜粘贴于眼镜镜片，信息指令屏位于眼镜前方，激光测距仪用于测量人眼瞳孔与信息指令屏之间的距离，摄像机采集人眼瞳孔中心位置以及在贴膜上的成像位置，智能终端存储特殊病人的需求信息指令并显示，智能终端经计算分析确定人眼在信息指令屏注视的信息指令。本方法由病人佩戴粘贴有贴膜的眼镜并注视信息指令屏的信息指令显示区域；智能终端接收激光测距仪和摄像机传输的信息数据，并经计算分析后确定人眼注视的信息指令并发送该信息指令。本系统及使用方法对人眼瞳孔进行跟踪，实现病人与外界的信息交流，实时反映病人的需求，并为医护人员及家属提供帮助。

Description

基于视觉跟踪技术的特殊病人信息交互系统及使用方法

技术领域

本发明涉及一种基于视觉跟踪技术的特殊病人信息交互系统及使用方法。

背景技术

视觉跟踪(Visual Tracking)技术是计算机视觉领域中的一个重要课题，所谓视觉跟踪就是指对图像序列中的运动目标进行检测、提取、识别和跟踪，获取运动目标的运动参数(如位置、速度、加速度等)以及运动轨迹，从而进行处理与分析，实现对运动目标的行为理解，以完成更高一级的任务。由于视觉跟踪技术在很多领域有着广泛的应用前景，视觉跟踪技术已经成为人工智能领域一项热门的研究课题。

其中人眼检测与跟踪涉及图像处理、计算机视觉、模式识别以及认知心理学等多个学科，并在工业检测、智能机器人、人机交互、公共安全、智能交通、心理学等领域均有广泛的应用。目前，朝着高精度、低侵入性方向发展的眼动技术已经比较成熟，国内外很多公司或科研院所已经开发出多种实用化的产品，如加拿大SR公司、美国应用科学实验室(Applied Science Laboratories，ASL)、瑞典的Tobii公司、德国SensoMotoricInstruments(SMI)公司均己生产出多款包括头戴式和遥测式的眼动仪。人眼检测与跟踪的鲁棒性和精度成为影响眼动仪性能的关键。

但这些产品的价格都普遍昂贵，一般的家庭都购买不了。同时，对于特殊人群来说，比如有些病人手术后不能说话，还有渐冻患者人群，只能靠眼神与外界交流，用视觉代替手和嘴。因此，开发更加便宜、实用、方便、多样性的人眼视觉信息交互系统，能够为有交流障碍等缺陷的人群实现与外界进行信息交流，并为老弱病残及渐冻病人等特殊人群提供帮助。

发明内容

本发明所要解决的技术问题是提供一种基于视觉跟踪技术的特殊病人信息交互系统及使用方法，本系统及使用方法只需通过对人眼瞳孔位置进行跟踪，病人可以很方便地与外界进行信息交流，可实时反映特殊病人的需求，并为医护人员及家属提供必要的帮助。

为解决上述技术问题，本发明基于视觉跟踪技术的特殊病人信息交互系统包括眼镜、贴膜、激光测距仪、摄像机和带有信息指令屏的智能终端，所述贴膜粘贴于所述眼镜镜片，所述信息指令屏位于所述眼镜前方，所述贴膜为含有溴化银和微量氧化铜的玻璃膜片，所述贴膜用于定位人眼瞳孔的成像位置，所述激光测距仪和摄像机分别设于所述信息指令屏上方，所述激光测距仪用于测量人眼瞳孔与信息指令屏之间的距离，所述摄像机采集人眼瞳孔中心位置以及在贴膜上的成像位置，所述激光测距仪和摄像机测量和采集的数据传输至所述智能终端，所述智能终端存储特殊病人的需求信息指令并在所述信息指令屏显示，所述智能终端经计算分析确定人眼在信息指令屏注视的信息指令。

进一步，所述贴膜为圆形并且中心设有十字线，所述十字线将贴膜分为四个区域，所述四个区域对应人眼瞳孔中心在不同位置时的定位，所述十字线中心是直径为3～4mm的圆并与人眼正视时的瞳孔中心相对应。

进一步，所述信息指令屏划分为四块区域并与贴膜的四块区域相对应，所述信息指令屏的四块区域分别显示信息指令并且每30秒更换一次信息指令，若人眼在某块区域停留达10秒则表示病人选择该信息指令，所述智能终端自动发送该信息指令。

进一步，所述眼镜镜片是平光镜片、近视镜片或老花镜片。

一种上述基于视觉跟踪技术的特殊病人信息交互系统的使用方法包括如下步骤：

步骤一、病人佩戴粘贴有贴膜的眼镜，并注视信息指令屏的信息指令显示区域；

步骤二、激光测距仪检测人眼瞳孔中心点至信息指令屏距离并传输至智能终端；

步骤三、摄像机跟踪采集人眼瞳孔中心点在贴膜上的位置信息并传输至智能终端；

步骤四、智能终端接收激光测距仪和摄像机传输的信息数据，并经计算分析后确定人眼注视的信息指令屏的信息指令显示区域，智能终端发送该显示区域显示的信息指令。

进一步，所述信息指令屏显示的信息指令间隔30秒更新，若人眼瞳孔在信息指令屏某一区域停留达10秒，表示病人选中该区域所对应的信息指令；若人眼瞳孔长达30s未选中信息指令屏任何区域，则表示病人对信息指令屏显示的信息指令无兴趣，信息指令屏自动更换信息指令。

进一步，所述智能终端设定信息指令屏为边长为2a的正方形、人眼瞳距为2d、人眼瞳孔中心点A与信息指令屏间距为L、人眼瞳孔中心点A与贴膜间距为l、信息指令屏中心点E、信息指令屏区域中心点F、人眼注视信息指令屏上信息指令的注视点G、人眼垂直注视信息指令屏时在贴膜上的成像点B、人眼注视信息指令屏区域中心点在贴膜上的成像点C、人眼注视信息指令屏上信息指令在贴膜上的成像点D，摄像机分别追踪采集成像点B、成像点C和成像点D；

则信息指令屏区域中心点F到该区域下边缘中心点F’的距离为信息指令屏边长的1/4，其长度为a/2,由于信息指令屏中心点E与人眼瞳距的中心点相对应，故人眼瞳孔中心点A正视屏幕时的对应点A’到信息指令屏中心点E的距离为人眼瞳距的一半，其长度为d，则A’到区域边缘中心点F’的距离为(a/2-d),则由勾股定理得到F到A’的距离为：

已知人眼与贴膜的水平距离为l,在ΔAFA′中由勾股定理可求得AF的长度，

再由人眼平面、贴膜平面和信息指令屏平面平行，可得等比关系：

继而可以算出AC的长度，

又已知EF为信息指令屏区域对角线长的一半，长度为

则可得比例关系：

由式(5)得到人眼注视信息指令屏区域中心点F时在贴膜上追踪到的人眼瞳孔中心偏移量BC，

由BC可得当人眼注视信息指令屏区域中心时，视线中心在贴膜上对应的偏移量，即可通过该偏移量确定人眼注视信息指令屏区域时对应的范围，

由于△ACD与△AFG相似，则

式(7)中FG为人眼注视信息指令屏信息指令时沿区域中心点F的位移量，CD为相应的视线在贴膜上的移动量；

由摄像机标定偏移量BC后，根据式(7)即可得到人眼注视的信息指令屏的信息指令。

由于本发明基于视觉跟踪技术的特殊病人信息交互系统及使用方法采用了上述技术方案，即本系统中贴膜粘贴于眼镜镜片，信息指令屏位于眼镜前方，激光测距仪和摄像机分别设于信息指令屏上方，激光测距仪用于测量人眼瞳孔与信息指令屏之间的距离，摄像机采集人眼瞳孔中心位置以及在贴膜上的成像位置，激光测距仪和摄像机测量和采集的数据传输至智能终端，智能终端存储特殊病人的需求信息指令并显示，智能终端经计算分析确定人眼在信息指令屏注视的信息指令。本方法由病人佩戴粘贴有贴膜的眼镜并注视信息指令屏的信息指令显示区域；智能终端接收激光测距仪和摄像机传输的信息数据，并经计算分析后确定人眼注视的信息指令并发送该信息指令。本系统及使用方法只需通过对人眼瞳孔位置进行跟踪，病人可以很方便地与外界进行信息交流，可实时反映特殊病人的需求，并为医护人员及家属提供必要的帮助。

附图说明

下面结合附图和实施方式对本发明作进一步的详细说明：

图1为本发明基于视觉跟踪技术的特殊病人信息交互系统示意图；

图2为本系统中眼镜及贴膜示意图；

图3为本使用方法中智能终端确定人眼注视信息指令示意图。

具体实施方式

实施例如图1和图2所示，本发明基于视觉跟踪技术的特殊病人信息交互系统包括眼镜1、贴膜2、激光测距仪3、摄像机4和带有信息指令屏5的智能终端6，所述贴膜2粘贴于所述眼镜1镜片，所述信息指令屏5位于所述眼镜1前方，所述贴膜2为含有溴化银和微量氧化铜的玻璃膜片，所述贴膜2用于定位人眼瞳孔的成像位置，所述激光测距仪3和摄像机4分别设于所述信息指令屏5上方，所述激光测距仪3用于测量人眼瞳孔与信息指令屏5之间的距离，所述摄像机4采集人眼瞳孔中心位置以及在贴膜2上的成像位置，所述激光测距仪3和摄像机4测量和采集的数据传输至所述智能终端6，所述智能终端6存储特殊病人的需求信息指令并在所述信息指令屏5显示，所述智能终端6经计算分析确定人眼在信息指令屏5注视的信息指令。

进一步，所述贴膜2为圆形并且中心设有十字线21，所述十字线21将贴膜2分为四个区域，所述四个区域对应人眼瞳孔中心在不同位置时的定位，所述十字线21中心是直径为3～4mm的圆并与人眼正视时的瞳孔中心相对应。

进一步，所述信息指令屏5划分为四块区域并与贴膜2的四块区域相对应，所述信息指令屏5的四块区域分别显示信息指令并且每30秒更换一次信息指令，若人眼在某块区域停留达10秒则表示病人选择该信息指令，所述智能终端6自动发送该信息指令。

进一步，所述眼镜1镜片是平光镜片、近视镜片或老花镜片。镜片的选择可适用于各类人群，提高本系统应用的灵活性。

一种上述基于视觉跟踪技术的特殊病人信息交互系统的使用方法包括如下步骤：

步骤一、病人佩戴粘贴有贴膜的眼镜，并注视信息指令屏的信息指令显示区域；

步骤二、激光测距仪检测人眼瞳孔中心点至信息指令屏距离并传输至智能终端；

步骤三、摄像机跟踪采集人眼瞳孔中心点在贴膜上的位置信息并传输至智能终端；

步骤四、智能终端接收激光测距仪和摄像机传输的信息数据，并经计算分析后确定人眼注视的信息指令屏的信息指令显示区域，智能终端发送该显示区域显示的信息指令。

进一步，所述信息指令屏显示的信息指令间隔30秒更新，若人眼瞳孔在信息指令屏某一区域停留达10秒，表示病人选中该区域所对应的信息指令；若人眼瞳孔长达30s未选中信息指令屏任何区域，则表示病人对信息指令屏显示的信息指令无兴趣，信息指令屏自动更换信息指令。

进一步，如图3所示，所述智能终端设定信息指令屏为边长为2a的正方形、人眼瞳距为2d、人眼瞳孔中心点A与信息指令屏间距为L、人眼瞳孔中心点A与贴膜间距为l、信息指令屏中心点E、信息指令屏区域中心点F、人眼注视信息指令屏上信息指令的注视点G、人眼垂直注视信息指令屏时在贴膜上的成像点B、人眼注视信息指令屏区域中心点在贴膜上的成像点C、人眼注视信息指令屏上信息指令在贴膜上的成像点D，摄像机分别追踪采集成像点B、成像点C和成像点D；

则信息指令屏区域中心点F到该区域下边缘中心点F’的距离为信息指令屏边长的1/4，其长度为a/2,由于信息指令屏中心点E与人眼瞳距的中心点相对应，故人眼瞳孔中心点A正视屏幕时的对应点A’到信息指令屏中心点E的距离为人眼瞳距的一半，其长度为d，则A’到区域边缘中心点F’的距离为(a/2-d),则由勾股定理得到F到A’的距离为：

已知人眼与贴膜的水平距离为l,在ΔAFA′中由勾股定理可求得AF的长度，

再由人眼平面、贴膜平面和信息指令屏平面平行，可得等比关系：

继而可以算出AC的长度，

又已知EF为信息指令屏区域对角线长的一半，长度为

则可得比例关系：

由式(5)得到人眼注视信息指令屏区域中心点F时在贴膜上追踪到的人眼瞳孔中心偏移量BC，

由BC可得当人眼注视信息指令屏区域中心时，视线中心在贴膜上对应的偏移量，即可通过该偏移量确定人眼注视信息指令屏区域时对应的范围，

由于△ACD与△AFG相似，则

式(7)中FG为人眼注视信息指令屏信息指令时沿区域中心点F的位移量，CD为相应的视线在贴膜上的移动量；

由摄像机标定偏移量BC后，根据式(7)即可得到人眼注视的信息指令屏的信息指令。

本系统镜片上的特殊贴膜用来定位人眼瞳孔中心的位置，贴膜采用遇特定光变色的材料制作，且其不影响人眼对信息指令屏信息指令的观察，贴膜在照明条件下发生变色，能更好地进行瞳孔定位；激光测距仪用来测量人眼与信息指令屏之间的距离，人眼佩戴带有特殊贴膜镜片的眼镜观看信息指令屏时，摄像机采集病人双眼瞳孔中心的位置，进而与屏幕上的指令对应并进行选择，实现信息交互的功能。信息指令屏显示特殊病人需求的信息指令，当特殊病人视线在指令屏上的某一区域停留10秒则表示病人有该需求，系统会将该信息指令传递给护士或家属，若病人视线30秒内没有在任一区域停留长达10s，则屏幕上的信息指令将更换；同时本系统采用双眼标定，可以更加精确地判断人眼瞳孔中心的位置，使得标定结果受人眼斜视等情况的影响较小。

本系统及方法只需通过对人眼瞳孔位置进行跟踪，病人就可以很方便地与外界进行交流；采用简便的眼镜框架，在镜片上贴上特殊贴膜定位瞳孔中心位置，结合激光测距，通过摄像机自标定技术对人眼进行追踪定位，双眼定位能够使得瞳孔位置与信息指令屏间的对应关系更加精确，信息指令屏显示各种信息指令供特殊病人选择。

本系统尤其适应在医院病床上一些身体行动不便或与人正常交流困难的病人，可以借助本系统来及时寻求医生或护士等工作人员的帮助，实现信息交互。

Claims (7)

1.一种基于视觉跟踪技术的特殊病人信息交互系统，其特征在于：本系统包括眼镜、贴膜、激光测距仪、摄像机和带有信息指令屏的智能终端，所述贴膜粘贴于眼镜镜片，所述信息指令屏位于所述眼镜前方，所述贴膜为含有溴化银和微量氧化铜的玻璃膜片，所述贴膜用于定位人眼瞳孔的成像位置，所述激光测距仪和摄像机分别设于所述信息指令屏上方，所述激光测距仪用于测量人眼瞳孔与信息指令屏之间的距离，所述摄像机采集人眼瞳孔中心位置以及在贴膜上的成像位置，所述激光测距仪和摄像机测量和采集的数据传输至所述智能终端，所述智能终端存储特殊病人的需求信息指令并在所述信息指令屏显示，所述智能终端经计算分析确定人眼在信息指令屏注视的信息指令；

其中，所述智能终端设定信息指令屏为边长为2a的正方形、人眼瞳距为2d、人眼瞳孔中心点A与信息指令屏间距为L、人眼瞳孔中心点A与贴膜间距为l、信息指令屏中心点E、信息指令屏区域中心点F、人眼注视信息指令屏上信息指令的注视点G、人眼垂直注视信息指令屏时在贴膜上的成像点B、人眼注视信息指令屏区域中心点在贴膜上的成像点C、人眼注视信息指令屏上信息指令在贴膜上的成像点D，摄像机分别追踪采集成像点B、成像点C和成像点D；

则信息指令屏区域中心点F到该区域下边缘中心点F’的距离为信息指令屏边长的1/4，其长度为a/2,由于信息指令屏中心点E与人眼瞳距的中心点相对应，故人眼瞳孔中心点A正视屏幕时的对应点A’到信息指令屏中心点E的距离为人眼瞳距的一半，其长度为d，则A’到区域边缘中心点F’的距离为(a/2-d),则由勾股定理得到F到A’的距离为：

已知人眼与贴膜的水平距离为l,在ΔAFA′中由勾股定理可求得AF的长度，

再由人眼平面、贴膜平面和信息指令屏平面平行，可得等比关系：

继而可以算出AC的长度，

又已知EF为信息指令屏区域对角线长的一半，长度为

则可得比例关系：

由式(5)得到人眼注视信息指令屏区域中心点F时在贴膜上追踪到的人眼瞳孔中心偏移量BC，

由BC可得当人眼注视信息指令屏区域中心时，视线中心在贴膜上对应的偏移量，即可通过该偏移量确定人眼注视信息指令屏区域时对应的范围，

由于△ACD与△AFG相似，则

式(7)中FG为人眼注视信息指令屏信息指令时沿区域中心点F的位移量，CD为相应的视线在贴膜上的移动量；

由摄像机标定偏移量BC后，根据式(7)即可得到人眼注视的信息指令屏的信息指令。

2.根据权利要求1所述的基于视觉跟踪技术的特殊病人信息交互系统，其特征在于：所述贴膜为圆形并且中心设有十字线，所述十字线将贴膜分为四个区域，所述四个区域对应人眼瞳孔中心在不同位置时的定位，所述十字线中心是直径为3～4mm的圆并与人眼正视时的瞳孔中心相对应。

3.根据权利要求2所述的基于视觉跟踪技术的特殊病人信息交互系统，其特征在于：所述信息指令屏划分为四块区域并与贴膜的四块区域相对应，所述信息指令屏的四块区域分别显示信息指令并且每30秒更换一次信息指令，若人眼在某块区域停留达10秒则表示病人选择该信息指令，所述智能终端自动发送该信息指令。

4.根据权利要求2所述的基于视觉跟踪技术的特殊病人信息交互系统，其特征在于：所述眼镜镜片是平光镜片、近视镜片或老花镜片。

5.一种权利要求1至4任一项所述基于视觉跟踪技术的特殊病人信息交互系统的使用方法，其特征在于本方法包括如下步骤：

步骤一、病人佩戴粘贴有贴膜的眼镜，并注视信息指令屏的信息指令显示区域；

步骤二、激光测距仪检测人眼瞳孔中心点至信息指令屏距离并传输至智能终端；

步骤三、摄像机跟踪采集人眼瞳孔中心点在贴膜上的位置信息并传输至智能终端；

步骤四、智能终端接收激光测距仪和摄像机传输的信息数据，并经计算分析后确定人眼注视的信息指令屏的信息指令显示区域，智能终端发送该显示区域显示的信息指令。

6.根据权利要求5所述的基于视觉跟踪技术的特殊病人信息交互系统的使用方法，其特征在于：所述信息指令屏显示的信息指令间隔30秒更新，若人眼瞳孔在信息指令屏某一区域停留达10秒，表示病人选中该区域所对应的信息指令；若人眼瞳孔长达30s未选中信息指令屏任何区域，则表示病人对信息指令屏显示的信息指令无兴趣，信息指令屏自动更换信息指令。

7.根据权利要求5或6所述的基于视觉跟踪技术的特殊病人信息交互系统的使用方法，其特征在于：所述智能终端设定信息指令屏为边长为2a的正方形、人眼瞳距为2d、人眼瞳孔中心点A与信息指令屏间距为L、人眼瞳孔中心点A与贴膜间距为l、信息指令屏中心点E、信息指令屏区域中心点F、人眼注视信息指令屏上信息指令的注视点G、人眼垂直注视信息指令屏时在贴膜上的成像点B、人眼注视信息指令屏区域中心点在贴膜上的成像点C、人眼注视信息指令屏上信息指令在贴膜上的成像点D，摄像机分别追踪采集成像点B、成像点C和成像点D；

则信息指令屏区域中心点F到该区域下边缘中心点F’的距离为信息指令屏边长的1/4，其长度为a/2,由于信息指令屏中心点E与人眼瞳距的中心点相对应，故人眼瞳孔中心点A正视屏幕时的对应点A’到信息指令屏中心点E的距离为人眼瞳距的一半，其长度为d，则A’到区域边缘中心点F’的距离为(a/2-d),则由勾股定理得到F到A’的距离为：

已知人眼与贴膜的水平距离为l,在ΔAFA′中由勾股定理可求得AF的长度，

再由人眼平面、贴膜平面和信息指令屏平面平行，可得等比关系：

继而可以算出AC的长度，

又已知EF为信息指令屏区域对角线长的一半，长度为

则可得比例关系：

由式(5)得到人眼注视信息指令屏区域中心点F时在贴膜上追踪到的人眼瞳孔中心偏移量BC，

由BC可得当人眼注视信息指令屏区域中心时，视线中心在贴膜上对应的偏移量，即可通过该偏移量确定人眼注视信息指令屏区域时对应的范围，

由于△ACD与△AFG相似，则

式(7)中FG为人眼注视信息指令屏信息指令时沿区域中心点F的位移量，CD为相应的视线在贴膜上的移动量；

由摄像机标定偏移量BC后，根据式(7)即可得到人眼注视的信息指令屏的信息指令。

Images