CN101722907B - 低视力驾驶员的视线跟踪校准系统 - Google Patents

低视力驾驶员的视线跟踪校准系统 Download PDF

Info

Publication number
CN101722907B
CN101722907B CN2009102200196A CN200910220019A CN101722907B CN 101722907 B CN101722907 B CN 101722907B CN 2009102200196 A CN2009102200196 A CN 2009102200196A CN 200910220019 A CN200910220019 A CN 200910220019A CN 101722907 B CN101722907 B CN 101722907B
Authority
CN
China
Prior art keywords
typoscope
calibrating
low
chaufeur
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009102200196A
Other languages
English (en)
Other versions
CN101722907A (zh
Inventor
付先平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN2009102200196A priority Critical patent/CN101722907B/zh
Publication of CN101722907A publication Critical patent/CN101722907A/zh
Application granted granted Critical
Publication of CN101722907B publication Critical patent/CN101722907B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明涉及一种驾驶员的视线跟踪校准系统,尤其是对于配戴助视器的低视力驾驶员的望远镜瞄点跟踪校准。通过本系统的应用可以为低视力驾驶员的驾驶行为研究提供客观准确的视线跟踪数据。本发明由视频监控系统、助视器校准器系统、防风挡玻璃图像反射系统、计算机软件控制系统所组成。通过采用激光发射器进行校准点定位、视频图像处理方法自动检测校准点在道路场景图像中位置。在助视器眼镜框上粘贴红外反射标签,跟踪助视器望远镜运动方向。该校准方法与低视力驾驶无关,可以由操作人员代替驾驶员完成。本发明不仅能用于助视器驾驶员的望远镜瞄点跟踪的校准,而且能方便地应用于实现驾驶环境下的校准过程,不需要低驾驶力驾驶人员参加校准过程。

Description

低视力驾驶员的视线跟踪校准系统
技术领域
本发明涉及一种驾驶员的视线跟踪校准系统,尤其是对于配戴助视器的低视力驾驶员的望远镜瞄点跟踪校准系统,通过本系统的应用可以为低视力驾驶员的驾驶行为研究提供客观准确的视线跟踪数据。
背景技术
随着人们寿命的增长,与年龄相关的低视力人群数量也在增加。根据美国2000年的人口统计,估计有240万美国成年人是低视力(矫正后的最佳视力低于20/40)。因为不能满足视力要求,许多人失去了驾驶机会,从而对生活质量造成了影响。从50年代开始用于视力辅助工具,既在眼镜上固定望远镜的助视器,并在60年代开始用于驾驶。利用助视器望远镜提供的放大作用,可以补偿视力的下降。目前,在美国有39个州允许低视力人群使用助视器驾车。大多数时候,助视器用户使用常规镜片部分观察周围环境,对视场没有影响;用户通过轻微的低头,间歇地使用助视器望远镜来观察路面情况,如读取路牌、观察交通信号灯等。通过1-2秒的望远镜扫描,助视器用户可以识别观察对象的高分辨率的细节信息。虽然国外配戴助视器驾驶车辆是一个合法的选择,但助视器望远镜的使用将对驾驶提供帮助或影响驾驶始终是一个有争议的问题。但助视器驾驶的支持方和反对方都同意助视器望远镜会造成环状的光学盲区。根据望远镜的放大倍数,通过望远镜观察景物时,放大的视场会比不放大的正常视场占据更大的视网膜区域。这样在望远镜的视场周围就形成了一个环形的盲区。因此当配戴助视器的驾驶员发生交通事故时,很难判定是由于望远镜较窄的视场可能遮挡相关的场景或者由于驾驶员没有使用望远镜而看不到重要的交通标志等信息造成的交通事故。通过收集助视器驾驶员在日常驾驶行为中对望远镜的使用情况及利用望远镜能看到什么对解决上述问题是非常关键的。
根据现有技术所存在的问题,研制一种低视力驾驶员的视线跟踪校准系统。通过采用助视器望远镜的视线跟踪方法,使望远镜瞄点在道路场景图像中的计算方法中,实现准确的判断驾驶员通过望远镜在观察什么。而校准是视线跟踪方法的核心内容。通常情况下,视线跟踪的校准方法要求用户注视屏幕上网格状排列的校准点,同时记录标签或特征点的位置,一般是在室内进行,并且校准点是位于计算机屏幕上。然而如果校准点较多,准确定位每一个校准点将比较繁琐且容易出错。特别对于低视力驾驶员,因为视力较差,完成这种繁长的校准过程将是非常困难的。当然校准点的数量可以通过增加摄像机和红外光源的数量而减少,但这将增加系统的花费和复杂度。而本发明研制了一种功能完备的低视力驾驶员的视线跟踪校准系统,该校准方法不采用固定校准点,从而克服了上述限制。
发明内容
为了克服现有的视线跟踪校准方法在计算机屏幕上进行的限制及要求较多校准点而不能在实际驾驶环境中进行的不足,本发明的目的是提供一种新的视线跟踪校准方法,该校准方法不仅能用于助视器驾驶员的望远镜瞄点跟踪的校准,而且能方便地应用于实现驾驶环境下的校准过程,可以由操作员代替低视力驾驶员完成,不需要低驾驶力驾驶人员参加校准过程。
本发明所述的一种低视力驾驶员的视线跟踪校准系统,其特征在于:由视频监控系统、助视器校准器系统、防风挡玻璃图像反射系统、计算机软件控制系统所组成。通过采用激光发射器进行校准点定位、视频图像处理方法自动检测校准点在道路场景图像中的位置。在助视器眼镜框上粘贴红外反射标签,跟踪助视器望远镜的运动方向;因此该校准方法与助视器有关,而与配戴助视器的低视力驾驶员无关,以此可以由操作人员代替驾驶员完成。
本发明所述防风挡玻璃图像反射系统由固定在后视镜的前面用于记录道路和交通场景视频图像的广角摄像机、固定在驾驶员处的风档玻璃上用来记录粘贴在眼镜框上的红外反射标签来跟踪望远镜瞄点的具有带通滤波的红外摄像机和固定在风档玻璃的右侧来记录驾驶员的头部和身体运动情况的摄像机所组成。通过三台摄像机的组合,实现在校准过程中自动建立红外反射标签和道路场景图像中激光点位置的对应关系,然后采用插值的方法进行视线跟踪。对于道路场景摄像机可以由二台摄像机组成,从而提供更宽的视场。
本发明所述的助视器校准器系统的特点是,在校准过程中在驾驶员配戴安装了激光发射装置的校准器。在视线跟踪时不需要配戴校准器,只配戴助视器即可;不需要任何固定的校准点,而是采用图像处理的方法跟踪激光点的位置,将激光点在任意图像帧中的位置作为校准点来处理。
本发明所述的计算机软件控制系统由视频图像处理系统、数据分析处理系 统、驾驶行为评估系统所组成;软件处理流程为:对准头部摄像的红外摄像机录制助视器银镜框上的红外标签图像,经视频图像处理后,得到助视器使用信息,即驾驶员什么时候使用助视器信息及GPS定位系统显示的车辆位置信息和驾驶信息。通过信息采集模块进行对这些信息的采集,与GPS定位系统显示的地理信息即道路信息一起进行驾驶信息的自动分析。最后,通过助视器的使用信息、驾驶信息分析和助视器的视线校准器的计算和分析,得到驾驶员的助视器视线跟踪情况。
本发明的特点及有益效果
1、本发明解决其技术问题所采用的技术方案是:在车内安装摄像机监控系统的方法来记录助视器驾驶员的日常驾驶行为。系统通过车载DVR同时记录助视器望远镜的使用情况和道路的视频图像,并采集汽车行驶的“黒匣子”数据,如加速度、车速、刹车、转向灯和GPS坐标等。系统可以连续记录数月的数据,并对记录的数据进行自动分析,评估望远镜的使用情况和驾驶行为。其中最重要的部分是通过驾驶员的头部运行情况来确定什么时候使用望远镜,通过粘贴在镜框上的反射标签来确定望远镜的瞄点位置即驾驶员使用望远镜观察的对象在图像中的位置,即视线位置。
2、本发明所述望远镜的瞄点为望远镜的轴线和道路场景摄像机的图像平面的交点,也就是说瞄点是望远镜的放大的视场的中心点。为了准确地计算瞄点,发明了一种对每辆车及助视器只需执行一次校准的方法,该校准方法不需要驾驶员在每次开车时采用任何校准措施。
3、本发明的使用对于道路场景视频图像中,当视角为2°时就可以区分场景图像中的物体,所以瞄点的准确度在1°以内可以满足系统的要求。然而,驾驶员利用望远镜视场中的任何部分注视目标是可能的,望远镜视场的直径一般在10-15°范围内,如果在场景内多于一个目标是无法区分这些目标的。但图像质量随着与瞄点中心距离的增大而下降,所以驾驶员一旦注意到目标,他将移动头部将瞄点中心移到这个目标上,得到较高的分辨率图像。这种假设非常符合常理,例如正常视力的人,即使在不使用望远镜的情况下,头部也会迅速地转向被观察的对象。
4、本发明的使用对自然条件下驾驶行为需要对驾驶员的干扰最少,尽量不穿戴跟踪设备,所以基于视频的跟踪方法一般比穿戴传感器的方法更加适合驾驶员 视线跟踪。其中特征检测是基于视频方法的第一步,这些特征可以是自然的人脸特征或粘贴在脸或头部的标签。在一般场景下准确跟踪脸部特征是比较困难的,特别是在日常驾驶活动中,因为脸部特征点的位置会随着说笑或谈话的表情而变化。目前的基于脸部特征点的方法一般复杂度较高,或者费用较高,不能满足日常驾驶行为的需要;而本发明却有效的解决了这个问题。
5、本发明的使用是采用校准标签的跟踪方法,具有简单、稳定和准确,广泛应用于实际应用中。如头部跟踪仪,标签必须和头部位置紧密结合,而采用本发明避免了望远镜的位置与脸部特征点位置容易发生变化的限制。由于本发明将标签直接固定在眼镜框上,故克服了上述问题,并且容易实现自动检测。
6、利用本发明进行检测,一旦标签被检测到,就可以计算出标签在空间的位置和方向,并由此计算出望远镜瞄点的方向,即视线的位置。
7、采用现有技术在跟踪助视器驾驶员视线时,直接检测驾驶员的眼睛是比较困难的,因为助视器望远镜经常会遮挡驾驶员的眼睛。而利用本发明不需要检测驾驶员的眼睛,因为当驾驶员通过望远镜观察物体时,驾驶员的视线将和望远镜的轴对齐,驾驶员的视线将集中在望远镜的视场中。因此望远镜的瞄点可以根据眼镜框的位置计算出来,跟踪眼镜框就可以跟踪得到望远镜的瞄点。我们粘贴红外反射标签在助视器眼镜框上,在拍摄头部的摄像机的镜头上安装了红外带通滤波片,这样可以使标签在环境光线经常变化的实际驾驶环境中清楚地被检测到。
8、本发明是采用一种新的稳定、灵活、简单的校准方法,它可以由工作人员配戴驾驶员的助视器在其车内进行校准,而不需要低视力驾驶员的参与。本发明采用的方法是一种宽场景的校准方法,大量的位于视场中的校准点均可以轻松得到并用来估计望远镜瞄点的位置。
9、本发明的使用不需要固定的校准点,不需要操作人员手动对齐校准点。自动跟踪助视器望远镜的瞄点,与驾驶员本身无关,并且校准过程可以由操作员代替低视力驾驶员完成。
附图说明
本发明共有八张附图,其中:
附图1是视线跟踪校准系统中的视频监控装置安装结构示意图。
附图2是视线跟踪校准系统中的视频监控装置安装在汽车中结构图。
附图3是视线跟踪校准系统中的助视器镜框上的反射标签图。
附图4是显示反射标签的助视器驾驶员头部的红外图像。
附图5是助视器镜框上反射标签组成的三角形图。
附图6是视线跟踪校准系统中的校准方法工作原理图。
附图7视线跟踪校准系统中的场景摄像机的视差说明图。
附图8是视线跟踪校准系统中的软件处理流程图。
图中:1.对准头部摄像的红外摄像机,2.道路场景摄像机,3.驾驶行为摄像机,4.位于后备箱中的视频记录仪,5.GPS定位模块,6.发射标签,a,b,c------为发射标签三角形的三个顶角,A、B、C--------为发射标签三角形的三个内角;7.助视器望远镜,8.校准器,9.助视器,10.驾驶员头部,11.激光笔投射的激光点,12.望远镜的瞄点,13.校准平面(墙),14.反射标签的红外图像,B和T------为观察对象,Bi和Ti------分别为B和T在场景摄像机图像中的位置,m------校准距离,n-------观察目标距离,s------场景摄像机和望远镜之间的距离,15.驾驶信息,16.信息采集模块,17.GIS地理信息定位系统,18.视频图像处理,19.助视器使用信息模块,20.助视器视线分析。
具体实施方式
如附图1-9所示,本发明所述的低视力驾驶员的视线跟踪校准系统由视频监控系统、助视器校准器系统、防风挡玻璃图像反射系统、计算机软件控制系统所组成;其中:
1、视频监控系统既助视器驾驶员监控系统
本发明所述的车载记录系统,包括:车载DVR系统可以记录多路视频,如图2所示,道路场景和驾驶员的头部运动等,其中一台广角摄像机固定在后视镜的前面用于记录道路和交通场景视频图像。一台具有带通滤波的红外摄像机固定在驾驶员处的风档玻璃上来记录粘贴在眼镜框上的基准标签来跟踪望远镜的瞄点。第三台摄像机固定在风档玻璃的右侧来记录驾驶员的头部和身体运动情况。
2、防风挡玻璃图像反射系统既跟踪助视器望远镜瞄点
本发明所述的跟踪望远镜的瞄点是通过跟踪助视器的眼镜框来得到的,眼镜框 的跟踪结果提供了头部运动的信息和望远镜瞄点的信息。驾驶员配戴助视器的具体位置并不重要,因为当驾驶员使用望远镜时必须透过望远镜的镜头来观察对象,所以镜架的移动及眼镜框在鼻子上的滑动可以被忽略,因为它们对决定望远镜瞄点的位置影响不大。因此,一旦眼镜框在车内被校准,例如被实验员校准,只要摄像机位置不变,校准数据对其它配戴同一助视器的人也是有效的。这就说明了我们的校准方法是与低视力驾驶员本身无关的,并且对座椅调整等小的变化也是不敏感的。为了克服夜晚、阳光直射及阴影等光线变化,得到在实际驾驶环境下稳定的视频图像,采用了具有850-900nm带通滤波镜头的近红外摄像机来记录驾驶员的头部运动。三个红外反射标签粘贴在助视器眼镜框的前部如图3所示。这些反射标签被固定在红外摄像机中的890nm红外LED光源照射。红外光线对驾驶员是不可见光,因此不会影响驾驶。记录的驾驶员的头部图像和反射标签如图4所示。红外图像中的三个标签可以在外界光线变化较大的情况下也能被稳定地检测出来。如果当阳光直射在标签上时会对检测结果造成影响,但驾驶员在开车时不会让阳光直射他们的眼睛,而会用遮阳板档住阳光,这样就可以让标签保持在阴影中,得到较好的检测结果。望远镜的瞄点是与三个标签形成的三角形关系如图5所示,该三角形的形状将随着头部上下左右和移动而变化,但头部平移时其变化不大。三角形的大小将随着头部与摄像机的距离而变化,但这种变化并不影响望远镜瞄点的方向和在道路场景中位置。因此,望远镜的瞄点可以用代表三角形形状的两个内角计算得到。因为红外摄像机位于驾驶员的左前方,所以捕获的三角形形状随着头部旋转而变化。这样,三个标签就可以作为特征点来跟踪望远镜的瞄点。
3、助视器校准器系统既望远镜瞄点的校准方法
在助视器驾驶行为研究系统中,因为视频监控设备将安装在用户自己的车辆内,所以该系统必须简单、容易安装和拆卸。在日常的驾驶行为中,驾驶员头部在较大范围内移动是比较正常的,广角道路场景摄像机虽然得到了较大范围的路面场景,但图像的扭曲变形也比较大,并且真实驾驶情况下,从场景摄像机到观察的物体之间的距离也是变化和难以确定的,因此需要大量的校准点进行校准操作,从而保证本系统的准确性。因为我们只需要将驾驶员摇头和低头的角度与道路场景摄像机二维图像的坐标联系起来,在这种情况下,基于场景图像的直接插值是一种较简单的解决方案。在校准过程中,我们固定一只激光发射 器在助视器校准器的眼镜腿支架上,该激光发射器投射一个较亮的激光点在场景摄像机视场内的校准平面(如墙)上。虽然激光点的位置是任意的,但它比较容易通过图像处理的方法来进行定位。当移动头部扫描场景时,激光点的扫描轨迹提供了一系列的校准点,头部运动和场景图像也被相应的摄像机同时记录下来。这样我们就可以得到大量的位于场景图像中的校准点,并且不需要低视力驾驶员参加,实验人员就可以完成这个操作。该校准方法不需要用户刻意地注视和对齐任何校准点,极大方便了校准过程。
如图6所示,校准是在一面墙的前面进行的(该墙距离摄像机5米,称为“校准平面”)。激光笔固定在校准器支架的腿部,并调整激光笔的投射角度使其投射的激光点和通过望远镜的视线在墙面上重合。这样就几乎完全补偿了由望远镜和激光笔之间的距离造成的误差。在校准过程中,助视器和校准器配戴人员自由地移动头部,从而带动激光点扫描整个场景视场,头部和场景视频图像被同步记录下来。这样激光点在场景图像中的位置和眼镜框上的反射标签的位置在每一帧图像中被对应起来,从而建立起反射标签和激光点在场景中位置的对应关系。
驾驶员在使用望远镜时的视线注视内容,也就是望远镜瞄点,可以用三个反射标签组成的三角形的几何形状来表示。说明了在场景中9个不同的望远镜瞄点和标签三角形的不同形状之间的对应关系。当操作员用激光笔扫描场景进行校准时,标签三角形的形状随着激光点在场景中的位置而发生变化,该激光点即望远镜瞄点。我们用非线性拟合的方法确定瞄点和由(A,C)角对代表的三角形形状之间的关系。这种关系的逆运算,经过插值,可以通过在场景内任意给定的角对计算出望远镜的瞄点位置。这样,对车辆和助视器眼镜的一次校准就可以将这种对应关系应用到助视器驾驶员的日常驾驶中,摄像机记录的场景图像和标签图像就可以利用这种校准关系来确定望远镜的在场景图像中的瞄点位置。
4、误差分析
因为校准是在固定距离(例如5米)的校准平面(如墙面)进行的,当观察的物体的距离不等于这个校准距离时,通过这个校准距离计算出的望远镜瞄点的位置会因为望远镜和场景摄像机之间的侧向距离形成偏差,即场景摄像机的视差误差。因为在现实驾驶环境中,驾驶员观察的物体的距离很难确定,所以 这个系统误差不能采用统一的校准距离进行补偿。下面对该场景摄像机的视差误差的幅度和影响进行讨论。为了不阻碍驾驶员的视线,场景摄像机被安装在了后视镜的前面如图2所示,但这种安装位置造成了助视器望远镜和场景摄像机之间的视差误差。如图7所示,二个位于望远镜的轴线方向,但与望远镜的距离不同的物体,它们的望远镜的瞄点方向一致,但在场景摄像机图像中的成像位置不一样。例如,物体B和物体T有着相同的望远镜方向(红外摄像机记录的三角形形状也是一样),但它们在场景摄像机中的成像是分开的(Bi和Ti)。当使用标签三角形和场景摄像机图像坐标之间的在校准距离下形成的映射关系估计瞄点时,如果Bi在校准平面的距离上,该物体的望远镜方向B可以被正确地估计出来。然而,但当物体位于T位置时,它在场景摄像机图像中的位置Ti不同于预测的场景图像坐标,即估计出的瞄点位置。这样,任何不在校准平面上的物体在计算瞄点位置时都有一个角度的误差,这个视差误差可以通过下面的等式计算出来:
θ = tan - 1 ( s m ) - tan - 1 ( s n )
其中,s是从场景摄像机到望远镜的侧向距离;m是校准距离,即校准平面到望远镜之间的距离;n是被观察物体到望远镜之间的距离。因为从望远镜到场景摄像机之间的前向距离只有几十厘米,相对于望远镜到被观察物体之间的距离(通常是几米之外)可以忽略,因此没有包括在此误差分析中。
场景摄像机的视差误差为4.9°。当然,这个误差将随着被观察物体与校准距离的接近而减少。大多数在驾驶时观察的物体都大于5米。
场景摄像机的视差误差可以通过增大校准距离来减少。然而,在实际情况下,校准平面不能设置的非常远,因为不可能在远处得到一个足够大的墙面来进行校准,该校准平面要有足够宽的视场来满足驾驶员的视场(比高速公路还要宽),另外反射的激光点也要足够亮才能被场景摄像机记录下来进行图像处理。因此,通常情况下瞄点所定位的被观察物体的距离一般比校准距离要远。由于实际驾驶时被观察物体的距离是不确定的,但这种系统的趋势是确定的,所以计算出的望远镜瞄点可以通过使用驾驶时经过观察的物体距离来进行纠正,从而减少该系统误差。当观察目标从B点移动到T点,助视器望远镜的瞄点保持相同的方向和位置(因为角对A和C没有变化),但观察目标在道路场景图像中的位置却发生了变化,从Bi移动到了Ti。从Bi到Ti是由场景摄像机和望 远镜之间的距离s、校准距离m和观察目标距离n造成的视差误差。
5.实验结果
在校准距离为5米的情况下,我们进行了四个实验:(1)被观察物体在校准平面的距离上,没有头部的平移运动,只有左右摇头和低头动作进望远镜瞄点跟踪的准确性。(2)被观察物体在校准平面的距离上,头部有平移运动时瞄点跟踪的准确性。(3)当被观察物体在5米到20米距离内时跟踪瞄点的准确性。(4)不同的操作人员采用相同的校准数据时,当被观察物体在5米到20米距离内时跟踪瞄点的准确性。在这些实验中,头部红外摄像机和场景摄像机的分辨率为52×240像素,场景摄像机的视场为70×48°。
室内跟踪实验结果:校准前,调整激光笔使其激光点在校准墙面的投影位于望远镜视场的中心。校准过程中,操作员转动头部使用激光点光栅在水平和垂直方向扫描整个场景摄像机的视场。场景摄像机记录的激光点的轨迹;每一个激光点所对应的由红外摄像机记录的标签三角形的二个内角A和C。基于记录的校准数据,场景摄像机图像中第一个像素所对应的标签三角形角对A和C可以通过线性插值的方法得到。为了保证插值结果的正确性,假设标签形成的三角形的形状和望远镜瞄点在场景图像中的位置的对应关系在局域内是平滑的。对于从标签三角形的角对计算望远镜的瞄点,从角对(A、C)到场景坐标(X、Y)的反向插值结果得出。
(1)身体不发生移动时的跟踪结果:在验证过程中,操作员配戴固定有激光笔的助视器转动头部,但身体保持静止,投影激光点到校准墙的任意位置。激光点在第一帧场景摄像机图像中的坐标和通过红外摄像机图像中标签三角形的校准数据可以计算出来瞄点的距离,可以计算出来。操作员可移动他的头部任意位置,但他没有刻意保持他的头部在任意位置绝对静止。最后我们收集了310个测量点,其中,最大误差是2.56°,最小误差是0.06°,平均误差是1.22°。
(2)身体移动条件下的跟踪结果:在驾驶过程中身体的移动是不可以避免的,为了评估身体运动对瞄点跟踪方法的影响,操作员在身体故意移动的情况下重做了上一个实验。对每一个任意的头部旋转位置,当身体左右或前后移动时操作员用望远镜视场的相同位置观看景物。运动范围是前后16厘米,左右20厘米。跟踪结果显示,最大误差是3.03°,最小误差是0.07°,平均误差是0.86°。
(3)不同的操作员跟踪不同距离物体:在本实验中,配戴助视器的用户通过望 远镜注意不同距离的物体(不需要配戴校准器)。跟踪结果显示在图8中。三个用户采用相同的校准数据进行同样的实验,平均误差分别为0.75°,0.93°,和1.29°。为了测试该校准方法可以由操作员代替低视力驾驶员完成,实验由不同的操作员配戴同一个助视器,使用同一套由另一个操作员进行校准的数据进行瞄点的跟踪。实验误差包括不同的操作员将观察物体对齐望远镜的中心点不同引起的误差。因为本方法跟踪的是助视器眼镜框,摄像机的位置是固定的,所以实验结果和理论分析一致,一个操作员进行校准的数据对其它操作员也是有效的。所以当设备安装在车内时,可以由操作员配戴用户的助视器进行校准操作,对配戴同一助视器的低视力驾驶员就不要进行校准了。
6、结论:
本发明提供了一套记录和分析助视器驾驶员的驾驶行为的系统,该系统可以记录低视力驾驶员的几个月的日常驾驶行为,并能将望远镜的瞄点显示在道路场景视频图像中,为助视器驾驶行为的研究提供有力的依据。发明了一种新的视线跟踪校准方法,该方法可以只在配戴助视器驾驶员的车内校准一次,并且不需要校准点,该系统就可以跟踪低视力驾驶员的助视器望远镜的瞄点。该方法非常简单可以用于低视力驾驶员的驾驶行为研究,操作员可以代替驾驶员进行校准操作。望远镜瞄点的跟踪是基于三个反射标签所组成的三角形的形状,该标签可以由拍摄驾驶员头部的红外摄像记录。因为使用了红外光源,该系统对外界光线变化不敏感,抗干扰能力较强。在不需要限制驾驶员的头部和身体运动的前提下,该系统也可以达到较好的视线跟踪效果。

Claims (4)

1.一种低视力驾驶员的视线跟踪校准系统,其特征在于:由视频监控系统、助视器校准器系统、防风挡玻璃图像反射系统、计算机软件控制系统所组成;通过采用激光发射器进行校准点定位、视频图像处理方法自动检测校准点在道路场景图像中的位置;在助视器眼镜框上粘贴红外反射标签,跟踪助视器望远镜的运动方向;该校准方法与助视器有关,而与配戴助视器的低视力驾驶员无关,因此可以由操作人员代替驾驶员完成。
2.根据权利要求1所述的低视力驾驶员的视线跟踪校准系统,其特征在于:防风挡玻璃图像反射系统由固定在后视镜的前面用于记录道路和交通场景视频图像的广角摄像机、固定在驾驶员处的风档玻璃上用来记录粘贴在眼镜框上的红外反射标签来跟踪望远镜瞄点的具有带通滤波的红外摄像机和固定在风档玻璃的右侧来记录驾驶员的头部和身体运动情况的摄像机所组成;通过三台摄像机的组合,实现在校准过程中自动建立红外反射标签和道路场景图像中激光点位置的对应关系,然后采用插值的方法进行视线跟踪。
3.根据权利要求1所述的低视力驾驶员的视线跟踪校准系统,其特征在于:助视器校准器系统在校准过程中,在驾驶员配戴安装了激光发射装置的校准器,在视线跟踪时不需要配戴校准器,只配戴助视器即可;不需要任何固定的校准点,而是采用图像处理的方法跟踪激光点的位置,将激光点在任意图像帧中的位置作为校准点来处理。
4.根据权利要求1所述的低视力驾驶员的视线跟踪校准系统,其特征在于:计算机软件控制系统由视频图像处理系统、数据分析处理系统、驾驶行为评估系统所组成;软件处理流程为:对准头部摄像的红外摄像机(1)录制助视器银镜框上的红外标签图像,经视频图像处理(18)后,得到助视器使用信息(19),即驾驶员什么时候使用助视器信息及GPS(5)定位系统显示的车辆位置信息和驾驶信息(15);通过信息采集模块(16)进行对这些信息的采集,与GPS(5)定位系统显示的地理信息即道路信息(17)一起进行驾驶信息的自动分析(21);最后,通过助视器的使用信息(19)、驾驶信息分析(21)和助视器的视线校准器(8)的计算和分析,得到驾驶员的助视器视线跟踪情况。
CN2009102200196A 2009-11-18 2009-11-18 低视力驾驶员的视线跟踪校准系统 Expired - Fee Related CN101722907B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009102200196A CN101722907B (zh) 2009-11-18 2009-11-18 低视力驾驶员的视线跟踪校准系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009102200196A CN101722907B (zh) 2009-11-18 2009-11-18 低视力驾驶员的视线跟踪校准系统

Publications (2)

Publication Number Publication Date
CN101722907A CN101722907A (zh) 2010-06-09
CN101722907B true CN101722907B (zh) 2011-09-28

Family

ID=42444647

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009102200196A Expired - Fee Related CN101722907B (zh) 2009-11-18 2009-11-18 低视力驾驶员的视线跟踪校准系统

Country Status (1)

Country Link
CN (1) CN101722907B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE1021123B1 (nl) 2013-01-14 2015-12-14 Cnh Industrial Belgium Nv Kalibreren van een afstandssensor op een landbouwvoertuig
US9767373B2 (en) * 2014-09-05 2017-09-19 Ford Global Technologies, Llc Head-mounted display head pose and activity estimation
KR101655818B1 (ko) * 2014-12-11 2016-09-08 현대자동차주식회사 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템
CN110696712B (zh) * 2018-07-10 2021-02-09 广州汽车集团股份有限公司 汽车后视镜自动调节方法、装置、计算机存储介质与汽车
US11328591B1 (en) 2021-01-25 2022-05-10 Ford Global Technologies, Llc Driver assistance system for drivers using bioptic lenses
CN115933172B (zh) * 2022-11-29 2023-09-12 大连海事大学 一种基于偏振多光谱成像的人眼视线追踪装置及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101106700A (zh) * 2007-08-01 2008-01-16 大连海事大学 视频监控系统中的智能化目标细节捕获装置及方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101106700A (zh) * 2007-08-01 2008-01-16 大连海事大学 视频监控系统中的智能化目标细节捕获装置及方法

Also Published As

Publication number Publication date
CN101722907A (zh) 2010-06-09

Similar Documents

Publication Publication Date Title
CN101722907B (zh) 低视力驾驶员的视线跟踪校准系统
CN102510480B (zh) 驾驶员视线自动校准和跟踪系统
JP6381981B2 (ja) 線路空間支障物検知システム
CN104243959A (zh) 基于偏振定向和组合定位的智能复合眼镜
US8182089B2 (en) Apparatus for determining the orientation of ophthalmic lenses belonging to a frame
CN104749187A (zh) 基于红外温度场和灰度图像的隧道衬砌病害检测装置
CN103080812A (zh) 平视显示器
CN103010099A (zh) 在全风挡平视显示器上的动态信息显示
CN101702055B (zh) 跟踪助视器望远镜瞄点的校准方法
CA2754573A1 (en) Geodetic measuring device
DE102012111345B4 (de) Mobiles Handgerät zur Ausrichtung eines Sensors
CN102233850A (zh) 全景及行车记录之行车辅助装置
JPH04113213A (ja) 車間距離検出装置
JP6298221B2 (ja) ソーラーブラインド紫外光信号に基づく経路検出システム
Luo et al. Recording and automated analysis of naturalistic bioptic driving
CN101865763A (zh) 航空机载平视显示器视差测量装置
CN109863382A (zh) 前照灯设置测试设备、测试站及前照灯设置装置和测试方法
CN110401831B (zh) 一种vr设备及其显示控制方法
CN111417885B (zh) 用于确定增强现实眼镜的姿态的系统和方法
CN102466479B (zh) 一种运动物体的抗干扰距离测量系统及方法
CN109212628B (zh) 一种用于检测汽车底盘非常规目标的检测系统
CN201637930U (zh) 跟踪助视器望远镜瞄点的校准装置
Fu et al. Telescope aiming point tracking method for bioptic driving surveillance
ES2281405T3 (es) Metodo para obtener, evaluar y analizar las secuencias de vision.
CN105892034A (zh) 星体跟踪望远镜和星体跟踪系统及其应用

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C53 Correction of patent for invention or patent application
CB03 Change of inventor or designer information

Inventor after: Fu Xianping

Inventor after: Luo Gang

Inventor after: Avery Paley

Inventor before: Fu Xianping

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: FU XIANPING TO: FU XIANPING LUO GANG AILI PAILI

C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110928

Termination date: 20121118