CN109102734A - 模拟驾驶训练系统及方法 - Google Patents

模拟驾驶训练系统及方法 Download PDF

Info

Publication number
CN109102734A
CN109102734A CN201811027863.2A CN201811027863A CN109102734A CN 109102734 A CN109102734 A CN 109102734A CN 201811027863 A CN201811027863 A CN 201811027863A CN 109102734 A CN109102734 A CN 109102734A
Authority
CN
China
Prior art keywords
subject
drive simulating
equipment
eyeball tracking
host
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811027863.2A
Other languages
English (en)
Inventor
曾文
刘连美
崔少东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING JAYA TECHNOLOGY Co Ltd
Original Assignee
BEIJING JAYA TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING JAYA TECHNOLOGY Co Ltd filed Critical BEIJING JAYA TECHNOLOGY Co Ltd
Priority to CN201811027863.2A priority Critical patent/CN109102734A/zh
Publication of CN109102734A publication Critical patent/CN109102734A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/05Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles the view from a vehicle being simulated
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00Simulators for teaching or training purposes
    • G09B9/02Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/052Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles characterised by provision for recording or measuring trainee's performance

Abstract

本发明公开了一种模拟驾驶训练系统及方法,系统包括:主机以及与主机连接的模拟驾驶设备和眼球追踪设备,当主机输出的3D虚拟驾驶场景在模拟驾驶设备的显示屏上显示后,受试者就可以基于3D虚拟驾驶场景在模拟驾驶设备上执行相应的操作,同时眼球追踪设备实时采集受试者眼睛的注视点坐标,基于该注视点坐标就可追踪到受试者在3D虚拟驾驶场景中的注视点位置,从而可以确定受试者是否辨识了三维目标物体。相对于传统方案,本发明通过眼球追踪设备实时采集受试者眼睛的注视点坐标,为评估受试者的安全意识、危险辨识能力以及防御性驾驶等能力提供数据支持。

Description

模拟驾驶训练系统及方法
技术领域
本发明涉及驾驶模拟技术领域,更具体的说,涉及一种模拟驾驶训练系统及方法。
背景技术
模拟驾驶训练是指:利用模拟驾驶设备对受试者进行培训。模拟驾驶设备是一种驾驶训练的教学设备,它利用虚拟现实仿真技术营造虚拟驾驶训练环境,受试者通过模拟驾驶设备的操作部件与虚拟驾驶训练环境进行交互,从而学习驾驶技能。
传统的模拟驾驶训练方式主要是通过模拟驾驶设备训练受试者的基本驾驶操作,并为受试者提供危险情境的体验。然而,传统训练方式无法知晓受试者是否辨识到了虚拟场景中的危险,也无法知晓受试者在驾驶过程中的观察习惯,从而也就无法对受试者的安全意识、危险辨识能力及防御性驾驶等能力的评估提供数据支持。
发明内容
有鉴于此,本发明公开一种模拟驾驶训练系统及方法,以解决传统训练方式无法知晓受试者是否辨识到了虚拟场景中的危险,也无法知晓受试者在驾驶过程中的观察习惯,从而也就无法对受试者的安全意识、危险辨识能力及防御性驾驶等能力的评估提供数据支持的问题。
一种模拟驾驶训练系统,包括:
模拟驾驶设备;
眼球追踪设备,用于采集受试者眼睛的注视点坐标;
主机,具有第一信号采集端口、第二信号采集端口和第一信号输出端口和第二信号输出端口;
所述第一信号采集端口与所述模拟驾驶设备的输出端连接,所述第一信号输出端口与所述模拟驾驶设备的输入端连接,所述第一信号输出端口用于输出在所述模拟驾驶设备的显示屏上显示的3D虚拟驾驶场景,所述第一信号采集端口用于采集受试者基于所述3D虚拟驾驶场景在所述模拟驾驶设备上执行的操作数据;
所述第二信号采集端口与所述眼球追踪设备连接,所述第二信号采集端口用于采集所述注视点坐标;
所述第二信号输出端口用于输出受试者对三维目标物体的辨识结论与所述操作数据的打包数据,其中,所述辨识结论由所述主机通过判断所述注视点坐标是否在所述三维目标物体相对应的二维坐标范围内得到,所述三维目标物体为根据考核点在所述3D虚拟驾驶场景中设置的物体或区域。
可选的,所述眼球追踪设备位于所述显示屏的下边缘的正前方,所述眼球追踪设备的中心正对所述模拟驾驶设备的驾驶员座椅的中心线,所述眼球追踪设备与受试者眼睛之间的夹角上下可调。
可选的,所述眼球追踪设备与受试者眼睛之间的夹角的范围为:0度~90度。
可选的,所述眼球追踪设备与受试者眼睛之间的距离不大于150cm。
可选的,所述主机位于所述模拟驾驶设备中。
可选的,还包括:服务器;
所述服务器的输入端与所述主机的所述第二信号输出端口连接,所述服务器的输入端用于输入所述打包数据,所述服务器的输出端用于输出所述服务器基于所述打包数据和相对应的评判规则得到的受试者的评判结果。
可选的,所述服务器基于所述打包数据和相对应的评判规则得到打分数据的过程,具体包括:
基于所述打包数据中的所述辨识结论和所述操作数据,通过判断受试者是否注视到所述三维目标物体,以及受试者是否执行正确的操作,得到受试者的评判结果。
一种模拟驾驶训练方法,应用于上述所述的模拟驾驶训练系统中的主机,包括:
将3D虚拟驾驶场景输出至模拟驾驶设备的显示屏上显示;
获取眼球追踪设备采集的受试者眼睛的注视点坐标以及受试者基于所述3D虚拟驾驶场景在所述模拟驾驶设备上执行的操作数据;
将所述3D虚拟驾驶场景中三维目标物体的三维坐标范围转换成相对应的二维坐标范围;
判断所述注视点坐标是否在所述二维坐标范围内,并得到辨识结论;
将所述辨识结论和所述操作数据进行打包得到打包数据,并输出。
可选的,所述判断所述注视点坐标是否在所述二维坐标范围内,并得到辨识结论,具体包括:
当所述注视点坐标在所述二维坐标范围内时,所述辨识结论为:受试者辨识到所述三维目标物体;
当所述注视点坐标没在所述二维坐标范围内时,所述辨识结论为:受试者没有辨识到所述三维目标物体。
可选的,当模拟驾驶训练系统包括:与所述主机连接的服务器时,还包括:
将所述打包数据输出至所述服务器,由所述服务器基于所述打包数据和相对应的评判规则得到受试者的评判结果。
从上述的技术方案可知,本发明公开了一种模拟驾驶训练系统及方法,系统包括:主机以及与主机连接的模拟驾驶设备和眼球追踪设备,当主机输出的3D虚拟驾驶场景在模拟驾驶设备的显示屏上显示后,受试者就可以基于3D虚拟驾驶场景在模拟驾驶设备上执行相应的操作,与此同时,眼球追踪设备实时采集受试者眼睛的注视点坐标,基于该注视点坐标就可追踪到受试者在3D虚拟驾驶场景中的注视点位置,从而可以确定受试者是否辨识了三维目标物体,三维目标物体为根据考核点在3D虚拟驾驶场景中设置的物体或区域。相对于传统方案单纯的模拟驾驶和提供危险情景体验而言,本发明通过眼球追踪设备实时采集受试者眼睛的注视点坐标,来知晓受试者在测试过程中是否辨识到了虚拟场景中的危险以及在驾驶过程中的观察习惯,从而为评估受试者的安全意识、危险辨识能力以及防御性驾驶等能力提供数据支持。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据公开的附图获得其他的附图。
图1为本发明实施例公开的一种模拟驾驶训练系统的结构示意图;
图2为本发明实施例公开的一种模拟驾驶训练系统的示意图;
图3为本发明实施例公开的一种眼球追踪设备的示意图;
图4为本发明实施例公开的另一种模拟驾驶训练系统的结构示意图;
图5为本发明实施例公开的一种模拟驾驶训练方法流程图;
图6为本发明实施例公开的一种模拟驾驶训练系统的序列图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例公开了一种模拟驾驶训练系统及方法,系统包括:主机以及与主机连接的模拟驾驶设备和眼球追踪设备,当主机输出的3D虚拟驾驶场景在模拟驾驶设备的显示屏上显示后,受试者就可以基于3D虚拟驾驶场景在模拟驾驶设备上执行相应的操作,与此同时,眼球追踪设备实时采集受试者眼睛的注视点坐标,基于该注视点坐标就可追踪到受试者在3D虚拟驾驶场景中的注视点位置,从而可以确定受试者是否辨识了三维目标物体,三维目标物体为根据考核点在3D虚拟驾驶场景中设置的物体或区域。相对于传统方案单纯的模拟驾驶和提供危险情景体验而言,本发明通过眼球追踪设备实时采集受试者眼睛的注视点坐标,来知晓受试者在测试过程中是否辨识到了虚拟场景中的危险以及在驾驶过程中的观察习惯,从而为评估受试者的安全意识、危险辨识能力以及防御性驾驶等能力提供数据支持。
参见图1,本发明一实施例公开的一种模拟驾驶训练系统的结构示意图,该系统包括:模拟驾驶设备11、眼球追踪设备12和主机13;
其中:
模拟驾驶设备11可采用传统方案中的模拟驾驶设备,用于利用虚拟现实仿真技术营造虚拟驾驶训练环境,受试者通过模拟驾驶设备的操作部件与虚拟驾驶训练环境进行交互,从而学习驾驶技能。
眼球追踪设备12用于采集受试者眼睛的注视点坐标,基于该注视点坐标就可追踪到受试者在3D虚拟驾驶场景中的注视点位置,从而可以确定受试者是否辨识了三维目标物体,三维目标物体为根据考核点在3D虚拟驾驶场景中设置的物体或区域。
主机13具有第一信号采集端口、第二信号采集端口和第一信号输出端口和第二信号输出端口;
主机13的第一信号采集端口与模拟驾驶设备11的输出端连接,第一信号采集端口用于采集受试者基于所述3D虚拟驾驶场景在所述模拟驾驶设备上执行的操作数据;
主机13的第一信号输出端口与模拟驾驶设备11的输入端连接,第一信号输出端口用于输出在模拟驾驶设备11的显示屏上显示的3D虚拟驾驶场景;
主机13的第二信号采集端口与眼球追踪设备12连接,所述第二信号采集端口用于采集眼球追踪设备12输出的注视点坐标;
主机13的第二信号输出端口用于输出受试者对三维目标物体的辨识结论与所述操作数据的打包数据,其中,所述辨识结论由主机13通过判断受试者的注视点坐标是否在三维目标物体相对应的二维坐标范围内得到。
可以理解,3D虚拟驾驶场景中的三维目标物体是三维的,而眼球追踪设备12采集的受试者眼睛的注视点坐标是二维的,由于三维目标物体和注视点坐标属于不同的维度,二者是无法比较的,因此需要将三维目标物体的三维坐标转换成对应的二维坐标范围,具体转换技术可参见现有三维转二维技术,此处不再赘述。
当受试者的注视点坐标在三维目标物体相对应的二维坐标范围内时,表明受试者的眼睛辨识到了三维目标物体,那么相对应的辨识结论为:受试者辨识到三维目标物体。
反之,当受试者的注视点坐标在三维目标物体相对应的二维坐标范围之外时,表明受试者的眼睛未辨识到三维目标物体,那么相对应的辨识结论为:受试者未辨识到三维目标物体。
本实施例中的三维目标物体为根据考核点在所述3D虚拟驾驶场景中设置的物体或区域,比如,3D虚拟驾驶场景中出现的障碍物。
模拟驾驶训练系统的工作原理如下:
主机13输出的3D虚拟驾驶场景在模拟驾驶设备的显示屏上显示,受试者基于3D虚拟驾驶场景在模拟驾驶设备12上执行相应的操作,与此同时,眼球追踪设备11实时采集受试者眼睛的注视点坐标,基于该注视点坐标就可追踪到受试者在3D虚拟驾驶场景中的注视点位置,从而可以确定受试者是否辨识了三维目标物体,包括:当受试者的注视点坐标在三维目标物体相对应的二维坐标范围内时,表明受试者的眼睛辨识到了三维目标物体;反之,当受试者的注视点坐标在三维目标物体相对应的二维坐标范围之外时,表明受试者的眼睛未辨识到三维目标物体。
并且,在确定受试者是否辨识到三维目标物体后,还可以进一步结合受试者基于3D虚拟驾驶场景在模拟驾驶设备11上的操作数据,判断受试者是否对三维目标物体做出了有效反应,从而进一步测试受试者的驾驶技能。
综上可知,相对于传统方案单纯的模拟驾驶和提供危险情景体验而言,本发明通过眼球追踪设备实时采集受试者眼睛的注视点坐标,来知晓受试者在测试过程中是否辨识到了虚拟场景中的危险以及在驾驶过程中的观察习惯,从而为评估受试者的安全意识、危险辨识能力以及防御性驾驶等能力提供数据支持。
为便于眼球追踪设备12采集受试者的注视点坐标,在实际应用中,可以将眼球追踪设备12放置在模拟驾驶设备11的显示屏111的下边缘的正前方,比如,图2中示出的模拟驾驶训练系统中的眼球追踪设备12的放置位置。当然,眼球追踪设备12也可以放置在模拟驾驶设备11的显示屏111的下边缘偏移正前方的位置,比如,眼球追踪设备12放置在距离显示屏111下边缘的正前方2cm~3cm的位置。需要说明的是,眼球追踪设备12可以放置在显示屏111的下边缘区域的任意位置,只需保证眼球追踪设备12能够采集到受试者的注视点坐标即可。
可选的,眼球追踪设备12的中心正对模拟驾驶设备11的驾驶员座椅的中心线,以便更好的采集受试者的注视点坐标。当然,眼球追踪设备12的中心也可以偏移驾驶员座椅的中心线,具体放置位置依据实际需要而定,只需保证眼球追踪设备12能够采集到受试者的注视点坐标即可。
可选的,为适用于不同身高受试者,在实际应用中,眼球追踪设备12与受试者眼睛之间的夹角上下可调,眼球追踪设备12与受试者眼睛之间的夹角的范围为:0度~90度,以满足不同身高受试者的需求。
可选的,眼球追踪设备12还可以采用能够佩戴在受试者眼睛上的眼球追踪设备,当需要采集受试者的注视点坐标时,只需将眼球追踪设备12佩戴在受试者眼睛上即可,在这种情况下,可以将VR眼镜与眼球追踪设备12集成在一个设备上,使受试者在观看3D虚拟驾驶场景的同时,也可以采集受试者的的注视点坐标。当然,眼球追踪设备12除了与VR眼镜集成,眼球追踪设备12也可能是一种直接戴在眼睛上的眼镜,或者卡在眼镜上的设备,具体可参见图3所示的眼球追踪设备的示意图。
可选的,为更好的采集受试者的注视点坐标,在实际应用中,眼球追踪设备12与受试者眼睛之间的距离不大于150cm。
需要特别说明的是,在实际应用中,主机13可以为模拟驾驶设备11之外的设备,或是模拟驾驶设备11本身具有的主机,也即,主机13可以位于模拟驾驶设备11中。
为进一步优化上述实施例,参见图4,本发明另一实施例公开的一种模拟驾驶训练系统的结构示意图,在图1所示实施例的基础上,模拟驾驶训练系统还可以包括:服务器14,在实际应用中,服务器14可以是一台服务器或是一个云计算服务器中心。
服务器14的输入端与主机13的第二信号输出端口连接,服务器14的输入端用于输入主机13输出的打包数据,服务器14的输出端用于输出服务器14基于打包数据和相对应的评判规则得到的受试者的评判结果。
具体的,当主机13通过判断受试者的注视点坐标是否在三维目标物体相对应的二维坐标范围内,得到辨识结果后,主机13将辨识结果和受试者基于3D虚拟驾驶场景在模拟驾驶设备11上执行的操作数据进行打包,得到打包数据,并将该打包数据发送至服务器14。
服务器14基于打包数据中的辨识结论和操作数据,通过判断受试者是否注视到三维目标物体,以及受试者是否执行了正确的操作,得到受试者的评判结果,该评判结果可以是对受试者的打分,比如,当确定受试者注视到三维目标物体时,受试者得10分,当受试者只执行了部分正确操作时,执行正确操作部分得正分数,反之,执行错误操作部分得反分数,通过将所有的分数相加,得到对受试者的综合评判结果。
在实际应用中,服务器14可以将对受试者的评判结果返回至模拟驾驶设备11的显示屏进行显示,显示的内容可以仅包括评判结果,或是还包括各项操作得分情况,具体依据实际需要而定,本发明在此不做限定。
综上可知,相对于传统方案单纯的模拟驾驶和提供危险情景体验而言,本发明通过眼球追踪设备实时采集受试者眼睛的注视点坐标,来知晓受试者在测试过程中是否辨识到了虚拟场景中的危险以及在驾驶过程中的观察习惯,从而为评估受试者的安全意识、危险辨识能力以及防御性驾驶等能力提供数据支持。并且,本发明还可以基于受试者对三维目标物体的辨识结果以及对模拟驾驶设备11的操作数据,确定受试者是否针对三维目标物体做出了正确反应,从而实现了对受试者的驾驶技能的进一步测试。
参见图5,本发明一实施例公开的一种模拟驾驶训练方法的流程图,该方法应用于模拟驾驶训练系统中的主机,包括步骤:
步骤S101、将3D虚拟驾驶场景输出至模拟驾驶设备的显示屏上显示;
主机将3D虚拟驾驶场景输出至模拟驾驶设备的显示屏上进行显示,以便受试者基于3D虚拟驾驶场景进行模拟驾驶训练。
步骤S102、获取眼球追踪设备采集的受试者眼睛的注视点坐标以及受试者基于所述3D虚拟驾驶场景在所述模拟驾驶设备上执行的操作数据;
当受试者坐在驾驶员座椅基于3D虚拟驾驶场景进行模拟驾驶训练时,眼球追踪设备会实时采集受试者的注视点坐标,与此同时,受试者基于3D虚拟驾驶场景在模拟驾驶设备上执行相应的操作,模拟驾驶设备将受试者的操作数据发送给主机。
步骤S103、将所述3D虚拟驾驶场景中三维目标物体的三维坐标范围转换成相对应的二维坐标范围;
可以理解,3D虚拟驾驶场景中的三维目标物体是三维的,而眼球追踪设备12采集的受试者眼睛的注视点坐标是二维的,由于三维目标物体和注视点坐标属于不同的维度,二者是无法比较的,因此需要将三维目标物体的三维坐标转换成对应的二维坐标范围,具体转换技术可参见现有三维转二维技术,此处不再赘述。
在实际应用中,三维目标物体是预先设置的,并且,三维目标物体可以根据实际需求更改的。
步骤S104、判断所述注视点坐标是否在所述二维坐标范围内,并得到辨识结论;
具体的,当受试者的注视点坐标在三维目标物体相对应的二维坐标范围内时,表明受试者的眼睛辨识到了三维目标物体,那么相对应的辨识结论为:受试者辨识到三维目标物体。
反之,当受试者的注视点坐标在三维目标物体相对应的二维坐标范围之外时,表明受试者的眼睛未辨识到三维目标物体,那么相对应的辨识结论为:受试者未辨识到三维目标物体。
需要特别说明的是,步骤S102和步骤S103的执行顺便包括但不限于图4所示实施例,也可以先执行步骤S103,后执行步骤S102,或是两个步骤同时执行。
步骤S105、将所述辨识结论和所述操作数据进行打包得到打包数据,并输出。
综上可知,本发明公开的模拟驾驶训练方法,相对于传统方案单纯的模拟驾驶和提供危险情景体验而言,本发明通过眼球追踪设备实时采集受试者眼睛的注视点坐标,来知晓受试者在测试过程中是否辨识到了虚拟场景中的危险以及在驾驶过程中的观察习惯,从而为评估受试者的安全意识、危险辨识能力以及防御性驾驶等能力提供数据支持。
为进一步优化上述实施例,当模拟驾驶训练系统包括:与主机连接的服务器时,模拟驾驶训练方法还包括:
将打包数据输出至服务器,由服务器基于打包数据和相对应的评判规则得到受试者的评判结果。
具体的,当主机通过判断受试者的注视点坐标是否在三维目标物体相对应的二维坐标范围内,得到辨识结果后,主机将辨识结果和受试者基于3D虚拟驾驶场景在模拟驾驶设备上执行的操作数据进行打包,得到打包数据,并将该打包数据发送至服务器。
服务器基于打包数据中的辨识结论和操作数据,通过判断受试者是否注视到三维目标物体,以及受试者是否执行了正确的操作,得到受试者的评判结果,该评判结果可以是对受试者的打分,比如,当确定受试者注视到三维目标物体时,受试者得10分,当受试者只执行了部分正确操作时,执行正确操作部分得正分数,反之,执行错误操作部分得反分数,通过将所有的分数相加,得到对受试者的综合评判结果。
在实际应用中,服务器可以将对受试者的评判结果返回至模拟驾驶设备的显示屏进行显示,显示的内容可以仅包括评判结果,或是还包括各项操作得分情况,具体依据实际需要而定,本发明在此不做限定。
为进一步方便理解,参见图6,本发明一实施例公开的一种模拟驾驶训练系统的序列图,图6所示实施例中,包括:受试者、模拟驾驶设备、眼球追踪设备、主机和服务器;
主机将3D虚拟驾驶场景输出至模拟驾驶设备的显示屏上进行显示,以便受试者基于3D虚拟驾驶场景进行模拟驾驶训练。
受试者基于3D虚拟驾驶场景在模拟驾驶设备上执行相应的操作,模拟驾驶设备将受试者的操作数据发送给主机,与此同时,眼球追踪设备11实时采集受试者眼睛的注视点坐标,并将注视点坐标发送给主机;
主机将3D虚拟驾驶场景中三维目标物体的三维坐标范围转换成相对应的二维坐标范围,判断所述注视点坐标是否在所述二维坐标范围内,并得到辨识结论,将所述辨识结论和所述操作数据进行打包得到打包数据发送给服务器;
服务器基于打包数据中的辨识结论和操作数据,通过判断受试者是否注视到三维目标物体,以及受试者是否执行了正确的操作,得到受试者的评判结果,将受试者的评判结果返回至模拟驾驶设备的显示屏显示。
综上可知,本发明相对于传统方案单纯的模拟驾驶和提供危险情景体验而言,本发明通过眼球追踪设备实时采集受试者眼睛的注视点坐标,来知晓受试者在测试过程中是否辨识到了虚拟场景中的危险以及在驾驶过程中的观察习惯,从而为评估受试者的安全意识、危险辨识能力以及防御性驾驶等能力提供数据支持。并且,本发明还可以基于受试者对三维目标物体的辨识结果以及对模拟驾驶设备11的操作数据,确定受试者是否针对三维目标物体做出了正确反应,从而实现了对受试者的驾驶技能的进一步测试。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种模拟驾驶训练系统,其特征在于,包括:
模拟驾驶设备;
眼球追踪设备,用于采集受试者眼睛的注视点坐标;
主机,具有第一信号采集端口、第二信号采集端口和第一信号输出端口和第二信号输出端口;
所述第一信号采集端口与所述模拟驾驶设备的输出端连接,所述第一信号输出端口与所述模拟驾驶设备的输入端连接,所述第一信号输出端口用于输出在所述模拟驾驶设备的显示屏上显示的3D虚拟驾驶场景,所述第一信号采集端口用于采集受试者基于所述3D虚拟驾驶场景在所述模拟驾驶设备上执行的操作数据;
所述第二信号采集端口与所述眼球追踪设备连接,所述第二信号采集端口用于采集所述注视点坐标;
所述第二信号输出端口用于输出受试者对三维目标物体的辨识结论与所述操作数据的打包数据,其中,所述辨识结论由所述主机通过判断所述注视点坐标是否在所述三维目标物体相对应的二维坐标范围内得到,所述三维目标物体为根据考核点在所述3D虚拟驾驶场景中设置的物体或区域。
2.根据权利要求1所述的模拟驾驶训练系统,其特征在于,所述眼球追踪设备位于所述显示屏的下边缘的正前方,所述眼球追踪设备的中心正对所述模拟驾驶设备的驾驶员座椅的中心线,所述眼球追踪设备与受试者眼睛之间的夹角上下可调。
3.根据权利要求1所述的模拟驾驶训练系统,其特征在于,所述眼球追踪设备与受试者眼睛之间的夹角的范围为:0度~90度。
4.根据权利要求1所述的模拟驾驶训练系统,其特征在于,所述眼球追踪设备与受试者眼睛之间的距离不大于150cm。
5.根据权利要求1所述的模拟驾驶训练系统,其特征在于,所述主机位于所述模拟驾驶设备中。
6.根据权利要求1所述的模拟驾驶训练系统,其特征在于,还包括:服务器;
所述服务器的输入端与所述主机的所述第二信号输出端口连接,所述服务器的输入端用于输入所述打包数据,所述服务器的输出端用于输出所述服务器基于所述打包数据和相对应的评判规则得到的受试者的评判结果。
7.根据权利要求6所述的模拟驾驶训练系统,其特征在于,所述服务器基于所述打包数据和相对应的评判规则得到打分数据的过程,具体包括:
基于所述打包数据中的所述辨识结论和所述操作数据,通过判断受试者是否注视到所述三维目标物体,以及受试者是否执行正确的操作,得到受试者的评判结果。
8.一种模拟驾驶训练方法,其特征在于,应用于权利要求1~7任意一项所述的模拟驾驶训练系统中的主机,包括:
将3D虚拟驾驶场景输出至模拟驾驶设备的显示屏上显示;
获取眼球追踪设备采集的受试者眼睛的注视点坐标以及受试者基于所述3D虚拟驾驶场景在所述模拟驾驶设备上执行的操作数据;
将所述3D虚拟驾驶场景中三维目标物体的三维坐标范围转换成相对应的二维坐标范围;
判断所述注视点坐标是否在所述二维坐标范围内,并得到辨识结论;
将所述辨识结论和所述操作数据进行打包得到打包数据,并输出。
9.根据权利要求8所述的模拟驾驶训练方法,其特征在于,所述判断所述注视点坐标是否在所述二维坐标范围内,并得到辨识结论,具体包括:
当所述注视点坐标在所述二维坐标范围内时,所述辨识结论为:受试者辨识到所述三维目标物体;
当所述注视点坐标没在所述二维坐标范围内时,所述辨识结论为:受试者没有辨识到所述三维目标物体。
10.根据权利要求8所述的模拟驾驶训练方法,其特征在于,当模拟驾驶训练系统包括:与所述主机连接的服务器时,还包括:
将所述打包数据输出至所述服务器,由所述服务器基于所述打包数据和相对应的评判规则得到受试者的评判结果。
CN201811027863.2A 2018-09-04 2018-09-04 模拟驾驶训练系统及方法 Pending CN109102734A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811027863.2A CN109102734A (zh) 2018-09-04 2018-09-04 模拟驾驶训练系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811027863.2A CN109102734A (zh) 2018-09-04 2018-09-04 模拟驾驶训练系统及方法

Publications (1)

Publication Number Publication Date
CN109102734A true CN109102734A (zh) 2018-12-28

Family

ID=64865099

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811027863.2A Pending CN109102734A (zh) 2018-09-04 2018-09-04 模拟驾驶训练系统及方法

Country Status (1)

Country Link
CN (1) CN109102734A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109637261A (zh) * 2019-01-16 2019-04-16 吉林大学 自动-人工驾驶权切换情景下驾驶员反应能力训练系统
CN109849788A (zh) * 2018-12-29 2019-06-07 北京七鑫易维信息技术有限公司 信息提供方法、装置及系统
CN110428694A (zh) * 2019-08-01 2019-11-08 深圳市机场股份有限公司 一种模拟驾驶的训练方法、移动终端和计算机存储介质
CN111161588A (zh) * 2020-01-14 2020-05-15 成都信息工程大学 一种网络化沉浸式驾驶系统运营平台
CN112215120A (zh) * 2020-09-30 2021-01-12 山东理工大学 视觉搜索区域的确定方法、装置及驾驶模拟器
CN112288855A (zh) * 2020-10-29 2021-01-29 张也弛 一种操作者眼睛注视模型的建立方法及装置
CN113408431A (zh) * 2021-06-22 2021-09-17 青岛小鸟看看科技有限公司 基于眼球追踪的智能驾驶评估训练方法、系统
FR3128049A1 (fr) * 2021-10-08 2023-04-14 Institut National De Recherche En Informatique Et En Automatique Dispositif de simulation de conduite amélioré
TWI817553B (zh) * 2022-06-13 2023-10-01 中國鋼鐵股份有限公司 防禦性駕駛的訓練系統與訓練方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005065716A (ja) * 2003-08-22 2005-03-17 Mitsuto Nagaya 注視点検出装置、注視点検出方法
CN101236702A (zh) * 2008-01-29 2008-08-06 武汉理工大学 基于虚拟现实的驾驶员注视物体识别系统
CN103680246A (zh) * 2013-12-17 2014-03-26 西南交通大学 基于视觉注意分配的驾驶安全性考核测评系统
JP2015219892A (ja) * 2014-05-21 2015-12-07 大日本印刷株式会社 視線分析システムおよび視線分析装置
CN106960613A (zh) * 2017-05-26 2017-07-18 交通运输部公路科学研究所 非侵入式驾驶人潜在危险辨识能力评估与训练系统及方法
WO2018006019A1 (en) * 2016-07-01 2018-01-04 Itay Katz System and method for driver monitoring
CN107928685A (zh) * 2017-12-13 2018-04-20 吉林大学 一种基于驾驶人眼动特性的应激响应分析装置及方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005065716A (ja) * 2003-08-22 2005-03-17 Mitsuto Nagaya 注視点検出装置、注視点検出方法
CN101236702A (zh) * 2008-01-29 2008-08-06 武汉理工大学 基于虚拟现实的驾驶员注视物体识别系统
CN103680246A (zh) * 2013-12-17 2014-03-26 西南交通大学 基于视觉注意分配的驾驶安全性考核测评系统
JP2015219892A (ja) * 2014-05-21 2015-12-07 大日本印刷株式会社 視線分析システムおよび視線分析装置
WO2018006019A1 (en) * 2016-07-01 2018-01-04 Itay Katz System and method for driver monitoring
CN106960613A (zh) * 2017-05-26 2017-07-18 交通运输部公路科学研究所 非侵入式驾驶人潜在危险辨识能力评估与训练系统及方法
CN107928685A (zh) * 2017-12-13 2018-04-20 吉林大学 一种基于驾驶人眼动特性的应激响应分析装置及方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109849788A (zh) * 2018-12-29 2019-06-07 北京七鑫易维信息技术有限公司 信息提供方法、装置及系统
CN109849788B (zh) * 2018-12-29 2021-07-27 北京七鑫易维信息技术有限公司 信息提供方法、装置及系统
CN109637261A (zh) * 2019-01-16 2019-04-16 吉林大学 自动-人工驾驶权切换情景下驾驶员反应能力训练系统
CN109637261B (zh) * 2019-01-16 2021-08-24 吉林大学 自动-人工驾驶权切换情景下驾驶员反应能力训练系统
CN110428694A (zh) * 2019-08-01 2019-11-08 深圳市机场股份有限公司 一种模拟驾驶的训练方法、移动终端和计算机存储介质
CN111161588A (zh) * 2020-01-14 2020-05-15 成都信息工程大学 一种网络化沉浸式驾驶系统运营平台
CN112215120A (zh) * 2020-09-30 2021-01-12 山东理工大学 视觉搜索区域的确定方法、装置及驾驶模拟器
CN112288855A (zh) * 2020-10-29 2021-01-29 张也弛 一种操作者眼睛注视模型的建立方法及装置
CN113408431A (zh) * 2021-06-22 2021-09-17 青岛小鸟看看科技有限公司 基于眼球追踪的智能驾驶评估训练方法、系统
CN113408431B (zh) * 2021-06-22 2023-03-10 青岛小鸟看看科技有限公司 基于眼球追踪的智能驾驶评估训练方法、系统
FR3128049A1 (fr) * 2021-10-08 2023-04-14 Institut National De Recherche En Informatique Et En Automatique Dispositif de simulation de conduite amélioré
TWI817553B (zh) * 2022-06-13 2023-10-01 中國鋼鐵股份有限公司 防禦性駕駛的訓練系統與訓練方法

Similar Documents

Publication Publication Date Title
CN109102734A (zh) 模拟驾驶训练系统及方法
EP2134243B1 (en) Unitary vision testing center
US8513055B2 (en) Unitary vision and coordination testing center
KR101726894B1 (ko) 시지각 속도 및/또는 폭의 테스트/트레이닝 방법 및 시스템
US20150079565A1 (en) Automated intelligent mentoring system (aims)
CN101657145A (zh) 单一式视觉测试中心
CN105825752A (zh) 基于力反馈设备的虚拟眼角膜手术培训系统
JPWO2008041456A1 (ja) 医療用手技評価システム、手技評価装置及び手技評価装置用プログラム
EP2873445A1 (en) Motion analyzing method and motion analyzing apparatus
US8317324B2 (en) Unitary vision and neuro-processing testing center
CN104722056A (zh) 一种运用虚拟现实技术的康复训练系统及方法
CN105096670A (zh) 一种用于鼻胃管操作实训的智能沉浸式教学系统及装置
CN109288493A (zh) 一种数字化斜视诊断方法、装置和系统
CN107145222A (zh) 基于Unity三维引擎和VR设备的工具自动绑定系统和方法
Soto et al. AR stereoscopic 3D human eye examination app
CN208212008U (zh) 自测式视力检测系统
Christensen et al. Depth cues in augmented reality for training of robot-assisted minimally invasive surgery
EP3621084A1 (en) A system and a method for generating a virtual reality environment for exercises via a wearable display
CN111401721B (zh) 目标预判性思维评测与训练的方法及系统
CN114282837A (zh) 一种物理化学实验教学系统
CN110444050A (zh) 一种机场火灾模拟方法
Fang et al. Analyzing construction workers’ recognition of hazards by estimating visual focus of attention
CN115547129B (zh) 一种心脏三维可视化的ar实现系统与方法
CN117612674A (zh) 一种基于虚拟现实的心理行为训练方法及系统
WO2022225847A1 (en) Mixed reality combination system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination