CN113408431A - 基于眼球追踪的智能驾驶评估训练方法、系统 - Google Patents

基于眼球追踪的智能驾驶评估训练方法、系统 Download PDF

Info

Publication number
CN113408431A
CN113408431A CN202110693938.6A CN202110693938A CN113408431A CN 113408431 A CN113408431 A CN 113408431A CN 202110693938 A CN202110693938 A CN 202110693938A CN 113408431 A CN113408431 A CN 113408431A
Authority
CN
China
Prior art keywords
driving
information
model
training
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110693938.6A
Other languages
English (en)
Other versions
CN113408431B (zh
Inventor
于东壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202110693938.6A priority Critical patent/CN113408431B/zh
Publication of CN113408431A publication Critical patent/CN113408431A/zh
Application granted granted Critical
Publication of CN113408431B publication Critical patent/CN113408431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
    • G09B9/04—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles
    • G09B9/052—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of land vehicles characterised by provision for recording or measuring trainee's performance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Eye Examination Apparatus (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本发明提供一种基于眼球追踪的智能驾驶评估训练方法、系统，首先获取驾驶人员的样本数据，再将该样本数据输入PNN模型以生成驾驶测评模型，而后采集用户的眼球追踪信息和车辆驾驶信息，并通过该驾驶测评模型对所采集的眼球追踪信息和车辆驾驶信息进行数据分析以获取驾驶测评结果，再根据该驾驶测评结果生成驾驶训练模型以针对该用户进行驾驶训练，即通过获取的眼球运动数据体现出用户的观察习惯和预判能力，而后通过驾驶测评模型对包含眼球运动数据在内的数据进行处理和分析对用户驾驶进行评估，同时生成适合该用户的训练参数，以对用户进行训练依靠眼球追踪数据，能够结合VR设备对驾驶进行训练提高用户的驾驶观察能力。

Description

基于眼球追踪的智能驾驶评估训练方法、系统
技术领域
本发明涉及虚拟现实技术领域，更为具体地，涉及一种基于眼球追踪的智能驾驶评估训练方法系统。
背景技术
由于科技的进步，市场需求的多元化发展，虚拟现实系统正变得越来越普遍，应用在许多领域，如电脑游戏，健康和安全，工业和教育培训。举几个例子，混合虚拟现实系统正在被整合到移动通讯设备、游戏机、个人电脑、电影院，主题公园，大学实验室，学生教室，医院锻炼健身室等生活各个角落。
虚拟现实或者混合现实头盔显示器(HMD)通常用于体验虚拟环境，各种HMD包括捕捉用户环境图像(例如，场景)的场景相机和向用户显示图像的显示器。
虚拟现实技术可以创建虚拟的计算机仿真系统给用户带来接近真实世界的体验，因此虚拟现实技也可以进行驾驶训练，现在市场上也已经出现了基于虚拟现实系统实现的驾驶训练设备，但上述驾驶训练设备不能根据眼球跟踪信息及驾驶实况进行深入数据分析，导致驾驶训练设备评估、训练不准确。
因此，亟需一种能够对用户驾驶进行评估，同时生成适合该用户的训练参数，对用户进行训练的基于眼球追踪的智能驾驶评估训练方法、系统。
发明内容
鉴于上述问题，本发明的目的是提供一种基于眼球追踪的智能驾驶评估训练方法、系统，以解决现有驾驶训练设备不能根据眼球跟踪信息及驾驶实况进行深入数据分析，导致驾驶训练设备评估、训练不准确的问题。
本发明提供的一种基于眼球追踪的智能驾驶评估训练方法，包括：
获取驾驶人员的眼球追踪样本信息、车辆驾驶样本信息，将所述眼球追踪样本信息、所述车辆驾驶样本信息与驾驶人员的驾驶等级结果相映射以作为样本数据；
将所述样本数据输入PNN模型以生成驾驶测评模型；
采集用户的眼球追踪信息和车辆驾驶信息，并通过所述驾驶测评模型对所采集的眼球追踪信息和车辆驾驶信息进行数据分析以获取驾驶测评结果；
根据所述驾驶测评结果生成驾驶训练模型以针对所述用户进行驾驶训练。
优选地，获取驾驶人员的眼球追踪样本信息、车辆驾驶样本信息的过程，包括：
通过VR头戴追踪所述驾驶人员的眼球以获取所述驾驶人员的眼球追踪样本信息，并通过VR虚拟驾驶游戏获取所述驾驶人员根据所述VR虚拟驾驶游戏中的指令进行驾驶操作的车辆驾驶样本信息。
优选地，通过VR虚拟驾驶游戏获取所述驾驶人员根据所述VR虚拟驾驶游戏中的指令进行驾驶操作的车辆驾驶样本信息的过程，包括：
通过unity3d创建VR虚拟驾驶游戏；
在所述VR虚拟驾驶游戏中创建驾驶情境和障碍关卡；
基于所述驾驶情境和所述障碍关卡发出关于车速及姿势的指令；
获取所述驾驶人员根据所述指令进行驾驶操作的车辆驾驶样本信息。
优选地，所述眼球追踪样本信息包括眼球运动数据和瞳孔移动数据。
优选地，所述车辆驾驶样本信息包括车辆运行轨迹、运行车速、障碍信息和驾驶结果。
优选地，将所述样本数据输入PNN模型以生成驾驶测评模型的过程，包括：
将所述眼球追踪样本信息的三维向量作为第一数据；将所述车辆运行轨迹与所述运行车速构成的四维向量作为第二数据；将所述车辆运行轨迹、所述运行车速与所述障碍物信息构成的五维向量作为第三数据；
将所述第一数据、所述第二数据、所述第三数据作为所述PNN模型的输入量，并将所述驾驶等级结果作为所述PNN模型的期望输出矢量进行反复训练以获取预测驾驶模型；
通过已知驾驶等级结果的车辆驾驶数据对所述预测驾驶模型进行测试验证；其中，若所述预测驾驶模型根据所述车辆驾驶数据输出的预测结果与所述已知的驾驶等级结果不一致，则继续对所述预测驾驶模型进行反复训练直至所述预测驾驶模型根据所述车辆驾驶数据输出的预测结果与所述已知的驾驶等级结果相一致；若所述预测驾驶模型根据所述车辆驾驶数据输出的预测结果与所述已知的驾驶等级结果相一致，则将所述预测驾驶模型作为驾驶测评模型。
优选地，采集用户的眼球追踪信息和车辆驾驶信息，并通过所述驾驶测评模型对所采集的眼球追踪信息和车辆驾驶信息进行数据分析以获取驾驶测评结果的过程，包括：
将所述驾驶测评模型存储在所述VR虚拟驾驶游戏中以生成VR虚拟驾驶测试模块；
通过VR头戴追踪所述用户的眼球以获取所述用户的眼球追踪信息，通过所述VR虚拟驾驶测试模块中的VR虚拟驾驶游戏获取所述用户的车辆驾驶信息；
通过所述VR虚拟驾驶测试模块中的驾驶测评模型根据所述眼球追踪信息与所述车辆驾驶信息获取所述用户的驾驶测评结果；其中，所述驾驶测评结果至少包括所述用户的驾驶等级结果。
优选地，根据所述驾驶测评结果生成驾驶训练模型以针对所述用户进行驾驶训练的过程，包括：
根据所述驾驶测评结果对所述用户的车速和障碍物进行放大或缩小调节以生成驾驶训练模型；
基于所述驾驶训练模型获取所述用户的训练结果，并根据所述训练结果对所述驾驶训练模型进行参数调整以针对所述用户进行驾驶训练。
本发明还提供一种基于眼球追踪的智能驾驶评估训练系统，用于实现前述的基于眼球追踪的智能驾驶评估训练方法，包括：
样本获取模块，用于获取驾驶人员的眼球追踪样本信息、车辆驾驶样本信息，将所述眼球追踪样本信息、所述车辆驾驶样本信息与驾驶人员的驾驶等级结果相映射以作为样本数据；
模型训练模块，用于将所述样本数据输入PNN模型以生成驾驶测评模型；
驾驶测评模块，用于采集用户的眼球追踪信息和车辆驾驶信息，并通过所述驾驶测评模型对所采集的眼球追踪信息和车辆驾驶信息进行数据分析以获取驾驶测评结果；
驾驶训练模块，用于根据所述驾驶测评结果生成驾驶训练模型以针对所述用户进行驾驶训练。
优选地，所述样本获取模块与所述驾驶测评模块包括VR头戴和VR虚拟驾驶游戏，其中，
所述VR头戴用于追踪所述驾驶人员的眼球以获取所述驾驶人员的眼球追踪样本信息，也用于追踪所述用户的眼球以获取所述用户的眼球追踪信息；
所述VR虚拟驾驶游戏用于获取所述驾驶人员根据所述VR虚拟驾驶游戏中的指令进行驾驶操作的车辆驾驶样本信息，也用于获取所述用户的车辆驾驶信息。
从上面的技术方案可知，本发明提供的基于眼球追踪的智能驾驶评估训练方法、系统，首先获取驾驶人员的眼球追踪样本信息、车辆驾驶样本信息，再将眼球追踪样本信息、车辆驾驶样本信息与驾驶人员的驾驶等级结果相映射以作为样本数据，再将该样本数据输入PNN模型以生成驾驶测评模型，而后采集用户的眼球追踪信息和车辆驾驶信息，并通过该驾驶测评模型对所采集的眼球追踪信息和车辆驾驶信息进行数据分析以获取驾驶测评结果，再根据该驾驶测评结果生成驾驶训练模型以针对该用户进行驾驶训练，即通过获取的眼球运动数据体现出用户的观察习惯和预判能力，并通过基于PNN神经网络的模型设计出合理的驾驶测评模型，而后通过该驾驶测评模型对包含眼球运动数据在内的数据进行处理和分析对用户驾驶进行评估，同时生成适合该用户的训练参数，以对用户进行训练依靠眼球追踪数据，能够结合VR设备对驾驶进行训练，并着重改善用户的驾驶习惯，提高用户的驾驶观察能力。
附图说明
通过参考以下结合附图的说明书内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的基于眼球追踪的智能驾驶评估训练方法的流程图；
图2为根据本发明实施例的基于眼球追踪的智能驾驶评估训练系统的示意图。
具体实施方式
虚拟现实技术可以创建虚拟的计算机仿真系统给用户带来接近真实世界的体验，因此虚拟现实技也可以进行驾驶训练，现在市场上也已经出现了基于虚拟现实系统实现的驾驶训练设备，但上述驾驶训练设备不能根据眼球跟踪信息及驾驶实况进行深入数据分析，导致驾驶训练设备评估、训练不准确。
针对上述问题，本发明提供一种基于眼球追踪的智能驾驶评估训练方法、系统，以下将结合附图对本发明的具体实施例进行详细描述。
为了说明本发明提供的基于眼球追踪的智能驾驶评估训练方法、系统，图1对本发明实施例的基于眼球追踪的智能驾驶评估训练方法进行了示例性标示；图2对本发明实施例的基于眼球追踪的智能驾驶评估训练系统进行了示例性标示。
以下示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。
如图1所示，本发明提供的本发明实施例的基于眼球追踪的智能驾驶评估训练方法，包括：
S1：获取驾驶人员的眼球追踪样本信息、车辆驾驶样本信息，将该眼球追踪样本信息、该车辆驾驶样本信息与该驾驶人员的驾驶等级结果相映射以作为样本数据；
S2：将该样本数据输入PNN模型以生成驾驶测评模型；
S3：采集用户的眼球追踪信息和车辆驾驶信息，并通过该驾驶测评模型对所采集的眼球追踪信息和车辆驾驶信息进行数据分析以获取驾驶测评结果；
S4：根据该驾驶测评结果生成驾驶训练模型以针对该用户进行驾驶训练。
如图1所示，在步骤S1中获取驾驶人员的眼球追踪样本信息、车辆驾驶样本信息的过程，包括：
S11：通过VR头戴追踪驾驶人员的眼球以获取驾驶人员的眼球追踪样本信息，并通过VR虚拟驾驶游戏获取驾驶人员根据VR虚拟驾驶游戏中的指令进行驾驶操作的车辆驾驶样本信息。
其中，通过VR虚拟驾驶游戏获取驾驶人员根据VR虚拟驾驶游戏中的指令进行驾驶操作的车辆驾驶样本信息的过程，包括：
S111：通过unity3d创建VR虚拟驾驶游戏；
S112：在VR虚拟驾驶游戏中创建驾驶情境和障碍关卡；
S113：基于驾驶情境和障碍关卡发出关于车速及姿势的指令；
S114：获取驾驶人员根据指令进行驾驶操作的车辆驾驶样本信息；
其中，该眼球追踪样本信息包括眼球运动数据和瞳孔移动数据等关于眼球的追踪数据；
该车辆驾驶样本信息包括车辆运行轨迹、运行车速、障碍信息和驾驶结果等关于驾驶人员驾驶该VR虚拟驾驶游戏的数据。
具体的，首先使用unity3d制作VR虚拟驾驶游戏，设计游戏关卡，模拟真实路况和驾驶情景，并对用户提出车速和驾驶要求，模拟多种路况和驾驶操作，即创建一个具有驾驶情境和障碍关卡的仿真VR虚拟驾驶游戏，而后使驾驶人员根据该VR虚拟游戏中数据获取关卡发出的指令进行操作，从而该VR虚拟游戏获取该驾驶人员的车辆驾驶样本信息，并且同时该驾驶人员佩戴有与与该VR虚拟游戏相匹配的VR头戴，以使该VR头戴获取该驾驶人员的眼球追踪样本信息，为接下来训练PNN模型提供数据支持。
如图1所示，在步骤S2中，将样本数据输入PNN模型以生成驾驶测评模型的过程，包括：
S21：将眼球追踪样本信息的三维向量作为第一数据；将车辆运行轨迹与运行车速构成的四维向量作为第二数据；将车辆运行轨迹、运行车速与障碍物信息构成的五维向量作为第三数据；
S22：将第一数据、第二数据、第三数据作为PNN模型的输入量，并将驾驶等级结果作为PNN模型的期望输出矢量进行反复训练以获取预测驾驶模型；
S23：通过已知驾驶等级结果的车辆驾驶数据对预测驾驶模型进行测试验证；其中，若预测驾驶模型根据车辆驾驶数据输出的预测结果与已知的驾驶等级结果不一致，则继续对预测驾驶模型进行反复训练直至预测驾驶模型根据所述车辆驾驶数据输出的预测结果与已知的驾驶等级结果相一致；若预测驾驶模型根据车辆驾驶数据输出的预测结果与已知的驾驶等级结果相一致，则将预测驾驶模型作为驾驶测评模型。
该PNN(Probabilistic Neural Networks,PNN)模型为概率神经网络，是由D.F.Specht在1990年提出的，主要思想是贝叶斯决策规则，即错误分类的期望风险最小，在多维输入空间内分离决策空间。它是一种基于统计原理的人工神经网络，是一种以Parzen窗口函数为激活函数的一种前馈网络模型。
具体的，首先将眼球追踪样本信息(x1，y1，z1)的三维向量作为第一数据X1；将车辆运行轨迹(x2，y2，z2)与运行车速(u)构成的四维向量作为第二数据X2；将车辆运行轨迹(x2，y2，z2)、运行车速(u)与障碍物信息(v)构成的五维向量作为第三数据X3，而后将该第一数据X1、第二数据X2、第三数据X3作为该PNN模型的输入量，并将驾驶人员的驾驶等级结果作为PNN模型的期望输出矢量进行反复训练以获取预测驾驶模型，再对该预测驾驶模型进行测试验证，若验证通过则将该预测驾驶模型作为驾驶测评模型。
如图1所示，在步骤S3中，采集用户的眼球追踪信息和车辆驾驶信息，并通过驾驶测评模型对所采集的眼球追踪信息和车辆驾驶信息进行数据分析以获取驾驶测评结果的过程，包括：
S31：将驾驶测评模型存储在VR虚拟驾驶游戏中以生成VR虚拟驾驶测试模块；
S32：通过VR头戴追踪用户的眼球以获取用户的眼球追踪信息，通过VR虚拟驾驶测试模块中的VR虚拟驾驶游戏获取用户的车辆驾驶信息；
S33：通过VR虚拟驾驶测试模块中的驾驶测评模型根据眼球追踪信息与车辆驾驶信息获取用户的驾驶测评结果；其中，驾驶测评结果至少包括用户的驾驶等级结果；
其中，该眼球追踪样本信息包括用户的眼球运动数据和瞳孔移动数据；
该车辆驾驶样本信息包括用户在VR虚拟驾驶游戏中的车辆运行轨迹、运行车速、障碍信息和驾驶结果。
具体的，用户使用VR虚拟驾驶测试模块中的VR虚拟驾驶游戏的驾驶测评关卡进行驾驶操作，驾驶模拟模块收集眼球运动数据、车速、车辆运动轨迹、障碍信息，并根据该眼球运动数据、车速、车辆运动轨迹、障碍信息自动计算评算出该用户的驾驶等级结果。
如图1所示，在步骤S4中，根据该驾驶测评结果生成驾驶训练模型以针对该用户进行驾驶训练的过程，包括：
S41：根据该驾驶测评结果对该用户的车速和障碍物进行放大或缩小调节以生成驾驶训练模型；
S42：基于该驾驶训练模型获取该用户的训练结果，并根据该训练结果对该驾驶训练模型进行参数调整以针对该用户进行驾驶训练；
具体的，步骤S4为根据用户的驾驶测评结果进行参数调节以生成适合该用户的驾驶训练模型的过程。
在本实施例中，根据该驾驶测评结果对该用户的车速和障碍物进行放大或缩小调节以生成驾驶训练模型即在原来的VR虚拟驾驶游戏中进行参数调节生成适合该用户的训练关卡，也就是说该VR虚拟驾驶游戏至少包括三个关卡，分别为步骤S1中获取驾驶人员根据指令进行驾驶操作的车辆驾驶样本信息的数据获取关卡，和步骤S3中供用户驾驶等级结果测评计算使用的驾驶测评关卡，和步骤S4中根据该训练结果进行参数调整后针对该用户进行驾驶训练使用的训练关卡，三个关卡均属于VR虚拟驾驶游戏，但三个关卡相互独立且彼此关联，即数据获取关卡获取数据后作为数据输入反复训练PNN模型以生成驾驶测评模型，而后由驾驶测评关卡获取用户的车辆驾驶信息，从而将该车辆驾驶信息输入该驾驶测评模型，以使该驾驶测评评测出该用户的驾驶测评结果，而后根据该驾驶测评结果对该VR虚拟游戏进行参数调整生成适合该用的训练关卡(驾驶训练模型)，从而根据该用户的自身情况对该用户进行驾驶训练。
如上所述，本发明提供的基于眼球追踪的智能驾驶评估训练方法，首先获取驾驶人员的眼球追踪样本信息、车辆驾驶样本信息，再将眼球追踪样本信息、车辆驾驶样本信息与驾驶人员的驾驶等级结果相映射以作为样本数据，再将该样本数据输入PNN模型以生成驾驶测评模型，而后采集用户的眼球追踪信息和车辆驾驶信息，并通过该驾驶测评模型对所采集的眼球追踪信息和车辆驾驶信息进行数据分析以获取驾驶测评结果，再根据该驾驶测评结果生成驾驶训练模型以针对该用户进行驾驶训练，即通过获取的眼球运动数据体现出用户的观察习惯和预判能力，并通过基于PNN神经网络的模型设计出合理的驾驶测评模型，而后通过该驾驶测评模型对包含眼球运动数据在内的数据进行处理和分析对用户驾驶进行评估，同时生成适合该用户的训练参数，以对用户进行训练依靠眼球追踪数据，能够结合VR设备对驾驶进行训练，并着重改善用户的驾驶习惯，提高用户的驾驶观察能力。
如图2所示，本发明还提供一种基于眼球追踪的智能驾驶评估训练系统100，用于实现前述的基于眼球追踪的智能驾驶评估训练方法，包括：
样本获取模块101，用于获取驾驶人员的眼球追踪样本信息、车辆驾驶样本信息，将该眼球追踪样本信息、车辆驾驶样本信息与驾驶人员的驾驶等级结果相映射以作为样本数据；
模型训练模块102，用于将样本数据输入PNN模型以生成驾驶测评模型；
驾驶测评模块103，用于采集用户的眼球追踪信息和车辆驾驶信息，并通过驾驶测评模型对所采集的眼球追踪信息和车辆驾驶信息进行数据分析以获取驾驶测评结果；
驾驶训练模块104，用于根据驾驶测评结果生成驾驶训练模型以针对用户进行驾驶训练。
其中，该样本获取模块与该驾驶测评模块包括VR头戴和VR虚拟驾驶游戏，其中，
该VR头戴用于追踪该驾驶人员的眼球以获取该驾驶人员的眼球追踪样本信息，也用于追踪该用户的眼球以获取该用户的眼球追踪信息；
该VR虚拟驾驶游戏用于获取该驾驶人员根据该VR虚拟驾驶游戏中的指令进行驾驶操作的车辆驾驶样本信息，也用于获取该用户的车辆驾驶信息。
通过上述实施方式可以看出，本发明提供基于眼球追踪的智能驾驶评估训练系统100，首先通过样本获取模块101获取驾驶人员的眼球追踪样本信息、车辆驾驶样本信息，再将眼球追踪样本信息、车辆驾驶样本信息与驾驶人员的驾驶等级结果相映射以作为样本数据，再通过模型训练模块102将该样本数据输入PNN模型以生成驾驶测评模型，而后通过驾驶测评模块103采集用户的眼球追踪信息和车辆驾驶信息，并通过该驾驶测评模型对所采集的眼球追踪信息和车辆驾驶信息进行数据分析以获取驾驶测评结果，再通过驾驶训练模块104根据该驾驶测评结果生成驾驶训练模型以针对该用户进行驾驶训练，即通过获取的眼球运动数据体现出用户的观察习惯和预判能力，并通过基于PNN神经网络的模型设计出合理的驾驶测评模型，而后通过该驾驶测评模型对包含眼球运动数据在内的数据进行处理和分析对用户驾驶进行评估，同时生成适合该用户的训练参数，以对用户进行训练依靠眼球追踪数据，能够结合VR设备对驾驶进行训练，并着重改善用户的驾驶习惯，提高用户的驾驶观察能力。
如上参照附图以示例的方式描述了根据本发明提出的基于眼球追踪的智能驾驶评估训练方法、系统。但是，本领域技术人员应当理解，对于上述本发明所提出的基于眼球追踪的智能驾驶评估训练方法、系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (10)

1.一种基于眼球追踪的智能驾驶评估训练方法，其特征在于，包括：
获取驾驶人员的眼球追踪样本信息、车辆驾驶样本信息，将所述眼球追踪样本信息、所述车辆驾驶样本信息与驾驶人员的驾驶等级结果相映射以作为样本数据；
将所述样本数据输入PNN模型以生成驾驶测评模型；
采集用户的眼球追踪信息和车辆驾驶信息，并通过所述驾驶测评模型对所采集的眼球追踪信息和车辆驾驶信息进行数据分析以获取驾驶测评结果；
根据所述驾驶测评结果生成驾驶训练模型以针对所述用户进行驾驶训练。
2.如权利要求1所述的基于眼球追踪的智能驾驶评估训练方法，其特征在于，获取驾驶人员的眼球追踪样本信息、车辆驾驶样本信息的过程，包括：
通过VR头戴追踪所述驾驶人员的眼球以获取所述驾驶人员的眼球追踪样本信息，并通过VR虚拟驾驶游戏获取所述驾驶人员根据所述VR虚拟驾驶游戏中的指令进行驾驶操作的车辆驾驶样本信息。
3.如权利要求2所述的基于眼球追踪的智能驾驶评估训练方法，其特征在于，通过VR虚拟驾驶游戏获取所述驾驶人员根据所述VR虚拟驾驶游戏中的指令进行驾驶操作的车辆驾驶样本信息的过程，包括：
通过unity3d创建VR虚拟驾驶游戏；
在所述VR虚拟驾驶游戏中创建驾驶情境和障碍关卡；
基于所述驾驶情境和所述障碍关卡发出关于车速及姿势的指令；
获取所述驾驶人员根据所述指令进行驾驶操作的车辆驾驶样本信息。
4.如权利要求1所述的基于眼球追踪的智能驾驶评估训练方法，其特征在于，
所述眼球追踪样本信息包括眼球运动数据和瞳孔移动数据。
5.如权利要求1所述的基于眼球追踪的智能驾驶评估训练方法，其特征在于，
所述车辆驾驶样本信息包括车辆运行轨迹、运行车速、障碍信息和驾驶结果。
6.如权利要求5所述的基于眼球追踪的智能驾驶评估训练方法，其特征在于，将所述样本数据输入PNN模型以生成驾驶测评模型的过程，包括：
将所述眼球追踪样本信息的三维向量作为第一数据；将所述车辆运行轨迹与所述运行车速构成的四维向量作为第二数据；将所述车辆运行轨迹、所述运行车速与所述障碍物信息构成的五维向量作为第三数据；
将所述第一数据、所述第二数据、所述第三数据作为所述PNN模型的输入量，并将所述驾驶等级结果作为所述PNN模型的期望输出矢量进行反复训练以获取预测驾驶模型；
通过已知驾驶等级结果的车辆驾驶数据对所述预测驾驶模型进行测试验证；其中，若所述预测驾驶模型根据所述车辆驾驶数据输出的预测结果与所述已知的驾驶等级结果不一致，则继续对所述预测驾驶模型进行反复训练直至所述预测驾驶模型根据所述车辆驾驶数据输出的预测结果与所述已知的驾驶等级结果相一致；若所述预测驾驶模型根据所述车辆驾驶数据输出的预测结果与所述已知的驾驶等级结果相一致，则将所述预测驾驶模型作为驾驶测评模型。
7.如权利要求6所述的基于眼球追踪的智能驾驶评估训练方法，其特征在于，采集用户的眼球追踪信息和车辆驾驶信息，并通过所述驾驶测评模型对所采集的眼球追踪信息和车辆驾驶信息进行数据分析以获取驾驶测评结果的过程，包括：
将所述驾驶测评模型存储在所述VR虚拟驾驶游戏中以生成VR虚拟驾驶测试模块；
通过VR头戴追踪所述用户的眼球以获取所述用户的眼球追踪信息，通过所述VR虚拟驾驶测试模块中的VR虚拟驾驶游戏获取所述用户的车辆驾驶信息；
通过所述VR虚拟驾驶测试模块中的驾驶测评模型根据所述眼球追踪信息与所述车辆驾驶信息获取所述用户的驾驶测评结果；其中，所述驾驶测评结果至少包括所述用户的驾驶等级结果。
8.如权利要求5所述的基于眼球追踪的智能驾驶评估训练方法，其特征在于，根据所述驾驶测评结果生成驾驶训练模型以针对所述用户进行驾驶训练的过程，包括：
根据所述驾驶测评结果对所述用户的车速和障碍物进行放大或缩小调节以生成驾驶训练模型；
基于所述驾驶训练模型获取所述用户的训练结果，并根据所述训练结果对所述驾驶训练模型进行参数调整以针对所述用户进行驾驶训练。
9.一种基于眼球追踪的智能驾驶评估训练系统，实现如权利要求1-8任一所述的基于眼球追踪的智能驾驶评估训练方法，其特征在于，包括：
样本获取模块，用于获取驾驶人员的眼球追踪样本信息、车辆驾驶样本信息，将所述眼球追踪样本信息、所述车辆驾驶样本信息与驾驶人员的驾驶等级结果相映射以作为样本数据；
模型训练模块，用于将所述样本数据输入PNN模型以生成驾驶测评模型；
驾驶测评模块，用于采集用户的眼球追踪信息和车辆驾驶信息，并通过所述驾驶测评模型对所采集的眼球追踪信息和车辆驾驶信息进行数据分析以获取驾驶测评结果；
驾驶训练模块，用于根据所述驾驶测评结果生成驾驶训练模型以针对所述用户进行驾驶训练。
10.如权利要求9所述的基于眼球追踪的智能驾驶评估训练系统，其特征在于，所述样本获取模块与所述驾驶测评模块包括VR头戴和VR虚拟驾驶游戏，其中，
所述VR头戴用于追踪所述驾驶人员的眼球以获取所述驾驶人员的眼球追踪样本信息，也用于追踪所述用户的眼球以获取所述用户的眼球追踪信息；
所述VR虚拟驾驶游戏用于获取所述驾驶人员根据所述VR虚拟驾驶游戏中的指令进行驾驶操作的车辆驾驶样本信息，也用于获取所述用户的车辆驾驶信息。
CN202110693938.6A 2021-06-22 2021-06-22 基于眼球追踪的智能驾驶评估训练方法、系统 Active CN113408431B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110693938.6A CN113408431B (zh) 2021-06-22 2021-06-22 基于眼球追踪的智能驾驶评估训练方法、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110693938.6A CN113408431B (zh) 2021-06-22 2021-06-22 基于眼球追踪的智能驾驶评估训练方法、系统

Publications (2)

Publication Number Publication Date
CN113408431A true CN113408431A (zh) 2021-09-17
CN113408431B CN113408431B (zh) 2023-03-10

Family

ID=77682438

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110693938.6A Active CN113408431B (zh) 2021-06-22 2021-06-22 基于眼球追踪的智能驾驶评估训练方法、系统

Country Status (1)

Country Link
CN (1) CN113408431B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106814849A (zh) * 2016-12-03 2017-06-09 西安科锐盛创新科技有限公司 基于眼球追踪的模拟飞行操作测试辅助系统及方法
CN108615110A (zh) * 2018-04-23 2018-10-02 吉林大学 基于视觉特性的驾驶风险评估系统
CN109064821A (zh) * 2018-08-31 2018-12-21 苏州竹原信息科技有限公司 一种基于虚拟现实的安保综合训练系统及方法
CN109102734A (zh) * 2018-09-04 2018-12-28 北京精英智通科技股份有限公司 模拟驾驶训练系统及方法
CN109637261A (zh) * 2019-01-16 2019-04-16 吉林大学 自动-人工驾驶权切换情景下驾驶员反应能力训练系统
CN110136535A (zh) * 2018-02-09 2019-08-16 深圳市掌网科技股份有限公司 驾驶员考试模拟系统及方法
CN111547064A (zh) * 2020-05-26 2020-08-18 吉林大学 一种用于汽车自适应巡航系统的驾驶风格识别和分类方法
CN112215044A (zh) * 2019-07-12 2021-01-12 山东理工大学 一种基于概率神经网络的驾驶倾向性辨识方法
CN112396235A (zh) * 2020-11-23 2021-02-23 浙江天行健智能科技有限公司 基于眼球动作追踪的交通事故发生时间预测建模方法
CN112489425A (zh) * 2020-11-25 2021-03-12 平安科技（深圳）有限公司 车辆防撞预警方法、装置、车载终端设备和存储介质
CN112677977A (zh) * 2020-12-28 2021-04-20 科大讯飞股份有限公司 行车状态识别方法、装置、电子设备和转向灯控制方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106814849A (zh) * 2016-12-03 2017-06-09 西安科锐盛创新科技有限公司 基于眼球追踪的模拟飞行操作测试辅助系统及方法
CN110136535A (zh) * 2018-02-09 2019-08-16 深圳市掌网科技股份有限公司 驾驶员考试模拟系统及方法
CN108615110A (zh) * 2018-04-23 2018-10-02 吉林大学 基于视觉特性的驾驶风险评估系统
CN109064821A (zh) * 2018-08-31 2018-12-21 苏州竹原信息科技有限公司 一种基于虚拟现实的安保综合训练系统及方法
CN109102734A (zh) * 2018-09-04 2018-12-28 北京精英智通科技股份有限公司 模拟驾驶训练系统及方法
CN109637261A (zh) * 2019-01-16 2019-04-16 吉林大学 自动-人工驾驶权切换情景下驾驶员反应能力训练系统
CN112215044A (zh) * 2019-07-12 2021-01-12 山东理工大学 一种基于概率神经网络的驾驶倾向性辨识方法
CN111547064A (zh) * 2020-05-26 2020-08-18 吉林大学 一种用于汽车自适应巡航系统的驾驶风格识别和分类方法
CN112396235A (zh) * 2020-11-23 2021-02-23 浙江天行健智能科技有限公司 基于眼球动作追踪的交通事故发生时间预测建模方法
CN112489425A (zh) * 2020-11-25 2021-03-12 平安科技（深圳）有限公司 车辆防撞预警方法、装置、车载终端设备和存储介质
CN112677977A (zh) * 2020-12-28 2021-04-20 科大讯飞股份有限公司 行车状态识别方法、装置、电子设备和转向灯控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHENGPING ZHANG等: "Point-to-Set Distance Metric Learning on Deep Representations for Visual Tracking", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 *
潘康等: "基于视觉技术的智能驾驶辅助系统设计", 《科技经济市场》 *

Also Published As

Publication number Publication date
CN113408431B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
US10568502B2 (en) Visual disability detection system using virtual reality
Gelenbe et al. Simulating autonomous agents in augmented reality
Kim et al. Interactive and adaptive data-driven crowd simulation
CN110890140A (zh) 基于虚拟现实的自闭症康复训练及能力评估系统及方法
CN109475294A (zh) 用于治疗精神障碍的移动和可穿戴视频捕捉和反馈平台
KR20200005986A (ko) 얼굴인식을 이용한 인지장애 진단 시스템 및 방법
CN109635644A (zh) 一种用户动作的评价方法、装置和可读介质
Liu et al. A gaze model improves autonomous driving
Rewkowski et al. Evaluating the effectiveness of redirected walking with auditory distractors for navigation in virtual environments
CN110348278A (zh) 用于自主驾驶的基于视觉的样本高效的强化学习框架
CN108898115A (zh) 数据处理方法、存储介质和电子设备
Jingchao et al. Recognition of classroom student state features based on deep learning algorithms and machine learning
CN111026267A (zh) Vr脑电意念控制接口系统
CN115546861A (zh) 一种在线课堂专注度识别方法、系统、设备及介质
CN117576771B (zh) 一种视觉注意力评估方法、装置、介质及设备
Xu et al. Wayfinding design in transportation architecture–are saliency models or designer visual attention a good predictor of passenger visual attention?
CN114974572A (zh) 基于人机交互的孤独症早期筛查系统
Zhang et al. Transforming sports training through the integration of internet technology and artificial intelligence
CN113408431B (zh) 基于眼球追踪的智能驾驶评估训练方法、系统
Gokl et al. Towards urban environment familiarity prediction
Yoo et al. Evolutionary fuzzy integral-based gaze control with preference of human gaze
Ding et al. Towards mesh saliency in 6 degrees of freedom
Valsan et al. The strathclyde brain computer interface
CN110334696A (zh) 驾驶舱模拟体验系统、方法、设备及存储介质
Al-Fadhili et al. 3D simulation of navigation problem of people with cerebral visual impairment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant