CN112053610A - 一种基于深度学习的vr虚拟驾驶训练及考试方法 - Google Patents

一种基于深度学习的vr虚拟驾驶训练及考试方法 Download PDF

Info

Publication number
CN112053610A
CN112053610A CN202011179273.9A CN202011179273A CN112053610A CN 112053610 A CN112053610 A CN 112053610A CN 202011179273 A CN202011179273 A CN 202011179273A CN 112053610 A CN112053610 A CN 112053610A
Authority
CN
China
Prior art keywords
driving
deep learning
virtual
training
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011179273.9A
Other languages
English (en)
Inventor
谢佳璇
牛泳洁
冯成成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanan University
Original Assignee
Yanan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanan University filed Critical Yanan University
Priority to CN202011179273.9A priority Critical patent/CN112053610A/zh
Publication of CN112053610A publication Critical patent/CN112053610A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/16Control of vehicles or other craft
    • G09B19/167Control of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

提供一种基于深度学习的VR虚拟驾驶训练及考试方法,包括如下步骤:S1、获取路况实景:S2、3D建模:S3、入档分类:S4、查找:S5、融合:S6、系统测试并使用。本发明公开了一种新的、更安全、更便捷、更全面的车辆虚拟驾驶训练及驾驶考试系统,通过深度学习在5G和VR的基础上将虚拟驾驶考试系统普及,既可针对很多的安全事故对针对性的改变每个学员的错误驾驶习惯;也可根据很多的安全事故针对性的普及预防性的驾驶技术。它将传统的场地制路段考试,身临其境的在虚拟中完成,学习效率高、学习技术更安全,人们更容易接受,更容易普及。

Description

一种基于深度学习的VR虚拟驾驶训练及考试方法
技术领域
本发明属于物理教育车辆控制技术领域,具体涉及一种基于深度学习的VR虚拟驾驶训练及考试方法。
背景技术
中国是一个人口大国,随着我国经济发展飞速,家用汽车越来越多的进入人们的生活,越来越多的人需要经过培训取得驾驶证,驾校需要更多的教练和场地来供给广大人群去学习驾驶技术。现有技术下:如公告号为CN108550301A公开的一种基于深度学习的道路驾驶技能考试自动打分的方法,但是该方法只能依赖实车驾驶训练才能完成自动打分。受场地、人员、安全等因素影响,存在的最大问题在于:首先,汽车尾气污染严重,既不经济又存在安全隐患;其次,需要专门配备教练施教,需要一定面积的场地,还需要每天在特定时间、特定地点学习,并且需要配备很多车辆。因此,受场地限制,驾校需要更多的教练和场地来供给广大人群去学习驾驶技术,可见这种考试自动打分方法不便考试随时随地方便快捷的进行,且潜在安全性问题。对此,现提供一种基于深度学习的VR虚拟驾驶训练及考试方法。
发明内容
本发明解决的技术问题:提供一种基于深度学习的VR虚拟驾驶训练及考试方法,通过C,C++,Python等高级语言借助VR技术对虚拟驾驶进行深度学习;利用VR虚拟技术、数据库原理等相关知识提供一种基于深度学习的VR虚拟驾驶训练及考试方法:实现智能型虚拟驾驶训练以及智能型虚拟驾驶考试。不受专属教练、专属训练场地、专属训练时间的制约,为初学者在考前提供针对性的虚拟驾驶练习,使得学员在开始考试前对各种形式的路况、路规及考试流程有完整的认识和掌握,从而考取驾驶证。
本发明采用的技术方案:一种基于深度学习的VR虚拟驾驶训练及考试方法,其特征在于:包括如下步骤:
S1、获取路况实景:通过查询资料并去驾校询问获取驾驶路况;并依据访问得到的驾驶路况采用实景视频拍摄的方式获取路况实景全景图;
S2、3D建模: 让大量的用户进行试验以收集更多的数据点信息;采集用户的驾驶习惯和驾驶失误类型数据信息,建立数据库以及VR驾驶学习训练及考试场景模型;储存驾驶习惯及驾驶失误类型的模型;建立一个虚拟的VR驾驶学习训练及考试场景;
S3、入档分类:去驾校收集有驾驶经验的驾驶员的信息,对他们进行人脸识别,并录入系统;让用户使用虚拟驾驶考试系统,根据每人的操作及使用习惯进行分类存档;建立用户画像及分类,并将大量信息录入系统,基于深度学习通过用户对虚拟驾驶系统的操作及使用习惯将用户分类存档将其划分,反馈用户并让用户了解自己的分类类型,起到提前反馈及预防事故发生的作用;
S4、查找:学员通过人脸识别在数据库中查找自己对应的类型;若数据库中存在某一学员的图片,则在类别单元中查找与其相应的特征,找出类别对应的操作习惯,从而反馈给学员;若数据库中无某一学员的图片,则对该学员进行首次虚拟驾驶测试,通过深度学习将其结果录入数据库所对应的类型中;查找该学员特征所对应的类型,并将类型对应的操作习惯反馈给学员;
S5、融合:将步骤S3、S4的深度学习内容与步骤S1的路况实景虚拟场景全景图进行融合,以赋予机器自主学习的能力;
S6、系统测试并使用:完善VR虚拟驾驶训练及考试系统的功能,使整个系统平台实现基于深度学习的VR虚拟驾驶训练及考试功能,并对系统平台进行测试,发现问题并解决问题。
上述技术方案中,进一步地:步骤S2包括如下步骤:
S201:制作交互动画及VR里的2D界面,输出交互动画PNG序列和2D界面元素切图;
S202:通过设计3D路况模型草图从而获得3D路况设计草图模型;
S203:通过建立模型框架得到初始的3D模型;
S204:对初始的3D模型进行模拟细致刻画以得到真实的视觉最终3D模型;
S205:通过编写代码实现VR场景与虚拟驾驶考试程序的交互。
上述技术方案中,进一步地:步骤S3的分类,基于深度学习的用户画像进行分类存档,且步骤S3的分类,根据用户的驾驶习惯和驾驶错误类型对用户进行类别划分并进行类别判定;且每个类别对应不同类别用户的驾驶习惯预测。
上述技术方案中,进一步地:步骤S3的入档信息包括交通事故的入档录入;并通过交通事故的发生原因进行分类存档;建立预防性驾驶训练系统。
上述技术方案中,进一步地:所述方法包括基于深度学习的VR虚拟驾驶训练及考试系统;所述系统包括深度学习单元、训练单元、考试单元;所述深度学习单元输入端连接动作感应传感器和视频采集设备输出端;所述深度学习单元输出端连接虚拟场景生成单元输入端,所述虚拟场景生成单元输出端连接虚拟显示单元输入端;所述虚拟显示单元输出端连接VR头戴设备终端以及音频设备;所述深度学习单元包括驾驶习惯深度学习单元和交通事故深度学习单元;所述深度学习单元交互连接训练单元和考试单元;所述训练单元和考试单元并联连接类别匹配单元输入端;所述类别匹配单元输出端连接虚拟显示单元输入端;与训练单元、考试单元交互连接的深度学习单元基于5G网络交互连接数据库;所述数据库输出端连接类别匹配单元输入端,并通过类别匹配单元输出端连接虚拟显示单元输入端;所述基于深度学习的VR虚拟驾驶训练及考试系统还包括触控面板;所述触控面板输出端连接虚拟显示单元输入端。
上述技术方案中,优先地:所述方法包括基于深度学习的VR虚拟驾驶训练及考试系统;所述系统基于5G技术网络通讯连接。
上述技术方案中,进一步地:步骤S1和步骤S3中包括事故发生前场景,且事故发生前场景分类存档;将事故发生前场景加入学习训练与考试场景中;虚拟事故发生前场景分类匹配对应自动错误提示功能,并根据错误提示将学员进行分类。
本发明与现有技术相比的优点:
1、本发明驾驶环境不受场地、人员、安全等因素的影响,随时随地可进行,方便、无污染、安全、智能、便捷。
2、本发明让学车人员有充分的时间去进行针对性的个人定制化训练学习,有助快速通过考试,有助优缺点的针对性练习,更加人性化。
3、本发明不同于往常具有延迟的虚拟环境,应用5G超大带宽、低延时的特性,通过5G技术和VR之间的联系,可以将路面情况及时的反馈给用户,将虚拟驾驶训练以及虚拟驾驶考试系统做的更加逼真和具有身临其境的感觉;体验效果更加理想,使用户替代传统考试和训练方式,更有身临其境之感,更加逼近真实感受。
4、本发明通过深度学习将学员的习惯分类做得更加精细化和人性化;让准备考取驾驶证,但又没时间和害怕交通事故发生的学员,都能够在这种虚拟驾驶系统中实现他们的训练需求,即通过深度学习,针对不同学员能够进行预防性、指导性、针对性训练,更加人性化。
5、本发明入档和查找功能,将大量用户的信息录入;每个用户对虚拟驾驶系统的使用,从而将这些用户进行分类;并对分类后的用户信息进行存档;再有用户使用时直接将其进行分类,好让用户根据分类了解自己的驾驶类型和驾驶优缺点;以便在最大程度上替用户节省训练时间和训练精力,使虚拟驾驶训练及考试系统更好、更人性化、定制化地服务于每个用户。
6、本发明入档和查找功能,基于深度学习,通过对国内众多交通事故案例进行分析、总结;对车辆的驾驶技术需求提出更高的标准、将大量的交通事故分类信息录入,把预防性驾驶技术融入到此发明中;通过交通事故的发生原因进行分类存档,让用户在多种危险场景中进一步学习,掌握更安全的预防性驾驶技术;从而提高应对各种场景驾驶的措施,实现文明安全驾驶,避免更多的交通事故的发生。
7、本发明是一种更安全、更便捷、更全面的车辆模拟驾驶训练及考试方法;主要通过深度学习在5G和VR的基础上将虚拟驾驶训练及考试系统逐渐普及,它既可以针对性的改变每个学员的错误驾驶习惯,据很多的安全事故针对性的改变每个学员的错误驾驶习惯;也可以根据很多的安全事故针对性的普及进行预防性的驾驶技术训练。本发明将传统的场地制路段考试,身临其境的在虚拟中完成,学习效率高、学习技术更安全,人们接受和普及的的情况会更强。
附图说明
图1为本发明系统接线以及系统结构原理图。
图2为实现本发明的实施方法流程图。
图3为本发明虚拟场景的实现方法流程图。
图4为本发明的入档分类步骤流程图。
图5为本发明的查找步骤流程图。
图6为本发明一种分类方法示意图。
具体实施方式
下面结合附图1-6描述本发明的具体实施例。
以下的实施例便于更好地理解本发明,但并不限定本发明。下述实施例,仅是本发明的一部分实施例,而不是全部的实施例。下述实施例中所用的方法,如无特殊说明,均为常规方法步骤。
此外,在本发明的描述中,需要说明的是,除非另有明确的规定和限定,术语“相连”、“连接”应做广义理解,例如,可以是直接相连,也可以通过其他中间部件的间接相连。对于本领域的普通技术人员而言,应以具体情况理解上述术语在本发明中的具体含义。
一种基于深度学习的VR虚拟驾驶训练及考试方法,其特征在于:包括如下步骤:(结合图4、图5并参见图2所示)
本发明所述方法包括基于深度学习的VR虚拟驾驶训练及考试系统;上述实施例中,优选地:本发明所述方法包括基于深度学习的VR虚拟驾驶训练及考试系统;所述系统基于5G技术网络通讯连接。5G的高宽带和低延时性能对VR行业产生很大的影响,为了用户的体验更佳,将5G技术和虚拟驾驶完美结合,使此系统发挥到极致。
S1、获取路况实景:通过查询资料并去驾校询问获取驾驶路况;并依据访问得到的驾驶路况采用实景视频拍摄的方式获取路况实景全景图;
该步骤中,需要说明的是:主要包括虚拟VR驾驶场景的建立。具体操作时,建立多个驾驶习惯对应的驾驶失误模型,将模型输入到虚拟驾驶训练及考试系统中去,对需要的风险进行代码的编写,并最终建立VR场景与虚拟驾驶训练及考试程序的交互。具体地,可用C、C++编程语言、python编程语言、机器语言、数据库原理等进行软件程序的编写。
该步骤中,进一步地:步骤S1和步骤S3中包括事故发生前场景,且事故发生前场景分类存档;将事故发生前场景加入学习训练与考试场景中;虚拟事故发生前场景分类匹配对应自动错误提示功能,并根据错误提示将学员进行分类。
使用时:通过后文描述的将大量事故发生前的场景进行分类存档,并加入到学习训练与考试场景中去,在预见性的驾驶技术中让用户避免交通事故的发生,更高效的掌握驾驶机技能。虚拟的驾驶学习场景更智能化,自动错误提示并根据错误将学员进行分类提前预防错误等人机智能互动,使学习更轻松,更方便快捷。
S2、3D建模: 让大量的用户进行试验以收集更多的数据点信息;采集用户的驾驶习惯和驾驶失误类型数据信息,建立数据库以及VR驾驶学习训练及考试场景模型;储存驾驶习惯及驾驶失误类型的模型;建立一个虚拟的VR驾驶学习训练及考试场景。
上述实施例中,进一步地:步骤S2包括如下步骤:(如图3所示)
S201:制作交互动画及VR里的2D界面,输出交互动画PNG序列和2D界面元素切图。
S202:通过设计3D路况模型草图从而获得3D路况设计草图模型。
S203:通过建立模型框架得到初始的3D模型。
S204:对初始的3D模型进行模拟细致刻画以得到真实的视觉最终3D模型。
S205:通过编写代码实现VR场景与虚拟驾驶考试程序的交互。
S3、入档分类:(如图4、图6所示)让用户使用虚拟驾驶考试系统,收集的资料越多误差越小,涵盖面越广。根据每人的操作及使用习惯进行分类存档;去驾校收集有驾驶经验的驾驶员的信息,对他们进行人脸识别,并录入系统;建立用户画像及分类,并将大量信息录入系统,基于深度学习通过用户对虚拟驾驶系统的操作及使用习惯将用户分类存档将其划分,反馈用户并让用户了解自己的分类类型,起到提前反馈及预防事故发生的作用;从而最大程度上替用户节省时间和精力。让虚拟考试系统更好的服务于用户。
上述实施例中,进一步地:步骤S3的分类,基于深度学习的用户画像进行分类存档,且步骤S3的分类,根据用户的驾驶习惯和驾驶错误类型对用户进行类别划分并进行类别判定;且每个类别对应不同类别用户的操作习惯预测。
上述实施例中,进一步地:步骤S3的入档信息包括交通事故的入档录入;并通过交通事故的发生原因进行分类存档;建立预防性驾驶训练系统。
需要说明的是:使用时,通过对国内很多交通事故案例进行分析、总结、对车辆的驾驶技术需求提出更高的标准、把预防性驾驶技术融入到此发明中,如在多种路况,当一侧视线受损时,如何更安全的预防性驾驶、避免交通事故发生等等,将尽可能的安全文明驾驶并且减少交通事故。再如,即利用数据库,将大量的交通事故录入,通过交通事故的发生原因进行分类存档,让用户在多种危险场景中进一步学习,掌握更安全的预防性驾驶技术,提高应对各种场景的措施,文明安全驾驶,避免更多的交通事故的发生。
不仅如此,将利用深度学习将大量用户进行信息录入,通过用户对虚拟驾驶系统的使用从而将这些用户进行分类存档,当有用户使用时,直接将用户进行划分,让用户了解自己的类型和驾驶习惯,从而最大程度上替用户节省时间和精力。让虚拟考试系统更好的服务于用户。
S4、查找:(如图5所示)学员通过人脸识别在数据库中查找自己对应的类型;若数据库中存在某一学员的图片,则在类别单元中查找与其相应的特征,找出类别对应的驾驶操作习惯,从而反馈给学员;若数据库中无某一学员的图片,则对该学员进行首次虚拟驾驶测试,通过深度学习将其结果录入数据库所对应的类型中;查找该学员特征所对应的类型,并将类型对应的驾驶习惯反馈给学员;
该步骤中:人脸识别分类对于任何学员的任意一个不良的操作习惯,可以针对的点对点精准教学,使学习效率,学习成绩大幅度提高。
使用时:学员通过人脸识别在数据库中查找自己对应的类型,若数据库中存在此学员的图片,则在类中查找与其相应的特征,即找出驾驶习惯,从而反馈给学员;若数据库中没有学员的图片,对学员进行首次虚拟驾驶测试,通过深度学习将其结果归入到数据库所对应的类型中。查找学员特征所对应的类,并将优缺点反馈给学员。
S5、融合:将步骤S3、S4的深度学习内容与步骤S1的路况实景虚拟场景全景图进行融合,以赋予机器自主学习的能力;
S6、系统测试并使用:完善VR虚拟驾驶训练及考试系统的功能,使整个系统平台实现基于深度学习的VR虚拟驾驶训练及考试功能,并对系统平台进行测试,发现问题并解决问题。
具体地,可以团队内部对系统进行测试,在实际应用过程中发现问题,解决问题。
本发明所述方法包括基于深度学习的VR虚拟驾驶训练及考试系统;(如图1所示)所述系统包括深度学习单元、训练单元、考试单元;所述深度学习单元输入端连接动作感应传感器和视频采集设备输出端;所述深度学习单元输出端连接虚拟场景生成单元输入端,所述虚拟场景生成单元输出端连接虚拟显示单元输入端;所述虚拟显示单元输出端连接VR头戴设备终端以及音频设备;所述深度学习单元包括驾驶习惯深度学习单元和交通事故深度学习单元;所述深度学习单元交互连接训练单元和考试单元;所述训练单元和考试单元并联连接类别匹配单元输入端;所述类别匹配单元输出端连接虚拟显示单元输入端;与训练单元、考试单元交互连接的深度学习单元基于5G网络交互连接数据库;所述数据库输出端连接类别匹配单元输入端,并通过类别匹配单元输出端连接虚拟显示单元输入端;所述基于深度学习的VR虚拟驾驶训练及考试系统还包括触控面板;所述触控面板输出端连接虚拟显示单元输入端。
本发明最大的改进在于:基于深度学习原理,实现了VR虚拟驾驶训练以及VR虚拟驾驶考试功能。
本发明的工作原理为:本发明首先建立虚拟驾驶训练系统中的虚拟驾驶学习场景。虚拟驾驶学习场景建立时:让众多的用户进行试验,以便虚拟驾驶训练系统深度学习的建立。建立虚拟驾驶训练系统的虚拟驾驶学习场景时,对用户进行分类画像,并收集每一个用户的数据点,具体为采集用户的驾驶习惯和驾驶失误类型并进行分类;同时,将国内发生的大量交通事故数据也同样进行分类,并建立成多种数据点;从而设计并建立VR虚拟驾驶学习场景类别数据库;并建立多个储存驾驶习惯和驾驶习惯对应的驾驶失误类型的模型。其次,将收集的分类数据点输入到虚拟驾驶考试系统,并对系统进行监督训练,对期望的输出值进行编写。最后根据用户的驾驶习惯和驾驶错误类型对用户进行类别划分,进行用户驾驶类别的判定。通过分类后通知用户并帮助用户找出不同用户类别人群在学习过程中用户各自的驾驶习惯,使用这些优缺点对后来的用户训练进行预防性、针对性的指导和训练,用来加速人们学习的进度;最终使学员更快的取得驾驶证。使学习过程更加人性化和更具有针对性,且无考试人员、考试场地的限制,随时随刻可进行,方便、智能、快捷、安全且无大气污染,更加环保。
通过以上描述可以发现:首先,本发明驾驶环境不受场地、人员、安全等因素的影响,随时随地可进行,方便、无污染、安全、智能、便捷。
其次,本发明让学车人员有充分的时间去进行针对性的个人定制化训练学习,有助快速通过考试,有助优缺点的针对性练习,更加人性化。
再者,本发明不同于往常具有延迟的虚拟环境,应用5G超大带宽、低延时的特性,通过5G技术和VR之间的联系,可以将路面情况及时的反馈给用户,将虚拟驾驶训练以及虚拟驾驶考试系统做的更加逼真和具有身临其境的感觉;体验效果更加理想,使用户替代传统考试和训练方式,更有身临其境之感。
不仅如此,本发明通过深度学习将学员的习惯分类做得更加精细化和人性化;让准备考取驾驶证但又没时间以及害怕交通事故发生的学员都能够在这种虚拟驾驶系统中实现他们的训练需求,即通过深度学习,针对不同学员能够进行预防性、指导性、针对性训练,更加人性化。
而且,本发明入档和查找功能,将大量用户的信息录入,每个用户对虚拟驾驶系统的使用,从而将这些用户进行分类,并对分类后的用户信息进行存档;再有用户使用时直接将其进行划分类划分,好让用户根据分类了解自己的驾驶类型和驾驶优缺点,以便在最大程度上替用户节省训练时间和训练精力,使虚拟驾驶训练及考试系统更好、更人性化、定制化地服务于每个用户。
在此基础上,本发明入档和查找功能,基于深度学习,通过对国内众多交通事故案例进行分析、总结;对车辆的驾驶技术需求提出更高的标准、将大量的交通事故分类信息录入,把预防性驾驶技术融入到此发明中;通过交通事故的发生原因进行分类存档,让用户在多种危险场景中进一步学习,掌握更安全的预防性驾驶技术;从而提高应对各种场景驾驶的措施,实现文明安全驾驶,避免更多的交通事故的发生。
因此,本发明是一种更安全、更便捷、更全面的车辆模拟驾驶训练及考试方法;主要通过深度学习在5G和VR的基础上将虚拟驾驶训练及考试系统逐渐普及,它既可以针对性的改变每个学员的错误驾驶习惯,提高每个学员对事故的预防性 ;也可以根据很多的安全事故针对性的普及进行预防性的驾驶技术训练。本发明将传统的场地制路段考试,身临其境的在虚拟中完成,学习效率高、学习技术更安全,人们接受和普及的的情况会更强。
综上所述,本发明通过C语言,C++语言以及Python等高级语言借助VR技术对虚拟驾驶进行深度学习;利用VR虚拟技术、数据库原理等相关知识提供一种基于深度学习的VR虚拟驾驶训练及考试方法:实现智能型虚拟驾驶训练以及智能型虚拟驾驶考试。不受专属教练、专属训练场地、专属训练时间的制约,为初学者在考前提供针对性的虚拟驾驶练习,使得学员在开始考试前对各种形式的路况、路规及考试流程有完整的认识和掌握,从而考取驾驶证。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外,应当理解,虽然本说明书按照一个实施方式加以描述,但并非该实施方式仅包含一个独立的技术方案,说明书的这种叙述方式仅仅是为清楚起见,本领域技术人员应当将说明书作为一个整体,该实施例中的技术方案也可以经适当组合,形成本领域技术人员可以理解的其他实施方式。
上述实施例,只是本发明的较佳实施例,并非用来限制本发明实施范围,故凡以本发明权利要求所述内容所做的等效变化,均应包括在本发明权利要求范围之内。

Claims (7)

1.一种基于深度学习的VR虚拟驾驶训练及考试方法,其特征在于:包括如下步骤:
S1、获取路况实景:通过查询资料并去驾校询问获取驾驶路况;并依据访问得到的驾驶路况采用实景视频拍摄的方式获取路况实景全景图;
S2、3D建模: 让大量的用户进行试验以收集更多的数据点信息;采集用户的驾驶习惯和驾驶失误类型数据信息,建立数据库以及VR驾驶学习训练及考试场景模型;储存驾驶习惯及驾驶失误类型的模型;建立一个虚拟的VR驾驶学习训练及考试场景;
S3、入档分类:去驾校收集有驾驶经验的驾驶员的信息,对他们进行人脸识别,并录入系统;让用户使用虚拟驾驶考试系统,根据每人的操作及使用习惯进行分类存档;建立用户画像及分类,并将大量信息录入系统,基于深度学习通过用户对虚拟驾驶系统的操作及使用习惯将用户分类存档将其划分,反馈用户并让用户了解自己的分类类型,起到提前反馈及预防事故发生的作用;
S4、查找:学员通过人脸识别在数据库中查找自己对应的类型;若数据库中存在某一学员的图片,则在类别单元中查找与其相应的特征,找出类别对应的操作习惯,从而反馈给学员;若数据库中无某一学员的图片,则对该学员进行首次虚拟驾驶测试,通过深度学习将其结果录入数据库所对应的类型中;查找该学员特征所对应的类型,并将类型对应的操作习惯反馈给学员;
S5、融合:将步骤S3、S4的深度学习内容与步骤S1的路况实景虚拟场景全景图进行融合,以赋予机器自主学习的能力;
S6、系统测试并使用:完善VR虚拟驾驶训练及考试系统的功能,使整个系统平台实现基于深度学习的VR虚拟驾驶训练及考试功能,并对系统平台进行测试,发现问题并解决问题。
2.根据权利要求1所示的一种基于深度学习的VR虚拟驾驶训练及考试方法,其特征在于:步骤S2包括如下步骤:
S201:制作交互动画及VR里的2D界面,输出交互动画PNG序列和2D界面元素切图;
S202:通过设计3D路况模型草图从而获得3D路况设计草图模型;
S203:通过建立模型框架得到初始的3D模型;
S204:对初始的3D模型进行模拟细致刻画以得到真实的视觉最终3D模型;
S205:通过编写代码实现VR场景与虚拟驾驶考试程序的交互。
3.根据权利要求1所示的一种基于深度学习的VR虚拟驾驶训练及考试方法,其特征在于:步骤S3的分类,基于深度学习的用户画像进行分类存档,且步骤S3的分类,根据用户的驾驶习惯和驾驶错误类型对用户进行类别划分并进行类别判定;且每个类别对应不同类别用户的驾驶习惯预测。
4.根据权利要求1或3所示的一种基于深度学习的VR虚拟驾驶训练及考试方法,其特征在于:步骤S3的入档信息包括交通事故的入档录入;并通过交通事故的发生原因进行分类存档;建立预防性驾驶训练系统。
5.根据权利要求1所示的一种基于深度学习的VR虚拟驾驶训练及考试方法,其特征在于:所述方法包括基于深度学习的VR虚拟驾驶训练及考试系统;所述系统包括深度学习单元、训练单元、考试单元;所述深度学习单元输入端连接动作感应传感器和视频采集设备输出端;所述深度学习单元输出端连接虚拟场景生成单元输入端,所述虚拟场景生成单元输出端连接虚拟显示单元输入端;所述虚拟显示单元输出端连接VR头戴设备终端以及音频设备;所述深度学习单元包括驾驶习惯深度学习单元和交通事故深度学习单元;所述深度学习单元交互连接训练单元和考试单元;所述训练单元和考试单元并联连接类别匹配单元输入端;所述类别匹配单元输出端连接虚拟显示单元输入端;与训练单元、考试单元交互连接的深度学习单元基于5G网络交互连接数据库;所述数据库输出端连接类别匹配单元输入端,并通过类别匹配单元输出端连接虚拟显示单元输入端;所述基于深度学习的VR虚拟驾驶训练及考试系统还包括触控面板;所述触控面板输出端连接虚拟显示单元输入端。
6.根据权利要求1或5所示的一种基于深度学习的VR虚拟驾驶训练及考试方法,其特征在于:所述方法包括基于深度学习的VR虚拟驾驶训练及考试系统;所述系统基于5G技术网络通讯连接。
7.根据权利要求1所示的一种基于深度学习的VR虚拟驾驶训练及考试方法,其特征在于:步骤S1和步骤S3中包括事故发生前场景,且事故发生前场景分类存档;将事故发生前场景加入学习训练与考试场景中;虚拟事故发生前场景分类匹配对应自动错误提示功能,并根据错误提示将学员进行分类。
CN202011179273.9A 2020-10-29 2020-10-29 一种基于深度学习的vr虚拟驾驶训练及考试方法 Pending CN112053610A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011179273.9A CN112053610A (zh) 2020-10-29 2020-10-29 一种基于深度学习的vr虚拟驾驶训练及考试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011179273.9A CN112053610A (zh) 2020-10-29 2020-10-29 一种基于深度学习的vr虚拟驾驶训练及考试方法

Publications (1)

Publication Number Publication Date
CN112053610A true CN112053610A (zh) 2020-12-08

Family

ID=73606008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011179273.9A Pending CN112053610A (zh) 2020-10-29 2020-10-29 一种基于深度学习的vr虚拟驾驶训练及考试方法

Country Status (1)

Country Link
CN (1) CN112053610A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113299147A (zh) * 2021-06-30 2021-08-24 中国汽车工程研究院股份有限公司 基于交通事故深度调查的训练系统及训练方法
CN115798295A (zh) * 2022-11-30 2023-03-14 深圳市声扬科技有限公司 驾考模拟方法、装置、电子设备以及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107331179A (zh) * 2017-05-27 2017-11-07 东风商用车有限公司 一种基于大数据云平台的经济性驾驶辅助系统及实现方法
CN107679557A (zh) * 2017-09-19 2018-02-09 平安科技(深圳)有限公司 驾驶模型训练方法、驾驶人识别方法、装置、设备及介质
CN107918764A (zh) * 2017-11-16 2018-04-17 百度在线网络技术(北京)有限公司 信息输出方法和装置
CN108062875A (zh) * 2017-12-30 2018-05-22 上海通创信息技术股份有限公司 一种基于虚拟现实及大数据在线分析的云驾驶培训系统
CN108803623A (zh) * 2017-10-22 2018-11-13 怀效宁 一种自动驾驶车辆个性化行车的方法和行车合法化的系统
CN110060538A (zh) * 2019-04-08 2019-07-26 上海云之驾科技股份有限公司 基于历史数据建模的个性化人工智能驾培训练系统及方法
CN110874610A (zh) * 2018-09-01 2020-03-10 图森有限公司 一种使用机器学习的人类驾驶行为建模系统
CN110928620A (zh) * 2019-11-01 2020-03-27 天津卡达克数据有限公司 汽车hmi设计引起驾驶注意力分散评价方法及系统
CN111267863A (zh) * 2018-12-04 2020-06-12 广州汽车集团股份有限公司 驾驶员驾驶类型识别方法、装置、存储介质及终端设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107331179A (zh) * 2017-05-27 2017-11-07 东风商用车有限公司 一种基于大数据云平台的经济性驾驶辅助系统及实现方法
CN107679557A (zh) * 2017-09-19 2018-02-09 平安科技(深圳)有限公司 驾驶模型训练方法、驾驶人识别方法、装置、设备及介质
CN108803623A (zh) * 2017-10-22 2018-11-13 怀效宁 一种自动驾驶车辆个性化行车的方法和行车合法化的系统
CN107918764A (zh) * 2017-11-16 2018-04-17 百度在线网络技术(北京)有限公司 信息输出方法和装置
CN108062875A (zh) * 2017-12-30 2018-05-22 上海通创信息技术股份有限公司 一种基于虚拟现实及大数据在线分析的云驾驶培训系统
CN110874610A (zh) * 2018-09-01 2020-03-10 图森有限公司 一种使用机器学习的人类驾驶行为建模系统
CN111267863A (zh) * 2018-12-04 2020-06-12 广州汽车集团股份有限公司 驾驶员驾驶类型识别方法、装置、存储介质及终端设备
CN110060538A (zh) * 2019-04-08 2019-07-26 上海云之驾科技股份有限公司 基于历史数据建模的个性化人工智能驾培训练系统及方法
CN110928620A (zh) * 2019-11-01 2020-03-27 天津卡达克数据有限公司 汽车hmi设计引起驾驶注意力分散评价方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113299147A (zh) * 2021-06-30 2021-08-24 中国汽车工程研究院股份有限公司 基于交通事故深度调查的训练系统及训练方法
CN115798295A (zh) * 2022-11-30 2023-03-14 深圳市声扬科技有限公司 驾考模拟方法、装置、电子设备以及存储介质

Similar Documents

Publication Publication Date Title
CN110364049B (zh) 一种具有偏离度自动反馈数据闭环纠偏控制的专业技能实训辅助教学系统及辅助教学方法
CN110992763A (zh) 基于虚拟现实进行科目二的教学方法
CN112053610A (zh) 一种基于深度学习的vr虚拟驾驶训练及考试方法
CN108305524A (zh) 基于驾驶模拟平台的沉浸式驾驶行为矫正方法和系统
CN111475656B (zh) 基于外部知识聚合的视觉问答方法及系统
CN112655006A (zh) 一种驾驶教学系统及其使用方法、驾驶设备、计算机可读存储介质
CN106203296A (zh) 一种属性辅助的视频动作识别方法
CN107731036A (zh) 一种线上教育课程系统
CN114627717A (zh) 基于虚拟现实和大数据分析的新手驾驶员培训系统
CN110930811B (zh) 一种适用于无人驾驶决策学习和训练的系统
CN115410424A (zh) 一种机动车驾驶培训智能学习系统及使用方法
CN111488058A (zh) 一种基于ar及vr的训练方法及装置
Wang et al. Application of augmented reality technology in chemistry experiment teaching
Kowol et al. A-eye: Driving with the eyes of ai for corner case generation
CN115202479A (zh) 人在回路的人机共驾仿真系统及其应用
CN108429932A (zh) 视频处理方法和装置
CN113506196A (zh) 一种基于单向视频交互的模拟驾驶训练课程制作方法
CN218676283U (zh) 一种基于实车的实景虚拟驾驶平台
CN116127028A (zh) 一种基于引入对比学习的对话系统及前端实现方法
CN115577112B (zh) 一种基于类型感知门控注意力机制的事件抽取方法及系统
CN117649470A (zh) 一种基于驾培行业的ai数智人构建方法和系统
CN117437825A (zh) 一种交通安全培训系统、方法、终端及存储介质
CN112085209A (zh) 基于人工智能伦理备选规则的人工智能伦理风险防范方法
CN116403446A (zh) 基于文本驱动的数字人教育方法
Huang Design of Integrated English online education system based on Artificial Intelligence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201208