CN108681825A - 驾驶教学与评分方法、设备及计算机可读存储介质 - Google Patents
驾驶教学与评分方法、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN108681825A CN108681825A CN201810526817.0A CN201810526817A CN108681825A CN 108681825 A CN108681825 A CN 108681825A CN 201810526817 A CN201810526817 A CN 201810526817A CN 108681825 A CN108681825 A CN 108681825A
- Authority
- CN
- China
- Prior art keywords
- information
- driving
- vehicle
- driving instruction
- marking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000013528 artificial neural network Methods 0.000 claims abstract description 47
- 210000005036 nerve Anatomy 0.000 claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000005516 engineering process Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 238000000513 principal component analysis Methods 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 7
- 230000010365 information processing Effects 0.000 claims description 5
- 230000006399 behavior Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 210000004218 nerve net Anatomy 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000005284 excitation Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Educational Administration (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Educational Technology (AREA)
- General Health & Medical Sciences (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Traffic Control Systems (AREA)
- Data Mining & Analysis (AREA)
- Operations Research (AREA)
- Primary Health Care (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Game Theory and Decision Science (AREA)
Abstract
本发明公开了一种驾驶教学与评分方法、设备及计算机可读存储介质，驾驶教学与评分方法：获取视频信息中车辆的行驶信息作为神经网络的输入，获取车辆对应的控制信息作为神经网络的输出；根据输入和输出对神经网络进行训练，得到目标神经网络；获取视频信息中车辆的实时行驶信息，将实时行驶信息作为目标神经网络的输入，目标神经网络输出对应的控制信息，根据控制信息进行驾驶教学或者评分。基于训练好的目标神经网络，以当前模拟驾车环境中视频信息中行驶状况及路况信息为输入，输出相应最优操作。实现了在模拟驾驶环境中根据当前行驶信息实时指导驾驶员操作，并进行驾驶操作评分，节省了培训成本，也保证了驾驶教学与评分的一致性与自动性。
Description
技术领域
本发明涉及辅助驾驶技术领域，尤其涉及一种驾驶教学与评分方法、设备及计算机可读存储介质。
背景技术
深度学习目前已经在计算机视觉、语音识别以及自然语言处理等问题上有深入的研究，并取得了很多瞩目的成就，但是在处理与分析连续的数据方面的相关工作较少。近年来随着计算机仿真技术、实时信号处理技术、虚拟现实技术和多传感器融合技术等各项技术的不断发展和成熟，在汽车新技术试验、驾驶员培训和个人休闲娱乐等方面，模拟驾驶评分和教学系统的应用越来越受到欢迎。
现有的技术通常需要将模拟现实驾驶场景的视频进行事先分析，根据交通法规对驾驶员指导应该进行的操作，并对不同的操作选择进行评分。这种模式下的视频处理是需要耗费大量人工，灵活性也是较低的。而现实中，路面状况是繁杂多样的，通过大量的人工分析来覆盖所有可能出现的场景，成本非常高，可行性不强。
发明内容
本发明的主要目的在于提供一种驾驶教学与评分方法、设备及计算机可读存储介质，旨在解决现有技术中模拟驾车环境下无法根据当前驾驶状况及路况信息，实时给出最优操作进行驾驶指导和评分的技术问题。
为实现上述目的，本发明提供一种驾驶教学与评分方法，包括：
基于图像分析处理技术获取视频信息中车辆的实时行驶信息，将所述实时行驶信息作为目标神经网络的输入；
根据所述目标神经网络的输入，所述目标神经网络输出对应的控制信息；
根据所述控制信息进行模拟驾驶教学或者评分。
可选地，所述基于图像分析处理技术获取视频信息中车辆的实时行驶信息，将所述实时行驶信息作为目标神经网络的输入的步骤包括：
对所述视频信息中图像信息处理得到车辆所处路况，结合模拟器设定行驶信息，对所述车辆的行驶信息进行主成分分析(PCA)降维，得到目标神经网络的输入。
可选地，所述目标神经网络输出对应的控制信息的步骤包括：
对所述车辆的控制信息进行归一化处理，所述目标神经网络输出归一化的控制信息。
可选地，所述获取视频信息中车辆的实时行驶信息，将所述实时行驶信息作为目标神经网络的输入的步骤之前，还包括：
获取车辆的行驶信息作为神经网络的输入，获取车辆对应的控制信息作为神经网络的输出；
在所述输入刺激下训练神经网络，不断更新神经网络的连接权值，直至达到最小化网络损失函数，得到所述输入下稳定的输出，进而得到目标神经网络。
可选地，所述行驶信息包括：行驶速度、加速度、前方障碍物信息、交通灯信息、交通标志信息、车道线信息、道路标志信息、相邻车道信息和行驶方向中的至少一种。
可选地，所述控制信息包括：刹车和油门的控制量以及方向盘转向角的控制量中的至少一种。
可选地，所述根据所述控制信息进行模拟驾驶教学或者评分的步骤包括：
当处于驾驶教学模式时；
通过语音播报和/或视频显示所述控制信息；
根据所述控制信息指导驾驶员模拟驾驶车辆。
可选地，所述根据所述控制信息进行模拟驾驶教学或者评分的步骤包括：
当处于评分模式时；
将所述控制信息与驾驶员驾驶车辆的操作进行比对；
通过比对结果的匹配度，对驾驶员模拟实时操作车辆进行评分。
本发明还提供一种驾驶教学与评分设备，所述驾驶教学与评分设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的驾驶教学与评分程序，所述驾驶教学与评分程序被所述处理器执行时实现上述的驾驶教学与评分方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有驾驶教学与评分程序，所述驾驶教学与评分程序被处理器执行时实现上述的驾驶教学与评分方法的步骤。
本发明提供的一种驾驶教学与评分方法，通过获取视频信息中车辆的行驶信息作为神经网络的输入，获取车辆对应的控制信息作为神经网络的输出；根据所述输入和输出对神经网络进行训练，得到目标神经网络；获取视频信息中车辆的实时行驶信息，将所述实时行驶信息作为目标神经网络的输入，所述目标神经网络输出对应的控制信息，根据所述控制信息进行驾驶教学或者评分。基于训练好的目标神经网络，以当前模拟驾车环境中视频信息中行驶状况及路况信息为输入，输出相应最优操作。在驾驶教学模式下，通过该最优操作指导驾驶员进行相应操作，在评分模式下，通过该最优操作对驾驶员的驾驶行为进行评分，使驾驶员了解具体操作不当的地方，并根据最优操作进行改善。实现了根据当前行驶信息实时指导驾驶员操作，并进行驾驶操作评分，无需教练专门指导，节省了人力培训成本，再者，保证了驾驶教学与评分的一致性与自动性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本发明图驾驶教学与评分方法一实施例的流程示意图；
图3为本发明驾驶教学与评分方法一应用实施例的流程示意图；
图4为本发明驾驶教学与评分方法另一应用实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例驾驶教学与评分设备可以包括PC，也可以包括智能手机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面3)播放器、便携计算机等具有显示功能的可移动式终端设备。
如图1所示，该驾驶教学与评分设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，驾驶教学与评分设备还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，驾驶教学与评分设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的驾驶教学与评分设备结构并不构成对驾驶教学与评分设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及驾驶教学与评分程序。
在图1所示的驾驶教学与评分设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的驾驶教学与评分程序。
基于上述驾驶教学与评分设备硬件结构以及通信网络系统，提出本发明驾驶教学与评分方法各个实施例。
本发明提供一种驾驶教学与评分方法，在驾驶教学与评分方法的一实施例中，参照附图2，该方法包括：
步骤S10，基于图像分析处理技术获取视频信息中车辆的实时行驶信息，将所述实时行驶信息作为目标神经网络的输入；
神经网络是一种运算模型，由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式、权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。
目标神经网络为本发明中经过训练得到的可以实现驾驶教学与评分的神经网络。神经网络的训练依靠反向传播算法：最开始输入层输入特征输入向量，可以看作本实施例中的输入，网络层层计算获得输出，输出层发现输出和目标输出不一样，这时，就让最后一层神经元进行参数调整，最后一层神经元不仅自己调整参数，还会勒令连接它的倒数第二层神经元调整，层层往回退着调整，经过调整的网络会在样本上继续测试，如果输出还是出错，继续下轮回退调整，调整参数，直到输出满意为止。将所有的输入及其对应的输出对神经网络进行上述训练，得到目标神经网络。
行驶信息包括行驶速度、加速度、前方障碍物信息、交通灯信息、交通标志信息、车道线信息、道路标志信息、相邻车道信息、行驶方向和当前车道信息等，通过输入视频检测车辆的行驶信息。实时行驶信息，模拟驾车环境下视频信息中车辆在行驶过程中，图像信息处理得到车辆所处路况，结合模拟器设定的行驶信息。
步骤S20，根据所述目标神经网络的输入，所述目标神经网络输出对应的控制信息；
控制信息包括刹车和油门的控制量以及方向盘转向角的控制量。一种行驶信息对应一种控制信息。以上述步骤中的目标神经网络为基础，将计算得到的视频信息中当前车辆的行驶信息作为目标神经网络的输入，进而得到相应的输出，即控制信息。
例如，视频信息中图像信息处理得到车辆所处路况，结合模拟器设定行驶信息，获取得到视频信息中车辆的行驶信息为行驶速度60km/h，匀速，上坡坡度30°，获取的车辆对应的控制信息为刹车，速度降至40km/h，方向盘转向角0°，也就是说当车辆以60km/h的速度匀速行驶，前方道路出现坡度为30°的上坡时，踩刹车使速度降至40km/h，并沿当前道路行驶。那么，行驶速度60km/h，匀速，上坡坡度30°即是神经网络的输入，踩刹车使速度降至40km/h，并沿当前道路行驶即是神经网络的输出。
步骤S30，根据所述控制信息进行模拟驾驶教学或者评分。
在驾驶教学模式下，可以通过语音输出对当前车辆的行驶信息对应的控制信息进行播报和/或者视频动态显示，提示驾驶员当前车辆的控制操作。在评分模式下，将当前车辆的行驶信息对应的控制信息与驾驶员实际操作的控制信息进行比对，根据当前车辆的行驶信息对应的控制信息与驾驶员实际操作的控制信息的匹配程度进行评分。进而实现教学与评分标准的一致性与自动性。
在本实施例中通过获取视频信息中车辆的行驶信息作为神经网络的输入，获取车辆对应的控制信息作为神经网络的输出；根据所述输入和输出对神经网络进行训练，得到目标神经网络；获取视频信息中车辆的实时行驶信息，将所述实时行驶信息作为目标神经网络的输入，所述目标神经网络输出对应的控制信息，根据所述控制信息进行驾驶教学或者评分。基于训练好的目标神经网络，以当前模拟驾车环境中视频信息中行驶状况及路况信息为输入，输出相应最优操作。在驾驶教学模式下，通过该最优操作指导驾驶员进行相应操作，在评分模式下，通过该最优操作对驾驶员的驾驶行为进行评分，使驾驶员了解具体操作不当的地方，并根据最优操作进行改善。实现了根据当前行驶信息实时指导驾驶员操作，并进行驾驶操作评分，无需教练专门指导，节省了人力培训成本，再者，保证了驾驶教学与评分的一致性与自动性。
可选地，在本发明一种驾驶教学与评分方法的一实施例中，步骤S10基于图像分析处理技术获取视频信息中车辆的实时行驶信息，将所述实时行驶信息作为目标神经网络的输入的步骤包括：
步骤S11，对所述视频信息中图像信息处理得到车辆所处路况，结合模拟器设定行驶信息，对所述车辆的行驶信息进行主成分分析PCA降维，得到目标神经网络的输入。
主成分分析(Principal Component Analysis，PCA)，是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。在许多领域的研究与应用中，往往需要对反映事物的多个变量进行大量的观测，收集大量数据以便进行分析寻找规律。多变量大样本无疑会为研究和应用提供了丰富的信息，但也在一定程度上增加了数据采集的工作量，更重要的是在多数情况下，许多变量之间可能存在相关性，从而增加了问题分析的复杂性，同时对分析带来不便。如果分别对每个指标进行分析，分析往往是孤立的，而不是综合的。盲目减少指标会损失很多信息，容易产生错误的结论。因此需要找到一个合理的方法，在减少需要分析的指标同时，尽量减少原指标包含信息的损失，以达到对所收集数据进行全面分析的目的。由于各变量间存在一定的相关关系，因此有可能用较少的综合指标分别综合存在于各变量中的各类信息。主成分分析就属于这类降维的方法。
对模拟驾驶环境下视频信息中的图像进行计算处理得到车辆所处路况，结合模拟器设定行驶信息，对模拟环境下车辆的行驶信息中的多个行驶数据进行主成分分析，对行驶信息降维，降维之后的行驶信息作为神经网络的输入。当然也可以采用其他的降维方法，如，因子分析。
在本实施例中，通过对模拟环境下视频信息中行驶信息进行降维处理，仅仅需要以方差衡量行驶信息的信息量，不受数据集以外的因素影响；各主成分之间正交，可消除原始数据成分间的相互影响的因素；计算方法简单，主要运算是特征值分解，易于实现。
可选地，在本发明一种驾驶教学与评分方法的一实施例中，步骤S20所述所述目标神经网络输出对应的控制信息的步骤包括：
步骤S21，对所述车辆的控制信息进行归一化处理，所述目标神经网络输出归一化的控制信息。
归一化，把数据信息变为[-1,1]或者[0,1]等之间的小数，主要是为了数据处理方便，把数据映射到-1～1或者0～1范围之内处理，更加便捷快速。比如，可以采用归一化的方法就各个参数值都投影到0～1之间。具体归一化的算法可以是同时除以一个大数字，大数字＝最大值-最小值。最大值是指所有参数值的最大值，最小值是指所有参数值的最小值。为了避免出现负数，在除以大数字之前，将所有的参数值都减去最小值，然后再乘以大数字。举个例子，获取到的参数值为1000,10,20，-10等，那么最大值为1000，最小值为-10，而为了避免出现负数，首先减去最小值得到1010,20,30,0。然后再除以1010，那么相应的参数值就转换为了1,20/1010,30/1010,0。
刹车和油门的控制量归一化至[-1,1]之间，转向角的控制量也归一化至[-1,1]或者[0,1]等之间，这些值作为行驶信息输入的标准值，因此神经网络将输出两个回归值。
在本实施例中将车辆的控制信息，刹车和油门的控制量以及转向角的控制量进行归一化处理，将所有的车辆的控制信息都转换为标准值，使得后续控制信息的处理更加便捷快速。
可选地，在本发明一种驾驶教学与评分方法的一实施例中，步骤S10所述获取视频信息中车辆的实时行驶信息，将所述实时行驶信息作为目标神经网络的输入的步骤之前，还包括：
步骤S01，获取车辆的行驶信息作为神经网络的输入，获取车辆对应的控制信息作为神经网络的输出；
步骤S02，在所述输入刺激下训练神经网络，不断更新神经网络的连接权值，直至达到最小化网络损失函数loss，得到所述输入下稳定的输出，进而得到目标神经网络。
BP神经网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整神经网络的连接权值和阈值，使网络损失函数，网络的误差平方和(loss)最小。BP神经网络模型拓扑结构包括输入层(input)、隐层(hide layer)和输出层(output layer)。
神经网络训练主要思想：输入学习样本(本发明方法中作为神经网络输入的行驶信息，作为神经网络输出的对应的控制信息)，使用反向传播算法对神经网络的连接权值和偏差进行反复的调整训练，使输出的向量与期望向量尽可能地接近，当神经网络输出层的误差平方和小于指定的误差时训练完成，保存神经网络的连接权值和偏差。具体步骤如下：
(1)初始化，随机给定各连接权[w],[v]及阀值θi，rt。
(2)由给定的输入输出模式对计算隐层、输出层各单元输出
bj＝f(■wijai-θj)ct＝f(■vjtbj－rt)
式中：bj为隐层第j个神经元实际输出；ct为输出层第t个神经元的实际输出；wij为输入层至隐层的连接权；vjt为隐层至输出层的连接权。
dtk＝(ytk－ct)ct(1－ct)ejk＝[■dtvjt]bj(1－bj)
(3)选取下一个输入模式对返回第2步反复训练直到神经网的输出误差达到要求结束训练。
实质上是把一组样本输入/输出问题转化为一个非线性优化问题，并通过负梯度下降算法，利用迭代运算求解连接权值问题的一种学习方法。
在本发明驾驶教学与评分方法中将模拟驾驶环境下视频信息中画面进行计算出当前车辆所处路况结合模拟器设定行驶信息作为神经网络输入，对应的控制信息作为神经网络输出，反向传播算法对神经网络进行训练，在行驶信息输入刺激下训练神经网络，不断更新神经网络的连接权值，直至达到最小化网络损失函数，得到稳定的对应的控制信息输出，进而得到目标神经网络。
进一步地，在本发明一种驾驶教学与评分方法的一实施例中，步骤S30所述根据所述控制信息进行模拟驾驶教学或者评分的步骤包括：
步骤S311，当处于驾驶教学模式时；
步骤S312，通过语音播报和/或视频显示所述控制信息；
步骤S313，根据所述控制信息指导驾驶员模拟驾驶车辆。。
当上述步骤中得到的目标神经网络装载到模拟驾驶设备上运行时，通过对模拟驾驶视频信息画面进行计算处理得到当前模拟驾驶车辆所处的路况，结合模拟器设定行驶信息，对行驶速度、加速度、前方障碍物信息、交通灯信息、交通标志信息、车道线信息、道路标志信息、相邻车道信息、行驶方向等信息进行获取，将获取的上述行驶信息作为目标神经网络的输入，进而神经网络输出对应的车辆控制信息。当处于驾驶教学模式时，将神经网络实时输出的车辆的控制信息，通过语音播报或者视频显示等方式告知驾驶员，辅助指导当前车辆的驾驶员对车辆进行控制操作。
例如，当驾驶员对车辆进行操作，解析当前模拟驾驶视频信息得到当前车辆的行驶速度为60km/h，加速度为2m/s，前方道路标志限速80km/h，该获取的行驶信息通过神经网络输出的控制信息为刹车，油门控制车速低于80km/h，沿当前道路行驶。通过语音播报和/或视频显示，“当前车速60km/h，前方限速80km/h，请注意车速，避免超速，请沿当前道路行驶。”“当前道路限速80km/h，当前车速85km/h，您已超速，请注意车速”。通过语音播报和/或视频显示指导驾驶员对车辆进行控制操作，可以在模拟环境下，学习开车技巧，在一定程度上可以省去驾校学车的成本。
在本实施例中，通过将训练好的目标神经网络装载到模拟驾驶设备上，获取视频信息中当前车辆的行驶信息，并且实时输出对应的控制信息，在模拟环境中对车辆驾驶员操作进行实时指导，在一定程度上省去了去驾校接受培训的过程。
进一步地，在本发明一种驾驶教学与评分方法的一实施例中，步骤S30所述根据所述控制信息进行模拟驾驶教学或者评分的步骤包括：
步骤S321，当处于评分模式时；
步骤S322，将所述控制信息与驾驶员驾驶车辆的操作进行比对；
步骤S323，通过比对结果的匹配度，对驾驶员模拟实时操作车辆进行评分。
当上述步骤中得到的目标神经网络装载到模拟驾驶设备上运行时，通过对模拟驾驶视频信息画面进行计算处理得到当前模拟驾驶车辆所处的路况，结合模拟器设定行驶信息，对行驶速度、加速度、前方障碍物信息、交通灯信息、交通标志信息、车道线信息、道路标志信息、相邻车道信息、行驶方向等信息进行获取，将获取的上述行驶信息作为目标神经网络的输入，进而神经网络输出对应的车辆控制信息。当处于评分模式时，将驾驶员对车辆的实时操作与神经网络实时输出的车辆的控制信息进行比对，通过比对结果，对驾驶员对车辆的实时操作进行评分。对于不同的车辆操作，如，倒车入库，侧方停车、S弯道等，不同的驾车操作，可以执行不同的评分标准，根据实际需求对评分标准进行适应性变更。
例如，在模拟驾车环境下，当驾驶员对车辆进行操作，解析当前模拟驾驶视频信息得到当前车辆的行驶速度为60km/h，加速度为2m/s，前方道路标志限速80km/h，该获取的行驶信息通过神经网络输出的控制信息为刹车，油门控制车速低于80km/h，沿当前道路行驶。驾驶员对车辆的操作为刹车，车速控制在75km/h，沿当前道路行驶。那么将神经网络输出的控制信息刹车，油门控制车速低于80km/h，沿当前道路行驶，与驾驶员对车辆的操作刹车，车速控制在75km/h，沿当前道路行驶，两者之间进行比对，通过比对结果的匹配度，进而对车辆实时操作进行评分。当然，根据匹配度的不同可以设定不同的评分标准，根据评分标准给出最终的分值。
在本实施例中，通过将训练好的目标神经网络装载到模拟驾驶设备上，解析当前模拟驾驶视频信息获取当前车辆的行驶信息，并且实时输出对应的控制信息，将控制信息与驾驶员实际操作的控制信息进行比对，进而对驾驶员的实时操作进行评分，通过评分结果，可使驾驶员了解具体操作不足的地方，并做出改善。
本发明还提供一种驾驶教学与评分设备，所述驾驶教学与评分设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的驾驶教学与评分程序，所述驾驶教学与评分程序被所述处理器执行时实现上述的驾驶教学与评分方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有驾驶教学与评分程序，所述驾驶教学与评分程序被处理器执行时实现上述的驾驶教学与评分方法的步骤。
在本发明驾驶教学与评分设备和计算机可读存储介质的实施例中，包含了上述驾驶教学与评分方法各实施例的全部技术特征，说明书拓展和解释内容与上述驾驶教学与评分方法各实施例基本相同，在此不做赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种驾驶教学与评分方法，其特征在于，所述驾驶教学与评分方法包括以下步骤：
基于图像分析处理技术获取视频信息中车辆的实时行驶信息，将所述实时行驶信息作为目标神经网络的输入；
根据所述目标神经网络的输入，所述目标神经网络输出对应的控制信息；
根据所述控制信息进行模拟驾驶教学或者评分。
2.如权利要求1所述的驾驶教学与评分方法，其特征在于，所述基于图像分析处理技术获取视频信息中车辆的实时行驶信息，将所述实时行驶信息作为目标神经网络的输入的步骤包括：
对所述视频信息中图像信息处理得到车辆所处路况，结合模拟器设定行驶信息，对所述车辆的行驶信息进行主成分分析PCA降维，得到目标神经网络的输入。
3.如权利要求1所述的驾驶教学与评分方法，其特征在于，所述目标神经网络输出对应的控制信息的步骤包括：
对所述车辆的控制信息进行归一化处理，所述目标神经网络输出归一化的控制信息。
4.如权利要求1所述的驾驶教学与评分方法，其特征在于，所述获取视频信息中车辆的实时行驶信息，将所述实时行驶信息作为目标神经网络的输入的步骤之前，还包括：
获取车辆的行驶信息作为神经网络的输入，获取车辆对应的控制信息作为神经网络的输出；
在所述输入刺激下训练神经网络，不断更新神经网络的连接权值，直至达到最小化网络损失函数，得到所述输入下稳定的输出，进而得到目标神经网络。
5.如权利要求1所述的驾驶教学与评分方法，其特征在于，所述行驶信息包括：行驶速度、加速度、前方障碍物信息、交通灯信息、交通标志信息、车道线信息、道路标志信息、相邻车道信息和行驶方向中的至少一种。
6.如权利要求1所述的驾驶教学与评分方法，其特征在于，所述控制信息包括：刹车和油门的控制量以及方向盘转向角的控制量中的至少一种。
7.如权利要求1所述的驾驶教学与评分方法，其特征在于，所述根据所述控制信息进行模拟驾驶教学或者评分的步骤包括：
当处于驾驶教学模式时；
通过语音播报和/或视频显示所述控制信息；
根据所述控制信息指导驾驶员模拟驾驶车辆。
8.如权利要求1所述的驾驶教学与评分方法，其特征在于，所述根据所述控制信息进行模拟驾驶教学或者评分的步骤包括：
当处于评分模式时；
将所述控制信息与驾驶员驾驶车辆的操作进行比对；
通过比对结果的匹配度，对驾驶员模拟实时操作车辆进行评分。
9.一种驾驶教学与评分设备，其特征在于，所述驾驶教学与评分设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的驾驶教学与评分程序，所述驾驶教学与评分程序被所述处理器执行时实现如权利要求1至8中任一项所述的驾驶教学与评分方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有驾驶教学与评分程序，所述驾驶教学与评分程序被处理器执行时实现如权利要求1至8中任一项所述的驾驶教学与评分方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810526817.0A CN108681825A (zh) | 2018-05-28 | 2018-05-28 | 驾驶教学与评分方法、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810526817.0A CN108681825A (zh) | 2018-05-28 | 2018-05-28 | 驾驶教学与评分方法、设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108681825A true CN108681825A (zh) | 2018-10-19 |
Family
ID=63808522
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810526817.0A Pending CN108681825A (zh) | 2018-05-28 | 2018-05-28 | 驾驶教学与评分方法、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108681825A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109935130A (zh) * | 2019-04-01 | 2019-06-25 | 北京小马智行科技有限公司 | 控制教练车执行教学任务的方法和装置 |
| CN111768317A (zh) * | 2020-03-30 | 2020-10-13 | 杭州海康威视数字技术股份有限公司 | 一种实验操作评分方法、装置及设备 |
| CN111821695A (zh) * | 2019-04-19 | 2020-10-27 | 上海博泰悦臻网络技术服务有限公司 | 基于地图富翁游戏驾驶评判方法及装置、存储介质和终端 |
| CN113539009A (zh) * | 2021-06-08 | 2021-10-22 | 中兴智能汽车有限公司 | 一种基于5g的远程驾驶培训平台 |
| CN116911697A (zh) * | 2023-09-13 | 2023-10-20 | 交通运输部公路科学研究所 | 一种网络教学质量评价方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101763761A (zh) * | 2008-11-14 | 2010-06-30 | 北京宣爱智能模拟技术有限公司 | 虚拟驾驶场景生成方法、装置及机动车驾驶教学系统 |
| CN106023715A (zh) * | 2016-06-15 | 2016-10-12 | 长安大学 | 基于多gps和角度传感器的驾驶人辅助训练系统及其控制算法 |
| CN107844194A (zh) * | 2017-10-12 | 2018-03-27 | 深圳市末本科技有限公司 | 基于vr技术的培训方法、装置及计算机可读存储介质 |
| CN107944375A (zh) * | 2017-11-20 | 2018-04-20 | 北京奇虎科技有限公司 | 基于场景分割的自动驾驶处理方法及装置、计算设备 |
-
2018
- 2018-05-28 CN CN201810526817.0A patent/CN108681825A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101763761A (zh) * | 2008-11-14 | 2010-06-30 | 北京宣爱智能模拟技术有限公司 | 虚拟驾驶场景生成方法、装置及机动车驾驶教学系统 |
| CN106023715A (zh) * | 2016-06-15 | 2016-10-12 | 长安大学 | 基于多gps和角度传感器的驾驶人辅助训练系统及其控制算法 |
| CN107844194A (zh) * | 2017-10-12 | 2018-03-27 | 深圳市末本科技有限公司 | 基于vr技术的培训方法、装置及计算机可读存储介质 |
| CN107944375A (zh) * | 2017-11-20 | 2018-04-20 | 北京奇虎科技有限公司 | 基于场景分割的自动驾驶处理方法及装置、计算设备 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109935130A (zh) * | 2019-04-01 | 2019-06-25 | 北京小马智行科技有限公司 | 控制教练车执行教学任务的方法和装置 |
| CN111821695A (zh) * | 2019-04-19 | 2020-10-27 | 上海博泰悦臻网络技术服务有限公司 | 基于地图富翁游戏驾驶评判方法及装置、存储介质和终端 |
| CN111768317A (zh) * | 2020-03-30 | 2020-10-13 | 杭州海康威视数字技术股份有限公司 | 一种实验操作评分方法、装置及设备 |
| CN111768317B (zh) * | 2020-03-30 | 2023-10-13 | 杭州海康威视数字技术股份有限公司 | 一种实验操作评分方法、装置及设备 |
| CN113539009A (zh) * | 2021-06-08 | 2021-10-22 | 中兴智能汽车有限公司 | 一种基于5g的远程驾驶培训平台 |
| CN116911697A (zh) * | 2023-09-13 | 2023-10-20 | 交通运输部公路科学研究所 | 一种网络教学质量评价方法 |
| CN116911697B (zh) * | 2023-09-13 | 2023-11-17 | 交通运输部公路科学研究所 | 一种网络教学质量评价方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108681825A (zh) | 驾驶教学与评分方法、设备及计算机可读存储介质 | |
| US11907848B2 (en) | Method and apparatus for training pose recognition model, and method and apparatus for image recognition | |
| CN106445701B (zh) | 数据处理方法和装置 | |
| US11501657B2 (en) | Systems and methods for virtual reality based driver training | |
| CN107491726A (zh) | 一种基于多通道并行卷积神经网络的实时表情识别方法 | |
| Yang et al. | Feature analysis and selection for training an end-to-end autonomous vehicle controller using deep learning approach | |
| CN107030691A (zh) | 一种看护机器人的数据处理方法及装置 | |
| CN109344840A (zh) | 图像处理方法和装置、电子设备、存储介质、程序产品 | |
| CN106373453A (zh) | 一种沉浸式高铁列车虚拟驾驶行为智能评判方法及仿真系统 | |
| CN109284812A (zh) | 一种基于改进dqn的视频游戏模拟方法 | |
| CN109858553A (zh) | 驾驶状态的监测模型更新方法、更新装置及存储介质 | |
| Yuan et al. | Multi-reward architecture based reinforcement learning for highway driving policies | |
| CN110930811B (zh) | 一种适用于无人驾驶决策学习和训练的系统 | |
| CN114092920A (zh) | 一种模型训练的方法、图像分类的方法、装置及存储介质 | |
| Peng et al. | Feature fusion based automatic aesthetics evaluation of robotic dance poses | |
| CN108717536A (zh) | 驾驶教学与评分方法、设备及计算机可读存储介质 | |
| CN107817799A (zh) | 结合虚拟迷宫进行智能交互的方法及系统 | |
| CN112381376A (zh) | 一种驾驶能力过程性评价的方法及装置 | |
| CN107729983A (zh) | 一种利用机器视觉实现人机对弈的方法、装置及电子设备 | |
| CN108733962B (zh) | 一种无人车的拟人驾驶员控制模型的建立方法和系统 | |
| Perdiz et al. | A reinforcement learning assisted eye-driven computer game employing a decision tree-based approach and cnn classification | |
| CN115202479A (zh) | 人在回路的人机共驾仿真系统及其应用 | |
| Gu et al. | Online teaching gestures recognition model based on deep learning | |
| Hu et al. | Multi-objective optimization for autonomous driving strategy based on Deep Q Network | |
| CN110942700A (zh) | 一种基于虚拟现实的动车模拟驾驶系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181019 |
|
| RJ01 | Rejection of invention patent application after publication |