CN117325762A - 一种车辆控制方法、系统及ar头显 - Google Patents
一种车辆控制方法、系统及ar头显 Download PDFInfo
- Publication number
- CN117325762A CN117325762A CN202210737144.XA CN202210737144A CN117325762A CN 117325762 A CN117325762 A CN 117325762A CN 202210737144 A CN202210737144 A CN 202210737144A CN 117325762 A CN117325762 A CN 117325762A
- Authority
- CN
- China
- Prior art keywords
- information
- target
- driver
- head
- action intention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 210000003128 head Anatomy 0.000 claims abstract description 98
- 230000009471 action Effects 0.000 claims abstract description 69
- 210000001525 retina Anatomy 0.000 claims abstract description 30
- 230000000875 corresponding effect Effects 0.000 claims description 27
- 238000003062 neural network model Methods 0.000 claims description 24
- 230000001133 acceleration Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 13
- 230000002207 retinal effect Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 8
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 8
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 2
- 239000000306 component Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
Abstract
本申请实施例提供了一种车辆控制方法、系统及AR头显，该方法包括：获取目标车辆行驶信息，并接收AR头显发送的驾驶员的目标头部姿态信息；根据目标车辆行驶信息与目标头部姿态信息确定驾驶员的目标动作意图；获取目标动作意图的关联信息，并将关联信息发送给AR头显，以使AR头显向驾驶员的视网膜投影所述关联信息，可以解决相关技术中相关技术中由驾驶员主动发起命令，智能座舱予以响应，费时又费力的问题，通过驾驶员的动作结合车辆行驶信息预测驾驶员的动作意图，向AR头显提供动作意图的关联信息，通过AR头显投影到驾驶员的视网膜上显示，便于驾驶员的操作，提高了驾驶员的体验。
Description
技术领域
本申请实施例涉及通信领域，具体而言，涉及一种车辆控制方法、系统及AR头显。
背景技术
汽车智能化、网联化趋势不断加深汽车产业数字化变革，对人、车、环境关系带来新的影响，人机交互设计已经成为智能汽车发展和创新的核心要素。未来智能汽车将作为平台集成大量的功能，人机交互对于汽车安全性和操作效率起到关键的作用。任何汽车都是由人来操作或者使用的，人机交互系统设计的工作效率、安全性、便捷性，甚至是人在操作设备时的心理愉悦感和疲劳感，都直接影响到汽车的使用安全和工作状态。目前存在的汽车人机交互系统包括仪表盘、触摸屏以及抬头显示(Head UP Display，简称为HUD)等。由驾驶员主动发起命令，智能座舱予以响应，费时又费力。
针对相关技术中相关技术中由驾驶员主动发起命令，智能座舱予以响应，费时又费力的问题，尚未提出解决方案。
发明内容
本申请实施例提供了一种车辆控制方法、系统及AR头显，以至少解决相关技术中由驾驶员主动发起命令，智能座舱予以响应，费时又费力的问题。
根据本申请的一个实施例，提供了一种车辆控制方法，所述方法包括：
获取目标车辆行驶信息，并接收增强现实(Augmented Reality，简称为AR)头显发送的驾驶员的头部姿态信息；
根据所述目标车辆行驶信息与所述头部姿态信息确定所述驾驶员的目标动作意图；
获取所述目标动作意图的关联信息，并将所述关联信息发送给AR头显，以使所述AR头显向所述驾驶员的视网膜投影所述关联信息。
根据本申请的另一个实施例，还提供了一种AR头显，所述AR头显包括：处理器、传感器组以及视网膜投影仪，其中，
所述传感器组，用于采集驾驶员的目标头部姿态信息，将所述目标头部姿态信息发送给汽车中控，以使所述汽车中控基于所述目标头部姿态信息与目标车辆行驶信息确定所述驾驶员的目标动作意图，并获取所述目标动作意图的关联信息；
所述处理器，用于接收所述关联信息，并将所述关联信息传输到所述视网膜投影仪；
所述视网膜投影仪，用于将所述关联信息投影到所述驾驶员的视网膜显示。
根据本申请的又一个实施例，还提供了一种车辆控制系统，所述车辆控制系统包括：汽车中控，其中，
所述汽车中控，用于获取车辆行驶信息，并接收所述AR头显发送的驾驶员的头部姿态信息；根据所述车辆行驶信息与所述头部姿态信息确定所述驾驶员的目标动作意图，获取所述目标动作意图的关联信息，并将所述关联信息发送给权利要求4至8中任一项所述的AR头显，以使所述AR头显向所述驾驶员的视网膜投影所述关联信息。
根据本申请的又一个实施例，还提供了一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本申请的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
本申请实施例，获取目标车辆行驶信息，并接收所述AR头显发送的驾驶员的目标头部姿态信息；根据所述目标车辆行驶信息与所述目标头部姿态信息确定所述驾驶员的目标动作意图；获取所述目标动作意图的关联信息，并将所述关联信息发送给AR头显，以使所述AR头显向驾驶员的视网膜投影所述关联信息，可以解决相关技术中相关技术中由驾驶员主动发起命令，智能座舱予以响应，费时又费力的问题，通过驾驶员的动作结合车辆行驶信息预测驾驶员的动作意图，向AR头显提供动作意图的关联信息，通过AR头显投影到驾驶员的视网膜上显示，便于驾驶员的操作，提高了驾驶员的体验。
附图说明
图1是本申请实施例的车辆控制方法的移动终端的硬件结构框图；
图2是根据本申请实施例的车辆控制方法的流程图；
图3是根据本申请实施例的AR头显的框图；
图4是根据本申请可选实施例的AR头显的示意图；
图5是根据本申请实施例的车辆控制系统的框图；
图6是根据本申请实施例的神经网络模型的示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请的实施例。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本申请实施例的车辆控制方法的移动终端的硬件结构框图，如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本申请实施例中的车辆控制方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及业务链地址池切片处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于上述移动终端或网络架构的车辆控制方法，图2是根据本申请实施例的车辆控制方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，获取目标车辆行驶信息，并接收AR头显发送的驾驶员的目标头部姿态信息；
步骤S204，根据目标车辆行驶信息与目标头部姿态信息确定驾驶员的目标动作意图；
本实施例中，上述步骤S204具体可以包括：将目标头部姿态信息与目标车辆行驶信息输入预先训练好的神经网络模型中，得到该神经网络模型输出的驾驶员对应各种动作意图的概率，将该概率中最大值对应的动作意图确定为驾驶员的目标动作意图。
进一步的，在确定驾驶员的目标动作意图之前，可以通过历史数据训练神经网络模型，具体的神经网络模型可以为MLP网络，该MLP网络包括一个输入层、一个输出层以及多个隐藏层，具体的，获取预定数量的样本数据与对应的动作意图，该样本数据包括：车辆行驶信息与头部姿态信息；根据预定数量的样本数据与对应的动作意图对多层感知机MLP网络进行训练，得到训练好的神经网络模型，其中，预定数量的样本数据为MLP网络的输入，动作意图为MLP网络的输出，经过反复训练，当训练好的神经网络模型输出的目标车辆行驶信息与目标头部姿态信息的动作意图与实际的动作意图满足预设条件，即完成训练后神经网络模型的损失函数小于预设阈值。
步骤S206，获取目标动作意图的关联信息，并将关联信息发送给AR头显，以使AR头显向驾驶员的视网膜投影关联信息。
本实施例中，上述步骤S206中，获取目标动作意图的关联信息具体可以包括：根据目标动作意图调用对应功能函数，通过功能函数获取目标动作意图的关联信息。
通过上述步骤S202至S206，可以解决相关技术中相关技术中由驾驶员主动发起命令，智能座舱予以响应，费时又费力的问题，通过驾驶员的动作结合车辆行驶信息预测驾驶员的动作意图，向AR头显提供动作意图的关联信息，通过AR头显投影到驾驶员的视网膜上显示，便于驾驶员的操作，提高了驾驶员的体验。
本申请实施例的应用场景为汽车智能座舱，在行驶途中，座舱可以根据当前路况和驾驶员的动作来预测驾驶员的意图，从而在驾驶员的视网膜上投射相应的信息，并且可以做到路况的主动提醒，从而提高驾驶安全性以及提升驾驶体验。
根据本申请的另一个实施例，还提供了一种AR头显，图3是根据本申请实施例的AR头显的框图，如图3所示，AR头显包括：处理器32、传感器组34以及视网膜投影仪36，其中，
传感器组34，用于采集驾驶员的目标头部姿态信息，将目标头部姿态信息发送给汽车中控，以使汽车中控基于目标头部姿态信息与目标车辆行驶信息确定驾驶员的目标动作意图，并获取目标动作意图的关联信息；
处理器32，用于接收关联信息，并将关联信息传输到视网膜投影仪36；
视网膜投影仪36，用于向驾驶员的视网膜投影关联信息。
在一实施例中，传感器组34包括加速度传感器、陀螺仪和电子罗盘，其中，加速传感器，用于测量各方向的加速度；陀螺仪，用于测量变换角度与变换方向；电子罗盘，用于对加速度、变换角度以及变换方向进行修正，得到目标头部姿态信息，其中，目标头部姿态信息包括修正后的加速度、变换角度、变换方向。
本申请实施例中的加速度传感器具体可以是两轴加速度传感器，陀螺仪具体可以是三周陀螺仪，电子罗盘具体可以是三轴电子罗盘。可选的，上述传感器组还可以包括速度传感器，用于采集速度信息。
在一实施例中，处理器32包括通信模块、片上系统SOC，其中，通信模块，用于接收目标车辆行驶信息与音频信息，并将目标车辆行驶信息与音频信息传输给SOC；SOC，还用于将目标车辆行驶信息转换为视网膜投影仪36识别的目标车辆行驶信息，并将音频信息传输给播放设备，以通过播放设备播放音频信息。
进一步的，SOC，还用于在目标车辆行驶信息为非图像的情况下，将目标车辆行驶信息处理成可视化图像，将可视化图像传输给视网膜投影仪36，在目标车辆行驶信息为图像数据的情况下，直接将目标车辆行驶信息传输给视网膜投影仪36；视网膜投影仪36，还用于将可视化图像或目标车辆行驶信息投影到驾驶员的视网膜上。
在一实施例中，上述的AR头显还包括电源模块，用于对处理器32、传感器组34以及视网膜投影仪36进行供电。
下面以传感器组为六轴传感器威力对AR头显进行详细说明。
图4是根据本申请可选实施例的AR头显的示意图，如图4所示，AR头显包括：
通信模块42，根据需求选择支持蓝牙、wifi或者widi等无线通信协议或相应的有线通信协议如USB3.0等，主要负责接受中控、仪表、先进辅助驾驶系统(Advanced DrivingAssistance System，简称为ADAS)及物理按键传来的信息，如速度、导航信息或控制信息；
SOC44，主要组成部分为中央处理器(Central Processing Unit，简称为CPU)、图形处理器(Graphic Processing Unit，简称为GPU)、数字信号处理(Digital SignalProcessing，简称为DSP)等，负责实时处理通信模块接收的信息，转换成适合视网膜投影的形式输出给视网膜投影仪，投射到驾驶员的视网膜上；另外负责解析通信模块接收到的音频信息，传输给耳机用以提醒驾驶员。
六轴传感器46，包括两轴加速度传感器、两轴陀螺仪和两轴电子罗盘。由于处于驾驶状态的司机的头部动作主要是俯仰及在水平面的旋转，所以采用六轴传感器就足够了。
其中，加速传感器用于测量空间中各方向的加速度。它利用一个“重力块”的惯性，传感器在运动的时候，“重力块”会对X、Z方向(前后左右上下)产生压力，再利用一种压电晶体，把这种压力转换成电信号，随着运动的变化，各方向压力不同，电信号也在变化，从而判断加速方向和速度大小。
陀螺仪用于测量角度以及维持方向。陀螺仪能检测X、Z方向的角速度，能侦测出物体各方向的旋转，所以能够辨认方向、确认姿态、计算角速度。
电子罗盘用于修正补偿。通过操作加速传感器和陀螺仪，基本可以描述设备的完整运动状态。但是随着长时间运动，也会产生累计偏差，不能准确描述运动姿态。电子罗盘(地磁传感器)利用测量地球磁场，通过绝对指向功能进行修正补偿，可以有效解决累计偏差，从而修正人体的运动方向、姿态角度、运动力度和速度等。
六轴传感器就能感知到的头显的姿态，结合AI算法判断驾驶员的意图，从而命令车辆反馈相应的信息。比如驾驶员头部向右旋转一个较大的角度，AI判定驾驶员有向右侧变线的意图，则知会ADAS系统将右后方的雷达及相机采集到的信息经过处理之后传到AR头显，从而投影到驾驶员的视网膜中。
视网膜投影仪36，是AR头显的核心组成部分，负责将汽车反馈给驾驶员的信息投影到驾驶员的视网膜上；
电池及电源管理模块48，负责给系统供电；
操作系统410，软件为系统软件，负责整个设备的软硬件管理。
根据本申请的又一个实施例，还提供了一种车辆控制系统，图5是根据本申请实施例的车辆控制系统的框图，如图5所示，所述车辆控制系统包括：汽车中控52和上述任一项AR头显54，其中，
汽车中控52，用于获取目标车辆行驶信息，并接收AR头显54发送的驾驶员的目标头部姿态信息；根据目标车辆行驶信息与目标头部姿态信息确定驾驶员的目标动作意图，获取目标动作意图的关联信息，并将关联信息发送给上述的AR头显54，以使AR头显54向驾驶员的视网膜投影该关联信息。
在一实施例中，汽车中控52，还用于根据目标动作意图调用对应功能函数，通过功能函数获取目标动作意图的关联信息。
在一实施例中，汽车中控52，还用于将目标头部姿态信息与目标车辆行驶信息输入预先训练好的神经网络模型中，得到该神经网络模型输出的驾驶员对应各种动作意图的概率，将概率中最大值对应的动作意图确定为驾驶员的目标动作意图。
汽车中控52，还用于获取预定数量的样本数据与对应的动作意图，该样本数据包括：车辆行驶信息与头部姿态信息；根据预定数量的样本数据与对应的动作意图对多层感知机MLP网络进行训练，得到训练好的神经网络模型，其中，预定数量的样本数据为MLP网络的输入，动作意图为MLP网络的输出，训练好的神经网络模型输出的目标车辆行驶信息与目标头部姿态信息的动作意图与实际的动作意图满足预设条件，该MLP网络包括一个输入层、一个输出层以及多个隐藏层。
神经网络模型具体可以采用一个MLP(多层感知机)网络来实现，图6是根据本申请实施例的神经网络模型的示意图，如图6所示，该网络由一个输入层、一个输出层和N个隐藏层构成，层与层之间是全连接的。输入层输入的是六轴传感器及ADAS传来的经过预处理的数据，如速度、距离等参数。输出层由M个节点构成，分别代表着预先设置的M种驾驶意图。损失函数为MSE(最小二乘)，采用链式法则和梯度下降法进行拟合。该网络可以通过预先获取的样本数据进行训练，该样本数据是从该汽车历史行驶数据中提取出的数据，例如当汽车转向时汽车传感器获取到的汽车路况信息，例如车辆前方预定距离内有其他车辆和障碍物，车辆左右车道预定距离内是否有其他车辆和障碍物，以及自身车辆和周边车辆的位置和速度等等。将样本数据[车辆是否转向相邻车道，车辆前方是否有障碍物，车辆转向车道前方是否有障碍物，车辆后方将转到车道是否有车辆，车辆与转到车道上车辆的距离，车辆与转到车道上车辆的相对速度，....]对MLP(多层感知机)网络进行训练，得到训练好的MLP模型。
下面举例对工作流程的详细说明。
驾驶员在行车途中发现新的路况需要改变当前的驾驶状态，如前方道路拥堵，需要向右变道，此时必须观察右后方的路况，因此驾驶员的头部水平向右旋转至可以直视右侧后视镜的位置。驾驶员在上一步做出的动作引起六轴传感器的状态发生变化，于是设备向AR头显内置的SOC发出一个中断并跳转至相应的处理程序。该程序读取六轴传感器输出的数据，然后调用经过校准的算法解析数据，并输出角度、速度等运动信息给训练好的神经网络模型。
ADAS实时跟踪车辆四周的路况，如前方是否有行人或障碍物，前方和侧方是否有车辆及车辆与本车的距离和相对速度等，ADAS将这些信息经过一定的处理抽象成速度、方位等信息实时传输给神经网络模型。
驾驶员意图判断算法接收六轴传感器解析出来的数据并结合ADAS传来前方路况信息，将这些信息综合起来输入一个预先训练好的神经网络，根据传输来的数据结合日常学习到的驾驶员的驾驶习惯对驾驶员的意图进行判断，如判断驾驶员有向右变道的意图，然后根据不同的意图调用不同的功能函数，如AI如果判断此时驾驶员有向右变道意图，则通过相应的驱动程序读取右侧后方的毫米波雷达数据以及摄像头的数据。
功能函数被调用之后采集需要反馈的信息并进行一定的处理。如果向右变道处理函数此时会与ADAS系统接通，读取ADAS从右侧后方雷达和相机解析出来的信息，如有无车辆、相对位置、接近速度及车辆吨位等。另外在传输带宽足够大、延迟足够小的情况下，可以将右侧后方相机所摄取的视频流实时传输到AR头显。通过通信模块获取的路况信息，通过有线或无线协议传输至AR头显。AR头显接收到汽车传来的信息，调用相应的处理函数对信息进行二次处理，如将位置、速度信息等处理成可视化的图像，处理完毕之后将可视化信息送至视网膜投影仪进行投影。或者将相机传来的视频流直接传输到视网膜投影仪，完成对驾驶员的信息反馈。
本申请的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本申请的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (12)
1.一种车辆控制方法，其特征在于，所述方法包括：
获取目标车辆行驶信息，并接收AR头显发送的驾驶员的目标头部姿态信息；
根据所述目标车辆行驶信息与所述目标头部姿态信息确定所述驾驶员的目标动作意图；
获取所述目标动作意图的关联信息，并将所述关联信息发送给AR头显，以使所述AR头显向所述驾驶员的视网膜投影所述关联信息。
2.根据权利要求1所述的方法，其特征在于，获取所述目标动作意图的关联信息包括：
根据所述目标动作意图调用对应功能函数，通过所述功能函数获取所述目标动作意图的关联信息。
3.根据权利要求1或2所述的方法，其特征在于，根据所述目标车辆行驶信息与所述目标头部姿态信息确定所述驾驶员的目标动作意图包括：
将所述目标头部姿态信息与所述目标车辆行驶信息输入预先训练好的神经网络模型中，得到所述神经网络模型输出的所述驾驶员对应各种动作意图的概率，将所述概率中最大值对应的动作意图确定为所述驾驶员的目标动作意图。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取预定数量的样本数据与对应的动作意图，其中，所述样本数据包括：车辆行驶信息与头部姿态信息；
根据所述预定数量的样本数据与对应的动作意图对多层感知机MLP网络进行训练，得到所述训练好的神经网络模型，其中，所述预定数量的样本数据为所述MLP网络的输入，所述动作意图为所述MLP网络的输出，所述训练好的神经网络模型输出的所述目标车辆行驶信息与所述目标头部姿态信息的动作意图与实际的动作意图满足预设条件，所述MLP网络包括一个输入层、一个输出层以及多个隐藏层。
5.一种AR头显，其特征在于，所述AR头显包括：处理器、传感器组以及视网膜投影仪，其中，
所述传感器组，用于采集驾驶员的目标头部姿态信息，将所述目标头部姿态信息发送给汽车中控，以使所述汽车中控基于所述目标头部姿态信息与目标车辆行驶信息确定所述驾驶员的目标动作意图，并获取所述目标动作意图的关联信息；
所述处理器，用于接收所述关联信息，并将所述关联信息传输到所述视网膜投影仪；
所述视网膜投影仪，用于向所述驾驶员的视网膜投影所述关联信息。
6.根据权利要求5所述的AR头显，其特征在于，
所述传感器组包括加速度传感器、陀螺仪和电子罗盘，其中，
所述加速传感器，用于测量各方向的加速度；
所述陀螺仪，用于测量变换角度与变换方向；
所述电子罗盘，用于对所述加速度、所述变换角度以及所述变换方向进行修正，得到所述目标头部姿态信息，其中，所述目标头部姿态信息包括修正后的加速度、变换角度、变换方向。
7.根据权利要求6所述的AR头显，其特征在于，所述AR头显还包括片上系统SOC，其中，
所述SOC，用于在所述目标车辆行驶信息为非图像的情况下，将所述目标车辆行驶信息处理成可视化图像，将所述可视化图像传输给所述视网膜投影仪，在所述目标车辆行驶信息为图像数据的情况下，直接将所述目标车辆行驶信息传输给所述视网膜投影仪；
所述视网膜投影仪，还用于将所述可视化图像或所述目标车辆行驶信息投影到所述驾驶员的视网膜上。
8.一种车辆控制系统，其特征在于，所述车辆控制系统包括：汽车中控和如权利要求4至7中任一项所述的AR头显，其中，
所述汽车中控，用于获取目标车辆行驶信息，并接收所述AR头显发送的驾驶员的目标头部姿态信息；根据所述目标车辆行驶信息与所述目标头部姿态信息确定所述驾驶员的目标动作意图，获取所述目标动作意图的关联信息，并将所述关联信息发送给所述AR头显，以使所述AR头显向所述驾驶员的视网膜投影所述关联信息。
9.根据权利要求8所述的车辆控制系统，其特征在于，
所述汽车中控，还用于根据所述目标动作意图调用对应功能函数，通过所述功能函数获取所述目标动作意图的关联信息。
10.根据权利要求8或9所述的车辆控制系统，其特征在于，
所述汽车中控，还用于将所述目标头部姿态信息与所述目标车辆行驶信息输入预先训练好的神经网络模型中，得到所述神经网络模型输出的所述驾驶员对应各种动作意图的概率，将所述概率中最大值对应的动作意图确定为所述驾驶员的目标动作意图。
11.根据权利要求8或9所述的车辆控制系统，其特征在于，
所述汽车中控，还用于获取预定数量的样本数据与对应的动作意图，其中，所述样本数据包括：车辆行驶信息与头部姿态信息；根据所述预定数量的样本数据与对应的动作意图对多层感知机MLP网络进行训练，得到所述训练好的神经网络模型，其中，所述预定数量的样本数据为所述MLP网络的输入，所述动作意图为所述MLP网络的输出，所述训练好的神经网络模型输出的所述目标车辆行驶信息与所述目标头部姿态信息的动作意图与实际的动作意图满足预设条件，所述MLP网络包括一个输入层、一个输出层以及多个隐藏层。
12.一种计算机可读的存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至4任一项中所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210737144.XA CN117325762A (zh) | 2022-06-27 | 2022-06-27 | 一种车辆控制方法、系统及ar头显 |
| PCT/CN2023/102506 WO2024002028A1 (zh) | 2022-06-27 | 2023-06-26 | 一种车辆控制方法、系统及ar头显 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210737144.XA CN117325762A (zh) | 2022-06-27 | 2022-06-27 | 一种车辆控制方法、系统及ar头显 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117325762A true CN117325762A (zh) | 2024-01-02 |
Family
ID=89276062
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210737144.XA Pending CN117325762A (zh) | 2022-06-27 | 2022-06-27 | 一种车辆控制方法、系统及ar头显 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN117325762A (zh) |
| WO (1) | WO2024002028A1 (zh) |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160084661A1 (en) * | 2014-09-23 | 2016-03-24 | GM Global Technology Operations LLC | Performance driving system and method |
| CN110316065B (zh) * | 2018-03-30 | 2022-12-27 | 深圳市掌网科技股份有限公司 | 一种车用辅助显示系统及方法 |
| US10860873B2 (en) * | 2018-09-17 | 2020-12-08 | Honda Motor Co., Ltd. | Driver behavior recognition and prediction |
| KR20190083317A (ko) * | 2019-06-20 | 2019-07-11 | 엘지전자 주식회사 | 차량의 차선 변경에 관련된 알림을 제공하는 인공 지능 장치 및 그 방법 |
| CN110348198B (zh) * | 2019-06-21 | 2024-04-12 | 华为技术有限公司 | 仿真对象的身份识别方法、相关装置及系统 |
| CN112109550A (zh) * | 2020-09-08 | 2020-12-22 | 中国第一汽车股份有限公司 | 基于ar-hud的预警信息的显示方法、装置、设备及车辆 |
| CN112677977B (zh) * | 2020-12-28 | 2022-08-05 | 科大讯飞股份有限公司 | 行车状态识别方法、装置、电子设备和转向灯控制方法 |
| CN113978366A (zh) * | 2021-11-19 | 2022-01-28 | 重庆邮电大学 | 一种基于人眼注意力的智能电子后视镜系统及实现方法 |
-
2022
- 2022-06-27 CN CN202210737144.XA patent/CN117325762A/zh active Pending
-
2023
- 2023-06-26 WO PCT/CN2023/102506 patent/WO2024002028A1/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024002028A1 (zh) | 2024-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210208597A1 (en) | Sensor aggregation framework for autonomous driving vehicles | |
| US10328973B2 (en) | Assisting drivers with roadway lane changes | |
| US9922466B2 (en) | Virtual reality experience for a vehicle | |
| US10043316B2 (en) | Virtual reality experience for a vehicle | |
| EP3620959B1 (en) | Image data acquisition logic of an autonomous driving vehicle for capturing image data using cameras | |
| JP6841843B2 (ja) | 車両制御システム、車両制御方法、および車両制御プログラム | |
| US11884155B2 (en) | Graphical user interface for display of autonomous vehicle behaviors | |
| US20200338983A1 (en) | Graphical user interface for display of autonomous vehicle behaviors | |
| JP2018190217A (ja) | 運転者監視装置、及び運転者監視方法 | |
| US11897483B2 (en) | Apparatuses, systems and methods for determining distracted drivers associated with vehicle driving routes | |
| CN112307642B (zh) | 数据处理方法、装置、系统、计算机设备及存储介质 | |
| WO2016031105A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP6766171B2 (ja) | 車両制御システム、車両制御方法、および車両制御プログラム | |
| CN107526431B (zh) | 用于预测视觉注意力的目标的设备及方法 | |
| CN109196437B (zh) | 智能驾驶方法、装置及存储介质 | |
| US11626028B2 (en) | System and method for providing vehicle function guidance and virtual test-driving experience based on augmented reality content | |
| CN113205088B (zh) | 障碍物图像展示方法、电子设备和计算机可读介质 | |
| EP3780578A1 (en) | Exposure control device, exposure control method, program, imaging device, and moving body | |
| US10891502B1 (en) | Apparatuses, systems and methods for alleviating driver distractions | |
| JP2020080542A (ja) | 車両の画像提供システム、サーバーシステムおよび車両の画像提供方法 | |
| CN113343457B (zh) | 自动驾驶的仿真测试方法、装置、设备及存储介质 | |
| US20230001954A1 (en) | Operating a vehicle | |
| WO2021024805A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
| CN117325762A (zh) | 一种车辆控制方法、系统及ar头显 | |
| KR20160144643A (ko) | 어라운드 뷰 제공장치 및 이를 구비한 차량 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |