CN116071949A - 一种用于辅助驾驶的增强现实的方法及装置 - Google Patents
一种用于辅助驾驶的增强现实的方法及装置 Download PDFInfo
- Publication number
- CN116071949A CN116071949A CN202310343809.3A CN202310343809A CN116071949A CN 116071949 A CN116071949 A CN 116071949A CN 202310343809 A CN202310343809 A CN 202310343809A CN 116071949 A CN116071949 A CN 116071949A
- Authority
- CN
- China
- Prior art keywords
- image
- augmented reality
- driving
- data
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 7
- 230000036772 blood pressure Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
- G08G1/096775—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a central station
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/021—Measuring pressure in heart or blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
- G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
Abstract
本申请本申请增强现实技术领域，尤其涉及一种用于辅助驾驶的增强现实的方法及装置，该方法包括：在获取车辆外部环境图像和车辆的行驶状态数据后，基于车辆的行驶状态数据生成虚拟状态显示图像，并将虚拟状态显示图像与外部环境图像进行叠加得到增强现实图像以在增强现实显示器上进行显示，然后获取用户的操作信息，实现对增强现实图像进行操作，不仅使显示的信息能够清晰准确的展示，并可通过手势进行操作，提高了驾驶的安全性。
Description
技术领域
本申请涉及增强现实技术领域，尤其涉及一种用于辅助驾驶的增强现实的方法及装置。
背景技术
AR（Augmented Reality，增强现实）技术可以将虚拟物体和/或虚拟信息叠加到真实场景中，从而使得用户获得超过现实的体验感受，及用户可以感知存在的真实物体和虚拟物体和/或虚拟信息的场景，HUD（Head Up Display,平视显示系统），是把时速、导航等重要的行车信息，投影到驾驶员前面的挡风玻璃上，让驾驶员尽量做到不低头、不转头就能看到时速、导航等重要的驾驶信息。
但是目前在通过AR-HUD系统显示信息时，仅显示少量、简单的信息，无法满足更高的操作展示需求。
发明内容
针对目前车辆的AR-HUD系统显示信息时，仅显示少量、简单的信息，无法满足更高的操作展示需求的问题，本申请提出了一种用于辅助驾驶的增强现实的方法及装置。
本申请的第一方面实施例，提供了一种用于辅助驾驶的增强现实的方法，包括：
获取车辆外部环境图像；
获取车辆的行驶状态数据，行驶状态数据包括通过地图盒子获得的外部导航数据和车辆的驾驶数据；
根据行驶状态数据生成虚拟状态显示图像；
将虚拟状态显示图像叠加在外部环境图像上得到增强现实图像，并在增强现实显示器上进行显示；
获取用户的操作信息；
根据操作信息对增强现实图像进行操作。
通过采用上述技术方案，在获取车辆外部环境图像后，基于车辆的行驶状态数据生成虚拟状态显示图像，并将虚拟状态显示图像与外部环境图像进行叠加得到增强现实图像以在增强现实显示器上进行显示，然后基于手势识别单元获取用户的操作信息，实现对增强现实图像进行操作，不仅使显示的信息能够清晰准确的展示，并可通过手势进行操作，提高了驾驶的安全性。
可选的，方法还包括：
基于通信盒子获取与车辆相关联的移动终端数据；
将移动终端数据在增强现实显示器上进行展示。
通过采用上述技术方案，基于通信盒子获取移动端数据，并将移动终端数据在增强现实显示器进行展示，能够增加驾驶员对外界信息感知，提高了驾驶安全性。
可选的，方法还包括：
移动终端包括驾驶员穿戴的智能穿戴设备，终端数据包括：心跳检测数据、血压检测数据、疲劳驾驶检测数据。
通过采用上述技术方案，基于智能穿戴设备获取驾驶员的心脏数据、血压数据和疲劳驾驶检测数据，并将上述数据在增强现实显示器上进行展示，使得驾驶员能够随时检测自身状态，提升了驾驶安全性。
可选的，根据行驶状态数据生成虚拟状态显示包括：
判断行驶状态数据是否满足预设的预警条件，预警条件包括以下的一者或多者：紧急制动预警条件、变道预警条件、超速预警条件、危险路段预警条件；
在状态数据满足预设预警条件下，生成对应的预警提醒图像，虚拟状态显示图像包括预警提醒图像。
通过采用上述技术方案，在当行驶状态数据满足预设预警条件时，生成对应的预警提醒图像，以向驾驶员发出预警提醒，能够提升驾驶安全性。
可选的，通过手势识别单元得到用户的操作信息包括；
响应于手势识别指令的触发；
基于车载摄像头获取多帧手势图像；
获取多帧手势图像中每帧图像内手部关键点的位置信息；
根据位置信息，确定多帧图像中采集时间相邻的每两帧手势图像中手部的距离，得到多帧手势图像对应的多个距离；
若多个距离中大于预设阈值的距离的数量大于第一预设数量，则判断手势处于移动状态；
在移动状态下通过动态手势识别模型获取用户的操作信息。
通过采用上述技术方案，基于多帧手势图像进行手势的移动状态，利用动态手势模型获取用户的操作信息，能够精准识别用户的操作信息，提升了用户的驾驶体验。
可选的，动态手势识别模型通过如下方法训练：
获取多个训练样本和与训练样本对应的训练标签，训练样本包括手势图像训练集合；
以当前训练样本为输入，以预测动态手势识别类型为输出，当预测动态手势识别类型与训练标签的匹配率达到预设阈值时，则动态手势识别模型训练完成。
通过采用上述技术方案，能够实现动态手势识别模型训练，有利于提升手势识别的准确率
可选的，操作信息包括在地图信息中选择目标建筑物，方法还包括：
在增强现实图像中显示目标建筑的相关信息。
通过采用上述技术方案，将目标建筑的相关信息在增强现实图像中显示，有利于驾驶员拓展对周边信息的获取，提高行驶效率。
可选的，方法还包括：
通过增强现实显示器显示音频图像信息；
根据操作信息对音频图像信息进行操作。
通过采用上述技术方案，能够实现音频图像信息的在增强现实显示器上的显示，并根据实际使用需要进行灵活操作，提升了操作的智能性。
根据本申请的第二方面实施例提供了一种用于辅助驾驶的增强现实的装置，包括：
图像获取模块，用于获取车辆外部环境图像；
行车数据获取模块，用于获取车辆的行驶状态数据，行驶状态数据包括通过地图盒子获得的外部导航数据和车辆的驾驶数据；
虚拟状态生成模块，用于根据行驶状态数据生成虚拟状态显示图像；
叠加模块，用于将虚拟状态显示图像叠加在外部环境图像上得到增强现实图像，并在增强现实显示器上进行显示；
识别模块，用于通过手势识别单元得到用户的操作信息；
处理模块，用于根据操作信息对增强现实图像进行操作。
通过采用上述技术方案，图像获取模块在获取车辆外部环境图像后，虚拟状态生成模块基于车辆的行驶状态数据生成虚拟状态显示图像，叠加模块将虚拟状态显示图像与外部环境图像进行叠加得到增强现实图像以在增强现实显示器上进行显示，识别模块基于手势识别单元获取用户的操作信息，处理模块实现对增强现实图像进行操作，不仅使显示的信息能够清晰准确的展示，并可通过手势进行操作，提高了驾驶的安全性。
根据本申请的第三方面实施例，提供了一种计算机可读存储介质，该程序被处理器执行，以用于实现上述实施例用于辅助驾驶的增强现实的方法。
综上，本申请包括以下至少一种的有益技术效果：
1.获取车辆外部环境图像后，基于车辆的行驶状态数据生成虚拟状态显示图像，并将虚拟状态显示图像与外部环境图像进行叠加得到增强现实图像以在增强现实显示器上进行显示，然后基于手势识别单元获取用户的操作信息，实现对增强现实图像进行操作，不仅使显示的信息能够清晰准确的展示，并可通过手势进行操作，提高了驾驶的安全性。；
2.基于智能穿戴设备获取驾驶员的心脏数据、血压数据和疲劳驾驶检测数据，并将上述数据在增强现实显示器上进行展示，使得驾驶员能够随时检测自身状态，提升了驾驶安全性；
3.基于多帧手势图像进行手势的移动状态，利用动态手势模型获取用户的操作信息，能够精准识别用户的操作信息，提升了用户的驾驶体验。
附图说明
图1是本申请一实施例中用于辅助驾驶的增强现实的方法的流程示意图；
图2是本申请一实施例中生成预警提醒图像方法的流程示意图；
图3是本申请一实施例中获取用户的操作信息方法的流程示意图；
图4是本申请一实施例中用于辅助驾驶的增强现实系统的结构示意图；
图5是本申请一实施例中车辆的结构示意图。
实施方式
以下使本申请的目的、技术方案及优点更加清楚明白，以下通过附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，在本公开中，说明书和附图中的术语“S101”、“S102”等用于区别步骤，而不必理解为按照特定的顺序或先后次序执行方法步骤。
在介绍本公开实施例提供的一种用于辅助驾驶的增强现实的方法及装置之前，首先对本公开的应用场景进行介绍，本公开提供的用于辅助驾驶的增强现实的方法及装置可以应用于车辆。
随着5G技术的发展，智能网联汽车技术的兴起，汽车娱乐的需求不断增加，如多屏交互、大屏显示、增强现实现实、健康安全实时报警，以及将显示内容实时投射到驾驶员希望的位置。
图1是本申请一实施例中用于辅助驾驶的增强现实的方法的流程示意图
参照图1，提供了一种用于辅助驾驶的增强现实的方法，该方法包括以下步骤：
S102.获取车辆外部环境图像；
S104.获取车辆的行驶状态数据，行驶状态数据包括通过地图盒子获得的外部导航数据和车辆的驾驶数据；
S106.根据行驶状态数据生成虚拟状态显示图像；
S108.将虚拟状态显示图像叠加在外部环境图像上得到增强现实图像，并在增强现实显示器上进行显示；
S110.获取用户的操作信息；
S112.根据操作信息对增强现实图像进行操作。
本公开的基于辅助驾驶的增强现实方法通过在获取车辆外部环境图像后，基于车辆的行驶状态数据生成虚拟状态显示图像，并将虚拟状态显示图像与外部环境图像进行叠加得到增强现实图像以在增强现实显示器上进行显示，然后基于手势识别单元获取用户的操作信息，实现对增强现实图像进行操作，不仅使显示的信息能够清晰准确的展示，并可通过手势进行操作，提高了驾驶的安全性。
具体的，基于辅助驾驶的增强现实的方法还包括：
基于通信盒子获取与车辆相关联的移动终端数据。
可选的，这里的通信盒子为车载通信盒子，具体可以是TBOX（远程处理器，Telematics BOX）,通信盒子可以通过TSP服务器（车载信息服务供应商，TelematicsService Provider）。
进一步的，5G/4G-TBOX用于和后台系统/手机APP通信，实现手机APP的车辆信息显示与控制；TSP集合了位置服务、Gis(Geographic Information Science，地理信息科学)服务和通信服务等现代计算机技术，可以为车主和个人提供强大的服务，如导航、娱乐、资讯、安防、SNS(Social Networking Services，社交网络服务)、远程保养等，实现了车云交互；y移动终端终端是用于车辆对外界的信息交换，使得车与车、车与基站、基站与基站之间能够通信。从而使得增强现实显示器可获得实时路况、道路信息、行人信息等一系列交通信息，从而提高驾驶安全性、减少拥堵、提高交通效率、提供车载娱乐信息等，实现了车车交互、车物交互。
将移动终端数据在增强现实显示器上进行展示。
基于通信盒子获取移动端数据，并将移动终端数据在增强现实显示器进行展示，能够增加驾驶员对外界信息感知，提高了驾驶安全性。
进一步的，方法还包括：
移动终端包括驾驶员穿戴的智能穿戴设备，终端数据包括：心跳检测数据、血压检测数据、疲劳驾驶检测数据。
具体的，智能穿戴设备可以检测的终端数据可以根据实际的穿戴设备进行灵活设置，这里不做具体限制。
基于智能穿戴设备获取驾驶员的心脏数据、血压数据和疲劳驾驶检测数据，并将上述数据在增强现实显示器上进行展示，使得驾驶员能够随时检测自身状态，提升了驾驶安全性。
图2是本申请一实施例中生成预警提醒图像方法的流程示意图。
参照图2，根据行驶状态数据生成虚拟状态显示包括：
S202.判断行驶状态数据是否满足预设的预警条件，预警条件包括以下的一者或多者：紧急制动预警条件、变道预警条件、超速预警条件、危险路段预警条件；
S204.在状态数据满足预设预警条件下，生成对应的预警提醒图像，虚拟状态显示图像包括预警提醒图像。
具体的，紧急条件包括但不限于紧急制动预警条件、超车预警条件、变道预警条件、交叉路口预警条件、车辆失控预警条件、紧急车辆优先预警条件可以根据实际驾驶场景进行预设，本公开对此不作具体限定。
在当行驶状态数据满足预设预警条件时，生成对应的预警提醒图像，以向驾驶员发出预警提醒，能够提升驾驶安全性。
图3是本申请一实施例中通过手势识别单元得到用户的操作信息方法的流程示意图。
参照图3，获取用户的操作信息包括；
S302.响应于手势识别指令的触发。
这里的手势识别指令触发可以通过预设语音信号触发、指定区域触发、按键触发等。预设语音信号触发指的是接收到预定语音指令，例如：手势识别；指定区域识别指的是到手抵达指定区域触发；按键触发指的是接收到预设按键按压信号触发。
S304.基于车载摄像头获取多帧手势图像。
这里多帧手势图像的采集时间均不相同，以采集时间从早到晚或从晚到早对多帧手势图像进行排序，每相邻手势图像的采集时间间隔相同。
S306.获取多帧手势图像中每帧图像内手部关键点的位置信息。
其中，手部关键点可以是用户手部关节点，即通过车载电子设备可以对每帧手势图像进行识别，提取每帧手势图像中用户手部关节点的位置。
S308.根据位置信息，确定多帧图像中采集时间相邻的每两帧手势图像中手部的距离，得到多帧手势图像对应的多个距离；
例如多帧手势图像包括3帧图像，按照采集顺序从早到晚进行排序为：图像1、图像2、图像3，多个距离即根据图像1和图像2确定的距离1，根据图像2和图像3确定的距离2。
S310.若多个距离中大于预设阈值的距离的数量大于第一预设数量，则判断手势处于移动状态；
S312.在移动状态下通过动态手势识别模型获取用户的操作信息。
基于多帧手势图像进行手势的移动状态，利用动态手势模型获取用户的操作信息，能够精准识别用户的操作信息，提升了用户的驾驶体验。
可选的，用户的操作信息包括对增强现实显示器上的内容进行放大、缩小、移动、选择、确定等操作，这里不做限定，具体可以根据实际情况进行确定。
可选的，动态手势识别模型通过如下方法训练：
获取多个训练样本和与训练样本对应的训练标签，训练样本包括手势图像训练集合；
以当前训练样本为输入，以预测动态手势识别类型为输出，当预测动态手势识别类型与训练标签的匹配率达到预设阈值时，则动态手势识别模型训练完成。
其中，动态手势识别模型的网络神经的初始参数可以是通过随机初始化得到，根据预测动态手势类别和实际动态手势类别，调整该神经网络的参数，得到训练好的动态手势识别模型。
上述技术方案能够实现动态手势识别模型训练，有利于提升手势识别的准确率
可选的，操作信息包括在地图信息中选择目标建筑物，方法还包括：
在增强现实图像中显示目标建筑的相关信息。
其中，可以通过座舱主机从地图盒子中获取目标建筑物的相关信息，包括目标建筑物的名称、地址、用途等信息，并将相关信息显示在地图中。
将目标建筑的相关信息在增强现实图像中显示，有利于驾驶员拓展对周边信息的获取，提高行驶效率。
可选的，方法还包括：
通过增强现实显示器显示音频图像信息；
根据操作信息对音频图像信息进行操作。
具体的，座舱主机可以根据用户的需求将音频图像信息投放在增强现实显示器上（如：AR-HUD），音频图像信息可以包括：电影、视频、音乐、照片等内容。
通过采用上述技术方案，能够实现音频图像信息的在增强现实显示器上的显示，并根据实际使用需要进行灵活操作，提升了操作的智能性。
图4是本申请一实施例中用于辅助驾驶的增强现实系统的结构示意图。
参照图4，根据本申请的第二方面实施例提供了一种用于辅助驾驶的增强现实的装置，包括：
图像获取模41，用于获取车辆外部环境图像；
行车数据获取模块42，用于获取车辆的行驶状态数据，行驶状态数据包括通过地图盒子获得的外部导航数据和车辆的驾驶数据；
虚拟状态生成模块43，用于根据行驶状态数据生成虚拟状态显示图像；
叠加模块44，用于将虚拟状态显示图像叠加在外部环境图像上得到增强现实图像，并在增强现实显示器上进行显示；
识别模块45，用于通过手势识别单元得到用户的操作信息；
处理模块46，用于根据操作信息对增强现实图像进行操作。
通过图像获取模块41在获取车辆外部环境图像后，行车数据获取模块42获取车辆的行驶状态数据，虚拟状态生成模块43基于车辆的行驶状态数据生成虚拟状态显示图像，叠加模块44将虚拟状态显示图像与外部环境图像进行叠加得到增强现实图像以在增强现实显示器上进行显示，识别模块45基于手势识别单元获取用户的操作信息，处理模块46实现对增强现实图像进行操作，不仅使显示的信息能够清晰准确的展示，并可通过手势进行操作，提高了驾驶的安全性。
根据本申请的第三方面实施例，提供了一种计算机可读存储介质，该程序被处理器执行，以用于实现上述实施例用于辅助驾驶的增强现实的方法。
图5是本申请一实施例中车辆的结构示意图。该车辆可以包括：
存储器52、处理器53及存储在存储器52上并可在处理器53上运行的计算机程序，处理器执行程序，以实现上述实施例用于辅助驾驶的增强现实的方法。
进一步的，车辆还包括：
通信接口51，用于存储器52和处理器43之间的通信。
存储器52，用于存放可在处理器53上运行的计算机程序。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatilememory），例如至少一个磁盘存储器。
如果存储器52、处理器53和通信接口51独立实现，则通信接口51、存储器52和处理器53可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(PeripheralComponent，简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandardArchitecture，简称为EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器52、处理器53及通信接口51，集成在一块芯片上实现，则存储器52、处理器53及通信接口51可以通过内部接口完成相互间的通信。
处理器53可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。
Claims (10)
1.一种用于辅助驾驶的增强现实的方法，其特征在于，包括：
获取车辆外部环境图像；
获取所述车辆的行驶状态数据，所述行驶状态数据包括通过地图盒子获得的外部导航数据和车辆的驾驶数据；
根据所述行驶状态数据生成虚拟状态显示图像；
将所述虚拟状态显示图像叠加在所述外部环境图像上得到增强现实图像，并在增强现实显示器上进行显示；
获取用户的操作信息；
根据所述操作信息对所述增强现实图像进行操作。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于通信盒子获取与车辆相关联的移动终端数据；
将所述移动终端数据在所述增强现实显示器上进行展示。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
所述移动终端包括驾驶员穿戴的智能穿戴设备，所述终端数据包括：心跳检测数据、血压检测数据、疲劳驾驶检测数据。
4.根据权利要求1所述的方法，其特征在于，所述根据所述行驶状态数据生成虚拟状态显示包括：
判断所述行驶状态数据是否满足预设的预警条件，所述预警条件包括以下的一者或多者：紧急制动预警条件、变道预警条件、超速预警条件、危险路段预警条件；
在所述状态数据满足预设预警条件下，生成对应的预警提醒图像，所述虚拟状态显示图像包括所述预警提醒图像。
5.根据权利要求1所述的方法，其特征在于，所述通过手势识别单元得到用户的操作信息包括；
响应于手势识别指令的触发；
基于车载摄像头获取多帧手势图像；
获取所述多帧手势图像中每帧图像内手部关键点的位置信息；
根据所述位置信息，确定所述多帧图像中采集时间相邻的每两帧手势图像中手部的距离，得到所述多帧手势图像对应的多个距离；
若所述多个距离中大于预设阈值的距离的数量大于第一预设数量，则判断所述手势处于移动状态；
在移动状态下通过动态手势识别模型获取用户的操作信息。
6.根据权利要求5所述的方法，其特征在于，所述动态手势识别模型通过如下方法训练：
获取多个训练样本和与所述训练样本对应的训练标签，所述训练样本包括手势图像训练集合；
以当前训练样本为输入，以预测动态手势识别类型为输出，当预测动态手势识别类型与所述训练标签的匹配率达到预设阈值时，则动态手势识别模型训练完成。
7.根据权利要求1所述的方法，其特征在于，所述操作信息包括在地图信息中选择目标建筑物，所述方法还包括：
在所述增强现实图像中显示目标建筑的相关信息。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过所述增强现实显示器显示音频图像信息；
根据所述操作信息对所述音频图像信息进行操作。
9.一种用于辅助驾驶的增强现实的装置，其特征在于，包括：
图像获取模块，用于获取车辆外部环境图像；
行车数据获取模块，用于获取所述车辆的行驶状态数据，所述行驶状态数据包括通过地图盒子获得的外部导航数据和车辆的驾驶数据；
虚拟状态生成模块，用于根据所述行驶状态数据生成虚拟状态显示图像；
叠加模块，用于将所述虚拟状态显示图像叠加在所述外部环境图像上得到增强现实图像，并在增强现实显示器上进行显示；
识别模块，用于通过手势识别单元得到用户的操作信息；
处理模块，用于根据所述操作信息对所述增强现实图像进行操作。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-8中任一项所述用于辅助驾驶的增强现实的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310343809.3A CN116071949A (zh) | 2023-04-03 | 2023-04-03 | 一种用于辅助驾驶的增强现实的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310343809.3A CN116071949A (zh) | 2023-04-03 | 2023-04-03 | 一种用于辅助驾驶的增强现实的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116071949A true CN116071949A (zh) | 2023-05-05 |
Family
ID=86173503
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310343809.3A Pending CN116071949A (zh) | 2023-04-03 | 2023-04-03 | 一种用于辅助驾驶的增强现实的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116071949A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117221511A (zh) * | 2023-11-07 | 2023-12-12 | 深圳市麦谷科技有限公司 | 视频处理方法、装置、存储介质及电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106740114A (zh) * | 2017-01-15 | 2017-05-31 | 上海云剑信息技术有限公司 | 基于增强现实技术的智能汽车人机交互系统 |
| CN110017846A (zh) * | 2019-03-19 | 2019-07-16 | 深圳市谙达信息技术有限公司 | 一种基于全息投影技术的导航系统 |
| CN110926487A (zh) * | 2018-09-19 | 2020-03-27 | 阿里巴巴集团控股有限公司 | 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质 |
| CN112241204A (zh) * | 2020-12-17 | 2021-01-19 | 宁波均联智行科技有限公司 | 一种车载ar-hud的手势交互方法和系统 |
| CN113109939A (zh) * | 2020-01-10 | 2021-07-13 | 未来（北京）黑科技有限公司 | 一种多层次成像系统 |
| US20220036758A1 (en) * | 2020-07-31 | 2022-02-03 | Inventis Co.,Ltd | System and method for providing vehicle function guidance and virtual test-driving experience based on augmented reality content |
| CN216128208U (zh) * | 2021-06-17 | 2022-03-25 | 深圳普捷利科技有限公司 | 一种基于实时流媒体的智能座舱系统 |
| CN115056649A (zh) * | 2022-06-09 | 2022-09-16 | 泽景(西安)汽车电子有限责任公司 | 增强现实抬头显示系统、实现方法、设备及存储介质 |
-
2023
- 2023-04-03 CN CN202310343809.3A patent/CN116071949A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106740114A (zh) * | 2017-01-15 | 2017-05-31 | 上海云剑信息技术有限公司 | 基于增强现实技术的智能汽车人机交互系统 |
| CN110926487A (zh) * | 2018-09-19 | 2020-03-27 | 阿里巴巴集团控股有限公司 | 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质 |
| CN110017846A (zh) * | 2019-03-19 | 2019-07-16 | 深圳市谙达信息技术有限公司 | 一种基于全息投影技术的导航系统 |
| CN113109939A (zh) * | 2020-01-10 | 2021-07-13 | 未来（北京）黑科技有限公司 | 一种多层次成像系统 |
| US20220036758A1 (en) * | 2020-07-31 | 2022-02-03 | Inventis Co.,Ltd | System and method for providing vehicle function guidance and virtual test-driving experience based on augmented reality content |
| CN112241204A (zh) * | 2020-12-17 | 2021-01-19 | 宁波均联智行科技有限公司 | 一种车载ar-hud的手势交互方法和系统 |
| CN216128208U (zh) * | 2021-06-17 | 2022-03-25 | 深圳普捷利科技有限公司 | 一种基于实时流媒体的智能座舱系统 |
| CN115056649A (zh) * | 2022-06-09 | 2022-09-16 | 泽景(西安)汽车电子有限责任公司 | 增强现实抬头显示系统、实现方法、设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117221511A (zh) * | 2023-11-07 | 2023-12-12 | 深圳市麦谷科技有限公司 | 视频处理方法、装置、存储介质及电子设备 |
| CN117221511B (zh) * | 2023-11-07 | 2024-03-12 | 深圳市麦谷科技有限公司 | 视频处理方法、装置、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10949997B2 (en) | Vehicle localization systems and methods | |
| JP7399075B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN111033512B (zh) | 用于基于简单的二维平面摄像装置与自主行驶车辆通信的动作控制装置 | |
| CN107004363B (zh) | 图像处理装置及车载显示系统及显示装置及图像处理方法 | |
| Zheng et al. | Eye-gaze tracking analysis of driver behavior while interacting with navigation systems in an urban area | |
| CN110892451A (zh) | 检测车辆的驾驶事件的电子装置和方法 | |
| CN110910673B (zh) | 一种提醒行人碰撞车辆的方法及系统、摄像头、移动终端 | |
| KR102547441B1 (ko) | 차량 간 메시지 전송 장치 및 방법 | |
| CN111216127A (zh) | 一种机器人控制方法、装置、服务器及介质 | |
| CN216232014U (zh) | 车载投影系统及车辆 | |
| CN113792428B (zh) | 虚拟场景下车辆的测试方法、装置及电子设备 | |
| CN116071949A (zh) | 一种用于辅助驾驶的增强现实的方法及装置 | |
| JP2021163345A (ja) | 運転支援装置及びデータ収集システム | |
| CN115056649A (zh) | 增强现实抬头显示系统、实现方法、设备及存储介质 | |
| US11039087B2 (en) | Image processing apparatus and computer-readable storage medium | |
| JP7269694B2 (ja) | 事象発生推定のための学習データ生成方法・プログラム、学習モデル及び事象発生推定装置 | |
| JP7136538B2 (ja) | 電子装置 | |
| CN106864372A (zh) | 实景互联网打车辅助系统及方法 | |
| US20230091574A1 (en) | Driving assistance processing method and apparatus, computer-readable medium, and electronic device | |
| KR102431493B1 (ko) | 증강현실 콘텐츠 기반 차량기능 안내 및 가상 시험주행 경험 제공 시스템 및 방법 | |
| CN113808397A (zh) | 非机动车事故的数据处理方法、装置和云端服务器 | |
| CN113492864A (zh) | 驾驶辅助装置以及数据收集系统 | |
| CN111568447A (zh) | 信息处理装置和信息处理方法 | |
| US20210309234A1 (en) | Information processing apparatus, information processing method, and information processing program | |
| WO2018078889A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230505 |
|
| RJ01 | Rejection of invention patent application after publication |