CN114599011A - 一种基于ar眼镜的车载感知系统及方法 - Google Patents
一种基于ar眼镜的车载感知系统及方法 Download PDFInfo
- Publication number
- CN114599011A CN114599011A CN202210260159.1A CN202210260159A CN114599011A CN 114599011 A CN114599011 A CN 114599011A CN 202210260159 A CN202210260159 A CN 202210260159A CN 114599011 A CN114599011 A CN 114599011A
- Authority
- CN
- China
- Prior art keywords
- information
- fusion processing
- vehicle
- recognized
- glasses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000011521 glass Substances 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000007499 fusion processing Methods 0.000 claims abstract description 125
- 238000004891 communication Methods 0.000 claims abstract description 33
- 230000005540 biological transmission Effects 0.000 claims abstract description 18
- 230000001413 cellular effect Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 9
- 230000001629 suppression Effects 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 230000008447 perception Effects 0.000 claims 2
- 230000000007 visual effect Effects 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Atmospheric Sciences (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明实施例公开了一种基于AR眼镜的车载感知系统及方法。所述系统包括：物体识别模块配置为，采用AR眼镜对当前车辆周围环境进行识别匹配，确定待识别物体的身份信息以及经纬度信息；信息获取模块配置为，获取其他车辆信息以及路侧信息，并将所述其他车辆信息以及路侧信息发送至数据融合处理模块；数据融合处理模块配置为，将其他车辆信息、路侧信息以及待识别物体的身份信息进行融合处理得到融合处理结果；信息传输模块配置为，将融合处理结果通过蜂窝网络发送给后台以及通过直连通信的方式发送给其他车辆。通过本发明实施例的技术方案，通过AR眼镜进行物体识别，补充驾驶员视角下路侧障碍物信息，提高了车辆的驾驶安全性。
Description
技术领域
本发明实施例涉及电力系统图像处理技术领域，尤其涉及一种基于AR眼镜的车载感知系统及方法。
背景技术
智能交通运输系统中，涵盖多种智能设备，车辆的智能化涉及单车智能和V2X协同智能。V2X技术，通过车-车、车-人以及车-路等之间的通信，获取交通环境的实时路况，道路信息等，提高驾驶的安全性。在以往的车路协同系统中，对于超视距和弱势交通参与者的检测，通常是通过路侧端的摄像头和雷达进行识别检测，但固定基础设备的检测存在一定的盲区，同时所提供的V2X预警信息可靠性有限。
因此，如何提高车辆驾驶的安全性是本领域技术人员亟待解决的技术问题。
发明内容
本发明实施例提供一种基于AR眼镜的车载感知系统及方法，以通过AR眼镜进行物体识别，补充驾驶员视角下路侧障碍物信息，提高了车辆的驾驶安全性。
第一方面，本发明实施例提供了一种基于AR眼镜的车载感知系统，所述系统包括：
物体识别模块配置为，采用AR眼镜对当前车辆周围环境进行识别匹配，确定待识别物体的身份信息以及经纬度信息；其中，所述待识别物体包括当前车辆周围的障碍物、交通标识以及交通参与者；
信息获取模块配置为，获取其他车辆信息以及路侧信息，并将所述其他车辆信息以及路侧信息发送至数据融合处理模块；
数据融合处理模块配置为，将其他车辆信息、路侧信息以及待识别物体的身份信息进行融合处理得到融合处理结果；
信息传输模块配置为，将融合处理结果通过蜂窝网络发送给后台以及通过直连通信的方式发送给其他车辆。
第二方面，本发明实施例还提供了一种基于AR眼镜的车载感知方法，包括：
采用AR眼镜对当前车辆周围环境进行识别匹配，确定待识别物体的身份信息以及经纬度信息；其中，所述待识别物体包括当前车辆周围的障碍物、交通标识以及交通参与者；
获取其他车辆信息以及路侧信息，并将所述其他车辆信息以及路侧信息发送至数据融合处理模块；
将其他车辆信息、路侧信息以及待识别物体的身份信息进行融合处理得到融合处理结果；
将融合处理结果通过蜂窝网络发送给后台以及通过直连通信的方式发送给其他车辆。
本发明实施例公开了一种基于AR眼镜的车载感知系统及方法。所述系统包括：物体识别模块配置为，采用AR眼镜对当前车辆周围环境进行识别匹配，确定待识别物体的身份信息以及经纬度信息；信息获取模块配置为，获取其他车辆信息以及路侧信息，并将所述其他车辆信息以及路侧信息发送至数据融合处理模块；数据融合处理模块配置为，将其他车辆信息、路侧信息以及待识别物体的身份信息进行融合处理得到融合处理结果；信息传输模块配置为，将融合处理结果通过蜂窝网络发送给后台以及通过直连通信的方式发送给其他车辆。通过本发明实施例的技术方案，汽车在行驶过程中利用AR眼镜来进行道路中障碍物识别以及交通标识识别等，将信息发送给车端终端设备，通过数据的融合处理，生成V2X预警信息，提高车辆的驾驶安全性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例中提供的一种基于AR眼镜的车载感知系统的结构示意图；
图2是本发明实施例中提供的另一种基于AR眼镜的车载感知系统的结构示意图；
图3是本发明实施例中提供的一种AR眼镜控制主机和车载通信终端连接示意图；
图4是本发明实施例提供的一种AR眼镜识别路况信息公交站牌以及站点信息的流程示意图；
图5是本发明实施例提供的一种数据融合处理结构示意图；
图6是本发明实施例中提供的一种基于AR眼镜的车载感知方法的流程图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前，应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作(或步骤)可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
近两年，由于中国政府大力鼓励高新技术产业的发展，增强现实(AugmentedReality，AR)技术已经被大多数人所熟知，如今随着技术的不断突破，AR眼镜将逐步应用到未来的工业领域。但是在汽车领域，AR还是有很大的发展空间，并且在市面上目前还没有企业将AR眼镜应用到车辆中。车载AR应用，一方面可以给驾驶员带来更好的交通环境信息提示；另一方面，在车载环境下，通过与车上通信终端的联系，可以为非驾驶员带来更多娱乐驾乘体验。图1是本发明实施例中提供的一种基于AR眼镜的车载感知系统的结构示意图，参见图1，本发明主要实现的功能是在车载环境下，驾驶员通过佩戴AR眼镜，增加对周边环境中行人、车辆和路测信息的识别，将路况信息获取到AR眼镜端，AR眼镜通过与车载通信终端的通信互联，将对应的交通信息发送给车端，并与车载通信终端信息融合，可以将所识别到的标识内容匹配位置信息发送给车载通信终端VBOX，转化成V2X信息，发送给云端后台和广播给其他车辆，进一步增加了车辆行驶的安全性和可靠性。
图2是本发明实施例中提供的另一种基于AR眼镜的车载感知系统的结构示意图，本实施例可适用于采用AR眼镜对当前车辆路侧信息感知获取的情况，如图2所示，本发明实施例中提供的基于AR眼镜的车载感知系统，可包括：物体识别模块210、信息获取模块220、数据融合处理模块230以及信息传输模块240；其中：
物体识别模块210配置为，采用AR眼镜对当前车辆周围环境进行识别匹配，确定待识别物体的身份信息以及经纬度信息；其中，所述待识别物体包括当前车辆周围的障碍物、交通标识以及交通参与者。
其中，增强现实(Augmented Reality，AR)可以是指一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动；例如AR眼镜通过跟踪眼球视线轨迹判断用户处于的状态，并显示所看的路面信息或是周围的建筑；例如采用AR眼镜跟踪用户眼球视线，对当前车辆周围环境基于特征点进行识别匹配。
待识别物体可以是指当前车辆周围环境中的待识别物体，所述待识别物体包括但不限于当前车辆周围的障碍物、交通标识以及交通参与者。当要检测待识别物体时，需将所述待识别物体的特征点信息录入库中，当AR眼镜进行扫描物体时，与库中所述待识别物体的特征点信息进行匹配从而识别出所述待识别物体。
身份信息可以是指能够表征物体属性的信息，所述身份信息包括但不限于物体的状态、所属类别、位置以及名称等；例如，采用AR眼镜对当前车辆周围环境进行识别匹配，确定待识别物体的名称。
信息获取模块220配置为，获取其他车辆信息以及路侧信息，并将所述其他车辆信息以及路侧信息发送至数据融合处理模块。
其中，其他车辆信息可以是指除当前车辆之外的其他车辆信息，包括但不限于其他车辆的运动状态、速度、位置以及大小等。
路侧信息可以是指采用路侧的摄像头或雷达等设备获取的路侧信息；例如采用路侧的摄像头或雷达等设备获取的包括但不限于当前车辆所处道路信息以及路侧障碍物信息等。
可选的，所述信息获取模块包括：
采用信息获取设备获取路侧信息并将所述路侧信息发送至数据融合处理模块；其中，所述信息获取设备包括雷达以及摄像头；所述路侧信息包括当前车辆行驶道路环境信息；
获取其他车辆的当前运动状态信息；所述运动状态信息通过车-车之间的直连通信进行信息的传递。
其中，所述通信终端VBOX包括但不限于信息获取模块以及数据融合处理模块，通信终端VBOX信息接收采用无线的方式获取信息，遵循的应用层协议是HTTP协议并且传输层应用的协议利用UDP协议，无线传输Wi-Fi版本是802.11ac 2x2。图3是本发明实施例中提供的一种AR眼镜控制主机和车载通信终端连接示意图，参见图3，AR眼镜主机与车端通信终端VBOX通过wifi接口进行无线传输，AR眼镜控制主机将待识别物体的身份信息以及经纬度信息通过无线传输给VBOX。本发明实施例之所以选择UDP协议是因为UDP协议是面向无连接的协议即传输数据之前不需要提前建立连接，UDP协议相较于TCP协议更加简洁。
数据融合处理模块230配置为，将其他车辆信息、路侧信息以及待识别物体的身份信息进行融合处理得到融合处理结果。
其中，融合处理可以是指将各种信息经过处理智能化合成，产生比单一信息更加精确、更完全以及更可靠的估计和判断；例如，将获取的其他车辆信息、路侧信息以及待识别物体的身份信息进行处理，确定待识别物体的位置信息以及大小。
信息传输模块240配置为，将融合处理结果通过蜂窝网络发送给后台以及通过直连通信的方式发送给其他车辆。
其中，蜂窝网络可以是指一种移动通信硬件架构，所述蜂窝网络包括但不限于GSM网络、CDMA网络、3G网络、FDMA、TDMA、4G网络以及5G网络等。
直连通信可以是指路边设备、车载设备和便携无线电设备通过无线电传输方式，实现车与车、车与路以及车与人直接通信和信息交换。例如，车载设备通过无线电传输方式，将所述融合处理结果发送给其他车辆。
可选的，所述信息传输模块包括：
通过蜂窝网络将融合处理结果按V2X的消息格式上传至云端后台，并通过云端后台将融合处理结果广播给智能交通系统；
通过车-车之间的直连通信方式将融合处理结果按照V2X的消息格式发送至其他车辆。
其中，通信终端虚拟机(Virtual Box，VBOX)将融合处理结果通过蜂窝网络发送给后台和直连通信的方式发送给其他车辆。数据发送给后台采用的是蜂窝网络，通过消息传输模块和消息处理模块按照车与任何事物的联系(Vihicle to everything，V2X)的格式将融合处理结果上传到云端后台，通过云后台将数据广播给智能交通系统。按V2X的格式将融合处理结果发送给远车通过车-车之间的直连通信方式，通过VBOX将信息发送给其他车辆。
本发明实施例提供了一种基于AR眼镜的车载感知系统，所述系统包括：物体识别模块配置为，采用AR眼镜对当前车辆周围环境进行识别匹配，确定待识别物体的身份信息以及经纬度信息；信息获取模块配置为，获取其他车辆信息以及路侧信息，并将所述其他车辆信息以及路侧信息发送至数据融合处理模块；数据融合处理模块配置为，将其他车辆信息、路侧信息以及待识别物体的身份信息进行融合处理得到融合处理结果；信息传输模块配置为，将融合处理结果通过蜂窝网络发送给后台以及通过直连通信的方式发送给其他车辆。通过本发明实施例的技术方案，当前车辆在行驶过程中利用AR眼镜来进行道路中待识别物体识别以及交通标识识别等，当要检测待识别物体时，需将所述待识别物体的特征点信息录入库中，当AR眼镜进行扫描物体时，与库中所述待识别物体的特征点信息进行匹配从而识别出所述待识别物体，并将信息发送给车端终端设备，通过数据的融合处理，生成V2X预警信息，提高车辆的驾驶安全性。
本发明实施例在上述实施例的基础上对前述实施例进行进一步优化，本发明实施例可以与上述一个或者多个实施例中各个可选方案结合。本发明实施例中提供的基于AR眼镜的车载感知系统，所述物体识别模块包括：
通过AR眼镜对当前车辆周围环境进行扫描，获取待识别物体的特征点信息；其中，所述特征点信息包括待识别物体的形状以及大小；
将待识别物体的特征点信息与信息库中识别物体的特征点信息进行特征点匹配，确定待识别物体的身份信息；
将所述待识别物体的身份信息发送至数据融合处理模块。
其中，AR眼镜物体识别所需硬件软件如下：
硬件即AR眼镜的相机，表1是本发明实施例提供的一种AR眼镜的相机组成表，参见表1，通过AR眼镜对当前车辆周围环境进行扫描，获取待识别物体的特征点信息。
表1AR眼镜的相机组成表
| 头部跟踪 | 4个可见光相机、蓝牙 |
| 眼球跟踪 | 2个红外(IR)相机 |
| 深度 | 1-MP飞行时间深度传感器 |
| 惯性测量单元(IMU) | 加速计、陀螺仪、磁力仪 |
| 相机 | 8-MP静止图像、1080p30视频 |
其中，软件包括：
unity3D可以是指一款AR开发的引擎，AR眼镜物体识别利用unity3D进行调试，调试成功后发布到Hololens；
Visual Studio 2019可以是指在此开发中利用Visual Studio 2019编写脚本并且发布项目；
Vuforia可以是指一款AR SDK，其中实现了AR多种功能，包括但不限于物体识别。
可选的，所述物体识别模块还包括：
若所述待识别物体特征点匹配成功，则保留所述待识别物体的身份信息并将所述待识别物体的身份信息发送至数据融合处理模块；
若所述待识别物体特征点未匹配成功，则向所述数据融合处理模块发送预设的未识别信息。
图4是本发明实施例提供的一种AR眼镜识别路况信息公交站牌以及站点信息的流程示意图，参见图4，Vuforia功能可以使AR眼镜具备识别物体的功能，Vuforia应用程序可以将Unity中配置运行到AR眼镜上。首先将物体的信息模型发送到vuforia后台后，vuforia会将物体的信息存到数据库中，同时将vuforia包导入AR眼镜后，vuforia使AR眼镜带有物体识别功能。开始特征点的提取，当识别出物体的信息，此时会保留识别出物体的信息，将信息传送给数据处理模块，如果未能识别出则向数据处理模块传送预设的未能识别的信息。由此，实现了对物体的识别功能；其中，所述识别包括但不限于对路侧障碍物的识别、前方车辆的识别和路侧行人的识别。
本发明实施例提供了一种基于AR眼镜的车载感知系统，通过AR眼镜对当前车辆周围环境进行扫描，获取待识别物体的特征点信息；其中，所述特征点信息包括待识别物体的形状以及大小；将待识别物体的特征点信息与信息库中识别物体的特征点信息进行特征点匹配，确定待识别物体的身份信息；将所述待识别物体的身份信息发送至数据融合处理模块。采用本发明实施例的技术方案，当前车辆在行驶过程中利用AR眼镜来进行道路中待识别物体识别以及交通标识识别等，当要检测待识别物体时，需将所述待识别物体的特征点信息录入库中，当AR眼镜进行扫描物体时，与库中所述待识别物体的特征点信息进行匹配从而识别出所述待识别物体。通过AR眼镜的视觉补充，可以根据驾驶员视角和和视线范围，增加对周边驾驶环境的识别范围和可信度，提高V2X预警的可靠性，进一步增加了车辆行驶的安全性和可靠性。
本发明实施例在上述实施例的基础上对前述实施例进行进一步优化，本发明实施例可以与上述一个或者多个实施例中各个可选方案结合。本发明实施例中提供的基于AR眼镜的车载感知系统，所述数据融合处理模块包括：
选取同一时刻接收的待识别物体的身份信息、其他车辆信息以及路侧信息进行融合处理；
获取融合处理结果并发送至信息传输模块；其中，所述融合处理结果包括待识别物体的位置信息、大小以及运动状态。
其中，选取同一时刻接收的待识别物体的身份信息、其他车辆信息以及路侧信息进行融合处理；使AR眼镜获取的待识别物体根据数据库内容和地图提供的位置信息，与当前车辆行驶交通环境相对应，以将待识别物体显示在显示设备中；其中，所述显示设备包括但不限于手机导航以及车载导航等；通过AR眼镜的视觉补充，可以根据驾驶员视角和视线范围，增加对周边驾驶环境的识别范围和可信度。将融合处理后的待识别物体的位置信息，大小以及运动状态发送至信息传输模块，提高V2X预警的可靠性，进一步增加了车辆行驶的安全性和可靠性。
可选的，所述数据融合处理模块还包括：
选取同一时刻接收的待识别物体的身份信息、其他车辆信息以及路侧信息；
依据待识别物体的经纬度信息，确定所述待识别物体在世界坐标系下的中心点坐标；
依据包含外接矩形框的待识别物体的置信度对所述待识别物体进行排序；所述排序包括由置信度高至置信度低；
对相邻的且置信度高的至少两个待识别物体进行非极大值抑制处理，获取处理后的待识别物体；
依据处理后的待识别物体、待识别物体的身份信息、其他车辆信息以及路侧信息进行融合处理，确定融合处理结果；其中，所述融合处理结果包括待识别物体的位置信息和尺寸大小。
其中，车端通信终端VBOX将接收到的来自AR眼镜、其他车端和路侧的信息进行融合处理，识别出障碍物的位置信息和尺寸大小，进行V2X预警广播。
数据信息融合处理过程如下：
A1：将AR眼镜、车端和路侧的路测单元消息(road side message，RSM)，进行解码，选择三者时间戳相同的来进行融合；
A2：根据待识别物体的经纬度，计算出待识别物体在世界坐标系下的中心点坐标；
A3：对每个包含待识别物体的外接矩形框的所有待识别物体的根据置信度对其进行从大到小排序；
A4：对相邻的两个待识别物体求其待识别物体的外接矩形框角点坐标；
A5：根据两个待识别物体的角点坐标来进行非极大值抑制(Non-MaximumSuppression，NMS)计算；
A6：提供所有外接矩形框冗余后的结果。
其中，图5是本发明实施例提供的一种数据融合处理结构示意图，参见图5，将AR眼镜获取的信息、路侧信息以及远车信息发送至数据融合处理模块，将待融合处理的数据放入路测单元消息队列，并在预设时间内定时检测消息队列中的数据，判断所述AR眼镜获取的信息、路侧信息以及远车信息是否在同一时间段，确定待识别物体在世界坐标系下的中心点坐标，对相邻的且置信度高的至少两个待识别物体进行非极大值抑制处理，获取处理后的待识别物体；依据处理后的待识别物体、待识别物体的身份信息、其他车辆信息以及路侧信息进行融合处理，确定融合处理结果，获取所述融合处理结果的基本安全信息(basicsafety message，BSM)。
本发明实施例提供了一种基于AR眼镜的车载感知系统，通过选取同一时刻接收的待识别物体的身份信息、其他车辆信息以及路侧信息进行融合处理；获取融合处理结果并发送至信息传输模块；其中，所述融合处理结果包括待识别物体的位置信息、大小以及运动状态。采用本发明实施例的技术方案，当前车辆在行驶过程中利用AR眼镜来进行道路中待识别物体进行识别，将信息发送给车端VBOX，通过选取同一时刻接收的待识别物体的身份信息、其他车辆信息以及路侧信息；确定所述待识别物体在世界坐标系下的中心点坐标；对相邻的且置信度高的至少两个待识别物体进行非极大值抑制处理，获取处理后的待识别物体；依据处理后的待识别物体、待识别物体的身份信息、其他车辆信息以及路侧信息进行融合处理，根据数据库内容和地图提供的位置信息确定待识别物体在地图中的位置信息和尺寸大小，生成V2X预警信息，提高车辆驾驶的安全性和可靠性。AR眼镜识别源的加入，补充了驾驶员视角下的路侧障碍物信息，提高了V2X预警的检测范围和可靠性。
图6是本发明实施例中提供的一种基于AR眼镜的车载感知方法的流程图，本发明实施例可适用于采用AR眼镜对当前车辆路侧信息感知获取的情况，该方法可由本发明任意实施例中所提供的基于AR眼镜的车载感知系统来执行。如图6所示，本发明实施例中提供的基于AR眼镜的车载感知方法具体包括以下步骤：
S610、采用AR眼镜对当前车辆周围环境进行识别匹配，确定待识别物体的身份信息以及经纬度信息。
其中，所述待识别物体包括当前车辆周围的障碍物、交通标识以及交通参与者。
在上述实施例的基础上，可选的，所述采用AR眼镜对当前车辆周围环境进行识别匹配，确定待识别物体的身份信息以及经纬度信息，包括：
通过AR眼镜对当前车辆周围环境进行扫描，获取待识别物体的特征点信息；其中，所述特征点信息包括待识别物体的形状以及大小；
将待识别物体的特征点信息与信息库中识别物体的特征点信息进行特征点匹配，确定待识别物体的身份信息；
将所述待识别物体的身份信息发送至数据融合处理模块。
在上述实施例的基础上，可选的，所述采用AR眼镜对当前车辆周围环境进行识别匹配，确定待识别物体的身份信息以及经纬度信息，还包括：
若所述待识别物体特征点匹配成功，则保留所述待识别物体的身份信息并将所述待识别物体的身份信息发送至数据融合处理模块；
若所述待识别物体特征点未匹配成功，则向所述数据融合处理模块发送预设的未识别信息。
S620、获取其他车辆信息以及路侧信息，并将所述其他车辆信息以及路侧信息发送至数据融合处理模块。
在上述实施例的基础上，可选的，将其他车辆信息、路侧信息以及待识别物体的身份信息进行融合处理得到融合处理结果，包括：
采用信息获取设备获取路侧信息并将所述路侧信息发送至数据融合处理模块；其中，所述信息获取设备包括雷达以及摄像头；所述路侧信息包括当前车辆行驶道路环境信息；
获取其他车辆的当前运动状态信息；所述运动状态信息通过车-车之间的直连通信进行信息的传递。
S630、将其他车辆信息、路侧信息以及待识别物体的身份信息进行融合处理得到融合处理结果。
在上述实施例的基础上，可选的，所述将其他车辆信息、路侧信息以及待识别物体的身份信息进行融合处理得到融合处理结果，包括：
选取同一时刻接收的待识别物体的身份信息、其他车辆信息以及路侧信息进行融合处理；
获取融合处理结果并发送至信息传输模块；其中，所述融合处理结果包括待识别物体的位置信息、大小以及运动状态。
在上述实施例的基础上，可选的，所述选取同一时刻接收的待识别物体的身份信息、其他车辆信息以及路侧信息进行融合处理，包括：
选取同一时刻接收的待识别物体的身份信息、其他车辆信息以及路侧信息；
依据待识别物体的经纬度信息，确定所述待识别物体在世界坐标系下的中心点坐标；
依据包含外接矩形框的待识别物体的置信度对所述待识别物体进行排序；所述排序包括由置信度高至置信度低；
对相邻的且置信度高的至少两个待识别物体进行非极大值抑制处理，获取处理后的待识别物体；
依据处理后的待识别物体、待识别物体的身份信息、其他车辆信息以及路侧信息进行融合处理，确定融合处理结果；其中，所述融合处理结果包括待识别物体的位置信息和尺寸大小。
S640、将融合处理结果通过蜂窝网络发送给后台以及通过直连通信的方式发送给其他车辆。
在上述实施例的基础上，可选的，所述将融合处理结果通过蜂窝网络发送给后台以及通过直连通信的方式发送给其他车辆，包括：
通过蜂窝网络将融合处理结果按V2X的消息格式上传至云端后台，并通过云端后台将融合处理结果广播给智能交通系统；
通过车-车之间的直连通信方式将融合处理结果按照V2X的消息格式发送至其他车辆。
本发明实施例中所提供的基于AR眼镜的车载感知方法可应用于上述本发明任意实施例中所提供的基于AR眼镜的车载感知系统，具备该基于AR眼镜的车载感知系统相应的功能和有益效果，未在上述实施例中详尽描述的技术细节，具体可参见本申请任意实施例中所提供的基于AR眼镜的车载感知系统。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种基于AR眼镜的车载感知系统，其特征在于，所述系统包括：
物体识别模块配置为，采用AR眼镜对当前车辆周围环境进行识别匹配，确定待识别物体的身份信息以及经纬度信息；其中，所述待识别物体包括当前车辆周围的障碍物、交通标识以及交通参与者；
信息获取模块配置为，获取其他车辆信息以及路侧信息，并将所述其他车辆信息以及路侧信息发送至数据融合处理模块；
数据融合处理模块配置为，将其他车辆信息、路侧信息以及待识别物体的身份信息进行融合处理得到融合处理结果；
信息传输模块配置为，将融合处理结果通过蜂窝网络发送给后台以及通过直连通信的方式发送给其他车辆。
2.根据权利要求1所述的系统，其特征在于，所述物体识别模块包括：
通过AR眼镜对当前车辆周围环境进行扫描，获取待识别物体的特征点信息；其中，所述特征点信息包括待识别物体的形状以及大小；
将待识别物体的特征点信息与信息库中识别物体的特征点信息进行特征点匹配，确定待识别物体的身份信息；
将所述待识别物体的身份信息发送至数据融合处理模块。
3.根据权利要求1所述的系统，其特征在于，所述物体识别模块还包括：
若所述待识别物体特征点匹配成功，则保留所述待识别物体的身份信息并将所述待识别物体的身份信息发送至数据融合处理模块；
若所述待识别物体特征点未匹配成功，则向所述数据融合处理模块发送预设的未识别信息。
4.根据权利要求1所述的系统，其特征在于，所述信息获取模块包括：
采用信息获取设备获取路侧信息并将所述路侧信息发送至数据融合处理模块；其中，所述信息获取设备包括雷达以及摄像头；所述路侧信息包括当前车辆行驶道路环境信息；
获取其他车辆的当前运动状态信息；所述运动状态信息通过车-车之间的直连通信进行信息的传递。
5.根据权利要求1所述的系统，其特征在于，所述数据融合处理模块包括：
选取同一时刻接收的待识别物体的身份信息、其他车辆信息以及路侧信息进行融合处理；
获取融合处理结果并发送至信息传输模块；其中，所述融合处理结果包括待识别物体的位置信息、大小以及运动状态。
6.根据权利要求1所述的系统，其特征在于，所述数据融合处理模块还包括：
选取同一时刻接收的待识别物体的身份信息、其他车辆信息以及路侧信息；
依据待识别物体的经纬度信息，确定所述待识别物体在世界坐标系下的中心点坐标；
依据包含外接矩形框的待识别物体的置信度对所述待识别物体进行排序；所述排序包括由置信度高至置信度低；
对相邻的且置信度高的至少两个待识别物体进行非极大值抑制处理，获取处理后的待识别物体；
依据处理后的待识别物体、待识别物体的身份信息、其他车辆信息以及路侧信息进行融合处理，确定融合处理结果；其中，所述融合处理结果包括待识别物体的位置信息和尺寸大小。
7.根据权利要求1所述的系统，其特征在于，所述信息传输模块包括：
通过蜂窝网络将融合处理结果按V2X的消息格式上传至云端后台，并通过云端后台将融合处理结果广播给智能交通系统；
通过车-车之间的直连通信方式将融合处理结果按照V2X的消息格式发送至其他车辆。
8.一种基于AR眼镜的车载感知方法，其特征在于，所述方法包括：
采用AR眼镜对当前车辆周围环境进行识别匹配，确定待识别物体的身份信息以及经纬度信息；其中，所述待识别物体包括当前车辆周围的障碍物、交通标识以及交通参与者；
获取其他车辆信息以及路侧信息，并将所述其他车辆信息以及路侧信息发送至数据融合处理模块；
将其他车辆信息、路侧信息以及待识别物体的身份信息进行融合处理得到融合处理结果；
将融合处理结果通过蜂窝网络发送给后台以及通过直连通信的方式发送给其他车辆。
9.根据权利要求8所述的方法，其特征在于，所述采用AR眼镜对当前车辆周围环境进行识别匹配，确定待识别物体的身份信息以及经纬度信息，包括：
通过AR眼镜对当前车辆周围环境进行扫描，获取待识别物体的特征点信息；其中，所述特征点信息包括待识别物体的形状以及大小；
将待识别物体的特征点信息与信息库中识别物体的特征点信息进行特征点匹配，确定待识别物体的身份信息；
将所述待识别物体的身份信息发送至数据融合处理模块。
10.根据权利要求8所述的方法，其特征在于，所述采用AR眼镜对当前车辆周围环境进行识别匹配，确定待识别物体的身份信息以及经纬度信息，还包括：
若所述待识别物体特征点匹配成功，则保留所述待识别物体的身份信息并将所述待识别物体的身份信息发送至数据融合处理模块；
若所述待识别物体特征点未匹配成功，则向所述数据融合处理模块发送预设的未识别信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210260159.1A CN114599011A (zh) | 2022-03-16 | 2022-03-16 | 一种基于ar眼镜的车载感知系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210260159.1A CN114599011A (zh) | 2022-03-16 | 2022-03-16 | 一种基于ar眼镜的车载感知系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114599011A true CN114599011A (zh) | 2022-06-07 |
Family
ID=81808848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210260159.1A Pending CN114599011A (zh) | 2022-03-16 | 2022-03-16 | 一种基于ar眼镜的车载感知系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114599011A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN207164368U (zh) * | 2017-08-31 | 2018-03-30 | 北京新能源汽车股份有限公司 | 车载增强现实系统 |
| CN109086726A (zh) * | 2018-08-10 | 2018-12-25 | 陈涛 | 一种基于ar智能眼镜的局部图像识别方法及系统 |
| CN110428611A (zh) * | 2019-07-04 | 2019-11-08 | 苏州车萝卜汽车电子科技有限公司 | 用于智能交通的信息处理方法及装置 |
| CN111064936A (zh) * | 2019-12-31 | 2020-04-24 | 维沃移动通信有限公司 | 一种路况信息显示方法及ar设备 |
| CN111540224A (zh) * | 2020-06-12 | 2020-08-14 | 深圳市元征科技股份有限公司 | 一种道路数据处理方法及相关设备 |
| CN112634611A (zh) * | 2020-12-15 | 2021-04-09 | 北京百度网讯科技有限公司 | 用于识别路况的方法、装置、设备以及存储介质 |
| US20210142526A1 (en) * | 2017-05-22 | 2021-05-13 | Pcms Holdings, Inc. | Method and apparatus for in-vehicle augmented reality visualization of sensor range and field-of-view |
| US20210373342A1 (en) * | 2020-06-02 | 2021-12-02 | Brian Gordaychik | Augmented reality glasses for indicating gear position and/or other information to a bicycle rider |
-
2022
- 2022-03-16 CN CN202210260159.1A patent/CN114599011A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210142526A1 (en) * | 2017-05-22 | 2021-05-13 | Pcms Holdings, Inc. | Method and apparatus for in-vehicle augmented reality visualization of sensor range and field-of-view |
| CN207164368U (zh) * | 2017-08-31 | 2018-03-30 | 北京新能源汽车股份有限公司 | 车载增强现实系统 |
| CN109086726A (zh) * | 2018-08-10 | 2018-12-25 | 陈涛 | 一种基于ar智能眼镜的局部图像识别方法及系统 |
| CN110428611A (zh) * | 2019-07-04 | 2019-11-08 | 苏州车萝卜汽车电子科技有限公司 | 用于智能交通的信息处理方法及装置 |
| CN111064936A (zh) * | 2019-12-31 | 2020-04-24 | 维沃移动通信有限公司 | 一种路况信息显示方法及ar设备 |
| US20210373342A1 (en) * | 2020-06-02 | 2021-12-02 | Brian Gordaychik | Augmented reality glasses for indicating gear position and/or other information to a bicycle rider |
| CN111540224A (zh) * | 2020-06-12 | 2020-08-14 | 深圳市元征科技股份有限公司 | 一种道路数据处理方法及相关设备 |
| CN112634611A (zh) * | 2020-12-15 | 2021-04-09 | 北京百度网讯科技有限公司 | 用于识别路况的方法、装置、设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109558957B (zh) | 选择车辆上车位置 | |
| US11967109B2 (en) | Vehicle localization using cameras | |
| CN107274695B (zh) | 智能照明系统、智能车辆及其车辆辅助驾驶系统和方法 | |
| US11100680B2 (en) | AR/VR/MR ride sharing assistant | |
| JP4454681B2 (ja) | 交通状況表示方法、交通状況表示システム、車載装置及びコンピュータプログラム | |
| CN109817022B (zh) | 一种获取目标对象位置的方法、终端、汽车及系统 | |
| US20200223454A1 (en) | Enhanced social media experience for autonomous vehicle users | |
| US20170127246A1 (en) | Method for Sharing Travelling Information, Vehicle Platform and Intelligent Traffic System | |
| EP3358550A1 (en) | Information processing device and information processing method | |
| CN102951089A (zh) | 基于移动设备摄像头的车载导航及主动安全系统 | |
| CN111292351A (zh) | 车辆检测方法及执行其的电子设备 | |
| CN114153220B (zh) | 基于人工智能物联网平台用于自动驾驶的远程控制方法 | |
| JP2016212675A (ja) | 物体認識システム | |
| US20220036043A1 (en) | Information processing apparatus, information processing method, program, mobile-object control apparatus, and mobile object | |
| CN102980586A (zh) | 一种导航终端和使用导航终端进行导航的方法 | |
| CN111681454A (zh) | 一种基于驾驶行为的车车协同防撞预警方法 | |
| JP2019109707A (ja) | 表示制御装置、表示制御方法および車両 | |
| US20230392943A1 (en) | Server apparatus and information processing method | |
| KR20210098445A (ko) | 정보 처리 장치, 정보 처리 방법, 프로그램, 이동체 제어 장치, 및 이동체 | |
| CA3020190C (en) | Intelligent lighting system, intelligent vehicle and auxiliary vehicle driving system and method therefor | |
| CN114599011A (zh) | 一种基于ar眼镜的车载感知系统及方法 | |
| US20200021751A1 (en) | Image processing apparatus and computer-readable storage medium | |
| CN114756700B (zh) | 场景库建立方法、装置、车辆、存储介质及芯片 | |
| KR20200070100A (ko) | 차량 검출 방법 및 이를 수행하는 전자 기기 | |
| CN106840181B (zh) | 用于确定车辆位置的系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |