CN112180605A - 一种基于增强现实的辅助驾驶系统 - Google Patents
一种基于增强现实的辅助驾驶系统 Download PDFInfo
- Publication number
- CN112180605A CN112180605A CN202011122820.XA CN202011122820A CN112180605A CN 112180605 A CN112180605 A CN 112180605A CN 202011122820 A CN202011122820 A CN 202011122820A CN 112180605 A CN112180605 A CN 112180605A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- early warning
- driving
- driver
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 23
- 239000011521 glass Substances 0.000 claims abstract description 32
- 238000004458 analytical method Methods 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims abstract description 5
- 238000004088 simulation Methods 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 7
- 230000007613 environmental effect Effects 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 230000004888 barrier function Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 230000008451 emotion Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 description 8
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 235000021419 vinegar Nutrition 0.000 description 1
- 239000000052 vinegar Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/213—Virtual instruments
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供了一种基于增强现实的辅助驾驶系统。包括：前视场景采集模块：用于在轨道车辆前方和路侧预设的传感器和摄像头，并在在行驶时采集前视场景信息，同时发送至模拟显示模块；行驶场景采集模块：用于在轨道车辆两侧预设识别摄像头和车辆MVB系统，并在行驶时采集车辆状态信息，同时发送至模拟显示模块；模拟显示模块：用于接收所述前视场景信息，在驾驶员的智能眼镜上生成前视场景影像，并接收所述车辆状态信息，在驾驶员的智能眼镜上生成轨道车辆的实时行驶场景影像；辅助模块：用于对所述前视场景影像和实时行驶场景影像进行分析，并根据分析结果对所述驾驶员进行语音播报。
Description
技术领域
本发明涉及辅助驾驶技术领域，特别涉及一种基于增强现实的辅助驾驶系统。
背景技术
目前，轨道车辆在运输量、舒适度、抗特殊天气，还是最为优渥的选择，但是，在汽车车辆在不断推陈出新的今天，轨道车辆在驾驶上也是一个急需要改变的方向。在驾驶方面，现有的轨道车辆因为事故少，在驾驶环境上，驾驶员的作用只是监测数据，进行制动和牵引和观察车辆的实施数据，对于轨道两侧可能醋和先障碍物等，只能靠驾驶员的前视才能观察到，没有驾驶辅助系统(Advanced Driving Assistance System)。因此，现有的虚拟现实系统作为增强现实的一种技术，利用安装在车上的各式各样传感器，在列车行驶过程中随时来感应周围的环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航地图数据，进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加列车驾驶的舒适性和安全性是在高铁或火车等提速越来越快、里程越来越长的大环境下需要进行研发的方向。
但是，现有的虚拟现实系统一般只能够在游戏中，模拟行驶环境对于驾驶环境时无法模拟的，而且对于驾驶场景的增强现实，在现有技术中，增强现实的辅助驾驶系统存在数据获取不全面。
发明内容
本发明提供一种基于增强现实的辅助驾驶系统，用以解决现有的增强现实技术只是对行驶环境的进行增强显示，而且数据获取不全面的问题的情况。
一种基于增强现实的辅助驾驶系统，其特征在于，包括：
前视场景采集模块：用于在轨道车辆前方和路侧预设的传感器和摄像头，并在在行驶时采集前视场景信息，同时发送至模拟显示模块；
行驶场景采集模块：用于在轨道车辆两侧预设识别摄像头和车辆MVB系统，并在行驶时采集车辆状态信息，同时发送至模拟显示模块；
模拟显示模块：用于接收所述前视场景信息，在驾驶员的智能眼镜上生成前视场景影像，并接收所述车辆状态信息，在驾驶员的智能眼镜上生成轨道车辆的实时行驶场景影像；
辅助模块：用于对所述前视场景影像和实时行驶场景影像进行分析，并根据分析结果对所述驾驶员进行语音播报。
作为本发明的一种实施例，所述前视场景采集模块包括：
车道采集单元：用于通过车辆上预设GPS装置，确定车辆行驶时的位置信息；其中，
所述位置信息包括经纬度信息和车道信息；
轨道单元：用于通过车辆正前方设置的CCD探测相机，确定前视轨道图片；
路况采集单元：用于通过路侧预设的CCD探测相机，获取路侧图片，并确定行驶时的实时路况；其中，
所述实时路况包括：路面障碍物信息、路侧行人信息、路侧交通标志信息和路面轨道岔道信息；
场景生成单元：用于接收所述位置信息、前视轨道图片和实时路况，生成前视场景信息。
作为本发明的一种实施例，所述行驶场景采集模块包括：
路侧采集单元：用于通过轨道车辆两侧设置的人脸识别摄像头、车速识别摄像头、异常捕捉摄像头，获取路侧的实时路况；
行驶采集单元：用于通过所述轨道车辆两侧设置传感器，确定不同轨道的车距和路侧障碍物的障碍距离；
车速采集单元：用于通过所述驾驶室内的显示屏，获取实时车速数据；
角度采集单元：用于通过所述驾驶室内的显示屏，获取车辆行驶方向的角度数据；
里程采集单元：用于通过所述驾驶室内的显示屏，获取实时里程数据。
作为本发明的一种实施例，所述模拟显示模块包括：
行驶模拟单元：用于将所述前视场景信息车辆状态信息通过AR仿真技术处理，生成前视场景影像和实时行驶场景影像；其中，
所述实时行驶影像包括：路面影像、车距影像、车辆侧面行人影像、路侧的交通标志信息；
智能眼镜单元：用于接收所述前视场景影像和实时行驶场景影像，并形成虹膜可控的广角视觉影像；其中，
所述广角视觉影像包括：前视广角影像、左侧场景广角影像、右侧广角影像和车体的广角影像。
作为本发明的一种实施例，所述模拟显示模块还包括：
车道显示单元：用于根据所述前视场景影像，通过对不同的轨道进行轨道标记；其中，
在所述轨道标记包括路线标记和分叉标记；
车辆近距显示单元：用于根据所述模拟行驶影像，通过智能眼镜显示车辆行驶时左车距离和右车距离；
行人显示单元：用于根据所述模拟行驶影像，通过智能眼镜显示车辆行驶时的行人数量和行人位置；
盲区显示单元：用于根据所述模拟行驶影像，在通过智能眼镜显示车辆的行驶场景时，对车辆的显示盲区进行区域标记；
虚拟保险杠显示单元：用于根据所述模拟行驶影像，通过智能眼镜在车辆前侧模拟显示车辆的保险杠；
交通标识显示单元：用于根据所述模拟行驶影像，通过智能眼镜显示在路侧的交通标志；其中，
所述交通标志包括：交通指示牌和测速摄像设备。
作为本发明的一种实施例，所述辅助模块包括：
阻力采集单元：用于预设单位时间，并在两个连续的单位时间内获取车辆的实时车速，确定车辆的阻力；
湿滑状态采集单元：用于根据车辆的阻力，确定车辆的湿滑系数；
滑行预测单元：用于根据就所述湿滑系数，判断在不同速度下，车辆的滑行距离，并生成动态滑行距离曲线；
第一预警标准设定单元：用于根据所述动态滑行距离曲线，通过预测算法预测车辆发生故障的的第一预警限值，并生成动态的第一预警标准；其中，
所述预警标准包括：车道偏离预警标准、车辆近距预警标准、车辆碰撞预警标准、行人距离预警标准和盲区分布预警标准。
作为本发明的一种实施例，所述辅助模块还包括：
语音提醒单元：用于根据所述前视场景影像和实时行驶场景影像，通过预设的语音播报系统对驾驶员进行导航播报和异常播报；
事故判断单元：用于根据所述异常播报，判断驾驶员的驾驶状态和发生驾驶事故的关联度；其中，
所述关联度包括：驾驶员的位姿与发生驾驶事故的关联度、驾驶员的眼睛睁开状态与发生驾驶事故的关联度和驾驶员的情绪与发生驾驶事故的关联度；
第一预警标准设定单元：用于根据所述驾驶员的驾驶状态和发生驾驶事故的关联度，通过预测算法预测车辆发生故障的的第二预警限值，并生成第二预警标准；
预警标准单元：用于通过所述第一预警标准和第二预警标准，生成预警标准。
作为本发明的一种实施例，所述辅助模块还包括：
车道偏离预警：用于根据所述前视场景影像和所述预警标准，判断轨道车辆在岔道时的，若车道偏离预设路线，执行车道偏离报警；
近距报警：用于根据所述前视场景影像、实时行驶场景影像和所述预警标准，判断左右的车辆距离或障碍物距离是否超过预警标准，并在车辆可能发生事故时，执行近距报警；
碰撞预警：用于根据所述模拟行驶影像和所述预警标准，判断车辆是否会发生碰撞，并在碰撞前，打出碰撞预警；
行人预警：用于根据所述前视场景影像、实时行驶场景影像和所述预警，判断车辆是否会碰撞到行人，执行行人报警；
盲区报警：用于根据所前视场景影像、实时行驶场景影像和所述预警标准，判断盲区分布的区域，根据所述盲区分布区域，执行盲区分布报警；
驾驶员状态报警：用于根据所述前视场景影像和实时行驶场景影像，判断驾驶员的驾驶状态是否符合预警标准，并执行驾驶状态报警。
作为本发明的一种实施例，所述辅助模块还包括：
报警顺序单元：用于根据所述预警标准，判断超过所述预警标准时，发生事故对车辆驾驶员的影响度，并根据所述影响度，判断所述预警标准的优先度，并根据所述优先度，对所述报警标准进行分级，确定报警顺序；
语音报警单元：用于根据所述报警顺序，在不同的报警状态下执行报警，并通过调取预设在报警数据库的报警语音，进行语音报警。
声光报警单元：用于在驾驶员的驾驶状态不足以根据语音报警调整车辆状态时，控制所述车辆执行自动控制，并通过车辆外部的灯和车辆的喇叭执行声光报警。
作为本发明的一种实施例，所述辅助模块根据所述预警标准执行预警报警包括以下步骤：
步骤1：获取前视场景影像和实时行驶场景影像，并确定场景特征W；
其中，所述θ表示轨道的角度；所述A表示车辆的行驶特征；所述δt表示t时刻车辆的状态；所述B表示车辆的驾驶特征；所述n表示行驶特征数；所述m表示行驶特征数；
步骤2：根据实时路况信息，确定车辆的路况特征L；
其中，所述ζ表示路段长度；所述n表示在长为ζ的路面的车辆数量；所述Mt表示t时刻路面的车辆密度；所述qt表示t时刻路面的路况；所述Bt表示t时刻路面的车辆密度的变化量；所述Zt表示t时刻路面红灯数量；
步骤3：根据所述环境状态，确定环境特征H：
其中，所述Tt表示t时刻路面的天气参数；所述Kt表示t时刻可见度；
步骤4：根据所述驾驶状态，确定驾驶员的驾驶特征J：
其中，所述ρ表示身体素质参数；所述Y表示驾驶员已经驾驶的里程；所述S表示驾驶员已经驾驶的时常；所述G(t)表示t时刻驾驶员的驾驶状态；所述G(t-1)表示t-1时刻驾驶员的驾驶状态；所述
其中，所述yi表示第i张驾驶者图像中驾驶者的眼睛状态参数；所述yl表示驾驶者的正常眼睛状态参数；所述bi表示第i张驾驶者图像中驾驶者的脸部状态参数；所述bl表示驾驶者的脸部状态参数；
步骤5：融合所述驾驶特征、环境特征、路况特征和位置特征，判断是否执行预警报警：
所述κi表示第i中预警标准的预警特征；
其中，当
时，表示不执行预警报警；当
时，表示执行预警报警。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种基于增强现实的辅助驾驶系统的系统组成图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
如附图1所示，本发明为一种基于增强现实的辅助驾驶系统，包括：
前视场景采集模块：用于在轨道车辆前方和路侧预设的传感器和摄像头，并在在行驶时采集前视场景信息，同时发送至模拟显示模块；
行驶场景采集模块：用于在轨道车辆两侧预设识别摄像头和车辆MVB系统，并在行驶时采集车辆状态信息，同时发送至模拟显示模块；
模拟显示模块：用于接收所述前视场景信息，在驾驶员的智能眼镜上生成前视场景影像，并接收所述车辆状态信息，在驾驶员的智能眼镜上生成轨道车辆的实时行驶场景影像；
辅助模块：用于对所述前视场景影像和实时行驶场景影像进行分析，并根据分析结果对所述驾驶员进行语音播报。上述技术方案的原理在于：本发明基于外部场景采集模块、内部场景采集模块模块、模拟显示模块和辅助模块：通过采集驾驶员在行驶时行驶环境的行驶数据以及驾驶员的实时驾驶状态数据，通过构建虚拟的驾驶影像和行驶影像，构建虚拟的驾驶场景，增强驾驶员在驾驶时从环境到自身的整个驾驶体系的现实观感，进而通过本发明的辅助驾驶系统，根据整个驾驶体系的现实观感，会在具有实时的驾驶场景和行驶场景超过预设的驾驶标准时，会执行报警。
上述技术方案的有益效果在于：本发明通过采集车辆在行驶时的驾驶场景和行驶场景，基于车辆的行驶状态，通过虚拟现实技术，构建车辆的实时行驶状态和驾驶员的实时驾驶状态的实时影像，并将这些实时影像通过驾驶员佩戴的智能眼睛进行显示，智能眼睛基于VR识别技术，在显示的同时，不断进行语音提示，而且在超过设定的预警阈值的情况下，还能够执行预警报警。不仅能够实时提醒驾驶者注意路况，更加能够根据实时场景和驾驶员状态进行报警，防止出现意外事件。
在一个实施例中：所述前视场景采集模块包括：
车道采集单元：用于通过车辆上预设GPS装置，确定车辆行驶时的位置信息；其中，
所述位置信息包括经纬度信息和车道信息；
轨道单元：用于通过车辆正前方设置的CCD探测相机，确定前视轨道图片；
路况采集单元：用于通过路侧预设的CCD探测相机，获取路侧图片，并确定行驶时的实时路况；其中，
所述实时路况包括：路面障碍物信息、路侧行人信息、路侧交通标志信息和路面轨道岔道信息；
场景生成单元：用于接收所述位置信息、前视轨道图片和实时路况，生成前视场景信息。所述实时路况包括：路面障碍物信息(例如路面的垃圾、滚石等)、路侧行人信息(路面的行人，道路施工人员等)、路侧交通标志信息(路侧的限速牌、方向、里程)和路面交通线道信息(轨道上的岔道标志)。
上述技术方案的有益效果在于：本发明可以通过GPS信息确定车辆在路面的位置，从而在进行虚拟影像设置时，可以仿真车辆在路面的车道，行人、障碍物和其他车，确定车道信息，使得驾驶员便于在驾驶时，防止撞到其他车辆，也可以防止违反交通规则。
在一个实施例中：所述行驶场景采集模块包括：
路侧采集单元：用于通过轨道车辆两侧设置的人脸识别摄像头、车速识别摄像头、异常捕捉摄像头，获取路侧的实时路况；
行驶采集单元：用于通过所述轨道车辆两侧设置传感器，确定不同轨道的车距和路侧障碍物的障碍距离；
车速采集单元：用于通过所述驾驶室内的显示屏，获取实时车速数据；
角度采集单元：用于通过所述驾驶室内的显示屏，获取车辆行驶方向的角度数据；
里程采集单元：用于通过所述驾驶室内的显示屏，获取实时里程数据。
在一个实施例中：所述模拟显示模块包括：
行驶模拟单元：用于将所述前视场景信息车辆状态信息通过AR仿真技术处理，生成前视场景影像和实时行驶场景影像；其中，
所述实时行驶影像包括：路面影像、车距影像、车辆侧面行人影像、路侧的交通标志信息；
智能眼镜单元：用于接收所述前视场景影像和实时行驶场景影像，并形成虹膜可控的广角视觉影像；其中，
所述广角视觉影像包括：前视广角影像、左侧场景广角影像、右侧广角影像和车体的广角影像。
上述技术方案的有益效果在于：本发明通过对驾驶员的实时行驶影像(即路面影像、车辆前后和左右的车辆的车距影像、车辆前后和左右的行人影像、路侧的交通标志信息、路面的行驶轨迹信息)增强了驾驶员对路面的观感。通过人像位姿可一提醒驾驶员保持一个良好的驾驶姿态，通过视角姿态可以提醒驾驶员注意看前方车辆。通过表情模拟可以提醒用户如果适合驾驶，就主动驾驶，如果不适合驾驶，就提醒驾驶员路边停止开车。
在一个实施例中：所述模拟显示模块还包括：
车道显示单元：用于根据所述前视场景影像，通过对不同的轨道进行轨道标记；其中，
在所述轨道标记包括路线标记和分叉标记；
车辆近距显示单元：用于根据所述模拟行驶影像，通过智能眼镜显示车辆行驶时左车距离和右车距离；
行人显示单元：用于根据所述模拟行驶影像，通过智能眼镜显示车辆行驶时的行人数量和行人位置；
盲区显示单元：用于根据所述模拟行驶影像，在通过车辆内部的显示器显示车辆的行驶场景时，对车辆的显示盲区进行区域标记；
虚拟保险杠显示单元：用于根据所述模拟行驶影像，通过智能眼镜在车辆前侧模拟显示车辆的保险杠；
交通标识显示单元：用于根据所述模拟行驶影像，通过车辆内部的显示器显示在路侧的交通标志；其中，
所述交通标志包括：交通指示牌和测速摄像设备。
上述技术方案的有益效果在于：本发明通过车道实时显示，包括行驶轨迹和岔道线路，火车或高铁，存在在岔道口进行分道，本发明防止驾驶者的火车行驶偏离路线，进入别的岔道。通过车距显示，防止车辆和其他车辆相距太近(火车的轨道侧可能存在巡检的巡检车，这些巡检车存在轨道车和非轨道车两种)，可能导致车辆相撞，通过行人显示单元，显示行人位置，从而提醒用户附近有人，进而撞到行人。通过盲区提醒，防止驾驶员盲区无法观察到，虚拟保险杠显示单元可以防止驾驶员撞到其他车辆，通过交通标识显示单元可以实时显示交通标识，防止驾驶者违规。
在一个实施例中：所述辅助模块包括：
阻力采集单元：用于预设单位时间，并在两个连续的单位时间内获取车辆的实时车速，确定车辆的阻力；
湿滑状态采集单元：用于根据车辆的阻力，确定车辆的湿滑系数；
滑行预测单元：用于根据就所述湿滑系数，判断在不同速度下，车辆的滑行距离，并生成动态滑行距离曲线；
第一预警标准设定单元：用于根据所述动态滑行距离曲线，通过预测算法预测车辆发生故障的的第一预警限值，并生成动态的第一预警标准；其中，
所述预警标准包括：车道偏离预警标准、车辆近距预警标准、车辆碰撞预警标准、行人距离预警标准和盲区分布预警标准。
上述技术方案的有益效果：第一预警标准设置单元设置的是驾驶员驾驶环境的预警标准，通过设置预警标准，可以防止用户超过预警的限值。出现基于行驶环境的意外事故，例如东北地区或者高寒的西藏，会存在火车轨道比较滑的问题。
在一个实施例中：所述辅助模块还包括：
语音提醒单元：用于根据所述前视场景影像和实时行驶场景影像，通过预设的语音播报系统对驾驶员进行导航播报和异常播报；
事故判断单元：用于根据所述异常播报，判断驾驶员的驾驶状态和发生驾驶事故的关联度；其中，
所述关联度包括：驾驶员的位姿与发生驾驶事故的关联度、驾驶员的眼睛睁开状态与发生驾驶事故的关联度和驾驶员的情绪与发生驾驶事故的关联度；
第一预警标准设定单元：用于根据所述驾驶员的驾驶状态和发生驾驶事故的关联度，通过预测算法预测车辆发生故障的的第二预警限值，并生成第二预警标准；
预警标准单元：用于通过所述第一预警标准和第二预警标准，生成预警标准。
上述技术方案的有益效果在于：本发明通过设置语音提醒的功能，通过提醒，加强驾驶员的状态标准，也能判断驾驶员的实时状态是不是适合驾驶员开车，在不适合驾驶员开车的时候，提醒驾驶员停止开车，适合驾驶员开车，则不做提醒。防止因为驾驶原自身状态而发生事故。
在一个实施例中：所述辅助模块还包括：
车道偏离预警：用于根据所述模拟行驶影像和所述预警标准，判断车辆行驶的车道是否偏离，并在车道偏离时，执行车道偏离报警；
近距报警：用于根据所述模拟行驶影像和所述预警标准，判断左右的车辆距离是否超过预警标准，并在车辆可能发生事故时，执行近距报警；
碰撞预警：用于根据所述模拟行驶影像和所述预警标准，判断车辆是否会发生碰撞，并在碰撞前，打出碰撞预警；
行人预警：用于根据所述模拟行驶影像和所述预警标准，判断车辆是否会碰撞到行人，执行行人报警；
盲区报警：用于根据所述模拟行驶影像和所述预警标准，判断盲区分布的区域，根据所述盲区分布区域，执行盲区分布报警；
驾驶员状态报警：用于根据所述模拟驾驶影像，判断驾驶员的驾驶状态是否符合预警标准，并执行驾驶状态报警。
在一个实施例中：所述辅助模块还包括：
报警顺序单元：用于根据所述预警标准，判断超过所述预警标准时，发生事故对车辆驾驶员的影响度，并根据所述影响度，判断所述预警标准的优先度，并根据所述优先度，对所述报警标准进行分级，确定报警顺序；
语音报警单元：用于根据所述报警顺序，在不同的报警状态下执行报警，并通过调取预设在报警数据库的报警语音，进行语音报警。
声光报警单元：用于在驾驶员的驾驶状态不足以根据语音报警调整车辆状态时，控制所述车辆执行自动控制，并通过车辆外部的灯和车辆的喇叭执行声光报警。
上述技术方案的有益效果在于：本发明在报警方面，语音报警和声光报警分别对应不同的优先度对应的预警等级，例如发生车祸，会执行声光报警，而发生尾骨，会执行语音报警。
在一个实施例中：所述辅助模块根据所述预警标准执行预警报警包括以下步骤：
步骤1：获取前视场景影像和实时行驶场景影像，并确定场景特征W；
其中，所述θ表示车辆方向盘的角度；所述A表示车辆的行驶特征；所述δt表示t时刻车辆的状态；所述B表示车辆的驾驶特征；所述n表示行驶特征数；所述m表示行驶特征数；
步骤2：根据实时路况信息，确定车辆的路况特征L；
其中，所述ζ表示路段长度；所述n表示在长为ζ的路面的滑动系数；所述Mt表示t时刻路面的轨道车辆的车速；所述qt表示t时刻路面的路况(障碍物的是否存在状况)；所述Bt表示t时刻路面的车速变化量；所述Zt表示t时刻路面停靠状况；
步骤3：根据所述环境状态，确定环境特征H：
其中，所述Tt表示t时刻路面的天气参数；所述Kt表示t时刻可见度；
步骤4：根据所述驾驶状态，确定驾驶员的驾驶特征J：
其中，所述ρ表示身体素质参数；所述Y表示驾驶员已经驾驶的里程；所述S表示驾驶员已经驾驶的时常；所述G(t)表示t时刻驾驶员的驾驶状态；所述G(t-1)表示t-1时刻驾驶员的驾驶状态；所述
其中，所述yi表示第i张驾驶者图像中驾驶者的眼睛状态参数；所述yl表示驾驶者的正常眼睛状态参数；所述bi表示第i张驾驶者图像中驾驶者的脸部状态参数；所述bl表示驾驶者的脸部状态参数；
步骤5：融合所述驾驶特征、环境特征、路况特征和位置特征，判断是否执行预警报警：
所述κi表示第i中预警标准的预警特征；
其中，当
时，表示不执行预警报警；当
时，表示执行预警报警。
上述技术方案的原理和有益效果在于：本发明在判断是否需要进行预警报警时，首先会根据车辆实时的前视场景影像和实时行驶场景影像，确定车辆的实时行驶特征，而在实时的路况确定之后，会基于路况，判断得到实时路况的特征，再通过环境即当天的天气和时间，确定了行驶环境的环境特征。通过驾驶员身体状态，确定了驾驶元的驾驶状态，最后基于预警标准实现是否进行报警的判断，当可能发生异常事件时，通过预警报警执行报警程序。但是不发生异常时，就会处于系统的默认状态，不执行操作，只显示驾驶员的实时场景。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于增强现实的辅助驾驶系统，其特征在于，包括：
前视场景采集模块：用于在轨道车辆前方和路侧预设的传感器和摄像头，并在行驶时采集前视场景信息，同时发送至模拟显示模块；
行驶场景采集模块：用于在轨道车辆两侧预设识别摄像头和车辆MVB系统，并在行驶时采集车辆状态信息，同时发送至模拟显示模块；
模拟显示模块：用于接收所述前视场景信息，在驾驶员的智能眼镜上生成前视场景影像，并接收所述车辆状态信息，在驾驶员的智能眼镜上生成轨道车辆的实时行驶场景影像；
辅助模块：用于对所述前视场景影像和实时行驶场景影像进行分析，并根据分析结果对所述驾驶员进行语音播报。
2.根据权利要求1所述的一种基于增强现实的辅助驾驶系统，其特征在于，所述前视场景采集模块包括：
车道采集单元：用于通过车辆上预设GPS装置，确定车辆行驶时的位置信息；其中，
所述位置信息包括经纬度信息和车道信息；
轨道单元：用于通过车辆正前方设置的CCD探测相机，确定前视轨道图片；
路况采集单元：用于通过路侧预设的CCD探测相机，获取路侧图片，并确定行驶时的实时路况；其中，
所述实时路况包括：路面障碍物信息、路侧行人信息、路侧交通标志信息和路面轨道岔道信息；
场景生成单元：用于接收所述位置信息、前视轨道图片和实时路况，生成前视场景信息。
3.根据权利要求1所述的一种基于增强现实的辅助驾驶系统，其特征在于，所述行驶场景采集模块包括：
路侧采集单元：用于通过轨道车辆两侧设置的人脸识别摄像头、车速识别摄像头、异常捕捉摄像头，获取路侧的实时路况；
行驶采集单元：用于通过所述轨道车辆两侧设置传感器，确定不同轨道的车距和路侧障碍物的障碍距离；
车速采集单元：用于通过所述驾驶室内的显示屏，获取实时车速数据；
角度采集单元：用于通过所述驾驶室内的显示屏，获取车辆行驶方向的角度数据；
里程采集单元：用于通过所述驾驶室内的显示屏，获取实时里程数据。
4.根据权利要求1所述的一种基于增强现实的辅助驾驶系统，其特征在于，所述模拟显示模块包括：
行驶模拟单元：用于将所述前视场景信息车辆状态信息通过AR仿真技术处理，生成前视场景影像和实时行驶场景影像；其中，
所述实时行驶影像包括：路面影像、车距影像、车辆侧面行人影像、路侧的交通标志信息；
智能眼镜单元：用于接收所述前视场景影像和实时行驶场景影像，并形成虹膜可控的广角视觉影像；其中，
所述广角视觉影像包括：前视广角影像、左侧场景广角影像、右侧广角影像和车体的广角影像。
5.根据权利要求1所述的一种基于增强现实的辅助驾驶系统，其特征在于，所述模拟显示模块还包括：
车道显示单元：用于根据所述前视场景影像，通过对不同的轨道进行轨道标记；其中，
在所述轨道标记包括路线标记和分叉标记；
车辆近距显示单元：用于根据所述前视场景影像，通过智能眼镜显示车辆行驶时左车距离和右车距离；
行人显示单元：用于根据所述前视场景影像，通过智能眼镜显示车辆行驶时的行人数量和行人位置；
盲区显示单元：用于根据所述前视场景影像，在通过智能眼镜显示车辆的行驶场景时，对车辆的显示盲区进行区域标记；
虚拟保险杠显示单元：用于根据所述前视场景影像，通过智能眼镜在车辆前侧模拟显示车辆的保险杠；
交通标识显示单元：用于根据所述前视场景影像，通过智能眼镜显示在路侧的交通标志；其中，
所述交通标志包括：交通指示牌、测速摄像设备。
6.根据权利要求1所述的一种基于增强现实的辅助驾驶系统，其特征在于，所述辅助模块包括：
阻力采集单元：用于预设单位时间，并在两个连续的单位时间内获取车辆的实时车速，确定车辆的阻力；
湿滑状态采集单元：用于根据车辆的阻力，确定车辆的湿滑系数；
滑行预测单元：用于根据就所述湿滑系数，判断在不同速度下，车辆的滑行距离，并生成动态滑行距离曲线；
第一预警标准设定单元：用于根据所述动态滑行距离曲线，通过预测算法预测车辆发生故障的的第一预警限值，并生成动态的第一预警标准；其中，
所述预警标准包括：车道偏离预警标准、车辆近距预警标准、车辆碰撞预警标准、行人距离预警标准和盲区分布预警标准。
7.根据权利要求6所述的一种基于增强现实的辅助驾驶系统，其特征在于，所述辅助模块还包括：
语音提醒单元：用于根据所述前视场景影像和实时行驶场景影像，通过预设的语音播报系统对驾驶员进行导航播报和异常播报；
事故判断单元：用于根据所述异常播报，判断驾驶员的驾驶状态和发生驾驶事故的关联度；其中，
所述关联度包括：驾驶员的位姿与发生驾驶事故的关联度、驾驶员的眼睛睁开状态与发生驾驶事故的关联度和驾驶员的情绪与发生驾驶事故的关联度；
第一预警标准设定单元：用于根据所述驾驶员的驾驶状态和发生驾驶事故的关联度，通过预测算法预测车辆发生故障的的第二预警限值，并生成第二预警标准；
预警标准单元：用于通过所述第一预警标准和第二预警标准，生成预警标准。
8.根据权利要求1所述的一种基于增强现实的辅助驾驶系统，其特征在于，所述辅助模块还包括：
车道偏离预警：用于根据所述前视场景影像和所述预警标准，判断轨道车辆在岔道时的，并在车道偏离时，执行车道偏离报警；
近距报警：用于根据所述前视场景影像、实时行驶场景影像和所述预警标准，判断左右的车辆距离或障碍物距离是否超过预警标准，并在车辆可能发生事故时，执行近距报警；
碰撞预警：用于根据所述模拟行驶影像和所述预警标准，判断车辆是否会发生碰撞，并在碰撞前，打出碰撞预警；
行人预警：用于根据所述前视场景影像、实时行驶场景影像和所述预警，判断车辆是否会碰撞到行人，执行行人报警；
盲区报警：用于根据所前视场景影像、实时行驶场景影像和所述预警标准，判断盲区分布的区域，根据所述盲区分布区域，执行盲区分布报警；
驾驶员状态报警：用于根据所述前视场景影像和实时行驶场景影像，判断驾驶员的驾驶状态是否符合预警标准，并执行驾驶状态报警。
9.根据权利要求1所述的一种基于增强现实的辅助驾驶系统，其特征在于，所述辅助模块还包括：
报警顺序单元：用于根据所述预警标准，判断超过所述预警标准时，发生事故对车辆驾驶员的影响度，并根据所述影响度，判断所述预警标准的优先度，并根据所述优先度，对所述报警标准进行分级，确定报警顺序；
语音报警单元：用于根据所述报警顺序，在不同的报警状态下执行报警，并通过调取预设在报警数据库的报警语音，进行语音报警。
声光报警单元：用于在驾驶员的驾驶状态不足以根据语音报警调整车辆状态时，控制所述车辆执行自动控制，并通过车辆外部的灯和车辆的喇叭执行声光报警。
10.根据权利要求1所述的一种基于增强现实的辅助驾驶系统，其特征在于，所述辅助模块根据所述预警标准执行预警报警包括以下步骤：
步骤1：获取前视场景影像和实时行驶场景影像，并确定场景特征W；
其中，所述θ表示轨道的角度；所述A表示车辆的行驶特征；所述δt表示t时刻车辆的状态；所述B表示车辆的驾驶特征；所述n表示行驶特征数；所述m表示行驶特征数；
步骤2：根据实时路况信息，确定车辆的路况特征L；
其中，所述ζ表示路段长度；所述n表示在长为ζ的路面的车辆数量；所述Mt表示t时刻路面的车辆密度；所述qt表示t时刻路面的路况；所述Bt表示t时刻路面的车辆密度的变化量；所述Zt表示t时刻路面红灯数量；
步骤3：根据所述环境状态，确定环境特征H：
其中，所述Tt表示t时刻路面的天气参数；所述Kt表示t时刻可见度；
步骤4：根据所述驾驶状态，确定驾驶员的驾驶特征J：
其中，所述ρ表示身体素质参数；所述Y表示驾驶员已经驾驶的里程；所述S表示驾驶员已经驾驶的时常；所述G(t)表示t时刻驾驶员的驾驶状态；所述G(t-1)表示t-1时刻驾驶员的驾驶状态；所述
其中，所述yi表示第i张驾驶者图像中驾驶者的眼睛状态参数；所述yl表示驾驶者的正常眼睛状态参数；所述bi表示第i张驾驶者图像中驾驶者的脸部状态参数；所述bl表示驾驶者的脸部状态参数；
步骤5：融合所述驾驶特征、环境特征、路况特征和位置特征，判断是否执行预警报警：
所述κi表示第i中预警标准的预警特征；
其中，当
时，表示不执行预警报警；当
时，表示执行预警报警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011122820.XA CN112180605B (zh) | 2020-10-20 | 2020-10-20 | 一种基于增强现实的辅助驾驶系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011122820.XA CN112180605B (zh) | 2020-10-20 | 2020-10-20 | 一种基于增强现实的辅助驾驶系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112180605A true CN112180605A (zh) | 2021-01-05 |
| CN112180605B CN112180605B (zh) | 2021-06-15 |
Family
ID=73923636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011122820.XA Active CN112180605B (zh) | 2020-10-20 | 2020-10-20 | 一种基于增强现实的辅助驾驶系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112180605B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011260A (zh) * | 2021-02-08 | 2021-06-22 | 株洲莱恩轨道交通科技有限公司 | 一种结合线路实景的高速动车模拟驾驶仿真实训系统 |
| CN113147781A (zh) * | 2021-05-31 | 2021-07-23 | 重庆工程职业技术学院 | 一种汽车智能驾驶信息展示系统 |
| CN113247015A (zh) * | 2021-06-30 | 2021-08-13 | 厦门元馨智能科技有限公司 | 一种基于体感操作一体眼镜的车辆驾驶辅助系统及其方法 |
| CN113569826A (zh) * | 2021-09-27 | 2021-10-29 | 江苏濠汉信息技术有限公司 | 一种辅助驾驶的视角补偿系统 |
| CN113989466A (zh) * | 2021-10-28 | 2022-01-28 | 江苏濠汉信息技术有限公司 | 一种基于事态认知的超视距辅助驾驶系统 |
| CN113989775A (zh) * | 2021-10-28 | 2022-01-28 | 江苏濠汉信息技术有限公司 | 一种视觉引导的辅助驾驶系统 |
| CN114337072A (zh) * | 2021-12-30 | 2022-04-12 | 安徽玖邦驱动科技有限公司 | 一种抗电磁干扰的微型电机 |
| WO2022170736A1 (zh) * | 2021-02-09 | 2022-08-18 | 深圳市慧鲤科技有限公司 | 导航提示方法、装置、电子设备、计算机可读存储介质、计算机程序及程序产品 |
| CN118131905A (zh) * | 2024-02-02 | 2024-06-04 | 东莞市三奕电子科技股份有限公司 | 用于ar眼镜增强现实显示方法、系统、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102910130A (zh) * | 2012-10-24 | 2013-02-06 | 浙江工业大学 | 一种现实增强型的驾驶辅助预警系统 |
| CN105513358A (zh) * | 2016-01-04 | 2016-04-20 | 烟台中正新技术有限公司 | 驾驶行为评估和车辆行驶状态监测预警系统及方法 |
| US20180086264A1 (en) * | 2016-09-27 | 2018-03-29 | Robert D. Pedersen | Motor Vehicle Artificial Intelligence Expert System Dangerous Driving Warning And Control System And Method |
| CN110031975A (zh) * | 2017-12-12 | 2019-07-19 | 大众汽车有限公司 | 在车辆中校准增强现实眼镜的方法和系统与增强现实眼镜 |
| CN110807436A (zh) * | 2019-11-07 | 2020-02-18 | 深圳鼎然信息科技有限公司 | 危险驾驶行为识别与危险事件预测方法、装置及存储介质 |
-
2020
- 2020-10-20 CN CN202011122820.XA patent/CN112180605B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102910130A (zh) * | 2012-10-24 | 2013-02-06 | 浙江工业大学 | 一种现实增强型的驾驶辅助预警系统 |
| CN105513358A (zh) * | 2016-01-04 | 2016-04-20 | 烟台中正新技术有限公司 | 驾驶行为评估和车辆行驶状态监测预警系统及方法 |
| US20180086264A1 (en) * | 2016-09-27 | 2018-03-29 | Robert D. Pedersen | Motor Vehicle Artificial Intelligence Expert System Dangerous Driving Warning And Control System And Method |
| CN110031975A (zh) * | 2017-12-12 | 2019-07-19 | 大众汽车有限公司 | 在车辆中校准增强现实眼镜的方法和系统与增强现实眼镜 |
| CN110807436A (zh) * | 2019-11-07 | 2020-02-18 | 深圳鼎然信息科技有限公司 | 危险驾驶行为识别与危险事件预测方法、装置及存储介质 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113011260A (zh) * | 2021-02-08 | 2021-06-22 | 株洲莱恩轨道交通科技有限公司 | 一种结合线路实景的高速动车模拟驾驶仿真实训系统 |
| CN113011260B (zh) * | 2021-02-08 | 2022-05-10 | 湖南中研智创轨道交通装备有限公司 | 一种结合线路实景的高速动车模拟驾驶仿真实训系统 |
| WO2022170736A1 (zh) * | 2021-02-09 | 2022-08-18 | 深圳市慧鲤科技有限公司 | 导航提示方法、装置、电子设备、计算机可读存储介质、计算机程序及程序产品 |
| CN113147781A (zh) * | 2021-05-31 | 2021-07-23 | 重庆工程职业技术学院 | 一种汽车智能驾驶信息展示系统 |
| CN113247015A (zh) * | 2021-06-30 | 2021-08-13 | 厦门元馨智能科技有限公司 | 一种基于体感操作一体眼镜的车辆驾驶辅助系统及其方法 |
| CN113569826A (zh) * | 2021-09-27 | 2021-10-29 | 江苏濠汉信息技术有限公司 | 一种辅助驾驶的视角补偿系统 |
| CN113989466A (zh) * | 2021-10-28 | 2022-01-28 | 江苏濠汉信息技术有限公司 | 一种基于事态认知的超视距辅助驾驶系统 |
| CN113989775A (zh) * | 2021-10-28 | 2022-01-28 | 江苏濠汉信息技术有限公司 | 一种视觉引导的辅助驾驶系统 |
| CN113989775B (zh) * | 2021-10-28 | 2022-08-05 | 江苏濠汉信息技术有限公司 | 一种视觉引导的辅助驾驶系统 |
| CN114337072A (zh) * | 2021-12-30 | 2022-04-12 | 安徽玖邦驱动科技有限公司 | 一种抗电磁干扰的微型电机 |
| CN118131905A (zh) * | 2024-02-02 | 2024-06-04 | 东莞市三奕电子科技股份有限公司 | 用于ar眼镜增强现实显示方法、系统、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112180605B (zh) | 2021-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112180605B (zh) | 一种基于增强现实的辅助驾驶系统 | |
| US10332401B2 (en) | Running vehicle alerting system and method | |
| JP7188394B2 (ja) | 画像処理装置及び画像処理方法 | |
| CN105459907B (zh) | 车辆安全系统、盲区监测方法及装置 | |
| CN101652802B (zh) | 安全驾驶支持装置 | |
| CN102556071B (zh) | 全挡风玻璃平视显示器上的车辆威胁识别 | |
| GB2604514A (en) | Systems and methods for determining road safety | |
| EP3491358A1 (en) | Determining causation of traffic events and encouraging good driving behavior | |
| US20140114502A1 (en) | Method and system for the prevention of automobile accidents causes by failure to obey road regulations, a vehicle equipped with the system, a manufacturing method for the system, and use of the system in vehicles | |
| TW202020799A (zh) | 移動載具用外部座標即時三維路況輔助裝置及該系統 | |
| JP7380409B2 (ja) | 車両用記録装置、情報記録方法 | |
| RU2731676C2 (ru) | Способ управления устройством отображения и устройство отображения | |
| CN112908034A (zh) | 一种智能公交安全驾驶行为辅助督导系统及控制方法 | |
| CN113022441A (zh) | 一种车辆盲区的检测方法、装置、电子设备及存储介质 | |
| CN111445764A (zh) | 一种针对驾驶员路考培训的智能驾校系统及工作方法 | |
| CN113034952A (zh) | 一种基于车路协同的路段交通安全实时预警系统 | |
| CN115019514B (zh) | 一种基于车联网的公路巡查系统 | |
| Raksincharoensak et al. | Predictive braking assistance system for intersection safety based on risk potential | |
| CN111260915B (zh) | 一种高速公路交通异常区域行人逗留的预警提醒方法 | |
| CN113212451A (zh) | 一种智能驾驶汽车用后视辅助系统 | |
| CN114379611A (zh) | 一种货运列车行车障碍预警方法及系统 | |
| CN111243291B (zh) | 一种对高速公路急弯路段交通异常点后方车辆进行预警的方法 | |
| CN113562005A (zh) | 轨道列车司机行为智能监测和障碍物侵限智能侦测系统 | |
| CN113126294B (zh) | 一种多层次成像系统 | |
| CN115662187A (zh) | 一种基于互联网的交通盲区预警系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: An assistant driving system based on Augmented Reality Effective date of registration: 20211207 Granted publication date: 20210615 Pledgee: Nantong Jiangsu rural commercial bank Limited by Share Ltd. Pledgor: JIANGSU HAOHAN INFORMATION TECHNOLOGY Co.,Ltd. Registration number: Y2021980014300 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20221102 Granted publication date: 20210615 Pledgee: Nantong Jiangsu rural commercial bank Limited by Share Ltd. Pledgor: JIANGSU HAOHAN INFORMATION TECHNOLOGY Co.,Ltd. Registration number: Y2021980014300 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: An assistant driving system based on augmented reality Effective date of registration: 20221207 Granted publication date: 20210615 Pledgee: Jiangsu Nantong Rural Commercial Bank Co.,Ltd. Si'an Sub branch Pledgor: JIANGSU HAOHAN INFORMATION TECHNOLOGY Co.,Ltd. Registration number: Y2022980025338 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20231017 Granted publication date: 20210615 Pledgee: Jiangsu Nantong Rural Commercial Bank Co.,Ltd. Si'an Sub branch Pledgor: JIANGSU HAOHAN INFORMATION TECHNOLOGY Co.,Ltd. Registration number: Y2022980025338 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: An augmented reality based assisted driving system Effective date of registration: 20231020 Granted publication date: 20210615 Pledgee: Jiangsu Nantong Rural Commercial Bank Co.,Ltd. Si'an Sub branch Pledgor: JIANGSU HAOHAN INFORMATION TECHNOLOGY Co.,Ltd. Registration number: Y2023980061751 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Granted publication date: 20210615 Pledgee: Jiangsu Nantong Rural Commercial Bank Co.,Ltd. Si'an Sub branch Pledgor: JIANGSU HAOHAN INFORMATION TECHNOLOGY Co.,Ltd. Registration number: Y2023980061751 |