CN113989466B - 一种基于事态认知的超视距辅助驾驶系统 - Google Patents

一种基于事态认知的超视距辅助驾驶系统 Download PDF

Info

Publication number
CN113989466B
CN113989466B CN202111262070.0A CN202111262070A CN113989466B CN 113989466 B CN113989466 B CN 113989466B CN 202111262070 A CN202111262070 A CN 202111262070A CN 113989466 B CN113989466 B CN 113989466B
Authority
CN
China
Prior art keywords
data
local
situation
scene
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111262070.0A
Other languages
English (en)
Other versions
CN113989466A (zh
Inventor
何成虎
蒋勇
戴相龙
李学钧
王晓鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Haohan Information Technology Co ltd
Original Assignee
Jiangsu Haohan Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Haohan Information Technology Co ltd filed Critical Jiangsu Haohan Information Technology Co ltd
Priority to CN202111262070.0A priority Critical patent/CN113989466B/zh
Publication of CN113989466A publication Critical patent/CN113989466A/zh
Application granted granted Critical
Publication of CN113989466B publication Critical patent/CN113989466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Abstract

本发明提供了一种基于事态认知的超视距辅助驾驶系统。超视距设备采集模块:用于通过预设的轨道车辆行驶路线上获取超视距设备的场景数据和车辆数据;云端网络模块:用于对所述轨道车辆超视距场景做全局检测,确定所述轨道车辆的全局态势认知数据和局部态势认知数据,并判断驾驶员是否能够观察到超视距场景;场景分配单元:用于在驾驶员的AR眼镜通过仿真技术显示所述全局态势认知数据和局部态势认知数据对应的场景数据。

Description

一种基于事态认知的超视距辅助驾驶系统
技术领域
本发明涉及轨道交通技术领域,特别涉及一种基于事态认知的超视距辅助驾驶系统。
背景技术
目前,轨道车辆在运行途中,驾驶员只能看到视线所及的区域的环境情况。但是,人眼的观察和驾驶员的状态息息相关,在驾驶员眼镜不舒服、驾驶环境色差对比不强烈,例如:暴雪天气、大雾天气或者黄沙天气,对于驾驶员的视线具有非常大的影响,驾驶员很难看清楚远距离的环境,在遇到事故后可能因为刹车距离不够或者驾驶员不注意导致事故发生。
发明内容
本发明提供一种基于事态认知的超视距辅助驾驶系统,用以解决视线距离太短,五大预先预防事故的情况。
一种基于事态认知的超视距辅助驾驶系统,其特征在于,包括:
超视距设备采集模块:用于通过预设的轨道车辆行驶路线上获取超视距设备的场景数据和车辆数据;
云端网络模块:用于对所述轨道车辆超视距场景做全局检测,确定所述轨道车辆的全局态势认知数据和局部态势认知数据,并判断驾驶员是否能够观察到超视距场景;
场景分配单元:用于在驾驶员的AR眼镜通过仿真技术显示所述全局态势认知数据和局部态势认知数据对应的场景。
作为本发明的一种实施例:所述超视距设备采集模块包括:
线路采集单元:用于在轨道车辆的行驶线路上设置数据采集设备,远程采集轨道车辆驾驶员的视线距离之外的路线数据;
场景采集单元:用于通过所述线路上的视频监控设备和传感设备,确定轨道车辆在行驶线路上的场景数据;
车辆数据:用于通过交通网络获取当前轨道车辆的车次排布信息,根据所述车次排布信息,确认车辆的排布数据;
微波采集单元:用于通过轨道车辆安装的超声波装置发射和接收的声波信息,确定回波信息携带的障碍数据。
作为本发明的一种实施例:所述超视距设备采集模块还包括:
比较单元新建最新状态数据集合和差异数据集合,依次比较当前场景数据与回波数据中每个关键字对应的数值,进而将每个不同数值在最新状态数据集合中的关键字和对应数值添加到差异数据集合中;其中,
如果有差异数据,则在差异数据集合末尾添加时间戳;
将差异数据集合作为超视距的场景数据。
作为本发明的一种实施例:所述云端网络模块包括:
检测单元:用于通过摄像设备、传感设备和超声波设备反馈的数据依次输入至云端网络;
全局认知单元:用于对超视距的全局区域内各局部区域的轨道交通流量、行驶车速、交通密度、拥堵情况、交通流入/流出量等道路交通状态随时间的变化趋势;
验证单元:用于将超视距设备进行全局事态认知学习,通过对各个局部交通态势的历史变化趋势,及各个局部交通态势之间的交通流入/流出量之间的关联关系,进行全局交通态势变化规律的学习;学习方法是将全局交通态势根据交通流量、行驶车速、交通流入/流出量等状态进行取值,构建随时间变化的不同维度的交通态势图,通过使用深度卷积神经网络等方法进行特征学习;
局部态势认知单元:用于模拟各个局部区域的局部调度策略的决策,并获得基于各个局部区域调度策略的决策产生的模拟的局部交通态势结果,从而产生模拟的局部交通态势;通过设置不同的全局交通策略,各个局部区域将自主改变局部调度策略的决策,从而获得不同全局交通策略导致的全局态势认知数据;
判断单元:用于根据所述全局态势认知数据和局部态势认知数据,判断驾驶员在驾驶时是否能直线观察到全局态势认知数据和局部态势认知数据。
作为本发明的一种实施例:所述全局态势认数据包括:
数据获取单元,用于获取轨道车辆在行驶时的车辆的基本信息数据,在云数据库中进行多点保存;
数据比对模块,用于将获取的轨道车辆在行驶时的基本信息数据与已有的业务云数据库中存储的信息数据进行对比;
数据分析模块,用于对数据进行可疑事项分析,基于比对模块的输出结果将具有可疑事项的区域加入异常区域集合中;
数据展示模块,用于多维度呈现轨道车辆在行驶时的全局态势。
作为本发明的一种实施例:所述局部态势认数据,包括:
局部展示单元:通过接收来自个体事态认知系统的环境态势认知、车姿态势认知和个体记忆认知信息,从驾驶轨道车辆水平视角认知微观驾驶态势,形成局部事态认知数据;
局部数据处理单元:用于通过预设的驾驶决策通过边缘计算或网络智能收集并处理车辆的局部事态认知数据,利用深度学习人工智能方法学习认知局部区域内的超视距设备,基于所生成的局部交通态势和对驾驶员的,确定驾驶员需求的局部交通态势数据。
作为本发明的一种实施例:所述场景分配单元包括:
仿真数据获取单元:用于将所述全局态势认知数据和局部态势认知数据进行三维方格化,根据方格化后所述方格的面积,确定AR仿真数据;
全局场景数据单元:用于提取所述三维方格化后所有方格对应的数据,并通过AR技术进行数据仿真,获取全局场景数据;
局部场景数据单元:用于根据所述全局场景数据,判断是否存在局部异常,并获取所述局部异常对应的三维化方格,生成局部场景数据。
作为本发明的一种实施例:所述系统还包括:
信息融合模块,用于将所述全局态势认知数据和局部态势认知数据对应的场景数据相结合;
其具体步骤为:
步骤1:基于神经网络算法,通过隐含层的神经元和输出层的神经元全连接,输出层接收来自隐含层的所有局部态势认知数据和全局态势认知数据;
步骤2:初始化每一层中的每一个神经元所包含的权值和阈值;
步骤3:输出层将隐含层的所有神经元对应的权值相乘后进行累加,并将所有的局部态势认知数据和全局态势认知数据进行分别融合;
步骤4:把融合后的结果和前一次融合后输出层的结果进行比较,获得学习误差;其中,
所述学习误差包括:局部态势认知数据的学习误差和全局态势认知数据的误差;
步骤5:根据获得的学习误差调整每一个神经元的权值和阈值;如果学习误差为正值,则按照比例减小权值和阈值;如果学习误差为负值,则按照比例增大权值和阈值;
步骤6:获取调整后的每一个神经元的权值和阀值,将全局态势认知数据和局部态势认知数据分别对应的场景数据相结合,生成局部场景和全局场景。
作为本发明的一种实施例:所述信息融合模块将所有的局部态势认知数据进行融合包括以下步骤:
步骤1:基于所述局部态势认知数据,确定局部态势认知数据的信息内容的特征集合A和信息权重系数集合B:
A=a1,a2,a3……ai
B=b1,b2,b3……bj
其中,ai表示第i个信息内容的内容特征;bj表示第j个信息权重系数;i=1,2,3……n,j=1,2,3……m,表示共有n个信息内容,共有m个信息权重系数;
步骤2:将所述信息内容的特征集合和信息权重系数集合代入预设的特征模型,确定局部态势认知数据的数据特征:
Figure BDA0003326133940000061
其中,
Figure BDA0003326133940000062
表示信息内容的特征均值;
Figure BDA0003326133940000063
表示信息权重系数均值;Pij表示第i个信息内容与第j个权重系数的局部态势认知数据;
步骤3:根据所述局部态势认知数据的数据特征,确定所述局部态势认知数据的融合系数:
Figure BDA0003326133940000064
其中,Ri表示第i个信息内容与其它信息内容的关联系数;
步骤4:根据所述融合系数,构建融合模型X:
Figure BDA0003326133940000065
其中,所述X表示融合系数;w表示信息内容的加权系数;ai+x表示第i+x个信息内容的内容特征;
步骤5:设置判断阀值FZ,当所述X>FZ时,表示融合成功;当所述X≤FZ时,融合失败。
作为本发明的一种实施例:所述步骤6中,生成局部场景和全局场景包括:
步骤S1:根据所述调整后的每一个神经元的权值和阀值,构建神经网络算法的场景特征模型:
Figure BDA0003326133940000066
其中,Ql表示第l个神经元的权值;Fl表示第l个神经元的阀值;Dl表示第l个神经元的场景内容特征;l=1,2,3……L,表示共有L个神经元;
步骤S2:根据所述场景特征模型,全局态势认知数据和局部态势认知数据分别对应的场景数据,建立场景匹配模型,生成局部场景和全局场景的生成约束条件:
Figure BDA0003326133940000071
其中,ψ表示局部融合数据;
Figure BDA0003326133940000072
表示全局融合数据;
步骤S3:根据所述生成局部场景和全局场景的生成约束条件,将局部融合数据和全局融合数据与神经元匹配,生成局部场景和全局场景。
本发明有益效果:本发明作为一种基于事态认真的辅助驾驶技术,主要是帮助驾驶员观察看不到的地方,本发明在数据采集上通过轨道车辆上预先设置的采集设备事先采集。采集的数据在云端网络中分为全局和局部的事态认真。全局的事态认知,在整体上判断在超出驾驶员视线的地方是否会发生事故,或具有危险源,例如,在视线之外具有障碍物,或者颜色与铁道颜色相似的动物,(多因素判断),而局部事态认知时表示判断判断局部地点是否会发生异常事故。最后通过场景分配,把可能发生事故的仿真视频通过AR眼镜播放虚拟仿真的场景,便于司机实现超视距观察,提前避险。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种基于事态认知的超视距辅助驾驶系统的系统组成图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明的技术方案在要勇于驾驶员的视野补充,对于驾驶员肉眼的看不到的环境面积需要通过超视距的方式进行补充。本发明的方式是通过路侧设置的摄像设备获取当前车辆行驶线路上的障碍物信息,或者仅仅通过肉眼无法观察的障碍物,然后基于云端网络的处理,对线路上所有的数据生成数据倾向性和数据容量进行计算,然后通过再有障碍物的情况下获取的超视距的场景影像,基于场景影像实现超视距场景的构建,最后基于场景数据的实现辅助驾驶。
一种基于事态认知的超视距辅助驾驶系统,包括:
超视距设备采集模块:用于通过预设的轨道车辆行驶路线上获取超视距设备的场景数据和车辆数据;所述场景数据包括:行驶线路上的障碍物场景和车辆场景;
所述车辆数据包括:行驶线路上相同线路或岔路线路的车辆;
云端网络模块:用于对所述轨道车辆超视距场景做全局检测,确定所述轨道车辆的全局态势认知数据和局部态势认知数据,并判断驾驶员是否能够观察到超视距场景;
所述全局态势认知数据包括在当前车辆行驶的线路上所有障碍物的统计认知和线路上所有的岔道和相遇的车辆的数据。局部态势认知数据表示,在驾驶员肉眼可见但是不清晰的距离内的车辆和障碍物数据,以及障碍物比较难以解决的场景的认知数据。
场景分配单元:用于在驾驶员的AR眼镜通过仿真技术显示所述全局态势认知数据和局部态势认知数据对应的场景数据。驾驶员AR眼眼镜通过无线网络接收全局态势认知数据和局部态势认知数据,并通过接受的数据形成的虚拟仿真场景,实现超视距的观察行为。
上述技术方案的原理和有益效果:本发明作为一种基于事态认真的辅助驾驶技术,主要是帮助驾驶员观察看不到的地方,本发明在数据采集上通过轨道车辆上预先设置的采集设备事先采集。采集的数据在云端网络中分为全局和局部的事态认真。全局的事态认知,在整体上判断在超出驾驶员视线的地方是否会发生事故,或具有危险源,例如,在视线之外具有障碍物,或者颜色与铁道颜色相似的动物,(多因素判断),而局部事态认知时表示判断判断局部地点是否会发生异常事故。最后通过场景分配,把可能发生事故的仿真视频通过AR眼镜播放虚拟仿真的场景,便于司机实现超视距观察,提前避险。
作为本发明的一种实施例:所述超视距设备采集模块包括:
线路采集单元:用于在轨道车辆的行驶线路上设置数据采集设备(相互要是通过摄像设备),远程采集轨道车辆驾驶员的视线距离之外的路线数据;
场景采集单元:用于通过所述线路上的视频监控设备和传感设备,确定轨道车辆在行驶线路上的场景数据;
车辆数据:用于通过交通网络获取当前轨道车辆的车次排布信息,根据所述车次排布信息,确认车辆的排布数据;表示在当前轨道车辆的行驶线路上还有其它那些车辆会具有相同的线路,并确定线路上轨道车辆的车次排布信息。
微波采集单元:用于通过轨道车辆安装的超声波装置发射和接收的声波信息,确定回波信息携带的障碍数据。超声波装置安装在路侧,通过预设的安装距离安装超声波装置,路侧的超声波装置发现障碍物后在传输到路侧的数据中转设备上,通过中转设备发送到当前轨道车辆上。
上述技术方案的原理和有益效果在于:本发明通过在轨道上或者线路上设置采集设备实时采集驾驶员视线之外的场景视频,然后基于车辆的排布信息视线通过超声波装置对应的障碍数据。本发明对障碍数据识别迅速。
作为本发明的一种实施例:所述超视距设备采集模块还包括:
比较单元新建最新状态数据集合和差异数据集合,依次比较当前场景数据与回波数据中每个关键字对应的数值,进而将每个不同数值在最新状态数据集合中的关键字和对应数值添加到差异数据集合中;其中,
如果有差异数据,则在差异数据集合末尾添加时间戳;
将差异数据集合作为超视距的场景数据。
上述技术方案的原理和有益效果:本发明通过超视距采集设备:通过比较最近的状态数据和最差的状态数据视线对差异数据和几何排布,最后通过擦会议数据添加时间戳,并作为超视距数据作为场景数据。
作为本发明的一种实施例:所述云端网络模块包括:
检测单元:用于通过摄像设备、传感设备和超声波设备反馈的数据依次输入至云端网络;
全局认知单元:用于对超视距的全局区域内各局部区域的轨道交通流量、行驶车速、交通流入/流出量等道路交通状态随时间的变化趋势;
验证单元:用于将超视距设备进行全局事态认知学习,通过对各个局部交通态势的历史变化趋势,及各个局部交通态势之间的交通流入/流出量之间的关联关系,进行全局交通态势变化规律的学习;学习方法是将全局交通态势根据交通流量、行驶车速、交通流入/流出量等状态进行取值,构建随时间变化的不同维度的交通态势图,通过使用深度卷积神经网络等方法进行特征学习。
局部态势认知单元:用于模拟各个局部区域的局部调度策略的决策,并获得基于各个局部区域调度策略的决策产生的模拟的局部交通态势结果,从而产生模拟的局部交通态势;通过设置不同的全局交通策略,各个局部区域将自主改变局部调度策略的决策,从而获得不同全局交通策略导致的全局态势认知数据;
判断单元:用于根据所述全局态势认知数据和局部态势认知数据,判断驾驶员在驾驶时是否能直线观察到全局态势认知数据和局部态势认知数据。
上述技术方案的原理和有益效果在于:本发明在检测全局情况是通过对全部区域的和局部情况的变化趋势的数据进行判断,本发明中所述验证单元通过根据超视距设备对全局事态的认知和学习,然后,根据交通态势的变化规律将的动态特征图显示出来,然后基于局部事态的策略调整,从而获得不同策略导致生成的全局事态认知数据,最后通过数据认知判断驾驶在驾驶时,能否直线观察即,正方向的视线观察到全局事态。
作为本发明的一种实施例:所述全局态势认数据包括:
数据获取单元,用于获取轨道车辆在行驶时的车辆的基本信息数据,在云数据库中进行多点保存;
数据比对模块,用于将获取的轨道车辆在行驶时的基本信息数据与已有的业务云数据库中存储的信息数据进行对比;
数据分析模块,用于对数据进行可疑事项分析,基于比对模块的输出结果将具有可疑事项的区域加入异常区域集合中;
数据展示模块,用于多维度呈现轨道车辆在行驶时的全局态势。
上述技术方案的原理和有益效果:本发明通过对轨道车辆在行驶是的车辆的基本信息数据,在云空间内存储。然后通过数据比对,将可疑的数据,即异常事件的数据;本发明最后通过数据展示模块,将异常数据通过全局态势展示在异常事件中。
作为本发明的一种实施例:所述局部态势认数据,包括:
局部展示单元:通过接收来自个体事态认知系统的环境态势认知、车姿态势认知和个体记忆认知信息,从驾驶轨道车辆水平视角认知微观驾驶态势,形成局部事态认知数据;
局部数据处理单元:用于通过预设的驾驶决策通过边缘计算或网络智能收集并处理车辆的局部事态认知数据,利用深度学习人工智能方法学习认知局部区域内的超视距设备,基于所生成的局部交通态势和对驾驶员的,确定驾驶员需求的局部交通态势数据。
上述技术方案的原理和有益效果在于:本发明通过局部展示单元,接收环境事态认知数据、车姿事态认知数据和个体记忆认知信息这些数据和信息均为路线中其它车辆给的数据状态信息,通过在驾驶轨道车辆水平世家认知和微观的驾驶态势,生成局部认知数据。在局部数据的处理上通过人工智能方法和局部区域的超视距设备(变焦摄像镜头),计算得到驾驶员需要超视距观察的局部交通态势数据。
作为本发明的一种实施例:所述场景分配单元包括:
仿真数据获取单元:用于将所述全局态势认知数据和局部态势认知数据进行三维方格化,根据方格化后所述方格的面积,确定AR仿真数据;
全局场景数据单元:用于提取所述三维方格化后所有方格对应的数据,并通过AR技术进行数据仿真,获取全局场景数据;
局部场景数据单元:用于根据所述全局场景数据,判断是否存在局部异常,并获取所述局部异常对应的三维化方格,生成局部场景数据。
上述技术方案的原理和有有益效果在于:本发明通过仿真单元对场景数据进行三维方格化,然后通过AR技术是实现全局场景数据的获取,最后基于局部数据的异常进行判断,通过三维方格化生成新的局部场景数据。
作为本发明的一种实施例:所述系统还包括:
信息融合模块,用于将所述全局态势认知数据和局部态势认知数据对应的场景数据相结合;
其具体步骤为:
步骤1:基于神经网络算法,通过隐含层的神经元和输出层的神经元全连接,输出层接收来自隐含层的所有局部态势认知数据和全局态势认知数据;
步骤2:初始化每一层中的每一个神经元所包含的权值和阈值;
步骤3:输出层将隐含层的所有神经元对应的权值相乘后进行累加,并将所有的局部态势认知数据和全局态势认知数据进行分别融合;
步骤4:把融合后的结果和前一次融合后输出层的结果进行比较,获得学习误差;其中,
所述学习误差包括:局部态势认知数据的学习误差和全局态势认知数据的误差;
步骤5:根据获得的学习误差调整每一个神经元的权值和阈值;如果学习误差为正值,则按照比例减小权值和阈值;如果学习误差为负值,则按照比例增大权值和阈值;
步骤6:获取调整后的每一个神经元的权值和阀值,将全局态势认知数据和局部态势认知数据分别对应的神经元相结合,生成局部场景和全局场景。
上述技术方案的原理在于:本发明通过神经网络算法基于隐含层的神经元和输出层与神经元的连接、通过将没一个神经元都进行权值化,然后基于对局部事态的认知和数据的融合,确定数据的学习误差,然后根据学习误差对神经元里的数据进行调整,再调整后,将全局态势认知数据和局部态势认知数据分别对应的场神经元相结合,构成局部场景和全局场景。
作为本发明的一种实施例:所述信息融合模块将所有的局部态势认知数据进行融合包括以下步骤:
步骤1:基于所述局部态势认知数据,确定局部态势认知数据的信息内容的特征集合A和信息权重系数集合B:
A=a1,a2,a3……ai
B=b1,b2,b3……bj
其中,ai表示第i个信息内容的内容特征;bj表示第j个信息权重系数;i=1,2,3……n,j=1,2,3……m,表示共有n个信息内容,共有m个信息权重系数;
步骤2:将所述信息内容的特征集合和信息权重系数集合代入预设的特征模型,确定局部态势认知数据的数据特征:
Figure BDA0003326133940000151
其中,
Figure BDA0003326133940000152
表示信息内容的特征均值;
Figure BDA0003326133940000153
表示信息权重系数均值;Pij表示第i个信息内容与第j个权重系数的局部态势认知数据;
在步骤2中本发明计算局部态势认知数据的数据特征,此时本发明引入了信息内容的特征均值和信息权重系数均值,通过特征差值和权重系数差值的乘积比,确定由多个信息内容综合计算得到的局部态势认知数据的数据特征。
步骤3:根据所述局部态势认知数据的数据特征,确定所述局部态势认知数据的融合系数:
Figure BDA0003326133940000161
其中,Ri表示第i个信息内容与其它信息内容的关联系数;
在步骤3中,本发明计算融合系数;融合系数代表着每个信息内容的融合参数,也表示在进行信息融合的时候,实际融合值和理论融合值的差值。理论融合值是通过均值计算得到。
步骤4:根据所述融合系数,构建融合模型X:
Figure BDA0003326133940000162
其中,所述X表示融合系数;w表示信息内容的加权系数;ai+x表示第i+x个信息内容的内容特征;
在步骤4中,是本发明进行信息融合的步骤,本发明试剂与加权系数的信息融合,加权系数能确定让融合数据的最大和最小的区间;因为加权系数由任意信息内容和融合数据做大区间和最小区间的差值比得到,构建的融合模型是为了实现数据融合。
步骤5:设置判断阀值FZ,当所述X>FZ时,表示融合成功;当所述X≤FZ时,融合失败。
在步骤5中,本发明会设置判断阀值,去判断信息是不是融合成功,当融合成功后,融合数据就通过X体现。
上述技术方案的原理在于:本发明通过对局部事态的认知,确定局部事态相关的权重参数、然后通过信息内容的特征集合和信息权重系数集合计算的局部事态的认知特征,然后对局部事态的认知数据进行计算,通过局部事态认知的数据作为认知数据进行验证,然后基于验证的参数构建融合模型获取融合数据。
作为本发明的一种实施例:所述步骤6中,生成局部场景和全局场景包括:
步骤S1:根据所述调整后的每一个神经元的权值和阀值,构建神经网络算法的场景特征模型:
Figure BDA0003326133940000171
其中,Ql表示第l个神经元的权值;Fl表示第l个神经元的阀值;Dl表示第l个神经元的场景内容特征;l=1,2,3……L,表示共有L个神经元;
步骤S2:根据所述场景特征模型,全局态势认知数据和局部态势认知数据分别对应的场景数据,建立场景匹配模型,生成局部场景和全局场景的生成约束条件:
Figure BDA0003326133940000172
其中,ψ表示局部融合数据;
Figure BDA0003326133940000173
表示全局融合数据;
步骤S3:根据所述生成局部场景和全局场景的生成约束条件,将局部融合数据和全局融合数据与神经元匹配,生成局部场景和全局场景。
本发明通过步骤1,设置产加工特征模型,这个场景特征模型是基于神经网络模型,主要是通过神经元进行搭建;在步骤2中,通过神经元构成局部场景和全局场景的约束条件;根据这个约束条件,实现全局数据和局部数据与神经元的匹配,生成生成局部场景和全局场景。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种基于事态认知的超视距辅助驾驶系统,其特征在于,包括:
超视距设备采集模块:用于通过预设在轨道车辆行驶路线上的超视距设备,获取场景数据和车辆数据;
云端网络模块:用于对所述轨道车辆超视距场景做全局检测,确定所述轨道车辆的全局态势认知数据和局部态势认知数据,并判断驾驶员是否能够观察到超视距场景;
场景分配单元:用于在驾驶员的AR眼镜通过仿真技术显示所述全局态势认知数据和局部态势认知数据对应的场景;
所述系统还包括:
信息融合模块,用于将所述全局态势认知数据和局部态势认知数据对应的场景数据相结合;
其具体步骤为:
步骤1:基于神经网络算法,通过隐含层的神经元和输出层的神经元全连接,输出层接收来自隐含层的所有局部态势认知数据和全局态势认知数据;
步骤2:初始化每一层中的每一个神经元所包含的权值和阈值;
步骤3:输出层将隐含层的所有神经元对应的权值相乘后进行累加,并将所有的局部态势认知数据和全局态势认知数据进行分别融合;
步骤4:把融合后的结果和前一次融合后输出层的结果进行比较,获得学习误差;其中,
所述学习误差包括:局部态势认知数据的学习误差和全局态势认知数据的误差;
步骤5:根据获得的学习误差调整每一个神经元的权值和阈值;如果学习误差为正值,则按照比例减小权值和阈值;如果学习误差为负值,则按照比例增大权值和阈值;
步骤6:获取调整后的每一个神经元的权值和阀值,将全局态势认知数据和局部态势认知数据分别对应的神经元相结合,生成局部场景和全局场景;
所述云端网络模块包括:
检测单元:用于通过视频监控设备、传感设备和超声波设备反馈的数据依次输入至云端网络;
全局认知单元:用于统计超视距的全局区域内各局部区域的轨道交通流量、行驶车速、交通流入/流出量道路交通状态随时间的变化趋势;
验证单元:用于将超视距设备进行全局事态认知学习,通过对各个局部交通态势的历史变化趋势,及各个局部交通态势之间的交通流入/流出量之间的关联关系,进行全局交通态势变化规律的学习;学习方法是将全局交通态势根据交通流量、行驶车速、交通流入/流出量等状态进行取值,构建随时间变化的不同维度的交通态势图,并使用深度卷积神经网络进行特征学习;
局部态势认知单元:用于模拟各个局部区域的局部调度策略的决策,并获得基于各个局部区域调度策略的决策产生的模拟的局部交通态势结果,从而产生模拟的局部交通态势;通过设置不同的全局交通策略,各个局部区域将自主改变局部调度策略的决策,从而获得不同全局交通策略导致的局部态势认知数据;
判断单元:用于根据所述全局态势认知数据和局部态势认知数据,判断驾驶员在驾驶时是否能直线观察到全局态势认知数据和局部态势认知数据。
2.如权利要求1所述的一种基于事态认知的超视距辅助驾驶系统,其特征在于,所述超视距设备采集模块包括:
线路采集单元:用于在轨道车辆的行驶线路上设置数据采集设备,远程采集轨道车辆驾驶员的视线距离之外的路线数据;
场景采集单元:用于通过所述线路上的视频监控设备和传感设备,确定轨道车辆在行驶线路上的场景数据;
车辆数据:用于通过交通网络获取当前轨道车辆的车次排布信息,根据所述车次排布信息,确认车辆的排布数据;
微波采集单元:用于通过轨道车辆安装的超声波装置发射和接收的声波信息,确定回波信息携带的障碍数据。
3.如权利要求1所述的一种基于事态认知的超视距辅助驾驶系统,其特征在于,所述超视距设备采集模块还包括:
比较单元新建最新状态数据集合和差异数据集合,依次比较当前场景数据与回波信息携带的障碍数据中每个关键字对应的数值,进而将每个不同数值在最新状态数据集合中的关键字和对应数值添加到差异数据集合中;其中,
如果有差异数据,则在差异数据集合末尾添加时间戳;
将差异数据集合作为超视距的场景数据。
4.如权利要求1所述的一种基于事态认知的超视距辅助驾驶系统,其特征在于,所述全局认知单元包括:
数据获取单元,用于获取轨道车辆在行驶时的车辆的基本信息数据,在云数据库中进行多点保存;
数据比对模块,用于将获取的轨道车辆在行驶时的基本信息数据与已有的业务云数据库中存储的信息数据进行对比;
数据分析模块,用于对数据进行可疑事项分析,基于比对模块的输出结果将具有可疑事项的区域加入异常区域集合中;
数据展示模块,用于多维度呈现轨道车辆在行驶时的全局态势。
5.如权利要求1所述的一种基于事态认知的超视距辅助驾驶系统,其特征在于,所述局部态势认知单元,包括:
局部展示单元:通过接收来自个体事态认知系统的环境态势认知、车姿态势认知和个体记忆认知信息,从驾驶轨道车辆水平视角认知微观驾驶态势,形成局部事态认知数据;
局部数据处理单元:用于通过预设的驾驶决策通过边缘计算或网络智能收集并处理车辆的局部事态认知数据,利用深度学习人工智能学习认知局部区域内的超视距设备,基于所生成的局部交通态势和驾驶员,确定驾驶员需求的局部交通态势数据。
6.如权利要求1所述的一种基于事态认知的超视距辅助驾驶系统,其特征在于,所述场景分配单元包括:
仿真数据获取单元:用于将所述全局态势认知数据和局部态势认知数据进行三维方格化,根据方格化后所述方格的面积,确定AR仿真数据;
全局场景数据单元:用于提取所述三维方格化后所有方格对应的数据,并通过AR技术进行数据仿真,获取全局场景数据;
局部场景数据单元:用于根据所述全局场景数据,判断是否存在局部异常,并获取所述局部异常对应的三维化方格,生成局部场景数据。
7.如权利要求1所述的一种基于事态认知的超视距辅助驾驶系统,其特征在于,所述步骤3中将局部态势认知数据进行融合包括以下步骤:
步骤1:基于所述局部态势认知数据,确定局部态势认知数据的信息内容的特征集合A和信息权重系数集合B:
A=a1,a2,a3……ai
B=b1,b2,b3……bj
其中,ai表示第i个信息内容的内容特征;bj表示第j个信息权重系数;i=1,2,3……n,j=1,2,3……m,表示共有n个信息内容,共有m个信息权重系数;
步骤2:将所述信息内容的特征集合和信息权重系数集合代入预设的特征模型,确定局部态势认知数据的数据特征:
Figure FDA0003738673260000051
其中,
Figure FDA0003738673260000052
表示信息内容的特征均值;
Figure FDA0003738673260000053
表示信息权重系数均值;Pij表示第i个信息内容与第j个权重系数的局部态势认知数据;
步骤3:根据所述局部态势认知数据的数据特征,确定所述局部态势认知数据的融合系数:
Figure FDA0003738673260000054
其中,Ri表示第i个信息内容与其它信息内容的关联系数;
步骤4:根据所述融合系数,构建融合模型X:
Figure FDA0003738673260000055
其中,所述X表示融合数据;w表示信息内容的加权系数;ai+x表示第i+x个信息内容的内容特征;
步骤5:设置判断阀值FZ,当所述X>FZ时,表示融合成功;当所述X≤FZ时,融合失败。
8.如权利要求1所述的一种基于事态认知的超视距辅助驾驶系统,其特征在于,所述步骤6中,生成局部场景和全局场景包括:
步骤S1:根据所述调整后的每一个神经元的权值和阀值,构建神经网络算法的场景特征模型:
Figure FDA0003738673260000061
其中,Ql表示第l个神经元的权值;Fl表示第l个神经元的阀值;Dl表示第l个神经元的场景内容特征;l=1,2,3……L,表示共有L个神经元;
步骤S2:根据所述场景特征模型,全局态势认知数据和局部态势认知数据分别对应的场景数据,建立场景匹配模型,生成局部场景和全局场景的生成约束条件:
Figure FDA0003738673260000062
其中,ψ表示局部融合数据;
Figure FDA0003738673260000063
表示全局融合数据;
步骤S3:根据所述生成局部场景和全局场景的生成约束条件,将局部融合数据和全局融合数据与神经元匹配,生成局部场景和全局场景。
CN202111262070.0A 2021-10-28 2021-10-28 一种基于事态认知的超视距辅助驾驶系统 Active CN113989466B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111262070.0A CN113989466B (zh) 2021-10-28 2021-10-28 一种基于事态认知的超视距辅助驾驶系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111262070.0A CN113989466B (zh) 2021-10-28 2021-10-28 一种基于事态认知的超视距辅助驾驶系统

Publications (2)

Publication Number Publication Date
CN113989466A CN113989466A (zh) 2022-01-28
CN113989466B true CN113989466B (zh) 2022-09-20

Family

ID=79743261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111262070.0A Active CN113989466B (zh) 2021-10-28 2021-10-28 一种基于事态认知的超视距辅助驾驶系统

Country Status (1)

Country Link
CN (1) CN113989466B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886750A (zh) * 2017-10-24 2018-04-06 北京邮电大学 一种基于超视距协同认知的无人驾驶汽车控制方法与系统
CN110826369A (zh) * 2018-08-10 2020-02-21 北京魔门塔科技有限公司 一种驾驶员驾驶时注意力检测方法和系统
CN110962746A (zh) * 2019-12-12 2020-04-07 上海擎感智能科技有限公司 一种基于视线检测的辅助驾驶方法、系统及介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109427199B (zh) * 2017-08-24 2022-11-18 北京三星通信技术研究有限公司 用于辅助驾驶的增强现实的方法及装置
CN107933306B (zh) * 2017-12-11 2019-08-09 广州德科投资咨询有限公司 一种基于智能眼镜的驾车安全预警方法及智能眼镜
CN107945284B (zh) * 2017-12-11 2020-03-06 广州德科投资咨询有限公司 一种用于自动驾驶车辆的场景显示方法及智能眼镜
KR102116783B1 (ko) * 2018-10-10 2020-05-29 네이버랩스 주식회사 영상을 지면에 위치시켜 운전자의 시점에 증강현실을 구현하는 3차원 증강현실 헤드업 디스플레이
US10940863B2 (en) * 2018-11-01 2021-03-09 GM Global Technology Operations LLC Spatial and temporal attention-based deep reinforcement learning of hierarchical lane-change policies for controlling an autonomous vehicle
KR20210073313A (ko) * 2019-12-10 2021-06-18 팅크웨어(주) 주행 관련 안내 서비스를 제공하는 차량용 단말 장치, 서비스 제공 서버, 방법, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
CN112102503A (zh) * 2020-09-15 2020-12-18 济南浪潮高新科技投资发展有限公司 一种车载增强现实应用的方法及系统
CN112180605B (zh) * 2020-10-20 2021-06-15 江苏濠汉信息技术有限公司 一种基于增强现实的辅助驾驶系统
CN113147781A (zh) * 2021-05-31 2021-07-23 重庆工程职业技术学院 一种汽车智能驾驶信息展示系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886750A (zh) * 2017-10-24 2018-04-06 北京邮电大学 一种基于超视距协同认知的无人驾驶汽车控制方法与系统
CN110826369A (zh) * 2018-08-10 2020-02-21 北京魔门塔科技有限公司 一种驾驶员驾驶时注意力检测方法和系统
CN110962746A (zh) * 2019-12-12 2020-04-07 上海擎感智能科技有限公司 一种基于视线检测的辅助驾驶方法、系统及介质

Also Published As

Publication number Publication date
CN113989466A (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN112389440B (zh) 一种基于车路作用机理的越野环境中车辆行驶风险预测方法
US9245189B2 (en) Object appearance frequency estimating apparatus
US11380105B2 (en) Identification and classification of traffic conflicts
WO2022141910A1 (zh) 一种基于行车安全风险场的车路激光雷达点云动态分割及融合方法
GB2608567A (en) Operation of a vehicle using motion planning with machine learning
CN112071061A (zh) 基于云计算和数据分析的车辆服务系统
CN111094095B (zh) 自动地感知行驶信号的方法、装置及运载工具
KR102565573B1 (ko) 서브시스템 성능 평가를 위한 메트릭 역전파
CN114970321A (zh) 一种基于动态轨迹流的场景流数字孪生方法及系统
GB2621048A (en) Vehicle-road laser radar point cloud dynamic segmentation and fusion method based on driving safety risk field
CN112258841A (zh) 一种基于它车辆轨迹预测的智能车辆风险评估方法
GB2605463A (en) Selecting testing scenarios for evaluating the performance of autonomous vehicles
GB2615193A (en) Vehicle operation using behavioral rule checks
CN113743469A (zh) 一种融合多源数据及综合多维指标的自动驾驶决策方法
CN116128360A (zh) 道路交通拥堵等级评估方法、装置、电子设备及存储介质
DE102023111485A1 (de) Nachverfolgungssegmentbereinigung nachverfolgter objekte
US20230221128A1 (en) Graph Exploration for Rulebook Trajectory Generation
CN115618932A (zh) 基于网联自动驾驶的交通事件预测方法、装置及电子设备
CN113989466B (zh) 一种基于事态认知的超视距辅助驾驶系统
CN112349100A (zh) 一种基于网联环境的多视角行车风险评估方法及装置
CN115662166B (zh) 一种自动驾驶数据处理方法及自动驾驶交通系统
US11400958B1 (en) Learning to identify safety-critical scenarios for an autonomous vehicle
CN116129631A (zh) 一种车路协同数据处理方法及相关设备
CN114842660A (zh) 一种无人车道路轨迹预测方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: An Over the horizon Assistant Driving System Based on Situation Cognition

Effective date of registration: 20221207

Granted publication date: 20220920

Pledgee: Jiangsu Nantong Rural Commercial Bank Co.,Ltd. Si'an Sub branch

Pledgor: JIANGSU HAOHAN INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2022980025338

PC01 Cancellation of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20231017

Granted publication date: 20220920

Pledgee: Jiangsu Nantong Rural Commercial Bank Co.,Ltd. Si'an Sub branch

Pledgor: JIANGSU HAOHAN INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2022980025338

PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Beyond Sight Distance Assisted Driving System Based on Situation Recognition

Effective date of registration: 20231020

Granted publication date: 20220920

Pledgee: Jiangsu Nantong Rural Commercial Bank Co.,Ltd. Si'an Sub branch

Pledgor: JIANGSU HAOHAN INFORMATION TECHNOLOGY Co.,Ltd.

Registration number: Y2023980061751