CN114970321A - 一种基于动态轨迹流的场景流数字孪生方法及系统 - Google Patents
一种基于动态轨迹流的场景流数字孪生方法及系统 Download PDFInfo
- Publication number
- CN114970321A CN114970321A CN202210461605.5A CN202210461605A CN114970321A CN 114970321 A CN114970321 A CN 114970321A CN 202210461605 A CN202210461605 A CN 202210461605A CN 114970321 A CN114970321 A CN 114970321A
- Authority
- CN
- China
- Prior art keywords
- traffic
- target
- scene
- road
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000008878 coupling Effects 0.000 claims abstract description 56
- 238000010168 coupling process Methods 0.000 claims abstract description 56
- 238000005859 coupling reaction Methods 0.000 claims abstract description 56
- 230000004927 fusion Effects 0.000 claims abstract description 39
- 238000000605 extraction Methods 0.000 claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 28
- 230000008447 perception Effects 0.000 claims abstract description 22
- 238000013507 mapping Methods 0.000 claims description 36
- 230000006399 behavior Effects 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 26
- 238000010276 construction Methods 0.000 claims description 12
- 230000003993 interaction Effects 0.000 claims description 12
- 239000000126 substance Substances 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 230000007787 long-term memory Effects 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 7
- 230000003042 antagnostic effect Effects 0.000 claims description 6
- 230000014509 gene expression Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/18—Network design, e.g. design based on topological or interconnect aspects of utility systems, piping, heating ventilation air conditioning [HVAC] or cabling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G06Q50/40—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/04—Constraint-based CAD
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种基于动态轨迹流的场景流数字孪生方法及系统，首先提出一种检测跟踪一体化多模态融合感知增强网络，在大幅度提高网络处理速度的同时，实现目标语义轨迹的精准提取与辨识；并提出一种结合道路布局与交通力耦合关系的目标轨迹预测方法，建模场景中语义的时序演变规律，实现交通运行环境中的目标轨迹预测；基于轨迹提取和语义辨识以及预测的运动轨迹，对中观层面交通态势的时序演变规律建模，获取基于真实目标动态轨迹流的场景流数字孪生。本发明能够有效实现目标语义轨迹的精准提取与辨识，同时可视化场景流数字孪生，为精准化交通管控服务提供决策支持。
Description
技术领域
本发明属于交通控制技术领域，涉及一种基于动态轨迹流的场景流数字孪生方法及系统。
背景技术
深度学习是人工智能领域的一个重要分支，基于深度学习架构的人工智能已被广泛应用于计算机视觉、自然语言处理、传感器融合、生物识别、自动驾驶等各个领域。相关部门确立定义自动化或自动驾驶车辆的全球行业参照标准，用以评定六个级别(L0～L5)的自动驾驶技术。目前自动驾驶受到法律及管理政策等因素制约，L4与L5等级的自动驾驶车辆上路行驶还有待时日，但是具有限制条件的L3自动驾驶技术(即驾驶者无需监视路况，系统可实现特殊工况下车辆的完全控制)预计在未来五年内实现。高级驾驶辅助系统(ADAS)作为L3～L5自动驾驶技术的必要组成部分，需要完成感知、融合、规划、决策与预警等多种功能。由于在真实的道路场景下存在复杂多变的交通运行条件，这给基于计算机视觉的自动驾驶技术带来了诸多严峻挑战。如道路构造，道路宽窄、路面质量，开车时光线明暗，气候冷暖，交通安全设施、交通信号、交通标线和路面交通标示等。
面对高度复杂的交通运行环境，单纯依赖广泛部署的视觉传感设备，客观自然条件的不确定性给视觉感知精度及算法鲁棒性带来挑战。
现有多模态信息融合方法大多仅仅关注交通运行环境中多目标的检测、以及基于检测器的多目标跟踪，获取高级语义交通信息(目标运动轨迹信息及耦合关系、异常驾驶行为等)给多模态信息融合感知带来挑战。
智能路侧系统不仅需要对交通参与目标进行实时感知，更重要地是借助边缘计算资源与算力的处理，理解交通运行环境感知边界以内的交通行为与场景流。宏观交通态势不足以刻画交通流内部车辆之间的影响和状态变化，体现中微观层面交通态势的场景流数字孪生与模拟推演具有挑战性。
发明内容
本发明的目的在于解决现有技术中的问题，提供一种基于动态轨迹流的场景流数字孪生方法及系统，能够有效实现目标语义轨迹的精准提取与辨识，同时可视化场景流数字孪生，为精准化交通管控服务提供决策支持。
为达到上述目的，本发明采用以下技术方案予以实现：
一种基于动态轨迹流的场景流数字孪生方法，包括：
构建检测跟踪一体化多模态融合感知增强网络，对目标语义轨迹进行提取与辨识；
对道路交通语义进行提取得到与真实交通场景具有映射关系的高度参数化的虚拟道路布局顶视图；
基于虚拟道路布局顶视图，获取道路布局交通语义网格编码矢量；
基于交通场景中的其他目标对某一目标产生的影响，构建目标耦合关系模型；
基于目标耦合关系模型与真实道路布局构建交通力约束模型；
基于交通力约束模型和道路布局交通语义网格编码矢量，建立基于交通力耦合关系约束的长短时记忆轨迹预测网络；
基于交通力耦合关系约束的长短时记忆轨迹预测网络，对目标的运动轨迹进行预测，得到预测的运动轨迹；
基于轨迹提取和语义辨识以及预测的运动轨迹，对中观层面交通态势的时序演变规律建模，获取基于真实目标动态轨迹流的场景流数字孪生。
本发明的进一步改进在于：
构建检测跟踪一体化多模态融合感知增强网络，对目标语义轨迹进行提取与辨识，具体为：
所述检测跟踪一体化多模态融合感知增强网络包括多模态融合感知增强模块和检测跟踪一体化网络；多模态融合感知增强模块包括分辨率注意力增强模块和特征融合增强模型；
分辨率注意力增强模块用于学习不同模态信息的不变特征表达；
特征融合增强模型通过定义特征关联张量池，将各个模态卷积输出张量汇聚于张量池进行特征融合，输出融合后的特征作为主网络的输入；
检测跟踪一体化网络包括主网络与三个子网络；所述主网络为3D参数共享卷积主网络，3D参数共享卷积主网络作为特征提取器，提取出不同的特征分别送到三个子网络中；
三个子网络分别为运动推理子网、驾驶行为辨识子网和遮挡识别子网，所述运动推理子网用于对物体轨迹进行跟踪；所述驾驶行为辨识子网用于对驾驶行为的辨识；所述遮挡识别子网用于对目标遮挡部位进行识别。
道路交通语义进行提取得到与真实交通场景具有映射关系的高度参数化的虚拟道路布局顶视图，具体为：
基于交通场景中道路拓扑结构与交通参与目标运行轨迹的耦合关系，实现道路布局交通语义高度参数化；
构建真实场景参数化的虚拟道路布局顶视图提取级联网络，基于道路布局交通语义高度参数化，通过虚实结合混合训练参数化的虚拟道路布局顶视图提取级联网络；
基于真实交通场景图像与训练后的虚拟道路布局顶视图提取级联网络的像素空间映射关系，构建道路布局虚实映射，获取与真实交通场景具有映射关系的高度参数化的虚拟道路布局顶视图。
基于交通场景中道路拓扑结构与交通参与目标运行轨迹的耦合关系，实现道路布局交通语义高度参数化，具体为：
根据交通场景内主道始终点位置以及辅道距离、线形和位置道路交叉关系的拓扑属性，车道的数量、宽度与是否单向通行的道路布局属性，车道限速值和车道线形状的交通标志属性及人行横道和步行道的宽度约束行人行为的行人区域属性，将全部属性从数据角度分配唯一的ID，实现道路布局交通语义参数化。
所述构建真实场景参数化的虚拟道路布局顶视图提取级联网络，基于道路布局交通语义高度参数化，通过虚实结合混合训练参数化的虚拟道路布局顶视图提取级联网络，具体为：
采集道路交通的RGB图像，并通过语义分割网络对道路交通的RGB图像进行提取，获取真实道路语义顶视图；
基于模拟器对完整标注的模拟道路图像进行采样，获取模拟道路顶视图；
分别对真实道路语义顶视图和模拟道路顶视图进行特征提取，基于虚实结合混合训练，建立虚实对抗损失函数；
对损失函数进行迭代，弥合模拟道路顶视图和真实道路语义顶视图之间的差距；
所述虚实对抗损失函数为：
其中，
表示真实数据监督下的损失函数，
表示模拟数据下监督下的损失函数，标量λr和λs表示了真实数据和模拟数据重要性权值。
基于真实交通场景图像与训练后的虚拟道路布局顶视图提取级联网络的像素空间映射关系，构建道路布局虚实映射，获取与真实交通场景具有映射关系的高度参数化的虚拟道路布局顶视图，具体为：
基于多尺度自适应搜索的网格编码算法，对检测跟踪一体化网络所提供的真实交通场景中的目标历史轨迹进行编码到虚拟道路布局顶视图中，得到虚拟坐标轨迹及对应的道路布局参数，同时对获取的虚拟坐标轨迹及对应的道路布局参数进行集成，获取道路布局交通语义网格编码矢量；
所述检测跟踪一体化网络所提供的真实交通场景中的目标历史轨迹为获取的轨迹提取和语义辨识。
基于交通场景中的其他目标对某一目标产生的影响，构建目标耦合关系模型，具体为：
基于径向核函数建立目标间作用力，通过目标类型及目标间距离建立目标间影响权重，并基于对各目标作用力进行加权求和对目标间关系进行耦合，构建目标耦合关系模型；
目标耦合关系模型为
当t时刻下，交通场景中的其他目标对某一目标i产生的影响为：
其中，
表示t时刻，目标i,j间的相互作用；
是一个权重向量，用于表达不同运动目标间的相互作用存在的差异；n(t)表示在t时刻交通场景中的目标数量。
基于目标耦合关系模型与真实道路布局构建交通力约束模型，具体为：
交通力为目标间耦合关系与真实道路布局对目标形成的共同作用力，将目标i在t时刻受到的交通力
定义为：
其中，
为目标间耦合关系；
为目标i在时刻t所处道路布局语义的编码信息；ci为行为辨识子网络所给出的运动目标类型，用于表达相同道路布局对不同类型目标影响的差异；映射E是基于目标类型与道路布局语义信息给出道路布局对目标i的作用力。
基于交通力约束模型和道路布局交通语义网格编码矢量，建立基于交通力耦合关系约束的长短时记忆轨迹预测网络，具体为：
根据目标间的距离及目标类型，通过径向核函数建立目标间相互作用力及影响权重；
基于目标间作用力及影响权重，获取交通场景中其他目标对被预测目标的影响；
根据运动目标类型与虚拟道路布局顶视图给出的道路布局语义编码信息，映射得到道路布局对被预测目标的作用力；
将其他交通目标对被预测目标的影响与道路布局对被预测目标额度作用力进行拼接，得到被预测目标所受的交通力；
将被预测目标自身历史运动状态与所有交通力拼接，进入LSTM网络进行时序建模。
基于轨迹提取和语义辨识以及预测的运动轨迹，进行中观层面交通态势的时序演变规律建模，获取基于真实目标动态轨迹流的场景流数字孪生，具体为：
将真实交通场景中的目标历史轨迹和预测的运动轨迹还原到实际交通运行环境的虚拟实体中，进行中观层面交通态势的时序演变规律建模，可视化三维交通态势图演化过程；
所述时序演变规律建模具体为：根据轨迹、速度以及交通力约束模型构建时序演变规律模型：
其中，
与
分别表示在t时刻目标i的位置与速度，
可由目标在两帧中的位置与帧间间隔计算得到，
为交通力约束模型；
所述虚拟实体为将高度参数化仿真道路布局顶视图导入三维仿真工具生成道路场景的三维模型。
一种基于动态轨迹流的场景流数字孪生系统，包括：
第一构建模块，所述第一构建模块用于构建检测跟踪一体化多模态融合感知增强网络，对目标语义轨迹进行提取与辨识；
提取模块，所述提取模块用于对道路交通语义进行提取得到与真实交通场景具有映射关系的高度参数化的虚拟道路布局顶视图；
获取模块，所述获取模块基于虚拟道路布局顶视图，获取道路布局交通语义网格编码矢量；
第二构建模块，所述第二构建模块基于交通场景中的其他目标对某一目标产生的影响，构建目标耦合关系模型；
第三构建模块，所述第三构建模块基于目标耦合关系模型与真实道路布局构建交通力约束模型；
轨迹预测网络构建模块，所述轨迹预测网络构建模块基于交通力约束模型和道路布局交通语义网格编码矢量，建立基于交通力耦合关系约束的长短时记忆轨迹预测网络；
预测模块，所述预测模块基于交通力耦合关系约束的长短时记忆轨迹预测网络，对目标的运动轨迹进行预测，得到预测的运动轨迹；
数字孪生模块，所述数字孪生模块基于轨迹提取和语义辨识以及预测的运动轨迹，对中观层面交通态势的时序演变规律建模，获取基于真实目标动态轨迹流的场景流数字孪生。
与现有技术相比，本发明具有以下有益效果：
本发明提出检测跟踪一体化多模态融合感知增强网络，获取真实交通场景中的目标历史轨迹，能够有效的融合各个模态卷积输出张量，并且分别提取真实交通场景的目标各个维度的特征；实现目标语义轨迹的精准提取与辨识；同时构建基于交通力耦合关系约束的长短时记忆轨迹预测网络，预测出目标的运动轨迹，并根据轨迹提取和语义辨识以及预测的运动轨迹，对中观层面交通态势的时序演变规律建模，获取基于真实目标动态轨迹流的场景流数字孪生，为精准化交通管控服务提供决策支持。
附图说明
为了更清楚的说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明的基于动态轨迹流的场景流数字孪生方法流程图；
图2为本发明基于动态轨迹流的场景流数字孪生方法的结构图；
图3为本发明的检测跟踪一体化多模态融合感知增强网络结构图；
图4为本发明的基于交通力耦合关系约束的长短时记忆轨迹预测网络结构图；
图5为本发明的参数化道路布局顶视图提取网络结构图；
图6为本发明的基于动态轨迹流的场景流数字孪生系统结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明实施例的描述中，需要说明的是，若出现术语“上”、“下”、“水平”、“内”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，若出现术语“水平”，并不表示要求部件绝对水平，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
在本发明实施例的描述中，还需要说明的是，除非另有明确的规定和限定，若出现术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合附图对本发明做进一步详细描述：
参见图1，本发明公开了一种基于动态轨迹流的场景流数字孪生方法，包括：
S101，构建检测跟踪一体化多模态融合感知增强网络，对目标语义轨迹进行提取与辨识。
参见图2、图3和图4，检测跟踪一体化多模态融合感知增强网络包括多模态融合感知增强模块和检测跟踪一体化网络；多模态融合感知增强模块包括分辨率注意力增强模块和特征融合增强模型；
分辨率注意力增强模块用于学习不同模态信息的不变特征表达；
特征融合增强模型通过定义特征关联张量池，将各个模态卷积输出张量汇聚于张量池进行特征融合，输出融合后的特征作为主网络的输入；
检测跟踪一体化网络包括主网络与三个子网络；所述主网络为3D参数共享卷积主网络，3D参数共享卷积主网络作为特征提取器，提取出不同的特征分别送到三个子网络中；
三个子网络分别为运动推理子网、驾驶行为辨识子网和遮挡识别子网，所述运动推理子网用于对物体轨迹进行跟踪；所述驾驶行为辨识子网用于对驾驶行为的辨识；所述遮挡识别子网用于对目标遮挡部位进行识别。
在检测跟踪一体化网络的卷积块中间构建一种分辨率注意力增强模块，提取不同模态空间属性特征，并通过自适应权重分配来学习不同模态信息的不变特征表达，此外，通过残差连接实现多层注意力特征级联，实现不同层特征的自适应选择，最终可得到更精确的上下文信息，提高网络整体性能。
基于空间注意力的不同模态卷积特征图组构建一种特征融合增强模型，通过定义特征关联张量池，将多模态卷积输出汇聚于张量池进行融合，其输出作为三个子网对应卷积层的输入，得到精确的轨迹提取与辨识。
由于主流跟踪模型的评估结果很大程度上受到检测结果的影响，本发明提出了多模态融合的检测跟踪一体化端对端网络，该网络可以在跟踪器中隐式地检测出目标对象，同时也可以消除之前检测器偏置和误差对跟踪网络带来的影响。本网络由一个3D参数共享卷积主网络和三个不同任务功能的子网络组成，并且在三个子网络下分别进行物体轨迹的跟踪，驾驶行为的辨识和目标遮挡识别。首先，3D参数共享卷积主网络作为特征提取器，分别对NF帧视频和NF帧雷达点云映射后的2D图像进行处理；其次，网络中六个中间层的特征融合后分别送到三个子网络中。
运动推理子网络：构建多模态融合特征为输入的3D卷积神经网络，逐层同步提取NF帧的目标特征及帧间目标运动关联。
驾驶行为辨识子网络：构建多模态融合特征为输入的3D卷积神经网络，逐层挖掘其与驾驶行为的映射关系，定义“正常驾驶行为”与“异常驾驶行为”(摆动，倾斜，侧滑，快速掉头，大半径转弯和突然制动等)的多模态时空特征数学表达；利用丰富的逐层多模态卷积融合特征，结合运动子网的运动轨迹特性，联合优化映射函数，以期学习到更加准确的异常驾驶行为分类模型。
遮挡识别子网络：计算每个锚管在任意时刻t的是否被遮挡，如果被遮挡，意味着检测跟踪不到目标，即在非极大值抑制阶段被过滤掉，如果没有被遮挡，则被挑选与真值交并比后，赋予真值标签参与训练，提高整个网联的跟踪精度与鲁棒性。
S102，对道路交通语义进行提取得到与真实交通场景具有映射关系的高度参数化的虚拟道路布局顶视图。
基于交通场景中道路拓扑结构与交通参与目标运行轨迹的耦合关系，实现道路布局交通语义高度参数化；
构建真实场景参数化的虚拟道路布局顶视图提取级联网络，基于道路布局交通语义高度参数化，通过虚实结合混合训练参数化的虚拟道路布局顶视图提取级联网络；
基于真实交通场景图像与训练后的虚拟道路布局顶视图提取级联网络的像素空间映射关系，构建道路布局虚实映射，获取与真实交通场景具有映射关系的高度参数化的虚拟道路布局顶视图。
基于交通场景中道路拓扑结构与交通参与目标运行轨迹的耦合关系，实现道路布局交通语义高度参数化，具体为：
根据交通场景内主道始终点位置以及辅道距离、线形和位置道路交叉关系的拓扑属性，车道的数量、宽度与是否单向通行的道路布局属性，车道限速值和车道线形状的交通标志属性及人行横道和步行道的宽度约束行人行为的行人区域属性，将全部属性从数据角度分配唯一的ID，实现道路布局交通语义参数化。
提出道路布局交通语义高度参数化。研究交通场景中道路拓扑结构与交通参与目标运行轨迹的耦合关系，定义交通场景内主道始终点位置以及辅道距离、线形、位置等道路交叉关系，有助于提高三路或四路交叉口建模的灵活性；研究精细化道路参数与普适性交通规则在交通场景道路布局推理中的作用及语义表达，定义车道数量、宽度与是否单向通行等单条道路布局属性，车道限速值、车道线形状等交通标志属性，以及人行横道、步行道及宽度等行人行为约束的场景元素，建立参数列表，有助于明确车辆驾驶行为的约束条件与轨迹推理预测。通过研究复杂交通场景结构特点、精细化道路布局与普适性交通规则在宏观交通场景布局推理中的作用，定义若干个交通属性。将其分为四类：道路宏观结构的拓扑属性、精细道路布局的车道级属性、约束交通参与者行为的行人区域属性和交通标志属性，并以真实交通场景为例，对各类别中的关键属性的定义进行解释。
构建真实场景参数化的虚拟道路布局顶视图提取级联网络，基于道路布局交通语义高度参数化，通过虚实结合混合训练参数化的虚拟道路布局顶视图提取级联网络，具体为：
参见图5，采集道路交通的RGB图像，并通过语义分割网络对道路交通的RGB图像进行提取，获取真实道路语义顶视图；
基于模拟器对完整标注的模拟道路图像进行采样，获取模拟道路顶视图；
分别对真实道路语义顶视图和模拟道路顶视图进行特征提取，基于虚实结合混合训练，建立虚实对抗损失函数；
对损失函数进行迭代，弥合模拟道路顶视图和真实道路语义顶视图之间的差距；
所述虚实对抗损失函数为：
其中，
表示真实数据监督下的损失函数，
表示模拟数据下监督下的损失函数，标量λr和λs表示了真实数据和模拟数据重要性权值。
提出虚实结合混合训练的高度参数化道路布局顶视图提取网络。通过真实RGB图像理解交通场景，预测道路布局场景参数及其模拟顶视图。首先，该网络基于大量完整标注的模拟道路顶视图与真实采集的少量手工注释不完全标注且含噪的真实交通场景图像，两种信源作为输入。利用已有的语义分割网络获得真实图像的语义顶视，基于道路布局交通语义参数定义得到相应场景属性的数据集。其次，构建定义顶视图与场景参数的映射关系。最后，以视频数据作为输入，基于场景预测参数向量，利用CRF提升时间平滑性。
基于真实交通场景图像与训练后的虚拟道路布局顶视图提取级联网络的像素空间映射关系，构建道路布局虚实映射，获取与真实交通场景具有映射关系的高度参数化的虚拟道路布局顶视图，具体为：
基于多尺度自适应搜索的网格编码算法，对检测跟踪一体化网络所提供的真实交通场景中的目标历史轨迹进行编码到虚拟道路布局顶视图中，得到虚拟坐标轨迹及对应的道路布局参数，同时对获取的虚拟坐标轨迹及对应的道路布局参数进行集成，获取道路布局交通语义网格编码矢量；
所述检测跟踪一体化网络所提供的真实交通场景中的目标历史轨迹为获取的轨迹提取和语义辨识。
S103，基于虚拟道路布局顶视图，获取道路布局交通语义网格编码矢量。
S104，基于交通场景中的其他目标对某一目标产生的影响，构建目标耦合关系模型。
研究不同目标间位置关系相互作用的影响机理，通过径向核函数表达不同目标间的相互作用，定性与定量的描述多目标之间相互作用强弱关系。
基于径向核函数建立目标间作用力，通过目标类型及目标间距离建立目标间影响权重，并基于对各目标作用力进行加权求和对目标间关系进行耦合，构建目标耦合关系模型；
目标耦合关系模型为
当t时刻下，交通场景中的其他目标对某一目标i产生的影响为：
其中，
表示t时刻，目标i,j间的相互作用；
是一个权重向量，用于表达不同运动目标间的相互作用存在的差异；n(t)表示在t时刻交通场景中的目标数量。
S105，基于目标耦合关系模型与真实道路布局构建交通力约束模型。
交通力为目标间耦合关系与真实道路布局对目标形成的共同作用力，将目标i在t时刻受到的交通力
定义为：
其中，
为目标间耦合关系；
为目标i在时刻t所处道路布局语义的编码信息；ci为行为辨识子网络所给出的运动目标类型，用于表达相同道路布局对不同类型目标影响的差异；映射E是基于目标类型与道路布局语义信息给出道路布局对目标i的作用力。
S106，基于交通力约束模型和道路布局交通语义网格编码矢量，建立基于交通力耦合关系约束的长短时记忆轨迹预测网络。
根据目标间的距离及目标类型，通过径向核函数建立目标间相互作用力及影响权重；
基于目标间作用力及影响权重，获取交通场景中其他目标对被预测目标的影响；
根据运动目标类型与虚拟道路布局顶视图给出的道路布局语义编码信息，映射得到道路布局对被预测目标的作用力；
将其他交通目标对被预测目标的影响与道路布局对被预测目标额度作用力进行拼接，得到被预测目标所受的交通力；
将被预测目标自身历史运动状态与所有交通力拼接，进入LSTM网络进行时序建模。
S107，基于交通力耦合关系约束的长短时记忆轨迹预测网络，对目标的运动轨迹进行预测，得到预测的运动轨迹；
S108，基于轨迹提取和语义辨识以及预测的运动轨迹，对中观层面交通态势的时序演变规律建模，获取基于真实目标动态轨迹流的场景流数字孪生。
将真实交通场景中的目标历史轨迹和预测的运动轨迹还原到实际交通运行环境的虚拟实体中，进行中观层面交通态势的时序演变规律建模，可视化三维交通态势图演化过程；
所述时序演变规律建模具体为：根据轨迹、速度以及交通力约束模型构建时序演变规律模型:
其中，
与
分别表示在t时刻目标i的位置与速度，
可由目标在两帧中的位置与帧间间隔计算得到，
为交通力约束模型；
所述虚拟实体为将高度参数化仿真道路布局顶视图导入三维仿真工具生成道路场景的三维模型。
参见图6，本发明公布了一种基于动态轨迹流的场景流数字孪生系统，包括：
第一构建模块，所述第一构建模块用于构建检测跟踪一体化多模态融合感知增强网络，对目标语义轨迹进行提取与辨识；
提取模块，所述提取模块用于对道路交通语义进行提取得到与真实交通场景具有映射关系的高度参数化的虚拟道路布局顶视图；
获取模块，所述获取模块基于虚拟道路布局顶视图，获取道路布局交通语义网格编码矢量；
第二构建模块，所述第二构建模块基于交通场景中的其他目标对某一目标产生的影响，构建目标耦合关系模型；
第三构建模块，所述第三构建模块基于目标耦合关系模型与真实道路布局构建交通力约束模型；
轨迹预测网络构建模块，所述轨迹预测网络构建模块基于交通力约束模型和道路布局交通语义网格编码矢量，建立基于交通力耦合关系约束的长短时记忆轨迹预测网络；
预测模块，所述预测模块基于交通力耦合关系约束的长短时记忆轨迹预测网络，对目标的运动轨迹进行预测，得到预测的运动轨迹；
数字孪生模块，所述数字孪生模块基于轨迹提取和语义辨识以及预测的运动轨迹，对中观层面交通态势的时序演变规律建模，获取基于真实目标动态轨迹流的场景流数字孪生。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于动态轨迹流的场景流数字孪生方法，其特征在于，包括：
构建检测跟踪一体化多模态融合感知增强网络，对目标语义轨迹进行提取与辨识；
对道路交通语义进行提取得到与真实交通场景具有映射关系的高度参数化的虚拟道路布局顶视图；
基于虚拟道路布局顶视图，获取道路布局交通语义网格编码矢量；
基于交通场景中的其他目标对某一目标产生的影响，构建目标耦合关系模型；
基于目标耦合关系模型与真实道路布局构建交通力约束模型；
基于交通力约束模型和道路布局交通语义网格编码矢量，建立基于交通力耦合关系约束的长短时记忆轨迹预测网络；
基于交通力耦合关系约束的长短时记忆轨迹预测网络，对目标的运动轨迹进行预测，得到预测的运动轨迹；
基于轨迹提取和语义辨识以及预测的运动轨迹，对中观层面交通态势的时序演变规律建模，获取基于真实目标动态轨迹流的场景流数字孪生。
2.根据权利要求1所述的基于动态轨迹流的场景流数字孪生方法，其特征在于，所述构建检测跟踪一体化多模态融合感知增强网络，对目标语义轨迹进行提取与辨识，具体为：
所述检测跟踪一体化多模态融合感知增强网络包括多模态融合感知增强模块和检测跟踪一体化网络；多模态融合感知增强模块包括分辨率注意力增强模块和特征融合增强模型；
所述分辨率注意力增强模块用于学习不同模态信息的不变特征表达；
所述特征融合增强模型通过定义特征关联张量池，将各个模态卷积输出张量汇聚于张量池进行特征融合，输出融合后的特征作为主网络的输入；
所述检测跟踪一体化网络包括主网络与三个子网络；所述主网络为3D参数共享卷积主网络，3D参数共享卷积主网络作为特征提取器，提取出不同的特征分别送到三个子网络中；
所述三个子网络分别为运动推理子网、驾驶行为辨识子网和遮挡识别子网，所述运动推理子网用于对物体轨迹进行跟踪；所述驾驶行为辨识子网用于对驾驶行为的辨识；所述遮挡识别子网用于对目标遮挡部位进行识别。
3.根据权利要求1所述的基于动态轨迹流的场景流数字孪生方法，其特征在于，所述对道路交通语义进行提取得到与真实交通场景具有映射关系的高度参数化的虚拟道路布局顶视图，具体为：
基于交通场景中道路拓扑结构与交通参与目标运行轨迹的耦合关系，实现道路布局交通语义高度参数化；
构建真实场景参数化的虚拟道路布局顶视图提取级联网络，基于道路布局交通语义高度参数化，通过虚实结合混合训练参数化的虚拟道路布局顶视图提取级联网络；
基于真实交通场景图像与训练后的虚拟道路布局顶视图提取级联网络的像素空间映射关系，构建道路布局虚实映射，获取与真实交通场景具有映射关系的高度参数化的虚拟道路布局顶视图。
4.根据权利要求3所述的基于动态轨迹流的场景流数字孪生方法，其特征在于，所述基于交通场景中道路拓扑结构与交通参与目标运行轨迹的耦合关系，实现道路布局交通语义高度参数化，具体为：
根据交通场景内主道始终点位置以及辅道距离、线形和位置道路交叉关系的拓扑属性，车道的数量、宽度与是否单向通行的道路布局属性，车道限速值和车道线形状的交通标志属性及人行横道和步行道的宽度约束行人行为的行人区域属性，将全部属性从数据角度分配唯一的ID，实现道路布局交通语义参数化；
所述构建真实场景参数化的虚拟道路布局顶视图提取级联网络，基于道路布局交通语义高度参数化，通过虚实结合混合训练参数化的虚拟道路布局顶视图提取级联网络，具体为：
采集道路交通的RGB图像，并通过语义分割网络对道路交通的RGB图像进行提取，获取真实道路语义顶视图；
基于模拟器对完整标注的模拟道路图像进行采样，获取模拟道路顶视图；
分别对真实道路语义顶视图和模拟道路顶视图进行特征提取，基于虚实结合混合训练，建立虚实对抗损失函数；
对损失函数进行迭代，弥合模拟道路顶视图和真实道路语义顶视图之间的差距；
所述虚实对抗损失函数为：
其中，
表示真实数据监督下的损失函数，
表示模拟数据下监督下的损失函数，标量λr和λs表示了真实数据和模拟数据重要性权值。
5.根据权利要求4所述的基于动态轨迹流的场景流数字孪生方法，其特征在于，所述基于真实交通场景图像与训练后的虚拟道路布局顶视图提取级联网络的像素空间映射关系，构建道路布局虚实映射，获取与真实交通场景具有映射关系的高度参数化的虚拟道路布局顶视图，具体为：
基于多尺度自适应搜索的网格编码算法，对检测跟踪一体化网络所提供的真实交通场景中的目标历史轨迹进行编码到虚拟道路布局顶视图中，得到虚拟坐标轨迹及对应的道路布局参数，同时对获取的虚拟坐标轨迹及对应的道路布局参数进行集成，获取道路布局交通语义网格编码矢量；
所述检测跟踪一体化网络所提供的真实交通场景中的目标历史轨迹为获取的轨迹提取和语义辨识。
6.根据权利要求5所述的基于动态轨迹流的场景流数字孪生方法，其特征在于，所述基于交通场景中的其他目标对某一目标产生的影响，构建目标耦合关系模型，具体为：
基于径向核函数建立目标间作用力，通过目标类型及目标间距离建立目标间影响权重，并基于对各目标作用力进行加权求和对目标间关系进行耦合，构建目标耦合关系模型；
目标耦合关系模型为
当t时刻下，交通场景中的其他目标对某一目标i产生的影响为：
其中，
表示t时刻，目标i,j间的相互作用；
是一个权重向量，用于表达不同运动目标间的相互作用存在的差异；n(t)表示在t时刻交通场景中的目标数量。
7.根据权利要求6所述的基于动态轨迹流的场景流数字孪生方法，其特征在于，所述基于目标耦合关系模型与真实道路布局构建交通力约束模型，具体为：
交通力为目标间耦合关系与真实道路布局对目标形成的共同作用力，将目标i在t时刻受到的交通力
定义为：
其中，
为目标间耦合关系；
为目标i在时刻t所处道路布局语义的编码信息；ci为行为辨识子网络所给出的运动目标类型，用于表达相同道路布局对不同类型目标影响的差异；映射E是基于目标类型与道路布局语义信息给出道路布局对目标i的作用力。
8.根据权利要求7所述的基于动态轨迹流的场景流数字孪生方法，其特征在于，所述基于交通力约束模型和道路布局交通语义网格编码矢量，建立基于交通力耦合关系约束的长短时记忆轨迹预测网络，具体为：
根据目标间的距离及目标类型，通过径向核函数建立目标间相互作用力及影响权重；
基于目标间作用力及影响权重，获取交通场景中其他目标对被预测目标的影响；
根据运动目标类型与虚拟道路布局顶视图给出的道路布局语义编码信息，映射得到道路布局对被预测目标的作用力；
将其他交通目标对被预测目标的影响与道路布局对被预测目标额度作用力进行拼接，得到被预测目标所受的交通力；
将被预测目标自身历史运动状态与所有交通力拼接，进入LSTM网络进行时序建模。
9.根据权利要求8所述的基于动态轨迹流的场景流数字孪生方法，其特征在于，所述基于轨迹提取和语义辨识以及预测的运动轨迹，进行中观层面交通态势的时序演变规律建模，获取基于真实目标动态轨迹流的场景流数字孪生，具体为：
将真实交通场景中的目标历史轨迹和预测的运动轨迹还原到实际交通运行环境的虚拟实体中，进行中观层面交通态势的时序演变规律建模，可视化三维交通态势图演化过程；
所述时序演变规律建模具体为：根据轨迹、速度以及交通力约束模型构建时序演变规律模型：
其中，
与
分别表示在t时刻目标i的位置与速度，
可由目标在两帧中的位置与帧间间隔计算得到，
为交通力约束模型；
所述虚拟实体为将高度参数化仿真道路布局顶视图导入三维仿真工具生成道路场景的三维模型。
10.一种基于动态轨迹流的场景流数字孪生系统，其特征在于，包括：
第一构建模块，所述第一构建模块用于构建检测跟踪一体化多模态融合感知增强网络，对目标语义轨迹进行提取与辨识；
提取模块，所述提取模块用于对道路交通语义进行提取得到与真实交通场景具有映射关系的高度参数化的虚拟道路布局顶视图；
获取模块，所述获取模块基于虚拟道路布局顶视图，获取道路布局交通语义网格编码矢量；
第二构建模块，所述第二构建模块基于交通场景中的其他目标对某一目标产生的影响，构建目标耦合关系模型；
第三构建模块，所述第三构建模块基于目标耦合关系模型与真实道路布局构建交通力约束模型；
轨迹预测网络构建模块，所述轨迹预测网络构建模块基于交通力约束模型和道路布局交通语义网格编码矢量，建立基于交通力耦合关系约束的长短时记忆轨迹预测网络；
预测模块，所述预测模块基于交通力耦合关系约束的长短时记忆轨迹预测网络，对目标的运动轨迹进行预测，得到预测的运动轨迹；
数字孪生模块，所述数字孪生模块基于轨迹提取和语义辨识以及预测的运动轨迹，对中观层面交通态势的时序演变规律建模，获取基于真实目标动态轨迹流的场景流数字孪生。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210461605.5A CN114970321A (zh) | 2022-04-28 | 2022-04-28 | 一种基于动态轨迹流的场景流数字孪生方法及系统 |
| PCT/CN2023/082929 WO2023207437A1 (zh) | 2022-04-28 | 2023-03-22 | 一种基于动态轨迹流的场景流数字孪生方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210461605.5A CN114970321A (zh) | 2022-04-28 | 2022-04-28 | 一种基于动态轨迹流的场景流数字孪生方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114970321A true CN114970321A (zh) | 2022-08-30 |
Family
ID=82980080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210461605.5A Pending CN114970321A (zh) | 2022-04-28 | 2022-04-28 | 一种基于动态轨迹流的场景流数字孪生方法及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114970321A (zh) |
| WO (1) | WO2023207437A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115544264A (zh) * | 2022-09-09 | 2022-12-30 | 西南交通大学 | 知识驱动的桥梁建造数字孪生场景智能构建方法及系统 |
| CN116663329A (zh) * | 2023-07-26 | 2023-08-29 | 西安深信科创信息技术有限公司 | 自动驾驶仿真测试场景生成方法、装置、设备及存储介质 |
| WO2023207437A1 (zh) * | 2022-04-28 | 2023-11-02 | 长安大学 | 一种基于动态轨迹流的场景流数字孪生方法及系统 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117252905B (zh) * | 2023-11-20 | 2024-03-19 | 暗物智能科技(广州)有限公司 | 一种基于神经微分方程的行人轨迹预测方法及系统 |
| CN117311396B (zh) * | 2023-11-30 | 2024-04-09 | 中国科学院空天信息创新研究院 | 飞行监控方法、装置、设备及介质 |
| CN117456480B (zh) * | 2023-12-21 | 2024-03-29 | 华侨大学 | 一种基于多源信息融合的轻量化车辆再辨识方法 |
| CN117788719B (zh) * | 2024-02-26 | 2024-05-07 | 北京飞渡科技股份有限公司 | 一种基于模型编码的数据融合方法及装置 |
| CN117854286A (zh) * | 2024-03-08 | 2024-04-09 | 山东金宇信息科技集团有限公司 | 一种基于数字孪生的城市交通规划方法、设备及介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112286214B (zh) * | 2020-10-12 | 2021-11-09 | 同济大学 | 基于Vicon运动捕捉系统无人机数字孪生的可行性评估方法 |
| CN113076599A (zh) * | 2021-04-15 | 2021-07-06 | 河南大学 | 一种基于长短时记忆网络的多模态车辆轨迹预测方法 |
| CN113704956A (zh) * | 2021-06-15 | 2021-11-26 | 深圳市综合交通设计研究院有限公司 | 一种基于数字孪生技术的城市道路在线微观仿真方法及系统 |
| CN114328672A (zh) * | 2021-12-31 | 2022-04-12 | 无锡恺易物联网科技发展有限公司 | 一种基于数字孪生的数字农田场景映射同步装置及方法 |
| CN114970321A (zh) * | 2022-04-28 | 2022-08-30 | 长安大学 | 一种基于动态轨迹流的场景流数字孪生方法及系统 |
-
2022
- 2022-04-28 CN CN202210461605.5A patent/CN114970321A/zh active Pending
-
2023
- 2023-03-22 WO PCT/CN2023/082929 patent/WO2023207437A1/zh unknown
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023207437A1 (zh) * | 2022-04-28 | 2023-11-02 | 长安大学 | 一种基于动态轨迹流的场景流数字孪生方法及系统 |
| CN115544264A (zh) * | 2022-09-09 | 2022-12-30 | 西南交通大学 | 知识驱动的桥梁建造数字孪生场景智能构建方法及系统 |
| CN115544264B (zh) * | 2022-09-09 | 2023-07-25 | 西南交通大学 | 知识驱动的桥梁建造数字孪生场景智能构建方法及系统 |
| CN116663329A (zh) * | 2023-07-26 | 2023-08-29 | 西安深信科创信息技术有限公司 | 自动驾驶仿真测试场景生成方法、装置、设备及存储介质 |
| CN116663329B (zh) * | 2023-07-26 | 2024-03-29 | 安徽深信科创信息技术有限公司 | 自动驾驶仿真测试场景生成方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023207437A1 (zh) | 2023-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114970321A (zh) | 一种基于动态轨迹流的场景流数字孪生方法及系统 | |
| CN110956651B (zh) | 一种基于视觉和振动触觉融合的地形语义感知方法 | |
| Chen et al. | AI-empowered speed extraction via port-like videos for vehicular trajectory analysis | |
| WO2022206942A1 (zh) | 一种基于行车安全风险场的激光雷达点云动态分割及融合方法 | |
| CN110866887A (zh) | 一种基于多传感器的目标态势融合感知方法和系统 | |
| Choi et al. | Drogon: A causal reasoning framework for future trajectory forecast | |
| CN108304798A (zh) | 基于深度学习及运动一致性的街面秩序事件视频检测方法 | |
| CN104378582A (zh) | 一种基于ptz摄像机巡航的智能视频分析系统及方法 | |
| CN113705636B (zh) | 一种自动驾驶车辆轨迹预测方法、装置及电子设备 | |
| Niranjan et al. | Deep learning based object detection model for autonomous driving research using carla simulator | |
| Guo et al. | Evaluation-oriented façade defects detection using rule-based deep learning method | |
| Li et al. | A guided deep learning approach for joint road extraction and intersection detection from RS images and taxi trajectories | |
| CN111402632B (zh) | 一种交叉口行人运动轨迹的风险预测方法 | |
| CN112613668A (zh) | 基于人工智能的景区危险区域管控方法 | |
| CN115984537A (zh) | 图像处理方法、装置及相关设备 | |
| Kastner et al. | Task-based environment interpretation and system architecture for next generation ADAS | |
| Tarko et al. | Tscan: Stationary lidar for traffic and safety studies—object detection and tracking | |
| Bastani et al. | Inferring and improving street maps with data-driven automation | |
| CN117130010A (zh) | 用于无人驾驶的障碍物感知方法、系统及无人驾驶汽车 | |
| CN114842660A (zh) | 一种无人车道路轨迹预测方法、装置和电子设备 | |
| CN112634610A (zh) | 自然驾驶数据采集方法、装置、电子设备以及存储介质 | |
| Yuan et al. | Real-time long-range road estimation in unknown environments | |
| Tiwari et al. | Deep learning based lateral control system | |
| CN114863685B (zh) | 一种基于风险接受程度的交通参与者轨迹预测方法及系统 | |
| CN117671647B (zh) | 一种多任务道路场景感知方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |