CN109242003B - 基于深度卷积神经网络的车载视觉系统自身运动确定方法 - Google Patents

基于深度卷积神经网络的车载视觉系统自身运动确定方法 Download PDF

Info

Publication number
CN109242003B
CN109242003B CN201810917338.1A CN201810917338A CN109242003B CN 109242003 B CN109242003 B CN 109242003B CN 201810917338 A CN201810917338 A CN 201810917338A CN 109242003 B CN109242003 B CN 109242003B
Authority
CN
China
Prior art keywords
neural network
convolutional neural
deep convolutional
vehicle
vision system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810917338.1A
Other languages
English (en)
Other versions
CN109242003A (zh
Inventor
缪其恒
吴长伟
苏志杰
孙焱标
王江明
许炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Zero Run Technology Co Ltd
Original Assignee
Zhejiang Leapmotor Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Leapmotor Technology Co Ltd filed Critical Zhejiang Leapmotor Technology Co Ltd
Priority to CN201810917338.1A priority Critical patent/CN109242003B/zh
Publication of CN109242003A publication Critical patent/CN109242003A/zh
Application granted granted Critical
Publication of CN109242003B publication Critical patent/CN109242003B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度卷积神经网络的车载视觉系统自身运动确定方法，所述基于深度卷积神经网络的车载视觉系统包括深度卷积神经网络模块，包括S1，采集车载视觉系统的参数配置信息和图像信息；S2，对图像预处理，并将预处理后的时序图像在深度通道叠加，形成神经网络输入图像；S3，深度卷积神经网络模块根据接收的所述神经网络输入图像信息确定车载视觉系统自身的运动信息；S4，输出确定的车载视觉系统自身运动信息。采用本发明，降低了成本，提高了车辆自身运动的确定精度。

Description

基于深度卷积神经网络的车载视觉系统自身运动确定方法
技术领域
本发明涉及车载视觉系统，特别是一种基于深度卷积神经网络的车载视觉系统自身运动确定方法。
背景技术
智能化是如今汽车行业发展的重要趋势之一，视觉系统在车辆主动安全领域的应用日益广泛。单双目前视、后视以及360度环视系统已经成为了现有高级辅助驾驶系统的主流感知器件，随着人工智能技术的发展以及嵌入式平台运算能力的提升，辅助驾驶系统的自动化等级日益提升。视觉感知系统的主要作用包括：道路交通场景目标及可行驶区域识别、场景视深估算以及车辆自身状态估算等。此类问题在现有的视觉感知系统中均有涉及，现有方法由于受人工涉及的图像特征描述算子限制，其应用场景以及效果均具有一定的局限性。
现有车辆姿态计算或测量方法主要包括如下几类：基于GPS及惯性导航设备的方法，此类系统测量精度高，但系统成本太过昂贵，因而只少量用于车辆测试以及标定，无法批量应用于量产车型中；基于视觉测量的方法，利用视觉场景中离散或稠密的时序特征算子提取与匹配，计算相应的相机运动矢量，现有此类系统应用具有一定的局限性(如安装以及应用场景等)，并且不便与其他车载视觉感知系统集成。
发明内容
本发明的目的是提供一种基于深度卷积神经网络的车载视觉系统自身运动确定方法，该方法模型结构简单，模型大小以及运算量具备低功耗平台实时运行的可行性，降低了成本。
为解决现有技术存在的问题，本发明提供一种基于深度卷积神经网络的车载视觉系统自身运动确定方法，所述基于深度卷积神经网络的车载视觉系统包括深度卷积神经网络模块，所述方法包括：
S1，采集车载视觉系统的参数配置信息和图像信息；
S2，对图像预处理，并将预处理后的时序图像在深度通道叠加，形成神经网络输入图像；
S3，深度卷积神经网络模块根据接收的所述神经网络输入图像信息确定车载视觉系统自身的运动信息；
S4，输出确定的车载视觉系统自身运动信息。
优选的，还包括深度卷积神经网络模块进行离线训练的步骤，所述步骤包括：
采集各类道路驾驶场景数据，提取时序连续训练样本集，并利用RT设备输出对训练样本集进行标定；
利用视频数据时间戳信息与RT设备高频采集信号匹配，积分采集周期内的X,Y,Z三个坐标轴对应的速度及角速度信息，得到神经网络对应的输出标签参考数据，所述输出标签参考数据为六自由度车辆与转动信息。
优选的，所述深度卷积神经网络模块离线训练步骤采用基于迷你批量方式额梯度下降方法，所述方法的每个循环内，基于反向地推对损失函数求最优解来优化网络权重参数，直至设定的循环迭代次数完成，所述损失函数Loss计算公式为：
Figure BDA0001763368860000031
其中，zj表示输出向量的每个元素；zT，i表示对应训练样本标签；αT,αR为平动、转动损失函数权重系数。
优选的，还包括对深度卷积神经网络模块设备移植的步骤，所述深度卷积神经网络模块设备移植的步骤包括：
对离线训练步骤所生成的深度卷积神经网络进行基于所应用的嵌入式平台运算特性进行压缩操作，包括稀疏化与量化；
验证压缩后神经网络精度，若精度损失小于预设的阈值，则确定应用压缩后深度卷积神经网络模块；若神经精度损失大于预设的阈值，则在当前离线训练集上重新离线训练至精度损失小于预设的阈值。
优选的，所述深度卷积神经网络模块的图像输入层的时序RGB格式图片，大小为640*360*6，为2帧连续固定间隔图片叠加的尺寸。
优选的，所述深度卷积神经网络模块的卷积层：采用3*3尺寸的卷积滑窗，以及‘0’像素值边缘填充，步长为1。
优选的，所述深度卷积神经网络模块的池化层，用于对神经网络内浅层特征进行降采样，采用2*2大小滑窗尺寸，取最大值滑窗内4个数值的最大值，步长为2。
优选的，所述深度卷积神经网络模块包括激活层，所述激活层所使用的激活方程为修正线性单元，其表达式为max(0，x)，其中，x为该神经元输入。
优选的，所述深度卷积神经网络模块还包括正则化层，所述正则化层在每个迷你批量中计算得到相应的均值与方差，并以所述均值和方差正则化迷你批量样本。
优选的，所述深度卷积神经网络模块包括全连接层，所述全连接层用于自动丢弃全连接层内使深度卷积神经网络过拟合的神经元。
本发明的通过神经网络模块对输入图像进行分析，从而输出车载视觉系统自身运动的信息，并经后处理后可输出辅助驾驶及自动驾驶系统相关应用自身车辆运动信息，为其他感知算法模块以及车辆操作规划与决策提供依据。该神经网络模块所采用的神经网络架构具备如下优势：模型结构简单，模型大小以及运算量具备低功耗平台实时运行的可行性；模型所基于的共享图像特征应用延展性强，适用于与其他任务深度卷积神经网络并行，降低了成本。
另外，本发明基于多任务深度卷积神经网络架构替代传统视觉里程计，鲁棒性以及准确性都大幅提升。并且本发明所依赖的共享图像特征描述子可与其他复用感知任务复用，从而节约额外图像描述算子的提取时间，提升整体感知系统的运算效率。并且本方法可以在训练阶段借助RT设备(GPS/INS组合设备)进行监督训练所需的样本标签自动生成，而在推理应用阶段只需基于图像输入与神经网络模型分析，从而达到自动驾驶/辅助驾驶需求精度的自身运动信息的输出。
附图说明
图1是本发明一种基于深度卷积神经网络的车载视觉系统自身运动确定方法的一种实施例的流程示意图；
图2是本发明一种基于深度卷积神经网络的车载视觉系统自身运动确定方法中的深度卷积神经网络模块的拓扑结果示意图。
具体实施方式
下面结合附图对本发明进行详细说明。
参考图1，该图是本发明一种基于深度卷积神经网络的车载视觉系统自身运动确定方法的一种实施例的流程示意图，该流程包括：
步骤S1，采集车载视觉系统的参数配置信息和图像信息；
步骤S2，对图像预处理，并将预处理后的时序图像在深度通道叠加，形成神经网络输入图像；
步骤S3，深度卷积神经网络模块根据接收的所述神经网络输入图像信息确定车载视觉系统自身的运动信息；
步骤S4，输出确定的车载视觉系统自身运动信息。
下面对本发明实施例中的深度卷积神经网络模块进行详细说明。
本发明实施例所采用的神经网络模块的输入为6通道车载视觉图像(2*3，连续两帧RGB)，输出为6维向量(三个转动自由度以及三个平动自由度)。所包括的具体内容如下：
深度运动卷积神经网络模块(Mot-Net)架构设计：设计运动估计卷积神经网络结构如图2所示，模型输入为6通道RGB图像数据，输出为6通道运动信息，特征层部分(即图2中的卷积层)由conv+relu+bn组合层构成，其余网络结构还包括池化、全连接以及输出层：下面进行详细说明
图像输入层：为时序RGB格式图片，大小为640*360*6(2帧连续固定间隔图片叠加)。
卷积层(conv)：对于任意卷积操作，均采用3*3尺寸的卷积滑窗，以及‘0’像素值边缘填充，步长为1，每个卷积层的深度如图2所示。
池化层：对于此网络内浅层特征进行降采样操作，采用2*2大小滑窗尺寸，取最大值滑窗内4个数值的最大值，步长为2。
激活层(relu)：应用于每个卷积层后，所使用的激活方程为修正线性单元(ReLu)，其表达式为：max(0，x)。其中，x为该神经元输入。
正则化层(BN)：在每个迷你批量(mini-batch)中计算得到相应均值与方差，并以之正则化mini-batch样本。
全连接层(fc)：防止模型过拟合，自动丢弃该全连接层内一定比例的神经元，参数设置为0.5。
输出层：输出对应车辆自身运动信息(输出为6维向量，对应6自由度运动信息)。
另外，深度卷积神经网络模块还包括离线训练的步骤，下面进行详细说明。
训练数据采集与标定：离线采集各类道路驾驶场景数据，提取时序连续训练样本集若干，利用RT设备输出对上述训练样本集进行标定。利用视频数据时间戳信息与RT设备高频采集信号匹配，积分采集周期内的X，Y，Z三个坐标轴对应的速度及角速度信息，得到神经网络对应的输出标签参考数据，即六自由度车辆平动与转动信息。
损失函数以及训练参数设置：训练过程采用基于迷你批量(mini-batch)方式的梯度下降方法：即每个循环内，基于反向递推(BP)的方法对损失函数求最优解来优化网络权重参数，直至设定的循环迭代次数完成。损失函数Loss计算公式为：
Figure BDA0001763368860000071
其中，zj为输出向量的每个元素(1-3为平动信息，4-6为转动信息)；zT，i为对应训练样本标签；αT,αR为平动、转动损失函数权重系数。
用户可设置参数有迷你批量样本大小n(可取用最大值由内存上限决定)、学习速率lr(决定收敛速率)、权重衰退系数wd(防止过拟合)、动量系数m(可加快学习速率)以及学习循环数(i)。
另外，深度卷积神经网络模块还包括嵌入式设备移植的步骤，具体的该步骤包括：
离线训练所生成的深度卷积神经网络进行基于所应用的嵌入式平台运算特性进行压缩的操作，包括稀疏化与量化。在验证集验证压缩后网络精度，若精度损失小于可应用阈值(默认值为1-2％压缩前精度)，则可直接应用压缩后网络进行前向推理；若精度损失大于可应用阈值，则在训练集上重新训练至达到精度损失要求。
在实际应用中，本发明实施例中的深度卷积神经网络模块经过上述嵌入式设备移植步骤的压缩后可导入前端嵌入式平台Flash，通过初始化读入内存或相关硬件加速单元的对应内部数据读写硬件中。神经网络模块输出的6自由度运动信息，利用基于特定运动规律假设的单体运动学模型进行时序模型输出滤波(也可用常用低通滤波代替，截止频率为可配置参数，由滤波器实际调试可得)。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (9)

1.一种基于深度卷积神经网络的车载视觉系统自身运动确定方法，所述基于深度卷积神经网络的车载视觉系统包括深度卷积神经网络模块，其特征在于，所述方法包括：
S1，采集车载视觉系统的参数配置信息和图像信息；
S2，对图像预处理，并将预处理后的时序图像在深度通道叠加，形成神经网络输入图像；
S3，深度卷积神经网络模块根据接收的所述神经网络输入图像信息确定车载视觉系统自身的运动信息；
S4，输出确定的车载视觉系统自身运动信息；
还包括深度卷积神经网络模块进行离线训练的步骤，所述步骤包括：
采集各类道路驾驶场景数据，提取时序连续训练样本集，并利用RT设备输出对训练样本集进行标定；
利用视频数据时间戳信息与RT设备高频采集信号匹配，积分采集周期内的X,Y,Z三个坐标轴对应的速度及角速度信息，得到神经网络对应的输出标签参考数据，所述输出标签参考数据为六自由度车辆与转动信息。
2.根据权利要求1所述的基于深度卷积神经网络的车载视觉系统自身运动确定方法，其特征在于，所述深度卷积神经网络模块离线训练步骤采用基于迷你批量方式额梯度下降方法，所述方法的每个循环内，基于反向地推对损失函数求最优解来优化网络权重参数，直至设定的循环迭代次数完成，所述损失函数Loss计算公式为：
Figure 823376DEST_PATH_IMAGE001
其中，zi表示输出向量的每个元素；
Figure 193046DEST_PATH_IMAGE002
表示对应训练样本标签；
Figure 176046DEST_PATH_IMAGE003
,
Figure 40097DEST_PATH_IMAGE004
为平动、转动 损失函数权重系数。
3.根据权利要求2所述的基于深度卷积神经网络的车载视觉系统自身运动确定方法，其特征在于，还包括对深度卷积神经网络模块设备移植的步骤，所述深度卷积神经网络模块设备移植的步骤包括：
对离线训练步骤所生成的深度卷积神经网络进行基于所应用的嵌入式平台运算特性进行压缩操作，包括稀疏化与量化；
验证压缩后神经网络精度，若精度损失小于预设的阈值，则确定应用压缩后深度卷积神经网络模块；若神经精度损失大于预设的阈值，则在当前离线训练集上重新离线训练至精度损失小于预设的阈值。
4.根据权利要求1所述的基于深度卷积神经网络的车载视觉系统自身运动确定方法，其特征在于，所述深度卷积神经网络模块的图像输入层的时序RGB格式图片，大小为640*360*6，为2帧连续固定间隔图片叠加的尺寸。
5.根据权利要求1所述的基于深度卷积神经网络的车载视觉系统自身运动确定方法，其特征在于，所述深度卷积神经网络模块的卷积层：采用3*3尺寸的卷积滑窗，以及‘0’像素值边缘填充，步长为1。
6.根据权利要求1所述的基于深度卷积神经网络的车载视觉系统自身运动确定方法，其特征在于，所述深度卷积神经网络模块的池化层，用于对神经网络内浅层特征进行降采样，采用2*2大小滑窗尺寸，取最大值滑窗内4个数值的最大值，步长为2。
7.根据权利要求1所述的基于深度卷积神经网络的车载视觉系统自身运动确定方法，其特征在于，所述深度卷积神经网络模块包括激活层，所述激活层所使用的激活方程为修正线性单元，其表达式为：max（0，x），其中，x为该激活层输入。
8.根据权利要求1所述的基于深度卷积神经网络的车载视觉系统自身运动确定方法，其特征在于，所述深度卷积神经网络模块还包括正则化层，所述正则化层在每个迷你批量中计算得到相应的均值与方差，并以所述均值和方差正则化迷你批量样本。
9.根据权利要求1所述的基于深度卷积神经网络的车载视觉系统自身运动确定方法，其特征在于，所述深度卷积神经网络模块包括全连接层，所述全连接层用于自动丢弃全连接层内使深度卷积神经网络过拟合的神经元。
CN201810917338.1A 2018-08-13 2018-08-13 基于深度卷积神经网络的车载视觉系统自身运动确定方法 Active CN109242003B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810917338.1A CN109242003B (zh) 2018-08-13 2018-08-13 基于深度卷积神经网络的车载视觉系统自身运动确定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810917338.1A CN109242003B (zh) 2018-08-13 2018-08-13 基于深度卷积神经网络的车载视觉系统自身运动确定方法

Publications (2)

Publication Number Publication Date
CN109242003A CN109242003A (zh) 2019-01-18
CN109242003B true CN109242003B (zh) 2021-01-01

Family

ID=65070842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810917338.1A Active CN109242003B (zh) 2018-08-13 2018-08-13 基于深度卷积神经网络的车载视觉系统自身运动确定方法

Country Status (1)

Country Link
CN (1) CN109242003B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109934096B (zh) * 2019-01-22 2020-12-11 浙江零跑科技有限公司 基于特征时序相关性的自动驾驶视觉感知优化方法
CN110119768B (zh) * 2019-04-24 2023-10-31 苏州感测通信息科技有限公司 用于车辆定位的视觉信息融合系统及方法
CN110543412A (zh) * 2019-05-27 2019-12-06 上海工业控制安全创新科技有限公司 一种基于神经网络可达性的汽车电子功能安全评估方法
CN110244734B (zh) * 2019-06-20 2021-02-05 中山大学 一种基于深度卷积神经网络的自动驾驶车辆路径规划方法
CN110320802B (zh) * 2019-07-02 2020-07-03 北京交通大学 基于数据可视化的复杂系统信号时序识别方法
CN111273676B (zh) * 2020-03-24 2023-04-18 广东工业大学 一种端到端自动驾驶的方法及系统
CN112052937A (zh) * 2020-07-28 2020-12-08 广西小珈智能科技有限责任公司 基于集成Jetson Nano域控制器运行神经网络的优化算法
CN112556719B (zh) * 2020-11-27 2022-01-21 广东电网有限责任公司肇庆供电局 一种基于cnn-ekf的视觉惯性里程计实现方法
CN113255609B (zh) * 2021-07-02 2021-10-29 智道网联科技(北京)有限公司 基于神经网络模型的交通标识识别方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1077894A (ja) * 1996-09-04 1998-03-24 Toyota Motor Corp 車両の運転指向推定装置
CN105260699A (zh) * 2015-09-10 2016-01-20 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置
CN105890592A (zh) * 2016-03-30 2016-08-24 湖南大学 基于 Online-WSVR 算法的车辆位置信息预测方法
CN106980133A (zh) * 2017-01-18 2017-07-25 中国南方电网有限责任公司超高压输电公司广州局 利用神经网络算法补偿和修正的gps ins组合导航方法及系统
CN107169468A (zh) * 2017-05-31 2017-09-15 北京京东尚科信息技术有限公司 用于控制车辆的方法和装置
CN107160950A (zh) * 2017-05-09 2017-09-15 清华大学苏州汽车研究院（吴江） 一种基于can总线的车辆行驶状态识别方法
CN107203134A (zh) * 2017-06-02 2017-09-26 浙江零跑科技有限公司 一种基于深度卷积神经网络的前车跟随方法
CN107862864A (zh) * 2017-10-18 2018-03-30 南京航空航天大学 基于驾驶习惯和交通路况的行驶工况智能预测估计方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1077894A (ja) * 1996-09-04 1998-03-24 Toyota Motor Corp 車両の運転指向推定装置
CN105260699A (zh) * 2015-09-10 2016-01-20 百度在线网络技术（北京）有限公司 一种车道线数据的处理方法及装置
CN105890592A (zh) * 2016-03-30 2016-08-24 湖南大学 基于 Online-WSVR 算法的车辆位置信息预测方法
CN106980133A (zh) * 2017-01-18 2017-07-25 中国南方电网有限责任公司超高压输电公司广州局 利用神经网络算法补偿和修正的gps ins组合导航方法及系统
CN107160950A (zh) * 2017-05-09 2017-09-15 清华大学苏州汽车研究院（吴江） 一种基于can总线的车辆行驶状态识别方法
CN107169468A (zh) * 2017-05-31 2017-09-15 北京京东尚科信息技术有限公司 用于控制车辆的方法和装置
CN107203134A (zh) * 2017-06-02 2017-09-26 浙江零跑科技有限公司 一种基于深度卷积神经网络的前车跟随方法
CN107862864A (zh) * 2017-10-18 2018-03-30 南京航空航天大学 基于驾驶习惯和交通路况的行驶工况智能预测估计方法

Also Published As

Publication number Publication date
CN109242003A (zh) 2019-01-18

Similar Documents

Publication Publication Date Title
CN109242003B (zh) 基于深度卷积神经网络的车载视觉系统自身运动确定方法
WO2021189507A1 (zh) 一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法
US20200041276A1 (en) End-To-End Deep Generative Model For Simultaneous Localization And Mapping
CN109299656B (zh) 一种车载视觉系统场景视深确定方法
CN114723955A (zh) 图像处理方法、装置、设备和计算机可读存储介质
CN109584299B (zh) 一种定位方法、定位装置、终端及存储介质
Liu et al. Visual Object Tracking and Servoing Control of a Nano-Scale Quadrotor: System, Algorithms, and Experiments.
CN108288038A (zh) 基于场景分割的夜间机器人运动决策方法
CN116385493A (zh) 野外环境下多运动目标检测与轨迹预测方法
CN114663488A (zh) 一种基于深度学习的火箭助推器分离运动参数测量方法
CN114526728A (zh) 一种基于自监督深度学习的单目视觉惯导定位方法
CN112648994B (zh) 基于深度视觉里程计和imu的相机位姿估计方法及装置
CN110785777B (zh) 确定可移动的设备的位置
CN117452969A (zh) 基于多模态数据处理的无人机导航方法
Jo et al. Mixture density-PoseNet and its application to monocular camera-based global localization
Koumis et al. Estimating metric scale visual odometry from videos using 3d convolutional networks
Meier et al. Detection and characterization of moving objects with aerial vehicles using inertial-optical flow
CN116009583A (zh) 基于纯粹视觉的分布式无人机协同运动控制方法和装置
CN115661341A (zh) 一种基于多传感器融合的实时动态语义建图方法与系统
CN115032984A (zh) 一种面向港口物流智能机器人的半自主导航方法及系统
CN115249269A (zh) 目标检测方法、计算机程序产品、存储介质及电子设备
CN114034312B (zh) 一种轻量级多解耦的视觉里程计实现方法
Liu et al. End-to-end control of autonomous vehicles based on deep learning with visual attention
CN114593735B (zh) 一种位姿预测方法及装置
CN117058474B (zh) 一种基于多传感器融合的深度估计方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 310051 1st and 6th floors, no.451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Zhejiang Zero run Technology Co.,Ltd.

Address before: 310051 1st and 6th floors, no.451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: ZHEJIANG LEAPMOTOR TECHNOLOGY Co.,Ltd.