CN111260719A - 一种基于神经网络算法的碰撞时间计算系统和方法 - Google Patents

一种基于神经网络算法的碰撞时间计算系统和方法 Download PDF

Info

Publication number
CN111260719A
CN111260719A CN202010022564.0A CN202010022564A CN111260719A CN 111260719 A CN111260719 A CN 111260719A CN 202010022564 A CN202010022564 A CN 202010022564A CN 111260719 A CN111260719 A CN 111260719A
Authority
CN
China
Prior art keywords
module
neural network
collision time
training
collision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010022564.0A
Other languages
English (en)
Other versions
CN111260719B (zh
Inventor
邹丹平
杨兴隆
裴凌
郁文贤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202010022564.0A priority Critical patent/CN111260719B/zh
Publication of CN111260719A publication Critical patent/CN111260719A/zh
Application granted granted Critical
Publication of CN111260719B publication Critical patent/CN111260719B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于神经网络算法的碰撞时间计算系统，涉及自动机器人的视觉避障领域，包括摄像头获取视频序列模块、图像预处理模块、基于神经网络计算碰撞时间模块、稠密碰撞时间处理模块、输出模块、神经网络训练模块，摄像头获取视频序列模块、图像预处理模块、基于神经网络计算碰撞时间模块、稠密碰撞时间处理模块和输出模块依次通信连接，神经网络训练模块从图像预处理模块获取信息进行离线训练，输出收敛和完整的网络结构模型，供基于神经网络计算碰撞时间模块使用。本发明利用单目相机的视频序列，预测稠密的碰撞时间，提高了算法的适用性。

Description

一种基于神经网络算法的碰撞时间计算系统和方法
技术领域
本发明涉及自动机器人的视觉避障领域，尤其涉及一种基于神经网络算法的碰撞时间计算系统和方法。
背景技术
随着多旋翼无人机市场的飞速增长，相关的技术也在发生日新月异的变革，在多旋翼无人机的技术诸多趋势中，避障能力是实现自动化和智能化的关键环节，完善的自主避障系统能够在很大程度上减少因操作失误造成的无人机损坏和伤及人身和障碍物的事故发生率，进而，完善的避障技术也将成为高端旋翼无人机中的标配系统。
当前基于碰撞时间的避障的方法中，大多用于汽车领域中的辅助驾驶，例如前车预警，但是前车预警只关注当前主目标的碰撞时间信息，碰撞时间是稀疏的，而且只用来进行预警提醒。
在现有多旋翼视觉避障研究和专利中，主要还是通过双目视觉算法或者深度传感器获取距离障碍物的绝对距离信息进行的，当然也有利用光流信息进行避障的，但是具有以下缺陷：
1)采用绝对深度的方式，如果使用深度相机，则容易受光照和场景的限制，而且目前深度相机的探测距离有限，不适合无人机快速运动的条件，整体来看，成本高，抗干扰能力较差；
2)使用双目相机，算法的复杂度较高，双目相机标定困难，且距离估计的误差随距离变大而成指数级增长；
3)使用光流的方法，光流对光照比较敏感，对于动态场景、光照变化、纯旋转以及遮挡问题，光流目前没有通用的较好的处理方法，同时光流容易造成误匹配，对后续的算法带来一定的困难。
因此，针对当前已经存在的多旋翼无人机视觉避障系统存在的成本高、算法复杂且稳定性较差的问题，本领域的技术人员致力于开发一种基于神经网络算法的碰撞时间计算系统和方法。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何利用单目相机的视频序列，预测稠密的碰撞时间，提高算法的适用性。
为实现上述目的，本发明提供了一种基于神经网络算法的碰撞时间计算系统和方法。
在本发明的较佳实施方式中，基于神经网络算法的碰撞时间计算系统包括摄像头获取视频序列模块、图像预处理模块、基于神经网络计算碰撞时间模块、稠密碰撞时间处理模块、输出模块、神经网络训练模块，所述摄像头获取视频序列模块、所述图像预处理模块、所述基于神经网络计算碰撞时间模块、所述稠密碰撞时间处理模块和所述输出模块依次通信连接，所述神经网络训练模块从所述图像预处理模块获取信息进行离线训练，输出收敛和完整的网络结构模型，供所述基于神经网络计算碰撞时间模块使用。
可选地，在上述实施例中的基于神经网络算法的碰撞时间计算系统中，所述摄像头获取视频序列模块获取当前的图像序列，包括采集图像，输出连续的图像序列以及每帧图像对应的时间戳信息。
可选地，在上述任一实施例中的基于神经网络算法的碰撞时间计算系统中，所述摄像头获取视频序列模块使用的传感器为普通单目相机。
进一步地，在上述实施例中的基于神经网络算法的碰撞时间计算系统中，所述普通单目相机帧率满足30帧以上、FOV满足90以上。
可选地，在上述任一实施例中的基于神经网络算法的碰撞时间计算系统中，所述图像预处理模块对图像序列进行预处理，格式满足神经网络的输入要求。
进一步地，在上述实施例中的基于神经网络算法的碰撞时间计算系统中，所述图像预处理模块将前后两帧图像打包为一个单元，同时记录前后两帧的时间差，输出为时间上连续的图像单元包，同时包含对应的时间差。
可选地，在上述任一实施例中的基于神经网络算法的碰撞时间计算系统中，所述基于神经网络计算碰撞时间模块预测并输出稠密碰撞时间。
进一步地，在上述实施例中的基于神经网络算法的碰撞时间计算系统中，所述基于神经网络计算碰撞时间模块包括基础网络卷积模块和基础网络反卷积模块。
进一步地，在上述实施例中的基于神经网络算法的碰撞时间计算系统中，所述基础网络卷积模块包括Net-S卷积部分和Net-C卷积部分。
可选地，在上述任一实施例中的基于神经网络算法的碰撞时间计算系统中，所述稠密碰撞时间处理模块对稠密碰撞时间进行归一化处理，消除传感器自身带来的时间误差，同时对稠密碰撞时间进行局部区域建图，方便后续避障算法的展开。
可选地，在上述任一实施例中的基于神经网络算法的碰撞时间计算系统中，所述神经网络训练模块对网络模型进行离线训练。
进一步地，在上述实施例中的基于神经网络算法的碰撞时间计算系统中，所述神经网络训练模块采用训练的方法为仿真虚拟场景的预训练与基础模块训练相结合的方式进行。
进一步地，在上述实施例中的基于神经网络算法的碰撞时间计算系统中，对于基础网络(Net-C网络和Net-S网络)结构，利用仿真场景进行预训练，基础网络模型收敛之后，用真实的数据对整体网络结构进行再训练，最终输出为收敛的完整的网络结构模型，供所述基于神经网络计算碰撞时间模块使用。
在本发明的另一较佳实施方式中，使用上述基于神经网络算法的碰撞时间计算系统，进行碰撞时间计算方法包括如下步骤：
S1、网络模型的训练；
S2、网络的正常运行。
进一步地，在上述实施例中的基于神经网络算法的碰撞时间计算方法中，上述步骤S1包括：
S11、训练数据的准备；
S12、训练数据的预处理和数据增强；
S13、基础网络的训练；
S14、整体网络的再训练。
进一步地，在上述实施例中的基于神经网络算法的碰撞时间计算方法中，上述步骤S11包括仿真数据制作以及真实数据集的采集，所述仿真数据分为动态场景和静态场景两种，所述动态场景的计算公式为：
Figure BDA0002361324940000031
其中TTC为碰撞时间，D1为第一时刻图片中障碍物的距离，D2为第二时刻图片中同一个障碍物的距离，R1和R2分别为第一时刻、第二时刻相机相对于世界坐标系的旋转矩阵；所述静态场景的计算公式为：
Figure BDA0002361324940000032
其中TTC为碰撞时间，D1为第一时刻图片中障碍物的距离，D2为第二时刻图片中同一个障碍物的距离。
进一步地，在上述实施例中的基于神经网络算法的碰撞时间计算方法中，上述步骤S12，所述训练数据的预处理包括对所述仿真数据的碰撞时间(TTC)真值归一化处理，公式为：
Figure BDA0002361324940000033
其中TTCp为碰撞时间(TTC)真值做归一化处理的数值，分子部分是对所述碰撞时间的范围进行限制，减小奇异值对模型的影响，分母部分是前后两帧的时间差，用来做时间的归一化，减少不同相机传感器对于模型的影响；所述数据增强扩充数据集，增强模型的泛华能力，所述数据增强包括随机调节图像的亮度、饱和度、对比度、色相，此时碰撞时间的真值保持不变。
进一步地，在上述实施例中的基于神经网络算法的碰撞时间计算方法中，上述步骤S13，所述基础网络的训练为利用仿真数据集对两个基本的网络(Net-C网络和Net-S网络)结构进行训练，训练的策略采用递进式，第一阶段采用较高的学习率进行训练，当模型收敛速度较低时，采用较低的学习率进行再训练，模型收敛后，继续降低学习率训练，直到模型损失函数在合理的范围内终止训练。
进一步地，在上述实施例中的基于神经网络算法的碰撞时间计算方法中，上述步骤S14，所述整体网络的再训练，当每一个基础网络(Net-C网络和Net-S网络)在仿真数据集结果最优时，固定当前的基础网络模块，开始训练后续叠加的基础模块，训练方法包括：
S1401、在仿真数据集中增加一部分真实场景的数据集，以0.0001的学习率训练500K次；
S1402、继续再增加真实的数据集，仿真数据和真实数据数量为1:1，以0.0001的学习率训练1.2M次；
S1403、完全采用真实场景的数据集，以0.00001的学习率训练500K次，最终模型收敛。
进一步地，在上述实施例中的基于神经网络算法的碰撞时间计算方法中，上述步骤S2，对摄像头采集的图像序列进行处理，以前后帧为单元，满足神经网络的输入要求，所述网络模型输出每一个单元第一帧图像的稠密碰撞时间信息。
本发明中，发明人使用PyTorch的开源网络结构实现神经网络，并使用基于CUDA结构的GTX1080Ti显卡进行网络模型的训练。本发明利用单目相机的视频序列，预测稠密的碰撞时间，提高了算法的适用性。旋翼无人机端图片可以传回本地，利用本地的模型计算出结果后，返回旋翼无人机的运动指令。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例的结构示意图；
图2是本发明的一个较佳实施例的神经网络计算碰撞时间模块结构示意图；
图3是本发明的一个较佳实施例的基础网络通用结构示意图；
图4是本发明的一个较佳实施例的基础网络Net-S卷积部分结构示意图；
图5是本发明的一个较佳实施例的基础网络Net-C卷积部分结构示意图；
图6是本发明的一个较佳实施例的基础网络反卷积部分结构示意图；
图7是本发明的一个较佳实施例的碰撞时间计算方法示意图。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。
如图1所示，本发明的一个较佳实施例包括摄像头获取视频序列模块、图像预处理模块、基于神经网络计算碰撞时间模块、稠密碰撞时间处理模块、输出模块、神经网络训练模块，摄像头获取视频序列模块、图像预处理模块、基于神经网络计算碰撞时间模块、稠密碰撞时间处理模块和输出模块依次通信连接，神经网络训练模块从图像预处理模块获取信息进行离线训练，输出收敛和完整的网络结构模型，供基于神经网络计算碰撞时间模块使用。其中，摄像头获取视频序列模块获取当前的图像序列，包括采集图像，输出连续的图像序列以及每帧图像对应的时间戳信息；摄像头获取视频序列模块使用的传感器为普通单目相机，帧率满足30帧以上、FOV满足90以上；图像预处理模块对图像序列进行预处理，格式满足神经网络的输入要求，将前后两帧图像打包为一个单元，同时记录前后两帧的时间差，输出为时间上连续的图像单元包，同时包含对应的时间差。
整体网络结构如图2所示，由基础网络结构(网络Net-C结构和网络Net-S结构)堆叠而成的，基于神经网络计算碰撞时间模块预测并输出稠密碰撞时间。在第一路中，原始的输入为前后两帧的图像经过基础网络结构Net-C之后，输出的结果同时和两张图片作为基础网络Net-S的输入，最终第一路输出该路碰撞时间。第二路中，输入为相同的两张图片，经过基础网络结构Net-S之后，输出该路的碰撞时间。最终第一路和第二路的结果进行融合，生成最终的碰撞时间
如图3所示，基于神经网络计算碰撞时间模块包括基础网络Net-C和基础网络Net-S，各个模块之间是顺序链接，上一模块的输出即为下一模块的输入。图像预处理模块主要是将图像数据处理为方便网络底层操作的数据格式。神经网络卷积模块主要是提取图像的高维特征，与神经网络反卷积模块的功能正好相反，反卷积主要为从高维特征中恢复我们需要的碰撞时间信息。神经网络输出模块主要是将网络输出的碰撞时间进行插值和边缘处理，使之成为我们需要的分辨率。
基础网络Net-C和基础网络Net-S结构的主要区别在卷积部分，基础网络Net-S的卷积部分如图4所示，将输入的两帧图像合并为一个六通道的数据。各个卷积层之间通过卷积核操作，整体的有九个卷积层，其中只有六个的步进为2，剩余的步进为1，每经过一次步进为2的池化层，输入图像的分辨率降为原来的一半。每一层之后的激活函数为ReLU非线性的激活函数。卷积核的设置，随着网络层数的增加而递减，第一层为7*7，后面两层为5*5，第四层为3*3，最后均未1*1，卷积核的通道数随着网络层数的增加而增加，每当输入图像的分辨率减小一半时，卷积核的通道数增加一倍。
基础网络Net-C的卷积部分如图5所示，相比较于基础网络Net-C的卷积部分，主要区别是引入了关联层，输入为两帧分别进行卷积，然后在高维的特征进行匹配关联后，再进行卷积操作。具体的卷积设置和基础网络Net-C的卷积部分保持一致，同样是包含了9层卷积结构，卷积核和池化层设置在对应的位置均相同。
基础网络Net-C的反卷积部分和基础网络Net-S的反卷积部分是完全相同，如图6所示，反卷积各层之间只要是通过向上的反卷积核进行向上映射的，反卷积过程中上采用的区域均为5*5。发明人使用反卷积的时候，输入的数据包含更多的信息，主要有三部分：粗碰撞时间的预测、对应的特征图和对应的卷积层。这样既保留从较粗略的特征图传递来的高级信息，又保留了较低层特征图中提供的精细的局部信息。没经过一次反卷积，图像的分辨率提高一倍，发明人总共设计了四层反卷积，输出了相对较为稠密和准确的碰撞时间信息，最终网络输出的结构的分辨仍然比输入的图像分辨率小四倍。在最后的地方，采用了双线性上采样的方法得到了最终的输出结果，这样和输入图像的分辨率是完全匹配的。
稠密碰撞时间处理模块对稠密碰撞时间进行归一化处理，消除传感器自身带来的时间误差，同时对稠密碰撞时间进行局部区域建图，方便后续避障算法的展开；神经网络训练模块对网络模型进行离线训练，采用训练的方法为仿真虚拟场景的预训练与基础模块训练相结合的方式进行，对于基础网络(Net-C网络和Net-S网络)结构，利用仿真场景进行预训练，基础网络模型收敛之后，用真实的数据对整体网络结构进行再训练，最终输出为收敛的完整的网络结构模型，供所述基于神经网络计算碰撞时间模块使用。
在本发明的另一较佳实施方式中，使用上述基于神经网络算法的碰撞时间计算系统，进行碰撞时间计算方法包括如下步骤：
S1、网络模型的训练；
S2、网络的正常运行。
如图7所示，各个模块主要是表示训练工作的先后顺序，之间是时间上的先后。发明人对步骤S1进行细化，包括：
S11、训练数据的准备；
S12、训练数据的预处理和数据增强；
S13、基础网络的训练；
S14、整体网络的再训练。
对于步骤S11，包括仿真数据制作以及真实数据集的采集，所述仿真数据分为动态场景和静态场景两种，所述动态场景的计算公式为：
Figure BDA0002361324940000061
其中TTC为碰撞时间，D1为第一时刻图片中障碍物的距离，D2为第二时刻图片中同一个障碍物的距离，R1和R2分别为第一时刻、第二时刻相机相对于世界坐标系的旋转矩阵；所述静态场景的计算公式为：
Figure BDA0002361324940000062
其中TTC为碰撞时间，D1为第一时刻图片中障碍物的距离，D2为第二时刻图片中同一个障碍物的距离。
对于步骤S12，训练数据的预处理包括对所述仿真数据的碰撞时间(TTC)真值归一化处理，公式为：
Figure BDA0002361324940000071
其中TTCp为碰撞时间(TTC)真值做归一化处理的数值，分子部分是对所述碰撞时间的范围进行限制，减小奇异值对模型的影响，分母部分是前后两帧的时间差，用来做时间的归一化，减少不同相机传感器对于模型的影响；所述数据增强扩充数据集，增强模型的泛华能力，所述数据增强包括随机调节图像的亮度、饱和度、对比度、色相，此时碰撞时间的真值保持不变。
对于步骤S13，基础网络的训练为利用仿真数据集对两个基本的网络(Net-C网络和Net-S网络)结构进行训练，训练的策略采用递进式，第一阶段采用较高的学习率进行训练，当模型收敛速度较低时，采用较低的学习率进行再训练，模型收敛后，继续降低学习率训练，直到模型损失函数在合理的范围内终止训练。
对于步骤S14，整体网络的再训练，当每一个基础网络在仿真数据集结果最优时，固定当前的基础网络模块，开始训练后续叠加的基础模块，训练方法包括：
S1401、在仿真数据集中增加一部分真实场景的数据集，以0.0001的学习率训练500K次；
S1402、继续再增加真实的数据集，仿真数据和真实数据数量为1:1，以0.0001的学习率训练1.2M次；
S1403、完全采用真实场景的数据集，以0.00001的学习率训练500K次，最终模型收敛。
对于步骤S2，对摄像头采集的图像序列进行处理，以前后帧为单元，满足神经网络的输入要求，所述网络模型输出每一个单元第一帧图像的稠密碰撞时间信息。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种基于神经网络算法的碰撞时间计算系统，其特征在于，包括摄像头获取视频序列模块、图像预处理模块、基于神经网络计算碰撞时间模块、稠密碰撞时间处理模块、输出模块、神经网络训练模块，所述摄像头获取视频序列模块、所述图像预处理模块、所述基于神经网络计算碰撞时间模块、所述稠密碰撞时间处理模块和所述输出模块依次通信连接，所述神经网络训练模块从所述图像预处理模块获取信息进行离线训练，输出收敛和完整的网络结构模型，供所述基于神经网络计算碰撞时间模块使用。
2.如权利要求1所述的基于神经网络算法的碰撞时间计算系统，其特征在于，所述摄像头获取视频序列模块获取当前的图像序列，包括采集图像，输出连续的图像序列以及每帧图像对应的时间戳信息。
3.如权利要求1所述的基于神经网络算法的碰撞时间计算系统，其特征在于，所述图像预处理模块对图像序列进行预处理，格式满足神经网络的输入要求。
4.如权利要求1所述的基于神经网络算法的碰撞时间计算系统，其特征在于，所述基于神经网络计算碰撞时间模块预测并输出稠密碰撞时间。
5.如权利要求1所述的基于神经网络算法的碰撞时间计算系统，其特征在于，所述稠密碰撞时间处理模块对稠密碰撞时间进行归一化处理，消除传感器自身带来的时间误差，同时对稠密碰撞时间进行局部区域建图。
6.如权利要求1所述的基于神经网络算法的碰撞时间计算系统，其特征在于，所述神经网络训练模块对网络模型进行离线训练。
7.一种基于神经网络算法的碰撞时间计算方法，其特征在于，使用如权利要求1-6任一所述的基于神经网络算法的碰撞时间计算系统，包括以下步骤：
S1、网络模型的训练；
S2、网络的正常运行。
8.如权利要求7所述的基于神经网络算法的碰撞时间计算方法，其特征在于，所述步骤S1包括：
S11、训练数据的准备；
S12、训练数据的预处理和数据增强；
S13、基础网络的训练；
S14、整体网络的再训练。
9.如权利要求8所述的基于神经网络算法的碰撞时间计算方法，其特征在于，所述步骤S11包括仿真数据制作以及真实数据集的采集，所述仿真数据分为动态场景和静态场景两种，所述动态场景的计算公式为：
Figure FDA0002361324930000021
所述静态场景的计算公式为：
Figure FDA0002361324930000022
10.如权利要求9所述的基于神经网络算法的碰撞时间计算方法，其特征在于，所述步骤S14，当每一个基础网络在仿真数据集结果最优时，固定当前的基础网络模块，开始训练后续叠加的基础模块，训练方法包括：
S1401、在仿真数据集中增加一部分真实场景的数据集，以0.0001的学习率训练500K次；
S1402、继续再增加真实的数据集，仿真数据和真实数据数量为1:1，以0.0001的学习率训练1.2M次；
S1403、完全采用真实场景的数据集，以0.00001的学习率训练500K次，最终模型收敛。
CN202010022564.0A 2020-01-09 2020-01-09 一种基于神经网络算法的碰撞时间计算系统和方法 Active CN111260719B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010022564.0A CN111260719B (zh) 2020-01-09 2020-01-09 一种基于神经网络算法的碰撞时间计算系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010022564.0A CN111260719B (zh) 2020-01-09 2020-01-09 一种基于神经网络算法的碰撞时间计算系统和方法

Publications (2)

Publication Number Publication Date
CN111260719A true CN111260719A (zh) 2020-06-09
CN111260719B CN111260719B (zh) 2022-10-25

Family

ID=70946822

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010022564.0A Active CN111260719B (zh) 2020-01-09 2020-01-09 一种基于神经网络算法的碰撞时间计算系统和方法

Country Status (1)

Country Link
CN (1) CN111260719B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364741A (zh) * 2020-11-02 2021-02-12 湖南航天宏图无人机系统有限公司 无人机单目远距离障碍检测方法、装置及无人机

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102409678A (zh) * 2011-09-26 2012-04-11 武汉理工大学 基于gps的大坝混凝土料罐碰撞监测与导航定位方法
CN106156725A (zh) * 2016-06-16 2016-11-23 江苏大学 一种基于车辆前方的行人及骑车人的识别预警系统的工作方法
CN107031661A (zh) * 2017-03-16 2017-08-11 浙江零跑科技有限公司 一种基于盲区相机输入的变道预警方法及系统
CN107346612A (zh) * 2016-05-06 2017-11-14 中国科学院微电子研究所 一种基于车联网的车辆防碰撞方法和系统
CN109791607A (zh) * 2016-09-29 2019-05-21 康蒂-特米克微电子有限公司 借助单应矩阵从摄像机的一系列图像中探测和验证对象
US20190273948A1 (en) * 2019-01-08 2019-09-05 Intel Corporation Method and system of neural network loop filtering for video coding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102409678A (zh) * 2011-09-26 2012-04-11 武汉理工大学 基于gps的大坝混凝土料罐碰撞监测与导航定位方法
CN107346612A (zh) * 2016-05-06 2017-11-14 中国科学院微电子研究所 一种基于车联网的车辆防碰撞方法和系统
CN106156725A (zh) * 2016-06-16 2016-11-23 江苏大学 一种基于车辆前方的行人及骑车人的识别预警系统的工作方法
CN109791607A (zh) * 2016-09-29 2019-05-21 康蒂-特米克微电子有限公司 借助单应矩阵从摄像机的一系列图像中探测和验证对象
CN107031661A (zh) * 2017-03-16 2017-08-11 浙江零跑科技有限公司 一种基于盲区相机输入的变道预警方法及系统
US20190273948A1 (en) * 2019-01-08 2019-09-05 Intel Corporation Method and system of neural network loop filtering for video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HYO-SANG SHIN等: "Guidance synthesis to control impact angle and time", 《KSAS INTERNATIONAL JOURNAL》 *
赵富强: "基于图像传感器的前车并线及碰撞预警算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364741A (zh) * 2020-11-02 2021-02-12 湖南航天宏图无人机系统有限公司 无人机单目远距离障碍检测方法、装置及无人机

Also Published As

Publication number Publication date
CN111260719B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
JP2022515895A (ja) 物体認識方法及び装置
CN114708585B (zh) 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法
Kim et al. Interpretable learning for self-driving cars by visualizing causal attention
US20200051250A1 (en) Target tracking method and device oriented to airborne-based monitoring scenarios
CN111563415B (zh) 一种基于双目视觉的三维目标检测系统及方法
US20210081681A1 (en) Object identification apparatus, moving body system, object identification method, object identification model learning method, and object identification model learning apparatus
Park et al. High-precision depth estimation with the 3d lidar and stereo fusion
Varga et al. Super-sensor for 360-degree environment perception: Point cloud segmentation using image features
JP7305869B2 (ja) 歩行者検出方法及び装置、コンピュータ読み取り可能な記憶媒体並びにチップ
US11017542B2 (en) Systems and methods for determining depth information in two-dimensional images
CN112052860A (zh) 一种三维目标检测方法及系统
CN113283525B (zh) 一种基于深度学习的图像匹配方法
CN108229440A (zh) 一种基于多传感器融合室内人体姿态识别方法
CN112183578B (zh) 一种目标检测方法、介质及系统
Yao et al. ShorelineNet: An efficient deep learning approach for shoreline semantic segmentation for unmanned surface vehicles
Dong et al. Mobilexnet: An efficient convolutional neural network for monocular depth estimation
US20210383553A1 (en) Systems and methods for self-supervised residual flow estimation
US11308324B2 (en) Object detecting system for detecting object by using hierarchical pyramid and object detecting method thereof
CN111260719B (zh) 一种基于神经网络算法的碰撞时间计算系统和方法
Hofbauer et al. Multi-view region of interest prediction for autonomous driving using semi-supervised labeling
Zhang et al. Robust-FusionNet: Deep multimodal sensor fusion for 3-D object detection under severe weather conditions
CN111814667A (zh) 一种智能路况识别方法
Lian et al. Semantic fusion infrastructure for unmanned vehicle system based on cooperative 5G MEC
Zuo et al. Accurate depth estimation from a hybrid event-RGB stereo setup
Narioka et al. Understanding 3d semantic structure around the vehicle with monocular cameras

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant