CN111353636A - 一种基于多模态数据的船舶驾驶行为预测方法及系统 - Google Patents

一种基于多模态数据的船舶驾驶行为预测方法及系统 Download PDF

Info

Publication number
CN111353636A
CN111353636A CN202010111317.8A CN202010111317A CN111353636A CN 111353636 A CN111353636 A CN 111353636A CN 202010111317 A CN202010111317 A CN 202010111317A CN 111353636 A CN111353636 A CN 111353636A
Authority
CN
China
Prior art keywords
data
ship
driving
driving behavior
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010111317.8A
Other languages
English (en)
Inventor
张宝晨
史世武
张鹭
耿雄飞
文捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Waterborne Transport Research Institute
Original Assignee
China Waterborne Transport Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Waterborne Transport Research Institute filed Critical China Waterborne Transport Research Institute
Priority to CN202010111317.8A priority Critical patent/CN111353636A/zh
Publication of CN111353636A publication Critical patent/CN111353636A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于多模态数据的船舶驾驶行为预测方法及系统，所述方法包括：实时采集智能船舶的多模态数据，所述多模态数据包括：图像数据、3D点云数据以及船舶感知的数据；将多模态数据输入预先训练好的自主驾驶模型，输出预测的驾驶行为。本发明的方法使用机器学习建立了给定数据输入情况下的自主驾驶模型，从而避免了对环境状态，船舶状态的人工提取，避免了人工建立控制模型知识库的偏差。

Description

一种基于多模态数据的船舶驾驶行为预测方法及系统
技术领域
本发明涉及深度学习技术及智能船舶驾驶领域，具体涉及一种基于多模态数据的船舶驾驶行为预测方法及系统。
背景技术
传统的由环境数据、船舶状态到驾驶行为的映射模型，主要是基于历史累计数据所学习的专家知识库，建立起来的基于环境状态和实时状态，到控制决策的基于状态的驾驶模型，如图1所示。这类辅助决策模型需要基于环境数据和船舶数据，首先提取环境状态和船舶的状态，然后再根据模型或经验，建立各种状态下的合理驾驶控制方法，复杂且不易实现。
发明内容
本发明的目的在于克服上述技术缺陷，提出了一种基于多模态数据的船舶驾驶行为预测方法，该方法建立了智能船舶在各个状态下，所可能采取的驾驶行为，即船舶的感知状态到可行驾驶行为的预测模型，从而指导在船舶出现各种实时状态情况下，做出可行的驾驶行为预测。
为实现上述目的，本发明提出了一种基于多模态数据的船舶驾驶行为预测方法，所述方法包括：
实时采集智能船舶的多模态数据，包括：图像数据、3D点云数据以及船舶感知的数据；
将多模态数据输入预先训练好的自主驾驶模型，输出预测的驾驶行为。
作为上述方法的一种改进，所述方法还包括：综合分析驾驶行为的步骤：
基于环境实时感知数据和船舶自身状态的感知数据，获取驾驶行为的状态，包括驾驶的平滑性，是否暴力驾驶或者是否疲劳驾驶。
作为上述方法的一种改进，所述自主驾驶模型采用CNN和LSTM组合的深度神经网络模型，其输入为图像数据、3D点云数据以及船舶感知的数据；输出为预测的驾驶行为；所述船舶感知的数据包括速度、加速度、角速度、天气、水文和船舶姿态；所述驾驶行为包括：转向动作、加速动作和减速动作。
作为上述方法的一种改进，所述方法还包括：对自主驾驶模型进行训练的步骤，具体包括：
建立包括智能船舶的多模态数据和驾驶行为的训练数据集；
将训练数据集中的图像数据与3D点云数据作为CNN的输入数据；将船舶感知的数据作为LSTM的输入数据；用驾驶行为的加速度和转角信息作为输出层的训练数据；
采用反向传播的方法训练CNN和LSTM深度神经网络，建立感知数据到决策之间的深度神经网络映射关系。
作为上述方法的一种改进，所述建立包括智能船舶的多模态数据和驾驶行为的训练数据集，具体包括：
智能船舶在航行过程中，通过船载传感器记录船舶遇到的各种环境和船舶状态数据；同时通过船舶驾驶记录仪，记录出现上述环境和船舶状态时，有经验的驾驶人员所做的各种驾驶行为；由此获取包括智能船舶的多模态数据和驾驶行为的训练数据集；所述船载传感器包括：激光雷达、摄像头、GPS、航速、加速度和陀螺仪惯性传感器，以及风速和温度环境传感器。
本发明还提出了一种基于多模态数据的船舶驾驶行为预测系统，所述系统包括：训练好的自主驾驶模型、数据采集模块和预测模块；
所述数据采集模块，用于实时采集智能船舶的多模态数据，包括：图像数据、3D点云数据以及船舶感知的数据；
所述预测模块，用于将多模态数据输入预先训练好的自主驾驶模型，输出预测的驾驶行为。
作为上述系统的一种改进，所述系统还包括：驾驶行为综合分析模块，用于基于环境实时感知数据和船舶自身状态的感知数据，获取驾驶行为的状态，包括驾驶的平滑性，是否暴力驾驶或者是否疲劳驾驶。
作为上述系统的一种改进，所述自主驾驶模型采用CNN和LSTM组合的深度神经网络模型，其输入为图像数据、3D点云数据以及船舶感知的数据；输出为预测的驾驶行为；所述船舶感知的数据包括速度、加速度、角速度、天气、水文和船舶姿态；所述驾驶行为包括：转向动作、加速动作和减速动作。
作为上述系统的一种改进，所述自主驾驶模型的训练步骤，具体包括：
建立包括智能船舶的多模态数据和驾驶行为的训练数据集；
将训练数据集中的图像数据与3D点云数据作为CNN的输入数据；将船舶感知的数据作为LSTM的输入数据；用驾驶行为的加速度和转角信息作为输出层的训练数据；
采用反向传播的方法训练CNN和LSTM深度神经网络，建立感知数据到决策之间的深度神经网络映射关系。
作为上述系统的一种改进，所述建立包括智能船舶的多模态数据和驾驶行为的训练数据集，具体包括：
智能船舶在航行过程中，通过船载传感器记录船舶遇到的各种环境和船舶状态数据；同时通过船舶驾驶记录仪，记录出现上述环境和船舶状态时，有经验的驾驶人员所做的各种驾驶行为；由此获取包括智能船舶的多模态数据和驾驶行为的训练数据集；所述船载传感器包括：激光雷达、摄像头、GPS、航速、加速度和陀螺仪惯性传感器，以及风速和温度环境传感器。
本发明的优势在于：
1、本发明的方法使用机器学习建立了给定数据输入情况下的自主驾驶模型，从而避免了对环境状态，船舶状态的人工提取，避免了人工建立控制模型知识库的偏差；
2、本发明的方法对于基于多模态航运驾驶行为数据的驾驶行为的预测误差低于10％。
附图说明
图1为传统的基于状态的驾驶模型的示意图；
图2为本发明的自主驾驶模型的示意图；
图3为组合CNN和LSTM的深度神经网络自主驾驶模型的示意图；
图4为基于CNN神经网络模型处理图像和3D激光雷达数据的示意图；
图5为基于LSTM的实时感知数据处理的示意图；
图6为组合CNN和LSTM建立感知数据到环境数据和船舶状态数据的深度神经网络模型的示意图；
图7为建立感知数据到驾驶行为数据之间的深度神经网络映射关系的示意图；
图8为反向传播训练深度神经网络的过程的示意图。
具体实施方式
下面结合附图对本发明的技术方案进行详细的说明。
本发明提供了一种基于多模态数据的船舶驾驶行为预测方法，包括：
步骤1)建立基于多模态数据的自主驾驶模型；
多模态数据包括：智能船舶在航行过程中，通过船载传感器记录的船舶遇到的各种环境和船舶状态数据；同时通过船舶驾驶记录仪，记录出现上述环境和船舶状态时，有经验的驾驶人员所做的各种驾驶行为；由此获取上述多模态的船舶状态-驾驶行为数据集。
船载传感器包括：激光雷达、摄像头、GPS、船舶的航速、加速度、陀螺仪等惯性传感器；风速，温度等环境传感器。通过激光雷达获得3D点云数据，通过摄像头获得图像数据；通过其它数值传感器获得实时感知数据；
上述数据具有不同的精度和不同的采集频率。驾驶行为记录包括：转向动作，加速动作，减速动作，实时记录了驾驶人员对船舶的驾驶和操控行为。
基于采集的船舶环境和状态的传感器数据，以及船舶驾驶行为记录的数据，建立由船舶环境状态到合理的驾驶行为的映射模型：自主驾驶模型，这一模型的特点是完全基于船舶的传感器的检测数据和记录的驾驶员的驾驶行为，采用机器学习的方法，学习在给定数据输入情况下的驾驶控制模型。从而避免了对环境状态，船舶状态的人工提取，避免了人工建立控制模型知识库的偏差。如图2所示。
在上述基于多模态数据采集的基础上，拟通过深度学习的方法，建立船舶的环境数据，状态数据，到驾驶行为数据的预测模型。由于所采集的环境数据包括图像，激光雷达点云数据，还包括多种类型的传感器数据流，所以拟采用CNN组合LSTM的深度神经网络模型，建立基于数据的自主驾驶模型，实现对驾驶行为的预测。
如图3所示，基于多模态数据，训练上述组合CNN和LSTM的深度神经网络的自主驾驶模型，具体包括：
步骤1-1)将图像数据与3D点云数据作为CNN的输入数据；如图4所示；
步骤1-2)将多种数值传感器的连续采集数据作为LSTM的输入数据；
对于非图像类的实时感知数据，包括加速度，角速度、天气(温度)，水文，船舶姿态等数据，通过LSTM卷积神经网络进行建模。如图5所示。
步骤1-3)建立组合CNN和LSTM的组合深度神经网络模型
将CNN和LSTM进行组合，分别处理图像，激光雷达等多媒体数据和数值类实时传感器的非多媒体数据，共同建立感知数据到船舶状态和环境状态的深度神经网络模型。如图6所示。
步骤1-4)用驾驶行为的加速度和转角信息作为输出层的训练数据
为获得环境状态到驾驶行为数据的映射模型，将驾驶行为数据作为输出层，采用反向传播的方法训练CNN和LSTM深度神经网络，最终建立感知数据到决策之间的深度神经网络映射关系。如图7所示。
步骤1-5)采用反向传播方法训练神经网络模型
在整个神经网络模型建立起来之后，采用反向传播的手段训练组合CNN和LSTM的深度神经网络模型。如图8所示。
步骤1-6)在采集的数据集上，验证所训练模型的准确性
最后基于采集的数据集，验证上述训练模型的准确性。
步骤2)实时采集智能船舶各种环境和船舶状态数据，输入自主驾驶模型，输出预测的驾驶行为；
步骤3)基于环境实时感知数据和船舶自身状态的感知数据，综合分析驾驶行为，包括驾驶的平滑性，是否暴力驾驶，是否疲劳驾驶。
拟基于驾驶行为数据，采用机器学习的方法，进行暴力驾驶行为检测和疲劳驾驶检测。系统的输入是连续的驾驶行为，包括转向，加减速等信息。技术方案拟采用SVM、随机森林等机器学习方法进行驾驶行为的综合分析。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于多模态数据的船舶驾驶行为预测方法，所述方法包括：
实时采集智能船舶的多模态数据，所述多模态数据包括：图像数据、3D点云数据以及船舶感知的数据；
将多模态数据输入预先训练好的自主驾驶模型，输出预测的驾驶行为。
2.根据权利要求1所述的基于多模态大数据的船舶驾驶行为预测方法，其特征在于，所述方法还包括：综合分析驾驶行为的步骤：
基于环境实时感知数据和船舶自身状态的感知数据，获取驾驶行为的状态，包括驾驶的平滑性，是否暴力驾驶或者是否疲劳驾驶。
3.根据权利要求1或2所述的基于多模态大数据的船舶驾驶行为预测方法，其特征在于，所述自主驾驶模型采用CNN和LSTM组合的深度神经网络模型，其输入为图像数据、3D点云数据以及船舶感知的数据；输出为预测的驾驶行为；所述船舶感知的数据包括速度、加速度、角速度、天气、水文和船舶姿态；所述驾驶行为包括：转向动作、加速动作和减速动作。
4.根据权利要求3所述的基于多模态大数据的船舶驾驶行为预测方法，其特征在于，所述方法还包括：对自主驾驶模型进行训练的步骤，具体包括：
建立包括智能船舶的多模态数据和驾驶行为的训练数据集；
将训练数据集中的图像数据与3D点云数据作为CNN的输入数据；将船舶感知的数据作为LSTM的输入数据；用驾驶行为的加速度和转角信息作为输出层的训练数据；
采用反向传播的方法训练CNN和LSTM深度神经网络，建立感知数据到决策之间的深度神经网络映射关系。
5.根据权利要求4所述的基于多模态大数据的船舶驾驶行为预测方法，其特征在于，所述建立包括智能船舶的多模态数据和驾驶行为的训练数据集，具体包括：
智能船舶在航行过程中，通过船载传感器记录船舶遇到的各种环境和船舶状态数据；同时通过船舶驾驶记录仪，记录出现上述环境和船舶状态时，有经验的驾驶人员所做的各种驾驶行为；由此获取包括智能船舶的多模态数据和驾驶行为的训练数据集；所述船载传感器包括：激光雷达、摄像头、GPS、航速、加速度和陀螺仪惯性传感器，以及风速和温度环境传感器。
6.一种基于多模态数据的船舶驾驶行为预测系统，其特征在于，所述系统包括：训练好的自主驾驶模型、数据采集模块和预测模块；
所述数据采集模块，用于实时采集智能船舶的多模态数据，包括：图像数据、3D点云数据以及船舶感知的数据；
所述预测模块，用于将多模态数据输入预先训练好的自主驾驶模型，输出预测的驾驶行为。
7.根据权利要求6所述的基于多模态大数据的船舶驾驶行为预测系统，其特征在于，所述系统还包括：驾驶行为综合分析模块，用于基于环境实时感知数据和船舶自身状态的感知数据，获取驾驶行为的状态，包括驾驶的平滑性，是否暴力驾驶或者是否疲劳驾驶。
8.根据权利要求6或7所述的基于多模态大数据的船舶驾驶行为预测系统，其特征在于，所述自主驾驶模型采用CNN和LSTM组合的深度神经网络模型，其输入为图像数据、3D点云数据以及船舶感知的数据；输出为预测的驾驶行为；所述船舶感知的数据包括速度、加速度、角速度、天气、水文和船舶姿态；所述驾驶行为包括：转向动作、加速动作和减速动作。
9.根据权利要求8所述的基于多模态大数据的船舶驾驶行为预测方法，其特征在于，所述自主驾驶模型的训练步骤，具体包括：
建立包括智能船舶的多模态数据和驾驶行为的训练数据集；
将训练数据集中的图像数据与3D点云数据作为CNN的输入数据；将船舶感知的数据作为LSTM的输入数据；用驾驶行为的加速度和转角信息作为输出层的训练数据；
采用反向传播的方法训练CNN和LSTM深度神经网络，建立感知数据到决策之间的深度神经网络映射关系。
10.根据权利要求9所述的基于多模态大数据的船舶驾驶行为预测系统，其特征在于，所述建立包括智能船舶的多模态数据和驾驶行为的训练数据集，具体包括：
智能船舶在航行过程中，通过船载传感器记录船舶遇到的各种环境和船舶状态数据；同时通过船舶驾驶记录仪，记录出现上述环境和船舶状态时，有经验的驾驶人员所做的各种驾驶行为；由此获取包括智能船舶的多模态数据和驾驶行为的训练数据集；所述船载传感器包括：激光雷达、摄像头、GPS、航速、加速度和陀螺仪惯性传感器，以及风速和温度环境传感器。
CN202010111317.8A 2020-02-24 2020-02-24 一种基于多模态数据的船舶驾驶行为预测方法及系统 Pending CN111353636A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010111317.8A CN111353636A (zh) 2020-02-24 2020-02-24 一种基于多模态数据的船舶驾驶行为预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010111317.8A CN111353636A (zh) 2020-02-24 2020-02-24 一种基于多模态数据的船舶驾驶行为预测方法及系统

Publications (1)

Publication Number Publication Date
CN111353636A true CN111353636A (zh) 2020-06-30

Family

ID=71195797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010111317.8A Pending CN111353636A (zh) 2020-02-24 2020-02-24 一种基于多模态数据的船舶驾驶行为预测方法及系统

Country Status (1)

Country Link
CN (1) CN111353636A (zh)

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090040054A1 (en) * 2007-04-11 2009-02-12 Nec Laboratories America, Inc. Real-time driving danger level prediction
CN104599443A (zh) * 2015-01-12 2015-05-06 江苏省交通规划设计院股份有限公司 一种基于信息融合的驾驶行为预警车载终端及其预警方法
US20160048766A1 (en) * 2014-08-13 2016-02-18 Vitae Analytics, Inc. Method and system for generating and aggregating models based on disparate data from insurance, financial services, and public industries
CN105719431A (zh) * 2016-03-09 2016-06-29 深圳市中天安驰有限责任公司 一种疲劳驾驶检测系统
CN105912814A (zh) * 2016-05-05 2016-08-31 苏州京坤达汽车电子科技有限公司 智能驾驶车辆换道决策模型
CN106251583A (zh) * 2016-09-30 2016-12-21 防城港市港口区高创信息技术有限公司 基于驾驶行为与眼动特征的疲劳驾驶辨识方法
CN106295474A (zh) * 2015-05-28 2017-01-04 交通运输部水运科学研究院 船舶驾驶员的疲劳检测方法、系统和服务器
US20180174457A1 (en) * 2016-12-16 2018-06-21 Wheego Electric Cars, Inc. Method and system using machine learning to determine an automotive driver's emotional state
US10037699B1 (en) * 2017-05-05 2018-07-31 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for motivating a driver according to behaviors of nearby vehicles
DE102017105764A1 (de) * 2017-03-17 2018-09-20 Valeo Schalter Und Sensoren Gmbh Konfiguration eines Fahrerassistenzsystems für ein Kraftfahrzeug, mit überwachten maschinellen Lernen
CN108846332A (zh) * 2018-05-30 2018-11-20 西南交通大学 一种基于clsta的铁路司机行为识别方法
US20180336424A1 (en) * 2017-05-16 2018-11-22 Samsung Electronics Co., Ltd. Electronic device and method of detecting driving event of vehicle
US20190101914A1 (en) * 2017-10-02 2019-04-04 Allstate Insurance Company Data Processing System with Machine Learning Engine for Providing Driving Data Analysis and Vehicle Control Functions
US20190113917A1 (en) * 2017-10-16 2019-04-18 Toyota Research Institute, Inc. System and method for leveraging end-to-end driving models for improving driving task modules
US20190308656A1 (en) * 2016-12-16 2019-10-10 Samsung Electronics Co., Ltd. Electronic device for assisting driving of vehicle and method therefor
US20190339688A1 (en) * 2016-05-09 2019-11-07 Strong Force Iot Portfolio 2016, Llc Methods and systems for data collection, learning, and streaming of machine signals for analytics and maintenance using the industrial internet of things
CN110673600A (zh) * 2019-10-18 2020-01-10 武汉理工大学 面向无人船舶的自动驾驶集成系统
CN110733509A (zh) * 2018-07-18 2020-01-31 阿里巴巴集团控股有限公司 驾驶行为分析方法、装置、设备以及存储介质
US20200039520A1 (en) * 2018-08-06 2020-02-06 Honda Motor Co., Ltd. System and method for learning naturalistic driving behavior based on vehicle dynamic data
CN110811649A (zh) * 2019-10-31 2020-02-21 太原理工大学 一种基于生物电及行为特征融合的疲劳驾驶检测方法

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090040054A1 (en) * 2007-04-11 2009-02-12 Nec Laboratories America, Inc. Real-time driving danger level prediction
US20160048766A1 (en) * 2014-08-13 2016-02-18 Vitae Analytics, Inc. Method and system for generating and aggregating models based on disparate data from insurance, financial services, and public industries
CN104599443A (zh) * 2015-01-12 2015-05-06 江苏省交通规划设计院股份有限公司 一种基于信息融合的驾驶行为预警车载终端及其预警方法
CN106295474A (zh) * 2015-05-28 2017-01-04 交通运输部水运科学研究院 船舶驾驶员的疲劳检测方法、系统和服务器
CN105719431A (zh) * 2016-03-09 2016-06-29 深圳市中天安驰有限责任公司 一种疲劳驾驶检测系统
CN105912814A (zh) * 2016-05-05 2016-08-31 苏州京坤达汽车电子科技有限公司 智能驾驶车辆换道决策模型
US20190339688A1 (en) * 2016-05-09 2019-11-07 Strong Force Iot Portfolio 2016, Llc Methods and systems for data collection, learning, and streaming of machine signals for analytics and maintenance using the industrial internet of things
CN106251583A (zh) * 2016-09-30 2016-12-21 防城港市港口区高创信息技术有限公司 基于驾驶行为与眼动特征的疲劳驾驶辨识方法
US20190308656A1 (en) * 2016-12-16 2019-10-10 Samsung Electronics Co., Ltd. Electronic device for assisting driving of vehicle and method therefor
US20180174457A1 (en) * 2016-12-16 2018-06-21 Wheego Electric Cars, Inc. Method and system using machine learning to determine an automotive driver's emotional state
DE102017105764A1 (de) * 2017-03-17 2018-09-20 Valeo Schalter Und Sensoren Gmbh Konfiguration eines Fahrerassistenzsystems für ein Kraftfahrzeug, mit überwachten maschinellen Lernen
US10037699B1 (en) * 2017-05-05 2018-07-31 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for motivating a driver according to behaviors of nearby vehicles
US20180336424A1 (en) * 2017-05-16 2018-11-22 Samsung Electronics Co., Ltd. Electronic device and method of detecting driving event of vehicle
US20190101914A1 (en) * 2017-10-02 2019-04-04 Allstate Insurance Company Data Processing System with Machine Learning Engine for Providing Driving Data Analysis and Vehicle Control Functions
US20190113917A1 (en) * 2017-10-16 2019-04-18 Toyota Research Institute, Inc. System and method for leveraging end-to-end driving models for improving driving task modules
CN108846332A (zh) * 2018-05-30 2018-11-20 西南交通大学 一种基于clsta的铁路司机行为识别方法
CN110733509A (zh) * 2018-07-18 2020-01-31 阿里巴巴集团控股有限公司 驾驶行为分析方法、装置、设备以及存储介质
US20200039520A1 (en) * 2018-08-06 2020-02-06 Honda Motor Co., Ltd. System and method for learning naturalistic driving behavior based on vehicle dynamic data
CN110673600A (zh) * 2019-10-18 2020-01-10 武汉理工大学 面向无人船舶的自动驾驶集成系统
CN110811649A (zh) * 2019-10-31 2020-02-21 太原理工大学 一种基于生物电及行为特征融合的疲劳驾驶检测方法

Similar Documents

Publication Publication Date Title
JP7086111B2 (ja) 自動運転車のｌｉｄａｒ測位に用いられるディープラーニングに基づく特徴抽出方法
JP7174063B2 (ja) 無人運転車用の障害物回避方法及び装置
JP7060625B2 (ja) 自動運転車において３ｄｃｎｎネットワークを用いてソリューション推断を行うｌｉｄａｒ測位
US10809735B2 (en) System and method for a framework of robust and safe reinforcement learning application in real world autonomous vehicle application
JP6599986B2 (ja) きめの細かい画像分類のためのハイパークラス拡張化および正則化深層学習
EP2591443B1 (en) Method for assisting vehicle guidance over terrain
JP2021515178A (ja) 自動運転車両においてｒｎｎとｌｓｔｍを用いて時間平滑化を行うｌｉｄａｒ測位
CN109109863B (zh) 智能设备及其控制方法、装置
CN112734808B (zh) 一种车辆行驶环境下易受伤害道路使用者的轨迹预测方法
US11967103B2 (en) Multi-modal 3-D pose estimation
CN116880462B (zh) 自动驾驶模型、训练方法和自动驾驶方法和车辆
EP4086817A1 (en) Training distilled machine learning models using a pre-trained feature extractor
CN117452969B (zh) 基于多模态数据处理的无人机导航方法
CN116881707A (zh) 自动驾驶模型、训练方法、装置和车辆
CN116776151A (zh) 可与车外人员进行自主交互的自动驾驶模型和训练方法
Friji et al. A dqn-based autonomous car-following framework using rgb-d frames
CN117755336A (zh) 基于大模型的车辆自动驾驶方法及系统
CN116882122A (zh) 用于自动驾驶的仿真环境的构建的方法和装置
CN111353636A (zh) 一种基于多模态数据的船舶驾驶行为预测方法及系统
CN115373383A (zh) 一种垃圾回收无人艇的自主避障方法、装置及相关设备
CN114120653A (zh) 一种集中式车群决策控制方法、装置及电子设备
Sun A method for judging abnormal driving behaviors in diversion areas based on group intelligence perception of internet of vehicles.
CN116991157B (zh) 具备人类专家驾驶能力的自动驾驶模型、训练方法和车辆
CN114454886B (zh) 一种自动驾驶用路线规划系统
CN116859724B (zh) 时序自回归同时决策和预测的自动驾驶模型及其训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200630

RJ01 Rejection of invention patent application after publication