CN108646768A - 一种无人驾驶巴士启动控制系统及控制方法 - Google Patents
一种无人驾驶巴士启动控制系统及控制方法 Download PDFInfo
- Publication number
- CN108646768A CN108646768A CN201810934841.8A CN201810934841A CN108646768A CN 108646768 A CN108646768 A CN 108646768A CN 201810934841 A CN201810934841 A CN 201810934841A CN 108646768 A CN108646768 A CN 108646768A
- Authority
- CN
- China
- Prior art keywords
- passenger
- vehicle
- interior
- module
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 90
- 238000004891 communication Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims description 19
- 239000007787 solid Substances 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 238000013500 data storage Methods 0.000 claims description 5
- 238000009434 installation Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 description 5
- 210000003127 knee Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种无人驾驶巴士启动控制系统及控制方法，该控制系统包括乘客姿态检测模块和车辆启动控制模块；其中，所述乘客姿态检测模块包括：图像采集模块、车载计算终端；所述图像采集模块，用于实时采集车内图像；所述车载计算终端用于接收图像采集模块所采集的图像数据，并对数据进行实时分析与处理，识别出乘客，并检测车内所有乘客的姿态信息；车载计算终端包括：ARM控制器、车内三维重建模块、车内乘客姿态检测模块、CAN通讯模块；所述车辆启动控制模块包括整车控制器、驱动电机；整车控制器接收到车内乘客姿态检测模块的乘客姿态检测结果为所有乘客已安全入座时，发送力矩指令给驱动电机，驱动电机输出车轮驱动力，从而安全地启动车辆。
Description
技术领域
本发明涉及汽车智能网联领域，具体的说是一种利用多摄像头检测乘客姿态从而控制无人驾驶巴士启动的控制系统及控制方法。
背景技术
无人驾驶巴士是一种搭载无人驾驶技术的公交车辆，主要用于公园、大型游乐园、封闭社区、校园、花园式酒店、度假村、别墅区、城市步行街、港口等区域开发的自驾游、区域巡逻、代步专用的环保型电动乘用车辆。传统的巴士需要大量驾驶员重复操作，尤其是在车辆启动时候，需要驾驶员确保所有乘客都坐好后才能启动车辆。随着汽车智能网联化 ，尤其是无人驾驶技术的发展，无人驾驶巴士逐渐走入人的视野，但目前无人驾驶巴士启动控制系统大多采用按钮式，需要乘客按下启动按钮进行车辆启动，由于没有安装自主启动视觉监视系统，所以无法对车内环境进行立体感知，无法对车内乘客是否安全入座进行检测，导致在没有确定所有乘客都安全入座后无人驾驶系统就启动车辆，直接影响乘客的生命安全。
发明内容
本发明的第一个目的在于提供一种无人驾驶巴士启动控制系统，以解决现有巴士在无人驾驶模式下，无法对车内环境进行立体感知，以及无法对车内乘客是否安全入座进行检测的技术难题。采用该系统能够实现无人巴士车内环境三维立体感知、乘客识别与乘客姿态检测，对乘客友好地启动控制，保护乘客的生命安全。
为实现上述目的，本发明提供的一种无人驾驶巴士启动控制系统，包括：乘客姿态检测模块和车辆启动控制模块；
其中，所述乘客姿态检测模块包括：图像采集模块、车载计算终端；所述图像采集模块，用于实时采集车内图像；所述车载计算终端是该系统的数据计算中心，用于接收图像采集模块所采集的图像数据，并对数据进行实时分析与处理；车载计算终端包括：ARM控制器、车内三维重建模块、车内乘客姿态检测模块、CAN通讯模块；所述图像采集模块与ARM控制器连接，并将采集到的车内图像数据传输给ARM控制器，通过ARM控制器进行图像数据存储和图像数字化处理；
所述车内三维重建模块与ARM控制器连接，用于对ARM控制器处理后的车内环境图像数据进行三维立体重建，获得车内三维立体环境点云数据；
所述车内乘客姿态检测模块与车内三维重建模块连接，用于通过特征匹配算法对车内三维立体环境点云数据进行乘客检测，并对车内乘客进行姿态检测，将乘客姿态检测结果通过CAN通讯模块发送给无人驾驶巴士整车控制器；
所述车辆启动控制模块包括整车控制器、驱动电机；所述整车控制器接收到车内乘客姿态检测模块的乘客姿态检测结果为所有乘客已安全入座时，发送力矩指令给驱动电机，驱动电机输出车轮驱动力，从而安全地启动车辆。
作为本发明的优选，所述图像采集模块包括：安装在车辆左前方的车内左前摄像头、安装在车辆右前方的车内右前摄像头、安装在车辆右方的车内右侧摄像头、安装在车辆右后的车内右后摄像头、安装在车辆左后方的车内左后摄像头、安装在车辆左方的车内左侧摄像头；所述车内左前摄像头、车内右前摄像头、车内右侧摄像头、车内右后摄像头、车内左后摄像头、车内左侧摄像头分别通过CVBS同轴线与ARM控制器连接，且所述车内右侧摄像头、车内左侧摄像头为短焦广角摄像头。
作为本发明的进一步优选，所述车内三维重建模块包括：图像预处理模块、车内立体重建模块；所述图像预处理模块，用于对车内左前摄像头、车内右前摄像头、车内右侧摄像头、车内右后摄像头、车内左后摄像头、车内左侧摄像头图像数据进行实时畸变校正处理；所述车内立体重建模块，用于对图像预处理模块处理后的图像数据进行三维立体重建，采用SFM三维重建算法对6个摄像头图像数据进行六视图立体几何重建，获得车内三维立体环境点云数据。
作为本发明的更一步优选，所述车内乘客姿态检测模块包括：乘客特征数据库、乘客姿态数据库、乘客检测模块、乘客关键点检测模块、乘客姿态识别模块；其中，所述乘客特征数据库与乘客姿态数据库由公开行人特征与姿态数据库以及无人驾驶巴士自主采集存储，乘客特征数据库包括行人特征，乘客姿态数据库包括行人姿态；所述乘客检测模块，用于通过特征匹配算法对车内三维立体环境点云数据进行乘客检测；所述乘客关键点检测模块，用于将乘客检测模块检测到的乘客进一步进行关键点位置及关键部位连接信息检测；所述乘客姿态识别模块，用于将检测到的乘客关键点以及关键部位连接信息与乘客姿态数据库存储的信息进行相似度对比，当检测到车内所有乘客已安全入座时，通过CAN通讯模块将车辆启动信号发送给无人驾驶巴士整车控制器，从而安全地启动车辆。
本发明第二个目的在于提供的一种无人驾驶巴士启动控制方法，该方法具体包括如下步骤：
步骤S1、车内图像数据获取：通过安装在车内的图像采集模块实时采集无人驾驶巴士车内环境以及车内乘客姿态图像数据；
步骤S2、图像数据处理：将图像采集模块采集的图像数据传输到车载计算终端，利用车载计算终端对图像数据进行实时分析与处理，识别出乘客，并检测车内所有乘客的姿态信息；
步骤S3、车辆自主启动控制：当整车控制器接收到车内所有乘客的姿态信息，并确定车内所有乘客已安全入座时，发送力矩指令给驱动电机，驱动电机输出车轮驱动力，从而安全地启动车辆。
作为本发明的优选，步骤S1中所述的图像采集模块包括：安装在车辆左前方的车内左前摄像头、安装在车辆右前方的车内右前摄像头、安装在车辆右方的车内右侧摄像头、安装在车辆右后的车内右后摄像头、安装在车辆左后方的车内左后摄像头、安装在车辆左方的车内左侧摄像头，通过6个摄像头实时采集车内图像。
作为本发明的进一步优选，步骤S2中所述的车载计算终端包括：ARM控制器、车内三维重建模块、车内乘客姿态检测模块、CAN通讯模块；所述车载计算终端对图像数据分析处理时，具体包括以下步骤：
步骤S2.1、将6个摄像头分别通过CVBS同轴线与ARM控制器连接，ARM控制器对6个摄像头采集到的车内图像数据进行图像数据存储和图像数字化处理；
步骤S2.2、将车内三维重建模块与ARM控制器连接，利用车内三维重建模块对ARM控制器处理后的车内环境图像数据进行三维立体重建，获得车内三维立体环境点云数据；
步骤S2.3、将车内乘客姿态检测模块与车内三维重建模块连接，利用车内乘客姿态检测模块并通过特征匹配算法对车内三维立体环境点云数据进行乘客检测，并对车内乘客进行姿态检测，将乘客姿态检测结果通过CAN通讯模块发送给无人驾驶巴士整车控制器。
作为本发明的更进一步优选，步骤S2.2中所述的车内三维重建模块包括：图像预处理模块、车内立体重建模块；所述图像预处理模块，用于对车内6个摄像头图像数据进行实时畸变校正处理；所述车内立体重建模块，用于对图像预处理模块处理后的图像数据进行三维立体重建，具体为：采用SFM三维重建算法对6个摄像头图像数据进行六视图立体几何重建，获得车内三维立体环境点云数据。
作为本发明的更进一步优选，步骤S2.3中所述的车内乘客姿态检测模块包括：乘客特征数据库、乘客姿态数据库、乘客检测模块、乘客关键点检测模块、乘客姿态识别模块；所述乘客特征数据库与乘客姿态数据库由公开行人特征与姿态数据库以及无人驾驶巴士自主采集存储；所述乘客检测模块用于对车内三维环境数据进行实时处理，并对无人驾驶巴士车内乘客进行检测；所述乘客关键点检测模块用于将乘客检测模块检测到的乘客进一步进行关键点位置及关键部位连接信息检测；所述乘客姿态识别模块用于将检测到的乘客关键点以及关键部位连接信息与乘客姿态数据库存储的信息进行相似度对比，当检测到车内所有乘客已安全入座时，通过CAN通讯模块将车辆启动信号发送给无人驾驶巴士整车控制器，从而安全地启动车辆。
本发明的优点和积极效果：
（1）本发明提供的无人驾驶巴士启动控制系统，其结构简单，安装方便，通用性强，无噪音，可直接安装在现有任何一辆公交车上；该系统通过6个车内摄像头模块可以实时采集6路图像数据，通过车内三维重建模块对6路图像数据实时处理，并对车内环境进行三维立体重建，可以对车内环境进行立体感知，便于对车内乘客状态进行识别与检测；同时利用乘客姿态检测结果判定乘客是否安全入座，当检测到车内所有乘客均已安全入座时，系统将车辆启动信号发送给无人驾驶巴士整车控制器，从而安全地启动车辆，有效解决现有巴士在无人驾驶模式下，无法对车内环境进行立体感知，以及无法对车内乘客是否安全入座进行检测的技术难题。
（2）本发明提供的无人驾驶巴士启动控制方法简单，通过安装在车辆左前方的车内左前摄像头、安装在车辆右前方的车内右前摄像头、安装在车辆右方的车内右侧摄像头、安装在车辆右后的车内右后摄像头、安装在车辆左后方的车内左后摄像头、安装在车辆左方的车内左侧摄像头便可实时采集车内环境以及车内乘客姿态图像数据，然后利用车载计算终端识别出乘客，并检测车内所有乘客的姿态信息，当确定车内所有乘客已安全入座时，车辆便自动启动车辆，无需乘客按下启动按钮，操作简单方便，并且实现全自动智能化控制。
附图说明
图1是无人驾驶巴士启动控制系统的布置示意图；
图2是无人驾驶巴士启动控制系统的结构示意图；
图3是无人驾驶巴士启动控制方法的流程图；
附图标记：乘客姿态检测模块A、车辆启动控制模块B、图像采集模块1、车载计算终端2、整车控制器3、驱动电机4、车内左前摄像头11、车内右前摄像头 12、车内右侧摄像头13、车内右后摄像头14、车内左后摄像头15、车内左侧摄像头16、ARM控制器21、车内三维重建模块22、车内乘客姿态检测模块23、CAN通讯模块24、图像预处理模块221、车内立体重建模块222、乘客特征数据库231、乘客姿态数据库232、乘客检测模块233、乘客关键点检测模块234、乘客姿态识别模块235。
具体实施方式
为使本领域的技术人员清楚明白本发明的技术方案及其优点和效果，下面结合附图对本发明进一步详细说明，但并不用于对本发明的限定。
参阅图1、图2，本发明提供的无人驾驶巴士启动控制系统，包括：乘客姿态检测模块A和车辆启动控制模块B；
其中，所述乘客姿态检测模块A包括：图像采集模块1、车载计算终端2；所述图像采集模块1，用于实时采集车内图像；图像采集模块1包括车内左前摄像头11、车内右前摄像头12、车内右侧摄像头13、车内右后摄像头14、车内左后摄像头15、车内左侧摄像头16；其中，所述车内左前摄像头11安装在车辆的左前方，车内右前摄像头12安装在车辆的右前方，车内右侧摄像头13安装在车辆的右方，车内右后摄像14头安装在车辆的右后，车内左后摄像头15安装在车辆的左后方，车内左侧摄像16头安装在车辆的左方；且所述车内右侧摄像头13、车内左侧摄像头16为短焦广角摄像头；
所述车载计算终端2是该系统的数据计算中心，用于接收图像采集模块所采集的图像数据，并对数据进行实时分析与处理；车载计算终端2包括：ARM控制器21、车内三维重建模块22、车内乘客姿态检测模块23、CAN通讯模块24；所述图像采集模块1中的车内左前摄像头、车内右前摄像头、车内右侧摄像头、车内右后摄像头、车内左后摄像头、车内左侧摄像头分别通过CVBS同轴线与ARM控制器21连接，并将采集到的车内图像数据传输给ARM控制器21，通过ARM控制器21进行图像数据存储和图像数字化处理；
所述车内三维重建模块22与ARM控制器21连接，用于对ARM控制器21处理后的车内环境图像数据进行三维立体重建；具体是，采用SFM三维重建算法对6个摄像头图像数据进行六视图立体几何重建，获得车内三维立体环境点云数据；
所述车内乘客姿态检测模块23与车内三维重建模块22连接，用于通过特征匹配算法对车内三维立体环境点云数据进行乘客检测，并对车内乘客进行姿态检测，将乘客姿态检测结果通过CAN通讯模块24发送给无人驾驶巴士整车控制器；
所述车辆启动控制模块B包括整车控制器3、驱动电机4；所述整车控制器3接收到车内乘客姿态检测模块23的乘客姿态检测结果为所有乘客已安全入座时，发送力矩指令给驱动电机4，驱动电机输4出车轮驱动力，从而安全地启动车辆。
其中，所述车内三维重建模块22包括：图像预处理模块221、车内立体重建模块222；所述图像预处理模块221，用于对车内左前摄像头、车内右前摄像头、车内右侧摄像头、车内右后摄像头、车内左后摄像头、车内左侧摄像头图像数据进行实时畸变校正处理；所述车内立体重建模块222，用于对图像预处理模块处理后的图像数据进行三维立体重建，采用SFM三维重建算法对6个摄像头图像数据进行六视图立体几何重建，获得车内三维立体环境点云数据；
所述车内乘客姿态检测模块23包括：乘客特征数据库231、乘客姿态数据库232、乘客检测模块233、乘客关键点检测模块234、乘客姿态识别模块235；其中，所述乘客特征数据库231与乘客姿态数据库233由公开行人特征与姿态数据库以及无人驾驶巴士自主采集存储，乘客特征数据库231包括行人特征，可以是HOG特征、深度学习特征等；乘客姿态数据库232包括行人姿态，可以是站姿、坐姿、蹲姿、卧姿等；所述乘客检测模块233，用于通过特征匹配算法对车内三维立体环境点云数据进行乘客检测；所述乘客关键点检测模块234，用于将乘客检测模块检测到的乘客进一步进行关键点位置及关键部位连接信息检测，乘客关键点位置包括肩膀、胳膊肘、胯部、膝盖、脚部等部位关键点，关键部位连接信息包括肩膀、胳膊肘、胯部、膝盖、脚部关键点的连接情况，包括水平、垂直、成角度连接等信息；所述乘客姿态识别模块235，用于将检测到的乘客关键点以及关键部位连接信息与乘客姿态数据库232存储的信息进行相似度对比，当检测到车内所有乘客已安全入座时，通过CAN通讯模块将车辆启动信号发送给无人驾驶巴士整车控制器3，从而安全地启动车辆。
参阅图2、图3，本发明提供的无人驾驶巴士启动控制方法，该方法具体包括如下步骤：
步骤S1、车内图像数据获取：通过安装在车内的图像采集模块1实时采集无人驾驶巴士车内环境以及车内乘客姿态图像数据；所述的图像采集模块1包括：安装在车辆左前方的车内左前摄像头11、安装在车辆右前方的车内右前摄像头12、安装在车辆右方的车内右侧摄像头13、安装在车辆右后的车内右后摄像头14、安装在车辆左后方的车内左后摄像头15、安装在车辆左方的车内左侧摄像头16，通过6个摄像头实时采集车内图像；
步骤S2、图像数据处理：将图像采集模块1采集的图像数据传输到车载计算终端2，利用车载计算终端2对图像数据进行实时分析与处理，识别出乘客，并检测车内所有乘客的姿态信息；其中，所述的车载计算终端1包括：ARM控制器21、车内三维重建模块22、车内乘客姿态检测模块23、CAN通讯模块24；
所述车载计算终端2对图像数据分析处理时，具体包括以下步骤：
步骤S2.1、将6个摄像头分别通过CVBS同轴线与ARM控制器21连接，ARM控制器对6个摄像头采集到的车内图像数据进行图像数据存储和图像数字化处理；
步骤S2.2、将车内三维重建模块22与ARM控制器21连接，利用车内三维重建模块22对ARM控制器21处理后的车内环境图像数据进行三维立体重建，获得车内三维立体环境点云数据；
所述的车内三维重建模块22包括：图像预处理模块221、车内立体重建模块222；所述图像预处理模块221，用于对车内6个摄像头图像数据进行实时畸变校正处理；所述车内立体重建模块222，用于对图像预处理模块221处理后的图像数据进行三维立体重建，具体为：采用SFM三维重建算法对6个摄像头图像数据进行六视图立体几何重建，获得车内三维立体环境点云数据；
步骤S2.3、将车内乘客姿态检测模块23与车内三维重建模块22连接，利用车内乘客姿态检测模块23并通过特征匹配算法对车内三维立体环境点云数据进行乘客检测，并对车内乘客进行姿态检测，将乘客姿态检测结果通过CAN通讯模块24发送给无人驾驶巴士整车控制器3；
所述的车内乘客姿态检测模块23包括：乘客特征数据库231、乘客姿态数据库231、乘客检测模块233、乘客关键点检测模块234、乘客姿态识别模块235；所述乘客特征数据库231与乘客姿态数据库232由公开行人特征与姿态数据库以及无人驾驶巴士自主采集存储；乘客特征数据库包括行人特征，可以是HOG特征、深度学习特征等，乘客姿态数据库包括行人姿态，可以是站姿、坐姿、蹲姿、卧姿等；所述乘客检测模块233用于对车内三维环境数据进行实时处理，并对无人驾驶巴士车内乘客进行检测；所述乘客关键点检测模块234用于将乘客检测模块检测到的乘客进一步进行关键点位置及关键部位连接信息检测，乘客关键点位置包括肩膀、胳膊肘、胯部、膝盖、脚部等部位关键点，关键部位连接信息包括肩膀、胳膊肘、胯部、膝盖、脚部关键点的连接情况，包括水平、垂直、成角度连接等信息；所述乘客姿态识别模块235用于将检测到的乘客关键点以及关键部位连接信息与乘客姿态数据库存储的信息进行相似度对比，当检测到车内所有乘客已安全入座时，通过CAN通讯模块24将车辆启动信号发送给无人驾驶巴士整车控制器3；
步骤S3，车辆自主启动控制：当整车控制器3接收到车内所有乘客的姿态信息，并确定车内所有乘客已安全入座时，发送力矩指令给驱动电机4，驱动电机输4出车轮驱动力，从而安全地启动车辆。
Claims (9)
1.一种无人驾驶巴士启动控制系统，其特征在于，包括乘客姿态检测模块和车辆启动控制模块；其中，所述乘客姿态检测模块包括：图像采集模块、车载计算终端；所述图像采集模块，用于实时采集车内图像；所述车载计算终端是该系统的数据计算中心，用于接收图像采集模块所采集的图像数据，并对数据进行实时分析与处理；车载计算终端包括：ARM控制器、车内三维重建模块、车内乘客姿态检测模块、CAN通讯模块；所述图像采集模块与ARM控制器连接，并将采集到的车内图像数据传输给ARM控制器，通过ARM控制器进行图像数据存储和图像数字化处理；
所述车内三维重建模块与ARM控制器连接，用于对ARM控制器处理后的车内环境图像数据进行三维立体重建，获得车内三维立体环境点云数据；
所述车内乘客姿态检测模块与车内三维重建模块连接，用于通过特征匹配算法对车内三维立体环境点云数据进行乘客检测，并对车内乘客进行姿态检测，将乘客姿态检测结果通过CAN通讯模块发送给无人驾驶巴士整车控制器；
所述车辆启动控制模块包括整车控制器、驱动电机；所述整车控制器接收到车内乘客姿态检测模块的乘客姿态检测结果为所有乘客已安全入座时，发送力矩指令给驱动电机，驱动电机输出车轮驱动力，从而安全地启动车辆。
2.根据权利要求1所述的一种无人驾驶巴士启动控制系统，其特征在于，所述图像采集模块包括：安装在车辆左前方的车内左前摄像头、安装在车辆右前方的车内右前摄像头、安装在车辆右方的车内右侧摄像头、安装在车辆右后的车内右后摄像头、安装在车辆左后方的车内左后摄像头、安装在车辆左方的车内左侧摄像头；所述车内左前摄像头、车内右前摄像头、车内右侧摄像头、车内右后摄像头、车内左后摄像头、车内左侧摄像头分别通过CVBS同轴线与ARM控制器连接，且所述车内右侧摄像头、车内左侧摄像头为短焦广角摄像头。
3.根据权利要求1所述的一种无人驾驶巴士启动控制系统，其特征在于，所述车内三维重建模块包括：图像预处理模块、车内立体重建模块；所述图像预处理模块，用于对车内左前摄像头、车内右前摄像头、车内右侧摄像头、车内右后摄像头、车内左后摄像头、车内左侧摄像头图像数据进行实时畸变校正处理；所述车内立体重建模块，用于对图像预处理模块处理后的图像数据进行三维立体重建，采用SFM三维重建算法对6个摄像头图像数据进行六视图立体几何重建，获得车内三维立体环境点云数据。
4.根据权利要求1所述的一种无人驾驶巴士启动控制系统，其特征在于，所述车内乘客姿态检测模块包括：乘客特征数据库、乘客姿态数据库、乘客检测模块、乘客关键点检测模块、乘客姿态识别模块；其中，所述乘客特征数据库与乘客姿态数据库由公开行人特征与姿态数据库以及无人驾驶巴士自主采集存储，乘客特征数据库包括行人特征，乘客姿态数据库包括行人姿态；所述乘客检测模块，用于通过特征匹配算法对车内三维立体环境点云数据进行乘客检测；所述乘客关键点检测模块，用于将乘客检测模块检测到的乘客进一步进行关键点位置及关键部位连接信息检测；所述乘客姿态识别模块，用于将检测到的乘客关键点以及关键部位连接信息与乘客姿态数据库存储的信息进行相似度对比，当检测到车内所有乘客已安全入座时，通过CAN通讯模块将车辆启动信号发送给无人驾驶巴士整车控制器，从而安全地启动车辆。
5.一种无人驾驶巴士启动控制方法，其特征在于，该方法具体包括如下步骤：
步骤S1、车内图像数据获取：通过安装在车内的图像采集模块实时采集无人驾驶巴士车内环境以及车内乘客姿态图像数据；
步骤S2、图像数据处理：将图像采集模块采集的图像数据传输到车载计算终端，利用车载计算终端对图像数据进行实时分析与处理，识别出乘客，并检测车内所有乘客的姿态信息；
步骤S3、车辆自主启动控制：当整车控制器接收到车内所有乘客的姿态信息，并确定车内所有乘客已安全入座时，发送力矩指令给驱动电机，驱动电机输出车轮驱动力，从而安全地启动车辆。
6.根据权利要求5所述的一种无人驾驶巴士启动控制方法，其特征在于，步骤S1中所述的图像采集模块包括：安装在车辆左前方的车内左前摄像头、安装在车辆右前方的车内右前摄像头、安装在车辆右方的车内右侧摄像头、安装在车辆右后的车内右后摄像头、安装在车辆左后方的车内左后摄像头、安装在车辆左方的车内左侧摄像头，通过6个摄像头实时采集车内图像。
7.根据权利要求5所述的一种无人驾驶巴士启动控制方法，其特征在于，步骤S2中所述的车载计算终端包括：ARM控制器、车内三维重建模块、车内乘客姿态检测模块、CAN通讯模块；所述车载计算终端对图像数据分析处理时，具体包括以下步骤：
步骤S2.1、将6个摄像头分别通过CVBS同轴线与ARM控制器连接，ARM控制器对6个摄像头采集到的车内图像数据进行图像数据存储和图像数字化处理；
步骤S2.2、将车内三维重建模块与ARM控制器连接，利用车内三维重建模块对ARM控制器处理后的车内环境图像数据进行三维立体重建，获得车内三维立体环境点云数据；
步骤S2.3、将车内乘客姿态检测模块与车内三维重建模块连接，利用车内乘客姿态检测模块并通过特征匹配算法对车内三维立体环境点云数据进行乘客检测，并对车内乘客进行姿态检测，将乘客姿态检测结果通过CAN通讯模块发送给无人驾驶巴士整车控制器。
8.根据权利要求7所述的一种无人驾驶巴士启动控制方法，其特征在于，步骤S2.2中所述的车内三维重建模块包括：图像预处理模块、车内立体重建模块；所述图像预处理模块，用于对车内6个摄像头图像数据进行实时畸变校正处理；所述车内立体重建模块，用于对图像预处理模块处理后的图像数据进行三维立体重建，具体为：采用SFM三维重建算法对6个摄像头图像数据进行六视图立体几何重建，获得车内三维立体环境点云数据。
9.根据权利要求7所述的一种无人驾驶巴士启动控制方法，其特征在于，步骤S2.3中所述的车内乘客姿态检测模块包括：乘客特征数据库、乘客姿态数据库、乘客检测模块、乘客关键点检测模块、乘客姿态识别模块；所述乘客特征数据库与乘客姿态数据库由公开行人特征与姿态数据库以及无人驾驶巴士自主采集存储；所述乘客检测模块用于对车内三维环境数据进行实时处理，并对无人驾驶巴士车内乘客进行检测；所述乘客关键点检测模块用于将乘客检测模块检测到的乘客进一步进行关键点位置及关键部位连接信息检测；所述乘客姿态识别模块用于将检测到的乘客关键点以及关键部位连接信息与乘客姿态数据库存储的信息进行相似度对比，当检测到车内所有乘客已安全入座时，通过CAN通讯模块将车辆启动信号发送给无人驾驶巴士整车控制器，从而安全地启动车辆。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810934841.8A CN108646768A (zh) | 2018-08-16 | 2018-08-16 | 一种无人驾驶巴士启动控制系统及控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810934841.8A CN108646768A (zh) | 2018-08-16 | 2018-08-16 | 一种无人驾驶巴士启动控制系统及控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108646768A true CN108646768A (zh) | 2018-10-12 |
Family
ID=63760906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810934841.8A Pending CN108646768A (zh) | 2018-08-16 | 2018-08-16 | 一种无人驾驶巴士启动控制系统及控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108646768A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110197150A (zh) * | 2019-05-27 | 2019-09-03 | 大陆投资(中国)有限公司 | 出行服务方法、装置及系统 |
| CN113298443A (zh) * | 2019-11-14 | 2021-08-24 | 广东科学技术职业学院 | 一种路线规划方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1876444A (zh) * | 2005-06-08 | 2006-12-13 | 现代奥途纳特株式会社 | 使用立体图像拼接识别车辆中乘客姿态的系统和方法 |
| CN203331840U (zh) * | 2013-06-07 | 2013-12-11 | 郑州宇通客车股份有限公司 | 基于can总线的电动汽车用关门起步控制系统 |
| WO2015157973A1 (zh) * | 2014-04-17 | 2015-10-22 | 张志强 | 一种保证无人驾驶车辆行车安全的系统和方法 |
| KR20150132045A (ko) * | 2015-10-30 | 2015-11-25 | 전대연 | 운전자 없는/있는 차량의 시동전 탑승자와 차량의 안전상태 확인방법 |
| CN206719140U (zh) * | 2017-03-17 | 2017-12-08 | 郑州宇通客车股份有限公司 | 一种无轨电车及其起步控制装置 |
| CN207728207U (zh) * | 2018-01-17 | 2018-08-14 | 无锡精科汽车配件有限公司 | 公交车车门智能控制系统 |
-
2018
- 2018-08-16 CN CN201810934841.8A patent/CN108646768A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1876444A (zh) * | 2005-06-08 | 2006-12-13 | 现代奥途纳特株式会社 | 使用立体图像拼接识别车辆中乘客姿态的系统和方法 |
| CN203331840U (zh) * | 2013-06-07 | 2013-12-11 | 郑州宇通客车股份有限公司 | 基于can总线的电动汽车用关门起步控制系统 |
| WO2015157973A1 (zh) * | 2014-04-17 | 2015-10-22 | 张志强 | 一种保证无人驾驶车辆行车安全的系统和方法 |
| KR20150132045A (ko) * | 2015-10-30 | 2015-11-25 | 전대연 | 운전자 없는/있는 차량의 시동전 탑승자와 차량의 안전상태 확인방법 |
| CN206719140U (zh) * | 2017-03-17 | 2017-12-08 | 郑州宇通客车股份有限公司 | 一种无轨电车及其起步控制装置 |
| CN207728207U (zh) * | 2018-01-17 | 2018-08-14 | 无锡精科汽车配件有限公司 | 公交车车门智能控制系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110197150A (zh) * | 2019-05-27 | 2019-09-03 | 大陆投资(中国)有限公司 | 出行服务方法、装置及系统 |
| CN113298443A (zh) * | 2019-11-14 | 2021-08-24 | 广东科学技术职业学院 | 一种路线规划方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7280865B2 (ja) | 自律運転している車両とコミュニケーションするための単純な２ｄカメラを採用したジェスチャー制御 | |
| US9542609B2 (en) | Automatic training of a parked vehicle detector for large deployment | |
| CN109460709A (zh) | 基于rgb和d信息融合的rtg视觉障碍物检测的方法 | |
| CN109636924B (zh) | 基于现实路况信息三维建模的车载多模式增强现实系统 | |
| CN104282150B (zh) | 运动目标的识别装置及系统 | |
| CN110930323B (zh) | 图像去反光的方法、装置 | |
| CN106926800A (zh) | 多摄像头适配的车载视觉感知系统 | |
| CN105893510A (zh) | 一种视频结构化系统及其目标搜索方法 | |
| WO2020029444A1 (zh) | 一种驾驶员驾驶时注意力检测方法和系统 | |
| CN104902261B (zh) | 用于低清晰度视频流中的路面识别的装置和方法 | |
| CN104298353A (zh) | 一种基于逆运动学的车辆监控防盗方法及系统 | |
| CN108830264A (zh) | 一种无人驾驶公交车的站台乘客检测系统及方法 | |
| TW200846218A (en) | Device and method for detecting obstacle by stereo computer vision | |
| CN104875681A (zh) | 一种基于应用场景进行车载摄像头动态控制的方法 | |
| CN109606316A (zh) | 一种驾驶员身份识别方法 | |
| CN109409353A (zh) | 基于dcnn目标识别的车辆鸣笛监测方法及系统 | |
| CN108646768A (zh) | 一种无人驾驶巴士启动控制系统及控制方法 | |
| US11250279B2 (en) | Generative adversarial network models for small roadway object detection | |
| CN105632180B (zh) | 一种基于arm的桥隧入口车型识别系统及方法 | |
| IL267181B (en) | An object recognition system based on a general three-dimensional model that can be adjusted | |
| CN112507935A (zh) | 一种图像检测的方法及装置 | |
| CN107506698A (zh) | 基于物联网的公共交通汽车防疲劳驾驶管理的方法 | |
| CN108162755A (zh) | 一种应用于智能车辆中的疲劳驾驶识别控制方法 | |
| CN111409555A (zh) | 一种多功能智能识别车载后视镜 | |
| CN206282368U (zh) | 一种多功能行车记录仪 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181012 |