CN108196546A - 智能驾驶车辆的安全性监控系统及方法 - Google Patents
智能驾驶车辆的安全性监控系统及方法 Download PDFInfo
- Publication number
- CN108196546A CN108196546A CN201810005145.9A CN201810005145A CN108196546A CN 108196546 A CN108196546 A CN 108196546A CN 201810005145 A CN201810005145 A CN 201810005145A CN 108196546 A CN108196546 A CN 108196546A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- safety zone
- module
- intelligent driving
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 238000010801 machine learning Methods 0.000 claims abstract description 13
- 238000004458 analytical method Methods 0.000 claims abstract description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 238000012544 monitoring process Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims 1
- 238000012549 training Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000004807 localization Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 210000000352 storage cell Anatomy 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
- G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Electromagnetism (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请公开一种智能驾驶车辆的安全性监控系统及方法。涉及智能驾驶车辆领域，该系统包括：图像采集模块，用于实时获取车辆行驶方向上的图像；场景分割模块，用于通过机器学习算法对所述图像进行场景分割，获取安全区域；路径计算模块，用于计算所述车辆的行驶路径；以及安全判断模块，用于判断所述车辆是否处于所述安全区域内。本申请公开的智能驾驶车辆的安全性监控系统及方法，能够对智能驾驶车辆的行驶状态进行准确判断，进而获得更加可靠的控制指令。
Description
技术领域
本发明涉及计算机信息处理领域，具体而言，涉及一种智能驾驶车辆的安全性监控系统及方法。
背景技术
智能驾驶车辆在普通车辆的基础上增加了先进的传感器(雷达、摄像)、控制器、执行器等装置，通过车载传感系统和信息终端实现与人、车、路等的智能信息交换，使车辆具备智能的环境感知能力，能够自动分析车辆行驶的安全及危险状态，并使车辆按照人的意愿到达目的地，最终实现替代人来操作的目的以减轻人驾驶汽车的负担。
在现有技术中，智能驾驶车辆的总控制系统，会统一采集各个分系统的各个部分的数据，然后对这些数据统一处理，进而对智能驾驶车辆进行控制。智能驾驶车辆的总控制系统会因为某一个部件的错误信号而影响最终的控制指令输出，例如传感器感知的信息处理不正确可能会误导总控制系统做出错误的决策。但是，驾驶车辆的操作是一个复杂非线性系统的控制过程。总控制系统既要接受环境如道路、拥挤、方向、行人等的信息，还要感受汽车如车速、侧向偏移、横摆角速度等的信息，然后经过判断、分析和决策，并与已有的驾驶经验数据相比较，确定出应该做的操作指令，最后由智能驾驶系统的各部分协同完成操纵车辆的动作。由于车辆驾驶中的复杂因素，加之目前智能驾驶车辆系统还不够成熟，如何确保智能驾驶系统更安全的工作是自动驾驶车辆设计必须考虑的问题。
本申请中提出一种新的智能驾驶车辆的安全性监控系统及方法。
在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
有鉴于此，本发明提供一种智能驾驶车辆的安全性监控系统及方法，能够对智能驾驶车辆的行驶状态进行准确判断，进而获得更加可靠的控制指令。
本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。
根据本发明的一方面，提出一种智能驾驶车辆的安全性监控系统，该系统包括：图像采集模块，用于实时获取车辆行驶方向上的图像；场景分割模块，用于通过机器学习算法对所述图像进行场景分割，获取安全区域；路径计算模块，用于计算所述车辆的行驶路径；以及安全判断模块，用于判断所述车辆是否处于所述安全区域内。
在本公开的一种示例性实施例中，所述图像采集模块还用于对所述图像进行预处理，所述的预处理包括图像校准、去畸变中的一种或者多种。
在本公开的一种示例性实施例中，所述路径计算模块，包括：车辆姿态单元，用于获取所述车辆的位姿信息；指令获取单元，用于获取所述车辆的自动驾驶控制指令；以及路径生成单元，用于根据所述位姿信息与所述自动驾驶控制指令生成所述车辆的行驶路径。
在本公开的一种示例性实施例中，所述车辆姿态单元获取的车辆的位姿信息包括：车辆行驶速度，车辆纵向加速度，车辆横摆角速度，方向盘转角以及车辆加速度。
在本公开的一种示例性实施例中，所述路径计算模块，还用于计算所述车辆在下一个单位预测时间内的行驶路径；其中，所述单位预测时间与所述车辆的TTC碰撞时间相关。
在本公开的一种示例性实施例中，所述安全判断模块，包括：当前位置判断单元，用于判断所述车辆的当前位置是否处于所述安全区域内；以及行驶路径判断单元，用于判断所述车辆的行驶路径是否处于所述安全区域内。
在本公开的一种示例性实施例中，还包括：告警模块，用于当所述车辆的当前位置或行驶路径不处于所述安全区域内时，给出告警提示。
在本公开的一种示例性实施例中，还包括：校准模块，用于当所述车辆的行驶路径不处于所述安全区域内时，调整自动驾驶控制指令。
在本公开的一种示例性实施例中，所述机器学习算法采用全卷积神经网络算法。
根据本发明的一方面，提出一种智能驾驶车辆的安全性监控方法，该方法包括：实时获取车辆行驶方向上的图像；通过机器学习算法对所述图像进行场景分割，获取安全区域；计算所述车辆的行驶路径；判断所述车辆是否处于所述安全区域内；以及根据判断结果对所述智能驾驶车辆给出告警提示和/或调整自动驾驶控制指令。
在本公开的一种示例性实施例中，所述实时获取车辆行驶方向上的图像，包括：对所述图像进行预处理，所述预处理包括图像校准、去畸变中的一种或者多种。
在本公开的一种示例性实施例中，所述通过机器学习算法对所述图像进行场景分割，获取安全区域，包括：通过卷积神经网络算法对所述图像进行实时处理，以获取所述图像中的所述安全区域。
在本公开的一种示例性实施例中，所述计算所述车辆的行驶路径，包括：获取所述车辆的位姿信息；获取所述车辆的自动驾驶控制指令；以及根据所述位姿信息与所述自动驾驶控制指令生成所述车辆的行驶路径。
在本公开的一种示例性实施例中，所述位姿信息包括：车辆行驶速度，车辆纵向加速度，车辆横摆角速度，方向盘转角以及车辆加速度。
在本公开的一种示例性实施例中，所述根据所述位姿信息与所述自动驾驶控制指令生成所述车辆的待行驶路径，包括：根据所述位姿信息与所述自动驾驶控制指令计算所述车辆在下一个单位时间内的行驶路径；其中，所述单位时间与所述车辆的TTC碰撞时间相关。
在本公开的一种示例性实施例中，所述判断所述车辆是否处于所述安全区域内，包括：判断所述车辆的当前位置是否处于所述安全区域内；以及判断所述车辆的行驶路径是否处于所述安全区域内。
在本公开的一种示例性实施例中，所述根据所述判断对所述智能驾驶车辆进行告警提示和/或调整自动驾驶控制指令，包括：当所述车辆的当前位置或行驶路径不处于所述安全区域内时，给出告警提示；以及当所述车辆的行驶路径不处于所述安全区域内时，调整自动驾驶控制指令。
根据本发明的一方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上文的方法。
根据本发明的一方面，提出一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上文中的方法。
根据本发明的智能驾驶车辆的安全性监控系统及方法，能够对智能驾驶车辆的行驶状态进行准确判断，进而获得更加可靠的控制指令。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。
附图说明
通过参照附图详细描述其示例实施例，本发明的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种智能驾驶车辆的安全性监控系统的框图。
图2是根据另一示例性实施例示出的一种智能驾驶车辆的安全性监控系统的框图。
图3是根据一示例性实施例示出的一种智能驾驶车辆的安全性监控方法的流程图。
图4是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本发明将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的，因此不能用于限制本发明的保护范围。
图1是根据一示例性实施例示出的一种智能驾驶车辆的安全性监控系统的框图。智能驾驶车辆的安全性监控系统10包括：图像采集模块102，场景分割模块104，路径计算模块106，安全判断模块108。其中，路径计算模块106包括：车辆姿态单元1062，指令获取单元1064，路径生成单元1068；安全判断模块108包括：当前位置判断单元1082，行驶路径判断单元1084。
如图1所示，智能驾驶车辆的安全性监控系统10中的图像采集模块102用于实时获取车辆行驶方向上的图像。所述图像采集模块102还用于对所述图像进行预处理，预处理包括图像校准、去畸变中的一种或者多种。在一些实施例中，智能车辆中的智能驾驶系统通过车载传感器(摄像头、激光雷达、超声波传感器、微波雷达、GPS、里程计、磁罗盘等)感知车辆周围环境，监控车辆的运行状态。智能车辆中的智能驾驶系统通过车辆控制系统中的总线监控所述车辆的运行状态。在本申请中的图像采集模块102例如包括摄像头传感器，图像采集模块102中的摄像头传感器独立于智能驾驶系统的摄像系统，提供独立的图像采集数据。
如图1所示，智能驾驶车辆的安全性监控系统10中的场景分割模块104用于通过机器学习算法对所述图像进行场景分割，获取安全区域，所述机器学习算法采用卷积神经网络算法。安全区域例如为车辆可行驶范围与安全范围。
在一些实施例中，例如场景分割模块104首先通过已知的场景生成车辆行驶状态中的训练图像，然后在训练图像中标识出安全区域与不安全区域，将标识完毕的训练图像输入到卷积神经网络算法中，然后对卷积神经网络进行训练，以生成能准确对图片中的场景进行分割的卷积神经网络模型。场景分割模块104在后续的实际车辆运行中，例如通过卷积神经网络模型实时对当前图像进行场景分割以确定安全区域。摄像头传感器接收的实时图像会输入到卷积神经网络模型中，卷积神经网络模型输出图像中的安全区域。在建立卷积神经网络模型过程中，例如增加训练图像的输入量，随着训练图像量的不断增加，场景分割模块104对安全区域的划分会越来越准确。
由于摄像头传感器在不同车型中的位置不同，获取的图像数据也并不相同。在一些实施例中，对不同车型中所使用的卷积神经网络模型分别进行训练，以获得更加准确的图像分割结果。
如图1所示，智能驾驶车辆的安全性监控系统10中的路径计算模块106用于计算所述车辆的行驶路径。其中，路径计算模块106包括：车辆姿态单元1062用于获取所述车辆的位姿信息；指令获取单元1064用于获取所述车辆的自动驾驶控制指令；以及路径生成单元1068用于根据所述位姿信息与所述自动驾驶控制指令生成所述车辆的行驶路径。
在一些实施例中，车辆姿态单元1062获取的车辆的位姿信息包括：车辆行驶速度，车辆纵向加速度，车辆横摆角速度，方向盘转角以及车辆加速度。车辆的位姿信息例如通过定位手段如得到。例如：通过GPS(Global Positioning System，全球定位系统)，视觉SLAM(simultaneous localization and mapping，即时定位与地图构建)，激光雷达SLAM(simultaneous localization and mapping，即时定位与地图构建)获取车辆位姿信息。
在一些实施例中，自动驾驶控制指令为智能驾驶系统对车辆的控制指令，控制指令例如用于控制车辆调整行驶方向，控制车辆行驶速度，控制车辆跟车距离等等，本申请不以此为限。
在一些实施例中，路径计算模块106还用于计算所述车辆在下一个单位预测时间内的行驶路径；其中，所述单位预测时间与所述车辆的TTC碰撞时间相关。TTC(time tocollision)，是指在紧急状态下本车会撞上前车的时间。TTC时间与当前车辆速度相关，车约越快，TTC时间则会越短。路径计算模块106例如以TTC时间作为单位时间，计算车辆在下一个单位时间内的行驶路径。
在一些实施例中，路径计算模块106中的路径生成单元1068通过位姿信息与自动驾驶控制指令计算当前车辆的行驶状态路径，例如，通过车辆横摆角速度预测车辆的车头方向，再根据自动驾驶控制指令预测车辆的行驶方向，进而对下一个单位时间车辆的行驶轨迹进行预估。
如图1所示，智能驾驶车辆的安全性监控系统10中的安全判断模块108用于判断所述车辆是否处于所述安全区域内。安全判断模块108包括：当前位置判断单元1082用于判断所述车辆的当前位置是否处于所述安全区域内；行驶路径判断单元1084用于判断所述车辆的行驶路径是否处于所述安全区域内。
在一些实施例中，智能驾驶车辆的安全性监控系统10还例如包括：告警模块110(图中未示出)用于当所述车辆的当前位置或行驶路径不处于所述安全区域内时，给出告警提示；告警提示例如为声光报警。
在一些实施例中，智能驾驶车辆的安全性监控系统10还例如包括：校准模块112(图中未示出)用于当所述车辆的行驶路径不处于所述安全区域内时，调整自动驾驶控制指令。例如，调整智能驾驶系统的目标控制方向，修正行驶路径，从而保证安全行驶。
在一些实施例中，例如，当所述车辆的当前位置不处于所述安全区域内时，通过第一报警方式报警，而在所述车辆的行驶路径不处于所述安全区域内时，通过第二报警方式报警。
目前的自动驾驶技术还不具备100％保证安全可靠性和完全应对特殊场景能力，针对此情况，本发明的智能驾驶车辆的安全性监控系统，提供一套独立的行驶区域监测系统来辅助智能驾驶系统的工作，并且可以提供冗余判断，能够更客观的保障智能驾驶系统对车辆的安全有效控制。
本发明的智能驾驶车辆的安全性监控系统，相对与现有的智能驾驶系统来说，采用独立的视觉系统检测车辆行驶方向上的区域是否安全可行驶，不受原智能驾驶系统的感知传感器影响，能够客观的判断自动驾驶车辆的驾驶安全趋势，获得更可靠的控制输出。
本发明的智能驾驶车辆的安全性监控系统，通过独立的视觉传感器对车辆前方驾驶环境进行检测，利用机器学习算法得到道路可安全行驶的区域，实时对比智能驾驶系统当前控制的车辆行驶路径是否位于可安全行驶区域之中，如果处于可安全行驶区域中则可以初步判断为安全，否则为不安全。本发明的智能驾驶车辆的安全性监控系统通过此种方式能够对智能驾驶车辆的行驶状态进行准确判断，进而获得更加可靠的控制指令。
本发明的智能驾驶车辆的安全性监控系统，同样也可以用于监测人类驾驶员对车辆的驾驶，此系统基于对摄像头采集到的图像进行场景分割，得到可安全行驶区域与车辆的行驶路径进行对比，从而判断车辆行驶是否安全。
本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
图3是根据一示例性实施例示出的一种智能驾驶车辆的安全性监控方法的流程图。通过图2与图3，对本申请中的智能驾驶车辆的安全性监控方法进行描述。
如图3所示，在S302中，实时获取车辆行驶方向上的图像。例如，通过摄像头传感器P001实时获取车辆行驶方向上的图像，在本实施例中的摄像头传感器独立于车辆智能驾驶系统的摄像系统，摄像头传感器提供独立的图像采集数据。在本申请中，摄像头传感器获取车辆行驶方向上的图像之后，还包括对所述图像进行预处理，所述的预处理包括图像校准、去畸变中的一种或者多种。
在S304中，通过机器学习算法对所述图像进行场景分割，获取安全区域。例如，场景分隔模块P002采用卷积神经网络算法对所述图像进行场景分割。在本实施例中，安全区域例如为车辆可行驶范围与安全范围。
在一些实施例中，例如场景分隔模块首先通过已知的场景生成车辆行驶状态中的训练图像，然后在训练图像中标识出确定安全区域与不安全区域，将标识完毕的训练图像输入到卷积神经网络算法中，然后对卷积神经网络进行训练，以生成能准确对图片中的场景进行分割的卷积神经网络模型。在后续的实际车辆运行中，例如场景分隔模块通过卷积神经网络模型实时对当前图像进行场景分割以确定安全区域。摄像头传感器接收的实时图像会输入到卷积神经网络模型中，卷积神经网络模型输出图像中的安全区域。在建立卷积神经网络模型过程中，例如增加训练图像的输入量，随着训练数据量的不断增加，场景分隔模块P002对安全区域的划分会越来越准确。
由于摄像头传感器在不同车型中的位置不同，获取的图像数据也并不相同。在一些实施例中，对不同车型中所使用的场景分隔模块P002中的卷积神经网络模型分别进行训练，以获得更加准确的图像分割结果。
在S306中，计算所述车辆的行驶路径。例如，通过车辆姿态传感器P003获取所述车辆的位姿信息；通过智能驾驶系统纵/横向控制指令输出模块P005获取所述车辆的自动驾驶控制指令；车辆行驶路径预测模块P004根据所述位姿信息与所述自动驾驶控制指令生成所述车辆的行驶路径。
其中，所述位姿信息包括：车辆行驶速度，车辆纵向加速度，车辆横摆角速度，方向盘转角以及车辆加速度。车辆的位姿信息例如通过定位手段得到。例如：通过GPS(GlobalPositioning System，全球定位系统)，视觉SLAM(simultaneous localization andmapping，即时定位与地图构建)，激光雷达SLAM(simultaneous localization andmapping，即时定位与地图构建)获取车辆位姿信息。
在一些实施例中，自动驾驶控制指令为智能驾驶系统对车辆的控制指令，控制指令例如用于控制车辆调整行驶方向，控制车辆行驶速度，控制车辆跟车距离等等，本申请不以此为限。
在一些实施例中，根据所述位姿信息与所述自动驾驶控制指令计算所述车辆在下一个单位时间内的行驶路径；其中，所述单位时间与所述车辆的TTC碰撞时间相关。TTC(time to collision)，是指在紧急状态下，本车会撞上前车的时间。路径计算模块106例如以TTC时间作为单位时间，计算车辆在下一个单位时间内的行驶路径。TTC时间与当前车辆速度相关，车约越快，TTC时间则会越短。
在一些实施例中，通过车辆横摆角速度预测车辆的车头方向，再根据自动驾驶控制指令预测车辆的行驶方向，进而对下一个单位时间车辆的行驶轨迹进行预估。
在S308中，判断所述车辆是否处于所述安全区域内。例如，通过自动驾驶车辆行驶安全性判断模块P006判断所述车辆的当前位置是否处于所述安全区域内；还例如，通过自动驾驶车辆行驶安全性判断模块P006判断所述车辆的行驶路径是否处于所述安全区域内。
在S310中，根据判断结果对所述智能驾驶车辆给出告警提示和/或调整自动驾驶控制指令。例如，告警模块P007当所述车辆的当前位置或行驶路径不处于所述安全区域内时，给出告警提示；还例如，智能驾驶系统控制校准模块P008当所述车辆的行驶路径不处于所述安全区域内时，调整自动驾驶控制指令。
在一些实施例中，例如，当所述车辆的当前位置不处于所述安全区域内时，通过第一报警方式报警，而在所述车辆的行驶路径不处于所述安全区域内时，通过第二报警方式报警。
本发明的智能驾驶车辆的安全性监控方法，通过独立的视觉传感器对车辆前方驾驶环境进行检测，利用机器学习算法得到道路可安全行驶的区域，实时对比智能驾驶系统当前控制的车辆行驶路径是否位于可安全行驶区域之中，如果处于可安全行驶区域中则可以初步判断为安全，否则为不安全。本发明的智能驾驶车辆的安全性监控方法通过此种方式能够对智能驾驶车辆的行驶状态进行准确判断，进而获得更加可靠的控制指令。
本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本发明提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。
此外，需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
图4是根据一示例性实施例示出的一种电子设备的框图。
下面参照图4来描述根据本发明的这种实施方式的电子设备200。图4显示的电子设备200仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，电子设备200以通用计算设备的形式表现。电子设备200的组件可以包括但不限于：至少一个处理单元210、至少一个存储单元220、连接不同系统组件(包括存储单元220和处理单元210)的总线230、显示单元240等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元210执行，使得所述处理单元210执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元210可以执行如图3中所示的步骤。
所述存储单元220可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)2201和/或高速缓存存储单元2202，还可以进一步包括只读存储单元(ROM)2203。
所述存储单元220还可以包括具有一组(至少一个)程序模块2205的程序/实用工具2204，这样的程序模块2205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线230可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备200也可以与一个或多个外部设备300(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备200交互的设备通信，和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口250进行。并且，电子设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、或者网络设备等)执行根据本公开实施方式的上述方法。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该计算机可读介质实现如下功能：实时获取车辆行驶方向上的图像；通过机器学习算法对所述图像进行场景分割，获取安全区域；计算所述车辆的行驶路径；判断所述车辆是否处于所述安全区域内；以及根据判断结果对所述智能驾驶车辆给出告警提示和/或调整自动驾驶控制指令。
以上具体地示出和描述了本发明的示例性实施例。应可理解的是，本发明不限于这里描述的详细结构、设置方式或实现方法；相反，本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。
此外，本说明书说明书附图所示出的结构、比例、大小等，均仅用以配合说明书所公开的内容，以供本领域技术人员了解与阅读，并非用以限定本公开可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本公开所能产生的技术效果及所能实现的目的下，均应仍落在本公开所公开的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“第一”、“第二”及“一”等的用语，也仅为便于叙述的明了，而非用以限定本公开可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当也视为本发明可实施的范畴。
Claims (10)
1.一种智能驾驶车辆的安全性监控系统，其特征在于，包括：
图像采集模块，用于实时获取车辆行驶方向上的图像；
场景分割模块，用于通过机器学习算法对所述图像进行场景分割，获取安全区域；
路径计算模块，用于计算所述车辆的行驶路径；以及
安全判断模块，用于判断所述车辆是否处于所述安全区域内。
2.如权利要求1所述的系统，其特征在于，所述图像采集模块还用于对所述图像进行预处理，所述的预处理包括图像校准、去畸变中的一种或者多种。
3.如权利要求1所述的系统，其特征在于，所述路径计算模块，包括：
车辆姿态单元，用于获取所述车辆的位姿信息；
指令获取单元，用于获取所述车辆的自动驾驶控制指令；以及
路径生成单元，用于根据所述位姿信息与所述自动驾驶控制指令生成所述车辆的行驶路径。
4.如权利要求1所述的系统，其特征在于，所述安全判断模块，包括：
当前位置判断单元，用于判断所述车辆的当前位置是否处于所述安全区域内；以及
行驶路径判断单元，用于判断所述车辆的行驶路径是否处于所述安全区域内。
5.如权利要求1所述的系统，其特征在于，还包括：
告警模块，用于当所述车辆的当前位置或行驶路径不处于所述安全区域内时，给出告警提示。
6.如权利要求1所述的系统，其特征在于，还包括：
校准模块，用于当所述车辆的行驶路径不处于所述安全区域内时，调整自动驾驶控制指令。
7.如权利要求1所述的系统，其特征在于，所述机器学习算法采用卷积神经网络算法。
8.一种智能驾驶车辆的安全性监控方法，其特征在于，包括：
实时获取车辆行驶方向上的图像；
通过机器学习算法对所述图像进行场景分割，获取安全区域；
计算所述车辆的行驶路径；
判断所述车辆是否处于所述安全区域内；以及
根据判断结果对所述智能驾驶车辆给出告警提示和/或调整自动驾驶控制指令。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求8所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求8所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810005145.9A CN108196546A (zh) | 2018-01-03 | 2018-01-03 | 智能驾驶车辆的安全性监控系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810005145.9A CN108196546A (zh) | 2018-01-03 | 2018-01-03 | 智能驾驶车辆的安全性监控系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108196546A true CN108196546A (zh) | 2018-06-22 |
Family
ID=62587631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810005145.9A Pending CN108196546A (zh) | 2018-01-03 | 2018-01-03 | 智能驾驶车辆的安全性监控系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108196546A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109532724A (zh) * | 2018-12-29 | 2019-03-29 | 驭势科技（北京）有限公司 | 一种车载自动驾驶控制电路 |
| CN109624994A (zh) * | 2019-01-28 | 2019-04-16 | 浙江吉利汽车研究院有限公司 | 一种车辆自动驾驶控制方法、装置、设备及终端 |
| CN110347043A (zh) * | 2019-07-15 | 2019-10-18 | 武汉天喻信息产业股份有限公司 | 一种智能驾驶控制方法及装置 |
| WO2020038091A1 (zh) * | 2018-08-22 | 2020-02-27 | 北京市商汤科技开发有限公司 | 智能驾驶控制方法与装置、电子设备、程序和介质 |
| CN111142519A (zh) * | 2019-12-17 | 2020-05-12 | 西安工业大学 | 基于计算机视觉和超声波雷达冗余的自动驾驶系统及其控制方法 |
| CN111857108A (zh) * | 2019-04-01 | 2020-10-30 | 北京地平线机器人技术研发有限公司 | 一种自动跟车的方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101497330A (zh) * | 2008-01-29 | 2009-08-05 | 福特全球技术公司 | 用于碰撞过程预测的系统 |
| CN103101533A (zh) * | 2011-11-15 | 2013-05-15 | 现代自动车株式会社 | 用于运行汽车防撞设备的装置和方法 |
| WO2014076758A1 (ja) * | 2012-11-13 | 2014-05-22 | トヨタ自動車 株式会社 | 運転支援装置及び運転支援方法 |
| CN103827940A (zh) * | 2011-09-26 | 2014-05-28 | 丰田自动车株式会社 | 车辆的驾驶辅助系统 |
| CN103842230A (zh) * | 2011-10-03 | 2014-06-04 | 丰田自动车株式会社 | 车辆的驾驶辅助系统 |
| CN104569998A (zh) * | 2015-01-27 | 2015-04-29 | 长春理工大学 | 基于激光雷达的车辆安全行驶区域的检测方法及装置 |
| CN105799700A (zh) * | 2015-01-20 | 2016-07-27 | 丰田自动车株式会社 | 避免碰撞控制系统和控制方法 |
| CN105966312A (zh) * | 2016-04-15 | 2016-09-28 | 山东省科学院自动化研究所 | 一种多功能车辆先进驾驶辅助系统与方法 |
| CN107215339A (zh) * | 2017-06-26 | 2017-09-29 | 地壳机器人科技有限公司 | 自动驾驶车辆的换道控制方法和装置 |
-
2018
- 2018-01-03 CN CN201810005145.9A patent/CN108196546A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101497330A (zh) * | 2008-01-29 | 2009-08-05 | 福特全球技术公司 | 用于碰撞过程预测的系统 |
| CN103827940A (zh) * | 2011-09-26 | 2014-05-28 | 丰田自动车株式会社 | 车辆的驾驶辅助系统 |
| CN103842230A (zh) * | 2011-10-03 | 2014-06-04 | 丰田自动车株式会社 | 车辆的驾驶辅助系统 |
| CN103101533A (zh) * | 2011-11-15 | 2013-05-15 | 现代自动车株式会社 | 用于运行汽车防撞设备的装置和方法 |
| WO2014076758A1 (ja) * | 2012-11-13 | 2014-05-22 | トヨタ自動車 株式会社 | 運転支援装置及び運転支援方法 |
| CN105799700A (zh) * | 2015-01-20 | 2016-07-27 | 丰田自动车株式会社 | 避免碰撞控制系统和控制方法 |
| CN104569998A (zh) * | 2015-01-27 | 2015-04-29 | 长春理工大学 | 基于激光雷达的车辆安全行驶区域的检测方法及装置 |
| CN105966312A (zh) * | 2016-04-15 | 2016-09-28 | 山东省科学院自动化研究所 | 一种多功能车辆先进驾驶辅助系统与方法 |
| CN107215339A (zh) * | 2017-06-26 | 2017-09-29 | 地壳机器人科技有限公司 | 自动驾驶车辆的换道控制方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| （美）胡迪•利普森，等: "《无人驾驶》", 31 May 2017, 上海：文汇出版社 * |
| 本刊编辑部: "特别策划：为你而来——NO.4辅助还是自动？", 《汽车之友》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020038091A1 (zh) * | 2018-08-22 | 2020-02-27 | 北京市商汤科技开发有限公司 | 智能驾驶控制方法与装置、电子设备、程序和介质 |
| CN109532724A (zh) * | 2018-12-29 | 2019-03-29 | 驭势科技（北京）有限公司 | 一种车载自动驾驶控制电路 |
| CN109532724B (zh) * | 2018-12-29 | 2020-12-01 | 驭势科技（北京）有限公司 | 一种车载自动驾驶控制电路 |
| CN109624994A (zh) * | 2019-01-28 | 2019-04-16 | 浙江吉利汽车研究院有限公司 | 一种车辆自动驾驶控制方法、装置、设备及终端 |
| CN109624994B (zh) * | 2019-01-28 | 2020-09-11 | 浙江吉利汽车研究院有限公司 | 一种车辆自动驾驶控制方法、装置、设备及终端 |
| CN111857108A (zh) * | 2019-04-01 | 2020-10-30 | 北京地平线机器人技术研发有限公司 | 一种自动跟车的方法及装置 |
| CN110347043A (zh) * | 2019-07-15 | 2019-10-18 | 武汉天喻信息产业股份有限公司 | 一种智能驾驶控制方法及装置 |
| CN110347043B (zh) * | 2019-07-15 | 2023-03-10 | 武汉天喻信息产业股份有限公司 | 一种智能驾驶控制方法及装置 |
| CN111142519A (zh) * | 2019-12-17 | 2020-05-12 | 西安工业大学 | 基于计算机视觉和超声波雷达冗余的自动驾驶系统及其控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108196546A (zh) | 智能驾驶车辆的安全性监控系统及方法 | |
| US10457294B1 (en) | Neural network based safety monitoring system for autonomous vehicles | |
| CN109426256B (zh) | 自动驾驶车辆的基于驾驶员意图的车道辅助系统 | |
| JP6800899B2 (ja) | 視界に制限のある交差点への接近のためのリスクベースの運転者支援 | |
| US10556600B2 (en) | Assessment of human driving performance using autonomous vehicles | |
| US9429946B2 (en) | Driving control system and dynamic decision control method thereof | |
| US11345359B2 (en) | Autonomous driving vehicles with dual autonomous driving systems for safety | |
| WO2019112799A1 (en) | Improving safety of autonomous vehicles using a virtual augmented support environment | |
| JP2019519851A (ja) | 車両を制御する方法及びシステム | |
| CN108931971A (zh) | 用于无人驾驶的移动终端、车辆、服务器及无人驾驶系统 | |
| US11724708B2 (en) | Fail-safe handling system for autonomous driving vehicle | |
| US20070043491A1 (en) | Driver assistance system | |
| CN108958237A (zh) | 用于无人驾驶的移动终端、车辆及无人驾驶系统 | |
| CN111613091A (zh) | 利用外部驾驶员数据增强移动设备操作 | |
| Munir et al. | Autonomous vehicle: The architecture aspect of self driving car | |
| US9321458B2 (en) | Sliding mode trajectory voting strategy module and driving control system and method thereof | |
| EP3882100B1 (en) | Method for operating an autonomous driving vehicle | |
| US11372417B2 (en) | Method for predicting exiting intersection of moving obstacles for autonomous driving vehicles | |
| US11702087B2 (en) | Autonomous driving monitoring system | |
| WO2021090897A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
| CN111493443A (zh) | 利用智能头盔来监控双轮车盲区的方法及装置 | |
| CN116390879A (zh) | 用于避免即将发生的碰撞的系统和方法 | |
| CN113496189A (zh) | 基于静态障碍物地图的感知方法及系统 | |
| CN107831496A (zh) | 一种智能汽车自动获取前车速度的方法及系统 | |
| WO2022150070A2 (en) | Multi-layer autonomous vehicle control architecture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180622 |
|
| RJ01 | Rejection of invention patent application after publication |