CN111278708B - 用于辅助驾驶的方法和装置 - Google Patents

用于辅助驾驶的方法和装置 Download PDF

Info

Publication number
CN111278708B
CN111278708B CN201780096344.9A CN201780096344A CN111278708B CN 111278708 B CN111278708 B CN 111278708B CN 201780096344 A CN201780096344 A CN 201780096344A CN 111278708 B CN111278708 B CN 111278708B
Authority
CN
China
Prior art keywords
moving object
sets
video frames
training
intent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780096344.9A
Other languages
English (en)
Other versions
CN111278708A (zh
Inventor
S·卡拉布鲁恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Publication of CN111278708A publication Critical patent/CN111278708A/zh
Application granted granted Critical
Publication of CN111278708B publication Critical patent/CN111278708B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3691—Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Analytical Chemistry (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了用于辅助驾驶的方法和装置。用于辅助驾驶的方法可以包括：从捕获的关于车辆的周围状况的视频中识别视频帧的一个或多个集合，其中所述视频帧的一个或多个集合包括移动物体；从所述视频帧的一个或多个集合中提取指示移动物体的运动特点的一个或多个特征；以及基于所述一个或多个特征来预测所述视频帧的一个或多个集合中移动物体的运动意图。

Description

用于辅助驾驶的方法和装置
技术领域
本公开涉及用于辅助驾驶的方法和装置。
背景技术
车辆可以配备有诸如相机的视频捕获设备，以允许记录驾驶场景。由于每天由车辆记录大量的视频数据，因此越来越需要以高效的方式分析和解释视频数据，使得所记录的视频数据可以用于辅助驾驶。
发明内容
本公开的实施例提供了用于辅助驾驶的方法和装置。
在本公开的一方面，提供了一种用于辅助驾驶的方法。该方法可以包括：从捕获的关于车辆的周围状况的视频中识别视频帧的一个或多个集合，其中视频帧的一个或多个集合可以包括移动物体；从视频帧的一个或多个集合中提取指示移动物体的运动特点的一个或多个特征；以及基于一个或多个特征来预测视频帧的一个或多个集合中移动物体的运动意图。
在本公开的另一方面，提供了一种用于辅助驾驶的装置。该装置可以包括相机和处理器。相机可以被配置为捕获关于车辆的周围状况的视频。处理器可以被配置为：从视频中识别视频帧的一个或多个集合，其中视频帧的一个或多个集合可以包括移动物体；从视频帧的一个或多个集合中提取指示移动物体的运动特点的一个或多个特征；以及基于一个或多个特征来预测视频帧的一个或多个集合中移动物体的运动意图。
在本公开的另一方面，提供了一种车辆，其包括如上所述的装置。
在本公开的另一方面，提供了一种非暂态计算机可读介质，其包括在其上存储的用于执行如上所述的方法的指令。
根据下文给出的详细描述，本公开的进一步的适用范围将变得显而易见。但是，应当理解的是，详细描述和具体示例虽然指示了本公开的优选实施例，但是仅以说明的方式给出，因为根据以下详细描述，在本公开的精神和范围内的各种改变和修改对于本领域技术人员而言将是显而易见的。
附图说明
为了更清楚地描述本公开的实施例或现有技术中的技术方案，以下对实施例或现有技术的描述中所使用的附图进行简要介绍。显然，附图仅仅是本公开的一些实施例，并且本领域普通技术人员也可以在不付出创造性劳动的情况下根据这些附图来获得其它附图。
图1图示了根据本公开一些实施例的用于辅助驾驶的方法。
图2图示了根据本公开一些实施例的用于获得预训练的预测模型的方法。
图3图示了根据本公开一些实施例的用于辅助驾驶的装置。
图4图示了根据本公开一些实施例的车辆。
图5图示了根据本公开一些实施例的计算设备的框图，该计算设备是可以应用于本公开各方面的硬件设备的示例。
具体实施方式
在以下详细描述中，阐述了许多具体细节以提供对所描述的示例性实施例的透彻理解。但是，对本领域技术人员来说，显而易见的是所描述的实施例可以在没有这些具体细节中的一些或全部的情况下实践。在其它示例性实施例中，众所周知的结构或处理步骤没有详细描述，以避免不必要地模糊本公开的概念。
目前，在一些事情正在发生时，通过使用传感器，行进中的车辆可以识别与安全性相关的场景(例如，在高速公路上反超的卡车、被其它车辆超车抢挡)。但是，车辆仅在发生事情时才识别安全性风险。无法识别移动物体(例如，反超的卡车，或可能试图超车抢挡的车辆)的意图。
交通中移动物体的意图识别可以在事情发生之前支持车辆。例如，如果假设有两辆卡车(例如，第一辆卡车和其后的第二辆卡车)在高速公路上的行车道上行驶，该行车道位于车辆现在正在行驶的车道的右边。第二辆卡车的行驶速度比第一辆卡车快20公里/小时。两辆卡车之间的距离越来越短。因此，第二辆卡车反超第一辆卡车的意图提高。车辆驾驶员的安全性风险概率也提高了，因为第二辆卡车可能通过进入车辆现在正在行驶的车道来反超第一辆卡车。
如果可以预测交通中移动物体(例如，以上示例中的第二辆卡车)的运动意图，那么将增加车辆和卡车的驾驶员的驾驶安全性，并相应地提高顾客满意度。
鉴于上述情况，根据本公开的一些实施例，提供了用于通过预测交通中移动物体的运动意图来辅助驾驶的方法和装置。
图1图示了根据本公开的一些实施例的用于辅助驾驶的方法100。
如图1中所示，方法100可以包括在步骤S110中从捕获的关于车辆周围状况的视频中识别视频帧的一个或多个集合。视频帧的一个或多个集合可以包括移动物体。
视频可以由车辆的视频捕获设备(诸如车辆的相机)捕获。视频可以指示车辆的周围状况。视频可以包括一系列视频帧。应当注意的是，由于在车辆周围没有移动物体，因此所捕获的视频的一些片段可以不包括移动物体，并且分析视频的这些片段对辅助驾驶没有帮助。因此，在方法100的这个步骤，从捕获的视频中识别包括移动物体的视频帧的一个或多个集合。可以通过任何目标识别方法来识别包括移动物体的视频帧。
在示例中，目标识别方法可以包括将捕获的视频与用于移动物体的模板进行匹配。可以预先提供模板。
在另一个示例中，目标识别方法可以包括以下操作：获得训练图像、训练目标识别模型，以及使用经训练的模型来识别捕获的视频中的物体。目标识别模型可以包括任何现有的机器学习模型或将来开发的机器学习模型。
在一些实施例中，移动物体可以包括以下当中的一种或多种：车辆、行人、非机动车辆(例如，自行车、三轮车、电动自行车、残疾人电动轮椅或动物车辆等)和动物(例如，与交通相关的狗、猫、牛或其它动物)。
在步骤S110处识别出包括移动物体的视频帧的一个或多个集合后，方法100还可以包括在步骤S120处从识别出的视频帧的一个或多个集合中提取指示移动物体的运动特点的一个或多个特征。
在一些实施例中，指示移动物体的运动特点的一个或多个特征可以包括以下当中的一个或多个：移动物体的速度、移动物体的移动朝向、移动物体和交通中其它移动物体之间的距离、移动物体和车辆之间的距离以及移动物体的加速度。
在一些实施例中，可以通过单独地或与车辆的传感器数据组合地分析视频帧的一个或多个集合来提取指示移动物体的运动特点的特征。
方法100还可以包括在步骤S130处基于一个或多个特征来预测视频帧的一个或多个集合中移动物体的运动意图。
在一些实施例中，运动意图可以包括以下当中的一个或多个：过马路、加速、减速、突然停止、超车抢挡、停车和超车。
在示例中，假设典型的超车场景，在时间t1和时间t2(其中时间t2在t1之后)分别有两个视频帧。
在简化的场景中，可以在满足以下条件时确定超车的运动意图：
(a)在时间t2移动物体M2(例如，第二卡车)的速度大于在时间t1移动物体M2的速度；以及
(b)在时间t2移动物体M2和M2前方的移动物体(例如，第一卡车)之间的距离小于在时间t1它们之间的距离。
所利用的移动物体的速度以及距离可以已经从识别出的视频帧的一个或多个集合中提取出来，并且可以由在步骤S120中提取出的特征指示。此外，时间t1和时间t2可以是视频帧的时间戳。
在更复杂的场景中，可以在满足附加条件时确定超车的运动意图：
(c)在时间t2移动物体M2的加速度大于加速度阈值；以及
(d)在时间t2移动物体M2和M2前方的移动物体之间的距离大于第一距离阈值并且小于第二距离阈值。
注意的是，可以根据需要设置加速度阈值以及第一距离阈值和第二距离阈值。
还应该注意的是，所利用的移动物体的加速度和距离可以已经从识别出的视频帧的一个或多个集合中提取出来，并且可以由在步骤S120中提取出的特征指示。此外，时间t1和时间t2可以是视频帧的时间戳。
在另一个示例中，假设典型的突然停止场景，在时间t1和时间t2(其中时间t2在t1之后)有两个视频帧。
在简化的情况下，可以在满足以下条件时确定突然停止的运动意图：
(a)在时间t2移动物体M2的速度小于在时间t1移动物体M2的速度；以及
(b)在时间t2移动物体M2和M2前方的移动物体之间的距离小于在时间t1它们之间的距离。
注意的是，所利用的移动物体的速度和距离可以已经从识别出的视频帧的一个或多个集合中提取出来，并且可以由在步骤S120中提取出的特征指示。此外，时间t1和时间t2可以是视频帧的时间戳。
在更复杂的场景中，可以在满足附加条件时确定突然停止的运动意图：
(c)在时间t2移动物体M2的加速度的绝对值大于加速度阈值；以及
(d)在时间t2移动物体M2和M2前方的移动物体之间的距离小于距离阈值。
注意的是，可以根据需要设置加速度阈值以及距离阈值。
还应该注意的是，所利用的移动物体的加速度和距离可以已经从识别出的视频帧的一个或多个集合中提取出来，并且可以由在步骤S120中提取出的特征指示。此外，时间t1和时间t2可以是视频帧的时间戳。
在又一个示例中，假设典型的超车抢挡场景，在时间t1和时间t2(其中时间t2在t1之后)有两个视频帧。
在简化的场景中，可以在满足以下条件时确定超车抢挡的运动意图：
(a)在时间t2移动物体M2的速度大于在时间t1移动物体M2的速度；
(b)在时间t2移动物体M2与车辆之间的距离小于在时间t1它们之间的距离；以及
(c)移动物体的移动朝向是朝着车辆的车道。
注意的是，所利用的移动物体的速度、距离和移动朝向可以已经从识别出的视频帧的一个或多个集合中提取出来，并且可以由在步骤S120中提取出的特征指示。此外，时间t1和时间t2可以是视频帧的时间戳。
在更复杂的场景中，可以在满足附加条件时确定超车抢挡的运动意图：
(d)在时间t2移动物体M2的加速度大于加速度阈值；以及
(e)在时间t2移动物体M2和车辆之间的距离小于距离阈值。
注意的是，可以根据需要设置加速度阈值以及距离阈值。
注意的是，所利用的移动物体的加速度和距离可以已经从识别出的视频帧的一个或多个集合中提取出来，并且可以由在步骤S120中提取出的特征指示。此外，时间t1和时间t2可以是视频帧的时间戳。
应当注意的是，上述示例中的第二时间t2与第一时间t1之间的间隔(即，Δt)可以根据需要设置。例如，Δt可以根据需要被设置为1秒、1分钟或其它值。特别地，对于1s的间隔，将采用Δt＝1s的视频帧的一个或多个集合中的两个视频帧来预测运动意图。
在一些实施例中，在步骤S130处基于一个或多个特征来预测视频帧的一个或多个集合中移动物体的运动意图可以包括通过使用预训练的预测模型基于一个或多个特征来预测视频帧的一个或多个集合中的移动物体的运动意图。
图2图示了根据本公开一些实施例的用于获得预训练的预测模型的方法200。
在步骤S210中，从预先记录的训练视频片段中识别训练视频帧的一个或多个集合。训练视频帧的一个或多个集合可以包括训练移动物体。预先记录的训练视频片段可以由车辆的相机记录。训练视频帧的一个或多个集合的识别可以与方法100的步骤S110中的识别相似。可替代地，可以由人识别训练视频帧的一个或多个集合。
在步骤S220中，确定训练视频帧的一个或多个集合中训练移动物体的真实运动意图。在简化的示例中，移动物体的真实运动意图可以由人来确定。可替代地，可以通过分析训练视频帧的一个或多个集合来确定真实运动意图。
在步骤S230中，从训练视频帧的一个或多个集合中提取指示训练移动物体的运动特点的一个或多个训练特征。
指示训练移动物体的运动特点的一个或多个训练特征可以包括以下当中的一个或多个：训练移动物体的速度、训练移动物体的移动朝向、训练移动物体和训练视频帧的一个或多个集合中其它训练移动物体之间的距离、移动物体和经由其记录训练视频片段的车辆之间的距离以及训练移动物体的加速度。
在一些实施例中，指示训练移动物体的运动特点的特征可以通过单独地或者结合经由其记录训练视频片段的车辆的传感器数据分析训练视频帧来提取。
在步骤S240中，通过使用预测模型基于从训练视频帧的一个或多个集合中提取出的一个或多个训练特征来预测训练移动物体的运动意图，由此获得训练移动物体的预测运动意图。在一些实施例中，预测模型可以包括以下当中的一个或多个：生成对抗网络、自动编码变化贝叶斯和自动回归模型等。
在步骤S250中，基于真实运动意图和预测运动意图来修改预测模型的参数。特别地，修改预测模型的参数，使得真实运动意图与预测运动意图匹配。
注意的是，可以迭代地执行对预测模型的参数的修改。
在预测阶段(例如，在方法100的步骤S130中)，将指示从视频帧的一个或多个集合中提取出的移动物体的运动特点的一个或多个特征输入到经训练的预测模型，经训练的模型的输出是移动物体的运动意图。
在一些实施例中，方法100还可以包括向车辆的驾驶员提示移动物体的运动意图。
例如，可以在视觉、听觉或触觉上向车辆的驾驶员提示移动物体的运动意图。特别地，可以通过在车辆的屏幕上显示的图像、或通过车辆中的扬声器播放的声音或通过嵌入在驾驶员座椅、安全带或方向盘中的触觉元件播放的触觉效果来向车辆的驾驶员提示移动物体的运动意图。
在一些实施例中，运动意图可以被周期性地预测。因而，可以周期性地提示车辆的驾驶员。预测的周期可以根据需要来设置。
在一些实施例中，方法100还可以包括基于移动物体的预测运动意图来控制车辆，以减轻或减少与移动物体的运动意图相关联的对车辆的潜在影响。
例如，如果预测先前示例中的移动物体M2具有超车的运动意图，那么可以控制车辆的速度(例如，减速)。因此，即使移动物体M2实际上在其之前超过移动物体M1并进入车辆行驶的车道，也不会对车辆造成重大影响。附加地或可替代地，可以控制车辆的转向系统，使得车辆可以在超车发生之前切换到另一个车道，由此减轻或减小由于移动物体M2的超车而对车辆的潜在影响。
在一些实施例中，方法100还可以包括基于一个或多个特征来确定运动意图的运动分数。
在示例中，可以基于如下构造的简单模型来计算运动意图的运动分数。
假设典型的超车场景，可以设置指示场景中所涉及的移动物体的运动特点(例如，速度、距离、加速度等)的特征的典型值。此外，这些特征可以被归一化。然后，可以通过归一化的特征构造向量，由此获得超车场景的典型特征向量。
当确定运动分数时，可以计算由提取出然后归一化的实际特征构造的向量与用于超车场景的典型特征向量之间的相关系数。计算出的相关系数可以被用作运动分数。
在另一个示例中，可以通过预训练的预测模型的集合来计算运动分数，其中该集合中的每个模型专用于运动意图。
对于专用于超车的预测模型，在训练阶段，将实际运动意图为超车的样本的对象值设置为100，而将实际运动意图不是超车的样本的对象值设置为0。
注意的是，指示样本中车辆的运动特点的特征可以从训练视频帧中提取并且可以被用作预测模型的输入，而预测模型的输出可以被用作预测的输出值。
然后，调整预测模型的参数，以便减小模型的预测输出值与设定的目标值之间的差异。例如，可以使用梯度下降法来训练模型，由此获得经训练的预测模型。
在预测阶段，可以将从视频帧的一个或多个集合中提取出的指示移动物体的运动特点的一个或多个特征输入到针对运动意图的经训练的预测模型中，预测模型的输出是移动物体针对运动意图的运动分数。
注意的是，关于专用于超车的预测模型(即，包括训练阶段和预测阶段的操作)描述的方法也适用于专用于其它运动意图的预测模型。
通过以上操作，可以针对移动物体获得具有其对应运动分数的运动意图的集合。
在一些实施例中，方法100还可以包括向车辆的驾驶员提示运动意图的运动分数。
例如，可以在视觉、听觉或触觉上向车辆的驾驶员提示运动分数。特别地，可以通过在车辆的屏幕上显示的图像、或通过车辆中的扬声器播放的声音或通过嵌入在驾驶员座椅、安全带或方向盘中的触觉元件播放的触觉效果来向车辆的驾驶员提示运动意图的运动分数。
此外，可以对运动分数进行排序并将其以升序或降序提供给车辆的驾驶员。对于升序，将首先提供具有最高运动分数的运动意图。对于降序，将首先提供具有最低运动分数的运动意图。
在一些实施例中，运动分数可以被周期性地计算。因而，可以周期性地提示驾驶员。还应该注意的是，可以根据需要设置用于计算运动分数的时间段。
图3图示了根据本公开一些实施例的用于辅助驾驶的装置300。
如图3中所示，装置300可以包括相机310和处理器320。相机310可以被配置为捕获关于车辆周围状况的视频。处理器320可以被配置为从视频中识别出视频帧的一个或多个集合，其中视频帧的一个或多个集合可以包括移动物体；从视频帧的一个或多个集合中提取指示移动物体的运动特点的一个或多个特征；以及基于一个或多个特征预测移动物体在视频帧的一个或多个集合中的运动意图。
在一些实施例中，处理器320还可以被配置为：基于一个或多个特征来确定运动意图的运动分数。
在一些实施例中，为了预测移动物体的运动意图，处理器320还可以被配置为：通过使用预训练的预测模型基于一个或多个特征预测视频帧的一个或多个集合中移动物体的运动意图。
在一些实施例中，可以通过以下操作获得预训练的预测模型：从包括训练移动物体的预先记录的视频片段中识别训练视频帧的一个或多个集合；确定训练视频帧的一个或多个集合中训练移动物体的真实运动意图；从训练视频帧的一个或多个集合中提取指示训练移动物体的运动特点的一个或多个训练特征；通过使用预测模型基于从训练视频帧的一个或多个集合中提取的一个或多个训练特征来预测训练移动物体的运动意图；以及基于真实运动意图和预测运动意图来修改预测模型的参数。
在一些实施例中，处理器320还可以被配置为：向车辆的驾驶员提示移动物体的运动意图。
在一些实施例中，处理器320还可以被配置为：向车辆的驾驶员提示运动意图的运动分数。
在一些实施例中，处理器320还可以被配置为：基于移动物体的预测运动意图来控制车辆，以减轻或减少与移动物体的运动意图相关联的对车辆的潜在影响。
图4图示了根据本公开一些实施例的车辆400。车辆400可以包括装置300。
在一些实施例中，装置300的相机310可以被安装在车辆的顶部，以便捕获关于车辆400的周围状况的视频。处理器320可以被嵌入在车辆400的内部。
根据本公开的另一方面，提供了一种非瞬态计算机可读介质，其包括存储在其上的用于执行方法100或方法200的指令。
图5图示了根据本公开一些实施例的计算设备的框图，该计算设备是可以应用于本公开的各方面的硬件设备的示例。
参考图5，现在将描述计算设备500，该计算设备500是可以应用于本公开的各方面的硬件设备的示例。计算设备500可以是被配置为执行处理和/或计算的任何机器，其可以是但不限于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数据助理、智能电话、车载计算机或其任何组合。前面提到的各种装置/服务器/客户端设备可以全部或至少部分地由计算设备500或类似设备或系统来实现。
计算设备500可以包括可能经由一个或多个接口与总线502连接或与其通信的元件。例如，计算设备500可以包括总线502、一个或多个处理器504、一个或多个输入设备506以及一个或多个输出设备508。一个或多个处理器504可以是任何种类的处理器，并且可以包括但不限于一个或多个通用处理器和/或一个或多个专用处理器(诸如专用处理芯片)。输入设备506可以是可以向计算设备输入信息的任何种类的设备，并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或遥控器。输出设备508可以是可以呈现信息的任何种类的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出端子、振动器和/或打印机。计算设备500还可以包括非瞬态存储设备510或与之连接，该非瞬态存储设备510可以是非瞬态的并且可以实现数据存储的任何存储设备，并且可以包括但不限于盘驱动器、光学存储设备、固态存储装置、软盘、柔性盘、硬盘、磁带或任何其它磁性介质、光盘或任何其它光学介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓存存储器和/或任何其它存储器芯片或盒带、和/或计算机可以从中读取数据、指令和/或代码的任何其它介质。非瞬态存储设备510可以与接口可分离。非瞬态存储设备510可以具有用于实现上述方法和步骤的数据/指令/代码。计算设备500还可以包括通信设备512。通信设备512可以是能够与外部装置和/或与网络通信的任何类型的设备或系统，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组，诸如BluetoothTM设备、1302.11设备、Wi-Fi设备、WiMAX设备、蜂窝通信设施等。
当计算设备500用作车载设备时，它也可以连接到外部设备，例如GPS接收器、用于感测不同环境数据的传感器(诸如加速度传感器、车轮速度传感器、陀螺仪等)。以这种方式，计算设备500可以例如接收指示车辆的行驶情况的位置数据和传感器数据。当计算设备500用作车载设备时，它还可以连接到其它设施(诸如发动机系统、刮水器、防抱死制动系统等)，用于控制车辆的行驶和操作。
此外，非瞬态存储设备510可以具有地图信息和软件元素，使得处理器504可以执行路线引导处理。此外，输出设备506可以包括用于显示地图、车辆的位置标记以及指示车辆的行驶情况的图像的显示器。输出设备506还可以包括扬声器或与耳机的接口，用于音频引导。
总线502可以包括但不限于工业标准体系架构(ISA)总线、微通道体系架构(MCA)总线、增强型ISA(EISA)总线、视频电子标准协会(VESA)本地总线以及外围组件互连(PCI)总线。特别地，对于车载设备，总线502还可以包括控制器区域网络(CAN)总线或被设计用于汽车上的应用的其它体系架构。
计算设备500还可以包括工作存储器514，其可以是可以存储对处理器504的工作有用的指令和/或数据的任何种类的工作存储器，并且可以包括但不限于随机存取存储器和/或只读存储器设备。
软件元素可以位于工作存储器514中，包括但不限于操作系统516、一个或多个应用程序518、驱动程序和/或其它数据和代码。用于执行以上描述的方法和步骤的指令可以包括在一个或多个应用程序518中，并且上面提到的各种装置/服务器/客户端设备的部件/单元/元件可以通过处理器504读取并执行一个或多个应用程序518的指令来实现。
还应当认识到的是，可以根据具体要求进行变化。例如，也可以使用定制的硬件，和/或可以以硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来实现特定元件。另外，可以采用到其它计算设备(诸如网络输入/输出设备)的连接。例如，所公开的方法和设备中的一些或全部可以通过使用根据本公开的逻辑和算法通过用汇编语言或硬件编程语言(诸如VERILOG、VHDL、C++)对硬件(例如，包括现场可编程门阵列(FPGA)和/或可编程逻辑阵列(PLA)的可编程逻辑电路系统)进行编程来实现。
虽然到目前为止已经参考附图描述了本公开的各方面，但是上述方法、系统和设备仅仅是示例性示例，并且本公开的范围不限于这些方面，而是仅由所附权利要求书及其等同物定义。各种元素可以被省略或者可以被等效元素代替。此外，可以以与本公开中描述的次序不同的次序执行步骤。此外，可以以各种方式组合各种元素。同样重要的是，随着技术的发展，所描述的许多元素可以由在本公开之后出现的等效元素代替。

Claims (16)

1.一种用于辅助驾驶的方法，包括：
从捕获的关于车辆的周围状况的视频中识别视频帧的一个或多个集合，其中所述视频帧的一个或多个集合包括移动物体；
从所述视频帧的一个或多个集合中提取指示移动物体的运动特点的一个或多个特征；以及
基于所述一个或多个特征来预测所述视频帧的一个或多个集合中移动物体的运动意图；
其中预测包括：
通过使用预训练的预测模型，基于所述一个或多个特征来预测所述视频帧的一个或多个集合中移动物体的运动意图；
其中预训练的预测模型是通过以下方式获得的：
从预先记录的训练视频片段中识别训练视频帧的一个或多个集合，其中所述训练视频帧的一个或多个集合包括训练移动物体；
确定所述训练视频帧的一个或多个集合中训练移动物体的真实运动意图；
从所述训练视频帧的一个或多个集合中提取指示训练移动物体的运动特点的一个或多个训练特征；
通过使用预测模型，基于从所述训练视频帧的一个或多个集合中提取出的所述一个或多个训练特征来预测训练移动物体的运动意图；以及
基于真实运动意图和预测运动意图来修改预测模型的参数。
2.如权利要求1所述的方法，还包括：
基于所述一个或多个特征来确定运动意图的运动分数。
3.如权利要求1所述的方法，其中预测模型包括以下当中的一个或多个：
生成对抗网络、自动编码变化贝叶斯和自动回归模型。
4.如权利要求1所述的方法，其中指示移动物体的运动特点的所述一个或多个特征包括以下当中的一个或多个：
移动物体的速度、移动物体的移动朝向、移动物体和交通中其它移动物体之间的距离、移动物体和车辆之间的距离以及移动物体的加速度。
5.如权利要求1所述的方法，其中移动物体包括以下当中的一种或多种：车辆、行人、非机动车辆或动物。
6.如权利要求1所述的方法，其中运动意图包括以下当中的一个或多个：
过马路、加速、减速、突然停止、超车抢挡、停车和超车。
7.如权利要求1所述的方法，还包括：
向车辆的驾驶员提示移动物体的运动意图。
8.如权利要求2所述的方法，还包括：
向车辆的驾驶员提示运动意图的运动分数。
9.如权利要求1所述的方法，还包括：
基于移动物体的预测的运动意图来控制车辆，以减轻或减少与移动物体的运动意图相关联的对车辆的潜在影响。
10.一种用于辅助驾驶的装置，包括：
相机，被配置为捕获关于车辆的周围状况的视频；以及
处理器，被配置为：
从视频中识别视频帧的一个或多个集合，其中所述视频帧的一个或多个集合包括移动物体；
从所述视频帧的一个或多个集合中提取指示移动物体的运动特点的一个或多个特征；以及
基于所述一个或多个特征来预测所述视频帧的一个或多个集合中移动物体的运动意图；
其中为了预测移动物体的运动意图，处理器还被配置为：
通过使用预训练的预测模型，基于所述一个或多个特征来预测所述视频帧的一个或多个集合中移动物体的运动意图；
其中预训练预测模型是通过以下方式获得的：
从包括训练移动物体的预先记录的视频片段中识别训练视频帧的一个或多个集合；
确定所述训练视频帧的一个或多个集合中训练移动物体的真实运动意图；
从所述训练视频帧的一个或多个集合中提取指示训练移动物体的运动特点的一个或多个训练特征；
通过使用预测模型，基于从所述训练视频帧的一个或多个集合中提取出的所述一个或多个训练特征来预测训练移动物体的运动意图；以及
基于真实运动意图和预测运动意图来修改预测模型的参数。
11.如权利要求10所述的装置，其中处理器还被配置为：
基于所述一个或多个特征来确定运动意图的运动分数。
12.如权利要求10所述的装置，其中处理器还被配置为：
向车辆的驾驶员提示移动物体的运动意图。
13.如权利要求11所述的装置，其中处理器还被配置为：
向车辆的驾驶员提示运动意图的运动分数。
14.如权利要求10所述的装置，其中处理器还被配置为：
基于移动物体的预测的运动意图来控制车辆，以减轻或减少与移动物体的运动意图相关联的对车辆的潜在影响。
15.一种车辆，包括如权利要求10-14中的任一项所述的装置。
16.一种非瞬态计算机可读介质，包括存储在其上的用于执行如权利要求1-9中的任一项所述的方法的指令。
CN201780096344.9A 2017-11-28 2017-11-28 用于辅助驾驶的方法和装置 Active CN111278708B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/113317 WO2019104471A1 (en) 2017-11-28 2017-11-28 Method and apparatus for assisting driving

Publications (2)

Publication Number Publication Date
CN111278708A CN111278708A (zh) 2020-06-12
CN111278708B true CN111278708B (zh) 2023-02-14

Family

ID=66665286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780096344.9A Active CN111278708B (zh) 2017-11-28 2017-11-28 用于辅助驾驶的方法和装置

Country Status (4)

Country Link
US (1) US11748974B2 (zh)
CN (1) CN111278708B (zh)
DE (1) DE112017008236T5 (zh)
WO (1) WO2019104471A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112009470B (zh) * 2020-09-08 2022-01-14 科大讯飞股份有限公司 车辆行驶控制方法、装置、设备及存储介质
CN112560995A (zh) * 2020-12-26 2021-03-26 浙江天行健智能科技有限公司 一种基于gm-hmm的停车意图辨别方法
TWI786893B (zh) * 2021-10-19 2022-12-11 財團法人車輛研究測試中心 艙內監控與情境理解感知方法及其系統

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4830822B2 (ja) 2005-12-07 2011-12-07 日産自動車株式会社 物体検出装置および物体検出方法
JP2008158640A (ja) 2006-12-21 2008-07-10 Fuji Heavy Ind Ltd 移動物体検出装置
JP4349452B2 (ja) 2007-08-27 2009-10-21 トヨタ自動車株式会社 行動予測装置
US8300924B2 (en) 2007-09-27 2012-10-30 Behavioral Recognition Systems, Inc. Tracker component for behavioral recognition system
DE102007049706A1 (de) * 2007-10-17 2009-04-23 Robert Bosch Gmbh Verfahren zur Schätzung der Relativbewegung von Video-Objekten und Fahrerassistenzsystem für Kraftfahrzeuge
JP4853525B2 (ja) 2009-02-09 2012-01-11 トヨタ自動車株式会社 移動領域予測装置
JP5614055B2 (ja) * 2010-02-22 2014-10-29 トヨタ自動車株式会社 運転支援装置
JP5569227B2 (ja) 2010-07-30 2014-08-13 トヨタ自動車株式会社 行動予測装置及び行動予測方法及び運転支援装置
US9581997B1 (en) 2011-04-22 2017-02-28 Angel A. Penilla Method and system for cloud-based communication for automatic driverless movement
WO2013081984A1 (en) * 2011-11-28 2013-06-06 Magna Electronics, Inc. Vision system for vehicle
JP5898001B2 (ja) * 2012-06-26 2016-04-06 本田技研工業株式会社 車両周辺監視装置
WO2014024336A1 (ja) 2012-08-09 2014-02-13 トヨタ自動車株式会社 物体検出装置及び運転支援装置
US10657808B2 (en) * 2013-03-15 2020-05-19 John Lindsay Vehicular communication system
KR101824982B1 (ko) * 2015-10-07 2018-02-02 엘지전자 주식회사 차량 및 그 제어방법
DE102016001772A1 (de) 2016-02-16 2016-08-11 Daimler Ag Verfahren zur Bewegungs- und Verhaltensprognose in einer Fahrzeugumgebung befindlicher Objekte
CN106740864B (zh) 2017-01-12 2019-03-19 北京交通大学 一种驾驶行为意图判断与预测方法
CN107369166B (zh) 2017-07-13 2020-05-08 深圳大学 一种基于多分辨率神经网络的目标跟踪方法及系统

Also Published As

Publication number Publication date
US20200262419A1 (en) 2020-08-20
WO2019104471A1 (en) 2019-06-06
US11748974B2 (en) 2023-09-05
DE112017008236T5 (de) 2020-08-20
CN111278708A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN109429518B (zh) 基于地图图像的自动驾驶交通预测
CN107220581B (zh) 通过后置摄像机的行人检测和运动预测
US11055544B2 (en) Electronic device and control method thereof
US10183679B2 (en) Apparatus, system and method for personalized settings for driver assistance systems
US10336252B2 (en) Long term driving danger prediction system
US10817751B2 (en) Learning data creation method, learning method, risk prediction method, learning data creation device, learning device, risk prediction device, and recording medium
EP3232289A1 (en) Information presentation control apparatus, autonomous vehicle, and autonomous-vehicle driving support system
US20170369072A1 (en) Apparatus, system and method for personalized settings for driver assistance systems
CN111527013B (zh) 车辆变道预测
US20210247201A1 (en) Method and System for Scene-Aware Interaction
AU2019337091A1 (en) Systems and methods for classifying driver behavior
CN111278708B (zh) 用于辅助驾驶的方法和装置
JP2021093162A (ja) 走行関連案内サービスを提供する車両用端末装置、サービス提供サーバ、方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
JP2021026720A (ja) 運転支援装置、車両の制御方法、およびプログラム
US11745745B2 (en) Systems and methods for improving driver attention awareness
EP4047561A1 (en) Method for recognizing an emotion of a driver, apparatus, device, medium and vehicle
JPWO2018138980A1 (ja) 制御システム、制御方法及びプログラム
CN112581750B (zh) 车辆行驶控制方法、装置、可读存储介质及电子设备
CN113424209B (zh) 使用深度学习多预测器融合和贝叶斯优化的轨迹预测
CN108960160B (zh) 基于非结构化预测模型来预测结构化状态量的方法和装置
US11858526B2 (en) Apparatus and method for use with vehicle
US11420639B2 (en) Driving assistance apparatus
WO2020250574A1 (ja) 運転支援装置、運転支援方法及びプログラム
WO2021003636A1 (en) Method and apparatus applied in autonomous vehicle
CN117894164A (zh) 通过v2x技术来实现aeb天气自适应的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant