CN108116409A - 用于生成自主驾驶路线的方法和设备 - Google Patents

用于生成自主驾驶路线的方法和设备 Download PDF

Info

Publication number
CN108116409A
CN108116409A CN201710654744.9A CN201710654744A CN108116409A CN 108116409 A CN108116409 A CN 108116409A CN 201710654744 A CN201710654744 A CN 201710654744A CN 108116409 A CN108116409 A CN 108116409A
Authority
CN
China
Prior art keywords
vanishing point
gradient
vehicle
autonomous vehicle
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710654744.9A
Other languages
English (en)
Other versions
CN108116409B (zh
Inventor
张铁薰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108116409A publication Critical patent/CN108116409A/zh
Application granted granted Critical
Publication of CN108116409B publication Critical patent/CN108116409B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/06—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of combustion engines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/22—Conjoint control of vehicle sub-units of different type or different function including control of suspension systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/143—Speed control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/076—Slope angle of the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/11—Pitch movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/16—Pitch
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/15—Road slope, i.e. the inclination of a road segment in the longitudinal direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/16—Pitch

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

提供一种用于生成自主驾驶路线的方法和设备。一种用于生成在自主车辆的自主驾驶路线的方法包括：接收从自主车辆捕获的前方视野的输入图像；基于输入图像，计算自主车辆与地面之间的梯度；基于计算的梯度，生成自主驾驶路线。

Description

用于生成自主驾驶路线的方法和设备
本申请要求于2016年11月30日提交到韩国知识产权局的第10-2016-0161138号韩国专利申请的权益，该韩国专利申请的全部公开出于所有目的通过引用包含于此。
技术领域
以下描述涉及一种用于生成自主车辆的自主驾驶路线的方法和设备，更具体地说，涉及一种用于计算道路的梯度并基于该梯度来生成自主驾驶路线的方法和设备。
背景技术
自主车辆(autonomous vehicle)在驾驶期间识别车辆周围的环境以自主地确定驾驶路线，并例如使用自主车辆自己的动力独立地行驶。即使驾驶员不操纵自主车辆的方向盘、油门和刹车，自主车辆也可在与路线上的障碍物保持距离并控制速度和驾驶方向的同时，通过自主车辆自己到达目的地。例如，自主车辆可沿道路的直线部分执行加速，并在道路的弯曲部分上执行减速，同时基于道路的曲率改变驾驶方向。
发明内容
提供发明内容来以简化的形式介绍在下面的具体实施方式中进一步描述的对构思的选择。本发明内容不意在标识所要求保护的主题的关键特征或必要特征，也不意在用于帮助确定所要求保护的主题的范围。
在一个总体方面，一种用于生成自主车辆的自主驾驶路线的方法包括：接收从自主车辆捕获的前方视野的输入图像；基于输入图像，计算自主车辆与地面之间的梯度；基于计算的梯度，生成自主驾驶路线。
生成自主驾驶路线的步骤可包括：通过基于梯度将输入图像的视点转换为鸟瞰视点来生成鸟瞰图像；基于鸟瞰图像生成自主驾驶路线。
所述方法还可包括：使用梯度来校正通过感测自主车辆的周围环境而获取的数据；其中，生成自主驾驶路线的步骤包括使用校正的数据。
计算梯度的步骤可包括：检测输入图像中的车道标志；基于检测的车道标志，检测所检测的车道标志的没影点；基于所述没影点计算梯度。
检测所述没影点的步骤可包括：将检测的多个没影点之中的最靠近自主车辆的没影点检测为所述没影点。
基于所述没影点计算梯度的步骤可包括：接收预设的没影点的位置和检测的没影点的位置；基于预设的没影点的位置与检测的没影点的位置之间的差来计算梯度。
接收预设的没影点的位置和检测的没影点的位置的步骤可包括：接收输入图像中的预设的没影点的高度坐标和检测的没影点的高度坐标。
预设的没影点的高度坐标可以是输入图像的中心高度坐标。
所述方法还可包括：基于按预设时间间隔计算的多个梯度来确定地面的情况；基于确定的地面的情况，控制自主车辆。
确定地面的情况的步骤可包括：基于所述多个梯度之间的偏差来确定地面的情况。
一种可存储程序指令的非暂时性计算机可读介质，当程序指令由处理器执行时，使处理器执行所述方法。
在另一总体方面，一种用于生成自主车辆的自主驾驶路线的设备包括：处理器，被配置为：接收从自主车辆捕获的前方视野的输入图像；基于输入图像，计算自主车辆与地面之间的梯度；基于计算的梯度，生成自主驾驶路线。
所述设备还可包括：相机，被配置为通过从自主车辆捕获前方视野来获取输入图像。
生成自主驾驶路线的处理可包括：通过基于梯度将输入图像的视点转换为鸟瞰视点来生成鸟瞰图像；基于鸟瞰图像生成自主驾驶路线。
生成自主驾驶路线的处理可包括：使用梯度来校正通过感测自主车辆的周围环境而获取的数据。校正的数据可用于生成自主驾驶路线。
计算梯度的处理可包括：检测输入图像中的车道标志；基于检测的车道标志，检测所检测的车道标志的没影点；基于所述没影点计算梯度。
检测所述没影点的处理可包括：将检测的多个没影点之中的最靠近自主车辆的没影点检测为所述没影点。
基于所述没影点计算梯度的处理可包括：接收预设的没影点的位置和检测的没影点的位置；基于预设的没影点的位置与检测的没影点的位置之间的差来计算梯度。
接收预设的没影点的位置和检测的没影点的位置的处理可包括：计算输入图像中的预设的没影点的高度坐标和检测的没影点的高度坐标。
预设的没影点的高度坐标可以是输入图像的中心高度坐标。
处理器还可被配置为：基于按预设时间间隔计算的多个梯度来确定地面的情况；基于确定的地面的情况，控制自主车辆。
确定地面的情况的处理可包括：基于所述多个梯度之间的偏差来确定地面的情况。
在另一总体方面，一种车辆控制方法包括：接收从车辆捕获的前方视野的输入图像；基于输入图像计算前方视野的梯度；基于梯度自主地控制车辆的驾驶操作。
在另一总体方面，一种车辆控制设备包括：处理器，被配置为：接收从自主车辆捕获的前方视野的输入图像；基于输入图像计算前方视野的梯度；基于梯度自主地控制自主车辆的驾驶操作。
所述车辆控制设备还可包括：存储器，存储能够由处理器执行的指令，所述指令使处理器接收输入图像，计算梯度，并控制自主车辆的驾驶操作。
在另一总体方面，一种车辆控制方法包括：检测由车辆的相机捕获的图像中的没影点的位置；基于预设的没影点的位置和检测的没影点的位置之间的差来计算车辆与地面之间的梯度；基于梯度自主地控制车辆的驾驶操作。
检测的没影点可以是车道标志的没影点。
检测的没影点的位置可包括检测的没影点的高度坐标，预设的没影点的位置可包括所述图像的中心高度坐标。
控制车辆的驾驶操作的步骤可包括：基于梯度将由相机捕获的图像转换为鸟瞰视野图像，基于鸟瞰视野图像生成自主驾驶路线，基于自主驾驶路线控制车辆的驾驶操作。
其他特征和方面从下面的具体实施方式、附图和权利要求将是清楚的。
附图说明
图1示出自主车辆的示例。
图2示出在处于平稳姿态的自主车辆中生成的鸟瞰图像的示例。
图3和图4示出在处于非平稳姿态的自主车辆中生成的鸟瞰图像的示例。
图5示出将被确定为障碍物的斜坡的示例。
图6示出用于生成自主驾驶路线的设备的示例。
图7示出生成自主驾驶路线的方法的示例。
图8示出基于鸟瞰图像生成自主驾驶路线的方法的示例。
图9示出基于输入图像计算梯度的方法的示例。
图10示出当自主车辆向前倾斜时相机的捕获系统的示例。
图11示出在道路弯曲时捕获的输入图像的示例。
图12示出包括多个没影点的输入图像的示例。
图13示出基于没影点计算梯度的方法的示例。
图14示出预设的没影点的高度坐标和计算的没影点的高度坐标的示例。
图15示出基于地面情况控制自主车辆的方法的示例。
图16示出通过调节相机的俯仰角来检测车道(lane)的方法的示例。
图17示出计算前方视野的梯度的方法的示例。
贯穿附图和具体实施方式，除非另外被描述或提供，否则相同的附图参考标号将被理解为表示相同的元件、特征和结构。附图可不按比例，并且为了清楚、说明和方便起见，附图中的元件的相对大小、比例和绘示可被夸大。
具体实施方式
提供下面的详细描述以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在理解本申请的公开之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将是清楚的。例如，在此描述的操作的顺序仅是示例，操作的顺序不限于在此阐述的顺序，而是除了必须按特定次序发生的操作之外，可如在理解本申请的公开之后将清楚的那样改变。此外，为了更加清楚和简洁，本领域中已知的特征的描述可被省略。
在此描述的特征可以以不同的形式来实现，并且不被解释为受限于在此描述的示例。相反，在此描述的示例仅被提供以示出实施在此描述的方法、设备和/或系统的许多可行方式中的一些方式，这在理解本申请的公开之后将是清楚的。
贯穿说明书，当元件(诸如，层、区域或基底)被描述为在另一元件“之上”、“连接到”或“结合到”另一元件时，该元件可能直接在所述另一元件“之上”、“连接到”或“结合到”另一元件，或者在它们之间可能存在一个或多个其他中间元件。相反，当元件被描述为“直接”在另一元件“之上”、“直接连接”或“直接结合到”另一元件时，在它们之间可不存在中间元件。
如在此使用的，术语“和/或”包括相关所列项中的任意一个或者任意两个或更多个的任意组合。
尽管诸如“第一”、“第二”和“第三”的术语可在此用于描述各种构件、组件、区域、层或部分，但是这些构件、组件、区域、层或部分不受这些术语限制。相反，这些术语仅用于将一个构件、组件、区域、层或部分与另一构件、组件、区域、层或部分区分开来。因此，在不脱离示例的教导的情况下，在此描述的示例中被称为的第一构件、组件、区域、层或部分还可被称为第二构件、组件、区域、层或部分。
为了描述简便，在此可使用空间相对术语(诸如，“在…之上”、“上面的”、“在…下方”和“下面的”)来描述在附图中示出的一个元件与另一元件的关系。这样的空间相对术语意在包含除了在附图中描述的方位之外的使用或操作中的装置的不同方位。例如，如果附图中的装置被翻转，则被描述为在相对于其他元件“之上”或“上面”的元件其后将在相对于其他元件“下方”或“下面”。因此，术语“在…之上”包括“在…之上”和“在…下方”的方位两者，这取决于装置的空间方位。装置还可以以其他方法定位(例如，旋转90度或在其他方位)，并且相应地解释在此使用的空间相对术语。
在此使用的术语仅为了描述各种示例，并且不用于限制本公开。除非上下文另有清楚的指示，否则单数形式也意在包括复数形式。术语“包括”、“包含”和“具有”指定存在叙述的特征、数量、操作、构件、元件和/或它们的组合，但是不排除存在或添加一个或多个其他特征、数量、操作、构件、元件和/或它们的组合。
在此描述的示例的特征可以以各种方式被组合，这在理解本申请的公开之后将是清楚的。此外，尽管在此描述的示例具有多种配置，但是如在理解本申请的公开之后将清楚的，其他配置也是可行的。
除非另外定义，否则在此使用的包括技术术语和科学术语的所有术语具有与本公开所属领域的普通技术人员通常理解的含义相同的含义。除非在此明确定义，否则诸如在通用字典中定义的术语应被解释为具有与现有技术的背景中的含义一致的含义，并且不将被解释为理想化或过于正式的含义。
关于分配给附图中的元件的参考标号，应注意，在任何可能的情况下，即使相同的元件在不同的附图中被示出，相同的元件也将由相同的参考标号指定。此外，在实施例的描述中，当认为与公知的相关的结构或功能的详细描述将导致本公开的解释模糊时，将省略与公知的相关的结构或功能的详细描述。
图1示出自主车辆110的示例。自主车辆(诸如，自主车辆110)可以是汽车，诸如，轿车、卡车或SUV。此外，自主车辆可以是摩托车、无人机或船舶。然而，自主车辆不限于前述示例。
参照图1，即使在存在少量驾驶员的用户输入或者没有驾驶员的用户输入的情况下，自主车辆110也响应于识别出的驾驶环境在自主模式下行驶。驾驶环境通过附着到或包括在自主车辆110中的一个或多个传感器(诸如，相机、激光雷达传感器、雷达传感器和一个或多个语音识别传感器)来识别。其他类型的传感器可被使用，并且被认为是充分位于本公开的范围内。例如，驾驶环境包括：路况、车道标志类型、距附近车辆的距离、是否存在附近车辆、是否存在障碍物和天气，然而，驾驶环境不限于前述示例。
自主车辆110识别驾驶环境并生成适于驾驶环境的驾驶路线120。自主车辆110控制位于自主车辆110内部或外部的机械元件以跟随驾驶路线120。自主车辆110周期性地生成驾驶路线120。自主车辆110使用基于规则的模型来生成驾驶路线120。例如，将由自主车辆110遵循的条件预先被设置，自主车辆110生成满足预设条件的最优驾驶路线120。例如，条件之一是遵守交通规则。
图2示出当自主车辆110处于平稳姿态时在自主车辆110中生成的鸟瞰图像的示例。
参照图2，在自主车辆110在道路上行驶的情况210下，自主车辆110使用位于自主车辆110的前侧的相机从自主车辆110捕获前方视野的图像。在所示的自主车辆110的平稳姿态下，相机设置在自主车辆110中，使得由相机捕获的图像的平面与地面垂直。将参照图10描述图像的平面。
当由相机捕获的图像的平面与地面垂直时，地平线位于捕获的图像220中的中心线(与地面平行的中心线)上。
仍参照图2，自主车辆110基于捕获的图像220生成以鸟瞰视点捕获的前方视野215的图像230。在下文中，将以鸟瞰视点捕获的图像称为鸟瞰图像。自主车辆110通过将捕获的图像220的视点从相机的视点转换到鸟瞰视点来生成鸟瞰图像230。采用扭曲技术(warpingtechnique)来转换图像的视点。当捕获的图像220被转换为鸟瞰图像230时，可存在捕获的图像220与鸟瞰图像230之间不彼此对应的像素。在这个示例中，捕获的图像220与鸟瞰图像230之间不彼此对应的像素表现为洞区域(hole area)235。当生成自主驾驶路线时，可不考虑洞区域235的存在或缺失，因此可不用执行针对洞区域235的额外的处理。自主车辆110基于鸟瞰图像230生成驾驶路线。
图3和图4示出在处于非平稳姿态的自主车辆中生成的鸟瞰图像330和340的示例。
在驾驶操作期间，自主车辆110的姿态可能不平稳。例如，当自主车辆110启动驾驶时，自主车辆110的前部轻微抬升。此外，当自主车辆110的前轮驶过减速带或道路上的其他突起表面时，自主车辆110的前部可轻微抬升。
参照图3，在情况310下，前方视野312的图像在自主车辆110的前部轻微抬升时从自主车辆110被捕获。前方视野312具有比当自主车辆110的姿态处于平稳时捕获的前方视野314的角度大的角度θ1。
在前方视野312的图像320中，地平线322比图像320的中心线324低。
鸟瞰图像330基于图像320来生成。鸟瞰图像330与实际路况不同。例如，尽管实际路况对应于水平地面，但是响应于处于非平稳姿态的自主车辆110生成的鸟瞰图像330表示下坡。此外，鸟瞰图像330中表示的距离与实际距离不同。
图4示出自主车辆110处于非平稳姿态的另一示例。在驾驶操作期间，自主车辆110的姿态可能不平稳。例如，当自主车辆110在驾驶操作期间刹车时，自主车辆110向前倾斜。自主车辆110还可当自主车辆110的后轮驶过减速带时向前倾斜。
参照图4，在情况410下，前方视野412的图像420在自主车辆110向前倾斜时从自主车辆110被捕获。前方视野412具有比当自主车辆110的姿态处于平稳时捕获的前方视野414的角度小的角度θ2。
在前方视野412的图像420中，地平线422比图像420的中心线424高。
鸟瞰图像430基于图像420来生成。鸟瞰图像430与实际路况不同。例如，尽管实际路况对应于水平地面，但是响应于自主车辆110处于非平稳姿态而生成的鸟瞰图像430表示上坡。此外，鸟瞰图像430中表示的距离与实际距离不同。
图5示出将被确定为障碍物522的斜坡512的示例。更具体地说，除如参照图3和图4描述的自主车辆110处于非平稳姿态的示例之外，在图5中，自主车辆110将斜坡512识别为障碍物。
如在图5中所示，实际路况510是斜坡512位于自主车辆110的前方。在这个示例中，自主车辆110基于前方视野的鸟瞰图像将实际路况510识别为障碍物522位于自主车辆110的前方的路况520。当自主车辆110识别出障碍物522位于自主车辆110的前方时，自主车辆110可能生成另一路线以避让障碍物522，或者可能不能生成驾驶路线。
如上所述，响应于自主车辆110不准确地识别实际路况510，可能生成不正确的驾驶路线。为了防止这样的错误，将自主车辆110的姿态或道路梯度(gradient)用于生成驾驶路线。下面将参照图6至图17描述计算自主车辆110与地面之间的梯度的方法以及使用计算的梯度的方法。
图6示出用于生成自主驾驶路线的设备600的示例。
参照图6，用于生成自主驾驶路线的设备600包括：相机610、传感器620、通信器630、处理器640和存储器650。例如，设备600被包括在参照图1至图5描述的自主车辆110中。
相机610通过从车辆捕获前方视野来获取输入图像。相机610安装在自主车辆110中，使得由相机610捕获的图像与地面垂直。
传感器620包括一个或多个传感器。例如，传感器620包括一个或多个语音识别传感器、激光雷达传感器、雷达传感器和用于捕获自主车辆110的周围视野的额外的相机。
通信器630连接到相机610、传感器620、处理器640和存储器650，以发送和接收数据。通信器630可将设备600连接到外部装置，并且通信器630可以是接口。在一个示例中，通信器630被实现为设备600中的电路，并且通信器630包括内部总线和外部总线。通信器630连接到外部装置以发送和接收数据。例如，通信器630从外部装置接收数据，并将数据发送到处理器640和存储器650。
处理器640处理由通信器630接收的数据和存储在存储器650中的数据。
处理器640是由包括具有物理结构的电路的硬件实现的用于执行期望的操作的数据处理装置。期望的操作可包括包含在程序中的代码或指令。例如，处理器640包括：微处理器、中央处理器、处理器核、多核处理器、多处理器、专用集成电路(ASIC)和现场可编程门阵列(FPGA)。
例如，处理器640执行存储在存储器650中的将由计算机读取的代码，并基于包括在代码中的指令执行操作。
存储器650存储由通信器630接收的数据和由处理器640处理的数据。例如，存储器650存储程序。
存储器650可包括易失性存储器、非易失性存储器、随机存取存储器(RAM)、闪存、硬盘驱动器和光盘驱动器中的任意一个或者任意两个或多个的任意组合。
存储器650存储生成自主驾驶路线的指令集，例如，软件。生成自主驾驶路线的指令集由处理器640执行。处理器640基于指令集生成自主驾驶路线。
在下文中，将参照图7至图17详细描述相机610、传感器620、通信器630、处理器640和存储器650。
图7示出生成自主驾驶路线的方法的示例。
参照图7，在操作710中，相机610通过从自主车辆110捕获前方视野来获取输入图像。输入图像可以是彩色图像。可按预设时间间隔执行操作710。相机610按预设时间间隔获取图像。
在操作720中，处理器640从相机610接收输入图像。
在操作730中，处理器640基于输入图像计算自主车辆110与地面之间的梯度。该梯度可以是自主车辆110的前方的视野方向与地面之间的角度。下面将参照图9至图14详细描述计算梯度的方法。
在操作740中，处理器640基于计算的梯度生成自主车辆110的自主驾驶路线。下面将参照图8详细描述生成自主驾驶路线的方法。
图8示出基于鸟瞰图像生成自主驾驶路线的方法的示例。
参照图8，在操作810中，处理器640基于计算的梯度生成鸟瞰图像。例如，处理器640通过将输入图像扭曲到鸟瞰视点来生成鸟瞰图像。
在操作820中，处理器640基于计算的梯度校正感测数据。感测数据从传感器620被接收，并与该梯度相关联。
在操作830中，处理器640基于鸟瞰图像和感测数据来生成自主驾驶路线。
图9示出基于输入图像计算梯度的方法的示例。如在图9中所示，图7的操作730包括操作910、操作920和操作930。
在操作910中，处理器640在输入图像中检测一条或多条车道。例如，处理器640从输入图像检测侧车道(side lane)和中间车道。
在操作920中，处理器640检测车道的没影点。例如，处理器640将检测的车道相交的点检测为没影点。
在操作930中，处理器640基于检测的没影点来计算梯度。下面将参照图13和图14详细描述基于没影点计算梯度的方法。
图10示出当自主车辆向前倾斜时图6的相机610的捕获系统1000的示例。
参照图10，相机610的捕获系统1000通过基于透镜1005和透镜1005的俯仰轴1020捕获前方视野1030来获取输入图像1040。
当自主车辆110向前倾斜时或者当自主车辆的前部向下移动时，相机610的透镜1005基于自主车辆110倾斜的角度倾斜，透镜1005的俯仰轴1020向下倾斜。在这个示例中，地面上的透镜1005的初始轴1010和俯仰轴1020具有初始轴1010与俯仰轴1020之间的角度θt。角度θt还可被称为梯度。相机610通过沿透镜1005的俯仰轴1020捕获前方视野1030来获取输入图像1040。没影点出现在前方视野1030与初始轴1010相交的线1035上。线1035可以是地平线。
前述描述还可适用于自主车辆110向后倾斜或在前端轻微抬升的情况。应理解，当自主车辆110向后倾斜时，透镜1005的俯仰轴高于轴1010。
图11示出在道路1102弯曲时捕获的输入图像1100的示例。
参照图11，处理器640检测车道的交点作为没影点1110。地平线1120包括没影点1110。由于车道的交点被检测为没影点1110，所以处理器640检测没影点1110而不考虑车道是直线还是曲线。
图12示出包括多个没影点的输入图像1200的示例。
参照图12，道路1202包括水平地面1204和上坡1206。处理器640检测水平地面1204上的第一道路线1210的第一没影点1212，并检测上坡1206上的第二道路线1220的第二没影点1222。第一没影点1212位于横过道路1202的第一线1215上，第二没影点1222位于横过道路1202的第二线1225上。与第二道路线1220相比，第一道路线1210更靠近自主车辆110。
当检测到多个没影点时，处理器640将最靠近自主车辆110的没影点确定为用于计算梯度的没影点。在这个示例中，处理器640检测第一没影点1212和第二没影点1222，并选择更靠近自主车辆110的第一道路线1210的第一没影点1212来计算梯度。
图13示出基于没影点计算梯度的方法的示例。
参照图13，在图9中描述的操作930包括操作1310和操作1320。
在操作1310中，处理器640接收预设的没影点的位置和检测的没影点的位置。例如，处理器640接收预设的没影点的高度坐标和检测的没影点的高度坐标。预设的没影点的高度坐标可以是图像的中心的高度坐标。将参照图14描述预设的没影点的高度坐标和检测的没影点的高度坐标。
在操作1320中，处理器640基于预设的没影点的位置与检测的没影点的位置之间的差来计算梯度。将梯度和预设的没影点的位置与检测的没影点的位置之间的差进行匹配的匹配表被存储在存储器650中。此外，根据下面提供的等式1来计算梯度。例如，预设的没影点的位置与检测的没影点的位置之间的差是在图像上表示的距离，因此预设的没影点的位置与检测的没影点的位置之间的差用于计算vy，vy是实际距离。fy是检测的没影点与相机的透镜之间的实际距离。vy还可以是图像上的预设的没影点的位置与检测的没影点的位置之间的距离，fy还可以是图像上检测的没影点到图像捕获系统中的透镜之间的距离。
[等式1]
图14示出预设的没影点的高度坐标和计算的没影点的高度坐标的示例。
参照图14，预设的没影点位于输入图像1400的中心线1410上。中心线1410的高度坐标1420被设置为包括在水平地面上捕获的图像的没影点。例如，当输入图像的分辨率是1920×1080时，从底部的第540像素或第541像素被包括在中心线1410中。
在相同梯度处捕获的输入图像具有在消失线1430中的没影点，而与道路线的形状无关。例如，当设置相同梯度时，预设的没影点的高度坐标1420与计算的没影点的高度坐标之间的差是常量。
图15示出基于地面情况控制自主车辆的方法的示例。
例如，参照图15，与图7的操作740并行地执行操作1510和操作1520。
在操作1510中，处理器640基于按预设时间间隔计算的多个梯度来确定地面情况。当按预设时间间隔执行操作710、操作720和操作730时，计算多个梯度。处理器640计算所述多个梯度之间的偏差。处理器640基于计算的偏差来确定地面情况。针对多个偏差范围之中的每个偏差范围来设置地面情况。
在操作1520中，处理器640基于确定的地面情况来控制自主车辆110。例如，驾驶的速度随着地面情况变得更加不平坦而降低。
图16示出通过调节相机610的俯仰角来检测车道的方法的示例。
参照图16，在执行了图9的操作910之后，执行操作1610、操作1620和操作1630。
在操作1610中，处理器640确定是否从输入图像检测到车道。
在操作1620中，当未检测到车道时，处理器640调节相机610的俯仰角。当自主车辆110所在的道路的斜坡从上坡改变为下坡时，安装在自主车辆110的前侧的相机610可能不能捕获到道路。在这个示例中，处理器640向下调节相机610的透镜的轴。响应于对俯仰角的调节，相机610获取输入图像。
在操作1630中，在调节了俯仰角之后，处理器640确定是否从由相机610获取的输入图像检测到车道。当从输入图像检测到车道时，执行图9的操作920。
当调节相机610的俯仰角时，处理器640校正在操作920中检测的没影点的位置。处理器640使用与调节的相机610的俯仰角对应的值来校正没影点的位置。
当调节相机610的俯仰角时，处理器640校正在操作930中计算的梯度。处理器640使用与调节的相机610的俯仰角对应的值来校正计算的梯度。
图17示出计算前方视野中的梯度的方法的示例。
当图6的设备600没有生成自主驾驶路线时，设备600计算自主车辆前方的梯度。
参照图17，在操作1710中，处理器640接收从车辆捕获的前方视野的图像。相机610通过从车辆捕获前方视野来获取图像，并且处理器从相机610接收图像。接收到的图像对应于参照图6描述的输入图像。
在操作1720中，处理器640基于接收到的图像来计算车辆的前方视野的梯度。梯度可以是自主车辆110的主体与地面之间的角度。由于图9至图14的描述适用于此，因此将省略操作1720的重复描述。
通过被配置为执行在本申请中描述的由硬件组件所执行的操作的硬件组件来实现图6中的执行本申请中描述的操作的传感器620、通信器630、处理器640和存储器650。可用于执行在本申请中的适当位置描述的操作的硬件组件的示例包括：控制器、传感器、产生器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器和被配置为执行在本申请中描述的操作的任何其他电子组件。在其他示例中，执行在本申请中描述的操作的一个或多个硬件组件通过计算硬件(例如，通过一个或多个处理器或计算机)来实现。可通过一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元)、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编辑门阵列、可编程逻辑阵列、微处理器或被配置为以限定的方式响应并执行指令以实现期望的结果的任何其他装置或装置的组合，来实现处理器或计算机。在一个示例中，处理器或计算机包括或被连接到，存储由处理器或计算机执行的指令或软件的一个或多个存储器。通过处理器或计算器实现的硬件组件可执行指令或软件(诸如，操作系统(OS)和在OS上运行的一个或多个软件应用)，以执行在本申请中描述的操作。硬件组件还可响应于指令或软件的执行，访问、操纵、处理、创建和存储数据。为了简明，单数术语“处理器”或“计算机”可用于本申请中描述的示例的描述中，但在其他示例中，多个处理器或多个计算机可被使用，或者一个处理器或一个计算机可包括多个处理元件或多种类型的处理元件或者两者。例如，可通过单个处理器、或者两个或更多个处理器、或者一个处理器和一个控制器，来实现单个硬件组件或者两个或更多个硬件组件。可通过一个或多个处理器、或者一个处理器和一个控制器，来实现一个或多个硬件组件，并且可通过一个或多个其他处理器、或者另一处理器和另一控制器，来实现一个或多个其他硬件组件。一个或多个处理器、或者一个处理器和一个控制器可实现单个硬件组件、或者两个或更多个硬件组件。硬件组件可具有不同的处理配置中的任意一个或多个，不同的处理配置的示例包括：单处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理以及多指令多数据(MIMD)多处理。
通过计算硬件(例如，通过一个或多个处理器或计算机)来执行图1至图5以及图7至图17中示出的执行在本申请中描述的操作的方法，其中，计算硬件被实现为如上所述地执行指令或软件，以执行在本申请中描述的由所述方法所执行的操作。例如，单个操作或者两个或更多个操作可通过单处理器或者两个或更多个处理器或者一个处理器和一个控制器来执行。一个或多个操作可通过一个或多个处理器或者一个处理器和一个控制器来执行，且一个或多个其他操作可通过一个或多个其他处理器或者另一处理器和另一控制器来执行。一个或多个处理器或者一个处理器和一个控制器可执行单个操作、或者两个或更多个操作。
用于控制计算硬件(例如，一个或多个处理器或计算机)实现硬件组件并执行如上所述的方法的指令或软件可被写为计算机程序、代码段、指令或它们的任意组合，以单独地或共同地指示或配置一个或多个处理器或计算机作为用于执行由硬件组件和如上所述的方法执行的操作的机器或专用计算机进行操作。在一个示例中，指令或软件包括直接由一个或多个处理器或计算机执行的机器代码，诸如，由编译器产生的机器代码。在另一示例中，指令或软件包括由一个或多个处理器或计算机使用解释器执行的高级代码。可基于附图中示出的框图和流程图以及说明书中的相应描述使用任意编程语言编写指令或软件，其中，附图中示出的框图和流程图以及说明书中的相应描述公开了用于执行由硬件组件和如上所述的方法执行的操作的算法。
用于控制计算硬件(例如，一个或多个处理器或计算机)实现硬件组件并执行如上所述的方法的指令或软件、以及任何相关联的数据、数据文件以及数据结构可被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中或上。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取存储器(RAM)、闪存、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘、和任何其他设备，该任何其他设备被配置为以非暂时方式存储指令或软件、以及任何相关联的数据、数据文件以及数据结构，并向一个或多个处理器或计算机提供指令或软件、以及任何相关联的数据、数据文件以及数据结构，以便一个或多个处理器和计算机能够执行指令。在一个示例中，指令或软件、以及任何相关联的数据、数据文件以及数据结构分布在联网的计算机系统上，以便指令和软件、以及任何相关联的数据、数据文件以及数据结构被一个或多个处理器或计算机以分布式方式存储、访问和执行。
尽管本公开包括特定的示例，但是在理解本申请的公开后将清楚的是，在不脱离权利要求和它们的等同物的精神和范围的情况下，可对这些示例做出形式和细节上的各种改变。在此描述的示例被认为仅是描述性的，而非为了限制的目的。在每一示例中的特征或方面的描述将被认为适用于其他示例中的相似特征或方面。如果描述的技术以不同的顺序被执行，和/或如果在描述的系统、架构、装置、或电路中的组件以不同的方式组合，和/或被其他组件或它们的等同物代替或补充，则可实现合适的结果。因此，公开的范围不是通过具体实施方式所限定，而是由权利要求和它们的等同物限定，并且在权利要求和它们的等同物的范围内的所有变化将被解释为被包括在本公开中。

Claims (29)

1.一种用于生成自主车辆的自主驾驶路线的方法，所述方法包括：
接收从自主车辆捕获的前方视野的输入图像；
基于输入图像，计算自主车辆与地面之间的梯度；
基于计算的梯度，生成自主驾驶路线。
2.如权利要求1所述的方法，其中，生成自主驾驶路线的步骤包括：
通过基于梯度将输入图像的视点转换为鸟瞰视点来生成鸟瞰图像；
基于鸟瞰图像生成自主驾驶路线。
3.如权利要求1所述的方法，还包括：
使用梯度来校正通过感测自主车辆的周围环境而获取的数据；
其中，生成自主驾驶路线的步骤包括使用校正的数据来生成自主驾驶路线。
4.如权利要求1所述的方法，其中，计算梯度的步骤包括：
检测输入图像中的车道标志；
基于检测的车道标志，检测所检测的车道标志的没影点；
基于所述没影点计算梯度。
5.如权利要求4所述的方法，其中，检测没影点的步骤包括：将检测的多个没影点之中的最靠近自主车辆的没影点检测为用于计算梯度的没影点。
6.如权利要求4所述的方法，其中，基于所述没影点计算梯度的步骤包括：
接收预设的没影点的位置和检测的没影点的位置；
基于预设的没影点的位置与检测的没影点的位置之间的差来计算梯度。
7.如权利要求6所述的方法，其中，接收预设的没影点的位置和检测的没影点的位置的步骤包括：接收输入图像中的预设的没影点的高度坐标和检测的没影点的高度坐标。
8.如权利要求7所述的方法，其中，预设的没影点的高度坐标是输入图像的中心高度坐标。
9.如权利要求1所述的方法，还包括：
基于按预设时间间隔计算的多个梯度来确定地面的情况；
基于确定的地面的情况，控制自主车辆。
10.如权利要求9所述的方法，其中，确定地面的情况的步骤包括：基于所述多个梯度之间的偏差来确定地面的情况。
11.一种存储程序指令的非暂时性计算机可读介质，当程序指令由处理器执行时，使处理器执行如权利要求1所述的方法。
12.一种用于生成自主车辆的自主驾驶路线的设备，所述设备包括：
处理器，被配置为：
接收从自主车辆捕获的前方视野的输入图像；
基于输入图像，计算自主车辆与地面之间的梯度；
基于计算的梯度，生成自主驾驶路线。
13.如权利要求12所述的设备，还包括：
相机，被配置为通过从自主车辆捕获前方视野来获取输入图像。
14.如权利要求12所述的设备，其中，生成自主驾驶路线的处理包括：
通过基于梯度将输入图像的视点转换为鸟瞰视点来生成鸟瞰图像；
基于鸟瞰图像生成自主驾驶路线。
15.如权利要求12所述的设备，其中，
生成自主驾驶路线的处理包括：使用梯度来校正通过感测自主车辆的周围环境而获取的数据，
使用校正的数据生成自主驾驶路线。
16.如权利要求12所述的设备，其中，计算梯度的处理包括：
检测输入图像中的车道标志；
基于检测的车道标志，检测所检测的车道标志的没影点；
基于所述没影点计算梯度。
17.如权利要求16所述的设备，其中，检测没影点的处理包括：将检测的多个没影点之中的最靠近自主车辆的没影点检测为用于计算梯度的没影点。
18.如权利要求16所述的设备，其中，基于所述没影点计算梯度的处理包括：
接收预设的没影点的位置和检测的没影点的位置；
基于预设的没影点的位置与检测的没影点的位置之间的差来计算梯度。
19.如权利要求18所述的设备，其中，接收预设的没影点的位置和检测的没影点的位置的处理包括：计算输入图像中的预设的没影点的高度坐标和检测的没影点的高度坐标。
20.如权利要求19所述的设备，其中，预设的没影点的高度坐标是输入图像的中心高度坐标。
21.如权利要求12所述的设备，其中，处理器还被配置为：
基于按预设时间间隔计算的多个梯度来确定地面的情况；
基于确定的地面的情况，控制自主车辆。
22.如权利要求21所述的设备，其中，确定地面的情况的处理包括：基于所述多个梯度之间的偏差来确定地面的情况。
23.一种车辆控制方法，包括：
接收从车辆捕获的前方视野的输入图像；
基于输入图像计算前方视野的梯度；
基于梯度自主地控制车辆的驾驶操作。
24.一种车辆控制设备，包括：
处理器，被配置为：
接收从自主车辆捕获的前方视野的输入图像；
基于输入图像计算前方视野的梯度；
基于梯度控制自主车辆的驾驶操作。
25.如权利要求24所述的车辆控制设备，还包括：存储器，存储能够由处理器执行的指令，所述指令使处理器接收输入图像，计算梯度，并控制自主车辆的驾驶操作。
26.一种车辆控制方法，包括：
检测由车辆的相机捕获的图像中的没影点的位置；
基于预设的没影点的位置和检测的没影点的位置来计算车辆与地面之间的梯度；
基于梯度自主地控制车辆的驾驶操作。
27.如权利要求26所述的车辆控制方法，其中，检测的没影点是车道标志的没影点。
28.如权利要求26所述的车辆控制方法，其中，检测的没影点的位置包括检测的没影点的高度坐标，其中，预设的没影点的位置包括所述图像的中心高度坐标。
29.如权利要求26所述的车辆控制方法，其中，控制车辆的驾驶操作的步骤包括：
基于梯度将由相机捕获的图像转换为鸟瞰视野图像，
基于鸟瞰视野图像生成自主驾驶路线，
基于自主驾驶路线控制车辆的驾驶操作。
CN201710654744.9A 2016-11-30 2017-08-03 用于生成自主驾驶路线的方法和设备 Active CN108116409B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0161138 2016-11-30
KR1020160161138A KR20180061686A (ko) 2016-11-30 2016-11-30 자율 주행 경로 생성 방법 및 그 장치

Publications (2)

Publication Number Publication Date
CN108116409A true CN108116409A (zh) 2018-06-05
CN108116409B CN108116409B (zh) 2022-10-04

Family

ID=59676974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710654744.9A Active CN108116409B (zh) 2016-11-30 2017-08-03 用于生成自主驾驶路线的方法和设备

Country Status (5)

Country Link
US (1) US10452075B2 (zh)
EP (1) EP3330147B1 (zh)
JP (1) JP7278705B2 (zh)
KR (1) KR20180061686A (zh)
CN (1) CN108116409B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111055842A (zh) * 2018-10-15 2020-04-24 三星电子株式会社 用于控制车辆的方法和装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6822815B2 (ja) * 2016-10-17 2021-01-27 トヨタ自動車株式会社 道路標示認識装置
KR20180094725A (ko) 2017-02-16 2018-08-24 삼성전자주식회사 자율 주행을 위한 차량 제어 방법, 차량 제어 장치 및 자율 주행을 위한 학습 방법
KR102508984B1 (ko) * 2017-09-22 2023-03-13 엘지이노텍 주식회사 어라운드뷰 영상 제어장치 및 그 어라운드뷰 영상 처리방법
CN110654372B (zh) * 2018-06-29 2021-09-03 比亚迪股份有限公司 车辆驾驶控制方法、装置、车辆和存储介质
CN110378177B (zh) 2018-09-30 2022-01-28 毫末智行科技有限公司 用于提取环境目标的特征点的方法及装置
KR20200042549A (ko) * 2018-10-15 2020-04-24 현대자동차주식회사 차량 및 그 제어방법
JP7326018B2 (ja) * 2018-10-18 2023-08-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理装置、情報処理方法及びプログラム
CN112654836A (zh) * 2019-02-04 2021-04-13 御眼视觉技术有限公司 用于车辆导航的系统和方法
WO2020263498A1 (en) * 2019-06-25 2020-12-30 Snap Inc. Vanishing point stereoscopic image correction
DE102019217897A1 (de) * 2019-11-20 2021-05-20 Robert Bosch Gmbh Verfahren zum Betreiben einer Umfeldsensoreinrichtung eines Fahrzeugs
CN114013450B (zh) * 2021-11-16 2023-10-31 交控科技股份有限公司 车辆运行控制方法、系统和计算机设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05338487A (ja) * 1992-06-10 1993-12-21 Fujitsu Ltd 車両照明装置
US5739848A (en) * 1993-09-08 1998-04-14 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
US20050169530A1 (en) * 2002-08-28 2005-08-04 Kabushiki Kaisha Toshiba Obstacle detection device and method therefor
JP2006119090A (ja) * 2004-10-25 2006-05-11 Mitsubishi Electric Corp ナビゲーション装置
WO2015035450A1 (en) * 2013-09-13 2015-03-19 Queensland University Of Technology Vision based guidance in broad-acre agriculture
EP3032458A2 (en) * 2014-12-10 2016-06-15 LG Electronics Inc. Driver assistance for a vehicle
CN105765605A (zh) * 2013-10-08 2016-07-13 福特全球技术公司 用于确定相对道路倾斜度的方法
CN105930800A (zh) * 2016-04-21 2016-09-07 北京智芯原动科技有限公司 一种车道线检测方法及装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5646843A (en) * 1990-02-05 1997-07-08 Caterpillar Inc. Apparatus and method for surface based vehicle control system
KR100270523B1 (ko) 1995-12-27 2000-11-01 정몽규 도로 조건에 따른 카메라 제어기능을 구비한 무인 자동차 시스템
EP0913751B1 (de) 1997-11-03 2003-09-03 Volkswagen Aktiengesellschaft Autonomes Fahrzeug und Verfahren zur Steuerung eines autonomen Fahrzeuges
KR100418763B1 (ko) 2000-12-28 2004-02-18 현대자동차주식회사 노면경사 측정방법 및 이를 이용한 차량 속도 제어 시스템
US7797062B2 (en) 2001-08-10 2010-09-14 Rockwell Automation Technologies, Inc. System and method for dynamic multi-objective optimization of machine selection, integration and utilization
JP4483589B2 (ja) 2005-01-12 2010-06-16 日産自動車株式会社 車両用情報提供装置
JP2008033781A (ja) 2006-07-31 2008-02-14 Toyota Motor Corp 路面勾配検出装置及び画像表示装置
JP4776570B2 (ja) 2007-03-08 2011-09-21 アルパイン株式会社 ナビゲーション装置、傾斜角を用いた角速度補正装置および方法
JP2009041972A (ja) 2007-08-07 2009-02-26 Toshiba Corp 画像処理装置及びその方法
DE102009019399B4 (de) 2009-04-29 2015-09-24 Audi Ag Verfahren zur automatischen Bestimmung wenigstens einer die Änderung der Lage eines Kraftfahrzeugs beschreibenden Zielgröße
JP5338487B2 (ja) 2009-06-03 2013-11-13 日本電気株式会社 構文解析装置、構文解析方法、及びプログラム
EP2273334A1 (en) 2009-06-22 2011-01-12 BAE Systems PLC Terrain sensing
JP5352922B2 (ja) 2009-10-07 2013-11-27 多摩川精機株式会社 角速度算出装置、ナビゲーション装置
DE102010011093A1 (de) 2010-03-11 2011-09-15 Daimler Ag Verfahren zur Bestimmung einer Fahrzeugaufbaubewegung
JP5350297B2 (ja) 2010-03-17 2013-11-27 クラリオン株式会社 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム
KR101061066B1 (ko) 2011-03-24 2011-08-31 국방과학연구소 지형감지 센서 조립체 및 이를 구비한 자율 이동 차량
US8630806B1 (en) 2011-10-20 2014-01-14 Google Inc. Image processing for vehicle control
US9533539B2 (en) 2011-10-20 2017-01-03 GM Global Technology Operations LLC Vehicle suspension system and method of using the same
JP5786753B2 (ja) 2012-02-15 2015-09-30 株式会社デンソー 車両用装置、及び車両用システム
KR20140024771A (ko) 2012-08-21 2014-03-03 현대모비스 주식회사 도로 경사도에 대응하는 차간 거리 유지 시스템 및 그 제어 방법
DE102012112724A1 (de) * 2012-12-20 2014-06-26 Continental Teves Ag & Co. Ohg Verfahren zur Bestimmung eines Fahrbahnzustands aus Umfeldsensordaten
KR101396886B1 (ko) 2013-01-17 2014-05-19 국방과학연구소 다중 레이어 레이저 거리센서를 이용한 주행로 최적 인식방법 및 그 장치
KR20150007737A (ko) 2013-07-12 2015-01-21 정혜진 지능형 하이브리드 차량
KR101604805B1 (ko) 2013-10-08 2016-03-25 엘지전자 주식회사 카메라 기반의 차량의 하중 추정 장치 및 차량의 하중 추정 방법
KR101906951B1 (ko) * 2013-12-11 2018-10-11 한화지상방산 주식회사 차선 검출 시스템 및 차선 검출 방법
KR101581286B1 (ko) 2014-01-17 2015-12-31 전남대학교산학협력단 무인운전차량의 자율 주행을 위한 경로 추종 시스템 및 방법
DE102014226439A1 (de) 2014-12-18 2016-06-23 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05338487A (ja) * 1992-06-10 1993-12-21 Fujitsu Ltd 車両照明装置
US5739848A (en) * 1993-09-08 1998-04-14 Sumitomo Electric Industries, Ltd. Object recognition apparatus and method
US20050169530A1 (en) * 2002-08-28 2005-08-04 Kabushiki Kaisha Toshiba Obstacle detection device and method therefor
JP2006119090A (ja) * 2004-10-25 2006-05-11 Mitsubishi Electric Corp ナビゲーション装置
WO2015035450A1 (en) * 2013-09-13 2015-03-19 Queensland University Of Technology Vision based guidance in broad-acre agriculture
CN105765605A (zh) * 2013-10-08 2016-07-13 福特全球技术公司 用于确定相对道路倾斜度的方法
EP3032458A2 (en) * 2014-12-10 2016-06-15 LG Electronics Inc. Driver assistance for a vehicle
CN105930800A (zh) * 2016-04-21 2016-09-07 北京智芯原动科技有限公司 一种车道线检测方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111055842A (zh) * 2018-10-15 2020-04-24 三星电子株式会社 用于控制车辆的方法和装置
CN111055842B (zh) * 2018-10-15 2024-02-13 三星电子株式会社 用于控制车辆的方法和装置

Also Published As

Publication number Publication date
EP3330147A1 (en) 2018-06-06
US20180150082A1 (en) 2018-05-31
EP3330147B1 (en) 2022-04-20
KR20180061686A (ko) 2018-06-08
US10452075B2 (en) 2019-10-22
CN108116409B (zh) 2022-10-04
JP2018090239A (ja) 2018-06-14
JP7278705B2 (ja) 2023-05-22

Similar Documents

Publication Publication Date Title
CN108116409A (zh) 用于生成自主驾驶路线的方法和设备
CN110136199B (zh) 一种基于摄像头的车辆定位、建图的方法和装置
CN110796063B (zh) 用于检测车位的方法、装置、设备、存储介质以及车辆
US11380147B2 (en) System and method for determining vehicle navigation in response to broken or uncalibrated sensors
US8300889B2 (en) Method and apparatus for detecting target parking position by using two reference points, and parking assist system using the same
CN110096059A (zh) 自动驾驶方法、装置、设备及存储介质
CN109389844A (zh) 用于控制车辆的驾驶的方法和设备
JP5594246B2 (ja) 車線認識装置
US20200064855A1 (en) Method and apparatus for determining road line
JP2020125102A (ja) ライダ、レーダ及びカメラセンサのデータを使用する強化学習に基づく自律走行時の最適化されたリソース割当てのための方法及び装置
JP7077910B2 (ja) 区画線検出装置及び区画線検出方法
KR102627453B1 (ko) 위치 추정 장치 및 방법
CN110969655A (zh) 用于检测车位的方法、装置、设备、存储介质以及车辆
JP6413974B2 (ja) キャリブレーション装置、キャリブレーション方法、及びプログラム
CN206623754U (zh) 车道线检测装置
CN113561963B (zh) 一种泊车方法、装置及车辆
CN106981082A (zh) 车载摄像头标定方法、装置及车载设备
JP6139465B2 (ja) 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
CN111510704B (zh) 校正摄像头错排的方法及利用其的装置
US10866427B2 (en) Method and apparatus for outputting pose information
JP5310027B2 (ja) 車線認識装置、及び車線認識方法
CN109523579A (zh) 一种无人机视频图像与三维地图的匹配方法和装置
JPWO2019031137A1 (ja) 路側物検出装置、路側物検出方法及び路側物検出システム
CN114518119A (zh) 定位的方法及装置
JP7095559B2 (ja) 区画線検出装置及び区画線検出方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant