CN107765684A - 基于立体相机的自主驾驶方法和设备 - Google Patents

基于立体相机的自主驾驶方法和设备 Download PDF

Info

Publication number
CN107765684A
CN107765684A CN201710512603.3A CN201710512603A CN107765684A CN 107765684 A CN107765684 A CN 107765684A CN 201710512603 A CN201710512603 A CN 201710512603A CN 107765684 A CN107765684 A CN 107765684A
Authority
CN
China
Prior art keywords
vehicle
distance
parameter
grabber
autonomous driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710512603.3A
Other languages
English (en)
Other versions
CN107765684B (zh
Inventor
金昶贤
姜晓娥
申昌雨
赵百焕
池大炫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107765684A publication Critical patent/CN107765684A/zh
Application granted granted Critical
Publication of CN107765684B publication Critical patent/CN107765684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

公开一种基于立体相机的自主驾驶方法和设备，所述方法包括：估计车辆的驾驶状况；基于估计的驾驶状况确定用于控制立体相机的立体相机宽度的参数；基于确定的参数控制捕获器，其中，捕获器被配置为控制针对第一方向的立体相机的两个相机之间的布置；基于由具有控制的布置的所述两个相机分别捕获的两个图像来测量位于第一方向上的对象的深度。

Description

基于立体相机的自主驾驶方法和设备
本申请要求于2016年8月16日提交到韩国知识产权局的第10-2016-0103488号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包含于此。
技术领域
以下描述涉及一种基于立体相机的自主驾驶方法和设备。
背景技术
自主驾驶可包括由车辆在没有用户(例如，车辆的驾驶员)操纵车辆的情况下执行的驾驶和/或在驾驶时向用户提供交替的便利。自主驾驶会需要车辆周围的三维(3D)环境的识别。例如，立体相机、红外线相机、接近传感器、超声波传感器、雷达和/或激光雷达可用于车辆的周围3D环境的识别。
发明内容
提供本发明内容以用简化的形式介绍对在下面的具体实施方式中进一步描述的构思的选择。本发明内容不是旨在识别所要求保护主题的关键特征或必要特征，也不是意图被用作帮助确定所要求保护主题的范围。
在一个总的方面，一种自主驾驶方法包括：估计车辆的驾驶状况；基于估计的驾驶状况确定用于控制立体相机的立体相机宽度的参数；基于确定的参数控制捕获器，其中，捕获器被配置为控制针对第一方向的立体相机的两个相机之间的布置；基于由具有控制的布置的所述两个相机分别捕获的两个图像来测量位于第一方向上的对象的深度。
控制捕获器的步骤可包括：从捕获器的相机阵列中面向第一方向的多个相机之中选择彼此分开与确定的参数对应的距离的两个相机。
所述多个相机可被固定地布置在捕获器中并且各自线性地分开第一距离，其中，与确定的参数对应的距离可被第一距离整除。
所述两个相机可在捕获器中被配置为被捕获器选择性地移动，控制捕获器的步骤可包括：选择性地移动所述两个相机中的至少一个，使得所述两个相机彼此分开与确定的参数对应的距离。
所述两个相机可在捕获器中被配置为被捕获器沿预定路线选择性地移动，控制捕获器的步骤可包括：沿预定路线选择性地移动所述两个相机中的至少一个，使得所述两个相机彼此分开与确定的参数对应的距离。
确定所述参数的步骤可包括：基于估计的驾驶状况确定车辆的停止距离；基于与停止距离关联的预定约束条件来确定所述参数。
与停止距离关联的预定约束条件可基于对与立体相机宽度对应的最大可测量深度以及停止距离与基于最大可测量深度的深度误差的安全距离之间的关系的考虑。
确定所述参数的步骤可包括：基于估计的驾驶状况来确定针对盲点区的阈值；基于与针对盲点区的阈值关联的预定约束条件来确定所述参数。
确定针对盲点区的阈值的步骤可包括：基于估计的驾驶状况来确定阈值盲点距离，所述预定约束条件可与阈值盲点距离关联。
与阈值盲点距离关联的所述预定约束条件可基于对阈值盲点距离和与立体相机宽度对应的盲点距离之间的关系的考虑。
确定所述参数的步骤可包括：基于估计的驾驶状况来确定停止距离和针对盲点区的阈值；基于与停止距离关联的预定约束条件来确定所述参数的最小值；基于与针对盲点区的阈值关联的预定约束条件来确定所述参数的最大值；将所述参数确定为等于所述最小值或所述最大值的值或者等于所述最小值与所述最大值之间的值。
确定所述阈值的步骤可包括：确定阈值盲点距离，所述与针对盲点区的阈值关联的预定约束条件可与阈值盲点距离关联。
当估计的驾驶状况为车辆高速驾驶时，确定所述参数的步骤可包括：确定所述参数以使得与立体相机宽度对应的最大可测量深度的深度误差被减小为小于与另一立体相机宽度对应的另一最大可测量深度的深度误差，其中，所述另一立体相机宽度针对与车辆低速驾驶对应的不同的估计的驾驶状况而确定。
当估计的驾驶状况为车辆低速驾驶时，确定所述参数的步骤可包括：确定所述参数以使得与立体相机宽度对应的盲点距离被减小为小于与另一立体相机宽度对应的盲点距离，其中，所述另一立体相机宽度针对与车辆高速驾驶对应的不同的估计的驾驶状况而确定。
估计的驾驶状况可基于对车辆的速度、车辆的移动方向、车辆的位置和用户操作的确定中的至少一个来确定。
估计的驾驶状况可包括车辆向前直行、改变车道、变向、高速公路驾驶、高速驾驶、低速驾驶、城市中驾驶、在天气影响条件下驾驶和在道路影响条件下驾驶中的至少一个，确定所述参数的步骤可包括：在与立体相机宽度对应的最大可测量深度的深度误差的范围和与立体相机宽度对应的盲点区的范围之间优先考虑的情况下，基于估计的驾驶状况来确定所述参数。
所述方法还可包括：基于估计的驾驶状况预测车辆的驾驶方向，确定所述参数的步骤可包括：基于与预测的驾驶方向对应的立体相机的视野方向来确定所述参数。
所述方法还可包括：选择性地关闭车辆的一个或多个另外的立体相机，其中，所述一个或多个另外的立体相机分别针对被确定为车辆在预测的驾驶方向上驾驶所不需要的一个或多个其他视野方向。
所述方法还可包括：控制捕获器或另一捕获器，以使两个另外的相机使用基于确定的参数的立体相机宽度来在与第一方向相反的第二方向上执行立体捕获；基于所述两个另外的相机的输出图像来测量位于第二方向上的对象的深度，其中，捕获器或所述另一捕获器可被配置为与在第一方向上捕获的两个图像协调地在第二方向上执行捕获。
在一个总的方面，一种非暂时性计算机可读存储介质存储这样的指令：当所述指令被处理器执行时使得处理器执行这里描述的一个或多个操作、操作的任何组合或者所有操作。
在一个总的方面，一种自主驾驶设备包括：捕获器，包括至少两个相机，捕获器被配置为控制所述两个相机之间的布置；控制器，被配置为基于估计的车辆的驾驶状况来确定与由所述两个相机表示的立体相机的立体相机宽度有关的参数，被配置为基于确定的参数控制捕获器以控制所述两个相机之间的布置，并被配置为基于由具有控制的布置的所述两个相机分别捕获的两个图像来测量位于第一方向上的对象的深度。
控制器还可被配置为基于来自车辆的传感器和/或来自车辆外部的传感器或装置的感测信息或者一个或多个驾驶状况估计来确定估计的驾驶状况。
捕获器可包括：相机阵列，包括面向第一方向的多个相机，控制器可被控制为从所述多个相机之中选择彼此分开与确定的参数对应的距离的两个相机。
所述多个相机可被固定地布置在捕获器中并且各自线性地分开第一距离，与确定的参数对应的距离可被第一距离整除。
所述两个相机可在捕获器中被配置为被捕获器选择性地移动，控制器可被配置为控制捕获器移动所述两个相机中的一个或多个，使得所述两个相机彼此分开与确定的参数对应的距离。
所述两个相机可在捕获器中被配置为被捕获器沿预定路线选择性地移动，控制器可被配置为控制捕获器沿预定路线移动所述两个相机中的一个或多个，使得所述两个相机彼此分开与确定的参数对应的距离。
控制器可被配置为基于估计的驾驶状况确定车辆的停止距离，并基于与停止距离关联的预定约束条件来确定所述参数。
与停止距离关联的预定约束条件可基于对与立体相机宽度对应的最大可测量深度以及停止距离与基于最大可测量深度的深度误差的安全距离之间的关系的考虑。
控制器可被配置为基于估计的驾驶状况来确定针对盲点区的阈值，并基于与针对盲点区的阈值关联的预定约束条件来确定所述参数。
控制器可被配置为：基于估计的驾驶状况来确定阈值盲点距离，所述预定约束条件可与阈值盲点距离关联。
与阈值盲点距离关联的所述预定约束条件可基于对阈值盲点距离和与立体相机宽度对应的盲点距离之间的关系的考虑。
控制器可被配置为：基于估计的驾驶状况来确定停止距离和针对盲点区的阈值；基于与停止距离关联的预定约束条件来确定所述参数的最小值；基于与针对盲点区的阈值关联的预定约束条件来确定所述参数的最大值；将所述参数确定为等于所述最小值或所述最大值的值或者等于所述最小值与所述最大值之间的值。
控制器可被配置为：确定阈值盲点距离，所述预定约束条件可与阈值盲点距离关联。
当估计的驾驶状况为车辆高速驾驶时，控制器可被配置为确定所述参数以使得与立体相机宽度对应的最大可测量深度的深度误差被减小为小于与另一立体相机宽度对应的另一最大可测量深度的深度误差，其中，所述另一立体相机宽度针对与车辆低速驾驶对应的不同的估计的驾驶状况而确定。
当估计的驾驶状况为车辆低速驾驶时，控制器可被配置为确定所述参数以使得与立体相机宽度对应的盲点距离被减小为小于与另一立体相机宽度对应的盲点距离，其中，所述另一立体相机宽度针对与车辆高速驾驶对应的不同的估计的驾驶状况而确定。
所述设备还可包括：传感器，被配置为感测车辆的速度、车辆的移动方向、车辆的位置和用户操作中的至少一个，其中，估计的驾驶状况可基于感测的车辆的速度、车辆的移动方向、车辆的位置和用户操作中的至少一个来确定。
估计的驾驶状况可包括车辆向前直行、改变车道、变向、高速公路驾驶、高速驾驶、低速驾驶、城市中驾驶、在天气影响条件下驾驶或者在道路影响条件下驾驶中的至少一个，控制器可被配置为在与立体相机宽度对应的最大可测量深度的深度误差的范围和与立体相机宽度对应的盲点区的范围之间优先考虑的情况下，基于估计的驾驶状况来确定所述参数。
控制器可被配置为基于估计的驾驶状况预测车辆的驾驶方向，并基于与预测的驾驶方向对应的立体相机的视野方向来确定所述参数。
控制器可被配置为选择性地关闭车辆的一个或多个另外的立体相机，其中，所述一个或多个另外的立体相机分别针对被确定为车辆在预测的驾驶方向上驾驶所不需要的一个或多个其他视野方向。
捕获器或另一捕获器可被配置为包括两个另外的相机，所述两个另外的相机使用基于确定的参数的立体相机宽度在与第一方向相反的第二方向上执行立体捕获，控制器可被配置为控制捕获器或所述另一捕获器与在第一方向上捕获的两个图像协调，以使所述两个另外的相机使用基于确定的参数的立体相机宽度在第二方向上执行捕获，并可被配置为基于所述两个另外的相机的输出图像来测量位于第二方向上的对象的深度。
在一个总的方面，一种自主驾驶设备包括：处理器，被配置为基于估计的车辆的驾驶状况确定用于控制立体相机的立体相机宽度的参数，基于确定的参数控制被配置为控制针对第一方向的立体相机的两个相机之间的布置的捕获器，并基于由具有控制的布置的所述两个相机分别捕获的两个图像来测量位于第一方向上的对象的深度。
所述设备还可包括：存储器，被配置为存储指令，其中，处理器还可被配置为执行所述指令从而将处理器配置为执行以下操作：基于估计的驾驶状况确定用于控制立体相机的立体相机宽度的参数；基于确定的参数控制捕获器，以控制针对第一方向的立体相机的所述两个相机之间的布置；基于由具有控制的布置的所述两个相机分别捕获的两个图像来测量位于第一方向上的对象的深度。
处理器还可被配置为：基于来自车辆的传感器和/或来自车辆外部的传感器或装置的感测信息或一个或多个驾驶状况估计来确定估计的驾驶状况。
所述设备还可包括捕获器，捕获器包括所述两个相机和/或车辆的传感器。
所述设备可包括捕获器，捕获器可包括相机阵列，相机阵列包括面向第一方向的多个相机，处理器还可被配置为从所述多个相机之中选择彼此分开与确定的参数对应的距离的两个相机。
所述多个相机可被固定地布置在捕获器中并且各自线性地分开第一距离，与确定的参数对应的距离可被第一距离整除。
所述设备可包括捕获器，所述两个相机可在捕获器中被配置为被捕获器选择性地移动，处理器还可被配置为控制捕获器移动所述两个相机中的一个或多个，使得所述两个相机彼此分开与确定的参数对应的距离。
所述两个相机可在捕获器中被配置为被捕获器沿预定路线选择性地移动，处理器可被配置为控制捕获器沿预定路线移动所述两个相机中的一个或多个，使得所述两个相机彼此分开与确定的参数对应的距离。
处理器还可被配置为控制捕获器基于估计的驾驶状况来在优先方向上旋转所述两个相机中的至少一个。
所述设备可包括捕获器，所述两个相机可在捕获器中被配置为被捕获器选择性地移动，处理器可被配置为：控制捕获器在与由车辆的转向灯手柄的用户操作指示的方向对应的优先方向上或基于车辆中左转向信号指示器或右转向信号指示器中的哪一个被激活的优先方向上，旋转所述两个相机中的至少一个。
处理器还可被配置为：基于估计的驾驶状况确定停止距离和针对盲点区的阈值；基于与停止距离关联的预定约束条件来确定所述参数的最小值；基于与针对盲点区的阈值关联的预定约束条件来确定所述参数的最大值；将所述参数确定为等于所述最小值或所述最大值的值或者等于所述最小值与所述最大值之间的值。
处理器还可被配置为：确定阈值盲点距离，所述预定约束条件可与阈值盲点距离关联。
当估计的驾驶状况为车辆高速驾驶时，处理器可被配置为确定所述参数以使得与立体相机宽度对应的最大可测量深度的深度误差被减小为小于与另一立体相机宽度对应的另一最大可测量深度的深度误差，其中，所述另一立体相机宽度针对与车辆低速驾驶对应的不同的估计的驾驶状况而确定。
当估计的驾驶状况为车辆低速驾驶时，处理器可被配置为确定所述参数以使得与立体相机宽度对应的盲点距离被减小为小于与另一立体相机宽度对应的盲点距离，其中，所述另一立体相机宽度针对与车辆高速驾驶对应的不同的估计的驾驶状况而确定。
处理器还可被配置为基于测量的深度确定车辆的周围环境信息，并控制将确定的周围环境信息显示在车辆的显示器上。
所述车辆还可以是汽车或另一类型的车辆。
通过下面的具体实施方式、附图和权利要求，其他特征和方面将是清楚的。
附图说明
图1示出自主驾驶设备的示例。
图2示出相机阵列的示例。
图3示出可移动相机的示例。
图4示出基于立体相机的不同宽度的盲点距离和深度测量区的示例。
图5示出以像素为单位执行的视差测量的深度误差的示例。
图6A和图6B示出在不同驾驶条件下的停止距离的示例。
图7示出基于停止距离控制立体相机的宽度的示例。
图8示出基于阈值盲点距离控制立体相机的宽度的示例。
图9示出自主驾驶设备的示例。
图10示出自主驾驶方法的示例。
贯穿附图和具体实施方式，除非另外描述或提供，否则相同的附图标记将被理解为表示相同或相似的元件、特征和结构。为了清楚、示出和方便，附图可能不按比例绘制，并且附图中的元件的相对大小、比例和描述可能被夸大。
具体实施方式
提供下面具体实施方式以帮助读者获得对这里描述的方法、设备和/或系统的全面的理解。然而，在理解本申请的公开之后，这里描述的方法、设备和/或系统的各种改变、修改和等同物将是显而易见的。例如，这里描述的操作的顺序仅为示例，并不限于这里阐述的顺序，除了必须按照一定顺序发生的操作之外，这里描述的操作的顺序可以如在理解本申请的公开之后清楚地那样改变。此外，为了更加清楚和简明，本领域公知的功能和结构的描述可被省略。
这里描述的特征可以以不同的形式实现，并不被解释为局限于这里所描述的示例。相反，已经提供在这里描述的示例，仅为示出实现在理解本申请的公开之后将是清楚的这里描述的方法、设备和/或系统的许多可能的方式中的一些方式。
诸如第一、第二、A、B、(a)、(b)等的术语可在这里使用以描述组件。这些术语中的每个术语不用于限定相应组件的本质、次序或顺序，而仅用于将相应组件与其他组件区分。例如，第一组件可被称为第二组件，类似地，第二组件也可被称为第一组件。
这里使用的术语仅是为了描述各种示例的目的，而不用于限制本公开。如在这里使用的，除非上下文清楚地另有指示，否则单数术语意在也包括复数形式。如在这里使用的，术语“包括”、“包含”和“具有”指定陈述的特征、数量、操作、元件、组件和/或它们的组合的存在，但不排除存在或添加一个或多个其他特征、数量、操作、元件、组件和/或它们的组合。
除非另有定义，否则这里使用的全部术语(包括技术术语和科学术语)具有与本公开所属领域的普通技术人员通常理解的含义相同并且与本公开的理解和本公开中这些术语的使用一致而不冲突的含义。除非在这里明确地定义，否则术语(诸如，在通用字典中定义的术语)将被解释为具有与它们在相关领域的上下文中的含义一致并且与本公开的理解一致的含义，而不应被解释为理想化或过于正式的意义。
图1示出自主驾驶设备的示例。参照图1，仅作为示例，自主驾驶设备100包括捕获器110和控制器120。捕获器110例如使用输出第一方向的捕获图像的两个或更多个相机在第一方向上执行捕获。例如，第一方向包括前方、后方和任何侧方中的一个。在第一方向上，在两个示例相机彼此重叠的视野中形成深度测量区。深度测量区可表示与两个示例相机对应的立体相机的视野。控制器120基于这两个相机的输出图像来测量位于第一方向的深度测量区中的对象的深度。例如，控制器120对这两个相机的输出图像执行立体匹配，以测量对象的深度。此外，控制器120可识别或确定对象的包括深度的信息的三维(3D)位置。例如，可在这两个相机的输出图像中分别针对确定的对应/匹配的对象或点来测量各自的视差，以识别对象的深度。例如，在一个示例(例如，以像素为单位测量视差的情况)中，视差可表示第一图像平面中的点或对象的图像位置与第二图像平面中的对应/匹配的点或对象的图像位置之间的像素距离(例如，像素的数量)。在一个示例中，可由控制器120基于测量的视差来产生视差图或深度图(诸如，所述视差图或深度图用于确定确定的对象或点的深度)。此外，可根据不同方法来确定两个图像之间的这样的点或对象之间的匹配或对应关系，一个简单的方法包括在两个图像之间应用的块匹配算法。虽然已经讨论了使用多个图像(例如，两个捕获图像)测量对象的深度的示例，但是不同的方法可用于从多个图像确定对象的位置和/或深度，因此实施例不仅限于这里描述的这些示例。
捕获器110可通过两个相机之间的距离可调整和/或不同的相机可被选择以表示立体相机的结构来提供，因此这两个相机能够用于立体视觉。控制器120基于确定的或估计的车辆的驾驶状况来适当地调整两个相机之间的距离和/或选择相机以在它们之间具有对应距离。两个相机之间的距离为表示立体相机的两个相机彼此分开以形成双目视差的距离，并且例如在这里还被称为立体相机的宽度。
如在下面进一步讨论的，立体相机的宽度影响深度测量区外面的盲点区的宽度、深度或范围以及深度测量区内的立体相机的最大可测量深度。使用图1作为示例，例如，最大可测量深度值表示在匹配车辆的驾驶方向的所示垂直方向上可被最大测量的深度，而对应的盲点区表示至少从立体相机无法得到或无法观察水平方向(即，垂直于驾驶方向)上的深度测量的区域。
当最大可测量深度随着立体相机的宽度增大而增大时，盲点区也随着立体相机的宽度的增大而增大。相反，立体相机的宽度的减小导致最大可测量深度的减小以及盲点区的减小。如此，最大可测量深度和盲点区是折衷关系(trade-off relationship)，因此，可基于该折衷关系和驾驶状况来调整立体相机的宽度。例如，当以高速驾驶时，可能需要识别与车辆距离远的远对象，以获得与其他车辆的安全距离。因此，控制器120可增大立体相机的宽度来达到预定水平。这里，虽然立体相机的宽度的这样的增大也会增大盲点区，但是可确定更大的深度测量能力存在更大的价值和优先级。可选地，当以低速驾驶时，为了准备改变车道、变向或另一车辆的可能闯入，与更大的深度测量能力相比，可能更需要对更宽的视野给予更大的价值或优先级，因此控制器120可减小立体相机的宽度来达到不同的预定水平。
控制器120可估计车辆的驾驶状况，并且基于该估计来确定与立体相机的宽度关联的参数。控制器120可基于与驾驶状况关联的信息估计驾驶状况。控制器120也可从另一车辆接收驾驶状况的估计结果。例如，控制器120从包括在车辆中的一个或多个传感器和/或车辆外部的一个或多个传感器或装置中的至少一个接收与驾驶状况关联的信息，并基于接收的信息估计驾驶状况。此外，控制器120可接收如通过包括在车辆中的传感器或外部传感器或装置中的至少一个估计的估计的驾驶状况。控制器120还可从包括在车辆中的一个或多个传感器以及外部传感器和/或装置接收这样的估计的驾驶状况的混合，并基于接收的估计的驾驶状况和收集的/接收的与驾驶状况关联的信息来做出当前驾驶状况的最终估计。
仅作为非限制示例，不同的驾驶状况可包括高速驾驶、低速驾驶、高速公路驾驶、城市中驾驶、向前直行驾驶、改变车道、变向、闯入车辆或障碍、天气条件和道路条件中的至少一个。可基于预定的参考值来确定车辆是高速驾驶还是低速驾驶。例如，当车辆的速度大于或等于参考值时，驾驶状况可被确定为车辆高速驾驶。相反，当车辆的速度小于参考值时，驾驶状况可被确定为车辆低速驾驶。还可存在多个这样的参考值，以便具有例如从车辆驾驶非常快到车辆驾驶非常慢的多个驾驶速度状况。可基于车辆的确定的位置(诸如，通过车辆的全球定位系统(GPS)或替代装置和/或来自相机捕获图像的对象/位置识别确定的位置)来确定车辆是否在高速公路上驾驶和/或车辆是否在城市中驾驶。还可存在其他基于位置的驾驶状况。可基于车辆的确定的或测量的移动方向和/或针对车辆的用户动作或操作来确定车辆是否向前直行驾驶、改变车道或变向(仅作为示例)。例如，可响应于车辆的移动方向的改变、用户的转向操作或用户的方向指示操作来确定改变车道驾驶状况或变向驾驶状况。控制器120还可例如基于确定的GPS信息从例如可连接或连接到天气中心数据库或服务器获得车辆的当前位置的天气信息。此外，控制器120可基于通过分析捕获当前驾驶道路的图像和/或天气信息而获得的结果来预测道路条件。驾驶状况还可由用户向控制器120的麦克风讲话来被口头指示。
仅作为示例，传感器和/或外部装置可使用一个或多个通用方案来感测并记录车辆的速度、车辆的移动方向、车辆的位置和用户操作中的至少一个。例如，用户操作可包括车辆的转向操作、方向指示操作、加速操作、减速操作以及停车操作。仅作为示例，用户操作可通过车辆的转向装置、方向指示装置(诸如，转向灯手柄或指示器)、加速踏板、制动踏板和停车制动器来输入。控制器120接收通过对应的传感器和/或外部装置中的至少一个感测的信息并可基于感测的信息估计驾驶状况。此外，传感器和外部装置可基于感测的信息估计驾驶状况并通知控制器120它们各自估计的驾驶状况。此外，在一个或多个实施例中，基于来自这样的不同传感器的信息或确定的条件以及基于之前的训练数据，控制器120还可通过将这样的信息提供给驾驶状况模型或其他的深度学习、机器学习或层次分析来估计驾驶状况，其中，所述其他的深度学习、机器学习或层次分析可基于这样的训练数据来训练或设计，并且根据实施例，通过确认或拒绝与关于估计的驾驶状况的结果的用户的交互以及通过其他更新机制(诸如，通过可连接的或连接的制造数据库或服务器)来更新。
控制器120基于估计的驾驶状况来确定或设置与立体相机的宽度关联的参数。例如，参数可具有与期望的立体相机的宽度对应的值或具有指示期望的立体相机的宽度的值。如下面进一步讨论的，控制器120可基于估计的驾驶状况来确定这样的参数的最小值和最大值，并将参数确定或设置为最大值与最小值之间的值，因此立体相机具有确定的适合于估计的驾驶状况的宽度。控制器120控制捕获器110，使得包括在捕获器110中的两个相机之间具有对应于参数的距离。因此，控制器120控制这两个相机根据参数而具有它们之间的控制的布置，来捕获各自的图像。因此，捕获器110使用由这两个相机表示的具有与参数对应的宽度的立体相机提供适合于估计的驾驶状况的捕获的图像信息。使用这样的布置，例如，与需要使用更高成本的激光雷达(lidar)或雷达系统来获得周围信息的一般系统相比，自主驾驶设备100以相对小的成本使用捕获器110的相机来获得并产生适合于驾驶状况的自主驾驶或控制信息。
除了与立体相机的宽度关联的参数之外，控制器120可基于驾驶状况来控制立体相机的另一参数。例如，该另一参数可以是与立体相机的视野方向关联的参数。在这个示例中，控制器120可使用来自转向装置或方向指示装置的信息来预测车辆的驾驶方向，并基于预测的车辆的驾驶方向来调整用于控制立体相机的旋转角度和/或水平视野宽度的参数。如下面进一步讨论的，在一个示例中，控制器120可使用捕获器110的相机阵列来控制水平视野宽度。此外，在一个示例中，控制器120可使用捕获器110的可移动和/或可旋转相机来控制旋转角度。
使用来自具有各自设置的立体相机宽度的立体相机的捕获图像，控制器120可控制在捕获图像中观察到的对象的深度的确定。例如，控制器120可产生车辆的3D周围环境的深度图。从确定的深度，控制器120可确定观察的对象是否为可由控制器120通过随时间比较立体相机的捕获图像而确定的潜在障碍或靠近车辆(诸如，来自另一车道的靠近车辆的另一车辆)。控制器还可执行各个对象的分类和/或识别，以及车辆与检测对象的全球和/或本地定位和映射。基于这样的对象检测、分类和/或识别以及全球或本地定位和映射，控制器120可执行能被显示给车辆的驾驶员(诸如，通过车辆的显示器)或根据实施例在没有用户控制的情况下在车辆的自主驾驶中使用的针对车辆的安全路径规划。
图2示出相机阵列的示例。参照图2，捕获器210包括相机阵列215，并可对应于图1的捕获器110，但实施例不限于此。相机阵列215包括多个相机。例如，所述多个相机可按照预设间隔来布置，并附接到框架。当所述多个相机附接到框架时，分开所述多个相机的示例预设间隔被保持为初始设置值。作为替代，所述多个相机可根据一个或多个不同的预设间隔来布置。控制器220基于估计的驾驶状况来确定或设置与立体相机的宽度关联的参数，并从相机阵列215中选择这样两个相机，所述两个相机之间具有与确定的或设置的参数对应的距离。例如，当与参数对应的立体相机宽度为宽度d时，控制器220可选择各自分开宽度d的图2的相机1和相机4、相机2和相机5、相机3和相机6、相机4和相机7或相机5和相机8中的任何一组。
当存在按照预设间隔的大量相机时，控制器220可基于预定参考从这些相机之中选择两个相机用于立体相机。在一个示例中，诸如当驾驶状况被估计为车辆直接向前驾驶时，控制器220可基于相机各自的距离从相机阵列215的中线选择相机。例如，当与确定的或设置的参数对应的立体相机宽度为d时，控制器220可选择分开立体相机宽度d并且与相机阵列215的中线距离相等的相机3和相机6。在另一示例中，控制器220可基于估计的驾驶状况，基于相机与已被分配确定的优先级的侧面的相对接近度来选择相机(例如，选择最接近优先侧的相机作为立体相机的两个相机之一)。例如，当另一车辆闯入或从示出的右侧检测到障碍或这样的闯入或障碍基于估计的驾驶状况而存在确定的较大潜在可能性时，控制器220可将优先级分配给示出的右方向。在这个示例中，针对同一立体相机宽度d，控制器220可选择离右侧更近的相机5和相机8作为表示立体相机的两个相机。此外，控制器220可预测车辆的驾驶方向，并可基于相机与预测的驾驶方向的相对接近度来选择相机(例如，选择与预测的驾驶方向最近的相机作为立体相机的两个相机之一)，因此可调整立体相机的水平视野宽度。控制器220可将除了选择的相机之外的其余相机操作在待机或关机模式，或者它们可被用于重复或其他目的。
就这一点而言，在一个或多个实施例中，当控制器220根据预测的驾驶方向确定在对应的各个视野方向上的图像捕获不是驾驶所需(诸如，为节省自主驾驶设备的电力和资源)时，控制器220可选择性地将捕获器210或另一捕获器的其他相机或其他立体相机操作在各自的待机或关机模式下。例如，如果预测的驾驶方向被确定为表示在右侧驾驶交叉口的左转向，则控制器220可将面向车辆的左侧、前方和右侧的相机控制为捕获图像用于对象检测而关闭面向后方的相机，并且潜在地可将左侧相机和右侧相机中的一个或多个选择性地控制(诸如以下针对图3讨论的那样)为移动，以相比于包括左后或右后方向的视野而言提供更多左前和右前的视野。如果预测的驾驶方向被确定为表示在这样的交叉口的右转向，则相机的不同的选择和布置可被选定(诸如，提供左侧、左前、前方、右前、右侧和右后的视野)。例如，如果预测的驾驶方向被确定为表示向右改变车道，则前方、右前、右侧和右后的视野可被提供，并且其余的相机保持关闭或被关闭。可选地，如果预测的驾驶方向被确定为表示向左改变车道，则前方、左前、左侧和左后的视野可被提供，并且其余的相机保持关闭或被关闭。作为另一示例，如果检测到闯入的车辆(诸如，车辆从右车道横向闯入当前车道，直接进入前方视野)，则左前、前方、右前、右侧和右后的视野可被选定并且对应的相机被控制为捕获图像，而针对其他视野布置的相机可被选择性地保持关闭或被关闭。这些相机中的任何相机可以为立体相机，因此控制器220可基于估计的驾驶状况来确定针对各个立体相机宽度的对应参数。此外，虽然已经给出自主驾驶车辆的选择相机被控制或选择性地控制在关机模式的若干示例，但是对于不同的驾驶状况而言，由于另外的和替代的示例也可用，因此实施例不应被限于此。
图3示出可移动相机的示例。参照图3，捕获器310包括至少两个相机315，并可对应于图1的捕获器110，但实施例不限于此。仅作为示例，两个相机315可沿预定路线313移动，或沿各自的预定路线移动。预定路线313可被实现为轨道、链条或皮带，注意实施例不限于此。例如，捕获器310可包括被配置为沿预定路线313移动两个相机315的步进电机，注意用于分别移动相机中的一个或多个的替代机制也可用。在一个示例中，两个相机315被控制为彼此独立地在预定路线313上移动，以调整它们之间的距离，或者可选地，仅相机之一可被控制为移动，以增大或减小由这两个相机表示的立体相机宽度。例如，控制器320针对估计的驾驶状况来确定与立体相机宽度关联的参数，并使两个相机315移动(如果必要)，以使两个相机315之间具有与参数对应的距离。
控制器320基于立体相机宽度来控制两个相机315之间的距离并将两个相机315布置在各自合适的位置。在一个示例中，控制器320调整两个相机315的位置，以使得在两个相机315提供与参数对应的立体相机宽度的状态下，两个相机315的中线对应于捕获器310的中线。在另一示例中，控制器320调整两个相机315的位置，以使得根据立体相机宽度布置的两个相机315的中线更多地位于已经分配优先级的方向上。例如，当另一车辆已经被确定为从左侧前进或闯入或者障碍被检测为靠近左侧时，或者当左方向被预测为车辆的驾驶方向时，控制器320可向左侧分配优先级。在这个示例中，控制器320调整两个相机315的位置，以使得根据立体相机宽度布置的两个相机315的中线相对于捕获器310的中线位于向左的位置。可选地，控制器320可向左旋转(诸如，通过由捕获器310表示的一个或多个对应伺服机构)两个相机315中的一个或两个，以使左侧优先化。控制器320可以可选地基于估计的驾驶状况分别执行两个相机315中的一个或两个的位置控制和旋转角度控制两者。
图4示出基于对象识别装置(诸如，图1至图3以及图9的控制器中的任何一个或任何组合)的立体相机的不同宽度的盲点距离和深度测量区的示例。图4示出在立体相机宽度为D1的情况410下的深度测量区和盲点距离以及在立体相机宽度为D2的情况420下的深度测量区和盲点距离，其中，D2大于D1。深度测量区是指深度被测量或可被测量的各个测量区。因此，如图4所示，情况410下的最大可测量深度和盲点距离小于情况420下的最大可测量深度和对应的盲点距离。因此，在情况410下，对象识别装置可获得比情况420下的视野更宽的视野，而由于在情况420下的更大的最大可测量深度，处于相对远距离的对象可能仅在情况420下被识别。
如在前述阐述中讨论的，立体相机的宽度影响盲点区。由于盲点区在深度测量区的外部，因此在盲点区中通过立体相机的深度测量可能是不可行的。如图4所示，随着立体相机的宽度从D1增大到D2，情况410与情况420之间的最大可测量深度也增大。此外，随着立体相机的宽度增大，各个最大可测量深度的深度误差减小。因此，当驾驶状况被估计为车辆以高速驾驶时，保证更远距离测量的视野可被期望或被优先化(例如，利用更宽的视野)，因此立体相机的宽度可被增大为大于或等于针对该驾驶状况而设置的预定水平。
为了示出随着立体相机的宽度增大而发生的盲点区的增大，将使用示出的盲点距离来针对图4讨论盲点区。每个示出的盲点距离指示对应的深度测量区与参考线之间的各个距离。在这个示例中，参考线被设置为从捕获器、相机镜头、图像传感器的前侧或车辆的前侧(仅作为示例)延伸穿过一个或多个邻近车道(诸如，在与立体相机的相机中的至少一个的轴垂直的方向上)的线。针对图4，情况410和情况420中的各个最邻近的车道的盲点距离将被称为第一盲点距离，各个次邻近的车道的盲点距离将被称为第二盲点距离。为描述简洁，将基于第一盲点距离来提供以下阐述，并且第一盲点距离的描述也适用于第二盲点距离。识别位于邻近车道的对象的距离的可能性随着盲点距离的增大而减小(例如，由于视野变窄)。因此，为准备改变车道、变向或另一车辆的突然闯入或者障碍，立体相机的宽度可被减小为等于或小于针对以低速驾驶的车辆的驾驶状况而设置的预定水平(例如，可能更期望邻近车道的对象的识别)。因此，在图4的示例中，在情况410下的立体相机宽度D1可更适合于以低速驾驶的车辆的驾驶状况(诸如，在一般道路上驾驶)，在情况420下的立体相机宽度D2可更适合于在高速驾驶的车辆的驾驶状况(诸如，在高速公路上驾驶)。
图5示出以像素为单位执行的视差测量的深度误差的示例。如图5所示，基于像素的视差随着对象与立体相机之间的深度增大而减小。这里，注意，随着基于像素的视差减小，深度误差增大。深度误差可以是指示使用基于像素的视差预测的对象的深度的误差范围的值，基于像素的视差被测量作为由控制器(诸如，图1至图3和图9的任何控制器)执行的立体匹配操作的结果。例如，立体匹配可在立体相机的两个相机的各个捕获图像之间执行，来匹配在不同的捕获图像中的相同的对象。仅作为示例，基于像素的视差可以是将捕获图像中的对象分开的像素的数量的测量(例如，通过控制器进行所述测量)。
例如，可假设对于图5的立体相机，焦距f为3.3毫米(mm)，立体相机的宽度D为25mm，像素大小δ为40微米(μm)。在这个示例中，如图5所示，针对0.45米(m)和0.5m之间的深度的对象的视差会是4，针对0.5m和0.8m之间的深度的对象的视差会是3，针对0.8m和1.4m之间的深度的对象的视差会是2，针对1.4m和4.1m之间的深度的对象的视差会是1。此外，在这个示例中，当视差为4时深度误差为±0.025m，当视差为3时深度误差为±0.15m，当视差为2时深度误差为±0.3m，当视差为1时深度误差为±1.35m。
例如，对象的深度可根据以下等式1得到。
等式1：
在等式1中，Z表示深度，f表示立体相机的焦距，D表示立体相机的宽度，d对应于视差。此外，下面的示例等式2可通过对等式1的两侧均执行偏导而得到。
等式2：
在等式2中，例如，当假设f和D是固定特性时，等式2可被表示为下面的等式3。
因此，在等式3中，深度误差被示出为与深度的平方Z2成正比。这里，还注意，与Z2之间的比例可能与用立体相机在对象的观察位置处的任何水平误差(ΔX)和深度Z之间的比例不同，其中，ΔX可与Z成正比。例如，在图5的示例配置下，其中焦距f为3.3毫米(mm)，立体相机的宽度D为25mm，像素大小δ为40微米(μm)，当Z为0.5m时ΔX可以是0.7cm，当Z为1.4m时ΔX可以是1.7cm，当Z为5m时ΔX可以是5cm。
如在前面的阐述中讨论的，随着立体相机的宽度的增大，视野会变窄，这可导致盲点区增大，最大可测量深度增大并且最大可测量深度的深度误差减小。相反，随着立体相机的宽度的减小，视野会变宽，这可导致盲点区减小，最大可测量深度减小并且最大可测量深度的深度误差增大。这里，最大可测量深度的引用是指在没有令人不满的误差和/或不在立体相机的相机能力(诸如，基于相机的捕获图像的像素分辨率和/或可测量视差可存在或可被检测的最大距离)之外的情况下的立体相机的可测量深度。例如，图4示出针对情况410和情况420的不同的深度测量区，还分别示出不同的示例最大可测量深度，图5示出这样的示例：在4.1m的深度的情况下，在立体相机的相机的各个捕获图像中的像素之间最多可存在1像素视差。从等式3，可导出针对最大可测量深度的深度误差ΔZ的以下示例等式4。
等式4：
在等式4中，Z表示立体相机的最大可测量深度，f表示立体相机的焦距，D表示立体相机的宽度，δ表示像素的大小，ΔZ表示可测量深度的深度误差。此外，在等式4中，可见ΔZ与Z2和δ成正比，并且与f和D正反比。因此，ΔZ根据D的减小而增大，正如ΔZ根据D的增大而减小。这里，等式4也可表示深度误差与除了示例最大可测量深度之外的其他深度之间的关系。
使用汽车导航，在一个或多个实施例中，测量深度的ΔZ可能在确定行驶车辆之间的最小安全分隔(例如，安全距离)时感兴趣，根据一个或多个实施例的自主车辆可基于确定的驾驶速度和与紧接在前的车辆(例如，当两个车辆均沿向前方向驾驶时)的测量距离来确定最小安全分隔。在这样的驾驶状况下，在后车辆在不同速度下的停止距离可被知道或被计算(诸如，基于实验结果或建模)。如下所述，停止距离可包括从机械停止操作启动时的点停止车辆实际所需要的距离(例如，制动距离)以及在车辆控制器或用户确定将执行这样的停止并启动机械停止操作所需要的反应时间期间所行驶的距离(例如，反应距离)。这里，仅作为示例，车辆控制器可以是图1至图3和图9的车辆控制器中的任何车辆控制器。因此，可能期望立体相机的真实距离至少为停止距离。
因此，考虑ΔZ，Z-ΔZ可表示能使目标对象的深度在不出现误差的情况下被测量以避免事故的安全距离，这是因为按照全部可能的范围的ΔZ误差，目标对象与车辆之间的真实距离比测量的Z更接近车辆。还应考虑，位于比安全距离更远的位置的对象的深度可能无法准确地测量，诸如，当Z表示最大可测量深度并且对象在针对立体相机的设置宽度的深度测量区的外部时。相反，当停止车辆所需的停止距离大于最大可测量距离——对应的ΔZ(即，安全距离)时，可能发生事故。因此，宽度D可被选择性地调整以使安全距离大于或等于停止距离。
图6A和图6B示出在不同驾驶条件下的停止距离的示例。参照图6A和图6B，停止距离包括各自的制动距离和反应距离。反应距离表示在诸如由用户或自主车辆的控制器检测到障碍之后，直到诸如由自主车辆的控制器或由用户输入减速操作为止车辆所移动的距离。制动距离指示从输入减速操作的时间直到车辆停止为止车辆所移动的距离。图6A的图610和图6B的图620示出与不同的道路条件对应的各个停止距离。例如，在干燥平铺的道路上的停止距离被表示在图610中，在结冰道路上的停止距离被表示在图620中。控制器基于包括道路条件的驾驶状况来确定车辆的停止距离，并基于停止距离来确定与立体相机的宽度关联的参数。此外，可基于控制器或用户的反应速度来改变反应距离。例如，控制器可利用用户来计算针对单个用户的反应距离，并基于合适的反应距离来确定与立体相机的宽度关联的合适的参数。当用户实施减速操作时，自主车辆可监控并执行车辆周围环境的识别操作，以用于向用户提供警报(诸如，碰撞或闯入警报)或用于其他信息提供(诸如，在车辆的显示器、仪表板或抬头显示器(heads up display)上)。用户可基于这样的警报(诸如，当自主车辆在用户视觉观察到之前检测到闯入时)来启动减速操作。
图7示出基于停止距离控制立体相机的宽度的示例。图7示出最大可测量深度Z1、最大可测量深度Z1的深度误差ΔZ1、最大可测量深度Z2、最大可测量深度Z2的深度误差ΔZ2和停止距离。在图7的示例中，立体相机宽度D1小于立体相机宽度D2，最大可测量深度Z1对应于立体相机宽度D1，最大可测量深度Z2对应于立体相机宽度D2。如参照图6A和图6B所述，停止距离基于包括例如车辆的驾驶速度、道路条件和用户的反应速度的驾驶状况被确定。此外，可能期望安全距离大于或等于停止距离。例如，与安全距离关联的这样的约束条件可由下面等式5表示。
等式5：
Z-ΔZ≥SD
在等式5中，Z-ΔZ指示安全距离，SD表示停止距离。控制器(诸如，图1至图3和图9的任何控制器)可根据等式5来确定与立体相机的宽度关联的参数的最小值，即，导致提供最大可测量的Z以使Z-ΔZ大于或等于停止距离的立体相机宽度的立体相机的参数的最小值。控制器可将参数确定为具有大于或等于最小值的值。如以下进一步讨论的，控制器还可基于与阈值盲点距离关联的另一约束条件来确定参数的最大值并将立体相机的参数设置为具有最小值与最大值之间的值。
参照图7的示例，基于立体相机宽度D1，自主驾驶设备具有最大可测量深度Z1，连同对应的深度误差ΔZ1。在这个示例中，安全距离Z1-ΔZ1被示出为小于所示的停止距离，这可导致事故的更大可能性。因此，自主驾驶设备可增大立体相机的宽度来保证更大的安全距离。例如，当自主车辆将立体相机宽度从D1增大到D2时，自主驾驶设备得到大于或等于停止距离的最小安全距离Z2-ΔZ2。
此外，在一个或多个实施例中，当驾驶状况被估计为车辆以例如多个定义的速度范围的最高速度范围驾驶时，为保证最大的可测量深度，参数的最小值可对应于被自动设置(诸如，通过图1至图3和图9的任何捕获器)为可用的最大宽度的立体相机的宽度，从而使更大的最大可测量深度和更小的最大深度误差优先于盲点区的范围的对应增大。相反，在一个或多个实施例中，当驾驶状况为车辆以这样的多个定义的速度范围的低速度范围或最低速度范围驾驶时，为保证宽的观看区，参数的最大值可对应于被自动设置(诸如，通过图1至图3和图9的任何捕获器)为可用的最小宽度的立体相机的宽度，从而使盲点区的范围的最小化优先于最大可测量深度的对应减小和增大的最大深度误差。
图8示出基于阈值盲点距离控制立体相机的宽度的示例。图8示出深度测量区和盲点距离。如在前面的阐述中讨论的，盲点距离根据立体相机的宽度的增大而增大。由于盲点距离对邻近车道的状况的识别产生影响，因此基于车辆的驾驶状况可能期望保证合适的盲点距离。控制器基于车辆的驾驶状况来确定阈值盲点距离。阈值盲点距离指示用于基于驾驶状况测量车辆与位于邻近车道上的对象之间的距离的盲点区的示例最小距离或盲点区的示例最大范围。
例如，当高速驾驶时，改变车道、变向或另一车辆的突然闯入的可能性可相对较低。因此，当与车辆低速驾驶时的驾驶状况相比，当车辆高速驾驶时控制器可针对该驾驶状况设置相对较长的阈值盲点距离。此外，由于在车辆低速驾驶、在城市中驾驶和在多云天气下驾驶的驾驶状况下可能期望保证宽的视野，因此与车辆高速驾驶的驾驶状况的相对较长的阈值盲点距离相比，控制器可减小阈值盲点距离。为获得与驾驶状况对应的合适的视野，可能期望实际盲点距离小于针对该驾驶状况设置的阈值盲点距离。例如，与阈值盲点距离关联的这样的约束条件可由下面的等式6来表示。
等式6：
BDTH≥BDA
在等式6中，BDTH表示阈值盲点距离，BDA表示实际盲点距离。因此，在一个或多个实施例中，控制器可使用等式6来确定与立体相机的宽度关联的参数的最大值。在这样的示例中，控制器确定与立体相机的宽度关联的参数，以使参数具有小于或等于确定的最大值的值。如上所述，控制器还可基于与前面提到的安全距离关联的不同的约束条件来确定与立体相机的宽度关联的参数的最小值，并因此将与立体相机的宽度关联的参数确定或设置为例如最大值与最小值之间的最终值。
在图8的示例中，实际或当前盲点距离被示出为大于所示的阈值盲点距离。例如，控制器可响应于确定的车道或方向的改变、感测的其他车辆的移动或闯入或者天气条件的改变，将阈值盲点距离从之前的更大的阈值盲点距离减小。在这个示例中，示出的阈值盲点距离因此可能已经减小为小于实际或当前盲点距离。因此，控制器可减小立体相机的宽度以调整实际盲点距离以便小于或等于示出的阈值盲点距离。通过立体相机的宽度的这样的调整，自主驾驶设备得到与当前确定的驾驶状况对应的合适的视野。
图9示出自主驾驶设备的示例。参照图9，自主驾驶车辆950为自主驾驶设备900或包括自主驾驶设备900(诸如，图1至图3的任何自主驾驶设备)。这里，还应注意，自主驾驶设备900可以是汽车或卡车、以及摩托车、3轮车或者能飞或在水下操作的无人机，或者自主驾驶设备900可包括在它们之中。自主驾驶设备900包括多个捕获器910、控制器920、一个或多个传感器930以及一个或多个通信器940。在一个示例中，仅作为示例，控制器920代表一个或多个处理器或包括被配置为执行这里描述的任何一个或多个操作或全部操作的这样的一个或多个处理器的车辆控制模块。在另一示例中，控制器920可代表这样的一个或多个处理器和一个或多个存储器，所述一个或多个存储器被配置为存储指令以控制所述一个或多个处理器执行这样的指令以实现这样的操作，和/或存储或缓存接收的传感器或外部传感器或装置的信息或对应的估计的驾驶状况确定。所述一个或多个存储器可替代地或另外地被配置在自主驾驶设备内的其他位置，注意，根据实施例，自主驾驶设备可以是车辆、比车辆更小的系统或者仅为一个或多个这样的控制器920。简言之，虽然已经描述了通过这样的一个或多个处理器进行操作的控制器920的示例，但是实施例还包括通过除了这样的处理器以外的硬件来执行这样的操作中的一个或多个或者全部操作的控制器。捕获器910可分别包括用于在前方、后方和侧方中的至少一个方向上执行捕获的相机。仅作为示例，例如，图9的示出的两个示例捕获器910使用各自的相机来在前方和后方执行捕获，或者例如根据关于图2和/或图3的前述讨论在前方、后方和/或一个或多个侧方执行捕获。捕获器910可被布置在各种位置，例如，在自主驾驶车辆950的回路面板(loop panel)的外围上，注意，替代布置也是可用的。关于图1至图8的上述描述也可应用于捕获器910，但实施例不限于此。传感器930产生用于估计自主驾驶车辆950的驾驶状况的状况信息并可将状况信息发送到控制器920。通信器940可从自主驾驶车辆950外部的装置接收状况信息并将接收的状况信息发送到控制器920。
控制器920估计自主驾驶车辆950的驾驶状况并基于驾驶状况确定与立体相机的宽度关联的参数。控制器920控制捕获器910中的至少一个，以使包括在对应捕获器910中的两个相机之间具有与确定的参数对应的距离。当至少两个方向上执行捕获时，控制器920可基于不同的参数或相同的参数来控制同一捕获器910上的不同的相机对或不同的捕获器910上的不同的相机。例如，捕获器910中的一个执行前方和后方的捕获(例如，使用各个立体相机)，或者捕获器910中的一个的立体相机执行前方的捕获而捕获器910中的另一个的立体相机执行后方的捕获。控制器920可基于估计的驾驶状况确定与对应的立体相机的宽度关联的参数P，并控制各个捕获器910，以使立体相机的执行前方的捕获的对应的两个相机之间具有与参数P对应的距离，并且立体相机的执行后方的捕获的对应的两个相机之间具有与参数P对应的距离。这里，虽然同一参数P被示出为应用于向前和向后的图像捕获，但是可如上讨论针对每个立体相机基于根据各个预设驾驶状况的最大测量距离和/或阈值盲点距离(仅作为示例)来确定各个不同的参数。例如，在同一参数P被用于前后图像捕获的示例中，至少最大可测量深度、安全距离和阈值盲点距离的视野可在后方被保证。
图10示出自主驾驶方法的示例。参照图10，在操作1010，例如，自主驾驶设备获得和/或估计车辆的驾驶状况。在操作1020，自主驾驶设备基于估计的驾驶状况确定与立体相机的宽度关联的参数。在操作1030，自主驾驶设备以使包括在捕获器中的两个相机被控制为分开与所述参数对应的距离的方式控制捕获器在第一方向上执行捕获。在操作1040，自主驾驶设备基于所述两个相机的输出图像来测量位于第一方向上的对象的深度。由于上述描述中的任何或全部描述也可应用于这里，因此将省略关于自主驾驶方法的进一步的重复描述。
通过被配置为执行本申请中描述的由硬件组件执行的操作的硬件组件来实现例如图1至图5和图9中的执行本申请中描述的操作的捕获器110、控制器120、捕获器210、相机215、控制器220、捕获器310、相机315、控制器320、捕获器910、控制器920、传感器930和通信器940。可用于执行本申请中描述的操作的硬件组件的示例在适当情况下包括控制器、传感器、产生器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器、光学传感器和被配置为执行本申请中描述的操作的任何其他电子组件。在其他示例中，通过计算硬件(例如，通过一个或多个处理器或计算机)来实现执行本申请中描述的操作的硬件组件(诸如，控制器、传感器和通信器中的任何)中的一个或多个。可通过一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或被配置为以限定的方式响应并执行指令以获得期望结果的任何其他装置或装置的组合)来实现处理器或计算机。在一个示例中，处理器或计算机包括或连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。通过处理器或计算机实现的硬件组件可执行指令或软件(诸如，操作系统(OS)和在OS上运行的一个或多个软件应用)，以执行本申请中描述的操作。硬件组件还可响应于指令或软件的执行来访问、操控、处理、创建和存储数据。为了简单起见，单数术语“处理器”或“计算机”可用于本申请中描述的示例的描述，但在其他示例中，可使用多个处理器或计算机，或者处理器或计算机可包括多个处理元件或多种类型的处理元件或二者。例如，可通过单个处理器或者两个或更多个处理器或者处理器和控制器来实现单个硬件组件或者两个或更多个硬件组件。可通过一个或多个处理器或者处理器和控制器来实现一个或多个硬件组件，可通过一个或多个其他处理器或者另一处理器和另一控制器来实现一个或多个其他硬件组件。一个或多个处理器或者处理器和控制器可实现单个硬件组件或者两个或更多个硬件组件。硬件组件可具有不同的处理配置中的任何一个或多个，其示例包括单个处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理和多指令多数据(MIMD)多处理。
在一个或多个实施例中，通过计算硬件(例如，通过一个或多个处理器或计算机)来执行图1至图10示出的执行本申请中描述的操作的方法和处理，所述一个或多个处理器或计算机被实现为如上所述地执行指令或软件以执行本申请中描述的由方法执行的操作。例如，可通过单个处理器或者两个或更多个处理器或者处理器和控制器来执行单个操作或者两个或更多个操作。可通过一个或多个处理器或者处理器和控制器来执行一个或多个操作，可通过一个或多个其他处理器或者另一处理器和另一控制器来执行一个或多个其他操作。一个或多个处理器或者处理器和控制器可执行单个操作或者两个或更多个操作。
用于控制计算硬件(例如，一个或多个处理器或计算机)实现硬件组件并且执行如上所述的方法的指令或软件可被编写为计算机程序、代码段、指令或它们的任何组合，用于单独地或共同地指示或配置一个或多个处理器或计算机如机器或专用计算机那样操作，以执行由硬件组件执行的操作和如上所述的方法。在一个示例中，指令或软件包括直接由一个或多个处理器或计算机直接执行的机器代码(诸如，由编译器产生的机器代码)。在另一示例中，指令或软件包括由一个或多个处理器或计算机使用解释器执行的更高级代码。可基于附图中示出的框图和流程图以及公开了用于执行由硬件组件执行的操作和如上所述的方法的算法的说明书中的相应描述，使用任意的编程语言来编写指令或软件。
用于控制计算硬件(例如，一个或多个处理器或计算机)实现硬件组件并且执行如上所述的方法的指令或软件以及任何相关联的数据、数据文件以及数据结构可被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中，或被记录、存储或固定在一个或多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取存储器(RAM)、闪存、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘和任何其他装置，所述任何其他装置被配置为以非暂时性的方式存储指令或软件以及任何相关联的数据、数据文件和数据结构，并将指令或软件以及任何相关联的数据、数据文件和数据结构提供给一个或多个处理器或计算机，以便一个或多个处理器或计算机能执行指令。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结构被分布在联网的计算机系统上，使得指令或软件以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式的方式被存储、访问和执行。
虽然本公开包括特定示例，但是在理解本申请的公开之后将清楚，在不脱离权利要求和它们的等同物的精神和范围的情况下，可对这些示例进行形式和细节上的各种改变。在此描述的示例应仅在描述意义上考虑，而非为了限制的目的。每个示例中的特征或方面的描述将被视为可应用于其他示例中的相似特征或方面。如果以不同的顺序执行描述的技术，和/或如果描述的系统、架构、装置或电路中的组件以不同方式被组合和/或被其他组件或其等同物替代或补充，则可实现合适的结果。因此，本公开的范围不由具体实施方式限定，而是由权利要求和它们的等同物所限定，并且在权利要求和它们的等同物的范围内的所有变化将被解释为包括在本公开中。

Claims (56)

1.一种自主驾驶方法，包括：
估计车辆的驾驶状况；
基于估计的驾驶状况确定用于控制立体相机的立体相机宽度的参数；
基于确定的参数控制捕获器，其中，捕获器被配置为控制针对第一方向的立体相机的两个相机之间的布置；
基于由具有控制的布置的所述两个相机分别捕获的两个图像来测量位于第一方向上的对象的深度。
2.如权利要求1所述的自主驾驶方法，其中，控制捕获器的步骤包括：从捕获器的相机阵列中面向第一方向的多个相机之中选择彼此分开与确定的参数对应的距离的两个相机。
3.如权利要求2所述的自主驾驶方法，其中，所述多个相机被固定地布置在捕获器中并且各自线性地分开第一距离，其中，与确定的参数对应的距离能够被第一距离整除。
4.如权利要求1所述的自主驾驶方法，其中，所述两个相机在捕获器中被配置为被捕获器选择性地移动，
控制捕获器的步骤包括：选择性地移动所述两个相机中的至少一个，使得所述两个相机彼此分开与确定的参数对应的距离。
5.如权利要求4所述的自主驾驶方法，其中，所述两个相机在捕获器中被配置为被捕获器沿预定路线选择性地移动，
控制捕获器的步骤包括：沿预定路线选择性地移动所述两个相机中的至少一个，使得所述两个相机彼此分开与确定的参数对应的距离。
6.如权利要求1所述的自主驾驶方法，其中，确定所述参数的步骤包括：
基于估计的驾驶状况确定车辆的停止距离；
基于与停止距离关联的预定约束条件来确定所述参数。
7.如权利要求6所述的自主驾驶方法，其中，与停止距离关联的预定约束条件基于对与立体相机宽度对应的最大可测量深度以及停止距离与基于最大可测量深度的深度误差的安全距离之间的关系的考虑。
8.如权利要求1所述的自主驾驶方法，其中，确定所述参数的步骤包括：
基于估计的驾驶状况来确定针对盲点区的阈值；
基于与针对盲点区的阈值关联的预定约束条件来确定所述参数。
9.如权利要求8所述的自主驾驶方法，其中，确定针对盲点区的阈值的步骤包括：基于估计的驾驶状况来确定阈值盲点距离，其中，所述预定约束条件与阈值盲点距离关联。
10.如权利要求9所述的自主驾驶方法，其中，与阈值盲点距离关联的所述预定约束条件基于对阈值盲点距离和与立体相机宽度对应的盲点距离之间的关系的考虑。
11.如权利要求1所述的自主驾驶方法，其中，确定所述参数的步骤包括：
基于估计的驾驶状况来确定停止距离和针对盲点区的阈值；
基于与停止距离关联的预定约束条件来确定所述参数的最小值；
基于与针对盲点区的阈值关联的预定约束条件来确定所述参数的最大值；
将所述参数确定为等于所述最小值或所述最大值的值或者等于所述最小值与所述最大值之间的值。
12.如权利要求11所述的自主驾驶方法，其中，确定所述阈值的步骤包括：确定阈值盲点距离，其中，所述与针对盲点区的阈值关联的预定约束条件与阈值盲点距离关联。
13.如权利要求1所述的自主驾驶方法，其中，当估计的驾驶状况为车辆高速驾驶时，确定所述参数的步骤包括：确定所述参数以使得与立体相机宽度对应的最大可测量深度的深度误差被减小为小于与另一立体相机宽度对应的另一最大可测量深度的深度误差，其中，所述另一立体相机宽度针对与车辆低速驾驶对应的不同的估计的驾驶状况而确定。
14.如权利要求1所述的自主驾驶方法，其中，当估计的驾驶状况为车辆低速驾驶时，确定所述参数的步骤包括：确定所述参数以使得与立体相机宽度对应的盲点距离被减小为小于与另一立体相机宽度对应的盲点距离，其中，所述另一立体相机宽度针对与车辆高速驾驶对应的不同的估计的驾驶状况而确定。
15.如权利要求1所述的自主驾驶方法，其中，估计的驾驶状况基于对车辆的速度、车辆的移动方向、车辆的位置和用户操作的确定中的至少一个来确定。
16.如权利要求1所述的自主驾驶方法，其中，估计的驾驶状况包括车辆向前直行、改变车道、变向、高速公路上驾驶、高速驾驶、低速驾驶、城市中驾驶、在天气影响条件下驾驶和在道路影响条件下驾驶中的至少一个，
确定所述参数的步骤包括：在与立体相机宽度对应的最大可测量深度的深度误差的范围和与立体相机宽度对应的盲点区的范围之间优先考虑的情况下，基于估计的驾驶状况来确定所述参数。
17.如权利要求1所述的自主驾驶方法，还包括：
基于估计的驾驶状况预测车辆的驾驶方向，
其中，确定所述参数的步骤包括：基于与预测的驾驶方向对应的立体相机的视野方向来确定所述参数。
18.如权利要求17所述的自主驾驶方法，还包括：选择性地关闭车辆的一个或多个另外的立体相机，其中，所述一个或多个另外的立体相机分别针对被确定为车辆在预测的驾驶方向上驾驶所不需要的一个或多个其他视野方向。
19.如权利要求1所述的自主驾驶方法，还包括：
控制捕获器或另一捕获器，以使两个另外的相机使用基于确定的参数的立体相机宽度在与第一方向相反的第二方向上执行立体捕获；
基于所述两个另外的相机的输出图像来测量位于第二方向上的对象的深度，
其中，捕获器或所述另一捕获器被配置为与在第一方向上捕获的两个图像协调地在第二方向上执行捕获。
20.一种非暂时性计算机可读存储介质，存储当被处理器执行时使得处理器执行如权利要求1所述的方法的指令。
21.一种自主驾驶设备，包括：
捕获器，包括至少两个相机，捕获器被配置为控制所述两个相机之间的布置；
控制器，被配置为基于估计的车辆的驾驶状况来确定与由所述两个相机表示的立体相机的立体相机宽度有关的参数，被配置为基于确定的参数控制捕获器以控制所述两个相机之间的布置，并被配置为基于由具有控制的布置的所述两个相机分别捕获的两个图像来测量位于第一方向上的对象的深度。
22.如权利要求21所述的自主驾驶设备，其中，控制器还被配置为基于来自车辆的传感器和/或来自车辆外部的传感器或装置的感测信息或者一个或多个驾驶状况估计来确定估计的驾驶状况。
23.如权利要求21所述的自主驾驶设备，其中，捕获器包括：相机阵列，包括面向第一方向的多个相机，
控制器被配置为从所述多个相机之中选择彼此分开与确定的参数对应的距离的两个相机。
24.如权利要求23所述的自主驾驶设备，其中，所述多个相机被固定地布置在捕获器中并且各自线性地分开第一距离，其中，与确定的参数对应的距离能够被第一距离整除。
25.如权利要求21所述的自主驾驶设备，其中，所述两个相机在捕获器中被配置为被捕获器选择性地移动，
控制器被配置为控制捕获器移动所述两个相机中的一个或多个，使得所述两个相机彼此分开与确定的参数对应的距离。
26.如权利要求25所述的自主驾驶设备，其中，所述两个相机在捕获器中被配置为被捕获器沿预定路线选择性地移动，
控制器被配置为控制捕获器沿预定路线移动所述两个相机中的一个或多个，使得所述两个相机彼此分开与确定的参数对应的距离。
27.如权利要求21所述的自主驾驶设备，其中，控制器被配置为基于估计的驾驶状况确定车辆的停止距离，并基于与停止距离关联的预定约束条件来确定所述参数。
28.如权利要求27所述的自主驾驶设备，其中，与停止距离关联的预定约束条件基于对与立体相机宽度对应的最大可测量深度以及停止距离与基于最大可测量深度的深度误差的安全距离之间的关系的考虑。
29.如权利要求21所述的自主驾驶设备，其中，控制器被配置为基于估计的驾驶状况来确定针对盲点区的阈值，并基于与针对盲点区的阈值关联的预定约束条件来确定所述参数。
30.如权利要求29所述的自主驾驶设备，其中，控制器被配置为：基于估计的驾驶状况来确定阈值盲点距离，所述预定约束条件与阈值盲点距离关联。
31.如权利要求30所述的自主驾驶设备，其中，与阈值盲点距离关联的所述预定约束条件基于对阈值盲点距离和与立体相机宽度对应的盲点距离之间的关系的考虑。
32.如权利要求21所述的自主驾驶设备，其中，控制器被配置为：基于估计的驾驶状况来确定停止距离和针对盲点区的阈值；基于与停止距离关联的预定约束条件来确定所述参数的最小值；基于与针对盲点区的阈值关联的预定约束条件来确定所述参数的最大值；将所述参数确定为等于所述最小值或所述最大值的值或者等于所述最小值与所述最大值之间的值。
33.如权利要求32所述的自主驾驶设备，其中，控制器被配置为：确定阈值盲点距离，所述预定约束条件与阈值盲点距离关联。
34.如权利要求21所述的自主驾驶设备，其中，当估计的驾驶状况为车辆高速驾驶时，控制器被配置为确定所述参数以使得与立体相机宽度对应的最大可测量深度的深度误差被减小为小于与另一立体相机宽度对应的另一最大可测量深度的深度误差，其中，所述另一立体相机宽度针对与车辆低速驾驶对应的不同的估计的驾驶状况而确定。
35.如权利要求21所述的自主驾驶设备，其中，当估计的驾驶状况为车辆低速驾驶时，控制器被配置为确定所述参数以使得与立体相机宽度对应的盲点距离被减小为小于与另一立体相机宽度对应的盲点距离，其中，所述另一立体相机宽度针对与车辆高速驾驶对应的不同的估计的驾驶状况而确定。
36.如权利要求21所述的自主驾驶设备，还包括：
传感器，被配置为感测车辆的速度、车辆的移动方向、车辆的位置和用户操作中的至少一个，
其中，估计的驾驶状况基于感测的车辆的速度、车辆的移动方向、车辆的位置和用户操作中的至少一个来确定。
37.如权利要求21所述的自主驾驶设备，其中，估计的驾驶状况包括车辆向前直行、改变车道、变向、高速公路上驾驶、高速驾驶、低速驾驶、城市中驾驶、在天气影响条件下驾驶和在道路影响条件下驾驶中的至少一个，
控制器被配置为在与立体相机宽度对应的最大可测量深度的深度误差的范围和与立体相机宽度对应的盲点区的范围之间优先考虑的情况下，基于估计的驾驶状况来确定所述参数。
38.如权利要求21所述的自主驾驶设备，其中，控制器被配置为基于估计的驾驶状况预测车辆的驾驶方向，并基于与预测的驾驶方向对应的立体相机的视野方向来确定所述参数。
39.如权利要求38所述的自主驾驶设备，其中，控制器被配置为选择性地关闭车辆的一个或多个另外的立体相机，其中，所述一个或多个另外的立体相机分别针对被确定为车辆在预测的驾驶方向上驾驶所不需要的一个或多个其他视野方向。
40.如权利要求21所述的自主驾驶设备，其中，捕获器或另一捕获器被配置为包括两个另外的相机，所述两个另外的相机使用基于确定的参数的立体相机宽度在与第一方向相反的第二方向上执行立体捕获，
控制器被配置为控制捕获器或所述另一捕获器与在第一方向上捕获的两个图像协调，以使所述两个另外的相机使用基于确定的参数的立体相机宽度在第二方向上执行捕获，并被配置为基于所述两个另外的相机的输出图像来测量位于第二方向上的对象的深度。
41.一种自主驾驶设备，所述自主驾驶设备包括：
处理器，被配置为基于估计的车辆的驾驶状况确定用于控制立体相机的立体相机宽度的参数，基于确定的参数控制被配置为控制针对第一方向的立体相机的两个相机之间的布置的捕获器，并基于由具有控制的布置的所述两个相机分别捕获的两个图像来测量位于第一方向上的对象的深度。
42.如权利要求41所述的自主驾驶设备，还包括：存储器，被配置为存储指令，
其中，处理器还被配置为执行所述指令从而将处理器配置为执行以下操作：基于估计的驾驶状况确定用于控制立体相机的立体相机宽度的参数；基于确定的参数控制捕获器，以控制针对第一方向的立体相机的所述两个相机之间的布置；基于由具有控制的布置的所述两个相机分别捕获的两个图像来测量位于第一方向上的对象的深度。
43.如权利要求41所述的自主驾驶设备，其中，处理器还被配置为：基于来自车辆的传感器和/或来自车辆外部的传感器或装置的感测信息或一个或多个驾驶状况估计来确定估计的驾驶状况。
44.如权利要求43所述的自主驾驶设备，还包括捕获器，捕获器包括所述两个相机和/或车辆的传感器。
45.如权利要求43所述的自主驾驶设备，其中，所述自主驾驶设备包括捕获器，捕获器包括相机阵列，相机阵列包括面向第一方向的多个相机，
处理器还被配置为从所述多个相机之中选择彼此分开与确定的参数对应的距离的两个相机。
46.如权利要求45所述的自主驾驶设备，其中，所述多个相机被固定地布置在捕获器中并且各自线性地分开第一距离，与确定的参数对应的距离能够被第一距离整除。
47.如权利要求43所述的自主驾驶设备，其中，所述自主驾驶设备包括捕获器，所述两个相机在捕获器中被配置为被捕获器选择性地移动，
处理器还被配置为控制捕获器移动所述两个相机中的一个或多个，使得所述两个相机彼此分开与确定的参数对应的距离。
48.如权利要求47所述的自主驾驶设备，其中，所述两个相机在捕获器中被配置为被捕获器沿预定路线选择性地移动，
处理器被配置为控制捕获器沿预定路线移动所述两个相机中的一个或多个，使得所述两个相机彼此分开与确定的参数对应的距离。
49.如权利要求48所述的自主驾驶设备，其中，针对由捕获器对所述两个相机的选择性移动，处理器还被配置为控制捕获器基于估计的驾驶状况在优先方向上旋转所述两个相机中的至少一个。
50.如权利要求43所述的自主驾驶设备，其中，所述自主驾驶设备包括捕获器，所述两个相机在捕获器中被配置为被捕获器选择性地移动，
处理器被配置为：控制捕获器在与由车辆的转向灯手柄的用户操作指示的方向对应的优先方向上或基于车辆中左转向信号指示器或右转向信号指示器中的哪一个被激活的优先方向上，旋转所述两个相机中的至少一个。
51.如权利要求41所述的自主驾驶设备，其中，处理器还被配置为：基于估计的驾驶状况确定停止距离和针对盲点区的阈值；基于与停止距离关联的预定约束条件来确定所述参数的最小值；基于与针对盲点区的阈值关联的预定约束条件来确定所述参数的最大值；将所述参数确定为等于所述最小值或所述最大值的值或者等于所述最小值与所述最大值之间的值。
52.如权利要求51所述的自主驾驶设备，其中，处理器还被配置为：确定阈值盲点距离，所述预定约束条件与阈值盲点距离关联。
53.如权利要求41所述的自主驾驶设备，其中，当估计的驾驶状况为车辆高速驾驶时，处理器被配置为确定所述参数以使得与立体相机宽度对应的最大可测量深度的深度误差被减小为小于与另一立体相机宽度对应的另一最大可测量深度的深度误差，其中，所述另一立体相机宽度针对与车辆低速驾驶对应的不同的估计的驾驶状况而确定。
54.如权利要求41所述的自主驾驶设备，其中，当估计的驾驶状况为车辆低速驾驶时，处理器被配置为确定所述参数以使得与立体相机宽度对应的盲点距离被减小为小于与另一立体相机宽度对应的盲点距离，其中，所述另一立体相机宽度针对与车辆高速驾驶对应的不同的估计的驾驶状况而确定。
55.如权利要求41所述的自主驾驶设备，其中，处理器还被配置为基于测量的深度确定车辆的周围环境信息，并控制将确定的周围环境信息显示在车辆的显示器上。
56.如权利要求41所述的自主驾驶设备，其中，所述车辆是汽车。
CN201710512603.3A 2016-08-16 2017-06-29 基于立体相机的自主驾驶方法、可读存储介质和设备 Active CN107765684B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160103488A KR102462502B1 (ko) 2016-08-16 2016-08-16 스테레오 카메라 기반의 자율 주행 방법 및 그 장치
KR10-2016-0103488 2016-08-16

Publications (2)

Publication Number Publication Date
CN107765684A true CN107765684A (zh) 2018-03-06
CN107765684B CN107765684B (zh) 2021-06-22

Family

ID=58398055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710512603.3A Active CN107765684B (zh) 2016-08-16 2017-06-29 基于立体相机的自主驾驶方法、可读存储介质和设备

Country Status (5)

Country Link
US (1) US10444752B2 (zh)
EP (1) EP3285485B1 (zh)
JP (1) JP6905397B2 (zh)
KR (1) KR102462502B1 (zh)
CN (1) CN107765684B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108490938A (zh) * 2018-03-21 2018-09-04 沈阳上博智像科技有限公司 无人驾驶设备视觉避障系统及方法
CN110233963A (zh) * 2019-05-06 2019-09-13 深圳市华芯技研科技有限公司 一种双目相机间距调节方法及装置
CN110864705A (zh) * 2018-08-10 2020-03-06 小马智行 用传感器导轨选择性捕获自主车传感器数据的系统和方法
CN111649751A (zh) * 2019-03-04 2020-09-11 百度（美国）有限责任公司 一种用于参考线平滑的超自由缝合方法
CN112673620A (zh) * 2018-09-10 2021-04-16 赛峰电子与防务公司 用于辅助驾驶飞行器的光电装备
CN114095664A (zh) * 2020-11-06 2022-02-25 北京京东乾石科技有限公司 一种摄像头参数的调节方法和装置
EP3736768B1 (en) * 2019-05-07 2022-04-13 Alpine Electronics, Inc. Image processing apparatus, image processing system, image processing method, and program
CN115131957A (zh) * 2021-03-19 2022-09-30 三一汽车制造有限公司 路况预警方法及装置

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7014508B2 (ja) * 2016-08-08 2022-02-01 シャープ株式会社 自律走行装置及び自律走行制御方法と制御プログラム
KR102462502B1 (ko) * 2016-08-16 2022-11-02 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치
KR102537598B1 (ko) * 2016-10-11 2023-06-01 주식회사 에이치엘클레무브 전방감시장치, 전방감시장치를 이용한 운전지원장치 및 운전지원방법
KR20180094725A (ko) 2017-02-16 2018-08-24 삼성전자주식회사 자율 주행을 위한 차량 제어 방법, 차량 제어 장치 및 자율 주행을 위한 학습 방법
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
USD858381S1 (en) 2017-04-28 2019-09-03 Waymo Llc Fender sensor housing
US10331960B2 (en) * 2017-05-10 2019-06-25 Fotonation Limited Methods for detecting, identifying and displaying object information with a multi-camera vision system
JP6894775B2 (ja) * 2017-06-20 2021-06-30 キヤノン株式会社 測距システム及びその制御方法
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
KR20190013224A (ko) * 2017-08-01 2019-02-11 엘지전자 주식회사 이동 단말기
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11245888B2 (en) * 2018-03-19 2022-02-08 Ricoh Company, Ltd. Information processing apparatus, image capture apparatus, image processing system, and method of processing a plurality of captured images of a traveling surface where a moveable apparatus travels
US11198340B2 (en) 2018-05-01 2021-12-14 Continental Automotive Systems, Inc. Coupler and tow-bar detection for automated trailer hitching via cloud points
FR3080937B1 (fr) * 2018-05-03 2021-06-04 Commissariat Energie Atomique Procede et dispositif de reconnaissance de distance en temps reel
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US10782691B2 (en) 2018-08-10 2020-09-22 Buffalo Automation Group Inc. Deep learning and intelligent sensing system integration
US10936907B2 (en) 2018-08-10 2021-03-02 Buffalo Automation Group Inc. Training a deep learning system for maritime applications
US10683067B2 (en) 2018-08-10 2020-06-16 Buffalo Automation Group Inc. Sensor system for maritime vessels
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
KR20210072048A (ko) 2018-10-11 2021-06-16 테슬라, 인크. 증강 데이터로 기계 모델을 훈련하기 위한 시스템 및 방법
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
CN112055806A (zh) * 2018-11-20 2020-12-08 谷歌有限责任公司 在困难驾驶条件下利用地标增强导航指令
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
JP2020112959A (ja) * 2019-01-10 2020-07-27 株式会社ダイフク 物品搬送装置
JP2020111247A (ja) * 2019-01-15 2020-07-27 本田技研工業株式会社 車両及びその制御装置
KR101995344B1 (ko) * 2019-01-22 2019-07-02 김흥수 사각지역이 없는 듀얼 깊이 카메라 모듈
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
DE112020000735T5 (de) * 2019-02-08 2022-03-03 Jaguar Land Rover Limited Fahrzeugsteuerungssystem und -verfahren
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
USD915913S1 (en) 2019-05-01 2021-04-13 Waymo Llc Roof pod housing
USD950404S1 (en) 2019-05-01 2022-05-03 Waymo Llc Roof pod housing
USD902756S1 (en) 2019-02-20 2020-11-24 Waymo Llc Sensor assembly
USD957967S1 (en) 2019-02-20 2022-07-19 Waymo Llc Sensor housing
DE102019105790A1 (de) * 2019-03-07 2020-09-10 Man Truck & Bus Se Kraftfahrzeug mit einer Mehrzahl von Sensoreinrichtungen zur Umfelderfassung
US11328605B2 (en) * 2019-03-26 2022-05-10 Toyota Jidosha Kabushiki Kaisha Adjustable blind spot monitor
USD956585S1 (en) 2019-04-25 2022-07-05 Waymo Llc Rear sensor housing
USD927998S1 (en) 2019-04-25 2021-08-17 Waymo Llc Front sensor housing
USD964249S1 (en) 2019-04-25 2022-09-20 Waymo Llc Perimeter sensor housing
USD954571S1 (en) 2019-04-25 2022-06-14 Waymo Llc Front sensor housing
USD964908S1 (en) 2019-04-25 2022-09-27 Waymo Llc Perimeter sensor housing
USD928639S1 (en) 2019-04-25 2021-08-24 Waymo Llc Rear sensor housing
USD965498S1 (en) 2019-04-25 2022-10-04 Waymo Llc Perimeter sensor housing
USD964909S1 (en) 2019-04-25 2022-09-27 Waymo Llc Perimeter sensor housing
KR102103944B1 (ko) 2019-05-23 2020-04-23 주식회사 모빌테크 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
KR102195040B1 (ko) 2019-06-27 2020-12-28 주식회사 모빌테크 이동식 도면화 시스템 및 모노카메라를 이용한 도로 표지 정보 수집 방법
EP4047581A4 (en) 2019-10-18 2022-10-05 Sony Group Corporation INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING DEVICE
KR102249769B1 (ko) 2019-12-06 2021-05-12 주식회사 모빌테크 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
US11493922B1 (en) 2019-12-30 2022-11-08 Waymo Llc Perimeter sensor housings
US11557127B2 (en) 2019-12-30 2023-01-17 Waymo Llc Close-in sensing camera system
US11450116B2 (en) * 2020-03-09 2022-09-20 Ford Global Technologies, Llc Systems and methods for sharing camera setting control among multiple image processing components in a vehicle
KR102284128B1 (ko) * 2020-03-23 2021-07-30 삼성전기주식회사 차량용 카메라
KR102623456B1 (ko) * 2020-04-23 2024-01-10 엘지전자 주식회사 차량의 응급 상황을 처리하는 장치 및 방법
US11644330B2 (en) * 2020-07-08 2023-05-09 Rivian Ip Holdings, Llc Setting destinations in vehicle navigation systems based on image metadata from portable electronic devices and from captured images using zero click navigation
KR102360105B1 (ko) 2020-12-29 2022-02-14 주식회사 포커스비전 영상 블러를 이용한 3차원 영상 생성방법
EP4120218A1 (en) * 2021-07-15 2023-01-18 Ford Global Technologies, LLC System and method for monitoring an autonomous driving or parking operation
KR102562617B1 (ko) * 2021-09-15 2023-08-03 김배훈 어레이 카메라 시스템
KR102621453B1 (ko) * 2022-02-08 2024-01-10 한라대학교 산학협력단 자율 주행 차량의 자기 위치 인식 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008129236A2 (en) * 2007-04-20 2008-10-30 Advanced Transport Systems Limited Vehicle guidance system
US20120113232A1 (en) * 2010-11-10 2012-05-10 Sony Pictures Technologies Inc. Multiple camera system and method for selectable interaxial separation
WO2015193198A1 (en) * 2014-06-19 2015-12-23 Koninklijke Philips N.V. Method and apparatus for generating a three dimensional image
CN105460008A (zh) * 2014-09-29 2016-04-06 富士重工业株式会社 车辆的行驶控制装置
CN105717735A (zh) * 2016-04-13 2016-06-29 深圳市杜玛光线传播科技有限公司 搭建式vr立体拍摄阵列装置
US20160205384A1 (en) * 2015-01-09 2016-07-14 Ricoh Company. Ltd. Moving body system

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5983161A (en) 1993-08-11 1999-11-09 Lemelson; Jerome H. GPS vehicle collision avoidance warning and control system and method
JPH07215130A (ja) * 1994-02-01 1995-08-15 Hitachi Ltd 車載カメラ切り換え装置
JPH1139596A (ja) * 1997-07-17 1999-02-12 Fuji Heavy Ind Ltd 車外監視装置
US7680295B2 (en) * 2001-09-17 2010-03-16 National Institute Of Advanced Industrial Science And Technology Hand-gesture based interface apparatus
US6737964B2 (en) * 2001-11-05 2004-05-18 Ford Global Technologies, Llc Vehicle blind spot monitoring system
US7774158B2 (en) 2002-12-17 2010-08-10 Evolution Robotics, Inc. Systems and methods for landmark generation for visual simultaneous localization and mapping
KR100482598B1 (ko) * 2003-04-21 2005-04-14 현대자동차주식회사 차간거리 제어방법 및 장치
WO2004106856A1 (ja) * 2003-05-29 2004-12-09 Olympus Corporation ステレオカメラ支持装置、ステレオカメラ支持方法及びキャリブレーション検出装置及びキャリブレーション補正装置並びにステレオカメラシステム
KR100550430B1 (ko) 2003-07-26 2006-02-13 엘지전자 주식회사 3차원 정보를 이용한 이동체의 주행 안내장치 및 방법
KR20050080534A (ko) 2004-02-10 2005-08-17 김성주 3차원 입체 효과 최적화를 위한 카메라 위치의 지능 배치 기법
WO2005088970A1 (ja) * 2004-03-11 2005-09-22 Olympus Corporation 画像生成装置、画像生成方法、および画像生成プログラム
JP2005268847A (ja) * 2004-03-16 2005-09-29 Olympus Corp 画像生成装置、画像生成方法、および画像生成プログラム
JP2006024120A (ja) * 2004-07-09 2006-01-26 Sumitomo Electric Ind Ltd 車両用画像処理システム及び画像処理装置
JP2007299047A (ja) * 2006-04-27 2007-11-15 Matsushita Electric Ind Co Ltd 運転支援装置
US8139109B2 (en) * 2006-06-19 2012-03-20 Oshkosh Corporation Vision system for an autonomous vehicle
JP4420011B2 (ja) * 2006-11-16 2010-02-24 株式会社日立製作所 物体検知装置
JP4321643B2 (ja) * 2007-08-10 2009-08-26 トヨタ自動車株式会社 周辺監視装置
JP5066478B2 (ja) * 2008-04-22 2012-11-07 富士重工業株式会社 車両の運転支援装置
US8087791B2 (en) * 2009-04-15 2012-01-03 Toyota Motor Engineering And Manufacturing North America, Inc. Methods and systems for adjusting the position of vehicle outside mirrors
US8340852B2 (en) 2009-04-29 2012-12-25 Honeywell International Inc. System and method for simultaneous localization and map building
KR101070591B1 (ko) * 2009-06-25 2011-10-06 (주)실리콘화일 듀얼 스테레오 카메라를 구비한 거리 측정 장치
EP2334089A1 (en) * 2009-12-04 2011-06-15 Alcatel Lucent A method and systems for obtaining an improved stereo image of an object
JP5468426B2 (ja) * 2010-03-12 2014-04-09 日立オートモティブシステムズ株式会社 ステレオカメラ装置
FR2960082B1 (fr) 2010-05-17 2012-08-10 Commissariat Energie Atomique Procede et systeme pour fusionner des donnees issues de capteurs d'images et de capteurs de mouvement ou de position
KR101012691B1 (ko) * 2010-07-05 2011-02-09 주훈 3차원 입체 열상 카메라 시스템
JP5742179B2 (ja) * 2010-11-05 2015-07-01 ソニー株式会社 撮像装置、画像処理装置、および画像処理方法、並びにプログラム
KR20120065067A (ko) 2010-12-10 2012-06-20 국방과학연구소 다중센서 융합을 통한 3차원 환경 모델링 장치 및 그 방법
KR101283965B1 (ko) * 2010-12-23 2013-07-09 전자부품연구원 적응적 사고 검출 시스템 및 사고 검출 방법
JP2012174237A (ja) * 2011-02-24 2012-09-10 Nintendo Co Ltd 表示制御プログラム、表示制御装置、表示制御システム、及び表示制御方法
US9415718B2 (en) * 2011-06-08 2016-08-16 Denso Corporation Vehicular headlight apparatus
JP5861293B2 (ja) * 2011-07-20 2016-02-16 日産自動車株式会社 車輌用映像表示装置
KR101316433B1 (ko) * 2011-09-14 2013-10-08 현대자동차주식회사 차량 주변정보 제공 시스템 및 그 방법
KR101862404B1 (ko) * 2011-12-09 2018-05-29 엘지이노텍 주식회사 스테레오 영상의 노이즈 제거장치 및 방법
KR101919366B1 (ko) 2011-12-22 2019-02-11 한국전자통신연구원 차량 내부 네트워크 및 영상 센서를 이용한 차량 위치 인식 장치 및 그 방법
JP5587930B2 (ja) * 2012-03-09 2014-09-10 日立オートモティブシステムズ株式会社 距離算出装置及び距離算出方法
US9002128B2 (en) * 2012-03-15 2015-04-07 Panasonic Intellectual Property Corporation Of America Image processing apparatus, integrated circuit, program, imaging apparatus, and display apparatus
US9221396B1 (en) 2012-09-27 2015-12-29 Google Inc. Cross-validating sensors of an autonomous vehicle
KR20140049361A (ko) 2012-10-17 2014-04-25 한국과학기술원 다중 센서 시스템, 이를 이용하는 3차원 월드 모델링 장치 및 방법
KR101454824B1 (ko) 2013-04-03 2014-11-03 국방과학연구소 자율 이동 차량의 위치 추정 시스템 및 방법
KR20150066303A (ko) 2013-12-06 2015-06-16 한국전자통신연구원 운전자의 주행 패턴을 반영하는 자율 주행 장치 및 그 방법
JP6323018B2 (ja) * 2014-01-17 2018-05-16 株式会社デンソー 運転支援装置
JP6291866B2 (ja) * 2014-01-27 2018-03-14 株式会社デンソー 運転支援装置、および運転支援方法
KR101705601B1 (ko) 2014-05-30 2017-02-13 동명대학교 산학협력단 3차원 깊이정보기반 자율주행 로봇의 위치추정 장치 및 그 방법
CN104010178B (zh) * 2014-06-06 2017-01-04 深圳市墨克瑞光电子研究院 双目图像视差调节方法及装置和双目相机
US9185391B1 (en) * 2014-06-17 2015-11-10 Actality, Inc. Adjustable parallax distance, wide field of view, stereoscopic imaging system
JP2016018295A (ja) * 2014-07-07 2016-02-01 日立オートモティブシステムズ株式会社 情報処理システム
WO2016086379A1 (en) 2014-12-04 2016-06-09 SZ DJI Technology Co., Ltd. Imaging system and method
EP3249902A4 (en) * 2015-01-20 2018-08-22 Hitachi Automotive Systems, Ltd. On-vehicle camera device
CN105866949B (zh) * 2015-01-21 2018-08-17 成都理想境界科技有限公司 能自动调节景深的双目ar头戴设备及景深调节方法
KR102366402B1 (ko) * 2015-05-21 2022-02-22 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
JP6397801B2 (ja) * 2015-06-30 2018-09-26 日立オートモティブシステムズ株式会社 物体検知装置
EP3399499A4 (en) * 2015-12-28 2019-01-09 Ricoh Company, Ltd. Image Processing Device, Object Recognition Device, Machine Control System, Image Processing Method, and Image Processing Program
KR101822894B1 (ko) * 2016-04-07 2018-01-29 엘지전자 주식회사 차량 운전 보조 장치 및 차량
KR102462502B1 (ko) 2016-08-16 2022-11-02 삼성전자주식회사 스테레오 카메라 기반의 자율 주행 방법 및 그 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008129236A2 (en) * 2007-04-20 2008-10-30 Advanced Transport Systems Limited Vehicle guidance system
US20120113232A1 (en) * 2010-11-10 2012-05-10 Sony Pictures Technologies Inc. Multiple camera system and method for selectable interaxial separation
WO2015193198A1 (en) * 2014-06-19 2015-12-23 Koninklijke Philips N.V. Method and apparatus for generating a three dimensional image
CN105460008A (zh) * 2014-09-29 2016-04-06 富士重工业株式会社 车辆的行驶控制装置
US20160205384A1 (en) * 2015-01-09 2016-07-14 Ricoh Company. Ltd. Moving body system
CN105717735A (zh) * 2016-04-13 2016-06-29 深圳市杜玛光线传播科技有限公司 搭建式vr立体拍摄阵列装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨琼琼: "机器人驾驶车辆的方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108490938A (zh) * 2018-03-21 2018-09-04 沈阳上博智像科技有限公司 无人驾驶设备视觉避障系统及方法
CN110864705A (zh) * 2018-08-10 2020-03-06 小马智行 用传感器导轨选择性捕获自主车传感器数据的系统和方法
CN112673620A (zh) * 2018-09-10 2021-04-16 赛峰电子与防务公司 用于辅助驾驶飞行器的光电装备
CN112673620B (zh) * 2018-09-10 2023-04-18 赛峰电子与防务公司 用于辅助驾驶飞行器的光电装备
CN111649751A (zh) * 2019-03-04 2020-09-11 百度（美国）有限责任公司 一种用于参考线平滑的超自由缝合方法
CN111649751B (zh) * 2019-03-04 2023-11-24 百度（美国）有限责任公司 一种用于参考线平滑的超自由缝合方法
CN110233963A (zh) * 2019-05-06 2019-09-13 深圳市华芯技研科技有限公司 一种双目相机间距调节方法及装置
EP3736768B1 (en) * 2019-05-07 2022-04-13 Alpine Electronics, Inc. Image processing apparatus, image processing system, image processing method, and program
CN114095664A (zh) * 2020-11-06 2022-02-25 北京京东乾石科技有限公司 一种摄像头参数的调节方法和装置
CN115131957A (zh) * 2021-03-19 2022-09-30 三一汽车制造有限公司 路况预警方法及装置

Also Published As

Publication number Publication date
EP3285485A1 (en) 2018-02-21
KR20180019309A (ko) 2018-02-26
US20180052457A1 (en) 2018-02-22
CN107765684B (zh) 2021-06-22
US10444752B2 (en) 2019-10-15
EP3285485B1 (en) 2022-06-08
JP6905397B2 (ja) 2021-07-21
JP2018027772A (ja) 2018-02-22
KR102462502B1 (ko) 2022-11-02

Similar Documents

Publication Publication Date Title
CN107765684A (zh) 基于立体相机的自主驾驶方法和设备
US10739144B2 (en) Map information update system and map information update server
US10453344B2 (en) Information processing apparatus and non-transitory recording medium
CN105984464B (zh) 车辆控制装置
US20190039613A1 (en) Apparatus and method for changing route of vehicle based on emergency vehicle
CN105223952B (zh) 平衡车的控制方法及装置
US20200331465A1 (en) Vehicle path prediction
KR102034189B1 (ko) 차량 주변 환경을 시각화하는 방법과 장치
US9544549B2 (en) Method for generating an image of the surroundings of a vehicle and imaging device
JP2019109219A (ja) ダイクロイックミラーを使用する、自律走行車のための３ｄ−ｌｉｄａｒシステム
CN108216023A (zh) 车辆用注意提醒装置以及注意提醒方法
CN111226267A (zh) 驾驶辅助车辆的行驶控制方法及行驶控制装置
US20200371524A1 (en) Eccentricity image fusion
US20180029610A1 (en) Visually simulating driving plans in autonomous vehicles
JP2017536621A (ja) 自動車両のドライバー支援システムを作動させるための方法、ドライバー支援システム、及び、自動車両
KR20200102013A (ko) 주차공간 알림 장치 및 방법
US20200409385A1 (en) Vehicle visual odometry
JP4948338B2 (ja) 車間距離計測装置
KR20220156687A (ko) 차량의 자율 주차 방법 및 이를 수행하는 차량 시스템
JP2022006844A (ja) 物体検出方法及び物体検出装置
US20220306126A1 (en) Apparatus and method for displaying lane information and non-transitory computer-readable medium containing computer program for displaying lane information
JP2020106986A (ja) 情報処理装置、情報処理方法、および移動体
JP2016060303A (ja) 運転支援情報表示システム、ヘッドアップディスプレイ装置、表示装置
JP2020201647A (ja) 車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラム
JP6848847B2 (ja) 静止物体地図情報生成装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant