CN112596067A - 车辆摄像头校准系统 - Google Patents

车辆摄像头校准系统 Download PDF

Info

Publication number
CN112596067A
CN112596067A CN202010970111.0A CN202010970111A CN112596067A CN 112596067 A CN112596067 A CN 112596067A CN 202010970111 A CN202010970111 A CN 202010970111A CN 112596067 A CN112596067 A CN 112596067A
Authority
CN
China
Prior art keywords
laser
camera
value
laser pulses
distances
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010970111.0A
Other languages
English (en)
Inventor
韩晓凌
黄泽铧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tusimple Inc
Original Assignee
Tusimple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tusimple Inc filed Critical Tusimple Inc
Publication of CN112596067A publication Critical patent/CN112596067A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C9/00—Measuring inclination, e.g. by clinometers, by levels
    • G01C9/02—Details
    • G01C9/06—Electric or photoelectric indication or reading means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C9/00—Measuring inclination, e.g. by clinometers, by levels
    • G01C9/02—Details
    • G01C9/06—Electric or photoelectric indication or reading means
    • G01C2009/066—Electric or photoelectric indication or reading means optical
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明涉及车辆摄像头校准系统。本发明公开了用于在车辆上执行摄像头校准的技术。一种执行摄像头校准的方法包括：通过被定位在车辆上并且被指向道路的激光发射器来向道路上的第一位置发射第一激光脉冲组并且向道路上的第二位置发射第二激光脉冲组，其中每个激光脉冲组包括一个或多个激光光斑。对于每个激光脉冲组：从激光接收器的位置到一个或多个激光光斑的位置计算出距离的第一集合，并且通过从摄像头获取的图像确定距离的第二集合，其中距离的第二集合是从摄像头的位置到一个或多个激光光斑。该方法还包括：通过对两个方程进行求解来确定摄像头的两个摄像头校准参数。

Description

车辆摄像头校准系统
技术领域
本文描述了用于在车辆中执行摄像头校准的技术。
背景技术
车辆可以包括出于多种目的而附接至车辆的摄像头。例如，摄像头可以出于安全目的、用于驾驶辅助或用于促进自主驾驶而附接至车辆的车顶。被安装在车辆上的摄像头可以获取在车辆周围的一个或多个区域的图像。这些图像可以被处理以获取有关道路或有关在车辆周围的物体的信息。例如，由摄像头获取的图像可以被分析，以确定在自主车辆周围的物体的距离，使得可以在物体周围安全地操纵自主车辆。
发明内容
描述了用于确定车辆上的摄像头的斜率(slope)值和截距(intercept)值的摄像头校准技术。在示例性实施例中，一种执行摄像头校准的方法包括：通过被定位在车辆上并且以第一角度被指向道路的激光发射器，向道路上的第一位置发射第一激光脉冲组；通过以第二角度被指向道路的激光发射器，向道路上的第二位置发射第二激光脉冲组，其中第一激光脉冲组和第二激光脉冲组中的每个激光脉冲组包括一个或多个激光光斑。针对分别在第一位置和第二位置处的、所发射的第一激光脉冲组和第二激光脉冲组中的每个激光脉冲组，该方法还包括：通过被定位在车辆上的激光接收器来检测一个或多个激光光斑；计算从激光接收器的位置到一个或多个激光光斑的距离的第一集合；从被定位在车辆上的摄像头获取包括一个或多个激光光斑的图像；以及从该图像确定从摄像头的位置到一个或多个激光光斑的距离的第二集合。该方法还包括：通过对两个方程进行求解来确定摄像头的两个摄像头校准参数，其中每个方程包括两个未知的摄像头校准参数、以及对于同一激光脉冲组的与距离的第一集合相关联的第一值和与距离的第二集合相关联的第二值。
在一些实施例中，确定两个摄像头校准参数包括通过以下方式来确定斜率值和截距值：对于第一激光脉冲组和第二激光脉冲组，确定距离的第一集合的第一平均距离和距离的第二集合的第二平均距离，其中第一值是第一平均距离，并且第二值是第二平均距离；以及通过对两个线性方程进行求解来确定斜率值和截距值，利用该斜率值和截距值，摄像头被校准，其中第一线性方程包括未知的斜率值、未知的截距值以及与第一激光脉冲组对应的第一平均距离和第二平均距离，以及其中第二线性方程包括该未知的斜率值、该未知的截距值以及与第二激光脉冲组对应的第一平均距离和第二平均距离。在一些实施例中，该方法还包括：在车辆正在被驾驶时，通过使用摄像头的斜率值和截距值来确定从摄像头获取的另一图像中的物体的位置。
在一些实施例中，第一位置被定位在沿道路距激光发射器的位置的第一预定距离处，以及第二位置被定位在沿道路距激光发射器的位置的第二预定距离处。在一些实施例中，第一预定距离和第二预定距离在距摄像头的位置某一距离范围内，在该位置处，摄像头被配置为获取图像。在一些实施例中，该方法还包括：确定第一角度和第二角度，该第一角度和第二角度被形成在激光发射器被指向道路的方向与假想水平面之间，该假想水平面至少部分地平行于道路并且包括激光发射器的至少一部分；以及根据第一角度和第二角度中的每个角度来调整激光发射器，以分别在第一预定距离和第二预定距离处发射第一激光脉冲组和第二激光脉冲组。在一些实施例中，第一预定距离和第二预定距离中的每个预定距离是从激光发射器的位置到一个或多个激光光斑中的至少一个激光光斑的距离。
在一些实施例中，第一激光脉冲组和第二激光脉冲组中的每个激光脉冲组被发射预定持续时间。在一些实施例中，预定持续时间大于摄像头的帧速率的倒数。
在一些实施例中，检测一个或多个激光光斑以及计算距离的第一集合包括：从激光接收器接收指示一个或多个激光光斑被检测到的时间的信号；通过以下方式来为每个激光光斑计算从激光接收器到激光光斑的距离：通过从包括一个或多个激光光斑的激光脉冲组被发射的第二时间减去检测到激光光斑的第一时间来获取延时值；以及将延时值乘以光速的一半。
在一些实施例中，当车辆被停住或停放在道路上时，第一激光脉冲组和第二激光脉冲组被发射。在一些实施例中，摄像头被定位在激光接收器附近。
在另一示例性方面中，上述方法以处理器可执行代码的形式而体现并且被存储在计算机可读程序介质中。计算机可读程序被存储在非暂时性计算机可读介质上，计算机可读程序包括代码，该代码在由处理器执行时使处理器实施在本文所描述的方法。例如，计算机可读程序包括以下代码：该代码在由处理器执行时使处理器：指示被定位在车辆上的激光发射器以第一角度指向道路并且向道路上的第一位置发射第一激光脉冲组；指示激光发射器以第二角度指向道路并且向道路上的第二位置发射第二激光脉冲组，其中第一激光脉冲组和第二激光脉冲组中的每个激光脉冲组包括一个或多个激光光斑。针对分别在第一位置和第二位置处的、所发射的第一激光脉冲组和第二激光脉冲组中的每个激光脉冲组，计算机可读程序在由处理器执行时还使处理器：通过被定位在车辆上的激光接收器来检测一个或多个激光光斑；计算从激光接收器的位置到一个或多个激光光斑的距离的第一集合；从被定位在车辆上的摄像头获取包括一个或多个激光光斑的图像；以及从该图像确定从摄像头的位置到一个或多个激光光斑的距离的第二集合。计算机可读程序在由处理器执行时还使处理器：通过对两个方程进行求解来确定摄像头的两个摄像头校准参数，其中每个方程包括两个未知的摄像头校准参数以及对于同一激光脉冲组，与距离的第一集合相关联的第一值和与距离的第二集合相关联的第二值。
在再一个示例性实施例中，公开了一种被配置为或可操作为执行上述方法的设备。
在另一方面中，公开了一种配备有摄像头校准装置的车辆。
在附图、描述以及权利要求书中更详细地描述了上述和其他方面及其实施方式。
附图说明
图1示出了对车辆上的摄像头执行静态校准操作的常规系统。
图2A示出了示例性摄像头校准系统。
图2B示出了示例性摄像头和包括摄像头、激光发射器和激光接收器的激光系统。
图2C示出了可以由激光接收器感测的、由激光发射器生成和发射的示例性两个激光脉冲。
图3示出了被定位在车辆中以控制摄像头和激光系统的车载控制计算机的示例性框图。
图4示出了执行摄像头校准的示例性流程图。
具体实施方式
自主车辆包括被安装在自主车辆上的摄像头，以获取在自主车辆周围的一个或多个区域的图像。这些图像可以由自主车辆上的计算机分析，以获取距离或有关道路或在自主车辆周围的物体的其他信息。然而，自主车辆上的摄像头需要被校准，使得自主车辆上的计算机可以精确地或准确地检测物体并且确定其距离。在常规系统中，在将自主车辆驾驶到其目的地之前，自主车辆中的驾驶员可以执行静态校准技术。
图1示出了对车辆上的摄像头执行静态校准操作的常规系统100。在常规系统100中，首先将车辆106驾驶到目标校准板102所在的位置。目标校准板102具有黑白正方形的预定义图案。此外，目标校准板102被定位在距车辆106固定距离处，使得距摄像头104和目标校准板102的距离是固定的。该固定距离根据摄像头的焦距而设置。摄像头104可以拍摄目标校准板102的若干照片。车辆106上的计算机可以使用空间几何关系来计算目标校准板102与摄像头104之间的距离。车辆106上的计算机可以调整斜率校准参数和截距校准参数，以补偿已知的固定距离与计算得出的距离之间的差值。在执行校准之后，可以将车辆106驾驶到其目的地。
在图1中所描述的常规系统100具有若干技术缺点。首先，随着将车辆驶向其目的地，从校准过程获取的斜率值和截距值可能变得不准确。例如，当将车辆驶向其目的地时，摄像机的位置可能响应于来自车辆的振动或响应于由环境元素(例如风)施加的力而发生改变。然而，在常规系统100中，无法容易地重新调整斜率值和截距值。
其次，常规系统无法容易地执行校准过程，该校准过程应该定期(例如每天、每周或每月)被执行，以重新调整摄像头的斜率值和截距值。第三，由常规系统执行的校准过程不会对将车辆驶向其目的地的道路状况负责。例如，常规系统可以在平坦表面上执行校准过程，但是当往上坡或往下坡驾驶车辆至其目的地时，车辆可能具有不同的俯仰角。卡车的不同俯仰角会影响校准结果，并且因此影响从由摄像头获取的图像导出的距离测量值。在本文中所描述的技术可以由一些实施例用来解决上面讨论的问题以及其他问题。
本专利文件描述了用于确定摄像头的摄像头校准参数的示例性摄像头校准技术。在示例性实施例中，车辆上的激光发射器向道路发射第一激光脉冲组和第二激光脉冲组，其中每个激光脉冲组包括一个或多个激光光斑。在沿道路或平行于道路距激光发射器的位置第一距离处发射第一激光脉冲，并且在沿道路或平行于道路距激光发射器的位置第二距离处发射第二激光脉冲。对于发射的每个激光脉冲组，车辆上的激光接收器可以检测一个或多个激光光斑，并且车辆上的摄像头可以获取一个或多个激光光斑的图像。该示例性校准技术可以确定距由激光接收器检测的一个或多个激光光斑的距离的第一集合和距由摄像头获取的图像中的一个或多个激光光斑的距离的第二集合。该示例性校准技术可以使用两个方程来对两个校准参数进行求解，其中每个方程可以包括两个未知的摄像头校准参数，以及对于同一激光脉冲组的距离的第一集合的第一平均值和距离的第二集合的第二平均值。例如，如果从激光接收器确定的激光光斑的实际距离会是10米、20米、30米、50米和100米，但是基于从摄像头获取的图像而确定的所测得的距离分别会是8米、19米、31米、52米和105米，则在本专利文件中所描述的技术可以执行回归，以在所测得的距离与实际距离之间确定斜率校准参数和截距校准参数。
图2A示出了包括被停住或停放在道路208上的车辆202的示例性摄像头校准系统200，其中车辆202包括摄像头和激光系统204。车辆202可以是自主车辆。摄像头和激光系统204包括至少一个激光发射器(或激光源)、一个或多个摄像头以及一个或多个激光接收器。如在本专利文件中进一步解释的，每个摄像头可以在一个激光接收器附近，使得从摄像头图像获取的距离测量值可以与从激光接收器所提供的数据获取的距离测量值相关。例如，摄像头可以在激光接收器的位置的一英尺之内。为了便于描述，图2A和图2B中的摄像头和激光系统204被示出为在被耦合至车辆的集成单元中具有单个激光发射器和单个激光发射器的单个摄像头。在一些实施例中，激光发射器、一个或多个摄像头以及一个或多个激光接收器可以是被耦合至车辆的单独的单元。
激光发射器被指向道路208，并且与一个或多个摄像头以及一个或多个激光接收器在相同的方向上。激光发射器生成包括一个或多个激光光斑206的激光脉冲组并且将其发射到道路208。选择发射激光脉冲组的方向，使得一个或多个激光光斑206中的至少一个光斑可以由一个或多个激光接收器感测并且由如在图2B中示出的一个或多个摄像头成像或记录。
在一些实施例中，激光发射器具有可调整的俯仰角，使得其可以在沿道路或平行于道路距激光发射器的位置的多个预定距离处向道路208发射激光脉冲，以便对多个摄像头进行校正。如在图2A中示出的，可以沿道路或平行于道路定义从激光发射器的位置到一个或多个激光光斑206中的至少一个光斑的预定距离210。俯仰角(在图2A中，被示出为“θ”)可以被认为是在激光发射器所指向的方向与假想水平面或水平线之间形成的角度，该假想水平面或水平线至少部分地平行于道路并且包括激光发射器的至少一部分。在一些实施例中，俯仰角可以被认为是在激光发射器所指向的方向与假想竖直面或竖直线之间形成的角度，该假想竖直面或竖直线至少部分地垂直于道路并且包括激光发射器的至少一部分。
可调整的俯仰角可以允许激光发射器在距激光发射器的位置各种预定距离处生成并且发射多个激光脉冲组。如本文进一步解释的，激光脉冲组包括一个或多个激光光斑206，因此，预定距离210可以是从激光发射器到一个或多个激光光斑206中的至少一个激光光斑或点的距离。例如，激光发射器可以发射激光脉冲组，其中至少一个激光光斑或点被定位在距激光发射器的位置10米、20米、70米、120米、300米和350米的预定距离处。
在一些实施例中，在车辆正移动时执行校准的情况下，预定距离可以与车辆移动的速度成比例。例如，在一些实施例中，当车辆正以相对较高的速度(例如高于阈值)移动时，由于在高速下在近距离处犯错误的危险，可以使用较小的距离来进行校准。例如，在一些实施例中，当车辆正以更快的速度移动时，可以增大校准范围以在以更高的速度行驶时向前看得更远。
如在图2A中示出的，激光发射器可以被安装在车辆202上，使得激光发射器与道路之间的距离是固定的或先前已知的，或者是车辆的速度的函数。因此，在每个测量实例中，被定位在车辆202中的车载控制计算机包括激光发射器模块(图3中的315)，该激光发射器模块可以使用三角函数来指示激光发射器调整俯仰角以及指示激光发射器在距激光发射器的位置的两个或更多个预定距离中的每个预定距离处发射激光脉冲组，其中预定距离平行于道路或沿着道路。
具有可调整的俯仰角的激光发射器至少是有益的技术特征，因为该激光发射器可以允许示例性校准技术(如本文解释的)对在距车辆的位置不同范围的距离处捕获图像的多个摄像头进行校准。在一些实施例中，在一组两个或更多个预定距离处生成并且发射的激光脉冲组被用于对每个摄像头的斜率校准参数和截距校准参数进行校准。通过以如在下面的方程(2)中示出的斜率-截距形式设置斜率校准参数和截距校准参数，可以对斜率校准参数和截距校准参数进行求解，其中斜率参数与斜率对应，并且截距参数与截距对应(例如距直线、曲线或表面与平面或轴线相交的原点的距离)。继续上面的示例，可以基于在10米和20米的距离处发射的激光脉冲组来调整从5米到50米捕获图像的第一摄像头的校准参数，基于在70米和120米的距离处发射的激光脉冲组来调整从50米到200米捕获图像的第二摄像头的校准参数，以及基于在300米和350米的距离处发射的激光脉冲组来调整从200米到500米捕获图像的第三摄像头的校准参数。
激光发射器可以在距指向道路的激光发射器的位置多个预定距离处生成并且发射多个激光脉冲组。在沿道路距激光发射器的位置预定距离处向物体(例如道路)发射每个激光脉冲组。如下面进一步解释的，激光发射器生成并且发射激光脉冲组以大约在每个预定距离处对预期的不透明物体或反射物体或道路撞击一个或多个激光光斑。通过使用具有一个或多个激光光斑206的激光脉冲组，车辆202中的车载控制计算机可以执行滤波操作，以使在激光接收器和/或摄像头感测一个或多个激光光斑206中的一个或多个激光光斑或点或使其成像时它们所造成的噪声、失真或缺少检测的影响减到最小。
例如，在一些实施例中，激光发射器生成每个激光脉冲组并且在预定持续时间内发射每个激光脉冲组，以使得摄像头和/或激光接收器能够有足够的时间来检测或捕获一个或多个激光光斑206。例如，如果摄像头的帧速率为每秒60帧，则由激光发射器发射的激光脉冲组的预定持续时间可以大于帧速率的倒数(例如1/60秒，或者大约16.67毫秒)。在一些实施方式中，预定持续时间可以是至少60毫秒，使得摄像头的至少三个帧可以捕获激光脉冲组。
每个激光脉冲组可以包括相同的一个或多个激光光斑206。一个或多个激光光斑206包括若干单独的激光光斑或点。例如，如在图2A中示出的，一个或多个激光光斑206包括可以被定位在空间激光图案中的假想四边形的四个顶点处的四个激光光斑。如在图2A中示出的，向道路发射一个或多个激光光斑206。这是有益的技术特征，其无需使用如在图1中描述的目标校准板。此外，在本专利文件中所描述的示例性校准技术可以通过在道路上生成一个或多个激光光斑206来对道路状况的变化负责。
图2C示出了可以由激光接收器感测的由激光发射器生成和发射的示例性两个激光脉冲。为了便于描述，每个激光脉冲252、254可以是一个或多个激光光斑，并且在发射激光脉冲252之后在时间tR发射激光脉冲254。图2C表明：在预定持续时间t0内在物体(例如道路)上生成发光的第一脉冲252和第二脉冲254中的每个脉冲。在激光发射器生成并且发射每个激光脉冲之后，激光接收器在延时tD之后感测发射到物体上的激光脉冲。激光接收器可以感测一个或多个激光光斑并且生成指示激光接收器检测到或感测到每个激光光斑或点的时间的信号。参照图2中的激光脉冲252、254，激光接收器将指示与感测到激光脉冲252、254相关联的激光光斑的时间的信号发送给如在图3和图4中的校准相关操作中进一步解释的车载控制计算机。
激光发射器可以生成并且发射包括一个或多个激光光斑的多个激光脉冲组，该一个或多个激光光斑在沿道路距激光发射器的位置的多个预定距离处，其中一个或多个激光接收器可以感测来自每个激光脉冲组的一个或多个激光光斑。例如，如果激光发射器发射包括被示出为在沿道路距激光发射器的位置10米的距离处的四个激光光斑的激光脉冲组，则被配置为从5米到50米捕获图像的一个或多个摄像头以及在摄像头附近的一个或多个激光接收器中的每个激光接收器可以感测和/或获取激光脉冲组中的多达四个激光光斑。
图3示出了被定位在车辆中以控制如在图2A和图2B中描述的摄像头和激光系统的车载控制计算机的示例性框图。车载控制计算机300包括至少一个处理器310和存储器305，在该存储器上存储有指令。这些指令在由处理器310执行时将计算机300配置为执行针对在图2A至图4中描述的激光发射器、一个或多个激光接收器、一个或多个摄像头以及各种模块所描述的操作和/或本专利文件中的各个实施例或者各个部分中描述的操作。激光发射器模块315控制如在本专利文件中所描述的激光发射器的操作。
激光接收器模块320控制如在本专利文件中所描述的一个或多个激光接收器的操作。如上面提到的，激光发射器生成并且发射多个激光脉冲组，其中每个激光脉冲组包括一个或多个激光光斑。激光接收器模块320可以从激光接收器接收指示激光接收器如在本专利文件中解释的那样感测到一个或多个激光光斑的(多个)时间的信号。激光接收器模块320还可以从激光发射器模块315获取与多个发射的激光脉冲组对应的多个时间。基于针对每个检测到的激光光斑从激光接收器接收到的信号并且基于发射激光脉冲的时间，激光接收器模块320可以基于如下面示出的方程(1)来计算激光接收器与一个或多个检测到的激光光斑中的每个激光光斑之间的距离：
D_Real＝1/2*300,000,000m/s*tD 方程(1)
其中针对每个检测到的激光光斑的tD是激光发射器发射激光脉冲的时间与激光接收器检测到激光光斑的时间的时差，并且其中300,000,000m/s是光速的舍入值。
摄像头模块325可以处理从一个或多个摄像头接收到的图像，以检测每个激光脉冲组的一个或多个激光光斑。车载控制计算机在硬盘驱动器或存储器中存储在距激光发射器的位置各个预定距离处的一个或多个激光光斑的一组先前图像。这些先前存储图像可以包括先前在各个预定距离处从平坦道路获取的一个或多个激光光斑。摄像头模块325可以将先前存储的在预定距离处的一个或多个激光光斑与获取的由激光发射器在相同预定距离处发射的一个或多个激光光斑的图像进行比较。基于对存储的图像和获取的图像的比较和/或基于摄像头矩阵，摄像头模块325可以确定从摄像头到一个或多个激光光斑的距离D_Detect。
对于每个激光脉冲组，可以对从用于每个激光光斑的激光接收器模块320获取的距离进行平均，并且可以对从用于每个激光光斑的摄像头模块325获取的距离进行平均，以将失真、噪声或缺少检测的影响减到最小。例如，如果激光发射器在距激光发射器预定距离处生成并且发射激光脉冲组，其中该激光脉冲组包括六个激光点，则激光接收器模块320可以对与六个检测到的光斑相关联的六个距离测量值进行平均，以获取单个平均距离测量值。在上述示例中，摄像头模块320还可以对与摄像头图像中的六个光斑相关联的六个距离测量值进行平均，以获取单个平均距离测量值。因此，对于每个激光脉冲组，激光接收器模块320和摄像头模块325可以单独地计算可以分别被认为是单个D_Real值和单个D_Detect值的单个平均距离测量值。
校准模块330可以从激光接收器模块320和摄像头模块325获取针对至少两个激光脉冲组的单个D_Real值和单个D_Detect值，以通过使用例如下面示出的方程(2)来对斜率参数和截距参数进行求解：
D_Real＝斜率*D_Detect+截距 方程(2)
由于每个摄像头在某一距离范围内进行操作，因此，校准模块330获取至少两个D_Real值和至少两个D_Detect值，以计算每个摄像头的斜率参数和截距参数。例如，如果第一摄像头从5米到50米捕获图像，第二摄像头从50米到200米捕获图像，则激光发射器可以在以下示例性距离中的每个距离处生成并且发射激光脉冲组：10米、20米、70米和120米。在该示例中，激光接收器模块320提供针对在10米处发射的激光脉冲组的第一D_Real值以及针对在20米处发射的激光脉冲组的第二D_Real值，并且摄像头模块325提供针对在10米处发射的激光脉冲组的第一D_Detect值以及针对在20米处发射的激光脉冲组的第二D_Detect值。类似地，激光接收器模块320和摄像头模块325还提供针对在70米和120米处发射的激光脉冲组的两个D_Real值以及针对在70米和120米处发射的激光脉冲组的两个D_Detect值。校准模块330可以使用针对在每个摄像头的成像范围内的每组两个或更多个距离(例如对于第一摄像头，为10米和20米)的两个D_Real值和两个D_Detect值来对每个摄像头(例如第一摄像头)的截距参数和斜率参数进行求解。例如，校准模块330可以使用针对在10米和20米处发射的激光脉冲组的两个D_Real值和两个D_Detect值来使用方程(2)对第一摄像头的截距参数和斜率参数进行求解。
在一些实施例中，可以使用诸如n阶多项式等非线性方程来基于n个D_Real值和D_Detect值来确定斜率值和截距值，其中n大于或等于2。可以从分别包括一个或多个激光光斑的n个激光脉冲组获取n个D_Real值和D_Detect值。在一些实施例中，如在本专利文件中描述的，可以使用简化的线性方程(例如方程(2))来基于至少两个D_Real值和D_Detect值来确定斜率值和截距值。
在校准模块330获取车辆上的摄像头的截距参数和斜率参数之后，随着车辆正在被驾驶到其目的地，距离模块335可以确定从车辆到位于车辆周围的环境中的一个或多个物体的距离。当确定位于从摄像头获取的图像中的物体的距离时，距离模块335可以使用摄像头的斜率参数和截距参数。
图4示出了执行摄像头校准的示例性流程图。在第一发射操作402中，被定位在车辆上并且以第一角度被指向道路的激光发射器向道路上的第一位置发射第一激光脉冲组。在第二发射操作404中，以第二角度被指向道路的激光发射器向道路上的第二位置发射第二激光脉冲组。第一激光脉冲组和第二激光脉冲组中的每个激光脉冲组包括一个或多个激光光斑。
针对分别在第一位置和第二位置处的、所发射的第一激光脉冲组和第二激光脉冲组中的每个激光脉冲组执行操作406至412。在检测操作406中，被定位在车辆上的激光接收器检测一个或多个激光光斑。在计算操作408中，计算从激光接收器的位置到一个或多个激光光斑的距离的第一集合。在获取操作410中，从被定位在车辆上的摄像头获取包括一个或多个激光光斑的图像。在确定操作412中，从图像确定从摄像头的位置到一个或多个激光光斑的距离的第二集合。
在确定操作414中，通过对两个方程进行求解来确定摄像头的两个摄像头校准参数。每个方程包括两个未知的摄像头校准参数、以及对于同一激光脉冲组的与距离的第一集合相关联的第一值和与距离的第二集合相关联的第二值。
在一些实施例中，确定两个摄像头校准参数包括通过以下方式来确定斜率值和截距值：对于第一激光脉冲组和第二激光脉冲组，确定距离的第一集合的第一平均距离和距离的第二集合的第二平均距离，其中第一值是第一平均距离，并且第二值是第二平均距离；以及通过对两个线性方程进行求解来确定斜率值和截距值，利用该斜率值和截距值，摄像头被校准，其中第一线性方程包括未知的斜率值、未知的截距值以及与第一激光脉冲组对应的第一平均距离和第二平均距离，以及其中第二线性方程包括该未知的斜率值、该未知的截距值以及与第二激光脉冲组对应的第一平均距离和第二平均距离。
在一些实施例中，图4的方法还包括：在车辆正在被驾驶时通过使用摄像头的斜率值和截距值来确定从摄像头获取的另一图像中的物体的位置。
在一些实施例中，第一位置被定位在沿道路距激光发射器的位置第一预定距离处，以及第二位置被定位在沿道路距激光发射器的位置第二预定距离处。在一些实施例中，第一预定距离和第二预定距离在距摄像头的位置某一距离范围内，在该位置处，摄像头被配置为获取图像。
在一些实施例中，图4的方法还包括：确定第一角度和第二角度，该第一角度和第二角度被形成在激光发射器被指向道路的方向与假想水平面之间，该假想水平面至少部分地平行于道路并且包括激光发射器的至少一部分；以及根据第一角度和第二角度中的每个角度来调整激光发射器，以分别在第一预定距离和第二预定距离处发射第一激光脉冲组和第二激光脉冲组。在一些实施例中，第一预定距离和第二预定距离中的每个预定距离是从激光发射器的位置到一个或多个激光光斑中的至少一个激光光斑的距离。
在一些实施例中，第一激光脉冲组和第二激光脉冲组中的每个激光脉冲组被发射预定持续时间。在一些实施例中，预定持续时间大于摄像头的帧速率的倒数。
在一些实施例中，检测一个或多个激光光斑以及计算距离的第一集合包括：从激光接收器接收指示一个或多个激光光斑被检测到的时间的信号；通过以下方式来为每个激光光斑计算从激光接收器到激光光斑的距离：通过从包括一个或多个激光光斑的激光脉冲组被发射的第二时间减去检测到激光光斑的第一时间来获取延时值；以及将延时值乘以光速的一半。
在一些实施例中，当车辆被停住或停放在道路上时，第一激光脉冲组和第二激光脉冲组被发射。在一些实施例中，摄像头被定位在激光接收器附近。
在一些实施方式中，在本专利文件中的各种实施例中描述的方法体现在被存储在非暂时性计算机可读介质上的计算机可读程序中。该计算机可读程序包括代码，该代码在由处理器执行时使处理器执行在本专利文件中所描述的方法，包括在图3中所描述的方法。在本文中，术语“示例性”被用于表示“…的示例”，并且除非另有说明，否则不暗示理想的或优选的实施例。
在方法或过程的一般上下文中描述了本文所描述的实施例中的一些实施例，这些方法或过程可以通过计算机程序产品被实施在一个实施例中，可以被体现在计算机可读介质中，包括由网络环境中的计算机执行的计算机可执行指令，诸如程序代码。计算机可读介质可以包括可移除和不可移除存储设备，包括但不限于：只读存储器(ROM)、随机存取存储器(RAM)、光盘(CD)、数字通用光盘(DVD)等。因此，计算机可读介质可以包括非暂时性存储介质。通常，程序模块可以包括执行特定任务或实施特定抽象数据类型的例程、程序、对象、组件、数据结构等。计算机可执行指令或处理器可执行指令、相关联的数据结构以及程序模块表示用于执行本文所公开的方法的步骤的程序代码的示例。这种可执行指令或相关联的数据结构的特定序列表示用于实施在这种步骤或过程中描述的功能的对应动作的示例。
可以使用硬件电路、软件或其组合来将所公开的实施例中的一些实施例实施为设备或模块。例如，硬件电路实施方式可以包括离散的模拟和/或数字组件，例如，这些离散的模拟和/或数字组件被集成为印刷电路板的一部分。备选地或附加地，所公开的组件或模块可以被实施为专用集成电路(ASIC)和/或现场可编程门阵列(FPGA)设备。一些实施方式可以附加地或备选地包括数字信号处理器(DSP)，该数字信号处理器(DSP)是具有以下架构的专用微处理器：出于与本申请的所公开的功能性相关联的数字信号处理的操作需求而优化了该架构。同样，每个模块内的各种组件或子组件可以被实施在软件、硬件或固件中。可以使用本领域中已知的任何一种连接性方法和介质来提供模块和/或模块内的组件之间的连接性，包括但不限于：使用适当协议的在互联网、有线或无线网络上的通信。
虽然本文包括许多细节，但是这些细节不应该被解释为对要求保护的发明或可能要求保护的内容的范围的限制，而是作为对特定于特定实施例的特征的描述。在本文中在单独的实施例的上下文中描述的某些特征也可以被组合地实施在单个实施例中。相反，在单个实施例的上下文下描述的各种特征也可以单独地或按照任何合适的子组合被实施在多个实施例中。此外，虽然上文可能将特征描述为以某些组合来起作用并且最初甚至同样地对该特征进行了要求，但是在一些情况下，可以从组合中删除来自所要求的组合的一个或多个特征。并且所要求的组合可以指向子组合或子组合的变化。同样，虽然在附图中按照特定顺序示出了操作，但是不应该将其理解为需要按照所示的特定顺序或者按照相继的顺序来进行这种操作，或者需要进行所有图示的操作以实现期望的结果。
仅描述了一些实施方式和示例，并且可以基于在本公开中描述和说明的内容来做出其他实施方式、增强和变化。

Claims (24)

1.一种执行摄像头校准的方法，包括：
通过被定位在车辆上并且以第一角度被指向道路的激光发射器，向道路上的第一位置发射第一激光脉冲组；
通过以第二角度被指向所述道路的所述激光发射器，向所述道路上的第二位置发射第二激光脉冲组，其中所述第一激光脉冲组和所述第二激光脉冲组中的每个激光脉冲组包括一个或多个激光光斑；
针对分别在所述第一位置和所述第二位置处的、所发射的所述第一激光脉冲组和所述第二激光脉冲组中的每个激光脉冲组：
通过被定位在所述车辆上的激光接收器来检测所述一个或多个激光光斑；
计算从所述激光接收器的位置到所述一个或多个激光光斑的距离的第一集合；
从被定位在所述车辆上的摄像头获取包括所述一个或多个激光光斑的图像；以及
从所述图像确定从所述摄像头的位置到所述一个或多个激光光斑的距离的第二集合；以及
通过对两个方程进行求解来确定所述摄像头的两个摄像头校准参数，其中每个方程包括两个未知的摄像头校准参数、以及对于同一激光脉冲组的与距离的所述第一集合相关联的第一值和与距离的所述第二集合相关联的第二值。
2.根据权利要求1所述的方法，其中所述确定所述两个摄像头校准参数包括通过以下方式来确定斜率值和截距值：
对于所述第一激光脉冲组和所述第二激光脉冲组，确定距离的所述第一集合的第一平均距离和距离的所述第二集合的第二平均距离，
其中所述第一值是所述第一平均距离，并且所述第二值是所述第二平均距离；以及
通过对两个线性方程进行求解来确定所述斜率值和所述截距值，利用所述斜率值和所述截距值，所述摄像头被校准，
其中第一线性方程包括未知的斜率值、未知的截距值以及与所述第一激光脉冲组对应的所述第一平均距离和所述第二平均距离，以及
其中第二线性方程包括所述未知的斜率值、所述未知的截距值以及与所述第二激光脉冲组对应的所述第一平均距离和所述第二平均距离。
3.根据权利要求2所述的方法，还包括：
在所述车辆正在被驾驶时，通过使用所述摄像头的所述斜率值和所述截距值来确定从所述摄像头获取的另一图像中的物体的位置。
4.根据权利要求1所述的方法，
其中所述第一位置被定位在沿所述道路距所述激光发射器的位置的第一预定距离处，以及
其中所述第二位置被定位在沿所述道路距所述激光发射器的所述位置的第二预定距离处。
5.根据权利要求4所述的方法，其中所述第一预定距离和所述第二预定距离在距所述摄像头的位置某一距离范围内，在所述位置处，所述摄像头被配置为获取所述图像。
6.根据权利要求4所述的方法，还包括：
确定所述第一角度和所述第二角度，所述第一角度和所述第二角度被形成在所述激光发射器被指向所述道路的方向与假想水平面之间，所述假想水平面至少部分地平行于所述道路并且包括所述激光发射器的至少一部分；以及
根据第一角度和所述第二角度中的每个角度来调整所述激光发射器，以分别在所述第一预定距离和所述第二预定距离处发射所述第一激光脉冲组和所述第二激光脉冲组。
7.根据权利要求4所述的方法，其中第一预定距离和所述第二预定距离中的每个预定距离是从所述激光发射器的所述位置到所述一个或多个激光光斑中的至少一个激光光斑的距离。
8.根据权利要求1所述的方法，其中所述第一激光脉冲组和所述第二激光脉冲组中的每个激光脉冲组被发射预定持续时间。
9.根据权利要求8所述的方法，其中所述预定持续时间大于所述摄像头的帧速率的倒数。
10.根据权利要求1所述的方法，其中所述检测所述一个或多个激光光斑以及所述计算距离的所述第一集合包括：
从所述激光接收器接收指示所述一个或多个激光光斑被检测到的时间的信号；
通过以下方式来为每个激光光斑计算从所述激光接收器到激光光斑的距离：
通过从包括所述一个或多个激光光斑的激光脉冲组被发射的第二时间减去检测到所述激光光斑的第一时间，来获取延时值；以及
将所述延时值乘以光速的一半。
11.根据权利要求1所述的方法，其中当所述车辆被停住或停放在所述道路上时，所述第一激光脉冲组和所述第二激光脉冲组被发射。
12.根据权利要求1所述的方法，其中所述摄像头被定位在所述激光接收器附近。
13.一种被存储在非暂时性计算机可读介质上的计算机可读程序，所述计算机可读程序包括代码，所述代码在由处理器执行时使所述处理器：
指示被定位在车辆上的激光发射器以第一角度指向道路并且向道路上的第一位置发射第一激光脉冲组；
指示所述激光发射器以第二角度指向所述道路并且向所述道路上的第二位置发射第二激光脉冲组，其中所述第一激光脉冲组和所述第二激光脉冲组中的每个激光脉冲组包括一个或多个激光光斑；
针对分别在所述第一位置和所述第二位置处的、所发射的所述第一激光脉冲组和所述第二激光脉冲组中的每个激光脉冲组：
通过被定位在所述车辆上的激光接收器来检测所述一个或多个激光光斑；
计算从所述激光接收器的位置到所述一个或多个激光光斑的距离的第一集合；
从被定位在所述车辆上的摄像头获取包括所述一个或多个激光光斑的图像；以及
从所述图像确定从所述摄像头的位置到所述一个或多个激光光斑的距离的第二集合；以及
通过对两个方程进行求解来确定所述摄像头的两个摄像头校准参数，其中每个方程包括两个未知的摄像头校准参数、以及对于同一激光脉冲组的与距离的所述第一集合相关联的第一值和与距离的所述第二集合相关联的第二值。
14.根据权利要求13所述的计算机可读程序，其中所述处理器被配置为确定所述两个摄像头校准参数，包括通过使所述处理器进行以下操作来确定斜率值和截距值：
对于所述第一激光脉冲组和所述第二激光脉冲组，确定距离的所述第一集合的第一平均距离和距离的所述第二集合的第二平均距离，
其中所述第一值是所述第一平均距离，并且所述第二值是所述第二平均距离；以及
通过对两个线性方程进行求解来确定所述斜率值和所述截距值，利用所述斜率值和所述截距值，所述摄像头被校准，
其中第一线性方程包括未知的斜率值、未知的截距值以及与所述第一激光脉冲组对应的所述第一平均距离和所述第二平均距离，以及
其中第二线性方程包括所述未知的斜率值、所述未知的截距值以及与所述第二激光脉冲组对应的所述第一平均距离和所述第二平均距离。
15.根据权利要求14所述的计算机可读程序，其中所述处理器还被配置为：
在所述车辆正在被驾驶时，通过使用所述摄像头的所述斜率值和所述截距值来确定从所述摄像头获取的另一图像中的物体的位置。
16.根据权利要求13所述的计算机可读程序，其中所述第一位置被定位在沿所述道路距所述激光发射器的位置的第一预定距离处，以及
其中所述第二位置被定位在沿所述道路距所述激光发射器的所述位置的第二预定距离处。
17.根据权利要求16所述的计算机可读程序，其中所述第一预定距离和所述第二预定距离在距所述摄像头的位置某一距离范围内，在所述位置处，所述摄像头被配置为获取所述图像。
18.根据权利要求16所述的计算机可读程序，其中所述处理器还被配置为：
确定所述第一角度和所述第二角度，所述第一角度和所述第二角度被形成在所述激光发射器被指向所述道路的方向与假想水平面之间，所述假想水平面至少部分地平行于所述道路并且包括所述激光发射器的至少一部分；以及
根据第一角度和所述第二角度中的每个角度来调整所述激光发射器，以分别在所述第一预定距离和所述第二预定距离处发射所述第一激光脉冲组和所述第二激光脉冲组。
19.根据权利要求16所述的计算机可读程序，其中所述第一预定距离和所述第二预定距离中的每个预定距离是从所述激光发射器的所述位置到所述一个或多个激光光斑中的至少一个激光光斑的距离。
20.根据权利要求13所述的计算机可读程序，其中所述第一激光脉冲组和所述第二激光脉冲组中的每个激光脉冲组被发射预定持续时间。
21.根据权利要求20所述的计算机可读程序，其中所述预定持续时间大于所述摄像头的帧速率的倒数。
22.根据权利要求13所述的计算机可读程序，其中所述处理器被配置为通过使所述处理器进行以下操作来检测所述一个或多个激光光斑并且计算距离的所述第一集合：
从所述激光接收器接收指示所述一个或多个激光光斑被检测到的时间的信号；
通过以下方式来为每个激光光斑计算从所述激光接收器到激光光斑的距离：
通过从包括所述一个或多个激光光斑的激光脉冲组被发射的第二时间减去检测到所述激光光斑的第一时间，来获取延时值；以及
将所述延时值乘以光速的一半。
23.根据权利要求13所述的计算机可读程序，其中当所述车辆被停住或停放在所述道路上时，所述第一激光脉冲组和所述第二激光脉冲组被发射。
24.根据权利要求13所述的计算机可读程序，其中所述摄像头被定位在所述激光接收器附近。
CN202010970111.0A 2019-09-16 2020-09-15 车辆摄像头校准系统 Pending CN112596067A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/572,001 US10837795B1 (en) 2019-09-16 2019-09-16 Vehicle camera calibration system
US16/572,001 2019-09-16

Publications (1)

Publication Number Publication Date
CN112596067A true CN112596067A (zh) 2021-04-02

Family

ID=73264045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010970111.0A Pending CN112596067A (zh) 2019-09-16 2020-09-15 车辆摄像头校准系统

Country Status (2)

Country Link
US (4) US10837795B1 (zh)
CN (1) CN112596067A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10837795B1 (en) 2019-09-16 2020-11-17 Tusimple, Inc. Vehicle camera calibration system
US10852158B1 (en) * 2019-09-27 2020-12-01 Kitty Hawk Corporation Distance sensor test system
CN112964191B (zh) * 2021-03-25 2022-11-04 四川合众精准科技有限公司 一种微变形激光准直测量方法
CN115598624B (zh) * 2021-06-28 2023-12-12 苏州一径科技有限公司 一种激光雷达的标定方法、装置及设备
CN116299403B (zh) * 2023-05-15 2023-08-08 上海几何伙伴智能驾驶有限公司 一种基于统计数据的4d毫米波雷达点云空间位置校正方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3995846B2 (ja) * 1999-09-24 2007-10-24 本田技研工業株式会社 物体認識装置
US20140293266A1 (en) * 2011-08-04 2014-10-02 Ying Hsu Local Alignment and Positioning Device and Method
US9639941B2 (en) * 2012-12-28 2017-05-02 Trimble Inc. Scene documentation
WO2014152470A2 (en) * 2013-03-15 2014-09-25 Tk Holdings, Inc. Path sensing using structured lighting
JP6841769B2 (ja) * 2015-01-30 2021-03-10 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも１個の物体を光学的に検出する検出器
US10250833B2 (en) * 2015-04-20 2019-04-02 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
KR102372088B1 (ko) * 2015-10-29 2022-03-08 삼성전자주식회사 영상 획득 장치 및 영상 획득 방법
US20190004178A1 (en) * 2016-03-16 2019-01-03 Sony Corporation Signal processing apparatus and signal processing method
JP7241684B2 (ja) * 2016-10-25 2023-03-17 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも１個の対象物の光学的な検出のための検出器
EP3455645A4 (en) * 2017-07-20 2019-04-24 SZ DJI Technology Co., Ltd. SYSTEMS AND METHOD FOR OPTICAL SPACING MEASUREMENT
US10791275B2 (en) * 2017-09-25 2020-09-29 The Boeing Company Methods for measuring and inspecting structures using cable-suspended platforms
JP7346401B2 (ja) * 2017-11-10 2023-09-19 エヌビディア コーポレーション 安全で信頼できる自動運転車両のためのシステム及び方法
US11474519B2 (en) * 2018-02-26 2022-10-18 Nvidia Corporation Systems and methods for computer-assisted shuttles, buses, robo-taxis, ride-sharing and on-demand vehicles with situational awareness
CN108764187B (zh) * 2018-06-01 2022-03-08 百度在线网络技术（北京）有限公司 提取车道线的方法、装置、设备、存储介质以及采集实体
US11353557B2 (en) * 2018-06-04 2022-06-07 Infineon Technologies Ag Hybrid LIDAR receiver and lidar methods
JP2020003236A (ja) * 2018-06-25 2020-01-09 株式会社リコー 測距装置、移動体、測距方法、測距システム
US11487010B2 (en) * 2018-09-12 2022-11-01 Research Foundation Of The City University Of New York Laser ranging over-height vehicle detector system (LARA-OHVD)
US10837795B1 (en) 2019-09-16 2020-11-17 Tusimple, Inc. Vehicle camera calibration system

Also Published As

Publication number Publication date
US11359932B2 (en) 2022-06-14
US10837795B1 (en) 2020-11-17
US20220146282A1 (en) 2022-05-12
US20240019267A1 (en) 2024-01-18
US11747171B2 (en) 2023-09-05
US20210080286A1 (en) 2021-03-18

Similar Documents

Publication Publication Date Title
CN112596067A (zh) 车辆摄像头校准系统
KR101937777B1 (ko) 라이다 장치 및 이를 이용한 거리 측정 방법
EP3111165B1 (en) Distance measuring device and parallax calculation system
US9123247B2 (en) Surrounding area monitoring apparatus for vehicle
KR102059244B1 (ko) 라이다 장치
US20070075892A1 (en) Forward direction monitoring device
CN110709722B (zh) 飞行时间摄像机
US11204424B2 (en) Method for capturing a 3D scene by means of a LIDAR system and a LIDAR system for this purpose
US11874379B2 (en) Time-resolved contrast imaging for lidar
JP2002131016A (ja) 距離測定装置、及び距離測定方法
JP7131180B2 (ja) 測距装置、測距方法、プログラム、移動体
US11531351B2 (en) Light receiving element array, light detection apparatus, driving support system, and automated driving system
US10514447B2 (en) Method for propagation time calibration of a LIDAR sensor
CN110986816A (zh) 一种深度测量系统及其测量方法
JP2019045301A (ja) 撮像制御装置、撮像制御方法、撮像制御プログラムおよび撮像制御プログラムを記録した記録媒体
EP3217191A1 (en) Distance measuring apparatus and method for measuring a distance
US20050072902A1 (en) Method and device for evaluating a parameter of a moving object
JP5803534B2 (ja) 光通信装置及びプログラム
WO2020080091A1 (ja) 車両点検装置および方法
KR102435313B1 (ko) 광전자 센서의 각도 위치를 결정하는 방법 및 테스트 스탠드
EP4141481A1 (en) Lidar target simulation system and method of testing a lidar device
US20230036431A1 (en) BLOOM COMPENSATION IN A LIGHT DETECTION AND RANGING (LiDAR) SYSTEM
US20220179044A1 (en) Frequency modulated continuous wave (fmcw) radar target emulation with synchronized modulation reflection devices
US20230351622A1 (en) Image processing circuitry and image processing method
US20220146679A1 (en) Laser scanning device and method for the three-dimensional measurement of a setting from a great distance

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination