CN111936825A - 传感器校准 - Google Patents

传感器校准 Download PDF

Info

Publication number
CN111936825A
CN111936825A CN201980020771.8A CN201980020771A CN111936825A CN 111936825 A CN111936825 A CN 111936825A CN 201980020771 A CN201980020771 A CN 201980020771A CN 111936825 A CN111936825 A CN 111936825A
Authority
CN
China
Prior art keywords
sensor
data
entropy
determining
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980020771.8A
Other languages
English (en)
Other versions
CN111936825B (zh
Inventor
P·布莱斯
D·米勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zoox Inc
Original Assignee
Zoox Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zoox Inc filed Critical Zoox Inc
Publication of CN111936825A publication Critical patent/CN111936825A/zh
Application granted granted Critical
Publication of CN111936825B publication Critical patent/CN111936825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G01S7/403—Antenna boresight in azimuth, i.e. in the horizontal plane
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52004—Means for monitoring or calibrating

Abstract

本公开涉及校准用于自动驾驶车辆的传感器。第一传感器数据和第二传感器数据可以由表示环境的一个或多个传感器捕获。第一传感器数据和第二传感器数据可以以多种组合与网格相关联，以生成多个投影数据。可以将占据网格单元的投影数据的多个数据点求和以确定空间直方图。可以为每个投影数据确定误差量(例如熵值)，并且可以选择与最低熵值相对应的投影数据来表示该一个或多个传感器的校准的配置。可以确定与最低熵值相关联的校准数据，并将其分别用于校准该一个或多个传感器。

Description

传感器校准
相关申请的交叉引用
本专利申请要求于2018年3月21日提交的序列号为15/927,291的美国发明专利申请的优先权。序列号为15/927,291的申请的全部内容通过引用并入本申请。
背景技术
许多车辆将传感器数据用于各种功能，例如导航，引导和避障。各种功能中的每一个对于车辆的有效运行都是必要的。因此，对传感器进行校准以向车辆计算系统提供准确的输入非常重要。当前的校准技术可能很耗时且计算量大，或者可能无法收敛于最佳解决方案。另外，许多当前的校准技术限于离线过程，如果传感器不在校准和/或对准范围内，则要求车辆停止服务。此外，当前的方法需要人工来进行校准，从而使过程变得手动，缓慢并且可能不精确。
附图说明
参照附图进行详细描述。在附图中，附图标记的最左边的数字标识该附图标记首次出现的附图。在不同附图中使用相同的附图标记表示相似或相同的组件或特征。
图1描绘了根据本公开的实施例的用于校准自动驾驶车辆上的传感器的示例过程的图形流程图。
图2描绘了根据本公开的实施例的用于使用组合搜索算法来校准自动驾驶车辆上的传感器的示例过程的图形流程图。
图3A描绘了具有安装到车辆的多个传感器组件的示例车辆的侧视图。
图3B描绘了具有安装到车辆的多个传感器组件的示例车辆的俯视图。
图4描绘了用于实现本文描述的实施例的示例系统的框图。
图5描绘了根据本公开的实施例的用于通过将传感器数据投影到网格上以最小化诸如熵值之类的误差来校准一个或多个传感器的示例过程。
图6描绘了根据本公开的实施例的用于至少部分地基于校准的传感器数据来控制自动驾驶车辆的示例过程。
具体实施方式
本公开内容涉及校准用于自动驾驶车辆的传感器。在一些情况下，自动驾驶车辆可以包括多个传感器(具有相同或不同的形态)，其可以表示重叠的视场。第一传感器可以捕获环境的第一数据，第二传感器可以捕获环境的第二数据。当正确校准第一传感器和第二传感器(相对于彼此、相对于车辆、和/或内部校准)时，来自第一传感器和第二传感器的传感器数据可以被组合以产生环境的对准表示(例如，“清晰”表示)。然而，当传感器被错误校准时，组合的传感器数据可能表示环境的不准确描绘(例如，“模糊”表示)。例如，在传感器的相对位置和/或方向不准确的情况下，可能导致这种模糊。在一个示例中，本文描述的校准技术可以用于校准安装在自动驾驶车辆上的雷达传感器。在一些情况下，校准技术可以包括：接收由第一传感器捕获的第一传感器数据，以及接收由第二传感器捕获的第二传感器数据；以及将第一传感器数据和第二传感器数据投影到诸如二维网格的网格上。第一传感器数据和第二传感器数据可以以多种组合被投影到网格上以生成多个投影。可以为每个投影确定误差量(例如熵值)，并且可以选择与最低熵值相对应的投影作为表示校准的配置。可以确定与最低熵值相关联的校准数据，并将其分别用于校准第一传感器和第二传感器。
在某些情况下，可以使用组合搜索算法来生成多个投影。也就是说，在某些情况下，多个投影可以表示一个或多个传感器的校准特性(例如，校准角度)的详尽组合。如上所述，传感器数据可以被投影到诸如二维网格的网格上。可以将投影到网格单元中的传感器数据求和，以计算与每个单元相关联的传感器数据点的数量。在某些情况下，将传感器数据投影到网格上可以生成直方图，例如二维空间直方图。在某些情况下，可以将直方图归一化以产生概率分布。概率分布可用于确定与投影关联的熵值，例如香农(Shannon)熵或瑞丽(Renyi))熵。可以选择与最低熵值相对应的投影，并将其用于确定用于校准该一个或多个传感器的校准数据。在一些示例中，并且作为组合搜索算法的替代，可以使用梯度下降算法，在某些情况下，可以用于确定最佳投影和相应的校准数据。
在某些情况下，校准技术可以用于确定一个或多个校准特性，并且不限于确定校准角度。例如，校准技术可以用于确定一个或多个传感器的一个或多个内在和/或外在特性。例如，第一传感器和第二传感器可以相对于彼此和/或相对于车辆被校准。在一些示例中，可以使用随时间接收的传感器数据来针对第一传感器对其进行校准。在某些情况下，可以针对单个外在特性(例如，偏航)执行校准，而在某些情况下，可以针对任意数量的外在特性(例如，六个自由度，例如x位置，y位置，z位置，侧倾，俯仰和偏航)执行校准。内在特性的示例包括但不限于透镜畸变，传输介质等。其他校准特性可以包括但不限于时间延迟(例如，从一个或多个传感器接收到数据的时间延迟)，温度，压缩等等。
本文讨论的校准技术可通过提供一种框架来确定用于自动驾驶车辆的传感器的最佳校准，从而改善计算设备的功能。在某些情况下，组合搜索算法可用于详尽搜索潜在的校准解决方案，以促进收敛在最佳解决方案。例如，利用这种组合搜索算法可以避免收敛于局部最小值(当误差最小化时)，这可能不对应于最优解决方案。通过经由本文中描述的校准技术来校准一个或多个传感器，一个或多个传感器可以生成表示环境的数据，该数据具有关于环境的高准确度和高精度。例如，已经以这种方式校准的诸如光检测和测距(LIDAR)传感器，雷达传感器，声纳传感器之类的传感器可以提供用于分割，分类，路线规划等的更准确的数据，这可以最终在驾驶时带来更好的安全效果。此外，传感器改进的校准可以例如通过提供更准确的数据作为分割，分类等的起点来改善感知系统中的处理。本文讨论了对计算设备的功能的这些和其他改进。
本文讨论的校准技术还表示了对传统校准技术的改进。例如，过去，校准技术包括手动调整捕获的数据以将一组数据与另一组数据对准。这种手动对准可能很慢，并且可能导致校准欠佳。其他常规的校准技术包括遍历一个区域，该区域包括具有要在校准操作中使用的已知位置的回射目标。更进一步地，常规的校准技术包括将车辆安装在转盘上并在监视由车辆上的传感器捕获的数据的同时物理地使车辆转弯。这些常规的校准技术具有有限的灵活性，经常需要附加的和/或专用的校准设备，和/或导致传感器的校准欠佳。因此，本文讨论的技术表示了对常规校准技术的显著改进。
本文描述的方法、装置和系统可以以多种方式来实现。下面参考以下附图提供示例实施方式。尽管在自动驾驶车辆的环境中进行了讨论，但是本文所述的方法、装置和系统可以应用于需要在使用之前和/或使用过程中对传感器进行校准的各种系统，并且不限于自动驾驶车辆。在另一个示例中，可以在航空或航海环境中利用这些方法、装置和系统。另外，本文描述的技术可以与真实数据(例如，使用传感器捕获的)，模拟数据(例如，由模拟器生成的)或两者的任意组合一起使用。
图1描绘了根据本公开的实施例的用于校准设置在自动驾驶车辆上的传感器的示例过程100的图示流程图。
在操作102，该过程可以包括捕获环境的数据。在一示例中，操作102可包括从设置在自动驾驶车辆上的一个或多个雷达传感器捕获雷达数据。当然，过程100不限于雷达数据或雷达传感器，并且任何类型和数量的传感器可以用于本文讨论的校准技术。示例104示出了车辆106捕获环境中的第一点108和第二点110的数据。在一些情况下，在操作102中捕获的数据可以包括相对于车辆106的位置和/或速度的对象的位置和/或速度。
细节图112示出了车辆106上的一个或多个传感器的物理方向。例如，车辆106包括设置在车辆106上的第一传感器114(例如，第一雷达传感器)和第二传感器116(例如，第二雷达传感器)。在一些情况下，第一传感器114可以相对于车辆106以角度θ1 118安装，而第二传感器116可以相对于车辆106以角度θ2 120安装。如图所示，第一传感器114可以捕获与环境中的点108和110相关联的第一数据，而第二传感器116也可以捕获与点108和110相关联的第二数据。
在操作122，该过程可以包括基于一个或多个校准角度将数据的一部分投影到任务空间(例如，用于投影数据的参考空间)上，也就是说，从传感器获取的数据可以基于传感器外在特性的假设而投影到环境中。在某些情况下，操作122可以包括过滤出与非零速度相对应的数据，因此要在操作122中投影的数据的一部分代表与固定对象相对应的数据。在一些情况下，操作122可以包括在阈值速度值下选择与速度值相关联的数据。在某些情况下，操作122可以包括选择感兴趣的区域，也就是说，操作122可以包括选择传感器数据的一部分以用于在此讨论的校准操作。在某些情况下，操作122可以包括选择与行进的距离相对应的数据，在感兴趣区域期间执行的特定操作(例如，转向数量，转向半径，速度，起点和终点等)等。
示例124示出了基于一个或多个初始校准角度(例如，期望角度)的数据投影。如细节126所示，基于校准角度的预期方向由角度θ3 128和角度θ4 130表示。在一些情况下，用于第一传感器114的校准角度128可以对应于由角度118示出的第一传感器114的物理方向(例如，角度θ1 118可以基本上对应于角度θ3 128)。在这种情况下，由第一传感器114捕获并在操作122中投影的数据可以准确地反映环境的状态。因此，示例124中的第一传感器114示出了正确指示点108和110的位置的传感器数据。
然而，如细节126所示，第二传感器116的校准角度130可能不对应于由角度120所示的第二传感器116的物理方向(即，实际方向)(例如，角度θ2 120可能与角度θ4 130不同)。在这种情况下，由第二传感器116捕获并在操作122中投影的数据可能无法准确地表示环境状态。如图所示，由第二传感器116捕获的数据可能被错误地解释为与数据点132和134相对应。
可以理解，在某些情况下，可以从校准操作中省略操作122，并且可以将其理解为示出了由未校准的传感器或错误校准的传感器引起的问题。
在操作136，该过程可以包括将数据的该部分投影到网格上以最小化熵值。在一些示例中，操作136可以包括：利用组合搜索算法来生成多个投影，该多个投影表示传感器校准的组合上的穷举或接近穷举搜索，从而得出表示最低熵值的投影(从而代表最优校准)。在一些情况下，将数据的该部分投影到网格上以最小化熵值可以指的是确定与特定投影相关联的熵值(或误差/成本)并将该熵值与参考熵值进行比较的迭代过程。在某些情况下，可以确定绝对的最小熵值，在某些情况下，可以根据所使用的精度水平(例如，投影网格的尺寸，待测试的校准角度的步长)来确定最低熵值等等，如此处所述)。
示例138、140和142说明了投影到网格144上的捕获数据的投影的各种实例。在某些情况下，网格144可以包括多个单元146、148、150和152。
示例138表示基于上面细节126中讨论的初始(预期)校准角度，由第一传感器和第二传感器捕获的传感器数据的投影。即，示例138表示传感器数据的基线或参考投影，其表示为方向154(0，0)。
示例140表示基于调整后的方向156(0，-1)由第一传感器和第二传感器捕获的传感器数据的投影。在某些情况下，方向156表示一个投影，第一传感器捕获的数据没有被改变(例如，在方向156上用“0”表示)，而第二传感器捕获的数据逆时针旋转一个单位时(例如，在方向156上由“-1”表示)。在某些情况下，数据旋转量可以是可调参数或可选参数，也可以基于精度设置。例如，在某些情况下，校准操作可以执行“粗略”校准，然后执行各种级别的“精细”校准，以获得最佳解决方案。
在一些情况下，方向156表示由传感器方向逆时针旋转20度的第二传感器116捕获的数据。
在某些情况下，方向158(0，1)表示由顺时针旋转20度(例如，在偏航方向上)的第二传感器116捕获的数据。为了简洁起见，图1中未示出所有可能的组合。然而，下面结合图2讨论组合搜索算法的其他细节。如下面将详细讨论的，尽管出于说明目的在图1中进行了描绘，但是应当理解，这样的投影可以不限于一个维度(这里为“偏航”)，并且可以包括任意数量传感器之间的任意数量的维度(例如，x，y，z，侧倾，俯仰，偏航等)。
参考示例138，可以至少部分地基于方向154将由第一传感器和第二传感器数据捕获的传感器数据的至少一部分投影到网格144上。如图所示，第二传感器116捕获的数据的两个点被投影到单元150中。此外，第一传感器114捕获的第一点数据被投影到单元146中，而第一传感器116捕获的第二点数据被投影到单元152中。
在将数据的该部分投影到网格上之后，可以为多个投影中的每个投影确定熵值。例如，操作136可以包括对占据每个单元的多个测量求和，由此可以确定每个投影的直方图(例如，二维空间直方图)。在一些情况下，可以将直方图归一化以产生概率分布，该概率分布至少部分地表示基于投影方向将传感器数据投影到特定单元中的概率。可以基于概率分布来确定熵值。
可以理解，可以为多个投影中的每个投影确定熵值并与之关联。因此，由于组合搜索算法可以确定多个投影并且可以为每个投影确定熵值，因此可以通过选择与最低熵值相关联的投影来确定最佳解决方案。
在一些情况下，操作136可以包括确定香农熵。在某些情况下，可以根据以下公式确定香农熵：
H＝-∑i，jpijlog2pij (1)
其中pij表示在空间坐标(i，j)上观察到数据的单个数据点的概率。
在一些情况下，操作136可以包括确定瑞丽(Renyi)熵、哈特利(Hartley)熵、碰撞熵、最小熵等。
在一些情况下，示例142表示示例138、140和142中所示的三个投影的最低熵值，因为示例142表示最少数量的单元中的最大数量的点。例如，示例138和140表示三个单元(例如146、150和152)中的四个点(例如108、110、132和134)，而示例142则表示在两个单元(例如146和152)中的四个点(例如108、110、132和134)。可以重复操作136，将步长减小(例如，从20度减小到10度)，并且减小每个网格单元的面积(例如，增加单元的数量)，以产生对传感器的估计位置和/或方向的越来越精细的修改。
在操作160，该过程可以包括至少部分地基于熵值来生成一个或多个更新的校准角度。例如，操作160可以包括确定在操作136中确定的最低熵值(例如，对应于示例142)。在一些实例中，操作160可以包括例如确定表示传感器的校准角度的传感器的方向158，以最佳地校准第一传感器和第二传感器。如上所述，方向158(0，1)表示与第一传感器相关联的初始校准角度(例如，(0，1)的“0”)，并且表示与第二传感器相关联的更新校准角度(例如，(0，1)中的“1”)。在某些情况下，操作160可以包括识别组合搜索算法的精度，在这种情况下，该精度表示顺时针旋转20度。
在细节162中，示出了基于更新的校准角度的第一传感器和第二传感器的预期方向。例如，第一传感器114与更新的校准角θ5 164相关联，第二传感器116与更新的校准角θ6166相关联。因此，更新的校准数据(例如，更新的校准角度164和166)可以与分别由第一传感器114和第二传感器116捕获的任何数据一起发送，和/或可以存储在存储器中，并且可以由任何部件访问以在第一传感器114和第二传感器116之间对准数据。
图2描绘了根据本公开的实施例的用于使用组合搜索算法来校准自动驾驶车辆上的传感器的示例过程200的图形流程图。
在操作202，该操作可以包括基于估计的传感器姿态(例如，位置和方向)将传感器数据的一部分投影到网格上。在一些情况下，操作202可以包括从在操作202中投影的数据中去除与非零速度相关联的数据。即，在某些情况下，可以使用表示静止对象的数据来执行校准操作。
示例204示出了车辆106基于方向154将由第一传感器114和第二传感器116捕获的传感器数据投影到网格144上。如图所示，由第二传感器捕获的数据点132和134被投影到网格144的单元150中。由第一传感器捕获的数据点108被投影到网格144的单元146中，并且由第二传感器捕获的数据点110被投影到网格144的单元152中。
可以理解，在操作202中要投影的数据不限于车辆106捕获的数据的单个实例或“快照”。相反，要投影的数据可以表示车辆106在任何时间段或距离捕获的数据，任何一个都可以代表车辆106的任何操作，例如车道变化，左转和右转等。在某些情况下，在操作202中要投影的数据可以由车辆106捕获，并存储在车辆106的日志文件中以用于后续处理。在这样的示例中，可以通过例如SLAM系统等来确定和/或提供关于车辆的定位信息(例如，位置和/或方向)。将会认识到，定位系统越准确，可以通过本文描述的技术执行的校准质量越好。此外，这样的多个传感器实际上可以表示随时间推移已获取数据的单个传感器(例如，每个“传感器”可以在不同时间代表相同的物理传感器)。在这样的示例中，校准还将确定单个传感器相对于车辆本身的位置和/或方向。
在某些情况下，网格144可以表示任何大小的离散单元。在一种实施方式中，单元146可以表示大约10厘米乘10厘米的面积。在一些示例中，网格144可以包括任何尺寸或形状的单元，并且不限于本文描述的特定示例。网格144的总面积可以在几十厘米到数千米或更大的范围内。
如上所述，示例204表示基于校准角度(例如，由方向154指示)的数据投影。在一些实例中，约定(0，0)指示示例204中的数据投影是使用基线校准角度(例如，其可以对应于先前或初始校准数据)执行的。再次，尽管出于说明性目的仅描绘为角度(例如偏航)，但此类校准可在x位置，y位置或z位置，偏航，俯仰、侧倾等中的任何一个或多个上进行。
在操作206，该过程可以包括选择用于组合搜索的精度。例如，在某些情况下，过程200可以以诸如“粗略”，“适中”和“精细”之类的不同精度执行组合搜索，以相继完善一个或多个传感器的校准。在某些情况下，单个精度可以是可调(或可选)参数。在一些示例中，可以连续地改善精度(例如，线性地，指数地等等)，直到达到和/或超过某个用户定义的阈值(例如，以下在操作220中定义的阈值)。举例来说，但不限于，尽管可以使用任何值，但是第一精度可以在20度的数量级上。以20度作为“粗略”精度的示例，“适中”和“精细”精度可以分别使用10度和1度的精度，尽管可以使用任何值。
在操作208，该过程可以包括至少部分地基于所选择的精度来执行组合搜索。通过示例而非限制，示例210示出了示例序列，该示例序列表示用于校准两个传感器的组合搜索。在某些情况下，组合搜索算法可以穷举或几乎穷举搜索传感器方向的所有组合，针对每个方向将数据投影到网格上，并确定每个投影的熵值(或其他误差值)。在一些实例中，示例210表示第一传感器和第二传感器的多个姿态，包括跨一个或多个维度的变换的组合集合。
示例210中的第一条目212对应于方向154。也就是说，组合搜索算法的第一条目212可以包括基于先前，初始或最新的校准信息将第一传感器数据和第二传感器数据投影到网格上。在一些情况下，(0，0)的第一条目212可以对应于传感器的中性方向(例如，90度的角度118和90度的角度120)。
示例210中的第二条目214对应于方向(-1，0)。在搜索精度为20度并且其中第一条目212对应于中性方向(例如，第一传感器和第二传感器相对于车辆106呈90度)的示例中，对应于第二条目214的第一传感器的用于投影的角度可以对应于70度，而第二传感器的方向可以对应于90度的角度。可以理解，操作208可以包括为示例210的每个条目确定投影。此外，操作208可以包括为多个投影中的每个投影确定熵值。
如示例210所示，组合搜索算法可以包括任意数量的传感器方向。示例216示出了传感器A的对应于“-2”的方向，继续以上讨论的示例，对应于第二条目214的第一传感器的用于投影的角度可以对应于50度(例如，90度减去2*20度)。示例218示出了可以使用任意数量的步骤(例如，N和M)来确定投影。
在要同时校准三个或更多传感器的情况下，组合搜索算法可以扩展为容纳任意数量的其他传感器和/或维度。即，本文讨论的校准技术不限于校准一个，两个或三个传感器，并且可以用于任何数量和/或类型的传感器以及任何数量的维度(位置和/或方向)。
在操作220，该过程可以包括确定在组合搜索中确定的误差值和/或搜索精度是否低于阈值。例如，组合搜索可以确定多个投影中的每个投影的熵值。在某些情况下，操作220可以包括确定表示最佳校准的最小熵值(例如，基于选择的精度)。如果误差不低于阈值(例如，最低熵和/或误差变化(与先前迭代相比，在操作220中表示为“否”))，则过程可以返回到操作206，其中可以选择更新的精度。例如，过程的第一遍可以以第一精度(例如，“粗略”精度)搜索，而该过程的连续的数遍可以以更精细的精度搜索。在某些情况下，可以更新参考方向(例如，0，0)以反映与投影的最低熵相对应的位置和/或方向。
在一些情况下，除了或代替参考与传感器相关联的度数来改变精度之外，该精度可以参照网格的尺寸。例如，网格的尺寸可以在连续的数遍中减小以确定最佳校准。
如果误差低于阈值(例如，在操作220中为“是”)，则该过程可以继续进行到操作222，该操作222可以包括生成一个或多个校准角度。即，操作222可以包括至少部分地基于在操作220中确定的最低熵值来确定与投影相对应的一个或多个校准角度。例如，以相应的最低熵投影数据的角度可以表示传感器相对于车辆的方向。因此，校准角度可用于对准传感器捕获的数据以产生环境的对准表示。
图3A描绘了示例性车辆302的侧视图300，该示例性车辆302具有安装至车辆的多个传感器组件。在某些情况下，这些传感器组件可以包括但不限于一个或多个LIDAR传感器，雷达传感器，图像传感器，声纳(SONAR)传感器等。本文中(例如，结合图4)讨论了传感器的其他示例。
如侧视图300所示，车辆302可包括任何数量的以任何组合或配置的传感器。例如，车辆302至少包括传感器304、306和308。在一些情况下，传感器304可以包括雷达传感器，该雷达传感器具有被示为θ1的垂直视场。传感器306可以包括安装在车辆的车顶上的LIDAR传感器，传感器306具有示出为θ2的垂直视场。在一些情况下，传感器308可以安装在车辆302上，而传感器308具有垂直视场θ3。在一些情况下，传感器308表示雷达传感器，LIDAR传感器，图像传感器，SONAR传感器等。当然，可以将任何数量和/或类型的传感器安装到车辆302或安装在车辆302中。
图3B描绘了示例车辆302的俯视图310，该示例车辆302具有安装至车辆的多个传感器组件。例如，在图3B中可以看到传感器304、306和308，以及另外的传感器312、314、316和318。如在本公开的上下文中可以理解的，车辆302可以包括任何数量和任何类型的传感器。如图3B所示，传感器304可以包括水平视场θ5，传感器306可以包括水平视场θ6，传感器308可以包括水平视场θ7，并且传感器310可以包括水平视场θ8。如在本公开的上下文中可以理解的，安装位置和视场可以分别对应于外在特征和内在特征，其可以如本文所述进行校准。此外，如在本公开的上下文中可以理解的，传感器304、312、314等中的一些可以具有重叠的视场(例如，“共同可见性”)。
图4描绘了用于实现本文描述的技术的示例系统400的框图。在至少一个示例中，系统400可以包括车辆402，该车辆可以是与以上参照图1和图3描述的车辆106或302相同的车辆。
车辆402可包括车辆计算设备404、一个或多个传感器系统406、一个或多个发射器408、一个或多个通信连接410、至少一个直接连接412以及一个或多个驱动模块414。
车辆计算设备404可以包括一个或多个处理器416以及与一个或多个处理器416通信地耦合的存储器418。在图示的示例中，车辆402是自动驾驶车辆；然而，车辆402可以是任何其他类型的车辆。在所示的示例中，车辆计算设备404的存储器418存储定位部件420、感知组件422、计划部件424、一个或多个系统控制器426以及校准部件428。此外，校准部件428可以包括固定数据部件430、校准数据部件432、投影部件434和熵部件436。尽管出于说明性目的在图4中描绘为驻留在存储器418中，但是可以预期，校准部件428可以附加地或替代地对于车辆402是可访问的(例如，远程存储)。
在至少一个示例中，定位部件420可以包括从传感器系统406接收数据以确定车辆402的位置的功能。例如，定位部件420可以包括、请求和/或接收环境的三维地图，并可以连续确定自动驾驶车辆在地图中的位置。在某些情况下，定位部件420可以利用SLAM(同时定位和映射)或CLAMS(同时进行校准，定位和映射)来接收图像数据，LIDAR数据，雷达数据，SONAR数据，IMU数据，GPS数据，车轮编码器数据等以准确确定自动驾驶车辆的位置。在一些情况下，定位部件420可以将数据提供给车辆402的各个部件，以确定自动驾驶车辆的初始位置，以生成候选轨迹或使校准操作相关，如本文所讨论的。
在某些情况下，感知部件422可以包括执行对象检测，分割和/或分类的功能。在一些示例中，感知部件422可以提供处理后的传感器数据，该处理后的传感器数据指示存在于车辆402附近的实体和/或该实体作为实体类型的分类(例如，汽车，行人，骑自行车的人，动物，未知等)。在另外的和/或替代的示例中，感知部件422可以提供处理后的传感器数据，其指示与检测到的实体和/或该实体所处的环境相关联的一个或多个特征。在一些示例中，与实体相关联的特征可以包括但不限于x位置(全球定位)、y位置(全球定位)、z位置(全球定位)、方向、实体类型(例如分类)、实体的速度、实体的范围(例如大小)等。与环境相关的特征可以包括但不限于环境中另一个实体的存在，环境中另一个实体的状态，一天中的时间，一周中的一天，季节，天气状况，黑暗/明亮的指示等。
在至少一个示例中，车辆计算设备404可以包括一个或多个系统控制器426，其可以被配置为控制车辆402的转向，推进，制动，安全，发射器，通信和其他系统。这些系统控制器426可以与驱动模块414和/或车辆402的其他部件的对应系统通信和/或控制它们。
通常，计划部件424可以确定车辆402要遵循的穿过环境的路径。例如，计划部件424可以确定各种路线和轨迹以及各种细节水平。例如，计划部件424可以确定从第一位置(例如，当前位置)到第二位置(例如，目标位置)行进的路线。为了便于讨论，路线可以是在两个位置之间行驶的一系列航路点。作为非限制性示例，航路点包括街道，十字路口，全球定位系统(GPS)坐标等。此外，计划部件424可以生成一条指令，用于沿着从第一位置到第二位置的路线的至少一部分引导自动驾驶车辆。在至少一个示例中，计划部件424可以确定如何将自动驾驶车辆从航路点序列中的第一航路点引导至航路点序列中的第二航路点。在一些示例中，指令可以是轨迹或轨迹的一部分。在一些示例中，根据滚动时域技术，可以基本上同时(例如，在技术公差内)生成多个轨迹。
通常，校准部件428可以包括校准与车辆402结合操作的一个或多个传感器的功能。例如，校准部件428可检测未校准的传感器，调度校准例程，并将校准数据发送至车辆402的一个或多个其他部件，这些部件利用由一个或多个传感器产生的数据。
固定数据部件430可包括接收由传感器系统406的一个或多个传感器捕获的传感器数据以识别表示固定物体的数据的功能。也就是说，在某些情况下，例如在校准一个或多个雷达传感器时，传感器数据可以指示环境中物体的相对速度。因此，固定数据部件430可以(例如，从车轮编码器，GPS传感器等)接收与车辆402的速度相关联的数据，以确定车辆402相对于传感器数据中表示的对象的数据的速度。在一些情况下，固定数据部件430可以包括设置速度的阈值，在该速度之上可以丢弃数据(或出于校准目的而省略或忽略)。在一些情况下，该阈值可以是零速度，并且在一些情况下，该阈值可以是非零值(例如，数据可以与低于阈值的速度相关联)。
在某些情况下，固定数据部件430可以从地图或其他源接收识别环境中的固定对象，例如建筑物，电线杆，树木等的数据。在某些情况下，固定数据部件430可以将传感器数据与一个或多个静止对象相关联，以(基于地图数据)确定静止对象是否被表示为在传感器数据中具有速度值。在这种情况下，校准部件428可以确定传感器可能被错误校准，并且生成应该执行校准的指示。
校准数据部件432可以包括存储与车辆402的一个或多个传感器相关联的校准数据的功能。在一些情况下，校准数据部件432可以存储与传感器相关联的一个或多个校准角度(或通常的校准特性)，例如以上关于图1讨论的角度118、120、128、130、164和166。在某些情况下，校准数据可以存储传感器的安装角度和/或位置和/或与一个或多个传感器相关的任何外在和/或内在信息，包括但不限于校准角度，安装位置，高度，方向，偏航，倾斜，平移，定时信息，透镜畸变参数，传输介质参数等。此外，校准数据部件432可以存储所执行的一些或所有校准操作的日志，诸如从最近的校准开始经过的时间等。
投影部件434可以包括将传感器数据投影到网格上以校准传感器系统406的一个或多个传感器的功能。在一些示例中，投影部件434可以利用组合搜索算法来将传感器数据投影为多个投影，以穷举或几乎穷举地搜索最佳传感器校准。在某些情况下，投影部件434可以选择网格的尺寸。如上所述，尽管可以使用任何尺寸，但是网格尺寸的一个实例为10厘米×10厘米的数量级。在某些情况下，可以在整个校准过程中固定网格的尺寸，而在某些情况下，可以改变(例如，放大或缩小)网格的尺寸以收敛于最佳校准解决方案。
在确定网格之后，投影部件434可以将传感器数据投影到网格上。在某些情况下，投影部件434可以生成直方图(例如，二维空间直方图)，该直方图表示在网格的每个单元中表示的多个数据点的计数。在某些情况下，投影部件434可以将直方图归一化以确定每个单元中数据点的概率分布。
熵部件436可以包括以下功能：接收由投影部件434生成的概率分布以确定多个投影中的每个投影的熵值。例如，熵部件436可以确定香农熵，瑞丽熵，哈特利熵，碰撞熵，最小熵等。
在某些情况下，投影部件434和/或熵部件436可以并行执行操作。例如，可以使用诸如GPU的处理器来并行地确定各个投影(和/或熵计算)，以减少用于本文讨论的校准操作的处理时间。
在一些情况下，作为组合搜索算法的替代，校准部件428可以利用梯度下降算法来评估与一个或多个投影相关联的成本以确定最优校准。
在某些情况下，本文讨论的一些或所有部件的方面可以包括任何模型，算法和/或机器学习算法。例如，在某些情况下，存储器418(以及下面讨论的存储器444)中的这些部件可以被实现为神经网络。
如本文所述，示例性神经网络是生物学启发的算法，其使输入数据通过一系列连接的层以产生输出。神经网络中的每个层还可以包含另一个神经网络，或者可以包含任意数量的层(无论是否卷积)。如在本公开的上下文中可以理解的，神经网络可以利用机器学习，机器学习可以指的是广泛的这类算法，其中基于学习的参数生成输出。
尽管在神经网络的环境中进行了讨论，但是可以根据本公开使用任何类型的机器学习。例如，机器学习算法可以包括但不限于回归算法(例如，普通最小二乘回归(OLSR)、线性回归、逻辑回归、逐步回归、多元自适应回归样条(MARS)、局部估计散点图平滑(LOESS))、基于实例的算法(例如，岭回归、最小绝对收缩和选择算子(LASSO)、弹性网、最小角度回归(LARS)、决策树算法(例如，分类和回归树(CART)、迭代二分法3(ID3)、卡方自动交互检测(CHAID)、决策树桩、条件决策树)、贝叶斯算法(例如，朴素贝叶斯、高斯朴素贝叶斯、多项式朴素贝叶斯、平均一依赖估计量(AODE)、贝叶斯信念网络(BNN)、贝叶斯网络)、聚类算法(例如k均值、k中位数、期望最大化(EM)、分层聚类)、关联规则学习算法(例如感知器、反向传播、霍普菲尔德网络、径向基函数网络(RBFN))、深度学习算法(例如深玻尔兹曼机(DBM)、深度信念网络(DBN)、卷积神经网络(CNN)、堆叠式自动编码器)、降维算法(例如，主成分分析(PCA)、主成分回归(PCR)、偏最小二乘回归(PLSR)、萨蒙映射、多维缩放(MDS)、投影寻踪、线性判别分析(LDA)、混合判别分析(MDA)、二次判别分析(QDA)、柔性判别分析(FDA))、集合算法(例如提升方法(Boosting)、自举(Bootstrapped)聚合(装袋)、AdaBoost、堆积泛化(混合)、梯度提升机(GBM)、梯度增强回归树(GBRT)、随机森林)SVM(支持向量机)、监督学习、无监督学习、半监督学习等。
体系结构的其他示例包括神经网络，例如ResNet50、ResNet101、VGG、DenseNet、PointNet等。
在至少一个示例中，传感器系统406可以包括LIDAR传感器、雷达传感器、超声换能器、SONAR传感器、位置传感器(例如GPS、指南针等)、惯性传感器(例如惯性测量单元、加速度计、磁力计、陀螺仪等)、相机(例如RGB、IR、强度、、，飞行时间等)、麦克风、车轮编码器、环境传感器(例如温度传感器、湿度传感器、光传感器、压力传感器)等。传感器系统406可以包括这些或其他类型的传感器中的每一个的多个实例。例如，LIDAR传感器(和/或雷达传感器)可以包括位于车辆402的角部，前，后，侧面和/或顶部的单独的LIDAR传感器(或雷达传感器)。作为另一个示例，相机传感器可以包括设置在车辆402的外部和/或内部周围的各个位置处的多个相机。传感器系统406可以向车辆计算设备404提供输入。另外或替代地，传感器系统406可以在经过预定时间段之后，接近实时等地，经由一个或多个网络438以特定的频率将传感器数据发送到一个或多个计算设备。
如上所述，车辆402还可包括一个或多个用于发射光和/或声音的发射器408。在该示例中，发射器408包括内部音频和视觉发射器，以与车辆402的乘客进行通信。作为示例而非限制，内部发射器可以包括扬声器、灯、标志、显示屏、触摸屏、触觉发射器(例如，振动和/或力反馈)、机械执行器(例如，安全带拉紧器、座椅定位器、头枕定位器等)等。在该示例中，发射器408还包括外部发射器。作为示例而非限制，在此示例中，外部发射器包括用于发出行驶方向信号的灯光或车辆动作的其他指示器(例如，指示灯、标志，、灯阵列等)，以及一个或多个音频发射器(例如扬声器、扬声器阵列、喇叭等)，以与行人或其他附近的车辆进行声音通信，其中一个或多个包含声束转向技术。
车辆402还可以包括一个或多个通信连接410，其使得能够在车辆402与一个或多个其他本地或远程计算设备之间进行通信。例如，一个或多个通信连接410可以实现与车辆402上的其他本地计算设备和/或驱动模块414的通信。而且，通信连接410可以允许车辆与其他附近的计算设备(例如，其他附近的车辆，交通信号等)进行通信。通信连接410还使得车辆402能够与远程遥控操作计算设备或其他远程服务通信。
通信连接410可以包括用于将车辆计算设备404连接到另一计算设备或网络(诸如网络438)的物理和/或逻辑接口。例如，通信连接410可以实现基于Wi-Fi的通信，诸如经由IEEE 802.11标准定义的频率，诸如蓝牙的短程无线频率，蜂窝通信(例如2G，3G，4G，4GLTE，5G等)或使相应计算设备能够与其他计算设备对接的任何合适的有线或无线通信协议。
在至少一个示例中，车辆402可包括一个或多个驱动模块414。在一些示例中，车辆402可具有单个驱动模块414。在至少一个示例中，如果车辆402具有多个驱动模块414，则各个驱动模块414可以定位在车辆402的相对端(例如，前部和后部等)上。在至少一个示例中，驱动模块414可以包括一个或多个传感器系统，以检测驱动模块414和/或车辆402的周围的状况。作为示例而非限制，传感器系统406可以包括一个或多个用于感测驱动模块的车轮的旋转的车轮编码器(例如，旋转编码器)、用于测量驱动模块的方向和加速度的惯性传感器(例如，惯性测量单元、加速度计、陀螺仪、磁力计等)、照相机或其他图像传感器、用于声学检测驱动模块周围环境中的对象的超声波传感器、LIDAR传感器、雷达传感器等。某些传感器，例如车轮编码器对于驱动模块414可以是唯一的。在某些情况下，驱动模块414上的传感器系统可以重叠或补充车辆402的相应系统(例如，传感器系统406)。
驱动模块414可以包括许多车辆系统，包括高压电池、用于推动车辆402的电动机、用于将来自电池的直流电转换成交流电以供其他车辆系统使用的逆变器、转向系统，其包括转向电动机和转向齿条(可以是电动的)、包括液压或电动执行器的制动系统、包括液压和/或气动部件的悬架系统、用于分配制动力以减轻牵引力损失和保持控制的稳定性控制系统、HVAC系统、照明设备(例如，用于照亮车辆的外部环境的照明设备，例如前照灯/尾灯)、以及一个或多个其他系统(例如，冷却系统、安全系统、车载充电系统、其他电气部件，例如DC/DC转换器、高压结、高压电缆、充电系统、充电端口等)。另外，驱动模块414可以包括驱动模块控制器，该驱动模块控制器可以接收和预处理来自传感器系统的数据并控制各种车辆系统的操作。在一些示例中，驱动模块控制器可以包括一个或多个处理器以及与该一个或多个处理器通信耦合的存储器。该存储器可以存储一个或多个模块以执行驱动模块414的各种功能。此外，驱动模块414还包括一个或多个通信连接，该(些)通信连接使得各个驱动模块能够与一个多个其他本地或远程计算设备进行通信。
车辆402的处理器416可以是能够执行指令以处理数据并执行本文所述的操作的任何合适的处理器。作为示例而非限制，处理器416可以包括一个或多个中央处理单元(CPU)、图形处理单元(GPU)或处理电子数据以将该电子数据转换为可以存储在寄存器和/或存储器中的其他电子数据的任何其他设备或设备的一部分。在一些示例中，只要将集成电路(例如，ASIC等)，门阵列(例如，FPGA等)和其他硬件设备配置为实现编码得指令，就可以将它们视为处理器。
存储器418是非暂时性计算机可读介质的示例。存储器418可以存储操作系统和一个或多个软件应用程序、指令、程序和/或数据，以实现本文描述的方法以及归因于各种系统的功能。在各种实施方式中，可以使用任何合适的存储技术来实现该存储器，例如静态随机存取存储器(SRAM)，同步动态RAM(SDRAM)，非易失性/闪存型存储器或能够存储信息的任何其他类型的存储器。本文描述的体系结构、系统和单个元件可以包括许多其他逻辑、编程和物理部件，附图中示出的那些仅仅是与本文的讨论有关的示例。
应当注意，虽然图4被示为分布式系统，但是在替代示例中，车辆402的部件可以与经由网络438可访问的远程计算设备相关联。
例如，车辆402可以经由网络438将传感器数据发送到一个或多个计算设备440。在一些示例中，车辆402可以将原始传感器数据发送到计算设备440。在其他示例中，车辆402可以将处理后的传感器数据和/或传感器数据的表示发送到计算设备440。在一些示例中，在经过预定时间段之后，接近实时等，车辆402可以以特定频率将传感器数据发送到计算设备440。在一些情况下，车辆402可以将(原始的或已处理的)传感器数据作为一个或多个日志文件发送到计算设备440。
计算设备440可以接收(原始或处理的)传感器数据，并且可以对数据执行校准操作。在至少一个示例中，计算设备440可以包括一个或多个处理器442和与该一个或多个处理器442通信地耦合的存储器444。在图示的示例中，计算设备440的存储器444存储校准部件446，该校准部件446可以包括执行与以上在校准部件428的上下文中讨论的那些操作类似的操作的功能。在一些情况下，处理器442和存储器444可以包括与以上针对处理器416和存储器418所讨论的功能和/或结构类似的功能和/或结构。
图1、2、5和6示出了根据本公开的实施例的示例过程。这些过程被示为逻辑流程图，其每个操作表示可以以硬件，软件或其组合实现的一系列操作。在软件环境中，这些操作表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，当由一个或多个处理器执行时，计算机可执行指令执行所述操作。通常，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。描述操作的顺序不旨在被理解为限制，并且可以以任何顺序和/或并行地组合任意数量的所描述的操作以实现这些处理。
图5描绘了示例过程500，用于通过将传感器数据投影到网格上以最小化诸如熵值之类的误差来校准一个或多个传感器，如本文所讨论的。例如，如本文所述，过程500的一些或全部可以由图4中的一个或多个部件执行。例如，过程500中的一些或全部可以由校准部件428和/或446执行。
在操作502，该过程可以包括接收由设置在车辆上的一个或多个传感器捕获的第一传感器数据和第二传感器数据。在单个传感器的情况下，第一传感器数据和第二传感器数据可以表示随着传感器在环境中移动而获取的数据。在一些示例中，这样的数据可以表示车辆在多个时间通过同一环境。例如，第一传感器数据可以表示在第一时间在该环境中捕获的数据，第二传感器数据可以表示在第二时间在该环境中捕获的数据。
在多个传感器的情况下，操作502可以包括从第一传感器和第二传感器接收至少第一传感器数据和第二传感器数据。在一些情况下，第一传感器数据可以与第二传感器数据基本同时捕获(例如，在技术公差内和/或在不影响本文描述的校准技术的时间量内)。在一些情况下，第一传感器数据的至少一部分可以表示与第二传感器数据的至少一部分相同的环境。在一些情况下，操作502可以包括例如接收定位信息，该定位信息可以提供关于车辆的姿态(例如，位置和/或方向)的信息。在某些情况下，该定位信息可以由CLAMS(同时进行校准，定位和映射)系统提供。另外，还可以通过一个或多个系统和/或传感器来提供速度(线性和/或角度)，加速度(线性和/或角度)等。
在操作504，该过程可以包括通过将第一传感器数据和第二传感器数据投影到网格(例如，二维或三维网格)上来生成多个投影。在某些情况下，操作504可以包括选择组合搜索算法以生成传感器数据的可能投影的详尽或接近详尽的集合。例如，操作504可以包括根据组合搜索表(例如，如示例210中所示)投影第一数据和第二数据。在一些情况下，多个投影可以表示一个或多个传感器相对于彼此和/或相对于车辆的不同位置和/或方向(例如，姿态)。
在一些实例中，操作504可以包括确定直方图，诸如二维空间直方图，其表示针对多个投影中的每个投影的传感器数据的投影。在某些情况下，直方图可以至少部分地表示投影到网格的每个单元中的多个数据点。在某些情况下，操作504可以包括对直方图进行归一化以确定在投影上的概率分布。
在操作506，该过程可以包括确定多个投影中的每个投影的误差(例如，熵值)。在一些情况下，操作506可以包括确定与多个投影中的各个投影相关联的每个概率分布的熵值。在一些情况下，操作506可以包括确定香农熵、瑞丽熵、哈特利熵、碰撞熵、最小熵等。在某些情况下，操作506可以包括利用梯度下降算法来确定与每个投影相关联的误差。
在操作508，该过程可以包括确定误差(例如，最低熵)和/或误差的变化(与先前的迭代或参考值相比)是否低于阈值。在一些情况下，操作508可以包括确定在操作506中确定的多个熵值中的最低熵值(在某些情况下，可以表示一个或多个传感器的最佳校准或基于搜索算法和/或搜索精度的最佳拟合)。在某些情况下，可以基于传感器的类型、传感器的数量、环境条件、环境温度、设备温度等来选择阈值。在一些情况下，该阈值可以部分地基于由先前的校准操作确定的熵值。
如果误差(或误差的改变)不低于阈值(例如，在操作508中为“否”)，则该过程可以继续至操作510，该操作510可以包括更新搜索精度。
在一些情况下，操作510可以包括更新搜索精度(例如，在20度、15度、5度、1度等的角度上评估组合搜索算法)和/或基于网格大小(例如，维度为10厘米×10厘米、5厘米×5厘米，1厘米×1厘米等的单元)。上面关于图2详细描述了其他示例。当然，可以使用任何值，并且所列举的实施例并不意图是限制性的。
在操作510中已经更新搜索精度之后，该过程可以返回到操作504以将传感器数据投影到网格上以生成多个投影。
如果该误差低于阈值(例如，在操作508中为“是”)，则处理进行到操作512。
在操作512，该过程可以包括选择多个投影中的表示最低误差(例如，最低熵值)的一投影。
在操作514，该过程可以包括至少部分地基于该投影来确定与一个或多个传感器相关联的校准数据。例如，如以上结合图1所讨论的，示例142可以表示多个投影的最低熵值。示例142与方向158相关联，该方向158表示相对于参考方向的调整，该调整导致最佳校准。在一些情况下，操作514可以包括例如通过从参考角度添加或减去调整角度以确定最佳校准数据来确定一个或多个校准角度(或一般而言，校准特性)。
在操作516，该过程可以包括至少部分地基于校准数据来校准该一个或多个传感器。例如，操作516可包括将校准数据发送到定位系统(例如，定位部件420)、感知系统(例如，感知部件422)等中的一个或多个。在一些情况下，车辆的一个或多个系统可以使用校准数据来对准或以其他方式调整由一个或多个传感器捕获的数据，使得该数据可以准确的方式表示环境。
如本文所讨论的，图6描绘了用于至少部分地基于校准的传感器数据来控制自动驾驶车辆的示例过程600。举例来说，如本文中所描述，过程600的一些或全部可由图4中的一个或多个部件执行。例如，过程600的一些或全部可以由定位部件420、感知部件422、计划部件424和/或一个或多个系统控制器426执行。
在操作602，该过程可以包括接收更新的校准数据。在某些情况下，可以使用本文讨论的校准技术来确定校准数据。
在操作604，该过程可以包括至少部分地基于更新的校准数据来生成轨迹。例如，在操作604中生成的轨迹可以至少部分地基于从使用校准数据被校准的一个或多个传感器接收的传感器数据。在某些情况下，该轨迹可以基于环境中自动驾驶车辆外部对象或主体(agent)的存在。
在操作606，该过程可以包括控制自动驾驶车辆跟随该轨迹。在一些情况下，在操作606中生成的命令可以被中继到自动驾驶车辆上的控制器，以控制自动驾驶车辆来沿该轨迹行驶。尽管在自动驾驶车辆的环境中进行了讨论，但是本文所述的过程600以及技术和系统可以应用于利用机器视觉的各种系统。
示例条款
A.一种系统，包括：一个或多个处理器；以及一个或多个计算机可读介质，其存储可由所述一个或多个处理器执行的指令，其中，所述指令使所述系统执行以下操作，包括：接收设置在自动驾驶车辆上的第一雷达传感器捕获的第一传感器数据；接收设置在自动驾驶车辆上的第二雷达传感器捕获的第二传感器数据；至少部分地基于所述第一雷达传感器和所述第二雷达传感器的多个方向，以二维网格投影所述第一传感器数据的第一部分和所述第二传感器数据的第二部分作为多个投影数据；至少部分地基于所述多个投影数据来确定熵；至少部分地基于所述熵来确定与所述第一传感器相关联的第一校准角；至少部分地基于所述熵来确定与所述第二传感器相关联的第二校准角；至少部分地基于所述第一校准角度，将所述第一雷达传感器校准为校准的第一雷达传感器；至少部分地基于所述第二校准角度，将所述第二雷达传感器校准为校准的第二雷达传感器；至少部分地基于所述校准的第一雷达传感器和所述校准的第二雷达传感器，生成用于控制自动驾驶车辆的轨迹；以及控制所述自动驾驶车辆跟随所述轨迹。
B:段落A的系统，其中，确定所述熵包括：至少部分地基于所述多个投影数据的子集来确定多个第一熵值；确定所述多个第一熵值中的第一熵值达到或超过阈值；降低搜索精度；至少部分地基于所述搜索精度和所述第一雷达传感器和所述第二雷达传感器的多个第二方向，将所述第一传感器数据的第一部分和所述第二传感器数据的第二部分与二维网格相关联作为第二多个投影数据；至少部分地基于所述第二多个投影数据的子集来确定多个第二熵值；以及将所述多个第二熵值中的一第二熵值确定为熵。
C:段落A或B的系统，其中，所述多个方向包括所述第一雷达传感器和所述第二雷达传感器在顺时针旋转，逆时针旋转和中性旋转中的每个方向上的组合集。
D:段落A至C中任一项的系统，其中，所述指令在被一个或多个处理器执行时，还使系统执行包括以下步骤的操作：基于所述多个投影数据，确定多个概率分布，其中，确定所述熵至少部分地基于所述多个概率分布。
E:段落A至D中任一项的系统，其中，所述指令在被一个或多个处理器执行时，还使系统执行包括以下步骤的操作：确定所述第一传感器数据的第一部分表示第一固定数据；以及确定所述第二传感器数据的第二部分表示第二固定数据。
F:一种方法，包括：接收由第一传感器捕获的第一传感器数据；接收由第二传感器捕获的第二传感器数据；至少部分地基于所述第一传感器和所述第二传感器的多个姿态，将所述第一传感器数据和所述第二传感器数据与网格相关联作为多个投影数据；至少部分地基于所述多个投影数据来确定熵；至少部分地基于所述熵来确定与所述第一传感器相关联的第一校准数据；至少部分地基于所述熵来确定与所述第二传感器相关联的第二校准数据；至少部分地基于所述第一校准数据来校准所述第一传感器；以及至少部分地基于所述第二校准数据来校准所述第二传感器。
G:段落F的方法，其中，所述多个姿态包括在一个或多个维度上的姿态变换的组合集。
H:段落G的方法，其中：所述网格是二维网格；所述姿态变换的组合集包括偏航旋转；所述第一传感器是具有第一视场的第一雷达传感器；所述第二传感器是具有第二视场的第二雷达传感器；以及所述第一视场至少与所述第二视场部分重叠。
I:段落F至H中任一项的方法，其中，所述多个投影数据是至少部分基于第一搜索精度的第一多个投影数据，并且其中，所述熵是第一熵值，所述方法还包括：确定所述第一熵值达到或超过阈值熵值；选择与第二网格相关联的第二搜索精度；至少部分地基于所述第二搜索精度和所述第一传感器和第二传感器的多个第二姿态，将所述第一传感器数据和所述第二传感器数据与第二网格相关联作为第二多个投影数据；以及确定与所述第二多个投影数据相关的第二熵值作为熵。
J:段落I的方法，其中，所述第一搜索精度的第一单元尺寸不同于所述第二搜索精度的第二单元尺寸，并且进一步，其中，所述第一多个姿态与所述第二多个姿态不同。
K:段落F至J中任一项的方法，其中，确定所述熵包括确定所述多个投影数据的子集的香农熵。
L:段落F至K中任一项的方法，其中，基本上同时确定所述多个投影数据。
M:段落F至L中任一项的方法，还包括：至少部分地基于所述第一校准数据，接收由所述第一传感器捕获的第一校准的传感器数据；至少部分地基于所述第二校准数据，接收由所述第二传感器捕获的第二校准的传感器数据；至少部分地基于第一校准的传感器数据和第二校准的传感器数据，生成自动驾驶车辆要跟随的轨迹；以及使所述自动驾驶车辆跟随所述轨迹。
N:段落F至M中任一项的方法，其中，所述第一传感器和所述第二传感器对应于单个物理传感器，以及此外，其中，所述第一传感器数据包括在第一时间从所述单个物理传感器获取的数据，所述第二传感器数据包括在第二时间从所述单个物理传感器获取的数据。
O:段落F至N中任一项的方法，其中，至少一部分所述第一传感器数据和一部分所述第二传感器数据对应于环境的相同部分。
P:一种非暂时性计算机可读介质，其存储指令，该指令在被执行时使一个或多个处理器执行以下操作，包括：接收由第一传感器捕获的第一传感器数据；接收第二传感器捕获的第二传感器数据；至少部分地基于所述第一传感器和所述第二传感器的多个姿态，将所述第一传感器数据和所述第二传感器数据与网格关联作为多个投影数据；至少部分地基于所述多个投影数据来确定熵；至少部分地基于所述熵来确定与所述第一传感器相关联的第一校准数据；至少部分地基于所述熵来确定与所述第二传感器相关联的第二校准数据；至少部分地基于所述第一校准数据来校准所述第一传感器；以及至少部分地基于所述第二校准数据来校准所述第二传感器。
Q:段落P的非暂时性计算机可读介质，其中，所述多个姿态包括至少一个维度上的姿态变换的组合集
R:段落P或Q的非暂时性计算机可读介质，其中，所述网格包括多个单元，所述操作还包括：确定所述熵达到或超过阈值；更改搜索精度；至少基于所述搜索精度，确定第二多个姿态；至少部分地基于第二多个姿态，将所述第一传感器数据和所述第二传感器数据与所述网格相关联作为第二多个投影数据；确定与所述第二多个投影数据相关的多个第二熵值；以及将所述多个第二熵值中的一第二熵值确定为熵。
S:段落P至R中任一项的非暂时性计算机可读介质，所述操作还包括：至少部分地基于所述第一校准数据，接收由所述第一传感器捕获的第一校准的传感器数据；至少部分地基于所述第二校准数据，接收由所述第二传感器捕获的第二校准的传感器数据；至少部分地基于所述第一校准的传感器数据和所述第二校准的传感器数据，生成自动驾驶车辆要跟随的轨迹；以及使所述自动驾驶车辆跟随所述轨迹。
T:段落P至S中任一项的非暂时性计算机可读介质，其中确定所述熵包括确定与所述多个投影数据的至少一部分相关联的香农熵。
尽管针对一个特定实现描述了上述示例条款，但应理解，在本文档的上下文中，示例条款的内容也可以通过方法，设备，系统和/或计算机可读介质来实现。
结论
尽管已经描述了本文描述的技术的一个或多个示例，但是其各种改变，添加，置换和等同物都包括在本文描述的技术的范围内。
在示例的描述中，参考形成其一部分的附图，其通过说明的方式示出了所要求保护的主题的特定示例。应该理解，可以使用其他示例，并且可以进行诸如结构改变的改变或替换。这样的示例，改变或变更不一定相对于预期的所要求保护的主题偏离范围。尽管本文中的步骤可以按一定顺序呈现，但在某些情况下，可以更改顺序，以便在不更改所述系统和方法功能的情况下，可以在不同时间或以不同顺序提供某些输入。所公开的过程也可以以不同的顺序执行。另外，这里不需要以所公开的顺序执行各种计算，并且可以容易地实现使用计算的替代顺序的其他示例。除了重新排序外，这些计算还可以分解为具有相同结果的子计算。

Claims (15)

1.一种系统，包括：
一个或多个处理器；以及
一个或多个计算机可读介质，其存储可由所述一个或多个处理器执行的指令，其中，所述指令使所述系统执行以下操作，包括：
接收第一雷达传感器捕获的第一传感器数据；
接收第二雷达传感器捕获的第二传感器数据；
至少部分地基于所述第一雷达传感器和所述第二雷达传感器的多个方向，以二维网格投影所述第一传感器数据的第一部分和所述第二传感器数据的第二部分作为多个投影数据；
至少部分地基于所述多个投影数据，确定熵；
至少部分地基于所述熵，确定与所述第一传感器相关联的第一校准角度；
至少部分地基于所述熵，确定与所述第二传感器相关联的第二校准角度；
至少部分地基于所述第一校准角度，将所述第一雷达传感器校准作为校准的第一雷达传感器；以及
至少部分地基于所述第二校准角度，将所述第二雷达传感器校准作为校准的第二雷达传感器。
2.根据权利要求1所述的系统，其中，确定所述熵包括：
至少部分地基于所述多个投影数据的子集，确定多个第一熵值；
确定所述多个第一熵值中的一第一熵值达到或超过阈值；
降低搜索精度；
至少部分地基于所述搜索精度和所述第一雷达传感器和所述第二雷达传感器的多个第二方向，将所述第一传感器数据的第一部分和所述第二传感器数据的第二部分与所述二维网格相关联，作为第二多个投影数据；
至少部分地基于所述第二多个投影数据的子集，确定多个第二熵值；以及
将所述多个第二熵值中的一第二熵值确定为所述熵。
3.根据权利要求1或2所述的系统，其中，所述多个方向包括所述第一雷达传感器和所述第二雷达传感器在顺时针旋转、逆时针旋转和中性旋转中的每个上的方向的组合集。
4.根据权利要求1或2所述的系统，其中，所述操作还包括：
基于所述多个投影数据，确定多个概率分布，
其中，确定所述熵至少部分地基于所述多个概率分布。
5.根据权利要求1或2所述的系统，其中，所述操作还包括：
确定所述第一传感器数据的所述第一部分表示第一固定数据；
确定所述第二传感器数据的所述第二部分表示第二固定数据；
至少部分地基于所述校准的第一雷达传感器和所述校准的第二雷达传感器，生成轨迹以控制自动驾驶车辆；以及
控制所述自动驾驶车辆跟随所述轨迹。
6.一种方法，包括：
接收由第一传感器捕获的第一传感器数据；
接收由第二传感器捕获的第二传感器数据；
至少部分地基于所述第一传感器和所述第二传感器的多个姿态，将所述第一传感器数据和所述第二传感器数据与网格相关联作为多个投影数据；
至少部分地基于所述多个投影数据，确定熵；
至少部分地基于所述熵，确定与所述第一传感器相关联的第一校准数据；
至少部分地基于所述熵，确定与所述第二传感器相关联的第二校准数据；
至少部分地基于所述第一校准数据，校准所述第一传感器；以及
至少部分地基于所述第二校准数据，校准所述第二传感器。
7.根据权利要求6所述的方法，其中，所述多个姿态包括在一个或多个维度上的姿态变换的组合集。
8.根据权利要求7所述的方法，其中：
所述网格是二维网格；
所述姿态变换的组合集包括偏航旋转；
所述第一传感器是具有第一视场的第一雷达传感器；
所述第二传感器是具有第二视场的第二雷达传感器；以及
所述第一视场至少与所述第二视场部分重叠。
9.根据权利要求6至8中任一项所述的方法，其中，确定所述熵包括确定所述多个投影数据的子集的香农熵。
10.根据权利要求6至8中任一项所述的方法，其中，所述第一传感器和所述第二传感器在自动驾驶车辆上，所述方法还包括：
至少部分地基于所述第一校准数据，接收由所述第一传感器捕获的第一校准的传感器数据；
至少部分地基于所述第二校准数据，接收由所述第二传感器捕获的第二校准的传感器数据；
至少部分地基于所述第一校准的传感器数据和所述第二校准的传感器数据，生成所述自动驾驶车辆要跟随的轨迹；以及
使所述自动驾驶车辆跟随所述轨迹。
11.根据权利要求6至8中任一项所述的方法，其中，所述第一传感器和所述第二传感器对应于单个物理传感器，以及
而且，其中，所述第一传感器数据包括在第一时间从所述单个物理传感器获取的数据，以及所述第二传感器数据包括在第二时间从所述单个物理传感器获取的数据。
12.根据权利要求6至8中任一项所述的方法，其中，至少一部分所述第一传感器数据和一部分所述第二传感器数据对应于环境的相同部分。
13.根据权利要求6至8中任一项所述的方法，其中，所述多个投影数据为第一多个投影数据，所述方法还包括：
确定所述熵达到或超过阈值；
更改搜索精度；
至少基于所述搜索精度，确定第二多个姿态；
至少部分地基于所述第二多个姿态，将所述第一传感器数据和所述第二传感器数据与所述网格相关联，作为第二多个投影数据；
确定与所述第二多个投影数据相关联的多个第二熵值；以及
将所述多个第二熵值中的一第二熵值确定为所述熵。
14.根据权利要求13所述的方法，其中：
所述第一多个投影数据与第一搜索精度和第一单元尺寸相关联；
所述第二多个投影数据与第二搜索精度和不同于所述第一单元尺寸的第二单元尺寸相关联；以及
所述第一多个姿态与所述第二多个姿态不同。
15.一种包括编码指令的计算机程序产品，当所述编码指令在计算机上运行时，实现根据权利要求6至8中任一项所述的方法。
CN201980020771.8A 2018-03-21 2019-03-15 传感器校准 Active CN111936825B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/927,291 US10830871B2 (en) 2018-03-21 2018-03-21 Sensor calibration
US15/927,291 2018-03-21
PCT/US2019/022561 WO2019182909A1 (en) 2018-03-21 2019-03-15 Sensor calibration

Publications (2)

Publication Number Publication Date
CN111936825A true CN111936825A (zh) 2020-11-13
CN111936825B CN111936825B (zh) 2023-09-08

Family

ID=65952213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980020771.8A Active CN111936825B (zh) 2018-03-21 2019-03-15 传感器校准

Country Status (5)

Country Link
US (2) US10830871B2 (zh)
EP (1) EP3769108A1 (zh)
JP (1) JP7308855B2 (zh)
CN (1) CN111936825B (zh)
WO (1) WO2019182909A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837385A (zh) * 2021-09-06 2021-12-24 东软睿驰汽车技术（沈阳）有限公司 一种数据处理方法、装置、设备、介质及产品
CN114323104A (zh) * 2021-12-23 2022-04-12 沈阳环境科学研究院 一种车辆环境检测传感器在线校准系统
CN114881168A (zh) * 2022-05-25 2022-08-09 北京市生态环境监测中心 光离子化检测仪校准方法、系统、电子设备以及存储介质
WO2022227885A1 (zh) * 2021-04-28 2022-11-03 北京航迹科技有限公司 激光雷达的标定、扫描方法、装置、电子设备及存储介质
CN116576905A (zh) * 2023-07-13 2023-08-11 深圳天溯计量检测股份有限公司 一种温湿度传感器的批量自动校准装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017210112A1 (de) * 2017-06-16 2018-12-20 Robert Bosch Gmbh Verfahren und System zur Durchführung einer Kalibrierung eines Sensors
US10830871B2 (en) 2018-03-21 2020-11-10 Zoox, Inc. Sensor calibration
DE102018205322A1 (de) * 2018-04-10 2019-10-10 Audi Ag Verfahren und Steuervorrichtung zum Erkennen einer Fehlfunktion zumindest eines Umfeldsensors eines Kraftfahrzeugs
WO2020006533A1 (en) 2018-06-28 2020-01-02 Upamanyu Madhow Robust radar-centric perception system
USD922889S1 (en) * 2018-06-29 2021-06-22 Zoox, Inc. Sensor housing
US11391825B2 (en) * 2019-07-02 2022-07-19 Waymo Llc Sensor calibration parameter sensitivity analysis
US11393127B2 (en) * 2019-09-13 2022-07-19 Toyota Research Institute, Inc. 2D to 3D line-based registration with unknown associations
CN110967040B (zh) * 2019-12-17 2021-11-23 北京经纬恒润科技股份有限公司 一种传感器水平偏差角度的识别方法及系统
US11402468B2 (en) * 2019-12-30 2022-08-02 Woven Planet North America, Inc. Systems and methods for blind online calibration of radar systems on a vehicle
US11360197B2 (en) * 2020-01-07 2022-06-14 Luminar, Llc Calibration of sensor systems
DE102020202679A1 (de) * 2020-03-03 2021-09-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Kalibrieren eines Sensorsystems eines beweglichen Objekts
US11619708B2 (en) 2020-07-28 2023-04-04 Trackman A/S System and method for inter-sensor calibration
CN112255621B (zh) * 2020-10-09 2022-08-30 中国第一汽车股份有限公司 一种车辆传感器的标定方法、装置、电子设备及存储介质
EP4116873A1 (en) * 2021-07-09 2023-01-11 Aptiv Technologies Limited Occupancy grid calibration
US20240098245A1 (en) * 2022-05-09 2024-03-21 Zoox, Inc. Sensor calibration validation
US20240070915A1 (en) * 2022-08-23 2024-02-29 Motional Ad Llc Maintaining intrinsic calibration of cameras with in-body image stabilization systems

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609953A (zh) * 2010-12-02 2012-07-25 通用汽车环球科技运作有限责任公司 摄影机和距离传感器数据的多物体外观增强融合
US20140195138A1 (en) * 2010-11-15 2014-07-10 Image Sensing Systems, Inc. Roadway sensing systems
US20140240690A1 (en) * 2011-09-30 2014-08-28 The Chancellor Masters And Scholars Of The University Of Oxford Determining extrinsic calibration parameters for a sensor
CN105678076A (zh) * 2016-01-07 2016-06-15 福州华鹰重工机械有限公司 点云测量数据质量评估优化的方法及装置
CN105738915A (zh) * 2016-01-07 2016-07-06 福州华鹰重工机械有限公司 三维雷达测量方法及装置
US20160209846A1 (en) * 2015-01-19 2016-07-21 The Regents Of The University Of Michigan Visual Localization Within LIDAR Maps
CN106662638A (zh) * 2014-08-15 2017-05-10 罗伯特·博世有限公司 汽车雷达对准

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7966301B2 (en) 2003-05-09 2011-06-21 Planeteye Company Ulc System and method for employing a grid index for location and precision encoding
JP5055169B2 (ja) * 2008-03-05 2012-10-24 本田技研工業株式会社 車両用走行安全装置
CN102221688B (zh) * 2011-03-24 2013-04-24 中国船舶重工集团公司第七○九研究所 一种雷达系统误差估计方法
US9157743B2 (en) 2012-07-18 2015-10-13 Honeywell International Inc. Systems and methods for correlating reduced evidence grids
JP6168784B2 (ja) * 2013-02-08 2017-07-26 古河電気工業株式会社 周辺監視システム及び周辺監視システムの軸ずれ検知方法
CA2970985C (en) * 2014-12-18 2021-10-12 Innerspace Technology Inc. Wayfinding system for interior spaces using an auto-generated navigational map
WO2016100816A1 (en) 2014-12-19 2016-06-23 United Technologies Corporation Sensor data fusion for prognostics and health monitoring
US9599706B2 (en) 2015-04-06 2017-03-21 GM Global Technology Operations LLC Fusion method for cross traffic application using radars and camera
US10705184B2 (en) * 2016-02-29 2020-07-07 Hitachi, Ltd. Sensor calibration system
JP6239664B2 (ja) 2016-03-16 2017-11-29 株式会社デンソーアイティーラボラトリ 周辺環境推定装置及び周辺環境推定方法
JP6747038B2 (ja) * 2016-04-27 2020-08-26 富士通株式会社 情報処理装置、キャリブレーション方法、およびキャリブレーションプログラム
US11024044B2 (en) 2016-09-26 2021-06-01 Digitalglobe, Inc. Techniques for image co-registration
US10775489B2 (en) 2016-12-15 2020-09-15 Texas Instruments Incorporated Maximum measurable velocity in frequency modulated continuous wave (FMCW) radar
CN106960468B (zh) * 2017-04-12 2019-07-09 武汉理工大学 一种三维激光扫描点云精度评价方法
US10884103B2 (en) 2017-04-17 2021-01-05 Magna Electronics Inc. Calibration system for vehicle radar system
US10551493B2 (en) 2017-08-18 2020-02-04 GM Global Technology Operations LLC Widely spaced radar nodes with unambiguous beam pattern
US10830871B2 (en) 2018-03-21 2020-11-10 Zoox, Inc. Sensor calibration

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140195138A1 (en) * 2010-11-15 2014-07-10 Image Sensing Systems, Inc. Roadway sensing systems
CN102609953A (zh) * 2010-12-02 2012-07-25 通用汽车环球科技运作有限责任公司 摄影机和距离传感器数据的多物体外观增强融合
US20140240690A1 (en) * 2011-09-30 2014-08-28 The Chancellor Masters And Scholars Of The University Of Oxford Determining extrinsic calibration parameters for a sensor
CN106662638A (zh) * 2014-08-15 2017-05-10 罗伯特·博世有限公司 汽车雷达对准
US20160209846A1 (en) * 2015-01-19 2016-07-21 The Regents Of The University Of Michigan Visual Localization Within LIDAR Maps
CN105678076A (zh) * 2016-01-07 2016-06-15 福州华鹰重工机械有限公司 点云测量数据质量评估优化的方法及装置
CN105738915A (zh) * 2016-01-07 2016-07-06 福州华鹰重工机械有限公司 三维雷达测量方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022227885A1 (zh) * 2021-04-28 2022-11-03 北京航迹科技有限公司 激光雷达的标定、扫描方法、装置、电子设备及存储介质
CN113837385A (zh) * 2021-09-06 2021-12-24 东软睿驰汽车技术（沈阳）有限公司 一种数据处理方法、装置、设备、介质及产品
CN113837385B (zh) * 2021-09-06 2024-02-09 东软睿驰汽车技术（沈阳）有限公司 一种数据处理方法、装置、设备、介质及产品
CN114323104A (zh) * 2021-12-23 2022-04-12 沈阳环境科学研究院 一种车辆环境检测传感器在线校准系统
CN114881168A (zh) * 2022-05-25 2022-08-09 北京市生态环境监测中心 光离子化检测仪校准方法、系统、电子设备以及存储介质
CN116576905A (zh) * 2023-07-13 2023-08-11 深圳天溯计量检测股份有限公司 一种温湿度传感器的批量自动校准装置
CN116576905B (zh) * 2023-07-13 2023-09-29 深圳天溯计量检测股份有限公司 一种温湿度传感器的批量自动校准装置

Also Published As

Publication number Publication date
CN111936825B (zh) 2023-09-08
US20210055380A1 (en) 2021-02-25
US10830871B2 (en) 2020-11-10
US11656329B2 (en) 2023-05-23
EP3769108A1 (en) 2021-01-27
US20190293756A1 (en) 2019-09-26
WO2019182909A1 (en) 2019-09-26
JP2021518553A (ja) 2021-08-02
JP7308855B2 (ja) 2023-07-14

Similar Documents

Publication Publication Date Title
JP7308855B2 (ja) センサー較正
US11195282B2 (en) Data segmentation using masks
US10916035B1 (en) Camera calibration using dense depth maps
US11748909B2 (en) Image-based depth data and localization
US11458912B2 (en) Sensor validation using semantic segmentation information
US11898873B2 (en) Calibrating multiple inertial measurement units
US11555903B1 (en) Sensor calibration using dense depth maps
US11460568B2 (en) Estimating in-plane velocity from an arbitrary radar return
US11623494B1 (en) Sensor calibration and verification using induced motion
US10972638B1 (en) Glare correction in sensors
CN114555446A (zh) 复杂地面轮廓估计
WO2023043638A1 (en) Associating image data and depth data for depth determination
US11680824B1 (en) Inertial measurement unit fault detection
US20220179089A1 (en) Determining depth using multiple modulation frequencies
CN113544538A (zh) 使用速度和位置信息识别雷达反射
US11954877B2 (en) Depth dependent pixel filtering
US11861857B2 (en) Determining pixels beyond nominal maximum sensor depth
CN117545674A (zh) 用于识别路缘的技术
US20240098245A1 (en) Sensor calibration validation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant