CN116136414A - 传感器定位 - Google Patents

传感器定位 Download PDF

Info

Publication number
CN116136414A
CN116136414A CN202211379226.8A CN202211379226A CN116136414A CN 116136414 A CN116136414 A CN 116136414A CN 202211379226 A CN202211379226 A CN 202211379226A CN 116136414 A CN116136414 A CN 116136414A
Authority
CN
China
Prior art keywords
point cloud
data
lidar
sensor
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211379226.8A
Other languages
English (en)
Inventor
马修·贝尔·威尔姆斯
高拉夫·潘迪
D·帕里克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN116136414A publication Critical patent/CN116136414A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3407—Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/127—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163—Decentralised systems, e.g. inter-vehicle communication involving continuous checking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供“传感器定位”。可以基于由传感器获取的第一激光雷达点云中所包括的第一数据点来确定与姿态不变表面模型性质相对应的第一特征点。可以基于所述第一激光雷达点云中所包括的第一数据点来确定三维占用网格。可以基于所述占用网格来确定由所述传感器获取的第二激光雷达点云中的动态对象。可以基于所述第二激光雷达点云中所包括的第二数据点不包括所述动态对象来确定与姿态不变表面模型性质相对应的第二特征点。可以确定所述第一特征点和所述第二特征点中所包括的对应特征点之间的差异。可以基于所述差异超过阈值来警告交通基础设施系统。

Description

传感器定位
技术领域
本公开涉及车辆中的传感器系统。
背景技术
数据可以由传感器获取并使用计算机来处理以确定关于系统周围环境中的对象的数据。感测系统的操作可以包括获取关于系统环境中的对象的准确且及时的数据。计算机可以从一个或多个传感器获取数据，所述数据可以被处理以确定对象的位置。计算机可以使用从数据中提取的对象位置数据来操作系统，包括车辆、机器人、安全性和对象跟踪系统。
发明内容
根据本发明，提供了一种计算机，其具有：处理器；以及存储器，所述存储器包括指令，所述指令可由所述处理器执行以：基于由传感器获取的第一激光雷达点云中所包括的第一点云数据中所包括的第一数据点来确定与姿态不变表面模型性质相对应的第一特征点；基于所述第一数据点来确定三维占用网格；基于所述三维占用网格来确定由所述传感器获取的第二激光雷达点云中所包括的第二点云数据中的动态对象；基于所述第二点云数据中所包括的第二数据点不包括所述动态对象来确定与所述姿态不变表面模型性质相对应的第二特征点；基于所述第一特征点和所述第二特征点中所包括的对应特征点来确定差异；以及基于所述差异的量值超过阈值来警告交通基础设施系统。
根据实施例，所述指令包括用于基于第二计算机基于确定由所述传感器获取的第三点云数据中所包括的对象来确定车辆路径而操作车辆的其他指令。
根据实施例，操作所述车辆是基于所述第二计算机控制车辆动力传动系统、车辆转向和车辆制动器。
根据实施例，所述指令包括用于利用固定激光雷达传感器获取所述第一激光雷达点云和所述第二激光雷达点云的其他指令。
根据实施例，所述第一特征点存储在所述存储器中并与基于多个第二激光雷达点云确定的多个第二特征点进行比较。
根据实施例，所述指令包括用于基于对一个或多个激光雷达点云求平均来确定所述第一特征点的其他指令。
根据实施例，所述指令包括用于对所述第一点云数据进行滤波以移除不具有比最小距离更近的最小数量的邻居的第一数据点的其他指令。
根据实施例，所述指令包括用于确定所述第一点云数据中的M个第一数据点的表面法向量的其他指令。
根据实施例，所述指令包括用于通过基于所述表面法向量确定所述M个第一数据点中的每一者的快速点特征直方图来确定所述第一特征点的其他指令。
根据实施例，所述指令包括用于基于所述三维占用网格通过从所述第二点云数据中删除不对应于来自所述三维占用网格的被占用网格单元的数据点来确定所述第二点云数据中的所述动态对象的其他指令。
根据实施例，所述指令包括用于通过确定所述第一特征点与所述第二特征点之间的均值卡方距离来确定所述第一特征点与所述第二特征点中所包括的所述对应特征点之间的所述差异的其他指令。
根据实施例，所述阈值基于经验数据进行用户确定。
根据本发明，一种方法包括：基于由传感器获取的第一激光雷达点云中所包括的第一点云数据中所包括的第一数据点来确定与姿态不变表面模型性质相对应的第一特征点；基于所述第一数据点来确定三维占用网格；基于所述三维占用网格来确定由所述传感器获取的第二激光雷达点云中所包括的第二点云数据中的动态对象；基于所述第二点云数据中所包括的第二数据点不包括所述动态对象来确定与所述姿态不变表面模型性质相对应的第二特征点；确定所述第一特征点和所述第二特征点中所包括的对应特征点之间的差异；以及基于所述差异的量值超过阈值来警告交通基础设施系统。
在本发明的一个方面中，所述方法包括基于第二计算机基于确定由所述传感器获取的第三点云数据中所包括的对象来确定车辆路径而操作车辆。
在本发明的一个方面中，操作所述车辆是基于所述第二计算机控制车辆动力传动系统、车辆转向和车辆制动器。
在本发明的一个方面中，所述方法包括利用固定激光雷达传感器获取所述第一激光雷达点云和所述第二激光雷达点云。
在本发明的一个方面中，所述第一特征点存储在存储器中并与基于多个第二激光雷达点云确定的多个第二特征点进行比较。
在本发明的一个方面中，所述方法包括基于对一个或多个激光雷达点云求平均来确定所述第一特征点。
在本发明的一个方面中，所述方法包括对所述第一点云数据进行滤波以移除不具有比最小距离更近的最小数量的邻居的第一数据点。
在本发明的一个方面中，所述方法包括确定所述第一点云数据中的M个第一数据点的表面法向量。
附图说明
图1是示例性交通基础设施系统的框图。
图2是示例性交通场景的图式。
图3是交通场景的示例性激光雷达点云的图式。
图4是交通场景的示例性激光雷达点云的图式。
图5是包括动态对象的交通场景的示例性激光雷达点云的图式。
图6是包括激光雷达点云与背景地图之间的匹配数据点的示例性激光雷达点云的图式。
图7是特征点差异的示例性图形的图式。
图8是用于定位固定传感器的示例性第一阶段过程的流程图。
图9是用于定位固定传感器的示例性第二阶段过程的流程图。
图10是用于使用定位的固定传感器来操作车辆的示例性过程的流程图。
具体实施方式
感测系统可以获取关于系统周围的环境的数据，例如激光雷达点云数据，并且处理所述数据以确定对象的身份和/或位置。例如，可以训练且然后使用深度神经网络(DNN)来确定由系统中的传感器获取的激光雷达点云数据中的对象，所述系统包括车辆引导、机器人操作、安全性、制造和产品跟踪。车辆引导可以包括车辆在包括多个对象的环境中在自主或半自主模式下操作。机器人引导可以包括引导机器人末端执行器(例如夹持器)来拾取零件并对零件进行取向以在包括多个零件的环境中进行组装。安全系统包括其中计算机从观察安全区域的相机获取视频数据以向授权用户提供访问权限并检测包括多个用户的环境中的未经授权进入的特征。在制造系统中，DNN可以确定包括多个零件的环境中的一个或多个零件的位置和取向。在产品跟踪系统中，深度神经网络可以确定包括多个包裹的环境中的一个或多个包裹的位置和取向。
车辆引导在本文中将被描述为使用计算机来检测交通场景中的对象(例如，车辆和行人)并基于检测到的对象确定用于操作车辆的车辆路径的非限制性示例。交通场景是交通基础设施系统或车辆周围的环境，其可以包括一条或多条道路的一部分以及包括车辆和行人的一个或多个对象等。例如，交通基础设施系统中的计算装置可以被编程为从交通基础设施系统中所包括的一个或多个传感器获取一个或多个激光雷达点云、检测激光雷达点云中的对象并传送识别对象的标签以及对象的位置。传感器可以包括发射能量并返回距环境中的能量反射表面的距离的激光雷达传感器、雷达传感器和超声传感器。传感器可以是固定的，并且可以安装在杆、建筑物或其他结构上，以向传感器提供包括交通场景中的对象的交通场景的视图。
在一些示例中，交通基础设施系统中所包括的固定传感器可以获取交通场景的一个或多个激光雷达点云，并将激光雷达点云数据传送到交通基础设施系统中所包括的计算装置。交通基础设施系统中所包括的计算装置可以是服务器计算机，因为它存储数据并通过网络连接将数据传送到其他计算装置。服务器计算机可以处理所获取的激光雷达点云数据，并且基于关于固定传感器的姿态的数据来确定对象在全局坐标中的位置。服务器计算机可以将关于全局坐标中的对象位置的数据传送到车辆中的计算装置。全局坐标是相对于使用指定两个或三个维度(诸如经度、纬度和海拔)的坐标的真实世界坐标系定义的真实世界位置。位置在x、y和z正交坐标轴中指定。取向被指定为分别围绕x、y和z轴的侧倾、俯仰和横摆旋转。位置和取向一起以六自由度(DoF)测量固定传感器的姿态。因此，姿态是相对于真实世界全局坐标系定义的固定传感器的位置和取向。在一些示例中，服务器计算机可以将所获取的激光雷达点云和传感器的姿态传送到另一个计算装置，例如车辆中的计算装置，并且车辆中的计算装置可以确定激光雷达点云数据中的对象在全局坐标中的位置。
固定传感器数据的准确度可以取决于关于固定传感器的姿态的准确数据。例如，交通基础设施系统和车辆可以使用固定传感器数据来确定诸如车辆和行人的对象在全局坐标中的位置。确定固定传感器数据中的对象的准确位置可以取决于具有关于固定传感器的姿态的准确数据。可以通过获取固定传感器数据并确定固定传感器数据中诸如道路和建筑物的对象的位置来确定固定传感器的姿态。对象在全局坐标中的位置可以在真实世界中测量并用于确定固定传感器的姿态。基准标记是可以在固定传感器数据和真实世界坐标中容易且准确地定位的限定对象和/或对象上的标记。一个或多个基准标记可以位于固定传感器的视野中，以使用投影几何计算来确定固定传感器的姿态，所述投影几何计算使用固有传感器参数将传感器数据中的位置(例如，像素位置)变换到真实世界坐标上。固有传感器参数可以包括镜头焦距比数、镜头光轴和镜头光学中心等。基于确定真实世界对象的位置来确定固定传感器在全局坐标中的姿态在本文中被称为定位。
本文讨论的技术通过检测固定传感器的姿态的变化来提高用于向交通基础设施计算机和车辆计算机提供准确的固定激光雷达传感器数据的能力。本文讨论的技术从由固定激光雷达传感器获取的激光雷达点云中所包括的点云数据中提取第一组特征点，并将第一组特征点存储在服务器计算机中所包括的存储器中。然后可以从随后由固定激光雷达传感器获取的第二激光雷达点云中提取第二组特征点。将第一组特征点和第二组特征点进行比较以确定第一激光雷达点云和第二激光雷达点云中的对应特征点的差异，以确定在获取第一激光雷达点云和第二激光雷达点云的时间之间固定激光雷达传感器的姿态是否已经改变。如果基于将第一特征点与第二特征点之间的差异与基于经验数据确定的阈值进行比较来确定固定激光雷达传感器的姿态已经改变，则可以通知包括固定激光雷达传感器的交通基础设施系统中的计算机。
在通知固定激光雷达传感器数据的变化时，交通基础设施系统可以采取可以包括忽略来自固定激光雷达的数据以及通过定位传感器来确定固定激光雷达传感器的新姿态的动作。本文讨论的技术通过在固定传感器首次部署并且交通基础设施系统离线时确定并存储第一组特征来改进对固定传感器的姿态变化的确定。然后，可以将快速匹配算法应用于这两组特征，由此减少在交通基础设施系统在线时确定稍后的固定传感器姿态的变化所需的时间和计算资源。在线是指交通基础设施系统中的计算机与不在交通基础设施系统中的计算机通信(例如，获取并处理要传送到车辆的传感器数据)的时间；离线是交通基础设施系统不进行此类通信的时间。本文讨论的技术充分减少了确定固定激光雷达传感器姿态的变化所需的时间和计算资源，使得针对姿态变化可以检查由固定激光雷达传感器获取的每个激光雷达点云，由此提高固定激光雷达传感器数据的可靠性和准确性。
本文公开了一种方法，所述方法包括：基于由传感器获取的第一激光雷达点云中所包括的第一点云数据中所包括的第一数据点来确定与姿态不变表面模型性质相对应的第一特征点；基于所述第一数据点来确定三维占用网格；以及基于所述三维占用网格来确定由所述传感器获取的第二激光雷达点云中所包括的第二点云数据中的动态对象。可以基于所述第二点云数据中所包括的第二数据点不包括所述动态对象来确定与所述姿态不变表面模型性质相对应的第二特征点。可以基于所述第一特征点和所述第二特征点中所包括的对应特征点来确定差异，并且可以基于所述差异的量值超过阈值来警告交通基础设施系统。可以基于第二计算机基于确定由所述传感器获取的第三点云数据中所包括的对象来确定车辆路径而操作车辆。可以基于所述第二计算机控制车辆动力传动系统、车辆转向和车辆制动器来操作所述车辆。
可以利用固定激光雷达传感器获取所述第一激光雷达点云和所述第二激光雷达点云。所述第一特征点可以存储在所述存储器中并与基于多个第二激光雷达点云确定的多个第二特征点进行比较。可以基于对一个或多个激光雷达点云求平均来确定所述第一特征点。可以对所述第一点云数据进行滤波以移除不具有比最小距离更近的最小数量的邻居的第一数据点。可以确定所述第一点云数据中的M个第一数据点的表面法向量。可以通过基于所述表面法向量确定所述M个第一数据点中的每一者的快速点特征直方图来确定所述第一特征点。可以基于所述三维占用网格通过从所述第二点云数据中删除不对应于来自所述三维占用网格的被占用网格单元的数据点来确定所述第二点云数据中的所述动态对象。可以通过确定所述第一特征点与所述第二特征点之间的均值卡方距离来确定所述第一特征点与所述第二特征点中所包括的所述对应特征点之间的所述差异。所述阈值可以基于经验数据进行用户确定。可以基于所述差异的量值超过阈值来确定所述传感器已经移动。传感器可以是交通基础设施系统中所包括的固定激光雷达传感器。
还公开了一种计算机可读介质，所述计算机可读介质存储用于执行上述方法步骤中的部分或全部的程序指令。本文进一步公开了一种被编程用于执行上述方法步骤中的部分或全部的计算机，所述计算机包括计算机设备，所述计算机设备被编程为：基于由传感器获取的第一激光雷达点云中所包括的第一点云数据中所包括的第一数据点来确定与姿态不变表面模型性质相对应的第一特征点；基于所述第一数据点来确定三维占用网格；以及基于所述三维占用网格来确定由所述传感器获取的第二激光雷达点云中所包括的第二点云数据中的动态对象。可以基于所述第二点云数据中所包括的第二数据点不包括所述动态对象来确定与所述姿态不变表面模型性质相对应的第二特征点。可以基于所述第一特征点和所述第二特征点中所包括的对应特征点来确定差异，并且可以基于所述差异的量值超过阈值来警告交通基础设施系统。可以基于第二计算机基于确定由所述传感器获取的第三点云数据中所包括的对象来确定车辆路径而操作车辆。可以基于所述第二计算机控制车辆动力传动系统、车辆转向和车辆制动器来操作所述车辆。
所述指令可以包括用于利用固定激光雷达传感器获取所述第一激光雷达点云和所述第二激光雷达点云的其他指令。所述第一特征点可以存储在所述存储器中并与基于多个第二激光雷达点云确定的多个第二特征点进行比较。可以基于对一个或多个激光雷达点云求平均来确定所述第一特征点。可以对所述第一点云数据进行滤波以移除不具有比最小距离更近的最小数量的邻居的第一数据点。可以确定所述第一点云数据中的M个第一数据点的表面法向量。可以通过基于所述表面法向量确定所述M个第一数据点中的每一者的快速点特征直方图来确定所述第一特征点。可以基于所述三维占用网格通过从所述第二点云数据中删除不对应于来自所述三维占用网格的被占用网格单元的数据点来确定所述第二点云数据中的所述动态对象。可以通过确定所述第一特征点与所述第二特征点之间的均值卡方距离来确定所述第一特征点与所述第二特征点中所包括的所述对应特征点之间的所述差异。所述阈值可以基于经验数据进行用户确定。可以基于所述差异的量值超过阈值来定位所述传感器。传感器可以是交通基础设施系统中所包括的固定激光雷达传感器。
图1是可以包括交通基础设施系统105的感测系统100的图式，所述交通基础设施系统包括服务器计算机120和传感器122。感测系统100包括车辆110，所述车辆可在自主(“自主”本身在本公开中意指“完全自主”)模式、半自主模式和乘员驾驶(也被称为非自主)模式下操作。一个或多个车辆110的计算装置115可从传感器116接收关于车辆110的操作的数据。计算装置115可以自主模式、半自主模式或非自主模式操作车辆110。
计算装置115包括诸如已知的处理器和存储器。另外，存储器包括一种或多种形式的计算机可读介质，并且存储指令，所述指令可由处理器执行来执行包括如本文所公开的各种操作。例如，计算装置115可以包括编程以操作车辆制动、推进(例如，通过控制内燃发动机、电动马达、混合动力发动机等中的一者或多者来控制车辆110的加速度)、转向、气候控制、内部灯和/或外部灯等中的一者或多者，以及确定计算装置115(而不是人类操作员)是否以及何时控制此类操作。
计算装置115可以包括多于一个计算装置(例如，包括在车辆110中以用于监测和/或控制各种车辆部件的控制器等等(例如，动力传动系统控制器112、制动控制器113、转向控制器114等))，或例如经由如下文进一步所描述的车辆通信总线通信地耦合到所述多于一个计算装置。计算装置115通常被布置用于通过车辆通信网络(例如，包括车辆110中的总线，诸如控制器局域网(CAN)等)通信；另外地或可选地，车辆110网络可以包括诸如已知的有线或无线通信机制，例如以太网或其他通信协议。
计算装置115可经由车辆网络向车辆中的各种装置(例如，控制器、致动器、传感器(包括传感器116)等)传输消息和/或从所述各种装置接收消息。可替代地或另外地，在计算装置115实际上包括多个装置的情况下，可使用车辆通信网络来用于在本公开中表示为计算装置115的装置之间的通信。另外，如下文所提及，各种控制器或感测元件(诸如传感器116)可经由车辆通信网络向计算装置115提供数据。
另外，计算装置115可被配置用于通过车辆对基础设施(V2I)接口111经由网络130与远程服务器计算机120(诸如云服务器)通信，如下所描述的，所述接口包括硬件、固件和软件，所述硬件、固件和软件准许计算装置115经由诸如无线互联网
Figure BDA0003927981250000101
或蜂窝网络的网络130与远程服务器计算机120通信。因此，V2I接口111可以包括被配置为利用各种有线和/或无线联网技术(例如，蜂窝、/>
Figure BDA0003927981250000102
以及有线和/或无线分组网络)的处理器、存储器、收发器等。计算装置115可被配置用于使用例如在邻近车辆110之间在移动自组网的基础上形成或通过基于基础设施的网络形成的车辆对车辆(V2V)网络(例如根据专用短程通信(DSRC)和/或类似的通信)通过V2I接口111与其他车辆110通信。计算装置115还包括诸如已知的非易失性存储器。计算装置115可以通过将数据存储在非易失性存储器中来记录数据，以便以后检索并经由车辆通信网络和车辆对基础设施(V2I)接口111传输到服务器计算机120或用户移动装置160。
如已经提及的，通常包括在存储在存储器中并可由计算装置115的处理器执行的指令中的是用于在没有人类操作员干预的情况下操作一个或多个车辆110部件(例如，制动、转向、推进等)的编程。使用在计算装置115中接收的数据(例如，来自传感器116的传感器数据、服务器计算机120等的数据)，计算装置115可在没有驾驶员的情况下进行各种确定和/或控制各种车辆110部件和/或操作以操作车辆110。例如，计算装置115可包括编程以调节车辆110操作行为(即，车辆110操作的物理表现)，诸如速度、加速度、减速度、转向等，以及策略性行为(即，通常以意图实现路线的有效的穿越的方式控制操作行为)，诸如车辆之间的距离和/或车辆之间的时间量、车道改变、车辆之间的最小间隙、左转跨过路径最小值、到特定位置处的到达时间以及从到达到穿过交叉路口的交叉路口(无信号灯)最短时间。
如本文所使用的术语控制器包括通常被编程来监测和/或控制特定车辆子系统的计算装置。示例包括动力传动系统控制器112、制动控制器113和转向控制器114。控制器可为诸如已知的电子控制单元(ECU)，可能包括如本文所描述的附加的编程。控制器可通信地连接到计算装置115并且从所述计算装置接收指令以根据指令来致动子系统。例如，制动控制器113可从计算装置115接收指令以操作车辆110的制动器。
用于车辆110的一个或多个控制器112、113、114可包括已知的电子控制单元(ECU)等，作为非限制性示例，包括一个或多个动力传动系统控制器112、一个或多个制动控制器113和一个或多个转向控制器114。控制器112、113、114中的每一个可包括相应的处理器和存储器以及一个或多个致动器。控制器112、113、114可被编程并且连接到车辆110通信总线，诸如控制器局域网(CAN)总线或局域互连网(LIN)总线，以从计算装置115接收指令并且基于指令而控制致动器。
传感器116可以包括已知的多种装置，以经由车辆通信总线提供数据。例如，固定到车辆110的前保险杠(未示出)的雷达可提供从车辆110到车辆110前方的下一车辆的距离，或者设置在车辆110中的全球定位系统(GPS)传感器可提供车辆110的地理坐标。例如，由雷达和/或其他传感器116提供的距离和/或由GPS传感器提供的地理坐标可由计算装置115用来自主或半自主地操作车辆110。
车辆110通常是能够自主和/或半自主操作并且具有三个或更多个车轮的基于地面的车辆110(例如，客车、轻型货车等)。车辆110包括一个或多个传感器116、V2I接口111、计算装置115和一个或多个控制器112、113、114。传感器116可以收集与车辆110和车辆110的操作环境相关的数据。作为举例而非限制，传感器116可包括例如测高仪、相机、激光雷达、雷达、超声波传感器、红外传感器、压力传感器、加速度计、陀螺仪、温度传感器、压力传感器、霍尔传感器、光学传感器、电压传感器、电流传感器、机械传感器(诸如开关)等。传感器116可用来感测车辆110操作所处的环境，例如，传感器116可检测诸如天气状况(降雨、外部环境温度等)的现象、道路坡度、道路位置(例如，使用道路边缘、车道标记等)或目标对象(诸如邻近车辆110)的位置。传感器116还可以用于收集数据，包括与车辆110的操作相关的动态车辆110数据，诸如速度、横摆率、转向角度、发动机转速、制动压力、油压、施加到车辆110中的控制器112、113、114的功率电平、在部件之间的连接性以及车辆110的部件的准确且及时的性能。
车辆可被配备成以自主模式和乘员驾驶模式两者操作。半自主模式或完全自主模式意指车辆可由作为具有传感器和控制器的系统的一部分的计算装置部分地或完全地驾驶的操作模式。车辆可能被占用或未被占用，但是在任一种情况下，都可在没有乘员协助的情况下部分地或完全地驾驶车辆。出于本公开的目的，自主模式被定义为车辆推进(例如，经由包括内燃发动机和/或电动马达的动力传动系统)、制动和转向中的每一个由一个或多个车辆计算机控制的模式；在半自主模式中，车辆计算机控制车辆推进、制动和转向中的一个或多个。在非自主模式下，这些都不由计算机控制。
图2是示例性交通场景200的图式。交通场景200包括在交叉路口206处相交的道路202、204以及支座210上的固定激光雷达传感器208。固定激光雷达传感器208可以是交通基础设施系统105中所包括的传感器122。在一些示例中，固定激光雷达传感器208可以是例如相机、雷达传感器或超声传感器。例如，支座210可以是交通信号杆、灯杆、专用杆、建筑物或现有结构，诸如桥梁、立交桥或标志杆。
图3是由与固定激光雷达传感器208位于相同的位置和取向处的相机获取的交通场景200的示例性相机图像300的图式。道路302、304和交叉路口306在相机图像300中是可见的。与道路302、304相邻的建筑物308在相机图像300中也是可见的。相机图像300被包括作为用于理解下面图4中所包括的激光雷达点云400的指南。
图4是包括由固定激光雷达传感器208从与图3中的相机图像300相同的位置和取向获取的交通场景200的点云数据402的示例性激光雷达点云400的图式。点云数据402包括与从激光雷达传感器208中的点到交通场景200中的表面的距离或范围相对应的数据点，而不是可见光图像中所包括的反射率数据。点云数据402包括与道路404、406和交叉路口408相对应的数据点。点云数据402中还包括与邻近道路404、406的建筑物410相对应的数据点。点云数据402由激光雷达传感器通过发射光辐射脉冲(通常在红外光谱中)并测量红外脉冲被交通场景200中的表面反射时的飞行时间来获取。激光雷达传感器还可以测量调制脉冲在交通场景200中的表面反射时的相位差。可以在交通场景200上扫描发射脉冲，并且记录发射脉冲相对于固定激光雷达传感器208的光轴的径向方向。激光雷达点云400中的像素x,y地址对应于激光雷达脉冲相对于固定激光雷达传感器208的光学中心的径向方向，并且像素值对应于从固定激光雷达传感器208的光学中心到交通场景200中反射激光雷达脉冲的表面的距离。3D点云是一组数据点，其中数据点是3D空间中的x,y,z位置。通过从特定角度和位置查看3D点云来形成激光雷达点云。
有利地，本文的技术通过检测与背景地图中所包括的数据点相对应的特征与和由固定激光雷达传感器208获取的第二激光雷达点云中所包括的数据点相对应的第二组特征之间的差异来定位激光雷达传感器。在这种背景下，定位意味着确定固定激光雷达传感器208的姿态相对于先前确定的姿态是否已经改变。背景地图数据点是与距交通场景200中的表面的距离相对应的数据点，所述数据点在由固定激光雷达传感器208获取的两组或更多组点云数据402中预期不会改变。例如，除非固定激光雷达传感器208的姿态改变或者被动态对象遮挡，否则与道路404、406、交叉路口408和建筑物410相对应的数据点预期不应被改变。动态对象是在第一激光雷达点云400或背景地图中移动或不出现的对象。
确定固定激光雷达传感器208的姿态的变化包括两个阶段。第一阶段包括获取激光雷达点云400或背景地图并确定与激光雷达点云400中所包括的数据点相对应的第一组特征。第二阶段包括获取第二激光雷达点云500、确定第二组特征并将第二组特征与第一组特征进行比较。在固定激光雷达传感器208已经被安装和校准以确定固定激光雷达传感器208的六DoF姿态之后但在固定激光雷达传感器208开始获取数据以在车辆110中使用之前，优选地在交通场景200包括诸如车辆或行人的任何动态对象之前，离线地(例如，在设置期间)执行确定第一组特征。如果动态对象包括在由固定激光雷达传感器208获取的激光雷达点云400中，则它们可以使用确定动态对象的技术来移除，并且可以从激光雷达点云400中移除动态对象。可以通过获取多个激光雷达点云400并确定在多个激光雷达点云400上改变值的数据点来确定动态对象。与背景数据点相对应的数据点在激光雷达点云400与激光雷达点云400之间不改变值，而与动态对象相对应的数据点将改变值。在多个激光雷达点云400上不改变值的数据点被保留为背景地图中的背景数据点，并且可以消除改变值的数据点。可以基于单个激光雷达点云400或求平均以减少像素噪声的多个激光雷达点云400来确定背景地图。在本文讨论的技术的第一阶段处获取的激光雷达点云400被称为背景地图。
在确定固定激光雷达传感器208姿态的变化的第一阶段的第一步骤中，通过对点云数据进行滤波以移除不包括密集数据点集群的数据点来预处理背景地图。密集数据点集群是全部具有比最小距离更近的最小数量的邻居的一组数据点。例如，可以处理背景地图以移除在如以全局坐标测量的原始数据点的0.5米内不具有至少五个附加数据点的任何数据点。预处理点云数据402生成仅包括密集数据点集群的点云数据402。仅包括密集数据点集群的点云数据402允许为点云数据402中的每个数据点构建表面法向量。针对剩余M个数据点中的每一者，基于基于周围数据点生成平面表面并基于M个数据点中的每一者的平面表面来构建表面法向量来构建表面，其中所述表面法向量被取向为指向固定激光雷达传感器208，例如，表面法向量向上指向天空而不是地面。例如，路面上的表面法向量都指向天空。
在第二步骤中，针对M个数据点中的每一者和表面法向量计算33维快速点特征直方图(FPFH)。FPFH是一种用于点云数据402表示的技术，其提供可靠的配准结果。FPFH基于表面法向量(包括三维方向)以及表面法向量的三个维度与周围数据点的表面法向量的三个维度的角变化的比较，基于M个数据点的33个不同度量来确定33个区间的直方图。在该示例中，使用33个区间；然而，可以有利地使用更多或更少的区间。例如，M个数据点具有数据点pi的三维邻域，其具有表面法线ni。三维邻域的达布uvw坐标系被定义为u＝ni,v＝(pi–pj)X u,w＝u X v。ni和nj(i≠j)的角度变化α、
Figure BDA0003927981250000161
和θ可以基于邻域中的每对数据点的u、v和w的值而确定为：
Figure BDA0003927981250000162
例如，基于点周围的邻域中的角度变化的度量来确定具有33个区间的直方图提供了可以用于确定两个激光雷达点云400、500中的对应数据点的姿态不变特征。例如，在R.B.Rusu、N.Blodow和M.Beetz在2009年5月发表于2009届IEEE机器人与自动化国际会议第3212页至第3217页的“Fast Point Feature Histograms(FPFH)for 3D registration(用于3D配准的快速点特征直方图(FPFH))”中讨论了对FPFH的确定。
在第三步骤中，基于背景地图来确定占用网格。与由点云数据402占用的3D体积相对应的矩形三维(3D)空间被划分为与连续的0.005m3立方体相对应的体素(体积像素)。在该示例中，使用0.005m3立方体，然而可以有利地使用更大或更小的立方体。如果每个立方体不包括点云数据402中所包括的M个数据点中的一者，则立方体的值被设定为“0”，而如果体素包括M个数据点中的一者，则所述值被设定为“1”。然后将包括M个33维FPFH向量和占用网格的背景地图存储在交通基础设施系统105中所包括的服务器计算机120中。
图5是在交通基础设施系统105的操作期间由固定激光雷达传感器208获取的第二激光雷达点云500的图式。在交通基础设施系统105的操作期间，固定激光雷达传感器208可以获取包括交通场景的点云数据502的激光雷达点云500。第二激光雷达点云500包括与道路504、506、交叉路口508和建筑物510相对应的数据点。第二激光雷达点云400还包括与对象512(在该示例中为车辆)相对应的数据点，以及与对象512在点云数据502上投射的阴影514相对应的缺失数据。激光雷达点云500可以由交通基础设施系统105中所包括的服务器计算机120或车辆110中所包括的计算装置115来处理，以确定激光雷达点云500中所包括的对象512的全局坐标位置。确定由固定激光雷达传感器208获取的激光雷达点云500中所包括的对象512的全局坐标位置可以取决于关于固定激光雷达传感器208的六DoF姿态的数据。本文描述的技术可以通过检测固定激光雷达传感器208的六DoF姿态的变化来改进关于固定激光雷达传感器208的六DoF姿态的数据。本文描述的技术足够快并且使用足够少的计算资源来允许它们在激光雷达点云500被获取时周期性地执行，例如每五秒执行一次。可以在获取激光雷达点云500时执行本文描述的技术，由此在固定激光雷达传感器208操作时连续地提供关于固定激光雷达传感器208定位的数据。
在确定固定激光雷达传感器208姿态的变化的第二阶段的第一步骤处，固定激光雷达传感器208获取包括点云数据502的第二激光雷达点云500。如上关于图4所述对点云数据502进行预处理，以移除不包括在密集数据点集群中的数据点。在预处理之后，使用基于在上面关于图3讨论的第一阶段处获取的第一激光雷达点云400生成的占用网格来对第二激光雷达点云500进行滤波。从第二激光雷达点云500中删除来自不对应于占用网格中的被占用网格单元的第二激光雷达点云400的数据点。通过这种方式对第二激光雷达点云500进行滤波将移除与对象512相对应的数据点。如上面所解释的，占用网格是具有与来自背景地图的数据点相对应的条目的三维阵列。动态对象将在背景地图中未被占用的三维位置处生成数据点。与动态对象相对应的数据点将不会出现在占用网格中，并且因此将被消除。通过这种方式对第二激光雷达点云500进行滤波将产生包含N个数据点的数据，其中N小于或等于M。
在数据点滤波之后，然后如上文关于图4所述处理N个数据点，其中为N个数据点中的每一者生成表面法向量，并且针对N个数据点中的每一者和表面法向量计算33维FPFH向量。N个数据点的33维向量产生N×33特征矩阵Lfeat。Lfeat的列被平均以形成均值FPFH向量LMFPFH。与LMFPFH的距离比用户确定的阈值δthresh更近的所有数据点都被丢弃，从而仅留下不同的特征。卡方距离χ2用于计算LMFPFH与Lfeat的每一行之间的距离，因为正在计算两个直方图之间的距离。根据以下等式计算卡方距离χ2＝D(MFPFH，Lfeat[i，：])：
Figure BDA0003927981250000181
注意，在其中LMFPFH[k]+Lfeat[i，k]＝0的情况下，χ2距离是未定义的。在这种情况下，在求和项中使用值0，因此它对距离没有影响。在等式(2)的计算之后，所得的点云
Figure BDA0003927981250000182
矩阵将具有n行，其中对于足够大的阈值，n≤N。来自第二点云/>
Figure BDA0003927981250000183
的对应数据点也将具有更少的点n。
可以通过快速全局配准来执行第一激光雷达点云与第二激光雷达点云之间的数据点匹配。快速全局配准用于确定来自第二激光雷达点云500的N个数据点与来自第一激光雷达点云500的M个数据点之间的配准。在找到来自第二激光雷达点云500的N个数据点与来自第一激光雷达点云的M个数据点之间的对应关系之后，使用互易性测试和元组测试来减少对应数据点的集合。快速全局配准在Q.-Y.Zhou、J.Park和V.Koltun发表于可在本申请的提交日获得的OPEN3D.org上的“Open3D:A Modern Library for 3D Data Processing(Open3D：用于3D数据处理的现代库)”中进行了讨论。尽管快速全局匹配提供了两组数据点之间的变换，但是在该示例中，我们仅对这两组数据点之间的对应关系感兴趣。对应关系是指确定来自第二激光雷达点云500中的N个数据点和来自第一激光雷达点云500的M个数据点的匹配的数据点对。
然后，使用快速全局匹配来匹配来自第二激光雷达点云500的数据点和特征向量(
Figure BDA0003927981250000184
和/>
Figure BDA0003927981250000185
)以及来自第一激光雷达点云400的数据点和特征向量(BMpc和BMfeat)。可以通过可在本申请的提交日从网站OPEN3D.org获得的3D图像处理程序的OPEN3D库中所包括的registration_fast_based_on_feature_matching程序来确定快速全局匹配。最大对应距离被设定为0.5m，元组比例被设定为0.99，启用阶段非凸性，并且迭代次数被设定为1,000。在该示例中使用对应距离、元组比例、阶段非凸性和迭代次数的这些值，然而可以有利地使用这些参数的其他值。快速全局配准程序的输出是索引C的c x 2阵列。第一列(C[:,0])包含来自/>
Figure BDA0003927981250000191
的索引，并且第二列(C[:,1])包含来自BMpc的作为最接近匹配的对应索引。使用这些索引，可以使用以下等式找到/>
Figure BDA0003927981250000192
的c对应特征：
Figure BDA0003927981250000193
结果将是c x 33特征矩阵。类似地，可以使用以下项找到BMpc的c对应特征：
Figure BDA0003927981250000194
BMc也将是c x 33矩阵。第j个对应关系对之间的χ2距离使用以下等式确定：
Figure BDA0003927981250000195
对成对距离求平均以产生这两组点云特征点之间的总体均值χ2距离。
图6是包括与从第二激光雷达点云500匹配的特征点BMc[j，：]和来自第一激光雷达点云400的特征点
Figure BDA0003927981250000196
相对应的数据点602的激光雷达点云600的图式。当由等式(5)计算的这两组点云特征点之间的均值χ2距离大于用户选择的阈值χthresh时，可以确定已经发生定位误差，并且交通基础设施系统105将被警告。阈值χthresh可以通过获取多个激光雷达点云400并在没有发生固定激光雷达传感器208的移动时计算每个激光雷达点云400的最大均值χ2距离来经验确定。应选择χthresh以在已确定固定激光雷达传感器208移动时指示定位误差，而在已经确定固定激光雷达传感器208未移动时不指示定位误差。
图7是绘制试验次数(x轴)对均值χ2距离(y轴)的图形700的图式。数据点702对应于来自多个第二激光雷达点云500的特征点
Figure BDA0003927981250000201
与来自第一激光雷达点云400的特征点BMc[j，：]之间的均值χ2距离。在该示例中，固定激光雷达传感器208的姿态在试验之间没有移动。例如，可以选择该固定激光雷达传感器208的χthresh值以指示所有测量的均值χ2距离对应于激光雷达传感器208的无移动，即，χthresh大于90。
在未指示定位误差的示例中，交通基础设施系统105中的固定传感器208可以继续获取激光雷达点云500。本文讨论的技术可以继续处理由固定传感器208获取的激光雷达点云500，如上面关于图5所讨论的，以确定可能的姿态误差。在本文讨论的技术指示姿态误差的示例中，可以向交通基础设施系统105警告固定激光雷达传感器208已经移动并且基于从固定激光雷达传感器208输出的数据确定的对象的位置可能不正确。交通基础设施系统105可以忽略来自固定激光雷达传感器208的后续激光雷达点云500输出，并且警告用户应当维修固定激光雷达传感器208以测量固定激光雷达传感器208的新六DoF姿态。在固定激光雷达传感器208被确定为已经移动的示例中，可以执行如上关于图3所讨论的第一阶段以获取新的第一激光雷达点云400，对其进行处理并将其存储在交通基础设施系统中所包括的存储器中以允许基于固定的激光雷达传感器208的新姿态来确定姿态变化。
图8是关于图1至图7描述的用于从交通基础设施系统105中的固定激光雷达传感器208的背景地图确定占用网格和FPFH特征的第一阶段过程的流程图的图式。过程800可以由服务器计算机120的处理器将由固定激光雷达传感器208获取的数据作为输入并执行命令并且输出关于固定传感器208的位置的数据来实施。过程800包括可以按所示次序执行的多个框。替代地或另外，过程800可以包括更少的框，或者可以包括以不同次序执行的框。
过程800开始于框802，其中交通基础设施系统105中所包括的服务器计算机120从传感器122获取数据。传感器122可以是固定激光雷达传感器208，并且数据可以是包括点云数据402的激光雷达点云400，在本文中称为背景地图。背景地图是在部署时(即，设置时)获取的，优选地是当固定激光雷达传感器208的视野中不包括动态对象时获取的。如果动态对象包括在背景地图中，则可以如上面关于图4所讨论的那样移除它们。
在框804处，交通基础设施系统105中所包括的服务器计算机120预处理背景地图中所包括的点云数据402，以移除未包括在密集数据点集群中的数据点，如上面关于图4所讨论的。
在框806处，服务器计算机120基于如上面关于图4所讨论的背景地图中所包括的密集数据点集群来确定占用网格。
在框808处，服务器计算机120基于如上面关于图4所讨论的背景地图中所包括的密集数据点集群来生成表面法向量。
在框810处，服务器计算机120为如上面关于图4所讨论的背景地图中所包括的3D数据点生成33维FPFH特征。
在框812处，服务器计算机120将背景地图中所包括的3D数据点的占用网格和33维FPFH特征存储在服务器计算机120中所包括的存储器中。在框812之后，过程800结束。
图9是关于图1至图8描述的用于定位交通基础设施系统105中的固定激光雷达传感器208的第二阶段过程的流程图的图式。过程900可以由服务器计算机120的处理器将由固定激光雷达传感器208获取的数据作为输入并执行命令并且输出关于固定传感器208的位置的数据来实施。过程900包括可以按所示次序执行的多个框。替代地或另外，过程900可以包括更少的框，或者可以包括以不同次序执行的框。
在框902处，交通基础设施系统105中所包括的服务器计算机120从传感器122获取数据。传感器122可以是固定激光雷达传感器208，并且数据可以是包括点云数据502的第二激光雷达点云500。可以在交通基础设施系统105的操作期间(即，当交通场景200包括动态对象时)获取第二激光雷达点云500。动态对象可以由服务器计算机120或车辆110中所包括的计算装置115定位在第二激光雷达点云500中。可以作为例如车辆或行人的动态对象的位置可以由计算装置115使用来确定在其上操作车辆110的车辆路径。为了提供动态对象在全局坐标中的准确位置，固定激光雷达传感器208的姿态应当相对于固定激光雷达传感器208在设置时的姿态保持不变。本文讨论的技术可以足够快速且有效地确定固定激光雷达传感器208的姿态变化，以便能够测试由固定激光雷达传感器208获取的每个激光雷达点云500。
在框904处，服务器计算机120可以从所获取的激光雷达点云500中移除动态对象。通过将所获取的激光雷达点云500中所包括的数据点与在过程800中来自框806并在上文关于图5进行讨论的基于背景地图确定的占用网格进行比较，从所获取的激光雷达点云500中移除动态对象。移除与动态对象相对应的数据点允许将在所获取的激光雷达点云500中确定的特征点与基于存储在服务器计算机120中所包括的存储器中的背景地图的特征点进行比较。
在框906处，服务器计算机120确定与密集数据点分组相对应的数据点，并确定每个数据点的表面法线，如上面关于图4和图5所讨论。
在框908处，服务器计算机120确定所获取的激光雷达点云500的数据点的FPFH特征，如上文关于图4和图5所讨论。
在框910处，服务器计算机120确定所获取的激光雷达点云500的FPFH特征与为背景地图存储的FPFH特征之间的均值χ2距离，如上文关于图5所讨论。
在框912处，将均值χ2距离与用户选择的阈值χthresh进行比较。如果均值χ2距离大于χthresh，则过程900转到框914以向交通基础设施系统105通知固定激光雷达传感器208已经移动。如果均值χ2距离小于或等于χthresh，则确定固定激光雷达传感器208的姿态不变，并且过程900结束。
在框914处，服务器计算机120向交通基础设施系统105通知固定激光雷达传感器208已经移动。在被通知固定激光雷达传感器208已经移动时，交通基础设施系统105可以忽略由固定激光雷达传感器208获取的激光雷达点云500，因为基于激光雷达点云500确定的任何动态对象的位置将是不可靠的。交通基础设施系统还可以向用户警告可以重新定位固定激光雷达传感器208以允许基于激光雷达点云500准确地确定动态对象位置。在框914之后，过程900结束。
图10是关于图1至图9描述的用于基于由交通基础设施系统105中所包括的固定激光雷达传感器208获取的激光雷达点云500数据操作车辆110的过程的流程图的图式。过程1000可以由车辆110中所包括的计算装置115的处理器将来自服务器计算机120的数据作为输入来实施。过程1000包括可以按所示次序执行的多个框。过程1000可以替代地或另外包括更少的框，或者可以包括以不同次序执行的框。
过程1000开始于框1002，其中车辆110中的计算装置115下载由服务器计算机120基于一个或多个激光雷达点云500确定的动态对象数据。除了从车辆110中所包括的传感器116获取的传感器数据之外，还可以使用下载的固定激光雷达传感器208数据。计算装置115可以假设基于从服务器计算机120下载的激光雷达点云500确定的动态对象数据包括准确的全局坐标数据，因为服务器计算机120已经通过如上文关于图4、图5、图8和图9所讨论的将基于所获取的激光雷达点云500确定的特征与基于背景地图确定的特征进行比较来确认固定激光雷达传感器的姿态尚未改变。
在框1004处，计算装置115基于激光雷达点云500确定车辆路径。例如，服务器计算机120可以基于激光雷达点云500通过将激光雷达点云500输入到经过训练的深度神经网络来确定动态对象数据。车辆路径是多项式函数，其包括当车辆沿着车辆路径行驶时要施加到车辆运动的最大和最小横向加速度和纵向加速度。例如，车辆路径可以被确定为避免与动态对象接触，所述动态对象包括其他车辆和行人。
在框1006处，计算装置115将命令输出到控制器112、113、114以控制车辆动力传动系统、车辆转向和车辆制动器以控制车辆运动以沿着在框1004处确定的车辆路径来操作车辆110。在框1006之后，过程1000结束。
诸如本文讨论的那些的计算装置通常各自包括命令，所述命令可由诸如上文所识别的那些的一个或多个计算装置执行并且用于实施上文描述的过程的框或步骤。例如，上文论述的过程框可体现为计算机可执行命令。
计算机可执行命令可由使用各种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术包括但不限于以下的单一形式或组合形式：JavaTM、C、C++、Python、Julia、SCALA、Visual Basic、Java Script、Perl、HTML等。通常，处理器(例如，微处理器)接收例如来自存储器、计算机可读介质等的命令，并且执行这些命令，从而执行包括本文所描述的过程中的一者或多者的一个或多个过程。此类命令和其他数据可存储在文件中并且使用多种计算机可读介质来传输。计算装置中的文件通常是存储在诸如存储介质、随机存取存储器等计算机可读介质上的数据的集合。
计算机可读介质(也称为处理器可读介质)包括参与提供可以由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。此类介质可采用许多形式，包括但不限于非易失性介质和易失性介质。指令可通过一种或多种传输介质来传输，所述一种或多种传输介质包括光纤、线、无线通信，包括构成耦合到计算机的处理器的系统总线的内部件。常见形式的计算机可读介质包括例如RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或盒式磁带、或计算机可从中读取的任何其他介质。
除非本文作出相反的明确指示，否则权利要求中使用的所有术语意在给出如本领域技术人员所理解的普通和通常的含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一者或多者。
术语“示例性”在本文中以表示示例的意义使用，例如，对“示例性小部件”的引用应被解读为仅指代小部件的示例。
修饰值或结果的副词“大约”意味着形状、结构、测量值、值、确定、计算等可能因材料、机加工、制造、传感器测量、计算、处理时间、通信时间等的缺陷而与确切描述的几何结构、距离、测量值、值、确定、计算等有偏差。
在附图中，相同的附图标记指示相同的元素。另外，可改变这些要素中的一些或全部。相对于本文描述的介质、过程、系统、方法等，应理解，尽管此类过程等的步骤或框已被描述为根据特定的有序顺序发生，但是此类过程可通过以本文描述的次序以外的次序执行所描述的步骤来实践。还应理解，可同时执行某些步骤，可添加其他步骤，或者可省略本文描述的某些步骤。换句话说，本文对过程的描述是出于说明某些实施例的目的而提供的，并且决不应解释为限制所要求保护的发明。

Claims (15)

1.一种方法，其包括：
基于由传感器获取的第一激光雷达点云中所包括的第一点云数据中所包括的第一数据点来确定与姿态不变表面模型性质相对应的第一特征点；
基于所述第一数据点来确定三维占用网格；
基于所述三维占用网格来确定由所述传感器获取的第二激光雷达点云中所包括的第二点云数据中的动态对象；
基于所述第二点云数据中所包括的第二数据点不包括所述动态对象来确定与所述姿态不变表面模型性质相对应的第二特征点；
基于所述第一特征点和所述第二特征点中所包括的对应特征点来确定差异；以及
基于所述差异的量值超过阈值来警告交通基础设施系统。
2.根据权利要求1所述的方法，其还包括基于第二计算机基于确定由所述传感器获取的第三点云数据中所包括的对象来确定车辆路径而操作车辆。
3.根据权利要求2所述的方法，其中操作所述车辆是基于所述第二计算机控制车辆动力传动系统、车辆转向和车辆制动器。
4.根据权利要求1所述的方法，其还包括利用固定激光雷达传感器获取所述第一激光雷达点云和所述第二激光雷达点云。
5.根据权利要求1所述的方法，其中所述第一特征点存储在所述存储器中并与基于多个第二激光雷达点云确定的多个第二特征点进行比较。
6.根据权利要求1所述的方法，其还包括基于对一个或多个激光雷达点云求平均来确定所述第一特征点。
7.根据权利要求1所述的方法，其还包括对所述第一点云数据进行滤波以移除不具有比最小距离更近的最小数量的邻居的第一数据点。
8.根据权利要求1所述的方法，其还包括确定所述第一点云数据中的M个第一数据点的表面法向量。
9.根据权利要求8所述的方法，其还包括通过基于所述表面法向量确定所述M个第一数据点中的每一者的快速点特征直方图来确定所述第一特征点。
10.根据权利要求1所述的方法，其还包括基于所述三维占用网格通过从所述第二点云数据中删除不对应于来自所述三维占用网格的被占用网格单元的数据点来确定所述第二点云数据中的所述动态对象。
11.根据权利要求1所述的方法，其还包括通过确定所述第一特征点与所述第二特征点之间的均值卡方距离来确定所述第一特征点与所述第二特征点中所包括的所述对应特征点之间的所述差异。
12.根据权利要求1所述的方法，其中所述阈值基于经验数据进行用户确定。
13.根据权利要求1所述的方法，其还包括基于所述差异的量值超过阈值来定位所述传感器。
14.根据权利要求1所述的方法，其中所述传感器是所述交通基础设施系统中所包括的固定激光雷达传感器。
15.一种系统，其包括被编程为执行权利要求1-14中任一项所述的方法的计算机。
CN202211379226.8A 2021-11-17 2022-11-04 传感器定位 Pending CN116136414A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/528,563 US12046132B2 (en) 2021-11-17 2021-11-17 Sensor localization
US17/528,563 2021-11-17

Publications (1)

Publication Number Publication Date
CN116136414A true CN116136414A (zh) 2023-05-19

Family

ID=86144193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211379226.8A Pending CN116136414A (zh) 2021-11-17 2022-11-04 传感器定位

Country Status (3)

Country Link
US (1) US12046132B2 (zh)
CN (1) CN116136414A (zh)
DE (1) DE102022130224A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9052721B1 (en) 2012-08-28 2015-06-09 Google Inc. Method for correcting alignment of vehicle mounted laser scans with an elevation map for obstacle detection
US10955857B2 (en) * 2018-10-02 2021-03-23 Ford Global Technologies, Llc Stationary camera localization
US11016175B2 (en) * 2018-10-10 2021-05-25 Ford Global Technologies, Llc Transportation infrastructure communication and control
CN109375228B (zh) 2018-10-31 2020-07-24 歌尔股份有限公司 激光雷达的异常帧点云数据的确定方法、处理方法及装置
US11543535B2 (en) * 2019-07-03 2023-01-03 Uatc, Llc Lidar fault detection system

Also Published As

Publication number Publication date
US20230154313A1 (en) 2023-05-18
DE102022130224A1 (de) 2023-05-17
US12046132B2 (en) 2024-07-23

Similar Documents

Publication Publication Date Title
US10853670B2 (en) Road surface characterization using pose observations of adjacent vehicles
US11783707B2 (en) Vehicle path planning
US10739459B2 (en) LIDAR localization
US10955857B2 (en) Stationary camera localization
US20200049511A1 (en) Sensor fusion
US20180120857A1 (en) Road sign recognition
US11042758B2 (en) Vehicle image generation
CN107798699A (zh) 用立体图像进行深度图估计
US20200020117A1 (en) Pose estimation
US11527012B2 (en) Vehicle pose determination
US20180203446A1 (en) Object tracking by unsupervised learning
US11138452B2 (en) Vehicle neural network training
US11087147B2 (en) Vehicle lane mapping
CN110858866A (zh) 前景检测
US20230282000A1 (en) Multi-object tracking
US20230237783A1 (en) Sensor fusion
US20230138084A1 (en) Sensor optimization
CN113296111A (zh) 车辆传感器融合
US20230136871A1 (en) Camera calibration
CN116580374A (zh) 车辆定位
US11887317B2 (en) Object trajectory forecasting
US11610412B2 (en) Vehicle neural network training
CN115640832A (zh) 对象姿态估计
US12046132B2 (en) Sensor localization
US20240094384A1 (en) Object detection using reflective surfaces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication