CN110537109B - 用于自主驾驶的感测组件 - Google Patents

用于自主驾驶的感测组件 Download PDF

Info

Publication number
CN110537109B
CN110537109B CN201780089439.8A CN201780089439A CN110537109B CN 110537109 B CN110537109 B CN 110537109B CN 201780089439 A CN201780089439 A CN 201780089439A CN 110537109 B CN110537109 B CN 110537109B
Authority
CN
China
Prior art keywords
vehicle
lidar
lidar units
subset
units
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780089439.8A
Other languages
English (en)
Other versions
CN110537109A (zh
Inventor
李威
马陆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN110537109A publication Critical patent/CN110537109A/zh
Application granted granted Critical
Publication of CN110537109B publication Critical patent/CN110537109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G01S13/426—Scanning radar, e.g. 3D radar
    • G01S13/428—Scanning radar, e.g. 3D radar within the pulse scanning systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G01S7/403—Antenna boresight in azimuth, i.e. in the horizontal plane
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/40—Means for monitoring or calibrating
    • G01S7/4004—Means for monitoring or calibrating of parts of a radar system
    • G01S7/4026—Antenna boresight
    • G01S7/4034—Antenna boresight in elevation, i.e. in the vertical plane
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01Q—ANTENNAS, i.e. RADIO AERIALS
    • H01Q1/00—Details of, or arrangements associated with, antennas
    • H01Q1/27—Adaptation for use in or on movable bodies
    • H01Q1/32—Adaptation for use in or on road or rail vehicles
    • H01Q1/3208—Adaptation for use in or on road or rail vehicles characterised by the application wherein the antenna is used
    • H01Q1/3233—Adaptation for use in or on road or rail vehicles characterised by the application wherein the antenna is used particular used as part of a sensor or in a security system, e.g. for automotive radar, navigation systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93272—Sensor installation details in the back of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93273—Sensor installation details on the top of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93274—Sensor installation details on the side of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93275—Sensor installation details in the bumper area

Abstract

公开了一种用于载运工具的自主驾驶组件。该组件可以包括被配置为由载运工具本体支撑的多个激光雷达单元。激光雷达单元可以共同被配置为在驾驶组件耦接到载运工具本体时检测接近载运工具本体的外围区域，以辅助自主驾驶。

Description

用于自主驾驶的感测组件
背景技术
自主载运工具被设计在环境中进行感测和导航，而不需要控制人员进行指导。自主载运工具的示例包括能够在没有(或在最小)人为干预的情况下驾驶的“自动驾驶”汽车。自动驾驶系统可以检测载运工具的环境，并且允许使用多个传感器来自动导航载运工具。可以使用各种类型的传感器来产生能够控制和导航自主载运工具的位置和运动信息。例如，一些自主驾驶系统利用各种传感器(例如，Velodyne 64线激光雷达)来实现环境检测。
然而，用于载运工具自主引航的当前感测系统可能不太理想。诸如Velodyne 64线激光雷达之类的当前感测系统成本高昂，并且可能没有内置冗余。例如，这样的系统可能不能确定使用哪些传感器，特别是当一个或多个传感器在不同环境条件下失灵或产生不精确的数据时。当载运工具在某些类型的环境内进行自引航时，当前感测系统的有限能力可能降低其有用性，并且可能构成自主载运工具的安全性问题。
发明内容
存在对改进的自主驾驶系统的需求。优选地，自主驾驶系统可以(1)实现360度的无缝环境感测，(2)提供冗余、可靠和稳定的环境感测数据，和/或(3)实现简单快速的传感器校准和实时校准验证。在一些情况下，自主驾驶系统可以被配置为选择在各种驾驶和/或环境条件下使用哪些传感器和/或数据。
本公开解决了这种需要，并且还提供了相关优点。例如，本文描述的实施例可以增强用于诸如汽车之类的载运工具的自主驾驶系统的灵活性和精确性。特别地，所公开的方法和系统可以改进载运工具的操作安全性，并且使这些载运工具能够以安全的方式进行自引航。
本发明的一个方面涉及一种用于载运工具的自主驾驶组件，所述组件包括：多个激光雷达单元，被配置为由载运工具本体支撑，所述激光雷达单元共同被配置为在所述驾驶组件耦接到所述载运工具本体时检测接近所述载运工具本体的外围区域，以辅助自主驾驶，其中，所述多个激光雷达单元中的每一个激光雷达单元具有小于约180度的视场。
在一些实施例中，所述多个激光雷达单元包括：第一激光雷达单元子集，包括相对于彼此具有固定布局的至少两个激光雷达单元；以及，第二激光雷达单元子集，包括相对于彼此具有固定布局的至少两个激光雷达单元。在一些实施例中，所述第一激光雷达单元子集和所述第二激光雷达单元子集支撑在所述载运工具本体的不同区域上，并且被配置为协同工作以检测所述区域或其一部分。在一些实施例中，可由所述多个激光雷达单元检测的区域围绕所述载运工具本体360度延伸。在一些实施例中，所述第一激光雷达单元子集由第一支撑结构支撑，并且所述第二激光雷达单元子集由与所述第一支撑结构分离的第二支撑结构支撑。在一些实施例中，所述多个激光雷达单元中的每一个激光雷达单元是单线激光雷达单元。在一些实施例中，所述多个激光雷达单元中的至少一个激光雷达单元是多线激光雷达单元。在一些实施例中，所述多个激光雷达单元不是多线单片激光雷达单元的一部分。
在一些实施例中，所述第一激光雷达单元子集包括沿第一方向光学对准的第一激光雷达单元和沿第二方向光学对准的第二激光雷达，其中所述第一方向与所述第二方向之间的角度为约50度或更少。在一些实施例中，所述多个激光雷达单元中的每一个激光雷达单元具有少于约90度的视场。在一些实施例中，所述多个激光雷达单元中的每一个激光雷达单元具有约60度的视场。在一些实施例中，所述多个激光雷达单元包括少于或等于约12个激光雷达单元。
在一些实施例中，所述第一激光雷达单元子集位于所述载运工具的第一角处，并且所述第二激光雷达单元子集位于所述载运工具的第二角处。在一些实施例中，所述第一角和所述第二角位于所述载运工具的相同侧上。在一些实施例中，所述第一角和所述第二角位于所述载运工具的不同侧上。在一些实施例中，所述第一角和所述第二角位于所述载运工具的相对侧上。在一些实施例中，所述第一角和所述第二角位于所述载运工具的相邻侧上。在一些实施例中，多个激光雷达单元还包括：第三激光雷达单元子集，包括由第三支撑结构支撑的至少两个激光雷达单元；以及，第四激光雷达单元子集，包括由第四支撑结构支撑的至少两个激光雷达单元。在一些实施例中，所述第三激光雷达单元子集位于所述载运工具的第三角处，并且所述第四激光雷达单元子集位于所述载运工具的第四角处。在一些实施例中，所述载运工具的所述第三角和所述第四角位于所述载运工具的所述第一角和所述第二角的相对侧。在一些实施例中，第一激光雷达单元子集可以主要取向为沿着从载运工具的第一角起始的第一对角线朝向外，第二激光雷达单元子集可以主要取向为沿着从载运工具的第二角起始的第二对角线朝向外，第三激光雷达单元子集可以主要取向为沿着从载运工具的第三角起始的第三对角线朝向外，并且第四激光雷达单元子集可以主要取向为沿着从载运工具的第四角起始的第四对角线朝向外。
在一些实施例中，所述第一激光雷达单元子集和所述第二激光雷达单元子集位于所述载运工具的相同侧或不同侧上。在一些实施例中，所述第一激光雷达单元子集位于所述载运工具的第一侧，并且所述第二激光雷达单元子集位于所述载运工具的第二侧。在一些实施例中，所述载运工具的所述第一侧和所述第二侧彼此相邻。在一些实施例中，所述载运工具的所述第一侧和所述第二侧彼此相对。在一些实施例中，多个激光雷达单元还包括：第三激光雷达单元子集，包括由第三支撑结构支撑的至少两个激光雷达单元；以及，第四激光雷达单元子集，包括由第四支撑结构支撑的至少两个激光雷达单元。在一些实施例中，所述第三激光雷达单元子集位于所述载运工具的第三侧，并且所述第四激光雷达单元子集位于所述载运工具的第四侧。在一些实施例中，所述第一侧、所述第二侧、所述第三侧和所述第四侧中的至少两个侧面位于所述载运工具的相对侧。在一些实施例中，所述第一侧、所述第二侧、所述第三侧和所述第四侧中的至少两个侧面位于所述载运工具的相邻侧。
在一些实施例中，所述第一激光雷达单元子集主要取向为背离所述载运工具的第一方向，所述第二激光雷达单元子集主要取向为背离所述载运工具的第二方向。在一些实施例中，多个激光雷达单元还包括：第三激光雷达单元子集，包括由第三支撑结构支撑的至少两个激光雷达单元；以及，第四激光雷达单元子集，包括由第四支撑结构支撑的至少两个激光雷达单元。在一些实施例中，所述第三激光雷达单元子集主要取向为背离所述载运工具的第三方向，所述第四激光雷达单元子集主要取向为背离所述载运工具的第四方向。在一些实施例中，所述第一方向、所述第二方向、所述第三方向和所述第四方向中的两个或更多个方向是彼此正交的。在一些实施例中，所述第一方向、所述第二方向、所述第三方向和所述第四方向中的两个或更多个方向是彼此平行的。在一些实施例中，所述第一方向、所述第二方向、所述第三方向和所述第四方向中的两个或更多个方向是彼此倾斜的。
在一些实施例中，所述第一激光雷达单元子集包括由所述第一支撑结构支撑的至少三个激光雷达单元。在一些实施例中，所述第一激光雷达单元子集中的所述至少三个激光雷达单元以增加所述激光雷达单元的相邻视场之间的重叠的方式布置。在一些实施例中，所述第二激光雷达单元子集包括由所述第二支撑结构支撑的至少三个激光雷达单元。在一些实施例中，所述第二激光雷达单元子集中的所述至少三个激光雷达单元以增加所述激光雷达单元的相邻视场之间的重叠的方式布置。在一些实施例中，所述第一激光雷达单元子集被配置为相对于所述第二激光雷达单元子集移动，以便调整其间的视场重叠。在一些实施例中，所述第一激光雷达单元子集和所述第二激光雷达单元子集被配置为相对于彼此移动，以便调整其间的视场重叠。在一些实施例中，所述第一激光雷达单元子集与所述第二激光雷达单元子集之间的视场重叠是实时可调的，以补偿所述载运工具操作时的盲点。在一些实施例中，在所述第一激光雷达单元子集与所述第二激光雷达单元子集之间存在至少70度的视场重叠。在一些实施例中，所述第一激光雷达单元子集包括至少160度的共同视场，并且所述第二激光雷达单元子集包括至少160度的共同视场。
在一些实施例中，所述第一激光雷达单元子集的共同视场是通过在所述载运工具操作时改变所述第一激光雷达单元子集中的至少一个激光雷达单元的位置而实时可调的。在一些实施例中，所述第二激光雷达单元子集的共同视场是通过在所述载运工具操作时改变所述第二激光雷达单元子集中的至少一个激光雷达单元的位置而实时可调的。在一些实施例中，所述第一激光雷达单元子集和所述第二激光雷达单元子集的共同视场是通过在所述载运工具操作时改变所述第一激光雷达单元子集和所述第二激光雷达单元子集中的至少一个激光雷达单元的位置而实时可调的。在一些实施例中，所述第一激光雷达单元子集和所述第二激光雷达单元子集的所述共同视场是通过改变所述第一激光雷达单元子集和所述第二激光雷达单元子集相对于彼此的位置而可调的。在一些实施例中，所述第一激光雷达单元子集和所述第二激光雷达单元子集的所述共同视场是通过改变所述第一激光雷达单元子集相对于所述第二激光雷达单元子集的位置而可调的。
在一些实施例中，所述第一激光雷达单元子集和所述第二激光雷达单元子集的所述共同视场与所述第一激光雷达单元子集和所述第二激光雷达单元子集的共同检测范围成反比。在一些实施例中，所述第一激光雷达单元子集和所述第二激光雷达单元子集的所述共同视场增加使得所述第一激光雷达单元子集和所述第二激光雷达单元子集的所述共同检测范围减少。在一些实施例中，所述第一激光雷达单元子集和所述第二激光雷达单元子集的所述共同视场是在所述载运工具操作时根据选择的所述共同视场的宽度、和/或根据选择的所述共同检测范围的距离而实时可调的。
在一些实施例中，所述第一激光雷达单元子集中的每个激光雷达单元固定地附接到所述第一支撑结构，并且所述第二激光雷达单元子集中的每个激光雷达单元固定地附接到所述第二支撑结构。在一些实施例中，所述第一激光雷达单元子集中的所述至少两个激光雷达单元被配置为在所述载运工具操作期间不相对于彼此移动，并且其中，所述第二激光雷达单元子集中的所述至少两个激光雷达单元被配置为在所述载运工具操作期间不相对于彼此移动。在一些实施例中，所述多个激光雷达单元中的每一个激光雷达单元被配置为在所述载运工具操作期间保持在相对于所述载运工具本体的固定位置处。在一些实施例中，所述第一激光雷达单元子集中的所述至少两个激光雷达单元之间的固定布局是借助于被配置为刚性地固定所述激光雷达单元的固定装置来维持的。
在一些实施例中，第一激光雷达单元子集中的至少两个激光雷达单元之间的固定布局是借助于载体来维持的。在一些实施例中，所述载体被配置为允许一个或多个自由度上的移动，以便维持所述第一激光雷达单元子集中的所述至少两个激光雷达单元之间的所述固定布局。在一些实施例中，所述载体是单轴云台或多轴云台。在一些实施例中，所述载体被配置为调整所述第一激光雷达单元子集中的所述两个激光雷达单元中的至少一个激光雷达单元的位置，以便维持所述至少两个激光雷达单元之间的所述固定布局。在一些实施例中，所述载体被配置为在所述载运工具操作期间实时调整所述两个激光雷达单元中的所述至少一个激光雷达单元的所述位置。在一些实施例中，第一激光雷达单元子集中的至少两个激光雷达单元之间的固定布局是借助于一个或多个连杆机构来维持的。在一些实施例中，连杆机构包括串联和/或并联连杆机构。在一些实施例中，第一激光雷达单元子集中的至少两个激光雷达单元之间的固定布局是借助于运动耦接装置来维持的。在一些实施例中，第一激光雷达单元子集中的至少两个激光雷达单元之间的固定布局是通过以刚性方式机械地耦接所述激光雷达单元来维持的。
在一些实施例中，所述多个激光雷达单元中的至少一个激光雷达单元被配置为在所述载运工具操作期间相对于所述载运工具本体移动。在一些实施例中，所述多个激光雷达单元中的至少一个激光雷达单元被配置为借助于载体相对于所述载运工具本体移动。在一些实施例中，第一激光雷达单元子集被配置为在所述载运工具操作时相对于第二激光雷达单元子集移动，以聚焦于所述区域的预定义部分上。在一些实施例中，第一激光雷达单元子集和第二激光雷达单元子集被配置为在所述载运工具操作时相对于彼此移动以聚焦于所述区域的预定义部分上。在一些实施例中，所述第一激光雷达单元子集和所述第二激光雷达单元子集被配置为借助于一个或多个载体相对于彼此移动。
在一些实施例中，所述区域的所述预定义部分具有与所述区域的其余部分不同的对象密度。在一些实施例中，所述区域的所述预定义部分具有比所述区域的其余部分更大的对象密度。
在一些实施例中，所述组件还包括：远程激光雷达单元，包括比所述多个激光雷达单元的共同视场更窄的视场。在一些实施例中，所述远程激光雷达的所述视场窄于第一激光雷达单元子集或第二激光雷达单元子集的共同视场。在一些实施例中，所述远程激光雷达的所述视场大于第一激光雷达单元子集或第二激光雷达单元子集的共同视场。在一些实施例中，所述远程激光雷达单元包括比所述多个激光雷达单元更大的射程范围。在一些实施例中，所述远程激光雷达单元具有面向所述载运工具的前部的主方向。
在一些实施例中，在利用第一激光雷达单元子集和/或第二激光雷达单元子集进行感测之前，所述第一激光雷达单元子集和/或所述第二激光雷达单元子集进行初始固有校准。在一些实施例中，所述第一子集内的所述激光雷达单元在所述载运工具操作期间不需要在线校准，并且所述第二子集内的所述激光雷达单元在所述载运工具操作期间不需要在线校准。在一些实施例中，所述第一激光雷达单元子集和所述第二激光雷达单元子集在所述载运工具操作期间相对于彼此进行在线校准。
本发明的附加方面涉及一种载运工具，包括如前所述的自主驾驶组件。在一些实施例中，载运工具是陆地载运工具。在一些实施例中，载运工具包括用于一个或多个乘客的空间。在一些实施例中，所述载运工具包括一个或多个附加传感器，所述附加传感器被配置为收集与所述载运工具周围的环境有关的信息。在一些实施例中，所述一个或多个附加传感器包括以下项中的一项或多项：视觉传感器、超声波传感器、GPS、或轮子里程计。在一些实施例中，所述一个或多个附加传感器包括毫米波雷达。在一些实施例中，来自所述一个或多个附加传感器的信息与来自所述多个激光雷达单元的信息组合，以辅助所述载运工具的自主操作。在一些实施例中，所述一个或多个附加传感器被校准到所述第一激光雷达单元子集或所述第二激光雷达单元子集中的至少一个。
本发明的另外的方面涉及一种收集载运工具周围的信息以用于自主驾驶的方法，所述方法包括：借助于载运工具本体支撑所述载运工具的自主驾驶组件的多个激光雷达单元，所述激光雷达单元共同被配置为在所述驾驶组件耦接到所述载运工具本体时检测接近所述载运工具本体的外围区域，以辅助自主驾驶，其中，所述多个激光雷达单元中的每一个激光雷达单元具有小于180度的视场。
在一些实施例中，所述多个激光雷达单元包括第一激光雷达单元子集和第二激光雷达单元子集，所述方法还包括：使用所述第一激光雷达单元子集获得数据，所述第一激光雷达单元子集包括相对于彼此具有固定布局的至少两个激光雷达单元，以及使用所述第二激光雷达单元子集获得数据，所述第二激光雷达单元子集包括相对于彼此具有固定布局的至少两个激光雷达单元，其中所述第一激光雷达单元子集和所述第二激光雷达单元子集支撑在所述载运工具本体的不同区域上，并且被配置为协同工作以检测所述区域或其一部分。
根据本发明的附加方面，提供了一种辅助载运工具自主操作的感测系统，所述感测系统包括：多个传感器，被配置为由载运工具本体支撑，其中所述多个传感器包括：(1)第一传感器集合，包括两种或更多种不同类型的传感器，所述传感器取向为向前方向并且被配置为检测所述载运工具前方的两个或更多个区域，以及(2)第二传感器集合，包括一种或多种类型的传感器，所述传感器取向为多个方向并且被配置为检测接近所述载运工具的或所述载运工具周围的一个或多个区域，其中，与接近所述载运工具的或所述载运工具周围的所述一个或多个区域中的每个区域的范围相比，所述载运工具前方的所述两个或更多个区域中的每个区域的范围更加延伸远离所述载运工具。
在一些实施例中，所述第一传感器集合被配置为在所述载运工具沿向前方向移动时取向为沿所述向前方向。在一些实施例中，所述第一传感器集合中的至少一个传感器被配置为基于所述载运工具的运动或预测的运动路径改变其取向。在一些实施例中，所述第一传感器集合中的至少一种类型的传感器被配置为：在所述载运工具改变其运动或预测的运动路径之前或之时，实时改变其取向，以抢先扫描障碍物。在一些实施例中，所述第一传感器集合中的所述至少一种类型的传感器被配置为通过基于所述载运工具的运动或预测的运动路径旋转预定量来改变其取向。在一些实施例中，所述第一传感器集合中的所述至少一种类型的传感器被配置为在所述载运工具向右改变其方向之前或之时顺时针旋转，以便检测所述载运工具的右前方的区域。在一些实施例中，所述第一传感器集合中的所述至少一种类型的传感器被配置为在所述载运工具向左改变其方向之前或之时逆时针旋转，以便检测所述载运工具的左前方的区域。在一些实施例中，基于所述载运工具的运动或预测的运动路径中的转向角度或弧长，调整所述第一传感器集合中的所述至少一种类型的传感器的旋转的角度。在一些实施例中，基于载运工具输入和/或所述载运工具所处的环境的地图来预测所述预测的运动路径。在一些实施例中，所述载运工具输入包括起点和目的地之间的行驶路线。在一些实施例中，所述载运工具输入包括激活所述载运工具的转向信号。在一些实施例中，所述载运工具输入包括所述载运工具的方向盘的旋转。在一些实施例中，所述载运工具输入包括所述载运工具的一个或多个驱动轮的方向的改变。
在一些实施例中，所述第一传感器集合中的所述两种或更多种不同类型的传感器选自由单目相机、远程激光雷达单元和毫米波长雷达单元组成的组。在一些实施例中，所述第一传感器集合还包括取向为向后方向的一种或多种不同类型的传感器。在一些实施例中，取向为所述向后方向的所述一种或多种类型的传感器选自所述由单目相机、远程激光雷达单元和毫米波长雷达单元组成的组。在一些实施例中，所述第一传感器集合包括取向为与所述向后方向不同的所述向前方向的更多类型的传感器。
在一些实施例中，所述前向单目相机被配置为具有比所述后向单目相机更高的成像分辨率。在一些实施例中，所述前向单目相机具有4K成像分辨率，并且所述后向单目相机具有1080p成像分辨率。
在一些实施例中，所述载运工具前方的所述两个或更多个区域彼此有重叠。在一些实施例中，所述载运工具前方的所述两个或更多个区域包括(1)选自所述第一传感器集合的第一类型的传感器可检测的第一区域以及(2)选自所述第一传感器集合的第二类型的传感器可检测的第二区域。在一些实施例中，所述第一可检测区域完全位于所述第二可检测区域内。在一些实施例中，所述第一可检测区域的一部分位于所述第二可检测区域内，并且所述第一可检测区域的另一部分位于所述第二可检测区域外。在一些实施例中，所述第一可检测区域和所述第二可检测区域具有不同的范围。在一些实施例中，所述第二可检测区域的范围大于所述第一可检测区域的范围。在一些实施例中，所述第一可检测区域的面积或体积由所述第一类型的传感器的扫描角度确定，所述第二可检测区域的面积或体积由所述第二类型的传感器的扫描角度确定。在一些实施例中，所述第一类型的传感器的所述扫描角度大于所述第二类型的传感器的所述扫描角度。在一些实施例中，所述第一类型的传感器的检测范围少于所述第二类型的传感器的检测范围。在一些实施例中，所述第一类型的传感器和所述第二类型的传感器中的至少一个的检测范围至少为180m。在一些实施例中，所述第一传感器集合中的所有传感器都是可操作的，并且在所述载运工具向前移动时主动检测所述载运工具前方的所述两个或更多个区域。
在一些实施例中，所述第一类型的传感器更适合用于第一类环境，并且所述第二类型的传感器更适合用于第二类环境。在一些实施例中，所述第一类环境包括以下元素中的一项或多项：雨、雪、雾和强沙尘。在一些实施例中，所述第一类环境和所述第二类环境具有不同的光照条件。在一些实施例中，所述第一类环境和所述第二类环境包括不同的对象密度、不同类型的对象、和/或不同大小的对象。在一些实施例中，所述第一类环境和所述第二类环境具有不同的能见度范围。在一些实施例中，所述第一类型的传感器被配置为主动检测所述第一区域，并且所述第二类型的传感器被配置为在所述载运工具移动通过或准备移动通过所述第一类环境时是被动的或非主动的。在一些实施例中，所述第二类型的传感器被配置为主动检测所述第二区域，并且所述第一类型的传感器被配置为在所述载运工具移动通过或准备移动通过所述第二类环境时是被动的或非主动的。在一些实施例中，所述第一类型的传感器和所述第二类型的传感器被配置为在所述载运工具移动通过所述第一类环境和所述第二类环境时收集数据。在一些实施例中，当所述载运工具移动通过所述第一类环境时，处理来自所述第一类型的传感器的数据，而不处理来自所述第二类型的传感器的数据。在一些实施例中，当所述载运工具移动通过所述第二类环境时，处理来自所述第二类型的传感器的数据，而不处理来自所述第一类型的传感器的数据。
在一些实施例中，所述第一传感器集合刚性地耦接到所述载运工具本体。在一些实施例中，所述第一传感器集合移动地耦接到所述载运工具本体。在一些实施例中，所述第一传感器集合借助于一个或多个载体相对于所述载运工具本体可移动。在一些实施例中，所述一个或多个载体被配置为允许所述第一传感器集合以一个或多个自由度移动。在一些实施例中，所述第一传感器集合包括刚性地耦接到所述载运工具本体的至少一种类型的传感器、以及可移动地耦接到所述载运工具本体的至少一种其它类型的传感器。在一些实施例中，所述第一传感器集合中的所述两种或更多种不同类型的传感器在所述载运工具本体上以横向配置方式彼此相邻地耦接。在一些实施例中，所述第一传感器集合中的的所述两种或更多种不同类型的传感器在所述载运工具本体上以竖直配置方式彼此相邻地耦接。
在一些实施例中，所述第二传感器集合中的所述一种或多种不同类型的传感器选自由立体相机、激光雷达单元和超声波传感器组成的组。在一些实施例中，所述第二传感器集合包括多个立体相机和多个激光雷达单元。在一些实施例中，多个立体相机被配置为捕获彩色图像和深度数据。在一些实施例中，所述第二传感器集合中的所述多个立体相机收集的数据和所述多个激光雷达单元收集的数据融合在一起，以产生RGB-D数据集合，所述RGB-D数据集合表示接近所述载运工具的或所述载运工具周围的区域的3D彩色地图。在一些实施例中，所述RGB-D数据能够用于检测接近所述载运工具的或所述载运工具周围的区域中障碍物的存在和类型。在一些实施例中，所述RGB-D数据与所述第一传感器集合和/或所述第二传感器集合中的其它类型传感器的数据融合，以提取与接近所述载运工具的或所述载运工具周围的所述区域有关的更多细节。在一些实施例中，由所述多个立体相机收集的数据用于障碍物检测和用于产生第一障碍物信息集合，其中由所述多个激光雷达单元收集的数据用于障碍物检测和用于产生第二障碍物信息集合，并且其中所述第一障碍物信息集合和所述第二障碍物信息集合融合在一起以产生接近所述载运工具的或所述载运工具周围的区域的环境地图。在一些实施例中，根据接近所述载运工具的或所述载运工具周围的区域的能见度因子，向所述第一障碍物信息集合和所述第二障碍物信息集合赋予不同的权重值。在一些实施例中，基于由所述多个立体相机收集的数据来确定所述能见度因子。在一些实施例中，当所述能见度因子高于预定阈值时，向所述第一障碍物信息集合赋予比所述第二障碍物信息集合更高的权重值。在一些实施例中，当所述能见度因子低于预定阈值时，向所述第一障碍物信息集合赋予比所述第二障碍物信息集合更低的权重值。
在一些实施例中，所述多个立体相机包括支撑在所述载运工具本体的多个侧面上的多个视觉传感器。在一些实施例中，所述多个视觉传感器被配置为从所述载运工具本体周围的四个侧面收集数据。在一些实施例中，所述多个视觉传感器被配置为以不同方式组合以形成不同的立体相机。在一些实施例中，所述多个视觉传感器能够进行组合以形成多目载运工具环绕视觉系统。在一些实施例中，所述多个视觉传感器包括：(1)第一视觉传感器子集，包括具有第一基线的至少两个视觉传感器，所述至少两个视觉传感器共同形成第一立体相机；以及(2)第二视觉传感器子集，包括具有比所述第一基线短的第二基线的至少两个视觉传感器，所述至少两个视觉传感器共同形成第二立体相机。在一些实施例中，所述第一立体相机具有比所述第二立体相机更远的视觉检测范围。在一些实施例中，所述第一立体相机具有比所述第二立体相机更宽的视场。在一些实施例中，所述第二立体相机被配置为检测落在所述第一立体相机的所述视场之外的第一区域。在一些实施例中，所述第一区域与所述第一立体相机的盲点相对应。在一些实施例中，所述第一区域比落在所述第一立体相机的所述视场内的第二区域更靠近所述载运工具本体。在一些实施例中，所述第一立体相机和所述第二立体相机利用至少一个公共视觉传感器。在一些实施例中，所述第一立体相机和所述第二立体相机中的每一个立体相机包括独特的一对视觉传感器。在一些实施例中，在所述载运工具本体的至少一侧上，所述第二立体相机中的一对视觉传感器位于所述第一立体相机中的一对视觉传感器之间。在一些实施例中，所述第二立体相机包括(1)第一视觉传感器，位于所述第一立体相机中的一对视觉传感器之间；以及(2)第二视觉传感器，其不位于所述第一立体相机的所述一对视觉传感器之间。在一些实施例中，所述第一视觉传感器子集和所述第二视觉传感器子集位于所述载运工具的第一侧，并且所述感测系统还包括：第三视觉传感器子集，其包括共同被配置为从所述载运工具的第二侧收集数据的至少两个视觉传感器；以及第四视觉传感器子集，其包括共同被配置为从所述载运工具的所述第二侧收集数据的至少两个视觉传感器，其中所述第三视觉传感器子集和所述第四视觉传感器子集利用至少一个共同的视觉传感器。在一些实施例中，所述载运工具的所述第二侧与所述载运工具的所述第一侧相对。在一些实施例中，所述感测系统还包括：第五视觉传感器子集，其包括至少两个视觉传感器，所述至少两个视觉传感器在所述载运工具的第三侧上，并且共同被配置为从所述载运工具的所述第三侧收集数据。在一些实施例中，所述载运工具的所述第三侧是所述载运工具的前侧。在一些实施例中，所述第五视觉传感器子集不与所述第一视觉传感器子集或所述第二视觉传感器子集具有任何公共视觉传感器。在一些实施例中，所述感测系统被配置为借助于8个或更少的视觉传感器从所述载运工具本体周围的至少三个侧面收集数据。在一些实施例中，所述感测系统被配置为借助于8个或更少的视觉传感器从围绕所述载运工具本体的至少225度的范围内收集数据。
在一些实施例中，所述第一传感器集合和所述第二传感器集合中的每种类型的传感器被配置为获得数据并且自动地将数据直接发送到订购对应类型的传感器的感测模块。在一些实施例中，所述第一传感器集合和所述第二传感器集合中的所述多种类型的传感器被配置为以异步方式获得所述数据。在一些实施例中，所述第一传感器集合和所述第二传感器集合中的所述多种类型的传感器被配置为以不同的频率获得所述数据。在一些实施例中，由所述多种类型的传感器获得的所述数据以预定的时间间隔同步和/或校准。在一些实施例中，所述第一传感器集合和所述第二传感器集合中的两种或更多种类型的传感器被配置为获得数据并自动地将数据发送到传感器融合模块，以便将所述数据融合在一起。
在一些实施例中，所述第二传感器集合包括支撑在所述载运工具本体的多个侧面上的多个超声波传感器。在一些实施例中，所述多个超声波传感器被配置为独立于对象的视觉特性来检测所述对象，其中所述视觉特性包括所述对象的颜色、反射率和/或纹理。在一些实施例中，所述多个超声波传感器被配置为检测不能被所述第一传感器集合和所述第二传感器集合中的相机检测到的对象。在一些实施例中，所述多个超声波传感器中的至少一个超声波传感器借助于载体相对于所述载运工具本体可移动。在一些实施例中，所述多个超声波传感器中的至少一个超声波传感器借助于所述载体以一个或多个自由度可移动。在一些实施例中，所述载体是单轴云台或多轴云台。在一些实施例中，所述多个超声波传感器中的至少一个超声波传感器被配置为移动以扫描未被所述第一传感器集合和所述第二传感器集合中的其它类型的传感器覆盖的一个或多个区域。在一些实施例中，所述未被所述第一传感器集合和所述第二传感器集合中的其它类型的传感器覆盖的一个或多个区域位于距所述载运工具车体8m或更少的范围内。在一些实施例中，所述多个超声波传感器中的至少一个超声波传感器被配置为在所述载运工具操作时相对于所述载运工具本体移动。在一些实施例中，所述多个超声波传感器中的两个或更多个超声波传感器被配置为相对于彼此移动以覆盖接近所述载运工具的盲点。
本发明的各方面涉及一种载运工具，包括如前所述的感测系统。在一些实施例中，载运工具是陆地载运工具。在一些实施例中，载运工具包括用于一个或多个乘客的空间。在一些实施例中，所述载运工具包括一个或多个附加传感器，所述附加传感器被配置为收集与接近所述载运工具的或所述载运工具周围的环境有关的信息。在一些实施例中，所述一个或多个附加传感器包括以下项中的一项或多项：GPS、红外传感器、或轮子里程计。在一些实施例中，来自所述一个或多个附加传感器的信息与来自所述第一传感器集合和所述第二传感器集合的信息组合，以辅助所述载运工具的自主操作。
此外，本发明的各方面提供了一种用于实现载运工具的自主操作的方法，所述方法包括：借助于载运工具本体支撑多个传感器，所述多个传感器包括：(1)第一传感器集合，包括两种或更多种不同类型的传感器，所述传感器取向为向前方向并且被配置为检测所述载运工具前方的两个或更多个区域，以及(2)第二传感器集合，包括一种或多种类型的传感器，所述传感器取向为多个方向并且被配置为检测接近所述载运工具的或所述载运工具周围的一个或多个区域，其中，与接近所述载运工具的或所述载运工具周围的所述一个或多个区域中的每个区域的范围相比，所述载运工具前方的所述两个或更多个区域中的每个区域的范围更加延伸远离所述载运工具；以及从所述多个传感器收集信息以辅助所述载运工具的所述自主操作。在一些实施例中，所述方法还包括：基于所述载运工具的运动或预测的运动路径实时地改变所述第一传感器集合中的至少一个传感器的取向。
应当理解，可以单独地、共同地或彼此组合地理解本发明的不同方面。本文描述的本发明的各个方面可以应用于下面列出的任何特定应用或任何其它类型的可移动物体。本文对载运工具的任何描述可以适用于和用于任何可移动物体(例如，任何载运工具)。此外，本文在地面运动(例如，自主驾驶)的上下文下所公开的系统、装置和方法也可以适用于其它类型的运动环境(例如，空中或水上运动、水下运动或太空运动)。
通过阅读说明书和附图，本发明的其它目的和特征将变得显而易见。
引用并入
本说明书中提到的所有出版物、专利和专利申请通过引用并入本文，其程度如同每个单独的出版物、专利或专利申请被明确且单独地指示通过引用并入。
附图说明
通过参考下面的详细描述及其附图，将更好地理解本发明的特征和优点，所述详细描述中阐述了利用本发明的原理的说明性实施例，所述附图中：
图1示出了根据本发明实施例的具有感测组件的载运工具的示例。
图2示出了根据本发明实施例的载运工具上机载的感测组件的示例。
图3A示出了根据本发明实施例的可以检测载运工具周围环境的各种传感器的可检测范围的示例。
图3B示出了根据本发明实施例的可以检测载运工具周围环境的各种传感器的可检测范围的附加示例。
图4提供了根据本发明实施例的激光雷达单元的示例，激光雷达单元可以是载运工具的感测组件的一部分。
图5示出了根据本发明实施例的布置在载运工具上的多组激光雷达单元的示例。
图6示出了根据本发明实施例的具有多组激光雷达单元的载运工具的示例。
图7示出了根据本发明实施例的包括远程激光雷达单元在内的多激光雷达模块的示例。
图8示出了根据一些实施例的布置在载运工具上以提供多个双目相机的多个视觉传感器的示例。
图9示出了根据本发明实施例的布置在载运工具上用于感测各种方向和范围的多个双目相机的示例。
图10示出了根据本发明实施例的具有多个双目相机的载运工具的示例，双目相机包括视觉传感器的各种组合。
图11示出了根据一些实施例的用于立体视觉的双目相机134。
图12示出了变换一个或多个相机的相对坐标以匹配载运工具的参照系。
图13示出了根据一些实施例的多个单目相机支撑在载运工具的不同侧上。
图14示出了根据一些实施例的包括多个双目相机和至少一个单目相机在内的视觉感测系统。
图15示出了根据一些实施例的载运工具上的视觉感测系统。
图16示出了根据一些实施例的布置在载运工具上的雷达系统。
图17示出了根据一些实施例的一个或多个传感器可以如何被配置为基于载运工具的运动或预测运动来改变取向。
图18提供了根据实施例的一个或多个传感器可以如何被配置为基于载运工具的运动或预测运动而改变的附加图示。
图19示出了根据一些实施例的布置在载运工具上的超声波感测系统。
图20示出了根据一些实施例的与载运工具的感测组件通信的感测系统控制器。
图21示出了根据一些实施例的自动驾驶系统1900，其包括硬件传感器模块1910、感测模块1930以及导航定位模块1940。
图22示出了根据一些实施例的传感器模块中的不同类型的传感器的时间同步。
具体实施方式
本公开提供了用于载运工具的自主引航(驾驶)的系统和方法。本文公开的自主驾驶系统可以(1)实现360度的无缝环境感测，(2)提供冗余、可靠和稳定的环境感测数据，和/或(3)实现简单快速的传感器校准和实时校准验证。所公开的系统可以感测载运工具正在其中操作的环境，并且检测静止和移动障碍物的存在。例如，本文描述的系统可以使用多个传感器来收集载运工具的位置和/或运动信息，并且控制载运工具(例如，关于位置、速度和/或加速度)以在各种类型的环境内进行安全导航而不与障碍物碰撞。在一些情况下，自主驾驶系统可以被配置为确定和选择在各种驾驶和/或环境类型下使用哪些传感器和/或感测数据。特别地，所公开的方法和系统可以改进载运工具的操作安全性，并且使载运工具能够在各种环境(例如，室内或室外，诸如雨、雾和雪的不利天气条件、各种距离处的不同类型的障碍物、不熟悉的地形、高海拔或低海拔等)中以安全方式进行自导航。应当理解，可以单独地、共同地或彼此组合地理解本发明的不同方面。本文描述的本发明的各个方面可以应用于下面列出的任何特定应用或任何其它类型的遥控载运工具或可移动物体。
本文公开的实施例可以适用于任何合适的可移动物体。可移动物体可以被配置为在任何合适的环境中移动，例如在地面上(例如，机动车或火车)、在空中(例如，固定翼飞行器、旋转翼飞行器或既没有固定翼有没有旋转翼的飞行器)、在水中(例如，船或潜水艇)、在太空中(例如，太空飞机、卫星或宇宙探测仪)、或这些环境的任何组合。可移动物体可以是诸如汽车之类的载运工具。
图1示出了根据本发明实施例的具有感测组件110的载运工具100的示例。感测组件可以机载在载运工具上。载运工具可以能够在环境中行进并且借助于感测组件收集关于环境的信息。感测组件可以辅助载运工具的自动驾驶。载运工具的自动驾驶系统可以包括感测组件，感测组件可以包括多个传感器。
载运工具100可以是能够感测接近载运工具的或载运工具周围的环境的感测载运工具。载运工具可以是陆地载运工具。载运工具可以在陆地上行进。备选地或附加地，载运工具可以能够在水上或水中、地下、空中和/或太空中行进。载运工具可以是汽车。载运工具可以是陆地载运工具、船只、飞行器和/或航天器。载运工具可以在表面上自由行进。载运工具可以在两个维度内自由行进。载运工具可以主要在一条或多条道路上行驶。
可选地，载运工具可以是无人机。载运工具可以没有机载在载运工具上的乘客或操作员。载运工具可以具有或可以不具有乘客可以乘坐的空间。载运工具可以具有或可以不具有用于要由载运工具携带的货物或物体的空间。载运工具可以具有或可以不具有可以允许载运工具与环境交互(例如，收集样本、移动物体)的工具。载运工具可以具有或可以不具有可以被发射以分散到环境中的物体(例如，光、声音、液体、杀虫剂)。载运工具可以在不需要操作人员的情况下操作。
在一些实施例中，载运工具可以允许一个或多个乘客乘坐载运工具。载运工具可以包括用于一个或多个乘客乘坐载运工具的空间。载运工具可以具有内部舱室，其具有用于一个或多个乘客的空间。载运工具可以具有或可以不具有操作员。例如，载运工具可以具有用于载运工具的驾驶员的空间。在一些实施例中，载运工具可以能够由操作人员驾驶。备选地或附加地，可以使用自主驾驶系统来操作载运工具。
在一些实施例中，载运工具可以在手动驾驶模式和自主驾驶模式之间切换，在手动驾驶模式期间驾驶人员将驾驶载运工具，在自主驾驶模式期间，自动控制器可以产生信号，该信号操作载运工具而无需驾驶人员的干预。在一些实施例中，载运工具可以提供驾驶员辅助，其中驾驶员可以主要手动驾驶载运工具，但是载运工具可以执行某些自动程序或帮助驾驶员执行某些程序(例如，车道变换、合流、停车、自动制动)。在一些实施例中，载运工具可以具有默认操作模式。例如，手动驾驶模式可以是默认操作模式，或者自主驾驶模式可以是默认操作模式。
辅操作模式可以生效。例如，如果手动驾驶模式是默认操作模式，则自主驾驶模式可以是辅操作模式。如果自主驾驶模式是默认操作模式，则手动驾驶模式可以是辅操作模式。
辅操作模式可以作为用户输入的结果而生效。例如，在开始时，用户可以在手动驾驶模式下进行驾驶。然后，用户可以提供输入以指示切换到自主驾驶模式。用户可以在驾驶时提供输入。用户可以在载运工具静止时提供输入。在另一示例中，用户可以通过使汽车处于自主驾驶模式来开始。用户可以提供指示用户正在接管对载运工具的手动控制的输入。
辅操作模式可以作为由一个或多个处理器产生的信号的结果而生效。信号可以由一个或多个处理器响应于检测到的事件而产生。可以借助于一个或多个传感器来检测事件。例如，如果用户处于手动驾驶模式并且传感器检测到道路前方有大块碎石，则系统可以自动制动以避开碎石，或者如果环境安全则绕过它。辅操作模式可以在不需要任何人为输入的情况下生效。
载运工具可以是任意类型的载运工具。载运工具可以是载客载运工具。载运工具类型的示例可以包括但不限于轿车、双门轿车、皮卡车、掀背车、旅行车、小型货车、货车、公共汽车、跨界车、SUV、敞篷车、卡车、摩托车、推车、平板车、半挂车、运输卡车、航天飞机、全地形车或任何其它类型的载运工具。载运工具可以能够运输至少1、2、3、4、5、6、7、8、9、10、12、16、20、30、40、50、60、70或100人。载运工具可以具有用于任何数量的个人的座位，包括本文列出的数字。
载运工具可以包括可以允许载运工具穿越环境的一个或多个推进单元。推进单元可以包括可以与下面的表面接触的一个或多个轮子。推进单元可以包括可以允许载运工具移动的胎面(tread)、滚轮、螺旋桨、旋翼叶片和/或喷嘴。载运工具可以包括可以驱动载运工具的引擎或电机。
载运工具可以借助燃料来操作。载运工具可以使用气体燃料、液体燃料和/或固体燃料来操作。载运工具可以使用柴油燃料来操作。载运工具可以基于生物燃料来操作。载运工具可以是电动载运工具，或者可以是混合电动载运工具。
载运工具可以包括机载感测组件110。感测组件可以由载运工具携带。感测组件可以包括能够感测接近载运工具的或载运工具周围的环境的一个或多个传感器。外部传感器可以能够从载运工具周围的环境收集数据。感测组件可以包括能够感测载运工具的状况、或感测载运工具上机载的部件的特性的一个或多个传感器。内部传感器可以能够收集关于载运工具本身的数据。
感测组件可以包括单个传感器或多个传感器。感测组件可以包括单一类型的传感器或多种类型的传感器。传感器的类型的示例可以包括但不限于位置传感器(例如，全球定位系统(GPS)传感器、实现位置三角测量的移动装置发射机)、视觉传感器(例如，能够检测可见光、红外光或紫外光的成像装置，例如相机)、接近传感器(例如，超声波传感器、激光雷达、移动时间相机)、惯性传感器(例如，加速度计、陀螺仪、惯性测量单元(IMU))、海拔传感器、压力传感器(例如，气压计)、音频传感器(例如，麦克风)或场传感器(例如，磁力计、电磁传感器)。可以使用任何合适数量的传感器和任何合适的传感器的组合，例如一个、两个、三个、四个、五个或更多个传感器。可选地，可以从不同类型的传感器(例如，2种、3种、4种、5种或更多种类型)接收数据。不同类型的传感器可以测量不同类型的信号或信息(例如，位置、取向、速度、加速度、接近度、压力等)和/或利用不同类型的测量技术来获取数据。例如，传感器可以包括有源传感器(例如，产生和测量来自其自己的源的能量的传感器)和无源传感器(例如，检测可用能量的传感器)的任何合适的组合。感测组件可以包括特定传感器类型的单个传感器或特定传感器类型的多个传感器。
传感器可以具有各种可检测范围。传感器的可检测范围可以包括相对于传感器的、传感器可以收集数据的区域。可检测范围可以包括射程范围和/或方向。例如，可检测范围可以包括可以由传感器读取的最大距离和/或最小距离。最小距离可以为零。最大距离可以或可以不受环境条件(例如，温度、空气中的颗粒、降水、气压、噪音等)的影响。方向可以包括角度范围。例如，传感器可以具有角度范围视场。传感器可能无法收集在其可检测范围之外的数据。在特定传感器的可检测范围之外的区域可以是传感器的盲点。不同的传感器可以具有不同的可检测范围或相同的可检测范围。
传感器可以分布在载运工具上的任何位置处。载运工具可以包括载运工具本体。传感器可以分布在载运工具本体上的任何位置处。传感器可以在载运工具本体的内部、载运工具本体外部、或是载运工具本体的一部分。传感器可以分布在由载运工具底盘限定的空间内、在由载运工具底盘限定的空间之外、或者可以是载运工具底盘的一部分。传感器可以在载运工具壳体内、载运工具壳体外部、或是载运工具壳体的一部分。传感器可以分布在载运工具的上表面、载运工具的下表面、载运工具的前表面、载运工具的后表面、载运工具的右侧表面、或载运工具的左侧表面上。传感器可以分布在载运工具的上半部分和/或载运工具的下半部分上。传感器可以分布在载运工具的前半部分和/或载运工具的后半部分上。传感器可以围绕载运工具的周边分布。
传感器可以被布置为具有围绕载运工具的各种可检测范围。各种可检测范围可以彼此有重叠或不重叠。各种可检测范围可以足以允许载运工具的安全自动驾驶。传感器覆盖的可检测范围可以足以当在自主驾驶模式下操作时防止载运工具发生事故或不安全驾驶。传感器可以能够允许载运工具在一条或多条道路上自主驾驶。传感器可以能够允许载运工具安全地越野驾驶。
可以提供可以允许载运工具在不同环境条件下安全自主操作的足够数量和各种类型的传感器。例如，载运工具可以能够在宽温度范围内安全地操作(例如，甚至在极热或极冷下)。载运工具的自主驾驶系统可以能够在能见度差的条件下(例如，夜间、强降水、雾、空气中有颗粒)安全地操作。载运工具的自主驾驶系统可以能够在不同大气压或湿度水平的条件下操作。载运工具的自主驾驶系统可以能够在各种类型的降水(例如，雨、冰雹、雪、雨夹雪)、各种风况，各种道路状况和/或各种噪声条件的条件下操作。感测组件中的多个和/或各种类型的传感器可以能够在各种类型的条件下从环境中检测相关信息。
图2示出了根据本发明实施例的载运工具上机载的感测组件110的示例。感测组件可以包括一种或多种类型的传感器，例如激光雷达120、相机130、雷达140、超声波传感器150、GPS 160和/或里程计170。载运工具所携带的一个或多个传感器可以包括但不限于位置传感器(例如，全球定位系统(GPS)传感器、实现位置三角测量的移动装置发射机)、视觉传感器(例如，能够检测可见光、红外光或紫外光的成像装置，例如相机)、接近传感器(例如，超声波传感器、激光雷达、移动时间相机)、惯性传感器(例如，加速度计、陀螺仪、惯性测量单元(IMU))、海拔传感器、压力传感器(例如，气压计)、音频传感器(例如，麦克风)或场传感器(例如，磁力计、电磁传感器)。传感器可以用于收集载运工具周围环境的数据。可选地，传感器可以用于收集关于载运工具自身的数据。来自传感器的数据(例如，周围环境和/或载运工具本身的)可以融合。来自多种类型的传感器的数据可以融合。例如，通过融合来自多个传感器的信息，可以实质上实时地获得周围环境的数据。
感测组件可以包括一个或多个激光雷达120单元。激光雷达单元可以是单线激光雷达。激光雷达单元可以是一个或多个扫描激光雷达。激光雷达单元可以用激光照射目标或可检测范围。激光雷达单元可以能够检测反向散射。光可以包括紫外光、可见光和/或近红外光，以对周围环境成像。激光雷达单元可以能够检测多种材料。例如，激光雷达可以检测金属或非金属物体、沉淀物、某些气溶胶、云或分子。在一些实施例中，激光雷达单元可以以高分辨率操作。可以使用任何类型的激光雷达，例如瑞利激光雷达、米氏激光雷达、拉曼激光雷达、Na/Fe/K激光雷达等。在一些实施例中，激光雷达单元不需要是机械扫描类型的激光雷达。例如，激光雷达单元可以包括集成在微芯片上的相位阵列激光雷达。与现有的扫描激光雷达系统相比，相位阵列激光雷达的优点包括更低的成本、更轻的重量、更小的形状因子和更少的机械部件。由于组件集成在微芯片上而缺少活动的部件，因此相位阵列激光雷达也更加稳定。
一个或多个相机130可以是感测组件的一部分。相机可以共同形成视觉感测系统。可以提供多个相机。相机可以能够捕获用于环境感测的图像数据。相机可以是相同类型的相机或不同类型的相机。在一些实施例中，相机可以包括立体相机。可选地，相机可以包括一个或多个单目相机。在一些实施例中，可以提供立体相机和单目相机的组合。相机可以包括黑白相机。在一些实施例中，相机可以包括彩色相机。本文对相机的任何描述可以应用于任何类型的视觉传感器，并且可以互换地称为成像装置，成像装置的示例在下面描述。
成像装置可以是物理成像装置。成像装置可以被配置为检测电磁辐射(例如，可见光、红外光和/或紫外光)，并且基于检测到的电磁辐射来产生图像数据。成像装置可以包括响应于光的波长而产生电信号的电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。可以对所得到的电信号进行处理以产生图像数据。由成像装置产生的图像数据可以包括一个或多个图像，其中所述图像可以是静态图像(例如，照片)、动态图像(例如，视频)或其合适的组合。图像数据可以是多色的(例如，RGB、CMYK、HSV)或单色的(例如，灰度、黑白、棕褐色)。成像装置可以包括被配置为将光引导到图像传感器上的镜头。
成像装置可以是相机。相机可以是捕获动态图像数据(例如，视频)的电影或视频相机。相机可以是捕获静态图像(例如，照片)的静态相机。相机可以捕获动态图像数据和静态图像二者。相机可以在捕获动态图像数据和静态图像之间切换。尽管在相机的上下文下描述了本文提供的某些实施例，但是应当理解，本公开可以应用于任何适合的成像装置，并且本文中关于相机的任何描述也可以应用于任何合适的成像装置，并且本文中关于相机的任何描述也可以应用于其它类型的成像装置。可以使用相机来产生3D场景(例如，环境、一个或多个对象等)的2D图像。由相机产生的图像可以呈现3D场景在2D图像平面上的投影。因此，2D图像中的每个点与场景中的3D空间坐标相对应。相机可以包括光学元件(例如，镜头、反射镜、滤光片等)。相机可以捕获彩色图像、灰度图像、红外图像等。当相机被配置为捕获红外图像时，相机可以是热成像装置。
在一些实施例中，相机130可以包括多个成像装置、或者具有多个镜头和/或图像传感器的成像装置。相机可以能够实质上同时拍摄多个图像。多个图像可以辅助创建3D场景、3D虚拟环境、3D地图或3D模型。例如，右图像和左图像可以被拍摄并用于立体映射。可以根据校准后的双目图像来计算深度图。可以同时拍摄任意数量的图像(例如，2个或更多个、3个或更多个、4个或更多个、5个或更多个、6个或更多个、7个或更多个、8个或更多个、9个或更多个)以辅助创建3D场景/虚拟环境/模型，和/或用于深度映射。图像可以朝向实质相同的方向，或者可以朝向稍微不同的方向。在一些情况下，来自其它传感器的数据(例如，超声波数据、激光雷达数据、来自如本文其它地方所述的任何其它传感器的数据、或来自外部装置的数据)可以辅助创建2D或3D图像或地图。
成像装置可以以特定图像分辨率来捕获图像或图像序列。在一些实施例中，图像分辨率可以由图像中的像素的数量来定义。在一些实施例中，图像分辨率可以大于或等于约352×420像素、480×320像素、720×480像素、1280×720像素、1440×1080像素、1920×1080像素、2048×1080像素、3840×2160像素、4096×2160像素、7680×4320像素或15360×8640像素。在一些实施例中，相机可以是4K相机或具有更高分辨率的相机。
成像装置可以以特定捕获速率来捕获图像序列。在一些实施例中，可以以诸如约24p、25p、30p、48p、50p、60p、72p、90p、100p、120p、300p、50i或60i的标准视频帧速率来捕获图像序列。在一些实施例中，可以以少于或等于约每0.0001秒、0.0002秒、0.0005秒、0.001秒、0.002秒、0.005秒、0.01秒、0.02秒、0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒或10秒一个图像的速率来捕获图像序列。在一些实施例中，捕获速率可以根据用户输入和/或外部条件(例如，雨、雪、风、环境的不明显表面质地)而改变。
成像装置可以具有可调参数。在不同的参数下，成像装置可以在受到相同外部条件(例如，位置、光照)时捕获不同的图像。可调参数可以包括曝光(例如，曝光时间、快门速度、光圈、胶片速度)、增益、伽玛、感兴趣区域、面元划分(binning)/子采样、像素时钟、偏移、触发、ISO等。与曝光相关的参数可以控制到达成像装置中的图像传感器的光量。例如，快门速度可以控制光到达图像传感器的时间量，并且光圈可以控制在给定时间内到达图像传感器的光量。与增益相关的参数可以控制对来自光学传感器的信号的放大。ISO可以控制相机对可用光的敏感度的水平。控制曝光和增益的参数可以被一起考虑并在本文中被称为EXPO。
在一些备选实施例中，成像装置可以延伸超出物理成像装置。例如，成像装置可以包括能够捕获和/或产生图像或视频帧的任何技术。在一些实施例中，成像装置可以指代能够处理从另一物理装置获得的图像的算法。
感测系统可以包括一个或多个雷达系统140。雷达系统可以使用无线电波来检测载运工具周围环境中的对象。雷达系统可以包括在无线电或微波域中产生电磁波的发射机、以及发射天线。雷达系统可以包括接收天线(其可以与发射天线相同)。雷达系统可以包括接收机和处理器，处理器可以确定任何检测到的对象的属性。无线电波可以从发射机发送，以从可检测范围内的任何对象反射回，并且返回到接收机。
在一些实施例中，雷达可以是极高频(EHF)雷达(例如，毫米波雷达)。在一些备选实施例中，雷达可以处于超高频段或远红外波段。雷达可以具有30至300千兆赫兹的电磁频谱中的无线电频段。无线电波可以具有1至10毫米的波长。
一个或多个超声波传感器150可以是载运工具的感测系统的一部分。超声波传感器可以包括将电信号转换成超声波的超声波发射机。超声波信号可以被发射和反射。反射的超声波可以由接收机转换成电信号。超声波发射机和接收机可以是或可以不是相同收发机的一部分。
感测组件可以包括一个或多个全球定位系统(GPS)传感器160。GPS传感器可以用于检测载运工具的地理位置。本文对GPS传感器的任何描述可以应用于任何类型的全球卫星导航系统(GNSS)传感器。GPS传感器可以与一个或多个卫星通信以提供自主的地理空间定位。GPS传感器可以包括小型电子接收机，其使用沿着从卫星的视线发送的时间信号来确定其位置(例如，经度、纬度、和/或海拔/高度)。信号可以经由无线电发送。在一些实施例中，GPS传感器可以能够以高精度(例如，在几米内)检测载运工具的地理定位。
在一些实施例中，可以提供轮子里程计170作为感测组件的一部分。轮子里程计可以用于计算载运工具行进的距离。如果GPS传感器的信号丢失，则来自轮子里程计的数据可以用于检测载运工具行进了多远，并且基于最后已知位置来估计载运工具的位置。
可以利用各种传感器来构建传感器模块集合，以覆盖某一检测区域和范围。感测组件可以包括可以与所提供的各种类型的传感器相关的多个传感器模块。例如，感测组件可以包括一个或多个多激光雷达模块、一个或多个多相机模块、一个或多个多雷达模块、一个或多个超声波传感器模块、和/或一个或多个轮子里程计和GPS模块。模块可以包括一个或多个传感器。例如，多激光雷达模块可以包括多个激光雷达传感器。
可以收集来自每个传感器的数据。在一些情况下，可以收集和/或聚合来自模块中的传感器的数据。可以单独或一起分析来自模块中的传感器的数据。可以收集和/或聚合来自载运工具的多个模块的数据。可以单独或一起分析来自模块的数据。例如，来自具有不同类型传感器的多个模块的数据可以融合在一起。传感器融合还可以包括来自多种类型的传感器的、将一起用于辅助载运工具的操作的数据。
在一些实施例中，通过使用任何已知的传感器融合技术将由多个传感器获得的传感器数据进行组合来产生感测结果，所述传感器融合技术可以包括基于卡尔曼滤波、扩展卡尔曼滤波(EKF)、无迹卡尔曼滤波(UKF)、颗粒滤波(PF)或其合适的组合的算法。例如，传感器融合可以用于组合由不同类型的传感器(包括GPS传感器、惯性传感器、视觉传感器、激光雷达、超声波传感器等)获得的感测数据。作为另一示例，传感器融合可以用于组合不同类型的感测数据，例如绝对测量数据(例如，相对于全局坐标系提供的数据，比如GPS数据)和相对测量数据(例如，相对于局部坐标系提供的数据，比如视觉感测数据、激光雷达数据或超声感测数据)。传感器融合可以用于补偿与各个传感器类型相关联的限制或不精确，从而提高最终感测结果的精度和可靠性。
由感测组件获得的数据可以提供各种类型的环境信息。例如，传感器数据可以指示环境类型，例如室内环境、室外环境、低海拔环境、或高海拔环境。传感器数据还可以提供与当前环境条件相关的信息，包括天气(例如，晴朗、下雨、下雪)、能见度条件、风速、一天中的时间等。此外，由传感器收集的环境信息可以包括与环境中的对象(例如，本文中所述的障碍物)相关的信息。障碍物信息可以包括与环境中的障碍物的数量、密度、几何形状和/或空间布局相关的信息。
可以借助于一个或多个处理器获得并分析从感测组件的各种传感器收集的数据。一个或多个处理器可以聚合来自各种传感器的数据，各种传感器可以包括多种传感器类型。一个或多个处理器可以基于所分析的来自传感器的数据来产生可以影响载运工具操作的一个或多个指令。指令的分析和产生可以实质上实时发生。例如，可以在传感器收集到数据的约1分钟、30秒、20秒、15秒、10秒、7秒、5秒、3秒、2秒、1秒、0.5秒、0.3秒、0.1秒、0.05秒、0.01秒、0.005秒或0.001秒内产生可以影响载运工具操作的指令。
在一些实施例中，一个或多个处理器可以处理来自感测组件的数据，并且选择哪个传感器集合和/或数据用于感测周围环境。处理器可以位于载运工具上或远离载运工具。由所选择的传感器收集的数据可以提供给本文描述的自动驾驶系统。自动驾驶系统可以被配置为控制载运工具的一个或多个推进单元基于感测数据来实现运动。例如，由所选择的传感器提供的感测数据可以用于(例如，如本文中其它地方所述的那样使用合适的处理单元和/或控制模块)控制载运工具的空间布局、速度和/或取向。附加地，传感器可以用于提供与载运工具附近或周围的环境相关的数据，例如如上所述的天气条件、到可能障碍物的接近度、地理特征的位置、人造结构的位置等。
影响载运工具操作的指令可以包括用于驱动载运工具的指令。指令可以用于实现载运工具的自主驾驶。载运工具的自主驾驶可以使载运工具能够安全地行驶到目的地。载运工具的自主驾驶可以包括使载运工具保持在道路上。载运工具的自主驾驶可以包括检测可用车道。载运工具的自主驾驶可以包括检测其它载运工具和行人。载运工具的自主驾驶可以包括避免与一个或多个其它载运工具、行人和/或物体的碰撞。
载运工具可以可选地包括一个或多个通信单元。通信单元可以允许载运工具与一个或多个外部装置通信。外部装置可以是可以收集和/或聚合载运工具和/或其它载运工具的信息的一个或多个数据中心。一个或多个数据中心可以设置在一个或多个外部装置(例如，一个或多个服务器、个人计算机、移动装置)上，和/或经由云计算或对等基础设施设置在一个或多个外部装置上。在一些实施例中，外部装置可以是另一个载运工具。
通信单元可以允许感测载运工具与一个或多个外部装置之间的无线通信。通信单元可以允许单向通信(例如，从感测载运工具到外部装置，或从外部装置到感测载运工具)、和/或双向通信(例如，在感测载运工具与一个或多个外部装置之间)。通信单元可以具有有限的距离或范围。通信单元可以能够远程通信。通信单元可以参与点对点通信。通信单元可以广播信息。
在一个示例中，通信单元可以包括一个或多个收发机。通信单元可以包括发射机和接收机。通信单元可以被配置用于本文其它地方所述的任何类型的无线通信。通信单元可以包括可以辅助通信的一个或多个天线。通信单元可以包括或可以不包括通信盘。通信单元可以是定向的(例如，在指定方向上操作最强)，或者可以在所有方向上实质上均匀地操作。
通信单元102可以与一个或多个传感器通信。通信单元可以接收由一个或多个传感器收集的数据。在一些实施例中，可以使用通信单元发送由一个或多个传感器收集的数据。可选地，由通信单元发送的数据可以是由一个或多个传感器收集的原始数据。备选地或附加地，可以在载运工具上预处理由通信单元发送的数据。在一些实施例中，载运工具可以具有一个或多个机载处理器，其可以在将向通信单元发送由传感器收集的数据之前对数据执行一个或多个预处理步骤。预处理可以包括或可以不包括将数据格式化为期望的形式。
预处理可以包括或可以不包括相对于感测载运工具和/或相对于惯性参照系(例如，环境)对传感器数据的分析。例如，预处理可以包括或可以不包括确定与一个或多个周围载运工具或载运工具本身相关的位置信息。位置信息可以是相对于载运工具或相对于惯性参照系(例如，地理空间坐标)。例如，载运工具可以能够确定针对载运工具或一个或多个周围载运工具的位置和/或移动信息。载运工具可以能够检测环境内的其它对象(例如，行人、动物、结构、路缘、人行道、树木、灌木丛、保险杠、人行道等)的位置和/或移动。
通信单元可以位于载运工具上或载运工具中的任何位置处。通信单元可以设置在由载运工具的一个或多个本体板包含的体积内。通信单元可以设置在载运工具底盘内的体积内。通信单元可以在载运工具的壳体或本体的外部。
载运工具可以包括一个或多个机载处理器。一个或多个处理器可以形成机载计算机或控制器。例如，载运工具可以包括电子控制单元(ECU)。ECU可以提供用于载运工具的一个或多个活动的指令，载运工具的一个或多个活动可以包括但不限于推进、转向、制动、燃料调节、电池水平调节、温度、通信、感测或任何其它操作。一个或多个处理器可以是或可以包括中央处理单元(CPU)、图形处理单元(GPU)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)等。
图3A示出了根据本发明实施例的可以检测接近载运工具的或载运工具周围的外围环境的各种传感器的可检测范围的示例。载运工具100可以包括感测组件110，感测组件110可以包括一个、两个或更多个不同的传感器，这些传感器可以能够收集载运工具周围环境的信息。例如，来自第一传感器类型的传感器可以共同具有第一可检测范围101a，来自第二传感器类型的传感器可以共同具有第二可检测范围101b，来自第三传感器类型的传感器可以共同具有第三可检测范围101c，来自第四传感器类型的传感器可以共同具有第四可检测范围101d，来自第五传感器类型的传感器可以共同具有第五可检测范围101e，来自第六传感器类型的传感器可以共同具有第六可检测范围101f，和/或来自第七传感器类型的传感器可以共同具有第七可检测范围101g。本文提供的任何传感器类型可以包括激光雷达、相机、雷达、超声波传感器、GPS、里程计、惯性传感器、或任何其它传感器(例如，本文其它地方所述的那些传感器)。
尽管以各种形状示出了各种可检测范围，但是可以理解，可检测范围可以具有任何形状。例如，可检测范围可以具有实质上矩形的形状。载运工具可以位于圆圈的中心或圆圈的另一部分处。可检测范围可以具有实质上椭圆体或椭圆形的形状。可检测范围可以具有实质上扇形或楔形的形状。可检测范围可以具有实质上三角形的形状、四边形形状(例如，矩形形状、正方形形状、菱形形状、梯形形状)、五边形形状、六边形形状、八边形形状或任何其它形状。本文描述的任何形状可以表示可检测范围的横截面。在一些实施例中，形状可以是横向横截面形状或竖向横截面形状。可检测范围可以形成球形、半球形、圆锥形、圆柱形、棱柱形、环形或任何其它类型的形状。在一些实施例中，可检测范围可以包括所描述的任何形状的组合或任何形状中的多个形状，以共同形成新形状。可检测范围可以由单个连续形状或多个不连续形状形成。
可检测范围可以共同围绕载运工具延伸至少360度。在一些情况下，可检测范围可以是至少围绕载运工具的约15度、30度、45度、60度、75度、90度、120度、150度、180度、210度、240度、270度、300度、或330度。可检测范围可以具有少于本文所述任何值、或落入本文所述任何两个值之间的范围内的角度值。可以相对于围绕载运工具的横向方向或围绕载运工具的竖向方向提供角度范围。在一些实施例中，可检测范围可以均匀地分布在载运工具周围。在一些实施例中，针对各种传感器的可检测范围中的一些可检测范围可以更多地分布于并延伸远离载运工具的前部、载运工具的后部、载运工具的顶部、载运工具的右侧、载运工具的左侧、或载运工具的底部、或载运工具的这些侧的任何组合。传感器的分布可以取决于传感器的类型。传感器的分布可以取决于传感器用于检测的对象的类型或环境条件。
第一传感器类型可以包括激光雷达单元。一个或多个激光雷达单元可以设置在载运工具上。一个或多个激光雷达单元可以共同具有第一可检测范围101a。第一可检测范围可以具有半径d1。半径d1可以表示第一可检测范围的最大范围。在一些实施例中，d1可以是约80m。在一些实施例中，可检测范围可以具有约20m、30m、40m、50m、60m、70m、75m、80m、85m、90m、100m、110m、120m、130m、150m、175m、200m或250m的最大值。在一些实施例中，激光雷达单元的可检测范围可以包围载运工具周围360度。在一些实施例中，激光雷达单元的共同可检测范围可以具有围绕载运工具的实质上圆形的形状。在一些实施例中，激光雷达单元的共同可检测范围可以包括围绕载运工具的多个锥形或楔形的形状。
第二传感器类型可以包括立体相机。一个或多个立体相机可以设置在载运工具上。一个或多个立体相机可以共同具有第二可检测范围101b。第二可检测范围可以具有半径d2。半径d2可以表示第二可检测范围的最大范围。在一些实施例中，d2可以是约60m至100m。在一些实施例中，可检测范围可以具有约5m、10m、20m、30m、40m、50m、55m、60m、65m、70m、75m、80m、85m、90m、95m、100m、105m、110m、120m、130m、150m、175m、200m或250m的最大值。在一些实施例中，可检测范围包围载运工具周围360度。在一些实施例中，立体相机的共同可检测范围可以具有围绕载运工具的实质上圆形的形状。在一些实施例中，立体相机的共同可检测范围可以包括围绕载运工具的多个锥形或楔形的形状。
第三传感器类型可以包括超声波传感器。一个或多个超声波传感器可以设置在载运工具上。一个或多个超声波传感器可以共同具有第三可检测范围101c。第三可检测范围可以具有半径d3。半径d3可以表示第三可检测范围的最大范围。在一些实施例中，d3可以是约8m。在一些实施例中，可检测范围可以具有约0.1m、0.5m、1m、1.5m、2m、2.5m、3m、4m、5m、6m、7m、8m、9m、10m、11m、12m、13m、15m、20m、30m或50m的最大值。在一些实施例中，可检测范围包围载运工具周围360度。在一些实施例中，超声波传感器的共同可检测范围可以具有围绕载运工具的实质上圆形的形状。在一些实施例中，超声波传感器的共同可检测范围可以包括围绕载运工具的多个锥形或楔形的形状。
第四传感器类型可以包括雷达，例如毫米波雷达。一个或多个雷达系统可以设置在载运工具上。一个或多个雷达系统可以共同具有第四可检测范围101d。第四可检测范围可以具有射程范围d4。射程范围d4可以表示第四可检测范围的最大范围。在一些实施例中，d4可以是约180m。在一些实施例中，可检测范围可以具有约20m、30m、50m、75m、100m、120m、150m、160m、170m、180m、190m、200m、220m、250m、300m、或500m的最大值。在一些实施例中，可检测范围包围载运工具的前部区域。在一些实施例中，雷达系统的共同可检测范围可以具有实质上锥形的形状或楔形的形状。
第五传感器类型可以包括远程激光雷达。远程激光雷达可以具有窄视场(FOV)，但不限于此。可以根据激光雷达的光学配置来配置从针对远程激光雷达的从窄到宽的不同视场。在一些实施例中，一个或多个远程激光雷达单元可以设置在载运工具上。一个或多个远程激光雷达单元可以共同具有第五可检测范围101e。第五可检测范围可以具有射程范围d5。射程范围d5可以表示第四可检测范围的最大范围。在一些实施例中，d5可以是约200m。在一些实施例中，可检测范围可以具有约20m、30m、50m、75m、100m、120m、150m、170m、180m、190m、200m、210m、220m、230m、250m、300m、或500m的最大值。在一些实施例中，可检测范围包围载运工具的前部区域。在一些实施例中，远程激光雷达单元的共同可检测范围可以具有实质上锥形的形状或楔形的形状。
第六传感器类型可以包括相机，例如单目相机。一个或多个单目相机可以没置在载运工具上。一个或多个单目相机可以共同具有第六可检测范围101f。第六可检测范围可以具有射程范围d6。射程范围d6可以表示第六可检测范围的最大范围。在一些实施例中，d6可以是约230m。在一些实施例中，可检测范围可以具有约20m、30m、50m、75m、100m、120m、150m、160m、170m、180m、200m、210m、220m、225m、230m、240m、250m、270m、300m、或500m的最大值。在一些实施例中，可检测范围包围载运工具的前部区域。在一些实施例中，单目相机的共同可检测范围可以具有实质上锥形的形状或楔形的形状。
第七传感器类型可以包括第二雷达(例如，毫米波雷达)、第二单目相机、附加的远程激光雷达单元、或任何其它类型的传感器。传感器可以是后向传感器。一个或多个后向传感器可以共同具有第七可检测范围101g。第七可检测范围可以具有射程范围d7。射程范围d7可以表示第四可检测范围的最大范围。距离值可以是本文其它地方所述的任何距离值。在一些实施例中，可检测范围包括载运工具的后部区域。在一些实施例中，后向传感器的共同可检测范围可以具有实质上锥形的形状或楔形的形状。
示出了多传感器系统的检测范围。来自各种传感器的数据可以在馈送到检测算法之前融合。如所示，不同的传感器和/或传感器类型可以具有不同的可检测范围，这些不同的可检测范围可以共同包围载运工具。一些传感器的射程范围可以具有与其它传感器不同的射程范围。例如，一些传感器可以能够比其它传感器达到更远的距离。一些传感器可以包围与其它传感器不同的角度范围。一些传感器可以包围载运工具周围的更宽范围，而一些传感器可以具有更窄的角度范围。在一些情况下，具有较大射程范围的一些传感器可以集中于载运工具的前部和/或后部。这对于在载运工具行驶时检测感兴趣的对象是有用。
载运工具的自动驾驶系统可以借助于一个或多个传感器来监测载运工具的周围环境。一个或多个传感器可以以一种或多种方式辅助自动驾驶。例如，一个或多个传感器可以用于检测远程对象的移动以提供提前警告。可以使用一个或多个传感器来检测附近的对象，包括可能处于载运工具操作者、乘客或其它传感器的盲点中的对象。
本文提供的任何传感器可以固定地耦接到载运工具。本文提供的任何传感器可以刚性地耦接到载运工具。任何传感器可以相对于载运工具保持静止。
本文提供的任何传感器可以相对于载运工具移动。本文提供的任何传感器可相对于载运工具旋转。一个或多个传感器可以相对于载运工具围绕一个轴、两个轴或三个轴旋转。本文提供的任何传感器可以相对于载运工具平移移动。例如，一个或多个传感器可以相对于载运工具滑动。一个或多个传感器可以沿第一轴、第二轴和/或第三轴滑动。
在一些实施例中，一个或多个传感器可以借助于载体相对于载运工具旋转。载体可以包括云台。云台可以是单轴云台或多轴云台。云台可以是单轴的、双轴的或三轴的云台。云台可以允许围绕偏航轴、俯仰轴和/或横滚轴旋转。在一些实施例中，云台可以仅允许围绕偏航轴旋转，仅允许围绕俯仰轴旋转，或者允许围绕偏航轴和俯仰轴两者旋转。云台可以包括框架组件，框架组件包括一个或多个框架部件，框架部件可以相对于彼此移动以允许传感器旋转。在一些实施例中，第一框架部件可以耦接到传感器。传感器可以相对于框架部件固定，或者可以围绕第一轴相对于框架部件旋转。可选地，第一框架部件可以由第二框架部件支撑。第一框架部件可以相对于第二框架部件旋转。在一些实施例中，第一框架部件围绕第二轴相对于第二框架部件旋转。第二轴可以不同于第一轴。第二框架部件可以由第三框架部件支撑。第二框架部件可以围绕第三轴相对于第三框架部件旋转。第三轴可以不同于第一轴和第二轴。云台可以包括电机组件，电机组件包括可以驱动框架部件移动的一个或多个电机。例如，第一电机可以驱动传感器相对于第一框架部件移动。第二电机可以驱动第一框架部件相对于第二框架部件移动。第三电机可以驱动第二框架部件相对于第三框架部件移动。
载体可以包括可以用于确定传感器相对于载运工具和/或惯性参照系的取向的一个或多个传感器。载体可以用于响应于指令控制传感器的旋转。可以借助于载运工具上机载的、或者在载运工具外部的外部装置或云计算基础设施处的一个或多个处理器来产生指令。在一些实施例中，可以基于载运工具的移动、载运工具的预测移动、环境条件、和/或外部对象来产生指令。
一个或多个传感器可以借助于一个或多个致动器相对于载运工具平移移动。在一些实施例中，可以使用可以允许传感器平移移动的导向件(guide)或轨道。传感器可以沿着导向件或轨道移动。一个或多个致动器可以驱动传感器沿着导向件或轨道移动。导向件或轨道可以实质上是直的，或可以是弯曲的或成弧形的。在一些实施例中，多个导向件或轨道可以相交，并且传感器的移动可以在交叉点处在导向件或轨道中的任何一个之间转轨。
图3B示出了根据本发明实施例的可以检测载运工具周围环境的各种传感器的可检测范围的附加示例。可以应用如本文其它地方所述的针对不同类型的传感器的各种可检测范围的任何变化。
在一个示例中，载运工具100可以包括感测系统，感测系统包括具有第一可检测范围103a(例如，180米或更多)的雷达、具有第二可检测范围103b(例如，7米或更多)的声纳、具有第三可检测范围103c(例如，100米或更多)的1080p相机、具有第四可检测范围103d(例如，200米或更多)的4k相机、和/或具有第五可检测范围的激光雷达单元。在一些实施例中，各种可检测范围可以是圆环扇区、圆形、锥形或任何其它形状或其组合。
在一些实施例中，可以提供感测系统，以辅助载运工具的自主操作。感测系统可以包括第一传感器集合和第二传感器集合。第一传感器集合可以包括两种或更多种不同类型的传感器。第一传感器集合可以取向为向前方向，并且被配置为检测载运工具前方的两个或更多个区域。区域可以彼此有重叠或不重叠。在一些实施例中，第一可检测区域可以完全位于第二可检测区域内。可选地，第一可检测区域的一部分位于第二可检测区域内，并且第一可检测区域的一部分位于第二可检测区域外。第一可检测区域和第二可检测区域可以具有不同的范围。例如，第二可检测区域的范围可以大于第一可检测区域的范围。第一可检测区域的面积或体积可以由第一传感器类型的扫描角度确定，第二可检测区域的面积或体积可以由第二传感器类型的扫描角度确定。第一传感器类型和第二传感器类型的扫描角度可以不同或相同。例如，第一传感器类型的扫描角度可以大于第二传感器类型的扫描角度。第一传感器类型的检测范围可以少于或等于第二传感器类型的检测范围。不同的传感器类型可以检测两个或更多个区域。第二传感器集合可以包括一种或多种类型的传感器，这些传感器取向于多个方向，并且被配置为检测载运工具周围或接近载运工具的一个或多个区域。第二传感器集合可以被配置为共同检测围绕载运工具至少180度、270度或360度的区域。与来自第二传感器集合的范围相比，第一传感器集合的范围可以延伸更加远离载运工具。在一些实施例中，第一传感器集合和第二传感器集合可以共享为相同类型的一些传感器。在一些实施例中，第一传感器集合和第二传感器集合可以共享一些共同的传感器(即，一个或多个传感器可以由第一传感器集合和第二传感器集合两者共同使用)。
在一些实施例中，第一传感器集合可以包括单目相机、远程激光雷达单元、和/或毫米波长雷达单元。在一些实施例中，一个或多个传感器可以向后取向。后向传感器可以包括单目相机、远程激光雷达单元、和/或毫米波长雷达单元。在一些实施例中，可以设置比后向传感器更多的前向传感器。在一些实施例中，一个或多个前向传感器可以以比后向传感器中的一个或多个传感器更高的分辨率或精度操作。例如，前向单目相机可以具有比后向单目相机更高的成像分辨率。例如，前向单目相机可以具有4K成像分辨率，而后向单目相机可以具有1080p成像分辨率。
本文描述的各种传感器可以适合在载运工具行进的环境中使用。在一些实施例中，一些传感器类型可以比其它传感器类型更适合于在各种环境条件下操作。例如，第一传感器类型可以更适合在第一类环境中使用，第二传感器类型可以更适合在第二类环境中使用。第一类环境和第二类环境可以相对于彼此具有至少一个不同的环境条件。例如，第一环境类型和第二环境类型可以具有不同的光照条件。第一环境类型和第二环境类型可以具有不同的对象密度、不同类型的对象、和/或不同大小的对象。第一类环境和第二类环境可以具有不同的可见范围。第一类环境和第二类环境可以具有不同的背景噪声或振动。第一类环境和第二类环境可以在空气中具有不同类型或程度的颗粒。第一类环境和第二类环境可以经历不同的温度。第一类环境和第二类环境可以经历不同的降水。例如，诸如雨、雪、冰雹、雨夹雪、雾、烟雾、灰尘、风、烟、云雾、一天中的时间、温度之类的因素可以影响环境的类型。
传感器可以选择性地打开或关闭，或用于各种环境条件。例如，第一传感器类型可以在第一环境类型下良好地操作，并且在第二环境类型下较差地操作。第二传感器类型可以在第二环境类型下良好地操作，并且在第一环境类型下较差地操作。当载运工具在第一类环境中操作时，第一传感器类型可以被配置为主动地检测区域。当载运工具在第一类环境中操作时，第二传感器类型可以被配置为是被动或非主动的。当载运工具在第二类环境中操作时，第二传感器类型可以被配置为主动地检测区域。当载运工具在第二类环境中操作时，第一传感器类型可以被配置为是被动或非主动的。在一些实施例中，第一传感器类型、第二传感器类型或两者可以被配置为在载运工具移动通过第一类环境和第二类环境时收集数据。在一个示例中，当载运工具移动通过第一环境类型时，处理来自第一类型的传感器的数据，而不处理来自第二类型的传感器的数据。当载运工具移动通过第二环境类型时，可以提供来自第二类型的传感器的数据，并且可以不处理来自第一类型的传感器的数据。来自一种或多种类型的传感器的数据可以或可以不被处理或分析，这取决于载运工具在其中操作的环境类型以及那些传感器类型对于该环境类型的适合性。在一些实施例中，一些传感器可以能够在多种环境类型中操作。当载运工具在多种环境类型中操作时，这种传感器可以正在收集数据和/或处理/分析数据。
在一些实施例中，载运工具上机载的一个或多个传感器可以检测载运工具正在其中操作的环境的类型。在其它实施例中，来自载运工具外部的数据可以用于确定载运工具正在其中操作的环境。例如，来自不在载运工具上的外部传感器的数据可以用于收集关于环境的信息。在线数据源(例如，天气报告)可以用于确定环境条件。在一些实施例中，外部数据源可以与载运工具正在导航的环境的地图结合使用以确定环境类型。当载运工具移动或静止时，环境类型可以随时间改变。可以周期地更新环境类型信息。
响应于检测到环境类型，可以评估一个或多个传感器类型在所检测到的环境类型内操作的适合性。在一些实施例中，当确定一个或多个传感器适合于在所检测到的环境类型内操作时，它们可以用于主动收集数据。可以处理和/或分析由传感器收集的数据。当确定一个或多个传感器不适合在所检测到的环境类型内操作时，它们可以是非主动的或用于被动地收集数据。在一些实施例中，它们可以收集数据，但是数据可以不被处理和/或分析。或者，被处理和/或分析的数据可以比来自适合于环境的传感器的数据不受重视或权重少。
图4提供了根据本发明实施例的激光雷达单元的示例，激光雷达单元可以是载运工具的感测组件的一部分。部分A示出了单个激光雷达单元120的示例。部分B示出了可以被共同支撑的多个激光雷达的示例。部分C示出了多个激光雷达的可检测范围的示例。
部分A示出了单个激光雷达单元120的示例。载运工具感测组件可以包括单个激光雷达单元或多个激光雷达单元。激光雷达单元可以是任何类型的激光雷达。在一些实施例中，激光雷达单元可以是单线激光雷达。激光雷达单元可以是扫描激光雷达。可选地，载运工具上的一个或多个激光雷达单元可以不是多线单片激光雷达单元的一部分。在一些实施例中，载运工具上的激光雷达单元都不是多线单片激光雷达单元的一部分。在一些实施例中，任何类型的激光雷达单元可以带有任何数量的线(例如，1、2、4、8、16、24、32或64线)。激光雷达单元可以是多线激光雷达单元。激光雷达单元可以以任何采样频率操作。例如，激光雷达单元可以每秒发射至少5K、10K、20K、30K、50K、75K、100K、200K或500K个脉冲。
激光雷达单元可以具有任何可检测范围。在一个示例中，激光雷达单元可以具有实质上锥形的可检测范围，其中锥形的尖端位于激光雷达单元的位置处。激光雷达单元可以具有主方向，该主方向可以与锥形的中心相交。锥形可以具有任何视场(FOV)。在一些实施例中，激光雷达单元可以具有至少15度、30度、45度、55度、57度、60度、75度、90度、120度、150度、180度、210度、240度、270度、300度、330度、或360度的FOV。激光雷达单元可以具有角度范围少于本文提供的任何值或落入本文提供的任何两个值之间的范围内的FOV。激光雷达单元可以扫描可检测范围内的任何地方。激光雷达单元可以以某一速率控制所发射的激光的方向以覆盖可检测范围(例如，所述的锥形可检测范围)。
一个或多个激光雷达单元可以由载运工具支撑。激光雷达单元可以以任何方式分布在载运工具上。在一些实施例中，多个激光雷达单元可以分布在载运工具上以检测载运工具周围的360度区域。多个激光雷达单元可以被布置为使得激光雷达单元集合由共同支撑件支撑。
部分B示出了在共同支撑件102上的多个激光雷达单元122-1、122-2、122-3的示例。激光雷达单元集合122可以包括位于共同支撑件上的两个或更多个激光雷达单元。激光雷达单元集合可以包括在共同支撑件上的一个或更多个、两个或更多个、三个或更多个、四个或更多个、五个或更多个、六个或更多个、七个或更多个、或八个或更多个的激光雷达单元。该集合中的激光雷达单元可以集聚在一起。
激光雷达单元可以被布置为指向彼此不同的方向。集合内的每个激光雷达单元的主方向可以彼此不同。每个激光雷达单元的主方向可以不平行。集合中的每个激光雷达单元的主方向可以或者可以不在公共点处相交。激光雷达单元可以指向彼此。备选地，激光雷达单元可以彼此背向指向。
激光雷达单元可以具有相对于彼此的固定位置。共同支撑件可以提供支撑结构，该支撑结构可以将激光雷达单元保持在相对于彼此的固定位置处。组内的每个激光雷达单元可以固定地附接到其相应的支撑结构。在载运工具操作期间，激光雷达单元可以保持在相对于彼此的固定位置处。在载运工具操作期间，激光雷达单元可以保持在相对于载运工具本体的固定位置处。在载运工具操作期间，激光雷达单元可以保持在相对于支撑结构的固定位置处。借助于被配置为刚性地固定激光雷达单元的固定装置，激光雷达单元可以保持固定。在载运工具操作期间，组内的激光雷达单元可以被配置为相对于彼此移动。载运工具的移动可以导致相对于彼此和/或相对于环境有少于5度、3度、2度、1度、0.5度或0.1度的变化。少于所提供的度数的这种移动可以构成激光雷达单元实质上固定。支撑结构可以由实质上刚性的材料形成。在一些备选实施例中，激光雷达单元可以相对于彼此移动。在载运工具操作期间，激光雷达单元可以相对于载运工具本体移动。支撑结构可以包括一个或多个铰链、球形接头、轨道、滑块、槽、或可以允许激光雷达单元相对于彼此移动的其它机构。支撑结构可以包括一个或多个致动器，其可以使激光雷达单元相对于彼此移动。在一些实施例中，激光雷达单元可以由支撑结构上的载体支撑。载体可以是本文其它地方所述的云台。载体可以是单轴云台、双轴云台或三轴云台。激光雷达可以相对于支撑结构围绕偏航轴、俯仰轴和/或横滚轴旋转。在一些实施例中，在某个时刻，载体可以将激光雷达单元固定到相对于彼此、支撑结构、和/或载运工具本体的固定位置处。在一些实施例中，载体可以允许相对于支撑结构、载运工具或惯性参照系围绕一个、两个或更多个自由度移动，以维持相同集合内的激光雷达单元之间的固定布局。激光雷达单元可以在相同方向上旋转大约相同的量。在一些情况下，可以借助一个或多个连杆机构来维持固定布局。连杆机构可以包括串联或并联连杆机构。连杆机构可以是多杆连杆机构。借助于运动耦接装置可以维持固定布局。可以通过以刚性方式机械地耦接激光雷达单元来维持固定布局。可以实时控制激光雷达单元的布局。可以在载运工具操作期间控制激光雷达单元的布局。
激光雷达单元可以保持在共同支撑件的凹槽或套件内。激光雷达单元可以借助于支架或其它类型的紧固件附接到共同支撑件。激光雷达单元可以完全或部分地嵌入共同支撑件中。共同支撑件上的激光雷达单元可以位于彼此靠近的位置处。在一些实施例中，在相同集合内的相邻激光雷达单元之间可以存在少于30cm、20cm、15cm、10cm、7cm、5cm、3cm、2cm、1cm、0.5cm或0.1cm的距离。激光雷达单元可以由支撑结构支撑。激光雷达单元的重量可以由支撑结构承担。
部分C示出了在共同支撑件102上的激光雷达单元122-1、122-2、122-3的集合122的示例。每个激光雷达单元可以包括可检测范围。每个激光雷达单元相对于各个激光雷达单元的可检测范围可以相同。例如，每个激光雷达单元可以具有相同的可检测距离和/或FOV角。在一个示例中，每个激光雷达单元具有57度的FOV、或如本文其它地方所述的任何其它值。每个激光雷达单元相对于惯性参照系(例如，环境)的可检测范围可以彼此不同。这种差异可以是由于激光雷达单元彼此间的相对放置而造成的。
在一些实施例中，激光雷达单元可以布置在共同支撑件上，使得它们处于相同平面中。激光雷达单元可以实质上在相同的横向平面上。激光雷达单元可以在地面上的相同高度处。激光雷达单元可以处于在载运工具上的相同的高度处。激光雷达单元可以被布置为使得可检测范围主要是横向定向的。激光雷达单元可以实质上是水平取向的。激光雷达单元的方向可以有或者可以没有竖直分量。激光雷达单元的方向的竖直分量可以少于或等于约15度、10度、5度、3度或1度。
相同集合内的激光雷达单元可以被布置为全部具有相同度数的竖直取向。例如，所有激光雷达单元可以被布置为具有零度的竖直取向。在另一示例中，集合内的所有激光雷达单元可以略微向上成角度，或者可以略微向下成角度。备选地，相同集合内的激光雷达单元可以具有略微不同的竖直取向。例如，集合内的第一激光雷达单元可以略微向上成角度，而另外两个激光雷达单元略微向下成角度或水平平直。在另一示例中，两个激光雷达单元可以略微向上成角度，而第三激光雷达单元可以略微向下成角度或水平平直。在一些实施例中，相同集合内或不同集合之间的激光雷达单元可以具有略微不同的竖直取向或实质上不同的竖直取向。竖直取向的变化允许激光雷达单元充分地检测不同高度处的不同类型的对象(例如，可以低于某一高度且不易被检测到的儿童、诸如宠物之类的小动物、自行车、摩托车、诸如18轮车的卡车、带尾门的卡车等)。
集合内的激光雷达单元的可检测范围可以彼此有重叠或不重叠。激光雷达单元可以被布置为使得它们的FOV可以或可以不重叠。在一些实施例中，它们的FOV可以重叠小于15度、10度、5度、3度、2度、或1度。在一些情况下，它们的FOV可以重叠多于本文提供的任何值。FOV可以在本文提供的任何两个值之间的范围内重叠。在一些实施例中，可检测范围可以根本不重叠。
集合内的多个激光雷达单元的可检测范围可以共同形成针对该集合的可检测范围。例如，如果每个激光雷达单元具有带有57度FOV的可检测范围，并且激光雷达单元被布置为使得可检测范围彼此紧挨相邻以形成单个连续范围而实质上没有重叠，则共同可检测范围可以有约171度的FOV。在一些实施例中，相同集合内的激光雷达单元可以移位约30度、40度、45度、50度、55度、57度、60度、65度、70度、80度、90度或任何其它值。相同集合内的激光雷达单元可以移位这些度数值中的至少任何一个、不超过这些度数值中的任何一个、或者位移度数落在这些度数值中的任何度数值之间的范围内。集合内的激光雷达单元可以具有被布置为形成针对该集合的单个连续可检测范围的可检测的范围。备选地，可以存在可以形成针对该集合的多个不连续可检测范围的间隙。通过改变集合内的至少一个激光雷达单元的位置，可以实时调整集合内的激光雷达单元的共同视场。这种调整可以在载运工具操作时发生。这种调整可以实时发生。
在一些实施例中，可以在相同集合的激光雷达单元的可检测范围之间设置重叠。激光雷达单元可以以增加激光雷达单元的相邻可检测范围之间的重叠的方式布置。增加的重叠可以包括至少1度、3度、5度、10度、15度、30度、45度、60度、75度或90度的重叠。
在一些实施例中，激光雷达单元集合可以具有至少30度、45度、60度、90度、120度、135度、150度、160度、171度、180度、210度、240度、270度、300度、330度或360度的共同视场。
图5示出了根据本发明实施例的布置在载运工具上的多组激光雷达单元的示例。载运工具100可以包括多个激光雷达单元集合，这些激光雷达单元集合被布置以形成多激光雷达模块。每个激光雷达单元集合可以是载运工具的激光雷达单元子集。每个激光雷达单元子集可以包括两个或更多个激光雷达单元。每个子集中的每个激光雷达单元可以不与其它子集中的激光雷达单元重叠。在一些实施例中，没有两个激光雷达单元子集可以彼此共享激光雷达单元。激光雷达单元可以属于单个激光雷达单元。
可以在载运工具本体上布置任何数量的激光雷达单元。在一些实施例中，少于或等于约1、2、3、4、5、6、7、8、9、10、12、15、20、25、30、35、40、50或100个激光雷达单元用于覆盖载运工具周围的期望可检测区域。可选地，可以使用多于本文提供的任何数量的激光雷达单元。在一些实施例中，用于覆盖期望可检测范围的激光雷达单元的数量可以落在这些数量中的任何两个数量之间的范围内。
驾驶组件可以包括可以被配置为由载运工具本体支撑的多个激光雷达单元。激光雷达单元可以共同被配置为检测接近载运工具本体的或载运工具本体周围的外围区域。激光雷达单元可以用于在驾驶组件耦接到载运工具本体时辅助自主驾驶。多个激光雷达单元中的每一个可以具有任何可检测范围角度，例如本文其它地方描述的那些角度(例如，少于180度)。激光雷达单元可以包括：第一激光雷达单元子集，其包括相对于彼此具有固定布局的至少两个激光雷达单元；以及，第二激光雷达单元子集，其包括相对于彼此具有固定布局的至少两个激光雷达单元。第一激光雷达单元子集和第二激光雷达单元子集可以支撑在载运工具本体的不同区域上，并且可以被配置为协同工作以检测接近载运工具本体的或载运工具本体周围的、或者接近载运工具本体的一部分的或载运工具本体的一部分的周围的外围区域。激光雷达单元子集可以是激光雷达单元的分组或集群。
可以提供任何数量的激光雷达单元分组。例如，可以提供一个或更多个、两个或更多个、三个或更多个、四个或更多个、五个或更多个、六个或更多个、七个或更多个、八个或更多个、九个或更多个、或者十个或更多个的激光雷达单元分组。每个激光雷达单元分组可以具有共同支撑件。激光雷达单元分组可以被布置为使得多个激光雷达单元集群布置在载运工具上。
每个激光雷达单元分组可以具有相同的特性。例如，每个激光雷达单元分组可以具有相对于该分组相同的可检测范围。每个激光雷达单元分组可以具有相同的最大距离或FOV角度。备选地，一个或多个激光雷达单元分组可以具有不同的特性。一个或多个激光雷达单元分组可以具有不同的可检测范围。一个或多个激光雷达单元分组可以具有不同的最大距离或FOV角度。
在一个示例中，可以在载运工具上设置四组激光雷达单元122、124、126、128。本文的任何描述可以应用于载运工具上的任何数量个组的激光雷达单元。激光雷达单元组可以被布置为使得在激光雷达单元组之间提供重叠。在任何两个相邻的激光雷达单元组之间可以提供或可以不提供重叠。在一些实施例中，两组激光雷达单元(例如，相邻的激光雷达单元组)之间的重叠可以是至少5度、15度、30度、45度、60度、70度、80度、90度、105度、120度、150度、180度、210度、240度、270度、或360度。可选地，两组激光雷达单元之间的重叠可以少于本文提供的任何值或者处于落在本文提供的任何两个激光雷达单元之间的范围内。激光雷达单元组之间的重叠程度可以足以用于传感器校准和/或传感器校准的实时误差检测。
每组传感器可以具有针对该组中的激光雷达单元的支撑件。每组激光雷达单元可以包括多个激光雷达单元。例如，第一支撑结构可以支撑一个、两个、三个或更多个激光雷达单元，第二支撑结构可以支撑一个、两个、三个或更多个激光雷达单元，第三支撑结构可以支撑一个、两个、三个或更多个激光雷达单元，和/或第四支撑结构可以支撑一个、两个、三个或更多个激光雷达单元。每个支撑结构可以彼此分离。支撑结构可以在载运工具上相对于彼此实质静止。备选地，支撑结构可以相对于彼此移动。在一些实施例中，载运工具的操作可以引起可以使支撑结构相对于彼此略微移动的运动。来自不同支撑结构的数据可以相对于彼此而被校准。
在一些实施例中，支撑结构可以相对于载运工具本体移动。支撑结构可以相对于载运工具本体旋转或滑动。支撑结构可以刚性地固定到载运工具本体。支撑结构可以经由一个或多个阻尼器(例如，减震机构)附接到载运工具本体。阻尼器的示例可以包括弹簧、弹性材料(例如，橡胶、泡沫)、气动阻尼器、或液压阻尼器。支撑结构可以借助于载体(例如，本文其它地方所述的云台)附接到载运工具。
在一些实施例中，第一支撑结构可以相对于第二支撑结构移动。由第一支撑结构支撑的第一组激光雷达单元可以相对于由第二支撑结构支撑的第二组激光雷达单元移动。激光雷达单元组可以移动以聚焦于载运工具周围区域的预定义部分上。激光雷达单元组可以在载运工具操作时移动。激光雷达单元组可以被配置为借助于一个或多个载体移动。一个或多个载体可以实现支撑结构的旋转，或者可以实现各个激光雷达单元的旋转。在一些实施例中，区域的预定义部分可以具有与载运工具周围区域的其余部分的对象密度不同的对象密度。预定义区域可以具有比该区域的其余部分的对象密度更高的对象密度。对象密度可以基于空间体积内的对象的数量。对象密度可以基于由一个或多个对象占据的空间体积的百分比。对象密度可以基于未被一个或多个对象占用的、具有满足最小阈值的连续体积的空间体积的百分比。
激光雷达单元组可以相对于彼此移动，以调整激光雷达单元组之间的视场重叠。第一组激光雷达单元可以相对于第二组激光雷达单元移动，以调整第一组激光雷达单元和第二组激光雷达单元之间的视场重叠。在一些实施例中，可以实时调整视场重叠。可以在载运工具操作期间调整视场重叠。在一些实施例中，可以调整视场重叠以补偿载运工具操作时的盲点。在一些实施例中，可以基于载运工具的活动(例如，方向上的改变或预测改变)进行调整。在一些实施例中，可以基于载运工具周围的条件(例如，来自载运工具的特定侧的交通)进行调整。
激光雷达单元的共同视场可以是通过使激光雷达单元组相对于彼此移动可调的。激光雷达单元的共同视场可以是通过改变第一组激光雷达单元相对于第二组激光雷达单元的位置可调的。多组激光雷达单元的共同视场可以与激光雷达单元组的共同检测范围成反比。在一些实施例中，激光雷达单元组的共同视场的增加可以使得激光雷达单元组的共同检测范围减小。在载运工具操作时，共同视场和检测范围可以是实时可调的。这可以取决于共同视场的宽度和/或正被选择的共同检测范围的距离。
在一些实施例中，载运工具的自主驾驶组件可以包括被配置为由载运工具本体支撑的多个激光雷达单元，其中激光雷达单元可以共同被配置为检测载运工具本体周围的360度区域、或如本文其它地方所提供的任何其它度数的区域，以在所述驾驶组件耦接到载运工具本体时辅助自主驾驶。多个激光雷达单元可以包括：第一激光雷达单元子集，其包括由第一支撑结构支撑的至少两个激光雷达单元；以及，第二激光雷达单元子集，其包括由第二支撑结构支撑的至少两个激光雷达单元。第一支撑结构和第二支撑结构可以彼此分离。可选地，多个激光雷达单元可以包括第三激光雷达单元子集，其包括由第三支撑结构支撑的至少两个激光雷达单元。第三支撑结构可以与第一支撑结构和第二支撑结构分离。多个激光雷达单元可以包括第四激光雷达单元子集，其包括由第四支撑结构支撑的至少两个激光雷达单元。第四支撑结构可以与第一支撑结构、第二支撑结构、和/或第三支撑结构分离。在一些实施例中，激光雷达单元子集可以取向为从载运工具的不同角起始沿对角线面向外。例如，第一激光雷达单元子集可以取向为沿着从载运工具的第一角延伸的对角线面向外。类似地，第二激光雷达单元子集可以取向为沿着从载运工具的第二角延伸的对角线面向外，第三激光雷达单元子集可以取向为沿着从载运工具的第三角延伸的对角线面向外，并且第四激光雷达单元子集可以取向为沿着从载运工具的第四角延伸的对角线面向外。从载运工具的不同角延伸的对角线可以或可以不在同一水平面上。在一些情况下，两个或更多个对角线可以位于共同的轴上。备选地，所有对角线可以位于不同的轴上。对角线可以例如从载运工具的每个相应的角处起始，以约45度延伸。对角线可以以锐角或倾斜角度延伸。在一些实施例中，第一激光雷达单元子集可以主要取向为以45度沿着从载运工具的第一角延伸的对角线背离载运工具，第二激光雷达单元子集可以主要取向为以135度沿着从载运工具的第二角延伸的对角线背离载运工具，第三激光雷达单元子集可以主要取向为以225度沿着从载运工具的第三角延伸的对角线背离载运工具，和/或第四激光雷达单元子集可以主要取向为以315度沿着从载运工具的第四角延伸的对角线背离载运工具。
如上所述，每个激光雷达单元子集可以由其相应的支撑结构支撑。在一些实施例中，两个或更多个激光雷达单元子集可以由相同或单个支撑结构支撑。例如，第一激光雷达单元子集和第二激光雷达单元子集可以由一个支撑结构支撑，并且第三激光雷达单元子集和第四激光雷达单元子集可以由另一支撑结构支撑。第一激光雷达单元子集和第二激光雷达单元子集可以刚性地附接到一个支撑结构。类似地，第三激光雷达单元子集和第四激光雷达单元子集可以刚性地附接到另一支撑结构。上述支撑结构可以位于载运工具的不同侧，并且可以是相对于彼此固定或可移动的。
在一些实施例中，所有激光雷达单元子集可以支撑在相同支撑结构上。例如，第一激光雷达单元子集、第二激光雷达单元子集、第三激光雷达单元子集和第四激光雷达单元子集可以支撑在附接或耦接到载运工具的单个支撑结构上。单个支撑结构可以设置为框架、板、桁架或薄板，并且可以由刚性材料(例如，金属或纤维复合材料)形成。支撑结构可以刚性地耦接到载运工具的底盘。每个激光雷达单元子集可以附接到单个支撑结构的不同端或角。在一些实施例中，单个支撑结构可以具有矩形形状，并且第一激光雷达单元子集、第二激光雷达单元子集、第三激光雷达单元子集和第四激光雷达单元子集可以附接到矩形形状支撑结构的相应四个角。每个激光雷达单元子集可以刚性地附接或可移动地附接到支撑结构的每个相应的角。在一些实施例中，所有激光雷达单元子集可以刚性地附接到相同(或单个)支撑结构，使得所有激光雷达单元子集相对于彼此具有固定的空间布局。可以始终维持激光雷达单元子集的固定空间布局，例如甚至在载运工具运动期间也是如此。在一些情况下，单个支撑结构不需要具有矩形形状，并且可以形成为各种规则形状(例如，三角形、五边形、六边形等)或不规则形状。在这些情况下，激光雷达单元子集可以附接到每个角。例如，当支撑结构被形成为具有六边形形状时，六个不同的激光雷达单元子集可以分别附接到六边形形状的支撑结构的六个角。在一些实施例中，单个支撑结构可以被形成为具有实质上遵循载运工具本体外形或轮廓的形状。
在一些另外的实施例中，不需要使用一个或多个支撑结构来支撑激光雷达单元子集。在一些情况下，省略支撑结构会是有利的，并且有助于减少载运工具的重量和成本。一个或多个激光雷达单元子集可以直接附接到载运工具本体而没有任何中间支撑结构。在一些实施例中，所有激光雷达单元子集可以直接附接到载运工具本体。例如，第一激光雷达单元子集可以直接附接到载运工具本体的第一角，第二激光雷达单元子集可以直接附接到载运工具本体的第二角，第三激光雷达单元子集可以直接附接到载运工具本体的第三角，并且第四激光雷达单元子集可以直接附接到载运工具本体的第四角。如本文其它地方所述，第一激光雷达单元子集可以主要取向为沿着从载运工具的第一角起始的第一对角线朝向外，第二激光雷达单元子集可以主要取向为沿着从载运工具的第二角起始的第二对角线朝向外，第三激光雷达单元子集可以主要取向为沿着从载运工具的第三角起始的第三对角线朝向外，并且第四激光雷达单元子集可以主要取向为沿着从载运工具的第四角起始的第四对角线朝向外。
激光雷达单元组可以被布置为指向彼此不同的方向。激光雷达单元组的主方向可以位于这些激光雷达单元共同的FOV的中心处。每组激光雷达单元的主方向可以彼此不同。每组激光雷达单元的主方向可以不平行。集合中的每个激光雷达单元的主方向可以或者可以不在公共点处相交。激光雷达单元组可以指向为彼此远离。备选地，激光雷达单元组可以朝向彼此指向。
在一些实施例中，激光雷达单元组可以被布置为使得它们各自的共同支撑件处于相同平面中。激光雷达单元组可以在实质上相同的横向平面上。支撑结构可以在实质上相同的横向平面上。备选地，激光雷达单元组可以被布置为使得它们各自的共同支撑件位于不同的平面上。两个或更多个平面可以彼此平行。备选地，两个或更多个平面不需要是平行的，并且可以彼此相交。在一些实施例中，激光雷达单元组可以被布置为使得一些共同支撑件在相同平面上，而其余的共同支撑件可以在不同的平面上。激光雷达单元组可以在距离地面以上的相同高度处。支撑结构可以在距离地面以上的相同高度处。激光雷达单元组可以在载运工具上处于相同的高度处。支撑结构可以在载运工具上处于相同的高度处。激光雷达单元组可以被布置为使得可检测范围主要是横向定向的。激光雷达单元组可以实质上水平取向。激光雷达单元组的主方向可以或可以没有竖直分量。激光雷达单元组的方向的竖直分量可以少于或等于约15度、10度、5度、3度或1度。
每组激光雷达单元可以具有相同的布置。例如，每组激光雷达单元可以具有相同数量的激光雷达单元和/或相同类型的激光雷达单元。每组激光雷达单元可以具有相同的支撑结构。每组激光雷达单元可以具有相对于激光雷达单元和/或支撑结构的相同的可检测范围。备选地，两组或更多组激光雷达单元可具有彼此不同的特性(例如，不同数量、不同类型的激光雷达单元、不同的支撑结构、不同的可检测范围等)。
激光雷达单元组可以布置在载运工具上，使得它们相对于彼此具有90度的偏移。例如，第一组可以具有相对于第二组的主方向为约90度的主方向。第二组可以具有相对于第三组为约90度的主方向。第三组可以具有相对于第四组为约90度的主方向。第四组可以具有相对于第一组为约90度的主方向。根据激光雷达单元组，它们可以相对于彼此具有不同度数的偏移。例如，如果有N组激光雷达单元，则激光雷达单元组可以相对于彼此具有360/N度的偏移。激光雷达单元组可以相对于彼此均匀地间隔开或成角度。备选地，它们不需要相对于彼此均匀地间隔开或成角度。
在一些实施例中，激光雷达单元组可以位于载运工具的角处或附近。激光雷达单元组可以位于载运工具的上部角(例如，载运工具的顶角)处或附近。激光雷达单元组可以位于载运工具的远角处或附近(例如，载运工具的主本体)。激光雷达单元组可以位于前保险杠角和/或后保险杠角处或附近。激光雷达单元组可以位于前引擎罩角和/或后行李箱角处或附近。可以在两个侧面结合在一起的地方设置载运工具的角。可以在具有不同取向的两个侧面彼此相交的地方处设置载运工具的角。在一些实施例中，可以在具有不同取向的三个侧面彼此相交的地方处设置载运工具的角。例如，可以在前表面、右表面和上表面相交的地方处设置右上前角。
激光雷达单元组可以被定向为偏移载运工具的运动方向约45度(或其倍数)。激光雷达单元组可以被定向为偏移载运工具长度(例如，从载运工具的前部F延伸到后部R)约45度。例如，第一组激光雷达122可以从沿着载运工具长度延伸的轴偏移约315度，第二组124可以从沿着载运工具长度延伸的轴偏移约45度，第三组126可以从沿着载运工具长度延伸的轴偏移约225度，和/或第四组128可以从沿着载运工具长度延伸的轴偏移约135度。激光雷达单元组可以被定向为朝向载运工具的角。
图6示出了根据本发明实施例的具有多组激光雷达单元122、124、126、128的载运工具100的示例。激光雷达单元组可以位于载运工具上的任何位置处。激光雷达单元可以由载运工具本体支撑。激光雷达单元的重量可以由载运工具本体承担。激光雷达单元可以或可以不直接接触载运工具本体。激光雷达单元可以随载运工具本体一起移动。激光雷达单元可以相对于载运工具本体固定。
在一些实施例中，激光雷达单元可以位于载运工具的顶棚处或附近。例如，激光雷达单元可以位于载运工具的顶部车顶上背离载运工具。激光雷达单元可以位于载运工具的舱室顶部处或附近。激光雷达单元可以位于载运工具的本体板上、外部或内部。激光雷达单元可以位于载运工具的顶角处。激光雷达单元可以位于载运工具的舱室的顶角处。激光雷达单元可以位于载运工具的顶棚的顶角处。例如，激光雷达单元可以位于载运工具的客舱的右上角前、右上后角、左上后角和/或左上前角处。激光雷达单元可以位于载运工具的操作者或乘客的头部上方或与之对齐的位置处。激光雷达单元组可以彼此背离。激光雷达单元组可以面向外而朝向载运工具周围的环境。激光雷达单元可以或可以不位于载运工具的最高点处或附近。激光雷达单元可以位于载运工具的靠上的50％、40％、30％、25％、20％、15％、10％、5％、3％或1％的部分处或附近。
备选地或附加地，激光雷达单元可以位于载运工具的底部部分处或附近。激光雷达单元可以位于载运工具的靠下的50％、40％、30％、25％、20％、15％、10％、5％、3％或1％的部分处或附近。激光雷达单元可以位于整个载运工具本体的角处或附近。激光雷达单元可以位于载运工具的保险杠处或附近。激光雷达单元可以位于载运工具的前板、载运工具的后板、和/或载运工具的侧板处或附近。激光雷达单元可以在载运工具的前灯或后灯附近的高度处或在与前灯或后灯对齐的高度处。激光雷达单元可以位于载运工具的引擎罩和/或行李箱处或附近。激光雷达单元可以位于载运工具的引擎罩和/或行李箱的角处或附近。
激光雷达单元组可以位于载运工具的一个或多个角处。例如，第一组激光雷达单元可以位于载运工具的第一角处，而第二组激光雷达单元可以位于载运工具的第二角处。第一角和第二角可以位于载运工具的相同侧或载运工具的不同侧。第一角和第二角可以位于载运工具的相对侧或载运工具的相邻侧。角可以位于载运工具的两个横向相邻侧的相交处或由其限定。可以存在位于载运工具的第三角处的第三组激光雷达单元和位于载运工具的第四角处的第四组激光雷达单元。第三角和第四角可以位于载运工具的第一角和第二角的对面。第一组激光雷达单元和第二组激光雷达单元可以位于载运工具的相同侧或不同侧。第一组激光雷达单元和第二组激光雷达单元可以由载运工具的相同本体板或载运工具的不同本体板支撑。第一组激光雷达单元可以位于载运工具的第一侧，第二组激光雷达单元可以位于载运工具的第二侧。第一侧和第二侧可以彼此相邻，或者可以彼此相对。第三组激光雷达单元和第四组激光雷达单元可以分别位于载运工具的第三侧和第四侧。在一些实施例中，第一侧、第二侧、第三侧和第四侧中的至少两个可以彼此相对。第一侧、第二侧、第三侧和第四侧中的至少两个可以彼此相邻。
激光雷达单元组可以被取向为使得它们实质上从载运工具的角面向外。两组或更多组激光雷达单元可以实质上从在载运工具的前部F处的角面向外，和/或两组或更多组激光雷达单元可以实质上从在载运工具后部R处的角面向外。备选地或附加地，激光雷达单元组可以被取向为使得它们面向载运工具的主方向。例如，一组或多组激光雷达单元可以实质上面向载运工具的前部，一组或多组激光雷达单元可以实质上面向载运工具的后部，一组或多组激光雷达单元可以实质上面向载运工具的右侧，和/或一组或多组激光雷达单元可以实质上面向载运工具的左侧。激光雷达单元组可以彼此背离。激光雷达单元组可以背离载运工具的中心。在一些实施例中，至少四组激光雷达单元可以彼此背离。在一些情况下，四组激光雷达单元中的至少两组可以取向为彼此正交的方向。可选地，四组激光雷达单元中的至少两组可以取向为彼此平行的方向。备选地或附加地，四组激光雷达单元中的至少两组可以取向为彼此倾斜的方向。
一组或多组激光雷达单元可以实质上水平地面向。一组或多组激光雷达单元可以实质上横向地面向外。一组或多组激光雷达单元可以或可以不具有关于其主方向的竖直分量。一组或多组激光雷达单元可以具有小于或等于约30度、15度、10度、5度、3度、或1度、或本文其它地方提供的任何其它度数值的竖直分量。激光雷达单元组可以向下、向上成角度、或水平成直线。
每组激光雷达单元可以包括在共同支撑件上的多个激光雷达单元。支撑结构可以位于载运工具的本体板、载运工具的本体板的一部分上，或者可以位于载运工具的本体板内。支撑结构可以位于载运工具底盘上，或者可以是载运工具底盘的一部分。支撑结构可以是或可以不是从载运工具的其余部分可移除的。支撑结构可以永久地固定到载运工具或者与载运工具成一体。支撑结构可以相对于载运工具的其余部分具有固定位置。支撑结构可以相对于载运工具板和/或底盘固定。支撑结构可以或可以不相对于载运工具板和/或底盘可移动。支撑结构可以或可以不包括致动器，致动器使支撑结构相对于载运工具板和/或底盘移动。
如所示那样将激光雷达单元成集群可以允许使用简单的激光雷达单元在载运工具周围形成宽检测范围。例如，单线激光雷达可以用于检测载运工具周围的至少180度、270度、360度、或如本文其它地方所述的任何其它度数值。具有小于55度、57度或60度FOV的激光雷达单元可以用于检测载运工具周围的区域。在一些实施例中，可以使用少于30、25、20、18、16、15、14、13、12、10、8、6或4个激光雷达单元来检测期望的角度范围，同时这些激光雷达单元可以具有如本文其它地方所述的任何值的FOV。在一些实施例中，可以使用少于10、8、6、5、4、3或2组激光雷达单元。激光雷达单元可以被布置为使得每组(例如，集群)激光雷达单元可以与相邻的激光雷达单元组重叠。重叠程度可以是足够的，使得即使在特定激光雷达单元中存在错误，也可以通过重叠来补偿错误。
将激光雷达单元成集群会是有利的，因为相同组内的激光雷达单元之间的相对位置可以固定并且是已知的。相同组内的激光雷达单元可以由相同的支撑结构支撑，这可以保持激光雷达单元之间的位置已知且固定。因此，在载运工具操作期间，可以不需要在相同组内的激光雷达单元之间进行校准。在一些实施例中，可以在制造载运工具时在相同组内的激光雷达单元之间进行校准。可以在给载运工具加电和/或载运工具初始化时在相同组内的激光雷达单元之间进行校准。对激光雷达单元进行校准可以响应于检测到的事件而发生。在利用激光雷达单元组之前可以进行校准。校准可以是固有校准。在载运工具的常规操作期间可以不需要对相同组内的激光雷达单元进行校准。
可以在不同激光雷达单元组之间进行校准。由于激光雷达单元集群成组，因此激光雷达单元各自是分离支撑的情况相比，可以需要更少的校准。在一些实施例中，可以在制造载运工具时在不同激光雷达单元组之间进行校准。可以在给载运工具加电和/或载运工具初始化时在不同激光雷达单元组之间进行校准。校准不同激光雷达单元组可以响应于检测到的事件而发生。在载运工具的常规操作期间可以需要校准不同激光雷达单元组。校准可以定期进行。然而，将激光雷达单元成集群会是有利的，与激光雷达单元各自分离支撑的情况相比，集群需要更少的校准。例如，如果12个激光雷达单元分离支撑，则它们可以各自需要彼此校准。如果将12个激光雷达单元集群成四组，则可以只需要在四组之间进行校准。
与多线激光雷达单元相比，单线激光雷达单元可以是低成本且易于实现的。在一些实施例中，作为本文所述的激光雷达单元组的备选或附加，多线激光雷达单元可以用于检测载运工具周围的环境。例如，可以使用64线激光雷达单元(例如，Velodyne 64线激光雷达单元)。在一些实施例中，单线激光雷达单元和多线激光雷达单元的组合可以单独地或一起用在载运工具上以用于环境感测。
图7示出了根据本发明实施例的包括远程激光雷达单元129在内的多激光雷达模块的示例。在一些实施例中，远程激光雷达单元可以具有窄视场(FOV)，但不限于此。可以根据激光雷达的光学配置来配置从针对远程激光雷达的从窄到宽的不同视场。多激光雷达模块可以包括具有第一范围的一个或多个激光雷达单元，并且可以包括具有第二范围的一个或多个激光雷达单元。第二范围可以具有比第一范围更大的最大距离。
例如，多激光雷达模块可以包括具有第一范围的多组激光雷达单元。第一范围可以具有如本文其它地方提供的任何距离值。在一些实施例中，第一范围可以具有约80的最大距离。多激光雷达模块可以包括具有第二范围的一个或多个附加激光雷达单元。第二范围可以具有如本文其它地方提供的任何距离值。在一些情况下，第二范围可以具有约200m的最大距离。在一些实施例中，第二范围可以具有比第一范围更大的最大距离。第二范围的最大距离可以比第一范围的最大距离大至少10％、20％、30％、40％、50％、75％、100％、150％、200％、300％或500％。第一范围和第二范围可以具有相同的FOV角，或者可以具有不同的FOV角。具有第一范围的激光雷达单元的FOV角可以大于、少于或等于具有第二范围的激光雷达单元的FOV角。在一些实施例中，远程激光雷达单元可以具有比其它类型的激光雷达单元更窄的FOV。第二范围可以具有比第一范围更窄的FOV角。
如所示，远程激光雷达单元129可以是向前的。远程激光雷达单元可以具有朝前的主方向，并且从载运工具的前侧面向外。远程激光雷达单元可以或可以不偏离其主方向。远程激光雷达单元可以实质上横向定向。远程激光雷达单元可以或可以不具有关于其主方向的竖直分量。远程激光雷达单元可以具有相对于水平方向所成的角度在30度、15度、10度、5度、3度、1度、或任何其它度数值内的竖直方向。远程激光雷达单元可以面向任何方向。作为向前的替代或附加，远程激光雷达单元可以向后、向右侧、向左侧、向上、和/或向下。远程激光雷达单元可以具有比其它激光雷达单元更大的范围。远程激光雷达单元可以具有比其它激光雷达单元更窄或更宽的视场。远程激光雷达单元可以具有比激光雷达单元分组的共同视场更窄或更宽的视场。远程激光雷达单元可以具有比所有其它激光雷达单元的共同视场更窄的视场。
远程激光雷达单元可以具有固定位置。例如，远程激光雷达单元可以相对于载运工具保持面向相同的方向。远程激光雷达单元可以相对于其它激光雷达单元保持面向相同的方向。在一些备选实施例中，远程激光雷达单元可以移动。远程激光雷达单元可以相对于载运工具移动。远程激光雷达单元可以相对于其它激光雷达单元移动。远程激光雷达单元可以改变其相对于载运工具的取向。远程激光雷达单元可以改变其相对于其它激光雷达单元的取向。可以或可以不设置可以使远程激光雷达单元改变其取向的致动器。在一些实施例中，可以设置可以允许远程激光雷达单元改变其取向的铰链、球形接头、销、连杆机构、轴、或其它机械部件。
远程激光雷达单元可以位于载运工具的顶部处。远程激光雷达单元可以位于与多激光雷达模块的其它激光雷达单元相同的高度处。远程激光雷达单元可以位于与多激光雷达模块的其它激光雷达单元不同的高度处(例如，更高或更低)。远程激光雷达单元可以位于载运工具靠上的50％、40％、30％、25％、20％、15％、10％、5％、3％或1％的部分处或附近。远程激光雷达单元可以位于载运工具的靠下的50％、40％、30％、25％、20％、15％、10％、5％、3％或1％的部分处或附近。远程激光雷达单元可以位于载运工具的前部处或附近。远程激光雷达单元可以位于载运工具的靠前的50％、40％、30％、25％、20％、15％、10％、5％、3％、或1％的范围内。
远程激光雷达单元可以位于两组激光雷达单元之间。远程激光雷达单元可以直接位于两组激光雷达单元之间并与之对齐。在一些实施例中，由远程激光雷达单元收集的数据可以与由一组或多组激光雷达单元收集的数据融合，以实现改进的和更精确的感测。来自远程激光雷达单元的数据和来自一组或多组激光雷达单元的数据的融合也可以用于创建更详细和全面的环境地图。远程激光雷达单元可以具有与激光雷达单元组不同的支撑结构。
远程激光雷达单元可以用于检测远程对象。远程激光雷达单元可以与其它远程传感器(例如，雷达、相机)结合使用，以提高可靠性。
图8示出了根据一些实施例的布置在载运工具上以提供多个双目相机的多个视觉传感器的示例。载运工具可以是陆基载运工具(例如，汽车)。视觉感测系统130可以包括位于载运工具100的不同侧的多个视觉传感器132。由视觉传感器收集的数据可以用于确定接近载运工具的或载运工具周围的环境中是否存在障碍物、以及这些障碍物到载运工具的距离。由视觉传感器收集的数据还可以用于获得位置和/或运动信息，其可以用于控制和/或实现载运工具的自主导航。
视觉感测系统的视觉感测范围可以与环境感测范围相对应。每个视觉传感器可以具有视角。可以基于视角(水平、竖直和对角线)和每个视觉传感器内的图像传感器大小来确定最大视觉感测范围。视角定义视觉传感器的视场(FOV)。视觉感测范围可以由任何形状和/或大小限定，并且视觉感测的灵敏度/精确度可以随着远离载运工具的距离增加而减小。在一些实施例中，视觉感测范围可以由围绕载运工具的规则形状(例如，立方体、圆柱体、锥形等)或不规则形状来定义。
视觉感测系统130可以与载运工具上的一个或多个处理器可操作地通信。备选地，一个或多个处理器可以远离载运工具。处理器可以被配置为执行用于选择在如本文其它地方详细描述的各种条件下使用哪些视觉传感器和/或视觉感测数据的算法。可以使用软件和/或硬件的组合来实现该算法。各种条件的示例可以包括传感器故障、视觉感测数据的不精确或偏差、载运工具在其中操作的不同类型的环境等。
视觉传感器可以是用于收集周围环境的光学信号的任何合适的装置，这些光学信号可以被处理以产生可以包括一个或多个障碍物的周围环境的图像数据。可以使用任何合适数量的视觉传感器，例如单个视觉传感器、一对视觉传感器、三个视觉传感器、四个视觉传感器、或任何其它数量的视觉传感器。本文使用的视觉传感器可以互换地称为相机或成像装置。在一些情况下，视觉传感器可以是相机或成像装置的光学部件。视觉传感器可以能够在不同模式下操作的不同成像装置的一部分。例如，视觉传感器可以是一个或多个单目相机和/或多目相机的一部分。多目相机的示例包括双目相机(也称为立体相机)。
在一些实施例中，视觉感测系统可以包括被配置为在单目模式下操作的至少一个成像装置、以及被配置为在多目模式下操作的至少一个成像装置。在一些实施例中，单个成像装置可以被配置为在两个或更多个成像模式(可以包括单目模式和多目模式)之间操作和切换。作为示例，在一个实例中，成像装置可以被配置为在单目模式下操作，并且在另一实例中在多目模式下操作。多目模式可以包括双目模式(或立体模式)。
参考图8，视觉感测系统130可以包括由载运工具100支撑的多个视觉传感器132。视觉传感器可以是立体视觉传感器，并且可以一起用于形成一个或多个双目相机。视觉传感器可以耦接到载运工具的不同侧。在一些实施例中，视觉传感器可以刚性地耦接到载运工具，使得视觉传感器的位置相对于载运工具固定。备选地，视觉传感器可以经由一个或多个载体可操作地耦接到载运工具，这允许视觉传感器相对于载运工具以最多六个自由度进行移动。例如，视觉传感器可以被配置为借助于载体而倾斜(例如，向上、向下或侧向俯仰)预定量，从而改变其光轴相对于载运工具的方向。
多个视觉传感器可以在载运工具的不同侧(例如，前侧、后侧、左侧和右侧)上横向间隔开。载运工具的每一侧可以被配置为支撑两个或更多个视觉传感器。视觉传感器可以在载运工具本体周围横向间隔开最多1m、500cm、250cm、100cm、50cm、25cm、10cm、5cm、2cm或1cm。视觉传感器可以一起用于提供多目视觉感测系统。例如，每个视觉传感器可以提供从相对于载运工具的不同视点获得的图像，这些图像可以用于实现立体成像。视觉传感器可以以不同方式和组合彼此配对，以在载运工具本体的不同侧上提供具有不同基线长度的双目(立体)相机。例如，参考图8，视觉传感器132-1至132-3可以支撑在载运工具本体的左侧上。视觉传感器132-1至132-3可以沿着载运工具本体的左侧横向间隔开不同的距离。例如，传感器132-1和132-2可以间隔开距离l1，传感器132-2和132-2可以间隔开距离l2。距离l1可以小于距离l2。备选地，距离l1可以大于距离l2。在一些其它实施例中，视觉传感器132-1至132-2可以横向间隔开相同距离，使得距离l1和l2相等。距离l1和l2中的每一个可以是约0.1m、0.2m、0.3m、0.4m、0.5m、0.6m、0.7m、0.8m、0.9m、1m或更大。
视觉传感器可以以不同方式组合以形成具有不同基线长度的双目相机。双目相机可以包括不同的视觉传感器子集。在一些实施例中，第一双目相机可以包括第一视觉传感器子集，包括其间具有第一基线的至少两个视觉传感器；第二双目相机可以包括第二视觉传感器子集，包括其间具有第二基线的至少两个视觉传感器。例如，参考图8，第一双目相机134-1可以包括其间具有由距离l1定义的第一基线b1的视觉传感器132-1和132-2。同样地，第二双目相机134-2可以包括其间具有由距离l2定义的第二基线b2的视觉传感器132-2和132-3。第一基线b1可以比第二基线b2短。备选地，第一基线b1可以等于或大于第二基线b2。在一些实施例中，第三双目相机134-3可以包括具有由距离l1和l2之和定义的第三基线b3的视觉传感器132-1和132-3。如图8所示，双目相机134中的一个或多个双目相机可以使用一个或多个公共视觉传感器。例如，视觉传感器132-2可以由第一双目相机和第二双目相机使用，并且当这些相机从载运工具本体的左侧进行成像时，可以用作第一双目相机134-1的“左眼”并且用作第二双目相机134-2的“右眼”。备选地，视觉传感器132-1可以由第一双目相机和第三双目相机使用，并且当这些相机从载运工具本体的左侧进行成像时，可以用作第一双目相机134-1和第三双目相机134-3中的每一个的“右眼”。在本文其它地方描述的其它实施例中，多个双目相机不需要共享任何共同的视觉传感器，并且每个双目相机可以包括独特的视觉传感器子集(或视觉传感器对)。
因此，可以根据耦接到载运工具本体的视觉传感器的数量和视觉传感器之间的横向距离，在载运工具本体的多个侧上设置具有不同基线的多个不同的双目相机。双目相机可以设置在载运工具的相同侧、载运工具的横向相邻侧、或者载运工具的相对侧上。例如，一个或多个双目相机可以设置在载运工具的前侧、后侧、或侧面、或其合适的组合。
在一些实施例中，位于载运工具本体的不同侧(例如，横向相邻侧)上的双目相机可以共享一个或多个公共视觉传感器。例如，参考图8，多个双目相机可以设置在载运工具本体的前侧上。第四双目相机134-4可以包括其间具有由距离l4定义的第四基线b4的视觉传感器132-1和132-4。视觉传感器132-1可以由第一双目相机134-1和第四双目相机134-4共享，并且可以能够围绕竖直轴旋转以改变其光轴方向。
例如，当视觉传感器132-1被取向为使得其光轴OA实质上垂直于载运工具本体的左侧时，视觉传感器132-1可以用作第一双目相机134-1的“右眼”。视觉传感器132-1可以能够围绕竖直轴旋转的，使得其光轴可以相对于竖直轴以不同的角度对准。当视觉传感器132-1被取向为使得其光轴OA’实质上垂直于载运工具本体的前侧时，视觉传感器132-1可以用作第四双目相机134-1的“左眼”。这样，单个视觉传感器可以用在位于载运工具本体不同侧上的不同双目相机中，这取决于其光轴取向的方向。
视觉传感器132可以被配置为从相对于载运工具的不同位置或视点获取多个图像。与更远离视觉传感器的对象相比，接近视觉传感器的对象通常具有更大的视差。双目相机中的给定视觉传感器子集的双目误差δ可以由ε给出，其中z对应于从成像平面到成像对象的深度，f是视觉传感器的焦距，b是基线的长度，并且ε是视差。双目误差δ可以指示从由双目相机捕获的一个或多个立体图像中提取的成像对象的深度的误差。高双目误差指示对象距离载运工具的“感知”距离的大误差，而低双目误差指示对象距离载运工具的“感知”距离的低误差。对于位于更远处的对象(即，z更大)，视差ε较低，并且双目误差δ可以通过增加基线b的长度来减少。可以例如通过增加视觉传感器之间的横向距离来增加基线b的长度。基线b增加也增加视差，这允许获得更精确的深度和距离信息。
对于位于更靠近视觉传感器的对象，视差ε更高，但是由于z较低，因此可以通过使用较短的基线b来维持双目误差δ。因此，包括更远间隔开(即，较长的基线b)的视觉传感器子集在内的双目相机可以用于对远距离对象进行成像，因为双目误差较低，并且远距离对象更可能落入其视场内。然而，由于基线增加，接近的对象可能不落入上述双目相机的视场内。
为了解决上述问题，包括更靠近地间隔开(即，更短的基线b)的一对视觉传感器在内的双目相机可以用于对接近的对象进行成像，因为双目误差较低，并且接近的对象更可能落入其视场内。参考图8，第一双目相机134-1的第一基线b1可以小于第二双目相机134-2的第二基线b2。因此，包括视觉传感器132-1和132-2在内的第一双目相机134-1可以被配置为获得位于更靠近载运工具本体左侧的位置处的对象的深度信息，而包括视觉传感器132-2和132-3在内的第二双目相机134-2可以被配置为获得位于远离载运工具本体左侧的位置处的对象的深度信息。附加地或可选地，包括视觉传感器132-2和132-4在内的另一双目相机可以被配置为获得位于更远离载运工具本体左侧的位置处的对象的深度信息。
第一双目相机和第二双目相机可以被配置为捕获立体图像。载运工具上或远离载运工具的一个或多个处理器可以被配置为处理立体图像，并且计算针对第一双目相机134-1的双目误差δ1和针对第二双目相机134-2的双目误差δ2。处理器还可以被配置为：比较双目误差δ1和δ2，以确定利用哪个双目相机(和对应的立体图像集)来获得位于距相机不同距离处的对象的深度信息。例如，当δ1大于δ2时，处理器可以选择和利用第二双目相机134-2而不用第一双目相机134-1来用于视觉感测，因为成像对象可以位于更远离载运工具本体的左侧的位置处。相反，当δ2大于δ1时，处理器可以选择并利用第一双目相机134-1而不用第二双目相机134-2来用于视觉感测，因为成像物体可以位于更靠近载运工具的左侧的位置处。在一些实施例中，当δ1等于δ2时，处理器可以选择第一双目相机或第二双目相机用于视觉感测，因为两个相机的双目误差相同。
在一些实施例中，处理器可以被配置为确定由第一双目相机134-1捕获的立体图像中的匹配点之间的第一视差d1、以及由第二双目相机134-2捕获的立体图像中的匹配点之间的第二视差b2。处理器可以比较第一视差d1和第二视差b2，以确定利用哪个双目相机(和对应的立体图像集)来获得位于距相机不同距离处的对象的深度信息。例如，当d1大于b2时，处理器可以选择并利用第一双目相机134-1而不用第二双目相机134-2来用于视觉感测，因为可以从由第一双目相机捕获的立体图像提取更精确的深度信息。例如，当b2大于d1时，处理器可以选择并利用第二双目相机134-2而不用第一双目相机134-1来用于视觉感测，因为可以从由第二双目相机捕获的立体图像提取更精确的深度信息。在一些实施例中，当d1等于b2时，处理器可以选择第一双目相机或第二双目相机来用于视觉感测，因为两者的视差相同。
在一些实施例中，处理器可以被配置为将第一视差d1和第二视差b2与预定义的阈值视差dp进行比较，以便确定使用哪个双目相机(和对应的立体图像集)。可以根据实验数据获得预定义的阈值视差。预定义的阈值视差可以是单个值，或者可以包括值的范围。在一些实施例中，预定义的阈值视差可以被配置为根据以下项中的一个或多个来改变或调整：(1)载运工具在其中自主操作的环境、(2)环境内的天气条件、(3)载运工具的海拔、(4)环境内的对象密度和分布、或(5)位于环境内的对象的视觉或物理属性。
在一些情况下，当(1)d1大于dp并且(2)b2少于dp时，处理器可以选择并利用第一双目相机而不利用第二双目相机来用于视觉感测，因为可以使用第一双目相机获得更精确的深度和距离信息。相反，当(1)b2大于dp并且(2)d1少于dp时，处理器可以选择并利用第二双目相机而不利用第一双目相机来用于视觉感测，因为可以使用第二双目相机获得更精确的深度和距离信息。当d1和b2都大于dp时，处理器可以比较d1和b2以确定哪个更高，并且选择具有更高视差的双目相机来用于视觉感测和深度提取。在一些情况下，d1和b2都可以少于dp，例如在光线不好或恶劣天气条件的环境中。在这些情况下，处理器可以不选择视觉传感器用于环境感测和深度提取，而是相反地可以选择或利用另一非视觉传感器集合(例如，激光雷达、雷达、或超声波)来感测周围环境。
视觉传感器可以用于以指定频率同时捕获图像以产生时间序列的图像数据。可以处理从视觉传感器获得的时间序列的图像数据，以使用任何合适的方法(例如，机器视觉算法)来确定载运工具的位置、取向和/或速度。例如，机器视觉算法可以用于识别每个图像内的一个或多个特征点(例如，对象的边缘、对象的角、或两种不同颜色的对象之间的边界)。可以使用任何合适的方法或任何合适的方法组合来识别和提供特征点的数字表示，例如，加速段测试(FAST)特征算法或二进制鲁棒独立基本特征(BRIEF)算法。然后，图像数据可以彼此匹配，以识别由两个视觉传感器获得的图像中出现的共同特征点集合。可以基于共同特征点和视觉传感器相对于载运工具和彼此的空间布局来确定载运工具的运动。
如前所述，视觉传感器的光轴可以垂直于载运工具本体中的视觉传感器所在的侧面。在一些实施例中，视觉传感器可以能够围绕竖直轴旋转的，使得其光轴以非正交方式(例如，以锐角或倾斜角度)从载运工具本体侧面延伸。视觉传感器可以被配置为旋转(和/或平移)以聚焦于空间中的不同点处。
图9示出了根据本发明实施例的布置在载运工具上用于感测各种方向和范围的多个双目相机的示例。在图9中，第一双目相机134-1的视觉传感器132-1和132-2可以被取向(例如，旋转)为使得它们各自的光轴在空间中的点A处相交。在另一示例中，第二双目相机134-2的视觉传感器132-2和132-3可以被取向(例如，旋转)为使得它们各自的光轴在空间中的点B处相交。在又一示例中，第三双目相机134-3的视觉传感器132-1和132-3可以被取向(例如，旋转)为使得它们各自的光轴在空间中的点C处相交。同样地，在另一示例中，第四双目相机134-4的视觉传感器132-1和132-4可以被取向(例如，旋转)为使得它们各自的光轴在空间中的点D处相交。上述双目相机具有与聚散角(vergence angle)有关的不同视差。对于任何角度，在空间中存在与零视差相对应的表面。例如，点A位于第一双目相机的零视差表面S(A)上，点B位于第二双目相机的零视差表面S(B)上，并且点C位于第三双目相机的零视差表面S(C)上。这些零视差表面S(A)、S(B)和S(C)位于距载运工具本体不同的距离处。例如，表面(A)可以位于最靠近载运工具的位置处，表面S(C)可以位于离载运工具最远的位置处，并且表面S(B)可以位于表面S(A)和S(B)之间。
对于给定的表面，远离表面的对象具有大于零的视差，并且在表面之前的对象具有小于零的视差。在一个区域内，视差可以分组为三个池：
不同双目相机获得的立体图像中的视差的差异可以用于解决位于距载运工具不同距离处的对象的任何模糊匹配。视差的差异也可以用于确定障碍物所在的区域(相对于载运工具)。例如，在图9中，多个障碍物105、106、107和108可以位于距载运工具本体的左侧不同的距离处。一个或多个障碍物可以位于特定双目相机的零视差表面内，但是在另一双目相机的零视差表面之外。视差的差异可以总结在下表中：
如以上参考图9所述，视觉传感器可以以各种配置取向以聚焦于空间中的不同点处。在一些实施例中，视觉传感器可以能够实时地移位其光轴的，以创建不同的零视差表面，提取位于距载运工具本体不同距离处的对象的深度信息，并且还解决所提取的深度信息中的任何模糊。例如，可以将至少一个双目相机获得的深度信息与一个或多个其它双目相机获得的深度信息进行比较，以校正双目误差。
图10示出了根据本发明实施例的具有多个双目相机的载运工具的示例，双目相机包括视觉传感器的各种组合。视觉感测系统可以包括耦接到载运工具本体的不同侧的多个视觉传感器。例如，多个视觉传感器可以耦接到载运工具本体，使得视觉传感器的光轴和视场从载运工具本体的不同侧(例如，前侧、后侧、左侧和右侧)延伸。在图10的示例中，视觉传感器可以安装在载运工具的顶部(例如，引擎罩)上，或者集成到载运工具的顶部(例如，引擎罩)中。
图10的视觉感测系统以与图8的系统相似的方式操作，除了以下不同。在图10中，每个双目相机135包括独特的视觉传感器子集133，并且不需要与另一双目相机共享任何视觉传感器。因此，图10中的所有双目相机135都能够独立地并且同时地操作以对接近载运工具本体或载运工具本体周围的环境进行成像。在一些情况下，视觉传感器133可以刚性地耦接到载运工具本体，使得它们相对于载运工具本体的侧面维持相同的视场。在一些备选实施例(未示出)中，视觉传感器133中的一个或多个视觉传感器可以能够改变其取向的，以此来改变其光轴的方向，如本文其它地方关于图9所述。
在图10中，第一双目相机135-1和第二双目相机135-2被支撑为从载运工具本体的右侧面向外。第一双目相机135-1可以包括视觉传感器133-1和133-2，它们之间具有由距离l1’定义的第一基线b1’。同样地，第二双目相机135-2可以包括视觉传感器133-3和133-4，它们之间具有由距离l1’定义的第二基线b1’。与图8不同，第一双目相机135-1和第二双目相机135-2具有独特的视觉传感器子集，并且不需要使用任何共同的视觉传感器。在一些实施例中，第二双目相机中的一对视觉传感器可以位于在载运工具的一侧上的第一双目相机中的一对视觉传感器之间。第二双目相机可以被配置为收集比第一双目相机所捕获的图像更靠近载运工具、并且在第一双目相机的盲点内的图像数据。
如图10所示，第一基线b1’可以比第二基线b2’长。在一些备选实施例中，第一基线b1’可以小于第二基线b2’。视觉传感器133具有重叠的视场，以确保可以收集周围环境的足够的图像数据点。第一双目相机135-1的视场大于第二双目相机135-2的视场。因此，包括更远间隔开(即，较长的基线b)的视觉传感器对133-1和133-2在内的第一双目相机135-1可以用于对远距离对象成像，因为双目误差较低，并且更可能在其视场内捕获远距离对象。相反，包括更靠近地间隔开(即，较短的基线b)的立体视觉传感器对133-3和133-4在内的第二双目相机135-2可以用于对接近的对象成像，因为双目误差较低，并且更可能在其视场内捕获接近的对象。如前所述，具有不同基线的不同双目相机可以被配置为对位于距载运工具本体的对应侧不同距离处的对象成像，以便最小化双目误差，并且提高所提取的深度信息的精确度。如本文其它地方所述，可以基于所收集的图像数据点以某一精度水平来构建环境地图。
图8至图10中所示的视觉传感器可以被配置为捕获接近载运工具的或载运工具周围的环境的双目(立体)图形或多目图像。附加地或可选地，一个或多个单目相机可以设置在载运工具上，并且被配置为捕获单目彩色图像。一个或多个相机可以在相同时刻或不同时刻捕获图像。可以从双目或多目图像中获得环境的3-D深度图。多个视觉传感器可以提供n度的视场。在一些实施例中，n可以是约90°、100°、110°、120°、130°、140°、150°、160°、170°、180°、190°、200°、210°、220°、230°、240°、250°、260°、270°、280°、290°、300°、310°、320°、330°、340°、350°、或360°。可以考虑任意值的n。例如，n可以大于0°、或者小于或等于360°。当n是360°时，可以获得全围绕视觉感测。在一些情况下，视觉感测范围可以由具有距载运工具的中心预定距离的任何形状来定义。预定距离可以在几米至几百米的范围内。例如，预定半径可以是约为1m、5m、10m、20m、30m、40m、50m、60m、70m、80m、90m、100m、200m、300m、400m、500m或其间的任何值。在一些情况下，预定距离可以小于1m或大于500m。可以考虑任意值的预定半径。在一些实施例中，视觉感测范围可以取决于载运工具在其中操作的环境的环境复杂度。随着载运工具移动通过不同环境，视觉感应范围可以动态调整。例如，当载运工具在包括大量对象或障碍物的环境中移动时，视觉感测范围可以延长，和/或视觉感测的灵敏度水平(例如，分辨率)可以增大。相反，当载运工具在包括较少数量对象或障碍物的环境中移动时，视觉感测范围可以减小，和/或视觉感测的灵敏度水平(例如，分辨率)可以减少。
相机可以能够实质上同时地、顺序地或在不同时间点拍摄多个图像。多个图像可以辅助创建3D场景、3D虚拟环境、3D地图或3D模型。例如，可以拍摄右眼图像和左眼图像并将其用于立体映射。可以根据校准后的双目图像来计算深度图，如下面详细描述。可以同时拍摄任意数量的图像(例如，2个或更多个、3个或更多个、4个或更多个、5个或更多个、6个或更多个、7个或更多个、8个或更多个、9个或更多个)以辅助创建3D场景/虚拟环境/模型，和/或用于深度映射。图像可以朝向实质相同的方向，或者可以朝向稍微不同的方向。在一些情况下，来自其它传感器的数据(例如，超声波数据、激光雷达数据、来自如本文其它地方所述的任何其它传感器的数据、或来自外部装置的数据)可以辅助创建2D或3D图像或地图。
在一些实施例中，可以分析从一个或多个相机获得的立体图像数据，以确定环境信息。立体图像数据可以包括双目图像或视频。环境信息可以包括环境地图。环境地图可以包括拓扑图或度量图。度量图可以包括以下至少一项：点云、3D网格图、2D网格图、2.5D网格图或占据网格(occupancy grid)图。占据网格可以用于定义接近可移动物体或可移动物体周围的空间环境的3D地图。
在一些实施例中，对立体视频数据的分析可以包括以下至少一项：(1)成像装置校准、(2)图像帧的立体匹配、以及(3)深度图计算。成像装置校准可以包括校准成像装置(例如，双目相机)的固有参数和外在参数。双目相机可以被配置为捕获一个或多个双目图像。可以根据多个双目图像获得立体视频数据。立体匹配可以包括：(1)实质上在每个双目图像中实时提取或接近实时地提取每个单目图像的特征点，(2)计算特征点的运动特性，(3)基于特征点的运动特性，匹配从图像帧中提取的对应特征点，以及(4)消除不匹配特征点。深度图计算可以包括：(1)基于匹配的特征点计算基于像素的视差图；以及(2)基于双目相机的外在参数来计算深度图。深度图计算可以包括滤波并向深度图应用阈值以确定一个或多个障碍物。例如，可以应用阈值以对深度图内的具有预定大小和/或预定数量像素的环境对象进行分类。
图11示出了根据一些实施例的用于立体视觉的双目相机134。双目相机可以包括分别以位置1102和1104为中心的左视觉传感器和右视觉传感器(未示出)。对于双目相机，已知参数焦距f、光电传感器大小l、以及视觉传感器之间的基线距离b。3D坐标与分别由左视觉传感器和右视觉传感器捕获的图像中的一对匹配的特征点/> 和/>相对应。像素距离/>和/>可以乘以单个像素的大小，以变为空间距离和/>因此，使用以下公式
可以确定3D坐标和视觉传感器之间的距离，表示为D。基于相机的内部参数矩阵K和所计算的值D，因此可以针对点/>导出估计的3D坐标/>
在帧到帧匹配和特征点立体匹配之后，可以针对每个特征点获得特征点3D坐标对因此，可以通过使用任何合适的算法分析图像内的特征点的运动来确定相机的速度。例如，给定在时间t获得的n个坐标对集合c1，c2，…，cn，矩阵/>可以表示为三个行向量/>并且相机的内部参数矩阵可以表示为
因此，通过求解下式可以获得每个特征时间点之间的估计位置移动或改变：
由于估计的位置移动主要是基于来自左视觉传感器和右视觉传感器的图像数据的帧匹配而获得的，因此该估计的精确度和精度可以受到n的大小的影响。例如，随着n的增加，估计的精确度和精度可以增加。
图8至图10中描述的视觉传感器可以由一个或多个传感器参数来表征。传感器参数可以是固有参数或外在参数。固有参数可以涉及视觉传感器的内部配置。固有参数的示例可以包括焦距、缩放比因子、径向畸变系数和切向畸变系数。固有参数可以是依赖于硬件配置的任何参数，在一些情况下，固有参数可以由视觉传感器的工厂设置来设置。外在参数可以涉及任何两个或更多个视觉传感器之间的空间关系。每个视觉传感器可以具有独立于可移动物体上机载的其它传感器的相对坐标系。外在参数对于传感器融合、组合来自可移动物体上的不同位置处的传感器的数据来说可以是重要的。传感器融合可以包含变换给定传感器的相对坐标以与另一传感器的参照系相匹配的处理。
图12示出了变换一个或多个相机的相对坐标以匹配载运工具的参照系。可以进行变换，使得每个相机的坐标系旋转以匹配载运工具本体的坐标系。可以通过变换矩阵在数学上进行变换。
固有属性可以是特定于传感器的，并且可以不频繁地变化。固有属性的重新校准可以在载运工具不操作时周期性地发生。在载运工具操作时重新校准固有属性可能并不重要，因为相比于外在属性，在载运工具操作时这些固有属性保持相对一致。可以通过解释已知校准标准或目标的图像来校准固有属性。校准标准或目标上的消失线或点可以用于校准诸如焦距和畸变之类的固有属性。
与固有属性相比，外在属性可以以更高的频度发生改变。在载运工具停止和运动、振动和热漂移期间的移位可以使得传感器的外在属性改变。例如，相机位置可以由于载运工具在行驶期间振动而移位。在载运工具操作时，外在属性可以偏离其初始配置；因此，优选地，可以在载运工具操作时对外在属性执行重新校准。在载运工具操作时对外在属性进行重新校准可以需要计算资源。计算资源可以机载在载运工具上或在载运工具外。
对外在属性进行重新校准可以以设置的时间频度发生，例如，外在属性可以每1分钟、5分钟、10分钟、20分钟、30分钟、40分钟、50分钟、1小时、2小时、3小时、4小时、5小时、10小时、12小时或每天一次被重新校准。备选地，对外在属性进行重新校准可以以设置的距离频度发生，例如，重新校准可以在每当载运工具从其初始开始位置起始行进附加的0.5英里、1英里、2英里、3英里、4英里、5英里、10英里、15英里、20英里、25英里、30英里、35英里、40英里、45英里、50英里、或100英里时发生。可以基于可用的计算资源、燃料或功率要求、地形和/或天气条件来确定外在属性的机载校准的频度。一些条件可以降低或增加对外在传感器校准时的预期漂移，例如，如果载运工具在平滑的铺砌道路上以低速行驶，则载运工具本体的振动可以较少，因此对外在传感器进行校准时的漂移较少。
外在参数可以具有初始校准。外在参数的初始校准可以描述传感器之间的相对差异，例如两个或更多个传感器的相对位置、旋转和/或位移。参数可以包括传感器随时间的改变，例如在某个时间和后续时间之间的传感器的位移。位移可以包括平移位移和/或旋转位移。平移位移可以沿着3个轴中的一个或多个轴发生。类似地，旋转位移可以发生在3个轴中的一个或多个轴上。通常，校准通过滤波处理实现；非限制性示例包括各种类型的卡尔曼滤波。
可以在载运工具操作时(例如，在行驶期间)调整外在参数的校准。校准外在参数的方法可以包括：借助于处理器来检测两个或更多个传感器相对于彼此的空间配置从初始空间配置到后续空间配置的改变。在另外的实施例中，该方法使用诸如卡尔曼滤波之类的滤波来确定后续空间配置。最后，该方法可以包括基于后续空间配置在载运工具运动时调整来自至少一个传感器的数据。
载运工具可以包括一个或多个机载的处理器。处理器可以单独地或共同被配置为(i)基于传感器数据，检测一个或多个传感器相对于彼此的空间配置从初始空间配置到后续空间配置的改变；(ii)使用多个卡尔曼滤波确定后续空间配置；以及(iii)基于后续空间配置，在载运工具运动时调整来自至少一个传感器的数据。备选地，处理器可以在载运工具之外。载运工具可以向非机载的处理器发送与给定传感器的空间配置有关的信息，该非机载的处理器可以被配置为执行上述步骤(i)至(iii)并且将信息发送回载运工具。
在一些实施例中，可以相对于彼此地校准多个相机。校准多个视觉传感器可以包括整合传感器数据。第一相机可以捕获第一图像，第二相机可以捕获不同位移和不同取向下的第二图像。因此，需要校准这两个相机，并且校准可以利用第一相机拍摄的第一图像和第二相机拍摄的第二图像。以下将公开校准的数学公式。
在实施例中，两个或更多个相机被组装成立体相机系统。对两个或更多个相机的校准如下。首先，每个相机拍摄图像。然后，识别系统选择N个特征。在数学公式方面，令α和β表示两个相机。在其图像中识别的特征由向量和/>表示，其中i＝1，…，N。特征/>和/>分别通过相机α和β的坐标系来确定。为了找到真实映射，需要在相同的参照坐标系Xi＝(Xi，Yi，Zi).下分析特征。特征/>和/>与参照坐标系Xi之间的关系可以通过投影来描述：/>和/>其中/>和/>是归一化坐标中描述的特征，即/>和/>Pα和Pβ分别是相机α和β的投影，它们可以通过固有参数K和外在参数(例如，旋转R和平移T)来确定：Pα＝Kα[RαTα]和Pβ＝Kβ[RβTβ]。当计算投影Pα和Pβ并且固有参数Kα和Kβ已知时，可以计算外在参数R和T：
R＝Rβ(Rα)-1，
T＝Tβ-Rβ(Rα)-1Tα
当导出参数R和T时，校准完成。
通常，固有参数Kα和Kβ不改变；即使它们改变，改变量也很小。因此，固有参数可以离线校准。即，在一些应用中，可以在UAV起飞之前确定固有参数。在实例中，固有参数Kα和Kβ在载运工具运动期间保持静态，因此校准将计算Pα和Pβ的最优解。示例使用缩小投影误差来求解：
这个问题是非线性优化问题。各种求解方法可以包括在实施例中。在一些应用中，通过束调整方法实现求解。在束调整方法中，投影Pα和Pβ被给定了初始值。使用极线约束来导出本质矩阵E，然后进行分解(例如，奇异值分解)获得其中/>是T的偏斜对称矩阵。
该求解找到这些特征与有另一相机拍摄的另一图像中的特征之间的对应映射。在一些实施例中，形成立体相机系统的两个相机α和β的空间配置在左手侧布置一个相机而在右手侧布置另一相机。
在一些实施例中，视觉感测系统可以包括一个或多个单目相机。每个单目相机可以包括视觉传感器。单目相机可以可操作地耦接到载运工具的不同侧(例如，前侧、左侧、或侧面)。在一些实施例中，单目相机可以经由载体安装到载运工具，这允许单目相机相对于载运工具以最高六个自由度移动。被选地，单目相机可以直接安装在载运工具上，或者耦接到安装在载运工具上的支撑结构。在一些实施例中，单目相机可以是载运工具的搭载物的元件。单目相机可以被配置为捕获接近载运工具的或载运工具周围的环境的图像数据。
图13示出了根据一些实施例的多个单目相机支撑在载运工具的不同侧上。第一单目相机138-1可以安装在载运工具本体的前侧上，第二单目相机138-2可以安装在载运工具本体的后侧上。第一单目相机和第二单目相机可以具有相同的成像分辨率或不同的成像分辨率。相机的视觉检测范围可以部分地基于相机的视场和成像分辨率。例如，由第一单目相机捕获的图像数据可以用于检测位于距离载运工具本体前侧远达最大距离d6处的对象。类似地，由第二单目相机捕获的图像数据可以用于检测位于距离载运工具本体后侧远达最大距离d7处的对象。在一些实施例中，当第一单目相机具有比第二单目相机的成像分辨率更高的成像分辨率时，距离d6可以大于d7。例如，距离d6可以比d7大至少10％、20％、30％、40％、50％、60％、70％、80％、90％、100％或大于100％。在一些实施例中，第一单目相机可以被配置为捕获4K分辨率图像/视频，第二单目相机可以被配置为捕获1080p分辨率图像/视频。第一单目相机捕获的图像数据(4K分辨率)可以用于检测位于距载运工具本体前侧远达最大距离200m处的对象。由第二单目相机捕获的图像数据(1080p分辨率)可以用于检测位于距载运工具本体后侧远达最大距离100m处的对象。
可以从单目相机捕获的2D图像中识别目标对象(例如，障碍物)。在一些情况下，可以基于移动目标检测来选择目标对象。在这些情况下，假设载运工具和周围环境是静态/静止的，并且要被跟踪的目标对象可以是图像中唯一的移动对象。可以通过背景减法来识别和选择目标对象。
从2D图像中识别目标对象可以基于特征点识别。特征点可以是图像的一部分(例如，边缘、角落、兴趣点、斑点、脊线等)，其可以与图像的其余部分和/或图像中的其它特征点独特地可区分。可选地，特征点对于成像对象的变换(例如，平移、旋转、缩放)和/或图像的特性的改变(例如，亮度、曝光)可以是相对不变的。可以在图像的信息内容丰富(例如，显著的2D纹理)的部分中检测特征点。可以在图像的在扰动(例如，当图像的照明和亮度变化时)下稳定的部分中检测特征点。
可以使用各种算法(例如，纹理检测算法)来检测特征点，所述算法可以从图像数据中提取一个或多个特征点。附加地，算法可以进行关于特征点的各种计算。例如，算法可以计算特征点的总数、或“特征点数量”。算法还可以计算特征点的分布。例如，特征点可以广泛地分布在图像(例如，图像数据)或图像的子部分内。例如，特征点可以窄范围地分布在图像(例如，图像数据)或图像的子部分内。算法还可以计算特征点的质量。在一些情况下，可以基于通过本文提到的算法(例如，FAST、角点检测器、Harris等)计算的值来确定或评价特征点的质量。
算法可以是边缘检测算法、角点检测算法、斑点检测算法、或脊线检测算法。在一些实施例中，角点检测算法可以是“加速段测试特征”(FAST)算法。在一些实施例中，特征检测器可以提取特征点，并且使用FAST来进行关于特征点的计算。在一些实施例中，特征检测器可以是Canny边缘检测器、Sobel算子、Harris&Stephens/Plessy/Shi-Tomasi角点检测算法、SUSAN角点检测器、水平曲线曲率方法、高斯拉普拉斯算子、高斯差分、行列式Hessian、MSER、PCBR、或灰度级斑点、ORB、FREAK或其合适的组合。
在一些实施例中，特征点可以包括一个或多个非显著特征。如本文所使用的，非显著特征可以指代图像内的非显著区域或非明显(例如，不可识别)的对象。非显著特征可以指代图像内不太可能突出或引起观察人员注意的元素。非显著特征的示例可以包括：当在其周围的像素的上下文之外观看时，对于观看者而言是非明显的或不可识别的单独像素或像素组。
在一些备选实施例中，特征点可以包括一个或多个显著特征。显著特征可以指代图像内的显著区域或明显的(例如，可识别的)对象。如本文所使用的，显著特征可以指代图像内的显著区域或明显的(例如，可识别的)对象。显著特征可以指代图像内可能突出或引起观察人员注意的元素。显著特征可以具有语义含义。显著特征可以指代可以在计算机视觉处理下一致地识别的元素。显著特征可以指代图像内的有生命的对象、无生命的对象、地标、标记、徽标、障碍物等。显著特征可以在不同条件下持续观察到。例如，可以在从不同的视点、在一天中的不同时间期间、在不同的光照条件下、在不同的天气条件下、在不同图形获取设置(例如，不同的增益、曝光等)等下获得的图像中(例如，由观察人员或者由计算机程序)持续地识别到显著特征。例如，显著特征可以包括人、动物、面部、身体、结构、建筑物、载运工具、飞机、标志等。
可以使用任何现有的显著性计算方法来识别或确定显著特征。例如，可以通过基于对比度(例如，基于颜色、强度、取向、大小、运动、深度等)滤波、使用频谱残差方法、经由频率调谐的显著区域检测、经由针对对象性估计的二值化标准渐变、使用上下文感知上下方法、通过站熵率测量视觉显著性等来识别显著特征。例如，可以在显著性图中识别显著特征，显著性图通过使一个或多个图像经受基于对比度滤波(例如，颜色、强度、取向等)而产生。显著性图可以表示具有特征对比度的区域。显著性图可以是人们看的预测器。显著性图可以包括特征或定影的空间热图表示。例如，在显著性图中，显著区域可以具有比非显著区域更高的亮度对比度、颜色对比度、边缘内容、强度等。在一些实施例中，可以使用对象识别算法(例如，基于特征的方法、基于外观的方法等)来识别显著特征。可选地，可以预先存储一个或多个对象或一种或多种类型的图案、对象、图形、颜色、徽标、轮廓等来作为可能的显著特征。可以分析图像以识别预先存储的显著特征(例如，对象或对象的类型)。可以更新预先存储的显著特征。备选地，可以不需要预先存储显著特征。可以独立于预先存储的信息来实时识别显著特征。
图14示出了根据一些实施例的包括多个双目相机和至少一个单目相机在内的视觉感测系统。多个视觉传感器#1、2、3、4、6、7、8、9和10支撑在载运工具本体的不同侧(例如，前侧、后侧和侧面)。视觉传感器可以具有相对于它们所安装的载运工具的侧的相同取向或不同取向。例如，视觉传感器#1、2、8和9可以被取向为相对于载运工具本体的左侧和右侧成预定角度(例如，约45度)。附加地或可选地，视觉传感器#3和7可以被取向为相对于载运工具本体的前侧成另一预定角度(例如，约135度)。在一些实施例中，视觉传感器可以以预设取向刚性地耦接到载运工具。在其它实施例中，视觉传感器可以能够围绕竖直轴旋转以改变它们的取向的，如本文其它地方所述。视觉传感器的取向(光轴)的改变可以在载运工具移动时或在载运工具静止时发生。
上述视觉传感器中的每一个视觉传感器可以与一个或多个其它视觉传感器一起使用，以形成一个或多个双目相机。视觉传感器可以以不同方式组合以形成不同双目相机以用于近距离和远距离视觉感测，如本文其它地方所述。因此，多个双目相机可以被配置并用于检测位于距载运工具的多个侧的各种距离处的对象。
在一些实施例中，可以通过一起利用视觉传感器#1和#3来形成双目相机B1。类似地，可以通过一起利用视觉传感器#1和#2来形成双目相机B2。因此，通过以不同配置来组合视觉传感器，可以在载运工具的不同侧上设置多个双目相机，如下表所示。
在一些实施例中，当载运工具移动通过不同类型的环境(例如，室内、室外、密集建筑区域、开阔区域、不同的地形、海拔等)时，可以选择性地激活双目相机的不同集合或组合。可以根据载运工具操作的环境类型来选择性地使用或激活双目相机。例如，当载运工具移动通过具有高对象密度的环境(例如，人口稠密的城市)时，可以选择性地激活具有近和/或中间感测范围的双目相机。由于周围对象可能更靠近载运工具，因此可能在这样的环境中不需要激活具有远感测范围的双目相机。
相反，当载运工具移动通过具有低对象密度的环境(例如，人口稀少的城市或开阔地形)时，可以选择性地激活具有远和/或中间感测范围的双目相机。由于在这样的环境中周围对象可能更远离载运工具，因此在这样的环境中可能不需要激活具有近感测范围的双目相机。
除了双目相机之外，视觉感测系统还可以包括安装在载运工具前侧的前向单目相机#5、以及安装在载运工具后侧的后向单目相机#11。单目相机可以类似于图13中描述的那些单目相机。例如，前向单目相机#5可以具有较高的成像分辨率(4K)，而后向单目相机#11可以具有较低的成像分辨率(1080p)。4K图像数据可以用于检测位于距载运工具前侧最大预定距离(例如，200m)内的对象。1080p图像数据可以用于检测位于距载运工具后侧另一最大预定距离(例如，100m)内的对象。因此，前向单目相机#5可以用于监测载运工具前方的环境，而后向单目相机#11可以用于监测载运工具后方的环境。4K和1080p图像数据可以是多色的(例如，RGB、CMYK、HSV)或单色的(例如，灰度、黑白、棕褐色)。在一些优选实施例中，一个或多个单目相机(例如，前向单目相机)可以被配置为捕获彩色图像数据。与单色图像相比，彩色图像包含更多信息。例如，不同的颜色可以辅助检测对象的类型和物理性质(例如，儿童、玩具娃娃、雕像、动物类型、动物的颜色等)。可以通过使用如本文其它地方所述的一种或多种视觉检测算法处理图像数据来检测诸如行人、其它载运工具、人造结构和障碍物之类的对象。在一些实施例中，可以使用实现人工神经网络(ANN)的一个或多个处理器来处理彩色图像数据，人工神经网络可以被训练以随着时间的推移逐渐地更精确地识别对象的性质，确定对象是否构成潜在的危险以及是否威胁人的生命(驾驶员或载运工具外的人员是否有危险)等。
图15示出了根据一些实施例的载运工具上的视觉感测系统。图15的系统类似于图10的感测系统，区别在于它还包括安装在载运工具的顶部(例如，引擎罩)上的前向单目相机138-1、以及位于载运工具的不同侧(例如，引擎罩的前侧、后侧和侧面)的多个近感测双目相机和远感测双目相机。
在一些实施例中，感测组件可以包括雷达系统。雷达系统可以是波成像雷达系统。雷达系统可以被配置为以毫米波长(例如，1cm至1mm)、在30GHz至300GHz的频率范围内操作。与可见光谱中的光相比，毫米波长的电磁波不会被相当大距离的雾或烟雾完全衰减。此外，毫米波长的电磁波可以穿透衣服和厚度大的材料(例如，干木和墙板)。因此，雷达系统可以改进通过浓雾或烟雾环境的导航和能见度。雷达系统具有与对象表面的颜色或纹理无关的稳定的检测性能，并且具有优异的物体穿透能力(例如，穿透雨、雾、烟雾、和某些类型的材料的能力)。雷达系统的检测精度不会显著地受周围环境和天气条件影响。雷达系统可以具有约100m、110m、120m、130m、140m、150m、160m、170m、180m或更大的检测范围，并且能够在黑暗中操作。雷达系统可以用于监测广泛的环境区域，并且可以与激光雷达系统和视觉感测系统结合使用，以感测载运工具的周围。
图16示出了根据一些实施例的布置在载运工具上的雷达系统。雷达系统可以包括一个或多个毫米波雷达单元。例如，雷达系统可以包括第一雷达单元142-1，第一雷达单元142-1支撑在载运工具的前侧并且被配置为检测载运工具前方的对象。附加地或可选地，雷达系统可以包括第二雷达单元142-2，第二雷达单元142-2支撑在载运工具后侧以检测载运工具后方的对象。
在一些实施例中，雷达系统可以被配置为利用两个或更多个较低频信号(称为频移键控或FSK)或利用线性改变(频率上升或下降)较低频信号(称为线性调频LFM)来调制毫米波信号。雷达系统可以同时测量到目标的距离和目标的相对速度。雷达系统可以辅助自主载运工具控制和载运工具避撞。
雷达系统可以包括发送和接收毫米波的一个或多个电路。雷达系统可以支撑在载运工具上被配置为毫米波能量可透传的一部分上(例如，在载运工具的引擎罩的一部分的后部)。
雷达系统可以包括天线、毫米波单元和信号处理单元。天线可以是平面天线，其有利于减小大小和厚度。例如，天线的直径可以是约10cm，并且可以支撑在载运工具的格栅或挡泥板后部，或者被设计在载运工具的前部中。
毫米波单元可以包括基于发送/接收部分中使用的高电子迁移率晶体管(HEMT)的单片微波集成电路。在一些实施例中，毫米波单元可以包括采用微波IC(MIC)的压控振荡器(VCO)。VCO可以被配置为接收三角调制波以产生FM调制的30GHz信号。毫米波单元还可以包括发送模块，用于增加信号的频率，并且将信号放大到预定水平以进行发送。接收模块被配置为捕获并放大从目标反射的信号。
信号处理单元可以被配置为处理来自接收模块的放大/反射信号。信号处理单元可以被配置为检测通过范围改变获得的相对速度与所测量的相对速度之间的差异。当差异超过预定阈值时，信号处理单元可以将目标视为不想要的反射并丢弃数据。信号处理单元还可以监测范围和速度数据的连续性。当信号处理单元多次检测到目标的连续性时，则信号处理单元可以确定雷达系统已经检测到真实目标并因此存储数据。可以通过与先前目标的连续性进行比较来判断目标的连续性。在一些实施例中，由信号处理单元获得的范围和相对速度可以作为目标数据显示在单独的显示单元上。
在一些实施例中，感测组件可以包括用于接近感测的超声波感测系统。图19示出了根据一些实施例的布置在载运工具上的超声波感测系统。超声波感测系统150可以包括支撑在载运工具本体的不同侧(例如，前侧、后侧、和侧面)上的多个超声波传感器。超声波传感器可以包括例如位于载运工具前侧或附近的第一超声波传感器集合152-1和152-2、位于载运工具的后侧或附近的第二超声波传感器集合154-1和154-2、位于载运工具左侧或附近的第三超声波传感器集合156-1和156-2、以及位于载运工具的右侧或附近的第四超声波传感器集合158-1和158-2。超声波传感器可以位于视觉传感器附近或与视觉传感器相邻。超声波传感器可以位于载运工具的一部分上，该部分不同于用于携带视觉传感器的部分。超声波数据可以用于补充图像数据的视觉相关性，以识别无效像素点。例如，由视觉感测系统中的双目相机捕获的图像数据可能不适用于检测白色墙壁或玻璃墙的位置。相反，由超声波感测系统150收集的超声波数据可以用于检测没有明显纹理的或透明的对象的位置/距离。超声波传感器可以被配置为检测与视觉特性(例如，颜色、反射率、或纹理)无关的对象。超声波传感器可以能够检测不能被视觉传感器检测到的对象。
与雷达系统类似，超声波传感器可以在恶劣环境中(例如，在污垢、灰尘、或雾环境中)可靠地操作。超声波传感器能够检测小目标或对象。超声波传感器的优点包括形状紧凑子和易于安装。超声波传感器可以用于检测不落在其它感测系统的感测范围(即，“盲”点)的载运工具的接近区域。
在一些实施例中，超声波感测系统150可以包括设置在载运工具的前侧、后侧、左侧和右侧上的至少两个超声波传感器。超声波传感器的有效检测范围可以是距载运工具每侧远达1m、2m、3m、4m、5m、6m、7m、8m或更远的距离。超声波传感器可以经由一个或多个载体可操作地耦接到载运工具，这允许超声波传感器相对于载运工具以最多六个自由度进行移动。例如，超声波传感器可以被配置为倾斜(例如，向上、向下或侧向俯仰)预定量，从而改变相对于载运工具的扫描的方向和范围。在一些实施例中，载体可以包括一个或多个电机，其被配置为以一个或多个自由度旋转和/或平移超声波传感器。可以致动和控制超声波传感器扫描接近载运工具的不同区域，以避免任何“盲”点。在一些实施例中，多个载体可以被配置为控制超声波传感器的位置(例如，通过同时或顺序地旋转和/或平移超声波传感器)，以感测与载运工具的不同侧接近的整个区域。在一些备选实施例(未示出)中，超声波传感器可以刚性地耦接到载运工具的侧面。
图17示出了根据一些实施例的一个或多个传感器可以如何被配置为基于载运工具的运动或预测运动来改变取向。在一些实施例中，载运工具100可以包括感测组件110。感测组件可以包括具有对应的可检测范围202、204、206的一个或多个传感器。感测组件的一个或多个传感器可以是相同类型的传感器或不同类型的传感器。
在一个示例中，当载运工具沿向前方向移动时，感测组件的一个或多个传感器可以取向为向前方向，如部分A中所示。感测组件的一个或多个传感器可以取向为行进方向。在一些实施例中，如果载运工具向后行进，则一个或多个传感器可以取向为向后方向或另一方向。在一些实施例中，当载运工具直接向后行进时，一个或多个传感器可以保持向前方向。当载运工具向后行进时，载运工具可以依赖于一个或多个其它传感器。当载运工具向右或向左转向时，一个或多个传感器可以保持向前，或者可以重新取向为面向转向方向。
感测组件的一个或多个传感器可以被配置为基于载运工具的运动或预测的运动路径来改变其取向。在一个示例中，在载运工具沿向前的方向移动时向前的一个或多个传感器可以被配置为基于载运工具的运动或预测的运动路径来改变其取向。可选地，在载运工具沿向前方向移动时向前的所有传感器可以被配置为基于载运工具的运动或预测的运动路径来改变其取向。备选地，至少一个传感器即使在载运工具转向时也可以保持向前，而一个或多个其它传感器可以基于载运工具的运动或预测的运动路径来改变其取向。
一个或多个传感器的取向可以基于载运工具的运动或预测的运动路径而改变。取向可以基于载运工具转向或预测要转向而改变。取向可以基于载运工具位置而改变。例如，因为识别到交叉路口，无论载运工具是直行还是转向，取向都可以改变。取向可以实时改变。例如，取向实时改变可以包括：在识别到触发取向改变的条件在15秒、10秒、5秒、3秒、2秒、1秒、0.5秒、0.3秒、0.1秒、0.05秒、0.01秒、0.005秒、或0.001秒内，取向开始改变。
一个或多个传感器的取向可以改变，以在载运工具经历触发取向改变的条件之前或之时，扫描障碍物。例如，触发取向改变的条件可以是载运工具改变其运动或预测的运动路径。方向的改变可以构成运动的改变。预测的方向改变可以构成预测的运动路径的改变。在另一实例中，触发取向改变的条件可以是载运工具接近或通过交叉路口。触发取向改变的条件可以是载运工具接近或进入环形交通枢纽、合流到道路上、改变车道、接近人行横道、停车场、进入建筑、或载运工具的其它操纵。
所检测到的运动改变或预测运动改变可以基于载运工具输入、传感器收集的数据、和/或载运工具所处环境的地图。
载运工具输入的示例可以包括预先计划的行驶路线。预先计划的行驶路线可以具有起点和目的地。载运工具可以沿着行驶路线自主驾驶。备选地，驾驶员可以沿着行驶路线驾驶，和/或手动地辅助可以沿着行驶路线半自主驾驶的载运工具。驾驶员可以沿着行驶路线手动驾驶，并且当驾驶员沿着路线驾驶时，载运工具可以提供驾驶辅助。载运工具输入的另一示例可以包括激活载运工具的转向信号。例如，如果驾驶员或载运工具自主地打开转向信号，则可以确定载运工具将要在转向信号指示的方向上转向或操纵。载运工具输入可以包括旋转载运工具的方向盘。方向盘的旋转可以由驾驶员启动，或者由载运工具自主启动。方向盘旋转的方向可以指示载运工具开始转向的方向。方向盘旋转的程度可以指示转向的弧长或缓急。载运工具输入可以包括载运工具的一个或多个驱动轮的方向的改变。驱动轮可以响应于方向盘的旋转而改变方向。驱动轮可以改变方向而不需要旋转方向盘。驱动轮旋转的方向可以指示载运工具开始转向的方向。驱动轮旋转的程度可以指示转向的弧长或缓急。
传感器收集的数据还可以用于检测可触发一个或多个传感器的取向的条件。例如，载运工具上机载的一个或多个传感器可以用于检测和/或识别载运工具正在接近交叉路口。可以借助于传感器收集关于交叉路口的数据(例如，相交的道路的数量、交通水平、道路方向)。可以借助于一个或多个传感器来检测其它特征(例如，交通灯、环形交通枢纽、合流、车道分叉、人行横道、路障、施工、重新定向标志、坡道、碎石、潜在障碍物、或其它特征)。在另一示例中，载运工具上机载的一个或多个传感器可以用于检测和/或识别道路的取向的改变。例如，道路可以向右或向左弯曲。传感器可以用于检测弯曲的方向和/或程度。
载运工具所处的环境的地图也可以用于检测可触发一个或多个传感器的取向的条件。例如，可以确定载运工具在地图上的位置。地图可以包括道路的定位和/或关于特定区域的更新信息(例如，是否存在事故、施工、交通灯损坏等)。例如，地图可以用于检测和/或识别载运工具正在接近交叉路口。关于交叉口的数据(例如，相交的道路的数量、交通水平、道路方向)可以在地图上获知。地图上可以出现其它特征(例如，交通灯、环形交通枢纽、合流、车道分叉、人行横道、路障、施工或其它特征)。在另一示例中，地图可以用于预测道路的取向的改变。例如，道路可以向右或向左弯曲。地图可以具有与弯曲的方向和/或程度有关的信息。
在一些实施例中，取向改变的程度可以取决于载运工具的运动或预测运动。例如，取向改变的程度可以取决于载运工具改变取向的角度。在一个示例中，当存在更大的预测取向改变时，取向改变程度可以更大。例如，与当载运工具路径向左弯曲一点时载运工具左转量较小的情况相比，当载运工具向左急转向时，传感器可以更多地向左转。传感器转向的程度与载运工具转向或预测转向的程度之间可以存在线性关系、指数关系、或任何其它类型的关系。可以基于载运工具运动或预测的运动路径的转角或弧长来调整传感器的旋转角度。
传感器改变取向的速度可以取决于载运工具的运动或预测运动。例如，取向改变的速度可以取决于载运工具改变取向的角度、或转向的缓急。在一个示例中，当存在更大的预测取向改变时，取向改变的速度可以更大。例如，与当载运工具路径向左弯曲一点时载运工具左转量较小的情况相比，当载运工具向左急转向时，传感器可以更快地向左转。如果转向更突然或更紧急，则传感器可以转得更快。当转向曲率较高时，传感器可以转得更快。传感器转向的速度与载运工具转向或预测转向的程度之间可以存在线性关系、指数关系、或任何其它类型的关系。可以基于载运工具运动或预测的运动路径的转角或弧长来调整传感器的旋转速度。备选地，传感器改变的速度可以是恒定的或预定的。
在一些实施例中，改变的程度和/或速度可以是预定的。传感器可以被配置为通过基于载运工具的运动或预测的运动路径旋转预定量来改变其取向。
传感器可以通过围绕偏航轴旋转来改变取向。可以改变传感器的偏航。当载运工具向左或向右转向或者预测向左或向右转向时，传感器可以向左或向右旋转。在一些实施例中，传感器可以通过围绕俯仰轴旋转来改变取向。当载运工具在山坡上向上行驶或向下行驶时，或者当预测路径改变竖直取向时，传感器可以向上或向下成角度。传感器可以通过围绕偏航轴和俯仰轴的组合旋转来改变取向。备选地或附加地，传感器可以或可以不围绕横滚轴旋转。
在一些情况下，至少一个传感器可以被配置为：在载运工具向右改变其方向之前或之时顺时针(例如，围绕偏航轴)旋转，以便检测到载运工具的右前方的区域。在另一实例中，至少一个传感器可以被配置为：在载运工具向左改变其方向之前或之时逆时针(例如，围绕偏航轴)旋转，以便检测载运工具的左前方的区域。
部分A示出了沿向前方向行进的载运工具100，其具有多个前向传感器。前向传感器的可检测范围202、204、206可以设置在载运工具前方。如本文其它地方所述，可以提供具有各种可检测范围的附加传感器。
B部分示出了载运工具接近交叉路口。当接近或到达交叉路口时，至少一个传感器的取向可以改变。在一些实施例中，第一传感器仍可以向前，使得检测范围202位于载运工具前方。第二传感器可以向右转，使得检测范围204处于载运工具的右前方。第三传感器可以向左转，使得检测范围206处于载运工具的左前方。可以在任何确定载运工具将在交叉路口的行驶方向之前，进行这种取向改变。这种取向改变可以在确定或检测载运工具将在交叉路口的行驶方向之后，并且基于该确定或检测来进行。在一个示例中，可以知道载运工具正在向左转或将向左转(例如，从位置A移动到位置B)。响应于知道载运工具将向左转，传感器可以改变取向。前向传感器可以用于检测载运工具前方的状况。当载运工具向左转向时，右向传感器可以用于检测载运工具右侧的迎面而来的交通或其它状况。左向传感器可以用于检测载运工具左侧的状况，例如左侧迎面而来的交通、潜在的障碍物、或其它状况。在一些实施例中，保持向前、向左转动和向右转动的传感器都可以是相同类型的传感器。传感器可以具有相同的可检测范围大小(例如，范围、宽度、和/或形状)。备选地，它们可以具有不同的可检测范围(例如，范围、宽度、和/或形状)。保持向前、向左转动和向右转动的传感器可以包括两种或更多种不同类型的传感器。相同或不同类型的传感器可以是如本文其它地方所述的任何传感器类型。
在一些实施例中，一个或多个传感器可以改变取向以面向载运工具正在转向的方向。在一个示例中，所有传感器可以改变取向以面向载运工具正在转向的方向。在一些情况下，传感器之一可以保持面向前，而其余传感器可以改变取向以面向载运工具正在转向的方向。在另一实例中，一个或多个传感器可以改变取向以面向与载运工具正在转向的方向不同的方向。例如，如果载运工具向左转，则一个或多个传感器可以转向以面向右，或者如果载运工具向右转，则一个或多个传感器可以转向以面向左。这可以是一个或多个传感器面向前和/或面向载运工具正在转向的方向的附加或备选。如前所述，保持面向相同取向或改变取向的传感器可以是相同的传感器类型或不同的传感器类型。
在一些实施例中，传感器可以重新调整取向以面向呈现在载运工具面前的各种数量的道路。例如，如果载运工具到达四向交叉路口，则传感器可以面向三个不同的方向，以取向为朝向载运工具可以行进的其它三个方向中的每个方向。如果载运工具进入三向交叉路口，则传感器可以面向两个不同的方向。如果载运工具仅沿着弯曲的路径行进而不存在载运工具可能转向的分支或方向，则传感器可以取向为沿载运工具前方，或者可以成角度以沿着载运工具行驶的道路行进。
图18提供了根据实施例的一个或多个传感器可以如何被配置为基于载运工具的运动或预测运动而改变的附加图示。载运工具100可以沿着预测路径行进。载运工具上机载的感测组件的一个或多个传感器可以具有各种可检测范围202、204、206。传感器可以是相同类型或不同类型。传感器可以具有相同的可检测范围(例如，可检测的范围、宽度、和/或形状)，或者可以具有不同的可检测范围。
一个或多个传感器可以基于载运工具的运动或预测的行进运动而具有相对于载运工具的取向。例如，如果预测载运工具向前移动，则传感器可以保持面向前，在载运工具前方具有可检测范围202。如果预测载运工具向右转，则传感器可以转向右，以具有在载运工具的右前方的可检测范围202。一个或多个传感器可以面向载运工具行进的方向(或预测的行进方向)。
在一些实施例中，一个或多个传感器可以面向与行进方向不同的方向。一个或多个传感器可以重新取向以面向与行进方向不同的方向。例如，一个或多个传感器可以面向右，以具有在行进方向的右侧的可检测范围204，和/或一个或多个传感器可以面向左，以具有在行进方向的左侧的可检测范围206。这些传感器可以保持面向与行进方向不同的方向，或者有时可以与行进方向对准。
一个或多个传感器可以使其自身取向为面向各种不同的方向。传感器可以沿向前方向开始，并且根据需要将它们自身取向为各种不同的方向。传感器可以直接从一个期望的取向移动到另一取向。
在一些实施例中，传感器可以在不同方向之间来回扫描。传感器可以以预定速度来回旋转。传感器可以以取决于行进方向或路径曲率的速度来回旋转。在一些情况下，传感器可以在向前方向和向左或向右的预设方向之间扫描。在一些情况下，传感器可以在行进方向和相对于载运工具的向左或向右的预设方向或相对于行进方向向左或向右的预设程度之间扫描。在一些实施例中，载运工具左侧或右侧的方向可以取决于使传感器来回扫描的触发条件。
除了改变围绕偏航轴的取向之外，传感器还可以能够改变围绕俯仰轴的取向。在一些实施例中，载运工具的预测路径可以是载运工具从下坡向上坡行进的路径。可以根据预测的竖直道路改变来改变一个或多个传感器的俯仰。例如，当载运工具在平坦道路上行进时，传感器可以具有中间水平位置。如果载运工具爬坡，则传感器可以略微向下成角度，以在可检测范围内捕获更多道路。如果载运工具处于或进入道路的低谷或山谷，则传感器可以略微向上成角度，以在可检测范围内捕获更多道路。本文关于取向的水平改变的任何描述也可以适用于取向的竖直改变。例如，如本文其它地方所述，与取向改变、取向速度、传感器类型相关的描述也适用于竖直取向。
图20示出了根据一些实施例的与载运工具的感测组件通信的感测系统控制器。感测系统控制器200可以可操作地连接到感测组件110中的两个或更多个相同或不同类型的传感器。例如，感测系统控制器可以与激光雷达120、相机130、雷达140、超声波传感器150、GPS 160、和/或里程计170通信。在一些情况下，感测系统控制器可以与N种不同类型的传感器通信，其中N可以是大于1的任何整数。感测系统控制器可以包括一个或多个处理器，其被配置为获得从耦接到载运工具(例如，载运工具100)的多个传感器收集的感测数据。
感测系统控制器可以被配置为通过融合来自不同传感器的两个或更多个数据集合来处理感测数据。例如，来自两组或更多组单线激光雷达单元和立体相机的传感器数据可以融合成RGB-D数据集合。感测系统控制器可以分析RGB-D数据以检测环境中的障碍物，并且将障碍物信息提供给载运工具导航控制器300。感测系统控制器还可以包括一个或多个处理器，用于处理(例如，融合)来自向前和/或后向单目相机、远程激光雷达、和/或毫米波雷达的数据，以便实现远程对象监测和避障。感测系统控制器可以分析来自一个或多个超声波传感器的数据，以检测接近载运工具的区域中的障碍物，该障碍物可以位于其它传感器的“盲”点中。感测系统控制器还可以将来自载运工具里程计和GPS的数据提供给载运工具导航控制器300，以辅助位置、驾驶和路径规划。
上述传感器融合方法可以应用于各种类型的功能，包括导航、对象识别和避障。在一些实施例中，使用传感器融合结果获得的环境数据可以用于通过提供精确的位置信息以及关于潜在障碍物的信息来改进载运工具操作的稳定性、安全性和灵活性。环境数据可以提供给用户(例如，经由遥控器或终端、移动装置或其它用户装置)，以便向用户通知对载运工具进行手动控制。备选地或组合地，环境数据可以用于半自主或全自主控制系统，以指导载运工具自动驾驶。
本文所述的障碍物可以是实质上静止的(例如，建筑物、植物、结构)或实质上移动的(例如，人、动物、载运工具、或能够移动的其它对象)。一些障碍物可以包括静止部件和移动部件的组合(例如，风车)。移动障碍物或障碍物部件可以根据预定的或可预测的路径或模式而移动。例如，汽车的移动可以(例如，根据道路的形状)相对可预测。备选地，一些移动障碍物或障碍物部件可以沿着随机的轨迹或其它方式不可预测的轨迹移动。例如，诸如动物之类的生物可以以相对不可预测的方式移动。不同类型的环境可以与不同数量和类型的障碍物相关联。例如，高海拔环境可以具有很少的障碍物或没有障碍物。相反，室内环境或低海拔环境可以具有更多障碍物。一些类型的低海拔室外环境(例如，田地和其它平坦的开放空间)可以比其它类型(例如，城市环境和其它人口稠密的区域、森林)具有更少的障碍物。因此，本文描述的在具有高障碍物密度的环境中操作的载运工具可能面临着更多的碰撞、事故危险、或其它安全事故的风险。相反，低障碍物密度环境内的载运工具操作可以是相对安全的。与静止障碍物相比，移动障碍物可能带来更高的风险，因为移动障碍物可能碰撞或阻碍载运工具，而不管载运工具所采取的任何动作。传感器融合方法可以用于改进对载运工具操作的环境内的障碍物的检测。
本文描述的载运工具可以被配置为沿多个位置之间的不同运动路径移动。对于许多现实世界的应用，仅知道载运工具的位置和运动可能不足以进行实时导航。例如，周围环境可以包括在载运工具和目标目的地之间的路径中的障碍物。这些障碍物可以是静止的，能够移动的，或者运动的。因此，关于外部环境的信息会是载运工具通过实时重新规划其路径来避开这些障碍物所必需的。在一些实施例中，可以基于由载运工具上机载的相机和其它传感器捕获的一个或多个图像在3D地图中提供关于外部环境的信息。可以通过使用3D地图来产生载运工具的运动路径。
本文公开的实施例可以用于执行避障操纵，以防止载运工具与环境对象碰撞。在一些实施例中，障碍物检测和避免可以是自动的，从而提高安全性并减少用户对于避免碰撞的责任。这种方法对于没有经验的操作者以及在用户不能容易地察觉到载运工具附近存在障碍物的情况下会是有利的。此外，自动避障的实施可以降低与半自主或全自主载运工具导航相关联的安全风险。此外，本文描述的多传感器融合技术可以用于产生更精确的环境表示，从而提高了这种自动防撞机制的可靠性。
图21示出了根据一些实施例的自动驾驶系统1900，其包括硬件传感器模块1910、感测模块1920以及导航定位模块1930。硬件传感器模块可以与本文其它地方描述的感测组件相对应。例如，硬件传感器模块可以包括用于接近检测的第一组传感器1912、以及用于长距离检测的第二组传感器1914。第一组传感器可以包括例如耦接到载运工具的多个侧面的一个或多个超声波传感器。超声波传感器可以被配置为调整其取向以改变其方向和扫描区域，以便充分地感测接近载运工具的或载运工具周围的区域。超声波传感器还可以扫描位于第二组传感器的“盲”点中的区域。第二组传感器可以包括例如如本文其它地方所述的前向单目相机、远程激光雷达和毫米波长雷达。传感器模块还可以包括位于载运工具周围的成组设置的多个激光雷达单元1916、以及多个双目相机1918。激光雷达单元可以是单线激光雷达单元。附加地并且可选地，传感器模块可以包括里程计1919-1和GPS传感器1919-2。
感测模块1920可以以异步和发布/订阅方式从传感器模块1910接收数据。感测模块可以包括订阅由传感器模块1910收集的数据的一个或多个子模块。传感器模块1910中的传感器可以被配置为自动地将数据发送到对应的订阅子模块。例如，第一组传感器中的超声波传感器可以将数据发送到子模块1922，以用于检测接近载运工具的对象。类似地，第二组传感器中的前向单目相机、远程激光雷达和毫米波长雷达可以将数据发送到另一子模块1924，以用于检测远离载运工具的对象。
多个激光雷达单元和双目相机可以将数据发送到子模块1926，子模块1926将数据融合成RGB-D数据集合。然后，RGB-D数据被提供到检测子模块1928，检测子模块1928被配置为分析RGB-D数据以检测环境中的障碍物。
感测模块1920中的一个或多个子模块可以被配置为将障碍物检测信息提供给导航定位模块1930。导航定位模块可以包括定位子模块1932，用于基于由感测模块获得的障碍物信息以及实时来自载运工具里程计和GPS传感器的数据，确定用于避障的多个位置和路径，以便在环境内安全地导航载运工具。然后，定位子模块将多个位置和路径发送到导航子模块1934，导航子模块1934被配置为基于多个位置和路径控制载运工具的自主驾驶。
在一些实施例中，多个传感器可以用于收集关于载运工具的信息。多个传感器可以包括多种传感器类型，例如本文其它地方描述的各种传感器类型的任何组合。例如，第一传感器类型可以是视觉传感器，而第二传感器类型可以是激光雷达单元。然而，可以提供不同传感器类型的任何组合。
在一些实施例中，来自第一传感器类型的数据可以与来自第二传感器类型的数据融合。来自第一传感器类型和第二传感器类型的融合数据可以后续用于进行关于载运工具的检测。
在另一示例中，来自第一传感器类型的数据可以用于进行关于载运工具的检测，并且来自第二传感器类型的数据可以用于进行关于载运工具的检测。然后，可以融合检测数据以提出关于载运工具的主检测。
在一些实施例中，可以向来自第一传感器类型和/或第二传感器类型的数据赋予权重。权重可以取决于传感器类型在载运工具的操作环境类型内进行操作的适合性。例如，如果第一传感器类型比第二传感器类型更适合于载运工具的操作环境，则来自第一传感器类型的数据的权重可以比来自第二传感器类型的数据的权重更大。在一些实施例中，如果来自特定传感器类型的数据根本不适合于环境内的操作，则来自该传感器类型的数据的权重可以为零或另一个低值。可以在融合数据之前或之后对数据进行加权。可以在进行关于载运工具的检测之前或之后对数据进行加权。
对于来自任何数量的传感器类型(例如，1、2、3、4、5、6、7、8或更多)的任何数量的数据，可以在检测发生之前或之后对数据进行融合。来自任何数量的传感器类型的数据可以被加权。可以在相同时间一起对它们加权，或者可以按顺序对它们进行加权。
来自激光雷达传感器(例如，单个激光雷达单元或激光雷达单元子集)的数据和来自视觉传感器(例如，双目相机或单目相机)的数据可以使用以下传感器融合技术中的至少一个或多个技术来处理。在一些实施例中，来自激光雷达传感器和视觉传感器的数据可以首先融合在一起，然后融合数据可以用于障碍物检测和/或识别周围环境。
在一些其它实施例中，障碍物检测的一些部分可以在传感器融合之前发生。例如，来自激光雷达传感器的数据可以单独用于检测障碍物，并且来自视觉传感器的数据可以单独用于检测障碍物。障碍物可以是或可以不是相同类型的，或者可以或可以不处于距载运工具相同的距离处。然后，可以通过将与分别由激光雷达传感器和视觉传感器检测到的障碍物有关的信息融合在一起来创建环境地图。一个或多个处理器可以被配置为根据环境地图确定障碍物的特性，并且关联或证实由各个激光雷达传感器和视觉传感器检测到的障碍物。在一些实施例中，一个或多个处理器可以被配置为确定来自激光雷达传感器和视觉传感器中的每一个传感器的数据是否可靠。例如，在有雾的条件下，如果基于由视觉传感器收集的图像数据确定能见度低于阈值，则来自视觉传感器的数据可以被认为是不可靠的，并且可以不用于传感器融合(备选地，在传感器融合中赋予低权重)。在这些有雾的条件下，仅来自激光雷达传感器的数据可以用于障碍物检测。这可以与第一条件相对应，在第一条件下，来自视觉传感器的数据被赋予为0(最小)的权重，而来自激光雷达单元的数据被赋予为1(最大)的权重。在另一示例中，如果确定能见度高于阈值，则可以使用来自视觉传感器相机的数据。在这种情况下，激光雷达传感器数据和视觉传感器数据可以各自用于检测障碍物，然后可以将所检测到的障碍物一起融合到环境地图中。处理器可以被配置为基于融合数据或环境地图来确定所检测到的障碍物的真实性(或精确性)。
在一些实施例中，来自各种传感器的数据可以被映射到点云上。一个或多个处理器可以被配置为连续监测点云以确定云中的点是由于噪声还是来自相同的对象/障碍物。处理器可以被配置为跟踪一个或多个点、以及它们在点云内的空间位置。例如，如果处理器正在跟踪特定点或点群集并且确定点云中的那些点的持续时间少于预定义时间阈值，则处理器可以将那些点分类为噪声，并且将它们排除而不参与进一步分析。在一些实施例中，处理器可以基于对象在点云中出现的持续时间来向点云中的对象赋予等级。与出现较长时间段的对象相比，出现短暂时间段的对象可以被赋予较低的等级。在一些实施例中，还可以通过将来自点云的对象与已知对象模型集合进行比较来确定对象的等级。例如，与已知模型紧密匹配的对象可以被赋予更高的等级，而与已知模型不太紧密匹配的另一对象可以被赋予较低的等级。点云中的对象的等级可以用于确定对象实际上是否是真实的物理对象、以及对象类型。在一些情况下，具有大于第一预定等级的等级的对象可以被分类为真实物理对象，而等级少于第二预定等级的对象可以被分类为噪声数据。在一些实施例中，某些对象可以具有落在第一预定等级和第二预定等级之间的等级。在那些实施例中，那些对象的标识可以是模糊的，并且处理器可以被配置为随时间继续监测那些点，以确定它们是与真实物理对象相对应还是与噪声数据相对应。在一些情况下，一个或多个传感器可以被配置为收集与那些被认为是模糊的对象或点有关的更多数据。
图22示出了根据一些实施例的传感器模块中的不同类型的传感器的时间同步。如前所述，感测模块1920中的不同子模块可以订阅来自硬件传感器模块1910的不同传感器数据，由此每个传感器将数据发送到对应的子模块。如图20所示，可以以预定时间间隔或随机时间间隔产生多个系统同步信号tk等。子模块可以被配置为收集传感器数据(例如，作为针对当前帧的收集数据)，并且每当接收到系统同步信号时处理数据。导航定位模块可以被配置为从激光雷达、相机和GPS传感器接收已经被处理过的数据。每当接收到系统同步信号(例如，tk)时，可以收集下一个传感器数据t′k，并且向导航定位模块发送该收集的下一个传感器数据。尽管传感器数据可以是在不同时间点由各个传感器收集的，但是可以以定时tk将传感器数据一起融合为表示环境的公共传感器数据集合。
在一些实施例中，可以根据实施例提供用于控制可移动物体的系统。该系统可以与本文公开的系统、装置和方法的任何合适的实施例结合使用。该系统可以包括感测模块、处理单元、非暂时性计算机可读介质、控制模块和通信模块。
感测模块可以利用不同类型的传感器，所述传感器以不同方式收集与可移动物体相关的信息。不同类型的传感器可以感测不同类型的信号或来自不同源的信号。例如，传感器可以包括惯性传感器、GPS传感器、接近传感器(例如，激光雷达)或视觉/图像传感器(例如，相机)。感测模块可以可操作地耦接到具有多个处理器的处理单元。在一些实施例中，感测模块可以操作地耦接到被配置为直接向合适的外部装置或系统发送感测数据的发送模块(例如，Wi-Fi图像发送模块)。例如，发送模块可以用于向远程终端发送由感测模块的相机捕获的图像。
处理单元可以具有一个或多个处理器，诸如，可编程处理器(例如，中央处理单元(CPU))。处理单元可以可操作地耦接到非暂时性计算机可读介质。非暂时性计算机可读介质可以存储可由处理单元执行用以执行一个或多个步骤的逻辑、代码和/或程序指令。非暂时性计算机可读介质可以包括一个或多个存储器单元(例如，可移动介质或外部存储器(例如SD卡)、或随机存取存储器(RAM))。在一些实施例中，来自感测模块的数据可以被直接传送到非暂时性计算机可读介质的存储器单元中并存储在其中。非暂时性计算机可读介质的存储单元可以存储可由处理单元执行的、用以执行本文描述的方法的任何合适的实施例的逻辑、代码和/或程序指令。例如，处理单元可以被配置为执行使处理单元的一个或多个处理器分析由感测模块产生的感测数据的指令。存储单元可以存储来自感测模块的感测数据，以待由处理单元进行处理。在一些实施例中，非暂时性计算机可读介质的存储单元可以用于存储由处理单元产生的处理结果。
在一些实施例中，处理单元可以可操作地耦合到被配置为控制可移动物体的状态的控制模块。例如，控制模块可以被配置为控制可移动物体的推进机构相对于六个自由度来调节可移动物体的空间部署、速度和/或加速度。备选地或组合地，控制模块可以控制载体、搭载物或感测模块的状态中的一个或多个。
处理单元可以可操作地耦合到被配置为向一个或多个外部装置(例如，终端、显示装置或其它遥控器)发送数据和/或从一个或多个外部装置接收数据的通信模块。可以使用任何合适的通信方式，例如有线通信或无线通信。例如，通信模块可以利用局域网(LAN)、广域网(WAN)、红外线、无线电、WiFi、点对点(P2P)网络、电信网络、云通信等中的一个或多个。可选地，可以使用中继站，例如塔、卫星或移动站。无线通信可以是接近度相关的或接近度不相关的。在一些实施例中，通信可能需要或可能不需要视距。通信模块可以发送和/或接收以下项中的一个或多个：来自感测模块的感测数据、由处理单元产生的处理结果、预定控制数据、来自终端或遥控器的用户命令等。
可以以任何合适的配置布置系统的部件。例如，系统的一个或多个部件可以位于可移动物体、载体、搭载物、终端、感测系统或与上述器件中的一个或多个通信的其它外部装置上。在一些实施例中，多个处理单元和/或非暂时性计算机可读介质中的一个或多个可以位于不同的位置，例如，在可移动物体、载体、搭载物、终端、感测模块、与上述器件中的一个或多个通信的其它外部装置或其合适组合上，使得由该系统执行的处理和/或存储功能的任何合适方面可以发生在上述位置的一个或多个位置处。
本文所用的A和/或B包括A或B中的一个或多个以及它们的组合(例如，A和B)。将理解，尽管本文中可以使用术语“第一”、“第二”、“第三”等来描述各元件、部件、区域和/或部，但是这些元件、部件、区域和/或部不应被这些术语限制。这些术语仅用于将一个元件、部件、区域或部与另一元件、部件、区域或部加以区分。因此，在不脱离示例本发明的教义的前提下，以下提到的第一元件、部件、区域或部也可以称作第二元件、部件、区域或部。
本文中所使用的术语仅是为了描述具体实施例的目的，而不是意在限制本发明。如本文中使用的，单数形式“一”、“一个”和“所述”意图还包括复数形式，除非上下文明确地给出相反的指示。还应该理解，当在本发明中使用时，术语“包括”和/或“包括了”、或“包含”和/或“包含了”指定了存在所声明的特征、区域、整数、步骤、操作、元件和/或部件，但是不排除存在或此外还有一个或多个其它特征、区域、整数、步骤、操作、元素、部件和/或其组合。
此外，在本文中可以使用诸如“下”或“底”和“上”或“顶”的相对术语来描述一个元件与图示其它元件的关系。应当理解，除了附图中所示的取向之外，相对术语旨在包括元件的不同取向。例如，如果一幅图中的元件翻转，则被描述为位于其它元件的“下”侧的元件将定向在其它元件的“上”侧。因此，示例性术语“下”可以包含“下”和“上”的取向，这取决于图的特定取向。类似地，如果一幅图中的元件翻转，则被描述为位于其它元件的“下方”或“下侧”的元件将取向为在其它元件的“上方”。因此，“下方”或“下方”的示例性术语可以包括上和下两者的取向。
尽管本文已经示出和描述了本发明的优选实施例，但是对于本领域技术人员显而易见的是，这些实施例仅以示例的方式提供。在不脱离本发明的情况下，本领域技术人员将会想到许多变化、改变和备选方式。应当理解，在实施本发明时可以采用本文所述的本发明的实施例的各种备选方案。本文描述的实施例的许多不同组合是可能的，并且这样的组合被认为是本公开的一部分。此外，结合本文任何一个实施例讨论的所有特征可以容易地适用于本文的其它实施例。以下权利要求旨在限定本发明的范围，并且这些权利要求及其等同物的范围内的方法和结构由此被涵盖。

Claims (90)

1.一种用于载运工具的自主驾驶组件，所述组件包括：
激光雷达模块，被配置为由载运工具本体支撑，所述激光雷达模块共同被配置为在所述驾驶组件耦接到所述载运工具本体时，检测接近所述载运工具本体的外围区域以辅助自主驾驶；
所述激光雷达模块包括至少两个激光雷达单元子集，所述激光雷达单元子集被配置为以下至少一种形式：
每个所述激光雷达单元子集包括相对于彼此具有固定布局的至少两个激光雷达单元，其中，每一个所述激光雷达单元的视场不同，且至少两个所述激光雷达单元的视场相互重叠；或，
所述至少两个激光雷达单元子集在竖直方向上的可检测范围不同，以允许检测不同高度处的对象。
2.根据权利要求1所述的组件，其中，所述至少两个激光雷达单元子集包括：第一激光雷达单元子集，包括相对于彼此具有固定布局的至少两个激光雷达单元；以及，第二激光雷达单元子集，包括相对于彼此具有固定布局的至少两个激光雷达单元。
3.根据权利要求2所述的组件，其中，所述第一激光雷达单元子集和所述第二激光雷达单元子集支撑在所述载运工具本体的不同区域上，并且被配置为协同工作以检测所述区域或其一部分。
4.根据权利要求1所述的组件，其中，所述激光雷达单元模块可检测的区域围绕所述载运工具本体360度延伸。
5.根据权利要求2所述的组件，其中，所述第一激光雷达单元子集由第一支撑结构支撑，并且所述第二激光雷达单元子集由与所述第一支撑结构分离的第二支撑结构支撑。
6.根据权利要求1所述的组件，其中，所述至少两个激光雷达单元子集中的每一个激光雷达单元是单线激光雷达单元。
7.根据权利要求1所述的组件，其中，所述至少两个激光雷达单元子集中的至少一个激光雷达单元是多线激光雷达单元。
8.根据权利要求1所述的组件，其中，所述至少两个激光雷达单元不是多线单片激光雷达单元的一部分。
9.根据权利要求2所述的组件，其中，所述第一激光雷达单元子集包括沿第一方向光学对准的第一激光雷达单元和沿第二方向光学对准的第二激光雷达单元，其中所述第一方向与所述第二方向之间的角度为50度或更小。
10.根据权利要求1所述的组件，其中，所述至少两个激光雷达单元子集中的每一个激光雷达单元具有小于90度的视场。
11.根据权利要求10所述的组件，其中，所述至少两个激光雷达单元子集中的每一个激光雷达单元具有60度的视场。
12.根据权利要求1所述的组件，其中，所述激光雷达模块包括小于或等于12个激光雷达单元。
13.根据权利要求2所述的组件，其中，所述第一激光雷达单元子集位于所述载运工具的第一角处，并且所述第二激光雷达单元子集位于所述载运工具的第二角处。
14.根据权利要求13所述的组件，其中，所述第一角和所述第二角位于所述载运工具的相同侧上。
15.根据权利要求13所述的组件，其中，所述第一角和所述第二角位于所述载运工具的不同侧上。
16.根据权利要求15所述的组件，其中，所述第一角和所述第二角位于所述载运工具的相对侧上。
17.根据权利要求15所述的组件，其中，所述第一角和所述第二角位于所述载运工具的相邻侧上。
18.根据权利要求13所述的组件，其中，所述至少两个激光雷达单元子集还包括：第三激光雷达单元子集，包括由第三支撑结构支撑的至少两个激光雷达单元；以及，第四激光雷达单元子集，包括由第四支撑结构支撑的至少两个激光雷达单元。
19.根据权利要求18所述的组件，其中，所述第三激光雷达单元子集位于所述载运工具的第三角处，并且所述第四激光雷达单元子集位于所述载运工具的第四角处。
20.根据权利要求19所述的组件，其中，所述载运工具的所述第三角和所述第四角位于所述载运工具的所述第一角和所述第二角的相对侧。
21.根据权利要求19所述的组件，其中，所述第一激光雷达单元子集主要取向为沿着从所述载运工具的所述第一角起始的第一对角线朝向外，所述第二激光雷达单元子集主要取向为沿着从所述载运工具的所述第二角起始的第二对角线朝向外，所述第三激光雷达单元子集主要取向为沿着从所述载运工具的所述第三角起始的第三对角线朝向外，并且所述第四激光雷达单元子集主要取向为沿着从所述载运工具的所述第四角起始的第四对角线朝向外。
22.根据权利要求2所述的组件，其中，所述第一激光雷达单元子集和所述第二激光雷达单元子集位于所述载运工具的相同侧或不同侧上。
23.根据权利要求22所述的组件，其中，所述第一激光雷达单元子集位于所述载运工具的第一侧，并且所述第二激光雷达单元子集位于所述载运工具的第二侧。
24.根据权利要求23所述的组件，其中，所述载运工具的所述第一侧和所述第二侧彼此相邻。
25.根据权利要求23所述的组件，其中，所述载运工具的所述第一侧和所述第二侧彼此相对。
26.根据权利要求23所述的组件，其中，所述至少两个激光雷达单元子集还包括：第三激光雷达单元子集，包括由第三支撑结构支撑的至少两个激光雷达单元；以及，第四激光雷达单元子集，包括由第四支撑结构支撑的至少两个激光雷达单元。
27.根据权利要求26所述的组件，其中，所述第三激光雷达单元子集位于所述载运工具的第三侧，并且所述第四激光雷达单元子集位于所述载运工具的第四侧。
28.根据权利要求27所述的组件，其中，所述第一侧、所述第二侧、所述第三侧和所述第四侧中的至少两个侧面位于所述载运工具的相对侧。
29.根据权利要求27所述的组件，其中，所述第一侧、所述第二侧、所述第三侧和所述第四侧中的至少两个侧面位于所述载运工具的相邻侧。
30.根据权利要求2所述的组件，其中，所述第一激光雷达单元子集主要取向为背离所述载运工具的第一方向，所述第二激光雷达单元子集主要取向为背离所述载运工具的第二方向。
31.根据权利要求30所述的组件，其中，所述至少两个激光雷达单元子集还包括：第三激光雷达单元子集，包括由第三支撑结构支撑的至少两个激光雷达单元；以及，第四激光雷达单元子集，包括由第四支撑结构支撑的至少两个激光雷达单元。
32.根据权利要求31所述的组件，其中，所述第三激光雷达单元子集主要取向为背离所述载运工具的第三方向，所述第四激光雷达单元子集主要取向为背离所述载运工具的第四方向。
33.根据权利要求32所述的组件，其中，所述第一方向、所述第二方向、所述第三方向和所述第四方向中的两个或更多个方向是彼此正交的。
34.根据权利要求32所述的组件，其中，所述第一方向、所述第二方向、所述第三方向和所述第四方向中的两个或更多个方向是彼此平行的。
35.根据权利要求32所述的组件，其中，所述第一方向、所述第二方向、所述第三方向和所述第四方向中的两个或更多个方向是彼此倾斜的。
36.根据权利要求5所述的组件，其中，所述第一激光雷达单元子集包括由所述第一支撑结构支撑的至少三个激光雷达单元。
37.根据权利要求36所述的组件，其中，所述第一激光雷达单元子集中的所述至少三个激光雷达单元以增加所述激光雷达单元的相邻视场之间的重叠的方式布置。
38.根据权利要求5所述的组件，其中，所述第二激光雷达单元子集包括由所述第二支撑结构支撑的至少三个激光雷达单元。
39.根据权利要求38所述的组件，其中，所述第二激光雷达单元子集中的所述至少三个激光雷达单元以增加所述激光雷达单元的相邻视场之间的重叠的方式布置。
40.根据权利要求2所述的组件，其中，所述第一激光雷达单元子集被配置为相对于所述第二激光雷达单元子集移动，以便调整其间的视场重叠。
41.根据权利要求2所述的组件，其中，所述第一激光雷达单元子集和所述第二激光雷达单元子集被配置为相对于彼此移动，以便调整其间的视场重叠。
42.根据权利要求2所述的组件，其中，所述第一激光雷达单元子集与所述第二激光雷达单元子集之间的视场重叠是实时可调的，以补偿所述载运工具操作时的盲点。
43.根据权利要求2所述的组件，其中，在所述第一激光雷达单元子集与所述第二激光雷达单元子集之间存在至少70度的视场重叠。
44.根据权利要求2所述的组件，其中，所述第一激光雷达单元子集包括至少160度的共同视场，并且所述第二激光雷达单元子集包括至少160度的共同视场。
45.根据权利要求2所述的组件，其中，所述第一激光雷达单元子集的共同视场是通过在所述载运工具操作时改变所述第一激光雷达单元子集中的至少一个激光雷达单元的位置而实时可调的。
46.根据权利要求2所述的组件，其中，所述第二激光雷达单元子集的共同视场是通过在所述载运工具操作时改变所述第二激光雷达单元子集中的至少一个激光雷达单元的位置而实时可调的。
47.根据权利要求2所述的组件，其中，所述第一激光雷达单元子集和所述第二激光雷达单元子集的共同视场是通过在所述载运工具操作时改变所述第一激光雷达单元子集和所述第二激光雷达单元子集中的至少一个激光雷达单元的位置而实时可调的。
48.根据权利要求47所述的组件，其中，所述第一激光雷达单元子集和所述第二激光雷达单元子集的所述共同视场是通过改变所述第一激光雷达单元子集和所述第二激光雷达单元子集相对于彼此的位置而可调的。
49.根据权利要求47所述的组件，其中，所述第一激光雷达单元子集和所述第二激光雷达单元子集的所述共同视场是通过改变所述第一激光雷达单元子集相对于所述第二激光雷达单元子集的位置而可调的。
50.根据权利要求47所述的组件，其中，所述第一激光雷达单元子集和所述第二激光雷达单元子集的所述共同视场与所述第一激光雷达单元子集和所述第二激光雷达单元子集的共同检测范围成反比。
51.根据权利要求50所述的组件，其中，所述第一激光雷达单元子集和所述第二激光雷达单元子集的所述共同视场增加使得所述第一激光雷达单元子集和所述第二激光雷达单元子集的所述共同检测范围减小。
52.根据权利要求50所述的组件，其中，所述第一激光雷达单元子集和所述第二激光雷达单元子集的所述共同视场是在所述载运工具操作时根据选择的所述共同视场的宽度、和/或根据选择的所述共同检测范围的距离而实时可调的。
53.根据权利要求5所述的组件，其中，所述第一激光雷达单元子集中的每个激光雷达单元固定地附接到所述第一支撑结构，并且所述第二激光雷达单元子集中的每个激光雷达单元固定地附接到所述第二支撑结构。
54.根据权利要求2所述的组件，其中，所述第一激光雷达单元子集中的所述至少两个激光雷达单元被配置为在所述载运工具操作期间不相对于彼此移动，并且其中，所述第二激光雷达单元子集中的所述至少两个激光雷达单元被配置为在所述载运工具操作期间不相对于彼此移动。
55.根据权利要求2所述的组件，其中，所述至少两个激光雷达单元子集中的每一个激光雷达单元被配置为在所述载运工具操作期间保持在相对于所述载运工具本体的固定位置处。
56.根据权利要求55所述的组件，其中，所述第一激光雷达单元子集中的所述至少两个激光雷达单元之间的固定布局是借助于被配置为刚性地固定所述激光雷达单元的固定装置来维持的。
57.根据权利要求2所述的组件，其中，第一激光雷达单元子集中的至少两个激光雷达单元之间的固定布局是借助于载体来维持的。
58.根据权利要求57所述的组件，其中，所述载体被配置为允许一个或多个自由度的移动，以便维持所述第一激光雷达单元子集中的所述至少两个激光雷达单元之间的所述固定布局。
59.根据权利要求57所述的组件，其中，所述载体是单轴云台或多轴云台。
60.根据权利要求57所述的组件，其中，所述载体被配置为调整所述第一激光雷达单元子集中的所述两个激光雷达单元中的至少一个激光雷达单元的位置，以便维持所述至少两个激光雷达单元之间的所述固定布局。
61.根据权利要求60所述的组件，其中，所述载体被配置为在所述载运工具操作期间实时调整所述两个激光雷达单元中的所述至少一个激光雷达单元的所述位置。
62.根据权利要求2所述的组件，其中，第一激光雷达单元子集中的至少两个激光雷达单元之间的固定布局是借助于一个或多个连杆机构来维持的。
63.根据权利要求62所述的组件，其中，所述连杆机构包括串联和/或并联的连杆机构。
64.根据权利要求2所述的组件，其中，第一激光雷达单元子集中的至少两个激光雷达单元之间的固定布局是借助于运动耦接装置来维持的。
65.根据权利要求2所述的组件，其中，第一激光雷达单元子集中的至少两个激光雷达单元之间的固定布局是通过以刚性方式机械地耦接所述激光雷达单元来维持的。
66.根据权利要求1所述的组件，其中，所述至少两个激光雷达单元子集中的至少一个激光雷达单元被配置为在所述载运工具操作期间相对于所述载运工具本体移动。
67.根据权利要求66所述的组件，其中，所述至少两个激光雷达单元子集中的所述至少一个激光雷达单元被配置为借助于载体相对于所述载运工具本体移动。
68.根据权利要求2所述的组件，其中，第一激光雷达单元子集被配置为在所述载运工具操作时相对于第二激光雷达单元子集移动，以聚焦于所述区域的预定义部分上。
69.根据权利要求2所述的组件，其中，第一激光雷达单元子集和第二激光雷达单元子集被配置为在所述载运工具操作时相对于彼此移动以聚焦于所述区域的预定义部分上。
70.根据权利要求69所述的组件，其中，所述第一激光雷达单元子集和所述第二激光雷达单元子集被配置为借助于一个或多个载体相对于彼此移动。
71.根据权利要求69所述的组件，其中，所述区域的所述预定义部分具有与所述区域的其余部分不同的对象密度。
72.根据权利要求71所述的组件，其中，所述区域的所述预定义部分具有比所述区域的其余部分更高的对象密度。
73.根据权利要求2所述的组件，还包括：远程激光雷达单元，包括比所述至少两个激光雷达单元子集的共同视场更窄的视场。
74.根据权利要求73所述的组件，其中，所述远程激光雷达单元的所述视场窄于第一激光雷达单元子集或第二激光雷达单元子集的共同视场。
75.根据权利要求73所述的组件，其中，所述远程激光雷达单元的所述视场大于所述第一激光雷达单元子集或所述第二激光雷达单元子集的共同视场。
76.根据权利要求73所述的组件，其中，所述远程激光雷达单元包括比所述至少两个激光雷达单元子集更大的射程范围。
77.根据权利要求73所述的组件，其中，所述远程激光雷达单元具有从所述载运工具的前部面向前方的主方向。
78.根据权利要求2所述的组件，其中，在利用第一激光雷达单元子集和/或第二激光雷达单元子集进行感测之前，所述第一激光雷达单元子集和/或所述第二激光雷达单元子集进行初始固有校准。
79.根据权利要求78所述的组件，其中，所述第一激光雷达单元子集内的所述激光雷达单元在所述载运工具操作期间不需要在线校准，并且所述第二激光雷达单元子集内的所述激光雷达单元在所述载运工具操作期间不需要在线校准。
80.根据权利要求78所述的组件，其中，所述第一激光雷达单元子集和所述第二激光雷达单元子集在所述载运工具操作期间相对于彼此进行在线校准。
81.一种载运工具，包括根据权利要求1所述的自主驾驶组件。
82.根据权利要求81所述的载运工具，其中，所述载运工具是陆地载运工具。
83.根据权利要求81所述的载运工具，其中，所述载运工具包括用于一个或多个乘客的空间。
84.根据权利要求81所述的载运工具，其中，所述载运工具包括一个或多个附加传感器，所述附加传感器被配置为收集与所述载运工具周围的环境有关的信息。
85.根据权利要求84所述的载运工具，其中，所述一个或多个附加传感器包括以下项中的一项或多项：视觉传感器、超声波传感器、GPS、或轮子里程计。
86.根据权利要求84所述的载运工具，其中，所述一个或多个附加传感器包括毫米波雷达。
87.根据权利要求84所述的载运工具，其中，来自所述一个或多个附加传感器的信息与来自所述多个激光雷达单元的信息进行组合，以辅助所述载运工具的自主操作。
88.根据权利要求84所述的载运工具，其中，所述一个或多个附加传感器被校准到第一激光雷达单元子集或第二激光雷达单元子集中的至少一个。
89.一种收集载运工具周围的信息以用于自主驾驶的方法，所述方法包括：
借助于载运工具本体支撑所述载运工具的自主驾驶组件的激光雷达模块，所述激光雷达模块共同被配置为在所述驾驶组件耦接到所述载运工具本体时，检测接近所述载运工具本体的外围区域以辅助自主驾驶；
其中，所述激光雷达模块包括至少两个激光雷达单元子集，所述激光雷达单元子集被配置为以下至少一种形式：
每个所述激光雷达单元子集包括相对于彼此具有固定布局的至少两个激光雷达单元，其中，每一个所述激光雷达单元的视场不同，且至少两个所述激光雷达单元的视场相互重叠；或，
所述至少两个激光雷达单元子集在竖直方向上的可检测范围不同，以允许检测不同高度处的对象。
90.根据权利要求89所述的方法，其中，所述至少两个激光雷达单元子集包括第一激光雷达单元子集和第二激光雷达单元子集，所述方法还包括：
使用所述第一激光雷达单元子集获得数据，所述第一激光雷达单元子集包括相对于彼此具有固定布局的至少两个激光雷达单元，以及
使用所述第二激光雷达单元子集获得数据，所述第二激光雷达单元子集包括相对于彼此具有固定布局的至少两个激光雷达单元，
其中，所述第一激光雷达单元子集和所述第二激光雷达单元子集支撑在所述载运工具本体的不同区域上，并且被配置为协同工作以检测所述区域或其一部分。
CN201780089439.8A 2017-04-28 2017-04-28 用于自主驾驶的感测组件 Active CN110537109B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/082606 WO2018196001A1 (en) 2017-04-28 2017-04-28 Sensing assembly for autonomous driving

Publications (2)

Publication Number Publication Date
CN110537109A CN110537109A (zh) 2019-12-03
CN110537109B true CN110537109B (zh) 2024-02-20

Family

ID=63919377

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780089439.8A Active CN110537109B (zh) 2017-04-28 2017-04-28 用于自主驾驶的感测组件

Country Status (3)

Country Link
US (2) US11041958B2 (zh)
CN (1) CN110537109B (zh)
WO (1) WO2018196001A1 (zh)

Families Citing this family (132)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE46672E1 (en) 2006-07-13 2018-01-16 Velodyne Lidar, Inc. High definition LiDAR system
US10627490B2 (en) 2016-01-31 2020-04-21 Velodyne Lidar, Inc. Multiple pulse, LIDAR based 3-D imaging
JP7149256B2 (ja) 2016-03-19 2022-10-06 ベロダイン ライダー ユーエスエー，インコーポレイテッド Ｌｉｄａｒに基づく３次元撮像のための統合された照射及び検出
JP7165587B2 (ja) 2016-06-01 2022-11-04 ベロダイン ライダー ユーエスエー，インコーポレイテッド 多重ピクセル走査ｌｉｄａｒ
US9880561B2 (en) * 2016-06-09 2018-01-30 X Development Llc Sensor trajectory planning for a vehicle
WO2018086133A1 (en) * 2016-11-14 2018-05-17 SZ DJI Technology Co., Ltd. Methods and systems for selective sensor fusion
US10386465B2 (en) 2017-03-31 2019-08-20 Velodyne Lidar, Inc. Integrated LIDAR illumination power control
JP2020519881A (ja) 2017-05-08 2020-07-02 ベロダイン ライダー， インク． Ｌｉｄａｒデータ収集及び制御
EP3438776B1 (en) * 2017-08-04 2022-09-07 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle
JP6904849B2 (ja) * 2017-08-14 2021-07-21 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム。
DE112017007967T5 (de) * 2017-08-28 2020-06-10 Intel Corporation Posenschätzung für mobile autonome vorrichtung in teilzeiträumen einer vollständigen sensorabtastung
US11625045B2 (en) * 2017-08-31 2023-04-11 Uatc, Llc Systems and methods for controlling an autonomous vehicle with occluded sensor zones
US10877148B2 (en) * 2017-09-07 2020-12-29 Magna Electronics Inc. Vehicle radar sensing system with enhanced angle resolution using synthesized aperture
US20190101924A1 (en) * 2017-10-03 2019-04-04 Uber Technologies, Inc. Anomaly Detection Systems and Methods for Autonomous Vehicles
GB2568060B (en) * 2017-11-02 2020-02-12 Jaguar Land Rover Ltd Controller for a vehicle
WO2019111244A1 (en) * 2017-12-04 2019-06-13 Guardian Optical Technologies Ltd. Systems and methods for adjustment of vehicle sub-systems based on monitoring of vehicle occupant(s)
US20190204845A1 (en) 2017-12-29 2019-07-04 Waymo Llc Sensor integration for large autonomous vehicles
US10816985B2 (en) * 2018-04-17 2020-10-27 Baidu Usa Llc Method on moving obstacle representation for trajectory planning
JP7210906B2 (ja) * 2018-05-31 2023-01-24 株式会社デンソー 車両の自動運転制御装置及びプログラム
CN109271892A (zh) * 2018-08-30 2019-01-25 百度在线网络技术（北京）有限公司 一种物体识别方法、装置、设备、车辆和介质
EP3621327B8 (de) * 2018-09-04 2022-05-18 Volkswagen Aktiengesellschaft Verfahren zur vorausschauenden schätzung der übertragungsbedingungen für eine kommunikation zwischen zwei kommunikationspartnern, vorrichtung zur durchführung von verfahrensschritten des verfahrens, fahrzeug sowie computerprogramm
USD882426S1 (en) 2018-09-17 2020-04-28 Waymo Llc Integrated sensor assembly
US10712434B2 (en) 2018-09-18 2020-07-14 Velodyne Lidar, Inc. Multi-channel LIDAR illumination driver
US11082010B2 (en) 2018-11-06 2021-08-03 Velodyne Lidar Usa, Inc. Systems and methods for TIA base current detection and compensation
CN110770600B (zh) * 2018-11-29 2023-04-14 深圳市大疆创新科技有限公司 分布式光检测和测距（lidar）管理系统
US11555903B1 (en) 2018-11-30 2023-01-17 Zoox, Inc. Sensor calibration using dense depth maps
US10916035B1 (en) * 2018-11-30 2021-02-09 Zoox, Inc. Camera calibration using dense depth maps
US11287523B2 (en) * 2018-12-03 2022-03-29 CMMB Vision USA Inc. Method and apparatus for enhanced camera and radar sensor fusion
US11835948B2 (en) 2018-12-03 2023-12-05 Motional Ad Llc Systems and methods for improving vehicle operations using movable sensors
CN109635822B (zh) * 2018-12-07 2022-06-21 浙江科技学院 基于深度学习编码译码网络的立体图像视觉显著提取方法
DK180555B1 (en) * 2018-12-10 2021-06-17 Motional Ad Llc Systems and methods for validating and calibrating sensors
WO2020141694A1 (en) * 2019-01-04 2020-07-09 Seoul Robotics Co., Ltd. Vehicle using spatial information acquired using sensor, sensing device using spatial information acquired using sensor, and server
KR102193950B1 (ko) 2019-01-04 2020-12-22 주식회사 서울로보틱스 센서를 이용하여 획득한 공간 정보를 활용하는 차량 및 센싱 장치, 그리고 이를 위한 서버
US11885958B2 (en) 2019-01-07 2024-01-30 Velodyne Lidar Usa, Inc. Systems and methods for a dual axis resonant scanning mirror
US20200217954A1 (en) * 2019-01-07 2020-07-09 Velodyne Lidar, Inc. Systems and methods for a configurable sensor system
EP3680689A1 (en) * 2019-01-11 2020-07-15 ADB Safegate Sweden AB Airport stand arrangement
JP7238422B2 (ja) * 2019-01-22 2023-03-14 株式会社リコー 測距方法、測距装置、車載装置、移動体、測距システム
US10872459B2 (en) * 2019-02-05 2020-12-22 X Development Llc Scene recognition using volumetric substitution of real world objects
JP2020179808A (ja) * 2019-04-26 2020-11-05 トヨタ自動車株式会社 車両制御装置
CN113874751A (zh) * 2019-04-30 2021-12-31 甄达公司 用于组合雷达数据的系统和方法
KR20200133863A (ko) * 2019-05-20 2020-12-01 삼성전자주식회사 첨단 운전자 지원 장치, 이의 캘리브레이션 방법 및 이의 객체를 검출하는 방법
US11728621B2 (en) 2019-06-05 2023-08-15 Stmicroelectronics (Research & Development) Limited Voltage controlled steered VCSEL driver
US11579290B2 (en) 2019-06-05 2023-02-14 Stmicroelectronics (Research & Development) Limited LIDAR system utilizing multiple networked LIDAR integrated circuits
DE102019209935A1 (de) * 2019-07-05 2020-07-23 Carl Zeiss Ag Vorrichtung und Verfahren zur Abstandsermittlung von Objekten
WO2021007152A1 (en) * 2019-07-09 2021-01-14 Refraction Ai, Inc. Method and system for autonomous vehicle control
US11095741B2 (en) * 2019-07-11 2021-08-17 Ghost Locomotion Inc. Value-based transmission in an autonomous vehicle
CN110573980B (zh) * 2019-07-25 2020-11-06 灵动科技（北京）有限公司 具有rfid读取器和内置打印机的自动驾驶系统
CN210390983U (zh) * 2019-08-15 2020-04-24 北京百度网讯科技有限公司 自动驾驶车辆
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
US11891057B2 (en) * 2019-09-24 2024-02-06 Seek Thermal, Inc. Thermal imaging system with multiple selectable viewing angles and fields of view for vehicle applications
US11076102B2 (en) * 2019-09-24 2021-07-27 Seek Thermal, Inc. Thermal imaging system with multiple selectable viewing angles and fields of view for vehicle applications
US10981518B1 (en) * 2019-10-02 2021-04-20 Ford Global Technologies, Llc Vehicle sensor assembly
US11754408B2 (en) * 2019-10-09 2023-09-12 Argo AI, LLC Methods and systems for topological planning in autonomous driving
CN112835029A (zh) * 2019-11-07 2021-05-25 上海海拉电子有限公司 面向无人驾驶的多传感器障碍物探测数据融合方法及系统
CN110910498B (zh) * 2019-11-21 2021-07-02 大连理工大学 一种利用激光雷达和双目相机构建栅格地图的方法
US11195065B2 (en) * 2019-11-22 2021-12-07 Samsung Electronics Co., Ltd. System and method for joint image and lidar annotation and calibration
US11435756B2 (en) * 2019-12-01 2022-09-06 Nvidia Corporation Visual odometry in autonomous machine applications
US11738694B2 (en) * 2019-12-16 2023-08-29 Plusai, Inc. System and method for anti-tampering sensor assembly
US11313704B2 (en) 2019-12-16 2022-04-26 Plusai, Inc. System and method for a sensor protection assembly
US11754689B2 (en) 2019-12-16 2023-09-12 Plusai, Inc. System and method for detecting sensor adjustment need
US11470265B2 (en) 2019-12-16 2022-10-11 Plusai, Inc. System and method for sensor system against glare and control thereof
CN110888121B (zh) * 2019-12-16 2020-11-24 上海智瞳通科技有限公司 目标体探测方法与装置及目标体温度探测方法与装置
US11724669B2 (en) 2019-12-16 2023-08-15 Plusai, Inc. System and method for a sensor protection system
US11077825B2 (en) 2019-12-16 2021-08-03 Plusai Limited System and method for anti-tampering mechanism
US11650415B2 (en) 2019-12-16 2023-05-16 Plusai, Inc. System and method for a sensor protection mechanism
GB2594111B (en) 2019-12-18 2023-06-07 Motional Ad Llc Camera-to-LiDAR calibration and validation
US20210191399A1 (en) * 2019-12-23 2021-06-24 Waymo Llc Real-Time Adjustment Of Vehicle Sensor Field Of View Volume
US11557127B2 (en) 2019-12-30 2023-01-17 Waymo Llc Close-in sensing camera system
US11493922B1 (en) 2019-12-30 2022-11-08 Waymo Llc Perimeter sensor housings
JP2023509468A (ja) * 2020-01-03 2023-03-08 モービルアイ ビジョン テクノロジーズ リミテッド 車両ナビゲーション用のシステムおよび方法
US10802122B1 (en) 2020-01-15 2020-10-13 Ike Robotics, Inc. Methods and systems for calibration of multiple lidar devices with non-overlapping fields of view
EP4094433A4 (en) * 2020-01-22 2024-02-21 Nodar Inc NON-RIGID STEREOSCOPIC VISION CAMERA SYSTEM
US11427193B2 (en) 2020-01-22 2022-08-30 Nodar Inc. Methods and systems for providing depth maps with confidence estimates
DE102020103002A1 (de) * 2020-02-06 2021-08-12 Valeo Schalter Und Sensoren Gmbh Sensorsystem für ein Fahrzeug zur Überwachung eines horizontalen Überwachungsbereichs von wenigstens 180°
JP7283413B2 (ja) * 2020-02-17 2023-05-30 株式会社デンソー 車載用の計測装置ユニットおよび車載用の計測装置ユニットにおける統合データ生成方法
CN111272165B (zh) * 2020-02-27 2020-10-30 清华大学 一种基于特征点标定的智能车定位方法
IL273288B2 (en) * 2020-03-12 2023-10-01 Elbit Systems Ltd A system and method for detecting relative motion between two or more bodies
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US20210333371A1 (en) * 2020-04-28 2021-10-28 Ouster, Inc. Lidar system with fog detection and adaptive response
US11760313B2 (en) 2020-04-30 2023-09-19 Zoox, Inc. Sensor pod cleaning system
US11623585B2 (en) * 2020-04-30 2023-04-11 Zoox, Inc. Sensor pod coverage and placement on vehicle
US11353590B2 (en) 2020-04-30 2022-06-07 Zoox, Inc. Sensor pod calibration
US11305724B2 (en) 2020-04-30 2022-04-19 Zoox, Inc. Pedestrian protection system for sensor pods
US11953623B2 (en) * 2020-04-30 2024-04-09 Zoox, Inc. Sensor pod assembly
US11329857B2 (en) * 2020-05-05 2022-05-10 Nanya Technologies Corporation Cellular network
DE102020112311B3 (de) * 2020-05-06 2021-05-20 Audi Aktiengesellschaft Kraftfahrzeug mit einem optischen Umgebungssensor und Verfahren zum Betrieb eines Kraftfahrzeugs
CN111390917B (zh) * 2020-05-08 2021-07-16 苏州博众机器人有限公司 一种机器人防碰撞装置、方法和机器人
US11805235B2 (en) * 2020-06-19 2023-10-31 Realsee (Beijing) Technology Co., Ltd. Method and device for three-dimensional light detection and ranging (LiDAR), and three-dimensional measuring device thereof
KR20220000073A (ko) * 2020-06-25 2022-01-03 현대모비스 주식회사 거리센서를 이용한 장애물 검출 시스템 및 방법
CN113167884A (zh) * 2020-06-30 2021-07-23 深圳市大疆创新科技有限公司 雷达组件及具有该雷达组件的可移动平台
WO2022003688A1 (en) * 2020-07-02 2022-01-06 Bentsur Joseph Signaling drivers of pedestrian presence
JP7318609B2 (ja) * 2020-08-06 2023-08-01 トヨタ自動車株式会社 車載検出装置
WO2022036284A1 (en) * 2020-08-13 2022-02-17 Invensense, Inc. Method and system for positioning using optical sensor and motion sensors
EP3961255A1 (en) * 2020-08-28 2022-03-02 Aptiv Technologies Limited Driver assistance system for a vehicle, vehicle and a driver assistance method implementable by the system
EP3974868A1 (en) * 2020-09-29 2022-03-30 Inalfa Roof Systems Group B.V. Sensor system mountable on the roof of a car.
CN112213720A (zh) * 2020-10-22 2021-01-12 深圳市道通科技股份有限公司 一种雷达探测装置和雷达探测系统
US11593597B2 (en) * 2020-11-16 2023-02-28 GM Global Technology Operations LLC Object detection in vehicles using cross-modality sensors
CN112526997A (zh) * 2020-12-07 2021-03-19 中国第一汽车股份有限公司 一种自动驾驶感知系统、方法和车辆
US20220194412A1 (en) * 2020-12-18 2022-06-23 Lyft, Inc. Validating Vehicle Sensor Calibration
US11901601B2 (en) 2020-12-18 2024-02-13 Aptiv Technologies Limited Waveguide with a zigzag for suppressing grating lobes
CN116710808A (zh) * 2020-12-25 2023-09-05 深圳市大疆创新科技有限公司 集成激光雷达和灯的灯组件
TWI797526B (zh) * 2020-12-25 2023-04-01 歐特明電子股份有限公司 多感測器自動駕駛系統
JP2022136645A (ja) * 2021-03-08 2022-09-21 本田技研工業株式会社 車両制御装置、及び車両制御方法
JP2022164052A (ja) * 2021-04-15 2022-10-27 株式会社デンソー センシングモジュール、センシングシステム
DE102021109425B3 (de) * 2021-04-15 2022-07-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Steuern eines Fahrzeugs und Steuervorrichtung für ein Fahrzeug
US20220349997A1 (en) * 2021-04-29 2022-11-03 Qualcomm Incorporated Intra-vehicle radar handover
US11962085B2 (en) 2021-05-13 2024-04-16 Aptiv Technologies AG Two-part folded waveguide having a sinusoidal shape channel including horn shape radiating slots formed therein which are spaced apart by one-half wavelength
CN115407330A (zh) * 2021-05-28 2022-11-29 北京图森智途科技有限公司 车辆的传感器布局
JP2022182335A (ja) * 2021-05-28 2022-12-08 株式会社Subaru 車両の車外撮像装置
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
CN117716257A (zh) * 2021-06-25 2024-03-15 联邦科学和工业研究组织 声学深度图
JP2023010252A (ja) * 2021-07-09 2023-01-20 株式会社デンソー 車両用装置および車両制御方法
CN113554714B (zh) * 2021-07-22 2022-04-05 元橡科技(苏州)有限公司 车载双目立体相机自校正方法及其系统、fpga芯片
CN113607203A (zh) * 2021-07-30 2021-11-05 武汉路特斯汽车有限公司 一种车辆传感器的控制方法及系统、一种车辆
US11616282B2 (en) 2021-08-03 2023-03-28 Aptiv Technologies Limited Transition between a single-ended port and differential ports having stubs that match with input impedances of the single-ended and differential ports
US20230043172A1 (en) * 2021-08-06 2023-02-09 Zebra Technologies Corporation Adaptive Perimeter Intrusion Detection for Mobile Automation Apparatus
KR102547524B1 (ko) * 2021-08-17 2023-06-27 (주)자스텍엠 데이터 보안성 및 데이터 신뢰성을 위한 실내외 연속측위 장치
WO2023059365A1 (en) 2021-10-08 2023-04-13 Nodar Inc. Real-time perception system for small objects at long range for autonomous vehicles
FR3128561B1 (fr) * 2021-10-26 2024-03-22 Commissariat Energie Atomique Procédé de calibration automatique des paramètres extrinsèques d’un réseau de caméras optiques ; Produit programme d’ordinateur, système de vision par ordinateur et véhicule automobile associés.
CN114216458A (zh) * 2021-12-07 2022-03-22 北京工业大学 基于多传感器融合的智能推料机器人组合导航系统及方法
WO2023120308A1 (ja) * 2021-12-21 2023-06-29 スタンレー電気株式会社 探知モジュール及び探知モジュールを備えたランプ装置並びにランプシステム
US11889278B1 (en) 2021-12-22 2024-01-30 Waymo Llc Vehicle sensor modules with external audio receivers
US20230213633A1 (en) * 2022-01-06 2023-07-06 GM Global Technology Operations LLC Aggregation-based lidar data alignment
WO2023164906A1 (zh) * 2022-03-03 2023-09-07 华为技术有限公司 一种扫描方法及装置
US11807193B2 (en) 2022-03-16 2023-11-07 Honda Motor Co., Ltd. Vehicle mounted module support system
US20230296780A1 (en) * 2022-03-18 2023-09-21 Motional Ad Llc Methods and systems for sensor operation
US11772667B1 (en) 2022-06-08 2023-10-03 Plusai, Inc. Operating a vehicle in response to detecting a faulty sensor using calibration parameters of the sensor
US11782145B1 (en) 2022-06-14 2023-10-10 Nodar Inc. 3D vision system with automatically calibrated stereo vision sensors and LiDAR sensor
DE102022206547A1 (de) * 2022-06-28 2023-12-28 Zf Friedrichshafen Ag Automatisiert betreibbares Fahrzeug, insbesondere Shuttle
WO2024008125A1 (zh) * 2022-07-06 2024-01-11 科沃斯机器人股份有限公司 自移动清洁机器人
US20240040269A1 (en) * 2022-07-26 2024-02-01 Tusimple, Inc. Sensor configuration for autonomous vehicles
KR20240040057A (ko) * 2022-08-05 2024-03-27 코어포토닉스 리미티드 자동 조정 가능한 줌 시야를 갖는 줌 디지털 카메라용 시스템 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104149782A (zh) * 2014-07-31 2014-11-19 同济大学 一种基于磁导航的多传感器融合智能车的自动驾驶系统
CN105008200A (zh) * 2013-02-21 2015-10-28 谷歌公司 用于检测附近的攻击性司机并调整驾驶模式的方法
CN105303861A (zh) * 2014-06-10 2016-02-03 沃尔沃汽车公司 超车评估设备和系统以及具有超车评估设备的自动车辆
CN105699985A (zh) * 2016-03-23 2016-06-22 北京信息科技大学 一种单线激光雷达装置
CN106569197A (zh) * 2016-11-03 2017-04-19 深圳量旌科技有限公司 一种可分解分布的激光雷达
CN106585623A (zh) * 2016-12-21 2017-04-26 驭势科技（北京）有限公司 一种用于探测车辆周围目标的探测系统以及其应用

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE370680B (zh) * 1968-02-01 1974-10-28 Co Fr Thomson Houston Hotchkis
US7427943B1 (en) * 2003-07-22 2008-09-23 Rockwell Collins, Inc. Method of generating three-dimensional weather information from airborne weather radar imagery
JP2005043080A (ja) * 2003-07-23 2005-02-17 Fujitsu Ten Ltd 車両用レーダの取付方法、及び車両用レーダ
EP2041515A4 (en) * 2006-07-13 2009-11-11 Velodyne Acoustics Inc HIGH DEFINITION LIDAR SYSTEM
US7710545B2 (en) * 2008-02-13 2010-05-04 The Boeing Company Scanned laser detection and ranging apparatus
DE102012102185A1 (de) * 2011-03-16 2012-09-27 Electronics And Telecommunications Research Institute Radarvorrichtung, die den kurz- und langreichweitigen Radarbetrieb unterstützt
US9568600B2 (en) * 2014-03-05 2017-02-14 Delphi Technologies, Inc. MIMO antenna with elevation detection
US20160047907A1 (en) * 2014-08-14 2016-02-18 Google Inc. Modular Planar Multi-Sector 90 Degrees FOV Radar Antenna Architecture
US9921307B2 (en) * 2015-01-30 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Combined RADAR sensor and LIDAR sensor processing
JP6843773B2 (ja) * 2015-03-03 2021-03-17 プレナヴ インコーポレイテッド 環境の走査及び無人航空機の追跡
US9625582B2 (en) * 2015-03-25 2017-04-18 Google Inc. Vehicle with multiple light detection and ranging devices (LIDARs)
US20170023946A1 (en) * 2015-04-09 2017-01-26 Goodrich Corporation Flight control system with dual redundant lidar
US10082797B2 (en) * 2015-09-16 2018-09-25 Ford Global Technologies, Llc Vehicle radar perception and localization
US10712446B1 (en) * 2015-09-25 2020-07-14 Apple Inc. Remote sensing for detection and ranging of objects
DE102015226502A1 (de) * 2015-12-22 2017-06-22 Robert Bosch Gmbh Lidar-Abtasteinrichtung an einem Kraftfahrzeug
US9846228B2 (en) * 2016-04-07 2017-12-19 Uhnder, Inc. Software defined automotive radar systems
JP6801214B2 (ja) * 2016-04-14 2020-12-16 ソニー株式会社 Ｍｉｍｏレーダ装置及び車両
US9835719B2 (en) * 2016-04-18 2017-12-05 Denso International America, Inc. Systems and methods for adaptive sensor angle positioning in vehicles
US10761195B2 (en) * 2016-04-22 2020-09-01 OPSYS Tech Ltd. Multi-wavelength LIDAR system
TWI607911B (zh) * 2016-04-28 2017-12-11 H P B Optoelectronic Co Ltd Vehicle safety protection system and method
US10585409B2 (en) * 2016-09-08 2020-03-10 Mentor Graphics Corporation Vehicle localization with map-matched sensor measurements
CN107819974B (zh) * 2016-09-13 2019-01-22 北京百度网讯科技有限公司 用于无人驾驶车辆的数据获取方法和装置
US20180105107A1 (en) * 2016-10-19 2018-04-19 Novateur Research Solutions LLC Pedestrian collision warning system for vehicles
US10620310B2 (en) * 2016-11-29 2020-04-14 Waymo Llc Rotating radar platform
US10509120B2 (en) * 2017-02-16 2019-12-17 GM Global Technology Operations LLC Lidar-radar relative pose calibration
US20180288320A1 (en) * 2017-04-03 2018-10-04 Uber Technologies, Inc. Camera Fields of View for Object Detection
US10642275B2 (en) * 2018-06-18 2020-05-05 Zoox, Inc. Occulsion aware planning and control

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105008200A (zh) * 2013-02-21 2015-10-28 谷歌公司 用于检测附近的攻击性司机并调整驾驶模式的方法
CN105303861A (zh) * 2014-06-10 2016-02-03 沃尔沃汽车公司 超车评估设备和系统以及具有超车评估设备的自动车辆
CN104149782A (zh) * 2014-07-31 2014-11-19 同济大学 一种基于磁导航的多传感器融合智能车的自动驾驶系统
CN105699985A (zh) * 2016-03-23 2016-06-22 北京信息科技大学 一种单线激光雷达装置
CN106569197A (zh) * 2016-11-03 2017-04-19 深圳量旌科技有限公司 一种可分解分布的激光雷达
CN106585623A (zh) * 2016-12-21 2017-04-26 驭势科技（北京）有限公司 一种用于探测车辆周围目标的探测系统以及其应用

Also Published As

Publication number Publication date
US11041958B2 (en) 2021-06-22
US20210318444A1 (en) 2021-10-14
WO2018196001A1 (en) 2018-11-01
CN110537109A (zh) 2019-12-03
US20200064483A1 (en) 2020-02-27

Similar Documents

Publication Publication Date Title
CN110537109B (zh) 用于自主驾驶的感测组件
CN108572663B (zh) 目标跟踪
US11675084B2 (en) Determining yaw error from map data, lasers, and cameras
US11669102B2 (en) Navigating a vehicle based on a detected barrier
CN108693876B (zh) 用于具有控制部件的车辆的目标跟踪系统及方法
KR102524851B1 (ko) 차로 병합 및 차로 분리의 항법을 위한 시스템 및 방법
KR102493878B1 (ko) 검출된 주차 차량의 특징에 기반을 둔 호스트 차량의 제어
US20210122364A1 (en) Vehicle collision avoidance apparatus and method
JP2022185089A (ja) 整合画像及びｌｉｄａｒ情報に基づいた車両ナビゲーション
US9207680B1 (en) Estimating multi-vehicle motion characteristics by finding stable reference points
US10955857B2 (en) Stationary camera localization
CN114845916A (zh) 调整载具传感器视场体积
US11100675B2 (en) Information processing apparatus, information processing method, program, and moving body
EP4180835A1 (en) Calibration of sensors in autonomous vehicle applications
CN215495425U (zh) 复眼摄像系统及使用复眼摄像系统的车辆
CN110775055B (zh) 车载控制装置、场端定位装置、车辆控制系统及车辆
CN115440067A (zh) 复眼摄像系统、使用复眼摄像系统的车辆及其影像处理方法
CN117242488A (zh) 用于利用逻辑斯蒂圆柱体行人模型执行对象检测的自主车辆系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant