CN113795728A - 确定与光探测和测距(lidar)设备相关的放弃处理的策略的方法和系统 - Google Patents
确定与光探测和测距(lidar)设备相关的放弃处理的策略的方法和系统 Download PDFInfo
- Publication number
- CN113795728A CN113795728A CN202080034317.0A CN202080034317A CN113795728A CN 113795728 A CN113795728 A CN 113795728A CN 202080034317 A CN202080034317 A CN 202080034317A CN 113795728 A CN113795728 A CN 113795728A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- data points
- determining
- environment
- computing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 192
- 238000012545 processing Methods 0.000 title claims abstract description 36
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 230000008569 process Effects 0.000 claims abstract description 130
- 238000004891 communication Methods 0.000 claims description 72
- 230000004044 response Effects 0.000 claims description 24
- 230000005540 biological transmission Effects 0.000 claims description 9
- 241001522296 Erithacus rubecula Species 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 description 33
- 230000003287 optical effect Effects 0.000 description 17
- 238000004458 analytical method Methods 0.000 description 15
- 238000013500 data storage Methods 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000000670 limiting effect Effects 0.000 description 9
- 230000008901 benefit Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000002411 adverse Effects 0.000 description 5
- 238000011217 control strategy Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000001427 coherent effect Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000023077 detection of light stimulus Effects 0.000 description 3
- 230000005670 electromagnetic radiation Effects 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000013021 overheating Methods 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- ATUOYWHBWRKTHZ-UHFFFAOYSA-N Propane Chemical compound CCC ATUOYWHBWRKTHZ-UHFFFAOYSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000010267 cellular communication Effects 0.000 description 2
- 239000002800 charge carrier Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 239000003502 gasoline Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229920000642 polymer Polymers 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000003574 free electron Substances 0.000 description 1
- 239000002828 fuel tank Substances 0.000 description 1
- 239000000383 hazardous chemical Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000010705 motor oil Substances 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000001294 propane Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3407—Route searching; Route guidance specially adapted for specific applications
- G01C21/3415—Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
- G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
示例实现可以涉及确定与光检测和测距(LIDAR)设备相关联的放弃处理的策略。具体而言,LIDAR设备可以发射光脉冲并检测返回光脉冲,并且可以生成表示检测返回光脉冲的数据点的集合。放弃处理可以涉及计算系统丢弃集合的数据点和/或阻止LIDAR设备发射光脉冲。因此,计算系统可以检测参与放弃处理的触发,并且可以响应地(i)使用与车辆周围的环境、车辆的操作和/或LIDAR设备的操作相关联的信息作为确定放弃处理的策略的基础,以及(ii)根据确定的策略参与放弃处理。
Description
对相关申请的交叉引用
本申请要求2019年5月6日提交的第16/404499号美国专利申请的优先权,其全部内容通过引用并入本申请。
背景技术
车辆可以被配置为在自主模式下运行,在此模式下,车辆在环境中导航,几乎不需要或根本不需要来自人工驾驶员的输入。此类自主车辆可以包括一个或多个传感器,其被配置为检测关于车辆运行环境的信息。一个这种传感器是光探测和测距(LIDAR)设备。
通常,LIDAR设备在扫描场景以组合指示环境中的反射表面的“点云”时,可以帮助估计到环境特征的距离(或多个)。通过发射光脉冲并检测从环境中的对象反射的返回光脉冲(如果有),以及根据发射光脉冲和检测反射返回光脉冲之间的时间延迟确定到对象的距离,可以确定点云中的各个点。此外,LIDAR通常包括激光发送器等,其可在场景中快速且重复地扫描以提供关于到场景中的反射对象的距离的连续实时信息。通过这种布置,在测量每个距离时结合测量的距离和激光器的方向,允许将三维位置与每个返回光脉冲相关联。这样,可以为整个扫描区域生成指示环境中反射特征位置的点的三维地图。
发明内容
车辆的LIDAR设备可以被配置为生成数据点以表示检测返回光脉冲,并且与车辆相关联的计算设备可以经由带宽受限通信信道接收此类数据点。除其他选项外,计算设备可以从与LIDAR设备相关联的计算系统(诸如从LIDAR设备的车载计算系统)接收数据点。计算设备可以使用数据点分析车辆环境中的对象,并根据该分析来操作车辆。
在某些情况下,LIDAR设备可能会生成比在给定时间在带宽有限通信信道上能够发送的数据点更多的数据点,这可能导致某些数据点不能及时或成功地发送到与车辆相关联的计算设备。结果,计算设备可能无法成功接收某些数据点,计算设备将使用这些数据点来确定有关车辆环境的感兴趣信息。
本公开涉及确定与LIDAR设备相关联的放弃处理的策略,这可以帮助解决与通信信道相关联的拥塞,同时仍使计算设备能够接收可以被用于确定关于车辆环境的感兴趣信息的数据点。放弃处理可以涉及(i)丢弃LIDAR设备生成以表示检测返回光脉冲的一些数据点和/或(ii)阻止LIDAR设备发射一些光脉冲,使得首先阻止生成某些数据点,从而有助于减少为经由带宽有限通信信道传输而设置的此类数据点的范围。此外,可以基于对车辆周围的环境、车辆操作和/或LIDAR设备操作的分析来确定放弃处理的策略,以便于智能选择要丢弃的数据点和/或要阻止发射的光脉冲。
因此,与LIDAR设备相关联的计算系统可以基于确定的策略参与放弃处理,以便保留或以其他方式生成对计算设备有用的数据点,并且丢弃或以其他方式不生成对计算设备不太有用的数据点。这样,放弃处理可以帮助缓解与通信信道相关联的拥塞。
在一个方面,公开了一种方法。该方法可以涉及通过计算系统操作LIDAR设备以扫描车辆周围的环境,其中操作包括使LIDAR设备来发射光脉冲并检测返回光脉冲,其中LIDAR设备被配置为生成表示检测返回光脉冲的数据点集合,其中计算系统被配置为参与放弃处理,包括以下中的一个或多个:(i)丢弃集合中的一个或多个数据点或(ii)阻止LIDAR设备发射一个或多个光脉冲,并且其中计算系统还被配置为经由通信信道向计算设备发送集合中除被丢弃的一个或多个数据点之外的剩余数据点。该方法还可以涉及通过计算系统确定与车辆周围的环境、车辆的操作或LIDAR设备的操作中的一个或多个相关联的信息。该方法还可以涉及通过计算系统检测用于参与放弃处理的触发。响应于检测到触发,该方法还可以涉及计算系统(i)使用确定的信息作为基础来确定放弃处理的策略,以及(ii)根据确定的策略参与放弃处理。
在另一方面,公开了一种计算系统。计算系统可以包括一个或多个处理器、非暂时性计算机可读介质、以及存储在非暂时性计算机可读介质上且由一个或多个处理器可执行以执行操作的程序指令。具体而言,程序指令可以被执行以操作LIDAR设备来扫描车辆周围的环境,其中操作包括使LIDAR设备发射光脉冲并检测返回光脉冲,其中LIDAR设备被配置为生成表示检测返回光脉冲的数据点集合,其中计算系统被配置为参与放弃处理,包括以下中的一个或多个:(i)丢弃集合中的一个或多个数据点或(ii)阻止LIDAR设备发射一个或多个光脉冲,其中计算系统还被配置为经由通信信道向计算设备发送集合中除被丢弃的一个或多个数据点之外的剩余数据点。此外,程序指令可以是可执行的,以确定与车辆周围的环境、车辆的操作或LIDAR设备的操作中的一个或多个相关联的信息。此外,程序指令可以是可执行的,以检测用于参与放弃处理的触发。此外,程序指令可以是可执行的,以响应于检测到触发,(i)使用确定的信息作为基础来确定放弃处理的策略,以及(ii)根据确定的策略参与放弃处理。
在又一方面中,公开了一种车辆。该车辆可以包括LIDAR设备和被配置为执行操作的计算系统。具体而言,计算系统可以被配置为操作LIDAR设备以扫描车辆周围的环境,其中操作包括使LIDAR设备发射光脉冲并检测返回光脉冲,其中LIDAR设备被配置为生成表示检测返回的光脉冲的数据点集合。另外,计算系统可以被配置为确定与车辆周围的环境、车辆的操作或LIDAR设备的操作中的一个或多个相关联的信息。另外,计算系统可以被配置为检测用于参与放弃处理的触发。此外,计算系统可以被配置为响应于检测到触发,使用确定的信息作为基础来确定放弃处理的策略,以及根据确定的策略参与放弃处理,其中放弃处理包括以下中的一个或多个:(i)丢弃集合的一个或多个数据点或(ii)阻止LIDAR设备发射一个或多个光脉冲。
在又一方面,提供了一种系统。该系统可以包括用于操作LIDAR设备以扫描车辆周围的环境的装置,其中操作包括使LIDAR设备发射光脉冲并检测返回光脉冲,其中LIDAR设备被配置为生成表示检测返回的光脉冲的数据点集合,其中计算系统被配置为参与放弃处理,包括以下中的一个或多个:(i)丢弃集合中的一个或多个数据点或(ii)阻止LIDAR设备发射一个或多个光脉冲,其中计算系统还被配置为经由通信信道向计算设备发送集合中除被丢弃的一个或多个数据点之外的剩余数据点。该系统还可以涉及用于确定与车辆周围的环境、车辆的操作或LIDAR设备的操作中的一个或多个相关联的信息的装置。该系统还可以另外包括用于检测用于参与放弃处理的触发的装置。该系统还可以包括用于响应于检测到触发(i)使用确定的信息作为基础来确定放弃处理的策略以及(ii)根据确定的策略参与放弃处理的装置。
这些以及其他方面、优点和备选方案对于本领域的普通技术人员来说将通过参考附图(在适当情况下)阅读以下详细描述而变得显而易见。此外,应当理解,本摘要部分和本文件其他部分中提供的描述旨在通过示例而不是限制来说明所要求保护的主题。
附图说明
图1是示出根据示例实施例的车辆的功能框图。
图2A是根据示例实施例的车辆物理配置的图示。
图2B是根据示例实施例的车辆物理配置的图示。
图2C是根据示例实施例的车辆物理配置的图示。
图2D是根据示例实施例的车辆物理配置的图示。
图2E是根据示例实施例的车辆物理配置的图示。
图3是根据示例实施例的与自主车辆相关的各种计算系统之间的无线通信的概念性说明。
图4是根据示例实施例的LIDAR设备的简化框图。
图5是根据示例性实施例的可以基于动态确定的策略执行放弃处理的示例性布置的图示。
图6是根据示例性实施例的用于基于动态确定的策略参与放弃处理的示例性场景的图示。
图7是根据示例实施例的方法的图示。
具体实施方式
本文考虑示例方法和系统。本文描述的任何示例实施例或特征不一定被解释为相对于其他实施例或特征的优选或有利。本文描述的示例实施例并不意味着限制。将容易理的是,所公开的系统和方法的某些方面可以以多种不同的配置来布置和组合,所有这些都在本文中预期。
此外,图中所示的特殊布置不应视为限制。应当理解,其他实施例可以包括给定图中所示的每个元件的或多或少。此外,可以组合或省略所示的一些元件。此外,示例性实施例可以包括图中未示出的元件。
I.概述
LIDAR设备可以在扫描场景以组合指示环境中的表面反射率的“点云”时估计到环境特征的距离(或多个)。通过发射光脉冲并检测从环境中的对象反射的返回光脉冲(如果有),以及根据发射光脉冲和检测反射返回光脉冲之间的时间延迟确定到对象的距离,可以确定点云中的各个点。
实际上,LIDAR设备可以被用于各种用途。例如,可以将车辆配置为在自主模式下操作,在此模式下,车辆导航通过环境,而很少或没有来自人工驾驶员的输入。并且这种自主车辆可以包括(i)被配置为生成关于车辆环境的信息的LIDAR设备,以及(ii)使用来自LIDAR设备的信息的计算设备。
更具体而言,车辆的计算设备可以接收由LIDAR设备生成的数据点,以表示检测返回光脉冲。该计算设备可以使用数据点来确定有关车辆环境中的对象的信息,并且可能还可以根据该信息操作车辆。此外,车辆的计算设备可以例如经由有线或无线通信信道从与LIDAR设备相关联的计算系统(例如,LIDAR设备上的计算系统)接收数据点。
然而,不幸的是,通信信道可能具有有限带宽,这可能导致各种挑战。例如,如果LIDAR设备在给定时间生成的数据点的数量超过了通信信道的总可用带宽,则这种情况可能导致“过度填充”状态,其中一些数据点被及时且成功地发送到计算设备,而其他数据点不被及时且/或成功地发送到计算设备。结果,车辆的计算设备可能最终没有接收到某些数据点,要不然计算设备将使用这些数据点来确定关于车辆环境的感兴趣的信息,这进而可能对车辆在自主模式下的平稳运行提出挑战和/或其他挑战。
为了帮助克服这些挑战,与LIDAR设备相关联的计算系统可以参与放弃处理。放弃处理可以涉及(i)丢弃LIDAR设备生成的用于表示检测返回光脉冲的一些数据点和/或(ii)阻止LIDAR设备发射一些光脉冲,以便首先阻止生成某些数据点。结果,放弃处理可以减少为经由通信信道传输而设置的此类数据点的范围,从而帮助避免或最小化带宽有限的通信信道的过度填充状态。
尽管这种放弃处理是有益的,但是如果在没有智能策略(例如,丢弃不太有用的数据点并保留更有用的数据点的策略)的情况下执行放弃处理,则放弃处理可能存在缺陷。例如,如果LIDAR设备的计算系统在没有智能策略的情况下参与放弃处理,则计算系统可能最终丢弃和/或阻止生成计算设备将要不然用于确定有关车辆环境的感兴趣信息的数据点。此外,如果LIDAR设备的计算系统在没有智能策略的情况下参与放弃处理,则计算系统可能通过通信信道向计算设备发送可能不包含感兴趣的信息的数据点,从而不必要地增加了通信信道的带宽消耗。
根据本公开,计算系统可以动态地确定用于放弃处理的策略。也就是说,计算系统可以基于对车辆周围的环境、车辆的操作和/或LIDAR设备的操作的分析来确定放弃处理的策略,而不是在没有智能策略或不考虑车辆变化环境和/或运行状态的静态方式下丢弃和/或阻止数据点的生成。计算系统可以执行这样的分析,以有效地选择要丢弃的数据点和/或要阻止发射的光脉冲。此外,计算系统可以连续或不时地进行此类分析,以便计算系统可以根据需要随时间调整放弃处理的策略。
这样,当计算系统基于智能策略(例如,考虑车辆周围的环境、车辆的操作和/或LIDAR设备的操作的策略)参与放弃处理时,计算系统将丢弃和/或阻止生成对车辆的计算设备不太有用的数据点,并将保留和/或以其他方式确保生成对车辆的计算设备更有用的数据点,从而帮助缓解与通信信道相关联的拥塞。
因此,本公开设想了各种方法和系统,以确定放弃处理的策略,从而与LIDAR设备相关联的计算系统可以基于该策略参与放弃处理,以提供本文所述的各种益处以及其他益处。
II.示例系统
以下描述和附图将阐明各种示例实施例的特征。所提供的实施例是作为示例的,并不旨在限制。因此,图纸的尺寸不一定按比例。
现在将更详细地描述本公开范围内的示例系统。示例系统可以在汽车中实现,或者可以采用汽车的形式。然而,示例系统也可以在其他车辆中实现或以其他车辆的形式实现,诸如汽车、卡车、摩托车、公共汽车、船只、飞机、直升机、割草机、推土机、船只、雪地摩托、飞机、休闲车、游乐园车、农场设备、建筑设备、有轨电车、高尔夫球车、火车、手推车和机器人设备。其他车辆也是可能的。此外,在一些实施例中,示例系统可能不包括车辆。
现在参考附图,图1是示出示例性车辆100的功能框图,该示例性车辆100可以被配置为完全或部分地在自主模式下操作。更具体而言,通过从计算系统接收控制指令,车辆100可以在无人机交互的自主模式下操作。作为在自主模式下操作的一部分,车辆100可以使用传感器检测并可能识别周围环境的对象,以实现安全导航。在一些实施例中,车辆100还可以包括使驾驶员能够控制车辆100的操作的子系统。
如图1所示,车辆100可以包括各种子系统,诸如推进系统102、传感器系统104、控制系统106、一个或多个外围设备108、电源110、计算机系统112(也可称为计算系统)、数据存储器114和用户接口116。在其他示例中,车辆100可以包括更多或更少的子系统,每个子系统可以包括多个元件。车辆100的子系统和组件可以各种方式互连。此外,本文所述的车辆100的功能可以被划分为额外的功能或物理组件,或者在实施例中被组合为更少的功能或物理组件。例如,控制系统106和计算机系统112可以组合成单个系统,该系统根据各种操作操作车辆100。
推进系统102可以包括一个或多个组件,用于为车辆100提供动力运动,并可以包括引擎/马达118、能量源119、变速箱120和车轮/轮胎121以及其他可能的组件。例如,引擎/马达118可以被配置为将能量源119转换为机械能,并且可以对应于内燃机、马达、蒸汽机或斯特林引擎的一个或组合以及其他可能的选项。例如,在一些实施例中,推进系统102可以包括多种类型的引擎和/或马达,诸如汽油引擎和马达。
能量源119表示可以全部或部分为车辆100的一个或多个系统(例如,引擎/马达118)提供动力的能量源。例如,能量源119可以对应于汽油、柴油、其他石油基燃料、丙烷、其他压缩气体基燃料、乙醇、太阳能板、电池和/或其他电源。在一些实施例中,能量源119可以包括燃料箱、电池、电容器和/或飞轮的组合。
变速箱120可以将引擎/马达118的机械动力传输至车轮/轮胎121和/或车辆100的其他可能系统。因此,变速箱120可以包括齿轮箱、离合器、差速器和驱动轴等可能的组件。驱动轴可以包括连接到一个或多个车轮/轮胎121的轮轴。
在示例实施例中,车辆100的车轮/轮胎121可以具有各种配置。例如,车辆100可以存在于独轮车、自行车/摩托车、三轮车或汽车/卡车四轮格式,以及其他可能的配置。因此,车轮/轮胎121可以以各种方式连接到车辆100,并且可以存在于不同的材料中,诸如金属和橡胶。
传感器系统104可以包括各种类型的传感器,诸如全球定位系统(GPS)122、惯性测量单元(IMU)124、雷达126、激光测距仪/LIDAR 128、相机130、转向传感器123和油门/制动传感器125以及其他可能的传感器。在一些实施例中,传感器系统104也可以包括被配置为监视车辆100的内部系统(例如,氧气监测器、燃油表、引擎机油温度、制动器磨损)的传感器。
GPS 122可以包括可操作用于提供关于车辆100相对于地球的位置的信息的收发器。IMU 124可以具有使用一个或多个加速计和/或陀螺仪的配置,并且可以基于惯性加速度感测车辆100的位置和方向变化。例如,IMU 124可以在车辆100静止或运动时检测车辆100的俯仰和偏航。
雷达126可以表示一个或多个系统,其被配置为使用无线电信号来感测车辆100的本地环境内的对象,包括对象的速度和航向。因此,雷达126可以包括被配置为发送和接收无线电信号的天线。在一些实施例中,雷达126可以对应于被配置为获得车辆100周围环境的测量的可安装雷达系统。
激光测距仪/LIDAR 128可以包括一个或多个激光源、激光扫描仪和一个或多个探测器,以及其他系统组件,并可在相干模式(例如,使用外差检测)或非相干检测模式下工作。在一些实施例中,激光测距仪/LIDAR128的一个或多个探测器可以包括一个或多个光电探测器。这种光电探测器可以是特别敏感的探测器(例如雪崩光电二极管(APD))。在一些示例中,此类光电探测器甚至可以检测单光子(例如,单光子雪崩二极管(SPAD))。此外,此类光电探测器可以(例如,通过串联的电连接)布置成阵列(例如,如在硅光电倍增管(SiPM)中)。
相机130可以包括一个或多个装置(例如,静止相机或摄像机),其被配置为捕捉车辆100的环境的图像。
转向传感器123可以感测车辆100的转向角,这可以涉及测量方向盘的角度或测量表示方向盘角度的电信号。在一些实施例中,转向传感器123可以测量车辆100车轮的角度,诸如检测车轮相对于车辆100前轴的角度。转向传感器123还可以被配置为测量方向盘角度、表示方向盘角度的电信号和车辆100车轮角度的组合(或子集)。
油门/制动器传感器125可以检测车辆100的油门位置或制动器位置。例如,油门/制动器传感器125可以测量油门踏板(油门)和制动踏板的角度,或者可以测量可以表示例如油门踏板(油门)角度和/或制动踏板角度的电信号。油门/制动器传感器125还可以测量车辆100的油门体的角度,其可以包括向引擎/马达118(例如,蝶阀或化油器)提供能量源119调制的物理机构的一部分。此外,油门/制动传感器125可以测量车辆100转子上一个或多个制动片的压力,或油门踏板(油门)和制动踏板角度的组合(或子集),表示油门踏板(油门)和制动踏板角度的电信号,油门体角度,以及至少一个制动片施加到车辆100的转子上的压力。在其他实施例中,油门/制动传感器125可以被配置为测量施加到车辆踏板(诸如油门或制动踏板)上的压力。
控制系统106可以包括被配置为协助导航车辆100的组件,诸如转向单元132、油门134、制动单元136、传感器融合算法138、计算机视觉系统140、导航/路径规划系统142和避障系统144。更具体而言,转向单元132可用于调整车辆100的航向,油门134可以控制引擎/马达118的运行速度以控制车辆100的加速度。制动单元136可以使车辆100减速,这可以涉及使用摩擦使车轮/轮胎121减速。在一些实施例中,制动单元136可以将车轮/轮胎121的动能转换为电流,以供车辆100的一个或多个系统随后使用。
传感器融合算法138可以包括卡尔曼滤波器、贝叶斯网络或可处理来自传感器系统104的数据的其他算法。在一些实施例中,传感器融合算法138可以基于传入的传感器数据提供评估,诸如单个对象和/或特征的评估、特定情况的评估和/或给定情况下潜在影响的评估。
计算机视觉系统140可以包括硬件和软件,用于处理和分析图像,以努力确定对象、环境对象(例如,交通灯、道路边界等)和障碍物。因此,计算机视觉系统140可以使用对象识别、运动恢复结构(SFM)、视频跟踪和计算机视觉中使用的其他算法,例如,识别对象、映射环境、跟踪对象、估计对象的速度等。
导航/路径规划系统142可以确定车辆100的驾驶路径,其可以涉及在操作期间动态调整导航。因此,导航/路径规划系统142可以使用来自传感器融合算法138、GPS 122和地图以及其他来源的数据来导航车辆100。避障系统144可以基于传感器数据评估潜在障碍物,并使车辆100的系统避开或以其他方式越过潜在障碍物。
如图1所示,车辆100也可以包括外围设备108,诸如无线通信系统146、触摸屏148、麦克风150和/或扬声器152。外围设备108可以为用户提供控件或其他元件以与用户接口116交互。例如,触摸屏148可以向车辆100的用户提供信息。用户接口116还可以通过触摸屏148接受来自用户的输入。外围设备108还可以使车辆100能够与诸如其他车辆设备的设备通信。
无线通信系统146可以直接或经由通信网络与一个或多个设备无线通信。例如,无线通信系统146可以使用3G蜂窝通信,诸如码分多址(CDMA)、演进数据优化(EVDO)、全球移动通信系统(GSM)/通用分组无线业务(GPRS)或4G蜂窝通信,诸如全球微波接入互操作性(WiMAX)或长期演进(LTE)。可选地,无线通信系统146可以使用WiFi或其他可能的连接与无线局域网(WLAN)通信。无线通信系统146还可以例如使用红外链路、蓝牙或ZigBee直接与设备通信。其他无线协议,诸如各种车辆通信系统,在本公开的上下文中是可能的。例如,无线通信系统146可以包括一个或多个专用短程通信(DSRC)设备,其可以包括车辆和/或路边站之间的公共和/或私人数据通信。
车辆100可以包括用于为组件供电的电源110。在一些实施例中,电源110可以包括可充电锂离子或铅酸电池。例如,电源110可以包括被配置为提供电力的一个或多个电池。车辆100还可以使用其他类型的电源。在示例性实施例中,电源110和能量源119可以集成到单个能量源中。
车辆100也可以包括计算机系统112以执行操作,诸如其中描述的操作。因此,计算机系统112可以包括至少一个处理器113(其可以包括至少一个微处理器),用于执行存储在非暂时性计算机可读介质(诸如数据存储114)中的指令115。在一些实施例中,计算机系统112可以表示多个计算设备,其可用于以分布式方式控制车辆100的各个组件或子系统。
在一些实施例中,数据存储器114可以包含处理器113可执行的指令115(例如,程序逻辑),以执行车辆100的各种功能,包括上文结合图1所述的功能。数据存储器114还可以包含附加指令,包括向推进系统102、传感器系统104、控制系统106和外围设备108中的一个或多个发送数据、从中接收数据、与之交互和/或控制的指令。
除了指令115之外,数据存储器114可以存储诸如道路地图、路径信息等数据以及其他信息。在自主、半自主和/或手动模式下操作车辆100期间,车辆100和计算机系统112可以使用此类信息。
车辆100可以包括用于向车辆100的用户提供信息或从车辆100的用户接收输入的用户接口116。用户接口116可以控制或启用对可显示在触摸屏148上的内容和/或交互式图像的布局的控制。此外,用户接口116可以包括一组外围设备108内的一个或多个输入/输出设备,诸如无线通信系统146、触摸屏148、麦克风150和扬声器152。
计算机系统112可以基于从各种子系统(例如,推进系统102、传感器系统104和控制系统106)以及从用户接口116接收的输入来控制车辆100的功能。例如,计算机系统112可以利用来自传感器系统104的输入来估计推进系统102和控制系统106产生的输出。根据实施例,计算机系统112可用于监控车辆100及其子系统的许多方面。在一些实施例中,计算机系统112可以基于从传感器系统104接收的信号来禁用车辆100的部分或全部功能。
车辆100的组件可以被配置为与相应系统内外的其他组件以互连方式工作。例如,在示例性实施例中,相机130可以捕获多个图像,这些图像可以表示关于在自主模式下操作的车辆100的环境的状态的信息。环境状态可能包括车辆行驶道路的参数。例如,计算机视觉系统140可以基于道路的多个图像识别坡度(斜坡)或其他特征。此外,GPS 122和计算机视觉系统140识别的特征的组合可以与存储在数据存储器114中的地图数据一起使用,以确定特定道路参数。此外,雷达126还可以提供关于车辆周围环境的信息。
换句话说,各种传感器(可称为输入指示和输出指示传感器)和计算机系统112的组合可以交互,以提供用于控制车辆的输入指示或车辆周围的指示。
在一些实施例中,计算机系统112可以基于由无线系统以外的系统提供的数据来确定各种对象。例如,车辆100可以具有激光器或其他光学传感器,其被配置为感测车辆视场中的对象。计算机系统112可以使用来自各种传感器的输出来确定关于车辆视场中的对象的信息,并且可以确定到各种对象的距离和方向信息。计算机系统112还可以基于来自各种传感器的输出来确定对象是期望的还是不期望的。
尽管图1显示了集成到车辆100中的车辆100的各种组件(即,无线通信系统146、计算机系统112、数据存储器114和用户接口116),但这些组件中的一个或多个可以与车辆100单独安装或关联。例如,数据存储器114可以部分或全部与车辆100分开存在。因此,车辆100可以以设备元件的形式提供,设备元件可以单独或一起放置。构成车辆100的设备元件可以以有线和/或无线方式通信地耦合在一起。
图2A-图2E示出示例车辆200,示例车辆200可以包括参考图1中车辆100所述的部分或全部功能。尽管出于说明目的,车辆200在图2A-图2E中被图示为厢式货车,但本公开并不限于此。例如,车辆200可以表示卡车、汽车、半挂车、摩托车、高尔夫球车、越野车、农用车等。
示例性车辆200包括传感器单元202、第一LIDAR单元204、第二LIDAR单元206、第一雷达单元208、第二雷达单元210、第一LIDAR/雷达单元212、第二LIDAR/雷达单元214以及雷达单元、LIDAR单元、激光测距仪单元和/或其他类型的传感器可能位于车辆200上的两个附加位置216、218。第一LIDAR/雷达单元212和第二LIDAR/雷达单元214中的每一个可以采用LIDAR单元、雷达单元或两者的形式。
此外,示例车辆200可以包括结合图1车辆100所述的任何组件。第一雷达单元208和第二雷达单元210和/或第一LIDAR单元204和第二LIDAR单元206可以主动扫描周围环境中是否存在潜在障碍物,并且可以类似于车辆100中的雷达126和/或激光测距仪/LIDAR128。
传感器单元202被安装在车辆200顶部并包括一个或多个传感器,被配置为检测关于车辆200周围环境的信息,并输出信息指示。例如,传感器单元202可以包括相机、雷达、LIDAR、测距仪和声学传感器的任意组合。传感器单元202可以包括一个或多个可移动安装件,可用于调整传感器单元202中一个或多个传感器的方位。在一个实施例中,可移动安装件可以包括可扫描传感器的旋转平台,以便从车辆200周围的每个方向获得信息。在另一实施例中,传感器单元202的可移动安装件可以在特定角度和/或方位范围内以扫描方式可移动。传感器单元202可以被安装在车顶上,尽管安装在其他位置也是可以的。
另外,传感器单元202的传感器可以分布在不同的位置,并且不需要并列在单个位置。一些可能的传感器类型和安装位置包括两个附加位置216、218。此外,传感器单元202的每个传感器可以被配置为独立于传感器单元202的其他传感器而移动或扫描。
在示例配置中,一个或多个雷达扫描器(例如,第一雷达单元208和第二雷达单元210)可以位于车辆200的后部附近,以针对存在无线电反射对象主动扫描车辆200后部附近的环境。类似地,第一LIDAR/雷达单元212和第二LIDAR/雷达单元214可以被安装在车辆200的前部附近,以主动扫描车辆200前部附近的环境。例如,雷达扫描器可以位于适于照亮包括车辆200的向前移动路径的区域而不被车辆200的其它特征遮挡的位置。例如,雷达扫描器可以嵌入和/或安装在前保险杠、前大灯、前罩和/或引擎罩等内或附近。此外,可以定位一个或多个附加雷达扫描设备,以主动扫描车辆200的侧面和/或后部是否存在无线电反射对象,例如,通过在后保险杠、侧板、踏脚板和/或底盘系统内或附近包括此类设备。
尽管图2A-图2E中未显示,但车辆200可以包括无线通信系统。无线通信系统可以包括无线发送器和接收器,可以被配置为与车辆200外部或内部的设备通信。具体而言,无线通信系统可以包括被配置为与其他车辆和/或计算设备(例如,在车辆通信系统或道路站中)通信的收发器。此类车辆通信系统的示例包括DSRC、射频识别(RFID)和其他针对智能交通系统的拟议通信标准。
车辆200可以包括相机,可能位于传感器单元202内部的位置。相机可以是光敏仪器,诸如静止相机、摄像机等,其被配置为捕获车辆200的环境的多个图像。为此,相机可以被配置为检测可见光,并且可以另外或可替选地被配置为检测来自光谱的其他部分的光,诸如红外光或紫外光。相机可以是二维检测器,并且可以选择性地具有三维空间灵敏度范围。在一些实施例中,相机可以包括,例如,测距检测器,被配置为生成指示从相机到环境中的多个点的距离的二维图像。为此,相机可以使用一种或多种测距检测技术。例如,相机可以通过使用结构光技术提供测距信息,其中车辆200使用预定光模式(诸如网格或棋盘格模式)照亮环境中的对象,并使用相机检测预定光模式从环境周围的反射。基于反射光模式中的失真,车辆200可以确定到对象上的点的距离。预定光图案可以包括红外光或用于此类测量的其他合适波长的辐射。在一些示例中,相机可以安装在车辆200的前挡风玻璃内侧。具体而言,相机可以位于从关于车辆200的方向的前视视图拍摄图像的位置。也可使用相机的其他安装位置和视角,在车辆200内部或外部。此外,相机可以具有可操作的相关光学元件,以提供可调节的视场。更进一步地,相机可以通过可移动的安装件安装到车辆200上,以改变相机的指向角度,诸如通过摇摄/倾斜机构。
车辆200可以包括一个或多个其他组件,作为所示组件的补充或替代。附加组件可以包括电气或机械功能。
车辆200的控制系统可以被配置为根据多个可能控制策略中的控制策略来控制车辆200。控制系统可以被配置为从耦合到车辆200的传感器(在车辆200上或不在车辆200上)接收信息,基于信息修改控制策略(和相关的驾驶行为),并根据修改的控制策略控制车辆200。控制系统还可以被配置为监视从传感器接收的信息,并持续评估驾驶条件;并且也可以被配置为基于驾驶条件的变化来修改控制策略和驾驶行为。
图3是根据示例实施例的与自主车辆相关的各种计算系统之间的无线通信的概念性说明。具体而言,无线通信可以经由网络304A在远程计算系统302和车辆200之间发生。此外,可以经由网络304B在服务器计算系统306和车辆200之间发生无线通信。此外,无线通信可以发生在服务器计算系统306和远程计算系统302之间(例如,经由网络304A、网络304B和/或另一网络)。
车辆200可以对应于能够在不同位置之间运送乘客或对象的各种类型的车辆,并且可以采用上述任何一种或多种车辆的形式。在一些情况下,车辆200可以在自主模式下操作,该模式使得控制系统能够使用传感器测量在目的地之间安全地导航车辆200。当在自主模式下操作时,车辆200可以在有乘客或无乘客的情况下导航。因此,车辆200可以在所希望的目的地之间接送乘客。
远程计算系统302可以表示与远程辅助技术相关的任何类型的设备,包括但不限于本文描述的那些。在示例中,远程计算系统302可以表示被配置为以下的任何类型的设备:(i)接收与车辆200相关的信息;(ii)提供接口,通过该接口,人工操作员可以进而感知信息并输入与信息相关的响应;以及(iii)将响应发送至车辆200或其他设备。远程计算系统302可以采取各种形式,诸如工作站、台式计算机、膝上型计算机、平板电脑、移动电话(例如,智能电话)和/或服务器。在一些示例中,远程计算系统302可以包括在网络配置中一起操作的多个计算设备。
远程计算系统302可以包括与车辆200的子系统和组件相似或相同的一个或多个子系统和组件。至少,远程计算系统302可以包括被配置为用于执行本文所述的各种操作的处理器。在一些实施例中,远程计算系统302也可以包括用户接口,该用户接口包括输入/输出设备,诸如触摸屏和扬声器。也可以使用其他示例。
网络304A表示使能远程计算系统302和车辆200之间的无线通信的基础设施,网络304B表示使能服务器计算系统306和车辆200之间的无线通信的基础设施。在一些实现中,网络304A也可以使能服务器计算系统306和远程计算系统302之间和/或服务器计算系统306和车辆200之间的无线通信。另外或可替选地,在一些实现中,网络304B也可以使能服务器计算系统306和远程计算系统302之间和/或远程计算系统302和车辆200之间的无线通信。
远程计算系统302的位置可以在示例中变化。例如,远程计算系统302可以具有远离车辆200的位置,该车辆200具有经由网络304A的无线通信。在另一个示例中,远程计算系统302可以对应于车辆200内的计算设备,该计算设备与车辆200分离,但人工操作员可以利用该计算设备与车辆200的乘客或驾驶员交互。在一些示例中,远程计算系统302可以是具有可由车辆200的乘客操作的触摸屏的计算设备。
在一些实施例中,本文描述的由远程计算系统302执行的操作可以由车辆200(即,车辆200的任何系统(或多个)或子系统(或多个))另外或可替选地执行。换句话说,车辆200可以被配置为提供远程协助机制,车辆的驾驶员或乘客可利用其与之交互。
服务器计算系统306可以被配置为经由网络304与远程计算系统302和车辆200(或者可能直接与远程计算系统302和/或车辆200)无线通信。服务器计算系统306可以表示被配置为接收、存储、确定和/或发送与车辆200及其远程协助有关的信息的任何计算设备。同样地,服务器计算系统306可以被配置为执行本文中描述的由远程计算系统302和/或车辆200执行的任何操作或此类操作的部分。与远程协助相关的无线通信的一些实施例可以利用服务器计算系统306,而其他实施例可以不利用。
服务器计算系统306可以包括与远程计算系统302和/或车辆200的子系统和组件类似或相同的一个或多个子系统和组件,诸如被配置为用于执行本文所述的各种操作的处理器,以及用于从远程计算系统302和/或车辆200接收信息以及向远程计算系统302和车辆200提供信息的无线通信接口。
上述各种系统可以执行各种操作。现在将描述这些操作和相关特征。
根据以上讨论,计算系统(例如,远程计算系统302、服务器计算系统306或车辆200本地的计算系统)可操作以使用相机来捕获自主车辆的环境的图像。通常,至少一个计算系统能够分析图像并可能控制自主车辆。
在一些实施例中,为了促进自主操作,车辆(例如,车辆200)可以以多种方式接收表示车辆操作于其中的环境中的对象的数据(在本文中也称为“环境数据”)。车辆上的传感器系统可以提供表示环境对象的环境数据。例如,车辆可以有各种传感器,包括相机、雷达单元、激光测距仪、麦克风、无线电单元和其他传感器。这些传感器中的每一个可以将关于每个相应传感器接收的信息的环境数据传送到车辆中的处理器。
在一个示例中,相机可以被配置为捕获静止图像和/或视频。在一些实施例中,车辆可以具有位于不同方位的多个相机。此外,在一些实施例中,相机可以移动以捕获不同方向的图像和/或视频。相机可以被配置为将捕获的图像和视频存储到存储器中,以供车辆的处理系统稍后处理。捕获的图像和/或视频可以是环境数据。此外,相机可以包括如本文所述的图像传感器。
在另一个示例中,雷达单元可以被配置为发射将被车辆附近的各种对象反射的电磁信号,然后捕获从对象反射的电磁信号。捕获的反射电磁信号可使雷达系统(或处理系统)能够对反射电磁信号的对象进行各种确定。例如,可以确定到各种反射对象的距离和位置。在一些实施例中,车辆可以在不同方位上具有多个雷达。雷达系统可以被配置为将捕获的信息存储到存储器中,以供车辆的处理系统稍后处理。雷达系统捕获的信息可以是环境数据。
在另一个示例中,激光测距仪可以被配置为发射电磁信号(例如,红外光,诸如来自气体或二极管激光器或其他可能光源的红外光),该信号将被车辆附近的目标对象反射。激光测距仪可能能够捕获反射的电磁(例如激光)信号。捕获的反射电磁信号可以使测距系统(或处理系统)能够确定到各种对象的距离。激光测距仪也可以确定目标对象的速率或速度,并将其存储为环境数据。
此外,在一个示例中,麦克风可以被配置为捕获车辆周围环境的音频。麦克风捕获的声音可能包括紧急车辆警报器和其他车辆的声音。例如,麦克风可以捕获救护车、消防车或警车的警报器声音。处理系统可以能够识别捕获的音频信号指示紧急车辆。在另一示例中,麦克风可捕获另一车辆的排气声音,诸如来自摩托车的排气声音。处理系统可以能够识别捕获的音频信号指示摩托车。麦克风捕获的数据可以形成环境数据的一部分。
在又一示例中,无线电单元可以被配置为发射电磁信号,该电磁信号可采取蓝牙信号、802.11信号和/或其他无线电技术信号的形式。第一电磁辐射信号可以经由位于无线电单元中的一个或多个天线发射。此外,第一电磁辐射信号可以用许多不同的无线电信令模式中的一种发送。然而,在一些实施例中,希望以从位于自主车辆附近的设备请求响应的信令模式来发送第一电磁辐射信号。处理系统可以能够基于传回给无线电单元的响应来检测附近的设备,并将该传回的信息用作环境数据的一部分。
在一些实施例中,处理系统可以能够组合来自各种传感器的信息,以便进一步确定车辆的环境。例如,处理系统可以组合来自雷达信息和捕获图像的数据,以确定另一车辆或行人是否在自主车辆前方。在其他实施例中,处理系统可以使用传感器数据的其他组合来确定环境。
在自主模式下操作时,车辆可以在几乎没有人为输入的情况下控制其运行。例如,人工操作员可以在车辆中输入地址,然后车辆可在无需人工进一步输入的情况下(例如,人工无需转向或触摸制动/油门踏板)行驶至指定目的地。此外,当车辆自主操作时,传感器系统可能正在接收环境数据。车辆的处理系统可以基于从各种传感器接收的环境数据改变车辆的控制。在一些示例中,车辆可以响应于来自各种传感器的环境数据改变车辆速度。车辆可以改变速度以避开障碍物、遵守交通法规等。当车辆中的处理系统识别车辆附近的对象时,车辆可以能够改变速度或以其他方式改变运动。
当车辆检测到对象但对对象的检测信心不足时,车辆可以请求人工操作员(或更强大的计算机)执行一个或多个远程协助任务,诸如(i)确认对象是否确实存在于环境中(例如,是否实际上有停车标志或是否实际上没有停车标志),(ii)确认车辆对对象的识别是否正确,(iii)如果识别不正确,则更正识别和/或(iv)为自主车辆提供补充指令(或修改现有指令)。远程协助任务也可以包括人工操作员提供控制车辆操作的指令(例如,如果人工操作员确定对象是停车标志,则指示车辆在停车标志处停车),尽管在某些情况下,车辆本身可以基于人工操作员对对象识别相关的反馈来控制自己的操作。
为此,车辆可以分析表示环境的对象的环境数据,以确定至少一个对象具有低于阈值的检测置信度。车辆中的处理器可以被配置为基于来自各种传感器的环境数据检测环境中的各种对象。例如,在一个实施例中,处理器可以被配置为检测可能对车辆识别很重要的对象。此类对象可以包括行人、街道标志、其他车辆、其他车辆上的指示灯信号以及捕获的环境数据中检测的其他各种对象。
检测置信度可以指示所确定的对象在环境中被正确识别或存在于环境中的可能性。例如,处理器可以对接收的环境数据中的图像数据内的对象执行对象检测,并且基于无法识别检测置信度高于阈值的对象来确定至少一个对象的检测置信度低于阈值。如果对象检测或对象识别的结果不确定,则检测置信度可能较低或低于设定阈值。
取决于环境数据的来源,车辆可以通过各种方式检测环境的对象。在一些实施例中,环境数据可以来自相机并且是图像或视频数据。在其他实施例中,环境数据可以来自LIDAR单元。车辆可以分析捕获的图像或视频数据,以识别图像或视频数据中的对象。方法和装置可以被配置为针对环境对象的存在而监视图像和/或视频数据。在其他实施例中,环境数据可以是雷达、音频或其他数据。车辆可以被配置为基于雷达、音频或其他数据识别环境的对象。
在一些实施例中,车辆用于检测对象的技术可以基于已知数据集合。例如,与环境对象相关的数据可以被存储到位于车辆中的存储器中。车辆可以将接收的数据与存储的数据进行比较,以确定目标。在其他实施例中,车辆可以被配置为基于数据的上下文来确定对象。例如,与施工相关的街道标志通常可能为橙色。因此,车辆可以被配置为检测橙色的、并位于道路侧面附近作为施工相关街道标志的对象。此外,当车辆的处理系统检测捕获数据中的对象时,它也可以计算每个对象的置信度。
此外,车辆也可以具有置信阈值。置信阈值可以取决于被检测对象的类型而异。例如,对于可能需要车辆的快速响应动作的对象,诸如另一车辆上的制动灯,置信阈值可能较低。然而,在其他实施例中,对于所有检测的对象,置信阈值可以相同。当与检测的对象相关联的置信度大于置信阈值时,车辆可以假设该对象已被正确识别,并基于该假设响应性地调整车辆的控制。
当与检测的对象相关联的置信度小于置信阈值时,车辆采取的行动可以不同。在一些实施例中,尽管置信水平较低,但是车辆可以做出反应,就好像检测的对象存在一样。在其他实施例中,车辆可以做出反应,就好像检测的对象不存在一样。
当车辆检测到环境中的对象时,它也可以计算与特定检测对象相关联的置信度。取决于实施例可以以各种方式计算置信度。在一个示例中,当检测环境的对象时,车辆可将环境数据与和已知对象相关的预定数据进行比较。环境数据和预定数据之间的匹配越接近,置信度越高。在其他实施例中,车辆可以使用环境数据的数学分析来确定与对象相关联的置信度。
响应于确定对象具有低于阈值的检测置信度,车辆可以向远程计算系统发送关于对象识别的远程协助的请求。如上所述,远程计算系统可以采取各种形式。例如,远程计算系统可以是与车辆分离的车辆内的计算设备,但是人工操作员可以在作为车辆的乘客或驾驶员时与之交互,诸如用于显示远程协助信息的触摸屏界面。另外或可替选地,作为另一示例,远程计算系统可以是远程计算机终端或位于不靠近车辆的位置的其他设备。
远程协助的请求可以包括环境数据,包括对象,诸如图像数据、音频数据等。车辆可以通过网络(例如,网络304A)并在一些实施例中通过服务器(例如,服务器计算系统306)将环境数据发送至远程计算系统。远程计算系统的人工操作员可以进而使用环境数据作为响应请求的基础。
在一些实施例中,当检测到对象具有低于置信阈值的置信度时,可以对对象进行初步识别,并且可以将车辆配置为响应于初步识别调整车辆的操作。除其他可能的调整外,此类操作调整可以采取以下形式:停止车辆、将车辆切换至人工控制模式、改变车辆速度(例如,速度和/或方向)。
在其他实施例中,即使车辆检测到具有满足或超过阈值的置信度的对象,车辆也可以根据检测的对象进行操作(例如,如果对象以高置信度被识别为停车标志,则车辆停止),但是可以被配置为在车辆根据检测的对象操作的同时(或之后的时间)请求远程协助。
III.LIDAR设备的示例布置
图4是根据示例性实施例的LIDAR设备400的简化框图。在实践中,LIDAR设备400可以是本文所述的激光测距仪/LIDAR 128的一部分,以及其他可能性。
如图所示,LIDAR设备400包括电源布置402、电子设备404、光源(或多个)406、至少一个发送器408、至少一个接收器410、旋转平台412、致动器(或多个)414、固定平台416、连接器布置418、旋转连杆420和壳体422。在其他实施例中,LIDAR设备400可以包括更多、更少或不同的组件。此外,所示组件可以以任何方式组合或划分。
电源布置402可以被配置为向LIDAR设备400的各个组件供电。具体而言,电源布置402可以包括或以其他方式采取至少一个电源的形式,该电源布置402被布置在LIDAR设备400内,并以任何可行的方式连接到LIDAR设备400的各个组件,以向这些组件供电。另外或可替选地,电源布置402可以包括或以其他方式采取电源适配器等的形式,其被配置为从一个或多个外部电源(例如,从布置在与LIDAR设备400耦合的车辆中的电源)接收电力以及以任何可行的方式向LIDAR设备400的各种组件提供所接收的电力。在任何一种情况下,可以使用任何类型的电源,例如电池。
电子设备404可以包括一个或多个电子组件和/或系统,每个电子组件和/或系统都被布置成有助于促进LIDAR设备400的某些相应操作。实际上,这些电子设备404可以任何可行的方式布置在LIDAR设备400内。例如,至少一些电子设备404可以被布置在旋转连杆420的中央空腔区域内。尽管如此,电子设备404可以包括各种类型的电子组件和/或系统。
例如,电子设备404可以包括用于将控制信号从计算系统传递到LIDAR设备400的各个组件和/或用于将数据从LIDAR设备400的各个组件传递到计算系统的各种布线。通常,计算系统接收的数据可以包括接收器410基于光的检测的传感器数据,等等。此外,由计算系统发送的控制信号可以操作LIDAR设备400的各种组件,诸如通过控制发送器406的光发射、控制接收器410的光检测和/或控制致动器(或多个)414以旋转旋转平台412,以及其他可能性。
在一些布置中,电子设备404也可以包括计算系统。该计算系统可以具有一个或多个处理器、数据存储器和存储在数据存储器上的程序指令,并且一个或多个处理器可执行以促进各种操作。通过该布置,计算系统可以因此被配置为执行本文描述的操作,诸如下面描述的方法。另外或可替选地,计算系统可以与外部计算系统、控制系统等(例如,布置在与LIDAR设备400耦合的车辆中的计算系统)通信,从而有助于促进外部系统和LIDAR设备400的各种组件之间的控制信号和/或数据的传递。
然而,在其它布置中,电子设备404可以不包括计算系统。相反,至少一些上述布线可用于连接到外部计算系统。通过该布置,布线可以有助于促进外部计算系统和LIDAR设备400的各种组件之间的控制信号和/或数据的传递。也可以进行其他布置。
此外,一个或多个光源406可以被配置为分别发射波长在波长范围内的多个光束和/或脉冲。波长范围可以例如在电磁光谱的紫外线、可见光和/或红外部分。在一些示例中,波长范围可为窄波长范围,诸如激光提供的波长范围。
在实践中,光源406中的一个可以是被配置为发射光脉冲的激光二极管。具体而言,激光二极管可以是包括具有有源区的p-n结的半导体器件,在有源区中,反向极化的带电电荷载流子(例如,自由电子和/或空穴)在电流通过p-n结流过器件时重新组合。由于电荷载流子能量状态的变化,重新组合导致发光。当有源区由此类通电对密集填充时(例如,有源区可能具有通电状态的填充反转),穿过有源区的受激发射可以产生基本相干的光波前,然后从激光二极管发射。重新组合事件以及由此产生的光发射响应于流过器件的电流而发生,因此向激光二极管施加电流脉冲导致发射激光二极管发出的光。
因此,本文将在激光二极管用作主光源406的背景下对本公开进行一般性描述。然而,在一些布置中,一个或多个光源406可另外或可替选地包括光纤激光器、发光二极管(LED)、垂直腔面发射激光器(VCSEL)、有机发光二极管(OLED)、聚合物发光二极管(PLED)、发光聚合物(LEP)、液晶显示器(LCD)、微机电系统(MEMS)和/或被配置为选择性地传输、反射和/或发射光以提供多个发射光束和/或脉冲的任何其他设备。
此外,发送器408可以被配置为向环境发射光。具体而言,发送器408可以包括光学布置,该光学布置被布置为将来自光源406的光导向环境。该光学布置可以包括用于引导光在整个物理空间中传播的反射镜(或多个)和/或用于调整光的某些特征的透镜(或多个)的任何可行组合,以及其他光学组件。例如,光学装置可以包括布置成准直光的透射透镜,从而产生具有基本上彼此平行的光线的光。此外,透镜可以被成形为以特定方式散布或以其他方式散射光,例如,通过使垂直光从距离水平轴+7°散布到距离水平轴-18°(例如,水平轴在理想情况下平行于环境中的地面)。
如上所述,LIDAR设备400可以包括至少一个接收器410。接收器410可以分别被配置为至少检测波长与从发送器408发射的光的波长范围相同的光。这样,接收器410可以检测具有特定分辨率的光。例如,接收器410可以被配置为检测具有0.036°(水平)x 0.067°(垂直)的角度分辨率的光。此外,接收器410可以被配置为使用特定FOV扫描环境。例如,接收器410可被布置为将入射光聚焦在距离上述水平轴+7°到距离水平轴-18°的范围内。这样,接收器410允许检测沿+7°至-18°范围的光,该范围与发送器408提供的发射光的上述示例性垂直散布相匹配。注意,该分辨率和FOV仅用于示例性目的,并不意味着限制。
在示例性实现中,接收器410可以具有允许接收器410提供如上所述的分辨率和FOV的光学布置。通常,此类光学布置可被布置为在至少一个光学透镜和光电探测器阵列之间提供光路径。
更具体地,接收器410可以包括光学透镜,被布置成将从LIDAR设备400的环境中的一个或多个对象反射的光聚焦到接收器410的检测器上。为此,光学透镜可以具有特定尺寸(例如,约10cm x 5cm)以及特定焦距(例如,大约35cm)。此外,光学透镜的形状可以使入射光沿着如上所述的特定垂直FOV聚焦(例如,+7°到-18°)。在不脱离本公开的范围的情况下,第一接收器光学透镜的这种形状可以采用各种形式之一(例如,球形形状)。
此外,如上所述,接收器410可以具有光电探测器阵列,其可以包括两个或多个探测器,每个探测器被配置为将检测的光(例如,在上述波长范围内)转换为指示检测的光的电信号。在实践中,这种光电探测器阵列可以以多种方式之一布置。例如,探测器可以被布置在一个或多个基板上(例如,印刷电路板(PCB)、柔性PCB等)并被布置成检测从光学透镜沿光路传播的入射光。此外,此类光电探测器阵列可以包括以任何可行方式对齐的任何可行数量的探测器。例如,光电探测器阵列可以包括13x 16探测器阵列。应注意,该光电探测器阵列为仅出于示例性目的,并不意味着限制。
通常,阵列的检测器可以采取各种形式。例如,检测器可以采取光电二极管、雪崩光电二极管(例如盖革模式和/或线性模式雪崩光电二极管)、光电晶体管、相机、有源像素传感器(AP)、电荷耦合器件(CCD)、低温探测器和/或任何其他配置为接收波长在发射光波长范围内的聚焦光的光传感器的形式。也可以使用其他示例。
此外,如所述的,LIDAR设备400可以包括旋转平台412,旋转平台412被配置为绕轴旋转。为了以这种方式旋转,一个或多个致动器414可以致动旋转平台412。在实践中,这些致动器414可以包括马达、气动致动器、液压活塞和/或压电致动器等。
在示例性实现中,发送器408和接收器410可以被布置在旋转平台412上,使得这些组件中的每一个可以基于旋转平台412的旋转相对于环境移动。具体而言,这些组件中的每一个可以相对于轴旋转,以使LIDAR设备400可以从不同方向获得信息。以这种方式,LIDAR设备400可以具有水平观察方向,该水平观察方向可以通过将旋转平台412致动到不同方向来调整。
通过这种布置,计算系统可以引导致动器414以各种方式旋转旋转平台412,以便以各种方式获得关于环境的信息。具体而言,旋转平台412可以以各种程度和任意方向旋转。例如,旋转平台412可以进行完整的旋转,使得LIDAR设备400提供环境的360°水平FOV。因此,假设接收器410可以基于旋转平台412的旋转而旋转,接收器410可以具有水平FOV(例如,360°或更小)以及如上所述的垂直FOV。
此外,旋转平台412可以各种速率旋转,以使LIDAR设备400以各种刷新速率扫描环境。例如,LIDAR设备400可以被配置为具有15Hz的刷新速率(例如,LIDAR设备400每秒15次完整旋转)。在此示例中,假设LIDAR设备400如下文所述耦合至车辆,则扫描因此涉及每秒对车辆周围的360°FOV进行15次扫描。其他示例也是可能的。例如,旋转平台412可旋转LIDAR设备,使得它在较小的水平FOV角度内来回扫描。
此外,如所述的,LIDAR设备400可以包括固定平台416。在实践中,固定平台416可以具有任何形状或形式,并且可以被配置为耦合到各种结构,例如诸如耦合到车辆顶部。此外,固定平台416的耦合可以通过任何可行的连接器布置418(例如,螺栓、螺钉和/或粘合剂)进行。以这种方式,LIDAR设备400可以耦合到结构,以便用于各种目的,例如诸如本文所述的目的。
此外,LIDAR设备400也可以包括旋转连杆420,其直接或间接地将固定平台416耦合到旋转平台412。具体而言,旋转连杆420可以采用任何形状、形式和材料,以使旋转平台412围绕相对于固定平台416的轴旋转。例如,旋转连杆420可以采用基于来自致动器414的致动而旋转的轴或类似物的形式,从而将机械力从致动器414传递到旋转平台412。此外,如所述,旋转连杆420可以具有中心腔,其中可布置电子器件404和/或LIDAR设备400的一个或多个其他组件。也可以使用其他示例。
此外,如所述的,LIDAR设备400可以包括壳体422。在实践中,壳体422可以采用任何形状和形式。例如,壳体422可以是圆顶形壳体,以及其他可能性。此外,壳体422可以相对于LIDAR设备400的其他组件以各种方式布置。注意,描述该壳体仅用于示例性目的,并不意味着限制。
在示例实现中,壳体422可以耦合到旋转平台412,使得壳体422被配置为基于旋转平台412的旋转围绕上述轴旋转。通过该实现,发送器408、接收器410以及可能的LIDAR设备400的其他组件可以各自布置在壳体422内。以这种方式,发送器408和接收器410可以在布置在壳体422内的同时随壳体422旋转。
此外,壳体422可以具有形成在其上的孔,可以具有任何可行的形状和尺寸。对此,发送器408可以被布置在壳体422内,以通过孔径向环境发射光。这样,由于壳体422的相应旋转,发送器408可以沿着孔径旋转,从而允许向各个方向发射光。此外,接收器410可以布置在壳体422内,以检测通过孔径从环境进入壳体422的光。这样,由于壳体422的相应旋转,接收器410可以沿着孔径旋转,从而允许检测沿水平FOV从各个方向入射的光。
此外,壳体422可由至少部分不透明的材料构成,但孔径除外,其可由透明材料构成。通过这种方式,光可以通过孔径传播,从而允许对环境进行扫描。但是,由于壳体422至少部分不透明,壳体422可以阻止至少一些光进入壳体422的内部空间,因此可以帮助减轻热效应。例如,壳体422可阻止太阳光线进入壳体422的内部空间,这可有助于避免LIDAR设备400的各种组件因这些太阳光线而过热。此外,由于LIDAR设备400的各种组件布置在壳体422内,并且由于壳体422随这些组件一起旋转,因此壳体422可帮助保护这些组件免受各种环境危害,诸如雨和/或雪等。
然而,在其他实现方式中,壳体422可以是不随LIDAR设备400旋转的外部固定壳体。例如,外部固定壳体可以连接到车辆,并且LIDAR设备也可以连接到车辆,同时配置为在外部固定壳体内旋转。在这种情况下,外部固定壳体可能是透明的,以便允许光通过外部固定壳体传播,从而允许LIDAR设备400扫描环境。此外,LIDAR设备400还可以包括光可以通过其传播的孔径,且这种孔径可位于LIDAR设备400的内部壳体上,其可在外部固定壳体内与LIDAR设备400的其他组件一起旋转。也可以使用其他示例。
IV.确定与LIDAR设备相关的放弃处理的策略
如上所述,本公开涉及确定与LIDAR设备(例如,LIDAR设备400)相关联的放弃处理的策略。具体而言,与LIDAR设备相关联的计算系统可以执行放弃处理,以帮助缓解带宽有限通信信道的拥塞。该通信信道可以是与车辆相关联的计算设备通过其从与LIDAR设备相关联的计算系统接收由LIDAR设备生成以表示检测返回光脉冲的数据点的信道。此外,计算系统可以根据动态确定的策略而不是根据固定的策略或没有策略来执行放弃处理,以便于智能选择要丢弃的数据点和/或要阻止发射的光脉冲。
在实践中,与车辆相关联的计算设备可以是可以经由通信信道接收由LIDAR设备生成的数据点的任何计算设备。例如,所讨论的计算设备可以包括或是车辆100的上述子系统中的任何一个的一部分,诸如推进系统102、传感器系统104、控制系统106、外围设备108、电源110、计算机系统112、数据存储114和/或用户接口116。在另一示例中,所讨论的计算设备可以是车辆外部的计算设备,诸如远程计算系统302或服务器计算系统306。也可以使用其他示例。
此外,根据所确定的策略执行放弃处理的计算系统可以是与LIDAR设备相关联的任何计算系统。例如,所讨论的计算系统可以是LIDAR设备上的计算系统,诸如作为LIDAR设备400的电子设备404的一部分的计算系统。在另一个示例中,所讨论的计算系统可以是LIDAR设备外部的计算系统,诸如通过电子设备404向LIDAR设备400的组件传送数据和/或从其接收数据的计算系统。此外,所讨论的计算系统可以是直接从LIDAR设备接收数据点,然后直接或经由驻留在上述通信信道上的中间计算系统(或多个)将数据点发送到计算设备的计算系统。在某些情况下,所讨论的计算系统可能是这些中间计算系统之一。在又一示例中,LIDAR设备400的一个或多个处理器可以根据确定的策略执行放弃处理,以帮助缓解这些处理器与另一实体(例如,直接从LIDAR设备或中间计算系统接收数据点的计算系统)之间的通信信道的拥塞。也可以使用其他示例。
图5示出了一个示例布置500,其中可以根据确定的策略执行放弃处理。如图所示,布置500包括LIDAR设备400的接收器410、现场可编程门阵列(FPGA)502、处理器(或多个)504和控制系统106。在该布置500中,FPGA 502可以在LIDAR设备400上,并且可以被配置为根据返回光脉冲的检测来处理由接收器410提供的数据(例如,波形(或多个))。一旦处理了数据,FPGA 502可以通过通信链路506(例如,网络)将表示检测返回光脉冲的数据点发送到处理器504。进而,处理器504能够进一步处理或以其他方式细化数据点,然后可以经由另一通信链路508将细化的数据点提供给控制系统106。控制系统106然后可以使用本文所述的数据点,诸如用于分析对象在车辆环境中,可能根据该分析操作车辆,以及其他选项。
在布置500中,根据本公开,各种实体可以是与LIDAR设备相关联的上述计算系统,并且各种实体可以是与车辆相关联的上述计算设备。例如,FPGA 502可以是根据确定的策略执行放弃处理的计算系统,以及处理器504和/或控制系统106可以被视为与车辆相关联的计算设备。在此示例中,FPGA 502可以参与放弃处理以缓解与通信信道506和/或通信信道508相关联的拥塞。在另一示例中,处理器504可以是根据确定的策略执行放弃处理的计算系统,控制系统106可以是与车辆相关联的计算设备。在此示例中,处理器504可以参与放弃处理以减轻与通信信道508相关联的拥塞。也可以使用其他示例。
在一些实现中,布置500中的某些实体可以彼此协调以帮助促进本公开的各个方面。例如,处理器504可以确定如本文所述的放弃处理的策略,并且处理器504然后可以向FPGA 502发送指示所确定的策略的通信。进而,FPGA 502可以根据所指示的策略响应地执行放弃处理。因此,在本例中,处理器504和FPGA 502二者可以被认为是与LIDAR设备相关联的上述计算系统的一部分。也可以使用其他示例。
根据本公开,计算系统可以确定与车辆周围的环境、车辆的操作和/或LIDAR设备的操作相关联的信息,并且,响应于检测到参与放弃处理的触发,可以(i)使用确定的信息作为确定放弃处理的策略的基础,并(ii)根据确定的策略参与放弃处理。
如前所述,放弃处理可以涉及(i)丢弃LIDAR设备生成以表示检测返回光脉冲的一些数据点,和/或(ii)阻止LIDAR设备发射某些光脉冲,以便首先阻止生成某些数据点。在实践中,丢弃数据点可以涉及删除数据点(或多个)和/或将数据点(或多个)临时存储在数据存储设备(例如,缓冲器)中用于将来评估或删除这些数据点,以及其他选项。此外,阻止发射光脉冲可以涉及放弃传输直接发射某些光脉冲的控制信号和/或可以涉及传输明确指示LIDAR设备不发射某些光脉冲的控制信号,以及其他选项。
鉴于此,放弃处理可以帮助将通信信道的带宽消耗降低到预定义阈值水平以下,和/或可以将带宽消耗保持在该阈值以下。该带宽消耗可以涉及(i)通信信道的总带宽被用尽的程度和/或(ii)可传输数据超过总带宽的程度(例如,在LIDAR设备生成相对较大范围的数据点的上述“过度填充”状态期间)。此外,所讨论的阈值可以被定义为等于或低于总带宽的带宽级别,以便放弃处理将已使用带宽的程度减少或保持为等于或低于总带宽。然而,在其他实现中,阈值可以被定义为高于总带宽的带宽级别、以允许但限制过度填充状态。因此,在放弃处理期间数据点被丢弃或以其他方式不生成的程度可以基于可传输数据量超过预定义阈值的程度。例如,也可以使用其他示例。
根据上面的讨论,计算系统可以确定与车辆周围环境、车辆的操作和/或LIDAR设备的操作相关联的信息,以帮助促进本公开的各个方面。计算系统可以以各种方式这样做。
具体而言,计算系统可以基于来自车辆的子系统(或多个)的数据和/或来自车辆外部实体的数据确定该信息。举例来说(但不限于),计算系统可以基于来自车辆推进系统(例如,推进系统102)的推进数据、来自车辆的传感器系统(例如,传感器系统104)的车载传感器数据、来自车辆的控制系统(例如,控制系统106)的控制数据、来自车辆的外围设备(例如,外围设备108)的外围数据、来自车辆的计算设备(例如,计算机系统112)的其他数据和/或来自车辆外部的一个或多个传感器(例如,不同自主车辆的传感器)的传感器数据来确定所讨论的信息。
在更具体的示例中,用于确定所讨论的信息的数据可以包括关于在车辆的环境中的对象的对象数据、表示车辆周围的环境的地图数据、指示车辆周围环境中的交通的交通数据和/或指示车辆周围环境中天气的天气数据(例如,来自车辆上环境传感器和/或来自美国国家海洋和大气管理局(NOAA)的服务器的天气数据))。在不脱离本公开范围的情况下,也可以使用其他示例。
此外,计算系统可以以各种方式检测参与放弃处理的触发。例如,计算系统可以确定与通信信道相关联的当前或预期带宽消耗处于或高于上述预定义阈值。在另一个示例中,计算系统可以接收参与放弃处理的请求,诸如来自车辆的计算设备。在另一个示例中,计算系统可以被配置为根据预定日程(例如,在一天中的特定时间和/或每几秒钟一次)参与放弃处理。因此,计算系统可以使用预定日程作为确定应该启动放弃处理的基础。在另一个示例中,阻止发射某些光脉冲的放弃处理可以提供热效益,诸如通过帮助阻止LIDAR设备过热。鉴于此,计算系统可以响应于确定满足热限制(例如,LIDAR设备和/或与车辆相关的其他组件的温度超过阈值温度)参与放弃处理。也可以使用其他示例。
下文更详细地描述了用于放弃处理的各种示例策略。应当理解,在不偏离本公开的范围的情况下,计算系统可以在任何给定时间根据这些策略中的一个或多个参与放弃处理,并且可以以任何可行的方式组合这些策略中的两个或多个。
在一个示例实现中,计算系统可以根据对检测返回光脉冲的特征的分析来丢弃数据点。具体而言,计算系统可以确定与检测返回光脉冲的特征相关的信息,诸如与检测返回光脉冲相关联的相应强度值和/或时间延迟,以及其他可能性。鉴于此,计算系统可以基于识别的生成的数据点的子集来识别子集,识别的子集包括表示具有预定义特征(或多个)的检测返回光脉冲的数据点。此类预定义特征可能有助于指示应当丢弃给定数据点或至少是要丢弃的候选。因此,当计算系统参与放弃处理时,计算系统可以丢弃识别的子集的至少一些数据点。
在具体示例中,计算系统可以丢弃表示低强度返回光脉冲的数据点。具体而言,如果点云是基于表示具有相对高的相应强度的检测返回光脉冲的数据点生成的,则它可能包括更多有用的信息。鉴于此,计算系统可以基于识别的所生成的数据点的子集来识别子集,识别的子集包括表示具有低于预定义阈值强度的相应强度的检测返回光脉冲的数据点。并且计算系统可以在放弃处理期间丢弃识别的子集的至少一些数据点。
在另一具体示例中,计算系统可以丢弃表示具有相对较长关联时间延迟的返回光脉冲的数据点。特别地,如所述,可以根据光脉冲发射和检测反射返回光脉冲之间的时间延迟来确定到对象的距离。通常,更长的时间延迟可能表示对象离车辆更远。在某些情况下,与车辆关联的计算设备可能会推迟与车辆相距很远的对象的分析,而不会产生任何后果。因此,计算系统可以识别并丢弃表示具有比预定义阈值时间延迟更长的关联时间延迟的检测返回光脉冲的数据点。
在另一具体示例中,计算系统可以丢弃表示具有相对较短关联时间延迟的返回光的数据点。通常,更短的时间延迟可能表示对象靠近车辆。并且在某些情况下,具有非常短的关联时间延迟的检测返回光脉冲可能是从路面或甚至从车辆的一部分反射的,因此对于分析检测返回光脉冲而言可能不太感兴趣。因此,计算系统可以识别并丢弃表示(i)具有短于预定义阈值时间延迟的关联时间延迟且(ii)可能具有指示那些检测返回光脉冲是不太感兴趣的其他特征(例如,与本文描述的其他示例和实现一致)的检测返回光脉冲的数据点。也可以使用其他示例。
在另一示例实现中,计算系统可以选择性地丢弃冗余的数据点。具体而言,可能出现检测返回光脉冲可能具有彼此基本相同的特征的一些情况。例如,当检测返回光脉冲对应于从某些类型的对象(例如大型和/或扁平对象)反射的相邻发射光脉冲时,它们可以具有基本相同的特征。鉴于此,计算系统可以基于识别的生成的数据点的子集来识别子集,识别的子集包括表示彼此具有基本相同特征的检测返回光脉冲的数据点。另外,计算系统可以在放弃处理期间丢弃识别的子集的一些但不是全部数据点。
在更具体的示例中,LIDAR设备可以在LIDAR设备对环境的一次或多次扫描期间生成数据点集合,并且计算系统可以识别并丢弃集合的冗余数据点。例如,计算系统可以识别集合中具有彼此基本相同的强度和关联时间延迟的数据点的子集,这可以指示该子集的数据点表示从同一对象反射的检测返回光脉冲。然后,计算系统可以在放弃处理中丢弃识别的子集的中的一些数据点,但不是全部数据点,以在保留至少一些数据点以便能够对对象进行分析的同时获得放弃处理的好处。也可以使用其他示例。
在又一示例实现中,计算系统可以根据对由车辆的不同传感器(例如,车辆的不同LIDAR设备)生成的数据点的分析来丢弃和/或阻止数据点的生成。具体而言,计算系统可以确定车辆的不同传感器已生成表示环境的特定部分的数据点。这样的确定可以指示,如果LIDAR设备也生成表示该特定数据点的数据点,则这些数据点中的至少一些是冗余的。鉴于此,计算系统可以通过基于识别的数据点表示与环境的特定部分相对应的检测返回光脉冲来识别由LIDAR设备生成的数据点而响应确定。然后计算系统可以在放弃处理期间丢弃识别的数据点中的至少一些。另外或者可选地,计算系统可以通过识别要向环境的特定部分发射的光脉冲,然后在放弃处理期间阻止发射识别的光脉冲中的至少一些来响应确定。也可以使用其他示例。
在另一个示例实现中,计算系统可以根据对车辆正在执行或预期将要执行的操纵的分析来丢弃和/或阻止数据点的生成。具体而言,计算系统可以确定可能与车辆的任何可行移动类型、车辆的行驶方向等有关的操纵。然后,计算系统可以基于所确定的操纵来确定环境的偏离目标部分,偏离目标部分是需要较少信息或不需要信息来在操纵期间成功操作车辆的部分,以及其他可能性。鉴于此,计算系统可以基于识别的数据点表示与偏离目标部分相对应的检测返回光脉冲来识别由LIDAR设备生成的数据点。然后,计算系统可以在放弃处理中丢弃识别的数据点中的至少一些。另外或可替选地,计算系统可以识别朝向偏离目标部分发射的光脉冲,并且随后可以在放弃处理期间阻止发射识别的光脉冲中的至少一些。
在更具体的示例中,如果车辆正在或预计将朝向环境的特定部分行驶,则与环境的某些其他部分相比,确定关于该特定部分的更多信息可能是有利的。鉴于此,计算系统可以确定车辆正在或预计将朝向环境的特定部分行驶(例如,基于地图数据和/或加速计数据),并且然后可以至少基于偏离目标部分与特定部分不同来确定环境的偏离目标部分。例如,如果车辆向前下坡行驶,则计算系统可以将车辆后面的部分环境(即,车辆的朝上坡方向)视为偏离目标部分。因此,计算系统可以丢弃或以其他方式阻止生成与偏离目标部分相关联的至少一些数据点。也可以使用其他示例。
在另一示例实现中,计算系统可以根据对车辆周围的环境中的对象的特征的分析来丢弃和/或阻止数据点的生成。具体而言,计算系统可以确定对象的特征,诸如通过确定对象相对于车辆的位置、确定对象为特定类型和/或识别对象等等。然后,例如,计算系统可以基于对象的特征来确定环境的偏离目标部分,偏离目标部分是需要较少信息或不需要信息来在车辆的环境中存在对象期间成功操作车辆的部分。鉴于此,计算系统可以基于表示与偏离目标部分相对应的检测返回光脉冲的识别的数据点来识别由LIDAR设备生成的数据点。然后,计算系统可以在放弃处理期间丢弃识别的数据点中的至少一些。另外或者可替选地,计算系统可以识别要朝向偏离目标部分发射的光脉冲,然后可以在放弃处理期间阻止发射识别的光脉冲中的至少一些。
在更具体的示例中,计算系统可以确定围栏位于车辆的环境中。通常,围栏(例如,链式围栏)由高反射材料制成,因此可以反射LIDAR设备可能向其发射的多个光脉冲。鉴于此,围栏可以被指定为高反射类型的对象,其可能在LIDAR设备的扫描期间生成多个数据点。此外,如果围栏位于远离车辆行驶方向的位置,则这可能指示在车辆的环境中存在围栏期间成功操作车辆需要较少或不需要关于围栏的附加信息。鉴于此,计算系统可以确定围栏为高反射型对象且围栏远离车辆行驶方向,并且可以响应地丢弃围栏所在环境部分相关联的数据点和/或阻止发射与围栏所在环境部分相关联的光脉冲。
此外,由于围栏可能是包括孔的屏障,因此向围栏发射的光脉冲可能会产生从围栏反射的返回光脉冲以及从超过围栏的位置反射的返回光脉冲(例如,车辆可能位于围栏一侧的区域内,光脉冲可能从位于围栏另一侧区域内的对象反射)。在实践中,由于围栏是屏障,因此从超过围栏的位置反射的返回光脉冲可能不太受关注。因此,当计算系统丢弃与围栏所处环境的一部分相关联的数据点和/或阻止与围栏所处环境的一部分相关联的光脉冲发射时,所讨论的部分可能包括围栏的位置(例如,表面)和/或超过围栏的位置,还有其他可能性。也可以使用其他示例。
在另一示例实现中,计算系统可以根据对是否在车辆的环境的特定部分中检测到对象的分析来丢弃和/或阻止数据点的生成。例如,计算系统可以确定在该特定部分中没有检测到对象,这可以指示至少在某个阈值时间段内需要较少或不需要关于该特定部分的附加信息。鉴于此,计算系统可以通过基于识别的数据点表示与环境的特定部分相对应的检测返回光脉冲来识别LIDAR设备生成的数据点而响应确定。然后,计算系统可以在放弃处理期间丢弃识别的数据点中的至少一些。另外或者可替选地,计算系统可以通过识别要向环境的特定部分发射的光脉冲来响应确定,然后在放弃处理期间阻止发射识别的光脉冲中的至少一些。也可以使用其他示例。
在另一示例实现中,计算系统可以根据对车辆的周围环境中的交通和/或天气条件的分析来丢弃和/或阻止数据点的生成。具体而言,计算系统可以基于交通和/或天气条件来确定环境的偏离目标部分,例如,偏离目标部分是需要较少信息或不需要信息来在所讨论的条件(或多个)期间成功操作车辆的部分。鉴于此,计算系统可以基于识别的数据点表示与偏离目标部分相对应的检测返回光脉冲来识别由LIDAR设备生成的数据点。然后,计算系统可以在放弃处理期间丢弃识别的数据点中的至少一些。另外或可替选地,计算系统可以识别要向偏离目标部分发射的光脉冲,并且随后在放弃处理期间阻止发射识别的光脉冲中的至少一些。
在更具体的示例中,计算系统可以确定环境的特定部分的交通(例如,车辆和/或行人交通)程度低于交通的阈值程度。例如,计算系统可以确定指示特定环境部分中的车辆和/或行人交通的程度的度量,诸如通过确定指示在该特定环境部分中每单位面积的车辆和/或行人数量的交通密度,以及其他。然后,计算系统可以确定所讨论的度量低于阈值度量,诸如通过确定交通密度低于预定义的阈值交通密度,以及其他。在任何情况下,因为环境的该特定部分具有低于交通的阈值程度的交通程度,所以该特定部分可能需要较少或不需要附加信息。因此,计算系统可以将该特定部分视为偏离目标部分,并且可以进而丢弃和/或阻止与特定部分相关联的数据点的生成。
在另一具体示例中,计算系统可以确定环境的特定部分的天气条件,并且该天气条件对应于预定义不利天气条件,诸如雪、雨、雨夹雪、冰雹、冰和/或雾等。通常,此类不利天气现象(例如雨)可以反射LIDAR设备可能向其发射的多个光脉冲,从而在LIDAR设备扫描期间生成多个相应的数据点。但是,这样的数据点可能不包括车辆的成功操作所需的任何或许多信息。事实上,这些数据点可能表示检测的零星返回光脉冲,因此可能影响环境中对象的成功检测。因此,计算系统可以丢弃和/或阻止生成与其中检测到预定义不利天气条件的环境特定部分相关联的数据点。
对此,计算系统可以被配置为确定特定数据点表示从不利天气现象(例如,雨)反射的特定返回光脉冲。例如,LIDAR设备可以在环境的特定扫描期间生成特定数据点,并且也可以在紧接在所讨论的特定扫描之前和/或之后的扫描期间生成其他数据点。鉴于此,如果计算系统确定那些其他数据点都不表示具有与特定返回光脉冲的特征相同或相似的特征的返回光脉冲,则这可以指示该特定返回光脉冲是孤立的或以其他方式随机出现的返回光脉冲,可能从不利的天气现象中反射出来。因此,计算系统可以通过丢弃特定数据点来响应确定。也可以使用其他示例。
在另一方面中,计算系统可以应用伪随机码来选择要丢弃的数据点和/或要阻止发射的光脉冲。例如,上述策略可能导致计算系统丢弃被识别为要丢弃的候选的数据点中的一些但不一定是全部数据点的情况。鉴于此,计算系统可以应用伪随机码以从那些识别的数据点中选择要丢弃的数据点。类似的方法可以扩展到应用伪随机码来选择要阻止发射的光脉冲。也可以使用其他示例。
另外或可选地,计算系统可以应用轮询调度(round-robin)过程来选择要丢弃的数据点和/或要阻止发射的光脉冲,例如在上述情况期间。例如,计算系统可以识别表示在第一时间间隔期间(例如,在由LIDAR设备对环境进行的特定扫描期间)检测的第一组返回光脉冲的要丢弃的第一数据点集合,并且计算系统可以应用轮询调度过程以选择表示从第一组返回光脉冲中检测的第一返回光脉冲的第一集合的数据点。然后,计算系统可以识别表示在第二时间间隔期间(例如,在由LIDAR设备对环境进行的后续扫描期间)检测的第二组返回光脉冲的要丢弃的第二数据点集合,并且计算系统可以应用轮询调度过程以选择表示从第二组返回光脉冲中检测的第二返回光脉冲的第二集合的数据点。也可以使用其他示例。
在另一个方面,当计算系统根据确定的策略参与放弃处理时,LIDAR设备发射的光脉冲可能最终具有相对于彼此的可变间距。例如,计算系统可以阻止朝向车辆环境的特定部分,例如朝向车辆附近的路面,发射光脉冲。因此,在环境的给定的360°扫描期间,LIDAR设备不会朝向该特定部分发射光脉冲,但是在扫描期间仍可能分别超向其他部分发射光脉冲。鉴于此,扫描可能包括发射相对彼此具有可变间距的光脉冲,而不是在整个扫描过程中发射等间距的光脉冲。此外,除了本文所述的各种优点外,还包括阻止发射特定光脉冲的放弃处理可以提供热效益,诸如通过帮助阻止LIDAR设备过热等。也可以使用其他示例。
图6示出了根据动态确定的策略参与放弃处理的示例场景。如图所示,车辆200具有LIDAR单元204并且正在环境600中行驶。在该场景中,与LIDAR单元204相关联的计算系统可以确定在环境600的部分602中没有检测到任何对象,并且可以响应地阻止LIDAR单元204向环境600的该部分602发射一些光脉冲,至少在一些预定义的时间段内。此外,计算系统可以确定环境600的部分604中的交通程度低于阈值交通程度,并且可以响应地丢弃由LIDAR单元204生成的一些数据点,以表示从该部分604反射的检返回光脉冲。也可以使用其他示例和示出。
V.示例处理
图7是根据示例实施例的方法700的流程图。在一些实施例中,图7的一个或多个块可由计算系统执行。计算系统可以包括计算组件,诸如非易失性存储器(例如,硬盘驱动器或只读存储器(ROM))、易失性存储器(例如,随机存取存储器(RAM),诸如动态随机存取存储器(DRAM)或静态随机存取存储器(SRAM))、用户输入设备(例如,鼠标或键盘)、显示器(例如,发光二极管(LED)显示器或液晶显示器(LCD)),和/或网络通信控制器(例如,基于IEEE802.11标准的控制器或以太网控制器)。例如,计算系统可以执行存储在非临时计算机可读介质(例如硬盘驱动器)上的指令以执行本文所述的一个或多个操作。
在框702,方法700可以涉及通过计算系统操作光探测和测距(LIDAR)设备来扫描车辆周围的环境,其中操作包括使LIDAR设备发射光脉冲并检测返回光脉冲,其中LIDAR设备被配置为生成表示检测返回光脉冲的数据点集合,其中计算系统被配置为参与放弃处理,包括以下中的一个或多个:(i)丢弃集合中的一个或多个数据点或(ii)阻止LIDAR设备发射一个或多个光脉冲,其中计算系统还被配置为经由通信信道向计算设备发送集合中除被丢弃的一个或多个数据点之外的剩余数据点。
在框704,方法700可以涉及通过计算系统确定与车辆周围的环境、车辆的操作或LIDAR设备的操作中的一个或多个相关联的信息。
在框706,方法700可以涉及通过计算系统检测用于参与放弃处理的触发。
在框708,方法700可以涉及响应于检测到触发,计算系统(i)使用确定的信息作为基础来确定放弃处理的策略并(ii)根据确定的策略参与放弃处理。
在方法700的一些实施例中,确定信息包括基于以下中的一个或多个确定信息:来自车辆的传感器系统的车载传感器数据、来自车辆外部的一个或多个传感器的外部传感器数据、来自车辆的推进系统的推进数据、来自车辆的控制系统的控制数据、来自计算设备的其他数据、表示车辆周围的环境的地图数据、指示车辆周围的环境中的交通的交通数据、指示LIDAR设备的温度的温度数据、指示车辆的温度的温度数据或指示车辆周围的环境的天气的天气数据。
在方法700的一些实施例中,检测触发可以涉及确定与通信信道相关联的当前或预期带宽消耗等于或高于阈值带宽消耗。
在方法700的一些实施例中,确定关于放弃处理的策略可以涉及确定以下中的一个或多个:(i)要丢弃的集合的数据点或(ii)要阻止发射的光脉冲。
在方法700的一些实施例中,参与放弃处理减少或至少保持与通信信道相关联的带宽使用或过度填充。
在方法700的一些实施例中,确定信息可以涉及确定检测返回光脉冲的特征,确定策略可以涉及基于识别的子集包括表示具有一个或多个预定义特征的检测返回光脉冲的数据点来识别集合的数据点的子集,以及根据确定的策略参与放弃处理可以涉及丢弃识别的子集的数据点。
在这样的实施例中,识别可以涉及基于识别的子集包括表示具有低于阈值强度的相应强度的检测返回光脉冲的数据点来识别子集。
在方法700的一些实施例中,确定信息可以涉及确定检测返回光脉冲的特征,确定策略可以涉及基于识别的子集包括表示彼此具有基本相同特征的检测返回光脉冲的数据点来识别集合的数据点的子集,以及根据确定的策略参与放弃处理可以涉及丢弃识别的子集中的一些但不是全部数据点。
在方法700的一些实施例中,确定信息可以涉及确定车辆的不同传感器已经生成表示环境的特定部分的数据点,确定策略可以涉及,响应于确定车辆的不同传感器已经生成表示环境的特定部分的数据点,应用包括以下中的一个或多个的识别处理:(i)基于识别的子集包括表示与环境的特定部分对应的检测返回光脉冲的数据点来识别集合的数据点的子集,或者(ii)识别要向环境的特定部分发射的光脉冲,以及根据确定的策略参与放弃处理可以涉及以下中的一个或多个:丢弃识别的子集中的至少一些数据点或阻止发射识别的光脉冲中的至少一些。
在方法700的一些实施例中,确定信息可以涉及确定车辆正在执行或预期执行的操纵,确定策略可以涉及基于确定的操纵确定环境的偏离目标部分并应用识别处理,识别处理包括以下中的一个或多个:(i)基于识别的子集包括表示与环境的偏离目标部分相对应的检测返回光脉冲的数据点来识别集合的数据点的子集,或者(ii)识别要向环境的偏离目标部分发射的光脉冲,以及根据确定的策略参与放弃处理可以涉及以下中的一个或多个:丢弃识别的子集中的至少一些数据点或阻止发射识别的光脉冲中的至少一些。
在这些实施例中,确定操纵可以涉及确定车辆正在或预计将朝向环境的特定部分行驶,以及确定偏离目标部分可以涉及至少基于偏离目标部分不同于特定部分来确定偏离目标部分。
在方法700的一些实施例中,确定信息可以涉及确定车辆周围的环境中的对象的特征,确定策略可以涉及基于确定的对象的特征来确定环境的偏离目标部分并应用识别处理,识别处理包括以下中的一个或多个:(i)基于识别的子集表示与环境的偏离目标部分相对应的检测返回光脉冲的数据点来识别集合的数据点的子集,或者(ii)识别要向环境的偏离目标部分发射的光脉冲,以及根据确定的策略参与放弃处理可以涉及以下中的一个或多个:丢弃识别的子集中的至少一些数据点或阻止发射识别的光脉冲中的至少一些。
在这样的实施例中,确定对象的特征包括可以涉及以下中的一个或多个:确定对象相对于车辆的位置、确定对象为特定类型或识别对象。
在方法700的一些实施例中,确定信息可以涉及确定在车辆周围的环境的特定部分中未检测到对象,确定策略可以涉及:响应于确定在车辆周围的环境的特定部分中未检测到对象,应用包括以下中的一个或多个的识别处理:(i)基于识别的子集包括表示与环境的特定部分相对应的检测返回光脉冲的数据点来识别集合的数据点的子集,或者(ii)识别要向环境的特定部分发射的光脉冲,以及根据确定的策略参与放弃处理可以涉及以下中的一个或多个:丢弃识别的子集中的至少一些数据点或阻止发射识别的光脉冲中的至少一些。
在方法700的一些实施例中,确定信息可以涉及确定与车辆周围的环境中的交通或天气中一个或多个相关联的条件,确定策略可以涉及基于确定的条件确定环境的偏离目标部分并应用识别处理,识别处理包括以下中的一个或多个:(i)基于识别的子集包括表示与环境的偏离目标部分相对应的检测返回光脉冲的数据点来识别集合的数据点的子集,或者(ii)识别要向环境的偏离目标部分发射的光脉冲,以及根据确定的策略参与放弃处理可以涉及以下中的一个或多个:丢弃识别的子集中的至少一些数据点或阻止发射识别的光脉冲中的至少一些。
在这样的实施例中,确定条件可以涉及确定环境的特定部分中的交通程度低于阈值交通程度,并且其中确定偏离目标部分包括基于确定将偏离目标部分选择为特定部分。
另外或可替选地,在此类实施例中,确定条件可以涉及确定环境的特定部分具有雪、雨、雨夹雪、冰雹、冰、雾或其他预定义天气条件中的一个或多个,以及其中,确定偏离目标部分可以涉及基于确定将偏离目标部分选择为特定部分。
在方法700的一些实施例中,确定策略可以涉及应用伪随机码或轮询调度过程来选择以下中的一个或多个:(i)要丢弃的集合中的一个或多个数据点或(ii)要阻止发射的光脉冲,以及根据确定的策略参与放弃处理可以涉及以下中的一个或多个:(i)丢弃根据伪随机码或轮询调度过程的应用而选择的集合的数据点或(ii)阻止发射根据伪随机码或轮询调度过程的应用而选择的光脉冲。
IV.结论
本公开不限于本申请中描述的特定实施例,这些实施例旨在作为各个方面的图示。可以在不偏离其精神和范围的情况下进行许多修改和变化,这对本领域技术人员来说是显而易见的。除了在此列举的那些之外,在本公开的范围内的功能等效的方法和装置对于本领域技术人员来说从前述描述是显而易见的。这些修改和变化旨在属于所附权利要求书的范围。
以上详细描述参考附图描述了所公开的系统、设备和方法的各种特征和功能。在附图中,除非上下文另有规定,否则类似符号通常标识类似组件。本文和附图中描述的示例实施例并不意味着限制。在不脱离本文所述主题的范围的情况下,可以使用其他实施例,并且可以进行其他更改。可以容易地理解,如本文一般描述和图中所示,本公开的各个方面可以被布置、替换、组合、分离和设计在各种不同的配置中,所有这些都在本文中明确考虑。
关于图中和如本文所讨论的任何或所有消息流程图、场景和流程图,每个步骤、块、操作和/或通信可以表示根据示例实施例的信息的处理和/或信息的传输。替代实施例包括在这些示例实施例的范围内。在这些替代实施例中,例如,根据涉及的功能,描述为步骤、块、传输、通信、请求、响应和/或消息的操作可以按照所示或所讨论的顺序执行,包括基本上同时或以相反顺序。此外,更多或更少的块和/或操作可以与本文讨论的任何消息流图、场景和流程图一起使用,并且这些消息流图、场景和流程图可以部分或全部彼此组合。
表示信息处理的步骤、块或操作可对应于可以被配置为执行本文描述的方法或技术的特定逻辑功能的电路。可选地或另外,表示信息处理的步骤或块可以对应于模块、段或程序代码的一部分(包括相关数据)。程序代码可以包括一个或多个处理器可执行的指令,用于实现方法或技术中的特定逻辑操作或动作。程序代码和/或相关数据可以存储在任何类型的计算机可读介质上,例如包括RAM、磁盘驱动器、固态驱动器或其他存储介质的存储设备。
此外,表示一个或多个信息传输的步骤、块或操作可对应于同一物理设备中的软件和/或硬件模块之间的信息传输。然而,其他信息传输可在不同物理设备中的软件模块和/或硬件模块之间。
图中所示的特定布置不应被视为限制。应当理解,其他实施例可以包括更多或更少的给定图中所示的每个元件。此外,可以组合或省略一些图示元件。此外,示例实施例可以包括图中未示出的元件。
虽然本文中已经公开了各种方面和实施例,但是其他方面和实施例对于本领域技术人员来说是显而易见的。本文中公开的各种方面和实施例是为了说明的目的,并不意在限制,真正的范围由所附权利要求指示。
Claims (20)
1.一种方法,包括:
通过计算系统操作光探测和测距(LIDAR)设备来扫描车辆周围的环境,其中操作包括使LIDAR设备发射光脉冲并检测返回光脉冲,其中LIDAR设备被配置为生成表示检测返回光脉冲的数据点集合,其中计算系统被配置为参与放弃处理,放弃处理包括以下中的一个或多个:(i)丢弃集合中的一个或多个数据点或(ii)阻止LIDAR设备发射一个或多个光脉冲,并且其中计算系统还被配置为经由通信信道向计算设备发送集合中除被丢弃的一个或多个数据点之外的剩余数据点;
通过计算系统确定与车辆周围的环境、车辆的操作或LIDAR设备的操作中的一个或多个相关联的信息;
通过计算系统检测用于参与放弃处理的触发;以及
响应于检测到触发,计算系统(i)使用确定的信息作为基础来确定关于放弃处理的策略并(ii)根据确定的策略参与放弃处理。
2.根据权利要求1所述的方法,其中,确定信息包括基于以下中的一个或多个来确定信息:来自车辆的传感器系统的车载传感器数据、来自车辆外部的一个或多个传感器的外部传感器数据、来自车辆的推进系统的推进数据、来自车辆的控制系统的控制数据、来自计算设备的其他数据、表示车辆周围的环境的地图数据、指示车辆周围的环境中的交通的交通数据、指示LIDAR设备的温度的温度数据、指示车辆的温度的温度数据或指示车辆周围的环境的天气的天气数据。
3.根据权利要求1所述的方法,其中,检测触发包括:确定与通信信道相关联的当前或预期带宽消耗等于或高于阈值带宽消耗。
4.根据权利要求1所述的方法,其中,确定关于放弃处理的策略包括确定以下中的一个或多个:(i)集合中要丢弃的数据点或(ii)要被阻止发射的光脉冲。
5.根据权利要求1所述的方法,其中,参与放弃处理减少或至少保持与通信信道相关联的带宽使用或过度填充。
6.根据权利要求1所述的方法,
其中,确定信息包括确定检测返回光脉冲的特征,
其中,确定策略包括基于识别的子集包括表示具有一个或多个预定义特征的检测的返回光脉冲的数据点来识别集合的数据点的子集,以及
其中,根据确定的策略参与放弃处理包括丢弃识别的子集的数据点。
7.根据权利要求6所述的方法,其中,识别包括:基于识别的子集来识别子集,识别的子集包括表示具有低于阈值强度的相应强度的检测返回光脉冲的数据点。
8.根据权利要求1所述的方法,
其中,确定信息包括确定检测返回光脉冲的特征,
其中,确定策略包括基于识别的子集包括表示彼此具有基本相同特征的检测返回光脉冲的数据点来识别集合的数据点的子集,以及
其中,根据确定的策略参与放弃处理包括丢弃识别的子集的一些但不是全部数据点。
9.根据权利要求1所述的方法,
其中,确定信息包括确定车辆的不同传感器已经生成表示环境的特定部分的数据点,
其中,确定策略包括,响应于确定车辆的不同传感器已经生成表示环境的特定部分的数据点,应用包括以下中的一个或多个的识别处理:(i)基于识别的子集包括表示与环境的特定部分相对应的检测返回光脉冲的数据点来识别集合的数据点的子集,或者(ii)识别要向环境的特定部分发射的光脉冲,以及
其中,根据确定的策略参与放弃处理包括以下中的一个或多个:丢弃识别的子集中的至少一些数据点或阻止发射识别的光脉冲中的至少一些。
10.根据权利要求1所述的方法,
其中,确定信息包括确定车辆正在执行或预期执行的操纵,
其中,确定策略包括基于确定的操纵来确定环境的偏离目标部分并应用识别处理,识别处理包括以下中的一个或多个:(i)基于识别的子集包括表示与环境的偏离目标部分相对应的检测返回光脉冲的数据点来识别集合的数据点的子集,或者(ii)识别要向环境的偏离目标部分发射的光脉冲,以及
其中,根据确定的策略参与放弃处理包括以下中的一个或多个:丢弃识别的子集中的至少一些数据点或阻止发射识别的光脉冲中的至少一些。
11.根据权利要求10所述的方法,
其中,确定操纵包括确定车辆正在或预计将朝向环境的特定部分行驶,以及
其中,确定偏离目标部分包括至少基于偏离目标部分与特定部分不同来确定偏离目标部分。
12.根据权利要求1所述的方法,
其中,确定信息包括确定车辆周围的环境中对象的特征,
其中,确定策略包括基于确定的对象的特征来确定环境的偏离目标部分并应用识别处理,识别处理包括以下中的一个或多个:(i)基于识别的子集包括表示与环境的偏离目标部分相对应的检测返回光脉冲的数据点来识别集合的数据点的子集,或者(ii)识别要向环境的偏离目标部分发射的光脉冲,以及
其中,根据确定的策略参与放弃处理包括以下中的一个或多个:丢弃识别的子集中的至少一些数据点或阻止发射识别的光脉冲中的至少一些。
13.根据权利要求12所述的方法,其中,确定对象的特征包括以下中的一个或多个:确定对象相对于车辆的位置、确定对象为特定类型或识别对象。
14.根据权利要求1所述的方法,
其中,确定信息包括确定在车辆周围的环境的特定部分中未检测到对象,
其中,确定策略包括:响应于确定在车辆周围的环境的特定部分中未检测到对象,应用包括以下中的一个或多个的识别处理:(i)基于识别的子集包括表示与环境的特定部分相对应的检测返回光脉冲的数据点来识别集合的数据点的子集,或者(ii)识别要向环境的特定部分发射的光脉冲,以及
其中,根据确定的策略参与放弃处理包括以下中的一个或多个:丢弃识别的子集中的至少一些数据点或阻止发射识别的光脉冲中的至少一些。
15.根据权利要求1所述的方法,
其中,确定信息包括确定与车辆周围的环境中的交通或天气中一个或多个相关联的条件,
其中,确定策略包括基于确定的条件来确定环境的偏离目标部分并应用识别处理,识别处理包括以下中的一个或多个:(i)基于识别的子集包括表示与环境的偏离目标部分相对应的检测返回光脉冲的数据点来识别集合的数据点的子集,或者(ii)识别要向环境的偏离目标部分发射的光脉冲,以及
其中,根据确定的策略参与放弃处理包括以下中的一个或多个:丢弃识别的子集中的至少一些数据点或阻止发射识别的光脉冲中的至少一些。
16.根据权利要求15所述的方法,其中,确定条件包括确定环境的特定部分中的交通程度低于阈值交通程度,并且其中确定偏离目标部分包括基于所述确定将偏离目标部分选择为特定部分。
17.根据权利要求15所述的方法,其中,确定条件包括确定环境的特定部分具有雪、雨、雨夹雪、冰雹、冰、雾或其他预定义天气条件中的一个或多个,并且其中,确定偏离目标部分包括基于所述确定将偏离目标部分选择为特定部分。
18.根据权利要求1所述的方法,
其中,确定策略包括应用伪随机码或轮询调度过程来选择以下中的一个或多个:(i)要丢弃的集合的一个或多个数据点或(ii)要阻止发射的光脉冲,以及
其中,根据确定的策略参与放弃处理包括以下中的一个或多个:(i)丢弃根据伪随机码或轮询调度过程的应用选择的集合的数据点或(ii)阻止发射根据伪随机码或轮询调度过程的应用选择的光脉冲。
19.一种计算系统,包括:
一个或多个处理器;
非暂时性计算机可读介质;以及
存储在非暂时性计算机可读介质上且由一个或多个处理器可执行的程序指令,以:
操作光探测和测距(LIDAR)设备来扫描车辆周围的环境,其中操作包括使LIDAR设备发射光脉冲并检测返回光脉冲,其中LIDAR设备被配置为生成表示检测返回光脉冲的数据点集合,其中计算系统被配置为参与放弃处理,放弃处理包括以下中的一个或多个:(i)丢弃集合中的一个或多个数据点或(ii)阻止LIDAR设备发射一个或多个光脉冲,并且其中计算系统还被配置为经由通信信道向计算设备发送集合中除被丢弃的一个或多个数据点之外的剩余数据点;
确定与车辆周围的环境、车辆的操作或LIDAR设备的操作中的一个或多个相关联的信息;
检测用于参与放弃处理的触发;和
响应于检测到触发,(i)使用确定的信息作为基础来确定关于放弃处理的策略并(ii)根据确定的策略参与放弃处理。
20.一种车辆,包括:
光探测和测距(LIDAR)设备;以及
计算系统,被配置为:
操作LIDAR设备来扫描车辆周围环境,其中操作包括使LIDAR设备发射光脉冲并检测返回光脉冲,其中LIDAR设备被配置为生成表示检测返回光脉冲的数据点集合;
确定与车辆周围的环境、车辆的操作或LIDAR设备的操作中的一个或多个相关联的信息;
检测用于参与放弃处理的触发;和
响应于检测到触发,使用确定的信息作为基础来确定关于放弃处理的策略,并根据确定的策略参与放弃处理,其中放弃处理包括以下中的一个或多个:(i)丢弃集合中的一个或多个数据点或(ii)阻止LIDAR设备发射一个或多个光脉冲。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/404,499 | 2019-05-06 | ||
US16/404,499 US11604284B2 (en) | 2019-05-06 | 2019-05-06 | Methods and systems to determine a strategy for a drop process associated with a light detection and ranging (LIDAR) device |
PCT/US2020/028964 WO2020226886A1 (en) | 2019-05-06 | 2020-04-20 | Methods and systems to determine a strategy for a drop process associated with a light detection and ranging (lidar) device |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113795728A true CN113795728A (zh) | 2021-12-14 |
Family
ID=73047308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080034317.0A Pending CN113795728A (zh) | 2019-05-06 | 2020-04-20 | 确定与光探测和测距(lidar)设备相关的放弃处理的策略的方法和系统 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11604284B2 (zh) |
EP (1) | EP3948334A4 (zh) |
JP (1) | JP7386899B2 (zh) |
CN (1) | CN113795728A (zh) |
IL (1) | IL287735A (zh) |
WO (1) | WO2020226886A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11385351B2 (en) * | 2020-10-19 | 2022-07-12 | Aeva, Inc. | Techniques for automatically adjusting detection threshold of FMCW LIDAR |
TWI735384B (zh) * | 2020-11-23 | 2021-08-01 | 國立陽明交通大學 | 光達與用於光達之光子數快速累積方法 |
US12008681B2 (en) * | 2022-04-07 | 2024-06-11 | Gm Technology Operations Llc | Systems and methods for testing vehicle systems |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7590070B1 (en) * | 2004-02-03 | 2009-09-15 | Cisco Technology, Inc. | System and method for discretionary multiplexing and compressing in a communications environment |
US20100137003A1 (en) * | 2008-12-02 | 2010-06-03 | Verint Systems Ltd. | System and method for target location profiling |
US20100217529A1 (en) * | 2009-02-20 | 2010-08-26 | Matei Nicolai Stroila | Determining Travel Path Features Based on Retroreflectivity |
EP2736017A2 (de) * | 2012-11-26 | 2014-05-28 | Audi Ag | Verfahren zur Ermittlung der Bewegung eines Kraftfahrzeugs |
US20140236414A1 (en) * | 2013-02-21 | 2014-08-21 | Google Inc. | Method to Detect Nearby Aggressive Drivers and Adjust Driving Modes |
US9121703B1 (en) * | 2013-06-13 | 2015-09-01 | Google Inc. | Methods and systems for controlling operation of a laser device |
CN105184854A (zh) * | 2015-08-24 | 2015-12-23 | 北京麦格天宝科技股份有限公司 | 针对地下空间扫描点云成果数据的快速建模方法 |
US20160047903A1 (en) * | 2014-08-15 | 2016-02-18 | US LADAR, Inc. | Ladar Point Cloud Compression |
CN106885574A (zh) * | 2017-02-15 | 2017-06-23 | 北京大学深圳研究生院 | 一种基于重跟踪策略的单目视觉机器人同步定位与地图构建方法 |
US20180038696A1 (en) * | 2015-03-05 | 2018-02-08 | Jaguar Land Rover Limited | A system for use in a vehicle |
WO2018031562A1 (en) * | 2016-08-08 | 2018-02-15 | Netradyne Inc. | Distributed video storage and search with edge computing |
US20180194280A1 (en) * | 2016-12-16 | 2018-07-12 | Panasonic Intellectual Property Management Co., Ltd. | Information processing system, information processing method, and readable medium |
US20190087979A1 (en) * | 2017-09-18 | 2019-03-21 | Apple Inc. | Point cloud compression |
US20190086511A1 (en) * | 2017-09-19 | 2019-03-21 | Toyota Jidosha Kabushiki Kaisha | Vehicle surroundings monitoring apparatus |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8525835B1 (en) | 2010-02-24 | 2013-09-03 | The Boeing Company | Spatial data compression using implicit geometry |
US8682037B2 (en) * | 2011-07-29 | 2014-03-25 | Ratheon Company | Method and system for thinning a point cloud |
DE102012025466A1 (de) * | 2012-12-28 | 2014-07-03 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum Unterscheiden zwischen einem Zielobjekt und einem atmosphärischen Bestandteil bei einer Messung mit Hilfe einer optoelektronischen Sensoreinrichtung eines Kraftfahrzeugs, Sensoreinrichtung und Kraftfahrzeug |
US9305241B2 (en) | 2013-07-29 | 2016-04-05 | Google Inc. | Systems and methods for reducing a data set |
KR101770872B1 (ko) | 2013-12-27 | 2017-08-23 | 주식회사 만도 | 차량용 tof 카메라 및 그의 구동 방법 |
EP3123399A4 (en) * | 2014-03-27 | 2017-10-04 | Hrl Laboratories, Llc | System for filtering, segmenting and recognizing objects in unconstrained environments |
JP2015197329A (ja) | 2014-03-31 | 2015-11-09 | 三菱重工業株式会社 | データ伝送システム、データ伝送装置、データ伝送方法、及びデータ伝送プログラム |
JP6520318B2 (ja) | 2015-04-01 | 2019-05-29 | 日本製鉄株式会社 | 作業車両用の安全装置及び作業車両の監視方法 |
GB2537413A (en) | 2015-04-17 | 2016-10-19 | Visual Tech Services Ltd | Point cloud simplification |
US9933513B2 (en) * | 2016-02-18 | 2018-04-03 | Aeye, Inc. | Method and apparatus for an adaptive ladar receiver |
US10694210B2 (en) * | 2016-05-28 | 2020-06-23 | Microsoft Technology Licensing, Llc | Scalable point cloud compression with transform, and corresponding decompression |
US11237546B2 (en) | 2016-06-15 | 2022-02-01 | Strong Force loT Portfolio 2016, LLC | Method and system of modifying a data collection trajectory for vehicles |
US20180203100A1 (en) * | 2017-01-19 | 2018-07-19 | Honeywell International Inc. | Quality metric for ranging sensor in a degraded visual environment for a situational awareness system |
US10108867B1 (en) | 2017-04-25 | 2018-10-23 | Uber Technologies, Inc. | Image-based pedestrian detection |
US10719744B2 (en) | 2017-12-28 | 2020-07-21 | Intel Corporation | Automated semantic inference of visual features and scenes |
US10884115B2 (en) * | 2018-03-09 | 2021-01-05 | Waymo Llc | Tailoring sensor emission power to map, vehicle state, and environment |
US20200174156A1 (en) * | 2018-11-29 | 2020-06-04 | Continental Automotive Systems, Inc. | Blockage detection & weather detection system with lidar sensor |
US11447128B2 (en) * | 2020-04-29 | 2022-09-20 | GM Global Technology Operations LLC | Method and system for operating an on-vehicle LiDAR sensor |
-
2019
- 2019-05-06 US US16/404,499 patent/US11604284B2/en active Active
-
2020
- 2020-04-20 JP JP2021564895A patent/JP7386899B2/ja active Active
- 2020-04-20 EP EP20802697.1A patent/EP3948334A4/en active Pending
- 2020-04-20 CN CN202080034317.0A patent/CN113795728A/zh active Pending
- 2020-04-20 WO PCT/US2020/028964 patent/WO2020226886A1/en unknown
-
2021
- 2021-10-31 IL IL287735A patent/IL287735A/en unknown
-
2023
- 2023-02-09 US US18/166,550 patent/US20230184955A1/en active Pending
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7590070B1 (en) * | 2004-02-03 | 2009-09-15 | Cisco Technology, Inc. | System and method for discretionary multiplexing and compressing in a communications environment |
US20100137003A1 (en) * | 2008-12-02 | 2010-06-03 | Verint Systems Ltd. | System and method for target location profiling |
US20100217529A1 (en) * | 2009-02-20 | 2010-08-26 | Matei Nicolai Stroila | Determining Travel Path Features Based on Retroreflectivity |
EP2736017A2 (de) * | 2012-11-26 | 2014-05-28 | Audi Ag | Verfahren zur Ermittlung der Bewegung eines Kraftfahrzeugs |
US20140236414A1 (en) * | 2013-02-21 | 2014-08-21 | Google Inc. | Method to Detect Nearby Aggressive Drivers and Adjust Driving Modes |
CN105008200A (zh) * | 2013-02-21 | 2015-10-28 | 谷歌公司 | 用于检测附近的攻击性司机并调整驾驶模式的方法 |
US9121703B1 (en) * | 2013-06-13 | 2015-09-01 | Google Inc. | Methods and systems for controlling operation of a laser device |
US20160047903A1 (en) * | 2014-08-15 | 2016-02-18 | US LADAR, Inc. | Ladar Point Cloud Compression |
CN107076838A (zh) * | 2014-08-15 | 2017-08-18 | 艾耶股份有限公司 | 用于光雷达发射的方法和系统 |
US20180038696A1 (en) * | 2015-03-05 | 2018-02-08 | Jaguar Land Rover Limited | A system for use in a vehicle |
CN105184854A (zh) * | 2015-08-24 | 2015-12-23 | 北京麦格天宝科技股份有限公司 | 针对地下空间扫描点云成果数据的快速建模方法 |
WO2018031562A1 (en) * | 2016-08-08 | 2018-02-15 | Netradyne Inc. | Distributed video storage and search with edge computing |
US20180194280A1 (en) * | 2016-12-16 | 2018-07-12 | Panasonic Intellectual Property Management Co., Ltd. | Information processing system, information processing method, and readable medium |
CN106885574A (zh) * | 2017-02-15 | 2017-06-23 | 北京大学深圳研究生院 | 一种基于重跟踪策略的单目视觉机器人同步定位与地图构建方法 |
US20190087979A1 (en) * | 2017-09-18 | 2019-03-21 | Apple Inc. | Point cloud compression |
US20190086511A1 (en) * | 2017-09-19 | 2019-03-21 | Toyota Jidosha Kabushiki Kaisha | Vehicle surroundings monitoring apparatus |
CN109532828A (zh) * | 2017-09-19 | 2019-03-29 | 丰田自动车株式会社 | 车辆周边监视装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7386899B2 (ja) | 2023-11-27 |
US11604284B2 (en) | 2023-03-14 |
US20230184955A1 (en) | 2023-06-15 |
US20200355831A1 (en) | 2020-11-12 |
JP2022531367A (ja) | 2022-07-06 |
WO2020226886A1 (en) | 2020-11-12 |
EP3948334A1 (en) | 2022-02-09 |
IL287735A (en) | 2021-12-01 |
EP3948334A4 (en) | 2022-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11960029B2 (en) | Selective deactivation of light emitters for interference mitigation in light detection and ranging (lidar) devices | |
US11945467B2 (en) | Identification of proxy calibration targets for a fleet of vehicles | |
US20230184955A1 (en) | Methods and Systems to Determine a Strategy for a Drop Process Associated with a Light Detection and Ranging (LIDAR) Device | |
US20240040225A1 (en) | Camera Module with IR LEDs for Uniform Illumination | |
US20220244395A1 (en) | Calibration and Localization of a Light Detection and Ranging (Lidar) Device Using a Previously Calibrated and Localized Lidar Device | |
US11747453B1 (en) | Calibration system for light detection and ranging (lidar) devices | |
US20240106987A1 (en) | Multi-Sensor Assembly with Improved Backward View of a Vehicle | |
US20230358868A1 (en) | Mitigating Crosstalk from High-Intensity Returns in a Light Detection and Ranging (Lidar) Device | |
US20220163675A1 (en) | Methods of Using Background Images from a Light Detection and Ranging (LIDAR) Device | |
US12032101B1 (en) | Calibration system for light detection and ranging (lidar) devices | |
US20240071093A1 (en) | Time-Division Multiple Access Scanning for Crosstalk Mitigation in Light Detection and Ranging (Lidar) Devices | |
US20230194676A1 (en) | Two-Step Return Calibration for Lidar Cross-Talk Mitigation | |
EP4390448A1 (en) | Differential methods for environment estimation, lidar impairment detection, and filtering | |
EP4187284A1 (en) | Using camera in lidar device to detect dirt on lidar window | |
JP2023504361A (ja) | 関心領域およびサーマルバジェットに基づく光検出および測距(lidar)デバイスのためのパルスエネルギー計画 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |