CN112904343B - 用于清除传感器遮挡的方法和系统 - Google Patents
用于清除传感器遮挡的方法和系统 Download PDFInfo
- Publication number
- CN112904343B CN112904343B CN202110190179.1A CN202110190179A CN112904343B CN 112904343 B CN112904343 B CN 112904343B CN 202110190179 A CN202110190179 A CN 202110190179A CN 112904343 B CN112904343 B CN 112904343B
- Authority
- CN
- China
- Prior art keywords
- sensor
- target area
- sensors
- vehicle
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 104
- 238000012544 monitoring process Methods 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims description 21
- 238000013500 data storage Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 7
- 230000004927 fusion Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- ATUOYWHBWRKTHZ-UHFFFAOYSA-N Propane Chemical compound CCC ATUOYWHBWRKTHZ-UHFFFAOYSA-N 0.000 description 2
- -1 diesel Substances 0.000 description 2
- 239000003502 gasoline Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 101001093748 Homo sapiens Phosphatidylinositol N-acetylglucosaminyltransferase subunit P Proteins 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 239000002253 acid Substances 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 239000002828 fuel tank Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000010705 motor oil Substances 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000001294 propane Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000011343 solid material Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
- G01S13/04—Systems determining presence of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/865—Combination of radar systems with lidar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/04—Systems determining the presence of a target
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
- G01S7/4004—Means for monitoring or calibrating of parts of a radar system
- G01S7/4026—Antenna boresight
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
- G01S7/4972—Alignment of sensor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9327—Sensor installation details
- G01S2013/93271—Sensor installation details in the front of the vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9327—Sensor installation details
- G01S2013/93272—Sensor installation details in the back of the vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9327—Sensor installation details
- G01S2013/93273—Sensor installation details on the top of the vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9327—Sensor installation details
- G01S2013/93274—Sensor installation details on the side of the vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/40—Means for monitoring or calibrating
- G01S7/4004—Means for monitoring or calibrating of parts of a radar system
- G01S7/4039—Means for monitoring or calibrating of parts of a radar system of sensor or antenna obstruction, e.g. dirt- or ice-coating
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Traffic Control Systems (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Radar Systems Or Details Thereof (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Burglar Alarm Systems (AREA)
- Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
- Electric Clocks (AREA)
Abstract
提供了识别车辆的环境的目标区域是否存在移动物体的方法和系统,其中,该方法包括:基于要由车辆执行的导航操纵来识别要监视的车辆的环境的目标区域是否存在移动物体,其中,所述车辆包括多个传感器;使多个传感器中的第一传感器扫描与目标区域相关联的环境的一部分;基于至少第一传感器的扫描,选择多个传感器中的一个传感器用于监视目标区域;以及使多个传感器中的所选择的一个传感器监视目标区域中是否存在移动物体。
Description
本申请是申请日为2016年10月19日、申请号为201680070921.2、发明名称为“用于清除传感器遮挡的方法和系统”的发明专利申请的分案申请。
相关公开的交叉引用
本申请要求于2015年10月21日提交的美国专利申请第14/919,667号的优先权,其全部内容通过引用并入本文。
技术领域
本申请涉及一种用于自主车辆的方法。
背景技术
除非在本文另外说明,否则本部分中描述的材料不是本申请中的权利要求的现有技术,并且不通过包括在本部分中而被认为是现有技术。
车辆可以被配置为在自主模式下操作,其中车辆通过具有很少或不具有来自驾驶员的输入的环境进行导航。这种自主车辆可以包括被配置为检测关于其中车辆操作的环境的信息的一个或多个传感器。
一个示例传感器是光检测和测距(light detection and ranging,LIDAR)传感器。LIDAR传感器可以在通过场景来扫描的同时估计到环境特征的距离,以组装指示环境中的反射表面的“点云”。点云中的各个点可以通过发送激光脉冲并检测(如果有的话)从环境中的物体反射的返回脉冲,以及根据发送脉冲与反射脉冲的接收之间的时间延迟,来确定到物体的距离。激光器或一组激光器可以跨场景快速和重复地扫描,以提供关于到场景中反射物体的距离的连续实时信息。在测量每个距离的同时组合测量的距离和(多个)激光器的方向允许将三维位置与每个返回脉冲相关联。以这种方式,可以为整个扫描区域生成指示环境中的反射特征的位置的三维地图。
另一示例传感器是无线电检测和测距(radio detection and ranging,RADAR)传感器。RADAR传感器可以用于通过发射无线电信号并检测返回的反射信号来主动地估计到环境特征的距离。例如,根据发送和接收之间的时间延迟可以确定到无线电反射特征的距离。此外,例如,RADAR传感器可以发射频率随时间变化的信号,诸如具有随时间变化的频率斜坡的信号,然后系统可以将发射信号和反射信号之间的频率差异与距离估计相关联。一些系统还可以基于接收到的反射信号中的多普勒频移来估计反射物体的相对运动。
发明内容
在一个示例中,提供了一种方法,该方法涉及识别要为移动物体的存在而被监视的自主车辆的环境的目标区域。该方法还涉及操作自主车辆上的第一传感器以获得包括目标区域的至少一部分和自主车辆与目标区域之间的中间区域的环境的部分的扫描。该方法还涉及至少基于由第一传感器获得的扫描来确定自主车辆上的第二传感器是否具有目标区域的足够清晰的视野以为移动物体的存在监视目标区域。该方法还涉及至少基于确定第二传感器具有目标区域的足够清晰的视野来操作第二传感器以为移动物体的存在监视目标区域。
在另一示例中,提供了一种车辆,其包括被配置为扫描车辆的环境的第一传感器。该车辆还包括被配置为扫描车辆的环境的第二传感器。该车辆还包括一个或多个处理器以及被配置为存储可由一个或多个处理器运行以使得车辆执行功能的指令的数据存储装置。这些功能包括识别要为移动物体的存在而被监视的车辆的环境的目标区域。该功能还包括操作第一传感器以获得包括目标区域的至少一部分和车辆与目标区域之间的中间区域的环境的部分的扫描。该功能还包括至少基于由第一传感器获得的扫描确定第二传感器是否具有目标区域的足够清晰的视野以为移动物体的存在监视目标区域。该功能还包括至少基于确定第二传感器具有目标区域的足够清晰的视野来操作第二传感器以为移动物体的存在监视目标区域。
在又一示例中,提供了一种非瞬时性计算机可读介质。非瞬时性计算机可读介质可具有存储在其中的指令,所述指令在由计算设备运行时使计算设备执行功能。该功能包括识别要为移动物体的存在而被监视的自主车辆的环境的目标区域。该功能还包括操作自主车辆上的第一传感器以获得包括目标区域的至少一部分和自主车辆与目标区域之间的中间区域的环境的部分的扫描。该功能还包括至少基于由第一传感器获得的扫描来确定自主车辆上的第二传感器是否具有目标区域的足够清晰的视野以为移动物体的存在监视目标区域。该功能还包括至少基于确定第二传感器具有目标区域的足够清晰的视野来操作第二传感器以为移动物体的存在监视目标区域。
在又一示例中,提供了一种系统,该系统包括用于识别要为移动物体的存在而被监视的自主车辆的环境的目标区域的装置。该系统还包括用于操作自主车辆上的第一传感器以获得包括目标区域的至少一部分和自主车辆与目标区域之间的中间区域的环境的部分的扫描的装置。该系统还包括用于至少基于由第一传感器获得的扫描来确定自主车辆上的第二传感器是否具有目标区域的足够清晰的视野以为移动物体的存在监视目标区域的装置。该系统还包括用于至少基于确定第二传感器具有目标区域的足够清晰的视野来操作第二传感器以为移动物体的存在监视目标区域的装置。
通过阅读以下详细描述并适当参考附图,这些以及其它方面、优点和替代方案对于本领域普通技术人员而言将变得显而易见。
附图说明
图1A示出了根据示例实施例的车辆。
图1B是根据示例实施例的安置于图1A中所示的车辆的顶侧的传感器单元的透视图。
图1C是根据示例实施例的安置于图1A中所示的车辆的前侧的传感器单元的透视图。
图1D根据示例实施例以侧视图示出了图1A中所示的车辆扫描周围环境。
图1E根据示例实施例以顶视图示出了图1A中所示的车辆扫描周围环境。
图1F根据示例实施例以另一顶视图示出了图1A中所示的车辆扫描周围环境。
图2是根据示例实施例的车辆的框图。
图3A根据示例实施例示出了在环境中操作的车辆。
图3B根据示例实施例示出了图3A的车辆扫描周围环境。
图4是根据示例实施例的方法的流程图。
图5描绘了根据示例实施例配置的计算机可读介质。
具体实施方式
以下具体实施方式参考附图描述了所公开的系统、设备和方法的各种特征和功能。在附图中,除非上下文另外指定,否则类似的符号识别类似的组件。这里描述的例示性系统、设备和方法实施例并不意味着限制。本领域技术人员可以容易地理解,所公开的系统、设备和方法的某些方面可以以各种各样不同配置进行布置和组合,所有的这些都在本文中考虑。
1.概览
在示例内,车辆可以操作诸如无线电检测和测距(RADAR)传感器或光检测和测距(LIDAR)传感器等的一个或多个传感器,以促进车辆在包括其它车辆和/或沿着车辆路径的障碍物的环境中的导航。例如,为了安全地执行诸如横跨交叉路口或合并到街道上等的导航机动(maneuver),车辆可以在执行这样的机动之前和/或执行这样的机动时利用一个或多个传感器来为移动物体(例如,其它车辆等)的存在监视周围环境。
在一些示例中,车辆可以被配置为在安全地进行机动之前沿着从车辆起的多个方向监视周围环境。在一个示例中,在两个方向上具有不受控制的交通的情况下,车辆可以决定左转到多车道高速道路上。在这个示例中,车辆可以被配置为监视沿着高速道路的两个方向的迎面而来的交通,以安全地执行左转机动。
然而,在一些场景下,由于各种因素,环境的一个或多个目标区域可能从特定传感器的视野被遮挡。在一个示例中,在车辆上特定传感器的位置(例如,车辆的顶部、车辆的侧面等)可以阻止特定传感器具有目标区域的足够清晰的视野。在另一示例中,至少针对移动物体的检测,传感器的性能(例如,RADAR横截面、空间分辨率、特定物体对特定传感器的透明度等)可能遮挡特定传感器的目标区域的视野。在再一示例中,沿特定传感器的视线的环境中的障碍物(例如,树木、路牌、其它车辆、碎片等)可能遮挡特定传感器的目标区域的视野。在又一示例中,至少针对移动物体的检测,电磁干扰(例如,背景噪声、来自环境中的其它传感器的辐射等)可能遮挡特定传感器的目标区域的视野。其它场景也是可能的。
这里的示例实施例包括用于清除针对传感器的环境的目标区域的传感器的遮挡(occlusion)的方法和系统。在本文的一些示例中,术语“清除遮挡”可以指用于确定和/或评估传感器具有环境的目标区域的足够清晰的视野的可能性以能够为移动物体的存在监视目标区域的过程。
在一些示例中,确定传感器具有目标区域的足够清晰的视野以能够为移动物体的存在监视目标区域可以基于一个或多个因素。例如,至少基于确定针对目标区域传感器具有视线可见性,传感器可以被认为具有足够清晰的视野(例如,传感器的视线没有被传感器与目标区域之间的物体阻挡等)。额外地或者可替换地,例如,至少基于确定环境中的电磁干扰(例如,来自其它传感器/发送器等)足够低以使得传感器能够检测到目标区域中移动物体的存在,传感器可以被认为具有足够清晰的视野。额外地或者可替换地,例如,至少基于确定环境中的背景噪声足够低以使得传感器能够检测到目标区域中的移动物体的存在,传感器可以被认为具有足够清晰的视野。其它因素也是可能的并且在本公开的示例性实施例中被更详细地描述。因此,在一些示例中,术语“足够清晰的视野”被广泛地解释为涉及多个考虑,诸如上述确定中的任何一个等,以用于决定传感器是否适于为移动物体的存在监视目标区域。
一个示例实施例涉及耦合到多个传感器的车辆,所述多个传感器包括第一传感器和第二传感器,被配置为扫描车辆的环境。例如,第一传感器可以是安置于车辆的顶侧上并且具有由水平和垂直范围限定的视场(field-of-view,FOV)的LIDAR传感器,以扫描沿着第一传感器的观察方向远离第一传感器延伸的环境的部分。此外,在这个实例中,第二传感器可以是安置于车辆的乘客侧(或驾驶员侧)的RADAR传感器,以为了至少具有阈值RADAR横截面的物体的存在而扫描第二传感器的FOV内的环境的部分。其它传感器配置和/或位置也是可能的,并且在本文的示例性实施例内被更详细地描述。
在这个实施例中,车辆可以被配置为识别要为移动物体的存在而被监视的环境的目标区域。例如,车辆可以决定执行导航机动(例如,左转、右转、掉头等),并且可以在执行用于迎面而来的交通的机动期间(和/或之前)识别要监视的环境的一个或多个目标区域。
额外地,在这个实施例中,车辆然后可以被配置为操作第一传感器(例如,LIDAR等)以获得包括目标区域的至少一部分以及车辆与目标区域之间的中间区域的环境的部分的扫描。例如,车辆可以调整第一传感器的观察方向,使得第一传感器的FOV至少部分地与目标区域重叠,然后可以操作第一传感器来扫描FOV。
额外地,在这个实施例中,车辆然后可以被配置为至少基于第一传感器的扫描来确定第二传感器适于为移动物体的存在监视目标区域。例如,车辆可以确定第二传感器具有目标区域的足够清晰的视野(例如,从遮挡起是清晰的,等),并且可以由此分配第二传感器以用于在由车辆执行机动之前(和/或期间)监视目标区域。
在一个示例中,在第一传感器是LIDAR传感器并且第二传感器是RADAR传感器的情况下,通过RADAR传感器的物体的检测(或缺少检测)可能不一定指示RADAR传感器是否具有目标区域的清晰的视线视野(例如,足够清晰的视野),或者该检测是否指示目标区域内的移动物体的存在。例如,在这个示例中由RADAR传感器指示的检测可以是由于来自目标区域外部的物体的无线电波反射、来自其它RADAR传感器的干扰、环境中的背景噪声、或静止物体的存在等。因此,在这个示例中,可以由车辆操作LIDAR传感器(第一传感器)以确定RADAR传感器(第二传感器)是否具有目标区域的足够清晰的视野以能够为移动物体的存在监视目标区域。
在本文的一些示例实施例中,车辆可以被配置为识别要为移动物体的存在而被监视的多个目标区域。例如,在车辆决定在多车道道路上执行左转机动的场景下,车辆可以决定监视沿多车道道路的两个方向的迎面而来的交通。此外,在这个示例中,第一传感器(和/或第二传感器)的FOV可能不同时包含所有多个目标区域。因此,在这个示例中,车辆可以分配第二传感器以沿着多车道道路的一个方向监视目标区域,由此释放第一传感器以扫描与迎面而来的交通的另一方向相关联的另一目标区域的至少一部分。在一个实例中,车辆可以分配第一传感器以监视沿着一个方向的移动物体的存在,并且车辆可以分配第二传感器以监视沿另一方向的移动物体的存在。在另一实例中,车辆可操作第一传感器以清除对第三传感器的遮挡,为移动物体的存在监视另一目标区域,类似于第一传感器清除对第二传感器的遮挡的操作。
在本文描述的一些实施方式中,车辆可以被配置为操作第一传感器以获得与多个目标区域相关联的多个扫描。例如,车辆可以被配置为重复调整第一传感器的观察方向,使得由第一传感器获得的相应扫描和与相应扫描相关联的相应目标区域至少部分重叠。因此,在这样的实施方式中,车辆可以被配置为基于多个扫描来选择一个或多个特定传感器以监视多个目标区域,所述多个扫描指示相应传感器适于为移动物体的存在监视相应目标区域。
II.例示性系统和设备
现在将更详细地描述示例系统和设备。通常,本文公开的实施例可以与包括物理地布置在系统中以扫描系统的环境的多个传感器的任一系统一起使用。本文描述的例示性实施例包括采用用于扫描环境的传感器(诸如LIDAR、RADAR、声纳、超声波传感器等)的车辆。然而,示例系统也可以以其它设备的形式或采取其它设备的形式来实施,诸如静止系统、感测平台、机器人设备、工业系统(例如,装配线等)、医疗设备(例如,医学成像设备等)、或移动通信系统等。
术语“车辆”在本文中被广泛地解释为包括任何移动物体,包括例如飞行器、船只、航天器、汽车、卡车、厢式货车、半挂车、摩托车、高尔夫球车、越野车辆、仓库运输车辆或农用车以及行驶在轨道上的运输工具,诸如过山车、手推车、电车或火车车厢以及其它示例。
图1A示出根据示例实施例的车辆100。具体地,图1A示出了车辆100的右侧视图、前视图、后视图和顶视图。尽管车辆100在图1A中被示为汽车,但是如上所述,其它实施例也是可能的。此外,虽然示例车辆100被示出为可以被配置为以自主模式操作的车辆,但是本文描述的实施例也适用于未被配置为自主操作的车辆。因此,示例车辆100并不意味着限制。如图所示,车辆100包括五个传感器单元102、104、106、108和110以及四个车轮,例如车轮112。
在一些实施例中,传感器单元102-110中的每一个可以包括具有特定配置属性的一个或多个光检测和测距设备(LIDAR),以允许扫描车辆100周围的环境。额外地或者可替换地,在一些实施例中,传感器单元102-110可以包括诸如全球定位系统传感器、惯性测量单元、无线电检测和测距(RADAR)单元、相机、激光测距仪、LIDAR和/或声学传感器等的传感器的任何组合。
如图所示,传感器单元102安装到与安装有车轮112的车辆100的底侧相反的车辆100的顶侧。此外,传感器单元104-110每个安装到除了顶侧之外的车辆100的给定侧。例如,传感器单元104安置于车辆100的前侧,传感器106安置于车辆100的后侧,传感器单元108安置于车辆100的右侧,并且传感器单元110安置于车辆100的左侧。
虽然传感器单元102-110被示出为安装在车辆100上的特定位置,但是在一些实施例中,传感器单元102-110可以安装在车辆100的其它地方,车辆100的内部或外部。例如,虽然图1A示出了安装到车辆100的后视镜的传感器单元108,但是传感器单元108可以可替换地安置在沿着车辆100的右侧的另一位置。此外,虽然五个传感器单元如图所示,但是在一些实施例中,更多或更少的传感器单元可以被包括在车辆100中。然而,为了示例,传感器单元102-110如图1A所示被安置。
在一些实施例中,传感器单元102-110中的一个或多个可以包括一个或多个可移动安装件(mount),传感器可以可移动地安装在该可移动安装件上。可移动安装件可以包括例如旋转平台。安装在旋转平台上的传感器可以旋转,使得传感器可以从车辆100周围的各个方向获得信息。例如,传感器单元102的LIDAR可以具有能够通过将旋转平台致动到不同的方向等来调整的观察方向等。可替换地或额外地,可移动安装件可以包括倾斜平台。安装在倾斜平台上的传感器可以在给定的角度和/或方位角范围内倾斜,使得传感器可以从各种角度获得信息。可移动安装件也可以采用其它形式。
此外,在一些实施例中,传感器单元102-110中的一个或多个传感器单元可以包括一个或多个致动器,该致动器被配置为通过移动传感器和/或可移动安装件来调整传感器单元中的传感器的位置和/或方向。示例致动器包括马达、气动致动器、液压活塞、继电器、螺线管和压电致动器。其它致动器也是可能的。
如图所示,车辆100包括一个或多个诸如车轮112的车轮,其被配置为旋转以使车辆沿着驾驶表面行驶。在一些实施例中,车轮112可以包括耦合到车轮112的轮辋的至少一个轮胎。为此,车轮112可以包括金属和橡胶的任何组合,或者其它材料的组合。除了所示那些组件之外,或者代替所示的那些组件,车辆100可以包括一个或多个其它组件。
图1B是安置于图1A中所示的车辆100的顶侧的传感器单元102的透视图。如图所示,传感器单元102包括第一LIDAR 120、第二LIDAR 122、分隔结构124和滤光器126。如上所述,传感器单元102可以额外地或可替换地包括除了图1B中示出的传感器之外的其它传感器。然而,为了示例,传感器单元102包括图1B中所示的组件。
在一些示例中,第一LIDAR 120可以被配置为,例如,通过围绕轴(例如,垂直轴等)旋转同时发射一个或多个光脉冲并且检测离开车辆的环境中的物体的反射光脉冲来扫描车辆100周围的环境。在一些实施例中,第一LIDAR 120可以被配置为围绕轴重复旋转以能够以足够高的刷新率扫描环境以快速检测环境中的物体的运动。例如,第一LIDAR 120可以具有10Hz的刷新率(例如,第一LIDAR 120每秒的十次完整旋转),由此每秒扫描车辆周围的360度视场(FOV)十次。通过该过程,例如,可以基于来自第一LIDAR120的数据来确定周围环境的3D地图。在一个实施例中,第一LIDAR 120可以包括发射64个波长为905nm的激光束的多个光源。在这个实施例中,基于来自第一LIDAR 120的数据确定的3D地图可以具有0.2°(水平)×0.3°(垂直)的角分辨率,并且第一LIDAR 120可以具有环境的360°(水平)×20°(垂直)的FOV。例如,在这个实施例中,3D地图可以具有足够的分辨率来检测或识别距离车辆100有100米的中等范围内的物体。然而,其它配置(例如,光源的数量、角分辨率、波长、范围等)也是可能的。
在一些实施例中,第二LIDAR 122可以被配置为扫描车辆100周围的环境的更窄的FOV。例如,第二LIDAR 122可以被配置为围绕类似的轴(水平地)旋转小于完整旋转。此外,在一些示例中,第二LIDAR 122可以具有比第一LIDAR 120更低的刷新率。通过该过程,车辆100可以使用来自第二LIDAR 122的数据来确定环境的更窄FOV的3D地图。在这种情况下的3D地图可以具有比基于来自第一LIDAR 120的数据确定的相应的3D地图更高的角分辨率,并且因此可以允许检测/识别比第一LIDAR 120的距离的中等范围更远的物体,以及识别中等距离范围内的较小物体。在一个实施例中,第二LIDAR 122可以具有8°(水平)×15°(垂直)的FOV、4Hz的刷新率,并且可以发射波长为1550nm的一个窄光束。在这个实施例中,基于来自第二LIDAR 122的数据确定的3D地图可以具有0.1°(水平)×0.03°(垂直)的角分辨率,从而允许检测/识别距车辆100有300米的长范围内的物体。然而,其它配置(例如,光源的数量、角分辨率、波长、范围等)也是可能的。
在一些示例中,车辆100可以被配置为调整第二LIDAR 122的观察方向。例如,在第二LIDAR 122具有窄的水平FOV(例如,8度)的同时,第二LIDAR122可以被安装到步进马达(未示出),该步进马达允许将第二LIDAR 122的观察方向调整到除了图1B所示的方向之外的方向。因此,在一些示例中,第二LIDAR 122可以是可操纵的以扫描沿着来自车辆100的任何观察方向的窄FOV。
在本文的示例性实施例中更详细地描述了第一LIDAR 120和第二LIDAR 122的结构、操作和功能。
分隔结构124可以由适于支撑第一LIDAR 120和/或将第一LIDAR 120从第二LIDAR122光学隔离的任何固体材料形成。示例材料可以包括金属、塑料、泡沫等。
滤光器126可由对具有波长范围的波长的光基本上透明且对具有该波长范围外的波长的光基本上不透明的任何材料形成。例如,滤光器126可以允许具有第一LIDAR 120的第一波长(例如,905nm)和第二LIDAR 122的第二波长(例如,1550nm)的光传播通过滤光器126。如图所示,滤光器126成形为包围第一LIDAR 120和第二LIDAR 122。因此,在一些示例中,滤光器126也可以被配置为防止对第一LIDAR 120和第二LIDAR 122的环境损害,诸如积尘或与空中碎片碰撞等。在一些示例中,滤光器126可以被配置为减少传播通过滤光器126的可见光。进而,例如,滤光器126可以通过包围第一LIDAR 120和第二LIDAR 122来改善车辆100的美学外观,同时从外部观察者的角度减小传感器单元102的组件的可见性。在其它示例中,滤光器126可以被配置为允许可见光以及来自第一LIDAR 120和第二LIDAR 122的光。
在一些实施例中,滤光器126的部分可以被配置为允许不同波长范围传播通过滤光器126。例如,在分隔结构124上方的滤光器126的上部可以被配置为允许在包括第一LIDAR 120的第一波长的第一波长范围内的光的传播。另外,例如,在分隔结构124下方的滤光器126的下部可以被配置为允许在包括第二LIDAR 122的第二波长的第二波长范围内的光的传播。在其它实施例中,与滤光器126相关联的波长范围可以包括第一LIDAR 120的第一波长和第二LIDAR 122的第二波长两者。
在一个实施例中,如图所示,滤光器126具有圆顶(dome)形状并且为第一LIDAR120和第二LIDAR 122提供圆顶形外壳。例如,圆顶形外壳(例如,滤光器126)可以包括安置于第一LIDAR 120和第二LIDAR 122之间的分隔结构124。因此,在这个实施例中,第一LIDAR120可以布置在圆顶形外壳内。此外,在这个实施例中,如图1B所示,第二LIDAR 122也可以布置在圆顶形外壳内并且可以安置于第一LIDAR 120和车辆100的顶侧之间。
图1C是安置于图1A所示的车辆100的前侧的传感器单元104的透视图。在一些示例中,传感器单元106、108和110可以与图1C中示出的传感器单元104类似地配置。如图所示,传感器单元104包括第三LIDAR 130和滤光器132。如上所述,传感器单元104可以额外地或可替换地包括除了图1C中示出的传感器之外的其它传感器。然而,为了举例,传感器单元104包括图1C中所示的组件。
第三LIDAR 130可以被配置为扫描远离车辆100的给定侧(即,前侧)延伸的车辆100周围的环境的FOV,其中第三LIDAR 130被安置在该车辆100的给定侧(即,前侧)。因此,在一些示例中,第三LIDAR 130可以被配置为跨比第二LIDAR 122更宽但由于第三LIDAR130的安置而小于第一LIDAR 120的360度FOV(例如,水平地)的FOV旋转。在一个实施例中,第三LIDAR 130可具有270°(水平)×110°(垂直)的FOV、4Hz的刷新率,并且可以发射波长为905nm的一个激光束。在这个实施例中,基于来自第三LIDAR 130的数据确定的3D地图可以具有1.2°(水平)×0.2°(垂直)的角分辨率,从而允许检测/识别距车辆100有30米的短范围内的物体。然而,其它配置(例如,光源的数量、角分辨率、波长、范围等)也是可能的。在本公开的示例性实施例中更详细地描述第三LIDAR 130的结构、操作和功能。
滤光器132可以类似于图1B的滤光器126。例如,滤光器132可以被成形为包围第三LIDAR 130。此外,例如,滤光器132可以被配置为允许在包括来自第三LIDAR 130的光的波长的波长范围内的光传播通过滤光器132。在一些示例中,滤光器132可以被配置为减少传播通过滤光器132的可见光,从而改善车辆100的美学外观。
图1D、图1E和图1F根据示例实施例示出了图1A所示的车辆100扫描周围环境。
图1D示出车辆100在表面140上操作的情形。表面140例如可以是诸如道路或公路的驾驶表面,或者任何其它表面。在图1D中,箭头142、144、146、148、150、152示出了由传感器单元102和104的各种LIDAR在相应LIDAR的垂直FOV的末端处发射的光脉冲。
举例来说,箭头142和144示出了由图1B的第一LIDAR 120发射的光脉冲。在这个示例中,第一LIDAR 120可以在箭头142和144之间的环境区域中发射一系列脉冲,并且可以接收来自该区域的反射光脉冲以检测和/或识别该区域中的物体。如图1D所示,由于传感器单元102的第一LIDAR 120(未示出)在车辆100的顶侧处的安置,第一LIDAR 120的垂直FOV受到车辆100的结构(例如车顶等)的限制。然而,第一LIDAR 120在车辆100的顶侧处的传感器单元102中的安置允许第一LIDAR 120通过围绕基本垂直的轴170旋转来扫描车辆100周围的所有方向。类似地,例如,箭头146和148示出了由图1B的第二LIDAR 122在第二LIDAR 122的垂直FOV的末端处发射的光脉冲。此外,第二LIDAR 122也可以是可操作的,以将第二LIDAR122的观察方向调整为与讨论一致的车辆100周围的任何方向。在一个实施例中,第一LIDAR 120的垂直FOV(例如,箭头142和144之间的角度)是20°并且第二LIDAR 122的垂直FOV是15°(例如箭头146和148之间的角度)。然而,例如取决于诸如车辆100的结构或相应LIDAR的配置等因素,其它垂直FOV也是可能的。
如图1D所示,传感器单元102(包括第一LIDAR 120和/或第二LIDAR122)可以(例如,通过旋转等)在车辆100周围的任何方向上扫描车辆100的环境中的物体,但是可能不太适于扫描靠近车辆100的物体的环境。例如,如图所示,由于这些物体的位置在由箭头142和144所示的光脉冲之间的区域之外,因此到车辆100的距离154内的物体可能未被检测到或者可能仅被传感器单元102的第一LIDAR 120部分地检测到。类似地,距离156内的物体也可能未被检测到或者可能仅被传感器单元102的第二LIDAR 122部分地检测到。
因此,传感器单元104的第三LIDAR 130(未示出)可用于为靠近车辆100的物体而扫描环境。例如,由于传感器单元104在车辆100的前侧的安置,因此至少对于远离车辆100的前侧延伸的环境部分而言,第三LIDAR 130可以适于为到车辆100的距离154和/或距离156内的物体而扫描环境。如图所示,例如,箭头150和152示出了由第三LIDAR 130在第三LIDAR 130的垂直FOV的末端处发射的光脉冲。因此,例如,传感器单元104的第三LIDAR 130可以被配置为扫描箭头150和152之间的环境的部分,包括靠近车辆100的物体。在一个实施例中,第三LIDAR 130的垂直FOV是110°(例如,箭头150和152之间的角度)。然而,其它垂直FOV也是可能的。
注意到,图1D中所示的各种箭头142-152之间的角度不是按比例的,并且仅用于例示性目的。因此,在一些示例中,各种LIDAR的垂直FOV也可以变化。
图1E示出了车辆100正在扫描周围环境的情形下的车辆100的顶视图。与以上讨论一致,车辆100的各种LIDAR中的每一个可根据其相应的刷新率、FOV或任何其它因素而具有特定的分辨率。进而,各种LIDAR可适用于检测和/或识别到车辆100的相应距离范围内的物体。
如图1E所示,轮廓160和162示出了到车辆100的距离的示例范围,其中基于来自传感器单元102的第一LIDAR 120的数据可以检测/识别物体。如图所示,例如,由于传感器单元102在车辆100的顶侧上的安置,轮廓160内的靠近的物体可能不会被适当地检测和/或识别。然而,例如,可以使用来自第一LIDAR 120的数据适当地检测/识别在轮廓160之外并且在由轮廓162限定的中等距离范围(例如,100米等)内的物体。此外,如图所示,第一LIDAR120的水平FOV可以在车辆100周围的所有方向上跨越360°。
此外,如图1E所示,轮廓164示出了可以使用来自传感器单元102的第二LIDAR 122的更高分辨率数据来检测和/或识别物体的环境区域。如图所示,轮廓164包括例如在长距离范围(例如,300米等)内更远离车辆100的物体。虽然轮廓164指示第二LIDAR 122的较窄FOV(水平),但是在一些示例中,车辆100可以被配置为将第二LIDAR 122的观察方向调整为除图1E所示的方向以外的任何其它方向。举例来讲,车辆100可以使用来自第一LIDAR 120的数据来检测物体(例如,在轮廓162内),将第二LIDAR 122的观察方向调整为包括物体的FOV,并且然后使用来自第二LIDAR 122的更高分辨率数据来识别物体。在一个实施例中,第二LIDAR 122的水平FOV可以是8°。
此外,如图1E所示,轮廓166示出了由传感器单元104的第三LIDAR 130扫描的环境的区域。如图所示,例如,由轮廓166所示的区域包括可能不被第一LIDAR 120和/或第二LIDAR 124扫描的环境的部分。此外,例如,来自第三LIDAR 130的数据具有足以检测和/或识别到车辆100的短距离(例如30米等)内的物体的分辨率。
注意到,上述范围、分辨率和FOV仅用于示例性目的,并且可以根据车辆100的各种配置而变化。此外,图1E中示出的轮廓160-166不是按比例的,而是如图所示以便于描述。
图1F示出了在车辆100正在扫描周围环境的情形下的车辆100的另一顶视图。与以上讨论一致,车辆100可以包括多种类型的传感器,诸如LIDAR、RADAR、声纳、超声波传感器等。此外,例如,各种传感器可以适用于检测和/或识别相应传感器的相应FOV内的物体。
在图1F中,与以上关于图1E的讨论一致,轮廓164示出使用来自传感器单元102的第二LIDAR 122的更高分辨率数据可以检测和/或识别物体的环境的区域。
此外,如图1F所示,箭头182a和182b示出了由沿着车辆100的一侧安装的传感器(诸如,图1A的传感器单元108中的传感器)的FOV限定的环境区域。例如,与箭头182a和182b相关联的传感器可以是被配置为扫描在箭头182a和182b之间远离车辆100的传感器单元108延伸的环境的部分的RADAR传感器。额外地或可替换地,在一些示例中,与箭头182a和182b相关联的传感器可以包括任何其它类型的传感器(例如,LIDAR、相机等)。然而,为了示例,在图1F中将箭头182a和182b描述为传感器单元108中的RADAR传感器的FOV的范围。在这个示例中,RADAR传感器可以被配置为检测由箭头182a和182b限定的区域内的物体,该物体至少具有阈值RADAR横截面。在一个实施例中,阈值RADAR横截面可以涉及摩托车、小型摩托车、汽车和/或任何其它车辆的面积(例如,0.5平方米等)。其它示例阈值RADAR横截面值也是可能的。
类似地,例如,如图1F所示,箭头184a和184b示出了沿着车辆100的相对侧安装的另一传感器(诸如,图1的传感器单元110中的传感器)的FOV内的环境区域。
注意到,图1F中所示的箭头182a、182b和/或184a、184b之间的角度不是按比例的,并且仅用于例示性的目的。因此,在一些示例中,传感器单元108和110中的传感器的水平FOV也可以变化。
图2是根据示例实施例的车辆200的简化框图。例如,车辆200可以类似于车辆100。如图所示,车辆200包括推进系统202、传感器系统204、控制系统206、外围设备208和计算机系统210。在其它实施例中,车辆200可以包括更多、更少或不同的系统,并且每个系统可以包括更多、更少或不同的组件。额外地,所示的系统和组件可以以任何数量的方式组合或划分。
推进系统202可以被配置为为车辆200提供动力运动。如图所示,推进系统202包括引擎/马达218、能量源220、变速器222和车轮/轮胎224。
引擎/马达218可以是或包括内燃机、电动马达、蒸汽机和斯特林引擎的任何组合。其它马达和引擎也是可能的。在一些实施例中,推进系统202可以包括多种类型的引擎和/或马达。例如,气电混合动力车可以包括汽油引擎和电动马达。其它示例是可能的。
能量源220可以是全部或部分地为引擎/马达218提供动力的能量源。也就是说,引擎/马达218可以被配置为将能量源220转换成机械能。能量源220的示例包括汽油、柴油、丙烷、其它基于压缩气体的燃料、乙醇、太阳能电池板、电池和其它电力源。(多个)能量源220可以额外地或可替换地包括燃料箱、电池、电容器和/或飞轮的任何组合。在一些实施例中,能量源220也可以为车辆200的其它系统提供能量。
变速器222可以被配置为将机械动力从引擎/马达218发送到车轮/轮胎224。为此,变速器222可包括变速箱、离合器、差速器、驱动轴和/或其它元件。在变速器222包括驱动轴的实施例中,驱动轴可以包括被配置为耦合到车轮/轮胎224的一个或多个轮轴。
车辆200的车轮/轮胎224可以以各种形式配置,包括单轮车、自行车/摩托车、三轮车或者汽车/卡车四轮形式。其它车轮/轮胎形式也是可能的,例如包括六个或更多车轮的那些形式。在任何情况下,车轮/轮胎224可以被配置为相对于其它车轮/轮胎224差速地旋转。在一些实施例中,车轮/轮胎224可以包括固定地附接到变速器222的至少一个车轮,以及可以与驾驶表面接触的、耦合到车轮的轮辋的至少一个轮胎。车轮/轮胎224可以包括金属和橡胶的任何组合,或者其它材料的组合。推进系统202可以额外地或可替换地包括除了所示的那些组件之外的组件。
传感器系统204可以包括配置为感测关于车辆200位于其中的环境的信息的多个传感器,以及配置为修改传感器的位置和/或方向的一个或多个致动器236。如图所示,传感器系统204的传感器包括全球定位系统(Global Positioning System,GPS)226、惯性测量单元(inertial measurement unit,IMU)228、RADAR单元230、激光测距仪和/或LIDAR单元232以及相机234。传感器系统204还可以包括额外的传感器,例如,包括监视车辆200的内部系统的传感器(例如,O2监视器、燃油表、引擎油温度计等)、距离传感器(例如声纳、超声波传感器等)等。此外,传感器系统204可以包括多个LIDAR。在一些示例中,传感器系统204可以实施为多个传感器单元,每个传感器单元安装在车辆的相应位置(例如,顶侧、底侧、前侧、后侧、右侧、左侧等)。其它传感器也是可能的。
GPS 226可以是被配置为估计车辆200的地理位置的任何传感器(例如,位置传感器)。为此,GPS 226可以包括被配置为估计车辆200相对于地球的位置的收发器。GPS 226也可以采取其它形式。
IMU 228可以是被配置为基于惯性加速度来感测车辆200的位置和方向改变的传感器的任何组合。在一些实施例中,传感器的组合可以包括例如加速计和陀螺仪。其它传感器的组合也是可能的。
RADAR单元230可以是被配置为使用无线电信号来感测车辆200所位于的环境中的物体的任何传感器。在一些实施例中,除了感测物体之外,RADAR单元230还可以被额外地配置为感测物体的速度和/或航向(heading)。
类似地,激光测距仪(laser range finder)或LIDAR单元232可以是被配置为使用激光来感测车辆200所位于的环境中的物体的任何传感器。特别地,激光测距仪或LIDAR单元232可以包括被配置为发射激光的激光源和/或激光扫描仪以及被配置为检测激光的反射的检测器。激光测距仪或LIDAR 232可以被配置为以相干(例如,使用外差检测)或非相干检测模式进行操作。在一些示例中,LIDAR单元232可以包括多个LIDAR,其中每个LIDAR具有适于扫描车辆200周围的环境的特定区域的唯一位置和/或配置。
相机234可以是被配置为拍摄车辆200所位于的环境的图像的任何相机(例如,静态相机、视频相机等)。为此,相机可采用上述任何形式。传感器系统204可以额外地或可替换地包括除了所示的那些组件之外的组件。
控制系统206可以被配置为控制车辆200及其组件的操作。为此,控制系统206可以包括转向单元238、节气门(throttle)240、制动单元242、传感器融合算法244、计算机视觉系统246、导航或路径系统248以及避障系统250。
转向单元238可以是被配置为调整车辆200的航向的机制的任何组合。节气门240可以是被配置为控制引擎/马达218的操作速度以及转而控制车辆200的速度的机制的任何组合。制动单元242可以是被配置为使车辆200减速的机制的任何组合。例如,制动单元242可以使用摩擦来减慢车轮/轮胎224。作为另一示例,制动单元242可以将车轮/轮胎224的动能转换为电流。制动单元242也可以采取其它形式。
传感器融合算法244可以是被配置为接受来自传感器系统204的数据作为输入的算法(或存储算法的计算机程序产品)。数据可以包括,例如,表示在传感器系统204的传感器处感测到的信息的数据。传感器融合算法244可以包括例如Kalman滤波器、Bayesian网络、用于本文方法的功能中的一些的算法或者任何其它算法。传感器融合算法244可以进一步被配置为基于来自传感器系统204的数据提供各种评估,包括例如对车辆100所位于的环境中的各个物体和/或特征的评估、对具体情形的评估和/或对基于特定情形的可能影响的评估。其它评估也是可能的。
计算机视觉系统246可以是被配置为处理和分析由相机234拍摄的图像以便识别车辆200所位于的环境中的物体和/或特征的任何系统,该物体和/或特征包括例如交通信号和障碍。为此,计算机视觉系统246可以使用物体识别算法、运动中恢复结构(Structurefrom Motion,SFM)算法、视频跟踪或其它计算机视觉技术。在一些实施例中,计算机视觉系统246可以额外地被配置为对环境进行地图绘制、跟踪物体、估计物体的速度等。
导航和路径系统248可以是被配置为确定车辆200的驾驶路径的任何系统。导航和路径系统248可以额外地被配置为当车辆200在操作中时动态地更新驾驶路径。在一些实施例中,导航和路径系统248可以被配置为合并来自传感器融合算法244、GPS 226、LIDAR单元232和一个或多个预定地图的数据,以便为车辆200确定驾驶路径。
避障系统250可以是被配置为识别、评估和避免或另外越过车辆200所位于的环境中的障碍的任何系统。控制系统206可以额外地或可替换地包括除了所示的组件以外的组件。
外围设备208可以被配置为允许车辆200与外部传感器、其它车辆、外部计算设备和/或用户进行交互。为此,外围设备208可以包括,例如,无线通信系统252、触摸屏254、麦克风256和/或扬声器258。
无线通信系统252可以是被配置为直接地或经由通信网络无线地耦合到一个或多个其它车辆、传感器或其它实体的任何系统。为此,无线通信系统252可以包括用于直接地或经由通信网络与其它车辆、传感器、服务器或其它实体通信的天线和芯片组。芯片组或无线通信系统252通常可以被布置为根据诸如蓝牙、IEEE 802.11(包括任何IEEE 802.11修订版)中描述的通信协议、蜂窝技术(诸如GSM、CDMA、UMTS、EV-DO、WiMAX或LTE)、Zigbee、专用短程通信(dedicated short range communication,DSRC)和射频识别(radio frequencyidentification,RFID)通信等的一种或多种类型的无线通信(例如,协议)进行通信。无线通信系统252也可以采取其它形式。
触摸屏254可以被用户用来向车辆200输入命令。为此,触摸屏254可以被配置为经由电容感测、电阻感测或表面声波处理等来感测用户手指的位置和移动中的至少一个。触摸屏254能够感测在平行或共面于触摸屏表面的方向、垂直于触摸屏表面的方向或者两个方向上的手指移动,并且还能够感测施加到触摸屏表面的压力水平。触摸屏254可以由一个或多个半透明或透明的绝缘层和一个或多个半透明或透明的导电层形成。触摸屏254也可以采取其它形式。
麦克风256可以被配置为从车辆200的用户接收音频(例如,语音命令或其它音频输入)。类似地,扬声器258可以被配置为向车辆200的用户输出音频。外围设备208可以额外地或可替换地包括除了所示的那些组件之外的组件。
计算机系统210可以被配置为将数据发送到推进系统202、传感器系统204、控制系统206和外围设备208中的一个或多个,从其中接收数据,与其交互,和/或对其进行控制。为此,计算机系统210可以通过系统总线、网络和/或其它连接机制(未示出)通信地链接到推进系统202、传感器系统204、控制系统206和外围设备208中的一个或多个。
在一个示例中,计算机系统210可以被配置为控制变速器222的操作以改善燃料效率。作为另一示例,计算机系统210可以被配置为使相机234拍摄环境的图像。作为又一示例,计算机系统210可以被配置为存储并运行与传感器融合算法244相对应的指令。作为再一示例,计算机系统210可以被配置为存储并运行用于使用LIDAR单元232来确定车辆200周围的环境的3D表示的指令。其它示例也是可能的。
如图所示,计算机系统210包括处理器212和数据存储装置214。处理器212可以包括一个或多个通用处理器和/或一个或多个专用处理器。就处理器212包括多于一个处理器而言,这些处理器能够单独或组合地工作。数据存储装置214进而可以包括一个或多个易失性和/或一个或多个非易失性存储组件,诸如光学、磁性和/或有机存储装置,并且数据存储装置214可以整体或部分地与处理器212集成。
在一些实施例中,数据存储装置214可以包含可由处理器212运行以运行各种车辆功能(例如,方法400)的指令216(例如,程序逻辑)。数据存储装置214还可以包含额外的指令,包括将数据发送到推进系统202、传感器系统204、控制系统206和/外围设备208中的一个或多个,从其中接收数据,与其交互,和/或对其进行控制的指令。计算机系统210可以额外地或可替换地包括除了所示的那些组件之外的组件。
如图所示,车辆200还包括可以被配置为向车辆200的一些或全部组件提供电力的电源260。为此,电源260可以包括例如可充电锂离子或铅酸电池。在一些实施例中,一个或多个电池组可以被配置为提供电力。其它电源材料和配置也是可能的。在一些实施例中,电源260和能量源220可以作为一个组件一起实施,如在一些全电动汽车中。
在一些实施例中,车辆200可以包括除了所示那些元件之外或者代替所示那些元件的一个或多个元件。例如,车辆200可以包括一个或多个额外的接口和/或电源。其它额外的组件也是可能的。在这样的实施例中,数据存储装置214还可以包括可由处理器212运行以控制额外组件和/或与额外组件通信的指令。
另外,虽然组件和系统中的每一个被示出为集成在车辆200中,但是在一些实施例中,一个或多个组件或系统可以使用有线或无线连接可移除地安装在车辆200上或另外连接(机械地或电力地)到车辆200。在一个示例中,确定用于传感器系统204中的一个或多个传感器的操作指令的计算系统210的部分可以被布置在车辆200外部(例如,在远程服务器中等),计算系统210经由无线通信接口(例如,无线通信系统252等)与车辆200通信。车辆200也可以采取其它形式。
在一些实施例中,如上所述,车辆200还可以旋转一个或多个组件,诸如传感器系统204中的一个或多个传感器和/或外围设备208中的一个或多个等。回头参考图1E,举例来讲,车辆100通过旋转传感器单元102-110的相应传感器来扫描轮廓162-166所示的环境的部分。类似地,车辆200在一些实施例中可以将其各种组件中的一个或多个组件安装在相应旋转平台上以调整各种组件的方向。
III.例示性场景
现在将更详细地描述其中可以实施示例实施例的示例场景。本文描述的例示性场景包括车辆正在执行左转机动的场景。然而,其中可以实施示例实施例的其它场景也是可能的,诸如车辆正在执行其它自主驾驶机动(例如,掉头、右转、变换车道、退出车道、合并到道路等)的场景。此外,与上述讨论一致,其它场景也可能涉及车辆以外的系统或设备。
图3A示出在环境302中操作的车辆300。车辆300可以类似于车辆100和/或200。环境302可以包括适于车辆300的操作的任何环境,诸如道路系统、河流系统、空中导航系统等。然而,为了示例,图3A中示出的环境302包括具有连接到多车道道路306的街道304的道路系统。此外,如图所示,道路306包括车道306a、306b、306c和306d,其可以由车道标记分开,由车道标记390例示。虽然图3A将车辆300示为如上所述的汽车,但是车辆300也可以根据环境302和车辆300的应用而采取其它形式(例如,船、飞机、直升机等)。因此,本公开的实施例可以与包括被配置为扫描周围环境的多个传感器的各种类型的系统一起使用。
图3A示出了车辆300决定执行导航机动的示例车辆操作。如图所示,例如,车辆300可以决定沿着由箭头308所示的路径执行从街道304到道路306的车道306b上的左转。与以上讨论一致,本文中的示例方法和系统可以使用的其它车辆操作也是可能的(例如,退出车道、进行右转、倒车、进行掉头、保持在车道内等)。然而,为了示例,图3A的场景涉及进行左转的车辆300。
为了安全地执行这种机动,例如,车辆300可以识别要为移动物体的存在而被监视的目标区域310、312和314。在一些示例中,如图所示,目标区域310、312、314可以与车道306b、306c和306d的车道区段(或其部分)相对应,其中可能存在迎面而来的交通。注意到,目标区域310、312、314的形状和位置可以变化,并不一定如图3A所示。例如,目标区域310和312可以可替换地组合为一个目标区域,或者可以具有与所示目标区域不同的面积等。
如图所示,目标区域310、312和314可以分别包括移动物体320、322和324。此外,为了示例,如分别由箭头330、332和334所表示的,移动物体320、322和324可以朝着路径308移动。移动物体320、322和324可以包括任何移动物体,诸如车辆、移动碎片等。虽然移动物体320、322和324在图3A中作为汽车被示出,额外地或可替代地,在一些示例中,移动物体320、322和324可以包括其它物体,诸如摩托车、小型摩托车、骑车者、行人(例如,慢跑者、步行者等)、或移动的碎片等。此外,虽然图3A示出了目标区域310、312和314中的三个移动物体320、322和324,但是在一些示例中,目标区域310、312和314可以可替代地包括额外的或者比所示的更少的移动物体。在一个示例中,目标区域310、312和314可以不包括任何移动物体。
为了安全地执行由箭头308指示的车辆操作,在一些示例中,车辆300可以评估在执行左转机动之前是否应该等待移动物体320、322、324中的一个或多个跨过路径308。因此,在一些示例中,车辆300可以在执行由箭头308指示的机动之前(和/或期间)利用各种传感器(例如,RADAR、LIDAR等)来为移动物体的存在监视目标区域310、312、314。如上所述,在一些示例中,各种传感器可以每个具有不同的安装位置、分辨率、FOV和/或影响用于为移动物体的存在监视目标区域310、312或314的相应传感器的适合性的其它配置。
图3B示出根据示例实施例的在操作中的车辆300。注意到,为了便于描述,从图3B的图示中省略了图3A中所示的特征中的一些,诸如移动物体320、322、324,车道标记390等。在一些示例中,车辆300可以包括类似于车辆100的传感器单元102-110中包括的传感器中的一个或多个的多个传感器(未示出),或者类似于在车辆200的传感器系统204中包括的传感器中的一个或多个的多个传感器(未示出)等。
例如,轮廓364可以类似于图1F的轮廓164。例如,轮廓364可以表示当第一传感器指向目标区域314使得由第一传感器扫描的环境302的部分(例如轮廓364)包括目标区域314的至少一部分时由车辆300的第一传感器(未示出)扫描的环境302的部分。例如,第一传感器可以是具有足够高的分辨率和范围的LIDAR传感器(例如,车辆100的LIDAR传感器122等)以能够扫描与轮廓364相关联的环境302的部分。额外地或可替代地,第一传感器可以是被配置为扫描包括目标区域314的至少一部分的环境302的部分的任何其它传感器(例如,LIDAR 120、LIDAR 124、RADAR传感器、相机、超声传感器、超声波传感器、麦克风、声纳、车辆200的传感器系统204中的任何传感器等)。
如上所述,在一些场景下,第一传感器可能适于为移动物体的存在监视目标区域310、312或314中的一个或多个目标区域,但可能不太适于同时为移动物体的存在而监视目标区域310、312和314中的两个或更多个的特定组合。例如,如图所示,类似于图1E和图1F的轮廓164,由轮廓364指示的环境的部分可由第一传感器(例如,LIDAR 122等)的FOV的水平范围限定。在这个示例中,这样的水平FOV可能不太适于同时包含目标区域310和目标区域314的组合,或者目标区域312和目标区域314的组合等。
因此,在一些示例中,在第一传感器扫描由轮廓364指示的环境的部分之后,车辆300可以被配置为调整第一传感器(未示出)的观察方向,使得第一传感器的FOV传感器与目标区域310的至少一部分重叠。在这个示例中,车辆300然后可以扫描包括目标区域310的环境的部分,如轮廓366所示。
此外,如图所示,类似于图1F的箭头182a和182b所指示的环境的部分,箭头382a和382b之间的环境302的部分可以由车辆300的第二传感器(未示出)扫描。此外,如图所示,类似于由图1F的箭头184a和184b指示的环境的部分,箭头384a和384b之间的环境302的部分可以由车辆300的第三传感器(未示出)扫描。
如上所述,在一些场景下,与箭头382a和382b之间的环境302的部分的扫描相关联的第二传感器(未示出)可能不太适于为移动物体的存在监视目标区域314,即使第二传感器的FOV与目标区域314重叠。
在第一示例场景中,第二传感器可以是安装到车辆的一侧(例如,在车辆100的传感器单元108中等)的相机以观察箭头382a和382b之间的环境302的部分。在这种场景中,即使相机的FOV与目标区域314重叠,相机也可能从目标区域314的视野被遮挡。在一个实例中,由于目标区域314自身中的、相机和目标区域314之间的环境302的中间区域344中的、或者靠近或邻近目标区域314的环境302的任何其它区域中的一个或多个物体(例如,树木、墙壁、路牌、车辆,行人等)的存在,相机可能不具有目标区域314的足够清晰的视野。在另一实例中,由于来自环境中的明亮光源、镜子或背景光等的干扰,目标区域314可能从相机的视野被遮挡。
在第二示例场景中,第二传感器可以是安装到车辆侧面(例如,在车辆100的传感器单元108中等)的RADAR传感器以扫描箭头382a和382b之间的环境302的部分。在这种场景下,即使RADAR传感器的FOV与目标区域314重叠,RADAR传感器也可以从目标区域314的视野被遮挡。在一个实例中,由于在中间区域344、目标区域314或靠近或邻近目标区域314的环境302的任何其它区域中一个或多个物体的存在,其中一个或多个物体对于由RADAR传感器发送的电磁波的(多个)波长是不透明的,RADAR传感器可能不具有目标区域的足够清晰的视野。在另一实例中,由于来自无线发送器(例如,天线、另一RADAR传感器等)、反射表面(例如,路牌等)或环境302中的背景辐射(例如,噪声等)等的干扰,目标区域314可能从RADAR传感器的视野被遮挡。在又一实例中,目标区域314可以包括最初可能未被RADAR传感器检测到的静止/运动碎片(例如,杂乱(clutter)等),但是可能导致在碎片附近移动的物体被识别为静止物体(例如,碎片可能会给移动物体的RADAR横截面带来偏差)。
在第三示例场景中,来自第二传感器的数据可能(比来自第一传感器的数据)更不适于确定第二传感器是否被遮挡而不能观察目标区域314(和/或为移动物体的存在监视目标区域314)。例如,在第二传感器是RADAR传感器的情况下,通过RADAR传感器的检测可以是由于来自环境302中的其它RADAR传感器的干扰、环境302中的背景噪声等。额外地或者可替换地,在这个示例中,缺乏通过RADAR传感器的检测结果(例如,针对中间区域344中的物体等)可能不一定指示RADAR传感器没有从观察目标区域314被遮挡。在一个实例中,缺乏通过RADAR传感器的检测可能是由于反射器(未示出)将来自RADAR传感器的发射的无线电波反射远离RADAR传感器而不是将该波反射回RADAR传感器。在另一示例中,缺乏通过RADAR传感器的检测可能是由于物体(未示出)吸收来自RADAR传感器的发射波而不是将发射波反射回RADAR传感器,或者允许发射波继续朝着目标区域314传播。其它实例也是可能的。因此,在这个示例中,来自第一传感器(例如,LIDAR传感器)的数据可能更适于清除针对目标区域314的第二传感器(例如,RADAR传感器)的这种遮挡。
类似地,在一些场景下,与箭头384a和384b之间的环境302的部分的扫描相关联的第三传感器(未示出)可能不太适于为移动物体的存在监视目标区域310和/或312,即使第三传感器的FOV与目标区域310和/或312重叠(如图所示)。例如,类似于以上针对第二传感器所讨论的示例场景,由于在中间区域346中的物体的存在、在目标区域310和/或312中的物体的存在、在环境302的其它区域中的物体的存在、与第三传感器的电磁干扰(例如,来自其它传感器/发送器等)、背景噪声、第三传感器的性能等等,第三传感器可能从观察目标区域310和/或312被遮挡。
可以使用示例实施例的其它场景也是可能的,诸如涉及其它类型的传感器(例如,超声传感器、麦克风传感器、声纳传感器、LIDAR传感器等)、不同的移动物体、不同的环境因素等的场景。例如,示例场景可以涉及可能受到来自环境302中的声源和/或噪声的干扰等影响的声音传感器。
注意到,各种区域310、312、314、344和346的位置、尺寸和形状不一定按比例绘制,并且可以不同于图3A和图3B中所示的图示。此外,注意到由轮廓364、366以及箭头382a、382b、384a、384b指示的各种扫描区域的方向、形状和面积不一定按比例绘制,并且可能不同于图3A和图3B中所示的图示。因此,为了便于描述,各种特征可以变化并且仅如图3A和3B所示被示出。
IV.例示性方法和计算机可读介质
在示例内,本文中的方法可以涉及至少基于另一传感器对环境的扫描来确定传感器是否适于为移动物体的存在监视环境的目标区域。此外,在一些示例中,本文中的方法可以涉及至少基于确定特定传感器是否适于为移动物体的存在监视一个或多个特定目标区域来分配特定传感器以监视环境的一个或多个特定目标区域。
图4是根据示例实施例的方法400的流程图。例如,图4中示出的方法400呈现了可以与车辆100、200和/或300中的任何一个一起使用的方法的实施例。方法400可以包括如块402-408中的一个或多个所示的一个或多个操作、功能或动作。虽然这些块以顺序的次序示出,但是这些块在一些情况下可以并行执行、和/或以不同于本文中描述的次序执行。而且,各种块可以基于期望的实施方式被组合成更少的块、被分成额外的块和/或被移除。
另外,对于本文中公开的方法400以及其它过程和方法,该流程图示出了本实施例的一个可能的实施方式的功能和操作。就这一点而言,每个块可以表示模块、段、制造或操作过程的部分或程序代码的部分,其包括用于实施过程中的特定逻辑功能或步骤的可由处理器运行的一个或多个指令。程序代码可以被存储在任何类型的计算机可读介质上,例如,诸如包括磁盘或硬盘驱动器的存储设备。计算机可读介质可以包括非瞬时性计算机可读介质,例如,诸如短时间段存储数据的计算机可读介质,如寄存器存储器、处理器高速缓存和随机存取存储器(Random Access Memory,RAM)。例如,计算机可读介质也可以包括非瞬时性介质,诸如辅助性或持久性长期存储装置,如只读存储器(read only memory,ROM)、光盘或磁盘、紧密盘只读存储器(compact-disc read only memory,CD-ROM)。计算机可读介质还可以是任何其它易失性或非易失性存储系统。计算机可读介质可以被认为是例如计算机可读存储介质或者有形存储设备。
另外,对于本文中公开的方法400以及其它过程和方法,图4中的每个块可以表示被连线以执行过程中的特定逻辑功能的电路。
在块402处,方法400涉及识别要为移动物体的存在而被监视的环境的目标区域。例如,回头参考图3A,目标区域可以类似于目标区域310、312、314中的任意一个,并且移动物体可以类似于移动物体320、322、324中的任何一个。在这个示例中,布置在车辆中的计算设备(例如,车辆200的计算机系统210等)或布置在车辆外部的计算设备(例如,远程服务器等)可以被配置为识别目标区域(例如,响应于执行机动的决定等)。
在块404处,方法400涉及操作第一传感器以获得包括目标区域的至少一部分的环境的部分的扫描。第一传感器可以类似于在车辆100的传感器单元102-110中包括的传感器的任何一个,或者在车辆200的传感器系统204中包括的传感器中的任何一个等。在一些示例中,环境的部分还可以包括目标区域和第一传感器之间的中间区域。例如,回头参考图3B,由第一传感器扫描的环境的部分可以类似于由轮廓364指示的部分,该部分包括目标区域314的至少一部分以及车辆300和目标区域314之间的中间区域344。
在一些示例中,方法400还可以涉及调整第一传感器的观察方向,使得第一传感器的视场包括目标区域的至少一部分。例如,回头参考图3B,如果第一传感器最初被引导朝向除了与轮廓364相关联的方向之外的方向,则方法400的系统可以操作第一传感器以调整第一传感器的观察方向,使得第一传感器扫描与轮廓364相关联的环境的部分。在这个实例中,类似于车辆100的LIDAR设备120和122,第一传感器可以被安装到旋转平台,并且方法400的系统可以操作致动器旋转第一传感器以具有与轮廓364相关联的观察方向。
在块406处,方法400涉及确定第二传感器是否具有目标区域的足够清晰的视野以为移动物体的存在监视目标区域。在一些实例中,在块406处的确定可以至少基于在块404处由第一传感器获得的扫描。
在一些示例中,在块406处确定第二传感器是否具有目标区域的足够清晰的视野可以涉及基于在块404处由第一传感器获得的扫描来确定第二传感器的目标区域的视野是否被环境的中间区域中的一个或多个物体遮挡。例如,回头参考图3B,由轮廓364指示的环境的部分的扫描可以指示与箭头382a和382b相关联的第二传感器没有由于中间区域344中的物体(例如,碎片、树木、其它车辆、路牌、明亮的光源、无线信号塔、反射物体等)而从观察目标区域314被遮挡。
在一些示例中,在块406处确定第二传感器是否具有目标区域的足够清晰的视野可以涉及基于在块404处由第一传感器获得的扫描来确定第二传感器的目标区域的视野是否被环境的目标区域中的一个或多个物体遮挡。例如,回头参考图3B,由轮廓364指示的环境的部分的扫描可以指示与箭头382a和382b相关联的第二传感器没有由于目标区域314中的物体(例如,碎片、其它车辆、路牌、明亮的光源、反射物体等)而从观察目标区域314被遮挡。
在一些示例中,在块406处确定第二传感器是否具有目标区域的足够清晰的视野还基于由第二传感器获得的环境的扫描。例如,方法400的系统可以基于在块404处由第一传感器获得的扫描来识别环境的特征(例如,移动物体、静止物体、车辆、树木等)。例如,特征可以被包括在目标区域内或者在目标区域附近。在这个实例中,系统然后可以确定由第二传感器获得的环境的扫描是否也指示所识别的特征。因此,在这个实例中,系统可以至少基于由第二传感器获得的也指示所识别的特征的存在的扫描来决定第二传感器具有目标区域的足够清晰的视野。
在一些示例中,方法400还可以涉及操作第一传感器以获得包括目标区域的至少一部分的环境的部分的第二扫描。在这些示例中,在块406处确定第二传感器是否具有目标区域的足够清晰的视野也基于第二扫描。
在第一示例中,操作第一传感器以获得第二扫描可以响应于在块404处获得的第一扫描之后经过预定量的时间。例如,回头参考图3B,方法400的系统最初可以在块406处确定与箭头382a和382b相关联的第二传感器具有目标区域314的足够清晰的视野。然而,在这个实例中,目标区域314可能在进行初始确定之后对第二传感器而言变为被遮挡(例如,汽车可能移动到中间区域344中,干扰第二传感器的背景辐射可能会变得存在等)。因此,在这个实例中,在经过预定量的时间之后,方法400的系统可以获得第二扫描以确定第二传感器是否仍然具有目标区域314的足够清晰的视野。在一个实施例中,预定量的时间可以是四秒。然而,在其它实施例中,预定量的时间可以是不同的。例如,预定量的时间可以基于自主车辆的环境、正在由自主车辆执行的操作(例如,用于涉及高速道路的机动的时间量少于用于涉及慢速道路的机动的时间量等)、或任何其它因素而变化。
在第二示例中,操作第一传感器以获得第二扫描可以响应于确定方法400的车辆在由第一传感器获得第一扫描(例如,在块404处)之后至少移动了阈值距离。例如,回头参考图3B,如果车辆300在由轮廓364指示的第一扫描之后移动阈值距离,则第二传感器与目标区域314之间的中间区域344可以改变。在这个实例中,先前基于第一扫描未检测到的遮挡可能存在于改变的中间区域中。因此,在一些实施例中,方法400还可以涉及确定在块404处第一传感器获得第一扫描之后车辆位置的变化大于阈值,并且响应地操作第一传感器以获得第二扫描。在一个实施例中,车辆位置的阈值改变是一米。然而,取决于各种因素,诸如第一传感器和/或第二传感器的类型(或FOV)、车辆的环境等,位置中的其它阈值变化也是可能的。
在第三示例中,操作第一传感器以获得第二扫描可以响应于确定第一传感器已经完成扫描与一个或多个目标区域相关联的环境的一个或多个部分。例如,回头参考图3B,车辆300可以已经已识别多个目标区域310、312和314。在这个实例中,块400处的方法400可以涉及操作第一传感器以获得与轮廓364(和目标区域314)相关联的第一扫描,并且调整第一传感器的观察方向以获得与轮廓366(和目标区域310或312)相关联的环境的其它部分的扫描。接下来,在这个实例中,方法400然后可以确定第一传感器完成用于清除与所有三个目标区域310、312、314相关联的遮挡的扫描,并且由此可以重新调整第一传感器的观察方向以获得与轮廓364(和目标区域314)相关联的环境的部分的第二扫描。因此,在这个实例中,在第一传感器完成执行其它扫描以清除与其它目标区域和/或其它传感器相关联的遮挡之后,车辆300可以验证第二传感器是否仍然具有目标区域314的足够清晰的视野。
在一些示例中,在块406处确定第二传感器是否具有目标区域的足够清晰的视野也基于确定方法400的车辆速度小于阈值速度。例如,回头参考图3B,如果车辆300以高于阈值速度的速度移动,则目标区域314与第二传感器之间的中间区域344可以快速地改变。结果,在这个实例中,在块404处由第一传感器获得环境的部分(例如,轮廓364)的扫描之后,新的遮挡可能变得存在。因此,一方面,在这个实例中的方法400可以至少基于确定车辆300以高于阈值速度的速度移动来确定第二传感器不具有目标区域314的足够清晰的视野。另一方面,在这个实例中的方法400可以至少基于确定车辆300以低于阈值速度的速度移动来确定第二传感器具有目标区域314的足够清晰的视野。在一个实施例中,阈值速度是每秒0.1米。然而,其它阈值速度也是可能的。例如,阈值速度可以取决于各种因素,诸如第二传感器的配置(例如,类型、分辨率、FOV等)、或者环境中物体的平均速度等。
在块408处,方法400涉及至少基于确定第二传感器具有目标区域的足够清晰的视野来操作第二传感器以为移动物体的存在监视目标区域。例如,回头参考图3B,在第二传感器与由箭头382a和382b指示的环境的部分相关联的情况下,可以基于确定第二传感器没有从观察目标区域314被遮挡(例如,在块406处等)来分配第二传感器以监视目标区域314。
在一些示例中,方法400还可以涉及基于来自第二传感器的数据来确定环境中的电磁干扰。在这些示例中,在块408处操作第二传感器以监视目标区域也可以基于确定电磁干扰小于阈值。例如,第二传感器可以是RADAR传感器,并且来自RADAR传感器的数据可以指示电磁干扰(例如,来自安装在另一车辆上的另一RADAR传感器、来自环境中的背景噪声、信噪比等等)。在这个实例中,电磁干扰可能影响方法400的系统在基于来自第二传感器的数据检测目标区域中的移动物体时的可靠性。因此,在这个实例中,方法400可以涉及在步骤408处还基于对由第二传感器检测到的电磁干扰的评估来操作第二传感器以监视目标区域。在一些实施例中,方法400的系统可以被配置为操作第二传感器以被动地收听环境中的辐射源和/或噪声(即,电磁干扰)。额外地或替代地,在一些实施例中,方法400的系统可以被配置为在第二传感器主动地扫描环境的同时基于来自第二传感器的数据来检测电磁干扰。
在一些示例中,方法400还可以涉及至少基于确定第二传感器不具有目标区域的足够清晰的视野来操作另一传感器以为移动物体的存在监视目标区域。例如,回头参考图3B,如果方法400确定与箭头382a和382b相关联的第二传感器不具有目标区域314的足够清晰的视野(例如,由于来自背景辐射、沿着第二传感器的视线的障碍物、环境中的反射物体等的干扰),方法400然后可以分配另一传感器以监视目标区域。
在第一示例中,另一传感器可以是第一传感器自身。例如,继续上面的示例,方法400可以分配与轮廓364相关联的第一传感器以继续扫描包括目标区域314的至少一部分的环境302的部分。在这个实例中,当车辆300正在执行由图3A的箭头308指示的左转机动的同时,车辆300可以继续使用第一传感器以监视目标区域314。可替换地,在这个实例中,车辆300可以继续操作第一传感器以监视目标区域314,直到第二传感器(或任何其它传感器)具有目标区域314的足够清晰的视野。例如,在遮挡是由于沿着第二传感器的视线(例如,在中间区域344或目标区域314内)的另一车辆的情况下,第一传感器可以继续监视目标区域314,直到另一车辆移出第二传感器的视线。
在第二示例中,另一传感器可以是除了第一传感器和第二传感器之外的第三传感器。例如,方法400的系统可以包括具有与目标区域重叠的FOV的其它传感器。举例来说,回头参考图1E,方法400的系统可以利用与轮廓162、166等相关联的LIDAR传感器中的任何一个来监视目标区域。作为另一示例,回头参考图2,方法400的系统可以识别传感器系统204中的传感器中的任何一个(除了第一传感器和第二传感器之外),诸如相机等,其也具有与目标区域重叠的FOV。作为又一示例,回头参考图3B,车辆300可以确定与箭头382a-382b相关联的第二传感器不具有目标区域310或312的足够清晰的视野(例如,由于第二传感器的安置等)。在这个示例中,方法400然后可以确定与箭头384a-384b相关联的第三传感器(或任何其它传感器)是否具有目标区域310或312的足够清晰的视野,并且然后可以分配第三传感器以监视例如相应的目标地区。因此,在一些实施例中,方法400还可以涉及确定第三传感器是否具有目标区域的足够清晰的视野,并且基于该确定来操作第三传感器以为移动物体的存在监视目标区域。
在一些示例中,方法400还可以涉及识别为移动物体的存在而要被监视的环境的第二目标区域,操作第一传感器以获得包括第二目标区域的至少一部分的环境的第二部分的扫描,以及至少基于由第一传感器获得的环境的第二部分的扫描来选择特定的传感器以监测第二目标区域。例如,回头参考图3B,车辆300可以获得与轮廓364相关联的第一扫描,并且分配与箭头382a-382b相关联的第二传感器以监视目标区域314。接下来,在这个实例中,车辆300可以调整朝向第二目标区域312的第一传感器的观察方向,并且获得包括第二目标区域312的环境的第二部分的第二扫描。接下来,在这个实例中,与以上讨论一致,车辆300可以至少基于确定特定传感器具有第二目标区域312的足够清晰的视野来选择与箭头384a-384b相关联的特定传感器以监视第二目标区域312。
图5描绘了根据示例实施例配置的计算机可读介质。在一些实施例中,示例系统可以包括一个或多个处理器、一种或多种形式的存储器、一个或多个输入设备/接口、一个或多个输出设备/接口以及机器可读指令,当该机器可读指令由一个或多个处理器运行时使得系统执行上述的各种功能、任务、性能等。
如上所述,在一些实施例中,所公开的技术(例如,方法400等)可以通过以机器可读格式在计算机可读存储介质上编码的或者在其它介质或制品上编码的计算机程序指令(例如,车辆200的指令216等)来实施。图5是示出根据本文公开的至少一些实施例布置的包括用于在计算设备上运行计算机过程的计算机程序的示例计算机程序产品的概念性局部视图的示意图。
在一个实施例中,使用信号承载介质502来提供示例计算机程序产品500。信号承载介质502可以包括一个或多个编程指令504,编程指令504在由一个或多个处理器执行时可以提供上面针对图1-4描述的功能或部分功能。在一些示例中,信号承载介质502可以是非瞬时性计算机可读介质506,诸如但不限于,硬盘驱动器、光盘(Compact Disc,CD)、数字视频盘(Digital Video Disk,DVD)、数字磁带、存储器等。在一些实施方式中,信号承载介质502可以是计算机可记录介质508,诸如但不限于存储器、读/写(read/write,R/W)CD、R/WDVD等等。在一些实施方式中,信号承载介质502可以是通信介质510(例如,光纤电缆、波导、有线通信链路等)。因此,例如,信号承载介质502可以通过无线形式的通信介质510来传达。
一个或多个编程指令504可以是例如计算机可运行指令和/或逻辑实施指令。在一些示例中,计算设备可以被配置为响应于通过计算机可读介质506、计算机可记录介质508和/或通信介质510中的一个或多个传达到计算设备的编程指令504来提供各种操作、功能或动作。
计算机可读介质506也可以分布在可以彼此远程定位的多个数据存储元件中。运行存储的指令中的一些或全部的计算设备可以是外部计算机或移动计算平台,诸如智能电话、平板设备、个人计算机、可穿戴设备等。可替换地,运行存储的指令中的一些或全部地计算设备可以是远程定位的计算机系统,诸如服务器。
V.总结
在示例之内,本文的系统、设备和方法可以允许清除针对环境的目标区域的传感器的遮挡,并评估传感器是否能够为移动物体的存在监视目标区域。在一个示例中,提供了一种方法,其涉及至少基于由另一传感器获得的环境的扫描来确定传感器是否具有目标区域的足够清晰的视野。此外,本文的示例性实施例可以涉及各种因素的评估以确定传感器是否具有目标区域的足够清晰的视野,诸如沿着传感器的视线的物体的存在、目标区域内物体的存在、目标区域内或附近的反射物体的存在、环境中的背景噪声和/或来自环境中其它发送器/传感器的干扰等。此外,本文的示例性实施例可以涉及至少基于确定特定传感器是否适于为移动物体的存在监视一个或多个特定目标区域,来分配特定传感器以监视环境的一个或多个特定目标区域。
应该理解的是,本文描述的布置仅用于示例的目的。如此,本领域的技术人员将理解到,可以替代地使用其它布置和其它元素(例如,机器、接口、功能、次序和功能的分组等),并且根据期望的结果可以完全省略一些元素。此外,所描述的元素中的许多是被实施为离散或分布式组件或者以任何合适的组合和位置与其它组件结合的功能实体,或被描述为独立结构的其它结构元件可以被组合。
虽然本文已经公开了各个方面和实施例,但是其它方面和实施例对于本领域技术人员而言将是显而易见的。本文公开的各个方面和实施例是为了例示的目的并且不意图限制,真正的范围由所附权利要求以及这些权利要求授权的等同物的全部范围来指示。还应该理解的是,本文使用的术语仅用于描述特定实施例的目的,而不意图限制。
Claims (24)
1.一种用于针对移动物体的存在而监视目标区域的方法,包括:
基于要由车辆执行的导航操纵来识别针对移动物体的存在要监视的车辆的环境的目标区域,其中,所述车辆包括多个传感器;
使多个传感器中的第一传感器扫描与目标区域相关联的环境的一部分;
选择多个传感器中的一个传感器用于监视目标区域,其中,选择多个传感器中的一个传感器用于监视目标区域包括:
至少基于第一传感器的扫描,确定多个传感器中的所选择的一个传感器具有目标区域的足够清晰的视野;以及
使多个传感器中的所选择的一个传感器针对移动物体的存在而监视目标区域。
2.根据权利要求1所述的方法,还包括:
生成用于车辆的导航路径,其中,基于生成的导航路径来识别目标区域。
3.根据权利要求1所述的方法,其中,由第一传感器扫描的所述环境的一部分包括在车辆与目标区域之间的中间区域,并且其中,选择多个传感器中的一个传感器用于监视目标区域包括:
至少基于第一传感器的扫描,确定多个传感器中的所选择的一个传感器未被中间区域中的一个或多个物体遮挡。
4.根据权利要求1所述的方法,其中,由第一传感器扫描的所述环境的一部分包括目标区域的至少一部分,并且其中,选择多个传感器中的一个传感器用于监视目标区域包括:
至少基于第一传感器的扫描,确定多个传感器中的所选择的一个传感器未被目标区域中的一个或多个物体遮挡。
5.根据权利要求1所述的方法,其中,由第一传感器扫描的所述环境的一部分包括与目标区域相邻的所述环境的一个或多个区域,并且其中,至少基于由第一传感器扫描了一个或多个区域,来选择多个传感器中的一个传感器用于监视目标区域。
6.根据权利要求1所述的方法,还包括:
至少基于多个传感器中的第二传感器的视场FOV来调节由第一传感器扫描的环境的一部分。
7.根据权利要求1所述的方法,其中,选择多个传感器中的一个传感器用于监视目标区域还基于多个传感器中的所选择的一个传感器具有与目标区域至少部分重叠的视场FOV。
8.根据权利要求1所述的方法,其中,选择多个传感器中的一个传感器用于监视目标区域还基于车辆中的多个传感器中的所选择的一个传感器的安装位置。
9.根据权利要求1所述的方法,其中,选择多个传感器中的一个传感器包括选择多个传感器中的第二传感器,并且其中,选择第二传感器还基于由第二传感器对环境的扫描。
10.根据权利要求1所述的方法,其中,第一传感器的扫描是第一扫描,其中,选择多个传感器中的一个传感器包括选择多个传感器中的第二传感器,所述方法还包括:
在第二传感器针对移动物体的存在而监视目标区域时,使第一传感器获得与目标区域相关联的第二扫描。
11.根据权利要求10所述的方法,还包括:
至少基于第二扫描,在多个传感器中选择另一个传感器用于监视目标区域;以及
使所选择的另一个传感器针对移动物体的存在而监视目标区域。
12.根据权利要求10所述的方法,其中,使第一传感器获得第二扫描是响应于在第一扫描之后经过了至少阈值时间量的。
13.根据权利要求10所述的方法,其中,使第一传感器获得第二扫描是响应于车辆在第一传感器获得第一扫描之后移动了至少阈值距离的。
14.根据权利要求1所述的方法,其中,目标区域是第一目标区域,其中,多个传感器中的所选择的一个传感器是多个传感器中的第二传感器,所述方法还包括:
识别针对移动物体的存在而要监视的环境的第二目标区域;
使第一传感器扫描与第二目标区域相关联的环境的第二部分;
至少基于由第一传感器对环境的第二部分的扫描,选择多个传感器中的另一个传感器用于监视第二目标区域;以及
在第二传感器监视第一目标区域时,使所选择的另一个传感器针对移动物体的存在而监视第二目标区域。
15.根据权利要求1所述的方法,其中,使多个传感器中的所选择的一个传感器针对移动物体的存在而监视目标区域包括:
基于来自多个传感器中的所选择的一个传感器的数据来检测目标区域中的移动物体。
16.如权利要求1所述的方法,还包括:
使车辆执行导航操纵,其中,使多个传感器中的所选择的一个传感器针对移动物体的存在而监视目标区域包括:
在车辆执行导航操纵时,使用多个传感器中的所选择的一个传感器来获得目标区域的一个或多个扫描。
17.根据权利要求1所述的方法,还包括:
使车辆执行导航操纵,其中,使多个传感器中的所选择的一个传感器针对移动物体的存在而监视目标区域包括:
在车辆执行导航操纵之前,使用多个传感器中的所选择的一个传感器来获得目标区域的一个或多个扫描。
18.根据权利要求1所述的方法,还包括:
在目标区域中检测物体;以及
将物体识别为移动物体。
19.根据权利要求18所述的方法,其中,将物体识别为移动物体是基于使用被选择用于监视目标区域的多个传感器中的一个传感器检测到物体的。
20.一种用于针对移动物体的存在而监视目标区域的系统,包括:
多个传感器,被配置为扫描车辆的环境的各个部分;
一个或多个处理器;以及
数据存储装置,其存储指令,这些指令在由所述一个或多个处理器执行时使得所述系统执行操作,所述操作包括:
基于要由车辆执行的导航操纵来识别针对移动物体的存在而要监视的环境的目标区域;
使用多个传感器中的第一传感器扫描与目标区域相关联的环境的一部分;
选择多个传感器中的一个传感器用于监视目标区域,其中,选择多个传感器中的一个传感器用于监视目标区域包括:
至少基于第一传感器的扫描,确定多个传感器中的所选择的一个传感器具有目标区域的足够清晰的视野;以及
使用多个传感器中的所选择的一个传感器来针对移动物体的存在而监视目标区域。
21.根据权利要求20所述的系统,其中,第一传感器是光检测和测距LIDAR传感器,并且其中,多个传感器中的所选择的一个传感器是无线电检测和测距RADAR传感器。
22.根据权利要求21所述的系统,其中,LIDAR传感器被安装在车辆的顶侧,并且其中,RADAR传感器被安装在车辆的除顶侧之外的一侧。
23.一种非暂时性计算机可读介质,具有存储在其中的指令,这些指令在由计算设备执行时使得该计算设备执行操作,所述操作包括:
基于要由车辆执行的导航操纵来识别针对移动物体的存在而要监视的车辆的环境的目标区域,其中,所述车辆包括多个传感器;
操作多个传感器中的第一传感器以获得对于与目标区域相关联的环境的一部分的扫描;
选择多个传感器中的一个传感器用于监视目标区域,其中,选择多个传感器中的一个传感器用于监视目标区域包括:
至少基于第一传感器的扫描,确定多个传感器中的所选择的一个传感器具有目标区域的足够清晰的视野;以及
操作多个传感器中的所选择的一个传感器以针对移动物体的存在而监视目标区域。
24.根据权利要求23所述的非暂时性计算机可读介质,其中,由第一传感器扫描的所述环境的一部分包括在车辆与目标区域之间的中间区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110190179.1A CN112904343B (zh) | 2015-10-21 | 2016-10-19 | 用于清除传感器遮挡的方法和系统 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/919,667 US10267908B2 (en) | 2015-10-21 | 2015-10-21 | Methods and systems for clearing sensor occlusions |
US14/919,667 | 2015-10-21 | ||
CN202110190179.1A CN112904343B (zh) | 2015-10-21 | 2016-10-19 | 用于清除传感器遮挡的方法和系统 |
CN201680070921.2A CN108292135B (zh) | 2015-10-21 | 2016-10-19 | 用于清除传感器遮挡的方法和系统 |
PCT/US2016/057562 WO2017070127A1 (en) | 2015-10-21 | 2016-10-19 | Methods and systems for clearing sensor occlusions |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680070921.2A Division CN108292135B (zh) | 2015-10-21 | 2016-10-19 | 用于清除传感器遮挡的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112904343A CN112904343A (zh) | 2021-06-04 |
CN112904343B true CN112904343B (zh) | 2024-05-17 |
Family
ID=58557981
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110190179.1A Active CN112904343B (zh) | 2015-10-21 | 2016-10-19 | 用于清除传感器遮挡的方法和系统 |
CN201680070921.2A Active CN108292135B (zh) | 2015-10-21 | 2016-10-19 | 用于清除传感器遮挡的方法和系统 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680070921.2A Active CN108292135B (zh) | 2015-10-21 | 2016-10-19 | 用于清除传感器遮挡的方法和系统 |
Country Status (10)
Country | Link |
---|---|
US (3) | US10267908B2 (zh) |
EP (1) | EP3347784A4 (zh) |
JP (3) | JP6600089B2 (zh) |
KR (4) | KR102273527B1 (zh) |
CN (2) | CN112904343B (zh) |
AU (3) | AU2016341202B2 (zh) |
CA (1) | CA3002537A1 (zh) |
HK (1) | HK1257317A1 (zh) |
SG (1) | SG11201802882TA (zh) |
WO (1) | WO2017070127A1 (zh) |
Families Citing this family (62)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4516515B2 (ja) * | 2005-11-30 | 2010-08-04 | 株式会社日立製作所 | 形状制御装置、及び形状制御方法 |
US10267908B2 (en) * | 2015-10-21 | 2019-04-23 | Waymo Llc | Methods and systems for clearing sensor occlusions |
US10328949B2 (en) * | 2016-01-28 | 2019-06-25 | Toyota Motor Engineering & Manufacturing North America, Inc. | Sensor blind spot indication for vehicles |
US11106030B2 (en) | 2016-05-11 | 2021-08-31 | Texas Instruments Incorporated | Optical distance measurement system using solid state beam steering |
KR101784611B1 (ko) * | 2016-06-09 | 2017-11-06 | 재단법인대구경북과학기술원 | 라이다 센서 및 레이더 센서를 이용한 사람 탐지 장치 및 방법 |
US10604120B2 (en) | 2016-07-07 | 2020-03-31 | Nio Usa, Inc. | Sensor cleaning devices and systems |
US10821987B2 (en) * | 2016-07-20 | 2020-11-03 | Ford Global Technologies, Llc | Vehicle interior and exterior monitoring |
US10471904B2 (en) * | 2016-08-08 | 2019-11-12 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for adjusting the position of sensors of an automated vehicle |
JP6698479B2 (ja) * | 2016-09-06 | 2020-05-27 | シャープ株式会社 | 自律走行装置 |
US10146223B1 (en) * | 2016-10-21 | 2018-12-04 | Waymo Llc | Handling sensor occlusions for autonomous vehicles |
US10699305B2 (en) * | 2016-11-21 | 2020-06-30 | Nio Usa, Inc. | Smart refill assistant for electric vehicles |
SG10201700299QA (en) * | 2017-01-13 | 2018-08-30 | Otsaw Digital Pte Ltd | Three-dimensional mapping of an environment |
US11151447B1 (en) * | 2017-03-13 | 2021-10-19 | Zoox, Inc. | Network training process for hardware definition |
US10209718B2 (en) | 2017-03-14 | 2019-02-19 | Starsky Robotics, Inc. | Vehicle sensor system and method of use |
JP6914065B2 (ja) * | 2017-03-17 | 2021-08-04 | シャープ株式会社 | 障害物検出装置、走行装置、障害物検出システムおよび障害物検出方法 |
BE1024929B1 (nl) | 2017-05-09 | 2018-08-13 | Cnh Industrial Belgium Nv | Verbeteringen in of met betrekking tot voertuig/aanhangwagen-combinaties |
US20180372875A1 (en) * | 2017-06-27 | 2018-12-27 | Uber Technologies, Inc. | Sensor configuration for an autonomous semi-truck |
US10866313B2 (en) * | 2017-07-07 | 2020-12-15 | Waymo Llc | Vehicle sensor synchronization using an external clock source |
US20210149052A1 (en) * | 2017-08-09 | 2021-05-20 | Pioneer Corporation | Planimetric Feature Data Structure |
US10523880B2 (en) * | 2017-09-28 | 2019-12-31 | Waymo Llc | Synchronized spinning LIDAR and rolling shutter camera system |
US10816666B2 (en) * | 2017-11-21 | 2020-10-27 | Magna Electronics Inc. | Vehicle sensing system with calibration/fusion of point cloud partitions |
KR102472768B1 (ko) | 2017-11-23 | 2022-12-01 | 삼성전자주식회사 | 자율 주행 차량을 위한 오브젝트 검출 방법 및 장치 |
US10634772B2 (en) * | 2017-11-27 | 2020-04-28 | Atieva, Inc. | Flash lidar with adaptive illumination |
JP7308591B2 (ja) | 2017-12-19 | 2023-07-14 | 株式会社ダイヘン | 移動体 |
US20190204845A1 (en) * | 2017-12-29 | 2019-07-04 | Waymo Llc | Sensor integration for large autonomous vehicles |
WO2019168530A1 (en) * | 2018-02-28 | 2019-09-06 | Nissan North America, Inc. | Transportation network infrastructure for autonomous vehicle decision making |
US10884115B2 (en) * | 2018-03-09 | 2021-01-05 | Waymo Llc | Tailoring sensor emission power to map, vehicle state, and environment |
US10928507B2 (en) * | 2018-06-13 | 2021-02-23 | GM Global Technology Operations LLC | Apparatus and method for improved radar beamforming |
US10706724B2 (en) | 2018-08-01 | 2020-07-07 | GM Global Technology Operations LLC | Controlling articulating sensors of an autonomous vehicle |
US11186234B2 (en) * | 2018-10-15 | 2021-11-30 | Cyngn, Inc. | Vehicle sensor systems |
EP3644095A1 (en) * | 2018-10-23 | 2020-04-29 | Veoneer Sweden AB | Object detection system |
CN109459734B (zh) * | 2018-10-30 | 2020-09-11 | 百度在线网络技术(北京)有限公司 | 一种激光雷达定位效果评估方法、装置、设备及存储介质 |
CN113287031B (zh) * | 2018-11-02 | 2024-07-23 | 伟摩有限责任公司 | 车辆的多个旋转传感器的同步 |
US10976420B2 (en) * | 2018-11-02 | 2021-04-13 | Waymo Llc | Methods and systems for detecting sensor occlusions |
US10768307B2 (en) * | 2018-12-31 | 2020-09-08 | Lyft, Inc. | Systems and methods for estimating vehicle speed based on radar |
EP3914932A4 (en) * | 2019-03-14 | 2022-11-16 | Waymo LLC | METHODS AND SYSTEMS FOR DETECTING OBSTACLES ON A SENSOR HOUSING |
US11280897B2 (en) * | 2019-03-31 | 2022-03-22 | Waymo Llc | Radar field of view extensions |
US11226624B2 (en) * | 2019-04-11 | 2022-01-18 | Motorola Solutions, Inc. | System and method for enabling a 360-degree threat detection sensor system to monitor an area of interest surrounding a vehicle |
US20200341111A1 (en) * | 2019-04-24 | 2020-10-29 | GM Global Technology Operations LLC | Method and apparatus for radar detection confirmation |
US11242098B2 (en) | 2019-07-26 | 2022-02-08 | Waymo Llc | Efficient autonomous trucks |
DE102019211739A1 (de) * | 2019-08-06 | 2021-02-11 | Ibeo Automotive Systems GmbH | Lidar-Messsystem mit zwei Lidar-Messvorrichtungen |
US20210109523A1 (en) * | 2019-10-10 | 2021-04-15 | Waymo Llc | Sensor field of view in a self-driving vehicle |
DE112020000222T5 (de) | 2019-12-17 | 2021-10-14 | Foretellix Ltd. | System und verfahren davon zur überwachung des ordnungsgemässen verhaltens eines autonomen fahrzeugs |
US11531355B2 (en) | 2020-01-21 | 2022-12-20 | Rideflux Inc. | Method, apparatus, and computer program for controlling autonomous vehicle using preset area information |
US20230093394A1 (en) * | 2020-01-27 | 2023-03-23 | Hewlett-Packard Development Company, L.P. | Detection fields of view |
KR102364616B1 (ko) * | 2020-02-11 | 2022-02-18 | 주식회사 라이드플럭스 | 기 설정된 영역정보를 이용한 자율 주행 차량의 제어 방법, 장치 및 컴퓨터프로그램 |
JP7283413B2 (ja) * | 2020-02-17 | 2023-05-30 | 株式会社デンソー | 車載用の計測装置ユニットおよび車載用の計測装置ユニットにおける統合データ生成方法 |
US11827352B2 (en) * | 2020-05-07 | 2023-11-28 | Skydio, Inc. | Visual observer for unmanned aerial vehicles |
US11608055B2 (en) | 2020-06-04 | 2023-03-21 | Nxp Usa, Inc. | Enhanced autonomous systems with sound sensor arrays |
US11551429B2 (en) | 2020-06-05 | 2023-01-10 | Uatc, Llc | Photorealistic image simulation with geometry-aware composition |
CN111522020A (zh) * | 2020-06-23 | 2020-08-11 | 山东亦贝数据技术有限公司 | 一种园区活动要素混合定位系统及方法 |
US11585669B2 (en) * | 2020-08-31 | 2023-02-21 | Hitachi, Ltd. | Vehicle routing using connected data analytics platform |
JP2022074732A (ja) * | 2020-11-05 | 2022-05-18 | パナソニックホールディングス株式会社 | 自己位置推定装置および移動体 |
EP3995922B1 (en) | 2020-11-10 | 2023-08-23 | Yandex Self Driving Group Llc | Method and system for providing perception scan data for controlling a self-driving vehicle |
CN112455353A (zh) * | 2021-01-07 | 2021-03-09 | 蔚来汽车科技(安徽)有限公司 | 一种支架、支架总成、车顶装置以及车辆 |
DE102021206983A1 (de) * | 2021-07-02 | 2023-01-05 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zum Unterstützen einer Umfelderkennung für ein automatisiert fahrendes Fahrzeug |
USD1018337S1 (en) | 2021-12-23 | 2024-03-19 | Waymo Llc | Sensor assembly |
USD1014398S1 (en) | 2021-12-23 | 2024-02-13 | Waymo Llc | Vehicle |
US12049201B2 (en) | 2022-03-09 | 2024-07-30 | Ford Global Technologies, Llc | Vehicle sensor cleaning system |
US12021107B2 (en) | 2022-06-03 | 2024-06-25 | Lg Innotek Co., Ltd. | Systems and methods for breakdown voltage correction in Geiger-mode avalanche photodiode (APD) focal plane arrays (FPA) |
DE102022206547A1 (de) * | 2022-06-28 | 2023-12-28 | Zf Friedrichshafen Ag | Automatisiert betreibbares Fahrzeug, insbesondere Shuttle |
CN118259266A (zh) * | 2022-12-26 | 2024-06-28 | 上海禾赛科技有限公司 | 感知系统异物检测方法、处理方法、装置及智能车辆 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6250148B1 (en) * | 1998-01-07 | 2001-06-26 | Donnelly Corporation | Rain sensor mount for use in a vehicle |
CN101522457A (zh) * | 2006-10-09 | 2009-09-02 | 罗伯特·博世有限公司 | 用于扫描车辆周围环境的方法 |
EP2148220A1 (en) * | 2008-07-24 | 2010-01-27 | MAGNETI MARELLI SISTEMI ELETTRONICI S.p.A. | A motor-vehicle driving assistance system based on radar sensors for detecting the presence of obstacles in an area behind and/or beside the vehicle, particularly for parking assistance |
EP2503357A1 (en) * | 2011-03-25 | 2012-09-26 | Jay Young Wee | Vehicular ranging system and method of operation |
WO2013090165A1 (en) * | 2011-12-14 | 2013-06-20 | Robert Bosch Gmbh | Vehicle merge assistance system and method |
CN103402838A (zh) * | 2011-03-02 | 2013-11-20 | 大陆-特韦斯贸易合伙股份公司及两合公司 | 智能车辆传感器设备 |
US9097800B1 (en) * | 2012-10-11 | 2015-08-04 | Google Inc. | Solid object detection system using laser and radar sensor fusion |
Family Cites Families (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0651904U (ja) * | 1992-12-18 | 1994-07-15 | 株式会社小松製作所 | 走行車両の衝突防止装置 |
JP3562278B2 (ja) * | 1997-11-07 | 2004-09-08 | 日産自動車株式会社 | 環境認識装置 |
US6055042A (en) * | 1997-12-16 | 2000-04-25 | Caterpillar Inc. | Method and apparatus for detecting obstacles using multiple sensors for range selective detection |
JP4197209B2 (ja) * | 1999-05-21 | 2008-12-17 | 株式会社小松製作所 | 車両の無人走行システム |
JP3855552B2 (ja) * | 1999-08-26 | 2006-12-13 | 松下電工株式会社 | 車両周辺障害物監視装置 |
DE10149115A1 (de) * | 2001-10-05 | 2003-04-17 | Bosch Gmbh Robert | Objekterfassungsvorrichtung |
JP2005263028A (ja) * | 2004-03-18 | 2005-09-29 | Ichikoh Ind Ltd | 自動車のアウトサイドミラー |
EP1790996A1 (en) * | 2004-09-15 | 2007-05-30 | Matsushita Electric Industrial Co., Ltd. | Monitor |
US7493202B2 (en) * | 2004-11-12 | 2009-02-17 | Takata Corporation | Vehicle safety control system by image processing |
JP2008530914A (ja) * | 2005-02-10 | 2008-08-07 | オートモーティブ システムズ ラボラトリー インコーポレーテッド | ガードビームを有する車輌レーダーシステム |
DE102005009702A1 (de) * | 2005-03-03 | 2006-09-07 | Robert Bosch Gmbh | Abstandsmessvorrichtung und Verfahren zur Funktionsprüfung einer Abstandsmessung |
DE102005013146A1 (de) * | 2005-03-22 | 2006-09-28 | Robert Bosch Gmbh | Ortungssystem mit Blindheitserkennung |
JP4545047B2 (ja) * | 2005-06-03 | 2010-09-15 | Tcm株式会社 | 移動体用人検知器 |
WO2007129382A1 (ja) * | 2006-04-28 | 2007-11-15 | Panasonic Corporation | ナビゲーション装置およびその方法 |
JP4745151B2 (ja) * | 2006-06-30 | 2011-08-10 | セコム株式会社 | 移動ロボット |
JP2008129899A (ja) * | 2006-11-22 | 2008-06-05 | Sharp Corp | 自走式移動体 |
US8605947B2 (en) | 2008-04-24 | 2013-12-10 | GM Global Technology Operations LLC | Method for detecting a clear path of travel for a vehicle enhanced by object detection |
US8165796B2 (en) | 2008-09-05 | 2012-04-24 | Robert Bosch Gmbh | Collision avoidance system and method |
US8473171B2 (en) * | 2008-10-09 | 2013-06-25 | GM Global Technology Operations LLC | Apparatus and method for optimizing a vehicle collision preparation response |
US8126642B2 (en) * | 2008-10-24 | 2012-02-28 | Gray & Company, Inc. | Control and systems for autonomously driven vehicles |
US20100235129A1 (en) | 2009-03-10 | 2010-09-16 | Honeywell International Inc. | Calibration of multi-sensor system |
CN102893173B (zh) * | 2010-03-05 | 2014-12-03 | 温莎大学 | 雷达系统及其制作方法 |
US8692980B2 (en) * | 2010-11-01 | 2014-04-08 | Advanced Scientific Concepts, Inc. | Flash LADAR collision avoidance system |
WO2012068064A1 (en) | 2010-11-15 | 2012-05-24 | Image Sensing Systems, Inc. | Hybrid traffic sensor system and associated method |
US8913129B2 (en) | 2011-01-27 | 2014-12-16 | Thermal Matrix USA, Inc. | Method and system of progressive analysis for assessment of occluded data and redundant analysis for confidence efficacy of non-occluded data |
US8589014B2 (en) * | 2011-06-01 | 2013-11-19 | Google Inc. | Sensor field selection |
US9145140B2 (en) | 2012-03-26 | 2015-09-29 | Google Inc. | Robust method for detecting traffic signals and their associated states |
US8712624B1 (en) | 2012-04-06 | 2014-04-29 | Google Inc. | Positioning vehicles to improve quality of observations at intersections |
US9626599B2 (en) * | 2012-04-09 | 2017-04-18 | GM Global Technology Operations LLC | Reconfigurable clear path detection system |
ES2567413T3 (es) * | 2012-05-16 | 2016-04-22 | Heraeus Medical Gmbh | Cemento óseo en forma de pasta |
US20130321627A1 (en) | 2012-05-31 | 2013-12-05 | John C. Turn, JR. | Road departure sensing and intelligent driving systems and methods |
US8825371B2 (en) * | 2012-12-19 | 2014-09-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Navigation of on-road vehicle based on vertical elements |
JP6032034B2 (ja) * | 2013-02-05 | 2016-11-24 | 日産自動車株式会社 | 物体検知装置 |
JP2014154125A (ja) * | 2013-02-14 | 2014-08-25 | Aisin Aw Co Ltd | 走行支援システム、走行支援方法及びコンピュータプログラム |
JP6192958B2 (ja) * | 2013-03-19 | 2017-09-06 | 株式会社Ihiエアロスペース | 移動体の環境地図生成制御装置、移動体、及び移動体の環境地図生成方法 |
US9164511B1 (en) | 2013-04-17 | 2015-10-20 | Google Inc. | Use of detected objects for image processing |
US9069080B2 (en) | 2013-05-24 | 2015-06-30 | Advanced Scientific Concepts, Inc. | Automotive auxiliary ladar sensor |
WO2015068249A1 (ja) | 2013-11-08 | 2015-05-14 | 株式会社日立製作所 | 自律走行車両、及び自律走行システム |
US9834207B2 (en) * | 2014-04-15 | 2017-12-05 | GM Global Technology Operations LLC | Method and system for detecting, tracking and estimating stationary roadside objects |
US9733348B2 (en) * | 2014-07-03 | 2017-08-15 | GM Global Technology Operations LLC | Vehicle radar with beam adjustment |
US20160231746A1 (en) * | 2015-02-06 | 2016-08-11 | Delphi Technologies, Inc. | System And Method To Operate An Automated Vehicle |
KR20160115448A (ko) * | 2015-03-27 | 2016-10-06 | 주식회사 만도 | 차량의 운전 보조 시스템 및 운전 보조 방법 |
US10267908B2 (en) * | 2015-10-21 | 2019-04-23 | Waymo Llc | Methods and systems for clearing sensor occlusions |
-
2015
- 2015-10-21 US US14/919,667 patent/US10267908B2/en active Active
-
2016
- 2016-10-19 CN CN202110190179.1A patent/CN112904343B/zh active Active
- 2016-10-19 WO PCT/US2016/057562 patent/WO2017070127A1/en active Application Filing
- 2016-10-19 JP JP2018518604A patent/JP6600089B2/ja active Active
- 2016-10-19 EP EP16858081.9A patent/EP3347784A4/en active Pending
- 2016-10-19 SG SG11201802882TA patent/SG11201802882TA/en unknown
- 2016-10-19 AU AU2016341202A patent/AU2016341202B2/en active Active
- 2016-10-19 KR KR1020207018914A patent/KR102273527B1/ko active IP Right Grant
- 2016-10-19 KR KR1020187013901A patent/KR102063111B1/ko active IP Right Grant
- 2016-10-19 KR KR1020197038945A patent/KR102130630B1/ko active IP Right Grant
- 2016-10-19 CA CA3002537A patent/CA3002537A1/en active Pending
- 2016-10-19 CN CN201680070921.2A patent/CN108292135B/zh active Active
- 2016-10-19 KR KR1020217020467A patent/KR102399363B1/ko active IP Right Grant
-
2018
- 2018-09-26 US US16/143,316 patent/US11249182B2/en active Active
- 2018-12-22 HK HK18116474.1A patent/HK1257317A1/zh unknown
-
2019
- 2019-10-03 JP JP2019182885A patent/JP7102380B2/ja active Active
-
2020
- 2020-02-12 AU AU2020200989A patent/AU2020200989B2/en active Active
-
2021
- 2021-05-07 JP JP2021078930A patent/JP2021121541A/ja active Pending
-
2022
- 2022-01-07 US US17/570,466 patent/US20220128681A1/en active Pending
- 2022-01-21 AU AU2022200408A patent/AU2022200408B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6250148B1 (en) * | 1998-01-07 | 2001-06-26 | Donnelly Corporation | Rain sensor mount for use in a vehicle |
CN101522457A (zh) * | 2006-10-09 | 2009-09-02 | 罗伯特·博世有限公司 | 用于扫描车辆周围环境的方法 |
EP2148220A1 (en) * | 2008-07-24 | 2010-01-27 | MAGNETI MARELLI SISTEMI ELETTRONICI S.p.A. | A motor-vehicle driving assistance system based on radar sensors for detecting the presence of obstacles in an area behind and/or beside the vehicle, particularly for parking assistance |
CN103402838A (zh) * | 2011-03-02 | 2013-11-20 | 大陆-特韦斯贸易合伙股份公司及两合公司 | 智能车辆传感器设备 |
EP2503357A1 (en) * | 2011-03-25 | 2012-09-26 | Jay Young Wee | Vehicular ranging system and method of operation |
WO2013090165A1 (en) * | 2011-12-14 | 2013-06-20 | Robert Bosch Gmbh | Vehicle merge assistance system and method |
CN104115198A (zh) * | 2011-12-14 | 2014-10-22 | 罗伯特·博世有限公司 | 车辆合流辅助系统和方法 |
US9097800B1 (en) * | 2012-10-11 | 2015-08-04 | Google Inc. | Solid object detection system using laser and radar sensor fusion |
Non-Patent Citations (1)
Title |
---|
智能车辆环境感知传感器的应用现状;高德芝 等;现代电子技术;20081231(第19期);第151-156页 * |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2022200408B2 (en) | Methods and systems for clearing sensor occlusions | |
AU2022200105B2 (en) | Vehicle with multiple light detection and ranging devices (lidars) | |
CN109844562B (zh) | 用于自主车辆感知和计划的雷达生成的占用网格 | |
KR102182392B1 (ko) | 장거리 조종가능 lidar 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |