CN112352169A - 用于检测环境的方法和设备以及具有这种设备的车辆 - Google Patents

用于检测环境的方法和设备以及具有这种设备的车辆 Download PDF

Info

Publication number
CN112352169A
CN112352169A CN201980039872.XA CN201980039872A CN112352169A CN 112352169 A CN112352169 A CN 112352169A CN 201980039872 A CN201980039872 A CN 201980039872A CN 112352169 A CN112352169 A CN 112352169A
Authority
CN
China
Prior art keywords
laser scanner
exposure
environment
exposure time
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980039872.XA
Other languages
English (en)
Other versions
CN112352169B (zh
Inventor
M·舍费尔
M·格雷斯曼
H·埃格斯
P·雷纳
M·梅因克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DAIMLER
Robert Bosch GmbH
Original Assignee
DAIMLER
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DAIMLER, Robert Bosch GmbH filed Critical DAIMLER
Publication of CN112352169A publication Critical patent/CN112352169A/zh
Application granted granted Critical
Publication of CN112352169B publication Critical patent/CN112352169B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种用于检测尤其是车辆的环境的方法，其中，借助激光扫描仪L周期性地检测第一检测区域中的环境，借助光学相机K检测第二检测区域中的环境，第一检测区域和第二检测区域至少彼此重叠，所述相机K的光学传感器在激光扫描仪L的一个周期内至少曝光两次，并且这样选择用于相机K光学传感器的所述至少两次曝光中的第一次曝光的第一次曝光时间并使该第一次曝光时间与激光扫描仪L同步，使得第一次曝光在第一时间窗口内进行，在该第一时间窗口内激光扫描仪L检测第一检测区域。在一种示例中激光扫描仪L的周期是90ms，在这段时间内激光扫描仪扫描0°到360°的整个扫描区域。在此在30ms内扫描120°的第一检测区域。在不限制一般性的情况下，第一检测区域在此开始于0°并且终止于120°处。用于相机K的光学传感器的第一次曝光时间在时间上设置在第一时间窗口的中间区域中。第二次曝光时间在激光扫描仪的周期内设置在第一时间窗口之外。在90ms或360°的扫描角度S之后该方法周期性地继续进行。用于第二次曝光的第二次曝光时间优选选择得长于用于第一次曝光的第一次曝光时间。尤其是由此可确保一方面第一次曝光时间短到足以实现足够清晰的图像来进行语义分割并将该语义分割应用于由激光扫描仪L采集的3D数据，并且另一方面确保第二次曝光时间选择得长到足以可靠地检测脉冲宽度调制的光信号、例如借助发光二极管运行的交通信号灯。

Description

用于检测环境的方法和设备以及具有这种设备的车辆
技术领域
本发明涉及一种用于检测环境、尤其是车辆环境的方法和设备以及具有这种设备的车辆。
背景技术
已知尤其是在车辆中将光学相机与激光扫描方法或激光扫描仪组合来检测环境。例如美国专利申请US2016/0180177 A1公开了一种设置在机动车中的用于估算车道边界的系统，该系统一方面具有相机并且另一方面具有激光雷达检测器，从相机数据确定车道边界的第一概率模型，从激光雷达数据确定车道边界的第二概率模型，并且将这样确定的概率模型合并以获得一个合并的概率模型并由其估算车道边界。
由德国专利申请DE102017108248 A1已知一种由计算机实现的用于识别道路特征的方法，在其中接收并进一步处理源自与道路上的车辆连接的相机系统的图像。可将如此获得的数据与其它传感器数据、如激光雷达传感器的数据合并，以提高检测和分类的准确性和可靠性。
通常，光学相机提供检测环境的高分辨率拍摄图像，但没有距离信息。而激光扫描仪确定被扫描的环境的3D点云，从而激光扫描仪可提供高度精确的距离信息。但它们的分辨率明显较低。
此外，已知尤其是借助神经网络对由光学相机拍摄的图像进行语义分割，在此识别图像中的物体并且为每个像素分配类别标签、如“车道”、“车辆”或“行人”。以此方式将图像分为语义段。有利的是，将语义分割的这些信息与由激光扫描仪获得的3D点云相结合，从而也为点云的3D点分配相应的类别标签。这将显著改善车辆中的场景解释以及对其它交通参与者行为的预测。但为此需要将一方面激光扫描仪对环境的扫描与另一方面光学相机中的环境成像精确同步并且需要为光学相机选择尽可能短的曝光时间，以便即使在车辆行驶时也可获得足够清晰的图像。
但如果相机图像优选还用于识别光信号、如交通信号灯、设计为光信号的交通标志、刹车灯、转向灯等时，则这种短的曝光时间是有问题的。这尤其是因为现代光信号通常利用发光二极管运行，发光二极管仅发射短的、快速地依次相继的光脉冲，在此发光二极管尤其是借助脉冲宽度调制运行。如果曝光时间太短，则存在可能在光信号的光脉冲之间(即在黑暗阶段)发生曝光的风险，在此将无法再在图像中识别光信号的状态、如交通信号灯的开关状态、所显示交通标志的类型等。
因此，一方面依靠相机图像对3D点云进行可靠的语义分割并且另一方面对光信号进行可靠的识别似乎是相互对立且互不兼容的目标。
发明内容
本发明所基于的任务是提出一种用于检测尤其是车辆的环境的方法和设备，该车辆具有这种设备，在此所述缺点不会出现。
所述任务通过独立权利要求的技术方案得以解决。有利的实施方式由从属权利要求给出。
所述任务尤其是通过用于检测环境、尤其是车辆环境的方法来解决，其中借助激光扫描仪周期性地检测第一检测区域中的环境，借助光学相机检测第二检测区域中的环境。第一检测区域和第二检测区域在此至少彼此重叠。所述相机的光学传感器在激光扫描仪的一个周期内至少曝光两次，并且这样选择用于光学传感器的所述至少两次曝光中的第一次曝光的第一次曝光时间并使该第一次曝光时间与激光扫描仪同步，使得第一次曝光在第一时间窗口内进行，在该第一时间窗口内激光扫描仪检测第一检测区域。以此方式确保通过光学相机进行的图像拍摄与第一检测区域的检测同步进行，所述第一检测区域与第二检测区域至少彼此重叠，因此一方面激光扫描仪和另一方面光学相机至少部分地成像环境的相同区域。第一时间窗口内的第一次曝光时间选择得足够短，以便即使在车辆行驶时也能由相机获得清晰的图像。即相机的曝光与激光扫描仪同步，并且相机在激光扫描仪的周期内至少曝光两次，其中一次曝光与激光扫描仪对环境的扫描同时进行，尤其是与对共同的、重叠的检测区域的扫描同时进行。通过在激光扫描仪的该周期内设置光学传感器的第二次曝光也能够可靠地检测通过脉冲宽度调制运行的光信号，因为用于第二次曝光的第二次曝光时间原则上可在激光扫描仪的周期内任意选择并且因此尤其是可选择得比第一时间窗口内的第一次曝光时间长。因此，在激光扫描仪的一个周期内不仅可获得允许对光学相机图像和由激光扫描仪采集的3D点云进行语义分割的数据，也可获得允许可靠地识别光信号的光学数据。
检测区域在此尤其是理解为围绕竖直轴线、尤其是车辆的竖直轴线的角度范围、即方位角范围。第一检测区域是激光扫描仪实际检测环境的相应角度范围。第一检测区域在此优选小于激光扫描仪在一个周期内扫描的扫描区域。激光扫描仪尤其是可构造为围绕一条轴线旋转的激光扫描仪，其优选围绕竖直轴线、即垂直轴线旋转，在此激光扫描仪在一个周期内扫描360°的扫描区域。但它优选不在整个扫描区域中采集数据，而是仅在较小的第一检测区域中采集数据。
第二检测区域相应地是由光学相机的光学器件的开度角给定的角度范围。
第一检测区域和第二检测区域至少彼此重叠意味着它们至少在部分区上重合。优选所述检测区域是基本上重合的，特别优选它们完全重叠，尤其是选自第一检测区域和第二检测区域的一个检测区域可完全位于选自第二检测区域和第一检测区域的另一个检测区域内部。通过使所述检测区域处处彼此重叠，它们也可完全重合。术语“重叠”和“重合”在此尤其是参考方位角使用。
竖直轴线或垂直轴线在此尤其是理解为重力矢量的方向和/或垂直于支承平面或车道平面的轴线，构造用于实施该方法的车辆停放或行驶于所述平面上。
作为激光扫描仪优选使用激光雷达检测器(Lidar-Light Detection AndRanging)。
光学相机理解为光学图像拍摄装置，其构造用于拍摄静态或动态图像、尤其是二维静态或动态图像，光学相机尤其是可构造为照相机或摄像机。但也可使用光学3D相机。
激光扫描仪优选连续地周期性地扫描环境。相机的光学传感器优选在激光扫描仪的多个周期中分别至少曝光两次。特别优选光学传感器在激光扫描仪的每个周期中至少曝光两次。
优选相机的光学传感器在激光扫描仪的一个周期内曝光两次以上。多次曝光可以有利的方式用于获得关于环境的附加或更准确的信息，尤其是用于减少图像采集的死区时间。在此尤其是可在第一时间窗口之外设置一次以上的曝光。尤其是可设置一次以上且曝光时间长于第一时间窗口内的第一次曝光时间的图像拍摄。
根据本发明的一种扩展方案规定，光学传感器的所述至少两次曝光中的第二次曝光在第一时间窗口之外在第二时间窗口中进行，在该第二时间窗口中激光扫描仪优选不检测第一检测区域。一般来说可为第二次曝光在激光扫描仪的周期内选择任意的时间窗口，因为就此而言不需要与激光扫描仪的检测同步。但第二次曝光在第一时间窗口之外的时间定位能够特别清晰地分离旨在用于与激光扫描仪的扫描同步的数据与不旨在用于此的数据。
根据本发明的一种扩展方案规定，第一次曝光在时间上在第一时间窗口的中间区域中进行，尤其是该中间区域关于第一时间窗口的一半处对称。由于根据一种优选实施方式激光扫描仪以恒定的检测速度、尤其是以恒定的角速度检测第一检测区域，因此该选择导致第一次曝光正好在激光扫描仪经过第一检测区域的中间时进行。由此实现一方面所拍摄光学图像与另一方面激光扫描仪所采集的3D点之间的特别良好一致性。如果光学相机也以其第二检测区域与第一检测区域居中对齐，则尤其如此。
根据本发明的一种扩展方案规定，用于第二次曝光的第二次曝光时间选择得长于用于第一次曝光的第一次曝光时间。在此用于第二次曝光的第二次曝光时间选择得如此之长，使得能够可靠地识别通过脉冲宽度调制运行的光信号、尤其是交通信号灯、发光的交通标志、刹车灯、转向灯等，从而在第二次曝光时间内尤其是对于已知的最短的脉冲宽度调制交通信号而言也检测到至少一个明亮阶段(Hell-Phase)。
第一次曝光时间优选选择得如此之短，使得即使在车辆运动时也能够获得足够清晰的图像，可对这些图像进行有意义的语义分割并将其分配给由激光扫描仪采集的3D点云。
根据本发明的一种扩展方案规定，第一次曝光时间和/或第二次曝光时间适配于激光扫描仪的周期。以此方式一方面确保了光学检测与激光扫描仪的精确同步并且另一方面确保了尤其是第二次曝光时间不超过激光扫描仪的周期。
第一次曝光时间优选最多10ms、优选最多8ms、优选最多7ms、优选最多6ms、优选最多5ms、优选最多4ms、优选为4ms。
第二次曝光时间优选最多45ms、优选最多40ms、优选最多30ms、优选最多20ms、优选最多15ms、优选为12ms、优选多于10ms、优选至少11ms至最多45ms、优选最多11ms至最多40ms、优选至少11ms至最多30ms、优选至少11ms至最多20ms、优选至少11ms至最多15ms。
在一种优选实施方式中，激光扫描仪的周期是90ms，激光扫描仪在这90ms内扫描360°的扫描区域。第一检测区域优选是120°的角度范围，其因此在激光扫描仪的恒定角速度下在30ms内被扫描。激光扫描仪需要周期的剩余60ms来完成旋转。在不限制一般性的情况下，第一检测区域位于0°至120°的角度范围内。如果第一次曝光时间是4ms，则优选当激光扫描仪位于大约60°处、即位于第一检测区域的中间时，光学相机进行第一次曝光。在不限制一般性的情况下，例如如果激光扫描仪在时间点t＝0时从0°处开始扫描，则相机的曝光优选在时间点t＝13ms时开始并持续4ms。在这段时间内激光扫描仪——在t＝15ms时——经过第一检测区域的中间。在30ms后扫描完整个第一检测区域。
光学传感器的第二次曝光何时进行原则上并不重要。例如如果第二次曝光从t＝58ms时开始，则可实现45ms的恒定的相机周期时间。为了检测目前已知的脉冲宽度调制光信号，12ms持续时间对于第二次曝光时间而言是有利的。每90ms后开始一个新的测量周期。
因此，如下协调光学相机的曝光和曝光时间以及由激光扫描仪进行的扫描：在激光扫描仪扫描期间，当且仅当激光扫描仪的当前扫描区域与相机的视向一致时，光学相机短暂地曝光。由于激光扫描仪的周期基于旋转单元通常长于光学相机的曝光时间和两次曝光之间的死区时间，因而当激光扫描仪正好未检测环境或正在扫描相机第二检测区域之外的区域时，相机可进行另一次曝光时间较长的曝光。由此产生一个曝光时间较短且与激光扫描仪同步的图像以及一个为了识别光信号而较长时间曝光的图像。
激光扫描仪在第一检测区域之外不检测环境是并非绝对必要的。相反，激光扫描仪原则上也可在整个扫描区域内扫描环境。但在此情况下，第一检测区域是激光扫描仪的与光学相机的第二检测区域重叠的扫描区域。
根据本发明的一种扩展方案规定，对光学传感器在第一次曝光时间期间拍摄的至少一个图像进行语义分割，将所述语义分割应用于激光扫描仪的数据。尤其是将在第一曝光时间期间拍摄的图像的语义分割应用于激光扫描仪的这样的数据，所述数据在激光扫描仪的与拍摄在第一曝光时间期间拍摄的图像相同的周期中采集。这允许将光学图像的语义分割精确地分配给激光扫描仪的数据。
语义分割优选借助神经网络、尤其是所谓的卷积神经网络(ConvolutionalNeural Network)、尤其是借助深度学习来进行。
最后，所述任务还通过一种用于检测环境、尤其是车辆环境的设备来解决，所述设备具有激光扫描仪，该激光扫描仪构造用于周期性地检测环境的第一检测区域，所述设备还具有光学相机，该光学相机构造用于检测第二检测区域中的环境，所述第一检测区域和第二检测区域至少彼此重叠。所述设备还具有控制装置，该控制装置一方面与激光扫描仪并且另一方面与光学相机作用连接，以控制激光扫描仪和光学相机，所述控制装置构造用于实施根据本发明的方法或根据前述实施方式之一的方法。关于设备尤其是产生已经结合方法说明的优点。
光学相机和激光扫描仪优选就其主轴线而言彼此平行地定向。所述主轴线在此是指向检测区域方向的轴线。激光扫描仪的主轴线尤其是对称地延伸到第一检测区域中的轴线。光学相机的主轴线尤其是相机光学器件的光轴。如果光学相机和激光扫描仪的主轴线彼此平行地定向，则它们具有相同的视向。
所述任务还通过提供一种车辆来解决，其具有根据本发明的设备或根据上述实施例之一的设备。关于车辆尤其是产生已经结合方法描述的优点。
根据本发明的一种扩展方案规定，所述车辆构造为机动车、尤其是构造为轿车、卡车或商用车。
附图说明
下面参照附图更详细地阐述本发明。附图如下：
图1示出用于检测环境的设备的一种实施例的示意图；和
图2示出用于检测环境的方法的一种实施例的示意图。
具体实施方式
图1示出用于检测环境、尤其是示意性示出的车辆3的环境的设备1的一种实施例的示意图，该车辆可优选构造为机动车、尤其是构造为轿车、卡车或商用车。
设备1具有激光扫描仪5，其构造用于周期性地在第一检测区域7中检测环境(在此是车辆3的环境)。设备1还具有光学相机9，其构造用于在第二检测区域11中检测环境。在此第一检测区域7和第二检测区域11至少部分地重叠。设备1还具有控制装置13，该控制装置一方面与激光扫描仪5并且另一方面与光学相机9作用连接，从而控制装置13可控制激光扫描仪5和光学相机9。控制装置13在此构造用于实施下面仍将说明的方法。
光学相机9和激光扫描仪5就其主轴线而言彼此平行地定向。图1示出激光扫描仪5的第一主轴线15和相机9的第二主轴线17，第一主轴线和第二主轴线彼此平行地定向，使得一方面激光扫描仪5和另一方面光学相机9具有相同的视向。
检测区域7、11均为方位角的角度范围。
激光扫描仪5尤其是具有比第一检测区域7大的扫描区域。尤其是激光扫描仪的扫描区域包括360°的全方位角范围。激光扫描仪周期性地扫描整个扫描区域，激光扫描仪在一个这样的周期内扫描环境的第一检测区域7。
第一检测区域在此例如是120°的角度范围，它在图1中不限制一般性地从0°延伸到120°。第一主轴线15将第一检测区域7分成两半，即在60°处。激光扫描仪5优选以恒定的角速度对扫描区域进行扫描。
在用于检测环境的方法范围内，相机9的光学传感器19在激光扫描仪5的一个周期内至少曝光两次。在此这样选择用于光学传感器19的所述至少两次曝光中的第一次曝光的第一次曝光时间并使该第一次曝光时间与激光扫描仪5同步，使得第一次曝光在第一时间窗口内进行，在该第一时间窗口中激光扫描仪5扫描并因此检测第一检测区域7。
光学传感器19的所述至少两次曝光中的第二次曝光可在第一时间窗口之外在第二时间窗口内进行，在第二时间窗口中激光扫描仪5优选不扫描第一检测区域7。
优选第一次曝光在时间上在第一时间窗口的中间区域中进行，尤其是该中间区域关于第一时间窗口的一半处对称。这确保第一次曝光在激光扫描仪5正好检测第一检测区域7的中间区域时才进行，优选该中间区域在图1中尤其是关于60°标记对称、即尤其是关于第一主轴线15对称。
用于第二次曝光的第二次曝光时间优选选择得长于用于第一次曝光的第一次曝光时间。尤其是可通过对曝光时间的特定选择确保一方面第一次曝光时间短到足以实现足够清晰的图像来进行语义分割并将该语义分割应用于由激光扫描仪采集的3D数据，并且另一方面确保第二次曝光时间选择得长到足以可靠地检测脉冲宽度调制的光信号。
第一次曝光时间和/或第二次曝光时间在此适配于激光扫描仪5的周期。
光学传感器19或光学相机9的在第一次曝光时间期间拍摄的至少一个图像被语义分割，该语义分割应用于激光扫描仪5的数据，尤其是应用于在激光扫描仪5的与在第一次曝光时间期间拍摄的图像相同的周期内获取的数据。
图2示出该方法一种实施方式的示意图。在此在最低的轴线上上示出以ms为单位的时间t。在最上方的轴线上示出相机9的曝光K；在从上方数第二条轴线上示出激光扫描仪5在第一检测区域7中对环境的扫描作为激光扫描L；在从上方数第三条轴线上示出在从0°到360°的整个扫描区域上激光扫描仪5的扫描角度S。
纯示例性且不限制一般性地，激光扫描仪5的周期在此是90ms，在该周期内扫描从0°到360°的整个扫描区域。在此在30ms内扫描120°的第一检测区域7。不限制一般性地，第一检测区域7在此开始于0°并且终止于120°。
光学传感器19的第一次曝光时间在此是4ms。这样定位该第一次曝光时间，使得其在时间上设置在第一时间窗口(即从t＝0ms到t＝30ms)的中间区域中，在此第一次曝光时间开始于t＝13ms并且相应地终止于t＝17ms。因此，第一次曝光时间的时间中点正好与激光扫描仪5到达第一检测区域7的60°标记的时间点、即t＝15ms重合。
第二次曝光时间为12ms。它设置在激光扫描仪5周期中的第一时间窗口之外，第二次曝光时间在此开始于t＝58ms，即与第一次曝光时间开始时的时间间隔为45ms。
在90ms或360°扫描角度S之后，所述方法周期性地继续进行。
总之，借助在此提出的方法、设备1和车辆3不仅可对相机图像和激光扫描仪5的3D数据进行有意义的语义分割，而且也能够可靠地识别脉冲宽度调制的光信号。

Claims (10)

1.一种用于检测环境、尤其是车辆(3)的环境的方法，其中，
借助激光扫描仪(5)周期性地检测第一检测区域(7)中的环境，
借助光学相机(9)检测第二检测区域(11)中的环境，
第一检测区域(7)和第二检测区域(11)至少彼此重叠，
所述相机(9)的光学传感器(19)在激光扫描仪(5)的一个周期内至少曝光两次，并且
这样选择用于光学传感器(9)的所述至少两次曝光中的第一次曝光的第一次曝光时间并使该第一次曝光时间与激光扫描仪(5)同步，使得
第一次曝光在第一时间窗口内进行，在该第一时间窗口内激光扫描仪(5)检测第一检测区域(7)。
2.根据权利要求1所述的方法，其特征在于，所述光学传感器(19)的所述至少两次曝光中的第二次曝光在第一时间窗口之外在第二时间窗口中进行，在该第二时间窗口中激光扫描仪(15)优选不检测第一检测区域(7)。
3.根据前述权利要求中任一项所述的方法，其特征在于，所述第一次曝光在时间上在第一时间窗口的中间区域中进行，尤其是该中间区域关于第一时间窗口的一半处对称。
4.根据前述权利要求中任一项所述的方法，其特征在于，用于第二次曝光的第二次曝光时间选择得长于用于第一次曝光的第一次曝光时间。
5.根据前述权利要求中任一项所述的方法，其特征在于，所述第一次曝光时间和/或第二次曝光时间适配于激光扫描仪(5)的周期。
6.根据前述权利要求中任一项所述的方法，其特征在于，对所述光学传感器(19)在第一次曝光时间期间拍摄的至少一个图像进行语义分割，将如此获得的语义分割应用于激光扫描仪(5)的数据。
7.一种用于检测环境、尤其是车辆(3)的环境的设备(1)，该设备包括：
激光扫描仪(5)，其构造用于周期性地检测第一检测区域(7)中的环境，
光学相机(9)，其构造用于检测第二检测区域(11)中的环境，
所述第一检测区域(7)和第二检测区域(11)至少彼此重叠，并且包括
控制装置(13)，其与激光扫描仪(5)和光学相机(9)作用连接，以控制激光扫描仪(5)和光学相机(9)，
所述控制装置(13)构造用于实施根据权利要求1至6中任一项所述的方法。
8.根据权利要求7所述的设备(1)，其特征在于，所述光学相机(9)和激光扫描仪(5)就其各自的主轴线(15、17)而言彼此平行地定向。
9.一种车辆(3)，其具有根据权利要求7或8所述的设备(1)。
10.根据权利要求9所述的车辆(3)，其特征在于，所述车辆构造为机动车、尤其是构造为轿车、卡车或商用车。
CN201980039872.XA 2018-06-15 2019-05-09 用于检测环境的方法和设备以及具有这种设备的车辆 Active CN112352169B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018004782.3A DE102018004782A1 (de) 2018-06-15 2018-06-15 Verfahren und Vorrichtung zum Erfassen einer Umgebung, sowie Fahrzeug mit einer solchen Vorrichtung
DE102018004782.3 2018-06-15
PCT/EP2019/061904 WO2019238319A1 (de) 2018-06-15 2019-05-09 Verfahren und vorrichtung zum erfassen einer umgebung, sowie fahrzeug mit einer solchen vorrichtung

Publications (2)

Publication Number Publication Date
CN112352169A true CN112352169A (zh) 2021-02-09
CN112352169B CN112352169B (zh) 2024-03-19

Family

ID=66484057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980039872.XA Active CN112352169B (zh) 2018-06-15 2019-05-09 用于检测环境的方法和设备以及具有这种设备的车辆

Country Status (4)

Country Link
US (1) US11443529B2 (zh)
CN (1) CN112352169B (zh)
DE (1) DE102018004782A1 (zh)
WO (1) WO2019238319A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11493922B1 (en) 2019-12-30 2022-11-08 Waymo Llc Perimeter sensor housings
US11557127B2 (en) 2019-12-30 2023-01-17 Waymo Llc Close-in sensing camera system
CN112040213B (zh) * 2020-09-11 2021-09-14 梅卡曼德（北京）机器人科技有限公司 一种用于成像扫描信号同步的调制方法、装置及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6600168B1 (en) * 2000-02-03 2003-07-29 Genex Technologies, Inc. High speed laser three-dimensional imager
EP1615051A1 (en) * 2004-07-07 2006-01-11 Nissan Motor Co., Ltd. Object detection apparatus, especially for vehicles
US20110286661A1 (en) * 2010-05-20 2011-11-24 Samsung Electronics Co., Ltd. Method and apparatus for temporally interpolating three-dimensional depth image
CN105549023A (zh) * 2014-10-23 2016-05-04 现代摩比斯株式会社 物体检测装置及其工作方法
US20170041562A1 (en) * 2015-08-07 2017-02-09 Omnivision Technologies, Inc. Method and system to implement a stacked chip high dynamic range image sensor
WO2017024869A1 (zh) * 2015-08-12 2017-02-16 杭州思看科技有限公司 采用闪烁方式投影的手持激光三维扫描仪
US20170219693A1 (en) * 2013-11-30 2017-08-03 Bae Systems Information & Electronic Systems Integration Inc. Laser detection and image fusion system and method
CN108139483A (zh) * 2015-10-23 2018-06-08 齐诺马蒂赛股份有限公司 用于确定到对象的距离的系统和方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9530062B2 (en) 2014-12-23 2016-12-27 Volkswagen Ag Fused raised pavement marker detection for autonomous driving using lidar and camera
DE102017108248A1 (de) 2016-04-19 2017-10-19 GM Global Technology Operations LLC Strassenmerkmalserkennung mit einem fahrzeugkamerasystem
US20180136332A1 (en) 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
CN111492403A (zh) 2017-10-19 2020-08-04 迪普迈普有限公司 用于生成高清晰度地图的激光雷达到相机校准

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6600168B1 (en) * 2000-02-03 2003-07-29 Genex Technologies, Inc. High speed laser three-dimensional imager
EP1615051A1 (en) * 2004-07-07 2006-01-11 Nissan Motor Co., Ltd. Object detection apparatus, especially for vehicles
US20110286661A1 (en) * 2010-05-20 2011-11-24 Samsung Electronics Co., Ltd. Method and apparatus for temporally interpolating three-dimensional depth image
US20170219693A1 (en) * 2013-11-30 2017-08-03 Bae Systems Information & Electronic Systems Integration Inc. Laser detection and image fusion system and method
CN105549023A (zh) * 2014-10-23 2016-05-04 现代摩比斯株式会社 物体检测装置及其工作方法
US20170041562A1 (en) * 2015-08-07 2017-02-09 Omnivision Technologies, Inc. Method and system to implement a stacked chip high dynamic range image sensor
WO2017024869A1 (zh) * 2015-08-12 2017-02-16 杭州思看科技有限公司 采用闪烁方式投影的手持激光三维扫描仪
CN108139483A (zh) * 2015-10-23 2018-06-08 齐诺马蒂赛股份有限公司 用于确定到对象的距离的系统和方法

Also Published As

Publication number Publication date
DE102018004782A1 (de) 2019-12-19
WO2019238319A1 (de) 2019-12-19
US20210271908A1 (en) 2021-09-02
CN112352169B (zh) 2024-03-19
US11443529B2 (en) 2022-09-13

Similar Documents

Publication Publication Date Title
CN108957478B (zh) 多传感器同步采样系统及其控制方法、车辆
US10818172B2 (en) Method, device and system for processing startup of preceding vehicle
US11287523B2 (en) Method and apparatus for enhanced camera and radar sensor fusion
CN112352169B (zh) 用于检测环境的方法和设备以及具有这种设备的车辆
Held et al. Precision tracking with sparse 3d and dense color 2d data
US8164432B2 (en) Apparatus, method for detecting critical areas and pedestrian detection apparatus using the same
KR20230004425A (ko) 자율 주행 차량 환경 인지 소프트웨어 구조
US11061122B2 (en) High-definition map acquisition system
WO2016125014A1 (en) Vehicle speed detection
US11146719B2 (en) Camera system having different shutter modes
KR19990072061A (ko) 차량 항법 시스템 및 상기 항법 시스템용 신호 처리 방법
CN109703460A (zh) 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法
CN109934108A (zh) 一种多目标多种类的车辆检测和测距系统及实现方法
CN114556249A (zh) 用于预测车辆轨迹的系统和方法
JP2019191133A (ja) 位置推定装置
EP3650271A1 (en) Lane recognition for automotive vehicles
CN109300313B (zh) 违法行为的检测方法、相机及服务器
US8965142B2 (en) Method and device for classifying a light object located ahead of a vehicle
CN112580489A (zh) 交通灯检测方法、装置、电子设备及存储介质
JP2021190848A (ja) 検出装置、検出システム及び検出方法
JP2019511725A (ja) 特に選択されてバックエンドサーバから伝送されたランドマークを用いて、少なくとも部分自動運転を行う車両の姿勢を特定する方法
CN105247571A (zh) 用于构建脉冲地发光的对象的拍摄的方法和设备
US11663834B2 (en) Traffic signal recognition method and traffic signal recognition device
CN113917453A (zh) 一种基于雷达和视频的多传感器融合方法
US10217006B2 (en) Method and device for detecting objects in the dark using a vehicle camera and a vehicle lighting system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant