CN112912766A - 一种探测装置、控制方法、融合探测系统及终端 - Google Patents
一种探测装置、控制方法、融合探测系统及终端 Download PDFInfo
- Publication number
- CN112912766A CN112912766A CN202180000323.9A CN202180000323A CN112912766A CN 112912766 A CN112912766 A CN 112912766A CN 202180000323 A CN202180000323 A CN 202180000323A CN 112912766 A CN112912766 A CN 112912766A
- Authority
- CN
- China
- Prior art keywords
- signal
- laser
- detection
- splitting device
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 665
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000004927 fusion Effects 0.000 title claims abstract description 30
- 238000003384 imaging method Methods 0.000 claims abstract description 10
- 230000003287 optical effect Effects 0.000 claims description 239
- 230000010287 polarization Effects 0.000 claims description 187
- 238000012545 processing Methods 0.000 claims description 46
- 239000011248 coating agent Substances 0.000 claims description 37
- 238000000576 coating method Methods 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 17
- 238000004891 communication Methods 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000010354 integration Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 51
- 238000013461 design Methods 0.000 description 27
- 230000002829 reductive effect Effects 0.000 description 20
- 230000000694 effects Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 13
- 230000015654 memory Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 9
- 238000001914 filtration Methods 0.000 description 9
- 238000002310 reflectometry Methods 0.000 description 9
- 230000003595 spectral effect Effects 0.000 description 9
- 238000005286 illumination Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 239000010410 layer Substances 0.000 description 5
- 239000000523 sample Substances 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000007493 shaping process Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000011247 coating layer Substances 0.000 description 3
- 239000007888 film coating Substances 0.000 description 3
- 238000009501 film coating Methods 0.000 description 3
- 239000010453 quartz Substances 0.000 description 3
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000000979 retarding effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 235000010149 Brassica rapa subsp chinensis Nutrition 0.000 description 1
- 235000000536 Brassica rapa subsp pekinensis Nutrition 0.000 description 1
- 241000499436 Brassica rapa subsp. pekinensis Species 0.000 description 1
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 239000002178 crystalline material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 239000002985 plastic film Substances 0.000 description 1
- 239000001057 purple pigment Substances 0.000 description 1
- 235000020095 red wine Nutrition 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
- G01S7/4812—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver transmitted and received beams following a coaxial path
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/933—Lidar systems specially adapted for specific applications for anti-collision purposes of aircraft or spacecraft
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/499—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
本申请实施例提供一种探测装置、控制方法、融合探测系统及终端,涉及融合感知技术,可以应用于自动驾驶或者智能驾驶领域。所述探测装置包括激光发射单元、激光探测单元、分光装置以及图像探测单元,其中:激光发射单元用于发射激光信号,其中,来自激光发射单元的第一激光信号通过分光装置射向探测区域;激光探测单元用于通过分光装置接收来自探测区域的第一目标对象的第一信号,所述第一信号包含对应于所述第一激光信号的反射信号;分光装置还用于将来自探测区域的第一目标对象的第二信号提供给图像探测单元;图像探测单元用于通过所述第二信号成像。本申请提供了一种集成度较高的融合探测装置,能够提高探测结果的准确性,降低计算复杂度。
Description
技术领域
本申请涉及雷达技术,应用于自动驾驶或者智能驾驶的融合感知领域,尤其涉及一种探测装置、控制方法、融合探测系统及终端。
背景技术
随着社会的发展,智能汽车正在逐步进入人们的日常生活中。高级驾驶辅助系统(Advanced Driving Assistance System,ADAS)在智能汽车中发挥着十分重要的作用,它是利用安装在车上的各式各样的传感器,在车辆行驶过程中感应周围的环境,收集数据,进行静止、移动物体的辨识、侦测与追踪,并结合导航仪地图数据,进行系统的运算与分析,从而预先让驾驶者察觉到可能发生的危险,有效增加汽车驾驶的舒适性和安全性。总之,在智能汽车中,传感器在智能汽车的辅助驾驶和自动驾驶中发挥着十分重要的作用,传感层被比作为汽车的“眼睛”,包括车载摄像头等视觉系传感器和车载激光雷达和车载超声波雷达等雷达系传感器。其中,激光雷达具有分辨率较高、探测性能好、隐蔽性强的优点,是车辆感知中重要的传感器之一。
但是,激光雷达的探测得到的探测结果相比于相机得到的图像来说分辨率仍然较低,不能获取探测目标的图像级高分辨率信息,制约了激光雷达的实际应用。而相机传感器通常可以获取较高分辨率的图像,通过将激光雷达和相机融合,进行深度补全,可以有效提升激光雷达的空间分辨率,是自动驾驶领域重要的发展方向。具体的,激光雷达可以探测得到点云数据,相机传感器可以拍摄图像数据,通过融合技术将点云数据和图像数据进行标定和视场配准后,进行数据融合,得到探测结果。但是,融合探测的过程中,激光雷达和相机的配置存在体积大、集成度低、配准复杂等问题,影响探测质量。
因此,如何解决上述问题,是本领域人员正在研究的热点。
发明内容
本申请实施例公开了一种探测装置、控制方法、融合探测系统及终端,本申请提供了一种集成度较高的融合探测装置,能够提高探测结果的准确性,降低计算复杂度。
第一方面,本申请实施例公开了一种探测装置,所述探测装置包括激光发射单元、激光探测单元、分光装置以及图像探测单元,其中:
所述激光发射单元用于发射激光信号,其中,来自所述激光发射单元的第一激光信号通过所述分光装置射向探测区域;
所述激光探测单元用于通过所述分光装置接收来自所述探测区域的第一信号,所述第一信号包含对应于所述第一激光信号的反射信号;
所述分光装置还用于将来自所述探测区域的第二信号提供给所述图像探测单元;
所述图像探测单元用于通过所述第二信号成像。具体的,所述第一和/或第二信号可以来自于所述探测区域中的第一目标对象。
本申请实施例中,将激光发射单元、激光探测单元、图像探测单元集成在一个探测装置中,提高了集成度,减小了整体的体积,从而降低了运动、振动等对探测结果造成的影响。进一步的,本申请实施例通过分光装置能够实现激光信号、第一信号和第二信号的光路共轴,一方面,可以使得激光探测单元能够对应接收到激光发射单元照射的探测区域反射的激光信号,从而提高探测结果的准确性,另一方面,通过图像探测单元和激光探测单元来同步获取探测区域的点云信息和图像信息,便于后续激光雷达点云信息与图像信息进行融合,例如在融合时无需进行复杂的标准和配准,从而降低了计算的复杂度。
结合第一方面,在第一方面的一种可能的实施方式中,所述激光发射单元包括flash(闪光)类型的光源。进一步可选的,激光发射单元可以为闪光阵列光源和闪光泛照光源。
其中,flash类型的光源一次发光可以照射一个视场区域,可以达到面照射的效果。而阵列光源可以照射得到照明点阵,可以提供较为均匀的照射视场,从而提升探测效果。此外,阵列光源的能量利用率更高。
结合第一方面,在第一方面的又一种可能的实施方式中,所述分光装置包含第一分光装置以及第二分光装置;其中:
所述第一分光装置用于将所述激光信号射向所述第二分光装置;
所述第二分光装置用于将所述激光信号射向所述探测区域;
所述第二分光装置还用于将来自所述探测区域的光信号分为所述第一信号和所述第二信号,将所述第二信号提供给所述图像探测单元,将所述第一信号提供给所述第一分光装置;
所述第一分光装置还用于将所述第一信号提供给所述激光探测单元。
结合第一方面,在第一方面的有一种可能的实施方式中,所述第一分光装置为偏振分光器件或者半透半反分光镜。
其中,偏振分光器件能够将偏振入射光分成两束偏振光出射。
进一步的,通过该偏振分光器件可以实现激光发射单元与激光探测单元的共轴。例如,激光发射单元发射的激光信号为第一偏振方向,通过偏振分光部件后可以提供给探测区域。来自探测区域的光信号可以通过其他光学器件改变其偏振方向,偏振方向改变后的光信号经过偏振分光部件后则被提供给激光探测单元,而不会射向(或者较少一部分射向)激光发射单元(或者大部分被提供给激光探测单元,其中少部分光信号被吸收或者射向其他方向)。从而可以实现激光发射单元与激光探测单元的共光轴,且可以减少回波信号的损耗。
可替换的,半透半反分光镜能够在一定波长范围内把一束光分成光谱成分大致相同的两束光,也可以实现激光发射单元和激光探测单元的共轴。
结合第一方面,在第一方面的又一种可能的实施方式中,所述第一激光信号的波长范围属于第一波长范围,所述第一信号中包含波长范围属于所述第一波长范围的光信号,所述第二信号包含波长范围属于第二波长范围的光信号。进一步的,所述第一波长范围不同于所述第二波长范围。
此处例举一种可能的情况:激光发射单元可以发射红外光(例如波长为3μm-5μm的中红外线),激光探测单元可以对红外光产生响应,图像探测单元可以对可见光产生响应。第二分光装置用于将来自探测区域的光信号分为第一信号和第二信号,第一信号中包含波长范围属于红外光所在的波长范围内的光信号,第二信号中包含波长范围属于可见光所在的波长范围的光信号,从而使得激光探测单元接收红外光(包含基于发射的红外光得到的反射光),后续基于接收的红外光得到点云信息。图像探测单元接收可见光,进行成像,后续得到图像信息。
结合第一方面,在第一方面的又一种可能的实施方式中,所述第二分光装置为二向色分光镜或者半透半反分光镜。
二向色镜可以将来自探测区域的光信号分为两部分信号,其中第一信号中包含激光探测单元所需的波长范围的信号,第二信号包含图像探测单元所需的波长范围的信号。
此处例举一种可能的情况:激光发射单元可以发射红外光(例如波长为3μm-5μm的中红外线),激光探测单元可以对红外光产生响应,图像探测单元为可见光成像的图像传感器。第二分光装置用于将来自探测区域的光信号分为第一信号和第二信号,其中第一信号包含的信号大部分为波长范围大于800nm的光信号,第二信号包含的信号大部分为波长范围小于750的光信号,从而使得第一信号包含了发射的激光信号对应的反射信号,第二信号中包含可见光。由于第一信号提供给激光探测单元,第二信号提供给图像探测单元,从而使得两个探测单元各自获取有效的光信号,提高了信号的利用率。
可替换的,半透半反分光镜能够在一定波长范围内把一束光分成光谱成分大致相同的两束光。在这种情况下,激光探测单元、激光发射单元和图像探测单元可以支持工作在相同的波段。
结合第一方面,在第一方面的又一种可能的实施方式中,所述第一分光装置包含偏振分光器件和波片;所述波片配置于所述偏振分光器件与所述第二分光装置之间。可选的,该波片可以为四分之一波片,八分之一波片等等。
该波片可以用于将经过光的偏振状态改变,从而使得激光发射单元发射的光信号和来自探测区域的光信号的偏振状态不同,结合偏振分光器件可以实现激光发射单元与激光探测单元的共轴。
结合第一方面,在第一方面的又一种可能的实施方式中,所述激光发射单元与所述分光装置之间配置有起偏器,通过所述起偏器的激光信号的偏振方向为第一偏振方向。
例如,来自激光探测单元的光信号为非偏振光,非偏振光经过起偏器后为线偏振光,该偏振光经过偏振分光器件时可以得到P偏振光(或者S偏振光),后续提供给探测区域。结合偏振分光器件和波片可以实现激光发射单元、激光探测单元、图像探测单元的光信号共轴,减少光信号的损耗。
结合第一方面,在第一方面的又一种可能的实施方式中,所述激光发射单元配置有第一偏振镀膜,通过所述偏振镀膜的激光信号的偏振方向为第一偏振方向。
可以看出,通过偏振镀膜的方式来实现发射偏振光,使得探测装置的结构进一步的紧凑,可以降低运动、振动等对融合探测造成的影响,提高稳定性。
结合第一方面,在第一方面的又一种可能的实施方式中,所述激光探测单元配置有第二偏振镀膜,所述第二偏振镀膜用于透射所述第一信号中偏振方向为预设偏振方向的信号。通过该方式,能够达到滤光的效果,提高信号的有效性。
结合第一方面,在第一方面的又一种可能的实施方式中,所述图像探测单元为彩色相机、灰度相机或者多维度相机中的至少一项,所述多维度相机为灰度偏振相机、彩色偏振相机和多光谱偏振相机中的至少一项。
其中,多维度相机可以在原本光信号的能量强弱、波长等维度上,结合其他的维度(例如光的其他属性,例如光的偏振方向、光的能量密度等中的一个或者多个)得到更多关于探测区域的信息。
结合第一方面,在第一方面的又一种可能的实施方式中,所述装置还包括控制器,所述控制器用于控制所述激光发射单元、所述图像探测单元或所述激光探测单元中的至少一个。
在一种设计中,控制器可以产生控制信号并发送给探测装置中的至少一个单元,以控制该至少一个单元。例如,控制器可以向激光发射单元发送第一控制信号,激光发射单元响应于所述第一控制信号产生激光信号。再如,控制器还可以向激光探测单元发送第二控制信号,用于控制激光探测单元将光信号转换为电信号。
结合第一方面,在第一方面的又一种可能的实施方式中,所述探测装置的激光发射视场的中心点、激光探测视场的中心点与图像探测视场的中心点重合。
其中,所述激光发射视场为所述激光发射单元发射的激光信号能够照射的区域,所述激光探测视场为所述激光探测单元能够探测到的区域,所述图像探测视场为所述图像探测单元能够探测到的区域。
可以理解的,主光轴所对应的点为视场的中心点,而由于激光信号、第一信号和第二信号的光路共轴,因此探测装置的激光发射视场的中心点、激光探测视场的中心点与图像探测视场的中心点重合。需要说明的是,此处的重合为通过光路共轴带来的视场中心点也共轴,而中心点不一定是完全精确的重合,例如,由于不同的工艺设计差异可能导致重合不一定准确,但是通过本申请的方法可以尽可能地减少配准、标定的复杂度。
在中心点重合的情况下,激光探测单元则可以对应接收到激光发射单元照射的区域所返回的光信号,从而提高激光探测结果的准确性。
激光探测视场与图像探测视场的重合,则可以降低后续融合时的配准和标定的复杂度(例如无需外参标定),减少计算消耗,提升得到探测结果的效率。
此外,若图像探测单元支持工作在激光进行照明的模式下,激光发射单元与图像探测单元共轴,还可以提高图像探测单元成像的效果。
结合第一方面,在第一方面的又一种可能的实施方式中,所述激光探测单元用于根据所述第一信号得到第一探测数据。进一步的,所述第一探测数据用于生成所述探测区域的点云信息。
可选的,激光探测单元基于第一信号可以得到电信号。所述第一探测数据可以包含所述电信号或者对所述电信号处理后得到的进一步的数据。
进一步可选的,该第一探测数据为点云信息,或者对所述第一探测数据进行处理可以得到点云信息。该点云信息可以用于获取探测区域的距离、速度、反射率、反射强度等等信息。
结合第一方面,在第一方面的又一种可能的实施方式中,所述图像探测单元用于根据所述第二信号得到第二探测数据。进一步的,所述第二探测数据用于生成所述探测区域的图像信息。
具体的,图像探测单元基于第二信号可以得到像素信息(或电信号)。所述第二探测数据可以包含所述像素信息或者对所述像素信息处理后得到的进一步的数据。
进一步可选的,该第二探测数据包含图像信息,或者对该第二探测数据进行处理可以得到图像信息。该图像信息可以用于获取探测区域的颜色、花纹、兴趣点等,或者用于对探测区域进行分析、辨识。
结合第一方面,在第一方面的又一种可能的实施方式中,所述装置还包括处理装置,所述处理装置用于将第一探测数据和第二探测数据进行融合,得到所述探测区域的探测结果。
可选的,探测区域的探测结果可以为探测区域的高分辨率融合图像,或者为探测区域的3D图像。通过该探测结果,既可以确定探测区域中的目标的距离,还可以通过高分辨率像素进行物体识别、分析等。
可选的,处理装置与前述的控制器可以是集成的,或者,独立的。也可以理解为,所述处理装置可以位于激光雷达中,由激光雷达自身实现融合处理,或者,所述处理装置可以位于激光雷达外部,由外部的处理装置实现融合处理。
结合第一方面,在第一方面的又一种可能的实施方式中,所述装置还包括光学器件,所述光学器件包含透镜、滤光镜、光束整形器、匀光片中的至少一个。
结合第一方面,在第一方面的又一种可能的实施方式中,所述装置还包括第一光学器件,所述第一光学器件配置于所述分光装置与所述探测区域之间。
其中,所述第一光学器件用于透过第三波长范围内的光,所述第三波长范围包含所述第一激光信号的波长范围和所述图像探测单元的工作波长范围。可选的,该光学器件具体可以为透镜或者滤光镜。
具体实施时,所述第一光学器件可以为宽光谱光学器件。其中,宽光谱表示该光学器件可以通过较大的波长范围的光信号。例如,在激光发射单元为红外光,图像探测单元为对可见光产生响应的场景下,宽光谱光学器件至少可以通过红外光所在的波段与可见光所在的波段,便于进行收发复用。
可以看出,通过宽光谱光学器件可以实现激光发射单元、激光探测单元和图像探测单元的光学系统的复用,从而减少探测装置的体积,提高紧凑度。
另外,在一些可能的实例中,由于激光探测单元和图像探测单元共用接收光学器件,因此可以实现激光探测和图像探测的同步变焦,降低后续融合时的配准和标定的复杂度,减少计算消耗,提升得到探测结果的效率。
结合第一方面,在第一方面的又一种可能的实施方式中,所述装置还包括第二光学器件、第三光学器件和第四光学器件中的至少一个,其中,
所述第二光学器件配置于所述的激光发射单元与所述分光装置之间;
所述第三光学器件配置于所述激光探测单元与所述分光装置之间;和/或
所述第四光学器件配置于所述图像探测单元与所述分光装置之间。
结合第一方面,在第一方面的又一种可能的实施方式中,所述装置还包括第五光学器件和第六光学器件,其中,
所述第五光学器件配置于所述第一分光装置与所述第二分光装置之间;
所述第六光学器件配置所述图像探测单元与所述第二分光装置之间。
第二方面,本申请实施例公开了一种控制方法,包括:
控制激光发射单元发射第一激光信号,所述第一激光信号通过分光装置射向探测区域;
控制激光探测单元接收来自所述探测区域的第一信号,所述第一信号通过所述分光装置提供给所述激光探测单元,所述第一信号包含对应于所述第一激光信号的反射信号;
控制图像探测单元接收来自所述探测区域的第二信号,所述第二信号通过所述分光装置提供给所述图像探测单元。
可以看出,通过上述控制方法,可以控制探测装置对探测区域进行探测,既可以得对探测区域进行激光探测也可以进行图像探测。探测装置中包含了激光发射单元、激光探测单元和图像探测单元,设备的紧凑度较高、稳定性较好。进一步的,本申请实施例通过分光装置能够实现激光信号、第一信号和第二信号的光路共轴,一方面,可以使得图像探测单元能够对应接收到激光发射单元照射的探测区域反射的激光信号,从而提高探测结果的准确性,另一方面,通过图像探测单元和激光探测单元来同步获取到探测区域的点云信息和图像信息,便于后续点云信息与图像信息进行融合,而无需进行复杂的标准和配准,降低了计算的复杂度,提高了探测结果的分辨率。
结合第二方面,在第二方面的一种可能的实施方式中,所述方法还包括:
根据来自所述激光探测单元的第一探测数据得到所述探测区域的点云信息;
根据来自所述图像探测单元的第二探测数据得到所述探测区域的图像信息;
将所述点云信息和所述图像信息进行融合,得到所述探测区域的探测结果。
可选的,探测区域的探测结果可以为探测区域的高分辨率融合图像,或者为探测区域的3D图像。通过该探测结果,既可以确定探测区域中的目标的距离,还可以通过高分辨率像素进行物体识别、分析等。需要说明的是,这里的“来自”不限定是“直接来自”还是“间接来自”,本领域技术人员可以理解,用于得到点云信息和图像信息的探测数据是源自相应的探测单元。
结合第二方面,在第二方面的又一种可能的实施方式中,所述分光装置具体包含第一分光装置以及第二分光装置;
所述第一激光信号具体通过所述第一分光装置、所述第二分光装置射向所述探测区域;
来自所述探测区域的光信号通过所述第二分光装置分为所述第一信号和所述第二信号;所述第一信号通过所述第一分光装置提供给所述激光探测单元,所述第二信号提供给所述图像探测单元。
结合第二方面,在第二方面的又一种可能的实施方式中,所述第一分光装置包含偏振分光器件或者半透半反分光镜。
结合第二方面,在第二方面的又一种可能的实施方式中,所述第一激光信号的波长范围属于第一波长范围,所述第一信号中包含波长范围属于所述第一波长范围的光信号,所述第二信号包含波长范围属于第二波长范围的光信号。进一步的,所述第一波长范围不同于所述第二波长范围。
结合第二方面,在第二方面的又一种可能的实施方式中,所述第二分光装置包含二向色分光镜或者半透半反分光镜。
结合第二方面,在第二方面的又一种可能的实施方式中,所述激光发射单元包含闪光阵列光源。
结合第二方面,在第二方面的又一种可能的实施方式中,所述第一分光装置包含偏振分光器件和波片;所述波片配置于所述偏振分光器件与所述第二分光装置之间。可选的,该波片可以为四分之一波片,八分之一波片等等。
结合第二方面,在第二方面的又一种可能的实施方式中,所述激光发射单元配置有第一偏振镀膜,通过所述偏振镀膜的激光信号的偏振方向为第一偏振方向。
结合第二方面,在第二方面的又一种可能的实施方式中,所述激光发射单元具体为配置有第一偏振镀膜的闪光阵列光源,通过所述偏振镀膜的激光信号的偏振方向为第一偏振方向。
结合第二方面,在第二方面的又一种可能的实施方式中,所述激光探测单元配置有第二偏振镀膜,所述第二偏振镀膜用于透射所述第一信号中偏振方向为预设偏振方向的信号。
结合第二方面,在第二方面的又一种可能的实施方式中,所述图像探测单元包括彩色相机、灰度相机或者多维度相机中的至少一项,所述多维度相机包括灰度偏振相机、彩色偏振相机和多光谱偏振相机中的至少一项。
结合第二方面,在第二方面的又一种可能的实施方式中,所述装置还包括光学器件,所述光学器件包含透镜、滤光镜、光束整形器、匀光片中的至少一个。
结合第二方面,在第二方面的又一种可能的实施方式中,所述装置还包括第一光学器件,所述第一光学器件配置于所述分光装置与所述探测区域之间。可选的,所述第一光学器件可以为宽光谱光学器件。
结合第二方面,在第二方面的又一种可能的实施方式中,所述装置还包括第二光学器件、第三光学器件和第四光学器件中的至少一个,其中,
所述第二光学器件配置于所述的激光发射单元与所述分光装置之间;
所述第三光学器件配置于所述激光探测单元与所述分光装置之间;和/或
所述第四光学器件配置于所述图像探测单元与所述分光装置之间。
结合第二方面,在第二方面的又一种可能的实施方式中,所述装置还包括第五光学器件和第六光学器件,其中,
所述第五光学器件配置于所述第一分光装置与所述第二分光装置之间;
所述第六光学器件配置所述图像探测单元与所述第二分光装置之间。
第三方面,本申请实施例提供了一种控制装置,包括控制单元。可选的,还包含处理单元。该控制装置用于实现第二方面或者第二方面的任意一种可能的实施方式所描述的方法。其中,所述控制单元和处理单元的数量可以为一个或者多个。
在一种可能的实施方式中,所述控制单元,用于控制激光发射单元发射第一激光信号,所述第一激光信号通过分光装置射向探测区域;
所述控制单元,还用于控制激光探测单元接收来自所述探测区域的第一信号,所述第一信号通过所述分光装置提供给所述激光探测单元,所述第一信号包含对应于所述第一激光信号的反射信号;
所述控制单元,还用于控制图像探测单元接收来自所述探测区域的第二信号,所述第二信号通过所述分光装置提供给所述图像探测单元。
结合第三方面,在第二方面的一种可能的实施方式中,所述处理单元,用于:
根据来自所述激光探测单元的第一探测数据得到所述探测区域的点云信息;
根据来自所述图像探测单元的第二探测数据得到所述探测区域的图像信息;
将所述点云信息和所述图像信息进行融合,得到所述探测区域的探测结果。
第四方面,本申请实施例公开了一种控制装置,包括至少一个处理器和通信接口,所述通信接口用于为所述至少一个处理器提供输入和/或输出,所述处理器用于执行计算机程序以实现第二方面或者第二方面的任意一种可能的实施方式所描述的方法。
第五方面,本申请实施例公开了一种融合探测系统,所述融合探测系统处理装置包含探测装置和处理装置。其中,所述探测装置包含第一方面的或者第一方面的任意一种可能的实施方式所描述的装置,所述处理装置用于执行计算机程序,以将第一探测数据和第二探测数据进行融合,得到探测区域的探测结果。
其中,所述第一探测数据来自所述探测装置的激光探测单元,所述第二探测数据来自所述探测装置的图像探测单元。
第六方面,本申请实施例公开了一种终端,所述终端包含第一方面或者第一方面的任意一种可能的实施方式所描述的探测装置。
在第六方面的一种可能的实施方式中,上述终端可以为车辆、无人机、路侧单元、路口雷达或机器人等运输工具或智能终端。
第七方面,本申请实施例公开了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序在一个或多个处理器上运行时,实现第二方面或第二方面的任意一种可能的实施方式所描述的方法。
第八方面,本申请实施例公开了一种计算机程序产品,当所述计算机程序产品在一个或多个处理器上运行时,实现第二方面或第二方面的任意一种可能的实施方式所描述的方法。
需要说明的是,本申请第二方面、第三方面的部分可能实施方式与第一方面的部分实施方式构思一致,其所带来的有益效果可以参考第一方面的有益效果,因此不再赘述。
附图说明
以下对本申请实施例用到的附图进行介绍。
图1A是本申请实施例提供的一种探测装置的结构示意图;
图1B是本申请实施例提供的一种探测装置发射激光信号的示意图;
图1C是本申请实施例提供的一种探测装置接收信号的示意图;
图2是本申请实施例提供的一种激光发射单元发射激光信号的示意图;
图3是本申请实施例提供的又一种激光发射单元发射激光信号的示意图;
图4是本申请实施例提供的一种激光探测单元接收信号的示意图;
图5是本申请实施例提供的一种多维度相机的结构示意图;
图6是本申请实施例提供的一种激光发射视场、激光探测视场、图像探测视场的示意图;
图7A是本申请实施例提供的又一种探测装置发射激光信号的示意图;
图7B是本申请实施例提供的又一种探测装置接收信号的示意图;
图8是本申请实施例提供的一种二向色镜的反射率与波长的关系示意图;
图9是本申请实施例提供的再一种探测装置接收信号的示意图;
图10是本申请实施例提供的再一种探测装置接收信号的示意图;
图11是本申请实施例提供的一种偏振分光的场景示意图;
图12A是本申请实施例提供的再一种探测装置发射激光信号的示意图;
图12B是本申请实施例提供的再一种探测装置接收信号的示意图;
图13是本申请实施例提供的一种光学系统的运行场景示意图;
图14A是本申请实施例提供的再一种探测装置接收信号的示意图;
图14B是本申请实施例提供的再一种探测装置接收信号的示意图;
图15是本申请实施例提供的一种发光单元的结构示意图;
图16是本申请实施例提供的一种激光探测单元的结构示意图;
图17是本申请实施例提供的又一种探测器件的结构示意图;
图18A是本申请实施例提供的再一种探测装置发射激光信号的示意图;
图18B是本申请实施例提供的再一种探测装置接收信号的示意图;
图19是本申请实施例提供的再一种探测装置的结构示意图;
图20是本申请实施例提供的再一种探测装置的结构示意图;
图21是本申请实施例提供的一种控制方法的流程示意图;
图22是本申请实施例提供的一种控制装置的结构示意图;
图23是本申请实施例提供的又一种控制装置的结构示意图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。需要说明的是,本申请中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请中实施例提到的“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a、b、或c中的至少一项(个),可以表示:a、b、c、(a和b)、(a和c)、(b和c)、或(a和b和c),其中a、b、c可以是单个,也可以是多个。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A、同时存在A和B、单独存在B这三种情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
以及,除非有相反的说明,本申请实施例使用“第一”、“第二”等序数词是用于对多个对象进行区分,不用于限定多个对象的顺序、时序、优先级或者重要程度。例如,第一分光装置和第二分光装置,只是为了区分不同的分光装置,而并不是表示这两种装置的结构、探测原理、重要程度等的不同。
为了便于理解,下面先对本申请实施例中的部分用语进行解释说明。
一、探测装置
本申请中提到探测装置可以是激光雷达,也可以是其它的光探测装置,例如融合探测装置。其工作原理是通过发射光信号,并接收来自目标物体的光信号来探测相应的目标物体。
本申请实施例中的探测装置能够应用于智能交通、自动驾驶、大气环境监测、地理测绘、无人机等各种领域,能够完成目标探测、距离测量、速度测量、目标跟踪、成像识别等中的一项或者多项功能。
本申请实施例中的探测装置可以应用于路侧探测装置(例如路口融合探测装置)、车载探测装置(例如车载融合探测装置)等,但是也可以应用于其它的探测装置,例如安装在无人机、机器人、轨道车、自行车、信号灯、测速装置或基站等等装置上面的探测装置。本申请对探测装置安装的位置不做限定。
二、偏振(polarization)
偏振光,是指光的电矢量的振动方向具有一定的规律。偏振是光的一种固有属性,偏振状态(polarization state)是光的一个参数。偏振状态可分为:线偏振,椭圆偏振(特殊情况下是圆偏振);偏振光为线偏振光时,偏振状态还包含角度和幅度;偏振光为圆偏振光时,偏振状态还包含偏振的方向(顺时针或者逆时针)。例如,对于线偏振光,它的电矢量沿着一个方向做往复振动。而非偏振光,如自然光,它们的电矢量的振动是杂乱无章的,既不朝着某些相同的方向,振动时又不具有固定的时间对应关系(没有固定相位),因此,它们的振动是随机的,没有固定规律的。为了描述振动方向的相互关系,对于基本的线偏振光(通过线偏振光可以组合成椭圆偏光),我们通常用P偏振光和S偏振光来区分。其中,P偏振光表示振动方向与入射面平行的线偏振光,S偏振光表示振动方向与入射面垂直的线偏振光。
本申请以下实施例提供了一种探测装置、控制方法、融合探测系统及终端,能够提高探测结果的准确性,降低计算复杂度。
首先介绍本申请以下实施例中提供的示例性的探测装置。
请参见图1A、图1B和图1C,图1A是本申请实施例提供的一种可能的探测装置10的示意图,图1B为探测装置10发射激光信号的示意图,图1C为探测装置10接收信号的示意图。如图1A所示,探测装置10可以包括激光发射单元101、激光探测单元102、图像探测单元103和分光装置104。该探测装置可以用于对探测区域进行探测,探测区域中可能存在目标对象105。可选的,探测装置10还可以包括控制器106。其中各个单元的详细描述如下:
(1)激光发射单元101用于产生激光信号。具体的,激光发射单元可以包含一个或者多个发光单元。其中,该发光单元可以是激光二极管(laser diode,LD)、垂直腔面发射激光器(Vertical Cavity Surface Emitting Laser,VCSEL)、分布式反馈激光二极管(distributed feedback LD,DFB-LD)、分布式布拉格反射激光二极管(distributed braggreflection LD,DBR-LD)、光栅耦合采样反射激光二极管(Grating coupled samplingreflection LD,GCSR-LD)、微光机电系统激光二极管(micro opto electro mechanicalsystem LD,MOEMS-LD)等发光器件。
可选的,该激光发射单元101属于flash类型的光源,flash类型的光源一次发光可以照射一个视场区域,可以达到面照射的效果。
可选的,该激光发射单元101可以为包含多个发光单元的阵列光源。其中,阵列可以为任意行数任意列数的阵列,例如1×2阵列、2×2阵列、3×3阵列等规格的阵列。参见图2,图2是一种可能的激光发射单元的工作示意图,可以看出,激光发射单元201为64个发光单元组成的8×8阵列光源,其中,每一个发光单元可以为一个发光器件202(具体实施过程中一个发光单元也可以包括多个发光器件)。进一步的,该激光发射单元201发射的光信号通过光学器件203照射到区域204。该区域204可以称为该激光发射单元201的激光发射视场。通过阵列光源,可以照射得到一个照明点阵,从而提供较为均匀的照射视场,提升探测效果。
可选的,激光发射单元101也可以包含一个发光单元。例如,请参见图3,图3是又一种可能的激光发射单元的示意图。参加图3的(a)部分,激光发射单元301包含一个发光单元,该发光单元发射的光信号经过光学器件302照射到区域303中,该区域303可以称为该激光发射单元301的激光发射视场。可选的,该激光发射单元301也可以称为泛照光源、泛光源或者泛照灯等等。
在一种可能的实施方式中,探测装置还可以通过光整形器件等对激光发射单元101发射的光信号进行调整。例如,参见图3的(b)部分,激光发射单元301发射的光信号,经过光整形器件304进行调整,照射到如区域305所示的发射视场中。需要说明的是,图2和图3是为了便于说明激光发射单元101发射光信号的场景,其中的一些光学器件(例如光学器件203、整形器件303等)仅作为示例,不作为对本方案的限定,具体实施过程中可以根据对发射光信号要求来配置光学器件。
(2)分光装置104用于将所述激光单元101发射的第一激光信号射向探测区域。如图1B所示,激光发射单元101发射的第一激光信号经过所述分光装置照射到探测区域内的目标对象105上,该目标对象105也可以称为第一目标对象。应理解,探测区域中还可以包含其他的探测对象,此处仅以目标对象105进行说明,对于包含有一个或者多个探测对象的探测区域仍然使用。
该目标对象105可以反射激光发射单元的光信号,还可以反射其他光源的光信号,或者还可以产生光信号(例如目标对象包含车灯,车灯可以产生光信号)。探测装置10可以对应接收到来自目标对象105的信号。
相应的,探测装置10接收的来自探测区域中的目标对象105的光信号中,有一部分光信号为对激光信号的反射信号,有一部分光信号为环境光源的相关信号(例如可以是直接来自环境光源的光信号,也可以是反射环境光源的光信号得到的反射信号)。环境光源可以包括自然光源(例如太阳)、人造光源(例如路灯、车灯等等)中的一项或多项。
如图1C所示,分光装置104还用于将来自探测区域的第一信号提供给激光探测单元102。其中,该第一信号的部分或者全部可以来自于探测区域的第一目标对象。
第一信号中包含对应于第一激光信号的反射信号。例如,第一目标对象对激光发射单元101发射的第一激光信号产生反射,得到的反射信号。该反射信号(或者发射信号的一部分)可以包含在第一信号中,通过分光装置104提供给激光探测单元102。
该分光装置104还用于将来自探测区域的第二信号提供给图像探测单元103。其中,该第二信号的部分或者全部可以来自于探测区域的第一目标对象。
(3)激光探测单元102是用于接收光信号的光电器件,可以基于光信号得到电信号。可选的,激光探测单元102可以基于该电信号得到第一探测数据,例如,所述第一探测数据可以包含所述电信号或者对所述电信号处理后得到的进一步的数据。进一步可选的,该第一探测数据为点云信息,或者对所述第一探测数据进行处理可以得到点云信息。
该点云信息可以用于获取探测区域的距离、速度、反射率、反射强度等等信息。进一步可选的,该第一探测数据可以输出给控制器和/或处理器(图中未示出),该控制器或者处理器可以在探测装置10内部,也可以在探测装置外部。
在一种可能的设计中,激光探测单元102可以是按照行列排布的探测器件阵列。例如,参见图4,图4是一种可能的激光探测单元的结构示意图,激光探测单元401包括至少两个探测器件(激光探测单元401中的每个方格为一个探测器件)。参见图4的(a)部分,该激光探测单元401能够接收到来自区域404的光信号并转换为电信号。例如,参见图4的(b)部分,激光探测单元401可以接收到探测目标405返回的光信号并转换为电信号。可选的,也可以由激光探测单元之外的其它转换单元将光信号转换为电信号,这里并不做具体限定。需要说明的是,接收过程中,光信号可选的可以经过各类光学器件,如图4中例举的接收透镜403。
可选的,根据探测器件的不同,激光探测单元102具体可以为半导体雪崩光电二极管(avalanche photo detector,APD)阵列、单光子雪崩二极管(single-photon avalanchediode,SPAD)阵列、或者电子倍增电荷耦合器件(electron multiplying charge-coupleddevice,EMCCD)阵列中的一个。根据探测单元的排布规律,可以为1×2阵列、2×3阵列、3×3阵列等规格的阵列,本申请对此不做限定。
本申请例举两种示例性的设计:
设计1:激光探测单元102可以对第一激光信号的反射光产生响应,还可以对环境光源的相关信号产生响应。
设计2:激光探测单元102可以对第一激光信号的反射光进行响应,而对环境光源的相关信号不进行响应。可替代的,激光探测单元102对第一激光信号所在的波长范围的光信号较为敏感,而对其他波长范围的光信号较不敏感。在这种情况下,可以看作激光探测单元102降低了其它波长范围的光信号对第一激光信号的反射光的影响,可以提高信号的有效性。例如,第一激光信号为红外光,激光探测单元可以对红外光较为敏感,而对非红外光(例如可见外、紫外光)不敏感,当激光探测单元接收来自探测区域的光信号时,可以对红外光(包含了第一激光信号的反射光)产生响应,而对于非红外光不产生响应(或者响应得到的电信号较弱),从而降低了非红外光对第一激光信号的反射光的影响。
(4)图像探测单元103是包含多个感光器件的阵列,通过将光信号转换为电信号,得到第二探测数据。具体的,图像探测单元103基于来自探测区域的光信号可以得到像素信息(或电信号),所述第二探测数据可以包含所述像素信息或者对所述像素信息处理后得到的进一步的数据。可选的,该第二探测数据包括图像信息,或者对该第二探测数据进行处理可以得到图像信息。该图像信息可以用于获取探测区域的颜色、花纹、兴趣点等,或者用于对探测区域进行分析、辨识。进一步可选的,该第二探测数据可以输出给控制器(如控制器106)和/或处理器(图中未示出),该控制器、处理器可以在探测装置10内部,也可以在探测装置外部。
其中,感光器件可以包含电荷耦合器件(Charge-coupled Device,CCD)、互补金属氧化物半导体(Complementary Metal Oxide Semiconductor,CMOS)、Live MOS等中的至少一种。需要说明是,除了起感光作用的器件以外,图像探测单元103还可以包含其他光学器件以达到更高的图像探测效果,例如,还可以包含以下中的至少一项:微透镜(microlens)、滤色镜(例如红、绿、蓝三原色滤色镜)或者低通滤镜。
本申请例举一种示例性的设计:图像探测单元103可以对第一激光信号的反射光产生响应,还可以对环境光源的相关信号产生响应。在这种情况下,可以看作图像探测单元103支持工作在由激光进行照明的模式下,该图像探测单元103可以应用于无环境光源的场景(当然,可以应用于有环境光源的场景)。
可选的,图像探测单元103具体可以为彩色相机、灰度相机、红外相机、多光谱相机或者多维度相机中的至少一项。需要说明的是,此处的相机并不一定具有广泛意义的相机结构,为了描述可以用于成像这一特征故描述为相机,在具体实施时也可以称为图像传感器。
其中,彩色相机通常使用滤波阵列或者其他视觉相关技术,通过光信号的波长、折射率等等信息来记录探测区域的色彩。灰度相机的通过统计光信号中的光子所转化得到的电子的数目,则可以得到反映光信号的强弱的灰度图像。红外相机通过红外感光器件,可以得到探测区域的红外图像。在一些实施情况中,红外相机还能够得到探测区域中一些物体的其他性质,例如水分含量、温度和化学成分等等中的一个。再如,部分红外相机支持透过布料、塑料片等观察到内里的结构。进一步的可选的,红外相机具体又可以为短波红外相机、中长波红外相机等中的一个。
多光谱相机能够获取多个波段的图像。传统的彩色相机通常将可见光分为三种基准颜色:红黄蓝(Red-Green-Blue,RGB),具有不同的光谱内容的光可能会呈现出同样的RGB颜色坐标,从而丢失了光信号原本的光谱内容。而多光谱成像技术能够提供多个波长的图像,从而可以获取相对精确的光谱信息。
多维度相机为在原本光的波长、强弱等一个或者多个维度上,结合其他的维度得到更多关于探测区域信息的相机。可以理解的,灰度相机可以通过光子的数量来生成灰度像素,彩色相机可以通过光的波长来确定对应的色彩。而多维度相机能获取到光的其他属性,例如光的偏振方向、光的振幅、能量密度等等中的一个或者多个属性。
例如,多维度相机可以包含偏振相机,如可以为灰度偏振相机、彩色偏振相机或多光谱偏振相机等中的至少一个。
具体的,偏振相机的感光器件上方配置有一层偏振阵列,该偏振阵列中的偏振片可以用于透过预先设置的偏振方向的光,从而获取到反射光的偏振信息。其中,预先设置的偏振方向与偏振片的性质有关,可以在制造该偏振片时预先设置好可以通过该偏振片的偏振方向,或者还可以通过电路控制达到透过某一偏振方向的光的效果。例如,参见图5,图5是本申请实施例提供的一种可能的图像探测单元的示意图,图像探测单元可以包含三层阵列,具体为像素阵列(pixel array)501、偏振片阵列(polarizer array)502和微透镜阵列(micro lens array)。如区域501所示,一个像素单位上包含有感光器件、偏振片和微透镜。可以看出,四个性质不同的偏振片(例如可以透过的偏振方向的角度分别为:90°、45°、135°和0°)分别放置于单个像素上,在计算时,每四个像素可以作为一组,通过不同方向的偏振器之间的关联从而能够计算偏振的程度和方向。
可以理解的,彩色偏振相机为配置有偏振片的彩色相机。灰度偏振相机为配置有偏振片的灰度相机。多光谱偏振相机为配置有偏振片的多光谱相机。
(5)可选的,探测装置10中还可以包含控制器106。该控制器106用于控制探测装置10中的部分或者全部部件。可选的,控制器106可以包含以下装置的一个或者多个:处理器、现场可编程门阵列、应用处理器(application processor,AP)、图形处理器(graphicsprocessing unit,GPU)、图像信号处理器(image signal processor,ISP)、数字信号处理器(digital signal processor,DSP)、或神经网络处理器(neural-network processingunit,NPU)等。
应理解,控制器106可以包含多个子控制单元。例如,控制器106可以包含2个子控制单元,其中一个子控制单元用于控制激光发射单元和激光探测单元,另一个子控制单元用于控制图像探测单元。
在一种设计中,控制器106可以产生控制信号并发送给装置10中的至少一个单元,以控制该至少一个单元。例如,该控制器106可以向激光发射单元101发送第一控制信号,激光发射单元101响应于第一控制信号,从而产生激光信号。再如,控制器106还可以向激光探测单元102发送第二控制信号,用于控制激光探测单元102将光信号转换为电信号。类似的,控制器106还可以向图像探测单元103发送第三控制信号,用于控制图像探测单元103将光信号转换为电信号。
可替换的,该控制器106还可以与外部处理器(或者外部控制器)连接。例如,以探测装置10为车载雷达为例,探测装置10中的控制器106可以与车内的多域控制器(MultiDomainController,MDC)连接,MDC可以向控制器106发送指令,该控制器106根据指令产生控制信号。
进一步的,所述控制器可以向所述MDC发送信息和/或数据,以供MDC做融合和/或决策处理。
在又一种可能的设计中,探测装置10还可以包含处理装置(图中未示出),处理装置可以根据来自激光探测单元102的第一探测数据得到探测区域的点云信息,和/或,来自图像探测单元103的第二探测数据得到探测区域的图像信息。进一步的,处理装置还可以根据点云信息和图像信息得到探测区域的探测结果。
需要说明的是,在探测装置10包含控制器106和处理装置的情况下,该处理装置与控制器106可以是集成的,或者,独立的。
可以看出,图1A、图1B或图1C所示的探测装置将激光发射单元、激光探测单元、图像探测单元集成在一个探测装置中,减小整体的体积,降低运动、振动等对融合探测造成的影响,提升了设备的紧凑度和稳定性。进一步的,本申请实施例通过分光装置104能够实现激光信号、第一信号和第二信号的光路共轴,一方面,可以使得图像探测单元能够对应接收到激光发射单元照射的探测区域反射的激光信号,从而提高探测结果的准确性,另一方面,通过图像探测单元和激光探测单元来同步获取到探测区域的点云信息和图像信息,便于后续激光雷达点云信息与图像信息进行融合,而无需进行复杂的标准和配准,降低了计算的复杂度,提高了探测结果的分辨率。
在一种可能的设计中,图1A、图1B或图1C所示的探测装置的激光发射视场的中心点、激光探测视场的中心点与图像探测视场的中心点重合。其中,激光发射视场为激光发射单元发射的激光信号能够照射的区域,激光探测视场为激光探测单元能够探测到的区域,图像探测视场为图像探测单元能够探测到的区域。可以理解的,主光轴所对应的点为视场的中心点,而由于激光信号、第一信号和第二信号的光路共轴,因此探测装置的激光发射视场的中心点、激光探测视场的中心点与图像探测视场的中心点重合。需要说明的是,此处的重合为通过光路共轴带来的视场中心点也共轴,但是具体实现过程中中心点不一定是完全精确的重合,例如,由于不同的工艺设计差异可能导致重合不一定准确,但是通过本申请的方法可以尽可能地减少配准、标定的复杂度。
在中心点重合的情况下,激光探测单元可以对应接收到激光发射单元照射的区域所返回的光信号,从而提高激光探测结果的准确性。请参见图6,图6是本申请实施例提供的一种可能的视场示意图,可以看出,激光探测单元能够探测到的区域能够被发射的激光信号照射到,而激光照射到区域所反射的回波信号能够被探测到,从而使得激光探测单元能够接收到尽可能多的反射信号,提高激光探测的效率和准确性。
而激光探测视场与图像探测视场的重合,则可以降低后续融合时的配准和标定的复杂度,减少计算消耗,提升得到探测结果的效率。
可以理解的是,本申请实施例示意的结构并不构成对探测装置10的具体限定。在本申请另一些实施例中,探测装置10可以组合某些单元,或者拆分某些单元,或者不同的单元布置,或者还包含其他的单元。图1A、图1B或图1C中所示的单元可以以硬件、软件或软件和硬件的组合来实现。
下面介绍本申请中一些可能的设计,其中,每一个设计用于描述可能的情况,多个不互斥的设计之间可以进行组合,对于组合的部分情况,实施例不再进行赘述。
在一种可能的设计中,图1A、图1B或图1C中所示的探测装置10中的分光装置104具体可以包含第一分光装置和第二分光装置。在发射激光信号时,第一分光装置将激光信号射向第二分光装置,第二分光装置将激光信号射向所述探测区域。
在接收信号时,第二分光装置将来自探测区域的光信号分为第一信号和第二信号,将第一信号提供给第一分光装置,将第二信号提供给图像探测单元。第一分光装置进一步将第一信号提供给激光探测单元。
例如,参见图7A和图7B,图7A是本申请实施例提供的一种可能的探测装置70发射激光信号的示意图,图7B为一种可能的探测装置70接收信号的示意图。在探测装置70中,分光装置104包含第一分光装置1041和第二分光装置1042。可选的,探测装置70还可以包括控制器(图中未示出)和其它光学器件(例如透镜、滤光镜、匀光片等)。
参见图7A,在发射激光信号时,第一分光装置1041将来自激光发射单元101的第一激光信号射向第二分光装置1042,第二分光装置将所述第一激光信号射向探测区域。以探测区域中包含探测目标105为例,第一激光信号在探测目标105上产生漫反射,部分反射信号被射向探测装置70。当然,环境中的其他光源的相关光信号(例如太阳照射探测目标105所产生的反射光)也会射向探测装置70。
参见图7B,第二分光装置1042可以将来自探测区域的光信号分为第一信号和第二信号,将第一信号提供给第一分光装置1041,将第二信号提供给图像探测单元103。第一分光装置1041进一步将所述第一信号提供给激光探测单元102。其中,第一信号中包含基于探测装置70发射的第一激光信号的反射信号。
需要说明的是,探测装置70的激光发射单元101和激光探测单元102的位置可以互相调换,其他部件的配置位置也可以进行变换。
在图7A和/或图7B所示的实施例中,通过第一分光装置和第二分光装置实现了第一激光信号、第一信号和第二信号的光路共轴,一方面,可以使得图像探测单元能够对应接收到激光发射单元照射的探测区域反射的激光信号,另一方面,通过图像探测单元和激光探测单元来同步获取到探测区域的点云信息和图像信息,便于后续激光雷达点云信息与图像信息进行融合。
在又一种可能的设计中,第一信号中包含波长范围属于第一波长范围的信号,而第二信号包含波长范围属于第二波长范围的信号。其中,波长范围是波长的最大值(上限)和最小值(下限)之间(可选包含最大值和/或最小值)的波段。
其中,第一波长范围的宽度与第二波长范围的宽度可以不同,例如第一波长范围包含780nm及以上的波长,而第二波长范围包含780nm以下的波长。
具体的,第一波长范围与第二波长范围可以存在重叠或者不重叠。例如第一波长范围包含700nm及以上的波长,第二波长范围包含800nm及以下的波长,此时第一波长范围在700nm-800nm之间有重叠的部分。
请参见表1,表1是本申请实施例提供的一种可能的光色及其对应的波长范围。
表1一种可能的光色及其对应的波长范围
光色 | 波长 |
远红外 | 5微米(μm)-1,000μm |
中红外 | 3μm-5μm |
近红外 | 780(纳米)nm-3μm |
红 | 620-780nm |
橙 | 590-620nm |
黄 | 570-590nm |
绿 | 495-570nm |
青 | 476-495nm |
蓝 | 450-475nm |
紫 | 380-450nm |
需要说明的是,表1所示的波长范围只是用于示例的一种可能的波长范围,各个波长范围的上限和下限还可以参考以下标准文件或者组织的推荐方案中的一项或者多项:眼科光学眼科器件的标准文件、ISO 20473:2007光学和光子学-光谱带(Optics andphotonics-Sprectral bands)的标准文件、国际照明委员会分类系统或者天文学分类方案。
本申请例举一种可能的情况:激光发射单元可以发射红外光(例如波长为3μm-5μm的中红外线),激光探测单元可以对红外光产生响应,图像探测单元可以对可见光产生响应。第二分光装置用于将来自探测区域的光信号分为第一信号和第二信号,第一信号中包含波长范围属于红外光所在的波长范围内的光信号,第二信号中包含波长范围属于可见光所在的波长范围的光信号。一方面,激光探测单元可以接收红外光(包含基于发射的红外光得到的反射光),基于接收的红外光得到点云信息。另一方面,图像探测单元接收可见光,进行成像得到图像信息。
在又一种可能的设计中,第二分光装置可以为二向色镜(dichroscope)、半透半反分光镜(或者称为半透半反镜)或者介质分光镜(电介质分光镜、金属膜分光镜等等中的一项)的一种或者多种的组合。本申请例举两种可能的实现方式:
实现方式一:第二分光装置包含二向色镜。二向色镜是一种对于不同波长的光具有不同的反射率和透射率性质的光学器件,也可以称为二色分光镜(dichroic beamsplitter)、双色向滤光镜(dichroic filters)、二向色分光片等。例如,参见图8,图8是本申请实施例提供的一种可能的二向色镜的反射率的示意图,可以看出,图8所示的二向色镜在波长小于750nm的波长范围内反射率较低,也即是说波长小于750nm的光信号经过该二向色镜时大部分被透射;在波长大于800nm的波长范围内反射率较高,也即是说波长大于800nm的光信号经过该二向色镜时大部分被反射。
可以看出,具有图8所示的反射性能的二向色镜可以反射红外光、透射可见光,从而达到分离不同的波长范围的光信号的效果。可以看出,分光是一种效果性的描述,二向色镜根据经过的光信号所属的波长范围,对光线进行反射或者透射,从而达到了分光的效果。
可以理解的,图8所示的二向色镜的反射率与折射率只是一种示例性的说明,并不限定本申请中的二向色镜能够完全符合该性能,具体的反射率取决于二向色镜的具体实现。此外在一些实施例中,二向色镜还可以对短波进行反射而对长波进行透射,此处不再一一说明。
考虑一种可能的实施情况:激光发射单元可以发射红外光(例如波长为3μm-5μm的中红外线),激光探测单元可以对红外光产生响应,图像探测单元为可见光成像的图像传感器。第二分光装置(例如为图8所示的二向色镜)用于将来自探测区域的第一信号提供给激光探测单元,将来自探测区域的第二信号提供给图像探测单元。其中,第一信号包含波长范围大于800nm的光信号;第二信号包含波长范围小于800nm的光信号。也即是说,第一信号包含了发射的激光信号对应的反射信号,第二信号中包含可见光。由于第一信号提供给激光探测单元,第二信号提供给图像探测单元,从而使得探测单元各自获取有效的光信号,提高了信号的利用率。
例如,参见图7B,其中实线箭头表示红外光,而虚线箭头表示可见光,第二分光装置(二向色镜)可以将来自探测区域的光信号分为两部分,其中第一信号包含红外光,第二信号包含可见光。第一信号提供给激光探测单元102,第二信号提供给图像探测单元103,从而使得探测单元各自获取有效的光信号,提高了信号的利用率。
实现方式二:第二分光装置可以为半透半反分光镜。其中,半透半反分光镜能够在一定波长范围内把一束光分成光谱成分大致相同的两束光,即:在一定的波长区域内,如300nm至100μm的波长范围内,对各波长具有相同(此处的相同不一定只完全相同,可以在一定范围内有波动但是波动较小)的透射率和反射率。一般来说,透射光和反射光分别占比50%的中性分束镜较为常用,但是对于其他透射比例(反射比例)的分光镜本申请同样适用。
请参见图9,图9是本申请实施例提供的又一种可能的探测装置90接收光学的示意图,其中,第二分光装置1042为半透半反分光镜。第二分光装置1042将来自探测区域的光信号分为第一信号和第二信号,其中,第一信号被第二分光装置1042反射到第一分光装置1041中;第二信号被第二分光装置1042透射到图像探测单元1041上。图9所示的第一信号和第二信号的光谱成分大致相同。若探测区域可以反射激光信号,第一信号中包含基于发射单元101发射的激光信号的反射信号。
在又一种示例中,在激光探测单元102与第一分光装置1041之间可以配置有滤光片,该滤光片可以将其他杂光过滤。
例如,图9所示的探测装置90可选的包含滤光片901,该滤光片901可以过滤与发射的激光信号的波长范围不同的光信号。
考虑一种可能的情况:激光发射单元101发射的激光信号为红外光,第一分光装置将来自探测区域的光信号分为了光谱成分大致相同的第一信号和第二信号。其中,第一信号中既包括了红外光(红外光中包含基于发射的红外光得到的反射光),也包含了其他波长的光信号。而通过光学器件901,可以过滤第一信号中的其他波长范围的光,将红外光提供给激光探测单元102,从而提高了激光探测单元102接收到的信号的有效性。
在这种情况下,若图像探测单元包含红外相机,可以获取到探测区域的红外图像。
需要说明的是,光学器件901还可以配置在激光探测单元102与第二分光装置1042之间的任意位置,图9仅以配置于激光探测单元102与第一分光装置1041之间为例。
在又一种可能的设计中,第一分光装置可以为偏振分光器件(polarization beamsplitter,PBS)、半透半反分光镜(或者称为半透半反镜)中的一种或者多种的组合。为了便于了解,本申请例举两种可能的实现方式:
实现方式一:第一分光装置为半透半反分光镜。例如,参见图10,图10是本申请实施例提供的一种可能的探测装置100的示意图。探测装置100中,第一分光装置1041可以为半透半反分光镜,第一信号经过第一分光装置1041时,被分为光谱成分大致相同的两个部分,其中一个部分的信号被反射向激光探测单元102方向,一个部分信号被透射向激光发射单元101方向。探测装置100中还可以包含控制器(图10中未示出),各个单元的具体情况可以参考前述的描述,此处不再赘述。
进一步的,由于部分反射光被透射向激光发射单元,该部分反射光可能会对激光探测产生干扰。探测装置可以通过脉冲形式或者以探测帧进行探测,通过时分的方式来降低干扰信号的影响。探测装置还可以在激光发射单元的方向上,配置滤光片或者吸收反射光的装置,来降低干扰信号的影响。
实现方式二:第一分光装置为偏振分光器件。其中,偏振分光器件能够将偏振入射光分成两束偏振光出射。请参见图11,图11是一种可能的PBS的分光示意图,单箭头实线用于表示光,双箭头实线用于表示光信号的偏振状态,其中,入射光与法线所构成的平面称为入射面(plane of incidence),入射光的偏振方向可以看作由两个正交分量构成,其中一个正交分量垂直于入射面,另一个正交分量平行于入射面。而从PBS出射的两束光中,透射光的偏振方向与入射面平行,称为P偏振光(来源于德语parallel,意为平行),反射光的偏振方向与入射面垂直,称为S偏振光(来源于德语senkrecht,意为垂直)。可以看出,P偏振光与S偏振光的偏振方向互相垂直。
由于偏振分光器件可以基于偏振状态进行分光,因此可以结合可以改变偏振状态的器件来实现激光发射单元与激光探测单元的共轴。例如,激光发射单元发射的激光信号为第一偏振方向,经过偏振分光部件可以提供给探测区域。来自探测区域的光信号可以通过其他光学器件改变其偏振方向,偏振方向改变后的光信号经过偏振分光部件后则被提供给激光探测单元,而不会射向(或者较少一部分射向)激光发射单元(或者大部分被提供给激光探测单元,其中少部分光被吸收或者射向其他方向)。从而可以实现激光发射单元与激光探测单元的共光轴,且可以减少回波信号的损耗。
进一步可选的,所述改变偏振状态的器件可以为波片。请参见图12A和图12B,图12A是本申请实施例提供的一种可能的探测装置120发射激光信号的示意图,图12B为一种可能的探测装置120接收信号的示意图。该探测装置120包含激光发射单元101、激光探测单元102、图像探测单元103、分光装置104和波片(waveplates)1201。其中,分光装置104包含第一分光装置1041和第二分光装置1042,第一分光装置1041为偏振分光器件。可选的,探测装置120还可以包括控制器(图中未示出)和其它光学器件(例如透镜、滤光镜、匀光片等),各个单元的情况可以参考前述的描述。应理解,图12A(或图12B)所示的探测装置120将波片描述为一个装置1201,但是,在一些实施情况中,波片1201也可以包含在第一分光装置1041中,即:第一分光装置1041包含波片1201和偏振分光器件。
参见图12A,在发射信号时,激光发射单元101发射的激光信号的偏振状态为第一偏振状态,例如激光发射单元101发射的第一激光信号为P偏振光(相对于第一分光装置)。第一分光装置1041可以将来自激光发射单元的激光信号射向波片1201,波片1201被配置为将来自第一分光装置的P偏振光的偏振状态改变为圆(或者椭圆)偏振,得到圆偏振光,该圆偏振光射向第二分光装置,第二分光装置将圆偏振光照射在探测区域。
参见图12B,在接收信号时,第二分光装置将来自探测区域基于发射的激光信号的反射光(为圆偏振光)以及其它环境光源的相关光信号,分为第一信号和第二信号,第二信号被提供给图像探测单元103,第一信号被提供给波片1201。波片1201将第一信号中的圆偏振光的偏振状态改变为S偏振,得到包含S偏振光的第一信号。该包含S偏振光的第一信号被提供给第一分光装置,由于S偏振光垂直于入射面,因此偏振分光器件1041将S偏振光射向激光探测单元。这样一来,激光探测单元就可以对应接收到基于激光发射信号得到的反射信号,提高了信号的有效性。
其中,波片,也称为推迟板(retarders),能够透射光并改变其偏振状态。改变其偏振状态具体通过延迟(或延迟)正交分量的一个偏振分量来实现。具体可以为四分之一波片、八分之一波片等等,或者还可以是由两个八分之一波片组成。其中,四分之一波片将正交分量的一个偏振分量的相位延迟四分之一波长,八分之一波片将正交分量的一个偏振分量的相位延迟八分之一波长。
波片通常由晶体材料制成,但是也可以通过其他材料制成。例如,晶体石英极化旋转器(Crystalline Quartz Polarization Rotators)是石英的单晶。
再如,菲涅尔菱形缓速器(Fresnel Rhomb Retarders)利用棱镜结构内特定角度的内部反射来对入射的偏振光施加延迟,光的每次反射通常会使p偏振光前进λ/8,其中λ为偏振的波长。当光从具有两个表面反射的菲涅尔菱形缓速器射出时,总延迟为λ/4。
请参见图13,图13是本申请实施例提供的一种可能的四分之一波片的光学性质示意图,激光发射单元可以发射(a)信号,(a)信号的偏振方向与在PSB上的入射面平行,因此(a)信号被PSB透射到四分之一波片上。(a)信号的偏振方向1303可以分解为正交的两个分量,一个分量的波形如1301所示(在y轴平面上),另一个分量的波形如1302所示(在x轴平面上)。四分之一波片可以将正交分量的一个分量延迟四分之一,例如,将y轴平面的偏振分量延迟四分之一,得到(b)信号。(b)信号的偏振为圆偏振1305,圆偏振1305可以分解为正交的两个分量,一个分量的波形如1303所示(在y轴平面上),另一个分量的波形如1304所示(在x轴平面上)。(b)信号照射到反射面(reflecting surface)上,反射的(b)信号经过四分之一波片时,y轴平面的偏振分量再次被延迟四分之一,得到(c)信号,(c)信号的偏振方向1307可以分解为正交的两个分量,可以看出(c)信号的y轴上的偏振分量的波形1106比波形1303延迟了四分之一。而(c)信号与在PSB上的入射面垂直,因此(c)信号被PSB反射,从而使得(c)信号射向了与(a)信号不同的方向。
需要说明的是,图12A(或图12B)和图13所示的光路仅为示例,具体实践过程中,激光发射单元发射的激光可能还包含其他偏振方向的光,此时PSB可以起到滤光的作用。
可以理解的,由于光路可逆,因此激光发射单元与激光探测单元的位置可以进行调换。例如,如图12B所示的探测装置120中,激光发射单元101与激光探测单元102的位置可以进行调换。此时激光发射单元101发射的激光信号可以为S偏振光,相应的,激光接收单元102可以接收到来自第一分光装置1041的P偏振光。
在又一种可能的设计中,激光探测单元101发射偏振光可以通过配置起偏器(Polarizer,也称为偏振片)或者通过配置偏振镀膜来实现。本申请例举两种可能的实现方式:
实现方式一:在激光发射单元与第一分光装置(PSB)之间配置有起偏器,该起偏器可以使得经过该起偏器的激光信号为第一偏振方向的激光信号。
在一种示例中,探测装置发射的第一激光信号经过起偏器后,第一激光信号偏振方向为第一偏振方向,相应的,激光探测装置在接收信号时,可以过滤偏振方向与第二偏振方向不同的信号,该第二偏振方向为基于第一激光信号的反射信号的偏振方向,从而可以提高激光探测单元接收的信号的有效性,提升激光探测效果。其中,该第二偏振方向与第一偏振方向可以相同,也可以不同。应理解,当第二偏振方向与第一偏振方向不同时,可能是因为在装置中设置了其他光学器件(如:波片),从而改变了经过该光学器件的光信号的偏振方向。
例如,请参见图14A,图14A是本申请实施例提供的一种可能的探测装置140A的结构示意图。探测装置140A的光源1401与第一分光装置1041之间配置有起偏器1402,经过该起偏器1403的第一激光信号为第一偏振方向。该第一激光信号入射到第一分光装置1041时,可以得到P偏振光。例如,该第一偏振方向与P偏振光的方向相同,则第一分光装置1041透射第一激光信号,得到P偏振光。再如,该第一偏振方向的一个正交分量与P偏振光的方向相同,则第一激光信号入射到第一分光装置1041时,被透射得到P偏振光。
后续该P偏振光经过波片1201得到圆偏振光,该圆偏振光被照射到探测区域。来自该探测区域的反射信号中包含圆偏振光,圆偏振光经过波片1202得到线性偏振光,该线性偏振光经过1041时反射得到S偏振光提供给激光探测单元102。
需要说明的是,激光发射单元与激光探测单元的位置可以进行变换。例如,请参见图14B,图14B是本申请实施例提供的一种可能的探测装置140B的结构示意图,探测装置140B的光源1401与第一分光装置1041之间配置有起偏器1402,经过该起偏器1403的第一激光信号为第一偏振方向。该第一激光信号入射到第一分光装置1041时,可以得到S偏振光。后续该S偏振光经过波片1201得到圆偏振光,该圆偏振光被照射到探测区域。来自该探测区域的反射信号中包含圆偏振光,圆偏振光经过波片1202得到线性偏振光,该线性偏振光经过1041时反射得到P偏振光提供给激光探测单元102。
实现方式二:激光发射单元具体为配置有第一偏振镀膜的闪光阵列光源,通过所述偏振镀膜的激光信号的偏振方向为第一偏振方向。请参见图15,图15是本申请实施例提供的一种可能的激光发射单元中的一个发光单元的结构示意图,其中发光体1502用于产生光信号,发光体的上分配置有透镜1504(具体还可以为滤光镜),在透镜1504上镀有一层偏振镀膜1503。从发光体1502发出的光信号经过该偏振镀膜1503后,偏振方向为第一偏振方向。
通过偏振镀膜的方式来实现发射偏振光,从而使得探测装置的结构进一步的紧凑,可以降低运动、振动等对融合探测造成的影响,提高稳定性。
需要说明的是,此处以单个发光单元上方镀膜的方式实现,在一些其它实施情况中,也可以在阵列光源的上方进行整体的镀膜,或者分成多个发光单元组,分组进行镀膜。
在又一种可能的设计中,激光探测单元中配置有第二偏振镀膜,该第二偏振镀膜用于透射第一信号中偏振方向为预设偏振方向的信号。其中,预设偏振方向与偏振镀膜的性质有关,可以在制造或者配置镀膜时预先设置可以透过该偏振片的光信号的偏振方向,或者还可以通过电控达到透过某一偏振方向的光信号的效果。
可选的,该偏振镀膜可以通过单个探测器件上镀膜的方式实现,也可以在激光探测单元的上方进行整体的镀膜,或者分成多个探测器件组,分组进行镀膜。本申请例举两种可能的实现方式:
实施方式一:偏振镀膜通过单个探测器件上镀膜的方式实现。例如,请参见图16,图16是本申请实施例提供的一种可能的阵列探测器的结构,阵列探测器的探测器件阵列1601前方包含两层阵列,具体为探测器件阵列1602和透镜阵列1603,其中,透镜阵列1603上镀有一层偏振镀膜1602。如区域1604所示,一个探测器件上配置有一层带有偏振镀膜的透镜。该偏振镀膜1602可以透射偏振方向为预设偏振方向的信号。例如,该偏振镀膜可以透射来自第一分光装置的P偏振光(或者S偏振光),从而达到滤光的效果,提高信号的有效性。
需要说明的是,上述的透镜仅是作为镀膜的载体进行说明,具体实施过程中,该偏振镀膜可以配置在其他载体上。
在一种可能的实施过程中,该透镜阵列1603用于过滤与发射的激光信号的波长范围不同的光,提高信号的有效性。例如,请参见图12B,以第二分光装置1042为二向色镜、第一分光装置1041为偏振分光器件为例,考虑一种可能的情况:图像探测单元103为可见光相机、激光发射单元101发射红外光,该发射的红外光经过第一分光装置得到P偏振光,而二向色镜1042被配置为对于红外光反射、对于可见光透射。在接收回波信号时,二向色镜将大部分红外光反射向第一分光装置方向,将大部分可以见光透射向可见光相机103。但是,由于二向色镜较难达到对于某一波长范围的光全反射(或者全透射)的效果,也即是说,部分可见光也被二向色镜1042反射向了波片1201。而可见光中可能存在圆偏振光,可见光中的圆偏振光经过波片1201得到线偏振光,从而被第一分光装置1041提供给激光探测102。该可见光可能会对激光探测单元102的信号检测造成干扰,例如造成激光信号的漏检或者信号的虚警。而通过在图像探测单元102中配置透镜阵列,可以过滤可见光波段的光,从而使得红外光波段的光透过,提高信号的有效性。
实现方式二:在激光探测单元的上方进行整体的镀膜。请参见图17,图17是本申请实施例提供的又一种可能的激光探测单元的结构示意图,可以看出,激光探测单元包含三层,具体为探测器件阵列1701、透镜1702和偏振镀膜层1703。其中,偏振镀膜层1703镀在透镜1702上,过滤来自可以透射来自第一分光装置的P偏振光(或者S偏振光),从而达到滤光的效果,提高信号的有效性。
需要说明的是,上述的透镜仅是作为镀膜的载体进行说明,具体实施过程中,该偏振镀膜可以配置在其他载体上,例如直接镀在接收单元的表面。
在一些可能的实施过程中,该透镜阵列1702可以用于过滤与发射的激光信号的波长范围不同的光,提高信号的有效性。
可替换的,除了镀膜形式,还可以使用偏振片达到偏振滤光的效果。如图17所示的偏振镀膜层1703也可以看做偏振片层,可以达到类似的效果,此处不再赘述。
在又一种可能的设计中,探测装置中还包括光学器件,例如包含透镜、光束整形器、滤光片、匀光片和准直装置中的至少一个。本申请例举以下几种可能的实现方式:
实现方式一:探测装置还包括第一光学器件,所述第一光学器件配置于分光装置与探测区域之间。其中,所述第一光学器件用于透过第三波长范围内的光,所述第三波长范围包含所述第一激光信号的波长范围和所述图像探测单元的工作波长范围。可选的,该光学器件具体可以为透镜或者滤光镜。图像探测单元的工作范围用于指示图像探测单元所敏感的信号的波长范围,或者说能够产生响应的波长范围。例如,可见光相机工作的工作波长范围为可见光的波长范围,短波近红外相机工作波长范围约为400nm-1700nm(仅用于示例)。
例如,在激光发射单元为红外光,图像探测单元为对可见光产生响应的场景下,第一光学器件至少可以通过红外光所在的波段与可见光所在的波段,便于进行收发复用。
通过设置收发复用的光学器件,可以实现激光发射单元、激光探测单元和图像探测单元的光学系统复用,减少探测装置的体积,提高紧凑度。
具体实施时,所述第一光学器件可以包含宽光谱光学器件。其中,宽光谱表示该光学器件可以通过较大的波长范围的光信号。本申请实施例中,宽光谱光学器件可以通过的波段至少包含发射信号的波长范围和工作波长范围。进一步可选的,宽光谱光学器件可以通过的波段还可以包含激光探测单元的工作波长范围。
本申请例举一种可能的情况:请参见图18A与图18B,图18A是本申请实施例提供的一种可能的探测装置180发射激光信号的示意图,图18B为一种可能的探测装置180接收信号的示意图,该探测装置180包含激光发射单元101、激光探测单元102、图像探测单元103、分光装置104、波片(waveplates)1201、起偏器1402和宽光谱光学器件1801。分光装置104包含第一分光装置1041和第二分光装置1042。可选的,探测装置120还可以包括控制器(图中未示出)。
可以看出,激光发射单元101发射的激光信号可以通过该宽光谱光学器件1801照射在探测区域中,而来自探测区域的光信号可以通过该宽光谱光学器件1801,提供给分光装置104。
实现方式二:探测装置还包括第二光学器件、第三光学器件和第四光学器件中的至少一个。其中,第二光学器件配置于所述的激光发射单元与所述分光装置之间;第三光学器件配置于所述激光探测单元与所述分光装置之间;和/或,第四光学器件配置于所述图像探测单元与所述分光装置之间。
其中,第二光学器件能够用于透过激光信号,该第二光学器件也可以称为发射光学系统。例如,若激光发射单元发射红外光,则可以称为红外发射光学系统。可选的,该第二光学器件可以包含透镜,用于透过激光信号。或者可选的,该第二光学器件可以包含滤光镜,用于使得发射的激光信号为预设的波长范围内的信号。或者可选的,该第二光学器件还可以包含光束整形器件,例如:第二光学器件可以包含准直装置,用于调整激光信号的方向、形状等。
第三光学器件用于接收基于发射的激光信号得到的反射信号,该第三光学器件也可以称为接收光学系统。例如,该第三光学器件用于接收基于发射的红外光的回波光,则可以称为红外接收光学系统。可选的,该第三光学器件可以包含透镜,用于透过光信号。又或者可选的,该第三光学器件包含滤光片,用于过滤杂光。又或者可选的,该第三光学器件包含匀光片,该匀光片用于均匀返回的光信号,避免第一信号在某一区域的能量过于集中。
第四光学器件用于透过图像探测单元所需的光信号,该第四光学器件也可以称为接收光学系统。例如,该第四光学器件用于接收可见光,则该第四光学器件也可以称为可见光接收光学系统。可选的,该第四光学器件可以包含透镜,用于透过光信号。又或者可选的,该第四光学器件包含滤光片,用于过滤杂光。
本申请例举一种可能的情况:请参见图19,图19是本申请实施例提供的一种可能的探测装置190的结构示意图,该探测装置190包含激光发射单元101、激光探测单元102、图像探测单元103、分光装置104、波片(waveplates)1201、起偏器1402、第二光学器件1901、第三光学器件1902和第四光学器件1904。分光装置104包含第一分光装置1041和第二分光装置1042。可选的,探测装置120还可以包括控制器(图中未示出)。
其中,第二光学器件1901能够用于透过激光信号,第三光学器件1902用于过滤射向激光探测单元120的光信号中的杂光,第四光学器件1903用于透过图像探测单元103所需的光信号。
实现方式三:探测装置还包括第五光学器件和第六光学器件,其中,第五光学器件配置于所述第一分光装置与所述第二分光装置之间;第六光学器件配置所述图像探测单元与所述第二分光装置之间。
其中,第五光学器件可以用于透过激光信号和/或过滤杂光,第五光学器件用于透过图像探测单元所需的光信号。可以理解的,用于激光发射单元发射的光信号与激光探测单元所需的光信号为同一波长的,因此将第五光学器件进行激光的收发复用,可以减小探测装置的体积,提高紧凑度。可选的,该第五光学器件可以包含透镜,用于透过光信号。或者可选的,该第五光学器件可以包含滤光镜,用于过滤杂光。
第六光学器件用于透过图像探测单元所需的信号,该第六光学器件也可以称为接收光学系统。例如,该第六光学器件用于接收可见光,则该第六光学器件也可以称为可见光接收光学系统。可选的,该第六光学器件可以包含透镜,用于透过光信号。又或者可选的,该第六光学器件包含滤光片,用于过滤杂光。本申请例举一种可能的情况:请参见图20,图20是本申请实施例提供的一种可能的探测装置200的结构示意图,该探测装置200包含激光发射单元101、激光探测单元102、图像探测单元103、分光装置104、波片(waveplates)1201、起偏器1402、第五光学器件2001和第六光学器件2002。分光装置104包含第一分光装置1041和第二分光装置1042。
可选的,图20中第五光学器件2001与波片1201的位置可以进行调换,其他各个组件的位置也可以进行变换,对于变换的可能的情况可以参考前述的设计,此处不再赘述。
其中,第五光学器件2001可以用于透过激光信号和/或过滤杂光,第六光学器件2002用于透过图像探测单元103所需的光信号。
请参见图21,图21是本申请实施例提供的一种控制方法的流程示意图。可选的,该方法可以基于前述的探测装置来实现,例如图1A、图7A(或图7B)、图9、图10、图12A(或图12B)、图14A(或图14B)、图18A(或图18B)、图19或者图20所示的探测装置。上述控制方法至少包括如下步骤:
步骤S2101:控制激光发射单元发射第一激光信号。
具体的,该步骤S2101可以通过控制装置来实现。可选的,该控制装置可以包含在前述的探测装置中,又或者可以部署在探测装置的外部。例如:控制装置可以为图1A、图1B或图1C中示的探测装置10中的控制器106,或者,可以为控制器106中的一个模块,如芯片或集成电路。再如,以探测装置为车载雷达为例,该控制器可以为车辆中的MDC,用于控制车载雷达进行工作。
其中,控制装置可以包含以下装置的一个或者多个:控制器、处理器、现场可编程门阵列、应用处理器(application processor,AP)、调制解调处理器、图形处理器(graphics processing unit,GPU)、图像信号处理器(image signal processor,ISP)、控制器、数字信号处理器(digital signal processor,DSP)、和/或神经网络处理器(neural-network processing unit,NPU)等。可选的,该激光发射单元属于flash类型的光源,flash类型的光源一次发光可以照射一个视场区域,可以达到面照射的效果。可选的,该激光发射单元可以为包含多个发光单元的阵列光源,也可以为包含一个发光单元的泛照光源。
该控制器可以向激光发射单元发送第一控制信号,激光发射单元响应于所述第一控制信号产生激光信号。
步骤S2102:控制激光探测单元接收来自探测区域的第一信号。
其中,第一信号通过分光装置提供给激光探测单元,第一信号包含对应于第一激光信号的反射信号。
具体的,分光装置可以将来自探测区域的(具体可以是来自探测区域的第一目标对象的)第一信号提供给激光探测单元,第一信号中包含对应于第一激光信号的反射信号。
可选的,分光装置可以包含第一分光装置和第二分光装置,第二分光装置用于将来自探测区域的光信号分为第一信号和第二信号,第一分光装置用于将第一信号提供给该激光探测单元。
在一种可能的设计中,第二分光装置可以为二向色镜(dichroscope)、半透半反分光镜(或者称为半透半反镜)或者介质分光镜(电介质分光镜、金属膜分光镜等等中的一项)的一种或者多种的组合。
在又一种可能的设计中,第一分光装置可以为偏振分光器件(polarization beamsplitter,PBS)、半透半反分光镜(或者称为半透半反镜)中的一种或者多种的组合。进一步可选的,分光装置中还包含波片用于改变光信号的偏振方向。
具体的,该步骤S2102可以由前述的控制装置来实现。可选的,控制装置可以通过控制信号来控制激光探测单元。例如,控制装置产生第二控制信号,该第二控制信号用于激光探测单元开始或者停止接收来自探测区域的第一信号。进一步的,控制装置还可以产生阈值指示信息等,用于指示激光探测单元可以产生响应的信号的阈值。
在一些实施例中,激光探测单元上的偏振片,可以通过电控来实现通过预设偏振方向的光信号。在这种情况下,控制装置可以产生控制信号用于指示该预设偏振方向。
步骤S2103:控制图像探测单元接收来自探测区域的第二信号。
其中,所述第二信号通过所述分光装置提供给所述图像探测单元。
可选的,分光装置既向图像探测单元提供第二信号,也向激光探测单元提供第一信号,该第一信号和第二信号的共光轴。
具体的,该步骤S2103可以由前述的控制装置来实现。控制装置可以通过控制信号来控制图像探测单元。例如,控制装置产生第三控制信号,该第三控制信号用于图像探测单元开始或者停止接收来自探测区域的第二信号。
在一些实施例中,图像探测单元上的偏振片,可以通过电控来实现通过预设偏振方向的光信号。在这种情况下,控制装置还可以产生控制信号用于指示该预设偏振方向。
可选的,图21所示的控制方法还可以包括步骤S2104。具体如下:
步骤S2104:根据来自激光探测单元的第一探测数据和来自图像探测单元的第二探测数据得到探测区域的探测结果。
具体的,步骤S2104执行的主体可以为前述的控制装置,也可以是不同于前述的控制装置的另一控制装置,例如外部的处理装置。例如,步骤S2101-2103的执行主体可以为探测装置内的处理器,步骤S2104的执行主体可以为探测装置所在终端中的处理器,例如车辆中的MDC等。
可选的,在控制装置包含在前述的探测装置中的情况下,控制装置、激光发射单元、图像探测单元、激光探测单元可以通过总线或者以无线的方式互联,从而使得控制装置可以接收第一探测数据和第二探测数据。
或者,控制装置可以集成在图像探测单元中,此时控制装置接收来自激光探测单元的第一探测数据,根据第一探测数据和来自图像探测单元的第二探测数据得到探测区域的探测结果。
类似的,控制装置也可以集成在图像探测单元中。
具体的,激光探测单元基于第一信号可以得到电信号。第一探测数据可以包含所述电信号或者对所述电信号处理后得到的进一步的数据。
图像探测单元基于第二信号可以得到像素信息(或者电信号)。第二探测数据可以包含所述像素信息(或者电信号)或者对所述像素信息(或者电信号)处理后得到的进一步的数据
控制装置将第一探测数据和第二探测数据进行融合,可以得到对探测区域的探测结果。在一种可能的设计中,控制装置可以根据第一探测数据得到探测区域的点云信息,根据第二探测数据得到探测区域的图像信息,根据点云信息和图像信息得到探测区域的探测结果。
其中,探测区域的探测结果可以为探测区域的高分辨率融合图像,或者为探测区域的三维(3-dimension,3D)图像。通过该探测结果,既可以确定探测区域中的目标的距离,还可以通过高分辨率像素进行物体识别、分析等。
例如,该第一信号与第二信号具体来自探测区域的第一目标对象,该探测结果可以用于描述该第一目标对象的颜色、相对于探测装置的距离、速度、轮廓或者花纹等等中的一项或者多项信息。该探测结果还可以用于对第一目标对象进行识别或者分析。
可以看出,通过图21所示的控制方法,可以控制探测装置对探测区域进行探测,即可以得到探测区域的图像,还可以得到探测区域的点云信息。进一步,根据探测区域的图像和点云信息可以得到融合探测结果。探测装置中包含了激光发射单元、激光探测单元和图像探测单元,设备的紧凑度较高、稳定性较好。进一步的,本申请实施例通过分光装置能够实现激光信号、第一信号和第二信号的光路共轴,一方面,可以使得图像探测单元能够对应接收到激光发射单元照射的探测区域反射的激光信号,从而提高探测结果的准确性,另一方面,通过图像探测单元和激光探测单元来同步获取到探测区域的点云信息和图像信息,便于后续激光雷达点云信息与图像信息进行融合,而无需进行复杂的标准和配准,降低了计算的复杂度,提高了探测结果的分辨率。
上述详细阐述了本申请实施例的方法,下面提供了本申请实施例中可能的控制装置。
请参见图22,图22是本申请实施例提供的一种控制装置220的结构示意图,该探测装置可以包括控制单元2201。进一步可选的,所述控制装置还包括处理单元2202或者,所述处理单元2202位于所述控制装置的外部。该控制装置220用于实现前述的控制方法,例如可以用于实现图21所示的控制方法。
需要说明的是,各个单元的实现还可以对应参照图21所示的方法实施例的相应描述。可选的,该控制装置220可以为前述的探测装置中的控制器,或者为控制器中的一个或者多个模块(例如芯片或者集成电路)。
在一种可能的实施方式中,所述控制单元2201,用于控制激光发射单元发射第一激光信号,所述第一激光信号通过分光装置射向探测区域;
所述控制单元2201,还用于控制激光探测单元接收来自所述探测区域的第一信号,所述第一信号通过所述分光装置提供给所述激光探测单元,所述第一信号包含对应于所述第一激光信号的反射信号;
所述控制单元2201,还用于控制图像探测单元通过来自所述探测区域的第二信号进行成像,所述第二信号通过所述分光装置提供给所述图像探测单元。
在一种可能的实施方式中,所述处理单元2202,用于:
根据来自所述激光探测单元的第一探测数据得到所述探测区域的点云信息;
根据来自所述图像探测单元的第二探测数据得到所述探测区域的图像信息;
将所述点云信息和所述图像信息进行融合,得到所述探测区域的探测结果。
上述各个单元的具体实现还可以参考图21所示的方法实施例中的详细描述,此处不再赘述。
应理解,控制装置220中,对多个单元或模块的划分仅是一种根据功能进行的逻辑划分,不作为对装置具体的结构的限定。在具体实现中,其中部分功能模块可能被细分为更多细小的功能模块,部分功能模块也可能组合成一个功能模块,但无论这些功能模块是进行了细分还是组合,在实现控制方法的过程中所执行的大致流程是相同的。例如,上述控制装置220中的控制单元可以细分为第一控制单元和第二控制单元,其中第一控制单元用于控制激光发射单元和激光探测单元,第二控制单元用于控制图像探测单元。通常,每个单元都对应有各自的程序代码(或说程序指令),这些单元各自对应的程序代码在至少一个处理器上运行时,使得该单元执行相应的流程从而实现相应功能。
请参见图23,图23是本申请实施例提供的一种控制装置230的结构示意图,该控制器230可以包括至少一个处理器2301和通信接口2302。可选的,所述通信装置还可以包括至少一个存储器2303。进一步的,该存储器2303可以与处理器2301耦合。具体的,该控制装置230可以为芯片或者集成电路。
可选的,该探测装置230还可以包含总线2304,其中,至少一个处理器2301、通信接口2302和至少一个存储器2303中的一个或者多个可以通过总线2304相连。
其中,处理器2301是进行算术运算和/或逻辑运算的模块,具体可以是模数转换器(analog-to-digital converter,ADC)、数字信号处理器(digital signal processer,DSP)、中央处理器(central processing unit,CPU)、图片处理器(graphics processingunit,GPU)、微处理器(microprocessor unit,MPU)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程逻辑门阵列(Field Programmable Gate Array,FPGA)、复杂可编程逻辑器件(Complex programmable logic device,CPLD)、协处理器(协助中央处理器完成相应处理和应用)、微控制单元(Microcontroller Unit,MCU)等处理模块中的一种或者多种的组合。
通信接口2302可以用于为所述至少一个处理器提供信息输入或者输出。或者可替换的,该通信接口2302可以用于接收外部发送的数据和/或向外部发送数据,可以为包括诸如以太网电缆等的有线链路接口,也可以是无线链路(Wi-Fi、蓝牙、通用无线传输、车载短距通信技术等)接口。可选的,通信接口2302还可以包括与接口耦合的发射器(如射频发射器、天线等),或者接收器等。
存储器2303用于提供存储空间,存储空间中可以存储操作系统和计算机程序等数据。存储器2303可以是高速缓冲存储器(cache)、随机存储记忆体(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM)等等中的一种或者多种的组合。其中,RAM又可以为静态随机存取存储器(static random access memory,SRAM)或动态随机存取存储器(dynamicrandomaccess memory,DRAM)等中的一项或者多项的组合
该控制装置230中的处理器2301用于读取存储器中存储的计算机程序,用于执行前述的控制方法,例如图21所描述的探测方法的一个或多个步骤。
本申请实施例还提供了一种融合探测系统,所述融合探测系统包含探测装置和处理装置。所述探测装置可以为前述的图1A、图7A(或图7B)、图9、图10、图12A(或图12B)、图14A(或图14B)、图18A(或图18B)、图19或者图20等实施例中所描述的探测装置。所述处理装置用于执行计算机程序,以将第一探测数据和第二探测数据进行融合,得到探测区域的探测结果。其中,所述第一探测数据来自所述探测装置的激光探测单元,所述第二探测数据来自所述探测装置的图像探测单元。本领域技术人员可以理解,在该融合探测系统中,上述方法实施例中涉及的步骤S2104由所述探测装置之外的处理装置执行。
本申请实施例还提供了一种终端,所述终端包含前述的探测装置,例如图1A、图7A(或图7B)、图9、图10、图12A(或图12B)、图14A(或图14B)、图18A(或图18B)、图19或者图20所示的探测装置。
可选的,上述终端可以为车辆、无人机、路侧单元、路口雷达或机器人等运输工具或智能终端。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序在一个或多个处理器上运行时,实现图21所示的实施例所述的方法。
本申请实施例还提供了一种计算机程序产品,当所述计算机程序产品在一个或多个处理器上运行时,实现图21所示的实施例所述的方法。
本申请实施例还提供了一种芯片系统,所述芯片系统包括通信接口和至少一个处理器,该通信接口用于为上述至少一个处理器提供信息输入/输出,所述处理器用于从所述通信接口调用计算机指令,实现图21所示的实施例所述的方法。进一步,所述至少一个处理器可以ADC、DSP、CPU、GPU、MPU、ASIC、FPGA、CPLD、协处理器(协助中央处理器完成相应处理和应用)、MCU等处理模块中的一种或者多种的组合。
上述实施例中所用,根据上下文,术语“当……时”可以被解释为意思是“如果……”或“在……后”或“响应于确定……”或“响应于检测到……”。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
Claims (27)
1.一种探测装置,其特征在于,所述探测装置包括激光发射单元、激光探测单元、分光装置以及图像探测单元,其中:
所述激光发射单元用于发射激光信号,其中,来自所述激光发射单元的第一激光信号通过所述分光装置射向探测区域;
所述激光探测单元用于通过所述分光装置接收来自所述探测区域的第一信号,所述第一信号包含对应于所述第一激光信号的反射信号;
所述分光装置还用于将来自所述探测区域的第二信号提供给所述图像探测单元;
所述图像探测单元用于通过所述第二信号成像。
2.根据权利要求1所述的装置,其特征在于,所述激光发射单元包括闪光阵列光源。
3.根据权利要求1或2所述的装置,其特征在于,所述分光装置包含第一分光装置以及第二分光装置;其中:
所述第一分光装置用于将所述第一激光信号射向所述第二分光装置;
所述第二分光装置用于将所述第一激光信号射向所述探测区域;
所述第二分光装置还用于将来自所述探测区域的光信号分为所述第一信号和所述第二信号,将所述第二信号提供给所述图像探测单元,将所述第一信号提供给所述第一分光装置;
所述第一分光装置还用于将所述第一信号提供给所述激光探测单元。
4.根据权利要求3所述的装置,其特征在于,所述第一分光装置包含偏振分光器件或者半透半反分光镜。
5.根据权利要求3或4所述的装置,其特征在于,所述第一激光信号的波长范围属于第一波长范围,所述第一信号中包含波长范围属于所述第一波长范围的光信号,所述第二信号包含波长范围属于第二波长范围的光信号,所述第一波长范围不同于所述第二波长范围。
6.根据权利要求3-5中任一项所述的装置,其特征在于,所述第二分光装置包含二向色分光镜或者半透半反分光镜。
7.根据权利要求3-6中任一项所述的装置,其特征在于,所述第一分光装置包括偏振分光器件和四分之一波片;所述四分之一波片配置于所述偏振分光器件与所述第二分光装置之间。
8.根据权利要求1-7中任一项所述的装置,其特征在于,所述激光发射单元与所述分光装置之间配置有起偏器,通过所述起偏器的激光信号的偏振方向为第一偏振方向。
9.根据权利要求1-7中任一项所述的装置,其特征在于,所述激光发射单元配置有第一偏振镀膜,通过所述偏振镀膜的激光信号的偏振方向为第一偏振方向。
10.根据权利要求1-9中任一项所述的装置,其特征在于,所述激光探测单元配置有第二偏振镀膜,所述第二偏振镀膜用于透射所述第一信号中偏振方向为预设偏振方向的信号。
11.根据权利要求1-10中任一项所述的装置,其特征在于,所述图像探测单元包括彩色相机、灰度相机或者多维度相机中的至少一项,所述多维度相机包括灰度偏振相机、彩色偏振相机和多光谱偏振相机中的至少一项。
12.根据权利要求1-11中任一项所述的装置,其特征在于,所述装置还包括控制器,所述控制器用于控制所述激光发射单元、所述图像探测单元或所述激光探测单元中的至少一个。
13.根据权利要求1-12中任一项所述的装置,其特征在于,所述装置还包括第一透镜,所述第一透镜配置于所述分光装置与所述目标区域之间,所述第一透镜用于透过第三波长范围内的光,所述第三波长范围包含所述第一激光信号的波长范围和所述图像探测单元的工作波长范围。
14.根据权利要求1-12中任一项所述的装置,其特征在于,所述装置还包括第二透镜、第三透镜和第四透镜中的至少一个,其中,
所述第二透镜配置于所述的激光发射单元与所述分光装置之间;
所述第三透镜配置于所述激光探测单元与所述分光装置之间;和/或
所述第四透镜配置于所述图像探测单元与所述分光装置之间。
15.根据权利要求3-7中任一项所述的装置,其特征在于,所述装置还包括第五透镜和第六透镜,其中,
所述第五透镜配置于所述第一分光装置与所述第二分光装置之间;
所述第六透镜配置于所述图像探测单元与所述第二分光装置之间。
16.一种控制方法,其特征在于,所述方法包括:
控制激光发射单元发射第一激光信号,所述第一激光信号通过分光装置射向探测区域;
控制激光探测单元接收来自所述探测区域的第一信号,所述第一信号通过所述分光装置提供给所述激光探测单元,所述第一信号包含对应于所述第一激光信号的反射信号;
控制图像探测单元接收来自所述探测区域的第二信号,所述第二信号通过所述分光装置提供给所述图像探测单元。
17.根据权利要求16所述的方法,其特征在于,所述方法还包括:
根据来自所述激光探测单元的第一探测数据得到所述探测区域的点云信息;
根据来自所述图像探测单元的第二探测数据得到所述探测区域的图像信息;
将所述点云信息和所述图像信息进行融合,得到所述探测区域的探测结果。
18.根据权利要求16或17所述的方法,其特征在于,所述分光装置包含第一分光装置以及第二分光装置;
所述第一激光信号通过所述第一分光装置、所述第二分光装置射向所述探测区域;
来自所述探测区域的光信号通过所述第二分光装置分为所述第一信号和所述第二信号;所述第一信号通过所述第一分光装置提供给所述激光探测单元,所述第二信号提供给所述图像探测单元。
19.根据权利要求18所述的方法,其特征在于,所述第一分光装置包含偏振分光器件或者半透半反分光镜。
20.根据权利要求18或19所述的方法,其特征在于,所述第二分光装置包含二向色分光镜或者半透半反分光镜。
21.根据权利要求18-20任一项所述的方法,其特征在于,所述第一分光装置包括偏振分光器件和四分之一波片;所述四分之一波片配置于所述偏振分光器件与所述第二分光装置之间。
22.根据权利要求16-21中任一项所述的方法,其特征在于,所述激光发射单元包含闪光阵列光源。
23.一种控制装置,其特征在于,包括至少一个处理器和通信接口,所述通信接口用于为所述处理器提供指令或数据输入和/或输出,所述至少一个处理器用于执行计算机程序以实现权利要求16-22中任一项所述的方法。
24.一种融合探测系统,其特征在于,所述融合探测系统包含处理装置和权利要求1-15中任一项所述的探测装置,所述处理装置用于执行计算机程序,以将第一探测数据和第二探测数据进行融合,得到探测区域的探测结果;其中,所述第一探测数据来自所述探测装置的激光探测单元,所述第二探测数据来自所述探测装置的图像探测单元。
25.一种终端,其特征在于,所述终端包含权利要求1-15中任一项所述的探测装置。
26.根据权利要求25所述的终端,其特征在于,所述终端为车辆、无人机或者机器人。
27.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,当所述计算机程序在一个或多个处理器上运行时,执行如权利要求16-22中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211164973.XA CN115718307A (zh) | 2021-02-02 | 2021-02-02 | 一种探测装置、控制方法、融合探测系统及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2021/074937 WO2022165650A1 (zh) | 2021-02-02 | 2021-02-02 | 一种探测装置、控制方法、融合探测系统及终端 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211164973.XA Division CN115718307A (zh) | 2021-02-02 | 2021-02-02 | 一种探测装置、控制方法、融合探测系统及终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112912766A true CN112912766A (zh) | 2021-06-04 |
CN112912766B CN112912766B (zh) | 2022-10-04 |
Family
ID=76109092
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180000323.9A Active CN112912766B (zh) | 2021-02-02 | 2021-02-02 | 一种探测装置、控制方法、融合探测系统及终端 |
CN202211164973.XA Pending CN115718307A (zh) | 2021-02-02 | 2021-02-02 | 一种探测装置、控制方法、融合探测系统及终端 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211164973.XA Pending CN115718307A (zh) | 2021-02-02 | 2021-02-02 | 一种探测装置、控制方法、融合探测系统及终端 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230375668A1 (zh) |
EP (1) | EP4276495A4 (zh) |
CN (2) | CN112912766B (zh) |
WO (1) | WO2022165650A1 (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113687383A (zh) * | 2021-08-23 | 2021-11-23 | 阿波罗智联(北京)科技有限公司 | 含雷达和相机的探测装置、路侧传感设备及智能交通系统 |
CN113746549A (zh) * | 2021-10-27 | 2021-12-03 | 深圳市慧为智能科技股份有限公司 | 一种光信号接收复用系统 |
CN114063111A (zh) * | 2022-01-14 | 2022-02-18 | 探维科技(北京)有限公司 | 图像融合激光的雷达探测系统及方法 |
CN114527483A (zh) * | 2022-01-06 | 2022-05-24 | 北京福通互联科技集团有限公司 | 一种主动式探测光电图像采集系统 |
CN115469323A (zh) * | 2022-09-05 | 2022-12-13 | Oppo广东移动通信有限公司 | 深度信息获取模组和电子设备 |
WO2023056585A1 (zh) * | 2021-10-08 | 2023-04-13 | 华为技术有限公司 | 一种探测系统、终端设备、控制探测方法及控制装置 |
WO2023142181A1 (zh) * | 2022-01-30 | 2023-08-03 | 探维科技(北京)有限公司 | 一种图像融合激光的雷达调光方法及系统 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116485918B (zh) * | 2023-06-25 | 2023-09-08 | 天府兴隆湖实验室 | 一种标定方法、系统及计算机可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104977725A (zh) * | 2015-06-29 | 2015-10-14 | 中国科学院长春光学精密机械与物理研究所 | 用于光电吊舱的光学系统 |
CN105637320A (zh) * | 2013-08-19 | 2016-06-01 | 巴斯夫欧洲公司 | 光学检测器 |
CN107219533A (zh) * | 2017-08-04 | 2017-09-29 | 清华大学 | 激光雷达点云与图像融合式探测系统 |
CN111158061A (zh) * | 2019-12-31 | 2020-05-15 | 中国船舶重工集团公司第七一七研究所 | 一种多维度信息探测装置及其测量方法 |
CN111527740A (zh) * | 2018-01-26 | 2020-08-11 | 京瓷株式会社 | 电磁波检测装置以及信息获取系统 |
CN112147636A (zh) * | 2019-06-26 | 2020-12-29 | 华为技术有限公司 | 一种激光雷达及激光雷达的探测方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8471895B2 (en) * | 2008-11-25 | 2013-06-25 | Paul S. Banks | Systems and methods of high resolution three-dimensional imaging |
US8760517B2 (en) * | 2010-09-27 | 2014-06-24 | Apple Inc. | Polarized images for security |
KR102038533B1 (ko) * | 2012-06-14 | 2019-10-31 | 한국전자통신연구원 | 레이저 레이더 시스템 및 목표물 영상 획득 방법 |
CN104483676B (zh) * | 2014-12-04 | 2017-08-11 | 北京理工大学 | 一种3d/2d非扫描激光雷达复合成像装置 |
CN105487082B (zh) * | 2015-11-19 | 2018-04-10 | 中国空间技术研究院 | 一种用于远距离目标探测的激光雷达 |
US10114467B2 (en) * | 2015-11-30 | 2018-10-30 | Photopotech LLC | Systems and methods for processing image information |
KR20190003480A (ko) * | 2016-02-29 | 2019-01-09 | 테트라뷰 인코포레이티드 | 3d 이미지화 시스템 및 방법 |
DE102017222614A1 (de) * | 2017-12-13 | 2019-06-13 | Robert Bosch Gmbh | Vorrichtung zur Umgebungserfassung sowie Verfahren zu dessen Betrieb |
CN114930183A (zh) * | 2019-03-25 | 2022-08-19 | 尼康计量公众有限公司 | 激光雷达 |
EP3726247B1 (en) * | 2019-04-18 | 2023-06-14 | Veoneer Sweden AB | Lidar imaging apparatus for a motor vehicle |
US10656272B1 (en) * | 2019-04-24 | 2020-05-19 | Aeye, Inc. | Ladar system and method with polarized receivers |
CN111522026B (zh) * | 2020-04-21 | 2022-12-09 | 北京三快在线科技有限公司 | 一种数据融合的方法及装置 |
-
2021
- 2021-02-02 CN CN202180000323.9A patent/CN112912766B/zh active Active
- 2021-02-02 EP EP21923679.1A patent/EP4276495A4/en active Pending
- 2021-02-02 CN CN202211164973.XA patent/CN115718307A/zh active Pending
- 2021-02-02 WO PCT/CN2021/074937 patent/WO2022165650A1/zh unknown
-
2023
- 2023-08-02 US US18/364,222 patent/US20230375668A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105637320A (zh) * | 2013-08-19 | 2016-06-01 | 巴斯夫欧洲公司 | 光学检测器 |
CN104977725A (zh) * | 2015-06-29 | 2015-10-14 | 中国科学院长春光学精密机械与物理研究所 | 用于光电吊舱的光学系统 |
CN107219533A (zh) * | 2017-08-04 | 2017-09-29 | 清华大学 | 激光雷达点云与图像融合式探测系统 |
CN111527740A (zh) * | 2018-01-26 | 2020-08-11 | 京瓷株式会社 | 电磁波检测装置以及信息获取系统 |
CN112147636A (zh) * | 2019-06-26 | 2020-12-29 | 华为技术有限公司 | 一种激光雷达及激光雷达的探测方法 |
CN111158061A (zh) * | 2019-12-31 | 2020-05-15 | 中国船舶重工集团公司第七一七研究所 | 一种多维度信息探测装置及其测量方法 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113687383A (zh) * | 2021-08-23 | 2021-11-23 | 阿波罗智联(北京)科技有限公司 | 含雷达和相机的探测装置、路侧传感设备及智能交通系统 |
WO2023056585A1 (zh) * | 2021-10-08 | 2023-04-13 | 华为技术有限公司 | 一种探测系统、终端设备、控制探测方法及控制装置 |
CN113746549A (zh) * | 2021-10-27 | 2021-12-03 | 深圳市慧为智能科技股份有限公司 | 一种光信号接收复用系统 |
CN114527483A (zh) * | 2022-01-06 | 2022-05-24 | 北京福通互联科技集团有限公司 | 一种主动式探测光电图像采集系统 |
CN114063111A (zh) * | 2022-01-14 | 2022-02-18 | 探维科技(北京)有限公司 | 图像融合激光的雷达探测系统及方法 |
WO2023133939A1 (zh) * | 2022-01-14 | 2023-07-20 | 探维科技(北京)有限公司 | 图像融合激光的雷达探测系统及方法 |
WO2023142181A1 (zh) * | 2022-01-30 | 2023-08-03 | 探维科技(北京)有限公司 | 一种图像融合激光的雷达调光方法及系统 |
US11860317B1 (en) | 2022-01-30 | 2024-01-02 | Tanway Technology (beijing) Co., Ltd. | Optical adjustment for image fusion LiDAR systems |
CN115469323A (zh) * | 2022-09-05 | 2022-12-13 | Oppo广东移动通信有限公司 | 深度信息获取模组和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
EP4276495A1 (en) | 2023-11-15 |
CN115718307A (zh) | 2023-02-28 |
US20230375668A1 (en) | 2023-11-23 |
WO2022165650A1 (zh) | 2022-08-11 |
EP4276495A4 (en) | 2024-03-06 |
CN112912766B (zh) | 2022-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112912766B (zh) | 一种探测装置、控制方法、融合探测系统及终端 | |
US11860280B2 (en) | Integrated illumination and detection for LIDAR based 3-D imaging | |
KR102136401B1 (ko) | 다-파장 이미지 라이다 센서장치 및 이의 신호처리 방법 | |
US11457132B2 (en) | Imaging using optical cavity | |
Breugnot et al. | Modeling and performances of a polarization active imager at λ= 806nm | |
US11902494B2 (en) | System and method for glint reduction | |
US20230204724A1 (en) | Reducing interference in an active illumination environment | |
US11792383B2 (en) | Method and system for reducing returns from retro-reflections in active illumination system | |
WO2021168832A1 (zh) | 一种激光探测系统及车辆 | |
WO2018230203A1 (ja) | 撮像装置 | |
KR20170134945A (ko) | 개선된 구조를 갖는 라이다 광학장치 | |
US20220404579A1 (en) | Imaging apparatus | |
US20210011162A1 (en) | Polarization Filtering in LiDAR System | |
CN113671524A (zh) | 一种假彩色激光雷达系统 | |
CN210155024U (zh) | 一种光学相干层析成像装置以及成像系统 | |
JP2023532676A (ja) | 拡散照射及び構造化光用プロジェクタ | |
US20230305160A1 (en) | Multimodal detection with integrated sensors | |
CN117178195A (zh) | 用于获取3d空间信息的光学系统 | |
CN117804600A (zh) | 一种集成式水下高光谱成像监测系统及方法 | |
CN114689601A (zh) | 表面检测装置和表面检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |