CN114026458A - 多维材料感测系统和方法 - Google Patents
多维材料感测系统和方法 Download PDFInfo
- Publication number
- CN114026458A CN114026458A CN202080044109.9A CN202080044109A CN114026458A CN 114026458 A CN114026458 A CN 114026458A CN 202080044109 A CN202080044109 A CN 202080044109A CN 114026458 A CN114026458 A CN 114026458A
- Authority
- CN
- China
- Prior art keywords
- polarization
- additional
- information
- processor
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
- B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
- B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
- B07C5/04—Sorting according to size
- B07C5/10—Sorting according to size measured by light-responsive means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/484—Transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/499—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
Abstract
多维光成像、检测和测距(LIDAR)系统和方法可选地包括激光设备,该激光设备配置为生成朝向对象发射的多个光脉冲;检测器,该检测器配置为接收从所述对象返回的所述多个光脉冲的一部分;以及处理器,该处理器配置为基于通过所述检测器接收到的所述多个光脉冲生成表示所述对象的点云,该点云具有多个点,每个点具有表示所述点在对象上的位置的三维位置坐标并且具有至少一个附加值,该至少一个附加值表示材料信息或光学信息中的至少一者,该材料信息指示在对象上的点的位置处、对象的材料,该光学信息指示从对象上的点的位置、从对象的表面返回的多个光脉冲的至少一个光学特性。
Description
相关申请的交叉引用
本发明要求于2019年4月17日提交的美国临时申请第62/835,256号的权益。上述申请的全部公开内容通过援引并入本文。
技术领域
本公开涉及材料感测系统和方法,更具体地,涉及多维材料感测系统和用于制造和使用这些系统的方法。
背景技术
本部分提供与本公开内容有关的背景信息,该背景信息不一定是现有技术。
LIDAR是通过利用脉冲激光照射对象并利用传感器测量反射脉冲来测量到对象的距离的勘测方法。然后可以使用激光返回时间和波长的差来作出所检测对象的数字3D表示。LIDAR可用于产生高分辨率地图,并应用于大地测量学、测绘学、考古学、地理学、地质学、地貌学、地震学、林业学、大气物理学、激光制导、机载激光条带测绘(airborne laserswath mapping,ALSM)和激光测高学。LIDAR技术还可用于自动驾驶汽车的控制和导航。
常规的LIDAR设备可以如下操作。激光源产生特定波长的偏振或非偏振光的脉冲。当首次发射光时,飞行时间传感器记录初始时间。飞行时间用于通过使用光行进的速度来确定光从源到行进至检测器的总距离。
然后将所发射的光以给定角度“转向”。这种“转向”还可以包括将光脉冲分离成针对不同角度的多个脉冲分量。转向角将随着时间的而变化,以获得特定的视野以用于环境的全面测绘。在瞄准后,光可以在发射之前和发射之后穿过线性偏振光学器件。这些类型的LIDAR被称为偏振LIDAR,并且可以在配准步骤处使用偏振光学器件。
常规的LIDAR设备通常采用笨重且昂贵的光学透镜。此外,由于常规的LIDAR设备中使用的光学透镜对水分的敏感性,因此光学透镜需要大量的保护性封装,这增加了采用光学透镜的LIDAR设备的重量、尺寸和复杂性。在自动驾驶交通工具和机器人中实施具有旋转光学器件的LIDAR系统(例如,Velodyne-HDL64TM模型)的一个公知的问题是LIDAR系统的大尺寸和高成本。旋转整个设备以使激光束转向会降低可靠性、限制微型化并增加能耗。基于固态光束转向的LIDAR系统解决了该问题,但由于准确性和范围不足而阻碍了其实现。另一个问题是LIDAR和所有其他传感器在恶劣天气下的性能。当前使用的波长在约900nm至940nm的激光束会被雨、雾和雪强烈散射,使得在这种情况下,其读数会变得非常不确定。
此外,常规的LIDAR设备及其附属分析系统已被证明在其准确地执行对象识别的能力方面受到限制。例如,已知LIDAR点云仅基于从激光源到对象的距离读数。在人类世界的这种表示中,坐在长凳上的人和其雕像是相同的。对于正睡觉的婴儿和躺在婴儿旁边的类似大小的塑料玩偶,或者当试图区分离在远处的一辆黑色汽车与人行道时,该问题也真实存在的。区分这些对象和辨认周围环境的负担由这些3D地图的计算处理来承担。
基于对象的几何形状对对象进行充分分类并不是小问题,需要复杂的算法和大的计算能力,尤其是考虑到各种环境的高度动态性。此外,常规的LIDAR硬件使得充分的对象识别和分类更加困难,这是因为当前的光束转向方法会导致LIDAR云中的点的群集和分组,这导致3D图像及其各个点的模糊性解释。因此,基于几何形状对周围环境的感知需要高计算成本、大能耗和长处理时间。
因此,需要改进的LIDAR系统和方法,尤其是提供识别形成对象的材料的能力的LIDAR系统和方法。
发明内容
本部分提供了本公开的总体概述,而不是对其全部范围或其所有特征的全面公开。
在某些方面,本公开提供了一种系统,该系统包括激光设备,所述激光设备配置为生成朝向对象发射的多个光脉冲;检测器,所述检测器配置为接收从所述对象返回的所述多个光脉冲的一部分;处理器,所述处理器配置为:基于通过所述检测器接收到的所述多个光脉冲,生成表示所述对象的点云,所述点云具有多个点,每个点具有表示所述点在所述对象上的位置的三维位置坐标,且具有至少一个附加值,所述至少一个附加值表示材料信息或光学信息中的至少一者,所述材料信息指示在所述对象上的所述点的位置处、所述对象的材料,所述光学信息指示从所述对象上的所述点的位置、从所述对象的表面返回的所述多个光脉冲的至少一个光学特性。
一方面,所述光学信息包括偏振信息、拉曼散射信息和圆二色性信息中的至少一种。
一方面,所述至少一个附加值表示指示在所述点的位置处、所述对象的表面上的材料的材料信息,并且所述处理器配置为:基于指示在所述点的位置处、从所述对象的所述表面返回的多个反射的至少一个反射光学特性(optical characteristic of thereflection)的所述光学信息,生成所述材料信息。
另一方面,所述处理器配置为:基于从所述点的位置处所述对象的表面返回的反射的偏振信息、拉曼散射信息和圆二色性信息中的至少一种,生成所述材料信息。
一方面,所述对象为多个对象中的一个,且该系统还包括传送带,所述传送带配置为将所述多个对象传输经过所述激光设备;以及分拣器,所述分拣器将所述多个对象分拣到多个容器中;其中,所述至少一个附加值表示指示在所述点的位置处所述对象的表面的材料的所述材料信息,并且所述处理器配置为:基于所述材料信息控制所述分拣器以将所述对象分拣到所述多个容器中的一个容器中。
一方面,该系统还包括至少一个附加激光设备,所述至少一个附加激光设备配置为生成朝向所述对象发射的多个附加光脉冲,所述至少一个附加激光设备位于与所述激光设备不同的位置处;和至少一个附加检测器,所述至少一个附加检测器配置为接收从所述对象返回的所述多个附加光脉冲的一部分,该至少一个附加检测器位于与所述检测器不同的位置处;其中,所述处理器配置为:附加地基于由所述至少一个附加检测器接收的所述多个附加光脉冲,生成表示所述对象的点云。
在其他变体中,本公开提供了一种方法,该方法包括基于光/物质相互作用的物理定律,使用至少一个处理器初始化神经网络的参数;使用激光设备朝向具有预定材料成分的对象发射多个光脉冲;使用检测器接收从所述对象返回的所述多个光脉冲的多个反射;使用所述处理器将所述多个反射的光学特性输入所述神经网络中;基于输入的光学特性,使用所述处理器从所述神经网络接收所述对象的预期材料成分(expected materialcomposition);使用所述处理器比较所述预期材料成分与所述预定材料成分;并且基于所述比较,使用处理器调整所述神经网络的所述参数。
一方面,调整参数是使用机器学习算法来执行的。
一方面,该方法还包括:基于将附加对象的附加预期材料成分与附加对象的附加已知材料成分进行比较,重复调整所述神经网络的所述参数,直到所述预期材料成分之一与所述附加已知材料成分的对应之一之间的差异小于预定误差幅度,附加预期材料成分是通过输入由所述激光设备反射离开所述附加对象的多个附加光脉冲的多个附加反射的光学特性而生成的。
在其他变型中,本公开提供了另一种系统,该系统包括偏振相机,所述偏振相机配置为接收反射离开对象的表面的环境光,并生成与对象相关联的图像数据和与反射离开所述对象的表面的所述环境光相关联的偏振数据。该系统还包括处理器,所述处理器配置为:基于所述图像数据和所述偏振数据,生成表示所述对象的点云,所述点云具有多个点,每个点具有三维位置坐标和材料信息,所述三维位置坐标表示所述点在所述对象上的位置,所述材料信息指示在所述对象上的所述点的位置处、所述对象的材料,所述处理器还配置为:基于从所述对象上的所述点的位置反射离开所述对象的所述环境光的偏振,确定所述材料信息。
一方面,所述处理器还配置为:访问存储环境光偏振与对象材料之间的相关信息的材料数据库;并且基于所述材料数据库并基于从所述对象上的各点的位置反射离开所述对象的所述环境光的偏振,确定指示在所述对象上的各点的位置处、所述对象的材料的所述材料信息。
一方面,所述处理器还配置为:基于指示在所述对象上的各点的位置处、所述对象的材料的材料信息,确定构成所述对象的多种材料;并且基于构成所述对象的所述多种材料执行对所述对象进行分类或识别中的至少一者。
另一方面,所述处理器还配置为:访问存储多个对象与构成所述多个对象中的每个对象的材料之间的相关信息的对象数据库;并且基于存储在所述对象数据库中的相关信息和构成所述对象的多种材料,执行对所述对象进行分类或识别中的至少一者。
一方面,所述处理器还配置为:基于与反射离开所述对象的表面的所述环境光相关联的偏振数据和与反射离开所述附加对象的表面的所述环境光相关联的附加偏振数据之间的差异,确定由所述偏振相机检测到的所述对象与附加对象之间的图像数据内的边缘。
一方面,可以使用附加光源以利用偏振相机对对象进行成像。该光源可以是在同一感知系统中使用的LIDAR的激光器。
一方面,因为材料的偏振特征随着离开对象的光的反射和散射角而变化,所以可以通过使用图像的时间进展和距离进展(time-and distance progressions)来实现由偏振照相机获得的图像的材料识别。对偏振图像的时间相关性和距离相关性的AI/ML分析引起材料和对象识别的准确性增加。
一方面,对象是多个对象中的一个,并且该系统还包括:传送带,所述传送带配置为将所述多个对象输送经过偏振相机;以及分拣器,所述分拣器将所述多个对象分拣到多个容器中。所述处理器配置为:基于所述材料信息,控制所述分拣器以将所述对象分拣到所述多个容器中的一个容器中。
一方面,该系统还包括至少一个附加偏振相机,所述至少一个附加偏振相机位于与所述偏振相机不同的位置处,并配置为生成与所述对象相关的附加图像数据和附加偏振数据;并且,所述处理器配置为:附加地基于所述附加图像数据和由所述至少一个附加偏振相机生成的附加偏振数据,生成表示所述对象的点云。
在其他变体中,本公开提供了另一种方法,该方法包括:基于光/物质相互作用的物理定律,使用至少一个处理器初始化神经网络的参数;并且使用偏振相机接收反射离开所述对象的环境光的多个反射。该方法还包括:使用所述处理器确定反射离开所述对象的环境光的所述多个反射的偏振信息;使用所述处理器将所述多个反射的所述偏振信息输入到所述神经网络中;并且基于输入的偏振信息,使用所述处理器从所述神经网络接收所述对象的预期材料成分。该方法还包括:使用所述处理器比较所述预期材料成分与所述预定材料成分;并且基于所述比较,使用处理器调整所述神经网络的所述参数。
一方面,调整参数是使用机器学习算法和/或人工智能算法来执行的。
一方面,该方法还包括:基于附加对象的附加预期材料成分与附加对象的附加已知材料成分的比较,重复调整所述神经网络的所述参数,直到所述预期材料成分之一与所述附加已知材料成分的对应之一之间的差异小于预定误差幅度,附加预期材料成分是通过输入反射离开所述附加对象并由所述偏振相机接收的环境光的多个附加反射的附加偏振信息而生成。
根据本文中提供的描述,其他适用领域将变得显而易见。该发明内容中的描述和特定实施例仅旨在出于说明目的,并不旨在限制本公开的范围。
附图说明
本文中描述的附图仅出于所选实施方案而非所有可能的实现方式的说明目的,并且不旨在限制本公开的范围。
图1是图示根据本公开的某些方面的M-LIDAR系统的功能图;
图2a至图2b是根据本公开的某些方面的被配置成在M-LIDAR系统使用的纳米剪纸(nano-kirigami)纳米复合材料片的扫描电子显微镜(SEM)图像;
图3a至图3c是描绘了根据本公开的某些方面的来自基于纳米剪纸石墨烯复合材料在各种应变水平(图3a中的0%、图3b中的50%和图3c中的100%)下的激光衍射图案的图像;
图4a至图4d图示了根据本公开的某些方面的用于制造基于纳米剪纸光学元件的代表性简化工艺;
图5a至图5c图示了根据本公开的某些方面的在晶片上制造的纳米剪纸纳米复合材料光学元件。根据本公开的某些方面,图5a示出了纳米剪纸纳米复合材料光学元件的照片,图5b示出了图5a的纳米剪纸纳米复合材料光学元件在0%应变下的SEM图像,而图5c图示了图5a的纳米剪纸纳米复合材料光学元件在100%应变下的SEM图像;
图6图示了根据本公开的某些方面的使用人工智能算法和偏振信息的用于MST的混淆矩阵;
图7图示了根据本公开的某些方面与其他材料相比用于检测模拟黑冰的混淆矩阵;
图8图示了根据本公开的某些方面的结合了M-LIDAR系统的黑冰检测单元的一个实施例;
图9为图示了根据本公开的某些方面的使用M-LIDAR系统执行对象分类的方法的流程图;
图10为具有以线性图案形成在其中的代表性的多个剪纸切口的平面复合材料的示意图;
图11为图示了根据本公开的某些方面的用于安装在交通工具上的M-LIDAR系统的图;
图12图示了根据本公开的某些方面的对象的多维点云;
图13为图示了根据本公开的某些方面的基于由LIDAR系统生成的输入光学特性来校准输出对象的预期材料信息的神经网络的方法的流程图;
图14为图示根据本公开的某些方面的实施例再循环系统的图;
图15图示了根据本公开的某些方面的对象的多维点云;
图16图示了根据本公开的某些方面的患者的皮肤的多维点云;
图17A至图17C是偏振相机的图像;
图18图示了使用非偏振相机和偏振相机的一组对象的图像;以及
图19图示了根据本公开的某些方面的使用人工智能算法和偏振信息的用于MST的混淆矩阵。
遍及附图的多个视图,对应的附图标记指代对应的部件。
具体实施方式
提供实施例实施方案,使得本公开将是透彻的,并将向本领域技术人员充分地传达范围。阐述了许多具体细节,例如具体组件、部件、设备和方法,以提供对本公开的实施方案的透彻理解。对于本领域的技术人员将是显而易见的是,不需要采用具体细节,实施例实施方案可以以许多不同的形式来体现,而不应被理解为限制了本公开的范围。在一些实施例实施方案中,并未详细描述公知的过程、公知的设备结构和公知的技术。
本文中使用的技术术语仅用于描述具体的实施例实施方案的目的,并不旨在是限制性的。如本文中所使用的,除非上下文另有明确指示,否则单数形式“一”、“一个”和“该”可以旨在也包括复数形式。术语“包括”、“包含”、“含有”以及“具有”是包括性的,并因此指定所述特征、元件、组成、步骤、整数、操作、和/或组件的存在,但不排除存在或增加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。尽管开放式术语“包括”应被理解为用于描述和要求保护本文所阐述的各种实施方案的非限制性术语,但是在某些方面,该术语可以替代地被理解为更具有限制性和约束性的术语,例如“由……组成”或“基本上由……组成”。因此,对于引用组成、材料、组件、元件、特征、整数、操作和/或工艺步骤的任何给定实施方案,本公开还具体地包括由这样的所引用的组成、材料、组件、元件、特征、整数、操作和/或工艺步骤组成的任何给定实施方案,或基本由这些组成、材料、组件、元件、特征、整数、操作和/或工艺步骤组成的实施方案。在“由……组成”的情况下,替代实施方案排除任何附加的组成、材料、组件、元件、特征、整数、操作和/或工艺步骤,而在“基本上由……组成”的情况下,实质上影响基本和新颖特征的任何附加的组成、材料、组件、元件、特征、整数、操作和/或工艺步骤从这种实施方案中排除,但是不会在实质上影响基本和新颖特征的任何组成、材料、组件、元件、特征、整数、操作和/或工艺步骤可以包括在实施方案中。
除非明确地指定了执行顺序,否则本文描述的任何方法步骤、过程和操作不应被解释为必须以所讨论或示出的特定顺序来执行。还应理解,除非另外指出,否则可以采用附加或替代步骤。
当组件、元件或层被称为“在另一元件或层上”,“接合至”、“连接至”或“耦合至”另一元件或层时,该组件、元件或层可以直接在另一组件、元件或层上,直接被接合、连接或耦合至另一组件、元件或层,或者可以存在中间元件或层。相反,当元件被称为“直接在另一元件或层上”、“直接接合至”、“直接连接至”或“直接耦合至”另一元件或层时,则可能没有中间元件或层。用于描述元件之间的关系的其他词语(例如,“在……之间”与“直接在……之间”,“相邻”与“直接相邻”等)应以类似的方式来解释。如本文所使用的,术语“和/或”包括相关联的列出项目中的一个或多个的任何组合和所有组合。
尽管本文中可以使用术语第一、第二、第三等来描述各种步骤、元件、组件、区域、层和/或部件,除非另有指示,否则这些步骤、元件、组件、区域、层和/或部件应不应被这些术语限制。这些术语仅可以用于将一个步骤、元件、组件、区域、层和/或部件与另一步骤、元件、组件、区域、层和/或部件进行区分。诸如“第一”、“第二”和其他数值术语当在本文中使用时,除非上下文明确指示,否则并不暗指顺序或次序。因此,在不脱离实施例实施方案的教导的情况下,下面讨论的第一步骤、第一元件、第一组件、第一区域、第一层或第一部件可以被称为第二步骤、第二元件、第二组件、第二区域、第二层或第二部件。
本文中可以使用空间或时间关系术语(例如“在……之前”、“在……之后”、“内部”、“外部”、“在……之下”、“在……下面”,“在……下方”,“在……之上”,“在……上方”等)用来简化对描述如附图中所示的一个元件或特征与另一个元件或特征的关系的描述。除了附图中描绘的取向之外,空间或时间关系术语还可以旨在涵盖使用或操作中的设备或系统的不同取向。
遍及本公开,数值表示对范围的近似测量或限制,以涵盖与给定值的微小偏差和约具有提及的值的实施方案和正好具有提及的值的实施方案。除了在具体实施方案的结尾处提供的工作实施例中,包括所附权利要求书的本说明书中的参数(例如,数量或条件)的所有数值应理解为在所有情况下均由术语“约”来修饰,而无论“约”实际上是否出现在数值之前。“约”指示所述数值允许一些轻微的不精确性(对于值的精确性使用一些方法;近似地或合理地接近该值;接近)。如果由“约”提供的不精确性在本领域中没有以这种普通含义理解,则本文所使用的“约”至少表示可以由测量和使用这些参数的普通方法引起的变化。例如,“约”可以包括以下变化:小于或等于5%、可选地小于或等于4%、可选地小于或等于3%、可选地小于或等于2%、可选地小于或等于1%、可选地小于或等于0.5%、并且在某些方面可选地小于或等于0.1%。
另外,范围的公开包括整个范围内的所有值和进一步划分的范围的公开,包括针对范围给出的端点和子范围。
现在将参考附图更充分地描述实施例实施方案。
在某些方面,本公开提供了LIDAR系统和方法,该LIDAR系统和方法配置为不仅检测对象的距离而且检测对象的材料组成。根据一些实施例,可以通过使用机器学习算法处理的偏振分析来实现材料组成分类。
本文描述的系统的光学元件可以配置为使从光源(例如,激光器)发射的所有光变成已知的偏振状态,使得稍后可以准确地测量偏振的改变。然后该光行进直到光到达对象界面(该对象由一种或多种材料构成),在该点处,一部分光将被漫反射回去。
本公开尤其描述了一种通过在LIDAR云的每个点处添加材料和表面纹理(MST)分类来创建3D空间的语义地图来感知周围环境的新方法。从返回光子的偏振特征推断出的MST分类可以降低3D点云的模糊性,并有助于识别各种对象(金属点、玻璃点、粗糙介电点等)。偏振分类可以先于表面切平面估计,并且因此可以通过将具有相似偏振特征的点进行分组来预先识别对象。配备有MST分类的LIDAR在本文中将被称为M-LIDAR。
根据本公开的一个实施例,M-LIDAR技术可以配置为通过使用剪纸(kirigami)光学器件而不是常规的笨重的光学器件(诸如近红外光学器件等)而变得轻便且适合。例如,LIDAR系统可以采用剪纸复合材料作为调制器,诸如Kotov等人在2019年7月22日提交的题为“用于太赫兹和电磁频谱的其他部分中的圆二色性测量的剪纸手性调制器(KirigamiChiroptical Modulators for Circular Dichroism Measurements in Terahertz andOther Parts of Electromagnetic Spectrum)”的美国申请序列号16/518,230中描述的调制器。这样的系统可以包括利用能够衍射光的周期性修改的超强材料薄片,诸如在徐(Xu)等人,“作为广角衍射光栅的剪纸纳米复合材料(Kirigami Nanocomposites as Wide-Angle Diffraction Gratings)”,ACS Nano,10(6),6156-6162(2016);徐立志(Lizhi Xu)等人,“折纸和剪纸纳米复合材料(Origami and Kirigami Nanocomposites)”,ACS Nano,11(8)7587-7599(2017)中描述的。本公开中引用或引用的所有专利、专利申请、文章和文献的相关部分在此通过引用并入本文。改变施加在剪纸片组件上的应变改变激光束的衍射角。调制也可以通过压电装置或通过向导电剪纸复合材料施加电场来实现(Jing Lyu等人,“具有零电导梯度的芳纶-银纳米复合材料的剪纸图案的展性导体(Stretchableconductors by kirigami patterning of aramid-silver nanocomposites with zeroconductance gradient)”,Appl.Phys.Lett.,III,161901(2017))。结合这种剪纸复合材料调制器可以提供广角轻型低成本LIDAR。此外,剪纸调制器可适用于调制从光学到太赫兹及更高的宽范围的激光频率(W.J.Choi等人,“用于太赫兹圆二色光谱生物材料的手性剪纸调制器(Chiroptical Kirigami Modulators for Terahertz Circular DichroismSpectroscopy Biomaterials)”,Nature Materials,18,820-826(2019))。
根据一个实施例,本文描述的M-LIDAR系统和方法可以用于针对具有不同自动化程度的交通工具的黑冰(black ice)检测。
现在参考图1,提供了代表性的简化M-LIDAR系统。M-LIDAR系统100可以包括激光器102、光束转向器106、第一偏振器114、第二偏振器116、第一偏振检测器122、第二偏振检测器124和处理器126。虽然图1图示了第一偏振器114和第二偏振器116以及第一偏振检测器122和第二偏振检测器124,但是根据一些实施方式,在不脱离本公开的教导的情况下,可以包括仅单个偏振器(例如,第一偏振器114)和单个偏振检测器(例如,第一偏振检测器122)作为系统100的一部分。此外,根据某些实施例,在不脱离本文的教导的情况下,可以包括多于两个的偏振器和/或多于两个的偏振检测器作为系统100的一部分。
为了简化和说明的目的,贯穿本公开的其余部分,第一偏振器114将被视为s偏振线性偏振器114。类似地,为了简化和说明的目的,第二偏振器116将被视为p偏振线性偏振器116。此外,第一偏振检测器122将被视为p偏振检测器122,且第二偏振检测器将被视为s偏振检测器124。
然而,如本领域普通技术人员将理解的,在不脱离本文中的教导的情况下,偏振器114、116可以被配置用于各种不同类型的偏振。例如,给定的偏振器可以配置为执行线性偏振(例如,s型或p型线性偏振)、右旋圆偏振、左旋圆偏振、椭圆偏振或本领域中已知的任何其他合适类型的偏振。类似地,给定的检测器可以配置为检测线偏振光(例如,s型或p型线性偏振光)、右旋圆偏振光、左旋圆偏振光、椭圆偏振光或本领域已知的任何其他类型的偏振光。根据一些实施例,可以以脉冲为单位调制光束(即,两个或更多个光脉冲的组合)的偏振,以获得关于一个或多个正在考虑的对象的附加信息。
如以下另外详细讨论的,系统100可以配置为检测构成对象110的一种或多种材料,并且至少部分地基于检测到的材料来对对象110进行分类。根据一些实施例,可以使用一种或多种人工智能算法来执行对象分类,该一种或多种人工智能算法包括但不限于基于神经网络的人工智能。
在工作中,系统100可以如下起作用。激光器102可以配置为生成(即,发射)一个或多个偏振或非偏振光脉冲,该一个或多个偏振或非偏振光脉冲共同形成偏振/非偏振光束104。根据图1中所示的实施例,每个脉冲包括s偏振分量(在图1中由沿光束104的点表示)和横向p偏振分量(在图1中由沿垂直方向穿过光束104的双侧箭头表示)。替代地(并且结合前面关于不同类型的偏振光的讨论),脉冲可以包括例如左旋圆偏振序列和右旋圆偏振序列、椭圆偏振序列、前述的任何组合、或任何其他合适的偏振光序列。
根据一些实施例,激光器102可以配置为每秒生成从一个脉冲到超过一百万个脉冲的任何脉冲。此外,根据一些实施方案,激光器102可以生成具有在可见光、紫外光、红外光等范围内的波长的光。可见光具有在约390nm至约750nm的范围的波长和红外辐射(IR)(包括约0.75μm至约1.4μm的近红外(NIR)和约15μm至1mm的远红外(FIR))。也称为太赫兹(THz)区的电磁波谱(electromagnetic spectrum)的远红外(FIR)部分具有约100μm至约1mm的光子波长和约0.001eV至约0.01eV的能量。在某些变体中,在不脱离本公开的教导的情况下,激光器102可以生成550纳米(nm)、808nm、905nm或1550nm脉冲激光、或任何其他合适波长的激光。例如,家用机器人、自动驾驶交通工具和机器视觉的实现方式可能使用具有高于800nm的眼睛安全频率的激光器。对于室外应用,可以适当地采用在水透明度窗口例如约900nm到1550nm中的光束。根据一些实现方式,在由激光器102生成给定的脉冲后,可执行指令的处理器126可以记录生成脉冲的初始时间。该“飞行时间”信息可以随后用于通过使用光速来计算与对象110的距离。
光束104可以由激光器102定向以穿过光束转向器106。光束转向器106可以配置为生成偏振调整光脉冲。在某些方面,通过光束转向器106来调整偏振/非偏振光束104的每个偏振/非偏振脉冲的偏振。如本文所用,调整偏振可以包括赋予偏振或改变偏振。因此,光束转向器106可以调整偏振/非偏振光束104的每个偏振/非偏振脉冲的偏振,以产生一个或多个线偏振光脉冲(线偏振光脉冲共同形成线偏振光束a)。尽管前述实施例设想了线性偏振,但是根据一些实施例,光束转向器106可以对光束104进行圆偏振(例如,左旋或右旋)或椭圆偏振。根据另一实施例,光束转向器106可能不对光束施加任何偏振。例如,如果光束104在进入光束转向器106时已经被偏振,则光束转向器106可以进一步修改所产生的偏振调整光脉冲的特性(例如,分离或调制脉冲),但可能不需要调整先前偏振光脉冲的偏振。此外,根据一些实施例,光束转向器106可以根据第一类型的偏振使光束的第一脉冲偏振,并且根据不同的第二类型的偏振来使相同光束的第二脉冲偏振。除了或替代执行光束104的偏振,光束转向器106还可以控制从其发射的任何光束(例如,光束108)的方向。更进一步地,光束转向器106可以将光束(例如,光束104)分离成若干不同的光束,由此以限定的角度发射一个或多个光束,以一次使多个光束转向。这个构思在图1中关于从光束转向器106发出的许多发散箭头示出。
此外或替代地,在一些实施例中,光束转向器106可以配置为调制线性偏振光束108。在一个实施例中,光束转向器106可以包括剪纸纳米复合材料光束转向器等。根据该实施例,并且如下面附加详细讨论的,光束转向器106可以配置为通过增加或减少施加到剪纸纳米复合材料光束转向器的应变量来使线性偏振光束108偏振和/或调制线性偏振光束108。
此外,根据一个实施例,光束转向器106可以配置为使非偏振光束104的每个非偏振脉冲线性偏振成p偏振来使非偏振光束104的每个非偏振脉冲线性偏振。该实施例在图1中示出,在图1中可以看出光束104在穿过光束转向器106之后不再包括任何s偏振分量(即,线性偏振光束108中不存在光束104中所示的“点”分量)。在替代方面,线性偏振光束108可以替代是为p偏振的。此外,在某些方面,光束转向器106可以对朝向对象110发射的线偏振光束108进行修改、控制和转向,如在本文中将进一步讨论的。光束转向器106可以实现电磁波的动态、依赖于波长的光束转向和振幅调制。
继续参照图1,线性偏振光束108可以从对象110漫反射。一个或多个光脉冲共同形成光束112,光束112构成线性偏振光束108的反射型式。根据一些实施例,反射的线性偏振光束112可以与线性偏振光束108(即,从对象110反射前的光束)具有不同的偏振。这种状态上的差异通过光束112包括p偏振和s偏振分量两者(分别由沿光束112的路径的点和双向箭头反映)、而光束108仅示出为包括p偏振分量来说明。此外,对象110可以包括由期望被检测的一种或多种不同材料构成的任何合适的对象(或目标)。尽管在上文和随后的部分中作为反射“线性”偏振光束112进行了讨论,但是根据某些实施例,在不脱离本文中的教导的情况下,反射光束112可以以各种不同的方式偏振,包括圆偏振或椭圆偏振。
由对象112漫反射、散射或以其他方式发射的反射线性偏振光束112可以穿过系统100的s偏振线性偏振器114和/或p偏振线性偏振器116。在某些方面,反射、散射或以其他方式发射的线性偏振光束112的各个部分穿过系统100的s偏振线性偏振器114和/或p偏振线性偏振器116两者。s偏振线性偏振器114配置为使构成光束112的一个或多个光脉冲线性偏振成s偏振,以产生一个或更多个反射s偏振光脉冲(一个或更多个反射s偏振光脉冲共同形成反射s偏振光束118)。类似地,p偏振线性偏振器116配置为使构成光束112的一个或多个光脉冲线性偏振成p偏振,以产生一个或更多个反射p偏振光脉冲(一个或更多个反射p偏振光脉冲共同形成反射p偏振光束120)。根据一些实施例,s偏振线性偏振器114和/或p偏振线性偏振器116可以包括剪纸纳米复合材料等,例如上面关于光束转向器106和/或下面关于图4a至图4d和图5a至图5c讨论的类型的剪纸纳米复合材料。然而,本领域普通技术人员将认识到,根据一些实施例,在不脱离本文中的教导的情况下,可以采用非剪纸纳米复合材料或其他光学装置作为系统100的一部分。
根据一些实施例,偏振器114、116的类似布置可用于从对象110/被对象110反射、散射或以其他方式发射的左旋圆偏振光和右旋圆偏振光或椭圆偏振光的偏振。
s-偏振检测器122可以配置为检测形成反射s偏振光束118的一个或多个反射s偏振光脉冲中的每个的强度。此外,根据一些实现方式,s偏振检测器122可以配置为检测与反射s偏振光束118相关联的入射角。所检测到的形成反射s偏振光束118的一个或多个反射s偏振光脉冲的强度和/或所检测到的与反射s偏振光束118相关联的入射角可由处理器126利用以执行材料类型检测(使用例如MST分类),如下面另外详细讨论的。
类似地,p偏振检测器124可以配置为检测形成反射p偏振光束120的一个或多个反射p偏振光脉冲中的每个的强度。此外,根据一些实现方式,p偏振检测器124可以配置为检测与反射p偏振光束120相关联的入射角。所检测到的形成反射p偏振光束120的一个或多个反射p偏振光脉冲的强度和/或所检测到的与反射p偏振光束120相关联的入射角也可由处理器126利用以执行材料类型检测,如下面另外详细讨论的。
处理器126配置为基于下述来检测对象110的至少一种材料:(i)所检测到的形成光束118和/或120的一个或多个光脉冲的强度;和/或(ii)所检测到的与反射s偏振光束118和/或反射p偏振光束120相关联的入射角。更具体地说,根据一些实施例,处理器126配置为应用机器学习算法来检测构成对象110的一种或多种材料。如本文所用,“应用机器学习学习算法”可包括但不限于执行存储在存储器中且可由处理器访问的可执行指令。此外,根据一个实施例,用于材料检测的特定机器学习算法可以包括人工神经网络。然而,在不脱离本公开的教导的情况下,可以适当地采用本领域中已知的其他机器学习算法。
此外,根据一些实施例,处理器126可以配置为通过应用机器学习算法基于对象110所检测到的材料来对象110进行分类。同样,用于对象分类的机器学习算法可能包括人工神经网络。然而,在不脱离本公开的教导的情况下,可以适当地采用本领域中已知的其他机器学习算法。
在转向图2之前,以下反映了利用M-LIDAR系统(例如图1所示的系统100)来检测对象的(一种或多种)材料的过程的概述。
如上所述,本公开的一个目的是通过在点云中的每个点处获得更多数据来使检测对象材料成为可能并减少现代LIDAR设备所需的数据处理。这种附加的偏振数据在与机器学习算法相结合时,使材料检测成为可能,从而简化了针对各种应用的对象识别,这些应用包括但不限于自动驾驶交通工具、机器视觉、医疗应用(例如,辅助盲人的设备)和先进的机器人技术。
根据本公开的示例实现方式的M-LIDAR系统可以如下操作。可以使用具有垂直取向的线性偏振器(例如,偏振器114、116)的一对检测器(例如,检测器122、124)来测量返回光(例如,构成线性偏振光束112的反射型式的一个或多个光脉冲)。反向漫散射光(例如,反射光112)中一些可以被定向在检测器(例如,检测器122、124)处并穿过放置在每个检测器对(例如,检测器对122/124)前面的窄带干涉过滤器(例如,线性偏振器对114、116)。窄带干涉过滤器可以仅允许小范围波长通过(例如,1nm至2nm),这可以减少来自环境照明或外部源的不期望的噪声。
根据前述系统的其他实施例,该系统可以配置为对从对象反射、散射或以其他方式发射的圆偏振光和/或椭圆偏振光进行检测,并执行机器学习处理。
由于这种选择性,根据本公开的M-LIDAR系统(例如,系统100)可以配置为完全独立地同时测量多个波长。然后可以使用例如共偏振器和/或交叉偏振器使相干光偏振。随着光行进穿过偏振器,光的强度可能会降低一定量,这取决于从对象(例如,对象110)反射时偏振偏的改变。光束聚焦光学器件(例如,偏振器114、116)可以将相干的偏振光(例如,光束118、120)朝着检测表面(例如,检测器122、124的表面)定向,并且可以基于光在检测屏幕上的照射位置来检测返回光行进的角度(即,入射角)。
一旦检测器识别出光,飞行时间传感器(例如,在处理器126中实现的飞行时间传感器)可以记录该光脉冲的行进时间。每个光脉冲可以具有针对共偏振检测器和交叉偏振检测器两者测量的光脉冲强度,并且这两个值的组合使得能够量化在反射期间引起的偏振效应。
在该过程之后,可以检测以下参数:(i)光束被转向处的初始角度;(ii)反向散射光返回的角度;(iii)从发射到检测的飞行时间;(iv)每个检测器处的强度。
注意,由于检测器位于不同的位置处,因此单个光脉冲到达每个检测器所花费的时间量可能略微不同。通过了解系统的几何形状以及强度与距离之间的关系,可以补偿这种差异,并且精确地调整一个检测器处的强度。可以使用飞行时间数据来确定源(例如,激光器102)与对象(例如,对象110)之间的距离,并且可以结合初始角度和返回角度来确定该点在空间中相对于M-LIDAR系统的具体位置。这些补偿的强度值可以包含指示反射光脉冲的材料的信息。利用这些值,机器学习算法可以提供稳健而全面的材料识别能力。
上述描述的发射光脉冲、从对象漫反射的光、由检测器测量反射的光、以及确定对象相对于源的位置的过程可以每秒重复大约一到几百万次。每次生成点,并将这些点映射到同一坐标系上以创建点云。
一旦生成了点云,就可以使用一种或多种机器学习算法将点群集至对象中,并最终表征每个对象(例如,其中检测到多个对象)的相应(一种或多种)材料。可以基于例如测量强度的一个或多个值、在一些实施例中还基于相似点的接近度来对点进行群集。
一旦使用强度值确定集群,就可以使用机器学习或人工智能算法将测量值与已知材料的数据库相关联,以对该集群点的材料进行分类。可以对系统中的所有集群重复该过程。对周围环境材料的了解使系统(例如,在汽车、机器人、无人机等中实现的系统)能够对对象本身可能是什么做出更快、更专业的决定。由此,可以评估诸如所涉及的风险的因素,并随后可以做出决定(例如,在系统检测到交通工具前方有黑冰的情况下)。随着这个过程随着时间而继续,可以从感知到的变化中提取更多信息,并且甚至可以更好地了解周围环境发展。
MST分类技术还适用于检测下述对象,该对象的表面经过修饰以增强检测,例如,该对象的表面被涂有或纹理化有宏观尺度、微观尺度、纳米尺度或分子图案以产生具有特定光学响应的反射光束,适于由LIDAR进行的快速MST分类。这样的表面处理的实施例包括含有添加剂的涂料,该添加剂产生具有特定线性偏振、圆偏振或椭圆偏振的反射、散射或以其他方式发射的光。在一种情况下,将金属纳米线/金属微米线/金属宏观线或轴向碳纳米材料添加到基础涂料。对准图案可以是随机的、线性的、螺旋的、人字形的或产生特定偏振特征的任何其他图案,从而能够快速识别特定对象。通过非限制性示例的方式,这可以用于在道路、路标、障碍物、塔架、护栏、交通工具、自行车、衣物和其他对象上创建标记。
促进MST分类的表面处理的另一种实现方式可以包括向用于涂覆上述这样的对象(例如道路标记、交通工具、自行车、衣服等)的基础涂料添加手性无机纳米颗粒。手性纳米颗粒可以呈现对LIDAR使用的光束的特定且非常强的圆偏振响应。可以将手性纳米颗粒以特定比例混合在涂料中,以针对特定对象创建偏振特征(例如,“条形码”)。
对象的偏振标记化的另一个实施例可以包括使用创建特定偏振响应的表面纹理。这样的纹理的一个实施例可包括创建具有特定几何特性的金属、半导体、绝缘体或陶瓷纳米颗粒的纳米尺度图案,得到对LIDAR中的激光的限定的偏振响应。这样的图案的两个实施例包括(a)得到从对象反射、散射或发射的光的线性偏振的线性纳米尺度或微米尺度表面特征,以及(b)金属表面上的平面外凸起手性图案,得到特定的手性以及相应的从对象的反射、散射或发射的光的圆偏振。
根据一些实施例,可以采用前述系统和方法来准确识别用于自动驾驶交通工具、机器学习、医学应用和先进的机器人技术的材料。
现有的常规LIDAR系统主要通过由通常使用飞行时间数据或相移测量对象和激光源之间的距离来工作。在这种情况下,基于云中的点的布置中的几何形状和图案对对象进行分类。一些更先进的LIDAR点云分类方法使用了附加参数:总体强度。
基于返回光脉冲的信号强度有多强,系统可以有效地检测颜色方面的差异。该附加的数据段使识别点云内的对象边界更加容易,从而减少了对所有点进行分类所需的处理量。然而,像自动驾驶交通工具这样的应用可能需要总体强度无法实现的更高程度的确定性。此外,可以通过利用MST分类的单点检测而不是常规LIDAR系统中采用的类型的多点检测和处理类型来实现对远距离对象的检测。
因此,本文描述的方法改变了机器视觉当前对于对象识别采取的方法。代替仅依靠几何形状、运动和颜色来确定对象的本性,在文本中描述的系统考虑了另一个参数:偏振。在反射离开材料界面后,光会经历一些偏振变化。这种偏振变化是通过测量光穿过共偏振过滤器和交叉偏振过滤器两者后的光强度来量化。可以将该附加数据可以与机器学习方法配对,以显著改善群集化,且进而提高对象识别能力。传统的对象识别方法在计算上非常昂贵。本文描述的方法可以通过使用基于材料的方法而不是当前基于几何的方法来显著降低LIDAR所需的处理能力。
除了传统的距离测量之外,由即时系统收集的偏振数据允许机器学习算法确定组成对象的(一种或多种)材料。当前的LIDAR系统缺乏对周围环境中材料的认识或信息。此类信息在实现时提供了用于更好的情况了解和更明智的决定的背景。在自动驾驶交通工具的情况下,对环境的这种增强的了解可能导致改善的乘客的安全性,因为对潜在危险的准确、及时检测产生了改善的决策能力。
现转向图2a至图2b,图示了纳米剪纸片的扫描电子显微镜(SEM)图像,该纳米剪纸片可以用于形成被结合至M-LIDAR系统中的纳米剪纸纳米复合光学部件。根据本公开的一些实施例,光学活性剪纸片(诸如图2a至图2中所示的那些)可以由具有长度为0.5μm至5μm的切割图案的超强纳米级复合材料制成。在某些方面,复合材料(包括高导电复合材料)可以通过使用称为“剪纸”的来自古代日本剪纸艺术的构思进行修改。参见徐立志(Lizhi Xu)等人,“作为广角衍射光栅的剪纸纳米复合材料(Kirigami Nanocomposites as Wide-Angle Diffraction Gratings)”,ACS Nano,10(6),6156-6162(2016)。徐立志等人,“折纸和剪纸纳米复合材料(Origami and Kirigami Nanocomposites)”,ACS Nano,11(8),7587-7599(2017)。剪纸方法可以通过使用多个切口或凹口来用于设计弹性,该多个切口或凹口在平面聚合材料(例如复合材料或纳米复合材料)上创建网络。这种的切口(例如在聚合或复合材料中的材料从一侧延伸到另一侧)可以通过自上而下的图案化技术(例如光刻)进行,以在聚合或纳米复合材料内均匀分布应力并抑制内部不受控制的高应力奇异点。通过非限制性实施例,这种方法可以防止不可预测的局部失效并将刚性片的极限应变从4%增加到370%。
通过使用微观尺度的剪纸图案化,可以使刚性纳米复合材料片获得高延展性。此外,与大多数可拉伸的导电材料显著相对地,剪纸切割图案化的复合材料片在整个应变状态内保持其电导率。剪纸结构可以包括复合材料,例如纳米复合材料。在某些方面,剪纸结构可以是具有至少两层的多层结构,其中至少一层是聚合物材料。聚合物材料可以是复合材料或纳米复合材料。复合材料包括基质材料,例如聚合物、聚合物电解质或其他基质(例如纤维素纸),以及分布在其中的至少一种增强材料。在某些方面,纳米复合材料特别适用于剪纸结构,该结构是包含增强纳米材料(诸如纳米颗粒)的复合材料。在某些变化中,复合材料可以呈片或膜的形式。
“纳米颗粒”是可以具有多种形状或形态的固体或半固体材料,然而,本领域技术人员通常将其理解为是指颗粒具有小于或等于约10μm(10,000nm)的至少一个空间尺寸。在某些方面,纳米颗粒具有以下相对低的长宽比(AR)(定义为最长轴的长度除以该部分的直径):小于或等于约100、任选地小于或等于约50、任选地小于或等于约25、任选地小于或等于约20、任选地小于或等于约15、任选地小于或等于约10、任选地小于或等于约5,并且在某些变体中,等于约1。在其他方面,具有管状或纤维状的纳米颗粒具有以下相对高的长宽比(AR):大于或等于约100、任选地大于或等于约1,000,并且在某些变体中任选地大于或等于约10,000。
在某些变体中,纳米颗粒的最长尺寸小于或等于约100nm。在某些实施方案中,被选择包含在纳米复合材料中的纳米颗粒是产生导电纳米复合材料的导电纳米颗粒。纳米颗粒可以是基本上圆形的纳米颗粒,其具有如上定义的低的长宽比,并且具有包括球形、类球形、半球形、盘状、球状、环形、环状、圆柱形、平圆形、圆顶状、蛋形、椭圆形、圆形(orbed)、卵形等的形态或形状。在某些优选的变体中,纳米颗粒的形态具有球形形状。替代地,纳米颗粒可具有替代的形状,例如细丝、纤维、棒、纳米管、纳米星形或纳米壳。纳米复合材料还可包括任何此类纳米颗粒的组合。
此外,在某些方面,用于根据本教导的特别合适的纳米颗粒具有大于或等于约10nm至小于或等于约100nm的粒度(针对存在的多个纳米颗粒的平均直径)。导电纳米颗粒可由包括具有多种形状的金属、半导体、陶瓷和/或聚合物纳米级颗粒的各种导电材料形成。纳米颗粒可具有磁性或顺磁性。纳米颗粒可以包括导电材料,例如碳、石墨烯/石墨、氧化石墨烯、金、银、铜、铝、镍、铁、铂、硅、镉、汞、铅、钼、铁及其合金或化合物。因此,合适的纳米颗粒可以例如但不限于氧化石墨烯、石墨烯、金、银、铜、镍、铁、碳、铂、硅、籽金属、CdTe、CdSe、CdS、HgTe、HgSe、HgS、PbTe、PbSe、PbS、MoS2、FeS2、FeS、FeSe、WO3-X、以及本领域技术人员已知的其他类似材料的纳米颗粒。氧化石墨烯是特别适合用作复合材料中的增强材料的导电材料。例如,在某些变体中,纳米颗粒可包括碳纳米管,例如单壁纳米管(SWNT)或多壁纳米管(MWNT)。SWNT由单片石墨或石墨烯形成,而MWNT包括以同心方式布置的多个圆柱形。SWNT的典型直径可以在约0.8nm到约2nm的范围,而MWNT可以具有超过100nm的直径。
在某些变体中,纳米复合材料可包含多个纳米颗粒的总量,该多个纳米颗粒的总量为纳米复合材料中纳米颗粒的总量的大于或等于约1重量%至小于或等于约97重量%,任选地大于或等于约3重量%至小于或等于约95重量%、任选地大于或等于约5重量%至小于或等于约75重量%、任选地大于或等于约7重量%至小于或等于约60重量%、任选大于或等于约10重量%至小于或等于约50重量%。当然,复合材料中纳米颗粒的适当数量取决于针对具体基质材料中材料类型的纳米颗粒的材料性能、渗透阈值和其他参数。
在某些变体中,纳米复合材料可包含聚合基质材料的总量,该聚合基质材料的总量为纳米复合材料中聚合基质材料的总量的大于或等于约1重量%至小于或等于约97重量%,任选地大于或等于约10重量%至小于或等于约95重量%、任选地大于或等于约15重量%至小于或等于约90重量%、任选地大于或等于约25重量%至小于或等于约85重量%、任选大于或等于约35重量%至小于或等于约75重量%、任选地大于或等于约40重量%至小于或等于约70重量%。
在某些变体中,纳米复合材料包含多个导电纳米颗粒,并且具有大于或等于约1.5x103S/cm(西门子/厘米)的导电率。在某些其他方面,纳米复合材料可包含作为增强纳米材料的多个导电纳米颗粒,因此可具有小于或等于约1x104 Ohm-m的电阻率。在某些其他变型中,包含多个纳米颗粒的导电纳米复合材料的阻抗(Z)可以小于或等于约1x104Ohm(例如,使用幅值为25mV的交流正弦信号测量,其中在1kHz的频率下测量阻抗值)。
聚合物或纳米复合材料可以在初始状态(在切割之前)下呈平面形式(例如片),但可以在切割工艺之后被折叠或成形为三维结构并因此用作结构组件。通过示例的方式,图10中图示了结构220,结构220包括示例性纳米复合材料片230的一部分,纳米复合材料片230具有带有棋盘格的切割图案的表面。片230包括第一行232的第一不连续切口242(延伸穿过片230以创建开口),第一不连续切口242的图案在不连续切口242之间限定了第一未切割区域252。不连续切口是在片中形成的局部或分立的切口,使整个片保持其原始尺寸不变,而不是被分成单独的较小片或部分。如果存在多个不连续切口242,则切口中的至少一些非邻接的且彼此不连接的,使得至少一个未切割区域保留在片上作为不连续片之间的桥。虽然许多切割图案都是可能的,但是在本文中将如图10所示的以居中的矩形布置的直线的简单剪纸图案用作示例性图案。第一未切割区域252具有长度“x”。每个不连续切口242具有长度“L”。
在某些方面,每个不连续切口(例如,不连续切口242)的长度可以在微观尺度、中尺度、纳米尺度和/或宏观尺度上。宏观尺度通常被认为具有大于或等于约500μm(0.5mm)的尺寸,而中尺度大于或等于约1μm(1,000nm)至小于或等于约500μm(0.5mm)。微观尺度通常被认为小于或等于约100μm(0.5mm),而纳米尺度通常小于或等于约1μm(1,000nm)。因此,常规的中尺度、微观尺度和纳米尺度尺寸可以被认为是交叠的。在某些方面,每个不连续切口的长度可以是微观尺度上,例如,长度小于约100μm(即,100,000nm),可选地小于约50μm(即,50,000nm)、可选地小于约10μm(即,10,000nm)、任选地小于或等于约5μm(即,5,000nm)、并且在某些方面小于或等于约1μm(即,1,000nm)。在某些方面,不连续切口42可以具有以下长度:小于约50μm(即,50,000nm),可选地小于约10μm(即,10,000nm)、并且可选地小于约1μm(即,小于约1,000nm)。
在某些其他变体中,这些尺寸可以减小至少100倍至纳米尺度,例如切口具有以下长度:小于或等于约1μm(1,000nm),可选地小于或等于至约500nm,并且在某些变化中,可选地小于或等于约100nm。
应当注意,“x”和“L”在行内可以根据形成的图案而变化,不过在优选的方面,这些尺寸保持恒定。
还在片230上图案化形成第二行234的第二不连续切口244。第二不连续切口244在第二不连续切口之间限定第二未切割区域254。还在片230上图案化形成第三行236的第三不连续切口246。第三不连续切口246在第三不连续切口之间限定第三未切割区域256。应当注意,第一行232、第二行234和第三行236用于示例和命名目的,但是可以看出,片230的表面上的棋盘格的图案具有超过三个不同的行。第一行232与第二行234间隔开,如标记“y”所示。第二行234同样与第三行236间隔开。应该注意的是,“y”可以在行之间变化,不过在某些方面,“y”在行之间保持恒定。如上所述,行之间的这样的间距同样可以在微观尺度、中尺度、纳米尺度和/或宏观尺度上。
值得注意的是,第一行232中的第一不连续切口242与第二行234中的第二不连续切口244在横向方向(沿着显示为“x”的尺寸/轴)上偏移,从而形成棋盘格的图案。同样,第二行234中的第二不连续切口244与第三行236中的第三不连续切口246在横向方向上偏移。因此,每个相应的行中的第一未切割区域252、第二未切割区域254和第三未切割区域256协作以形成结构桥260,结构桥260从第一行232延伸穿过第二行234并延伸至第三行236。
就这方面,具有带多个不连续切口(例如,242、244和246)的图案化的棋盘格表面的片230可以在至少一个方向上(例如,沿着示出为“y”或“x”的尺寸/轴”)拉伸。因此,由纳米复合材料形成的片230表现出包括增强的应变的某些有利性能。
在各个方面,设想了一种光学设备,该光学设备包括通过剪纸工艺形成的可拉伸的多层聚合物材料或复合材料。“可拉伸”是指材料、结构、部件和设备能够承受应变,而不会破裂或其他机械失效。可拉伸材料是可延展的,因此能够至少在某种程度上拉伸和/或压缩,而不会损坏、机械失效或性能显著降低。
“杨氏模量”是机械性质,指的是给定材料的应力与应变之比。杨氏模量可由以下表达式提供:
其中工程应力是σ,拉伸应变是ε,E是杨氏模量,L0是平衡长度,ΔL是施加应力下的长度变化,F是施加的力,以及A是在其上施加力的面积。
在某些方面,可拉伸复合材料、结构、部件和装置可以承受至少约50%的最大拉伸应变而不会断裂;任选地大于或等于约75%而不会断裂、任选地大于或等于约100%而不会断裂、任选地大于或等于约150%而不会断裂、任选地大于或等于约200%而不会断裂、任选地大于或等于约250%而不会断裂、任选地大于或等于约300%而不会断裂、任选地大于或等于约350%而不会断裂、并且在某些实施例中,大于或等于约370%而不会断裂。
除了可拉伸之外,可拉伸材料还可以是柔性的,因此能够沿着一个或多个轴显著伸长、挠曲、弯折或其他变形。术语“柔性”可以指的是在不经历永久变形的情况下使材料、结构或部件变形(例如,变形成弯曲形状)的能力,该永久变形引入了显著的应变,例如指示材料、结构或部件的失效点的应变。
因此,本公开在某些方面提供了可拉伸的聚合物材料。在进一步的方面,本公开提供了一种可拉伸复合材料,该可拉伸复合材料包含聚合物和多个纳米颗粒或其他增强材料。聚合物可以是弹性体或热塑性聚合物。通过非限制性实施例,一种合适的聚合物包括聚乙烯醇(PVA)。
例如,对于某些材料,根据本公开的某些方面创建具有图案化剪纸切口的表面可以将初始刚性片的极限应变从任何切割之前的初始极限应变增加到大于或等于约100%,任选地大于或等于约500%、任选地大于或等于约1,000%、并且在某些变体中任选地大于或等于约9,000%。
值得注意的是,基于所使用的切割图案的几何形状,可以实现宽范围的最大可达到的应变或扩展水平。因此,极限应变由几何形状决定。极限应变(%应变)是在拉伸到结构断裂前的点时的最终可达到的长度与原始或初始长度(Li)之间的比:
其中Lc是切口的长度,x是不连续切口之间的间距,以及y是不连续切口的分立行之间的距离。因此,在某些变体中,根据本公开的某些方面,具有带有图案切口的表面的聚合物材料(例如纳米复合材料)可以将极限应变增加到大于或等于约100%,任选地大于或等于约150%、任选地大于或等于约200%、任选地大于或等于约250%、任选地大于或等于约300%、任选地大于或等于约350%、并且在某些变化中任选地更大大于或等于约370%。关于剪纸复合材料及其制造方法的附加讨论在Kotov等人于2016年4月7日提交的题为“剪纸图案化聚合物材料和由其制成的可调光学器件(Kirigami Patterned PolymericMaterials and Tunable Optic Devices Made Therefrom)”的提交为美国申请序列号15/092,885的美国公开号2016/0299270中进行了描述了,其相关部分通过引用并入本文。
在某些方面,剪纸纳米复合材料可以形成可调谐的光栅结构,该光栅结构即使在100%拉伸下也可以在宏观长度尺度上保持稳定的周期性。衍射图案的横向间距与拉伸量呈负相关,这与衍射图案中的尺寸与对应光栅的间距之间的倒数关系一致。由于具有横向拉伸的纵向周期性相对较小的变化,因此衍射图案中的纵向间距表现出对拉伸量的低的依赖性。衍射图案还显示出对入射激光的波长的显著依赖性。聚合物可拉伸可调谐光栅结构随着拉伸呈出现弹性行为,并且在循环机械驱动下去除拉伸时自发恢复到松弛的(即,未拉伸的)几何形状。衍射光束形成与聚合物可拉伸可调谐光栅结构的变形一致改变的清晰的图案。这种行为指示用于动态的、依赖于波长的光束转向的优异能力。
因此,由于平面外表面特征,三维(3D)剪纸纳米复合材料为传统的反射和折射光学器件提供了新的维度,如图2a至图2b所示。例如,由图2a至图2b所示的纳米剪纸片所示的切口形成的可重新配置的翅片和狭缝允许通过剪纸切口片的可逆扩展(或应变水平)来有效地调制光。因此,可以将诸如图2a至图2b中所示的纳米剪纸片并入到这里描述的M-LIDAR系统的一个或多个光学部件中。更具体地,这些轻、薄且便宜的光学部件可用于例如光谱的红色和红外部分以实现光束转向和/或偏振调制。根据一些实现方式,图2a至图2b所示类型的剪纸纳米复合材料可以用于形成图1所示的系统的光束转向器106、s偏振线性偏振器114和/或p偏振线性偏振器116。
在某些变体中,剪纸纳米复合材料可以形成由超强的逐层(LbL)组装的纳米复合材料(Kotov,N.A.等人,“自组装制备的超薄氧化石墨-聚电解质复合材料:导电与非导电状态的转变(Ultrathin graphite oxide-polyelectrolyte composites prepared byself-assembly:Transition between conductive and non-conductive states)Adv.Mater.,8,637-641(1996)和Kotov,N.A.等人,“聚电解质-半导体纳米颗粒复合膜的逐层自组装(Layer-by-Layer Self-assembly of Polyelectrolyte-SemiconductorNanoparticle Composite Films)”,J.Phys.Chem.,99,13065-13069(1995))。这些纳米复合材料具有例如约650MPa的高强度以及例如约350GPa的弹性模量(E),从而提供卓越的机械性能、环境稳健性、以及宽的操作温度范围(例如,从-40℃至+40℃),和经证实的可扩展性。LbL复合材料的高弹性使其可重新配置,并且其高温回弹力使得能够与不同类型的致动器集成并具有CMOS兼容性。在某些方面,纳米复合材料可以涂覆有等离子体膜(例如氮化钛、金等),以增强与目标波长的光子(例如激光源具有1550nm的波长的1550nm光子)的相互作用。
在某些其他变体中,剪纸纳米复合片可包括分布在其中或涂覆在其上的磁性材料。例如,镍层可以沉积在超强复合材料上。镍层可用作磁性和反射层,从而提供磁性活性的剪纸元件。因此,剪纸单元可以直接与LIDAR组件直接集成,并用作光束转向器(例如,使用一阶和二阶衍射光束)或作为偏振器(例如,使用一阶衍射光束)。
现在参考图3a至图3c,图示了描绘来自基于纳米剪纸石墨烯复合材料的激光衍射图案的图像。作为参照,图3a至图3c的右上角所示的比例尺表示25mm。图3a描绘了针对0%应变(松弛状态)的基于纳米剪纸的石墨烯复合材料的激光衍射图案。图3b描绘了来自针对50%应变的基于纳米剪纸的石墨烯复合材料的激光衍射图案。最后,图3c描绘了来自针对100%应变的基于纳米剪纸的石墨烯复合材料的激光衍射图案。
LIDAR光束的偏振调制和返回光子的偏振分析将使得能够获取关于当前在例如汽车安全和机器人视觉设备中缺乏的对象材料的信息。可以训练机器学习(ML)算法来识别不同的材料,并且可以基于材料的独特的偏振特征来实现MST分类。通过材料对对象进行MST分类的优点之一是可以加快对象识别并提高机器对周围环境的感知的准确性。
在转向图4a至图4d的细节之前,值得注意的是,根据本公开的一些实施例,可以利用非纳米剪纸光学元件执行图1所示的系统100以及对应的材料检测和对象分类方法。实际上,对于某些应用(例如,其中尺寸和重量不是主要问题),这种基于非纳米剪纸光学元件的M-LIDAR系统可以是优选的。因此,在不偏离本文的教导的情况下,不使用纳米剪纸光学元件的当前公开的M-LIDAR系统的实现方式可以同等地使用其他传统光学组件,例如(i)IR偏振器;(ii)分束器;(iii)由CdS、ZnS、硅制成的透镜;和/或(iv)类似的合适的光学元件。然而,纳米剪纸光学元件通常对于受益于轻且小的M-LIDAR系统是有利的。
以上述为背景,图4a至图4d图示了用于制造基于纳米剪纸光学元件(例如分束器或线性偏振器)的逐步光刻型工艺。根据一个实施例,图4a至图4d中阐述的用于制造基于纳米剪纸光学元件的工艺可以包括使用真空辅助过滤(VAF),由此可以将纳米复合材料作为层沉积在适合于光刻图案化的刚性(例如,塑料)基板上。如上所述,美国公开第2016/0299270号描述了制造此类纳米复合材料的方法,该方法包括通过真空辅助过滤(VAF)和逐层(LBL)沉积工艺技术。已知根据该工艺制造的纳米复合材料具有高韧性和强的光吸收。
图4a是工艺400的第一步骤的简化图示,其中,通过VAF、逐层沉积(LBL)或本领域已知的任何其他合适的沉积方法将纳米复合材料层404a沉积在基板402上。图4b图示了工艺400中的第二步骤,图4的纳米复合材料404a被图案化以产生穿过纳米复合材料层404a的选择区域的图案化剪纸纳米材料404b,所述图案化在基板402的顶部上例如经由光刻切割工艺进行。图4c图示了工艺400中的第三步骤,由此从基板402释放(例如,提起)经切割或图案化的剪纸纳米复合材料404b。最后,图4d图示了工艺400的最后步骤,由此,至少一部分图案化的剪纸纳米复合材料408己经被并入配置成用于光束转向和/或调制等的子组件中。
图4d所示的子组件包括图案化剪纸纳米复合材料部分408、微制造的硅层406壳体、以及一个或多个弯曲光束致动器410。双侧箭头412图示了致动器410运动的可能方向。如下文另外详细讨论的,弯曲光束致动器410可以配置成在剪纸技术纳米复合材料部分408上施加可逆应变,以例如调整构成剪纸纳米复合材料部分408的图案的各种狭缝和/或翅片的尺寸和/或取向。因此,可以将剪纸纳米复合材料部分408因此以从0%至100%范围的应变水平可逆地拉伸。
接下来是图4a至图4d所示的工艺400的图案化方面的更详细讨论。剪纸透射光学模块的制造可以遵循图4a至图4d所示的分步图。LIDAR激光束在可见的和IR范围内的调制可能需要在0.1cm至1cm宽度上创建的例如3μm的特征尺寸。这样的图案的可行性已经得到证明。可以基于在拉伸或拉紧时图案的2D至3D重新配置的计算机模拟来选择图案的2D几何形状。可以对3D几何形状进行建模以获取光学性能,例如,在所期望的波长范围内进行偏振调制。光刻可以是主要的图案化工具,其通过上述VAF复合材料的化学反应实现。图案化协议可以与目前用于大规模微制造的协议基本上类似。例如,在使用商用常规的掩模对准器进行图片图案化之后,可以用标准的SU8光致抗蚀剂涂覆在玻璃基板上的VAF复合材料。图5a至图5c中示出了制备的剪纸图案的实施例,下面将对此更详细的讨论。
可以通过将剪纸纳米复合材料片与例如如图4d所示的商用微机电致动器集成在一起来制造剪纸光学元件。可以将微机电系统(MEMS)剪纸单元与LIDAR部件直接集成在一起,并且用作光束转向器(使用例如一阶和二阶衍射光束)和/或偏振器(使用例如一阶衍射光束)。考虑到几乎无限数目的剪纸图案和各种各样的2D至3D重新配置,在本文中的教导内设想了具有光束转向和偏振功能两者以及其他光学功能的剪纸光学元件。
简要参考图5a至图5c,图示了示例剪纸光学元件的各种图像。例如,图5a是根据上面关于图4a至图4d描述的工艺400在晶片上制造的剪纸光学元件(例如本文所述的剪纸光学元件)的图像。图5b是图5a的剪纸光学元件在0%应变下的SEM图像。最后,图5c是图5a的剪纸光学元件在100%应变下的SEM图像。图5a至图5c的右上角中描绘的比例尺为50μm。
光刻技术可用于制造剪纸透射式或反射式光学模块/元件。通过实施例的方式,对具有约1550nm的波长的LIDAR激光束的调制可以具有从大于或等于约1μm至小于或等于约2μm的特征尺寸,并在宽度范围从大于或等于约0.1cm至小于或等于由图5a至图5c中的当前图案例示的约1cm上创建。可以基于在拉伸时图案的二维(2D)至三维(3D)重新配置的计算机模拟来选择图案的2D几何形状。可以对3D几何形状进行建模以获取光学性能,例如,在所期望的波长范围内进行偏振调制。
光刻是可以与LbL复合材料结合使用以形成剪纸光学元件的主要图案化技术。在一个实施例中,图案化协议可以包括在玻璃基板上提供LbL复合材料,该LbL复合材料由标准SU-8光致抗蚀剂涂覆,然后使用商用掩模对准器(UM Lurie NanofabricationFacility,LNF)进行光图案化。这样的工艺可以形成剪纸元,像图5a至图5c中示出那些剪纸元件。
图11提供了用于交通工具(例如自动驾驶交通工具)中的另一代表性的简化的紧凑型M-LIDAR系统300。在某种程度上,M-LIDAR系统300中的部件与图1的M-LIDAR系统100中的部件类似,为简洁起见,本文中将不再重复部件的功能。M-LIDAR系统300可以包括激光器310、光束转向器312、一个或多个偏振器(未示出,但与图1的上下文中描述的第一偏振器114和第二偏振器116类似)和处理器(未示出,但是与图l所示的处理器126类似)。在M-LIDAR系统300中,脉冲发生器312连接到激光器310、并且生成偏振或非偏振的第一光脉冲314和偏振或非偏振的第二光脉冲316。脉冲发生器312连接到示波器324。由激光器310生成的第一光脉冲314和第二光脉冲316被导向光束转向器318,光束转向器318在某些方面可以是如上面讨论的基于剪纸光束转向器。光束转向器318连接到伺服电机/Arduino 352并由该伺服电机/Arduino 352控制。作为非限制性实施例,伺服电机/Arduino 352连接到可以是MATLABTM控件的控制器350。如上所述,光束转向器318可以通过如上所述的非限制性实施例来偏振、修改、分离和/或调制第一光脉冲314和第二光脉冲316中的一个或两者。然后将第一光脉冲314和第二光脉冲316导向待检测的对象340。
第一光脉冲314和第二光脉冲316可以从对象110漫反射。一个或多个光脉冲共同形成构成第一光脉冲314和第二光脉冲316的反射形式的第一反射光束342和第二反射光束344。根据一些实施例,第一反射光束342和第二反射光束344可以具有与第一光脉冲314和第二光脉冲316(即在从对象340反射之前)不同的偏振。在从对象340反射之后,第一反射光束342和第二反射光束344可以朝着离轴抛物线反射器/镜330定向,离轴抛物线反射器/镜330将第一反射光束342和第二反射光束344朝着分束器360重新定向。
因此,第一反射光束342被分离并且被定向到第一检测器362和第二检测器364两者。第一检测器362和第二检测器364可以连接到示波器324。第一检测器362可以是配置为检测形成第一反射光束342的一个或多个反射的s偏振光脉冲的强度的s偏振检测器。同样,第二检测器364可以是配置为检测形成第一反射光束342的一个或多个反射的p偏振光脉冲的强度的p偏振检测器。在通过分束器360之后,第二反射光束344被定向到第一检测器362和第二检测器364两者,其中可以从第二反射光束344中检测s偏振光脉冲和/或p偏振光脉冲的强度。第一检测器362和第二检测器364可以连接到处理器(未示出),该处理器如上所述进一步分析从处理器接收的信息。通过非限制性实施例的方式,M-LIDAR系统300是紧凑型的并且可以具有约7英寸x12英寸的尺寸,从而使其特别适合安装在交通工具中。
如上面所介绍的,MST分类可以通过使用基于光源的MST分类以及添加到点云的光偏振分类器根据本公开的实施例来实现。在一个实施例中,对于点云的每个3D距离测量,可以获取返回光子的线性偏振/圆偏振。此外,尽管表面性能与偏振状态之间的关系可能在一些情况下由于表面粗糙度而是杂乱的,但是可以基于返回的光子的偏振状态直接确定局部曲率和局部散射条件。
现在参考图6,通过神经网络算法使用AI数据处理对反射的激光执行MST偏振分析,以产生图6的混淆矩阵。更具体地,基于对s偏振光束和p偏振光束(例如图1中所示的s偏振光束118和p偏振光束120)的分析来产生混淆矩阵。沿着x轴,识别针对经受了本文描述的M-LIDAR系统和处理方法的测试对象的预测材料类型。沿着y轴,识别针对测试对象的真实材料类型。针对各种材料类型的AI算法的各种预测的准确性反映在预测材料类型和真实材料类型的交叉处。如示出的,可以使用这些偏振光束以高准确度(在一些情况下包括99%或99%以上)来实现M-LIDAR系统的材料检测功能。
现在参考图7,示出了与其他材料相比较的用于模拟黑冰的检测的混淆矩阵。同样,可以以高准确度(在一些情况下包括100%)来实现M-LIDAR系统的材料检测功能。
图8图示了用于例如黑冰检测(例如,当安装在交通工具等中时)的M-LIDAR设备800的一个实施例。虽然本实施例着重于黑冰检测应用,但是本领域普通技术人员将认识到设备800不限于黑冰检测,并且可以适当地用于广泛的材料检测和对象分类应用,包括自动驾驶交通工具。设备800包括壳体802、发射器804(即,用于发射构成激光束的光脉冲的发射器)、第一检测器806a和第二检测器806b。根据一个实施例,检测器806a、806b中的一个或多个包括正交偏振分析器。此外,根据一个实施例,发射器804、检测器806a和/或检测器806b中的一个或多个可以用剪纸光学元件制成。尽管该设备的主要实施例是在汽车内使用,但是该设备也可以例如在诸如无人机等的飞行器内使用。
现在参考图9,提供了了图示使用M-LIDAR系统执行对象分类的方法900的流程图。方法900在902处开始,在902处生成非偏振光脉冲。在904处,使非偏振光脉冲线性偏振以产生线性偏振光脉冲。线性偏振光脉冲可以朝对象发射并从对象反射回来以产生反射线性偏振光脉冲。在906处,可以将反射线性偏振光脉冲线性偏振为s偏振,以产生反射s偏振光脉冲。
在908处,可以将反射线性偏振光脉冲线性偏振为p偏振,以产生反射p偏振光脉冲。在910处,可以检测反射s偏振光脉冲的强度。在912处,可以检测反射p偏振光脉冲的强度。在914处,可以基于反射s偏振光脉冲的强度和反射p偏振光脉冲的强度来检测对象的至少一种材料。最后,在916处,可以基于检测到的至少一种材料对对象进行分类。在916之后,方法900结束。
最后,根据一些实施例,剪纸图案可以用作MST标签,以用于基于偏振的对象检测。也可以将大量生产的剪纸技术组分添加至涂料,以在路标、衣物、标记、交通工具、家居用品或任何其他合适的对象中赋予特定的偏振响应。
在某些变体中,本公开的LIDAR系统可以提供对透射光束和反射光束的调制。可以将基于剪纸的光学元件添加到LIDAR的发射器侧以用作光束转向器,从而可以替代常规的体旋转的或液晶相阵列的光束转向器。磁性致动模块可以与1550nm激光源集成。为了减小光束转向器的体积,可以将光纤直接与模块耦合。
在某些变体中,本公开提供的LIDAR系统可以在降水和/或潮湿大气条件下提供增强的检测。例如,通过非限制性实施例的方式,通过采用具有约1550nm的波长的激光,由本公开所设想的LIDAR系统可以特别适合在低可见度的条件下使用,这在包括伴随雾、雨和雪的低可见度的条件下的恶劣天气条件期间提供了增强的检测和性能。这种LIDAR系统可以使例如高达200米的远程警告成为可能,这对于高速公路行驶条件特别有用。常规的LIDAR使用具有约900nm的波长的激光,这对于基于硅的检测器很方便。然而,这些常规的激光束在潮湿的大气条件下会经历相对强的散射。以1550nm操作的LIDAR可以利用高透明度的湿空气,这对于从接近警告至辅助驾驶以及完全自主的驾驶形态的各种不同水平的自主性都是有利的。然而,由于高重量和近红外光学器件的成本,这样的LIDAR可能笨重且昂贵。根据本公开的某些方面,基于剪纸的光学元件可以通过利用图案化剪纸片可行的空间电荷和亚波长效应来解决该问题,参见例如图2a至图2b。如图3a至图3b所示,这种剪纸片可以使用剪纸片的可重新配置的平面外图案来有效地调制并且光束转向近红外光激光器。包含这种基于剪纸光学元件的1550nm光束转向设备可用作薄、轻且便宜的固态LIDAR。此外,剪纸技术的多功能性允许人们可以使图案适应特定应用,例如,针对特定交通工具定制LIDAR系统,以及/或者使其适应汽车零件的不同曲率的表面。
在某些方面,本公开可以通过使用两阶段对象提议和检测方法来为LIDAR系统提供相对快速的检测,而不牺牲延迟的准确性。例如,用于分类模型的改进的模型准确性和通用性可以包括通过向数据添加材料尺寸来增强静态对象分类器。包含塑料、木材和砖块的带有材料区别性特征(fingerprint)的对象不可能移动,而带有金属或织物区别性特征的对象则更可能是行人和交通工具。此外,由于材料尺寸对场景变化更稳健,因此这些模型被更好地推广至罕见且复杂的案例,例如建筑工地和具有复杂节日装饰的街道。因此,区别性特征极大地提高了点云相关联模型的模型准确性,从而影响跟踪和自动驾驶交通工具地图。例如,点云的材料维度可以使检测和分类更加可靠,如可以将骑自行车的行人拾取为点云,所述点云具有下侧的金属材料和来自行人的一些织物或皮肤特征。这样,自动驾驶系统就更容易将骑自行车的行人与纯粹的行人区分开。同样,对象的材料区别性特征使系统更容易将点云与正确的对象分类相关联,从而有助于维持正确且一致的复合对象分类。
因此本公开提供了具有增强的对象识别能力的便宜且紧凑的LIDAR系统,包括区分材料类型、提供早期检测和警告系统的能力,包括在毫秒内识别对象的能力,以及在低能见度条件下的高效能,以及其他好处。
在某些变型中,本公开提供了一种系统,该系统包括激光器,该激光器配置为生成光脉冲;光束转向器,该光束转向器配置为生成朝向对象发射的偏振调整光脉冲;至少一个偏振器,该至少一个偏振器配置为使从对象返回的反射光、散射光或发射光偏振;和处理器,该处理器配置为基于来自对象的偏振反射光、偏振散射光或偏振发射光的强度和偏振来检测对象的至少一种材料。一方面,光束转向器包括剪纸纳米复合材料。一方面,至少一个偏振器包括剪纸纳米复合材料。在一方面,处理器还配置为基于检测到的对象的至少一种材料对对象进行分类。
另一方面,处理器配置为通过应用机器学习算法、基于检测到的对象的至少一种材料对对象进行分类。另一方面,机器学习算法包括人工神经网络算法。
一方面,光束转向器配置为调整光脉冲的偏振以产生偏振调整光脉冲。一方面,光束转向器配置为通过将偏振赋予非偏振光脉冲并改变偏振光脉冲的偏振中的至少一者来调整光脉冲的偏振。另一方面,光束转向器配置为通过应用以下类型的偏振中的至少一种来调整光脉冲的偏振:线性偏振、圆偏振和椭圆偏振。另一方面,应用线性偏振包括应用s型线性偏振和p型线性偏振中的至少一个。
一方面,至少一个偏振器配置为通过应用以下类型的偏振中的至少一种使从对象返回的反射光、散射光或发射光偏振:线性偏振、圆偏振和椭圆偏振。另一方面,应用为应用线性偏振,该应用线性偏振包括应用s型线性偏振和p型线性偏振中的至少一个。一方面,至少一个偏振器包括多个偏振器。
一方面,该系统还包括连接到至少一个偏振器和处理器的至少一个偏振检测器,其中该至少一个偏振检测器配置为检测来自对象的偏振反射光、偏振散射光或偏振发射光的强度。另一方面,至少一个偏振检测器包括多个偏振检测器。另一方面,至少一个偏振检测器配置为检测与来自对象的偏振反射光、偏振散射光或偏振发射光相关联的入射角。
另一方面,处理器还配置为基于与来自对象的偏振反射光、偏振散射光或偏振发射光相关联的入射角来检测对象的至少一种材料。
另一变型中,本公开提供了一种方法,该方法包括生成光脉冲;调整光脉冲的偏振以生成朝向对象发射的偏振调整光脉冲;使从对象返回的反射光、散射光或发射光偏振;和基于来自对象的偏振反射光、偏振散射光或偏振发射光的强度和偏振来检测对象的至少一种材料。
一个方面,通过包括剪纸纳米复合材料的光束转向器执行调整光脉冲的偏振。一方面,剪纸纳米复合材料通过真空辅助过滤(VAF)工艺制造。一方面,剪纸纳米复合材料通过逐层(LBL)沉积工艺制造。一方面,该方法还包括为基于检测到的对象的至少一种材料对对象进行分类。
一方面,对对象进行分类包括通过应用机器学习算法对对象进行分类。一方面,机器学习算法包括人工神经网络算法。
在其他方面,本公开提供了LIDAR系统和方法,所述LIDAR系统和方法配置为检测对象的相对距离或位置和形状以及关于对象的附加信息(例如对象的材料成分)和/或关于返回的激光脉冲的附加信息(诸如关于反射光束的光学特性)。关于从对象返回的光束的附加信息可以包括例如偏振信息、拉曼散射信息、圆二色性信息等。这样,关于对象、和/或关于返回/反射光束的附加信息增加了信息的附加维度,该信息的附加维度被存储并与关于对象的距离或位置以及形状信息相关联。换言之,本公开的LIDAR系统和方法是多维的,因为系统和方法配置为检测除表示对象的相对距离或位置和形状的三维信息之外的信息。例如,对象的材料组成可以添加与对象的信息相关的第四维度。附加地或替代地,关于从对象返回的光束的附加信息可以包括偏振信息、拉曼散射信息、圆二色性信息等,这些信息可以向与对象相关联的信息添加一个或多个附加维度。
例如,由本公开的LIDAR系统和方法检测到的对象可以由三维XYZ坐标系中的点云表示。点云可以包括多个点,每个点代表对象的表面上的位置并具有相关联的XYZ坐标。如上面进一步详细讨论的,生成点云可以包括重复发射光脉冲的过程,脉冲漫反射离开对象,反射光由检测器测量,并确定对象表面上的点相对于光源的位置。然后该过程可以每秒重复多次,例如每秒数百万次的数量级,每次生成一个点。然后将各个点映射到相同的XYZ坐标系上以创建点云。
对于表示对象的点云中的每个点,本公开的LIDAR系统和方法还可以确定表示位于对象的表面上特定点处的材料成分的第四维度。附加地或替代地,对于表示对象的点云中的每个点,本公开的LIDAR系统和方法还可以确定对应于关于与对象的表面上的特定点相关联的激光脉冲束的返回(例如,反射)光束的附加信息(诸如关于反射光束的光学特性)的附加维度。如上所述,附加信息可以包括例如关于与对象的表面上的特定点相关联的返回(例如,反射)光束的偏振信息、拉曼散射信息、圆二色性信息等。以这种方式,本公开的LIDAR系统和方法还可以确定表示检测到的对象的多维点云,该多维点云包括表示对象的表面的点的XYZ坐标,每个点除XYZ坐标之外还具有附加的相关联信息,诸如表示特定点处对象的表面的材料成分的信息、和/或关于来自该特定点的反射光束的附加信息(诸如偏振信息、拉曼散射信息、圆二色性信息等)。如上所述,本公开的材料分类方法可以根据关于反射光束的光学信息(诸如偏振信息、拉曼散射信息、圆二色性信息)确定材料成分信息。这样,本公开的LIDAR系统和方法可以生成和存储与代表检测到的对象的点云中的每个点相关联的材料成分信息和/或附加光学信息的任意组合。
参照图12,使用自行车的人作为检测到的实施例对象示出了由本公开的LIDAR系统和方法生成的四维点云1000。在图12中仅示出了XYZ坐标系的X轴和Y轴的情况下,可以理解点云1000是为了便于说明省略了Z轴的三维。点云1000包括多个点,每个点表示检测到的对象上的位置,例如,检测到的对象的表面上的位置,在这种情况下该对象是自行车上的人。进一步如图12所示,点云1000中的每个XYZ点还包括相关联的材料成分信息。如键1002所示,点云1000中与人的头部对应的点1004被指示为具有与皮肤对应的材料成分信息。点云1000的与人的躯干、手臂和腿部对应的点1006被指示为具有与棉(cotton)对应的材料成分信息。点云1000的与自行车的框架对应的点1008被指示为具有与铝对应的材料成分信息。点云1000的与自行车的轮胎对应的点1010被指示为具有与橡胶对应的材料成分信息。图12所示的点云1000例如可以由自动交通工具系统使用。例如,自动交通工具系统可以使用图12所示的点云1000来确定检测到的对象是骑自行车的人。自动交通工具系统还可以使用点云1000来区分作为骑自行车的实际人的对象与例如骑自行车的人的身材(statute)。
虽然实施例点云1000包括材料成分信息作为与点云中的每个点相关联的第四维,但是如上所述,除材料成分信息之外或代替材料成分信息,关于反射光束的其他附加信息可以与每个点一起存储。附加信息可以包括例如偏振信息、拉曼散射信息、圆二色性信息等。
本公开的LIDAR系统和方法可以生成和利用材料数据库,该材料数据库存储材料成分信息以及相应的光学信息,例如偏振信息、拉曼散射信息、圆二色性信息等。这样,本公开的LIDAR系统和方法可以将与来自对象的反射光束相关联的光学信息与存储的光学信息进行比较,以查找并确定该对象的相应材料成分。本公开的LIDAR系统和方法可以使用神经网络和机器学习技术来生成和构建材料数据库,并基于与来自对象的反射光束相关联的光学信息来校准用于确定对象材料成分的相关参数。
例如,可以基于光/物质相互作用的物理定律,使用包括参数值的神经网络层来初始化神经网络。换句话说,可以基于光/物质相互作用的物理定律,使用与来自对象的反射光束相关联的输入光学信息来初始化神经网络层以提供对象的预期材料成分。然后可以使用大量对象(例如数千、数百万或数十亿个对象)来训练系统,每个对象都具有已知的成分。例如,LIDAR系统可以扫描每个对象,将确定的材料成分与对象的已知成分进行比较,并使用机器学习技术基于比较结果调整神经网络的参数值。这个过程可以对大量对象中的每个对象重复多次,因为系统随着时间校准和调整神经网络的参数值,所以每次迭代导致所确定的材料成分的更高准确度。由于与反射光束相关联的光学信息可能取决于对象的取向、位置和形状,因此可以使用不同的取向和位置对对象进行多次重新扫描,以提高系统的准确度。此外,如下文进一步详细讨论的,该系统可以包括相对于对象位于不同取向处的多个LIDAR激光器和检测器,并且来自多个LIDAR激光器和检测器中每一个的信息可以并行使用以确定对象的材料成分并提高系统的准确度。
参照图13,提供了根据本公开的图示训练神经网络的方法1100的流程图,该神经网络用于识别对象(包括对象表面上的各个点)的材料成分。方法1100在1102处开始。在1104处,基于光/物质相互作用的物理定律,初始化神经网络。例如,基于光/物质相互作用的物理定律,初始化和设置神经网络的初始化参数。在1106处,使用LIDAR系统检测具有预定或已知材料成分的对象,且基于返回(例如,反射)光束的光学信息并基于神经网络,确定表示对象的点云的每个点的材料成分。
在1108处,将由系统确定的材料成分与已知的对象的材料成分进行比较。在1110处,如果需要,基于使用机器学习技术的比较来调整神经网络的参数。
在1112处,做出关于系统的准确度是否还可以接受的确定。在1112处,当系统的准确度还不可接受时,该方法循环回到1106并通过检测另一个对象并对参数进行进一步调整来重复该过程。重复该过程,直到在1112处确定系统的准确度是可接受的为止。当系统的准确度被确定为可接受时,该过程在1114处结束。例如,当系统准确地确定预定数量的物体的材料成分在预定的可接受的误差范围内时,系统的准确度可以被确定为可接受的。
以此方式,通过扫描大量对象(例如数千、数百万或数十亿对象),本公开的系统和方法可以建立大的材料数据库和相关联的神经网络,该材料数据库和相关联的神经网络可以用于准确地确定使用本公开的LIDAR系统检测到的对象的材料成分。
本公开的多维LIDAR系统和方法可用于再循环系统中以识别待再循环对象的材料成分并基于所确定的材料成分适当地分拣对象。参照图14,实施例再循环系统1200被示出且包括传送带1202。传送带1202将对象从容纳待分拣和再循环的对象的再循环对象箱1204移动到分拣器1206。在图14的实施例中,当金属罐1220从再循环对象箱1204朝向分拣器移动时,该金属罐被示出在传送带1202上。如图14中所示,当对象1220在传送带上被朝向分拣器1206运送时,对象1220由根据本公开的一个或多个LIDAR系统1214a、1214b、1214c扫描。虽然图14中示出了三个LIDAR系统1214a、1214b、1214c,但是可以使用任意数量的LIDAR系统。例如,可以仅使用一个LIDAR系统。然而,如上所述,可以从多个不同角度和视角扫描对象1220的附加LIDAR系统的使用可以增加材料分类确定的准确性。
再回收系统1200包括与LIDAR系统1214a、1214b、1214c通信的控制模块1218、分拣器1206和材料数据库1216。当对象1220通过LIDAR系统1214a、1214b、1214c时,对象1220由LIDAR系统1214a、1214b、1214c扫描,然后LIDAR系统将关于来自对象1220的反射光束的结果信息传送到控制模块1218。根据上述分类技术,控制模块1218配置为访问材料数据库1216,并基于由LIDAR系统1214a、1214b、1214c中的每一个接收的反射光束的光学信息来确定对象1220的多维点云。例如,多维点云可以包括表示对象1220的点云的每个点的材料分类信息。基于材料分类信息,控制模块1218然后可以控制分拣器1206将对象1220分拣到适当的分类箱中以进行再循环。
例如,如图14中所示,再循环系统1200包括用于接收玻璃对象的玻璃箱1208、用于接收金属对象的金属箱1210、和用于接收塑料对象的塑料箱1212。分拣器1206可以包括挡板、门、槽和/或杠杆,这些挡板、门、槽和/或杠杆是可移动的和可配置为通过例如斜道(chute)1209、1211和1213将对象1220引导到适当的箱中。例如,斜道1209通向玻璃箱1208,斜道1211通向金属箱1210,而斜道1213通向塑料箱1212。虽然分拣器1206、再循环箱1208、1210、1212和斜道1209、1211、1213被图示为实施例,但是任何其他分拣机构可以由控制模块1218使用和控制,以基于对象的材料成分(如基于本公开的系统和方法所确定的)将来自传送带1202的对象分拣到适当的回再循环箱中。
这样,本公开的LIDAR系统和方法可以准确地确定待再循环对象的材料成分,并且可以与分拣系统结合使用以适当地和自动地将待再循环对象分拣至再循环材料组中。
参照图15,示出了由本公开的LIDAR系统和方法生成的四维点云1300、1302、1304以用于再循环对象。虽然图15中仅示出了XYZ坐标系的X轴和Y轴,但是可以理解点云1300、1302、1304是为了便于说明省略了Z轴的三维。点云1300、1302、1304每个都包括多个点,每个点表示被检测对象的表面上的位置。进一步如图15所示,点云1300、1302、1304中的每个XYZ点还包括相关联的材料成分信息。如键1306所示,点云1300的点被指示为具有对应于塑料的材料成分信息。点云1302的点被指示为具有与铝对应的材料成分信息。点云1304的点被指示为具有与纸对应的材料成分信息。点云1300、1302、1304可以例如由图14中所示的再循环系统的控制模块1218生成。
本公开的LIDAR系统和其他方法也可以用于检测活对象的健康状态,该活对象例如像动物这样的有机体。在某些方面,动物可以是人。
本公开的LIDAR系统和其他方法还可以用于医学/美容应用中,以通过映射皮肤表面并分析来自与扫描的患者皮肤表面相对应的点的偏振测定(polarimetry)数据来识别例如表现出某些状况的皮肤区域并用于皮肤疾病的诊断。
参照图16,示出了由本公开的LIDAR系统和方法生成的四维点云1400、1402、1404、1406以用于患者的皮肤表面的扫描。虽然图16中仅示出了XYZ坐标系的X轴和Y轴,但是可以理解点云1400、1402、1404、1406是为了便于说明省略了Z轴的三维。点云1400、1402、1404、1406每个都包括多个点,每个点表示患者的皮肤表面上的位置。进一步如图16所示,点云1400、1402、1404、1406中的每个XYZ点还包括相关联的材料成分信息。如键1408所示,点云1400的点被指示为具有对应于中性皮肤(正常皮肤,normal skin)的材料成分。点云1402的点被指示为具有与痤疮对应的材料成分信息。点云1404的点被指示为具有与肿块对应的材料成分信息。点云1406的点被指示为具有与干性皮肤对应的材料成分信息。点云1300、1302、1304可以例如通过利用材料数据库的LIDAR系统生成,该材料数据库存储对应于不同皮肤状况和疾病的材料成分的信息。通常,四维点云可用于区分生物材料、细胞、组织等,例如,恶性细胞与良性细胞的位置、或所选生物材料的特性。这样,本公开的LIDAR系统和其他方法可以用于检测活对象的健康状态,该活对象例如像动物这样的有机体。在某些方面,动物可以是人。
类似地,本公开的LIDAR系统和方法也可以用于面部识别。
此外,本公开的LIDAR系统和方法还可以并入其他设备,例如个人计算机、膝上型计算机、便携式设备、智能手机、平板设备等。例如,用于激光脉冲的激光器可以使用二极管激光器来实现,这些二极管激光器可以包含在其他设备(例如个人计算机、便携式设备、智能手机、平板设备等)中。当并入智能手机、膝上型计算机或平板设备时,例如,本公开的LIDAR系统和方法例如可以用于面部识别,以允许访问智能手机、膝上型计算机或平板设备。
此外,本公开的LIDAR系统可用于与其他LIDAR系统通信。例如,LIDAR系统可以使用传输的激光脉冲的偏振来传达数据。作为实施例,LIDAR系统可以并入交通工具,且当交通工具左转时,LIDAR系统可以将左偏振脉冲传输到周围交通工具的LIDAR系统。类似地,当交通工具右转时,LIDAR系统可以将右偏振脉冲传输到周围交通工具的LIDAR系统。此外,两个LIDAR系统可以传输具有特定偏振序列的脉冲来传达信息(例如验证信息)以确认和验证彼此的身份并防止LIDAR系统被第三方假冒或入侵。例如,第一LIDAR系统可以请求第二LIDAR系统通过两个LIDAR系统已知的特定偏振序列发送验证信息。
本公开的LIDAR系统和方法可用于生成关于扫描材料的信息,该信息通过分析反射的和散射的LIDAR光束的偏振而感测获得。本公开的材料感测LIDAR系统和方法对来自撞击在扫描对象项目上的调制激光束的s偏振和p偏振之间的偏振比执行计算分析。同时可以获得拉曼散射和其他信息,以补充偏振处理。
撞击LIDAR光束的偏振可以是圆偏振的。反射的和散射的LIDAR光束的偏振可以相对于圆偏振进行分析。材料或其成分或其形状的手性将是影响被检测项目的偏振特征的基本材料特性。由LIDAR获得的每个XYZ数据点由另一特征(例如材料检测特性,即偏振比或根据包含不同材料的数据库通过计算处理的偏振比的比较获得的数据)补充。每个XYZ点都提供有附加数据,使得使该点变得不仅仅是一个三维点。当包含材质属性时,点就变成了四维点。在同时给予数据点不同的拉曼散射或其它属性信息的情况下,该点变为多维的,具有四个以上的维度。
如上所述,可以通过基于材料数据库的深度学习神经网络算法来指定每个点的材料信息。材料数据库可以通过偏振测定LIDAR设置来获取。LIDAR的光束被调制为线性偏振或圆偏振。偏振测定LIDAR通过分析反射/散射光的s偏振光和p偏振光比来测量反射/散射时的偏振差。基于测量结果和电场计算这两者,每种材料的反射和散射物理的角度依赖性将被包含在数据库中。根据CIE颜色矢量空间,基于测量和电场计算这两者,每种材料的颜色效果将被包含在数据库中。偏振测定拉曼散射和FTIR信息可以被获取并被包含在材料数据库中。包括线性二向色性和圆二向色性的材料的旋光性(光学活性,optical activity)将被包含在材料数据库中。材料数据库包将提供对材料的全面了解,而无需考虑纹理、入射角和涂层颜色。
多维材料识别LIDAR也可以通过处理反射光和散射光的强度分布来实现。在这种情况下,信号由机器学习算法处理,该机器学习算法包括作为神经网络层之一的反射物理和基于预期材料参数的反射光分布的评估。不仅强度最大值而且强度和噪声频率的衰减都被包括作为训练这种网络的参数。
在某些变体中,本公开提供了一种系统,该系统包括偏振启用相机(polarization-enabled camera),也称为偏振相机,该偏振相机配置为感测它检测到的光的偏振。在这些变体中,因为利用偏振相机的系统检测反射离开对象的环境光的偏振,因此该系统不需要上述系统和方法中描述的激光器和光束转向器。相反,在这些变体中,系统利用非偏振环境光并且可以检测反射离开对象的环境光的偏振。环境电磁辐射可以包括可见光、紫外光、红外光等。特别合适的可见和红外电磁辐射包括可见光,该可见光具有在约390nm至约750nm的范围的波长和红外辐射(IR)(包括约0.75μm至约1.4μm的近红外(NIR)和约15μm至1mm的远红外(FIR))。也称为太赫兹(THz)区的电磁波谱的远红外(FIR)部分具有约100μm至约1mm的光子波长和约0.001eV至约0.01eV的能量。除了对从天文学和固态物理学到电信学的THz研究的许多领域提供信息外,作为非限制性实施例,THz圆二色性(TCD)还可用于理解和检测天文学、固态物理学、电信学、生物材料、生物分子和药物。
参照图1,例如,根据这些变体使用偏振相机的系统不需要激光器102和光束转向器106,并且不需要产生光束104或光束108。换句话说,在使用偏振相机的系统中,环境光被用来代替通过激光器102产生的光束104和光束108。
在一方面,类似于上述系统和方法,处理器使用关于反射离开检测到的对象的环境光的感测偏振信息来确定和感测检测到的对象的至少一种材料。
在其他方面,本公开的系统和方法可以包括同一感知系统中的LIDAR和偏振相机。在另一方面,偏振相机配置为感测关于反射离开检测到的对象的环境光的偏振信息、以及关于来自LIDAR的从检测到的对象返回的激光的偏振信息。
其他方面,处理器配置为通过应用机器学习算法、基于检测到的对象的至少一种材料,对对象进行分类。另一方面,机器学习算法包括人工神经网络算法。
在其他方面,本公开提供了偏振相机系统和方法,该偏振相机系统和方法配置为检测对象的相对距离或位置和形状、以及关于对象的附加信息,例如反射离开对象的并通过偏振相机系统检测的环境光的偏振信息。偏振信息可用于确定对象的材料成分,如上文使用激光器、光束转向器和至少一个偏振器来感测偏振信息的系统和方法所描述的。这样,关于对象和/或关于返回光束/反射光束的附加信息增加了信息的附加维度,该附加维度存储并且与关于对象的距离或位置和形状信息相关联。换言之,本公开的偏振相机系统和方法是多维的,因为该偏振相机系统和方法配置为检测除表示对象的相对距离或位置和形状的三维信息之外的信息。例如,对象的材料成分可以添加与对象的信息相关联的第四维度。附加地或替代地,关于从对象返回的光束的附加信息可以包括偏振信息和材料成分信息等,这些信息可以向与对象相关联的信息添加一个或多个附加维度。
例如,由本公开的偏振相机系统和方法检测到的对象可以由三维XYZ坐标系中的点云表示。点云可以包括多个点,其中每个点代表对象表面上的位置并具有相关联的XYZ坐标。与上述LIDAR系统类似,使用偏振相机系统和方法生成点云可以包括重复检测反射离开对象的环境光、由偏振相机测量的反射光,以及确定对象表面上的点的位置的过程。然后该过程可以每秒重复多次,例如每秒数百万次的数量级,每次生成一个点。然后将各个点映射到相同的XYZ坐标系以创建点云。
对于表示对象的点云中的每个点,本公开的偏振相机系统和方法还可以确定表示位于对象的表面上的特定点处的材料的成分的第四维度。附加地或替代地,对于表示对象的点云中的每个点,本公开的偏振相机系统和方法还可以确定对应于关于与对象的表面上的特定点相关联的返回(例如,反射)环境光的附加信息(诸如关于反射光的光学特性)的附加维度。如上所述,附加信息可以包括例如与对象的表面上的特定点相关联的偏振信息。以这种方式,本公开的偏振相机系统和方法还可以确定表示检测到的对象的多维点云,该多维点云包括表示对象的表面的点的XYZ坐标,其中每个点除XYZ坐标之外还具有附加的相关联信息,诸如表示特定点处对象表面的材料成分的信息和/或关于来自该特定点的反射光的附加信息(诸如偏振信息)。如上所述,本公开的材料分类方法可以根据关于反射光的光学信息(例如偏振信息)来确定材料成分信息。这样,本公开的偏振相机系统和方法可以生成和存储材料成分信息和/或附加光学信息的任意组合,例如与代表检测到的对象的点云中的每个点相关联的偏振信息。
参照图17A至图17C,示出了偏振相机2000。具体地,图17A示出了偏振相机2000的立体图。图17B示出了偏振相机2000的前视图,且图17C示出了偏振相机2000的后视图。例如,偏振相机2000可以是可从清晰视觉实验室(Lucid Vision Labs)获得的Triton偏振模型偏振相机,该相机利用来自索尼的Polarsense技术。例如,偏振相机2000可以每秒24帧(FPS)和5.0兆像素(MP)分辨率记录RGB偏振视频。虽然本公开描述了利用Triton偏振模型偏振相机的系统和方法,但是根据本公开可以使用捕获反射离开对象的光的偏振信息的任何其他偏振相机。
由标准照摄相机捕获的图像包含图像中每个像素的RGB颜色数据,但仅此而已。对于偏振相机2000,每个像素还存储关于检测到的光的偏振的数据。当光反射离开对象的表面时,在被发送到偏振相机2000的透镜之前,光基于该表面的材料的特性而以偏振方式移位。由于这些独特的偏振特性,如果两个对象由不同的材料构成,那么离开每个对象的反射光的偏振将不同,并且两个对象根据反射光的不同偏振进行区分。没有偏振信息的标准相机和图像识别算法将难以区分两个对象。例如,有一层黑冰的道路与没有黑冰的道路具有明显不同的偏振图像。然而,标准相机会生成两条道路的RGB图像,如果不相同,这些图像看起来非常相似。类似地,由于构成材料的质地和其他特性不同,黑色橡胶轮胎与黑色袋子具有非常不同的偏振分布。因此,本公开的偏振相机系统和方法能够有利地将黑色橡胶轮胎与黑色塑料袋区分开,以及将被黑冰覆盖的道路与没有黑冰的道路区分开。
偏振相机2000配置为感测反射离开检测到的对象的环境光的偏振。偏振是所有电磁辐射(包括相机测量的光)的一种特性,以便感应或检测周围环境中的对象。所有的光,即使最初是完全非偏振的,在反射离开对象的表面后都会进入新的偏振状态。这种偏振变化取决于并对应于光正在反射离开的对象的材料的特定成分、以及光反射离开对象的材料的角度。光越接近垂直于反射面,将经历的该光的偏振值的变化越显著。因此,对象距离越远,对象表面对光的基于材料的效果就会越强。尽管由于分辨率降低,增加的距离会使对象检测变得更加困难,但是对于远距离对象的光-表面相互作用的相对增强为这一困难提供了一些缓解。偏振信息可以被馈送到本公开的系统和方法的感知层中,并用于确定感测到的对象的材料成分,即使当感测到的对象更远并且对象的所得图像比更近的对象具有较低的分辨率。例如,本公开的系统和方法可以访问材料数据库(例如图14中所示的材料数据库1216),以基于反射离开对象和/或对象上的点的环境光的偏振来确定对象和/或对象上的点的材料。
特定的偏振态可以是0度与360度之间的任何角度。以类似的方式,色度(颜色的一种属性)通常以圆形方式表示,其中每个色度对应一个旋转度数。利用这一事实,可以创建伪色照片,其表示由偏振相机2000生成的偏振数据提供的视觉对比度的种类。例如,图18图示了未利用偏振数据示出的一组对象的图像2050。图像2050是用非偏振相机生成的。图18还图示了由偏振相机2000生成并使用伪色偏振示出的同一组对象的图像2052,以示出使用由偏振相机1000捕获的偏振数据可获得的附加对比度和特征可视性。根据本公开,通过训练机器学习系统以在与颜色相同的上下文中考虑该偏振信息,可以形成全新的相关性,其比标准相机视觉系统能够实现的任何相关性更强和更普遍。
参照图19,且与上面讨论的图6类似,反射光的MST偏振分析是使用具有神经网络算法的AI数据处理来执行的,以产生图19的混淆矩阵。沿着x轴,识别针对经受了本文描述处理方法的测试对象的预测材料类型。沿着y轴,识别针对测试对象的真实材料类型。针对各种材料类型的AI算法的各种预测的准确性示出在预测材料类型和真实材料类型的交叉处。如图所示,本公开的系统和方法的材料检测功能可以以高准确度(在一种情况下包括等于或高于96%)来实现。
此外,存在许多可能的边缘情况,其中对象可以由于其颜色而基本上被伪装,但是对于使用对象的偏振信息的本公开的偏振相机系统和方法来说是完全可视的。例如,在站在黄色校车前的穿着黄色雨衣的孩子图像中,传统系统可能无法区分孩子和校车。然而,根据本公开的使用偏振信息的系统可以识别反射离开黄色雨衣的材料的光的偏振与反射离开黄色校车的材料的光的偏振是可区别的。因此,根据本公开的使用偏振相机2000的系统可以区分两个对象,对不同的材料和对象进行分类,并且识别两个对象之间的边界和边缘。因此,为了检测远处或视觉上模糊的对象,本公开的系统和方法显著提高了识别材料和对象的成功率,同时还减少了分类、识别等所需的时间量。
对象检测和计算机视觉系统可以将图像划分为在其中表示的数十个或数百个对象。然后可以将对象检测数据进送到对象分类算法中,这些对象分类算法描述每个已识别对象的特性。根据本公开,向对象检测和计算机视觉系统的感知层添加偏振信息,与不利用这种偏振的系统相比,改进了这种系统辨别物体和分类这种物体的能力,同时减少了处理时间。
根据本公开,可使用偏振相机2000代替上述系统和方法中描述的LIDAR、光束转向器和至少一个偏振器。
例如,偏振相机2000可用于生成图12、图15和图16中所示的四维点云。此外,通过用具有偏振相机2000的偏振照相机系统代替LIDAR系统并且例如参照图13的附图标记1106、使用所检测的偏振信息作为上面描述的反射光信息,偏振相机2000可以与如上参考图13所述的训练用于识别物体的材料成分的神经网络的方法1100一起使用。
此外,一个或多个偏振相机2000可以与上面参考图14描述的实施例再循环系统1200一起使用。在每种情况下,上面关于那些系统和方法中的每一个描述的LIDAR、光束转向器和至少一个偏振器可以由偏振相机2000代替,该偏振相机2000配置为捕获反射离开对象的环境光的偏振信息。参照图1,激光器102、光束转向器106、s偏振线性偏振器114、p偏振线性偏振器116、s偏振检测器122、和p偏振检测器124可以用偏振相机2000代替,该偏振相机2000检测反射离开对象110的环境光的偏振。
参照图14,例如,LIDAR系统1214a、1214b、1214c中的一个或多个可以用一个或多个偏振相机2000代替。在这种情况下,控制模块1218配置为:根据上述分类技术,基于反射离开对象1220的并且由一个或多个偏振相机2000感测的环境光的偏振信息,访问材料数据库1216并且确定对象1220的多维点云。例如,多维点云可以包括表示对象1220的点云的每个点的材料分类信息。如上所述,基于材料分类信息,控制模块1218然后可以控制分拣器1206将对象1220分拣到适当的分类箱中以进行再循环。这样,本公开的偏振相机系统和方法可以准确地确定待再循环对象的材料成分,并且可以与分拣系统结合使用以适当地和自动地将待再循环对象分拣至再循环材料组中。
此外,本公开的偏振相机系统和方法可用于自主驾驶系统中以感测自主交通工具附近的对象并生成用于对象的四维点云以感测、分类和识别对象。例如,本公开的偏振相机系统和方法可以用于生成骑自行车的人的四维点云,如图12所示。
此外,本公开的偏振相机系统和方法可以用于医学/美容应用中,以通过映射皮肤表面并分析来自与扫描的患者皮肤表面相对应的点的偏振信息来识别例如表现出某些状况的皮肤区域并用于皮肤疾病的诊断。例如,本公开的偏振相机系统和方法可以用于生成图16所示的四维点云。如上所述,可以利用存储有与不同皮肤状况及疾病的材料成分对应的信息的材料数据库来产生四维点云,该四维点云进而可以用于区分生物材料、细胞、组织等。例如,可以确定恶性细胞相对于良性细胞的位置或选择的生物材料的特性。
类似地,本公开的偏振相机系统和方法可用于检测活对象(例如有机体)的健康状态或生物指标。有机体可以是动物,例如人。
下表(表1)提供了在(i)测量的光的独特波长,(ii)是否提供了与材料相关的附加数据,(iii)偏振角的数量,(iv)当前估计的价格范围,(v)每秒周期数,以及(vi)相关的数据处理要求方面,不同相机/传感器类型(诸如标准相机、高光谱相机、偏振相机、LIDAR系统和雷达系统)之间的比较。(LIDAR和雷达系统的相关数据处理要求未显示)。
在其他方面,本公开的系统和方法可用于基于构成对象的不同类型的材料,对对象进行分类和/或识别。例如,机器学习技术和算法可用于构建对象数据库,该对象数据库包括将特定对象的列表与构成每个对象的特定材料相关联的相关信息。参考图12中所示的四维点云,例如,对象数据库可以包括用于骑自行车的人的数据库条目,该数据库条目表示骑自行车的对象由皮肤、棉、铝和橡胶组成。这样,当本公开的系统和方法感测到由皮肤、棉、铝和橡胶构成的对象时,可以基于感测到的材料查询对象数据库。基于该查询,本公开的系统和方法可以基于对象的材料成分确定该对象很可能是骑自行车的人。此外,对象数据库可以包括每种类型材料的百分比,或每种类型材料的百分比范围,指示在特定对象中可以找到每种类型材料的近似百分比或百分比范围。这样,本公开的系统和方法可以利用材料信息来更准确地分类和识别对象。对象的识别和分类可以与计算机视觉系统结合使用,该计算机视觉系统基于对象的尺寸、形状和/或其他特性来识别和分类对象。
在包括以下定义的本申请中,术语“模块”或术语“控制器”可以用术语“电路”来代替。术语“模块”可以指代以下项、是以下项的一部分、或包括以下项:专用集成电路(Application Specific Integrated Circuit,ASIC);数字、模拟或混合模拟/数字离散电路(digital,analog,or mixed analog/digital discrete circuit);数字、模拟或混合模拟/数字集成电路(digital,analog,or mixed analog/digital integrated circuit;);组合逻辑电路(combinational logic circuit);现场可编程门阵列(field programmablegate array,FPGA);执行代码的处理器电路(共享、专用或组);存储由处理器电路执行的代码的存储器电路(共享、专用或组);提供所描述功能的其他合适的硬件组件;或以上中的一些或全部的组合,例如在片上系统(system-on-chip)中。
模块可以包括一个或多个接口电路。在一些示例中,接口电路可以包括连接至局域网(LAN)、互联网、广域网(WAN)或它们的组合的有线或无线接口。本公开的任何给定模块的功能可以分布在经由接口电路连接的多个模块中。例如,多个模块可以允许负载平衡。在另一示例中,服务器(也称为远程或云)模块可以代表客户端模块完成某些功能。
如上面所使用的,术语“代码”可以包括软件、固件和/或微代码,并且可以指代程序、例程、功能、类、数据结构和/或对象。术语“共享处理器电路”包含单个处理器电路,该处理器电路执行来自多个模块的部分或全部代码。术语“组处理器电路”包含处理器电路,该处理器电路与附加处理器电路结合,执行来自一个或多个模块的部分或全部代码。对多个处理器电路的引用包括分立裸片(discrete die)上的多个处理器电路、单个裸片上的多个处理器电路、单个微处理器电路的多个核、单个处理器电路的多个线程、或上述的组合。术语“共享存储器电路”包含单个存储器电路,该存储器电路存储来自多个模块的部分或全部代码。术语“组存储器电路”包含存储器电路,该存储器电路与其他存储器电路结合,存储来自一个或多个模块的部分或全部代码。
术语“存储器电路”是术语“计算机可读介质”的子集。如本文所使用的术语“计算机可读介质”不包括通过介质(例如在载波上)传播的瞬时电信号或电磁信号;因此,术语“计算机可读介质”可以被认为是有形的和非暂时性的。非暂时性、有形计算机可读介质的非限制性实施例是非易失性存储器电路(例如闪存电路、可擦可编程只读存储器电路、或掩膜只读存储器电路)、易失性存储器电路(例如静态随机存取存储器电路或动态随机存取存储器电路)、磁存储介质(例如模拟或数字磁带或硬盘驱动器)、和光存储介质(例如CD、DVD或蓝光光盘)。
本申请中描述的设备和方法可以通过由专用计算机来部分或完全地实现,该专用计算机是通过配置通用计算机以执行计算机程序中体现的一个或多个特定功能而创建的。上述功能块、流程组件和其他元件用作软件规范,可以通过技术人员或程序员的例行工作将其转换为计算机程序。
计算机程序包括处理器可执行指令,所述处理器可执行指令存储在至少一种非暂时性、有形的计算机可读介质上。所述计算机程序还可以包括或依赖于所存储的数据。所述计算机程序可以包括与专用计算机的硬件交互的基本输入/输出系统(BIOS)、与专用计算机的特定设备交互的设备驱动程序、一个或多个操作系统、用户应用程序、后台服务、后台应用程序等。
计算机程序可包括:(i)待解析的描述性文本,例如HTML(超文本标记语言)、XML(可扩展标记语言)或JSON(JavaScript对象简谱),(ii)汇编代码,(iii)由编译器从源代码生成的目标代码,(iv)由解释器执行的源代码;(v)由实时编译器编译和执行的源代码,等。仅作为实施例,源代码可以使用包括以下的语言的语法书写:C、C++、C#、Objective-C、Swift、Haskell、Go、SQL、R、Lisp、Fortran、Perl、Pascal、Curl、OCaml、HTML5(超文本标记语言第5版)、Ada、ASP(动态服务器网页)、PHP(PHP:超文本预处理器)、Scala、Eiffel、Smalltalk、Erlang、Ruby、Lua、MATLAB、SIMULINK和
权利要求中引用的元件均不是在35U.S.C.§112(f)条的含义内的装置加功能元件,除非使用短语“装置用于”明确叙述了元件,或在方法权利要求的情况下使用短语“操作为”或“步骤为”明确叙述了元件。
出于说明和描述的目的,已经提供了实施方案的前述描述。其并不旨在穷举或限制本公开。特定实施方案的各个元件或特征通常不限于该特定实施方案,而是在适用的情况下是可互换的,并且即使未具体示出或描述,也可以用于所选择的实施方案。同样也可以以许多方式变化。这样的变体不应被认为是脱离本公开,并且所有这样的修改旨在包括在本公开的范围内。
Claims (23)
1.一种系统,所述系统包括:
激光设备,所述激光设备配置为生成朝向对象发射的多个光脉冲;
检测器,所述检测器配置为接收从所述对象返回的所述多个光脉冲的一部分;
处理器,所述处理器配置为:基于通过所述检测器接收到的所述多个光脉冲,生成表示所述对象的点云,所述点云具有多个点,每个点具有表示所述点在所述对象上的位置的三维位置坐标并且具有至少一个附加值,所述至少一个附加值表示材料信息或光学信息中的至少一者,所述材料信息指示在所述对象上的所述点的位置处、所述对象的材料,所述光学信息指示从所述对象上的所述点的位置、从所述对象的表面返回的所述多个光脉冲的至少一个光学特性。
2.根据权利要求1所述的系统,其中,所述光学信息包括偏振信息、拉曼散射信息和圆二色性信息中的至少一种。
3.根据权利要求1所述的系统,其中,所述至少一个附加值表示指示在所述点的位置处、所述对象的表面上的材料的所述材料信息,并且所述处理器配置为:基于指示在所述点的位置处、从所述对象的所述表面返回的多个反射的至少一个反射光学特性的所述光学信息,生成所述材料信息。
4.根据权利要求3所述的系统,其中,所述处理器配置为:基于从所述点的位置处所述对象的表面返回的反射的偏振信息、拉曼散射信息和圆二色性信息中的至少一种,生成所述材料信息。
5.根据权利要求1所述的系统,其中,所述对象是多个对象之一,且所述系统还包括:
传送带,所述传送带配置为将所述多个对象传输经过所述激光设备;以及
分拣器,所述分拣器将所述多个对象分拣到多个容器中;
其中,所述至少一个附加值表示指示在所述点的位置处、所述对象的表面的材料的所述材料信息,并且所述处理器配置为:基于所述材料信息,控制所述分拣器以将所述对象分拣到所述多个容器中的一个容器中。
6.根据权利要求1所述的系统,所述系统还包括:
至少一个附加激光设备,所述至少一个附加激光设备配置为生成朝向所述对象发射的多个附加光脉冲,所述至少一个附加激光设备位于与所述激光设备不同的位置处;
至少一个附加检测器,所述至少一个附加检测器配置为接收从所述对象返回的所述多个附加光脉冲的一部分,所述至少一个附加检测器位于与所述检测器不同的位置处;
其中,所述处理器配置为:附加地基于由所述至少一个附加检测器接收的所述多个附加光脉冲,生成表示所述对象的所述点云。
7.根据权利要求1所述的系统,其中,所述激光设备在电磁波谱的远红外部分中生成所述多个光脉冲。
8.一种方法,所述方法包括:
基于光/物质相互作用的物理定律,使用至少一个处理器初始化神经网络的参数;
使用激光设备朝向具有预定材料成分的对象发射多个光脉冲;
使用检测器接收从所述对象返回的所述多个光脉冲的多个反射;
使用所述处理器将所述多个反射的光学特性输入所述神经网络中;
基于输入的光学特性,使用所述处理器从所述神经网络接收所述对象的预期材料成分;
使用所述处理器比较所述预期材料成分与所述预定材料成分;并且
基于所述比较,使用处理器调整所述神经网络的所述参数。
9.根据权利要求8所述的方法,其中,调整所述参数使用机器学习算法来执行。
10.根据权利要求8所述的方法,所述方法还包括:基于将附加对象的附加预期材料成分与所述附加对象的附加已知材料成分进行比较,重复调整所述神经网络的所述参数,直到所述预期材料成分之一与所述附加已知材料成分的对应之一之间的差异小于预定误差幅度,所述附加预期材料成分是通过输入由所述激光设备反射离开所述附加对象的多个附加光脉冲的多个附加反射的光学特性而生成的。
11.一种系统,所述系统包括:
偏振相机,所述偏振相机配置为接收反射离开对象的表面的环境光,并生成与对象相关联的图像数据和与反射离开所述对象的所述表面的所述环境光相关联的偏振数据;
处理器,所述处理器配置为:基于所述图像数据和所述偏振数据,生成表示所述对象的点云,所述点云具有多个点,每个点具有三维位置坐标和材料信息,所述三维位置坐标表示所述点在所述对象上的位置,所述材料信息指示在所述对象上的所述点的位置处、所述对象的材料,所述处理器还配置为:基于从所述对象上的所述点的位置反射离开所述对象的所述环境光的偏振,确定所述材料信息。
12.根据权利要求11所述的系统,其中,所述处理器还配置为:访问存储环境光偏振与对象材料之间的相关信息的材料数据库;并且基于所述材料数据库并且基于从所述对象上的各点的位置反射离开所述对象的所述环境光的偏振,确定指示在所述对象上的各点的位置处、所述对象的材料的所述材料信息。
13.根据权利要求11所述的系统,其中,所述处理器还配置为:基于指示在所述对象上的各点的位置处、所述对象的材料的所述材料信息,确定构成所述对象的多种材料;并且基于构成所述对象的所述多种材料,执行对所述对象进行分类或识别中的至少一者。
14.根据权利要求13所述的系统,其中,所述处理器还配置为:访问存储多个对象与构成所述多个对象中的每个对象的材料之间的相关信息的对象数据库;并且基于存储在所述对象数据库中的相关信息和构成所述对象的多种材料,执行对所述对象进行分类或识别中的至少一者。
15.根据权利要求11所述的系统,其中,所述处理器还配置为:基于与反射离开所述对象的表面的所述环境光相关联的偏振数据和与反射离开附加对象的表面的所述环境光相关联的附加偏振数据之间的差异,确定由所述偏振相机检测到的所述对象与所述附加对象之间的图像数据内的边缘。
16.根据权利要求11所述的系统,其中,所述对象是多个对象之一,且所述系统还包括:
传送带,所述传送带配置为将所述多个对象传输经过所述偏振相机;和
分拣器,所述分拣器将所述多个对象分拣到多个容器中;
其中,所述处理器配置为:基于所述材料信息,控制所述分拣器以将所述对象分拣到所述多个容器中的一个容器中。
17.根据权利要求11所述的系统,所述系统还包括:
至少一个附加偏振相机,所述至少一个附加偏振相机位于与所述偏振相机不同的位置处,并且配置为生成与所述对象相关联的附加图像数据和附加偏振数据;
其中,所述处理器配置为:附加地基于所述附加图像数据和由所述至少一个附加偏振相机生成的附加偏振数据,生成表示所述对象的点云。
18.根据权利要求11所述的系统,其中,所述对象是活对象,并且所述处理器还配置为:基于所述点云的所述多个点的所述材料信息,确定所述活对象的健康状态。
19.根据权利要求11所述的系统,其中,所述偏振相机还配置为:接收由所述激光设备生成且反射离开所述对象的表面的激光;生成与反射离开所述对象的所述表面的所述激光相关联的附加偏振数据;并且附加地基于从所述对象上的所述点的位置反射离开所述对象的所述激光的偏振,确定所述材料信息。
20.根据权利要求19所述的系统,其中,所述激光设备在电磁波谱的远红外部分中生成激光。
21.一种方法,所述方法包括:
基于光/物质相互作用的物理定律,使用至少一个处理器初始化神经网络的参数;
使用偏振相机接收反射离开所述对象的环境光的多个反射;
使用所述处理器确定反射离开所述对象的环境光的所述多个反射的偏振信息;
使用所述处理器将所述多个反射的所述偏振信息输入到所述神经网络中;
基于输入的偏振信息,使用所述处理器从所述神经网络接收所述对象的预期材料成分;
使用所述处理器比较所述预期材料成分与预定材料成分;并且
基于所述比较,使用处理器调整所述神经网络的所述参数。
22.根据权利要求21所述的方法,其中,调整所述参数使用机器学习算法或人工智能算法来执行。
23.根据权利要求21所述的方法,所述方法还包括:基于附加对象的附加预期材料成分与所述附加对象的附加已知材料成分的比较,重复调整所述神经网络的所述参数,直到所述预期材料成分之一与所述附加已知材料成分的对应之一之间的差异小于预定误差幅度,所述附加预期材料成分是通过输入反射离开所述附加对象并由所述偏振相机接收的环境光的多个附加反射的附加偏振信息而生成。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962835256P | 2019-04-17 | 2019-04-17 | |
US62/835,256 | 2019-04-17 | ||
PCT/US2020/028775 WO2020214959A1 (en) | 2019-04-17 | 2020-04-17 | Multidimensional materials sensing systems and methods |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114026458A true CN114026458A (zh) | 2022-02-08 |
Family
ID=72837652
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080044109.9A Pending CN114026458A (zh) | 2019-04-17 | 2020-04-17 | 多维材料感测系统和方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220206154A1 (zh) |
EP (1) | EP3956686A4 (zh) |
JP (1) | JP2022530363A (zh) |
KR (1) | KR20210152499A (zh) |
CN (1) | CN114026458A (zh) |
WO (1) | WO2020214959A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220023918A1 (en) * | 2015-07-16 | 2022-01-27 | Sortera Alloys, Inc. | Material handling using machine learning system |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7465958B2 (ja) * | 2019-10-16 | 2024-04-11 | ウェイモ エルエルシー | 赤外線検知のためのシステムおよび方法 |
DE102020131014A1 (de) | 2020-11-24 | 2022-05-25 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Verfahren zum identifizieren einer substanz an einer oberfläche |
CN112650414B (zh) * | 2020-12-30 | 2024-03-22 | 安徽鸿程光电有限公司 | 触控装置、触控点定位方法、模块、设备及介质 |
GB2604596A (en) * | 2021-03-05 | 2022-09-14 | Vigilant Scanning Ltd | Detection and identification of objects in a waste load |
WO2023002237A1 (en) * | 2021-07-21 | 2023-01-26 | Bosch Car Multimedia Portugal, S.A. | Polarimetric multifunctional lidar sensor for target recognition |
WO2023171203A1 (ja) * | 2022-03-08 | 2023-09-14 | パナソニックIpマネジメント株式会社 | 撮像装置 |
CN115205284B (zh) * | 2022-09-09 | 2023-02-14 | 深圳市速腾聚创科技有限公司 | 目标对象的检测方法及装置、介质及电子设备 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6545240B2 (en) * | 1996-02-16 | 2003-04-08 | Huron Valley Steel Corporation | Metal scrap sorting system |
US5988862A (en) * | 1996-04-24 | 1999-11-23 | Cyra Technologies, Inc. | Integrated system for quickly and accurately imaging and modeling three dimensional objects |
US5866430A (en) * | 1996-06-13 | 1999-02-02 | Grow; Ann E. | Raman optrode processes and devices for detection of chemicals and microorganisms |
EP2223083B1 (en) * | 2007-11-01 | 2018-01-03 | Lockheed Martin Coherent Technologies, Inc. | Sensing using polarization diversity and wavelength dependent backscatter |
US8126642B2 (en) * | 2008-10-24 | 2012-02-28 | Gray & Company, Inc. | Control and systems for autonomously driven vehicles |
US8283589B2 (en) * | 2010-12-01 | 2012-10-09 | Key Technology, Inc. | Sorting apparatus |
US9266148B2 (en) * | 2014-06-27 | 2016-02-23 | Key Technology, Inc. | Method and apparatus for sorting |
CN105107760B (zh) * | 2015-08-24 | 2018-02-16 | 爱丁堡(南京)光电设备有限公司 | 一种主动激发式光致多光谱成像的分选设备 |
US9830506B2 (en) * | 2015-11-09 | 2017-11-28 | The United States Of America As Represented By The Secretary Of The Army | Method of apparatus for cross-modal face matching using polarimetric image data |
CN110402399B (zh) * | 2017-01-03 | 2023-07-18 | 应诺维思科技有限公司 | 用于检测和分类物体的激光雷达系统和方法 |
US10691979B2 (en) * | 2017-01-04 | 2020-06-23 | Aquifi, Inc. | Systems and methods for shape-based object retrieval |
US10763290B2 (en) * | 2017-02-22 | 2020-09-01 | Elwha Llc | Lidar scanning system |
DE102017205619A1 (de) * | 2017-04-03 | 2018-10-04 | Robert Bosch Gmbh | LiDAR-System und Verfahren zum Betreiben eines LiDAR-Systems |
EP3438776B1 (en) * | 2017-08-04 | 2022-09-07 | Bayerische Motoren Werke Aktiengesellschaft | Method, apparatus and computer program for a vehicle |
-
2020
- 2020-04-17 US US17/604,240 patent/US20220206154A1/en active Pending
- 2020-04-17 CN CN202080044109.9A patent/CN114026458A/zh active Pending
- 2020-04-17 WO PCT/US2020/028775 patent/WO2020214959A1/en unknown
- 2020-04-17 KR KR1020217035880A patent/KR20210152499A/ko active Search and Examination
- 2020-04-17 JP JP2021561860A patent/JP2022530363A/ja active Pending
- 2020-04-17 EP EP20791445.8A patent/EP3956686A4/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220023918A1 (en) * | 2015-07-16 | 2022-01-27 | Sortera Alloys, Inc. | Material handling using machine learning system |
US11975365B2 (en) * | 2015-07-16 | 2024-05-07 | Sortera Technologies, Inc. | Computer program product for classifying materials |
Also Published As
Publication number | Publication date |
---|---|
EP3956686A4 (en) | 2022-12-28 |
JP2022530363A (ja) | 2022-06-29 |
EP3956686A1 (en) | 2022-02-23 |
KR20210152499A (ko) | 2021-12-15 |
WO2020214959A1 (en) | 2020-10-22 |
US20220206154A1 (en) | 2022-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114026458A (zh) | 多维材料感测系统和方法 | |
CN111448477B (zh) | 材料感测式光成像、检测和测距系统 | |
Jensen et al. | Evaluating state-of-the-art object detector on challenging traffic light data | |
US10482361B2 (en) | Optical identification and characterization system and tags | |
CN105637320B (zh) | 光学检测器 | |
US20190147234A1 (en) | Learning disentangled invariant representations for one shot instance recognition | |
KR20170092577A (ko) | 광 검출기 | |
CN107003120A (zh) | 光学检测器 | |
KR20170094197A (ko) | 광 검출기 | |
García-Garrido et al. | Complete vision-based traffic sign recognition supported by an I2V communication system | |
US20230204722A1 (en) | Motion-based object detection in a vehicle radar using convolutional neural network systems | |
Liu et al. | Review on vehicle detection technology for unmanned ground vehicles | |
Asvadi et al. | Real-time deep convnet-based vehicle detection using 3d-lidar reflection intensity data | |
Wang et al. | Fake modern Chinese painting identification based on spectral–spatial feature fusion on hyperspectral image | |
Yang et al. | Predicting polarization beyond semantics for wearable robotics | |
CN104700620A (zh) | 一种基于交通卡口的套牌车辆识别方法和装置 | |
DE102022128763A1 (de) | Detektion von fahrzeugsensorverdeckung | |
Sakib | Sensor Fusion for Intelligent Road Transportation | |
Savastürk et al. | A comparison study on vehicle detection in far infrared and regular images | |
Dixit et al. | Pedestrian detection system for ADAS using Friendly ARM | |
Zhang et al. | DNN based camera and LiDAR fusion framework for 3D object recognition | |
CN109447057A (zh) | 图像特征识别方法、相关装置及存储介质 | |
Hanson | Material Informed Robotics–Spectral Perception for Object Identification and Parameter Inference | |
WO2023219931A1 (en) | Polarized black-body emission for machine vision and object recognition | |
Beiker | Next-generation Sensors for Automated Road Vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |