CN109426818A - 用于识别视线外对象的装置 - Google Patents

Abstract

本发明公开了一种用于识别视线外对象的装置，该装置中的光场传感器用于在从该光场传感器的视场外的对象反射的光的区域上进行相位测量。这些相位测量被应用于机器学习系统，该机器学习系统利用来自视场外的对象的类似相位测量来训练，以识别经受训练的对象类内的对象。

Description

用于识别视线外对象的装置

技术领域

本发明具体涉及一种用于识别视线外对象的装置，当对象在相对于光传感器的角落附近时可能发生的对象不在光传感器的视线内时，该系统可以从其反射光识别对象。

背景技术

光学成像的基本限制是如下要求：被成像的对象在图像传感器的视线内，即存在不需要经由介入漫反射表面反射的从被成像的对象到图像传感器的直线路径。

当在对象和图像传感器之间不存在视线路径时识别对象的能力(有效地观察周围角落的能力)可以在包括以下的各种应用中被证明是有价值的：用于自动驾驶汽车的机器视觉系统，其中这种能力将允许汽车对视线外的危险更快地做出反应；直接视线可能被碎石等挡住的搜索和救援行动；或者在医学成像例如可以期望看到障碍物周围的内窥镜检查中。

Ahmed Kirmani等人的美国专利公开2012/0075423中描述了如下系统：该系统可以通过使用极短(飞秒)激光脉冲和高速(皮秒)相机来有效地观察角落周围以对光行进进行飞行时间测量，以推断出对象的形状。利用不同相机旋转以及使用激光的照射点拍摄多个图像以解决飞行时间测量中的变化，以在光穿过障碍物周围时使由不同数目的反射引起的不同的飞行时间一致。

Bin Bai等人的论文“Imaging around corners with single-pixel detectorby computational ghost imaging”arXiv:1612.07120[cs.CV]中描述了一种有效地观察角落周围的可替选技术。该论文描述了如下系统：该系统在要成像的对象上投影散斑图案，并且在不具有到对象的直接视线路径的单个像素传感器处检测经对象反射的光。然后使用散斑和接收到的光之间的相关过程来重建对象。

在可以生成完整的图像之前，这些技术中的每一种都需要对多个连续部分图像的相对耗时的收集。

发明内容

本发明将角落周围成像的问题重新描述成识别角落周围的对象的问题，从而提供了一种可以仅利用单个图像来识别视线外的对象的系统。当利用相干光源照射成像对象时，本发明捕获从成像对象间接接收到的一组相关的相移。该相位信息似乎可以抵抗例如介入壁的漫反射表面的反射而导致的损坏，从而即使在图像不可再恢复之后也允许识别对象。从该相位信息识别对象的必要处理可以由经训练的机器学习系统提供。

具体地，然后，在一个实施方式中，本发明提供了一种用于视线外对象识别的光学系统，并且包括相干光源和光场采样器。光场采样器提供光传感器元件的二维阵列，该光场采样器能够定位成接收来自由相干光源照射的视线外对象的光的反射，并且产生相应的一组光传感器信号。机器学习系统接收所述一组光传感器信号并且根据训练集的训练来处理所述一组光传感器信号以识别对象类的不同对象中的给定对象。当对象类的不同对象不在收集与该不同对象相关联的光传感器信号的光传感器的视线内并且被连续波相干光源照射时，训练集将该不同对象链接到光传感器信号。

因此，本发明的至少一个实施方式的特征是即使在不能形成图像时也从接收到的反射光中提取对象识别信息。以这种方式，可以获得潜在的实时对象识别，而不需要在照射源和成像对象之间直接接近的复杂相机或照射源。

机器学习系统可以使用由在光传感器元件的二维阵列内的一组位置处的光相位组成的特征集。

因此，本发明的至少一个实施方式的特征是即使在不能获得传统成像时也采用在光中发现的空间相位信息来识别对象。

每个光传感器元件感测接收到的光的相位，例如，每个光传感器元件作为波前传感器或者对接收到的光的强度敏感并且利用来自环境反射的相长干涉和相消干涉以推出相位。

因此，本发明的至少一个实施方式的特征是消除对精确高速相机或照射系统的需要。潜在地，本发明可以使用传统的低成本的成像技术。

训练集的成员可以提供利用训练对象和多像素传感器之间传递的相干辐射通过至少一次非镜面反射而间接照射的对象类的视线外对象的反射光的度量。

因此，本发明的至少一个实施方式的特征是提供一种允许成像对象的间接照射可用于不能获得对成像对象的接近的各种应用中的系统。

相干光源可以选自激光和光束扩展器以及相干二极管。

因此，本发明的至少一个实施方式的特征是利用可容易获得的相干光源。

相干光源可以是非准直的。

因此，本发明的至少一个实施方式的特征是允许对成像对象的广域照射以减少成像时间。

相干光源可以提供可见范围内的光。

因此，本发明的至少一个实施方式的特征是允许使用标准可见的成像技术。

相干光源可以具有小于1千兆赫兹的频率线宽。

因此，本发明的至少一个实施方式的特征是使用窄带宽光源以允许在接收系统中没有频率灵敏度的情况下准备相位提取。

机器学习系统是多层神经网络，例如，在一个实施方式中是卷积神经网络。

因此，本发明的至少一个实施方式的特征是利用完善的机器学习技术。

光场采样器具有无需用于将光图像投影在光传感器阵列上的光学系统的介入透镜而直接接收反射光的光电传感器阵列。

因此，本发明的至少一个实施方式的特征是消除对聚焦光学器件的需要。

通常，可以从与对象识别的环境不同的环境创建训练集。

因此，本发明的至少一个实施方式的特征是允许对系统进行远程训练以在不同的环境中使用，例如，在如搜索和救援行动将需要的环境中使用。

光场采样器可以提供允许区分由来自给定对象的反射光中的相长干涉和相消干涉引起的光学散斑的空间分辨率。

因此，本发明的至少一个实施方式的特征允许从被成像的对象捕获特征相位信息。

这些特定目的和优点可以仅适用于落入权利要求内的一些实施方式，并且因此不限定本发明的范围。

附图说明

图1是本发明的装置在用于识别对象期间并且包括光场采样器和照射在光场采样器的视线外的角落周围的对象的相干光源的简化的俯视平面图；

图2是类似于图1的示出在从壁和从被成像对象反射之后从相干光源向光场采样器行进的光的两个示例性路径的图；

图3是相干光源和光场采样器的详细块图；

图4是可以与本发明一起使用的相位敏感光场采样器的简化的一维表示；

图5是类似于图4的示出可以可替选地用于本发明中的传统强度敏感光场采样器的图；

图6是示出光场采样器相对于散斑特征的期望分辨率的由本发明处理的示例性散斑图像；以及

图7是示出用于本发明的训练机器学习系统的步骤的流程图。

具体实施方式

现在参照图1，根据本发明的视线外对象识别系统10可以提供用于引导光14沿着主轴16例如沿着通道18的第一段17等的连续波相干光源12。在该示例中，通道18可以形成垂直于轴16的弯曲以沿着垂直于第一段17的第二段19延伸。

用于识别的对象20可以定位在第二段19中。通常，对象20将从光场采样器24的直接视线22中移除，例如，光场采样器24与第一段17中的相干光源12相邻放置。通常，光场采样器24将具有理想地沿轴26定向但不一定平行于轴16的光接收面。如本文所使用的，视线22将被认为是对象20和光场采样器24之间的无障碍直线或由于折射或镜面反射可以沿着其获得直接成像而没有介入漫反射的其他路径(在本情况下被通道18的角落的壁21阻挡)。值得注意的是，因为不存在无障碍的视线22，所以例如放置在光场采样器24的位置处的标准光学胶片相机不能对对象20直接成像。

优选地，对象20通过反射光可区分，即，对象20不需要并且优选地不具有内部光源或可替选的照射源。值得注意的是，对象20可以通过来自不需要定位在对象20附近或者在对象20的直接视线内的相干光源12的间接照明来照射。例如，设想来自相干光源12的光不是在空间上调制的以在远处的表面上施加预定的散斑图案。

从相干光源12发出的光14通常不是准直的，并且因此在对向(subtend)超过五度并且通常为45度或更大的角度内大致相等强度(从全宽最大值下降小于20％)的锥体中扩展。由此该光的锥体可以与由产生笔形光束的标准准直激光器提供的准直焦点区分开。

由于经由通道18的壁21的衍射和反射，来自相干光源12的光14将沿着第一段17并且围绕沿着第二段19的角落通过。通常，并且如将在本示例中假设的，通道18的壁将是提供未知的并且精细尺度的随机衰减以及典型的诸如涂漆墙板等的漫射表面的相位散射的漫反射器。

现在参照图2，光场采样器24可以与电子计算机30通信，电子计算机30具有从光场采样器24接收数据的一个或更多个处理器33，并且执行在与处理器33相关联的计算机存储器31中存储的程序35。正如在下面讨论的，程序35可以实现机器学习系统，例如，包括使用从训练集导出的一组权重38以层进行布置的多个神经元的机器学习系统，如将讨论的。计算机30可以向显示器41或可以识别对象20的类似装置提供输出，或者该数据可以用在诸如用于自动驾驶车辆的控制器的机器学习系统中。

通常，光场采样器24可以接收两种类型的反射光。第一种类型的光包括光束32，光束32是来自相干光源12的在经除了从成像对象20以外的环境反射之后的光，例如，光14来自相干光源12并且在一次或更多次反射中从壁21反弹回到光场采样器24。因为随着成像对象20的变化，这种光将保持相对恒定，所以在下面将要描述的允许系统在各种环境中工作的训练过程中将基本上不再强调它。第二种类型的光包括经对象反射的光束34，经对象反射的光束34是从对象20反射并且在经壁21的一次或更多次反射之后或通过通道的角落周围的衍射来返回光场采样器24的光。从对象20反射的光在被光场采样器24接收之前由将相关相位的簇36施加在光束34上的对象20修正，光束34提供了经过壁21的一次或更多次反射可以保留下来的信息。经发送的簇36允许在针对其训练系统10的一组对象中唯一地识别对象20。

现在参照图1和图3，例如，相干光源12可以是由激光电源39驱动以在可见范围内发出相干光的窄的、准直的笔形光束40的标准连续波激光器37。可替选地，可以使用诸如脉冲激光的脉冲相干源。通常，该光将具有窄带宽(例如小于1千兆赫兹)以接近单色光。该笔形光束可以通过光束扩展器42，以提供沿通道18定向的光14的宽泛的照射光束(图1所示)。通常，该光14将是非准直的，并且因此如果对象20被直接放置在光14的沿轴16的路径上，则不提供由普通激光投射的类型的点照射，而是提供完全照射对象20的区域的基本均匀的照射。

仍然参照图3，在一个实施方式中，光场采样器24呈现例如在二维区域内以行和列规则地间隔开的具有像素48的固态像素阵列46。每个像素48可以产生独立的电信号50，该独立的电信号50提供在该像素48的区域上接收到的光的度量。在该图中，像素阵列46被示出为表示视角透视缩短的畸变梯形，并且通常将是矩形阵列。

由像素阵列46接收到的光可以首先穿过主要提供视场准直而不是聚焦功能的可选透镜52；然而，本发明设想不需要透镜52用于将图像聚焦在像素阵列46的表面上的目的，而是替代地可以采用简单的管状遮光罩54或准直掩模或光阑来用于减少关于像素48的测量的严重斜射和过度散射光的影响的目的。像素48可以采用标准光感测技术，例如，使用诸如数码相机中常用的CMOS光传感器的固态装置，即使在一些实施方式中像素48的间隔或空间分辨率可以期望地小于用于标准相机的间隔或空间分辨率也是如此。

来自像素阵列46的独立信号50中的每一个可以被接收作为数据值(例如，在由模数转换器处理之后)，以供机器学习系统56进行进一步处理。在一个实施方式中，机器学习系统56可以是多层神经网络58。神经网络58可以通过分立的电路系统实现这一目的，或者在本实施方式中由计算机30通过执行程序35的处理器33和使用如下将描述的训练权重38的组合来实现。

例如，程序35可以是例如使用由谷歌开发并且广泛可用的开源程序TensorFlow程序实现的卷积神经网络。该程序35可以在遵循标准64位计算机架构的处理器33上执行，包括但不限于计算机处理单元(CPU)、图形处理单元(GPU)或专用低精度专用集成电路(ASIC)中的单个或组合。

在一个实施方式中，神经网络58可以提供包括具有用于信号50中的每一个的神经元的第一输入层60a以及其后的卷积层60b的多个神经元62的七层60a至60g。卷积层60b对数据应用卷积滤波器。汇聚层60c跟随卷积层60b以提供对数据的下采样，然后由提供另外的卷积滤波器的第二卷积层60d接收下采样后的数据。第二卷积层60d又连接到第二汇聚层60e。该汇聚层60e向其后为具有用于每个分类的神经元的第二密集层60g的密集层60f提供数据，以提供一组识别信号64，该一组识别信号64的相对大小指示对象20是形成类的有限组的对象中的特定对象例如预定组的数字中的给定数字的可能性。

现在参照图4，在一个实施方式中，光场采样器24的像素48可以是例如实现每个像素48与微透镜66或光圈相关联的Shack-Hartman型相位敏感阵列使得光束34的入射波前70在像素48上产生焦点72的光相位敏感元件，焦点72偏离像素48的中心和微透镜66的光轴的偏移指示传播波前的角度76。该角度76与在波前70的相邻部分之前或之后的波前70中的相对相移有关。像素48能够测量该偏移(例如，通过由以平铺形式单独感测的子像素组成的每个固定像素48)以提供入射波形中的相对相移的指示。理想地，该偏移可以在二维中测量以使得可以形成二维相位表面。然后，该相移信息用于表征图2所示的对象20反射的簇36。

现在参照图2和图5，本发明人推测，由于可以使用限于测量接收到的光的强度的像素48获得的固有相位灵敏度，因此可以不需要狭隘设计的相位敏感元件。该相位灵敏度例如由在实际应用中在光束32和光束34之间的光干涉引起。例如，当光束32和光束34具有诸如产生相消干涉的相对相移时，当在光束32和光束34之间存在相长干涉时，在给定像素48处的接收到的光72的强度将相对于接收到的光72'的强度降低。

现在参照图6，由像素阵列46产生的信号50可以描述在像素阵列46的二维表面处接收到的干涉光的散斑图案。理想地，由规则行和列中的像素的像素间间隔77表示的像素48的空间分辨率将是例如根据奈奎斯特采样要求来处理散斑的空间分辨率。该散斑的相位信息形成由机器学习系统56提取的特征集。

现在参照图3和图7，通常，层60和层62中的每一个通过实现每个层60和层62的神经元(未示出)之间的加权连接来操作。这些权重是通过使用用于训练机器学习系统56的训练集来建立的。训练集包括集元素，每个集元素将针对特定对象20获得的信号50链接到对对象20的识别，使得神经网络可以学习将信号50与对象20相关联。为此，可以限定有限组的对象20，例如，从0到9的手写数字。将为每个对象20开发多个集元素，其中对象20在不同的元素之间略有不同，例如，缩放、旋转或以其他方式移位或修改以提供防止未对准的改进的鲁棒性。

该训练过程通过定位如由选择了特定对象20的过程块80所指示的对象开始。在过程块82处，针对链接到对象20的识别的对象20收集光信号50，以提供训练集元素。使用与图1所示的装置和环境相似但不必相同的装置和环境利用视线外22的每个对象20也将获得光信号50。特别地，通道尺寸或壁表面可以变化。

在过程块84处，选择了新的对象20并且重复该过程直到形成整个训练集。然后，训练集用于使用标准训练技术按照过程块86训练神经网络58，以产生关于图2描述的权重38。然后，这些权重38可以用于处理来自未知对象20的信号50以及来自识别特定对象20的密集层62的信号64，即使对象20不能被直接成像也是如此。

示例

本发明已经使用MNIST数据集作为对象20进行了模拟。该数据集包括从0到9的手写数字的图像形式的60000个训练示例并且包括10000个测试示例。这些手写数字有不同的旋转和样式。示例中的每一个提供28×28像素单色图像的形式的信号50。这些图像被模拟为以MNIST编号的数字形式切割出来的薄反射板。每个像素的大小被设计成跨越模拟的相干光源12的光的大约5个波长。模拟的相干光源12被模拟为“远场”，从而直接在对象20上提供均匀的相干照射。漫射壁被放置在与对象20平行的距离对象20为50个波长的位置，并且传感器阵列被放置在距离漫射壁50个波长的位置，以仅在其从漫射壁反弹之后测量来自模拟的相干光源12的光的强度和相位(例如在28×28矩阵的传感器上)。漫射壁被模拟为在其表面上提供随机反射率和相位延迟。神经网络被训练了30次，并且最终获得了90％的准确率。

在该模拟中对象20的识别表现出关于对象20在沿着对象20的平面的X方向和Y方向上的对象20的平移的半波长的未对准的鲁棒性。

本文使用的某些术语仅用于参考目的，并且因此不旨在限制。例如，诸如“上”、“下”、“上方”和“下方”的术语指的是参照附图的方向。诸如“前”、“后”、“后面”、“底部”和“侧面”的术语描述了在一致但任意的参考框架内的部件的部分的取向，这通过参考描述正在讨论的部件的文本和相关联的附图而清楚地说明。这样的术语可以包括上面具体提到的词、其衍生词以及类似的重要的词。类似地，除非上下文清楚地指出，否则术语“第一”、“第二”以及涉及结构的其他这样的数字术语并不意味着序列或顺序。基本上应理解为所指示目标值的±5％。术语“非镜面反射”指的是实际上提供随机的相移和反射率角和强度的粗糙表面的漫反射。“视线”是指在没有介入诸如将阻碍图像的捕获的非镜面反射的情况下的光传输的路径。

当介绍本公开内容和示例性实施方式的元件或特征时，冠词(“a”、“an”、“the”)以及“所述”旨在表示存在一个或更多个这样的元件或特征。术语“包括”、“包含”以及“具有”旨在为包含性的，并且表示可以存在除了具体指出的那些之外的额外的元件或特征。还应理解，除非特别标识为执行顺序，否则本文描述的方法步骤、过程和操作不应被解释为必须要求它们以所讨论或说明的特定顺序执行。还应理解，可以采用另外的或可替选的步骤。

对“微处理器”和“处理器”或“该微处理器”和“该处理器”的引用可以被理解为包括可以在独立和/或分布式环境中通信并且因此可以配置为经由有线或无线通信与其他处理器通信的一个或更多个微处理器，其中，这样的一个或更多个处理器可以被配置为在可以是类似装置或不同装置的一个或更多个处理器控制的装置上操作。此外，除非另有说明，否则对存储器的引用可以包括一个或更多个处理器可读和可访问的存储器元件和/或组件，其可以在处理器控制的装置内部、在处理器控制的装置外部，并且可以经由有线或无线网络访问。

本发明具体旨在不限于本文包含的实施方式和说明，并且权利要求应当被理解为包括包含实施方式的部分以及不同实施方式的要素的组合的那些实施方式的修改形式，只要在所附权利要求的范围内即可。本文所描述的包括专利和非专利出版物的所有出版物的全部内容通过引用并入本文。

Claims (17)

1.一种用于视线外对象识别的光学系统，包括：

相干光源；

光场采样器，其提供光传感器元件的二维阵列，所述光场采样器能够定位成接收来自由所述相干光源照射的视线外对象的光的反射，以产生相应的一组光传感器信号；以及

机器学习系统，其接收所述一组光传感器信号并且根据训练集的训练来处理所述一组光传感器信号以识别对象类的不同对象中的给定对象，其中，当所述对象类的不同对象不在收集所述光传感器信号的光传感器的视线内并且被相干光源照射时，所述训练集将该不同对象链接到与该不同对象相关联的光传感器信号。

2.根据权利要求1所述的光学系统，其中，所述机器学习系统使用由在所述光传感器元件的二维阵列内的一组位置处的光相位组成的特征集。

3.根据权利要求2所述的光学系统，其中，所述光传感器元件各自感测接收到的光的相位。

4.根据权利要求3所述的光学系统，其中，所述光传感器元件是波前传感器。

5.根据权利要求1所述的光学系统，其中，所述光传感器元件各自感测接收到的光的强度。

6.根据权利要求1所述的光学系统，其中，所述训练集的成员提供利用训练对象和多像素传感器之间传递的相干辐射通过至少一次非镜面反射而间接照射的对象类的视线外对象的反射光的度量。

7.根据权利要求1所述的光学系统，其中，所述相干光源选自激光和光束扩展器以及相干二极管。

8.根据权利要求1所述的光学系统，其中，所述相干光源是非准直的。

9.根据权利要求1所述的光学系统，其中，所述相干光源提供可见范围内的光。

10.根据权利要求1所述的光学系统，其中，所述相干光源具有小于1千兆赫兹的频率线宽。

11.根据权利要求1所述的光学系统，其中，所述机器学习系统是多层神经网络。

12.根据权利要求11所述的光学系统，其中，所述机器学习系统是卷积神经网络。

13.根据权利要求1所述的光学系统，其中，所述光场采样器具有无需介入将光图像投影在光传感器阵列上的光学器件而直接接收反射光的光电传感器阵列。

14.一种识别视线外的给定对象的方法，包括：

(a)当对象类的不同对象不在收集与所述不同对象相关联的光传感器信号的光传感器的视线内并且被相干光源照射时，创建提供所述光传感器信号的训练集；

(b)使用所述训练集训练机器学习系统；

(c)利用相干光照射给定对象并且收集所述对象的在视线外的位置处的反射光；以及

(d)使用经训练的机器学习系统处理收集到的光，以基于所述收集到的光来识别所述对象类内的给定对象。

15.根据权利要求14所述的方法，其中，在步骤(c)，在所述相干光经由至少一次非镜面反射而被反射之后，所述对象被所述相干光间接照射。

16.根据权利要求14所述的方法，其中，步骤(a)创建的所述训练集是在与步骤(c)被照射对象的不同的环境中创建的。

17.根据权利要求14所述的方法，其中，利用允许区分由来自所述给定对象的反射光中的相长干涉和相消干涉引起的光学散斑的空间分辨率来收集光。