CN110651166B - 用于收集三维数据的光电装置 - Google Patents

Abstract

本公开阐述用于在不确定视差的情况下收集三维数据的光电装置。该方法相对于用于收集三维数据的目前最先进技术方法更具显著灵活性。举例而言，由所公开的装置产生的照射(例如，图案)不需要呈现与一般由结构化光的方法所需要的照射相同的复杂程度或随机性程度。此外，在某些例子中，本公开中所阐述的这些装置在宽距离范围内呈现最佳分辨率。本文中所阐述的光电装置可操作以产生照射，该照射包括在由并入至该光电装置中的成像器成像时呈现距离相依改变的多个高强度特征。

Description

用于收集三维数据的光电装置

相关申请的交叉引用

本申请主张2017年3月13日提交的第62/470,447号的美国临时专利申请及2017年4月19日提交的第62/487,286号的美国临时专利申请的优先权的权益。较早申请的内容以其全文引用方式并入本文中。

背景技术

诸如结构化的光(或经编码的光)的三角测量方法有时用于收集三维数据。此等方法呈现若干个挑战。一般而言，举例而言，三角测量方法需要确定视差，这些三角测量方法可为资源密集型的。结构化的光的方法需要用经编码的发射(亦即，结构化的光)照射三维对象。经编码的发射需要可难以达成的复杂程度或随机性(例如，伪随机性)程度，此乃因其可需要昂贵或复杂化光学元件及其他部件。此外，三角测量方法一般需要部件的精确对准以便准确地计算三维数据。另外，用于收集三维数据的需要照射三维对象的目前最先进技术方法有时仅在窄距离范围内呈现最佳分辨率。

发明内容

本公开阐述用于在不需要确定视差的情况下收集三维数据的装置。此方法相对于用于收集三维数据的目前最先进技术方法准许显著灵活性。举例而言，由所公开的装置产生的照射(例如，图案)不需要呈现与一般由结构化光的方法所需要的照射相同的复杂程度或随机性程度。在某些例子中，由所公开的装置产生的照射可为正规的(例如，点或线的矩形网格)。在某些例子中，可用简单便宜的光学元件产生此等照射。此外，在某些例子中，本公开中所阐述的装置可在宽距离范围内呈现最佳分辨率。

在一个方面中，举例而言，用于收集三维数据的光电装置包含发射器。该发射器包含发光元件的阵列及与该发光元件的阵列对准的发射器光学组件。该发射器由发射器光学轴线表征。该发光元件阵列可操作以将光发射至该发射器光学组件上，且该发射器光学组件可操作以在照射场内引导该光。在该照射场内被引导的该光形成照射。该照射包含由高强度特征密度表征的高强度特征。

该光电装置进一步包含成像器。该成像器包含光敏强度元件阵列及与该光敏强度元件阵列对准的成像器光学组件。该成像器由成像器光学轴线表征。该成像器光学组件可操作以在视场(field-of-view)内将该照射的经反射的部分引导至该光敏强度元件阵列上，从而产生该照射的这些经反射部分的影像。该照射的这些经反射的部分源自在该视场内的一个或多个对象，该一个或多个对象分别安置于距该光电装置的一个或多个距离处。该一个或多个距离描绘三维数据。此外，该发射器及该成像器被配置为使得高强度特征密度在该所产生影像中是实质上恒定的。

在某些实施方案中，光电装置包含处理器，该处理器以通信方式耦合至可操作以产生影像的该成像器。该处理器可操作以自该影像中提取三维数据。

在某些实施方案中，光电装置包含发射器及成像器，该发射器及该成像器被配置为使得包含于照射中的多个高强度特征在由该成像器产生的影像中呈现距离相依改变。

在某些实施方案中，光电装置包含发射器及成像器，该发射器及该成像器被配置为使得包含于照射中的多个高强度特征在由该成像器产生的影像中呈现距离相依改变。该光电装置进一步包含可操作以依据该距离相依改变提取三维数据的处理器。

在某些实施方案中，光电装置包含具有发射器光学轴线的发射器及具有成像器光学轴线的成像器，其中该两个轴线相对于彼此而偏斜，使得高强度特征密度在由该成像器产生的影像中是实质上恒定的。

在某些实施方案中，光电装置包含由距离相依改变表征的多个高强度特征。该距离相依改变包含一般射影变换，该一般射影变换的一部分是这些高强度特征的至少一部分的横向平移。该横向平移是距该光电装置的距离的函数。

在某些实施方案中，光电装置包含由距离相依改变表征的高强度特征。该距离相依改变包含一般射影变换，该一般射影变换的一部分是这些高强度特征的至少一部分的横向平移。该横向平移是距该光电装置的距离的函数。此外，该距离相依改变进一步包含这些高强度特征的至少一个额外部分的至少一个额外平移，其中该至少一个额外横向平移是距该光电装置的距离的另一函数。

在某些实施方案中，光电装置包含由视场角度表征的视场及由照射场角度表征的照射场。该视场角度不等于该照射场角度。

在某些实施方案中，光电装置包含由发射器光学轴线表征的发射器及由成像器光学轴线表征的成像器，该发射器及该成像器被配置，使得该发射器光学轴线与该成像器光学轴线相对于彼此而偏斜介于0.1°与10°之间。

在某些实施方案中，光电装置包含介于0.1°与10°之间的照射场角度，其大于视场角度。

在某些实施方案中，光电装置包含在照射场内经引导的光，其中每一光是高强度特征的准正规网格。

在另一方面中，用于收集三维数据的光电装置包含第一发射器。该第一发射器包含第一发光元件阵列及与该第一发光元件阵列对准的第一发射器光学组件。该第一发射器由第一发射器光学轴线表征。该第一发光元件阵列可操作以将第一光发射至该第一发射器光学组件上，且该第一发射器光学组件可操作以在第一照射场内引导该第一光。

该光电装置进一步包含第二发射器，该第二发射器包含第二发光元件阵列及与该第二发光元件阵列对准的第二发射器光学组件。该第二发射器由第二发射器光学轴线表征。该第二发光元件阵列可操作以将第二光发射至该第二发射器光学组件上，且该第二发射器光学组件可操作以在第二照射场内引导该第二光。在该第一照射场及该第二照射场内经引导的光形成照射。该照射包含由特征密度表征的高强度特征。

该光电装置进一步包含成像器。该成像器包含光敏强度元件阵列及与该光敏强度元件阵列对准的成像器光学组件。该成像器由成像器光学轴线表征。该成像器光学组件可操作以在视场内将该照射的经反射部分引导至该光敏强度元件阵列上，从而产生该照射的这些经反射部分的影像。该照射的这些经反射部分源自在该视场内的一个或多个对象。该一个或多个对象分别安置于距该光电装置的一个或多个距离处。该一个或多个距离描绘三维数据。该第一发射器、该第二发射器及该成像器被配置，使得该特征密度在所产生的影像中实质上是恒定的。

在某些实施方案中，光电装置包含处理器，该处理器以通信方式耦合至可操作以产生影像的成像器。该处理器可操作以自该影像中提取三维数据。

在某些实施方案中，光电装置包含第一发射器、第二发射器及成像器，该第一发射器、该第二发射器及该成像器被配置，使得包含于照射中的多个高强度特征在由该成像器产生的影像中呈现距离相依改变。

在某些实施方案中，光电装置包含第一发射器、第二发射器及成像器，该第一发射器、该第二发射器及该成像器被配置，使得包含于照射中的多个高强度特征在由该成像器产生的影像中呈现距离相依改变。该光电装置进一步包含可操作以依据该距离相依改变提取三维数据的处理器。

在某些实施方案中，光电装置包含由第一发射器光学轴线表征的第一发射器、由第二发射器光学轴线表征的第二发射器及由成像器光学轴线表征的成像器，其中所有轴线全部相对于彼此而偏斜使得高强度特征密度在所产生的影像中实质上是恒定的。

在某些实施方案中，光电装置可操作以产生照射。该照射包含呈现距离相依改变的高强度特征。该距离相依改变包含这些高强度特征的至少一部分的失真。该失真是距该光电装置的该距离的函数。在某些例子中，这些高强度特征的该距离相依改变包含这些高强度特征的至少一个额外部分的至少一个额外失真。该至少一个额外失真是距该光电装置的距离的另一函数。

在某些实施方案中，光电装置包含各自分别由第一发射器光学轴线、第二发射器光学轴线及成像器光学轴线表征的第一发射器、第二发射器及成像器。该第一发射器、该第二发射器及该成像器被配置使得该第一发射器光学轴线、该第二发射器光学轴线及该成像器光学轴线相对于彼此而偏斜介于0.1°与10°之间。

在某些实施方案中，光电装置包含各自由第一照射场、第二照射场及视场表征的第一发射器、第二发射器及成像器。该第一照射场由第一照射场角度表征，该第二照射场由第二照射场角度表征，且该视场由视场角度表征。该第一照射场角度不等于该第二照射场角度，且该视场角度不等于该第一照射场角度或该第二照射场角度。

在某些例子中，该第一照射场角度和/或该第二照射场角度介于0.1°与10°之间，其大于该视场角度，且该第一照射场角度或该第二照射场角度两者皆不比另一者大出介于0.1°与10°之间。

在某些实施方案中，光电装置可操作以产生在第一照射场内经引导的第一光及在第二照射场内经引导的第二光，该第一光及该第二光中的每一个具有高强度特征的准正规网格。

在某些实施方案中，光电装置可操作以产生包含莫尔(Moiré)图案的照射。

在某些实施方案中，光电装置包含包括储存于其上的指令的非暂时性计算机可读介质，这些指令当在处理器上执行时执行包含以下各项的操作：

>用第一发射器及第二发射器照射一个或多个校准对象

>在不同距离处收集一组校准影像，每一校准影像与距离值相关联

>自该组校准影像中识别一组训练影像，该组训练影像是可彼此区分的且描绘深度排序的训练影像序列。

在某些实施方案中，光电装置包含包括储存于其上的指令的非暂时性计算机可读介质，这些指令当在处理器上执行时执行包含以下各项的操作：

>收集一个或若干对象的测试影像

>自该测试影像中提取具有第一组坐标的第一测试区块

>自一个或多个训练影像中提取具有与该第一测试区块相同的第一组坐标的一个或多个相应训练区块

>比较该第一测试区块与自该一个或多个相应训练影像中提取的该一个或多个训练区块

>自该一个或多个训练区块当中识别匹配该第一测试区块的训练区块

>使该第一测试区块和与该匹配训练区块相关联的第一距离值相关，该匹配训练区块与在该深度排序的训练影像序列内的对应训练影像相关联

>储存该第一距离值。

在某些实施方案中，光电装置包含包括储存于其上的指令的非暂时性计算机可读介质，这些指令当在处理器上执行时执行包含以下各项的操作：

>自该测试影像中提取一个或多个额外测试区块，每一额外测试区块具有在该测试影像内的一组坐标

>针对该一个或多个额外测试区块中的每一个，自一个或多个训练影像中提取具有与该额外测试区块相同的该组坐标的一个或多个相应训练区块

>针对该一个或多个额外测试区块中的每一个，比较该额外测试区块与自该一个或多个相应训练影像中提取的该一个或多个训练区块

>针对该一个或多个额外测试区块中的每一个，自该一个或多个训练区块当中识别匹配该额外测试区块的训练区块

>针对该一个或多个额外测试区块中的每一个，使该额外测试区块和与该匹配训练区块相关联的距离值相关，该匹配训练区块与在该深度排序的训练影像序列内的对应训练影像相关联

>储存与该一个或多个额外测试区块相关联的该一个或多个距离值。

在某些实施方案中，光电装置包含包括储存于其上的指令的非暂时性计算机可读介质，这些指令当在处理器上执行时执行如下的操作：由第一距离值及一个或多个额外距离值构建一个或多个对象的三维呈现。

在某些实施方案中，光电装置包含包括储存于其上的指令的非暂时性计算机可读介质，这些指令当在处理器上执行时执行如下的操作：通过对与和具有匹配训练区块的训练影像相邻的训练影像相关联的距离值进行内插而确定经精细化的第一距离值，该匹配训练区块具有相同的第一组坐标。

在某些实施方案中，光电装置包含包括储存于其上指令的非暂时性计算机可读介质，这些指令当在处理器上执行时执行如下操作：通过对与和具有匹配训练区块的训练影像相邻的训练影像相关联的距离值进行内插而确定一个或多个额外距离值中的每一个的经精细化的距离值，该匹配训练区块具有与额外测试区块相同的该组坐标。在某些例子中，对距离值进行内插包含二次内插。

在某些实施方案中，光电装置包含包括储存于其上的指令的非暂时性计算机可读介质，这些指令当在处理器上执行时执行如下操作：用多个本征影像概述深度排序的训练影像序列。

在某些实施方案中，每一训练影像是本征影像的线性组合。这些本征影像彼此正交，从而形成表达这些训练影像的本征空间坐标系，且该线性组合的权重是这些训练影像在本征空间中的本征空间坐标。

在某些实施方案中，光电装置包含包括储存于其上的指令的非暂时性计算机可读介质，这些指令当在处理器上执行时执行包含以下各项的操作：

>自一个或多个训练影像中提取各自具有一组训练坐标的相应训练区块，该组训练坐标针对该一个或多个训练区块中的每一个是相同的

>用多个对应区块本征影像概述这些训练区块。

在某些实施方案中，每一训练区块是区块本征影像的线性组合，这些区块本征影像彼此正交，从而形成表达这些训练区块的区块本征空间坐标系，且该线性组合的权重是这些训练区块在区块本征空间中的区块本征空间坐标。

在某些实施方案中，光电装置包含包括储存于其上的指令的非暂时性计算机可读介质，这些指令当在处理器上执行时执行包含以下各项的操作：

>收集一个或多个对象的测试影像

>自该测试影像中提取第一测试区块，该第一测试区块具有第一组坐标

>将该第一测试区块投影至由具有与该第一组坐标相同的一组训练坐标的训练区块构建的区块本征空间上，且自该投影导出该测试区块的区块本征空间坐标

>比较该第一测试区块的该组区块本征空间坐标和与每一训练区块相关联的该组区块本征空间坐标

>向该第一测试区块的该组区块本征空间坐标识别与每一训练区块相关联的匹配的该组区块本征空间坐标

>使匹配的该组区块本征空间坐标和与在该深度排序的训练影像序列内的训练影像相关联的距离值相关。

在某些实施方案中，光电装置包含包括储存于其上的指令的非暂时性计算机可读介质，这些指令当在处理器上执行时执行如下操作：将多个训练影像二值化。在某些例子中，将多个训练影像二值化包含自适应阈值方法。

在某些实施方案中，光电装置包含包括储存于其上的指令的非暂时性计算机可读介质，这些指令当在处理器上执行时执行如下操作：通过将聚类技术应用于一组训练区块而确定一组聚类中心。在该组聚类中心内的每一聚类中心表示在该组训练区块内的一个或多个训练区块。在某些例子中，聚类技术包含阶层式k平均数聚类化。

在某些实施方案中，光电装置包含包括储存于其上的指令的非暂时性计算机可读介质，这些指令当在处理器上执行时执行包含以下各项的操作：

>收集一个或多个对象的测试影像

>自该测试影像中提取第一测试区块，该第一测试区块具有实质上等于该训练区块坐标组的第一坐标组

>比较该第一测试区块与该组聚类中心

>在该组聚类中心内识别匹配聚类中心

>比较该第一测试区块与在该匹配聚类中心内的这些训练区块

>使该第一测试区块和与该匹配训练区块相关联的距离值相关，且该匹配训练区块与在该组训练影像内的训练影像相关联。

在某些实施方案中，光电装置包含包括储存于其上的指令的非暂时性计算机可读介质，这些指令当在处理器上执行时执行如下操作：由距离值构建一个或若干对象的三维呈现。

尽管前述装置及技术对于在不确定视差的情况下收集三维数据可以是尤其有利的，但在某些例子中其可结合确定视差来使用。因此，此处所阐述的用于收集三维数据的装置及技术亦可用于确定视差的应用中。

依据以下详细说明、附图及权利要求将明了其他方面、特征及优点。

附图说明

图1绘示可操作以收集三维数据的示例性光电装置。该装置由单个发射器表征。

图2绘示可操作以收集三维数据的另一示例性光电装置。该装置由多个发射器表征。

图3图解说明经编码至非暂时性介质中且在并入至图2中所绘示的示例性光电装置中的处理器上经执行的步骤的示例。

图4图解说明经编码至非暂时性介质中且在并入至图2中所绘示的示例性光电装置中的处理器上经执行的步骤的另一示例。

具体实施方式

图1绘示可操作以在不实施视差计算的情况下收集三维数据且进一步在一宽距离范围内呈现最佳分辨率的光电装置100的示例。光电装置100包含发射器102。发射器102包含发光元件阵列104及与发光元件阵列104对准的发射器光学组件106。发射器102由发射器光学轴线108表征，且照射场112由照射场角度α表征。

发光元件阵列104可包含例如多个发光二极管、垂直腔表面发射激光器、其他激光二极管或其任何组合。发光元件阵列104可操作以将光110发射至发射器光学组件106上。光110可由宽波长范围(例如，700nm至1000nm)表征或可由定中心在单个波长(例如，650nm)周围的窄波长范围表征。光110可以是可见光(例如，红光或白光)、不可见光(例如，红外线或紫外线)或其他不可见光(例如，对于人类观察者以适合方式经加脉冲的可见光)。

发射器光学组件106可包含盖玻璃、折射透镜、衍射透镜、微透镜阵列、漫射器、光谱滤波器、孔隙或多个折射透镜、衍射透镜、微透镜阵列、漫射器、光谱滤波器或其任何组合。发射器光学组件106可操作以在照射场112内引导光110。在照射场112内经引导的光110形成照射114。

照射114包含多个高强度特征116，诸如点、圆圈、椭圆的准正规图案，或点、圆圈、椭圆、网格线的正规图案等等。该多个高强度特征116由高强度特征密度(亦即，每一区的高强度特征数目)表征。

光电装置100进一步包含成像器118。成像器118包含光敏强度元件阵列120及与光敏强度元件阵列120对准的成像器光学组件122。成像器118由成像器光学轴线124表征，且视场128由视场角度β表征。光敏强度元件阵列120可包含例如光电二极管、电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)装置、前述装置的阵列或其任何组合。

成像器光学组件122可包含盖玻璃、折射透镜、衍射透镜、微透镜阵列、漫射器、光谱滤波器、孔隙或多个折射透镜、衍射透镜、微透镜阵列、漫射器、光谱滤波器或其任何组合。成像器光学组件122可操作以在视场128内将照射114的经反射部分126引导至光敏强度元件阵列120上，从而产生照射114的经反射部分126的影像。

照射114的经反射部分126源自视场128内的一个或多个对象130。一个或多个对象130可以是任一对象，诸如人、机动车辆或可操作以反射照射114的至少一部分的实质上平坦的表面(诸如壁)。一个或多个对象130分别安置于距光电装置100的一个或多个距离132处。数个对象130A至130C在图1中经绘示位于距光电装置100的不同的相应距离132A至132C处。举例而言，对象130A可安置于距装置100为1米处，而另一对象130C可安置于距装置100为10米处。一个或多个距离132描绘三维数据，诸如一个或多个对象在空间(例如，由笛卡儿坐标系所描述的)中相对于光电装置100的位置。

光电装置100可操作以在由成像器118产生的影像中产生实质上恒定的高强度特征密度(例如，跨越影像的密度变化小于5％)。该实质上恒定的高强度特征密度在宽距离范围内准许实质上恒定的分辨率。在某些例子中，高强度特征密度为恒定的程度指示分辨率为恒定的范围。在某些例子中，高强度特征密度的不一致程度在本公开中所阐述的用于收集三维数据的方法关于此类不一致性可以是稳健的时是可接受的，这是因为不需要视差计算来收集三维数据。举例而言，在照射场角度α与视场角度β不精确地相等时可出现此类不一致性。因此，在某些例子中，视场角度β不等于照射场角度α。举例而言，照射场角度α可介于0.1°与10°之间，其大于视场角度β。

发射器102及成像器118可操作使得高强度特征密度在所产生影像中是实质上恒定的。在某些例子中，发射器102及成像器118进一步被配置使得该多个高强度特征116在由成像器118产生的影像中呈现距离相依改变。该距离相依改变在图1中经图解说明为简单几何形状116A至116C。该多个高强度特征116自入射于距离132A处的对象130A上的三角形116A改变为入射于距离132B处的对象130B上的正方形116B、改变为入射于距离132C处的对象130C上的圆圈116C。虽然该距离相依改变经图解说明为简单几何形状116A至116C，但如上文所阐述的任何高强度特征或高强度特征配置在本公开的范畴内。举例而言，高强度特征116可包含莫尔图案。在某些例子中，该距离相依改变包含一般射影变换，该一般射影变换的一部分是该多个高强度特征116的至少一部分的横向平移。该横向平移可以是距光电装置100的距离的函数。在某些例子中，该距离相依改变进一步包含高强度特征116的至少一个额外部分的至少一个额外平移，其中该至少一个额外横向平移可以是距光电装置100的距离的另一(例如，不同)函数。

在某些例子中，发射器光学轴线108及成像器光学轴线124相对于彼此而偏斜(在图1中示意性地表示为τ)，使得高强度特征密度在由成像器118产生的影像中是实质上恒定的。举例而言，发射器光学轴线108及成像器光学轴线124相对于彼此而偏斜介于0.1°与10°之间。尽管τ在图1中表示为光学轴线108、124与正交于发射器102、成像器118的任意轴线(虚线箭头)之间的偏斜程度，但应理解，偏斜τ是成像器光学轴线124与发射器光学轴线108之间的偏斜程度。一般而言，发射器光学轴线108与成像器光学轴线124相对于彼此而偏斜使得：1)高强度特征密度在由成像器118产生的影像中是实质上恒定的，且2)该多个高强度特征116在由如上文所阐述的成像器118产生的影像中呈现距离相依改变。

在某些例子中，光电装置100进一步包含以通信方式耦合136至成像器118的处理器134。处理器134可操作以依据在影像中撷取的距离相依改变而提取三维数据，如下文更详细地阐述。

图2绘示可操作以在不实施视差计算的情况下收集三维数据且进一步在宽距离范围内呈现最佳分辨率的另一示例性光电装置200。光电装置200包含第一发射器202。第一发射器202包含第一发光元件阵列204及与第一发光元件阵列204对准的第一发射器光学组件206。第一发射器202由第一发射器光学轴线208表征，且第一照射场212由第一照射场角度α1表征。

第一发光元件阵列204可包含例如多个发光二极管、垂直腔表面发射激光器、其他激光二极管或其任何组合。第一发光元件阵列204可操作以将第一光210发射至第一发射器光学组件206上。第一光210可由宽波长范围(例如，700nm至1000nm)表征或可由定中心在单个波长(例如，650nm)周围的窄波长范围表征。第一光210可以是可见光(例如，红光或白光)、不可见光(例如，红外线或紫外线)或其他不可见光(例如，对于人类观察者以适合方式经加脉冲的可见光)。

第一发射器光学组件206可包含盖玻璃、折射透镜、衍射透镜、微透镜阵列、漫射器、光谱滤波器、孔隙或多个折射透镜、衍射透镜、微透镜阵列、漫射器、光谱滤波器或其任何组合。第一发射器光学组件206可操作以在第一照射场212内引导第一光210。第一发射器202可被配置使得第一光210包含在第一照射场212内的多个第一初始高强度特征(例如，点或网格线的图案)。

光电装置200进一步包含第二发射器203。第二发射器203包含第二发光元件阵列205及与第二发光元件阵列205对准的第二发射器光学组件207。第二发射器203由第二发射器光学轴线209表征，且第二照射场213由第二照射场角度α2表征。

第二发光元件阵列205可包含例如多个发光二极管、垂直腔表面发射激光器、其他激光二极管或其任何组合。第二发光元件阵列205可操作以将第二光211发射至第二发射器光学组件207上。第二光211可由宽波长范围(例如，700nm至1000nm)表征或可由定中心在单个波长(例如，650nm)周围的窄波长范围表征。第二光211可以是可见光(例如，红光或白光)、不可见光(例如，红外线或紫外线)或其他不可见光(例如，对于人类观察者以适合方式经加脉冲的可见光)。

第二发射器光学组件207可包含盖玻璃、折射透镜、衍射透镜、微透镜阵列、漫射器、光谱滤波器、孔隙或多个折射透镜、衍射透镜、微透镜阵列、漫射器、光谱滤波器或其任何组合。第二发射器光学组件207可操作以在第二照射场213内引导第二光211。第二发射器203可被配置使得第二光211包含在第二照射场213内的多个第二初始高强度特征(例如，点或网格线的图案)。第一光210及第二光211(亦即，在第一照射场212及第二照射场213内)的迭加形成(例如，经由干涉)照射214。照射214可以例如是莫尔干涉图案，如下文进一步详细地论述。

在某些例子中，第一发射器202被配置，使得第一发射器光学组件206与第一发光元件阵列204一起将第一光210转化(例如，经由Lau效应)成在第一照射场212内的多个第一初始高强度特征(例如，点或网格线的图案)。同样地，第二发射器203可被配置，使得第二发射器光学组件207与第二发光元件阵列205一起将第二光211转化(例如，经由Lau效应)成在第二照射场213内的多个第二初始高强度特征(例如，点或网格线的图案)。在以全文引用方式并入本文中的美国专利9,273,846中公开了第一发射器202及第二发射器203的示例的进一步细节。

在某些例子中，第一发射器202及第二发射器203可组合成具有共同发光元件阵列(例如，共同垂直腔表面发射激光二极管阵列)及共同发射器光学组件(例如，共同微透镜阵列)的单个通道。然而，该共同发光元件阵列和/或该共同发射器光学组件可被配置，使得第一发射器202及第二发射器203可操作为具有如上文所阐述的所有部件的离散组件。举例而言，该共同发光元件阵列的一半可由第一间距表征，而另一半可由第二不同间距表征。

可替代的或除前述以外，单个通道亦可含有被配置使得第一发射器202及第二发射器203可操作为离散部件的其他元件，诸如额外光学元件(例如，衍射或折射光学元件、棱镜)、非透明壁等等。举例而言，共同光学组件可包含与共同发光元件阵列的一半相关联的棱镜阵列，从而产生如所公开的具有上文所阐述的所有部件的第一发射器202及第二发射器203。亦即，第一发射器202将包含全部如上文所阐述的第一发光元件阵列204、第一发射器光学组件206及第一发射器光学轴线208、第一光210、第一照射场212及第一照射场角度αl。同样地，第二发射器203将包含全部如上文所阐述的第二发光元件阵列205、第二发射器光学组件207及第二发射器光学轴线209、第二光211、第二照射场213及第二照射场角度α2。然而，两个发射器202、203将占据同一通道。在美国专利9,273,846中且在PCT/SG2016/050033中公开了组合成单个信道的第一发射器202及第二发射器203的示例的进一步细节，美国专利9,273,846及PCT/SG2016/050033以全文引用方式并入本文中。

照射214包含多个高强度特征216，诸如点、圆圈、椭圆的准正规图案或点、圆圈、椭圆、网格线的正规图案等等。该多个高强度特征216由特征密度(亦即，每区的高强度特征数目)表征。在某些例子中，光电装置200可操作以产生包含莫尔图案的照射216。

光电装置200进一步包含成像器218。成像器218包含光敏强度元件阵列220及与光敏强度元件阵列220对准的成像器光学组件222。成像器218由成像器光学轴线224表征，且视场228由视场角度β表征。光敏强度元件阵列220可包含例如光电二极管、电荷耦合装置、互补金属氧化物半导体装置、前述装置的阵列或其任何组合。

成像器光学组件222可包含盖玻璃、折射透镜、衍射透镜、微透镜阵列、漫射器、光谱滤波器、孔隙或多个折射透镜、衍射透镜、微透镜阵列、漫射器、光谱滤波器或其任何组合。成像器光学组件222可以可操作以在视场228内将照射214的经反射部分226引导至光敏强度元件阵列220上，从而产生照射214的经反射部分226的影像。

照射214的经反射部分226源自在视场228内的一个或多个对象230。一个或多个对象230可以是任一对象，诸如人、机动车辆或可操作以反射照射214的至少一部分的实质上平坦的表面(诸如壁)。一个或多个对象230分别安置于距光电装置200的一个或多个距离232处。数个对象230A至230C在图2中经绘示位于距光电装置200的相应的不同距离232A至232C处。举例而言，对象230A可安置于距装置200为1米处，而另一对象230C可安置于距装置200为10米处。一个或多个距离232描绘三维数据，诸如一个或多个对象在空间(例如，由笛卡儿坐标系所描述的)中相对于光电装置200的位置。

光电装置200可操作，以在由成像器218产生的影像中产生实质上恒定的高强度特征密度。该实质上恒定的高强度特征密度在宽距离范围内准许实质上恒定的分辨率。在某些例子中，高强度特征密度为恒定的程度指示分辨率为恒定的范围。在某些例子中，高强度特征密度的不一致程度在本公开中在下文进一步阐述的用于收集三维数据的方法关于此类不一致性可以是稳健时是可接受的，这是因为不需要视差计算来收集三维数据。举例而言，当视场角度β、第一照射场角度αl和/或第二照射场角度α2不精确地相等时可出现此类不一致性。因此，在某些例子中，视场角度β不等于第一照射场角度αl和/或第二照射场角度α2。举例而言，第一照射场角度αl或第二照射场角度α2可介于0.1°与10°之间，其大于视场角度β。在某些例子中，第一照射场角度αl或第二照射场角度α2两者皆不比另一者大出介于0.1°与10°之间。

第一发射器202、第二发射器203及成像器218可操作使得高强度特征密度在所产生影像中是实质上恒定的。在某些例子中，第一发射器202、第二发射器203及成像器218进一步被配置，使得该多个高强度特征216在由成像器218产生的影像中呈现距离相依改变。该距离相依改变在图2中经图解说明为简单几何形状216A至216C。该多个高强度特征216自入射于距离232A处的对象230A上的三角形216A改变至入射于距离232B处的对象230B上的正方形216B、改变至入射于距离232C处的对象230C上的圆圈216C。虽然该距离相依改变经图解说明为简单几何形状216A至216C，但如上文所阐述的任何高强度特征或高强度特征配置在本公开的范畴内。举例而言，该多个高强度特征216可包含莫尔图案。在某些例子中，该距离相依改变包含一般射影变换，该一般射影变换的一部分是该多个高强度特征216的至少一部分的横向平移。该横向平移可以是距光电装置200的距离的函数。在某些例子中，该距离相依改变进一步包含高强度特征216的至少一个额外部分的至少一个额外平移，其中该至少一个额外横向平移可以是距光电装置200的距离的另一(例如，不同)函数。

在某些例子中，第一发射器光学轴线208、第二发射器光学轴线209及成像器光学轴线224相对于彼此而偏斜(在图2中示意性地表示为τ)，使得高强度特征密度在由成像器218产生的影像中是实质上恒定的。举例而言，第一发射器光学轴线208、第二发射器光学轴线209及成像器光学轴线224相对于彼此而偏斜介于0.1°与10°之间。在某些例子中，第一发射器光学轴线208与第二发射器光学轴线209彼此平行，但相对于成像器光学轴线224偏斜。还有其他变化也在本公开的范畴内。尽管τ在图2中表示为光学轴线208、224与正交于第一发射器202、成像器218的任意轴线(虚线箭头)之间的偏斜程度，但应理解，偏斜τ是成像器光学轴线224与第一发射器光学轴线208及(尽管未在图2中表示)第二发射器光学轴线209之间的偏斜程度。一般而言，第一发射器光学轴线208、第二发射器光学轴线209及成像器光学轴线224相对于彼此而偏斜，使得：1)高强度特征密度在由成像器218产生的影像中是实质上恒定的，且2)该多个高强度特征216在由如上文所阐述的成像器218产生的影像中呈现距离相依改变。

在某些例子中，光电装置200进一步包含以通信方式耦合236至成像器218的处理器234。处理器234可操作以依据在影像中撷取的距离相依改变来提取三维数据，如下文更详细地阐述。

图3图解说明被编码至非暂时性介质中且在并入至光电装置中的处理器上执行的操作300的示例。操作300可适用于由本公开阐述的任何光电装置，诸如图1中所绘示的光电装置100(包含伴随处理器134)及图2中所绘示的光电装置200(包含伴随处理器234)。为了清晰，下文参考与图2中所绘示的光电装置200对应的部件阐述操作300。

被编码至非暂时性介质中且在处理器234上执行的操作300包含用第一发射器202及第二发射器203照射一个或多个校准对象(302)。该一个或多个校准对象例如是被配置以用于校准光电装置的标准化目标。该一个或多个校准对象通过照射214来照射。

该一个或多个校准对象定位于不同距离处。校准影像由成像器218针对每一距离来撷取。由于该多个高强度特征呈现距离相依改变，因此撷取这些高强度特征的影像的校准影像针对每个距离将是不同的。在某些例子中，举例而言，与第一距离相关联的第一校准影像将撷取高强度特征中的在第一位置处的某些高强度特征，而与第二距离相关联的第二校准影像将撷取在例如自该第一位置平移的第二位置处的相同高强度特征。因此，在操作304中，由照射214的经反射部分226形成的一组校准影像由成像器218在不同距离处收集，其中每一校准影像与相对于光电模块200的距离值相关联。

在某些例子中，大数目的校准影像由成像器218在大数目的对应距离内收集。这些校准影像之间的差异可以是相对小的且可以是相对不可区分的。举例而言，在20cm的距离处收集的校准影像与在22cm的距离处收集的校准影像可以是相对不可区分的。因此，校准影像的数目可削减至一组有用影像以便改良计算速度(例如，针对实时或几乎实时应用)。因此，在另一操作306中，自该组校准影像中识别一组训练影像，该组训练影像是可彼此区分的且描绘深度排序的训练影像序列。

操作300进一步可包含收集一个或多个对象230的测试影像(308)。由成像器218收集该测试影像。类似于这些校准影像，该测试影像是入射于在任一给定距离处的一个或多个对象230上的高强度特征的影像。因此，该测试影像中的这些高强度特征可与这些校准影像中的这些高强度特征进行比较，以便导出三维数据，如在随后步骤中进一步详述。

在310处，自该测试影像中提取具有第一组坐标的第一测试区块。

在312处，自一个或多个训练影像中提取具有与该第一测试区块相同的该第一组坐标的一个或多个相应训练区块。

在314处，比较该第一测试区块与自该一个或多个相应训练影像中提取的该一个或多个训练区块。

在316处，自该一个或多个训练区块当中识别匹配该第一测试区块的训练区块。

在318处，使该第一测试区块和与该匹配训练区块相关联的第一距离值相关，且该匹配训练区块与在该深度排序的训练影像序列内的对应训练影像相关联。

在320处，将该第一距离值储存于例如该非暂时性计算机可读介质上。

操作300进一步可包含自该测试影像中提取一个或多个额外测试区块，每一额外测试区块具有在该测试影像内的一组坐标(322)。

在324处，针对该一个或多个额外测试区块中的每一个，自一个或多个训练影像中提取具有与该额外测试区块相同的该组坐标的一个或多个相应训练区块。

在326处，针对该一个或多个额外测试区块中的每一个，比较该额外测试区块与自该一个或多个相应训练影像中提取的该一个或多个训练区块。

在328处，针对该一个或多个额外测试区块中的每一个，自该一个或多个训练区块当中识别匹配该额外测试区块的训练区块。

在330处，针对该一个或多个额外测试区块中的每一个，使该额外测试区块和与该匹配训练区块相关联的距离值相关，该匹配训练区块与在该深度排序的训练影像序列内的对应训练影像相关联。

在332处，将与该一个或多个额外测试区块相关联的该一个或多个距离值储存于例如该非暂时性计算机可读介质上。

操作300进一步可包含由第一距离值及一个或多个额外距离值构建一个或多个对象230的三维呈现(334)。

操作300进一步可包含通过对与和具有匹配训练区块的训练影像相邻的训练影像相关联的距离值进行内插而确定经精细化的第一距离值，该匹配训练区块具有相同第一组坐标(336)。在某些例子中，对距离值进行内插包含二次内插。

操作300进一步可包含通过对与和具有匹配训练区块的训练影像相邻的训练影像相关联的距离值进行内插而确定一个或多个额外距离值中的每一个的经精细化距离值，该匹配训练区块具有与额外测试区块相同的该组坐标(338)。在某些例子中，对距离值进行内插包含二次内插。

操作300进一步可包含用多个本征影像概述深度排序的训练影像序列(340)。

在某些例子中，每一训练影像是本征影像的线性组合。这些本征影像彼此正交，从而形成表达这些训练影像的本征空间坐标系，且该线性组合的权重是这些训练影像在本征空间中的本征空间坐标。

图4图解说明被编码至非暂时性介质中且在并入至光电装置中的处理器上执行的额外操作400。额外操作400可适用于由本公开阐述的任何光电装置，诸如图1中所绘示的示例性光电装置100(及伴随处理器134)及图2中所绘示的示例性光电装置200(及伴随处理器234)。为了清晰，下文参考与图2中所绘示的光电装置200对应的部件阐述此示例。

被编码至非暂时性介质中且在处理器234上执行的示例性步骤400的额外集合包含分别用第一发射器202及第二发射器203照射一个或多个校准对象的步骤402。在另一步骤404中，在不同距离处收集一组校准影像。每一校准影像与距离值相关联。在另一步骤406中，自该组校准影像中识别一组训练影像。该组训练影像是可彼此区分的且包括深度排序的训练影像序列。

额外操作400进一步可包含自一个或多个训练影像中提取各自具有一组训练坐标的相应训练区块(408)。该组训练坐标针对该一个或多个训练区块中的每一个是相同的。在410处，用多个对应区块本征影像概述这些训练区块。

在额外操作400的某些实施方案中，每一训练区块是区块本征影像的线性组合，这些区块本征影像彼此正交，从而形成表达这些训练区块的区块本征空间坐标系，且该线性组合的权重是这些训练区块在区块本征空间中的区块本征空间坐标。

在某些例子中，额外操作400进一步包含收集一个或多个对象230的测试影像(412)。

在414处，自该测试影像中提取第一测试区块。该第一测试区块包含第一组坐标。

在416处，将该第一测试区块投影至由具有与该第一组坐标相同的一组训练坐标的训练区块构建的区块本征空间上。

在418处，自该投影导出该测试区块的区块本征空间坐标。

在420处，比较该第一测试区块的该组区块本征空间坐标和与每一训练区块相关联的该组区块本征空间坐标。

在422处，向该第一测试区块的该组区块本征空间坐标识别与每一训练区块相关联的匹配的该组区块本征空间坐标。

在424处，使匹配的该组区块本征空间坐标和与在该深度排序的训练影像序列内的训练影像相关联的距离值相关。

在某些实施方案中，额外操作400包含将多个训练影像二值化(426)。在某些例子中，将多个训练影像二值化的步骤包含自适应阈值方法。

在某些实施方案中，这些额外操作包含通过将聚类技术应用于一组训练区块而确定一组聚类中心(428)。在该组聚类中心内的每一聚类中心表示在该组训练区块内的一个或多个训练区块。在某些例子中，该聚类技术包含阶层式k平均数聚类化。在某些例子中，该聚类技术包含主成分分析。

在某些例子中，这些额外操作进一步包含收集一个或多个对象的测试影像(430)。

在432处，自该测试影像中提取第一测试区块，该第一测试区块具有实质上等于该训练区块坐标组的第一坐标组。

在434处，比较该第一测试区块与该组聚类中心。

在436处，在该组聚类中心内识别匹配聚类中心。

在438处，比较该第一测试区块与在该匹配聚类中心内的这些训练区块。

在440处，使该第一测试区块和与该匹配训练区块相关联的距离值相关，且该匹配训练区块与在该组训练影像内的训练影像相关联。

在某些实施方案中，额外操作400包含由距离值构建一个或若干对象的三维呈现。该三维呈现可显示在例如膝上型计算机或智能型手机或其他显示设备的屏幕上。

可在本公开的精神内做出各种修改。同样地，在某些例子中，上文结合不同实施方案所阐述的特征可组合在同一实施方案中。因此，其他实施方案亦在权利要求的范畴内。

Claims (12)

1.一种用于收集三维数据的光电装置，包括：

第一发射器，包含第一发光元件阵列及与所述第一发光元件阵列对准的第一发射器光学组件，所述第一发射器由第一发射器光学轴线表征；

所述第一发光元件阵列可操作以将第一光发射至所述第一发射器光学组件上，且所述第一发射器光学组件可操作以在第一照射场内引导所述第一光；

第二发射器，包含第二发光元件阵列及与所述第二发光元件阵列对准的第二发射器光学组件，所述第二发射器由第二发射器光学轴线表征；

所述第二发光元件阵列可操作以将第二光发射至所述第二发射器光学组件上，且所述第二发射器光学组件可操作以在第二照射场内引导所述第二光；

在所述第一照射场及所述第二照射场内被引导的所述光包括照射，所述照射包含多个高强度特征，其中所述高强度特征由特征密度表征；

成像器，包含光敏强度元件阵列及与所述光敏强度元件阵列对准的成像器光学组件，所述成像器由成像器光学轴线表征；

所述成像器光学组件可操作以在视场内将所述照射的经反射部分引导至所述光敏强度元件阵列上，从而产生所述照射的所述经反射部分的影像；

其中所述照射的所述经反射部分源自在所述视场内的一个或多个对象，所述一个或多个对象分别安置于距所述光电装置的一个或多个距离处，所述一个或多个距离描绘三维数据；并且

所述第一发射器、所述第二发射器及所述成像器被配置为使得所述特征密度在所产生的影像中是实质上恒定的。

2.如权利要求1所述的光电装置，进一步包括以通信方式耦合至所述成像器的处理器，所述处理器可操作以自所述影像中提取所述三维数据。

3.如权利要求1所述的光电装置，其中所述第一发射器、所述第二发射器及所述成像器被配置为根据到所述视场中的所述一个或多个对象的所述一个或多个距离，使得所述高强度特征在所述所产生的影像中呈现改变。

4.如权利要求2所述的光电装置，其中所述第一发射器、所述第二发射器及所述成像器被配置为根据到所述视场中的所述一个或多个对象的所述一个或多个距离，使得所述高强度特征在所述所产生的影像中呈现改变，并且所述处理器可操作以依据所述距离相依改变提取三维数据。

5.如权利要求3所述的光电装置，其中所述第一发射器光学轴线、所述第二发射器光学轴线及所述成像器光学轴线全部相对于彼此而偏斜，使得所述高强度特征密度在所述所产生的影像中是实质上恒定的。

6.如权利要求3所述的光电装置，其中所述多个高强度特征的所述距离相依改变包含所述高强度特征的至少一部分的失真，且所述失真是距所述光电装置的所述距离的函数。

7.如权利要求6所述的光电装置，其中所述多个高强度特征的所述距离相依改变包含所述高强度特征的至少一个额外部分的至少一个额外失真，且所述至少一个额外失真是距所述光电装置的距离的另一函数。

8.如权利要求5所述的光电装置，其中所述第一发射器、所述第二发射器及所述成像器被配置为使得所述第一发射器光学轴线、所述第二发射器光学轴线及所述成像器光学轴线相对于彼此而偏斜介于0.1°与10°之间。

9.如权利要求3所述的光电装置，其中所述视场由视场角度表征，所述第一照射场由第一照射场角度表征，所述第二照射场由第二照射场角度表征，所述第一照射场不等于所述第二照射场，且所述视场角度不等于所述第一照射场角度或所述第二照射场角度。

10.如权利要求9所述的光电装置，其中所述第一照射场角度和/或所述第二照射场角度介于0.1°与10°之间、大于所述视场角度，且所述第一照射场角度或所述第二照射场角度两者皆不比另一者大出介于0.1°与10°之间。

11.如权利要求3所述的光电装置，其中在所述第一照射场内被引导的所述第一光及在所述第二照射场内被引导的所述第二光各自是高强度特征的准正规网格。

12.如权利要求3所述的光电装置，其中所述照射包括莫尔图案。

Images