CN115248504A - 一种线束结构光方法与装置及其运用 - Google Patents

Abstract

本发明公开了一种线束结构光方法与装置及其运用，适用于辅助摄像头获取场景的3D信息，特别是在一个平面上有各种实体对象的场景中能直接获取平面与平面上的各个实体对象之间显著结构光区别特征的信息，辅助图像处理设备做实体对象分类与定位，而非一定要对实体对象做高分辨率的详细3D建模，从而大幅减少图像处理设备的计算力开销同时最大化响应速度。适用于机器视觉方面的应用，包括但不限于自动驾驶、遥感遥测、工程3D测绘测量、机器人、自动仓储、自动生产线、装配线、输送线、分拣线、检测线等等机器视觉方面的应用领域，特别是自动驾驶汽车的道路与环境感知的方法与装置及其运用。

Description

一种线束结构光方法与装置及其运用

技术领域

本发明公开了一种线束结构光方法与装置及其运用，适用于辅助摄像头获取场景的3D信息，特别是在一个平面上有各种实体对象的场景中能直接获取平面与平面上的各个实体对象之间信息的显著区别特征，辅助图像处理设备做实体对象分类与定位，而非一定要对实体对象做高分辨率的详细3D建模，从而大幅减少图像处理设备的计算力开销同时最大化响应速度。适用于机器视觉方面的应用，包括但不限于自动驾驶、遥感遥测、工程3D测绘测量、机器人、自动仓储、自动生产线、装配线、输送线、分拣线、检测线等等机器视觉方面的应用领域，特别是自动驾驶汽车的道路与环境感知的方法与装置及其运用。

背景技术

从来为摄像头获取场景的3D信息的辅助照明结构光，按其光线结构类型分，有一维线形的与二维面阵的。一维线形的结构光投射到场景或屏幕上是一条线，必须依靠以扫描方式覆盖部分或全部场景，摄像头获取被结构光照明的场景以后，再利用三角关系计算出空间距离也即深度信息。二维面阵的结构光是由布满场景或屏幕的各种线条，例如平行线、网格线或图案或有序或无序的光斑点阵的面阵光，它不依赖扫描，即可投射覆盖场景。并且从未有过追求极细光斑或极细多线束的结构光方案，因为从来的结构光方案还需要利用光斑本身的大小甚至形状覆盖被照射目的时会带来的信息，例如明暗等长宽或等间隔的编码结构光等。它的图像处理的方法与一维线形的结构光相同。这类一维线形与二维面阵的结构光的使用方法还有一个共同的特征，就是一个结构光光源匹配一个摄像头并保持严格的位置关系，或者一个结构光光源与一个以上相互保持严格位置关系的摄像头，否则就无法利用三角关系计算距离了。

检索到与本发明技术方案接近的在先申请对比文件，这几个文件可供参考：申请号为CN201710848345.6, 深圳奥比中光科技有限公司申请的基于高密度VCSEL阵列光源的结构光投影模组，就是将高密度随机分布的VCSEL阵列光源用透镜成像投射出去的技术方案。申请号为CN201310744036.6，联想（北京）有限公司申请的结构光光斑图案生成方法和结构光光斑图案生成设备，它是生成随机分布的结构光光斑图案。申请号为201610240776X，南京航空航天大学申请的寻找结构光光条中心的方法。申请号为201510481747.8天津大学申请的外场多束线结构光视觉测量系统的快速标定方法，它针对多个线激光光源产生的多条线激光做标定。申请号为202010281988.9镭凯光电（苏州）有限公司申请的一种超大景深3D线结构光源模组，它是采用鲍威尔棱镜的设计的一字线光学系统。申请号为202010169003 .3 武汉理工大学申请的一种夜间无人车障碍物检测系统与方法，也采用2个单线束激光，与本发明有点接近之处，虽然文中没有提到单束线激光是垂直布置还是水平布置的，但是可以分析判断应该是水平布置的，并且单束线激光无法获取景物高度信息做景物的实体分类与按照轮廓建模。申请号为 202111410215.7江苏科技大学申请的一种基于多线结构光的车载路面凹陷检测方法，与本发明的水平布置的线束结构光部分非常接近，但是本发明的水平布置的线束结构光方案是结合垂直布置的结构光以后做辅助道路坡度探测用途，又与其明显不同。美国专利：US 10,928,486，它在结构上与本发明的线束激光光源装置很相近，但是它并不是以生成众多线束结构光为目的，并且它的一个激光发射点光源仅能产生一束点激光或带图形特征块的激光，也即它没有分束能力。美国专利：US10958893，它是随机分布的面点阵，需要密布满整个面。美国专利：US 11,085,609，它将激光点阵通过微透镜阵列投射形成结构光。美国专利：US 9,740,019，它将激光通过衍射片形成面结构光。美国专利：US 9,946,089，它也是将激光通过衍射片形成面结构光。美国专利：US20190249984，将激光通过衍射片形成面结构光，也有线列的结构光。美国专利：US 10,225,544,采用未编码高分辨率高密度点阵结构光。美国专利：US 10,139,217，采用二进制条带编码的结构光。美国专利：US 10,353,215，采用衍射片产生密集线形成的面阵结构光。以上专利都没有公开为了追求远距离应用时的高辨识度而采取技术上尽可能的极细线结构光方案或甚至于仅仅是发明目的的公开。因为他们大多在追求目标的3D细节复原建模，而本发明重点在追求快速定位与分类及粗略轮廓建模，方向正好相反。当然，本发明也完全适用于复杂实体的三维建模。

发明内容

本发明的目的是提供一种从窗口投射出多条一字细线激光射线组成的结构光，其线宽方向保持准平行光性质，即线宽方向发散角小，线长方向发散角较大，每束光按其传播经过的空间在忽略其线宽时看，都是一个个扇形平面，相邻每个扇形面也即一字细线激光射线之间存在一个夹角，所以全体又呈扇形地展开，全体的呈扇形面的激光光线占据了一个看似从顶端投射出的四棱锥的空间，投射到屏幕上时为多条平行排列的细亮线；它由一个或多个发散的激光光源向折射汇聚透镜组或反射镜组投射后经线宽方向的汇聚准直同时或改变投射方向以后产生，或准直激光经过达曼光栅分束产生，该线束结构光主要有水平与垂直两种投射布置方案用于摄像头获取场景有价值的3D信息。在流水线、仓库等或道路上，该结构光垂直布置时具有对有固定不变特征的场景部分例如轨道平面、地面等或道路路面上显现出由结构光投射产生的斜直亮线与任何运输物或障碍物上打弯折的接近垂直亮线，或水平布置时为打断同时水平位置移动了的水平亮线，这两者的区别特征相对于光斑面阵结构光来讲非常明显不需要逐个做三角计算即可区分，特别是在无人驾驶汽车的环境感知应用时。并且为进一步提高读取结构光有价值信息，在摄像头读取像素感光信息时就把红色或近红外亮线直接筛选出来单独形成一份结构光信息表的方法。在摄像头扫描像素获取图像信息的同时，就同时分拣出被结构光照射后成像在摄像头感光靶上的结构光亮点像素的位置信息，免除了后续图像处理时再挨个像素地读取分析的这部分重复工作，能更快速便捷地获取结构光照射场景所获得的有价值的信息，特别是大幅提高摄像头的帧频而不需要依靠图像处理计算算力开销的大幅增加。计算算力的开销不仅仅导致设备成本增加，还会是影响新能源车续航里程的能量消耗的增加。

本发明的目的是这样实现的：采用分束准直透镜组或反射镜组产生线束结构光或采用达曼光栅产生该线束结构光，使用该结构光投射场景，以及为避免重复读取摄像头获取的信息而在摄像头内做出单独对红色感光靶获取的曝光信息筛选出结构光曝光信息，并建立该曝光信息像素位置表供图像处理计算机处理，或进一步将曝光像素位置信息表拟合成由点、直线段组成的矢量图。以下将结合附图对本发明做进一步的公开。

附图说明

图1是本发明将激光芯片发射的发散激光投射到分束准直透镜组形成呈扇形分布的多条一字平行线结构光技术方案的轴侧视图；

图2是本发明激光芯片与分束准直透镜组位置关系详解轴侧视图；

图3是本发明双曲面形分束准直透镜组的轴侧视图；

图4是本发明双曲面形分束准直透镜组在调整投射出结构光的纵横比的原理示意轴侧视图；

图5是本发明激光芯片发射的发散激光投射到分束准直反射镜组形成呈扇形分布的多条一字平行线结构光技术方案的轴侧视图；

图6是本发明将分束准直反射镜组的反射面镀膜设置在背面的轴侧视图；

图7是本发明采用准直激光经达曼光栅衍射干涉分束技术方案的轴侧视图；

图8是本发明在无人驾驶汽车上的线束结构光光源与摄像头布置方案的俯视示意图；

图9是本发明垂直方向布置的两个一字线束结构光投射在地平面有一个凸出一个凹陷立方体场景中的俯视图；

图10是本发明垂直方向布置的两个一字线束结构光投射在地平面有一个凸出一个凹陷立方体场景中的轴侧视图；

图11是本发明垂直方向布置的两个一字线束结构光投射在路面场景中的轴侧视图；

图12是本发明水平方向布置的单个一字线束结构光投射在路面场景中的轴侧视图；

图13是本发明摄像头感光靶像素分布示意图；

图14是本发明集成在摄像头内对结构光照射得出的图像信息的实时采集方法的工作原理示意图。

图中 1.激光芯片， 2.激光芯片散热基板，3.激光芯片射出光束，4. 分束准直透镜入射面，5.分束准直透镜组，6.分束准直透镜出射面，7. 一字线束结构光光束，8. 投射在屏幕上的一字线束结构光，9. 分束准直反射镜面，10. 分束准直反射镜组，11.准直凸透镜，12.准直激光，13.一体化单向压缩透镜，14.单向压扁准直激光束，15.达曼光栅衍射干涉分束片，16.线束结构光源，17.摄像头，18. 路面凹坑遮蔽区域，19. 路面凸出物遮蔽区域，20. 路面凸出物对左侧线束结构光源形成的遮蔽区域，21.线束结构光光束投射在路面凹坑远侧形成的垂直亮线，22线束结构光光束投射在路面凸出物近侧形成的垂直亮线，23.感光靶像素单元电路，24. 行扫描选通开关，25. 时钟，26. 列扫描选通移位寄存器，27.行扫描选通移位寄存器，28. 列扫描计数器，29. 行扫描计数器，30. 图像信号放大处理器，31. 模数转换器，32.红色信号选通开关，33.像素位置映射器，34. 高通滤波放大器，35.亮线像素信息与位置记录处理器。

具体实施方式

如图1所示为本发明将激光芯片发射的发散激光投射到分束准直透镜组形成呈扇形分布的多条一字平行线结构光技术方案的轴侧视图。其中1为激光芯片，图中绘制的是双异质结半导体激光器，当然也可以采用其它类型的半导体激光器件，例如（VCSEL）垂直腔面发射半导体激光器等；2为激光芯片散热基板；3为激光芯片投射光束， 4为分束准直透镜入射面，它的单个曲面是柱面或环面或椭球面等，在矫正球差时会有点修正，即是纵横两个方向焦距相同或不同的汇聚透镜的曲表面，显然在线宽方向的焦距较短，线长方向的焦距很长，甚至是无穷大成为一个近似圆柱面或环面。 5为分束准直透镜组，即是多个分束准直透镜的组合体，它由光学玻璃或树脂制成。6为分束准直透镜出射面，形状与分束准直透镜入射面4一样具有相似的几何特征，即也可以有与分束准直透镜入射面4相对应的曲面个数，但是仅有一个单纯的几何面覆盖全部则是比较简单的技术方案。7为一字线束结构光光束，它们每束在忽略线宽以后都是一个个沿光传播方向无限延伸的扇形平面，它们的全部呈扇形地展开，外轮廓呈四棱锥状，投射到前面垂直平幕上将是一系列间隔排列的平行细亮线，即是8为投射在屏幕上的一字线束结构光。因为激光芯片1的射出激光并非点光源，而是在狭长的带隙上发射出激光，顺着带隙方向发光长度尺寸大于带隙宽度尺寸，即长轴方向，它的发散角比较小。垂直带隙方向即带隙宽度尺寸非常小，微米数量级，就因为衍射效应而发散角比较大，为短轴方向。为保证获得线宽方向最好的准直性能，它的分束准直透镜入射面4的柱面母线或称轴线方向与激光芯片1的长轴方向一致，在图1所示中它们两者都是呈垂直于地平线方向的，这使得激光光源的长轴方向与投射在屏幕上的一字线束结构光8的直线方向保持一致，即仅在光源最狭窄的短轴方向做准直处理从而成为准直一字细线束光线，长轴方向仅仅只是调整发散角以适应场景使用需要。这是取得良好准直性能一字细线的简单方法。换成其它任何方向，准直性能都将会大幅降低。显然，准直性能较好的汇聚透镜要求较大的焦距，但是常规的圆形凸透镜较大的焦距同时意味着较大的口径，必然产生较大的出光瞳口径，准直光束的直径就会比较大。本发明采用多个柱面镜组合成的分束准直透镜组5，在汇聚的方向上具有较大的焦距，但它的宽度却被多个柱面均分了，所以可以简单地产生既准直性能好，线宽又不大的一字线束结构光光束7。这是简单地采用准直激光经达曼光栅衍射干涉分束技术方案难以做到的。

如图2所示为本发明激光芯片与分束准直透镜组位置关系详解轴侧视图。图2是对图1的进一步详细描述。其中分束准直透镜组5绘成了凸圆柱型，分束准直透镜出射面6是柱面或环面，使得投射射入的激光光束在垂直方向上没有被汇聚或有一定程度被汇聚与折射而调整改变线长的扩展角度，但是水平方向就被汇聚成平行光或被折射调整改变方向以后，形成扩展了投射角度范围的一字线束结构光光束，多个分束折射汇聚透镜单体并排排列成一个分束准直透镜组5的整体，将重复依次排列形成宽幅的一字线束结构光光束7，它们的结构不容易在轴侧视图上绘图表达，而可以采用在它们投射到屏幕上的样子准确描述与定义，如投射在屏幕上的一字线束结构光8。激光芯片射出光束3在图2中绘出了3个，即激光芯片1上面有3个射出激光的带隙，较大发射功率的激光芯片1将具有较多的射出激光带隙数量。它们具有沿长轴一字排列并且与分束准直透镜入射面4的柱面母线方向或轴线方向保持完全平行一致的特征，这是本发明的一个重要技术原则，它是保证一字线平行结构光优异的准直性能的简便方法。当然，较低激光发射功率的激光芯片可以只有一个射出激光的带隙，也因为它在纵横两个方向上的尺寸有较大的差别，也同样需要采取与分束准直透镜组5保持相同的平行位置关系。结合图1与图2，可以概括本出发明的线束结构光为：呈扇形分布的多束一字线平行结构光，在线宽方向上是准平行的，具有每束一字线激光随着投射距离增加，它的线宽方向的发散角较小；一字线长度方向是以固定角度发散展开伸长的，长度与距离成正比，而每相邻光束线之间相交一个角度依次展开，所有的线束光展开分布其轮廓呈现一个无限延伸的四棱锥结构。一字线束光线照射面积相对投射覆盖面之比非常小，因为技术上准平行激光的发散角度非常小，一般都可以达到0.2 m rad（毫弧度），水平比较高点的可以达到0.02 m rad。例如一字线束之间夹角为1°的话，细线对应100米半径的弧长即发散后的线宽可以达到0.002~0.02米，即线束的水平方向的准平行光性质使得线宽在技术上还是会有少量变宽，从细线扩展为大约2~20毫米，相邻线夹角1°即对应100米距离屏幕相邻两条一字线之间会有1.75米的距离，即光线面积仅占投射覆盖面积的0.125~1.25%。而一般面阵结构光的光照面积与投射覆盖面积之比在10~50%之间。可见在相同激光能量密度下本发明的激光发散功率可以仅有常规面阵结构光的1.25~2.5%左右，为室外场景中的使用奠定了物理基础。显然, 本发明巧妙地利用了双异质结半导体激光器激光射出瞳或射出光带隙狭长的特性，恰好适合在其在射出瞳最狭窄的方向上进行准直操作，而不易准直的方向仍然保持发散的特性，成为一字细线束结构光。同样的原理方法可以在（VCSEL）垂直腔面发射半导体激光器等上使用，因为在需要增加激光发散功率时，必然需要增加激光射出瞳的大小或数量，较大的激光发散出光瞳就必然带来准直性能变坏，而将出光瞳排列成一条直线，就不会影响在线形出光瞳的垂直方向上的准直性能，仍然可以获得高准直质量的一字细线束结构光。即使在采用达曼光栅衍射干涉分束片分束的一字细线束结构光装置中，高质量的准直光源也是必不可少的。

如图3所示为本发明双曲面形分束准直透镜组的轴侧视图。其中。分束准直透镜入射面4是一个在垂直方向上内凹弯曲了的柱面，准确地定义就是环面，水平方向上每个这样的环面是直线排列的，当然也可以有凹凸，这样在宏观上就是一个凹环面透镜面，或为消除球差等的近似的凹环面。分束准直透镜出射面6是马鞍形的双曲面，水平方向上是外凸的，垂直方向上是内凹的，就是一个水平方向上汇聚，垂直方向上发散的透镜面。综合的结果就是使激光芯片1射出的发散激光形成在水平方向展开角度变小，垂直方向上的展开角度变大即投射光覆盖幅度被扩展了的一字线束结构光光束7。适用于克服激光芯片1出射光两个相互垂直方向上的天然发散角与场景需要差距较远的局限，调整到使其能较好地适应使用场景的纵横比需要。当然相同原理还可以派生出更多的这类相似结构的设计或者多级透镜的光学系统设计等。

如图4所示为本发明双曲面形分束准直透镜组在调整投射出结构光的纵横比的原理示意轴侧视图。其中1至8所指与前述相同。激光芯片1发出的激光芯片射出光束3被双曲面的分束准直透镜组5准直与调整两个垂直方向的展开角以后射出。对于图4所示的双异质结半导体激光器，在水平方向即激光芯片1出射光的短轴方向的展开角被缩小，垂直方向的展开角被扩大，成为在水平方向布置一字线束结构光光束7时使纵横比符合使用场景需要。而如图1所示的一字线束结构光光束7的纵横比比较适合垂直方向布置使用，当然也可以做些调整。

如图5所示为本发明激光芯片发射的发散激光投射到分束准直反射镜组形成呈扇形分布的多条一字平行线结构光技术方案的轴侧视图。它形成结构光光束的样子与图2，图4相似，差别仅在于汇聚光采用透射型与反射型的不同，其中9为分束准直反射镜面，10为分束准直反射镜组，分束准直反射镜面9可以是两个垂直方向上焦距不等的抛物面，以便将发散的激光汇聚反射成一字线束，多个分束汇聚反射抛物面将产生多个重复依次排列的结构光光束，形成对场景的宽幅覆盖。它也可以看成是一个将分束准直透镜组5替换为分束准直反射镜组10的设计。反射式比透射式轴向尺寸可以更小，利于装进内部空间扁平狭小的装置如手机等。但是在反射面上镀反射膜存在膜厚度的统计涨落问题，特别是在微小尺寸时会显著影响反射膜聚光准直性能。所以有本发明有如图6所示的设计。图1、图2、图4与图5所述的光学系统都是采用一个激光光源利用透镜主光轴工作的，为了产生更多的一字线束激光数量，可以采用多个激光光源并排设置利用透镜旁轴包括反射镜旁轴工作产生加倍数量的一字线束激光光束。并且不同激光光源可以采取不同的仰俯角度使各自产生的线束结构光线长方向彼此交错开一个角度，在线束结构光垂直方向布置使用时，可以形成投射在较近的地面光线束数量较少，远处光线束数量加倍的效果，透镜旁轴包括反射镜旁轴的工作原理几何光学的教科书上都有，容易想象理解，不另绘图说明。

如图6所示为本发明将分束准直反射镜组的反射面镀膜设置在背面的轴侧视图。图中9、10所指与前述相同，将镀膜改在由透明光学材料制成的分束准直反射镜组10的背面，镀膜厚度的统计涨落将不会影响镀膜反射面的微观几何尺寸，这样就将高精度的反射面在镀反射膜以后得以保持，实际上常规的玻璃镜也是这种结构。当然，采用真空溅射工艺镀膜时对热稳定性不够好的树脂仍然需要采取措施防止对镀膜表面的改变，例如采用多次微量地溅射的方法等。本发明公开了的所有透镜汇聚准直分束以及调整纵横比的技术方案，同样都可以映射出相应的反射镜汇聚准直分束以及调整纵横比的技术方案。

如图7所示为本发明采用准直激光经达曼光栅衍射干涉分束技术方案的轴侧视图。其中11为准直凸透镜，12为准直激光，它是接近圆束的。13为一体化单向压缩透镜，14为单向压扁准直激光束，15为达曼光栅衍射干涉分束片。本发明的采用达曼光栅衍射干涉的分束技术方案，仍然采取了在最容易获取高质量准直的方向上获取一个窄束准直光，再通过达曼光栅衍射干涉进行分束的思路，以克服从来的圆束准直光或者光束直径太大，或者准直性能不够好从而带来分束后一字线束结构光质量较差的缺陷。显然，激光芯片1与一体化单向压缩透镜13，达曼光栅衍射干涉分束片15三者之间保持了如图所示的方向，也是本发明强调的在激光芯片1发射出光的射出瞳的长轴方向与最后形成一字线结构光的一字线方向一致，而不是从来的直接采用近似圆束准直光被达曼光栅衍射干涉分束片分束。当然，一体化单向压缩透镜13也可以采用分立的凸柱透镜与凹柱透镜组合，一体化的好处是减少了一个透镜零件。

如图8所示为本发明在无人驾驶汽车上的线束结构光光源与摄像头布置方案的俯视示意图，其中7为一字线束结构光光束，16为线束结构光源，图中绘出的2个安装在汽车前照灯处，17为摄像头。图8所示只是一种布置方案，将线束结构光源16设置在车前照灯内是一种方案，当然不限于此，例如也可以布置在车前窗两端，并且垂直方向布置的两个一字线束结构光光源尽可能处于高位置并且彼此相距最远以获取较大视差或菱形网格与更好地俯视投射路面。摄像头17可以有多个，布置在前挡风玻璃内，当然也不限于此。在采用三角法计算障碍物距离时，需要清析可分辨地拍摄到障碍物上的结构光。所以前视摄像头或需要有兼顾远近拍摄的能力，或采用多个不同长短焦距的摄像头，或采用变焦摄像头等。左右两边各装设一套线束结构光光源装置与摄像头，有利于减少盲区，同时为系统备份环境感知能力。侧视、后视的设计原理可以与此相同或相似，差别主要在于视野与观测距离的需求不同。

如图9所示为本发明垂直方向布置的两个一字线束结构光投射在地平面有一个凸出一个凹陷立方体场景中的俯视图。18为路面凹坑区域，19为路面凸出物遮蔽区域，20为路面凸出物对左线束结构光源形成的遮蔽区域。这个场景是为了便于理解才绘出的，图10绘出的才是摄像头实际拍到的结构光照明场景的情形。

如图10所示为本发明垂直方向布置的两个一字线束结构光投射在地平面有一个凸出一个凹陷立方体场景中的轴侧视图。它与图9对应，与摄像头在本发明的双线束光源后面拍摄到的景象相同。其中21为一字线束结构光光束投射在路面凹坑的远侧形成的垂直亮线，其下方有部分空白为路面凹坑区域18，也是摄像头17的安装位置比线束结构光源16高才造成的，如果它们安装在同一个水平高度上，就没有这样的空白，而是被一字线束结构光光束投射在路面凹坑的远侧形成的垂直亮线21所占满。22为一字线束结构光光束投射在路面凸出物近侧形成的垂直亮线，它们都有一个共同的特征，就是在一字线束结构光光束投射在路面形成的斜直线突然接近垂直地打弯折，这个特征在图像处理装置中非常容易被识别。另外，由于本发明的线束结构光光源自主照明具有稳定可用的辐照功率，使得摄像头为适应环境光线巨大变化的高动态范围要求的问题得以回避。当然，也可以采用随环境变化，例如夜间降低激光辐射功率，日间恢复激光额定辐射功率等的使用控制方法。

如图11所示为本发明垂直方向布置的两个一字线束结构光投射在路面场景中的轴侧视图。它明显具有水平面上例如路面与人行道面结构光打出的菱形网格亮线，用虚线绘出，与任何凸出物上照到就会有的垂直亮线，两者泾渭分明。连续菱形网格亮线对应一个对象物，即平面如路面或人行道面。断开或打弯折处为另外一个对象物的边缘。这为图像中对实体对象的分类，提供了快速且可靠的依据，也可以为直接按亮线覆盖视场范围做初步定位与或建模提供依据。另外一个非常有价值的特征就是结构光打出的菱形网格亮线本身就就有非常精确的水平方向的几何尺寸，并且还对道路坡度与倾斜度不敏感，因为这些亮线都是垂直的激光平面与路面相交形成的，亮线在水平方向上保持位置相对不会随路面坡度或倾斜变化而发生位移。摄像头获取的垂直亮线即道路上的突出障碍物或凹陷落在哪个菱形格子旁边，就是距离有多远，位置在何处。连采用双摄像头获取的结构光图像去做三角计算的过程步骤都可以省略了，因为菱形格子本身就是三角计算尺！所以投射在道路路面或轨道平面上形成的近似菱形格子亮线可以被用作道路路面或轨道平面空旷的判据，菱形格子被垂直亮线代替的位置即障碍物被在菱形格子定义的平面上初步定位。当然，菱形格子还可以继续做差分计算以提高定位精度。这是本发明最突出的一个特征，并且没有检索到先例。另外，在一定容差范围内，完整的菱形格子亮线就是空旷的路面或车道，垂直打折的亮线就是障碍物，两者不会在同一个图像区域里重叠，即摄像头能同时看清楚有障碍物就没有空旷的路面或车道，没有看清楚有障碍物就一定不会看到有空旷的路面或车道。这是一个确认路况环境非常可靠的逻辑，并且是在一个传感器上实现的非此即彼完全没有模棱两可情况发生的可能。会在同一个空间位置上探测到障碍物与空旷道路同时存在的唯一的例外是货车车位伸出车厢后很远的悬空货物，因为悬空货物在路的上方，并且货物的下方是空旷的路面，属于有空旷的道路且有障碍物的情形，与路面空旷且无障碍物不同，并且路面的斜结构光亮线与障碍物的接近垂直的斜结构光亮线在水平方向上相互错开。这点在环境感知可靠性上具有特别的价值。不像采用其它障碍物探测传感器，有可能发生障碍物没有被发现或识别的情况。另外，设计上采取尽可能拉开两个线束结构光光源的距离，并且高位布置，对提高探测距离与精度有助益。

如图12所示为本发明水平方向布置的单个一字线束结构光投射在路面场景中的轴侧视图。它明显具有水平面上例如路面与人行道面结构光打出的水平平行亮线，用虚线绘出，与任何凸出物上照到就会有的断开并且或错位或曲折了的水平或倾斜了的亮线，两者也泾渭分明。连续水平平行亮线对应一个对象物，断开处为对象物的边缘。这也为在一般场景中图像中对象物的分类，提供了快速且可靠的依据。图中所绘出的水平亮线主要在大约半人身高的位置，这样有利于减少可能对行人眼睛的刺激，当然也可以在较高位置采用适当减弱一点激光强度的方法等。但是它还是有一个结构光光源与摄像头难以布置得在垂直方向上距离较远，产生较大视差的问题。并且无论如何安排，水平方向布置的多束线束结构光光源与其摄像头之间的距离，都无法像垂直方向布置的两个多束线束结构光光源或摄像头那样拉开至少大一倍的距离，以产生更大的视差或交叉线角度等。但是本发明可以将垂直布置的两个一字线束结构光与一个水平方向布置的一字线束结构光结合使用，可以从摄像头获取的菱形网格与水平线的相对疏密例如一个菱形网格亮线内有多少条水平亮线，即可对道路坡度做出计算。没有单独绘图说明是因为它的景象就是图11与图12的简单叠加，不难想象与理解。需要指出的是单纯采用水平布置的多束线结构光具有对道路坡度与倾斜非常敏感的问题，带来对路面凸凹与距离等的计算复杂程度大增，如果把水平布置的多束线束结构光光源布置得较低，以拉开与摄像头之间的距离，又会产生路面稍有坡度，结构光就照射不到而留下大片空白区域的问题，反过来把摄像头安排在低处也一样，所以它基本上没有单独使用的价值。在本发明中采取与垂直布置的两个多束线束结构光光源结合使用，也仅仅辅助获取了道路坡度信息或近处信息等。

如图13是本发明摄像头感光靶像素分布示意图。图中有三种方框，空心方框，左斜杠方框与右斜杠方框，在从来的摄像头感光靶之中分别代表绿、蓝、红像素，即每4个像素为一组时，有2个绿色感光靶像素，蓝色红色各一个，因为人眼对绿光敏感，所以绿色被采用2个感光靶获取。如果采用从来的彩色摄像头感光靶来感知本发明的极细线一字线束结构光，完全有可能红光细线成像落在绿、蓝色感光靶上而没有被红色感光靶扑捉到。因此本发明将三色感光靶像素的安排做了调整，改为同样每4个像素为一组，有2个红色感光靶像素，蓝色绿色各1个。因此在图13所示的本发明摄像头感光靶像素分布示意图中，就成为空方框代表红色感光靶像素，左斜杠方框与右斜杠方框分别代表绿色感光靶像素与蓝色感光靶像素。这样摄像头就可以完全无遗漏地扑捉到本发明的结构光成像曝光信息，还提高了一倍的结构光分辨能力。少了一个绿色感光靶的彩色图像对人眼观看还原图像时有些许影响，但对电脑则可以完全没有影响，即摄像头对交通信号灯等的识别也完全没有影响。另外，摄像头的感光靶无论是CMOS还是CCD器件，本身都有对红外光敏感的特性，适合采用波长较长，穿透性较好的红外激光光源器件产生本发明的线束结构光。此时不仅不需要与常规摄像头一样为还原人眼看见的图像色彩质量而采用滤除红外光的措施，相反，红色微滤镜还需要对结构光光源的红外光也透明。

如图14是本发明集成在摄像头内对结构光照射得出的图像信息的实时采集方法的工作原理示意图。其中23为感光靶像素单元电路，它包含感光靶、放大器与列扫描选通开关。24为行扫描选通开关，25为时钟，26为列扫描选通移位寄存器，27为行扫描选通移位寄存器，28为列扫描计数器，为本发明新增。29为行扫描计数器，为本发明新增。30为图像信号放大处理器，31为模数转换器，32为红色信号选通开关，为本发明新增。33为像素位置映射器，为本发明新增。34为高通滤波放大器，为本发明新增。35为亮线像素信息与位置记录处理器，为本发明新增。本发明的摄像头可以完成在红色像素信息被读取的同时即自动筛选出本发明的结构光的信号与其像素所在的具体位置。虽然这个功能如果不要求即时完成的话，完全可以在摄像头输出的图像数据中挨个对红色像素信息进行扫描读取分析后获得，因为图像数据是按照约定的图片格式将像素数据挨个顺序排列读出并存储的，但是需要消耗时延作为代价。本发明从图像信号放大处理器30输出端取得行扫描模拟信号，经过红色信号选通开关32挑选出送至高通滤波放大器34放大筛选，即可得到红色结构光亮线的起始与结束两端的脉冲信号，当然也可以是高于某个阀值的信号等，这时就还需要确定它的像素位置信息。但是现有的行扫描选通移位寄存器27与列扫描选通移位寄存器26仅有行与列被扫描选通了的线输出状态，并没有也难以给出此时选通的行与列的位置信息去与高通滤波放大器34读出的信号绑定，仅能给出像素信号在一幅图中的顺序排位信息，还需换算出像素物理位置。所以本发明创造性地采用了一个行扫描计数器29与列扫描计数器28分别与行扫描选通移位寄存器27和列扫描选通移位寄存器26同步运行来产生各自的实时行和列的指示位置镜像数据，提供给像素位置映射器33来与高通滤波放大器34读出的脉冲信号在亮线像素信息与位置记录处理器35内绑定，从而实现对被结构光线束曝光了的像素读出信号与其像素位置的实时绑定与记录。如果不采用行扫描计数器29与列扫描计数器28，在现有的图像记录格式下也可以按一幅图像起始开始的像素按顺序排队计数的数值推算得出，而现有的摄像头芯片没有内置有一个像素计数器，因为不需要。如果新加入一个像素计数器，显然本发明的行扫描计数器29与列扫描计数器28结合使用来得更直接也就更快捷。因为本发明的一字线束结构光线宽度非常小，线宽信息没有价值，并且曝光结果线宽方向基本上就是落在一两个像素上的亮线，经过拟合以后可以简单地压缩成为由几何点与直线段组成的矢量图形来描述替代结构光曝光产生的点阵图像，这个功能可以是亮线像素信息与位置记录处理器35完成的，也可以在图像数字化以后由摄像头模组内置的图像处理器或外部的图像处理器处理实现。显然这个图像处理器处理过程的方法是由编写相应软件实现的，它是一种结构光曝光图像处理的方法，而相应的拟合算法公开的文献不少，不一一举例。当然，这个功能既可以集成在摄像头模组内，也可以在摄像头模组以外的计算机去实现，总之将本发明的线束结构光曝光图像由曝光像素点阵图像转换为由点、线段组成的矢量图，是本发明的线束结构光曝光图像创新的处理方法。将环境感知的结构光信息采用矢量图描述，将大幅提高计算机系统的处理效率。为了进一步提高点与直线段的位置精度，可以根据相邻红色像素曝光信号强度的比率推测点位置相对像素位置的偏移量，拟合出超过像素点密度的结构光定位精度的位置信息，类似这样的公开文献亦不少，差别仅仅是它们没有用到本发明的多束极细线结构光。当然，这个时候的结构光曝光精确的点位置信息就是像素物理位置外加偏移量了。把这样的结构光曝光信息拟合成矢量图以后就可以舍去其亮度信息，成为非零即一的二值矢量图了。当然也可以保留亮度信息成为灰度矢量图做其它目的使用。计算机最能“看懂”的图像不是摄像头的点阵图，而是矢量图。图像处理计算机利用矢量图可以非常直接可靠地判断出空旷路面上的菱形格亮线与障碍物上接近垂直的亮线以及它们所处的位置，速度远比标量图直接且速度快，也不需要什么神经网络，AI训练等等的加持。本发明的摄像头能直接输出由点、线段构成的线束结构光曝光结果的矢量图，为机器视觉的矢量图化技术开创了一条全新道路。当然本发明的这个标量图矢量化方法还可以进一步推广到将其它类型的结构光会产生的各种形状光斑的边缘拟合描绘成由点、线段包围的光斑面域形成矢量图输出。原理足够简单明了，不另绘图详细描述。当然，它没有细线束结构光曝光图像矢量化那么来得直接且性能优越。

需要指出的是，在反射率特别低的物体上，不容易获得结构光的足够强的曝光信号。但是本发明的一字线束结构光还是有一个特征，就是连续的亮线。在摄像头没有能直接找全全部的结构光曝光信息时，即本发明的摄像头输出的结构光信号在本该有的区域没有被检测到时，可以在常规输出的红色点阵图像之中在该空白区域采用纵横两个方向的差分计算，再结合连续一字线的性质找出微弱的结构光曝光亮线。当然这个功能同样是既可以集成在摄像头模组内的图像处理器中，也可以由摄像头模组外的图像处理器完成。如果是从来的光斑点阵，包括激光雷达的小光斑，就难以区分微弱亮点与噪点，也就难以被可靠识别。因此，本发明的结构光适用范围因此进一步被扩展了，遇到有极低反射率的物体或高背景光时也可以用图像处计算稍微延迟一点时间被找出来。因为极低反射率的物体或高背景光毕竟出现概率比较小，本发明的摄像头又把这部分比较少出现的区域也已经框选出来了，再利用计算机做这部分区域点阵图的差分计算去寻找所花费的计算量开销就能大幅降低。所以将为无人驾驶环境感知系统提供高摄像头的分辨率与高帧频，打下了技术基础。

当然，本发明的这些摄像头功能也完全可以采用一个单色摄像头完成，但是将一个该连续的结构光亮信息被读出的像素位置检出并且形成一个数据表的功能融合进彩色摄像头，还是具有它方便调校等的优势。另外，还可以对本发明的摄像头红色感光靶单独增加做倍帧频曝光与扫描，例如扫描红色、绿色、红色、蓝色，以进一步提高对突然闯入视线的物体被结构光曝光的即时响应速度。毕竟在本发明的例如无人驾驶汽车的环境感知系统中的常规彩色摄像头将主要执行常规感知任务，例如车道线、红绿灯等静物识别，不需要特别快速的响应。但是例如一只足球从车前面飞过或前面货车上掉下来的东西或就堪比或更甚于鬼探头的突发状况，高结构光曝光帧频的实时探测，对于提高运动趋势仿真预测的可靠性与即时性具有重要价值，也才能正确规避可能造成的误操作，从而避免安全事故的发生并提高车辆行驶的舒适性。这个能力是现有的无人驾驶汽车技术缺乏的，激光雷达扫描频率低更没有。本发明重新安排了摄像头三色信号各自占用的时间资源分配，也是没有先例的。

本发明还有一个现有的采用多种传感器做环境感知技术方案所没有的优势,应该讲也是源于摄像头同时具有对道路与障碍物的感知能力带来逻辑上的优势。现有的激光雷达、毫米波雷达比较适合探测道路上的障碍物，却不太适合探测道路本身，即探路不可靠，不能据此感知结果而去控制停车。它一般采用没有障碍物即畅通的逻辑，但是没有探测到障碍物与没有障碍物不能等同。这带来了一个逻辑问题：没有探测到障碍物时是否可以采用同时探清了路来增强判断的准确概率。现有的来自不同系统的探测信息逻辑上就难以处理好这个问题。汽车驾驶逻辑不便因此控制停车操作。所以会也确实发生了多起撞上没有看清与识别障碍物而造成事故的案例。但是本发明如果没有探清障碍物，障碍物如果存在的话就一定遮蔽了路！探清楚多长远的路，才采用保有多大安全距离的车速行驶。探不清路，按本发明的控制逻辑立即控制停车！所以本发明的无人驾驶汽车的控制逻辑之一是必须行驶在探清楚了路上既没有障碍物的同时又探清楚了明确留有安全距离的畅通道路或空车道，两者不可或缺。而不是现有的是否有空路或空车道不容易做技术上可靠的检测，或者说采用同一个系统同时检测道路与障碍物有技术上的困难。反正没有发现障碍物就继续行驶，没有发现障碍物不等于没有障碍物。这种技术现状，直接导致了现在的无人驾驶汽车道路环境感知传感器数量动辄十几个还在继续往上增加，都是为了冗余备份提高环境感知的可靠性与即时性。这个技术策略有点像低等动物如昆虫用复眼，因为头脑简单；高等动物用单眼，因为头脑发达相似的机制。特斯拉就是走用单纯的摄像头配合超强电脑的技术路线。本发明为采用摄像头配合结构光与节能电脑走节能同时节省算力的技术路线奠定了基础。

所有本发明公开的技术方法，除了适用于无人驾驶汽车技术领域，同样适用于手机，激光测量测绘装置等的机器视觉运用领域。图1、图7与图14及其相应的内容，可以作为本发明的实施例。指定图1为摘要附图。申请人声明本申请中使用的“无人驾驶汽车”或“自动驾驶汽车”意思相同泛指所有采用计算机辅助人工驾驶或半自动或全自动驾驶的汽车，当然也包括全部级别所有用途的自动驾驶汽车。本发明始于一种线束结构光方法的总体构思，包含了产生该线束结构光的光源装置与获取该线束结构光图像的摄像头及其矢量化图像处理方法等对线束结构光方法的使用效果与性能进一步提升与优化的相关技术及方案，以及在无人驾驶汽车环境感知等方面的应用策略。

Claims (12)

1.一种线束结构光，使用它来辅助图像处理设备快速地从2D摄像装置中获取被拍摄场景中有价值的3D信息，能大幅减少图像处理设备的计算量，适用于所有机器视觉方面的应用，包括但不限于自动驾驶、遥感遥测、工程3D测绘测量、机器人、自动生产线、装配线、输送线、分拣线、检测线等等机器视觉方面的应用领域，特别是自动驾驶汽车的道路与环境感知的方法与装置，其特征在于该线束结构光是从一个窗口射出，由扇形分布的多条相互平行的窄一字线束激光，并且每条一字线激光具有准平行光性质，即线宽方向是准平行的，线长方向是扇形发散的，其投射在屏幕上显示出的是多条相互平行排列的窄一字亮线，至少有一个线束结构光光源是使结构光线束垂直于道路路面或轨道平面或地面布置的。

2.一种线束结构光的光源装置，使用它来辅助图像处理设备快速地从2D摄像装置中获取被拍摄场景中的有价值的3D信息，能大幅减少图像处理设备的计算量，适用于所有机器视觉方面的应用，包括但不限于自动驾驶、遥感遥测、工程3D测绘测量、机器人、自动生产线、装配线、输送线、分拣线、检测线等等机器视觉方面的应用领域，特别是自动驾驶汽车的道路与环境感知的方法与装置，其特征在于包含一个由多个分束折射汇聚透镜单体并排排列形成一个分束准直透镜组的整体，每个分束折射汇聚透镜单体都有一个近似为柱面或环面或椭球面的入射面构成两个相互垂直方向焦距不同的透镜；或包含多个在两个相互垂直方向上焦距不等的抛物面组成的分束准直反射镜组，并且激光芯片的激光射出瞳长轴方向与分束折射汇聚透镜或分束准直反射镜的长焦距方向一致。

3.一种线束结构光光源装置，使用它来辅助图像处理设备快速地从2D摄像装置中获取被拍摄场景中的有价值的3D信息，能大幅减少图像处理设备的计算量，适用于所有机器视觉方面的应用，包括但不限于自动驾驶、遥感遥测、工程3D测绘测量、机器人、自动生产线、装配线、输送线、分拣线、检测线等等机器视觉方面的应用领域，特别是自动驾驶汽车的道路与环境感知的方法与装置，其特征在于其中包含一个达曼光栅衍射干涉装置与一个将近似圆束准直激光压缩成扁束准直激光的透镜或透镜组，并且压缩方向在激光芯片出光瞳的短轴方向上。

4.一种适用于线束结构光的摄像头装置，使用它来辅助图像处理设备快速地从2D摄像装置中获取被拍摄场景中的有价值的3D信息，能大幅减少图像处理设备的计算量，适用于所有机器视觉方面的应用，包括但不限于自动驾驶、遥感遥测、工程3D测绘测量、机器人、自动生产线、装配线、输送线、分拣线、检测线等等机器视觉方面的应用领域，特别是自动驾驶汽车的道路与环境感知的方法与装置，其特征在于配合使用的摄像头的红、绿、蓝三色感光靶是以两个红色，绿色、蓝色各一个共四个为一组的，并且红色感光靶的扫描频率比绿色、蓝色感光靶的扫描频率相同或更高。

5.一种适用于线束结构光的摄像头装置，使用它来辅助图像处理设备快速地从2D摄像装置中获取被拍摄场景中的有价值的3D信息，能大幅减少图像处理设备的计算量，适用于所有机器视觉方面的应用，包括但不限于自动驾驶、遥感遥测、工程3D测绘测量、机器人、自动生产线、装配线、输送线、分拣线、检测线等等机器视觉方面的应用领域，特别是自动驾驶汽车的道路与环境感知的方法与装置，其特征在于摄像头模组电路内置了一个图像处理装置将细线结构光曝光图像拟合处理成由点、直线段组成的矢量图格式输出结构光曝光图像。

6.根据权利要求 1所规定的发明，其特征在于包含2个相距一定水平距离垂直方向布置的线束结构光光源装置，与或1个水平方向布置的结构光光源装置，它们投射在道路平面或轨道平面或地面等平面上产生了近似菱形的交叉网格结构光亮线，投射在道路路面或轨道平面或地面上形成的近似菱形格子结构光亮线被用作道路路面或轨道平面或地面空旷的判据，菱形格子结构光亮线被垂直亮线代替的位置即障碍物被在菱形格子结构光亮线划分的平面上初步定位，水平结构光亮线在各菱形格子内的分布疏密变化即每个菱形格子内的水平亮线数量用作使用场景道路平面或轨道平面或地面等坡度或倾斜程度的检测。

7.根据权利要求 2所规定的发明，其特征在于其激光芯片由多片并排布置利用汇聚透镜或反射镜透镜旁轴包括反射镜旁轴工作产生加倍数量的线束结构光光束。

8.根据权利要求 4所规定的发明，其特征在于摄像头模组电路内置了一个行扫描计数器和列扫描计数器分别与行扫描移位寄存器和列扫描移位寄存器同步工作，映射产生出线束结构光曝光像素的位置数据并或与其曝光信号绑定。

9.根据权利要求 5所规定的发明，其特征在于配合使用的摄像头的红、绿、蓝三色感光靶是以两个红色，绿色、蓝色各一个共四个为一组的，并且红色感光靶的扫描频率比绿色、蓝色感光靶的扫描频率相同或更高。

10. 根据权利要求 5所规定的发明，其特征在于摄像头模组电路内置了一个图像处理装置将细线结构光曝光图像拟合处理成由点、直线段组成的矢量图格式输出结构光图像的技术方案在将光斑边缘视为细线以后同样适用于各种类型光斑面阵的结构光。

11.根据权利要求 5所规定的发明，其特征在于将细线结构光曝光图像拟合处理成由点、直线段组成的矢量图格式输出结构光图像的功能，从摄像头模组电路内迁移到摄像头模组之外。

12.一种采用线束结构光方法作为道路与环境感知的方法与装置的自动驾驶汽车系统的控制判断逻辑，其特征在于仅将从同一个或同一对摄像头获取的道路信息得出一定距离与范围内空旷道路或车道的存在与同时障碍物的不存在时，才被视为是可以通行的环境感知结果，两者缺一不可。

Images