CN108459417B - 一种单目窄带多光谱立体视觉系统及其使用方法 - Google Patents

Abstract

本发明提供了一种单目窄带多光谱立体视觉系统及其使用方法。该系统包括一个带有轴向色差的光学成像镜头，一个通道数N≥4的窄带多光谱图像传感器，一个对窄带多光谱图像进行处理分析的图像处理单元。本发明提供的单目窄带多光谱立体视觉系统，可以一次曝光获得图像面XY空间位置自然校准而聚焦清晰度不同的多幅窄带光谱图像。使用配套的如散焦模糊度算法可以获得图像任意空间位置XY的深度Z信息，克服双目立体视觉运算量大及激光3D视觉系统价格昂贵等缺点，在先进制造、智能机器人移动、无人驾驶汽车导航与避障等具有广泛应用价值。

Description

一种单目窄带多光谱立体视觉系统及其使用方法

技术领域

本发明涉及机器视觉，更具体地涉及3D传感器测量技术领域。

背景技术

自然世界是三维的，有平面(X,Y)位置信息，还包含有Z深度信息。人识别深度信息的方法主要有三种：通过左右眼视差信息，通过眼睛相对于物体运动的运动信息，通过物体表面颜色信息。也有通过物体表面纹理信息探测深度的。在过去二三十年间，学术界所研究的3D视觉方法主要包括通过分析左右眼视差信息来获取深度信息。尽管文献中对3D视觉进行了长期讨论，但当今大多数机器视觉系统往往依赖于对两个摄像头所获取的两个二维图像进行分析(CN201610987447双目立体视觉系统及深度测量方法、CN201410490534根据立体视图原理的3D相机和用于获取深度图的方法、CN201410490534-根据立体视图原理的3D相机和用于获取深度图的方法)。然而这类双目立体机器视觉方法信息处理量大，难以快速给出深度检测结果。另外双摄像头刻度难度较高，同步控制较难，因此目前还难以在实践中广泛应用。目前还仍然依赖价格昂贵的激光扫描视觉系统来获取周围环境3D图像信息。激光3D视觉系统采用多路激光束，测量激光束从发出到被障碍物反射回来信息的时间差来计算周边障碍物信息，其缺点是除了价格昂贵外，还有空间分辨率不高，主要以点云形式来表现周边环境及障碍物情况，不能实现逼真的图像信息。

发明内容

本发明所要解决的主要技术问题是提供一种单目窄带多光谱立体视觉系统及其使用方法，克服已有机器视觉方法尤其是双摄像头立体视觉方法计算量大实时性较差的缺点、已有3D激光视觉系统价格昂贵检测结果为稀疏云团而不能有逼真2D图像信息的缺点。

为了解决上述的技术问题，本发明提供了一种单目窄带多光谱立体视觉系统，包括：一个对不同波段可见光具有不同焦距的光学成像镜头、一个通道数N≥4的窄带多光谱图像传感器；一个对图像进行处理分析的图像处理单元；所述光学成像镜头沿着轴向具有色差；

所述光学成像镜头与所述多光谱图像传感器机械相连，所述多光谱图像传感器的光电转换平面放置在所述光学成像镜头的成像面上，而且两者同光轴设置，所述多光谱图像传感器与所述图像处理单元电相连；

所述多光谱图像传感器包含一个光学滤片和一个黑白图像传感器，所述光学滤片紧贴在所述黑白图像传感器的有效光电转换平面上，所述光学滤片包含有阵列设置的光学滤镜宏单元；所述光学滤镜宏单元在横向上按周期排列的个数M1≥10个、纵向上按周期排列的个数M2≥10个；

所述光学滤镜宏单元包含N≥4的空间位置互不重叠且波段各不相同的光学窄带滤镜；并且每个所述光学滤镜宏单元覆盖整数个所述黑白图像传感器的像素。

在一较佳实施例中：所述光学滤片的几何尺寸为长度不超过5厘米，宽度不超过5厘米，厚度不超过1厘米；

所述光学滤片几何尺寸要求完全覆盖所述黑白图像传感器的有效像素。

在一较佳实施例中：每个所述光学窄带滤镜的透光率均高于80％，截止波段低于0.1％；每个所述光学窄带滤镜的波段透光率从低于1％到高于80％过渡区间带宽小于10纳米；每个所述光学窄带滤镜的透光带互不重叠。

在一较佳实施例中：所述光学成像镜头对不同波段的光具有不同折射率，对不同波段光的焦距不同，并且在垂直于光轴方向上对来自同一物点的不同波段的光成像位置差别不大于一个黑白图像传感器的像素。

在一较佳实施例中：所述光学成像镜头对不同波段的光信号的通光孔径大小不同，各个波段的光信号的通光孔径按照递减方式排列，或者递增方式排列。

在一较佳实施例中：所述光学成像镜头包含3个单透镜，具体为两个聚焦用凸透镜中间夹着一个凹透镜。

在一较佳实施例中：所述光学窄带滤镜为四个，具体为中心波长分别为λ1、带宽为δλ1的第一波段光学窄带滤镜、中心波长分别为λ2、带宽为δλ2的第二波段光学窄带滤镜、中心波长分别为λ3、带宽为δλ3的第三波段光学窄带滤镜、中心波长分别为λ4、带宽为δλ4的第四波段光学窄带滤镜；

所述第一波段光学窄带滤镜的波段在440纳米到470纳米之间，所述第二波段光学窄带滤镜的波段在470纳米到540纳米之间，所述第三波段光学窄带滤镜的波段在540纳米到610纳米之间，所述第四波段光学窄带滤镜的波段在610纳米到680纳米之间。

本发明还提供了上述的单目窄带多光谱立体视觉系统的使用方法，包括如下步骤：

第一步，所述图像处理单元分析所述多光谱图像传感器每次曝光所获得的图像，将其在线拆分为N≥4幅窄带光谱图像，拆分方法为将所有M1*M2个光学滤镜宏单元中对应于第一波段的光学窄带滤镜所覆盖的像素按序组成为第一波段窄带光谱图像；将M1*M2个所述光学滤镜宏单元中对应于第二波段的光学窄带滤镜所覆盖的像素按序组成为第二波段窄带光谱图像；类似地获取第三，第四，…,第N波段窄带光谱图像；

第二步，计算出每个位置每个窄带波段图像的散焦模糊度F，所述散焦模糊度F根据能量最大值法、爬山算法、灰度梯度法、点扩散函数半径、基于傅里叶变换的空间频域分析中的一种或者多种进行计算；

第三步，根据所述的N个波段光谱图像散的焦模糊度对比关系，对照不同窄带波段图像的散焦模糊度F与物体距离关系，获得图像每一像素所对应位置XY的深度信息Z；所述散焦模糊度F与物体距离关系为：当物体在光学成像系统焦面上时，中间波段散焦最小，当物体在远离光学成像系统焦面时，长波段散焦最小，当物体在靠近光学成像系统焦面时，短波段和长波段图像的散焦最小。

在一较佳实施例中：还包含图像每点(X,Y)深度位置在焦前焦后判断步骤，具体来说：

①如果短波长窄带光谱图像比长波长窄带光谱图像具有更小的散焦模糊度F，则该点处在比所述光学成像系统聚焦面更近的位置；

②反之如果长波长窄带光谱图像比短波长窄带光谱图像具有更小的散焦模糊度F，则该点处在比焦面更远的位置。

相较于现有技术，本发明的技术方案具备以下有益效果：

使用本发明提供的单目窄带多光谱立体视觉系统，可以一次曝光获得XY平面空间位置自然校准而聚焦清晰度不同的多幅窄带光谱图像。该系统的意义在于，可以通过配套的分析算法分析对每次曝光所获得的多副光谱窄带图像进行分析，获得周围每个二维位置信息(X,Y)的深度Z信息，实现空间三维(X,Y,Z)的探知。本发明可用于先进制造、智能机器人移动、无人驾驶汽车导航与避障。

具体实施方式

下文通过具体实施方式对本发明做进一步的说明。

一种单目窄带多光谱立体视觉系统，包括：一个对不同波段可见光具有不同焦距的光学成像镜头、一个通道数N≥4的窄带多光谱图像传感器；一个对图像进行处理分析的图像处理单元；所述光学成像镜头沿着轴向(Z向)具有色差；

所述光学成像镜头与所述多光谱图像传感器机械相连，所述多光谱图像传感器的光电转换平面放置在所述光学成像镜头的成像面上，而且两者同光轴设置，所述多光谱图像传感器与所述图像处理单元电相连；

所述多光谱图像传感器包含一个光学滤片和一个黑白图像传感器，所述光学滤片紧贴在所述黑白图像传感器的有效光电转换平面上，所述光学滤片包含有阵列设置的光学滤镜宏单元；所述光学滤镜宏单元在横向上按周期排列的个数M1≥10个、纵向上按周期排列的个数M2≥10个；

所述光学滤镜宏单元包含N≥4的空间位置互不重叠且波段各不相同的光学窄带滤镜；并且每个所述光学滤镜宏单元覆盖整数个所述黑白图像传感器的像素。本实施例中，所述光学窄带滤镜为四个，具体为中心波长分别为λ1、带宽为δλ1的第一波段光学窄带滤镜、中心波长分别为λ2、带宽为δλ2的第二波段光学窄带滤镜、中心波长分别为λ3、带宽为δλ3的第三波段光学窄带滤镜、中心波长分别为λ4、带宽为δλ4的第四波段光学窄带滤镜；

所述第一波段光学窄带滤镜的波段在440纳米到470纳米之间，所述第二波段光学窄带滤镜的波段在470纳米到540纳米之间，所述第三波段光学窄带滤镜的波段在540纳米到610纳米之间，所述第四波段光学窄带滤镜的波段在610纳米到680纳米之间。在具体应用中，光学窄带滤镜也可以为五个或者更多，属于本实施例的简单替换，不再赘述。

具体来说，所述光学滤片的几何尺寸为长度不超过5厘米，宽度不超过5厘米，厚度不超过1厘米；所述光学滤片几何尺寸要求完全覆盖所述黑白图像传感器的有效像素。

每个所述光学窄带滤镜的透光率均高于80％，截止波段低于0.1％；每个所述光学窄带滤镜的波段透光率从低于1％到高于80％过渡区间带宽小于10纳米；每个所述光学窄带滤镜的透光带互不重叠。

所述光学成像镜头对不同波段的光具有不同折射率，对不同波段光的焦距不同，并且在垂直于光轴方向上对来自同一物点的不同波段的光成像位置差别不大于一个黑白图像传感器的像素。

所述光学成像镜头对不同波段的光信号的通光孔径大小不同，各个波段的光信号的通光孔径按照递减方式排列，或者递增方式排列。

所述光学成像镜头包含3个单透镜，具体为两个聚焦用凸透镜中间夹着一个凹透镜。

上述的单目窄带多光谱立体视觉系统的使用方法，包括如下步骤：

第一步，所述图像处理单元分析所述多光谱图像传感器每次曝光所获得的图像，将其在线拆分为N≥4幅窄带光谱图像，拆分方法为将所有M1*M2个光学滤镜宏单元中对应于第一波段的光学窄带滤镜所覆盖的像素按序组成为第一波段窄带光谱图像；将M1*M2个所述光学滤镜宏单元中对应于第二波段的光学窄带滤镜所覆盖的像素按序组成为第二波段窄带光谱图像；类似地获取第三，第四，…,第N波段窄带光谱图像；

第二步，计算出每个位置每个窄带波段图像的散焦模糊度F，所述散焦模糊度F根据能量最大值法、爬山算法、灰度梯度法、点扩散函数半径、基于傅里叶变换的空间频域分析中的一种或者多种进行计算；

第三步，根据所述的N个波段光谱图像散的焦模糊度对比关系，对照不同窄带波段图像的散焦模糊度F与物体距离关系，获得图像每一像素所对应位置XY的深度信息Z；所述散焦模糊度F与物体距离关系为：当物体在光学成像系统焦面上时，中间波段散焦最小，当物体在远离光学成像系统焦面时，长波段散焦最小，当物体在靠近光学成像系统焦面时，短波段和长波段图像的散焦最小。

还包含图像每点(X,Y)深度位置在焦前焦后判断步骤，具体来说：

①如果短波长窄带光谱图像比长波长窄带光谱图像具有更小的散焦模糊度F，则该点处在比所述光学成像系统聚焦面更近的位置；

②反之如果长波长窄带光谱图像比短波长窄带光谱图像具有更小的散焦模糊度F，则该点处在比焦面更远的位置。

本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。凡在本发明的构思和技术方案之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种单目窄带多光谱立体视觉系统，其特征在于包括：一个对不同波段可见光具有不同焦距的光学成像镜头、一个通道数N≥4的窄带多光谱图像传感器；一个对图像进行处理分析的图像处理单元；所述光学成像镜头沿着轴向具有色差；

所述光学成像镜头与所述多光谱图像传感器机械相连，所述多光谱图像传感器的光电转换平面放置在所述光学成像镜头的成像面上，而且两者同光轴设置，所述多光谱图像传感器与所述图像处理单元电相连；

所述多光谱图像传感器包含一个光学滤片和一个黑白图像传感器，所述光学滤片紧贴在所述黑白图像传感器的有效光电转换平面上，所述光学滤片包含有阵列设置的光学滤镜宏单元；所述光学滤镜宏单元在横向上按周期排列的个数M1≥10个、纵向上按周期排列的个数M2≥10个；

所述光学滤镜宏单元包含N≥4的空间位置互不重叠且波段各不相同的光学窄带滤镜；并且每个所述光学滤镜宏单元覆盖整数个所述黑白图像传感器的像素。

2.根据权利要求1所述的一种单目窄带多光谱立体视觉系统，其特征在于：所述光学滤片的几何尺寸为长度不超过5厘米，宽度不超过5厘米，厚度不超过1厘米；

所述光学滤片几何尺寸要求完全覆盖所述黑白图像传感器的有效像素。

3.根据权利要求1所述的一种单目窄带多光谱立体视觉系统，其特征在于：每个所述光学窄带滤镜的透光率均高于80％，截止波段低于0.1％；每个所述光学窄带滤镜的波段透光率从低于1％到高于80％过渡区间带宽小于10纳米；每个所述光学窄带滤镜的透光带互不重叠。

4.根据权利要求1所述的一种单目窄带多光谱立体视觉系统，其特征在于：所述光学成像镜头对不同波段的光具有不同折射率，对不同波段光的焦距不同，并且在垂直于光轴方向上对来自同一物点的不同波段的光成像位置差别不大于一个黑白图像传感器的像素。

5.根据权利要求4所述的一种单目窄带多光谱立体视觉系统，其特征在于：所述光学成像镜头对不同波段的光信号的通光孔径大小不同，各个波段的光信号的通光孔径按照递减方式排列，或者递增方式排列。

6.根据权利要求5所述的一种单目窄带多光谱立体视觉系统，其特征在于：所述光学成像镜头包含3个单透镜，具体为两个聚焦用凸透镜中间夹着一个凹透镜。

7.根据权利要求1所述的一种单目窄带多光谱立体视觉系统，其特征在于：所述光学窄带滤镜的每个宏单元包含四个透光带，具体为中心波长分别为λ1、带宽为δλ1的第一波段光学窄带微滤镜单元、中心波长分别为λ2、带宽为δλ2的第二波段光学窄微滤镜单元、中心波长分别为λ3、带宽为δλ3的第三波段光学窄带微滤镜单元、中心波长分别为λ4、带宽为δλ4的第四波段光学窄带微滤镜单元；

所述第一波段中心波长λ1在440纳米到470纳米之间，所述第二波段中心波长λ2在470纳米到540纳米之间，所述第三波段中心波长λ3在540纳米到610纳米之间，所述第四波段中心波长λ4在610纳米到680纳米之间。

8.一种权利要求1至7中任一项所述的单目窄带多光谱立体视觉系统的使用方法，其特征在于包括如下步骤：

第一步，所述图像处理单元分析所述多光谱图像传感器每次曝光所获得的图像，将其在线拆分为N≥4幅窄带光谱图像，拆分方法为将所有M1*M2个光学滤镜宏单元中对应于第一波段的光学窄带微滤镜单元所覆盖的像素按序组成为第一波段窄带光谱图像；将M1*M2个所述光学滤镜宏单元中对应于第二波段的光学窄带微滤镜单元所覆盖的像素按序组成为第二波段窄带光谱图像；类似地获取第三，第四，…,第N波段窄带光谱图像；

第二步，计算出每个位置每个窄带波段图像的散焦模糊度F，所述散焦模糊度F根据能量最大值法、爬山算法、灰度梯度法、点扩散函数半径、基于傅里叶变换的空间频域分析中的一种或者多种进行计算；

第三步，根据N个光谱图像散焦模糊度对比关系，对照不同窄带波段图像的散焦模糊度F与物体距离关系，获得图像每一像素所对应位置XY的深度信息Z。

9.根据权利要求8所述的单目窄带多光谱立体视觉系统的使用方法，其特征在于：还包含图像每点(X,Y)深度位置在焦前焦后判断步骤，具体来说：

①如果某一点的短波长窄带光谱图像比长波长窄带光谱图像具有更小的散焦模糊度F，则该点处在比所述光学成像系统聚焦面更近的位置；

②反之如果某一点的长波长窄带光谱图像比短波长窄带光谱图像具有更小的散焦模糊度F，则该点处在比焦面更远的位置。