CN116320756B

CN116320756B - 基于液态光学调控的单双目组合式深度感知系统及方法

Info

Publication number: CN116320756B
Application number: CN202310574373.9A
Authority: CN
Inventors: 甘子豪; 洪华杰; 刘召阳; 吕建明; 王伟
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2023-05-22
Filing date: 2023-05-22
Publication date: 2023-07-21
Anticipated expiration: 2043-05-22
Also published as: CN116320756A

Abstract

本发明公开了一种基于液态光学调控的单双目组合式深度感知系统及方法，该系统包括两组成像单元；成像单元包括液态可变焦光学模块、CMOS图像传感装置与驱动控制组件；液态可变焦光学模块包括间隔分布的第一液态透镜、第二液态透镜与非球面固体透镜；驱动控制组件用于调节第一液态透镜、第二液态透镜的光焦度。本发明应用于深度感知领域，在深度感知方法中，以液态双目变焦视觉为主、液态单目聚焦测量为辅，通过双目图像或液态单目深度感知数据库匹配得到深度信息，能够克服近距离视野非重叠区域传统双目检测受限的问题，兼顾近距离和中远距离的深度测量需求，提升视觉系统的可测深度范围，满足轻量化、多视场测量应用需求。

Description

基于液态光学调控的单双目组合式深度感知系统及方法

技术领域

本发明涉及深度感知技术领域，具体是一种基于液态光学调控的单双目组合式深度感知系统及方法。

背景技术

微小型机器人因其具备外形尺寸小、机动灵活等独特优势，在国防军事，航空航天、医疗、精密制造等高新技术领域具有极好的应用前景。其中，三维视觉设备是机器人的核心传感模块，其性能优劣直接影响整体系统的智能水平和作业能力，如何实现三维视觉设备的轻量化设计，同时具备高精度、快响应、大范围的测量能力成为微小型机器人发展面临的突出问题与技术挑战。

双目视觉是当前主流的三维视觉测量方法，无需投射光源即可获取目标的深度数据，隐蔽性较好，能够适应复杂环境，在工业上得到广泛应用。目前市场上已推出了部分基于双目视觉的商业产品，比如ZED系列双目相机，其相机模块均采用定焦镜头，当其用于目标检测时由于成像视场不可调，其深度测量精度随距离增大而降低。对此，有学者提出双目变焦视觉系统的设计方案，用大变倍比全固体变焦镜头替代定焦镜头，然而该类镜头通常由数个至数十个透镜和驱动电机组成，将导致系统体量大、结构复杂，难以满足三维视觉载荷轻量化的发展需求。此外，双目系统还存在检测盲区(即近距离目标存在未处于双目成像重叠区域的情况)，使得系统无法获取该目标的深度数据。以上问题制约了立体视觉在微小型机器人的应用与发展。

发明内容

针对上述现有技术中的不足，本发明提供一种基于液态光学调控的单双目组合式深度感知系统及方法，着眼于提升立体视觉系统的可测深度范围，通过将液体光子技术与立体视觉模型相结合，可同时满足轻量化、多视场测量的应用需求。

为实现上述目的，本发明提供一种基于液态光学调控的单双目组合式深度感知系统，包括两组成像单元；

所述成像单元包括液态可变焦光学模块、CMOS图像传感装置与驱动控制组件；

所述液态可变焦光学模块包括第一液态透镜、第二液态透镜与非球面固体透镜，且所述第一液态透镜、所述第二液态透镜、所述非球面固体透镜、所述CMOS图像传感装置依次间隔分布；

所述驱动控制组件分别与所述第一液态透镜、所述第二液态透镜控制相连，以调节所述第一液态透镜、所述第二液态透镜的光焦度。

在其中一个实施例，单双目组合式深度感知系统还包括机壳；

所述第一液态透镜、所述第二液态透镜、所述非球面固体透镜、所述CMOS图像传感装置通过同一光学支撑架设在所述机壳上。

在其中一个实施例，所述驱动控制组件包括液态透镜驱动电路板与上位机；

所述第一液态透镜、所述第二液态透镜分别与所述液态透镜驱动电路板电连接，所述液态透镜驱动电路板与所述上位机电连接；

两组所述成像单元共有一所述上位机。

在其中一个实施例，所述非球面固体透镜采用表面具有局部变形的高次非球面，以用于校正像差。

在其中一个实施例，所述非球面固体透镜表面的曲面方程为：

；

其中，为所述非球面固体的光轴方向，/>为垂直于光轴z、非球面上某点至光轴z的距离，/>为非球面顶点曲率半径，/>为二次曲面系数，/>、/>、/>为高次项系数。

为实现上述目的，本发明还提供一种基于液态光学调控的单双目组合式深度感知方法，采用上述的单双目组合式深度感知系统；

所述单双目组合式深度感知方法包括以下步骤：

步骤1，标定所述单双目组合式深度感知系统；

步骤2，根据成像视野和深度测量需求调节两组成像单元中第一液态透镜的输入电流，以完成所述单双目组合式深度感知系统的成像焦距调整；

步骤3，采用自动调焦算法控制两组成像单元中第二液态透镜的输入电流，以保持两组成像单元成像视场清晰；

步骤4，当仅单组成像单元的视场检测到敏感物体时，则进行步骤5的液态单目测量模式；当两组成像单元的视场均检测到敏感物体时，则等尺寸截取双目图像中包含敏感物体的部分作为特征区域，并计算两个特征区域的相似度，当相似度大于第一阈值时进行步骤6的液态双目测量模式，否则任选一组成像单元进行步骤5的液态单目测量模式；

步骤5，液态单目测量模式：获取对应组成像单元中第二液态透镜在步骤3中的调焦电流，并将该调焦电流代入液态单目深度感知数据库进行匹配，直接得到敏感物体目标区域的深度信息；

步骤6，液态双目测量模式：基于两组成像单元的视场图像进行双目图像匹配，并结合步骤1的标定结果得到敏感物体目标区域的深度信息。

在其中一个实施例，步骤1中，标定所述单双目组合式深度感知系统包括：

液态透镜光焦度-电流关系标定：

使用平行光管结合玻罗板测定在不同电流下单个液态透镜的光焦度值，得到输入电流与光焦度值一一对应的离散数据集，并采用三次曲线方程系数拟合数据集，得到液态透镜光焦度-电流的函数关系；

液态双目内参标定：

基于单个液态透镜的光焦度函数得到成像单元中液态可变焦光学模块的总光焦度，为：

；

其中，为第一液态透镜与第二液态透镜的间距，/>为第二液态透镜与非球面固体透镜的间距，/>、/>、/>分别为第一液态透镜、第二液态透镜及非球面固体透镜的光焦度；

基于总光焦度得到成像单元中液态可变焦光学模块的总焦距/>；

液态双目外参求解标定：

选择所述单双目组合式深度感知系统的变焦范围最小值作为初始焦距，通过张氏标定法得到所述单双目组合式深度感知系统在初始焦距条件下的外参；

在所述单双目组合式深度感知系统光轴未发生漂移的情况下，双目光心位置仅发生平移变换，由于所述单双目组合式深度感知系统为光轴平行式双目，因此变焦过程的光心平移量近似等于系统焦距变化量。

在其中一个实施例，步骤2中，在采用自动调焦算法控制第二液态透镜的输入电流时，以清晰度评价函数的一阶导数为步长调整依据，采用自适应步长搜索对焦位置，具体地：

计算清晰度评价函数的一阶导数，为：

；

其中，为第/>搜索步时清晰度评价函数的一阶导数，/>为第/>搜索步时的图像清晰度评价值，/>为第/>搜索步时的图像清晰度评价值，/>为第搜索步时的调节步长；

判断是否小于第二阈值，若是则在第/>搜索步时令/>，否则在第/>搜索步时令/>，其中，/>为用于变步长加速的调节值。

在其中一个实施例，步骤5中，所述液态单目深度感知数据库的构建过程为：

从小至大选择N组电流作为第一液态透镜的电流可调节范围；

针对第一液态透镜的每组电流，改变被测物体的距离，采用自动调焦方法使成像单元的成像视场始终处于清晰状态，并记录不同物距对应的第二液态透镜的对焦电流值，其中，/>，被测物体的距离值通过激光测距仪测定得到；

针对第一液态透镜的每组电流，分别采用三次样条曲线拟合被测物体的距离与第二液态透镜对焦电流值的函数关系，从而建立所述液态单目深度感知数据库。

与现有技术相比，本发明具有如下有益技术效果：

本发明提供一种基于液态光学调控的单双目组合式深度感知系统及方法，在进行目标深度信息感知时，采用以液态双目变焦视觉为主、液态单目聚焦测量为辅的组合方式，进而能够克服近距离视野非重叠区域传统双目检测受限的问题，兼顾近距离和中远距离的深度测量需求，从而提升被动式三维视觉系统的可测深度范围，同时满足轻量化、多视场测量的应用需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例中单双目组合式深度感知系统的结构示意图；

图2为本发明实施例中单双目组合式深度感知方法的流程图；

图3为本发明实施例中液态单目深度感知数据库的构建流程图。

附图标号：液态可变焦光学模块1、第一液态透镜101、第二液态透镜102、非球面固体透镜103、CMOS图像传感装置2、液态透镜驱动电路板3、上位机4、光学支撑架5、机壳6。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是物理连接或无线通信连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

实施例1

如图1所示为本实施例公开的一种基于液态光学调控的单双目组合式深度感知系统，其主要包括机壳6与两组成像单元。其中，每组成像单元包括液态可变焦光学模块1、CMOS图像传感装置2与驱动控制组件，而液态可变焦光学模块1又由第一液态透镜101、第二液态透镜102与非球面固体透镜103组成，驱动控制组件由液态透镜驱动电路板3与上位机4组成。

在同一组成像单元中，第一液态透镜101、第二液态透镜102、非球面固体透镜103、CMOS图像传感装置2在机壳6上依次间隔分布，驱动控制组件分别与对应组成像单元中的第一液态透镜101、第二液态透镜102控制相连，以调节对应组成像单元中第一液态透镜101、第二液态透镜102的光焦度。

具体地，第一液态透镜101与第二液态透镜102均采用电磁驱动式结构。在同一组成像单元中，第一液态透镜101、第二液态透镜102、非球面固体透镜103、CMOS图像传感装置2通过同一光学支撑架5设在机壳6上。第一液态透镜101、第二液态透镜102分别与液态透镜驱动电路板3电连接，液态透镜驱动电路板3与上位机4电连接，且两组成像单元共有一上位机4。

本实施例中，两组成像单元的光轴平行，且两组成像单元中的液态可变焦光学模块1等价。在同一组成像单元中，第一液态透镜101主要用于改变系统成像焦距，相当于变倍组；第二液态透镜102主要用于成像平面的位置补偿，保持变焦过程中像面稳定，相当于补偿组；非球面固体透镜103用于承担光焦度与校正像差。第一液态透镜101和第二液态透镜102通过数据线与液态透镜驱动电路板3连接，液态透镜驱动电路板3通过数据线与上位机4连接，上位机4可发送通讯指令控制控制输入电流调节第一液态透镜101和第二液态透镜102的光焦度，使得系统在无移动组件的条件下实现光学变焦调焦功能，变倍比不小于2.5。非球面固体透镜103采用高次非球面即在二次曲面的基础上做些修正，面形上表现为局部有微小变形，以校正系统像差，其曲面方程可表示为：

；

其中，为非球面固体的光轴方向，/>为垂直于光轴z、非球面上某点/>至光轴z的距离，即/>；/>为非球面顶点曲率半径，/>为二次曲面系数，/>、/>、/>为高次项系数。

在具体实施过程中，非球面方程的高次项系数通过ZEMAX/ CODEV软件仿真优化得到。此外，CMOS图像传感装置2通过螺纹连接安装于对应的光学支撑架5，两组成像单元的光学支撑架5平行安装于机壳6上，安装的距离间隔为50mm，且CMOS图像传感装置2采集的实时图像通过数据线传输至上位机4上显示、处理。

本实施例中的单双目组合式深度感知系统具有液态单目测量模式与液态双目测量模式。其中，液态单目测量模式指的是仅通过一组成像单元感知得到敏感物体目标区域的深度信息，具体感知过程为通过将该组成像单元中第二液态透镜的调焦电流直接与预先标定的液态单目深度感知数据库进行匹配，进而得到敏感物体目标区域的深度信息。液态双目测量模式则指的是将两组成像单元的视场图像进行双目图像匹配，根据匹配结果即能得到敏感物体目标区域的深度信息。

在具体实施过程中，单双目组合式深度感知系统选择液态单目测量模式或液态双目测量模式的过程为：

当单双目组合式深度感知系统对敏感物体进行深度感知时，若仅单组成像单元的视场检测到敏感物体，则根据该组成像单元进行基于液态单目测量模式的深度感知；若两组成像单元的视场均检测到敏感物体，则等尺寸截取两组成像单元的视场图像中包含敏感物体的部分作为特征区域，并计算两个特征区域的相似度，当相似度大于第一阈值时进行基于液态双目测量模式的深度感知，否则任选一组成像单元进行基于液态单目测量模式的深度感知。

实施例2

基于实施例1中的单双目组合式深度感知系统，本实施例公开了一种基于液态光学调控的单双目组合式深度感知方法，即采用实施例1的单双目组合式深度感知系统对目标进行深度感知。

参考图2，本实施例中的单双目组合式深度感知方法具体包括以下步骤：

步骤1，标定单双目组合式深度感知系统。

对基于液态光学调控的单双目组合式深度感知系统进行标定是实现目标深度测量的重要基础，本实施例中的标定过程具体包括液态透镜光焦度-电流关系标定、液态双目内参标定与液态双目外参求解标定。

对于液态透镜光焦度-电流关系标定，使用平行光管结合玻罗板测定在不同电流下单个液态透镜的光焦度值，得到输入电流与光焦度值一一对应的离散数据集，并采用三次曲线方程系数拟合数据集，即能得到液态透镜光焦度-电流的函数关系，完成液态透镜光焦度-电流关系标定。

对于液态双目内参标定，由于已知单个液态透镜的光焦度函数，因此可基于单个液态透镜的光焦度函数得到成像单元中液态可变焦光学模块的总光焦度，为：

；

因此可基于总光焦度得到成像单元中液态可变焦光学模块的总焦距/>。

对于液态双目外参求解标定，选择单双目组合式深度感知系统的变焦范围最小值作为初始焦距，通过张氏标定法得到单双目组合式深度感知系统在初始焦距条件下的外参。在单双目组合式深度感知系统光轴未发生漂移的情况下，双目光心位置仅发生平移变换，由于单双目组合式深度感知系统为光轴平行式双目，因此变焦过程的光心平移量近似等于系统焦距变化量，可根据系统总焦距函数求得。

步骤2，根据成像视野和深度测量需求调节两组成像单元中第一液态透镜的输入电流，以完成单双目组合式深度感知系统的成像焦距调整。

在进行第一液态透镜的输入电流调节时，可根据成像视野和深度测量需求预设若干个电流档位，例如对于第一液态透镜的输入电流可从小至大设置五个可选电流值、/>、、/>、/>。当深度感知测量的场景为宽视场、近距离测量时，则采用大电流对应短焦段，例如/>或/>；当深度感知测量的场景为窄视场、远距离测量时，则采用小电流对应长焦段，例如/>、/>或/>。值得注意的是，在具体实施过程中第一液态透镜预设的电流档位并不局限于五个，也可以是其它数量，例如对于第一液态透镜的输入电流可从小至大设置五个可选电流值I₁、I₂、···、I_N，其中N为任意大于或等于1的自然数。

步骤3，采用自动调焦算法控制两组成像单元中第二液态透镜的输入电流，以保持两组成像单元成像视场清晰。

在进行第二液态透镜的输入电流调节时，自动调焦的清晰度评价采用Tenengrad评价函数，对焦位置搜索采用自适应步长的调焦策略，以清晰度评价函数的一阶导数为步长调整依据，清晰度评价函数在第搜索步时的一阶导数可表示为：

；

其中，为第/>搜索步时清晰度评价函数的一阶导数，/>为第/>搜索步时的图像清晰度评价值，/>为第/>搜索步时的图像清晰度评价值，/>为第/>搜索步时的调节步长；

自适应步长即判断是否小于第二阈值，若是则在第/>搜索步时令，否则在第/>搜索步时令/>，其中，/>为用于变步长加速的调节值。

步骤4，应用yolov5算法检测两组成像单元视场中的敏感物体：当仅单组成像单元的视场检测到敏感物体时，则进行步骤5的液态单目测量模式；当两组成像单元的视场均检测到敏感物体时，则等尺寸截取双目图像中包含敏感物体的部分作为特征区域，并采用SSIM算法计算两个特征区域的相似度，当相似度大于第一阈值s时进行步骤6的液态双目测量模式，否则任选一组成像单元进行步骤5的液态单目测量模式。

步骤5，液态单目测量模式：获取对应组成像单元中第二液态透镜在步骤3中的调焦电流，并将该调焦电流代入液态单目深度感知数据库进行匹配，直接得到敏感物体目标区域的深度信息。

参考图3，液态单目深度感知数据库的构建过程为：

从小至大选择N组电流作为第一液态透镜的电流可调节范围；

针对第一液态透镜的每组电流，分别采用三次样条曲线拟合被测物体的距离与第二液态透镜对焦电流值的函数关系，从而建立液态单目深度感知数据库。

步骤6，液态双目测量模式：基于两组成像单元的视场图像采用SGBM算法进行双目图像匹配，再根据标定的内外参数得到敏感物体目标区域的深度信息。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims

1.一种基于液态光学调控的单双目组合式深度感知系统，其特征在于，包括两组成像单元；

所述驱动控制组件分别与所述第一液态透镜、所述第二液态透镜控制相连，以调节所述第一液态透镜、所述第二液态透镜的光焦度；

所述单双目组合式深度感知系统具有液态单目测量模式与液态双目测量模式：

当仅单组成像单元的视场检测到敏感物体时，进行液态单目测量模式；

当两组成像单元的视场均检测到敏感物体时，则等尺寸截取双目图像中包含敏感物体的部分作为特征区域，并计算两个特征区域的相似度，当相似度大于第一阈值时进行液态双目测量模式，否则任选一组成像单元进行液态单目测量模式；

其中：

液态单目测量模式为获取对应组成像单元成像视场清晰时第一液态透镜和第二液态透镜的调焦电流，并将第一液态透镜和第二液态透镜的调焦电流代入液态单目深度感知数据库进行匹配，直接得到敏感物体目标区域的深度信息；

液态双目测量模式为基于两组成像单元的视场图像进行双目图像匹配得到敏感物体目标区域的深度信息。

2.根据权利要求1所述的基于液态光学调控的单双目组合式深度感知系统，其特征在于，还包括机壳；

3.根据权利要求1所述的基于液态光学调控的单双目组合式深度感知系统，其特征在于，所述驱动控制组件包括液态透镜驱动电路板与上位机；

两组所述成像单元共有一所述上位机。

4.根据权利要求1或2或3所述的基于液态光学调控的单双目组合式深度感知系统，其特征在于，所述非球面固体透镜采用表面具有局部变形的高次非球面，以用于校正像差。

5.根据权利要求4所述的基于液态光学调控的单双目组合式深度感知系统，其特征在于，所述非球面固体透镜表面的曲面方程为：

，

其中，为所述非球面固体的光轴方向，/>为垂直于光轴z、非球面上某点至光轴z的距离，为非球面顶点曲率半径，/>为二次曲面系数，/>、/>、/>为高次项系数。

6.一种基于液态光学调控的单双目组合式深度感知方法，其特征在于，采用权利要求1至5任一项所述的单双目组合式深度感知系统；

所述单双目组合式深度感知方法包括以下步骤：

步骤1，标定所述单双目组合式深度感知系统；

7.根据权利要求6所述的基于液态光学调控的单双目组合式深度感知方法，其特征在于，步骤1中，标定所述单双目组合式深度感知系统包括：

液态透镜光焦度-电流关系标定：

液态双目内参标定：

，

液态双目外参求解标定：

8.根据权利要求6所述的基于液态光学调控的单双目组合式深度感知方法，其特征在于，步骤2中，在采用自动调焦算法控制第二液态透镜的输入电流时，以清晰度评价函数的一阶导数为步长调整依据，采用自适应步长搜索对焦位置，具体地：

计算清晰度评价函数的一阶导数，为：

，

判断是否小于第二阈值，若是则在第/>搜索步时令/>，否则在第搜索步时令/>，其中，/>为用于变步长加速的调节值。

9.根据权利要求6所述的基于液态光学调控的单双目组合式深度感知方法，其特征在于，步骤5中，所述液态单目深度感知数据库的构建过程为：

从小至大选择N组电流I₁、I₂、···、I_N作为第一液态透镜的电流可调节范围；

针对第一液态透镜的每组电流I_i，改变被测物体的距离，采用自动调焦方法使成像单元的成像视场始终处于清晰状态，并记录不同物距对应的第二液态透镜的对焦电流值，其中，i=1,···,N，被测物体的距离值通过激光测距仪测定得到；

针对第一液态透镜的每组电流I_i，分别采用三次样条曲线拟合被测物体的距离与第二液态透镜对焦电流值的函数关系，从而建立所述液态单目深度感知数据库。