CN115355887B - 基于液态仿生视觉的两级单目深度测量方法、系统和介质 - Google Patents

基于液态仿生视觉的两级单目深度测量方法、系统和介质 Download PDF

Info

Publication number
CN115355887B
CN115355887B CN202211299599.4A CN202211299599A CN115355887B CN 115355887 B CN115355887 B CN 115355887B CN 202211299599 A CN202211299599 A CN 202211299599A CN 115355887 B CN115355887 B CN 115355887B
Authority
CN
China
Prior art keywords
equivalent
lens
liquid
distance
focal length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211299599.4A
Other languages
English (en)
Other versions
CN115355887A (zh
Inventor
吕建明
甘子豪
洪华杰
陈亚萍
刘召阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202211299599.4A priority Critical patent/CN115355887B/zh
Publication of CN115355887A publication Critical patent/CN115355887A/zh
Application granted granted Critical
Publication of CN115355887B publication Critical patent/CN115355887B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

本申请涉及一种基于液态仿生视觉的两级单目深度测量方法、系统和介质。所述方法包括：首先，采用多项式拟合方式确定液态仿生透镜的焦距与控制电压的调节函数，基于单目光学系统的等效焦距及相似三角形关系式确定固态透镜主平面与单目光学系统的等效焦点之间的第一距离、固态透镜主平面与单目光学系统的等效主平面之间的第二距离及等效像距，并结合高斯等效公式，得到控制电压和物距的非线性映射模型，利用自动对焦算法调节液态仿生透镜的控制电压对目标测量区域进行对焦，根据清晰度评价函数的变化确定控制电压，代入非线性映射模型以获取目标测量区域的深度信息。采用本方法能够解决测量范围与测量精度之间的矛盾及测量目标无限制等优点。

Description

基于液态仿生视觉的两级单目深度测量方法、系统和介质
技术领域
本申请涉及视觉检测技术领域，特别是涉及一种基于液态仿生视觉的两级单目深度测量方法、系统和介质。
背景技术
随着微小型无人系统技术的不断发展，对其搭载的光电载荷平台提出了小型化、轻量化、可快速响应等应用需求。由于战场军事目标的空间位置信息是把握战场态势、指挥决策和精确打击的重要依据，因此，无人平台搭载的视觉设备要求既能从环境中检测出敏感目标，又能同时获取该目标对应的深度信息。基于视觉的深度测量方法主要包括单目和双目。双目视觉检测技术虽然相对成熟、市场化程度高，但算法结构较复杂，图像匹配容易受到干扰而造成误差，同时在应用于微小型无人系统时其负载问题也是需要考虑的。而单目视觉检测通常仅使用单个相机实现深度信息的获取，因其设备简单、体量较小等优势有望应用于微小型无人平台的视觉系统。
目前传统技术中的单目深度测量方法主要是采用定焦镜头对相机的内外参标定后，根据目标的先验信息（目标的尺寸和相机高度等信息）和目标在相机成像的图像信息进行计算，使用要求较高。此外，还有一些对于单目深度测量，采用深度学习技术方法，通过设计深度神经网络对目标深度信息进行学习，以实现对特定目标的距离估计，该方法需要大量的训练样本数据，精度一般。综上，传统技术中在单目深度测量领域已有许多研究成果，但深度仍存在一些不足，如针对单目测距所提出的方法，都需要对目标或视觉装置的先验信息获取，如目标的尺寸、相机姿态等，且基本上只能对特定目标进行测距、使用要求较高、测量精度一般。
发明内容
基于此，有必要针对上述技术问题，提供一种能够目标解决测量范围与测量精度之间的矛盾问题的基于液态仿生视觉的两级单目深度测量方法、系统和介质。
一种基于液态仿生视觉的两级单目深度测量方法，方法包括：
获取单目光学系统的等效焦距；单目光学系统沿光轴设置固态透镜与液态仿生透镜；
采用多项式拟合方式确定液态仿生透镜的焦距与控制电压的调节函数；
获取固态透镜主平面与单目光学系统的等效焦点之间的第一距离、固态透镜主平面与单目光学系统的等效主平面之间的第二距离以及等效像距；
将等效焦距、等效像距以及调节函数输入预先构建的高斯等效公式，得到控制电压和物距的非线性映射模型；其中，高斯等效公式表示等效物距和等效像距与等效焦距之间的关系；
采用预先设置的自动对焦算法，通过调节控制电压，对目标测量区域进行自动对焦，并且输出对焦后的物距及其深度信息。
在其中一个实施例中，还包括：根据液态仿生透镜的变焦距、固态透镜的定焦距及两块透镜之间的距离，确定等效焦距的值，公式表示为：
Figure 814329DEST_PATH_IMAGE002
式中
Figure 918551DEST_PATH_IMAGE004
为等效焦距，
Figure 543568DEST_PATH_IMAGE006
为液态仿生透镜的变焦距，
Figure 432633DEST_PATH_IMAGE008
为固态透镜的定焦距，
Figure 775889DEST_PATH_IMAGE010
为两块透镜之间的距离。
在其中一个实施例中，还包括：通过焦距测量仪对液态仿生透镜在不同电压下的焦距实验进行测量，获得液态仿生透镜的焦距初始数据；
对液态仿生透镜的焦距初始数据进行多项式插值拟合，得到液态仿生透镜的焦距与控制电压的调节函数，公式表示为：
Figure 683803DEST_PATH_IMAGE012
式中，
Figure 428905DEST_PATH_IMAGE014
为光焦度，用液态仿生透镜变焦距的倒数值表示，U为电压，通过已知数据集可以得到拟合函数
Figure 255915DEST_PATH_IMAGE016
和已知数据点
Figure 820889DEST_PATH_IMAGE018
之间的误差，进而得到误差函数
Figure 266914DEST_PATH_IMAGE020
，根据误差最小化原则可以确定调节函数中权系数
Figure 991156DEST_PATH_IMAGE022
，其中，
Figure 598855DEST_PATH_IMAGE024
为已知数据集的样本值。
在其中一个实施例中，还包括：当液态仿生透镜的光焦度值为负时，液态仿生透镜起发散作用，点光源入射光线与折射光线组成的三角形符合相似三角形关系式：
Figure 916704DEST_PATH_IMAGE026
式中，
Figure 25474DEST_PATH_IMAGE028
表示点光源平行入射高度，
Figure 745168DEST_PATH_IMAGE030
表示点光源经液态仿生透镜折射后到达固态透镜的高度，
Figure 789348DEST_PATH_IMAGE032
表示固态透镜主平面与单目光学系统的等效焦点之间的第一距离。
根据相似三角形关系式，分别获取固态透镜主平面与单目光学系统的等效焦点之间的第一距离
Figure 955012DEST_PATH_IMAGE032
、固态透镜主平面与单目光学系统的等效主平面之间的第二距离
Figure 742840DEST_PATH_IMAGE034
及等效像距
Figure 317040DEST_PATH_IMAGE036
，公式表示为：
Figure 391176DEST_PATH_IMAGE038
Figure 418037DEST_PATH_IMAGE040
Figure 9556DEST_PATH_IMAGE042
式中，
Figure 438263DEST_PATH_IMAGE044
表示固态透镜主平面与单目光学系统的相机传感器之间的第三距离。
当液态仿生透镜的光焦度为正时，液态仿生透镜起汇聚作用，点光源入射光线与折射光线组成的三角形符合相似三角形关系式：
Figure 948879DEST_PATH_IMAGE046
根据相似三角形关系式，固态透镜主平面与单目光学系统的等效焦点之间的第一距离
Figure 463037DEST_PATH_IMAGE048
、固态透镜主平面与单目光学系统的等效主平面之间的第二距离
Figure 592667DEST_PATH_IMAGE050
及等效像距
Figure 514DEST_PATH_IMAGE052
，公式表示为：
Figure 822977DEST_PATH_IMAGE054
Figure 558852DEST_PATH_IMAGE056
Figure 115342DEST_PATH_IMAGE058
。
在其中一个实施例中，还包括：高斯等效公式表示为：
Figure 253062DEST_PATH_IMAGE060
式中，u c 表示当目标处于正焦状态时的等效物距；
将等效焦距、等效像距以及调节函数输入预先构建的高斯等效公式，得到控制电压和物距的非线性映射模型，公式表示为：
Figure 246426DEST_PATH_IMAGE062
。
在其中一个实施例中，还包括：设置液态仿生透镜的起始控制电压；
采用长步长∆U1对控制电压进行递增以调节对焦区域的清晰度；
通过图像清晰度评价函数计算对焦区域的清晰度评价值并存储；
当清晰度评价值开始下降时，采用短步长∆U2对控制电压进行递减，直到清晰度评价值达到最高；
对液态仿生透镜施加清晰度评价值最高时的控制电压值，则对焦成功。
在其中一个实施例中，还包括：将单目光学系统对焦后的控制电压值，输入控制电压和物距的非线性映射模型，得到对焦后的物距。
在其中一个实施例中，还包括：获取单目光学系统的等效焦距之前，还包括：
对两级视觉装置的相对位姿参数进行标定；两级视觉装置包括：广角测量系统和长焦测量系统；
采用预先设置的自动对焦算法，通过调节控制电压，对单目光学系统进行自动对焦之后，还包括：
通过广角视觉测量系统对目标深度初步感知，确定不同等级的视觉测量系统。
一种基于液态仿生视觉的两级单目深度测量系统，系统包括：
等效焦距获取模块，用于获取单目光学系统的等效焦距；单目光学系统沿光轴设置固态透镜与液态仿生透镜；
调节函数确定模块，用于采用多项式拟合方式确定液态仿生透镜的焦距与控制电压的调节函数；
位置获取模块，用于获取固态透镜主平面与单目光学系统的等效焦点之间的第一距离、固态透镜主平面与单目光学系统的等效主平面之间的第二距离以及等效像距；
非线性映射模型确定模块，用于将等效焦距、等效像距以及调节函数输入预先构建的高斯等效公式，得到控制电压和物距的非线性映射模型；其中，高斯等效公式表示等效物距和等效像距与等效焦距之间的关系；
深度信息获取模块，用于采用预先设置的自动对焦算法，通过调节控制电压，对目标测量区域进行自动对焦，并且输出对焦后的物距及其深度信息。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取单目光学系统的等效焦距；单目光学系统沿光轴设置固态透镜与液态仿生透镜；
采用多项式拟合方式确定液态仿生透镜的焦距与控制电压的调节函数；
获取固态透镜主平面与单目光学系统的等效焦点之间的第一距离、固态透镜主平面与单目光学系统的等效主平面之间的第二距离以及等效像距；
将等效焦距、等效像距以及调节函数输入预先构建的高斯等效公式，得到控制电压和物距的非线性映射模型；其中，高斯等效公式表示等效物距和等效像距与等效焦距之间的关系；
采用预先设置的自动对焦算法，通过调节控制电压，对目标测量区域进行自动对焦，并且输出对焦后的物距及其深度信息。
上述基于液态仿生视觉的两级单目深度测量方法、系统和介质，首先，采用多项式拟合方式确定液态仿生透镜的焦距与控制电压的调节函数，基于单目光学系统的等效焦距及相似三角形关系式确定固态透镜主平面与单目光学系统的等效焦点之间的第一距离、固态透镜主平面与单目光学系统的等效主平面之间的第二距离及等效像距，并结合高斯等效公式，得到控制电压和物距的非线性映射模型，利用自动对焦算法调节液态仿生透镜的控制电压对目标测量区域进行对焦，根据清晰度评价函数的变化确定控制电压，代入非线性映射模型以获取目标测量区域的深度信息，解决了测量范围与测量精度之间的矛盾，具有测量目标无限制、简单、轻量化、使用要求低等优点。
附图说明
图1为一个实施例中基于液态仿生视觉的两级单目深度测量方法流程示意图；
图2为一个实施例中两级视觉装置结构示意图；
图3为一个实施例中液态仿生透镜液面状态（光焦度为负）示意图；
图4为一个实施例中液态仿生透镜液面状态（光焦度为零）示意图；
图5为一个实施例中液态仿生透镜液面状态（光焦度为正）示意图；
图6为一个实施例中液态仿生透镜光焦度为负时镜头成像光路简图；
图7为一个实施例中液态仿生透镜光焦度为正时镜头成像光路简图；
图8为一个实施例中自动对焦算法流程图；
图9为一个实施例中基于液态仿生视觉的两级单目深度测量系统结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处实施例的示例在附图中示出，其中相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。如下通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在一个实施例中，如图1所示，提供了一种基于液态仿生视觉的两级单目深度测量方法，该方法可以应用于终端中，包括以下步骤：
步骤102，获取单目光学系统的等效焦距；单目光学系统沿光轴设置固态透镜与液态仿生透镜。
本实施例中，固态透镜的焦距是一个固定值，液态仿生透镜可以实现变焦功能，在施加不同电压时液态仿生透镜内的液体会呈现不同的形状。附图3、4、5中，液态仿生透镜11的导电液体14为水、绝缘液体15为油。在不同电压下，油性液体可呈凹液面、平面和凸液面三种状态：当光焦度为负时，油性液体呈凹液面状态，如图3所示；当光焦度为0时，油性液体呈平面状态，如图4所示；当光焦度为正时，油性液体呈凸液面状态，如图5所示。因此可以通过调整外加电压来改变液体交界面的曲率半径，进而改变液态仿生透镜的焦距。
步骤104，采用多项式拟合方式确定液态仿生透镜的焦距与控制电压的调节函数。
本实施例中，由于液态仿生透镜的光焦度（焦距的倒数）与控制电压之间的变化关系未知，因此可以通过焦距测量仪对液态仿生透镜在不同电压下的焦距实验进行测量，获得液态仿生透镜的焦距初始数据，然后对焦距初始数据进行多项式插值拟合，得到液态仿生透镜的焦距与控制电压的调节函数。
步骤106，获取固态透镜主平面与单目光学系统的等效焦点之间的第一距离、固态透镜主平面与单目光学系统的等效主平面之间的第二距离以及等效像距。
本实施例中，固态透镜主平面与单目光学系统的等效焦点之间的第一距离、固态透镜主平面与单目光学系统的等效主平面之间的第二距离以及等效像距根据液态仿生透镜的变焦距值、固态透镜的定焦距值、两块透镜之间的距离、固态透镜主平面与单目光学系统的相机传感器之间的第三距离及光路简图中的相似三角形关系式确定。
步骤108，将等效焦距、等效像距以及调节函数输入预先构建的高斯等效公式，得到控制电压和物距的非线性映射模型；其中，高斯等效公式表示等效物距和等效像距与等效焦距之间的关系。
本实施例中，高斯等效公式是最基本的成像公式，反应了物与像之间的因果关系，即物距的倒数加上像距的倒数等于焦距的倒数。本发明中以图6为例，点光源O发出的光线汇聚至薄透镜后O'处，其中物距为u，像距为v，镜头焦距为f，这三个变量的关系满足高斯光学公式，即
Figure 735176DEST_PATH_IMAGE064
。当推广到一个目标时，相机传感器上的成像可以视为多个点光源同时成像的结果。当目标在相机传感器上完全清晰成像时，可视为处于正焦状态，则应当满足上述高斯等效模型，从而可推得物距：
Figure 331242DEST_PATH_IMAGE066
，结合液态仿生透镜的焦距与控制电压的调节函数，进而得到控制电压和物距的非线性映射模型。
步骤110，采用预先设置的自动对焦算法，通过调节控制电压，对目标测量区域进行自动对焦，并且输出对焦后的物距及其深度信息。
本实施例中，自动对焦算法是基于爬山搜索策略和Tenengrad图像清晰度评价函数产生的。如图8所示，首先相机获取目标的图像信息并传入计算机中；在计算机中构建对焦区域；初始选择粗搜索策略，设置液态仿生透镜的起始电压，并采用长步长∆U1递增，通过清晰度评价函数对对焦区域进行计算，得到清晰度评价值并存储；当清晰度评价值开始下降时，采用短步长∆U2进行反向精搜索，搜索清晰度评价值最高时对应的电压值，此时对液态仿生透镜施加此电压则对焦成功。将此控制电压值，输入控制电压和物距的非线性映射模型，可以实现对目标深度的测量。
上述基于液态仿生视觉的两级单目深度测量方法中，首先，采用多项式拟合方式确定液态仿生透镜的焦距与控制电压的调节函数，基于单目光学系统的等效焦距及相似三角形关系式确定固态透镜主平面与单目光学系统的等效焦点之间的第一距离、固态透镜主平面与单目光学系统的等效主平面之间的第二距离及等效像距，并结合高斯等效公式，得到控制电压和物距的非线性映射模型，利用自动对焦算法调节液态仿生透镜的控制电压对目标测量区域进行对焦，根据清晰度评价函数的变化确定控制电压，代入非线性映射模型以获取目标测量区域的深度信息。解决了测量范围与测量精度之间的矛盾，具有简单、轻量化、运算速度快、不需要先验信息等优点。
在其中一个实施例中，根据液态仿生透镜的变焦距、固态透镜的定焦距及两块透镜之间的距离，确定等效焦距的值，公式表示为：
Figure DEST_PATH_IMAGE068
式中
Figure DEST_PATH_IMAGE070
为等效焦距，
Figure DEST_PATH_IMAGE072
为液态仿生透镜的变焦距，
Figure DEST_PATH_IMAGE074
为固态透镜的定焦距，
Figure DEST_PATH_IMAGE076
为两块透镜之间的距离。
在其中一个实施例中，采用多项式拟合方式确定液态仿生透镜的焦距与控制电压的调节函数，步骤包括：
通过焦距测量仪对液态仿生透镜在不同电压下的焦距实验进行测量，获得液态仿生透镜的焦距初始数据；
对液态仿生透镜的焦距初始数据进行多项式插值拟合，得到液态仿生透镜的焦距与控制电压的调节函数，公式表示为：
Figure DEST_PATH_IMAGE078
式中，
Figure DEST_PATH_IMAGE080
为光焦度，用液态仿生透镜变焦距的倒数值表示，U为电压，通过已知数据集可以得到拟合函数
Figure DEST_PATH_IMAGE082
和已知数据点
Figure DEST_PATH_IMAGE084
之间的误差，进而得到误差函数
Figure DEST_PATH_IMAGE086
，根据误差最小化原则可以确定调节函数中权系数
Figure DEST_PATH_IMAGE088
。其中，
Figure DEST_PATH_IMAGE090
为已知数据集的样本值。
在其中一个实施例中，当液态仿生透镜的光焦度值为负（即液态仿生透镜11为凹液面）时，如图6所示，液态仿生透镜起发散作用，点光源入射光线与折射光线组成的三角形符合相似三角形关系式：
Figure DEST_PATH_IMAGE092
式中，
Figure DEST_PATH_IMAGE094
表示点光源平行入射高度（即与光轴距离），
Figure DEST_PATH_IMAGE096
表示点光源经液态仿生透镜折射后到达固态透镜的高度，
Figure DEST_PATH_IMAGE098
表示固态透镜主平面与单目光学系统的等效焦点之间的第一距离。
根据相似三角形关系式，分别获取固态透镜主平面与单目光学系统的等效焦点之间的第一距离
Figure DEST_PATH_IMAGE100
、固态透镜主平面与单目光学系统的等效主平面之间的第二距离
Figure DEST_PATH_IMAGE102
及等效像距
Figure DEST_PATH_IMAGE104
，公式表示为：
Figure DEST_PATH_IMAGE106
Figure DEST_PATH_IMAGE108
Figure DEST_PATH_IMAGE110
式中，
Figure DEST_PATH_IMAGE112
表示固态透镜主平面与单目光学系统的相机传感器之间的第三距离。
当液态仿生透镜的光焦度为正（即液态仿生透镜11为凸液面）时，如图7所示，液态仿生透镜起汇聚作用，点光源入射光线与折射光线组成的三角形符合相似三角形关系式：
Figure DEST_PATH_IMAGE114
根据相似三角形关系式，分别获取固态透镜主平面与单目光学系统的等效焦点之间的第一距离
Figure DEST_PATH_IMAGE116
、固态透镜主平面与单目光学系统的等效主平面之间的第二距离
Figure DEST_PATH_IMAGE118
及等效像距
Figure DEST_PATH_IMAGE120
，公式表示为：
Figure DEST_PATH_IMAGE122
Figure DEST_PATH_IMAGE124
Figure DEST_PATH_IMAGE126
。
在其中一个实施例中，高斯等效公式表示等效物距和等效像距与等效焦距之间的关系，公式表示为：
Figure DEST_PATH_IMAGE128
式中，u c 表示当目标处于正焦状态时的等效物距；
将等效焦距、等效像距以及调节函数输入预先构建的高斯等效模型，得到控制电压和物距的非线性映射模型，公式表示为：
Figure DEST_PATH_IMAGE130
。
在其中一个实施例中，采用预先设置的自动对焦算法，调节控制电压，对单目光学系统进行自动对焦，步骤包括：
设置液态仿生透镜的起始控制电压；
采用长步长∆U1对控制电压进行递增以调节对焦区域的清晰度；
通过图像清晰度评价函数计算对焦区域的清晰度评价值并存储；
当清晰度评价值开始下降时，采用短步长∆U2对控制电压进行递减，直到清晰度评价值达到最高；
对液态仿生透镜施加清晰度评价值最高时的控制电压值，则对焦成功。
本实施例中，图像清晰度评价函数是一种基于空域的图像清晰度评价函数，采用Sobel算子（索贝尔算子）分别提取对焦区域水平方向和垂直方向的梯度值，并将所有的梯度值加和便得到图像的清晰度评价值，通过自动对焦算法来评价对焦是否成功，并以此变化作为搜索策略的选择依据。
在其中一个实施例中，将单目光学系统对焦后的控制电压值，输入控制电压和物距的非线性映射模型，得到对焦后的物距。
在其中一个实施例中，获取单目光学系统的等效焦距之前，还包括：对两级视觉装置的相对位姿参数进行标定。
本实施例中，两级视觉装置包括：广角测量系统和长焦测量系统，如图2所示，具体包括镜头模组（101或102）、成像装置201、数据线30、控制终端40、液态仿生透镜驱动板50、底座60。短焦级安装架61和长焦级安装架62平行安装于底座60，短焦级镜头模组101与短焦级成像装置21通过螺纹连接安装于短焦级安装架61，长焦级镜头模组102与长焦级成像装置22通过螺纹连接安装于长焦级安装架62。短焦级镜头模组101包括液态仿生透镜11和短焦固态透镜12，液态仿生透镜11位于短焦固态透镜12的背向成像装置201一侧。长焦级镜头模组与短焦级结构相同，须将短焦固态透镜12替换为长焦固态透镜13，成像装置201可以为相机，控制终端40可以为计算机。短焦级成像装置21与控制终端40通过数据线30连接并通讯，控制终端40、液态仿生透镜驱动板50与液态仿生透镜11通过数据线30连接并通信。长焦级部分与短焦级连接方式相同。控制终端40载有非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述实施例的基于液态仿生视觉的两级单目深度测量方法。
对两级视觉装置的相对位姿参数进行标定，步骤如下：
分别对广角测量系统和长焦测量系统采用张氏标定法进行标定，得到各自内参和畸变参数；
通过广角测量系统和长焦测量系统各自内参矩阵，将图像上的相同点转化至同一标定图的内角点相同世界坐标，得到两级单目标定参数的旋转矩阵和平移矩阵；
根据两级单目标定参数的旋转矩阵和平移矩阵，得到两级视觉装置的相对位姿参数。
采用预先设置的自动对焦算法，通过调节控制电压，对单目光学系统进行自动对焦之后，还包括：通过广角视觉测量系统对目标深度初步感知，确定不同等级的视觉测量系统。
具体地，使用广角测量模式进行初始距离测量判断是否在广角距离测量范围；
当初始距离在广角距离测量范围时，根据深度测量算法测得目标深度值；
当初始距离不在广角距离测量范围时，则使用长焦测量模式进行远距离目标深度值测量；
根据标定的相对位姿参数，对长焦测量得到的数据进行修正。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种基于液态仿生视觉的两级单目深度测量系统，包括：等效焦距获取模块902、调节函数确定模块904、位置获取模块906、非线性映射模型确定模块908和深度信息获取模块910，其中：
等效焦距获取模块902，用于获取单目光学系统的等效焦距；单目光学系统沿光轴设置固态透镜与液态仿生透镜。
调节函数确定模块904，用于采用多项式拟合方式确定液态仿生透镜的焦距与控制电压的调节函数。
位置获取模块906，用于获取固态透镜主平面与单目光学系统的等效焦点之间的第一距离、固态透镜主平面与单目光学系统的等效主平面之间的第二距离以及等效像距。
非线性映射模型确定模块908，用于将等效焦距、等效像距以及调节函数输入预先构建的高斯等效公式，得到控制电压和物距的非线性映射模型；其中，高斯等效公式表示等效物距和等效像距与等效焦距之间的关系。
深度信息获取模块910，用于采用预先设置的自动对焦算法，通过调节控制电压，对目标测量区域进行自动对焦，并且输出对焦后的物距及其深度信息。
关于基于液态仿生视觉的两级单目深度测量系统的具体限定可以参见上文中对于基于液态仿生视觉的两级单目深度测量方法的限定，在此不再赘述。上述基于液态仿生视觉的两级单目深度测量系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于液态仿生视觉的两级单目深度测量方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于液态仿生视觉的两级单目深度测量方法，其特征在于，所述方法包括：
获取单目光学系统的等效焦距；所述单目光学系统沿光轴设置固态透镜与液态仿生透镜；
采用多项式拟合方式确定所述液态仿生透镜的焦距与控制电压的调节函数；
获取所述固态透镜主平面与所述单目光学系统的等效焦点之间的第一距离、所述固态透镜主平面与所述单目光学系统的等效主平面之间的第二距离以及等效像距；
将所述等效焦距、所述等效像距以及所述调节函数输入预先构建的高斯等效公式，得到所述控制电压和物距的非线性映射模型；其中，所述高斯等效公式表示等效物距和等效像距与等效焦距之间的关系；
采用预先设置的自动对焦算法，通过调节所述控制电压，对目标测量区域进行自动对焦，并且输出对焦后的物距及其深度信息；
所述获取单目光学系统的等效焦距之前，还包括：
对两级视觉装置的相对位姿参数进行标定；所述两级视觉装置包括：广角测量系统和长焦测量系统。
2.根据权利要求1所述的方法，其特征在于，根据所述液态仿生透镜的变焦距、所述固态透镜的定焦距及两块透镜之间的距离，确定所述等效焦距的值，公式表示为：
Figure 992886DEST_PATH_IMAGE002
式中
Figure 441185DEST_PATH_IMAGE004
为等效焦距，
Figure 519124DEST_PATH_IMAGE006
为液态仿生透镜的变焦距，
Figure 711071DEST_PATH_IMAGE008
为固态透镜的定焦距，
Figure 56602DEST_PATH_IMAGE010
为两块透镜之间的距离。
3.根据权利要求2所述的方法，其特征在于，所述采用多项式拟合方式确定所述液态仿生透镜的焦距与控制电压的调节函数，步骤包括：
通过焦距测量仪对液态仿生透镜在不同电压下的焦距实验进行测量，获得所述液态仿生透镜的焦距初始数据；
对所述液态仿生透镜的焦距初始数据进行多项式插值拟合，得到所述液态仿生透镜的焦距与控制电压的调节函数，公式表示为：
Figure 410223DEST_PATH_IMAGE012
式中，
Figure 208415DEST_PATH_IMAGE014
为光焦度，用液态仿生透镜变焦距的倒数值表示，U为电压，通过已知数据集可以得到拟合函数
Figure 204052DEST_PATH_IMAGE016
和已知数据点
Figure 404090DEST_PATH_IMAGE018
之间的误差，进而得到误差函数
Figure 663033DEST_PATH_IMAGE020
，根据误差最小化原则可以确定调节函数中权系数
Figure 271274DEST_PATH_IMAGE022
，其中，
Figure 539445DEST_PATH_IMAGE024
为已知数据集的样本值。
4.根据权利要求3所述的方法，其特征在于，当所述液态仿生透镜的光焦度值为负时，所述液态仿生透镜起发散作用，点光源入射光线与折射光线组成的三角形符合相似三角形关系式：
Figure 593988DEST_PATH_IMAGE026
式中，
Figure 289412DEST_PATH_IMAGE028
表示点光源平行入射高度，
Figure 62196DEST_PATH_IMAGE030
表示点光源经液态仿生透镜折射后到达固态透镜的高度，
Figure 602899DEST_PATH_IMAGE032
表示固态透镜主平面与单目光学系统的等效焦点之间的第一距离；
根据所述相似三角形关系式，分别获取固态透镜主平面与单目光学系统的等效焦点之间的第一距离
Figure 777528DEST_PATH_IMAGE032
、固态透镜主平面与单目光学系统的等效主平面之间的第二距离
Figure 378274DEST_PATH_IMAGE034
及等效像距
Figure 372774DEST_PATH_IMAGE036
，公式表示为：
Figure 982747DEST_PATH_IMAGE038
Figure 513348DEST_PATH_IMAGE040
Figure 550574DEST_PATH_IMAGE042
式中，
Figure 32371DEST_PATH_IMAGE044
表示固态透镜主平面与单目光学系统的相机传感器之间的第三距离；
当所述液态仿生透镜的光焦度为正时，液态仿生透镜起汇聚作用，点光源入射光线与折射光线组成的三角形符合相似三角形关系式：
Figure 180456DEST_PATH_IMAGE046
根据所述相似三角形关系式，分别获取固态透镜主平面与单目光学系统的等效焦点之间的第一距离
Figure 64098DEST_PATH_IMAGE048
、固态透镜主平面与单目光学系统的等效主平面之间的第二距离
Figure 537805DEST_PATH_IMAGE050
及等效像距
Figure 241319DEST_PATH_IMAGE052
，公式表示为：
Figure 193094DEST_PATH_IMAGE054
Figure 931243DEST_PATH_IMAGE056
Figure DEST_PATH_IMAGE058
。
5.根据权利要求4所述的方法，其特征在于，所述高斯等效公式表示为：
Figure DEST_PATH_IMAGE060
式中，u c 表示当目标处于正焦状态时的等效物距；
将所述等效焦距、所述等效像距以及所述调节函数输入预先构建的高斯等效公式，得到所述控制电压和物距的非线性映射模型，公式表示为：
Figure DEST_PATH_IMAGE062
。
6.根据权利要求5所述的方法，其特征在于，所述采用预先设置的自动对焦算法，调节所述控制电压，对所述单目光学系统进行自动对焦，步骤包括：
设置所述液态仿生透镜的起始控制电压；
采用长步长∆U1对所述控制电压进行递增以调节对焦区域的清晰度；
通过图像清晰度评价函数计算所述对焦区域的清晰度评价值并存储；
当所述清晰度评价值开始下降时，采用短步长∆U2对所述控制电压进行递减，直到所述清晰度评价值达到最高；
对所述液态仿生透镜施加所述清晰度评价值最高时的控制电压值，则对焦成功。
7.根据权利要求6所述的方法，其特征在于，将所述单目光学系统对焦后的所述控制电压值，输入所述控制电压和物距的非线性映射模型，得到对焦后的物距。
8.根据权利要求1所述的方法，其特征在于，所述采用预先设置的自动对焦算法，通过调节所述控制电压，对所述单目光学系统进行自动对焦之后，还包括：
通过广角测量系统对目标深度初步感知，确定不同等级的测量系统。
9.一种基于液态仿生视觉的两级单目深度测量系统，其特征在于，包括：两级视觉装置，所述两级视觉装置包括：广角测量系统和长焦测量系统，所述广角测量系统和所述长焦测量系统均为单目光学系统，基于液态仿生视觉的两级单目深度测量系统包括：
等效焦距获取模块，用于获取单目光学系统的等效焦距；所述单目光学系统沿光轴设置固态透镜与液态仿生透镜；
调节函数确定模块，用于采用多项式拟合方式确定所述液态仿生透镜的焦距与控制电压的调节函数；
位置获取模块，用于获取所述固态透镜主平面与所述单目光学系统的等效焦点之间的第一距离、所述固态透镜主平面与所述单目光学系统的等效主平面之间的第二距离以及等效像距；
非线性映射模型确定模块，用于将所述等效焦距、所述等效像距以及所述调节函数输入预先构建的高斯等效公式，得到所述控制电压和物距的非线性映射模型；其中，所述高斯等效公式表示等效物距和等效像距与等效焦距之间的关系；
深度信息获取模块，用于采用预先设置的自动对焦算法，通过调节所述控制电压，对目标测量区域进行自动对焦，并且输出对焦后的物距及其深度信息。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202211299599.4A 2022-10-24 2022-10-24 基于液态仿生视觉的两级单目深度测量方法、系统和介质 Active CN115355887B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211299599.4A CN115355887B (zh) 2022-10-24 2022-10-24 基于液态仿生视觉的两级单目深度测量方法、系统和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211299599.4A CN115355887B (zh) 2022-10-24 2022-10-24 基于液态仿生视觉的两级单目深度测量方法、系统和介质

Publications (2)

Publication Number Publication Date
CN115355887A CN115355887A (zh) 2022-11-18
CN115355887B true CN115355887B (zh) 2023-01-06

Family

ID=84008628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211299599.4A Active CN115355887B (zh) 2022-10-24 2022-10-24 基于液态仿生视觉的两级单目深度测量方法、系统和介质

Country Status (1)

Country Link
CN (1) CN115355887B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116320756B (zh) * 2023-05-22 2023-07-21 中国人民解放军国防科技大学 基于液态光学调控的单双目组合式深度感知系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018014254A1 (en) * 2016-07-20 2018-01-25 SZ DJI Technology Co., Ltd. Method and apparatus for zooming relative to an object copyright notice
CN106226975B (zh) * 2016-07-20 2019-03-19 成都微晶景泰科技有限公司 自动对焦方法、设备及成像装置
CN107036579A (zh) * 2016-11-17 2017-08-11 上海航天控制技术研究所 一种基于单目液透镜变焦光学系统的目标相对定位方法
CN108600620B (zh) * 2018-04-13 2021-02-23 上海大学 一种基于电液可调焦镜头的移动机器人的目标跟踪方法
CN113538545B (zh) * 2021-07-16 2022-08-09 上海大学 一种基于电液可调焦镜头的单目深度估计方法及相应的相机和存储介质

Also Published As

Publication number Publication date
CN115355887A (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
US8711275B2 (en) Estimating optical characteristics of a camera component using sharpness sweep data
JP6245885B2 (ja) 撮像装置およびその制御方法
KR102143456B1 (ko) 심도 정보 취득 방법 및 장치, 그리고 이미지 수집 디바이스
CN111932636B (zh) 双目摄像头的标定及图像矫正方法、装置、存储介质、终端、智能设备
CN110274696B (zh) 大视场主动光学望远镜的波前传感方法、装置、及系统
TWI494680B (zh) 影像擷取裝置及其影像形變校正方法
WO2011158508A1 (ja) 画像処理装置および画像処理方法
CN115355887B (zh) 基于液态仿生视觉的两级单目深度测量方法、系统和介质
CN103487927A (zh) 一种显微镜自动调焦方法
CN108881717B (zh) 一种深度成像方法及系统
CN108924408B (zh) 一种深度成像方法及系统
KR101784787B1 (ko) 이미징 기기 및 이미징 기기에서의 자동 초점맞춤 방법과 대응하는 컴퓨터 프로그램
CN104683693A (zh) 一种自动聚焦的方法
WO2021175281A1 (zh) 红外测温方法、装置、设备及存储介质
JP2018004918A5 (zh)
CN111213364A (zh) 拍摄设备的控制方法、拍摄设备的控制装置及拍摄设备
CN112866553B (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN110300252B (zh) 镜头倾斜矫正方法及装置
US10880536B2 (en) Three-dimensional image capturing device and method
JP2008298589A (ja) 位置検出装置及び位置検出方法
US11902497B2 (en) Depth measurement
CN114754695B (zh) 多视场桥梁挠度测量装置、方法及存储介质
CN108924407B (zh) 一种深度成像方法及系统
EP3194886A1 (en) Positional shift amount calculation apparatus and imaging apparatus
CN112672045B (zh) 拍摄模式的设置方法和装置、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant