CN111612731B - 基于双目显微视觉的测量方法、装置、系统及介质 - Google Patents
基于双目显微视觉的测量方法、装置、系统及介质 Download PDFInfo
- Publication number
- CN111612731B CN111612731B CN202010249788.5A CN202010249788A CN111612731B CN 111612731 B CN111612731 B CN 111612731B CN 202010249788 A CN202010249788 A CN 202010249788A CN 111612731 B CN111612731 B CN 111612731B
- Authority
- CN
- China
- Prior art keywords
- camera
- image
- sampling
- parallax
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 238000005070 sampling Methods 0.000 claims abstract description 111
- 238000005259 measurement Methods 0.000 claims abstract description 27
- 238000000691 measurement method Methods 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000003702 image correction Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 41
- 238000012937 correction Methods 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 27
- 238000000386 microscopy Methods 0.000 claims description 25
- 238000006073 displacement reaction Methods 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000000280 densification Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 4
- 238000003384 imaging method Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 230000009466 transformation Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 238000005457 optimization Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请公开了一种基于双目显微视觉的测量方法、装置、系统及介质，该方法包括获取双目显微视觉系统中经相机标定后的左右相机对应的初始左右图像；基于对极几何约束关系，进行图像校正得到左右图像；对左右图像进行下采样，对所得的左采样图像集中最小分辨率对应层的采样图像中的像素点进行立体匹配以及匹配点传播，并进行逐层采样和立体匹配更新以及插值处理，得到稠密视差结果；之后根据相机参数和稠密视差结果对待测对象进行测量。本申请实施例解决现有技术中宏观尺度下的测量方法等对微观尺度的不适用性和准确性低的问题，所提供的测量方法非常适用于显微场景下的双目测量，能够获得良好的准确性和显微测量精度。
Description
技术领域
本申请涉及视觉测量技术领域，尤其涉及一种基于双目显微视觉的测量方法、装置、系统及介质。
背景技术
显微立体测量技术是对观测物体进行三维测量与表面重建，探索微观世界的重要手段。显微立体测量的典型方法包括散焦深度测量、显微双目成像、激光扫描测量、阴影形状获取等。其中，显微双目成像由于其成像简单快捷、鲁棒性好、精度高等优势，被精密加工、失效分析等领域工作者广泛青睐。
显微双目成像测量目前主要依赖体视显微镜(又称为解剖显微镜、实体显微镜或立体显微镜)作为基础成像设备。体视显微镜双目镜筒的左右光路具有一定的夹角，利用两相机分别采集左右光路的图像，可以从中恢复立体信息。随着仪器设备的研制，目前也有新型特殊结构的显微镜出现，比如基线折叠的垂直式显微成像装置。无论是哪种结构，这些显微双目成像设备在本质上都是双目成像设备，其系统在使用前都需要经过系统标定、图像校正等步骤，三维测量都需要通过立体匹配与尺寸计算等方法。但显微双目成像在微观尺度上的操作与图像样本特殊性，决定了其标定、匹配与深度计算面临着更多困难。
现有的光学双目显微立体成像装置测量方案其解决思想多来源于宏观尺度双目测量方案的移植，然而三维立体显微镜的观测场景小、景深浅，目前普遍使用的针对宏观尺度的立体标定和测量方案并不适用于显微场景，尤其在标定、校正与立体匹配方法存在实用性差、准确性低的问题，具体如下：
在宏观尺寸的目标测量中，常用标定方法有张氏标定法、Tsai两步标定法、DLT方法等。其中，张氏标定法是目前被使用最广泛的算法，但其标定过程需要将标定板在镜头前至少进行三个不同角度的旋转，而双目显微镜景深小，这一操作难以实现。Tsai两步标定法也存在类似的问题。DLT虽对标定板的摆设没有特殊要求，但建模简单且优化参数复杂，标定精度较难保障。
现有的立体校正方法需要拍摄棋盘标定板在不同倾斜角度下的图像，然而由于显微镜景深很浅，很难获得足够的图像，限制了其在显微场景下的应用。
利用标定参数对双目显微图像进行校正即可用于后续立体匹配步骤。立体匹配是双目传感器提取三维深度信息的关键步骤，目前已有诸如ELAS(efficient large-scalestereo matching)、半全局匹配(semi-global matching)、深度学习等多种方法被应用于宏观图像匹配。而目前针对微观立体匹配的方法较少，多数研究者将上述宏观匹配方法直接应用于微观匹配中。但微观世界观察样本的颜色单一、纹理单调等特性导致直接迁移方法后的结果不理想，更具有针对性的微观立体匹配方法值得被提出。例如，现有的基于深度学习的立体匹配方法泛化能力较弱，显微场景与传统立体匹配的场景有较大差异，因此在显微场景表现较差。
有鉴于此，本申请提供一种适用于不同结构的双目显微成像装置的微观三维尺度测量方法，以解决现有技术存在的上述至少一种技术问题。
发明内容
本申请提供了一种基于双目显微视觉的测量方法、装置、系统及介质，以解决以上至少一种技术问题。
一方面，本申请提供了一种基于双目显微视觉的测量方法，包括：
获取双目显微视觉系统中左右相机分别对应的初始左右图像；所述左右相机是经过相机标定后的相机；
基于左右相机的对极几何约束关系，对所述初始左右图像进行图像校正，得到左右图像；
分别对所述左右图像按照预设尺寸进行下采样，得到左采样图像集和右采样图像集；所述左采样图像集和所述右采样图像集均包括具有不同分辨率的预设数量层的采样图像；
对所述左采样图像集中最小分辨率对应层的采样图像中的像素点进行立体匹配以及匹配点传播，并对所述左采样图像集进行逐层采样和立体匹配更新，得到稀疏视差结果；
对所述稀疏视差结果进行插值处理，得到稠密视差结果；
基于所述左右相机的相机参数和所述稠密视差结果，对视场下的待测对象进行测量。
另一方面，提供一种基于双目显微视觉的测量装置，包括：
图像获取模块，用于获取双目显微视觉系统中左右相机分别对应的初始左右图像；所述左右相机是经过相机标定后的相机；
校正模块，用于基于左右相机的对极几何约束关系，对所述初始左右图像进行图像校正，得到左右图像；
下采样模块，用于分别对所述左右图像按照预设尺寸进行下采样，得到左采样图像集和右采样图像集；所述左采样图像集和所述右采样图像集均包括具有不同分辨率的预设数量层的采样图像；
稀疏匹配模块，用于对所述左采样图像集中最小分辨率对应层的采样图像中的像素点进行立体匹配以及匹配点传播，并对所述左采样图像集进行逐层采样和立体匹配更新，得到稀疏视差结果；
稠密视差确定模块，用于对所述稀疏视差结果进行插值处理，得到稠密视差结果；
测量模块，用于基于所述左右相机的相机参数和所述稠密视差结果，对视场下的待测对象进行测量。
另一方面，提供一种双目显微视觉系统，包括相互连接的双目显微视觉装置和计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现上述基于双目显微视觉的测量方法。
另一方面，提供了一种计算机设备，包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现上述基于双目显微视觉的测量方法。
另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由处理器加载并执行以实现如上述基于双目显微视觉的测量方法。
本申请提供的一种基于双目显微视觉的测量方法、装置、系统及介质，具有如下技术效果：
本申请实施例通过获取双目显微视觉系统中经标定的左右相机分别对应的初始左右图像；基于对极几何约束关系对初始左右图像进行图像校正，得到左右图像；对该左右图像进行下采样，并对下采样所得的左采样图像集中最小分辨率对应层的采样图像中的像素点进行立体匹配以及匹配点传播，并进行逐层采样和立体匹配更新以及插值处理，得到稠密视差结果；之后根据相机参数和稠密视差结果对待测对象进行测量，可以解决现有技术中宏观尺度下的测量方法对微观尺度的不适用性和准确性低的问题，本申请所提供的测量方法非常适用于显微场景下的双目测量，能够针对显微场景下获得良好的准确性和测量精度。
另外，本申请通过对相机标定和校正方法均进行了改进，可以在较少的棋盘格图像进行标定即可获得良好的校正结果。同时，本申请提出了基于鲁棒SIFT描述子的椭圆曲面视差插值方法，视差匹配精度高，可以很好的对抗图像光照等不稳定因素并兼顾运算速度，而基于椭圆曲面所构建的视差插值模型既满足投影关系，又不需要对图像分割有严格的要求，满足实际应用需求。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本申请实施例涉及的一种校正后相机位置示意图；
图2是本申请实施例提供的一种基于双目显微视觉的测量方法的流程示意图；
图3是本申请实施例提供的一种基于双目显微视觉的测量装置的结构框图；
图4是本申请实施例提供的另一种基于双目显微视觉的测量装置的结构框图；
图5是本申请实施例提供的运行一种基于双目显微视觉的测量方法的服务器的硬件结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
通常视觉系统在进行检测之前都需要经过相机标定和校正的步骤，通过校正后的视觉系统进行测量。图1示出了本申请实施例涉及的一种校正后相机位置示意图。通常在双目视觉领域包括以下坐标系，如图1中所示的Ow-XwYwZw表示世界坐标系，Oc1-Xc1Yc1Zc1表示左相机坐标系，Oc2-Xc2Yc2Zc2表示右相机坐标系，O1-U1V1表示左相机对应的像素坐标系，O2-U2V2表示右相机对应的像素坐标系。另外，还包括未显示在图1中的图像坐标系O-XY。
参见图1，两个像素坐标系(O1-U1V1和O2-U2V2)分别位于对应的图像平面内，P为世界坐标系上的一点，Pl为点P在左图像平面的投影点，Pr为点P在右图像平面的投影点，(u0,V0)为光轴和图像平面交点，B为左右相机的相机基线长度。
以下介绍本申请一种基于双目显微视觉的测量方法的具体实施例，图2是本申请实施例提供的一种基于双目显微视觉的测量方法的流程示意图，本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。该方法的执行主体可以为基于双目显微视觉的测量装置，该装置可以采用软件和/或硬件的方式实现，该装置可以配置于设备中，例如计算机、服务器、移动终端等。在执行主体对应的产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，该方法可以包括：
S201：获取双目显微视觉系统中左右相机分别对应的初始左右图像；所述左右相机是经过相机标定后的相机。
在本实施例，双目显微视觉系统包括左右相机。其中，双目显微视觉系统可以包括一般体视显微镜，比如解剖显微镜、实体显微镜或立体显微镜等；也包括特殊结构双目显微镜，比如基线折叠的垂直式显微成像装置等。这里的左右相机可以为相同的相机或者不同的相机。
在搭建了双目显微视觉系统后，通常需要对左右相机进行标定，得到左相机和右相机的标定参数，该标定参数可以包括内参和外参，其中内参具体可包括相机光心、像元间距、相机焦距等；外参具体可包括两个相机坐标系之间的旋转矩阵和平移矩阵等。
利用左右相机分别对待测对象进行采集，以获取对应的初始左右图像，之后利用标定参数对获取的原始左右图像进行双目立体校正，得到左右相机分别对应的左图像和右图像。
在一实施例中，使用经过标定的左右相机来对待测对象进行采集，以获取对应的初始左右图像。
在获取初始左右图像之前，还包括标定数据采集和单目相机标定的步骤。此时，在S201之前还包括：
S2001：利用微型棋盘格标定板以及用于朝相机深度方向移动的精密位移台，采集相机标定数据。本步骤的标定数据采集的具体过程如下：
现有的立体校正方法例如张氏标定法需要拍摄棋盘标定板在不同倾斜角度下的图像，然而由于显微镜景深很浅，很难获得足够的图像，限制了其在显微场景下的应用。虽然有许多研究者提出了基于特殊设计标定板的方案，将一般使用的棋盘格标定板替换为有可区分旋转变换标志的标定板，通过标定板在固定深度上的旋转进行参数估计。这些方法可以有效回避显微镜景深小的问题，但需要额外的标定板设计与加工成本，同时算法相对复杂。
而本申请实施例的标定数据采集过程为：根据测量样本将双目显微镜对焦至合适；选择合适大小与精度的棋盘格标定板；将精密位移台放置双目视野中；将标定板放置精密位移台上，调节精密位移台，使棋盘格同时在左右视野中呈清晰完整的像；上下微调并记录精密位移台位置，采集多组清晰完整的棋盘格数据用于后续系统标定。
本申请实施例使用微型棋盘格标定板，不需要对标定板进行特殊设计，仅需要保证左右图像视野可以同时捕捉到完整的棋盘格图案，并且左右视野均可以被棋盘格图案充满，即棋盘格角点在图像平面上分布均匀，尤其是视野边缘需要有角点覆盖。
S2003：根据所采集的相机标定数据，分别对左右相机进行单目相机标定，得到相机参数。本步骤的单目相机标定的具体过程如下：
以精密位移台的初始位置的棋盘格为基准建立世界坐标系，由于棋盘格尺寸与位移台每次位移量已知，每个棋盘格角点在世界坐标系中的坐标可准确的表示出来，记为Pi，则其对应的像素坐标可以表示为：
其中
为对应像点pi的齐次坐标，K为不考虑相机畸变的内参矩阵，R和T为相机外参数(旋转与平移)。为求解上述未知的相机参数，最小化下述投影误差:
其中
表示齐次坐标到非齐次坐标的变换函数。
上述公式(1)的成像模型未考虑相机畸变，在显微镜光学系统标定中需要考虑影响较大的径向畸变，因此我们考虑两个径向畸变的一次项和二次项，得到如下关系：
(x，y)和
分别为考虑相机畸变和不考虑相机畸变的棋盘格角点的投影坐标归一化图像坐标系下的图像坐标，k1、k2为相机畸变系数。对于理想的像素坐标(u，v)和实际观测到的像素坐标
有
其中，(u0，v0)为光轴和像平面交点，α为横向焦距，β为纵向焦距；带入上式(3)为：
即：
对于每一个棋盘格角点可得到如式(5)两个方程(分别对应的左右相机)，对于世界坐标系中的N个棋盘格角点，有2N个方程，可写为Ak＝b的矩阵方程形式，其中A为系数矩阵，k＝[k1，k2]T。k的解由下述公式给出：
k＝(ATA)-1ATb (6)
将求解的k代入(4)式，获得新的理想像素坐标(u，v)，并将理想像素坐标带入(2)式优化内参和外参。重复上述步骤，直到结果收敛。
为应对显微镜景深浅的问题，本申请实施例规避了张氏标定法的棋盘格多角度拍摄约束，也无需对标定板进行复杂的设计，利用精密位移台仅在深度方向上移动标定板，以保证角点在空间中分布均匀。同时结合改进的标定方法进行相机标定，优化相机参数过程简单，且可以获得良好的标定精度。
S203：基于左右相机的对极几何约束关系，对所述初始左右图像进行图像校正，得到所述左右图像。
进一步的，S203可以包括：
基于左右相机的相机坐标系的旋转平移关系，确定左右相机之间的基础矩阵；
基于相机标定所确定的内参矩阵，确定校正后的内参矩阵；
基于所述基础矩阵和校正后的内参矩阵，利用左右相机的对极几何约束关系，构建用于优化左右相机的相机参数的校正误差函数；所述相机参数包括旋转矩阵；
获取最小化校正误差函数所对应的相机参数，作为目标相机参数；
基于所述目标相机参数对所述初始左右图像进行图像校正，得到所述左右图像。
在实际应用中，在进行了上述的标定数据采集和单目相机标定的步骤之后，可得到单目相机的精确内参及畸变参数。虽然在单目标定的过程中，分别得到了两单目相机相对于世界坐标的坐标转换关系，基于此可推算出两相机间的外参数，但考虑到上述单目标定过程中未考虑两相机间的成像关系，并且通过间接估计外参估计图像校正矩阵会带来误差累计。
为提升双目图像的校正精度，本申请实施例利用双目的对极几何约束实现立体校正。此时，该S203的具体过程如下：
对于校正后的双目，继续如图1所示，左右两个相机坐标系应该不存在旋转关系，只在X轴方向上存在平移关系，因此校正后两个相机的旋转平移矩阵如下：
因此两相机间的基础矩阵可以表示为：
其中，
Knl，Knr为校正后的内参矩阵，左右相机应该一致，我们将其设为
Kol与Kor为校正前两相机的内参矩阵，由步骤二得到。
假设左右相机的校正变换矩阵为Hl和Hr，
Rl和Rr分别为校正过程中左右相机的旋转矩阵。由校正后的图像对极几何关系可知：
将式(9)展开并化简，有：
因此双目校正中左右相机的旋转矩阵可通过最小化如下的校正误差函数得到：
式(11)中的优化目标为左右相机的旋转矩阵，其中每个旋转矩阵包含绕三个轴的旋转变量，因此共6个变量待优化。
为了简化步骤，考虑到当两相机实现立体校正后，将两相机绕X轴旋转任意相等角度，两相机的相对位置关系仍然满足立体校正的要求。因此，在优化式(11)时，可将Rl和Rr其中任意一个绕其X轴的旋转设为0，即将待优化变量简化为5个。
获取最小化校正误差函数(11)所对应的相机参数，若仅对旋转矩阵作为优化变量，则将得到的优化后的旋转矩阵和前面经相机标定的内参矩阵，作为目标相机参数；基于该目标相机参数对所述初始左右图像进行图像校正，得到所述左右图像。
在另一实施例中，为了得到更精确的结果，可在式(11)中将Kol，Kor同样设为优化变量，进一步优化内参矩阵。由于Kol，Kor通过单目标定已经有了较准确初始解，因此式(11)同样能够快速收敛。此时，可以同时获取经过最小化优化损失函数所优化的旋转矩阵和内参矩阵，将两者作为目标相机参数，基于该目标相机参数对所述初始左右图像进行图像校正，得到所述左右图像。如此，由于对内参矩阵进行了进一步优化，可以使得获取的目标相机参数更准确，进而使得测量结果更精确。
S205：分别对所述左右图像按照预设尺寸进行下采样，得到左采样图像集和右采样图像集；所述左采样图像集和所述右采样图像集均包括具有不同分辨率的预设数量层的采样图像。
由于显微场景缺乏标注数据集并且场景较简单，纹理特征是该场景的主要特征。本申请实施例充分利用纹理特征建立显微场景中的稀疏立体匹配关系。在建立稀疏立体匹配关系之前，首先分别对左右图像按照预设尺寸进行下采样，得到左采样图像集和右采样图像集。该左采样图像集和右采样图像集均包括具有不同分辨率的预设数量层的采样图像。该预设尺寸可以为相对于左右图像的原始分辨率的分辨率大小，例如包括但不限于为1/4原始分辨率、1/8原始分辨率、1/16原始分辨率等。预设数量层与下采样的数量相关联。举例而言，若对左右图像进行n个尺度的下采样，则分别获得包括n层采样图像的左采样图像集和右采样图像集。记左采样图像集中的和右采样图像集第i层下采样的采样图像分别为
i为层数，其取值为小于等于n的整数，n为大于1的整数；其中，i＝0表示原始图像，i＝n表示第n层采样图像，也是最小分辨率对应的采样图像。
S207：对所述左采样图像集中最小分辨率对应层的采样图像中的像素点进行立体匹配以及以及匹配点传播，并对所述左采样图像集进行逐层采样和立体匹配更新，得到稀疏视差结果。
在本申请实施例中，该S207具体可以包括：
S2071：基于像素点对应的SIFT描述子之间的相似度，对所述左采样图像集中最小分辨率对应层的采样图像中的像素点进行立体匹配，得到在所述右采样图像集中对应层采样图像中的匹配点以及对应的视差结果；
S2073：利用所述左采样图像集中最小分辨率对应的第n层采样图像中各像素点与对应匹配点的视差结果，对第n-1层采样图像进行初始化；所述第n-1层采样图像的分辨率高于所述第n层采样图像的分辨率；n为大于1的整数；
S2075：对所述第n-1层采样图像中像素点对应的匹配点进行随机搜索操作，得到搜索匹配点；
S2077：根据第n-1层采样图像中像素点与对应的搜索匹配点之间的相似度值，对所确定的匹配点进行立体匹配更新，得到目标匹配点；
S2079：按照图像分辨率从小到大的顺序，依次对左右采样图像集中采样图像进行逐层上采样，并对经上采样的采样图像中像素点进行立体匹配、匹配点传播及立体匹配更新，得到稀疏视差结果。
其中，SIFT(Scale-invariant feature transform，尺度不变特征变换)描述子，是用于图像处理领域的一种描述，这种描述具有尺度不变性，可在图像中检测出关键点，也是一种局部特征描述子。
在实际应用中，确定左采样图像集中最小分辨率(i＝n)对应的采样图像(也即第n层采样图像)作为目标层采样图像，该目标层采样图像和所述右采样图像集中对应层的采样图像构成采样图像对。从目标层采样图像开始，计算每个像素点的SIFT描述子，利用匹配的方法获得每个位置的视差值，即基于像素点对应的SIFT描述子之间的相似度，确定所述采样图像对中匹配点对。由于基线约束的存在，对左采样图像集中的每个像素点，只需要在右采样图像集中对应行找匹配点即可。基于所确定的匹配点对，通过交叉验证的方法来筛查误匹配结果，得到目标层采样图像中各像素点与对应匹配点的视差结果。该视差结果可以包括匹配点及对应的视差值。
在获得第n层采样图像(最小分辨率)各像素点与对应匹配点的视差结果之后，进行匹配点传播，具体的，将第n层采样图像对应的视差结果进行向上传播，利用第n层采样图像对应的视差结果对第n-1层采样图像(分辨率高于第n层采样图像)进行初始化，使得第n-1层采样图像中像素点继承了第n层采样图像中像素点对应的匹配点及视差结果。
然后，对第n-1层采样图像中像素点对应的匹配点进行随机搜索操作，也即在对应的匹配点附近随机搜索一个新的匹配点，作为搜索匹配点。根据第n-1层采样图像中像素点与对应的搜索匹配点之间的相似度值，对所确定的匹配点进行立体匹配更新，判断第n-1层采样图像中像素点与搜索匹配点的相似度是否大于从第n层采样图像传播的原有匹配点对之间的相似度，若判断第n-1层采样图像中像素点与搜索匹配点的相似度大于原有的相似度，则确定满足匹配关系更新条件，将该满足匹配关系更新条件对应的搜索匹配点作为目标匹配点，并更新当前匹配关系。
在得到第n-1层采样图像经过立体匹配更新的视差结果后，依次对其他层采样图像采取相同的匹配点传播和立体匹配更新操作，进而获得稀疏视差结果。在一实施例中，从第n层采样图像(最小分辨率对应的图像)开始，按照图像分辨率从小到大的顺序，依次对左右采样图像集中其他采样图像或者预设层采样图像(除i＝0的原图像层之外)进行逐层上采样；将第j+1层采样图像的匹配结果传播至第j层采样图像，并对第j层采样图像进行随机搜索操作以进行立体匹配更新，依次类推，直至对经上采样的其他采样图像中像素点进行立体匹配及立体匹配更新，得到足够精度的稀疏视差结果。
S209：对所述稀疏视差结果进行插值处理，得到稠密视差结果。
由于上述稀疏视差结果所涵盖的视差信息较少，还不足以对空间任一点进行测量，需要对稀疏视差结果进行插值处理，以获得稠密视差结果。该插值方法所使用的差值模型有多种，例如包括但不限于为仿射变换模型和单应变换模型等。
然而，仿射变换模型并不符合严格的投影关系，限制了其插值的精度。单应变换模型能够很好的满足投影关系，但是这种方法需要对图像平面进行严格的过分割，使得每个图像块可以近似成一个平面，限制了其应用。为了解决上述问题，我们提供了一种椭圆曲面插值方案，该方案既满足严格的投影约束，又放松了对图像分割结果的要求。具体的，S209可以包括：
S2091：基于椭圆曲面上空间点在左右图像的投影关系，构建视差插值模型；
S2093：对椭圆曲面对应的左右图像进行超像素分割，得到超像素块集合；
S2095：基于所述超像素块集合和所述稀疏视差结果，构建用于拟合所述视差插值模型的插值损失函数；
S2097：获得最小化插值损失函数对应的模型系数，得到目标视差插值模型；
S2099：基于所述目标视差插值模型确定所有像素点的视差，得到稠密化视差结果。
在实际应用中，椭圆曲面插值方案具体可包括：
首先推导椭圆曲面上空间点在左右图像的投影关系，以下推导以左相机的坐标系为世界坐标系：
对空间中一点P＝[x y z]T，其满足的二次曲面方程为：
ax2+by2+z+d＝0 (12)
写成矩阵形式为：
记
C＝[a b 1]。则上式可以简记为
物点P在右相机的投影坐标为：
pr＝K(P+t) (14)
带入上式得：
其中
t＝[B 0 0]T,这里的α为横向焦距，β为纵向焦距，Cx和Cy为校正后的左图像的主点位置，B为左右相机之间的基线长度化简得：
因此，视差插值模型可以表达为：
其中pl＝[ul vl 1]T。
在构建了视差插值模型之后，采用基于超像素分割的边缘引导插值方案，首先将椭圆曲面对应的左右图像进行超像素分割，例如分割成n个超像素块集合S＝{s1…sn}。根据待测对象的轮廓边缘寻找每一个超像素i和其K近邻的超像素
集合
中超像素sk距离si的距离为
根据超像素块集合和稀疏视差结果
构建用于拟合视差插值模型的插值损失函数：
其中
为确定稀疏视差结果的位置点的集合；Pk是Si内的确定稀疏视差结果的位置点的坐标，dk是Pk对应的稀疏视差结果的视差值，D(Pk)是利用公式(17)的视差插值模型所计算得到的视差值。
通过最小化上述插值损失函数，获得si最优的视差插值模型的系数为{mi ni hi}，得到系数优化的目标视差插值模块。基于该目标视差插值模型确定所有像素点的视差，计算si内的每一个位置p(u,v)的视差为：dp＝miu+niv+hi，即得到稠密化视差结果。
S211：基于所述左右相机的相机参数和所述稠密视差结果，对视场下的待测对象进行测量。
在获得左右相机的相机参数和稠密视差结果之后，可以利用三角测量原理对视场下的待测对象进行测量，得到测量结果；该测量结果包括三维深度信息和/或三维尺度信息。应理解，为了获得更精准的测量结果，这里所采用的相机参数为经过双目立体校正后所确定的相机参数，也即上述最小化校正误差函数所对应的参数。
在实际应用中，由于显微双目系统的基线在使用中会发生变化，难以得到确定的物理值，本申请实施例在进行三维测量之前，需要先确定双目基线，即左右相机之间的基线长度B。之后，基于左右相机之间的基线长度、经校正后的相机参数和稠密视差结果，利用三角测量原理对视场下的待测对象进行测量。以下为双目基线的计算过程：
由上述左右相机校正的旋转矩阵Rl和Rr，可得到两相机间的相对旋转关系为：
记左右相机相对于世界坐标系的旋转关系分别为R1，R2，则R1＝RrlR2。对于世界坐标系下的任意一点Pi，其在左右相机下的投影可以表示为：
通过优化如下投影误差函数进一步优化基线的求解：
(T1，T2，R2)初始化为单目标定得到的结果。
即得左右相机之间的基线长度为B＝||T1-T2||。
在得到左右相机之间的基线长度之后，对于任意一点p的深度信息Zp可由下面的三角测量公式得到：
其中，B为左右相机之间的基线长度，α为相机横向焦距，dp为点P的视差值。
对于已知两点坐标p1(u1，v1，d1)和p2(u2，v2，d2)，则这两个点的三维坐标为
两点的空间距离为D＝||P1-P2||2。
上述实施例，通过对获取双目显微视觉系统中左右相机对应的左右图像进行下采样，并对下采样所得的左采样图像集中最小分辨率对应层的采样图像中的像素点进行立体匹配，得到对应的视差结果；之后对所确定的匹配点进行传播，并进行逐层采样和立体匹配更新以及插值处理，得到稠密视差结果；之后根据相机参数和稠密视差结果对待测对象进行测量，可以解决现有技术中宏观尺度下的测量方法对微观尺度的不适用性和准确性低的问题，本申请所提供的测量方法非常适用于显微场景下的双目测量，能够针对显微场景下获得良好的准确性和测量精度。
另外，为应对显微镜景深浅的问题，本申请实施例规避了张氏标定法的棋盘格多角度拍摄约束，也无需对标定板进行复杂的设计，利用精密位移台仅在深度方向上移动标定板，以保证角点在空间中分布均匀。同时结合改进的标定方法，优化相机参数过程简单，且可以获得良好的标定精度。
另外，本申请通过对相机标定和校正方法均进行了改进，可以在较少的棋盘格图像进行标定即可获得良好的校正结果。同时，本申请提出了基于鲁棒SIFT描述子的椭圆曲面视差插值方法，视差匹配精度高，可以很好的对抗图像光照等不稳定因素并兼顾运算速度，而基于椭圆曲面所构建的视差插值模型既满足投影关系，又不需要对图像分割有严格的要求，满足实际应用需求。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图3，其示出了本申请实施例提供的一种基于双目显微视觉的测量装置的结构框图。该装置具有实现上述方法示例中服务器侧的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。所述装置300可以包括：
图像获取模块310，用于获取双目显微视觉系统中左右相机分别对应的初始左右图像；所述左右相机是经过相机标定后的相机；
校正模块320，用于基于左右相机的对极几何约束关系，对所述初始左右图像进行图像校正，得到左右图像；
下采样模块330，用于分别对所述左右图像按照预设尺寸进行下采样，得到左采样图像集和右采样图像集；所述左采样图像集和所述右采样图像集均包括具有不同分辨率的预设数量层的采样图像；
稀疏匹配模块340，用于对所述左采样图像集中最小分辨率对应层的采样图像中的像素点进行立体匹配以及匹配点传播，并对所述左采样图像集进行逐层采样和立体匹配更新，得到稀疏视差结果；
稠密视差确定模块350，用于对所述稀疏视差结果进行插值处理，得到稠密视差结果；
测量模块360，用于基于所述左右相机的相机参数和所述稠密视差结果，对视场下的待测对象进行测量。
在一些实施例中，如图4所示，所述装置300还包括：
采集模块370，用于利用微型棋盘格标定板以及用于朝相机深度方向移动的精密位移台，采集相机标定数据；
相机标定模块380，用于根据所采集的相机标定数据，分别对左右相机进行单目相机标定，得到相机参数。
在一些实施例中，所述校正模块320包括：
基础矩阵确定单元，用于基于左右相机的相机坐标系的旋转平移关系，确定左右相机之间的基础矩阵；
校正单元确定单元，用于基于相机标定所确定的内参矩阵，确定校正后的内参矩阵；
校正误差函数构建单元，用于基于所述基础矩阵和校正后的内参矩阵，利用左右相机的对极几何约束关系，构建用于优化左右相机的相机参数的校正误差函数；所述相机参数包括旋转矩阵；
目标相机参数确定单元，用于获取最小化校正误差函数所对应的相机参数，作为目标相机参数；
图像校正单元，用于基于所述目标相机参数对所述初始左右图像进行图像校正，得到左右图像。
在一些实施例中，所述稀疏匹配模块340包括：
立体匹配单元，用于基于像素点对应的SIFT描述子之间的相似度，对所述左采样图像集中最小分辨率对应层的采样图像中的像素点进行立体匹配，得到在所述右采样图像集中对应层采样图像中的匹配点以及对应的视差结果；
初始化单元，用于利用所述左采样图像集中最小分辨率对应的第n层采样图像中各像素点与对应匹配点的视差结果，对第n-1层采样图像进行初始化；所述第n-1层采样图像的分辨率高于所述第n层采样图像的分辨率；n为大于1的整数；
搜索单元，用于对所述第n-1层采样图像中像素点对应的匹配点进行随机搜索操作，得到搜索匹配点；
匹配更新单元，用于根据第n-1层采样图像中像素点与对应的搜索匹配点之间的相似度值，对所确定的匹配点进行立体匹配更新，得到目标匹配点；
视差结果确定单元，用于按照图像分辨率从小到大的顺序，依次对左右采样图像集中采样图像进行逐层上采样，并对经上采样的采样图像中像素点进行立体匹配、匹配点传播及立体匹配更新，得到稀疏视差结果。
在一些实施例中，所述稠密视差确定模块350包括：
插值模型构建单元，用于基于椭圆曲面上空间点在左右图像的投影关系，构建视差插值模型；
分割单元，用于对椭圆曲面对应的左右图像进行超像素分割，得到超像素块集合；
损失函数构建单元，用于基于所述超像素块集合和所述稀疏视差结果，构建用于拟合所述视差插值模型的插值损失函数；
目标插值模型确定单元，用于获得最小化插值损失函数对应的模型系数，得到目标视差插值模型；
稠密化视差结果确定单元，用于基于所述目标视差插值模型确定所有像素点的视差，得到稠密化视差结果。
在一些实施例中，所述测量模块360包括：
基线长度确定单元，用于基于经校正后的相机参数，确定左右相机之间的基线长度；
测量单元，用于基于所述左右相机之间的基线长度、经校正后的相机参数和稠密视差结果，利用三角测量原理对视场下的待测对象进行测量，得到测量结果；所述测量结果包括三维深度信息和/或三维尺度信息。
本申请实施例中的装置与方法实施例基于同样地申请构思。
本申请实施例还提供了一种双目显微视觉系统，包括相互连接的双目显微视觉装置和计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现上述任一方法实施例的基于双目显微视觉的测量方法。
本申请实施例提供了一种计算机设备，包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现上述任一方法实施例的基于双目显微视觉的测量方法。
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
本申请实施例所提供的方法实施例可以在计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图5是本申请实施例提供的运行一种基于双目显微视觉的测量方法的服务器的硬件结构框图，具体来讲：
如图5所示，该服务器500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)510(处理器510可以包括但不限于微处理器NCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器530，一个或一个以上存储应用程序523或数据522的存储介质520(例如一个或一个以上海量存储设备)。其中，
存储器530和存储介质520可以是短暂存储或持久存储。存储在存储介质520的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器510可以设置为与存储介质520通信，在服务器500上执行存储介质520中的一系列指令操作。
服务器500还可以包括一个或一个以上电源560，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口540，和/或，一个或一个以上操作系统521，例如Windows，Mac OS，Unix,Linux，FreeBSD等等。
输入输出接口540可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器500的通信供应商提供的无线网络。在一个实例中，输入输出接口540包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口540可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解，图5所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器500还可包括比图5中所示更多或者更少的组件，或者具有与图5所示不同的配置。
本申请的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质可设置于设备之中以保存用于实现方法实施例中一种游戏交互控制方法相关的至少一条指令或者至少一段程序，该至少一条指令或者至少一段程序由该处理器加载并执行以实现上述方法实施例提供的基于双目显微视觉的测量方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
由上述本申请提供的基于双目显微视觉的测量方法、装置、系统、设备及介质的实施例可见，本申请实施例通过获取双目显微视觉系统中经标定的左右相机分别对应的初始左右图像；基于对极几何约束关系对初始左右图像进行图像校正，得到左右图像；对该左右图像进行下采样，并对下采样所得的左采样图像集中最小分辨率对应层的采样图像中的像素点进行立体匹配以及匹配点传播，并进行逐层采样和立体匹配更新以及插值处理，得到稠密视差结果；之后根据相机参数和稠密视差结果对待测对象进行测量，可以解决现有技术中宏观尺度下的测量方法对微观尺度的不适用性和准确性低的问题，本申请所提供的测量方法非常适用于显微场景下的双目测量，能够针对显微场景下获得良好的准确性和测量精度。
另外，为应对显微镜景深浅的问题，本申请实施例规避了张氏标定法的棋盘格多角度拍摄约束，也无需对标定板进行复杂的设计，利用精密位移台仅在深度方向上移动标定板，以保证角点在空间中分布均匀。同时结合改进的标定方法，且优化相机参数过程简单，且可以获得良好的标定精度。
另外，本申请通过对相机标定和校正方法均进行了改进，可以在较少的棋盘格图像进行标定即可获得良好的校正结果。同时，本申请提出了基于鲁棒SIFT描述子的椭圆曲面视差插值方法，视差匹配精度高，可以很好的对抗图像光照等不稳定因素并兼顾运算速度，而基于椭圆曲面所构建的视差插值模型既满足投影关系，又不需要对图像分割有严格的要求，满足实际应用需求。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统、设备、服务器和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (9)
1.一种基于双目显微视觉的测量方法，其特征在于，包括：
获取双目显微视觉系统中左右相机分别对应的初始左右图像；所述左右相机是经过相机标定后的相机；
基于左右相机的对极几何约束关系，对所述初始左右图像进行图像校正，得到左右图像；
分别对所述左右图像按照预设尺寸进行下采样，得到左采样图像集和右采样图像集；
所述左采样图像集和所述右采样图像集均包括具有不同分辨率的预设数量层的采样图像；
对所述左采样图像集中最小分辨率对应层的采样图像中的像素点进行立体匹配以及匹配点传播，并对所述左采样图像集进行逐层采样和立体匹配更新，得到稀疏视差结果；
对所述稀疏视差结果进行插值处理，得到稠密视差结果；
基于所述左右相机的相机参数和所述稠密视差结果，对视场下的待测对象进行测量；
其中，所述对所述稀疏视差结果进行插值处理，得到稠密视差结果，包括：
基于椭圆曲面上空间点在左右图像的投影关系，构建视差插值模型；
对椭圆曲面对应的左右图像进行超像素分割，得到超像素块集合；
基于所述超像素块集合和所述稀疏视差结果，构建用于拟合所述视差插值模型的插值损失函数；
获得最小化插值损失函数对应的模型系数，得到目标视差插值模型；
基于所述目标视差插值模型确定所有像素点的视差，得到稠密化视差结果。
2.根据权利要求1所述的方法，其特征在于，所述获取双目显微视觉系统中左右相机分别对应的初始左右图像之前，还包括：
利用微型棋盘格标定板以及用于朝相机深度方向移动的精密位移台，采集相机标定数据；
根据所采集的相机标定数据，分别对左右相机进行单目相机标定，得到相机参数。
3.根据权利要求1所述的方法，其特征在于，所述基于左右相机的对极几何约束关系，对所述初始左右图像进行图像校正，得到左右图像，包括：
基于左右相机的相机坐标系的旋转平移关系，确定左右相机之间的基础矩阵；
基于相机标定所确定的内参矩阵，确定校正后的内参矩阵；
基于所述基础矩阵和校正后的内参矩阵，利用左右相机的对极几何约束关系，构建用于优化左右相机的相机参数的校正误差函数；所述相机参数包括旋转矩阵；
获取最小化校正误差函数所对应的相机参数，作为目标相机参数；
基于所述目标相机参数对所述初始左右图像进行图像校正，得到左右图像。
4.根据权利要求1所述的方法，其特征在于，所述基于所述左右相机的相机参数和所述稠密视差结果，对视场下的待测对象进行测量包括：
基于经校正后的相机参数，确定左右相机之间的基线长度；
基于所述左右相机之间的基线长度、经校正后的相机参数和稠密视差结果，利用三角测量原理对视场下的待测对象进行测量，得到测量结果；
所述测量结果包括三维深度信息和/或三维尺度信息。
5.根据权利要求1-4任一所述的方法，其特征在于，所述对所述左采样图像集中最小分辨率对应层的采样图像中的像素点进行立体匹配以及匹配点传播，并对所述左采样图像集进行逐层采样和立体匹配更新，得到稀疏视差结果，包括：
基于像素点对应的SIFT描述子之间的相似度，对所述左采样图像集中最小分辨率对应层的采样图像中的像素点进行立体匹配，得到在所述右采样图像集中对应层采样图像中的匹配点以及对应的视差结果；
利用所述左采样图像集中最小分辨率对应的第n层采样图像中各像素点与对应匹配点的视差结果，对第n-1层采样图像进行初始化；所述第n-1层采样图像的分辨率高于所述第n层采样图像的分辨率；n为大于1的整数；
对所述第n-1层采样图像中像素点对应的匹配点进行随机搜索操作，得到搜索匹配点；
根据第n-1层采样图像中像素点与对应的搜索匹配点之间的相似度值，对所确定的匹配点进行立体匹配更新，得到目标匹配点；
按照图像分辨率从小到大的顺序，依次对左右采样图像集中采样图像进行逐层上采样，并对经上采样的采样图像中像素点进行立体匹配、匹配点传播及立体匹配更新，得到稀疏视差结果。
6.一种基于双目显微视觉的测量装置，其特征在于，包括：
图像获取模块，用于获取双目显微视觉系统中左右相机分别对应的初始左右图像；所述左右相机是经过相机标定后的相机；
校正模块，用于基于左右相机的对极几何约束关系，对所述初始左右图像进行图像校正，得到左右图像；
下采样模块，用于分别对所述左右图像按照预设尺寸进行下采样，得到左采样图像集和右采样图像集；所述左采样图像集和所述右采样图像集均包括具有不同分辨率的预设数量层的采样图像；
稀疏匹配模块，用于对所述左采样图像集中最小分辨率对应层的采样图像中的像素点进行立体匹配以及匹配点传播，并对所述左采样图像集进行逐层采样和立体匹配更新，得到稀疏视差结果；
稠密视差确定模块，用于对所述稀疏视差结果进行插值处理，得到稠密视差结果；
测量模块，用于基于所述左右相机的相机参数和所述稠密视差结果，对视场下的待测对象进行测量；
其中，所述稠密视差确定模块包括：
插值模型构建单元，用于基于椭圆曲面上空间点在左右图像的投影关系，构建视差插值模型；
分割单元，用于对椭圆曲面对应的左右图像进行超像素分割，得到超像素块集合；
损失函数构建单元，用于基于所述超像素块集合和所述稀疏视差结果，构建用于拟合所述视差插值模型的插值损失函数；
目标插值模型确定单元，用于获得最小化插值损失函数对应的模型系数，得到目标视差插值模型；
稠密化视差结果确定单元，用于基于所述目标视差插值模型确定所有像素点的视差，得到稠密化视差结果。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
采集模块，用于利用微型棋盘格标定板以及用于朝相机深度方向移动的精密位移台，采集相机标定数据；
相机标定模块，用于根据所采集的相机标定数据，分别对左右相机进行单目相机标定，得到相机参数。
8.一种双目显微视觉系统，其特征在于，包括相互连接的双目显微视觉装置和计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由所述处理器加载并执行以实现如权利要求1-5任一项所述的基于双目显微视觉的测量方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或者至少一段程序，所述至少一条指令或者所述至少一段程序由处理器加载并执行以实现如权利要求1-5任一项所述的基于双目显微视觉的测量方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010249788.5A CN111612731B (zh) | 2020-04-01 | 2020-04-01 | 基于双目显微视觉的测量方法、装置、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010249788.5A CN111612731B (zh) | 2020-04-01 | 2020-04-01 | 基于双目显微视觉的测量方法、装置、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111612731A CN111612731A (zh) | 2020-09-01 |
| CN111612731B true CN111612731B (zh) | 2021-04-02 |
Family
ID=72201529
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010249788.5A Active CN111612731B (zh) | 2020-04-01 | 2020-04-01 | 基于双目显微视觉的测量方法、装置、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111612731B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112308932B (zh) * | 2020-11-04 | 2023-12-08 | 中国科学院上海微系统与信息技术研究所 | 一种注视检测方法、装置、设备及存储介质 |
| CN112862907B (zh) * | 2021-01-19 | 2024-03-19 | 华中科技大学 | 显微图像校正方法、装置、设备、存储介质及产品 |
| CN115880448B (zh) * | 2022-12-06 | 2024-05-14 | 西安工大天成科技有限公司 | 基于双目成像的三维测量方法及装置 |
| CN117315003A (zh) * | 2023-12-01 | 2023-12-29 | 常州微亿智造科技有限公司 | 基于双目光栅投影的三维测量方法、系统、设备及其介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103247053A (zh) * | 2013-05-16 | 2013-08-14 | 大连理工大学 | 基于双目显微立体视觉的零件精确定位方法 |
| CN108876836A (zh) * | 2018-03-29 | 2018-11-23 | 北京旷视科技有限公司 | 一种深度估计方法、装置、系统及计算机可读存储介质 |
| CN110288659A (zh) * | 2019-05-27 | 2019-09-27 | 魏运 | 一种基于双目视觉的深度成像及信息获取方法 |
| CN110926454A (zh) * | 2019-12-13 | 2020-03-27 | 中国科学院自动化研究所 | 基于双显微相机主动运动的微球孔姿态测量方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120014611A1 (en) * | 2010-07-19 | 2012-01-19 | Dean Bruce H | System and method for determining phase retrieval sampling from the modulation transfer function |
| US9373171B2 (en) * | 2013-07-22 | 2016-06-21 | Stmicroelectronics S.R.L. | Method for generating a depth map, related system and computer program product |
| US10460457B2 (en) * | 2016-07-12 | 2019-10-29 | Novartis Ag | Adaptive adjustment of overlay image parameters |
| TWI658720B (zh) * | 2016-12-30 | 2019-05-01 | 創研光電股份有限公司 | 運用變焦影像資訊以改善原視差影像匹配錯誤之方法 |
| CN109191511B (zh) * | 2018-07-27 | 2021-04-13 | 杭州电子科技大学 | 一种基于卷积神经网络的双目立体匹配方法 |
| CN109031642B (zh) * | 2018-09-14 | 2020-08-14 | 广州弥德科技有限公司 | 一种通用的体视显微裸眼可视化的显示方法和系统装置 |
| CN110223377A (zh) * | 2019-05-28 | 2019-09-10 | 上海工程技术大学 | 一种基于立体视觉系统高精度的三维重建方法 |
-
2020
- 2020-04-01 CN CN202010249788.5A patent/CN111612731B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103247053A (zh) * | 2013-05-16 | 2013-08-14 | 大连理工大学 | 基于双目显微立体视觉的零件精确定位方法 |
| CN108876836A (zh) * | 2018-03-29 | 2018-11-23 | 北京旷视科技有限公司 | 一种深度估计方法、装置、系统及计算机可读存储介质 |
| CN110288659A (zh) * | 2019-05-27 | 2019-09-27 | 魏运 | 一种基于双目视觉的深度成像及信息获取方法 |
| CN110926454A (zh) * | 2019-12-13 | 2020-03-27 | 中国科学院自动化研究所 | 基于双显微相机主动运动的微球孔姿态测量方法 |
Non-Patent Citations (2)
| Title |
|---|
| Precision 3-D Motion Tracking for Binocular Microscopic Vision System;Song Liu 等;《IEEE Transactions on Industrial Electronics》;20191231;9339-9349 * |
| 基于体视显微镜的立体视觉测量系统;彭诚等;《清华大学学报（自然科学版）》;20150228;223-230 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111612731A (zh) | 2020-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111612731B (zh) | 基于双目显微视觉的测量方法、装置、系统及介质 | |
| CN110363858B (zh) | 一种三维人脸重建方法及系统 | |
| CN107833181B (zh) | 一种基于变焦立体视觉的三维全景图像生成方法 | |
| JP6807639B2 (ja) | 奥行きカメラを校正する方法 | |
| CN107767440B (zh) | 基于三角网内插及约束的文物序列影像精细三维重建方法 | |
| CN112102458A (zh) | 基于激光雷达点云数据辅助的单镜头三维图像重构方法 | |
| WO2015135323A1 (zh) | 一种摄像机跟踪方法及装置 | |
| US10810718B2 (en) | Method and device for three-dimensional reconstruction | |
| CN109697728A (zh) | 数据处理方法、装置、系统和存储介质 | |
| CN108564653B (zh) | 基于多Kinect的人体骨架追踪系统及方法 | |
| CN111882655B (zh) | 三维重建的方法、装置、系统、计算机设备和存储介质 | |
| CN109919971A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN111915723A (zh) | 一种用于室内的三维全景构建方法和系统 | |
| CN116309880A (zh) | 基于三维重建的物体位姿确定方法、装置、设备及介质 | |
| CN115375842A (zh) | 一种植株三维重建方法、终端及存储介质 | |
| CN116129037B (zh) | 视触觉传感器及其三维重建方法、系统、设备及存储介质 | |
| CN110533774A (zh) | 一种基于智能手机的三维模型重建方法 | |
| CN117197333A (zh) | 基于多目视觉的空间目标重构与位姿估计方法及系统 | |
| CN111739071A (zh) | 基于初始值的快速迭代配准方法、介质、终端和装置 | |
| CN113706635B (zh) | 一种基于点特征和线特征融合的长焦距相机标定方法 | |
| CN116935013B (zh) | 基于三维重建的电路板点云大范围拼接方法及系统 | |
| CN112381721A (zh) | 一种基于双目视觉的人脸三维重建方法 | |
| CN116402867A (zh) | 融合sift和ransac的三维重建图像对齐的方法 | |
| CN112819900B (zh) | 一种智能立体摄影内方位、相对定向和畸变系数标定方法 | |
| CN114399547B (zh) | 一种基于多帧的单目slam鲁棒初始化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |