CN107845145B - 一种电子显微场景下的三维重构系统及方法 - Google Patents

Abstract

本发明公开了一种电子显微场景下的三维重构系统及方法，由电子显微镜按照一定步长采集相应帧的图片序列，然后对图像进行分块处理，并编纂为字典，求解稀疏系数，进行融合并恢复为清晰图像；在具体的实施过程中，其准焦的运动调节，由步进电机结合丝杠传动完成，利用控制信号以及定位高度，计算得到每一帧近似物距差，继而实现三维重构，从而地解决了显微场景下，由于景深短造成的三维信息量的不足。

Description

一种电子显微场景下的三维重构系统及方法

技术领域

本发明属于显微视觉技术领域，更为具体地讲，涉及一种电子显微场景下的三维重构系统及方法。

背景技术

随着计算机视觉技术的发展，三维建模技术在工业检测，质量控制，考古以及生物研究等领域提供了有力的技术支撑，同时其广泛应用也使得计算机视觉有了长足的发展。如双目立体视觉、纹理法、轮廓法、运动法以及统计学习法。

目前，由于光学显微镜景深短，在观察物体时并不能看到丰富的三维信息，特别是在物体表面高低不同时，取任何一个焦距都得不到全清晰的图像。因此，显微场景下的三维重建方法需要多聚焦图像融合以及散焦图像深度信息恢复技术。传统的三维重构譬如双目视觉三维重构，是依据其摄像机所拍摄的两幅三维图像的几何关系将场景的三维信息重构出来，但显微场景的散焦图像并不能获得完整的纹理信息；激光扫描三维重建也只能得到三维数据，无法得到物体本身的纹理信息，即恢复信息不全，不宜用于生物研究、材料分析、质量检测等常见显微场景；近几年出现的基于特征统计学习法，建立在大型的目标数据库基础上，通过学习的方法，对数据库中的每个目标进行特征提取，然后对重建目标的特征各自建立概率函数，最后将重建目标与数据库中相似目标的相似程度表示为概率的大小，取概率最大的目标深度为重建目标深度，再结合纹理映射或插值方法进行三维重建，可以在只有一张图片的情况下进行三维重建，然而其最大的难点就在于获得完备的大型目标数据库，也同样不太适用于显微场景。

该方法使用利用步进电机对电子显微镜连续单方向调节焦距，获取相同步长的散焦图像序列，利用多聚焦图像融合技术得到清晰图像，利用信息熵评估模糊程度，进而对各帧图像分块，得到清晰子块高度，用三维重构算法恢复出其三维图像，降低了视频图像序列三维重建重建效果对特征点密集程度的依赖，对特征点较少的弱纹理场景也能取得较好地重建效果，原方法适用大规模场景譬如自然地形、城市景观等场景，在此通过利用显微散焦图像的特性，使之变的更适合显微场景。

发明内容

本发明的目的在于克服现有技术的不足，提供一种电子显微场景下的三维重构系统及方法，在普通显微场景下，仅通过一系列散焦图像序列，由图像算法恢复其三维图景。

为实现上述发明目的，本发明一种电子显微场景下的三维重构方法，其特征在于，包括以下步骤：

(1)、利用电子显微镜获得焦距不同的待融合图像

利用位置传感器定位到三维重建所需的上限位置与下限位置，再通过控制器控制伺服电机转动来带动镜筒的物距螺旋准焦上移，当下限位置传感器感应到目镜后进行拍摄，得到不同焦距的待融合图像；

(2)、对待融合图像进行预处理

设待融合图像共计L张，对L张图像使用SIFT特征提取算法进行特征点配准；

将配准好的L张图像分别归一化为M×N大小的图像，按行优先顺序，使用步长为1的滑动窗把第k张图像分成

大小的图像块，m为常数，再把每一块图像纂成一个字典式列向量，其中，第i块图像纂成第i个字典式列向量为v_ki，

最后将各个字典式列向量构成矩阵V_k；

同理，按照上述方法处理完剩余L-1张图像；

(3)、基于稀疏分解的图像融合

(3.1)、取第一张和第二张配准好的图像；

(3.2)、将两张图像对应的矩阵V₁、V₂组成联合矩阵V₁₂＝[V₁,V₂]，再利用ODL算法得到联合矩阵V₁₂的学习字典D；

(3.3)、设联合矩阵V₁₂包含公共部分V_c和各自独特部分V_iu，及噪声部分n_i，i＝1,2，将噪声部分n_i处理成列向量矩阵n_i′，则有：

V₁₂＝V_c+V_iu+n_i′＝Ds_i+Ds_i+n_i′

令

则联合矩阵V₁₂可以表示为：V₁₂＝DS+n′；其中，s_e、s_i表示稀疏矩阵S中的元数；

(3.4)、计算稀疏矩阵S的第j列的值：

其中，v_j是矩阵V₁₂的第j列，s_j是稀疏矩阵S的第j列，T由噪声方差确定；

(3.5)、根据稀疏矩阵S每一列的值，利用LARS算法求解稀疏系数S^*；

(3.6)、计算融合图像的向量矩阵V＝DS^*；再将向量矩阵V的列向量还原成多个图像块，最后把所有的图像块加权平均处理，得到融合后的图像；

(3.7)、取融合后的图像和第三张配准好的图像，再按照步骤(3.2)～(3.6)所述方法进行图像融合，得到融合后的图像，然后以此类推，至到第L张图像融合完成，得到最终的融合图像I_F；

(4)、图像分割

(4.1)、读取图像I_F像素点的行列数目，把图像I_F等分为K个矩形块，再以此为模板，将每一张配准后的图像也等分成K个矩形块；

(4.2)、采用信息熵D(f)来度量每个矩形块的清晰程度：

其中，

表示第k张图像中第τ个矩形块的熵值，

越大，则矩形块越清晰，

表示第k张图像中第τ个矩形块出现像素值σ的概率；

(4.3)、在每一张图像中，找出所有的熵值的熵极值，再将熵极值相同的所有矩形块进行合并，得到一个清晰子块，共计得到L个清晰子块；

(4.4)、对L个清晰子块的边界进行边缘柔化处理，得到L个矩阵；

(5)、深度提取与三维重构

根据传感器上下限距离h，以及矩形脉冲个数P，计算物距差Δh，Δh＝h/P；

在融合图像I_F中，以L个矩阵为边界，为区域内像素点增加相应高度Δh，得到最终的三维图像。

本发明还公布了一种电子显微场景下三维重构系统，其特征在于，包括：控制器部分、图像采集部分、运动控制部分和图形显示部分；

其中，所述的控制器部分包括：嵌入式处理设备、控制器；嵌入式处理设备用于发出控制指令，并接收位置信号，进行三维模型重构；控制器为信号转换器，将嵌入式处理设备所传输的控制信号S1转化为脉冲信号S2；

所述运动控制部分包括：闭环步进电机、上下限传感器、USB数据及控制线，丝杠传动装置，置物架；其中，所有信号由USB数据及控制线传输，嵌入式处理设备所发出的控制信号S1经过控制器处理为脉冲信号S2传输给闭环步进电机的内置驱动器，驱动电机通过丝杠传动装置进行显微镜螺旋准焦，控制显微镜镜体焦距；上下限传感器用于定位三维重构的上限与下限；置物架为金属圆台，用于放置重构物体，两侧有压片夹，用以固定较轻物体防止位移；

所述的图像采集部分包括：显微镜镜体、工业级摄像头；其中，工业级摄像头位于显微镜镜体的目镜处，用于获取连续帧的散焦图像，并传输给嵌入式处理设备；工业级摄像头采用1/2.5’CMOS图像传感器，数据接口为USB3.0，工业级摄像头接口为C接口，其数据接口接收嵌入式设备的控制信号S1，工业级摄像头按照其指令按照其时间间隔及相机参数采集多帧图像并输出图像信号给嵌入式设备；

所述的图形显示部分，接受并显示嵌入式处理设备输出的参数、采集的图像，以及显示重构后的三维模型；同时在调参阶段通过这里显示的位置数据调整位置传感器和脉冲长度等参数。

其中，所述的嵌入式处理设备完整重构流程为：

嵌入式处理设备给出控制信号S1传输给控制器以及工业级摄像头；控制器将之转化为P个固定脉冲长度的矩形脉冲S2，传输给闭环步进电机的驱动器则驱动电机转动一定角度(角度由脉冲长度控制)，其通过丝杠传动显微镜镜体的螺旋准焦，使物镜向上移动P次，每次固定位移Δh；工业级摄像头得到P个控制信号S1时，按照P个离散时间点对目镜下的成像进行拍摄，得到相应的P张散焦图像，并传输给嵌入式处理设备；

嵌入式处理设备对采集到的图像进行基于稀疏分解的图像融合，将多幅散焦图像融合为一幅清晰图像，对每一帧散焦图像按模糊边界进行图像分割，计算每一帧清晰块所在高度，然后在清晰图像中按照模糊边界为其逐帧增加高度，得到最终的三维图像，并传输给图像显示模块显示。

本发明的发明目的是这样实现的：

本发明一种电子显微场景下的三维重构系统及方法，由电子显微镜按照一定步长采集相应帧的图片序列，然后对图像进行分块处理，并编纂为字典，求解稀疏系数，进行融合并恢复为清晰图像；在具体的实施过程中，其准焦的运动调节，由步进电机结合丝杠传动完成，利用控制信号以及定位高度，计算得到每一帧近似物距差，继而实现三维重构，从而地解决了显微场景下，由于景深短造成的三维信息量的不足。

同时，本发明一种电子显微场景下的三维重构系统及方法还具有以下有益效果：

(1)、通过使用多聚焦图像融合以及散焦图像深度信息恢复技术，改善了传统方法(如双目视觉三维重建、激光扫描法、轮廓法等)在显微场景下纹理信息或三维信息总是无法获得较全信息的问题；

(2)、本方法与现在较常用的激光扫描法相比，设备更加廉价也更容易部署，获得的纹理信息更加丰富，其设备具有灵活性与可扩展性，能够在研究与工业用途中有较好的表现

附图说明

图1是本发明一种电子显微场景下的三维重构方法流程图；

图2是本发明一种电子显微场景下的三维重构系统原理图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

图1是本发明一种电子显微场景下的三维重构方法流程图。

在本实施例中，如图1所示，本发明一种电子显微场景下的三维重构方法，包括以下步骤：

S1、利用电子显微镜获得焦距不同的待融合图像

利用一对米郎KTF位置传感器定位到三维重建所需的上限位置与下限位置，DSP设备发出控制指令，通过一个数模转换器转换为脉冲信号控制伺服电机转动来带动镜筒的物距螺旋准焦旋转固定角度多次，控制指令通过USB控制线传输到工业相机，对显微镜所成像按照给定的时间多次拍摄，即得到不同焦距的待融合图像；

S2、设待融合图像共计L＝200张，对200张图像使用SIFT特征提取算法进行特征点配准；

S3、将配准好的200张图像分别归一化成同样大小的图像，都归一化为40×60，再按行优先顺序，使用步长为1的滑动窗把每一张图像分成8×8大小的图像块再把每一块图像纂成一个字典式列向量；

下面我们以第k张图像为例进行说明：第k张图像分成8×8大小的图像块，m为常数，再把每一块图像纂成一个字典式列向量，其中，第i块图像纂成第i个字典式列向量为v_ki，i＝1,2,,1617，最后将各个字典式列向量构成矩阵V_k；

同理，按照上述方法处理完剩余199张图像；

S4、求解稀疏系数

S4.1、取第一张和第二张配准好的图像；

S4.2、将两张图像对应的矩阵V₁、V₂组成联合矩阵V₁₂＝[V₁,V₂]，再利用ODL算法得到联合矩阵V₁₂的学习字典D；

S4.3、设联合矩阵V₁₂包含公共部分V_c和各自独特部分V_iu，及噪声部分n_i，i＝1,2，将噪声部分n_i处理成列向量矩阵n_i′，则有：

V₁₂＝V_c+V_iu+n_i′＝Ds_i+Ds_i+n_i′

令n′＝[n₁′ n₂′]^T，则联合矩阵V₁₂可以表示为：V₁₂＝DS+n^′；其中，s_e、s_i表示稀疏矩阵S中的元数；

S4.4、计算稀疏矩阵S的第j列的值：

其中，v_j是矩阵V₁₂的第j列，s_j是稀疏矩阵S的第j列，T由噪声方差确定；

S4.5、根据稀疏矩阵S每一列的值，利用LARS算法求解稀疏系数S^*；

S4.6、计算融合图像的向量矩阵V＝DS*；再将向量矩阵V的列向量还原成多个图像块，最后把所有的图像块加权平均处理，得到融合后的图像；

S5、图像融合

取融合后的图像和第三张配准好的图像，再按照步骤S4所述方法进行图像融合，得到融合后的图像，然后以此类推，至到第200张图像融合完成，得到最终的融合图像I_F；

S6、图像分割

S6.1、读取图像I_F像素点的行列数目，把图像I_F等分为24个矩形块，每个矩形窗口的长度和宽度10*10，再以此为模板，将每一张配准后的图像也等分成24个矩形块；

S6.2、采用信息熵D(f)来度量每个矩形块的清晰程度：

其中，

表示第k张图像中第τ个矩形块的熵值，

越大，则矩形块越清晰，

表示第k张图像中第τ个矩形块出现像素值σ的概率；

S7、合并清晰子块

在每一张图像中，找出所有的熵值的熵极值，再将熵极值相同的所有矩形块进行合并，得到一个清晰子块，共计得到200个清晰子块；

S8、对200个清晰子块的边界进行边缘柔化处理，得到200个矩阵；

S9、计算物距差

根据传感器上下限距离h，以及矩形脉冲个数P，计算物距差Δh，Δh＝h/P；

S10、在融合图像I_F中，以200个矩阵为边界，为区域内像素点增加相应高度Δh，得到最终的三维图像。

下面我们对本发明一种电子显微场景下三维重构系统进行详细描述，如图2所示，具体包括：控制器部分、图像采集部分、运动控制部分和图形显示部分；

其中，所述的控制器部分包括：嵌入式处理设备、控制器；嵌入式处理设备使用TI公司的C5505，用于发出控制指令，并接收位置信号，进行三维模型重构；控制器为ADI公司的AD5676R，将嵌入式处理设备所传输的控制信号S1转化为脉冲信号S2；

所述运动控制部分包括：闭环步进电机、上下限传感器、USB数据及控制线，丝杠传动装置，置物架；其中，闭环步进电机使用orientalmotor公司的AZ系列步进电机，所有信号由USB数据及控制线传输，c5505所发出的控制信号Q1经过控制器处理为脉冲信号Q2传输给闭环步进电机的内置驱动器，驱动电机通过丝杠传动装置进行显微镜螺旋准焦，控制显微镜镜体焦距；上下限传感器用于定位三维重构的上限与下限；置物架为金属圆台，用于放置重构物体，两侧有压片夹，用以固定较轻物体防止位移；

所述的图像采集部分包括：显微镜镜体、工业级摄像头；其中，工业级摄像头使用BASLER的acA640-120uc，其位于显微镜镜体的目镜处，用于获取连续帧的散焦图像，并传输给嵌入式处理设备；工业级摄像头采用1/2.5’CMOS图像传感器，数据接口为USB3.0，工业级摄像头接口为C接口，其数据接口接收嵌入式设备的控制信号Q1，工业级摄像头按照其指令按照其时间间隔及相机参数采集多帧图像并输出图像信号给嵌入式设备；

所述的图形显示部分，接受并显示嵌入式处理设备输出的参数、采集的图像，以及显示重构后的三维模型；同时在调参阶段通过这里显示的位置数据调整位置传感器和脉冲长度等参数。

下面我们对重构流程进行详细描述，具体为：

嵌入式处理设备给出控制信号Q1传输给控制器以及工业级摄像头；控制器将之转化为P个固定脉冲长度的矩形脉冲Q2，传输给闭环步进电机的驱动器则驱动电机转动一定角度(角度由脉冲长度控制)，其通过丝杠传动显微镜镜体的螺旋准焦，使物镜向上移动P次，每次固定位移Δh；工业级摄像头得到P个控制信号Q1时，按照P个离散时间点对目镜下的成像进行拍摄，得到相应的P张散焦图像，并传输给嵌入式处理设备；

嵌入式处理设备对采集到的图像进行基于稀疏分解的图像融合，将多幅散焦图像融合为一幅清晰图像，对每一帧散焦图像按模糊边界进行图像分割，计算每一帧清晰块所在高度，然后在清晰图像中按照模糊边界为其逐帧增加高度，得到最终的三维图像，并传输给图像显示模块显示。

综上所述，本发明提供的一种显微场景下三维重构的系统及方法，充分利用了显微场景下散焦图像的图像特性，从配准好的图像序列中分割出每一帧的清晰区域，并通过逐帧比较，得到合适的清晰边界，应用于图像序列所融合好的全聚焦图像；该模型可以实时、准确的构建物体的三维形态，为生物研究，质量检测等领域的信息电子化及其研究提供方便。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (3)

1.一种电子显微场景下的三维重构方法，其特征在于，包括以下步骤：

(1)、利用电子显微镜获得焦距不同的待融合图像

利用位置传感器定位到三维重建所需的上限位置与下限位置，再通过控制器控制伺服电机转动来带动镜筒的物距螺旋准焦上移，当下限位置传感器感应到目镜后进行拍摄，得到不同焦距的待融合图像；

(2)、对待融合图像进行预处理

设待融合图像共计L张，对L张图像使用SIFT特征提取算法进行特征点配准；

将配准好的L张图像分别归一化为M×N大小的图像，按行优先顺序，使用步长为1的滑动窗把第k张图像分成

大小的图像块，m为常数，再把每一块图像纂成一个字典式列向量，其中，第i块图像纂成第i个字典式列向量为v_ki，

最后将各个字典式列向量构成矩阵V_k；

同理，按照上述方法处理完剩余L-1张图像；

(3)、基于稀疏分解的图像融合

(3.1)、取第一张和第二张配准好的图像；

(3.2)、将两张图像对应的矩阵V₁、V₂组成联合矩阵V₁₂＝[V₁,V₂]，再利用ODL算法得到联合矩阵V₁₂的学习字典D；

(3.3)、设联合矩阵V₁₂包含公共部分V_c和各自独特部分V_iu，及噪声部分n_i，i＝1,2，将噪声部分n_i处理成列向量矩阵n_i′，则有：

V₁₂＝V_c+V_iu+n_i′＝Ds_i+Ds_i+n_i′

令n′＝[n₁′ n₂′]^T，则联合矩阵V₁₂可以表示为：V₁₂＝DS+n′；其中，s_e、s_i表示稀疏矩阵S中的元数；

(3.4)、计算稀疏矩阵S的第j列的值：

其中，v_j是矩阵V₁₂的第j列，s_j是稀疏矩阵S的第j列，T由噪声方差确定；

(3.5)、根据稀疏矩阵S每一列的值，利用LARS算法求解稀疏系数S^*；

(3.6)、计算融合图像的向量矩阵V＝DS^*；再将向量矩阵V的列向量还原成多个图像块，最后把所有的图像块加权平均处理，得到融合后的图像；

(3.7)、取融合后的图像和第三张配准好的图像，再按照步骤(3.2)～(3.6)所述方法进行图像融合，得到融合后的图像，然后以此类推，至到第L张图像融合完成，得到最终的融合图像I_F；

(4)、图像分割

(4.1)、读取图像I_F像素点的行列数目，把图像I_F等分为K个矩形块，再以此为模板，将每一张配准后的图像也等分成K个矩形块；

(4.2)、采用信息熵D(f)来度量每个矩形块的清晰程度：

其中，

表示第k张图像中第τ个矩形块的熵值，

越大，则矩形块越清晰，

表示第k张图像中第τ个矩形块出现像素值σ的概率；

(4.3)、在每一张图像中，找出所有的熵值的熵极值，再将熵极值相同的所有矩形块进行合并，得到一个清晰子块，共计得到L个清晰子块；

(4.4)、对L个清晰子块的边界进行边缘柔化处理，得到L个矩阵；

(5)、深度提取与三维重构

根据传感器上下限距离h，以及矩形脉冲个数P，计算物距差Δh，Δh＝h/P；

在融合图像I_F中，以L个矩阵为边界，为区域内像素点增加相应高度Δh，得到最终的三维图像。

2.一种电子显微场景下三维重构系统，其特征在于，包括：控制器部分、图像采集部分、运动控制部分和图形显示部分；

其中，所述的控制器部分包括：嵌入式处理设备、控制器；嵌入式处理设备用于发出控制指令，并接收位置信号，进行三维模型重构；控制器为信号转换器，将嵌入式处理设备所传输的控制信号S1转化为脉冲信号S2；

所述运动控制部分包括：闭环步进电机、上下限传感器、USB数据及控制线，丝杠传动装置，置物架；其中，所有信号由USB数据及控制线传输，嵌入式处理设备所发出的控制信号S1经过控制器处理为脉冲信号S2传输给闭环步进电机的内置驱动器，驱动电机通过丝杠传动装置进行显微镜螺旋准焦，控制显微镜镜体焦距；上下限传感器用于定位三维重构的上限与下限；置物架为金属圆台，用于放置重构物体，两侧有压片夹，用以固定较轻物体防止位移；

所述的图像采集部分包括：显微镜镜体、工业级摄像头；其中，工业级摄像头位于显微镜镜体的目镜处，用于获取连续帧的散焦图像，并传输给嵌入式处理设备；工业级摄像头采用1/2.5’CMOS图像传感器，数据接口为USB3.0，工业级摄像头接口为C接口，其数据接口接收嵌入式设备的控制信号S1，工业级摄像头按照其指令按照其时间间隔及相机参数采集多帧图像并输出图像信号给嵌入式设备；

所述的图形显示部分，接受并显示嵌入式处理设备输出的参数、采集的图像，以及显示重构后的三维模型；同时在调参阶段通过这里显示的位置数据调整位置传感器和脉冲长度参数。

3.根据权利要求2所述的一种电子显微场景下三维重构系统，其特征在于，所述的嵌入式处理设备完整重构流程为：

嵌入式处理设备给出控制信号S1传输给控制器以及工业级摄像头；控制器将之转化为P个固定脉冲长度的矩形脉冲S2，传输给闭环步进电机的驱动器则驱动电机转动一定角度，而角度由脉冲长度控制，其通过丝杠传动显微镜镜体的螺旋准焦，使物镜向上移动P次，每次固定位移Δh；工业级摄像头得到P个控制信号S1时，按照P个离散时间点对目镜下的成像进行拍摄，得到相应的P张散焦图像，并传输给嵌入式处理设备；

嵌入式处理设备对采集到的图像进行基于稀疏分解的图像融合，将多幅散焦图像融合为一幅清晰图像，对每一帧散焦图像按模糊边界进行图像分割，计算每一帧清晰块所在高度，然后在清晰图像中按照模糊边界为其逐帧增加高度，得到最终的三维图像，并传输给图像显示模块显示。

Images