CN107845145A - 一种电子显微场景下的三维重构系统及方法 - Google Patents
一种电子显微场景下的三维重构系统及方法 Download PDFInfo
- Publication number
- CN107845145A CN107845145A CN201711226476.7A CN201711226476A CN107845145A CN 107845145 A CN107845145 A CN 107845145A CN 201711226476 A CN201711226476 A CN 201711226476A CN 107845145 A CN107845145 A CN 107845145A
- Authority
- CN
- China
- Prior art keywords
- image
- msub
- mtd
- mrow
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 32
- 230000005540 biological transmission Effects 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 42
- 239000013598 vector Substances 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 16
- 230000033001 locomotion Effects 0.000 claims description 8
- 239000008186 active pharmaceutical agent Substances 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000001493 electron microscopy Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 3
- 239000002184 metal Substances 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000007812 deficiency Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种电子显微场景下的三维重构系统及方法,由电子显微镜按照一定步长采集相应帧的图片序列,然后对图像进行分块处理,并编纂为字典,求解稀疏系数,进行融合并恢复为清晰图像;在具体的实施过程中,其准焦的运动调节,由步进电机结合丝杠传动完成,利用控制信号以及定位高度,计算得到每一帧近似物距差,继而实现三维重构,从而地解决了显微场景下,由于景深短造成的三维信息量的不足。
Description
技术领域
本发明属于显微视觉技术领域,更为具体地讲,涉及一种电子显微场景下的三维重构系统及方法。
背景技术
随着计算机视觉技术的发展,三维建模技术在工业检测,质量控制,考古以及生物研究等领域提供了有力的技术支撑,同时其广泛应用也使得计算机视觉有了长足的发展。如双目立体视觉、纹理法、轮廓法、运动法以及统计学习法。
目前,由于光学显微镜景深短,在观察物体时并不能看到丰富的三维信息,特别是在物体表面高低不同时,取任何一个焦距都得不到全清晰的图像。因此,显微场景下的三维重建方法需要多聚焦图像融合以及散焦图像深度信息恢复技术。传统的三维重构譬如双目视觉三维重构,是依据其摄像机所拍摄的两幅三维图像的几何关系将场景的三维信息重构出来,但显微场景的散焦图像并不能获得完整的纹理信息;激光扫描三维重建也只能得到三维数据,无法得到物体本身的纹理信息,即恢复信息不全,不宜用于生物研究、材料分析、质量检测等常见显微场景;近几年出现的基于特征统计学习法,建立在大型的目标数据库基础上,通过学习的方法,对数据库中的每个目标进行特征提取,然后对重建目标的特征各自建立概率函数,最后将重建目标与数据库中相似目标的相似程度表示为概率的大小,取概率最大的目标深度为重建目标深度,再结合纹理映射或插值方法进行三维重建,可以在只有一张图片的情况下进行三维重建,然而其最大的难点就在于获得完备的大型目标数据库,也同样不太适用于显微场景。
该方法使用利用步进电机对电子显微镜连续单方向调节焦距,获取相同步长的散焦图像序列,利用多聚焦图像融合技术得到清晰图像,利用信息熵评估模糊程度,进而对各帧图像分块,得到清晰子块高度,用三维重构算法恢复出其三维图像,降低了视频图像序列三维重建重建效果对特征点密集程度的依赖,对特征点较少的弱纹理场景也能取得较好地重建效果,原方法适用大规模场景譬如自然地形、城市景观等场景,在此通过利用显微散焦图像的特性,使之变的更适合显微场景。
发明内容
本发明的目的在于克服现有技术的不足,提供一种电子显微场景下的三维重构系统及方法,在普通显微场景下,仅通过一系列散焦图像序列,由图像算法恢复其三维图景。
为实现上述发明目的,本发明一种电子显微场景下的三维重构方法,其特征在于,包括以下步骤:
(1)、利用电子显微镜获得焦距不同的待融合图像
利用位置传感器定位到三维重建所需的上限位置与下限位置,再通过控制器控制伺服电机转动来带动镜筒的物距螺旋准焦上移,当下限位置传感器感应到目镜后进行拍摄,得到不同焦距的待融合图像;
(2)、对待融合图像进行预处理
设待融合图像共计L张,对L张图像使用SIFT特征提取算法进行特征点配准;
将配准好的L张图像分别归一化为M×N大小的图像,按行优先顺序,使用步长为1的滑动窗把第k张图像分成大小的图像块,m为常数,再把每一块图像纂成一个字典式列向量,其中,第i块图像纂成第i个字典式列向量为vki,最后将各个字典式列向量构成矩阵Vk;
同理,按照上述方法处理完剩余L-1张图像;
(3)、基于稀疏分解的图像融合
(3.1)、取第一张和第二张配准好的图像;
(3.2)、将两张图像对应的矩阵V1、V2组成联合矩阵V12=[V1,V2],再利用ODL算法得到联合矩阵V12的学习字典D;
(3.3)、设联合矩阵V12包含公共部分Vc和各自独特部分Viu,及噪声部分ni,i=1,2,将噪声部分ni处理成列向量矩阵ni′,则有:
V12=Vc+Viu+ni′=Dsi+Dsi+ni′
令则联合矩阵V12可以表示为:V12=DS+n′;其中,se、si表示稀疏矩阵S中的元数;
(3.4)、计算稀疏矩阵S的第j列的值:
其中,vj是矩阵V12的第j列,sj是稀疏矩阵S的第j列,T由噪声方差确定;
(3.5)、根据稀疏矩阵S每一列的值,利用LARS算法求解稀疏系数S*;
(3.6)、计算融合图像的向量矩阵V=DS*;再将向量矩阵V的列向量还原成多个图像块,最后把所有的图像块加权平均处理,得到融合后的图像;
(3.7)、取融合后的图像和第三张配准好的图像,再按照步骤(3.2)~(3.6)所述方法进行图像融合,得到融合后的图像,然后以此类推,至到第L张图像融合完成,得到最终的融合图像IF;
(4)、图像分割
(4.1)、读取图像IF像素点的行列数目,把图像IF等分为K个矩形块,再以此为模板,将每一张配准后的图像也等分成K个矩形块;
(4.2)、采用信息熵D(f)来度量每个矩形块的清晰程度:
其中,表示第k张图像中第τ个矩形块的熵值,越大,则矩形块越清晰,表示第k张图像中第τ个矩形块出现像素值σ的概率;
(4.3)、在每一张图像中,找出所有的熵值的熵极值,再将熵极值相同的所有矩形块进行合并,得到一个清晰子块,共计得到L个清晰子块;
(4.4)、对L个清晰子块的边界进行边缘柔化处理,得到L个矩阵;
(5)、深度提取与三维重构
根据传感器上下限距离h,以及矩形脉冲个数P,计算物距差Δh,Δh=h/P;
在融合图像IF中,以L个矩阵为边界,为区域内像素点增加相应高度Δh,得到最终的三维图像。
本发明还公布了一种电子显微场景下三维重构系统,其特征在于,包括:控制器部分、图像采集部分、运动控制部分和图形显示部分;
其中,所述的控制器部分包括:嵌入式处理设备、控制器;嵌入式处理设备用于发出控制指令,并接收位置信号,进行三维模型重构;控制器为信号转换器,将嵌入式处理设备所传输的控制信号S1转化为脉冲信号S2;
所述运动控制部分包括:闭环步进电机、上下限传感器、USB数据及控制线,丝杠传动装置,置物架;其中,所有信号由USB数据及控制线传输,嵌入式处理设备所发出的控制信号S1经过控制器处理为脉冲信号S2传输给闭环步进电机的内置驱动器,驱动电机通过丝杠传动装置进行显微镜螺旋准焦,控制显微镜镜体焦距;上下限传感器用于定位三维重构的上限与下限;置物架为金属圆台,用于放置重构物体,两侧有压片夹,用以固定较轻物体防止位移;
所述的图像采集部分包括:显微镜镜体、工业级摄像头;其中,工业级摄像头位于显微镜镜体的目镜处,用于获取连续帧的散焦图像,并传输给嵌入式处理设备;工业级摄像头采用1/2.5’CMOS图像传感器,数据接口为USB3.0,工业级摄像头接口为C接口,其数据接口接收嵌入式设备的控制信号S1,工业级摄像头按照其指令按照其时间间隔及相机参数采集多帧图像并输出图像信号给嵌入式设备;
所述的图形显示部分,接受并显示嵌入式处理设备输出的参数、采集的图像,以及显示重构后的三维模型;同时在调参阶段通过这里显示的位置数据调整位置传感器和脉冲长度等参数。
其中,所述的嵌入式处理设备完整重构流程为:
嵌入式处理设备给出控制信号S1传输给控制器以及工业级摄像头;控制器将之转化为P个固定脉冲长度的矩形脉冲S2,传输给闭环步进电机的驱动器则驱动电机转动一定角度(角度由脉冲长度控制),其通过丝杠传动显微镜镜体的螺旋准焦,使物镜向上移动P次,每次固定位移Δh;工业级摄像头得到P个控制信号S1时,按照P个离散时间点对目镜下的成像进行拍摄,得到相应的P张散焦图像,并传输给嵌入式处理设备;
嵌入式处理设备对采集到的图像进行基于稀疏分解的图像融合,将多幅散焦图像融合为一幅清晰图像,对每一帧散焦图像按模糊边界进行图像分割,计算每一帧清晰块所在高度,然后在清晰图像中按照模糊边界为其逐帧增加高度,得到最终的三维图像,并传输给图像显示模块显示。
本发明的发明目的是这样实现的:
本发明一种电子显微场景下的三维重构系统及方法,由电子显微镜按照一定步长采集相应帧的图片序列,然后对图像进行分块处理,并编纂为字典,求解稀疏系数,进行融合并恢复为清晰图像;在具体的实施过程中,其准焦的运动调节,由步进电机结合丝杠传动完成,利用控制信号以及定位高度,计算得到每一帧近似物距差,继而实现三维重构,从而地解决了显微场景下,由于景深短造成的三维信息量的不足。
同时,本发明一种电子显微场景下的三维重构系统及方法还具有以下有益效果:
(1)、通过使用多聚焦图像融合以及散焦图像深度信息恢复技术,改善了传统方法(如双目视觉三维重建、激光扫描法、轮廓法等)在显微场景下纹理信息或三维信息总是无法获得较全信息的问题;
(2)、本方法与现在较常用的激光扫描法相比,设备更加廉价也更容易部署,获得的纹理信息更加丰富,其设备具有灵活性与可扩展性,能够在研究与工业用途中有较好的表现
附图说明
图1是本发明一种电子显微场景下的三维重构方法流程图;
图2是本发明一种电子显微场景下的三维重构系统原理图。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述,以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是,在以下的描述中,当已知功能和设计的详细描述也许会淡化本发明的主要内容时,这些描述在这里将被忽略。
实施例
图1是本发明一种电子显微场景下的三维重构方法流程图。
在本实施例中,如图1所示,本发明一种电子显微场景下的三维重构方法,包括以下步骤:
S1、利用电子显微镜获得焦距不同的待融合图像
利用一对米郎KTF位置传感器定位到三维重建所需的上限位置与下限位置,DSP设备发出控制指令,通过一个数模转换器转换为脉冲信号控制伺服电机转动来带动镜筒的物距螺旋准焦旋转固定角度多次,控制指令通过USB控制线传输到工业相机,对显微镜所成像按照给定的时间多次拍摄,即得到不同焦距的待融合图像;
S2、设待融合图像共计L=200张,对200张图像使用SIFT特征提取算法进行特征点配准;
S3、将配准好的200张图像分别归一化成同样大小的图像,都归一化为40×60,再按行优先顺序,使用步长为1的滑动窗把每一张图像分成8×8大小的图像块再把每一块图像纂成一个字典式列向量;
下面我们以第k张图像为例进行说明:第k张图像分成8×8大小的图像块,m为常数,再把每一块图像纂成一个字典式列向量,其中,第i块图像纂成第i个字典式列向量为vki,i=1,2,,1617,最后将各个字典式列向量构成矩阵Vk;
同理,按照上述方法处理完剩余199张图像;
S4、求解稀疏系数
S4.1、取第一张和第二张配准好的图像;
S4.2、将两张图像对应的矩阵V1、V2组成联合矩阵V12=[V1,V2],再利用ODL算法得到联合矩阵V12的学习字典D;
S4.3、设联合矩阵V12包含公共部分Vc和各自独特部分Viu,及噪声部分ni,i=1,2,将噪声部分ni处理成列向量矩阵ni′,则有:
V12=Vc+Viu+ni′=Dsi+Dsi+ni′
令n′=[n1′ n2′]T,则联合矩阵V12可以表示为:V12=DS+n′;其中,se、si表示稀疏矩阵S中的元数;
S4.4、计算稀疏矩阵S的第j列的值:
其中,vj是矩阵V12的第j列,sj是稀疏矩阵S的第j列,T由噪声方差确定;
S4.5、根据稀疏矩阵S每一列的值,利用LARS算法求解稀疏系数S*;
S4.6、计算融合图像的向量矩阵V=DS*;再将向量矩阵V的列向量还原成多个图像块,最后把所有的图像块加权平均处理,得到融合后的图像;
S5、图像融合
取融合后的图像和第三张配准好的图像,再按照步骤S4所述方法进行图像融合,得到融合后的图像,然后以此类推,至到第200张图像融合完成,得到最终的融合图像IF;
S6、图像分割
S6.1、读取图像IF像素点的行列数目,把图像IF等分为24个矩形块,每个矩形窗口的长度和宽度10*10,再以此为模板,将每一张配准后的图像也等分成24个矩形块;
S6.2、采用信息熵D(f)来度量每个矩形块的清晰程度:
其中,表示第k张图像中第τ个矩形块的熵值,越大,则矩形块越清晰,表示第k张图像中第τ个矩形块出现像素值σ的概率;
S7、合并清晰子块
在每一张图像中,找出所有的熵值的熵极值,再将熵极值相同的所有矩形块进行合并,得到一个清晰子块,共计得到200个清晰子块;
S8、对200个清晰子块的边界进行边缘柔化处理,得到200个矩阵;
S9、计算物距差
根据传感器上下限距离h,以及矩形脉冲个数P,计算物距差Δh,Δh=h/P;
S10、在融合图像IF中,以200个矩阵为边界,为区域内像素点增加相应高度Δh,得到最终的三维图像。
下面我们对本发明一种电子显微场景下三维重构系统进行详细描述,如图2所示,具体包括:控制器部分、图像采集部分、运动控制部分和图形显示部分;
其中,所述的控制器部分包括:嵌入式处理设备、控制器;嵌入式处理设备使用TI公司的C5505,用于发出控制指令,并接收位置信号,进行三维模型重构;控制器为ADI公司的AD5676R,将嵌入式处理设备所传输的控制信号S1转化为脉冲信号S2;
所述运动控制部分包括:闭环步进电机、上下限传感器、USB数据及控制线,丝杠传动装置,置物架;其中,闭环步进电机使用orientalmotor公司的AZ系列步进电机,所有信号由USB数据及控制线传输,c5505所发出的控制信号Q1经过控制器处理为脉冲信号Q2传输给闭环步进电机的内置驱动器,驱动电机通过丝杠传动装置进行显微镜螺旋准焦,控制显微镜镜体焦距;上下限传感器用于定位三维重构的上限与下限;置物架为金属圆台,用于放置重构物体,两侧有压片夹,用以固定较轻物体防止位移;
所述的图像采集部分包括:显微镜镜体、工业级摄像头;其中,工业级摄像头使用BASLER的acA640-120uc,其位于显微镜镜体的目镜处,用于获取连续帧的散焦图像,并传输给嵌入式处理设备;工业级摄像头采用1/2.5’CMOS图像传感器,数据接口为USB3.0,工业级摄像头接口为C接口,其数据接口接收嵌入式设备的控制信号Q1,工业级摄像头按照其指令按照其时间间隔及相机参数采集多帧图像并输出图像信号给嵌入式设备;
所述的图形显示部分,接受并显示嵌入式处理设备输出的参数、采集的图像,以及显示重构后的三维模型;同时在调参阶段通过这里显示的位置数据调整位置传感器和脉冲长度等参数。
下面我们对重构流程进行详细描述,具体为:
嵌入式处理设备给出控制信号Q1传输给控制器以及工业级摄像头;控制器将之转化为P个固定脉冲长度的矩形脉冲Q2,传输给闭环步进电机的驱动器则驱动电机转动一定角度(角度由脉冲长度控制),其通过丝杠传动显微镜镜体的螺旋准焦,使物镜向上移动P次,每次固定位移Δh;工业级摄像头得到P个控制信号Q1时,按照P个离散时间点对目镜下的成像进行拍摄,得到相应的P张散焦图像,并传输给嵌入式处理设备;
嵌入式处理设备对采集到的图像进行基于稀疏分解的图像融合,将多幅散焦图像融合为一幅清晰图像,对每一帧散焦图像按模糊边界进行图像分割,计算每一帧清晰块所在高度,然后在清晰图像中按照模糊边界为其逐帧增加高度,得到最终的三维图像,并传输给图像显示模块显示。
综上所述,本发明提供的一种显微场景下三维重构的系统及方法,充分利用了显微场景下散焦图像的图像特性,从配准好的图像序列中分割出每一帧的清晰区域,并通过逐帧比较,得到合适的清晰边界,应用于图像序列所融合好的全聚焦图像;该模型可以实时、准确的构建物体的三维形态,为生物研究,质量检测等领域的信息电子化及其研究提供方便。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
Claims (3)
1.一种电子显微场景下的三维重构方法,其特征在于,包括以下步骤:
(1)、利用电子显微镜获得焦距不同的待融合图像
利用位置传感器定位到三维重建所需的上限位置与下限位置,再通过控制器控制伺服电机转动来带动镜筒的物距螺旋准焦上移,当下限位置传感器感应到目镜后进行拍摄,得到不同焦距的待融合图像;
(2)、对待融合图像进行预处理
设待融合图像共计L张,对L张图像使用SIFT特征提取算法进行特征点配准;
将配准好的L张图像分别归一化为M×N大小的图像,按行优先顺序,使用步长为1的滑动窗把第k张图像分成大小的图像块,m为常数,再把每一块图像纂成一个字典式列向量,其中,第i块图像纂成第i个字典式列向量为vki,最后将各个字典式列向量构成矩阵Vk;
同理,按照上述方法处理完剩余L-1张图像;
(3)、基于稀疏分解的图像融合
(3.1)、取第一张和第二张配准好的图像;
(3.2)、将两张图像对应的矩阵V1、V2组成联合矩阵V12=[V1,V2],再利用ODL算法得到联合矩阵V12的学习字典D;
(3.3)、设联合矩阵V12包含公共部分Vc和各自独特部分Viu,及噪声部分ni,i=1,2,将噪声部分ni处理成列向量量矩阵ni′,则有:
V12=Vc+Viu+ni′=Dsi+Dsi+ni′
<mrow>
<msub>
<mi>V</mi>
<mn>12</mn>
</msub>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>V</mi>
<mn>1</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>V</mi>
<mn>2</mn>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mi>D</mi>
</mtd>
<mtd>
<mi>D</mi>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mi>D</mi>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mi>D</mi>
</mtd>
</mtr>
</mtable>
</mfenced>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>s</mi>
<mi>e</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>s</mi>
<mn>1</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<msub>
<mi>s</mi>
<mn>2</mn>
</msub>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>+</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<msup>
<msub>
<mi>n</mi>
<mn>1</mn>
</msub>
<mo>&prime;</mo>
</msup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msup>
<msub>
<mi>n</mi>
<mn>2</mn>
</msub>
<mo>&prime;</mo>
</msup>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
令n′=[n1′ n2′]T,则联合矩阵V12可以表示为:V12=DS+n′;其中,se、si表示稀疏矩阵S中的元数;
(3.4)、计算稀疏矩阵S的第j列的值:
<mfenced open = "" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mover>
<mi>s</mi>
<mo>^</mo>
</mover>
<mi>j</mi>
</msub>
<mo>=</mo>
<mi>arg</mi>
<munder>
<mi>min</mi>
<msub>
<mi>s</mi>
<mi>j</mi>
</msub>
</munder>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>s</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>0</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>(</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>v</mi>
<mi>j</mi>
</msub>
<mo>-</mo>
<msub>
<mi>Ds</mi>
<mi>j</mi>
</msub>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>2</mn>
</msub>
<mo>&le;</mo>
<mi>T</mi>
<mo>)</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
其中,vj是矩阵V12的第j列,sj是稀疏矩阵S的第j列,T由噪声方差确定;
(3.5)、根据稀疏矩阵S每一列的值,利用LARS算法求解稀疏系数S*;
(3.6)、计算融合图像的向量矩阵V=DS*;再将向量矩阵V的列向量还原成多个图像块,最后把所有的图像块加权平均处理,得到融合后的图像;
(3.7)、取融合后的图像和第三张配准好的图像,再按照步骤(3.2)~(3.6)所述方法进行图像融合,得到融合后的图像,然后以此类推,至到第L张图像融合完成,得到最终的融合图像IF;
(4)、图像分割
(4.1)、读取图像IF像素点的行列数目,把图像IF等分为K个矩形块,再以此为模板,将每一张配准后的图像也等分成K个矩形块;
(4.2)、采用信息熵D(f)来度量每个矩形块的清晰程度:
<mrow>
<mi>D</mi>
<msubsup>
<mrow>
<mo>(</mo>
<mi>f</mi>
<mo>)</mo>
</mrow>
<mi>&tau;</mi>
<mi>k</mi>
</msubsup>
<mo>=</mo>
<mo>-</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>&tau;</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>K</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</munderover>
<msubsup>
<mi>p</mi>
<mi>&tau;</mi>
<mi>k</mi>
</msubsup>
<mrow>
<mo>(</mo>
<mi>&sigma;</mi>
<mo>)</mo>
</mrow>
<mi>l</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>p</mi>
<mi>&tau;</mi>
<mi>k</mi>
</msubsup>
<mo>(</mo>
<mi>&sigma;</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
其中,表示第k张图像中第τ个矩形块的熵值,越大,则矩形块越清晰,表示第k张图像中第τ个矩形块出现出现像素值σ的概率;
(4.3)、在每一张图像中,找出所有的熵值的熵极值,再将熵极值相同的所有矩形块进行合并,得到一个清晰子块,共计得到L个清晰子块;
(4.4)、对L个清晰子块的边界进行边缘柔化处理,得到L个矩阵;
(5)、深度提取与三维重构
根据传感器上下限距离h,以及矩形脉冲个数P,计算物距差Δh,Δh=h/P;
在融合图像IF中,以L个矩阵为边界,为区域内像素点增加相应高度Δh,得到最终的三维图像。
2.一种电子显微场景下三维重构系统,其特征在于,包括:控制器部分、图像采集部分、运动控制部分和图形显示部分;
其中,所述的控制器部分包括:嵌入式处理设备、控制器;嵌入式处理设备用于发出控制指令,并接收位置信号,进行三维模型重构;控制器为信号转换器,将嵌入式处理设备所传输的控制信号S1转化为脉冲信号S2;
所述运动控制部分包括:闭环步进电机、上下限传感器、USB数据及控制线,丝杠传动装置,置物架;其中,所有信号由USB数据及控制线传输,嵌入式处理设备所发出的控制信号S1经过控制器处理为脉冲信号S2传输给闭环步进电机的内置驱动器,驱动电机通过丝杠传动装置进行显微镜螺旋准焦,控制显微镜镜体焦距;上下限传感器用于定位三维重构的上限与下限;置物架为金属圆台,用于放置重构物体,两侧有压片夹,用以固定较轻物体防止位移;
所述的图像采集部分包括:显微镜镜体、工业级摄像头;其中,工业级摄像头位于显微镜镜体的目镜处,用于获取连续帧的散焦图像,并传输给嵌入式处理设备;工业级摄像头采用1/2.5’CMOS图像传感器,数据接口为USB3.0,工业级摄像头接口为C接口,其数据接口接收嵌入式设备的控制信号S1,工业级摄像头按照其指令按照其时间间隔及相机参数采集多帧图像并输出图像信号给嵌入式设备;
所述的图形显示部分,接受并显示嵌入式处理设备输出的参数、采集的图像,以及显示重构后的三维模型;同时在调参阶段通过这里显示的位置数据调整位置传感器和脉冲长度等参数。
3.根据权利要求2所述的一种电子显微场景下三维重构系统,其特征在于,所述的嵌入式处理设备完整重构流程为:
嵌入式处理设备给出控制信号S1传输给控制器以及工业级摄像头;控制器将之转化为P个固定脉冲长度的矩形脉冲S2,传输给闭环步进电机的驱动器则驱动电机转动一定角度(角度由脉冲长度控制),其通过丝杠传动显微镜镜体的螺旋准焦,使物镜向上移动P次,每次固定位移Δh;工业级摄像头得到P个控制信号S1时,按照P个离散时间点对目镜下的成像进行拍摄,得到相应的P张散焦图像,并传输给嵌入式处理设备;
嵌入式处理设备对采集到的图像进行基于稀疏分解的图像融合,将多幅散焦图像融合为一幅清晰图像,对每一帧散焦图像按模糊边界进行图像分割,计算每一帧清晰块所在高度,然后在清晰图像中按照模糊边界为其逐帧增加高度,得到最终的三维图像,并传输给图像显示模块显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711226476.7A CN107845145B (zh) | 2017-11-29 | 2017-11-29 | 一种电子显微场景下的三维重构系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711226476.7A CN107845145B (zh) | 2017-11-29 | 2017-11-29 | 一种电子显微场景下的三维重构系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107845145A true CN107845145A (zh) | 2018-03-27 |
CN107845145B CN107845145B (zh) | 2020-12-01 |
Family
ID=61680601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711226476.7A Active CN107845145B (zh) | 2017-11-29 | 2017-11-29 | 一种电子显微场景下的三维重构系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107845145B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108986061A (zh) * | 2018-06-28 | 2018-12-11 | 百度在线网络技术(北京)有限公司 | 三维点云道路数据融合方法、装置及存储介质 |
CN109785387A (zh) * | 2018-12-17 | 2019-05-21 | 中国科学院深圳先进技术研究院 | 机器人的回环检测方法、装置及机器人 |
CN111724378A (zh) * | 2020-06-24 | 2020-09-29 | 武汉互创联合科技有限公司 | 一种显微图像细胞计数与姿态识别方法及系统 |
CN112734656A (zh) * | 2020-12-24 | 2021-04-30 | 中电海康集团有限公司 | 一种基于局部对比度加权平均的显微镜图像景深合成方法及系统 |
CN113231732A (zh) * | 2021-05-26 | 2021-08-10 | 广东炬森智能装备有限公司 | 一种激光加工系统及其控制方法 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7319915B1 (en) * | 2003-04-04 | 2008-01-15 | The United States Of America As Represented By The Secretary Of The Air Force | High speed and repeatability serial sectioning device for 3-D reconstruction of microstructures |
CN101441320A (zh) * | 2008-12-09 | 2009-05-27 | 东华大学 | 一种基于显微成像检测的高动态图像获取装置及其方法 |
JP2010282229A (ja) * | 2010-09-06 | 2010-12-16 | Nikon Corp | 光学顕微鏡システム及び画像データ処理方法 |
CN102422147A (zh) * | 2009-03-11 | 2012-04-18 | 帝希影像有限公司 | 对琢石成像的方法和系统 |
CN102692347A (zh) * | 2012-05-08 | 2012-09-26 | 浙江工业大学 | 疲劳裂纹扩展试验摄像头自动调整图像采集装置及方法 |
US8353628B1 (en) * | 2008-12-04 | 2013-01-15 | Xradia, Inc. | Method and system for tomographic projection correction |
CN103745231A (zh) * | 2014-01-16 | 2014-04-23 | 华南农业大学 | 小麦矮腥黑穗病tck及其近似种tct的冬孢子图像鉴定方法 |
US20150069233A1 (en) * | 2013-09-12 | 2015-03-12 | Sandia Corporation | Sparse sampling and reconstruction for electron and scanning probe microscope imaging |
CN105023275A (zh) * | 2015-07-14 | 2015-11-04 | 清华大学 | 超分辨率光场采集装置及其的三维重建方法 |
CN106204674A (zh) * | 2016-06-29 | 2016-12-07 | 浙江大学 | 基于结构字典和动力学参数字典联合稀疏约束的动态pet图像重建方法 |
CN106842538A (zh) * | 2016-12-22 | 2017-06-13 | 电子科技大学 | 一种增大观察视角的显微镜 |
CN206348518U (zh) * | 2016-10-26 | 2017-07-21 | 广西师范大学 | 实现自动对焦和三维重建的显微系统 |
-
2017
- 2017-11-29 CN CN201711226476.7A patent/CN107845145B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7319915B1 (en) * | 2003-04-04 | 2008-01-15 | The United States Of America As Represented By The Secretary Of The Air Force | High speed and repeatability serial sectioning device for 3-D reconstruction of microstructures |
US8353628B1 (en) * | 2008-12-04 | 2013-01-15 | Xradia, Inc. | Method and system for tomographic projection correction |
CN101441320A (zh) * | 2008-12-09 | 2009-05-27 | 东华大学 | 一种基于显微成像检测的高动态图像获取装置及其方法 |
CN102422147A (zh) * | 2009-03-11 | 2012-04-18 | 帝希影像有限公司 | 对琢石成像的方法和系统 |
JP2010282229A (ja) * | 2010-09-06 | 2010-12-16 | Nikon Corp | 光学顕微鏡システム及び画像データ処理方法 |
CN102692347A (zh) * | 2012-05-08 | 2012-09-26 | 浙江工业大学 | 疲劳裂纹扩展试验摄像头自动调整图像采集装置及方法 |
US20150069233A1 (en) * | 2013-09-12 | 2015-03-12 | Sandia Corporation | Sparse sampling and reconstruction for electron and scanning probe microscope imaging |
CN103745231A (zh) * | 2014-01-16 | 2014-04-23 | 华南农业大学 | 小麦矮腥黑穗病tck及其近似种tct的冬孢子图像鉴定方法 |
CN105023275A (zh) * | 2015-07-14 | 2015-11-04 | 清华大学 | 超分辨率光场采集装置及其的三维重建方法 |
CN106204674A (zh) * | 2016-06-29 | 2016-12-07 | 浙江大学 | 基于结构字典和动力学参数字典联合稀疏约束的动态pet图像重建方法 |
CN206348518U (zh) * | 2016-10-26 | 2017-07-21 | 广西师范大学 | 实现自动对焦和三维重建的显微系统 |
CN106842538A (zh) * | 2016-12-22 | 2017-06-13 | 电子科技大学 | 一种增大观察视角的显微镜 |
Non-Patent Citations (3)
Title |
---|
MINGSONG SUN ET.AL: "3D-Reconstruction of Synapses Based on EM Images", 《2016 IEEE INTERNATIONAL CONFERENCE ON MECHATRONICS AND AUTOMATION》 * |
毛小俊: "单目多视角显微三维重建关键技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑(月刊)》 * |
符强: "显微图像融合研究", 《中国优秀硕士学位论文全文数据库信息科技辑(月刊)》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108986061A (zh) * | 2018-06-28 | 2018-12-11 | 百度在线网络技术(北京)有限公司 | 三维点云道路数据融合方法、装置及存储介质 |
CN108986061B (zh) * | 2018-06-28 | 2019-09-20 | 百度在线网络技术(北京)有限公司 | 三维点云道路数据融合方法、装置及存储介质 |
CN109785387A (zh) * | 2018-12-17 | 2019-05-21 | 中国科学院深圳先进技术研究院 | 机器人的回环检测方法、装置及机器人 |
CN111724378A (zh) * | 2020-06-24 | 2020-09-29 | 武汉互创联合科技有限公司 | 一种显微图像细胞计数与姿态识别方法及系统 |
CN112734656A (zh) * | 2020-12-24 | 2021-04-30 | 中电海康集团有限公司 | 一种基于局部对比度加权平均的显微镜图像景深合成方法及系统 |
CN112734656B (zh) * | 2020-12-24 | 2023-10-13 | 中电海康集团有限公司 | 一种基于局部对比度加权平均的显微镜图像景深合成方法及系统 |
CN113231732A (zh) * | 2021-05-26 | 2021-08-10 | 广东炬森智能装备有限公司 | 一种激光加工系统及其控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107845145B (zh) | 2020-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107845145B (zh) | 一种电子显微场景下的三维重构系统及方法 | |
CN109615652B (zh) | 一种深度信息获取方法及装置 | |
CN112634341B (zh) | 多视觉任务协同的深度估计模型的构建方法 | |
CN107204010A (zh) | 一种单目图像深度估计方法与系统 | |
US20180231871A1 (en) | Depth estimation method for monocular image based on multi-scale CNN and continuous CRF | |
US8928737B2 (en) | System and method for three dimensional imaging | |
CN105184784B (zh) | 基于运动信息的单目相机获取深度信息的方法 | |
CN108427961B (zh) | 基于卷积神经网络的合成孔径聚焦成像深度评估方法 | |
CN110969653B (zh) | 一种基于深度学习和傅里叶域分析的图像深度估计方法 | |
US20230063939A1 (en) | Electro-hydraulic varifocal lens-based method for tracking three-dimensional trajectory of object by using mobile robot | |
CN106340045B (zh) | 三维人脸重建中基于双目立体视觉的标定优化方法 | |
CN106846416A (zh) | 单机分束双目被动立体视觉精确重构与细分拟合方法 | |
CN108230242B (zh) | 一种从全景激光点云到视频流的转换方法 | |
CN113780205A (zh) | 一种跨视角信息融合人体姿态估计与空间定位方法 | |
TWI805282B (zh) | 使用焦點資訊深度估計的方法和裝置 | |
CN111951339A (zh) | 利用异构双目相机进行视差计算的图像处理方法 | |
CN114782596A (zh) | 语音驱动的人脸动画生成方法、装置、设备及存储介质 | |
CN113538545B (zh) | 一种基于电液可调焦镜头的单目深度估计方法及相应的相机和存储介质 | |
Basak et al. | Monocular depth estimation using encoder-decoder architecture and transfer learning from single RGB image | |
CN112132771B (zh) | 一种基于光场成像的多聚焦图像融合方法 | |
CN105374043B (zh) | 视觉里程计背景过滤方法及装置 | |
CN108805937B (zh) | 一种单相机偏振信息预测方法 | |
CN111161399B (zh) | 基于二维影像生成三维模型的数据处理方法及组件 | |
CN109859263B (zh) | 一种基于鱼眼镜头的宽视角定位方法 | |
CN106683064A (zh) | 一种基于二维耦合卷积的多聚焦图像融合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |