CN110974444B - 一种高精度显微测量系统及方法 - Google Patents

一种高精度显微测量系统及方法 Download PDF

Info

Publication number
CN110974444B
CN110974444B CN201911032335.0A CN201911032335A CN110974444B CN 110974444 B CN110974444 B CN 110974444B CN 201911032335 A CN201911032335 A CN 201911032335A CN 110974444 B CN110974444 B CN 110974444B
Authority
CN
China
Prior art keywords
sample
structured light
phase
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911032335.0A
Other languages
English (en)
Other versions
CN110974444A (zh
Inventor
张新
刘威
邵航
黄海亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangtze Delta Region Institute of Tsinghua University Zhejiang
Original Assignee
Zhejiang Future Technology Institute (jiaxing)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Future Technology Institute (jiaxing) filed Critical Zhejiang Future Technology Institute (jiaxing)
Priority to CN201911032335.0A priority Critical patent/CN110974444B/zh
Publication of CN110974444A publication Critical patent/CN110974444A/zh
Application granted granted Critical
Publication of CN110974444B publication Critical patent/CN110974444B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Chemical & Material Sciences (AREA)
  • Robotics (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明实施例公开了一种高精度显微测量系统及方法，该系统包括体式显微镜单元、光学分光器单元、结构光投射单元、图像采集单元、同步控制单元以及计算单元，结合现有的体式显微镜，不改变现有显微光路，对所测量样品场景进行结构光投射和图像信息采集的同步执行，根据所测量样品场景的图像信息进行解码和点云配准与融合获得高精度三维点云测量结果，完成所测量样品场景的三维重建，可实现术区场景立体信息的精确量化。

Description

一种高精度显微测量系统及方法
技术领域
本发明实施例涉及显微测量技术领域，具体涉及一种高精度显微测量系统及方法。
背景技术
通常显微外科技术是外科医生借助于手术显微镜的放大，使用精细的显微手术器械及缝合材料，对细小的组织进行精细手术。目前已经在眼科、脑科、耳鼻喉科、口腔科、骨科等领域具有重要的应用。在手术显微镜下做手术，不仅能看清手术中肉眼看不清的细小组织，而且还具有立体感，因而有利于外科医生精确地解剖、切开和缝合各种组织。虽然在手术显微镜下具有较好的立体感，但是手术过程缺乏数字化装置及辅助手段，致使初期使用显微镜，需要长时间的训练以及适应。手术的成像及医生的操作过程无法使用人工智能等先进技术对手术进行指引来进一步提高手术效果。针对手术过程缺乏数字化装置的情况，市面上出现立体显微手术成像装置，可以对术区进行数字成像并在显示器上实时显示手术过程，但该技术仍然只能实现术区成像，无法对手术区域的立体信息进行精确量化。
发明内容
为此，本发明实施例提供一种高精度显微测量系统及方法，以解决现有的显微成像装置无法对术区场景的立体信息进行精确量化的问题。
为了实现上述目的，本发明实施例提供如下技术方案：
根据本发明实施例的第一方面，提供了一种高精度显微测量系统，所述系统包括体式显微镜单元、光学分光器单元、结构光投射单元、图像采集单元、同步控制单元以及计算单元；
所述体式显微镜单元用于基于双成像光路对物镜下样品进行显微成像；
所述光学分光器单元连接所述体式显微镜单元，用于对所述体式显微镜单元的双成像光路分别进行半反半透分光；
所述结构光投射单元连接所述光学分光器单元，用于将结构光通过光学分光器单元并经由体式显微镜单元的一路成像光路投射至样品上；
所述图像采集单元连接所述光学分光器，用于通过光学分光器单元并经由体式显微镜单元的另一路成像光路采集受结构光照射的样品的图像信息；
所述同步控制单元用于所述结构光投射单元和图像采集单元的同步控制，实现结构光投射和样品图像信息采集的同步执行；
所述计算单元用于向所述结构光投射单元下发结构光模式图形以及根据所述样品的图像信息进行解码计算和点云配准融合实现样品的三维重建。
进一步地，所述体式显微镜单元采用手术显微镜或金相显微镜。
进一步地，所述光学分光器单元包括两组半反半透棱镜。
进一步地，所述结构光投射单元包括红外波段DLP。
进一步地，所述图像采集单元包括光学适配器和相机，所述光学适配器用于将体式显微镜单元成像光路采集的光线传导至所述相机的感光元件。
根据本发明实施例的第二方面，提出了一种高精度显微测量方法，所述方法包括：
将标定样品置于体式显微镜的物镜下方设置对焦点对焦，并投射结构光，按照预设步长调节所述标定样品的高度，采集受结构光照射的所述标定样品在不同高度下的图像信息；
对所述标定样品在不同高度下的图像信息进行解码和计算获得所述标定样品在不同高度下的相位信息以及三维信息；
根据所述标定样品的相位信息以及三维信息，获得标定的相位信息以及三维信息的对应关系；
将样品置于体式显微镜单元的物镜下方，按照所述步长调节对焦点并对焦，采集受结构光照射的所述样品在不同对焦点下的图像信息；
对所述样品在不同对焦点下的图像信息进行解码获得所述样品在不同对焦点下的相位信息；
根据所述样品在不同对焦点下的相位信息以及标定的相位信息以及三维信息的对应关系，获取所述样品不同对焦点下的三维信息；
将所述样品不同对焦点下的三维信息进行点云配准与融合，获得所述样品的三维点云测量结果。
进一步地，对所述标定样品在不同高度下的图像信息进行解码和计算获得所述标定样品在不同高度下的相位信息以及三维信息，具体包括：
对所述标定样品在不同高度下的图像信息进行解码获得所述标定样品的真实相位值；
按照如下公式计算所述标定样品的高度z(x,y)：
Figure BDA0002250509700000031
其中m0，m1，n1为常数参数，Φunwarp(x,y)为标定样品的真实相位值，x、y表示相位图像的横纵坐标值。
进一步地，对采集的受结构光照射的样品图像信息进行解码，包括：
投射的结构光包括多幅正弦结构光和二值结构光，正弦结构光的像素点灰度Isin沿水平方向以周期为T，初始相位为
Figure BDA0002250509700000032
的正弦函数变化，即：
Figure BDA0002250509700000033
其中，
Figure BDA0002250509700000034
为多幅正弦结构光之间相位相差，A为正弦函数的幅值；
每一幅正弦结构光对应两幅二值结构光，二值结构光的周期和相位与对应的正弦结构光一致，其灰度值为：
Figure BDA0002250509700000041
Figure BDA0002250509700000042
其中Ibin1，Ibin2为二值结构光的像素点值，Isin为正弦结构光灰度值；
对所述图像信息进行解码，首先分别对每一幅正弦结构光样品图像进行傅里叶变换，并低通滤波，滤波结果的频率域相位图即为正弦结构光未解缠相位图；
对二值结构光样品图像进行处理，首先求取Ibin1，Ibin2之间的差值图像，对所述差值图像进行二值化处理得到二值化图像，采用边缘检测算子对所述二值化图像进行边缘检测得到边缘图像，对所述边缘图像进行曲线拟合，提取黑白条纹跳变边缘的边缘坐标；
将条纹边缘作为初始种子点，采用质量值导向法对获得的每一幅正弦结构光未解缠相位图进行解相位计算获得解缠相位图，并根据所述解缠相位图，计算获得样品的真实相位图。
进一步地，采用质量值导向法对获得的每一幅正弦结构光未解缠相位图进行解相位计算获得解缠相位图，具体包括：
计算正弦结构光未解缠相位图中每个像素点的质量值R(i,j):
Figure BDA0002250509700000043
其中，
Figure BDA0002250509700000044
Figure BDA0002250509700000045
Figure BDA0002250509700000046
Figure BDA0002250509700000047
D(i,j)＝[H2(i,j)+V2(i,j)+D1(i,j)+D2(i,j)]1/2
其中，
Figure BDA0002250509700000048
表示相位图像坐标(i,j)处的相位值，γ(·)表示对括号内数值进行解相位操作；
计算边缘质量值：从所述正弦结构光未解缠相位图的坐标原点扫描，垂直相邻两个像素点之间的边的质量值为垂直相邻两个像素点的质量值相加，水平相邻两个像素点之间的边的质量值为水平相邻两个像素点的质量值相加；
对所有边的质量值进行排序，按质量值由大到小，对原始相位图像进行解相位获得解缠相位图；
根据所述解缠相位图，计算获得样品的真实相位图，真实相位值计算公式为:
Figure BDA0002250509700000051
其中，
Figure BDA0002250509700000052
θ1＝FTP[I2]-FTP[I1]
θ2＝FTP[I3]-FTP[I2]
其中FTP[I1]，FTP[I2]，FTP[I3]分别为所采集的正弦结构光样品图像I1，I2，I3的频率域解缠相位值。
进一步地，将所述样品不同对焦点下的三维信息进行点云配准与融合，获得所述样品的三维点云测量结果，具体包括：
采用ICP算法进行点云配准与融合。
本发明实施例具有如下优点：
本发明实施例提出的一种高精度显微测量系统及方法，该系统包括体式显微镜单元、光学分光器单元、结构光投射单元、图像采集单元、同步控制单元以及计算单元，结合现有的体式显微镜，不改变现有显微光路，对所测量样品场景进行结构光投射和图像信息采集的同步执行，根据所测量样品场景的图像信息进行解码和点云配准与融合获得高精度三维点云测量结果，完成所测量样品场景的三维重建，可实现术区场景立体信息的精确量化。
附图说明
为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
图1为本发明实施例1提供的一种高精度显微测量系统的结构示意图；
图2为本发明实施例1提供的一种高精度显微测量系统的另一结构示意图；
图3为本发明实施例2提供的一种高精度显微测量方法的流程示意图；
图4为本发明实施例2提供的一种高精度显微测量方法的正弦结构光图像；
图5为本发明实施例2提供的一种高精度显微测量方法的二值化结构光图像。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本实施例提出了一种高精度显微测量系统，如图1和图2所示，该系统包括体式显微镜单元110、光学分光器单元120、结构光投射单元130、图像采集单元140、同步控制单元150以及计算单元160。
体式显微镜单元110用于基于双成像光路对物镜下样品进行显微成像。
具体的，体式显微镜单元110采用手术显微镜或金相显微镜，优选采用蔡司OPMISensera S7型可连续变焦及变倍的手术显微镜。体式显微镜单元110具有双成像光路，双成像光路具有一定辐辏夹角α。
光学分光器单元120连接体式显微镜单元110，用于对体式显微镜单元110的双成像光路分别进行半反半透分光。
具体的，光学分光器单元120包括两组半反半透棱镜，光学分光器单元120安装于体式显微镜的的光学接口上，通过两组半反半透棱镜分别对体式显微镜的双成像光路进行半反半透分光。
结构光投射单元130连接光学分光器单元120，用于将结构光通过光学分光器单元120并经由体式显微镜单元110的一路成像光路投射至样品上。
具体的，结构光投射单元130安装于光学分光器单元120的一个光学接口处，将结构光经过光学分光器单元分光后经由体式显微镜的一路成像光路投射至体式显微镜物镜下方的样品上。结构光投射单元130采用特定波段DLP以及必要的光学适配镜头，优选的采用红外波段DLP(Digital Light Processing，数字光处理装置)，其红外波长优选采用850nm。
图像采集单元140连接光学分光器，用于通过光学分光器单元120并经由体式显微镜单元110的另一路成像光路采集受结构光照射的样品的图像信息。
具体的，图像采集单元140安装于光学分光器单元120的另一光学接口处，通过光学分光器经由体视显微镜的另一成像光路采集体式显微镜物镜下方被结构光照射的样品的图像信息，图像采集单元140可采用对850nm波长敏感的相机以及光学适配器，光学适配器用于将体式显微镜的成像光路采集的光线传导至相机的感光元件以进行成像。
同步控制单元150用于结构光投射单元130和图像采集单元140的同步控制，实现结构光投射和样品图像信息采集的同步执行。
具体的，同步控制单元150具有脉冲发生器，脉冲发生器可同时触发结构光投射单元投射结构光以及相机采集图像。
计算单元160用于向结构光投射单元130下发结构光模式图形以及根据样品的图像信息进行解码计算和点云配准融合实现样品的三维重建。
具体的，结构光投射单元130的图形输入接口以及图像采集单元140的图像数据接口分别连接计算单元160，计算单元160控制结构光投射图形内容并对图像采集单元所采集结构光图像进行解码，并对所解码数据进行处理实现镜下样品的高精度三维重建。
本发明实施例提出的一种高精度显微测量系统，该系统包括体式显微镜单元、光学分光器单元、结构光投射单元、图像采集单元、同步控制单元以及计算单元，结合现有的体式显微镜，不改变现有显微光路，对所测量样品场景进行结构光投射和图像信息采集的同步执行，根据所测量样品场景的图像信息进行解码和点云配准与融合获得高精度三维点云测量结果，完成所测量样品场景的三维重建，可实现术区场景立体信息的精确量化。
实施例2
与上述实施例1相对应的，本实施例提出了一种高精度显微测量方法，该测量方法采用实施例1中的高精度测量系统来实施，如图3所示，该方法包括以下步骤：
步骤210、将标定样品置于体式显微镜的物镜下方设置对焦点对焦，并投射结构光，按照预设步长调节标定样品的高度，采集受结构光照射的标定样品在不同高度下的图像信息。
具体的，首先采用标定样品进行标定，将标定样品置于体视显微镜的物镜下方，设置对焦点进行对焦，向标定样品投射结构光。标定样品具有标定平台，标定高度可以高精度微小步长上下调节。按照固定步长上下调节标定样品的高度，可按照从上到下或从下到上的顺序调节标定样品的高度，优选采用由下到上的顺序进行调节。步长的设置根据在需要的放大倍数下，将全景深的可对焦范围进行多等分，相邻等分点之间的距离即为调节步长。优选的，按照测量需求选定6倍放大倍数，在6倍放大倍数下将全景深的可对焦范围进行20等分。获取物镜下样品场景在不同标定高度下的图像信息。
步骤220、对标定样品在不同高度下的图像信息进行解码和计算获得标定样品在不同高度下的相位信息以及三维信息。
首先对采集的受结构光照射的标定样品图像信息进行解码，具体包括以下步骤：
投射的结构光包括多幅正弦结构光和二值结构光，正弦结构光的像素点灰度Isin沿水平方向以周期为T，初始相位为
Figure BDA0002250509700000091
的正弦函数变化，如图4所示，即：
Figure BDA0002250509700000092
其中，
Figure BDA0002250509700000093
为多幅正弦结构光之间相位相差，优选的
Figure BDA0002250509700000094
取值为
Figure BDA0002250509700000095
n取值-1,0,1，A为正弦函数的幅值；
每一幅正弦结构光对应两幅二值结构光，二值结构光的周期和相位与对应的正弦结构光一致，如图5所示，其灰度值为：
Figure BDA0002250509700000096
Figure BDA0002250509700000097
其中Ibin1，Ibin2为二值结构光的像素点值，Isin为正弦结构光灰度值；
对图像信息进行解码，首先分别对每一幅正弦结构光样品图像进行傅里叶变换，并低通滤波，滤波结果的频率域相位图即为正弦结构光未解缠相位图；
对二值结构光样品图像进行处理，首先求取Ibin1，Ibin2之间的差值图像，对差值图像进行二值化处理得到二值化图像；
采用边缘检测算子对二值化图像进行边缘检测得到边缘图像，优选的边缘检测算子采用canny算子；
对边缘图像进行曲线拟合，提取黑白条纹跳变边缘的边缘坐标，具体为结合原始图像以及获取的图像边缘进行高精度亚像素点坐标的提取，获取更加精确的边界坐标亚像素点值，优选的亚像素点坐标提取方法采用二次插值法；
将以上获取的条纹边缘作为初始种子点，采用质量值导向法对获得的每一幅正弦结构光未解缠相位图进行解相位计算获得解缠相位图，并根据解缠相位图，计算获得样品的真实相位图。
进一步地，采用质量值导向法对获得的每一幅正弦结构光未解缠相位图进行解相位计算获得解缠相位图，具体包括：
计算正弦结构光未解缠相位图中每个像素点的质量值R(i,j):
Figure BDA0002250509700000098
其中，
Figure BDA0002250509700000101
Figure BDA0002250509700000102
Figure BDA0002250509700000103
Figure BDA0002250509700000104
D(i,j)＝[H2(i,j)+V2(i,j)+D1(i,j)+D2(i,j)]1/2
其中，
Figure BDA0002250509700000105
表示相位图像坐标(i,j)处的相位值，γ(·)表示对括号内数值进行解相位操作；
计算边缘质量值：从正弦结构光未解缠相位图的坐标原点扫描，垂直相邻两个像素点之间的边的质量值为垂直相邻两个像素点的质量值相加，水平相邻两个像素点之间的边的质量值为水平相邻两个像素点的质量值相加；
对所有边的质量值进行排序，按质量值由大到小，对原始相位图像进行解相位获得解缠相位图，为了加快质量值排序速度，本实施例中采用直方图法对质量值进行排序，由于质量值的分布特性，并进一步增加排序速度，本实施例中将直方图以一个阈值分为两段，优选的本实施例中该阈值设为1.732π，小于阈值范围的直方图间隔赋以较小的间隔值，优选的本实施例中该间隔值设为0.1732π，大于阈值的直方图间隔赋予较大的间隔值，优选的本实施例中该间隔值设置为0.7849π；
根据所述解缠相位图，计算获得样品的真实相位图，真实相位值计算公式为:
Figure BDA0002250509700000106
其中，
Figure BDA0002250509700000107
θ1＝FTP[I2]-FTP[I1]
θ2＝FTP[I3]-FTP[I2]
其中FTP[I1]，FTP[I2]，FTP[I3]分别为所采集的正弦结构光样品图像I1，I2，I3的频率域解缠相位值。
通过上述步骤完成了对标定样品图像进行的解码得到标定样品的真实相位值，进一步地，可以按照如下公式计算标定样品的高度z(x,y)：
Figure BDA0002250509700000111
其中m0，m1，n1为常数参数，其数值由系统的结构特性决定，其具体数值通过至少三个已知固定厚度的标准平板件置于被测场景中求取获得，Φunwarp(x,y)为标定样品的真实相位值，x、y为相位图像的横纵坐标。
步骤230、根据标定样品的相位信息以及三维信息，获得标定的相位信息以及三维信息的对应关系。
具体的，重复以上解码过程和高度计算过程，对采集的不同高度下的标定样品的图像信息进行解码和计算，获得一系列真实相位值Φunwarp(x,y)和高度z(x,y)的对应关系。
步骤240、将样品置于体式显微镜单元的物镜下方，按照步长调节对焦点并对焦，采集受结构光照射的样品在不同对焦点下的图像信息。
具体的，完成上述标定样品标定之后，对样品进行测量，测量时样品的高度不改变，按照与标定过程高度调节相同的调节步长调节显微镜对焦点，优选的焦点调节方式采用由下到上的顺序进行连续变焦。获得一系列受结构光照射的样品在不同对焦点下的图像信息。
步骤250、对样品在不同对焦点下的图像信息进行解码获得样品在不同对焦点下的相位信息。
具体的，按照步骤220中与标定样品相同的解码方法，对获取的一系列样品在不同对焦点下的图像信息进行解码，得到一系列样品的真实相位值。
步骤260、根据样品在不同对焦点下的相位信息以及标定的相位信息以及三维信息的对应关系，获取样品不同对焦点下的三维信息。
具体的，在标定样品标定过程得到了标定的真实相位值Φunwarp(x,y)和高度z(x,y)的对应关系，根据对应关系获得与样品的真实相位值对应的一系列高度值z(x,y)，即可得到样品每一个空间点的三维坐标。
步骤270、将样品不同对焦点下的三维信息进行点云配准与融合，获得样品的三维点云测量结果。
具体的，步骤270中，采用ICP(Iterative Closest Point，迭代最近点搜索法)算法进行点云配准与融合，将一系列空间点的三维坐标融合为一个完整的三维点云数据，此数据即为最终的高精度三维点云测量结果。
本发明实施例提出的一种高精度显微测量方法，结合现有的体式显微镜，不改变现有显微光路，对所测量样品场景进行结构光投射和图像信息采集的同步执行，根据所测量样品场景的图像信息进行解码和点云配准与融合获得高精度三维点云测量结果，完成所测量样品场景的三维重建，可实现术区场景立体信息的精确量化，针对手术显微镜在较高放大倍数下景深较小的问题，本发明实施例通过利用手术显微镜的连续变焦与连续变倍功能实现z轴重建数据的拼接，实现大景深的高精度三维重建。
虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (9)

1.一种高精度显微测量系统，其特征在于，所述系统包括体式显微镜单元、光学分光器单元、结构光投射单元、图像采集单元、同步控制单元以及计算单元；
所述体式显微镜单元用于基于双成像光路对物镜下样品进行显微成像；
所述光学分光器单元连接所述体式显微镜单元，用于对所述体式显微镜单元的双成像光路分别进行半反半透分光；
所述结构光投射单元连接所述光学分光器单元，用于将结构光通过光学分光器单元并经由体式显微镜单元的一路成像光路投射至样品上；
所述图像采集单元连接所述光学分光器，用于通过光学分光器单元并经由体式显微镜单元的另一路成像光路采集受结构光照射的样品的图像信息；
所述同步控制单元用于所述结构光投射单元和图像采集单元的同步控制，实现结构光投射和样品图像信息采集的同步执行；
所述计算单元用于向所述结构光投射单元下发结构光模式图形以及根据所述样品的图像信息进行解码计算和点云配准融合实现样品的三维重建；
所述高精度显微测量系统的高精度显微测量方法包括：
将标定样品置于体式显微镜的物镜下方设置对焦点对焦，并投射结构光，按照预设步长调节所述标定样品的高度，采集受结构光照射的所述标定样品在不同高度下的图像信息；
对所述标定样品在不同高度下的图像信息进行解码和计算获得所述标定样品在不同高度下的相位信息以及三维信息；
根据所述标定样品的相位信息以及三维信息，获得标定的相位信息以及三维信息的对应关系；
将样品置于体式显微镜单元的物镜下方，按照所述步长调节对焦点并对焦，采集受结构光照射的所述样品在不同对焦点下的图像信息；
对所述样品在不同对焦点下的图像信息进行解码获得所述样品在不同对焦点下的相位信息；
根据所述样品在不同对焦点下的相位信息以及标定的相位信息以及三维信息的对应关系，获取所述样品不同对焦点下的三维信息；
将所述样品不同对焦点下的三维信息进行点云配准与融合，获得所述样品的三维点云测量结果。
2.根据权利要求1所述的一种高精度显微测量系统，其特征在于，所述体式显微镜单元采用手术显微镜或金相显微镜。
3.根据权利要求1所述的一种高精度显微测量系统，其特征在于，所述光学分光器单元包括两组半反半透棱镜。
4.根据权利要求1所述的一种高精度显微测量系统，其特征在于，所述结构光投射单元包括红外波段DLP。
5.根据权利要求1所述的一种高精度显微测量系统，其特征在于，所述图像采集单元包括光学适配器和相机，所述光学适配器用于将体式显微镜单元成像光路采集的光线传导至所述相机的感光元件。
6.根据权利要求1中所述的一种高精度显微测量系统，其特征在于，对所述标定样品在不同高度下的图像信息进行解码和计算获得所述标定样品在不同高度下的相位信息以及三维信息，具体包括：
对所述标定样品在不同高度下的图像信息进行解码获得所述标定样品的真实相位值；
按照如下公式计算所述标定样品的高度z(x，y)：
Figure FDA0002823404110000021
其中m0，m1，n1为常数参数，Φunwarp(x，y)为标定样品的真实相位值，x、y表示相位图像的横纵坐标值。
7.根据权利要求1或6中所述的一种高精度显微测量系统，其特征在于，对采集的受结构光照射的样品图像信息进行解码，包括：
投射的结构光包括多幅正弦结构光和二值结构光，正弦结构光的像素点灰度Isin沿水平方向以周期为T，初始相位为
Figure FDA0002823404110000022
的正弦函数变化，即：
Figure FDA0002823404110000023
其中，
Figure FDA0002823404110000031
为多幅正弦结构光之间相位相差，A为正弦函数的幅值；
每一幅正弦结构光对应两幅二值结构光，二值结构光的周期和相位与对应的正弦结构光一致，其灰度值为：
Figure FDA0002823404110000032
Figure FDA0002823404110000033
其中Ibin1，Ibin2为二值结构光的像素点值，Isin为正弦结构光灰度值；
对所述图像信息进行解码，首先分别对每一幅正弦结构光样品图像进行傅里叶变换，并低通滤波，滤波结果的频率域相位图即为正弦结构光未解缠相位图；
对二值结构光样品图像进行处理，首先求取Ibin1，Ibin2之间的差值图像，对所述差值图像进行二值化处理得到二值化图像，采用边缘检测算子对所述二值化图像进行边缘检测得到边缘图像，对所述边缘图像进行曲线拟合，提取黑白条纹跳变边缘的边缘坐标；
将条纹边缘作为初始种子点，采用质量值导向法对获得的每一幅正弦结构光未解缠相位图进行解相位计算获得解缠相位图，并根据所述解缠相位图，计算获得样品的真实相位图。
8.根据权利要求7中所述的一种高精度显微测量系统，其特征在于，采用质量值导向法对获得的每一幅正弦结构光未解缠相位图进行解相位计算获得解缠相位图，具体包括：
计算正弦结构光未解缠相位图中每个像素点的质量值R(i，j)：
Figure FDA0002823404110000034
其中，
Figure FDA0002823404110000035
Figure FDA0002823404110000036
Figure FDA0002823404110000037
Figure FDA0002823404110000038
D(i，j)＝[H2(i，j)+V2(i，j)+D1(i，j)+D2(i，j)]1/2
其中，
Figure FDA0002823404110000041
表示相位图像坐标(i，j)处的相位值，γ(·)表示对括号内数值进行解相位操作；
计算边缘质量值：从所述正弦结构光未解缠相位图的坐标原点扫描，垂直相邻两个像素点之间的边的质量值为垂直相邻两个像素点的质量值相加，水平相邻两个像素点之间的边的质量值为水平相邻两个像素点的质量值相加；
对所有边的质量值进行排序，按质量值由大到小，对原始相位图像进行解相位获得解缠相位图；
根据所述解缠相位图，计算获得样品的真实相位图，真实相位值计算公式为：
Figure FDA0002823404110000042
其中，
Figure FDA0002823404110000043
θ1＝FTP[I2]-FTP[I1]
θ2＝FTP[I3]-FTP[I2]
其中FTP[I1]，FTP[I2]，FTP[I3]分别为所采集的正弦结构光样品图像I1，I2，I3的频率域解缠相位值。
9.根据权利要求1中所述的一种高精度显微测量系统，其特征在于，将所述样品不同对焦点下的三维信息进行点云配准与融合，获得所述样品的三维点云测量结果，具体包括：
采用ICP算法进行点云配准与融合。
CN201911032335.0A 2019-10-28 2019-10-28 一种高精度显微测量系统及方法 Active CN110974444B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911032335.0A CN110974444B (zh) 2019-10-28 2019-10-28 一种高精度显微测量系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911032335.0A CN110974444B (zh) 2019-10-28 2019-10-28 一种高精度显微测量系统及方法

Publications (2)

Publication Number Publication Date
CN110974444A CN110974444A (zh) 2020-04-10
CN110974444B true CN110974444B (zh) 2021-03-30

Family

ID=70082680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911032335.0A Active CN110974444B (zh) 2019-10-28 2019-10-28 一种高精度显微测量系统及方法

Country Status (1)

Country Link
CN (1) CN110974444B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5804813A (en) * 1996-06-06 1998-09-08 National Science Council Of Republic Of China Differential confocal microscopy
CN101074869A (zh) * 2007-04-27 2007-11-21 东南大学 基于相位法的三维轮廓测量方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5394268A (en) * 1993-02-05 1995-02-28 Carnegie Mellon University Field synthesis and optical subsectioning for standing wave microscopy
CN102540446B (zh) * 2011-12-28 2014-03-26 中国科学院西安光学精密机械研究所 一种基于数字微镜器件的高速结构照明光学显微系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5804813A (en) * 1996-06-06 1998-09-08 National Science Council Of Republic Of China Differential confocal microscopy
CN101074869A (zh) * 2007-04-27 2007-11-21 东南大学 基于相位法的三维轮廓测量方法

Also Published As

Publication number Publication date
CN110974444A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
JP6761312B2 (ja) 可変焦点距離レンズを含む撮像システムにおける色収差補正
CN103892919B (zh) 基于光学相干层析引导的显微外科手术系统
US20210215923A1 (en) Microscope system
JPH05509015A (ja) 物体のトポグラフィーを得るための方法及び装置
EP2955478B1 (en) Calculating a height map of a body of transparent material with an inclined or curved surface
US20140169637A1 (en) Method for self-calibration of a microscope apparatus
CN107110764B (zh) 利用位置控制对透明样本进行分析的系统及相关联的方法
US20190045112A1 (en) Imaging apparatus, imaging method, and imaging system
US20130286400A1 (en) Quantitative phase microscopy for label-free high-contrast cell imaging
CN107121065A (zh) 一种便携式相位定量检测装置
CN110118646B (zh) 一种基于合成莫尔条纹技术的眼镜参数检测装置和方法
JP6594223B2 (ja) 位相差顕微鏡および撮像方法
CN110974444B (zh) 一种高精度显微测量系统及方法
US10533838B2 (en) Visualization systems and methods for optimized optical coherence tomography
JP2003057535A (ja) 光学的観察装置と広がりのある被検試料との間の距離測定方法及び該方法を実行する顕微鏡
Bergues et al. External visual interface for a Nikon 6D autocollimator
JP4192038B2 (ja) 表面形状および／または膜厚測定方法及びその装置
JP2002318344A (ja) 光学機器のオートフォーカシング方法および装置
JPH095046A (ja) 立体形状測定装置
US20170135578A1 (en) Volume measuring device, volume measuring method, and volume measuring program for three-dimensional tomographic image
JP2013024737A (ja) ３次元形状測定方法及び装置並びに３次元形状測定用顕微鏡装置
KR20000061854A (ko) 입체적 형태 및 색체 분석을 위한 표면상태 측정 장치 및 그 방법
JP2020535864A (ja) 前区における光学収差を測定するための位相感応光コヒーレンストモグラフィ
JP2002071312A (ja) 照射位置測定装置
US20180242845A1 (en) Device and method of measuring blood flow

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240311

Address after: 314050 9F, No. 705, Asia Pacific Road, Nanhu District, Jiaxing City, Zhejiang Province

Patentee after: ZHEJIANG YANGTZE DELTA REGION INSTITUTE OF TSINGHUA University

Country or region after: China

Address before: No.152 Huixin Road, Nanhu District, Jiaxing City, Zhejiang Province 314000

Patentee before: ZHEJIANG FUTURE TECHNOLOGY INSTITUTE (JIAXING)

Country or region before: China