CN116931247A - 一种面向多区域切片扫描的快速对焦方法 - Google Patents

一种面向多区域切片扫描的快速对焦方法 Download PDF

Info

Publication number
CN116931247A
CN116931247A CN202310717150.3A CN202310717150A CN116931247A CN 116931247 A CN116931247 A CN 116931247A CN 202310717150 A CN202310717150 A CN 202310717150A CN 116931247 A CN116931247 A CN 116931247A
Authority
CN
China
Prior art keywords
fine
focusing
point
focal plane
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310717150.3A
Other languages
English (en)
Inventor
王益平
郑驰
毛昊阳
张琦
沈开远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NINGBO YONGXIN OPTICS CO Ltd
Original Assignee
NINGBO YONGXIN OPTICS CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NINGBO YONGXIN OPTICS CO Ltd filed Critical NINGBO YONGXIN OPTICS CO Ltd
Priority to CN202310717150.3A priority Critical patent/CN116931247A/zh
Publication of CN116931247A publication Critical patent/CN116931247A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/242—Devices for focusing with coarse and fine adjustment mechanism
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02—Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09—Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/285—Systems for automatic generation of focusing signals including two or more different focus detection devices, e.g. both an active and a passive focus detecting device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明公开了一种面向多区域切片扫描的快速对焦方法，先在低倍物镜的全景采图下寻找粗对焦点，而后在高倍物镜下获取粗对焦点的初步空间坐标，并拟合出一个基准斜平面，以该斜平面为基础，缩小焦面的搜索范围，再通过细对焦和薄板样条插值法精准计算出切片各采图点位的最佳焦面，优点是相比平面拟合法，有效地缩短了对焦过程的搜索范围，对焦效率提升约10倍，采图焦面精度为0.438μm，焦面精度提升57.3％，且充分发挥了高倍物镜的成像分辨能力。

Description

一种面向多区域切片扫描的快速对焦方法
技术领域
本发明涉及一种光学显微镜的快速对焦方法，尤其是涉及种一种面向多区域切片扫描的快速对焦方法。
背景技术
生物数字切片是以数字图像技术为基础的阅片方法，为医生诊断病例提供了便利。制作生物数字切片主要包括生物切片制作、扫描区域识别、自动对焦、点位拟合、图像采集和图像拼接共六个步骤。在正确识别扫描区域后，选择不同的自动对焦和样本拟合策略将影响采图质量。特别是在高清数字切片的用户需求下，将使用20倍或更高的物镜逐一地采集每个视野的图像，而这类物镜的景深通常仅有1μm甚至更小，结合考虑生物样本的高低起伏差异，如何设计自动对焦和点位拟合的采图策略，是一个值得关注的问题。
王磊等提出一种在生物切片上手动预选对焦点的方式[1]，根据对焦结果计算拟合平面，控制相机逐一采集图像序列。随着自动化水平的提高，手动预选对焦点势必降低自动化水平，且平面拟合方式无法适应不同样本、小景深条件下的采图点位的焦面精度要求。陈木旺等也就显微标本的对焦问题，提出了一种基于盖玻片上特定图案的对焦方法[2]。然而，实际生产作业中，无法要求所有实验使用指定规格的玻片耗材，因此方案的通用性受到了限制。
在明场显微镜下，面对物镜景深小、生物样本差异性(分布区域不同和高低起伏差异)、采图效率的问题，自动对焦和点位拟合策略对获得一幅高清的生物数字切片十分重要。
王磊,严斯能,刘洪英,等.生物荧光样本的聚焦拍摄实现方法、显微镜和存储介质:202010241402.6[P].2020-03-31.
陈木旺,贾守礼.一种带有盖玻片的显微标本的对焦方法:202010272006.X[P].2020-04-09.
发明内容
本发明所要解决的技术问题是提供一种快速、准确的面向多区域切片扫描的快速对焦方法，实现高清采图。
本发明解决上述技术问题所采用的技术方案为：一种面向多区域切片扫描的快速对焦方法，含以下步骤：
步骤(1)：使用低倍物镜采集样本所有位置的图像，得到生物切片样本的全景图，再采用机器视觉技术对每张低倍物镜图像做切分与分类处理，标记出样本区域，将标记后的低倍物镜图像记为图IMG，所述的图IMG为灰度图，所述的图IMG由多个像素点组成，将每个像素点对应的生物切片样本的局部区域的识别结果记为一个点位，其中，将灰度值为0的样本区域记为无效样本区域，将灰度值非0的样本区域记为有效样本区域的；
步骤(2)：找出图IMG中所有有效样本区域的轮廓，将每个轮廓视为一个独立区域，将图IMG中独立区域的数量记为ncontour；
步骤(3)：将所有独立区域视为整体有效样本区域，在图IMG中记录整体有效样本区域的端点，找到每个独立区域的几何中心，如果寻找到的端点和几何中心在图IMG处的灰度值非0，则将这些端点和几何中心视为粗对焦点，并记录该粗对焦点对应的水平面位置；
步骤(4)：遍历每个独立区域，根据对焦点密度策略，动态地寻找细对焦点，并记录细对焦点的水平面位置；
步骤(5)：将低倍物镜切换为高倍物镜，对所有的粗对焦点做自动对焦，获取粗对焦点的空间坐标；
步骤(6)：根据粗对焦点的空间坐标做平面拟合，获取基准斜平面；
步骤(7)：在基准斜平面上对所有的细对焦点做自动对焦，获取细对焦点的空间坐标；
步骤(8)：根据细对焦点的空间坐标，对各个独立区域分别用薄板样条插值法做曲面拟合；
步骤(9)：分区域计算所有采图点位的精准焦面；
步骤(10)：使用高倍物镜根据每个采图点位的精准焦面进行对焦并采集图片。
与现有技术相比，本发明的优点在于先在低倍物镜的全景采图下寻找粗对焦点，而后在高倍物镜下获取粗对焦点的初步空间坐标，并拟合出一个基准斜平面，以该斜平面为基础，缩小焦面的搜索范围，再通过细对焦和薄板样条插值法精准计算出切片各采图点位的最佳焦面。实验结果表明，相比平面拟合法，本发明方法有效地缩短了对焦过程的搜索范围，对焦效率提升约10倍；本发明方法的采图焦面精度为0.438μm，焦面精度提升57.3％，且充分发挥了高倍物镜的成像分辨能力。此外，本发明方法无需定制特定的丝印载玻片，具备采图高清、对焦快速、自动化程度高的特点，可适用于主流的无丝印样本，简便通用。
附图说明
图1为本发明的面向多区域切片扫描的快速对焦方法流程图；
图2为本发明方法使用的显微镜采集设备硬件平台的结构示意图，图中，1-工业相机、2-中继镜、3-高倍物镜(20倍物镜)、4-生物切片样本、5-电动平台、6-光源、7-工业相机数据线、8-显微镜支架、9-低倍物镜(4倍物镜)；
图3为本发明的生物切片样本的结构，图中，41-盖玻片、42-生物切片、43-载玻片；
图4为本发明的自动对焦过程示意图；
图5为本发明的HE染色样本和免疫组化染色样本的对焦点标记图和区域标记图，其中(a)为HE染色样本，(a1)为样本全景图，(a2)为对焦点标记图，(a3)为区域标记图；(b)为免疫组化染色样本，(b1)为样本全景图，(b2)为对焦点标记图，(b3)为区域标记图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
实施例：本发明实施例使用的显微镜采集设备硬件平台如图2所示，它包括工业相机1、中继镜2、高倍物镜(20倍物镜)3、生物切片样本4、电动平台5、光源6、工业相机数据线7、显微镜支架8、低倍物镜(4倍物镜)9。
如图1是本发明的面向多区域切片扫描的快速对焦方法流程图，详细介绍了面向多区域切片扫描的快速对焦方法流程，以图5中的HE染色样本为实际实施例，做如下步骤描述：
步骤(1)：使用低倍物镜9采集样本所有位置的图像，得到生物切片样本4的全景图，低倍物镜9的放大率为4倍，NA数值＝0.10，景深＝27.860μm，再采用机器视觉技术对每张低倍物镜图像做切分与分类处理，标记出样本区域，将标记后的低倍物镜图像记为图IMG，图IMG为由多个像素点组成的灰度图，将每个像素点对应的生物切片样本的局部区域的识别结果记为一个点位，其中，将灰度值为0的样本区域记为无效样本区域，将灰度值为50的样本区域记为有效样本区域；
步骤(2)：通过调用OpenCV的findContours函数找出图IMG中所有有效样本区域的轮廓，将每个轮廓视为一个独立区域，将图IMG中独立区域的数量记为ncontour；在IMG中可能存在一个或多个独立区域，数量记为ncontour，本实施例ncontour＝2个；
步骤(3)：将所有独立区域视为整体有效样本区域，在图IMG中记录整体有效样本区域的端点，找到每个独立区域的几何中心，如果寻找到的端点和几何中心在图IMG处的灰度值非0，则将这些端点和几何中心视为粗对焦点，并记录该粗对焦点对应的水平面位置；具体为：
步骤(3-1)：在图IMG中，先从上到下逐行地寻找存在有效点位的首行，并记录首行有效点位中的起始坐标(xtop-start,ytop-start)和结束坐标(xtop-end,ytop-end)，其中，xtop-start和ytop-start分别表示首行有效起始点的横坐标和纵坐标，xtop-end和ytop-end分别表示首行有效结束点的横坐标和纵坐标，这里ytop-start＝ytop-end，再根据公式计算有效上端点的坐标(xtop,ytop)，
其中，floor表示向下取整函数；
步骤(3-2)：依次找出图IMG中的有效下端点坐标(xbottom,ybottom)、左端点坐标(xleft,yleft)和右端点坐标(xright,yright)；
步骤(3-3)：寻找每个独立区域的中心点，记录坐标，具体如下：
步骤(3-3-1)：初始化计数变量，记为k，并令k＝0；
步骤(3-3-2)：计数变量k累计加1，如果k≤ncontour，执行步骤(3-3-3)；否则，执行步骤(3-4)；
步骤(3-3-3)：先获取外轮廓k对应的上下左右四个坐标端点，记为(xtop-k,ytop-k)、(xbottom-k,ybottom-k)、(xleft-k,yleft-k)、(xright-k,yright-k)，再根据以下公式计算外轮廓k的几何中心坐标(xcenter-k,ycenter-k)，xcenter-k和ycenter-k分别表示第k个独立区域中心点的横坐标与纵坐标：
步骤(3-4)：将四个端点(xtop,ytop)、(xbottom,ybottom)、(xleft,yleft)、(xright,yright)，以及各个独立区域的中心点(xcenter-k,ycenter-k)作为粗对焦点的水平坐标位置，将粗聚焦点的总数量记为nrough个，本实施例nrough＝6个，对于中心点(xcenter-k,ycenter-k)，k∈[1,ncontour]，且图IMG中的坐标点(xcenter-k,ycenter-k)为有效点位；
步骤(3-5)：将粗对焦点的水平面的坐标记为P(xr,yr),r∈[1,nrough]。
步骤(4)：遍历每个独立区域，根据对焦点密度策略，动态地寻找细对焦点，并记录细对焦点的水平面位置；具体如下：
步骤(4-1)：设置细对焦的点位间隔密度，具体步骤如下：
步骤(4-1-1)：设置参考的对焦点数量，记为nSetFocus，本实施例nSefFocus＝30个；；
步骤(4-1-2)：统计图IMG中的有效点位数量，记为nLegal，本实施例nLegal＝554个；
步骤(4-1-3)：按下列公式计算细对焦点的行间隔密度drow和列间隔密度dcol：
式中，round表示四舍五入的取整函数，计算得到，drow＝5行/轮对焦，dcol＝6列/轮对焦；
步骤(4-2)：对每个独立区域按照行间隔密度drow和列间隔密度dcol设置细对焦点，经统计，2个独立区域的细对焦点分别为11个和13个；
步骤(4-3)：对粗对焦点再做一次细对焦操作，将得到的6个细对焦点和步骤(4-2)的24个细对焦点联合，将细对焦点的个数记为nfine，共得到nfine＝30个细对焦点；将细对焦点的水平坐标记为P(xf,yf),f∈[1,nfine]；
步骤(5)：将低倍物镜切换为高倍物镜，选择大步进的方式对所有的粗对焦点做自动对焦，获取粗对焦点的空间坐标；自动对焦过程中，z轴方向遵守三个约束，大景深、大步进、爬坡式的对焦停止条件，并有景深＝200μm，步进数量＝40步，单次步进＝5.00μm。在一次自动对焦中，先等步进地采集相同点位的不同焦面图像，再使用拉普拉斯算子分析图片的纹理复杂度，最后根据每个焦面的纹理复杂度分析出最佳焦面；具体为：
步骤(5-1)：将低倍物镜切换为高倍物镜，高倍物镜的放大倍率为20倍，NA数值＝0.80，景深＝0.430μm；
步骤(5-2)：初始化参数，设置粗对焦下z轴方向的景深大小，记为Rrough，本实施例Rrough＝200μm；设置粗对焦下的步进大小，记为steprough，当步进数量为40步时，steprough＝5μm；设置计数变量r，并令r＝0；设置纹理差异阈值，记为Trough，且Trough>0；手动选定初始焦面，记为zinit；
步骤(5-3)：计数变量r累计加1，如果r≤nrough，执行步骤(5-4)；否则，执行步骤(5-5)；
步骤(5-4)：在景深范围内，从下至上按步进大小steprough逐次地采集每个焦面的图片，共U张图片，并用拉普拉斯算子计算第u个焦面图片的清晰度绝对值，作为当前焦面纹理值，记为Lr,u，且u∈[1,U]，Lr,u≥0，
拉普拉斯算子如下：
比较当前焦面纹理值Lr,u与上个焦面纹理值Lr,u-1，如果满足条件Lr,u-1-Lr,u>Trough，则停止步进，将Lr,u-1所对应的焦面作为第r个粗对焦点的z值高度，表示最佳焦面高度；否则，继续按步进采图，直至满足Lr,u-1-Lr,u>Trough的条件或达到最后一个焦面为止，结束后，返回步骤(5-3)；
步骤(5-5)：得到nrough＝6个粗对焦点的空间坐标点，记为P(xr,yr,zr)，r∈[1,nrough]；
步骤(6)：根据粗对焦点的空间坐标做平面拟合，获取基准斜平面；
具体如下：
假设拟合平面的方程为：z＝a0x+a1y+a2，其中x、y、z分别为粗对焦点的空间坐标值，a0、a1、a2分别为常系数，
定义函数并对函数F分别就x、y、z作偏导，得到矩阵方程BA＝C，其中，/>
且r∈[1,nrough]；
步骤(7)：在基准斜平面上对所有的细对焦点做自动对焦，获取细对焦点的空间坐标；自动对焦过程中，z轴方向遵守三个约束，小景深、小步进、爬坡式的对焦停止条件，并有景深＝20μm，步进数量＝40步，单次步进＝0.50μm；具体如下：
步骤(7-1)：保持在高倍物镜下；
步骤(7-2)：初始化参数，设置细对焦下z轴方向的景深大小，记为Rfine，本实施例Rfine＝20μm；设置细对焦下的步进大小，记为stepfine，当步进数量为40步时，steprough＝0.50μm；设置计数变量f，并令f＝0；设置纹理差异阈值，记为Tfine，且Tfine>0；根据步骤(6)得到的拟合平面，计算每个细对焦点位的初始高度，记为zinit,f，f∈[1,nfine]，nfine表示细对焦点的数量；
步骤(7-3)：计数变量f累计加1，如果f≤nfine，执行步骤(7-4)；否则，执行步骤(7-5)；
步骤(7-4)：在景深范围内，从下至上按步进大小stepfine逐次地采集每个焦面的图片，共L张图片，并用拉普莱斯算子计算第l个焦面图片的清晰度绝对值，作为当前焦面纹理值，记为Lf,l，且l∈[1,L]，拉普拉斯算子如下：
比较当前焦面纹理值Lf,l与上个焦面纹理值Lf,l-1，如果满足条件Lf,l-1-Lf,l>Tfine，则停止步进，将Lf,l-1所对应的焦面作为第f个细对焦点的z值高度，表示最佳焦面高度；否则，继续按步进采图，直至满足Lf,l-1-Lf,l>Tfine的条件或达到最后一个焦面为止，结束后，返回步骤(7-3)；
步骤(7-5)：得到nfine个细对焦点的空间坐标点，记为P(xf,yf,zf)，f∈[1,nfine]；
步骤(8)：根据细对焦点的空间坐标，对各个独立区域分别用薄板样条插值法做曲面拟合；薄板样条插值法如下：
薄板样条插值法的方程为：其中xf、yf、zf分别为细对焦点的空间坐标值，a、b、c、Aq分别为待定常系数，dfq表示第f个点和第q个细对焦点之间的水平方向距离，即/>log为对数函数，nfine表示细对焦点的总个数，且f∈[1,nfine]、q∈[1,nfine]，定义函数，并对函数G分别作分量偏导，得到矩阵：
上式中，是一个关于距离的函数；n＝nfine，对矩阵求逆运算A＝B-1Z，获取待定系数a、b、c、Aq；
步骤(9)：分区域计算所有采图点位的精准焦面；具体如下：
步骤(9-1)：初始化参数，设置计数变量k，并令k＝0；
步骤(9-2)：计数变量k累计加1，如果k≤ncontour，执行步骤(9-3)；否则执行步骤(9-5)；
步骤(9-3)：获取第k个轮廓内的像素点坐标信息，共wk个点位，将每个坐标记为(xki,yki)，i∈[1,wk]，执行步骤(9-4)；
步骤(9-4)：将第k个轮廓内的像素点代入对应的薄板样条拟合曲面，获取完整的坐标信息，即P(xki,yki,zki)，返回步骤(9-2)；
步骤(9-5)：得到所有待采图点位的精准焦面坐标，即P(xki,yki,zki)，k∈[1,ncontour]，i∈[1,wk]；
步骤(10)：使用高倍物镜根据每个采图点位的精准焦面进行对焦并采集图片。
一、精度实验
1.1硬件环境与操作系统
(1)处理器：AMD Rayzen 9 5900HS，8核；
(2)内存：16GB；
(3)硬盘：1T固态硬盘；
(4)操作系统：Windows 10；
(5)低本物镜：放大倍率＝4倍，NA数值＝0.10，景深＝27.860μm；
(6)高倍物镜：放大倍率＝20倍，NA数值＝0.80，景深＝0.430μm。
1.2测试数据集
(1)第一组样本：如图5中的HE染色样本，存在2个独立区域，6个粗对焦点，30个细对焦点；
(2)第二组样本：如图5中的免疫组化染色样本，存在1个独立区域，5个粗对焦点，30个细对焦点。
在每次精度实验中，将细对焦点分成两组。第一组作为曲面拟合点位，用于生成拟合曲面，给未知空间坐标的点位提供拟合的焦面高度；第二组作为精度分析点位，可视为未知空间坐标点位的焦面真值。
1.3实验结果
两个样本的精度实验数据如表1所示。
表1精度实验测试
结果显示，平面拟合法的精度标准差≥1.200μm，最大误差≥1.978μm；本发明方法的精度标准差≥0.438μm，最大误差≥0.844μm。综合比较，本发明方法的焦面精度比平面拟合法的精度提升57.3％，具体计算如下：
同时，比较本发明方法的焦面精度(0.438μm)和高倍物镜的景深(0.430μm)，两者的成像分辨率处于同一水平，反映了本发明方法已接近当前高倍物镜的成像极限。
二、效率实验
采图速度与实际的硬件条件有关，如步进方式的采图和飞拍方式的采图，在相同采图数量和行进距离条件下，其速度差异可达3倍或以上。考虑本发明方法在不同硬件平台条件下的通用性，从单视野的采图数量的角度做分析。对于HE样本和免疫组化样本，由于生物样本的内容差异和样本姿态的非绝对水平，景深搜索范围可达200μm；本发明方法采用斜平面做基准，景深搜索范围可缩小至20μm。效率实验的数据如表2所示。
表2效率实验
结果显示，在相同的步进大小下，景深搜索范围越大，步进数量越多。本发明方法的步进数量为40次，平面拟合法的步进数量为400次，即相比平面拟合方法，本发明方法的对焦效率提升约10倍。

Claims (10)

1.一种面向多区域切片扫描的快速对焦方法，其特征在于包含以下步骤：
步骤(1)：使用低倍物镜采集样本所有位置的图像，得到生物切片样本的全景图，再采用机器视觉技术对每张低倍物镜图像做切分与分类处理，标记出样本区域，将标记后的低倍物镜图像记为图IMG，所述的图IMG为灰度图，所述的图IMG由多个像素点组成，将每个像素点对应的生物切片样本的局部区域的识别结果记为一个点位，其中，将灰度值为0的样本区域记为无效样本区域，将灰度值非0的样本区域记为有效样本区域；
步骤(2)：找出图IMG中所有有效样本区域的轮廓，将每个轮廓视为一个独立区域，将图IMG中独立区域的数量记为ncontour；
步骤(3)：将所有独立区域视为整体有效样本区域，在图IMG中记录整体有效样本区域的端点，找到每个独立区域的几何中心，如果寻找到的端点和几何中心在图IMG处的灰度值非0，则将这些端点和几何中心视为粗对焦点，并记录该粗对焦点对应的水平面位置；
步骤(4)：遍历每个独立区域，根据对焦点密度策略，动态地寻找细对焦点，并记录细对焦点的水平面位置；
步骤(5)：将低倍物镜切换为高倍物镜，对所有的粗对焦点做自动对焦，获取粗对焦点的空间坐标；
步骤(6)：根据粗对焦点的空间坐标做平面拟合，获取基准斜平面；
步骤(7)：在基准斜平面上对所有的细对焦点做自动对焦，获取细对焦点的空间坐标；
步骤(8)：根据细对焦点的空间坐标，对各个独立区域分别用薄板样条插值法做曲面拟合；
步骤(9)：分区域计算所有采图点位的精准焦面；
步骤(10)：使用高倍物镜根据每个采图点位的精准焦面进行对焦并采集图片。
2.如权利要求1所述的一种面向多区域切片扫描的快速对焦方法，其特征在于所述的步骤(2)中通过调用OpenCV的findContours函数寻找图IMG中有效样本区域的轮廓。
3.如权利要求1所述的一种面向多区域切片扫描的快速对焦方法，其特征在于所述的步骤(3)具体如下：
步骤(3-1)：在图IMG中，先从上到下逐行地寻找存在有效点位的首行，并记录首行有效点位中的起始坐标(xtop-start,ytop-start)和结束坐标(xtop-end,ytop-end)，其中，xtop-start和ytop-start分别表示首行有效起始点的横坐标和纵坐标，xtop-end和ytop-end分别表示首行有效结束点的横坐标和纵坐标，这里ytop-start＝ytop-end，再根据公式计算有效上端点的坐标(xtop,ytop)，
其中，floor表示向下取整函数；
步骤(3-2)：依次找出图IMG中的有效下端点坐标(xbottom,ybottom)、左端点坐标(xleft,yleft)和右端点坐标(xright,yright)；
步骤(3-3)：寻找每个独立区域的中心点，记录坐标，具体如下：
步骤(3-3-1)：初始化计数变量，记为k，并令k＝0；
步骤(3-3-2)：计数变量k累计加1，如果k≤ncontour，执行步骤(3-3-3)；否则，执行步骤(3-4)；
步骤(3-3-3)：先获取外轮廓k对应的上下左右四个坐标端点，记为(xtop-k,ytop-k)、(xbottom-k,ybottom-k)、(xleft-k,yleft-k)、(xright-k,yright-k)，再根据以下公式计算外轮廓k的几何中心坐标(xcenter-k,ycenter-k)，xcenter-k和ycenter-k分别表示第k个独立区域中心点的横坐标与纵坐标：
步骤(3-4)：将四个端点(xtop,ytop)、(xbottom,ybottom)、(xleft,yleft)、(xright,yright)，以及各个独立区域的中心点(xcenter-k,ycenter-k)作为粗对焦点的水平坐标位置，将粗聚焦点的总数量记为nrough个，对于中心点(xcenter-k,ycenter-k)，k∈[1,ncontour]，且图IMG中的坐标点(xcenter-k,ycenter-k)为有效点位；
步骤(3-5)：将粗对焦点的水平面的坐标记为P(xr,yr),r∈[1,nrough]。
4.如权利要求1所述的一种面向多区域切片扫描的快速对焦方法，其特征在于所述的步骤(4)具体如下：
步骤(4-1)：设置细对焦的点位间隔密度，具体步骤如下：
步骤(4-1-1)：设置参考的对焦点数量，记为nSetFocus；
步骤(4-1-2)：统计图IMG中的有效点位数量，记为nLegal；
步骤(4-1-3)：按下列公式计算细对焦点的行间隔密度drow和列间隔密度dcol：
式中，round表示四舍五入的取整函数；
步骤(4-2)：对每个独立区域按照行间隔密度drow和列间隔密度dcol设置细对焦点；
步骤(4-3)：对粗对焦点再做一次细对焦操作，将得到的细对焦点和步骤(4-2)的细对焦点联合，共得到nfine个细对焦点，将细对焦点的水平坐标记为P(xf,yf),f∈[1,nfine]。
5.如权利要求1所述的一种面向多区域切片扫描的快速对焦方法，其特征在于所述的步骤(5)具体如下：
步骤(5-1)：将低倍物镜切换为高倍物镜；
步骤(5-2)：初始化参数，设置粗对焦下的景深大小，记为Rrough；设置粗对焦下的步进大小，记为steprough；设置计数变量r，并令r＝0；设置纹理差异阈值，记为Trough，且Trough>0；手动选定初始焦面，记为zinit；
步骤(5-3)：计数变量r累计加1，如果r≤nrough，执行步骤(5-4)；否则，执行步骤(5-5)；
步骤(5-4)：在景深范围内，从下至上按步进大小steprough逐次地采集每个焦面的图片，共U张图片，并用拉普拉斯算子计算第u个焦面图片的清晰度绝对值，作为当前焦面纹理值，记为Lr,u，且u∈[1,U]，Lr,u≥0，
拉普拉斯算子如下：
比较当前焦面纹理值Lr,u与上个焦面纹理值Lr,u-1，如果满足条件Lr,u-1-Lr,u>Trough，则停止步进，将Lr,u-1所对应的焦面作为第r个粗对焦点的z值高度，表示最佳焦面高度；否则，继续按步进采图，直至满足Lr,u-1-Lr,u>Trough的条件或达到最后一个焦面为止，结束后，返回步骤(5-3)；
步骤(5-5)：得到nrough个粗对焦点的空间坐标点，记为P(xr,yr,zr)，r∈[1,nrough]。
6.如权利要求1所述的一种面向多区域切片扫描的快速对焦方法，其特征在于所述的步骤(6)的基准斜平面拟合方法如下：
假设拟合平面的方程为：z＝a0x+a1y+a2，其中x、y、z分别为粗对焦点的空间坐标值，a0、a1、a2分别为常系数，
定义函数并对函数F分别就x、y、z作偏导，得到矩阵方程BA＝C，其中，/> 且r∈[1,nrough]。
7.如权利要求1所述的一种面向多区域切片扫描的快速对焦方法，其特征在于所述的步骤(7)具体如下：
步骤(7-1)：保持在高倍物镜下；
步骤(7-2)：初始化参数，设置细对焦下的景深大小，记为Rfine；设置细对焦下的步进大小，记为stepfine；设置计数变量f，并令f＝0；设置纹理差异阈值，记为Tfine，且Tfine>0；根据步骤(6)得到的拟合平面，计算每个细对焦点位的初始高度，记为zinit,f，f∈[1,nfine]，nfine表示细对焦点的数量；
步骤(7-3)：计数变量f累计加1，如果f≤nfine，执行步骤(7-4)；否则，执行步骤(7-5)；
步骤(7-4)：在景深范围内，从下至上按步进大小stepfine逐次地采集每个焦面的图片，共L张图片，并用拉普莱斯算子计算第l个焦面图片的清晰度绝对值，作为当前焦面纹理值，记为Lf,l，且l∈[1,L]，拉普拉斯算子如下：
比较当前焦面纹理值Lf,l与上个焦面纹理值Lf,l-1，如果满足条件Lf,l-1-Lf,l>Tfine，则停止步进，将Lf,l-1所对应的焦面作为第f个细对焦点的z值高度，表示最佳焦面高度；否则，继续按步进采图，直至满足Lf,l-1-Lf,l>Tfine的条件或达到最后一个焦面为止，结束后，返回步骤(7-3)；
步骤(7-5)：得到nfine个细对焦点的空间坐标点，记为P(xf,yf,zf)，f∈[1,nfine]。
8.如权利要求1所述的一种面向多区域切片扫描的快速对焦方法，其特征在于所述的步骤(8)的薄板样条插值法如下：
薄板样条插值法的方程为：其中xf、yf、zf分别为细对焦点的空间坐标值，a、b、c、Aq分别为待定常系数，dfq表示第f个点和第q个细对焦点之间的水平方向距离，即/>log为对数函数，nfine表示细对焦点的总个数，且f∈[1,nfine]、q∈[1,nfine]，
定义函数，并对函数G分别作分量偏导，得到矩阵：
上式中，是一个关于距离的函数；n＝nfine，对矩阵求逆运算A＝B-1Z，获取待定系数a、b、c、Aq。
9.如权利要求1所述的一种面向多区域切片扫描的快速对焦方法，其特征在于所述的步骤(9)具体如下：
步骤(9-1)：初始化参数，设置计数变量k，并令k＝0；
步骤(9-2)：计数变量k累计加1，如果k≤ncontour，执行步骤(9-3)；否则执行步骤(9-5)；
步骤(9-3)：获取第k个轮廓内的像素点坐标信息，共wk个点位，将每个坐标记为(xki,yki)，i∈[1,wk]，执行步骤(9-4)；
步骤(9-4)：将第k个轮廓内的像素点代入对应的薄板样条拟合曲面，获取完整的坐标信息，即P(xki,yki,zki)，返回步骤(9-2)；
步骤(9-5)：得到所有待采图点位的精准焦面坐标，即P(xki,yki,zki)，k∈[1,ncontour]，i∈[1,wk]。
10.如权利要求1所述的一种面向多区域切片扫描的快速对焦方法，其特征在于所述的低倍物镜是指4倍率或更低倍率的物镜，所述的高倍物镜是指10倍率或更高倍率的物镜。
CN202310717150.3A 2023-06-16 2023-06-16 一种面向多区域切片扫描的快速对焦方法 Pending CN116931247A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310717150.3A CN116931247A (zh) 2023-06-16 2023-06-16 一种面向多区域切片扫描的快速对焦方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310717150.3A CN116931247A (zh) 2023-06-16 2023-06-16 一种面向多区域切片扫描的快速对焦方法

Publications (1)

Publication Number Publication Date
CN116931247A true CN116931247A (zh) 2023-10-24

Family

ID=88378119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310717150.3A Pending CN116931247A (zh) 2023-06-16 2023-06-16 一种面向多区域切片扫描的快速对焦方法

Country Status (1)

Country Link
CN (1) CN116931247A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132646A (zh) * 2023-10-26 2023-11-28 湖南自兴智慧医疗科技有限公司 基于深度学习的分裂相自动对焦系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132646A (zh) * 2023-10-26 2023-11-28 湖南自兴智慧医疗科技有限公司 基于深度学习的分裂相自动对焦系统
CN117132646B (zh) * 2023-10-26 2024-01-05 湖南自兴智慧医疗科技有限公司 基于深度学习的分裂相自动对焦系统

Similar Documents

Publication Publication Date Title
US9297995B2 (en) Automatic stereological analysis of biological tissue including section thickness determination
US8350905B2 (en) Microscope system, image generating method, and program for practicing the same
KR101891364B1 (ko) 현미경 이미징에서의 빠른 오토-포커스
TWI478101B (zh) 評估影像聚焦品質的方法
US5647025A (en) Automatic focusing of biomedical specimens apparatus
EP2577602B1 (en) System and method to determine slide quality of a digitized microscope slide
CN109239900B (zh) 一种用于显微数字图像大视野采集的全自动快速聚焦方法
CN109031638B (zh) 生物显微镜的快速自动聚焦方法
CN110531484B (zh) 一种对焦过程模型可设定的显微镜自动对焦方法
CN116931247A (zh) 一种面向多区域切片扫描的快速对焦方法
CN109612992B (zh) 一种宫颈脱落细胞涂片的快速扫描方法及其系统
CN111462075A (zh) 一种全切片数字病理图像模糊区域的快速重聚焦方法及系统
US20120249770A1 (en) Method for automatically focusing a microscope on a predetermined object and microscope for automatic focusing
CN110987886A (zh) 一种全自动显微影像荧光扫描系统
CN111932542B (zh) 一种基于多焦距的图像识别方法及装置、存储介质
CN113705298A (zh) 图像采集方法、装置、计算机设备及存储介质
CN113219622A (zh) 一种用于面板缺陷检测的物镜对焦方法、装置及系统
CN106324820A (zh) 一种双通道荧光光学显微成像中基于图像处理的自动对焦方法
CN111665617A (zh) 一种对焦方法及系统
KR20000034922A (ko) 이미징 시스템에 의해 얻은 신호로부터 잡음을 제거하는 방법 및 장치
CN114578537B (zh) 一种基于区域多点定面法的显微扫描平台焦平面确定方法
Yang et al. Sparse microdefect evaluation system for large fine optical surfaces based on dark-field microscopic scattering imaging
CN116405775A (zh) 自动聚焦方法和装置、电子设备及拍摄系统
WO2023031622A1 (en) System and method for identifying and counting biological species
CN114384681A (zh) 显微镜快速精准自动对焦方法、系统、计算机设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination