CN110672608A - 一种全切片扫描路径动态规划方法及系统 - Google Patents

Abstract

本发明涉及一种全切片扫描路径动态规划方法及系统，方法包括以下步骤：i、对低倍的鸟瞰图像进行处理，计算出鸟瞰图像中可扫描区域的范围，ii、在可扫描区域的范围内选择扫描起始位置，iii、通过步进式地移动显微镜镜头探索出该可扫描区域的外边界，iv、穷举所有以显微镜视野当前停留位置为起点的，移动步数为M的扫描路线；在穷举出的若干条扫描路线中按预设规则优选出一条扫描路线并执行；v、在显微镜镜头每移动1步后均重新执行第iv步骤中的路线规划，直到在显微镜视野的临近范围没有待扫描区域。本发明能够在规划扫描路径时，使用动态规划法而非固定路径模式，降低扫描不规则切片时重复路径。

Description

一种全切片扫描路径动态规划方法及系统

技术领域

本发明涉及数字化病理领域，具体涉及一种全切片扫描路径动态规划系统及方法。

背景技术

自动显微镜(motorized microscope)技术经过十数年发展，已比较成熟。但其中具有全切片扫描(whole slide imaging)功能的型号多基于高精度机械定位的原理，成本极高，限制了其在中低预算需求用户中的广泛应用。在本申请人的发明专利申请201910225913.6中解决了基于特征点匹配的显微镜局部视野定位控制方法，实现了定位功能；在本申请人的发明专利申请201910225927.8中通过自动显微镜的Z轴控制方法解决了对焦功能。但当仅采用单一高倍率镜头时，未能有效解决路径规划问题。

常规全切片扫描显微镜拥有高机械重复定位精度、多倍率镜头切换功能。通常，这一方案先在不需要准确对焦的低倍率(如2或4倍)下快速预扫，以确认可被扫描(也就是有切片覆盖)的范围边界再切换为高倍率(如20或40倍)对焦扫描。在低倍率下，采用固定轨迹(Z字型或螺旋型，例如专利201010231263.5所述)移动、全覆盖遍历整张切片；在高倍率下，采用固定轨迹移动遍历可被扫描范围。

但是，使用201910225913.6和201910225927.8专利方案以及单一高倍率镜头的系统无法遵循相同的逻辑，原因包括：

1、仅能通过鸟瞰镜头(低于0.5倍)拍摄的切片大致估算扫描边界。由于倍率相差巨大，低倍率鸟瞰镜头下估算的边界位置在高倍率下误差可能达到数个视野之多，因而不能依赖鸟瞰镜头拍摄的切片确定可扫描范围；

2、在依靠高倍率显微图像估算扫描边界时，必然要求先进行对焦，否则仅凭失焦模糊图像无法区别是否存在切片覆盖。但是，对于无切片覆盖区域无法使用201910225927.8方案对焦。如果仍采用遍历切片的路线、以对焦失败为判断边界准则，则效率极低；

3、即使确定了可扫描区域，在此范围内扫描时，可能出现切片空洞也就是在切片中心的不可扫描区域，切断遍历的路线；

4、即使确定了可扫描区域，以及其中分布的局部不可扫描区域，并可用若干组Z字型遍历路线覆盖整个不规则的扫描区域，难免有大量重复路径，效率很低。

发明内容

本发明要解决的技术问题是：提出一种在完全覆盖可扫描区域的前提下还能实现优化扫描路径、减少扫描时间、遇到局部不可扫描区域时进行规避和同时不遗漏可扫描区域的全切片扫描路径动态规划方法及系统。

本发明为解决上述技术问题提出的技术方案（一）是：一种全切片扫描路径动态规划方法，包括以下步骤：

i、对低倍的鸟瞰图像进行处理，通过判断鸟瞰图像的任一像素点对应范围是否可扫描，计算出鸟瞰图像中唯一可扫描区域的范围或多片的被不可扫描区域分割包围的可扫描区域的范围；对唯一可扫描区域或依次对多片可扫描区域进行下列流程，

ii、在可扫描区域的范围内选择扫描起始位置，并将显微镜视野移动到该起始位置；

iii、通过显微镜镜头平移机构步进式地移动显微镜镜头探索出该可扫描区域的外边界，所述外边界之内的区域为待扫描区域，所述外边界之外的区域为不可扫描区域，被显微镜视野扫描经过的区域为已扫描区域；

iv、穷举所有以显微镜视野当前停留位置为起点的且移动步数为M的扫描路线；在穷举出的若干条扫描路线中按预设规则优选出一条扫描路线并执行；

v、在显微镜镜头每移动1步后均重新执行第iv步骤中的路线规划，直到在显微镜视野的临近范围没有待扫描区域；

vi、判断整个外边界内是否存在待扫描区域，如果存在，则移动到最近的一处从iv步骤重新循环执行；若可扫描区域内已无待扫描区域，则结束扫描流程。

进一步的，显微镜镜头获取的显微视野图像被网格化成n乘n个视野方格，n大于或等于2，显微镜镜头平移机构及显微镜镜头被配制成每次移动对应带动显微视野前进x个方格并且移动后即时获取一幅新的显微视野图像；

对新获取显微视野图像中每个视野方格内的内容进行是否可扫描的判断，并将判断结果记录到扫描状态地图中，扫描状态地图预设有z乘z个空格，每个空格的预设状态均为待扫描，所述z乘z个空格用于对应记录每次新获取视野方格的位置坐标以及将所述预设状态对应地更新为已扫描或不可扫描状态。

进一步的，在步骤iii中探索可扫描区域的外边界时，显微镜镜头的移动路径策略为：

a、在没有触及不可扫描区域时，始终向上、下、左或右方向移动；

b、在触及不可扫描区域时，按顺时针或逆时针方向始终沿着不可扫描区域的边界移动；

c、当回到已扫描区域时，即环绕不可扫描区域的边界移动一周时，判断已扫描区域是否完全被不可扫描区域包围，

c1、若已包围，则结束探索可扫描区域的外边界；

c2、若未包围，说明外边界尚未全部探明，则先在扫描状态地图中找到同时紧邻不可扫描区域和待扫描区域的已扫描区域，，再将显微镜镜头移动至这些已扫描区域与不可扫描区域及持扫描区域相接处的最上、下、左或右方的一处，重复a-c流程。

进一步的，在所述步骤iv中，

所述预设规则是指推算出每一条路线在移动M步之后新扫描区域的覆盖率得分，所述优选是指选出选取得分最高的路线；

覆盖率得分的计算方法是对若干状态值全部或部分的组合进行加权求和，所述若干状态值包括新扫描视野方格数目c、移动路线转弯次数t、新扫描视野方格与待扫描区域接壤边数s和待扫描块聚团数p，加权权值为w1、w2、…、wN，权值可取正负；

若最优路线是不移动，则执行步骤vi。

进一步的，判断鸟瞰图像的任一像素点对应范围是否可扫描时，

将鸟瞰图像的像素值分别转换为HSV色域与YCbCr色域，若某个像素p的色彩向量{Hp,Sp,Vp,Yp,Cbp,Crp}在给定色彩阈值的上限{ Hmax,Smax,Vmax,Ymax,Cbmax,Crmax }与下限{ Hmin,Smin,Vmin,Ymin,Cbmin,Crmin }之间时，判断此像素可扫描，反之判断为不可扫描。

进一步的，在对每个视野方格内的内容进行是否可扫描的判断时，

先计算视野方格内可扫描像素与不可扫描像素的个数，进而获得可扫描像素与不可扫描像素个数的比例，

再判断该比例是否高于预设阈值，当所述比例大于或等于预设阈值时判断该方格为可扫描，反之为不可扫描；

在判断像素是否可扫描时，将像素值分别转换为HSV色域与YCbCr色域，若某个像素p的色彩向量{Hp,Sp,Vp,Yp,Cbp,Crp}在给定色彩阈值的上限{ Hmax,Smax,Vmax,Ymax,Cbmax,Crmax }与下限{ Hmin,Smin,Vmin,Ymin,Cbmin,Crmin }之间时，判断此像素可扫描，反之判断为不可扫描。

进一步的，选择扫描起始位置时，以显微视野N倍长宽的矩形为滑动窗口，将所述滑动窗口比例缩放后投射覆盖到所述鸟瞰图像上，在鸟瞰图像上为滑动窗口选取一个能够最大比例覆盖可扫描区域的位置，将所选择的滑动窗口的中心作为扫描起始位置。

本发明为解决上述技术问题提出的技术方案（二）是：包括鸟瞰摄像模块、第一可扫描区域判断模块、起始扫描点选择模块、显微摄像模块、第二可扫描区域判断模块、精确定位模块、路径规划模块和移动控制模块，

其中，

鸟瞰摄像模块适于获取切片的鸟瞰图像；

第一可扫描区域判断模块适于对低倍的鸟瞰图像进行处理，通过判断鸟瞰图像的任一像素点对应范围是否可扫描，计算出鸟瞰图像中唯一的可扫描区域或多片的被不可扫描区域分割包围的可扫描区域的范围；

起始扫描点选择模块适于在可扫描区域的范围内选择扫描起始位置；

显微摄像模块适于获取显微视野图像；

第二可扫描区域判断模块适于对获取显微视野图像中的内容进行是否可扫描的判断；

精确定位模块适于精确定位模块适于通过对显微视野图像中的特征点提取和匹配，获得多幅显微视野图像之间的平面相对关系；

路径规划模块适于在探索可扫描区域的外边界时，按预设规则进行路径规划；还适于穷举所有以显微镜视野当前停留位置为起点的，移动步数为M的扫描路线，并优选出一条扫描路线；

移动控制模块适于根据所述起始扫描点选择模块和路径规划模块输出的路径信息控制外围硬件配合移动。

本发明的有益效果是：

本发明通过基于各项创新点，本发明技术方案与以往技术相比提供了如下增益：支持倍率相差高于40倍的鸟瞰和显微镜头倍率，进而支持低倍率、大景深的鸟瞰镜头兼做他用。在显微镜头下计算、探索切片样本的准确范围，进而支持动态规划扫描路径。规划扫描路径时，使用动态规划法而非固定路径模式，降低扫描不规则切片时重复路径。

附图说明

下面结合附图对本发明的全切片扫描路径动态规划方法及系统作进一步说明。

图1是本发明中对低倍的鸟瞰图像进行是否可扫描判断处理的结果比较图；

图2是本发明中在选择扫描起始位置时滑动窗口的位置比较图；

图3是扫描状态粗略图与局部与其相对应的扫描状态地图的比较图；

图4是实施例一中可扫描区域外边界搜索模式的工作流程图；

图5是实施例一中处于初始状态时，进行近邻扫描穷举的示意图；

图6是实施例一中近邻扫描穷举时第一步移动的分支的可能结果图；

图7是实施例一中近邻扫描穷举时第二步移动的分支的可能结果图；

图8是移动距离地图的构建流程图；

图9是移动距离地图构建效果，正中距离0为当前位置；

图10是实施例一中整个方法的流程图；

图11是实施例二中系统的结构框图。

具体实施方式

实施例一

本实施例涉及一种全切片扫描路径动态规划方法，如图10所示，包括以下步骤：

第i步骤：对低倍的鸟瞰图像进行处理，通过对鸟瞰图像的任一像素点判断对应范围是否可扫描，计算出鸟瞰图像中唯一的可扫描区域或多片的被不可扫描区域分割包围的可扫描区域的范围。

在本实施例中，判断鸟瞰图像的任一像素点对应范围是否可扫描时，可以通过将鸟瞰图像的像素值分别转换为HSV色域与YCbCr色域，若某个像素p的色彩向量{Hp,Sp,Vp,Yp,Cbp,Crp}在给定色彩阈值的上限{ Hmax,Smax,Vmax,Ymax,Cbmax,Crmax }与下限{Hmin,Smin,Vmin,Ymin,Cbmin,Crmin }之间时，判断此像素可扫描，反之判断为不可扫描。进一步的，色彩阈值可以由用户自定义，或跟据切片类型预先设定多种可供选择的方案，又或对鸟瞰图像中所有像素点的色彩向量利用如K-means的算法聚类算出。

通过处理鸟瞰图像后得到的状态记录被称为扫描状态粗略图，最小分割单位是像素，每个像素的状态为可扫描或不可扫描二选一。如图1所示，左侧图像为原始切片图像，中间图像为通过黑色标注像素可扫描，右侧图像为通过X标注的不可扫描区域。

在判断后，根据扫描状态粗略图，对唯一可扫描区域或依次对多片可扫描区域继续进行下列流程。

第ii步骤：在可扫描区域的范围内选择扫描起始位置，并将显微镜视野移动到该起始位置，在移动显微镜视野时可以通过电子显微镜自带的二维平移机构带动切片（样片）移动等效地实现显微视野的移动，也可以直接通过相应平移机构带动显微镜镜头移动。具体地在选择扫描起始位置时，可以以显微视野N倍长宽的矩形为滑动窗口，将滑动窗口比例缩放后投射覆盖到鸟瞰图像上，前述比例可以根据鸟瞰相机相素和显微镜放大倍率-相素对应计算。在一个可扫描区域内计算滑动窗口内可扫描区域比例最大的窗口位置中心作为扫描起始位置，即在鸟瞰图像上为滑动窗口选取一个能够最大比例覆盖可扫描区域的位置，当有多个位置可选时随机选取。

其中，N的选择由电子显微镜的X，Y轴运动最大误差、鸟瞰与显微图像的像素、物理尺寸等决定。如图2所示，图2中B窗口的可扫描覆盖率为100%，将被选为起始位置，显微视野被移动到该扫描起始位置。

同时，显微镜镜头获取的显微视野图像被网格化成n乘n个视野方格，n大于或等于2，显微镜镜头被配制成每次移动对应带动显微视野前进x个方格并且移动后即时获取一幅新的显微视野图像。为便于理解，在本实施例中显微视野图像被划分为3乘3的9个方格，在移动时，显微镜镜头在每次移动时带动显微视野前进1行方格。对新获取显微视野图像中每个视野方格内的内容进行是否可扫描的判断，并将判断结果记录到扫描状态地图中。在本实施例中，在对每个视野方格内的内容进行是否可扫描的判断时，也参照对鸟瞰图像中像素的分析办法，先计算视野方格内可扫描像素与不可扫描像素的个数，进而获得可扫描像素与不可扫描像素个数的比例；再判断该比例是否高于预设阈值，当比例大于或等于预设阈值时判断该方格为可扫描，反之为不可扫描。在判断像素是否可扫描时，将像素值分别转换为HSV色域与YCbCr色域，若某个像素p的色彩向量{Hp,Sp,Vp,Yp,Cbp,Crp}在给定色彩阈值的上限{ Hmax,Smax,Vmax,Ymax,Cbmax,Crmax }与下限{ Hmin,Smin,Vmin,Ymin,Cbmin,Crmin }之间时，判断此像素可扫描，反之判断为不可扫描。

扫描状态地图预设有z乘z个空格（也可称为“块”），每个空格的预设状态均为待扫描，z乘z个空格用于对应记录每次获取的视野方格的位置坐标以及将预设状态对应地更新为已扫描或不可扫描状态，z乘z个空格可以根据实际需要，设置为足够多的空格。在本实施例中，如图3所示，图3中左侧为扫描状态粗略图，右侧为局部与扫描状态粗略图相对应的扫描状态地图，在图3中通过X标注的为不可扫描，以及已经过扫描及未扫描区域。

第iii步骤：本步骤进行的内容可称之为可扫描区域外边界搜索模式。通过步进式地移动显微镜镜头探索出该可扫描区域的外边界，外边界之内的区域为待扫描区域，外边界之外的区域为不可扫描区域，由显微镜视野扫描经过的区域为已扫描区域。

步骤iii中，具体在探索可扫描区域的外边界时，可以将显微镜镜头的移动路径策略选择为：

a、在没有触及不可扫描区域时，始终向上、下、左或右方向移动。

b、在触及不可扫描区域时，按顺时针或逆时针方向始终沿着不可扫描区域的边界移动。

c、当回到已扫描区域时，即环绕不可扫描区域的边界移动一周时，判断已扫描区域是否完全被不可扫描区域包围：

c1、若已包围，则结束探索可扫描区域的外边界。

c2、若未包围，说明外边界尚未全部探明，则先在扫描状态地图中找到同时紧邻不可扫描区域和待扫描区域的已扫描区域，再将显微镜镜头移动至这些已扫描区域与不可扫描区域及持扫描区域相接处的最上、下、左或右方的一处，重复a-c流程。本实施例中选择的方向如图4中流程所示，即先向下移动并进而结合顺时针方向沿边界运动。

第iv步骤：本步骤进行的内容可称之为近邻扫描模式，实施时以显微镜视野当前停留位置为起点，穷举所有移动步数为M的扫描路线。所谓穷举是在结合扫描状态地图基础上进行的假想推算，在穷举出的若干条扫描路线中按预设规则优选出一条扫描路线并执行。

因为穷举计算需要在极短的时间内计算出每条线路并进行优选，因此M的值跟据系统计算能力选取。

为便于说明，设在本实施例中M次为2次，一次移动一个视野方格的方式进行。预设规则是指推算出每一条路线在移动M步（即2步）之后新扫描区域的覆盖率得分，优选是指选出选取得分最高的路线。在本实施例中，覆盖率得分的计算方法是对若干状态值全部或部分的组合进行加权求和，若干状态值包括新扫描视野方格数目c、移动路线转弯次数t、新扫描视野方格与待扫描区域接壤边数s和待扫描块聚团数p，加权权值依次为w1、w2、…、wN，加权权值可以根据不同实际情况进行赋值，且可取正负值。

具体表达式为CS=w1c+w2t+w3s+w4p+…。

这个表达式的意义在于：评价扫描路径的标准是多个难以兼顾的指标的折衷，包括更多已扫描块、更少转弯次数、更少已扫描与待扫描块接壤(意味着更规整)、更少待扫描块聚团数。

例如，进行M=2次移动的搜索模式的穷举流程如图5、图6和图7所示，图5、图6和图7均是扫描状态地图的局部。其中图5为近邻扫描穷举之初的初始状态，X标注空格的为之前探明的不可扫描区域的边界。图6中表达的是第一步移动时可供选的分支路线策略。图7中表达的则是若第一步为向上移动，进而第二步的可供选的分支路线策略。若路线为连续向上移动两块后，前述状态值为：c=2，t=0，s=5，p=1；若向上再向右后，状态值为：c=2，t=1，s=7，p=1。假如w1=5，w2=-1，w3=-1，w4=-1，则CS(上上)=4，CS(上右)=1，上上比上右更优，则执行上上路线。

若最优路线是不移动，则执行步骤vi。

第v步骤：优选出1条路线后，在执行时，在显微镜镜头每移动1步后均重新执行第iv步骤中的路线规划。即如之前所列举的例子，按既定的“上、上”路 线移动时，移动第一个“上”之后，抛弃第二个“上”的策略，重新按第iv步骤中规划路线。直到在显微镜视野的临近范围没有待扫描区域，执行步骤vi。

第vi步骤：判断整个外边界内是否存在待扫描区域，如果存在，则移动到最近的一处从iv步骤重新循环执行。若可扫描区域内已无待扫描区域，则结束扫描流程。

在判断整个外边界内是否存在待扫描区域时，即待扫描区域搜索模式下，系统以扫描状态地图为基础构建一张移动距离地图，计算出移动到每个区域的距离。

如图8所示，移动距离地图的构建方法为：复制扫描状态地图，并为每个空格增加距离值，为当前视野中心的块添加初始距离为0，并为其他块增添初始距离无穷大Inf，并将在接下来通过迭代更新。首先记录两个空格的集合：刚刚更新距离的为{C}，初始仅包含视野中心的块；下一轮将更新距离的为{X}。每一轮迭代中，依次选取{C}中的块c，其距离为dc，并检查其上下左右四个块，称为临块：如果临块n的距离dn>dc+1，则更新dn=dc+1；如果临块n不在{X}中，且n被标记为已扫描块，则将其加入{X}。在一轮迭代最后，如果{X}为空，则结束迭代；否则将{C}清空并将{X}全部复制入{C}，再将{X}清空。图9所示为一示例移动距离地图，此时距离最近的待扫描块为中心正下方2格、距离为2的块。

在移动距离图中，先找出所有待扫描区域，再在其中找到距离最近的区域作为目标进行移动。

实施例二

在实施例一公开的方法技术方案的基础上，本实施例涉及一种全切片扫描路径动态规划系统，该系统用于实现上述方法。

如图11所示，该系统包括：鸟瞰摄像模块、第一可扫描区域判断模块（A）、起始扫描点选择模块、显微摄像模块、第二可扫描区域判断模块（B）、精确定位模块、路径规划模块和移动控制模块。

其中，

鸟瞰摄像模块用于对切片（样片）进行鸟瞰拍摄，获取一幅低放大倍率的如前所述的鸟瞰图像。

第一可扫描区域判断模块适于执行第i步骤，即对低倍的鸟瞰图像进行处理，通过对鸟瞰图像的任一像素点判断对应范围是否可扫描，计算出鸟瞰图像中唯一的可扫描区域或多片的被不可扫描区域分割包围的可扫描区域的范围。

在本实施例中，判断鸟瞰图像的任一像素点对应范围是否可扫描时，可以通过将鸟瞰图像的像素值分别转换为HSV色域与YCbCr色域，若某个像素p的色彩向量{Hp,Sp,Vp,Yp,Cbp,Crp}在给定色彩阈值的上限{ Hmax,Smax,Vmax,Ymax,Cbmax,Crmax }与下限{Hmin,Smin,Vmin,Ymin,Cbmin,Crmin }之间时，判断此像素可扫描，反之判断为不可扫描。进一步的，色彩阈值可以由用户自定义，或跟据切片类型预先设定多种可供选择的方案，又或对鸟瞰图像中所有像素点的色彩向量利用如K-means的算法聚类算出。

通过处理鸟瞰图像后得到的状态记录被称为扫描状态粗略图，最小分割单位是像素，每个像素的状态为可扫描或不可扫描二选一。如图1所示，左侧图像为原始切片图像，中间图像为通过黑色标注像素可扫描，右侧图像为通过X标注的不可扫描区域。

起始扫描点选择模块适于在判断出的可扫描区域的范围内选择扫描起始位置。具体地在选择扫描起始位置时，可以以显微视野N倍长宽的矩形为滑动窗口，将滑动窗口比例缩放后投射覆盖到鸟瞰图像上，在一个可扫描区域内计算滑动窗口内可扫描区域比例最大的窗口位置中心作为扫描起始位置，即在鸟瞰图像上为滑动窗口选取一个能够最大比例覆盖可扫描区域的位置，当有多个可选时随机选取。

其中，N的选择由电子显微镜的X，Y轴运动最大误差、鸟瞰与显微图像的像素、物理尺寸等决定。如图2所示，图2中B窗口的可扫描覆盖率为100%，将被选为起始位置，显微视野被移动到该扫描起始位置。

同时，显微镜镜头获取的显微视野图像被网格化成n乘n个视野方格，n大于或等于2，显微镜镜头被配制成每次移动对应带动显微视野前进x个方格并且移动后即时获取一幅新的显微视野图像。为便于理解，在本实施例中显微视野图像被划分为3乘3的9个方格，在移动时，显微镜镜头在每次移动时带动显微视野前进1行方格。对新获取显微视野图像中每个视野方格内的内容进行是否可扫描的判断，并将判断结果记录到扫描状态地图中。在本实施例中，在对每个视野方格内的内容进行是否可扫描的判断时，也参照对鸟瞰图像中像素的分析办法。先计算视野方格内可扫描像素与不可扫描像素的个数，进而获得可扫描像素与不可扫描像素个数的比例。再判断该比例是否高于预设阈值，当比例大于或等于预设阈值时判断该方格为可扫描，反之为不可扫描。在判断像素是否可扫描时，将像素值分别转换为HSV色域与YCbCr色域，若某个像素p的色彩向量{Hp,Sp,Vp,Yp,Cbp,Crp}在给定色彩阈值的上限{ Hmax,Smax,Vmax,Ymax,Cbmax,Crmax }与下限{ Hmin,Smin,Vmin,Ymin,Cbmin,Crmin }之间时，判断此像素可扫描，反之判断为不可扫描。

扫描状态地图预设有z乘z个空格（也可称为“块”），每个空格的预设状态均为待扫描，z乘z个空格用于对应记录每次获取的视野方格的位置坐标以及将预设状态对应地更新为已扫描或不可扫描状态，z乘z个空格可以根据实际需要，设置为足够多的空格。在本实施例中，扫描状态地图如图3所示，图3中通过X标注的为不可扫描，以及已经过扫描及未扫描区域。

其中，显微摄像模块适于通过显微镜镜头获取电子化的显微视野图像，具体的可以为连接在显微镜目镜上的数码拍摄装置。

其中，第二可扫描区域判断模块是对显微视野图像中每一视野方格中内容进行可扫描性判断。在本实施例中，在对每个视野方格内的内容进行是否可扫描的判断时，也参照对鸟瞰图像中像素的分析办法。先计算视野方格内可扫描像素与不可扫描像素的个数，进而获得可扫描像素与不可扫描像素个数的比例。再判断该比例是否高于预设阈值，当比例大于或等于预设阈值时判断该方格为可扫描，反之为不可扫描。在判断像素是否可扫描时，将像素值分别转换为HSV色域与YCbCr色域，若某个像素p的色彩向量{Hp,Sp,Vp,Yp,Cbp,Crp}在给定色彩阈值的上限{ Hmax,Smax,Vmax,Ymax,Cbmax,Crmax }与下限{ Hmin,Smin,Vmin,Ymin,Cbmin,Crmin }之间时，判断此像素可扫描，反之判断为不可扫描。

其中，精确定位模块采用的是传感器定位或如申请号为2019102225913.6中所描述技术方案，适于不依赖高精度硬件实现像素级误差的定位。对获取显微视野图像中的特征点提取、匹配以准确计算每两幅相邻显微视野间的位置关系，推算出任意视野相对其他视野的位置关系，以将分别采集的显微视野根据位置关系拼接合成为一整个逾亿像素分辨率的虚拟切片时的拼接痕迹最小化。

其中，路径规划模块适于在可扫描区域外边界搜索模式或近邻扫描模式中实现相关路线的规划。

其中，移动控制模块适于根据起始扫描点选择模块或路径规划模块的选择或规则控制外部的平移机构进行动作。

本发明的不局限于上述实施例，本发明的上述各个实施例的技术方案彼此可以交叉组合形成新的技术方案，另外凡采用等同替换形成的技术方案，均落在本发明要求的保护范围内。

Claims (8)

1.一种全切片扫描路径动态规划方法，包括以下特征步骤：

i、对低倍的鸟瞰图像进行处理，通过判断鸟瞰图像的任一像素点对应范围是否可扫描，计算出鸟瞰图像中唯一可扫描区域的范围或多片被不可扫描区域分割包围的可扫描区域的范围；对唯一可扫描区域或依次对多片可扫描区域进行下列流程，

ii、在可扫描区域的范围内选择扫描起始位置，并将显微镜视野移动到该起始位置；

iii、通过显微镜镜头平移机构步进式地移动显微镜镜头探索出该可扫描区域的外边界，所述外边界之内的区域为待扫描区域，所述外边界之外的区域为不可扫描区域，被显微镜视野扫描经过的区域为已扫描区域；

iv、穷举所有以显微镜视野当前停留位置为起点的且移动步数为M的扫描路线；在穷举出的若干条扫描路线中按预设规则优选出一条扫描路线并执行；

v、在显微镜镜头每移动1步后均重新执行第iv步骤中的路线规划，直到在显微镜视野的临近范围没有待扫描区域；

vi、判断整个外边界内是否存在待扫描区域，如果存在，则移动到最近的一处从iv步骤重新循环执行；若可扫描区域内已无待扫描区域，则结束扫描流程。

2.根据权利要求1所述全切片扫描路径动态规划方法，其特征在于：

显微镜镜头获取的显微视野图像被网格化成n乘n个视野方格，n大于或等于2，显微镜镜头平移机构及显微镜镜头被配制成每次移动对应带动显微视野前进x个方格并且移动后即时获取一幅新的显微视野图像；

对新获取显微视野图像中每个视野方格内的内容进行是否可扫描的判断，并将判断结果记录到扫描状态地图中，扫描状态地图预设有z乘z个空格，每个空格的预设状态均为待扫描，所述z乘z个空格用于对应记录每次新获取视野方格的位置坐标以及将所述预设状态对应地更新为已扫描或不可扫描状态。

3.根据权利要求2所述全切片扫描路径动态规划方法，其特征在于：在步骤iii中探索可扫描区域的外边界时，

显微镜镜头的移动路径策略为：

a、在没有触及不可扫描区域时，始终向上、下、左或右方向移动；

b、在触及不可扫描区域时，按顺时针或逆时针方向始终沿着不可扫描区域的边界移动；

c、当回到已扫描区域时，即环绕不可扫描区域的边界移动一周时，判断已扫描区域是否完全被不可扫描区域包围，

c1、若已包围，则结束探索可扫描区域的外边界；

c2、若未包围，说明外边界尚未全部探明，则先在扫描状态地图中找到同时紧邻不可扫描区域和待扫描区域的已扫描区域，再将显微镜镜头移动至这些已扫描区域与不可扫描区域及持扫描区域相接处的最上、下、左或右方的一处，重复a-c流程。

4.根据权利要求3所述全切片扫描路径动态规划方法，其特征在于：在所述步骤iv中，

所述预设规则是指推算出每一条路线在移动M步之后新扫描区域的覆盖率得分，所述优选是指选出选取得分最高的路线；

覆盖率得分的计算方法是对若干状态值全部或部分的组合进行加权求和，所述若干状态值包括新扫描视野方格数目c、移动路线转弯次数t、新扫描视野方格与待扫描区域接壤边数s和待扫描块聚团数p，加权权值为w1、w2、…、wN，权值可取正负；

若最优路线是不移动，则执行步骤vi。

5.根据权利要求1所述全切片扫描路径动态规划方法，其特征在于：判断鸟瞰图像的任一像素点对应范围是否可扫描时，

将鸟瞰图像的像素值分别转换为HSV色域与YCbCr色域，若某个像素p的色彩向量{Hp,Sp,Vp,Yp,Cbp,Crp}在给定色彩阈值的上限{ Hmax,Smax,Vmax,Ymax,Cbmax,Crmax }与下限{ Hmin,Smin,Vmin,Ymin,Cbmin,Crmin }之间时，判断此像素可扫描，反之判断为不可扫描。

6.根据权利要求2所述全切片扫描路径动态规划方法，其特征在于：在对每个视野方格内的内容进行是否可扫描的判断时，

先计算视野方格内可扫描像素与不可扫描像素的个数，进而获得可扫描像素与不可扫描像素个数的比例，

再判断该比例是否高于预设阈值，当所述比例大于或等于预设阈值时判断该方格为可扫描，反之为不可扫描；

在判断像素是否可扫描时，将像素值分别转换为HSV色域与YCbCr色域，若某个像素p的色彩向量{Hp,Sp,Vp,Yp,Cbp,Crp}在给定色彩阈值的上限{ Hmax,Smax,Vmax,Ymax,Cbmax,Crmax }与下限{ Hmin,Smin,Vmin,Ymin,Cbmin,Crmin }之间时，判断此像素可扫描，反之判断为不可扫描。

7.根据权利要求1所述全切片扫描路径动态规划方法，其特征在于：选择扫描起始位置时，以显微视野N倍长宽的矩形为滑动窗口，将所述滑动窗口比例缩放后投射覆盖到所述鸟瞰图像上，在鸟瞰图像上为滑动窗口选取一个能够最大比例覆盖可扫描区域的位置，将所选择的滑动窗口的中心作为扫描起始位置。

8.一种全切片扫描路径动态规划系统，其特征在于：包括鸟瞰摄像模块、第一可扫描区域判断模块、起始扫描点选择模块、显微摄像模块、第二可扫描区域判断模块、精确定位模块、路径规划模块和移动控制模块，

其中，

鸟瞰摄像模块适于获取切片的鸟瞰图像；

第一可扫描区域判断模块适于对低倍的鸟瞰图像进行处理，通过判断鸟瞰图像的任一像素点对应范围是否可扫描，计算出鸟瞰图像中唯一的可扫描区域或多片的被不可扫描区域分割包围的可扫描区域的范围；

起始扫描点选择模块适于在可扫描区域的范围内选择扫描起始位置；

显微摄像模块适于获取显微视野图像；

第二可扫描区域判断模块适于对获取显微视野图像中的内容进行是否可扫描的判断；

精确定位模块适于通过对显微视野图像中的特征点提取和匹配，获得多幅显微视野图像之间的平面相对关系；

路径规划模块适于在探索可扫描区域的外边界时，按预设规则进行路径规划；还适于穷举所有以显微镜视野当前停留位置为起点的，移动步数为M的扫描路线，并优选出一条扫描路线；

移动控制模块适于根据所述起始扫描点选择模块和路径规划模块输出的路径信息控制外围硬件配合移动。

Images