CN109752835A - 一种显微镜局部视野的x、y轴定位控制方法及系统 - Google Patents
一种显微镜局部视野的x、y轴定位控制方法及系统 Download PDFInfo
- Publication number
- CN109752835A CN109752835A CN201910225913.6A CN201910225913A CN109752835A CN 109752835 A CN109752835 A CN 109752835A CN 201910225913 A CN201910225913 A CN 201910225913A CN 109752835 A CN109752835 A CN 109752835A
- Authority
- CN
- China
- Prior art keywords
- view image
- field
- axis
- width
- characteristic point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明涉及一种显微镜局部视野的X、Y轴定位控制方法及系统，该方法基于能够带动样片沿X、Y二轴方向进行平移的二维移动机构，包括i、获取第n幅视野图像和进行第n组特征点提取；ii、控制二维移动机构带动样片沿预设的规划路径以预设X、Y轴位移行进值进行移动；获取第n+1幅视野图像和进行第n+1组特征点提取；将第n组特征点与第n+1组特征点进行匹配，获得第n+1幅视野图像相对第n幅视野图像在X、Y轴意义上的实际相对位置信息。通过本发明中的方法和系统的应用，可以不依赖于传统高精度硬件定位。移除了对高精度、大量程机械部件的需求，极大地降低了设备成本，有利于广泛应用。
Description
技术领域
本发明涉及数字化病理学领域，具体涉及一种显微镜局部视野的X、Y轴定位控制方法及系统。
背景技术
自动显微镜(motorized microscope)技术经过十数年发展，已比较成熟。但其中具有全切片扫描(whole slide imaging)功能的型号多基于高精度机械定位的原理，成本极高，限制了其在中低预算需求用户中的广泛应用。
本质而言，自动显微镜和传统的手动显微镜一样通常使用三个自由度移动被观察的样本：X、Y轴水平面移动以及Z轴垂直移动。其中，X、Y轴依赖极高重复精度、高绝对位置测量精度且大行程的直线运动系统。为了满足临床诊断需求，如图1所示，自动显微镜拍摄的通常是物理长宽2厘米、经过40至100放大后的样本切片。由于光学放大会缩小视野，如图2所示，因此必须利用样片移动系统在水平面上移动样片，对每个局部视野进行高分辨率拍摄，再将数百上千个局部视野拼合成一整张数十亿像素的虚拟切片。在此系统中，每个像素对应的物理尺寸仅为几十纳米，为了满足像素级重叠拼合准确，就要求切片移动系统的重复精度与线性度达到几十纳米或更优，加上其行程达到数厘米，如此直线运动系统价格高昂。
并且随着设备使用，硬件系统不可避免出现磨损、老化而导致精度下降，设备有效使用寿命不长。
发明内容
本发明要解决的技术问题是：提出一种在创建完整电子虚拟切片工作中用于替代昂贵的高精度玻片定位移动硬件控制单元的显微镜局部视野的X、Y轴定位控制方法及系统。
本发明为解决上述技术问题提出的技术方案（一）是：一种显微镜局部视野的X、Y轴定位控制方法，该方法基于能够带动样片沿X、Y二轴方向进行平移的二维移动机构，包括以下特征步骤：
i、获取第n幅关于样片的当前局部放大视野的视野图像，对该第n幅视野图像进行第n组特征点提取，所述提取包括获得第n组特征点在该第n幅视野图像中的像素位置坐标信息；
ii、控制二维移动机构带动样片沿预设的规划路径以预设X、Y轴位移行进值进行移动；
获取第n+1幅关于当前局部放大视野处的视野图像，对该第n+1幅视野图像进行第n+1组特征点提取，所述提取包括获得第n+1组特征点在该第n+1幅视野图像中的像素位置坐标信息；
将第n组特征点与第n+1组特征点进行匹配，所述匹配包括识别出第n组特征点和第n+1组特征点中共有的若干特征点，并计算出前述共有特征点从在第n幅视野图像中到在第n+1幅视野图像中的像素位置的移动变化向量信息，根据所述变化向量信息获得第n+1幅视野图像相对所述第n幅视野图像在X、Y轴意义上的实际相对位置信息，所述实际相对位置信息能够在将所述第n+1幅视野图像叠加拼接到所述第n幅视野图像时作拼接位置依据使用；
iii、以所述规划路径信息及所述预设X、Y轴位移行进值为条件，模拟计算出在理论上第n+1幅视野图像应当相对所述第n幅视野图像的理论相对位置信息，将实际相对位置信息与所述理论相对位置信息进行比较，获得出实际移动的误差信息；
iv、根据所述误差信息对所述预设X、Y轴位移行进值进行修正更新，并根据修正后的预设X、Y轴位移行进值信息控制二维移动机构带动样片继续沿预设的规划路径进行移动；
v、重复顺序执行步骤i、ii、iii和iv且每重复执行一次n的值加1，直至在步骤iv中发现规划路径被执行移动完毕时止。
进一步的，在步骤ii中，若所述共有的若干特征点的数量少于预设值时，即时控制二维移动机构带动样片沿预设的规划路径回移，直至所述共有的若干特征点的数量大于或等于预设值时止，将回移过程中最后一次获得的关于样片的局部放大视野图像作为第n+1幅视野图像，并将在本次回移前最后一次获得的图像以及回移过程中非最后一次获得的图像抛弃。
进一步的，所述特征点提取采用自适应门限策略，所述自适应门限策略进行特征点提取时，
在每幅图像内使用SURF或SIFT特征点处理算法，计算每个像素点的特征点显著性，所述显著性的数学含义是这个像素点的Hessian特征矩阵的行列式；
预设特征点数目上限值Kmax以限制计算负荷上限，以及特征显著性最低门限值Tmin以判定是否存在任何可用特征最低门限值Tmin；
将每幅图像割为若干相互重叠的区域，在每个区域检验是否所有像素特征显著性均小于Tmin，也即是否为空白区域；记空白区域数目在总区域数的比例p，进而计算预期的特征点数目Kexp=(1-p)Kmax；
将图像全视野内所有特征显著性为局部极大值的像素坐标按照显著性降序排列，取其前Kexp个为此视野最终特征点集合，使用特征点描述向量记录特征点临近像素点的时频域特性。
进一步的，在计算出共有特征点的像素位置的移动变化向量时，还在所有特征点对的坐标差值向量中取众数，以排除少数匹配错误。
本发明为解决上述技术问题提出的技术方案（二）是：一种显微镜局部视野的X、Y轴定位控制系统，该系统包括显微镜光学单元、连接到显微镜光学单元用于采集局部放大视野的显微摄像头采集模块和能够带动样片沿X、Y二轴方向进行平移的二维移动机构，
还包括X、Y轴定位模块、路径规划模块、中央控制模块、计算机视觉定位模块和X、Y轴控制模块，
所述路径规划模块，用于
根据外部用户输入的采集区域命令规划出样片平扫的规划路径；
所述X、Y轴控制模块，用于
根据从中央控制模块接收的预设X、Y轴位移行进值控制二维移动机构带动样片沿规划路径进行移动；
所述显微摄像头采集模块，用于
在样片位于规划路径起点时先获得一幅关于样片的当前局部放大视野的视野图像，以及在每次二维移动机构带动样片进行移动后都再获得一幅关于样片的当前局部放大视野的视野图像，先获得的视野图像定义为第n幅视野图像，后获得的视野图像定义为第n+1幅视野图像；
所述计算机视觉定位模块，用于
对显微摄像头采集模块连续先后获得的第n幅和第n+1幅视野图像分别进行第n组特征点提取和第n+1组特征点提取，所述提取包括获得第n组特征点和第n+1组特征点分别在第n幅视野图像和第n+1幅视野图像中的像素位置坐标信息，
将第n组特征点与第n+1组特征点进行匹配，所述匹配包括识别出第n组特征点和第n+1组特征点中共有的若干特征点，并计算出前述共有特征点从在第n幅视野图像中到在第n+1幅视野图像中的像素位置的移动变化向量信息，根据所述变化向量信息获得第n+1幅视野图像相对所述第n幅视野图像在X、Y轴意义上的实际相对位置信息，所述实际相对位置信息能够在将所述第n+1幅视野图像叠加拼接到所述第n幅视野图像时作拼接位置依据使用；
X、Y轴定位模块，用于
以所述规划路径信息及所述预设X、Y轴位移行进值为条件，模拟计算出在理论上第n+1幅视野图像应当相对所述第n幅视野图像的理论相对位置信息；
所述中央控制模块，用于
从路径规划模块处获得规划路径信息并向X、Y轴控制模块发送预设X、Y轴位移行进值，
将实际相对位置信息与所述理论相对位置信息进行比较，获得出实际移动的误差信息，根据所述误差信息对所述预设X、Y轴位移行进值进行修正更新，并将修正后的预设X、Y轴位移行进值信息发送给X、Y轴控制模块。
进一步的，若计算机视觉定位模块匹配出的共有的若干特征点的数量少于预设值时，
中央控制模块还用于即时控制二维移动机构带动样片沿预设的规划路径回移，
直至若计算机视觉定位模块即时匹配出的共有的若干特征点的数量大于或等于预设值时止，将回移过程中最后一次获得的关于样片的局部放大视野图像作为第n+1幅视野图像，
计算机视觉定位模块将在本次回移前最后一次获得的图像以及回移过程中非最后一次获得的图像抛弃。
进一步的，所述特征点提取采用自适应门限策略，所述自适应门限策略进行特征点提取时，
在每幅图像内使用SURF或SIFT特征点处理算法，计算每个像素点的特征点显著性，所述显著性的数学含义是这个像素点的Hessian特征矩阵的行列式；
预设特征点数目上限值Kmax以限制计算负荷上限，以及特征显著性最低门限值Tmin以判定是否存在任何可用特征最低门限值Tmin；
将每幅图像割为若干相互重叠的区域，在每个区域检验是否所有像素特征显著性均小于Tmin，也即是否为空白区域；记空白区域数目在总区域数的比例p，进而计算预期的特征点数目Kexp=(1-p)Kmax；
将图像全视野内所有特征显著性为局部极大值的像素坐标按照显著性降序排列，取其前Kexp个为此视野最终特征点集合，使用特征点描述向量记录特征点临近像素点的时频域特性。
进一步的，在计算出共有特征点的像素位置的移动变化向量时，还在所有特征点对的坐标差值向量中取众数，以排除少数匹配错误。
进一步的，所述中央控制模块用于依次将第n+1幅视野图像根据所述实际相对位置信息与第n幅视野图像进行拼接，并在样片平扫结束后将拼接后的整个图像输出。
本发明的有益效果是：
通过本发明中的方法和系统的应用，可以不依赖于传统全局高精度硬件定位。通过使用宽量程、低精度硬件定位与短量程、高精度软件计算定位，移除了对高精度、大量程机械部件的需求，极大地降低了设备成本，有利于广泛应用。
另外，随着设备使用，硬件系统不可避免出现磨损、老化而导致精度下降，但固定且封闭的成像系统质量以及软件计算精度不会下降，因而可以极大延长产品的有效使用寿命。
附图说明
下面结合附图对本发明的显微镜局部视野的X、Y轴定位控制方法及系统作进一步说明。
图1是背景技术中涉及的显微镜的工作状态结构框图；
图2是背景技术中涉及的传统自动显微镜的核心电气系统构架图；
图3是实施例一中方法主要步骤的工作流程图；
图4是图像定位和拼接的原理示意图；
图5是实施例二中系统的结构框图；
图6是二维移动机构的结构示意图。
具体实施方式
实施例
本实施涉及显微镜局部视野的X、Y轴定位控制方法，该方法基于能够带动样片沿X、Y二轴方向进行平移的二维移动机构。
根据图3所示，
如果是针对样片的全局扫描，则需在采集流程开始后通过二维移动机构装载样片（切片）移动到起始位置。如果需针对样片的局部进行扫描，则对应地通过二维移动机构装载样片（切片）移动到相应的起始位置，其中应用到的样片的全局低分辨率图像以及局部视野在该全局低分辨率图像中的定位是现有技术，不再赘述。
在硬件移动就位后，开始扫描，包括以下步骤：
i、获取第n幅关于样片的当前局部放大视野的视野图像，对该第n幅视野图像进行第n组特征点提取，所述提取包括获得第n组特征点在该第n幅视野图像中的像素位置坐标信息。如果是起始幅图像，则n为1——即对位于起始位置时样片的局部放大视野的视野图像。
作为优选的是：所述特征点提取采用自适应门限策略，所述自适应门限策略进行特征点提取时，在每幅图像内使用SURF或SIFT特征点处理算法（现有技术），计算每个像素点的特征点显著性，所述显著性的数学含义是这个像素点的Hessian特征矩阵的行列式。预设特征点数目上限值Kmax以限制计算负荷上限，以及特征显著性最低门限值Tmin以判定是否存在任何可用特征最低门限值Tmin。将每幅图像割为若干相互重叠的区域，在每个区域检验是否所有像素特征显著性均小于Tmin，也即是否为空白区域；记空白区域数目在总区域数的比例p，进而计算预期的特征点数目Kexp=(1-p)Kmax。将图像全视野内所有特征显著性为局部极大值的像素坐标按照显著性降序排列，取其前Kexp个为此视野最终特征点集合，使用特征点描述向量记录特征点临近像素点的时频域特性。
ii、控制二维移动机构带动样片沿预设的规划路径以预设X、Y轴位移行进值进行移动。如果是第一次移动，则预设X、Y轴位移行进值即为事先设置的一个默认值，而之后的第二次或更后次的移动所使用的预设X、Y轴位移行进值是经过修正更新的值，后面会详细说明。
获取第n+1幅关于当前局部放大视野处的视野图像，对该第n+1幅视野图像进行第n+1组特征点提取，所述提取包括获得第n+1组特征点在该第n+1幅视野图像中的像素位置坐标信息。
将第n组特征点与第n+1组特征点进行匹配，所述匹配包括识别出第n组特征点和第n+1组特征点中共有的若干特征点。若在本步骤中所述共有的若干特征点的数量少于预设值时，可以即时控制二维移动机构带动样片沿预设的规划路径回移，直至所述共有的若干特征点的数量大于或等于预设值时止，将回移过程中最后一次获得的关于样片的局部放大视野图像作为第n+1幅视野图像，并将在本次回移前最后一次获得的图像以及回移过程中非最后一次获得的图像抛弃。
计算出前述共有特征点从在第n幅视野图像中到在第n+1幅视野图像中的像素位置的移动变化向量信息，根据所述变化向量信息获得第n+1幅视野图像相对所述第n幅视野图像在X、Y轴意义上的实际相对位置信息，所述实际相对位置信息能够在将所述第n+1幅视野图像叠加拼接到所述第n幅视野图像时作拼接位置依据使用。在本实施例中作为优选的是：在计算出共有特征点的像素位置的移动变化向量时，还在所有特征点对的坐标差值向量中取众数，以排除少数匹配错误。
iii、以所述规划路径信息及所述预设X、Y轴位移行进值为条件，模拟计算出在理论上第n+1幅视野图像应当相对所述第n幅视野图像的理论相对位置信息，将实际相对位置信息与所述理论相对位置信息进行比较，获得出实际移动的误差信息。
iv、根据所述误差信息对所述预设X、Y轴位移行进值进行修正更新。修正更新的目的在于使二维移动机构带到样片的移动趋于合理——即所获得的第幅图像在规划路径上的“分布”趋于“平均”。举例说明：若所获得的第n+1幅图像没有“到达”其在理论上应该所达到的“位置”，则说明二维移动机构的此次移动具有向内的误差，带动样片走的路程“短”了，则应对预设X、Y轴位移行进值进行正向的修正，进一步增加其下次移动的路程，在控制信号层面上表现为进一步增加二维移动机构在某维（轴）上的行进值。反之亦然，不再赘述。总的思路是通过软件的实测结果不断对硬件的移动效果进行校准和调节修正，以达到传统需要通过高精度硬件才能达到的技术效果（移动效果）。
根据修正后的预设X、Y轴位移行进值信息控制二维移动机构带动样片继续沿预设的规划路径进行移动。
v、重复顺序执行步骤i、ii、iii和iv且每重复执行一次n的值加1，直至在步骤iv中发现规划路径被执行移动完毕时止。
实施例二
基于实施例一中方法的技术方案，本实施例涉及一种显微镜局部视野的X、Y轴定位控制系统，该系统包括显微镜光学单元、连接到显微镜光学单元用于采集局部放大视野的显微摄像头采集模块和能够带动样片沿X、Y二轴方向进行平移的二维移动机构。如图6所示，本实施例中的二维平移机构具有X轴电机1，X轴电机1的动力输出轴上连接有X轴丝杠2，丝杠上连接有X轴直线轴承3，直线轴承连接到X轴滑块4。X轴滑块4上设置有Y轴电机5，Y轴电机5的动力输出轴上连接有Y轴丝杠6，Y轴丝杠6上连接有Y轴直线轴承7，Y轴直线轴承7连接到Y轴滑块8。Y轴滑块8上设置有载物台9，载物台9用于放置样品玻片（样片）。X、Y轴电机1、5和X、Y轴丝杠2、6均固定，X、Y轴直线轴承3、7能够在X、Y轴丝杠2、6转动时在其上往复滑动。当然出于不同情况需要，可以采用其它形式的二维移动机构。
系统还包括X、Y轴定位模块、路径规划模块、中央控制模块、计算机视觉定位模块和X、Y轴控制模块。
其中，所述路径规划模块，用于根据外部用户输入的采集区域命令规划出样片平扫的规划路径。外部用户输入的采集区域命令可以采用键盘输入等现有输入技术方法进行。
所述X、Y轴控制模块，用于根据从中央控制模块接收的预设X、Y轴位移行进值控制二维移动机构带动样片沿规划路径进行移动。
所述显微摄像头采集模块，用于在样片位于规划路径起点时先获得一幅关于样片的当前局部放大视野的视野图像，以及在每次二维移动机构带动样片进行移动后都再获得一幅关于样片的当前局部放大视野的视野图像，先获得的视野图像定义为第n幅视野图像，后获得的视野图像定义为第n+1幅视野图像。
所述计算机视觉定位模块，用于对显微摄像头采集模块连续先后获得的第n幅和第n+1幅视野图像分别进行第n组特征点提取和第n+1组特征点提取。所述提取包括获得第n组特征点和第n+1组特征点分别在第n幅视野图像和第n+1幅视野图像中的像素位置坐标信息。如图4所示，将第n组特征点与第n+1组特征点进行匹配，所述匹配包括识别出第n组特征点和第n+1组特征点中共有的若干特征点，并计算出前述共有特征点从在第n幅视野图像中到在第n+1幅视野图像中的像素位置的移动变化向量信息，根据所述变化向量信息获得第n+1幅视野图像相对所述第n幅视野图像在X、Y轴意义上的实际相对位置信息，所述实际相对位置信息能够在将所述第n+1幅视野图像叠加拼接到所述第n幅视野图像时作拼接位置依据使用。
X、Y轴定位模块，用于以所述规划路径信息及所述预设X、Y轴位移行进值为条件，模拟计算出在理论上第n+1幅视野图像应当相对所述第n幅视野图像的理论相对位置信息。
所述中央控制模块，用于从路径规划模块处获得规划路径信息并向X、Y轴控制模块发送预设X、Y轴位移行进值，将实际相对位置信息与所述理论相对位置信息进行比较，获得出实际移动的误差信息，根据所述误差信息对所述预设X、Y轴位移行进值进行修正更新，并将修正后的预设X、Y轴位移行进值信息发送给X、Y轴控制模块。
可以作为优选的是：若计算机视觉定位模块匹配出的共有的若干特征点的数量少于预设值时。中央控制模块还用于即时控制二维移动机构带动样片沿预设的规划路径回移，直至若计算机视觉定位模块即时匹配出的共有的若干特征点的数量大于或等于预设值时止，将回移过程中最后一次获得的关于样片的局部放大视野图像作为第n+1幅视野图像。计算机视觉定位模块将在本次回移前最后一次获得的图像以及回移过程中非最后一次获得的图像抛弃。
可以作为优选的是：所述特征点提取采用自适应门限策略。所述自适应门限策略进行特征点提取时，在每幅图像内使用SURF或SIFT特征点处理算法，计算每个像素点的特征点显著性，所述显著性的数学含义是这个像素点的Hessian特征矩阵的行列式；预设特征点数目上限值Kmax以限制计算负荷上限，以及特征显著性最低门限值Tmin以判定是否存在任何可用特征最低门限值Tmin；将每幅图像割为若干相互重叠的区域，在每个区域检验是否所有像素特征显著性均小于Tmin，也即是否为空白区域；记空白区域数目在总区域数的比例p，进而计算预期的特征点数目Kexp=(1-p)Kmax；将图像全视野内所有特征显著性为局部极大值的像素坐标按照显著性降序排列，取其前Kexp个为此视野最终特征点集合，使用特征点描述向量记录特征点临近像素点的时频域特性。
作为优选的是：在计算出共有特征点的像素位置的移动变化向量时，还在所有特征点对的坐标差值向量中取众数，以排除少数匹配错误。
所述中央控制模块用于依次将第n+1幅视野图像根据所述实际相对位置信息与第n幅视野图像进行拼接，并在样片平扫结束后将拼接后的整个图像输出。
本发明的不局限于上述实施例，本发明的上述各个实施例的技术方案彼此可以交叉组合形成新的技术方案，另外凡采用等同替换形成的技术方案，均落在本发明要求的保护范围内。
Claims (9)
1.一种显微镜局部视野的X、Y轴定位控制方法，该方法基于能够带动样片沿X、Y二轴方向进行平移的二维移动机构，包括以下特征步骤：
i、获取第n幅关于样片的当前局部放大视野的视野图像，对该第n幅视野图像进行第n组特征点提取，所述提取包括获得第n组特征点在该第n幅视野图像中的像素位置坐标信息；
ii、控制二维移动机构带动样片沿预设的规划路径以预设X、Y轴位移行进值进行移动；
获取第n+1幅关于当前局部放大视野处的视野图像，对该第n+1幅视野图像进行第n+1组特征点提取，所述提取包括获得第n+1组特征点在该第n+1幅视野图像中的像素位置坐标信息；
将第n组特征点与第n+1组特征点进行匹配，所述匹配包括识别出第n组特征点和第n+1组特征点中共有的若干特征点，并计算出前述共有特征点从在第n幅视野图像中到在第n+1幅视野图像中的像素位置的移动变化向量信息，根据所述变化向量信息获得第n+1幅视野图像相对所述第n幅视野图像在X、Y轴意义上的实际相对位置信息，所述实际相对位置信息能够在将所述第n+1幅视野图像叠加拼接到所述第n幅视野图像时作拼接位置依据使用；
iii、以所述规划路径信息及所述预设X、Y轴位移行进值为条件，模拟计算出在理论上第n+1幅视野图像应当相对所述第n幅视野图像的理论相对位置信息，将实际相对位置信息与所述理论相对位置信息进行比较，获得出实际移动的误差信息；
iv、根据所述误差信息对所述预设X、Y轴位移行进值进行修正更新，并根据修正后的预设X、Y轴位移行进值信息控制二维移动机构带动样片继续沿预设的规划路径进行移动；
v、重复顺序执行步骤i、ii、iii和iv且每重复执行一次n的值加1，直至在步骤iv中发现规划路径被执行移动完毕时止。
2.根据权利要求1所述显微镜局部视野的X、Y轴定位控制方法，其特征在于：在步骤ii中，若所述共有的若干特征点的数量少于预设值时，即时控制二维移动机构带动样片沿预设的规划路径回移，直至所述共有的若干特征点的数量大于或等于预设值时止，将回移过程中最后一次获得的关于样片的局部放大视野图像作为第n+1幅视野图像，并将在本次回移前最后一次获得的图像以及回移过程中非最后一次获得的图像抛弃。
3.根据权利要求1所述显微镜局部视野的X、Y轴定位控制方法，其特征在于：所述特征点提取采用自适应门限策略，所述自适应门限策略进行特征点提取时，
在每幅图像内使用SURF或SIFT特征点处理算法，计算每个像素点的特征点显著性，所述显著性的数学含义是这个像素点的Hessian特征矩阵的行列式；
预设特征点数目上限值Kmax以限制计算负荷上限，以及特征显著性最低门限值Tmin以判定是否存在任何可用特征最低门限值Tmin；
将每幅图像割为若干相互重叠的区域，在每个区域检验是否所有像素特征显著性均小于Tmin，也即是否为空白区域；记空白区域数目在总区域数的比例p，进而计算预期的特征点数目Kexp=(1-p)Kmax；
将图像全视野内所有特征显著性为局部极大值的像素坐标按照显著性降序排列，取其前Kexp个为此视野最终特征点集合，使用特征点描述向量记录特征点临近像素点的时频域特性。
4.根据权利要求1所述显微镜局部视野的X、Y轴定位控制方法，其特征在于：在计算出共有特征点的像素位置的移动变化向量时，还在所有特征点对的坐标差值向量中取众数，以排除少数匹配错误。
5.一种显微镜局部视野的X、Y轴定位控制系统，该系统包括显微镜光学单元、连接到显微镜光学单元用于采集局部放大视野的显微摄像头采集模块和能够带动样片沿X、Y二轴方向进行平移的二维移动机构，其特征在于：
还包括X、Y轴定位模块、路径规划模块、中央控制模块、计算机视觉定位模块和X、Y轴控制模块，
所述路径规划模块，用于
根据外部用户输入的采集区域命令规划出样片平扫的规划路径；
所述X、Y轴控制模块，用于
根据从中央控制模块接收的预设X、Y轴位移行进值控制二维移动机构带动样片沿规划路径进行移动；
所述显微摄像头采集模块，用于
在样片位于规划路径起点时先获得一幅关于样片的当前局部放大视野的视野图像，以及在每次二维移动机构带动样片进行移动后都再获得一幅关于样片的当前局部放大视野的视野图像，先获得的视野图像定义为第n幅视野图像，后获得的视野图像定义为第n+1幅视野图像；
所述计算机视觉定位模块，用于
对显微摄像头采集模块连续先后获得的第n幅和第n+1幅视野图像分别进行第n组特征点提取和第n+1组特征点提取，所述提取包括获得第n组特征点和第n+1组特征点分别在第n幅视野图像和第n+1幅视野图像中的像素位置坐标信息，
将第n组特征点与第n+1组特征点进行匹配，所述匹配包括识别出第n组特征点和第n+1组特征点中共有的若干特征点，并计算出前述共有特征点从在第n幅视野图像中到在第n+1幅视野图像中的像素位置的移动变化向量信息，根据所述变化向量信息获得第n+1幅视野图像相对所述第n幅视野图像在X、Y轴意义上的实际相对位置信息，所述实际相对位置信息能够在将所述第n+1幅视野图像叠加拼接到所述第n幅视野图像时作拼接位置依据使用；
X、Y轴定位模块，用于
以所述规划路径信息及所述预设X、Y轴位移行进值为条件，模拟计算出在理论上第n+1幅视野图像应当相对所述第n幅视野图像的理论相对位置信息；
所述中央控制模块，用于
从路径规划模块处获得规划路径信息并向X、Y轴控制模块发送预设X、Y轴位移行进值，
将实际相对位置信息与所述理论相对位置信息进行比较，获得出实际移动的误差信息，根据所述误差信息对所述预设X、Y轴位移行进值进行修正更新，并将修正后的预设X、Y轴位移行进值信息发送给X、Y轴控制模块。
6.根据权利要求5所述显微镜局部视野的X、Y轴定位控制系统，其特征在于：
若计算机视觉定位模块匹配出的共有的若干特征点的数量少于预设值时，
中央控制模块还用于即时控制二维移动机构带动样片沿预设的规划路径回移，
直至若计算机视觉定位模块即时匹配出的共有的若干特征点的数量大于或等于预设值时止，将回移过程中最后一次获得的关于样片的局部放大视野图像作为第n+1幅视野图像，
计算机视觉定位模块将在本次回移前最后一次获得的图像以及回移过程中非最后一次获得的图像抛弃。
7.根据权利要求5所述显微镜局部视野的X、Y轴定位控制系统，其特征在于：所述特征点提取采用自适应门限策略，所述自适应门限策略进行特征点提取时，
在每幅图像内使用SURF或SIFT特征点处理算法，计算每个像素点的特征点显著性，所述显著性的数学含义是这个像素点的Hessian特征矩阵的行列式；
预设特征点数目上限值Kmax以限制计算负荷上限，以及特征显著性最低门限值Tmin以判定是否存在任何可用特征最低门限值Tmin；
将每幅图像割为若干相互重叠的区域，在每个区域检验是否所有像素特征显著性均小于Tmin，也即是否为空白区域；记空白区域数目在总区域数的比例p，进而计算预期的特征点数目Kexp=(1-p)Kmax；
将图像全视野内所有特征显著性为局部极大值的像素坐标按照显著性降序排列，取其前Kexp个为此视野最终特征点集合，使用特征点描述向量记录特征点临近像素点的时频域特性。
8.根据权利要求5所述显微镜局部视野的X、Y轴定位控制系统，其特征在于：在计算出共有特征点的像素位置的移动变化向量时，还在所有特征点对的坐标差值向量中取众数，以排除少数匹配错误。
9.根据权利要求5所述显微镜局部视野的X、Y轴定位控制方法，其特征在于：所述中央控制模块用于依次将第n+1幅视野图像根据所述实际相对位置信息与第n幅视野图像进行拼接，并在样片平扫结束后将拼接后的整个图像输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910225913.6A CN109752835B (zh) | 2019-03-25 | 2019-03-25 | 一种显微镜局部视野的x、y轴定位控制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910225913.6A CN109752835B (zh) | 2019-03-25 | 2019-03-25 | 一种显微镜局部视野的x、y轴定位控制方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109752835A true CN109752835A (zh) | 2019-05-14 |
| CN109752835B CN109752835B (zh) | 2021-03-19 |
Family
ID=66409397
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910225913.6A Active CN109752835B (zh) | 2019-03-25 | 2019-03-25 | 一种显微镜局部视野的x、y轴定位控制方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109752835B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110475123A (zh) * | 2019-08-30 | 2019-11-19 | 杭州图谱光电科技有限公司 | 一种用于显微镜视频流的手动实时拼接方法 |
| CN110672608A (zh) * | 2019-10-15 | 2020-01-10 | 南京泰立瑞信息科技有限公司 | 一种全切片扫描路径动态规划方法及系统 |
| CN111080564A (zh) * | 2019-11-11 | 2020-04-28 | 合肥美石生物科技有限公司 | 一种图像处理方法及系统 |
| WO2021093109A1 (zh) * | 2019-11-14 | 2021-05-20 | 武汉兰丁智能医学股份有限公司 | 基于手机的微型显微图像采集装置及图像拼接、识别方法 |
| WO2021093108A1 (zh) * | 2019-11-14 | 2021-05-20 | 武汉兰丁智能医学股份有限公司 | 细胞微型显微图像采集装置及图像识别方法 |
| CN113504635A (zh) * | 2021-07-08 | 2021-10-15 | 南京泰立瑞信息科技有限公司 | 一种透射式超分辨率显微数字成像方法及系统 |
| CN113534435A (zh) * | 2021-07-08 | 2021-10-22 | 南京泰立瑞信息科技有限公司 | 一种景深控制型超分辨率显微数字成像方法及系统 |
| CN114387592A (zh) * | 2022-03-22 | 2022-04-22 | 佛山沧科智能科技有限公司 | 一种复杂背景下字符定位和识别方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101858835A (zh) * | 2009-04-01 | 2010-10-13 | 索尼公司 | 生物图像的呈现装置、呈现方法、程序和呈现系统 |
| CN102023167A (zh) * | 2009-09-16 | 2011-04-20 | 奥林巴斯株式会社 | 图像生成方法以及图像生成装置 |
| US20130266980A1 (en) * | 2012-04-04 | 2013-10-10 | Memorial Sloan-Kettering Cancer Center | System, device, method and computer accessible medium for imaging large areas with microscopic resolution |
| CN104019757A (zh) * | 2014-05-28 | 2014-09-03 | 北京信息科技大学 | 一种光纤阵列纤芯距精密测量方法和系统 |
| CN105122113A (zh) * | 2013-04-19 | 2015-12-02 | 美国樱花检验仪器株式会社 | 用于生成由多个子图像构成的目标体的合成图像的方法 |
| CN105444699A (zh) * | 2015-11-11 | 2016-03-30 | 苏州大学附属儿童医院 | 一种显微操作系统坐标与位移误差检测和补偿的方法 |
| CN107316275A (zh) * | 2017-06-08 | 2017-11-03 | 宁波永新光学股份有限公司 | 一种光流辅助的大尺度显微图像拼接算法 |
| CN108470585A (zh) * | 2018-03-14 | 2018-08-31 | 南京泰立瑞信息科技有限公司 | 一种互动式虚拟切片远程标注方法及系统 |
| US20190080453A1 (en) * | 2017-09-12 | 2019-03-14 | Nantomics, Llc | Few-shot learning based image recognition of whole slide image at tissue level |
-
2019
- 2019-03-25 CN CN201910225913.6A patent/CN109752835B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101858835A (zh) * | 2009-04-01 | 2010-10-13 | 索尼公司 | 生物图像的呈现装置、呈现方法、程序和呈现系统 |
| CN102023167A (zh) * | 2009-09-16 | 2011-04-20 | 奥林巴斯株式会社 | 图像生成方法以及图像生成装置 |
| US20130266980A1 (en) * | 2012-04-04 | 2013-10-10 | Memorial Sloan-Kettering Cancer Center | System, device, method and computer accessible medium for imaging large areas with microscopic resolution |
| CN105122113A (zh) * | 2013-04-19 | 2015-12-02 | 美国樱花检验仪器株式会社 | 用于生成由多个子图像构成的目标体的合成图像的方法 |
| CN104019757A (zh) * | 2014-05-28 | 2014-09-03 | 北京信息科技大学 | 一种光纤阵列纤芯距精密测量方法和系统 |
| CN105444699A (zh) * | 2015-11-11 | 2016-03-30 | 苏州大学附属儿童医院 | 一种显微操作系统坐标与位移误差检测和补偿的方法 |
| CN107316275A (zh) * | 2017-06-08 | 2017-11-03 | 宁波永新光学股份有限公司 | 一种光流辅助的大尺度显微图像拼接算法 |
| US20190080453A1 (en) * | 2017-09-12 | 2019-03-14 | Nantomics, Llc | Few-shot learning based image recognition of whole slide image at tissue level |
| CN108470585A (zh) * | 2018-03-14 | 2018-08-31 | 南京泰立瑞信息科技有限公司 | 一种互动式虚拟切片远程标注方法及系统 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110475123B (zh) * | 2019-08-30 | 2021-08-03 | 杭州图谱光电科技有限公司 | 一种用于显微镜视频流的手动实时拼接方法 |
| CN110475123A (zh) * | 2019-08-30 | 2019-11-19 | 杭州图谱光电科技有限公司 | 一种用于显微镜视频流的手动实时拼接方法 |
| CN110672608A (zh) * | 2019-10-15 | 2020-01-10 | 南京泰立瑞信息科技有限公司 | 一种全切片扫描路径动态规划方法及系统 |
| CN110672608B (zh) * | 2019-10-15 | 2022-04-12 | 南京泰立瑞信息科技有限公司 | 一种全切片扫描路径动态规划方法及系统 |
| CN111080564A (zh) * | 2019-11-11 | 2020-04-28 | 合肥美石生物科技有限公司 | 一种图像处理方法及系统 |
| US20220269060A1 (en) * | 2019-11-14 | 2022-08-25 | Wuhan Landing Intelligence Medical Co., Ltd. | Mobile phone-based miniature microscopic image acquisition device and image stitching and recognition methods |
| WO2021093109A1 (zh) * | 2019-11-14 | 2021-05-20 | 武汉兰丁智能医学股份有限公司 | 基于手机的微型显微图像采集装置及图像拼接、识别方法 |
| WO2021093108A1 (zh) * | 2019-11-14 | 2021-05-20 | 武汉兰丁智能医学股份有限公司 | 细胞微型显微图像采集装置及图像识别方法 |
| US11586028B2 (en) * | 2019-11-14 | 2023-02-21 | Wuhan Landing Intelligence Medical Co., Ltd. | Mobile phone-based miniature microscopic image acquisition device and image stitching and recognition methods |
| US20220292854A1 (en) * | 2019-11-14 | 2022-09-15 | Wuhan Landing Medical High-Tech Co., Ltd. | Miniature microscopic cell image acquisition device and image recognition method |
| CN113504635A (zh) * | 2021-07-08 | 2021-10-15 | 南京泰立瑞信息科技有限公司 | 一种透射式超分辨率显微数字成像方法及系统 |
| CN113534435A (zh) * | 2021-07-08 | 2021-10-22 | 南京泰立瑞信息科技有限公司 | 一种景深控制型超分辨率显微数字成像方法及系统 |
| CN113534435B (zh) * | 2021-07-08 | 2024-03-26 | 南京泰立瑞信息科技有限公司 | 一种景深控制型超分辨率显微数字成像方法及系统 |
| CN113504635B (zh) * | 2021-07-08 | 2024-03-26 | 南京泰立瑞信息科技有限公司 | 一种透射式超分辨率显微数字成像方法及系统 |
| CN114387592A (zh) * | 2022-03-22 | 2022-04-22 | 佛山沧科智能科技有限公司 | 一种复杂背景下字符定位和识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109752835B (zh) | 2021-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109752835A (zh) | 一种显微镜局部视野的x、y轴定位控制方法及系统 | |
| CN106091983B (zh) | 包含扫描方向信息的线结构光视觉测量系统完整标定方法 | |
| CN110826549A (zh) | 基于计算机视觉的巡检机器人仪表图像识别方法及系统 | |
| CN107044821A (zh) | 一种非接触式管类物体的测量方法及系统 | |
| CN110246124A (zh) | 基于深度学习的目标尺寸测量方法及系统 | |
| US11663713B2 (en) | Image generation system | |
| CN110736748A (zh) | 免疫组化核浆染色切片诊断方法及系统 | |
| WO2018053952A1 (zh) | 一种基于场景样本库的影视图像深度提取方法 | |
| CN107578047B (zh) | 电力电缆的偏心度检测方法 | |
| CN110110131B (zh) | 一种基于深度学习与双目立体视觉的飞机线缆支架识别与参数获取方法 | |
| CN111523547B (zh) | 一种3d语义分割的方法及终端 | |
| CN111046843A (zh) | 一种智能驾驶环境下的单目测距方法 | |
| Roberts et al. | Estimating the motion of plant root cells from in vivo confocal laser scanning microscopy images | |
| Kochi et al. | A 3D shape-measuring system for assessing strawberry fruits | |
| CN107462173B (zh) | 基于显微视觉的微动平台位移测量方法及系统 | |
| CN109272575B (zh) | 一种提高数字切片扫描仪建模速度的方法 | |
| CN108470585A (zh) | 一种互动式虚拟切片远程标注方法及系统 | |
| CN114812558A (zh) | 一种结合激光测距的单目视觉无人机自主定位方法 | |
| Zhang et al. | Accurate profile measurement method for industrial stereo-vision systems | |
| CN109636856A (zh) | 基于hog特征融合算子的物体六维度位姿信息联合测量方法 | |
| CN117635421A (zh) | 图像拼接融合的方法及装置 | |
| CN113012238A (zh) | 一种多深度相机快速标定与数据融合的方法 | |
| CN108983702B (zh) | 基于计算机显微视觉切片扫描技术的显微视觉系统的显微视场数字化扩展方法及系统 | |
| CN107478172A (zh) | 基于双目视觉的激光三维曲线轮廓定位投影方法 | |
| CN111121637A (zh) | 一种基于像素编码的光栅位移检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |