CN112750078B - 基于面向电动平台的显微图像实时拼接方法及存储介质 - Google Patents
基于面向电动平台的显微图像实时拼接方法及存储介质 Download PDFInfo
- Publication number
- CN112750078B CN112750078B CN202011581745.3A CN202011581745A CN112750078B CN 112750078 B CN112750078 B CN 112750078B CN 202011581745 A CN202011581745 A CN 202011581745A CN 112750078 B CN112750078 B CN 112750078B
- Authority
- CN
- China
- Prior art keywords
- images
- electric platform
- microscopic
- image
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 10
- 230000000694 effects Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 16
- 238000012545 processing Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000001000 micrograph Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010827 pathological analysis Methods 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于面向电动平台的显微图像实时拼接方法及存储介质，所述方法包括：获取切片一局部的拼接局部显微图像；所述获取切片一局部的拼接局部显微图像方法包括：将显微镜对准切片的焦点，控制电动平台移动，依次得到切片一局部的局部显微图像的若干子图像，其中，相邻的两子图像在空间区域上存在重叠；获取重叠区域对应的图像；将各重叠区域对应的图像和非重叠区域对应的图像进行拼接，得到拼接后的切片的局部显微图像；根据所有局部的拼接局部显微图像，得到切片的全景拼接图像。本发明能解决现有显微图像拼接方法对高分辨率显微图像拼接结果存在明显拼接痕迹且拼接效果不稳定的问题。
Description
技术领域
本发明涉及显微图像拼接领域，具体涉及一种基于面向电动平台的显微图像实时拼接方法及存储介质。
背景技术
图像拼接有时又称作为影像拼接，该技术是将多幅相互间存在重叠区域的图像序列进行图像空间匹配对准，将对准后的重叠图像区间进行融合，从而形成一幅包含各图像序列信息的完整、高分辨率的全景图像。在病理分析与疾病研究中，数字显微镜由于高倍率物镜视野范围的局限性，难以直接获得病理切片的全景图像，不利于智能病理分析等技术的进一步发展。传统的图像拼接方法一般只可配准具有较丰富的图像特征的局部图像，并且只考虑将局部图像进行仿射变换后进行简单的图像堆叠处理。但在实际的显微图像拼接应用中，由于镜头与光源制备的工艺限制，大部分显微镜镜头与光源会引入图像变形、视野亮度分布不均匀等问题，并且由于病理切片往往存在大面积的空白区域，因此拼接图像不仅仅存在不同程度、不同部位的变形，还存在较大的空间信息缺失。对于这些情况，如果采用传统的图像拼接方法都是无法解决的，并且传统算法没有考虑到数字显微镜图像高分辨率的成像特点，即只能针对较小分辨率的显微图像进行实时地拼接处理，且拼接效果也较差，对于更高分辨率的显微图像更无法有效的实时拼接处理。
发明内容
鉴于以上技术问题，本发明的目的在于提供一种基于面向电动平台的显微图像实时拼接方法及存储介质，解决现有的图像拼接技术在显微图像拼接应用中拼接效果较差，且无法有效的实时拼接高分辨率的显微图像的问题。
本发明采用以下技术方案：
基于面向电动平台的显微图像实时拼接方法，包括:
获取切片一局部的拼接局部显微图像；
所述获取切片一局部的拼接局部显微图像方法包括：将显微镜对准切片的焦点，控制电动平台移动，依次得到切片一局部的局部显微图像的若干子图像，其中，相邻的两子图像在空间区域上存在重叠；获取各重叠区域的位置，每一重叠区域对应一个或多个子图像；将具有相同重叠区域的位置的子图像在该重叠区域对应的图像进行图像融合，作为该重叠区域对应的图像；将各重叠区域对应的图像和非重叠区域对应的图像进行拼接，得到拼接后的切片的局部显微图像；
对整个切片依次进行扫描，直到扫描完切片的所有局部，根据所有局部的拼接局部显微图像，得到切片的全景拼接图像。
进一步的，获取各重叠区域的位置的步骤包括：
获取扫描整个切片所需电动平台在X轴、Y轴的所有绝对位置，通过显微相机像素与电动平台物理距离的比例换算出一局部的局部显微图像在全景切片图像中的区域位置；
根据局部显微图像基准点的图像位置与局部显微图像在全景切片图像的区域位置，得到局部显微图像间的各重叠区域。
进一步的，获取扫描整个切片所需电动平台在X轴、Y轴的所有绝对位置的步骤包括：
获取电动平台每次移动前的位置、显微相机像素与电动平台物理距离的比例，以及相机平面与电动平台XY平面的偏移夹角；
根据电动平台移动前的位置、显微相机像素与电动平台物理距离的比例，以及相机平面与电动平台XY平面的偏移夹角，计算出电动平台X轴、Y轴要移动的相对位置，从而得到扫描整个切片所需电动平台X轴、Y轴全部的绝对位置。
进一步的，获取显微相机像素与电动平台物理距离的比例，以及相机平面与电动平台XY平面的偏移夹角的步骤包括：
获取显微相机的内参以及显微相机与电动平台的相对位姿；
根据显微相机的内参，以及显微相机与电动平台的相对位姿，计算出显微相机像素与电动平台物理距离的比例和相机平面与电动平台XY平面的偏移夹角。
进一步的，获取显微相机的内参以及显微相机与电动平台的相对位姿的步骤包括：
获取显微标定板；
控制电动平台在Z轴上移动，使显微镜的相机聚焦于显微标定板所在平面，得到第一张标定图像；
固定电动平台的Z轴位置，控制电动平台在X轴依次移动设定距离，得到若干张标定图像；
固定电动平台的Z轴位置，控制电动平台在Y轴依次移动设定距离，得到若干张标定图像；
利用Harris角点算法,定位出所有标定图像中棋盘格角点图像位置，得到各标定图像的格角点图像位置的偏移量；
根据得到各标定图像的顺序以及格角点图像位置的偏移量，匹配出相邻图像角点，得到棋盘各格角点的位置和对应的图像；
根据棋盘各格角点的位置和对应的图像和电动平台提供的物理距离信息的，通过棋盘格标定法计算得到显微相机的内参以及显微相机与电动平台的相对位姿。进一步的，对显微相机得到的所有显微图像进行畸变矫正。
进一步的，对显微相机得到的所有图像进行畸变矫正的步骤包括：通过显微相机的畸变参数，利用径向畸变模型和切向畸变模型对显微图像进行畸变矫正。
进一步的，控制电动平台X轴,Y轴同时移动，使相邻的两子图像在空间区域上的边缘相互平行，且相邻的两子图像存在大于1/2区域重叠。
进一步的，将具有相同重叠区域的位置的子图像在该重叠区域对应的图像进行图像融合，作为该重叠区域对应的图像的步骤包括：
获取具有相同重叠区域的位置的子图像；
将具有相同重叠区域的位置的子图像在该重叠区域对应的图像的像素值取相同的权值进行加权平均，得到该重叠区域对应的图像的像素值。
一种计算机存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时，实现所述的基于面向电动平台的显微图像实时拼接方法。
相比现有技术，本发明的有益效果在于：
本发明可以快速对由于不同原因存在图像变形与亮度不均匀的图像序列进行实时的图像拼接，自动合成一幅高质量的全景切片图像，且算法时间复杂度和空间复杂度都较低，可用较低的硬件成本实现，在显微图像拼接性能、处理速度和性价比等方面均优于现有显微图像拼接方法，能解决现有显微图像拼接方法抗图像变形能力差、空间信息缺失、无法对高分辨率显微图像实时拼接、拼接结果存在明显拼接痕迹、拼接效果不稳定、难以工程实用化的问题。
附图说明
图1为本发明基于面向电动平台的显微图像实时拼接方法实施例一的流程示意图；
图2为本发明基于面向电动平台的显微图像实时拼接方法实施例二的流程示意图；
图3为本发明基于面向电动平台的显微图像实时拼接方法实施例二的步骤S11的流程示意图；
图4为本发明基于面向电动平台的显微图像实时拼接方法实施例二的步骤S14的流程示意图；
图5为本发明基于面向电动平台的显微图像实时拼接方法实施例二的步骤S15流程示意图；
图6为本发明基于面向电动平台的显微图像实时拼接方法提供的一种电子设备实施例三的结构示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例：
实施例一：
本发明的基于面向电动平台的显微图像实时拼接方法，请参照图1所示，包括:
步骤S10:获取切片一局部的拼接局部显微图像；
所述获取切片一局部的拼接局部显微图像方法包括：
步骤S101:将显微镜对准切片的焦点，控制电动平台移动，依次得到切片一局部的局部显微图像的若干子图像，其中，相邻的两子图像在空间区域上存在重叠；
具体的，控制电动平台X轴,Y轴同时移动，使相邻的两子图像在空间区域上的边缘相互平行，且相邻的两子图像存在大于1/2区域重叠。
在上述实现过程中，通过相邻图像的重叠面积在1/2以上，可全面的中和各个局部显微图像的亮度问题，避免拼接痕迹的出现，重构出一幅高质量的切片全景图像。
在本步骤中，对准切片的焦点后，结合显微相机与电动平台的相对位姿，控制电动平台依次移动至切片的各个区域，使各个视野区域空间上存在1/2面积的重叠。本发明采用带有电动平台的显微镜，可实现载物台的精密移动，能提供实时、精确的物理位置反馈；并通过控制移动区域的策略为下面步骤的图像配准、以及图像融合提供基础条件。
步骤S102:获取各重叠区域的位置，每一重叠区域对应一个或多个子图像；将具有相同重叠区域的位置的子图像在该重叠区域对应的图像进行图像融合，作为该重叠区域对应的图像；
具体的，将具有相同重叠区域的位置的子图像在该重叠区域对应的图像进行图像融合，作为该重叠区域对应的图像的步骤包括：
获取具有相同重叠区域的位置的子图像；
将子图像的像素值取相同的权值进行加权平均，得到该重叠区域对应的图像的像素值。
获取各重叠区域的位置的步骤包括：
获取扫描整个切片所需电动平台在X轴、Y轴的所有绝对位置，通过显微相机像素与电动平台物理距离的比例换算出一局部的局部显微图像在全景切片图像中的区域位置；
根据局部显微图像基准点的图像位置与局部显微图像在全景切片图像的区域位置，得到局部显微图像间的各重叠区域。
具体的，获取扫描整个切片所需电动平台在X轴、Y轴的所有绝对位置的步骤包括：
获取电动平台每次移动前的位置、显微相机像素与电动平台物理距离的比例，以及相机平面与电动平台XY平面的偏移夹角；
根据电动平台移动前的位置、显微相机像素与电动平台物理距离的比例，以及相机平面与电动平台XY平面的偏移夹角，计算出电动平台X轴、Y轴要移动的相对位置，从而得到扫描整个切片所需电动平台X轴、Y轴全部的绝对位置。
具体的，获取显微相机像素与电动平台物理距离的比例，以及相机平面与电动平台XY平面的偏移夹角的步骤包括：
获取显微相机的内参以及显微相机与电动平台的相对位姿；
根据显微相机的内参以及显微相机与电动平台的相对位姿，计算出显微相机像素与电动平台物理距离的比例和相机平面与电动平台XY平面的偏移夹角。
具体的，获取显微相机的内参以及显微相机与电动平台的相对位姿的步骤包括：
获取显微标定板；
具体的，显微标定板可采用方格长宽均为10um的棋盘格，棋盘格的行列方格个数可提供根据视野调整，仅需保证在标定过程中视野内均存在棋盘格的方格角点。
控制电动平台在Z轴上移动，使显微镜的相机聚焦于显微标定板所在平面，得到第一张标定图像；
固定电动平台的Z轴位置，控制电动平台在X轴依次移动设定距离，得到若干张标定图像；
具体的，可控制电动平台在X轴依次移动1um，拍摄至少7-8张标定图像。
固定电动平台的Z轴位置，控制电动平台在Y轴依次移动设定距离，得到若干张标定图像；
具体的，可控制电动平台在Y轴依次移动1um，拍摄至少7-8张标定图像。
在具体操作中，可在拼接切片的物镜下，利用电动平台在Z轴上移动，使得显微镜的相机聚焦于显微标定板所在的平面，拍摄第一张标定图像。将采集的第一张标定图像作为基准，以此基准定量的移动电动平台的某个轴，可保证相邻两张标定图像中标定板的角点位移量较小，以方便定位关联。
其中，电动平台在X轴与Y轴上移动的总量均小于单个棋盘格方格的长与宽，以使标定板的角点在标定过程中过滤的角点信息不会过多。
利用Harris角点算法,定位出所有标定图像中棋盘格角点图像位置，得到各标定图像的格角点图像位置的偏移量；
在本步骤中，可通过简单有效的Harris角点算法，计算出标定图像中各个棋盘格角点的图像坐标，以便下面计算显微相机内参与显微相机与电动平台的相对位姿。
在上述实现过程中，由于标定图像间各自仅在电动平台上X轴或Y轴位移固定的1um距离，因此可依据标定图像的顺序以及角点图像位置偏移量，寻找相邻图像角点的匹配关系。
在操作过程中，可去除存在因移动而逐渐离开视野的最外围一圈的角点信息；
通过去除存在因移动而逐渐离开视野的最外围一圈的角点信息，是为了防止部分角点因电动平台移动而移除相机视野，导致无法关联标定图像中的关联角点。
根据得到各标定图像的顺序以及格角点图像位置的偏移量，匹配出相邻图像角点的图像，得到棋盘各格角点的图像；
根据棋盘各格角点的位置和对应的图像和电动平台提供的物理距离信息的，通过棋盘格标定法计算得到显微相机的内参以及显微相机与电动平台的相对位姿。
在上述实现过程中，将过滤后的角点信息以及电动平台提供的物理距离信息，通过张正友棋盘格标定法可计算出显微相机的内参(包括：焦距、像主点坐标、畸变参数)，以及显微相机与电动平台的相对位姿。本发明方法通过采用张正友棋盘格标定法作为机器视觉中常用的相机标定算法，具有计算简单，且容易实施的特性。
步骤S103:将各重叠区域对应的图像和非重叠区域对应的图像进行拼接，得到拼接后的切片的局部显微图像；
其中，对非重叠区域对应的图像拼接时，直接保留两张局部显微图像非重叠区域的像素值。
步骤S20:对整个切片依次进行扫描，直到扫描完切片的所有局部，根据所有局部的拼接局部显微图像，得到切片的全景拼接图像。
作为实施例，本发明的方法还包括：对显微相机得到的所有显微图像进行畸变矫正。
具体的，对显微相机得到的所有图像进行畸变矫正的步骤包括：通过显微相机的畸变参数，利用径向畸变模型和切向畸变模型对显微图像进行畸变矫正。
在上述实现过程中，本发明通过对显微图像先进行畸变矫正转然后对矫正变形后的显微图像在电动平台物理位置反馈参数的辅助下，进行um级别物理校准后再进行融合，能够对多幅存在图像信息缺失与图像变形的显微图像实现高精度的图像配准，并充分考虑到图像亮度的影响，使用加权平均的运算融合局部显微图像的重叠区域，并可全面的中和各个局部显微图像的亮度问题，避免拼接痕迹的出现实现重构出一幅高质量的切片全景图像。
实施例二：
本发明的基于面向电动平台的显微图像实时拼接方法，请参照图2所示，包括：
步骤S11:标定显微相机的内参，以及显微相机与电动平台的相对位姿；
具体的，请参照图3所示，包括以下子步骤：
步骤S111:制备方格长宽均为10um的棋盘格显微标定板；
在本步骤中，棋盘格的行列方格个数可提供根据视野调整，仅需保证在标定过程中视野内均存在棋盘格的方格角点。
步骤S112:在拼接切片的物镜下，利用电动平台在Z轴上移动，使得显微镜的相机聚焦于显微标定板所在的平面，拍摄第一张标定图像；
步骤S113:固定Z轴位置后，控制电动平台在X轴依次移动1um，拍摄至少7-8张标定图像；
步骤S114:固定Z轴位置后，控制电动平台在Y轴依次移动1um，拍摄至少7-8张标定图像；
步骤S115:用Harris角点算法可定位上述采集到的标定图像中棋盘格角点图像位置；
步骤S116:依据标定图像的顺序以及角点图像位置偏移量，寻找相邻图像角点的匹配关系；
在上述实现过程中，由于标定图像间各自仅在电动平台上X轴或Y轴位移固定的1um距离，因此可依据标定图像的顺序以及角点图像位置偏移量，寻找相邻图像角点的匹配关系。
步骤S117:去除存在因移动而逐渐离开视野的最外围一圈的角点信息；
步骤S118:将过滤后的角点信息以及电动平台提供的物理距离信息，通过张正友棋盘格标定法可计算出显微相机的内参，以及显微相机与电动平台的相对位姿。
在上述实现过程中，通过标定显微相机，以及相机与电动平台的相对位姿方法，可解决因显微成像系统镜头工艺局限导致的图像变形问题，使本发明的方法具有抗变形、标定过程简单、大幅度减少标定显微相机程序计算量等优点，同时具有算法简洁、计算复杂度低特点。
步骤S12:将显微相机对准切片的焦点后，结合显微相机与电动平台的相对位姿，控制电动平台依次移动至切片的各个区域，且各个视野区域空间上存在1/2面积的重叠；
在上述实现过程中，通过相邻图像的重叠面积在1/2以上，可全面的中和各个局部显微图像的亮度问题，避免拼接痕迹的出现，重构出一幅高质量的切片全景图像。
步骤S13:通过显微相机的内参矫正图像的变形；
具体的，在每个视野区域内，通过显微相机的内参矫正图像的变形。在本步骤中，可以利用径向畸变模型和切向畸变模型对显微图像进行畸变矫正，从而解决显微图像因镜头制备工艺而导致的图像变形问题。
步骤S14:通过读取的电动平台的物理空间位置，实现高精度的图像配准；
在每个视野区域内，通过读取电动平台的物理空间位置，实现高精度的图像配准。
具体的，请参照图4所示，包括以下子步骤：
步骤S141:扫描整个切片所需电动平台X轴、Y轴全部的绝对位置，通过显微相机像素与电动平台物理距离的比例换算出局部显微图像在全景切片图像中的图像位置；
步骤S142:根据局部显微图像基准点的图像位置，与局部显微图像在全景切片图像的区域位置，可得知局部显微图像间的重叠区域。
在上述实现过程中，本发明利用电动平台物理位移的精确反馈数据，结合显微相机的内部参数，可实现物理上微米级别的图像配准，使本方法具有算法简洁、计算复杂度低，易于工程实现等特点。
步骤S15:对图像中重叠区域进行平均加权运算实现图像融合，并保留非重叠区域的像素值，输出局部拼接图像；
具体的，请参照图5所示，包括以下子步骤：
步骤S151:根据相邻局部显微图像间的重叠区域可获取要进行图像融合运算的两张子图像；
步骤S152:对两张子图像的像素值直接取相同的权值，然后进行加权平均得到融合图像的像素值；
在上述实现过程中，本发明通过在高精度的图像配准基础上，快速对图像重叠区域进行像素加权平均的运算，实现简单与快速的图像融合，具有算法简洁、计算复杂度低，易于工程实现等特点。
步骤S153:直接保留两张局部显微图像非重叠区域的像素值；
步骤S154:得到局部拼接图像。
步骤S16:判断切片是否全部局部显微图像都完成拼接；
步骤S17:根据全部局部显微图像的拼接后得到整个切片的全景拼接图像。
在上述实现过程中，局部拼接图像将随着电动平台重复上述扫描拼接过程，逐步扩大局部拼接图像的图像分辨率，完成全部局部显微图像的拼接后，得到整个切片的全景拼接图像。
本发明的面向电动平台的显微图像实时拼接方法，能快速对由于不同原因存在图像变形与亮度不均匀的图像序列进行实时的图像拼接，自动合成一幅高质量的全景切片图像，由于该算法时间复杂度和空间复杂度都较低，可用较低的硬件成本实现。因此，在显微图像拼接性能、处理速度和性价比等方面均优于现有显微图像拼接方法，能够解决现有显微图像拼接方法抗图像变形能力差、空间信息缺失、无法对高分辨率显微图像实时拼接、拼接结果存在明显拼接痕迹、拼接效果不稳定、难以工程实用化的问题。
实施例三：
图6为本申请实施例提供的一种电子设备的结构示意图，在本申请中可以通过图6所示的示意图来描述用于实现本申请实施例的本发明基于面向电动平台的显微图像实时拼接方法的电子设备100。
如图6所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104，这些组件通过总线系统和/或其它形式的连接机构(未示出)互连。应当注意，图6所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备可以具有图6示出的部分组件，也可以具有图6未示出的其他组件和结构。
所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本申请实施例中(由处理器实现)的功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
本发明还提供一种计算机存储介质，其上存储有计算机程序，本发明的方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在该计算机存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机存储介质不包括电载波信号和电信信号。
对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。
Claims (6)
1.基于面向电动平台的显微图像实时拼接方法，其特征在于，包括：
获取切片一局部的拼接局部显微图像；
所述获取切片一局部的拼接局部显微图像方法包括：将显微镜对准切片的焦点，控制电动平台移动，依次得到切片一局部的局部显微图像的若干子图像，其中，相邻的两子图像在空间区域上存在重叠；获取各重叠区域的位置，每一重叠区域对应一个或多个子图像；将具有相同重叠区域的位置的子图像在该重叠区域对应的图像进行图像融合，作为该重叠区域对应的图像；将各重叠区域对应的图像和非重叠区域对应的图像进行拼接，得到拼接后的切片的局部显微图像；
对整个切片依次进行扫描，直到扫描完切片的所有局部，根据所有局部的拼接局部显微图像，得到切片的全景拼接图像；
所述获取各重叠区域的位置的步骤包括：
获取扫描整个切片所需电动平台在X轴、Y轴的所有绝对位置，通过显微相机像素与电动平台物理距离的比例换算出一局部的局部显微图像在全景切片图像中的区域位置；
根据局部显微图像基准点的图像位置与局部显微图像在全景切片图像的区域位置，得到局部显微图像间的各重叠区域；
所述获取扫描整个切片所需电动平台在X轴、Y轴的所有绝对位置的步骤包括：
获取电动平台每次移动前的位置、显微相机像素与电动平台物理距离的比例，以及相机平面与电动平台XY平面的偏移夹角；
根据电动平台移动前的位置、显微相机像素与电动平台物理距离的比例，以及相机平面与电动平台XY平面的偏移夹角，计算出电动平台X轴、Y轴要移动的相对位置，从而得到扫描整个切片所需电动平台X轴、Y轴全部的绝对位置；
所述获取显微相机像素与电动平台物理距离的比例，以及相机平面与电动平台XY平面的偏移夹角的步骤包括：
获取显微相机的内参以及显微相机与电动平台的相对位姿；
根据显微相机的内参以及显微相机与电动平台的相对位姿，计算出显微相机像素与电动平台物理距离的比例和相机平面与电动平台XY平面的偏移夹角；
所述获取显微相机的内参以及显微相机与电动平台的相对位姿的步骤包括：
获取显微标定板；
控制电动平台在Z轴上移动，使显微镜的相机聚焦于显微标定板所在平面，得到第一张标定图像；
固定电动平台的Z轴位置，控制电动平台在X轴依次移动设定距离，得到若干张标定图像；
固定电动平台的Z轴位置，控制电动平台在Y轴依次移动设定距离，得到若干张标定图像；
利用Harris角点算法，定位出所有标定图像中棋盘格角点图像位置，得到各标定图像的格角点图像位置的偏移量；
根据得到各标定图像的顺序以及格角点图像位置的偏移量，匹配出相邻图像角点，去除最外围一圈的角点信息，得到棋盘各格角点的位置和对应的图像；
根据棋盘各格角点的位置和对应的图像和电动平台提供的物理距离信息，通过棋盘格标定法计算得到显微相机的内参以及显微相机与电动平台的相对位姿。
2.根据权利要求1所述的基于面向电动平台的显微图像实时拼接方法，其特征在于，对显微相机得到的所有显微图像进行畸变矫正。
3.根据权利要求2所述的基于面向电动平台的显微图像实时拼接方法，其特征在于，对显微相机得到的所有图像进行畸变矫正的步骤包括：通过显微相机的畸变参数，利用径向畸变模型和切向畸变模型对显微图像进行畸变矫正。
4.根据权利要求1所述的基于面向电动平台的显微图像实时拼接方法，其特征在于，控制电动平台X轴，Y轴同时移动，使相邻的两子图像在空间区域上的边缘相互平行，且相邻的两子图像存在大于1/2区域重叠。
5.根据权利要求1所述的基于面向电动平台的显微图像实时拼接方法，其特征在于，将具有相同重叠区域的位置的子图像在该重叠区域对应的图像进行图像融合，作为该重叠区域对应的图像的步骤包括：
获取具有相同重叠区域的位置的子图像；
将具有相同重叠区域的位置的子图像在该重叠区域对应的图像的像素值取相同的权值进行加权平均，得到该重叠区域对应的图像的像素值。
6.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器执行时，实现如权利要求1-5任一项所述的基于面向电动平台的显微图像实时拼接方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011581745.3A CN112750078B (zh) | 2020-12-28 | 2020-12-28 | 基于面向电动平台的显微图像实时拼接方法及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011581745.3A CN112750078B (zh) | 2020-12-28 | 2020-12-28 | 基于面向电动平台的显微图像实时拼接方法及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112750078A CN112750078A (zh) | 2021-05-04 |
| CN112750078B true CN112750078B (zh) | 2023-06-02 |
Family
ID=75646358
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011581745.3A Active CN112750078B (zh) | 2020-12-28 | 2020-12-28 | 基于面向电动平台的显微图像实时拼接方法及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112750078B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114049252A (zh) * | 2021-09-27 | 2022-02-15 | 中国科学院自动化研究所 | 一种面向序列切片的扫描电镜三维影像获取系统及方法 |
| CN113706433B (zh) * | 2021-10-28 | 2022-02-08 | 千乘镜像(北京)科技有限公司 | 一种图片合成方法、装置、电子设备及存储介质 |
| CN116978005B (zh) * | 2023-09-22 | 2023-12-19 | 南京凯视迈科技有限公司 | 基于姿态变换的显微镜图像处理系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012076979A1 (en) * | 2010-12-08 | 2012-06-14 | Cognex Corporation | Model-based pose estimation using a non-perspective camera |
| WO2019052534A1 (zh) * | 2017-09-15 | 2019-03-21 | 腾讯科技（深圳）有限公司 | 图像拼接方法及装置、存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102015219971A1 (de) * | 2015-10-14 | 2017-04-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Vorrichtung zum Erstellen einer Mikroskopiepanoramadarstellung |
| CN109191380A (zh) * | 2018-09-10 | 2019-01-11 | 广州鸿琪光学仪器科技有限公司 | 显微图像的拼接方法、装置、计算机设备和存储介质 |
| CN111626933B (zh) * | 2020-05-14 | 2023-10-31 | 湖南国科智瞳科技有限公司 | 一种精准、快速的显微图像拼接方法及系统 |
| CN111626936B (zh) * | 2020-05-22 | 2023-05-12 | 湖南国科智瞳科技有限公司 | 一种显微图像的快速全景拼接方法及系统 |
-
2020
- 2020-12-28 CN CN202011581745.3A patent/CN112750078B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012076979A1 (en) * | 2010-12-08 | 2012-06-14 | Cognex Corporation | Model-based pose estimation using a non-perspective camera |
| WO2019052534A1 (zh) * | 2017-09-15 | 2019-03-21 | 腾讯科技（深圳）有限公司 | 图像拼接方法及装置、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112750078A (zh) | 2021-05-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112750078B (zh) | 基于面向电动平台的显微图像实时拼接方法及存储介质 | |
| CN110197455B (zh) | 二维全景图像的获取方法、装置、设备和存储介质 | |
| JP4779041B2 (ja) | 画像撮影システム、画像撮影方法、および画像撮影プログラム | |
| CN107666546B (zh) | 图像拍摄对位方法和系统 | |
| JP2004343222A (ja) | 画像処理装置 | |
| CN109085695B (zh) | 一种用于平面样本快速对焦拍照的方法 | |
| JP6899894B2 (ja) | パターン検出 | |
| US9652847B2 (en) | Method for calibrating a digital optical imaging system having a zoom system, method for correcting aberrations in a digital optical imaging system having a zoom system, and digital optical imaging system | |
| EP2796916B1 (en) | Image processing device, imaging device, microscope system, image processing method, and image processing program | |
| JP2012026841A (ja) | ステレオ測距装置及びステレオ測距方法 | |
| CN107527336B (zh) | 镜头相对位置标定方法及装置 | |
| EP3026889A1 (en) | Image processing device, image processing method, microscope system, and image processing program | |
| CN109427046B (zh) | 三维测量的畸变校正方法、装置及计算机可读存储介质 | |
| CN112785656A (zh) | 双立体相机的标定方法及装置、电子设备及存储介质 | |
| CN113920205A (zh) | 一种非同轴相机的标定方法 | |
| CN113793266A (zh) | 一种多目机器视觉图像拼接方法、系统及存储介质 | |
| US10656406B2 (en) | Image processing device, imaging device, microscope system, image processing method, and computer-readable recording medium | |
| CN113838137A (zh) | 一种基于tft-lcd获取校正标记位置的方法和系统 | |
| CN114219866A (zh) | 双目结构光三维重建方法、重建系统及重建设备 | |
| CN111047651B (zh) | 畸变图像的矫正方法 | |
| US11302017B2 (en) | Generating composite image from multiple images captured for subject | |
| JP6755737B2 (ja) | 距離測定装置、撮像装置、および距離測定方法 | |
| CN113935900A (zh) | 一种图像拼接方法、装置、系统及存储介质 | |
| CN107403431A (zh) | 自动识别样本拍照区域方法和系统 | |
| KR20000060731A (ko) | 다수의 촬상소자를 이용한 고해상도 촬영 장치의 보정 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |