CN111626933B - 一种精准、快速的显微图像拼接方法及系统 - Google Patents
一种精准、快速的显微图像拼接方法及系统 Download PDFInfo
- Publication number
- CN111626933B CN111626933B CN202010405567.2A CN202010405567A CN111626933B CN 111626933 B CN111626933 B CN 111626933B CN 202010405567 A CN202010405567 A CN 202010405567A CN 111626933 B CN111626933 B CN 111626933B
- Authority
- CN
- China
- Prior art keywords
- local
- microscopic image
- area
- cell
- local microscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 210000004027 cell Anatomy 0.000 claims abstract description 90
- 230000009466 transformation Effects 0.000 claims abstract description 44
- 210000003855 cell nucleus Anatomy 0.000 claims abstract description 41
- 238000013519 translation Methods 0.000 claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 230000001575 pathological effect Effects 0.000 claims description 21
- 238000009792 diffusion process Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000013136 deep learning model Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- WYTGDNHDOZPMIW-RCBQFDQVSA-N alstonine Natural products C1=CC2=C3C=CC=CC3=NC2=C2N1C[C@H]1[C@H](C)OC=C(C(=O)OC)[C@H]1C2 WYTGDNHDOZPMIW-RCBQFDQVSA-N 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000004940 nucleus Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种显微图像拼接方法，包括获取局部显微图像序列；对局部显微图像进行细胞检测，获得细胞分布情况，并估算细胞核的面积大小；根据细胞分布情况，利用基于亮度的归一化互相关特征算法获得相邻局部显微图像的最值重叠区域和平移变换；根据细胞核的面积大小计算最值重叠区域中细胞核面积的重叠率，将重叠率与预先设定的重叠率阈值进行比较，获得平移变换的置信度；根据置信度，通过搜索最小误差路径获得局部显微图像的拼接顺序；根据平移变换，按照拼接顺序逐一将局部显微图像进行拼接。本发明提供的方法实现了显微图像的自动、快速、精准、无缝的拼接，在噪声、模糊和相邻显微图像重叠区域极小的情况下，也可实现无缝、精准的显微拼接。
Description
技术领域
本发明涉及显微图像处理技术领域，尤其是一种精准、快速的显微图像拼接方法及系统。
背景技术
传统显微镜在疾病诊断和病理研究中，存在着操作步骤多、工作量大、资源共享难、不能长期保存等诸多问题，针对上述问题，病理切片的数字化技术应运而生。考虑到高倍率显微镜的视野限制，病理切片的数字化利用显微镜采集切片具有部分重叠的各个局部的图像，通过图像拼接技术，将多个图像组合成一张大尺寸的全景显微图像。
一般来说，显微图像的拼接技术包括两个步骤：计算各个视野下采集图像中重叠区域的相似性；融合各个视野下采集的图像。在现有技术中，显微图像的拼接技术可以分为两类：一是基于特征匹配的显微图像拼接技术；基于特征匹配的显微图像拼接技术首先对相邻图像的重叠区域进行特征提取，常用的特征包括：角点、边线、轮廓等，然后执行特征匹配进行图像配准使相互重叠的区域对齐，最后进行图像的融合得到大尺寸的全景显微图像。基于特征匹配的显微图像拼接技术具有精准高的特点，其缺点是计算复杂，尤其是当相邻图像之间重叠区域很窄时，无法确保检测到足够的特征来跟踪重叠区域，最终导致图像拼接失败；二是基于亮度信息的显微图像拼接技术；基于亮度信息的显微图像拼接技术通过比较相邻图像重叠区域的亮度变化计算重叠区域的相似性，进而实现各个视野下采集图像的全景拼接。该方法的缺点是当各个视野下采集图像的整体亮度不一致时，难以实现精准的图像拼接。
因此，亟需一种计算效率高、拼接精准的显微图像拼接技术。
发明内容
本发明提供一种精准、快速的显微图像拼接方法及系统，用于克服现有技术中显微图像拼接的计算效率低、拼接精度低等缺陷。
为实现上述目的，本发明提出一种精准、快速的显微图像拼接方法，包括：
获取局部显微图像序列，对所述局部显微图像序列中每张局部显微图像进行去噪处理；
对去噪处理后的局部显微图像进行细胞检测，获得局部显微图像中的细胞个数及细胞位置信息，并估算获得细胞核的面积大小；
根据所述局部显微图像中的细胞个数及细胞位置信息，利用基于亮度的归一化互相关特征算法，获得所述局部显微图像中相邻局部显微图像的最值重叠区域和平移变换；
根据所述细胞核的面积大小计算所述最值重叠区域中细胞核面积的重叠率，将所述重叠率与预先设定的重叠率阈值进行比较，获得所述平移变换的置信度；
根据所述置信度，通过搜索最小误差路径获得所述局部显微图像序列中所有局部显微图像的拼接顺序；
根据所述平移变换，按照所述拼接顺序逐一将所述局部显微图像序列中的局部显微图像进行拼接。
为实现上述目的，本发明还提出一种精准、快速的显微图像拼接系统，包括：
图像获取模块，用于获取局部显微图像序列，对所述局部显微图像序列中每张局部显微图像进行去噪处理；
细胞检测模块，用于对去噪处理后的局部显微图像进行细胞检测，获得局部显微图像中的细胞个数及细胞位置信息，并估算获得细胞核的面积大小；
平移变换获取模块，用于根，据所述局部显微图像中的细胞个数及细胞位置信息，利用基于亮度的归一化互相关特征算法，获得所述局部显微图像中相邻局部显微图像的最值重叠区域和平移变换；
置信度获取模块，用于根据所述细胞核的面积大小计算所述最值重叠区域中细胞核面积的重叠率，将所述重叠率与预先设定的重叠率阈值进行比较，获得所述平移变换的置信度；
排序模块，用于根据所述置信度，通过搜索最小误差路径获得所述局部显微图像序列中所有局部显微图像的拼接顺序；
拼接模块，用于根据所述平移变换，按照所述拼接顺序逐一将所述局部显微图像序列中的局部显微图像进行拼接。
与现有技术相比，本发明的有益效果有：
本发明提供的显微图像拼接方法，首先对局部显微图像进行去噪处理用于去除图像中的噪声以突出图像的细节特征；然后对局部显微图像进行细胞检测，以获得局部显微图像的细胞分布情况，使得即使在相邻显微图像重叠区域极小的情况下也可顺利进行下一步骤；再根据局部显微图像的细胞分布情况，利用基于亮度的归一化互相关特征算法计算获得相邻局部显微图像的最值重叠区域和平移变换，由于在前一步已获得局部显微图像中细胞分布情况，因此在当前步骤中可快速、精确地寻找到相邻局部显微图像的重叠区域，然后在该重叠区域内利用基于亮度的归一化互相关特征算法可快速计算获得相邻局部显微图像的最值重叠区域和平移变换，相比直接在整张局部显微图像中进行平移变换的获取，大大减少了计算量、提高了工作效率，此外归一化互相关特征可同时比较归一化图像和原始局部显微图像的亮度变化，以描述归一化图像和原始局部显微图像的线性变化和几何的相似性，使得获得的重叠区域的相似度精度高；接着根据细胞核面积的重叠率获得平移变换的置信度，根据该置信度通过搜索最小误差路径获得局部显微图像的拼接顺序，因为每张显微图像至少有两个相邻的局部显微图像，因此本发明通过搜索最小误差路径获得最优拼接的顺序以使拼接的误差降到最低；最后根据平移变换，按该最优拼接顺序进行拼接。本发明提供的显微图像拼接方法是一种计算效率高的基于亮度的显微图像拼接方法，实现了显微图像的自动、快速、精准、无缝的拼接；此外，在噪声、模糊和相邻显微图像重叠区域极小的情况下，也可实现无缝、精准的显微拼接。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明提供的精准、快速的显微图像拼接方法的流程图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提出一种精准、快速的显微图像拼接方法，如图1所示，包括：
101：获取局部显微图像序列，对局部显微图像序列中每张局部显微图像进行去噪处理；
局部显微图像序列包含若干局部显微图像，若干局部显微图像分别为在病理切片中不同位置拍摄的显微图像。
102：对去噪处理后的局部显微图像进行细胞检测，获得局部显微图像中的细胞个数及细胞位置信息，并估算获得细胞核的面积大小；
103：根据局部显微图像中的细胞个数及细胞位置信息，利用基于亮度的归一化互相关特征算法，获得局部显微图像中相邻局部显微图像的最值重叠区域和平移变换；
通过计算重叠区域的归一化互相关特征，对重叠区域进行相似度评价，该归一化互相关特征可同时比较归一化图像和原始局部显微图像的亮度变化，描述了归一化图像和原始局部显微图像的线性变化和几何的相似性，是一种鲁棒性强的评价方法。
最值重叠区域，即为归一化互相关特征(也就是相似度)最大的重叠区域。
平移变换为在水平方向和在垂直方向上移动的距离。
104：根据细胞核的面积大小计算最值重叠区域中细胞核面积的重叠率，将重叠率与预先设定的重叠率阈值进行比较，获得平移变换的置信度；
重叠率反应最值重叠区域中相邻两张局部显微图像中细胞核面积的重叠情况。
重叠率阈值根据实际需要进行设定。
105：根据置信度，通过搜索最小误差路径获得局部显微图像序列中所有局部显微图像的拼接顺序；
最小误差路径是指：在病理切片的所有局部显微图像中，根据各个相邻局部显微图像的置信度值，找出一条误差最小(累积置信度值最大)的拼接路径，用于优化整个病理切片所有局部视野的对齐。
106：根据平移变换，按照拼接顺序逐一将局部显微图像序列中的局部显微图像进行拼接。
本发明提供的显微图像拼接方法是一种计算效率高的基于亮度的显微图像拼接方法，实现了显微图像的自动、快速、精准、无缝的拼接；此外，在噪声、模糊和相邻显微图像重叠区域极小的情况下，也可实现无缝、精准的显微拼接。
在其中一个实施例中，对于步骤101，获取局部显微图像序列的步骤，包括：
001：对病理切片进行预扫描，确定病理切片的扫描区域；
预扫描以找到病理切片的有效区域和空白区域，有效区域作为病理切片的扫描区域，以提高后续工作的工作效率。
002：根据扫描区域设定显微镜载物台或显微镜物镜的轨迹，以使得在轨迹的每个位置采集的局部显微图像具有最小重叠区域；
最小重叠区域，相邻的视野采集到的局部显微图像需确保有一定的重叠区域才能实现后续局部显微图像的拼接，重叠区域越大后续的拼接约容易进行，但是重叠区域越大将导致局部显微图像的数量越多从而使得工作量显著增加，因此本实施例通过轨迹设计使重叠区域最小，约为5％(指重叠区域面积占整张局部显微图像面积的5％)，而现有的方法中一般为20％。
同时，本实例中基于最小的重叠区域采集各个视野下的局部显微图像，可有效降低局部显微图像中重复细胞特征的量。
003：控制显微镜载物台或显微镜物镜按照所述轨迹进行运动，在每个位置进行自动聚焦并采集当前视野下的局部显微图像，获得多张局部显微图像，并记录每张局部显微图像的位置信息和视野编号，所述多张局部显微图像构成局部显微图像序列。
记录每张局部显微图像的位置信息和视野编号以便后续步骤中快速找到各个局部显微图像的相邻局部显微图像，同时以便在设计拼接顺序的过程中直接将视野编号排序，在拼接过程中按视野编号排序依序拼接并在相应位置信息对应的位置处拼接。
本实施例中，病理切片的扫描区域可以是矩形、圆形，也可以是其他任意的形状。
显微镜载物台或显微镜物镜的轨迹可以是逐行自上而下的蛇形移动轨迹，也可以是逐列自左向右的蛇形移动轨迹。
本实施例的局部显微图像通过便携式病理切片扫描仪采集，便携式病理切片扫描仪是指成本较低、体积较小、操作方便的病理切片扫描仪。这种病理切片扫描仪的目镜通常采用智能手机的摄像头模组，可实现采集视野的快速自动聚焦，物镜采用高放大倍数的显微镜头，且方便拆卸实现镜头更换。此外，便携式病理切片扫描仪可以通过网络连接至电脑、手机、ipad、平板电脑，通过这些设备实现对便携式病理切片扫描仪的控制，并将采集的各个局部显微图像保存在这些设备中，进一步地，通过这些设备也可以连接到云平台，将采集的局部显微图像序列保存在云端并进行远程处理。
在下一个实施例中，对于步骤101，对局部显微图像序列中每张局部显微图像进行去噪处理的步骤，包括：
利用各向异性扩散滤波对局部显微图像序列中每张局部显微图像进行去噪处理；各向异性扩散滤波的计算公式为：
It+1＝It+λ(cNx,y▽N(It)+cSx,y▽S(It)+cEx,y▽E(It)+cWx,y▽W(It)) (1)
式中，It+1为迭代t+1次的局部显微图像；It为迭代t次的局部显微图像；λ为权重系数；▽E(It)、▽S(It)、▽W(It)、▽N(It)分别为东、南、西、北四个方向上的散度；cEx,y、cSx,y、cWx,y、cNx,y分别表示东、南、西、北四个方向上的导热系数。
各向异性扩散滤波，也叫Anisotropic filter，将整张局部显微图像看作一个热量场，每个像素当作热流，热流的流动取决于当前像素与周围像素的关系，如果碰到邻域像素是边缘像素，那么，流动扩散系数会比较小，也就是热流不向邻域像素扩散了，或者扩散减弱了，如果不是边缘像素，那扩散系数向着流动的方向改变，流过的地方也就变的平滑，这样，就在保留边缘的同时，平滑了噪声区域。
通过各向异性扩散滤波对局部显微图像去噪，可有效去除图像噪声以突出图像的细节特征。
本实施例中，对局部显微图像进行去噪处理时设置迭代次数t为12次。
在另一个实施例中，对于步骤102，对去噪处理后的局部显微图像进行细胞检测，获得局部显微图像中的细胞个数及细胞位置信息的步骤，包括：
201-A：利用阈值分割方式对去噪处理后的局部显微图像进行细胞检测，将局部显微图像分割成背景区域和目标区域；
202-A：根据目标区域，获得局部显微图像中的细胞个数及细胞位置信息，并估算获得细胞核的面积大小。
本实施例利用三角法确定分割阈值，原理为：基于局部显微图像的灰度直方图分布，找到灰度直方图分布中最高峰值bmax和最低值bmin，用直线连接该最低值bmin和最高峰值bmax，然后从最低值bmin位置开始计算每个对应的灰度直方图到所述直线的垂直距离，直到最高峰值bmax位置停止，其中最大垂直距离对应的直方图灰度等级即为分割阈值T。
本实施例采用8链码跟踪技术对检测到的细胞二值图像的边缘进行跟踪，获得细胞核区域，统计细胞核区域内像素个数，作为估计的细胞核的面积。
在下一个实施例中，对于步骤102，对去噪处理后的局部显微图像进行细胞检测，获得局部显微图像中的细胞个数及细胞位置信息的步骤，包括：
201-B：利用深度学习方式对去噪处理后的局部显微图像进行细胞检测，将局部显微图像分割成背景区域和目标区域；
202-B：根据目标区域，获得局部显微图像中的细胞个数及细胞位置信息，并估算获得细胞核的面积大小。
其中，利用深度学习方式对去噪处理后的局部显微图像进行细胞检测的步骤包括：
采集大量的局部显微图像样本数据构建训练集，并对局部显微图像进行标记；
构建深度学习模型；
利用训练集对深度学习模型进行训练；
利用训练好的深度学习模型进行局部显微图像的细胞检测。
在另一个实施例中，由于显微镜载物台或显微镜物镜在移动过程中是用步进电机驱动的，因此存在一定的机械误差，在局部显微图像采集过程中，相邻局部显微图像的重叠区域并没有完全对齐，因此，需要确定相邻局部显微图像的重叠区域具有最高相似度时的平移变换，使其在水平和垂直方向上准确对齐。
对于步骤103，根据局部显微图像中的细胞个数及细胞位置信息，利用基于亮度的归一化互相关特征算法，获得局部显微图像中相邻局部显微图像的平移变换的步骤，包括：
301：根据局部显微图像中的细胞个数及细胞位置信息，选择相邻两张局部显微图像包含同一细胞的位置作为移动起始点；
302：在相邻两张局部显微图像中，固定其中一张局部显微图像，从移动起始点开始在水平方向和垂直方向上逐渐移动另一张局部显微图像，并在每个移动位置下利用基于亮度的归一化互相关特征算法计算当前移动位置下相邻两张局部显微图像重叠区域的相似度；
本实施例中，另一张局部显微图像在水平方向上移动的范围是从移动起始点所在的那一行开始到设置的最远搜索行(一般设置为局部显微图像高度的5％)；另一张局部显微图像在垂直方向上移动的范围是从移动起始点所在的那一列开始到设置的最远搜索列(一般设置为局部显微图像宽度的5％)。
当相邻局部显微图像的重叠区域没有细胞时(即重叠区域为病理切片的空白位置)，将水平方向和垂直方向上的移动范围扩展至整个局部显微图像区域，在这种情况下，将计算得到的相似度减2作为该重叠区域最后的相似度，目的在于使未含细胞的重叠区域相似度低于含有细胞的重叠区域的相似度。因为未含细胞的重叠区域拼接难度低，而含细胞的重叠区域拼接难度高，因此优先拼接含有细胞的重叠区域。
303：从相似度中选取最大相似度，最大相似度对应的重叠区域为最值重叠区域，最大相似度对应的另一张局部显微图像在水平方向和垂直方向上移动的距离为相邻两张局部显微图像的平移变换。
在某个实施例中，在每个移动位置下利用基于亮度的归一化互相关特征算法计算当前移动位置下相邻两张局部显微图像重叠区域的相似度，其中，基于亮度的归一化互相关特征算法公式为：
式中，NCCi,j为相邻两张局部显微图像i和j的基于亮度的归一化互相关特征，即相邻两张局部显微图像重叠区域的相似度；M和N分别为在水平方向和在垂直方向上移动的距离；Ii(x,y)和Ij(x,y)分别为第i张和第j张局部显微图像在位置(x,y)处的像素强度；Ei和Ej分别为第i张和第j张局部显微图像的平均像素强度。
在下一个实施例中，对于步骤104中，根据细胞核的面积大小计算最值重叠区域中细胞核面积的重叠率，将重叠率与预先设定的重叠率阈值进行比较，获得平移变换的置信度的步骤，包括：
401：根据细胞核的面积大小计算最值重叠区域中细胞核面积的重叠率；
重叠率＝两个细胞核重叠的像素个数/两个细胞核像素个数总和。
402：将重叠率与预先设定的重叠率阈值进行比较，若重叠率大于重叠率阈值，则将最值重叠区域的相似度作为平移变换的置信度，否则将最值重叠区域的相似度减1作为平移变换的置信度。
由于不管重叠区域的相似度如何，高度相关的重叠区域可能包含不同的目标对象，当高度相关的重叠区域中细胞核面积的重叠率低于设定的重叠率阈值，不论该重叠区域实际的相似度，都认为该重叠区域包含不同的目标对象(即包含不同的细胞)，这样可以很好的处理相邻局部显微图像的重叠区域中没有细胞的情况。例如，病理切片边缘的空白区域。当重叠区域中没有细胞时，两张空白的重叠区域，这种情况下获得最值重叠区域的相似度可能很高，但是这种情况在后续拼接是要避免的，因此设置细胞核面积重叠率，将这种情况下的置信度降低，在后续的路径优化时可避免拼接这种情况。
在另一实施例中，每张局部显微图像至少有两个相邻的显微图像，这意味着任何一个错误的连接可能会导致错位误差，并且因为相邻局部显微图像之间的对齐是沿着一定的拼接顺序进行的，导致上述误差会累积。因此，选择误差最小的路径是很重要的。
对于步骤105，根据置信度，通过搜索最小误差路径获得局部显微图像序列中所有局部显微图像的拼接顺序的步骤，包括：
501：从局部显微图像序列中任一选取一张局部显微图像作为起始拼接图像；
502：寻找起始拼接图像的所有相邻局部显微图像，选择置信度最大的相邻局部显微图像作为第二拼接图像；
503：寻找第二拼接图像的所有相邻局部显微图像，选择置信度最大的相邻局部显微图像作为第三拼接图像；
504：迭代步骤503中的寻找与选择过程，直至获得局部显微图像序列中所有局部显微图像的拼接顺序。
本发明还提出一种精准、快速的显微图像拼接系统，包括：
图像获取模块，用于获取局部显微图像序列，对所述局部显微图像序列中每张局部显微图像进行去噪处理；
细胞检测模块，用于对去噪处理后的局部显微图像进行细胞检测，获得局部显微图像中的细胞个数及细胞位置信息，并估算获得细胞核的面积大小；
平移变换获取模块，用于根据所述局部显微图像中的细胞个数及细胞位置信息，利用基于亮度的归一化互相关特征算法，获得所述局部显微图像中相邻局部显微图像的最值重叠区域和平移变换；
置信度获取模块，用于根据所述细胞核的面积大小计算所述最值重叠区域中细胞核面积的重叠率，将所述重叠率与预先设定的重叠率阈值进行比较，获得所述平移变换的置信度；
排序模块，用于根据所述置信度，通过搜索最小误差路径获得所述局部显微图像序列中所有局部显微图像的拼接顺序；
拼接模块，用于根据所述平移变换，按照所述拼接顺序逐一将所述局部显微图像序列中的局部显微图像进行拼接。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。
Claims (6)
1.一种精准、快速的显微图像拼接方法，其特征在于，包括：
获取局部显微图像序列，对所述局部显微图像序列中每张局部显微图像进行去噪处理；
对去噪处理后的局部显微图像进行细胞检测，获得局部显微图像中的细胞个数及细胞位置信息，并估算获得细胞核的面积大小；
根据所述局部显微图像中的细胞个数及细胞位置信息，利用基于亮度的归一化互相关特征算法，获得所述局部显微图像中相邻局部显微图像的最值重叠区域和平移变换；
根据所述细胞核的面积大小计算所述最值重叠区域中细胞核面积的重叠率，将所述重叠率与预先设定的重叠率阈值进行比较，获得所述平移变换的置信度；
根据所述置信度，通过搜索最小误差路径获得所述局部显微图像序列中所有局部显微图像的拼接顺序；
根据所述平移变换，按照所述拼接顺序逐一将所述局部显微图像序列中的局部显微图像进行拼接；
对所述局部显微图像序列中每张局部显微图像进行去噪处理的步骤，包括：
利用各向异性扩散滤波对所述局部显微图像序列中每张所述局部显微图像进行去噪处理；所述各向异性扩散滤波的计算公式为：
式中，It+1为迭代t+1次的局部显微图像；It为迭代t次的局部显微图像；λ为权重系数；分别为东、南、西、北四个方向上的散度；cEx,y、cSx,y、cWx,y、cNx,y分别表示东、南、西、北四个方向上的导热系数；
根据所述局部显微图像中的细胞个数及细胞位置信息，利用基于亮度的归一化互相关特征算法，获得所述局部显微图像中相邻局部显微图像的平移变换的步骤，包括：
根据所述局部显微图像中的细胞个数及细胞位置信息，选择相邻两张局部显微图像包含同一细胞的位置作为移动起始点；
在相邻两张局部显微图像中，固定其中一张局部显微图像，从所述移动起始点开始在水平方向和垂直方向上逐渐移动另一张局部显微图像，并在每个移动位置下利用基于亮度的归一化互相关特征算法计算当前移动位置下相邻两张局部显微图像重叠区域的相似度；
从所述相似度中选取最大相似度，所述最大相似度对应的重叠区域为最值重叠区域，所述最大相似度对应的另一张局部显微图像在水平方向和垂直方向上移动的距离为相邻两张局部显微图像的平移变换；
在每个移动位置下利用基于亮度的归一化互相关特征算法计算当前移动位置下相邻两张局部显微图像重叠区域的相似度，其中，所述基于亮度的归一化互相关特征算法公式为：
式中，NCCi,j为相邻两张局部显微图像i和j的基于亮度的归一化互相关特征，即相邻两张局部显微图像重叠区域的相似度；M和N分别为在水平方向和在垂直方向上移动的距离；Ii(x,y)和Ij(x,y)分别为第i张和第j张局部显微图像在位置(x,y)处的像素强度；Ei和Ej分别为第i张和第j张局部显微图像的平均像素强度；
根据所述细胞核的面积大小计算所述最值重叠区域中细胞核面积的重叠率，将所述重叠率与预先设定的重叠率阈值进行比较，获得所述平移变换的置信度的步骤，包括：
根据所述细胞核的面积大小计算所述最值重叠区域中细胞核面积的重叠率；
将所述重叠率与预先设定的重叠率阈值进行比较，若所述重叠率大于所述重叠率阈值，则将所述最值重叠区域的相似度作为所述平移变换的置信度，否则将所述最值重叠区域的相似度减1作为所述平移变换的置信度。
2.如权利要求1所述的精准、快速的显微图像拼接方法，其特征在于，获取局部显微图像序列的步骤，包括：
对病理切片进行预扫描，确定所述病理切片的扫描区域；
根据所述扫描区域设定显微镜载物台或显微镜物镜的轨迹，以使得在所述轨迹的每个位置采集的局部显微图像具有最小重叠区域；
控制显微镜载物台或显微镜物镜按照所述轨迹进行运动，在每个位置进行自动聚焦并采集当前视野下的局部显微图像，获得多张局部显微图像，并记录每张局部显微图像的位置信息和视野编号，所述多张局部显微图像构成局部显微图像序列。
3.如权利要求1所述的精准、快速的显微图像拼接方法，其特征在于，对去噪处理后的局部显微图像进行细胞检测，获得局部显微图像中的细胞个数及细胞位置信息的步骤，包括：
利用阈值分割方式对去噪处理后的局部显微图像进行细胞检测，将局部显微图像分割成背景区域和目标区域；
根据所述目标区域，获得局部显微图像中的细胞个数及细胞位置信息，并估算获得细胞核的面积大小。
4.如权利要求1所述的精准、快速的显微图像拼接方法，其特征在于，对去噪处理后的局部显微图像进行细胞检测，获得局部显微图像中的细胞个数及细胞位置信息的步骤，包括：
利用深度学习方式对去噪处理后的局部显微图像进行细胞检测，将局部显微图像分割成背景区域和目标区域；
根据所述目标区域，获得局部显微图像中的细胞个数及细胞位置信息，并估算获得细胞核的面积大小。
5.如权利要求1所述的精准、快速的显微图像拼接方法，其特征在于，根据所述置信度，通过搜索最小误差路径获得所述局部显微图像序列中所有局部显微图像的拼接顺序的步骤，包括：
从所述局部显微图像序列中任一选取一张局部显微图像作为起始拼接图像；
寻找所述起始拼接图像的所有相邻局部显微图像，选择置信度最大的相邻局部显微图像作为第二拼接图像；
寻找所述第二拼接图像的所有相邻局部显微图像，选择置信度最大的相邻局部显微图像作为第三拼接图像；
迭代所述选择与所述选择过程，直至获得所述局部显微图像序列中所有局部显微图像的拼接顺序。
6.一种精准、快速的显微图像拼接系统，其特征在于，包括：
图像获取模块，用于获取局部显微图像序列，对所述局部显微图像序列中每张局部显微图像进行去噪处理；
细胞检测模块，用于对去噪处理后的局部显微图像进行细胞检测，获得局部显微图像中的细胞个数及细胞位置信息，并估算获得细胞核的面积大小；
平移变换获取模块，用于根据所述局部显微图像中的细胞个数及细胞位置信息，利用基于亮度的归一化互相关特征算法，获得所述局部显微图像中相邻局部显微图像的最值重叠区域和平移变换；
置信度获取模块，用于根据所述细胞核的面积大小计算所述最值重叠区域中细胞核面积的重叠率，将所述重叠率与预先设定的重叠率阈值进行比较，获得所述平移变换的置信度；
排序模块，用于根据所述置信度，通过搜索最小误差路径获得所述局部显微图像序列中所有局部显微图像的拼接顺序；
拼接模块，用于根据所述平移变换，按照所述拼接顺序逐一将所述局部显微图像序列中的局部显微图像进行拼接；
图像获取模块还用于利用各向异性扩散滤波对所述局部显微图像序列中每张所述局部显微图像进行去噪处理；所述各向异性扩散滤波的计算公式为：
式中，It+1为迭代t+1次的局部显微图像；It为迭代t次的局部显微图像；λ为权重系数；分别为东、南、西、北四个方向上的散度；cEx,y、cSx,y、cWx,y、cNx,y分别表示东、南、西、北四个方向上的导热系数；
平移变换获取模块还用于根据所述局部显微图像中的细胞个数及细胞位置信息，选择相邻两张局部显微图像包含同一细胞的位置作为移动起始点；
在相邻两张局部显微图像中，固定其中一张局部显微图像，从所述移动起始点开始在水平方向和垂直方向上逐渐移动另一张局部显微图像，并在每个移动位置下利用基于亮度的归一化互相关特征算法计算当前移动位置下相邻两张局部显微图像重叠区域的相似度；
从所述相似度中选取最大相似度，所述最大相似度对应的重叠区域为最值重叠区域，所述最大相似度对应的另一张局部显微图像在水平方向和垂直方向上移动的距离为相邻两张局部显微图像的平移变换；
在每个移动位置下利用基于亮度的归一化互相关特征算法计算当前移动位置下相邻两张局部显微图像重叠区域的相似度，其中，所述基于亮度的归一化互相关特征算法公式为：
式中，NCCi,j为相邻两张局部显微图像i和j的基于亮度的归一化互相关特征，即相邻两张局部显微图像重叠区域的相似度；M和N分别为在水平方向和在垂直方向上移动的距离；Ii(x,y)和Ij(x,y)分别为第i张和第j张局部显微图像在位置(x,y)处的像素强度；Ei和Ej分别为第i张和第j张局部显微图像的平均像素强度；
置信度获取模块还用于根据所述细胞核的面积大小计算所述最值重叠区域中细胞核面积的重叠率；
将所述重叠率与预先设定的重叠率阈值进行比较，若所述重叠率大于所述重叠率阈值，则将所述最值重叠区域的相似度作为所述平移变换的置信度，否则将所述最值重叠区域的相似度减1作为所述平移变换的置信度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010405567.2A CN111626933B (zh) | 2020-05-14 | 2020-05-14 | 一种精准、快速的显微图像拼接方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010405567.2A CN111626933B (zh) | 2020-05-14 | 2020-05-14 | 一种精准、快速的显微图像拼接方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111626933A CN111626933A (zh) | 2020-09-04 |
| CN111626933B true CN111626933B (zh) | 2023-10-31 |
Family
ID=72271032
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010405567.2A Active CN111626933B (zh) | 2020-05-14 | 2020-05-14 | 一种精准、快速的显微图像拼接方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111626933B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111815690B (zh) * | 2020-09-11 | 2020-12-08 | 湖南国科智瞳科技有限公司 | 一种用于显微图像实时拼接的方法、系统和计算机设备 |
| CN112750078B (zh) * | 2020-12-28 | 2023-06-02 | 广州市明美光电技术有限公司 | 基于面向电动平台的显微图像实时拼接方法及存储介质 |
| CN113469863B (zh) * | 2021-06-28 | 2024-04-26 | 平湖莱顿光学仪器制造有限公司 | 一种用于获取显微图像的方法与设备 |
| CN113469864B (zh) * | 2021-06-28 | 2024-05-07 | 平湖莱顿光学仪器制造有限公司 | 一种用于获取显微图像的方法与设备 |
| CN113706433B (zh) * | 2021-10-28 | 2022-02-08 | 千乘镜像(北京)科技有限公司 | 一种图片合成方法、装置、电子设备及存储介质 |
| CN114594038B (zh) * | 2022-05-09 | 2022-08-09 | 天津立中车轮有限公司 | 一种精确测算孔隙率的扫描拼接应用方法 |
| CN115223165B (zh) * | 2022-09-20 | 2022-12-27 | 珠海横琴圣澳云智科技有限公司 | 待判读细胞图像的获取方法和装置 |
| CN116579927B (zh) * | 2023-07-14 | 2023-09-19 | 北京心联光电科技有限公司 | 一种图像拼接方法、装置、设备及存储介质 |
| CN116630164B (zh) * | 2023-07-21 | 2023-09-26 | 中国人民解放军国防科技大学 | 海量显微图像的实时拼接方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2660845A1 (en) * | 2012-05-02 | 2013-11-06 | FEI Company | Charged-particle microscopy with image stitching |
| CN106056118A (zh) * | 2016-06-12 | 2016-10-26 | 合肥工业大学 | 一种用于细胞的识别计数方法 |
| CN108510445A (zh) * | 2018-03-30 | 2018-09-07 | 长沙全度影像科技有限公司 | 一种全景图像拼接方法 |
| CN109584156A (zh) * | 2018-10-18 | 2019-04-05 | 中国科学院自动化研究所 | 显微序列图像拼接方法及装置 |
| CN110494891A (zh) * | 2017-04-14 | 2019-11-22 | 文塔纳医疗系统公司 | 用于拼接的基于分块的局部配准以及全局放置 |
| CN110879999A (zh) * | 2019-11-14 | 2020-03-13 | 武汉兰丁医学高科技有限公司 | 基于手机的微型显微图像采集装置及图像拼接、识别方法 |
| CN111007661A (zh) * | 2019-12-02 | 2020-04-14 | 湖南国科智瞳科技有限公司 | 一种基于深度学习的显微图像自动聚焦方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7256799B2 (en) * | 2001-09-12 | 2007-08-14 | Sanyo Electric Co., Ltd. | Image synthesizer, image synthesis method and computer readable recording medium having image synthesis processing program recorded thereon |
-
2020
- 2020-05-14 CN CN202010405567.2A patent/CN111626933B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2660845A1 (en) * | 2012-05-02 | 2013-11-06 | FEI Company | Charged-particle microscopy with image stitching |
| CN106056118A (zh) * | 2016-06-12 | 2016-10-26 | 合肥工业大学 | 一种用于细胞的识别计数方法 |
| CN110494891A (zh) * | 2017-04-14 | 2019-11-22 | 文塔纳医疗系统公司 | 用于拼接的基于分块的局部配准以及全局放置 |
| CN108510445A (zh) * | 2018-03-30 | 2018-09-07 | 长沙全度影像科技有限公司 | 一种全景图像拼接方法 |
| CN109584156A (zh) * | 2018-10-18 | 2019-04-05 | 中国科学院自动化研究所 | 显微序列图像拼接方法及装置 |
| CN110879999A (zh) * | 2019-11-14 | 2020-03-13 | 武汉兰丁医学高科技有限公司 | 基于手机的微型显微图像采集装置及图像拼接、识别方法 |
| CN111007661A (zh) * | 2019-12-02 | 2020-04-14 | 湖南国科智瞳科技有限公司 | 一种基于深度学习的显微图像自动聚焦方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| 向北海等.一种基于MFAT和ICP的掌纹主线提取和配准算法.模式识别与人工智能.2015,全文. * |
| 张楠.非织造材料大视野显微图像拼接及应用.中国优秀硕士学位论文全文数据库 (工程科技Ⅰ辑).2017,全文. * |
| 李鑫铭 ; 赵磊 ; 邵宝民 ; 王栋 ; .一种新的基于形态学与Yolov3算法的显微镜图像中孢子识别方法.智能计算机与应用.2020,(05),全文. * |
| 许会等.一种曲面药瓶标签校验方法关键技术.沈阳工业大学学报.2018,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111626933A (zh) | 2020-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111626933B (zh) | 一种精准、快速的显微图像拼接方法及系统 | |
| US11769223B2 (en) | Local tile-based registration and global placement for stitching | |
| US9297995B2 (en) | Automatic stereological analysis of biological tissue including section thickness determination | |
| CN107687819B (zh) | 一种快速高精度的光条中心亚像素提取方法 | |
| CN109085113B (zh) | 一种用于宫颈脱落细胞检测装置的自动对焦方法和装置 | |
| CN108470356B (zh) | 一种基于双目视觉的目标对象快速测距方法 | |
| CN109064505B (zh) | 一种基于滑动窗口张量提取的深度估计方法 | |
| WO2017000576A1 (zh) | 非接触式自动对焦方法和装置 | |
| US20070098219A1 (en) | Method and system for filtering, registering, and matching 2.5D normal maps | |
| CN103902953B (zh) | 一种屏幕检测系统及方法 | |
| CN112819845A (zh) | 柔性封装基板轮廓、线宽线距缺陷检测方法及介质和设备 | |
| AU2020272936B2 (en) | Methods and systems for crack detection using a fully convolutional network | |
| CN111105346A (zh) | 基于峰值搜索和灰度模版配准的全扫描显微图像拼接方法 | |
| CN115331245B (zh) | 一种基于图像实例分割的表格结构识别方法 | |
| CN111179170A (zh) | 一种显微血细胞图像快速全景拼接方法 | |
| CN115047610B (zh) | 一种自动拟合显微对焦平面的染色体核型分析装置及方法 | |
| CN115035089A (zh) | 适用于二维脑图像数据的脑解剖结构定位方法 | |
| CN117078726A (zh) | 一种基于边缘提取的异谱图像配准方法 | |
| EP3709258B1 (en) | Generating composite image from multiple images captured for subject | |
| CN110211115B (zh) | 一种基于深度引导元胞自动机的光场显著性检测实现方法 | |
| RU2647645C1 (ru) | Способ устранения швов при создании панорамных изображений из видеопотока кадров в режиме реального времени | |
| US20220076428A1 (en) | Product positioning method | |
| CN115576092A (zh) | 一种光学显微镜智能自动聚焦方法、装置及存储设备 | |
| CN115018751A (zh) | 一种基于贝叶斯密度分析的裂缝检测方法和系统 | |
| CN111260561A (zh) | 一种可用于掩模版缺陷检测的快速多图拼接方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |