CN113256717B - 一种细胞涂片辅助分析方法和系统 - Google Patents

一种细胞涂片辅助分析方法和系统 Download PDF

Info

Publication number
CN113256717B
CN113256717B CN202110501593.XA CN202110501593A CN113256717B CN 113256717 B CN113256717 B CN 113256717B CN 202110501593 A CN202110501593 A CN 202110501593A CN 113256717 B CN113256717 B CN 113256717B
Authority
CN
China
Prior art keywords
image
area
value
roi
matched
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110501593.XA
Other languages
English (en)
Other versions
CN113256717A (zh
Inventor
马琼雄
李梓岚
何海森
苏志豪
陆清航
张庆茂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202110501593.XA priority Critical patent/CN113256717B/zh
Publication of CN113256717A publication Critical patent/CN113256717A/zh
Application granted granted Critical
Publication of CN113256717B publication Critical patent/CN113256717B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1022—Measurement of deformation of individual particles by non-optical means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1024—Counting particles by non-optical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Dispersion Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种细胞涂片辅助分析方法和系统，该方法包括：由显微镜相机进行细胞图像的连续采集；通过方向标识识别可能的拼接方向，对参与拼接的两图进行选取区域和匹配，并通过计算得到匹配结果；根据匹配结果进行图像像素扩展，扩展后在匹配区域内进行像素替换；将拼接过程中得到的图像相对位置信息转化为以坐标方式记录的数值信息，构建图像集中图像的坐标体系；将完成拼接的图像展示给用户，用户可直观看到目前已观测的细胞区域情况；同时根据所得图像坐标体系提供对已检查过的细胞图像区域的再观察，实现在展示当前图像时根据用户触发的方向选项跳转至对应检查过程中该视野四周的图像区域。本发明使用方便，交互性强，运算速度快。

Description

一种细胞涂片辅助分析方法和系统
技术领域
本发明涉及数字图像处理技术和计算机辅助医学检查技术领域，具体涉及一种细胞涂片辅助分析方法和系统。
背景技术
细胞形态学检查是血液病诊断的重要途径，通过对血细胞涂片的形态、类别及数量的统计分析，在多种疾病的诊断具有重要作用。传统对涂片中细胞数目进行分析与计数的方式是：检验员将病人的外周血或骨髓血制成载玻片涂片，经过染色后置于显微镜载物台，观察显微镜目镜视野下细胞的形态，分析其类别并记录数量后根据指定移动方向移动涂片，记录当前视野下细胞类别及数量，重复此过程直至已记录细胞数达到一定数量。
该方法中对检验员专业素质要求高，过程繁琐耗时，且易受主观因素影响分析结果，由于操作显微镜获取一系列细胞图像的过程只受简单的移动方向规则约束，此过程中操作由检验员主观掌控，同时显微镜载物台的移动存在由于机械结构导致的在与移动方向垂直方向上的位置偏移，且在传统显微镜操作中由于载物台移动无记录而使无法记录该次检查观察的区域情况，会导致检验员在操作过程中对显微镜镜下视野的位置判断仅根据操作记忆，存在较大偏差，且较难以在检验过程中或完成后对之前检查过的区域或细胞进行定位及溯源。
同时，若在细胞涂片中存在对某一细胞判断存疑，需要多位检验员核验时，需要对该细胞所在区域进行二次观察，传统方法中在更换检验员或更换显微镜后难以对需核验的细胞所在区域进行精确定位与视野回溯。
随着计算机视觉技术发展，计算机辅助诊断成为发展趋势，在其中从显微镜相机获取细胞图像是计算机辅助诊断的第一步，通过对细胞涂片图像的分析，记录涂片在显微镜镜下移动方向及细胞涂片观察区域，辅助完成细胞形态学检查的细胞识别计数，对提高细胞形态学检查效率及质量有重要意义。
发明内容
有鉴于此，为了解决现有技术中的上述问题，本发明根据显微镜镜下图像位置移动特点提出一种细胞涂片辅助分析方法和系统，使用方便，交互性强，运算速度快。
本发明通过以下技术手段解决上述问题：
一方面，本发明提供一种细胞涂片辅助分析方法，包括如下步骤：
S1、由显微镜相机进行细胞图像的连续采集，通过显微镜拍摄一张细胞图像，选取为源图像，将源图像全图作为源图像待选取区域；
S2、按“自左向右，自上向下”的蛇形扫描规则移动显微镜获取与上一图像视野具有m％重合区域的细胞图像，选取为待匹配原始图像，将待匹配原始图像进行预处理得到待匹配图像；
S3、通过方向标识识别可能的拼接方向，对参与拼接的源图像待选取区域和待匹配图像分别在可能的方向上进行选取区域和卷积匹配，通过多次的卷积匹配直至达到设置值，通过不同方向和选取区域所得结果的比较，得到匹配结果与图像位置关系；
S4、根据所得匹配结果进行图像像素扩展，扩展后在匹配区域内进行像素替换；引入图像集位置标注，将拼接过程中得到的图像相对位置信息转化为以坐标方式记录的数值信息，构建图像集中图像的坐标体系；
S5、将完成拼接的图像展示给用户，用户可直观看到目前已观测的细胞区域情况；同时根据所得图像坐标体系提供对已检查过的细胞图像区域的再观察，实现在展示当前图像时根据用户触发的方向选项跳转至对应检查过程中该视野四周的图像区域。
进一步地，所述细胞涂片辅助分析方法还包括：
S6、当需要对已检测过的区域进行二次检查时，获取当前涂片图像并与图像集图像比较，得到当前视野在图像集中的位置，并且与目标视野的位置比较，得到当前视野与目标视野的相对位置关系，将相对位置关系展现给用户，根据载物台旋钮转动圈数与视野移动的相对比例，计算得到应旋转旋钮的圈数或角度，指引用户移动显微镜载物台，实现图像视野的搜寻与溯源。
进一步地，步骤S1具体包括：
S11：新建一个文件夹，名为图像坐标文件夹，用于储存运行中得到的包含位置信息loc(a,b)的细胞图像集I；
S12：将用户选择的显微镜视野移动方向记录为方向标识d，根据设定的扫描规则，方向标识d为“右”、“左”、“下”中的一种；
S13：通过显微镜拍摄第一张细胞图像I1，选取为源图像f(x,y)，对该图像赋予位置信息loc(a,b)为loc(0,0)并保存于图像坐标文件夹中；
S13：将源图像f(x,y)全图作为源图像待选取区域f1(x,y)。
进一步地，步骤S2具体包括：
S21：按“自左向右，自上向下”的蛇形扫描规则移动显微镜获取与上一图像视野具有m％重合区域的细胞图像，选取为待匹配原始图像g0(x,y)；
S22：获取源图像f(x,y)在YUV颜色空间下的灰度值Y的平均值
Figure BDA0003056635810000031
色差U,V的平均值
Figure BDA0003056635810000032
获取待匹配原始图像g0(x,y)在YUV颜色空间下的灰度值Y的平均值
Figure BDA0003056635810000033
色差U,V的平均值
Figure BDA0003056635810000034
通过通道拆分获取待匹配原始图像g0(x,y)YUV颜色空间下三个颜色参量的数值矩阵Yg(x,y),Ug(x,y),Vg(x,y)，通过下式使修改后的待匹配原始图像g0(x,y)在YUV颜色空间下的三个颜色参量的数值矩阵Y'g(x,y),U'g(x,y),V'g(x,y)的平均值
Figure BDA0003056635810000041
与源图像f(x,y)匹配：
Figure BDA0003056635810000042
Figure BDA0003056635810000043
Figure BDA0003056635810000044
上式指对矩阵中每一个数值进行加减运算；将所得三个颜色参量的数值矩阵Y'g(x,y),U'g(x,y),V'g(x,y)分别作为Y,U,V通道得到预处理后的待匹配图像g(x,y)。
进一步地，步骤S3具体包括：
S31：获取方向标识d，根据方向标识d及S21所述扫描规则得到匹配的两个方向D1，D2：
若方向标识为“右”，D1，D2分别为“右”和“下”；
若方向标识为“左”，D1，D2分别为“左”和“下”；
若方向标识为“下”，D1，D2分别为“左”和“右”；
获取待匹配图像g(x,y)宽和高为Wg,Hg；获取源图像待选取区域f1(x,y)宽和高为Wf1,Hf1；
S32：对待匹配图像g(x,y)，若匹配的方向D1或D2为“左”或“右”，则在方向标识所示方向相反方向上以如下规则选取两个宽度和高度相同的区域roi1(x,y),roi2(x,y)：宽为Wg值十分之一、高度为Hg值二分之一，其中区域roi1(x,y),roi2(x,y)的宽度记为Wroi，高度记为Hroi；若方向标识为“下”，则在方向标识所示方向相反方向上以如下规则选取两个宽度和高度相同的区域roi1(x,y),roi2(x,y)：高度为Hg值十分之一、宽度为Wg值二分之一，其中区域roi1(x,y),roi2(x,y)的宽度记为Wroi，高度记为Hroi；
S33：对源图像待选取区域f1(x,y)，若匹配的方向D1或D2为“左”或“右”，则在方向标识所示方向上按宽度为Wf2，高度为Hf2选取出源图像待选取区域f1(x,y)的选取区域f2(x,y)：
Figure BDA0003056635810000051
Wf2＝min{W1,W2,W3…Wn}
Hf2＝Hf1
式中Wf2计算方式即为Wf1值除以正整数n所得的结果中，能满足不小于七倍Wroi值的最小值；
若方向标识为“下”，则在方向标识所示方向上按宽度为Wf2'，高度为Hf2'选取出源图像待选取区域f1(x,y)选取区域f2(x,y)：
Figure BDA0003056635810000052
Hf2'＝min{H1,H2,H3…Hn}
Wf2'＝Wf1
S34：在两个方向D1，D2中选择一个方向，记为D；在步骤S32所得的待匹配图像g(x,y)两个选取区域roi1(x,y),roi2(x,y)选取一个，记为roi(x,y)；
S35：对区域roi(x,y)通过以下方式选取K*K区域C作为卷积核Conv：
在RGB颜色空间中获取roi(x,y)中每个像素点的RGB三个通道的数值，计算每个像素点的加权颜色特征值，由下式计算得到第j列第k行的像素点的加权颜色特征值Coljk:
Coljk＝0.6*Rjk+0.1*Gjk+0.3*Bjk
式中Rjk，Gjk，Bjk分别为第j列第k行的像素点R、G、B三个通道对应的数值，数值范围为0-255，Coljk为该像素点对应的加权颜色特征值，数值范围为0-255；将区域roi(x,y)中所有像素点的加权颜色特征值构成加权颜色特征矩阵Col；
S36：通过直方图得到卷积核选取区域：
获取加权颜色特征矩阵Col的直方图从而统计各个加权颜色特征值出现的频次，选取直方图中出现频次最接近0.05*Hroi*Wroi的加权颜色特征值为选择值Co，其中Hroi、Wroi为roi(x,y)区域的高度和宽度；
在加权颜色特征矩阵Col中查找加权颜色特征值与选择值Co数值相同的所有像素点，将这些像素点信息构成颜色特征值集合{Coli jk}，该集合的元素Coli jk表达的信息为：该像素的位置信息为第j列第k行，该像素的序号标识为i，i为从1至n的正整数，表示按行、列数“自左向右，自上向下”的方式对集合中元素的排序；
S37：通过以下方式确定卷积核区域及其参数：
在集合{Coli jk}选取未被选取过且序号标识i最小的集合元素Coli jk，得到该元素对应的位置信息(j,k)，选择区域roi(x,y)中左上角为(j,k)，右下角为(j+K-1,k+K-1)的区域为卷积核区域，将该卷积核区域的每个像素的R、G、B三个通道颜色值取倒数，得到卷积核Conv的参数；
若集合{Coli jk}无未被选取过的集合元素Coli jk，则记相似度Sim为0，执行步骤S311；
S38：通过以下方式进行卷积运算得到特征矩阵R：
使用卷积核Conv在选取区域f2(x,y)上滑动，滑动的步长为S，将每次停留区域中的每个像素点对应的RGB颜色空间中3个颜色数值乘以卷积核Conv对应位置上的参数，并相加得到一个数值，该数值作为该区域卷积的结果，所有区域卷积的结果构成特征矩阵R；特征矩阵R的宽WR和高HR与步长S、卷积核Conv的宽K与高K、选取区域f2(x,y)的宽Wf2与高Hf2的关系是：
Figure BDA0003056635810000071
Figure BDA0003056635810000072
S39：进行卷积运算结果的判断：
若特征矩阵R中含有范围在[K*K*3-∈,K*K*3+∈]的数值，则获取数值，按照步骤S36所述构成颜色特征值集合{Coli jk}的方式构成特征值集合{Ri jk}，执行步骤S310，否则返回步骤S37；K*K*3数值为卷积的两个区域完全相同时所得的计算结果，∈为用户设置的阈值；
S310：通过以下方式确定匹配位置：
选取集合{Ri jk}中未被选取过且序号标识最小的元素，得到该元素所对应的卷积运算过程中在选取区域f2(x,y)中的区域，获取该区域，记左上角的坐标位置为(jf,kf)；
将选取区域f2(x,y)中左上角位置为(jf-j,kf-k)，右下角位置为(jf-j+Wroi,kf-k+Hroi)的区域记为待校验区域f3，区域f3的大小与roi(x,y)区域相同，j,k为在步骤S36中对应的Coljk值中的j,k值；
在roi(x,y)区域中选择异于步骤S34所述区域C的N个大小为K*K的区域，分别将其作为卷积核Conv'N，将该卷积核区域的每个像素的R、G、B三个通道颜色值取倒数，得到卷积核Conv'N的参数；
将卷积核Conv'N与其待校验区域f3中对应的同个相对于左上角的位置，相同大小的区域进行卷积运算：在每个像素点对应的RGB颜色空间中3个颜色数值乘以卷积核Conv'N对应位置上的参数，并相加得到一个数值，若该值范围在[K*K*3-∈,K*K*3+∈]之间，则M＝M+1，M为值在范围内的次数标识，K*K*3数值为卷积的两个区域完全相同时所得的计算结果,∈为用户设置的阈值；
对N个大小为K*K的区域执行上述操作后，计算相似度Sim值：
Figure BDA0003056635810000081
相似度大于设置的值X时，执行步骤S311；否则返回步骤S310；
步骤S311：将相似度Sim值记为Simn，n为执行本步骤的次数标记；对步骤S34所述的方向的另一个选取区域、另一个方向对应的两个选取区域分别进行步骤S35至步骤S310，得到另外三个Simn值；
步骤S312：选择四个Simn值中最大的值为匹配结果，记该结果对应于在步骤S310时所得的待校验区域f3为匹配区域fmat，宽和高分别为Wmat,Hmat，匹配区域fmat左上角点在源图像f(x,y)中的坐标为(xmat,ymat)；
获取与该次匹配对应的待匹配图像g(x,y)选取区域roi(x,y)，及roi(x,y)左上角点坐标(xroi,yroi)；
记该结果所对应的方向D'，记为待匹配图像g(x,y)相对源图像f(x,y)方向标识d，D'为D1，D2中的一个；
S313：获取图像坐标文件夹中最后保存图像的位置信息loc(a',b')，根据方向标识d通过下式得到当前待匹配图像g(x,y)的位置信息loc(a,b)：
Figure BDA0003056635810000091
将待匹配图像g(x,y)与其位置信息loc(a,b)保存于图像坐标文件夹中。
进一步地，步骤S4具体包括：
S41：根据步骤S312所得匹配区域左上角点在源图像f(x,y)的坐标(xmat,ymat)、图像g(x,y)选取区域roi左上角点坐标(xroi,yroi)和源图像f(x,y)及待匹配图像g(x,y)进行如下运算：
Figure BDA0003056635810000101
Figure BDA0003056635810000102
Figure BDA0003056635810000103
Figure BDA0003056635810000104
式中expUp,expBe,expLe,expRi分别为计算得到的源图像f(x,y)在上，下，左，右方向上需扩展的像素的数值，Hf,Wf为源图像f(x,y)高和宽，Hg,Wg为待匹配图像g(x,y)的高与宽；
S42：根据扩展像素的数值对源图像f(x,y)进行像素扩展并将扩充区域像素填充为RGB颜色空间(0,0,0)的黑色，得到扩充后的图像，记为背景图像F(x,y)，根据扩展像素的数值更新步骤S312所得的匹配区域fmat、匹配区域左上角点在背景图像F(x,y)的坐标为(xmat',ymat')，并在F(x,y)上对左上角坐标为(xmat'-xroi,ymat'-yroi)，右下角坐标为(xmat'-xroi+Wg,ymat'-yroi+Hg)的矩形区域进行像素替换为g(x,y)，完成一次拼接，将所得拼接后图像记为拼接图像Is；
S43：若用户将此图像所包含区域设置为再次检查区域，则将此图像设置为I0，保存图像I0，则进入步骤S6；
S44：若继续采集图像，则将图像Is记为源图像f(x,y)，将图像Is中在步骤S42里进行像素替换为g(x,y)的区域记为源图像待选取区域f1(x,y)，将源图像f(x,y)、源图像待选取区域f1(x,y)与步骤S312所得方向标识d返回步骤S2；若采集完毕或需要查看图像，则进入步骤S5。
进一步地，S5具体包括：
由图像坐标文件夹中读取图像集I及其坐标信息，展示图像集中最后保存的图像，根据用户触发“上下左右”方向选项A跳转至指定图像，跳转逻辑为：根据触发的方向选项A由当前坐标信息为loc(a1,b1)的图像跳转为坐标信息为loc(a2,b2)的图像，loc(a2,b2)中a2,b2数值由下式得到：
Figure BDA0003056635810000111
若继续采集图像，则将图像Is记为源图像f(x,y)，将图像Is中在步骤S42里进行像素替换为g(x,y)的区域记为源图像待选取区域f1(x,y)，将源图像f(x,y)、源图像待选取区域f1(x,y)与步骤S312所得方向标识d返回步骤S2。
进一步地，S6具体包括：
S61：获取步骤S43所述图像I0，图像I0的宽和高分别为
Figure BDA0003056635810000112
读取图像坐标文件夹中图像集I，获取图像I0的位置信息loc(a0,b0)；
S62：获取显微镜的实时画面Ix，选取Ix画面中央宽度为
Figure BDA0003056635810000113
高度为
Figure BDA0003056635810000114
的区域为Ix1，将Ix1与图像坐标文件夹中图像集I中的图像依次进行步骤S3所述的卷积匹配，当匹配结果的数值在所设区域范围内时，停止匹配，记该图像为Ii,,获取该图像的位置信息loc(ai,bi)；
S63：根据loc(a0,b0)，loc(ai,bi)计算得到当前实时画面Ix与目标区域图像I0的相对位置关系：
若a0<ai,则“向左移动ai-ao个图像视野”；
若a0>ai,则“向右移动a0-ai个图像视野”；
若b0<bi,则“向上移动bi-bo个图像视野”；
若a0>ai,则“向下移动b0-bi个图像视野”；
S64：将相对位置关系展现给用户，根据载物台旋钮转动圈数与视野移动的相对比例，计算得到应旋转旋钮的圈数或角度，指引用户移动显微镜载物台；经过时间t后，返回步骤S62；若用户停止或I0和Ii为同一图像，则完成图像视野的搜寻与溯源。
另一方面，本发明提供一种细胞涂片辅助分析系统，包括：
图像输入模块，其外接显微镜，用于由显微镜相机进行细胞图像的连续采集，通过显微镜拍摄一张细胞图像，选取为源图像，将源图像全图作为源图像待选取区域；按“自左向右，自上向下”的蛇形扫描规则移动显微镜获取与上一图像视野具有m％重合区域的细胞图像，选取为待匹配原始图像，将待匹配原始图像进行预处理得到待匹配图像；
区域匹配模块，用于通过方向标识识别可能的拼接方向，对参与拼接的源图像待选取区域和待匹配图像分别在可能的方向上进行选取区域和卷积匹配，通过多次的卷积匹配直至达到设置值，通过不同方向和选取区域所得结果的比较，得到匹配结果与图像位置关系；
图像拼接模块，用于根据所得匹配结果进行图像像素扩展，扩展后在匹配区域内进行像素替换；引入图像集位置标注，将拼接过程中得到的图像相对位置信息转化为以坐标方式记录的数值信息，构建图像集中图像的坐标体系；
图像应用模块，用于将完成拼接的图像展示给用户，用户可直观看到目前已观测的细胞区域情况；同时根据所得图像坐标体系提供对已检查过的细胞图像区域的再观察，实现在展示当前图像时根据用户触发的方向选项跳转至对应检查过程中该视野四周的图像区域；当需要对已检测过的区域进行二次检查时，获取当前涂片图像并与图像集图像比较，得到当前视野在图像集中的位置，并且与目标视野的位置比较，得到当前视野与目标视野的相对位置关系，将相对位置关系展现给用户，根据载物台旋钮转动圈数与视野移动的相对比例，计算得到应旋转旋钮的圈数或角度，指引用户移动显微镜载物台，实现图像视野的搜寻与溯源。
进一步地，所示图像输入模块具体功能如下：
S11：新建一个文件夹，名为图像坐标文件夹，用于储存运行中得到的包含位置信息loc(a,b)的细胞图像集I；
S12：将用户选择的显微镜视野移动方向记录为方向标识d，根据设定的扫描规则，方向标识d为“右”、“左”、“下”中的一种；
S13：通过显微镜拍摄第一张细胞图像I1，选取为源图像f(x,y)，对该图像赋予位置信息loc(a,b)为loc(0,0)并保存于图像坐标文件夹中；
S13：将源图像f(x,y)全图作为源图像待选取区域f1(x,y)；
S21：按“自左向右，自上向下”的蛇形扫描规则移动显微镜获取与上一图像视野具有m％重合区域的细胞图像，选取为待匹配原始图像g0(x,y)；
S22：获取源图像f(x,y)在YUV颜色空间下的灰度值Y的平均值
Figure BDA0003056635810000131
色差U,V的平均值
Figure BDA0003056635810000132
获取待匹配原始图像g0(x,y)在YUV颜色空间下的灰度值Y的平均值
Figure BDA0003056635810000133
色差U,V的平均值
Figure BDA0003056635810000134
通过通道拆分获取待匹配原始图像g0(x,y)YUV颜色空间下三个颜色参量的数值矩阵Yg(x,y),Ug(x,y),Vg(x,y)，通过下式使修改后的待匹配原始图像g0(x,y)在YUV颜色空间下的三个颜色参量的数值矩阵Y'g(x,y),U'g(x,y),V'g(x,y)的平均值
Figure BDA0003056635810000141
与源图像f(x,y)匹配：
Figure BDA0003056635810000142
Figure BDA0003056635810000143
Figure BDA0003056635810000144
上式指对矩阵中每一个数值进行加减运算；将所得三个颜色参量的数值矩阵Y'g(x,y),U'g(x,y),V'g(x,y)分别作为Y,U,V通道得到预处理后的待匹配图像g(x,y)；
所述区域匹配模块具体功能如下：
S31：获取方向标识d，根据方向标识d及S21所述扫描规则得到匹配的两个方向D1，D2：
若方向标识为“右”，D1，D2分别为“右”和“下”；
若方向标识为“左”，D1，D2分别为“左”和“下”；
若方向标识为“下”，D1，D2分别为“左”和“右”；
获取待匹配图像g(x,y)宽和高为Wg,Hg；获取源图像待选取区域f1(x,y)宽和高为Wf1,Hf1；
S32：对待匹配图像g(x,y)，若匹配的方向D1或D2为“左”或“右”，则在方向标识所示方向相反方向上以如下规则选取两个宽度和高度相同的区域roi1(x,y),roi2(x,y)：宽为Wg值十分之一、高度为Hg值二分之一，其中区域roi1(x,y),roi2(x,y)的宽度记为Wroi，高度记为Hroi；若方向标识为“下”，则在方向标识所示方向相反方向上以如下规则选取两个宽度和高度相同的区域roi1(x,y),roi2(x,y)：高度为Hg值十分之一、宽度为Wg值二分之一，其中区域roi1(x,y),roi2(x,y)的宽度记为Wroi，高度记为Hroi；
S33：对源图像待选取区域f1(x,y)，若匹配的方向D1或D2为“左”或“右”，则在方向标识所示方向上按宽度为Wf2，高度为Hf2选取出源图像待选取区域f1(x,y)的选取区域f2(x,y)：
Figure BDA0003056635810000151
Wf2＝min{W1,W2,W3…Wn}
Hf2＝Hf1
式中Wf2计算方式即为Wf1值除以正整数n所得的结果中，能满足不小于七倍Wroi值的最小值；
若方向标识为“下”，则在方向标识所示方向上按宽度为Wf2'，高度为Hf2'选取出源图像待选取区域f1(x,y)选取区域f2(x,y)：
Figure BDA0003056635810000152
Hf2'＝min{H1,H2,H3…Hn}
Wf2'＝Wf1
S34：在两个方向D1，D2中选择一个方向，记为D；在步骤S32所得的待匹配图像g(x,y)两个选取区域roi1(x,y),roi2(x,y)选取一个，记为roi(x,y)；
S35：对区域roi(x,y)通过以下方式选取K*K区域C作为卷积核Conv：
在RGB颜色空间中获取roi(x,y)中每个像素点的RGB三个通道的数值，计算每个像素点的加权颜色特征值，由下式计算得到第j列第k行的像素点的加权颜色特征值Coljk:
Coljk＝0.6*Rjk+0.1*Gjk+0.3*Bjk
式中Rjk，Gjk，Bjk分别为第j列第k行的像素点R、G、B三个通道对应的数值，数值范围为0-255，Coljk为该像素点对应的加权颜色特征值，数值范围为0-255；将区域roi(x,y)中所有像素点的加权颜色特征值构成加权颜色特征矩阵Col；
S36：通过直方图得到卷积核选取区域：
获取加权颜色特征矩阵Col的直方图从而统计各个加权颜色特征值出现的频次，选取直方图中出现频次最接近0.05*Hroi*Wroi的加权颜色特征值为选择值Co，其中Hroi、Wroi为roi(x,y)区域的高度和宽度；
在加权颜色特征矩阵Col中查找加权颜色特征值与选择值Co数值相同的所有像素点，将这些像素点信息构成颜色特征值集合{Coli jk}，该集合的元素Coli jk表达的信息为：该像素的位置信息为第j列第k行，该像素的序号标识为i，i为从1至n的正整数，表示按行、列数“自左向右，自上向下”的方式对集合中元素的排序；
S37：通过以下方式确定卷积核区域及其参数：
在集合{Coli jk}选取未被选取过且序号标识i最小的集合元素Coli jk，得到该元素对应的位置信息(j,k)，选择区域roi(x,y)中左上角为(j,k)，右下角为(j+K-1,k+K-1)的区域为卷积核区域，将该卷积核区域的每个像素的R、G、B三个通道颜色值取倒数，得到卷积核Conv的参数；
若集合{Coli jk}无未被选取过的集合元素Coli jk，则记相似度Sim为0，执行步骤S311；
S38：通过以下方式进行卷积运算得到特征矩阵R：
使用卷积核Conv在选取区域f2(x,y)上滑动，滑动的步长为S，将每次停留区域中的每个像素点对应的RGB颜色空间中3个颜色数值乘以卷积核Conv对应位置上的参数，并相加得到一个数值，该数值作为该区域卷积的结果，所有区域卷积的结果构成特征矩阵R；特征矩阵R的宽WR和高HR与步长S、卷积核Conv的宽K与高K、选取区域f2(x,y)的宽Wf2与高Hf2的关系是：
Figure BDA0003056635810000171
Figure BDA0003056635810000172
S39：进行卷积运算结果的判断：
若特征矩阵R中含有范围在[K*K*3-∈,K*K*3+∈]的数值，则获取数值，按照步骤S36所述构成颜色特征值集合{Coli jk}的方式构成特征值集合{Ri jk}，执行步骤S310，否则返回步骤S37；K*K*3数值为卷积的两个区域完全相同时所得的计算结果，∈为用户设置的阈值；
S310：通过以下方式确定匹配位置：
选取集合{Ri jk}中未被选取过且序号标识最小的元素，得到该元素所对应的卷积运算过程中在选取区域f2(x,y)中的区域，获取该区域，记左上角的坐标位置为(jf,kf)；
将选取区域f2(x,y)中左上角位置为(jf-j,kf-k)，右下角位置为(jf-j+Wroi,kf-k+Hroi)的区域记为待校验区域f3，区域f3的大小与roi(x,y)区域相同，j,k为在步骤S36中对应的Coljk值中的j,k值；
在roi(x,y)区域中选择异于步骤S34所述区域C的N个大小为K*K的区域，分别将其作为卷积核Conv'N，将该卷积核区域的每个像素的R、G、B三个通道颜色值取倒数，得到卷积核Conv'N的参数；
将卷积核Conv'N与其待校验区域f3中对应的同个相对于左上角的位置，相同大小的区域进行卷积运算：在每个像素点对应的RGB颜色空间中3个颜色数值乘以卷积核Conv'N对应位置上的参数，并相加得到一个数值，若该值范围在[K*K*3-∈,K*K*3+∈]之间，则M＝M+1，M为值在范围内的次数标识，K*K*3数值为卷积的两个区域完全相同时所得的计算结果,∈为用户设置的阈值；
对N个大小为K*K的区域执行上述操作后，计算相似度Sim值：
Figure BDA0003056635810000181
相似度大于设置的值X时，执行步骤S311；否则返回步骤S310；
步骤S311：将相似度Sim值记为Simn，n为执行本步骤的次数标记；对步骤S34所述的方向的另一个选取区域、另一个方向对应的两个选取区域分别进行步骤S35至步骤S310，得到另外三个Simn值；
步骤S312：选择四个Simn值中最大的值为匹配结果，记该结果对应于在步骤S310时所得的待校验区域f3为匹配区域fmat，宽和高分别为Wmat,Hmat，匹配区域fmat左上角点在源图像f(x,y)中的坐标为(xmat,ymat)；
获取与该次匹配对应的待匹配图像g(x,y)选取区域roi(x,y)，及roi(x,y)左上角点坐标(xroi,yroi)；
记该结果所对应的方向D'，记为待匹配图像g(x,y)相对源图像f(x,y)方向标识d，D'为D1，D2中的一个；
S313：获取图像坐标文件夹中最后保存图像的位置信息loc(a',b')，根据方向标识d通过下式得到当前待匹配图像g(x,y)的位置信息loc(a,b)：
Figure BDA0003056635810000191
将待匹配图像g(x,y)与其位置信息loc(a,b)保存于图像坐标文件夹中；
所述图像拼接模块的具体功能如下：
S41：根据步骤S312所得匹配区域左上角点在源图像f(x,y)的坐标(xmat,ymat)、图像g(x,y)选取区域roi左上角点坐标(xroi,yroi)和源图像f(x,y)及待匹配图像g(x,y)进行如下运算：
Figure BDA0003056635810000201
Figure BDA0003056635810000202
Figure BDA0003056635810000203
Figure BDA0003056635810000204
式中expUp,expBe,expLe,expRi分别为计算得到的源图像f(x,y)在上，下，左，右方向上需扩展的像素的数值，Hf,Wf为源图像f(x,y)高和宽，Hg,Wg为待匹配图像g(x,y)的高与宽；
S42：根据扩展像素的数值对源图像f(x,y)进行像素扩展并将扩充区域像素填充为RGB颜色空间(0,0,0)的黑色，得到扩充后的图像，记为背景图像F(x,y)，根据扩展像素的数值更新步骤S312所得的匹配区域fmat、匹配区域左上角点在背景图像F(x,y)的坐标为(xmat',ymat')，并在F(x,y)上对左上角坐标为(xmat'-xroi,ymat'-yroi)，右下角坐标为(xmat'-xroi+Wg,ymat'-yroi+Hg)的矩形区域进行像素替换为g(x,y)，完成一次拼接，将所得拼接后图像记为拼接图像Is；
S43：若用户将此图像所包含区域设置为再次检查区域，则将此图像设置为I0，保存图像I0，则进入图像应用模块的图像视野搜寻溯源的功能；
S44：若继续采集图像，则将图像Is记为源图像f(x,y)，将图像Is中在步骤S42里进行像素替换为g(x,y)的区域记为源图像待选取区域f1(x,y)，将源图像f(x,y)、源图像待选取区域f1(x,y)与步骤S312所得方向标识d返回图像输入模块的获得待匹配图像的功能；若采集完毕或需要查看图像，则进入图像应用模块的全图观察和图像集坐标体系的功能；
所述图像应用模块的全图观察和图像集坐标体系的功能包括：
由图像坐标文件夹中读取图像集I及其坐标信息，展示图像集中最后保存的图像，根据用户触发“上下左右”方向选项A跳转至指定图像，跳转逻辑为：根据触发的方向选项A由当前坐标信息为loc(a1,b1)的图像跳转为坐标信息为loc(a2,b2)的图像，loc(a2,b2)中a2,b2数值由下式得到：
Figure BDA0003056635810000211
若继续采集图像，则将图像Is记为源图像f(x,y)，将图像Is中在步骤S42里进行像素替换为g(x,y)的区域记为源图像待选取区域f1(x,y)，将源图像f(x,y)、源图像待选取区域f1(x,y)与步骤S312所得方向标识d返回图像输入模块的获得待匹配图像的功能；
所述图像应用模块的图像视野搜寻溯源的功能包括：
S61：获取步骤S43所述图像I0，图像I0的宽和高分别为
Figure BDA0003056635810000212
读取图像坐标文件夹中图像集I，获取图像I0的位置信息loc(a0,b0)；
S62：获取显微镜的实时画面Ix，选取Ix画面中央宽度为
Figure BDA0003056635810000213
高度为
Figure BDA0003056635810000214
的区域为Ix1，将Ix1与图像坐标文件夹中图像集I中的图像依次进行步骤S3所述的卷积匹配，当匹配结果的数值在所设区域范围内时，停止匹配，记该图像为Ii,,获取该图像的位置信息loc(ai,bi)；
S63：根据loc(a0,b0)，loc(ai,bi)计算得到当前实时画面Ix与目标区域图像I0的相对位置关系：
若a0<ai,则“向左移动ai-ao个图像视野”；
若a0>ai,则“向右移动a0-ai个图像视野”；
若b0<bi,则“向上移动bi-bo个图像视野”；
若a0>ai,则“向下移动b0-bi个图像视野”；
S64：将相对位置关系展现给用户，根据载物台旋钮转动圈数与视野移动的相对比例，计算得到应旋转旋钮的圈数或角度，指引用户移动显微镜载物台；经过时间t后，返回步骤S62；若用户停止或I0和Ii为同一图像，则完成图像视野的搜寻与溯源。
与现有技术相比，本发明的有益效果至少包括：
本发明根据显微镜下细胞涂片图像在移动过程中的特点，基于图像匹配技术实现对细胞图像在移动过程中的实时拼接，在拼接过程中进行对可能重合区域进行选取与检测，减小运算量和提高运行速度；根据细胞涂片图像中细胞与外界环境颜色存在差异的特点，通过直方图选取特定区域作为卷积核区域，提高卷积结果的有效性；引入对图像在同一批次采集的图像集中相对位置标定的功能，实现对显微镜采集的系列涂片图像的位置回溯；为传统手动显微镜提供视野移动记录，实现对已扫描分析区域的可视化观测及溯源，提供直观了解已观测过区域位置情况及当前视野在已扫描过区域中的位置的途径；利用构建的图像集及其图像间的位置信息提供细胞涂片中需要再次检测的特定区域的搜寻与溯源的方法，采用本发明的方法，可减少因扫描分析过程中视野不规则移动导致的细胞形态学检查漏检、重复检查情况产生，可在分析过程中随时对已扫描的区域进行回看和定位，可辅助实现多人多次在不同时间对同一区域的观察，提高细胞形态学检查的质量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明细胞涂片辅助分析方法的流程图；
图2是本发明图像匹配示意图；
图3是本发明具体执行过程中显示细胞涂片图像的流程示意图；
图4是本发明具体执行过程中卷积匹配的过程示意图；其中(a)为roi(x,y)区域及其加权颜色特征值直方图；(b)为卷积核区域在roi(x,y)(局部)中的位置示意图及卷积核参数示意图；(c)为f3在f2(x,y)中的位置示意图及S310步骤示意图；
图5是本发明细胞涂片辅助分析系统的模块结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合附图和具体的实施例对本发明的技术方案进行详细说明。需要指出的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1所示，本发明提供一种细胞涂片辅助分析方法，包括如下步骤：
步骤S1：建立文件夹，并进行参数初始化，获取第一张细胞图像；
S11：新建一个文件夹，名为图像坐标文件夹，用于储存系统运行中得到的包含位置信息loc(a,b)的细胞图像集I；
S12：将用户选择的显微镜视野移动方向记录为方向标识d，根据下述所设定的扫描规则，方向标识d为“右”、“左”、“下”中的一种；
S13：通过显微镜拍摄第一张细胞图像I1，选取为源图像f(x,y)，对该图像赋予位置信息loc(a,b)为loc(0,0)并保存于图像坐标文件夹中；
S13：将源图像f(x,y)全图作为源图像待选取区域f1(x,y)；
步骤S2：图像集获取和待匹配原始图像g0(x,y)的预处理；
S21：按“自左向右，自上向下”的蛇形扫描规则移动显微镜获取与上一图像视野具有m％重合区域的细胞图像，选取为待匹配原始图像g0(x,y)；
S22：获取源图像f(x,y)在YUV颜色空间下的灰度值Y的平均值
Figure BDA0003056635810000241
色差U,V的平均值
Figure BDA0003056635810000242
获取待匹配原始图像g0(x,y)在YUV颜色空间下的灰度值Y的平均值
Figure BDA0003056635810000243
色差U,V的平均值
Figure BDA0003056635810000244
通过通道拆分获取待匹配原始图像g0(x,y)YUV颜色空间下三个颜色参量的数值矩阵Yg(x,y),Ug(x,y),Vg(x,y)，通过下式使修改后的待匹配原始图像g0(x,y)在YUV颜色空间下的三个颜色参量的数值矩阵Y'g(x,y),U'g(x,y),V'g(x,y)的平均值
Figure BDA0003056635810000245
与源图像f(x,y)匹配：
Figure BDA0003056635810000246
Figure BDA0003056635810000247
Figure BDA0003056635810000248
上式指对矩阵中每一个数值进行加减运算；将所得三个颜色参量的数值矩阵Y'g(x,y),U'g(x,y),V'g(x,y)分别作为Y,U,V通道得到预处理后的待匹配图像g(x,y)；如图3(a)所示；
步骤S3：对步骤S13所得的源图像待选取区域f1(x,y)，步骤S22所得的待匹配图像g(x,y)进行区域选取与匹配，根据得到的图像匹配结果Rmin(x,y)得到源图像f(x,y)和待匹配图像g(x,y)相对位置，并转化为以坐标方式记录的数值信息locg(a',b')；如图2所示；
S31：获取方向标识d，根据方向标识d及S21所述扫描规则得到匹配的两个方向D1，D2：
若方向标识为“右”，D1，D2分别为“右”和“下”；
若方向标识为“左”，D1，D2分别为“左”和“下”；
若方向标识为“下”，D1，D2分别为“左”和“右”；
本实施例中方向标识d为“右”，D1，D2分别为“右”和“下”；
获取待匹配图像g(x,y)宽和高为Wg,Hg；获取源图像待选取区域f1(x,y)宽和高为Wf1,Hf1；
S32：对待匹配图像g(x,y)，若匹配的方向D1或D2为“左”或“右”，则在方向标识所示方向相反方向上以如下规则选取两个宽度和高度相同的区域roi1(x,y),roi2(x,y)：宽为Wg值十分之一、高度为Hg值二分之一，其中区域roi1(x,y),roi2(x,y)的宽度记为Wroi，高度记为Hroi；若方向标识为“下”，则在方向标识所示方向相反方向上以如下规则选取两个宽度和高度相同的区域roi1(x,y),roi2(x,y)：高度为Hg值十分之一、宽度为Wg值二分之一，其中区域roi1(x,y),roi2(x,y)的宽度记为Wroi，高度记为Hroi；本实施例中，区域roi1(x,y),roi2(x,y)分别为400px*1500px的矩形区域，如图3(b)所示；
S33：对源图像待选取区域f1(x,y)，若匹配的方向D1或D2为“左”或“右”，则在方向标识所示方向上按宽度为Wf2，高度为Hf2选取出源图像待选取区域f1(x,y)的选取区域f2(x,y)：
Figure BDA0003056635810000261
Wf2＝min{W1,W2,W3…Wn}
Hf2＝Hf1
式中Wf2计算方式即为Wf1值除以正整数n所得的结果中，能满足不小于七倍Wroi值的最小值；本实施例中，源待选取区域f1(x,y)的选取区域f2(x,y)为2000px*3000px的矩形区域，如图3(b)所示；
若方向标识为“下”，则在方向标识所示方向上按宽度为Wf2'，高度为Hf2'选取出源图像待选取区域f1(x,y)选取区域f2(x,y)：
Figure BDA0003056635810000262
Hf2'＝min{H1,H2,H3…Hn}
Wf2'＝Wf1
S34：在两个方向D1，D2中选择一个方向，记为D；在步骤S32所得的待匹配图像g(x,y)两个选取区域roi1(x,y),roi2(x,y)选取一个，记为roi(x,y)；本实施例中选择的方向为D1，即“右”；选择的选取区域roi(x,y)为roi2(x,y)，其大小为400*1500，如图4(a)所示；
S35：对区域roi(x,y)通过以下方式选取K*K区域C作为卷积核Conv：
在RGB颜色空间中获取roi(x,y)中每个像素点的RGB三个通道的数值，计算每个像素点的加权颜色特征值，由下式计算得到第j列第k行的像素点的加权颜色特征值Coljk:
Coljk＝0.6*Rjk+0.1*Gjk+0.3*Bjk
式中Rjk，Gjk，Bjk分别为第j列第k行的像素点R、G、B三个通道对应的数值，数值范围为0-255，Coljk为该像素点对应的加权颜色特征值，数值范围为0-255；将区域roi(x,y)中所有像素点的加权颜色特征值构成加权颜色特征矩阵Col；本实施例中选取区域C为20*20；
S36：通过直方图得到卷积核选取区域：
获取加权颜色特征矩阵Col的直方图从而统计各个加权颜色特征值出现的频次，选取直方图中出现频次最接近0.05*Hroi*Wroi的加权颜色特征值为选择值Co，其中Hroi、Wroi为roi(x,y)区域的高度和宽度；直方图如图4(a)所示；
在加权颜色特征矩阵Col中查找加权颜色特征值与选择值Co数值相同的所有像素点，将这些像素点信息构成颜色特征值集合{Coli jk}，该集合的元素Coli jk表达的信息为：该像素的位置信息为第j列第k行，该像素的序号标识为i，i为从1至n的正整数，表示按行、列数“自左向右，自上向下”的方式对集合中元素的排序；
S37：通过以下方式确定卷积核区域及其参数：
在集合{Coli jk}选取未被选取过且序号标识i最小的集合元素Coli jk，得到该元素对应的位置信息(j,k)，选择区域roi(x,y)中左上角为(j,k)，右下角为(j+K-1,k+K-1)的区域为卷积核区域，将该卷积核区域的每个像素的R、G、B三个通道颜色值取倒数，得到卷积核Conv的参数；选取的卷积核区域及卷积核参数如图4(b)所示；
若集合{Coli jk}无未被选取过的集合元素Coli jk，则记相似度Sim为0，执行步骤S311；
S38：通过以下方式进行卷积运算得到特征矩阵R：
使用卷积核Conv在选取区域f2(x,y)上滑动，滑动的步长为S，将每次停留区域中的每个像素点对应的RGB颜色空间中3个颜色数值乘以卷积核Conv对应位置上的参数，并相加得到一个数值，该数值作为该区域卷积的结果，所有区域卷积的结果构成特征矩阵R；特征矩阵R的宽WR和高HR与步长S、卷积核Conv的宽K与高K、选取区域f2(x,y)的宽Wf2与高Hf2的关系是：
Figure BDA0003056635810000281
Figure BDA0003056635810000282
S39：进行卷积运算结果的判断：
若特征矩阵R中含有范围在[K*K*3-∈,K*K*3+∈]的数值，则获取数值，按照步骤S36所述构成颜色特征值集合{Coli jk}的方式构成特征值集合{Ri jk}，执行步骤S310，否则返回步骤S37；K*K*3数值为卷积的两个区域完全相同时所得的计算结果，∈为用户设置的阈值；
S310：通过以下方式确定匹配位置，如图4(c)所示；
选取集合{Ri jk}中未被选取过且序号标识最小的元素，得到该元素所对应的卷积运算过程中在选取区域f2(x,y)中的区域，获取该区域，记左上角的坐标位置为(jf,kf)；
将选取区域f2(x,y)中左上角位置为(jf-j,kf-k)，右下角位置为(jf-j+Wroi,kf-k+Hroi)的区域记为待校验区域f3，区域f3的大小与roi(x,y)区域相同，j,k为在步骤S36中对应的Coljk值中的j,k值；
在roi(x,y)区域中选择异于步骤S34所述区域C的N个大小为K*K的区域，分别将其作为卷积核Conv'N，将该卷积核区域的每个像素的R、G、B三个通道颜色值取倒数，得到卷积核Conv'N的参数；
将卷积核Conv'N与其待校验区域f3中对应的同个相对于左上角的位置，相同大小的区域进行卷积运算：在每个像素点对应的RGB颜色空间中3个颜色数值乘以卷积核Conv'N对应位置上的参数，并相加得到一个数值，若该值范围在[K*K*3-∈,K*K*3+∈]之间，则M＝M+1，M为值在范围内的次数标识，K*K*3数值为卷积的两个区域完全相同时所得的计算结果,∈为用户设置的阈值；
对N个大小为K*K的区域执行上述操作后，计算相似度Sim值：
Figure BDA0003056635810000291
相似度大于设置的值X时，执行步骤S311；否则返回步骤S310；
步骤S311：将相似度Sim值记为Simn，n为执行本步骤的次数标记；对步骤S34所述的方向的另一个选取区域、另一个方向对应的两个选取区域分别进行步骤S35至步骤S310，得到另外三个Simn值；
步骤S312：选择四个Simn值中最大的值为匹配结果，记该结果对应于在步骤S310时所得的待校验区域f3为匹配区域fmat，宽和高分别为Wmat,Hmat，匹配区域fmat左上角点在源图像f(x,y)中的坐标为(xmat,ymat)；
获取与该次匹配对应的待匹配图像g(x,y)选取区域roi(x,y)，及roi(x,y)左上角点坐标(xroi,yroi)；
记该结果所对应的方向D'，记为待匹配图像g(x,y)相对源图像f(x,y)方向标识d，D'为D1，D2中的一个；本实施例中，(xmat,ymat)为(6262,1354)，(xroi,yroi)为(0,1500),方向标识d为右，fmat和roi(x,y)在f(x,y)，g(x,y)图中位置如图3(c)所示；
S313：获取图像坐标文件夹中最后保存图像的位置信息loc(a',b')，根据方向标识d通过下式得到当前待匹配图像g(x,y)的位置信息loc(a,b)：
Figure BDA0003056635810000301
将待匹配图像g(x,y)与其位置信息loc(a,b)保存于图像坐标文件夹中。
步骤S4：扩展源图像f(x,y)像素，拼接图像；
S41：根据步骤S312所得匹配区域左上角点在源图像f(x,y)的坐标(xmat,ymat)、图像g(x,y)选取区域roi左上角点坐标(xroi,yroi)和源图像f(x,y)及待匹配图像g(x,y)进行如下运算：
Figure BDA0003056635810000311
Figure BDA0003056635810000312
Figure BDA0003056635810000313
Figure BDA0003056635810000314
式中expUp,expBe,expLe,expRi分别为计算得到的源图像f(x,y)在上，下，左，右方向上需扩展的像素的数值，Hf,Wf为源图像f(x,y)高和宽，Hg,Wg为待匹配图像g(x,y)的高与宽；本实施例中所得为expUp,expBe,expLe,expRi分别为164，0，0，3472；
S42：根据扩展像素的数值对源图像f(x,y)进行像素扩展并将扩充区域像素填充为RGB颜色空间(0,0,0)的黑色，得到扩充后的图像，记为背景图像F(x,y)，根据扩展像素的数值更新步骤S312所得的匹配区域fmat、匹配区域左上角点在背景图像F(x,y)的坐标为(xmat',ymat')，并在F(x,y)上对左上角坐标为(xmat'-xroi,ymat'-yroi)，右下角坐标为(xmat'-xroi+Wg,ymat'-yroi+Hg)的矩形区域如图3(d)所示，进行像素替换为g(x,y)，像素替换后图像如图3(e)所示，完成一次拼接，将所得拼接后图像记为拼接图像Is；
S43：若用户将此图像所包含区域设置为再次检查区域，则将此图像设置为I0，保存图像I0，则进入步骤S6；
S44：若继续采集图像，则将图像Is记为源图像f(x,y)，将图像Is中在步骤S42里进行像素替换为g(x,y)的区域记为源图像待选取区域f1(x,y)，将源图像f(x,y)、源图像待选取区域f1(x,y)与步骤S312所得方向标识d返回步骤S2；若采集完毕或需要查看图像，则进入步骤S5；
步骤S5：由图像坐标文件夹中读取图像集I及其坐标信息，展示图像集中最后保存的图像，根据用户触发“上下左右”方向选项A跳转至指定图像，跳转逻辑为：根据触发的方向选项A由当前坐标信息为loc(a1,b1)的图像跳转为坐标信息为loc(a2,b2)的图像，loc(a2,b2)中a2,b2数值由下式得到：
Figure BDA0003056635810000321
若继续采集图像，则将图像Is记为源图像f(x,y)，将图像Is中在步骤S42里进行像素替换为g(x,y)的区域记为源图像待选取区域f1(x,y)，将源图像f(x,y)、源图像待选取区域f1(x,y)与步骤S312所得方向标识d返回步骤S2；
步骤S6：图像视野的搜寻与溯源
S61：获取步骤S43所述图像I0，图像I0的宽和高分别为
Figure BDA0003056635810000322
读取图像坐标文件夹中图像集I，获取图像I0的位置信息loc(a0,b0)；
S62：获取显微镜的实时画面Ix，选取Ix画面中央宽度为
Figure BDA0003056635810000323
高度为
Figure BDA0003056635810000324
的区域为Ix1，将Ix1与图像坐标文件夹中图像集I中的图像依次进行步骤S3所述的卷积匹配，当匹配结果的数值在所设区域范围内时，停止匹配，记该图像为Ii,,获取该图像的位置信息loc(ai,bi)；
S63：根据loc(a0,b0)，loc(ai,bi)计算得到当前实时画面Ix与目标区域图像I0的相对位置关系：
若a0<ai,则“向左移动ai-ao个图像视野”
若a0>ai,则“向右移动a0-ai个图像视野”
若b0<bi,则“向上移动bi-bo个图像视野”
若a0>ai,则“向下移动b0-bi个图像视野”
S64：将相对位置关系展现给用户，根据载物台旋钮转动圈数与视野移动的相对比例，计算得到应旋转旋钮的圈数或角度，指引用户移动显微镜载物台；经过时间t后，返回步骤S62；若用户停止或I0和Ii为同一图像，则完成图像视野的搜寻与溯源。
实施例2
如图5所示，本发明提供一种细胞涂片辅助分析系统，包括图像输入模块、区域匹配模块、图像拼接模块和图像应用模块；
所述图像输入模块外接显微镜，用于由显微镜相机进行细胞图像的连续采集，通过显微镜拍摄一张细胞图像，选取为源图像，将源图像全图作为源图像待选取区域；按“自左向右，自上向下”的蛇形扫描规则移动显微镜获取与上一图像视野具有m％重合区域的细胞图像，选取为待匹配原始图像，将待匹配原始图像进行预处理得到待匹配图像；
所述区域匹配模块用于通过方向标识识别可能的拼接方向，对参与拼接的源图像待选取区域和待匹配图像分别在可能的方向上进行选取区域和卷积匹配，通过多次的卷积匹配直至达到设置值，通过不同方向和选取区域所得结果的比较，得到匹配结果与图像位置关系；
所述图像拼接模块用于根据所得匹配结果进行图像像素扩展，扩展后在匹配区域内进行像素替换；引入图像集位置标注，将拼接过程中得到的图像相对位置信息转化为以坐标方式记录的数值信息，构建图像集中图像的坐标体系；
所述图像应用模块用于将完成拼接的图像展示给用户，用户可直观看到目前已观测的细胞区域情况；同时根据所得图像坐标体系提供对已检查过的细胞图像区域的再观察，实现在展示当前图像时根据用户触发的方向选项跳转至对应检查过程中该视野四周的图像区域；当需要对已检测过的区域进行二次检查时，获取当前涂片图像并与图像集图像比较，得到当前视野在图像集中的位置，并且与目标视野的位置比较，得到当前视野与目标视野的相对位置关系，将相对位置关系展现给用户，根据载物台旋钮转动圈数与视野移动的相对比例，计算得到应旋转旋钮的圈数或角度，指引用户移动显微镜载物台，实现图像视野的搜寻与溯源。
本实施例中的其他特征与实施例1相同，故在此不再赘述。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种细胞涂片辅助分析方法，其特征在于，包括如下步骤：
S1、由显微镜相机进行细胞图像的连续采集，通过显微镜拍摄一张细胞图像，选取为源图像，将源图像全图作为源图像待选取区域；
S2、按“自左向右，自上向下”的蛇形扫描规则移动显微镜获取与上一图像视野具有m％重合区域的细胞图像，选取为待匹配原始图像，将待匹配原始图像进行预处理得到待匹配图像；
S3、通过方向标识识别可能的拼接方向，对参与拼接的源图像待选取区域和待匹配图像分别在可能的方向上进行选取区域和卷积匹配，通过多次的卷积匹配直至达到设置值，通过不同方向和选取区域所得结果的比较，得到匹配结果与图像位置关系；
S4、根据所得匹配结果进行图像像素扩展，扩展后在匹配区域内进行像素替换；引入图像集位置标注，将拼接过程中得到的图像相对位置信息转化为以坐标方式记录的数值信息，构建图像集中图像的坐标体系；
S5、将完成拼接的图像展示给用户，用户可直观看到目前已观测的细胞区域情况；同时根据所得图像坐标体系提供对已检查过的细胞图像区域的再观察，实现在展示当前图像时根据用户触发的方向选项跳转至对应检查过程中该视野四周的图像区域。
2.根据权利要求1所述的细胞涂片辅助分析方法，其特征在于，还包括：
S6、当需要对已检测过的区域进行二次检查时，获取当前涂片图像并与图像集图像比较，得到当前视野在图像集中的位置，并且与目标视野的位置比较，得到当前视野与目标视野的相对位置关系，将相对位置关系展现给用户，根据载物台旋钮转动圈数与视野移动的相对比例，计算得到应旋转旋钮的圈数或角度，指引用户移动显微镜载物台，实现图像视野的搜寻与溯源。
3.根据权利要求2所述的细胞涂片辅助分析方法，其特征在于，步骤S1具体包括：
S11：新建一个文件夹，名为图像坐标文件夹，用于储存运行中得到的包含位置信息loc(a,b)的细胞图像集I；
S12：将用户选择的显微镜视野移动方向记录为方向标识d，根据设定的扫描规则，方向标识d为“右”、“左”、“下”中的一种；
S13：通过显微镜拍摄第一张细胞图像I1，选取为源图像f(x,y)，对该图像赋予位置信息loc(a,b)为loc(0,0)并保存于图像坐标文件夹中；
S13：将源图像f(x,y)全图作为源图像待选取区域f1(x,y)。
4.根据权利要求3所述的细胞涂片辅助分析方法，其特征在于，步骤S2具体包括：
S21：按“自左向右，自上向下”的蛇形扫描规则移动显微镜获取与上一图像视野具有m％重合区域的细胞图像，选取为待匹配原始图像g0(x,y)；
S22：获取源图像f(x,y)在YUV颜色空间下的灰度值Y的平均值
Figure FDA0003056635800000021
色差U,V的平均值
Figure FDA0003056635800000022
获取待匹配原始图像g0(x,y)在YUV颜色空间下的灰度值Y的平均值
Figure FDA0003056635800000023
色差U,V的平均值
Figure FDA0003056635800000024
通过通道拆分获取待匹配原始图像g0(x,y)YUV颜色空间下三个颜色参量的数值矩阵Yg(x,y),Ug(x,y),Vg(x,y)，通过下式使修改后的待匹配原始图像g0(x,y)在YUV颜色空间下的三个颜色参量的数值矩阵Y'g(x,y),U'g(x,y),V'g(x,y)的平均值
Figure FDA0003056635800000025
与源图像f(x,y)匹配：
Figure FDA0003056635800000026
Figure FDA0003056635800000027
Figure FDA0003056635800000028
上式指对矩阵中每一个数值进行加减运算；将所得三个颜色参量的数值矩阵Y'g(x,y),U'g(x,y),V'g(x,y)分别作为Y,U,V通道得到预处理后的待匹配图像g(x,y)。
5.根据权利要求4所述的细胞涂片辅助分析方法，其特征在于，步骤S3具体包括：
S31：获取方向标识d，根据方向标识d及S21所述扫描规则得到匹配的两个方向D1，D2：
若方向标识为“右”，D1，D2分别为“右”和“下”；
若方向标识为“左”，D1，D2分别为“左”和“下”；
若方向标识为“下”，D1，D2分别为“左”和“右”；
获取待匹配图像g(x,y)宽和高为Wg,Hg；获取源图像待选取区域f1(x,y)宽和高为Wf1,Hf1；
S32：对待匹配图像g(x,y)，若匹配的方向D1或D2为“左”或“右”，则在方向标识所示方向相反方向上以如下规则选取两个宽度和高度相同的区域roi1(x,y),roi2(x,y)：宽为Wg值十分之一、高度为Hg值二分之一，其中区域roi1(x,y),roi2(x,y)的宽度记为Wroi，高度记为Hroi；若方向标识为“下”，则在方向标识所示方向相反方向上以如下规则选取两个宽度和高度相同的区域roi1(x,y),roi2(x,y)：高度为Hg值十分之一、宽度为Wg值二分之一，其中区域roi1(x,y),roi2(x,y)的宽度记为Wroi，高度记为Hroi；
S33：对源图像待选取区域f1(x,y)，若匹配的方向D1或D2为“左”或“右”，则在方向标识所示方向上按宽度为Wf2，高度为Hf2选取出源图像待选取区域f1(x,y)的选取区域f2(x,y)：
Figure FDA0003056635800000041
Wf2＝min{W1,W2,W3…Wn}
Hf2＝Hf1
式中Wf2计算方式即为Wf1值除以正整数n所得的结果中，能满足不小于七倍Wroi值的最小值；
若方向标识为“下”，则在方向标识所示方向上按宽度为Wf2'，高度为Hf2'选取出源图像待选取区域f1(x,y)选取区域f2(x,y)：
Figure FDA0003056635800000042
Hf2'＝min{H1,H2,H3…Hn}
Wf2'＝Wf1
S34：在两个方向D1，D2中选择一个方向，记为D；在步骤S32所得的待匹配图像g(x,y)两个选取区域roi1(x,y),roi2(x,y)选取一个，记为roi(x,y)；
S35：对区域roi(x,y)通过以下方式选取K*K区域C作为卷积核Conv：
在RGB颜色空间中获取roi(x,y)中每个像素点的RGB三个通道的数值，计算每个像素点的加权颜色特征值，由下式计算得到第j列第k行的像素点的加权颜色特征值Coljk:
Coljk＝0.6*Rjk+0.1*Gjk+0.3*Bjk
式中Rjk，Gjk，Bjk分别为第j列第k行的像素点R、G、B三个通道对应的数值，数值范围为0-255，Coljk为该像素点对应的加权颜色特征值，数值范围为0-255；将区域roi(x,y)中所有像素点的加权颜色特征值构成加权颜色特征矩阵Col；
S36：通过直方图得到卷积核选取区域：
获取加权颜色特征矩阵Col的直方图从而统计各个加权颜色特征值出现的频次，选取直方图中出现频次最接近0.05*Hroi*Wroi的加权颜色特征值为选择值Co，其中Hroi、Wroi为roi(x,y)区域的高度和宽度；
在加权颜色特征矩阵Col中查找加权颜色特征值与选择值Co数值相同的所有像素点，将这些像素点信息构成颜色特征值集合{Coli jk}，该集合的元素Coli jk表达的信息为：该像素的位置信息为第j列第k行，该像素的序号标识为i，i为从1至n的正整数，表示按行、列数“自左向右，自上向下”的方式对集合中元素的排序；
S37：通过以下方式确定卷积核区域及其参数：
在集合{Coli jk}选取未被选取过且序号标识i最小的集合元素Coli jk，得到该元素对应的位置信息(j,k)，选择区域roi(x,y)中左上角为(j,k)，右下角为(j+K-1,k+K-1)的区域为卷积核区域，将该卷积核区域的每个像素的R、G、B三个通道颜色值取倒数，得到卷积核Conv的参数；
若集合{Coli jk}无未被选取过的集合元素Coli jk，则记相似度Sim为0，执行步骤S311；
S38：通过以下方式进行卷积运算得到特征矩阵R：
使用卷积核Conv在选取区域f2(x,y)上滑动，滑动的步长为S，将每次停留区域中的每个像素点对应的RGB颜色空间中3个颜色数值乘以卷积核Conv对应位置上的参数，并相加得到一个数值，该数值作为该区域卷积的结果，所有区域卷积的结果构成特征矩阵R；特征矩阵R的宽WR和高HR与步长S、卷积核Conv的宽K与高K、选取区域f2(x,y)的宽Wf2与高Hf2的关系是：
Figure FDA0003056635800000061
Figure FDA0003056635800000062
S39：进行卷积运算结果的判断：
若特征矩阵R中含有范围在[K*K*3-∈,K*K*3+∈]的数值，则获取数值，按照步骤S36所述构成颜色特征值集合{Coli jk}的方式构成特征值集合{Ri jk}，执行步骤S310，否则返回步骤S37；K*K*3数值为卷积的两个区域完全相同时所得的计算结果，∈为用户设置的阈值；
S310：通过以下方式确定匹配位置：
选取集合{Ri jk}中未被选取过且序号标识最小的元素，得到该元素所对应的卷积运算过程中在选取区域f2(x,y)中的区域，获取该区域，记左上角的坐标位置为(jf,kf)；
将选取区域f2(x,y)中左上角位置为(jf-j,kf-k)，右下角位置为(jf-j+Wroi,kf-k+Hroi)的区域记为待校验区域f3，区域f3的大小与roi(x,y)区域相同，j,k为在步骤S36中对应的Coljk值中的j,k值；
在roi(x,y)区域中选择异于步骤S34所述区域C的N个大小为K*K的区域，分别将其作为卷积核Conv'N，将该卷积核区域的每个像素的R、G、B三个通道颜色值取倒数，得到卷积核Conv'N的参数；
将卷积核Conv'N与其待校验区域f3中对应的同个相对于左上角的位置，相同大小的区域进行卷积运算：在每个像素点对应的RGB颜色空间中3个颜色数值乘以卷积核Conv'N对应位置上的参数，并相加得到一个数值，若该值范围在[K*K*3-∈,K*K*3+∈]之间，则M＝M+1，M为值在范围内的次数标识，K*K*3数值为卷积的两个区域完全相同时所得的计算结果,∈为用户设置的阈值；
对N个大小为K*K的区域执行上述操作后，计算相似度Sim值：
Figure FDA0003056635800000071
相似度大于设置的值X时，执行步骤S311；否则返回步骤S310；
步骤S311：将相似度Sim值记为Simn，n为执行本步骤的次数标记；对步骤S34所述的方向的另一个选取区域、另一个方向对应的两个选取区域分别进行步骤S35至步骤S310，得到另外三个Simn值；
步骤S312：选择四个Simn值中最大的值为匹配结果，记该结果对应于在步骤S310时所得的待校验区域f3为匹配区域fmat，宽和高分别为Wmat,Hmat，匹配区域fmat左上角点在源图像f(x,y)中的坐标为(xmat,ymat)；
获取与该次匹配对应的待匹配图像g(x,y)选取区域roi(x,y)，及roi(x,y)左上角点坐标(xroi,yroi)；
记该结果所对应的方向D'，记为待匹配图像g(x,y)相对源图像f(x,y)方向标识d，D'为D1，D2中的一个；
S313：获取图像坐标文件夹中最后保存图像的位置信息loc(a',b')，根据方向标识d通过下式得到当前待匹配图像g(x,y)的位置信息loc(a,b)：
Figure FDA0003056635800000072
将待匹配图像g(x,y)与其位置信息loc(a,b)保存于图像坐标文件夹中。
6.根据权利要求5所述的细胞涂片辅助分析方法，其特征在于，步骤S4具体包括：
S41：根据步骤S312所得匹配区域左上角点在源图像f(x,y)的坐标(xmat,ymat)、图像g(x,y)选取区域roi左上角点坐标(xroi,yroi)和源图像f(x,y)及待匹配图像g(x,y)进行如下运算：
Figure FDA0003056635800000081
Figure FDA0003056635800000082
Figure FDA0003056635800000083
Figure FDA0003056635800000084
式中expUp,expBe,expLe,expRi分别为计算得到的源图像f(x,y)在上，下，左，右方向上需扩展的像素的数值，Hf,Wf为源图像f(x,y)高和宽，Hg,Wg为待匹配图像g(x,y)的高与宽；
S42：根据扩展像素的数值对源图像f(x,y)进行像素扩展并将扩充区域像素填充为RGB颜色空间(0,0,0)的黑色，得到扩充后的图像，记为背景图像F(x,y)，根据扩展像素的数值更新步骤S312所得的匹配区域fmat、匹配区域左上角点在背景图像F(x,y)的坐标为(xmat',ymat')，并在F(x,y)上对左上角坐标为(xmat'-xroi,ymat'-yroi)，右下角坐标为(xmat'-xroi+Wg,ymat'-yroi+Hg)的矩形区域进行像素替换为g(x,y)，完成一次拼接，将所得拼接后图像记为拼接图像Is；
S43：若用户将此图像所包含区域设置为再次检查区域，则将此图像设置为I0，保存图像I0，则进入步骤S6；
S44：若继续采集图像，则将图像Is记为源图像f(x,y)，将图像Is中在步骤S42里进行像素替换为g(x,y)的区域记为源图像待选取区域f1(x,y)，将源图像f(x,y)、源图像待选取区域f1(x,y)与步骤S312所得方向标识d返回步骤S2；若采集完毕或需要查看图像，则进入步骤S5。
7.根据权利要求6所述的细胞涂片辅助分析方法，其特征在于，S5具体包括：
由图像坐标文件夹中读取图像集I及其坐标信息，展示图像集中最后保存的图像，根据用户触发“上下左右”方向选项A跳转至指定图像，跳转逻辑为：根据触发的方向选项A由当前坐标信息为loc(a1,b1)的图像跳转为坐标信息为loc(a2,b2)的图像，loc(a2,b2)中a2,b2数值由下式得到：
Figure FDA0003056635800000091
若继续采集图像，则将图像Is记为源图像f(x,y)，将图像Is中在步骤S42里进行像素替换为g(x,y)的区域记为源图像待选取区域f1(x,y)，将源图像f(x,y)、源图像待选取区域f1(x,y)与步骤S312所得方向标识d返回步骤S2。
8.根据权利要求7所述的细胞涂片辅助分析方法，其特征在于，S6具体包括：
S61：获取步骤S43所述图像I0，图像I0的宽和高分别为
Figure FDA0003056635800000092
读取图像坐标文件夹中图像集I，获取图像I0的位置信息loc(a0,b0)；
S62：获取显微镜的实时画面Ix，选取Ix画面中央宽度为
Figure FDA0003056635800000093
高度为
Figure FDA0003056635800000094
的区域为Ix1，将Ix1与图像坐标文件夹中图像集I中的图像依次进行步骤S3所述的卷积匹配，当匹配结果的数值在所设区域范围内时，停止匹配，记该图像为Ii,获取该图像的位置信息loc(ai,bi)；
S63：根据loc(a0,b0)，loc(ai,bi)计算得到当前实时画面Ix与目标区域图像I0的相对位置关系：
若a0<ai,则“向左移动ai-ao个图像视野”；
若a0>ai,则“向右移动a0-ai个图像视野”；
若b0<bi,则“向上移动bi-bo个图像视野”；
若a0>ai,则“向下移动b0-bi个图像视野”；
S64：将相对位置关系展现给用户，根据载物台旋钮转动圈数与视野移动的相对比例，计算得到应旋转旋钮的圈数或角度，指引用户移动显微镜载物台；经过时间t后，返回步骤S62；若用户停止或I0和Ii为同一图像，则完成图像视野的搜寻与溯源。
9.一种细胞涂片辅助分析系统，其特征在于，包括：
图像输入模块，其外接显微镜，用于由显微镜相机进行细胞图像的连续采集，通过显微镜拍摄一张细胞图像，选取为源图像，将源图像全图作为源图像待选取区域；按“自左向右，自上向下”的蛇形扫描规则移动显微镜获取与上一图像视野具有m％重合区域的细胞图像，选取为待匹配原始图像，将待匹配原始图像进行预处理得到待匹配图像；
区域匹配模块，用于通过方向标识识别可能的拼接方向，对参与拼接的源图像待选取区域和待匹配图像分别在可能的方向上进行选取区域和卷积匹配，通过多次的卷积匹配直至达到设置值，通过不同方向和选取区域所得结果的比较，得到匹配结果与图像位置关系；
图像拼接模块，用于根据所得匹配结果进行图像像素扩展，扩展后在匹配区域内进行像素替换；引入图像集位置标注，将拼接过程中得到的图像相对位置信息转化为以坐标方式记录的数值信息，构建图像集中图像的坐标体系；
图像应用模块，用于将完成拼接的图像展示给用户，用户可直观看到目前已观测的细胞区域情况；同时根据所得图像坐标体系提供对已检查过的细胞图像区域的再观察，实现在展示当前图像时根据用户触发的方向选项跳转至对应检查过程中该视野四周的图像区域；当需要对已检测过的区域进行二次检查时，获取当前涂片图像并与图像集图像比较，得到当前视野在图像集中的位置，并且与目标视野的位置比较，得到当前视野与目标视野的相对位置关系，将相对位置关系展现给用户，根据载物台旋钮转动圈数与视野移动的相对比例，计算得到应旋转旋钮的圈数或角度，指引用户移动显微镜载物台，实现图像视野的搜寻与溯源。
10.根据权利要求9所述的细胞涂片辅助分析系统，其特征在于，进一步地，所示图像输入模块具体功能如下：
S11：新建一个文件夹，名为图像坐标文件夹，用于储存运行中得到的包含位置信息loc(a,b)的细胞图像集I；
S12：将用户选择的显微镜视野移动方向记录为方向标识d，根据设定的扫描规则，方向标识d为“右”、“左”、“下”中的一种；
S13：通过显微镜拍摄第一张细胞图像I1，选取为源图像f(x,y)，对该图像赋予位置信息loc(a,b)为loc(0,0)并保存于图像坐标文件夹中；
S13：将源图像f(x,y)全图作为源图像待选取区域f1(x,y)；
S21：按“自左向右，自上向下”的蛇形扫描规则移动显微镜获取与上一图像视野具有m％重合区域的细胞图像，选取为待匹配原始图像g0(x,y)；
S22：获取源图像f(x,y)在YUV颜色空间下的灰度值Y的平均值
Figure FDA0003056635800000111
色差U,V的平均值
Figure FDA0003056635800000112
获取待匹配原始图像g0(x,y)在YUV颜色空间下的灰度值Y的平均值
Figure FDA0003056635800000113
色差U,V的平均值
Figure FDA0003056635800000114
通过通道拆分获取待匹配原始图像g0(x,y)YUV颜色空间下三个颜色参量的数值矩阵Yg(x,y),Ug(x,y),Vg(x,y)，通过下式使修改后的待匹配原始图像g0(x,y)在YUV颜色空间下的三个颜色参量的数值矩阵Y'g(x,y),U'g(x,y),V'g(x,y)的平均值
Figure FDA0003056635800000115
与源图像f(x,y)匹配：
Figure FDA0003056635800000121
Figure FDA0003056635800000122
Figure FDA0003056635800000123
上式指对矩阵中每一个数值进行加减运算；将所得三个颜色参量的数值矩阵Y'g(x,y),U'g(x,y),V'g(x,y)分别作为Y,U,V通道得到预处理后的待匹配图像g(x,y)；
所述区域匹配模块具体功能如下：
S31：获取方向标识d，根据方向标识d及S21所述扫描规则得到匹配的两个方向D1，D2：
若方向标识为“右”，D1，D2分别为“右”和“下”；
若方向标识为“左”，D1，D2分别为“左”和“下”；
若方向标识为“下”，D1，D2分别为“左”和“右”；
获取待匹配图像g(x,y)宽和高为Wg,Hg；获取源图像待选取区域f1(x,y)宽和高为Wf1,Hf1；
S32：对待匹配图像g(x,y)，若匹配的方向D1或D2为“左”或“右”，则在方向标识所示方向相反方向上以如下规则选取两个宽度和高度相同的区域roi1(x,y),roi2(x,y)：宽为Wg值十分之一、高度为Hg值二分之一，其中区域roi1(x,y),roi2(x,y)的宽度记为Wroi，高度记为Hroi；若方向标识为“下”，则在方向标识所示方向相反方向上以如下规则选取两个宽度和高度相同的区域roi1(x,y),roi2(x,y)：高度为Hg值十分之一、宽度为Wg值二分之一，其中区域roi1(x,y),roi2(x,y)的宽度记为Wroi，高度记为Hroi；
S33：对源图像待选取区域f1(x,y)，若匹配的方向D1或D2为“左”或“右”，则在方向标识所示方向上按宽度为Wf2，高度为Hf2选取出源图像待选取区域f1(x,y)的选取区域f2(x,y)：
Figure FDA0003056635800000131
Wf2＝min{W1,W2,W3…Wn}
Hf2＝Hf1
式中Wf2计算方式即为Wf1值除以正整数n所得的结果中，能满足不小于七倍Wroi值的最小值；
若方向标识为“下”，则在方向标识所示方向上按宽度为Wf2'，高度为Hf2'选取出源图像待选取区域f1(x,y)选取区域f2(x,y)：
Figure FDA0003056635800000132
Hf2'＝min{H1,H2,H3…Hn}
Wf2'＝Wf1
S34：在两个方向D1，D2中选择一个方向，记为D；在步骤S32所得的待匹配图像g(x,y)两个选取区域roi1(x,y),roi2(x,y)选取一个，记为roi(x,y)；
S35：对区域roi(x,y)通过以下方式选取K*K区域C作为卷积核Conv：
在RGB颜色空间中获取roi(x,y)中每个像素点的RGB三个通道的数值，计算每个像素点的加权颜色特征值，由下式计算得到第j列第k行的像素点的加权颜色特征值Coljk:
Coljk＝0.6*Rjk+0.1*Gjk+0.3*Bjk
式中Rjk，Gjk，Bjk分别为第j列第k行的像素点R、G、B三个通道对应的数值，数值范围为0-255，Coljk为该像素点对应的加权颜色特征值，数值范围为0-255；将区域roi(x,y)中所有像素点的加权颜色特征值构成加权颜色特征矩阵Col；
S36：通过直方图得到卷积核选取区域：
获取加权颜色特征矩阵Col的直方图从而统计各个加权颜色特征值出现的频次，选取直方图中出现频次最接近0.05*Hroi*Wroi的加权颜色特征值为选择值Co，其中Hroi、Wroi为roi(x,y)区域的高度和宽度；
在加权颜色特征矩阵Col中查找加权颜色特征值与选择值Co数值相同的所有像素点，将这些像素点信息构成颜色特征值集合{Coli jk}，该集合的元素Coli jk表达的信息为：该像素的位置信息为第j列第k行，该像素的序号标识为i，i为从1至n的正整数，表示按行、列数“自左向右，自上向下”的方式对集合中元素的排序；
S37：通过以下方式确定卷积核区域及其参数：
在集合{Coli jk}选取未被选取过且序号标识i最小的集合元素Coli jk，得到该元素对应的位置信息(j,k)，选择区域roi(x,y)中左上角为(j,k)，右下角为(j+K-1,k+K-1)的区域为卷积核区域，将该卷积核区域的每个像素的R、G、B三个通道颜色值取倒数，得到卷积核Conv的参数；
若集合{Coli jk}无未被选取过的集合元素Coli jk，则记相似度Sim为0，执行步骤S311；
S38：通过以下方式进行卷积运算得到特征矩阵R：
使用卷积核Conv在选取区域f2(x,y)上滑动，滑动的步长为S，将每次停留区域中的每个像素点对应的RGB颜色空间中3个颜色数值乘以卷积核Conv对应位置上的参数，并相加得到一个数值，该数值作为该区域卷积的结果，所有区域卷积的结果构成特征矩阵R；特征矩阵R的宽WR和高HR与步长S、卷积核Conv的宽K与高K、选取区域f2(x,y)的宽Wf2与高Hf2的关系是：
Figure FDA0003056635800000151
Figure FDA0003056635800000152
S39：进行卷积运算结果的判断：
若特征矩阵R中含有范围在[K*K*3-∈,K*K*3+∈]的数值，则获取数值，按照步骤S36所述构成颜色特征值集合{Coli jk}的方式构成特征值集合{Ri jk}，执行步骤S310，否则返回步骤S37；K*K*3数值为卷积的两个区域完全相同时所得的计算结果，∈为用户设置的阈值；
S310：通过以下方式确定匹配位置：
选取集合{Ri jk}中未被选取过且序号标识最小的元素，得到该元素所对应的卷积运算过程中在选取区域f2(x,y)中的区域，获取该区域，记左上角的坐标位置为(jf,kf)；
将选取区域f2(x,y)中左上角位置为(jf-j,kf-k)，右下角位置为(jf-j+Wroi,kf-k+Hroi)的区域记为待校验区域f3，区域f3的大小与roi(x,y)区域相同，j,k为在步骤S36中对应的Coljk值中的j,k值；
在roi(x,y)区域中选择异于步骤S34所述区域C的N个大小为K*K的区域，分别将其作为卷积核Conv'N，将该卷积核区域的每个像素的R、G、B三个通道颜色值取倒数，得到卷积核Conv'N的参数；
将卷积核Conv'N与其待校验区域f3中对应的同个相对于左上角的位置，相同大小的区域进行卷积运算：在每个像素点对应的RGB颜色空间中3个颜色数值乘以卷积核Conv'N对应位置上的参数，并相加得到一个数值，若该值范围在[K*K*3-∈,K*K*3+∈]之间，则M＝M+1，M为值在范围内的次数标识，K*K*3数值为卷积的两个区域完全相同时所得的计算结果,∈为用户设置的阈值；
对N个大小为K*K的区域执行上述操作后，计算相似度Sim值：
Figure FDA0003056635800000161
相似度大于设置的值X时，执行步骤S311；否则返回步骤S310；
步骤S311：将相似度Sim值记为Simn，n为执行本步骤的次数标记；对步骤S34所述的方向的另一个选取区域、另一个方向对应的两个选取区域分别进行步骤S35至步骤S310，得到另外三个Simn值；
步骤S312：选择四个Simn值中最大的值为匹配结果，记该结果对应于在步骤S310时所得的待校验区域f3为匹配区域fmat，宽和高分别为Wmat,Hmat，匹配区域fmat左上角点在源图像f(x,y)中的坐标为(xmat,ymat)；
获取与该次匹配对应的待匹配图像g(x,y)选取区域roi(x,y)，及roi(x,y)左上角点坐标(xroi,yroi)；
记该结果所对应的方向D'，记为待匹配图像g(x,y)相对源图像f(x,y)方向标识d，D'为D1，D2中的一个；
S313：获取图像坐标文件夹中最后保存图像的位置信息loc(a',b')，根据方向标识d通过下式得到当前待匹配图像g(x,y)的位置信息loc(a,b)：
Figure FDA0003056635800000162
将待匹配图像g(x,y)与其位置信息loc(a,b)保存于图像坐标文件夹中；
所述图像拼接模块的具体功能如下：
S41：根据步骤S312所得匹配区域左上角点在源图像f(x,y)的坐标(xmat,ymat)、图像g(x,y)选取区域roi左上角点坐标(xroi,yroi)和源图像f(x,y)及待匹配图像g(x,y) 进行如下运算：
Figure FDA0003056635800000171
Figure FDA0003056635800000172
Figure FDA0003056635800000173
Figure FDA0003056635800000174
式中expUp,expBe,expLe,expRi分别为计算得到的源图像f(x,y)在上，下，左，右方向上需扩展的像素的数值，Hf,Wf为源图像f(x,y)高和宽，Hg,Wg为待匹配图像g(x,y)的高与宽；
S42：根据扩展像素的数值对源图像f(x,y)进行像素扩展并将扩充区域像素填充为RGB颜色空间(0,0,0)的黑色，得到扩充后的图像，记为背景图像F(x,y)，根据扩展像素的数值更新步骤S312所得的匹配区域fmat、匹配区域左上角点在背景图像F(x,y)的坐标为(xmat',ymat')，并在F(x,y)上对左上角坐标为(xmat'-xroi,ymat'-yroi)，右下角坐标为(xmat'-xroi+Wg,ymat'-yroi+Hg)的矩形区域进行像素替换为g(x,y)，完成一次拼接，将所得拼接后图像记为拼接图像Is；
S43：若用户将此图像所包含区域设置为再次检查区域，则将此图像设置为I0，保存图像I0，则进入图像应用模块的图像视野搜寻溯源的功能；
S44：若继续采集图像，则将图像Is记为源图像f(x,y)，将图像Is中在步骤S42里进行像素替换为g(x,y)的区域记为源图像待选取区域f1(x,y)，将源图像f(x,y)、源图像待选取区域f1(x,y)与步骤S312所得方向标识d返回图像输入模块的获得待匹配图像的功能；若采集完毕或需要查看图像，则进入图像应用模块的全图观察和图像集坐标体系的功能；
所述图像应用模块的全图观察和图像集坐标体系的功能包括：
由图像坐标文件夹中读取图像集I及其坐标信息，展示图像集中最后保存的图像，根据用户触发“上下左右”方向选项A跳转至指定图像，跳转逻辑为：根据触发的方向选项A由当前坐标信息为loc(a1,b1)的图像跳转为坐标信息为loc(a2,b2)的图像，loc(a2,b2)中a2,b2数值由下式得到：
Figure FDA0003056635800000181
若继续采集图像，则将图像Is记为源图像f(x,y)，将图像Is中在步骤S42里进行像素替换为g(x,y)的区域记为源图像待选取区域f1(x,y)，将源图像f(x,y)、源图像待选取区域f1(x,y)与步骤S312所得方向标识d返回图像输入模块的获得待匹配图像的功能；
所述图像应用模块的图像视野搜寻溯源的功能包括：
S61：获取步骤S43所述图像I0，图像I0的宽和高分别为
Figure FDA0003056635800000184
读取图像坐标文件夹中图像集I，获取图像I0的位置信息loc(a0,b0)；
S62：获取显微镜的实时画面Ix，选取Ix画面中央宽度为
Figure FDA0003056635800000182
高度为
Figure FDA0003056635800000183
的区域为Ix1，将Ix1与图像坐标文件夹中图像集I中的图像依次进行步骤S3所述的卷积匹配，当匹配结果的数值在所设区域范围内时，停止匹配，记该图像为Ii,获取该图像的位置信息loc(ai,bi)；
S63：根据loc(a0,b0)，loc(ai,bi)计算得到当前实时画面Ix与目标区域图像I0的相对位置关系：
若a0<ai,则“向左移动ai-ao个图像视野”；
若a0>ai,则“向右移动a0-ai个图像视野”；
若b0<bi,则“向上移动bi-bo个图像视野”；
若a0>ai,则“向下移动b0-bi个图像视野”；
S64：将相对位置关系展现给用户，根据载物台旋钮转动圈数与视野移动的相对比例，计算得到应旋转旋钮的圈数或角度，指引用户移动显微镜载物台；经过时间t后，返回步骤S62；若用户停止或I0和Ii为同一图像，则完成图像视野的搜寻与溯源。
CN202110501593.XA 2021-05-08 2021-05-08 一种细胞涂片辅助分析方法和系统 Active CN113256717B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110501593.XA CN113256717B (zh) 2021-05-08 2021-05-08 一种细胞涂片辅助分析方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110501593.XA CN113256717B (zh) 2021-05-08 2021-05-08 一种细胞涂片辅助分析方法和系统

Publications (2)

Publication Number Publication Date
CN113256717A CN113256717A (zh) 2021-08-13
CN113256717B true CN113256717B (zh) 2022-01-21

Family

ID=77222645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110501593.XA Active CN113256717B (zh) 2021-05-08 2021-05-08 一种细胞涂片辅助分析方法和系统

Country Status (1)

Country Link
CN (1) CN113256717B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115842963B (zh) * 2022-10-21 2023-09-26 广东省地星文化科技有限公司 一种昆虫拍摄方法、装置及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3345122A1 (en) * 2015-09-02 2018-07-11 Ventana Medical Systems, Inc. Automated analysis of cellular samples having intermixing of analytically distinct patterns of analyte staining
CN109001902A (zh) * 2018-09-05 2018-12-14 哈尔滨理工大学 基于图像融合的显微镜聚焦方法
CN109520988A (zh) * 2019-01-09 2019-03-26 长春奥普光电技术股份有限公司 显微成像系统
CN109978771A (zh) * 2019-04-08 2019-07-05 哈尔滨理工大学 基于内容分析的细胞图像快速融合方法
CN109978848A (zh) * 2019-03-19 2019-07-05 电子科技大学 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法
CN109991205A (zh) * 2019-05-05 2019-07-09 中国科学院重庆绿色智能技术研究院 一种循环肿瘤细胞的计数算法及应用
CN110766668A (zh) * 2019-10-11 2020-02-07 武汉兰丁医学高科技有限公司 细胞检测识别系统及方法
CN111325103A (zh) * 2020-01-21 2020-06-23 华南师范大学 一种细胞标注系统和方法
CN111640098A (zh) * 2020-05-29 2020-09-08 合肥美石生物科技有限公司 一种病理图像的分析方法及系统
CN112464802A (zh) * 2020-11-26 2021-03-09 湖南国科智瞳科技有限公司 一种玻片样本信息的自动识别方法、装置和计算机设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10419698B2 (en) * 2015-11-12 2019-09-17 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US10957041B2 (en) * 2018-05-14 2021-03-23 Tempus Labs, Inc. Determining biomarkers from histopathology slide images

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3345122A1 (en) * 2015-09-02 2018-07-11 Ventana Medical Systems, Inc. Automated analysis of cellular samples having intermixing of analytically distinct patterns of analyte staining
CN109001902A (zh) * 2018-09-05 2018-12-14 哈尔滨理工大学 基于图像融合的显微镜聚焦方法
CN109520988A (zh) * 2019-01-09 2019-03-26 长春奥普光电技术股份有限公司 显微成像系统
CN109978848A (zh) * 2019-03-19 2019-07-05 电子科技大学 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法
CN109978771A (zh) * 2019-04-08 2019-07-05 哈尔滨理工大学 基于内容分析的细胞图像快速融合方法
CN109991205A (zh) * 2019-05-05 2019-07-09 中国科学院重庆绿色智能技术研究院 一种循环肿瘤细胞的计数算法及应用
CN110766668A (zh) * 2019-10-11 2020-02-07 武汉兰丁医学高科技有限公司 细胞检测识别系统及方法
CN111325103A (zh) * 2020-01-21 2020-06-23 华南师范大学 一种细胞标注系统和方法
CN111640098A (zh) * 2020-05-29 2020-09-08 合肥美石生物科技有限公司 一种病理图像的分析方法及系统
CN112464802A (zh) * 2020-11-26 2021-03-09 湖南国科智瞳科技有限公司 一种玻片样本信息的自动识别方法、装置和计算机设备

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Investigation of excitation interference in laser-induced breakdown spectroscopy assisted with laser-induced fluorescence for chromium determination in low-alloy steels;Jiaming Li等;《Optics and Lasers in Engineering》;20200131;1-6 *
Perfect timing: splicing and transcription rates in living cells;Tara Alpert等;《HHS Public Access》;20161121;第8卷(第2期);1-18 *
RNA Splicing Analysis: From In Vitro Testing to Single-Cell Imaging;XiaojunRen等;《Chem》;20191010;第5卷(第10期);2571-2592 *
基于视觉伺服的生物显微操作系统关键技术研究;张毅晶;《中国优秀硕士学位论文全文数据库_信息科技辑》;20180615;I138-1847 *
显微细胞图像的拼接、融合及染色目标提取方法的研究;邓富强;《中国优秀博硕士学位论文全文数据库（硕士）_信息科技辑》;20110915;I138-934 *
细胞显微图像分析关键技术研究;梁栋;《中国优秀硕士学位论文全文数据库_信息科技辑》;20111115;I138-278 *

Also Published As

Publication number Publication date
CN113256717A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
Tellez et al. Whole-slide mitosis detection in H&E breast histology using PHH3 as a reference to train distilled stain-invariant convolutional networks
CN111474701B (zh) 一种病理显微图像实时采集分析系统、方法、装置及介质
CN109583440B (zh) 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
CN112288706B (zh) 一种自动化的染色体核型分析以及异常检测方法
US10262189B2 (en) Evaluation of co-registered images of differently stained tissue slices
CN109523535B (zh) 一种病变图像的预处理方法
US8699769B2 (en) Generating artificial hyperspectral images using correlated analysis of co-registered images
EP2357612B1 (en) Method for quantifying and imaging features of a tumor
CN109544526B (zh) 一种慢性萎缩性胃炎图像识别系统、装置和方法
US8498492B2 (en) Methods of analyzing a selected region of interest in medical image data
CN109671068B (zh) 一种基于深度学习的腹部肌肉标注方法及装置
CN109145921A (zh) 一种基于改进的直觉模糊c均值聚类的图像分割方法
CN115345819A (zh) 一种胃癌图像识别系统、装置及其应用
CN111524137A (zh) 基于图像识别的细胞识别计数方法、装置和计算机设备
CN110619318B (zh) 基于人工智能的图像处理方法、显微镜、系统和介质
KR20110012103A (ko) 소고기 등급 자동판정 방법 및 그 시스템
CN111489833A (zh) 一种肺部细胞病理快速现场评估系统、方法及计算机可读存储介质
CN113256717B (zh) 一种细胞涂片辅助分析方法和系统
US9424640B2 (en) Pathological diagnosis support apparatus and pathological diagnosis support method
CN113237881B (zh) 一种特定细胞的检测方法、装置和病理切片检测系统
CN105551042B (zh) 一种扫描床标记点位置的确定方法和装置
CN117078698B (zh) 一种基于深度学习的外周血管影像辅助分割方法及系统
CN113052166A (zh) 病理图像的显示方法及装置
Ji et al. A deep learning method for automatic evaluation of diagnostic information from multi-stained histopathological images
CN113469942B (zh) 一种ct图像病变检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant