CN113256717A - 一种细胞涂片辅助分析方法和系统 - Google Patents

Abstract

本发明公开了一种细胞涂片辅助分析方法和系统，该方法包括：由显微镜相机进行细胞图像的连续采集；通过方向标识识别可能的拼接方向，对参与拼接的两图进行选取区域和匹配，并通过计算得到匹配结果；根据匹配结果进行图像像素扩展，扩展后在匹配区域内进行像素替换；将拼接过程中得到的图像相对位置信息转化为以坐标方式记录的数值信息，构建图像集中图像的坐标体系；将完成拼接的图像展示给用户，用户可直观看到目前已观测的细胞区域情况；同时根据所得图像坐标体系提供对已检查过的细胞图像区域的再观察，实现在展示当前图像时根据用户触发的方向选项跳转至对应检查过程中该视野四周的图像区域。本发明使用方便，交互性强，运算速度快。

Description

一种细胞涂片辅助分析方法和系统

技术领域

本发明涉及数字图像处理技术和计算机辅助医学检查技术领域，具体涉及一种细胞涂片辅助分析方法和系统。

背景技术

细胞形态学检查是血液病诊断的重要途径，通过对血细胞涂片的形态、类别及数量的统计分析，在多种疾病的诊断具有重要作用。传统对涂片中细胞数目进行分析与计数的方式是：检验员将病人的外周血或骨髓血制成载玻片涂片，经过染色后置于显微镜载物台，观察显微镜目镜视野下细胞的形态，分析其类别并记录数量后根据指定移动方向移动涂片，记录当前视野下细胞类别及数量，重复此过程直至已记录细胞数达到一定数量。

该方法中对检验员专业素质要求高，过程繁琐耗时，且易受主观因素影响分析结果，由于操作显微镜获取一系列细胞图像的过程只受简单的移动方向规则约束，此过程中操作由检验员主观掌控，同时显微镜载物台的移动存在由于机械结构导致的在与移动方向垂直方向上的位置偏移，且在传统显微镜操作中由于载物台移动无记录而使无法记录该次检查观察的区域情况，会导致检验员在操作过程中对显微镜镜下视野的位置判断仅根据操作记忆，存在较大偏差，且较难以在检验过程中或完成后对之前检查过的区域或细胞进行定位及溯源。

同时，若在细胞涂片中存在对某一细胞判断存疑，需要多位检验员核验时，需要对该细胞所在区域进行二次观察，传统方法中在更换检验员或更换显微镜后难以对需核验的细胞所在区域进行精确定位与视野回溯。

随着计算机视觉技术发展，计算机辅助诊断成为发展趋势，在其中从显微镜相机获取细胞图像是计算机辅助诊断的第一步，通过对细胞涂片图像的分析，记录涂片在显微镜镜下移动方向及细胞涂片观察区域，辅助完成细胞形态学检查的细胞识别计数，对提高细胞形态学检查效率及质量有重要意义。

发明内容

有鉴于此，为了解决现有技术中的上述问题，本发明根据显微镜镜下图像位置移动特点提出一种细胞涂片辅助分析方法和系统，使用方便，交互性强，运算速度快。

本发明通过以下技术手段解决上述问题：

一方面，本发明提供一种细胞涂片辅助分析方法，包括如下步骤：

S1、由显微镜相机进行细胞图像的连续采集，通过显微镜拍摄一张细胞图像，选取为源图像，将源图像全图作为源图像待选取区域；

S2、按“自左向右，自上向下”的蛇形扫描规则移动显微镜获取与上一图像视野具有m％重合区域的细胞图像，选取为待匹配原始图像，将待匹配原始图像进行预处理得到待匹配图像；

S3、通过方向标识识别可能的拼接方向，对参与拼接的源图像待选取区域和待匹配图像分别在可能的方向上进行选取区域和卷积匹配，通过多次的卷积匹配直至达到设置值，通过不同方向和选取区域所得结果的比较，得到匹配结果与图像位置关系；

S4、根据所得匹配结果进行图像像素扩展，扩展后在匹配区域内进行像素替换；引入图像集位置标注，将拼接过程中得到的图像相对位置信息转化为以坐标方式记录的数值信息，构建图像集中图像的坐标体系；

S5、将完成拼接的图像展示给用户，用户可直观看到目前已观测的细胞区域情况；同时根据所得图像坐标体系提供对已检查过的细胞图像区域的再观察，实现在展示当前图像时根据用户触发的方向选项跳转至对应检查过程中该视野四周的图像区域。

进一步地，所述细胞涂片辅助分析方法还包括：

S6、当需要对已检测过的区域进行二次检查时，获取当前涂片图像并与图像集图像比较，得到当前视野在图像集中的位置，并且与目标视野的位置比较，得到当前视野与目标视野的相对位置关系，将相对位置关系展现给用户，根据载物台旋钮转动圈数与视野移动的相对比例，计算得到应旋转旋钮的圈数或角度，指引用户移动显微镜载物台，实现图像视野的搜寻与溯源。

进一步地，步骤S1具体包括：

S11：新建一个文件夹，名为图像坐标文件夹，用于储存运行中得到的包含位置信息loc(a,b)的细胞图像集I；

S12：将用户选择的显微镜视野移动方向记录为方向标识d，根据设定的扫描规则，方向标识d为“右”、“左”、“下”中的一种；

S13：通过显微镜拍摄第一张细胞图像I₁，选取为源图像f(x,y)，对该图像赋予位置信息loc(a,b)为loc(0,0)并保存于图像坐标文件夹中；

S13：将源图像f(x,y)全图作为源图像待选取区域f₁(x,y)。

进一步地，步骤S2具体包括：

S21：按“自左向右，自上向下”的蛇形扫描规则移动显微镜获取与上一图像视野具有m％重合区域的细胞图像，选取为待匹配原始图像g₀(x,y)；

S22：获取源图像f(x,y)在YUV颜色空间下的灰度值Y的平均值

色差U,V的平均值

获取待匹配原始图像g₀(x,y)在YUV颜色空间下的灰度值Y的平均值

色差U,V的平均值

通过通道拆分获取待匹配原始图像g₀(x,y)YUV颜色空间下三个颜色参量的数值矩阵Y_g(x,y),U_g(x,y),V_g(x,y)，通过下式使修改后的待匹配原始图像g₀(x,y)在YUV颜色空间下的三个颜色参量的数值矩阵Y'_g(x,y),U'_g(x,y),V'_g(x,y)的平均值

与源图像f(x,y)匹配：

上式指对矩阵中每一个数值进行加减运算；将所得三个颜色参量的数值矩阵Y'_g(x,y),U'_g(x,y),V'_g(x,y)分别作为Y,U,V通道得到预处理后的待匹配图像g(x,y)。

进一步地，步骤S3具体包括：

S31：获取方向标识d，根据方向标识d及S21所述扫描规则得到匹配的两个方向D₁，D₂：

若方向标识为“右”，D₁，D₂分别为“右”和“下”；

若方向标识为“左”，D₁，D₂分别为“左”和“下”；

若方向标识为“下”，D₁，D₂分别为“左”和“右”；

获取待匹配图像g(x,y)宽和高为W_g,H_g；获取源图像待选取区域f₁(x,y)宽和高为W_f1,H_f1；

S32：对待匹配图像g(x,y)，若匹配的方向D₁或D₂为“左”或“右”，则在方向标识所示方向相反方向上以如下规则选取两个宽度和高度相同的区域roi1(x,y),roi2(x,y)：宽为W_g值十分之一、高度为H_g值二分之一，其中区域roi1(x,y),roi2(x,y)的宽度记为W_roi，高度记为H_roi；若方向标识为“下”，则在方向标识所示方向相反方向上以如下规则选取两个宽度和高度相同的区域roi1(x,y),roi2(x,y)：高度为H_g值十分之一、宽度为W_g值二分之一，其中区域roi1(x,y),roi2(x,y)的宽度记为W_roi，高度记为H_roi；

S33：对源图像待选取区域f₁(x,y)，若匹配的方向D₁或D₂为“左”或“右”，则在方向标识所示方向上按宽度为W_f2，高度为H_f2选取出源图像待选取区域f₁(x,y)的选取区域f₂(x,y)：

W_f2＝min{W₁,W₂,W₃…W_n}

H_f2＝H_f1

式中W_f2计算方式即为W_f1值除以正整数n所得的结果中，能满足不小于七倍W_roi值的最小值；

若方向标识为“下”，则在方向标识所示方向上按宽度为W_f2'，高度为H_f2'选取出源图像待选取区域f₁(x,y)选取区域f₂(x,y)：

H_f2'＝min{H₁,H₂,H₃…H_n}

W_f2'＝W_f1

S34：在两个方向D₁，D₂中选择一个方向，记为D；在步骤S32所得的待匹配图像g(x,y)两个选取区域roi1(x,y),roi2(x,y)选取一个，记为roi(x,y)；

S35：对区域roi(x,y)通过以下方式选取K*K区域C作为卷积核Conv：

在RGB颜色空间中获取roi(x,y)中每个像素点的RGB三个通道的数值，计算每个像素点的加权颜色特征值，由下式计算得到第j列第k行的像素点的加权颜色特征值Col_jk:

Col_jk＝0.6*R_jk+0.1*G_jk+0.3*B_jk

式中R_jk，G_jk，B_jk分别为第j列第k行的像素点R、G、B三个通道对应的数值，数值范围为0-255，Col_jk为该像素点对应的加权颜色特征值，数值范围为0-255；将区域roi(x,y)中所有像素点的加权颜色特征值构成加权颜色特征矩阵Col；

S36：通过直方图得到卷积核选取区域：

获取加权颜色特征矩阵Col的直方图从而统计各个加权颜色特征值出现的频次，选取直方图中出现频次最接近0.05*H_roi*W_roi的加权颜色特征值为选择值Co，其中H_roi、W_roi为roi(x,y)区域的高度和宽度；

在加权颜色特征矩阵Col中查找加权颜色特征值与选择值Co数值相同的所有像素点，将这些像素点信息构成颜色特征值集合{Colⁱ _jk}，该集合的元素Colⁱ _jk表达的信息为：该像素的位置信息为第j列第k行，该像素的序号标识为i，i为从1至n的正整数，表示按行、列数“自左向右，自上向下”的方式对集合中元素的排序；

S37：通过以下方式确定卷积核区域及其参数：

在集合{Colⁱ _jk}选取未被选取过且序号标识i最小的集合元素Colⁱ _jk，得到该元素对应的位置信息(j,k)，选择区域roi(x,y)中左上角为(j,k)，右下角为(j+K-1,k+K-1)的区域为卷积核区域，将该卷积核区域的每个像素的R、G、B三个通道颜色值取倒数，得到卷积核Conv的参数；

若集合{Colⁱ _jk}无未被选取过的集合元素Colⁱ _jk，则记相似度Sim为0，执行步骤S311；

S38：通过以下方式进行卷积运算得到特征矩阵R：

使用卷积核Conv在选取区域f₂(x,y)上滑动，滑动的步长为S，将每次停留区域中的每个像素点对应的RGB颜色空间中3个颜色数值乘以卷积核Conv对应位置上的参数，并相加得到一个数值，该数值作为该区域卷积的结果，所有区域卷积的结果构成特征矩阵R；特征矩阵R的宽W_R和高H_R与步长S、卷积核Conv的宽K与高K、选取区域f₂(x,y)的宽W_f2与高H_f2的关系是：

S39：进行卷积运算结果的判断：

若特征矩阵R中含有范围在[K*K*3-∈,K*K*3+∈]的数值，则获取数值，按照步骤S36所述构成颜色特征值集合{Colⁱ _jk}的方式构成特征值集合{Rⁱ _jk}，执行步骤S310，否则返回步骤S37；K*K*3数值为卷积的两个区域完全相同时所得的计算结果，∈为用户设置的阈值；

S310：通过以下方式确定匹配位置：

选取集合{Rⁱ _jk}中未被选取过且序号标识最小的元素，得到该元素所对应的卷积运算过程中在选取区域f₂(x,y)中的区域，获取该区域，记左上角的坐标位置为(j_f,k_f)；

将选取区域f₂(x,y)中左上角位置为(j_f-j,k_f-k)，右下角位置为(j_f-j+W_roi,k_f-k+H_roi)的区域记为待校验区域f₃，区域f₃的大小与roi(x,y)区域相同，j,k为在步骤S36中对应的Col_jk值中的j,k值；

在roi(x,y)区域中选择异于步骤S34所述区域C的N个大小为K*K的区域，分别将其作为卷积核Conv'_N，将该卷积核区域的每个像素的R、G、B三个通道颜色值取倒数，得到卷积核Conv'_N的参数；

将卷积核Conv'_N与其待校验区域f₃中对应的同个相对于左上角的位置，相同大小的区域进行卷积运算：在每个像素点对应的RGB颜色空间中3个颜色数值乘以卷积核Conv'_N对应位置上的参数，并相加得到一个数值，若该值范围在[K*K*3-∈,K*K*3+∈]之间，则M＝M+1，M为值在范围内的次数标识，K*K*3数值为卷积的两个区域完全相同时所得的计算结果,∈为用户设置的阈值；

对N个大小为K*K的区域执行上述操作后，计算相似度Sim值：

相似度大于设置的值X时，执行步骤S311；否则返回步骤S310；

步骤S311：将相似度Sim值记为Sim_n，n为执行本步骤的次数标记；对步骤S34所述的方向的另一个选取区域、另一个方向对应的两个选取区域分别进行步骤S35至步骤S310，得到另外三个Sim_n值；

步骤S312：选择四个Sim_n值中最大的值为匹配结果，记该结果对应于在步骤S310时所得的待校验区域f₃为匹配区域f_mat，宽和高分别为Wmat,Hmat，匹配区域f_mat左上角点在源图像f(x,y)中的坐标为(xmat,ymat)；

获取与该次匹配对应的待匹配图像g(x,y)选取区域roi(x,y)，及roi(x,y)左上角点坐标(xroi,yroi)；

记该结果所对应的方向D'，记为待匹配图像g(x,y)相对源图像f(x,y)方向标识d，D'为D₁，D₂中的一个；

S313：获取图像坐标文件夹中最后保存图像的位置信息loc(a',b')，根据方向标识d通过下式得到当前待匹配图像g(x,y)的位置信息loc(a,b)：

将待匹配图像g(x,y)与其位置信息loc(a,b)保存于图像坐标文件夹中。

进一步地，步骤S4具体包括：

S41：根据步骤S312所得匹配区域左上角点在源图像f(x,y)的坐标(xmat,ymat)、图像g(x,y)选取区域roi左上角点坐标(xroi,yroi)和源图像f(x,y)及待匹配图像g(x,y)进行如下运算：

式中expUp,expBe,expLe,expRi分别为计算得到的源图像f(x,y)在上，下，左，右方向上需扩展的像素的数值，H_f,W_f为源图像f(x,y)高和宽，H_g,W_g为待匹配图像g(x,y)的高与宽；

S42：根据扩展像素的数值对源图像f(x,y)进行像素扩展并将扩充区域像素填充为RGB颜色空间(0,0,0)的黑色，得到扩充后的图像，记为背景图像F(x,y)，根据扩展像素的数值更新步骤S312所得的匹配区域f_mat、匹配区域左上角点在背景图像F(x,y)的坐标为(xmat',ymat')，并在F(x,y)上对左上角坐标为(xmat'-xroi,ymat'-yroi)，右下角坐标为(xmat'-xroi+W_g,ymat'-yroi+H_g)的矩形区域进行像素替换为g(x,y)，完成一次拼接，将所得拼接后图像记为拼接图像I_s；

S43：若用户将此图像所包含区域设置为再次检查区域，则将此图像设置为I₀，保存图像I₀，则进入步骤S6；

S44：若继续采集图像，则将图像I_s记为源图像f(x,y)，将图像Is中在步骤S42里进行像素替换为g(x,y)的区域记为源图像待选取区域f₁(x,y)，将源图像f(x,y)、源图像待选取区域f₁(x,y)与步骤S312所得方向标识d返回步骤S2；若采集完毕或需要查看图像，则进入步骤S5。

进一步地，S5具体包括：

由图像坐标文件夹中读取图像集I及其坐标信息，展示图像集中最后保存的图像，根据用户触发“上下左右”方向选项A跳转至指定图像，跳转逻辑为：根据触发的方向选项A由当前坐标信息为loc(a₁,b₁)的图像跳转为坐标信息为loc(a₂,b₂)的图像，loc(a₂,b₂)中a₂,b₂数值由下式得到：

若继续采集图像，则将图像I_s记为源图像f(x,y)，将图像Is中在步骤S42里进行像素替换为g(x,y)的区域记为源图像待选取区域f₁(x,y)，将源图像f(x,y)、源图像待选取区域f₁(x,y)与步骤S312所得方向标识d返回步骤S2。

进一步地，S6具体包括：

S61：获取步骤S43所述图像I₀，图像I₀的宽和高分别为

读取图像坐标文件夹中图像集I，获取图像I₀的位置信息loc(a₀,b₀)；

S62：获取显微镜的实时画面I_x，选取I_x画面中央宽度为

高度为

的区域为I_x1，将I_x1与图像坐标文件夹中图像集I中的图像依次进行步骤S3所述的卷积匹配，当匹配结果的数值在所设区域范围内时，停止匹配，记该图像为I_i,,获取该图像的位置信息loc(a_i,b_i)；

S63：根据loc(a₀,b₀)，loc(a_i,b_i)计算得到当前实时画面I_x与目标区域图像I₀的相对位置关系：

若a₀<a_i,则“向左移动a_i-a_o个图像视野”；

若a₀>a_i,则“向右移动a₀-a_i个图像视野”；

若b₀<b_i,则“向上移动b_i-b_o个图像视野”；

若a₀>a_i,则“向下移动b₀-b_i个图像视野”；

S64：将相对位置关系展现给用户，根据载物台旋钮转动圈数与视野移动的相对比例，计算得到应旋转旋钮的圈数或角度，指引用户移动显微镜载物台；经过时间t后，返回步骤S62；若用户停止或I₀和I_i为同一图像，则完成图像视野的搜寻与溯源。

另一方面，本发明提供一种细胞涂片辅助分析系统，包括：

图像输入模块，其外接显微镜，用于由显微镜相机进行细胞图像的连续采集，通过显微镜拍摄一张细胞图像，选取为源图像，将源图像全图作为源图像待选取区域；按“自左向右，自上向下”的蛇形扫描规则移动显微镜获取与上一图像视野具有m％重合区域的细胞图像，选取为待匹配原始图像，将待匹配原始图像进行预处理得到待匹配图像；

区域匹配模块，用于通过方向标识识别可能的拼接方向，对参与拼接的源图像待选取区域和待匹配图像分别在可能的方向上进行选取区域和卷积匹配，通过多次的卷积匹配直至达到设置值，通过不同方向和选取区域所得结果的比较，得到匹配结果与图像位置关系；

图像拼接模块，用于根据所得匹配结果进行图像像素扩展，扩展后在匹配区域内进行像素替换；引入图像集位置标注，将拼接过程中得到的图像相对位置信息转化为以坐标方式记录的数值信息，构建图像集中图像的坐标体系；

图像应用模块，用于将完成拼接的图像展示给用户，用户可直观看到目前已观测的细胞区域情况；同时根据所得图像坐标体系提供对已检查过的细胞图像区域的再观察，实现在展示当前图像时根据用户触发的方向选项跳转至对应检查过程中该视野四周的图像区域；当需要对已检测过的区域进行二次检查时，获取当前涂片图像并与图像集图像比较，得到当前视野在图像集中的位置，并且与目标视野的位置比较，得到当前视野与目标视野的相对位置关系，将相对位置关系展现给用户，根据载物台旋钮转动圈数与视野移动的相对比例，计算得到应旋转旋钮的圈数或角度，指引用户移动显微镜载物台，实现图像视野的搜寻与溯源。

进一步地，所示图像输入模块具体功能如下：

S11：新建一个文件夹，名为图像坐标文件夹，用于储存运行中得到的包含位置信息loc(a,b)的细胞图像集I；

S12：将用户选择的显微镜视野移动方向记录为方向标识d，根据设定的扫描规则，方向标识d为“右”、“左”、“下”中的一种；

S13：通过显微镜拍摄第一张细胞图像I₁，选取为源图像f(x,y)，对该图像赋予位置信息loc(a,b)为loc(0,0)并保存于图像坐标文件夹中；

S13：将源图像f(x,y)全图作为源图像待选取区域f₁(x,y)；

S21：按“自左向右，自上向下”的蛇形扫描规则移动显微镜获取与上一图像视野具有m％重合区域的细胞图像，选取为待匹配原始图像g₀(x,y)；

S22：获取源图像f(x,y)在YUV颜色空间下的灰度值Y的平均值

色差U,V的平均值

获取待匹配原始图像g₀(x,y)在YUV颜色空间下的灰度值Y的平均值

色差U,V的平均值

通过通道拆分获取待匹配原始图像g₀(x,y)YUV颜色空间下三个颜色参量的数值矩阵Y_g(x,y),U_g(x,y),V_g(x,y)，通过下式使修改后的待匹配原始图像g₀(x,y)在YUV颜色空间下的三个颜色参量的数值矩阵Y'_g(x,y),U'_g(x,y),V'_g(x,y)的平均值

与源图像f(x,y)匹配：

上式指对矩阵中每一个数值进行加减运算；将所得三个颜色参量的数值矩阵Y'_g(x,y),U'_g(x,y),V'_g(x,y)分别作为Y,U,V通道得到预处理后的待匹配图像g(x,y)；

所述区域匹配模块具体功能如下：

S31：获取方向标识d，根据方向标识d及S21所述扫描规则得到匹配的两个方向D₁，D₂：

若方向标识为“右”，D₁，D₂分别为“右”和“下”；

若方向标识为“左”，D₁，D₂分别为“左”和“下”；

若方向标识为“下”，D₁，D₂分别为“左”和“右”；

获取待匹配图像g(x,y)宽和高为W_g,H_g；获取源图像待选取区域f₁(x,y)宽和高为W_f1,H_f1；

S32：对待匹配图像g(x,y)，若匹配的方向D₁或D₂为“左”或“右”，则在方向标识所示方向相反方向上以如下规则选取两个宽度和高度相同的区域roi1(x,y),roi2(x,y)：宽为W_g值十分之一、高度为H_g值二分之一，其中区域roi1(x,y),roi2(x,y)的宽度记为W_roi，高度记为H_roi；若方向标识为“下”，则在方向标识所示方向相反方向上以如下规则选取两个宽度和高度相同的区域roi1(x,y),roi2(x,y)：高度为H_g值十分之一、宽度为W_g值二分之一，其中区域roi1(x,y),roi2(x,y)的宽度记为W_roi，高度记为H_roi；

S33：对源图像待选取区域f₁(x,y)，若匹配的方向D₁或D₂为“左”或“右”，则在方向标识所示方向上按宽度为W_f2，高度为H_f2选取出源图像待选取区域f₁(x,y)的选取区域f₂(x,y)：

W_f2＝min{W₁,W₂,W₃…W_n}

H_f2＝H_f1

式中W_f2计算方式即为W_f1值除以正整数n所得的结果中，能满足不小于七倍W_roi值的最小值；

若方向标识为“下”，则在方向标识所示方向上按宽度为W_f2'，高度为H_f2'选取出源图像待选取区域f₁(x,y)选取区域f₂(x,y)：

H_f2'＝min{H₁,H₂,H₃…H_n}

W_f2'＝W_f1

S34：在两个方向D₁，D₂中选择一个方向，记为D；在步骤S32所得的待匹配图像g(x,y)两个选取区域roi1(x,y),roi2(x,y)选取一个，记为roi(x,y)；

S35：对区域roi(x,y)通过以下方式选取K*K区域C作为卷积核Conv：

在RGB颜色空间中获取roi(x,y)中每个像素点的RGB三个通道的数值，计算每个像素点的加权颜色特征值，由下式计算得到第j列第k行的像素点的加权颜色特征值Col_jk:

Col_jk＝0.6*R_jk+0.1*G_jk+0.3*B_jk

式中R_jk，G_jk，B_jk分别为第j列第k行的像素点R、G、B三个通道对应的数值，数值范围为0-255，Col_jk为该像素点对应的加权颜色特征值，数值范围为0-255；将区域roi(x,y)中所有像素点的加权颜色特征值构成加权颜色特征矩阵Col；

S36：通过直方图得到卷积核选取区域：

获取加权颜色特征矩阵Col的直方图从而统计各个加权颜色特征值出现的频次，选取直方图中出现频次最接近0.05*H_roi*W_roi的加权颜色特征值为选择值Co，其中H_roi、W_roi为roi(x,y)区域的高度和宽度；

在加权颜色特征矩阵Col中查找加权颜色特征值与选择值Co数值相同的所有像素点，将这些像素点信息构成颜色特征值集合{Colⁱ _jk}，该集合的元素Colⁱ _jk表达的信息为：该像素的位置信息为第j列第k行，该像素的序号标识为i，i为从1至n的正整数，表示按行、列数“自左向右，自上向下”的方式对集合中元素的排序；

S37：通过以下方式确定卷积核区域及其参数：

在集合{Colⁱ _jk}选取未被选取过且序号标识i最小的集合元素Colⁱ _jk，得到该元素对应的位置信息(j,k)，选择区域roi(x,y)中左上角为(j,k)，右下角为(j+K-1,k+K-1)的区域为卷积核区域，将该卷积核区域的每个像素的R、G、B三个通道颜色值取倒数，得到卷积核Conv的参数；

若集合{Colⁱ _jk}无未被选取过的集合元素Colⁱ _jk，则记相似度Sim为0，执行步骤S311；

S38：通过以下方式进行卷积运算得到特征矩阵R：

使用卷积核Conv在选取区域f₂(x,y)上滑动，滑动的步长为S，将每次停留区域中的每个像素点对应的RGB颜色空间中3个颜色数值乘以卷积核Conv对应位置上的参数，并相加得到一个数值，该数值作为该区域卷积的结果，所有区域卷积的结果构成特征矩阵R；特征矩阵R的宽W_R和高H_R与步长S、卷积核Conv的宽K与高K、选取区域f₂(x,y)的宽W_f2与高H_f2的关系是：

S39：进行卷积运算结果的判断：

若特征矩阵R中含有范围在[K*K*3-∈,K*K*3+∈]的数值，则获取数值，按照步骤S36所述构成颜色特征值集合{Colⁱ _jk}的方式构成特征值集合{Rⁱ _jk}，执行步骤S310，否则返回步骤S37；K*K*3数值为卷积的两个区域完全相同时所得的计算结果，∈为用户设置的阈值；

S310：通过以下方式确定匹配位置：

选取集合{Rⁱ _jk}中未被选取过且序号标识最小的元素，得到该元素所对应的卷积运算过程中在选取区域f₂(x,y)中的区域，获取该区域，记左上角的坐标位置为(j_f,k_f)；

将选取区域f₂(x,y)中左上角位置为(j_f-j,k_f-k)，右下角位置为(j_f-j+W_roi,k_f-k+H_roi)的区域记为待校验区域f₃，区域f₃的大小与roi(x,y)区域相同，j,k为在步骤S36中对应的Col_jk值中的j,k值；

在roi(x,y)区域中选择异于步骤S34所述区域C的N个大小为K*K的区域，分别将其作为卷积核Conv'_N，将该卷积核区域的每个像素的R、G、B三个通道颜色值取倒数，得到卷积核Conv'_N的参数；

将卷积核Conv'_N与其待校验区域f₃中对应的同个相对于左上角的位置，相同大小的区域进行卷积运算：在每个像素点对应的RGB颜色空间中3个颜色数值乘以卷积核Conv'_N对应位置上的参数，并相加得到一个数值，若该值范围在[K*K*3-∈,K*K*3+∈]之间，则M＝M+1，M为值在范围内的次数标识，K*K*3数值为卷积的两个区域完全相同时所得的计算结果,∈为用户设置的阈值；

对N个大小为K*K的区域执行上述操作后，计算相似度Sim值：

相似度大于设置的值X时，执行步骤S311；否则返回步骤S310；

步骤S311：将相似度Sim值记为Sim_n，n为执行本步骤的次数标记；对步骤S34所述的方向的另一个选取区域、另一个方向对应的两个选取区域分别进行步骤S35至步骤S310，得到另外三个Sim_n值；

步骤S312：选择四个Sim_n值中最大的值为匹配结果，记该结果对应于在步骤S310时所得的待校验区域f3为匹配区域f_mat，宽和高分别为Wmat,Hmat，匹配区域f_mat左上角点在源图像f(x,y)中的坐标为(xmat,ymat)；

获取与该次匹配对应的待匹配图像g(x,y)选取区域roi(x,y)，及roi(x,y)左上角点坐标(xroi,yroi)；

记该结果所对应的方向D'，记为待匹配图像g(x,y)相对源图像f(x,y)方向标识d，D'为D₁，D₂中的一个；

S313：获取图像坐标文件夹中最后保存图像的位置信息loc(a',b')，根据方向标识d通过下式得到当前待匹配图像g(x,y)的位置信息loc(a,b)：

将待匹配图像g(x,y)与其位置信息loc(a,b)保存于图像坐标文件夹中；

所述图像拼接模块的具体功能如下：

S41：根据步骤S312所得匹配区域左上角点在源图像f(x,y)的坐标(xmat,ymat)、图像g(x,y)选取区域roi左上角点坐标(xroi,yroi)和源图像f(x,y)及待匹配图像g(x,y)进行如下运算：

式中expUp,expBe,expLe,expRi分别为计算得到的源图像f(x,y)在上，下，左，右方向上需扩展的像素的数值，H_f,W_f为源图像f(x,y)高和宽，H_g,W_g为待匹配图像g(x,y)的高与宽；

S42：根据扩展像素的数值对源图像f(x,y)进行像素扩展并将扩充区域像素填充为RGB颜色空间(0,0,0)的黑色，得到扩充后的图像，记为背景图像F(x,y)，根据扩展像素的数值更新步骤S312所得的匹配区域f_mat、匹配区域左上角点在背景图像F(x,y)的坐标为(xmat',ymat')，并在F(x,y)上对左上角坐标为(xmat'-xroi,ymat'-yroi)，右下角坐标为(xmat'-xroi+W_g,ymat'-yroi+H_g)的矩形区域进行像素替换为g(x,y)，完成一次拼接，将所得拼接后图像记为拼接图像I_s；

S43：若用户将此图像所包含区域设置为再次检查区域，则将此图像设置为I₀，保存图像I₀，则进入图像应用模块的图像视野搜寻溯源的功能；

S44：若继续采集图像，则将图像I_s记为源图像f(x,y)，将图像Is中在步骤S42里进行像素替换为g(x,y)的区域记为源图像待选取区域f₁(x,y)，将源图像f(x,y)、源图像待选取区域f₁(x,y)与步骤S312所得方向标识d返回图像输入模块的获得待匹配图像的功能；若采集完毕或需要查看图像，则进入图像应用模块的全图观察和图像集坐标体系的功能；

所述图像应用模块的全图观察和图像集坐标体系的功能包括：

由图像坐标文件夹中读取图像集I及其坐标信息，展示图像集中最后保存的图像，根据用户触发“上下左右”方向选项A跳转至指定图像，跳转逻辑为：根据触发的方向选项A由当前坐标信息为loc(a₁,b₁)的图像跳转为坐标信息为loc(a₂,b₂)的图像，loc(a₂,b₂)中a₂,b₂数值由下式得到：

若继续采集图像，则将图像I_s记为源图像f(x,y)，将图像Is中在步骤S42里进行像素替换为g(x,y)的区域记为源图像待选取区域f₁(x,y)，将源图像f(x,y)、源图像待选取区域f₁(x,y)与步骤S312所得方向标识d返回图像输入模块的获得待匹配图像的功能；

所述图像应用模块的图像视野搜寻溯源的功能包括：

S61：获取步骤S43所述图像I₀，图像I₀的宽和高分别为

读取图像坐标文件夹中图像集I，获取图像I₀的位置信息loc(a₀,b₀)；

S62：获取显微镜的实时画面I_x，选取I_x画面中央宽度为

高度为

的区域为I_x1，将I_x1与图像坐标文件夹中图像集I中的图像依次进行步骤S3所述的卷积匹配，当匹配结果的数值在所设区域范围内时，停止匹配，记该图像为I_i,,获取该图像的位置信息loc(a_i,b_i)；

S63：根据loc(a₀,b₀)，loc(a_i,b_i)计算得到当前实时画面I_x与目标区域图像I₀的相对位置关系：

若a₀<a_i,则“向左移动a_i-a_o个图像视野”；

若a₀>a_i,则“向右移动a₀-a_i个图像视野”；

若b₀<b_i,则“向上移动b_i-b_o个图像视野”；

若a₀>a_i,则“向下移动b₀-b_i个图像视野”；

S64：将相对位置关系展现给用户，根据载物台旋钮转动圈数与视野移动的相对比例，计算得到应旋转旋钮的圈数或角度，指引用户移动显微镜载物台；经过时间t后，返回步骤S62；若用户停止或I₀和I_i为同一图像，则完成图像视野的搜寻与溯源。

与现有技术相比，本发明的有益效果至少包括：

本发明根据显微镜下细胞涂片图像在移动过程中的特点，基于图像匹配技术实现对细胞图像在移动过程中的实时拼接，在拼接过程中进行对可能重合区域进行选取与检测，减小运算量和提高运行速度；根据细胞涂片图像中细胞与外界环境颜色存在差异的特点，通过直方图选取特定区域作为卷积核区域，提高卷积结果的有效性；引入对图像在同一批次采集的图像集中相对位置标定的功能，实现对显微镜采集的系列涂片图像的位置回溯；为传统手动显微镜提供视野移动记录，实现对已扫描分析区域的可视化观测及溯源，提供直观了解已观测过区域位置情况及当前视野在已扫描过区域中的位置的途径；利用构建的图像集及其图像间的位置信息提供细胞涂片中需要再次检测的特定区域的搜寻与溯源的方法，采用本发明的方法，可减少因扫描分析过程中视野不规则移动导致的细胞形态学检查漏检、重复检查情况产生，可在分析过程中随时对已扫描的区域进行回看和定位，可辅助实现多人多次在不同时间对同一区域的观察，提高细胞形态学检查的质量。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明细胞涂片辅助分析方法的流程图；

图2是本发明图像匹配示意图；

图3是本发明具体执行过程中显示细胞涂片图像的流程示意图；

图4是本发明具体执行过程中卷积匹配的过程示意图；其中(a)为roi(x,y)区域及其加权颜色特征值直方图；(b)为卷积核区域在roi(x,y)(局部)中的位置示意图及卷积核参数示意图；(c)为f₃在f₂(x,y)中的位置示意图及S310步骤示意图；

图5是本发明细胞涂片辅助分析系统的模块结构图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合附图和具体的实施例对本发明的技术方案进行详细说明。需要指出的是，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1所示，本发明提供一种细胞涂片辅助分析方法，包括如下步骤：

步骤S1：建立文件夹，并进行参数初始化，获取第一张细胞图像；

S11：新建一个文件夹，名为图像坐标文件夹，用于储存系统运行中得到的包含位置信息loc(a,b)的细胞图像集I；

S12：将用户选择的显微镜视野移动方向记录为方向标识d，根据下述所设定的扫描规则，方向标识d为“右”、“左”、“下”中的一种；

S13：通过显微镜拍摄第一张细胞图像I₁，选取为源图像f(x,y)，对该图像赋予位置信息loc(a,b)为loc(0,0)并保存于图像坐标文件夹中；

S13：将源图像f(x,y)全图作为源图像待选取区域f₁(x,y)；

步骤S2：图像集获取和待匹配原始图像g₀(x,y)的预处理；

S21：按“自左向右，自上向下”的蛇形扫描规则移动显微镜获取与上一图像视野具有m％重合区域的细胞图像，选取为待匹配原始图像g₀(x,y)；

S22：获取源图像f(x,y)在YUV颜色空间下的灰度值Y的平均值

色差U,V的平均值

获取待匹配原始图像g₀(x,y)在YUV颜色空间下的灰度值Y的平均值

色差U,V的平均值

通过通道拆分获取待匹配原始图像g₀(x,y)YUV颜色空间下三个颜色参量的数值矩阵Y_g(x,y),U_g(x,y),V_g(x,y)，通过下式使修改后的待匹配原始图像g₀(x,y)在YUV颜色空间下的三个颜色参量的数值矩阵Y'_g(x,y),U'_g(x,y),V'_g(x,y)的平均值

与源图像f(x,y)匹配：

上式指对矩阵中每一个数值进行加减运算；将所得三个颜色参量的数值矩阵Y'_g(x,y),U'_g(x,y),V'_g(x,y)分别作为Y,U,V通道得到预处理后的待匹配图像g(x,y)；如图3(a)所示；

步骤S3：对步骤S13所得的源图像待选取区域f₁(x,y)，步骤S22所得的待匹配图像g(x,y)进行区域选取与匹配，根据得到的图像匹配结果R_min(x,y)得到源图像f(x,y)和待匹配图像g(x,y)相对位置，并转化为以坐标方式记录的数值信息loc_g(a',b')；如图2所示；

S31：获取方向标识d，根据方向标识d及S21所述扫描规则得到匹配的两个方向D₁，D₂：

若方向标识为“右”，D₁，D₂分别为“右”和“下”；

若方向标识为“左”，D₁，D₂分别为“左”和“下”；

若方向标识为“下”，D₁，D₂分别为“左”和“右”；

本实施例中方向标识d为“右”，D₁，D₂分别为“右”和“下”；

获取待匹配图像g(x,y)宽和高为W_g,H_g；获取源图像待选取区域f₁(x,y)宽和高为W_f1,H_f1；

S32：对待匹配图像g(x,y)，若匹配的方向D₁或D₂为“左”或“右”，则在方向标识所示方向相反方向上以如下规则选取两个宽度和高度相同的区域roi1(x,y),roi2(x,y)：宽为W_g值十分之一、高度为H_g值二分之一，其中区域roi1(x,y),roi2(x,y)的宽度记为W_roi，高度记为H_roi；若方向标识为“下”，则在方向标识所示方向相反方向上以如下规则选取两个宽度和高度相同的区域roi1(x,y),roi2(x,y)：高度为H_g值十分之一、宽度为W_g值二分之一，其中区域roi1(x,y),roi2(x,y)的宽度记为W_roi，高度记为H_roi；本实施例中，区域roi1(x,y),roi2(x,y)分别为400px*1500px的矩形区域，如图3(b)所示；

S33：对源图像待选取区域f₁(x,y)，若匹配的方向D₁或D₂为“左”或“右”，则在方向标识所示方向上按宽度为W_f2，高度为H_f2选取出源图像待选取区域f₁(x,y)的选取区域f₂(x,y)：

W_f2＝min{W₁,W₂,W₃…W_n}

H_f2＝H_f1

式中W_f2计算方式即为W_f1值除以正整数n所得的结果中，能满足不小于七倍W_roi值的最小值；本实施例中，源待选取区域f₁(x,y)的选取区域f₂(x,y)为2000px*3000px的矩形区域，如图3(b)所示；

若方向标识为“下”，则在方向标识所示方向上按宽度为W_f2'，高度为H_f2'选取出源图像待选取区域f₁(x,y)选取区域f₂(x,y)：

H_f2'＝min{H₁,H₂,H₃…H_n}

W_f2'＝W_f1

S34：在两个方向D₁，D₂中选择一个方向，记为D；在步骤S32所得的待匹配图像g(x,y)两个选取区域roi1(x,y),roi2(x,y)选取一个，记为roi(x,y)；本实施例中选择的方向为D₁，即“右”；选择的选取区域roi(x,y)为roi2(x,y)，其大小为400*1500，如图4(a)所示；

S35：对区域roi(x,y)通过以下方式选取K*K区域C作为卷积核Conv：

在RGB颜色空间中获取roi(x,y)中每个像素点的RGB三个通道的数值，计算每个像素点的加权颜色特征值，由下式计算得到第j列第k行的像素点的加权颜色特征值Col_jk:

Col_jk＝0.6*R_jk+0.1*G_jk+0.3*B_jk

式中R_jk，G_jk，B_jk分别为第j列第k行的像素点R、G、B三个通道对应的数值，数值范围为0-255，Col_jk为该像素点对应的加权颜色特征值，数值范围为0-255；将区域roi(x,y)中所有像素点的加权颜色特征值构成加权颜色特征矩阵Col；本实施例中选取区域C为20*20；

S36：通过直方图得到卷积核选取区域：

获取加权颜色特征矩阵Col的直方图从而统计各个加权颜色特征值出现的频次，选取直方图中出现频次最接近0.05*H_roi*W_roi的加权颜色特征值为选择值Co，其中H_roi、W_roi为roi(x,y)区域的高度和宽度；直方图如图4(a)所示；

在加权颜色特征矩阵Col中查找加权颜色特征值与选择值Co数值相同的所有像素点，将这些像素点信息构成颜色特征值集合{Colⁱ _jk}，该集合的元素Colⁱ _jk表达的信息为：该像素的位置信息为第j列第k行，该像素的序号标识为i，i为从1至n的正整数，表示按行、列数“自左向右，自上向下”的方式对集合中元素的排序；

S37：通过以下方式确定卷积核区域及其参数：

在集合{Colⁱ _jk}选取未被选取过且序号标识i最小的集合元素Colⁱ _jk，得到该元素对应的位置信息(j,k)，选择区域roi(x,y)中左上角为(j,k)，右下角为(j+K-1,k+K-1)的区域为卷积核区域，将该卷积核区域的每个像素的R、G、B三个通道颜色值取倒数，得到卷积核Conv的参数；选取的卷积核区域及卷积核参数如图4(b)所示；

若集合{Colⁱ _jk}无未被选取过的集合元素Colⁱ _jk，则记相似度Sim为0，执行步骤S311；

S38：通过以下方式进行卷积运算得到特征矩阵R：

使用卷积核Conv在选取区域f₂(x,y)上滑动，滑动的步长为S，将每次停留区域中的每个像素点对应的RGB颜色空间中3个颜色数值乘以卷积核Conv对应位置上的参数，并相加得到一个数值，该数值作为该区域卷积的结果，所有区域卷积的结果构成特征矩阵R；特征矩阵R的宽W_R和高H_R与步长S、卷积核Conv的宽K与高K、选取区域f₂(x,y)的宽W_f2与高H_f2的关系是：

S39：进行卷积运算结果的判断：

若特征矩阵R中含有范围在[K*K*3-∈,K*K*3+∈]的数值，则获取数值，按照步骤S36所述构成颜色特征值集合{Colⁱ _jk}的方式构成特征值集合{Rⁱ _jk}，执行步骤S310，否则返回步骤S37；K*K*3数值为卷积的两个区域完全相同时所得的计算结果，∈为用户设置的阈值；

S310：通过以下方式确定匹配位置，如图4(c)所示；

选取集合{Rⁱ _jk}中未被选取过且序号标识最小的元素，得到该元素所对应的卷积运算过程中在选取区域f₂(x,y)中的区域，获取该区域，记左上角的坐标位置为(j_f,k_f)；

将选取区域f₂(x,y)中左上角位置为(j_f-j,k_f-k)，右下角位置为(j_f-j+W_roi,k_f-k+H_roi)的区域记为待校验区域f₃，区域f₃的大小与roi(x,y)区域相同，j,k为在步骤S36中对应的Col_jk值中的j,k值；

在roi(x,y)区域中选择异于步骤S34所述区域C的N个大小为K*K的区域，分别将其作为卷积核Conv'_N，将该卷积核区域的每个像素的R、G、B三个通道颜色值取倒数，得到卷积核Conv'_N的参数；

将卷积核Conv'_N与其待校验区域f₃中对应的同个相对于左上角的位置，相同大小的区域进行卷积运算：在每个像素点对应的RGB颜色空间中3个颜色数值乘以卷积核Conv'_N对应位置上的参数，并相加得到一个数值，若该值范围在[K*K*3-∈,K*K*3+∈]之间，则M＝M+1，M为值在范围内的次数标识，K*K*3数值为卷积的两个区域完全相同时所得的计算结果,∈为用户设置的阈值；

对N个大小为K*K的区域执行上述操作后，计算相似度Sim值：

相似度大于设置的值X时，执行步骤S311；否则返回步骤S310；

步骤S311：将相似度Sim值记为Sim_n，n为执行本步骤的次数标记；对步骤S34所述的方向的另一个选取区域、另一个方向对应的两个选取区域分别进行步骤S35至步骤S310，得到另外三个Sim_n值；

步骤S312：选择四个Sim_n值中最大的值为匹配结果，记该结果对应于在步骤S310时所得的待校验区域f₃为匹配区域f_mat，宽和高分别为Wmat,Hmat，匹配区域f_mat左上角点在源图像f(x,y)中的坐标为(xmat,ymat)；

获取与该次匹配对应的待匹配图像g(x,y)选取区域roi(x,y)，及roi(x,y)左上角点坐标(xroi,yroi)；

记该结果所对应的方向D'，记为待匹配图像g(x,y)相对源图像f(x,y)方向标识d，D'为D₁，D₂中的一个；本实施例中，(xmat,ymat)为(6262,1354)，(xroi,yroi)为(0,1500),方向标识d为右，f_mat和roi(x,y)在f(x,y)，g(x,y)图中位置如图3(c)所示；

S313：获取图像坐标文件夹中最后保存图像的位置信息loc(a',b')，根据方向标识d通过下式得到当前待匹配图像g(x,y)的位置信息loc(a,b)：

将待匹配图像g(x,y)与其位置信息loc(a,b)保存于图像坐标文件夹中。

步骤S4：扩展源图像f(x,y)像素，拼接图像；

S41：根据步骤S312所得匹配区域左上角点在源图像f(x,y)的坐标(xmat,ymat)、图像g(x,y)选取区域roi左上角点坐标(xroi,yroi)和源图像f(x,y)及待匹配图像g(x,y)进行如下运算：

式中expUp,expBe,expLe,expRi分别为计算得到的源图像f(x,y)在上，下，左，右方向上需扩展的像素的数值，H_f,W_f为源图像f(x,y)高和宽，H_g,W_g为待匹配图像g(x,y)的高与宽；本实施例中所得为expUp,expBe,expLe,expRi分别为164，0，0，3472；

S42：根据扩展像素的数值对源图像f(x,y)进行像素扩展并将扩充区域像素填充为RGB颜色空间(0,0,0)的黑色，得到扩充后的图像，记为背景图像F(x,y)，根据扩展像素的数值更新步骤S312所得的匹配区域f_mat、匹配区域左上角点在背景图像F(x,y)的坐标为(xmat',ymat')，并在F(x,y)上对左上角坐标为(xmat'-xroi,ymat'-yroi)，右下角坐标为(xmat'-xroi+W_g,ymat'-yroi+H_g)的矩形区域如图3(d)所示，进行像素替换为g(x,y)，像素替换后图像如图3(e)所示，完成一次拼接，将所得拼接后图像记为拼接图像I_s；

S43：若用户将此图像所包含区域设置为再次检查区域，则将此图像设置为I₀，保存图像I₀，则进入步骤S6；

S44：若继续采集图像，则将图像I_s记为源图像f(x,y)，将图像Is中在步骤S42里进行像素替换为g(x,y)的区域记为源图像待选取区域f₁(x,y)，将源图像f(x,y)、源图像待选取区域f₁(x,y)与步骤S312所得方向标识d返回步骤S2；若采集完毕或需要查看图像，则进入步骤S5；

步骤S5：由图像坐标文件夹中读取图像集I及其坐标信息，展示图像集中最后保存的图像，根据用户触发“上下左右”方向选项A跳转至指定图像，跳转逻辑为：根据触发的方向选项A由当前坐标信息为loc(a₁,b₁)的图像跳转为坐标信息为loc(a₂,b₂)的图像，loc(a₂,b₂)中a₂,b₂数值由下式得到：

若继续采集图像，则将图像I_s记为源图像f(x,y)，将图像Is中在步骤S42里进行像素替换为g(x,y)的区域记为源图像待选取区域f₁(x,y)，将源图像f(x,y)、源图像待选取区域f₁(x,y)与步骤S312所得方向标识d返回步骤S2；

步骤S6：图像视野的搜寻与溯源

S61：获取步骤S43所述图像I₀，图像I₀的宽和高分别为

读取图像坐标文件夹中图像集I，获取图像I₀的位置信息loc(a₀,b₀)；

S62：获取显微镜的实时画面I_x，选取I_x画面中央宽度为

高度为

的区域为I_x1，将I_x1与图像坐标文件夹中图像集I中的图像依次进行步骤S3所述的卷积匹配，当匹配结果的数值在所设区域范围内时，停止匹配，记该图像为I_i,,获取该图像的位置信息loc(a_i,b_i)；

S63：根据loc(a₀,b₀)，loc(a_i,b_i)计算得到当前实时画面I_x与目标区域图像I₀的相对位置关系：

若a₀<a_i,则“向左移动a_i-a_o个图像视野”

若a₀>a_i,则“向右移动a₀-a_i个图像视野”

若b₀<b_i,则“向上移动b_i-b_o个图像视野”

若a₀>a_i,则“向下移动b₀-b_i个图像视野”

S64：将相对位置关系展现给用户，根据载物台旋钮转动圈数与视野移动的相对比例，计算得到应旋转旋钮的圈数或角度，指引用户移动显微镜载物台；经过时间t后，返回步骤S62；若用户停止或I₀和I_i为同一图像，则完成图像视野的搜寻与溯源。

实施例2

如图5所示，本发明提供一种细胞涂片辅助分析系统，包括图像输入模块、区域匹配模块、图像拼接模块和图像应用模块；

所述图像输入模块外接显微镜，用于由显微镜相机进行细胞图像的连续采集，通过显微镜拍摄一张细胞图像，选取为源图像，将源图像全图作为源图像待选取区域；按“自左向右，自上向下”的蛇形扫描规则移动显微镜获取与上一图像视野具有m％重合区域的细胞图像，选取为待匹配原始图像，将待匹配原始图像进行预处理得到待匹配图像；

所述区域匹配模块用于通过方向标识识别可能的拼接方向，对参与拼接的源图像待选取区域和待匹配图像分别在可能的方向上进行选取区域和卷积匹配，通过多次的卷积匹配直至达到设置值，通过不同方向和选取区域所得结果的比较，得到匹配结果与图像位置关系；

所述图像拼接模块用于根据所得匹配结果进行图像像素扩展，扩展后在匹配区域内进行像素替换；引入图像集位置标注，将拼接过程中得到的图像相对位置信息转化为以坐标方式记录的数值信息，构建图像集中图像的坐标体系；

所述图像应用模块用于将完成拼接的图像展示给用户，用户可直观看到目前已观测的细胞区域情况；同时根据所得图像坐标体系提供对已检查过的细胞图像区域的再观察，实现在展示当前图像时根据用户触发的方向选项跳转至对应检查过程中该视野四周的图像区域；当需要对已检测过的区域进行二次检查时，获取当前涂片图像并与图像集图像比较，得到当前视野在图像集中的位置，并且与目标视野的位置比较，得到当前视野与目标视野的相对位置关系，将相对位置关系展现给用户，根据载物台旋钮转动圈数与视野移动的相对比例，计算得到应旋转旋钮的圈数或角度，指引用户移动显微镜载物台，实现图像视野的搜寻与溯源。

本实施例中的其他特征与实施例1相同，故在此不再赘述。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种细胞涂片辅助分析方法，其特征在于，包括如下步骤：

S1、由显微镜相机进行细胞图像的连续采集，通过显微镜拍摄一张细胞图像，选取为源图像，将源图像全图作为源图像待选取区域；

S2、按“自左向右，自上向下”的蛇形扫描规则移动显微镜获取与上一图像视野具有m％重合区域的细胞图像，选取为待匹配原始图像，将待匹配原始图像进行预处理得到待匹配图像；

S3、通过方向标识识别可能的拼接方向，对参与拼接的源图像待选取区域和待匹配图像分别在可能的方向上进行选取区域和卷积匹配，通过多次的卷积匹配直至达到设置值，通过不同方向和选取区域所得结果的比较，得到匹配结果与图像位置关系；

S4、根据所得匹配结果进行图像像素扩展，扩展后在匹配区域内进行像素替换；引入图像集位置标注，将拼接过程中得到的图像相对位置信息转化为以坐标方式记录的数值信息，构建图像集中图像的坐标体系；

S5、将完成拼接的图像展示给用户，用户可直观看到目前已观测的细胞区域情况；同时根据所得图像坐标体系提供对已检查过的细胞图像区域的再观察，实现在展示当前图像时根据用户触发的方向选项跳转至对应检查过程中该视野四周的图像区域。

2.根据权利要求1所述的细胞涂片辅助分析方法，其特征在于，还包括：

S6、当需要对已检测过的区域进行二次检查时，获取当前涂片图像并与图像集图像比较，得到当前视野在图像集中的位置，并且与目标视野的位置比较，得到当前视野与目标视野的相对位置关系，将相对位置关系展现给用户，根据载物台旋钮转动圈数与视野移动的相对比例，计算得到应旋转旋钮的圈数或角度，指引用户移动显微镜载物台，实现图像视野的搜寻与溯源。

3.根据权利要求2所述的细胞涂片辅助分析方法，其特征在于，步骤S1具体包括：

S11：新建一个文件夹，名为图像坐标文件夹，用于储存运行中得到的包含位置信息loc(a,b)的细胞图像集I；

S12：将用户选择的显微镜视野移动方向记录为方向标识d，根据设定的扫描规则，方向标识d为“右”、“左”、“下”中的一种；

S13：通过显微镜拍摄第一张细胞图像I₁，选取为源图像f(x,y)，对该图像赋予位置信息loc(a,b)为loc(0,0)并保存于图像坐标文件夹中；

S13：将源图像f(x,y)全图作为源图像待选取区域f₁(x,y)。

4.根据权利要求3所述的细胞涂片辅助分析方法，其特征在于，步骤S2具体包括：

S21：按“自左向右，自上向下”的蛇形扫描规则移动显微镜获取与上一图像视野具有m％重合区域的细胞图像，选取为待匹配原始图像g₀(x,y)；

S22：获取源图像f(x,y)在YUV颜色空间下的灰度值Y的平均值

色差U,V的平均值

获取待匹配原始图像g₀(x,y)在YUV颜色空间下的灰度值Y的平均值

色差U,V的平均值

通过通道拆分获取待匹配原始图像g₀(x,y)YUV颜色空间下三个颜色参量的数值矩阵Y_g(x,y),U_g(x,y),V_g(x,y)，通过下式使修改后的待匹配原始图像g₀(x,y)在YUV颜色空间下的三个颜色参量的数值矩阵Y'_g(x,y),U'_g(x,y),V'_g(x,y)的平均值

与源图像f(x,y)匹配：

上式指对矩阵中每一个数值进行加减运算；将所得三个颜色参量的数值矩阵Y'_g(x,y),U'_g(x,y),V'_g(x,y)分别作为Y,U,V通道得到预处理后的待匹配图像g(x,y)。

5.根据权利要求4所述的细胞涂片辅助分析方法，其特征在于，步骤S3具体包括：

S31：获取方向标识d，根据方向标识d及S21所述扫描规则得到匹配的两个方向D₁，D₂：

若方向标识为“右”，D₁，D₂分别为“右”和“下”；

若方向标识为“左”，D₁，D₂分别为“左”和“下”；

若方向标识为“下”，D₁，D₂分别为“左”和“右”；

获取待匹配图像g(x,y)宽和高为W_g,H_g；获取源图像待选取区域f₁(x,y)宽和高为W_f1,H_f1；

S32：对待匹配图像g(x,y)，若匹配的方向D₁或D₂为“左”或“右”，则在方向标识所示方向相反方向上以如下规则选取两个宽度和高度相同的区域roi1(x,y),roi2(x,y)：宽为W_g值十分之一、高度为H_g值二分之一，其中区域roi1(x,y),roi2(x,y)的宽度记为W_roi，高度记为H_roi；若方向标识为“下”，则在方向标识所示方向相反方向上以如下规则选取两个宽度和高度相同的区域roi1(x,y),roi2(x,y)：高度为H_g值十分之一、宽度为W_g值二分之一，其中区域roi1(x,y),roi2(x,y)的宽度记为W_roi，高度记为H_roi；

S33：对源图像待选取区域f₁(x,y)，若匹配的方向D₁或D₂为“左”或“右”，则在方向标识所示方向上按宽度为W_f2，高度为H_f2选取出源图像待选取区域f₁(x,y)的选取区域f₂(x,y)：

W_f2＝min{W₁,W₂,W₃…W_n}

H_f2＝H_f1

式中W_f2计算方式即为W_f1值除以正整数n所得的结果中，能满足不小于七倍W_roi值的最小值；

若方向标识为“下”，则在方向标识所示方向上按宽度为W_f2'，高度为H_f2'选取出源图像待选取区域f₁(x,y)选取区域f₂(x,y)：

H_f2'＝min{H₁,H₂,H₃…H_n}

W_f2'＝W_f1

S34：在两个方向D₁，D₂中选择一个方向，记为D；在步骤S32所得的待匹配图像g(x,y)两个选取区域roi1(x,y),roi2(x,y)选取一个，记为roi(x,y)；

S35：对区域roi(x,y)通过以下方式选取K*K区域C作为卷积核Conv：

在RGB颜色空间中获取roi(x,y)中每个像素点的RGB三个通道的数值，计算每个像素点的加权颜色特征值，由下式计算得到第j列第k行的像素点的加权颜色特征值Col_jk:

Col_jk＝0.6*R_jk+0.1*G_jk+0.3*B_jk

式中R_jk，G_jk，B_jk分别为第j列第k行的像素点R、G、B三个通道对应的数值，数值范围为0-255，Col_jk为该像素点对应的加权颜色特征值，数值范围为0-255；将区域roi(x,y)中所有像素点的加权颜色特征值构成加权颜色特征矩阵Col；

S36：通过直方图得到卷积核选取区域：

获取加权颜色特征矩阵Col的直方图从而统计各个加权颜色特征值出现的频次，选取直方图中出现频次最接近0.05*H_roi*W_roi的加权颜色特征值为选择值Co，其中H_roi、W_roi为roi(x,y)区域的高度和宽度；

在加权颜色特征矩阵Col中查找加权颜色特征值与选择值Co数值相同的所有像素点，将这些像素点信息构成颜色特征值集合{Colⁱ _jk}，该集合的元素Colⁱ _jk表达的信息为：该像素的位置信息为第j列第k行，该像素的序号标识为i，i为从1至n的正整数，表示按行、列数“自左向右，自上向下”的方式对集合中元素的排序；

S37：通过以下方式确定卷积核区域及其参数：

在集合{Colⁱ _jk}选取未被选取过且序号标识i最小的集合元素Colⁱ _jk，得到该元素对应的位置信息(j,k)，选择区域roi(x,y)中左上角为(j,k)，右下角为(j+K-1,k+K-1)的区域为卷积核区域，将该卷积核区域的每个像素的R、G、B三个通道颜色值取倒数，得到卷积核Conv的参数；

若集合{Colⁱ _jk}无未被选取过的集合元素Colⁱ _jk，则记相似度Sim为0，执行步骤S311；

S38：通过以下方式进行卷积运算得到特征矩阵R：

使用卷积核Conv在选取区域f₂(x,y)上滑动，滑动的步长为S，将每次停留区域中的每个像素点对应的RGB颜色空间中3个颜色数值乘以卷积核Conv对应位置上的参数，并相加得到一个数值，该数值作为该区域卷积的结果，所有区域卷积的结果构成特征矩阵R；特征矩阵R的宽W_R和高H_R与步长S、卷积核Conv的宽K与高K、选取区域f₂(x,y)的宽W_f2与高H_f2的关系是：

S39：进行卷积运算结果的判断：

若特征矩阵R中含有范围在[K*K*3-∈,K*K*3+∈]的数值，则获取数值，按照步骤S36所述构成颜色特征值集合{Colⁱ _jk}的方式构成特征值集合{Rⁱ _jk}，执行步骤S310，否则返回步骤S37；K*K*3数值为卷积的两个区域完全相同时所得的计算结果，∈为用户设置的阈值；

S310：通过以下方式确定匹配位置：

选取集合{Rⁱ _jk}中未被选取过且序号标识最小的元素，得到该元素所对应的卷积运算过程中在选取区域f₂(x,y)中的区域，获取该区域，记左上角的坐标位置为(j_f,k_f)；

将选取区域f₂(x,y)中左上角位置为(j_f-j,k_f-k)，右下角位置为(j_f-j+W_roi,k_f-k+H_roi)的区域记为待校验区域f₃，区域f₃的大小与roi(x,y)区域相同，j,k为在步骤S36中对应的Col_jk值中的j,k值；

在roi(x,y)区域中选择异于步骤S34所述区域C的N个大小为K*K的区域，分别将其作为卷积核Conv'_N，将该卷积核区域的每个像素的R、G、B三个通道颜色值取倒数，得到卷积核Conv'_N的参数；

将卷积核Conv'_N与其待校验区域f₃中对应的同个相对于左上角的位置，相同大小的区域进行卷积运算：在每个像素点对应的RGB颜色空间中3个颜色数值乘以卷积核Conv'_N对应位置上的参数，并相加得到一个数值，若该值范围在[K*K*3-∈,K*K*3+∈]之间，则M＝M+1，M为值在范围内的次数标识，K*K*3数值为卷积的两个区域完全相同时所得的计算结果,∈为用户设置的阈值；

对N个大小为K*K的区域执行上述操作后，计算相似度Sim值：

相似度大于设置的值X时，执行步骤S311；否则返回步骤S310；

步骤S311：将相似度Sim值记为Sim_n，n为执行本步骤的次数标记；对步骤S34所述的方向的另一个选取区域、另一个方向对应的两个选取区域分别进行步骤S35至步骤S310，得到另外三个Sim_n值；

步骤S312：选择四个Sim_n值中最大的值为匹配结果，记该结果对应于在步骤S310时所得的待校验区域f₃为匹配区域f_mat，宽和高分别为Wmat,Hmat，匹配区域f_mat左上角点在源图像f(x,y)中的坐标为(xmat,ymat)；

获取与该次匹配对应的待匹配图像g(x,y)选取区域roi(x,y)，及roi(x,y)左上角点坐标(xroi,yroi)；

记该结果所对应的方向D'，记为待匹配图像g(x,y)相对源图像f(x,y)方向标识d，D'为D₁，D₂中的一个；

S313：获取图像坐标文件夹中最后保存图像的位置信息loc(a',b')，根据方向标识d通过下式得到当前待匹配图像g(x,y)的位置信息loc(a,b)：

将待匹配图像g(x,y)与其位置信息loc(a,b)保存于图像坐标文件夹中。

6.根据权利要求5所述的细胞涂片辅助分析方法，其特征在于，步骤S4具体包括：

S41：根据步骤S312所得匹配区域左上角点在源图像f(x,y)的坐标(xmat,ymat)、图像g(x,y)选取区域roi左上角点坐标(xroi,yroi)和源图像f(x,y)及待匹配图像g(x,y)进行如下运算：

式中expUp,expBe,expLe,expRi分别为计算得到的源图像f(x,y)在上，下，左，右方向上需扩展的像素的数值，H_f,W_f为源图像f(x,y)高和宽，H_g,W_g为待匹配图像g(x,y)的高与宽；

S42：根据扩展像素的数值对源图像f(x,y)进行像素扩展并将扩充区域像素填充为RGB颜色空间(0,0,0)的黑色，得到扩充后的图像，记为背景图像F(x,y)，根据扩展像素的数值更新步骤S312所得的匹配区域f_mat、匹配区域左上角点在背景图像F(x,y)的坐标为(xmat',ymat')，并在F(x,y)上对左上角坐标为(xmat'-xroi,ymat'-yroi)，右下角坐标为(xmat'-xroi+W_g,ymat'-yroi+H_g)的矩形区域进行像素替换为g(x,y)，完成一次拼接，将所得拼接后图像记为拼接图像I_s；

S43：若用户将此图像所包含区域设置为再次检查区域，则将此图像设置为I₀，保存图像I₀，则进入步骤S6；

S44：若继续采集图像，则将图像I_s记为源图像f(x,y)，将图像Is中在步骤S42里进行像素替换为g(x,y)的区域记为源图像待选取区域f₁(x,y)，将源图像f(x,y)、源图像待选取区域f₁(x,y)与步骤S312所得方向标识d返回步骤S2；若采集完毕或需要查看图像，则进入步骤S5。

7.根据权利要求6所述的细胞涂片辅助分析方法，其特征在于，S5具体包括：

由图像坐标文件夹中读取图像集I及其坐标信息，展示图像集中最后保存的图像，根据用户触发“上下左右”方向选项A跳转至指定图像，跳转逻辑为：根据触发的方向选项A由当前坐标信息为loc(a₁,b₁)的图像跳转为坐标信息为loc(a₂,b₂)的图像，loc(a₂,b₂)中a₂,b₂数值由下式得到：

若继续采集图像，则将图像I_s记为源图像f(x,y)，将图像Is中在步骤S42里进行像素替换为g(x,y)的区域记为源图像待选取区域f₁(x,y)，将源图像f(x,y)、源图像待选取区域f₁(x,y)与步骤S312所得方向标识d返回步骤S2。

8.根据权利要求7所述的细胞涂片辅助分析方法，其特征在于，S6具体包括：

S61：获取步骤S43所述图像I₀，图像I₀的宽和高分别为

读取图像坐标文件夹中图像集I，获取图像I₀的位置信息loc(a₀,b₀)；

S62：获取显微镜的实时画面I_x，选取I_x画面中央宽度为

高度为

的区域为I_x1，将I_x1与图像坐标文件夹中图像集I中的图像依次进行步骤S3所述的卷积匹配，当匹配结果的数值在所设区域范围内时，停止匹配，记该图像为I_i,,获取该图像的位置信息loc(a_i,b_i)；

S63：根据loc(a₀,b₀)，loc(a_i,b_i)计算得到当前实时画面I_x与目标区域图像I₀的相对位置关系：

若a₀<a_i,则“向左移动a_i-a_o个图像视野”；

若a₀>a_i,则“向右移动a₀-a_i个图像视野”；

若b₀<b_i,则“向上移动b_i-b_o个图像视野”；

若a₀>a_i,则“向下移动b₀-b_i个图像视野”；

S64：将相对位置关系展现给用户，根据载物台旋钮转动圈数与视野移动的相对比例，计算得到应旋转旋钮的圈数或角度，指引用户移动显微镜载物台；经过时间t后，返回步骤S62；若用户停止或I₀和I_i为同一图像，则完成图像视野的搜寻与溯源。

9.一种细胞涂片辅助分析系统，其特征在于，包括：

图像输入模块，其外接显微镜，用于由显微镜相机进行细胞图像的连续采集，通过显微镜拍摄一张细胞图像，选取为源图像，将源图像全图作为源图像待选取区域；按“自左向右，自上向下”的蛇形扫描规则移动显微镜获取与上一图像视野具有m％重合区域的细胞图像，选取为待匹配原始图像，将待匹配原始图像进行预处理得到待匹配图像；

区域匹配模块，用于通过方向标识识别可能的拼接方向，对参与拼接的源图像待选取区域和待匹配图像分别在可能的方向上进行选取区域和卷积匹配，通过多次的卷积匹配直至达到设置值，通过不同方向和选取区域所得结果的比较，得到匹配结果与图像位置关系；

图像拼接模块，用于根据所得匹配结果进行图像像素扩展，扩展后在匹配区域内进行像素替换；引入图像集位置标注，将拼接过程中得到的图像相对位置信息转化为以坐标方式记录的数值信息，构建图像集中图像的坐标体系；

图像应用模块，用于将完成拼接的图像展示给用户，用户可直观看到目前已观测的细胞区域情况；同时根据所得图像坐标体系提供对已检查过的细胞图像区域的再观察，实现在展示当前图像时根据用户触发的方向选项跳转至对应检查过程中该视野四周的图像区域；当需要对已检测过的区域进行二次检查时，获取当前涂片图像并与图像集图像比较，得到当前视野在图像集中的位置，并且与目标视野的位置比较，得到当前视野与目标视野的相对位置关系，将相对位置关系展现给用户，根据载物台旋钮转动圈数与视野移动的相对比例，计算得到应旋转旋钮的圈数或角度，指引用户移动显微镜载物台，实现图像视野的搜寻与溯源。

10.根据权利要求9所述的细胞涂片辅助分析系统，其特征在于，进一步地，所示图像输入模块具体功能如下：

S11：新建一个文件夹，名为图像坐标文件夹，用于储存运行中得到的包含位置信息loc(a,b)的细胞图像集I；

S12：将用户选择的显微镜视野移动方向记录为方向标识d，根据设定的扫描规则，方向标识d为“右”、“左”、“下”中的一种；

S13：通过显微镜拍摄第一张细胞图像I₁，选取为源图像f(x,y)，对该图像赋予位置信息loc(a,b)为loc(0,0)并保存于图像坐标文件夹中；

S13：将源图像f(x,y)全图作为源图像待选取区域f₁(x,y)；

S21：按“自左向右，自上向下”的蛇形扫描规则移动显微镜获取与上一图像视野具有m％重合区域的细胞图像，选取为待匹配原始图像g₀(x,y)；

S22：获取源图像f(x,y)在YUV颜色空间下的灰度值Y的平均值

色差U,V的平均值

获取待匹配原始图像g₀(x,y)在YUV颜色空间下的灰度值Y的平均值

色差U,V的平均值

通过通道拆分获取待匹配原始图像g₀(x,y)YUV颜色空间下三个颜色参量的数值矩阵Y_g(x,y),U_g(x,y),V_g(x,y)，通过下式使修改后的待匹配原始图像g₀(x,y)在YUV颜色空间下的三个颜色参量的数值矩阵Y'_g(x,y),U'_g(x,y),V'_g(x,y)的平均值

与源图像f(x,y)匹配：

上式指对矩阵中每一个数值进行加减运算；将所得三个颜色参量的数值矩阵Y'_g(x,y),U'_g(x,y),V'_g(x,y)分别作为Y,U,V通道得到预处理后的待匹配图像g(x,y)；

所述区域匹配模块具体功能如下：

S31：获取方向标识d，根据方向标识d及S21所述扫描规则得到匹配的两个方向D₁，D₂：

若方向标识为“右”，D₁，D₂分别为“右”和“下”；

若方向标识为“左”，D₁，D₂分别为“左”和“下”；

若方向标识为“下”，D₁，D₂分别为“左”和“右”；

获取待匹配图像g(x,y)宽和高为W_g,H_g；获取源图像待选取区域f₁(x,y)宽和高为W_f1,H_f1；

S32：对待匹配图像g(x,y)，若匹配的方向D₁或D₂为“左”或“右”，则在方向标识所示方向相反方向上以如下规则选取两个宽度和高度相同的区域roi1(x,y),roi2(x,y)：宽为W_g值十分之一、高度为H_g值二分之一，其中区域roi1(x,y),roi2(x,y)的宽度记为W_roi，高度记为H_roi；若方向标识为“下”，则在方向标识所示方向相反方向上以如下规则选取两个宽度和高度相同的区域roi1(x,y),roi2(x,y)：高度为H_g值十分之一、宽度为W_g值二分之一，其中区域roi1(x,y),roi2(x,y)的宽度记为W_roi，高度记为H_roi；

S33：对源图像待选取区域f₁(x,y)，若匹配的方向D₁或D₂为“左”或“右”，则在方向标识所示方向上按宽度为W_f2，高度为H_f2选取出源图像待选取区域f₁(x,y)的选取区域f₂(x,y)：

W_f2＝min{W₁,W₂,W₃…W_n}

H_f2＝H_f1

式中W_f2计算方式即为W_f1值除以正整数n所得的结果中，能满足不小于七倍W_roi值的最小值；

若方向标识为“下”，则在方向标识所示方向上按宽度为W_f2'，高度为H_f2'选取出源图像待选取区域f₁(x,y)选取区域f₂(x,y)：

H_f2'＝min{H₁,H₂,H₃…H_n}

W_f2'＝W_f1

S34：在两个方向D₁，D₂中选择一个方向，记为D；在步骤S32所得的待匹配图像g(x,y)两个选取区域roi1(x,y),roi2(x,y)选取一个，记为roi(x,y)；

S35：对区域roi(x,y)通过以下方式选取K*K区域C作为卷积核Conv：

在RGB颜色空间中获取roi(x,y)中每个像素点的RGB三个通道的数值，计算每个像素点的加权颜色特征值，由下式计算得到第j列第k行的像素点的加权颜色特征值Col_jk:

Col_jk＝0.6*R_jk+0.1*G_jk+0.3*B_jk

式中R_jk，G_jk，B_jk分别为第j列第k行的像素点R、G、B三个通道对应的数值，数值范围为0-255，Col_jk为该像素点对应的加权颜色特征值，数值范围为0-255；将区域roi(x,y)中所有像素点的加权颜色特征值构成加权颜色特征矩阵Col；

S36：通过直方图得到卷积核选取区域：

获取加权颜色特征矩阵Col的直方图从而统计各个加权颜色特征值出现的频次，选取直方图中出现频次最接近0.05*H_roi*W_roi的加权颜色特征值为选择值Co，其中H_roi、W_roi为roi(x,y)区域的高度和宽度；

在加权颜色特征矩阵Col中查找加权颜色特征值与选择值Co数值相同的所有像素点，将这些像素点信息构成颜色特征值集合{Colⁱ _jk}，该集合的元素Colⁱ _jk表达的信息为：该像素的位置信息为第j列第k行，该像素的序号标识为i，i为从1至n的正整数，表示按行、列数“自左向右，自上向下”的方式对集合中元素的排序；

S37：通过以下方式确定卷积核区域及其参数：

在集合{Colⁱ _jk}选取未被选取过且序号标识i最小的集合元素Colⁱ _jk，得到该元素对应的位置信息(j,k)，选择区域roi(x,y)中左上角为(j,k)，右下角为(j+K-1,k+K-1)的区域为卷积核区域，将该卷积核区域的每个像素的R、G、B三个通道颜色值取倒数，得到卷积核Conv的参数；

若集合{Colⁱ _jk}无未被选取过的集合元素Colⁱ _jk，则记相似度Sim为0，执行步骤S311；

S38：通过以下方式进行卷积运算得到特征矩阵R：

使用卷积核Conv在选取区域f₂(x,y)上滑动，滑动的步长为S，将每次停留区域中的每个像素点对应的RGB颜色空间中3个颜色数值乘以卷积核Conv对应位置上的参数，并相加得到一个数值，该数值作为该区域卷积的结果，所有区域卷积的结果构成特征矩阵R；特征矩阵R的宽W_R和高H_R与步长S、卷积核Conv的宽K与高K、选取区域f₂(x,y)的宽W_f2与高H_f2的关系是：

S39：进行卷积运算结果的判断：

若特征矩阵R中含有范围在[K*K*3-∈,K*K*3+∈]的数值，则获取数值，按照步骤S36所述构成颜色特征值集合{Colⁱ _jk}的方式构成特征值集合{Rⁱ _jk}，执行步骤S310，否则返回步骤S37；K*K*3数值为卷积的两个区域完全相同时所得的计算结果，∈为用户设置的阈值；

S310：通过以下方式确定匹配位置：

选取集合{Rⁱ _jk}中未被选取过且序号标识最小的元素，得到该元素所对应的卷积运算过程中在选取区域f₂(x,y)中的区域，获取该区域，记左上角的坐标位置为(j_f,k_f)；

将选取区域f₂(x,y)中左上角位置为(j_f-j,k_f-k)，右下角位置为(j_f-j+W_roi,k_f-k+H_roi)的区域记为待校验区域f₃，区域f₃的大小与roi(x,y)区域相同，j,k为在步骤S36中对应的Col_jk值中的j,k值；

在roi(x,y)区域中选择异于步骤S34所述区域C的N个大小为K*K的区域，分别将其作为卷积核Conv'_N，将该卷积核区域的每个像素的R、G、B三个通道颜色值取倒数，得到卷积核Conv'_N的参数；

将卷积核Conv'_N与其待校验区域f₃中对应的同个相对于左上角的位置，相同大小的区域进行卷积运算：在每个像素点对应的RGB颜色空间中3个颜色数值乘以卷积核Conv'_N对应位置上的参数，并相加得到一个数值，若该值范围在[K*K*3-∈,K*K*3+∈]之间，则M＝M+1，M为值在范围内的次数标识，K*K*3数值为卷积的两个区域完全相同时所得的计算结果,∈为用户设置的阈值；

对N个大小为K*K的区域执行上述操作后，计算相似度Sim值：

相似度大于设置的值X时，执行步骤S311；否则返回步骤S310；

步骤S311：将相似度Sim值记为Sim_n，n为执行本步骤的次数标记；对步骤S34所述的方向的另一个选取区域、另一个方向对应的两个选取区域分别进行步骤S35至步骤S310，得到另外三个Sim_n值；

步骤S312：选择四个Sim_n值中最大的值为匹配结果，记该结果对应于在步骤S310时所得的待校验区域f₃为匹配区域f_mat，宽和高分别为Wmat,Hmat，匹配区域f_mat左上角点在源图像f(x,y)中的坐标为(xmat,ymat)；

获取与该次匹配对应的待匹配图像g(x,y)选取区域roi(x,y)，及roi(x,y)左上角点坐标(xroi,yroi)；

记该结果所对应的方向D'，记为待匹配图像g(x,y)相对源图像f(x,y)方向标识d，D'为D₁，D₂中的一个；

S313：获取图像坐标文件夹中最后保存图像的位置信息loc(a',b')，根据方向标识d通过下式得到当前待匹配图像g(x,y)的位置信息loc(a,b)：

将待匹配图像g(x,y)与其位置信息loc(a,b)保存于图像坐标文件夹中；

所述图像拼接模块的具体功能如下：

S41：根据步骤S312所得匹配区域左上角点在源图像f(x,y)的坐标(xmat,ymat)、图像g(x,y)选取区域roi左上角点坐标(xroi,yroi)和源图像f(x,y)及待匹配图像g(x,y)进行如下运算：

式中expUp,expBe,expLe,expRi分别为计算得到的源图像f(x,y)在上，下，左，右方向上需扩展的像素的数值，H_f,W_f为源图像f(x,y)高和宽，H_g,W_g为待匹配图像g(x,y)的高与宽；

S42：根据扩展像素的数值对源图像f(x,y)进行像素扩展并将扩充区域像素填充为RGB颜色空间(0,0,0)的黑色，得到扩充后的图像，记为背景图像F(x,y)，根据扩展像素的数值更新步骤S312所得的匹配区域f_mat、匹配区域左上角点在背景图像F(x,y)的坐标为(xmat',ymat')，并在F(x,y)上对左上角坐标为(xmat'-xroi,ymat'-yroi)，右下角坐标为(xmat'-xroi+W_g,ymat'-yroi+H_g)的矩形区域进行像素替换为g(x,y)，完成一次拼接，将所得拼接后图像记为拼接图像I_s；

S43：若用户将此图像所包含区域设置为再次检查区域，则将此图像设置为I₀，保存图像I₀，则进入图像应用模块的图像视野搜寻溯源的功能；

S44：若继续采集图像，则将图像I_s记为源图像f(x,y)，将图像Is中在步骤S42里进行像素替换为g(x,y)的区域记为源图像待选取区域f₁(x,y)，将源图像f(x,y)、源图像待选取区域f₁(x,y)与步骤S312所得方向标识d返回图像输入模块的获得待匹配图像的功能；若采集完毕或需要查看图像，则进入图像应用模块的全图观察和图像集坐标体系的功能；

所述图像应用模块的全图观察和图像集坐标体系的功能包括：

由图像坐标文件夹中读取图像集I及其坐标信息，展示图像集中最后保存的图像，根据用户触发“上下左右”方向选项A跳转至指定图像，跳转逻辑为：根据触发的方向选项A由当前坐标信息为loc(a₁,b₁)的图像跳转为坐标信息为loc(a₂,b₂)的图像，loc(a₂,b₂)中a₂,b₂数值由下式得到：

若继续采集图像，则将图像I_s记为源图像f(x,y)，将图像Is中在步骤S42里进行像素替换为g(x,y)的区域记为源图像待选取区域f₁(x,y)，将源图像f(x,y)、源图像待选取区域f₁(x,y)与步骤S312所得方向标识d返回图像输入模块的获得待匹配图像的功能；

所述图像应用模块的图像视野搜寻溯源的功能包括：

S61：获取步骤S43所述图像I₀，图像I₀的宽和高分别为

读取图像坐标文件夹中图像集I，获取图像I₀的位置信息loc(a₀,b₀)；

S62：获取显微镜的实时画面I_x，选取I_x画面中央宽度为

高度为

的区域为I_x1，将I_x1与图像坐标文件夹中图像集I中的图像依次进行步骤S3所述的卷积匹配，当匹配结果的数值在所设区域范围内时，停止匹配，记该图像为I_i,,获取该图像的位置信息loc(a_i,b_i)；

S63：根据loc(a₀,b₀)，loc(a_i,b_i)计算得到当前实时画面I_x与目标区域图像I₀的相对位置关系：

若a₀<a_i,则“向左移动a_i-a_o个图像视野”；

若a₀>a_i,则“向右移动a₀-a_i个图像视野”；

若b₀<b_i,则“向上移动b_i-b_o个图像视野”；

若a₀>a_i,则“向下移动b₀-b_i个图像视野”；

S64：将相对位置关系展现给用户，根据载物台旋钮转动圈数与视野移动的相对比例，计算得到应旋转旋钮的圈数或角度，指引用户移动显微镜载物台；经过时间t后，返回步骤S62；若用户停止或I₀和I_i为同一图像，则完成图像视野的搜寻与溯源。

Images