CN110110667B - 一种硅藻图像的处理方法、系统及相关组件 - Google Patents
一种硅藻图像的处理方法、系统及相关组件 Download PDFInfo
- Publication number
- CN110110667B CN110110667B CN201910380226.1A CN201910380226A CN110110667B CN 110110667 B CN110110667 B CN 110110667B CN 201910380226 A CN201910380226 A CN 201910380226A CN 110110667 B CN110110667 B CN 110110667B
- Authority
- CN
- China
- Prior art keywords
- diatom
- image
- area
- original
- effective
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title abstract description 8
- 238000003708 edge detection Methods 0.000 claims abstract description 57
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims description 37
- 230000004913 activation Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000011218 segmentation Effects 0.000 description 14
- 210000004027 cell Anatomy 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 239000004576 sand Substances 0.000 description 10
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 8
- 241000206761 Bacillariophyta Species 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 239000002245 particle Substances 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 108091006146 Channels Proteins 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000001000 micrograph Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000006740 morphological transformation Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000195649 Chlorella <Chlorellales> Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000005056 cell body Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012851 eutrophication Methods 0.000 description 1
- 238000002558 medical inspection Methods 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 210000002706 plastid Anatomy 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003911 water pollution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
Abstract
本申请公开了一种硅藻图像的处理方法，所述处理方法包括获取电子显微镜采集的原始硅藻图像，并利用GBVS算法提取所述原始硅藻图像的显著图；对所述显著图执行二值化处理得到二值化图像，根据所述二值化图像确定有效区域；对所述有效区域执行边缘检测操作得到硅藻边缘信息，根据所述硅藻边缘信息确定待显示区域；输出所述原始硅藻图像中与所述待显示区域对应的图像。本申请能够准确分割硅藻图片的背景与硅藻本体图像，提高硅藻本体图像的识别率。本申请还公开了一种硅藻图像的处理系统、一种计算机可读存储介质及一种电子设备，具有以上有益效果。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种硅藻图像的处理方法、系统、一种计算机可读存储介质及一种电子设备。
背景技术
硅藻为单细胞硅藻群落，对水体温度、pH值、电导率、营养盐浓度等变化极敏感，水体中硅藻的种类与数量在判别水体污染程度、评价水体富营养状态等方面具有广泛的应用价值。另一方面，在法医检验实践中，判断水中尸体是生前入水溺死还是死后抛尸入水，以及落水地点等情况时，硅藻种类与数量等的实验室检查尤为重要。综合以上，硅藻的准确分类在水资源质量监控及法医学检验中起着重要的作用。
现在硅藻的种类有20多万种，且在成像过程中受到细微砂石、颗粒等复杂背景的干扰。另外现有方法主要集中在对简单背景的光学显微镜成像的硅藻识别。这些方法在硅藻成像前需要采用复杂实验手段现将硅藻里面及周围的细微砂石、颗粒清洗去除，然后再对干净的硅藻进行光学显微镜成像。这种预处理方法复杂、且需要耗费大量的人力去完成，而且成像的图像大小约在512*512像素范围，分辨率较低。此外部分方法未对目标与背景的有效分割效果不明显，仅通过简单的处理(利用灰度阈值，滤波器，灰度变换，尺度归一化等)之后就进行特征提取与识别，导致后续的硅藻识别率低。因此上述相关技术不能对复杂背景与有效区域进行全自动有效分割，从而导致后面特征提取与识别模块不能在有效的硅藻区域上工作，进而导致误识别比率大幅度攀升。
因此，如何准确分割硅藻图片的背景与硅藻本体图像，提高硅藻本体图像的识别率是本领域技术人员目前需要解决的技术问题。
发明内容
本申请的目的是提供一种硅藻图像的处理方法、系统、一种计算机可读存储介质及一种电子设备，能够准确分割硅藻图片的背景与硅藻本体图像，提高硅藻本体图像的识别率。
为解决上述技术问题，本申请提供一种硅藻图像的处理方法，该处理方法包括：
获取电子显微镜采集的原始硅藻图像，并利用GBVS算法提取所述原始硅藻图像的显著图；
对所述显著图执行二值化处理得到二值化图像，根据所述二值化图像确定有效区域；
对所述有效区域执行边缘检测操作得到硅藻边缘信息，根据所述硅藻边缘信息确定待显示区域；
输出所述原始硅藻图像中与所述待显示区域对应的图像。
可选的，对所述有效区域执行边缘检测操作得到硅藻边缘信息包括：
利用Sobel算子对所述有效区域的图像执行边缘检测操作得到第一检测结果；
基于形态学对所述有效区域的图像执行边缘检测操作得到第二检测结果；
将所述第一检测结果与所述第二检测结果执行与运算操作得到所述硅藻边缘信息。
可选的，利用Sobel算子对所述有效区域的图像执行边缘检测操作得到第一检测结果包括：
利用所述Sobel算子对所述有效区域的图像执行边缘检测操作得到Sobel目标图像；
对所述Sobel目标图像进行膨胀填充操作得到最大连通区域，并根据所述最大连通区域生成第一检测结果。
可选的，根据所述硅藻边缘信息确定待显示区域包括：
根据所述硅藻边缘信息确定硅藻轮廓，并将所述硅藻轮廓内的区域设置为所述待显示区域。
可选的，利用GBVS算法提取所述原始硅藻图像的显著图包括：
提取所述原始硅藻图像的特征图；其中，所述特征图包括颜色特征图、亮度特征图和方向特征图；
为所述特征图构建马尔科夫链，并利用所述马尔科夫链获取每一所述特征图的激活图；
对所有所述激活图执行线性融合操作得到所述显著图。
可选的，所述原始硅藻图像为非杆类的单硅藻细胞的图像。
可选的，根据所述二值化图像确定有效区域包括：
对所述二值化图像执行临界点扫描操作得到非背景区域临界点，生成所述非背景区域临界点对应的矩形框，将所述矩形框对应的区域设置为所述有效区域；其中所述有效区域包括所述二值化图像中所有白色区域。
本申请还提供了一种硅藻图像的处理系统，该处理系统包括：
显著图获取模块，用于获取电子显微镜采集的原始硅藻图像，并利用GBVS算法提取所述原始硅藻图像的显著图；
有效区域确定模块，用于对所述显著图执行二值化处理得到二值化图像，根据所述二值化图像确定有效区域；
边缘检测模块，用于对所述有效区域执行边缘检测操作得到硅藻边缘信息，根据所述硅藻边缘信息确定待显示区域；
输出模块，用于输出所述原始硅藻图像中与所述待显示区域对应的图像。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述硅藻图像的处理方法执行的步骤。
本申请还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述硅藻图像的处理方法执行的步骤。
本申请提供了一种硅藻图像的处理方法，包括获取电子显微镜采集的原始硅藻图像，并利用GBVS算法提取所述原始硅藻图像的显著图；对所述显著图执行二值化处理得到二值化图像，根据所述二值化图像确定有效区域；对所述有效区域执行边缘检测操作得到硅藻边缘信息，根据所述硅藻边缘信息确定待显示区域；输出所述原始硅藻图像中与所述待显示区域对应的图像。
本申请首先利用GBVS算法得到原始硅藻图像的显著图，对显著图进行二值化处理得到有效区域，即硅藻细胞所在的区域，以便在进行边缘检测过程中仅对有效区域进行检测，相当于缩小了边缘检测需要处理的图像面积。进一步的，本申请通过对有效区域执行边缘检测操作得到硅藻细胞的硅藻边缘信息，有硅藻边缘信息确定需要显示的区域。最后仅输出待显示区域对应位置的图像，相当于仅对原始硅藻图像中硅藻本体的图像进行显示去除了复杂的背景，无需执行去除砂石和颗粒的预处理操作。因此本申请能够准确分割硅藻图片的背景与硅藻本体图像，提高硅藻本体图像的识别率。本申请同时还提供了一种硅藻图像的处理系统、一种计算机可读存储介质和一种电子设备，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例所提供的一种硅藻图像的处理方法的流程图；
图2为待分割图像示意图；
图3为有效区域截取示意图；
图4为本申请实施例所提供的一种硅藻图像的处理系统的结构示意图；
图5为电子设备提取硅藻图片的流程图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
因准确对硅藻进行分类会对水体检测和法医检验实践有重大的积极影响，而为了提高硅藻的识别率，减少人工工作量，就需要精确地在复杂背景中提取出完整的硅藻图像，所以提出一种有效的全自动硅藻分割方法是十分必要的。以下几个实施例主要针对受复杂背景影响，难以提取与分割硅藻图像的技术问题以及需要耗费大量人力进行预处理的经济成本问题，提出了一种复合了显著性模型，形态学变换及边缘增强等方法的在复杂背景干扰下提取硅藻有效区域的方法，仅需要输入待处理硅藻图像便可得到去除复杂背景干扰的硅藻图像，改善了需要复杂的预处理和耗费大量的人力提取硅藻图像的现状，且无需交互的全自动分割方法减免了人力成本，还能为后续的硅藻识别提供精确的硅藻分割图像。
下面请参见图1，图1为本申请实施例所提供的一种硅藻图像的处理方法的流程图。
具体步骤可以包括：
S101：获取电子显微镜采集的原始硅藻图像，并利用GBVS算法提取所述原始硅藻图像的显著图；
其中，本实施例可以应用于硅藻细胞的检测，硅藻是一类具有色素体的单细胞植物，可以根据硅藻的种类与数量检测环境质量和法医学检验。本实施例中提到的原始硅藻图像可以为非杆类且无遮挡的单个硅藻细胞(如圆藻、小环藻等)的图像。由于硅藻生活的环境复杂，因此通过电子显微镜采集的原始硅藻图像中可以包括复杂背景以及硅藻细胞本体，复杂背景中可以存在细微的砂石和颗粒。
本步骤中在获取了原始硅藻图像的基础上，利用GBVS(Graph-based VisualSaliency，基于图形的视觉显著性)算法获取原始硅藻图像的显著图。显著图指显示每个像素独特性的图像。获取显著图的目标在于将一般图像的表示简化或是改变为更容易分析的样式。举例来说，某个像素在一张彩色图中具有较高的灰阶，其会在显著图中以较为明显的方式被显示出来。
S102：对所述显著图执行二值化处理得到二值化图像，根据所述二值化图像确定有效区域；
其中，在已经获得了显著图的基础上，本实施例进一步对显著图执行二值化处理，将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程。通过二值化处理可以使图像中数据量大量减少，从而能突显出目标物(即硅藻本体)的轮廓。
需要说明的是，二值化图像为黑白图片，可以根据黑白区域的分布情况结合硅藻的实际形状确定硅藻所在的区域，即有效区域。作为一种可行的实施方式，可以预先设置白色区域为需要进行边缘检测的区域，在二值化图像中选择合适尺寸的矩形作为有效区域，该矩形能够包括所有的白色的区域。
可以理解的是，确定有效区域的过程相当于计算得到最小且能够包含前景的矩形框，并利用该矩形框对原始硅藻图像进行裁剪。前景为二值化图像中需要进行边缘检测的区域的图像集合。本实施例可以剪裁原始硅藻图像得到有效区域对应的图像，以便利用剪裁后的原始硅藻图像执行后续的操作。
S103：对所述有效区域执行边缘检测操作得到硅藻边缘信息，根据所述硅藻边缘信息确定待显示区域；
其中，本步骤对有效区域执行边缘检测操作，相对于相关技术中直接对原始硅藻图像进行边缘检测的操作，本实施例需要进行边缘检测的图像面积更小，即存在更小的背景干扰。本实施例不限定具体采用何种边缘检测算法实现边缘检测，只要能够确定得到有效区域内硅藻本体的轮廓边缘即可。硅藻边缘信息至硅藻的边缘轮廓，硅藻边缘信息可以为不闭合的区域，本步骤可以对检测到的硅藻边缘进行膨胀、填充、边缘粘合、封闭区域填充操作得到待显示区域。待显示区域为一个闭合的区域，其形状类似单个硅藻细胞的形状。
需要说明的是，由于本步骤是对原始硅藻图像的一部分区域执行边缘检测，因此边缘检测结果中可以存在对于砂石、颗粒的边缘检测结果。但是由于在显微镜下硅藻本体的体积远大于背景中砂石、颗粒的体积，因此可以硅藻边缘信息将最大的连通区域作为待显示区域，即硅藻本体的轮廓边缘。
作为一种可行的实施方式，本实施例中得到硅藻边缘信息的操作可以包括以下步骤，步骤1：利用Sobel算子对所述有效区域的图像执行边缘检测操作得到第一检测结果；步骤2：基于形态学对所述有效区域的图像执行边缘检测操作得到第二检测结果；步骤3：将所述第一检测结果与所述第二检测结果执行与运算操作得到所述硅藻边缘信息。上述可以行的实施方式通过Sobel算子和形态学分别对有效区域的图像执行边缘检测，结合二者的检测结果综合确定硅藻边缘信息。
本步骤中根据所述硅藻边缘信息确定待显示区域的操作可以具体为：根据所述硅藻边缘信息确定硅藻轮廓，并将所述硅藻轮廓内的区域设置为所述待显示区域。
S104：输出所述原始硅藻图像中与所述待显示区域对应的图像。
其中，在已经得到待显示区域的基础上，本步骤通过输出待显示区域所在位置对应的原始硅藻图像来实现硅藻本体图像的输出。也就是说，在本步骤中以待显示区域的位置作为参考，仅显示硅藻本体的图像而不显示背景区域的图像，因此本实施例无需人工参与背景图像中砂石、颗粒的去除，即可从复杂的背景中提取出完整的硅藻图像。
本实施例首先利用GBVS算法得到原始硅藻图像的显著图，对显著图进行二值化处理得到有效区域，即硅藻细胞所在的区域，以便在进行边缘检测过程中仅对有效区域进行检测，相当于缩小了边缘检测需要处理的图像面积。进一步的，本实施例通过对有效区域执行边缘检测操作得到硅藻细胞的硅藻边缘信息，有硅藻边缘信息确定需要显示的区域。最后仅输出待显示区域对应位置的图像，相当于仅对原始硅藻图像中硅藻本体的图像进行显示去除了复杂的背景，无需执行去除砂石和颗粒的预处理操作。因此本实施例能够准确分割硅藻图片的背景与硅藻本体图像，提高硅藻本体图像的识别率。
作为对图1对应的实施例的进一步补充，当利用Sobel算子对所述有效区域的图像执行边缘检测操作时，可以包括以下步骤：
步骤1：利用所述Sobel算子对所述有效区域的图像执行边缘检测操作得到Sobel目标图像；
步骤2：对所述Sobel目标图像进行膨胀填充操作得到最大连通区域，并根据所述最大连通区域生成第一检测结果。
Sobel算子是离散型的差分算子，可以用来计算图像亮度函数的梯度的近似值，由于该Sobel算子中引入了类似局部平均的运算，因此对噪声具有平滑作用，能很好的消除噪声的影响。对Sobel目标图像进行膨胀填充操作包括：对边缘未连接区域进行边缘粘合，然后进行封闭区域的填充。还可以使用大津法自确定阈值二值化图像并获取最大连通区域，形成第一次处理图像。大津法又叫最大类间方差法、最大类间阈值法(OTSU)。它的基本思想是，用一个阈值将图像中的数据分为两类，一类中图像的像素点的灰度均小于这个阈值，另一类中的图像的像素点的灰度均大于或者等于该阈值。如果这两个类中像素点的灰度的方差越大，说明获取到的阈值就是最佳的阈值(方差是灰度分布均匀性的一种度量，背景和前景之间的类间方差越大，说明构成图像的两部分的差别越大，当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此，使类间方差最大的分割意味着错分概率最小)，则利用该阈值可以将图像分为前景和背景两个部分。而本实施例所感兴趣的部分一般为前景。大津法自确定指利用大津法自动确定的操作。
作为对图1对应的实施例的进一步补充，利用GBVS算法提取所述原始硅藻图像的显著图的具体过程可以包括以下步骤：
步骤1：提取所述原始硅藻图像的特征图；其中，所述特征图包括颜色特征图、亮度特征图和方向特征图；
步骤2：为所述特征图构建马尔科夫链，并利用所述马尔科夫链获取每一所述特征图的激活图；
步骤3：对所有所述激活图执行线性融合操作得到所述显著图。
作为对图1对应的实施例的进一步补充，根据所述二值化图像确定有效区域的具体过程可以为：对所述二值化图像执行临界点扫描操作得到非背景区域临界点，生成所述非背景区域临界点对应的矩形框，将所述矩形框对应的区域设置为所述有效区域；其中，所述有效区域包括所述二值化图像中所有白色区域。
下面通过在实际应用中的实施例说明上述实施例及补充内容描述的流程。
本实施例提供了一种非杆类无遮挡在复杂背景下的电子显微镜硅藻图像进行硅藻有效区域提取的方法及装置。该装置能够直接输入硅藻的电子显微镜图像，且无需交互的全自动分割方法，为后续的硅藻识别提供精确的硅藻分割图像。
对于非杆类无遮挡在复杂背景下的硅藻有效区域提取的全自动分割方法可以包括以下步骤：
步骤一、使用GBVS(Graph-based Visual Saliency)算法提取待分割图像的显著图，通过二值化并进行矩形框扫描对待分割图像进行有效区域截取。待分割图像相当于图1对应实施例提到的原始硅藻图像。请参见图2，图2为待分割图像示意图，图2中在硅藻细胞的周围存在砂石及其它干扰。
其中，步骤一可以包括以下4个子步骤：
(1)对待分割图像作特征提取，生成特征图：
对硅藻高清图像采用高斯滤波器进行降采样，获得九个尺度下的三通道图像。接着构建高斯金字塔，利用领域差值与归一化操作对(Center-surround differences andNormalization)金字塔中不同层间图像进行跨尺度差减，从而得到不同尺度下的颜色，亮度，方向三种特征图。
(2)所求取的每一个特征图，生成激活图：
构建特征图像的马尔科夫链，通过其平衡分布而得到相应的激活图像。对于一幅特征图，以图中的每一个像素点作为图中的节点。任意两个节点之间的边代表两个节点之间的差异性，根据像素点之间的相似性和像素点位置间的距离(欧几里德距离)作为连接权值。将特征图的节点视为马尔可夫链中的状态，边权重代表转移概率。对概率转移矩阵进行多次迭代，直到马尔可夫链达到平稳分布。最后找到马尔可夫矩阵的主特征向量，主特征向量是主特征值对应的向量，矩阵的多个特征值中模最大的特征值叫主特征值，对应图像的显著节点。通过将主特征向量排列成两维形式，就可获得到激活图并对其进行归一化。
(3)线性融合与生成显著图：
获得特征图的激活图后，再把各类特征通道的激活图调至同一尺度后相加，归一化后得到亮度，颜色和方向特征通道的单一激活图像。最后，融合亮度，颜色和方向特征通道激活图以获得视觉显著图。
(4)将显著图转成二值图扫描矩形框截取有效区域：
二值化后对图像进行上下左右的扫描找到各方位的临界点，得到左上角坐标和矩形区域的长宽，并在原图像进行有效区域的截取。作为一种可行的实施方式，临界点为二值化图像中X轴坐标值或Y轴坐标值为极值的点。请参见图3，图3为有效区域截取示意图，图3中A、B、C、D为上下左右四个方向的极值点，即临界点。根据A、B、C、D四个临界点确定矩形的有效区域，有效区域为能够包括硅藻二值化图像的最小的矩形，在后续操作中可以只对有效区域对应的图像进行处理。
步骤二、使用Sobel算子对裁剪后的图像进行边缘检测，并获取目标区域。
其中，步骤二可以包括以下2个子步骤：
(1)Sobel算子进行边缘检测：它是离散型的差分算子，用来计算图像亮度函数的梯度的近似值，由于该算子中引入了类似局部平均的运算，因此对噪声具有平滑作用，能很好的消除噪声的影响。
(2)Sobel目标图像进行膨胀填充取最大连通区域：将Sobel目标图像进行膨胀对边缘未连接区域进行边缘粘合，然后进行封闭区域的填充，使用大津法自确定阈值二值化图像并获取最大连通区域，形成第一次处理图像。
步骤三、使用形态学对裁剪后的图像进行目标区域检测。
其中，步骤三可以包括以下2个子步骤：
(1)大津法自确定阈值二值化图像并通过开运算整合修补图像：自动获取合适阈值进行图像二值化，运用开运算消去噪点，整合修补图像。
(2)获取最大连通区域并进行填充形成目标区域：对整合修补后的图像进行区域标签标记、统计，求取最大连通区域，对该最大连通区域进行内部填充形成目标区域。
步骤四、将Sobel算子过程得到的目标区域和形态学过程得到的目标区域进行运算处理，合取更精确的目标区域。
其中，步骤四可以包括以下2个子步骤：
(1)Sobel算子目标区域和形态学目标区域执行与运算处理得到精确的二值化目标区域。
(2)将该二值化目标区域与裁剪后的图像进行运算处理操作获取到目标硅藻图像区域。
本实施例还可以提供一种对于非杆类无遮挡在复杂背景下的硅藻有效区域提取的自动化无交互的分割装置，该分割装置可以包括以下模块：图像获取模块，用于打开待分割硅藻的图像；图像分割处理模块，用于对选取的硅藻图像进行分割处理及呈现；图像保存模块，用于保存分割完成的硅藻图像。
上述实施例直接以未除去复杂背景干扰的硅藻进行高清电子显微镜成像的图像为研究对象，对硅藻区域进行提取，以便后续进行识别。改善了需要复杂的预处理和耗费大量的人力提取硅藻图像的现状，且无需交互的全自动分割方法减免了人力成本，还能为后续的硅藻识别提供精确的硅藻分割图像。通过显著性模型能够更好地进一步处理硅藻图像，得到更为感兴趣的硅藻区域，便于后续的形态学处理等分割方法的进行，提高了硅藻图像分割算法的速度和效果。
请参见图4，图4为本申请实施例所提供的一种硅藻图像的处理系统的结构示意图；
该系统可以包括：
显著图获取模块100，用于获取电子显微镜采集的原始硅藻图像，并利用GBVS算法提取所述原始硅藻图像的显著图；
有效区域确定模块200，用于对所述显著图执行二值化处理得到二值化图像，根据所述二值化图像确定有效区域；
边缘检测模块300，用于对所述有效区域执行边缘检测操作得到硅藻边缘信息，根据所述硅藻边缘信息确定待显示区域；
输出模块400，用于输出所述原始硅藻图像中与所述待显示区域对应的图像。
本实施例首先利用GBVS算法得到原始硅藻图像的显著图，对显著图进行二值化处理得到有效区域，即硅藻细胞所在的区域，以便在进行边缘检测过程中仅对有效区域进行检测，相当于缩小了边缘检测需要处理的图像面积。进一步的，本实施例通过对有效区域执行边缘检测操作得到硅藻细胞的硅藻边缘信息，有硅藻边缘信息确定需要显示的区域。最后仅输出待显示区域对应位置的图像，相当于仅对原始硅藻图像中硅藻本体的图像进行显示去除了复杂的背景，无需执行去除砂石和颗粒的预处理操作。因此本实施例能够准确分割硅藻图片的背景与硅藻本体图像，提高硅藻本体图像的识别率。
进一步的，边缘检测模块300包括：
第一检测单元，用于利用Sobel算子对所述有效区域的图像执行边缘检测操作得到第一检测结果；
第二检测单元，用于基于形态学对所述有效区域的图像执行边缘检测操作得到第二检测结果；
与运算单元，用于将所述第一检测结果与所述第二检测结果执行与运算操作得到所述硅藻边缘信息；
区域确定单元，用于根据所述硅藻边缘信息确定待显示区域。
进一步的，第一检测单元包括：
Sobel算子检测子单元，用于利用所述Sobel算子对所述有效区域的图像执行边缘检测操作得到Sobel目标图像；
检测结果生成子单元，用于对所述Sobel目标图像进行膨胀填充操作得到最大连通区域，并根据所述最大连通区域生成第一检测结果。
进一步的，所述边缘检测模块300包括：
边缘信息获取单元，用于对所述有效区域执行边缘检测操作得到硅藻边缘信息，
区域设置单元，用于根据所述硅藻边缘信息确定硅藻轮廓，并将所述硅藻轮廓内的区域设置为所述待显示区域。
进一步的，显著图获取模块100包括：
图像获取单元，用于获取电子显微镜采集的原始硅藻图像，
特征提取单元，用于提取所述原始硅藻图像的特征图；其中，所述特征图包括颜色特征图、亮度特征图和方向特征图；
激活区获取单元，用于为所述特征图构建马尔科夫链，并利用所述马尔科夫链获取每一所述特征图的激活图；
线性融合单元，用于对所有所述激活图执行线性融合操作得到所述显著图。
进一步的，所述原始硅藻图像为非杆类的单硅藻细胞的图像。
进一步的，有效区域确定模块200包括：
二值化处理单元，用于对所述显著图执行二值化处理得到二值化图像，
有效区域设置单元，用于对所述二值化图像执行临界点扫描操作得到非背景区域临界点，生成所述非背景区域临界点对应的矩形框，将所述矩形框对应的区域设置为所述有效区域；其中所述有效区域包括所述二值化图像中所有白色区域。
由于系统部分的实施例与方法部分的实施例相互对应，因此系统部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种电子设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口，电源等组件。该设备能够直接输入硅藻的高清电子显微镜图像，且无需交互的全自动分割方法，为后续的硅藻识别提供精确的硅藻分割图像
请参见图5，图5为电子设备提取硅藻图片的流程图，该电子设备执行以下步骤：
1、使用GBVS(Graph-based visual saliency)算法，对待分割的硅藻图像作显著性处理，得到显著性图；
2、对获得的显著性图片做阈值化处理得到二值化图，计算得到最小的能够包含前景的矩形框，并对原图进行裁剪；
3、对裁剪后的硅藻图片进行sobel边缘检测；
4、对裁剪后的硅藻图片进行形态学变换；
5、填充闭合曲线内部区域并取共同的最大联通区域；
6、得到经过分割的比较完整的去除复杂背景干扰的硅藻图片。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (8)
1.一种硅藻图像的处理方法，其特征在于，包括：
获取电子显微镜采集的原始硅藻图像，并利用GBVS算法提取所述原始硅藻图像的显著图；
对所述显著图执行二值化处理得到二值化图像，根据所述二值化图像确定有效区域；
对所述有效区域执行边缘检测操作得到硅藻边缘信息，根据所述硅藻边缘信息确定待显示区域；其中，所述待显示区域为硅藻轮廓内的区域；
输出所述原始硅藻图像中与所述待显示区域对应的图像；
其中，对所述有效区域执行边缘检测操作得到硅藻边缘信息包括：
利用Sobel算子对所述有效区域的图像执行边缘检测操作得到第一检测结果；
基于形态学对所述有效区域的图像执行边缘检测操作得到第二检测结果；
将所述第一检测结果与所述第二检测结果执行与运算操作得到所述硅藻边缘信息；
其中，利用GBVS算法提取所述原始硅藻图像的显著图包括：
提取所述原始硅藻图像的特征图；其中，所述特征图包括颜色特征图、亮度特征图和方向特征图；
为所述特征图构建马尔科夫链，并利用所述马尔科夫链获取每一所述特征图的激活图；
对所有所述激活图执行线性融合操作得到所述显著图。
2.根据权利要求1所述硅藻图像的处理方法，其特征在于，利用Sobel算子对所述有效区域的图像执行边缘检测操作得到第一检测结果包括：
利用所述Sobel算子对所述有效区域的图像执行边缘检测操作得到Sobel目标图像；
对所述Sobel目标图像进行膨胀填充操作得到最大连通区域，并根据所述最大连通区域生成第一检测结果。
3.根据权利要求1所述硅藻图像的处理方法，其特征在于，根据所述硅藻边缘信息确定待显示区域包括：
根据所述硅藻边缘信息确定硅藻轮廓，并将所述硅藻轮廓内的区域设置为所述待显示区域。
4.根据权利要求1所述硅藻图像的处理方法，其特征在于，所述原始硅藻图像为非杆类的单硅藻细胞的图像。
5.根据权利要求1至4任一项所述硅藻图像的处理方法，其特征在于，根据所述二值化图像确定有效区域包括：
对所述二值化图像执行临界点扫描操作得到非背景区域临界点，生成所述非背景区域临界点对应的矩形框，将所述矩形框对应的区域设置为所述有效区域；其中，所述有效区域包括所述二值化图像中所有白色区域。
6.一种硅藻图像的处理系统，其特征在于，包括：
显著图获取模块，用于获取电子显微镜采集的原始硅藻图像，并利用GBVS算法提取所述原始硅藻图像的显著图；
有效区域确定模块，用于对所述显著图执行二值化处理得到二值化图像，根据所述二值化图像确定有效区域；
边缘检测模块，用于对所述有效区域执行边缘检测操作得到硅藻边缘信息，根据所述硅藻边缘信息确定待显示区域；其中，所述待显示区域为硅藻轮廓内的区域；
输出模块，用于输出所述原始硅藻图像中与所述待显示区域对应的图像；
其中，所述边缘检测模块包括：
第一检测单元，用于利用Sobel算子对所述有效区域的图像执行边缘检测操作得到第一检测结果；
第二检测单元，用于基于形态学对所述有效区域的图像执行边缘检测操作得到第二检测结果；
与运算单元，用于将所述第一检测结果与所述第二检测结果执行与运算操作得到所述硅藻边缘信息；
区域确定单元，用于根据所述硅藻边缘信息确定待显示区域；
其中，所述显著图获取模块包括：
图像获取单元，用于获取电子显微镜采集的原始硅藻图像；
特征提取单元，用于提取所述原始硅藻图像的特征图；其中，所述特征图包括颜色特征图、亮度特征图和方向特征图；
激活区获取单元，用于为所述特征图构建马尔科夫链，并利用所述马尔科夫链获取每一所述特征图的激活图；
线性融合单元，用于对所有所述激活图执行线性融合操作得到所述显著图。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述硅藻图像的处理方法的步骤。
8.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述硅藻图像的处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910380226.1A CN110110667B (zh) | 2019-05-08 | 2019-05-08 | 一种硅藻图像的处理方法、系统及相关组件 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910380226.1A CN110110667B (zh) | 2019-05-08 | 2019-05-08 | 一种硅藻图像的处理方法、系统及相关组件 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110110667A CN110110667A (zh) | 2019-08-09 |
| CN110110667B true CN110110667B (zh) | 2022-09-23 |
Family
ID=67488831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910380226.1A Expired - Fee Related CN110110667B (zh) | 2019-05-08 | 2019-05-08 | 一种硅藻图像的处理方法、系统及相关组件 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110110667B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110473212B (zh) * | 2019-08-15 | 2022-07-12 | 广东工业大学 | 一种融合显著性和超像素的电镜硅藻图像分割方法及装置 |
| CN111626257B (zh) * | 2020-06-03 | 2023-06-06 | 兰波(苏州)智能科技有限公司 | 硅藻检测识别用多概率组合预测后处理方法、系统及存储介质 |
| CN114067114B (zh) * | 2021-11-12 | 2024-05-03 | 燕山大学 | 一种基于藻类细胞形态的面积核分割计数方法 |
| CN117197127B (zh) * | 2023-11-02 | 2024-02-20 | 广东乾威精密连接器有限公司 | 一种基于机器视觉的汽车端子检测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463869A (zh) * | 2014-12-05 | 2015-03-25 | 西安交通大学 | 一种视频火焰图像复合识别方法 |
| CN104616274A (zh) * | 2015-02-09 | 2015-05-13 | 内蒙古科技大学 | 一种基于显著性区域提取的多聚焦图像融合算法 |
| CN104794710A (zh) * | 2015-04-13 | 2015-07-22 | 上海泽煜实验设备有限公司 | 一种图像处理方法及装置 |
| CN109544583A (zh) * | 2018-11-23 | 2019-03-29 | 广东工业大学 | 一种提取皮革图像感兴趣区域的方法、装置及设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9042648B2 (en) * | 2012-02-23 | 2015-05-26 | Microsoft Technology Licensing, Llc | Salient object segmentation |
-
2019
- 2019-05-08 CN CN201910380226.1A patent/CN110110667B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104463869A (zh) * | 2014-12-05 | 2015-03-25 | 西安交通大学 | 一种视频火焰图像复合识别方法 |
| CN104616274A (zh) * | 2015-02-09 | 2015-05-13 | 内蒙古科技大学 | 一种基于显著性区域提取的多聚焦图像融合算法 |
| CN104794710A (zh) * | 2015-04-13 | 2015-07-22 | 上海泽煜实验设备有限公司 | 一种图像处理方法及装置 |
| CN109544583A (zh) * | 2018-11-23 | 2019-03-29 | 广东工业大学 | 一种提取皮革图像感兴趣区域的方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110110667A (zh) | 2019-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110110667B (zh) | 一种硅藻图像的处理方法、系统及相关组件 | |
| CN111145209B (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
| KR102380493B1 (ko) | 골수 세포 표지 방법 및 시스템 | |
| US8300938B2 (en) | Methods for segmenting objects in images | |
| TW202014984A (zh) | 一種圖像處理方法、電子設備及存儲介質 | |
| CN109934224B (zh) | 基于马尔科夫随机场和视觉对比机制的小目标检测方法 | |
| CN112614062B (zh) | 菌落计数方法、装置及计算机存储介质 | |
| CN107704797B (zh) | 基于安防视频中行人和车辆的实时检测方法和系统及设备 | |
| Son et al. | Morphological change tracking of dendritic spines based on structural features | |
| Shaikh et al. | A novel approach for automatic number plate recognition | |
| CN110807775A (zh) | 基于人工智能的中医舌像分割装置、方法及存储介质 | |
| CN111931751A (zh) | 深度学习训练方法、目标物识别方法、系统和存储介质 | |
| CN111415364A (zh) | 一种计算机视觉中图像分割样本的转换方法、系统及存储介质 | |
| CN110490159B (zh) | 识别显微图像中的细胞的方法、装置、设备及存储介质 | |
| CN115439456A (zh) | 一种病理图像中对象检测识别方法及装置 | |
| CN110473212B (zh) | 一种融合显著性和超像素的电镜硅藻图像分割方法及装置 | |
| CN110363762B (zh) | 细胞检测方法、装置、智能显微镜系统和可读存储介质 | |
| CN114943869B (zh) | 风格迁移增强的机场目标检测方法 | |
| CN115131361A (zh) | 目标分割模型的训练、病灶分割方法及装置 | |
| Charles et al. | Object segmentation within microscope images of palynofacies | |
| CN117425914A (zh) | 细胞图像处理方法、电子设备以及存储介质 | |
| CN110276260B (zh) | 一种基于深度摄像头的商品检测方法 | |
| Xue et al. | A general approach for segmenting elongated and stubby biological objects: extending a chord length transform with the radon transform | |
| Li et al. | Object extraction from image with big size based on bilateral grid | |
| CN117437654B (zh) | 一种基于语义识别的栅格地图解析方法、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220923 |