CN111489369A - 幽门螺杆菌的定位方法、装置和电子设备 - Google Patents
幽门螺杆菌的定位方法、装置和电子设备 Download PDFInfo
- Publication number
- CN111489369A CN111489369A CN202010213010.9A CN202010213010A CN111489369A CN 111489369 A CN111489369 A CN 111489369A CN 202010213010 A CN202010213010 A CN 202010213010A CN 111489369 A CN111489369 A CN 111489369A
- Authority
- CN
- China
- Prior art keywords
- color
- candidate region
- helicobacter pylori
- result
- data set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000590002 Helicobacter pylori Species 0.000 title claims abstract description 120
- 229940037467 helicobacter pylori Drugs 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000004043 dyeing Methods 0.000 claims abstract description 17
- 238000001514 detection method Methods 0.000 claims description 56
- 238000012549 training Methods 0.000 claims description 52
- 238000010186 staining Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000011532 immunohistochemical staining Methods 0.000 claims description 4
- 230000005764 inhibitory process Effects 0.000 claims description 4
- 238000007634 remodeling Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 210000001519 tissue Anatomy 0.000 description 49
- 239000003086 colorant Substances 0.000 description 16
- 238000013135 deep learning Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 241000894006 Bacteria Species 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 241001052560 Thallis Species 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 238000007477 logistic regression Methods 0.000 description 4
- 238000007637 random forest analysis Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 229910052717 sulfur Inorganic materials 0.000 description 3
- 239000003053 toxin Substances 0.000 description 3
- 231100000765 toxin Toxicity 0.000 description 3
- 101100476480 Mus musculus S100a8 gene Proteins 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002055 immunohistochemical effect Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229910052700 potassium Inorganic materials 0.000 description 2
- 238000007447 staining method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- RBTBFTRPCNLSDE-UHFFFAOYSA-N 3,7-bis(dimethylamino)phenothiazin-5-ium Chemical compound C1=CC(N(C)C)=CC2=[S+]C3=CC(N(C)C)=CC=C3N=C21 RBTBFTRPCNLSDE-UHFFFAOYSA-N 0.000 description 1
- 101710112752 Cytotoxin Proteins 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 241000589970 Spirochaetales Species 0.000 description 1
- 208000005718 Stomach Neoplasms Diseases 0.000 description 1
- 208000025865 Ulcer Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- MXWJVTOOROXGIU-UHFFFAOYSA-N atrazine Chemical compound CCNC1=NC(Cl)=NC(NC(C)C)=N1 MXWJVTOOROXGIU-UHFFFAOYSA-N 0.000 description 1
- 230000001580 bacterial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 231100000599 cytotoxic agent Toxicity 0.000 description 1
- 239000002619 cytotoxin Substances 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000002919 epithelial cell Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 206010017758 gastric cancer Diseases 0.000 description 1
- 210000001156 gastric mucosa Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229960000907 methylthioninium chloride Drugs 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000012758 nuclear staining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 201000011549 stomach cancer Diseases 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 231100000397 ulcer Toxicity 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种幽门螺杆菌的定位方法、装置和电子设备,该方法包括:获取待检测的目标切片的组织扫描图像,所述目标切片是经过指定染色方式染色后得到的;对所述组织扫描图像进行阈值化处理,以提取得到所述组织扫描图像中的第一候选区域;基于所述第一候选区域中的各个像素对应的颜色参数,以及预先构建的颜色字典,从所述第一候选区域中确定至少一个第二候选区域,所述第二候选区域作为幽门螺杆菌的初步定位识别结果,所述颜色字典中的每种颜色对应幽门螺杆菌的一个分类标签。以此有利于改善现有技术中难以对幽门螺杆菌进行高效识别的问题。
Description
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种幽门螺杆菌的定位方法、装置和电子设备。
背景技术
幽门螺杆菌(Hp),是一种螺旋形、微厌氧、对生长条件要求较为苛刻的革兰氏阴性杆菌,也是一种能产生毒素的无质粒革兰阴性杆菌,约67%的菌株产生空泡毒素(VaeA)和细胞毒素相关蛋白A(CagA)。幽门螺杆菌黏附于胃黏膜上皮细胞进行增殖,将毒素CagA注入宿主细胞内,引起黏膜细胞与细胞之间分离,黏膜细胞的破裂,导致炎症、溃疡、胃癌等发生。
为了能够识别出幽门螺杆菌(Hp),现有技术中的一种做法是:根据幽门螺杆菌占图像小块中的比例划分阴、阳性样本,从而训练一个深度学习网络,并通过训练出的深度学习网络实现对幽门螺杆菌的识别,这种方式难以对幽门螺杆菌进行高效识别。
发明内容
本申请实施例的目的在于提供一种幽门螺杆菌的定位方法、装置和电子设备,用以改善现有技术中难以对幽门螺杆菌进行高效识别的问题。
第一方面,本申请实施例提供一种幽门螺杆菌的定位方法,所述方法包括:
获取待检测的目标切片的组织扫描图像,所述目标切片是经过指定染色方式染色后得到的;
对所述组织扫描图像进行阈值化处理,以提取得到所述组织扫描图像中的第一候选区域;
在基于所述第一候选区域中的各个像素对应的颜色参数,以及预先构建的颜色字典,确定所述第一候选区域中存在至少一个第二候选区域时,将所述第二候选区域作为可疑区域,得到幽门螺杆菌的初步定位识别结果,所述颜色字典中的每种颜色对应幽门螺杆菌的一个分类标签。
在上述方法中,是对以指定染色方式染色后得到的组织扫描图像进行处理,从组织扫描图像中提取第一候选区域,并以预先构建的颜色字典作为参照,对第一候选区域中各个像素的颜色进行识别,从而在从第一候选区域中确定出至少一个第二候选区域时,将第二候选区域作为存在幽门螺杆菌的可疑区域。通过以指定染色方式进行染色后有助于使得待检测的幽门螺杆菌在图像中更易识别,有助于将存在幽门螺杆菌的部分与不存在幽门螺杆菌的部分进行区分,利于提升组织扫描图像中部分像素的显色度。并且利用颜色字典作为参照,对染色后扫描得到的组织扫描图像中各个像素的颜色进行识别,从而确定第二候选区域的方式,相较于通过深度学习网络进行繁琐的数据量处理从而进行识别的方式,能够提升对于幽门螺杆菌所在区域的识别效率。
在可选的实施方式中,所述基于所述第一候选区域中的各个像素对应的颜色参数,以及预先构建的颜色字典,确定所述第一候选区域中存在至少一个第二候选区域的实现过程包括:
对所述第一候选区域进行滑动取点,得到目标像素点;
将每个目标像素点的颜色参数分别与预先构建的颜色字典中的每种颜色进行匹配,得到每个目标像素点的匹配结果;
基于所述第一候选区域中每个目标像素点的匹配结果以及每个目标像素点的位置,从所述第一候选区域中确定至少一个第二候选区域。
通过上述实现方式,将目标像素点的颜色参数与颜色字典中的每种颜色进行匹配,由于颜色字典中存在的颜色种类是有限的,这种类似于查字典的方式能够提升对于幽门螺杆菌所在区域的识别效率。
在可选的实施方式中,在基于所述第一候选区域中的各个像素对应的颜色参数,以及预先构建的颜色字典,从所述第一候选区域中确定出至少一个第二候选区域之前,所述方法还包括:
采用经过样本标注的训练数据集对选定的分类器进行训练,所述分类器用于识别所述训练数据集中的各个像素点是否为幽门螺杆菌;
基于所述分类器的输出结果,对RGB通道构成的颜色空间中的每种颜色进行分类,得到所述颜色空间中的每种颜色的颜色预测值,所述颜色预测值用于表示对应的颜色是否指示为幽门螺杆菌;
基于每种颜色的颜色预测值生成所述颜色字典。
通过上述实现方式,结合分类器的输出结果为RGB通道构成的颜色空间中的每种颜色进行分类,从而为颜色空间的所有颜色生成颜色字典。
在可选的实施方式中,所述采用经过样本标注的训练数据集对选定的分类器进行训练,包括:
获取经过样本标注的第一数据集,所述第一数据集中的阳性样本包括标记为幽门螺杆菌的多个像素点,所述第一数据集中的阴性样本包括标记为非幽门螺杆菌的多个像素点;
基于设定的样本分布比例,从所述第一数据集中确定所述训练数据集;
通过所述训练数据集对所述分类器进行训练。
通过上述实现方式,在面临的数据量大时,以设定的样本分布比例确定训练数据集从而对分类器进行训练,有利于改善数据量过大所带来的收敛较慢的问题,还能提升分类器的准确率。
在可选的实施方式中,所述方法还包括:
通过训练过的检测网络模型对所述第二候选区域进行识别,以确定所述第二候选区域中的幽门螺杆菌的位置。
通过上述实现方式可以对幽门螺杆菌进行精确定位。
在可选的实施方式中,所述通过训练过的检测网络模型对所述第二候选区域进行识别,以确定所述第二候选区域中的幽门螺杆菌的位置,包括:
将所述第二候选区域的特征图输入至所述检测网络模型进行识别,得到所述第二候选区域的多个检测框的分类结果;
通过非极大值抑制法对分类结果相同的多个检测框进行处理,得到所述第二候选区域中的幽门螺杆菌的位置。
通过上述实现方式,可以确定幽门螺杆菌的位置,且能够避免同属一片区域的幽门螺杆菌因多个检测框的位置相近而造成识别干扰。
在可选的实施方式中,所述检测网络模型包括:第一卷积层、七个移动倒置瓶颈卷积层、第二卷积层、第三卷积层、特征融合模块、类别预测模块和检测框预测模块;所述类别预测模块和检测框预测模块均包括四个卷积层和一个重塑矩阵形状层;
所述第一卷积层、所述七个移动倒置瓶颈卷积层、所述第二卷积层和所述第三卷积层依次连接,所述第一卷积层用于输入待检测图像,所述七个移动倒置瓶颈卷积层中的指定层的输出结果经过卷积操作后得到的第一结果、所述第二卷积层输出的第二结果和所述第三卷积层输出的第三结果输入至所述特征融合模块,所述特征融合模块用于根据输入的所述第一结果、所述第二结果和所述第三结果进行上采样、跳跃连接和下采样中的至少一种操作,以得到第四结果,并将所述第四结果分别输入至所述类别预测模块和所述检测框预测模块,所述类别预测模块用于根据所述第四结果获取所述待检测图像的多个检测框的分类结果,所述检测框预测模块用于根据所述第四结果确定所述待检测图像的中的幽门螺杆菌的位置。
通过上述实现方式能够提升对于幽门螺杆菌的识别精准度。
在可选的实施方式中,所述指定染色方式为免疫组化染色方式。
其中,当以免疫组化染色对目标切片进行染色后,被染色的幽门螺杆菌部分、非幽门螺杆菌的组织部分以及背景部分之间的颜色差异更大,这将有助于以颜色作为区分,对幽门螺杆菌进行高效识别。
第二方面,实施例提供一种幽门螺杆菌的定位装置,所述装置包括:
获取模块,用于获取待检测的目标切片的组织扫描图像,所述目标切片是经过指定染色方式染色后得到的;
提取模块,用于对所述组织扫描图像进行阈值化处理,以提取得到所述组织扫描图像中的第一候选区域;
定位模块,用于在基于所述第一候选区域中的各个像素对应的颜色参数,以及预先构建的颜色字典,确定所述第一候选区域中存在至少一个第二候选区域时,将所述第二候选区域作为可疑区域,得到幽门螺杆菌的初步定位识别结果,所述颜色字典中的每种颜色对应幽门螺杆菌的一个分类标签。
通过上述装置可以执行前述第一方面的方法,通过利用颜色字典作为参照,对染色后扫描得到的组织扫描图像中各个像素的颜色进行识别,从而在第一候选区域中确定出第二候选区域的方式,相较于通过深度学习网络进行繁琐的数据量处理从而进行识别的方式,能够提升对于幽门螺杆菌所在区域的识别效率,实现对于幽门螺杆菌的高效识别。
第三方面,本申请实施例提供一种电子设备,包括:
存储器;
处理器;
所述存储器上存储有所述处理器可执行的计算机程序,所述计算机程序被所述处理器执行时执行前述第一方面提供的方法。
第四方面,本申请实施例提供一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时执行前述第一方面提供的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种幽门螺杆菌的定位方法的流程图。
图2为本申请实施例提供的一个实例中的第一候选区域的示意图。
图3为本申请实施例提供的另一种幽门螺杆菌的定位方法的流程图。
图4为本申请实施例提供的一种检测网络模型的示意图。
图5为本申请实施例提供的一个实例中的移动倒置瓶颈卷积层的执行流程示意图。
图6为本申请实施例提供的一种幽门螺杆菌的定位装置的功能模块框图。
图7为本申请实施例提供的一种电子设备的结构框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
发明人经过研究发现,现有技术中常常对于以H&E染色方式得到的图像,使用滑动取块的方式得到尺寸大小为32×32的图像小块,结合幽门螺杆菌在图像小块中所占的比例确定整个图像小块的样本属性,从而划分阴阳性样本对深度学习网络进行训练,并通过训练出的深度学习网络对幽门螺杆菌进行识别。
而在实际应用中,虽然H&E是一种常用的染色方式,但染色后的组织部分和幽门螺杆菌均呈红色,细菌形态难以确定,通过深度学习网络难以对幽门螺杆菌进行高效识别。
在以H&E染色方式染色后得到的图像中,组织和幽门螺杆菌均呈红色,不易确定幽门螺杆菌的形态;而如果以特殊染色方式中的w-s银染色方式进行染色,得到的图像中所显示的细菌形态不清楚,且染色步骤复杂、耗时较长;而如果以特殊染色方式中的亚甲蓝特殊染色方式进行染色,可将幽门螺杆菌染成紫蓝色,且清晰显示细菌的形态结构,但是同时也会将其他革兰阴性细菌着色,因此这种方式的特异性较差。
因此发明人提出以下实施例,利用计算机高效、可靠、不疲劳的特性,提出以下实施例以对幽门螺杆菌进行快速识别、准确识别,这有利于缓解医生资源紧张的现状。
为便于理解,下面对本申请实施例中的一些名词进行介绍。
组织:形态相似、功能相同的一群细胞和细胞间质组合起来称为组织。
RGB:RGB色彩模式是工业界的一种颜色标准,是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的,RGB即是代表红、绿、蓝三个通道的颜色。目前的显示器大多采用RGB颜色标准。其中,对各种颜色以RGB编码方法进行编码得到的集合统称为“颜色空间”或“色域”。颜色空间中的任一种颜色都可以表示为红(R)、绿(G)、蓝(B)三个通道的组合颜色参数。
HSV(Hue,Saturation,Value):是根据颜色的直观特性由A.R.Smith在1978年创建的一种颜色空间,也称六角锥体模型(HexconeModel)。这个模型中颜色的参数分别是:色调(H),饱和度(S),亮度(V)。
请参阅图1,图1为本申请实施例提供的一种幽门螺杆菌的定位方法的流程图。为了便于描述,在下文中的部分描述中将幽门螺杆菌简称为Hp。
如图1所示,该方法包括步骤S11-S13。
S11:获取待检测的目标切片的组织扫描图像。
在一个实例中,将需要进行幽门螺杆菌检测的组织切片作为目标切片,目标切片中可能含有胃部幽门螺杆菌。对目标切片以第一扫描倍率进行数字化扫描,从而得到组织扫描图像,第一扫描倍率可以是40倍。可以理解的是,第一扫描倍率是可以根据实际需要进行更改的。
其中,在扫描前的目标切片是经过指定染色方式染色后得到的,指定染色方式可以是免疫组化染色方式,对于以免疫组化染色方式得到的切片,幽门螺杆菌的菌体相较于经过美兰法染色后的菌体更为粗大,且在蓝色核染色的背景中,幽门螺杆菌的菌体呈棕黄色,易于区分。
对以免疫组化染色方式染色后的组织切片进行扫描后可以得到组织扫描图像。在该组织扫描图像中,如果存在待测的幽门螺杆菌,幽门螺杆菌的菌体偏棕黄色,而组织区域偏紫或偏蓝,即无组织又无菌体的区域是偏白的无关区域,或称背景区域。
在得到组织扫描图像后,可以执行S12。
S12:对组织扫描图像进行阈值化处理,以提取得到组织扫描图像中的第一候选区域。
其中,第一候选区域作为前景区域,前景区域中可包括组织区域、杂质区域和待识别的幽门螺杆菌的菌体所在区域。
作为S12的一种实现方式,可以通过大津算法对组织扫描图像进行阈值化处理,提取得到组织扫描图像中的第一候选区域,去除组织扫描图像中的无关区域。
在一个实例中,如果第一扫描倍率下的图像尺寸较大,若直接对第一扫描倍率下的组织扫描图像进行处理,容易造成内存溢出。因此,可以选用第二扫描倍率下的组织扫描图像进行阈值化处理。第二扫描倍率小于第一扫描倍率。例如,第二扫描倍率可以是0.625倍。
对于需要提取前景区域的组织扫描图像,可以分别对R通道、G通道、B通道使用大津算法进行计算,分别得到R通道、G通道、B通道这三个通道的阈值:TR,TG,TB。然后将组织扫描图像的R通道中颜色参数大于阈值TR的像素区域作为候选前景RR,将G通道中颜色参数大于阈值TG的像素区域作为候选前景RG,将B通道中颜色参数大于阈值TB的像素区域作为候选前景RB。然后将组织扫描图像转换到HSV显示模式,对饱和度S使用大津算法进行计算,得到阈值TS,将组织扫描图像中饱和度大于TS的像素区域作为候选前景RS。然后对候选前景RR、RG、RB以及RS取交集,得到组织扫描图像中的第一候选区域。
在一个实例中,通过上述实现方式可以提取得到如图2中的两个闭合实线区域,作为第一候选区域。图2中,A1、A2、A3处的颜色与幽门螺杆菌经过指定染色方式染色后的颜色相同或相近。B1、B2处的颜色与组织区域经过该指定染色方式染色后的颜色相同或相近。
在提取得到第一候选区域后,可以执行S13。
S13:基于第一候选区域中的各个像素对应的颜色参数,以及预先构建的颜色字典,从第一候选区域中确定是否存在至少一个第二候选区域。
颜色字典中的每种颜色对应幽门螺杆菌的一个分类标签。以此可以根据颜色字典得知哪些颜色表示存在幽门螺杆菌,哪些颜色表示不存在幽门螺杆菌。
其中,在基于第一候选区域中的各个像素对应的颜色参数,以及预先构建的颜色字典,确定第一候选区域中存在至少一个第二候选区域时,将第二候选区域作为可疑区域,得到幽门螺杆菌的初步定位识别结果(对应图1中的S131)。即,以上述S13所确定出的第二候选区域可以作为幽门螺杆菌的初步定位识别结果。
相对的,在基于第一候选区域中的各个像素对应的颜色参数,以及预先构建的颜色字典,确定第一候选区域中不存在第二候选区域时,得到用于表示目标切片中不存在幽门螺杆菌的第一检测结果(对应图1中的S132)。即,当确定出第一候选区域中不存在第二候选区域时(检测不到第二候选区域时),表示该第一候选区域中没有可疑区域,不存在幽门螺杆菌。
在一个实例中,对于在RGB模式下具有256级亮度的颜色空间,颜色空间中各种颜色的颜色预测值可以表示为256×256×256的3维矩阵,每个颜色预测值为第一预设值或第二预设值。第一预设值(可以是0)表示非Hp,第二预设值(可以是1)表示Hp。将该颜色空间下得到的矩阵或颜色预测值保存在颜色字典中。需要说明的是,构建颜色字典过程中所采用的染色方式与前述组织扫描图像的染色方式是相同的。
通过将S12提取得到的第一候选区域中各个像素的颜色参数与颜色字典中的每种颜色进行匹配,可以通过颜色查询的方式确定对应的像素点是否指示为幽门螺杆菌。
在上述S11-S13的方法中,通过以指定染色方式进行染色后有助于使得待检测的幽门螺杆菌在图像中更易识别,有助于将存在幽门螺杆菌的部分与不存在幽门螺杆菌的部分进行区分,利于提升组织扫描图像中部分像素的显色度。并且利用颜色字典作为参照,基于颜色字典可以快速对染色后扫描得到的组织扫描图像中的各个像素点的颜色进行查询识别,从而确定第二候选区域的方式,相较于直接使用深度学习网络的方式能够明显降低数据处理量,在实际应用中可以快速地从图2中的第一候选区域中确定出第二候选区域(可以包括A1、A2、A3),能够提升对于幽门螺杆菌所在区域的识别效率,实现对于幽门螺杆菌的可疑区域进行高效定位。
可选地,如图3所示,在确定出作为可疑区域的第二候选区域后,可以执行S14,以实现对于幽门螺杆菌的精确定位。
S14:通过训练过的检测网络模型对第二候选区域进行识别,以确定第二候选区域中的幽门螺杆菌的位置。
下面将分别对S13、S14进行详细介绍。
在执行S13之前,需要生成颜色字典,该过程包括:数据集构建阶段、分类器训练阶段、颜色字典构建阶段,在生成颜色字典之后才可以将颜色字典应用在S13中进行使用,从而快速定位出幽门螺杆菌的第二候选区域。
从数据集构建阶段、分类器训练阶段至颜色字典构建阶段的执行步骤包括:S101-S103。
S101:采用经过样本标注的训练数据集对选定的分类器进行训练。
其中,该分类器用于识别训练数据集中的各个像素点是否为幽门螺杆菌,分类器可以是朴素贝叶斯分类器(Naive Bayesian Classifier,NB)、逻辑回归分类器(LogisticRegression,LR)或随机森林分类器(Random Forest,RF)。
作为S101的一种实现方式,S101可以包括数据集构建阶段的步骤S1010以及分类器训练阶段的步骤S1011-S1012。
S1010:获取经过样本标注的第一数据集。
其中,该第一数据集中的阳性样本包括标记为幽门螺杆菌的多个像素点,第一数据集中的阴性样本包括标记为非幽门螺杆菌的多个像素点。
在一个实例中,可以在第一扫描倍率下对于以上述指定染色方式得到的组织切片的扫描图像进行分割,截取出20000*10000的图像块,并对这些图像块进行标注,从而得到包含阴性标记、阳性标记的样本。标注工具可以是gimp软件。
其中,可以根据标记的掩膜标记,获取到原始扫描图像中的Hp所在区域的位置。假设扫描图像中有m个像素点的位置是确定存在Hp的,依据位置信息获取Hp位置的RGB值,将这m个像素点的RGB值作为3维的特征,添加阳性标记,得到阳性样本。而对于扫描图像中未包含Hp区域的像素点,视为背景,选取背景中一部分像素点的RGB值,添加阴性标记,得到阴性样本。假设有n个像素点被添加了阴性标记,可以得到数据量为m+n的第一数据集,每个数据包括R、G、B这3个通道的颜色参数,每个数据对应一个分类标记(Hp或非Hp)。
在确定第一数据集后,进入分类器训练阶段S1011-S1012。
S1011:基于设定的样本分布比例,从第一数据集中确定训练数据集。
S1012通过训练数据集对分类器进行训练。
关于S1011-S1012,发明人发现,由于在实际的数据采样过程中,扫描图像中的背景像素点数据非常多,如果将庞大的数据量一次性输入分类器进行训练,难以在短时间内得知训练效果,会对训练过程造成影响。因此,为缓解收敛较慢且准确率较低的问题,采用分组训练的方式对选定的分类器进行训练。
分组训练时,由于一张扫描图像中实际存在幽门螺杆菌的区域占整张图像的比例很小,阳性样本的数量远小于阴性样本的数量(即,m远小于n)。因此,可以在每次对分类器进行训练时,按照设定的样本分布比例确定指定数量的阳性样本和阴性样本。例如,如果样本分布比例为1:3,则在每次训练时,可以对阳性样本与阴性样本以1:3的比例进行选取,从而确定出每次训练所用的训练数据集。可以理解的是,本领域技术人员可以根据实际需要对训练所用的样本分布比例进行更改设置,例如样本分布比例可以为1:4、1:5等。
以样本分布比例为1:3为例,在阳性样本数量远小于阴性样本的情况下,可以将阳性样本的图像全都加入阳性样本集中,然后从数据量大的背景像素中随机选取出3倍于阳性样本数量的数据作为阴性样本集,阳性样本集和阴性样本集合起来作为一次训练过程中的完备的训练数据集。然后通过该训练数据集对分类器进行训练。在下一次对该分类器进行训练时,可以重新按照上述样本分布比例得到新的训练数据集,以对分类器进行训练。
在一个实例中,可以按照设定的训练次数(例如20次、40次、50次、60次等)对分类器进行重复训练,每次训练时所用的阳性样本可以相同,由于阴性样本是根据阳性样本随机选取的,因此各次训练时所用的阴性样本的重复概率可能较小。
按照上述实现方式,在相同训练测试条件下,选用图像尺寸为15000*15000的图像,对朴素贝叶斯分类器、逻辑回归分类器和随机森林分类器分别进行40次训练后,得知朴素贝叶斯分类器的准确率可达到93.21%,耗时0.7秒,逻辑回归分类器的准确率可达到95.88%,耗时0.8秒,随机森林分类器的准确率可达到96.35%,耗时0.7秒。因此,从耗时、准确率角度考虑,随机森林分类器的分类效果更好。
在对分类器进行训练之后,进入颜色字典构建阶段,执行S102-S103。
S102:基于分类器的输出结果,对RGB通道构成的颜色空间中的每种颜色进行分类,得到该颜色空间中的每种颜色的颜色预测值,颜色预测值用于表示对应的颜色是否指示为幽门螺杆菌。
S103。基于每种颜色的颜色预测值生成颜色字典。
其中,可以将分类器的输出结果作为对颜色空间中的各种颜色进行分类的参照依据,从而对RGB通道构成的颜色空间中的每种颜色进行分类,得到该每种颜色的颜色预测值并生成颜色字典,以使颜色空间中的每种颜色对应一个分类标签,从而能够根据每种颜色的颜色预测值得知哪些颜色表示Hp,哪些颜色表示非Hp。
颜色空间中的各种颜色的颜色预测值表现形式与RGB模式下的选用的亮度级数有关,例如,如果级数为256,则每种颜色可以表示为256×256×256的矩阵。
通过上述S101-S103的实现方式,结合分类器的输出结果为RGB通道构成的颜色空间中的每种颜色进行分类,从而为颜色空间的所有颜色生成颜色字典。
通过上述S101-S103生成颜色字典后,可以执行上述S13。
作为一种实现方式,基于所述第一候选区域中的各个像素对应的颜色参数,以及预先构建的颜色字典,确定所述第一候选区域中存在至少一个第二候选区域的实现过程可以包括子步骤:S1301-S1303。
S1301:对第一候选区域进行滑动取点,得到目标像素点。
S1302:将每个目标像素点的颜色参数分别与预先构建的颜色字典中的每种颜色进行匹配,得到每个目标像素点的匹配结果。
S1303:基于第一候选区域中每个目标像素点的匹配结果以及每个目标像素点的位置,从所述第一候选区域中确定至少一个第二候选区域。
第二候选区域可作为幽门螺杆菌的初步定位识别结果。
其中,可以对S12中提取到的第一候选区域进行滑动取点,从而得到滑动窗口中的目标像素点。将目标像素点的颜色参数(包括R、G、B三个通道的颜色参数)作为索引键值,从颜色字典中查找出该目标像素点的颜色参数所对应的颜色预测值,基于查找到的颜色预测值判定该目标像素点是否指示幽门螺杆菌。并基于目标像素点在组织扫描图像中的位置确定,该目标像素点处是否有幽门螺杆菌。当对第一候选区域中的所有目标像素点都基于颜色字典进行匹配识别后,可以将匹配结果中指示为幽门螺杆菌且位置相连的像素点视为同一个第二候选区域内的点,从而能够快速确定出组织扫描图像中的一个或多个第二候选区域。
通过上述S1301-S1303的实现方式,将目标像素点的颜色参数与颜色字典中的每种颜色进行匹配,由于颜色字典中存在的颜色种类是有限的,这种类似于查字典的方式能够提升对于幽门螺杆菌所在区域的识别效率。
基于确定出的第二候选区域可执行S14。
作为上述S14的一种实现方式,S14可以包括步骤:S141-S142。
S141:将第二候选区域的特征图输入至检测网络模型进行识别,得到第二候选区域的多个检测框的分类结果;
S142:通过非极大值抑制法对分类结果相同的多个检测框进行处理,得到第二候选区域中的幽门螺杆菌的位置。
通过上述实现方式,可以确定幽门螺杆菌的位置,且能够避免同属一片区域的幽门螺杆菌因多个检测框的位置相近而造成识别干扰。
为了提升对于幽门螺杆菌的识别精确性,下面将对S14中的检测网络模型进行介绍。图4为本申请实施例提供的一种检测网络模型的示意图。
如图4所示,该检测网络模型包括:第一卷积层、七个移动倒置瓶颈卷积层、第二卷积层、第三卷积层、特征融合模块、类别预测模块和检测框预测模块。
其中,类别预测模块和检测框预测模块均包括四个卷积层和一个重塑矩阵形状层。
第一卷积层、七个移动倒置瓶颈卷积层、第二卷积层和第三卷积层依次连接。
第一卷积层用于输入待检测图像。七个移动倒置瓶颈卷积层中的指定层的输出结果经过卷积操作后得到的第一结果、第二卷积层输出的第二结果和第三卷积层输出的第三结果输入至特征融合模块。特征融合模块用于根据输入的第一结果、第二结果和第三结果进行上采样、跳跃连接和下采样中的至少一种操作,以得到第四结果,并将第四结果分别输入至类别预测模块和检测框预测模块。类别预测模块用于根据第四结果获取待检测图像的多个检测框的分类结果,检测框预测模块用于根据第四结果确定待检测图像的中的幽门螺杆菌的位置。
其中,对于训练后的检测网络模型,待检测图像可以是第二候选区域的特征图。
通过上述的检测网络模型对待检测图像进行检测,检测网络模型较小,检测网络模型能够提取丰富、有效的特征,识别速度快,可提升检测精度。
在图4所示的检测网络模型中,输入至检测网络模型的待检测图像的图像尺寸为512×512。七个移动倒置瓶颈卷积层中的指定层是第3、5、7层,第3、5、7层的输出结果经过卷积操作后得到第一结果。移动倒置瓶颈卷积层记为MBConv,其余的常规的卷积层记为Conv。重塑矩阵形状层记为Reshape。本领域技术人员可以对指定层的位置、待检测图像的图像尺寸进行设置。
对于上述检测网络模型中的移动倒置瓶颈卷积层MBConv,该MBConv需要输入的参数包括:K,S,E,R,O。
其中K表示MBConv中的深度可分离卷积层(Depthwise)进行卷积操作时使用的卷积核尺寸,E表示通道数的扩展系数,O表示通道输出大小,R表示当前参数条件下MBConv模块重复的次数。关于其余的常规的卷积层Conv中所涉及的K,S,O的含义请参照对于MBConv的描述。
当R等于1时,Depthwise卷积的步长为S,不进行随机丢弃(Dropout,简称Drop)操作和跳跃连接操作,从第二次起,即R大于等于2时,Depthwise卷积的步长为1,并进行Drop和跳跃连接操作。Dropout设置固定参数0.1进行随机丢弃操作。
对于每个移动倒置瓶颈卷积层MBConv,可以按照图5所示一个实例的执行流程进行处理,在图5中输入至MBConv的参数为前述的K,S,E,R,O。在E为1时,继续判断R的值。而在E不为1的情况下,先对于输入至该MBConv的特征图,以K=1,S=1,O=E*输入通道数的参数进行常规卷积操作(Conv),再判断R是否为1。当R为1时,依次执行深度可分离卷积操作(Depthwise_Conv)、压缩激励操作(Squeeze-and-Excitation,SE)、常规卷积操作(Conv),然后进行输出。当R不为1时,依次执行深度可分离卷积操作、压缩激励操作、常规卷积操作、随机丢弃操作,然后将输入至该MBConv的特征和进行随机丢弃操作后的输出特征相结合,结合后得到的结果作为该MBConv对于本次输入内容的输出内容。
在图5中,移动倒置瓶颈卷积层MBConv在应用过程中使用到了压缩激励模块(Squeeze-and-Excitation,SE模块),该SE模块需要输入的参数是se_mid,se_mid=0.25*输入通道数。
在该SE模块中,如图6所示,输入的特征图的尺寸记为(W,H,C),该SE模块先将尺寸为(W,H,C)的第一特征图进行全局池化,得到尺寸为(1,1,C)的第二特征图,然后降低通道数的维度,将通道数维度减小为se_mid,基于第二特征图得到尺寸为(1,1,se_mid)的第三特征图,再使用卷积操作将通道数变为和原来值相同,基于第三特征图得到尺寸为(1,1,C)的第四特征图,最后将原始的第一特征图和新得到的第四特征图相乘,得到该SE模块的输出结果,即尺寸为(W,H,C)的结果特征图。
对于图4所示的检测网络模型,在模型的训练阶段,可以对待检测图像在上述第一扫描倍率下进行滑动取块,滑动取块的窗口尺寸可以是256×256,将取得的图像放大至尺寸为512×512后,对尺寸为512×512的图像进行反转、旋转、镜像等操作进行数据增强,并对检测网络模型进行训练。初始学习率可以设置为0.001,冲量可设为0.3,可采用随机梯度下降法进行梯度优化。训练增强后的数据可迭代50次。
在检测网络模型的测试、应用阶段,可按照上述S13确定出的第二候选区域,对第二候选区域的图像在第一扫描倍率下进行滑动取块,滑动取块的窗口大小为256×256,将图像尺寸放大到512×512,然后送入到该检测网络模型中,该检测网络模型可输出预测的检测框在组织扫描图像中的坐标和检测框的类别。然后用非极大值抑制方法去除重复的检测框,即可得到最终的检测结果,以此反映出幽门螺杆菌在组织扫描图像或第一候选区域或第二候选区域中的位置。
通过上述方法能够基于颜色字典快速识别出幽门螺杆菌的大致区域(第二候选区域),并在该基础上结合上述检测网络模型对幽门螺杆菌进行识别,能够实现数据修正,提升识别精度。
在一个应用场景下,上述方法由于能够高效识别幽门螺杆菌,可缩短发现幽门螺杆菌的时间,对于临床疾病研究有重要意义。
基于同一发明构思,如图6所示,本申请实施例还提供一种幽门螺杆菌的定位装置200,该装置包括获取模块210、提取模块220、定位模块230。该装置可用于执行前述的幽门螺杆菌的定位方法,能够实现对于幽门螺杆菌的高效识别。
获取模块210,用于获取待检测的目标切片的组织扫描图像,目标切片是经过指定染色方式染色后得到的。
提取模块220,用于对组织扫描图像进行阈值化处理,以提取得到组织扫描图像中的第一候选区域。
定位模块230,用于在基于所述第一候选区域中的各个像素对应的颜色参数,以及预先构建的颜色字典,确定所述第一候选区域中存在至少一个第二候选区域时,将所述第二候选区域作为可疑区域,得到幽门螺杆菌的初步定位识别结果,所述颜色字典中的每种颜色对应幽门螺杆菌的一个分类标签。
可选地,该定位模块230还可用于:对第一候选区域进行滑动取点,得到目标像素点;将每个目标像素点的颜色参数分别与预先构建的颜色字典中的每种颜色进行匹配,得到每个目标像素点的匹配结果;基于第一候选区域中每个目标像素点的匹配结果以及每个目标像素点的位置,从第一候选区域中确定至少一个第二候选区域,第二候选区域作为幽门螺杆菌的初步定位识别结果。
可选地,上述装置还可包括生成模块,该生成模块可用于:采用经过样本标注的训练数据集对选定的分类器进行训练,分类器用于识别训练数据集中的各个像素点是否为幽门螺杆菌;基于分类器的输出结果,对RGB通道构成的颜色空间中的每种颜色进行分类,得到颜色空间中的每种颜色的颜色预测值,颜色预测值用于表示对应的颜色是否指示为幽门螺杆菌;基于每种颜色的颜色预测值生成颜色字典。
可选地,该生成模块还可包括训练模块,该获取模块210还可用于获取经过样本标注的第一数据集,第一数据集中的阳性样本包括标记为幽门螺杆菌的多个像素点,第一数据集中的阴性样本包括标记为非幽门螺杆菌的多个像素点;该训练模块用于基于设定的样本分布比例,从第一数据集中确定训练数据集;通过训练数据集对分类器进行训练。
可选地,该定位模块230还可用于:通过训练过的检测网络模型对第二候选区域进行识别,以确定第二候选区域中的幽门螺杆菌的位置。
可选地,该定位模块230还可用于:将第二候选区域的特征图输入至检测网络模型进行识别,得到第二候选区域的多个检测框的分类结果;通过非极大值抑制法对分类结果相同的多个检测框进行处理,得到第二候选区域中的幽门螺杆菌的位置。
关于本申请实施例提供的幽门螺杆菌的定位装置200的其他细节,请进一步参考前述幽门螺杆菌的定位方法中的相关描述,在此不再赘述。
基于同一发明构思,请参阅图7,本申请实施例还提供一种电子设备,该电子设备具有运算处理能力,用于执行前述的幽门螺杆菌的定位方法。该电子设备可以是个人计算机、服务器等具有运算处理能力的设备。
如图7所示,该电子设备包括:存储器310、处理器320、通信单元330。存储器310、处理器320、通信单元330之间通过通讯总线直接或间接连接,以实现数据交互。通信单元330可用于实现电子设备的各个内部组件之间的直接或间接连接。
存储器310是一种存储介质,可以是高速RAM存储器,也可以是非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。存储器310可用于存储本申请实施例提供的方法对应的计算机程序。
处理器320具有运算处理能力,可以是中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等通用处理器,也可以是现场可编程逻辑阵列、分立器件搭建的专用处理器等。处理器320可以实现本申请实施例提供的方法、步骤及逻辑框图。
当存储器310上存储的计算机程序被处理器320运行时,可以实现本申请实施例提供的上述方法。
可以理解的是,图7所示的结构仅作为示意,具体应用时,电子设备还可以有更多的组件,或具有与图7所示所不同的配置方式。例如,该电子设备还可以包括显示单元,用于展示本申请实施例提供的方法中的一些图像处理结果。
除了上述实施例以外,本申请实施例还提供一种存储介质,该存储介质上存储有计算机程序,该计算机程序被处理器执行时执行前述的方法。
存储介质可包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种幽门螺杆菌的定位方法,其特征在于,所述方法包括:
获取待检测的目标切片的组织扫描图像,所述目标切片是经过指定染色方式染色后得到的;
对所述组织扫描图像进行阈值化处理,以提取得到所述组织扫描图像中的第一候选区域;
在基于所述第一候选区域中的各个像素对应的颜色参数,以及预先构建的颜色字典,确定所述第一候选区域中存在至少一个第二候选区域时,将所述第二候选区域作为可疑区域,得到幽门螺杆菌的初步定位识别结果,所述颜色字典中的每种颜色对应幽门螺杆菌的一个分类标签。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一候选区域中的各个像素对应的颜色参数,以及预先构建的颜色字典,确定所述第一候选区域中存在至少一个第二候选区域的实现过程包括:
对所述第一候选区域进行滑动取点,得到目标像素点;
将每个目标像素点的颜色参数分别与预先构建的颜色字典中的每种颜色进行匹配,得到每个目标像素点的匹配结果;
基于所述第一候选区域中每个目标像素点的匹配结果以及每个目标像素点的位置,从所述第一候选区域中确定至少一个第二候选区域。
3.根据权利要求1所述的方法,其特征在于,在基于所述第一候选区域中的各个像素对应的颜色参数,以及预先构建的颜色字典,从所述第一候选区域中确定出至少一个第二候选区域之前,所述方法还包括:
采用经过样本标注的训练数据集对选定的分类器进行训练,所述分类器用于识别所述训练数据集中的各个像素点是否为幽门螺杆菌;
基于所述分类器的输出结果,对RGB通道构成的颜色空间中的每种颜色进行分类,得到所述颜色空间中的每种颜色的颜色预测值,所述颜色预测值用于表示对应的颜色是否指示为幽门螺杆菌;
基于每种颜色的颜色预测值生成所述颜色字典。
4.根据权利要求3所述的方法,其特征在于,所述采用经过样本标注的训练数据集对选定的分类器进行训练,包括:
获取经过样本标注的第一数据集,所述第一数据集中的阳性样本包括标记为幽门螺杆菌的多个像素点,所述第一数据集中的阴性样本包括标记为非幽门螺杆菌的多个像素点;
基于设定的样本分布比例,从所述第一数据集中确定所述训练数据集;
通过所述训练数据集对所述分类器进行训练。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:
通过训练过的检测网络模型对所述第二候选区域进行识别,以确定所述第二候选区域中的幽门螺杆菌的位置。
6.根据权利要求5所述的方法,其特征在于,所述通过训练过的检测网络模型对所述第二候选区域进行识别,以确定所述第二候选区域中的幽门螺杆菌的位置,包括:
将所述第二候选区域的特征图输入至所述检测网络模型进行识别,得到所述第二候选区域的多个检测框的分类结果;
通过非极大值抑制法对分类结果相同的多个检测框进行处理,得到所述第二候选区域中的幽门螺杆菌的位置。
7.根据权利要求5所述的方法,其特征在于,所述检测网络模型包括:第一卷积层、七个移动倒置瓶颈卷积层、第二卷积层、第三卷积层、特征融合模块、类别预测模块和检测框预测模块;所述类别预测模块和检测框预测模块均包括四个卷积层和一个重塑矩阵形状层;
所述第一卷积层、所述七个移动倒置瓶颈卷积层、所述第二卷积层和所述第三卷积层依次连接,所述第一卷积层用于输入待检测图像,所述七个移动倒置瓶颈卷积层中的指定层的输出结果经过卷积操作后得到的第一结果、所述第二卷积层输出的第二结果和所述第三卷积层输出的第三结果输入至所述特征融合模块,所述特征融合模块用于根据输入的所述第一结果、所述第二结果和所述第三结果进行上采样、跳跃连接和下采样中的至少一种操作,以得到第四结果,并将所述第四结果分别输入至所述类别预测模块和所述检测框预测模块,所述类别预测模块用于根据所述第四结果获取所述待检测图像的多个检测框的分类结果,所述检测框预测模块用于根据所述第四结果确定所述待检测图像的中的幽门螺杆菌的位置。
8.根据权利要求1所述的方法,其特征在于,所述指定染色方式为免疫组化染色方式。
9.一种幽门螺杆菌的定位装置,其特征在于,所述装置包括:
获取模块,用于获取待检测的目标切片的组织扫描图像,所述目标切片是经过指定染色方式染色后得到的;
提取模块,用于对所述组织扫描图像进行阈值化处理,以提取得到所述组织扫描图像中的第一候选区域;
定位模块,用于在基于所述第一候选区域中的各个像素对应的颜色参数,以及预先构建的颜色字典,确定所述第一候选区域中存在至少一个第二候选区域时,将所述第二候选区域作为可疑区域,得到幽门螺杆菌的初步定位识别结果,所述颜色字典中的每种颜色对应幽门螺杆菌的一个分类标签。
10.一种电子设备,其特征在于,包括:
存储器;
处理器;
所述存储器上存储有所述处理器可执行的计算机程序,所述计算机程序被所述处理器执行时执行权利要求1-8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010213010.9A CN111489369B (zh) | 2020-03-24 | 2020-03-24 | 幽门螺杆菌的定位方法、装置和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010213010.9A CN111489369B (zh) | 2020-03-24 | 2020-03-24 | 幽门螺杆菌的定位方法、装置和电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111489369A true CN111489369A (zh) | 2020-08-04 |
CN111489369B CN111489369B (zh) | 2024-02-13 |
Family
ID=71798698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010213010.9A Active CN111489369B (zh) | 2020-03-24 | 2020-03-24 | 幽门螺杆菌的定位方法、装置和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111489369B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112330619A (zh) * | 2020-10-29 | 2021-02-05 | 浙江大华技术股份有限公司 | 一种检测目标区域的方法、装置、设备及存储介质 |
CN112489143A (zh) * | 2020-11-30 | 2021-03-12 | 济南博观智能科技有限公司 | 一种颜色识别方法、装置、设备及存储介质 |
CN114399778A (zh) * | 2021-12-20 | 2022-04-26 | 珠海奔图电子有限公司 | 扫描件类别识别方法、装置、存储介质和芯片系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104751461A (zh) * | 2015-03-29 | 2015-07-01 | 嘉善加斯戴克医疗器械有限公司 | 一种基于直方图阈值及低秩表示的白细胞细胞核分割方法 |
CN106250845A (zh) * | 2016-07-28 | 2016-12-21 | 北京智芯原动科技有限公司 | 基于卷积神经网络的火焰检测方法及装置 |
CN108447047A (zh) * | 2018-02-11 | 2018-08-24 | 深圳市恒扬数据股份有限公司 | 抗酸杆菌检测方法及装置 |
CN109376802A (zh) * | 2018-12-12 | 2019-02-22 | 浙江工业大学 | 一种基于字典学习的胃镜器官分类方法 |
CN110135307A (zh) * | 2019-04-30 | 2019-08-16 | 北京邮电大学 | 基于注意力机制的交通标志检测方法和装置 |
US20190311474A1 (en) * | 2016-07-04 | 2019-10-10 | Centre National De La Recherche Scientifique | Method and apparatus for real-time detection of polyps in optical colonoscopy |
CN110322438A (zh) * | 2019-06-26 | 2019-10-11 | 杭州上池科技有限公司 | 结核分枝杆菌自动检测模型的训练方法及自动检测系统 |
-
2020
- 2020-03-24 CN CN202010213010.9A patent/CN111489369B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104751461A (zh) * | 2015-03-29 | 2015-07-01 | 嘉善加斯戴克医疗器械有限公司 | 一种基于直方图阈值及低秩表示的白细胞细胞核分割方法 |
US20190311474A1 (en) * | 2016-07-04 | 2019-10-10 | Centre National De La Recherche Scientifique | Method and apparatus for real-time detection of polyps in optical colonoscopy |
CN106250845A (zh) * | 2016-07-28 | 2016-12-21 | 北京智芯原动科技有限公司 | 基于卷积神经网络的火焰检测方法及装置 |
CN108447047A (zh) * | 2018-02-11 | 2018-08-24 | 深圳市恒扬数据股份有限公司 | 抗酸杆菌检测方法及装置 |
CN109376802A (zh) * | 2018-12-12 | 2019-02-22 | 浙江工业大学 | 一种基于字典学习的胃镜器官分类方法 |
CN110135307A (zh) * | 2019-04-30 | 2019-08-16 | 北京邮电大学 | 基于注意力机制的交通标志检测方法和装置 |
CN110322438A (zh) * | 2019-06-26 | 2019-10-11 | 杭州上池科技有限公司 | 结核分枝杆菌自动检测模型的训练方法及自动检测系统 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112330619A (zh) * | 2020-10-29 | 2021-02-05 | 浙江大华技术股份有限公司 | 一种检测目标区域的方法、装置、设备及存储介质 |
CN112330619B (zh) * | 2020-10-29 | 2023-10-10 | 浙江大华技术股份有限公司 | 一种检测目标区域的方法、装置、设备及存储介质 |
CN112489143A (zh) * | 2020-11-30 | 2021-03-12 | 济南博观智能科技有限公司 | 一种颜色识别方法、装置、设备及存储介质 |
CN114399778A (zh) * | 2021-12-20 | 2022-04-26 | 珠海奔图电子有限公司 | 扫描件类别识别方法、装置、存储介质和芯片系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111489369B (zh) | 2024-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113454733B (zh) | 用于预后组织模式识别的多实例学习器 | |
CN110023994B (zh) | 组织病理学图像分析 | |
US11842556B2 (en) | Image analysis method, apparatus, program, and learned deep learning algorithm | |
Sheikhzadeh et al. | Automatic labeling of molecular biomarkers of immunohistochemistry images using fully convolutional networks | |
US12026875B2 (en) | Machine learning using distance-based similarity labels | |
US10650221B2 (en) | Systems and methods for comprehensive multi-assay tissue analysis | |
US20190042826A1 (en) | Automatic nuclei segmentation in histopathology images | |
CN110059697B (zh) | 一种基于深度学习的肺结节自动分割方法 | |
US10121245B2 (en) | Identification of inflammation in tissue images | |
CN111489369A (zh) | 幽门螺杆菌的定位方法、装置和电子设备 | |
US11176412B2 (en) | Systems and methods for encoding image features of high-resolution digital images of biological specimens | |
CN112703531A (zh) | 生成组织图像的注释数据 | |
US11861881B2 (en) | Critical component detection using deep learning and attention | |
EP4046061A1 (en) | Weakly supervised multi-task learning for cell detection and segmentation | |
US20230411014A1 (en) | Apparatus and method for training of machine learning models using annotated image data for pathology imaging | |
CN111656393A (zh) | 组织学图像分析 | |
CN116468690B (zh) | 基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统 | |
Sarnecki et al. | A robust nonlinear tissue-component discrimination method for computational pathology | |
CN114004795A (zh) | 一种乳腺结节的分割方法及相关装置 | |
CN116416615A (zh) | 一种病理图像ihc染色质量评价的装置 | |
CN112734767B (zh) | 基于病理图像组织区域的提取方法、装置、设备及介质 | |
KR20230095801A (ko) | 인공지능 기반의 병리영상 암 병변 맞춤형 위치 표시 방법 및 시스템 | |
Wang et al. | Prediction of PD-L1 tumor positive score in lung squamous cell carcinoma with H&E staining whole slide images and deep learning | |
Taylor | Miniature: Unsupervised glimpses into multiplexed tissue imaging datasets as thumbnails for data portals | |
Lijo | Analysis of U-Net and Modified VGG16 Technique for Mitosis Identification in Histopathology Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: Room 601-605, 6th Floor, Building J, Building 5, Yunmi City, No. 19, Ningshuang Road, Yuhuatai District, Nanjing, Jiangsu Province, 210000 Applicant after: Jiuyisanluling medical technology Nanjing Co.,Ltd. Address before: Room 305, building A3, Nanhai Science Park, 180 software Avenue, Yuhuatai District, Nanjing City, Jiangsu Province, 210000 Applicant before: Jiuyisanluling medical technology Nanjing Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |