CN109997199A - 基于深度学习的结核病检查方法 - Google Patents

基于深度学习的结核病检查方法 Download PDF

Info

Publication number
CN109997199A
CN109997199A CN201880001432.0A CN201880001432A CN109997199A CN 109997199 A CN109997199 A CN 109997199A CN 201880001432 A CN201880001432 A CN 201880001432A CN 109997199 A CN109997199 A CN 109997199A
Authority
CN
China
Prior art keywords
image
shooting
glass slide
tuberculosis
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880001432.0A
Other languages
English (en)
Inventor
崔明阵
金兑映
金汶记
朴贤佑
朴俊浩
辛素燕
郑海永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Corporate Clubs Have Made Great Efforts To Take Part In This Project
Original Assignee
Corporate Clubs Have Made Great Efforts To Take Part In This Project
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Corporate Clubs Have Made Great Efforts To Take Part In This Project filed Critical Corporate Clubs Have Made Great Efforts To Take Part In This Project
Publication of CN109997199A publication Critical patent/CN109997199A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明的基于深度学习的结核病检查方法的特征在于，其包括下列步骤：获取影像的步骤，利用影像拍摄设备从作为训练用途制作的痰涂片载玻片获取影像；学习步骤，以所获取的所述影像学习用于判定结核的深度学习模型；验证步骤，对通过所述学习步骤学习的深度学习模型的准确度进行验证；判定步骤，利用通过所述学习步骤与所述验证步骤学习的深度学习模型的加权值判定结核的阴性或阳性；以及显示步骤，把通过所述结核判定步骤得到的检查结果显示于显示器中，从而提供给使用者。

Description

基于深度学习的结核病检查方法
技术领域
本发明涉及一种结核病检查方法，更详细地，本发明涉及一种能通过痰涂片结核检查的自动化减少检查误差的基于深度学习的结核病检查方法。
背景技术
虽然生活及医疗水平得到了提升，但结核患者的数量却是持续增加的趋势，根据世界卫生组织(WHO)的资料，2013年全年发生的结核感染人口为9百万人，其中150万人死亡，韩国也呈现出结核患者再次增加的趋势，并且在OECD国家中高居第一位。
结核的诊断方法有痰涂片检查、痰培养检查、药物敏感性检查、胸部放射线摄影及结核菌素皮肤检查(Tuberculin Skin Test，TST)等。
其中，痰涂片检查与培养法的使用最广泛，尤其在一线保健所中痰涂片检查属于必须进行的项目而被视为非常重要的检查项目。
痰涂片检查是为了确认是否咳出结核菌而把患者的痰薄薄地涂抹在载玻片后进行染色并利用显微镜确认是否存在结核菌的检查方法。
这种痰涂片检查由于实验操作比较简单，并且能在短时间内判定结果，从而正在普遍地使用，但是检查员的熟练度会影响检查结果的准确度，因此，在是否存在结核及治疗过程的预测上遭遇了困难。
而且，就通常用于痰涂片检查的显微镜而言，每次进行检查时，检查员需要把一个载玻片(slide)置放在载物台上，一边改变载玻片的位置与焦点，一边以肉眼逐一确认是否有结核菌，并且检查完后需要更换其它载玻片，因此很麻烦。
为了改善这种问题而研究了自动化方案，该自动化方案利用的是利用影像处理来提取特征及学习所提取的特征的机器学习，但其无法呈现出足以替代实际检查的灵敏度及特异度而难以应用于实际产品或服务中。
而且，就用于自动检查的拍摄设备而言，由于焦点随着载玻片置放姿势或涂抹的痰的形状而改变，因此即使进行自动拍摄也因为失焦而具有难以区分结核菌的形态的问题。
而且，由于这是利用肉眼逐一确认结核的方法，因此具有引起检查员的眼睛疲劳的问题。
发明内容
要解决的技术问题
本发明旨在解决如上所述问题，本发明的目的在于提供一种基于深度学习的结核病检查方法，其应用影像处理技术与深度学习技术，从而使从载玻片(slide)的拍摄到检查为止的痰涂片检查过程自动化，因此可以通过简单的操作，快速便利地检测结核菌。
技术方案
本发明提供基于深度学习的结核病检查方法，所述方法包括下列步骤：获取影像的步骤，利用影像拍摄设备从作为训练用途制作的痰涂片载玻片(sputum smear slide)获取影像；学习步骤，以所获取的所述影像学习用于判定结核的深度学习模型；验证步骤，对通过所述学习步骤学习的深度学习模型的准确度进行验证；判定步骤，利用通过所述学习步骤与所述验证步骤学习的深度学习模型的加权值判定结核的阴性或阳性；以及显示步骤，把通过所述结核判定步骤得到的检查结果显示于显示器中，从而提供给使用者。
以所获取的所述影像学习用于判定结核的深度学习模型的学习步骤可以包括：拍摄训练影像的步骤，其包括训练影像拍摄设备；传输训练影像的步骤，传输所拍摄的所述训练影像；收集训练数据的步骤，收集用于学习所述深度学习模型所需的数据；生成训练数据的步骤，生成用于学习所述深度学习模型所需的数据；以及学习深度学习模型的步骤，以所述训练数据进行学习。
所述验证步骤是为了验证所述学习步骤的收集训练数据的步骤中所收集的数据中的一部分而使用，验证软件对通过深度学习模型得到的判定结果与通过培养结果判定的结核的阴性或阳性的结果进行比较来计算深度学习模型的灵敏度、特异度及准确度。
所述判定步骤包括：拍摄样本影像的步骤，根据通过所述拍摄计划步骤计算的拍摄范围，以单层或复层从样本载玻片(Specimen Slide)拍摄影像；判定样本的步骤，以输入的方式接收通过所述拍摄样本影像的步骤拍摄的单层或复层影像，并且利用通过所述学习步骤与所述验证步骤学习的对象分类模型或对象检测模型的加权值来判定结核阴性或阳性；以及显示检查结果的步骤，显示在所述判定样本的步骤中所判定的结果。
发明效果
根据这种特征，本发明中使痰涂片检查自动化，从而具有使操作简便且可以便利地检测结核菌的效果。
而且，检查员不必以手动的方式观察显微镜，并且具有能减少基于检查员的熟练度而产生的检查误差的效果。
附图说明
图1是本发明的一个实施例的安装在结核研究院内的影像拍摄设备。
图2是本发明的一个实施例的各对象的焦点计算方法。
图3是本发明的一个实施例的对象检测模型的训练数据收集程序的配置图。
图4是本发明的一个实施例的Z轴焦点移动时的画面。
图5是本发明的一个实施例的图像放大或缩小时的画面。
图6是本发明的一个实施例的Z轴移动时的图像变化。
图7是本发明的一个实施例的对象分类模型的训练数据收集程序的用户界面。
图8是本发明的一个实施例的拍摄计划步骤。
具体实施方式
下面为了使本发明所属技术领域中具备通常知识者能够容易实施本发明的实施例而参考附图详细说明本发明。但本发明可以通过各种不同形态实现，并不限定于本发明中所说明的实施例。为了清楚地说明本发明而省略了附图中与该说明无关的部分，整体说明书中相似的构成要素使用了相似的符号。
参考附图对本发明的一个实施例的基于深度学习的结核病检查方法进行说明。
图1是本发明的一个实施例的结核研究院内安装的影像拍摄设备，图2是本发明的一个实施例的各对象的焦点计算方法，图3是本发明的一个实施例的对象检测模型的训练数据收集程序的配置图，图4是本发明的一个实施例的Z轴焦点移动时的画面，图5是本发明的一个实施例的图像放大或缩小时的画面，图6是本发明的一个实施例的Z轴移动时的图像变化，图7是本发明的一个实施例的对象分类模型的训练数据收集程序的用户界面，图8是本发明的一个实施例的拍摄计划步骤。
【表1】
首先，本发明的构成如表1所示，主要由数据、深度学习模型以及利用数据与深度学习模型的三个步骤构成。
上述数据由单层形态的数据与复层形态的数据构成。
上述单层形态的数据表示在一个XY轴上于一个Z轴上拍摄的图像(image)。
上述复层形态的数据表示在一个XY轴线上一边移动Z轴一边拍摄的多张图像集。
上述深度学习模型由分类模型与检测模型构成。
上述分类模型指的是，在图像上提取对象后以预先学习的多个类别(class)把所提取的对象予以分类(Classification)的模型。
上述检测模型指的是，预先学习拟查找的对象后在图像上检测(Detection)该对象的存在与否及其位置的模型。
因此，分类模型与检测模型在用于学习各模型的训练数据和应用领域方面存在差异。
本发明为了运用两个模型各自的特性，并且为了比较准确度而两种模型全部予以应用。
上述三个步骤是一种利用上述数据与深度学习模型制作用于实际结核检查的判定模型的过程。
上述三个步骤由学习步骤、验证步骤及判定步骤构成。
首先，上述学习步骤是一种学习用于判定结核的深度学习模型的步骤，包括下列步骤：拍摄训练影像的步骤，其包括训练影像拍摄设备；传输训练影像的步骤，传输所拍摄的所述训练影像；收集训练数据的步骤，收集用于学习所述深度学习模型所需的数据；生成训练数据的步骤，生成用于学习所述深度学习模型所需的数据；以及学习深度学习模型的步骤，以所述训练数据进行学习。
参考图1与图2详细说明训练影像的拍摄步骤。
参考图1与图2，本发明的一个实施例的基于深度学习的结核病检查方法首先利用影像拍摄设备从作为训练用途制作的痰涂片载玻片获取影像。
上述影像拍摄设备包括控制PC、3轴(XYZ)载物台、光学系统、荧光照明系统及荧光相机来构成。
利用所述控制PC来控制3轴载物台、照明系统及荧光相机的动作，以涂抹有痰的载玻片拍摄影像。此时，提供复层拍摄，即，拍摄影像时一边移动Z轴一边拍摄多张。
复层拍摄是在一个XY地点按照一定间距移动多次Z轴而拍摄影像的方式，移动XY轴并且反复动作而进行拍摄。此时，所拍摄的影像的总数等于X轴移动次数与Y轴移动次数之和乘以Z轴移动次数。如前所述，对一个载玻片进行复层拍摄时，能够获取多个焦点的影像，而不是获取一个固定的焦点的影像，因此能够解决固定在载玻片载物台时，由于载玻片没有平坦地固定而会发生的焦点问题。而且，还能解决涂片面内对象之间的Z轴位置差异所引起的在一个视野(Field Of View，FOV)上各对象具备相异的焦点的问题。
在同一位置拍摄的图像内的对象之间具备相异的焦点时，通过图2的方法求取各对象的个别焦点。
参考图2，步骤1表示在同一XY位置上移动Z轴来拍摄的图像pic1～3。A～D表示图像上拍摄的对象。如图2的步骤2所示，在一张图像中各对象具备相异的焦点时，通过提取对象的方式在所有图像中检测对象。此时，提取对象的方法则使用连通分量(Connectedcomponent)、分水岭(Watershed)、海深矩阵行列式(Determinant of hessian)、高斯差(Difference of Gaussian)及高斯拉普拉斯(Laplacian of Gaussian)等算法。
在Z轴相异的多张图像中，只要在某一张图像中检测到哪怕一个对象也要求取检测到该对象的坐标，并把位于不同Z轴图像的同一坐标上的对象判断为同一对象，计算对象的基于Z轴位置的清晰度(Sharpness)。清晰度是用于显示对通过相机拍摄的对象的形态进行区分的边界的数值，该边界越清晰且越准确，则越具备较高的值。为了计算清晰度而使用了作为ISO 12233标准的倾斜边缘算法(Slanted edge algorithm)。
如前所述，对所拍摄的各对象的焦点进行个别计算，而不是对图像整体的焦点进行计算，从而得以解决各对象具备相异焦点的问题，还能解决随着焦点变化而使对象的形态敏感地变形的问题。
上述训练影像传输步骤是利用文件传输协议把通过影像拍摄设备拍摄的影像自动传输到用于收集的服务器。
传输训练影像时，为了顺利地传输大量的载玻片影像而应用了把影像拍摄与收集步骤进行分离的流水线(pipelining)技术。
拍摄影像之后直接传输影像时，由于下一个载玻片的拍摄待机时间会根据文件传输时间相应地延长，从而降低了载玻片拍摄效率。为了解决该问题，把影像拍摄与影像传输步骤予以分离以便让载玻片的拍摄与载玻片的传输独立地进行，即，在拍摄下一个载玻片的期间在系统后台继续传输影像，从而得以连续拍摄及传输大量的载玻片。
上述训练数据收集步骤中利用通过上述训练影像传输步骤保存到服务器中的影像与训练数据收集程序来收集训练数据。
训练数据收集程序通过PC或触控屏装置以网页(web)或移动应用程序形态把通过影像拍摄设备保存到用于收集的服务器中的影像提供给多名临床病理技师。
就训练数据收集程序而言，为了收集适合检测模型及分类模型等两种深度学习模型的数据而另行具备针对各模型的收集程序。
首先，就用于对象检测模型的训练数据收集程序而言，多名临床病理技师利用触控屏装置另行标示出影像内的对象中被确认为是结核菌的对象后予以保存，从而收集针对结核菌和除此之外的对象的深度学习模型训练用数据。
此时，利用触控屏装置收集数据时，不仅能使用手指触摸方式收集数据，还能以电容触屏笔(Capacitive Touch Pen)收集数据。
参考图3，对象检测模型的训练数据收集程序包括如下区构成：选择载玻片的载玻片选择区11、能对上述载玻片选择区11中所选择的载玻片附加各种功能的工具选择区12、移动所选择的上述载玻片的焦点的焦点移动区13及调节所选载玻片的画面倍率的尺寸调节区14。
点击上述载玻片选择区11就能查看通过训练数据拍摄设备拍摄的载玻片目录，选择需要开始收集的载玻片ID就能开始针对该载玻片收集训练数据。
上述工具选择区12包括下列按钮构成，可取消使用者最后选择的结核菌区域的后退按钮、选择结核菌区域时使用的笔的粗细设定、笔的颜色设定、以原始尺寸显示图像、比较原件和使用者所选对象区域的比较按钮、能清除所选区域的一部分的橡皮擦、可选择图像的移动模式与绘画模式的图像移动或绘画按钮、以及保存所收集的信息的保存按钮等。
上述焦点移动区13能一边让复层拍摄影像的Z轴焦点移动一边进行确认。
上述尺寸调节区14提供图像的缩放功能。
图6(a)是Z轴焦点移动所导致的图像变化的概念图，图6(b)例示了Z轴焦点移动所导致的图像变化。
参考图7，用于对象分类模型的训练数据收集程序如下构成，即，多名临床病理技师能把影像内的对象中被确认为结核菌的对象圈选为是(Yes)，把确认为非结核菌的对象圈选为否(No)。
与收集区域数据的对象检测模型不同，对象分类模型对斑块图像(patch image)的类别(class)进行区分，因此不需要以利用触控屏装置画出区域的方式收集，在PC利用鼠标收集深度学习模型训练数据。
接着，上述训练数据生成步骤中把通过训练数据收集步骤收集的数据加工成深度学习模型可学习的形态而生成训练用数据集(Dataset)。
用于判定结核的深度学习模型使用对象分类模型(Object ClassificationModel)与对象检测模型(Object Detection Model)等两种方法，以适合各模型的形态来区分并生成数据集。
首先，就上述对象分类模型而言，各自生成针对结核菌和非结核菌的对象的斑块图像与标签数据。斑块图像是利用诸如连通分量(Connected Component)、分水岭(Watershed)、海深矩阵行列式(Determinant of hessian)、高斯差(Difference ofGaussian)及高斯拉普拉斯(Laplacian of Gaussian)等提取对象的影像处理算法提取对象后，对每一个对象的图像进行重新制作的方式生成。斑块图像具有N*N(例如64*64或128*128)的尺寸。
这时所生成的数据集的形态是以单层形态或复层形态生成。就上述单层形态的数据集而言，具有针对相应于各对象所计算的焦点的一个Z轴的结核菌斑块图像(patchimage)与结核菌或非结核菌的对象标签。就上述复层形态的数据集而言，把针对同一结核菌或非结核菌的对象的多个Z轴图像组合成一个而生成一个三维样本，并且以该样本的标签数据构成。利用通过上述训练数据收集步骤收集的经过标签化(labeling)的值生成对各个斑块图像的标签数据。
就对象检测模型而言，把图像上包含结核菌的原始图像和结核菌区域的边界框(bounding box)信息作为标签。此时需要包含关于相应于结核菌的所有区域的边界框信息，一张图像内存在着多个结核菌时，全部予以标签化(labeling)。和对象分类模型一样，虽然能对以单层与复层形态拍摄的所有图像进行检查，但数据集的形态只生成单层形态。数据集具有对一个Z轴的结核菌区域图像和对结核菌区域的边界框标签。
在深度学习模型学习步骤中，利用通过上述训练数据生成步骤所生成的适合于对象分类模型与对象检测模型的数据集来学习深度学习模型。
就对象分类模型而言，利用通过训练数据生成步骤生成的以1:1对应于斑块图像的标签数据来学习区分结核菌与非结核菌的对象的分类模型。以斑块图像作为模型的输入(Input)，标签数据则作为该斑块图像的分类结果(Output)的端对端(end-to-end)的方式进行学习，使用卷积神经网络(Convolutional Neural Network，CNN)建构模型。
所学习的结果是以模型的结构(architecture)与加权(weight)值进行保存。对象分类模型不仅学习结核菌，还学习非结核菌的对象，在这种情况下，由于形态和尺寸不规则而会成为降低模型准确度的原因。
对象检测模型是利用对于通过训练数据生成步骤生成的结核菌的图像和边界框标签数据来学习检测结核菌的模型。
对象检测模型和对象分类模型一样，是把图像作为模型的输入，并且标签数据作为结果来学习模型的端对端(end-to-end)的学习方法，其差异在于，由于不必对非结核菌的对象进行检测，从而只会对结核菌进行学习。因此能够减少对非结核菌的对象进行学习而可能会发生的判定错误。而且，对象分类模型需要另行生成斑块图像而进行训练，但对象检测模型则不需要斑块图像的生成过程而仅仅运用原始图像与显示结核菌区域的边界框信息进行学习。
上述验证步骤是用于验证通过上述学习步骤学习的深度学习模型的准确度的步骤，其以验证软件构成。
上述验证步骤是为了验证在上述学习步骤的训练数据收集步骤中所收集的数据中的一部分而使用。此时，学习步骤中所使用的训练数据和验证步骤中所使用的验证数据需要加以区分并使用，以避免重复。
验证软件对通过深度学习模型得到的判定结果与通过培养结果判定的结核的阴性或阳性结果进行比较而计算深度学习模型的灵敏度、特异度及准确度。
上述判定步骤是一种利用经由上述学习步骤与上述验证步骤学习及验证的深度学习模型来进行实际结核检查的步骤，其包括拍摄计划步骤、样本影像拍摄步骤、样本判定步骤及显示检查结果的步骤构成。
而且，还包括把通过上述结核判定步骤得到的检查结果显示到显示器而提供给使用者的显示步骤构成。
首先，上述拍摄计划步骤是一种在从样本载玻片拍摄用于检查的影像之前，对置于载物台上的载玻片的姿势进行补正的步骤，通过拍摄计划步骤预测载玻片的三维姿势，从而能解决把载玻片固定到载物台时，由于载玻片没有被平坦地固定而会发生的焦点问题。而且，还能解决涂片面内对象之间的Z轴位置差异导致的一个FOV中各对象具备相异焦点的问题。拍摄计划步骤则由用于拍摄计划的影像的拍摄步骤、清晰度计算步骤及拍摄范围计算步骤构成。
在上述用于拍摄计划的影像的拍摄步骤中，沿着载玻片的条形码粘贴区域以外的涂片区域的边缘，预先指定至少4个以上的地点，并且在该地点拍摄影像。此时，在各地点移动n次Z轴来进行拍摄。
上述清晰度计算步骤中，利用通过用于拍摄计划的影像的拍摄步骤以复层拍摄的图像，把各地点的清晰度最高的峰(peak)点判断为最清晰的Z轴位置，即，判断为最接近焦点的Z轴位置。
在上述拍摄范围计算步骤中，利用通过上述用于拍摄计划的影像的拍摄步骤与清晰度计算步骤在各地点计算的Z轴峰(peak)位置信息来导出载玻片姿势的三维轮廓(profile)，利用如此导出的载玻片姿势信息计算实际检查时的拍摄范围。
图8是构成拍摄计划步骤的用于拍摄计划的影像的拍摄步骤、清晰度计算步骤、拍摄范围计算步骤予以图式化。图8中为了具体说明本发明而把拍摄地点的数量例示为6个，但拍摄地点的数量不受限定，可以随着适用例而缩小或扩大，
参考图8的(a)，P1～P6表示为了补正所装载的载玻片的姿势而预先指定的6个地点，一边移动XY轴一边在6个地点移动，并在各地点一边移动Z轴一边获取复层影像。
参考8的(b)，其示出了对于清晰度计算步骤的例示，从P1～P6的各地点以Z轴进行复层拍摄的影像算出清晰度。
在从Z1拍摄到Zn的共n张图像中，把所算出的清晰度中具备最大值的峰(peak)点判断为最清晰的Z轴焦点。在图8的(b)中以粗线标示的Z轴的点表示通过清晰度算出的最清晰的Z轴焦点，
参考图8的(c)，其示出了利用通过清晰度计算步骤在6个地点算出的最清晰的Z轴焦点来预测所装载的载玻片的三维姿势的例示。
上述样本影像拍摄步骤中，根据通过上述拍摄计划步骤计算的拍摄范围，从样本载玻片以单层或复层拍摄影像。由于只拍摄通过拍摄计划步骤计算的区域，从而使对于载玻片内不必要区域的拍摄最小化，因此能相应地缩短检查时间。所拍摄的影像则暂存于控制PC的内部。
在上述样本判定步骤中，以输入的方式接收通过样本影像拍摄步骤拍摄的单层或复层影像，并且利用通过上述学习步骤与上述验证步骤学习的对象分类模型或对象检测模型的加权值判定结核阴性或阳性。
上述样本判定步骤包括下列两种方法，即，通过以单层形态的数据集训练的深度学习模型进行判定的单层模式、或通过以复层形态的数据集训练的深度学习模型进行判定的复层模式。
判定样本时，使用通过学习步骤学习的对象分类模型与对象检测模型等两种方法。
首先，就对象分类模型而言，从通过样本影像拍摄步骤以单层或复层拍摄的影像检测所有对象。如果是单层模式则检测影像内的所有对象后生成斑块图像。如果是复层模式则在所有层对所有对象进行检测，并且利用图像上的对象位置把同一对象进行分组，从而生成为三维形态的斑块图像。以单层或复层斑块图像检测出的对象则分成结核菌与非结核菌的对象，对归类为结核菌的对象的数量进行计数后判定样本载玻片的阴性或阳性。
接着，就对象检测模型而言，以通过样本影像拍摄步骤拍摄的单层或复层拍摄影像，并且从影像检测所有结核菌。如果是单层模式则检测单层影像内的结核菌的区域及位置。如果是复层模式则在所有层检测结核菌并且把位置上重复的结核菌判断为同一结核菌。对从单层或复层影像中提取的结核菌的数量进行计数后判定样本载玻片的阴性或阳性。
此时，上述对象分类模型与上述检测模型在判定样本的阴性或阳性时，遵照WHO的痰涂片检查指导方针进行判定。
在显示检查结果的步骤中，把通过结核判定模块得到的检查结果显示到显示器来提供给使用者。
以上详细说明了本发明的实施例，但本发明的权利范围并不限定于此，本领域的技术人员利用本发明权利要求书所定义的本发明的基本概念所实施的各种变形与改良形态均属于本发明的权利范围。

Claims (2)

1.一种基于深度学习的结核病检查方法，其特征在于，所述方法包括下列步骤：
获取影像的步骤，利用影像拍摄设备进行单层拍摄和复层拍摄，以从作为训练用途制作的痰涂片载玻片获取影像，其中所述影像拍摄设备包括控制PC、3轴(XYZ)载物台、光学系统、荧光照明系统及荧光相机；传输训练影像的步骤，利用文件传输协议将所获取的所述影像自动传输到用于收集的服务器，为了让载玻片的拍摄与载玻片图像的传输独立地进行，将传输影像的步骤予以分离，以连续拍摄及传输大量的载玻片；收集训练数据的步骤，利用通过所述传输训练影像的步骤保存到服务器中的影像与训练数据收集程序来收集训练数据；以及生成训练数据的步骤，把通过所述收集训练数据的步骤收集的数据加工成深度学习模型可学习的形态而生成训练用数据集，所述数据集以适合对象分类模型或对象检测模型的单层形态或复层形态来区分数据集；
学习步骤，使所述对象分类模型和对象检测模型学习通过所述生成训练数据的步骤生成的数据集；
验证步骤，基于通过所述学习步骤学习的深度学习模型，使用验证软件验证准确度；
判定步骤，该步骤包括下列步骤：拍摄计划步骤，为了利用经过所述学习步骤和所述验证步骤学习及验证的深度学习模型进行实际结核病检查，从样本载玻片拍摄用于检查的影像之前，对置于载物台上的载玻片进行补正并指定拍摄范围；拍摄样本影像的步骤，根据通过所述拍摄计划步骤计算的拍摄范围，以单层或复层从样本载玻片拍摄影像；判定样本的步骤，以输入的方式接收通过所述拍摄样本影像的步骤拍摄的单层或复层影像，利用通过所述学习步骤与所述验证步骤学习的所述对象分类模型或对象检测模型的加权值判定结核的阴性或阳性；以及
显示步骤，把通过所述结核判定步骤得到的检查结果显示于显示器中，从而提供给使用者。
2.根据权利要求1所述的基于深度学习的结核病检查方法，其特征在于，所述拍摄计划步骤还包括下列步骤：
用于拍摄计划的影像的拍摄步骤，沿着载玻片的条形码粘贴区域以外的涂片区域的边缘，预先指定至少4个以上的地点，并且在相应地点拍摄影像，在各地点至少移动10次Z轴来进行拍摄；
清晰度计算步骤，利用在通过所述用于拍摄计划的影像的拍摄步骤预先指定的相应地点以复层拍摄的图像，把各地点的清晰度最高的峰点判断为最接近焦点的Z轴位置；以及
拍摄范围计算步骤，利用通过所述清晰度计算步骤计算的Z轴的峰点位置信息来导出载玻片的三维轮廓，利用导出的载玻片姿势信息计算实际检查时的拍摄范围。
CN201880001432.0A 2017-08-30 2018-08-30 基于深度学习的结核病检查方法 Pending CN109997199A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020170109766A KR101900200B1 (ko) 2017-08-30 2017-08-30 딥러닝 기반 결핵 검사 방법
KR10-2017-0109766 2017-08-30
PCT/KR2018/010053 WO2019045480A1 (ko) 2017-08-30 2018-08-30 딥러닝 기반 결핵 검사 방법

Publications (1)

Publication Number Publication Date
CN109997199A true CN109997199A (zh) 2019-07-09

Family

ID=64328894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880001432.0A Pending CN109997199A (zh) 2017-08-30 2018-08-30 基于深度学习的结核病检查方法

Country Status (3)

Country Link
KR (1) KR101900200B1 (zh)
CN (1) CN109997199A (zh)
WO (1) WO2019045480A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111222393A (zh) * 2019-10-12 2020-06-02 浙江大学 一种基于自学习神经网络的病理切片中印戒细胞检测方法
CN111462087A (zh) * 2020-04-01 2020-07-28 腾讯科技（深圳）有限公司 基于人工智能的图像检测方法、装置、系统及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102680384B1 (ko) 2019-10-18 2024-07-02 삼성전자주식회사 수차 보정 방법 및 장치
WO2022164214A1 (ko) * 2021-01-28 2022-08-04 (주) 제이엘케이 진단키드 결과 이미지 내 스팟 검출 장치 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140010433A1 (en) * 2010-11-03 2014-01-09 Ajay Divekar System and method for improved detection of objects of interest in image data by management of false positives
US20160196503A1 (en) * 2015-01-06 2016-07-07 Aic Innovations Group, Inc. Method and apparatus for recognition of patient activity
KR101725125B1 (ko) * 2016-01-22 2017-04-10 고려대학교 산학협력단 말라리아의 운동성을 이용한 말라리아 진단키트 및 진단방법
WO2017069596A1 (ko) * 2015-10-22 2017-04-27 한국디지털병원수출사업협동조합 Cad기반 디지털 엑스레이의 자동 결핵 진단 예측 시스템
KR20170061222A (ko) * 2015-11-25 2017-06-05 한국전자통신연구원 건강데이터 패턴의 일반화를 통한 건강수치 예측 방법 및 그 장치
CN107103187A (zh) * 2017-04-10 2017-08-29 四川省肿瘤医院 基于深度学习的肺结节检测分级与管理的方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140091176A (ko) * 2013-01-10 2014-07-21 삼성전자주식회사 병변 진단 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140010433A1 (en) * 2010-11-03 2014-01-09 Ajay Divekar System and method for improved detection of objects of interest in image data by management of false positives
US20160196503A1 (en) * 2015-01-06 2016-07-07 Aic Innovations Group, Inc. Method and apparatus for recognition of patient activity
WO2017069596A1 (ko) * 2015-10-22 2017-04-27 한국디지털병원수출사업협동조합 Cad기반 디지털 엑스레이의 자동 결핵 진단 예측 시스템
KR20170061222A (ko) * 2015-11-25 2017-06-05 한국전자통신연구원 건강데이터 패턴의 일반화를 통한 건강수치 예측 방법 및 그 장치
KR101725125B1 (ko) * 2016-01-22 2017-04-10 고려대학교 산학협력단 말라리아의 운동성을 이용한 말라리아 진단키트 및 진단방법
CN107103187A (zh) * 2017-04-10 2017-08-29 四川省肿瘤医院 基于深度学习的肺结节检测分级与管理的方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111222393A (zh) * 2019-10-12 2020-06-02 浙江大学 一种基于自学习神经网络的病理切片中印戒细胞检测方法
CN111462087A (zh) * 2020-04-01 2020-07-28 腾讯科技（深圳）有限公司 基于人工智能的图像检测方法、装置、系统及存储介质

Also Published As

Publication number Publication date
KR101900200B1 (ko) 2018-11-05
WO2019045480A1 (ko) 2019-03-07

Similar Documents

Publication Publication Date Title
CN109997199A (zh) 基于深度学习的结核病检查方法
CA2905730C (en) System and method for reviewing and analyzing cytological specimens
CN104182765B (zh) 一种互联网图像驱动的三维模型最优视图自动选择方法
CN106909220A (zh) 一种适用于触控的视线交互方法
CN107230203A (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
US20210216745A1 (en) Cell Detection Studio: a system for the development of Deep Learning Neural Networks Algorithms for cell detection and quantification from Whole Slide Images
CN113850799B (zh) 一种基于YOLOv5的微量DNA提取工作站工件检测方法
CN107392151A (zh) 基于神经网络的人脸影像多维度情感判别系统及方法
CN108932712A (zh) 一种转子绕组质量检测系统及方法
WO2016189469A1 (en) A method for medical screening and a system therefor
CN106056161B (zh) 一种针对平面旋转目标的视觉检测方法
EP3074844B1 (en) Estimating gaze from un-calibrated eye measurement points
CN109508755A (zh) 一种基于图像认知的心理测评方法
TW202219494A (zh) 缺陷檢測方法及檢測裝置
Simon et al. Shallow cnn with lstm layer for tuberculosis detection in microscopic images
CN106706643A (zh) 一种肝癌对比切片检测装置及检测方法
Cesario et al. Mobile support for diagnosis of communicable diseases in remote locations
CN116778482A (zh) 胚胎图像卵裂球目标检测方法、计算机设备及存储介质
CN113792807B (zh) 皮肤病分类模型训练方法、系统、介质和电子设备
CN109271845A (zh) 基于计算机视觉的人体动作分析与评价方法
CN106446837B (zh) 一种基于运动历史图像的挥手检测方法
CN116052225A (zh) 掌纹识别方法、电子设备、存储介质及计算机程序产品
Alam et al. Effect of Different Modalities of Facial Images on ASD Diagnosis Using Deep Learning-Based Neural Network
Haroon et al. Human hand gesture identification framework using SIFT and knowledge‐level technique
Huang et al. Deep Learning Based a Novel Method of Classroom Behavior Recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190709