CN112614128B - 一种基于机器学习的内镜下辅助活检的系统及方法 - Google Patents

一种基于机器学习的内镜下辅助活检的系统及方法 Download PDF

Info

Publication number
CN112614128B
CN112614128B CN202011639126.5A CN202011639126A CN112614128B CN 112614128 B CN112614128 B CN 112614128B CN 202011639126 A CN202011639126 A CN 202011639126A CN 112614128 B CN112614128 B CN 112614128B
Authority
CN
China
Prior art keywords
image
endoscope
infiltration depth
infiltration
lesion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011639126.5A
Other languages
English (en)
Other versions
CN112614128A (zh
Inventor
马铭骏
左秀丽
李延青
李�真
邵学军
杨晓云
赖永航
冯健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Medcare Digital Engineering Co ltd
Qilu Hospital of Shandong University
Original Assignee
Qingdao Medcare Digital Engineering Co ltd
Qilu Hospital of Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Medcare Digital Engineering Co ltd, Qilu Hospital of Shandong University filed Critical Qingdao Medcare Digital Engineering Co ltd
Priority to CN202011639126.5A priority Critical patent/CN112614128B/zh
Publication of CN112614128A publication Critical patent/CN112614128A/zh
Application granted granted Critical
Publication of CN112614128B publication Critical patent/CN112614128B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于机器学习的内镜下辅助活检的系统及方法，属于内镜技术领域，图像采集模块，用于获取内镜检查过程中实时采集的待检测部位视频帧；病灶浸润深度识别模块，用于利用病灶浸润深度识别模型识别待检测部位视频帧的病灶区域，并对病灶区域的不同分化类型进行浸润深度打分，得到具有不同浸润深度的打分矩阵的掩码图像；其中，所述病灶浸润深度识别模型模型使用多组数据训练获得，所述每一组数据均包括包含有病灶区域的内镜图像以及用于标注该内镜图像中病灶区域的不同分化类型的标注信息。本发明能够根据病变分化类型及浸润深度，实时展示内镜下病变打分矩阵，从而辅助内镜医师选取最佳活检部位，协助临床取得最佳诊疗决策。

Description

一种基于机器学习的内镜下辅助活检的系统及方法
技术领域
本发明涉及内镜活检技术领域，具体涉及一种基于机器学习的内镜下辅助活检的系统及方法。
背景技术
内镜活检是目前消化系统疾病早期诊治不可缺少的手段，内镜检查过程中发现可疑病变时，往往需要活检来明确病变的性质、分化类型以及浸润深度，这些都与后续治疗决策相关。在临床实践中，常常存在术前活检与术后病理不一致的情况，其造成的原因可能是同一病变不同部位分化类型不一致、病变中某一部位浸润过深，如何选取最佳活检部位，减少术前误判是亟需解决的问题。
目前卷积神经网络技术虽然能够很好的解决图像识别问题，但多是基于病变整体的判断，无法满足精准活检的需要。
发明内容
本发明的目的在于提供一种利用CNN技术，实时展示消化道病变各部位的分化程度及浸润深度，实现了精准活检的基于机器学习的内镜下辅助活检的系统及方法，以解决上述背景技术中存在的至少一项技术问题。
为了实现上述目的，本发明采取了如下技术方案：
一方面，本发明提供一种基于机器学习的内镜下辅助活检的系统，该系统包括：
图像采集模块，用于获取内镜检查过程中实时采集的待检测部位视频帧；
病灶浸润深度识别模块，用于利用病灶浸润深度识别模型识别待检测部位视频帧的病灶区域，并对病灶区域的不同分化类型进行浸润深度打分，得到具有不同浸润深度的打分矩阵的掩码图像；其中，所述病灶浸润深度识别模型模型使用多组数据训练获得，所述每一组数据均包括包含有病灶区域的内镜图像以及用于标注该内镜图像中病灶区域的不同分化类型的标注信息。
优选的，所述病灶浸润深度识别模块包括：训练图像获取单元、图像标注单元、模型训练单元以及结果展示单元；
所述训练图像获取单元，用于获取多幅包含病灶区域的内镜图像；
所述图像标注单元，用于接收针对病灶区域的不同病灶分化类型的浸润深度的标注信息，基于该标注信息对内镜图像中的病灶区域的不同分化类型进行浸润深度标注；
所述模型训练单元，用于将进行了病灶区域标注的内镜图像作为训练集，训练所述病灶浸润深度识别模型；
所述结果展示单元，用于将病灶浸润深度识别模型识别出的内镜图像中的病灶区域不同分化类型进行浸润深度打分，展示掩码图像。
优选的，所述病灶浸润深度识别模型包括病灶区域识别分支和浸润深度识别分支。
优选的，采用DETR神经网络训练所述病灶区域识别分支。
优选的，采用MASK-RCNN卷积神经网络训练所述浸润深度识别分支。
第二方面，本发明提供一种利用如上所述的系统实现的基于机器学习的内镜下辅助活检的方法，包括如下流程步骤：
获取内镜检查过程中实时采集的待检测部位视频帧；
利用病灶浸润深度识别模型识别待检测部位视频帧的病灶区域，并对病灶区域的不同分化类型进行浸润深度打分，得到具有不同浸润深度的打分矩阵的掩码图像；其中，所述病灶浸润深度识别模型模型使用多组数据训练获得，所述每一组数据均包括包含有病灶区域的内镜图像以及用于标注该内镜图像中病灶区域的不同分化类型的标注信息。
优选的，对图像中病灶区域的不同分化类型的进行标注包括：
将病理标本组织连续切片图像，依据病变纵向病理切片结果判定切片图像中病灶区域的浸润深度，得到浸润深度复原图，利用SIFT图像匹配算法对浸润深度复原图和内镜图像进行匹配，得到具有浸润深度打分矩阵的内镜图像，作为活检图像。
优选的，利用SIFT图像匹配算法对浸润深度复原图和内镜图像进行匹配包括：
将浸润深度复原图和内镜图像分别与不同的高斯核作卷积，分别得到浸润深度复原图和内镜图像的二维图像的高斯尺度空间；将浸润深度复原图的二维图像的高斯尺度空间的两个相邻的高斯尺度空间的图像相减得到浸润深度复原图的高斯差分尺度空间；将内镜图像的二维图像的高斯尺度空间的两个相邻的高斯尺度空间的图像相减得到内镜图像的高斯差分尺度空间；
在浸润深度复原图的高斯差分尺度空间中，对每一个检测点和与该检测点同尺度的相邻点以及与该检测点上下相邻尺度对应的点，确定是否为极值点，将极值点构成浸润深度复原图的SIFT关键点集合；在内镜图像的高斯差分尺度空间中，对每一个检测点和与该检测点同尺度的相邻点以及与该检测点上下相邻尺度对应的点，确定是否为极值点，将极值点构成内镜图像的SIFT关键点集合；
确定关键点邻域所在尺度空间的像素大小的邻域，再将该邻域均匀地分为多个窗口，对每个窗口计算多个方向的分量值，根据位置依次排序，得到多维的浸润深度复原图的SIFT特征向量和内镜图像的SIFT特征向量；
当浸润深度复原图的SIFT特征向量和内镜图像的SIFT特征向量，使用关键点特征向量的欧式距离度量两幅图像中关键点的相似度，当相似度超过设定阈值，则浸润深度复原图的关键点与内镜图像的关键点匹配成立；
利用多组匹配成功的关键点计算出浸润深度复原图与内镜图像间的坐标转换关系，通过变换矩阵找到浸润深度复原图在内镜图像中的具体位置，完成匹配。
优选的，确定关键点邻域所在尺度空间的像素大小的邻域包括：
利用关键点邻域像素的梯度方向为每个关键点指定方向参数，使算子具备旋转不变性；其中所述方向参数包括关键点处梯度模值和关键点处梯度方向。
优选的，计算关键点处梯度模值为：
Figure BDA0002877783660000041
计算关键点处梯度方向为：
θ(x,y)＝tan-1{[L(x,y+1)-L(x,y-1)]/[L(x+1,y)-L(x-1,y)]}；
其中，m(x,y)为坐标为(x,y)的关键点处梯度模值，θ(x,y)为坐标为(x,y)的关键点处梯度方向。
本发明有益效果：能够准确的获取待检测部位病变浸润深度，根据病变分化类型及浸润深度，实时展示内镜下病变打分矩阵，从而有效辅助内镜医师选取最佳活检部位，协助临床取得最佳诊疗决策。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1所述的基于机器学习的内镜下辅助活检的系统功能原理框图。
图2为本发明实施例2所述的采用DETR神经网络训练识别病灶标注框的模型的原理框图。
具体实施方式
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
实施例1
如图1所示，本发明实施例1提供一种基于机器学习的内镜下辅助活检的系统，该系统包括：图像采集模块，用于获取内镜检查过程中实时采集的待检测部位视频帧；病灶浸润深度识别模块，用于利用病灶浸润深度识别模型识别待检测部位视频帧的病灶区域，并对病灶区域的不同分化类型进行浸润深度打分，得到具有不同浸润深度的打分矩阵的掩码图像；其中，所述病灶浸润深度识别模型模型使用多组数据训练获得，所述每一组数据均包括包含有病灶区域的内镜图像以及用于标注该内镜图像中病灶区域的不同分化类型的标注信息。
在本实施例1中，所述病灶浸润深度识别模块包括：训练图像获取单元、图像标注单元、模型训练单元以及结果展示单元；
所述训练图像获取单元，用于获取多幅包含病灶区域的内镜图像；
所述图像标注单元，用于接收针对病灶区域的不同病灶分化类型的浸润深度的标注信息，基于该标注信息对内镜图像中的病灶区域的不同分化类型进行浸润深度标注；
所述模型训练单元，用于将进行了病灶区域标注的内镜图像作为训练集，训练所述病灶浸润深度识别模型；
所述结果展示单元，用于将病灶浸润深度识别模型识别出的内镜图像中的病灶区域不同分化类型进行浸润深度打分，展示掩码图像。
所述病灶浸润深度识别模型包括病灶区域识别分支和浸润深度识别分支。采用DETR神经网络训练所述病灶区域识别分支。采用MASK-RCNN卷积神经网络训练所述浸润深度识别分支。
在本发明实施例1中利用如上所述的系统实现的基于机器学习的内镜下辅助活检的方法，包括如下流程步骤：
获取内镜检查过程中实时采集的待检测部位视频帧；
利用病灶浸润深度识别模型识别待检测部位视频帧的病灶区域，并对病灶区域的不同分化类型进行浸润深度打分，得到具有不同浸润深度的打分矩阵的掩码图像；其中，所述病灶浸润深度识别模型模型使用多组数据训练获得，所述每一组数据均包括包含有病灶区域的内镜图像以及用于标注该内镜图像中病灶区域的不同分化类型的标注信息。
对图像中病灶区域的不同分化类型的进行标注包括：
将病理标本组织连续切片图像，依据病变纵向病理切片结果判定切片图像中病灶区域的浸润深度，得到浸润深度复原图，利用SIFT图像匹配算法对浸润深度复原图和内镜图像进行匹配，得到具有浸润深度打分矩阵的内镜图像，作为活检图像。
利用SIFT图像匹配算法对浸润深度复原图和内镜图像进行匹配包括：
将浸润深度复原图和内镜图像分别与不同的高斯核作卷积，分别得到浸润深度复原图和内镜图像的二维图像的高斯尺度空间；将浸润深度复原图的二维图像的高斯尺度空间的两个相邻的高斯尺度空间的图像相减得到浸润深度复原图的高斯差分尺度空间；将内镜图像的二维图像的高斯尺度空间的两个相邻的高斯尺度空间的图像相减得到内镜图像的高斯差分尺度空间；
在浸润深度复原图的高斯差分尺度空间中，对每一个检测点和与该检测点同尺度的相邻点以及与该检测点上下相邻尺度对应的点，确定是否为极值点，将极值点构成浸润深度复原图的SIFT关键点集合；在内镜图像的高斯差分尺度空间中，对每一个检测点和与该检测点同尺度的相邻点以及与该检测点上下相邻尺度对应的点，确定是否为极值点，将极值点构成内镜图像的SIFT关键点集合；
确定关键点邻域所在尺度空间的像素大小的邻域，再将该邻域均匀地分为多个窗口，对每个窗口计算多个方向的分量值，根据位置依次排序，得到多维的浸润深度复原图的SIFT特征向量和内镜图像的SIFT特征向量；
当浸润深度复原图的SIFT特征向量和内镜图像的SIFT特征向量，使用关键点特征向量的欧式距离度量两幅图像中关键点的相似度，当相似度超过设定阈值，则浸润深度复原图的关键点与内镜图像的关键点匹配成立；
利用多组匹配成功的关键点计算出浸润深度复原图与内镜图像间的坐标转换关系，通过变换矩阵找到浸润深度复原图在内镜图像中的具体位置，完成匹配。
确定关键点邻域所在尺度空间的像素大小的邻域包括：利用关键点邻域像素的梯度方向为每个关键点指定方向参数，使算子具备旋转不变性；其中所述方向参数包括关键点处梯度模值和关键点处梯度方向。
实施例2
本发明实施例2提供一种基于机器学习的内镜下辅助活检的方法。该方法能够根据病变分化类型及浸润深度，展示内镜下病变打分矩阵，从而辅助内镜医师选取最佳活检部位。
在本实施例2中，基于机器学习的内镜下辅助活检的方法包括如下步骤：
步骤1：采集带有病灶的样本图像，依据病例切片结果判定的浸润深度及分化类型自动标注训练数据：
通常训练神经网络模型之前，需要对训练数据进行标注，确定对图像每个像素标记为属于的类别，浸润深度及分化类型网络模型需要标注背景、病灶浸润深度较浅区域、病灶浸润深度较深区域，病灶各部位浸润深浅不一、有时分化类型亦不相同，需要对每一张训练图像进行繁琐的手工标注，工作量很大，没有病理切片的对照，手工标注误差较大，不能够准确判定划分病变各部位的浸润深度。
分化类型及浸润深度检测模型需要将图像的每个像素标记为属于类别(背景、病灶浸润深度较浅区域、病灶浸润深度较深区域)如下图所示，
需要对每一张训练图像进行繁琐的手工标注，工作量很大，并且手工标注误差较大，不能够准确判定划分浸润深度。
在本实施例2中，采用的标注方法，通过病例标本连续组织的切片图像，依据病例切片结果判定的浸润深度，利用图像匹配算法对内镜图像中病灶区域做浸润深度配准，从而代替手工标注训练数据。
具体标注方法：将病理切片观察完成后在病变标本上标注的病理复原图(浸润深度复原图)与内镜术后标本图像(内镜图像)通过SIFT算法进行图像匹配，得到内镜图像上病变的打分矩阵，作为训练集。
在本实施例2中，对SIFT算法检测图像特征并进行图像匹配包括如下：
1)建立尺度空间。SIFT算法在多尺度空间进行特征点的检测和提取，保证了特征具有尺度不变性。通过输入的图像和不同的高斯核作卷积得到二维图像的高斯尺度空间，两个相邻的尺度空间的图像相减得到高斯差分尺度空间。
2)提取特征点。在高斯差分尺度空间中，每一个检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，确定是否为极大值或极小值点，以确保在尺度空间和二维图像空间都检测到极值点，构成SIFT的关键点集合。
3)提取点特征描述符。利用关键点邻域像素的梯度方向为每个关键点指定方向参数，使算子具备旋转不变性：
计算关键点处梯度模值为：
Figure BDA0002877783660000101
计算关键点处梯度方向为：
θ(x,y)＝tan-1{[L(x,y+1)-L(x,y-1)]/[L(x+1,y)-L(x-1,y)]}；
其中，m(x,y)为坐标为(x,y)的关键点处梯度模值，θ(x,y)为坐标为(x,y)的关键点处梯度方向。
在以关键点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。直方图的峰值则代表了该特征点处邻域梯度的主方向，将坐标轴旋转为关键点的方向，以确保旋转不变性。通过确定关键点邻域所在尺度空间的16×16像素大小的邻域，再将此邻域均匀地分为4×4个窗口，对每个窗口计算8个方向分量值，根据位置依次排序，得到128维的SIFT特征向量。
4)关键点特征向量集的匹配。当病理复原图与内镜术后标本图像的SIFT特征向量生成后，使用关键点特征向量的欧式距离度量两幅图像中关键点的相似度，当相似度超过设定阈值就认为该特征点匹配成立。
5)计算图像之间的坐标转换矩阵。匹配特征点对初步建立后，至少利用4组匹配点就可以计算出图像间的坐标转换关系，通过变换矩阵找到模板图在待匹配图中的具体位置，对应关系如下：
A′＝HA
矩阵H有9个元素，利用4组匹配点可以完成对应性求解。但SIFT匹配过程容易产生误匹配点，必须通过一定数量的匹配点对进行非线性优化，用转换坐标位置误差最小化来优化估计H，其误差函数为
∑d(Ai,H-1A′I)2+d(A′i,HAi)2；
其中，d表示距离，i表示匹配点对数量，A和A′表示匹配特征矩阵。
步骤2：利用上一步制作的样本图像数据集，训练病变模型，分两步。
步骤2.1：采用DETR神经网络训练识别病灶标注框的模型
DETR是基于Transformers的端到端目标检测，在大目标或中等目标上的检测结果较好。DETR包含以下部分：提取特征的CNN部分，Transformer的编解码结构，用于检测的前馈网络FFN。DETR的结构较灵活，能以极小代价迁移到任何带有CNN和Transformer结构的模型中。
DETR使用传统的CNN骨干来学习输入图像，模型将其展平并通过位置编码对其进行补充，然后再将其传递到Transformer编码器。解码器的每个输出传递给FFN，得出目标对象。结构图如图2。
这一步实现内镜下实时检测病灶区域，采用DETR神经网络使用TensorRT加速后可以满足消化内镜实时检查的需求。
步骤2.2：训练MASK-RCNN卷积神经网络，识别不同的生长浸润深度。
Mask R-CNN是一个实例分割(Instance segmentation)算法，在实现目标检测的同时，能把目标实例分割出来。这一步实现对2.1中DETR识别到的病灶区域，进行实例分割，得到病灶区域不同的生长浸润深度。使用TensorRT加速后，推理时间在1080Ti显卡下能够达到15FPS。
在本实施例2中，基于上述基于机器学习的内镜下辅助活检的方法实现了内镜下辅助诊断活检系统，该系统使用采集卡接内镜主机获取每一帧图像，将单帧的内镜图像输入给训练好的DETR神经网络识别疑似病变，当识别到病变区域后，将当前帧输入给训练好的Mask R-CNN网络模型，生成掩码图像，使用不同的颜色表示浸润深度及分化类型，实时展示内镜下病变打分矩阵。
实施例3
本发明实施例3提供一种计算机设备，包括存储器和处理器，所述处理器和所述存储器相互通信，所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令执行基于机器学习的内镜下辅助活检的方法，该方法包括如下流程步骤：
获取内镜检查过程中实时采集的待检测部位视频帧；
利用病灶浸润深度识别模型识别待检测部位视频帧的病灶区域，并对病灶区域的不同分化类型进行浸润深度打分，得到具有不同浸润深度的打分矩阵的掩码图像；其中，所述病灶浸润深度识别模型模型使用多组数据训练获得，所述每一组数据均包括包含有病灶区域的内镜图像以及用于标注该内镜图像中病灶区域的不同分化类型的标注信息。
实施例4
本发明实施例4提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现基于机器学习的内镜下辅助活检的方法，该方法包括如下流程步骤：
获取内镜检查过程中实时采集的待检测部位视频帧；
利用病灶浸润深度识别模型识别待检测部位视频帧的病灶区域，并对病灶区域的不同分化类型进行浸润深度打分，得到具有不同浸润深度的打分矩阵的掩码图像；其中，所述病灶浸润深度识别模型模型使用多组数据训练获得，所述每一组数据均包括包含有病灶区域的内镜图像以及用于标注该内镜图像中病灶区域的不同分化类型的标注信息。
综上所述，本发明实施例所述的基于机器学习的内镜下辅助活检的方法及系统，能够准确的获取待检测部位病变浸润深度，根据病变分化类型及浸润深度，实时展示内镜下病变打分矩阵，从而有效辅助内镜医师选取最佳活检部位，协助临床取得最佳诊疗决策。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种基于机器学习的内镜下辅助活检的系统，其特征在于，包括：
图像采集模块，用于获取内镜检查过程中实时采集的待检测部位视频帧；
病灶浸润深度识别模块，用于利用病灶浸润深度识别模型识别待检测部位视频帧的病灶区域，并对病灶区域的不同分化类型进行浸润深度打分，得到具有不同浸润深度的打分矩阵的掩码图像；其中，所述病灶浸润深度识别模型使用多组数据训练获得，所述每一组数据均包括包含有病灶区域的内镜图像以及用于标注该内镜图像中病灶区域的不同分化类型的标注信息；
所述病灶浸润深度识别模块包括：图像标注单元，所述图像标注单元，用于接收针对病灶区域的不同病灶分化类型的浸润深度的标注信息，基于该标注信息对内镜图像中的病灶区域的不同分化类型进行浸润深度标注；
对图像中病灶区域的不同分化类型的进行标注包括：
将病理标本组织连续切片图像，依据病变纵向病理切片结果判定切片图像中病灶区域的浸润深度，得到浸润深度复原图，利用SIFT图像匹配算法对浸润深度复原图和内镜图像进行匹配，得到具有浸润深度打分矩阵的内镜图像，作为活检图像；
利用SIFT图像匹配算法对浸润深度复原图和内镜图像进行匹配包括：
确定关键点邻域所在尺度空间的像素大小的邻域，利用关键点邻域像素的梯度方向为每个关键点指定方向参数，将坐标轴旋转为关键点的方向，使算子具备旋转不变性；再将该邻域均匀地分为多个窗口，对每个窗口计算多个方向的分量值，根据位置依次排序，得到多维的浸润深度复原图的SIFT特征向量和内镜图像的SIFT特征向量；
当浸润深度复原图的SIFT特征向量和内镜图像的SIFT特征向量，使用关键点特征向量的欧式距离度量两幅图像中关键点的相似度，当相似度超过设定阈值，则浸润深度复原图的关键点与内镜图像的关键点匹配成立；
利用多组匹配成功的关键点计算出浸润深度复原图与内镜图像间的坐标转换关系，通过变换矩阵找到浸润深度复原图在内镜图像中的具体位置，完成匹配。
2.根据权利要求1所述的基于机器学习的内镜下辅助活检的系统，其特征在于，所述病灶浸润深度识别模块还包括：训练图像获取单元、模型训练单元以及结果展示单元；
所述训练图像获取单元，用于获取多幅包含病灶区域的内镜图像；
所述模型训练单元，用于将进行了病灶区域标注的内镜图像作为训练集，训练所述病灶浸润深度识别模型；
所述结果展示单元，用于将病灶浸润深度识别模型识别出的内镜图像中的病灶区域不同分化类型进行浸润深度打分，展示掩码图像。
3.根据权利要求2所述的基于机器学习的内镜下辅助活检的系统，其特征在于，所述病灶浸润深度识别模型包括病灶区域识别分支和浸润深度识别分支。
4.根据权利要求3所述的基于机器学习的内镜下辅助活检的系统，其特征在于，采用DETR神经网络训练所述病灶区域识别分支。
5.根据权利要求3所述的基于机器学习的内镜下辅助活检的系统 ，其特征在于，采用MASK-RCNN卷积神经网络训练所述浸润深度识别分支。
6.一种利用如权利要求1-5任一项所述的系统实现的基于机器学习的内镜下辅助活检的方法，其特征在于，包括如下流程步骤：
获取内镜检查过程中实时采集的待检测部位视频帧；
利用病灶浸润深度识别模型识别待检测部位视频帧的病灶区域，并对病灶区域的不同分化类型进行浸润深度打分，得到具有不同浸润深度的打分矩阵的掩码图像；其中，所述病灶浸润深度识别模型使用多组数据训练获得，所述每一组数据均包括包含有病灶区域的内镜图像以及用于标注该内镜图像中病灶区域的不同分化类型的标注信息；
对图像中病灶区域的不同分化类型的进行标注包括：
将病理标本组织连续切片图像，依据病变纵向病理切片结果判定切片图像中病灶区域的浸润深度，得到浸润深度复原图，利用SIFT图像匹配算法对浸润深度复原图和内镜图像进行匹配，得到具有浸润深度打分矩阵的内镜图像，作为活检图像；
利用SIFT图像匹配算法对浸润深度复原图和内镜图像进行匹配包括：
确定关键点邻域所在尺度空间的像素大小的邻域，利用关键点邻域像素的梯度方向为每个关键点指定方向参数，将坐标轴旋转为关键点的方向，使算子具备旋转不变性；再将该邻域均匀地分为多个窗口，对每个窗口计算多个方向的分量值，根据位置依次排序，得到多维的浸润深度复原图的SIFT特征向量和内镜图像的SIFT特征向量；
当浸润深度复原图的SIFT特征向量和内镜图像的SIFT特征向量，使用关键点特征向量的欧式距离度量两幅图像中关键点的相似度，当相似度超过设定阈值，则浸润深度复原图的关键点与内镜图像的关键点匹配成立；
利用多组匹配成功的关键点计算出浸润深度复原图与内镜图像间的坐标转换关系，通过变换矩阵找到浸润深度复原图在内镜图像中的具体位置，完成匹配。
7.根据权利要求6所述的基于机器学习的内镜下辅助活检的方法，其特征在于，利用SIFT图像匹配算法对浸润深度复原图和内镜图像进行匹配还包括：
将浸润深度复原图和内镜图像分别与不同的高斯核作卷积，分别得到浸润深度复原图和内镜图像的二维图像的高斯尺度空间；将浸润深度复原图的二维图像的高斯尺度空间的两个相邻的高斯尺度空间的图像相减得到浸润深度复原图的高斯差分尺度空间；将内镜图像的二维图像的高斯尺度空间的两个相邻的高斯尺度空间的图像相减得到内镜图像的高斯差分尺度空间；
在浸润深度复原图的高斯差分尺度空间中，对每一个检测点和与该检测点同尺度的相邻点以及与该检测点上下相邻尺度对应的点，确定是否为极值点，将极值点构成浸润深度复原图的SIFT关键点集合；在内镜图像的高斯差分尺度空间中，对每一个检测点和与该检测点同尺度的相邻点以及与该检测点上下相邻尺度对应的点，确定是否为极值点，将极值点构成内镜图像的SIFT关键点集合。
8.根据权利要求7所述的基于机器学习的内镜下辅助活检的方法，其特征在于，确定关键点邻域所在尺度空间的像素大小的邻域包括：
其中所述方向参数包括关键点处梯度模值和关键点处梯度方向。
9.根据权利要求8所述的基于机器学习的内镜下辅助活检的方法，其特征在于，计算关键点处梯度模值为：
Figure FDA0003173380820000041
计算关键点处梯度方向为：
θ(x,y)＝tan-1{[L(x,y+1)-L(x,y-1)]/[L(x+1,y)-L(x-1,y)]}；
其中，m(x,y)为坐标为(x,y)的关键点处梯度模值，θ(x,y)为坐标为(x,y)的关键点处梯度方向。
CN202011639126.5A 2020-12-31 2020-12-31 一种基于机器学习的内镜下辅助活检的系统及方法 Active CN112614128B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011639126.5A CN112614128B (zh) 2020-12-31 2020-12-31 一种基于机器学习的内镜下辅助活检的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011639126.5A CN112614128B (zh) 2020-12-31 2020-12-31 一种基于机器学习的内镜下辅助活检的系统及方法

Publications (2)

Publication Number Publication Date
CN112614128A CN112614128A (zh) 2021-04-06
CN112614128B true CN112614128B (zh) 2021-09-07

Family

ID=75253023

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011639126.5A Active CN112614128B (zh) 2020-12-31 2020-12-31 一种基于机器学习的内镜下辅助活检的系统及方法

Country Status (1)

Country Link
CN (1) CN112614128B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034500A (zh) * 2021-05-25 2021-06-25 紫东信息科技(苏州)有限公司 基于多通道结构的消化道内窥镜图片病灶识别系统
CN113177940A (zh) * 2021-05-26 2021-07-27 复旦大学附属中山医院 基于Transformer的胃镜视频部位识别网络结构
CN113657390B (zh) * 2021-08-13 2022-08-12 北京百度网讯科技有限公司 文本检测模型的训练方法和检测文本方法、装置和设备
CN114693912B (zh) * 2022-03-10 2024-03-05 山东大学齐鲁医院 具有眼球追踪功能的内镜检查系统、存储介质及设备
TWI807904B (zh) * 2022-07-04 2023-07-01 鴻海精密工業股份有限公司 深度識別模型訓練方法、圖像深度識別方法及相關設備
CN116109559A (zh) * 2022-11-22 2023-05-12 武汉楚精灵医疗科技有限公司 胃部标志物的浸润深度检测方法、装置及存储介质
CN116310282A (zh) * 2023-03-15 2023-06-23 郑州大学 一种胸腔镜图像中病灶标识方法及系统
CN116596927B (zh) * 2023-07-17 2023-09-26 浙江核睿医疗科技有限公司 一种内镜视频处理方法、系统及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104422777A (zh) * 2013-09-10 2015-03-18 中国医学科学院肿瘤医院 Ano1蛋白在食管癌预后及癌前病变风险预测中的应用
CN110309329A (zh) * 2019-05-09 2019-10-08 河南萱闱堂医疗信息科技有限公司 内镜检查中智能化识别和记录消化道组织和异物的方法
CN110363768A (zh) * 2019-08-30 2019-10-22 重庆大学附属肿瘤医院 一种基于深度学习的早期癌病灶范围预测辅助系统
CN110974179A (zh) * 2019-12-20 2020-04-10 山东大学齐鲁医院 一种基于深度学习的电子染色内镜下胃早癌的辅助诊断系统
CN111128396A (zh) * 2019-12-20 2020-05-08 山东大学齐鲁医院 一种基于深度学习的消化道疾病辅助诊断系统
CN111603476A (zh) * 2020-06-09 2020-09-01 上海市闵行区中心医院 一种地西他滨在制备治疗炎症性肠病药物中的用途
TW202037327A (zh) * 2018-11-21 2020-10-16 日商Ａｉ醫療服務股份有限公司 藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101275941A (zh) * 2007-03-26 2008-10-01 上海芯超生物科技有限公司 一种人类胃疾病及动物模型组织芯片
CN103729654A (zh) * 2014-01-22 2014-04-16 青岛新比特电子科技有限公司 基于改进sift算法的图像匹配检索系统
CN104574401A (zh) * 2015-01-09 2015-04-29 北京环境特性研究所 一种基于平行线匹配的图像配准方法
CN107765011A (zh) * 2016-08-16 2018-03-06 华明康生物科技（深圳）有限公司 早期癌症筛查方法及试剂盒
CN106951724B (zh) * 2017-05-09 2019-03-19 山东省千佛山医院 适用于肝癌及消化道癌的病理诊断报告生成系统及方法
CN107563123A (zh) * 2017-09-27 2018-01-09 百度在线网络技术（北京）有限公司 用于标注医学图像的方法和装置
CN110175255B (zh) * 2019-05-29 2022-04-05 腾讯医疗健康(深圳)有限公司 图像标注的方法、基于病理图像的标注展示方法及装置
CN110517256B (zh) * 2019-08-30 2022-02-15 重庆大学附属肿瘤医院 一种基于人工智能的早期癌辅助诊断系统
CN111640509A (zh) * 2020-06-02 2020-09-08 山东大学齐鲁医院 一种宫颈癌术后复发风险预测方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104422777A (zh) * 2013-09-10 2015-03-18 中国医学科学院肿瘤医院 Ano1蛋白在食管癌预后及癌前病变风险预测中的应用
TW202037327A (zh) * 2018-11-21 2020-10-16 日商Ａｉ醫療服務股份有限公司 藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體
CN110309329A (zh) * 2019-05-09 2019-10-08 河南萱闱堂医疗信息科技有限公司 内镜检查中智能化识别和记录消化道组织和异物的方法
CN110363768A (zh) * 2019-08-30 2019-10-22 重庆大学附属肿瘤医院 一种基于深度学习的早期癌病灶范围预测辅助系统
CN110974179A (zh) * 2019-12-20 2020-04-10 山东大学齐鲁医院 一种基于深度学习的电子染色内镜下胃早癌的辅助诊断系统
CN111128396A (zh) * 2019-12-20 2020-05-08 山东大学齐鲁医院 一种基于深度学习的消化道疾病辅助诊断系统
CN111603476A (zh) * 2020-06-09 2020-09-01 上海市闵行区中心医院 一种地西他滨在制备治疗炎症性肠病药物中的用途

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Application of convolutional neural network in the diagnosis of the invasion depth of gastric cancer based on conventional endoscopy;Yan Zhu等;《GASTROINTESTINAL ENDOSCOPY》;20181106;第89卷(第4期);第806-815页 *
Content-based processing and analysis of endoscopic images and videos: A survey;Klaus Schoeffmann等;《Multimed Tools Appl》;20170111;第1-40页 *
Deep learning for the determination of myometrial invasion depth and automatic lesion identification in endometrial cancer MR imaging: a preliminary study in a single institution;Xiaojun Chen等;《IMAGING INFORMATICS AND ARTIFICIAL INTELLIGENCE》;20200426;第30卷(第9期);第1-10页第2页第4段、第4页第4段、第5页第1段 *
基于MRI图像纹理特征的膀胱肿瘤浸润深度检测;吴智德等;《中国生物医学工程学报》;20110430;第30卷(第2期);第169-174页摘要、1.5-1.6节、图2-3、表2 *
普通白光联合窄带光成像放大内镜检查诊断早期胃癌浸润深度的模型研究;朱敏等;《中华消化内镜杂志》;20200131;第37卷(第1期);第15-21页 *
电子染色内镜在早期胃癌中的应用进展;刘鑫等;《中国微创外科杂志》;20201031;第20卷(第10期);第926-930页 *

Also Published As

Publication number Publication date
CN112614128A (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN112614128B (zh) 一种基于机器学习的内镜下辅助活检的系统及方法
Zhu et al. Lesion detection of endoscopy images based on convolutional neural network features
Liu et al. Segmentation of lung nodule in CT images based on mask R-CNN
Liao et al. An accurate segmentation method for white blood cell images
CN111985536B (zh) 一种基于弱监督学习的胃镜病理图像分类方法
Wittenberg et al. Computer aided detection of polyps in whitelight-colonoscopy images using deep neural networks
CN112767355A (zh) 一种甲状腺结节Tirads分级自动识别模型构建方法及装置
WO2019184851A1 (zh) 图像处理方法和装置及神经网络模型的训练方法
Mirzaalian et al. Automatic globally-optimal pictorial structures with random decision forest based likelihoods for cephalometric x-ray landmark detection
CN110766670A (zh) 一种基于深度卷积神经网络的乳腺钼靶图像肿瘤定位算法
CN114399465B (zh) 良恶性溃疡识别方法及系统
Liu et al. Accurate and robust pulmonary nodule detection by 3D feature pyramid network with self-supervised feature learning
Gueye et al. Automatic detection of colonoscopic anomalies using capsule endoscopy
Ghosh et al. Block based histogram feature extraction method for bleeding detection in wireless capsule endoscopy
CN113450305A (zh) 医疗图像的处理方法、系统、设备及可读存储介质
Baranov et al. Determination of geometrical parameters in blood serum films using an image segmentation algorithm
CN115880266B (zh) 一种基于深度学习的肠道息肉检测系统和方法
Wang et al. Automated segmentation of breast arterial calcifications from digital mammography
CN108985294B (zh) 一种轮胎模具图片的定位方法、装置、设备及存储介质
Vemuri Survey of computer vision and machine learning in gastrointestinal endoscopy
Bhatt et al. Automated system for lung nodule classification based on ResNet50 and SVM
Arnold et al. Indistinct frame detection in colonoscopy videos
CN112634266B (zh) 喉镜图像的半自动标注方法、介质、设备及装置
Khan et al. Segmentation of single and overlapping leaves by extracting appropriate contours
Xia et al. A novel methodology for extracting colon’s lumen from colonoscopic images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant