CN110458087B - 一种基于深度学习的患者问题部位标注方法 - Google Patents

一种基于深度学习的患者问题部位标注方法 Download PDF

Info

Publication number
CN110458087B
CN110458087B CN201910726282.6A CN201910726282A CN110458087B CN 110458087 B CN110458087 B CN 110458087B CN 201910726282 A CN201910726282 A CN 201910726282A CN 110458087 B CN110458087 B CN 110458087B
Authority
CN
China
Prior art keywords
layer
problem part
patient
clustering
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910726282.6A
Other languages
English (en)
Other versions
CN110458087A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Vathin Medical Instrument Co Ltd
Original Assignee
Hunan Vathin Medical Instrument Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Vathin Medical Instrument Co Ltd filed Critical Hunan Vathin Medical Instrument Co Ltd
Priority to CN201910726282.6A priority Critical patent/CN110458087B/zh
Publication of CN110458087A publication Critical patent/CN110458087A/zh
Application granted granted Critical
Publication of CN110458087B publication Critical patent/CN110458087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的患者问题部位标注方法，包括以下步骤：采集三维深度图像，对三维深度图像进行分析，建立样本数据库；对数据库中的三维深度图像进行标记；构造描述患者问题部位的维度特征；训练二分类模型；利用问题部位检测模型实时标注患者问题部位，解决了现有技术中存在手术部位标识错误风险的技术问题。

Description

一种基于深度学习的患者问题部位标注方法
技术领域
本发明涉及临床医学领域，尤其涉及的是一种基于深度学习的患者问题部位标注方法。
背景技术
医生在手术前需要对患者的问题部位进行标注，国内曾发生过多起手术部位标识错误的医疗事故，暴露了现今医疗系统中存在的安全隐患：影像出现侧向标注错误；术前查房、讨论及手术审批均未发现并纠正标记错误；未标明手术侧向的手术申请顺利通过预约审查；病情交接不清楚；不了解病情的临时医生参与麻醉前核查，在未查阅第一手病历资料的情况下进行手术部位标记；组织监管不到位。
为了避免手术部位标识错误的医疗事故再次发生，急需一种标注患者问题部位的辅助手段，提高手术安全性，降低手术医疗事故的风险。因此，现有技术还有待于改进和发展。
发明内容
本发明的目的在于提供一种基于深度学习的患者问题部位标注方法，以解决现有技术中存在手术部位标识错误风险的技术问题。
本发明的技术方案如下：
一种基于深度学习的患者问题部位标注方法，其中，包括以下步骤：
S1：采集至少20000幅患者问题部位的三维深度图像，对三维深度图像进行分析，建立样本数据库；
S2：对数据库中的三维深度图像进行标记，制作成图像标注数据集N，图像标注数据集N包括训练集、标签集和测试集；
S3：对于数据库中的三维深度图像，构造描述患者问题部位的维度特征，维度特征用Dimeni＝∑iri·DisSum(ri)表示，其中，Dimeni为维度特征值，ri表示第i个矩形的权值，DisSum(ri)表示第i个矩形内所有像素值的和；
S4：训练二分类模型：使用矩形框对训练集中的三维深度图像的问题部位进行标注，并将矩形框在图像中的左上角坐标和右下角坐标记录下来，记录为{x0，y0，x1，y1}；将标注好的问题部位图像区域裁剪出来作为正样本，同时裁剪若干非病灶区域图像作为负样本，将正样本和负样本的尺寸调整成统一大小；定义一个目标检测网络结构，目标检测网络结构包含候选窗口提取子网络PRN、基于区域的全卷积网络RFCN、分类全连接层、聚类向量全连接层，获取分类全连接层输出向量F(xi)、聚类向量全连接层参数向量cyi；
使用如下公式作为为一元哈希损失函数：
Figure BDA0002159053160000021
将正样本和负样本、维度特征Dimeni按照顺序输入到目标检测网络结构中进行训练，并将一元哈希损失函数输入目标检测网络结构中反向传播，采用端到端的多任务训练方式得到问题部位检测模型；
S5：利用问题部位检测模型实时标注患者问题部位。
所述的基于深度学习的患者问题部位标注方法，其中，所述维度特征为类矩形特征，通过出现患者病灶部位的矩形区域和非病灶矩形区域按照一定的权值关系相互错层、重叠和遮挡方式组合而成。
所述的基于深度学习的患者问题部位标注方法，其中，所述训练二分类模型的方法还包括：
在得到问题部位检测模型后将分类损失函数输入目标检测网络结构中反向传播，修正所述问题部位检测模型，其中，分类损失函数lc(F(xi)，yi)为：
Figure BDA0002159053160000031
所述的基于深度学习的患者问题部位标注方法，其中，基于区域的全卷积网络RFCN包括十一层结构，第一层为输入层、第二层为模板大小为7*7的卷积层；第三层为模板大小为7*7的池化层；第四层为模板大小为5*5的卷积层；第五层为模板大小为6*6的池化层；第六层为模板大小为3*3的卷积层；第七层为模板大小4*4的卷积层；第八层为模板大小3*3的卷积层；第九层为全连接层；第十层为全连接层；第十一层为输出层。
所述的基于深度学习的患者问题部位标注方法，其中，所述候选窗口提取子网络PRN包括二十层结构，用基于区域的全卷积网络RFCN的十一层结构作为候选窗口提取子网络PRN的前十一层，候选窗口提取子网络PRN的前十一层参数与基于区域的全卷积网络RFCN的十一层网格参数相同。
所述的基于深度学习的患者问题部位标注方法，其中，所述聚类向量全连接层包括层次聚类向量全连接层，在目标检测网络结构中聚类若干轮形成层次聚类向量全连接层，聚类的步骤为：本轮聚类的结果中每一个类作为下一轮参与聚类的一个节点，本轮聚类结果的任意两个类之间的节点边的连接权重作为下一轮参与聚类的节点之间边的权重。
本发明的有益效果：本发明通过提供一种基于深度学习的患者问题部位标注方法，将机器标注作为医生人手标注的辅助性手段，标注准确度高，基于深度学习的智能化程度高，解决了现有技术中存在手术部位标识错误风险的技术问题。
附图说明
图1是本发明的患者问题部位标注方法。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。
参阅图1，本发明提供一种基于深度学习的患者问题部位标注方法，包括以下步骤：
S1：采集至少20000幅患者问题部位的三维深度图像，对三维深度图像进行分析，建立样本数据库；在本实施例中，采集28000幅患者问题部位的三维深度图像较为适宜，保证足够多的样本量进行模型的训练而又不至于数据量太大增加系统负担。
S2：对数据库中的三维深度图像进行标记，制作成图像标注数据集N，图像标注数据集N包括训练集、标签集和测试集；
S3：对于数据库中的三维深度图像，构造描述患者问题部位的维度特征，维度特征用Dimeni＝∑iri·DisSum(ri)表示，其中，Dimeni为维度特征值，ri表示第i个矩形的权值，DisSum(ri)表示第i个矩形内所有像素值的和，维度特征为类矩形特征，通过出现患者病灶部位的矩形区域和非病灶矩形区域按照一定的权值关系相互错层、重叠和遮挡方式组合而成；
S4：训练二分类模型：使用矩形框对训练集中的三维深度图像的问题部位进行标注，并将矩形框在图像中的左上角坐标和右下角坐标记录下来，记录为{x0，y0，x1，y1}；将标注好的问题部位图像区域裁剪出来作为正样本，同时裁剪若干非病灶区域图像作为负样本，将正样本和负样本的尺寸调整成统一大小；定义一个目标检测网络结构，目标检测网络结构包含候选窗口提取子网络PRN、基于区域的全卷积网络RFCN、分类全连接层、聚类向量全连接层，获取分类全连接层输出向量F(xi)、聚类向量全连接层参数向量Cyi；
使用如下公式作为为一元哈希损失函数：
Figure BDA0002159053160000051
将正样本和负样本、维度特征Dimeni按照顺序输入到目标检测网络结构中进行训练，并将一元哈希损失函数输入目标检测网络结构中反向传播，采用端到端的多任务训练方式得到问题部位检测模型；
S5：利用问题部位检测模型实时标注患者问题部位。
本发明创造性地将正样本和负样本、维度特征Dimeni按照顺序输入到目标检测网络结构中进行训练，并将一元哈希损失函数输入目标检测网络结构中反向传播，采用端到端的多任务训练方式得到问题部位检测模型，相对于现有技术采用多种特征值输入到目标检测网络结构中进行训练，本方案的训练效果明显提高了，维度特征Dimeni和正、负样本相互补充，细致地刻画了患者问题部位的特征，而且由于它们之间并不相关，在样本或维度特征发生变化时，相互之间的影响可以被避免，进一步提高了问题部位检测模型的准确度。
进一步地，S4训练二分类模型的方法还包括：
在得到问题部位检测模型后将分类损失函数输入目标检测网络结构中反向传播，修正所述问题部位检测模型，其中，分类损失函数lc(F(xi)，yi)为：
Figure BDA0002159053160000052
分类损失函数lc(F(xi)，yi)的作用在于，进一步降低问题部位检测模型存在的局部性误差，提高模型准确度。
在本实施例中，基于区域的全卷积网络RFCN包括十一层结构，第一层为输入层、第二层为模板大小为7*7的卷积层；第三层为模板大小为7*7的池化层；第四层为模板大小为5*5的卷积层；第五层为模板大小为6*6的池化层；第六层为模板大小为3*3的卷积层；第七层为模板大小4*4的卷积层；第八层为模板大小3*3的卷积层；第九层为全连接层；第十层为全连接层；第十一层为输出层。
所述候选窗口提取子网络PRN包括二十层结构，用基于区域的全卷积网络RFCN的十一层结构作为候选窗口提取子网络PRN的前十一层，候选窗口提取子网络PRN的前十一层参数与基于区域的全卷积网络RFCN的十一层网格参数相同。
所述聚类向量全连接层包括层次聚类向量全连接层，在目标检测网络结构中聚类若干轮形成层次聚类向量全连接层，聚类的步骤为：本轮聚类的结果中每一个类作为下一轮参与聚类的一个节点，本轮聚类结果的任意两个类之间的节点边的连接权重作为下一轮参与聚类的节点之间边的权重。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (5)

1.一种基于深度学习的患者问题部位标注方法，其特征在于，包括以下步骤：
S1：采集至少20000幅患者问题部位的三维深度图像，对三维深度图像进行分析，建立样本数据库；
S2：对数据库中的三维深度图像进行标记，制作成图像标注数据集N，图像标注数据集N包括训练集、标签集和测试集；
S3：对于数据库中的三维深度图像，构造描述患者问题部位的维度特征，维度特征用Dimeni＝∑iri·DisSum(ri)表示，其中，Dimeni为维度特征值，所述维度特征为类矩形特征，ri表示第i个矩形的权值，DisSum(ri)表示第i个矩形内所有像素值的和；
S4：训练二分类模型：使用矩形框对训练集中的三维深度图像的问题部位进行标注，并将矩形框在图像中的左上角坐标和右下角坐标记录下来，记录为{x0,y0,x1,y1}；将标注好的问题部位图像区域裁剪出来作为正样本，同时裁剪若干非病灶区域图像作为负样本，将正样本和负样本的尺寸调整成统一大小；定义一个目标检测网络结构，目标检测网络结构包含候选窗口提取子网络PRN、基于区域的全卷积网络RFCN、分类全连接层、聚类向量全连接层，获取分类全连接层输出向量F(xi)、聚类向量全连接层参数向量cyi；
使用如下公式作为为一元哈希损失函数：
Figure FDA0003496461440000011
将正样本和负样本、维度特征Dimeni按照顺序输入到目标检测网络结构中进行训练，并将一元哈希损失函数输入目标检测网络结构中反向传播，采用端到端的多任务训练方式得到问题部位检测模型；
S5：利用问题部位检测模型实时标注患者问题部位。
2.根据权利要求1所述的基于深度学习的患者问题部位标注方法，其特征在于，所述训练二分类模型的方法还包括：在得到问题部位检测模型后将分类损失函数输入目标检测网络结构中反向传播，修正所述问题部位检测模型，其中，分类损失函数lc(F(xi),yi)为：
Figure FDA0003496461440000012
3.根据权利要求1所述的基于深度学习的患者问题部位标注方法，其特征在于，基于区域的全卷积网络RFCN包括十一层结构，第一层为输入层、第二层为模板大小为7*7的卷积层；第三层为模板大小为7*7的池化层；第四层为模板大小为5*5的卷积层；第五层为模板大小为6*6的池化层；第六层为模板大小为3*3的卷积层；第七层为模板大小4*4的卷积层；第八层为模板大小3*3的卷积层；第九层为全连接层；第十层为全连接层；第十一层为输出层。
4.根据权利要求3所述的基于深度学习的患者问题部位标注方法，其特征在于，所述候选窗口提取子网络PRN包括二十层结构，用基于区域的全卷积网络RFCN的十一层结构作为候选窗口提取子网络PRN的前十一层，候选窗口提取子网络PRN的前十一层参数与基于区域的全卷积网络RFCN的十一层网格参数相同。
5.根据权利要求1所述的基于深度学习的患者问题部位标注方法，其特征在于，所述聚类向量全连接层包括层次聚类向量全连接层，在目标检测网络结构中聚类若干轮形成层次聚类向量全连接层，聚类的步骤为：本轮聚类的结果中每一个类作为下一轮参与聚类的一个节点，本轮聚类结果的任意两个类之间的节点边的连接权重作为下一轮参与聚类的节点之间边的权重。
CN201910726282.6A 2019-08-07 2019-08-07 一种基于深度学习的患者问题部位标注方法 Active CN110458087B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910726282.6A CN110458087B (zh) 2019-08-07 2019-08-07 一种基于深度学习的患者问题部位标注方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910726282.6A CN110458087B (zh) 2019-08-07 2019-08-07 一种基于深度学习的患者问题部位标注方法

Publications (2)

Publication Number Publication Date
CN110458087A CN110458087A (zh) 2019-11-15
CN110458087B true CN110458087B (zh) 2022-03-11

Family

ID=68485262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910726282.6A Active CN110458087B (zh) 2019-08-07 2019-08-07 一种基于深度学习的患者问题部位标注方法

Country Status (1)

Country Link
CN (1) CN110458087B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553280A (zh) * 2020-04-28 2020-08-18 上海无线电设备研究所 基于深度学习的目标部位识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874894A (zh) * 2017-03-28 2017-06-20 电子科技大学 一种基于区域全卷积神经网络的人体目标检测方法
CN108629414A (zh) * 2018-05-09 2018-10-09 清华大学 深度哈希学习方法及装置
CN108764329A (zh) * 2018-05-24 2018-11-06 复旦大学附属华山医院北院 一种肺癌病理图像数据集的构建方法
CN109165644A (zh) * 2018-07-13 2019-01-08 北京市商汤科技开发有限公司 目标检测方法和装置、电子设备、存储介质、程序产品
CN109635848A (zh) * 2018-11-19 2019-04-16 扬州梯子教育科技发展有限公司 一种基于特征聚类的深度学习方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10140709B2 (en) * 2017-02-27 2018-11-27 International Business Machines Corporation Automatic detection and semantic description of lesions using a convolutional neural network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874894A (zh) * 2017-03-28 2017-06-20 电子科技大学 一种基于区域全卷积神经网络的人体目标检测方法
CN108629414A (zh) * 2018-05-09 2018-10-09 清华大学 深度哈希学习方法及装置
CN108764329A (zh) * 2018-05-24 2018-11-06 复旦大学附属华山医院北院 一种肺癌病理图像数据集的构建方法
CN109165644A (zh) * 2018-07-13 2019-01-08 北京市商汤科技开发有限公司 目标检测方法和装置、电子设备、存储介质、程序产品
CN109635848A (zh) * 2018-11-19 2019-04-16 扬州梯子教育科技发展有限公司 一种基于特征聚类的深度学习方法

Also Published As

Publication number Publication date
CN110458087A (zh) 2019-11-15

Similar Documents

Publication Publication Date Title
CN109035187B (zh) 一种医学图像的标注方法及装置
CN101727661B (zh) 医用图像处理装置
CN110232383A (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
JP5186269B2 (ja) 画像認識結果判定装置、方法、およびプログラム
CN110956635A (zh) 一种肺段分割方法、装置、设备及存储介质
JP4545971B2 (ja) 医用画像識別システム，医用画像識別処理方法，医用画像識別用プログラムおよびその記録媒体
WO2021196955A1 (zh) 图像识别方法及相关装置、设备
CN107909622B (zh) 模型生成方法、医学成像的扫描规划方法及医学成像系统
US20080058611A1 (en) Medical image processing apparatus
CN109671068B (zh) 一种基于深度学习的腹部肌肉标注方法及装置
WO2022037548A1 (zh) 一种基于深度学习的脊椎mri影像关键点检测方法
CN1503169A (zh) 为数字射线照片的基于模型的解释设置初始值
DE102006028812A1 (de) System und Verfahren zum pfad-basierten Tree-Matching
DE102007003260A1 (de) System und Verfahren zum Markieren und Identifizieren von Lymphknoten in medizinischen Bildern
CN112037200A (zh) 一种医学影像中解剖特征自动识别与模型重建方法
Vezzetti et al. 3D Landmarking in multiexpression face analysis: a preliminary study on eyebrows and mouth
US20210271914A1 (en) Image processing apparatus, image processing method, and program
CN109003269A (zh) 一种能提高医生效率的医学影像病灶的标注提取方法
CN111260647B (zh) 一种基于图像检测的ct扫描辅助方法、计算机可读存储介质、ct扫描装置
Krawczyk et al. Bones detection in the pelvic area on the basis of YOLO neural network
CN110555860A (zh) 医学图像中肋骨区域标注的方法、电子设备和存储介质
EP4207058A1 (en) Image recognition method, electronic device and readable storage medium
CN112862022A (zh) 一种计算非增强ct的aspects评分方法
CN110458087B (zh) 一种基于深度学习的患者问题部位标注方法
CN117237351A (zh) 一种超声图像分析方法以及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Do not announce the inventor

Inventor before: Do not announce the inventor