CN110458087A - 一种基于深度学习的患者问题部位标注方法 - Google Patents

一种基于深度学习的患者问题部位标注方法 Download PDF

Info

Publication number
CN110458087A
CN110458087A CN201910726282.6A CN201910726282A CN110458087A CN 110458087 A CN110458087 A CN 110458087A CN 201910726282 A CN201910726282 A CN 201910726282A CN 110458087 A CN110458087 A CN 110458087A
Authority
CN
China
Prior art keywords
layer
patient problems
deep learning
full articulamentum
depth image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910726282.6A
Other languages
English (en)
Other versions
CN110458087B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Vathin Medical Instrument Co Ltd
Original Assignee
Hunan Vathin Medical Instrument Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Vathin Medical Instrument Co Ltd filed Critical Hunan Vathin Medical Instrument Co Ltd
Priority to CN201910726282.6A priority Critical patent/CN110458087B/zh
Publication of CN110458087A publication Critical patent/CN110458087A/zh
Application granted granted Critical
Publication of CN110458087B publication Critical patent/CN110458087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

本发明公开了一种基于深度学习的患者问题部位标注方法，包括以下步骤：采集三维深度图像，对三维深度图像进行分析，建立样本数据库；对数据库中的三维深度图像进行标记；构造描述患者问题部位的维度特征；训练二分类模型；利用问题部位检测模型实时标注患者问题部位，解决了现有技术中存在手术部位标识错误风险的技术问题。

Description

一种基于深度学习的患者问题部位标注方法
技术领域
本发明涉及临床医学领域，尤其涉及的是一种基于深度学习的患者问题部位标注方法。
背景技术
医生在手术前需要对患者的问题部位进行标注，国内曾发生过多起手术部位标识错误的医疗事故，暴露了现今医疗系统中存在的安全隐患：影像出现侧向标注错误；术前查房、讨论及手术审批均未发现并纠正标记错误；未标明手术侧向的手术申请顺利通过预约审查；病情交接不清楚；不了解病情的临时医生参与麻醉前核查，在未查阅第一手病历资料的情况下进行手术部位标记；组织监管不到位。
为了避免手术部位标识错误的医疗事故再次发生，急需一种标注患者问题部位的辅助手段，提高手术安全性，降低手术医疗事故的风险。因此，现有技术还有待于改进和发展。
发明内容
本发明的目的在于提供一种基于深度学习的患者问题部位标注方法，以解决现有技术中存在手术部位标识错误风险的技术问题。
本发明的技术方案如下：
一种基于深度学习的患者问题部位标注方法，其中，包括以下步骤：
S1：采集至少20000幅患者问题部位的三维深度图像，对三维深度图像进行分析，建立样本数据库；
S2：对数据库中的三维深度图像进行标记，制作成图像标注数据集N，图像标注数据集N包括训练集、标签集和测试集；
S3：对于数据库中的三维深度图像，构造描述患者问题部位的维度特征，维度特征用Dimeni＝∑iri·DisSum(ri)表示，其中，Dimeni为维度特征值，ri表示第i个矩形的权值，DisSum(ri)表示第i个矩形内所有像素值的和；
S4：训练二分类模型：使用矩形框对训练集中的三维深度图像的问题部位进行标注，并将矩形框在图像中的左上角坐标和右下角坐标记录下来，记录为{x0，y0，x1，y1}；将标注好的问题部位图像区域裁剪出来作为正样本，同时裁剪若干非病灶区域图像作为负样本，将正样本和负样本的尺寸调整成统一大小；定义一个目标检测网络结构，目标检测网络结构包含候选窗口提取子网络PRN、基于区域的全卷积网络RFCN、分类全连接层、聚类向量全连接层，获取分类全连接层输出向量F(xi)、聚类向量全连接层参数向量cyi；
使用如下公式作为为一元哈希损失函数：
将正样本和负样本、维度特征Dimeni按照顺序输入到目标检测网络结构中进行训练，并将一元哈希损失函数输入目标检测网络结构中反向传播，采用端到端的多任务训练方式得到问题部位检测模型；
S5：利用问题部位检测模型实时标注患者问题部位。
所述的基于深度学习的患者问题部位标注方法，其中，所述维度特征为类矩形特征，通过出现患者病灶部位的矩形区域和非病灶矩形区域按照一定的权值关系相互错层、重叠和遮挡方式组合而成。
所述的基于深度学习的患者问题部位标注方法，其中，所述训练二分类模型的方法还包括：
在得到问题部位检测模型后将分类损失函数输入目标检测网络结构中反向传播，修正所述问题部位检测模型，其中，分类损失函数lc(F(xi)，yi)为：
所述的基于深度学习的患者问题部位标注方法，其中，基于区域的全卷积网络RFCN包括十一层结构，第一层为输入层、第二层为模板大小为7*7的卷积层；第三层为模板大小为7*7的池化层；第四层为模板大小为5*5的卷积层；第五层为模板大小为6*6的池化层；第六层为模板大小为3*3的卷积层；第七层为模板大小4*4的卷积层；第八层为模板大小3*3的卷积层；第九层为全连接层；第十层为全连接层；第十一层为输出层。
所述的基于深度学习的患者问题部位标注方法，其中，所述候选窗口提取子网络PRN包括二十层结构，用基于区域的全卷积网络RFCN的十一层结构作为候选窗口提取子网络PRN的前十一层，候选窗口提取子网络PRN的前十一层参数与基于区域的全卷积网络RFCN的十一层网格参数相同。
所述的基于深度学习的患者问题部位标注方法，其中，所述聚类向量全连接层包括层次聚类向量全连接层，在目标检测网络结构中聚类若干轮形成层次聚类向量全连接层，聚类的步骤为：本轮聚类的结果中每一个类作为下一轮参与聚类的一个节点，本轮聚类结果的任意两个类之间的节点边的连接权重作为下一轮参与聚类的节点之间边的权重。
本发明的有益效果：本发明通过提供一种基于深度学习的患者问题部位标注方法，将机器标注作为医生人手标注的辅助性手段，标注准确度高，基于深度学习的智能化程度高，解决了现有技术中存在手术部位标识错误风险的技术问题。
附图说明
图1是本发明的患者问题部位标注方法。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。
参阅图1，本发明提供一种基于深度学习的患者问题部位标注方法，包括以下步骤：
S1：采集至少20000幅患者问题部位的三维深度图像，对三维深度图像进行分析，建立样本数据库；在本实施例中，采集28000幅患者问题部位的三维深度图像较为适宜，保证足够多的样本量进行模型的训练而又不至于数据量太大增加系统负担。
S2：对数据库中的三维深度图像进行标记，制作成图像标注数据集N，图像标注数据集N包括训练集、标签集和测试集；
S3：对于数据库中的三维深度图像，构造描述患者问题部位的维度特征，维度特征用Dimeni＝∑iri·DisSum(ri)表示，其中，Dimeni为维度特征值，ri表示第i个矩形的权值，DisSum(ri)表示第i个矩形内所有像素值的和，维度特征为类矩形特征，通过出现患者病灶部位的矩形区域和非病灶矩形区域按照一定的权值关系相互错层、重叠和遮挡方式组合而成；
S4：训练二分类模型：使用矩形框对训练集中的三维深度图像的问题部位进行标注，并将矩形框在图像中的左上角坐标和右下角坐标记录下来，记录为{x0，y0，x1，y1}；将标注好的问题部位图像区域裁剪出来作为正样本，同时裁剪若干非病灶区域图像作为负样本，将正样本和负样本的尺寸调整成统一大小；定义一个目标检测网络结构，目标检测网络结构包含候选窗口提取子网络PRN、基于区域的全卷积网络RFCN、分类全连接层、聚类向量全连接层，获取分类全连接层输出向量F(xi)、聚类向量全连接层参数向量Cyi；
使用如下公式作为为一元哈希损失函数：
将正样本和负样本、维度特征Dimeni按照顺序输入到目标检测网络结构中进行训练，并将一元哈希损失函数输入目标检测网络结构中反向传播，采用端到端的多任务训练方式得到问题部位检测模型；
S5：利用问题部位检测模型实时标注患者问题部位。
本发明创造性地将正样本和负样本、维度特征Dimeni按照顺序输入到目标检测网络结构中进行训练，并将一元哈希损失函数输入目标检测网络结构中反向传播，采用端到端的多任务训练方式得到问题部位检测模型，相对于现有技术采用多种特征值输入到目标检测网络结构中进行训练，本方案的训练效果明显提高了，维度特征Dimeni和正、负样本相互补充，细致地刻画了患者问题部位的特征，而且由于它们之间并不相关，在样本或维度特征发生变化时，相互之间的影响可以被避免，进一步提高了问题部位检测模型的准确度。
进一步地，S4训练二分类模型的方法还包括：
在得到问题部位检测模型后将分类损失函数输入目标检测网络结构中反向传播，修正所述问题部位检测模型，其中，分类损失函数lc(F(xi)，yi)为：
分类损失函数lc(F(xi)，yi)的作用在于，进一步降低问题部位检测模型存在的局部性误差，提高模型准确度。
在本实施例中，基于区域的全卷积网络RFCN包括十一层结构，第一层为输入层、第二层为模板大小为7*7的卷积层；第三层为模板大小为7*7的池化层；第四层为模板大小为5*5的卷积层；第五层为模板大小为6*6的池化层；第六层为模板大小为3*3的卷积层；第七层为模板大小4*4的卷积层；第八层为模板大小3*3的卷积层；第九层为全连接层；第十层为全连接层；第十一层为输出层。
所述候选窗口提取子网络PRN包括二十层结构，用基于区域的全卷积网络RFCN的十一层结构作为候选窗口提取子网络PRN的前十一层，候选窗口提取子网络PRN的前十一层参数与基于区域的全卷积网络RFCN的十一层网格参数相同。
所述聚类向量全连接层包括层次聚类向量全连接层，在目标检测网络结构中聚类若干轮形成层次聚类向量全连接层，聚类的步骤为：本轮聚类的结果中每一个类作为下一轮参与聚类的一个节点，本轮聚类结果的任意两个类之间的节点边的连接权重作为下一轮参与聚类的节点之间边的权重。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (6)

1.一种基于深度学习的患者问题部位标注方法，其特征在于，包括以下步骤：
S1：采集至少20000幅患者问题部位的三维深度图像，对三维深度图像进行分析，建立样本数据库；
S2：对数据库中的三维深度图像进行标记，制作成图像标注数据集N，图像标注数据集N包括训练集、标签集和测试集；
S3：对于数据库中的三维深度图像，构造描述患者问题部位的维度特征，维度特征用Dimeni＝∑iri·DisSum(ri)表示，其中，Dimeni为维度特征值，ri表示第i个矩形的权值，DisSum(ri)表示第i个矩形内所有像素值的和；
S4：训练二分类模型：使用矩形框对训练集中的三维深度图像的问题部位进行标注，并将矩形框在图像中的左上角坐标和右下角坐标记录下来，记录为{x0,y0,x1,y1}；将标注好的问题部位图像区域裁剪出来作为正样本，同时裁剪若干非病灶区域图像作为负样本，将正样本和负样本的尺寸调整成统一大小；定义一个目标检测网络结构，目标检测网络结构包含候选窗口提取子网络PRN、基于区域的全卷积网络RFCN、分类全连接层、聚类向量全连接层，获取分类全连接层输出向量F(xi)、聚类向量全连接层参数向量cyi；
使用如下公式作为为一元哈希损失函数：
将正样本和负样本、维度特征Dimeni按照顺序输入到目标检测网络结构中进行训练，并将一元哈希损失函数输入目标检测网络结构中反向传播，采用端到端的多任务训练方式得到问题部位检测模型；
S5：利用问题部位检测模型实时标注患者问题部位。
2.根据权利要求1所述的基于深度学习的患者问题部位标注方法，其特征在于，所述维度特征为类矩形特征，通过出现患者病灶部位的矩形区域和非病灶矩形区域按照一定的权值关系相互错层、重叠和遮挡方式组合而成。
3.根据权利要求1所述的基于深度学习的患者问题部位标注方法，其特征在于，所述训练二分类模型的方法还包括：
在得到问题部位检测模型后将分类损失函数输入目标检测网络结构中反向传播，修正所述问题部位检测模型，其中，分类损失函数lc(F(xi),yi）为：
4.根据权利要求1所述的基于深度学习的患者问题部位标注方法，其特征在于，基于区域的全卷积网络RFCN包括十一层结构，第一层为输入层、第二层为模板大小为7*7的卷积层；第三层为模板大小为7*7的池化层；第四层为模板大小为5*5的卷积层；第五层为模板大小为6*6的池化层；第六层为模板大小为3*3的卷积层；第七层为模板大小4*4的卷积层；第八层为模板大小3*3的卷积层；第九层为全连接层；第十层为全连接层；第十一层为输出层。
5.根据权利要求4所述的基于深度学习的患者问题部位标注方法，其特征在于，所述候选窗口提取子网络PRN包括二十层结构，用基于区域的全卷积网络RFCN的十一层结构作为候选窗口提取子网络PRN的前十一层，候选窗口提取子网络PRN的前十一层参数与基于区域的全卷积网络RFCN的十一层网格参数相同。
6.根据权利要求1所述的基于深度学习的患者问题部位标注方法，其特征在于，所述聚类向量全连接层包括层次聚类向量全连接层，在目标检测网络结构中聚类若干轮形成层次聚类向量全连接层，聚类的步骤为：本轮聚类的结果中每一个类作为下一轮参与聚类的一个节点，本轮聚类结果的任意两个类之间的节点边的连接权重作为下一轮参与聚类的节点之间边的权重。
CN201910726282.6A 2019-08-07 2019-08-07 一种基于深度学习的患者问题部位标注方法 Active CN110458087B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910726282.6A CN110458087B (zh) 2019-08-07 2019-08-07 一种基于深度学习的患者问题部位标注方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910726282.6A CN110458087B (zh) 2019-08-07 2019-08-07 一种基于深度学习的患者问题部位标注方法

Publications (2)

Publication Number Publication Date
CN110458087A true CN110458087A (zh) 2019-11-15
CN110458087B CN110458087B (zh) 2022-03-11

Family

ID=68485262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910726282.6A Active CN110458087B (zh) 2019-08-07 2019-08-07 一种基于深度学习的患者问题部位标注方法

Country Status (1)

Country Link
CN (1) CN110458087B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553280A (zh) * 2020-04-28 2020-08-18 上海无线电设备研究所 基于深度学习的目标部位识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874894A (zh) * 2017-03-28 2017-06-20 电子科技大学 一种基于区域全卷积神经网络的人体目标检测方法
US20180247405A1 (en) * 2017-02-27 2018-08-30 International Business Machines Corporation Automatic detection and semantic description of lesions using a convolutional neural network
CN108629414A (zh) * 2018-05-09 2018-10-09 清华大学 深度哈希学习方法及装置
CN108764329A (zh) * 2018-05-24 2018-11-06 复旦大学附属华山医院北院 一种肺癌病理图像数据集的构建方法
CN109165644A (zh) * 2018-07-13 2019-01-08 北京市商汤科技开发有限公司 目标检测方法和装置、电子设备、存储介质、程序产品
CN109635848A (zh) * 2018-11-19 2019-04-16 扬州梯子教育科技发展有限公司 一种基于特征聚类的深度学习方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180247405A1 (en) * 2017-02-27 2018-08-30 International Business Machines Corporation Automatic detection and semantic description of lesions using a convolutional neural network
CN106874894A (zh) * 2017-03-28 2017-06-20 电子科技大学 一种基于区域全卷积神经网络的人体目标检测方法
CN108629414A (zh) * 2018-05-09 2018-10-09 清华大学 深度哈希学习方法及装置
CN108764329A (zh) * 2018-05-24 2018-11-06 复旦大学附属华山医院北院 一种肺癌病理图像数据集的构建方法
CN109165644A (zh) * 2018-07-13 2019-01-08 北京市商汤科技开发有限公司 目标检测方法和装置、电子设备、存储介质、程序产品
CN109635848A (zh) * 2018-11-19 2019-04-16 扬州梯子教育科技发展有限公司 一种基于特征聚类的深度学习方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553280A (zh) * 2020-04-28 2020-08-18 上海无线电设备研究所 基于深度学习的目标部位识别方法

Also Published As

Publication number Publication date
CN110458087B (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
CN111402228B (zh) 图像检测方法、装置和计算机可读存储介质
CN112932663B (zh) 一种提高腹腔镜胆囊切除术安全性的智能辅助系统
CN108520519A (zh) 一种图像处理方法、装置及计算机可读存储介质
CN109146899A (zh) Ct图像的危及器官分割方法及装置
CN110599448A (zh) 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统
EP1895468A2 (en) Medical image processing apparatus
CN106887039A (zh) 一种基于医学影像的器官和病灶的三维成像方法及系统
CN108846828A (zh) 一种基于深度学习的病理图像目标区域定位方法及系统
CN112989087B (zh) 一种图像处理方法、设备以及计算机可读存储介质
CN109003269A (zh) 一种能提高医生效率的医学影像病灶的标注提取方法
CN107564004A (zh) 一种基于计算机辅助跟踪的篡改视频标注方法
CN110246580A (zh) 基于神经网络和随机森林的颅侧面影像分析方法和系统
EP4207058A1 (en) Image recognition method, electronic device and readable storage medium
CN110555860A (zh) 医学图像中肋骨区域标注的方法、电子设备和存储介质
CN112102296A (zh) 一种基于人类概念学的电力设备目标识别方法
CN110458087A (zh) 一种基于深度学习的患者问题部位标注方法
CN114937293A (zh) 基于gis的农业服务管理方法及系统
CN111128349A (zh) 基于gan的医学影像病灶检测标记数据增强方法及装置
CN112863699B (zh) 一种基于移动端的esd术前讨论系统
Christinal et al. Segmentation in 2D and 3D image using tissue-like P system
CN114419087A (zh) 病灶图像生成方法、装置、电子设备及存储介质
CN111652837A (zh) 基于ai的甲状腺结节左右叶定位与超声报告纠错方法
Rong et al. Surgical navigation technology based on computer vision and vr towards iot
CN110263704A (zh) 人脸数据采集方法、装置、服务器、视频采集器及介质
CN114332858A (zh) 病灶检测方法及装置、病灶检测模型获取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Do not announce the inventor

Inventor before: Do not announce the inventor

CB03 Change of inventor or designer information