CN111652838B - 基于目标检测网络的甲状腺结节定位与超声报告纠错方法 - Google Patents

基于目标检测网络的甲状腺结节定位与超声报告纠错方法 Download PDF

Info

Publication number
CN111652838B
CN111652838B CN202010300125.1A CN202010300125A CN111652838B CN 111652838 B CN111652838 B CN 111652838B CN 202010300125 A CN202010300125 A CN 202010300125A CN 111652838 B CN111652838 B CN 111652838B
Authority
CN
China
Prior art keywords
target detection
network
detection network
image
trachea
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010300125.1A
Other languages
English (en)
Other versions
CN111652838A (zh
Inventor
张航
顾城
赵佳琦
黄禾菁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Changzheng Hospital
Original Assignee
Shanghai Changzheng Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Changzheng Hospital filed Critical Shanghai Changzheng Hospital
Priority to CN202010300125.1A priority Critical patent/CN111652838B/zh
Publication of CN111652838A publication Critical patent/CN111652838A/zh
Application granted granted Critical
Publication of CN111652838B publication Critical patent/CN111652838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明涉及一种基于目标检测网络的甲状腺结节定位与超声报告纠错方法，包括以下步骤：建立深度卷积神经网络，所述深度卷积神经网络包括目标检测网络部分和分类器部分，所述目标检测网络部分对待分类图像进行检测得到气管与颈动脉的检测结果；所述分类器部分根据识别到的气管和颈动脉在图像中的相对位置对图像进行分类；基于输入框事件监听机制，将分类结果与超声报告中的关键字进行比对，如果比对结果不一致进行提示。本发明有效地避免因人工错误导致的左右病灶颠倒现象，进而保障了文字报告与图片的一致性、准确性，降低了不良医疗事故的发生。

Description

基于目标检测网络的甲状腺结节定位与超声报告纠错方法
技术领域
本发明涉及图像分析技术领域，特别是涉及一种基于目标检测网络的甲状腺结节定位与超声报告纠错方法。
背景技术
超声以其无创、便捷、经济、无辐射等优势被广泛运用于人体各组织器官的检查，目前国内临床工作繁重，大量的重复性检查工作使检查效率低下，超声诊断医师容易疲劳，对于对称性器官的诊断，文书报告中容易发生左右侧病变颠倒的人工性错误，甲状腺为人体对称性器官，分为左右两叶，甲状腺结节的检出高度依赖超声，这至少要求了超声诊断文书对于结节位置信息的准确性，才能保证后续正确的治疗，一旦结节左右侧位置信息错误，往往会引起健侧甲状腺被误切而患侧甲状腺仍存留所带来严重的医疗事故。
发明内容
本发明所要解决的技术问题是提供一种基于YOLOv3的甲状腺结节定位与超声报告纠错方法，有效地避免因人工错误导致的左右病灶颠倒现象，进而保障了文字报告与图片的一致性、准确性，降低了不良医疗事故的发生。
本发明解决其技术问题所采用的技术方案是：提供一种基于目标检测网络的甲状腺结节定位与超声报告纠错方法，包括以下步骤：
(1)建立深度卷积神经网络，所述深度卷积神经网络包括目标检测网络部分和分类器部分，所述目标检测网络部分对待分类图像进行检测得到气管与颈动脉的检测结果；所述分类器部分根据识别到的气管和颈动脉在图像中的相对位置对图像进行分类；
(2)基于输入框事件监听机制，将分类结果与超声报告中的关键字进行比对，如果比对结果不一致进行提示。
所述步骤(1)中的目标检测网络部分基于YOLOv3网络进行微调得到，骨架采用Darknet-53的网络结构，包含53个卷积层，所述卷积层使用1x1卷积接3x3卷积的残差组件；所述目标检测网络部分共输出三个特征图，第一个特征图下采样32倍，第二个特征图下采样16倍，第三个特征图下采样8倍；输入图像经过Darknet-53的网络结构后，再经过Yoloblock生成的特征图被当作两用，第一用为生成第一个特征图，第二用为经过1*1卷积层加上采样层，与Darknet-53网络的中间层输出结果进行拼接，产生第二个特征图；将第二个特征图经过1*1卷积层加上采样层，与Darknet-53网络的中间层输出结果进行拼接，产生第三个特征图，最后对三个特征图都进行3x3接1x1的卷积；所述三个特征图分别预测三种尺度大小的回归框，得到回归框的坐标、回归框的置信度、颈动脉以及气管的概率，所述YOLOv3网络的三个特征图的输出通道数微调为3*(4+1+2)。
所述步骤(1)中目标检测网络部分的损失函数包含平方损失函数以及交叉熵损失函数，使用所述交叉熵损失函数来衡量网络分类结果和实际图像的真实标签之间的偏倚程度。
所述步骤(1)中的分类器部分将图像中气管在右侧而颈动脉在其左侧的图像作为右侧结节图像，将图像中气管在左侧而颈动脉在其右侧的图像作为左侧结节图像进行分类。
所述步骤(2)具体为：从软件层面对输入的超声报告的输入框进行键盘输入的事件监听，对输入的关键字和分类结果进行实时比对，当比对结果不一致则通过更改输入文字的字体颜色进行提示。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明通过目标检测网络对输入的图像进行检测，将识别到的气管以及颈动脉在图中的相对位置进行分类，将分类结果和超声报告中的关键字文本进行比对纠错，有效避免人工性错误造成的左右位置混淆导致的误治，进而保证超声存储图片与诊断报告的一致性与准确性。
附图说明
图1是本发明的流程图；
图2是本发明中目标检测网络架构图；
图3是本发明中Darknet-53网络结构图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于目标检测网络的甲状腺结节定位与超声报告纠错方法，如图1所示，包括以下步骤：建立深度卷积神经网络，所述深度卷积神经网络包括目标检测网络部分和分类器部分，所述目标检测网络部分对待分类图像进行检测得到气管与颈动脉的检测结果；所述分类器部分根据识别到的气管和颈动脉在图像中的相对位置对图像进行分类；基于输入框事件监听机制，将分类结果与超声报告中的关键字进行比对，如果比对结果不一致进行提示。
本实施方式中的目标检测网络部分基于YOLOv3网络构成，如图2所示。网络的骨架采用Darknet-53的网络结构，包含53个卷积层，普遍使用1x1卷积接3x3卷积的残差组件，其结构如图3所示。
所述目标检测网络部分共输出三个特征图，第一个特征图下采样32倍，第二个特征图下采样16倍，第三个特征图下采样8倍。输入图像经过Darknet-53的网络结构后，再经过Yoloblock生成的特征图被当作两用，第一用为生成第一个特征图，第二用为经过1*1卷积层加上采样层，与Darknet-53网络的中间层输出结果进行拼接，产生第二个特征图；将第二个特征图经过1*1卷积层加上采样层，与Darknet-53网络的中间层输出结果进行拼接，产生第三个特征图，最后对三个特征图都进行3x3接1x1的卷积。
三个特征图的维度N1，N2，N3分别为13，26，52。三个特征图分别预测三种尺度大小的回归框，得到回归框的坐标(x,y,w,h)，回归框的置信度c，颈动脉以及气管的概率Pc1和Pc2。故YOLOv3的三个特征图的输出通道数应微调为3*(4+1+2)。
所述目标检测网络部分的损失函数包含平方损失函数以及交叉熵损失函数，以第一个特征图为例的损失函数的公式为：
Figure BDA0002453680180000031
其中，λbox、λobj、λnoobj、λclass分别表示回归框位置大小预测准确的损失权重、是否是物体的损失权重、是否是背景的损失权重以及回归框类别预测正确的损失权重，tx、ty、tw和th分别表示真实样本中心点与预测样本中心点的实际坐标偏移值，以及两者宽度和高度的实际尺度缩放值，而t'x、t'y、t'w和t'h则代表网络预测出来的中心坐标偏移值，以及尺度缩放值，pij(c)和p'ij(c)分别代表特征图的每个像素点属于类别c的实际概率，以及网络预测出来的概率。
使用带标注的甲状腺标准短轴切面超声图像对深度卷积神经网络进行训练；其中甲状腺标准短轴切面超声图像的标注包括气管与颈动脉，分类器部分进一步进行分类，将图像中气管在右侧而颈动脉在其左侧的图像作为右侧结节图像、将图像中气管在左侧而颈动脉在其右侧的图像作为左侧结节图像。利用已训练完成的目标检测网络对新输入的图像进行检测，将识别到的气管以及颈动脉在图中的相对位置进行分类。新输入图像将会被自动调整到分辨率为640x480，系统将记录分类结果。
本实施方式还从软件层面对输入的超声报告的输入框进行键盘输入的事件监听，对输入的关键字和分类结果进行实时比对，当比对结果不一致则通过更改输入文字的字体颜色进行提示，例如当两者不一致时，将关键字的字体自动改为红色以发出警示。
不难发现，本发明通过目标检测网络对输入的图像进行检测，将识别到的气管以及颈动脉在图中的相对位置进行分类，将分类结果和超声报告中的关键字文本进行比对纠错，有效避免人工性错误造成的左右位置混淆导致的误治，进而保证超声存储图片与诊断报告的一致性与准确性。

Claims (4)

1.一种基于目标检测网络的甲状腺结节定位与超声报告纠错方法，其特征在于，包括以下步骤：
(1)建立深度卷积神经网络，所述深度卷积神经网络包括目标检测网络部分和分类器部分，所述目标检测网络部分对待分类图像进行检测得到气管与颈动脉的检测结果；所述分类器部分根据识别到的气管和颈动脉在图像中的相对位置对图像进行分类；所述分类器部分将图像中气管在右侧而颈动脉在其左侧的图像作为右侧结节图像，将图像中气管在左侧而颈动脉在其右侧的图像作为左侧结节图像进行分类；
(2)基于输入框事件监听机制，将分类结果与超声报告中的关键字进行比对，如果比对结果不一致进行提示。
2.根据权利要求1所述的基于目标检测网络的甲状腺结节定位与超声报告纠错方法，其特征在于，所述步骤(1)中的目标检测网络部分基于YOLOv3网络进行微调得到，骨架采用Darknet-53的网络结构，包含53个卷积层，所述卷积层使用1x1卷积接3x3卷积的残差组件；所述目标检测网络部分共输出三个特征图，第一个特征图下采样32倍，第二个特征图下采样16倍，第三个特征图下采样8倍；输入图像经过Darknet-53的网络结构后，再经过Yoloblock生成的特征图被当作两用，第一用为生成第一个特征图，第二用为经过1*1卷积层加上采样层，与Darknet-53网络的中间层输出结果进行拼接，产生第二个特征图；将第二个特征图经过1*1卷积层加上采样层，与Darknet-53网络的中间层输出结果进行拼接，产生第三个特征图，最后对三个特征图都进行3x3接1x1的卷积；所述三个特征图分别预测三种尺度大小的回归框，得到回归框的坐标、回归框的置信度、颈动脉以及气管的概率，所述YOLOv3网络的三个特征图的输出通道数微调为3*(4+1+2)。
3.根据权利要求1所述的基于目标检测网络的甲状腺结节定位与超声报告纠错方法，其特征在于，所述步骤(1)中目标检测网络部分的损失函数包含平方损失函数以及交叉熵损失函数，使用所述交叉熵损失函数来衡量网络分类结果和实际图像的真实标签之间的偏倚程度。
4.根据权利要求1所述的基于目标检测网络的甲状腺结节定位与超声报告纠错方法，其特征在于，所述步骤(2)具体为：从软件层面对输入的超声报告的输入框进行键盘输入的事件监听，对输入的关键字和分类结果进行实时比对，当比对结果不一致则通过更改输入文字的字体颜色进行提示。
CN202010300125.1A 2020-04-16 2020-04-16 基于目标检测网络的甲状腺结节定位与超声报告纠错方法 Active CN111652838B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010300125.1A CN111652838B (zh) 2020-04-16 2020-04-16 基于目标检测网络的甲状腺结节定位与超声报告纠错方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010300125.1A CN111652838B (zh) 2020-04-16 2020-04-16 基于目标检测网络的甲状腺结节定位与超声报告纠错方法

Publications (2)

Publication Number Publication Date
CN111652838A CN111652838A (zh) 2020-09-11
CN111652838B true CN111652838B (zh) 2022-09-09

Family

ID=72342983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010300125.1A Active CN111652838B (zh) 2020-04-16 2020-04-16 基于目标检测网络的甲状腺结节定位与超声报告纠错方法

Country Status (1)

Country Link
CN (1) CN111652838B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329448B (zh) * 2020-11-13 2024-02-20 浙江卡易智慧医疗科技有限公司 一种书写报告智能纠错和注意信息智能提示方法
CN113130067B (zh) * 2021-04-01 2022-11-08 上海市第一人民医院 基于人工智能的超声检查的智能提醒方法
CN113095230A (zh) * 2021-04-14 2021-07-09 北京深睿博联科技有限责任公司 一种帮助盲人查找物品的方法和装置
CN113450325B (zh) * 2021-06-28 2022-09-09 什维新智医疗科技(上海)有限公司 一种甲状腺结节良恶性识别装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109241967A (zh) * 2018-09-04 2019-01-18 青岛大学附属医院 基于深度神经网络的甲状腺超声图像自动识别系统、计算机设备、存储介质
CN109447940A (zh) * 2018-08-28 2019-03-08 天津医科大学肿瘤医院 卷积神经网络训练方法、超声图像识别定位方法及系统
CN110490892A (zh) * 2019-07-03 2019-11-22 中山大学 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447940A (zh) * 2018-08-28 2019-03-08 天津医科大学肿瘤医院 卷积神经网络训练方法、超声图像识别定位方法及系统
CN109241967A (zh) * 2018-09-04 2019-01-18 青岛大学附属医院 基于深度神经网络的甲状腺超声图像自动识别系统、计算机设备、存储介质
CN110490892A (zh) * 2019-07-03 2019-11-22 中山大学 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"A review of thyroid gland segmentation and thyroid nodule segmentation methods for medical ultrasound images";Junying Chen etc.;《Computer Methods and Programs in Biomedicine》;20200331;论文第3.2节 *
"YOLOv3: An Incremental Improvement";Joseph Redmon etc.;《arXiv:1804.02767v1[cs.CV]》;20180408;论文第2-3节 *

Also Published As

Publication number Publication date
CN111652838A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN111652838B (zh) 基于目标检测网络的甲状腺结节定位与超声报告纠错方法
CN110059697B (zh) 一种基于深度学习的肺结节自动分割方法
CN109754387A (zh) 医学图像病灶检测定位方法、装置、电子设备及存储介质
CN112884760A (zh) 近水桥梁多类型病害智能检测方法与无人船设备
CN113674253B (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
Wu et al. Online empirical evaluation of tracking algorithms
CN110569703B (zh) 计算机执行的从图片中识别损伤的方法及装置
US8396531B2 (en) System and method for quasi-real-time ventricular measurements from M-mode echocardiogram
Li et al. Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images
CN111179227A (zh) 基于辅助诊断和主观美学的乳腺超声图像质量评价方法
CN114092439A (zh) 一种多器官实例分割方法及系统
CN116580394A (zh) 一种基于多尺度融合和可变形自注意力的白细胞检测方法
WO2020215485A1 (zh) 胎儿生长参数测量方法、系统及超声设备
CN114565572A (zh) 一种基于图像序列分析的脑出血ct图像分类方法
CN115018865A (zh) 一种基于迁移学习的医学图像分割方法
CN115512110A (zh) 一种涉及跨模态注意力机制的医学图像肿瘤分割方法
Qi et al. A two-step computer vision-based framework for bolt loosening detection and its implementation on a smartphone application
Shim et al. Stereo-vision-based 3D concrete crack detection using adversarial learning with balanced ensemble discriminator networks
Rao et al. Attention recurrent residual U-Net for predicting pixel-level crack widths in concrete surfaces
Dai et al. More reliable AI solution: Breast ultrasound diagnosis using multi-AI combination
CN116416221A (zh) 一种超声图像分析方法
CN114748099B (zh) 偏移检测方法、装置、设备以及计算机可读存储介质
CN116091522A (zh) 医学图像分割方法、装置、设备及可读存储介质
CN113469942B (zh) 一种ct图像病变检测方法
CN109740618B (zh) 基于fhog特征的试卷分数自动统计方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant