CN111652837A - 基于ai的甲状腺结节左右叶定位与超声报告纠错方法 - Google Patents

基于ai的甲状腺结节左右叶定位与超声报告纠错方法 Download PDF

Info

Publication number
CN111652837A
CN111652837A CN202010299732.0A CN202010299732A CN111652837A CN 111652837 A CN111652837 A CN 111652837A CN 202010299732 A CN202010299732 A CN 202010299732A CN 111652837 A CN111652837 A CN 111652837A
Authority
CN
China
Prior art keywords
nodule
thyroid
neural network
ultrasonic
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010299732.0A
Other languages
English (en)
Other versions
CN111652837B (zh
Inventor
张航
任宇翔
赵佳琦
章建全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Changzheng Hospital
Original Assignee
Shanghai Changzheng Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Changzheng Hospital filed Critical Shanghai Changzheng Hospital
Priority to CN202010299732.0A priority Critical patent/CN111652837B/zh
Publication of CN111652837A publication Critical patent/CN111652837A/zh
Application granted granted Critical
Publication of CN111652837B publication Critical patent/CN111652837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于AI的甲状腺结节左右叶定位与超声报告纠错方法，包括以下步骤：建立深度卷积神经网络，通过所述深度卷积神经网络提取甲状腺标准短轴切面超声图像的特征并进行分类；基于输入框事件监听机制，将分类结果与超声报告中的关键字进行比对，如果比对结果不一致进行提示。本发明有效地避免因人工错误导致的左右病灶颠倒现象，进而保障了文字报告与图片的一致性、准确性，降低了不良医疗事故的发生。

Description

基于AI的甲状腺结节左右叶定位与超声报告纠错方法
技术领域
本发明涉及图像分析技术领域，特别是涉及一种基于AI的甲状腺结节左右叶定位与超声报告纠错方法。
背景技术
超声以其无创、便捷、经济、无辐射等优势被广泛运用于人体各组织器官的检查，目前国内临床工作繁重，大量的重复性检查工作使检查效率低下，超声诊断医师容易疲劳，对于对称性器官的诊断，文书报告中容易发生左右侧病变颠倒的人工性错误，甲状腺为人体对称性器官，分为左右两叶，甲状腺结节的检出高度依赖超声，这至少要求了超声诊断文书对于结节位置信息的准确性，才能保证后续正确的治疗，一旦结节左右侧位置信息错误，往往会引起健侧甲状腺被误切而患侧甲状腺仍存留所带来严重的医疗事故。
发明内容
本发明所要解决的技术问题是提供一种基于AI的甲状腺结节左右叶定位与超声报告纠错方法，有效地避免因人工错误导致的左右病灶颠倒现象，进而保障了文字报告与图片的一致性、准确性，降低了不良医疗事故的发生。
本发明解决其技术问题所采用的技术方案是：提供一种基于AI的甲状腺结节左右叶定位与超声报告纠错方法，包括以下步骤：
(1)建立深度卷积神经网络，通过所述深度卷积神经网络提取甲状腺标准短轴切面超声图像的特征并进行分类；
(2)基于输入框事件监听机制，将分类结果与超声报告中的关键字进行比对，如果比对结果不一致进行提示。
所述步骤(1)中建立的深度卷积神经网络包括特征提取器和分类器，所述特征提取器包括至少两组交替的卷积层和池化层，所述卷积层采用3*3卷积核以步长为1进行卷积并连接Relu激活函数增加非线性特征，所述池化层采用最大池化；所述分类器包括全连接层和softmax层。
所述步骤(1)中建立的深度卷积神经网络采用交叉熵损失函数来衡量网络分类结果和实际图像的真实标签之间偏倚程度，所述交叉熵损失函数为
Figure BDA0002453526810000011
其中，T表示用于训练的已标记甲状腺超声图像的集合；L表示标签种类的集合，
Figure BDA0002453526810000021
表示标签j是否是图像ti的正确分类，
Figure BDA0002453526810000022
表示判断图像ti分类为标签j的概率。
所述步骤(1)中建立的深度卷积神经网络利用已标记甲状腺标准短轴切面超声图像进行训练，其中，甲状腺标准短轴切面超声图像的标记包括无、左和右，分别表示该张图像中不存在结节、气管在结节右侧而颈动脉在其左侧、气管在结节左侧而颈动脉在其右侧。
所述步骤(2)具体为：从软件层面对输入的超声报告的输入框进行键盘输入的事件监听，对输入的关键字和分类结果进行实时比对，当比对结果不一致则通过更改输入文字的字体颜色进行提示。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明将人工智能技术应用到超声图像的识别定位，实现了甲状腺超声图像上结节位置自动定位，根据定位结果和超声报告中的关键字文本进行比对纠错，有效避免人工性错误造成的左右位置混淆导致的误治，进而保证超声存储图片与诊断报告的一致性与准确性。
附图说明
图1是本发明的流程图；
图2是本发明中采用的深度卷积神经网络架构图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于AI的甲状腺结节左右叶定位与超声报告纠错方法，如图1所示，包括以下步骤：建立深度卷积神经网络，通过所述深度卷积神经网络提取甲状腺标准短轴切面超声图像的特征并进行分类；基于输入框事件监听机制，将分类结果与超声报告中的关键字进行比对，如果比对结果不一致进行提示。
本实施方式中建立的深度卷积神经网络如图2所示，包括特征提取器和分类器。其中，特征提取器包括至少两组交替的卷积层和池化层，卷积层采用3*3卷积核以步长为1进行卷积并连接Relu激活函数增加非线性特征，所述池化层采用最大池化，通过卷积层和池化层的堆叠加深对特征进行提取并压缩。分类器包括全连接层和softmax层，输出图片属于各类的概率，依据概率确定分类结果。
该深度卷积神经网络利用已标记甲状腺标准短轴切面超声图像进行训练；其中，甲状腺标准短轴切面超声图像的标记包括无、左、右，分别表示该张图像中不存在结节、气管在结节右侧而颈动脉在其左侧、气管在结节左侧而颈动脉在其右侧。用于特征提取的卷积层、池化层和用于分类的全连接层、softmax层将会以端对端的方式联合训练完成。
将新获取的图像数据输入到训练完成的深度卷积神经网络，卷积神经网络基于训练得到的参数对输入图像进行特征提取并执行分类。依据分类结果系统记录结节相对位置或不存在结节，如右侧甲状腺结节，气管应在结节左侧，颈动脉在其右侧，如左侧甲状腺结节，气管应在结节右侧，颈动脉在其左侧。
具体来说，输入图像的分辨率统一为256*256，训练集大小为N张图像。训练集经过预处理使得标签为左、右、无的训练样本总数基本平衡(各占总数1/3)。训练时输入为N*256*256的张量，通过端对端反向传播进行参数训练，训练目标为最小化交叉熵损失函数来缩小网络分类结果和实际图像的真实标签之间偏倚程度。其中，交叉熵损失函数为
Figure BDA0002453526810000031
其中，T表示用于训练的已标记甲状腺超声图像的集合；L表示标签种类的集合，
Figure BDA0002453526810000033
表示标签j是否是图像ti的正确分类，
Figure BDA0002453526810000032
表示判断图像ti分类为标签j的概率。出于加速模型训练效率的考虑，模型初始参数设为在Relu激活函数上通常表现优异的kaiming初始化，利用Adam优化方法进行梯度下降更新至模型收敛。利用已训练完成的深度卷积神经网络可以对新输入图像进行分类。新输入图像需满足分辨率同样为256*256。系统将记录分类结果。
本实施方式还从软件层面对输入的超声报告的输入框进行键盘输入的事件监听，对输入的关键字和分类结果进行实时比对，当比对结果不一致则通过更改输入文字的字体颜色进行提示，例如当两者不一致时，将关键字的字体自动改为红色以发出警示。
不难发现，本发明将人工智能技术应用到超声图像的识别定位，实现了甲状腺超声图像上结节位置自动定位，根据定位结果和超声报告中的关键字文本进行比对纠错，有效避免人工性错误造成的左右位置混淆导致的误治，进而保证超声存储图片与诊断报告的一致性与准确性。

Claims (5)

1.一种基于AI的甲状腺结节左右叶定位与超声报告纠错方法，其特征在于，包括以下步骤：
(1)建立深度卷积神经网络，通过所述深度卷积神经网络提取甲状腺标准短轴切面超声图像的特征并进行分类；
(2)基于输入框事件监听机制，将分类结果与超声报告中的关键字进行比对，如果比对结果不一致进行提示。
2.根据权利要求1所述的基于AI的甲状腺结节左右叶定位与超声报告纠错方法，其特征在于，所述步骤(1)中建立的深度卷积神经网络包括特征提取器和分类器，所述特征提取器包括至少两组交替的卷积层和池化层，所述卷积层采用3*3卷积核以步长为1进行卷积并连接Relu激活函数增加非线性特征，所述池化层采用最大池化；所述分类器包括全连接层和softmax层。
3.根据权利要求1所述的基于AI的甲状腺结节左右叶定位与超声报告纠错方法，其特征在于，所述步骤(1)中建立的深度卷积神经网络采用交叉熵损失函数来衡量网络分类结果和实际图像的真实标签之间偏倚程度，所述交叉熵损失函数为
Figure FDA0002453526800000011
其中，T表示用于训练的已标记甲状腺超声图像的集合；L表示标签种类的集合，
Figure FDA0002453526800000012
表示标签j是否是图像ti的正确分类，
Figure FDA0002453526800000013
表示判断图像ti分类为标签j的概率。
4.根据权利要求1所述的基于AI的甲状腺结节左右叶定位与超声报告纠错方法，其特征在于，所述步骤(1)中建立的深度卷积神经网络利用已标记甲状腺标准短轴切面超声图像进行训练，其中，甲状腺标准短轴切面超声图像的标记包括无、左和右，分别表示该张图像中不存在结节、气管在结节右侧而颈动脉在其左侧、气管在结节左侧而颈动脉在其右侧。
5.根据权利要求1所述的基于AI的甲状腺结节左右叶定位与超声报告纠错方法，其特征在于，所述步骤(2)具体为：从软件层面对输入的超声报告的输入框进行键盘输入的事件监听，对输入的关键字和分类结果进行实时比对，当比对结果不一致则通过更改输入文字的字体颜色进行提示。
CN202010299732.0A 2020-04-16 2020-04-16 基于ai的甲状腺结节左右叶定位与超声报告纠错方法 Active CN111652837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010299732.0A CN111652837B (zh) 2020-04-16 2020-04-16 基于ai的甲状腺结节左右叶定位与超声报告纠错方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010299732.0A CN111652837B (zh) 2020-04-16 2020-04-16 基于ai的甲状腺结节左右叶定位与超声报告纠错方法

Publications (2)

Publication Number Publication Date
CN111652837A true CN111652837A (zh) 2020-09-11
CN111652837B CN111652837B (zh) 2022-09-09

Family

ID=72348145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010299732.0A Active CN111652837B (zh) 2020-04-16 2020-04-16 基于ai的甲状腺结节左右叶定位与超声报告纠错方法

Country Status (1)

Country Link
CN (1) CN111652837B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329448A (zh) * 2020-11-13 2021-02-05 浙江卡易智慧医疗科技有限公司 一种书写报告智能纠错和注意信息智能提示方法
CN113130067A (zh) * 2021-04-01 2021-07-16 上海市第一人民医院 基于人工智能的超声检查的智能提醒方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230289A (zh) * 2016-12-22 2018-06-29 上海哲康医学科技有限公司 基于x线体检正位胸片的计算机辅助诊断系统和方法
CN108962355A (zh) * 2018-07-06 2018-12-07 腾讯科技（深圳）有限公司 一种影像的关联显示方法、装置及服务设备、存储介质
CN109447940A (zh) * 2018-08-28 2019-03-08 天津医科大学肿瘤医院 卷积神经网络训练方法、超声图像识别定位方法及系统
CN109872822A (zh) * 2019-01-18 2019-06-11 深圳壹账通智能科技有限公司 医疗协助方法、装置、设备及介质
CN110060235A (zh) * 2019-03-27 2019-07-26 天津大学 一种基于深度学习的甲状腺结节超声图像分割方法
CN110909780A (zh) * 2019-11-14 2020-03-24 腾讯科技（深圳）有限公司 一种图像识别模型训练和图像识别方法、装置及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230289A (zh) * 2016-12-22 2018-06-29 上海哲康医学科技有限公司 基于x线体检正位胸片的计算机辅助诊断系统和方法
CN108962355A (zh) * 2018-07-06 2018-12-07 腾讯科技（深圳）有限公司 一种影像的关联显示方法、装置及服务设备、存储介质
CN109447940A (zh) * 2018-08-28 2019-03-08 天津医科大学肿瘤医院 卷积神经网络训练方法、超声图像识别定位方法及系统
CN109872822A (zh) * 2019-01-18 2019-06-11 深圳壹账通智能科技有限公司 医疗协助方法、装置、设备及介质
CN110060235A (zh) * 2019-03-27 2019-07-26 天津大学 一种基于深度学习的甲状腺结节超声图像分割方法
CN110909780A (zh) * 2019-11-14 2020-03-24 腾讯科技（深圳）有限公司 一种图像识别模型训练和图像识别方法、装置及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DAT TIEN NGUYEN ET AL.: ""Ultrasound Image-Based Diagnoisis of Malignant Thyroid Module Using Artifical Intelligence"", 《MDIP》 *
张峰 等: ""甲状腺结节的影像学研究进展"", 《中国中西医结合影像学杂志》 *
徐令仪: ""基于磁共振波谱的中枢神经疾病知识库的设计和应用"", 《中国优秀博硕士学位论文全文数据库（硕士） 医药卫生科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329448A (zh) * 2020-11-13 2021-02-05 浙江卡易智慧医疗科技有限公司 一种书写报告智能纠错和注意信息智能提示方法
CN112329448B (zh) * 2020-11-13 2024-02-20 浙江卡易智慧医疗科技有限公司 一种书写报告智能纠错和注意信息智能提示方法
CN113130067A (zh) * 2021-04-01 2021-07-16 上海市第一人民医院 基于人工智能的超声检查的智能提醒方法
CN113130067B (zh) * 2021-04-01 2022-11-08 上海市第一人民医院 基于人工智能的超声检查的智能提醒方法

Also Published As

Publication number Publication date
CN111652837B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
EP3770850B1 (en) Medical image identifying method, model training method, and computer device
CN108573490B (zh) 一种针对肿瘤影像数据的智能读片系统
US10930386B2 (en) Automated normality scoring of echocardiograms
CN110059697B (zh) 一种基于深度学习的肺结节自动分割方法
WO2019200747A1 (zh) 分割股骨近端的方法、装置、计算机设备和存储介质
WO2022188489A1 (zh) 多模态多病种长尾分布眼科疾病分类模型训练方法和装置
CN111882560B (zh) 一种基于加权全卷积神经网络的肺实质ct图像分割方法
CN110232383A (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
CN111951246B (zh) 一种基于深度学习的多方位x光胸片肺炎诊断方法
CN110909618B (zh) 一种宠物身份的识别方法及装置
CN113223005B (zh) 一种甲状腺结节自动分割及分级的智能系统
CN112614133B (zh) 一种无锚点框的三维肺结节检测模型训练方法及装置
CN109785311B (zh) 一种疾病诊断装置、电子设备及存储介质
CN111652837B (zh) 基于ai的甲状腺结节左右叶定位与超声报告纠错方法
CN108549912A (zh) 一种基于机器学习的医学图像肺结节检测方法
CN111353978B (zh) 一种识别心脏解剖学结构的方法及装置
CN115881265B (zh) 电子病历智能病案质控方法、系统、设备及存储介质
CN112215845B (zh) 基于多神经网络的医学影像信息识别方法、装置、系统
CN116245828A (zh) 一种融合医学领域知识的胸部x线质量评价方法
CN109886320B (zh) 一种人体股骨x光片智能识读方法及系统
Crockett et al. A Stress Test of Artificial Intelligence: Can Deep Learning Models Trained From Formal Echocardiography Accurately Interpret Point‐of‐Care Ultrasound?
CN112561894B (zh) 针对ct图像的电子病历智能生成方法及系统
CN114332858A (zh) 病灶检测方法及装置、病灶检测模型获取方法
US10910098B2 (en) Automatic summarization of medical imaging studies
Zhang et al. Ultrasonic Image's Annotation Removal: A Self-supervised Noise2Noise Approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant