CN109411080B - 一种基于超声数据的人机协同结节风险评级系统 - Google Patents

一种基于超声数据的人机协同结节风险评级系统 Download PDF

Info

Publication number
CN109411080B
CN109411080B CN201811086994.8A CN201811086994A CN109411080B CN 109411080 B CN109411080 B CN 109411080B CN 201811086994 A CN201811086994 A CN 201811086994A CN 109411080 B CN109411080 B CN 109411080B
Authority
CN
China
Prior art keywords
nodule
region
module
data
evaluated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811086994.8A
Other languages
English (en)
Other versions
CN109411080A (zh
Inventor
张诗杰
杜华睿
张珏
金壮
朱亚琼
谢芳
张明博
罗渝昆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201811086994.8A priority Critical patent/CN109411080B/zh
Publication of CN109411080A publication Critical patent/CN109411080A/zh
Application granted granted Critical
Publication of CN109411080B publication Critical patent/CN109411080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开一种基于超声数据的人机协同结节风险评级系统，涉及信息技术领域。1)结节区域提取模块2)结节特征提取模块3)交互式特征修改模块4)综合评价模块。结节区域提取模块，对超声数据进行筛选，提取出待评测的结节区域数据，记录待评测区域的区域特征；结节特征提取模块对结节区域数据进行临床特征的定向提取，交互式特征修改模块接受用户对临床特征提取结果进行删减和修改，综合评价模块实时读取临床特征基于待评测区域的区域特征和临床特征给出结节风险评分和评级。

Description

一种基于超声数据的人机协同结节风险评级系统
技术领域
本发明属于信息技术领域，特别涉及一种基于超声数据的人机协同结节风险评级系统，可用于超声数据中结节的定量评估。
背景技术
超声图像是许多结节，如甲状腺的重要评价依据。目前，各类结节的超声图像评价均依靠超声医师通过人眼凭借经验给出主观判断，重复性和准确性严重依赖于经验。尽管有一些半定量的评价指标，但仍具有较强的主观性。医师在相互交流、学习中，经常使用一些主观叙述，容易产生误解。因此，临床迫切需要一种高效稳定，重复性好的定量评价工具。
现行的相近方案主要有以下：
中国专利发明106780448A，该方案提出了一种甲状腺结节良恶性分类方法。这种甲状腺结节良恶性分类方法包括一套基于迁移学习的特征融合模型。其特点是通过自然图像训练的神经网络提取高层特征，同时用传统方法提取底层特征，将上述两种特征融合后由支持向量机进行良恶性分类。可提供一种综合了传统计算机特征和深度学习特征的甲状腺结节良恶性分类方法。该方案的优点是：模型综合了现有两大类计算机特征，识别能力较强。但该方案的缺点是：无论是传统特征还是深度学习特征，都难以被医师所理解，识别过程无法经过人工审核，安全性不足。
发明内容
本发明的目的在于针对上述已有技术的不足，提供一种基于超声数据的人机协同结节风险评级系统，特征提取符合临床规范，评价过程由医师进行人工监管，健壮性高，敏感性好，可用于大规模临床使用。
为了实现上述目的，本发明的一种基于超声数据的人机协同结节风险评级系统，包括：
1)结节区域提取模块(1)，对超声数据进行筛选，提取出待评测的结节区域数据，记录待评测区域的区域特征；
2)结节特征提取模块(2)，读取结节区域提取模块(1)提取的待评测结节区域数据，并基于人工神经网络对待评测的结节区域数据进行临床特征的定向提取；
3)交互式特征修改模块(3)，读取结节特征提取模块(2)提取的临床特征，显示给用户，将临床特征实时发送给综合评价模块(4)，接收综合评价模块(4)发送的结节风险评分和评级结果并显示给用户，接受用户对临床特征提取结果进行删减和修改，重新发送修改后的临床特征给综合评价模块(4)；
4)综合评价模块(4)，读取结节区域提取模块(1)记录的待评测区域的区域特征，并实时读取交互式特征修改模块(3)发送的临床特征，基于待评测区域的区域特征和临床特征给出结节风险评分和评级，发送给交互式特征修改模块显示。
作为优选，所述的基于超声数据的交互式结节风险评级系统，其特征在于，所述的结节区域提取模块(1)基于给定的初始感兴趣区域，该初始感兴趣区域由人工给定或结节区域提取模块(1)根据超声数据自动提取，计算初始感兴趣区域的纵横比，取出区域超声数据，并通过主动轮廓模型对区域内的结节边缘进行精确提取，将边缘信息作为独立通道加入到区域超声数据中，作为待评测的结节区域数据；计算轮廓内部平均回声强度与轮廓外部平均回声强度的比值作为回声比，与区域纵横比合起来作为待评测区域的区域特征进行记录。
作为优选，所述的基于超声数据的交互式结节风险评级系统，其特征在于，所述的结节区域提取模块(1)接收的超声数据包括B型超声图像、弹性超声数据、多普勒超声数据、造影超声数据和超高分辨率超声数据。
作为优选，所述的基于超声数据的交互式结节风险评级系统，其特征在于，所述的结节特征提取模块(2)通过多层人工神经网络，对结节临床特征进行多任务提取，其中，临床特征包括结节成分、结节回声灶、结节边界模式；人工神经网络在浅层部分使用共用的特征提取层，在深层部分使用各特征独立的特征抽象与分类网络。
作为优选，所述的基于超声数据的交互式结节风险评级系统，其特征在于，所述的综合评价模块(4)基于临床特征和待评测区域的区域特征，对结节进行风险评分，将评分转化为2-7级的结节风险级别，输出给用户做结节风险参考。
本发明具有如下优点：
1)本发明针对病灶临床特征对人工神经网络进行多任务约束，识别中间结果可由人工进行监督和修正。
2)本发明基于深度神经网络进行定量评价，健壮性高，错误率少，具有动态学习能力，能够适应变化的疾病大环境。
3)本发明基于多任务学习，大幅降低了神经网络的训练数据需求。
附图说明
图1为本发明的整体结构示意图；
图2为本发明的结节特征提取模块结构示意图；
具体实施方式
参照图1，本发明的一种基于超声数据的人机协同结节风险评级系统，包括结节区域提取模块(1)，结节特征提取模块(2)，交互式特征修改模块(3)，综合评价模块(4)。
其中，结节区域提取模块(1)与超声采集仪器相接，从设备上读取DICOM超声数据，接收的超声数据包括B型超声图像、弹性超声数据、多普勒超声数据、造影超声数据和超高分辨率超声数据。通过目标检测神经网络对结节区域进行预测，作为初始感兴趣区域。计算初始感兴趣区域的纵横比。取出初始感兴趣区域内的超声数据，通过主动轮廓模型对初始感兴趣区域内的超声数据中结节边缘进行精确提取，计算结节边缘内部平均回声强度与边缘外部平均回声强度的比值作为回声比，与区域纵横比合起来作为待评测区域的区域特征进行记录。将结节边缘信息和初始感兴趣区域内的超声数据合并作为待评测的结节区域数据。结节特征提取模块(2)读取结节区域提取模块(1)提取的待评测结节区域数据，由多层人工神经网络进行结节成分、结节回声灶、结节边界特征的提取，这些特征包括但不限于结节的囊实性、边缘是否模糊、是否含有微小回声灶、粗大钙化、彗星尾等，发送给交互式特征修改模块(3)。交互式特征修改模块(3)，读取结节特征提取模块(2)提取的临床特征，显示给用户，同时将临床特征实时发送给综合评价模块(4)，综合评价模块(4)读取结节区域提取模块(1)记录的待评测区域的区域特征，利用包括但不限于支撑向量机、人工神经网络、决策树等方法综合待评测区域的区域特征和临床特征，对结节进行评分，将评分转化为2-7级的结节风险级别发送回交互式特征修改模块(3)进行显示。用户根据实际情况对评价结果进行监督，偏离较严重时，修改临床特征的识别结果，交互式特征修改模块(3)重新发送临床特征给综合评价模块(4)，综合评价模块(4)给出结节风险评分和评级结果后交互式特征修改模块(3)进行更新和显示。
参照图2，所述的结节特征提取模块(2)通过多层人工神经网络，对结节临床特征进行多任务提取，其中，临床特征包括结节成分、结节回声灶、结节边界模式；人工神经网络在浅层部分使用共用的特征提取层，在深层部分使用各特征独立的特征提取与分类网络。

Claims (3)

1.一种基于超声数据的人机协同结节风险评级系统，包括以下模块：
1）结节区域提取模块（1），对超声数据进行筛选，提取出待评测的结节区域数据，记录待评测区域的区域特征；
2）结节特征提取模块（2），读取结节区域提取模块（1）提取的待评测结节区域数据，并基于人工神经网络对待评测的结节区域数据进行临床特征的定向提取；
3）交互式特征修改模块（3），读取结节特征提取模块（2）提取的临床特征，显示给用户，将临床特征实时发送给综合评价模块（4），接收综合评价模块（4）发送的结节风险评分和评级结果并显示给用户，接受用户对临床特征提取结果进行删减和修改，重新发送修改后的临床特征给综合评价模块（4）；
4）综合评价模块（4），读取结节区域提取模块（1）记录的待评测区域的区域特征，并实时读取交互式特征修改模块（3）发送的临床特征，基于待评测区域的区域特征和临床特征给出结节风险评分和评级，发送给交互式特征修改模块显示；
其特征在于，所述的结节区域提取模块（1）基于给定的初始感兴趣区域，该初始感兴趣区域由人工给定或结节区域提取模块（1）根据超声数据自动提取，计算初始感兴趣区域的纵横比，取出区域超声数据，并通过主动轮廓模型对区域内的结节边缘进行精确提取，将边缘信息作为独立通道加入到区域超声数据中，作为待评测的结节区域数据；计算轮廓内部平均回声强度与轮廓外部平均回声强度的比值作为回声比，与区域纵横比合起来作为待评测区域的区域特征进行记录；结节特征提取模块（2）通过多层人工神经网络，对结节临床特征进行多任务提取，其中，临床特征包括结节成分、结节回声灶、结节边界模式；人工神经网络在浅层部分使用共用的特征提取层，在深层部分使用各特征独立的特征抽象与分类网络。
2. 根据权利要求1所述的基于超声数据的人机协同结节风险评级系统，其特征在于，所述的结节区域提取模块（1）接收的超声数据包括B型超声图像 、弹性超声数据、多普勒超声数据、造影超声数据和超高分辨率超声数据。
3.根据权利要求1所述的基于超声数据的人机协同结节风险评级系统，其特征在于，所述的综合评价模块（4）基于临床特征和待评测区域的区域特征，对结节进行风险评分，将评分转化为2-7级的结节风险级别，输出给用户做结节风险参考。
CN201811086994.8A 2018-09-18 2018-09-18 一种基于超声数据的人机协同结节风险评级系统 Active CN109411080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811086994.8A CN109411080B (zh) 2018-09-18 2018-09-18 一种基于超声数据的人机协同结节风险评级系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811086994.8A CN109411080B (zh) 2018-09-18 2018-09-18 一种基于超声数据的人机协同结节风险评级系统

Publications (2)

Publication Number Publication Date
CN109411080A CN109411080A (zh) 2019-03-01
CN109411080B true CN109411080B (zh) 2022-05-20

Family

ID=65464954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811086994.8A Active CN109411080B (zh) 2018-09-18 2018-09-18 一种基于超声数据的人机协同结节风险评级系统

Country Status (1)

Country Link
CN (1) CN109411080B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903297B (zh) * 2019-03-08 2020-12-29 数坤（北京）网络科技有限公司 基于分类模型的冠脉分割方法及系统
CN113299391B (zh) * 2021-05-25 2023-11-03 李玉宏 远程甲状腺结节超声影像的风险评估方法
CN114678132B (zh) * 2022-02-22 2023-07-18 北京颐圣智能科技有限公司 一种基于临床行为反馈的自学习医疗风控系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107280697A (zh) * 2017-05-15 2017-10-24 北京市计算中心 基于深度学习和数据融合的肺结节分级判定方法和系统
CN107665736A (zh) * 2017-09-30 2018-02-06 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107280697A (zh) * 2017-05-15 2017-10-24 北京市计算中心 基于深度学习和数据融合的肺结节分级判定方法和系统
CN107665736A (zh) * 2017-09-30 2018-02-06 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置

Also Published As

Publication number Publication date
CN109411080A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
CN109411080B (zh) 一种基于超声数据的人机协同结节风险评级系统
CN108464840B (zh) 一种乳腺肿块自动检测方法及系统
CN107168527B (zh) 基于区域卷积神经网络的第一视角手势识别与交互方法
CN107730497B (zh) 一种基于深度迁移学习的血管内斑块属性分析方法
CN109102491A (zh) 一种胃镜图像自动采集系统及方法
CN106204555B (zh) 一种结合Gbvs模型和相位一致性的视盘定位方法
CN110490892A (zh) 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法
CN111223553A (zh) 一种两阶段深度迁移学习中医舌诊模型
CN102395320B (zh) 医疗设备以及医疗设备的控制方法
CN105809144A (zh) 一种采用动作切分的手势识别系统和方法
CN111767952B (zh) 一种可解释的肺结节良恶性分类方法
CN109272048A (zh) 一种基于深度卷积神经网络的模式识别方法
CN113662664B (zh) 一种基于仪器追踪的外科手术质量客观自动化评估方法
CN111402216B (zh) 基于深度学习的三维碎骨分割方法和装置
CN111584046A (zh) 一种医学影像数据ai处理方法
Wang et al. Cataract detection based on ocular B-ultrasound images by collaborative monitoring deep learning
Osma-Ruiz et al. Segmentation of the glottal space from laryngeal images using the watershed transform
CN113946217B (zh) 一种肠镜操作技能智能辅助评估系统
CN113485555B (zh) 医学影像阅片方法、电子设备和存储介质
Michiels et al. Automated MSCT analysis for planning left atrial appendage occlusion using artificial intelligence
WO2024037358A1 (zh) 一种穿支血管自动识别和定位方法、设备及存储介质
CN116779093A (zh) 一种医学影像结构化报告的生成方法、装置和计算机设备
CN116363311A (zh) 冠脉Leiden分数计算及风险分级的方法和系统
CN111325282A (zh) 适应多机型的乳腺x射线影像识别方法和装置
CN109559317A (zh) 一种基于ct影像的肺结节分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant