CN111612752A - 基于Faster-RCNN的超声图像甲状腺结节智能检测系统 - Google Patents

基于Faster-RCNN的超声图像甲状腺结节智能检测系统 Download PDF

Info

Publication number
CN111612752A
CN111612752A CN202010411428.0A CN202010411428A CN111612752A CN 111612752 A CN111612752 A CN 111612752A CN 202010411428 A CN202010411428 A CN 202010411428A CN 111612752 A CN111612752 A CN 111612752A
Authority
CN
China
Prior art keywords
image
nodule
unit
ultrasonic image
ultrasonic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010411428.0A
Other languages
English (en)
Inventor
刘云
缪姝妹
王忠民
张小亮
盛戎蓉
荆芒
凡豪志
张昕
崔岱
景慎旗
单涛
郭建军
徐挺玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Province Hospital First Affiliated Hospital With Nanjing Medical University
Original Assignee
Jiangsu Province Hospital First Affiliated Hospital With Nanjing Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Province Hospital First Affiliated Hospital With Nanjing Medical University filed Critical Jiangsu Province Hospital First Affiliated Hospital With Nanjing Medical University
Priority to CN202010411428.0A priority Critical patent/CN111612752A/zh
Publication of CN111612752A publication Critical patent/CN111612752A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种基于Faster‑RCNN的超声图像甲状腺结节智能检测系统。采用的Faster‑RCNN模型在进行目标检测时，与区域卷积神经网络RCNN相比，提升了速度，优化了存储空间，实现了结节良恶性的快速自动化检测，并在模型构建中对特征进行优化，在深度学习训练前计算超声诊断标准ACR TI‑RADS中的关键特征，寻找影响临床诊断的关键图像特征因子，并将其加入到卷积神经网络特征层中进行改进，构建一个新的鉴别模型，从而提高预测结果的准确性。

Description

基于Faster-RCNN的超声图像甲状腺结节智能检测系统
技术领域
本发明属于计算机图像处理领域，特别涉及一种是利用智能检测技术识别甲状腺超声结节良恶性的识别系统。
背景技术
甲状腺肿瘤是头颈部的常见和多发肿瘤，甲状腺恶性肿瘤占收治恶性肿瘤的百分之十以上，远高于其他头颈部肿瘤。近些年来，甲状腺癌的发病率逐年增高，受到了临床人员和研究人员的广泛关注。对甲状腺结节的早期诊断和治疗能够有效的预防甲状腺癌，某些甲状腺结节的癌变率较高，早诊断、早手术可以避免更严重的后果。国内医疗资源紧张，医务人员每天需要面对大量的患者，对甲状腺结节进行实时诊断，医生诊疗任务繁重，如何从患者的临床资料中挖掘鉴定结节良恶性的信息，从大量的甲状腺结节中鉴别出恶性结节，对于临床来说始终非常重要且富有挑战性。
甲状腺结节B超图像是进行良恶性结节诊断的一项重大依据，分析甲状腺B超图像，研究甲状腺结节良恶性在超声图像上的不同特点，识别出甲状腺结节及其良恶性分类，可以避免因临床数据图像数据繁多出现视觉疲劳，或因为临床经验不足发生漏诊、误诊等情况发生，缩短诊断所需的时间。
随着人工智能技术快速发展，一些研究人员利用人工智能技术在甲状腺结节自动方面展开探索实践，根据甲状腺疾病的特点，将先进的计算机技术应用于实际的诊断过程中，利用计算机信息处理分析方面的优势，并结合临床诊断医生的医学知识对疾病进行科学的判断。但目前大多数人工智能的甲状腺结节智能诊断研究存在建模数据不够全面问题，多选择基于甲状腺超声图像数据，或者经过挑选之后比较完整的文本特征数据进行模型构建，而在实际诊疗过程中，患者的历史临床数据如患者的既往病史、用药记录及检验结果等临床数据都会影响患者结节的良恶性的判断，目前的研究文章直接利用机器学习方法直接进行分类模型训练，缺失分类后的智能检测定位，有一定的改进空间，准确的智能检测对医生的临床诊疗工作有更好的辅助效果。
发明内容
本发明的目的是针对现有技术的不足，提供一种基于Faster-RCNN的超声图像甲状腺结节智能检测系统。
为了实现上述目的，本发明采用以下技术方案：一种基于Faster-RCNN的超声图像甲状腺结节智能检测系统，包括：数据采集模块、基础特征提取模块、分类模块、训练模块和检测判断模块；
其中所述数据采集模块用于采集甲状腺结节患者的临床数据，包括患者的基本信息、临床诊断、检验报告、病理报告、超声报告和超声图像；
所述基础特征提取模块用于分析超声图像中甲状腺结节图像的鉴别特征，获得结节区域的图像特征；
所述分类模块用于对获得的结节区域的图像特征结合根据病理报告的结论进行分类，将结节区域的图像区分为良性结节和恶性结节，分别进行标注，分类为良性结节超声图像集和恶性结节超声图像集；
所述训练模块用于将分类模块分类获得的超声图像集采用Faster-RCNN深度学习检测模型进行训练，构建分类与回归模型；
所述检测判断模块用于将构建的模型对检测的超声报告中甲状腺结节区域进行识别，判断为良性结节或恶性结节。
进一步的，识别系统还包括信息处理模块，包括结构化数据处理单元和非结构化数据处理单元；所述结构化数据处理单元用于对患者的基本信息、临床诊断、检验检查报告进行归一化处理；所述非结构化数据处理单元用于对患者的病理报告、超声报告和超声图像采用自然语言处理技术实现非结构化文本至结构化文本的转换。
进一步的，识别系统还包括图像预处理模块，用于对采集的超声图像进行去噪处理并修复图像中的医生标记。
进一步的，图像预处理模块包括去噪单元和修复单元；其中所述去噪单元用于采用非线性的中值滤波法对采集的超声图像进行去噪处理；所述修复单元用于采用Inpaint函数对超声图像进行痕迹区域的图像修复。
进一步的，基础特征提取模块包括分析单元和提取单元；所述分析单元用于利用OpenCV图像分析计算超声图像中甲状腺结节图像的鉴别特征；所述提取单元用于保存分析计算出的结节区域的图像特征。
进一步的，甲状腺结节区域的图像特征为结节区域的圆形度、纵横比、归一化径向长度、粗糙度、面积比率、LBP算子和灰度共生矩阵特征。
进一步的，良性结节超声图像集和恶性结节超声图像集为结节区域的图像和Json格式标注数据的深度学习框架可读取分析的文本数据。
进一步的，训练模块包括搜索单元、卷积提取单元和模型单元；所述搜索分割单元用于对良性结节超声图像集和恶性结节超声图像集中的图片分别进行分割并按照颜色、纹理近似进行合并，并最终生成2k个候选区域；所述卷积提取单元用于采用卷积网络提取图片固定维度特征；所述模型单元用于将基础特征提取模块提取的图片特征与固定维度特征结合，构建分类与回归模型。
进一步的，检测判断模块包括输入单元和判断单元；所述输入单元用于输入待检测超声图像并将图像经数据采集模块、图像预处理模块、基础特征提取模块获得超声图像的基础数据，经训练模块获得图像候选区域的固定维度特征；所述判断单元用于将候选区域的固定维度特征进行回归，从而对输入待检测超声图像的甲状腺结节实现定位，和良恶性类别的判断。
本申请的超声图像甲状腺结节识别系统采用的Faster-RCNN模型在进行目标检测时，与区域卷积神经网络RCNN相比，提升了速度，优化了存储空间，实现了结节良恶性的快速自动化检测，并在模型构建中对特征进行优化，在深度学习训练前计算超声诊断标准ACRTI-RADS中的关键特征，寻找影响临床诊断的关键图像特征因子，并将其加入到卷积神经网络特征层中进行改进，构建一个新的鉴别模型，从而提高预测结果的准确性。并将该预测模型直接与医院信息系统进行对接，自动传输患者临床信息，实现甲状腺结节的自动化鉴别功能，发挥临床辅助决策作用。
附图说明
图1是实施例构建超声图像甲状腺结节识别系统，实现甲状腺结节超声图像良恶性识别检测的流程图。
图2是实施例超声图像预处理图效果图。
图3是实施例TI-RADS评分模型图。
图4是实施例Labelme标注软件标注良恶性效果图。
图5是实施例Faster-RCNN模型训练流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
一种基于Faster-RCNN的超声图像甲状腺结节智能检测系统，包括：数据采集模块、信息处理模块、图像预处理模块、基础特征提取模块、分类模块、训练模块和检测判断模块；
其中数据采集模块用于采集甲状腺结节患者的临床数据，包括患者的基本信息、临床诊断、检验报告、病理报告、超声报告和超声图像。
信息处理模块包括结构化数据处理单元和非结构化数据处理单元，结构化数据处理单元用于对患者的基本信息、临床诊断、检验检查报告进行归一化处理；非结构化数据处理单元用于对患者的病理报告、超声报告和超声图像采用自然语言处理技术实现非结构化文本至结构化文本的转换。
图像预处理模块用于对采集的超声图像进行去噪处理并修复图像中的医生标记。图像预处理模块包括去噪单元和修复单元，其中去噪单元用于采用非线性的中值滤波法对采集的超声图像进行去噪处理；修复单元用于采用Inpaint函数对超声图像进行痕迹区域的图像修复。
基础特征提取模块用于分析超声图像中甲状腺结节图像的鉴别特征，获得结节区域的图像特征。基础特征提取模块包括分析单元和提取单元，分析单元用于利用OpenCV图像分析计算超声图像中甲状腺结节图像的鉴别特征；提取单元用于保存分析计算出的结节区域的图像特征。甲状腺结节区域的图像特征为结节区域的圆形度、纵横比、归一化径向长度、粗糙度、面积比率、LBP算子和灰度共生矩阵特征。
分类模块用于对获得的结节区域的图像特征结合根据病理报告的结论进行分类，将结节区域的图像区分为良性结节和恶性结节，分别进行标注，分类为良性结节超声图像集和恶性结节超声图像集。良性结节超声图像集和恶性结节超声图像集为结节区域的图像和Json格式标注数据的深度学习框架可读取分析的文本数据。
训练模块用于将分类模块分类获得的超声图像集采用Faster-RCNN深度学习检测模型进行训练，构建分类与回归模型。训练模块包括搜索单元、卷积提取单元和模型单元。搜索分割单元用于对良性结节超声图像集和恶性结节超声图像集中的图片分别进行分割并按照颜色、纹理近似进行合并，并最终生成2k个候选区域；所述卷积提取单元用于采用卷积网络提取图片固定维度特征；所述模型单元用于将基础特征提取模块提取的图片特征与固定维度特征结合，构建分类与回归模型
检测判断模块用于将构建的模型对检测的超声报告中甲状腺结节区域进行识别，判断为良性结节或恶性结节。检测判断模块包括输入单元和判断单元。输入单元用于输入待检测超声图像并将图像经数据采集模块、图像预处理模块、基础特征提取模块获得超声图像的基础数据，经训练模块获得图像候选区域的固定维度特征，判断单元用于将候选区域的固定维度特征进行回归，从而对输入待检测超声图像的甲状腺结节实现定位，和良恶性类别的判断。
采用基于Faster-RCNN的超声图像甲状腺结节识别系统对甲状腺结节超声图像进行良恶性识别的检测，具体的工作流程如图1所示:
(1)临床数据采集：从医院的临床数据中心和影像数据中心等多个系统收集甲状腺结节患者的临床数据，包含收集患者的基本信息、临床诊断、病理报告、超声报告、超声图像等数据。实施例的研究数据来自南京医科大学第一附属医院的甲状腺结节患者，对2017年的病理报告和B超报告进行对照分析，利用B超报告和病理报告一一对应的报告及其图像进行模型构建，其中男女比率为1:2.93，甲状腺结节多发于女性，而在年龄上患者多发于40-60岁的中年人，大约占50％。
(2)以甲状腺结节的病理报告作为结节良恶性分类的金标准，并找出改病理报告对应的患者信息、B超报告、B超影像报告，将患者的数据进行整合，剔除无用数据，并对数据依据病理诊断结果进行分类。
(3)临床信息处理：对结构化的数据，如患者信息、诊断、检验检查报告进行信息标准化、归一化处理；对于非结构化格式的数据，如超声报告、病理报告采用自然语言处理技术实现非结构化文本至结构化文本的转换，利用条件随机场(CRF)算法及深度学习对非结构化文本进行处理。对两种类型的数据找出有效的、结构化的特征属性。
(4)图像预处理：对图2中病理报告对照的B超图像进行预处理，超声由于成像原理的原因，图像上包含明显的斑点和噪声，对图像信息提取造成影响，因此在对图像进行分析前，需要对图像进行去噪预处理。本研究采用非线性的中值滤波法来对原始图像进行预处理。不仅降低了原始图像中的脉冲噪声和椒盐噪声，还保护了图像的边缘。超声图像保存有医生测量痕迹，比如标记有“+”、“x”或者数字等符号，这部分信息在计算特征前需要进行预处理进行修复，利用OpenCV中Inpaint算法进行图像分析处理预实验，结合模板匹配、图像插值、图像分割等预处理工作，实现痕迹区域的图像修复。处理的效果如图2所示，图2-1-1和图2-2-1为待修复图像，图2-1-2和图2-2-2为修复区域轮廓，图2-1-3和图2-2-3为修复后图像，预处理后效果良好。
(5)图像基础特征提取：美国放射学会2017年更新发布了最新的TI-RADS标准，该标准结合甲状腺结节的超声影像特征给出不同的评分，从而评价其良恶性情况，推动了超声的标准化，提高了诊断准确率，具体情况见图3。从结节的成分、回声、形态、边缘、局灶强回声五个方面对结节进行评分，根据不同的特征表现，每个特征被别评为0-3分，TI-RADS评分体系将甲状腺结节分为五级，当总分分值为0分时为TR1，视为良性，不需要处理；当分值为2分时为TR2，视为恶性风险<2％，考虑良性，随访；当分值为3分时为TR3，视为恶性风险<5％，低度可疑恶性，≥2.5cm行细针穿刺，<2.5cm随访；当分值为4～6分时为TR4，视为恶性风险5％～20％，中度可疑恶性，≥1.5cm行细针穿刺，<1.5cm随访；当分值为≥7分时为TR4，视为恶性风险大于20％，高度可疑恶性，≥1cm行细针穿刺，<1cm随访。
分析甲状腺结节图像的鉴别特征，利用OpenCV图像库结合C++语言进行算法预实验，实现了结节区域的圆形度、纵横比、归一化径向长度、粗糙度、面积比率、LBP算子和灰度共生矩阵函数相关图像特征的计算。
(6)搭建部署图像标注Labelme工具软件，用其对甲状腺结节区域进行良恶性标注，对照病理报告中的结论，为B超报告中提示的位置信息，将病理结果中提示为良性的结节，用矩形框标注为“L”，对于病理结果提示为恶性的结节，用矩形框标注为“E”，标注效果后转换为Json格式的标注数据；这样获得了一组图像被标注为“L”的良性结节超声图像集，一组图像被标注为“E”的恶性结节超声图像集；然后将格式为BMP的原图与JSON数据综合转化为可供后续深度学习框架可读取分析的文本数据。图4为利用Labelme进行标注的示意图。
(7)搭建TensorFlow深度学习工具站，具体配置为英特尔E5 2620V4 2.1GHz，20MBcache，8.0GT/S QPI，Turbo，HT，8C/16T(85W)*2颗/128GB(8*16G RDIMM)2400MT/S内存/240G SSD*2块，2TB 7.2K转NL-SAS硬盘*1块/RAID卡PERC H730P适配器，2GB高速缓存/显卡：NVIDIA S9100 12GB GPU*4块/2个万兆以太网卡/8GB HBA。
利用Faster-RCNN深度学习检测模型对上述图像数据集进行训练，图5为Faster-RCNN模型训练流程示意图，具体包含：(a)选择性搜索Selective Search在图片中获得大约2k个候选框，使用过分割方法将图像分成小区域。在此之后，观察现有的区域。之后以最高概率合并这两个区域。重复此步骤，直到所有图像合并为一个区域位置。优先合并以下四种区域：颜色(颜色直方图)相近的；纹理(梯度直方图)相近的；合并后总面积小的。最后，所有已经存在的区域都被输出，并生成候选区域。(b)使用卷积网络提取图片特征。类似于RCNN，在获取特征映射之后，需要卷积神经网络来进行卷积操作。(c)在卷积操作过后可以得到feature map，根据RoI框选择出对应的区域，将feature map映射回原图像，在最后一次卷积之前，使用RoI池层来统一相同的比例。RoI池层可以在任何大小的特征映射上为每个输入ROI区域提取固定的维度特征表示，然后确保每个区域的后续分类可以正常执行，对数据的输入上没有限制。(d)最后，将(3)(4)中提取的特征与RoI的卷积特征结合，进行分类与回归模型的构建。
(8)利用训练好的Faster-RCNN模型对甲状腺结节中的结节区域进行检测，并判定良恶性分类。流程为：(a)输入一张待检测图像，并利用(1)-(4)的方法对其进行预处理；(b)提取候选区域：利用Selective Search算法在输入图像中提取出候选区域，并把这些候选区域按照空间位置关系映射到最后的卷积特征层；(c)区域归一化：对于卷积特征层上的每个候选区域进行RoI池化操作，得到固定维度的特征；(d)将提取到的特征输入全连接层，然后用Softmax激活函数进行分类，对候选区域的位置进行回归，从而对输入待检测的甲状腺结节实现定位，和良恶性类别的判断。
上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于Faster-RCNN的超声图像甲状腺结节智能检测系统，其特征在于包括：数据采集模块、基础特征提取模块、分类模块、训练模块和检测判断模块；
其中所述数据采集模块用于采集甲状腺结节患者的临床数据，包括患者的基本信息、临床诊断、检验报告、病理报告、超声报告和超声图像；
所述基础特征提取模块用于分析超声图像中甲状腺结节图像的鉴别特征，获得结节区域的图像特征；
所述分类模块用于对获得的结节区域的图像特征结合根据病理报告的结论进行分类，将结节区域的图像区分为良性结节和恶性结节，分别进行标注，分类为良性结节超声图像集和恶性结节超声图像集；
所述训练模块用于将分类模块分类获得的超声图像集采用Faster-RCNN深度学习检测模型进行训练，构建分类与回归模型；
所述检测判断模块用于将构建的模型对检测的超声报告中甲状腺结节区域进行识别，判断为良性结节或恶性结节。
2.根据权利要求1所述的基于Faster-RCNN的超声图像甲状腺结节智能检测系统，其特征在于：所述识别系统还包括信息处理模块，包括结构化数据处理单元和非结构化数据处理单元；所述结构化数据处理单元用于对患者的基本信息、临床诊断、检验检查报告进行归一化处理；所述非结构化数据处理单元用于对患者的病理报告、超声报告和超声图像采用自然语言处理技术实现非结构化文本至结构化文本的转换。
3.根据权利要求1所述的基于Faster-RCNN的超声图像甲状腺结节智能检测系统，其特征在于：所述识别系统还包括图像预处理模块，用于对采集的超声图像进行去噪处理并修复图像中的医生标记。
4.根据权利要求3所述的基于Faster-RCNN的超声图像甲状腺结节智能检测系统，其特征在于：所述图像预处理模块包括去噪单元和修复单元；其中所述去噪单元用于采用非线性的中值滤波法对采集的超声图像进行去噪处理；所述修复单元用于采用Inpaint函数对超声图像进行痕迹区域的图像修复。
5.根据权利要求1所述的基于Faster-RCNN的超声图像甲状腺结节智能检测系统，其特征在于：所述基础特征提取模块包括分析单元和提取单元；所述分析单元用于利用OpenCV图像分析计算超声图像中甲状腺结节图像的鉴别特征；所述提取单元用于保存分析计算出的结节区域的图像特征。
6.根据权利要求5所述的基于Faster-RCNN的超声图像甲状腺结节智能检测系统，其特征在于：所述甲状腺结节区域的图像特征为结节区域的圆形度、纵横比、归一化径向长度、粗糙度、面积比率、LBP算子和灰度共生矩阵特征。
7.根据权利要求1所述的基于Faster-RCNN的超声图像甲状腺结节智能检测系统，其特征在于：所述良性结节超声图像集和恶性结节超声图像集为结节区域的图像和Json格式标注数据的深度学习框架可读取分析的文本数据。
8.根据权利要求1所述的基于Faster-RCNN的超声图像甲状腺结节智能检测系统，其特征在于：所述训练模块包括搜索单元、卷积提取单元和模型单元；所述搜索分割单元用于对良性结节超声图像集和恶性结节超声图像集中的图片分别进行分割并按照颜色、纹理近似进行合并，并最终生成2k个候选区域；所述卷积提取单元用于采用卷积网络提取图片固定维度特征；所述模型单元用于将基础特征提取模块提取的图片特征与固定维度特征结合，构建分类与回归模型。
9.根据权利要求1所述的基于Faster-RCNN的超声图像甲状腺结节智能检测系统，其特征在于：所述检测判断模块包括输入单元和判断单元；所述输入单元用于输入待检测超声图像并将图像经数据采集模块、图像预处理模块、基础特征提取模块获得超声图像的基础数据，经训练模块获得图像候选区域的固定维度特征；所述判断单元用于将候选区域的固定维度特征进行回归，从而对输入待检测超声图像的甲状腺结节实现定位，和良恶性类别的判断。
CN202010411428.0A 2020-05-15 2020-05-15 基于Faster-RCNN的超声图像甲状腺结节智能检测系统 Pending CN111612752A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010411428.0A CN111612752A (zh) 2020-05-15 2020-05-15 基于Faster-RCNN的超声图像甲状腺结节智能检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010411428.0A CN111612752A (zh) 2020-05-15 2020-05-15 基于Faster-RCNN的超声图像甲状腺结节智能检测系统

Publications (1)

Publication Number Publication Date
CN111612752A true CN111612752A (zh) 2020-09-01

Family

ID=72200058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010411428.0A Pending CN111612752A (zh) 2020-05-15 2020-05-15 基于Faster-RCNN的超声图像甲状腺结节智能检测系统

Country Status (1)

Country Link
CN (1) CN111612752A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102311A (zh) * 2020-09-27 2020-12-18 平安科技（深圳）有限公司 甲状腺结节图像的处理方法、装置和计算机设备
CN112508850A (zh) * 2020-11-10 2021-03-16 广州柏视医疗科技有限公司 基于深度学习的甲状腺细胞病理切片恶性区域的检测方法
CN112529894A (zh) * 2020-12-22 2021-03-19 徐州医科大学 一种基于深度学习网络的甲状腺结节的诊断方法
CN113222009A (zh) * 2021-05-10 2021-08-06 天津大学 一种基于甲状腺超声视频估算结节纵横比的方法
CN113450325A (zh) * 2021-06-28 2021-09-28 什维新智医疗科技(上海)有限公司 一种甲状腺结节良恶性识别装置
CN114431836A (zh) * 2022-04-11 2022-05-06 中南大学湘雅医院 基于人工智能的甲黑线良恶性预测系统
CN114648509A (zh) * 2022-03-25 2022-06-21 中国医学科学院肿瘤医院 一种基于多分类任务的甲状腺癌检出系统
WO2023115345A1 (zh) * 2021-12-21 2023-06-29 深圳先进技术研究院 前列腺患者分类方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020172403A1 (en) * 2001-03-28 2002-11-21 Arch Development Corporation Automated computerized scheme for distinction between benign and malignant solitary pulmonary nodules on chest images
CN107451615A (zh) * 2017-08-01 2017-12-08 广东工业大学 基于Faster RCNN的甲状腺乳头状癌超声图像识别方法及系统
CN109766329A (zh) * 2018-12-29 2019-05-17 湖南网数科技有限公司 一种支持交换共享的临床数据单元生成方法和装置
CN110490892A (zh) * 2019-07-03 2019-11-22 中山大学 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020172403A1 (en) * 2001-03-28 2002-11-21 Arch Development Corporation Automated computerized scheme for distinction between benign and malignant solitary pulmonary nodules on chest images
CN107451615A (zh) * 2017-08-01 2017-12-08 广东工业大学 基于Faster RCNN的甲状腺乳头状癌超声图像识别方法及系统
CN109766329A (zh) * 2018-12-29 2019-05-17 湖南网数科技有限公司 一种支持交换共享的临床数据单元生成方法和装置
CN110490892A (zh) * 2019-07-03 2019-11-22 中山大学 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨晨、刘立波: "甲状腺结节智能诊断系统的设计与实现" *
王洪杰、张恩东、于霞: "基于卷积神经网络的超声影像甲状腺结节良恶性预测研究" *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102311A (zh) * 2020-09-27 2020-12-18 平安科技（深圳）有限公司 甲状腺结节图像的处理方法、装置和计算机设备
WO2021169452A1 (zh) * 2020-09-27 2021-09-02 平安科技（深圳）有限公司 甲状腺结节图像的处理方法、装置和计算机设备
CN112102311B (zh) * 2020-09-27 2023-07-18 平安科技（深圳）有限公司 甲状腺结节图像的处理方法、装置和计算机设备
CN112508850A (zh) * 2020-11-10 2021-03-16 广州柏视医疗科技有限公司 基于深度学习的甲状腺细胞病理切片恶性区域的检测方法
CN112529894A (zh) * 2020-12-22 2021-03-19 徐州医科大学 一种基于深度学习网络的甲状腺结节的诊断方法
CN113222009A (zh) * 2021-05-10 2021-08-06 天津大学 一种基于甲状腺超声视频估算结节纵横比的方法
CN113450325A (zh) * 2021-06-28 2021-09-28 什维新智医疗科技(上海)有限公司 一种甲状腺结节良恶性识别装置
WO2023115345A1 (zh) * 2021-12-21 2023-06-29 深圳先进技术研究院 前列腺患者分类方法
CN114648509A (zh) * 2022-03-25 2022-06-21 中国医学科学院肿瘤医院 一种基于多分类任务的甲状腺癌检出系统
CN114648509B (zh) * 2022-03-25 2023-05-12 中国医学科学院肿瘤医院 一种基于多分类任务的甲状腺癌检出系统
CN114431836A (zh) * 2022-04-11 2022-05-06 中南大学湘雅医院 基于人工智能的甲黑线良恶性预测系统

Similar Documents

Publication Publication Date Title
CN111612752A (zh) 基于Faster-RCNN的超声图像甲状腺结节智能检测系统
CN110060774B (zh) 一种基于生成式对抗网络的甲状腺结节识别方法
Man et al. Classification of breast cancer histopathological images using discriminative patches screened by generative adversarial networks
Chen et al. CytoBrain: cervical cancer screening system based on deep learning technology
CN110245657B (zh) 病理图像相似性检测方法及检测装置
CN110680326B (zh) 基于深度卷积神经网络的尘肺病鉴别及分级判定方法
CN111667456B (zh) 一种冠状动脉x光序列造影中血管狭窄检测方法及装置
CN110490892A (zh) 一种基于USFaster R-CNN的甲状腺超声图像结节自动定位识别方法
CN112365973B (zh) 基于对抗网络和Faster R-CNN的肺结节辅助诊断系统
CN111369573A (zh) 一种肺腺癌亚型的辅助鉴别系统及方法
Kumar et al. Lungcov: A diagnostic framework using machine learning and Imaging Modality
Caicedo et al. A semantic content-based retrieval method for histopathology images
CN114519705A (zh) 一种用于医学选拔与鉴定的超声标准数据处理方法及系统
Xu et al. Identification of benign and malignant lung nodules in CT images based on ensemble learning method
CN117036288A (zh) 一种面向全切片病理图像的肿瘤亚型诊断方法
Kishore An effective and efficient feature selection method for lung cancer detection
Le Minh et al. Deep feature fusion for breast cancer diagnosis on histopathology images
AU2021102129A4 (en) Automatic labeling method of emphysema in CT image based on image report
CN115762721A (zh) 一种基于计算机视觉技术的医疗影像质控方法和系统
CN115564756A (zh) 医学图像病灶定位显示方法与系统
Su et al. ROI-BMC-DNNet: An efficient automatic analysis model of whole-slide scanned bone marrow aspirate images for the diagnosis of hematological disorders
Cendre et al. Two schemes for automated diagnosis of lentigo on confocal microscopy images
LAGHMATI et al. Segmentation of Breast Cancer on Ultrasound Images using Attention U-Net Model
Yu et al. Deep learning-based fully automated detection and segmentation of breast mass
Sorour et al. An Automatic Dermatology Detection System Based on Deep Learning and Computer Vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination