CN111242921A - 一种医学超声图像辅助诊断系统自动更新的方法及系统 - Google Patents

一种医学超声图像辅助诊断系统自动更新的方法及系统 Download PDF

Info

Publication number
CN111242921A
CN111242921A CN202010029036.8A CN202010029036A CN111242921A CN 111242921 A CN111242921 A CN 111242921A CN 202010029036 A CN202010029036 A CN 202010029036A CN 111242921 A CN111242921 A CN 111242921A
Authority
CN
China
Prior art keywords
nodule
image
key frame
correction information
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010029036.8A
Other languages
English (en)
Other versions
CN111242921B (zh
Inventor
钱林学
卜云芸
庞浩
刘涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010029036.8A priority Critical patent/CN111242921B/zh
Publication of CN111242921A publication Critical patent/CN111242921A/zh
Application granted granted Critical
Publication of CN111242921B publication Critical patent/CN111242921B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本申请涉及一种医学超声图像辅助诊断系统自动更新的方法及系统，方法步骤为获取修正信息和对应的原始病灶图像；根据获取的修正信息和对应的原始病灶图像，重新训练并更新结节关键帧提取模块和关键帧结节性质判断模块；医学超声图像辅助诊断系统使用更新后的系统生成新的诊断报告。本发明系统形成一个模型持续更新的闭环提出一个反馈捕捉流程，获取医生给出的修正信息，使得系统不断的更新，辅助诊断的准确率才能得到不断的提高。

Description

一种医学超声图像辅助诊断系统自动更新的方法及系统
技术领域
本申请涉及超声图像分析技术领域，特别是涉及一种医学超声图像辅助诊断系统自动更新的方法，还涉及一种医学超声图像辅助诊断自动更新的系统。
背景技术
超声波检查(US检查)是利用人体对超声波的反射进行观察。一般称为US的超声波检查，是用弱超声波照射到身体上，将组织的反射波进行图像化处理。相关技术中，超声检查已成为一种重要且无创性显示人体脏器结构和运动功能的检测方法。医用超声设备造价低廉，在各级医院和体检中心均有使用。超声检查费用低廉，已成为多种疾病早期筛查诊断的重要手段。
在整个医学图像领域，利用计算机进行辅助诊断的技术较多，例如：CN109222859A一种带有ai辅助诊断功能的智能内窥镜影像系统，其构建了一套内窥镜系统，能够将图像传递给计算机进行智能分析，并将分析返回给内窥镜系统供医生参考。目前，专门应用于超声检查场景的辅助诊断技术较少。例如：专利CN206365899U一种超声辅助诊断系统，其并不是采用计算机技术进行辅助诊断，而是描述了一套装置用于减轻医生的劳动强度，辅助医生进行诊断。
当前，医疗辅助诊断系统或设备根据检查情况给出相应的诊断结果，医生参考辅助诊断系统给出的综合诊断结果，得出自己的诊断结论。有可能医疗辅助诊断系统得出的结论与患者的实际情况相符合，结论一致；也存在医疗辅助诊断系统得出的结论偏离了患者的实际情况，结论不一致，不能有效的提高诊断效率和准确性。
发明内容
为至少在一定程度上克服相关技术中存在的问题，本申请提供一种医学超声图像辅助诊断系统自动更新的方法及系统，本专利提出一个反馈捕捉流程，获取医生给出的修正信息，使得系统不断的更新，辅助诊断的准确率才能得到不断的提高。
根据本申请实施例的第一方面，提供一种医学超声图像辅助诊断系统自动更新的方法，包括如下步骤：
医学超声图像辅助诊断系统生成该次扫描的诊断报告，同时列出得出结论所依据的所有病灶图像及其分类结论；
获取修正信息和对应的原始病灶图像；
根据获取的修正信息和对应的原始病灶图像，重新训练并更新结节关键帧提取模块和关键帧结节性质判断模块；
医学超声图像辅助诊断系统使用更新后的系统生成新的诊断报告。
进一步的，医学超声图像辅助诊断系统中，在生成扫描的诊断报告之前还包括医学超声图像中结节检测方法，具体为：从医用超声设备上直接采集视频信号获得超声图像；结节检测模块实时对每一帧超声图像进行的病灶检测，检测该帧图像中是否含有结节，如果含有结节则记录结节的外接矩形的坐标；在这一过程中，记录对全部视频帧的处理结果。
进一步的，还包括关键帧提取方法，具体步骤如下：
在记录的全部视频帧的处理结果中，首先根据连续外接矩形的坐标换算出的结节中心点坐标距离，得出视频中共检测到的结节数量；针对每一个结节的所有检测出的外接矩形，选择外接矩形对角线距离最大的帧作为关键帧。
进一步的，需要对提取的关键帧进行结节性质判断，关键帧结节性质判断步骤如下：
将关键帧中结节外接矩形之外的部分重置为黑色；
将处理后的关键帧图像，对结节的性质进行判别；
在关键帧图像中取得针对病灶的图像特征向量，其中，
单个病灶能够提取出多个关键帧图像，通过单个图像能够提取出其图像特征向量；对于多个关键帧图像的特征向量取均值和标准差，并将其并联得到针对病灶的特征向量，进而得出针对该病灶的最终的图像特征向量。
进一步的，医学超声图像辅助诊断系统获取用户的纠正信息，具体为用户通过修正医学超声图像辅助诊断系统生成的诊断报告完成纠正信息的录入；包括：
若帧图像中不是一个结节，则删除该结节和相应的关键帧；和/或
若结节矩形框标注不准确，则拖拽矩形框，进行更精细的定位；
将删除结节和相应的关键帧的纠正信息和/或拖拽矩形框的纠正信息用于重新训练并更新结节关键帧提取模块。
进一步的，医学超声图像辅助诊断系统获取用户的纠正信息，具体为用户通过修正医学超声图像辅助诊断系统生成的诊断报告完成纠正信息的录入；包括：
对于对结节的性质进行判别不准确的，则修改结节的分类结果；
将修改结节的分类结果的纠正信息用于重新训练并更新关键帧结节性质判断模块。
根据本申请实施例的第二方面，提供一种医学超声图像辅助诊断自动更新的系统，该系统用于实现上述的医学超声图像辅助诊断系统自动更新的方法，所述系统包括：
报告生成模块，用于输出医学超声图像辅助诊断系统扫描后的诊断报告；
模型更新服务器，用于获取修正信息和对应的原始病灶图像；
还包括病灶检测模型和病灶分类模型，所述病灶检测模型中设置有结节关键帧提取模块；所述病灶分类模型中设置有关键帧结节性质判断模块；
所述模型更新服务器根据获取的修正信息和对应的原始病灶图像，重新训练并更新结节关键帧提取模块和关键帧结节性质判断模块；
医学超声图像辅助诊断系统使用更新后的系统生成新的诊断报告。
进一步的，所述医学超声图像辅助诊断系统中，从医用超声设备上直接采集视频信号获得超声图像；结节检测模块实时对每一帧超声图像进行的病灶检测，检测该帧图像中是否含有结节，如果含有结节则记录结节的外接矩形的坐标；在这一过程中，记录对全部视频帧的处理结果；
在记录的全部视频帧的处理结果中，首先根据连续外接矩形的坐标换算出的结节中心点坐标距离，得出视频中共检测到的结节数量；针对每一个结节的所有检测出的外接矩形，选择外接矩形对角线距离最大的帧作为关键帧。
进一步的，需要对提取的关键帧进行结节性质判断，包括如下：
将关键帧中结节外接矩形之外的部分重置为黑色；
将处理后的关键帧图像，对结节的性质进行判别；
在关键帧图像中取得针对病灶的图像特征向量，其中，
单个病灶能够提取出多个关键帧图像，通过单个图像能够提取出其图像特征向量；对于多个关键帧图像的特征向量取均值和标准差，并将其并联得到针对病灶的特征向量，进而得出针对该病灶的最终的图像特征向量。
进一步的，医学超声图像辅助诊断系统获取用户的纠正信息，具体为用户通过修正医学超声图像辅助诊断系统生成的诊断报告完成纠正信息的录入；包括：
若帧图像中不是一个结节，则删除该结节和相应的关键帧；
若结节矩形框标注不准确，则拖拽矩形框，进行更精细的定位；和/或
对于对结节的性质进行判别不准确的，则修改结节的分类结果；
其中，
将删除结节和相应的关键帧的纠正信息和/或拖拽矩形框的纠正信息发送给模型更新服务器，所述模型更新服务器启动对病灶检测模型微调训练，训练结束后将新训练出的模型下发到病灶检测设备；
将修改结节的分类结果的纠正信息发送给模型更新服务器，所述模型更新服务器启动对病灶分类模型的微调训练；训练结束后将新训练出的模型下发到综合诊断设备；
新的扫描使用更新后的系统进行计算；系统形成一个系统持续更新的闭环。
本申请的实施例提供的技术方案可以包括以下有益效果：本发明中系统将医生给出的修正信息和对应的原始图像发送到模型更新服务器，该服务器在接收到一定数量的修正数据后，启动对病灶检测模型和病灶分类模型的微调训练。训练结束后将新训练出的模型下发到病灶检测设备和综合诊断设备，新的扫描使用更新后的模型进行计算。系统形成一个模型持续更新的闭环。本专利提出一个反馈捕捉流程，获取医生给出的修正信息，使得系统不断的更新，辅助诊断的准确率才能得到不断的提高。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是本发明医学超声图像辅助诊断系统自动更新的方法的流程图；
图2是本发明医学超声图像中结节检测方法的流程图；
图3是本发明关键帧提取方法的流程图；
图4是本发明关键帧结节性质判断步骤的流程图；
图5是本发明医学超声图像辅助诊断自动更新的系统结构示意图之一；
图6是本发明医学超声图像辅助诊断自动更新的系统结构示意图之二；
图7是本发明特征向量结构示意图之一；
图8是本发明特征向量结构示意图之二。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的医学超声图像辅助诊断系统自动更新的方法的流程图，如图1所示，一种医学超声图像辅助诊断系统自动更新的方法，包括如下步骤：
步骤S1、医学超声图像辅助诊断系统生成该次扫描的诊断报告，同时列出得出结论所依据的所有病灶图像及其分类结论；
步骤S2、获取修正信息和对应的原始病灶图像；
步骤S3、根据获取的修正信息和对应的原始病灶图像，重新训练并更新结节关键帧提取模块和关键帧结节性质判断模块；
步骤S4、医学超声图像辅助诊断系统使用更新后的系统生成新的诊断报告。
如图2所示，医学超声图像辅助诊断系统中，在生成扫描的诊断报告之前还包括医学超声图像中结节检测方法，具体为：从医用超声设备上直接采集视频信号获得超声图像；本诊断系统包括结节检测模块，所述结节检测模块实时对每一帧超声图像进行的病灶检测，检测该帧图像中是否含有结节，如果含有结节则记录结节的外接矩形的坐标；在这一过程中，记录对全部视频帧的处理结果。
如图3所示，本实施例医学超声图像辅助诊断系统中还包括关键帧提取方法，具体步骤如下：
在记录的全部视频帧的处理结果中，首先根据连续外接矩形的坐标换算出的结节中心点坐标距离，得出视频中共检测到的结节数量；针对每一个结节的所有检测出的外接矩形，选择外接矩形对角线距离最大的帧作为关键帧。
如图4所示，本实施例医学超声图像辅助诊断系统中需要对提取的关键帧进行结节性质判断，关键帧结节性质判断步骤如下：
将关键帧中结节外接矩形之外的部分重置为黑色；
将处理后的关键帧图像，对结节的性质进行判别；
在关键帧图像中取得针对病灶的图像特征向量，其中，
单个病灶能够提取出多个关键帧图像，通过单个图像能够提取出其图像特征向量；对于多个关键帧图像的特征向量取均值和标准差，并将其并联得到针对病灶的特征向量，进而得出针对该病灶的最终的图像特征向量。
本实施例中，需要补充说明的是，在诊断阶段，系统得出了以下有意义的诊断结果：
1)提取到了一个或多个结节，针对每一个结节，都有一个针对这个结节的关键帧图像；
2)所有结节都以外接举行的形式标注了结节位置；
3)针对每一个结节，模型都给出了性质判断结果；
4)综合所有来源于图像的结节特征和患者本身的基本信息，模型给出的最终辅助诊断结论。
基于上述诊断结果，医生可全部采纳、部分采纳或不予采纳并形成自己的诊断结论。为此在本实施例中医学超声图像辅助诊断系统获取用户的纠正信息，具体为用户通过修正医学超声图像辅助诊断系统生成的诊断报告完成纠正信息的录入；包括：
第一步、若帧图像中不是一个结节，则删除该结节和相应的关键帧；和/或
第二步、若结节矩形框标注不准确，则拖拽矩形框，进行更精细的定位；
将删除结节和相应的关键帧的纠正信息和/或拖拽矩形框的纠正信息用于重新训练并更新结节关键帧提取模块。
另一方面，医学超声图像辅助诊断系统获取用户的纠正信息，具体为用户通过修正医学超声图像辅助诊断系统生成的诊断报告完成纠正信息的录入；包括：
第三步、对于对结节的性质进行判别不准确的，则修改结节的分类结果；
将修改结节的分类结果的纠正信息用于重新训练并更新关键帧结节性质判断模块。
第一步和第二步得出的纠正信息可以用于重新训练并更新结节提取模型。第三步得出的纠正信息可以用于重新训练并更新结节分类模型。第四步得出的纠正信息可以用于重新训练并更新基于所有信息的最终诊断模型。
根据本申请实施例的第二方面，提供一种医学超声图像辅助诊断自动更新的系统，如图5所示，该系统用于实现上述的医学超声图像辅助诊断系统自动更新的方法，所述系统包括：
报告生成模块，用于输出医学超声图像辅助诊断系统扫描后的诊断报告；
模型更新服务器，用于获取修正信息和对应的原始病灶图像(修正信息对应图像)；
还包括病灶检测模型和病灶分类模型，所述病灶检测模型中设置有结节关键帧提取模块；所述病灶分类模型中设置有关键帧结节性质判断模块；
所述模型更新服务器根据获取的修正信息和对应的原始病灶图像，重新训练并更新结节关键帧提取模块和关键帧结节性质判断模块；
医学超声图像辅助诊断系统使用更新后的系统生成新的辅助诊断报告。
本实施例提供的医学超声图像辅助诊断自动更新的系统中，医学超声图像中结节检测方法、括关键帧提取方法和关键帧结节性质判断步骤。在上述方法步骤以及详述，将其引用在此，不做赘述。
请参阅图6所述，本实施例中医学超声图像辅助诊断系统获取用户的纠正信息，具体为用户通过修正医学超声图像辅助诊断系统生成的诊断报告完成纠正信息的录入；包括：
若帧图像中不是一个结节，则删除该结节和相应的关键帧；
若结节矩形框标注不准确，则拖拽矩形框，进行更精细的定位；和/或
对于对结节的性质进行判别不准确的，则修改结节的分类结果；
其中，
将删除结节和相应的关键帧的纠正信息和/或拖拽矩形框的纠正信息发送给模型更新服务器，所述模型更新服务器启动对病灶检测模型微调训练，训练结束后将新训练出的模型下发到病灶检测设备；
将修改结节的分类结果的纠正信息发送给模型更新服务器，所述模型更新服务器启动对病灶分类模型的微调训练；训练结束后将新训练出的模型下发到综合诊断设备；
需要补充说明的是，模型更新服务器在接收到一定数量的修正数据后，启动对病灶检测模型和病灶分类模型的微调训练，这里的一定数量，比如接收到至少1个修正数据后启动微调训练，可以根据实际情况设定5个、10个或者100个均可，在此不做限制。当然也可以根据时间段启动微调训练，比如设定为非工作时间进行微调训练。新的扫描使用更新后的系统进行计算；系统形成一个系统持续更新的闭环。如此的反馈捕捉流程，获取医生给出的修正信息，模型才能得到不断的更新，辅助诊断的准确率才能得到不断的提高。
如图7所示，本发明发明部分和系统部分中，需要补充说明的是，对于单个病灶的情况，利用患者的结构化数据得到结构化数据的特征向量后，与单个图像提取的图像特征向量串联，进而得出针该患者的综合数据分析结论；
对于多个病灶的情况，比如针对病灶1通过分析得到病灶1的图像分析结构、针对病灶N通过分析得到病灶N的图像分析结构。本实施例中还包括结构化数据模块，用于得到患者结构化数据的特征向量；结构化数据包括患者的身高、体重、性别、病史、化验结果等。利用患者的结构化数据得到结构化数据的特征向量，将所有病灶的图形特征向量均值和图形特征向量标准差与结构化特征向量串联，得到针对患者的综合数据分析结论。
如图8所示，需要补充说明的是，在关键帧图像中取得针对病灶的图像特征向量的步骤中，还包括：
对输入的超声图像进行预处理，输入的超声图像是二维或者三维矩阵；灰度图为二维，长×宽。彩色图为三维，长×宽×色彩通道，每个像素点的值为整形，是该像素点的灰度值或色彩值，例如RGB值。
图像数据进过预处理后输入模型，模型包括特征提取与变换部分、图像特征向量部分和求解器部分；
所述特征提取与变换部分为一个卷积神经网络模型，变化后，所述图像特征向量部分利用超声图像矩阵数据生成一维向量，该向量为原始图像的特征向量；
利用求解器部分(分类求解器或回归求解器)，以图像特征向量为输入，得到最后的输出结果。图像特征向量是模型生产的重要中间变量，其质量直接决定了最终输出的质量。
本发明中系统将医生给出的修正信息和对应的原始图像发送到模型更新服务器，该服务器在接收到一定数量的修正数据后，启动对病灶检测模型和病灶分类模型的微调训练。训练结束后将新训练出的模型下发到病灶检测设备和综合诊断设备，新的扫描使用更新后的模型进行计算。系统形成一个模型持续更新的闭环。本专利提出一个反馈捕捉流程，获取医生给出的修正信息，使得系统不断的更新，辅助诊断的准确率才能得到不断的提高。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种医学超声图像辅助诊断系统自动更新的方法，其特征在于：包括如下步骤：
医学超声图像辅助诊断系统生成该次扫描的诊断报告，同时列出得出结论所依据的所有病灶图像及其分类结论；
获取修正信息和对应的原始病灶图像；
根据获取的修正信息和对应的原始病灶图像，重新训练并更新结节关键帧提取模块和关键帧结节性质判断模块；
医学超声图像辅助诊断系统使用更新后的系统生成新的诊断报告。
2.根据权利要求2所述的医学超声图像辅助诊断系统自动更新的方法，其特征在于：医学超声图像辅助诊断系统中，在生成扫描的诊断报告之前还包括医学超声图像中结节检测方法，具体为：从医用超声设备上直接采集视频信号获得超声图像；结节检测模块实时对每一帧超声图像进行的病灶检测，检测该帧图像中是否含有结节，如果含有结节则记录结节的外接矩形的坐标；在这一过程中，记录对全部视频帧的处理结果。
3.根据权利要求3所述的医学超声图像辅助诊断系统自动更新的方法，其特征在于：还包括关键帧提取方法，具体步骤如下：
在记录的全部视频帧的处理结果中，首先根据连续外接矩形的坐标换算出的结节中心点坐标距离，得出视频中共检测到的结节数量；针对每一个结节的所有检测出的外接矩形，选择外接矩形对角线距离最大的帧作为关键帧。
4.根据权利要求3所述的医学超声图像辅助诊断系统自动更新的方法，其特征在于：需要对提取的关键帧进行结节性质判断，关键帧结节性质判断步骤如下：
将关键帧中结节外接矩形之外的部分重置为黑色；
将处理后的关键帧图像，对结节的性质进行判别；
在关键帧图像中取得针对病灶的图像特征向量，其中，
单个病灶能够提取出多个关键帧图像，通过单个图像能够提取出其图像特征向量；对于多个关键帧图像的特征向量取均值和标准差，并将其并联得到针对病灶的特征向量，进而得出针对该病灶的最终的图像特征向量。
5.根据权利要求2或3所述的医学超声图像辅助诊断系统自动更新的方法，其特征在于：医学超声图像辅助诊断系统获取用户的纠正信息，具体为用户通过修正医学超声图像辅助诊断系统生成的诊断报告完成纠正信息的录入；包括：
若帧图像中不是一个结节，则删除该结节和相应的关键帧；和/或
若结节矩形框标注不准确，则拖拽矩形框，进行更精细的定位；
将删除结节和相应的关键帧的纠正信息和/或拖拽矩形框的纠正信息用于重新训练并更新结节关键帧提取模块。
6.根据权利要求4所述的医学超声图像辅助诊断系统自动更新的方法，其特征在于：医学超声图像辅助诊断系统获取用户的纠正信息，具体为用户通过修正医学超声图像辅助诊断系统生成的诊断报告完成纠正信息的录入；包括：
对于对结节的性质进行判别不准确的，则修改结节的分类结果；
将修改结节的分类结果的纠正信息用于重新训练并更新关键帧结节性质判断模块。
7.一种医学超声图像辅助诊断自动更新的系统，其特征在于：该系统用于实现权利要求1至6任一项所述的医学超声图像辅助诊断系统自动更新的方法，所述系统包括：
报告生成模块，用于输出医学超声图像辅助诊断系统扫描后的诊断报告；
模型更新服务器，用于获取修正信息和对应的原始病灶图像；
还包括病灶检测模型和病灶分类模型，所述病灶检测模型中设置有结节关键帧提取模块；所述病灶分类模型中设置有关键帧结节性质判断模块；
所述模型更新服务器根据获取的修正信息和对应的原始病灶图像，重新训练并更新结节关键帧提取模块和关键帧结节性质判断模块；
医学超声图像辅助诊断系统使用更新后的系统生成新的诊断报告。
8.根据权利要求7所述的根据获取的医学超声图像辅助诊断自动更新的系统，其特征在于：所述医学超声图像辅助诊断系统中，从医用超声设备上直接采集视频信号获得超声图像；结节检测模块实时对每一帧超声图像进行的病灶检测，检测该帧图像中是否含有结节，如果含有结节则记录结节的外接矩形的坐标；在这一过程中，记录对全部视频帧的处理结果；
在记录的全部视频帧的处理结果中，首先根据连续外接矩形的坐标换算出的结节中心点坐标距离，得出视频中共检测到的结节数量；针对每一个结节的所有检测出的外接矩形，选择外接矩形对角线距离最大的帧作为关键帧。
9.根据权利要求7所述的根据获取的医学超声图像辅助诊断自动更新的系统，其特征在于：需要对提取的关键帧进行结节性质判断，包括如下：
将关键帧中结节外接矩形之外的部分重置为黑色；
将处理后的关键帧图像，对结节的性质进行判别；
在关键帧图像中取得针对病灶的图像特征向量，其中，
单个病灶能够提取出多个关键帧图像，通过单个图像能够提取出其图像特征向量；对于多个关键帧图像的特征向量取均值和标准差，并将其并联得到针对病灶的特征向量，进而得出针对该病灶的最终的图像特征向量。
10.根据权利要求8所述的根据获取的医学超声图像辅助诊断自动更新的系统，其特征在于：医学超声图像辅助诊断系统获取用户的纠正信息，具体为用户通过修正医学超声图像辅助诊断系统生成的诊断报告完成纠正信息的录入；包括：
若帧图像中不是一个结节，则删除该结节和相应的关键帧；
若结节矩形框标注不准确，则拖拽矩形框，进行更精细的定位；和/或
对于对结节的性质进行判别不准确的，则修改结节的分类结果；
其中，
将删除结节和相应的关键帧的纠正信息和/或拖拽矩形框的纠正信息发送给模型更新服务器，所述模型更新服务器启动对病灶检测模型微调训练，训练结束后将新训练出的模型下发到病灶检测设备；
将修改结节的分类结果的纠正信息发送给模型更新服务器，所述模型更新服务器启动对病灶分类模型的微调训练；训练结束后将新训练出的模型下发到综合诊断设备；
新的扫描使用更新后的系统进行计算；系统形成一个系统持续更新的闭环。
CN202010029036.8A 2020-01-12 2020-01-12 一种医学超声图像辅助诊断系统自动更新的方法及系统 Active CN111242921B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010029036.8A CN111242921B (zh) 2020-01-12 2020-01-12 一种医学超声图像辅助诊断系统自动更新的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010029036.8A CN111242921B (zh) 2020-01-12 2020-01-12 一种医学超声图像辅助诊断系统自动更新的方法及系统

Publications (2)

Publication Number Publication Date
CN111242921A true CN111242921A (zh) 2020-06-05
CN111242921B CN111242921B (zh) 2023-12-12

Family

ID=70864332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010029036.8A Active CN111242921B (zh) 2020-01-12 2020-01-12 一种医学超声图像辅助诊断系统自动更新的方法及系统

Country Status (1)

Country Link
CN (1) CN111242921B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111820950A (zh) * 2020-06-23 2020-10-27 无锡祥生医疗科技股份有限公司 个性化信息确定装置和超声训练方法
CN112349392A (zh) * 2020-11-25 2021-02-09 北京大学第三医院（北京大学第三临床医学院） 一种人体颈椎医学图像处理系统
CN114727021A (zh) * 2022-04-19 2022-07-08 柳州康云互联科技有限公司 一种基于视频分析的云端体外诊断图像数据处理方法
CN115132328A (zh) * 2022-08-31 2022-09-30 安徽影联云享医疗科技有限公司 信息可视化方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004313563A (ja) * 2003-04-18 2004-11-11 Hitachi Medical Corp 読影支援システム、読影支援方法及びプログラム
US20050063596A1 (en) * 2001-11-23 2005-03-24 Yosef Yomdin Encoding of geometric modeled images
US20110172514A1 (en) * 2008-09-29 2011-07-14 Koninklijke Philips Electronics N.V. Method for increasing the robustness of computer-aided diagnosis to image processing uncertainties
CN108852268A (zh) * 2018-04-23 2018-11-23 浙江大学 一种消化内镜图像异常特征实时标记系统及方法
CN110458249A (zh) * 2019-10-10 2019-11-15 点内（上海）生物科技有限公司 一种基于深度学习与概率影像组学的病灶分类系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050063596A1 (en) * 2001-11-23 2005-03-24 Yosef Yomdin Encoding of geometric modeled images
JP2004313563A (ja) * 2003-04-18 2004-11-11 Hitachi Medical Corp 読影支援システム、読影支援方法及びプログラム
US20110172514A1 (en) * 2008-09-29 2011-07-14 Koninklijke Philips Electronics N.V. Method for increasing the robustness of computer-aided diagnosis to image processing uncertainties
CN108852268A (zh) * 2018-04-23 2018-11-23 浙江大学 一种消化内镜图像异常特征实时标记系统及方法
CN110458249A (zh) * 2019-10-10 2019-11-15 点内（上海）生物科技有限公司 一种基于深度学习与概率影像组学的病灶分类系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘涛;: "原发性甲状旁腺功能亢进症的诊断与手术治疗", 中国医学工程, no. 04 *
李云红;李尧;王丽莹;张恒;王文瑞;程霞;蔡澍雨: "医学图像增强系统设计", 激光与红外, vol. 44, no. 4 *
隋莉斌, 仲思东, 陈长军, 毛庆洲: "超声波肿瘤治疗床诊断治疗控制系统的实现", 机械设计与制造, no. 06 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111820950A (zh) * 2020-06-23 2020-10-27 无锡祥生医疗科技股份有限公司 个性化信息确定装置和超声训练方法
CN112349392A (zh) * 2020-11-25 2021-02-09 北京大学第三医院（北京大学第三临床医学院） 一种人体颈椎医学图像处理系统
CN114727021A (zh) * 2022-04-19 2022-07-08 柳州康云互联科技有限公司 一种基于视频分析的云端体外诊断图像数据处理方法
CN114727021B (zh) * 2022-04-19 2023-09-15 柳州康云互联科技有限公司 一种基于视频分析的云端体外诊断图像数据处理方法
CN115132328A (zh) * 2022-08-31 2022-09-30 安徽影联云享医疗科技有限公司 信息可视化方法、装置、设备及存储介质
CN115132328B (zh) * 2022-08-31 2022-11-25 安徽影联云享医疗科技有限公司 信息可视化方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111242921B (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
CN111214255B (zh) 一种医学超声图像计算机辅助方法
CN111242921B (zh) 一种医学超声图像辅助诊断系统自动更新的方法及系统
US11101033B2 (en) Medical image aided diagnosis method and system combining image recognition and report editing
CN111227864B (zh) 使用超声图像利用计算机视觉进行病灶检测的装置
US11354791B2 (en) Methods and system for transforming medical images into different styled images with deep neural networks
CN110177504B (zh) 超声图像中参数测量的方法和超声成像系统
CN102056547B (zh) 医用图像处理装置及医用图像处理方法
CN113781439B (zh) 超声视频病灶分割方法及装置
CN114052794B (zh) 一种基于多模态信息的颈动脉超声报告生成系统
CN108720807A (zh) 用于模型驱动的多模态医疗成像方法和系统
CN111134727B (zh) 基于神经网络的静脉与动脉识别的穿刺引导系统
CN112807025A (zh) 超声扫查引导方法、装置、系统、计算机设备和存储介质
JP2022545355A (ja) 医療機器を識別、ラベル付け、及び追跡するためのシステム及び方法
CN113298773A (zh) 基于深度学习的心脏视图识别与左心室检测装置、系统
CN111145137B (zh) 基于神经网络的静脉与动脉识别方法
JPH06233761A (ja) 医用画像診断装置
WO2024126468A1 (en) Echocardiogram classification with machine learning
CN115690556B (zh) 一种基于多模态影像学特征的图像识别方法及系统
CN111144163B (zh) 基于神经网络的静脉与动脉识别系统
CN114360695B (zh) 乳腺超声扫查分析辅助系统、介质及设备
JP6996303B2 (ja) 医用画像生成装置
WO2020087732A1 (zh) 基于神经网络的静脉与动脉识别方法与系统
US20220361852A1 (en) Ultrasonic diagnostic apparatus and diagnosis assisting method
WO2022059539A1 (ja) コンピュータプログラム、情報処理方法及び情報処理装置
JP2019107453A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant