CN114974522A - 医学影像处理方法、装置、电子设备及存储介质 - Google Patents

医学影像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114974522A
CN114974522A CN202210888037.7A CN202210888037A CN114974522A CN 114974522 A CN114974522 A CN 114974522A CN 202210888037 A CN202210888037 A CN 202210888037A CN 114974522 A CN114974522 A CN 114974522A
Authority
CN
China
Prior art keywords
medical
image
model
target
medical image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210888037.7A
Other languages
English (en)
Inventor
金征宇
宋兰
朱振宸
宋伟
唐瑞娴
张树
雷晶
俞益洲
李一鸣
乔昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Original Assignee
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking Union Medical College Hospital Chinese Academy of Medical Sciences filed Critical Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority to CN202210888037.7A priority Critical patent/CN114974522A/zh
Publication of CN114974522A publication Critical patent/CN114974522A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Public Health (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明涉及一种医学影像处理方法、装置、电子设备及存储介质，涉及医学影像领域。首先根据接收到的操作指令，从预设的知识库中获取医学影像信息，所述医学影像信息包括医学影像和所述医学影像对应的预测诊断结果，所述预测诊断结果为将所述医学影像输入预先训练的影像分类模型后得到的诊断结果；然后根据所述操作指令和所述医学影像信息，生成目标影像信息；最后展示目标影像信息。通过人工智能技术获取医学影像的预测诊断结果，并根据存储的医学影像和对应的预测诊断结果用于医学影像学教学任务，充分利用真实病例的海量影像信息，提供智能化的人机交互教学平台，提升医学影像学教学的教学效果。

Description

医学影像处理方法、装置、电子设备及存储介质
技术领域
本发明涉及医学影像领域，尤其涉及一种医学影像处理方法、装置、电子设备及存储介质。
背景技术
医学影像是临床诊断疾病的重要手段，医学影像学是医科大学、医疗机构中重要技术学科，要求学生或者工作人员具备基础医学、临床医学和医学影像学的基础知识和能力，以使得学生或者工作人员成为掌握医学影像诊断，医学成像技术的医学高级人才。
当前的医学影像学教学多采用典型病变断层进行传授，教学模式陈旧，教学内容脱离真实的病例和临床实际场景，影响医学影像学教学的教学效果。
发明内容
为克服相关技术中存在的问题，本发明提供一种医学影像处理方法、装置、电子设备及存储介质。
根据本发明实施例的第一方面，提供一种医学影像处理方法，所述方法包括：
根据接收到的操作指令，从预设的知识库中获取医学影像信息；所述医学影像信息包括医学影像和所述医学影像对应的预测诊断结果，所述预测诊断结果为将所述医学影像输入预先训练的影像分类模型后得到的诊断结果；
根据所述操作指令和所述医学影像信息，生成目标影像信息；
展示所述目标影像信息。
可选地，所述医学影像信息还包括所述医学影像对应的第一附属信息，所述第一附属信息包括所述医学影像的影像部位、影像获取时间、关联病例信息以及病情发展动图中的一个或者多个，所述病情发展动图为按影像获取时间排序的多个目标医学影像，所述目标医学影像为目标病例同一影像部位的医学影像；
所述根据所述操作指令和所述医学影像信息，生成目标影像信息包括：
在所述操作指令包括学习教学指令的情况下，根据所述医学影像和所述第一附属信息，生成第一目标影像信息；所述第一目标影像信息包括用于辅助用户完成学习教学任务的学习教学信息。
可选地，所述根据所述操作指令和所述医学影像信息，生成目标影像信息包括：
在所述操作指令包括知识测试指令的情况下，根据所述医学影像和所述第一附属信息，生成第二目标影像信息；所述第二目标影像信息包括用于辅助用户完成模拟考核或者正式考试的知识考核信息。
可选地，所述医学影像包括医学原始影像和/或医学标注影像；所述医学标注影像为根据预先训练的影像标注模型对所述医学原始影像的目标影像征象进行标注后得到的影像，所述目标影像征象为所述医学原始影像中符合预设影像征象的部分或全部图像，所述预测诊断结果为将所述医学原始影像和/或医学标注影像输入预先训练的影像分类模型后得到的诊断结果。
可选地，所述影像标注模型包括第一子模型、第二子模型和第三子模型，所述第一子模型与所述第二子模型连接，所述第二子模型与所述第三子模型连接，所述第一子模型用于从所述医学原始影像中提取不同尺度的全局特征，所述第二子模型用于根据所述全局特征确定一个或者多个兴趣区域，和所述兴趣区域对应的区域特征，所述第三子模型用于根据所述兴趣区域和所述区域特征，对每一个所述兴趣区域的所述目标影像征象进行标注，所述影像标注模型通过如下步骤训练获得：
获取第一训练样本，所述第一训练样本包括待标注的第一样本原始影像和每个所述第一样本原始影像分别对应的第一样本标注图像；
根据所述第一训练样本对预设标注模型进行训练，得到所述影像标注模型。
可选地，所述影像分类模型包括第四子模型、第五子模型、第六子模型和第七子模型，所述第四子模型与所述第五子模型连接，所述第五子模型分别与所述第六子模型和所述第七子模型连接，所述第六子模型与所述第七子模型连接，所述第四子模型用于从所述医学原始影像中提取不同尺度的全局特征，所述第五子模型用于根据所述全局特征确定一个或者多个兴趣区域，和所述兴趣区域对应的区域特征，所述第六子模型用于根据所述兴趣区域和所述区域特征，获取每一个所述兴趣区域的所述目标影像征象的前景分数，所述前景分数表征所述兴趣区域多个影像征象的概率，所述第七子模型用于根据所述全局特征、所述区域特征以及所述概率确定所述医学影像的疾病分类结果，所述影像分类模型通过如下步骤训练获得：
获取第二训练样本，所述第二训练样本包括待分类的多个样本病例的第二样本医学影像和对应的医师诊断结果，所述第二样本医学影像包括第二样本原始影像和/或第二样本标注图像；
根据所述第二训练样本对预设分类模型进行训练，得到所述影像分类模型。
可选地，所述方法还包括：
获取待入库医学影像信息，将所述待入库医学影像信息输入所述影像分类模型获取所述预测诊断结果，所述待入库医学影像信息包括待入库医学影像和对应的第二附属信息，所述第二附属信息包括影像获取时间和关联病例信息；
在所述待入库医学影像信息包括医师诊断结果的情况下，根据所述医师诊断结果按照预设的分层结构将所述待入库医学影像信息和所述预测诊断结果存入所述知识库中；或者，
在所述待入库医学影像信息不包括医师诊断结果的情况下，根据所述预测诊断结果按照预设的分层结构将所述待入库医学影像信息和所述预测诊断结果存入所述知识库中。
可选地，所述预设的分层结构包括生理系统、病种、疾病以及病例，所述按照预设的分层结构将所述待入库医学影像信息和所述预测诊断结果存入所述知识库中包括：
获取所述待入库医学影像信息对应的目标病例；
根据所述预测诊断结果或所述医师诊断结果确定所述待入库医学影像对应的目标生理系统，目标病种以及目标疾病；
在所述知识库包括所述目标病例的所述目标疾病的情况下，按照所述预设的分层结构将所述目标病例的所述待入库医学影像信息和所述预测诊断结果存储在所述知识库中；或者，
在所述知识库不包括所述目标病例的所述目标疾病的情况下，在所述知识库中新建所述目标病例的分层结构数据，并按照所述预设的分层结构将所述目标病例的所述待入库医学影像信息和所述预测诊断结果存储在所述知识库中。
可选地，所述方法还包括：
根据所述医学影像信息获取多个第一目标病例，所述多个第一目标病例的所述医师诊断结果不同且所述多个第一目标病例的目标医学标注影像中的相同标注征象的比例均大于或等于预设的第一比例阈值，所述目标医学标注影像的所述影像部位相同；
根据所述多个第一目标病例获取同影异病疾病信息；
将所述同影异病疾病信息存入所述知识库中。
可选地，所述方法还包括：
根据所述医学影像信息获取多个第二目标病例，所述多个第二目标病例的所述医师诊断结果相同且所述多个第一目标病例的目标医学标注影像中的相同标注征象的比例均小于或者等于预设的第二比例阈值，所述目标医学标注影像的所述影像部位相同；
根据所述多个第二目标病例获取同病异影疾病信息；
将所述同病异影疾病信息存入所述知识库中。
根据本发明实施例的第二方面，提供一种医学影像处理装置，所述装置包括：
获取模块，被配置为根据接收到的操作指令，从预设的知识库中获取医学影像信息；所述医学影像信息包括医学影像和所述医学影像对应的预测诊断结果，所述预测诊断结果为将所述医学影像输入预先训练的影像分类模型后得到的诊断结果；
生成模块，被配置为根据所述操作指令和所述医学影像信息，生成目标影像信息；
展示模块，被配置为展示所述目标影像信息。
可选地，所述医学影像信息还包括所述医学影像对应的第一附属信息，所述第一附属信息包括所述医学影像的影像部位、影像获取时间、关联病例信息以及病情发展动图中的一个或者多个，所述病情发展动图为按影像获取时间排序的多个目标医学影像，所述目标医学影像为目标病例同一影像部位的医学影像；所述生成模块还被配置为：
在所述操作指令包括学习教学指令的情况下，根据所述医学影像和所述第一附属信息，生成第一目标影像信息；所述第一目标影像信息包括用于辅助用户完成学习教学任务的学习教学信息。
可选地，所述生成模块还被配置为：
在所述操作指令包括知识测试指令的情况下，根据所述医学影像和所述第一附属信息，生成第二目标影像信息；所述第二目标影像信息包括用于辅助用户完成模拟考核或者正式考试的知识考核信息。
可选地，所述医学影像包括医学原始影像和/或医学标注影像；所述医学标注影像为根据预先训练的影像标注模型对所述医学原始影像的目标影像征象进行标注后得到的影像，所述目标影像征象为所述医学原始影像中符合预设影像征象的部分或全部图像，所述预测诊断结果为将所述医学原始影像和/或医学标注影像输入预先训练的影像分类模型后得到的诊断结果，所述影像标注模型包括第一子模型、第二子模型和第三子模型，所述第一子模型与所述第二子模型连接，所述第二子模型与所述第三子模型连接，所述第一子模型用于从所述医学原始影像中提取不同尺度的全局特征，所述第二子模型用于根据所述全局特征确定一个或者多个兴趣区域，和所述兴趣区域对应的区域特征，所述第三子模型用于根据所述兴趣区域和所述区域特征，对每一个所述兴趣区域的所述目标影像征象进行标注，所述装置还包括标注模型训练模块，被配置为：
获取第一训练样本，所述第一训练样本包括待标注的第一样本原始影像和每个所述第一样本原始影像分别对应的第一样本标注图像；
根据所述第一训练样本对预设标注模型进行训练，得到所述影像标注模型。
可选地，所述影像分类模型包括第四子模型、第五子模型、第六子模型和第七子模型，所述第四子模型与所述第五子模型连接，所述第五子模型分别与所述第六子模型和所述第七子模型连接，所述第六子模型与所述第七子模型连接，所述第四子模型用于从所述医学原始影像中提取不同尺度的全局特征，所述第五子模型用于根据所述全局特征确定一个或者多个兴趣区域，和所述兴趣区域对应的区域特征，所述第六子模型用于根据所述兴趣区域和所述区域特征，获取每一个所述兴趣区域的所述目标影像征象的前景分数，所述前景分数表征所述兴趣区域多个影像征象的概率，所述第七子模型用于根据所述全局特征、所述区域特征以及所述概率确定所述医学影像的疾病分类结果，所述装置还包括分类模型训练模块，被配置为：
获取第二训练样本，所述第二训练样本包括待分类的多个样本病例的第二样本医学影像和对应的医师诊断结果，所述第二样本医学影像包括第二样本原始影像和/或第二样本标注图像；
根据所述第二训练样本对预设分类模型进行训练，得到所述影像分类模型。
可选地，所述装置还包括知识库建立模块，被配置为：
在所述待入库医学影像信息包括医师诊断结果的情况下，根据所述医师诊断结果按照预设的分层结构将所述待入库医学影像信息和所述预测诊断结果存入所述知识库中；或者，
在所述待入库医学影像信息不包括医师诊断结果的情况下，将所述医学影像输入所述影像分类模型获取所述预测诊断结果，根据所述预测诊断结果按照预设的分层结构将所述待入库医学影像信息和所述预测诊断结果存入所述知识库中。
可选地，所述预设的分层结构包括生理系统、病种、疾病以及病例，所述知识库建立模块，还被配置为：
获取所述待入库医学影像信息对应的目标病例；
根据所述预测诊断结果或所述医师诊断结果确定所述待入库医学影像对应的目标生理系统，目标病种以及目标疾病；
在所述知识库包括所述目标病例的所述目标疾病的情况下，按照所述预设的分层结构将所述目标病例的所述待入库医学影像信息和所述预测诊断结果存储在所述知识库中；或者，
在所述知识库不包括所述目标病例的所述目标疾病的情况下，在所述知识库中新建所述目标病例的分层结构数据，并按照所述预设的分层结构将所述目标病例的所述待入库医学影像信息和所述预测诊断结果存储在所述知识库中。
可选地，所述知识库建立模块，还被配置为：
根据所述医学影像信息获取多个第一目标病例，所述多个第一目标病例的所述医师诊断结果不同且所述多个第一目标病例的目标医学标注影像中的相同标注征象的比例均大于或等于预设的第一比例阈值，所述目标医学标注影像的所述影像部位相同；
根据所述多个第一目标病例获取同影异病疾病信息；
将所述同影异病疾病信息存入所述知识库中。
可选地，所述知识库建立模块，还被配置为：
根据所述医学影像信息获取多个第二目标病例，所述多个第二目标病例的所述医师诊断结果相同且所述多个第一目标病例的目标医学标注影像中的相同标注征象的比例均小于或者等于预设的第二比例阈值，所述目标医学标注影像的所述影像部位相同；
根据所述多个第二目标病例获取同病异影疾病信息；
将所述同病异影疾病信息存入所述知识库中。
根据本发明实施例的第三方面，提供一种电子设备，所述电子设备包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现上述第一方面中的任一实施方式所述方法的步骤。
根据本发明实施例的第四方面，提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面所述方法的步骤。
本发明的实施例提供的技术方案可以包括以下有益效果：
本发明首先根据接收到的操作指令，从预设的知识库中获取医学影像信息，所述医学影像信息包括医学影像和所述医学影像对应的预测诊断结果，所述预测诊断结果为将所述医学影像输入预先训练的影像分类模型后得到的诊断结果；然后根据所述操作指令和所述医学影像信息，生成目标影像信息；最后展示目标影像信息。通过人工智能技术获取医学影像的预测诊断结果，并根据存储的医学影像和对应的预测诊断结果用于医学影像学教学任务，充分利用真实病例的海量影像信息，提供智能化的人机交互教学平台，提升医学影像学教学的教学效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理，但并不构成对本发明的限制。
图1是根据一示例性实施例示出的一种医学影像处理方法的流程图。
图2是根据一示例性实施例示出的一种影像标注模型的结构图。
图3是根据一示例性实施例示出的第一子模型与FPN的架构示意图。
图4是根据一示例性实施例示出的一种影像分类模型的结构图。
图5是根据一示例性实施例示出的另一种医学影像处理方法的流程图。
图6是根据一示例性实施例示出的一种医学影像处理装置的框图。
图7是根据一示例性实施例示出的另一种医学影像处理装置的框图。
图8是根据一示例性实施例示出的又一种医学影像处理装置的框图。
图9是根据一示例性实施例示出的又一种医学影像处理装置的框图。
图10是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子，应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
下面结合具体实施例对本发明进行说明。
图1是根据一示例性实施例示出的一种医学影像处理方法的流程图，如图1所示，该方法可以包括以下步骤：
在步骤S101中，根据接收到的操作指令，从预设的知识库中获取医学影像信息。
其中，医学影像信息包括医学影像和医学影像对应的预测诊断结果，预测诊断结果为将医学影像输入预先训练的影像分类模型后得到的诊断结果。
医学影像是指为了医疗或医学研究，对人体或人体某部分，以非侵入方式取得内部组织影像的技术与处理过程，该医学影像可以包括CT（Computed tomography，计算机断层扫描）、PET（Positron emission tomography，正电子发射断层扫描）或MRI（ Magneticresonance imaging，磁共振成像），该医学影像可以是同一影像部位的一个或者多个断层的医学图像，本发明对医学影像的种类不做限制。
示例地，该预设的知识库可以是包含医学影像的医学数据库，该知识库可以与PACS（Picture Archiving and Communication System，医学影像信息系统）、CIS（Clinical Information System，临床信息系统）连接，该医学影像信息可以从PACS直接获取，也可以通过图像输入设备例如扫描、拍摄现有的医学影像图片获取，本发明对医学影像的获取方式不做限制，需要特别说明的是，为了保护患者的隐私，可以在获取该医学影像并加入该知识库时，可以对患者信息进行匿名化处理，对附着在医学影像上的患者信息也进行匿名化处理，例如可以采用为患者分配唯一ID标识的方式对患者信息进行匿名化处理。
根据该知识库的用户和应用场景的不同，该操作指令可以不同，例如学生可以利用该知识库进行医学影像学知识的自学、模拟考试或者考试，教师可以利用该知识库进行医学影像学知识课件的输出、考试题目的编写，当然，医务工作者也可以利用该知识库进行自学，模拟考核或者考核。
在步骤S102中，根据操作指令和医学影像信息，生成目标影像信息。
在一些实施例中，该知识库中的医学影像信息还可以包括医学影像对应的第一附属信息，该第一附属信息包括医学影像的影像部位、影像获取时间、关联病例信息以及病情发展动图中的一个或者多个，其中病情发展动图为按影像获取时间排序的多个目标医学影像，目标医学影像为目标病例同一影像部位的医学影像，在一些可能的实现方式中，可以根据目标病例同一影像部位的按照时间顺序排列多个医学影像生成该医学影像动图，具体生成的方式可以参见相关技术中的描述，通过该医学影像动图，可以直观展示随时间变化的目标病例的医学影像，进一步提高医学影像学教学的教学效果。在一些可能的实现方式中，该第一附属信息可以从CIS系统和/或PACS系统直接获取，本发明对该第一附属信息的获取方式不做限制。
根据操作指令的不同，可以通过如下的方式根据操作指令和医学影像信息，生成目标影像信息。
方式一、在操作指令包括学习教学指令的情况下，根据医学影像和第一附属信息，生成第一目标影像信息；第一目标影像信息包括用于辅助用户完成学习教学任务的学习教学信息。
在一些可能的实现方式中，该操作指令可以为教学指令，用于用户根据医学影像和/或第一附属信息，生成该第一目标影像信息，用于辅助完成日常教学任务，该第一目标影像信息可以包括知识库中一个或者多个医学影像信息，还可以包括一个或者多个医学影像信息分别对应的第一附属信息。
在另一可能的实现方式中，该操作指令可以为学习指令，用于用户根据医学影像信息和/或第一附属信息，生成该第一目标影像信息，用于辅助完成日常学习任务，该第一目标影像信息可以包括知识库中一个或者多个医学影像信息，还可以包括一个或者多个医学影像信息分别对应的第一附属信息。上述第一目标影像信息可以独立向用户展示，也可以与其他信息一起展示给用户，示例地，承担教学任务的教师可以将第一目标信息嵌入到教学课件中，该第一目标信息也可以嵌入到学习知识体系（例如互动教学系统）中向学生展示。
方式二、在操作指令包括知识测试指令的情况下，根据医学影像和/或第一附属信息，生成第二目标影像信息；第二目标影像信息包括用于辅助用户完成模拟考核或者正式考试的知识考核信息。
在另一可能的实现方式中，该操作指令可以为模拟考核指令，用于根据医学影像和/或第一附属信息，生成第二目标影像信息，该第二目标影像信息包括用于辅助用户完成模拟考核的知识考核信息。
在另一可能的实现方式中，该操作指令可以为正式考试指令，用于根据医学影像和/或第一附属信息，生成第二目标影像信息，该第二目标影像信息包括用于辅助用户完成正式考试的知识考核信息。
上述第二目标影像信息可以独立向用户展示，也可以与其他信息一起展示给用户，示例地，第二目标影像信息可以单独或者与其他信息一起作为模拟考核或者正式考试的考试题目向用户展示，也可以单独或者与其他信息一起作为模拟考核或者正式考试的题目答案供考核责任者参考。
在步骤S103中，展示目标影像信息。
采用上述方案，通过人工智能技术获取医学影像的预测诊断结果，并根据存储的医学影像和对应的预测诊断结果用于医学影像学教学任务，充分利用真实病例的海量影像信息，提供智能化的人机交互教学平台，提升医学影像学教学的教学效果。
在一些实施例中，该医学影像包括医学原始影像和/或医学标注影像；该医学标注影像为根据预先训练的影像标注模型对医学原始影像的目标影像征象进行标注后得到的影像，目标影像征象为医学原始影像中符合预设影像征象的部分或全部图像，预测诊断结果为将医学原始影像和/或医学标注影像输入预先训练的影像分类模型后得到的诊断结果。
对于医学影像学的初学者来说，确定医学影像中的医学影像征象是掌握医学影像学的关键。该医学影像征象可以是影像部位的正常解剖结构，也可以是疾病在不同病例阶段和层次上综合表露出来的目标影响征象。
示例地，以胸部CT为例，目标影像征象可以包括肺结节、肿块、囊状影、实变影、磨玻璃密度影、支气管扩张、网格影、铺路石征、胸腔积液或胸膜增厚等胸部CT影像中常见的异常征象。对医学原始影像的目标影像征象进行标注，可以标注相应的目标影像征象类别，对应的位置，还可以对目标影像征象的特征进行标注，目标影像征象的特征为对目标影像征象的典型表征的描述，以胸部CT为例，目标影像征象的特征可以包括分叶征、毛刺征或空洞等。
通过上述的方案，可以通过预先训练的影像标注模型对对医学原始影像的目标影像征象进行标注，方便知识库的用户从医学标注影像中获取目标影像征象，进一步提升医学影像学教学的教学效果。
在一些实施例中，影像标注模型包括第一子模型、第二子模型和第三子模型，第一子模型与第二子模型连接，第二子模型与第三子模型连接，第一子模型用于从医学原始影像中提取不同尺度的全局特征，第二子模型用于根据全局特征确定一个或者多个兴趣区域，和兴趣区域对应的区域特征，第三子模型用于根据兴趣区域和区域特征，对每一个兴趣区域的目标影像征象进行标注。
在一些可能的实现方式中，第一子模型可以包括ResNet 3D或者Video SwinTransformer，第二子模型可以包括FPN、RPN以及兴趣框模型，其中，兴趣框模型可以包括ROI Pooling或ROI Align，第三子模型可以包括征象标注模型，第二子模型通过卷积层和全连接层与该征象标注模型连接。
图2是根据一示例性实施例示出的一种影像标注模型的结构图，如图2所示，该影像标注模型可以包括：
第一子模型，其中第一子模型用于将从医学原始影像中提取图像特征，该第一子模型可以包括ResNet 3D（Residual Network 3D，3D残差网络）或者Video SwinTransformer。
第二子模型，其中第二子模型包括与第一子模型连接的FPN（Feature PyramidNetworks，特征金字塔网络），用于获得不同尺度的特征图。该不同尺度的特征图融合了不同分辨率、不同语义强度的特征，从而可以完成对应分辨率大小的图像识别，其中低层特征分辨率较高，包含较多细节信息，但是由于经过的卷积较少，其语义性更低，噪声较多，高层特征具有较强的语义信息，但是分辨率较低，对细节的感知能力较差。
图3是根据一示例性实施例示出的第一子模型与FPN的架构示意图，如图3所示，以 该第一子模型为ResNet 3D为例，该医学原始图像输入到ResNet 3D网络的输入层，对医学 原始图像按照局部感受野进行多重卷积处理，将 ResNet 3D网络的第二特征提取阶段（1/ 4）到第六特征提取阶段（1/64）的自下而上的输出进行
Figure 139462DEST_PATH_IMAGE001
卷积（便于对齐通道数进行特 征图融合）后均连接到FPN特征金字塔网络模型的输入，FPN特征金字塔网络模型提取第六 特征提取阶段（1/64）的特征图，并分别对FPN特征金字塔网络模型第六特征提取阶段（1/ 64）到第三特征提取阶段（1/8）输出的阶段特征图通过最近邻插值法的方法进行上采样 (up-sampling)并分别与ResNet 3D网络框架模型的第五特征提取阶段（1/32）到第二特征 提取阶段（1/4）的特征图进行融合得到不同尺度的特征图，将不同尺度的特征图作为该医 学原始图像的图像特征。
第二子模型还包括RPN（Region Proposal Network，区域生成网络），以及与RPN连接的兴趣框模型，该兴趣框模型可以包括ROI Align（Region of Interest Align，兴趣区域对齐）或者ROI Pooling（Region of Interest Pooling，兴趣区域池化）。
RPN的作用为筛选出可能含有目标的候选三维矩形框，RPN是基于滑窗的无类别目标检测器，输入是任意尺度的医学原始图像，输出是一系列候选三维矩形框。例如，RPN通过激活函数（例如Softmax）判断三维锚点Anchors（预定义的框）属于有目标的前景锚点或者无目标的背景锚点，再利用Bounding box regression（边界框回归）对前景锚点进行修正进而获得精确的Region Proposal（区域建议）。
具体通过RPN获得Region Proposal（区域建议）的具体技术方案参见RPN相关技术的实现，此处不再赘述。
以ROI Align作为兴趣框模型为例，其作用是对通过RPN获得的Region Proposal（区域建议）进行多次整数化，因为Region Proposal（区域建议）的结果通常是小数，但是为了方便操作会把它整数化。将整数化后的边界区域平均分割成预设尺寸的小区域，对每一个小区域的边界进行整数化，在一些可能的实现方式中，该预设尺寸可以为7×7×7。给定一个RPN输出的Region Proposal（区域建议），可以采用ROI Align对其局部特征进行提取得到兴趣区域的池化特征。
第三子模型包括征象标注模型，该征象标注模型通过多个卷积层和全连接层与第二子模型连接，用于根据医学原始图像的每一个兴趣区域的池化图像特征对医学原始影像中的目标影像征象进行标注，其中，该征象标注模型可以对目标影像征象的类别，位置以及特征分别进行标注。
具体地，通过多个卷积层和全连接层，可以将第二子模型输出地每一个兴趣区域的池化图像特征转化为每个兴趣区域的特征向量，根据该特征向量完成目标影像征象的类别，位置以及特征进行标注。在一些可能的实现方式中，可以通过第二子模型输出的RegionProposal（区域建议）标注目标影像征象对应的位置，以多层胸部CT为例，该位置信息可以通过3D矩形框的中心点和长宽高尺寸信息表示。具体的，在征象标注模型中，将边界框回归中的平移和尺度放缩的方法从二维进一步扩展到三维，通过训练数据训练该征象标注模型，从而根据兴趣区域获取医学原始影像中的Ground Truth，即该位置信息，通过平移和尺度放缩进行二维边界框回归的方法可以参见相关技术中Faster RCNN（RegionConvolutional Neural Network，区域卷积神经网络）中Bounding box regression（边界框回归）的描述，此处不再赘述。
可以通过全连接层和激活函数（例如Softmax）对目标影像征象的类别以及特征进行分类，在征象标注模型中，根据该特征向量完成目标影像征象的类别和特征进行分类的具体技术方案可以参见Faster RCNN（Region Convolutional Neural Network，区域卷积神经网络）中的描述，此处不再展开赘述。
示例地，在根据该特征向量完成目标影像征象的类别，位置以及特征进行标注之后，针对Region Proposal（区域建议）得到的结果可以包括：
1、位置信息，维度为M×6，其中，M为兴趣区域的个数，6为该兴趣区域的三维矩形框的中心点坐标以及长宽高信息。
2、征象类别信息，维度为M×N1×2，其中M为兴趣区域的个数，N1为目标影像征象的个数，2表征是否存在该目标影像征象（例如0表征不存在该目标影像征象，1表征存在该目标影像征象）。
3、目标影像征象的特征信息，维度为M×N2×2，其中M为兴趣区域的个数，N2为目标影像征象的特征个数，2表征是否存在该目标影像征象的特征信息（例如0表征不存在该目标影像征象的特征，1表征存在该目标影像征象的特征）。
在另一实施例中，该影像标注模型通过如下步骤训练获得：
步骤1、获取第一训练样本。
其中，第一训练样本包括待标注的第一样本原始影像和每个第一样本原始影像分别对应的第一样本标注图像。
其中，第一样本标注图像可以包括目标影像征象的标注信息，包括类别标注（例如胸部CT对应的目标影像征象类别），位置标注（例如该目标影像征象对应的3D矩形框），还包括目标影像征象的特征标注（例如胸部CT对应的分叶征、毛刺征或空洞等）。
步骤2、根据第一训练样本对预设标注模型进行训练，得到影像标注模型。
根据第一训练样本对预设标注模型进行训练，在训练阶段通过对影像标注模型的预测输出和第一样本标注图像的标注信息之间计算损失函数，并使用梯度下降等优化方法就可以完成对影像标注模型的参数的训练。
在另一实施例中，该影像分类模型包括第四子模型、第五子模型、第六子模型和第七子模型，第四子模型与第五子模型连接，第五子模型分别与第六子模型和第七子模型连接，第六子模型与第七子模型连接，第四子模型用于从医学原始影像中提取不同尺度的全局特征，第五子模型用于根据全局特征确定一个或者多个兴趣区域，和兴趣区域对应的区域特征，第六子模型用于根据兴趣区域和区域特征，获取每一个兴趣区域的目标影像征象的前景分数，前景分数表征兴趣区域多个影像征象的概率，第七子模型用于根据全局特征、区域特征以及概率确定医学影像的疾病分类结果。在一些可能的实现方式中，第四子模型可以包括ResNet 3D或者Video Swin Transformer，第五子模型可以包括FPN、RPN以及兴趣框模型，兴趣框模型包括ROI Pooling或ROI Align，第六子模型包括，第七子模型包括特征融合模型和疾病分类模型，其中，特征融合模型包括ViT(vision transformer)。
图4是根据一示例性实施例示出的一种影像分类模型的结构图，如图4所示，该影像分类模型可以包括：
第四子模型和第五子模型，可以分别参见影像标注模型中的第一子模型和第二子模型的描述，此处不再赘述。
该第七子模型可以包括特征融合模型和疾病分类模型，第五子模型通过FPN与特征融合模型连接，用于特征融合模型从FPN获取不同尺度的特征图，第五子模型还通过RPN和兴趣框模型经过卷积层和全连接层后与特征融合模型连接，用于特征融合模型获取多个兴趣区域对应的特征向量。
第七子模型的具体处理步骤如下：
步骤1、通过多个卷积层和全连接层，可以将第五子模型输出地每一个兴趣区域的池化图像特征转化为每个兴趣区域的特征向量（M×C1），其中M表征兴趣区域的个数。
步骤2、在第五子模型的FPN输出的不同尺度的特征图中获取全局特征，在一些可能的实现方式中，可以获取FPN输出的不同尺度的特征图中获取分辨率最小的目标特征图，作为表达全局特征的特征图（D×H×W×C），其中D×H×W表征特征图的尺寸，C表征目标特征图对应的通道数，该通道数也被称为特征的维度，在一些可能的实现方式中，该特征的维度可以通过第一子模型中卷积计算的卷积核的个数确定。
步骤3、根据目标特征图的特征维度，将多个兴趣区域的特征向量进行维度转化（M×C），使得兴趣区域的特征向量维度转化为与目标特征图相同的维度，从而便于全局特征和局部特征的融合。
步骤4、将全局特征和局部特征进行拼接，将拼接后的得到的特征向量D×H×W×C+ M×C作为ViT 的D×H×W+M 个视觉token，进行多头自注意力（multi-head self-attention）和前馈网络（feed forward network）计算，得到全局特征和局部特征的融合特征。
步骤5、从上述融合特征中提取D×H×W×C的特征，对其进行均值池化（GlobalAverage Pooling），得到C维的特征向量，作为特征融合模型的输出，在一些可能的实现方式中，可以通过均值池化（Global Average Pooling）对上述D×H×W×C的特征进行下采样，确定特征融合模型的输出。
具体关于特征融合模型的技术描述可以进一步参考ViT中的描述，此处不再进一步展开赘述。
示例地，疾病分类模型可以包括全连接层和基于BCE（binary cross entropyloss）的Sigmoid函数，通过全连接层和Sigmoid函数可以获得多个疾病分类的分类结果，具体可以参见相关技术中的描述，此处不再赘述。
在另一实施例中，还可以通过如下步骤为了进一步提升影像分类模型的效率。
在对根据目标特征图的特征维度，将多个兴趣区域的特征向量进行维度转化之前，通过第六子模型的征象标注模型对目标影像征象的类别进行分类，在一些可能的实现方式中，可以通过Softmax函数获取每一个兴趣区域多个影像征象的概率（也被称为前景分数），在该任一目标影像征象的概率大于或者等于预设的概率阈值的情况下，确定该兴趣区域的征象类别信息为该目标影像征象。然后，从多个兴趣区域中，选取N个前景分数最高的兴趣区域池化特征，作为表达关键局部特征的局部特征向量（N×C1），其中N小于等于M，N可以作为影像分类模型的预设参数。在一些实施例中，影像分类模型通过如下步骤训练获得：
步骤1、获取第二训练样本。
其中，第二训练样本包括待分类的多个样本病例的第二样本医学影像和对应的医师诊断结果，第二样本医学影像包括第二样本原始影像和/或第二样本标注图像。
步骤2、根据第二训练样本对预设分类模型进行训练，得到影像分类模型。
根据第二训练样本对预设分类模型进行训练，在训练阶段通过对影像分类模型的预测输出和对应的医师诊断结果之间计算损失函数，并使用梯度下降等优化方法就可以完成对影像分类模型的参数的训练。
图5是根据一示例性实施例示出的另一种医学影像处理方法的流程图，如图5所示，该方法可以包括以下步骤：
在步骤S104中，获取待入库医学影像信息，将待入库医学影像信息输入影像分类模型获取预测诊断结果。
其中，待入库医学影像信息包括待入库医学影像和对应的第二附属信息，第二附属信息包括影像获取时间和关联病例信息。
在步骤S105中，在待入库医学影像信息包括医师诊断结果的情况下，根据医师诊断结果按照预设的分层结构将待入库医学影像信息和预测诊断结果存入知识库中。
示例地，该待入库医学影像信息还可以包括医师诊断结果，在此情况下，可以按照医师诊断结果预设的分层结构将待入库医学影像信息、预测诊断结果以及第二附属信息存入知识库中。
在步骤S106中，在待入库医学影像信息不包括医师诊断结果的情况下，根据预测诊断结果按照预设的分层结构将待入库医学影像信息和预测诊断结果存入知识库中。
示例地，该待入库医学影像信息也可以不包括医师诊断结果，或者不包含权威医师的医师诊断结果，在此情况下，可以根据预测诊断结果按照预设的分层结构将待入库医学影像信息、预测诊断结果以及第二附属信息存入知识库中，在一些可能的实现方式中，在根据预测诊断结果按照预设的分层结构将待入库医学影像信息、预测诊断结果以及第二附属信息存入知识库之前，还可以弹出确认窗口，在经过医师确认后在将待入库医学影像信息、预测诊断结果以及第二附属信息存入知识库。
在一些实施例中，该预设的分层结构包括生理系统、病种、疾病以及病例，例如呼吸系统，肺部感染，肺真菌感染，病例1，根据该预设的分层结构可以将该病例肺真菌感染相关的医学影像信息保存在该知识库中。
在一些可能的实现方式中，可以通过如下的步骤将待入库医学影像信息和预测诊断结果存入知识库中。
步骤1、获取待入库医学影像信息对应的目标病例。
步骤2、根据预测诊断结果或医师诊断结果确定待入库医学影像对应的目标生理系统，目标病种以及目标疾病。
在一些可能的实现方式中，可以疾病诊断结果根据预设的目标生理系统、目标病种和目标疾病的对应关系中确定医学影像对应的目标生理系统，目标病种以及目标疾病。
示例地，在预测诊断结果或医师诊断结果为肺真菌感染的情况下，确定目标生理系统，目标病种以及目标疾病分别为呼吸系统，肺部感染以及肺真菌感染。
步骤3、在知识库包括目标病例的目标疾病的情况下，按照预设的分层结构将目标病例的待入库医学影像信息和预测诊断结果存储在知识库中；或者，
示例地，可以根据待入库医学影像信息的第二附属信息确定该待入库医学影像信息对应的病例标识（例如病例ID），以及预测诊断结果或医师诊断结果确定知识库是否包括目标病例的目标疾病，在知识库包括目标病例的目标疾病的情况下，可以根据影像获取时间将待入库医学影像信息保存在知识库中，从而避免相同的医学影像信息重复地保存在知识库中，同时也能够提供目标病例目标疾病的医学影像信息随时间不同的变化情况。
步骤4、在知识库不包括目标病例的目标疾病的情况下，在知识库中新建目标病例的分层结构数据，并按照预设的分层结构将目标病例的待入库医学影像信息和预测诊断结果存储在知识库中。
通过上述的方案，可以将待入库医学影像信息输入预先训练的影像分类模型获取预测诊断结果，并根据预设的分层结构将待入库医学影像信息和预测诊断结果存入知识库中，有效的利用现有医学影像信息，进一步提升医学影像学教学的教学效果。
在另一实施例中，可以获取目标疾病下目标病例的多个目标医学影像后，根据该多个目标医学影像以及对应的影像获取时间生成目标疾病下该目标病例的目标病情发展动图，并按照预设的分层结构将目标病情发展动图存入知识库中。
在又一实施例中，医学影像信息还包括多个医学影像切片，示例地，该医学影像切片可以是针对目标病例的同一影像部位的多个断层扫描图片。该多个医学影像切片的影像获取时间相同或者影像获取时间偏差小于或者等于预设的时间偏差阈值。可以获取目标疾病下目标病例的多个医学影像切片后，可以对该多个医学影像切片进行三维重建，生成三维重建医学影像，并按照预设的分层结构将三维重建医学影像存入知识库中。
通过上述的方案，可以对知识库中的医学影像信息按照目标病例进行进一步关联处理，形成更直观的复合医学影像，进一步提升医学影像学教学的教学效果。
在医学实践中，还可能出现同病异影或同影异病的现象，同病异影表征同一种疾病对应不同的医学影像学表现，例如肺巨细胞病毒感染，可以表现为肺内散在磨玻璃密度淡片影、分布较局限，也可以呈双肺弥漫均匀分布磨玻璃影，还可以表现为斑片实变影。而同影异病表征不同的疾病对应相同的医学影像学表现，例如肺内多发磨玻璃影，可以是新型冠状病毒肺炎，也可以是巨细胞病毒性肺炎或耶氏肺孢子菌肺炎，也可以是弥漫性肺泡出血或肺泡性肺水肿，还可以是外源性过敏性肺泡炎。这是医学影像学的重点和难点。
在一些实施例中，可以通过如下的方法获取同影异病疾病信息，并将同影异病疾病信息存入知识库中。
步骤1、根据医学影像信息获取多个第一目标病例。
其中，多个第一目标病例的医师诊断结果不同且多个第一目标病例的目标医学标注影像中的相同标注征象的比例均大于或等于预设的第一比例阈值，目标医学标注影像的影像部位相同。
步骤2、根据多个第一目标病例获取同影异病疾病信息。
示例地，第二附属信息还可以包括病理学和/或病原学诊断结果，可以根据医师诊断结果从多个第一目标病例中筛选同影异病病例，还可以根据医师诊断结果，结合病理学和/或病原学检查结果，从而获取准确的同影异病疾病信息。
步骤3、将同影异病疾病信息存入知识库中。
示例地，可以根据同影异病疾病信息在知识库中建立多个同影异病病例的关联关系。
通过上述的方案，可以对知识库中的医学影像信息中多个目标病例进行进一步关联处理，通过多个目标病例的关联，有利于用户积累医学影像学中同影异病的处理经验，进一步提升医学影像学教学的教学效果。
在另一实施例中，可以通过如下的方法获取同病异影疾病信息，并将同病异影疾病信息存入知识库中。
步骤1、根据医学影像信息获取多个第二目标病例。
其中，多个第二目标病例的医师诊断结果相同且多个第一目标病例的目标医学标注影像中的相同标注征象的比例均小于或者等于预设的第二比例阈值，目标医学标注影像的影像部位相同。
步骤2、根据多个第二目标病例获取同病异影疾病信息。
示例地，第二附属信息还可以包括病理学和/或病原学诊断结果，可以根据医师诊断结果从多个第二目标病例中筛选同病异影病例，也可以根据医师诊断结果结合病理学和/或病原学诊断结果从多个第二目标病例中筛选同病异影病例，从而获取准确的同病异影疾病信息。
步骤3、将同病异影疾病信息存入知识库中。
示例地，可以根据同病异影疾病信息在知识库中建立多个同病异影病例的关联关系。
通过上述的方案，可以对知识库中的医学影像信息中多个目标病例进行进一步关联处理，通过多个目标病例的关联，有利于用户积累医学影像学中同病异影的处理经验，进一步提升医学影像学教学的教学效果。
图6是根据一示例性实施例示出的一种医学影像处理装置的框图，如图6所示，该医学影像处理装置600，包括：
获取模块601，被配置为根据接收到的操作指令，从预设的知识库中获取医学影像信息；医学影像信息包括医学影像和医学影像对应的预测诊断结果，预测诊断结果为将医学影像输入预先训练的影像分类模型后得到的诊断结果；
生成模块602，被配置为根据操作指令和医学影像信息，生成目标影像信息；
展示模块603，被配置为展示目标影像信息。
可选地，医学影像信息还包括医学影像对应的第一附属信息，第一附属信息包括医学影像的影像部位、影像获取时间、关联病例信息以及病情发展动图中的一个或者多个，病情发展动图为按影像获取时间排序的多个目标医学影像，目标医学影像为目标病例同一影像部位的医学影像；生成模块602还被配置为：
在操作指令包括学习教学指令的情况下，根据医学影像和第一附属信息，生成第一目标影像信息；第一目标影像信息包括用于辅助用户完成学习教学任务的学习教学信息。
可选地，生成模块602还被配置为：
在操作指令包括知识测试指令的情况下，根据医学影像和第一附属信息，生成第二目标影像信息；第二目标影像信息包括用于辅助用户完成模拟考核或者正式考试的知识考核信息。
可选地，医学影像包括医学原始影像和/或医学标注影像；医学标注影像为根据预先训练的影像标注模型对医学原始影像的目标影像征象进行标注后得到的影像，目标影像征象为医学原始影像中符合预设影像征象的部分或全部图像，预测诊断结果为将医学原始影像和/或医学标注影像输入预先训练的影像分类模型后得到的诊断结果。
图7是根据一示例性实施例示出的一种医学影像处理装置的框图，影像标注模型包括第一子模型、第二子模型和第三子模型，第一子模型与第二子模型连接，第二子模型与第三子模型连接，第一子模型用于从医学原始影像中提取不同尺度的全局特征，第二子模型用于根据全局特征确定一个或者多个兴趣区域，和兴趣区域对应的区域特征，第三子模型用于根据兴趣区域和区域特征，对每一个兴趣区域的目标影像征象进行标注，如图7所示，该医学影像处理装置600，还包括影像标注模型训练模块604，被配置为：
获取第一训练样本，第一训练样本包括待标注的第一样本原始影像和每个第一样本原始影像分别对应的第一样本标注图像；
根据第一训练样本对预设标注模型进行训练，得到影像标注模型。
图8是根据一示例性实施例示出的一种医学影像处理装置的框图，影像分类模型包括第四子模型、第五子模型、第六子模型和第七子模型，第四子模型与第五子模型连接，第五子模型分别与第六子模型和第七子模型连接，第六子模型与第七子模型连接，第四子模型用于从医学原始影像中提取不同尺度的全局特征，第五子模型用于根据全局特征确定一个或者多个兴趣区域，和兴趣区域对应的区域特征，第六子模型用于根据兴趣区域和区域特征，获取每一个兴趣区域的目标影像征象的前景分数，前景分数表征兴趣区域多个影像征象的概率，第七子模型用于根据全局特征、区域特征以及概率确定医学影像的疾病分类结果，如图8所示，该医学影像处理装置600，还包括影像分类模型训练模块605，被配置为：
获取第二训练样本，第二训练样本包括待分类的多个样本病例的第二样本医学影像和对应的医师诊断结果，第二样本医学影像包括第二样本原始影像和/或第二样本标注图像；
根据第二训练样本对预设分类模型进行训练，得到影像分类模型。
图9是根据一示例性实施例示出的一种医学影像处理装置的框图，如图9所示，该医学影像处理装置600，还包括知识库建立模块606，被配置为：
在待入库医学影像信息包括医师诊断结果的情况下，根据医师诊断结果按照预设的分层结构将待入库医学影像信息和预测诊断结果存入知识库中；或者，
在待入库医学影像信息不包括医师诊断结果的情况下，将医学影像输入影像分类模型获取预测诊断结果，根据预测诊断结果按照预设的分层结构将待入库医学影像信息和预测诊断结果存入知识库中。
可选地，预设的分层结构包括生理系统、病种、疾病以及病例，知识库建立模块606，还被配置为：
获取待入库医学影像信息对应的目标病例；
根据预测诊断结果或医师诊断结果确定待入库医学影像对应的目标生理系统，目标病种以及目标疾病；
在知识库包括目标病例的目标疾病的情况下，按照预设的分层结构将目标病例的待入库医学影像信息和预测诊断结果存储在知识库中；或者，
在知识库不包括目标病例的目标疾病的情况下，在知识库中新建目标病例的分层结构数据，并按照预设的分层结构将目标病例的待入库医学影像信息和预测诊断结果存储在知识库中。
可选地，知识库建立模块606，还被配置为：
根据医学影像信息获取多个第一目标病例，多个第一目标病例的医师诊断结果不同且多个第一目标病例的目标医学标注影像中的相同标注征象的比例均大于或等于预设的第一比例阈值，目标医学标注影像的影像部位相同；
根据多个第一目标病例获取同影异病疾病信息；
将同影异病疾病信息存入知识库中。
可选地，知识库建立模块606，还被配置为：
根据医学影像信息获取多个第二目标病例，多个第二目标病例的医师诊断结果相同且多个第一目标病例的目标医学标注影像中的相同标注征象的比例均小于或者等于预设的第二比例阈值，目标医学标注影像的影像部位相同；
根据多个第二目标病例获取同病异影疾病信息；
将同病异影疾病信息存入知识库中。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
通过人工智能技术获取医学影像的预测诊断结果，并根据存储的医学影像和对应的预测诊断结果用于医学影像学教学任务，充分利用真实病例的海量影像信息，提供智能化的人机交互教学平台，提升医学影像学教学的教学效果。
图10是根据一示例性实施例示出的一种电子设备1000的框图。如图10所示，该电子设备1000可以包括：处理器1001，存储器1002。该电子设备1000还可以包括多媒体组件1003，输入/输出接口1004，以及通信组件1005中的一者或多者。
其中，处理器1001用于控制该电子设备1000的整体操作，以完成上述的医学影像处理方法中的全部或部分步骤。存储器1002用于存储各种类型的数据以支持在该电子设备1000的操作，这些数据例如可以包括用于在该电子设备1000上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器1002可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器（Static Random Access Memory，简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory，简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read-Only Memory，简称EPROM），可编程只读存储器（Programmable Read-Only Memory，简称PROM），只读存储器（Read-Only Memory，简称ROM），磁存储器，快闪存储器，磁盘或光盘。多媒体组件1003可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1002或通过通信组件1005发送。音频组件还包括至少一个扬声器，用于输出音频信号。输入/输出接口1004为处理器1001和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件1005用于该电子设备1000与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信（NearField Communication，简称NFC），2G、3G、4G、NB-IOT、eMTC、或其他5G等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件1005可以包括：Wi-Fi模块，蓝牙模块，NFC模块等等。
在另一示例性实施例中，还提供了一种包括程序指令的非临时性计算机可读存储介质，该程序指令被处理器执行时实现上述的医学影像处理方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器1002，上述程序指令可由电子设备1000的处理器1001执行以完成上述的医学影像处理方法。
本领域技术人员在考虑说明书及实践本发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (13)

1.一种医学影像处理方法，其特征在于，所述方法包括：
根据接收到的操作指令，从预设的知识库中获取医学影像信息；所述医学影像信息包括医学影像和所述医学影像对应的预测诊断结果，所述预测诊断结果为将所述医学影像输入预先训练的影像分类模型后得到的诊断结果；
根据所述操作指令和所述医学影像信息，生成目标影像信息；
展示所述目标影像信息。
2.根据权利要求1所述的方法，其特征在于，所述医学影像信息还包括所述医学影像对应的第一附属信息，所述第一附属信息包括所述医学影像的影像部位、影像获取时间、关联病例信息以及病情发展动图中的一个或者多个，所述病情发展动图为按影像获取时间排序的多个目标医学影像，所述目标医学影像为目标病例同一影像部位的医学影像；
所述根据所述操作指令和所述医学影像信息，生成目标影像信息包括：
在所述操作指令包括学习教学指令的情况下，根据所述医学影像和所述第一附属信息，生成第一目标影像信息；所述第一目标影像信息包括用于辅助用户完成学习教学任务的学习教学信息。
3.根据权利要求2所述的方法，其特征在于，所述根据所述操作指令和所述医学影像信息，生成目标影像信息包括：
在所述操作指令包括知识测试指令的情况下，根据所述医学影像和所述第一附属信息，生成第二目标影像信息；所述第二目标影像信息包括用于辅助用户完成模拟考核或者正式考试的知识考核信息。
4.根据权利要求1所述的方法，其特征在于，所述医学影像包括医学原始影像和/或医学标注影像；所述医学标注影像为根据预先训练的影像标注模型对所述医学原始影像的目标影像征象进行标注后得到的影像，所述目标影像征象为所述医学原始影像中符合预设影像征象的部分或全部图像，所述预测诊断结果为将所述医学原始影像和/或医学标注影像输入预先训练的影像分类模型后得到的诊断结果。
5.根据权利要求4所述的方法，其特征在于，所述影像标注模型包括第一子模型、第二子模型和第三子模型，所述第一子模型与所述第二子模型连接，所述第二子模型与所述第三子模型连接，所述第一子模型用于从所述医学原始影像中提取不同尺度的全局特征，所述第二子模型用于根据所述全局特征确定一个或者多个兴趣区域，和所述兴趣区域对应的区域特征，所述第三子模型用于根据所述兴趣区域和所述区域特征，对每一个所述兴趣区域的所述目标影像征象进行标注，所述影像标注模型通过如下步骤训练获得：
获取第一训练样本，所述第一训练样本包括待标注的第一样本原始影像和每个所述第一样本原始影像分别对应的第一样本标注图像；
根据所述第一训练样本对预设标注模型进行训练，得到所述影像标注模型。
6.根据权利要求4所述的方法，其特征在于，所述影像分类模型包括第四子模型、第五子模型、第六子模型和第七子模型，所述第四子模型与所述第五子模型连接，所述第五子模型分别与所述第六子模型和所述第七子模型连接，所述第六子模型与所述第七子模型连接，所述第四子模型用于从所述医学原始影像中提取不同尺度的全局特征，所述第五子模型用于根据所述全局特征确定一个或者多个兴趣区域，和所述兴趣区域对应的区域特征，所述第六子模型用于根据所述兴趣区域和所述区域特征，获取每一个所述兴趣区域的所述目标影像征象的前景分数，所述前景分数表征所述兴趣区域多个影像征象的概率，所述第七子模型用于根据所述全局特征、所述区域特征以及所述概率确定所述医学影像的疾病分类结果，所述影像分类模型通过如下步骤训练获得：
获取第二训练样本，所述第二训练样本包括待分类的多个样本病例的第二样本医学影像和对应的医师诊断结果，所述第二样本医学影像包括第二样本原始影像和/或第二样本标注图像；
根据所述第二训练样本对预设分类模型进行训练，得到所述影像分类模型。
7.根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括：
获取待入库医学影像信息，将所述待入库医学影像信息输入所述影像分类模型获取所述预测诊断结果，所述待入库医学影像信息包括待入库医学影像和对应的第二附属信息，所述第二附属信息包括影像获取时间和关联病例信息；
在所述待入库医学影像信息包括医师诊断结果的情况下，根据所述医师诊断结果按照预设的分层结构将所述待入库医学影像信息和所述预测诊断结果存入所述知识库中；或者，
在所述待入库医学影像信息不包括医师诊断结果的情况下，根据所述预测诊断结果按照预设的分层结构将所述待入库医学影像信息和所述预测诊断结果存入所述知识库中。
8.根据权利要求7所述的方法，其特征在于，所述预设的分层结构包括生理系统、病种、疾病以及病例，所述按照预设的分层结构将所述待入库医学影像信息和所述预测诊断结果存入所述知识库中包括：
获取所述待入库医学影像信息对应的目标病例；
根据所述预测诊断结果或所述医师诊断结果确定所述待入库医学影像对应的目标生理系统，目标病种以及目标疾病；
在所述知识库包括所述目标病例的所述目标疾病的情况下，按照所述预设的分层结构将所述目标病例的所述待入库医学影像信息和所述预测诊断结果存储在所述知识库中；或者，
在所述知识库不包括所述目标病例的所述目标疾病的情况下，在所述知识库中新建所述目标病例的分层结构数据，并按照所述预设的分层结构将所述目标病例的所述待入库医学影像信息和所述预测诊断结果存储在所述知识库中。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
根据所述医学影像信息获取多个第一目标病例，所述多个第一目标病例的所述医师诊断结果不同且所述多个第一目标病例的目标医学标注影像中的相同标注征象的比例均大于或等于预设的第一比例阈值，所述目标医学标注影像的所述影像部位相同；
根据所述多个第一目标病例获取同影异病疾病信息；
将所述同影异病疾病信息存入所述知识库中。
10.根据权利要求8所述的方法，其特征在于，所述方法还包括：
根据所述医学影像信息获取多个第二目标病例，所述多个第二目标病例的所述医师诊断结果相同且所述多个第一目标病例的目标医学标注影像中的相同标注征象的比例均小于或者等于预设的第二比例阈值，所述目标医学标注影像的所述影像部位相同；
根据所述多个第二目标病例获取同病异影疾病信息；
将所述同病异影疾病信息存入所述知识库中。
11.一种医学影像处理装置，其特征在于，所述装置包括：
获取模块，被配置为根据接收到的操作指令，从预设的知识库中获取医学影像信息；所述医学影像信息包括医学影像和所述医学影像对应的预测诊断结果，所述预测诊断结果为将所述医学影像输入预先训练的影像分类模型后得到的诊断结果；
生成模块，被配置为根据所述操作指令和所述医学影像信息，生成目标影像信息；
展示模块，被配置为展示所述目标影像信息。
12.一种电子设备，其特征在于，包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1至10中任一项所述方法的步骤。
13.一种非临时性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1至10中任一项所述方法的步骤。
CN202210888037.7A 2022-07-27 2022-07-27 医学影像处理方法、装置、电子设备及存储介质 Pending CN114974522A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210888037.7A CN114974522A (zh) 2022-07-27 2022-07-27 医学影像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210888037.7A CN114974522A (zh) 2022-07-27 2022-07-27 医学影像处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114974522A true CN114974522A (zh) 2022-08-30

Family

ID=82968851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210888037.7A Pending CN114974522A (zh) 2022-07-27 2022-07-27 医学影像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114974522A (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150356272A1 (en) * 2014-06-10 2015-12-10 Taipei Medical University Prescription analysis system and method for applying probabilistic model based on medical big data
CN106203432A (zh) * 2016-07-14 2016-12-07 杭州健培科技有限公司 一种基于卷积神经网显著性图谱的感兴趣区域的定位方法
CN107644419A (zh) * 2017-09-30 2018-01-30 百度在线网络技术（北京）有限公司 用于分析医学影像的方法和装置
CN109919928A (zh) * 2019-03-06 2019-06-21 腾讯科技（深圳）有限公司 医学影像的检测方法、装置和存储介质
CN110321920A (zh) * 2019-05-08 2019-10-11 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机可读存储介质和计算机设备
CN110335259A (zh) * 2019-06-25 2019-10-15 腾讯科技（深圳）有限公司 一种医学影像识别方法、装置和存储介质
CN112927110A (zh) * 2021-01-28 2021-06-08 杭州联众医疗科技股份有限公司 一种基于医学影像的医学教育系统
US20210192727A1 (en) * 2019-12-20 2021-06-24 The Regents Of The University Of Michigan Computer vision technologies for rapid detection
CN113409280A (zh) * 2021-06-24 2021-09-17 青岛海信医疗设备股份有限公司 医学影像的处理方法、标注方法和电子设备
CN113762285A (zh) * 2021-09-10 2021-12-07 程明霞 一种分析和处理医学影像的系统及方法
US20210407077A1 (en) * 2018-12-04 2021-12-30 Hoya Corporation Information processing device and model generation method
CN114582470A (zh) * 2022-04-29 2022-06-03 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种模型的训练方法、训练装置及医学影像报告标注方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150356272A1 (en) * 2014-06-10 2015-12-10 Taipei Medical University Prescription analysis system and method for applying probabilistic model based on medical big data
CN106203432A (zh) * 2016-07-14 2016-12-07 杭州健培科技有限公司 一种基于卷积神经网显著性图谱的感兴趣区域的定位方法
CN107644419A (zh) * 2017-09-30 2018-01-30 百度在线网络技术（北京）有限公司 用于分析医学影像的方法和装置
US20210407077A1 (en) * 2018-12-04 2021-12-30 Hoya Corporation Information processing device and model generation method
CN109919928A (zh) * 2019-03-06 2019-06-21 腾讯科技（深圳）有限公司 医学影像的检测方法、装置和存储介质
US20210365741A1 (en) * 2019-05-08 2021-11-25 Tencent Technology (Shenzhen) Company Limited Image classification method, computer-readable storage medium, and computer device
CN110321920A (zh) * 2019-05-08 2019-10-11 腾讯科技（深圳）有限公司 图像分类方法、装置、计算机可读存储介质和计算机设备
CN110335259A (zh) * 2019-06-25 2019-10-15 腾讯科技（深圳）有限公司 一种医学影像识别方法、装置和存储介质
US20210192727A1 (en) * 2019-12-20 2021-06-24 The Regents Of The University Of Michigan Computer vision technologies for rapid detection
CN112927110A (zh) * 2021-01-28 2021-06-08 杭州联众医疗科技股份有限公司 一种基于医学影像的医学教育系统
CN113409280A (zh) * 2021-06-24 2021-09-17 青岛海信医疗设备股份有限公司 医学影像的处理方法、标注方法和电子设备
CN113762285A (zh) * 2021-09-10 2021-12-07 程明霞 一种分析和处理医学影像的系统及方法
CN114582470A (zh) * 2022-04-29 2022-06-03 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种模型的训练方法、训练装置及医学影像报告标注方法

Similar Documents

Publication Publication Date Title
US11748889B2 (en) Brain image segmentation method and apparatus, network device, and storage medium
CN109166130B (zh) 一种图像处理方法及图像处理装置
US20210406591A1 (en) Medical image processing method and apparatus, and medical image recognition method and apparatus
WO2022057078A1 (zh) 基于集成知识蒸馏的实时肠镜影像分割方法及装置
CN109523535B (zh) 一种病变图像的预处理方法
CN114283151A (zh) 用于医学图像的图像处理方法、装置、设备及存储介质
CN110648331B (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
CN112966792B (zh) 血管图像分类处理方法、装置、设备及存储介质
Zhang et al. Dual encoder fusion u-net (defu-net) for cross-manufacturer chest x-ray segmentation
CN116469545A (zh) 使用医学图像进行辅助疾病预测的方法、装置及设备
CN111524109A (zh) 头部医学影像的评分方法和装置、电子设备及存储介质
CN117237351B (zh) 一种超声图像分析方法以及相关装置
Guo et al. Blind image quality assessment for pathological microscopic image under screen and immersion scenarios
CN113129310B (zh) 一种基于注意力路由的医学图像分割系统
Wang et al. Automatic consecutive context perceived transformer GAN for serial sectioning image blind inpainting
CN113822323A (zh) 脑部扫描图像的识别处理方法、装置、设备及存储介质
Wang et al. A novel automatic acne detection and severity quantification scheme using deep learning
CN113724185A (zh) 用于图像分类的模型处理方法、装置及存储介质
CN111209946B (zh) 三维图像处理方法、图像处理模型训练方法及介质
CN115953345B (zh) 脑出血医学图像的病变合成方法、装置及存储介质
CN111918611B (zh) 胸部x线图像的异常显示控制方法、记录介质及装置
AU2019204365C1 (en) Method and System for Image Segmentation and Identification
CN115965785A (zh) 图像分割方法、装置、设备、程序产品及介质
Ankireddy Assistive diagnostic tool for brain tumor detection using computer vision
CN114974522A (zh) 医学影像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination