CN114663715A - 医学图像质控、分类模型训练方法、装置及计算机设备 - Google Patents

医学图像质控、分类模型训练方法、装置及计算机设备 Download PDF

Info

Publication number
CN114663715A
CN114663715A CN202210582017.7A CN202210582017A CN114663715A CN 114663715 A CN114663715 A CN 114663715A CN 202210582017 A CN202210582017 A CN 202210582017A CN 114663715 A CN114663715 A CN 114663715A
Authority
CN
China
Prior art keywords
medical image
convolutional network
image
branch
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210582017.7A
Other languages
English (en)
Other versions
CN114663715B (zh
Inventor
张俊杰
霍志敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Taimei Medical Technology Co Ltd
Original Assignee
Zhejiang Taimei Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Taimei Medical Technology Co Ltd filed Critical Zhejiang Taimei Medical Technology Co Ltd
Priority to CN202210582017.7A priority Critical patent/CN114663715B/zh
Publication of CN114663715A publication Critical patent/CN114663715A/zh
Application granted granted Critical
Publication of CN114663715B publication Critical patent/CN114663715B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施方式提供一种医学图像质控、分类模型训练方法、装置及计算机设备。该方法通过将针对指定医学检查项目的二维医学图像输入至医学图像分类模型中，降低了模型处理对象的复杂度，减少模型的响应时间。并利用医学图像分类模型对所述二维医学图像进行身体部位识别，确定所述二维医学图像对应的身体部位类别，从而根据二维医学图像对应的身体部位类别与所述指定医学检查项目所要求的目标部位生成针对指定医学检查项目的目标医学图像序列的质控结果。

Description

医学图像质控、分类模型训练方法、装置及计算机设备
技术领域
本说明书实施方式涉及医学图像处理技术领域，具体涉及一种医学图像质控、分类模型训练方法、装置及计算机设备。
背景技术
在肿瘤药物研发过程中需要招募受试者进行药物评估，经过筛选的受试者可以服用研发的药物以辅助研究者执行临床研究试验。在临床研究试验的过程中，通过医学成像设备在不同时期对受试者进行检查和拍摄，得到三维的医学图像序列。进一步地，由于医学检查图像序列作为评估药效的依据，因此需要确保医学图像序列的质量。
发明内容
有鉴于此，本说明书实施方式致力于提供一种医学图像质控、分类模型训练方法、装置及计算机设备，以减少质量控制的响应时间。
本说明书实施方式提供了一种医学图像序列质控方法，所述方法包括：将针对指定医学检查项目的二维医学图像输入至医学图像分类模型中；其中，所述二维医学图像是将针对所述指定医学检查项目的目标医学图像序列进行投影得到的；所述医学图像分类模型包括主干卷积网络、第一分支卷积网络以及第二分支卷积网络；其中，所述第一分支卷积网络、所述第二分支卷积网络分别连接于所述主干卷积网络；采用所述主干卷积网络对所述二维医学图像进行特征提取，得到主干图像特征；将所述主干图像特征分别输入至所述第一分支卷积网络、所述第二分支卷积网络中，对应得到所述第一分支卷积网络输出的第一类别概率数据、所述第二分支卷积网络输出的第二类别概率数据；基于所述第一类别概率数据、所述第二类别概率数据的融合结果确定所述二维医学图像对应的身体部位类别；根据所述身体部位类别与所述指定医学检查项目所要求的目标部位确定目标医学图像序列的质控结果。
本说明书实施方式提供一种医学图像分类模型训练方法，所述方法包括：构建医学图像训练样本集；其中，所述医学图像训练样本集包括若干张二维医学图像；利用所述二维医学图像对医学图像分类模型进行训练，直至满足模型停止训练条件；其中，所述医学图像分类模型包括主干卷积网络、第一分支卷积网络以及第二分支卷积网络；其中，所述第一分支卷积网络、所述第二分支卷积网络分别连接于所述主干卷积网络；所述主干卷积网络包括若干密集连接模块；其中，所述主干卷积网络，用于对所述二维医学图像进行特征提取，得到主干图像特征；所述第一分支卷积网络，用于对所述主干图像特征进行处理，得到第一类别概率数据；所述第二分支卷积网络，用于对所述主干图像特征进行处理，得到第二类别概率数据；其中，所述第一类别概率数据以及第二类别概率数据的融合结果，用于确定所述二维医学图像对应的身体部位类别。
本说明书实施方式提供一种医学图像序列质控装置，所述装置包括：医学图像输入模块，用于将针对指定医学检查项目的二维医学图像输入至医学图像分类模型中；其中，所述二维医学图像是将针对所述指定医学检查项目的目标医学图像序列进行投影得到的；所述医学图像分类模型包括主干卷积网络、第一分支卷积网络以及第二分支卷积网络；其中，所述第一分支卷积网络、所述第二分支卷积网络分别连接于所述主干卷积网络；主干特征提取模块，用于采用所述主干卷积网络对所述二维医学图像进行特征提取，得到主干图像特征；概率数据生成模块，用于将所述主干图像特征分别输入至所述第一分支卷积网络、所述第二分支卷积网络中，对应得到所述第一分支卷积网络输出的第一类别概率数据、所述第二分支卷积网络输出的第二类别概率数据；部位类别确定模块，用于基于所述第一类别概率数据、所述第二类别概率数据的融合结果确定所述二维医学图像对应的身体部位类别；质控结果确定模块，用于根据所述身体部位类别与所述指定医学检查项目所要求的目标部位确定目标医学图像序列的质控结果。
本说明书实施方式提供一种医学图像分类模型训练装置，所述装置包括：样本集构建模块，用于构建医学图像训练样本集；其中，所述医学图像训练样本集包括若干张二维医学图像；模型训练模块，用于利用所述二维医学图像对医学图像分类模型进行训练，直至满足模型停止训练条件；其中，所述医学图像分类模型包括主干卷积网络、第一分支卷积网络以及第二分支卷积网络；其中，所述第一分支卷积网络、所述第二分支卷积网络分别连接于所述主干卷积网络；所述主干卷积网络包括若干密集连接模块；其中，所述主干卷积网络，用于对所述二维医学图像进行特征提取，得到主干图像特征；所述第一分支卷积网络，用于对所述主干图像特征进行处理，得到第一类别概率数据；所述第二分支卷积网络，用于对所述主干图像特征进行处理，得到第二类别概率数据；其中，所述第一类别概率数据以及第二类别概率数据的融合结果，用于确定所述二维医学图像对应的身体部位类别。
本说明书实施方式提供一种计算设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述实施方式中的方法步骤。
本说明书实施方式提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施方式中的方法步骤。
本说明书实施方式提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被计算机设备的处理器执行时，使得所述计算机设备能够执行上述实施方式中的方法步骤。
本说明书实施方式，通过将针对指定医学检查项目的二维医学图像输入至医学图像分类模型中，降低了模型处理对象的复杂度，减少模型的响应时间。进一步地，利用医学图像分类模型的主干卷积网络对所述二维医学图像进行特征提取，得到主干图像特征；利用医学图像分类模型的第一分支卷积网络对主干图像特征进行特征提取，得到第一类别概率数据；利用医学图像分类模型的第二分支卷积网络对主干图像特征进行特征提取，得到第二类别概率数据；从而可以基于第一类别概率数据、所述第二类别概率数据准确地确定所述二维医学图像对应的身体部位类别，进而生成针对指定医学检查项目的目标医学图像序列的质控结果。
附图说明
图1a所示为一实施方式提供的场景示例中医学图像质量控制的流程示意图。
图1b所示为一实施方式提供的场景示例中医学图像质控系统的示意图。
图1c所示为一实施方式提供的场景示例中医学图像分类模型的框架结构的示意图。
图1d所示为一实施方式提供的场景示例中身体部位展示表的示意图。
图1e所示为一实施方式提供的医学图像序列质控方法的应用环境图。
图2所示为一实施方式提供的医学图像序列质控方法的流程示意图。
图3所示为一实施方式提供的医学图像序列质控方法的流程示意图。
图4所示为一实施方式提供的医学图像序列质控方法的流程示意图。
图5a所示为一实施方式提供的医学图像序列质控方法的流程示意图。
图5b所示为一实施方式提供的目标图像序列中一个切片的示意图。
图5c所示为一实施方式提供的二维医学图像的示意图。
图6所示为一实施方式提供的医学图像分类模型训练方法的流程示意图。
图7所示为一实施方式提供的医学图像序列质控装置的结构框图。
图8所示为一实施方式提供的医学图像分类模型训练装置的结构框图。
图9为一实施方式提供的计算机设备的内部结构图。
具体实施方式
下面将结合本说明书实施方式中的附图，对本说明书实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅是本说明书一部分实施方式，而不是全部的实施方式。基于本说明书中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本说明书保护的范围。
以下对本说明书中涉及的部分名词进行解释，“受试者”可以是对参加到临床试验中对新药或者新治疗方案进行试用的人员的称呼，也可以称之为“志愿者”。“受试者”可以是健康的人，也可以是病人，主要取决于临床试验研究的需求。比如一些由病人参加的临床研究试验，目的在于考察一种新药或者一种治疗方案的治疗效果、副作用等。不同类型的临床试验，其运作过程也不一样。在受试者参与到一项临床试验研究后，需要定期或者按照试验需求来到试验点与医生（或者护士、社会工作者、其他研究者）进行沟通，以使他们可以对受试者的健康情况进行监察。访视可以理解为受试者在服用新药或者接收新治疗方案的过程中来到试验点一次。在每次访视时，受试者需要接收一些医学检查（比如医学影像检查）或者实验室检查（比如血常规、尿常规），也需要经过医生的查体询问，以接收医生进一步地指导。
一个临床试验点（也可以称为研究中心，比如医院）准备进行一种新药X的临床试验，通过受试者招募和筛选，确定可以参加到该临床实验研究的病人A。病人A在服用新药X之前，需要接收一次医学影像检查（比如CT（Computed Tomography，电子计算机断层扫描）、MRI（Magnetic Resonance Imaging，磁共振成像））。此次借助于学影像检查系统对病人A进行医学影像检查，生成医学图像序列。
医学图像序列可以作为受试者的部分临床试验数据，对包括医学图像序列的临床试验数据进行评估，确定是否允许该新药X上市。通常采用独立影像评估（IRC）的方式对医学检查图像序列进行评估。独立影像评估（IRC）被美国FDA和欧洲药品管理局EMA指定为新化疗药物疗效评估的推荐试验方法。
随着全球医药市场竞争的日益激烈，药企对于研发、生产、销售成本控制和效率提升的强烈需求推动了医药外包行业的产生和发展。医药外包行业中的临床机构管理组织（Site Management Organization，SMO）是为药企研发临床试验提供专业服务的组织。SMO的主要专业人员临床研究协调员（Clinical Research Coordinator，CRC）会被分配到临床试验现场，在主要研究者（Principal Investigator，PI）的指导下支持日常非临床工作。在SMO提供的服务中，医学图像质量控制（Quality Control，QC）是其中的一项重要内容，其流程如图1a所示，现场管理组织（Site Management Organization，SMO）的医学影像专员会对采集的医学图像进行质量控制，符合项目要求且不存在质量问题的，继续提交给IRC执行人员进行阅片，反之，则撰写质控意见提醒CRC重新采集数据或采用其他合适的方式处理该问题。
实施医学图像质控主要原因在于不符合项目要求的医学图像严重制约IRC阅片诊断，导致对病情的错误理解，从而无法准确地反馈试验药物的真实效果。但医学图像质控的内容繁杂，判断CRC提交的医学图像是否覆盖了项目要求的所有部位（可以简称为部位识别）是其中的部分重要内容，单纯的人工质控耗时耗力，效率低下。随着人工智能（Artificial Intelligence，AI）技术的快速发展，机器学习模型开始应用于在医学图像序列的质控方面。然而，基于传统技术中的机器学习模型对三维的医学图像序列进行质量控制时，由于时间和空间复杂度较高，从而导致其在响应时间方面有待改善。
请参阅图1b。在一个具体地场景示例中，提供一种医学图像质控系统。医学图像质控系统包括二维投影模块102、部位识别模块104和质控结果展示模块106。以CT图像为例说明，医学检查项目要求的目标部位包括胸部、腹部、盆部。医学图像序列为三维横断面的CT序列，包括多张DICOM格式的CT图像。
将CT序列输入至二维投影模块102中，二维投影模块102将CT序列投影为JPEG格式或者PNG格式的二维冠状位图像。从二维冠状位图像采取二维医学图像。
将二维医学图像输入到部位识别模块104中，部位识别模块104输出二维医学图像对应的身体部位类别。身体部位类别包括头、颈、胸、腹、盆、头颈、头颈胸、头颈胸腹、头颈胸腹盆、颈胸、颈胸腹、颈胸腹盆、胸腹、胸腹盆、腹盆中的至少一个。具体地，部位识别模块104可以采用医学图像分类模型。图1c示出医学图像分类模型的框架结构。医学图像分类模型包括主干卷积网络、第一分支卷积网络、第二分支卷积网络和相加层；其中，第一分支卷积网络（图1c中的Conv5_1、Conv5_2、FC_1）、第二分支卷积网络（图1c中的Conv6_1、Pool_1、Conv6_2、FC_2）分别连接于主干卷积网络（图1c中的Conv1-Conv4）；第一分支卷积网络、第二分支卷积网络分别与相加层连接。
质控结果展示模块106，接收二维医学图像对应的身体部位类别。将二维医学图像对应的身体部位类别与医学检查项目所要求的目标部位（胸部、腹部、盆部）进行比对，输出身体部位展示表。图1d示出身体部位展示表。身体部位展示表中包括CT序列的序列编号（Series编号）、受试者编号（Study编号）、二维医学图像（2D投影图像）、医学检查项目所要求的目标部位、质控结果（是否缺失）。
请参阅图1e，本说明书实施方式提供一种医学图像序列质控系统，且本说明书提供的医学图像序列质控方法应用于该医学图像序列质控系统。该医学图像序列质控系统可以包括由质控终端110和服务器120形成的硬件环境。质控终端110通过网络与服务器120进行通信。服务器120上部署有医学图像分类模型。服务器120将针对指定医学检查项目的二维医学图像输入至医学图像分类模型中；其中，二维医学图像是将针对指定医学检查项目的目标医学图像序列进行投影得到的；医学图像分类模型包括主干卷积网络、第一分支卷积网络以及第二分支卷积网络；其中，第一分支卷积网络、第二分支卷积网络分别连接于主干卷积网络；采用主干卷积网络对二维医学图像进行特征提取，得到主干图像特征；将主干图像特征分别输入至第一分支卷积网络、第二分支卷积网络中，对应得到第一分支卷积网络输出的第一类别概率数据、第二分支卷积网络输出的第二类别概率数据；基于第一类别概率数据、第二类别概率数据的融合结果确定二维医学图像对应的身体部位类别；根据身体部位类别与指定医学检查项目所要求的目标部位确定目标医学图像序列的质控结果。服务器120向质控终端110发送质控结果，以用于质控终端110展示质控结果；其中，质控结果中包括目标医学图像序列对应的序列编号、受试者编号、二维医学图像、指定医学检查项目所要求的目标部位。
其中，质控终端110可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。随着科学技术的发展，可能会出现一些新型计算设备，比如量子计算服务器，这些新型计算设备也可以应用于本说明书的实施方式中。
请参阅图2，本说明书实施方式提供一种医学图像序列质控方法。该医学图像序列质控方法可以包括以下步骤。
S210、将针对指定医学检查项目的二维医学图像输入至医学图像分类模型中。
其中，二维医学图像是将针对指定医学检查项目的目标医学图像序列进行投影得到的；医学图像分类模型包括主干卷积网络、第一分支卷积网络以及第二分支卷积网络；其中，第一分支卷积网络、第二分支卷积网络分别连接于主干卷积网络。
在一些情况下，受试者在服用新药一段时间后，接收指定医学检查项目，通过医学影像设备对一个或者多个身体部位进行拍摄，得到针对指定医学检查项目的目标医学图像序列。可以理解的是，目标医学图像序列具有三维结构。若利用机器学习模型直接对三维的目标医学图像序列进行处理，识别目标医学图像序列对应的身体部位。一方面，基于三维的目标医学图像序列识别身体部位在时间和空间上具有较高复杂度，响应时间长；另一方面，利用三维目标医学图像序列模型训练也比较繁琐，训练工作量比较大。因此，本实施方式中，将针对指定医学检查项目的目标医学图像序列进行投影，以得到指定医学检查项目的二维医学图像。通过二维医学图像聚合目标医学图像序列的部位特征信息，降低了从目标医学图像序列中识别身体部位的复杂度，减少耗时。
进一步地，在一些情况下，采用传统机器学习算法（如AdaBoost、SVM等）和手工特征（如Haar、灰度共生矩阵等），无法自动化提取高层语义特征，从而导致识别准确率不能满足需求。因此，本实施方式中搭建的医学图像分类模型不仅包括主干卷积网络，还包括连接在主干卷积网络上的第一分支卷积网络和第二分支卷积网络。通过设计第一分支卷积网络和第二分支卷积网络，可以增加特征信息的变换形式，从而提升医学图像分类模型的识别性能。
因此，本实施方式中，将针对指定医学检查项目的目标医学图像序列进行投影，以得到指定医学检查项目的二维医学图像。输入二维医学图像至医学图像分类模型的主干卷积网络中。需要说明的是，在一些实施方式中，对目标医学图像序列进行投影，可以直接得到二维医学图像。在一些实施方式中，对目标医学图像序列进行投影，得到二维冠状位图像，结合医学图像分类模型对输入图像的尺寸要求，对二维冠状位图像进行缩放或者裁剪，得到二维医学图像。
S220、采用主干卷积网络对二维医学图像进行特征提取，得到主干图像特征。
具体地，在一实施方式中，主干卷积网络包括若干个依次连接的卷积模块，利用第一个卷积模块对二维医学图像进行卷积处理，将第一个卷积模块输出的图像特征输入至第二个卷积模块。将第二个卷积模块输出的图像特征输入至第三个卷积模块，以此类推，直至最后一个卷积模块，最后一个卷积模块输出的图像特征记为主干图像特征。
在一实施方式中，主干卷积网络包括若干个依次连接的卷积模块，利用第一个卷积模块对二维医学图像进行卷积处理，将第一个卷积模块输出的图像特征输入至第二个卷积模块。将二维医学图像、第二个卷积模块输出的图像特征一起输入至第三个卷积模块。将二维医学图像、第二个卷积模块输出的图像特征、第三个卷积模块输出的图像特征一起输入至第四个卷积模块，以此类推，直至最后一个卷积模块，最后一个卷积模块输出的图像特征记为主干图像特征。利用主干卷积网络中排列在前的卷积模块提取低维局部特征信息。利用主干卷积网络中排列在后的卷积模块提取高维全局特征信息，从而提升医学图像分类模型的分类性能。
S230、将主干图像特征分别输入至第一分支卷积网络、第二分支卷积网络中，对应得到第一分支卷积网络输出的第一类别概率数据、第二分支卷积网络输出的第二类别概率数据。
其中，二维医学图像中包括头、颈、胸、腹、盆、头颈、头颈胸、头颈胸腹、头颈胸腹盆、颈胸、颈胸腹、颈胸腹盆、胸腹、胸腹盆、腹盆中的至少一个。头、颈、胸、腹、盆可以理解为单身体部位。头颈、头颈胸、头颈胸腹、头颈胸腹盆、颈胸、颈胸腹、颈胸腹盆、胸腹、胸腹盆、腹盆可以理解为多个身体部位的复合身体部位。比如，头颈可以是包括头部和颈部。头颈胸腹盆可以包括头部、颈部、胸部、腹部、盆部。按照身体部位的个数，二维医学图像区可以是包括单个身体部位的单部位图像、二维医学图像区可以是包括多个身体部位的多部位连接图像。单部位图像可以是头、颈、胸、腹、盆等单身体部位对应的图像。多部位连接图像可以是头颈、头颈胸、头颈胸腹、头颈胸腹盆、颈胸、颈胸腹、颈胸腹盆、胸腹、胸腹盆、腹盆等复合身体部位的图像。
在一次受试者的访视，若对受试者的多个部位进行检查，生成目标图像序列，目标图像序列可以包括针对至少一个身体部位进行医学检查对应生成的至少一个图像序列。对单身体部位进行医学检查，生成单部位图像序列，对单部位图像序列进行投影，得到单部位图像。对复合身体部位进行医学检查，生成复合部位图像序列，对复合部位图像序列进行投影，得到多部位连接图像。
在一些实施方式中，在一次受试者的访视，指定医学检查项目所要求的目标部位包括单身体部位、复合身体部位。针对指定医学检查项目的目标医学图像序列与受试者编号对应，包括单部位图像序列和复合部位图像序列。分别针对单部位图像序列和复合部位图像序列进行投影处理，得到针对指定医学检查项目的二维医学图像，二维医学图像包括单部位图像序列对应的单部位图像和复合部位图像序列对应的多部位连接图像。利用医学图像分类模型对单部位图像、多部位连接图像进行身体部位识别。
示例性地，若针对头部进行医学检查，则生成头部图像序列，为目标图像序列。对头部图像序列进行投影，得到头单部位图像。
示例性地，若针对头颈部进行医学检查，则生成头颈部图像序列，为目标图像序列。对头颈部图像序列进行投影，得到头颈连接图像。
示例性地，若针对头部、头颈部进行医学检查，则生成头部图像序列和头颈部图像序列，头部图像序列和头颈部图像序列构成目标图像序列。对目标图像序列中的头部图像序列进行投影，得到头单部位图像。对头颈部图像序列进行投影，得到头颈连接图像。可以理解的是，目标图像序列对应的二维医学图像包括头单部位图像和头颈连接图像。
在一些情况下，传统技术中的模型可以准确识别到单部位头像中的身体部位，而对于复杂的多部位连接图像并不能准确识别。经过分析发现，单部位图像与多部位连接图像存在一定的重叠，传统技术中的模型可能从多部位连接图像中识别到单个身体部位，并不能识别出复合身体部位。比如，针对受试者在一次访视时检查胸和胸腹，生成目标图像序列，目标图像序列包括胸部图像序列、胸腹部图像序列。通过投影胸部图像序列，对应得到胸单部位图像。通过投影胸腹部图像序列，对应得到胸腹连接图像。胸单部位图像与胸腹连接图像中存在重叠。同样的，头单部位图像与头颈连接图像中存在重叠，盆单部位图像与腹盆连接图像中存在重叠，传统技术中的模型并不能准确识别出腹盆、胸腹、头颈等复合身体部位。
由于传统技术中的模型不能准确识别出复合身体部位，在主干卷积网络之后连接第一分支卷积网络、第二分支卷积网络。因此，将主干图像特征输入至第一分支卷积网络中，利用第一分支卷积网络专注于提取全局特征与局部特征的关系，得到第一类别概率数据。利用第二分支卷积网络专注于保证该网络提取的分类特征信息足够稳定，将主干图像特征输入至第二分支卷积网络中，得到第二类别概率数据。
S240、基于第一类别概率数据、第二类别概率数据的融合结果确定二维医学图像对应的身体部位类别。
具体地，已经利用第一分支卷积网络和第二分支卷积网络提取到不同部位之间的特征，将第一分支卷积网络提取的第一类别概率数据和第二分支卷积网络提取到的第二类别概率数据进行融合，根基融合结果进行身体部位的识别，得到二维医学图像对应的身体部位类别。
S250、根据身体部位类别与指定医学检查项目所要求的目标部位确定目标医学图像序列的质控结果。
具体地，指定医学检查项目具有其要求的目标部位，指定医学检查项目所要求的目标部位可以包括至少一个单身体部位，可以包括至少一个复合身体部位，可以同时包括至少一个单身体部位、至少一个复合身体部位。比较医学图像分类模型输出的身体部位类别与指定医学检查项目所要求的目标部位，得到目标医学图像序列的质控结果。若质控结果表示两者一致，则表明目标医学图像序列是准确的，可以提交至执行IRC阅片的终端。若质控结果表示两者不一致，则表明目标医学图像序列需要进一步审核或者说需要重新对受试者进行医学检查。
上述医学图像序列质控方法，通过将针对指定医学检查项目的二维医学图像输入至医学图像分类模型中，降低了模型处理对象的复杂度，减少模型的响应时间。进一步地，利用医学图像分类模型的主干卷积网络对二维医学图像进行特征提取，得到能够表达高维全局特征信息的主干图像特征；利用医学图像分类模型的第一分支卷积网络对主干图像特征进行特征提取，得到能够表达全局特征与局部特征的关系的第一类别概率数据；利用医学图像分类模型的第二分支卷积网络对主干图像特征进行特征提取，得到能够保证提取的分类特征信息稳定的第二类别概率数据；从而可以基于第一类别概率数据、第二类别概率数据确定二维医学图像对应的身体部位类别，提升模型分类性能，能够准确地识别身体部位。
在一些实施方式中，主干卷积网络包括若干密集连接模块。采用主干卷积网络对二维医学图像进行特征提取，得到主干图像特征，可以包括：通过密集连接模块中具有膨胀率的卷积核提取二维医学图像中的身体部位特征，得到主干图像特征。
其中，主干卷积网络中包括若干密集连接模块（DenseBlock）。主干卷积网络可以采用DenseNet121。具体地，为了增加模型的感受野，获取更多的低维局部特征信息，密集连接模块中的多个卷积层采用膨胀率的卷积核进行卷积处理，提取二维医学图像中的身体部位特征，得到主干图像特征。不同密集连接模块包括的卷积层个数不同。
示例性的，二维医学图像的尺寸为224*224。主干卷积网络为融合混合膨胀卷积的DenseNet121。主干卷积网络包括第一个DenseBlock、第二个DenseBlock、第三个DenseBlock以及第四个DenseBlock。第一个DenseBlock中具有6个3*3卷积层，将其替换为膨胀率为[1,2,5,5,2,1]的3*3卷积层。第二个DenseBlock中具有12个3*3卷积层，将相邻的第1-6个3*3卷积层、第7-12个3*3卷积层作为两个分组，分别替换膨胀率为[1,2,5,5,2,1]的3*3卷积层。第三个DenseBlock中具有24个3*3卷积层，将相邻的第1-6个3*3卷积层、第7-12个3*3卷积层、第13-18个3*3卷积层、第19-24个3*3卷积层作为四个分组，分别替换膨胀率为[1,2,5,5,2,1] 的3*3卷积层。第四个DenseBlock中具有16个3*3卷积层的，且该16个3*3卷积层保持不变。利用前面三个DenseBlock采用混合膨胀卷积是为了在相同网络参数、避免栅格问题的情况下增大模型的感受野，获取更多的低维局部特征信息，减少卷积后得到的特征图存在空洞的几率，得到连续的局部特征。第四个DenseBlock不做改变是为了稳定地聚合网络尾部（DenseBlock1-3）特征，同时提高高维全局特征（DenseBlock4所提取的特征）表达的紧致性，从而增加分类性能。主干卷积网络的输出大小[BatchSize,512,7,7]。其中，BatchSize可理解为训练或测试一轮模型用多少张图像，在模型训练为32，测试、使用时为1。512为特征图数量，[7,7]为特征图大小。
在一些实施方式中，请参阅图3，第一分支卷积网络包括第一卷积块和第二卷积块；将主干图像特征输入至第一分支卷积网络，对应得到第一分支卷积网络输出的第一类别概率数据，可以包括以下步骤。
S310、利用第一卷积块中第一预设数量的卷积核对主干图像特征进行卷积处理，得到第一图像特征。
S320、利用第二卷积块中第二预设数量的卷积核对第一图像特征进行卷积处理，得到第二图像特征。
S330、对第二图像特征进行平均池化处理，得到第一类别概率数据。
其中，第一图像特征用于表示二维医学图像中像素间的相互关系；具体地，第一分支卷积网络连接于主干卷积网络。主干卷积网络的输出与第一分支卷积网络的输入尺寸一致。主干卷积网络输出主干图像特征，将主干图像特征输入至第一分支卷积网络的第一卷积块。第一卷积块包括第一预设数量的卷积核，利用第一卷积块中第一预设数量的卷积核对主干图像特征进行卷积处理，得到第一图像特征。将第一图像特征输入至第二卷积块。第二卷积块包括第二预设数量的卷积核，利用第二卷积块中第二预设数量的卷积核对第一图像特征进行卷积处理，得到第二图像特征。采用自适应平均池化对第二图像特征进行处理，得到第一类别概率数据。需要说明的是，第一卷积块输入卷积核数量与主干卷积网络输出的feature map数量一致。第二卷积块输入卷积核数量与第一卷积块输出的feature map数量一致。
示例性的，请继续参阅图1c，Conv5_1的输入、输出卷积核数量分别为512、256，卷积核大小为1*1，卷积步长为1，卷积填充为0，输出大小为[BatchSize,256,5,5]。Conv5_2的输入、输出卷积核数量分别为256、15（15为身体部位类别数），卷积核大小为3*3，卷积步长为1，卷积填充为0，输出大小为[BatchSize,15,3,3]。FC_1采用自适应平均池化，输出大小为[BatchSize,15,1,1]，并变换矩阵为[BatchSize,15]，得到BatchSiz数量个包含15个数值的数组。其中，BatchSize可理解为训练或测试一轮模型用多少张图像，在模型训练为32，测试、使用时为1。可见，第一分支卷积网络专注于提取全局特征与局部特征的关系。Conv5_1、Conv5_2、FC_1的特征图数量（分别为512、256、15）和特征图大小（5*5,3*3,1*1）都是平滑渐进过渡的，通过最终的输出结果，不断推演当前像素与周边像素的相互关系。
在一些实施方式中，请参阅图4，第二分支卷积网络包括第三卷积块、池化层以及第四卷积块。将主干图像特征输入至第二分支卷积网络，对应得到第二分支卷积网络输出的第二类别概率数据，可以包括以下步骤。
S410、利用第三卷积块中第一预设数量的卷积核对主干图像特征进行特征聚合，得到第三图像特征。
S420、利用池化层对第三图像特征进行最大池化处理，得到图像关键语义特征。
S430、利用第四卷积块对图像关键语义特征进行特征聚合，得到第四图像特征。
S440、对第四图像特征进行全局平均池化处理，得到第二类别概率数据。
具体地，第二分支卷积网络连接于主干卷积网络。主干卷积网络的输出与第二分支卷积网络的输入尺寸一致。主干卷积网络输出主干图像特征，将主干图像特征输入至第二分支卷积网络的第三卷积块。第三卷积块包括第一预设数量的卷积核，利用第三卷积块中第一预设数量的卷积核对主干图像特征进行特征聚合，得到第三图像特征。将第三图像特征输入至池化层，利用池化层对第三图像特征进行最大池化处理，得到图像关键语义特征。将图像关键语义特征输入至第四卷积块，通过第四卷积块对图像关键语义特征进行特征聚合，得到第四图像特征。对第四图像特征进行全局平均池化处理，得到第二类别概率数据。
示例性的，请继续参阅图1c，Conv6_1的输入、输出卷积核数量分别为512、15，卷积核大小为1*1，卷积步长为1，输出大小为[BatchSize,15,7,7]。Conv6_1做完初步的特征聚合后，需要尽快把特征图数量降到15（身体部位类别数），特征图大小降到1*1，便于后续验证该网络提取的分类特征信息是否足够稳定。保持网络的稳定是为了应对数据差异，便于提高网络的泛化能力（如不同人的胸部图像也是不同的，但模型能识别这种差异，均能识别出为胸部）。因此，Pool_1采用为最大池化，提取众多特征信息中最为关键的高级语义特征。
Pool_1采用最大池化，池化窗口为7*7，步长为7，输出大小为[BatchSize,15,1,1]。Conv6_2的输入、输出卷积核数量分别为15、15，卷积核大小为1*1，卷积步长为1，输出大小为[BatchSize,15,1,1]。FC_2采用全局平均池化，输出大小仍为[BatchSize,15,1,1]，并变换矩阵为[BatchSize,15]，得到BatchSize数量个包含15个数值的数组。可见，第二分支卷积网络专注于验证该网络提取的分类特征信息足够稳定。Conv6_1首先做个特征聚合，特征图数量为512，特征图大小为7*7，而在之后的不同层（Pool_1、Conv6_2、FC_2）保持特征图数量（15）、特征图大小（1*1）不变的情况下，用不同的网络结构（卷积、普通池化、全局池化）变换得到的特征值，并力求模型的输出结果依然保持较高的正确率，这样训练的模型更加鲁棒、泛化能力更强，有利于在其他场景推广使用。
在一些实施方式中，基于第一类别概率数据、第二类别概率数据的融合结果确定二维医学图像对应的身体部位类别，可以包括：根据第一类别概率数据、第二类别概率数据进行相加处理，得到融合结果；在融合结果中确定满足预设条件的目标概率值；将目标概率值对应的类别确定为身体部位类别。
具体地，为了融合第一分支卷积网络的输出以及第二分支卷积网络的输出，对第一分支卷积网络输出的第一类别概率数据以及第二分支卷积网络输出的第二类别概率数据进行相加处理得到融合结果；融合结果可以是一维数组，其中包括与身体部位类别数量相同的概率值。在融合结果中确定满足数值最大的目标概率值；将目标概率值对应的类别确定为身体部位类别。示例性的，身体部位类别数量为15个，则融合结果中包括15个概率值。
示例性的，请继续参阅图1c，每个BatchSize的数组是单独计算的，相应地，将第一分支卷积网络和第二分支卷积网络得到每个BatchSize的数组中的15个数值一一对应相加，在相加结果中确定每个BatchSize数组中最大值。求取每个BatchSize数组中最大值的索引号；模型训练和测试时均将类别名进行升序排序，获取索引号所对应的类别名，即为二维医学图像对应的身体部位类别。
在一些实施方式中，根据身体部位类别与指定医学检查项目所要求的目标部位确定目标医学图像序列的质控结果，可以包括：在身体部位类别与目标部位不匹配的情况下，确定目标医学图像序列的质量不达标。或者，在身体部位类别与目标部位匹配的情况下，确定目标医学图像序列的质量达标。
具体地，医学图像分类模型识别出二维医学图像对应的身体部位类别。指定医学检查项目要求有目标部位。将识别出的身体部位类别与目标部位进行比对，在身体部位类别与目标部位不匹配的情况下，确定目标医学图像序列的质量不达标。在身体部位类别与目标部位匹配的情况下，确定目标医学图像序列的质量达标。需要说明的是，质量达标可以理解为目标医学图像序列不缺失医学检查项目要求的目标部位。质量不达标可以理解为目标医学图像序列缺失医学检查项目要求的至少一个目标部位。
在一些实施方式中，按照受试者编号对识别到的部位类别进行汇总梳理。按照医学检查项目要求，一个受试者可以检查至少一个身体部位，则对应产生至少一个图像序列，即目标图像序列中包括至少一个图像序列。利用医学图像分类模型识别目标图像序列对应的至少一个二维医学图像，对应得到至少一个身体部位类别。对比医学检查项目要求的目标部位和医学图像分类模型输出的至少一个身体部位类别，判断目标图像序列是否缺失某些目标部位。比如，医学检查项目要求的部位包括胸、盆、腹。但是医学图像分类模型输出的至少一个身体部位类别包括胸、盆，则判定目标图像序列缺失腹的图像序列。再比如，医学检查项目要求的部位包括胸、盆、腹。但是医学图像分类模型输出的至少一个身体部位类别包括胸、盆、腹，则判定目标图像序列没有缺失图像序列。
在一些实施方式中，请参阅图5a，将针对指定医学检查项目的目标医学图像序列进行投影，可以包括以下步骤。
S510、获取目标医学图像序列的切片体素矩阵、斜率标签数据以及截距标签数据。
具体地，若目标图像序列包括一个身体部位的医学图像序列，读取目标医学图像序列的切片体素矩阵。从目标图像序列对应的标签数据（tag）中读取斜率标签数据（RescaleIntercept）以及截距标签数据（RescaleSlope）。示例性的，目标医学图像序列包括多个切片，读取目标医学图像序列中第一个切片的标签数据。
S520、基于斜率标签数据以及截距标签数据，将切片体素矩阵转换为计算内存可处理的目标体素矩阵。
具体地，按照以下公式将切片体素矩阵Pi(i=1,2…N,N为切片数量)转换为目标体素矩阵Qi。
Figure 957176DEST_PATH_IMAGE001
S530、根据体素间距以及切片间距对目标体素矩阵进行插值处理，得到插值体素矩阵。
具体地，从目标图像序列对应的标签数据（tag）中读取体素间距（PixelSpacing）以及切片间距（SliceThickness）按照以下公式计算插值体素矩阵Si的大小。其中，W、H、L分别为目标体素矩阵Qi的宽W、高H、矩阵长度L(即影像数量，张数)
Figure 268071DEST_PATH_IMAGE002
利用线性插值将目标体素矩阵Qi的大小缩放为预插值矩阵Si的大小，得到插值后的插值体素矩阵Si。其中，线性插值可以采用双线性插值。
S540、基于插值体素矩阵中位于切片垂直方向上的每列体素的体素值标准差，得到二维医学图像。
具体地，插值体素矩阵中位于切片垂直方向可以是矩阵长度L的方向。在位于切片垂直方向上，计算插值体素矩阵中每列体素的体素值标准差，得到一个宽W、高H的二维矩阵，保存为JPEG格式或者PNG格式的图像，即为二维医学图像。
示例性的，以CT图像序列进行说明。请参阅图5b，图5b示出为目标图像序列中一个切片。CT图像序列的尺寸为512*512*61，即长*宽*切片数。对512*512*61的目标图像序列进行投影计算，得到图5c示出的二维冠状位图像，二维冠状位图像尺寸为188*152，即长*宽。具体投影过程如下。
（1）计算预插值矩阵大小：CT图像序列大小为512*512*61，PixelSpacing为[0.734,0.734](横列、竖列的体素间隔)，SliceThickness为5，根据上文的公式（2）计算插值体素矩阵的大小188*188*152，即矩阵宽、高为[512,512]*[0.734/2,0.734/2]=[188,188]，矩阵长度（切片数量）为61*5/2=152。
（2）插值：使用双线性插值的算法，将计算得到的像素值填满预插值矩阵，得到插值矩阵，尺寸仍为188*188*152。
（3）标准差投影：投影矩阵大小188*188。每个插值矩阵切片（可以理解为每张图像）共188*188=35344个像素点，计算每个像素点Z轴方向（即矩阵长度L）的标准差值（即计算152个值的标准差），得到该像素点的标准差。以此类推，计算出35344个像素点的标准差，将标准差矩阵存为JPEG格式的图像，即二维冠状位图像，从二维冠状位图像中裁剪预设大小的二维医学图像。
在一些实施方式中，该医学图像序列质控方法还可以包括：向阅片终端发送质量达标的目标医学图像序列；或者，向质控终端发送质控结果，以用于质控终端展示质控结果；其中，质控结果中包括目标医学图像序列对应的序列编号、受试者编号、二维医学图像、指定医学检查项目所要求的目标部位。
具体地，目标医学图像序列是需要提供至阅片终端以供查阅。阅片终端可以是阅片审核人进行查阅所使用的终端。阅片审核人可以是依据药厂提交的医学影像数据评估治疗效果的工作人员。在判定目标医学图像序列质量达标的情况下，将质量达标的目标医学图像序列发送至阅片终端，阅片终端展示目标医学图像序列，以供阅片审核人进行阅片。
具体地，质控终端可以是质控人员对质控结果进行核查时所使用的终端。质控终端可以是质控人员对质量不达标的目标医学图像序列进行核查时所使用的终端。在一些情况下，虽然服务器自动检测出医学图像序列是否达标，但是依旧需要质控人员对其进行核实，因此，服务器向质控终端发送质控结果。为了使得质控人员快速得知目标医学图像序列是否缺失医学图像数据，质控终端可以同时指定医学检查项目所要求的目标部位、医学图像分类模型识别到的身体部位类别，并对目标部位是否缺失进行描述。请继续参阅图1d，质控终端可以展示目标医学图像序列对应的序列编号、受试者编号、二维医学图像、指定医学检查项目所要求的目标部位。
需要说明的是，若目标医学图像序列包括多个身体部位的医学图像序列，各医学图像序列具有各自的序列编号，即目标医学图像序列对应有多个序列编号。分别对每个序列编号对应的医学图像序列进行投影，得到二维医学图像。将每个序列编号对应的二维医学图像输入至医学图像分类模型中继续识别，输出每个序列编号对应的身体部位类别。可以按照图1d的示出方式受试者编号对每个序列编号对应的医学图像序列进行汇总，一目了然当前受试者是否存在需要重新医学检查的身体部位。比如，检测到缺失腹部图像序列，则可以通知需要对该受试者的腹部进行重新检查。若目标医学图像序列包括一个身体部位的医学图像序列，即目标医学图像序列对应有一个序列编号。对目标医学图像序列进行投影，得到二维医学图像。将二维医学图像输入至医学图像分类模型中继续识别，输出对应的身体部位类别。
本说明书实施方式提供一种医学图像序列质控方法，该医学图像序列质控方法包括以下步骤。
S602、获取针对指定医学检查项目的目标医学图像序列的切片体素矩阵、斜率标签数据以及截距标签数据。
S604、基于斜率标签数据以及截距标签数据，将切片体素矩阵转换为计算内存可处理的目标体素矩阵。
S606、根据体素间距以及切片间距对目标体素矩阵进行插值处理，得到预设尺寸的插值体素矩阵。
S608、计算插值体素矩阵中位于切片垂直方向上的每列体素的体素值标准差，得到二维医学图像。
S610、将二维医学图像输入至医学图像分类模型中。
其中，医学图像分类模型包括主干卷积网络、第一分支卷积网络以及第二分支卷积网络；其中，第一分支卷积网络、第二分支卷积网络分别连接于主干卷积网络。
S612、采用主干卷积网络对二维医学图像进行特征提取，得到主干图像特征。
具体地，主干卷积网络包括若干密集连接模块，通过密集连接模块中具有膨胀率的卷积核提取二维医学图像中的身体部位特征，得到主干图像特征。
S614、将主干图像特征分别输入至第一分支卷积网络、第二分支卷积网络中，对应得到第一分支卷积网络输出的第一类别概率数据、第二分支卷积网络输出的第二类别概率数据。
具体地，第一分支卷积网络包括第一卷积块和第二卷积块；利用第一卷积块中第一预设数量的卷积核对主干图像特征进行卷积处理，得到第一图像特征；其中，第一图像特征用于表示二维医学图像中像素间的相互关系；利用第二卷积块中第二预设数量的卷积核对第一图像特征进行卷积处理，得到第二图像特征；对第二图像特征进行全局平均池化处理，得到第一类别概率数据。
具体地，第二分支卷积网络包括第三卷积块、池化层以及第四卷积块；利用第三卷积块中第一预设数量的卷积核对主干图像特征进行特征聚合，得到第三图像特征；利用池化层对第三图像特征进行最大池化处理，得到图像关键语义特征；利用第四卷积块对图像关键语义特征进行特征聚合，得到第四图像特征；对第四图像特征进行全局平均池化处理，得到第二类别概率数据。
S616、根据第一类别概率数据、第二类别概率数据进行相加处理，得到融合结果。
S618、在融合结果中确定满足预设条件的目标概率值。
S620、将目标概率值对应的类别确定为二维医学图像对应的身体部位类别。
S622、对比二维医学图像对应的身体部位类别与指定医学检查项目所要求的目标部位。
S624、在身体部位类别与目标部位不匹配的情况下，确定目标医学图像序列的质量不达标。
S626、向质控终端发送质控结果，以用于质控终端展示质控结果；其中，质控结果中包括目标医学图像序列对应的序列编号、受试者编号、二维医学图像、指定医学检查项目所要求的目标部位
S628、在身体部位类别与目标部位匹配的情况下，确定目标医学图像序列的质量达标。
S630、向阅片终端发送质量达标的目标医学图像序列。
请参阅图6，本说明书实施方式提供一种医学图像分类模型训练方法。该医学图像分类模型训练方法包括以下步骤。
S710、构建医学图像训练样本集；其中，医学图像训练样本集包括若干张二维医学图像。
具体地，如上文，利用线性插值算法将医学图像序列投影为二维冠状位图像，可以按照预设尺寸从二维冠状位图像中随机裁剪。得到若干张二维医学图像，构建医学图像训练样本集。如此操作，起到一定的数据增广的作用。模型验证、测试、使用时则将其居中裁剪为预设尺寸的二维医学图像，增加模型的稳定性。
S720、利用二维医学图像对医学图像分类模型进行训练，直至满足模型停止训练条件。
其中，医学图像分类模型包括主干卷积网络、第一分支卷积网络以及第二分支卷积网络；其中，第一分支卷积网络、第二分支卷积网络分别连接于主干卷积网络；主干卷积网络包括若干密集连接模块；其中，主干卷积网络，用于对二维医学图像进行特征提取，得到主干图像特征；第一分支卷积网络，用于对主干图像特征进行处理，得到第一类别概率数据；第二分支卷积网络，用于对主干图像特征进行处理，得到第二类别概率数据；其中，第一类别概率数据以及第二类别概率数据的融合结果，用于确定二维医学图像对应的身体部位类别。
关于医学图像分类模型训练方法的具体限定可以参见上文中对于医学图像序列质控方法的限定，在此不再赘述。
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
请参阅图7，本说明书实施方式提供了一种医学图像序列质控装置，医学图像序列质控装置包括：医学图像输入模块、主干特征提取模块、概率数据生成模块、部位类别确定模块以及质控结果确定模块。
医学图像输入模块，用于将针对指定医学检查项目的二维医学图像输入至医学图像分类模型中；其中，所述二维医学图像是将针对所述指定医学检查项目的目标医学图像序列进行投影得到的；所述医学图像分类模型包括主干卷积网络、第一分支卷积网络以及第二分支卷积网络；其中，所述第一分支卷积网络、所述第二分支卷积网络分别连接于所述主干卷积网络。
主干特征提取模块，用于采用所述主干卷积网络对所述二维医学图像进行特征提取，得到主干图像特征。
概率数据生成模块，用于将所述主干图像特征分别输入至所述第一分支卷积网络、所述第二分支卷积网络中，对应得到所述第一分支卷积网络输出的第一类别概率数据、所述第二分支卷积网络输出的第二类别概率数据。
部位类别确定模块，用于基于所述第一类别概率数据、所述第二类别概率数据的融合结果确定所述二维医学图像对应的身体部位类别。
质控结果确定模块，用于根据所述身体部位类别与所述指定医学检查项目所要求的目标部位确定目标医学图像序列的质控结果。
关于医学图像序列质控装置的具体限定可以参见上文中对于医学图像序列质控方法的限定，在此不再赘述。上述医学图像序列质控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
请参阅图8，本说明书实施方式提供了一种医学图像分类模型训练装置，医学图像分类模型训练可以包括：样本集构建模块、模型训练模块。
样本集构建模块，用于构建医学图像训练样本集；其中，所述医学图像训练样本集包括若干张二维医学图像；
模型训练模块，用于利用所述二维医学图像对医学图像分类模型进行训练，直至满足模型停止训练条件；其中，所述医学图像分类模型包括主干卷积网络、第一分支卷积网络以及第二分支卷积网络；其中，所述第一分支卷积网络、所述第二分支卷积网络分别连接于所述主干卷积网络；所述主干卷积网络包括若干密集连接模块；其中，所述主干卷积网络，用于对所述二维医学图像进行特征提取，得到主干图像特征；所述第一分支卷积网络，用于对所述主干图像特征进行处理，得到第一类别概率数据；所述第二分支卷积网络，用于对所述主干图像特征进行处理，得到第二类别概率数据；其中，所述第一类别概率数据以及第二类别概率数据的融合结果，用于确定所述二维医学图像对应的身体部位类别。
关于医学图像分类模型训练装置的具体限定可以参见上文中对于医学图像分类模型训练方法的限定，在此不再赘述。上述医学图像分类模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一些实施方式中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种上述任一实施方式中的方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本说明书所公开方案相关的部分结构的框图，并不构成对本说明书所公开方案所应用于其上的计算机设备的限定，具体地，计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一些实施方式中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述实施方式中的方法步骤。
在一些实施方式中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施方式中的方法步骤。
在一些实施方式中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由计算机设备的处理器执行时实现上述实施方式中的方法步骤。
本领域普通技术人员可以理解实现上述实施方式方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施方式的流程。其中，本说明所提供的各实施方式中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-Only Memory，ROM）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic Random Access Memory，DRAM）等。
以上实施方式的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施方式中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述仅为本说明书的较佳实施方式而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所作的任何修改、等同替换等，均应包含在本说明书的保护范围之内。

Claims (12)

1.一种医学图像序列质控方法，其特征在于，所述方法包括：
将针对指定医学检查项目的二维医学图像输入至医学图像分类模型中；其中，所述二维医学图像是将针对所述指定医学检查项目的目标医学图像序列进行投影得到的；所述医学图像分类模型包括主干卷积网络、第一分支卷积网络以及第二分支卷积网络；其中，所述第一分支卷积网络、所述第二分支卷积网络分别连接于所述主干卷积网络；
采用所述主干卷积网络对所述二维医学图像进行特征提取，得到主干图像特征；
将所述主干图像特征分别输入至所述第一分支卷积网络、所述第二分支卷积网络中，对应得到所述第一分支卷积网络输出的第一类别概率数据、所述第二分支卷积网络输出的第二类别概率数据；
基于所述第一类别概率数据、所述第二类别概率数据的融合结果确定所述二维医学图像对应的身体部位类别；
根据所述身体部位类别与所述指定医学检查项目所要求的目标部位确定目标医学图像序列的质控结果。
2.根据权利要求1所述的方法，其特征在于，所述主干卷积网络包括若干密集连接模块，所述采用所述主干卷积网络对所述二维医学图像进行特征提取，得到主干图像特征，包括：
通过所述密集连接模块中具有膨胀率的卷积核提取所述二维医学图像中的身体部位特征，得到所述主干图像特征。
3.根据权利要求1所述的方法，其特征在于，所述第一分支卷积网络包括第一卷积块和第二卷积块；将所述主干图像特征输入至所述第一分支卷积网络，对应得到所述第一分支卷积网络输出的第一类别概率数据，包括：
利用所述第一卷积块中第一预设数量的卷积核对所述主干图像特征进行卷积处理，得到第一图像特征；其中，所述第一图像特征用于表示所述二维医学图像中像素间的相互关系；
利用所述第二卷积块中第二预设数量的卷积核对所述第一图像特征进行卷积处理，得到第二图像特征；
对所述第二图像特征进行平均池化处理，得到所述第一类别概率数据。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述第二分支卷积网络包括第三卷积块、池化层以及第四卷积块；将所述主干图像特征输入至所述第二分支卷积网络，对应得到所述第二分支卷积网络输出的第二类别概率数据，包括：
利用所述第三卷积块中第一预设数量的卷积核对所述主干图像特征进行特征聚合，得到第三图像特征；
利用所述池化层对所述第三图像特征进行最大池化处理，得到图像关键语义特征；
利用所述第四卷积块对所述图像关键语义特征进行特征聚合，得到第四图像特征；
对所述第四图像特征进行全局平均池化处理，得到所述第二类别概率数据。
5.根据权利要求1所述的方法，其特征在于，所述基于所述第一类别概率数据、第二类别概率数据的融合结果确定所述二维医学图像对应的身体部位类别，包括：
根据所述第一类别概率数据、第二类别概率数据进行相加处理，得到所述融合结果；
在所述融合结果中确定满足预设条件的目标概率值；
将所述目标概率值对应的类别确定为所述身体部位类别。
6.根据权利要求1所述的方法，其特征在于，所述根据所述身体部位类别与所述指定医学检查项目所要求的目标部位确定目标医学图像序列的质控结果，包括：
在所述身体部位类别与所述目标部位不匹配的情况下，确定所述目标医学图像序列的质量不达标；或者，
在所述身体部位类别与所述目标部位匹配的情况下，确定所述目标医学图像序列的质量达标。
7.根据权利要求1所述的方法，其特征在于，所述将针对所述指定医学检查项目的目标医学图像序列进行投影，包括：
获取目标医学图像序列的切片体素矩阵、斜率标签数据以及截距标签数据；
基于所述斜率标签数据以及所述截距标签数据，将所述切片体素矩阵转换为计算内存可处理的目标体素矩阵；
根据体素间距以及切片间距对所述目标体素矩阵进行插值处理，得到插值体素矩阵；
基于所述插值体素矩阵中位于切片垂直方向上的每列体素的体素值标准差，得到所述二维医学图像。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
向阅片终端发送质量达标的目标医学图像序列；或者，
向质控终端发送质控结果，以用于所述质控终端展示所述质控结果；其中，所述质控结果中包括所述目标医学图像序列对应的序列编号、受试者编号、所述二维医学图像、所述指定医学检查项目所要求的目标部位。
9.一种医学图像分类模型训练方法，其特征在于，所述方法包括：
构建医学图像训练样本集；其中，所述医学图像训练样本集包括若干张二维医学图像；
利用所述二维医学图像对医学图像分类模型进行训练，直至满足模型停止训练条件；其中，所述医学图像分类模型包括主干卷积网络、第一分支卷积网络以及第二分支卷积网络；其中，所述第一分支卷积网络、所述第二分支卷积网络分别连接于所述主干卷积网络；所述主干卷积网络包括若干密集连接模块；其中，所述主干卷积网络，用于对所述二维医学图像进行特征提取，得到主干图像特征；所述第一分支卷积网络，用于对所述主干图像特征进行处理，得到第一类别概率数据；所述第二分支卷积网络，用于对所述主干图像特征进行处理，得到第二类别概率数据；其中，所述第一类别概率数据以及第二类别概率数据的融合结果，用于确定所述二维医学图像对应的身体部位类别。
10.一种医学图像序列质控装置，其特征在于，所述装置包括：
医学图像输入模块，用于将针对指定医学检查项目的二维医学图像输入至医学图像分类模型中；其中，所述二维医学图像是将针对所述指定医学检查项目的目标医学图像序列进行投影得到的；所述医学图像分类模型包括主干卷积网络、第一分支卷积网络以及第二分支卷积网络；其中，所述第一分支卷积网络、所述第二分支卷积网络分别连接于所述主干卷积网络；
主干特征提取模块，用于采用所述主干卷积网络对所述二维医学图像进行特征提取，得到主干图像特征；
概率数据生成模块，用于将所述主干图像特征分别输入至所述第一分支卷积网络、所述第二分支卷积网络中，对应得到所述第一分支卷积网络输出的第一类别概率数据、所述第二分支卷积网络输出的第二类别概率数据；
部位类别确定模块，用于基于所述第一类别概率数据、所述第二类别概率数据的融合结果确定所述二维医学图像对应的身体部位类别；
质控结果确定模块，用于根据所述身体部位类别与所述指定医学检查项目所要求的目标部位确定目标医学图像序列的质控结果。
11.一种医学图像分类模型训练装置，其特征在于，所述装置包括：
样本集构建模块，用于构建医学图像训练样本集；其中，所述医学图像训练样本集包括若干张二维医学图像；
模型训练模块，用于利用所述二维医学图像对医学图像分类模型进行训练，直至满足模型停止训练条件；其中，所述医学图像分类模型包括主干卷积网络、第一分支卷积网络以及第二分支卷积网络；其中，所述第一分支卷积网络、所述第二分支卷积网络分别连接于所述主干卷积网络；所述主干卷积网络包括若干密集连接模块；其中，所述主干卷积网络，用于对所述二维医学图像进行特征提取，得到主干图像特征；所述第一分支卷积网络，用于对所述主干图像特征进行处理，得到第一类别概率数据；所述第二分支卷积网络，用于对所述主干图像特征进行处理，得到第二类别概率数据；其中，所述第一类别概率数据以及第二类别概率数据的融合结果，用于确定所述二维医学图像对应的身体部位类别。
12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。
CN202210582017.7A 2022-05-26 2022-05-26 医学图像质控、分类模型训练方法、装置及计算机设备 Active CN114663715B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210582017.7A CN114663715B (zh) 2022-05-26 2022-05-26 医学图像质控、分类模型训练方法、装置及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210582017.7A CN114663715B (zh) 2022-05-26 2022-05-26 医学图像质控、分类模型训练方法、装置及计算机设备

Publications (2)

Publication Number Publication Date
CN114663715A true CN114663715A (zh) 2022-06-24
CN114663715B CN114663715B (zh) 2022-08-26

Family

ID=82038442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210582017.7A Active CN114663715B (zh) 2022-05-26 2022-05-26 医学图像质控、分类模型训练方法、装置及计算机设备

Country Status (1)

Country Link
CN (1) CN114663715B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115018839A (zh) * 2022-08-08 2022-09-06 浙江华诺康科技有限公司 用于医学检查的图像识别方法、装置和电子装置
CN115187600A (zh) * 2022-09-13 2022-10-14 杭州涿溪脑与智能研究所 一种基于神经网络的脑部出血体积计算方法
CN115272086A (zh) * 2022-09-29 2022-11-01 杭州太美星程医药科技有限公司 医学图像缝合方法和装置、电子设备和存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110992314A (zh) * 2019-11-15 2020-04-10 广东华路交通科技有限公司 一种路面缺陷检测方法、装置及存储介质
CN111369617A (zh) * 2019-12-31 2020-07-03 浙江大学 一种基于卷积神经网络的单目视图的3d目标检测方法
CN111507381A (zh) * 2020-03-31 2020-08-07 上海商汤智能科技有限公司 图像识别方法及相关装置、设备
CN111753746A (zh) * 2020-06-28 2020-10-09 苏州科达科技股份有限公司 属性识别模型训练方法、识别方法、电子设备、存储介质
CN112037200A (zh) * 2020-08-31 2020-12-04 上海交通大学 一种医学影像中解剖特征自动识别与模型重建方法
CN112036506A (zh) * 2020-09-24 2020-12-04 上海商汤智能科技有限公司 图像识别方法及相关装置、设备
CN112163465A (zh) * 2020-09-11 2021-01-01 华南理工大学 细粒度图像分类方法、系统、计算机设备及存储介质
CN112329844A (zh) * 2020-11-03 2021-02-05 上海商汤智能科技有限公司 图像目标分类方法及相关装置、设备、存储介质
CN113129293A (zh) * 2021-04-26 2021-07-16 长沙理工大学 医学图像分类方法、装置、计算机设备和存储介质
CN113554124A (zh) * 2021-09-18 2021-10-26 浙江太美医疗科技股份有限公司 图像识别方法及装置、计算机可读存储介质及电子设备
US20210365741A1 (en) * 2019-05-08 2021-11-25 Tencent Technology (Shenzhen) Company Limited Image classification method, computer-readable storage medium, and computer device
CN113764075A (zh) * 2021-09-13 2021-12-07 杭州太美星程医药科技有限公司 医学图像质控方法及装置、可读存储介质及电子设备
CN113989407A (zh) * 2021-12-30 2022-01-28 青岛美迪康数字工程有限公司 Ct影像中肢体部位识别模型训练方法及系统
CN114120030A (zh) * 2021-11-01 2022-03-01 中国科学技术大学 基于注意力机制的医学图像处理方法及相关设备
CN114282594A (zh) * 2021-11-19 2022-04-05 广东省人民医院 医学图像分类方法、系统和存储介质
CN114329022A (zh) * 2021-12-28 2022-04-12 百果园技术(新加坡)有限公司 一种色情分类模型的训练、图像检测方法及相关装置
CN114511547A (zh) * 2022-02-15 2022-05-17 平安国际智慧城市科技股份有限公司 病理切片图像质控方法、装置、设备及存储介质

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210365741A1 (en) * 2019-05-08 2021-11-25 Tencent Technology (Shenzhen) Company Limited Image classification method, computer-readable storage medium, and computer device
CN110992314A (zh) * 2019-11-15 2020-04-10 广东华路交通科技有限公司 一种路面缺陷检测方法、装置及存储介质
CN111369617A (zh) * 2019-12-31 2020-07-03 浙江大学 一种基于卷积神经网络的单目视图的3d目标检测方法
CN111507381A (zh) * 2020-03-31 2020-08-07 上海商汤智能科技有限公司 图像识别方法及相关装置、设备
CN111753746A (zh) * 2020-06-28 2020-10-09 苏州科达科技股份有限公司 属性识别模型训练方法、识别方法、电子设备、存储介质
CN112037200A (zh) * 2020-08-31 2020-12-04 上海交通大学 一种医学影像中解剖特征自动识别与模型重建方法
CN112163465A (zh) * 2020-09-11 2021-01-01 华南理工大学 细粒度图像分类方法、系统、计算机设备及存储介质
CN112036506A (zh) * 2020-09-24 2020-12-04 上海商汤智能科技有限公司 图像识别方法及相关装置、设备
CN112329844A (zh) * 2020-11-03 2021-02-05 上海商汤智能科技有限公司 图像目标分类方法及相关装置、设备、存储介质
CN113129293A (zh) * 2021-04-26 2021-07-16 长沙理工大学 医学图像分类方法、装置、计算机设备和存储介质
CN113764075A (zh) * 2021-09-13 2021-12-07 杭州太美星程医药科技有限公司 医学图像质控方法及装置、可读存储介质及电子设备
CN113554124A (zh) * 2021-09-18 2021-10-26 浙江太美医疗科技股份有限公司 图像识别方法及装置、计算机可读存储介质及电子设备
CN114120030A (zh) * 2021-11-01 2022-03-01 中国科学技术大学 基于注意力机制的医学图像处理方法及相关设备
CN114282594A (zh) * 2021-11-19 2022-04-05 广东省人民医院 医学图像分类方法、系统和存储介质
CN114329022A (zh) * 2021-12-28 2022-04-12 百果园技术(新加坡)有限公司 一种色情分类模型的训练、图像检测方法及相关装置
CN113989407A (zh) * 2021-12-30 2022-01-28 青岛美迪康数字工程有限公司 Ct影像中肢体部位识别模型训练方法及系统
CN114511547A (zh) * 2022-02-15 2022-05-17 平安国际智慧城市科技股份有限公司 病理切片图像质控方法、装置、设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YANG DING 等: "Supervised machine learning quality control for magnetic resonance artifacts in neonatal data sets", 《EUROPE PMC》 *
易音巧: "基于深度学习的医学影像质量评估", 《中国硕士学位论文全文数据库》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115018839A (zh) * 2022-08-08 2022-09-06 浙江华诺康科技有限公司 用于医学检查的图像识别方法、装置和电子装置
CN115187600A (zh) * 2022-09-13 2022-10-14 杭州涿溪脑与智能研究所 一种基于神经网络的脑部出血体积计算方法
CN115272086A (zh) * 2022-09-29 2022-11-01 杭州太美星程医药科技有限公司 医学图像缝合方法和装置、电子设备和存储介质
CN115272086B (zh) * 2022-09-29 2022-12-27 杭州太美星程医药科技有限公司 医学图像缝合方法和装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN114663715B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN114663715B (zh) 医学图像质控、分类模型训练方法、装置及计算机设备
US11553874B2 (en) Dental image feature detection
WO2020238734A1 (zh) 图像分割模型的训练方法、装置、计算机设备和存储介质
CN109035187B (zh) 一种医学图像的标注方法及装置
CN112101451B (zh) 一种基于生成对抗网络筛选图像块的乳腺癌组织病理类型分类方法
US10853409B2 (en) Systems and methods for image search
CN110246580B (zh) 基于神经网络和随机森林的颅侧面影像分析方法和系统
US20220036575A1 (en) Method for measuring volume of organ by using artificial neural network, and apparatus therefor
CN114092475B (zh) 病灶长径确定方法、图像标注方法、装置及计算机设备
CN114298234B (zh) 脑部医学影像分类方法、装置、计算机设备和存储介质
WO2022178997A1 (zh) 医学影像配准方法、装置、计算机设备及存储介质
CN113707264A (zh) 基于机器学习的药物推荐方法、装置、设备及介质
CN112465819A (zh) 图像异常区域检测方法、装置、电子设备及存储介质
Parra-Dominguez et al. Automatic facial palsy diagnosis as a classification problem using regional information extracted from a photograph
Al-Khasawneh et al. Alzheimer’s Disease Diagnosis Using MRI Images
Lu et al. Landmark localization for cephalometric analysis using multiscale image patch-based graph convolutional networks
da Cruz et al. Enabling autonomous medical image data annotation: A human-in-the-loop reinforcement learning approach
CN109087357B (zh) 扫描定位方法、装置、计算机设备及计算机可读存储介质
CN110533120A (zh) 器官结节的图像分类方法、装置、终端及存储介质
CN116630239A (zh) 影像分析方法、装置和计算机设备
Lou et al. Predicting radiologists' gaze with computational saliency models in mammogram reading
Lu et al. Learning multi-modal biomarker representations via globally aligned longitudinal enrichments
Aljawarneh et al. Pneumonia detection using enhanced convolutional neural network model on chest x-ray images
CN115690486A (zh) 识别图像中病灶方法、装置、设备及存储介质
Zhang et al. Value of rehabilitation training for children with cerebral palsy diagnosed and analyzed by computed tomography imaging information features under deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant