CN111524106A - 颅骨骨折检测和模型训练方法、装置、设备和存储介质 - Google Patents

颅骨骨折检测和模型训练方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN111524106A
CN111524106A CN202010287222.1A CN202010287222A CN111524106A CN 111524106 A CN111524106 A CN 111524106A CN 202010287222 A CN202010287222 A CN 202010287222A CN 111524106 A CN111524106 A CN 111524106A
Authority
CN
China
Prior art keywords
feature layer
network
skull fracture
convolution
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010287222.1A
Other languages
English (en)
Other versions
CN111524106B (zh
Inventor
陈伟导
吴双
宋晓媛
于荣震
李萌
王丹
赵朝炜
夏晨
张荣国
李新阳
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tuoxiang Technology Co ltd
Beijing Infervision Technology Co Ltd
Original Assignee
Beijing Tuoxiang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tuoxiang Technology Co ltd filed Critical Beijing Tuoxiang Technology Co ltd
Priority to CN202010287222.1A priority Critical patent/CN111524106B/zh
Publication of CN111524106A publication Critical patent/CN111524106A/zh
Application granted granted Critical
Publication of CN111524106B publication Critical patent/CN111524106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种颅骨骨折检测和模型训练方法、装置、设备和存储介质。模型训练方法包括：获取多组颅骨骨折训练样本数据；基于各组颅骨骨折训练样本数据，对基于神经网络的初始目标检测模型进行训练，生成颅骨骨折检测模型；其中，颅骨骨折检测模型包括由深度卷积神经网络和多尺度目标检测网络构成的特征提取主网络和无候选框分类子网络；特征提取主网络用于对头部医学图像进行特征提取，获得至少一个融合特征层，融合特征层融合了低层卷积特征层的位置信息和高层卷积特征层的语义信息；无候选框分类子网络用于至少对各融合特征层中的最后一个融合特征层进行卷积操作，获得模型输出结果。通过上述技术方案，实现了颅骨骨折的高精度检测。

Description

颅骨骨折检测和模型训练方法、装置、设备和存储介质
技术领域
本发明实施例涉及医学图像处理技术，尤其涉及一种颅骨骨折检测和模型训练方法、装置、设备和存储介质。
背景技术
颅骨骨折是颅脑外伤常见病，现颅脑计算机断层(Computed Tomography，CT)图像是进行颅骨骨折诊断的主要依据。
目前利用颅脑CT图像进行颅骨骨折诊断的方式主要有：一种是医生人眼阅片来识别CT图像中的颅骨骨折；另一种是对颅脑CT图像进行处理和目标检测，来自动识别其中的颅骨骨折。
但是，人眼识别的方式，因为依赖于医生经验和容易疲劳等原因，容易造成漏诊。而自动识别的方式，由于颅骨骨折的大小尺度不一，如有的是较明显的大尺度骨折，有的是不明显的粉碎性骨折，使得现有的目标检测算法的适用性受限，降低颅骨骨折的检测精度。
发明内容
本发明实施例提供一种颅骨骨折检测和模型训练方法、装置、设备和存储介质，以实现颅脑CT图像中颅骨骨折的检测，提高颅骨骨折检测精度。
第一方面，本发明实施例提供了一种颅骨骨折检测模型的训练方法，包括：
获取多组颅骨骨折训练样本数据，所述颅骨骨折训练样本数据包括头部医学图像和所述头部医学图像对应的颅骨骨折标注图像；
基于各组所述颅骨骨折训练样本数据，对基于神经网络的初始目标检测模型进行训练，生成颅骨骨折检测模型；
其中，所述颅骨骨折检测模型包括由深度卷积神经网络和多尺度目标检测网络构成的特征提取主网络和无候选框分类子网络；所述特征提取主网络用于对所述头部医学图像进行特征提取，获得至少一个融合特征层，所述融合特征层融合了低层卷积特征层的位置信息和高层卷积特征层的语义信息；所述无候选框分类子网络用于至少对各所述融合特征层中的最后一个融合特征层进行卷积操作，获得模型输出结果。
第二方面，本发明实施例还提供了一种颅骨骨折检测方法，包括：
获取头部的待检测图像，并将所述待检测图像输入颅骨骨折检测模型，获得模型输出结果；
对所述模型输出结果构成的各初始骨折检测框进行重合检测框的滤除，生成所述待检测图像对应的目标骨折检测框，其中，所述颅骨骨折检测模型基于本发明任意实施例所提供的颅骨骨折检测模型的训练方法获得。
第三方面，本发明实施例还提供了一种颅骨骨折检测模型的训练装置，该装置包括：
训练样本数据获取模块，用于获取多组颅骨骨折训练样本数据，所述颅骨骨折训练样本数据包括头部医学图像和所述头部医学图像对应的颅骨骨折标注图像；
模型训练模块，用于基于各组所述颅骨骨折训练样本数据，对基于神经网络的初始目标检测模型进行训练，生成颅骨骨折检测模型；
其中，所述颅骨骨折检测模型包括由深度卷积神经网络和多尺度目标检测网络构成的特征提取主网络和无候选框分类子网络；所述特征提取主网络用于对所述头部医学图像进行特征提取，获得至少一个融合特征层，所述融合特征层融合了低层卷积特征层的位置信息和高层卷积特征层的语义信息；所述无候选框分类子网络用于至少对各所述融合特征层中的最后一个融合特征层进行卷积操作，获得模型输出结果。
第四方面，本发明实施例还提供了一种颅骨骨折检测装置，该装置包括：
模型输出结果获得模块，用于获取头部的待检测图像，并将所述待检测图像输入颅骨骨折检测模型，获得模型输出结果；
目标骨折检测框生成模块，用于对所述模型输出结果构成的各初始骨折检测框进行重合检测框的滤除，生成所述待检测图像对应的目标骨折检测框，其中，所述颅骨骨折检测模型基于本发明任意实施例所提供的颅骨骨折检测模型的训练方法获得。
第五方面，本发明实施例还提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的颅骨骨折检测模型的训练方法或颅骨骨折检测方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所提供的颅骨骨折检测模型的训练方法或颅骨骨折检测方法。
本发明实施例通过设计并训练包括由深度卷积神经网络和多尺度目标检测网络构成的特征提取主网络和无候选框分类子网络的颅骨骨折检测模型，其中，特征提取主网络用于对头部医学图像进行特征提取，获得至少一个融合特征层，融合特征层融合了低层卷积特征层的位置信息和高层卷积特征层的语义信息；无候选框分类子网络用于至少对各融合特征层中的最后一个融合特征层进行卷积操作，获得模型输出结果。实现了针对颅骨骨折的尺度多样性的特征，采用对尺度变化不敏感的无候选框分类子网络对主干网络提取的融合特征层进行分类和边框回归，获得了针对不同尺度、不同类型的颅骨骨折具有更强的检测适用性的颅骨骨折检测模型，使其既能检测出颅脑CT图像中的大尺度骨折，也能检测出粉碎性的小尺度骨折，提高颅骨骨折的检测精度和检测效率。
附图说明
图1是本发明实施例一中的一种颅骨骨折检测模型的训练方法的流程图；
图2是本发明实施例一中的颅骨骨折检测模型的模型结构示意图；
图3是本发明实施例二中的一种颅骨骨折检测方法中的颅骨骨折检测模型的模型内部处理过程的流程图；
图4是本发明实施例三中的一种颅骨骨折检测方法的流程图；
图5是本发明实施例三中的颅骨骨折检测结果的示意图；
图6是本发明实施例四的一种颅骨骨折检测模型的训练装置的结构示意图；
图7是本发明实施例五的一种颅骨骨折检测装置的结构示意图；
图8是本发明实施例六中的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
本实施例提供的颅骨骨折检测模型的训练方法可适用于对头部医学图像中的颅骨骨折进行自动检测的神经网络模型的训练。该方法可以由颅骨骨折检测模型的训练装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在电子设备中，例如笔记本电脑、台式电脑或服务器等。参见图1，本实施例的方法具体包括如下步骤：
S110、获取多组颅骨骨折训练样本数据，颅骨骨折训练样本数据包括头部医学图像和头部医学图像对应的颅骨骨折标注图像。
其中，颅骨骨折训练样本数据是指用于颅骨骨折检测的模型训练的样本数据。每组颅骨骨折训练样本数据由包含颅骨骨折的头部医学图像(如颅脑CT/CTA图像)及对该头部医学图像进行颅骨骨折标注的标注图像(即颅骨骨折标注图像，也称为金标准)构成。
具体地，在进行模型训练之前，需要先收集训练样本数据，例如从医疗系统或临床获取多张头部医学图像，并对每张头部医学图像进行颅骨骨折标注，获得相应的颅骨骨折标注图像。需要说明的是，在获得头部医学图像之后，可以对每张头部医学图像进行诸如归一化、去噪、细节增强等的预处理。
S120、基于各组颅骨骨折训练样本数据，对基于神经网络的初始目标检测模型进行训练，生成颅骨骨折检测模型。
其中，初始目标检测模型是指预先设计的、基于神经网络的目标检测模型，其模型结构与后续生成的颅骨骨折检测模型相同，但是模型参数是未经训练的、初始设置的参数值。颅骨骨折检测模型是用于进行颅骨骨折检测的模型，其模型参数是根据训练样本数据中的图像中的颅骨骨折特征进行训练调整后的参数值。
具体地，将每组颅骨骨折训练样本数据中的头部医学图像作为初始目标检测模型的输入图像，经过模型运算，得到模型输出结果。该模型输出结果与输入图像对应的颅骨骨折标注图像进行比对，获得模型检测误差。之后，利用损失函数将模型检测误差进行误差反传，以更新模型参数。通过上述过程的迭代运算，在模型训练达到收敛条件时，便可确定最终的模型参数，该模型参数应用至初始目标检测模型中，便获得颅骨骨折检测模型。
示例性地，颅骨骨折检测模型包括由深度卷积神经网络和多尺度目标检测网络构成的特征提取主网络和无候选框分类子网络；特征提取主网络用于对头部医学图像进行特征提取，获得至少一个融合特征层，融合特征层融合了低层卷积特征层的位置信息和高层卷积特征层的语义信息；无候选框分类子网络用于至少对各融合特征层中的最后一个融合特征层进行卷积操作，获得模型输出结果。
其中，最后一个融合特征层是指最后一个生成的融合特征层。
参见图2，颅骨骨折检测模型200中包含特征提取主网络210和无候选框(anchor-free)分类子网络220。特征提取主网络210由自下而上通道的深度卷积神经网络(如ResNext、VGG、DenseNet等)和自上而下通道的多尺度目标检测网络(Feature PyramidNetworks,FPN)构成，而且FPN网络的横向通道连接无候选框分类子网络220。特征提取主网络210的输入为头部医学图像，输出为至少一个融合特征层。融合特征层是对转换为同尺度的低层特征层和高层特征层进行融合而得到，低层特征层中保留较多的细节信息(以位置信息来表征)，便于检测小目标，高层特征层中包含了更多的语义信息，便于检测大目标。特征提取主网络输出的融合特征层的数量取决于无候选框分类子网络的输入，例如，无候选框分类子网络的输入为第一个生成的融合特征层，那么特征提取主网络输出的融合特征层的数量便为1；无候选框分类子网络的输入为第三个生成的融合特征层，那么特征提取主网络输出的融合特征层的数量便为3。这样可以避免冗余的融合特征层的生成操作，降低运算量。
无候选框分类子网络220的作用是将特征提取主网络输出的特征层的特征通过卷积操作转化为检测框的位置和类别。无候选框分类子网络220的网络结构中的W和H分别表示特征层的宽度和高度，K表示有K个类别，本实施例中可以将K设置为2，表示进行是否骨折的二分类，4表示每个检测框的坐标位置信息。
具体地，相关技术中的颅骨骨折检测多利用基于候选框的分类子网络(anchor-based)进行特征分类操作，但是基于候选框的分类子网络需要预先设定一定数量的预定义检测框(即候选框)，而这些预定义检测框是尺度相关的。这就存在预定义候选框的尺度不适合图像中存在的颅骨骨折的尺度的问题，从而导致无法检测出某些颅骨骨折的情况。基于此，本发明实施例中采用了无候选框分类子网络。无候选框分类子网络对尺度变化不敏感，而且其输入为融合了细节信息和强语义信息的融合特征层，这样便可更好地检测出头部医学图像中的不同尺度的颅骨骨折。
为了进一步提高检测精度，可以利用无候选框分类子网络对多个融合特征层进行分类处理，获得更多的模型输出结果。假设特征提取主网络的每个输出层均需要进行分类处理，那么每个输出层均连接一个无候选框分类子网络(图中未示出)。该多个融合特征层中要包含最后一个融合特征层，这是因为最后一个融合特征层是自上而下通道中最下层的特征层，其融合了自下而上通道中的更低层的特征层，从而包含更多的细节信息，能够提高颅骨骨折检测中小骨折的检测精度，减少遗漏。
本实施例的技术方案，通过设计并训练包括由深度卷积神经网络和多尺度目标检测网络构成的特征提取主网络和无候选框分类子网络的颅骨骨折检测模型，其中，特征提取主网络用于对头部医学图像进行特征提取，获得至少一个融合特征层，融合特征层融合了低层卷积特征层的位置信息和高层卷积特征层的语义信息；无候选框分类子网络用于至少对各融合特征层中的最后一个融合特征层进行卷积操作，获得模型输出结果。实现了针对颅骨骨折的尺度多样性的特征，采用对尺度变化不敏感的无候选框分类子网络对主干网络提取的融合特征层进行分类和边框回归，获得了针对不同尺度、不同类型的颅骨骨折具有更强的检测适用性的颅骨骨折检测模型，使其既能检测出颅脑CT图像中的大尺度骨折，也能检测出粉碎性的小尺度骨折，提高模型检测颅骨骨折的精度和效率。
实施例二
本实施例在上述实施例一的基础上，对“颅骨骨折检测模型”的内部结构进行了进一步优化。其中与上述各实施例相同或相应的术语的解释在此不再赘述。本实施例中以图2的颅骨骨折检测模型的模型结构为基础，对颅骨骨折检测模型的内部处理过程进行阐述。
参见图3，本实施例提供的颅骨骨折检测方法中的颅骨骨折检测模型的内部处理过程包括：
S210、在特征提取主网络中，利用深度卷积神经网络对头部医学图像进行多组卷积操作和池化操作，获得图像尺度分别为头部医学图像对应的原始图像尺度的1/8、1/16和1/32的第一卷积特征层、第二卷积特征层和第三卷积特征层。
具体地，将头部医学图像输入颅骨骨折检测模型，深度卷积神经网络会对其进行连续的卷积操作和池化操作，生成第一卷积特征层C3、第二卷积特征层C4和第三卷积特征层C5。
S220、对第三卷积特征层进行空洞卷积操作获得尺度不变的第四卷积特征层，并对第四卷积特征层进行卷积操作和池化操作，获得图像尺度为原始图像尺度的1/64的第五卷积特征层。
具体地，为了在颅骨骨折检测过程中，使得模型关注每个点周围的更多的信息，进一步提高颅骨骨折检测精度，本发明实施例在特征提取主网络中增加了空洞卷积模块。具体实施时，对第三卷积特征层C5进行空洞卷积操作，获得图像尺度与第三卷积特征层C5的图像尺度一致的第四卷积特征层P5。
另外，为了进一步提高颅骨骨折检测精度，本发明实施例中在FPN网络结构中进一步增加了更高层的语义特征层，即对第四卷积特征层P5进行卷积操作和池化操作，获得图像尺度为原始图像尺度的1/64的第五卷积特征层P6。
S230、对第四卷积特征层进行卷积操作和上采样操作，获得与第二卷积特征层同尺度的第一升尺度特征层，并对第一升尺度特征层和第二卷积特征层进行叠加融合，获得第一融合结果，以及对第一融合结果进行空洞卷积操作，获得尺度不变的第一融合特征层。
具体地，FPN网络中获得融合特征层的过程是：先对第四卷积特征层P5进行卷积操作和上采样操作，获得与第二卷积特征层C4同尺度的第一升尺度特征层(图2中未示出)。然后，对该第一升尺度特征层和第二卷积特征层C4进行逐像素加和操作，获得第一融合结果(图2中未示出)。最后，对第一融合结果进行一次空洞卷积操作，便可获得第一融合特征层P4，第一融合特征层P4与第二卷积特征层C4的图像尺度一致，均为原始图像尺寸的1/16。
S240、对第一融合特征层进行卷积操作和上采样操作，获得与第一卷积特征层同尺度的第二升尺度特征层，并对第二升尺度特征层和第一卷积特征层进行叠加融合，获得第二融合结果，以及对第二融合结果进行空洞卷积操作，获得尺度不变的第二融合特征层，作为最后一个融合特征层。
具体地，第二融合特征层P3的生成过程同第一融合特征层P4，只是参与融合的特征层为第一融合特征层P4和第一卷积特征层C3，所得第二融合特征层P3的图像尺度为原始图像尺寸的1/8。
S250、通过特征提取主网络中的注意力机制模块对无候选框分类子网络和基于候选框的分类子网络的输入特征层进行特征提取，以更新相应输入特征层。
具体地，参见图2，为了使得颅骨骨折检测模型更加关注于骨折信息，本发明实施例中进一步在特征提取主网络210中引入了注意力机制模块211，该模块通过模型训练使得其中与骨折相关特征的权重更大。该注意力机制模块的输入是后续需要参与分类的各特征层。如果P3层-P6层均需参与后续分类操作，那么需要将P3层-P6层中的每层输入注意力机制模块211，获得进一步的特征提取结果，该特征提取结果更加突出骨折相关的信息。
S260、无候选框分类子网络对最后一个融合特征层进行卷积操作，获得模型输出结果，其中，最后一个融合特征层的图像尺度为头部医学图像对应的原始图像尺度的1/8。
具体地，为了均衡模型检测精度和计算速度，本实施例中仅将最后一个融合特征层(即第二融合特征层P3)输入无候选框分类子网络220，输出一个模型输出结果。
S270、基于候选框的分类子网络对第四卷积特征层、第五卷积特征层、第一融合特征层和第二融合特征层中的至少一个进行卷积操作，获得模型输出结果。
具体地，为了快速获得更多的模型输出结果，以提高后续参与检测框滤除的检测框数量，从而进一步提高模型检测精度，本实施例在颅骨骨折检测模型中进一步引入了基于候选框的分类子网络230。基于候选框的分类子网络的作用是将特征提取主网络210输出的特征层中的特征通过卷积组合操作转化为检测框的坐标位置和类别。基于候选框的分类子网络230的网络结构中的W和H分别表示特征层的宽度和高度，K表示有K个类别(同样设置K＝2)，A表示每个特征向量有A个预定义检测框(即候选框)，例如将A设定为9，表示每个特征向量都可以转化出9种不同尺度的检测框，这9种不同的尺度比例都是预先设定。
具体实施时，基于候选框的分类子网络230对P3层-P6层中的至少一层进行卷积操作，来获得模型输出结果。例如，为P3层-P6层中的每一层均连接一个基于候选框的分类子网络，这样便可获得P3层-P6层对应的四个模型输出结果。
后续可以对S260和S270中获得的所有模型输出结果进行检测框滤除的后处理操作(见实施例三)。需要说明的是，S260和S270的执行顺序不限定，也可同时执行。
本实施例的技术方案，通过在多尺度目标检测网络中引入空洞卷积模块，增加了骨折检测过程中的像素间相关性信息，进一步提高模型检测精度。通过在特征提取主网络中引入注意力机制模块，提高了模型对骨折信息的关注度，从而进一步提高模型检测精度。通过基于候选框的分类子网络的引入，能够增加模型输出结果中检测框的数量，更进一步提高模型检测精度。通过将最后一个融合特征层输入无候选框分类子网络，既增加了模型骨折检测过程中的细节信息量，又降低了运算速度，均衡了模型预测精度和效率。
在上述技术方案的基础上，颅骨骨折检测模型的训练过程中采用的损失函数为无候选框分类子网络对应的第一损失函数和基于候选框的分类子网络对应的第二损失函数的线性加权组合；其中，第一损失函数为焦点损失函数和检测框交并比损失函数的线性加权组合，第二损失函数为焦点损失函数和平滑后的L1范数损失函数的线性加权组合。
具体地，由于颅骨骨折检测模型中结合使用了无候选框分类子网络和基于候选框的分类子网络，而通常的损失函数无法综合考虑两类分类子网络的预测误差，也无法更加合理地进行误差反传。所以，为了优化两类分类子网络在模型中的检测效果，进一步提高模型检测精度，本实施例中设计了综合的损失函数用于模型训练过程。该综合的损失函数如下所示：
Ltotal＝α1Lanchor-based+β1Lanchor-free (1)
其中，Ltotal表示综合的损失函数值，Lanchor-based表示第二损失函数的损失函数值(见公式(2))，Lanchor-free表示第一损失函数的损失函数值(见公式(5))，α1、β1分别表示第二损失函数和第一损失函数的加权权重(也称为调制参数)。
Figure BDA0002448976180000121
其中，i表示输入基于候选框的分类子网络的输入层的序号，例如为P3层-P6层的层编号；FLi表示第i特征层的焦点损失函数Focal Loss值(见公式(3))，SmoothL1i表示第i特征层的平滑后的L1范数损失函数值(见公式(4))，α2、β2分别表示焦点损失函数和平滑后的L1范数损失函数的加权权重(也称为调制参数)。
Figure BDA0002448976180000122
其中，Pt表示预测为正确类别的概率，P表示预测为骨折类别的概率，在是否为骨折的二分类中y＝{1，-1}，αt、γ表示调制参数。
Figure BDA0002448976180000123
其中，x表示预测的检测框的位置坐标误差，Locationtrue和Locationfalse分别表示标注的检测框的坐标信息和预测的检测框的坐标信息，该坐标信息可以用两个对角角点的坐标来表示。
Lanchor-free＝α3FL+β3IOU-Loss (5)
其中，α3、β3分别表示焦点损失函数FL和检测框交并比损失函数IOU-Loss的加权权重(也称为调制参数)，检测框交并比损失函数IOU-Loss见如下公式(6)：
Figure BDA0002448976180000131
其中，A、B表示两个检测框。
实施例三
本实施例提供的颅骨骨折检测方法可适用于对头部医学图像中的颅骨骨折进行自动检测。该方法可以由颅骨骨折检测装置来执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在具有图像处理功能的电子设备中，例如笔记本电脑、台式电脑或服务器等。其中与前述各实施例相同或相应的术语的解释在此不再赘述。
参见图4，本实施例的方法具体包括如下步骤：
S410、获取头部的待检测图像，并将待检测图像输入颅骨骨折检测模型，获得模型输出结果。
其中，待检测图像是指需要进行颅骨骨折检测的头部医学图像，例如可以是颅脑CT/CTA图像。
具体地，首先获取头部的CT/CTA图像，作为待检测图像。该CT图像可以是通过CT扫描设备扫描而获得，也可以是从外部存储介质读入而获得。之后，将该待检测图像输入颅骨骨折检测模型，经过模型运算，便可获得模型输出结果。该模型输出结果包含分类概率结果和边框位置结果，分类概率结果中每个点的数值表示该点属于某个边框类别的概率，例如对于是否为骨折的二分类，分类概率结果(可称为骨折分类概率结果)则表示点属于骨折的概率；边框位置结果是检测框在图像中的位置坐标表示。分类概率结果和边框位置结果组合起来可以表示一个颅骨骨折检测框在图像中的位置。
S420、对模型输出结果构成的各初始骨折检测框进行重合检测框的滤除，生成待检测图像对应的目标骨折检测框。
其中，初始骨折检测框是指由模型输出结果直接获得的骨折检测框。
具体地，模型输出结果中的分类概率结果和边框位置结果的组合可以确定出多个初始骨折检测框。这些初始骨折检测框中可能存在几乎重合的至少两个检测框，该类检测框中存在冗余信息，需要进行滤除。例如，采用非极大值抑制(NMS)算法对所有的初始骨折检测框进行重合检测框的检测和滤除，滤除操作之后所得的各初始骨折检测框便为各目标骨折检测框。参见图5(a)，可在待检测图像中显示出目标骨折检测框501。
示例性地，将待检测图像输入颅骨骨折检测模型，获得模型输出结果之后，还包括：将模型输出结果中的骨折分类概率结果上采样至待检测图像对应的原始图像尺度，生成待检测图像对应的骨折概率热力图。
其中，骨折概率热力图是指以骨折概率值为基础而生成的热力图。该骨折概率热力图可以用不同颜色表征，例如为不同的骨折概率值设置不同的颜色；也可以用同一色系的颜色深浅来表征，例如颜色越深表示骨折概率值越小，颜色越浅表示骨折概率值越大等；还可以用不同密度的点来表征，例如密度大的区域表征骨折概率值大，密度小的区域表征骨折概率值小等。
具体地，由于骨折检测框的标示范围有限，可能因为骨折区域过小而无法生成检测框，以及检测框过滤算法可能会滤除一些预测对的检测框等原因，导致目标骨折检测框可能无法反映图像中的所有骨折点。所以，本发明实施例在生成目标骨折检测框的同时，生成待检测图像对应的骨折概率热力图。例如，以灰度色系来表征骨折概率热力图，热力图中分类判定为骨折的概率越大的点的显示颜色越趋近白色，表明其为骨折的可能性大，而概率越小的点的显示颜色越趋近黑色，表明其为骨折的可能性小。如此，按照每个像素点处的概率值大小，形成显示灰度值有差异的图像。由此可知，骨折概率热力图是以像素为单位进行骨折显示，其不受位置坐标的限制，能够更加直观且全面的反映颅骨骨折区域。
具体实施时，模型输出结果中的骨折分类概率结果中的每个点表示其属于骨折的概率，其与骨折概率热力图属于同类数据。但是，骨折分类概率结果的图像尺度一般小于待检测图像的原始图像尺度，故可以将骨折分类概率结果上采样至原始图像尺度，便可获得骨折概率热力图。例如，将无候选框分类子网络对最后一个融合特征层进行卷积操作而获得的模型输出结果中的骨折分类概率结果上采样至原始图像尺度，便可获得图5(a)中待检测图像对应的骨折概率热力图，如图5(b)所示。在该骨折概率热力图中，以灰色系的颜色深浅来表征，非骨折区域为黑色，而可能的骨折区域502中，按照概率值大小呈现由黑色趋近白色的渐变，处于中心区域的点的概率值最大，表现为白色。如果图5(a)中因某些原因未确定出目标骨折检测框501，那么图5(b)中的热力图仍然可以反映出可能的骨折区域。
本实施例的技术方案，通过获取头部的待检测图像，并将待检测图像输入颅骨骨折检测模型，获得模型输出结果；对模型输出结果构成的各初始骨折检测框进行重合检测框的滤除，生成待检测图像对应的目标骨折检测框。实现了基于适用性更强的颅骨骨折检测模型来检测图像中的颅骨骨折，提高了颅骨骨折检测精度。
实施例四
本实施例提供一种颅骨骨折检测模型的训练装置，参见图6，该装置具体包括：
训练样本数据获取模块610，用于获取多组颅骨骨折训练样本数据，颅骨骨折训练样本数据包括头部医学图像和头部医学图像对应的颅骨骨折标注图像；
模型训练模块620，用于基于各组颅骨骨折训练样本数据，对基于神经网络的初始目标检测模型进行训练，生成颅骨骨折检测模型；
其中，颅骨骨折检测模型包括由深度卷积神经网络和多尺度目标检测网络构成的特征提取主网络和无候选框分类子网络；特征提取主网络用于对头部医学图像进行特征提取，获得至少一个融合特征层，融合特征层融合了低层卷积特征层的位置信息和高层卷积特征层的语义信息；无候选框分类子网络用于至少对各融合特征层中的最后一个融合特征层进行卷积操作，获得模型输出结果。
可选地，无候选框分类子网络用于对最后一个融合特征层进行卷积操作，获得模型输出结果；其中，最后一个融合特征层的图像尺度为头部医学图像对应的原始图像尺度的1/8。
可选地，特征提取主网络的内部结构为：
利用深度卷积神经网络对头部医学图像进行多组卷积操作和池化操作，获得图像尺度分别为头部医学图像对应的原始图像尺度的1/8、1/16和1/32的第一卷积特征层、第二卷积特征层和第三卷积特征层；
对第三卷积特征层进行空洞卷积操作获得尺度不变的第四卷积特征层，并对第四卷积特征层进行卷积操作和池化操作，获得图像尺度为原始图像尺度的1/64的第五卷积特征层；
对第四卷积特征层进行卷积操作和上采样操作，获得与第二卷积特征层同尺度的第一升尺度特征层，并对第一升尺度特征层和第二卷积特征层进行叠加融合，获得第一融合结果，以及对第一融合结果进行空洞卷积操作，获得尺度不变的第一融合特征层；
对第一融合特征层进行卷积操作和上采样操作，获得与第一卷积特征层同尺度的第二升尺度特征层，并对第二升尺度特征层和第一卷积特征层进行叠加融合，获得第二融合结果，以及对第二融合结果进行空洞卷积操作，获得尺度不变的第二融合特征层，作为最后一个融合特征层。
进一步地，颅骨骨折检测模型还包括基于候选框的分类子网络，基于候选框的分类子网络用于对第四卷积特征层、第五卷积特征层、第一融合特征层和第二融合特征层中的至少一个进行卷积操作，获得模型输出结果。
进一步地，特征提取主网络还包括注意力机制模块，注意力机制模块用于对无候选框分类子网络和基于候选框的分类子网络的输入特征层进行特征提取，以更新相应输入特征层。
进一步地，颅骨骨折检测模型的训练过程中采用的损失函数为无候选框分类子网络对应的第一损失函数和基于候选框的分类子网络对应的第二损失函数的线性加权组合；其中，第一损失函数为焦点损失函数和检测框交并比损失函数的线性加权组合，第二损失函数为焦点损失函数和平滑后的L1范数损失函数的线性加权组合。
通过本发明实施例四的一种颅骨骨折检测模型的训练装置，实现了针对颅骨骨折的尺度多样性的特征，采用对尺度变化不敏感的无候选框分类子网络对主干网络提取的融合特征层进行分类和边框回归，获得了针对不同尺度、不同类型的颅骨骨折具有更强的检测适用性的颅骨骨折检测模型，使其既能检测出颅脑CT图像中的大尺度骨折，也能检测出粉碎性的小尺度骨折，提高了模型检测颅骨骨折的精度和效率。
本发明实施例所提供的颅骨骨折检测模型的训练装置可执行本发明任意实施例所提供的颅骨骨折检测模型的训练方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述颅骨骨折检测模型的训练装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例五
本实施例提供一种颅骨骨折检测装置，参见图7，该装置具体包括：
模型输出结果获得模块710，用于获取头部的待检测图像，并将待检测图像输入颅骨骨折检测模型，获得模型输出结果；
目标骨折检测框生成模块720，用于对模型输出结果构成的各初始骨折检测框进行重合检测框的滤除，生成待检测图像对应的目标骨折检测框，其中，颅骨骨折检测模型本发明任意实施例所提供的颅骨骨折检测模型的训练方法获得。
可选地，颅骨骨折检测模型包括由深度卷积神经网络和多尺度目标检测网络构成的特征提取主网络和无候选框分类子网络；特征提取主网络用于对待检测图像进行特征提取，获得至少一个融合特征层，融合特征层融合了低层卷积特征层的位置信息和高层卷积特征层的语义信息；无候选框分类子网络用于至少对各融合特征层中的最后一个融合特征层进行卷积操作，获得模型输出结果。
可选地，无候选框分类子网络用于对最后一个融合特征层进行卷积操作，获得模型输出结果；其中，最后一个融合特征层的图像尺度为待检测图像对应的原始图像尺度的1/8。
可选地，特征提取主网络的内部结构为：
利用深度卷积神经网络对待检测图像进行多组卷积操作和池化操作，获得图像尺度分别为待检测图像对应的原始图像尺度的1/8、1/16和1/32的第一卷积特征层、第二卷积特征层和第三卷积特征层；
对第三卷积特征层进行空洞卷积操作获得尺度不变的第四卷积特征层，并对第四卷积特征层进行卷积操作和池化操作，获得图像尺度为原始图像尺度的1/64的第五卷积特征层；
对第四卷积特征层进行卷积操作和上采样操作，获得与第二卷积特征层同尺度的第一升尺度特征层，并对第一升尺度特征层和第二卷积特征层进行叠加融合，获得第一融合结果，以及对第一融合结果进行空洞卷积操作，获得尺度不变的第一融合特征层；
对第一融合特征层进行卷积操作和上采样操作，获得与第一卷积特征层同尺度的第二升尺度特征层，并对第二升尺度特征层和第一卷积特征层进行叠加融合，获得第二融合结果，以及对第二融合结果进行空洞卷积操作，获得尺度不变的第二融合特征层，作为最后一个融合特征层。
进一步地，颅骨骨折检测模型还包括基于候选框的分类子网络，基于候选框的分类子网络用于对第四卷积特征层、第五卷积特征层、第一融合特征层和第二融合特征层中的至少一个进行卷积操作，获得模型输出结果。
进一步地，特征提取主网络还包括注意力机制模块，注意力机制模块用于对无候选框分类子网络和基于候选框的分类子网络的输入特征层进行特征提取，以更新相应输入特征层。
进一步地，颅骨骨折检测模型的训练过程中采用的损失函数为无候选框分类子网络对应的第一损失函数和基于候选框的分类子网络对应的第二损失函数的线性加权组合；其中，第一损失函数为焦点损失函数和检测框交并比损失函数的线性加权组合，第二损失函数为焦点损失函数和平滑后的L1范数损失函数的线性加权组合。
可选地，在上述装置的基础上，该装置还包括骨折概率热力图生成模块730，用于：
将待检测图像输入颅骨骨折检测模型，获得模型输出结果之后，将模型输出结果中的骨折分类概率结果上采样至待检测图像对应的原始图像尺度，生成待检测图像对应的骨折概率热力图。
通过本发明实施例五的一种颅骨骨折检测装置，实现了基于适用性更强的颅骨骨折检测模型来检测图像中的颅骨骨折，提高了颅骨骨折检测精度。
本发明实施例所提供的颅骨骨折检测装置可执行本发明任意实施例所提供的颅骨骨折检测方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，上述颅骨骨折检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例六
参见图8，本实施例提供了一种电子设备800，其包括：一个或多个处理器820；存储装置810，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器820执行，使得一个或多个处理器820实现本发明实施例所提供的颅骨骨折检测模型的训练方法，包括：
获取多组颅骨骨折训练样本数据，颅骨骨折训练样本数据包括头部医学图像和头部医学图像对应的颅骨骨折标注图像；
基于各组颅骨骨折训练样本数据，对基于神经网络的初始目标检测模型进行训练，生成颅骨骨折检测模型；
其中，颅骨骨折检测模型包括由深度卷积神经网络和多尺度目标检测网络构成的特征提取主网络和无候选框分类子网络；特征提取主网络用于对头部医学图像进行特征提取，获得至少一个融合特征层，融合特征层融合了低层卷积特征层的位置信息和高层卷积特征层的语义信息；无候选框分类子网络用于至少对各融合特征层中的最后一个融合特征层进行卷积操作，获得模型输出结果。
当然，本领域技术人员可以理解，处理器820还可以实现本发明任意实施例所提供的颅骨骨折检测模型的训练方法的技术方案。
图8显示的电子设备800仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于：一个或者多个处理器820，存储装置810，连接不同系统组件(包括存储装置810和处理器820)的总线850。
总线850表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备800典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备800访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置810可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)811和/或高速缓存存储器812。电子设备800可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统813可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线850相连。存储装置810可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块815的程序/实用工具814，可以存储在例如存储装置810中，这样的程序模块815包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块815通常执行本发明所描述的任意实施例中的功能和/或方法。
电子设备800也可以与一个或多个外部设备880(例如键盘、指向设备、显示器870等)通信，还可与一个或者多个使得用户能与该电子设备800交互的设备通信，和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口830进行。并且，电子设备800还可以通过网络适配器840与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图8所示，网络适配器840通过总线850与电子设备800的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备800使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
本发明实施例还提供了另一电子设备，其包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明实施例所提供的颅骨骨折检测方法，包括：
获取头部的待检测图像，并将待检测图像输入颅骨骨折检测模型，获得模型输出结果；
对模型输出结果构成的各初始骨折检测框进行重合检测框的滤除，生成待检测图像对应的目标骨折检测框，其中，颅骨骨折检测模型基于本发明任意实施例所提供的颅骨骨折检测模型的训练方法获得。
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的颅骨骨折检测方法的技术方案。该电子设备的硬件结构以及功能可参见实施例六的内容解释。
实施例七
本实施例提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行一种颅骨骨折检测模型的训练方法，该方法包括：
获取多组颅骨骨折训练样本数据，颅骨骨折训练样本数据包括头部医学图像和头部医学图像对应的颅骨骨折标注图像；
基于各组颅骨骨折训练样本数据，对基于神经网络的初始目标检测模型进行训练，生成颅骨骨折检测模型；
其中，颅骨骨折检测模型包括由深度卷积神经网络和多尺度目标检测网络构成的特征提取主网络和无候选框分类子网络；特征提取主网络用于对头部医学图像进行特征提取，获得至少一个融合特征层，融合特征层融合了低层卷积特征层的位置信息和高层卷积特征层的语义信息；无候选框分类子网络用于至少对各融合特征层中的最后一个融合特征层进行卷积操作，获得模型输出结果。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上的方法操作，还可以执行本发明任意实施例所提供的颅骨骨折检测模型的训练方法中的相关操作。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本发明实施例还提供了另一种计算机可读存储介质，计算机可执行指令在由计算机处理器执行时用于执行一种颅骨骨折检测方法，该方法包括：
获取头部的待检测图像，并将待检测图像输入颅骨骨折检测模型，获得模型输出结果；
对模型输出结果构成的各初始骨折检测框进行重合检测框的滤除，生成待检测图像对应的目标骨折检测框，其中，颅骨骨折检测模型基于本发明任意实施例所提供的颅骨骨折检测模型的训练方法获得。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上的方法操作，还可以执行本发明任意实施例所提供的颅骨骨折检测方法中的相关操作。对存储介质的介绍可参见实施例七中的内容解释。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种颅骨骨折检测模型的训练方法，其特征在于，包括：
获取多组颅骨骨折训练样本数据，所述颅骨骨折训练样本数据包括头部医学图像和所述头部医学图像对应的颅骨骨折标注图像；
基于各组所述颅骨骨折训练样本数据，对基于神经网络的初始目标检测模型进行训练，生成颅骨骨折检测模型；
其中，所述颅骨骨折检测模型包括由深度卷积神经网络和多尺度目标检测网络构成的特征提取主网络和无候选框分类子网络；所述特征提取主网络用于对所述头部医学图像进行特征提取，获得至少一个融合特征层，所述融合特征层融合了低层卷积特征层的位置信息和高层卷积特征层的语义信息；所述无候选框分类子网络用于至少对各所述融合特征层中的最后一个融合特征层进行卷积操作，获得模型输出结果。
2.根据权利要求1所述的方法，其特征在于，所述无候选框分类子网络用于对所述最后一个融合特征层进行卷积操作，获得所述模型输出结果；
其中，所述最后一个融合特征层的图像尺度为所述头部医学图像对应的原始图像尺度的1/8。
3.根据权利要求1或2所述的方法，其特征在于，所述特征提取主网络的内部结构为：
利用所述深度卷积神经网络对所述头部医学图像进行多组卷积操作和池化操作，获得图像尺度分别为所述头部医学图像对应的原始图像尺度的1/8、1/16和1/32的第一卷积特征层、第二卷积特征层和第三卷积特征层；
对所述第三卷积特征层进行空洞卷积操作获得尺度不变的第四卷积特征层，并对所述第四卷积特征层进行卷积操作和池化操作，获得图像尺度为所述原始图像尺度的1/64的第五卷积特征层；
对所述第四卷积特征层进行卷积操作和上采样操作，获得与所述第二卷积特征层同尺度的第一升尺度特征层，并对所述第一升尺度特征层和所述第二卷积特征层进行叠加融合，获得第一融合结果，以及对所述第一融合结果进行空洞卷积操作，获得尺度不变的第一融合特征层；
对所述第一融合特征层进行卷积操作和上采样操作，获得与所述第一卷积特征层同尺度的第二升尺度特征层，并对所述第二升尺度特征层和所述第一卷积特征层进行叠加融合，获得第二融合结果，以及对所述第二融合结果进行空洞卷积操作，获得尺度不变的第二融合特征层，作为所述最后一个融合特征层。
4.根据权利要求3所述的方法，其特征在于，所述颅骨骨折检测模型还包括基于候选框的分类子网络，所述基于候选框的分类子网络用于对所述第四卷积特征层、所述第五卷积特征层、所述第一融合特征层和所述第二融合特征层中的至少一个进行卷积操作，获得所述模型输出结果。
5.根据权利要求4所述的方法，其特征在于，所述特征提取主网络还包括注意力机制模块，所述注意力机制模块用于对所述无候选框分类子网络和所述基于候选框的分类子网络的输入特征层进行特征提取，以更新相应输入特征层。
6.根据权利要求5所述的方法，其特征在于，所述颅骨骨折检测模型的训练过程中采用的损失函数为所述无候选框分类子网络对应的第一损失函数和所述基于候选框的分类子网络对应的第二损失函数的线性加权组合；其中，所述第一损失函数为焦点损失函数和检测框交并比损失函数的线性加权组合，所述第二损失函数为焦点损失函数和平滑后的L1范数损失函数的线性加权组合。
7.一种颅骨骨折检测方法，其特征在于，包括：
获取头部的待检测图像，并将所述待检测图像输入颅骨骨折检测模型，获得模型输出结果；
对所述模型输出结果构成的各初始骨折检测框进行重合检测框的滤除，生成所述待检测图像对应的目标骨折检测框，其中，所述颅骨骨折检测模型基于上述权利要求1-6任一所述的颅骨骨折检测模型的训练方法获得。
8.根据权利要求7所述的方法，其特征在于，将所述待检测图像输入颅骨骨折检测模型，获得模型输出结果之后，还包括：
将所述模型输出结果中的骨折分类概率结果上采样至所述待检测图像对应的原始图像尺度，生成所述待检测图像对应的骨折概率热力图。
9.一种颅骨骨折检测模型的训练装置，其特征在于，包括：
训练样本数据获取模块，用于获取多组颅骨骨折训练样本数据，所述颅骨骨折训练样本数据包括头部医学图像和所述头部医学图像对应的颅骨骨折标注图像；
模型训练模块，用于基于各组所述颅骨骨折训练样本数据，对基于神经网络的初始目标检测模型进行训练，生成颅骨骨折检测模型；
其中，所述颅骨骨折检测模型包括由深度卷积神经网络和多尺度目标检测网络构成的特征提取主网络和无候选框分类子网络；所述特征提取主网络用于对所述头部医学图像进行特征提取，获得至少一个融合特征层，所述融合特征层融合了低层卷积特征层的位置信息和高层卷积特征层的语义信息；所述无候选框分类子网络用于至少对各所述融合特征层中的最后一个融合特征层进行卷积操作，获得模型输出结果。
10.一种颅骨骨折检测装置，其特征在于，包括：
模型输出结果获得模块，用于获取头部的待检测图像，并将所述待检测图像输入颅骨骨折检测模型，获得模型输出结果；
目标骨折检测框生成模块，用于对所述模型输出结果构成的各初始骨折检测框进行重合检测框的滤除，生成所述待检测图像对应的目标骨折检测框，其中，所述颅骨骨折检测模型基于上述权利要求1-6任一所述的颅骨骨折检测模型的训练方法获得。
11.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的颅骨骨折检测模型的训练方法或者如权利要求7或8所述的颅骨骨折检测方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的颅骨骨折检测模型的训练方法或者如权利要求7或8所述的颅骨骨折检测方法。
CN202010287222.1A 2020-04-13 2020-04-13 颅骨骨折检测和模型训练方法、装置、设备和存储介质 Active CN111524106B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010287222.1A CN111524106B (zh) 2020-04-13 2020-04-13 颅骨骨折检测和模型训练方法、装置、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010287222.1A CN111524106B (zh) 2020-04-13 2020-04-13 颅骨骨折检测和模型训练方法、装置、设备和存储介质

Publications (2)

Publication Number Publication Date
CN111524106A true CN111524106A (zh) 2020-08-11
CN111524106B CN111524106B (zh) 2021-05-28

Family

ID=71901774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010287222.1A Active CN111524106B (zh) 2020-04-13 2020-04-13 颅骨骨折检测和模型训练方法、装置、设备和存储介质

Country Status (1)

Country Link
CN (1) CN111524106B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102266A (zh) * 2020-08-31 2020-12-18 清华大学 基于注意力机制的脑梗死医学影像分类模型的训练方法
CN112307976A (zh) * 2020-10-30 2021-02-02 北京百度网讯科技有限公司 目标检测方法、装置、电子设备以及存储介质
CN112418271A (zh) * 2020-10-28 2021-02-26 北京迈格威科技有限公司 一种目标检测方法、装置、系统及存储介质
CN112465834A (zh) * 2020-11-26 2021-03-09 中科麦迪人工智能研究院(苏州)有限公司 一种血管分割方法及装置
CN112489005A (zh) * 2020-11-26 2021-03-12 推想医疗科技股份有限公司 骨分割方法及装置、骨折检出方法及装置
CN112489662A (zh) * 2020-11-13 2021-03-12 北京沃东天骏信息技术有限公司 用于训练语音处理模型的方法和装置
CN112529897A (zh) * 2020-12-24 2021-03-19 上海商汤智能科技有限公司 一种图像检测方法、装置、计算机设备及存储介质
CN112560956A (zh) * 2020-12-16 2021-03-26 珠海格力智能装备有限公司 目标检测方法及装置、非易失性存储介质、电子设备
CN112635067A (zh) * 2020-12-29 2021-04-09 上海市第十人民医院 基于深度学习的核素骨显像中骨转移瘤的诊断方法
CN112837297A (zh) * 2021-02-08 2021-05-25 福建医科大学附属协和医院 一种渐进式多尺度的颅面骨骨折检测方法
CN112990341A (zh) * 2021-04-02 2021-06-18 中国科学院宁波材料技术与工程研究所 基于深度学习的多特征联合的植物线虫检测方法及系统
CN113129278A (zh) * 2021-04-06 2021-07-16 华东师范大学 基于非局部分离注意力机制的X-Ray图片股骨干骨折检测方法
CN114494160A (zh) * 2022-01-10 2022-05-13 复旦大学 一种基于完全融合集成网络候选框的骨折检测方法
CN114881992A (zh) * 2022-05-24 2022-08-09 北京安德医智科技有限公司 颅骨骨折的检测方法、装置及存储介质
CN116843674A (zh) * 2023-07-25 2023-10-03 中国中医科学院望京医院(中国中医科学院骨伤科研究所) 胫骨骨折的检测方法、装置、设备及介质
CN112465834B (zh) * 2020-11-26 2024-05-24 中科麦迪人工智能研究院(苏州)有限公司 一种血管分割方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578060A (zh) * 2017-08-14 2018-01-12 电子科技大学 一种基于可判别区域的深度神经网络用于菜品图像分类的方法
CN109671055A (zh) * 2018-11-27 2019-04-23 杭州深睿博联科技有限公司 肺结节检测方法及装置
CN109886083A (zh) * 2019-01-03 2019-06-14 杭州电子科技大学 一种基于深度学习的实时场景小脸检测方法
CN109919013A (zh) * 2019-01-28 2019-06-21 浙江英索人工智能科技有限公司 视频图像中基于深度学习的人脸检测方法及装置
CN109977997A (zh) * 2019-02-13 2019-07-05 中国科学院自动化研究所 基于卷积神经网络快速鲁棒的图像目标检测与分割方法
CN110084124A (zh) * 2019-03-28 2019-08-02 北京大学 基于特征金字塔网络的特征增强目标检测方法
CN110136829A (zh) * 2019-05-16 2019-08-16 腾讯科技（深圳）有限公司 乳腺钼靶图像的辅助诊断方法、装置、系统及介质
CN110399927A (zh) * 2019-07-26 2019-11-01 玖壹叁陆零医学科技南京有限公司 识别模型训练方法、目标识别方法及装置
CN110503052A (zh) * 2019-08-27 2019-11-26 西南交通大学 一种基于改进u-net网络的图像语义分割方法
CN110598690A (zh) * 2019-08-01 2019-12-20 达而观信息科技（上海）有限公司 一种端到端光学字符检测识别方法与系统
CN110706242A (zh) * 2019-08-26 2020-01-17 浙江工业大学 一种基于深度残差网络的对象级边缘检测方法
CN110705457A (zh) * 2019-09-29 2020-01-17 核工业北京地质研究院 一种遥感影像建筑物变化检测方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107578060A (zh) * 2017-08-14 2018-01-12 电子科技大学 一种基于可判别区域的深度神经网络用于菜品图像分类的方法
CN109671055A (zh) * 2018-11-27 2019-04-23 杭州深睿博联科技有限公司 肺结节检测方法及装置
CN109886083A (zh) * 2019-01-03 2019-06-14 杭州电子科技大学 一种基于深度学习的实时场景小脸检测方法
CN109919013A (zh) * 2019-01-28 2019-06-21 浙江英索人工智能科技有限公司 视频图像中基于深度学习的人脸检测方法及装置
CN109977997A (zh) * 2019-02-13 2019-07-05 中国科学院自动化研究所 基于卷积神经网络快速鲁棒的图像目标检测与分割方法
CN110084124A (zh) * 2019-03-28 2019-08-02 北京大学 基于特征金字塔网络的特征增强目标检测方法
CN110136829A (zh) * 2019-05-16 2019-08-16 腾讯科技（深圳）有限公司 乳腺钼靶图像的辅助诊断方法、装置、系统及介质
CN110399927A (zh) * 2019-07-26 2019-11-01 玖壹叁陆零医学科技南京有限公司 识别模型训练方法、目标识别方法及装置
CN110598690A (zh) * 2019-08-01 2019-12-20 达而观信息科技（上海）有限公司 一种端到端光学字符检测识别方法与系统
CN110706242A (zh) * 2019-08-26 2020-01-17 浙江工业大学 一种基于深度残差网络的对象级边缘检测方法
CN110503052A (zh) * 2019-08-27 2019-11-26 西南交通大学 一种基于改进u-net网络的图像语义分割方法
CN110705457A (zh) * 2019-09-29 2020-01-17 核工业北京地质研究院 一种遥感影像建筑物变化检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FEI HAN等: "Cascade Feature Pyramid Neural Nwtwork for Object Detector", 《2019 12TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING, BIOMEDICAL ENGINEERING AND INFORMATICS (CISP-BMEI)》 *
TSUNG-YI LIN等: "Feature Pyramid Networks for Object Detection", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
ZHI TIAN等: "FCOS: Fully Convolutional One-Stage Object Detection", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
孟月波等: "编码-解码多尺度卷积神经网络人群计数方法", 《HTTP：//KNS.CNKI.NET/KCMS/DETAIL/61.1069.T.202001113.1748.002.HTML》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102266A (zh) * 2020-08-31 2020-12-18 清华大学 基于注意力机制的脑梗死医学影像分类模型的训练方法
CN112102266B (zh) * 2020-08-31 2022-09-20 清华大学 基于注意力机制的脑梗死医学影像分类模型的训练方法
CN112418271A (zh) * 2020-10-28 2021-02-26 北京迈格威科技有限公司 一种目标检测方法、装置、系统及存储介质
CN112307976A (zh) * 2020-10-30 2021-02-02 北京百度网讯科技有限公司 目标检测方法、装置、电子设备以及存储介质
CN112307976B (zh) * 2020-10-30 2024-05-10 北京百度网讯科技有限公司 目标检测方法、装置、电子设备以及存储介质
CN112489662A (zh) * 2020-11-13 2021-03-12 北京沃东天骏信息技术有限公司 用于训练语音处理模型的方法和装置
CN112489005A (zh) * 2020-11-26 2021-03-12 推想医疗科技股份有限公司 骨分割方法及装置、骨折检出方法及装置
CN112465834B (zh) * 2020-11-26 2024-05-24 中科麦迪人工智能研究院(苏州)有限公司 一种血管分割方法及装置
CN112465834A (zh) * 2020-11-26 2021-03-09 中科麦迪人工智能研究院(苏州)有限公司 一种血管分割方法及装置
CN112560956A (zh) * 2020-12-16 2021-03-26 珠海格力智能装备有限公司 目标检测方法及装置、非易失性存储介质、电子设备
CN112529897A (zh) * 2020-12-24 2021-03-19 上海商汤智能科技有限公司 一种图像检测方法、装置、计算机设备及存储介质
CN112635067A (zh) * 2020-12-29 2021-04-09 上海市第十人民医院 基于深度学习的核素骨显像中骨转移瘤的诊断方法
CN112837297A (zh) * 2021-02-08 2021-05-25 福建医科大学附属协和医院 一种渐进式多尺度的颅面骨骨折检测方法
CN112837297B (zh) * 2021-02-08 2023-04-28 福建医科大学附属协和医院 一种渐进式多尺度的颅面骨骨折检测方法
CN112990341A (zh) * 2021-04-02 2021-06-18 中国科学院宁波材料技术与工程研究所 基于深度学习的多特征联合的植物线虫检测方法及系统
CN112990341B (zh) * 2021-04-02 2022-08-02 中国科学院宁波材料技术与工程研究所 基于深度学习的多特征联合的植物线虫检测方法及系统
CN113129278A (zh) * 2021-04-06 2021-07-16 华东师范大学 基于非局部分离注意力机制的X-Ray图片股骨干骨折检测方法
CN114494160B (zh) * 2022-01-10 2023-04-18 复旦大学 一种基于完全融合集成网络候选框的骨折检测方法
CN114494160A (zh) * 2022-01-10 2022-05-13 复旦大学 一种基于完全融合集成网络候选框的骨折检测方法
CN114881992A (zh) * 2022-05-24 2022-08-09 北京安德医智科技有限公司 颅骨骨折的检测方法、装置及存储介质
CN114881992B (zh) * 2022-05-24 2023-04-07 北京安德医智科技有限公司 颅骨骨折的检测方法、装置及存储介质
CN116843674A (zh) * 2023-07-25 2023-10-03 中国中医科学院望京医院(中国中医科学院骨伤科研究所) 胫骨骨折的检测方法、装置、设备及介质
CN116843674B (zh) * 2023-07-25 2024-01-26 中国中医科学院望京医院(中国中医科学院骨伤科研究所) 胫骨骨折的检测方法、装置、设备及介质

Also Published As

Publication number Publication date
CN111524106B (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN111524106B (zh) 颅骨骨折检测和模型训练方法、装置、设备和存储介质
CN112116605B (zh) 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
TWI777092B (zh) 一種圖像處理方法、電子設備及存儲介質
CN112598643B (zh) 深度伪造图像检测及模型训练方法、装置、设备、介质
CN109409416A (zh) 特征向量降维方法和医学图像识别方法、装置及存储介质
CN111028246A (zh) 一种医学图像分割方法、装置、存储介质及电子设备
WO2023137914A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN111275686B (zh) 用于人工神经网络训练的医学图像数据的生成方法及装置
CN110276408B (zh) 3d图像的分类方法、装置、设备及存储介质
US11967181B2 (en) Method and device for retinal image recognition, electronic equipment, and storage medium
CN113762138B (zh) 伪造人脸图片的识别方法、装置、计算机设备及存储介质
Yao et al. Pneumonia detection using an improved algorithm based on faster r-cnn
CN110796199A (zh) 一种图像处理方法、装置以及电子医疗设备
CN112614144A (zh) 一种图像分割方法、装置、设备及存储介质
WO2021057148A1 (zh) 基于神经网络的脑组织分层方法、装置、计算机设备
CN112700461A (zh) 一种肺结节检测和表征类别识别的系统
CN115601299A (zh) 基于图像的肝硬化状态智能评估系统及其方法
US20240054639A1 (en) Quantification of conditions on biomedical images across staining modalities using a multi-task deep learning framework
CN114638800A (zh) 一种基于改进Faster-RCNN的头影标记点定位方法
CN114399501B (zh) 基于深度学习卷积神经网络的自动分割前列腺全腺体方法
WO2022226744A1 (en) Texture completion
CN110570417B (zh) 肺结节分类装置及图像处理设备
CN113537026A (zh) 建筑平面图中的图元检测方法、装置、设备及介质
CN113192085A (zh) 三维器官图像分割方法、装置及计算机设备
CN112465834B (zh) 一种血管分割方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room B401, 4 / F, building 1, No. 12, shangdixin Road, Haidian District, Beijing 100085

Applicant after: Tuxiang Medical Technology Co., Ltd

Address before: Room B401, 4 / F, building 1, No. 12, shangdixin Road, Haidian District, Beijing 100085

Applicant before: Beijing Tuoxiang Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant