CN111783682B - 眼眶骨折自动识别模型构建方法、装置、设备和介质 - Google Patents

眼眶骨折自动识别模型构建方法、装置、设备和介质 Download PDF

Info

Publication number
CN111783682B
CN111783682B CN202010634485.5A CN202010634485A CN111783682B CN 111783682 B CN111783682 B CN 111783682B CN 202010634485 A CN202010634485 A CN 202010634485A CN 111783682 B CN111783682 B CN 111783682B
Authority
CN
China
Prior art keywords
fracture
image
data set
orbital
orbit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010634485.5A
Other languages
English (en)
Other versions
CN111783682A (zh
Inventor
范先群
李伦昊
宋雪霏
周慧芳
孙柔
林晨怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine
Original Assignee
Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine filed Critical Ninth Peoples Hospital Shanghai Jiaotong University School of Medicine
Priority to CN202010634485.5A priority Critical patent/CN111783682B/zh
Publication of CN111783682A publication Critical patent/CN111783682A/zh
Application granted granted Critical
Publication of CN111783682B publication Critical patent/CN111783682B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请提供的一种眼眶骨折自动识别模型构建方法、装置、设备和介质。通过获取包含眼眶骨折和正常眼眶的CT图像的数据集；对数据集进行数据归一化处理和数据增强处理；将处理后的数据集输入基于深度卷积神经网络模型进行训练，并根据输出正样本和负样本的预测概率以确定识别结果和/或根据输出的梯度权重热力图以提示骨折区域。本申请采用三维区域标注可缩减了标注时间；并通过对CT图像进行预处理，可以去除骨性眼眶周围干扰信号，增加骨性眼眶信号在整体图片中的比例，且缩小图片大小，节约存储空间，减少训练时间；所构建的模型能够实现对眼眶CT图像中眼眶爆裂性骨折的自动识别和定位，可为医生阅片提供参考，减轻工作负担，降低漏诊概率。

Description

眼眶骨折自动识别模型构建方法、装置、设备和介质
技术领域
本发明涉及医学数据处理技术领域，特别是涉及一种眼眶骨折自动识别模型构建方法、装置、设备和介质。
背景技术
随着高速机动车辆事故的日益频繁，面部创伤已成为急诊科越来越常见的疾病，眼眶骨折是其中最常见的骨折之一。在对眼眶骨折进行诊断时，需要拍摄头部CT或眼眶CT，并通过医生的肉眼对是否有眼眶骨折和眼眶骨折的部位进行识别。目前，利用影像学结果进行快速准确的诊断仍然具有一定挑战性，存在的困难包括工作量大、工作人员相对不足和影像科医生缺乏眼眶骨折的相关专科知识等。因此，目前亟需一种自动识别眼眶骨折的模型，快速准确地通过CT数据进行眼眶骨折的识别，节约诊断时间，为临床诊断提供参考。
现有的骨折自动检测技术对长骨的移位性骨折的识别正确率较高。而骨性眼眶骨质菲薄，在CT图像上表现为占据的像素点较少，且眼眶爆裂性骨折一般为非移位性骨折，故现有技术难以对眼眶爆裂性骨折进行识别和定位。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种眼眶骨折自动识别模型构建方法、装置、设备和介质，以解决上述至少一个问题。
为实现上述目的及其他相关目的，本申请提供一种眼眶骨折自动识别模型构建方法，所述方法包括：获取包含眼眶骨折和正常眼眶的CT图像的数据集；对所述数据集进行数据归一化处理和数据增强处理；将上述处理后的所述数据集输入基于深度卷积神经网络模型进行训练，并根据输出正样本和负样本的预测概率以确定识别结果和/或根据输出的梯度权重热力图以提示骨折区域。
于本申请的一实施例中，所述获取包含眼眶爆裂性骨折和正常眼眶的CT图像的数据集，包括：获取原始CT图像；一方面采用开源软件3D Slicer读取CT数据，并通过ROI三维坐标标注框标记骨折范围；另一方面将原始CT图像中的像素值转换为CT值，并通过预处理将CT图像转换为骨窗图像，以去除CT图像中骨性眼眶之外的干扰信号；根据标注框的位置，对包含标注框的骨窗图像赋予表示眼眶骨折的正样本标签，对未包含标注框的骨窗图像赋予表示正常眼眶的负样本标签，以得到包含眼眶骨折和正常眼眶的CT图像的数据集。
于本申请的一实施例中，所述获取包含眼眶骨折和正常眼眶的CT图像的数据集，包括：将每张赋予表示眼眶骨折的正样本标签的CT图像复制一定次数，以获取包含眼眶骨折和正常眼眶的CT图像的数据集，使两类样本数量趋于平衡；根据病例编号，按一定比例随机抽取数据集以分别构成训练集、验证集。
于本申请的一实施例中，所述预处理包括：重采样、阈值分割、确定最大联通区域、边缘提取、填充、叠加、图像缩小、及截取前半部分中任意一种或多种组合。
于本申请的一实施例中，所述根据输出正样本和负样本的预测概率以确定识别结果，包括：基于深度卷积神经网络ResNet18的模型，在全连接层后加入Softmax函数；所述数据集中的CT图像经过深度卷积神经网络的全连接层特征提取后，再经Softmax函数分别输出对应正样本标签和负样本标签的预测概率；将预测概率较大的一类样本标签所对应的表征含义以确定为最终识别结果。
于本申请的一实施例中，所述根据输出的梯度权重热力图以提示骨折区域，包括：所述数据集中的CT图像经过深度卷积神经网络的全连接层特征提取后得到多层特征图；利用反向传播求出每张特征图的权重；将每张特征图乘以权重以得到带权重的权重特征图；在第三维求均值，通过RELU函数激活及归一化处理，得到梯度权重热力图；根据所述梯度权重热力图中热点位置以供提示眼眶骨折的发生位置。
于本申请的一实施例中，所述数据增强处理包括：随机翻转、裁剪、及旋转中任意一种或多种组合。
为实现上述目的及其他相关目的，本申请提供一种眼眶骨折自动识别模型构建装置，所述装置包括：获取模块，用于获取包含眼眶骨折和正常眼眶的CT图像的数据集；处理模块，用于对所述数据集进行数据归一化处理和数据增强处理；将上述处理后的所述数据集输入基于深度卷积神经网络模型进行训练，并根据输出正样本和负样本的预测概率以确定识别结果和/或根据输出的梯度权重热力图以提示骨折区域。
为实现上述目的及其他相关目的，本申请提供一种计算机设备，所述设备包括：存储器、及处理器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如上所述的方法。
为实现上述目的及其他相关目的，本申请提供一种计算机可读存储介质，存储有计算机指令，所述计算机指令被运行时执行如上所述的方法。
综上所述，本申请的一种眼眶骨折自动识别模型构建方法、装置、设备和介质。通过获取包含眼眶骨折和正常眼眶的CT图像的数据集；对所述数据集进行数据归一化处理和数据增强处理；将上述处理后的所述数据集输入基于深度卷积神经网络模型进行训练，并根据输出正样本和负样本的预测概率以确定识别结果和/或根据输出的梯度权重热力图以提示骨折区域。
与现有技术相比，本申请具有以下有益效果：
本申请采用三维区域标注，可大大缩减了标注时间；并通过对CT图像进行预处理，可以去除骨性眼眶周围干扰信号，增加骨性眼眶信号在整体图片中的比例，且缩小图片大小，节约存储空间，减少训练时间；所构建的模型能够实现对眼眶CT图像中眼眶爆裂性骨折的自动识别和定位，可为医生阅片提供参考，减轻工作负担，降低漏诊概率。
附图说明
图1显示为本申请于一实施例中的眼眶骨折自动识别模型构建方法的流程示意图。
图2显示为本申请于一实施例中的去除CT图像中骨性眼眶之外的干扰信号过程的效果示意图。
图3A显示为本申请于一实施例中的针对眼底骨折的图像中梯度权重热力图的效果示意图。
图3B显示为本申请于一实施例中的针对眼眶内侧壁骨折的图像中梯度权重热力图的效果示意图。
图4显示为本申请于一实施例中的眼眶骨折自动识别模型构建装置的模块示意图。
图5显示为本申请于一实施例中的计算机设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，虽然图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，但其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
承前所述，现有的骨折自动检测技术对长骨的移位性骨折的识别正确率较高，而骨性眼眶骨质菲薄，在CT图像上表现为占据的像素点较少，且眼眶爆裂性骨折一般为非移位性骨折，故现有技术难以对眼眶爆裂性骨折进行识别和定位。为解决上述问题，本申请提供了一种眼眶骨折自动识别模型构建方法、装置、设备和介质，用于解决现有技术中无法从眼眶CT数据对眼眶骨折(尤其是眼眶爆裂性骨折)进行识别和定位的问题。
如图1所示，展示为本申请一实施例中眼眶骨折自动识别模型构建方法的流程示意图。
如图所示，所述方法包括：
步骤S101：获取包含眼眶骨折和正常眼眶的CT图像的数据集。
于本实施例中，为构建本申请所述的眼眶骨折自动识别模型，首先需要准备用于训练或验证的数据集，其主要包含眼眶骨折和正常眼眶的CT图像的数据集，具体来说，所述步骤S101具体包括：
A、获取原始CT图像。
于本实施例中，CT(Computed Tomography)即电子计算机断层扫描，它是利用精确准直的X线束、γ射线、超声波等，与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描，具有扫描时间快，图像清晰等特点，可用于多种疾病的检查。CT根据人体不同组织对X线的吸收与透过率的不同，应用灵敏度极高的仪器对人体进行测量，然后将测量所获取的数据输入电子计算机，电子计算机对数据进行处理后，就可摄下人体被检查部位的断面或立体的图像，发现体内任何部位的细小病变。
CT是用X射线束对人体某部一定厚度的层面进行扫描，由探测器接收透过该层面的X射线，转变为可见光后，由光电转换变为电信号，再经模拟/数字转换器(analog/digital converter)转为数字，输入计算机处理。图像形成的处理有如对选定层面分成若干个体积相同的长方体，称之为体素(voxel)。扫描所得信息经计算而获得每个体素的X射线衰减系数或吸收系数，再排列成矩阵，即数字矩阵(digital matrix)，数字矩阵可存贮于磁盘或光盘中。经数字/模拟转换器(digital/analog converter)把数字矩阵中的每个数字转为由黑到白不等灰度的小方块，即像素(pixel)，并按矩阵排列，即构成CT图像。所以，CT图像是重建图像。
优选地，本申请中所获取的原始CT图像为横断位数据图像。举例来说，本申请所获取的原始CT图像可通过CT设备对患者眼眶或头部扫描以得到的一或多个CT图像，或CT三维模型。
B、一方面采用开源软件3D Slicer读取CT数据，并通过ROI三维坐标标注框标记骨折范围；另一方面将原始CT图像中的像素值转换为CT值，并通过预处理将CT图像转换为骨窗图像，以去除CT图像中骨性眼眶之外的干扰信号；
简单来说，在获取包含正常眼眶和骨折眼眶的原始CT图像后，一方面需要对骨折进行标记，以作为标签供后续徐训练或验证使用；另一方面，由于眼眶CT图像中包含的无关信息较多，需要进行预处理以去除骨性眼眶之外的干扰信号。需要说明的是，本步骤也是本申请的重要特点，与现有手段相比具有较大优势和特点。
于本实施例中，一方面采用开源软件3D Slicer读取CT数据，并通过ROI三维坐标标注框标记骨折范围。
其中，3D Slicer是用于医学图像信息学，图像处理和三维可视化的开源软件平台。Slicer为医生，研究人员和公众提供了免费，强大的跨平台加工工具。在多种医疗应用中，包括孤独症，多发性硬化，系统性红斑狼疮，前列腺癌，精神分裂症，矫形生物力学，COPD，心血管疾病和神经外科应用。
另外，在医学图像处理与分析过程中，医生通常最关心的信息仅占图像中的很小一部分,这部分就是所谓的感兴趣区域，即ROI(Region of Interest)，感兴趣区域包含着重要的诊断信息,这些信息是临床诊断和病理学研究的重要依据。
通过ROI三维坐标标注框标记骨折范围于3D Slicer中的实现过程，可举例为：如在将CT图像拖入3D Slicer软件以进行读取，然后可选择Segmentations模块以创建新的Segmentations，然后通过Effects下的不同工具可在CT数据的三个视图上勾画label，勾画label完成后进行保存。为每个label都添加Segment并apply之后，可以在右侧看到不同label的可视化图。
需说明的是，一般医学图像标注需要逐张标注，如不同视角下的医学图像需要一张一张的标注，会耗费大量时间。而本申请采用三维区域标注，对每个骨折区域只需标注一次，再根据标注框位置，便可赋予不同视角下每张图片正样本或负样本标签，大大缩减了标注时间。
于本实施例中，另一方面将原始CT图像中的像素值转换为CT值，并通过预处理将CT图像转换为骨窗图像，以去除CT图像中骨性眼眶之外的干扰信号。
具体来说，所述预处理包括但不限于：重采样、阈值分割、确定最大联通区域、边缘提取、填充、叠加、图像缩小、及截取前半部分中任意一种或多种组合。
于一或多个实施例中，可参考图2所示的去除CT图像中骨性眼眶之外的干扰信号过程的效果示意图。具体去除CT图像中骨性眼眶之外的干扰信号的过程，可见如下所述：
a)CT值转换：将原始CT图像中的像素值转换为CT值。在医学影像信息中的图像像素是矩阵排列的，每个像素点都对应有灰度值，而CT值(或HU值)便是根据灰度值得到的。
b)重采样：读取数据中X轴、Y轴的物理间距和Z轴层间距，将CT图像重采样至1×1×1mm规格大小。
c)阈值分割：设定最小CT值-320作为初始阈值，只显示-320以上的点，进行阈值分割。其中，所述阈值分割主要通过CT值用于分割与眼眶无关的器官组织或骨骼结构。
d)确定最大联通区域：通过寻找最大的联通区域以排除头颅周围因扫描时机器反射引起的散在噪声以及CT扫描时患者枕骨下头垫的信号。
e)边缘提取：基于上述确定的最大联通区域，利用形态学边缘检测算子roberts寻找头颅图像的边缘。
具体来说，形态学，即数学形态学(mathematical Morphology)，是图像处理中应用最为广泛的技术之一，主要用于从图像中提取对表达和描绘区域形状有意义的图像分量，使后续的识别工作能够抓住目标对象最为本质(最具区分能力－mostdiscriminative)的形状特征，如边界和连通区域等。同时像细化、像素化和修剪毛刺等技术也常应用于图像的预处理和后处理中，成为图像增强技术的有力补充。例如，还可通过形态学差值算用于从图像中提取对表达和描绘区域形状有意义的图像分量，如同时像细化、像素化和修剪毛刺等技术的图像预处理。
f)填充：在寻找到头颅图像的边缘后进行填充，以得到包含头颅横截面图像外在轮廓的实心二值化掩模。
g)叠加：将得到包含头颅横截面图像外在轮廓的实心二值化掩模与原始图像叠加得到去除周围干扰信息的图像。
h)图像缩小：通过获取最小外接矩形框，缩小图像大小，得到包含完整头颅信号的最小图像。
i)截取前半部分：鉴于骨性眼眶位于头颅的前半部分，故裁剪得到图像的前半部分(一般为从鼻尖至颅中窝区域)为所需图像。
j)骨窗图像转化：将CT图像转化为骨窗图片。
其中，一般窗技术(Window Technique)是医生用以观察不同密度正常组织或病变的一种显示技术，其包括窗宽(window width)和窗位(window level)。由于各种不同组织结构或病变具有不同的像素值，因此欲显示某一组织结构细节时，应选择适合观察组织结构的窗宽窗位，以获得显示最佳效果。
具体地，窗宽是CT/DR图像上显示的CT/DR值，在此CT/DR值范围内组织和病变均以不同的模拟灰度显示，而CT/DR值高于此范围的组织和病变，无论是高于多少，都均为白影显示，不再有灰度差；反之，低于此范围的组织，不论是低于多少，均为黑影显示，也无灰度差异。增大窗宽，则图像所示CT/DR值范围加大，显示具有不同密度的组织结构增多，但各结构这间的灰度别减少；减少窗宽，则显示组织结构减少，而各结构这间的灰度别增加。
窗位是窗的中心位置。同样的窗宽，由于窗位不同，其包括CT/DR范围的CT/DR值有差异。例如窗宽(w)同为w＝60，当窗位为L＝0时，其CT/DR值范围为－30～+30；如窗位是+10时，则CT/DR值范围为－20～+40。通常欲观察某一组织的结构及发生的病变，应以该组织的CT/DR值为窗位。
在本申请中，调整窗宽窗位至易于区分CT数据中标记为骨折的标注框为佳，并选择当前窗宽窗位应用于CT数据。
需要说明的是，眼眶CT图像中包含的无关信息较多，本申请对CT图像进行预处理，去除骨性眼眶周围干扰信号，增加了骨性眼眶信号在整体图片中的比例，且缩小了图片大小，节约了存储空间，减少了训练时间。
C、根据标注框的位置，对包含标注框的骨窗图像赋予表示眼眶骨折的正样本标签，对未包含标注框的骨窗图像赋予表示正常眼眶的负样本标签，以得到包含眼眶骨折和正常眼眶的CT图像的数据集。
于本实施例中，在将CT图像转化为骨窗图片后，可根据如前所述通过ROI三维坐标标注框标记的骨折范围标注框位置，为包含标注框的图片赋予正样本(即骨折)标签，其余图片赋予负样本标签，至此，便得到了包含眼眶骨折和正常眼眶的CT图像的数据集。
于本申请一实施例中，由于一般一个病例的CT图像中，骨折图片比例较少，故采用过采样方法，首先将每张赋予表示眼眶骨折的正样本标签的CT图像复制一定次数，如一般3-7次，以扩充正样本数量，从而获取包含眼眶骨折和正常眼眶的CT图像的数据集，使两类样本数量趋于平衡。然后根据病例编号，按一定比例随机抽取数据集以分别构成训练集、验证集。例如，比例一般可为1:4-1:3。
步骤S102：对所述数据集进行数据归一化处理和数据增强处理。
于本申请一实施例中，所述数据增强处理包括但不限于：随机翻转、裁剪、及旋转中任意一种或多种组合。该步骤对数据集进行数据归一化处理和数据增强处理等主要是将用于训练的数据进行格式的统一。
步骤S103：将上述处理后的所述数据集输入基于深度卷积神经网络模型进行训练，并根据输出正样本和负样本的预测概率以确定识别结果和/或根据输出的梯度权重热力图以提示骨折区域。
于本申请中，通过上述处理后的所述数据集输入基于深度卷积神经网络模型进行训练，部件能够输出识别结果，还创新性的以梯度权重热力图来提示骨折区域，从而可为医生阅片提供参考，减轻了工作负担，降低了漏诊概率。
于本申请一实施例中，所述根据输出正样本和负样本的预测概率以确定识别结果，包括：
1)基于深度卷积神经网络ResNet18的模型，在全连接层后加入Softmax函数；
在数学，尤其是概率论和相关领域中，归一化指数函数，也称Softmax函数，是逻辑函数的一种推广。它能将一个含任意实数的K维向量z“压缩”到另一个K维实向量σ(z)中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1。该函数多于多分类问题中。它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。
2)所述数据集中的CT图像经过深度卷积神经网络的全连接层特征提取后，再经Softmax函数分别输出对应正样本标签和负样本标签的预测概率；
通常概率有两个性质：1)预测的概率为非负数；2)各种预测结果概率之和等于1。Softmax函数就是将在负无穷到正无穷上的预测结果按照这两步转换为概率的，Softmax第一步就是将模型的预测结果转化到指数函数上，这样保证了概率的非负性。另外，为了确保各个预测结果的概率之和等于1。只需要将转换后的结果进行归一化处理。方法就是将转化后的结果除以所有转化后结果之和，可以理解为转化后结果占总数的百分比。这样就得到近似的概率。
3)将预测概率较大的一类样本标签所对应的表征含义以确定为最终识别结果。经Softmax函数分别输出正样本和负样本的预测概率，预测概率较大的一类被判断为最终分类。这样，就对该图片是否为眼眶爆裂性骨折做出了自动识别。
于本申请一实施例中，所述根据输出的梯度权重热力图以提示骨折区域，包括：
1)所述数据集中的CT图像经过深度卷积神经网络的全连接层特征提取后得到多层特征图。
2)利用反向传播求出每张特征图的权重；
3)将每张特征图乘以权重以得到带权重的权重特征图；
4)在第三维求均值，通过RELU函数激活及归一化处理，得到梯度权重热力图；
5)根据所述梯度权重热力图中热点位置以供提示眼眶骨折的发生位置。
于本实施例中，CT图像经过深度卷积神经网络的全连接层特征提取后得到多层特征图，利用反向传播求出每张特征图的权重。用每张特征图乘以权重得到带权重的特征图，在第三维求均值，通过RELU函数激活，归一化处理，得到梯度权重热力图。在判断为骨折的图片中，图中热点位置提示眼眶爆裂性骨折的发生位置。
举例来说，1)提取CT图片经ResNet18网络Layer4计算后输出的特征图，为512层，每层特征图大小为8*8；2)将CT图像的骨折类预测结果反向传播，求得Layer4的梯度，求每层梯度均值得到每层特征图的权重；3)将512层特征图与该层权重分别相乘，最后求和得到骨折分类的梯度权重特征图；4)将骨折分类的梯度权重特征图经RELU函数激活，归一化处理后生成热力图；5)将该热力图与原CT图像叠加，即可根据图中热点位置提示眼眶骨折的发生位置。
如图3A所示的针对眼底骨折的图像中梯度权重热力图的效果示意图，以及如图3B所示的针对眼眶内侧壁骨折的图像中梯度权重热力图的效果示意图。需说明的是，由于附图的色彩的限制，本申请图3A和图3B中的梯度权重热力图的展示效果有所降低。如图请图3A和图3B中标注出的梯度权重热力图效果区域，该区域成扩散状的椭圆，其中在3A和图3B中该区域的中心位置便是骨折位置。在实际的应用场景中，所述梯度权重热力图为包含红蓝绿等彩色效果，能够非常清楚的向医生展示，从而可以大大减轻医生的工作负担，并且降低了漏诊概率。
如图4所示，展示为本申请于一实施例中的眼眶骨折自动识别模型构建装置的模块示意图。如图所示，所述装置400包括：
读取模块401，用于获取包含眼眶骨折和正常眼眶的CT图像的数据集；
处理模块402，用于对所述数据集进行数据归一化处理和数据增强处理；将上述处理后的所述数据集输入基于深度卷积神经网络模型进行训练，并根据输出正样本和负样本的预测概率以确定识别结果和/或根据输出的梯度权重热力图以提示骨折区域。
需要说明的是，上述装置各模块/单元之间的信息交互、执行过程等内容，由于与本申请所述方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。
还需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块402可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块402的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
如图5所示，展示为本申请于一实施例中的计算机设备的结构示意图。如图所示，所述计算机设备500包括：存储器501、及处理器502；所述存储器501用于存储计算机指令；所述处理器502运行计算机指令实现如图1所述的方法。
在一些实施例中，所述计算机设备500中的所述存储器501的数量均可以是一或多个，所述处理器502的数量均可以是一或多个，而图5中均以一个为例。
于本申请一实施例中，所述计算机设备500中的处理器502会按照如图1所述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器501中，并由处理器502来运行存储在存储器501中的应用程序，从而实现如图1所述的方法。
所述存储器501可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。所述存储器501存储有操作系统和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。操作系统可包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。
所述处理器502可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在一些具体的应用中，所述计算机设备500的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清除说明起见，在图5中将各种总线都成为总线系统。
于本申请的一实施例中，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所述的方法。
所述计算机可读存储介质，本领域普通技术人员可以理解：实现上述系统及各单元功能的实施例可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述系统及各单元功能的实施例；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本申请提供的一种眼眶骨折自动识别模型构建方法、装置、设备和介质。通过获取包含眼眶骨折和正常眼眶的CT图像的数据集；对所述数据集进行数据归一化处理和数据增强处理；将上述处理后的所述数据集输入基于深度卷积神经网络模型进行训练，并根据输出正样本和负样本的预测概率以确定识别结果和/或根据输出的梯度权重热力图以提示骨折区域。
本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包含通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (9)

1.一种眼眶骨折自动识别模型构建方法，其特征在于，所述方法包括：
获取包含眼眶爆裂性骨折和正常眼眶的CT图像的数据集；
对所述数据集进行数据归一化处理和数据增强处理；
将上述处理后的所述数据集输入深度卷积神经网络模型进行训练，并根据输出正样本和负样本的预测概率以确定识别结果和/或根据输出的梯度权重热力图以提示骨折区域；其中，所述获取包含眼眶爆裂性骨折和正常眼眶的CT图像的数据集，包括：获取原始CT图像；一方面采用开源软件3D Slicer读取CT数据，并通过ROI三维坐标标注框标记骨折范围；另一方面将原始CT图像中的像素值转换为CT值，并通过预处理将CT图像转换为骨窗图像，以去除CT图像中骨性眼眶之外的干扰信号；根据标注框的位置，对包含标注框的骨窗图像赋予表示眼眶骨折的正样本标签，对未包含标注框的骨窗图像赋予表示正常眼眶的负样本标签，以得到包含眼眶骨折和正常眼眶的CT图像的数据集；其中，所述预处理包括：CT值转换、重采样、阈值分割、确定最大联通区域、边缘提取、填充、叠加、图像缩小、截取前半部分及骨窗图像转化；其中，所述将CT图像转换为骨窗图像的方式包括：基于对应根据标注框位置设置的骨窗窗宽的骨窗，将所述CT图像转换为对应的所述骨窗图像。
2.根据权利要求1所述的方法，其特征在于，所述获取包含眼眶骨折和正常眼眶的CT图像的数据集，包括：
将每张赋予表示眼眶骨折的正样本标签的CT图像复制一定次数，以获取包含眼眶骨折和正常眼眶的CT图像的数据集，使两类样本数量趋于平衡；
根据病例编号，按一定比例随机抽取数据集以分别构成训练集、验证集。
3.根据权利要求1所述的方法，其特征在于，所述预处理包括：重采样、阈值分割、确定最大联通区域、边缘提取、填充、叠加、图像缩小、及截取前半部分中任意一种或多种组合。
4.根据权利要求1所述的方法，其特征在于，所述根据输出正样本和负样本的预测概率以确定识别结果，包括：
基于深度卷积神经网络ResNet18的模型，在全连接层后加入Softmax函数；
所述数据集中的CT图像经过深度卷积神经网络的全连接层特征提取后，再经Softmax函数分别输出对应正样本标签和负样本标签的预测概率；
将预测概率较大的一类样本标签所对应的表征含义以确定为最终识别结果。
5.根据权利要求1所述的方法，其特征在于，所述根据输出的梯度权重热力图以提示骨折区域，包括：
所述数据集中的CT图像经过深度卷积神经网络的全连接层特征提取后得到多层特征图；
利用反向传播求出每张特征图的权重；
将每张特征图乘以权重以得到带权重的权重特征图；
在第三维求均值，通过RELU函数激活及归一化处理，得到梯度权重热力图；
根据所述梯度权重热力图中热点位置以供提示眼眶骨折的发生位置。
6.根据权利要求1所述的方法，其特征在于，所述数据增强处理包括：随机翻转、裁剪、及旋转中任意一种或多种组合。
7.一种眼眶骨折自动识别模型构建装置，其特征在于，所述装置包括：
读取模块，用于获取包含眼眶骨折和正常眼眶的CT图像的数据集；
处理模块，用于对所述数据集进行数据归一化处理和数据增强处理；将上述处理后的所述数据集输入深度卷积神经网络模型进行训练，并根据输出正样本和负样本的预测概率以确定识别结果和/或根据输出的梯度权重热力图以提示骨折区域。
8.一种计算机设备，其特征在于，所述设备包括：存储器、及处理器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如权利要求1至6中任意一项所述的方法。
9.一种计算机可读存储介质，其特征在于，存储有计算机指令，所述计算机指令被运行时执行如权利要求1至6中任一项所述的方法。
CN202010634485.5A 2020-07-02 2020-07-02 眼眶骨折自动识别模型构建方法、装置、设备和介质 Active CN111783682B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010634485.5A CN111783682B (zh) 2020-07-02 2020-07-02 眼眶骨折自动识别模型构建方法、装置、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010634485.5A CN111783682B (zh) 2020-07-02 2020-07-02 眼眶骨折自动识别模型构建方法、装置、设备和介质

Publications (2)

Publication Number Publication Date
CN111783682A CN111783682A (zh) 2020-10-16
CN111783682B true CN111783682B (zh) 2022-11-04

Family

ID=72758918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010634485.5A Active CN111783682B (zh) 2020-07-02 2020-07-02 眼眶骨折自动识别模型构建方法、装置、设备和介质

Country Status (1)

Country Link
CN (1) CN111783682B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493954A (zh) * 2018-12-20 2019-03-19 广东工业大学 一种基于类别判别定位的sd-oct图像视网膜病变检测系统
CN109829921A (zh) * 2018-12-14 2019-05-31 清影医疗科技（深圳）有限公司 一种头部的ct图像的处理方法及其系统、设备、存储介质
CN109961508A (zh) * 2019-03-25 2019-07-02 东南大学 一种心脏静态三维模型重建方法
CN110136103A (zh) * 2019-04-24 2019-08-16 平安科技（深圳）有限公司 医学影像解释方法、装置、计算机设备及存储介质
CN111259982A (zh) * 2020-02-13 2020-06-09 苏州大学 一种基于注意力机制的早产儿视网膜图像分类方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100456325C (zh) * 2007-08-02 2009-01-28 宁波大学 一种医学图像窗口参数的自适应调整方法
CN109191465A (zh) * 2018-08-16 2019-01-11 青岛大学附属医院 一种基于深度学习网络判定、标识人体左右第一肋骨的系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109829921A (zh) * 2018-12-14 2019-05-31 清影医疗科技（深圳）有限公司 一种头部的ct图像的处理方法及其系统、设备、存储介质
CN109493954A (zh) * 2018-12-20 2019-03-19 广东工业大学 一种基于类别判别定位的sd-oct图像视网膜病变检测系统
CN109961508A (zh) * 2019-03-25 2019-07-02 东南大学 一种心脏静态三维模型重建方法
CN110136103A (zh) * 2019-04-24 2019-08-16 平安科技（深圳）有限公司 医学影像解释方法、装置、计算机设备及存储介质
CN111259982A (zh) * 2020-02-13 2020-06-09 苏州大学 一种基于注意力机制的早产儿视网膜图像分类方法和装置

Also Published As

Publication number Publication date
CN111783682A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
US8335359B2 (en) Systems, apparatus and processes for automated medical image segmentation
EP3035287B1 (en) Image processing apparatus, and image processing method
US8355553B2 (en) Systems, apparatus and processes for automated medical image segmentation using a statistical model
CN112529894B (zh) 一种基于深度学习网络的甲状腺结节的诊断方法
US8031917B2 (en) System and method for smart display of CAD markers
US20030095692A1 (en) Method and system for lung disease detection
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
CN111462115B (zh) 医学图像显示方法、装置和计算机设备
WO2021183765A1 (en) Automated detection of tumors based on image processing
CN113012173A (zh) 基于心脏mri的心脏分割模型和病理分类模型训练、心脏分割、病理分类方法及装置
CN112215799A (zh) 一种磨玻璃肺结节自动分类方法及系统
CN113269225A (zh) 基于影像组学的非侵入式肝脏上皮样血管平滑肌脂肪瘤图像分类装置
JP2019028887A (ja) 画像処理方法
Aslam et al. Liver-tumor detection using CNN ResUNet
Irene et al. Segmentation and approximation of blood volume in intracranial hemorrhage patients based on computed tomography scan images using deep learning method
CN110738633B (zh) 一种机体组织的三维图像处理方法及相关设备
Hakim et al. Microcalcification detection in mammography image using computer-aided detection based on convolutional neural network
Hasan et al. Lung Segmentation from Chest X-Ray Images Using Deeplabv3plus-Based CNN Model
CN111783682B (zh) 眼眶骨折自动识别模型构建方法、装置、设备和介质
Azli et al. Ultrasound image segmentation using a combination of edge enhancement and kirsch’s template method for detecting follicles in ovaries
JP2017189394A (ja) 情報処理装置および情報処理システム
Nag et al. Computer-assisted delineation of cerebral infarct from diffusion-weighted MRI using Gaussian mixture model
CN114708283A (zh) 图像目标的分割方法、装置、电子设备及存储介质
Habes et al. Automated prostate segmentation in whole-body MRI scans for epidemiological studies
CN112766332A (zh) 医学影像检测模型训练方法、医学影像检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant