CN111553420A - 一种基于神经网络的x线影像识别方法及装置 - Google Patents

一种基于神经网络的x线影像识别方法及装置 Download PDF

Info

Publication number
CN111553420A
CN111553420A CN202010351272.1A CN202010351272A CN111553420A CN 111553420 A CN111553420 A CN 111553420A CN 202010351272 A CN202010351272 A CN 202010351272A CN 111553420 A CN111553420 A CN 111553420A
Authority
CN
China
Prior art keywords
image
ray image
sample
joint
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010351272.1A
Other languages
English (en)
Other versions
CN111553420B (zh
Inventor
牛凯
贺志强
党金源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202010351272.1A priority Critical patent/CN111553420B/zh
Publication of CN111553420A publication Critical patent/CN111553420A/zh
Application granted granted Critical
Publication of CN111553420B publication Critical patent/CN111553420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种基于神经网络的X线影像识别方法及装置，其中方法包括：获取待处理X线影像；从待处理X线影像中提取局部区域图像；将待处理X线影像输入预先训练好的全局特征提取模型，对待处理X线影像的完整图像进行特征提取，获得全局特征信息；将局部区域图像输入预先训练好的局部特征提取模型，对局部区域图像进行特征提取，获得局部特征信息；对全局特征信息和局部特征信息进行联合处理，得到联合特征信息；将联合特征信息输入至预先训练好的联合判决模型，基于联合特征信息获得识别结果；识别结果为：待处理X线影像中是否包含目标图像特征的判断结果。本发明实施例能够提高对X线影像的识别速度。

Description

一种基于神经网络的X线影像识别方法及装置
技术领域
本发明涉及图像识别技术领域，特别是涉及一种基于神经网络的X线影像识别方法及装置。
背景技术
在医学领域，可以通过获取病人的X线影像，并判断X线影像中是否包含某些独特的图像特征，进而辅助医生进行诊断。例如，可以采用医疗仪器对人体手部进行扫描并得到X线影像，便可以对X线影像进行识别，判断X线影像中的手部骨骼是否存在某些与大骨节病相关的独特图像特征，进而辅助医生进行筛查和识别。
现有的X线影像识别方法中，通常是人工对X线影像进行识别，判断X线影像中是否存在与疾病相关的独特的图像特征。
然而，采用人工识别的方法，存在对X线影像识别速度慢、效率低的问题。
发明内容
本发明实施例的目的在于提供一种基于神经网络的X线影像识别方法及装置，以提高对X线影像的识别速度。具体技术方案如下：
第一方面，本发明实施例提供了一种基于神经网络的X线影像识别方法，所述方法包括：
获取待处理X线影像；
从所述待处理X线影像中提取局部区域图像；局部区域图像为预设的与目标图像特征对应的区域的图像；
将所述待处理X线影像输入预先训练好的全局特征提取模型，对所述待处理X线影像的完整图像进行特征提取，获得全局特征信息；
将所述局部区域图像输入预先训练好的局部特征提取模型，对局部区域图像进行特征提取，获得局部特征信息；
对所述全局特征信息和所述局部特征信息进行联合处理，得到联合特征信息；
将所述联合特征信息输入至预先训练好的联合判决模型，基于所述联合特征信息获得识别结果；所述识别结果为：所述待处理X线影像中是否包含目标图像特征的判断结果；所述全局特征提取模型、所述局部特征提取模型以及所述联合判决模型均为：预先基于包含目标图像特征的多个样本X线影像进行训练得到的。
第二方面，本发明实施例提供了一种基于神经网络的X线影像识别装置，所述装置包括：
X线影像获取模块，用于获取待处理X线影像；
局部区域图像提取模块，用于从所述待处理X线影像中提取局部区域图像；局部区域图像为预设的与目标图像特征对应的区域的图像；
全局特征提取模块，用于将所述待处理X线影像输入预先训练好的全局特征提取模型，对所述待处理X线影像的完整图像进行特征提取，获得全局特征信息；
局部特征提取模块，用于将所述局部区域图像输入预先训练好的局部特征提取模型，对局部区域图像进行特征提取，获得局部特征信息；
特征联合模块，用于对所述全局特征信息和所述局部特征信息进行联合处理，得到联合特征信息；
特征识别模块，用于将所述联合特征信息输入至预先训练好的联合判决模型，基于所述联合特征信息获得识别结果；所述识别结果为：所述待处理X线影像中是否包含目标图像特征的判断结果；所述全局特征提取模型、所述局部特征提取模型以及所述联合判决模型均为：预先基于包含目标图像特征的多个样本X线影像进行训练得到的。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述任一所述的基于神经网络的X线影像识别方法的方法步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的基于神经网络的X线影像识别方法的方法步骤。
本发明实施例有益效果：
本发明实施例提供的一种基于神经网络的X线影像识别方法及装置，通过获取待处理X线影像，从待处理X线影像中提取局部区域图像，利用训练好的全局特征提取模型提取待处理X线影像中的全局特征信息，利用训练好的局部特征提取模型提取局部区域图像的局部特征信息，将全局特征信息和局部特征信息联合为联合特征信息，并将联合特征信息输入训练好的联合判决模型中获得识别结果，由于该识别结果为待处理X影像中是否包含目标图像特征的判断结果，因此，本发明实施例能够根据判断结果确定待处理X线影像中是否存在目标图像特征，相比于现有技术中的人工识别方法，能够提高对待处理X线影像的识别速度，提高对待处理X线影像的识别效率。
当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于神经网络的X线影像识别方法的一种流程示意图；
图2a为本发明实施例提供的基于神经网络的X线影像识别方法的另一种流程示意图；
图2b为应用图2a所示实施例的待处理X线影像的一种灰度直方图；
图2c为应用图2a所示实施例的待处理X线影像的一种示意图；
图3为本发明实施例提供的基于神经网络的X线影像识别方法中，S102的一种流程示意图；
图4为本发明实施例采用的神经网络的一种训练流程示意图；
图5为本发明实施例提供的基于神经网络的X线影像识别方法中，S201的一种流程示意图；
图6为本发明实施例提供的基于神经网络的X线影像识别方法中，S2012的一种流程示意图；
图7为本发明实施例提供的基于神经网络的X线影像识别装置的一种结构示意图；
图8为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供了一种基于神经网络的X线影像识别方法，该过程可以包括：
S101，获取待处理X线影像。
可以获取待处理X线影像，该待处理X线影像可以为手部骨骼X线影像、或者人体其他部位骨骼X线影像。
S102，从待处理X线影像中提取局部区域图像。
在本发明实施例中，局部区域图像为预设的与目标图像特征对应的区域的图像，目标图像特征可以为与指定疾病相关的图像特征。由于这些目标图像特征在人体部位中的位置为固定的，因此，可以预先设置与目标图像特征对应的区域，并将该区域从待处理X线影像中提取出来。
例如，对于大骨节病，由于其主要表现为手骨关节出现凹陷、硬化以及扭曲等现象，因此，与手骨关节出现的凹陷、硬化以及扭曲相关的图像特征可以为本发明实施例中的目标图像特征，手骨关节即为目标图像特征对应的区域，局部区域图像即为包含手骨关节的局部区域的图像，即，在该过程中，可以从待处理X影像中提取手部关节区域的图像。此处，需要说明的是，可以从待处理X线影像中提取多个局部区域图像。
S103，将待处理X线影像输入预先训练好的全局特征提取模型，对待处理X线影像的完整图像进行特征提取，获得全局特征信息。
全局特征提取模型中可以包括但不限定于一层卷积层和一层池化层，其中卷积层可以用于提取全局特征图像和全局特征信息，在提取全局特征信息的过程中，可以先从待处理X线影像中提取全局特征图像，接着从全局特征图像中提取全局特征信息。此外，全局特征图像与全局特征信息的关系可以理解为低维特征信息与高维特征信息之间的关系，随着网络的深入传播，低维的可视化信息转变为高维的抽象信息，因此，全局特征信息更具有代表性。池化层可以对全局特征图像和全局特征信息进行聚合统计，减少冗余信息，防止全局特征提取模型过拟合。在将待处理X线影像输入全局特征提取模型之前，可以预先对全局特征提取模型进行训练，得到训练好的全局特征提取模型。
将待处理X线影像输入训练好的全局特征提取模型，对该待处理X线影像的完整图像进行特征提取，获得全局特征信息，该全局特征信息中可以包括：全局对比度特征信息、全局纹理特征信息、全局形状特征信息以及全局空间结构特征信息。由于当骨骼发生硬化时，X线影像中对应图像的对比度会发生变化，因此，提取的全局对比度特征信息可以表征与骨骼是否发生硬化相关的特征信息。全局纹理特征信息可以表征与骨骼骨质是否均匀相关的特征信息；全局形状特征信息可以表征骨骼表面是否出现凹陷或凸起相关的特征信息；全局空间结构特征信息则可以表征骨骼是否出现扭曲相关的特征信息。需要说明的是，全局特征信息可以为一个多维向量。
S104，将局部区域图像输入预先训练好的局部特征提取模型，对局部区域图像进行特征提取，获得局部特征信息。
可以将从待处理X线影像中提取的局部区域图像输入预先训练好的局部特征提取模型，该局部区域特征提取模型的结构也可以包括但不限定于一层卷积层和一层池化层，利用局部特征提取模型对局部区域图像进行特征提取，获得局部特征信息。该局部区域特征信息可以包括：局部形状特征信息，局部对比度特征信息，其中局部形状特征信息可以表征与局部区域图像是否出现骨骼表面凹陷、凸起以及粗糙相关的特征信息；局部对比度特征信息可以表征与骨骼是否出现硬化相关的特征信息。需要说明的是，局部特征信息也可以为一个多维向量。
当局部区域图像为多个时，可以将多个局部区域图像分别输入预先训练好的局部特征提取模型中，对每个局部区域图像进行特征提取，获得多个局部特征信息。
S105，对全局特征信息和局部特征信息进行联合处理，得到联合特征信息。
可以采用预设的联合算法将全局特征信息和局部特征信息进行联合处理，得到联合特征信息，例如，当全局特征信息和局部特征信息均为多维向量时，那么联合处理后得到的联合特征信息也可以是一个多维向量，且联合特征信息中的一部分元素是全局特征信息中的元素，另一部分元素是局部特征信息中的元素。此外，该联合处理过程可以为将全局特征信息和局部特征信息进行级联，得到联合特征信息。
当局部区域图像为多个时，则可以将全局特征信息和多个局部特征信息进行联合处理，得到联合特征信息。
S106，将联合特征信息输入至预先训练好的联合判决模型，基于联合特征信息获得识别结果。
由上述的实施例可见，本发明实施例能够根据判断结果确定待处理X线影像中是否存在目标图像特征，相比于现有技术中的人工识别方法，能够提高对待处理X线影像的识别速度，提高对待处理X线影像的识别效率。
图1所示的实施例中，在得到联合特征信息之后，可以将联合特征信息输入预先训练好的联合判断模型中，该联合判决模型的结构可以包括一层全连接层，基于该联合特征信息可以获得识别结果，该识别结果可以为：待处理X线影像中是否包含目标图像特征的判断结果，即，该识别结果可以为待处理X线影像中包含目标图像特征，或者待处理X线影像中不包含目标图像特征。
在将联合特征信息输入至预先训练好的联合判决模型之后，可以利用识别结果向量计算公式计算得到识别结果向量中的元素：
Figure BDA0002471906220000061
式中，on表示识别结果向量中的元素，识别结果向量中包括：待处理X影像中包含目标图像特征的概率，以及待处理X影响中不包含目标图像特征的概率，n取值为0或者1，σ(·)表示预设的激活函数，wm,n表示权重参数矩阵中的元素，vn表示联合特征信息中的元素，bn表示预设的偏置项。需要说明的是，激活函数和偏置项可以根据经验或者实验预先设置。
在得到识别结果向量之后，由于该识别结果向量中包括：待处理X影像中包含目标图像特征的概率，以及待处理X影响中不包含目标图像特征的概率，因此，可以通过比较两个概率之间的大小，并将数值较大的概率对应的结果确定为识别结果。在获得识别结果之后，可以输出识别结果，例如，在待处理X影像中显示一个包含目标图像特征的图像框。
由于联合特征信息综合考虑了全局特征信息和局部特征信息，因此联合特征信息中包含的特征信息更为全面，根据联合特征信息所得到的识别结果也更为准确。
全局特征提取模型、局部特征提取模型以及联合判决模型均为：预先基于包含目标图像特征的多个样本X线影像进行训练得到的，全局特征提取模型、局部特征提取模型以及联合特征判决模型的具体训练过程将在下文中进行详细的描述。
作为本发明实施例一种可选的实施方式，如图2a所示，在图1所示实施例流程步骤S102之前，本发明实施例提供的基于神经网络的X线影像识别方法还可以包括：
S201，对待处理X线影像进行预处理，得到经预处理后的X线影像。
在本发明实施例中，经预处理后的X线影像中预设目标对象为标准姿态；预设目标对象与目标图像特征相对应。
由于采用医疗仪器对人体部位进行扫描的过程中，不同人在仪器扫描覆盖区域中所处的位置不同，导致得到的待处理X线影像中的人体部位图像，在待处理X线影像中的位置不同，因此，可以对待处理X线影像进行预处理，将待处理X线影像中预设目标对象调整为标准姿态，该预设目标对象与目标图像特征相对应，该目标图像特征为与指定疾病相关的图像特征，便于后续利用经预处理后的X线影像中提取局部区域图像。在本发明实施例中，标准姿态可以为预设的一个姿态，例如，标准姿态可以为目标对象位于经预处理后的X线影像的中心位置。
如图3所示，图1所示实施例流程步骤S102，可以包括：
S1021，利用预设的局部区域图像的中心在经预处理后的X线影像中的坐标，以及预设的局部区域图像的外形尺寸，从经预处理后的X线影像中提取局部区域图像。
在对待处理X线影像进行预处理得到经预处理后的X线影像之后，由于经预处理后的X线影像中的预设目标位置为标准姿态，因此可以预先确定局部区域图像的中心在经预处理后的X线影像中的坐标，以及预先设置局部区域图像的外形尺寸，例如，可以将局部区域图像的形状设定为矩形，并确定其长度尺寸和宽度尺寸。根据局部区域图像的中心在经预处理后的X线影像中的坐标，以及局部区域图像的外形尺寸，即可从经预处理后的X影像中提取局部区域图像。
此外，由于局部区域图像为与目标特征图像对应的区域图像，而对于待处理X线影像来说，可能存在多个局部区域图像与目标特征图像对应，因此，可以提取多个局部区域图像，例如，对于手部X线影像，通常可以提取手骨中中指骨关节部位、掌骨关节部位和腕骨关节部位的局部区域图像。
将经预处理后的X线影像中左上角的顶点设置为原点，其坐标为(0，0)，局部区域图像在经预处理后的X影像中的位置可以表示为(y，x，h，w)，其中(y，x)表示局部区域图像的中心在经预处理X影像中的坐标，h表示局部区域图像的长度尺寸，w表示局部区域图像的宽度尺寸。例如，在手部X线影像中，中指骨关节部位对应的局部区域图像在经预处理后的X线影像中的位置可以为
Figure BDA0002471906220000071
掌骨关节部位对应的局部区域图像在经预处理后的X线影像中的位置可以为
Figure BDA0002471906220000081
腕骨关节部位对应的局部区域图像在经预处理后的X线影像中的位置可以为
Figure BDA0002471906220000082
其中R可以为预先设置的数值。
S1022，将所提取的局部区域图像的外形尺寸变换为预设尺寸。
由于所提取的局部区域图像的外形尺寸较小，而且多个局部区域图像的尺寸可能并不相同，因此可以将所提取的局部区域图像的外形尺寸变换为预设尺寸。
图1所示实施例流程步骤S103，可以包括：
将经预处理后的X线影像输入预先训练好的全局特征提取模型。
在对待处理X线影像进行预处理后得到经预处理后的X线影像之后，可以将经预处理后的X线影像输入预先训练好的全局特征提取模型，提取全局特征信息。
本发明实施例通过对待处理X线影像进行预处理，将X影像中的目标对象调整为标准姿态，使得后续从经预处理后的X影像中提取的局部区域图像更为准确。
本发明实施例中的全局特征提取模型、局部特征提取模型和联合判决模型至少可以有两种方式进行训练：
第一种训练方式：
如图4所示，全局特征提取模型、局部特征提取模型和联合判决模型采用如下步骤进行训练：
S401，分别确定待训练的全局特征提取模型、待训练的局部特征提取模型和待训练的联合判决模型的网络参数。
针对待训练的全局特征提取模型和待训练的局部特征提取模型的网络参数，可以使用迁移学习预置初始化网络参数，以减少训练成本，其具体过程可以为将待训练的全局特征提取模型和待训练的局部特征提取模型中的初始的网络参数，设置为经训练后的其他图像识别中的特征提取模型的网络参数。针对待训练的联合判决模型的网络参数，可以随机初始化其网络参数。
S402，获得多个样本X线影像；分别为包含目标图像特征的样本X线影像和不包含目标图像特征的样本X线影像设置不同的标签。
可以获得多个样本X线影像，多个样本X线影像中一部分为包含目标图像特征的样本X线影像，另一部分为不包含目标图像特征的样本X线影像，可以分别为包含目标图像特征的样本X线影像和不包含目标图像特征的样本X线影像设置不同的标签，可以采用人工识别的方法，对每个样本X线影像进行识别，得出样本X线影像中是否包含目标图像特征的判断结果，接着根据不同的判断结果设置不同的标签，并建立样本X线影像和其对应标签之间的一一对应关系。不同的标签可以用不同的数字来表示，例如，标签可以为0或1，其中0可以表示该标签对应的样本X线影像中包含目标图像特征，1可以表示该标签对应的样本X线影像中不包含目标图像特征。
S403，对每个样本X线影像提取样本局部区域图像，获得每个样本X线影像对应的样本局部区域图像。
可以从每个样本X线影像中提取样本局部区域图像，以获得每个样本X线影像对应的样本局部区域图像，需要说明的是，在提取局部区域图像之前，可以对每个样本X线影像进行预处理，具体预处理过程可以参考对待处理X线影像进行预处理的过程，此处不再赘述。
S404，将样本X线影像输入待训练的全局特征提取模型中，基于其网络参数，对样本待处理X线影像的完整图像进行特征提取，获得样本全局特征信息。
可以将样本X线影像输入待训练的全局特征提取模型中，基于其网络参数，对样本X线影像的完整图像进行特征提取，获得样本全局特征，该样本全局特征信息中包括：样本全局对比度特征信息、样本全局纹理特征信息、样本全局形状特征信息以及样本全局空间结构特征信息。需要说明的是，在将样本X线影像输入待训练的全局特征提取模型之前，可以先对样本X线影像进行预处理。
S405，将各样本X线影像的样本局部区域图像输入待训练的局部特征提取模型中，基于其网络参数，对样本局部区域图像进行特征提取，获得样本局部特征信息。
可以将各样本X线影像的样本局部区域图像输入待训练的局部特征提取模型中，基于其网络参数，对样本局部区域图像进行特征提取，获得样本局部特征信息，该样本局部区域特征信息可以包括：样本局部形状特征信息，样本局部对比度特征信息。
S406，对样本全局特征信息与样本局部特征信息进行联合处理，得到样本联合特征信息。
样本全局特征信息可以为多维向量，样本局部区域特征信息也可以为多维向量，可以将样本全局特征信息和样本局部特征信息进行联合处理，得到样本联合特征信息。
S407，将样本联合特征信息输入待训练的联合判决模型，基于其网络参数，以及样本联合特征信息获得样本联合识别结果。
可以将样本联合特征信息输入待训练的联合判决模型，基于其网络参数，以及样本联合特征信息获得样本联合识别结果。该样本联合识别结果可以为：样本X线影像中是否包含目标图像特征的判断结果。
S408，基于样本联合识别结果、标签和预设的损失函数，计算样本联合识别结果与标签之间的联合损失函数值。
可以基于每个样本X线影像的样本联合识别结果、标签和损失函数，计算各样本X线影像对应的样本联合识别结果与标签之间的联合损失函数值。
S409，根据联合损失函数值判断待训练的全局特征提取模型、待训练的局部特征提取模型和待训练的联合判决模型是否收敛，如果是，执行步骤S410；否则执行步骤S411。
S410，全局特征提取模型、局部特征提取模型和联合判决模型训练完成。
S411，调整全局特征提取模型、局部特征提取模型和联合判决模型的网络参数，返回将样本X线影像输入待训练的全局特征提取模型中的步骤。
可以预先设置损失函数阈值，当联合损失函数值小于该损失函数阈值时，则表明全局特征提取模型、待训练的局部特征提取模型和待训练的联合判决模型收敛，则全局特征提取模型、局部特征提取模型和联合判决模型训练完成。如果联合损失函数值大于或等于损失函数阈值时，则表明待训练的全局特征提取模型、待训练的局部特征提取模型和待训练的联合判决模型没有收敛，接着可以采用误差反向传播算法调整全局特征提取模型、局部特征提取模型和联合判决模型的网络参数，并进入下一次迭代计算，即返回将样本X线影像输入待训练的全局特征提取模型中的步骤，直到经过多次迭代计算后，联合损失函数值小于损失函数阈值，全局特征提取模型、局部特征提取模型和联合判决模型训练完成。需要说明的是，可以采用Rumelhart提出的，用于多层神经网络训练的误差反向传播算法调整网络参数。
此外，也可以设定迭代次数阈值，在待训练的全局特征提取模型、待训练的局部特征提取模型和待训练的联合判决模型训练的过程中，如果迭代次数达到迭代次数阈值时，则认为待训练的全局特征提取模型、待训练的局部特征提取模型和待训练的联合判决模型收敛。
第二种训练方式：
这种训练方式在图4所示的训练方法的基础上，引入待训练的全局特征识别模型和待训练的局部特征识别模型参与训练，以进一步提高局特征提取模型、局部特征提取模型和联合判决模型模型的准确性。
具体的，可以在图4的训练方法中，基于样本联合识别结果、标签和预设的损失函数，计算样本联合识别结果与标签之间的损失函数值的步骤之前，训练过程还可以包括：
第一步，分别确定待训练的全局特征识别模型和待训练的局部特征识别模型的网络参数。
待训练的全局特征识别模型和待训练的局部特征识别模型的结构均可以包括一层全连接层，待训练的全局特征识别模型和待训练的局部特征识别模型中的网络参数，均可以采用随机初始化网络参数。
第二步，将样本全局特征信息输入待训练的全局特征识别模型中，基于其网络参数，以及样本全局特征信息获得样本全局识别结果。
样本全局识别结果可以为：样本X线影像中是否包含目标图像特征的判断结果。
第三步，将样本局部特征信息输入待训练的局部特征识别模型中，基于其网络参数，以及样本局部特征信息获取样本局部识别结果，该样本局部识别结果可以为：样本局部区域图像中是否包含目标图像特征的判断结果。
第四步，基于样本全局识别结果、标签和预设的损失函数，计算样本全局识别结果与标签之间的全局损失函数值。
第五步，基于样本局部识别结果、标签和损失函数，计算样本局部识别结果与标签之间的局部损失函数值。
在得到样本全局识别结果和样本局部识别结果之后，可以基于样本全局识别结果、标签和损失函数，计算样本全局识别结果与标签之间的全局损失函数值，以及基于样本局部识别结果、标签和损失函数，计算样本局部识别结果与标签之间的局部损失函数值。
根据联合损失函数值判断待训练的全局特征提取模型、待训练的局部特征提取模型和待训练的联合判决模型是否收敛的步骤，可以包括：
第一步，计算全局损失函数值、局部损失函数值以及联合损失函数值之和，得到总损失函数值。
第二步，根据总损失函数值判断待训练的全局特征提取模型、待训练的局部特征提取模型、待训练的联合判决模型、待训练的全局特征识别模型以及待训练的局部特征识别模型是否收敛。
在计算得到总损失函数值之后，可以根据总损失函数值判断待训练的全局特征提取模型、待训练的局部特征提取模型、待训练的联合判决模型、待训练的全局特征识别模型以及待训练的局部特征识别模型是否收敛，并根据是否收敛的判断结果，确定全局特征提取模型、局部特征提取模型、联合判决模型、全局特征识别模型以及局部特征识别模型是否训练完成。需要说明的是，如果上述模型并未训练完成时，则可以调整各自的网络参数。
在本发明实施例中，可以利用全局损失函数值、局部损失函数值以及联合损失函数值之和，判断待训练的全局特征提取模型、待训练的局部特征提取模型和待训练的联合判决模型是否收敛，因此能够提高本发明实施例中各模型的网络参数的准确性，进而提高联合判决模型输出的识别结果的准确性。
作为本发明实施例一种可选的实施方式，样本联合识别结果中包括：样本X线影像包含目标图像特征的概率和不包含目标图像特征的概率，即，在将样本联合特征信息输入待训练的联合判决模型中之后，可以利用前述的识别结果向量计算公式计算样本X线影像包含目标图像特征的概率和不包含目标图像特征的概率。
基于样本联合识别结果、标签和预设的损失函数，计算样本联合识别结果与标签之间的联合损失函数值的步骤，包括：
利用第一预设表达式，计算联合损失函数值，第一预设表达式为：
Figure BDA0002471906220000121
式中，L表示联合损失函数值，class表示样本X线影像的标签，f[class]表示样本联合识别结果中，该样本X线影像的标签对应的是否包含目标图像特征的结论的概率，fi表示样本联合识别结果中的概率。由于标签可以用0或者1进行表示，当0表示该标签对应的样本X线影像中包含目标图像特征，1表示该标签对应的样本X线影像中不包含目标图像特征时，如果该样本X线影像的标签为0，则f[class]表示样本联合识别结果中，该样本X线影像中包含目标图像特征的概率。例如，当样本联合识别结果为[0.3，0.7]，如果该样本X线影像的标签为0，则f[0]＝0.3，则表明样本X影像中包含目标图像特征的概率为0.3，样本X线影像中不包含目标图像特征的概率为0.7，则
Figure BDA0002471906220000131
需要说明的是，也可以利用第一预设表达式计算全局损失函数值、局部损失函数值。
作为本发明实施例一种可选的实施方式，如图5所示，图2a所示实施例流程步骤S201，可以包括：
S2011，对待处理X线影像进行灰度值阈值分割处理，将低于阈值的像素点的灰度值调整为0，得到经阈值分割后的X线影像。
可以绘制待处理X线影像的灰度直方图，图2b为应用图2a所示实施例的待处理X线影像的一种灰度直方图，其中横坐标表示灰度值，纵坐标表示各灰度值对应像素点出现的次数。从图2b可以看出，其中存在一个灰度最大值，该灰度最大值附近的灰度值对应的像素点表示软组织和背景，随着灰度值的增加，灰度直方图变得较为平坦，较为平坦的这部分灰度值对应的像素点表示骨组织，图2b中箭头指示的灰度值，为灰度极小值，可以将其设置为用于阈值分割的灰度阈值。灰度直方图是关于灰度级分布的函数，是对图像中灰度级分布的统计。灰度直方图是将数字图像中的所有像素，按照灰度值的大小，统计其出现的频率。灰度直方图是灰度级的函数，它表示图像中具有某种灰度级的像素的个数，反映了图像中某种灰度出现的频率。
对于待处理X线影像中所有像素点，判断各像素点的灰度值与灰度阈值之间的大小关系，当像素点的灰度值小于灰度阈值时，则将该像素点的灰度值调整为0，如果像素点的灰度值大于或等于灰度阈值时，则保持该像素点的灰度值不变。将所有小于灰度阈值的像素点的灰度值调整为0，使得这部分像素点的灰度值与骨组织像素点的灰度值相差较大，可以利于对待处理图像X线影像进行全局特征信息提取，从而能够提高全局特征信息和局部特征信息提取的准确性。
S2012，对经阈值分割后的X线影像进行图像校准处理，将经阈值分割后的X线影像中的预设目标对象调整为标准姿态，获得经校准后的X线影像。
可以预先确定经阈值分割后的X线影像中的目标对象，该目标对象与目标图像特征相对应，即，该目标对象为可以表示目标图像特征的对象，接着将确定好的目标对象调整为标准姿态，获得经校准后的X线影像。
S2013，对经校准后的X线影像进行复制处理，得到经校准后的X线影像的副本，并对经校准后的X线影像以及经校准后的X线影像的副本进行尺寸变换处理，得到第一图像和第二图像。
可以对经校准后的X线影像进行复制处理，得到经校准后的X线影像的副本，接着对经校准后的X线影像进行尺寸变换得到第一图像，以及对经校准后的X线影像的副本进行尺寸变换得到第二图像，其中第一图像的外形尺寸可以小于第二图像，例如，第一图像的长度尺寸可以为第二图像的长度尺寸的一半，第一图像的宽度尺寸可以为第二图像的宽度尺寸的一半，即，可以对经校准后的X线影像的副本的外形尺寸进行放大处理，得到第二图像。
图1所示实施例流程步骤S102，可以包括：
从第二图像中提取局部区域图像，在经放大处理得到第二图像之后，可以从第二图像中提取局部区域图像，这样一来，可以避免因第二图像过小而导致提取到的局部区域图像过小，进而影响局部特征信息的提取的情况。
图1所示实施例流程步骤S103，可以包括：
在得到第一图像之后，则可以将第一图像输入预先训练好的全局特征提取模型。
作为本发明实施例一种可选的实施方式，如图6所示，图5所示实施例流程步骤S2012，可以包括：
S20121，利用预设的检测算法检测经阈值分割后的X线影像中的直线，作为目标对象。
如图2c所示，可以利用霍夫直线检测算法检测经阈值分割后的X线影像中的直线，并将这些直线作为目标对象，这些直线通常可以表示经阈值分割后的X线影像中的骨骼方向。图2c中，呈倾斜状态的实线线条l表示所检测到的直线，呈竖直状态的实线线条l*表示预设直线，θ*表示目标旋转角度，呈倾斜状态的虚线l表示，该直线l与预设直线l*之间的夹角为目标旋转角度。需要说明的是，霍夫直线检测算法是图像变换中的常用算法，主要用来从图像中提取出具有某种相同特征的几何形状(如直线，圆等)。
S20122，计算各直线与预设直线之间的夹角。
预设直线可以与标准姿态对应，可以将经阈值分割后的X线影像的中轴线作为预设直线，该预设直线与标准姿态对应，可以以预设直线作为参考直线，对经阈值分割后的X线影像进行调整，可以计算所检测到的各直线与预设直线之间的夹角，并进一步利用这些夹角对经阈值分割后的X线影像进行调整。
S20123，计算夹角的中位数和平均数，并将中位数与平均数之间的平均值，确定为目标旋转角度。
在得到各直线与预设直线之间的夹角之后，可以计算这些夹角的中位数和平均数，并将中位数和平均数之间的平均值确定为目标旋转角度，采用该种方法计算得到的目标旋转角度，能够在一定程度上去除角度最大值和角度最小值对目标旋转角度的影响。
S20124，对经阈值分割后的X线影像进行旋转处理。
经阈值分割后的X线影像的旋转角度为目标旋转角度，旋转处理后得到的X线影像中的预设目标对象为标准姿态。在得到目标旋转角度之后，可以以预设直线为中心，对经阈值分割后的X线影像旋转目标旋转角度，图2c中的θ*表示目标旋转角度。
本发明实施例提供的基于神经网络的X线影像识别方法，通过获取待处理X线影像，从待处理X线影像中提取局部区域图像，利用训练好的全局特征提取模型提取待处理X线影像中的全局特征信息，利用训练好的局部特征提取模型提取局部区域图像的局部特征信息，将全局特征信息和局部特征信息联合为联合特征信息，并将联合特征信息输入训练好的联合判决模型中获得识别结果，由于该识别结果为待处理X影像中是否包含目标图像特征的判断结果，因此，本发明实施例能够根据判断结果确定待处理X线影像中是否存在目标图像特征，相比于现有技术中的人工识别方法，能够提高对待处理X线影像的识别速度，提高对待处理X线影像的识别效率。
本发明实施例提供了一种基于神经网络的X线影像识别装置的一种具体实施例，与图1所示流程相对应，参考图7，图7为本发明实施例的一种基于神经网络的X线影像的一种结构示意图，可以包括：
X线影像获取模块701，用于获取待处理X线影像。
局部区域图像提取模块702，用于从待处理X线影像中提取局部区域图像。局部区域图像为预设的与目标图像特征对应的区域的图像。
全局特征提取模块703，用于将待处理X线影像输入预先训练好的全局特征提取模型，对待处理X线影像的完整图像进行特征提取，获得全局特征信息。
局部特征提取模块704，用于将局部区域图像输入预先训练好的局部特征提取模型，对局部区域图像进行特征提取，获得局部特征信息。
特征联合模块705，用于对全局特征信息和局部特征信息进行联合处理，得到联合特征信息。
特征识别模块706，用于将联合特征信息输入至预先训练好的联合判决模型，基于联合特征信息获得识别结果；识别结果为：待处理X线影像中是否包含目标图像特征的判断结果；全局特征提取模型、局部特征提取模型以及联合判决模型均为：预先基于包含目标图像特征的多个样本X线影像进行训练得到的。
作为本发明实施例一种可选的实施方式，本发明实施例提供的基于神经网络的X线影像识别装置还可以包括：
X线影像预处理模块，用于对待处理X线影像进行预处理，得到经预处理后的X线影像，经预处理后的X线影像中预设目标对象为标准姿态；预设目标对象与目标图像特征相对应。
局部区域图像提取模块702，包括：
局部区域图像提取子模块，用于利用预设的局部区域图像的中心在经预处理后的X线影像中的坐标，以及预设的局部区域图像的外形尺寸，从经预处理后的X线影像中提取局部区域图像。
尺寸变换子模块，用于将所提取的局部区域图像的外形尺寸变换为预设尺寸。
全局特征提取模块703，具体用于：
将经预处理后的X线影像输入预先训练好的全局特征提取模型。
作为本发明实施例一种可选的实施方式，本发明实施例提供的基于神经网络的X线影像识别装置还可以包括：
第一网络参数确定模块，用于分别确定待训练的全局特征提取模型、待训练的局部特征提取模型和待训练的联合判决模型的网络参数。
标签设置模块，用于获得多个样本X线影像；分别为包含目标图像特征的样本X线影像和不包含目标图像特征的样本X线影像设置不同的标签。
样本局部区域图像提取模块，用于对每个样本X线影像提取样本局部区域图像，获得每个样本X线影像对应的样本局部区域图像。
样本全局特征提取模块，用于将样本X线影像输入待训练的全局特征提取模型中，基于其网络参数，对样本待处理X线影像的完整图像进行特征提取，获得样本全局特征信息。
样本局部特征提取模块，用于将各样本X线影像的样本局部区域图像输入待训练的局部特征提取模型中，基于其网络参数，对样本局部区域图像进行特征提取，获得样本局部特征信息。
样本特征联合模块，用于对样本全局特征信息与样本局部特征信息进行联合处理，得到样本联合特征信息。
样本联合特征识别模块，用于将样本联合特征信息输入待训练的联合判决模型，基于其网络参数，以及样本联合特征信息获得样本联合识别结果。
联合损失函数值计算模块，用于基于样本联合识别结果、标签和预设的损失函数，计算样本联合识别结果与标签之间的联合损失函数值。
模型判断模块，用于根据联合损失函数值判断待训练的全局特征提取模型、待训练的局部特征提取模型和待训练的联合判决模型是否收敛，如果收敛，则全局特征提取模型、局部特征提取模型和联合判决模型训练完成；否则，调整全局特征提取模型、局部特征提取模型和联合判决模型的网络参数，返回将样本X线影像输入待训练的全局特征提取模型中的步骤。
作为本发明实施例一种可选的实施方式，本发明实施例提供的基于神经网络的X线影像识别装置还可以包括：
第二网络参数确定模块，用于分别确定待训练的全局特征识别模型和待训练的局部特征识别模型的网络参数。
样本全局特征识别模块，用于将样本全局特征信息输入全局特征识别模型中，基于其网络参数，以及样本全局特征信息获得样本全局识别结果。
样本局部特征识别模块，用于将样本局部特征信息输入待训练的局部特征识别模型中，基于其网络参数，以及样本局部特征信息获取样本局部识别结果。
全局损失函数值计算模块，用于基于样本全局识别结果、标签和预设的损失函数，计算样本全局识别结果与标签之间的全局损失函数值。
局部损失函数值计算模块，用于基于样本局部识别结果、标签和损失函数，计算样本局部识别结果与标签之间的局部损失函数值。
模型判断模块，包括：
总损失函数值计算子模块，用于计算全局损失函数值、局部损失函数值以及联合损失函数值之和，得到总损失函数值。
模型判断子模块，用于根据总损失函数值判断待训练的全局特征提取模型、待训练的局部特征提取模型、待训练的联合判决模型、待训练的全局特征识别模型以及待训练的局部特征识别模型是否收敛。
作为本发明实施例一种可选的实施方式，样本联合识别结果中包括：样本X线影像包含目标图像特征的概率和不包含目标图像特征的概率，联合损失函数值计算模块，具体用于：
利用第一预设表达式，计算联合损失函数值，第一预设表达式为：
Figure BDA0002471906220000181
式中，L表示联合损失函数值，class表示样本X线影像的标签，f[class]表示样本联合识别结果中，标签对应的是否包含目标图像特征的结论的概率，fi表示样本联合识别结果中的概率。
作为本发明实施例一种可选的实施方式，X线影像预处理模块，包括：
灰度值阈值分割子模块，用于对待处理X线影像进行灰度值阈值分割处理，将低于阈值的像素点的灰度值调整为0，得到经阈值分割后的X线影像。
图像校准子模块，用于对经阈值分割后的X线影像进行图像校准处理，将经阈值分割后的X线影像中的预设目标对象调整为标准姿态，获得经校准后的X线影像。
尺寸变换子模块，用于对经校准后的X线影像进行复制处理，得到经校准后的X线影像的副本，并对经校准后的X线影像以及经校准后的X线影像的副本进行尺寸变换处理，得到第一图像和第二图像，第一图像的外形尺寸小于第二图像的外形尺寸。
局部区域图像提取模块702，具体用于：
从第二图像中提取局部区域图像。
全局特征提取模块703，具体用于：
将第一图像输入预先训练好的全局特征提取模型。
作为本发明实施例一种可选的实施方式，图像校准子模块，包括：
直线检测单元，用于利用预设的检测算法检测经阈值分割后的X线影像中的直线，作为目标对象。
夹角计算单元，用于计算各直线与预设直线之间的夹角，预设直线与标准姿态对应。
目标旋转角度计算单元，用于计算夹角的中位数和平均数，并将中位数与平均数之间的平均值，确定为目标旋转角度。
X线影像旋转单元，用于对经阈值分割后的X线影像进行旋转处理，经阈值分割后的X线影像的旋转角度为目标旋转角度。
本发明实施例提供的基于神经网络的X线影像识别装置，通过获取待处理X线影像，从待处理X线影像中提取局部区域图像，利用训练好的全局特征提取模型提取待处理X线影像中的全局特征信息，利用训练好的局部特征提取模型提取局部区域图像的局部特征信息，将全局特征信息和局部特征信息联合为联合特征信息，并将联合特征信息输入训练好的联合判决模型中获得识别结果，由于该识别结果为待处理X影像中是否包含目标图像特征的判断结果，因此，本发明实施例能够根据判断结果确定待处理X线影像中是否存在目标图像特征，相比于现有技术中的人工识别方法，能够提高对待处理X线影像的识别速度，提高对待处理X线影像的识别效率。
本发明实施例还提供了一种电子设备，如图8所示，包括处理器801、通信接口802、存储器803和通信总线804，其中，处理器801，通信接口802，存储器803通过通信总线804完成相互间的通信。
存储器803，用于存放计算机程序。
处理器801，用于执行存储器803上所存放的程序时，实现如下步骤：
获取待处理X线影像。
从待处理X线影像中提取局部区域图像；局部区域图像为预设的与目标图像特征对应的区域的图像。
将待处理X线影像输入预先训练好的全局特征提取模型，对待处理X线影像的完整图像进行特征提取，获得全局特征信息。
将局部区域图像输入预先训练好的局部特征提取模型，对局部区域图像进行特征提取，获得局部特征信息。
对全局特征信息和局部特征信息进行联合处理，得到联合特征信息。
将联合特征信息输入至预先训练好的联合判决模型，基于联合特征信息获得识别结果；识别结果为：待处理X线影像中是否包含目标图像特征的判断结果；全局特征提取模型、局部特征提取模型以及联合判决模型均为：预先基于包含目标图像特征的多个样本X线影像进行训练得到的。
本发明实施例提供的电子设备，通过获取待处理X线影像，从待处理X线影像中提取局部区域图像，利用训练好的全局特征提取模型提取待处理X线影像中的全局特征信息，利用训练好的局部特征提取模型提取局部区域图像的局部特征信息，将全局特征信息和局部特征信息联合为联合特征信息，并将联合特征信息输入训练好的联合判决模型中获得识别结果，由于该识别结果为待处理X影像中是否包含目标图像特征的判断结果，因此，本发明实施例能够根据判断结果确定待处理X线影像中是否存在目标图像特征，相比于现有技术中的人工识别方法，能够提高对待处理X线影像的识别速度，提高对待处理X线影像的识别效率。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一基于神经网络的X线影像识别方法的步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一基于神经网络的X线影像识别方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种基于神经网络的X线影像识别方法，其特征在于，所述方法包括：
获取待处理X线影像；
从所述待处理X线影像中提取局部区域图像；局部区域图像为预设的与目标图像特征对应的区域的图像；
将所述待处理X线影像输入预先训练好的全局特征提取模型，对所述待处理X线影像的完整图像进行特征提取，获得全局特征信息；
将所述局部区域图像输入预先训练好的局部特征提取模型，对局部区域图像进行特征提取，获得局部特征信息；
对所述全局特征信息和所述局部特征信息进行联合处理，得到联合特征信息；
将所述联合特征信息输入至预先训练好的联合判决模型，基于所述联合特征信息获得识别结果；所述识别结果为：所述待处理X线影像中是否包含目标图像特征的判断结果；所述全局特征提取模型、所述局部特征提取模型以及所述联合判决模型均为：预先基于包含目标图像特征的多个样本X线影像进行训练得到的。
2.根据权利要求1所述的方法，其特征在于，在所述从所述待处理X线影像中提取局部区域图像的步骤之前，所述方法还包括：
对所述待处理X线影像进行预处理，得到经预处理后的X线影像，所述经预处理后的X线影像中预设目标对象为标准姿态；所述预设目标对象与所述目标图像特征相对应；
所述从所述待处理X线影像中提取局部区域图像的步骤，包括：
利用预设的局部区域图像的中心在所述经预处理后的X线影像中的坐标，以及预设的局部区域图像的外形尺寸，从所述经预处理后的X线影像中提取所述局部区域图像；
将所提取的所述局部区域图像的外形尺寸变换为预设尺寸；
所述将所述待处理X线影像输入预先训练好的全局特征提取模型的步骤，包括：
将所述经预处理后的X线影像输入预先训练好的全局特征提取模型。
3.根据权利要求1所述的方法，其特征在于，所述全局特征提取模型、所述局部特征提取模型和所述联合判决模型采用如下步骤进行训练：
分别确定待训练的全局特征提取模型、待训练的局部特征提取模型和待训练的联合判决模型的网络参数；
获得多个样本X线影像；分别为包含目标图像特征的样本X线影像和不包含目标图像特征的样本X线影像设置不同的标签；
对每个样本X线影像提取样本局部区域图像，获得每个样本X线影像对应的样本局部区域图像；
将所述样本X线影像输入所述待训练的全局特征提取模型中，基于其网络参数，对所述样本待处理X线影像的完整图像进行特征提取，获得样本全局特征信息；
将各所述样本X线影像的样本局部区域图像输入所述待训练的局部特征提取模型中，基于其网络参数，对样本局部区域图像进行特征提取，获得样本局部特征信息；
对所述样本全局特征信息与所述样本局部特征信息进行联合处理，得到样本联合特征信息；
将所述样本联合特征信息输入待训练的联合判决模型，基于其网络参数，以及所述样本联合特征信息获得样本联合识别结果；
基于所述样本联合识别结果、所述标签和预设的损失函数，计算样本联合识别结果与所述标签之间的联合损失函数值；
根据联合损失函数值判断所述待训练的全局特征提取模型、所述待训练的局部特征提取模型和所述待训练的联合判决模型是否收敛，如果收敛，则所述全局特征提取模型、所述局部特征提取模型和所述联合判决模型训练完成；否则，调整所述全局特征提取模型、局部特征提取模型和联合判决模型的网络参数，返回所述将所述样本X线影像输入所述待训练的全局特征提取模型中的步骤。
4.根据权利要求3所述的方法，其特征在于，在所述基于样本联合识别结果、标签和预设的损失函数，计算样本联合识别结果与所述标签之间的损失函数值的步骤之前，所述方法还包括：
分别确定待训练的全局特征识别模型和待训练的局部特征识别模型的网络参数；
将所述样本全局特征信息输入所述待训练的全局特征识别模型中，基于其网络参数，以及所述样本全局特征信息获得样本全局识别结果；
将所述样本局部特征信息输入所述待训练的局部特征识别模型中，基于其网络参数，以及所述样本局部特征信息获取样本局部识别结果；
基于样本全局识别结果、所述标签和预设的损失函数，计算所述样本全局识别结果与所述标签之间的全局损失函数值；
基于样本局部识别结果、所述标签和所述损失函数，计算所述样本局部识别结果与所述标签之间的局部损失函数值；
所述根据联合损失函数值判断所述待训练的全局特征提取模型、所述待训练的局部特征提取模型和所述待训练的联合判决模型是否收敛的步骤，包括：
计算所述全局损失函数值、所述局部损失函数值以及所述联合损失函数值之和，得到总损失函数值；
根据所述总损失函数值判断所述待训练的全局特征提取模型、所述待训练的局部特征提取模型、所述待训练的联合判决模型、所述待训练的全局特征识别模型以及所述待训练的局部特征识别模型是否收敛。
5.根据权利要求3所述的方法，其特征在于，所述样本联合识别结果中包括：所述样本X线影像包含目标图像特征的概率和不包含目标图像特征的概率，所述基于所述样本联合识别结果、所述标签和预设的损失函数，计算样本联合识别结果与所述标签之间的联合损失函数值的步骤，包括：
利用第一预设表达式，计算所述联合损失函数值，所述第一预设表达式为：
Figure FDA0002471906210000031
式中，L表示所述联合损失函数值，class表示所述样本X线影像的标签，f[class]表示所述样本联合识别结果中，所述标签对应的是否包含所述目标图像特征的结论的概率，fi表示所述样本联合识别结果中的概率。
6.根据权利要求2所述的方法，其特征在于，所述对所述待处理X线影像进行预处理，得到经预处理后的X线影像的步骤，包括：
对所述待处理X线影像进行灰度值阈值分割处理，将低于阈值的像素点的灰度值调整为0，得到经阈值分割后的X线影像；
对所述经阈值分割后的X线影像进行图像校准处理，将所述经阈值分割后的X线影像中的预设目标对象调整为标准姿态，获得经校准后的X线影像；
对所述经校准后的X线影像进行复制处理，得到经校准后的X线影像的副本，并对所述经校准后的X线影像以及所述经校准后的X线影像的副本进行尺寸变换处理，得到第一图像和第二图像，所述第一图像的外形尺寸小于所述第二图像的外形尺寸；
所述从所述待处理X线影像中提取局部区域图像的步骤，包括：
从所述第二图像中提取所述局部区域图像；
所述将所述待处理X线影像输入预先训练好的全局特征提取模型的步骤，包括：
将所述第一图像输入预先训练好的全局特征提取模型。
7.根据权利要求6所述的方法，其特征在于，所述对所述经阈值分割后的X线影像进行图像校准处理，将所述待处理X线影像中的预设目标对象调整为标准姿态，获得经校准后的X线影像的步骤，包括：
利用预设的检测算法检测所述经阈值分割后的X线影像中的直线，作为目标对象；
计算各所述直线与预设直线之间的夹角，所述预设直线与标准姿态对应；
计算所述夹角的中位数和平均数，并将所述中位数与所述平均数之间的平均值，确定为目标旋转角度；
对所述经阈值分割后的X线影像进行旋转处理，所述经阈值分割后的X线影像的旋转角度为所述目标旋转角度。
8.一种基于神经网络的X线影像识别装置，其特征在于，所述装置包括：
X线影像获取模块，用于获取待处理X线影像；
局部区域图像提取模块，用于从所述待处理X线影像中提取局部区域图像；局部区域图像为预设的与目标图像特征对应的区域的图像；
全局特征提取模块，用于将所述待处理X线影像输入预先训练好的全局特征提取模型，对所述待处理X线影像的完整图像进行特征提取，获得全局特征信息；
局部特征提取模块，用于将所述局部区域图像输入预先训练好的局部特征提取模型，对局部区域图像进行特征提取，获得局部特征信息；
特征联合模块，用于对所述全局特征信息和所述局部特征信息进行联合处理，得到联合特征信息；
特征识别模块，用于将所述联合特征信息输入至预先训练好的联合判决模型，基于所述联合特征信息获得识别结果；所述识别结果为：所述待处理X线影像中是否包含目标图像特征的判断结果；所述全局特征提取模型、所述局部特征提取模型以及所述联合判决模型均为：预先基于包含目标图像特征的多个样本X线影像进行训练得到的。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的基于神经网络的X线影像识别方法的方法步骤。
CN202010351272.1A 2020-04-28 2020-04-28 一种基于神经网络的x线影像识别方法及装置 Active CN111553420B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010351272.1A CN111553420B (zh) 2020-04-28 2020-04-28 一种基于神经网络的x线影像识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010351272.1A CN111553420B (zh) 2020-04-28 2020-04-28 一种基于神经网络的x线影像识别方法及装置

Publications (2)

Publication Number Publication Date
CN111553420A true CN111553420A (zh) 2020-08-18
CN111553420B CN111553420B (zh) 2023-08-15

Family

ID=72004120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010351272.1A Active CN111553420B (zh) 2020-04-28 2020-04-28 一种基于神经网络的x线影像识别方法及装置

Country Status (1)

Country Link
CN (1) CN111553420B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116005A (zh) * 2020-09-18 2020-12-22 推想医疗科技股份有限公司 影像分类模型的训练方法及装置、存储介质和电子设备
CN113907775A (zh) * 2021-10-13 2022-01-11 瓴域影诺(北京)科技有限公司 一种髋关节影像质量判断方法及系统
CN115661486A (zh) * 2022-12-29 2023-01-31 有米科技股份有限公司 图像特征的智能提取方法及装置
CN115950888A (zh) * 2023-01-09 2023-04-11 湖南艾科瑞生物工程有限公司 qPCR孔板的质量检测方法及相关设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107784282A (zh) * 2017-10-24 2018-03-09 北京旷视科技有限公司 对象属性的识别方法、装置及系统
CN107862340A (zh) * 2017-11-16 2018-03-30 深圳市华尊科技股份有限公司 一种车型识别方法及装置
CN108229379A (zh) * 2017-12-29 2018-06-29 广东欧珀移动通信有限公司 图像识别方法、装置、计算机设备和存储介质
CN108647732A (zh) * 2018-05-14 2018-10-12 北京邮电大学 一种基于深度神经网络的病理图像分类方法及装置
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
US20190355147A1 (en) * 2017-07-14 2019-11-21 Tencent Technology (Shenzhen) Company Limited Method and apparatus for determining object posture in image, device, and storage medium
CN110874591A (zh) * 2020-01-20 2020-03-10 广东博智林机器人有限公司 一种图像定位方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190355147A1 (en) * 2017-07-14 2019-11-21 Tencent Technology (Shenzhen) Company Limited Method and apparatus for determining object posture in image, device, and storage medium
CN107784282A (zh) * 2017-10-24 2018-03-09 北京旷视科技有限公司 对象属性的识别方法、装置及系统
CN107862340A (zh) * 2017-11-16 2018-03-30 深圳市华尊科技股份有限公司 一种车型识别方法及装置
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN108229379A (zh) * 2017-12-29 2018-06-29 广东欧珀移动通信有限公司 图像识别方法、装置、计算机设备和存储介质
CN108647732A (zh) * 2018-05-14 2018-10-12 北京邮电大学 一种基于深度神经网络的病理图像分类方法及装置
CN110874591A (zh) * 2020-01-20 2020-03-10 广东博智林机器人有限公司 一种图像定位方法、装置、设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116005A (zh) * 2020-09-18 2020-12-22 推想医疗科技股份有限公司 影像分类模型的训练方法及装置、存储介质和电子设备
CN112116005B (zh) * 2020-09-18 2024-01-23 推想医疗科技股份有限公司 影像分类模型的训练方法及装置、存储介质和电子设备
CN113907775A (zh) * 2021-10-13 2022-01-11 瓴域影诺(北京)科技有限公司 一种髋关节影像质量判断方法及系统
CN115661486A (zh) * 2022-12-29 2023-01-31 有米科技股份有限公司 图像特征的智能提取方法及装置
CN115950888A (zh) * 2023-01-09 2023-04-11 湖南艾科瑞生物工程有限公司 qPCR孔板的质量检测方法及相关设备
CN115950888B (zh) * 2023-01-09 2024-04-09 湖南艾科瑞生物工程有限公司 qPCR孔板的质量检测方法及相关设备

Also Published As

Publication number Publication date
CN111553420B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
CN111553420B (zh) 一种基于神经网络的x线影像识别方法及装置
CN108154192B (zh) 基于多尺度卷积与特征融合的高分辨sar地物分类方法
CN110136154B (zh) 基于全卷积网络与形态学处理的遥感图像语义分割方法
US11017210B2 (en) Image processing apparatus and method
JP6505124B2 (ja) 適応性放射線治療における自動輪郭抽出システム及び方法
CN116664559B (zh) 基于机器视觉的内存条损伤快速检测方法
CN112001406B (zh) 一种文本区域检测方法及装置
CN113592923B (zh) 一种基于深度局部特征匹配的批图像配准方法
CN114612469B (zh) 产品缺陷检测方法、装置、设备及可读存储介质
CN109064478B (zh) 一种基于极限学习机的天文图像轮廓提取方法
CN114913159A (zh) 超声图像的质量评估方法、模型训练方法及电子设备
CN111640119A (zh) 一种图像处理方法、处理装置、电子设备及存储介质
CN113256670A (zh) 图像处理方法及装置、网络模型的训练方法及装置
CN115527065A (zh) 髋关节分型方法、装置和存储介质
CN112364974A (zh) 一种基于激活函数改进的YOLOv3算法
CN113192067B (zh) 基于图像检测的智能预测方法、装置、设备及介质
CN112927235B (zh) 基于多尺度超像素与核低秩表示的脑肿瘤图像分割方法
CN108509835B (zh) 基于DFIC超像素的PolSAR图像地物分类方法
CN113269706A (zh) 激光雷达图像质量评价方法、装置、设备及存储介质
CN111461303A (zh) 基于生成对抗神经网络的数字岩心重构方法及系统
CN107492101B (zh) 基于自适应构造最优图的多模态鼻咽肿瘤分割算法
CN108447066B (zh) 胆道图像分割方法、终端、存储介质
CN111126424A (zh) 一种基于卷积神经网络的超声图像分类方法
CN111932578B (zh) 融入类指数抑制因子的像素块聚类无损检测图像分割方法
CN114723791A (zh) 特征点匹配方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant