CN111681204A - 基于图神经网络的ct肋骨骨折病灶关系建模方法及装置 - Google Patents

基于图神经网络的ct肋骨骨折病灶关系建模方法及装置 Download PDF

Info

Publication number
CN111681204A
CN111681204A CN202010363259.8A CN202010363259A CN111681204A CN 111681204 A CN111681204 A CN 111681204A CN 202010363259 A CN202010363259 A CN 202010363259A CN 111681204 A CN111681204 A CN 111681204A
Authority
CN
China
Prior art keywords
node
modeling
node characteristics
neural network
fracture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010363259.8A
Other languages
English (en)
Other versions
CN111681204B (zh
Inventor
刘锋
周振
俞益洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN202010363259.8A priority Critical patent/CN111681204B/zh
Publication of CN111681204A publication Critical patent/CN111681204A/zh
Application granted granted Critical
Publication of CN111681204B publication Critical patent/CN111681204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明提供了一种基于图神经网络的CT肋骨骨折病灶关系建模方法及装置，其中方法包括：创建图结构，其中，图结构包括：结点和边，检测结果定义为结点，结点通过预设连接关系进行连接形成边；提取结点特征，将结点特征按照预设方式连在一起得到结点特征表达；采用图神经网络对结点间的关系进行建模，对结点特征利用图神经网络进行推理，得到关系建模后的结点特征；利用关系建模后的结点特征对每个结点进行骨折分类。通过采用图的方法来建模病灶之间的关系，将一份CT中的所有疑似病灶看作图上的结点，而结点之间通过边连接，并通过图神经网络学习结点之间消息传播的方法，从而提升明显骨折附近细微骨折的召回，同时降低伪影误检。

Description

基于图神经网络的CT肋骨骨折病灶关系建模方法及装置
技术领域
本发明涉及计算机领域，尤其涉及一种基于图神经网络的CT肋骨骨折病灶关系建模方法及装置。
背景技术
肋骨骨折的检测是医生在实际阅片中重要的工作内容之一，为了达到准确的检查效果，CT通常采用薄层重建，导致平均一份CT有数百层需医生进行审查，对医生的工作带来极大的负担。长时间阅片导致的注意力下降、医生的经验不足，都会导致骨折的漏检或误检，引起医疗纠纷。随着计算机技术和医疗影像技术的发展，医生可以借助计算机辅助技术来提升病灶检出的准确率与速度。这些辅助诊断系统采用机器学习或深度学习的方法，从数据中学习病灶的影像表现，具有较高的准确率与泛化性。
现有的计算机辅助病灶检出主要遵循两个步骤。第一步为病灶的初筛，采用目标检测的方法逐层或逐块对病灶可能出现的位置进行预测，并最终合并为多个疑似病灶；第二步为假阳性消除，对每个疑似病灶分别提取特征，采用更加复杂的机器学习或深度学习模型对疑似病灶进行分类，对其是否为真实病灶进行区分，以便消除明显假阳，提升特定误报下的系统的敏感性。
现有的CT中病灶的自动诊断方法采用机器学习的方法，从数据中直接学习病灶外观与正常组织的不同。这些方法中采用手工特征或深度学习的方法，单独对每个病灶是否为病变进行学习与建模，而并未考虑病灶与病灶之间的关系。考虑到肋骨骨折，尤其是骨折中最为普遍的创伤性骨折，通常受外力的影响，骨折呈多发状分布。如果某根肋骨骨折，其相邻肋骨将有很大概率发生骨折。考虑到某些骨折在影像上表现不明显，单纯根据某根肋骨的影像表现很难将骨折与伪影进行区分，导致模型容易在这些骨折上产生漏检，或在伪影上形成误检。
发明内容
本发明旨在提供一种克服上述问题或者至少部分地解决上述问题的基于图神经网络的CT肋骨骨折病灶关系建模方法及装置。
为达到上述目的，本发明的技术方案具体是这样实现的：
本发明的一个方面提供了一种基于图神经网络的CT肋骨骨折病灶关系建模方法，包括：创建图结构，其中，图结构包括：结点和边，检测结果定义为结点，结点通过预设连接关系进行连接形成边；提取结点特征，将结点特征按照预设方式连在一起得到结点特征表达；采用图神经网络对结点间的关系进行建模，对结点特征利用图神经网络进行推理，得到关系建模后的结点特征；利用关系建模后的结点特征对每个结点进行骨折分类。
其中，预设连接关系包括：预设连接关系包括：全连接或者基于解剖位置进行连接。
其中，预设方式包括：串接。
其中，结点特征包括但不限于：位置信息、解剖信息、病灶的表观信息和/或检测置信度信息。
其中，提取结点特征，将结点特征按照预设方式连在一起得到结点特征表达包括：提取结点特征，将结点特征送入全连接层进行特征融合，得到融合后的结点特征；采用图神经网络对结点间的关系进行建模，对结点特征利用图神经网络进行推理，得到关系建模后的结点特征：将结点特征送入图神经网络运算单元，结合相邻结点信息，更新自身结点特征状态；将更新后的结点特征，以及不同运算单元层的输出加到一起，得到最终的特征表达；利用所述关系建模后的结点特征进行骨折分类包括：将最终的特征表达送入两结点的全连接层进行分类，得到属于骨折和/或非骨折的概率；或者将最终的特征表达送入多个全连接层后送入两(多)个节点的全联接层进行分类，得到属于骨折和/或非骨折的概率。
本发明另一方面提供了一种基于图神经网络的CT肋骨骨折病灶关系建模装置，包括：创建模块，用于创建图结构，其中，图结构包括：结点和边，检测结果定义为结点，结点通过预设连接关系进行连接形成边；提取模块，用于提取结点特征，将结点特征按照预设方式连在一起得到结点特征表达；建模模块，用于采用图神经网络对结点间的关系进行建模，得到对结点特征利用图神经网络进行推理，得到关系建模后的结点特征；预测模块，用于利用关系建模后的结点特征进行骨折分类。
其中，预设连接关系包括：全连接或者基于解剖位置进行连接。
其中，预设方式包括：串接。
其中，装置还包括：结点特征包括但不限于：位置信息、解剖信息、病灶的表观信息和/或检测置信度信息。
其中，提取模块通过如下方式提取结点特征，将结点特征按照预设方式连在一起得到结点特征表达：提取模块，具体用于提取结点特征，将结点特征送入全连接层进行特征融合，得到融合后的结点特征；建模模块通过如下方式采用图神经网络对结点间的关系进行建模，对结点特征利用图神经网络进行推理，得到关系建模后的结点特征：建模模块，具体用于将结点特征送入图神经网络运算单元，结合相邻结点信息，更新自身结点特征状态；将更新后的结点特征，以及不同运算单元层的输出加到一起，得到最终的特征表达；预测模块通过如下方式利用关系建模后的结点特征进行骨折分类：预测模块，具体用于将最终的特征表达送入两结点的全连接层进行分类，得到属于骨折和/或非骨折的概率；或者将最终的特征表达送入多个全连接层后送入两(多)个节点的全联接层进行分类，得到属于骨折和/或非骨折的概率。
由此可见，通过本发明提供的基于图神经网络的CT肋骨骨折病灶关系建模方法及装置，通过采用图的方法来建模病灶之间的关系，将一份CT中的所有疑似病灶看作图上的结点，而结点之间通过边连接，并通过图神经网络学习结点之间消息传播的方法，从而提升明显骨折附近细微骨折的召回，同时降低伪影误检。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的基于图神经网络的CT肋骨骨折病灶关系建模方法的流程图；
图2为本发明实施例提供的基于图神经网络的CT肋骨骨折病灶关系建模装置的结构示意图；
图3为本发明实施例提供的基于图神经网络的CT肋骨骨折病灶关系模型示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
图1示出了本发明实施例提供的基于图神经网络的CT肋骨骨折病灶关系建模方法的流程图，参见图1，本发明实施例提供的基于图神经网络的CT肋骨骨折病灶关系建模方法，包括以下步骤：
S1，创建图结构，其中，图结构包括：结点和边，检测结果定义为结点，结点通过预设连接关系进行连接形成边。
具体地，图结构创建是指定义结点和结点的连接关系(边)。结点就定义为每个检测结果，而连接关系的定义多种具体实现方法。以基于解剖关系的边连接方式为例，定义属于同一根肋骨和相邻肋骨的检测结果(结点)相连接。
作为本发明实施例的一个可选实施方式，预设连接关系包括：全连接或者基于解剖位置进行连接。具体地，将同一份CT中的检测结果作为一个图，其中每一个3D检测结果为一个结点，结点的连接关系即边的定义有多种方法，如定义全连接图，即假设任意两个结点均相连，或构建基于解剖位置的图，即认为只有同肋骨或相邻肋骨上的病灶(3D框)是连接的，本发明优选可以采用邻接矩阵作为图的表现形式。
可见，图结构的创建是以初始模型检测结果作为结点，采用以全连接或解剖位置的方法构建结点的连接方式连接结点。
S2，提取结点特征，并将结点特征按照预设方式连在一起得到结点特征表达。
作为本发明实施例的一个可选实施方式，结点特征包括但不限于：位置信息、解剖信息、病灶的表观信息和/或检测置信度信息。
本发明可以采用单种或融合多种特征作为结点特征，其中特征包括并不局限于位置信息、解剖信息、病灶的表观信息、检测置信度。
具体地，结点(每个3D框代表的疑似病灶)采用多种特征进行表达，其中包括并不局限于位置信息、解剖信息、病灶的表观信息、检测置信度信息。其中：
位置特征：以病灶在空间的准化后的3D坐标共6维向量作为位置信息的表达；
解剖特征：以病灶所在肋骨的编号的0-1编码作为解剖信息的表达，为24维特征；
病灶表观特征：采用预训练的3D卷积神经网络或序列模型提取的病灶特征作为病灶的表观信息，如256维特征向量；
检测置信度特征：以所有检测模型的置信度作为特征，如4维特征向量；
病灶性质特征：为性质分类模型对病灶性质分类的输出或特征层的表达，如8维向量。
作为本发明实施例的一个可选实施方式，预设方式包括：串接。即可以将以上特征串接在一起作为最终结点的特征表达，以上例子的特征表达维度为298维。
作为本发明实施例的一个可选实施方式，提取结点特征，并将结点特征按照预设方式连在一起得到结点特征表达包括：提取结点特征，将结点特征送入全连接层进行特征融合，得到融合后的结点特征。
S3，采用图神经网络对结点间的关系进行建模，对结点特征利用图神经网络进行推理，得到关系建模后的结点特征。
具体地，定义了图结构，结点的特征表达则可以采用图神经网络对结点间的关系进行建模。可以选用任意图神经网络模块、构建任意层的图神经网络建模结点关系。其中，本发明实施例提供的基于图神经网络的CT肋骨骨折病灶关系模型可以如图3所示。
作为本发明实施例的一个可选实施方式，采用图神经网络对结点间的关系进行建模，对结点特征利用图神经网络进行推理，得到关系建模后的结点特征包括：将结点特征送入图神经网络运算单元，结合相邻结点信息，更新自身结点特征状态；将更新后的结点特征，以及不同运算单元层的输出加到一起，得到最终的特征表达。具体地，作为本发明实施例的一个可选实施方式，将结点特征送入图神经网络运算单元，结合相邻结点信息，更新自身结点特征状态包括：将结点特征送入图神经网络运算单元，给定结点i，所述图神经网络运算单元根据i的结点特征以及与其有连接关系的结点j的特征计算结点j传向i的信息，通过对所有流向i的信息进行合并，得到更新后i的结点特征。
图神经网络运算单元可以包括但不限于：EdgeConv、SplineConv、GCNConv、ChebConv。
其中，如果为EdgeConv，则具体可以通过如下方式实现：将结点特征送入EdgeConv图卷积模块，给定结点i，EdgeConv图卷积模块根据i的结点特征以及与其有连接关系的结点j的特征计算结点j传向i的信息，通过对所有流向i的信息进行合并，得到更新后i的结点特征；将融合后的结点特征，以及不同EdgeConv层的输出加到一起，得到最终的特征表达。
S4，利用关系建模后的结点特征进行骨折分类。
具体地，可以根据实际需要采用不同的分类方法。例如：作为本发明实施例的一个可选实施方式，将最终的特征表达送入两结点的全连接层进行分类，得到属于骨折和/或非骨折的概率。或者，还可以将最终的特征表达送入多个全连接层后送入两(多)个节点的全联接层进行分类，得到属于骨折和/或非骨折的概率。这在本发明中并不做具体限制，只要可以实现骨折分类的方法均应属于本发明的保护范围。
由此可见，由于创伤性骨折通常由外力导致，骨折的分布服从一定规律，如严重骨折附近的肋骨通常也会骨折。本发明采用图神经网络建模这一先验知识，利用肋骨检测模型在CT中进行检测，获得多个疑似骨折病灶，这些疑似病灶即包含真正的骨折，也包含假阳，即正常的肋骨。同时对于每个病灶，可通过肋骨计数模型获得每个疑似病灶所属肋骨。
由于图神经网络种层与层之间有多种运算方式，层与层之间是否采用残差连接，图神经网络有多种实例化方式，以下，以概括性的方式提供一种基于边卷积(EdgeConv)的简单实现，但本发明所涵盖内容不仅局限于该网络结构创建方法。
步骤一，创建图结构包括：定义图的结点为每个检测结果(疑似病灶)，而连接关系的定义多种具体实现方法：如全连接，图中任意两个结点均连接；如基于解剖关系的边连接方法，定义属于同一根肋骨和相邻肋骨的检测结果(结点)相连接；
步骤二，提取结点特征包括：将结点特征送入全连接层进行特征融合，得到融合后的结点特征。
步骤三，采用图神经网络对结点间的关系进行建模，对结点特征利用图神经网络进行推理，得到关系建模后的结点特征：
将结点特征送入图神经网络计算单元，给定结点i，该模块根据i的结点特征以及与其有连接关系的结点j的特征计算结点j传向i的信息，通过对所有流向i的信息进行合并，得到更新后i的结点特征；将融合后的结点特征，以及不同层的输出加到一起，得到最终的特征表达。其中：图神经网络本身的运算就是对结点关系建模的过程，各个结点之间的信息进行交换，这种前向的计算过程就是对结点的关系进行建模。
步骤四，利用关系建模后的结点特征进行骨折分类包括：将最终的特征表达送入两结点的全连接层进行分类，得到属于骨折和/或非骨折的概率；
具体地实现时：
第一步，由于不同性质结点特征取值范围不同，该特征被送入全连接层进行特征融合，值得指出的是所有结点均采用同一全连接层，最终得到融合后的结点特征。
第二步，结点特征被送入EdgeConv图卷积模块，给定结点i，该模块根据i的结点特征以及与其有连接关系的结点j的特征计算结点j传向i的信息，通过对所有流向i的信息进行合并，得到更新后i的结点特征；本说明中采用两层EdgeConv层，以便让信息在边上传播的更远。
第三步，将第一步输出的结果，以及第二步中不同EdgeConv层的输出加到一起，作为最终的特征表达。
第四步，将第三步输出的特征送入两结点的全连接层进行分类，即可得到每个结点分别属于骨折/非骨折的概率。
在训练时可采用交叉熵损失，以病灶真实的类别为学习目标，训练该图神经网络。在测试时，根据以上步骤，则可以对疑似病灶进行进一步推理，确定病灶的真实类别。
由此可见，利用本发明提供的基于图神经网络的CT肋骨骨折病灶关系建模方法，有利于提升CT肋骨骨折的敏感性与稳定性。利用图神经网络建模肋骨骨折的分布规律，利用消息传播的方法将相邻病灶的信息与本病灶信息相融合进行骨折的预测。由于单个病灶预测时既考虑了本病灶的信息又考虑到相邻病灶的信息，某些影像表现不明显的病灶的置信度将会变大，从而细微骨折的敏感性将会大幅提升。由于考虑到相邻病灶的信息，系统出现多根连续骨折时漏掉某处的概率降大大缩小，因此模型的稳定性也得以提升。
通过对骨折病灶间关系的建模，模型对因征象不明显等骨折的预测能力得以提升，因此前序检测步骤可以采用更低复杂度的模型，提供多个疑似病灶供关系模型进一步确认。由于检测模型负担最多的计算量，降低检测模型的复杂度将大幅降低总体运算个数，从而提升骨折检测系统的推理速度。因此在实际部署时可采用更少的硬件资源用于骨折检测，降低了部署成本。
图2示出了本发明实施例提供的基于图神经网络的CT肋骨骨折病灶关系建模装置的结构示意图，该基于图神经网络的CT肋骨骨折病灶关系建模装置应用上述方法，以下仅对基于图神经网络的CT肋骨骨折病灶关系建模装置的结构进行简单说明，其他未尽事宜，请参照上述基于图神经网络的CT肋骨骨折病灶关系建模方法中的相关描述，参见图2，本发明实施例1提供的基于图神经网络的CT肋骨骨折病灶关系建模装置，包括：
创建模块，用于创建图结构，其中，图结构包括：结点和边，检测结果定义为结点，结点通过预设连接关系进行连接形成边；
提取模块，用于提取结点特征，将结点特征按照预设方式连在一起得到结点特征表达；
建模模块，用于采用图神经网络对结点间的关系进行建模，对结点特征利用图神经网络进行推理，得到关系建模后的结点特征；
预测模块，用于利用关系建模后的结点特征进行骨折分类。
作为本发明实施例的一个可选实施方式，预设连接关系包括：全连接或者基于解剖位置进行连接。
作为本发明实施例的一个可选实施方式，预设方式包括：串接。
作为本发明实施例的一个可选实施方式，结点特征包括但不限于：位置信息、解剖信息、病灶的表观信息和/或检测置信度信息。
作为本发明实施例的一个可选实施方式，提取模块通过如下方式提取结点特征，将结点特征按照预设方式连在一起得到结点特征表达：提取模块，具体用于提取结点特征，将结点特征送入全连接层进行特征融合，得到融合后的结点特征；建模模块通过如下方式采用图神经网络对结点间的关系进行建模，对结点特征利用图神经网络进行推理，得到关系建模后的结点特征：建模模块，具体用于将结点特征送入图神经网络运算单元，结合相邻结点信息，更新自身结点特征状态；将更新后的结点特征，以及不同运算单元层的输出加到一起，得到最终的特征表达；预测模块通过如下方式利用关系建模后的结点特征进行骨折分类：预测模块，具体用于将最终的特征表达送入两结点的全连接层进行分类，得到属于骨折和/或非骨折的概率；或者将最终的特征表达送入多个全连接层后送入两(多)个节点的全联接层进行分类，得到属于骨折和/或非骨折的概率。
由此可见，利用本发明提供的基于图神经网络的CT肋骨骨折病灶关系建模装置，有利于提升CT肋骨骨折的敏感性与稳定性。利用图神经网络建模肋骨骨折的分布规律，利用消息传播的方法将相邻病灶的信息与本病灶信息相融合进行骨折的预测。由于单个病灶预测时既考虑了本病灶的信息又考虑到相邻病灶的信息，某些影像表现不明显的病灶的置信度将会变大，从而细微骨折的敏感性将会大幅提升。由于考虑到相邻病灶的信息，系统出现多根连续骨折时漏掉某处的概率降大大缩小，因此模型的稳定性也得以提升。
通过对骨折病灶间关系的建模，模型对因征象不明显等骨折的预测能力得以提升，因此前序检测步骤可以采用更低复杂度的模型，提供多个疑似病灶供关系模型进一步确认。由于检测模型负担最多的计算量，降低检测模型的复杂度将大幅降低总体运算个数，从而提升骨折检测系统的推理速度。因此在实际部署时可采用更少的硬件资源用于骨折检测，降低了部署成本。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种基于图神经网络的CT肋骨骨折病灶关系建模方法，其特征在于，包括：
创建图结构，其中，所述图结构包括：结点和边，检测结果定义为结点，所述结点通过预设连接关系进行连接形成所述边；
提取结点特征，将所述结点特征按照预设方式连在一起得到结点特征表达；
采用图神经网络对所述结点间的关系进行建模，对所述结点特征利用图神经网络进行推理，得到关系建模后的结点特征；
利用所述关系建模后的结点特征对每个结点进行骨折分类。
2.根据权利要求1所述的方法，其特征在于，所述预设连接关系包括：全连接或者基于解剖位置进行连接。
3.根据权利要求1所述的方法，其特征在于，所述预设方式包括：串接。
4.根据权利要求1所述的方法，其特征在于，所述结点特征包括但不限于：位置信息、解剖信息、病灶的表观信息和/或检测置信度信息。
5.根据权利要求1所述的方法，其特征在于，
所述提取结点特征，将所述结点特征按照预设方式连在一起得到结点特征表达包括：
提取所述结点特征，将所述结点特征送入全连接层进行特征融合，得到融合后的结点特征；
所述采用图神经网络对所述结点间的关系进行建模，对所述结点特征利用图神经网络进行推理，得到关系建模后的结点特征包括：
将结点特征送入图神经网络运算单元，结合相邻结点信息，更新自身结点特征状态；
将更新后的结点特征，以及不同运算单元层的输出加到一起，得到最终的特征表达；
所述利用所述关系建模后的结点特征进行骨折分类包括：
将所述最终的特征表达送入两结点的全连接层进行分类，得到属于骨折和/或非骨折的概率；或者将所述最终的特征表达送入多个全连接层后送入多个节点的全联接层进行分类，得到属于骨折和/或非骨折的概率。
6.一种基于图神经网络的CT肋骨骨折病灶关系建模装置，其特征在于，包括：
创建模块，用于创建图结构，其中，所述图结构包括：结点和边，检测结果定义为结点，所述结点通过预设连接关系进行连接形成所述边；
提取模块，用于提取结点特征，将所述结点特征按照预设方式连在一起得到结点特征表达；
建模模块，用于采用图神经网络对所述结点间的关系进行建模，对所述结点特征利用图神经网络进行推理，得到关系建模后的结点特征；
预测模块，用于利用所述关系建模后的结点特征对每个结点进行骨折分类。
7.根据权利要求6所述的装置，其特征在于，所述预设连接关系包括：全连接或者基于解剖位置进行连接。
8.根据权利要求6所述的装置，其特征在于，所述预设方式包括：串接。
9.根据权利要求6所述的装置，其特征在于，结点特征包括但不限于：位置信息、解剖信息、病灶的表观信息和/或检测置信度信息。
10.根据权利要求6所述的装置，其特征在于，
所述提取模块通过如下方式提取结点特征，将所述结点特征按照预设方式连在一起得到结点特征表达：
所述提取模块，具体用于提取所述结点特征，将所述结点特征送入全连接层进行特征融合，得到融合后的结点特征；
所述建模模块通过如下方式所述采用图神经网络对所述结点间的关系进行建模，对结点特征利用图神经网络进行推理，得到关系建模后的结点特征：
所述建模模块，具体用于将结点特征送入图神经网络运算单元，结合相邻结点信息，更新自身结点特征状态；将更新后的结点特征，以及不同运算单元层的输出加到一起，得到最终的特征表达；
所述预测模块通过如下方式利用所述关系建模后的结点特征进行骨折分类：
所述预测模块，具体用于将所述最终的特征表达送入两结点的全连接层进行分类，得到属于骨折和/或非骨折的概率；或者将所述最终的特征表达送入多个全连接层后送入两(多)个节点的全联接层进行分类，得到属于骨折和/或非骨折的概率。
CN202010363259.8A 2020-04-30 2020-04-30 基于图神经网络的ct肋骨骨折病灶关系建模方法及装置 Active CN111681204B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010363259.8A CN111681204B (zh) 2020-04-30 2020-04-30 基于图神经网络的ct肋骨骨折病灶关系建模方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010363259.8A CN111681204B (zh) 2020-04-30 2020-04-30 基于图神经网络的ct肋骨骨折病灶关系建模方法及装置

Publications (2)

Publication Number Publication Date
CN111681204A true CN111681204A (zh) 2020-09-18
CN111681204B CN111681204B (zh) 2023-09-26

Family

ID=72452380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010363259.8A Active CN111681204B (zh) 2020-04-30 2020-04-30 基于图神经网络的ct肋骨骨折病灶关系建模方法及装置

Country Status (1)

Country Link
CN (1) CN111681204B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420628A (zh) * 2021-06-16 2021-09-21 深圳大学 一种群体行为识别方法、装置、计算机设备及存储介质
CN113539477A (zh) * 2021-06-24 2021-10-22 杭州深睿博联科技有限公司 一种基于解耦机制的病灶良恶性预测方法及装置
CN116309923A (zh) * 2023-05-24 2023-06-23 吉林大学 基于图神经网络的ct金属伪影消除方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190005384A1 (en) * 2017-06-29 2019-01-03 General Electric Company Topology aware graph neural nets
CN109948000A (zh) * 2019-01-09 2019-06-28 南方科技大学 异质网络的异常目标检测方法、装置、设备及存储介质
CN109979591A (zh) * 2019-03-12 2019-07-05 众安信息技术服务有限公司 一种基于图神经网络分析斑块进展因子的方法及装置
CN110348573A (zh) * 2019-07-16 2019-10-18 腾讯科技（深圳）有限公司 训练图神经网络的方法、图神经网络设备、装置、介质
CN110458223A (zh) * 2019-08-06 2019-11-15 湖南省华芯医疗器械有限公司 一种内镜下支气管肿瘤自动检测方法及检测系统
CN110458249A (zh) * 2019-10-10 2019-11-15 点内（上海）生物科技有限公司 一种基于深度学习与概率影像组学的病灶分类系统
CN110648331A (zh) * 2019-09-02 2020-01-03 众安信息技术服务有限公司 用于医学图像分割的检测方法、医学图像分割方法及装置
CN110826700A (zh) * 2019-11-13 2020-02-21 中国科学技术大学 建模邻居交互的双线性图神经网络模型的实现及分类方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190005384A1 (en) * 2017-06-29 2019-01-03 General Electric Company Topology aware graph neural nets
CN109948000A (zh) * 2019-01-09 2019-06-28 南方科技大学 异质网络的异常目标检测方法、装置、设备及存储介质
CN109979591A (zh) * 2019-03-12 2019-07-05 众安信息技术服务有限公司 一种基于图神经网络分析斑块进展因子的方法及装置
CN110348573A (zh) * 2019-07-16 2019-10-18 腾讯科技（深圳）有限公司 训练图神经网络的方法、图神经网络设备、装置、介质
CN110458223A (zh) * 2019-08-06 2019-11-15 湖南省华芯医疗器械有限公司 一种内镜下支气管肿瘤自动检测方法及检测系统
CN110648331A (zh) * 2019-09-02 2020-01-03 众安信息技术服务有限公司 用于医学图像分割的检测方法、医学图像分割方法及装置
CN110458249A (zh) * 2019-10-10 2019-11-15 点内（上海）生物科技有限公司 一种基于深度学习与概率影像组学的病灶分类系统
CN110826700A (zh) * 2019-11-13 2020-02-21 中国科学技术大学 建模邻居交互的双线性图神经网络模型的实现及分类方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420628A (zh) * 2021-06-16 2021-09-21 深圳大学 一种群体行为识别方法、装置、计算机设备及存储介质
CN113420628B (zh) * 2021-06-16 2022-09-09 深圳大学 一种群体行为识别方法、装置、计算机设备及存储介质
CN113539477A (zh) * 2021-06-24 2021-10-22 杭州深睿博联科技有限公司 一种基于解耦机制的病灶良恶性预测方法及装置
CN116309923A (zh) * 2023-05-24 2023-06-23 吉林大学 基于图神经网络的ct金属伪影消除方法及系统

Also Published As

Publication number Publication date
CN111681204B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
CN110807788B (zh) 医学图像处理方法、装置、电子设备及计算机存储介质
CN111916207B (zh) 一种基于多模态融合的疾病识别方法及装置
Ueda et al. Technical and clinical overview of deep learning in radiology
CN111681204B (zh) 基于图神经网络的ct肋骨骨折病灶关系建模方法及装置
JP2018200685A (ja) 完全教師あり学習用のデータセットの形成
CN111095426A (zh) 使用深度神经网络的计算机辅助诊断
EP3620988A1 (en) Method, device for optimizing simulation data, and computer-readable storage medium
US10706534B2 (en) Method and apparatus for classifying a data point in imaging data
JP7386370B1 (ja) 連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法及びシステム
CN111667459B (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
CN115018852B (zh) 一种基于半监督学习的腹部淋巴结检测方法及装置
CN112614133B (zh) 一种无锚点框的三维肺结节检测模型训练方法及装置
Meng et al. Regression of instance boundary by aggregated CNN and GCN
Shu et al. LVC-Net: Medical image segmentation with noisy label based on local visual cues
CN117710760B (zh) 残差的注意神经网络用于胸部x线病灶检测的方法
CN111127400A (zh) 一种乳腺病变检测方法和装置
CN116485791A (zh) 基于吸收度的双视图乳腺肿瘤病变区自动检测方法及系统
US20230103262A1 (en) Image processing method and device
US20220172370A1 (en) Method for detecting white matter lesions based on medical image
CN112446385B (zh) 一种场景语义分割方法、装置、电子设备
CN112017190A (zh) 一种用于血管分割补全的全局网络构建和训练方法及装置
CN115409952B (zh) 一种结核性脑膜脑炎重建系统、方法及存储器
US20230237647A1 (en) Ai driven longitudinal liver focal lesion analysis
CN113239978B (zh) 医学图像预处理模型与分析模型的相关方法和装置
US20240037920A1 (en) Continual-learning and transfer-learning based on-site adaptation of image classification and object localization modules

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant