CN113192043B - 基于多尺度拓扑图的医学关键点检测方法、装置及应用 - Google Patents

基于多尺度拓扑图的医学关键点检测方法、装置及应用 Download PDF

Info

Publication number
CN113192043B
CN113192043B CN202110520562.9A CN202110520562A CN113192043B CN 113192043 B CN113192043 B CN 113192043B CN 202110520562 A CN202110520562 A CN 202110520562A CN 113192043 B CN113192043 B CN 113192043B
Authority
CN
China
Prior art keywords
matrix
self
key point
scale
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110520562.9A
Other languages
English (en)
Other versions
CN113192043A (zh
Inventor
程国华
闫早明
季红丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Jianpei Technology Co ltd
Original Assignee
Hangzhou Jianpei Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Jianpei Technology Co ltd filed Critical Hangzhou Jianpei Technology Co ltd
Priority to CN202110520562.9A priority Critical patent/CN113192043B/zh
Publication of CN113192043A publication Critical patent/CN113192043A/zh
Application granted granted Critical
Publication of CN113192043B publication Critical patent/CN113192043B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于多尺度拓扑图的医学关键点检测方法、装置及应用，基于关键点的热力图提取关键点的自向量，基于自向量构建多尺度邻接矩阵，对多尺度邻接矩阵中的不同矩阵分配不同权重并进行训练，获取关键点矩阵，基于关键点矩阵获取确定关键点，使得拓扑点在关注自身位置时也考虑其他拓扑点的位置，不断调整拓扑图的结构，最终达到拓扑图可胜任关键点检测任务的效果，以期提高关键点检测的准确度。

Description

基于多尺度拓扑图的医学关键点检测方法、装置及应用
技术领域
本发明涉及图像关键点检测领域，特别涉及一种基于多尺度拓扑图的医学关键点检测方法、装置及应用。
背景技术
医学图像分析，是一种综合医学影像、数学建模、数学图像处理与分析、人工智能和数值算法等技术的交叉分析手段，其为多种疾病的临床诊疗提供了辅助参考依据，极大程度地促进了临床医学的进步。
医学关键点的准确定位一直是医学影像分析的重点和难点，关键点的定位准确与否直接影响医学影像分析的结果，比如在脊椎类影像的分析中就需要准确地获取椎体关键点的位置，在胸腔类影像的分析就需要准确地获取肋骨关键点、骨折关键点的位置。传统的人为主观判断医学影像关键点的方式存在耗时耗力、准确度低等诸多问题，已难以满足高精度医学影像分析的要求。近年来，基于深度卷积神经网络的人工智能图像分析模型已可通过热图回归的方式检测医学影像关键点，然而这种方式仍然存在诸多的弊端和缺陷：仅关注单个关键点的位置特征，缺少关键点和关键点之间的信息，无法表示全局解剖结构和约束关键点之间的关系结构，导致卷积神经网络无法为单个关键点提供高级结构信息。
参见南京理工大学申请的CN109359568A“一种基于图卷积网络的人体关键点检测方法”，其在检测人体关键点时也考虑了人体关键点之间的联系，但其是根据关键点和邻接关键点的位置关系，提取每个关键点的特征向量，将特征向量输入图卷积网络中进行关键点的优化，这种方式仅适用于已知关键点的特征向量关系的，关键点数量小的方式，且这种方式只考虑了关键点和邻接关键点之间的关系，没有考虑邻接的邻接关键点等这些更远的邻接关系用于辅助检测。
参见清华大学申请的CN112541893A“一种三维断层扫描图像中树状结构分叉关系点的检测方法”，虽然其在检测医学关键点时也考虑了关注关键点间的相对位置关系，而其解决问题的手段是使得全卷积深度学习网络同时完成分叉关键点检测、树状结构分割、分支向量场回归三项子任务，其需要在训练阶段能够人为地对这些信息进行标注，导致其仅能适用于解剖学树状结构中分叉关键点的检测，而无法适用于关键点关系复杂错乱的其他医学关键点的检测，该文件更多的关注在树状结构分叉的关键点检测。
可见，近年来各大高校以及研究机构都在致力于研究关键点的准确检测，虽然也有研究报道将关键点的相邻关系作为考虑因素引入到关键点的检测当中，但是存在检测的适用场景有限且关键点准确度欠缺的问题。
发明内容
本发明的目的在于提供一种基于多尺度拓扑图的医学关键点检测方法、装置及应用，旨在通过自矩阵构建不同跳数邻接矩阵，使得拓扑点在关注自身位置时也考虑其他拓扑点的位置，不断调整拓扑图的结构，最终达到拓扑图可胜任关键点检测任务的效果，以期提高关键点检测的准确度。
为实现以上目的，本技术方案提供一种基于多尺度拓扑图的医学关键点检测方法，包括：
基于卷积神经网络获取医学影像的关键点的热力图；
提取热力图中每个关键点的特征向量作为拓扑图的图节点，每个图节点对应单一关键点；
卷积操作图节点获取每个图节点的自向量，基于所有图节点的自向量构建多尺度邻接矩阵，其中多尺度邻接矩阵由不同矩阵叠加得到，其中不同矩阵至少包括自向量组成的自矩阵，和，与自矩阵相关的多级邻接矩阵；
对多尺度邻接矩阵中的不同矩阵分配不同权重并进行训练，获取关键点矩阵，基于关键点矩阵获取确定关键点。
第二方面，本方案提供一种基于多尺度拓扑图的医学关键点检测装置，包括：
关键点检测模块，用于基于卷积神经网络获取医学影像的关键点的热力图；
多尺度图卷积检测模块，包括多尺度邻接矩阵搭建模块和多尺度邻接矩阵融合模块，其中多尺度邻接矩阵搭建模块用于提取热力图中每个关键点的特征向量作为拓扑图的图节点，每个图节点对应单一关键点；卷积操作图节点获取每个图节点的自向量，基于所有图节点的自向量构建多尺度邻接矩阵，其中多尺度邻接矩阵由不同矩阵叠加得到，其中不同矩阵至少包括自向量组成的自矩阵，和，与自矩阵相关的多级邻接矩阵；其中多尺度邻接矩阵融合模块用于对多尺度邻接矩阵中的不同矩阵分配不同权重并进行训练，获取关键点矩阵；
关键点确定模型，用于基于关键点矩阵获取确定关键点。
第三方面，本方案提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以上所述提到的基于多尺度拓扑图的医学关键点检测方法。
一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上所述提到的基于多尺度拓扑图的医学关键点检测方法。
相较现有技术，本技术方案具有以下特点和有益效果：基于自矩阵产生自适应的多尺寸邻接矩阵，使得关键点不仅关注自身位置信息，另外收集邻接关键点的局部结构性信息和更远处关键点的额外结构信息，通过融合自身位置信息、局部结构性信息以及额外结构信息以获得更为准确的关键点定位信息；且本方案中的每种邻接矩阵内部的连接关系可通过损失函数反向传播自主学习，三类信息的融合权重也可通过反向传播自主学习，以期结合网络学习使得整个拓扑图也不断适应关键点检测任务，最终得到最优的拓扑图构造。
附图说明
图1是本方案提供的一种基于多尺度拓扑图的医学关键点检测方法的整体工作流程图。
图2是本方案提供的一种基于多尺度拓扑图的医学关键点检测装置的多尺度卷积检测网络的示意图。
图3是图节点收集不同融合信息的示意图。
图4到图8是基于多尺度拓扑图的医学关键点检测方法的应用实例。
图9是本方案提供的一种基于多尺度拓扑图的医学关键点检测方法的流程示意图。
图10是本方案的基于多尺度拓扑图的医学关键点检测装置的结构示意图。
图11是运行基于多尺度拓扑图的医学关键点检测方法的电子设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
本方案提供一种基于多尺度拓扑图的医学关键点检测方法、装置及应用，该基于多尺度拓扑图的医学关键点检测方法的应用场景是：基于卷积神经网络对医学影像进行精准的关键点检测，适用于医学影像中需要定位至少两关键点的场景，但该方案对关键点的选择类型不受限制，可以是：脊椎关键点、肋骨关键点等，对应的，医学影像可以是脊椎影像和胸腔影像。本方案将关键点作为拓扑图的图节点提供了基于拓扑结构的深度图学习方法，通过配置不同连接关系的权重以及不断训练多尺寸邻接矩阵，使得整个拓扑图不断适应关键点检测任务， 最终得到最优的拓扑图，进而获取准确的关键点定位。
根据本方案的第一方面，提供一种基于多尺度拓扑图的医学关键点检测方法，包括以下步骤：
基于卷积神经网络获取医学影像的关键点的热力图；
提取热力图中每个关键点的特征向量作为拓扑图的图节点，每个图节点对应单一关键点；
卷积操作图节点获取每个图节点的自向量，基于所有图节点的自向量构建多尺度邻接矩阵，其中多尺度邻接矩阵由不同矩阵叠加得到，其中不同矩阵至少包括自向量组成的自矩阵，和，与自矩阵相关的多级邻接矩阵；
对多尺度邻接矩阵中的不同矩阵分配不同权重并进行训练，获取关键点矩阵，基于关键点矩阵获取确定关键点。
本方案所得到的多尺寸邻接矩阵是自适应的，可以使得每个关键点不仅只关注自身位置信息，而且关注邻接关键点的局部结构信息和更远处关键点的额外结构信息，其中多尺度邻接矩阵的融合和选择可实现图节点对自身位置信息、局部结构信息以及额外结构信息融合的效果，以更充分地利用每个信息，使得关键点的定位更加准确。
对应的，如图1所示，本方案提供的基于多尺度拓扑图的医学关键点检测装置包括关键点检测模块（对应图中的U-net），以及，多尺度图卷积检测模块(对应图中的MVGN)，其中关键点检测模块基于卷积神经网络获取医学影像的关键点的热力图，多尺度图卷积检测模块对热力图进行两个操作：1.由热力图产生自矩阵以及多级邻接矩阵；2.由一个图节点对收到的不同类型信息进行分配权重，并通过自适应学习获取最优的拓扑图，以从最优的拓扑图中获取关键点。医学关键点检测装置利用上述医学关键点检测方法对关键点进行检测，以下将重点展开说明医学检测方法的具体内容：
在 “基于卷积神经网络获取医学影像的关键点的热力图”步骤中，本方案中对热力图的获取方式并不做限制，故不对其进行展开说明。本方案的一实施例中采用U-net模型对医学影像进行预测，获取关键点的热力图。值得一提的是，医学影像包括至少两关键点。
在“提取热力图中每个关键点的特征向量作为拓扑图的图节点，每个图节点对应单一关键点”中，对热力图中每个关键点进行特征提取以获取每个关键点的特征向量，其中特征向量是关键点的特征组成的向量，含有该关键点的特征属性，而这些特征向量作为拓扑图的图节点。
示例性，比如某个关键点的特征属性为x,y，则（x,y）就是对应该关键点的特征向量。
在“卷积操作图节点获取每个图节点的自向量”中，将每个图节点进行卷积操作获取每个图节点的自向量，也就是说，对上述步骤提到的特征向量进行卷积操作以得到自向量。其中自向量是对特征向量在高维空间中的编码，以便于后期产生邻接矩阵的N*N的形式。
在“基于所有图节点的自向量构建多尺度邻接矩阵”中，包括：基于不同卷积核组得到的自向量构建不同的自矩阵，自矩阵相乘或者自矩阵和多跳邻接矩阵得到多级邻接矩阵，不同矩阵叠加得到多尺度邻接矩阵。
值得一提的是，多跳邻接矩阵为与自矩阵相关的不同级别数的邻接矩阵，根据级别数的不同可包括一跳邻接矩阵、二跳邻接矩阵、三跳邻接矩阵等。
另外，需要说明的是，不同矩阵中多跳邻接矩阵的级别数依次增加，且当级邻接矩阵为未参与邻接矩阵计算的自矩阵和低级邻接矩阵相乘得到，低级邻接矩阵的级别数低于当级邻接矩阵一级。
也就是说，若不同矩阵中包括二跳邻接矩阵，则必然包括一跳邻接矩阵。其中两自矩阵相乘得到一跳邻接矩阵，一跳邻接矩阵和另一自矩阵相乘获取二跳邻接矩阵，二跳邻接矩阵和另一自矩阵相乘得到三跳邻接矩阵，以此类推。
其中基于同一卷积核组得到的所有图节点的自向量按照关键点序号顺序排列得到自矩阵，不同卷积核组得到自向量也按照关键点序号顺序排列得到对应的自矩阵。在本方案的实施例中，不同矩阵包括一跳邻接矩阵、二跳邻接矩阵和三跳邻接矩阵（以下实施例说明也以该情况为实例进行说明）。此时，至少需要产生三个对应不同卷积核组的自矩阵。值得一提的是，自矩阵的数量和多跳邻接矩阵的级数相同。
值得说明的是，自矩阵表示图节点的自身位置信息，通过自矩阵的设置可让图节点更多地关注自身位置是否准确。从三个自矩阵中随机选两个自矩阵进行相乘以获取一跳邻接矩阵，其中一跳邻接矩阵收集图节点的近距离信息，作为图节点的局部结构性信息。也就是说，一跳邻接矩阵能够使得当前关键点能够收集到邻近关键点的信息，从而获得一个局部结构性信息，用于辅助当前关键点的定位；再将一跳邻接矩阵和另一个未参与一跳邻接矩阵计算的自矩阵相乘，以获取二跳邻接矩阵，其中二跳邻接矩阵收集图节点的远距离信息，作为图节点的额外结构性信息；二跳邻接矩阵可使得当前关键点能够收集到更远距离关键点的信息，并且能够一定程度上弥补一跳邻接矩阵中没有挖掘到的关键点连接关系，获得一个更大范围上的结构信息，用于辅助当前关键点定位。
在“对多尺度邻接矩阵中的不同矩阵分配不同权重并进行训练”中，随机分配不同矩阵的权重，权重在训练过程中通过反向传播自适应学习，直到关键点和标签的损失函数值达到预设值时，得到关键点矩阵。在这个过程中每个图节点融合不同矩阵对应的信息内容，对图节点的位置进行了调整。在本方案中预设值为1。
本方案的模型结构前半部分为U-net ，后半部分为MVGN模块，训练方式：U-net使用交叉熵损失函数进行计算，MVGN 使用L1损失函数，通过50epochs 学习率为0.001。
在“获取关键点矩阵，基于关键点矩阵获取确定关键点”中，其中关键点矩阵是N*2矩阵，关键点矩阵中每一行中的两个数表示这个关键点的坐标，其中N表示关键点的数量，通过关键点的坐标获取关键点。
值得说明的是，关键点矩阵是由多尺度邻接矩阵产生的，优化拓扑图主要依靠的多尺度邻接矩阵和自矩阵的参数调整。
图2说明了多尺度图卷积检测模块如何构建多尺度邻接矩阵的示意图，图2中深色方框对应自矩阵、一跳邻接矩阵以及二跳邻接矩阵的搭建过程，具体的公式如下：
Figure DEST_PATH_IMAGE002
其中
Figure DEST_PATH_IMAGE004
表示N*N尺度的自矩阵，表示由N个
Figure DEST_PATH_IMAGE006
自向量
Figure DEST_PATH_IMAGE008
组成，N为图节点（所有待检测的关键点）的个数；
Figure DEST_PATH_IMAGE010
，
Figure DEST_PATH_IMAGE011
是从卷积神经网络中提取出来的特征向量对应的特征行向量，每个关键点有D个特征属性（在本方案中采用坐标x,y作为特征向量，故D==2），V通过非线性变换（本方案采用1*1卷积操作对V扩展维度，卷积组权重由
Figure DEST_PATH_IMAGE013
来表示，将
Figure DEST_PATH_IMAGE015
变换为
Figure 481823DEST_PATH_IMAGE006
，经过激活函数δ1()后产生了自矩阵
Figure DEST_PATH_IMAGE017
。通过不同的卷积组权重
Figure DEST_PATH_IMAGE019
分别产生了I 1 I 2 I 3三个自矩阵。
一跳邻接矩阵的搭建方法，具体公式如下：
Figure DEST_PATH_IMAGE021
A 12,A 13表示一跳邻接矩阵，A 12是由I 1 I 2相乘得到，A 13是由I 1 I 3相乘得到,Ci()函数是一个用于控制邻接矩阵中的元素在0到1之间的函数。由于K阶邻接矩阵只表示邻居这个点是否存在，因此没有必要使得矩阵中元素超过1。
二跳邻接矩阵的搭建方法，具体公式如下：
Figure DEST_PATH_IMAGE023
A 2表示二跳邻接矩阵，A 2是由A 12和A 13相乘得到，Ci()函数是一个用于控制邻接矩阵中的元素在0到1之间的函数。由于K阶邻接矩阵只表示邻居这个点是否存在，因此没有必要使得矩阵中元素超过1。
在获取了自向量的自矩阵、一跳邻接矩阵和二跳邻接矩阵之后，需要将其融合并分配不同的权重使其可自适应学习，以用于关键点的检测。值得一提的是，自矩阵，一跳邻接矩阵等邻接方式，每种邻接矩阵内部的连接方式通过损失函数反向传播来自主学习，且每个节点在自学习过程中能够同时收集到不同种类的信息（自身位置信息、局部结构信息以及额外结构信息），并且对每种信息分配了权重，权重也是可以反向传播来学习得到的，最后在不断地调整后获得最优的拓扑图，从中获取关键点。
图2的浅色方框展示了多尺度拓扑图融合的技术方案，如下公式：
Figure DEST_PATH_IMAGE025
||操作表示叠加的操作，I 1 A 12 A 2分别是自矩阵，一跳邻接矩阵和二跳邻接矩阵，将不同类型的邻接矩阵叠加起来，得到了多尺度邻接矩阵
Figure DEST_PATH_IMAGE027
。
而了达到融合信息的目的，对不同类型的连接关系进行分配不同的权重，如公式所示：
Figure DEST_PATH_IMAGE029
其中W tr 是一个可反向传播学习的参数(由三组尺寸为N*2的卷积核构成)，通过该参数对叠加后的邻接矩阵进行融合和选择；F()是一个函数映射，这里采用卷积操作进行特征通道改变，表示里面有一个可训练的参数W tr ，使得在关键点之间的信息交流更加的流畅，最终产生了关键点矩阵
Figure DEST_PATH_IMAGE031
，该关键点矩阵对应自适应调整后的最优拓扑图，其中图节点的拓扑邻接方式如图3所示，从中即可获取精准的确定关键点。
第二方面，本方案提供一种基于多尺度拓扑图的医学关键点检测方法的应用实例说明。以该基于多尺度拓扑图的医学关键点检测方法应用于检测头骨为例，图4是原始医学影像，图5是经过关键点检测模块得到的关键点和标签，其中浅色原点为初步获取的关键点，可以看到其和实际标签点是有位置偏差的；图6是图5经过处理后的热力图，其提取图5中获取的关键点并形成热力图；图7是经过多尺度卷积检测模型处理后的拓扑图，其中白线表示一阶邻接矩阵连接关系，黑线表示构建的二阶邻接矩阵新挖掘的连接关系，从而对关键点的位置进行调整，图8是被调整后的关键点的位置，其中浅色点为获取的关键点，可直观地看到关键点的位置更为精准。
第三方面，本方案提供一种基于多尺度拓扑图的医学关键点检测装置，包括：
关键点检测模块，用于基于卷积神经网络获取医学影像的关键点的热力图；
多尺度图卷积检测模块，包括多尺度邻接矩阵搭建模块和多尺度邻接矩阵融合模块，其中多尺度邻接矩阵搭建模块用于提取热力图中每个关键点的特征向量作为拓扑图的图节点，每个图节点对应单一关键点；卷积操作图节点获取每个图节点的自向量，基于所有图节点的自向量构建多尺度邻接矩阵，其中多尺度邻接矩阵由不同矩阵叠加得到，其中不同矩阵至少包括自向量组成的自矩阵，和，与自矩阵相关的多级邻接矩阵；其中多尺度邻接矩阵融合模块用于对多尺度邻接矩阵中的不同矩阵分配不同权重并进行训练，获取关键点矩阵；
关键点确定模型，用于基于关键点矩阵获取确定关键点。
具体的，该基于多尺度拓扑图的医学关键点检测装置的具体运行方式参见基于多尺度拓扑图的医学关键点检测方法的介绍，在此不进行累赘说明。
本实施例还提供了一种电子装置，包括存储器304和处理器302，该存储器304中存储有计算机程序，该处理器302被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
具体地，上述处理器302可以包括中央处理器（CPU），或者特定集成电路（ApplicationSpecificIntegratedCircuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中，存储器304可以包括用于数据或指令的大容量存储器304。举例来说而非限制，存储器304可包括硬盘驱动器（HardDiskDrive，简称为HDD）、软盘驱动器、固态驱动器（SolidStateDrive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（UniversalSerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器304可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器304可在数据处理装置的内部或外部。在特定实施例中，存储器304是非易失性（Non-Volatile）存储器。在特定实施例中，存储器304包括只读存储器（Read-OnlyMemory，简称为ROM）和随机存取存储器（RandomAccessMemory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（ProgrammableRead-OnlyMemory，简称为PROM）、可擦除PROM（ErasableProgrammableRead-OnlyMemory，简称为EPROM）、电可擦除PROM（ElectricallyErasableProgrammableRead-OnlyMemory，简称为EEPROM）、电可改写ROM（ElectricallyAlterableRead-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（StaticRandom-AccessMemory，简称为SRAM）或动态随机存取存储器（DynamicRandomAccessMemory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器304（FastPageModeDynamicRandomAccessMemory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（ExtendedDateOutDynamicRandomAccessMemory，简称为EDODRAM）、同步动态随机存取内存（SynchronousDynamicRandom-AccessMemory，简称SDRAM）等。
存储器304可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器302所执行的可能的计算机程序指令。
处理器302通过读取并执行存储器304中存储的计算机程序指令，以实现上述实施例中的基于多尺度拓扑图的医学关键点检测方法的步骤。
可选地，上述电子装置还可以包括传输设备306以及输入输出设备308，其中，该传输设备306和上述处理器302连接，该输入输出设备308和上述处理器302连接。
传输设备306可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备306可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
输入输出设备308用于输入或输出信息。例如，上述输入输出设备可以是显示屏、鼠标、键盘或其他设备。在本实施例中，输入设备用于输入采集得到的信息，输入的信息可以是各类包含关键点的医学影像，输出的信息可以是通过处理后的精准的关键点。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (6)

1.一种基于多尺度拓扑图的医学关键点检测方法，其特征在于，包括：
基于卷积神经网络获取医学影像的关键点的热力图；
提取热力图中每个关键点的特征向量作为拓扑图的图节点，每个图节点对应单一关键点；
将每个图节点进行卷积操作获取每个图节点的自向量，其中自向量是对特征向量在高维空间中的编码，基于同一卷积核组得到的所有图节点的自向量按照关键点序号顺序排列得到自矩阵，不同卷积核组得到自向量也按照关键点序号顺序排列得到对应的自矩阵，自矩阵相乘或自矩阵和多跳邻接矩阵相乘得到多级邻接矩阵，其中多跳邻接矩阵为与自矩阵相关的不同级别数的邻接矩阵，不同矩阵叠加得到多尺度邻接矩阵，其中不同矩阵中多跳邻接矩阵的级别数依次增加，且当级邻接矩阵为未参与邻接矩阵计算的自矩阵和低级邻接矩阵相乘得到，低级邻接矩阵的级别数低于当级邻接矩阵一级，自矩阵的数量和多跳邻接矩阵的级数相同；
对多尺度邻接矩阵中的不同矩阵分配不同权重并进行训练，获取关键点矩阵，基于关键点矩阵获取确定关键点。
2.根据权利要求1所述的基于多尺度拓扑图的医学关键点检测方法，其特征在于，随机分配不同矩阵的权重，权重在训练过程中通过反向传播自适应学习，直到关键点和标签的损失函数值达到预设值时，得到关键点矩阵。
3.根据权利要求1所述的基于多尺度拓扑图的医学关键点检测方法，其特征在于，关键点矩阵是N*2矩阵，关键点矩阵中每一行中的两个数表示这个关键点的坐标。
4.一种基于多尺度基于多尺度拓扑图的医学关键点检测装置，其特征在于，包括：
关键点检测模块，用于基于卷积神经网络获取医学影像的关键点的热力图；
多尺度图卷积检测模块，包括多尺度邻接矩阵搭建模块和多尺度邻接矩阵融合模块，其中多尺度邻接矩阵搭建模块用于提取热力图中每个关键点的特征向量作为拓扑图的图节点，每个图节点对应单一关键点；将每个图节点进行卷积操作获取每个图节点的自向量，其中自向量是对特征向量在高维空间中的编码，基于同一卷积核组得到的所有图节点的自向量按照关键点序号顺序排列得到自矩阵，不同卷积核组得到自向量也按照关键点序号顺序排列得到对应的自矩阵，自矩阵相乘或自矩阵和多跳邻接矩阵相乘得到多级邻接矩阵，其中多跳邻接矩阵为与自矩阵相关的不同级别数的邻接矩阵，不同矩阵叠加得到多尺度邻接矩阵，其中不同矩阵中多跳邻接矩阵的级别数依次增加，且当级邻接矩阵为未参与邻接矩阵计算的自矩阵和低级邻接矩阵相乘得到，低级邻接矩阵的级别数低于当级邻接矩阵一级，自矩阵的数量和多跳邻接矩阵的级数相同；其中多尺度邻接矩阵融合模块用于对多尺度邻接矩阵中的不同矩阵分配不同权重并进行训练，获取关键点矩阵；关键点确定模型，用于基于关键点矩阵获取确定关键点。
5.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以上权利要求1到3任一所述基于多尺度拓扑图的医学关键点检测方法。
6.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上权利要求1到3任一所述基于多尺度拓扑图的医学关键点检测方法。
CN202110520562.9A 2021-05-13 2021-05-13 基于多尺度拓扑图的医学关键点检测方法、装置及应用 Active CN113192043B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110520562.9A CN113192043B (zh) 2021-05-13 2021-05-13 基于多尺度拓扑图的医学关键点检测方法、装置及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110520562.9A CN113192043B (zh) 2021-05-13 2021-05-13 基于多尺度拓扑图的医学关键点检测方法、装置及应用

Publications (2)

Publication Number Publication Date
CN113192043A CN113192043A (zh) 2021-07-30
CN113192043B true CN113192043B (zh) 2022-07-01

Family

ID=76981390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110520562.9A Active CN113192043B (zh) 2021-05-13 2021-05-13 基于多尺度拓扑图的医学关键点检测方法、装置及应用

Country Status (1)

Country Link
CN (1) CN113192043B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022480B (zh) * 2022-01-06 2022-04-22 杭州健培科技有限公司 基于统计与形状拓扑图的医学图像关键点检测方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280455A (zh) * 2018-01-19 2018-07-13 北京市商汤科技开发有限公司 人体关键点检测方法和装置、电子设备、程序和介质
CN109670397A (zh) * 2018-11-07 2019-04-23 北京达佳互联信息技术有限公司 人体骨骼关键点的检测方法、装置、电子设备及存储介质
CN110298291A (zh) * 2019-06-25 2019-10-01 吉林大学 基于Mask-RCNN的牛脸及牛脸关键点检测方法
CN111401335A (zh) * 2020-04-29 2020-07-10 Oppo广东移动通信有限公司 一种关键点检测方法及装置、存储介质
CN112270669A (zh) * 2020-11-09 2021-01-26 北京百度网讯科技有限公司 人体3d关键点检测方法、模型训练方法及相关装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11379688B2 (en) * 2017-03-16 2022-07-05 Packsize Llc Systems and methods for keypoint detection with convolutional neural networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280455A (zh) * 2018-01-19 2018-07-13 北京市商汤科技开发有限公司 人体关键点检测方法和装置、电子设备、程序和介质
CN109670397A (zh) * 2018-11-07 2019-04-23 北京达佳互联信息技术有限公司 人体骨骼关键点的检测方法、装置、电子设备及存储介质
CN110298291A (zh) * 2019-06-25 2019-10-01 吉林大学 基于Mask-RCNN的牛脸及牛脸关键点检测方法
CN111401335A (zh) * 2020-04-29 2020-07-10 Oppo广东移动通信有限公司 一种关键点检测方法及装置、存储介质
CN112270669A (zh) * 2020-11-09 2021-01-26 北京百度网讯科技有限公司 人体3d关键点检测方法、模型训练方法及相关装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
人体姿态估计与识别技术的研究;梁锦明;《中国优秀硕士学位论文全文数据库信息科技辑》;20210115;第29-38页 *
基于深度学习的人脸关键点检测方法研究;石胡森;《中国优秀硕士学位论文全文数据库信息科技辑》;20210115;第19-29页 *

Also Published As

Publication number Publication date
CN113192043A (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
Huang et al. Consistent shape maps via semidefinite programming
CN107784372B (zh) 目标对象属性的预测方法、装置和系统
CN110705448A (zh) 一种人体检测方法及装置
Castelli et al. Urban intelligence: a modular, fully integrated, and evolving model for cities digital twinning
EP3876110A1 (en) Method, device and apparatus for recognizing, categorizing and searching for garment, and storage medium
CN113780002A (zh) 基于图表示学习和深度强化学习的知识推理方法及装置
CN113192043B (zh) 基于多尺度拓扑图的医学关键点检测方法、装置及应用
Guruprasad et al. Performance of a class of multi-robot deploy and search strategies based on centroidal voronoi configurations
CN109635714A (zh) 文档扫描图像的矫正方法及装置
Marcus et al. An eye on visual sensor networks
CN115797781A (zh) 农作物识别方法、装置、计算机设备和存储介质
CN113780584B (zh) 标签预测方法、设备、存储介质
CN104657901A (zh) 一种基于随机游走的标签传播社区发现方法
Zhao et al. Road extraction from remote sensing image based on marked point process with a structure mark library
CN113688542A (zh) 智能优化水资源配置方法、装置、计算机设备及存储介质
CN106407932A (zh) 基于分数阶微积分与广义逆神经网络的手写数字识别方法
CN115759199B (zh) 基于层次化图神经网络的多机器人环境探索方法及系统
CN114900435B (zh) 一种连接关系预测方法及相关设备
CN109859063A (zh) 一种社区发现方法、装置、存储介质及终端设备
CN110793208A (zh) 热水器的配置参数确定方法及装置
CN104346520B (zh) 一种基于神经元网络的数据降维系统及其降维方法
CN115238134A (zh) 用于生成图数据结构的图向量表示的方法及装置
Zhang et al. Adaptive output consensus tracking of uncertain multi-agent systems
Luo et al. A Nonstationary Soft Partitioned Gaussian Process Model via Random Spanning Trees
Sharma et al. Analyzing facebook data set using self-organizing map

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant