CN114022480A - 基于统计与形状拓扑图的医学图像关键点检测方法和装置 - Google Patents
基于统计与形状拓扑图的医学图像关键点检测方法和装置 Download PDFInfo
- Publication number
- CN114022480A CN114022480A CN202210008092.2A CN202210008092A CN114022480A CN 114022480 A CN114022480 A CN 114022480A CN 202210008092 A CN202210008092 A CN 202210008092A CN 114022480 A CN114022480 A CN 114022480A
- Authority
- CN
- China
- Prior art keywords
- key point
- matrix
- gaussian distribution
- target part
- medical image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Optimization (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Molecular Biology (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请提出了一种基于统计与形状拓扑图的医学图像关键点检测方法,包括:获取目标部位的每一关键点的第一坐标信息;根据目标部位所有关键点的第一坐标信息构建第一全连接邻接矩阵;将第一全连接邻接矩阵进行多次图卷积编码得到第一关系矩阵和第一方差;根据第一方差和第一关系矩阵生成第一高斯分布,对第一高斯分布进行重采样得到第二高斯分布,根据第二高斯分布获得第二关系矩阵;对第二关系矩阵进行多次图卷积解码得到第二全连接邻接矩阵,根据第二全连接邻接矩阵得到目标部位中每一关键点的第二坐标信息。该方法使用多层图卷积让目标部位关键点之间的关系矩阵学习到目标部位的形状,提高关键点检测的准确度。
Description
技术领域
本申请涉及图像关键点检测技术领域,特别是涉及一种基于统计与形状拓扑图的医学图像关键点检测方法和装置。
背景技术
随着神经网络的发展,采用深度卷积神将网络通过对热力图进行回归来检测关键点的技术已经取得了阶段性成功,但该技术应用于检测医学图像中的关键点时仍然存在不可忽视的缺陷。特别是针对医学图像而言,往往待检测的医学部位的关键点比较密集且细小,比如像是脊椎椎体的检测,一个椎体上就有很多关键点,而脊椎上的多个椎体就对应多个密集分布的关键点。另外由于人体内部器官与病灶或其他器官的遮挡,使得深度卷积神经网络无法直接捕获视觉信息,导致关键点识别失败或者识别误差较大,而这对于医学影像的关键点的精准识别而言影响是致命的。
具体来说,医务人员借助医学影像技术确定待检测的医学部位的关键点,进而对医学部分的病变情况进而诊疗,一旦由于关键点的偏差导致诊疗失误的话,后果将不堪设想,故医学影像的关键点的精准识别非常重要。CN113192043A提供了一种基于多尺度拓扑图的医学关键点检测方法,该方案基于多尺度拓扑图对医学影像的检测点进行位置调整,然而CN113192043A主要使用不共享参数的图卷积的方式,这种方式的图卷积计算量比较大,计算速度也较慢。
CN113450328A提供了一种基于改进神经网络的医学图像关键点检测方法及系统,该方案提供了一种改进的关键点检测模型来提高医学影像检测效率和质量,使用这种方式来优化和改进关键点检测模型,当视觉特征难以捕捉的话,那么神经网络没有了判断关键点坐标的依据。
发明内容
本申请实施例提供了一种基于统计与形状拓扑图的医学图像关键点检测方法和装置。该方法通过统计目标部位的关键点的位置信息,不断调整目标部位关键点之间的关系矩阵,使得关系矩阵学习到目标部位的形状,实现提高关键点检测的准确度。
第一方面,本申请实施例提供了一种基于统计与形状拓扑图的医学图像关键点检测方法,包括以下步骤:
步骤S1:获取目标部位的每一关键点的第一坐标信息;
步骤S2:根据所述目标部位所有所述关键点的所述第一坐标信息构建第一全连接邻接矩阵;
步骤S3:将所述第一全连接邻接矩阵进行多次图卷积编码得到第一关系矩阵和第一方差;
步骤S4:根据所述第一方差和所述第一关系矩阵生成第一高斯分布,对所述第一高斯分布进行重采样得到第二高斯分布,根据所述第二高斯分布获得第二关系矩阵;
步骤S5:对所述第二关系矩阵进行多次图卷积解码得到第二全连接邻接矩阵,根据所述第二全连接邻接矩阵得到所述目标部位中每一所述关键点的第二坐标信息。
第二方面,本申请实施例提供了一种基于统计与形状拓扑图的医学图像关键点检测装置,用于实现第一方面中所述的基于统计与形状拓扑图的医学图像关键点检测方法,该装置包括以下模块:
获取模块,用于获取目标部位的每一关键点的第一坐标信息;
预处理模块,用于根据所述目标部位所有所述关键点的所述第一坐标信息构建第一全连接邻接矩阵;
编码模块,用于将所述第一全连接邻接矩阵进行多次图卷积编码得到第一关系矩阵和第一方差;
优化模块,用于根据所述第一方差和所述第一关系矩阵生成第一高斯分布,对所述第一高斯分布进行重采样得到第二高斯分布,根据所述第二高斯分布获得第二关系矩阵;
解码模块,用于对所述第二关系矩阵进行多次图卷积解码得到第二全连接邻接矩阵,根据所述第二全连接邻接矩阵得到所述目标部位中每一所述关键点的第二坐标信息。
第三方面,本申请实施例提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以如上任意申请实施例所述的基于统计与形状拓扑图的医学图像关键点检测方法。
第四方面,本申请实施例提供了一种计算机程序产品,所述计算机程序产品包括软件代码部分,当所述计算机程序产品在计算机上被运行时,所述软件代码部分用于执行如上任一申请实施例所述的基于统计与形状拓扑图的医学图像关键点检测方法。
第五方面,本申请实施例提供了一种可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序包括用于控制过程以执行过程的程序代码,所述过程包括根据如上任意申请实施例所述的基于统计与形状拓扑图的医学图像关键点检测方法。
本申请实施例的主要贡献和创新点如下:
本申请实施例通过将医学图像中目标部位的关键点形成的拓扑图构建对应的全连接邻接矩阵,对全连接邻接矩阵进行图卷积编码使其可以学习到目标部位的形状,并通过图卷积解码得到调整后的目标部位关键点之间的关系矩阵,以使预测出关键点的坐标信息更加准确。
值得一提的是,本申请实施例采用的是共享参数的变分图卷积,相比起已有的检测方法,本申请实施例计算量小,进而可以更快的调整关键点的位置,并且本申请实施例使用隐形学习的方式,可以学习到目标部位关键点之间的关系,从而使得关键点可以刻画出更接近该目标部位的形状,可以针对视觉信息不足的地方进行有力的补充。
本申请的一个或多个实施例的细节在以下附图和描述中提出,以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的基于统计与形状拓扑图的医学图像关键点检测方法的流程图;
图2是本申请实施例的目标部位每一关键点的第一位置信息示意图;
图3是本申请实施例的根据目标部位的关键点形成的关键点拓扑图;
图4是本申请实施例的根据目标部位的关键点形成的第一全连接邻接矩阵;
图5是本申请实施例的形状图卷积变分自编码器的结构示意图;
图6是本申请实施例的目标部位每一关键点的第二位置信息示意图;
图7是根据本申请实施例的基于统计与形状拓扑图的医学图像关键点检测装置的结构框图;
图8是根据本申请实施例的电子装置的硬件结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是:在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其他实施例中可能被分解为多个步骤进行描述;而本说明书中所描述的多个步骤,在其他实施例中也可能被合并为单个步骤进行描述。
实施例一
如图1所示,本实施例提供了一种基于统计与形状拓扑图的医学图像关键点检测方法,所述方法包括步骤S1-S4:
步骤S1:获取目标部位的每一关键点的第一坐标信息;
步骤S2:根据所述目标部位所有所述关键点的所述第一坐标信息构建第一全连接邻接矩阵;
步骤S3:将所述第一全连接邻接矩阵进行多次图卷积编码得到第一关系矩阵和第一方差;
步骤S4:根据所述第一方差和所述第一关系矩阵生成第一高斯分布,对所述第一高斯分布进行重采样得到第二高斯分布,根据所述第二高斯分布获得第二关系矩阵;
步骤S5:对所述第二关系矩阵进行多次图卷积解码得到第二全连接邻接矩阵,根据所述第二全连接邻接矩阵得到所述目标部位中每一所述关键点的第二坐标信息。
其中,每一个目标部位包括多个关键点,且关键点的个数取决于该目标部位的特征和形状。也就是说,不同的目标部位具有不同数量的关键点,目标部位的关键点对应该目标部位的特征点。示例性的,若目标部位为椎体,则对应椎体通常包括7个关键点,包括:椎体中左上角的点HL、左中部的点ML、左下角的点LL、中心点SP、右上角的点HR、右中部的点MR、右下角的点LR等。
在步骤S1中,获取目标部位的每一关键点的第一坐标信息的方法是:先获取显示目标部位的待检测图像,其中的目标部位通常具有多个关键点;根据待检测图像获取对应目标部位每一关键点的热力图,其中对每一关键点都生成了相应的热力图,根据热力图可以得到对应关键点的第一坐标信息。其中,生成热力图的方法不限,在本实施例中是基于该目标部位的图像样本训练过的卷积神经网络得到的热力图。
具体的,若目标部位为椎体的话,可以先借助医疗设备采集目标部位的医学影像作为待检测图像,将待检测图像输入对应目标部位每一关键点训练的卷积神经网络中,得到对应每一关键点的热力图,根据热力图获取对应关键点的第一坐标信息。在医学影像上标注出通过卷积神经网络得到的所有关键点,可以得到如图2所示的效果图。
在步骤S2中,根据目标部位所有关键点的第一坐标信息构建第一全连接邻接矩阵的方法是:根据目标部位每一关键点的第一坐标信息生成关键点拓扑图,根据关键点拓扑图构建第一全连接邻接矩阵。
由于本实施例检测的是有多个关键点的目标部位,关键点之间的位置关系会影响目标部位的形状特征,因此本实施例中使用根据目标部位所有关键点的第一坐标信息构建第一全连接邻接矩阵,以建立目标部位的关键点之间的联系。
具体的,将该目标部位的每一关键点都作为一个图节点,每一关键点的第一坐标信息作为对应图节点的节点信息,形成如图3所示的关键点拓扑图,然后根据该关键点拓扑图构建对应该目标部位的第一全连接邻接矩阵如图4所示。
在步骤S3至步骤S5中,本实施例通过形状图卷积变分自编码器完成根据第一全连接邻接矩阵产生关系矩阵以及对关系矩阵进行调整。
如图5所示,所述形状图卷积变分自编码器根据功能区别可分为:编码模块、优化模块以及解码模块,将第一全连接邻接矩阵输入该形状图卷积变分自编码器的编码模块,编码模块用于基于第一全连接邻接矩阵生成对应的第一关系矩阵和第一方差,优化模块用于根据第一方差和第一关系矩阵生成第一高斯分布,并根据对第一高斯分布进行重采样的结果获得第二关系矩阵,解码模块用于对第二关系矩阵进行解码以获取优化后的关键点的位置信息。
编码模块的技术内容如下:
对第一全连接邻接矩阵进行多次图卷积编码,通过这种隐性学习的方式得到目标部位关键点之间的关系矩阵。具体的,将第一全连接邻接矩阵作为编码模块最开始的输入,所述编码模块包括多级依次序相连的图卷积层,每经过一层图卷积得到的输出继续作为下一层图卷积的输入,在经过多层图卷积后输出的关系矩阵作为第一关系矩阵,并根据第一关系矩阵计算出第一方差,该第一关系矩阵描述的是对应目标部位的所有关键点之间的关系。
优化模块的技术内容如下:
关系矩阵是自适应的,由每个目标部位中的关键点之间产生,根据关键点之间的位置坐标信息来进行调整,这样通过层层图卷积的参数的调整和学习,会隐形学习该目标部位关键点之间的关系,从而使得关键点可以刻画出更接近该目标部位的形状,可以针对视觉信息不足的地方进行有力的补充。
具体的,根据第一关系矩阵和第一方差生成第一高斯分布,对第一高斯分布进行重采样和监督学习得到第二高斯分布,根据第二高斯分布可以得到第二关系矩阵,该第二关系矩阵描述的是对应目标部位所有关键点之间调整后的关系。
解码模块的技术内容如下:
对第二关系矩阵进行多次图卷积解码,得到包含目标部位所有关键点调整后的坐标信息的全连接邻接矩阵。具体的,与多次图卷积编码同理,将第二关系矩阵作为解码模块最开始的输入,所述解码模块包括多级依次序相连的图卷积层,每经过一层图卷积得到的输出继续作为下一层图卷积的输入,在经过多层图卷积后输出的全连接邻接矩阵作为第二全连接邻接矩阵,该第二全连接邻接矩阵中预测了对应目标部位的所有关键点的坐标信息,也就是第二坐标信息。
具体的,在本实施例中,将该目标部位所有关键点的第一坐标信息记作X,该目标部位对应的第一全连接邻接矩阵记作A,将第一全连接邻接矩阵和目标部位所有关键点的第一坐标信息输入形状图卷积变分自编码器进行如下的处理:
本实施例中的编码模块包括两层图卷积,将第一全连接邻接矩阵输入该编码模块,经过两次图卷积后得到描述目标部位关键点之间关系的关系矩阵作为第一关系矩阵。其中,图卷积编码的公式为:Zl+1=f(Zl,A|Wl),Zl是第l层图卷积编码的输出以及第l+1层图卷积编码的输入,Wl是该第l层图卷积编码的图卷积参数。
在编码模块中,将该目标部位所有关键点的第一坐标信息X记作Z0=X∈RN×M,其中N是节点数,节点数对应关键点的数量,M是特征数,特征数对应每一关键点的特征。将Z0和A输入第一层图卷积,得到Z1=fRelu(X,A|W0),将Z1输入第二层图卷积得到Z2=fRelu(Z1,A|W1),以及Z1和Z2根据得到方差为fline(Z1,A|W’1)∈R2×2。也就是说,该目标部位关键点之间的第一关系矩阵为Z2=fRelu(Z1,A|W1),第一方差为σ=fline(Z1,A|W’1)∈R2×2,其中,下标Relu表示对图卷积输出的结果使用Relu激活函数,下标line表示对图卷积输出的结果使用line激活函数。需要说明的是,根据不同的任务会产生不同尺寸的关系矩阵,本实施例中的关系矩阵为2×2。
在优化模块中,将第一关系矩阵作为数学期望μ,使随机变量服从数学期望为μ、方差为σ2的正态分布得到第一高斯分布,对第一高斯分布进行重采样和loss监督学习得到优化的第二高斯分布,根据第二高斯分布和μ反推出第二关系矩阵。具体的,由第一高斯分布采样出一个数值ε,对第一高斯分布进行变换得到第二高斯分布为σ×ε,然后根据第二高斯分布和数学期望μ反推出第二关系矩阵为μ’=μ+σ×ε。
本实施例中的解码模块与编码模块同理,包括两层图卷积,将第二关系矩阵输入该解码模块,经过两次图卷积后得到描述目标部位关键点之间关系的第二关系矩阵。所述图卷积解码公式为:Yl+1=f(Yl,A|Wl),Yl是第l层图卷积解码的输出以及第l+1层图卷积解码的输入,Wl是该第l层图卷积解码的图卷积参数,A是所述目标部位的第一全连接邻接矩阵。
在解码模块中,第一层图卷积的输入为该目标部位对应的第二关系矩阵,第一层图卷积输出的结果为Y1=fRelu(μ’,A|W0),紧接着将Y1作为第二层图卷积的输入,第二层图卷积的输出为Y2=fRelu(Y1,A|W1),其中μ’是第二关系矩阵,并且Y2∈RN×2,N代表该目标部位的关键点的个数,Y2就是最终输出的第二全连接连接矩阵,包括了该目标部位所有关键点的第二坐标信息。
对比图2和图6,可见经过优化处理过的第二坐标信息对应的关键点和关键点的真实位置的偏差明显变小,这是由于根据关键点之间的位置坐标信息,通过层层图卷积的参数的调整和学习,隐形学习到该目标部位关键点之间的关系,从而使得关键点可以刻画出更接近该目标部位的形状。
预测得到每一关键点的第二坐标信息后,与该关键点的标签坐标(也就是真实位置)进行对比计算损失,用于评估本实施例提供的方法的误差率。在本实施例中采用L1损失函数,计算出误差率L1=|Y2-LY2|,其中LY2为每一关键点的标签坐标。
通过数据分析可知,仅使用卷积神经网络获得关键点的第一位置信息与真实位置相比,准确率为40%,经过处理的关键点的第二位置信息和关键点真实位置相比,准确率提高到了75%。
实施例二
基于相同的构思,本实施例还提供了一种基于统计与形状拓扑图的医学图像关键点检测装置,用于实现实施例一中所描述的基于统计与形状拓扑图的医学图像关键点检测装置方法,具体参考图2,图2是根据本申请实施例的基于统计与形状拓扑图的医学图像关键点检测装置的结构框图,如图7所示,该装置包括:
获取模块,用于获取目标部位的每一关键点的第一坐标信息;
预处理模块,用于根据所述目标部位所有所述关键点的所述第一坐标信息构建第一全连接邻接矩阵;
编码模块,用于将所述第一全连接邻接矩阵进行多次图卷积编码得到第一关系矩阵和第一方差;
优化模块,用于根据所述第一方差和所述第一关系矩阵生成第一高斯分布,对所述第一高斯分布进行重采样得到第二高斯分布,根据所述第二高斯分布获得第二关系矩阵;
解码模块,用于对所述第二关系矩阵进行多次图卷积解码得到第二全连接邻接矩阵,根据所述第二全连接邻接矩阵得到所述目标部位中每一所述关键点的第二坐标信息。
实施例三
本实施例还提供了一种电子装置,参考图8,包括存储器404和处理器402,该存储器404中存储有计算机程序,该处理器402被设置为运行计算机程序以执行上述实施例中的任意一种基于统计与形状拓扑图的医学图像关键点检测方法的步骤。
具体地,上述处理器402可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
其中,存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制,存储器404可包括硬盘驱动器(Hard Disk Drive,简称为HDD)、软盘驱动器、固态驱动器(Solid State Drive,简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(UniversalSerial Bus,简称为USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器404可在数据处理装置的内部或外部。在特定实施例中,存储器404是非易失性(Non-Volatile)存储器。在特定实施例中,存储器404包括只读存储器(Read-Only Memory,简称为ROM)和随机存取存储器(Random Access Memory,简称为RAM)。在合适的情况下,该ROM可以是掩模编程的ROM、可编程ROM(Programmable Read-Only Memory,简称为PROM)、可擦除PROM(Erasable Programmable Read-Only Memory,简称为EPROM)、电可擦除PROM(Electrically Erasable Programmable Read-Only Memory,简称为EEPROM)、电可改写ROM(Electrically Alterable Read-Only Memory,简称为EAROM)或闪存(FLASH)或者两个或更多个以上这些的组合。在合适的情况下,该RAM可以是静态随机存取存储器(StaticRandom-Access Memory,简称为SRAM)或动态随机存取存储器(Dynamic Random AccessMemory,简称为DRAM),其中,DRAM可以是快速页模式动态随机存取存储器404(Fast PageMode Dynamic Random Access Memory,简称为FPMDRAM)、扩展数据输出动态随机存取存储器(Extended Date Out Dynamic Random Access Memory,简称为EDODRAM)、同步动态随机存取内存(Synchronous Dynamic Random-Access Memory,简称SDRAM)等。
存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件,以及处理器402所执行的可能的计算机程序指令。
处理器402通过读取并执行存储器404中存储的计算机程序指令,以实现上述实施例中的任意一种基于统计与形状拓扑图的医学图像关键点检测方法。
可选地,上述电子装置还可以包括传输设备406以及输入输出设备408,其中,该传输设备406和上述处理器402连接,该输入输出设备408和上述处理器402连接。
传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中,传输设备包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备406可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
输入输出设备408用于输入或输出信息。在本实施例中,输入的信息可以是当前数据表例如疫情流调文档、特征数据、模板表等,输出的信息可以是特征指纹、指纹模板、文本分类推荐信息、文件模板配置映射表、文件模板配置信息表等。
可选地,在本实施例中,上述处理器402可以被设置为通过计算机程序执行以下步骤:
步骤S1:获取目标部位的每一关键点的第一坐标信息;
步骤S2:根据所述目标部位所有所述关键点的所述第一坐标信息构建第一全连接邻接矩阵;
步骤S3:将所述第一全连接邻接矩阵进行多次图卷积编码得到第一关系矩阵和第一方差;
步骤S4:根据所述第一方差和所述第一关系矩阵生成第一高斯分布,对所述第一高斯分布进行重采样得到第二高斯分布,根据所述第二高斯分布获得第二关系矩阵;
步骤S5:对所述第二关系矩阵进行多次图卷积解码得到第二全连接邻接矩阵,根据所述第二全连接邻接矩阵得到所述目标部位中每一所述关键点的第二坐标信息。
需要说明的是,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
另外,结合上述实施例一中的任意一种基于统计与形状拓扑图的医学图像关键点检测方法,本申请实施例可一种计算机程序产品来实现。该计算机程序产品该计算机程序产品包括软件代码部分,当所述计算机程序产品在计算机上被运行时,所述软件代码部分用于执行实现上述实施例一中的任意一种基于统计与形状拓扑图的医学图像关键点检测方法。
并且,结合上述实施例一中的任意一种基于统计与形状拓扑图的医学图像关键点检测方法,本申请实施例可提供一种可读存储介质来实现。该可读存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种基于统计与形状拓扑图的医学图像关键点检测方法。
通常,各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现,而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现,但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示,但是应当理解,作为非限制性示例,本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
本发明的实施例可以由计算机软件来实现,该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行,或者由硬件来实现,或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中,并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外,在这一点上,应当注意,如图中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如DVD及其数据变体、CD等光学介质上。物理介质是非瞬态介质。
本领域的技术人员应该明白,以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.基于统计与形状拓扑图的医学图像关键点检测方法,其特征在于,包括以下步骤:
步骤S1:获取目标部位的每一关键点的第一坐标信息;
步骤S2:根据所述目标部位所有所述关键点的所述第一坐标信息构建第一全连接邻接矩阵;
步骤S3:将所述第一全连接邻接矩阵进行多次图卷积编码得到第一关系矩阵和第一方差;
步骤S4:根据所述第一方差和所述第一关系矩阵生成第一高斯分布,对所述第一高斯分布进行重采样得到第二高斯分布,根据所述第二高斯分布获得第二关系矩阵;
步骤S5:对所述第二关系矩阵进行多次图卷积解码得到第二全连接邻接矩阵,根据所述第二全连接邻接矩阵得到所述目标部位中每一所述关键点的第二坐标信息。
2.根据权利要求1所述的基于统计与形状拓扑图的医学图像关键点检测方法,其特征在于,所述图卷积编码公式为:Zl+1=f(Zl,A|Wl),Zl是第l层图卷积编码的输出以及第l+1层图卷积编码的输入,Wl是该第l层图卷积编码的图卷积参数,A是所述目标部位的第一全连接邻接矩阵;当l=1时,Z1=fRelu(X,A|W0),X为所述目标部位所有所述关键点的所述第一坐标信息。
3.根据权利要求1所述的基于统计与形状拓扑图的医学图像关键点检测方法,其特征在于,所述图卷积解码公式为:Yl+1=f(Yl,A|Wl),Yl是第l层图卷积解码的输出以及第l+1层图卷积解码的输入,Wl是该第l层图卷积解码的图卷积参数,A是所述目标部位的第一全连接邻接矩阵;当l=1时,Y1=fRelu(μ’,A|W0),μ’为所述目标部位对应的所述第二关系矩阵。
4.根据权利要求2所述的基于统计与形状拓扑图的医学图像关键点检测方法,其特征在于,步骤S4包括:将第一关系矩阵作为数学期望μ,使随机变量服从数学期望为μ、方差为σ2的正态分布得到第一高斯分布,对第一高斯分布进行重采样和loss监督学习得到优化的第二高斯分布,根据第二高斯分布和μ反推出第二关系矩阵。
5.根据权利要求1所述的基于统计与形状拓扑图的医学图像关键点检测方法,其特征在于,步骤S1包括:获取显示目标部位的待检测图像,其中的目标部位具有多个关键点;根据待检测图像获取对应目标部位每一所述关键点的热力图,根据每一所述热力图可以得到对应关键点的第一坐标信息。
6.根据权利要求1所述的基于统计与形状拓扑图的医学图像关键点检测方法,其特征在于,步骤S2包括:将每一所述关键点作为图节点,每一所述关键点的所述第一坐标信息作为对应所述图节点的节点信息,根据所述图节点和对应的节点信息形成关键点拓扑图,根据所述关键点拓扑图构建对应所述目标部位的第一全连接邻接矩阵。
7.基于统计与形状拓扑图的医学图像关键点检测装置,其特征在于,包括以下模块:
获取模块,用于获取目标部位的每一关键点的第一坐标信息;
预处理模块,用于根据所述目标部位所有所述关键点的所述第一坐标信息构建第一全连接邻接矩阵;
编码模块,用于将所述第一全连接邻接矩阵进行多次图卷积编码得到第一关系矩阵和第一方差;
优化模块,用于根据所述第一方差和所述第一关系矩阵生成第一高斯分布,对所述第一高斯分布进行重采样得到第二高斯分布,根据所述第二高斯分布获得第二关系矩阵;
解码模块,用于对所述第二关系矩阵进行多次图卷积解码得到第二全连接邻接矩阵,根据所述第二全连接邻接矩阵得到所述目标部位中每一所述关键点的第二坐标信息。
8.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至6任一所述的基于统计与形状拓扑图的医学图像关键点检测方法。
9.一种计算机程序产品,其特征在于,包括软件代码部分,当所述计算机程序产品在计算机上被运行时,所述软件代码部分用于执行根据权利要求1至6任一项所述的基于统计与形状拓扑图的医学图像关键点检测方法。
10.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,所述计算机程序包括用于控制过程以执行过程的程序代码,所述过程包括根据权利要求1至6任一项所述的基于统计与形状拓扑图的医学图像关键点检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210008092.2A CN114022480B (zh) | 2022-01-06 | 2022-01-06 | 基于统计与形状拓扑图的医学图像关键点检测方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210008092.2A CN114022480B (zh) | 2022-01-06 | 2022-01-06 | 基于统计与形状拓扑图的医学图像关键点检测方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114022480A true CN114022480A (zh) | 2022-02-08 |
CN114022480B CN114022480B (zh) | 2022-04-22 |
Family
ID=80069804
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210008092.2A Active CN114022480B (zh) | 2022-01-06 | 2022-01-06 | 基于统计与形状拓扑图的医学图像关键点检测方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114022480B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114782449A (zh) * | 2022-06-23 | 2022-07-22 | 中国科学技术大学 | 下肢x光影像中关键点提取方法、系统、设备及存储介质 |
CN114937019A (zh) * | 2022-05-30 | 2022-08-23 | 杭州健培科技有限公司 | 基于自适应局部灰度均衡的关键点检测方法、装置及应用 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108647639A (zh) * | 2018-05-10 | 2018-10-12 | 电子科技大学 | 实时人体骨骼关节点检测方法 |
KR101988555B1 (ko) * | 2017-12-05 | 2019-06-12 | 충북대학교 산학협력단 | 조명 불변 영상을 사용한 slam 시스템 및 점구름 지도 생성 방법 |
CN111862047A (zh) * | 2020-07-22 | 2020-10-30 | 杭州健培科技有限公司 | 一种级联的医学影像关键点检测方法及装置 |
CN112580515A (zh) * | 2020-12-21 | 2021-03-30 | 浙江大学 | 一种基于高斯热图回归的轻量级人脸关键点检测方法 |
CN112966592A (zh) * | 2021-03-03 | 2021-06-15 | 北京百度网讯科技有限公司 | 手部关键点检测方法、装置、设备和介质 |
CN113192043A (zh) * | 2021-05-13 | 2021-07-30 | 杭州健培科技有限公司 | 基于多尺度拓扑图的医学关键点检测方法、装置及应用 |
US20210286975A1 (en) * | 2020-08-20 | 2021-09-16 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Image processing method, electronic device, and storage medium |
CN113450328A (zh) * | 2021-06-29 | 2021-09-28 | 汕头大学 | 基于改进神经网络的医学图像关键点检测方法及系统 |
CN113838134A (zh) * | 2021-09-26 | 2021-12-24 | 广州博冠信息科技有限公司 | 图像关键点检测方法、装置、终端和存储介质 |
-
2022
- 2022-01-06 CN CN202210008092.2A patent/CN114022480B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101988555B1 (ko) * | 2017-12-05 | 2019-06-12 | 충북대학교 산학협력단 | 조명 불변 영상을 사용한 slam 시스템 및 점구름 지도 생성 방법 |
CN108647639A (zh) * | 2018-05-10 | 2018-10-12 | 电子科技大学 | 实时人体骨骼关节点检测方法 |
CN111862047A (zh) * | 2020-07-22 | 2020-10-30 | 杭州健培科技有限公司 | 一种级联的医学影像关键点检测方法及装置 |
US20210286975A1 (en) * | 2020-08-20 | 2021-09-16 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Image processing method, electronic device, and storage medium |
CN112580515A (zh) * | 2020-12-21 | 2021-03-30 | 浙江大学 | 一种基于高斯热图回归的轻量级人脸关键点检测方法 |
CN112966592A (zh) * | 2021-03-03 | 2021-06-15 | 北京百度网讯科技有限公司 | 手部关键点检测方法、装置、设备和介质 |
CN113192043A (zh) * | 2021-05-13 | 2021-07-30 | 杭州健培科技有限公司 | 基于多尺度拓扑图的医学关键点检测方法、装置及应用 |
CN113450328A (zh) * | 2021-06-29 | 2021-09-28 | 汕头大学 | 基于改进神经网络的医学图像关键点检测方法及系统 |
CN113838134A (zh) * | 2021-09-26 | 2021-12-24 | 广州博冠信息科技有限公司 | 图像关键点检测方法、装置、终端和存储介质 |
Non-Patent Citations (2)
Title |
---|
LEYAN DENG ET.AL: "Graph Convolutional Adversarial Networks for Spatiotemporal Anomaly Detection", 《 IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS 》 * |
王柳程: "人体姿态点识别算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114937019A (zh) * | 2022-05-30 | 2022-08-23 | 杭州健培科技有限公司 | 基于自适应局部灰度均衡的关键点检测方法、装置及应用 |
CN114782449A (zh) * | 2022-06-23 | 2022-07-22 | 中国科学技术大学 | 下肢x光影像中关键点提取方法、系统、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114022480B (zh) | 2022-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114022480B (zh) | 基于统计与形状拓扑图的医学图像关键点检测方法和装置 | |
JP7221421B2 (ja) | Ct画像の椎骨位置決め方法、装置、機器及び媒体 | |
WO2021189844A1 (zh) | 多元kpi时间序列的检测方法、装置、设备及存储介质 | |
CN111340800B (zh) | 图像检测方法、计算机设备和存储介质 | |
US20210097381A1 (en) | Model training method and apparatus | |
CN110458904B (zh) | 胶囊式内窥镜图像的生成方法、装置及计算机存储介质 | |
CN113240661B (zh) | 基于深度学习的腰椎骨分析方法、装置、设备及存储介质 | |
CN114723763A (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
CN114842003B (zh) | 一种医学影像随访目标配对方法、装置及应用 | |
CN110796652B (zh) | 图像处理方法、计算机设备和存储介质 | |
JP6810212B2 (ja) | 画像識別方法及び画像識別装置 | |
US11763468B2 (en) | Structured landmark detection via topology-adapting deep graph learning | |
CN113077445A (zh) | 数据处理方法及装置、电子设备、可读存储介质 | |
Thilagavathy et al. | Digital transformation in healthcare using eagle perching optimizer with deep learning model | |
CN111951954A (zh) | 身体健康状态检测方法、装置、可读存储介质及终端设备 | |
CN115359005A (zh) | 图像预测模型生成方法、装置、计算机设备和存储介质 | |
CN113159202B (zh) | 图像分类方法、装置、电子设备及存储介质 | |
JP7392366B2 (ja) | 最適解獲得プログラム、最適解獲得方法および情報処理装置 | |
CN113222872A (zh) | 图像处理方法、装置、电子设备及介质 | |
CN112365504A (zh) | Ct左心室分割方法、装置、设备和存储介质 | |
CN114937019B (zh) | 基于自适应局部灰度均衡的关键点检测方法、装置及应用 | |
CN111210414A (zh) | 医学图像分析方法、计算机设备和可读存储介质 | |
CN117315651B (zh) | 基于仿射一致Transformer的多类别细胞检测分类方法以及装置 | |
KR102467047B1 (ko) | 어노테이션 평가 방법 및 장치 | |
Learning et al. | Basic Artificial Intelligence Techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |