CN113706463B - 基于深度学习的关节影像关键点自动检测方法、装置 - Google Patents
基于深度学习的关节影像关键点自动检测方法、装置 Download PDFInfo
- Publication number
- CN113706463B CN113706463B CN202110827759.7A CN202110827759A CN113706463B CN 113706463 B CN113706463 B CN 113706463B CN 202110827759 A CN202110827759 A CN 202110827759A CN 113706463 B CN113706463 B CN 113706463B
- Authority
- CN
- China
- Prior art keywords
- key point
- predicted
- sample image
- thermodynamic diagram
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 204
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000010586 diagram Methods 0.000 claims abstract description 179
- 238000000034 method Methods 0.000 claims abstract description 114
- 238000012549 training Methods 0.000 claims abstract description 56
- 230000006870 function Effects 0.000 claims abstract description 46
- 238000002372 labelling Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 39
- 230000004044 response Effects 0.000 claims description 24
- 230000005484 gravity Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000012952 Resampling Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 6
- 210000000527 greater trochanter Anatomy 0.000 claims description 6
- 210000000528 lesser trochanter Anatomy 0.000 claims description 6
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 210000004394 hip joint Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000011540 hip replacement Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于深度学习的关节影像关键点自动检测方法、装置、设备及存储介质。该方法包括:获取样本图像,所述样本图像包括关键点位置的标注信息;将所述样本图像输入预设的关键点检测模型,所述关键点检测模型包括U‑Net网络;利用所述预设的关键点检测模型对所述样本图像进行关键点检测,得到所述样本图像的预测关键点的第一热力图;根据所述样本图像的预测关键点的第一热力图和设定的损失函数对所述预设的关键点检测模型的网络权值进行训练,得到目标关键点检测模型。本发明的技术能够实现关节影像中关键点的自动提取,提高关键点检测的一致性,降低人为因素的影响。
Description
技术领域
本发明属于医学影像关键点检测技术领域,尤其涉及一种基于深度学习的关节影像关键点检测方法及装置、用于确定关节假体置换位置的方法及装置、计算设备及计算机存储介质。
背景技术
诸如髋关节置换手术等关节置换手术是目前治疗患病关节,提高患者生活质量最有效的方法之一。随着中国人口老龄化问题凸显,关节置换手术的现实意义更加显著。成功的关节置换手术依赖于准确、完备、详尽的术前规划方案,其中包括植入假体的型号和位姿的选择等。骨骼关键点的选择是制定术前规划方案的关键步骤。利用骨骼关键点可以确定骨骼的方位并为假体型号、位姿设定等提供依据。传统流程中,需要医生手动选择关键点,这不仅依赖于医生的经验和对相关软件的熟悉程度,操作比较耗时,而且很容易引入人为误差。
发明内容
本发明的目的在于提供一种基于深度学习的关节影像关键点检测方法及装置、用于确定关节假体置换位置的方法及装置、计算设备及计算机存储介质,实现关节影像中关键点的自动提取,提高关键点检测的一致性,降低人为因素的影响。
本发明提供一种基于深度学习的关节影像关键点检测方法,其特征在于,利用所述方法中基于深度学习的关节影像关键点检测模型从关节影像中检测出关键点,该方法包括:
获取样本图像,所述样本图像包括关键点位置的标注信息;
将所述样本图像输入预设的关键点检测模型,所述关键点检测模型包括U-Net网络;
利用所述预设的关键点检测模型对所述样本图像进行关键点检测,得到所述样本图像的预测关键点的第一热力图;
根据所述样本图像的预测关键点的第一热力图和设定的损失函数对所述预设关键点检测模型的网络权值进行训练,得到目标关键点检测模型。
作为优选,所述基于深度学习的关节影像关键点检测方法还包括:对所述样本图像进行处理,得到所述样本图像中的标注关键点的热力图;所述根据所述样本图像的预测关键点的第一热力图和设定的损失函数训练所述预设的关键点检测模型,得到目标关键点检测模型,包括:根据所述样本图像的预测关键点的第一热力图、标注关键点的热力图和设定的损失函数训练所述预设的关键点检测模型,得到目标关键点检测模型。
进一步地,所述对所述样本图像进行处理,得到所述样本图中的标注关键点的热力图,包括:使用多个不同参数的高斯分布核来得到多个所述样本图像中的标注关键点的热力图;所述根据所述样本图像的预测关键点的第一热力图、标注关键点的热力图和设定的损失函数训练所述预设的关键点检测模型,得到目标关键点检测模型,包括:使用多个所述样本图像中的标注关键点的热力图对所述预设的关键点检测模型进行训练。
进一步地,还包括:使用目标关键点检测模型对所述样本图像进行处理得到所述样本图像的预测关键点的第二热力图;对所述样本图像的预测关键点的第二热力图进行处理得到所述样本图像中关键点的预测坐标;根据所述样本图像中关键点的预测坐标和真实坐标确定所述目标关键点检测模型的检测误差;根据所述目标关键点检测模型的检测误差对所述目标检测模型进行评估。
进一步地,所述对所述样本图像的预测关键点的第二热力图进行处理得到所述样本图像中关键点的预测坐标,包括:确定所述样本图像的预测关键点的第二热力图中具有最大响应的像素,并将该最大响应的像素的坐标作为所述样本图像中关键点的预测坐标;或者计算所述样本图像的预测关键点的第二热力图的重心,并将其作为所述样本图像中关键点的预测坐标;或者对所述样本图像的预测关键点的第二热力图进行预处理,计算预处理后的所述样本图像的预测关键点的第二热力图的重心,并将其作为所述样本图像中关键点的预测坐标。
进一步地,所述对所述样本图像的预测关键点的第二热力图进行预处理,包括:使用设定阈值对所述样本图像的预测关键点的第二热力图的响应进行过滤;或者使用响应的最大值对所述样本图像的预测关键点的第二热力图进行归一化,并使用设定阈值进行过滤;或者使用指数函数对所述样本图像的预测关键点的第二热力图进行处理。
进一步地,所述U-Net网络包括编码模块和解码,所述解码模块使用重采样操作或反卷积操作。
进一步地,所述关键点检测模型还包括SCN网络,所述U-Net网络用于对所述样本图像进行处理得到局部热力图;所述SCN网络用于对所述局部热力图进行处理,得到空间构型热力图;所述预测关键点的热第一力图根据所述局部外观热力图以及所述空间构型热力图得到。
进一步地,在利用所述预设的关键点检测模型对所述样本图像进行关键点检测,得到所述样本图像的预测关键点的第一热力图之前,还包括:使用均值为0,标准差为0.001的正态分布对所述U-Net网络和所述SCN网络的最后一层卷积层的权重进行初始化。
进一步地,根据所述样本图像的预测关键点的第一热力图和设定的损失函数训练所述预设的关键点检测模型,得到目标关键点检测模型,包括:
对所述预测关键点的第一热力图处理得到预测关键点的第三热力图;
根据所述预测关键点的第三热力图得到关键点坐标的预测值以及所述预测关键点的第三热力图在各个方向的方差;
根据关键点坐标的预测值、所述预测关键点的第三热力图在各个方向的方差、以及关键点坐标的实际值和目标方差,以及设定损失函数训练所述预设的关键点检测模型,得到目标关键点检测模型。
进一步地,所述损失函数为:
其中,pred为关键点坐标的预测值,y为关键点坐标的实际值,Varx、Vary和Varz为所述第三预测关键点的热力图在x,y,z方向上的方差,σ为目标方差,α为权重因子。
进一步地,所述关键点的数量为18。
本发明还提供了一种用于确定关节假体置换位置的方法,包括:
获取待提取关键点的关节影像;
利用第一方面所述的方法训练的关键点检测模型从所述关节影像提取所述关键点;
根据提取的所述关键点确定假体的置换位置。
作为优选,所述关节影像包括髋关节影像。
进一步地,所述关键点包括:左髂前上棘,右髂前上棘,左髋臼前缘中心、右髋臼前缘中心、左髋臼上缘中心、右髋臼上缘中心、左髋臼后缘中心、右髋臼后缘中心、左髋臼旋转中心、右髋臼旋转中心、左耻骨突起中心、右耻骨突起中心、左股骨头中心、右股骨头中心、左大转子、右大转子、左小转子、右小转子。
本发明还提供了一种对关节影像的关键点检测模型网络权值进行训练的装置,所述装置包括:
样本获取模块,获取样本图像,所述样本图像包括关键点位置的标注信息;
输入模块,用于将所述样本图像输入预设的关键点检测模型,所述关键点检测模型包括U-Net网络;
第一预测模块,用于利用所述预设的关键点检测模型对所述样本图像进行关键点检测,得到所述样本图像的预测关键点的第一热力图;
训练模块,用于根据所述样本图像的预测关键点的第一热力图和设定的损失函数对所述预设的关键点检测模型网络权值进行训练,得到目标关键点检测模型。
本发明还提供了一种用于确定关节假体置换位置的装置,包括:
图片获取模块,用于获取待提取关键点的关节影像;
预测模块,用于利用本发明装置训练的关键点检测模型从所述关节影像提取所述关键点;
确定模块,用于根据提取的所述关键点确定假体的置换位置。
本发明还提供了一种计算设备,该设备包括:处理器,以及存储有计算机程序指令的存储器;所述处理器读取并执行所述计算机程序指令,以实现第一方面所述对关节影像的关键点检测模型网络权值进行训练的方法,或第二方面所述的用于确定关节假体置换位置的方法。
本发明提供了一种计算机存储介质,所述计算机存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现第一方面所述的对关节影像的关键点检测模型网络权值进行训练的方法,或第二方面所述的用于确定关节假体置换位置的方法。
本发明基于深度学习的关节影像关键点检测方法及装置、用于确定关节假体置换位置的方法及装置、计算设备及计算机存储介质,能够实现关节影像中关键点的自动提取,提高关键点检测的一致性,降低人为因素的影响。
附图说明
为了更清楚地说明本发明的技术方案,下面将对本发明中所需要使用的附图作简单的介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例所使用U-Net网络的结构示意图;
图2示出了本发明提供的基于深度学习的关节影像关键点检测方法的流程示意图;
图3示出了本发明提供的用于评估目标关键点检测模型的方法的流程示意图;
图4是本发明所使用U-Net网络的结构示意图;
图5是本发明提供的用于确定关节假体置换位置的方法的流程示意图;
图6是本发明提供的对关节影像中关键点检测模型网络权值进行训练的装置的结构示意图;
图7是本发明提供的用于确定关节假体置换位置的装置的结构示意图;
图8是本发明提供的一种计算设备的结构示意图。
具体实施方式
下面将详细描述本公开的各个方面的特征和示例性实施例,为了使本公开的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本公开进行进一步详细描述。应理解,此处所描述的具体实施例仅意在解释本公开,而不是限定本公开。对于本领域技术人员来说,本公开可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本公开的示例来提供对本公开更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
U-Net在网络结构上使用了编码器、解码器思想。在编码的过程中,U-Net使用了多级编码。为了防止压缩时信息的逐层丢失,以致解码时没有全局的信息。U-Net将每一级编码的中间结果直通到解码过程的对应层级,保证了解码过程中,既可以从上一级的解码结果中得到压缩的、高层级的信息,也可以从对应的编码层级中得到未压缩的、底层级的信息。这一网络结构成功解决了医学领域的图像分割问题,并超越了以往的其他方法。同时,这一网络结构很容易迁移到关键点检测问题上,详见下文。
本发明提供了基于U-Net的关节影像关键点检测模型及其训练方法。图1示出了本发明所使用U-Net网络的结构示意图。图中,conv(+BN)+ReLu对应的箭头表示依次进行三维卷积、批归一化(batch normalization)和线性整流(ReLu)激活函数操作。为了保证在卷积操作进行前后,图像的大小不会发生变化,我们对图像做了边缘填充。图中的max pool对应的箭头表示最大池化操作;concat对应的箭头表示拼接操作;upsample对应的箭头表示重采样操作。在重采样时,我们将图像进行放大,以使得可以和来自上一层的图像进行拼接。最后的conv对应的箭头是卷积操作,使得网络最终输出图像的通道数和关键点的个数一致。这就是网络输出的热力图。网络输入是单一通道(黑白)的医学影像,因此左上角的图像的通道数为1。
本发明所使用的U-Net网络的处理过程为:首先,如图1中左半部分所示,输入的图像经过两次卷积操作后进行一次最大池化,使得网络下一层接收到的图像的尺寸在上一层的基础上成倍减小。这样的操作在网络中共进行三次,分别形成三个中间结果。如图1中右半部分所示,最下层的图像在经过卷积后,通过一次上采样,使得尺寸成倍增大。与先前尺寸匹配的中间结果进行拼接后,再度进行卷积和上采样操作。如此进行三轮,直到图像的大小与网络输入的大小一致。经过最终的卷积层得到N张热力图,N为关键点的个数。
应当理解,图1所示U-Net仅是一个示例,在本公开其它实施例中可以使用各种类似结构的U-net,而不限于图1中所示示例。
图2示出了本发明一个实施例提供的对关节影像的关键点检测模型网络权值进行训练的方法的流程示意图。
本发明提供一种基于深度学习的关节影像关键点检测方法100,所述关节影像的关键点检测模型用于从关节影像中检测出关键点,如图2所示,该方法100可以包括以下步骤:
S101,获取样本图像,所述样本图像包括关键点位置的标注信息。
在本发明中,样本图像可以使用公开的医疗影像,例如公开的医疗关节影像(例如髋关节影像)。示例性地,在本实施例中,样本图像包括89张骨盆CT扫描图像。在RAS坐标系下,图像的尺寸为400×256×256,体素的尺寸为1mm×1mm×1mm。这些图像的选取保证完整包含了骨盆,也就是没有被图像边缘切掉的地方。在本发明中选取了15个关键点位,这些关键点位的标注可以例如由具有医学影像处理的人完成。
应当理解,所述样本图像包括关键点的位置信息,即通过标注人员对关键点的位置进行了标注,通过标注的位置可以确定关键点的实际坐标或真实坐标。
还可以理解,对于样本图像,由于数量较少,为了达到更好地训练效果,在本发明还可以对样本图像进行数据增强处理,例如对样本图像做一定角度旋转、沿某一轴翻转,以及对体素值做一些伽马校正或高斯模糊等处理。
S102,将所述样本图像输入预设的关键点检测模型,所述关键点检测模型包括U-Net网络。
当在S101中获取样本图像后,则将样本图像输入至预设的关键点检测模型。在本发明中,所述关键点检测模型包括U-Net网络,所述U-Net网络的示例结构如图1所示。
S103,利用所述预设的关键点检测模型对所述样本图像进行关键点检测,得到所述样本图像的预测关键点的第一热力图。
在本发明中,假设一共需要检测N个关键点,分别记为Li,i={1,…,N}。关键点Li在图像中的位置为ti,预设的关键点检测模型以样本图像x作为输入,为关键点i生成第一预测关键点的热力图hi(x)。
当在S102中将样本图像输入预设的关键点检测模型之后,则利用所述预设的关键点检测模型对所述样本图像进行关键点检测,得到所述样本图像的预测关键点的第一热力图。
S104,根据所述样本图像的预测关键点的第一热力图和设定的损失函数对所述预设的关键点检测模型网络权值进行训练,得到目标关键点检测模型。
当获得所述样本图像的预测关键点的第一热力图之后,则根据所述样本图像的预测关键点的热第一力图和设定的损失函数对所述预设的关键点检测模型网络权值进行训练,得到目标关键点检测模型。
在本公开一实施例中,使用热力图回归来训练关键点检测模型的网络权值,因此在S104中,根据所述样本图像的预测关键点的第一热力图和设定的损失函数对所述预设的关键点检测模型网络权值进行训练,得到目标关键点检测模型。同时,根据所述样本图像的预测关键点的第一热力图和设定的损失函数对所述预设的关键点检测模型网络权值进行训练,得到目标关键点检测模型,方法100还包括:对所述样本图像进行处理,得到所述样本图像中的标注关键点的热力图。具体地,该处理过程可以例如为:对每个标注的关键点,以其坐标点为中心生成一定半径的高斯分布的球状区域,区域的值全外为0,得到所述样本图像标注的关键点的热力图。
即,在S104之前,先对样本图像进行预处理来得到所述样本图像中的标注关键点的热力图作为目标基准(ground truth),从而基于预测关键点的第一热力图和目标基准计算损失函数,并根据损失函数调整关键点检测模型的网络权值,从而实现训练。
假设一共需要检测N个关键点,分别记为Li,i={1,…,N}。关键点Li在图像中的位置为ti,使用高斯分布为关键点Li生成一目标基准热力图。
具体地,可以通过下述公式得到所述样本图像中的标注关键点的热力图:
其中,σ参数用于控制热力图中的高斯分布的核的大小,不同的σ表示不同的高斯分布核大小。
示例性地,在本发明中,设定损失函数为使用MSE(均方差),在S104中可以根据损失函数loss=1/N∑(gi-hi(x))2来训练所述预设的关键点检测模型的网络权值,得到目标关键点检测模型。
在本发明中,在训练中,为了得到合适参数σ,或者确定σ对关键点检测模型的影响,方法100,还包括下述步骤:
首先,使用多个大小不同的高斯分布核来得到多个所述样本图中的标注关键点的热力图。也即,使用多个不同参数的高斯分布核来得到多个所述样本图像中的标注关键点的热力图。
接着,使用多个所述样本图中的标注关键点的热力图对所述预设的关键点检测模型的网络权值进行训练。
即在对样本图像进行预处理来得到所述样本图像中的标注关键点的热力图时,使用不同大小的σ参数。示例性地,在本发明中,σ可以设置为2、4、6、8、10。
在本公开一些实施例中,对于训练得到的目标检测模型,还可以对其进行评估,以确认检测误差的大小。
图3示出了本公开一个实施例提供的用于评估目标关键点检测模型的方法的流程示意图。
如图3所示,本发明提供的用于评估目标关键点检测模型的方法200,包括:
S201,使用目标关键点检测模型对所述样本图像进行处理得到所述样本图像的第二预测关键点的热力图。
S202,对所述样本图像的预测关键点的第二热力图进行处理得到所述样本图像中关键点的预测坐标。
S203,根据所述样本图像中关键点的预测坐标和真实坐标确定所述目标关键点检测模型的检测误差。
S204,根据所述目标关键点检测模型的检测误差对所述目标检测模型进行评估。
在S201中,当通过方法100完成对预设的关键点检测模型网络权值的训练,得到目标关键点检测模型之后,则通过目标关键点检测模型对所述样本图像进行处理得到所述样本图像的预测关键点的第二热力图。
在本发明公开一些实施例中,目标关键点检测模型的网络结构与图1类似。
在S202中,对所述样本图像的预测关键点的第二热力图进行处理得到所述样本图像中关键点的预测坐标可以通过下述其中一种方法实现。
一,确定所述样本图像的预测关键点的第二热力图中具有最大响应的像素,并将该最大响应的像素的坐标作为所述样本图像中关键点的预测坐标。例如,对于为关键点i生成的预测关键点的第二热力图hi(x),找到热力图中具有最大响应的像素,并将其作为关键点位置的预测值。即,该方法为方法一。
二、计算所述样本图像的预测关键点的第二热力图的重心,并将其作为所述样本图像中关键点的预测坐标。该方法为方法二。
示例性地,热力图是一三维向量,在此用i,j,k表示像素在热力图中的位置。对于关键点位置的三个分量x,y,z中的x分量按照如下公式给出预测值:
类似地,对于另外两个分量y、z,也按照类似公式进行计算,在此不再赘述。
三、对所述样本图像的预测关键点的第二热力图进行预处理,计算预处理后的所述样本图像的预测关键点的热力图的重心,并将其作为所述样本图像中关键点的预测坐标。
具体地,为了抑制热力图中远离关键点的像素的响应对重心计算的干扰,在本发明中还可以对热力图进行一定的预处理后,得到处理后的热力图h′i(x),再按照方法二求出重心,作为关键点位置的预测值。
示例性地,在本发明中,对所述样本图像的预测关键点的第二热力图进行预处理,可以通过下述方法进行:
(1)使用设定阈值对所述样本图像的预测关键点的第二热力图的响应进行过滤。即,将热力图中小于阈值的响应进行过滤,即:h′i(x)=[hi(x)>T]*hi(x)。该方法为方法三。
(2)使用响应的最大值对所述样本图像的第二预测关键点的热力图进行归一化,并使用设定阈值进行过滤。这样可以防止推理时输出的热力图在某些图像的某些关键点附近响应过小,以至于使用上一方法导致无法给出关键点坐标的预测值。
具体地,该方法为方法四。
(3)使用指数函数对所述样本图像的第二预测关键点的热力图进行处理。这样可以抑制具有较小响应位置处对重心计算的干扰。即:
h′i(x)=exp(α*hi(x))
其中,α用于控制抑制较小响应的强度。该方法为方法五。
应当理解,得到关键点在热力图中位置的预测后,需要进行一定的仿射变换以从关键点在热力图中的坐标转换到关键点在空间中的坐标yispace。这是因为。图像使用的是RAS坐标系,训练时使用的时IJK坐标系。图像中保存了图像原点位置处在空间中的位置Origin,以及每个体素的尺寸Spacing。这两者的单位都为毫米。在网络权值训练时,我们需要将标注数据在LPS坐标系下的位置转换到在RAS坐标系下的位置,然后再转换到在图像的IJK坐标系下的位置。在网络推理时,需要反向进行转换,以得到正确结果。
在S203中,示例性地,在本发明中,在得到关键点在空间中的坐标yispace后,可以求得和关键点的位置的真实值tispace之间的距离di来作为检测误差:
di=‖yispace-tispace‖2
为了在多个方法间相互比较,我们可以对所有测试图像的所有关键点的检测误差求均值,用于表示方法的准确程度,即平均误差:
dmean=1/N*M∑x,idi
其中M表示样本图像的数量。
此外,还可以关注各个关键点的检测误差。这是由于不同关键点检测的精确度对于术前规划的重要性是不同的。对于部分关键点,我们希望较高的检测精度;而对于另一部分关键点,我们只需要粗略地得到位置即可。对全部关键点求检测误差的均值无法得到各个关键点的检测情况。因此,在必要时,我们也会对关键点Li计算检测误差的均值:
di,mean=1/M∑xdi
在S204中,根据所述目标关键点检测模型的检测误差对所述目标检测模型进行评估。
即,通过检测误差确定目标检测模型是否符合要求,或者确定多个目标检测模型中哪一个更符合实际需求。
示例性地,在本公开实施中,考察选取不同的从热力图中提取关键点位置的算法的误差。我们选取σ=8,观察使用不同算法时,关键点位置的预测值与真实值之间的平均误差。其中涉及阈值T的方法,阈值T选取为0.5,方法五的α选取为20。结果如表2.1所示。
表2.1各类坐标提取算法的平均误差
方法 | 平均误差 |
方法一 | 4.11 |
方法二 | 25.12 |
方法三 | 3.98 |
方法四 | 4.06 |
方法五 | 5.01 |
从表中可以看出,方法一、方法三、方法四的检测误差最好,且不相上下;方法五检测误差次之;方法二效果最差。方法二效果非常差以至于无法应用的原因在于,虽然目标基准(ground truth)热力图在关键点附近的值为1,远离关键点的位置为0,但是推理时网络输出的热力图只能贴近目标基准(ground truth),而不能达到。由于远离关键点位置处的非0值也参与了关键点位置的预测值的计算,对最终的结果产生了影响。由于热力图的尺寸较大,这个影响是不可忽略的。热力图的尺寸为200×128×128,总共为3276800个体素。通过观察推理时网络输出的热力图,远离关键点处的非零值的为千分之一,甚至万分之一,但由于数量众多,求和后会极大干扰关键点位置的预测。方法五和方法一类似,都是以网络具有最大响应处作为关键点位置的预测。实验结果表明,这种方法的检测误差大于方法三和方法四。这说明,网络具有最大响应处并未出现在关键点位置处,而是出现在了稍有偏差的地方。方法三和方法四检测效果最优,方法三稍稍占优。
随后,我们考察不同的σ对网络检测误差的影响。
对于σ=2,4,网络的检测效果相当差。当σ≥6时,σ=8时效果最好,σ=6,10时效果次之。我们单独分析σ=2,4的情况。我们不再计算总体的平均误差,而针对各个关键点计算平均误差。
对于σ=2,4的情况,存在网络完全无法为部分关键点生成预测值的情况,且σ=2时,这样的关键点的数量更多。这说明,当σ的值较小时,网络无法为全部的关键点生成预测。这为σ参数的选择提供了下限。
在本发明中,U-Net网络包括编码模块和解码模块,所述解码模块使用重采样操作和反卷积操作。
为了获得更好的检测性能,我们尝试对图1所使用的U-Net进行了变型,例如使用反卷积操作代替图1中的重采样操作。
并且,替换为反卷积层后,为了使得U-Net网络中的拼接操作进行时,除了被拼接的维度以外,被拼接的向量的其他维度相等。设Din为反卷积层输入图像的某个维度的长度,Dout为输出的对应维度的长度,它们存在如下关系:
Dout=(Din-1)×stride-2×padding+dilation×(kernel size-1)+outputpadding+1
其中,stride设置为2、kernel size设置为2,以使得输出的维度是输入维度的二倍。dilation设置为1,原因为我们不必在输出中添加空洞。由Dout=2Din的关系可以得出,padding参数的值为1,output padding的值为1。
在本发明中选取参数α=6,在修改后的网络上进行训练,训练时使用的参数与前述实施例保持一致。训练所的模型的检测精度结果如表3.1所示:
表3.1U-net(重采样与U-net(反卷积)的检测精度比较
由表3.1可以看出,使用反卷积后,网络检测误差得到了改善。
在本公开一些实施例中,为了提高检测精度,还可以增加SCN网络,即关键点检测模型除了包括U-Net网络,还包括SCN(Spacial Configuration Net))网络。所述U-Net网络用于对所述样本图像进行处理得到局部外观热力图;所述SCN网络用于对所述局部外观热力图进行处理,得到空间构型热力图;所述第一预测关键点的热力图根据所述局部外观热力图以及所述空间构型热力图得到。
也就是,将关键点检测模型划分为两个组件。其中一个组件(局部组件)关注于给出关键点可能的候选位置,这个侯选位置应当是包含一个精准(即距离真实值近)的位置,同时可以含有其他多个错误的检测位置。另一个组件(全局组件)则从全局的角度出发,从上一个组件给出的多个候选位置中,去伪存真,保留正确的检测位置。简单来说,第一个组件给出了假阳性率高,但含有准确预测位置的检测结果,第二个组件则从第一个组件的结果中剔除错误的检测结果,保留正确的结果。
从网络设计上,第一个组件应当提供较高的检测精度(可能有假阳性的响应),因此可以着重于图像中的局部特征;第二个组件需要从第一个组件的结果中低精度地去伪存真,因此,需要较高的感知野。这两个组件的输出可以通过乘法进行交互,将相乘后的结果作为网络的输出。
在本发明中,使用U-Net网络作为局部组件,使用SCN网络作为全局组件。
全局组件(即Spacial组件)以局部组件的输出为输入。全局组件的输出与局部组件组件的输出逐元素相乘后,作为网络的输出。全局组件组件的具体结构例如可以为下重采样、六层卷积层、上重采样、激活函数的串联。
在本公开一些实施例中,在利用所述预设的关键点检测模型对所述样本图像进行关键点检测,得到所述样本图像的第一预测关键点的热力图之前,还包括:
使用均值为0,标准差为0.001的正态分布对所述U-Net网络和所述SCN网络的最后一层卷积层的权重进行初始化。
进一步地,在本公开一些实施例中,为了提高关键点检测模型的检测性能,在模型中,DSNT(differentiable spatial to numerical transform)代替热力图回归法。在本公开一些实施例中,根据所述样本图像的第一预测关键点的热力图和设定的损失函数对所述预设的关键点检测模型的网络权值进行训练,得到目标关键点检测模型,包括:对所述第一预测关键点的热力图得到第三预测关键点的热力图;根据所述第三预测关键点的热力图得到关键点坐标的预测值以及所述第三预测关键点的热力图在各个方向的方差;根据关键点坐标的预测值、所述第三预测关键点的热力图在各个方向的方差、以及关键点坐标的实际值和目标方差,以及设定损失函数对所述预设的关键点检测模型网络权值进行训练,得到目标关键点检测模型。
具体地,首先,对于关键点Li网络输出的热力图hi(x)进行预处理,使得热力图各体素处的值大于0,且和为1。在此可以使用softmax函数进行预处理。设处理后的热力图为h′i(x),则:
定义矩阵X,使得其尺寸与h′i(x)保持一致,其值由下式给出:
Xi,j,k=i/n
进而得到x轴上的坐标预测值predx:predx=<h′i(x),X>F
对于另外两轴上的预测值predx、predy,计算方法相同,不再赘述。
得到坐标预测值后pred,我们可以计算热力图h′i(x)在x轴方向上的方差:
Varx=<h′i(x),(X-pred)⊙(X-pred)>F
对于另外两轴上的方差,计算方法相同,不再赘述。
损失函数方面,对于坐标预测值使用MSE作为损失函数,对于方差使用MSE作为损失函数。我们希望方差与目标方差σ靠近。即损失函数
其中α是一权重因子,用于控制损失函数中两者的比重。
在网络推理时,由于DSNT已经端到端地对网络进行训练,因此,可以直接使用DSNT输出的坐标作为网络推理的结果。
图5是本发明提供的用于确定关节假体置换位置的方法的流程示意图。
如图5所示,本发明提供的用于确定关节假体置换位置的方法300,包括:
S301,获取待提取关键点的关节影像。
S302,利用本发明的训练方法训练的关键点检测模型从所述关节影像提取所述关键点。
S303,根据提取的所述关键点确定假体的置换位置。
示例性地,在本公开一些实施例中,所述关节影像包括髋关节影像。
示例性地,在本公开一些实施例中,所述关键点包括:左髂前上棘,右髂前上棘,左髋臼前缘中心、右髋臼前缘中心、左髋臼上缘中心、右髋臼上缘中心、左髋臼后缘中心、右髋臼后缘中心、左髋臼旋转中心、右髋臼旋转中心、左耻骨突起中心、右耻骨突起中心、左股骨头中心、右股骨头中心、左大转子、右大转子、左小转子、右小转子。
图6是本发明提供的对关节影像中关键点检测模型网络权值进行训练的装置的结构示意图。
如图6所示,本发明提供的对关节影像中关键点检测模型网络权值进行训练的装置500,包括样本获取模块210、输入模块220、第一预测模块230、第二预测模块240和训练模块250。
样本获取模块210用于获取样本图像,所述样本图像包括关键点位置的标注信息。样本获取模块210用于执行图2所示的对关节影像中关键点检测模型网络权值进行训练的方法的中S101。
输入模块220用于将所述样本图像输入预设的关键点检测模型,所述关键点检测模型包括U-Net网络。输入模块220用于执行图2所示的对关节影像中关键点检测模型网络权值进行训练的方法的中S102。
第一预测模块230,用于利用所述预设的关键点检测模型对所述样本图像进行关键点检测,得到所述样本图像的第一预测关键点的热力图。第一预测模块230用于执行图2所示的对关节影像中关键点检测模型网络权值进行训练的方法的中S103。
训练模块250用于根据所述样本图像的第一预测关键点的热力图和设定的损失函数对所述预设的关键点检测模型网络权值进行训练,得到目标关键点检测模型。训练模块250用于执行图2所示的对关节影像中关键点检测模型网络权值进行训练的方法的中S104。
图6所示装置中500的各个模块/单元具有实现图2中各个步骤的功能,并能达到其相应的技术效果,为简洁描述,在此不再赘述。
图7是本发明提供的用于确定关节假体置换位置的装置的结构示意图。
如图7所示,本发明提供的用于确定关节假体置换位置的装置600包括图片获取模块310、预测模块320和确定模块330。
图片获取模块310用于获取待提取关键点的关节影像。图片获取模块310用于执行图5所示的用于确定关节假体置换位置的方法中的S301
预测模块320用于利用本发明所述的装置训练的关键点检测模型从所述关节影像提取所述关键点。预测模块320用于执行图5所示的用于确定关节假体置换位置的方法中的S302。
确定模块330用于根据提取的所述关键点确定假体的置换位置。确定模块330用于执行图5所示的用于确定关节假体置换位置的方法中的S303。
图7示装置中600的各个模块/单元具有实现图5中各个步骤的功能,并能达到其相应的技术效果,为简洁描述,在此不再赘述。
图8示出了本发明提供的计算设备700的硬件结构示意图。
计算设备700可以包括处理器701以及存储有计算机程序指令的存储器702。
具体地,上述处理器701可以包括中央处理器(Central Processing Unit,CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本发明的一个或多个集成电路。
存储器702可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器702可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在一个实例中,存储器702可以包括可移除或不可移除(或固定)的介质,或者存储器302是非易失性固态存储器。存储器702可在综合网关容灾设备的内部或外部。
在一个实例中,存储器702可以是只读存储器(Read Only Memory,ROM)。在一个实例中,该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
存储器702可以包括只读存储器(ROM),随机存取存储器(RAM),磁盘存储介质设备,光存储介质设备,闪存设备,电气、光学或其他物理/有形的存储器存储设备。因此,通常,存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如,存储器设备),并且当该软件被执行(例如,由一个或多个处理器)时,其可操作来执行参考根据本公开的一方面的方法所描述的操作。
处理器701通过读取并执行存储器702中存储的计算机程序指令,以实现图2所示实施例中的方法/步骤S101至S104,并达到图2和图3所示实例执行其方法/步骤达到的相应技术效果,为简洁描述在此不再赘述。
在一个实施例中,计算设备700还可包括通信接口703和总线710。其中,如图8所示,处理器701、存储器702、通信接口703通过总线710连接并完成相互间的通信。
通信接口703,主要用于实现本发明中各模块、装置、单元和/或设备之间的通信。
总线710包括硬件、软件或两者,将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(Accelerated Graphics Port,AGP)或其他图形总线、增强工业标准架构(Extended Industry Standard Architecture,EISA)总线、前端总线(Front Side Bus,FSB)、超传输(Hyper Transport,HT)互连、工业标准架构(Industry Standard Architecture,ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线710可包括一个或多个总线。尽管本发明描述和示出了特定的总线,但本公开考虑任何合适的总线或互连。
另外,结合上述实施例中的对关节影像的关键点检测模型的网络权值进行训练的方法和用于确定关节假体置换位置的方法,本发明可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种对关节影像的关键点检测模型网络权值进行训练的方法或用于确定关节假体置换位置的方法。
需要明确的是,本公开并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本公开的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本公开的精神后,做出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本公开的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RadioFrequency,RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本公开中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本公开不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
上面参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解,流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器,以产生一种机器,使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解,框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合,也可以由执行指定的功能或动作的专用硬件来实现,或可由专用硬件和计算机指令的组合来实现。
以上所述,仅为本公开的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本公开的保护范围之内。
Claims (12)
1.一种基于深度学习的关节影像关键点检测方法,其特征在于,利用所述方法中基于深度学习的关节影像关键点检测模型从关节影像中检测出关键点,该方法包括:
获取样本图像,所述样本图像包括关键点位置的标注信息;
将所述样本图像输入预设的关键点检测模型,所述关键点检测模型包括U-Net网络;
其中,所述U-Net网络包括编码模块和解码模块,所述解码模块使用重采样操作或反卷积操作;进一步地,所述关键点检测模型还包括SCN网络,所述U-Net网络用于对所述样本图像进行处理得到局部热力图;所述SCN网络用于对所述局部热力图进行处理,得到空间构型热力图;
利用所述预设的关键点检测模型对所述样本图像进行关键点检测,得到所述样本图像的预测关键点的第一热力图;其中,所述预测关键点的第一热力图根据所述局部热力图以及所述空间构型热力图得到;
根据所述样本图像的预测关键点的第一热力图和设定的损失函数对所述预设关键点检测模型的网络权值进行训练,得到目标关键点检测模型,具体包括:对所述预测关键点的第一热力图处理得到预测关键点的第三热力图;根据所述预测关键点的第三热力图得到关键点坐标的预测值以及所述预测关键点的第三热力图在各个方向的方差;根据关键点坐标的预测值、所述预测关键点的第三热力图在各个方向的方差、以及关键点坐标的实际值和目标方差,以及设定损失函数训练所述预设的关键点检测模型,得到目标关键点检测模型;其中,所述损失函数为:;其中,pred为关键点坐标的预测值,y为关键点坐标的实际值,Varx、Vary和Varz为所述预测第三关键点的热力图在x,y,z方向上的方差,σ为目标方差,α为权重因子;
使用目标关键点检测模型对所述样本图像进行处理得到所述样本图像的预测关键点的第二热力图;
对所述样本图像的预测关键点的第二热力图进行处理得到所述样本图像中关键点的预测坐标,具体包括:确定所述样本图像的预测关键点的第二热力图中具有最大响应的像素,并将该最大响应的像素的坐标作为所述样本图像中关键点的预测坐标;或者计算所述样本图像的预测关键点的第二热力图的重心,并将其作为所述样本图像中关键点的预测坐标;或者对所述样本图像的预测关键点的第二热力图进行预处理,计算预处理后的所述样本图像的预测关键点的第二热力图的重心,并将其作为所述样本图像中关键点的预测坐标;
其中,所述对所述样本图像的预测关键点的第二热力图进行预处理,包括:使用设定阈值对所述样本图像的预测关键点的第二热力图的响应进行过滤;或者使用响应的最大值对所述样本图像的预测关键点的第二热力图进行归一化,并使用设定阈值进行过滤;或者使用指数函数对所述样本图像的预测关键点的第二热力图进行处理;
根据所述样本图像中关键点的预测坐标和真实坐标确定所述目标关键点检测模型的检测误差;
根据所述目标关键点检测模型的检测误差对所述目标关键点检测模型进行评估。
2.根据权利要求1所述的基于深度学习的关节影像关键点检测方法,其特征在于,还包括:
对所述样本图像进行处理,得到所述样本图像中的标注关键点的热力图;
所述根据所述样本图像的预测关键点的第一热力图和设定的损失函数训练所述预设的关键点检测模型,得到目标关键点检测模型,包括:
根据所述样本图像的预测关键点的第一热力图、标注关键点的热力图和设定的损失函数训练所述预设的关键点检测模型,得到目标关键点检测模型。
3.根据权利要求2所述的基于深度学习的关节影像关键点检测方法,其特征在于,所述对所述样本图像进行处理,得到所述样本图中的标注关键点的热力图,包括:
使用多个不同参数的高斯分布核来得到多个所述样本图像中的标注关键点的热力图;
所述根据所述样本图像的预测关键点的第一热力图、标注关键点的热力图和设定的损失函数训练所述预设的关键点检测模型,得到目标关键点检测模型,包括:
使用多个所述样本图像中的标注关键点的热力图对所述预设的关键点检测模型进行训练。
4.根据权利要求1所述的基于深度学习的关节影像关键点检测方法,其特征在于,在利用所述预设的关键点检测模型对所述样本图像进行关键点检测,得到所述样本图像的预测关键点的第一热力图之前,还包括:
使用均值为0,标准差为0.001的正态分布对所述U-Net网络和所述SCN网络的最后一层卷积层的权重进行初始化。
5.根据权利要求1所述的基于深度学习的关节影像关键点检测方法,其特征在于,所述关键点的数量为18。
6.一种用于确定关节假体置换位置的方法,其特征在于,包括:
获取待提取关键点的关节影像;
利用权利要求1-5中的任一项所述的方法训练得到的目标关键点检测模型从所述关节影像提取所述关键点;
根据提取的所述关键点确定假体的置换位置。
7.根据权利要求6所述的用于确定关节假体置换位置的方法,其特征在于,所述关节影像包括髋关节影像。
8.根据权利要求6所述的用于确定关节假体置换位置的方法,其特征在于,所述关键点包括:左髂前上棘,右髂前上棘,左髋臼前缘中心、右髋臼前缘中心、左髋臼上缘中心、右髋臼上缘中心、左髋臼后缘中心、右髋臼后缘中心、左髋臼旋转中心、右髋臼旋转中心、左耻骨突起中心、右耻骨突起中心、左股骨头中心、右股骨头中心、左大转子、右大转子、左小转子、右小转子。
9.一种基于深度学习的关节影像关键点检测装置,其特征在于,所述装置包括:
样本获取模块,用于获取样本图像,所述样本图像包括关键点位置的标注信息;
输入模块,用于将所述样本图像输入预设的关键点检测模型,所述关键点检测模型包括U-Net网络;
其中,所述U-Net网络包括编码模块和解码模块,所述解码模块使用重采样操作或反卷积操作;进一步地,所述关键点检测模型还包括SCN网络,所述U-Net网络用于对所述样本图像进行处理得到局部热力图;所述SCN网络用于对所述局部热力图进行处理,得到空间构型热力图;
第一预测模块,用于利用所述预设的关键点检测模型对所述样本图像进行关键点检测,得到所述样本图像的预测关键点的第一热力图;其中,所述预测关键点的第一热力图根据所述局部热力图以及所述空间构型热力图得到;
训练模块,用于根据所述样本图像的预测关键点的第一热力图和设定的损失函数对所述预设关键点检测模型的网络权值进行训练,得到目标关键点检测模型;具体包括:对所述预测关键点的第一热力图处理得到预测关键点的第三热力图;根据所述预测关键点的第三热力图得到关键点坐标的预测值以及所述预测关键点的第三热力图在各个方向的方差;根据关键点坐标的预测值、所述预测关键点的第三热力图在各个方向的方差、以及关键点坐标的实际值和目标方差,以及设定损失函数训练所述预设的关键点检测模型,得到目标关键点检测模型;其中,所述损失函数为:;其中,pred为关键点坐标的预测值,y为关键点坐标的实际值,Varx、Vary和Varz为所述预测第三关键点的热力图在x,y,z方向上的方差,σ为目标方差,α为权重因子;
进一步地,所述基于深度学习的关节影像关键点检测装置,还包括:
使用目标关键点检测模型对所述样本图像进行处理得到所述样本图像的预测关键点的第二热力图;
对所述样本图像的预测关键点的第二热力图进行处理得到所述样本图像中关键点的预测坐标,具体包括:确定所述样本图像的预测关键点的第二热力图中具有最大响应的像素,并将该最大响应的像素的坐标作为所述样本图像中关键点的预测坐标;或者计算所述样本图像的预测关键点的第二热力图的重心,并将其作为所述样本图像中关键点的预测坐标;或者对所述样本图像的预测关键点的第二热力图进行预处理,计算预处理后的所述样本图像的预测关键点的第二热力图的重心,并将其作为所述样本图像中关键点的预测坐标;
其中,所述对所述样本图像的预测关键点的第二热力图进行预处理,包括:使用设定阈值对所述样本图像的预测关键点的第二热力图的响应进行过滤;或者使用响应的最大值对所述样本图像的预测关键点的第二热力图进行归一化,并使用设定阈值进行过滤;或者使用指数函数对所述样本图像的预测关键点的第二热力图进行处理;
根据所述样本图像中关键点的预测坐标和真实坐标确定所述目标关键点检测模型的检测误差;
根据所述目标关键点检测模型的检测误差对所述目标关键点检测模型进行评估。
10.一种用于确定关节假体置换位置的装置,其特征在于,包括:
图片获取模块,用于获取待提取关键点的关节影像;
预测模块,用于利用权利要求9所述的装置训练的目标关键点检测模型从所述关节影像提取所述关键点;
确定模块,用于根据提取的所述关键点确定假体的置换位置。
11.一种计算设备,其特征在于,所述设备包括:处理器,以及存储有计算机程序指令的存储器;所述处理器读取并执行所述计算机程序指令,以实现如权利要求1-5中的任意一项所述基于深度学习的关节影像关键点检测方法,或权利要求6-8中的任意一项所述的用于确定关节假体置换位置的方法。
12.一种计算机存储介质,其特征在于,所述计算机存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现权利要求1-5中的任意一项所述基于深度学习的关节影像关键点检测方法,或权利要求6-8中的任意一项所述的用于确定关节假体置换位置的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110827759.7A CN113706463B (zh) | 2021-07-22 | 2021-07-22 | 基于深度学习的关节影像关键点自动检测方法、装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110827759.7A CN113706463B (zh) | 2021-07-22 | 2021-07-22 | 基于深度学习的关节影像关键点自动检测方法、装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113706463A CN113706463A (zh) | 2021-11-26 |
CN113706463B true CN113706463B (zh) | 2024-04-26 |
Family
ID=78650283
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110827759.7A Active CN113706463B (zh) | 2021-07-22 | 2021-07-22 | 基于深度学习的关节影像关键点自动检测方法、装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113706463B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114186632B (zh) * | 2021-12-10 | 2023-04-18 | 北京百度网讯科技有限公司 | 关键点检测模型的训练方法、装置、设备、存储介质 |
CN114494183B (zh) * | 2022-01-25 | 2024-04-02 | 哈尔滨医科大学附属第一医院 | 一种基于人工智能的髋臼半径自动测量方法及系统 |
CN114638878B (zh) * | 2022-03-18 | 2022-11-11 | 北京安德医智科技有限公司 | 基于深度学习的二维超声心动图管径检测方法及装置 |
CN114782449B (zh) * | 2022-06-23 | 2022-11-22 | 中国科学技术大学 | 下肢x光影像中关键点提取方法、系统、设备及存储介质 |
CN117351232A (zh) * | 2023-11-03 | 2024-01-05 | 中国医学科学院北京协和医院 | 膝关节关键点检测方法、装置、设备及可读存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109508681A (zh) * | 2018-11-20 | 2019-03-22 | 北京京东尚科信息技术有限公司 | 生成人体关键点检测模型的方法和装置 |
CN110738654A (zh) * | 2019-10-18 | 2020-01-31 | 中国科学技术大学 | 髋关节影像中的关键点提取及骨龄预测方法 |
CN110895809A (zh) * | 2019-10-18 | 2020-03-20 | 中国科学技术大学 | 准确提取髋关节影像中关键点的方法 |
CN110991380A (zh) * | 2019-12-11 | 2020-04-10 | 腾讯科技(深圳)有限公司 | 人体属性识别方法、装置、电子设备以及存储介质 |
CN111126101A (zh) * | 2018-10-30 | 2020-05-08 | 北京猎户星空科技有限公司 | 关键点位置的确定方法、装置、电子设备和存储介质 |
CN111402228A (zh) * | 2020-03-13 | 2020-07-10 | 腾讯科技(深圳)有限公司 | 图像检测方法、装置和计算机可读存储介质 |
CN111523422A (zh) * | 2020-04-15 | 2020-08-11 | 北京华捷艾米科技有限公司 | 一种关键点检测模型训练方法、关键点检测方法和装置 |
CN111967406A (zh) * | 2020-08-20 | 2020-11-20 | 高新兴科技集团股份有限公司 | 人体关键点检测模型生成方法、系统、设备和存储介质 |
CN112668480A (zh) * | 2020-12-29 | 2021-04-16 | 上海高德威智能交通系统有限公司 | 头部姿态角检测方法、装置、电子设备及存储介质 |
CN112785582A (zh) * | 2021-01-29 | 2021-05-11 | 北京百度网讯科技有限公司 | 热力图生成模型的训练方法、装置、电子设备和存储介质 |
WO2021097750A1 (zh) * | 2019-11-21 | 2021-05-27 | 深圳市欢太科技有限公司 | 人体姿态的识别方法、装置、存储介质及电子设备 |
CN113095254A (zh) * | 2021-04-20 | 2021-07-09 | 清华大学深圳国际研究生院 | 一种人体部位关键点的定位方法及系统 |
CN113139564A (zh) * | 2020-01-20 | 2021-07-20 | 清华大学 | 关键点检测模型的训练方法、装置、电子设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110163048B (zh) * | 2018-07-10 | 2023-06-02 | 腾讯科技(深圳)有限公司 | 手部关键点的识别模型训练方法、识别方法及设备 |
-
2021
- 2021-07-22 CN CN202110827759.7A patent/CN113706463B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111126101A (zh) * | 2018-10-30 | 2020-05-08 | 北京猎户星空科技有限公司 | 关键点位置的确定方法、装置、电子设备和存储介质 |
CN109508681A (zh) * | 2018-11-20 | 2019-03-22 | 北京京东尚科信息技术有限公司 | 生成人体关键点检测模型的方法和装置 |
CN110738654A (zh) * | 2019-10-18 | 2020-01-31 | 中国科学技术大学 | 髋关节影像中的关键点提取及骨龄预测方法 |
CN110895809A (zh) * | 2019-10-18 | 2020-03-20 | 中国科学技术大学 | 准确提取髋关节影像中关键点的方法 |
WO2021097750A1 (zh) * | 2019-11-21 | 2021-05-27 | 深圳市欢太科技有限公司 | 人体姿态的识别方法、装置、存储介质及电子设备 |
CN110991380A (zh) * | 2019-12-11 | 2020-04-10 | 腾讯科技(深圳)有限公司 | 人体属性识别方法、装置、电子设备以及存储介质 |
CN113139564A (zh) * | 2020-01-20 | 2021-07-20 | 清华大学 | 关键点检测模型的训练方法、装置、电子设备及存储介质 |
CN111402228A (zh) * | 2020-03-13 | 2020-07-10 | 腾讯科技(深圳)有限公司 | 图像检测方法、装置和计算机可读存储介质 |
CN111523422A (zh) * | 2020-04-15 | 2020-08-11 | 北京华捷艾米科技有限公司 | 一种关键点检测模型训练方法、关键点检测方法和装置 |
CN111967406A (zh) * | 2020-08-20 | 2020-11-20 | 高新兴科技集团股份有限公司 | 人体关键点检测模型生成方法、系统、设备和存储介质 |
CN112668480A (zh) * | 2020-12-29 | 2021-04-16 | 上海高德威智能交通系统有限公司 | 头部姿态角检测方法、装置、电子设备及存储介质 |
CN112785582A (zh) * | 2021-01-29 | 2021-05-11 | 北京百度网讯科技有限公司 | 热力图生成模型的训练方法、装置、电子设备和存储介质 |
CN113095254A (zh) * | 2021-04-20 | 2021-07-09 | 清华大学深圳国际研究生院 | 一种人体部位关键点的定位方法及系统 |
Non-Patent Citations (2)
Title |
---|
人体姿态点识别算法研究;王柳程;《中国优秀硕士学位论文全文数据库 信息科技辑》(第01期);第1-69页 * |
基于深度学习的人体姿态估计技术研究;杨川;《中国优秀硕士学位论文全文数据库 信息科技辑》(第02期);第1-51页 * |
Also Published As
Publication number | Publication date |
---|---|
CN113706463A (zh) | 2021-11-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113706463B (zh) | 基于深度学习的关节影像关键点自动检测方法、装置 | |
Audenaert et al. | Cascaded statistical shape model based segmentation of the full lower limb in CT | |
Kohlberger et al. | Evaluating segmentation error without ground truth | |
EP3111422B1 (en) | System and method for auto-contouring in adaptive radiotherapy | |
CN113313234A (zh) | 用于图像分割的神经网络系统和方法 | |
CN110648337A (zh) | 髋关节分割方法、装置、电子设备和存储介质 | |
EP3457356B1 (en) | Method and apparatus for fully automated segmentation of joint using patient-specific optimal thresholding and watershed algorithm | |
CN111986262B (zh) | 一种图像区域定位方法及装置 | |
CN111507965A (zh) | 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质 | |
CN111161279A (zh) | 医学图像分割方法、装置及服务器 | |
CN114723763B (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
CN113240661B (zh) | 基于深度学习的腰椎骨分析方法、装置、设备及存储介质 | |
CN113591823B (zh) | 深度预测模型的训练及人脸深度图像的生成方法、装置 | |
Sokooti et al. | Hierarchical prediction of registration misalignment using a convolutional LSTM: Application to chest CT scans | |
Khordehchi et al. | Automatic lung nodule detection based on statistical region merging and support vector machines | |
CN114332563A (zh) | 图像处理模型训练方法及相关装置、设备和存储介质 | |
CN112308764A (zh) | 图像配准方法及装置 | |
CN115546270A (zh) | 多尺度特征融合的图像配准方法、模型训练方法及设备 | |
CN111126424A (zh) | 一种基于卷积神经网络的超声图像分类方法 | |
CN115375787A (zh) | 伪影校正方法、计算机设备及可读存储介质 | |
CN113888751A (zh) | 一种关节关键点的识别方法、装置及计算机设备 | |
CN114581340A (zh) | 一种图像校正方法及设备 | |
CN114612391A (zh) | 基于深度学习的全髋关节术后腿长差的计算方法及系统 | |
CN113963015A (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
CN113689454A (zh) | 基于卷积神经网络的3d ct椎体分割算法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 310023 rooms 305 and 306, building 8, 181 Wuchang Avenue, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province Applicant after: Hangzhou Jianjia Medical Technology Co.,Ltd. Address before: 310023 rooms 305 and 306, building 8, 181 Wuchang Avenue, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province Applicant before: HANGZHOU JIANJIA ROBOT Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |