CN111862047A - 一种级联的医学影像关键点检测方法及装置 - Google Patents
一种级联的医学影像关键点检测方法及装置 Download PDFInfo
- Publication number
- CN111862047A CN111862047A CN202010708186.1A CN202010708186A CN111862047A CN 111862047 A CN111862047 A CN 111862047A CN 202010708186 A CN202010708186 A CN 202010708186A CN 111862047 A CN111862047 A CN 111862047A
- Authority
- CN
- China
- Prior art keywords
- key point
- trained
- detection model
- point detection
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000012549 training Methods 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 210000000988 bone and bone Anatomy 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 8
- 230000000399 orthopedic effect Effects 0.000 description 8
- 238000002372 labelling Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000002591 computed tomography Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 210000000629 knee joint Anatomy 0.000 description 5
- 210000004417 patella Anatomy 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000426 patellar ligament Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000002303 tibia Anatomy 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本申请涉及一种级联的医学影像关键点检测方法，所述方法包括：将目标医学影像输入已训练的第一级关键点检测模型，得到已训练的第一级关键点检测模型输出的第一关键点坐标；根据第一关键点坐标，确定第一关键点对应的目标图像；将目标图像输入已训练的第二级关键点检测模型，得到已训练的第二极关键点检测模型输出的第二关键点坐标。通过本申请解决了相关技术中对图像中关键点定位的精度低的问题。
Description
技术领域
本申请实施例涉及医学图像处理技术领域，特别是涉及一种级联的医学影像关键点检测方法及装置。
背景技术
随着计算机技术的发展，与之关系密切的医学影像技术在骨科疾病诊断方面发挥出了极大的作用。其中医学影像主要包括X线照片、电子计算机断层扫描(ComputedTomography，CT)影像、磁共振成像(Magnetic Resonance Imaging，MRI)等。在诊断中医生主要依赖于手工测量法测量骨关节，因此医学影像服务需求不断增长，也意味着影像科医生的阅片工作日益繁重。
近年来有人提出通过关键点检测神经网络来实现髌骨高度的自动影像测量及评估。即，利用关键点检测的方式来定位骨科中的关键点，并通过点的坐标计算出相关的骨科测量参数。
但是这种骨科影像关键点检测方法仍存在问题：医学图像往往具有非常高的分辨率，就X线照片举例来说，其分辨率最大轴的像素个数通常会达到2千PPI以上，因此目前关键点检测只能采用低分辨率图像作为输入，导致损失了关键点定位的精度。
目前针对相关技术中对图像中的关键点定位的精度低的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种级联的医学影像关键点检测方法及装置，以至少解决相关技术中对图像中关键点定位的精度低的问题。
第一方面，本申请实施例提供了一种级联的医学影像关键点检测方法，所述方法包括：将目标医学影像输入已训练的第一级关键点检测模型，得到已训练的第一级关键点检测模型输出的第一关键点坐标；根据第一关键点坐标，确定第一关键点对应的目标图像；将目标图像输入已训练的第二级关键点检测模型，得到已训练的第二极关键点检测模型输出的第二关键点坐标。
在其中一些实施例中，医学影像至少包括骨组织影像。
在其中一些实施例中，根据第一关键点坐标，确定第一关键点对应的目标图像包括：根据第一关键点坐标，确定第一关键点对应的目标区域；根据目标区域，对医学影像进行图像分割，确定第一关键点对应目标图像。
在其中一些实施例中，在将医学影像输入已训练的第一级关键点检测模型，得到已训练的第一级关键点检测模型输出的第一关键点坐标之前，该方法还包括：获取原始医学影像；对原始医学影像进行缩小分辨率处理，得到目标医学影像。
在其中一些实施例中，已训练的第二级关键点模型至少包括一个已训练的关键点检测模型。
在其中一些实施例中，已训练的关键点检测模型是以目标图像作为输入，以关键点坐标转换成的多通道二维高斯响应图作为监督，对深度学习模型进行训练得到的。
在其中一些实施例中，已训练的关键点检测模型包括编码-解码模型，编码模块包括vgg-16，resnet-50结构的至少一种，解码模块包括至少一个上采样层；将目标图像输入编码-解码模型中生成热图，每一关键点在热图上呈现为2维高斯分布。
第二方面，本申请实施例提供了一种医学影像关键点检测装置，第一级关键点检测单元，用于将医学影像输入已训练的第一级关键点检测模型，得到已训练的第一级关键点检测模型输出的第一关键点坐标；感兴趣区域获取单元，用于根据第一关键点坐标，确定第一关键点对应的目标图像；第二级关键点检测单元，用于将目标图像输入已训练的第二级关键点检测模型，得到已训练的第二极关键点检测模型输出的第二关键点坐标。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的级联的医学影像关键点检测方法。
第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的级联的医学影像关键点检测方法。
相比于相关技术，本发明通过级联的操作可解决对骨科影像从粗到精的关键点定位，在医学图像中目标区域可能往往只是图像中的一小块区域，所以利用这种级联的结构定位出目标所在的感兴趣区域，然后再在感兴趣区域内做精细的关键点定位，可以减少关键点检测的搜索空间且可以在高分辨率下定位关键点，使关键点定位更加精确。并且第一级和第二级都使用关键点检测模型，简化了感兴趣区域定位的流程，相比于使用目标检测模型进行感兴趣区域定位，计算量小且简单。
本申请实施例的一个或多个实施例的细节在以下附图和描述中提出，以使本申请实施例的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请实施例的进一步理解，构成本申请实施例的一部分，本申请实施例的示意性实施例及其说明用于解释本申请实施例，并不构成对本申请实施例的不当限定。在附图中：
图1是根据本申请实施例的级联的医学影像关键点检测方法的流程图；
图2是根据本申请实施例的医学影像处理系统的结构示意图；
图3是本发明级联的医学影像关键点检测装置结构图；
图4是本发明在实施例中使用级联的医学影像关键点检测方法进行膝关节关键点检测的流程图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
图1展示了本发明提供的一种级联的医学影像关键点检测方法所对应的流程图，该流程图可以由医学影像关键点检测装置执行，包括如下步骤：
步骤101，将目标医学影像输入已训练的第一级关键点检测模型，得到已训练的第一级关键点检测模型输出的第一关键点坐标。
在其中一些实施例中，目标医学影像可以为骨科影像，骨科影像至少包括X光片、CT和MRI。
本发明提出的方案是先确定目标图像，其中目标图像为原始医学影像中的感兴趣区域，然后在原始分辨率下将感兴趣区域取出，再进行关键点检测。
在一种实施例中，将医学影像输入已训练的第一级关键点检测模型之前，还包括：获取原始医学影像，其中原始医学影像为原始分辨率下的医学影像，对原始医学影像进行缩小分辨率处理，得到目标医学影像。
第一级关键点检测模型为基于深度学习的关键点检测模型，关键点检测模型可以采用编码-解码模型，编码模块可以选择vgg-16，resnet-50等结构，解码模块由几个上采样层构成；将目标图像输入编码-解码模型中生成热图，每一关键点在热图上呈现为2维高斯分布。
第一级关键点检测模型是通过标注数据训练得到的，具体为：
对原始医学影像进行关键点标注，并且对该影像和关键点坐标数据进行预处理，然后构建训练深度学习模型时所需的训练集数据和验证集数据。
其中，对原始医学影像进行标注的规则一致，属于医学影像上固定的概念。在具体的标注过程中，可以由一名医生通过标注软件在原始医学影像上的关键点位置进行鼠标点击标注，标注软件记录关键点的类别和坐标，一共标注10个关键点，待一张图像的所有关键点标注完成后，通过标注软件的回显功能将标注结果给至少一名医生进行校对，从而减少标注错误。
需要说明的是，关键点定位是为了用来对指标进行测量，不同的指标需要不同的关键点去计算。因此进行测量指标时需要对关键点类别进行区分，在标记时确定每个关节点的类别，训练时能设计模型对关键点类别进行区分。
在具体的标注过程中需要利用第一关键点的位置信息来确定目标区域所在的位置。其中位置信息可以是关键点的相对位置、关键点的坐标。本实施例中，直接使用关键点的坐标在计算上更方便一些。
在一种实施例中，对数据进行预处理，将数据处理成可以用来训练神经网络的格式。如图4所示，以膝关节X光片举例，具体的，将原始膝关节X光片图像缩放到384x256大小，然后将关键点坐标转换成多通道二维高斯响应图，最后将数据按一定比例分成训练集和验证集。
其中将关键点坐标转换成多通道二维高斯响应图的步骤如下：
首先，新建一个384×256大小的零矩阵；然后令关键点坐标位置的像素值为1；接着使用高斯核大小为9×9，均值为0，方差为0～1之间的二维高斯核对该矩阵进行滤波；最后将矩阵使用最大-最小值归一化方法归一化到0～1之间。一共有10个关键点，则构建10张二维高斯响应图，每张二维高斯响应图为一个关键点坐标生成。同理，构建一个高斯核大小为5×5二维高斯响应图。将高斯核大小为9×9的二维高斯响应图作为第一个子网络的监督信息，将高斯核大小为5×5的二维高斯响应图作为第二个子网络的监督信息，从而形成了一个由粗到细的级联式分割网络。
然后对训练集数据进行数据增强，得到增强后的训练数据集。例如可以将数据量增强到之前的K倍，可能的方式可以为通过随机水平翻转、随机旋转-25～25度、随机缩放0.9～1.2、增加随机高斯噪声等方式来将数据量增强到之前的K倍，提升模型的泛化能力。
在训练第一级关键点检测模型时，采用均方差作为损失函数，并通过反向传播进行训练网络参数，采用Adam作为训练的优化器，初始学习率为1e-3，当验证集上损失不在下降时训练结束。
预测关键点坐标的步骤如下：
先将图像缩放到384x256大小，然后输入到已训练的第一级关键点检测模型中计算得到多通道二维高斯响应图，然后对多通道二维高斯响应图进行解析，每个通道解析出一种关键点，像素最大值所在的坐标即为当前通道预测的关键点的坐标，最大值对应的即为当前像素点是关键点的置信度，如果置信度小于设定的阈值则剔除。
步骤102，根据第一关键点坐标，确定第一关键点对应的目标图像。
由于原始医学影像具有非常高的分辨率，第一级关键点检测模型的输入图像为缩放后的图像，图像分辨率通常小于原始分辨率大小，图像缩小后再进行预测关键点使得关键点坐标定位不够精细，因此通过第一级关键点检测模型，定位出目标所在的感兴趣区域，然后再在感兴趣区域内做精细的关键点定位。
具体而言，将步骤101中预测得到的关键点坐标映射回原始膝关节X光片图像坐标系中，并根据所有关键点中的最上、最下、最左、最右的关键点的坐标，向外扩20个像素，切取包含所有关键点在内的图像块，然后将图像块缩放到512x512大小，这样就获得了第一关键点所在感兴趣区域的图像块，即第一关键点对应的目标图像。
在其中一些实施例中，感兴趣区域定义为矩形，并且由第一组关键点中的n个第一关键点组成(n>0)，感兴趣区域个数可以大于等于1，每个感兴趣区域的边界由所述感兴趣区域中的n个关键点的边界点确定。
在其他实施例中，本申请实施例还可以通过GrabCut算法、GraphCut算法或Ncut算法(Normalized Cuts)实现对待校正图像的分割，例如：可以根据灰度图像的分布，选定一个灰度值作为标准值；将图像矩阵中每像素的灰度值与标准值比较；在标准值之上置其灰度值为255，在标准值之下置为0；将灰度图像转换为二值图像。
步骤103，将目标图像输入已训练的第二级关键点检测模型，得到已训练的第二极关键点检测模型输出的第二关键点坐标。
其中第二级关键点检测模型是通过关键点所在感兴趣区域的图像块训练得到的，训练方式同第一级关键点检测模型，训练数据和训练方案上存在差异，因此第二级关键点检测模型的网络权重和第一级关键点检测模型的网络权重不一样，目的是适应不同阶段模型的不同需求。具体而言，第一极关键点检测模型需要对关键点粗定位，得到关键点的粗略位置信息并避免出现关键点定位偏离特别大的异常情况，第二级关键点检测模型着重于高精度的定位。第二级关键点模型可以由1个或多个模型关键点检测模型组成。如果在图像中存在两处以上分离的关键点群，则需要划分两处以上感兴趣区域。所述关键点群可以是分布在图像中两处相离较远的两组关键点，或是两组所属类别或定义不同的关键点。
在第二级关键点检测的时候，将步骤102得到的感兴趣区域的图像块输入到第二级关键点检测模型，然后预测得到关键点坐标，最后将关键点坐标映射回原始膝关节X光片图像坐标系中去，通过关键点可以计算髌骨高度相关的测量指标(根据图2中的点进行说明)，其中包括：
Insall-Salvati指数，Insall-Salvati指数是应用最广泛的垂直髌骨测量方法之一。髌骨最大对角线长度(LP)的测量是从其后上角至髌骨下极的最低点，髌腱长度(LT)的测量是从髌骨下极的最低点至胫骨结节,两测量值的比值(LP/LT)即Insall-Salvati指数。其计算公式为(c到f点的距离)/(f到i点的距离)。
Caton-Deschamps指数，在Caton或Caton-Deschamps法中，髌骨的垂直位置被定义为髌关节面下缘至胫骨近端前缘间的距离(B)与髌关节面的长度(A)的比值。其计算公式为(c到e点的距离)/(e到g点的距离)。
在一种实施例中，在训练过程中增大第一阶段热图(heatmap)的高斯核(kernel)大小，可以降低模型对关键点位置偏移的敏感程度，更符合第一阶段训练的粗定位的需求，也更容易训练，梯度回传的视野也更大。而且两个阶段的模型在训练过程中可以相互复用对方的权重参数，加快模型训练速度。本方案在粗定位的第一阶段也使用关键点模型可以更好地利用输入数据中的关键点信息，在信息提取上更加直接。
对于上述两个关键点检测模型，可以采用相同的网络结构，也可以采用不同的网络结构。在本实施例中都采用编码-解码网络，其网络的输入为图像，输出为关键点二维高斯响应图。编码网络由去掉全连接层和输出层的ResNet-18组成，解码网络由4个双线性插值上采样模块组成，网络使用了批归一化(Batch normalization)和非线性激活(ReLU)。
基于相同的技术构思，图3示例性的示出了本发明实施例提供的一种级联的医学影像关键点检测装置，包括：
第一级关键点检测单元301，用于将医学影像输入已训练的第一级关键点检测模型，得到已训练的第一级关键点检测模型输出的第一关键点坐标；
感兴趣区域获取单元302，用于根据第一关键点坐标，确定第一关键点对应的目标图像；
第二级关键点检测单元303，用于将目标图像输入已训练的第二级关键点检测模型，得到已训练的第二极关键点检测模型输出的第二关键点坐标。
本申请实施例提供的计算机设备21可以应用于医学影像处理系统中。图2为根据本申请实施例的医学影像处理系统的结构示意图。如图2所示，在该医学影像处理系统可以包括医学扫描设备20、计算机设备21。
其中，医学扫描设备20可以是CT系统，或者正电子发射计算机断层显像-电子计算机断层扫描系统(PET-CT)、单光子发射计算机断层显像-电子计算机断层扫描系统(SPET-CT)、医用X射线系统、核磁共振成像系统等任意一种或者多种医学图像扫描系统。
其中，计算机设备21可以包括存储器212、处理器211以及存储在存储器212上并可在处理器211上运行的计算机程序213。
具体地，上述处理器211可以包括中央处理器211(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。
在其中一些实施例中，处理器211被配置为：调用存储器212中存储的程序指令，按照获得的程序执行上述级联的医学影像关键点检测方法。
储存器可以包括用于数据或指令的大容量存储器212。举例来说而非限制，存储器212可包括硬盘驱动器(Hard Disk Drive，简称为HDD)、软盘驱动器、固态驱动器(SolidState Drive，简称为SSD)、闪存、光盘、磁光盘、磁带或通用串行总线(Universal SerialBus，简称为USB)驱动器或者两个或更多个以上这些的组合。存储器212可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据业务处理所创建的数据等。此外，存储器212可以包括高速随机存取存储器212，还可以包括非易失性存储器212，例如至少一个磁盘存储器212件、闪存器件、或其他易失性固态存储器212件。
在其中一些实施例中，处理器211被配置为：存储器212上存储或者缓存有需要处理和/或通信使用的各种数据文件，以及能够由处理器211运行的计算机程序213。
在其中一些实施例中，计算机设备21还可包括通信接口和总线。其中，如图2所示，处理器211、存储器212、通信接口通过总线连接并完成相互间的通信。
通信接口用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。通信接口还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
总线包括硬件、软件或两者，将计算机设备21的部件彼此耦接在一起。
该计算机设备21可以基于获取的原始医学影像，执行本实施例提供的级联的医学影像关键点检测方法。
另外，结合上述实施例中的级联的医学影像关键点检测方法，本申请实施例可提供一种计算机可读存储介质来实现。该存储介质上存储有计算机程序213指令；该计算机程序213指令被处理器211执行时实现上述实施例中的任意一种级联的医学影像关键点检测方法。
相比于相关技术，本申请实施例有以下优势：
(1)本申请实施例通过级联的操作可解决对骨科影像从粗到精的关键点定位，在医学图像中目标区域可能往往只是图像中的一小块区域，所以利用这种级联的结构定位出目标所在的感兴趣区域，然后再在感兴趣区域内做精细的关键点定位，可以减少关键点检测的搜索空间且可以在高分辨率下定位关键点，使关键点定位更加精确。
(2)本申请实施例中第一级和第二级都使用关键点检测模型，简化了感兴趣区域定位的流程，相比于使用目标检测模型进行感兴趣区域定位，计算量小且简单。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请实施例的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请实施例构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种级联的医学影像关键点检测方法，其特征在于，所述方法包括：
将目标医学影像输入已训练的第一级关键点检测模型，得到已训练的第一级关键点检测模型输出的第一关键点坐标；
根据第一关键点坐标，确定第一关键点对应的目标图像；
将目标图像输入已训练的第二级关键点检测模型，得到已训练的第二极关键点检测模型输出的第二关键点坐标。
2.根据权利要求1所述的级联的医学影像关键点检测方法，其特征在于，医学影像至少包括骨组织影像。
3.根据权利要求1所述的级联的医学影像关键点检测方法，其特征在于，根据第一关键点坐标，确定第一关键点对应的目标图像包括：
根据第一关键点坐标，确定第一关键点对应的目标区域；
根据目标区域，对医学影像进行图像分割，确定第一关键点对应目标图像。
4.根据权利要求1所述的级联的医学影像关键点检测方法，其特征在于，在将医学影像输入已训练的第一级关键点检测模型，得到已训练的第一级关键点检测模型输出的第一关键点坐标之前，该方法还包括：
获取原始医学影像；
对原始医学影像进行缩小分辨率处理，得到目标医学影像。
5.根据权利要求1所述的级联的医学影像关键点检测方法，其特征在于，已训练的第二级关键点模型至少包括一个已训练的关键点检测模型。
6.根据权利要求5所述的级联的医学影像关键点检测方法，其特征在于，
已训练的关键点检测模型是以目标图像作为输入，以关键点坐标转换成的多通道二维高斯响应图作为监督，对深度学习模型进行训练得到的。
7.根据权利要求6所述的级联的医学影像关键点检测方法，其特征在于，
已训练的关键点检测模型包括编码-解码模型，编码模块包括vgg-16，resnet-50结构的至少一种，解码模块包括至少一个上采样层；将目标图像输入编码-解码模型中生成热图，每一关键点在热图上呈现为2维高斯分布。
8.一种医学影像关键点检测装置，其特征在于，包括：
第一级关键点检测单元，用于将医学影像输入已训练的第一级关键点检测模型，得到已训练的第一级关键点检测模型输出的第一关键点坐标；
感兴趣区域获取单元，用于根据第一关键点坐标，确定第一关键点对应的目标图像；
第二级关键点检测单元，用于将目标图像输入已训练的第二级关键点检测模型，得到已训练的第二极关键点检测模型输出的第二关键点坐标。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1-7任一项所述的方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010708186.1A CN111862047B (zh) | 2020-07-22 | 2020-07-22 | 一种级联的医学影像关键点检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010708186.1A CN111862047B (zh) | 2020-07-22 | 2020-07-22 | 一种级联的医学影像关键点检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111862047A true CN111862047A (zh) | 2020-10-30 |
| CN111862047B CN111862047B (zh) | 2024-06-14 |
Family
ID=73001844
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010708186.1A Active CN111862047B (zh) | 2020-07-22 | 2020-07-22 | 一种级联的医学影像关键点检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111862047B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113160265A (zh) * | 2021-05-13 | 2021-07-23 | 四川大学华西医院 | 一种用于胼胝体状态评估的脑部胼胝体分割预测图像的构建方法 |
| CN113229807A (zh) * | 2021-05-17 | 2021-08-10 | 四川大学华西医院 | 人体康复评估装置、方法、电子设备及存储介质 |
| CN113706600A (zh) * | 2021-08-19 | 2021-11-26 | 北京欧应信息技术有限公司 | 用于测量身体部位的关键尺寸的方法、设备和介质 |
| CN113838134A (zh) * | 2021-09-26 | 2021-12-24 | 广州博冠信息科技有限公司 | 图像关键点检测方法、装置、终端和存储介质 |
| CN113870215A (zh) * | 2021-09-26 | 2021-12-31 | 推想医疗科技股份有限公司 | 中线提取方法及装置 |
| CN114022480A (zh) * | 2022-01-06 | 2022-02-08 | 杭州健培科技有限公司 | 基于统计与形状拓扑图的医学图像关键点检测方法和装置 |
| WO2022188547A1 (zh) * | 2021-03-09 | 2022-09-15 | 杭州朝厚信息科技有限公司 | X线头影图像的关键点检测方法 |
| CN115797730A (zh) * | 2023-01-29 | 2023-03-14 | 有方（合肥）医疗科技有限公司 | 模型训练方法及装置、头影测量关键点定位方法及装置 |
| CN116309591A (zh) * | 2023-05-19 | 2023-06-23 | 杭州健培科技有限公司 | 一种医学影像3d关键点检测方法、模型训练方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106599830A (zh) * | 2016-12-09 | 2017-04-26 | 中国科学院自动化研究所 | 人脸关键点定位方法及装置 |
| CN108428248A (zh) * | 2018-03-14 | 2018-08-21 | 苏州科达科技股份有限公司 | 车窗定位方法、系统、设备及存储介质 |
| US20180268256A1 (en) * | 2017-03-16 | 2018-09-20 | Aquifi, Inc. | Systems and methods for keypoint detection with convolutional neural networks |
| CN109389587A (zh) * | 2018-09-26 | 2019-02-26 | 上海联影智能医疗科技有限公司 | 一种医学图像分析系统、装置及存储介质 |
| CN109784149A (zh) * | 2018-12-06 | 2019-05-21 | 北京飞搜科技有限公司 | 一种人体骨骼关键点的检测方法及系统 |
| CN110415291A (zh) * | 2019-08-07 | 2019-11-05 | 清华大学 | 图像处理方法及相关设备 |
| CN110634133A (zh) * | 2019-09-04 | 2019-12-31 | 杭州健培科技有限公司 | 一种基于x线平片的膝关节骨科测量方法及装置 |
-
2020
- 2020-07-22 CN CN202010708186.1A patent/CN111862047B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106599830A (zh) * | 2016-12-09 | 2017-04-26 | 中国科学院自动化研究所 | 人脸关键点定位方法及装置 |
| US20180268256A1 (en) * | 2017-03-16 | 2018-09-20 | Aquifi, Inc. | Systems and methods for keypoint detection with convolutional neural networks |
| CN108428248A (zh) * | 2018-03-14 | 2018-08-21 | 苏州科达科技股份有限公司 | 车窗定位方法、系统、设备及存储介质 |
| CN109389587A (zh) * | 2018-09-26 | 2019-02-26 | 上海联影智能医疗科技有限公司 | 一种医学图像分析系统、装置及存储介质 |
| CN109784149A (zh) * | 2018-12-06 | 2019-05-21 | 北京飞搜科技有限公司 | 一种人体骨骼关键点的检测方法及系统 |
| CN110415291A (zh) * | 2019-08-07 | 2019-11-05 | 清华大学 | 图像处理方法及相关设备 |
| CN110634133A (zh) * | 2019-09-04 | 2019-12-31 | 杭州健培科技有限公司 | 一种基于x线平片的膝关节骨科测量方法及装置 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022188547A1 (zh) * | 2021-03-09 | 2022-09-15 | 杭州朝厚信息科技有限公司 | X线头影图像的关键点检测方法 |
| CN113160265A (zh) * | 2021-05-13 | 2021-07-23 | 四川大学华西医院 | 一种用于胼胝体状态评估的脑部胼胝体分割预测图像的构建方法 |
| CN113160265B (zh) * | 2021-05-13 | 2022-07-19 | 四川大学华西医院 | 一种用于胼胝体状态评估的脑部胼胝体分割预测图像的构建方法 |
| CN113229807A (zh) * | 2021-05-17 | 2021-08-10 | 四川大学华西医院 | 人体康复评估装置、方法、电子设备及存储介质 |
| CN113706600A (zh) * | 2021-08-19 | 2021-11-26 | 北京欧应信息技术有限公司 | 用于测量身体部位的关键尺寸的方法、设备和介质 |
| CN113838134A (zh) * | 2021-09-26 | 2021-12-24 | 广州博冠信息科技有限公司 | 图像关键点检测方法、装置、终端和存储介质 |
| CN113870215A (zh) * | 2021-09-26 | 2021-12-31 | 推想医疗科技股份有限公司 | 中线提取方法及装置 |
| CN113838134B (zh) * | 2021-09-26 | 2024-03-12 | 广州博冠信息科技有限公司 | 图像关键点检测方法、装置、终端和存储介质 |
| CN114022480B (zh) * | 2022-01-06 | 2022-04-22 | 杭州健培科技有限公司 | 基于统计与形状拓扑图的医学图像关键点检测方法和装置 |
| CN114022480A (zh) * | 2022-01-06 | 2022-02-08 | 杭州健培科技有限公司 | 基于统计与形状拓扑图的医学图像关键点检测方法和装置 |
| CN115797730A (zh) * | 2023-01-29 | 2023-03-14 | 有方（合肥）医疗科技有限公司 | 模型训练方法及装置、头影测量关键点定位方法及装置 |
| CN116309591A (zh) * | 2023-05-19 | 2023-06-23 | 杭州健培科技有限公司 | 一种医学影像3d关键点检测方法、模型训练方法及装置 |
| CN116309591B (zh) * | 2023-05-19 | 2023-08-25 | 杭州健培科技有限公司 | 一种医学影像3d关键点检测方法、模型训练方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111862047B (zh) | 2024-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111862047B (zh) | 一种级联的医学影像关键点检测方法及装置 | |
| Cui et al. | Automatic detection and scoring of kidney stones on noncontrast CT images using STONE nephrolithometry: combined deep learning and thresholding methods | |
| CN109859210B (zh) | 一种医学数据处理装置及方法 | |
| Woloszynski et al. | A signature dissimilarity measure for trabecular bone texture in knee radiographs | |
| US11996198B2 (en) | Determination of a growth rate of an object in 3D data sets using deep learning | |
| Chen et al. | Anatomy-aware siamese network: Exploiting semantic asymmetry for accurate pelvic fracture detection in x-ray images | |
| KR102228087B1 (ko) | 의료영상에서의 특정연골 분할 방법 및 장치 | |
| US10878564B2 (en) | Systems and methods for processing 3D anatomical volumes based on localization of 2D slices thereof | |
| Dallal et al. | Automatic estimation of heart boundaries and cardiothoracic ratio from chest x-ray images | |
| KR20140114303A (ko) | 3차원 의료 영상들에서 2차원 뷰의 자동 플래닝을 위한 방법 및 시스템 | |
| Poh et al. | Automatic segmentation of ventricular cerebrospinal fluid from ischemic stroke CT images | |
| CN115861656A (zh) | 用于自动处理医学图像以输出警报的方法、设备和系统 | |
| KR101590483B1 (ko) | 형태학적 연산을 이용한 이미지 분할 처리방법 | |
| Ridhma et al. | Review of automated segmentation approaches for knee images | |
| Kochunov et al. | Evaluation of octree regional spatial normalization method for regional anatomical matching | |
| Podsiadlo et al. | Automated selection of trabecular bone regions in knee radiographs | |
| Oliver et al. | Image augmentation and automated measurement of endotracheal-tube-to-carina distance on chest radiographs in intensive care unit using a deep learning model with external validation | |
| Silvoster M et al. | Efficient segmentation of lumbar intervertebral disc from MR images | |
| Yan et al. | Automated matching and segmentation of lymphoma on serial CT examinations | |
| Raad et al. | Probabilistic medical image imputation via deep adversarial learning | |
| CN113408595A (zh) | 病理图像处理的方法、装置、电子设备及可读存储介质 | |
| Neeraja et al. | A review on automatic cephalometric landmark identification using artificial intelligence techniques | |
| Ridhma et al. | Automated measurement of sulcus angle on axial knee magnetic resonance images | |
| Xu et al. | Auto-segmentation of Hip Joints Using MultiPlanar UNet with Transfer Learning | |
| Reis | Detection of foot bone anomaly using medical photogrammetry |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |