CN116128912A - 一种髋关节图像的分割方法、装置、设备及介质 - Google Patents
一种髋关节图像的分割方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116128912A CN116128912A CN202310137793.0A CN202310137793A CN116128912A CN 116128912 A CN116128912 A CN 116128912A CN 202310137793 A CN202310137793 A CN 202310137793A CN 116128912 A CN116128912 A CN 116128912A
- Authority
- CN
- China
- Prior art keywords
- hip joint
- image
- model
- hip
- sample image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004394 hip joint Anatomy 0.000 title claims abstract description 144
- 238000000034 method Methods 0.000 title claims abstract description 67
- 230000011218 segmentation Effects 0.000 claims abstract description 98
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 79
- 210000002436 femur neck Anatomy 0.000 claims abstract description 36
- 210000000689 upper leg Anatomy 0.000 claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 34
- 210000001981 hip bone Anatomy 0.000 claims abstract description 33
- 230000002146 bilateral effect Effects 0.000 claims abstract description 21
- 210000003128 head Anatomy 0.000 claims abstract description 10
- 238000013135 deep learning Methods 0.000 claims description 37
- 238000012545 processing Methods 0.000 claims description 17
- 210000001624 hip Anatomy 0.000 claims description 14
- 230000001537 neural effect Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000003014 reinforcing effect Effects 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 4
- 230000008602 contraction Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 206010034246 Pelvic fractures Diseases 0.000 description 1
- 241000469816 Varus Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 208000020089 femoral neck fracture Diseases 0.000 description 1
- 210000002391 femur head Anatomy 0.000 description 1
- 238000011540 hip replacement Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003739 neck Anatomy 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000011541 total hip replacement Methods 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本公开涉及一种髋关节图像的分割方法、装置、设备及介质，其中，该方法包括：获取包括髋关节的待分割图像；通过预先训练好的分割模型对待分割图像中的骨骼进行分割，得到髋关节对应的骨模型；其中，分割模型是基于标注有关键骨骼的第一髋关节样本图像集合训练得到的；关键骨骼包括：双侧的股骨、股骨头、股骨颈和髋骨。本公开能够降低分割成本，提高骨模型的统一性、完整性。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种髋关节图像的分割方法、装置、设备及介质。
背景技术
目前，大多数的髋关节置换手术机器人依赖于术前CT(Computed Tomography，电子计算机断层扫描)和对应的骨模型。其中，骨模型可以通过手动分割或自动分割得到。通过第三方软件(比如mimics)手动分割出髋关节的骨模型的方式耗时耗力，且手动分割出的骨模型因人而异，不能保证统一精准的结果，影响到术前规划的准确性。而自动分割大多局限在双侧的股骨和髋骨，分割结果不完整。不包括股骨头和股骨颈，但股骨头和股骨颈对于术前规划的自动化非常重要。
因此，需要一种成本低、统一完整的骨模型分割结果，以更好地辅助术前规划。
发明内容
为了解决上述技术问题，本公开提供了一种髋关节图像的分割方法、装置、设备及介质。
根据本公开的一方面，提供了一种髋关节图像的分割方法，包括：
获取包括髋关节的待分割图像；
通过预先训练好的分割模型对所述待分割图像中的骨骼进行分割，得到髋关节对应的骨模型；
其中，所述分割模型是基于标注有关键骨骼的第一髋关节样本图像集合训练得到的；所述关键骨骼包括：双侧的股骨、股骨头、股骨颈和髋骨。
根据本公开的另一方面，提供了一种髋关节图像的分割装置，包括：
图像获取模块，用于获取包括髋关节的待分割图像；
分割模块，用于通过预先训练好的分割模型对所述待分割图像中的骨骼进行分割，得到髋关节对应的骨模型；
其中，所述分割模型是基于标注有关键骨骼的第一髋关节样本图像集合训练得到的；所述关键骨骼包括：双侧的股骨、股骨头、股骨颈和髋骨。
根据本公开的另一方面，提供了一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述方法。
根据本公开的另一方面，还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述方法。
本公开实施例提供的技术方案与现有技术相比具有如下优点：
本公开实施例提供一种髋关节图像的分割方法、装置、设备及介质，包括：获取包括髋关节的待分割图像；通过预先训练好的分割模型对待分割图像中的骨骼进行分割，得到髋关节对应的骨模型；其中，分割模型是基于标注有关键骨骼的第一髋关节样本图像集合训练得到的；关键骨骼包括：双侧的股骨、股骨头、股骨颈和髋骨。本技术方案中，利用分割模型对待分割图像中的骨骼进行分割，能够降低分割成本，提高骨模型的统一性；同时，由于分割模型是利用标注有股骨、股骨头、股骨颈和髋骨的第一髋关节样本图像集合训练得到的，从而，分割模型能够分割出股骨、股骨头、股骨颈和髋骨，增加了分割结果的完整性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例所述髋关节图像的分割方法流程图；
图2为本公开实施例所述分割方法的实现场景示意图；
图3为本公开实施例所述一种分割模型的训练方法流程图；
图4为本公开实施例所述网络结构的示意图；
图5为本公开实施例所述搜索空间的示意图；
图6为本公开实施例所述另一种分割模型的训练方法流程图；
图7为本公开实施例所述髋关节图像的分割装置的结构框图；
图8为本公开实施例所述电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
目前，骨模型可以通过手动分割或自动分割得到。其中，手动分割方式耗时耗力，不能保证统一精准的结果。自动分割方式分割结果不完整，大多局限在双侧的股骨和髋骨，不包括股骨头和股骨颈，但股骨头和股骨颈对于术前规划的自动化非常重要。基于此，为改善上述问题，本公开实施例提供了一种髋关节图像的分割方法、装置、设备及介质，为便于理解，以下对本公开实施例展开描述。
图1为本公开实施例提供的一种髋关节图像的分割方法的流程图，该方法可以由配置于终端的髋关节图像的分割装置执行，该装置可以采用软件和/或硬件实现。如图1所示，髋关节图像的分割方法可以包括如下步骤：
步骤S102，获取包括髋关节的待分割图像。其中，待分割图像的获取方式诸如包括：利用X线束、γ射线、超声波等对髋关节进行扫描，扫描范围从骨盆到股骨末端，由此得到包括髋关节的待分割图像。待分割图像例如为CT图像，以及，待分割图像可以是通过三维扫描得到的三维图像。
步骤S104，通过预先训练好的分割模型对待分割图像中的骨骼进行分割，得到髋关节对应的骨模型。其中，分割模型是基于标注有关键骨骼的第一髋关节样本图像集合训练得到的；关键骨骼包括：双侧的股骨、股骨头、股骨颈和髋骨。
在本实施例中，可以将待分割图像输入至预先训练好的分割模型中，通过分割模型对待分割图像中的骨骼进行分割。分割具体可以包括：分割模型在待分割图像中确定各个关键骨骼以及各关键骨骼的位置；其中，关键骨骼可以包括：双侧的髋骨、双侧的股骨、双侧的股骨头和双侧的股骨颈。对于每个关键骨骼，在待分割图像中该关键骨骼的位置处，标记该关键骨骼对应的ID(Identity document，身份标识号码)。而后根据各个关键骨骼的分割结果生成骨模型；基于待分割图像为三维图像，那么，相应生成的骨模型为三维立体的骨模型。
本实施例中的分割模型，其训练过程所利用的第一髋关节样本图像集合，除了包括针对股骨、髋骨的标注，还加入了双侧的股骨头和股骨颈的标注。由此训练得到的分割模型在用于对待分割图像中的骨骼进行分割时，能够加入双侧股骨头和股骨颈的分割，得到的分割结果(也即髋关节对应的骨模型)更加完整，该骨模型不仅包括双侧髋骨，还能够包括股骨头和股骨颈。
在实际应用中，上述包括股骨、股骨头、股骨颈和髋骨的骨模型可以应用于多种场景，例如：全髋关节置换手术的术前规划，髋关节创伤(如骨盆骨折、股骨颈骨折)手术的规划，髋关节旋转中心的确定以及术前规划中骨盆校正，股骨偏移，各种角度(内翻、前倾)的计算。
在一种实施例中，可以通过前端与后端来实现上述髋关节图像的分割方法，参照图2，该方法可以包括：
通过前端展示获取到的待分割图像。前端例如为常见的web(World Wide Web，全球广域网)浏览器。本实施例扫描得到包括髋关节的待分割图像后，可以将待分割图像上传至前端，通过前端在页面上展示待分割图像。
当接收到分割请求时，将待分割图像发送给后端，以使后端调用分割模型对待分割图像进行分割并输出髋关节对应的骨模型。示例性的，用户可以通过前端对待分割图像进行操作，例如查看图像、请求分割等。当前端接收到用户针对待分割图像发起的分割请求时，可以将待分割图像发送给后端。后端如web服务。后端响应上述分割请求，调用分割模型对待分割图像进行分割并输出髋关节对应的骨模型。
通过前端展示髋关节对应的骨模型。后端输出髋关节对应的骨模型后，将骨模型返回给前端，通过前端对髋关节对应的骨模型进行展示。
本实施例通过前端展示待分割图像和骨模型，使分割过程可视化、直观化；通过后端调用分割请求，能够提升分割效率和分割结果的准确性、全面性，进而能够保证术前规划的效率和易拓展性。
在现有的自动分割技术中，对骨骼分割的模型网络并没有进行最佳搜索，导致所用到的深度学习网络结构不一定保证能够训练得到最佳的自动分割髋关节骨模型的效果。以及，大多数的术前规划都是在本地设备(如电脑)上进行，受限于设备性能，往往需要很长时间完成髋关节骨模型的自动分割，甚至因为显存太少无法满足在GPU(GraphicsProcessing Unit，图形处理器)上进行深度学习的模型推理。基于上述问题，本实施例可以提供一种分割模型的训练过程，参照图3，包括如下内容。
步骤S302，获取第一髋关节样本图像集合。第一髋关节样本图像集合包括多张标注有关键骨骼ID的第一髋关节样本图像；关键骨骼ID包括：髋骨ID、股骨ID、股骨头ID和股骨颈ID。
在本实施例中，可以通过如下方式获取第一髋关节样本图像集合：
先获取待进行标注的第一髋关节样本图像。而后针对每张第一髋关节样本图像进行关键骨骼ID的标注。
具体的，针对每张第一髋关节样本图像，对第一髋关节样本图像中双侧的髋骨、股骨、股骨头和股骨颈分别进行区域截取，根据各关键骨骼的区域截取结果标注双侧的髋骨ID、股骨ID、股骨头ID和股骨颈ID。
具体实现时，本实施例可以采用Mimics(Materialise's interactive medicalimage control system，医学影像控制系统)软件，先对第一髋关节样本图像中双侧的髋骨进行区域截取，并根据髋骨的区域截取结果标注双侧的髋骨ID。其次对第一髋关节样本图像中双侧的股骨进行区域截取，并根据股骨的区域截取结果标注双侧的股骨ID。以及，对第一髋关节样本图像中双侧的股骨头进行区域截取，并根据股骨头的区域截取结果标注双侧的股骨头ID；对第一髋关节样本图像中双侧的股骨颈进行区域截取，并根据股骨颈的区域截取结果标注双侧的股骨颈ID。其中，在标注股骨头ID和股骨颈ID的过程中，在第一髋关节样本图像中进行区域截取时，具体可以根据股骨的区域截取结果，在第一髋关节样本图像中股骨的局部图像上分别对股骨头、股骨颈进行区域截取，这样可以实现更加精准的区域截取。
步骤S304，对第一髋关节样本图像集合进行预处理，得到第二髋关节样本图像集合。
本实施例可以包括以下预处理过程：
(I)对第一髋关节样本图像的各维度上像素之间的距离进行插值统一，得到第一候选图像。具体的，像素之间的距离为spacing，其定义了图像像素的物理大小并且保证了实际距离测量的准确性，包括x方向、y方向和z方向的像素间距离。本实施例将spacing插值统一到[1，1，1]，可以使第一髋关节样本图像集合中不同规格的第一髋关节样本图像，统一化为同样规格的第一候选图像，这样便于后续送入模型进行训练。
(II)将第一候选图像的CT值从原始区间映射至目标区间，得到第二候选图像。具体的，第一候选图像的CT值的范围很大，不利于模型训练。基于此，本实施例可以采用预设的窗宽窗位，如(300，1500)的窗宽窗位，将第一候选图像的CT值从原始区间[-450到1000]映射至目标区间[0,1]；其中，对于CT值小于-450的像素，将其映射为0，对于CT值大于1000的像素，将其映射为1。
(III)从第二候选图像中截取感兴趣区域，得到第三候选图像。具体的，可以按照类别为髋骨、股骨、股骨头和股骨颈，从第二候选图像中截取髋骨、股骨、股骨头和股骨颈各自对应的感兴趣区域，得到各感兴趣区域对应的第三候选图像。
模型中包含多次图像下采样，每次下采样会将图像大小变成原始尺寸的一半，因此，感兴趣区域的大小一般是2的n次幂，考虑到推理时显存占用，本实施例在一具体示例中，可以设置感兴趣区域的大小为[96，96，96]，以避免过大的显存占用。
(IV)采用预设的增强方式对第三候选图像进行增强，得到第二髋关节样本图像；其中，增强方式包括以下至少一种：随机旋转、随机扩缩、随机高斯平滑、随机偏移、随机高斯噪声和指定方向(如x方向)随机切割。本实施例通过对第三候选图像进行增强，能够增加数据的多样性，有利于提高模型的鲁棒性，避免模型过拟合。
根据上述预处理过程，将多张第二髋关节样本图像组成第二髋关节样本图像集合。
步骤S306，基于第二髋关节样本图像集合对预设的深度学习网络模型进行神经结构搜索处理，得到分割模型。
本实施例可以基于第二髋关节样本图像集合，采用DiNTS(DifferentiableNeural Network Topology Search，一种自动搜索深度学习神经网络结构的方法)搜索找到结构最佳的深度学习网络模型，并针对该最佳的深度学习网络模型训练得到对应的网络参数，最终得到分割模型。本实施例采用的DiNTS具有显存占用低、网络效果好、搜索速度快等优点。
在一种实现方式中，上述步骤S306可以包括：
设置深度学习网络模型的网络结构的参数，网络结构的参数包括但不限于：块的数量、深度的数量和初始下采样是否为真(即Use_downsampling)；其中，如果设置初始下采样为真(TRUE)，表示先进行下采样操作；如果设置初始下采样操作为假(FALSE)，则不需要先进行下采样操作。根据多个网络结构的参数构建搜索空间。
示例性的，可以参照图4，设置块的数量为12，块的数量可以表示深度学习网络模型的宽度，数量为12就是在横方向上有12个块；图4中数字0-12对应的各个块。
设置深度的数量为4，表示在深度学习网络模型的竖方向上有4层；1/2、1/4、1/8和1/16对应的是4个深度。
池化层的值为true。其中，池化层如果为true的话，如图3，在1/2、1/4、1/8和1/16的空间进行搜索；反之，池化层如果为false，则在1/2、1/4和1/8的空间进行搜索。此外，图4中的其他内容可参照现有技术，在此不再具体说明。
而后，基于第二髋关节样本图像集合并采用DiNTS算法，在搜索空间中对深度学习网络模型进行神经结构搜索处理，得到分割模型。
本实施例可以包括：基于第二髋关节样本图像集合并采用DiNTS算法，在搜索空间中对深度学习网络模型进行神经结构搜索处理，得到目标深度学习网络模型。其中，进行神经结构搜索处理无需太大的数据量，第二髋关节样本图像集合在较小数据量的情况下即可满足神经结构搜索处理。本实施例采用DiNTS方法并基于数据量较小的第二髋关节样本图像集合，去搜索深度学习网络模型对应的最佳的网络结构，能够减少搜索过程中的显存占用，提升搜索速度。
目标深度学习网络模型是经过神经结构搜索处理后得到的结构最佳的网络模型，其在上述搜索空间下的网络结构可以包括：
node_a：各节点是否激活；arch_code_a：网络路径是否激活；arch_node_c：各路径上的操作选择。具体可参照图5所示的搜索空间，节点指的是深度学习网络模型中的特征图，也就是经过箭头(也即路径)操作后得到的结果。如果节点被激活，则会有箭头指向它，意味着该节点有输出数据，并参与到网络结构中；如果节点未被激活，则没有箭头指向它，意味着该节点没有输出数据，不参与到网络结构中。
结合图4，箭头所表示的路径包含如下几种操作：Skip，表示不计算，直接把输入给箭头后的节点；3D 3x3，表示核为3的卷积算子；P3D 3x3x1，表示核为3x3x1的卷积算子；P3D3x1x3，表示核为3x1x3的卷积算子；P3D 1x3x3，表示核为1x3x3的卷积算子。在进行神经结构搜索处理时可以从如上操作中进行选择，选择的目的是为了不断尝试找到适合深度学习网络模型的最佳操作。
本实施例对第二髋关节样本图像集合进行数据扩充，得到第三髋关节样本图像集合；具体数据扩充方式可参照前述实施例中的增强方式，如随机旋转、随机扩缩、随机高斯平滑、随机偏移等。
而后，根据第三髋关节样本图像集合对目标深度学习网络模型的网络参数进行训练，得到分割模型。
在具体实施例中，获取目标深度学习网络模型及其如下网络结构的参数：块的数量、深度的数量、池化层、node_a、arch_code_a和arch_node_c等；其中，node_a：读取node_a矩阵；arch_code_a：读取arch_code_a矩阵；arch_node_c：读取arch_node_c矩阵。
基于上述网络结构的参数，并根据第三髋关节样本图像集合对目标深度学习网络模型的网络参数进行训练，直至网络参数收敛时，得到分割模型。本实施例在最佳的网络结构的基础上，再利用数据量增大后的第三髋关节样本图像集合训练网络参数，能够有效保证分割模型的最佳分割效果。
根据以上提供的分割模型的训练实施例，在此还可以提供一种如图6所示的分割模型的训练方法，包括：
步骤S602，获取第一髋关节样本图像集合；第一髋关节样本图像集合包括多张标注有股骨ID、股骨头ID、股骨颈ID和髋骨ID的第一髋关节样本图像；
步骤S604，对第一髋关节样本图像集合进行预处理，得到第二髋关节样本图像集合；
步骤S606，设置深度学习网络模型的网络结构的参数，并根据多个网络结构的参数构建搜索空间；
步骤S608，基于第二髋关节样本图像集合并采用DiNTS算法，在搜索空间中对深度学习网络模型进行神经结构搜索处理，得到目标深度学习网络模型；
步骤S610，对第二髋关节样本图像集合进行数据扩充，得到第三髋关节样本图像集合；
步骤S612，根据第三髋关节样本图像集合对目标深度学习网络模型的网络参数进行训练，得到分割模型。
根据上述实施例提供的分割模型的训练方案，一方面增加了股骨头和股骨颈的标注，使训练后的分割模型在分割时能够提高骨模型中骨骼的完整性。另一方面，采用了DiNTS方法并基于数据量较小的第二髋关节样本图像集合先搜索得到最佳的网络结构，能够提升搜索速度，降低显存占用，然后基于该网络结构，在数据量增大后的第三髋关节样本图像集合上得到网络参数，能够保证分割模型的最佳效果。
综上，本公开实施例提供的髋关节图像的分割方法，包括：获取包括髋关节的待分割图像；通过预先训练好的分割模型对待分割图像中的骨骼进行分割，得到髋关节对应的骨模型；其中，分割模型是基于标注有关键骨骼的第一髋关节样本图像集合训练得到的；关键骨骼包括：双侧的股骨、股骨头、股骨颈和髋骨。本技术方案中，利用分割模型对待分割图像中的骨骼进行分割，能够降低分割成本，提高骨模型的统一性；同时，由于分割模型是利用标注有股骨、股骨头、股骨颈和髋骨的第一髋关节样本图像集合训练得到的，从而，分割模型能够分割出股骨、股骨头、股骨颈和髋骨，增加了分割结果的完整性。
进一步的，在训练分割模型的方案中，先利用数据量较小的图像集合搜索最佳的网络结构，再利用数据量较大的图像集合训练网络参数，能够提升搜索速度和训练效果。
图7为本公开实施例提供的一种髋关节图像的分割装置的结构示意图，该装置可以用于实现上述髋关节图像的分割方法，该装置可以采用软件和/或硬件实现。参照图7，髋关节图像的分割700可以包括：
图像获取模块702，用于获取包括髋关节的待分割图像；
分割模块704，用于通过预先训练好的分割模型对所述待分割图像中的骨骼进行分割，得到髋关节对应的骨模型；
其中，所述分割模型是基于标注有关键骨骼的第一髋关节样本图像集合训练得到的；所述关键骨骼包括：双侧的股骨、股骨头、股骨颈和髋骨。
在一种实施例中，髋关节图像的分割700可以包括模型训练模块，该模型训练模块用于：
获取第一髋关节样本图像集合，所述第一髋关节样本图像集合包括多张标注有所述关键骨骼ID的第一髋关节样本图像；
对所述第一髋关节样本图像集合进行预处理，得到第二髋关节样本图像集合；
基于所述第二髋关节样本图像集合对预设的深度学习网络模型进行神经结构搜索处理，得到所述分割模型。
在一种实施例中，模型训练模块用于：
获取待进行标注的第一髋关节样本图像；
针对每张所述第一髋关节样本图像，对所述第一髋关节样本图像中双侧的髋骨、股骨、股骨头和股骨颈分别进行区域截取，根据各关键骨骼的区域截取结果标注双侧的髋骨ID、股骨ID、股骨头ID和股骨颈ID。
在一种实施例中，模型训练模块用于：
对所述第一髋关节样本图像的各维度上像素之间的距离进行插值统一，得到第一候选图像；
将所述第一候选图像的CT值从原始区间映射至目标区间，得到第二候选图像；
从所述第二候选图像中截取感兴趣区域，得到第三候选图像；
采用预设的增强方式对所述第三候选图像进行增强，得到第二髋关节样本图像；其中，所述增强方式包括以下至少一种：随机旋转、随机扩缩、随机高斯平滑、随机偏移、随机高斯噪声和指定方向随机切割；
将多张所述第二髋关节样本图像组成第二髋关节样本图像集合。
在一种实施例中，模型训练模块用于：
设置深度学习网络模型的网络结构的参数，所述网络结构的参数包括：块的数量、深度的数量和初始下采样是否为真；
根据多个所述网络结构的参数构建搜索空间；
基于所述第二髋关节样本图像集合并采用DiNTS算法，在所述搜索空间中对所述深度学习网络模型进行神经结构搜索处理，得到所述分割模型。
在一种实施例中，模型训练模块用于：
基于所述第二髋关节样本图像集合并采用DiNTS算法，在所述搜索空间中对所述深度学习网络模型进行神经结构搜索处理，得到目标深度学习网络模型；
对所述第二髋关节样本图像集合进行数据扩充，得到第三髋关节样本图像集合；
根据所述第三髋关节样本图像集合对所述目标深度学习网络模型的网络参数进行训练，得到所述分割模型。
在一种实施例中，髋关节图像的分割700可以包括交互模块，该交互模块用于：
通过前端展示获取到的所述待分割图像；
当接收到分割请求时，将所述待分割图像发送给后端，以使所述后端调用所述分割模型对所述待分割图像进行分割并输出所述髋关节对应的骨模型；
通过所述前端展示所述髋关节对应的骨模型。
本实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
图8为本公开实施例提供的一种电子设备的结构示意图。如图8所示，电子设备800包括一个或多个处理器801和存储器802。
处理器801可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备800中的其他组件以执行期望的功能。
存储器802可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器801可以运行所述程序指令，以实现上文所述的本公开的实施例的髋关节图像的分割方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备800还可以包括：输入装置803和输出装置804，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
此外，该输入装置803还可以包括例如键盘、鼠标等等。
该输出装置804可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置804可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图8中仅示出了该电子设备800中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备800还可以包括任何其他适当的组件。
进一步，本实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述髋关节图像的分割方法。
本公开实施例所提供的一种髋关节图像的分割方法、装置、电子设备及介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种髋关节图像的分割方法，其特征在于，包括：
获取包括髋关节的待分割图像；
通过预先训练好的分割模型对所述待分割图像中的骨骼进行分割，得到髋关节对应的骨模型；
其中，所述分割模型是基于标注有关键骨骼的第一髋关节样本图像集合训练得到的；所述关键骨骼包括：双侧的股骨、股骨头、股骨颈和髋骨。
2.根据权利要求1所述的方法，其特征在于，所述分割模型的训练过程包括：
获取第一髋关节样本图像集合，所述第一髋关节样本图像集合包括多张标注有所述关键骨骼ID的第一髋关节样本图像；
对所述第一髋关节样本图像集合进行预处理，得到第二髋关节样本图像集合；
基于所述第二髋关节样本图像集合对预设的深度学习网络模型进行神经结构搜索处理，得到所述分割模型。
3.根据权利要求2所述的方法，其特征在于，所述获取第一髋关节样本图像集合，包括：
获取待进行标注的第一髋关节样本图像；
针对每张所述第一髋关节样本图像，对所述第一髋关节样本图像中双侧的髋骨、股骨、股骨头和股骨颈分别进行区域截取，根据各关键骨骼的区域截取结果标注双侧的髋骨ID、股骨ID、股骨头ID和股骨颈ID。
4.根据权利要求2所述的方法，其特征在于，所述对所述第一髋关节样本图像集合进行预处理，得到第二髋关节样本图像集合，包括：
对所述第一髋关节样本图像的各维度上像素之间的距离进行插值统一，得到第一候选图像；
将所述第一候选图像的CT值从原始区间映射至目标区间，得到第二候选图像；
从所述第二候选图像中截取感兴趣区域，得到第三候选图像；
采用预设的增强方式对所述第三候选图像进行增强，得到第二髋关节样本图像；其中，所述增强方式包括以下至少一种：随机旋转、随机扩缩、随机高斯平滑、随机偏移、随机高斯噪声和指定方向随机切割；
将多张所述第二髋关节样本图像组成第二髋关节样本图像集合。
5.根据权利要求2所述的方法，其特征在于，所述基于所述第二髋关节样本图像集合对预设的深度学习网络模型进行神经结构搜索处理，得到所述分割模型，包括：
设置深度学习网络模型的网络结构的参数，所述网络结构的参数包括：块的数量、深度的数量和初始下采样是否为真；
根据多个所述网络结构的参数构建搜索空间；
基于所述第二髋关节样本图像集合并采用DiNTS算法，在所述搜索空间中对所述深度学习网络模型进行神经结构搜索处理，得到所述分割模型。
6.根据权利要求5所述的方法，其特征在于，所述基于所述第二髋关节样本图像集合并采用DiNTS算法，在所述搜索空间中对所述深度学习网络模型进行神经结构搜索处理，得到所述分割模型，包括：
基于所述第二髋关节样本图像集合并采用DiNTS算法，在所述搜索空间中对所述深度学习网络模型进行神经结构搜索处理，得到目标深度学习网络模型；
对所述第二髋关节样本图像集合进行数据扩充，得到第三髋关节样本图像集合；
根据所述第三髋关节样本图像集合对所述目标深度学习网络模型的网络参数进行训练，得到所述分割模型。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
通过前端展示获取到的所述待分割图像；
当接收到分割请求时，将所述待分割图像发送给后端，以使所述后端调用所述分割模型对所述待分割图像进行分割并输出所述髋关节对应的骨模型；
通过所述前端展示所述髋关节对应的骨模型。
8.一种髋关节图像的分割装置，其特征在于，包括：
图像获取模块，用于获取包括髋关节的待分割图像；
分割模块，用于通过预先训练好的分割模型对所述待分割图像中的骨骼进行分割，得到髋关节对应的骨模型；
其中，所述分割模型是基于标注有关键骨骼的第一髋关节样本图像集合训练得到的；所述关键骨骼包括：双侧的股骨、股骨头、股骨颈和髋骨。
9.一种电子设备，其特征在于，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310137793.0A CN116128912A (zh) | 2023-02-06 | 2023-02-06 | 一种髋关节图像的分割方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310137793.0A CN116128912A (zh) | 2023-02-06 | 2023-02-06 | 一种髋关节图像的分割方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116128912A true CN116128912A (zh) | 2023-05-16 |
Family
ID=86302713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310137793.0A Pending CN116128912A (zh) | 2023-02-06 | 2023-02-06 | 一种髋关节图像的分割方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116128912A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116630427A (zh) * | 2023-07-24 | 2023-08-22 | 杭州键嘉医疗科技股份有限公司 | 一种ct图像中髋骨和股骨自动定位的方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107545578A (zh) * | 2017-08-25 | 2018-01-05 | 沈阳东软医疗系统有限公司 | Ct图像中股骨头区域分割方法、装置及设备 |
| CN109242838A (zh) * | 2018-08-29 | 2019-01-18 | 上海市第六人民医院 | 测量骨盆x光片中中心边缘角的方法、系统、设备及介质 |
| CN114187296A (zh) * | 2021-11-09 | 2022-03-15 | 元化智能科技(深圳)有限公司 | 胶囊内窥镜图像病灶分割方法、服务器及系统 |
| CN114419618A (zh) * | 2022-01-27 | 2022-04-29 | 北京长木谷医疗科技有限公司 | 基于深度学习的全髋关节置换术前规划系统 |
-
2023
- 2023-02-06 CN CN202310137793.0A patent/CN116128912A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107545578A (zh) * | 2017-08-25 | 2018-01-05 | 沈阳东软医疗系统有限公司 | Ct图像中股骨头区域分割方法、装置及设备 |
| CN109242838A (zh) * | 2018-08-29 | 2019-01-18 | 上海市第六人民医院 | 测量骨盆x光片中中心边缘角的方法、系统、设备及介质 |
| CN114187296A (zh) * | 2021-11-09 | 2022-03-15 | 元化智能科技(深圳)有限公司 | 胶囊内窥镜图像病灶分割方法、服务器及系统 |
| CN114419618A (zh) * | 2022-01-27 | 2022-04-29 | 北京长木谷医疗科技有限公司 | 基于深度学习的全髋关节置换术前规划系统 |
Non-Patent Citations (2)
| Title |
|---|
| YUFAN HE等: "DiNTS: Differentiable Neural Network Topology Search for 3D Medical Image Segmentation", 《INARXIV:2103.15954V1》, 29 March 2021 (2021-03-29), pages 1 - 10 * |
| 周长虹等: "一致性正则化与代理标签的骨骼点云半监督分割", 《计算机与数字工程》, no. 10, 31 October 2022 (2022-10-31), pages 2223 - 2228 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116630427A (zh) * | 2023-07-24 | 2023-08-22 | 杭州键嘉医疗科技股份有限公司 | 一种ct图像中髋骨和股骨自动定位的方法及装置 |
| CN116630427B (zh) * | 2023-07-24 | 2023-10-31 | 杭州键嘉医疗科技股份有限公司 | 一种ct图像中髋骨和股骨自动定位的方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108520519B (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
| CN110930417B (zh) | 图像分割模型的训练方法和装置、图像分割方法和装置 | |
| CN111583188B (zh) | 手术导航标记点定位方法、存储介质及计算机设备 | |
| WO2021189843A1 (zh) | Ct图像椎骨定位方法、装置、设备及介质 | |
| CN111080573B (zh) | 肋骨图像检测方法、计算机设备和存储介质 | |
| CN1879553B (zh) | 在胸部图像中检测边界的方法及装置 | |
| CN111862044B (zh) | 超声图像处理方法、装置、计算机设备和存储介质 | |
| CN100562291C (zh) | 一种针对ct图像的处理装置、方法及系统 | |
| CN109493417B (zh) | 三维物体重建方法、装置、设备和存储介质 | |
| KR102450931B1 (ko) | 이미지 정합 방법 및 연관된 모델 훈련 방법, 기기, 장치 | |
| CN111814905A (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| CN114092475B (zh) | 病灶长径确定方法、图像标注方法、装置及计算机设备 | |
| CN116128912A (zh) | 一种髋关节图像的分割方法、装置、设备及介质 | |
| CN111915620B (zh) | 一种ct肋骨分割方法及装置 | |
| WO2019176806A1 (ja) | 機械学習装置および方法 | |
| CN102369555B (zh) | 用于进行轮廓描绘的自动对比度增强的方法和系统 | |
| CN107545579A (zh) | 一种心脏分割方法、设备和存储介质 | |
| CN110533120B (zh) | 器官结节的图像分类方法、装置、终端及存储介质 | |
| CN110555860A (zh) | 医学图像中肋骨区域标注的方法、电子设备和存储介质 | |
| CN111062390A (zh) | 感兴趣区域标注方法、装置、设备和存储介质 | |
| CN111261296A (zh) | 基于条件随机向量场的肿瘤临床靶区自动勾画方法及系统 | |
| CN112150485B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| CN109685796B (zh) | 医学图像处理方法、装置、设备和存储介质 | |
| CN110310314A (zh) | 图像配准方法、装置、计算机设备和存储介质 | |
| CN111784705B (zh) | 感兴趣区域的勾画方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |