CN114049315A - 关节识别方法、电子设备、存储介质及计算机程序产品 - Google Patents

Abstract

本发明涉及智能模型技术领域，尤其涉及一种关节识别方法、电子设备、存储介质及计算机程序产品。方法包括：获取关节的待处理图像；将所述待处理图像输入至分割神经网络模型的编码模块，对所述待处理图像中的所述关节进行特征提取，获得特征提取信息；将所述特征提取信息输入至所述分割神经网络模型的解码模块，根据所述特征提取信息对所述关节进行特征还原，获取并输出所述关节的轮廓信息。本发明用以解决现有技术中对关节轮廓识别不准确的缺陷，实现更加精准地自动识别关节轮廓的过程。

Description

关节识别方法、电子设备、存储介质及计算机程序产品

技术领域

本发明涉及人工智能技术领域，尤其涉及一种关节识别方法、电子设备、存储介质及计算机程序产品。

背景技术

近年来，随着医疗水平的提高，关节患者可以通过关节置换手术摆脱疼痛的困扰。医生在问诊过程中，需要确定关节的轮廓信息，来对关节进行针对性处理。尤其是患者关节部位的术后翻修等后期工作中，当存在例如金属材质的骨钉等假体时，由于医师技能水平和患者自身因素等原因，会导致无法准确识别关节轮廓，进而增大医师诊疗过程的难度和准确度。

发明内容

本发明提供一种关节识别方法、电子设备、存储介质及计算机程序产品，用以解决现有技术中对关节轮廓识别不准确的缺陷，实现更加精准地自动识别关节轮廓的过程。

本发明提供一种关节识别方法，包括：获取关节的待处理图像；将所述待处理图像输入至分割神经网络模型的编码模块，对所述待处理图像中的所述关节进行特征提取，获得特征提取信息；将所述特征提取信息输入至所述分割神经网络模型的解码模块，根据所述特征提取信息对所述关节进行特征还原，获取并输出所述关节的轮廓信息。

根据本发明提供的一种关节识别方法，所述将所述待处理图像输入至分割神经网络模型的编码模块，对所述待处理图像中的所述关节进行特征提取，获得特征提取信息，包括：将所述待处理图像输入至所述编码模块的预处理部分，将所述待处理图像分割为至少一个图像单元，以及分别为每一个所述图像单元配置对应的图像位置信息；将每一个已经配置所述图像位置信息的图像单元，输入至所述编码模块的特征提取部分，分别对每一个已经配置所述图像位置信息的图像单元中的所述关节进行特征提取，获得特征提取信息。

根据本发明提供的一种关节识别方法，所述特征提取部分包括2*N个提取单元块，所述特征提取信息包括N个单元提取信息，其中，N为大于0的整数；所述将每一个已经配置所述图像位置信息的图像单元，输入至所述编码模块的特征提取部分，分别对每一个已经配置所述图像位置信息的图像单元中的所述关节进行特征提取，获得特征提取信息，包括：依次通过第1～2*N个所述提取单元块，分别对每一个已经配置所述图像位置信息的图像单元中的所述关节进行特征提取，得出中间结果，并将第2i个所述提取单元块得出的所述中间结果分别作为所述单元提取信息，其中，i为大于0、且小于或等于N的整数；其中，第j个所述提取单元块特征提取得出的所述中间结果，输入第j+1个所述提取单元块再次进行特征提取，其中，j为大于0且小于2*N的整数。

根据本发明提供的一种关节识别方法，所述提取单元块包括多头注意力机制单元、第一层归一化单元、第二层归一化单元、跳连结构和全连接单元；所述通过第1～2*N个所述提取单元块，分别对每一个已经配置所述图像位置信息的图像单元中的所述关节进行特征提取，得出中间结果，包括：依次通过第1～2*N个所述提取单元块，分别作如下处理：将所述每一个已经配置所述图像位置信息的图像单元，输入所述第一层归一化单元，将所述第一层归一化单元输出的结果输入所述多头注意力机制单元，将所述多头注意力机制单元输出的结果输入所述第二层归一化单元，将所述第二层归一化单元输出的结果输入所述全连接单元；并通过所述跳连结构，实现所述第一层归一化单元输入端与所述多头注意力机制单元输出端的跳跃连接，以及实现所述第二层归一化单元输入端和所述全连接单元输出端的跳跃连接；通过跳跃连接后的所述全连接单元输出端输出所述中间结果。

根据本发明提供的一种关节识别方法，所述将所述特征提取信息输入至所述分割神经网络模型的解码模块，根据所述特征提取信息对所述关节进行特征还原，获取并输出所述关节的轮廓信息，包括：将第2i个所述提取单元块输出的所述单元提取信息，进行N-i次上采样处理，得到第2i个所述提取单元块对应的第一结果，其中，i分别取值为1～(N-1)；将第2i个所述提取单元块对应的第一结果，与第2(i+1)个所述提取单元块对应的第二结果进行通道融合处理，得到第2i个所述提取单元块对应的单元融合结果，其中，第2N个所述提取单元块对应的单元融合结果为第2N个所述提取单元块输出的所述单元提取信息；对第2i个所述提取单元块对应的单元融合结果进行一次上采样处理和一次卷积处理，得到所述第2i个所述提取单元块对应的第二结果；将第2个所述提取单元块对应的第二结果进行三次卷积处理，得到并输出所述关节的轮廓信息，其中，所述轮廓信息为包含所述关节轮廓的处理后图像。

根据本发明提供的一种关节识别方法，所述分割神经网络模型为采用样本数据对原始分割网络进行训练得到，其中，所述样本数据包括M个样本图像，以及与M个所述样本图像一一对应的样本轮廓信息，M为大于1的整数；所述原始分割网络的训练过程包括：获取所述样本图像；将所述样本图像输入到所述原始分割模型，获取所述原始分割模型输出的所述样本图像各自对应的预测轮廓信息；通过所述样本轮廓信息对所述预测轮廓信息进行验证，判断验证结果是否符合预设验证条件，若不符合，调整所述原始分割网络的参数，重复执行所述将所述样本图像输入到所述原始分割模型的步骤，直至所述验证结果符合所述预设验证条件时，将所述原始分割模型作为最终的所述分割神经网络模型。

根据本发明提供的一种关节识别方法，所述获取关节的待处理图像，包括：获取所述关节的医学数字成像和通信图像；将所述医学数字成像和通信图像进行预设图像格式转换，获得所述待处理图像。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述关节识别方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述关节识别方法的步骤。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述关节识别方法的步骤。

本发明提供的关节识别方法、电子设备、存储介质及计算机程序产品，通过将关节的待处理图像输入至分割神经网络模型的编码模块，对该待处理图像中的关节进行特征提取，获得特征提取信息。然后将特征提取信息输入至分割神经网络模型的解码模块，根据特征提取信息对关节进行特征还原，获取并输出关节的轮廓信息。上述过程中，通过采用分割神经网络模型实现对关节轮廓的识别，避免了因医师技能水平不高造成的关节识别不准确，避免出现医师主观意识造成的识别偏差，实现了关节识别过程的自动化和智能化，提高关节识别的准确性。并且，分割神经网络模型能够实现关节特征的充分提取，降低患者自身因素对识别过程的影响，进一步提高关节识别的准确性。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的关节识别方法的流程示意图；

图2是本发明提供的提取单元块的内部连接结构示意图；

图3是本发明提供的分割神经网络模型的网络架构示意图；

图4是本发明提供的关节识别装置结构连接示意图；

图5是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

医师对关节患者的诊疗过程中，最常用的方式是直接查看患者的电子计算机断层扫描(Computed Tomography，简称CT)图像，例如医学数字成像和通信(Digital Imagingand Communications in Medicine，简称DICOM)图像，来确定关节的轮廓信息。但由于医师技能水平和/或患者自身因素等原因，会导致关节识别结果不准确的问题。本发明提供一种关节识别方法，以更加准确的自动识别关节的轮廓信息。下面结合图1-图4描述本发明的提供的关节识别方法。

一个实施例中，如图1所示，一种关节识别方法实现的流程步骤如下：

步骤101，获取关节的待处理图像。

本实施例中，通过对关节的待处理图像进行处理，来确定关节的轮廓信息。该待处理图像指的是包含需要识别的关节信息的图像。

一个实施例中，对患者关节信息采集的方式，主要采用的是CT扫描，而CT扫描输出结果是医学数字成像和通信(Digital Imaging and Communications in Medicine，简称DICOM)图像。而直接对DICOM图像进行处理会增大图像处理难度，因此，可以将DICOM图像转换成预设图像格式进行处理。具体的，获取关节的待处理图像，详细过程如下：获取关节的医学数字成像和通信图像；将医学数字成像和通信图像进行预设图像格式转换，获得待处理图像。

本实施例中，预设图像格式根据实际情况和需要进行设定，例如，预设图像格式为联合图像专家组(Joint Photographic Experts Group，简称JPEG或JPG)格式、便携式网络图形(Portable Network Graphics，简称PNG)格式、标签图像文件格式(Tag Image FileFormat，简称TIFF)以及能够实现本方法的其他图像格式中的任意一种。本申请的保护范围不以预设图像格式的具体设定类型为限定。

本实施例中，通过图像格式的转换，能够降低分割神经网络模型的处理难度，加快图像处理速度，提高分割神经网络模型进行图像处理的效率。

一个实施例中，待处理图像输入分割神经网络模型之前，在预设图像格式转换之后，根据需要对格式转换后的图像再次进行图像处理，例如，去噪处理、灰度处理等，以进一步提高分割神经网络模型的处理效率。

步骤102，将待处理图像输入至分割神经网络模型的编码模块，对待处理图像中的关节进行特征提取，获得特征提取信息。

本实施例中，分割神经网络模型(又称transformer_unet)包括编码(encoder)模块和解码(decoder)模块。其中，编码模块用于对输入的待处理图像进行特征提取，而解码模块则用于根据特征提取的结果进行特征还原，以得到用户能够直观获得的关节轮廓信息。待处理图像输入分割神经网络模型后，先通过编码模块对待处理图像中的关节进行特征提取，以通过分割神经网络模型充分的提取关节特征。

一个实施例中，待处理图像输入编码模块后，将待处理图像进行分割，再对分割后的图像单元并行处理，进行特征的提取。为实现图像分割，编码模块包括预处理部分和特征提取部分。将待处理图像输入至分割神经网络模型的编码模块，对待处理图像中的关节进行特征提取，获得特征提取信息，具体过程如下：将待处理图像输入至编码模块的预处理部分，将待处理图像分割为至少一个图像单元，以及分别为每一个图像单元配置对应的图像位置信息；将每一个已经配置图像位置信息的图像单元，输入至编码模块的特征提取部分，分别对每一个已经配置图像位置信息的图像单元中的关节进行特征提取，获得特征提取信息。

本实施例中，分割后图像单元的数量根据实际情况和需要进行设定，例如，当输入的待处理图像是单通道大小为256*256的灰度图，则根据分割神经网络模型的架构和该待处理图像的具体情况，将该灰度图按照16*16的比例，分割成256个图像单元(又称patches)。后续对该256个图像单元并行化处理特征信息。

分割神经网络模型本身在对图像单元并行化处理特征信息的过程中，也就是特征提取部分对图像单元进行处理的过程中，会丢失图像单元的图像位置信息，该图像位置信息指的是各个图像单元在原来的待处理图像中的相对位置。因此，将待处理图像分割为至少一个图像单元之后，并行化处理特征信息之前，为每一个图像单元配置对应的图像位置信息，以能够在最终输出时，避免因为无图像单元位置信息造成的信息混乱和错误，保证分割神经网络模型输出的关节轮廓信息是正确的。

本实施例中，通过对已经配置图像位置信息的图像单元并行化处理特征信息，能够加快图像处理速度，并可以提高关节特征提取的精度，进而提高关节识别的准确性。

一个实施例中，特征提取部分包括2*N个提取单元块(又称transformer_block)，特征提取信息包括N个单元提取信息，其中，N为大于0的整数。N的具体取值可以根据实际情况和需要来确定，例如，N取值为4，则特征提取部分包括8个提取单元块。该提取单元块，主要用于充分提取图像单元中的关节特征信息。具体的，将每一个已经配置图像位置信息的图像单元，输入至编码模块的特征提取部分，分别对每一个已经配置图像位置信息的图像单元中的关节进行特征提取，获得特征提取信息，实现过程如下：依次通过第1～2*N个提取单元块，分别对每一个已经配置图像位置信息的图像单元中的关节进行特征提取，得出中间结果，并将第2i个提取单元块得出的中间结果分别作为单元提取信息，其中，i为大于0、且小于或等于N的整数；其中，第j个提取单元块特征提取得出的中间结果，输入第j+1个提取单元块再次进行特征提取，其中，j为大于0且小于2*N的整数。

一个具体的例子中，当N取值为4时，则包含8个提取单元块。第1个提取单元块得出的中间结果输入第2个提取单元块，第2个提取单元块得出的中间结果输入第3个提取单元块，第3个提取单元块得出的中间结果输入第4个提取单元块，第4个提取单元块得出的中间结果输入第5个提取单元块，第5个提取单元块得出的中间结果输入第6个提取单元块，第6个提取单元块得出的中间结果输入第7个提取单元块，第7个提取单元块得出的中间结果输入第8个提取单元块。其中，第2个、第4个、第6个和第8个提取单元块输出的中间结果作为单元提取信息，此时，特征提取信息包括第2个、第4个、第6个和第8个提取单元块分别对应的单元提取信息。其中，单元提取信息的具体格式根据分割神经网络模型的内部结构确定，例如，单元提取信息为H/16*W/16*256的特征图(又称feature map)，即高度(High，简称H)为16、宽度(Width，简称W)、通道数为256的特征图。

本实施例中，2*N个提取单元块迭代处理图像单元的过程，能够保证关节特征的充分提取，提高关节轮廓信息识别的准确性。

一个实施例中，提取单元块包括多头注意力机制单元、第一层归一化单元、第二层归一化单元、跳连结构和全连接单元。提取单元块的内部连接结构如图2所示。具体的，通过第1～2*N个提取单元块，分别对每一个已经配置图像位置信息的图像单元中的关节进行特征提取，得出中间结果，实现过程如下：依次通过第1～2*N个提取单元块，分别作如下处理：将每一个已经配置图像位置信息的图像单元，输入第一层归一化单元，将第一层归一化单元输出的结果输入多头注意力机制单元，将多头注意力机制单元输出的结果输入第二层归一化单元，将第二层归一化单元输出的结果输入全连接单元；并通过跳连结构，实现第一层归一化单元输入端与多头注意力机制单元输出端的跳跃连接，以及实现第二层归一化单元输入端和全连接单元输出端的跳跃连接；通过跳跃连接后的全连接单元输出端输出中间结果，图2中的“+”代表跳连结构中跳跃连接的实现。

本实施例中，多头注意力机制(Multi-head-attention)单元第一个作用是可以有效提取图像的全局特征，第二个作用是在多个方向聚焦注意力。层归一化(Normalization，简称Norm)单元可以加速网络收敛，提高网络优化效率。跳连结构可以有效解决网络层数加深带来的网络退化问题。全连接单元基于多层感知机(Multi-Layer perceptron，MLP)算法实现，可以对之前的特征提取工作做一个分类预测。

步骤103，将特征提取信息输入至分割神经网络模型的解码模块，根据特征提取信息对关节进行特征还原，获取并输出关节的轮廓信息。

本实施例中，对待处理图像中的关节进行特征提取后，对提取到的关节特征信息进行还原，以得到直观的关节轮廓信息。

一个实施例中，将特征提取信息输入至分割神经网络模型的解码模块，根据特征提取信息对关节进行特征还原，获取并输出关节的轮廓信息，具体过程如下：将第2i个提取单元块输出的单元提取信息，进行N-i次上采样处理，得到第2i个提取单元块对应的第一结果，其中，i分别取值为1～(N-1)；将第2i个提取单元块对应的第一结果，与第2(i+1)个提取单元块对应的第二结果进行通道融合处理，得到第2i个提取单元块对应的单元融合结果，其中，第2N个提取单元块对应的单元融合结果为第2N个提取单元块输出的单元提取信息；对第2i个提取单元块对应的单元融合结果进行一次上采样处理和一次卷积处理，得到第2i个提取单元块对应的第二结果；将第2个提取单元块对应的第二结果进行三次卷积处理，得到并输出关节的轮廓信息，其中，轮廓信息为包含关节轮廓的处理后图像。

本实施例中，每一次上采样处理可以基于反卷积(Deconvolution，简称De Conv)、批量标准化(Batch Normalization，简称BN)和激活函数(Rectified Linear Units，简称RELU)来实现，反卷积所采用的卷积核根据实际情况和需要来选定，例如，设定为2*2。每一次卷积处理采用的卷积核根据实际情况和需要设定，例如，设定为3*3。

一个具体的例子中，当N取值为4时，第2个、第4个、第6个和第8个提取单元块分别输出单元提取信息。将第8个提取单元块输出的单元提取信息作为第8个提取单元块对应的单元融合结果。对第8个提取单元块对应的单元融合结果进行一次上采样处理(反卷积核设定为2*2)和一次卷积处理(卷积核设定为3*3)，得到第8个提取单元块对应的第二结果，对第6个提取单元块输出的单元提取信息进行1次上采样处理(反卷积核设定为2*2)，得到第6个提取单元块对应的第一结果，将第6个提取单元块对应的第一结果与第8个提取单元块对应的第二结果进行融合处理，得到第6个提取单元块对应的单元融合结果。

对第6个提取单元块对应的单元融合结果进行一次上采样处理(反卷积核设定为2*2)和一次卷积处理(卷积核设定为3*3)，得到第6个提取单元块对应的第二结果，对第4个提取单元块输出的单元提取信息进行1次上采样处理(反卷积核设定为2*2)，得到第4个提取单元块对应的第一结果，将第4个提取单元块对应的第一结果与第6个提取单元块对应的第二结果进行融合处理，得到第4个提取单元块对应的单元融合结果。

对第4个提取单元块对应的单元融合结果进行一次上采样处理(反卷积核设定为2*2)和一次卷积处理(卷积核设定为3*3)，得到第4个提取单元块对应的第二结果，对第2个提取单元块输出的单元提取信息进行1次上采样处理(反卷积核设定为2*2)，得到第2个提取单元块对应的第一结果，将第2个提取单元块对应的第一结果与第4个提取单元块对应的第二结果进行融合处理，得到第2个提取单元块对应的单元融合结果。

对第2个提取单元块对应的单元融合结果进行一次上采样处理(反卷积核设定为2*2)和一次卷积处理(卷积核设定为3*3)，得到第2个提取单元块对应的第二结果。

最后，对第2个提取单元块对应的第二结果进行三次卷积处理，包括两次卷积核为3*3的卷积处理和一次卷积核为1*1的卷积处理，得到并输出关节的轮廓信息。其中，卷积核为1*1的卷积处理，作用是融合通道信息并改变特征图的通道数，得到用户需要的处理后图像。

本实施例中，最后输出的轮廓信息为包含关节轮廓的处理后图像，用户可以从处理后图像中直观的获得关节轮廓信息，提升用户的使用体验。需要说明的是，处理后图像的图像格式可以根据实际情况和需要进行设定，例如，设定处理后图像的图像格式为PNG格式。

本实施例中，对提取单元块输出的各个单元提取信息进行上采样处理和堆叠处理，保证输出的处理后图像的大小符合预设的大小要求，例如，输出的处理后图像的大小与待处理图像的大小相同。

一个实施例中，分割神经网络模型是经过训练得到的。该分割神经网络模型能够识别的具体关节类型，在模型训练之前，根据实际情况和需要来确定，例如，关节可以为髋关节、髋关节的股骨部分、肘关节以及其他类型的关节中的任意一种。然后根据具体的关节类型对分割神经网络模型进行训练。

具体的，分割神经网络模型为采用样本数据对原始分割网络进行训练得到，其中，样本数据包括M个样本图像，以及与M个样本图像一一对应的样本轮廓信息，M为大于1的整数；原始分割网络的训练过程包括：获取样本图像；将样本图像输入到原始分割模型，获取原始分割模型输出的样本图像各自对应的预测轮廓信息；通过样本轮廓信息对预测轮廓信息进行验证，判断验证结果是否符合预设验证条件，若不符合，调整原始分割网络的参数，重复执行将样本图像输入到原始分割模型的步骤，直至验证结果符合预设验证条件时，将原始分割模型作为最终的分割神经网络模型。

本实施例中，预设验证条件根据实际情况和需要进行设定，例如，预设验证条件为验证结果对应的参数需要符合预设的参数阈值等。

本实施例中，为了获得性能良好的神经网络，网络训练过程中需要进行许多关于所用设置(即超参数)的决策。超参数之一是定型周期(epoch)的数量，即应当完整遍历数据集多少次，如果epoch数量太少，网络有可能发生欠拟合(即对于定型数据的学习不够充分)；如果epoch数量太多，则有可能发生过拟合。早停法是一种能够避免网络发生过拟合的正则化方法。

本实施例中，对原始分割模型进行训练之前，预先设置模型训练的超参数，例如，数据标签的背景像素值设置为0，股骨像素值设置为1；训练的批量大小值(batch_size)设置为4，初始化学习率设置为1e-4(即1*10^-4)；附加学习率衰减策略，即每隔5000个迭代(iteration),学习率衰减为原来的0.95；优化器使用亚当(Adam)优化器，使用的损失函数为指标损失(DICE loss)；使用搭建好的网络训练切分好的训练集，设置每迭代1000次，对训练全集和验证全集做一次验证，并测算模型的训练指标损失(train DICE loss)、测试指标损失(val DICE loss)、训练指标(train DICE)、测试指标(val DICE)。通过早停法来判断网络训练停止时机得到最终模型。

一个具体的例子中，获取需要髋关节术后翻修患者的CT医学图像数据集，该数据集包括至少一个患者的DICOM图像。分别将每一个患者的DICOM图像进行JPG格式转换，获得每一个患者对应的待处理图像。分别对每一个患者DICOM图像中需要进行识别的带金属伪影的股骨区域进行标注后，进行PNG格式转换，形成每一个患者对应的标签文件。

将所有的待处理图像按照6:2:2的比例进行划分，形成训练(train)集、测试(validation，简称val)集和验证(test)集。相应的，将所有的标签文件对应的按照6:2:2的比例进行划分。

将比例为6/10的训练集中的待处理图像作为样本图像，输入原始分割模型进行训练。将比例为6/10的标签文件作为样本轮廓信息，对原始分割模型进行验证，得到分割神经网络模型。

此外，得到分割神经网络模型后，还可以通过比例为2/10的测试集和对应的标签文件，来测试分割神经网络模型是否过拟合、以及用来调节训练参数等工作，进一步提高分割神经网络模型的处理精度。还可以通过比例为2/10的验证集和对应的标签文件，在训练模型结束后，评价模型处理的结果，最终验证得到验证指标(test DICE)。

一个具体的实施例中，如图3所示，基于上述实施例的描述，当N取值为4时，实现关节识别方法的分割神经网络模型的网络架构如下：

分割神经网络模型包括编码模块和解码模块。待处理图像从编码模块输入分割神经网络模型。编码模块包括预处理部分和特征提取部分，特征提取部分包括8个提取单元块；每个提取单元块包括多头注意力机制单元、第一层归一化单元、第二层归一化单元、跳连结构和全连接单元，具体连接结构与图2所示连接结构相同。解码模块对第2个、第4个、第6个和第8个提取单元块分别输出单元提取信息进行处理，其中，T2、T4、T6、T8分别表示第2个、第4个、第6个和第8个提取单元块分别输出的单元提取信息，C表示通道融合处理。最后通过解码模块输出轮廓信息，即输出包含关节轮廓的处理后图像。

本发明提供的关节识别方法，通过将关节的待处理图像输入预设的分割神经网络模型，通过该分割神经网络模型的编码模块，对该待处理图像中的关节进行特征提取，获得特征提取信息。然后通过分割神经网络模型的解码模块，根据特征提取信息对关节进行特征还原，获取并输出关节的轮廓信息。上述过程中，通过采用分割神经网络模型实现对关节轮廓的识别，避免了因医师技能水平不高造成的关节识别不准确，避免出现医师主观意识造成的识别偏差，实现了关节识别过程的自动化和智能化，提高关节识别的准确性。并且，分割神经网络模型能够实现关节特征的充分提取，降低患者自身因素对识别过程的影响，进一步提高关节识别的准确性。

下面对本发明提供的关节识别装置进行描述，下文描述的关节识别装置与上文描述的关节识别方法可相互对应参照。重复之处不在赘述。

如图4所示，关节识别装置包括：

获取模块401，用于获取关节的待处理图像；

第一处理模块402，用于将待处理图像输入至分割神经网络模型的编码模块，对待处理图像中的关节进行特征提取，获得特征提取信息；

第二处理模块403，用于将特征提取信息输入至分割神经网络模型的解码模块，根据特征提取信息对关节进行特征还原，获取并输出关节的轮廓信息。

一个实施例中，第一处理模块402，具体用于将待处理图像输入至编码模块的预处理部分，将待处理图像分割为至少一个图像单元，以及分别为每一个图像单元配置对应的图像位置信息；将每一个已经配置图像位置信息的图像单元，输入至编码模块的特征提取部分，分别对每一个已经配置图像位置信息的图像单元中的关节进行特征提取，获得特征提取信息。

一个实施例中，第一处理模块402，具体用于依次通过第1～2*N个提取单元块，分别对每一个已经配置图像位置信息的图像单元中的关节进行特征提取，得出中间结果，并将第2i个提取单元块得出的中间结果分别作为单元提取信息，其中，i为大于0、且小于或等于N的整数；其中，第j个提取单元块特征提取得出的中间结果，输入第j+1个提取单元块再次进行特征提取，其中，j为大于0且小于2*N的整数，其中，特征提取部分包括2*N个提取单元块，特征提取信息包括N个单元提取信息，其中，N为大于0的整数。

一个实施例中，第一处理模块402，具体用于依次通过第1～2*N个提取单元块，分别作如下处理：将每一个已经配置图像位置信息的图像单元，输入第一层归一化单元，将第一层归一化单元输出的结果输入多头注意力机制单元，将多头注意力机制单元输出的结果输入第二层归一化单元，将第二层归一化单元输出的结果输入全连接单元；并通过跳连结构，实现第一层归一化单元输入端与多头注意力机制单元输出端的跳跃连接，以及实现第二层归一化单元输入端和全连接单元输出端的跳跃连接；通过跳跃连接后的全连接单元输出端输出中间结果，其中，提取单元块包括多头注意力机制单元、第一层归一化单元、第二层归一化单元、跳连结构和全连接单元。

一个实施例中，第二处理模块403，具体用于将第2i个提取单元块输出的单元提取信息，进行N-i次上采样处理，得到第2i个提取单元块对应的第一结果，其中，i分别取值为1～(N-1)；将第2i个提取单元块对应的第一结果，与第2(i+1)个提取单元块对应的第二结果进行通道融合处理，得到第2i个提取单元块对应的单元融合结果，其中，第2N个提取单元块对应的单元融合结果为第2N个提取单元块输出的单元提取信息；对第2i个提取单元块对应的单元融合结果进行一次上采样处理和一次卷积处理，得到第2i个提取单元块对应的第二结果；将第2个提取单元块对应的第二结果进行三次卷积处理，得到并输出关节的轮廓信息，其中，轮廓信息为包含关节轮廓的处理后图像。

一个实施例中，关节识别装置还包括训练模块404，用于原始分割网络的训练过程，包括：获取样本图像；将样本图像输入到原始分割模型，获取原始分割模型输出的样本图像各自对应的预测轮廓信息；通过样本轮廓信息对预测轮廓信息进行验证，判断验证结果是否符合预设验证条件，若不符合，调整原始分割网络的参数，重复执行将样本图像输入到原始分割模型的步骤，直至验证结果符合预设验证条件时，将原始分割模型作为最终的分割神经网络模型，其中，分割神经网络模型为采用样本数据对原始分割网络进行训练得到，其中，样本数据包括M个样本图像，以及与M个样本图像一一对应的样本轮廓信息，M为大于1的整数。

一个实施例中，获取模块401，具体用于获取关节的医学数字成像和通信图像；将医学数字成像和通信图像进行预设图像格式转换，获得待处理图像。

图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)501、通信接口(Communications Interface)502、存储器(memory)503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信。处理器501可以调用存储器503中的逻辑指令，以执行关节识别方法，该方法包括：获取关节的待处理图像；将待处理图像输入预设的分割神经网络模型，其中，分割神经网络模型包括编码模块和解码模块；通过编码模块，对待处理图像中的关节进行特征提取，获得特征提取信息；通过解码模块，根据特征提取信息对关节进行特征还原，获取并输出关节的轮廓信息。

此外，上述的存储器503中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的关节识别方法，该方法包括：获取关节的待处理图像；将待处理图像输入预设的分割神经网络模型，其中，分割神经网络模型包括编码模块和解码模块；通过编码模块，对待处理图像中的关节进行特征提取，获得特征提取信息；通过解码模块，根据特征提取信息对关节进行特征还原，获取并输出关节的轮廓信息。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的关节识别方法，该方法包括：获取关节的待处理图像；将待处理图像输入预设的分割神经网络模型，其中，分割神经网络模型包括编码模块和解码模块；通过编码模块，对待处理图像中的关节进行特征提取，获得特征提取信息；通过解码模块，根据特征提取信息对关节进行特征还原，获取并输出关节的轮廓信息。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种关节识别方法，其特征在于，包括：

获取关节的待处理图像；

将所述待处理图像输入至分割神经网络模型的编码模块，对所述待处理图像中的所述关节进行特征提取，获得特征提取信息；

将所述特征提取信息输入至所述分割神经网络模型的解码模块，根据所述特征提取信息对所述关节进行特征还原，获取并输出所述关节的轮廓信息。

2.根据权利要求1所述的关节识别方法，其特征在于，所述将所述待处理图像输入至分割神经网络模型的编码模块，对所述待处理图像中的所述关节进行特征提取，获得特征提取信息，包括：

将所述待处理图像输入至所述编码模块的预处理部分，将所述待处理图像分割为至少一个图像单元，以及分别为每一个所述图像单元配置对应的图像位置信息；

将每一个已经配置所述图像位置信息的图像单元，输入至所述编码模块的特征提取部分，分别对每一个已经配置所述图像位置信息的图像单元中的所述关节进行特征提取，获得特征提取信息。

3.根据权利要求2所述的关节识别方法，其特征在于，所述特征提取部分包括2*N个提取单元块，所述特征提取信息包括N个单元提取信息，其中，N为大于0的整数；

所述将每一个已经配置所述图像位置信息的图像单元，输入至所述编码模块的特征提取部分，分别对每一个已经配置所述图像位置信息的图像单元中的所述关节进行特征提取，获得特征提取信息，包括：

依次通过第1～2*N个所述提取单元块，分别对每一个已经配置所述图像位置信息的图像单元中的所述关节进行特征提取，得出中间结果，并将第2i个所述提取单元块得出的所述中间结果分别作为所述单元提取信息，其中，i为大于0、且小于或等于N的整数；

其中，第j个所述提取单元块特征提取得出的所述中间结果，输入第j+1个所述提取单元块再次进行特征提取，其中，j为大于0且小于2*N的整数。

4.根据权利要求3所述的关节识别方法，其特征在于，所述提取单元块包括多头注意力机制单元、第一层归一化单元、第二层归一化单元、跳连结构和全连接单元；

所述通过第1～2*N个所述提取单元块，分别对每一个已经配置所述图像位置信息的图像单元中的所述关节进行特征提取，得出中间结果，包括：

依次通过第1～2*N个所述提取单元块，分别作如下处理：

将所述每一个已经配置所述图像位置信息的图像单元，输入所述第一层归一化单元，将所述第一层归一化单元输出的结果输入所述多头注意力机制单元，将所述多头注意力机制单元输出的结果输入所述第二层归一化单元，将所述第二层归一化单元输出的结果输入所述全连接单元；并通过所述跳连结构，实现所述第一层归一化单元输入端与所述多头注意力机制单元输出端的跳跃连接，以及实现所述第二层归一化单元输入端和所述全连接单元输出端的跳跃连接；通过跳跃连接后的所述全连接单元输出端输出所述中间结果。

5.根据权利要求3所述的关节识别方法，其特征在于，所述将所述特征提取信息输入至所述分割神经网络模型的解码模块，根据所述特征提取信息对所述关节进行特征还原，获取并输出所述关节的轮廓信息，包括：

将第2i个所述提取单元块输出的所述单元提取信息，进行N-i次上采样处理，得到第2i个所述提取单元块对应的第一结果，其中，i分别取值为1～(N-1)；

将第2i个所述提取单元块对应的第一结果，与第2(i+1)个所述提取单元块对应的第二结果进行通道融合处理，得到第2i个所述提取单元块对应的单元融合结果，其中，第2N个所述提取单元块对应的单元融合结果为第2N个所述提取单元块输出的所述单元提取信息；

对第2i个所述提取单元块对应的单元融合结果进行一次上采样处理和一次卷积处理，得到所述第2i个所述提取单元块对应的第二结果；

将第2个所述提取单元块对应的第二结果进行三次卷积处理，得到并输出所述关节的轮廓信息，其中，所述轮廓信息为包含所述关节轮廓的处理后图像。

6.根据权利要求1所述的关节识别方法，其特征在于，所述分割神经网络模型为采用样本数据对原始分割模型进行训练得到，其中，所述样本数据包括M个样本图像，以及与M个所述样本图像一一对应的样本轮廓信息，M为大于1的整数；

所述原始分割网络的训练过程包括：

获取所述样本图像；

将所述样本图像输入到所述原始分割模型，获取所述原始分割模型输出的所述样本图像各自对应的预测轮廓信息；

通过所述样本轮廓信息对所述预测轮廓信息进行验证，判断验证结果是否符合预设验证条件，若不符合，调整所述原始分割网络的参数，重复执行所述将所述样本图像输入到所述原始分割模型的步骤，直至所述验证结果符合所述预设验证条件时，将所述原始分割模型作为最终的所述分割神经网络模型。

7.根据权利要求1所述的关节识别方法，其特征在于，所述获取关节的待处理图像，包括：

获取所述关节的医学数字成像和通信图像；

将所述医学数字成像和通信图像进行预设图像格式转换，获得所述待处理图像。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述关节识别方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述关节识别方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述关节识别方法的步骤。

Images