CN117670845A - 一种基于x光医学图像的脊柱滑脱识别及评估方法、装置 - Google Patents
一种基于x光医学图像的脊柱滑脱识别及评估方法、装置 Download PDFInfo
- Publication number
- CN117670845A CN117670845A CN202311684192.8A CN202311684192A CN117670845A CN 117670845 A CN117670845 A CN 117670845A CN 202311684192 A CN202311684192 A CN 202311684192A CN 117670845 A CN117670845 A CN 117670845A
- Authority
- CN
- China
- Prior art keywords
- information
- sample
- image
- inputting
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 208000007103 Spondylolisthesis Diseases 0.000 claims abstract description 74
- 238000006243 chemical reaction Methods 0.000 claims description 25
- 238000003860 storage Methods 0.000 claims description 13
- 238000005259 measurement Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 238000003708 edge detection Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000003491 array Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 41
- 230000008569 process Effects 0.000 description 23
- 239000013598 vector Substances 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000012549 training Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 8
- 230000004913 activation Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 6
- 238000010606 normalization Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000399 orthopedic effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 210000000115 thoracic cavity Anatomy 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000037182 bone density Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本申请提供了一种基于X光医学图像的脊柱滑脱识别及评估方法、装置，所述方法包括：获取待识别X光医学图像；确定所述待识别X光医学图像的平均灰度值，并基于所述平均灰度值对所述待识别X光医学图像进行灰度调整；将灰度调整后的所述待识别X光医学图像输入编码结构，得到编码信息；将所述编码信息输入解码结构，得到多个解码信息，并将所述多个解码信息输入FFN模块，得到待识别X光医学图像中的脊柱滑脱位置；基于识别出的所述脊柱滑脱位置，测量对应的脊柱滑脱距离。本申请中，通过灰度调整，将平均灰度值下的像素点清除，从而大大降低X光医学图像的数据量，以提高脊柱滑脱识别及评估的速度。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种基于X光医学图像的脊柱滑脱识别及评估方法、装置。
背景技术
脊柱滑脱通常指某节椎体向前或向后移位，常见于腰椎，在我国脊柱滑脱是骨科常见病之一。目前对于脊柱滑脱的发现方式主要是依靠X光的形式实现，即患者通过拍摄X光片，并由影像科医生进行阅片找出脊柱的滑脱位置进行测量。但是随着骨科患者数量的增长，以及影像科医生的缺乏，导致脊柱滑脱的人工识别及评估方式越来越难以满足需求。
目前越来越多的研究者开始使用深度学习的方法进行脊柱滑脱的识别及评估，但是由于X光片本身数据量较大，使得实际使用过程中需要处理的数据量较大，进行脊柱滑脱的识别及评估不方便。
发明内容
本申请解决的问题是进行脊柱滑脱的识别及评估的数据量较大，不方便处理。
为解决上述问题，本申请第一方面提供了一种基于X光医学图像的脊柱滑脱识别及评估方法，包括：
获取待识别X光医学图像；
确定所述待识别X光医学图像的平均灰度值，并基于所述平均灰度值对所述待识别X光医学图像进行灰度调整；
将灰度调整后的所述待识别X光医学图像输入编码结构，得到编码信息；
将所述编码信息输入解码结构，得到多个解码信息，并将所述多个解码信息输入FFN模块，得到待识别X光医学图像中的脊柱滑脱位置；
基于识别出的所述脊柱滑脱位置，测量对应的脊柱滑脱距离。
本申请第二方面提供了一种基于X光医学图像的脊柱滑脱识别及评估装置，其包括：
图像获取单元，其用于获取待识别X光医学图像；
灰度调整单元，其用于确定所述待识别X光医学图像的平均灰度值，并基于所述平均灰度值对所述待识别X光医学图像进行灰度调整；
图像编码单元，其用于将灰度调整后的所述待识别X光医学图像输入编码结构，得到编码信息；
图像解码单元，其用于将所述编码信息输入解码结构，得到多个解码信息，并将所述多个解码信息输入FFN模块，得到待识别X光医学图像中的脊柱滑脱位置；
滑脱测量单元，其用于基于识别出的所述脊柱滑脱位置，测量对应的脊柱滑脱距离。
本申请第三方面提供了一种电子设备，其包括：存储器和处理器；
所述存储器，其用于存储程序；
所述处理器，耦合至所述存储器，用于执行所述程序，以用于：
获取待识别X光医学图像；
确定所述待识别X光医学图像的平均灰度值，并基于所述平均灰度值对所述待识别X光医学图像进行灰度调整；
将灰度调整后的所述待识别X光医学图像输入编码结构，得到编码信息；
将所述编码信息输入解码结构，得到多个解码信息，并将所述多个解码信息输入FFN模块，得到待识别X光医学图像中的脊柱滑脱位置；
基于识别出的所述脊柱滑脱位置，测量对应的脊柱滑脱距离。
本申请第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述所述的基于X光医学图像的脊柱滑脱识别及评估方法。
本申请中，通过灰度调整，将平均灰度值下的像素点清除，从而大大降低X光医学图像的数据量，以提高脊柱滑脱识别及评估的速度。
本申请中，通过设置输出样本信息的维度，从而将输出样本信息和全局图像信息结合起来，通过不停的做注意力操作，从而使得模型直接输出最后的预测目标框。这样，无需进行锚框设置操作即可输出目标框，从而实现真正意义上的端到端检测。
附图说明
图1为根据本申请实施例的脊柱滑脱识别及评估方法的模型架构图；
图2为根据本申请实施例的脊柱滑脱识别及评估方法的流程图；
图3为根据本申请实施例的脊柱滑脱识别及评估方法滑脱测量的流程图；
图4为根据本申请实施例的脊柱滑脱识别及评估方法边缘直线拟合的流程图；
图5为根据本申请实施例的脊柱滑脱识别及评估方法滑脱测量的示意图；
图6为根据本申请实施例的脊柱滑脱识别及评估方法模型训练的流程图；
图7为根据本申请实施例的脊柱滑脱识别及评估方法编码模块的架构图；
图8为根据本申请实施例的脊柱滑脱识别及评估方法解码模块的架构图；
图9为根据本申请实施例的脊柱滑脱识别及评估方法FFN模块的架构图；
图10为根据本申请实施例的脊柱滑脱识别及评估装置的结构框图；
图11为根据本申请实施例的电子设备的结构框图。
具体实施方式
为使本申请的上述目的、特征和优点能够更为明显易懂，下面结合附图对本申请的具体实施例做详细的说明。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
脊柱滑脱通常指某节椎体向前或向后移位，常见于腰椎，在我国脊柱滑脱是骨科常见病之一。目前对于脊柱滑脱的发现方式主要是依靠X光的形式实现，即患者通过拍摄X光片，并由影像科医生进行阅片找出脊柱的滑脱位置进行测量。但是随着骨科患者数量的增长，以及影像科医生的缺乏，导致脊柱滑脱的人工识别及评估方式越来越难以满足需求。
目前越来越多的研究者开始使用深度学习的方法进行脊柱滑脱的识别及评估，但是由于X光片本身数据量较大，使得实际使用过程中需要处理的数据量较大，进行脊柱滑脱的识别及评估不方便。
针对上述问题，本申请提供一种新的基于X光医学图像的脊柱滑脱识别及评估方案，能够通过灰度调整的方式降低需要处理的数据量，解决当前进行脊柱滑脱的识别及评估的数据量较大，不方便处理的问题。
为了便于理解，在此对下述可能使用的术语进行解释：
端到端学习：(End-To-End Learning)，也称端到端训练，是指在学习过程中不进行分模块或分阶段训练，直接优化任务的总体目标。
本申请实施例提供了一种基于X光医学图像的脊柱滑脱识别及评估方法，该方法的具体方案由图1-图9所示，该方法可以由基于X光医学图像的脊柱滑脱识别及评估装置来执行，该基于X光医学图像的脊柱滑脱识别及评估装置可以集成在电脑、服务器、计算机、服务器集群、数据中心等电子设备中。结合图1、图2所示，其为根据本申请一个实施例的基于X光医学图像的脊柱滑脱识别及评估方法的流程图；其中，所述基于X光医学图像的脊柱滑脱识别及评估方法，包括：
S200，获取待识别X光医学图像；
本申请中，所述待识别X光医学图像为包含脊柱的医学图像，基于该医学图像可以判断出脊柱状态/脊柱滑脱位置。
S300，确定所述待识别X光医学图像的平均灰度值，并基于所述平均灰度值对所述待识别X光医学图像进行灰度调整；
本申请中，基于所述平均灰度值对所述待识别X光医学图像进行灰度调整，是将所述待识别X光医学图像中所有灰度值小于平均灰度值的像素点的灰度值归0，从而大大减少后续的编码等处理过程中需要处理的数据量。
本申请中，是通过图像中的相对位置关系，特别是脊椎边缘的相对位置关系来判断脊柱滑脱位置，其中脊椎边缘由于骨密度较高的原因，其像素点的灰度值较大；利用该特性，通过灰度值调整的方式，从而在不影响脊柱滑脱位置判断的准确性的前提下，大大减少需要处理的数据量。
S400，将灰度调整后的所述待识别X光医学图像输入编码结构，得到编码信息；
S500，将所述编码信息输入解码结构，得到多个解码信息，并将所述多个解码信息输入FFN模块，得到待识别X光医学图像中的脊柱滑脱位置；
本申请中，每个FFN模块将输入的解码信息进行处理，输出脊柱滑脱位置或输出无滑脱位置；所有FFN模块输出的信息综合得到待识别X光医学图像中的脊柱滑脱位置。
需要说明的是，S400-S500为训练后的深度网络模型实际处理待识别X光医学图像的过程；下述的S103-S104为深度网络模型处理样本图像，进行训练时的过程；该两者之间除去处理的具体数据不同之外，其余内容均类似，因此，S400-S500的具体处理过程可参照下述的S103-S104的描述，不再赘述。
S600，基于识别出的所述脊柱滑脱位置，测量对应的脊柱滑脱距离。
在确定一个脊柱滑脱位置的基础上，可以基于脊柱滑脱图像测量脊柱滑脱距离；该测量方式可以为直接手动测量，或通过点识别网络模型的方式识别滑脱的两个脊椎的对应关键点，并基于关键点确定脊柱滑脱距离；也可以通过数据拟合的方式拟合滑脱的两个脊椎的对应直线，并基于直线及对应顶点确定脊柱滑脱距离。
本申请中，通过灰度调整，将平均灰度值下的像素点清除，从而大大降低X光医学图像的数据量，以提高脊柱滑脱识别及评估的速度。
结合图3、图5所示，在一种实施方式中，所述S600，基于识别出的所述脊柱滑脱位置，测量对应的脊柱滑脱距离，包括：
S601，获取所述待识别X光医学图像的脊柱滑脱位置图像，所述脊柱滑脱位置图像包括相邻的第一脊椎和第二脊椎的部分图像；
本申请中，脊柱滑脱位置图像为彩色图像的情况下，将彩色图像转换为灰度图像，从而进一步提高边缘检测的速度和准确度。
在一种实施方式中，所述脊柱滑脱位置图像，为待识别X光医学图像的一部分图像，通过预设的置信框进行圈出；所述脊柱滑脱位置图像，不是进行灰度调整后的待识别X光医学图像的一部分。通过灰度调整，会消除灰度值较小的像素点(将其灰度值置于0)，这会对脊柱滑脱位置图像的边缘检测造成干扰，因此使用未进行灰度调整的X光医学图像，从而避免干扰。
S602，通过边缘检测算法确定所述脊柱滑脱位置图像中的图像边缘数据；
本申请中，边缘检测算法可以为Canny算法等算法。
本申请中，将脊柱滑脱位置图像转换为二值图像，其中边缘被标记为白色，背景被标记为黑色。
S603，对图像边缘数据进行拟合，确定第一脊椎的边缘拟合直线与第二脊椎的边缘拟合直线；
本申请中，所述第一脊椎的边缘拟合直线，可以仅为第一脊椎靠近第二脊椎的一条边缘直线，基于该边缘直线以及对应的边缘点，可以确定脊椎的角顶点(第一脊椎为类四边形，具有四个角顶点，基于第一脊椎和第二脊椎的对应的角顶点即可确定脊柱滑脱距离)；所述第一脊椎的边缘拟合直线，也可以为第一脊椎靠近第二脊椎的一条边缘直线，以及与该边缘直线相交的其他两个边缘直线之一，基于靠近第二脊椎的边缘直线以及另一边缘直线的交点，即为角顶点(第一脊椎为类四边形，具有四个边缘直线，相邻的两个边缘直线相交，且交点为角顶点)。即为第一脊椎的边缘拟合直线可以为一条，也可以为相交的两条，或者全部的三条拟合直线(在此需要说明的是，虽然第一脊椎为类四边形，但是由于脊柱滑脱位置的框图大小限制，可能导致远离滑脱的边缘直线无法显示，因此确定会显示的为三条拟合直线)。
S604，基于第一脊椎的边缘拟合直线与第二脊椎的边缘拟合直线，确定脊柱滑脱距离。
本申请中，脊柱滑脱距离是用于测量或表述两个脊椎之间的滑脱程度的，不同的医学判断标准中，对脊柱滑脱距离的测量结果不同；在已知第一脊椎的边缘拟合直线与第二脊椎的边缘拟合直线的情况下，可以根据不同的医学判断标准来计算对应的测量结果。
例如：若脊柱滑脱的医学标准是指上一椎体沿下一椎体上缘的斜面向前下方滑移。滑脱的程度一般根据向前滑移的距离划分，前移不超过下一椎体上缘的1/4为I度，1/4～1/2为Ⅱ度，1/2～3/4为Ⅲ度，3/4以上为Ⅳ度。则本申请中，基于第一脊椎的边缘拟合直线与第二脊椎的边缘拟合直线确定第一脊椎的对应角顶点的坐标，以及第二脊椎的上缘的拟合直线对应的椎体线段；对所述椎体线段进行四等分，并确定角顶点投影在椎体线段的位置，若该位置不超过第二脊椎上缘的1/4为I度，1/4～1/2为Ⅱ度，1/2～3/4为Ⅲ度，3/4以上为Ⅳ度。
例如：若脊柱滑脱的医学标准未明晰，则以第一脊椎的角顶点在第二脊椎的上缘的拟合直线上的投影与第二脊椎的对应的角顶点的距离作为脊柱滑脱距离。具体确定过程可以为：基于第一脊椎的边缘拟合直线中的两个相邻直线的交点确定角顶点；基于第二脊椎的边缘拟合直线中的两个相邻直线的交点确定对应的角顶点(本申请中，可以同时选取第一脊椎和第二脊椎的左侧角顶点作为相互对应的角顶点，也可以选取右侧角顶点作为相互对应的角顶点)；基于第一脊椎的角顶点向第二脊椎的上缘的拟合直线做垂直，垂直位置处即为其在拟合直线上的投影，该投影点与第二脊椎的角顶点的距离即为对应的脊柱滑脱距离。
结合图5所示，其中的第一脊椎的边缘拟合直线选取的为相交的两个直线，其交点处即为对应的角顶点(图中的黑色点)；基于相似的方式获取第二脊椎的对应的角顶点(图中的黑色点)，基于两个角顶点确定对应的脊柱滑脱距离。
需要说明的是，若脊柱滑脱图像的坐标为与现实等长(比例为1:1)，则将确定的脊柱滑脱距离直接作为医学对象的脊柱滑脱距离；若脊柱滑脱图像的坐标为与现实不等长，则获取脊柱滑脱图像的采样密度，并基于采样密度以及图像中的脊柱滑脱距离，确定医学对象的脊柱滑脱距离。
本申请中，通过识别出的所述脊柱滑脱位置拟合对应脊椎的边缘直线，从而基于边缘直线确定对应的脊柱滑脱距离。
本申请中，与设置深度卷积模型进行滑脱距离的计算相比，通过拟合的对应脊椎的边缘直线，来计算实际采用的医学标准对应的脊柱滑脱距离，从而可以适应多种脊柱滑脱的医学标准；且还可以在获取拟合后的边缘直线后，计算其他医学标准下的脊柱滑脱距离，大大增加了脊柱识别方面的适应性。
结合图4、图5所示，在一种实施方式中，所述S603，对图像边缘数据进行拟合，确定第一脊椎的边缘拟合直线与第二脊椎的边缘拟合直线，包括：
S631，获取图像边缘数据，所述图像边缘数据包括多个边缘点；
S632，对于每一个边缘点，将其转换为极坐标空间，并在此空间创建累加器数组，所述累加器数组对应有所述边缘点穿过的曲线；
S633，对于每一个边缘点，对应更新所述累加器数组中所有通过该边缘点的曲线；
S634，遍历所有边缘点，并基于累加器数组的累积值确定对应的多个拟合直线；
S635，将确定的所述拟合直线转换为笛卡尔坐标空间，并基于所述拟合直线数据确定第一脊椎的边缘拟合直线与第二脊椎的边缘拟合直线。
本申请中，对于每个边缘点，应用霍夫变换来查找可能的直线；在霍夫变换中，每个边缘点将对应于一条曲线，该曲线穿过该边缘点。基于此，需要将每个边缘点转换为极坐标空间，并在此空间中创建一个累加器数组以跟踪曲线。
对于每个边缘点，需要对应更新累加器数组中所有通过该边缘点的曲线。在完成所有边缘点的处理后，在累加器数组中查找具有较高值的多个条目(由最高值开始选取)，每个条目表示在图像中可能存在的直线。最后，将找到的直线从极坐标空间转换回笛卡尔坐标空间，以在原始图像上绘制它们。
本申请中，由于参数空间内的曲线是连续的，而在实际情况中图像的像素是离散的，因此在做霍夫变换时需要将参数空间的θ轴和r轴离散化，用离散化后的方格表示每一条正弦曲线。寻找符合条件的网格，之后寻找该网格对应的图像空间的所有点，这些点共同组成了原图像中的直线。
本申请中，霍夫变换的步骤可以为：
将参数空间的坐标离散化；通过映射关系求取图像中每个非零像素在参数空间中通过的方格；统计参数空间内每个方格出现的次数，选取次数大于某一阈值的方格作为表示直线的方格；将参数空间中表示直线的方格的参数作为图像中直线的参数。
结合图6所示，在一种实施方式中，所述S200，获取待识别X光医学图像之前，还包括：
S101，获取样本图像，所述样本图像具有标注的脊柱滑脱位置；
本申请中，所述样本图像为包含脊柱的医学图像，基于该医学图像可以判断出脊柱状态/脊柱滑脱位置。
本申请中，所述样本图像中的脊柱滑脱种类，至少包括颈椎滑脱、腰椎滑脱、胸椎滑脱、骶椎滑脱以及尾椎滑脱，以提高样本图像的覆盖率，增加模型训练的准确性。
S102，确定所述样本图像的平均灰度值，并基于所述平均灰度值对所述样本图像进行灰度调整；
本步骤中，所述灰度调整，是将所述待识别X光医学图像中所有灰度值小于平均灰度值的像素点的灰度值归0，从而大大减少后续的编码等处理过程中需要处理的数据量。
本申请中，通过灰度值调整的方式，从而在不影响脊柱滑脱位置判断的准确性的前提下，大大减少需要处理的数据量。
S103，将灰度调整后的所述样本图像输入编码结构，得到样本编码信息；
S104，将所述样本编码信息和灰度调整后的所述样本图像输入解码结构，得到多个样本解码信息，并将所述多个样本解码信息输入FFN模块，得到样本图像中的预测滑脱位置；
本申请中，所述编码结构、所述解码结构和所述FFN模块的训练是同步进行的，是将所述编码结构、所述解码结构和所述FFN模块作为一个整体的模型进行训练的。
S105，基于预测滑脱位置和标注的脊柱滑脱位置，计算所述编码结构、所述解码结构和所述FFN模块的整体损失；
S106，基于所述整体损失迭代所述编码结构、所述解码结构和所述FFN模块，直至所述整体损失收敛为止。
所述整体损失的计算公式为：
L＝Lc+μLb
其中，Lb为框回归损失，Lc为分类损失，L为整体损失，μ为平衡两个损失的超参数，为模型对位置(i,j)处的目标框的预测类别，模型对位置(i,j)处的目标框的预测类别为模型对位置(i,j)处的目标框的实际类别，N为输出的目标框的总数，x,y为目标框的中心的坐标，w,h为目标框的宽和高，k为目标框的代指，/>为模型对位置(i,j)处的目标框k的实际坐标，/>为模型对位置(i,j)处的目标框k的预测坐标。
本申请中，我们利用一个向量(x,y,w,h)来表示一个边框/目标框，其中x,y为边框/目标框中心的坐标，w,h为边框/目标框的宽和高，通过集合{x,y,w,h}来汇总所有的向量，k∈{x,y,w,h}来表示k代表集合中的向量。
本申请中，为模型对位置(i,j)处的目标框k的预测值与实际值的损失。
本申请中，SmoothL1损失为一种损失函数，该损失函数的优势在于对异常值(如过大或过小的离群点)的惩罚更小，从而使模型更加具有鲁棒性。其中，SmoothL1的具体计算公式，本申请中不再赘述。
本申请中，通过设置整体损失，使得卷积模型能够同时处理目标检测的分类任务与定位任务，从而进一步提高目标框的生成的准确度。
结合图7所示，在一种实施方式中，所述S103，将灰度调整后的所述样本图像输入编码结构，得到样本编码信息，包括：
将灰度调整后的所述样本图像进行格式转换；
将格式转换后的所述样本图像与位置信息进行相加，得到输入样本信息；
将所述输入样本信息输入多注意力模块，得到多注意力编码信息；
将所述多注意力编码信息与所述输入样本信息相加后输入IN层，得到归一化样本信息；
将所述归一化样本信息输入FFN模块，得到前馈样本信息；
将所述前馈样本信息与所述归一化样本信息相加后输入IN层，得到样本编码信息。
如图7所示，所述编码结构包含格式转换模块与至少一个编码模块，所述编码模块包括依次设置的多注意力模块、IN层、FFN模块、IN层。
具体处理过程中，通过格式转换模块对灰度调整后的所述样本图像进行格式转换，将其表示为通过多个定长的向量的表示形式；所述位置信息，即是给输入的位置所做的标记信息，为可以表征位置的向量，该向量与格式转换后的样本图像的维度相同；通过相加(add)处理，将位置信息嵌入样本图像中，得到新的具有位置信息的样本图像的向量表示(输入样本信息)。
本申请中，所述相加处理为Add处理，该处理为语义信息的叠加，从而进行信息的嵌入。
具体处理过程中，通过多注意力模块对输入样本信息进行处理，得到多注意力编码信息，该处理为基于多注意力机制的处理，具体地：对输入样本信息进行线性映射，产生权重矩阵Q，K，V；该权重矩阵的维度与样本图像的向量表示的维度相同；从该维度上将矩阵切分为多份，每一份即为一个头，从而基于多头注意力机制进行处理，得到多注意力编码信息。
本申请中，将矩阵切分为多份，每一份即为一个头的多头注意力机制，可以参考Transformer中的多头注意力机制，具体处理过程不再赘述。
具体处理过程中，对多注意力编码信息进行残差处理(与所述输入样本信息相加)，并通过IN层进行归一化，得到归一化样本信息；通过FFN模块及IN层，对归一化样本信息进行前馈处理后，再进行残差处理及归一化，从而得到该编码模块的输出信息；在编码模块为多个的情况下，将上一个编码模块的输出作为下一个编码模块的输入，依次进行处理，直至最后一个编码模块的输出作为最终的样本编码信息。
需要说明的是，本申请中所述的向量形式，仅是为了便于理解，暂用向量表达；在实际运算过程中，也可能会以矩阵等具体形式来运行。
结合图8所示，在一种实施方式中，所述S104，将所述样本编码信息和灰度调整后的所述样本图像输入解码结构，得到多个样本解码信息，包括：
将灰度调整后的所述样本图像进行格式转换；
将格式转换后的所述样本图像与位置信息进行相加，得到输出样本信息；
将所述输出样本信息输入自注意力模块，得到自注意力信息；
将所述自注意力信息与所述输出样本信息相加后输入IN层，得到归一化自注意信息；
将所述归一化自注意信息与所述样本编码信息输入多注意力模块，得到多注意力解码信息；
将所述多注意力编码信息与所述归一化自注意信息相加后输入IN层，得到归一化解码信息；
将所述归一化解码信息输入FFN模块，得到前馈解码信息；
将所述前馈解码信息与所述归一化解码信息相加后输入IN层，得到多个样本解码信息。
需要说明的是，本申请中，将所述样本编码信息和灰度调整后的所述样本图像输入解码结构进行并行处理，得到多个样本解码信息。
如图8所示，所述编码结构包含格式转换模块与至少一个解码模块，所述编码模块包括依次设置的自注意力模块、IN层、多注意力模块、IN层、FFN模块、IN层。
具体处理过程中，通过格式转换模块对灰度调整后的所述样本图像进行格式转换，将其表示为通过多个定长的向量的表示形式；所述位置信息，即是给输入的位置所做的标记信息，为可以表征位置的向量，该向量与格式转换后的样本图像的维度相同；通过相加(add)处理，将位置信息嵌入样本图像中，得到新的具有位置信息的样本图像的向量表示(输入样本信息)。
需要说明的是，解码模块的最终输出的维度与输入的输出样本信息的维度相同，对于脊柱而言，具体包含颈椎骨7块、胸椎骨12块、腰椎骨5块、骶骨1块、尾骨1块共26块脊椎，可能产生滑脱的位置为25处，因此，设置输出样本信息的维度时，仅需要确定该维度大于25即可保证输出结果的准确性。
具体地，可以通过Reshape层、1x1卷积、多步长卷积处理的单一或多种方式的组合来将样本图像/输出样本信息转换为对应维度的信息，具体转换方式本申请中不作限制。
具体处理过程中，通过自注意力模块对输出样本信息进行处理，得到自注意力信息，该处理为基于自注意力机制的处理，具体地：对输入样本信息进行线性映射，产生权重矩阵Q，K，V；该权重矩阵的维度与样本图像的向量表示的维度相同；基于自注意力机制进行处理，得到自注意力信息；对自注意力信息进行残差处理(与所述输出样本信息相加)，并通过IN层进行归一化，得到归一化自注意信息。
具体处理过程中，通过多注意力模块对归一化自注意信息和所述样本编码信息进行处理，得到多注意力解码信息，该处理为基于多注意力机制的处理，具体地：对归一化自注意信息进行线性映射，产生权重矩阵Q，对所述样本编码信息进行处理，产生权重矩阵K，V；该权重矩阵的维度与样本图像的向量表示的维度相同；从该维度上将矩阵切分为多份，每一份即为一个头，从而基于多头注意力机制进行处理，得到多注意力编码信息。
具体处理过程中，对多注意力解码信息进行残差处理(与所述归一化自注意信息相加)，并通过IN层进行归一化，得到归一化解码信息；通过FFN模块及IN层，对归一化解码信息进行前馈处理后，再进行残差处理及归一化，从而得到该解码模块的输出信息；在解码模块为多个的情况下，将上一个解码模块的输出(以及样本编码信息)作为下一个解码模块的输入，依次进行处理，直至最后一个解码模块的输出作为最终的样本解码信息。
本申请中，通过设置输出样本信息的维度，从而将输出样本信息和全局图像信息结合起来，通过不停的做注意力操作，从而使得模型直接输出最后的预测目标框。这样，无需进行锚框设置操作即可输出目标框，从而实现真正意义上的端到端检测。
本申请中，通过并行处理解码结构中的输入数据，从而大大减少处理时间，同步输出所有的结果。
结合图9所示，在一种实施方式中，所述FFN模块包括依次设置的全连接层、类SoftMax层和全连接层；所述类SoftMax层的激活函数为：
其中，SoftMax1(x)为激活函数，xi、xj为输入向量中的元素，i、j为元素序号。
本申请中，SoftMax是一种数学函数，通常用于将一组任意实数转换为表示概率分布的实数。其本质上是一种归一化函数，可以将一组任意的实数值转化为在[0,1]之间的概率值，因为SoftMax将它们转换为0到1之间的值，所以它们可以被解释为概率。如果其中一个输入很小或为负，SoftMax将其变为小概率，如果输入很大，则将其变为大概率，但它将始终保持在0到1之间。
但是，对于标准的SoftMax函数而言，由于输入都会被映射到0到1之间，并且所有的输出值之和为1，这意味着即使某些输入值非常小，它们在SoftMax函数处理后也会有一个非零的输出值。这也就会导致噪声会放大，从而导致最终的输出结果收到了更大的噪声影响。
本申请中，通过在类SoftMax函数的分母中添加了一个1；这个改变意味着当输入值非常小的时候，它们的输出值可以更接近于零。这就允许在没有有价值的信息可以添加时，对应输出可以趋向于零，因此可以大大减少不必要的噪声。
在一种实施方式中，将所述多个样本解码信息输入FFN模块，得到样本图像中的预测滑脱位置，包括：
将解码信息输入FFN模块，得到样本图像中的预测目标框；
将该解码信息同步输入一层线性层，得到与所述预测目标框对应的类别。
其中，所述预测目标框对应的类别即为脊柱滑脱或者是背景两个类别中的一个。
在一种实施方式中，多个样本解码信息通过上述方式进行并行处理，得到对应的预测目标框及类别。
例如：多个解码信息为(25，256)维度，输入FFN模块后，输出维度为(25，4)，代表预测目标框的4个坐标(x，y，w，h)；多个解码信息输入一层线性层后，输出维度为(25，2)，代表预测目标框的2个类别(滑脱或背景)，其中的25代表解码信息的数量。
本申请实施例提供了一种基于X光医学图像的脊柱滑脱识别及评估装置，用于执行本申请上述内容所述的基于X光医学图像的脊柱滑脱识别及评估方法，以下对所述基于X光医学图像的脊柱滑脱识别及评估装置进行详细描述。
如图10所示，所述基于X光医学图像的脊柱滑脱识别及评估装置，包括：
图像获取单元101，其用于获取待识别X光医学图像；
灰度调整单元102，其用于确定所述待识别X光医学图像的平均灰度值，并基于所述平均灰度值对所述待识别X光医学图像进行灰度调整；
图像编码单元103，其用于将灰度调整后的所述待识别X光医学图像输入编码结构，得到编码信息；
图像解码单元104，其用于将所述编码信息输入解码结构，得到多个解码信息，并将所述多个解码信息输入FFN模块，得到待识别X光医学图像中的脊柱滑脱位置；
滑脱测量单元105，其用于基于识别出的所述脊柱滑脱位置，测量对应的脊柱滑脱距离。
在一种实施方式中，所述滑脱测量单元105还用于：
获取所述待识别X光医学图像的脊柱滑脱位置图像，所述脊柱滑脱位置图像包括相邻的第一脊椎和第二脊椎的部分图像；通过边缘检测算法确定所述脊柱滑脱位置图像中的图像边缘数据；对图像边缘数据进行拟合，确定第一脊椎的边缘拟合直线与第二脊椎的边缘拟合直线；基于第一脊椎的边缘拟合直线与第二脊椎的边缘拟合直线，确定脊柱滑脱距离。
在一种实施方式中，所述滑脱测量单元105还用于：
获取图像边缘数据，所述图像边缘数据包括多个边缘点；对于每一个边缘点，将其转换为极坐标空间，并在此空间创建累加器数组，所述累加器数组对应有所述边缘点穿过的曲线；对于每一个边缘点，对应更新所述累加器数组中所有通过该边缘点的曲线；遍历所有边缘点，并基于累加器数组的累积值确定对应的多个拟合直线；将确定的所述拟合直线转换为笛卡尔坐标空间，并基于所述拟合直线数据确定第一脊椎的边缘拟合直线与第二脊椎的边缘拟合直线。
在一种实施方式中，所述基于X光医学图像的脊柱滑脱识别及评估装置还包括模型训练单元，其用于：
获取样本图像，所述样本图像具有标注的脊柱滑脱位置；确定所述样本图像的平均灰度值，并基于所述平均灰度值对所述样本图像进行灰度调整；将灰度调整后的所述样本图像输入编码结构，得到样本编码信息；将所述样本编码信息和灰度调整后的所述样本图像输入解码结构，得到多个样本解码信息，并将所述多个样本解码信息输入FFN模块，得到样本图像中的预测滑脱位置；基于预测滑脱位置和标注的脊柱滑脱位置，计算所述编码结构、所述解码结构和所述FFN模块的整体损失；基于所述整体损失迭代所述编码结构、所述解码结构和所述FFN模块，直至所述整体损失收敛为止。
在一种实施方式中，所述模型训练单元还用于：
将灰度调整后的所述样本图像进行格式转换；将格式转换后的所述样本图像与位置信息进行相加，得到输入样本信息；将所述输入样本信息输入多注意力模块，得到多注意力编码信息；将所述多注意力编码信息与所述输入样本信息相加后输入IN层，得到归一化样本信息；将所述归一化样本信息输入FFN模块，得到前馈样本信息；将所述前馈样本信息与所述归一化样本信息相加后输入IN层，得到样本编码信息。
在一种实施方式中，所述模型训练单元还用于：
将灰度调整后的所述样本图像进行格式转换；将格式转换后的所述样本图像与位置信息进行相加，得到输出样本信息；将所述输出样本信息输入自注意力模块，得到自注意力信息；将所述自注意力信息与所述输出样本信息相加后输入IN层，得到归一化自注意信息；将所述归一化自注意信息与所述样本编码信息输入多注意力模块，得到多注意力解码信息；将所述多注意力编码信息与所述归一化自注意信息相加后输入IN层，得到归一化解码信息；将所述归一化解码信息输入FFN模块，得到前馈解码信息；将所述前馈解码信息与所述归一化解码信息相加后输入IN层，得到多个样本解码信息。
在一种实施方式中，所述FFN模块包括依次设置的全连接层、类SoftMax层和全连接层；所述类SoftMax层的激活函数为：
其中，SoftMax1(x)为激活函数，xi、xj为输入向量中的元素，i、j为元素序号。
本申请的上述实施例提供的基于X光医学图像的脊柱滑脱识别及评估装置与本申请实施例提供的基于X光医学图像的脊柱滑脱识别及评估方法具有对应关系，因此该装置中的具体内容与脊柱滑脱识别及评估方法具有对应关系，具体内容可以参照脊柱滑脱识别及评估方法中的记录，本申请中对此不再赘述。
本申请的上述实施例提供的基于X光医学图像的脊柱滑脱识别及评估装置与本申请实施例提供的基于X光医学图像的脊柱滑脱识别及评估方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
以上描述了基于X光医学图像的脊柱滑脱识别及评估装置的内部功能和结构，如图8所示，实际中，该基于X光医学图像的脊柱滑脱识别及评估装置可实现为电子设备，包括：存储器301及处理器303。
存储器301，可被配置为存储程序。
另外，存储器301，还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
存储器301可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
处理器303，耦合至存储器301，用于执行存储器301中的程序，以用于：
获取待识别X光医学图像；
确定所述待识别X光医学图像的平均灰度值，并基于所述平均灰度值对所述待识别X光医学图像进行灰度调整；
将灰度调整后的所述待识别X光医学图像输入编码结构，得到编码信息；
将所述编码信息输入解码结构，得到多个解码信息，并将所述多个解码信息输入FFN模块，得到待识别X光医学图像中的脊柱滑脱位置；
基于识别出的所述脊柱滑脱位置，测量对应的脊柱滑脱距离。
在一种实施方式中，处理器303还用于：
获取所述待识别X光医学图像的脊柱滑脱位置图像，所述脊柱滑脱位置图像包括相邻的第一脊椎和第二脊椎的部分图像；通过边缘检测算法确定所述脊柱滑脱位置图像中的图像边缘数据；对图像边缘数据进行拟合，确定第一脊椎的边缘拟合直线与第二脊椎的边缘拟合直线；基于第一脊椎的边缘拟合直线与第二脊椎的边缘拟合直线，确定脊柱滑脱距离。
在一种实施方式中，处理器303还用于：
获取图像边缘数据，所述图像边缘数据包括多个边缘点；对于每一个边缘点，将其转换为极坐标空间，并在此空间创建累加器数组，所述累加器数组对应有所述边缘点穿过的曲线；对于每一个边缘点，对应更新所述累加器数组中所有通过该边缘点的曲线；遍历所有边缘点，并基于累加器数组的累积值确定对应的多个拟合直线；将确定的所述拟合直线转换为笛卡尔坐标空间，并基于所述拟合直线数据确定第一脊椎的边缘拟合直线与第二脊椎的边缘拟合直线。
在一种实施方式中，处理器303还用于：
获取样本图像，所述样本图像具有标注的脊柱滑脱位置；确定所述样本图像的平均灰度值，并基于所述平均灰度值对所述样本图像进行灰度调整；将灰度调整后的所述样本图像输入编码结构，得到样本编码信息；将所述样本编码信息和灰度调整后的所述样本图像输入解码结构，得到多个样本解码信息，并将所述多个样本解码信息输入FFN模块，得到样本图像中的预测滑脱位置；基于预测滑脱位置和标注的脊柱滑脱位置，计算所述编码结构、所述解码结构和所述FFN模块的整体损失；基于所述整体损失迭代所述编码结构、所述解码结构和所述FFN模块，直至所述整体损失收敛为止。
在一种实施方式中，处理器303还用于：
将灰度调整后的所述样本图像进行格式转换；将格式转换后的所述样本图像与位置信息进行相加，得到输入样本信息；将所述输入样本信息输入多注意力模块，得到多注意力编码信息；将所述多注意力编码信息与所述输入样本信息相加后输入IN层，得到归一化样本信息；将所述归一化样本信息输入FFN模块，得到前馈样本信息；将所述前馈样本信息与所述归一化样本信息相加后输入IN层，得到样本编码信息。
在一种实施方式中，处理器303还用于：
将灰度调整后的所述样本图像进行格式转换；将格式转换后的所述样本图像与位置信息进行相加，得到输出样本信息；将所述输出样本信息输入自注意力模块，得到自注意力信息；将所述自注意力信息与所述输出样本信息相加后输入IN层，得到归一化自注意信息；将所述归一化自注意信息与所述样本编码信息输入多注意力模块，得到多注意力解码信息；将所述多注意力编码信息与所述归一化自注意信息相加后输入IN层，得到归一化解码信息；将所述归一化解码信息输入FFN模块，得到前馈解码信息；将所述前馈解码信息与所述归一化解码信息相加后输入IN层，得到多个样本解码信息。
在一种实施方式中，所述FFN模块包括依次设置的全连接层、类SoftMax层和全连接层；所述类SoftMax层的激活函数为：
其中，SoftMax1(x)为激活函数，xi、xj为输入向量中的元素，i、j为元素序号。
本申请中，处理器还具体用于执行上述基于X光医学图像的脊柱滑脱识别及评估方法的所有流程及步骤，具体内容可参照脊柱滑脱识别及评估方法中的记录，本申请中对此不再赘述。
本申请中，图11中仅示意性给出部分组件，并不意味着电子设备只包括图11所示组件。
本实施例提供的电子设备，与本申请实施例提供的基于X光医学图像的脊柱滑脱识别及评估方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(Flash RAM)。内存是计算机可读介质的示例。
本申请还提供一种与前述实施方式所提供的基于X光医学图像的脊柱滑脱识别及评估方法对应的计算机可读存储介质，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的基于X光医学图像的脊柱滑脱识别及评估方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(Transitory Media)，如调制的数据信号和载波。
本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的基于X光医学图像的脊柱滑脱识别及评估方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
需要说明的是，在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种基于X光医学图像的脊柱滑脱识别及评估方法，其特征在于，包括：
获取待识别X光医学图像；
确定所述待识别X光医学图像的平均灰度值，并基于所述平均灰度值对所述待识别X光医学图像进行灰度调整；
将灰度调整后的所述待识别X光医学图像输入编码结构，得到编码信息；
将所述编码信息输入解码结构，得到多个解码信息，并将所述多个解码信息输入FFN模块，得到待识别X光医学图像中的脊柱滑脱位置；
基于识别出的所述脊柱滑脱位置，测量对应的脊柱滑脱距离。
2.根据权利要求1所述的脊柱滑脱识别及评估方法，其特征在于，所述基于识别出的所述脊柱滑脱位置，测量对应的脊柱滑脱距离，包括：
获取所述待识别X光医学图像的脊柱滑脱位置图像，所述脊柱滑脱位置图像包括相邻的第一脊椎和第二脊椎的部分图像；
通过边缘检测算法确定所述脊柱滑脱位置图像中的图像边缘数据；
对图像边缘数据进行拟合，确定第一脊椎的边缘拟合直线与第二脊椎的边缘拟合直线；
基于第一脊椎的边缘拟合直线与第二脊椎的边缘拟合直线，确定脊柱滑脱距离。
3.根据权利要求2所述的脊柱滑脱识别及评估方法，其特征在于，所述对图像边缘数据进行拟合，确定第一脊椎的边缘拟合直线与第二脊椎的边缘拟合直线，包括：
获取图像边缘数据，所述图像边缘数据包括多个边缘点；
对于每一个边缘点，将其转换为极坐标空间，并在此空间创建累加器数组，所述累加器数组对应有所述边缘点穿过的曲线；
对于每一个边缘点，对应更新所述累加器数组中所有通过该边缘点的曲线；
遍历所有边缘点，并基于累加器数组的累积值确定对应的多个拟合直线；
将确定的所述拟合直线转换为笛卡尔坐标空间，并基于所述拟合直线数据确定第一脊椎的边缘拟合直线与第二脊椎的边缘拟合直线。
4.根据权利要求1所述的脊柱滑脱识别及评估方法，其特征在于，所述获取待识别X光医学图像之前，还包括：
获取样本图像，所述样本图像具有标注的脊柱滑脱位置；
确定所述样本图像的平均灰度值，并基于所述平均灰度值对所述样本图像进行灰度调整；
将灰度调整后的所述样本图像输入编码结构，得到样本编码信息；
将所述样本编码信息和灰度调整后的所述样本图像输入解码结构，得到多个样本解码信息，并将所述多个样本解码信息输入FFN模块，得到样本图像中的预测滑脱位置；
基于预测滑脱位置和标注的脊柱滑脱位置，计算所述编码结构、所述解码结构和所述FFN模块的整体损失；
基于所述整体损失迭代所述编码结构、所述解码结构和所述FFN模块，直至所述整体损失收敛为止。
5.根据权利要求4所述的脊柱滑脱识别及评估方法，其特征在于，所述将灰度调整后的所述样本图像输入编码结构，得到样本编码信息，包括：
将灰度调整后的所述样本图像进行格式转换；
将格式转换后的所述样本图像与位置信息进行相加，得到输入样本信息；
将所述输入样本信息输入多注意力模块，得到多注意力编码信息；
将所述多注意力编码信息与所述输入样本信息相加后输入IN层，得到归一化样本信息；
将所述归一化样本信息输入FFN模块，得到前馈样本信息；
将所述前馈样本信息与所述归一化样本信息相加后输入IN层，得到样本编码信息。
6.根据权利要求4所述的脊柱滑脱识别及评估方法，其特征在于，所述将所述样本编码信息和灰度调整后的所述样本图像输入解码结构，得到多个样本解码信息，包括：
将灰度调整后的所述样本图像进行格式转换；
将格式转换后的所述样本图像与位置信息进行相加，得到输出样本信息；
将所述输出样本信息输入自注意力模块，得到自注意力信息；
将所述自注意力信息与所述输出样本信息相加后输入IN层，得到归一化自注意信息；
将所述归一化自注意信息与所述样本编码信息输入多注意力模块，得到多注意力解码信息；
将所述多注意力编码信息与所述归一化自注意信息相加后输入IN层，得到归一化解码信息；
将所述归一化解码信息输入FFN模块，得到前馈解码信息；
将所述前馈解码信息与所述归一化解码信息相加后输入IN层，得到多个样本解码信息。
7.根据权利要求1所述的脊柱滑脱识别及评估方法，其特征在于，所述FFN模块包括依次设置的全连接层、类SoftMax层和全连接层。
8.一种基于X光医学图像的脊柱滑脱识别及评估装置，其特征在于，包括：
图像获取单元，其用于获取待识别X光医学图像；
灰度调整单元，其用于确定所述待识别X光医学图像的平均灰度值，并基于所述平均灰度值对所述待识别X光医学图像进行灰度调整；
图像编码单元，其用于将灰度调整后的所述待识别X光医学图像输入编码结构，得到编码信息；
图像解码单元，其用于将所述编码信息输入解码结构，得到多个解码信息，并将所述多个解码信息输入FFN模块，得到待识别X光医学图像中的脊柱滑脱位置；
滑脱测量单元，其用于基于识别出的所述脊柱滑脱位置，测量对应的脊柱滑脱距离。
9.一种电子设备，其特征在于，包括：存储器和处理器；
所述存储器，其用于存储程序；
所述处理器，耦合至所述存储器，用于执行所述程序，以用于：
获取待识别X光医学图像；
确定所述待识别X光医学图像的平均灰度值，并基于所述平均灰度值对所述待识别X光医学图像进行灰度调整；
将灰度调整后的所述待识别X光医学图像输入编码结构，得到编码信息；
将所述编码信息输入解码结构，得到多个解码信息，并将所述多个解码信息输入FFN模块，得到待识别X光医学图像中的脊柱滑脱位置；
基于识别出的所述脊柱滑脱位置，测量对应的脊柱滑脱距离。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现权利要求1-7任一项所述的基于X光医学图像的脊柱滑脱识别及评估方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311684192.8A CN117670845A (zh) | 2023-12-08 | 2023-12-08 | 一种基于x光医学图像的脊柱滑脱识别及评估方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311684192.8A CN117670845A (zh) | 2023-12-08 | 2023-12-08 | 一种基于x光医学图像的脊柱滑脱识别及评估方法、装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117670845A true CN117670845A (zh) | 2024-03-08 |
Family
ID=90069527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311684192.8A Pending CN117670845A (zh) | 2023-12-08 | 2023-12-08 | 一种基于x光医学图像的脊柱滑脱识别及评估方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117670845A (zh) |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1992011609A1 (en) * | 1990-12-19 | 1992-07-09 | Optical Specialities, Inc. | Method and apparatus for automated measurement of location and separation of linear edges |
| CN108309334A (zh) * | 2017-12-08 | 2018-07-24 | 李书纲 | 一种脊柱x线影像的数据处理方法 |
| CN110060259A (zh) * | 2019-04-04 | 2019-07-26 | 东华大学 | 一种基于霍夫变换的鱼眼镜头有效区域提取方法 |
| CN111276221A (zh) * | 2020-02-03 | 2020-06-12 | 杭州依图医疗技术有限公司 | 椎骨影像信息的处理方法、显示方法及存储介质 |
| CN112258516A (zh) * | 2020-09-04 | 2021-01-22 | 温州医科大学附属第二医院、温州医科大学附属育英儿童医院 | 一种脊柱侧弯图像检测模型的生成方法 |
| CN113205535A (zh) * | 2021-05-27 | 2021-08-03 | 青岛大学 | 一种x光片脊椎自动分割及标识方法 |
| JP3234668U (ja) * | 2021-08-17 | 2021-10-28 | 青島大学附属医院Ｔｈｅ Ａｆｆｉｌｉａｔｅｄ Ｈｏｓｐｉｔａｌ Ｏｆ Ｑｉｎｇｄａｏ Ｕｎｉｖｅｒｓｉｔｙ | Ｘ線による脊柱側弯症の画像認識システム |
| CN114266735A (zh) * | 2021-12-07 | 2022-04-01 | 河海大学 | 一种胸部x光图像病变异常检测方法 |
| CN115205233A (zh) * | 2022-06-24 | 2022-10-18 | 国网山东省电力公司潍坊供电公司 | 一种基于端对端架构的光伏表面缺陷识别方法及系统 |
| WO2022271838A1 (en) * | 2021-06-24 | 2022-12-29 | Life Spine, Inc. | Detecting and segmenting regions of interest in biomedical images using neural networks |
| CN115578372A (zh) * | 2022-10-31 | 2023-01-06 | 杭州博钊科技有限公司 | 基于目标检测和卷积变换的骨龄评估方法、设备及介质 |
| CN116452499A (zh) * | 2023-03-03 | 2023-07-18 | 山东大学 | 一种基于Unet网络的腰椎失稳与滑脱诊断系统 |
| CN116468649A (zh) * | 2023-01-10 | 2023-07-21 | 燊炀(杭州)医学技术有限公司 | 脊柱图像识别模型的训练方法、类别确定方法及装置 |
| CN116824173A (zh) * | 2023-06-19 | 2023-09-29 | 深圳市普罗医学股份有限公司 | 医学图像的处理方法、设备及存储介质 |
| CN116934709A (zh) * | 2023-07-20 | 2023-10-24 | 北京长木谷医疗科技股份有限公司 | 一种基于弱监督学习的脊柱滑脱智能识别方法及装置 |
| KR102605501B1 (ko) * | 2022-11-23 | 2023-11-24 | 주식회사 바스젠바이오 | 인공신경망 기반의 척추 전방위증 진단 장치 및 그 정보 제공 방법 |
-
2023
- 2023-12-08 CN CN202311684192.8A patent/CN117670845A/zh active Pending
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1992011609A1 (en) * | 1990-12-19 | 1992-07-09 | Optical Specialities, Inc. | Method and apparatus for automated measurement of location and separation of linear edges |
| CN108309334A (zh) * | 2017-12-08 | 2018-07-24 | 李书纲 | 一种脊柱x线影像的数据处理方法 |
| CN110060259A (zh) * | 2019-04-04 | 2019-07-26 | 东华大学 | 一种基于霍夫变换的鱼眼镜头有效区域提取方法 |
| CN111276221A (zh) * | 2020-02-03 | 2020-06-12 | 杭州依图医疗技术有限公司 | 椎骨影像信息的处理方法、显示方法及存储介质 |
| CN112258516A (zh) * | 2020-09-04 | 2021-01-22 | 温州医科大学附属第二医院、温州医科大学附属育英儿童医院 | 一种脊柱侧弯图像检测模型的生成方法 |
| CN113205535A (zh) * | 2021-05-27 | 2021-08-03 | 青岛大学 | 一种x光片脊椎自动分割及标识方法 |
| WO2022271838A1 (en) * | 2021-06-24 | 2022-12-29 | Life Spine, Inc. | Detecting and segmenting regions of interest in biomedical images using neural networks |
| JP3234668U (ja) * | 2021-08-17 | 2021-10-28 | 青島大学附属医院Ｔｈｅ Ａｆｆｉｌｉａｔｅｄ Ｈｏｓｐｉｔａｌ Ｏｆ Ｑｉｎｇｄａｏ Ｕｎｉｖｅｒｓｉｔｙ | Ｘ線による脊柱側弯症の画像認識システム |
| CN114266735A (zh) * | 2021-12-07 | 2022-04-01 | 河海大学 | 一种胸部x光图像病变异常检测方法 |
| CN115205233A (zh) * | 2022-06-24 | 2022-10-18 | 国网山东省电力公司潍坊供电公司 | 一种基于端对端架构的光伏表面缺陷识别方法及系统 |
| CN115578372A (zh) * | 2022-10-31 | 2023-01-06 | 杭州博钊科技有限公司 | 基于目标检测和卷积变换的骨龄评估方法、设备及介质 |
| KR102605501B1 (ko) * | 2022-11-23 | 2023-11-24 | 주식회사 바스젠바이오 | 인공신경망 기반의 척추 전방위증 진단 장치 및 그 정보 제공 방법 |
| CN116468649A (zh) * | 2023-01-10 | 2023-07-21 | 燊炀(杭州)医学技术有限公司 | 脊柱图像识别模型的训练方法、类别确定方法及装置 |
| CN116452499A (zh) * | 2023-03-03 | 2023-07-18 | 山东大学 | 一种基于Unet网络的腰椎失稳与滑脱诊断系统 |
| CN116824173A (zh) * | 2023-06-19 | 2023-09-29 | 深圳市普罗医学股份有限公司 | 医学图像的处理方法、设备及存储介质 |
| CN116934709A (zh) * | 2023-07-20 | 2023-10-24 | 北京长木谷医疗科技股份有限公司 | 一种基于弱监督学习的脊柱滑脱智能识别方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 朱明生等: "螺旋CT图像后处理技术在腰椎滑脱症诊断中的应用", 《新疆医学》, 28 February 2009 (2009-02-28) * |
| 王珂, 王巍, 尹宝才: "基于CHN的骨龄自动评价方法研究", 计算机研究与发展, no. 07, 30 July 2003 (2003-07-30) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108492271B (zh) | 一种融合多尺度信息的自动图像增强系统及方法 | |
| CN110021025B (zh) | 感兴趣区域的匹配和显示方法、装置、设备及存储介质 | |
| CN111671454B (zh) | 脊柱弯曲角度测量方法、装置、计算机设备及存储介质 | |
| CN102609904B (zh) | 双变量非局部平均滤波x射线图像消噪方法 | |
| US20110243407A1 (en) | Data Transmission in Remote Computer Assisted Detection | |
| Khanal et al. | Automatic cobb angle detection using vertebra detector and vertebra corners regression | |
| Han et al. | Automated pathogenesis-based diagnosis of lumbar neural foraminal stenosis via deep multiscale multitask learning | |
| US10726948B2 (en) | Medical imaging device- and display-invariant segmentation and measurement | |
| CN112396640A (zh) | 图像配准方法、装置、电子设备及存储介质 | |
| CN112802019B (zh) | 一种基于脊柱AIS影像的lenke分型方法 | |
| CN102132322B (zh) | 用于确定对象的尺寸改变的设备 | |
| CN111933253B (zh) | 基于神经网络的骨骼结构图像的标志点标注方法和装置 | |
| CN111192320B (zh) | 一种位置信息确定方法、装置、设备和存储介质 | |
| CN109241867A (zh) | 采用人工智能算法识别数字岩心图像的方法及装置 | |
| CN113240699A (zh) | 图像处理方法及装置，模型的训练方法及装置，电子设备 | |
| CN116934709B (zh) | 一种基于弱监督学习的脊柱滑脱智能识别方法及装置 | |
| CN117670845A (zh) | 一种基于x光医学图像的脊柱滑脱识别及评估方法、装置 | |
| CN114093462A (zh) | 医学影像处理方法、图像处理方法、计算机设备、存储介质 | |
| CN116258712A (zh) | 一种基于残差网络的Cobb角检测方法 | |
| US20220301281A1 (en) | System and method for identifying fractures in digitized x-rays | |
| TWI802510B (zh) | 肺部結節輔助判讀系統及其方法 | |
| CN113763340B (zh) | 基于多任务深度学习强直性脊柱炎的自动分级方法 | |
| KR102593247B1 (ko) | 컴퓨터 단층 촬영의 기하 보정 방법 및 기하 보정 장치 | |
| CN113674261B (zh) | 骨骼检测方法、系统、电子设备和存储介质 | |
| CN117173543B (zh) | 一种肺腺癌和肺结核的混合图像重构方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |