CN117689683B - 一种双腿膝关节运动状态图像处理方法、设备及存储介质 - Google Patents

一种双腿膝关节运动状态图像处理方法、设备及存储介质 Download PDF

Info

Publication number
CN117689683B
CN117689683B CN202410137713.6A CN202410137713A CN117689683B CN 117689683 B CN117689683 B CN 117689683B CN 202410137713 A CN202410137713 A CN 202410137713A CN 117689683 B CN117689683 B CN 117689683B
Authority
CN
China
Prior art keywords
image
dimensional
knee joint
frame
bone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410137713.6A
Other languages
English (en)
Other versions
CN117689683A (zh
Inventor
奚岩
王嘉舜
李巍
阮威
常韫恒
唐冰
周一新
唐浩
陈阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yiying Information Technology Co ltd
Jiangsu Yiying Medical Equipment Co ltd
Original Assignee
Shanghai Yiying Information Technology Co ltd
Jiangsu Yiying Medical Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yiying Information Technology Co ltd, Jiangsu Yiying Medical Equipment Co ltd filed Critical Shanghai Yiying Information Technology Co ltd
Priority to CN202410137713.6A priority Critical patent/CN117689683B/zh
Publication of CN117689683A publication Critical patent/CN117689683A/zh
Application granted granted Critical
Publication of CN117689683B publication Critical patent/CN117689683B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种双腿膝关节运动状态图像处理方法、设备及存储介质，其特征在于，包括步骤：获取双腿运动状态下的膝关节二维图像；根据预设的膝关节二维图像分割模型分割膝关节二维图像中二维股骨特征、二维髌骨特征和二维胫腓骨特征；根据二维股骨特征、二维髌骨特征和二维胫腓骨特征中连通域数量判断当前帧膝关节二维图像是否为重叠帧；在连通域数量大于预设阈值时，判断当前帧膝关节二维图像为非重叠帧图像，通过第一通道输出非重叠帧图像；在连通域数量不大于预设阈值时，判断当前帧膝关节二维图像为重叠帧图像，通过第二通道输出重叠帧图像。本发明可以进行重叠帧处理筛选出可识别的图像供后续医学诊断和治疗方案使用。

Description

一种双腿膝关节运动状态图像处理方法、设备及存储介质
技术领域
本发明涉及医学图像处理技术领域，特别涉及一种双腿膝关节运动状态图像处理方法、设备及存储介质。
背景技术
目前在进行膝关节骨骼检查过程中，通常采用锥束计算机断层成像方法（CBCT，Cone-Beam Computed Tomography）采集患者单个膝关节站立位的三维成像数据，站立位CBCT设备不仅可以支持静态下的负重位图像处理，也因为其成像速度快的优势使其可以支持动态DR二维成像，在膝关节骨科诊断、运动康复和术后诊断等领域具有较高的临床价值。
但是在采用CBCT设备进行双腿运动状态下动态膝关节成像时，会出现患者行走过程导致图像中双腿膝关节重叠的问题，无论是人工识别还是机械识别，针对重叠帧的膝关节图像难以准确判断其膝关节的位姿及状态，运动状态下双腿膝关节重叠时图像识别效率低且错误率高，难以高效地对运动状态下膝关节状态难以进行有效判断。
因此目前需要一种双腿膝关节运动状态图像处理方法，针对运动状态下膝关节CBCT图像中双腿膝关节重叠问题，结合膝关节图像特征场景进行重叠帧处理筛选可识别的图像供后续医学诊断和治疗方案使用。
发明内容
为解决运动状态下双腿膝关节重叠时图像识别效率低且错误率高的技术问题，本发明提供一种双腿膝关节运动状态图像处理方法、设备及存储介质，具体的技术方案如下：
本发明提供一种双腿膝关节运动状态图像处理方法，包括步骤：
获取双腿运动状态下的膝关节二维图像；
根据预设的膝关节二维图像分割模型分割所述膝关节二维图像中二维骨骼特征；
根据分割后所述膝关节二维图像中连通域数量判断当前帧所述膝关节二维图像是否为重叠帧；
在所述连通域数量大于预设阈值时，判断当前帧所述膝关节二维图像为非重叠帧图像，通过第一通道输出所述非重叠帧图像；
在所述连通域数量不大于预设阈值时，判断当前帧所述膝关节二维图像为重叠帧图像，通过第二通道输出所述重叠帧图像。
本发明提供的双腿膝关节运动状态图像处理方法针对双腿膝关节运动状态图像检测场景，基于膝关节二维图像的连通域情况判断当前图像是否为非重叠帧图像，并在不同通道输出非重叠帧图像和重叠帧图像用于后续不同人工检测或图形计算方案，避免非重叠帧图像中骨骼特征不明显影响正常图像识别过程或降低人工识别效率。
在一些实施方式中，所述二维骨骼特征包括二维股骨特征、二维髌骨特征和二维胫腓骨特征；
所述的根据分割后所述膝关节二维图像中连通域数量判断当前帧所述膝关节二维图像是否为重叠帧，具体包括：
在所述连通域数量大于三个时，判断当前帧所述膝关节二维图像为所述非重叠帧图像；
在所述连通域数量不大于三个时，判断当前帧所述膝关节二维图像为所述重叠帧图像。
在一些实施方式中，所述连通域数量为所述二维股骨特征中连通域、所述二维髌骨特征中连通域和所述二维胫腓骨特征中连通域的总连通域数量。
在一些实施方式中，所述的通过第一通道输出所述非重叠帧图像之后，还包括：
提取所述非重叠帧图像中不同区域的所述二维骨骼特征各自对应的骨骼尺寸信息；
根据不同区域所述二维骨骼特征的所述骨骼尺寸信息，将所述非重叠帧图像划分为左腿区域图像和右腿区域图像。
在一些实施方式中，所述的根据不同区域所述二维骨骼特征的所述骨骼尺寸信息，将所述重叠帧图像划分为左腿区域图像和右腿区域图像，具体包括：
获取所述二维骨骼特征中的骨骼边缘拟合直线对应的斜率直线；
在所述膝关节二维图像上生成与所述斜率直线相垂直的宽度直线，将所述宽度直线与当前所述二维骨骼特征的相交长度作为所述骨骼宽度信息；
根据获取所述膝关节二维图像时图像采集设备与膝关节之间的方向，结合所述骨骼宽度信息将所述重叠帧图像划分为所述左腿区域图像或所述右腿区域图像。
在一些实施方式中，本发明提供的一种双腿膝关节运动状态图像处理方法，还包括步骤：
获取双腿运动状态下的膝关节三维重建图像，所述膝关节三维重建图像包括左腿膝关节三维重建图像和右腿膝关节三维重建图像；
根据预设的膝关节三维重建图像分割模型分割所述膝关节三维重建图像中三维骨骼特征；
根据每帧所述重叠帧图像中所述左腿区域图像对应的所述二维骨骼特征和所述左腿区域图像对应的所述三维骨骼特征进行二维三维配准，计算每帧所述重叠帧图像对应的第一配准变换参数；
根据每帧所述重叠帧图像中所述右腿区域图像对应的所述二维骨骼特征和所述右腿区域图像对应的所述三维骨骼特征进行二维三维配准，计算每帧所述重叠帧图像对应的第二配准变换参数；
根据每帧所述重叠帧图像对应的所述第一配准变换参数和第二配准变换参数，分别对所述非重叠帧的所述膝关节三维重建图像中所述左腿膝关节三维重建图像和所述右腿膝关节三维重建图像进行位姿调节；
根据调节后的当前所述非重叠帧的所述膝关节三维重建图像和当前所述非重叠帧的所述膝关节二维图像，生成当前所述非重叠帧的双腿膝关节运动状态四维图像处理结果。
在一些实施方式中，本发明提供的一种双腿膝关节运动状态图像处理方法，还包括步骤：
将所述非重叠帧图像与相邻帧图像进行配准变换参数拟合；
根据拟合后的所述配准变换参数分别对所述重叠帧的所述膝关节三维重建图像中所述左腿膝关节三维重建图像和所述右腿膝关节三维重建图像进行位姿调节；
根据调节后的当前所述重叠帧的所述膝关节三维重建图像和当前所述重叠帧的所述膝关节二维图像，生成当前所述重叠帧的双腿膝关节运动状态四维图像处理结果。
在一些实施方式中，本发明提供的一种双腿膝关节运动状态图像处理方法，还包括步骤：
将所述非重叠帧图像与相邻帧图像进行二维骨骼特征参数拟合；
根据拟合后的所述非重叠帧图像中的所述左腿区域图像对应的二维骨骼特征，和所述左腿区域图像对应的所述三维骨骼特征进行二维三维配准，计算每帧所述非重叠帧图像对应的第三配准变换参数；
根据拟合后的所述非重叠帧图像中的所述右腿区域图像对应的二维骨骼特征，和所述右腿区域图像对应的所述三维骨骼特征进行二维三维配准，计算每帧所述重叠帧图像对应的第四配准变换参数；
根据每帧所述非重叠帧图像对应的所述第三配准变换参数和第四配准变换参数，分别对所述重叠帧的所述膝关节三维重建图像中所述左腿膝关节三维重建图像和所述右腿膝关节三维重建图像进行位姿调节；
根据调节后的当前所述重叠帧的所述膝关节三维重建图像和当前所述重叠帧的所述膝关节二维图像，生成当前所述重叠帧的双腿膝关节运动状态四维图像处理结果。
在另一方面，本发明还提供一种双腿膝关节运动状态图像处理设备，包括：
射线源，用于发射膝关节检测射线；
探测器，用于接收经过用户膝关节处的所述膝关节检测射线；
滑轨，所述射线源和所述探测器分别安装于两侧所述滑轨上，所述滑轨根据用户移动速度驱动所述射线源和所述探测器同步同向运动；
处理器，用于接收所述探测器发送的双腿运动状态下的膝关节二维图像，并根据预设的膝关节二维图像分割模型分割所述膝关节二维图像中二维骨骼特征，根据分割后所述膝关节二维图像中连通域数量判断当前帧所述膝关节二维图像是否为重叠帧，在所述连通域数量大于预设阈值时，判断当前帧所述膝关节二维图像为非重叠帧图像，通过第一通道输出所述非重叠帧图像，在所述连通域数量不大于预设阈值时，判断当前帧所述膝关节二维图像为重叠帧图像，通过第二通道输出所述重叠帧图像。
在另一方面，本发明还提供一种存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现上述的一种双腿膝关节运动状态图像处理方法所执行的操作。
本发明提供一种双腿膝关节运动状态图像处理方法和设备的技术效果如下：针对双腿膝关节运动状态图像检测场景，基于膝关节二维图像的连通域情况判断当前图像是否为非重叠帧图像，并在不同通道输出非重叠帧图像和重叠帧图像用于后续不同人工检测或图形计算方案，避免非重叠帧图像中骨骼特征不明显影响正常图像识别过程或降低人工识别效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种双腿膝关节运动状态图像处理方法的流程图；
图2为本发明一种双腿膝关节运动状态图像处理方法中图像分割结果示例图；
图3为本发明一种双腿膝关节运动状态图像处理方法中判断非重叠帧图像中左右腿的流程图；
图4为本发明一种双腿膝关节运动状态图像处理方法中计算骨骼宽度的流程图；
图5为本发明一种双腿膝关节运动状态图像处理方法中生成四维运动态膝关节图像的流程图；
图6为本发明一种双腿膝关节运动状态图像处理方法中生成四维运动态膝关节图像另一个的流程图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所述描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或集合的存在或添加。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘出了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
在膝关节检测过程当中除了需要采集患者在静止状态下的膝关节数据，还需要采集患者运动状态下的膝关节数据，但是实际采集到的动态膝关节图像往往会受到行走动作幅度的影响导致图像中骨骼特征难以辨认，将全部采集到的膝关节图像输出给医生会导致医生无法从行走状态下大量膝关节采集图像中准确获取信息密度较大的骨骼图像，整个膝关节图像的采集和后续的处理、诊疗等工作效率均会随着信息密度较低图像的增多而降低。
基于上述问题，如图1所示，本申请提供一种双腿膝关节运动状态图像处理方法，包括步骤：
S100获取双腿运动状态下的膝关节二维图像。
具体地，获取运动二维图像序列的过程中，射线源和探测器放在滑轨上分别位于患者两侧，患者沿与滑轨水平的方向向前步行，射线源和探测器按患者速度沿滑轨运动，实时采集患者膝关节在运动状态下的二维图像。
示例性地，常见射线源和探测器选用Xray射线源以及对应探测器，以采集双腿运动状态下的膝关节Xray二维图像，以便于后续对双腿运动状态下的膝关节Xray二维图像进行图像筛选后人工或机器完成图像中信息筛选。
S200根据预设的膝关节二维图像分割模型分割膝关节二维图像中二维骨骼特征。
具体地，在预先根据标注对应骨骼区域的双腿运动状态下的膝关节Xray二维图像训练数据集，通过Stable Diffusion Unet网络模型训练膝关节二维图像分割模型，膝关节二维图像分割模型可以根据训练数据集中ROI区域的预标注情况，针对双腿运动状态下的膝关节Xray二维图像进行特定骨骼特征标注，例如可以将双腿运动状态下的膝关节Xray二维图像中全部骨骼区域进行标注，也可以针对双腿运动状态下的膝关节Xray二维图像中有一定图像特征的骨骼类型进行标注。
进一步地，在膝关节二维图像分割模型训练过程中选取Stable Diffusion Unet网络模型主要是通过若干卷积层和若干池化层对图像依次进行处理，每次经过卷积和池化之间采用Relu、sigmoid等非线性函数进行特征变换，基于上述构思，本申请中膝关节二维图像分割模型也可以选取其余Unet模型或其余网络模型架构，只要符合上述对骨骼特征提取的技术构思，不同模型架构均属于本申请的保护范围。
S300根据分割后膝关节二维图像中连通域数量判断当前帧膝关节二维图像是否为重叠帧。
具体地，图像中连通域是指图像中具有相同图像属性特征的相邻像素点组成的像素集合，在本实施例中由于通过模型提取膝关节二维图像中特定骨骼区域特征，具有相同骨骼区域特征的相邻像素点可以组成当前骨骼所对应的特征识别区域，因此分割后膝关节二维图像中连通域是指在执行膝关节二维图像骨骼分割后，骨骼特征识别区域的数量。
S410在连通域数量大于预设阈值时，判断当前帧膝关节二维图像为非重叠帧图像，通过第一通道输出非重叠帧图像。
S510在连通域数量不大于预设阈值时，判断当前帧膝关节二维图像为重叠帧图像，通过第二通道输出重叠帧图像。
具体地，本申请的技术构思在于针对骨骼特征提取结果，如果骨骼特征提取结果中连通域（即分割的相同骨骼特征区域）数量与待提取的骨骼特征类型数量相同或大于待提取的骨骼特征类型数量，则说明双腿的运动状态骨骼特征均可以在膝关节二维图像中得到完整呈现，此时双腿在运动过程下不处于重叠态，如果骨骼特征提取结果中连通域数量小于待提取的骨骼特征类型数量，则说明双腿的运动状态骨骼特征在膝关节二维图像中产生重叠，此时双腿在运动过程下处于重叠态。
本实施例提供的双腿膝关节运动状态图像处理方法针对双腿膝关节运动状态图像检测场景，基于膝关节二维图像的连通域情况判断当前图像是否为非重叠帧图像，并在不同通道输出非重叠帧图像和重叠帧图像用于后续不同人工检测或图形计算方案，避免非重叠帧图像中骨骼特征不明显影响正常图像识别过程或降低人工识别效率。
在上述实施例的基础上，本申请可以针对膝关节的骨骼特征进一步优化方案，膝关节中主要骨骼包括股骨、髌骨和胫腓骨，因此在预训练膝关节二维图像分割模型过程中，可以预先在双腿运动状态下的膝关节Xray二维图像训练数据集中标注股骨、髌骨和胫腓骨ROI区域，针对股骨、髌骨和胫腓骨图像特征，通过训练方式对膝关节二维图像分割模型进行调参，由于训练完成的模型在实际图像分割过程中可以完整分割出二维股骨特征、二维髌骨特征和二维胫腓骨特征，从属左右腿骨骼的二维股骨特征、二维髌骨特征和二维胫腓骨特征分别组成一个连通域。
在双腿处于重叠状态下，膝关节二维图像分割模型无法完整分割双腿的二维股骨特征、二维髌骨特征和二维胫腓骨特征，左右腿的二维股骨特征、二维髌骨特征和二维胫腓骨特征会彼此叠加导致分割后图像中连通域数量不大于三个，如图2所示中，S9、S17对应的重叠图像中由于重叠导致膝关节Xray二维图像中无法完整识别到二维股骨特征、二维髌骨特征和二维胫腓骨特征对应的独立连通域，此时膝关节Xray二维图像中二维股骨特征、二维髌骨特征和二维胫腓骨特征的连通域叠加数量不大于待识别的骨骼数量（本场景下为3个），因此可以在连通域数量不大于三个时，判断当前帧膝关节二维图像为重叠帧图像。
在双腿处于非重叠状态下，膝关节二维图像分割模型可以完整分割双腿的二维股骨特征、二维髌骨特征和二维胫腓骨特征，左右腿的二维股骨特征、二维髌骨特征和二维胫腓骨特征彼此独立，使分割后图像中连通域数量大于三个，如图2所示中，S14、S21对应的非重叠图像中膝关节Xray二维图像中可以完整识别到二维股骨特征、二维髌骨特征和二维胫腓骨特征对应的独立连通域，此时膝关节Xray二维图像中二维股骨特征、二维髌骨特征和二维胫腓骨特征的连通域叠加数量大于待识别的骨骼数量（本场景下为3个），因此可以在连通域数量大于三个时，判断当前帧膝关节二维图像为重叠帧图像。
在针对膝关节二维图像的高信息密度要求场景下，可以进一步将膝关节二维图像区分为重叠帧、半重叠帧和非重叠帧，在连通域数量大于三个且小于六个时（大于待识别的骨骼数量，但是小于双倍待识别的骨骼数量），判断当前帧所述膝关节二维图像为半重叠帧图像，并将半重叠帧图像由独立通道输出。此方案可以进一步将图像进行区分，有些图像中双腿处于部分重叠态，此时可以分割识别出双腿中部分未重叠的股骨特征、髌骨特征和胫腓骨特征，针对上述图像类型可以单独输出作为非重叠态下图像特种额的辅助参考指标。
在一个实施例中，识别连通域数量的过程设置为将分割后图像中二维股骨特征中连通域、二维髌骨特征中连通域和二维胫腓骨特征中连通域的总连通域数量作为连通域数量，不会单独比对不同种类骨骼特征的连通域数量。
在一个实施例中，识别连通域数量的过程也可以设置为分别比对各个骨骼种类的连通域数量是否为二，以二维股骨特征、二维髌骨特征和二维胫腓骨特征的分割场景为例，分别识别二维股骨特征对应连通域数量是否为二、二维髌骨特征对应连通域数量是否为二，以及二维胫腓骨特征对应连通域数量是否为二，如果均为二则说明当前膝关节二维图像为非重叠态，如果存在部分不为二的连通域数量，则说明当前膝关节二维图像为部分重叠态，如果存在全部不为二的连通域数量，则说明当前膝关节二维图像为重叠态。
进一步地，本申请可以根据分割后图像特征判断非重叠帧图像中左右腿的骨骼特征以便于后续图像处理过程，如图3所示，步骤S410在连通域数量大于预设阈值时，判断当前帧膝关节二维图像为非重叠帧图像，通过第一通道输出非重叠帧图像之后，还包括：
S420提取非重叠帧图像中不同区域的二维骨骼特征各自对应的骨骼尺寸信息。
S430根据不同区域二维骨骼特征的骨骼尺寸信息，将非重叠帧图像划分为左腿区域图像和右腿区域图像。
本实施例考虑到在双腿二维膝关节图像数据采集过程中，双腿二维膝关节图像的骨骼特征分割结果存在尺寸差异，靠近射线源方向的左腿或右腿的膝关节图像中骨骼特征分割结果的尺寸大于远离射线源方向的左腿或右腿的膝关节图像中骨骼特征分割结果的尺寸，因此可以根据非重叠帧图像中不同区域的二维骨骼特征各自对应的骨骼尺寸信息以及膝关节二维图像时图像采集设备与膝关节之间的方向，判断双腿二维膝关节图像的骨骼特征分割结果中左腿和右腿对应的骨骼特征分割结果。
示例性地，在使用者进行双腿膝关节运动状态图像采集过程中，射线源设置于患者左腿方向，提取非重叠帧图像中二维股骨特征、二维髌骨特征和二维胫腓骨特征，由于非重叠帧图像中存在两个二维股骨特征、两个二维髌骨特征和两个二维胫腓骨特征，分别计算两个二维股骨特征、两个二维髌骨特征和两个二维胫腓骨特征各自对应的骨骼尺寸信息，将二维股骨特征聚类分为第一二维股骨特征集和第二二维股骨特征集，将二维髌骨特征聚类分为第一二维髌骨特征集和第二二维髌骨特征集，将二维胫腓骨特征聚类分为第一二维胫腓骨特征集和第二二维胫腓骨特征集，分别比对第一二维股骨特征集的骨骼尺寸信息和第二二维股骨特征集的骨骼尺寸信息、第一二维髌骨特征集的骨骼尺寸信息和第二二维髌骨特征集的骨骼尺寸信息，第一二维胫腓骨特征集的骨骼尺寸信息和第二二维胫腓骨特征集的骨骼尺寸信息，将骨骼尺寸信息大的骨骼特征集作为左腿区域图像，将骨骼尺寸信息小的骨骼特征集作为右腿区域图像。
进一步地，在进行骨骼尺寸计算过程中可以选取骨骼特征区域的长度或宽度等尺寸信息作为左右腿识别依据，考虑到双腿膝关节运动状态图像采集场景，以及膝关节中骨骼特点，通过识别骨骼中宽度区分左右腿更具表征性，因此本申请进一步设计根据分割后图像进行宽度信息采集和左右腿识别的具体方案，如图4所示，步骤S430根据不同区域二维骨骼特征的骨骼尺寸信息，将非重叠帧图像划分为左腿区域图像和右腿区域图像，具体包括步骤：
S431获取二维骨骼特征中的骨骼边缘拟合直线对应的斜率直线。
S422在膝关节二维图像上生成与斜率直线相垂直的宽度直线，将宽度直线与当前二维骨骼特征的相交长度作为骨骼宽度信息。
S433根据获取膝关节二维图像时图像采集设备与膝关节之间的方向，结合骨骼宽度信息将重叠帧图像划分为左腿区域图像或右腿区域图像。
在将双腿膝关节运动状态图像进行重叠态和非重叠态分别输出后，如果直接将二维膝关节图像直接呈现给用户观察，可能依然会存在遗漏信息，无法使用户对膝关节运动状态下的骨骼特征直观完整了解，因此在一个实施例中，如图5所示，本发明还提供一种双腿膝关节运动状态图像处理方法，包括步骤：
S100获取双腿运动状态下的膝关节二维图像。
具体地，获取运动二维图像序列的过程中，射线源和探测器放在滑轨上分别位于患者两侧，患者沿与滑轨水平的方向向前步行，射线源和探测器按患者速度沿滑轨运动，实时采集患者膝关节在运动状态下的二维图像。
示例性地，常见射线源和探测器选用Xray射线源以及对应探测器，以采集双腿运动状态下的膝关节Xray二维图像，以便于后续对双腿运动状态下的膝关节Xray二维图像进行图像筛选后人工或机器完成图像中信息筛选。
S200根据预设的膝关节二维图像分割模型分割膝关节二维图像中二维骨骼。
具体地，在预先根据标注对应骨骼区域的双腿运动状态下的膝关节Xray二维图像训练数据集，通过Stable Diffusion Unet网络模型训练膝关节二维图像分割模型，膝关节二维图像分割模型可以根据训练数据集中ROI区域的预标注情况，针对双腿运动状态下的膝关节Xray二维图像进行特定骨骼特征标注，例如可以将双腿运动状态下的膝关节Xray二维图像中全部骨骼区域进行标注，也可以针对双腿运动状态下的膝关节Xray二维图像中有一定图像特征的骨骼类型进行标注。
进一步地，在膝关节二维图像分割模型训练过程中选取Stable Diffusion Unet网络模型主要是通过若干卷积层和若干池化层对图像依次进行处理，每次经过卷积和池化之间采用Relu、sigmoid等非线性函数进行特征变换，基于上述构思，本申请中膝关节二维图像分割模型也可以选取其余Unet模型或其余网络模型架构，只要符合上述对骨骼特征提取的技术构思，不同模型架构均属于本申请的保护范围。
S300根据分割后膝关节二维图像中连通域数量判断当前帧膝关节二维图像是否为重叠帧。
具体地，图像中连通域是指图像中具有相同图像属性特征的相邻像素点组成的像素集合，在本实施例中由于通过模型提取膝关节二维图像中特定骨骼区域特征，具有相同骨骼区域特征的相邻像素点可以组成当前骨骼所对应的特征识别区域，因此分割后膝关节二维图像中连通域是指在执行膝关节二维图像骨骼分割后，骨骼特征识别区域的数量。
S410在连通域数量大于预设阈值时，判断当前帧膝关节二维图像为非重叠帧图像，通过第一通道输出非重叠帧图像。
S510在连通域数量不大于预设阈值时，判断当前帧膝关节二维图像为重叠帧图像，通过第二通道输出重叠帧图像。
具体地，本申请的技术构思在于针对骨骼特征提取结果，如果骨骼特征提取结果中连通域（即分割的相同骨骼特征区域）数量与待提取的骨骼特征类型数量相同或大于待提取的骨骼特征类型数量，则说明双腿的运动状态骨骼特征均可以在膝关节二维图像中得到完整呈现，此时双腿在运动过程下不处于重叠态，如果骨骼特征提取结果中连通域数量小于待提取的骨骼特征类型数量，则说明双腿的运动状态骨骼特征在膝关节二维图像中产生重叠，此时双腿在运动过程下处于重叠态。
S600获取双腿运动状态下的膝关节三维重建图像。
具体地，膝关节三维重建图像包括左腿膝关节三维重建图像和右腿膝关节三维重建图像，三维重建图像为根据CBCT重建数据进行三维建模后形成的膝关节三维图像，此时膝关节三维图像为静态膝关节三维模型可以供用户直观观察膝关节当前的三维骨骼特征，但是静态的膝关节模型无法表征双腿膝关节运动状态下的膝关节变化情况，因此本申请实施例结合双腿膝关节运动状态二维和非重叠帧数据和膝关节三维图像，计算生成运动状态下膝关节四维图像供用户查看膝关节运动状态下骨骼全方位特征。
S700根据预设的膝关节三维重建图像分割模型分割膝关节三维重建图像中三维骨骼特征。
具体地，在预先根据标注对应骨骼区域的双腿运动状态下的站立位CBCT重建图像训练数据集，通过nnUNet训练骨骼分割网络模型。
S810根据每帧非重叠帧图像中左腿区域图像对应的二维骨骼特征和左腿区域图像对应的所述三维骨骼特征进行二维三维配准，计算每帧非重叠帧图像对应的第一配准变换参数。
S820根据每帧非重叠帧图像中右腿区域图像对应的二维骨骼特征和右腿区域图像对应的三维骨骼特征进行二维三维配准，计算每帧非重叠帧图像对应的第二配准变换参数。
具体地，配准过程为通过采集到的二维骨骼数据对重建得到的三维骨骼图像进行变换，计算其三维骨骼图像的变换参数，使在双腿运动过程中左右腿的二维图像均可以通过计算生成三维模型结果。
进一步地，步骤S820主要通过二维骨骼特征序列的分割结果计算各个骨骼特征在三维图像中的旋转角度，然后对完成分割的站立位CBCT三维骨骼数据进行对应旋转，并按照真实站立位CBCT设备的扫描参数做模拟投影，将2D-3D的配准任务转化为运动DR序列和模拟投影的2D-2D配准，完成旋转后，使用基于模板匹配的方法依次对各个骨骼做配准，得到每块骨骼在三维图像中x、y、z三个方向的平移参数，将上述旋转角度和平移参数作为配准变换参数。
S910根据每帧非重叠帧图像对应的所述第一配准变换参数和第二配准变换参数，分别对非重叠帧的所述膝关节三维重建图像中左腿膝关节三维重建图像和右腿膝关节三维重建图像进行位姿调节。
S920根据调节后的当前非重叠帧的膝关节三维重建图像和当前非重叠帧的所述膝关节二维图像，生成当前非重叠帧的双腿膝关节运动状态四维图像处理结果。
本实施例提供的双腿膝关节运动状态图像处理方法结合双腿膝关节运动状态图像采集过程中，左右腿二维图像数据的骨骼特征提取结果以及左右腿三维图像数据，对左右腿三维图像数据进行位姿变换以获取运动过程中各个非重叠帧双腿膝关节骨骼图像四维图像，使用户可以根据四维图像直观观察到运动状态的膝关节骨骼情况。
进一步地，考虑到双腿膝关节运动状态图像的完整性，需要将重叠帧图像也生成对应的四维膝关节图像使用户可以查看到连续变换的骨骼情况，在一个实施例中，如图6所示，本发明还提供一种双腿膝关节运动状态图像处理方法，包括步骤：
S100获取双腿运动状态下的膝关节二维图像。
具体地，获取运动二维图像序列的过程中，射线源和探测器放在滑轨上分别位于患者两侧，患者沿与滑轨水平的方向向前步行，射线源和探测器按患者速度沿滑轨运动，实时采集患者膝关节在运动状态下的二维图像。
示例性地，常见射线源和探测器选用Xray射线源以及对应探测器，以采集双腿运动状态下的膝关节Xray二维图像，以便于后续对双腿运动状态下的膝关节Xray二维图像进行图像筛选后人工或机器完成图像中信息筛选。
S200根据预设的膝关节二维图像分割模型分割膝关节二维图像中二维骨骼。
具体地，在预先根据标注对应骨骼区域的双腿运动状态下的膝关节Xray二维图像训练数据集，通过Stable Diffusion Unet网络模型训练膝关节二维图像分割模型，膝关节二维图像分割模型可以根据训练数据集中ROI区域的预标注情况，针对双腿运动状态下的膝关节Xray二维图像进行特定骨骼特征标注，例如可以将双腿运动状态下的膝关节Xray二维图像中全部骨骼区域进行标注，也可以针对双腿运动状态下的膝关节Xray二维图像中有一定图像特征的骨骼类型进行标注。
进一步地，在膝关节二维图像分割模型训练过程中选取Stable Diffusion Unet网络模型主要是通过若干卷积层和若干池化层对图像依次进行处理，每次经过卷积和池化之间采用Relu、sigmoid等非线性函数进行特征变换，基于上述构思，本申请中膝关节二维图像分割模型也可以选取其余Unet模型或其余网络模型架构，只要符合上述对骨骼特征提取的技术构思，不同模型架构均属于本申请的保护范围。
S300根据分割后膝关节二维图像中连通域数量判断当前帧膝关节二维图像是否为重叠帧。
具体地，图像中连通域是指图像中具有相同图像属性特征的相邻像素点组成的像素集合，在本实施例中由于通过模型提取膝关节二维图像中特定骨骼区域特征，具有相同骨骼区域特征的相邻像素点可以组成当前骨骼所对应的特征识别区域，因此分割后膝关节二维图像中连通域是指在执行膝关节二维图像骨骼分割后，骨骼特征识别区域的数量。
S410在连通域数量大于预设阈值时，判断当前帧膝关节二维图像为非重叠帧图像，通过第一通道输出非重叠帧图像。
S510在连通域数量不大于预设阈值时，判断当前帧膝关节二维图像为重叠帧图像，通过第二通道输出重叠帧图像。
具体地，本申请的技术构思在于针对骨骼特征提取结果，如果骨骼特征提取结果中连通域（即分割的相同骨骼特征区域）数量与待提取的骨骼特征类型数量相同或大于待提取的骨骼特征类型数量，则说明双腿的运动状态骨骼特征均可以在膝关节二维图像中得到完整呈现，此时双腿在运动过程下不处于重叠态，如果骨骼特征提取结果中连通域数量小于待提取的骨骼特征类型数量，则说明双腿的运动状态骨骼特征在膝关节二维图像中产生重叠，此时双腿在运动过程下处于重叠态。
S600获取双腿运动状态下的膝关节三维重建图像。
具体地，膝关节三维重建图像包括左腿膝关节三维重建图像和右腿膝关节三维重建图像，三维重建图像为根据CBCT重建数据进行三维建模后形成的膝关节三维图像，此时膝关节三维图像为静态膝关节三维模型可以供用户直观观察膝关节当前的三维骨骼特征，但是静态的膝关节模型无法表征双腿膝关节运动状态下的膝关节变化情况，因此本申请实施例结合双腿膝关节运动状态二维和非重叠帧数据和膝关节三维图像，计算生成运动状态下膝关节四维图像供用户查看膝关节运动状态下骨骼全方位特征。
S700根据预设的膝关节三维重建图像分割模型分割膝关节三维重建图像中三维骨骼特征。
具体地，在预先根据标注对应骨骼区域的双腿运动状态下的站立位CBCT重建图像训练数据集，通过nnUNet训练骨骼分割网络模型。
S830将重叠帧图像与相邻帧图像进行配准变换参数拟合。
S840根据拟合后的配准变换参数分别对重叠帧的膝关节三维重建图像中左腿膝关节三维重建图像和右腿膝关节三维重建图像进行位姿调节。
S850根据调节后的当前重叠帧的膝关节三维重建图像和当前重叠帧的膝关节二维图像，生成当前重叠帧的双腿膝关节运动状态四维图像处理结果。
在一个实施例中，也可以将重叠帧图像与相邻帧图像进行二维骨骼特征参数拟合，以实现双腿膝关节运动状态下连续四维图像显示过程，具体包括将重叠帧图像与相邻帧图像进行二维骨骼特征参数拟合；根据拟合后的重叠帧图像中的左腿区域图像对应的二维骨骼特征，和左腿区域图像对应的三维骨骼特征进行二维三维配准，计算每帧非重叠帧图像对应的第三配准变换参数；根据拟合后的重叠帧图像中的右腿区域图像对应的二维骨骼特征，和右腿区域图像对应的三维骨骼特征进行二维三维配准，计算每帧重叠帧图像对应的第四配准变换参数；根据每帧重叠帧图像对应的第三配准变换参数和第四配准变换参数，分别对重叠帧的膝关节三维重建图像中左腿膝关节三维重建图像和右腿膝关节三维重建图像进行位姿调节；根据调节后的当前重叠帧的膝关节三维重建图像和当前重叠帧的膝关节二维图像，生成当前重叠帧的双腿膝关节运动状态四维图像处理结果。
在一些实施方式中，根据本发明的另一方面，本发明还提供一种双腿膝关节运动状态图像处理设备，包括射线源、探测器、滑轨和处理器。
其中，射线源，用于发射膝关节检测射线；探测器，用于接收经过用户膝关节处的膝关节检测射线；滑轨，射线源和探测器分别安装于两侧滑轨上，滑轨根据用户移动速度驱动射线源和探测器同步同向运动；处理器，用于接收探测器发送的双腿运动状态下的膝关节二维图像，并根据预设的膝关节二维图像分割模型分割膝关节二维图像中二维股骨特征、二维髌骨特征和二维胫腓骨特征，根据二维股骨特征、二维髌骨特征和二维胫腓骨特征中连通域数量判断当前帧膝关节二维图像是否为重叠帧，在连通域数量大于预设阈值时，判断当前帧膝关节二维图像为非重叠帧图像，通过第一通道输出非重叠帧图像，在连通域数量不大于预设阈值时，判断当前帧膝关节二维图像为重叠帧图像，通过第二通道输出重叠帧图像。
在一个实施例中，根据本发明的另一方面，本发明还提供一种存储介质，存储介质中存储有至少一条指令，指令由处理器加载并执行以实现上述的一种双腿膝关节运动状态图像处理方法所执行的操作。例如，存储介质可以是只读内存(ROM)、随机存取存储器(RAM)、只读光盘(CD-ROM)、磁带、软盘和光数据存储设备等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述或记载的部分，可以参见其他实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的一种双腿膝关节运动状态图像处理方法、设备及存储介质，可以通过其他的方式实现。例如，以上所描述的一种双腿膝关节运动状态图像处理方法、设备及存储介质实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的通讯连接可以是通过一些接口，装置或单元的通讯连接或集成电路，可以是电性、机械或其他的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可能集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
应当说明的是，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种双腿膝关节运动状态图像处理方法，其特征在于，包括步骤：
获取双腿运动状态下的膝关节二维图像；
根据预设的膝关节二维图像分割模型分割所述膝关节二维图像中二维骨骼特征；
根据分割后所述膝关节二维图像中连通域数量判断当前帧所述膝关节二维图像是否为重叠帧；
在所述连通域数量大于预设阈值时，判断当前帧所述膝关节二维图像为非重叠帧图像，通过第一通道输出所述非重叠帧图像；
在所述连通域数量不大于预设阈值时，判断当前帧所述膝关节二维图像为重叠帧图像，通过第二通道输出所述重叠帧图像；
所述的通过第一通道输出所述非重叠帧图像之后，还包括：
提取所述非重叠帧图像中不同区域的所述二维骨骼特征各自对应的骨骼尺寸信息；
根据不同区域所述二维骨骼特征的所述骨骼尺寸信息，将所述非重叠帧图像划分为左腿区域图像和右腿区域图像；
所述的根据不同区域所述二维骨骼特征的所述骨骼尺寸信息，将所述重叠帧图像划分为左腿区域图像和右腿区域图像，具体包括：
获取所述二维骨骼特征中的骨骼边缘拟合直线对应的斜率直线；
在所述膝关节二维图像上生成与所述斜率直线相垂直的宽度直线，将所述宽度直线与当前所述二维骨骼特征的相交长度作为所述骨骼宽度信息；
根据获取所述膝关节二维图像时图像采集设备与膝关节之间的方向，结合所述骨骼宽度信息将所述重叠帧图像划分为所述左腿区域图像或所述右腿区域图像；
所述图像处理方法，还包括步骤：
获取双腿运动状态下的膝关节三维重建图像，所述膝关节三维重建图像包括左腿膝关节三维重建图像和右腿膝关节三维重建图像；
根据预设的膝关节三维重建图像分割模型分割所述膝关节三维重建图像中三维骨骼特征；
根据每帧所述非重叠帧图像中所述左腿区域图像对应的所述二维骨骼特征和所述左腿区域图像对应的所述三维骨骼特征进行二维三维配准，计算每帧所述非重叠帧图像对应的第一配准变换参数；
根据每帧所述非重叠帧图像中所述右腿区域图像对应的所述二维骨骼特征和所述右腿区域图像对应的所述三维骨骼特征进行二维三维配准，计算每帧所述非重叠帧图像对应的第二配准变换参数；
根据每帧所述非重叠帧图像对应的所述第一配准变换参数和第二配准变换参数，分别对所述非重叠帧的所述膝关节三维重建图像中所述左腿膝关节三维重建图像和所述右腿膝关节三维重建图像进行位姿调节；
根据调节后的当前所述非重叠帧的所述膝关节三维重建图像和当前所述非重叠帧的所述膝关节二维图像，生成当前所述非重叠帧的双腿膝关节运动状态四维图像处理结果。
2.根据权利要求1所述的一种双腿膝关节运动状态图像处理方法，其特征在于，
所述二维骨骼特征包括二维股骨特征、二维髌骨特征和二维胫腓骨特征；
所述的根据分割后所述膝关节二维图像中连通域数量判断当前帧所述膝关节二维图像是否为重叠帧，具体包括：
在所述连通域数量大于三个时，判断当前帧所述膝关节二维图像为所述非重叠帧图像；
在所述连通域数量不大于三个时，判断当前帧所述膝关节二维图像为所述重叠帧图像。
3.根据权利要求2所述的一种双腿膝关节运动状态图像处理方法，其特征在于，
所述连通域数量为所述二维股骨特征中连通域、所述二维髌骨特征中连通域和所述二维胫腓骨特征中连通域的总连通域数量。
4.根据权利要求1所述的一种双腿膝关节运动状态图像处理方法，其特征在于，还包括步骤：
将所述重叠帧图像与相邻帧图像进行配准变换参数拟合；
根据拟合后的所述配准变换参数分别对所述重叠帧的所述膝关节三维重建图像中所述左腿膝关节三维重建图像和所述右腿膝关节三维重建图像进行位姿调节；
根据调节后的当前所述重叠帧的所述膝关节三维重建图像和当前所述重叠帧的所述膝关节二维图像，生成当前所述重叠帧的双腿膝关节运动状态四维图像处理结果。
5.根据权利要求1所述的一种双腿膝关节运动状态图像处理方法，其特征在于，还包括步骤：
将所述重叠帧图像与相邻帧图像进行二维骨骼特征参数拟合；
根据拟合后的所述重叠帧图像中的所述左腿区域图像对应的二维骨骼特征，和所述左腿区域图像对应的所述三维骨骼特征进行二维三维配准，计算每帧所述非重叠帧图像对应的第三配准变换参数；
根据拟合后的所述重叠帧图像中的所述右腿区域图像对应的二维骨骼特征，和所述右腿区域图像对应的所述三维骨骼特征进行二维三维配准，计算每帧所述重叠帧图像对应的第四配准变换参数；
根据每帧所述重叠帧图像对应的所述第三配准变换参数和第四配准变换参数，分别对所述重叠帧的所述膝关节三维重建图像中所述左腿膝关节三维重建图像和所述右腿膝关节三维重建图像进行位姿调节；
根据调节后的当前所述重叠帧的所述膝关节三维重建图像和当前所述重叠帧的所述膝关节二维图像，生成当前所述重叠帧的双腿膝关节运动状态四维图像处理结果。
6.一种双腿膝关节运动状态图像处理设备，其特征在于，包括：
射线源，用于发射膝关节检测射线；
探测器，用于接收经过用户膝关节处的所述膝关节检测射线；
滑轨，所述射线源和所述探测器分别安装于两侧所述滑轨上，所述滑轨根据用户移动速度驱动所述射线源和所述探测器同步同向运动；
处理器，用于接收所述探测器发送的双腿运动状态下的膝关节二维图像，并根据预设的膝关节二维图像分割模型分割所述膝关节二维图像中二维骨骼特征，根据分割后所述膝关节二维图像中连通域数量判断当前帧所述膝关节二维图像是否为重叠帧，在所述连通域数量大于预设阈值时，判断当前帧所述膝关节二维图像为非重叠帧图像，通过第一通道输出所述非重叠帧图像，在所述连通域数量不大于预设阈值时，判断当前帧所述膝关节二维图像为重叠帧图像，通过第二通道输出所述重叠帧图像；
所述处理器通过第一通道输出所述非重叠帧图像之后，还用于：
提取所述非重叠帧图像中不同区域的所述二维骨骼特征各自对应的骨骼尺寸信息；
根据不同区域所述二维骨骼特征的所述骨骼尺寸信息，将所述非重叠帧图像划分为左腿区域图像和右腿区域图像；
所述的根据不同区域所述二维骨骼特征的所述骨骼尺寸信息，将所述重叠帧图像划分为左腿区域图像和右腿区域图像，具体包括：
获取所述二维骨骼特征中的骨骼边缘拟合直线对应的斜率直线；
在所述膝关节二维图像上生成与所述斜率直线相垂直的宽度直线，将所述宽度直线与当前所述二维骨骼特征的相交长度作为所述骨骼宽度信息；
根据获取所述膝关节二维图像时图像采集设备与膝关节之间的方向，结合所述骨骼宽度信息将所述重叠帧图像划分为所述左腿区域图像或所述右腿区域图像；
所述处理器还用于：
获取双腿运动状态下的膝关节三维重建图像，所述膝关节三维重建图像包括左腿膝关节三维重建图像和右腿膝关节三维重建图像；
根据预设的膝关节三维重建图像分割模型分割所述膝关节三维重建图像中三维骨骼特征；
根据每帧所述非重叠帧图像中所述左腿区域图像对应的所述二维骨骼特征和所述左腿区域图像对应的所述三维骨骼特征进行二维三维配准，计算每帧所述非重叠帧图像对应的第一配准变换参数；
根据每帧所述非重叠帧图像中所述右腿区域图像对应的所述二维骨骼特征和所述右腿区域图像对应的所述三维骨骼特征进行二维三维配准，计算每帧所述非重叠帧图像对应的第二配准变换参数；
根据每帧所述非重叠帧图像对应的所述第一配准变换参数和第二配准变换参数，分别对所述非重叠帧的所述膝关节三维重建图像中所述左腿膝关节三维重建图像和所述右腿膝关节三维重建图像进行位姿调节；
根据调节后的当前所述非重叠帧的所述膝关节三维重建图像和当前所述非重叠帧的所述膝关节二维图像，生成当前所述非重叠帧的双腿膝关节运动状态四维图像处理结果。
7.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1～5中任意一项所述的一种双腿膝关节运动状态图像处理方法所执行的操作。
CN202410137713.6A 2024-02-01 2024-02-01 一种双腿膝关节运动状态图像处理方法、设备及存储介质 Active CN117689683B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410137713.6A CN117689683B (zh) 2024-02-01 2024-02-01 一种双腿膝关节运动状态图像处理方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410137713.6A CN117689683B (zh) 2024-02-01 2024-02-01 一种双腿膝关节运动状态图像处理方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117689683A CN117689683A (zh) 2024-03-12
CN117689683B true CN117689683B (zh) 2024-05-03

Family

ID=90126850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410137713.6A Active CN117689683B (zh) 2024-02-01 2024-02-01 一种双腿膝关节运动状态图像处理方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117689683B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161268A (zh) * 2019-12-12 2020-05-15 科大讯飞股份有限公司 图像处理方法、装置、电子设备及计算机存储介质
CN113643263A (zh) * 2021-08-18 2021-11-12 北京理工大学 一种上肢骨定位与前臂骨融合畸形的识别方法及系统
CN113689402A (zh) * 2021-08-24 2021-11-23 北京长木谷医疗科技有限公司 基于深度学习的股骨髓腔形态识别方法、装置及存储介质
CN113962959A (zh) * 2021-10-21 2022-01-21 苏州微创畅行机器人有限公司 三维图像处理方法、装置、计算机设备和存储介质
CN114723762A (zh) * 2022-04-22 2022-07-08 瓴域影诺(北京)科技有限公司 一种膝关节ct图像自动分割方法、装置及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114915791B (zh) * 2021-02-08 2023-10-20 荣耀终端有限公司 基于二维规则化平面投影的点云序列编解码方法及装置
CN114266879A (zh) * 2021-12-24 2022-04-01 北京百度网讯科技有限公司 三维数据增强、模型训练检测方法、设备及自动驾驶车辆

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161268A (zh) * 2019-12-12 2020-05-15 科大讯飞股份有限公司 图像处理方法、装置、电子设备及计算机存储介质
CN113643263A (zh) * 2021-08-18 2021-11-12 北京理工大学 一种上肢骨定位与前臂骨融合畸形的识别方法及系统
CN113689402A (zh) * 2021-08-24 2021-11-23 北京长木谷医疗科技有限公司 基于深度学习的股骨髓腔形态识别方法、装置及存储介质
CN113962959A (zh) * 2021-10-21 2022-01-21 苏州微创畅行机器人有限公司 三维图像处理方法、装置、计算机设备和存储介质
CN114723762A (zh) * 2022-04-22 2022-07-08 瓴域影诺(北京)科技有限公司 一种膝关节ct图像自动分割方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的膝关节CT 图像自动分割准确性验证研究;宋平等;《中国修复重建外科杂志》;20220515;第534-539页 *

Also Published As

Publication number Publication date
CN117689683A (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
US11839501B2 (en) Image creation device
JP4340334B2 (ja) 対象と対象の３次元表現との間の変換を決定する方法及びその装置
JP5643304B2 (ja) 胸部トモシンセシスイメージングにおけるコンピュータ支援肺結節検出システムおよび方法並びに肺画像セグメント化システムおよび方法
Unberath et al. Enabling machine learning in X-ray-based procedures via realistic simulation of image formation
US6125193A (en) Method and system for high absorption object artifacts reduction and superposition
US9269165B2 (en) Rib enhancement in radiographic images
Baka et al. Statistical shape model-based femur kinematics from biplane fluoroscopy
Albarqouni et al. X-ray in-depth decomposition: Revealing the latent structures
CN107106102A (zh) 数字减影血管造影
Ratul et al. CCX-rayNet: a class conditioned convolutional neural network for biplanar X-rays to CT volume
CN117689683B (zh) 一种双腿膝关节运动状态图像处理方法、设备及存储介质
JP2007014435A (ja) 画像処理装置、画像処理方法およびそのプログラム
Beier et al. Registered image subtraction for CT-, MR-and coronary angiography
JP4571378B2 (ja) 画像処理方法および装置並びにプログラム
Mol et al. Application of digital image analysis in dental radiography for the description of periapical bone lesions: a preliminary study
CN107408301A (zh) 使用通道检测对图像数据中的对象的分割
CN103854288B (zh) 十字韧带分割的方法及其系统
Le Bras et al. Personalised 3D reconstruction of proximal femur from low-dose digital biplanar radiographs
KR101982941B1 (ko) 퍼지 신경망을 이용한 ｃｔ 영상의 허상 제거 방법 및 장치
CN117671162B (zh) 一种4d关节站立位三维成像方法和装置
Martin et al. Segmenting and tracking diaphragm and heart regions in gated-CT datasets as an aid to developing a predictive model for respiratory motion-correction
KR102240184B1 (ko) 해부학적 구조의 모델 생성 시스템 및 이를 포함하는 의료 도구 가이드 시스템
Mu et al. Segmentation of knee joints in x-ray images using decomposition-based sweeping and graph search
EP4354395A1 (en) Artificial intelligence-based dual energy x-ray image motion correction training method and system
Hampali 3D Shape Reconstruction of Knee Bones from Low Radiation X-ray Images Using Deep Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant