CN113610825A - 术中影像的肋骨识别方法及系统 - Google Patents

术中影像的肋骨识别方法及系统 Download PDF

Info

Publication number
CN113610825A
CN113610825A CN202110932283.3A CN202110932283A CN113610825A CN 113610825 A CN113610825 A CN 113610825A CN 202110932283 A CN202110932283 A CN 202110932283A CN 113610825 A CN113610825 A CN 113610825A
Authority
CN
China
Prior art keywords
image
preoperative
intraoperative
bone segmentation
bone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110932283.3A
Other languages
English (en)
Other versions
CN113610825B (zh
Inventor
王瑜
张欢
余航
刘恩佑
邹彤
黄文豪
张金
陈宽
王少康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Longdianjing Intelligent Technology Co ltd
Original Assignee
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd filed Critical Infervision Medical Technology Co Ltd
Priority to CN202110932283.3A priority Critical patent/CN113610825B/zh
Publication of CN113610825A publication Critical patent/CN113610825A/zh
Application granted granted Critical
Publication of CN113610825B publication Critical patent/CN113610825B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请提供了一种术中影像的肋骨识别方法及系统，该肋骨识别方法包括：将术中影像输入第一分割模型，以获得第一术中骨分割图像，术中影像包括在胸腔手术过程中拍摄的胸部的局部影像。将术前影像输入第二分割模型，以获得具有分类结果的术前骨分割图像，其中术前影像包括在胸腔手术前拍摄的胸部的影像，第一术中骨分割图像与术前骨分割图像中的部分图像对应。将第一术中骨分割图像映射到术前骨分割图像中，以获得第二术中骨分割图像，其中第二术中骨分割图像包括第一术中骨分割图像以及与术前骨分割图像中相同位置处的肋骨的分类结果。本申请通过将术中影像和术前影像相结合，有效的利用术前影像规划术中方案，在术中辅助医生进行穿刺点定位。

Description

术中影像的肋骨识别方法及系统
技术领域
本申请涉及深度学习技术领域，具体涉及一种术中影像的肋骨识别方法及系统。
背景技术
在经皮穿刺定位手术中，肋骨是非常重要器官，为了能够在穿刺过程中有效避开肋骨所在区域，因此需要对肋骨进行分割和分类。但在经皮穿刺定位过程中，为了保证对肋骨的精准避让，一般情况下会针对靶区附近进行多次扫描，以获得靶区附近的图像。但多次扫描不但会给患者带来多次辐射的影响，还会由于缺失完整的肺部区域影像，导致难以对肋骨进行分类识别的问题。
发明内容
有鉴于此，本申请实施例提供了一种术中影像的肋骨识别方法及系统，能够获得局部术中影像包含的骨头信息，从而辅助医生进行医学手术。
第一方面，本申请的实施例提供了一种术中影像的肋骨识别方法，包括：将术中影像输入第一分割模型，以获得第一术中骨分割图像，其中术中影像包括在胸腔手术过程中拍摄的胸部的局部影像；将术前影像输入第二分割模型，以获得具有分类结果的术前骨分割图像，其中术前影像包括在胸腔手术前拍摄的胸部的影像，第一术中骨分割图像与术前骨分割图像中的部分图像对应；将第一术中骨分割图像映射到术前骨分割图像中，以获得第二术中骨分割图像，其中第二术中骨分割图像包括第一术中骨分割图像以及与术前骨分割图像中相同位置处的肋骨的分类结果。
在本申请某些实施例中，将第一术中骨分割图像映射到术前骨分割图像中，以获得第二术中骨分割图像包括：基于第一术中骨分割图像和术前骨分割图像进行配准，获得单应性矩阵；基于单应性矩阵将第一术中骨分割图像中的特征点映射到术前骨分割图像中的特征点上，以确定第二术中骨分割图像。
在本申请某些实施例中，将术前影像输入第二分割模型，以获得具有分类结果的术前骨分割图像包括：将术前影像输入第二分割模型，获得术前骨分割图像；根据椎骨与肋骨的位置关系，对术前骨分割图像中的每一根骨头进行分类，以获得具有分类结果的术前骨分割图像。
在本申请某些实施例中，在将术中影像输入第一分割模型，以获得第一术中骨分割图像之前，还包括：接收影像归档和通信系统PACS系统发送的术中影像；基于术中影像，获取术前影像；将术前影像发送至数据存储单元，用于向第二分割模型发送术前影像。
在本申请某些实施例中，基于术中影像，获取术前影像包括：将术中影像进行分析，以获得术中影像的患者信息；将患者信息发送至PACS系统，查询是否存在术前影像；当存在术前影像时，在PACS系统中提取术前影像。
在本申请某些实施例中，在将第一术中骨分割图像映射到术前骨分割图像中，以获得第二术中骨分割图像之后，还包括：将第二术中骨分割图像发送至数据存储单元；数据存储单元将第二术中骨分割图像发送至前端服务器。
第二方面，本申请的实施例提供了一种术中影像的肋骨识别系统，包括：预测单元，预测单元包括第一分割模块、第二分割模块和映射模块，其中，第一分割模块，用于将术中影像输入第一分割模型，以获得第一术中骨分割图像，其中术中影像包括在胸腔手术过程中拍摄的胸部的局部影像；第二分割模块，用于将术前影像输入第二分割模型，以获得具有分类结果的术前骨分割图像，其中术前影像包括在胸腔手术前拍摄的胸部的影像，第一术中骨分割图像与术前骨分割图像中的部分图像对应；映射模块，用于将第一术中骨分割图像映射到术前骨分割图像中，以获得第二术中骨分割图像，其中第二术中骨分割图像包括第一术中骨分割图像以及与术前骨分割图像中相同位置处的肋骨的分类结果。
在本申请某些实施例中，映射模块，还用于基于第一术中骨分割图像和术前骨分割图像进行配准，获得单应性矩阵；基于单应性矩阵将第一术中骨分割图像中的特征点映射到术前骨分割图像中的特征点上，以确定第二术中骨分割图像。
在本申请某些实施例中，第二分割模块，还用于将术前影像输入第二分割模型，获得术前骨分割图像；根据椎骨与肋骨的位置关系，对术前骨分割图像中的每一根骨头进行分类，以获得具有分类结果的术前骨分割图像。
在本申请某些实施例中，还包括数据获取单元和数据存储单元，其中数据获取单元包括信息拉取模块、预处理模块和数据发送模块，信息拉取模块，用于接收PACS系统发送的术中影像；预处理模块，用于基于术中影像，获取术前影像；数据发送模块，用于将术前影像发送至数据存储单元。
在本申请某些实施例中，预处理模块，还用于将术中影像进行分析，以获得术中影像的患者信息；将患者信息发送至PACS系统，查询是否存在术前影像；当存在术前影像时，在PACS系统中提取术前影像。
在本申请某些实施例中，数据存储单元，还用于接收预测单元发送的第二术中骨分割图像；肋骨识别系统还包括前端服务器，前端服务器用于接收数据存储单元发送的第二术中骨分割图像。
第三方面，本申请的实施例提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器，其中，处理器用于执行上述第一方面所述的肋骨识别方法。
本申请实施例提供了一种术中影像的肋骨识别方法及系统，通过将术前影像与术中影像相结合，利用术前影像中拍摄的完整胸部影像，分割得到完整的术前骨分割图像，并将肋骨区域进行分割分类，然后将术中局部影像和术前全局影像进行配准，得到术中影像中每根肋骨名称，使得术前影像被有效的利用，从而在术中更好的辅助医生进行穿刺工作。
附图说明
图1是本申请一示例性实施例提供的术中影像的肋骨识别方法的流程示意图。
图2是本申请一示例性实施例提供的术中影像的示意图。
图3是本申请一示例性实施例提供的术前影像的示意图。
图4是本申请另一示例性实施例提供的术中影像的肋骨识别方法的流程示意图。
图5是本申请又一示例性实施例提供的术中影像的肋骨识别方法的流程示意图。
图6是本申请一示例性实施例提供的术中影像的肋骨识别系统的结构示意图。
图7是本申请一示例性实施例提供的用于肋骨识别的电子设备的框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
目前在现有技术中，为了在经皮穿刺手术中，对靶区精准定位，往往需要在术中对患者进行多次术中影像的拍摄，即在术中对患者造成多次辐射。并且由于术中拍摄的影像为局部的区域影像，因此，对术中拍摄的术中影像进行肋骨的分类识别难度较大。
因此，本申请实施例将术中影像(局部影像)与术前影像(全局影像)相结合，在术中拍摄一次术中影像的情况下，实现对术中影像的肋骨进行分类，使得在穿刺过程中，能够有效避开肋骨所在的区域，辅助医生对比术中影像和术前影像，有效利用术前影像规划方案进行穿刺点定位。
图1是本申请一示例性实施例提供的术中影像的肋骨识别方法的流程示意图。图1的方法由计算设备，例如，服务器，来执行。如图1所示，该肋骨识别方法包括如下内容。
110：将术中影像输入第一分割模型，以获得第一术中骨分割图像。
在一实施例中，术中影像包括在胸腔手术过程中拍摄的胸部的局部影像。
具体地，术中影像可以是在经皮穿刺定位过程中，拍摄的包含局部肋骨信息的医学图像(参见图2)，例如计算机断层扫描摄影(Computed Tomography,CT)图像、数字化X线摄影(Digital Radiography,DR)图像或核磁共振成像(Magnetic Resonance Imaging,MRI)图像。需要说明的是，基于第一分割模型分割后的第一术中骨分割图像也是包含局部肋骨信息的医学图像。
本申请实施例获得第一术中骨分割图像的方式可以是基于深度学习的分割算法获得的，也可以应用传统阈值法，分水岭法获得，本申请实施例对获得第一术中骨分割图像的方式不作具体限定。
在一实施例中，本申请实施例的第一术中骨分割图像是基于训练好的分割模型(即第一分割模型)获得的，示例性地，该分割模型可以是基于具有标签信息的样本数据反复训练后获得的。
120：将术前影像输入第二分割模型，以获得具有分类结果的术前骨分割图像。
在一实施例中，术前影像包括在胸腔手术前拍摄的胸部的影像，第一术中骨分割图像与术前骨分割图像中的部分图像对应。
具体地，术前影像可以是在术前拍摄的包含肋骨信息的完整的肺部或胸部影像(参见图3)，例如计算机断层扫描摄影(Computed Tomography,CT)图像、数字化X线摄影(Digital Radiography,DR)图像或核磁共振成像(Magnetic Resonance Imaging,MRI)图像。需要说明的是，基于第二分割模型分割后的术前骨分割图像也是包含完整肋骨信息的医学图像。
术前影像的获取方式可以是首先基于对术中影像的分析，获得术中影像中包括的患者信息，其中该患者信息包括病人姓名、病人号、病人性别和出生日期，本申请实施例对患者信息不作具体限定。而后将获得的患者信息发送至影像归档和通信系统(PictureArchiving and Communication Systems,PACS)，以便后续进行肋骨识别过程中提取PACS系统中存储的术前影像。
应当理解，术中影像可以是包含局部肋骨区域的医学影像，而术前影像可以是包含完整肋骨区域的医学影像，即术前影像可以包含术中影像。因此，分割后的第一术中骨分割图像可以是包含完整肋骨区域的术前骨分割图像的一部分图像，即术前骨分割图像可以包括第一术中骨分割图像。
在一实施例中，将术前影像输入第二分割模型，以获得术前骨分割图像，其中可以将术前影像中的椎骨和肋骨分割出来。肋骨的分割可以是将术前影像中包括的肋骨，切割成预设大小的面积进行分类识别，本申请实施例对预设大小的面积范围不作具体限定。椎骨的分割可以是利用椎间将椎骨分成单节的形式，而后可以利用先验知识，根据肋骨的分类结果，得到椎骨信息的分类结果，最终获得具有分类结果的术前骨分割图像，其中该先验知识可以是每一根椎骨对应左右两根肋骨，根据解剖结构可知正常人体分别左右各有12根肋骨。
示例性地，分类结果可以是将术前影像中包含的每一根骨头进行分类编号，例如将左边锁骨下方的第一根肋骨标号为1，第二根肋骨标号为2等依次顺延。本申请实施例对分类结果的形式不作具体限定，可以根据实际情况进行灵活设置。
130：将第一术中骨分割图像映射到术前骨分割图像中，以获得第二术中骨分割图像。
在一实施例中，第二术中骨分割图像包括第一术中骨分割图像以及与术前骨分割图像中相同位置处的肋骨的分类结果。
具体地，可以将第一术中骨分割图像在术前骨分割图像中匹配，从而将第一术中骨分割图像映射到术前骨分割图像中。利用术前骨分割图像中每一根肋骨的分类结果，获得第二术中骨分割图像，其中该第二术中骨分割图像包括与术前骨分割图像中相同位置处的肋骨的分类结果。需要说明的是，第一术中骨分割图像与第二术中骨分割图像的区别仅在于第二术中骨分割图像包括肋骨的分类结果，例如第二术中骨分割图像包括每根骨头的分类编号。
例如，第一术中骨分割图像包括两根锁骨、锁骨下方的一节椎骨，以及一节椎骨连接的两条肋骨。术前骨分割图像中对应的锁骨分类编号为1、2，锁骨下方的一节椎骨编号为3，与椎骨连接的两条肋骨编号为31和32。此时，第二术中骨分割图像中加入的分类结果与术前骨分割图像相同。
在一实施例中，将第一术中骨分割图像映射到术前骨分割图像中的配准操作，可以是通过HomographyNe回归网络，学习第一术中骨分割图像和术前骨分割图像的单应性，获得单应性矩阵。基于该单应性矩阵与第一术中骨分割图像和术前骨分割图像中设定的特征点，实现第一术中骨分割图像和术前骨分割图像的图像配准工作，进而获得第二术中骨分割图像。需要说明的是，具体配准过程详情请参见下述实施例的记载，为避免重复在此不再赘述。
应当理解，本申请实施例还可以包括第三分割模型，该第三分割模型用于分割病灶信息，本申请实施例对分割模型的数量不作具体限定。
需要说明的是，本申请实施例提供的肋骨识别方法可以对应一套肋骨识别系统，该系统可以是利用具有更多机器学习解决方案的starship训练平台开发的。
由此可知，通过将术前影像与术中影像相结合，利用术前影像中拍摄的完整肺部影像，分割得到完整的术前骨分割图像，并将肋骨区域进行分割分类，然后将术中局部影像和术前全局影像进行配准，得到术中影像中每根肋骨名称，使得本申请实施例有效的利用术前影像规划方案，在穿刺手术中对医生起到更好的辅助作用。
在本申请一实施例中，将第一术中骨分割图像映射到术前骨分割图像中，以获得第二术中骨分割图像包括：基于第一术中骨分割图像和术前骨分割图像进行配准，获得单应性矩阵；基于单应性矩阵将第一术中骨分割图像中的特征点映射到术前骨分割图像中的特征点上，以确定第二术中骨分割图像。
具体地，利用HomographyNe回归网络，学习第一术中骨分割图像和术前骨分割图像的单应性，同时利用卷积神经网络模型参数的优点，输出单应性矩阵。基于单应性矩阵与第一术中骨分割图像和术前骨分割图像中的特征点，即将第一术中骨分割图像中的特征点映射到术前骨分割图像中的特征点上，以实现第一术中骨分割图像和术前骨分割图像的配准。将第一术中骨分割图像的骨头区域与术前骨分割图像的骨头区域进行匹配，从而将第一术中骨分割图像映射到术前骨分割图像中。最终利用术前骨分割图像的分类结果，得到具有肋骨的分类结果的第二术中骨分割图像。
由此可知，本申请实施例通过利用HomographyNe回归网络，以端到端的方式同时学习单应性和卷积神经网络模型参数的优点，增强配准的准确性。
在本申请一实施例中，将术前影像输入第二分割模型，以获得具有分类结果的术前骨分割图像包括：将术前影像输入第二分割模型，获得术前骨分割图像；根据椎骨与肋骨的位置关系，对术前骨分割图像中的每一根骨头进行分类，以获得具有分类结果的术前骨分割图像。
具体地，将术前影像输入第二分割模型，在第二分割模型中可以将术前影像中的椎骨和肋骨分割出来。
在一示例中，肋骨的分割可以是将术前影像中包括的肋骨区域，切割成预设大小的面积进行分类识别，其中本申请实施例对预设大小的面积范围不作具体限定。
在一示例中，椎骨的分割可以是将椎骨的椎间分割出来，利用椎间将椎骨分成单节的形式，例如将椎骨分成一节一节的形式。而后可以利用先验知识，根据肋骨的分类结果，得到椎骨信息的分类结果，最终获得具有分类结果的术前骨分割图像，其中该先验知识可以是每一根椎骨对应左右两根肋骨，根据解剖结构可知正常人体分别左右各有12根肋骨等，本申请实施例对先验知识不作具体限定。
由此可知，本申请实施例将术前影像中包括的骨头进行分割分类，以便于后续对术中影像内包含的肋骨进行分类，同时也有助于在术中辅助医生利用术前影像规划方案。
图4是本申请另一示例性实施例提供的术中影像的肋骨识别方法的流程示意图。图4为图1实施例的例子，相同之处不再赘述，此处着重描述不同之处。如图4所示，该肋骨识别方法包括如下内容。
410：接收影像归档和通信系统PACS系统发送的术中影像。
具体地，本申请实施例采用PACS系统，该系统是应用在医院影像科室的系统。PACS系统可以把日常产生的医学影像(例如CT图像)通过多种接口(例如DICOM)以数字化的方式海量保存起来，以此实现对新拍摄影像的自动监测。
在一实施例中，术中影像可以通过PACS系统获取。术中影像也可以通过CT直连的方式获取，本申请实施例对术中影像的获取方式不作具体限定。并且，获取的术中影像可以是通用的医学影像格式数据，例如DICOM数据格式的影像，以便于后续对术中影像的处理和保存。
需要说明的是，为了提高计算速度，减少计算时间，本申请实施例获取的术中影像可以是获取一个影像中的一个序列，例如获取一个CT图像的一个序列。应当理解，该序列是表征术中影像的一个最佳序列。并且本申请实施例获取的术前影像也可以是获取一个影像中的一个序列，例如获取一个CT图像的一个序列。应当理解，该序列是表征术前影像的一个最佳序列。
420：基于术中影像，获取术前影像。
具体地，针对术中影像进行分析，获得该术中影像包括的患者信息，例如病人姓名，病人号，病人性别以及出生日期，本申请实施例对患者信息不作具体限定。将解析出的患者信息发送至PACS系统，查询是否存在术前影像。当存在术前影像时，在PACS系统中提取该术前影像。
430：将术前影像发送至数据存储单元，用于向第二分割模型发送术前影像。
具体地，将提取的术前影像(即一个CT图像的一个序列)用超文本传输协议(Hypertext Transfer Protocol，HTTP)的POST请求发送至数据存储单元，该数据存储单元用于存储该术前影像，同时还用于向第二分割模型发送该术前影像，以预测术前影像的分割及分类结果。
需要说明的是，本申请实施例还可以将获取的术中影像(即一个CT图像的一个序列)也同样应用HTTP的POST请求发送至数据存储单元，该数据存储单元可以用于存储该术中影像，并向第一分割模型发送该术中影像，以预测术中影像的分割及分类结果。
440：将术中影像输入第一分割模型，以获得第一术中骨分割图像。
450：将术前影像输入第二分割模型，以获得具有分类结果的术前骨分割图像。
460：将第一术中骨分割图像映射到术前骨分割图像中，以获得第二术中骨分割图像。
由此可知，本申请实施例通过PACS系统获取术前影像和术中影像，使得本申请实施例提供的肋骨识别方法与PACS系统自动连接，便于数据传输，同时能够辅助医生对比术前影像和术中影像从而进行穿刺点定位。
在本申请一实施例中，基于术中影像，获取术前影像包括：将术中影像进行分析，以获得术中影像的患者信息；将患者信息发送至PACS系统，查询是否存在术前影像；当存在术前影像时，在PACS系统中提取术前影像。
具体地，在对术中影像进行患者信息识别之前，需要对获取的术中影像以预设的配置规则进行数据过滤和筛选，其中该配置规则可以采用配置文件的形式。配置规则可以包含有格式规定(即DICOM格式的影响)，例如当检测到获得的术中影像格式为nii时，将该术中影像的数据格式转换为DICOM格式。该配置规则也可以包括影像大小的规定，其中当影像的大小超出预设的配置规则时，可以对获取的术中影像进行裁剪。本申请实施例对配置规则不作具体限定。
当术中影像完成数据的筛选后，获得了DICOM格式的术中影像，并针对该DICOM格式的术中影像进行患者信息识别，其中进行患者信息识别的方法可以采用光学字符识别(Optical Character Recognition,OCR)，本申请实施例对患者信息的识别方法不作具体限定。采用OCR识别方法可以精准识别出术中影像展示的患者信息，该患者信息可以包括病人姓名，病人号，病人性别，出生日期。
进而将患者信息发送至PACS系统中，查询是否存在相关影像，即术前影像。当存在术前影像时，在PACS系统中提取术前影像。当不存在术前影像时，则不提取。
由此可知，本申请实施例通过术中影像识别出患者信息，为在PACS系统中获取术前影像提供了支持。
图5是本申请又一示例性实施例提供的术中影像的肋骨识别方法的流程示意图。图5为图1实施例的例子，相同之处不再赘述，此处着重描述不同之处。如图5所示，该肋骨识别方法包括如下内容。
510：将术中影像输入第一分割模型，以获得第一术中骨分割图像。
520：将术前影像输入第二分割模型，以获得具有分类结果的术前骨分割图像。
530：将第一术中骨分割图像映射到术前骨分割图像中，以获得第二术中骨分割图像。
540：将第二术中骨分割图像发送至数据存储单元。
具体地，将配准后预测的具有肋骨的分类结果的第二术中骨分割图像发送至数据存储单元，存储该第二术中骨分割图像，以便于后续医生对该第二术中骨分割图像的调取和应用。
550：数据存储单元将第二术中骨分割图像发送至前端服务器。
具体地，数据存储单元可以将第二术中骨分割图像发送至前端服务器，再由前端服务器将第二术中骨分割图像发送至用户终端，例如医生阅片客户端。
用户终端可以包括影像显示区和信息列表。影像显示区可以用于显示多次随访影像，例如术中影像、术前影像。影像显示区具有控制PACS系统内的影像操作功能。该操作功能可以包括但不限于窗宽、窗位的调整、测量、位置探针，以及多影像联动功能，其中多影像联动可以显示上述实施例描述的图像配准输出的两个影像(即第一术中骨分割图像和术前骨分割图像)的映射关系。信息列表可以用于显示肺结节等病灶信息，以及解剖结构是否显示的控制相等。
需要说明的是，在将第二术中骨分割图像发送至数据存储单元之后，该方法还可以包括数据存储单元向PACS系统发送所述第二术中骨分割图像，便于随时调取、应用第二术中骨分割图像。
由此可知，本申请实施例通过设置数据存储单元，便于对预测结果随时进行保存。同时通过设置前端服务器，便于将预测结果发送至用户终端，供医生查看。
图6是本申请一示例性实施例提供的术中影像的肋骨识别系统600的结构示意图。如图6所示，该肋骨识别系统600包括：预测单元620，该预测单元620包括第一分割模块621、第二分割模块622和映射模块623。
第一分割模块621用于将术中影像输入第一分割模型，以获得第一术中骨分割图像，其中术中影像包括在胸腔手术过程中拍摄的胸部的局部影像；第二分割模块622用于将术前影像输入第二分割模型，以获得具有分类结果的术前骨分割图像，其中术前影像包括在胸腔手术前拍摄的胸部的影像，第一术中骨分割图像与术前骨分割图像中的部分图像对应；映射模块623用于将第一术中骨分割图像映射到术前骨分割图像中，以获得第二术中骨分割图像，其中第二术中骨分割图像包括第一术中骨分割图像以及与术前骨分割图像中相同位置处的肋骨的分类结果。
本申请实施例提供了一种肋骨识别系统，通过将术前影像与术中影像相结合，利用术前影像中拍摄的完整肺部影像，分割得到完整的术前骨分割图像，并将肋骨区域进行分割分类，然后将术中局部影像和术前全局影像进行配准，得到术中影像中每根肋骨名称，有效的利用术前影像规划方案，在术中更好的辅助医生进行穿刺工作。
根据本申请一实施例，映射模块623还用于基于第一术中骨分割图像和术前骨分割图像进行配准，获得单应性矩阵；基于单应性矩阵将第一术中骨分割图像中的特征点映射到术前骨分割图像中的特征点上，以确定第二术中骨分割图像。
根据本申请一实施例，第二分割模块622还用于将术前影像输入第二分割模型，获得术前骨分割图像；根据椎骨与肋骨的位置关系，对术前骨分割图像中的每一根骨头进行分类，以获得具有分类结果的术前骨分割图像。
根据本申请一实施例，还包括数据获取单元610和数据存储单元630，其中数据获取单元610包括信息拉取模块611、预处理模块612和数据发送模块613，信息拉取模块611用于接收PACS系统发送的术中影像；预处理模块612用于基于术中影像，获取术前影像；数据发送模块613用于将术前影像发送至数据存储单元。
根据本申请一实施例，预处理模块612还用于将术中影像进行分析，以获得术中影像的患者信息；将患者信息发送至PACS系统，查询是否存在术前影像；当存在术前影像时，在PACS系统中提取术前影像。
根据本申请一实施例，数据存储单元630还用于接收预测单元620发送的第二术中骨分割图像；肋骨识别系统600还包括前端服务器640用于接收数据存储单元630发送的第二术中骨分割图像。
应当理解，上述实施例中的数据获取单元610、预测单元620、数据存储单元630和前端服务器640的具体工作过程和功能可以参考上述图1至图5实施例提供的肋骨识别方法中的描述，为了避免重复，在此不再赘述。
图7是本申请一示例性实施例提供的用于肋骨识别的电子设备700的框图。
参照图7，电子设备700包括处理组件710，其进一步包括一个或多个处理器，以及由存储器720所代表的存储器资源，用于存储可由处理组件710的执行的指令，例如应用程序。存储器720中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件710被配置为执行指令，以执行上述肋骨识别方法。
电子设备700还可以包括一个电源组件被配置为执行电子设备700的电源管理，一个有线或无线网络接口被配置为将电子设备700连接到网络，和一个输入输出(I/O)接口。可以基于存储在存储器720的操作系统操作电子设备700，例如Windows ServerTM，Mac OSXTM，UnixTM，LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当存储介质中的指令由上述电子设备700的处理器执行时，使得上述电子设备700能够执行一种术中影像的肋骨识别方法，包括：将术中影像输入第一分割模型，以获得第一术中骨分割图像；将术前影像输入第二分割模型，以获得具有分类结果的术前骨分割图像；将第一术中骨分割图像映射到术前骨分割图像中，以获得第二术中骨分割图像。
上述所有可选技术方案，可采用任意结合形成本申请的可选实施例，在此不再一一赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序校验码的介质。
需要说明的是，在本申请的描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种术中影像的肋骨识别方法，其特征在于，包括：
将术中影像输入第一分割模型，以获得第一术中骨分割图像，其中所述术中影像包括在胸腔手术过程中拍摄的胸部的局部影像；
将术前影像输入第二分割模型，以获得具有分类结果的术前骨分割图像，其中所述术前影像包括在胸腔手术前拍摄的所述胸部的影像，所述第一术中骨分割图像与所述术前骨分割图像中的部分图像对应；
将所述第一术中骨分割图像映射到所述术前骨分割图像中，以获得所述第二术中骨分割图像，其中所述第二术中骨分割图像包括所述第一术中骨分割图像以及与所述术前骨分割图像中相同位置处的肋骨的分类结果。
2.根据权利要求1所述的肋骨识别方法，其特征在于，所述将所述第一术中骨分割图像映射到所述术前骨分割图像中，以获得所述第二术中骨分割图像包括：
基于所述第一术中骨分割图像和所述术前骨分割图像进行配准，获得单应性矩阵；
基于所述单应性矩阵将所述第一术中骨分割图像中的特征点映射到所述术前骨分割图像中的特征点上，以确定所述第二术中骨分割图像。
3.根据权利要求1所述的肋骨识别方法，其特征在于，所述将术前影像输入第二分割模型，以获得具有分类结果的术前骨分割图像包括：
将所述术前影像输入所述第二分割模型，获得所述术前骨分割图像；
根据椎骨与肋骨的位置关系，对所述术前骨分割图像中的每一根骨头进行分类，以获得具有分类结果的术前骨分割图像。
4.根据权利要求1所述的肋骨识别方法，其特征在于，在所述将术中影像输入第一分割模型，以获得第一术中骨分割图像之前，还包括：
接收影像归档和通信系统PACS系统发送的所述术中影像；
基于所述术中影像，获取所述术前影像；
将所述术前影像发送至数据存储单元，用于向所述第二分割模型发送所述术前影像。
5.根据权利要求4所述的肋骨识别方法，其特征在于，所述基于所述术中影像，获取所述术前影像包括：
将所述术中影像进行分析，以获得所述术中影像的患者信息；
将所述患者信息发送至所述PACS系统，查询是否存在所述术前影像；
当存在所述术前影像时，在所述PACS系统中提取所述术前影像。
6.根据权利要求1所述的肋骨识别方法，其特征在于，在所述将所述第一术中骨分割图像映射到所述术前骨分割图像中，以获得所述第二术中骨分割图像之后，还包括：
将所述第二术中骨分割图像发送至数据存储单元；
所述数据存储单元将所述第二术中骨分割图像发送至前端服务器。
7.一种术中影像的肋骨识别系统，其特征在于，包括：预测单元，所述预测单元包括第一分割模块、第二分割模块和映射模块，
其中，第一分割模块，用于将术中影像输入第一分割模型，以获得第一术中骨分割图像，其中所述术中影像包括在胸腔手术过程中拍摄的胸部的局部影像；
第二分割模块，用于将术前影像输入第二分割模型，以获得具有分类结果的术前骨分割图像，其中所述术前影像包括在胸腔手术前拍摄的所述胸部的影像，所述第一术中骨分割图像与所述术前骨分割图像中的部分图像对应；
映射模块，用于将所述第一术中骨分割图像映射到所述术前骨分割图像中，以获得所述第二术中骨分割图像，其中所述第二术中骨分割图像包括所述第一术中骨分割图像以及与所述术前骨分割图像中相同位置处的肋骨的分类结果。
8.根据权利要求7所述的肋骨识别系统，其特征在于，所述映射模块，还用于基于所述第一术中骨分割图像和所述术前骨分割图像进行配准，获得单应性矩阵；基于所述单应性矩阵将所述第一术中骨分割图像中的特征点映射到所述术前骨分割图像中的特征点上，以确定所述第二术中骨分割图像。
9.根据权利要求7所述的肋骨识别系统，其特征在于，所述第二分割模块，还用于将所述术前影像输入所述第二分割模型，获得所述术前骨分割图像；根据椎骨与肋骨的位置关系，对所述术前骨分割图像中的每一根骨头进行分类，以获得具有分类结果的术前骨分割图像。
10.根据权利要求7所述的肋骨识别系统，其特征在于，还包括数据获取单元和数据存储单元，其中所述数据获取单元包括信息拉取模块、预处理模块和数据发送模块，
所述信息拉取模块，用于接收PACS系统发送的所述术中影像；
所述预处理模块，用于基于所述术中影像，获取所述术前影像；
所述数据发送模块，用于将所述术前影像发送至所述数据存储单元。
11.根据权利要求10所述的肋骨识别系统，其特征在于，所述预处理模块，还用于将所述术中影像进行分析，以获得所述术中影像的患者信息；将所述患者信息发送至所述PACS系统，查询是否存在所述术前影像；当存在所述术前影像时，在所述PACS系统中提取所述术前影像。
12.根据权利要求7所述的肋骨识别系统，其特征在于，数据存储单元，还用于接收所述预测单元发送的所述第二术中骨分割图像；
所述肋骨识别系统还包括前端服务器，所述前端服务器用于接收所述数据存储单元发送的所述第二术中骨分割图像。
13.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器，
其中，所述处理器用于执行上述权利要求1至6中任一项所述的肋骨识别方法。
CN202110932283.3A 2021-08-13 2021-08-13 术中影像的肋骨识别方法及系统 Active CN113610825B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110932283.3A CN113610825B (zh) 2021-08-13 2021-08-13 术中影像的肋骨识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110932283.3A CN113610825B (zh) 2021-08-13 2021-08-13 术中影像的肋骨识别方法及系统

Publications (2)

Publication Number Publication Date
CN113610825A true CN113610825A (zh) 2021-11-05
CN113610825B CN113610825B (zh) 2022-03-29

Family

ID=78340697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110932283.3A Active CN113610825B (zh) 2021-08-13 2021-08-13 术中影像的肋骨识别方法及系统

Country Status (1)

Country Link
CN (1) CN113610825B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115841509A (zh) * 2023-02-10 2023-03-24 苏州国科康成医疗科技有限公司 一种ct影像配准方法及系统

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070019852A1 (en) * 2005-07-22 2007-01-25 Schildkraut Jay S Pulminary nodule detection in a chest radiograph
US20070167718A1 (en) * 1996-09-16 2007-07-19 Kaufman Arie E System and method for performing a three-dimentional virtual examination of objects, such as internal organs
US20100226537A1 (en) * 2007-10-01 2010-09-09 Koninklijke Philips Electronics N.V. Detection and tracking of interventional tools
CN102147919A (zh) * 2010-02-10 2011-08-10 昆明医学院第一附属医院 一种校正术前三维图像的术中配准方法和装置
CN109523523A (zh) * 2018-11-01 2019-03-26 郑宇铄 基于fcn神经网络和对抗学习的椎体定位识别分割方法
CN110866905A (zh) * 2019-11-12 2020-03-06 苏州大学 一种肋骨识别与标注方法
CN111080573A (zh) * 2019-11-19 2020-04-28 上海联影智能医疗科技有限公司 肋骨图像检测方法、计算机设备和存储介质
CN111476776A (zh) * 2020-04-07 2020-07-31 上海联影智能医疗科技有限公司 胸部病灶位置确定方法、系统、可读存储介质和设备
CN111986138A (zh) * 2019-05-22 2020-11-24 杭州依图医疗技术有限公司 一种获取肋骨定位的方法和装置
CN112102339A (zh) * 2020-09-21 2020-12-18 四川大学 一种基于图集配准的全身骨显像骨骼分割方法
CN112598649A (zh) * 2020-12-24 2021-04-02 电子科技大学 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法
CN113240696A (zh) * 2021-05-20 2021-08-10 推想医疗科技股份有限公司 图像处理方法及装置，模型的训练方法及装置，电子设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070167718A1 (en) * 1996-09-16 2007-07-19 Kaufman Arie E System and method for performing a three-dimentional virtual examination of objects, such as internal organs
US20070019852A1 (en) * 2005-07-22 2007-01-25 Schildkraut Jay S Pulminary nodule detection in a chest radiograph
US20100226537A1 (en) * 2007-10-01 2010-09-09 Koninklijke Philips Electronics N.V. Detection and tracking of interventional tools
CN102147919A (zh) * 2010-02-10 2011-08-10 昆明医学院第一附属医院 一种校正术前三维图像的术中配准方法和装置
CN109523523A (zh) * 2018-11-01 2019-03-26 郑宇铄 基于fcn神经网络和对抗学习的椎体定位识别分割方法
CN111986138A (zh) * 2019-05-22 2020-11-24 杭州依图医疗技术有限公司 一种获取肋骨定位的方法和装置
CN110866905A (zh) * 2019-11-12 2020-03-06 苏州大学 一种肋骨识别与标注方法
CN111080573A (zh) * 2019-11-19 2020-04-28 上海联影智能医疗科技有限公司 肋骨图像检测方法、计算机设备和存储介质
CN111476776A (zh) * 2020-04-07 2020-07-31 上海联影智能医疗科技有限公司 胸部病灶位置确定方法、系统、可读存储介质和设备
CN112102339A (zh) * 2020-09-21 2020-12-18 四川大学 一种基于图集配准的全身骨显像骨骼分割方法
CN112598649A (zh) * 2020-12-24 2021-04-02 电子科技大学 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法
CN113240696A (zh) * 2021-05-20 2021-08-10 推想医疗科技股份有限公司 图像处理方法及装置，模型的训练方法及装置，电子设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANIL MURAT OZTURK等: "Multidisciplinary assessment of planning and resection of complex bone tumor using patient-specific 3D model", 《INDIAN JOURNAL OF SURGICAL ONCOLOGY》 *
洪敏杰: "基于深度学习的胸腔医学影像辅助诊断算法设计与应用", 《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》 *
牛珂楠: "基于空间定位的经皮肺穿刺图像引导关键技术研究与实现", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
赵丽亚: "肿瘤手术导航中图像分割与配准方法研究", 《中国博士学位论文全文数据库 医药卫生科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115841509A (zh) * 2023-02-10 2023-03-24 苏州国科康成医疗科技有限公司 一种ct影像配准方法及系统

Also Published As

Publication number Publication date
CN113610825B (zh) 2022-03-29

Similar Documents

Publication Publication Date Title
CN111696083B (zh) 一种图像处理方法、装置、电子设备及存储介质
US11074688B2 (en) Determination of a degree of deformity of at least one vertebral bone
EP3355273B1 (en) Coarse orientation detection in image data
US20210174503A1 (en) Method, system and storage medium with a program for the automatic analysis of medical image data
CN111417980A (zh) 用于椎骨骨折的识别的三维医学图像分析方法和系统
US20190295248A1 (en) Medical image specifying apparatus, method, and program
US10783637B2 (en) Learning data generation support apparatus, learning data generation support method, and learning data generation support program
CN112116004B (zh) 病灶分类方法及装置、病灶分类模型的训练方法
US10115037B2 (en) Patient identification using dynamic medical images
WO2019146358A1 (ja) 学習システム、方法及びプログラム
US10860894B2 (en) Learning data generation support apparatus, operation method of learning data generation support apparatus, and learning data generation support program
US20230029070A1 (en) Systems and methods for immediate image quality feedback
JP2006325638A (ja) 異常陰影候補の検出方法及び医用画像処理システム
CN111583249A (zh) 一种医学图像的质量监控系统及方法
US11741694B2 (en) Spinal fracture detection in x-ray images
CN113610826A (zh) 穿刺定位方法及装置，电子设备及存储介质
CN113610825B (zh) 术中影像的肋骨识别方法及系统
US9679376B2 (en) Medical image processing apparatus, method, and recording medium
CN113610824A (zh) 穿刺路径规划方法及装置，电子设备及存储介质
US10307124B2 (en) Image display device, method, and program for determining common regions in images
CN113782157A (zh) 医疗影像处理方法、系统、计算机设备和存储介质
CN112530580A (zh) 医疗影像图片的处理方法和计算机可读存储介质
KR102136107B1 (ko) 뼈 감쇄된 x-선 영상의 정합 장치 및 방법
JP6869086B2 (ja) 位置合せ装置および位置合せ方法並びに位置合せプログラム
JP7098835B2 (ja) マッチング装置、方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240204

Address after: No. 288 Xingcheng Avenue, Hannan District, Wuhan City, Hubei Province (019)

Patentee after: Wuhan Longdianjing Intelligent Technology Co.,Ltd.

Country or region after: China

Address before: Room B401, 4 / F, building 1, No. 12, shangdixin Road, Haidian District, Beijing 100085

Patentee before: Tuxiang Medical Technology Co.,Ltd.

Country or region before: China

TR01 Transfer of patent right