CN112381805B - 一种医学影像处理方法 - Google Patents

一种医学影像处理方法 Download PDF

Info

Publication number
CN112381805B
CN112381805B CN202011289961.0A CN202011289961A CN112381805B CN 112381805 B CN112381805 B CN 112381805B CN 202011289961 A CN202011289961 A CN 202011289961A CN 112381805 B CN112381805 B CN 112381805B
Authority
CN
China
Prior art keywords
rib
point
medical image
coordinate
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011289961.0A
Other languages
English (en)
Other versions
CN112381805A (zh
Inventor
石磊
华铱炜
柏慧屏
杨忠程
余沛玥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yitu Healthcare Technology Co ltd
Original Assignee
Hangzhou Yitu Healthcare Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yitu Healthcare Technology Co ltd filed Critical Hangzhou Yitu Healthcare Technology Co ltd
Priority to CN202011289961.0A priority Critical patent/CN112381805B/zh
Publication of CN112381805A publication Critical patent/CN112381805A/zh
Application granted granted Critical
Publication of CN112381805B publication Critical patent/CN112381805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开医学影像处理方法，包括：获取3D医学影像中的肋骨点。确定中心点(x0，y0)，x0关联于肋骨点x坐标，y0关联于肋骨点y坐标。获取任一帧2D医学影像中的椎骨信息，椎骨信息包括：中心点与该帧2D医学影像中的每一个椎骨点所在直线的方向，该椎骨点的Z坐标，椎骨点位于第一线段上或者位于与第一线段平行且距离所述第一线段预设距离的第二线段上，第一线段经过该帧2D医学影像椎骨检测框中心且与X轴平行。将多帧2D医学影像中的椎骨信息映射至第一坐标系，获得与多帧2D医学影像对应的医学影像。本发明方案在提高映射效率和映射准确度的同时也利于医生阅片和诊断，进而在一定程度上提高了医生的诊断效率和诊断准确度。

Description

一种医学影像处理方法
技术领域
本发明涉及医疗技术领域，特别涉及一种医学影像处理方法。
背景技术
目前X射线摄影设备、计算机断层扫描(Computed Tomography，CT)设备、核磁共振成像(Nuclear Magnetic Resonance Imaging，NMRI)设备等可以采集人体各个部位的横断面影像(也可以称为2D影像)，也可以生成人体各个部位的3D影像。
现阶段，通过医学影像设备采集到的横断面影像通常无法与全景图相对应，因此还需要采用人工方式进行判断，将横断面影像中的组织与全景图中的组织进行对应。以采集到的胸部影像为例，胸部影像中包括椎骨，当采集到一帧胸部的横断面影像后，医生可以根据经验判断该帧横断面影像中的椎骨与全景图中的哪一块椎骨相对应，从而确定后续的治疗方案。然而，采用该种方式，由于不同医生的经验不同，因此所确定的横断面影像与椎骨全景图的映射精度受人为的主观因素影响较大，且人为查看影像通常需要耗费较长的时间，导致工作效率和诊断效率较低。
因此，目前亟需一种医学影像处理方法，用以解决现有技术中采用人工方式将2D医学影像映射为椎骨全景图所导致的映射精度受人为的主观因素影响大、效率低的技术问题。
发明内容
本发明提供一种医学影像处理方法、医学影像处理装置、计算机设备，以解决现有技术中采用人工方式将2D医学影像映射为椎骨全景图所导致的映射精度受人为的主观因素影响大、效率低的技术问题。
本发明提供一种医学影像处理方法，包括：
获取3D医学影像中的肋骨点；
确定中心点(x0,y0)，x0关联于肋骨点的x坐标，y0关联于肋骨点的y坐标，X轴与矢状面垂直，Y轴与冠状面垂直；
获取任一帧2D医学影像中的椎骨信息，所述椎骨信息包括：中心点与该帧2D医学影像中的每一个椎骨点所在直线的方向，该椎骨点的Z坐标，所述椎骨点位于第一线段上或者位于与第一线段平行且距离所述第一线段预设距离的第二线段上，所述第一线段经过该帧2D医学影像的椎骨检测框的中心且与X轴平行；
将多帧2D医学影像中的椎骨信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。
可选的，所述医学影像处理方法，还包括：
获取任一帧2D医学影像中的肋骨信息，所述肋骨信息包括：中心点与该帧2D医学影像中的每一个肋骨点所在直线的方向，该肋骨点的Z坐标；
将多帧2D医学影像中的肋骨信息映射至第一坐标系。
可选的，所述肋骨点包括：肋骨定位点、与所述肋骨定位点关联的关联定位点，所述x0关联于肋骨定位点的x坐标，y0关联于肋骨定位点的y坐标。
可选的，所述肋骨点包括：肋骨定位点、与所述肋骨定位点关联的关联定位点、肋骨轮廓点，所述x0关联于肋骨定位点的x坐标，y0关联于肋骨定位点的y坐标。
可选的，所述将多帧2D医学影像中的椎骨信息映射至第一坐标系包括：
对于任一帧2D医学影像中的椎骨信息，将中心点与椎骨点所在直线的方向映射至第一坐标轴，将该椎骨点的Z坐标映射至第二坐标轴；
所述将多帧2D医学影像中的肋骨信息映射至第一坐标系包括：
对于任一帧2D医学影像中的肋骨信息，将中心点与肋骨点所在直线的方向映射至第一坐标轴，将该肋骨点的Z坐标映射至第二坐标轴；
其中，第一坐标轴和第二坐标轴垂直。
可选的，所述医学影像处理方法，还包括获取肋骨定位点，所述获取肋骨定位点包括：
获取3D医学影像中的第一定位点和第二定位点，其中，所述第一定位点位于左肺内，第二定位点位于右肺内；
确定第一轴和第二轴，其中，所述第一轴经过所述第一定位点且与横断面垂直，所述第二轴经过所述第二定位点且与横断面垂直；
以过所述第一轴且以所述第一轴为边界的切面切分所述3D医学影像，以获得多个第一切平面；
以过所述第二轴且以所述第二轴为边界的切面切分所述三维胸部影像，以获得多个第二切平面；
对多个第一切平面和多个第二切平面进行检测以获得肋骨定位点。
可选的，所述第一定位点为左肺的中心点或者重心点，所述第二定位点为右肺的中心点或者重心点。
可选的，所述第一线段的长度与所述椎骨检测框的第一边的长度相等，所述椎骨检测框的第一边与X轴平行。
本发明还提供一种医学影像处理装置，包括：
第一获取单元，用于获取3D医学影像中的肋骨点。
确定单元，用于确定中心点(x0,y0)，x0关联于肋骨点的x坐标，y0关联于肋骨点的y坐标，X轴与矢状面垂直，Y轴与冠状面垂直；
第二获取单元，用于获取任一帧2D医学影像中的椎骨信息，所述椎骨信息包括：中心点与该帧2D医学影像中的每一个椎骨点所在直线的方向，该椎骨点的Z坐标，所述椎骨点位于第一线段上或者位于与第一线段平行且距离所述第一线段预设距离的第二线段上，所述第一线段经过该帧2D医学影像的椎骨检测框的中心且与X轴平行。
第一映射单元，用于将多帧2D医学影像中的椎骨信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。
本发明还提供一种计算机设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行上述的医学影像处理方法。
本发明还提供一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行上述的医学影像处理方法。
本发明还提供一种医学影像处理方法，包括：
获取3D医学影像中的肋骨点；
确定中心点(x0,y0)，x0关联于肋骨点的x坐标，y0关联于肋骨点的y坐标，X轴与矢状面垂直，Y轴与冠状面垂直；
获取任一帧2D医学影像中的椎骨检测框；
平移获取的每一帧2D医学影像中的椎骨检测框以获得与其对应的平移后的椎骨检测框，其中，每一帧2D医学影像中平移后的椎骨检测框的中心的Y坐标相同；
获取任一帧2D医学影像中的椎骨信息，所述椎骨信息包括：中心点与该帧2D医学影像中的每一个椎骨点所在直线的方向，该椎骨点的Z坐标，所述椎骨点位于第一线段上或者位于与第一线段平行且距离所述第一线段预设距离的第二线段上，所述第一线段经过该帧2D医学影像的平移后的椎骨检测框的中心且与X轴平行；
将多帧2D医学影像中的椎骨信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。
可选的，所述医学影像处理方法，还包括：
获取任一帧2D医学影像中的肋骨信息，所述肋骨信息包括：中心点与该帧2D医学影像中的每一个肋骨点所在直线的方向，该肋骨点的Z坐标；
将多帧2D医学影像中的肋骨信息映射至第一坐标系。
本发明还提供一种医学影像处理装置，包括：
第一获取单元，用于获取3D医学影像中的肋骨点；
确定单元，用于确定中心点(x0,y0)，x0关联于肋骨点的x坐标，y0关联于肋骨点的y坐标，X轴与矢状面垂直，Y轴与冠状面垂直；
第三获取单元，用于获取任一帧2D医学影像中的椎骨检测框；
平移单元，用于平移获取的每一帧2D医学影像中的椎骨检测框以获得与其对应的平移后的椎骨检测框，其中，每一帧2D医学影像中平移后的椎骨检测框的中心的Y坐标相同；
第四获取单元，用于获取任一帧2D医学影像中的椎骨信息，所述椎骨信息包括：中心点与该帧2D医学影像中的每一个椎骨点所在直线的方向，该椎骨点的Z坐标，所述椎骨点位于第一线段上或者位于与第一线段平行且距离所述第一线段预设距离的第二线段上，所述第一线段经过该帧2D医学影像的平移后的椎骨检测框的中心且与X轴平行；
第二映射单元，用于将多帧2D医学影像中的椎骨信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。
与现有技术相比，本发明的技术方案具有如下有益效果：
通过获取3D医学影像中的肋骨点，并基于获得的肋骨点确定中心点。获取任一帧2D医学影像中的椎骨信息，椎骨信息包括：中心点与该帧2D医学影像中的每一个椎骨点所在直线的方向，该椎骨点的Z坐标，所述椎骨点位于第一线段上或者位于与第一线段平行且距离所述第一线段预设距离的第二线段上，所述第一线段经过该帧2D医学影像的椎骨检测框的中心且与X轴平行。最后将多帧2D医学影像中的椎骨信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。由于通过前述方式可以自动的将多帧2D医学影像映射为椎骨全景图，而无需人工主观地判断2D医学影像与椎骨全景图的对应关系，在提高了映射效率和映射准确度的同时也利于医生阅片和诊断，进而在一定程度上也提高了医生的诊断效率和诊断的准确度。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明实施例的标准解剖学中人体基本面和基本轴的示意图；
图2是本发明实施例一的医学影像处理方法的流程示意图；
图3是本发明实施例的切分3D医学影像时横断面的示意图；
图4是本发明实施例的第一检测模型的结构示意图；
图5是本发明实施例的第一切平面及在其上检测出的肋骨定位点的示意图；
图6是本发明实施例的椎骨点示意图；
图7是本发明实施例二的医学影像处理方法的流程示意图；
图8是本发明实施例三的医学影像处理方法的流程示意图；
图9是本发明实施例的关键点的示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
正如现有技术中描述的，目前医生在阅片时，通常需要通过人工的方式将多帧断面影像中的椎骨映射为椎骨全景图，人工方式进行映射，映射速度慢，易出现映射错误，进而导致医生的阅片、诊断效率较低。
为了更好的说明本发明的技术方案，本实施例中先对标准解剖学中人体基本面和基本轴进行相应的说明。参见图1，图1为本发明实施例的标准解剖学中人体基本面和基本轴的示意图。如图1所示：人体基本面包括冠状面(额状面)、矢状面(正中面)和横切面(横断面、水平面)。人体基本轴包括垂直轴(Z轴，为上自头侧，下至尾侧，并与地平面相垂直的轴)、矢状轴(Y轴，为从前至后，同时与垂直轴成直角交叉的轴)和冠状轴(X轴，也叫额状轴，为左右方向与水平相平行与前两个轴相垂直的轴)。人体的立体方位中包括前侧(靠近腹部)、后侧(靠近背部)、上侧(靠近头部)和下侧(靠近脚部)。本实施例中所有的面、轴、方位均适用于图1。
图2是本发明实施例一的医学影像处理方法的流程示意图。如图2所示，本实施例的医学影像处理方法包括：
S11：获取3D医学影像中的肋骨点。
S12：确定中心点(x0,y0)，x0关联于肋骨点的x坐标，y0关联于肋骨点的y坐标，X轴与矢状面垂直，Y轴与冠状面垂直。
S13：获取任一帧2D医学影像中的椎骨信息，所述椎骨信息包括：中心点与该帧2D医学影像中的每一个椎骨点所在直线的方向，该椎骨点的Z坐标，所述椎骨点位于第一线段上或者位于与第一线段平行且距离所述第一线段预设距离的第二线段上，所述第一线段经过该帧2D医学影像的椎骨检测框的中心且与X轴平行。
S14：将多帧2D医学影像中的椎骨信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。
执行S11，本实施例中，3D医学影像可以为包括了胸部影像的CT影像，也可以为包括了胸部影像的MR影像。肋骨点则是指肋骨上的点。具体地，肋骨点可以是对3D医学影像中的肋骨点进行检测获得的点，本案中将对3D医学影像进行检测获得的肋骨点称为肋骨定位点，中心点的坐标则关联于肋骨定位点的坐标。
本实施例中通过如下步骤对3D医学影像进行检测以获得肋骨定位点。
S111：获取3D医学影像中的第一定位点和第二定位点，其中，所述第一定位点位于左肺内，第二定位点位于右肺内。
S112：确定第一轴和第二轴，其中，所述第一轴经过所述第一定位点且与横断面垂直，所述第二轴经过所述第二定位点且与横断面垂直。
S113：以过所述第一轴且以所述第一轴为边界的切面切分所述3D医学影像，以获得多个第一切平面。
S114：以过所述第二轴且以所述第二轴为边界的切面切分所述3D医学影像，以获得多个第二切平面。
S115：对多个第一切平面和多个第二切平面进行检测以获得肋骨定位点。
执行S111，本实施例中，为了获取位于左肺内的第一定位点和位于右肺内的第二定位点，需要先对3D医学影像进行分割，以获得左肺和右肺。具体地，可以根据实际的应用选择相应的分割方法，如可以选择阈值法、区域增长法、基于模式分类的方法，基于图像配准和形状模型的方法等，也可以通过三维的卷积神经网络模型对3D医学影像进行分割，以获得肺部影像。本实施例中对此不做限定，只要可以从3D医学影像中分割出肺部区域即可。
分割出肺部区域后，在左肺内确定第一定位点，在右肺内确定第二定位点。本实施例中，第一定位点可以是左肺的中心点或者重心点，第二定位点可以为右肺的中心点或者重心点。
执行S112，在左肺内经过第一定位点做与横断面垂直的第一轴，在右肺内经过第二定位点做与横断面垂直的第二轴。第一轴贯穿3D医学影像的左侧，第二轴贯穿3D医学影像的右侧。
执行S113，本实施例中，为了避免其他组织、椎骨等对肋骨点检测的影响，在通过切面对3D医学影像的左侧进行切分时，是以过第一轴，并以第一轴为边界的任意一个平面为切面切分3D医学影像的左侧以获得多个第一切平面。且第一切平面与横断面的交线与冠状轴(X轴)正向之间的夹角大于等于-120°小于等于120°。也即，在采用切面切分3D医学影像的左侧时，起始切分的角度可以是120°然后沿逆时针方向以预定间隔进行切分，直至切分到-120°。或者切分时，起始切分的角度可以是-120°然后沿顺时针方向以预定间隔进行切分，直至切分到120°。当然在其他实施例中，起始切分角度可以是-120°到120°之间的任意一个角度，只要满足在-120°到120°之间进行切分即可。本实施例中，预定间隔可以小于等于6°，如预定间隔可以为3°，就是采用上述的切面每隔3°进行一次切分以获得多个第一切平面。实际应用中，预定间隔可以根据实际需求而定，预定间隔越小，最终检测获得的肋骨定位点就越多，进而最终映射得到的肋骨全景图的精度就越高。
执行S114，对3D医学影像的右侧进行切分。同样地，为了避免其他组织、椎骨等对肋骨点检测的影响，在通过切面对3D医学影像的右侧进行切分时，是以过第二轴，并以第二轴为边界的任意一个平面为切面切分3D医学影像的右侧以获得多个第二切平面。且第二切平面与横断面的交线与冠状轴(X轴)负向之间的夹角大于等于-120°小于等于120°。在采用切面切分3D医学影像的右侧时，起始切分的角度可以是120°、-120°、也可以是-120°到120°之间的任意一个角度。当以120°为起始切分的角度切分3D医学影像的右侧时，沿顺时针方向以预定间隔进行切分，直至切分至-120°。而当以-120°为起始切分的角度切分3D医学影像的右侧时，沿逆时针方向以预定间隔进行切分直至切分至120°。预定间隔可以小于等于6°，如预定间隔可以为3°，即采用上述的切面每隔3°进行一次切分以获得多个第二切平面。同样地，在实际应用时，预定间隔可以根据实际需求而定，预定间隔越小，获得的肋骨定位点就越多，进而利于提高最终映射获得的椎骨全景图的精度，若需映射肋骨全景图，肋骨定位点越多，最终映射得到的肋骨全景图的精度也就越高。
参见图3，图3为本发明实施例的切分3D医学影像时横断面的示意图，图3中P1为第一定位点、P2为第二定位点，图3中以P1为起点的多条射线为各第一切平面在横断面上的投影，以P2为起点的多条射线为各第二切平面在横断面上的投影。图3中，以P1为起点的多条射线与冠状轴(X轴)正向的夹角大于等于-120°小于等于120°，以P2为起点的多条射线与冠状轴(X轴)负向的夹角大于等于-120°小于等于120°。
执行S115，对多个第一切平面进行检测以获得左侧肋骨的肋骨定位点，对多个第二切平面进行检测以获得右侧肋骨的肋骨定位点。本实施例中，可以采用第一检测模型对每一个第一切平面上的左侧肋骨定位点进行检测。具体地，所述检测模型可以包括：特征提取模块和检测框获取模块。检测框获取模块对特征提取模块输出的特征图进行检测。
本实施例中，所述特征提取模块可以包括：L个卷积单元、M个最大池化层、N个2×2的2D反卷积层及张量叠加层。每一个卷积单元包括：一个卷积层(Conv2d)，一个批归一化层(BN，Batch Normalization)和一个激活层，激活函数可以为线性整流函数(ReLU，RecifiedLinear Unit)。本实施例中，特征提取模块可以为特征金字塔网络(FPN，Momenta PaperReading)，检测框获取模块可以为SSD(Single Shot MultiBox Detector)网络。
参见图4，图4为本发明实施例的第一检测模型的结构示意图，本实施例中，所述第一检测模型包括：特征提取模块和检测框获取模块，其中特征提取模块包括：第一卷积单元～第八卷积单元，第一池化层～第三池化层，一个2×2的2D反卷积层及一张量叠加层。实际应用中，若待检测的第一切平面的尺寸为512×512×1，依次通过第一卷积单元、第二卷积单元、第一池化层、第三卷积单元、第四卷积单元、第二池化层、第五卷积单元、第六卷积单元、第三池化层后输出尺寸为64×64×32的张量，该张量继续通过第七卷积单元和2×2的2D反卷积层，得到尺寸为128×128×32的张量deconv1。第二池化层输出的张量通过第八卷积单元后输出尺寸为128×128×32的张量conv8，将张量conv8与张量deconv1通过张量相加层相加后，得到尺寸为128*128*32的张量add1。将张量add1和第七卷积单元输出的张量conv7作为两个特征图输入至检测框获取模块，以检测出第一切平面上的肋骨定位点。具体地，可以通过在SSD中定anchor的方式在两张不同尺寸的特征图上检测出若干个检测框，并保留置信度高于预设阈值的检测框(预设阈值根据实际需求而定)，然后通过非极大值抑制(NMS，Non-maximum suppression)法去掉重叠度较高的检测框，最终得到的检测框即为在第一切平面上检测到的包括了左侧肋骨定位点的检测框。本实施例中检测框可以为矩形，且可以以检测框的中心作为检测到的左侧肋骨定位点。
本实施例中的第一检测模型可以以标记了肋骨定位点的多幅第一切平面影像作为训练样本，也可以对标记了肋骨定位点的多幅第一切平面影像进行增强操作，扩大训练样本的数据量，所述增强操作包括：随机上下左右平移预定像素(比如0～30像素)、随机旋转设定角度(比如-15～15度)、随机缩放设定倍数(比如0.85～1.15倍)，对第一切平面影像的对比度和亮度进行少量抖动等。
将训练样本输入至初始第一检测模型，训练时根据标注的肋骨定位点和初始第一检测模型检出的肋骨定位点计算loss函数，采用反向传播算法以及随机梯度下降(SGD，Stochastic Gradient Descent)优化算法反复迭代，不断更新初始第一检测模型的参数。若某次训练的损失函数小于或等于阈值，则可以将该次训练的模型参数对应的初始第一检测模型作为第一检测模型。通过训练获得第一检测模型后，则可以将切分3D医学影像获得的第一切平面输入至第一检测模型以获得第一切平面上的左侧肋骨定位点。参见图5，图5是本发明实施例的第一切平面及在其上检测出的肋骨定位点的示意图，图5中示出了三张第一切平面，在第一张切平面上示出了检测出的左侧肋骨定位点。
同样地，本实施中可以采用第二检测模型对每一个第二切平面上的右侧肋骨定位点进行检测，本实施例中第二检测模型的结构与第一检测模型的结构相类似，只是在训练第二检测模型时，是以标记了肋骨定位点的多幅第二切平面影像作为训练样本。在通过训练获得第二检测模型后，即可以通过将切分3D医学影像获得的第二切平面输入至第二检测模型以获得第二切平面上的右侧肋骨定位点。本实施例中，针对性的通过第一检测模型检测左侧肋骨定位点，通过第二检测模型检测右侧肋骨定位点，在一定程度上提高了检测左侧肋骨定位点和右侧肋骨定位点的准确度。
在其他实施例中，也可以仅采用一个检测模型来检测第一切平面和第二切平面上的肋骨定位点，且该检测模型的结构与第一检测模型的结构相类似，只是在训练检测模型时，是以标记了肋骨定位点的多幅第一切平面影像和多幅第二切平面影像作为训练样本。
至此，通过上述的S111～S115检测出了3D医学影像中的肋骨点，即本实施例中所称的肋骨定位点。本实施例中，可以通过检测到的肋骨点(肋骨定位点)来获取中心点(x0,y0)的位置。
执行S12，确定中心点(x0,y0)。本实施例中，具体地，可以以检测到的所有肋骨定位点的x坐标的平均值(所有肋骨定位点的x坐标值之和除以肋骨定位点的个数)作为中心点的x坐标，即x0，以检测到的所有肋骨定位点的y坐标的平均值(所有肋骨定位点的y坐标值之和除以肋骨定位点的个数)作为中心点的y坐标，即y0。
执行S13，获取每一帧2D医学影像中的椎骨信息，所述椎骨信息包括：中心点与该帧2D医学影像中的每一个椎骨点所在直线的方向，该椎骨点的Z坐标，所述椎骨点位于第一线段上或者位于与第一线段平行且距离所述第一线段预设距离的第二线段上，所述第一线段经过该帧2D医学影像的椎骨检测框的中心且与X轴平行。本实施例中，为了获得每一帧2D医学影像中的椎骨信息，需要先对该帧2D医学影像中的椎骨进行检测，以获得椎骨检测框。
本实施例中可以采用椎骨检测模型检测横断面上椎骨的位置。椎骨检测模型的结构与上述的第一检测模型的结构类似，不同的是本实施例中不是直接将待检测的一帧2D医学影像直接输入至椎骨检测模型，而是以待检测帧的2D医学影像作为中间帧影像，获取位于其前和其后的至少一帧影像，将中间帧影像，位于其前和其后的至少一帧影像所组成的影像层输入至椎骨检测模型。同样地，训练初始椎骨检测模型时也是将在中间帧影像，位于其前和其后的至少一帧影像中标记了椎骨位置的至少三帧影像所组成的影像层作为训练样本训练初始椎骨检测模型以获得椎骨检测模型。举例来说，若中间帧影像为第10帧影像，位于其前的至少一帧可以为第9帧影像，位于其后的至少一帧可以为第11帧影像。位于其前的至少两帧可以为第9帧影像和第8帧影像，位于其后的至少两帧可以为第11帧影像和第12帧影像。本实施例中，将由中间帧影像和位于其前和其后的各一帧影像组成的3帧影像的影像层输入至椎骨检测模型以检测出中间帧影像中的椎骨，如将第9帧影像、第10帧影像和第11帧影像输入至椎骨检测模型以检测出第10帧影像中椎骨的位置。本实施例中，通过椎骨检测框的方式标识椎骨所在的位置，检测框可以为矩形，且可以以椎骨检测框的中心作为检测到的椎骨的位置。
本实施例中，采用将影像层输入至椎骨检测模型的方式，使得输出的中间帧影像中椎骨的位置信息结合了其前一帧和后一帧的椎骨的位置信息，进而可以提高每一帧2D医学影像中椎骨检测框检出的精度。
通过上述方式获得每一帧2D医学影像中的椎骨检测框后，接下来确定该帧2D医学影像中的椎骨信息。首先，先确定椎骨点。本实施例中，椎骨点位于经过椎骨检测框的中心且与X轴平行的第一线段上，为了提高椎骨映射的精度，本实施例中，第一线段的长度与所述椎骨检测框的第一边的长度相等，所述椎骨检测框的第一边与X轴平行。参见图6，图6是本发明实施例的椎骨点示意图，图6中第一线段经过椎骨检测框的中心，与椎骨检测框的短边相交，与椎骨检测框的长边平行(第一边)，图6中示意性的给出了位于第一线段上的部分点，本实施例中位于第一线段上的所有点即为椎骨点。在其他实施例中，椎骨点也可以是位于第二线段上的所有点，继续参见图6，第二线段与第一线段平行，且距离第一线段预设距离，所述预设距离可以为10pixel～20pixel中的任意一个值，如可以为15pixel。
在确定好每一帧2D医学影像中的椎骨点后，接下来确定每一帧2D医学影像中的椎骨信息。所述椎骨信息包括：中心点与该帧2D医学影像中的每一个椎骨点所在直线的方向，该椎骨点的Z坐标。
本实施例中，可以以中心点为起点，中心点和椎骨点形成的射线与X轴正向之间的夹角来表示中心点和椎骨点所在直线的方向。当然在其他实施例中也可以以中心点为起点，中心点和椎骨点形成的射线与X轴负向之间的夹角来表示中心点和椎骨点所在直线的方向，还可以以椎骨点为起点，椎骨点和中心点形成的射线与X轴正向之间的夹角来表示中心点和椎骨点所在直线的方向，以椎骨点为起点，椎骨点和中心点形成的射线与X轴负向之间的夹角来表示中心点和椎骨点所在直线的方向。实际映射时，可以选择不同的方式来确定中心点和椎骨点所在直线的方向。因此，在确定中心点和椎骨点所在直线的方向时，是以中心点为起点，还是以椎骨点为起点，是与X轴正向还是与X轴负向之间的夹角不应作为在确定中心点和椎骨点所在直线方向时的限定。
由上述可知，每一帧2D医学影像中的椎骨检测框的大小以及椎骨检测框的中心坐标是已知的，因此第一线段上每一个椎骨点的坐标也可以知晓(椎骨点的Z坐标可以由该帧2D医学影像的位置确定)。中心点的坐标是知晓的，因此，中心点和椎骨点所在直线的方向可以根据中心点的坐标以及椎骨点的坐标确定。
在确定了每一帧2D医学影像中的椎骨点信息后，执行S14，将多帧2D医学影像中的椎骨点信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。具体地，本实施例中，是将中心点与椎骨点所在直线的方向映射至第一坐标轴，将该椎骨点的Z坐标映射至第二坐标轴。第一坐标轴和第二坐标轴垂直。也即基于中心点和椎骨点所在直线的方向确定该椎骨点在第一坐标轴上的坐标值，基于该椎骨点的Z坐标确定该椎骨点在第二坐标上的坐标值，从而可以在第一坐标系上确定出与该椎骨点对应的椎骨点。该椎骨点的像素值在映射前后可以不发生变化。
以下通过简单的示例，对映射过程进行说明。
对于某一帧2D医学影像上位于椎骨检测框中的多个椎骨点，以第一椎骨点、第二椎骨点、第三椎骨点为例，中心点和第一椎骨点所在直线的方向为45°，第一椎骨点的Z坐标为300mm，中心点和第二椎骨点所在直线的方向为50°，第二椎骨点的Z坐标为300mm，中心点和第三椎骨点所在直线的方向为55°，第三椎骨点的Z坐标为300mm。则就是将与第一椎骨点对应的45°映射至第一坐标系的第一坐标轴(角度轴)，将与第一椎骨点对应的300mm映射至第一坐标系的第二坐标轴，以得到第一坐标系下与第一椎骨点对应的椎骨点。将与第二椎骨点对应的50°映射至第一坐标系的第一坐标轴，将与第二椎骨点对应的30mm映射至第一坐标系的第二坐标轴，以得到第一坐标系下与第二椎骨点对应的椎骨点。将与第三椎骨点对应的50°映射至第一坐标系的第一坐标轴，将与第三椎骨点对应的300mm映射至第一坐标系的第二坐标轴，以得到第一坐标系下与第三椎骨点对应的椎骨点。将多帧2D医学影像中的椎骨点信息按照前述方式映射，就可以将多帧2D医学影像中的椎骨映射为椎骨全景图。
至此，通过上述的方式将每一帧2D医学影像中的椎骨点进行了相应的映射得到了与多帧2D医学影像对应的椎骨全景图。由于无需再通过人工的方式将2D医学影像中椎骨映射为椎骨全景图，因此提高了映射效率和映射的准确度，也在一定程度上提高了医生的诊断效率和诊断的准确度。
基于相同的技术构思，本发明实施例提供一种医学影像处理装置，包括：
第一获取单元，用于获取3D医学影像中的肋骨点。
确定单元，用于确定中心点(x0,y0)，x0关联于肋骨点的x坐标，y0关联于肋骨点的y坐标，X轴与矢状面垂直，Y轴与冠状面垂直。
第二获取单元，用于获取任一帧2D医学影像中的椎骨信息，所述椎骨信息包括：中心点与该帧2D医学影像中的每一个椎骨点所在直线的方向，该椎骨点的Z坐标，所述椎骨点位于第一线段上或者位于与第一线段平行且距离所述第一线段预设距离的第二线段上，所述第一线段经过该帧2D医学影像的椎骨检测框的中心且与X轴平行。
第一映射单元，用于将多帧2D医学影像中的椎骨信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。
本实施例的医学影像处理装置的实施可以参见上述的医学影像处理方法的实施，此处不再赘述。
基于相同的技术构思，本发明实施例提供一种计算机设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行上述的医学影像处理方法。
基于相同的技术构思，本发明实施例提供一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行上述的医学影像处理方法。
实施例二
在将每一帧2D医学影像中的椎骨点映射至椎骨全景图的过程中，为了提高映射后的椎骨全景图的展示效果，本实施例提供一种医学影像处理方法，参见图7，图7是本发明实施例二的医学影像处理方法的流程示意图，如图7所示，所述医学影像处理方法包括：
S21：获取3D医学影像中的肋骨点。
S22：确定中心点(x0,y0)，x0关联于肋骨点的x坐标，y0关联于肋骨点的y坐标，X轴与矢状面垂直，Y轴与冠状面垂直。
S23：获取任一帧2D医学影像中的椎骨检测框。
S24：平移获取的每一帧2D医学影像中的椎骨检测框以获得与其对应的平移后的椎骨检测框，其中，每一帧2D医学影像中平移后的椎骨检测框的中心的Y坐标相同。
S25：获取任一帧2D医学影像中的椎骨信息，所述椎骨信息包括：中心点与该帧2D医学影像中的每一个椎骨点所在直线的方向，该椎骨点的Z坐标，所述椎骨点位于第一线段上或者位于与第一线段平行且距离所述第一线段预设距离的第二线段上，所述第一线段经过该帧2D医学影像的平移后的椎骨检测框的中心且与X轴平行。
S26：将多帧2D医学影像中的椎骨信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。
本实施例中，S21～S23，S25～S26与实施例一中相类似，此处不再赘述。与实施例一中不同的是，本实施例中在检测到每一帧2D医学影像中的椎骨检测框后，对检测到的每一帧2D医学影像中的椎骨检测框进行了平移，以获得每一帧2D医学影像中平移后的椎骨检测框，且每一帧2D医学影像中平移后的椎骨检测框的Y坐标相同。本实施例中，每一帧2D医学影像中的椎骨检测框的Y坐标可以为一预设值，该预设值可以根据实际的经验而定。如该预设值可以为所有椎骨检测框中Y坐标值最大的那个值。将在所有帧2D医学影像中检测到的椎骨检测框进行相应的平移后，再基于平移后的椎骨检测框来获取每一帧2D医学影像中的椎骨信息，进而进行相应的映射，可以获得映射精度高且映射效果好的椎骨全景图。
基于相同的技术构思，本实施例还提供一种医学影像处理装置，包括：
第一获取单元，用于获取3D医学影像中的肋骨点。
确定单元，用于确定中心点(x0,y0)，x0关联于肋骨点的x坐标，y0关联于肋骨点的y坐标，X轴与矢状面垂直，Y轴与冠状面垂直。
第三获取单元，用于获取任一帧2D医学影像中的椎骨检测框。
平移单元，用于平移获取的每一帧2D医学影像中的椎骨检测框以获得与其对应的平移后的椎骨检测框，其中，每一帧2D医学影像中平移后的椎骨检测框的中心的Y坐标相同。
第四获取单元，用于获取任一帧2D医学影像中的椎骨信息，所述椎骨信息包括：中心点与该帧2D医学影像中的每一个椎骨点所在直线的方向，该椎骨点的Z坐标，所述椎骨点位于第一线段上或者位于与第一线段平行且距离所述第一线段预设距离的第二线段上，所述第一线段经过该帧2D医学影像的平移后的椎骨检测框的中心且与X轴平行。
第二映射单元，用于将多帧2D医学影像中的椎骨信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。
本实施例的医学影像处理装置的实施可以参见上述的医学影像处理方法的实施，此处不再赘述。
实施例三
本实施例与上述实施例的区别在于，本实施例中在展示椎骨全景图的同时还展示了肋骨全景图。
图8是本发明实施例三的医学影像处理方法的流程示意图，如图8所示，所述医学影像处理方法包括：
S31：获取3D医学影像中的肋骨点。
S32：确定中心点(x0,y0)，x0关联于肋骨点的x坐标，y0关联于肋骨点的y坐标，X轴与矢状面垂直，Y轴与冠状面垂直。
S33：获取任一帧2D医学影像中的肋骨信息，所述肋骨信息包括：中心点与该帧2D医学影像中的每一个肋骨点所在直线的方向，该肋骨点的Z坐标。
S34：获取任一帧2D医学影像中的椎骨检测框。
S35：平移获取的每一帧2D医学影像中的椎骨检测框以获得与其对应的平移后的椎骨检测框，其中，每一帧2D医学影像中平移后的椎骨检测框的中心的Y坐标相同。
S36：获取任一帧2D医学影像中的椎骨信息，所述椎骨信息包括：中心点与该帧2D医学影像中的每一个椎骨点所在直线的方向，该椎骨点的Z坐标，所述椎骨点位于第一线段上或者位于与第一线段平行且距离所述第一线段预设距离的第二线段上，所述第一线段经过该帧2D医学影像的平移后的椎骨检测框的中心且与X轴平行。
S37：将多帧2D医学影像中的肋骨信息、椎骨信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。
本实施例中，S32中心点的确定，S35～S37以及多帧2D医学影像中的椎骨信息的映射与实施例一或实施例二相类似，此处不再赘述。以下主要对每一帧2D医学影像中肋骨的映射进行详细的说明。
由实施例一可知，3D医学影像中的肋骨点可以是对3D医学影像中的肋骨点进行检测获得的点(肋骨定位点)本实施例中，为了能够获取尽可能多的肋骨点，进而提高最终映射获得的肋骨全景图的精度，可以基于肋骨定位点进行扩充，如将与肋骨定位点关联的关联定位点作为肋骨点，此外，还可以将肋骨轮廓上的点(肋骨轮廓点)作为肋骨点。
具体地，可以对每一帧2D医学影像中的肋骨定位点进行相应的扩充，以获得与肋骨定位点关联的关联定位点，并将关联定位点作为对肋骨点的补充。进一步地，对每一帧2D医学影像(横断面)中的肋骨轮廓进行检测，将检测到的肋骨轮廓上的点(肋骨轮廓点)作为肋骨点。
本实施例中，具体地，通过如下方式对每一帧2D医学影像(横断面影像)中的肋骨定位点进行扩充，以获得与该肋骨定位点关联的关联定位点。对于任一帧2D医学影像中的任一个肋骨定位点，首先，以中心点(x0,y0)为圆心，以中心点与该肋骨定位点之间的距离为半径画弧，然后，将圆弧上位于该肋骨定位点附近的点作为与该肋骨定位点关联的关联定位点。具体地，以中心点为圆心，中心点与肋骨定位点之间的距离为半径画弧时，所形成的圆弧可以以肋骨定位点为中心对称，圆弧对应的弧度可以在3°和7°之间，如：圆弧对应的弧度可以为5°。本实施例中可以将生成的圆弧上位于肋骨定位点周围的所有点作为与肋骨定位点关联的关联定位点，并将这些关联定位点作为肋骨点。
为了获得肋骨轮廓上的点，需要先对肋骨轮廓进行检测。本实施例中，具体地，通过如下步骤获取任一帧2D医学影像(横断面影像)中的肋骨轮廓。
首先：获取所述2D医学影像中的关键点，所述关键点关联于肋骨。所述关键点可以位于肋骨上，也可以位于肋骨附近，对于一根肋骨而言，可以对应有一个关键点，也可以对应有多个关键点。参见图9，图9是本发明实施例的关键点的示意图，图9中用数字标识的点即为关键点，图9中示意性的标识了20个关键点。
本实施例中通过神经网络来获取关键点的位置，具体地，可以通过2D回归网络来获取关键点的位置。所述2D回归网络包括特征提取单元和全连接回归单元，特征提取单元的输出为全连接回归单元的输入。其中，特征提取单元包括N个卷积模块和N个最大池化层，卷积模块的输出与最大池化层的输入相连，也即卷积模块和最大池化层交替连接。每一个卷积模块则包括多个卷积块，其中每一个卷积块包括：一个卷积层(Conv2d)，一个批归一化层(BN，Batch Normalization)和一个激活层，激活函数可以为线性整流函数(ReLU，Recified Linear Unit)。全连接回归单元包括M个依次连续的全连接层，全连接层和全连接层之间可以为通过率为0.5的dropout层。全连接回归单元最终输出关键点的坐标，所述关键点的坐标可以是像素点坐标，如该关键点的横坐标和纵坐标可以是在一预设坐标系下对应的第几个像素点。
本实施例中，可以以多帧2D医学影像(横断面影像)为训练样本，由标注人员在每帧2D医学影像上标注关键点，关键点可以为各肋骨上或者肋骨附近的点，关键点的数量可以根据实际的需求而定。然后对训练样本进行数据增强(如：随机旋转一定角度，随机上下左右平移0～30像素，随机缩放0.85～1.15倍，对图像对比度和亮度进行少量抖动等)，将数据量增强至原来数据量的10倍。最后再将训练样本输入2D回归网络进行训练。训练时根据标注的关键点的坐标和网络预测的关键点的坐标计算loss函数，通过反向传播的方法训练，训练的优化算法可以采用带有动量和阶梯衰减的SGD算法。通过训练获得2D回归网络后，则可以将2D医学影像输入至2D回归网络以获得2D医学影像中与各肋骨对应的关键点的坐标。
至此通过上述的2D回归网络获得了2D医学影像中的关键点的坐标，然后连接所述关键点则可以获得2D医学影像中的肋骨轮廓。最后可以将肋骨轮廓上不属于肋骨定位点、与肋骨定位点关联的关联定位点的肋骨轮廓点作为肋骨点。
在获得每一帧2D医学影像中的肋骨点后，执行S33，获取每一帧2D医学影像中的肋骨信息，所述肋骨信息包括：中心点与该帧2D医学影像中的每一个肋骨点所在直线的方向，该肋骨点的Z坐标。本实施例中，可以以中心点为起点，中心点和肋骨点形成的射线与X轴正向之间的夹角来表示中心点和肋骨点所在直线的方向。当然在其他实施例中也可以以中心点为起点，中心点和肋骨点形成的射线与X轴负向之间的夹角来表示中心点和肋骨点所在直线的方向，还可以以肋骨点为起点，肋骨点和中心点形成的射线与X轴正向之间的夹角来表示中心点和肋骨点所在直线的方向，以肋骨点为起点，肋骨点和中心点形成的射线与X轴负向之间的夹角来表示中心点和肋骨点所在直线的方向。实际映射时，可以选择不同的方式来确定中心点和肋骨点所在直线的方向。因此，在确定中心点和肋骨点所在直线的方向时，是以中心点为起点，还是以肋骨点为起点，是与X轴正向还是与X轴负向之间的夹角不应作为在确定中心点和肋骨点所在直线方向时的限定。
由上述可以知晓，检测3D医学影像时，检测到的肋骨定位点的坐标是知晓的，而每一帧2D医学影像中，与肋骨定位点关联的关联定位点的坐标，也可以根据中心点和肋骨定位点之间的距离，以及对应的弧度来确定。每一帧2D医学影像中，肋骨轮廓上每一个肋骨轮廓点的坐标也是可以知晓的。因此，本实施例中，中心点和肋骨点所在直线的方向可以根据中心点的坐标以及肋骨点的坐标确定。
在确定了每一帧2D医学影像中的肋骨信息后，执行S34，将多帧2D医学影像中的肋骨信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。具体地，本实施例中，是将中心点与肋骨点所在直线的方向映射至第一坐标轴，将该肋骨点的Z坐标映射至第二坐标轴。第一坐标轴和第二坐标轴垂直。也即基于中心点和肋骨点所在直线的方向确定该肋骨点在第一坐标轴上的坐标值，基于该肋骨点的Z坐标确定该肋骨点在第二坐标上的坐标值，从而可以在第一坐标系上确定出与该肋骨点对应的肋骨点。该肋骨点的像素值在映射前后可以不发生变化。
以下通过简单的示例，对映射过程进行说明。
若某一帧2D医学影像上存在多个肋骨点，以第一肋骨点、第二肋骨点、第三肋骨点为例，中心点和第一肋骨点所在直线的方向为10°，第一肋骨点的Z坐标为300mm，中心点和第二肋骨点所在直线的方向为13°，第二肋骨点的Z坐标为320mm，中心点和第三肋骨点所在直线的方向为16°，第三肋骨点的Z坐标为340mm。则就是将与第一肋骨点对应的10°映射至第一坐标系的第一坐标轴(角度轴)，将与第一肋骨点对应的300mm映射至第一坐标系的第二坐标轴，以得到第一坐标系下与第一肋骨点对应的肋骨点。将与第二肋骨点对应的13°映射至第一坐标系的第一坐标轴，将与第二肋骨点对应的320mm映射至第一坐标系的第二坐标轴，以得到第二坐标系下与第二肋骨点对应的肋骨点。将与第三肋骨点对应的16°映射至第一坐标系的第一坐标轴，将与第三肋骨点对应的340mm映射至第一坐标系的第二坐标轴，以得到第一坐标系下与第三肋骨点对应的肋骨点。将多帧2D医学影像中的肋骨信息按照前述方式映射，就可以将多帧2D医学影像中的肋骨映射为肋骨全景图。
需要说明的是，上述在映射肋骨全景图的过程中，肋骨点包括了肋骨定位点、与肋骨定位点关联的关联定位点以及肋骨轮廓点。在其他实施例中，当预定间隔足够小，第一切平面和第二切平面足够多时，也可以以检测到的肋骨定位点作为3D医学影像中的肋骨点，基于每一帧2D医学影像中的肋骨定位点来获得肋骨信息，进而基于多帧2D医学影像中的肋骨信息来映射肋骨全景图。
至此，通过上述的S31～S37将多帧2D医学影像中的肋骨和椎骨进行了相应的映射得到了全景图。由于映射过程无需再通过人工方式进行，因此提高了映射的准确度和映射效率。另外，在对每一帧2D医学影像中的肋骨进行映射时，对于肋骨点的获取不仅仅局限于对3D医学影像进行检测获得的肋骨定位点，还基于肋骨定位点对肋骨点进行了补充，并且将检测到的每一帧2D医学影像中的肋骨轮廓上的点也作为要获取的肋骨点的一部分，在很大程度上提高了获得的肋骨点的数量，进而也在很大程度上提高了最终获得的全景图的精确度。
基于相同的技术构思，本实施例还提供一种医学影像处理装置，包括：
第一获取单元，用于获取3D医学影像中的肋骨点。
确定单元，用于确定中心点(x0,y0)，x0关联于肋骨点的x坐标，y0关联于肋骨点的y坐标，X轴与矢状面垂直，Y轴与冠状面垂直。
第五获取单元，用于获取任一帧2D医学影像中的肋骨信息，所述肋骨信息包括：中心点与该帧2D医学影像中的每一个肋骨点所在直线的方向，该肋骨点的Z坐标。
第三获取单元，用于获取任一帧2D医学影像中的椎骨检测框。
平移单元，用于平移获取的每一帧2D医学影像中的椎骨检测框以获得与其对应的平移后的椎骨检测框，其中，每一帧2D医学影像中平移后的椎骨检测框的中心的Y坐标相同。
第四获取单元，用于获取任一帧2D医学影像中的椎骨信息，所述椎骨信息包括：中心点与该帧2D医学影像中的每一个椎骨点所在直线的方向，该椎骨点的Z坐标，所述椎骨点位于第一线段上或者位于与第一线段平行且距离所述第一线段预设距离的第二线段上，所述第一线段经过该帧2D医学影像的平移后的椎骨检测框的中心且与X轴平行。
第三映射单元，用于将多帧2D医学影像中的肋骨信息、椎骨信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像。
基于相同的技术构思，本实施例还提供一种计算机设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行上述的医学影像处理方法。
基于相同的技术构思，本实施例还提供一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行上述的医学影像处理方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种医学影像处理方法，其特征在于，包括：
获取3D医学影像中的肋骨点；
确定中心点(x0,y0)，x0关联于肋骨点的x坐标，y0关联于肋骨点的y坐标，X轴与矢状面垂直，Y轴与冠状面垂直；
获取任一帧2D医学影像中的椎骨信息，所述椎骨信息包括：中心点与该帧2D医学影像中的每一个椎骨点所在直线的方向，该椎骨点的Z坐标，所述椎骨点位于第一线段上或者位于与第一线段平行且距离所述第一线段预设距离的第二线段上，所述第一线段经过该帧2D医学影像的椎骨检测框的中心且与X轴平行；
将多帧2D医学影像中的椎骨信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像；
所述将多帧2D医学影像中的椎骨信息映射至第一坐标系包括：
对于任一帧2D医学影像中的椎骨信息，将中心点与椎骨点所在直线的方向映射至第一坐标轴，将该椎骨点的Z坐标映射至第二坐标轴；
所述将多帧2D医学影像中的肋骨信息映射至第一坐标系包括：
对于任一帧2D医学影像中的肋骨信息，将中心点与肋骨点所在直线的方向映射至第一坐标轴，将该肋骨点的Z坐标映射至第二坐标轴；
其中，第一坐标轴和第二坐标轴垂直；
所述方法还包括获取肋骨定位点，所述获取肋骨定位点包括：
获取3D医学影像中的第一定位点和第二定位点，其中，所述第一定位点位于左肺内，第二定位点位于右肺内；
确定第一轴和第二轴，其中，所述第一轴经过所述第一定位点且与横断面垂直，所述第二轴经过所述第二定位点且与横断面垂直；
以过所述第一轴且以所述第一轴为边界的切面切分所述3D医学影像，以获得多个第一切平面；
以过所述第二轴且以所述第二轴为边界的切面切分所述3D医学影像，以获得多个第二切平面；
对多个第一切平面和多个第二切平面进行检测以获得肋骨定位点。
2.如权利要求1所述的方法，其特征在于，还包括：
获取任一帧2D医学影像中的肋骨信息，所述肋骨信息包括：中心点与该帧2D医学影像中的每一个肋骨点所在直线的方向，该肋骨点的Z坐标；
将多帧2D医学影像中的肋骨信息映射至第一坐标系。
3.如权利要求2所述的方法，其特征在于，所述肋骨点包括：肋骨定位点、与所述肋骨定位点关联的关联定位点，所述x0关联于肋骨定位点的x坐标，y0关联于肋骨定位点的y坐标。
4.如权利要求2所述的方法，其特征在于，所述肋骨点包括：肋骨定位点、与所述肋骨定位点关联的关联定位点、肋骨轮廓点，所述x0关联于肋骨定位点的x坐标，y0关联于肋骨定位点的y坐标。
5.如权利要求1所述的方法，其特征在于，所述第一定位点为左肺的中心点或者重心点，所述第二定位点为右肺的中心点或者重心点。
6.如权利要求1～5任一项所述的方法，其特征在于，所述第一线段的长度与所述椎骨检测框的第一边的长度相等，所述椎骨检测框的第一边与X轴平行。
7.一种医学影像处理方法，其特征在于，包括：
获取3D医学影像中的肋骨点；
确定中心点(x0,y0)，x0关联于肋骨点的x坐标，y0关联于肋骨点的y坐标，X轴与矢状面垂直，Y轴与冠状面垂直；
获取任一帧2D医学影像中的椎骨检测框；
平移获取的每一帧2D医学影像中的椎骨检测框以获得与其对应的平移后的椎骨检测框，其中，每一帧2D医学影像中平移后的椎骨检测框的中心的Y坐标相同；
获取任一帧2D医学影像中的椎骨信息，所述椎骨信息包括：中心点与该帧2D医学影像中的每一个椎骨点所在直线的方向，该椎骨点的Z坐标，所述椎骨点位于第一线段上或者位于与第一线段平行且距离所述第一线段预设距离的第二线段上，所述第一线段经过该帧2D医学影像的平移后的椎骨检测框的中心且与X轴平行；
将多帧2D医学影像中的椎骨信息映射至第一坐标系，以获得与所述多帧2D医学影像对应的医学影像；
其中，将中心点与肋骨点所在直线的方向映射至第一坐标轴，将该肋骨点的Z坐标映射至第二坐标轴，第一坐标轴和第二坐标轴垂直；也即基于中心点和肋骨点所在直线的方向确定该肋骨点在第一坐标轴上的坐标值，基于该肋骨点的Z坐标确定该肋骨点在第二坐标上的坐标值，从而在第一坐标系上确定出与该肋骨点对应的肋骨点；
所述方法还包括获取肋骨定位点，所述获取肋骨定位点包括：
获取3D医学影像中的第一定位点和第二定位点，其中，所述第一定位点位于左肺内，第二定位点位于右肺内；
确定第一轴和第二轴，其中，所述第一轴经过所述第一定位点且与横断面垂直，所述第二轴经过所述第二定位点且与横断面垂直；
以过所述第一轴且以所述第一轴为边界的切面切分所述3D医学影像，以获得多个第一切平面；
以过所述第二轴且以所述第二轴为边界的切面切分所述3D医学影像，以获得多个第二切平面；
对多个第一切平面和多个第二切平面进行检测以获得肋骨定位点。
8.如权利要求7所述的方法，其特征在于，还包括：
获取任一帧2D医学影像中的肋骨信息，所述肋骨信息包括：中心点与该帧2D医学影像中的每一个肋骨点所在直线的方向，该肋骨点的Z坐标；
将多帧2D医学影像中的肋骨信息映射至第一坐标系。
CN202011289961.0A 2020-11-17 2020-11-17 一种医学影像处理方法 Active CN112381805B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011289961.0A CN112381805B (zh) 2020-11-17 2020-11-17 一种医学影像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011289961.0A CN112381805B (zh) 2020-11-17 2020-11-17 一种医学影像处理方法

Publications (2)

Publication Number Publication Date
CN112381805A CN112381805A (zh) 2021-02-19
CN112381805B true CN112381805B (zh) 2024-03-08

Family

ID=74584958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011289961.0A Active CN112381805B (zh) 2020-11-17 2020-11-17 一种医学影像处理方法

Country Status (1)

Country Link
CN (1) CN112381805B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034495B (zh) * 2021-04-21 2022-05-06 上海交通大学 一种脊柱影像分割方法、介质及电子设备
CN113139954B (zh) * 2021-05-11 2023-06-20 上海杏脉信息科技有限公司 一种医学影像处理装置及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208117A (zh) * 2011-05-04 2011-10-05 西安电子科技大学 脊椎的三维几何与有限元混合模型的构建方法
JP2011206148A (ja) * 2010-03-29 2011-10-20 Terumo Corp 三次元人体モデル生成装置、三次元人体モデル生成方法及び三次元人体モデル生成プログラム
CN109191465A (zh) * 2018-08-16 2019-01-11 青岛大学附属医院 一种基于深度学习网络判定、标识人体左右第一肋骨的系统
CN110580948A (zh) * 2019-09-12 2019-12-17 杭州依图医疗技术有限公司 医学影像的显示方法及显示设备
CN110706791A (zh) * 2019-09-30 2020-01-17 杭州依图医疗技术有限公司 一种医学影像处理方法及装置
CN111861984A (zh) * 2020-06-08 2020-10-30 上海依智医疗技术有限公司 一种确定肺部区域的方法及装置、计算机设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7369693B2 (en) * 2003-06-23 2008-05-06 Siemens Medical Solutions Usa, Inc. Thoracic cage coordinate system for recording pathologies in lung CT volume data
JP4545807B2 (ja) * 2008-03-31 2010-09-15 富士フイルム株式会社 骨番号認識装置およびそのプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011206148A (ja) * 2010-03-29 2011-10-20 Terumo Corp 三次元人体モデル生成装置、三次元人体モデル生成方法及び三次元人体モデル生成プログラム
CN102208117A (zh) * 2011-05-04 2011-10-05 西安电子科技大学 脊椎的三维几何与有限元混合模型的构建方法
CN109191465A (zh) * 2018-08-16 2019-01-11 青岛大学附属医院 一种基于深度学习网络判定、标识人体左右第一肋骨的系统
CN110580948A (zh) * 2019-09-12 2019-12-17 杭州依图医疗技术有限公司 医学影像的显示方法及显示设备
CN110706791A (zh) * 2019-09-30 2020-01-17 杭州依图医疗技术有限公司 一种医学影像处理方法及装置
CN111861984A (zh) * 2020-06-08 2020-10-30 上海依智医疗技术有限公司 一种确定肺部区域的方法及装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《脊椎图像分割和配准的研究进展》;吴剑 等;《中国康复理论与实践》;第16卷(第2期);130-133 *

Also Published As

Publication number Publication date
CN112381805A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN107798682B (zh) 图像分割系统、方法、装置和计算机可读存储介质
US7388973B2 (en) Systems and methods for segmenting an organ in a plurality of images
CN108022238B (zh) 对3d图像中对象进行检测的方法、计算机存储介质和系统
US11132801B2 (en) Segmentation of three-dimensional images containing anatomic structures
CN102727235B (zh) X 射线ct 装置以及图像处理方法
JP6564018B2 (ja) 放射線画像の肺野セグメンテーション技術及び骨減弱技術
US6055326A (en) Method for orienting electronic medical images
CN110706791B (zh) 一种医学影像处理方法及装置
CN112381805B (zh) 一种医学影像处理方法
US20070116338A1 (en) Methods and systems for automatic segmentation of biological structure
CN113327225B (zh) 用于提供气道信息的方法
US9508143B2 (en) Apparatus and method for marking region of interest
US8050470B2 (en) Branch extension method for airway segmentation
CN112508858B (zh) 一种医学影像处理方法及装置、计算机设备
CN110826557A (zh) 一种骨折检出的方法及装置
US9895122B2 (en) Scanning apparatus, medical image device and scanning method
CN112308820B (zh) 一种肋骨定位方法及装置、计算机设备及存储介质
CN112712507B (zh) 一种确定冠状动脉的钙化区域的方法及装置
KR20210066074A (ko) 3차원 해부학적 기준점 검출 방법 및 장치
CN112184664B (zh) 一种椎骨检测方法及计算机设备
CN114187252B (zh) 图像处理方法及装置、调整检测框的方法及装置
US8284196B2 (en) Method and system for reconstructing a model of an object
CN116934885A (zh) 肺部分割方法、装置、电子设备及存储介质
CN110599482B (zh) 肺裂曲面确定方法、装置、电子设备和存储介质
CN112712508B (zh) 一种确定气胸的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant