CN108520519B - 一种图像处理方法、装置及计算机可读存储介质 - Google Patents

一种图像处理方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN108520519B
CN108520519B CN201810322914.8A CN201810322914A CN108520519B CN 108520519 B CN108520519 B CN 108520519B CN 201810322914 A CN201810322914 A CN 201810322914A CN 108520519 B CN108520519 B CN 108520519B
Authority
CN
China
Prior art keywords
fracture
image
target image
detected
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810322914.8A
Other languages
English (en)
Other versions
CN108520519A (zh
Inventor
李阳
赵春林
于文君
王策
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Healthcare Co Ltd filed Critical Shanghai United Imaging Healthcare Co Ltd
Priority to CN201810322914.8A priority Critical patent/CN108520519B/zh
Publication of CN108520519A publication Critical patent/CN108520519A/zh
Priority to EP19168808.4A priority patent/EP3553743A3/en
Priority to US16/382,149 priority patent/US10943699B2/en
Priority to US17/189,352 priority patent/US11437144B2/en
Priority to US17/805,868 priority patent/US11935654B2/en
Application granted granted Critical
Publication of CN108520519B publication Critical patent/CN108520519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/06—Curved planar reformation of 3D line structures

Abstract

本发明实施例提供了一种图像处理方法、装置及计算机可读存储介质，涉及医学技术领域，可减少医生的操作，提高诊断效率。一方面，本发明实施例通过获取医学图像；从而，从医学图像中分割出目标图像，所述目标图像为待检测骨骼区域对应的目标图像；进而，利用骨折检测模型在所述目标图像中检测骨折区域。

Description

一种图像处理方法、装置及计算机可读存储介质
【技术领域】
本发明涉及医疗技术领域，尤其涉及一种图像处理方法、装置及计算机可读存储介质。
【背景技术】
随着工业、交通业的飞速发展，交通事故和工伤日益增加，骨折检测与诊断在现在医学治疗中占有重要的地位。现有技术中骨折检测主要是利用X射线计算机断层扫描(Computed Tomography,CT)检测是否骨折，在骨折检测过程中，需要医生对多个CT断层图像进行反复浏览和观察，依靠医生的经验，完成骨折检测。例如，在肋骨骨折检测中，由于肋骨解剖形态独特，每一根肋骨自后上至前下，需对多个CT横断面进行反复观察，依次完成对左右两侧逐一肋骨的评价，费时耗力。并且对于部分肋骨骨折表现隐匿，需要医生对多个CT断层图像进行反复浏览和观察，并且对医生经验要求较高。
现有技术中的这种检测方式主观性强，对医生的依赖性较大，操作费时费力。
【发明内容】
有鉴于此，本发明实施例提供了一种图像处理方法、装置及计算机可读存储介质，减少检测过程中医生的操作，能够快速准确进行骨折检测，提高诊断效率。
第一方面，本发明实施例提供了一种图像处理方法，包括：
获取医学图像；
从所述医学图像中分割出目标图像，所述目标图像为待检测骨骼区域对应的图像；
利用骨折检测模型在所述目标图像中检测骨折区域。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述方法还包括：
获取已标定骨折位置的医学数据，以作为训练样本数据；
根据所述训练样本数据，构建所述骨折检测模型。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述利用骨折检测模型在所述目标图像中检测骨折区域包括：
利用骨折检测模型在所述目标图像获取候选骨折区域；
利用骨骼掩膜对所述候选骨折区域进行去除假阳性区域处理，得到骨折区域。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述方法还包括；
当检测出骨折区域，标记所述骨折区域。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述方法还包括；
当检测出骨折区域，根据所述骨折检测模型，获取所述目标图像中的骨折类型。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述方法还包括：
当检测出至少两处骨折位置时，获取任意两处骨折位置之间的距离；
当所述距离小于或者等于预设的距离阈值时，合并这两处骨折位置，基于合并后的骨折位置构建所述骨折区域。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述方法还包括：
基于所述骨折区域构建骨骼图像；
在所述骨骼图像中显示骨折检测结果。
第二方面，本发明实施例提供了一种图像处理装置，包括：
获取单元，用于获取医学图像；
分割单元，用于从所述医学图像中分割出目标图像，所述目标图像为待检测骨骼区域对应的图像；
处理单元，用于利用骨折检测模型在所述目标图像中检测骨折区域。
第三方面，本发明实施例提供了一种图像处理装置，所述装置包括处理器、存储器、输入输出器和显示器，所述输入输出器用于接收或发送数据，所述显示器用于显示数据；所述存储器用于存放程序；所述处理器用于执行所述存储器存储的所述程序，以执行第一方面中任意一项所述的方法。
第四方面，本发明实施例提供了一种计算可读存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行第一方面任意一项所述的方法。
上述技术方案中的一个技术方案具有如下有益效果：
本发明实施例提供的技术方案，从医学图像中提取出目标图像，然后，利用骨折检测模型自动地对提取到的目标图像进行处理，以检测出骨折区域，相比于现有技术医生通过反复查看多个CT图像并利用自身的经验检测是否骨折，本发明提供的技术方案，利用骨折检测模型，实现自动化检测，不需要医生反复切换度多个CT图像，减少人力操作，从而节省了骨折检测时间，能够快速进行骨折检测，提高检测效率，并且在检测过程中不需要依赖于医生的经验，而由执行主体自动地检测骨折区域，从而使得检测结果更为客观。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例所提供的一种图像处理方法的流程示意图；
图2是本发明实施例所提供的另一种图像处理方法的流程示意图；
图3是本发明实施例所提供的以标记框标记骨折区域的示意图
图4是本发明实施例所提供的另一种图像处理方法的流程示意图；
图5是本发明实施例所提供的一种管理列表的示意图；
图6是本发明实施例所提供的示例一的方法流程示意图；
图7是本发明实施例所提供的示例二的方法流程示意图；
图8是本发明实施例所提供的示例三的方法流程示意图；
图9是本发明实施例所提供的一种图像处理装置的结构示意图；
图10是本发明实施例所提供的另一种图像处理装置的结构示意图。
【具体实施方式】
为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
实施例一
本发明实施例给出一种图像处理方法，请参考图1，其为本发明实施例所提供的方法的流程示意图，如图所示，该方法包括以下步骤：
102、获取医学图像。
其中，医学图像可以包括但不限于CT(Computed Tomography，计算机断层扫描)图像、MR(Magnetic Resonance，核磁共振)图像、PET(positron emission tomography，正电子发射计算机断层)图像，以及前述各个模态间的融合图像等。
104、从医学图像中分割出目标图像，目标图像为待检测骨骼区域对应的图像。
其中，本发明实施例针对于从医学图像中分割出目标图像的实现提供了两种可行的实施方式，
在一种可行的实现方式中，从医学图像中分割出目标图像的具体实现包括：首先，获取与医学图像对应的骨骼掩模，然后，在医学图像中提取骨骼掩模所指示的图像，以作为目标图像。其中，骨骼掩膜可以从医学图像中定位出目标图像所处位置，从而提取目标图像。
在另一个可行的实现方式中，从医学图像中分割出目标图像的具体实现包括：获取与医学图像对应的骨骼分割模型；然后，利用骨骼分割模型对医学图像进行分割，得到分割结果，将分割结果作为目标图像。这里需要说明的是，骨骼分割模型可以是一种独立于骨折检测模型的模型；或者，该骨骼分割模型还可以与骨折检测模型共用一个模型，当骨骼分割模型与骨折检测模型共用一个模型时，该模型可以实现骨骼分割和骨折检测功能。
需要说明的是，在执行步骤106之前，先对医学图像进行图像分割处理，从医学图像中提取出目标图像，然后，执行步骤106利用骨折检测模型在目标图像中检测骨折区域时，由于执行主体是对目标图像进行处理，而非全部的医学图像进行处理，因此，执行主体在执行利用骨折检测模型在目标图像中检测骨折区域时，利用目标图像检测是否骨折，并检测骨折区域，相比于利用全部医学图像检测是否骨折而言，其检测的速度更快。
106、利用骨折检测模型在目标图像中检测骨折区域。
本发明实施例提供的技术方案，从医学图像中提取出目标图像，然后，利用骨折检测模型自动地对提取到的目标图像进行处理，以检测出骨折区域，相比于现有技术医生通过反复查看多个CT图像并利用自身的经验检测是否骨折，本发明提供的技术方案，利用骨折检测模型，实现自动化检测，不需要医生反复切换度多个CT图像，减少人力操作，从而节省了骨折检测时间，能够快速进行骨折检测，提高检测效率，并且在检测过程中不需要依赖于医生的经验，而由执行主体自动地检测出骨折区域，从而使得检测结果更为客观。
进一步的，为了实现利用骨折检测模型检测骨折，在利用骨折检测模型检在目标图像中检测骨折区域之前，需要先获取到骨折检测模型，从而实现利用骨折检测模型在目标图像中检测骨折区域。在一个可行的实施例中，获取骨折检测模型具体包括：首先，获取已标定骨折位置的医学数据，以作为训练样本数据；然后，根据训练样本数据，构建骨折检测模型。其中，已标定骨折位置的医学数据的获取方式具体为，先获取骨折数据和/或病例报告等数据，然后，医生对这些骨折数据、病例报告等可以根据需求进行标定，例如，以矩形框标记处骨折位置，或者以高亮显示的形式标记骨折位置，或者，还可以用不同的颜色标记骨折位置；此外，还可以标明骨折的类型(如骨痂、移位性骨折、非移位性骨折、骨皮质异常、隐匿性骨折等)，医生对这些数据完成标定之后，执行主体获得到这些已标定的医学数据后，可以基于卷积神经网络算法进行学习和训练，以构建骨折检测模型。
其中，构建得到的骨折检测模型可以是VGG或者ResNet为基础的卷积网络模型。
值得说明的是，上述医学数据的标定形式仅为本发明实施例提供的几种具体的实现方式，本发明对于医学数据的标定形式不作具体限定。
另外，还需要说明的是，若骨折检测模型与骨骼分割模型共用一个模型时，医生在对医学数据进行标定时，除了标记出骨折位置和骨折类型外，还要标记出骨骼区域，如标记骨皮质以及其周围的所有像素，从而利用这种标定的医学数据进行学习和训练得到的模型，能够实现骨骼分割和骨折检测。
进一步的，为了提高医学诊断的准确率，本发明进一步提出一种可行的实现方法，如图2所述，该方法中步骤106具体包括：
1061、利用骨折检测模型在所述目标图像中，获取候选骨折区域。
1062、利用骨骼掩膜对候选骨折区域进行去除假阳性区域处理，得到骨折区域。
这里值得说明的是，利用骨折检测模型检测出骨折，得到的候选骨折区域中可能存在一些空气区域或者其他非骨骼区域，为了避免候选骨折区域中的其他非骨骼区域等产生假阳性区域，对医生的诊断造成误导，可以利用骨骼掩膜，根据骨骼掩膜指示去除非骨骼区域，从而使得到的去除假阳性后的骨折区域，更利于医生诊断。其中，这里所指定的假阳性区域是指实际不是骨折区域，但是检测结果却显示为骨折区域。
进一步的，为了能够快速查找到骨折区域，以方便医生诊断，当检测出发生骨折，执行主体获取骨折区域，并且标记骨折区域。其中，执行主体可以在医学图像中标记骨折区域，和/或，还可以在目标图像中标记出骨折区域。标记骨折区域的方式可是使用标记框的形式，框选出骨折发生位置，如图3所示，其为以标记框标记骨折区域的示意图；或者，使用标签形式标记，或者，还可以使用文件标识符的形式等标记出骨折发生位置。
另外，为了便于医生快速地诊断出发生骨折的原因，当确定发生骨折，并检测出骨折区域时，执行主体还可以利用骨折检测模型，确定出骨折的类型，从而获取目标图像中的骨折类型。
需要说明的是，当发生骨折时，执行主体可以在得到去除假阳性后的骨折区域之后，得到的骨折区域中查找发生骨折的位置，和/或，确定骨折类型；或者，当发生骨折，检测出骨折区域时，直接从医学图像和/或目标图像中查找发生骨折的位置，和/或，确定骨折类型。或者，还可以在将上述情况进行任意组合。
进一步的，为了方便医生能快速的查找到骨折区域，提高诊断效率，当检测出至少两处骨折时，发生骨折的两处骨折位置比较接近，即这两处骨折位置之间的距离小于或者等于预设的距离阈值时，合并这两处骨折位置，并基于合并后的骨折位置构建骨折区域。
需要说明的是，骨折检测模型从目标图像可能检测到不止一处骨折位置，若骨折检测模型检测出目标图像中存在N个骨折位置，其中，这N个骨折位置中部分骨折位置比较接近，为了便于医生查看，将这N个骨折位置中任意两个骨折位置之间的距离小于或者等于预设的距离阈值的骨折位置进行合并，并基于合并后的骨折位置构建M个骨折区域，其中，N和M为整数，N大于1，N≥M。
例如，在二维医学图像中，多个连续的片层图像表征空间中的相邻位置，当某一处发生骨折时，该骨折位置通过连续的多个片层图像表征，因此，在骨折检测模型为2D检测模型中，当检测出至少两处骨折时，且骨折位置处于不同的片层图像中，获取任意两处骨折位置之间的距离，当两个处于不同片层图像中的骨折位置之间的距离小于或者等于预设的距离阈值时，合并这两处骨折位置，认为这两处骨折位置为同一处骨折,并构建出一个骨折区域。
为了便于医生观看，执行主体可以构建骨骼图像，并将骨折检测结果通过构建的骨骼图像进行显示。其中，骨折检测结果包括是否骨折的指示信息、骨折区域标记、骨折类型信息等。其中，骨骼图像包括曲面重建图像、多平面重建图像以及三维渲染图像。
进一步的，肋骨具有独特的形态，在肋骨检测中，为了便于查看，肋骨在在医学图像中采用非拉直的曲面显示，由于肋骨曲面重建图像中所显示的肋骨是沿着与肋骨平行的角度进行展示的，在医学诊断中，采用非拉着的曲面显示肋骨其更符合肋骨的真实性，在目前的显示方案中，实现曲面显示时，需要手动绘制多点，利用绘制的多点构造曲面(CPR，curved planar reconstruction)显示，然而，这种方式对于手绘制多点对医生的经验要求比较高，手动绘制个体差异性大，容易造成骨折假象，并构建曲面显示的处理过程繁琐，因此，为了进一步解决这些问题，本发明实施例针对于构建骨骼图像的实现提供了一种实现方式，该方法的流程图如图4所示，所述方法还包括：
202、根据目标图像，提取肋骨中心线。
其中，目标图像为经过图像分割处理，提取到的肋骨图像。
补充说明的是，还可以根据原始医学图像提取肋骨中心线。
其中，肋骨中心线的提取可以基于细化的方法，或基于跟踪的方法，或基于距离变化最短路径的方法。
具体的，基于细化算法提取中心线的方法为：首先提取出经分割得到的肋骨结构图像，再对分割得到的肋骨结构图像进行细化操作，从而得到目标结构的中心线(骨架)。其中，细化操作为：在满足拓扑不变和几何约束条件的前提下，利用细化算法层层剥离肋骨结构图像，最终形成在中心线附近的单像素细线。其中，得到的肋骨中心线，在视觉上仍保留原有肋骨结构的拓扑结构。
具体的，基于跟踪算法提起中心线的方法为：首先给定初始点，通过确定该初始点与邻域点之间的关系，利用自动迭代，跟踪出中心线上所有的点集。跟踪出中心线上所有的点集可以为：从初始点开始探测肋骨结构中心线或通过分析正交于跟踪方向的像素来检测边缘。
具体的，基于距离变换与最小路径算法提起中心线的方法为是:首先，计算原图像距离变换，然后，找出距离变换后图像所有的局部极大值点，从而将这些局部极大值点连接起来得到骨架。其中，距离变换后图像所有的局部极大值点的查找方法可以为；选择一个参考点作为起始点，获取与该起始点距离相同的体素点，将这些体素点构成一个集合，从该集合中找出与肋骨结构表面的最短距离值中最大的体素点，连接满足条件的体素点就构成了肋骨结构的中心线。
204、根据肋骨中心线，构建肋骨曲面重建图像。
另外，还需要说明的，当检测到发生骨折，为方便医生在原始的医学图像上与构建的骨骼图像中查看骨折位置，还可以获取包含肋骨标签、肋骨骨折标记(骨折位置和/或骨折类型)等数据的管理列表，设置该管理列表与构建的显示图像的映射关系，实现管理列表与构建的显示图像的联动定位。其中，肋骨标签是根据按临床解剖结构对各肋骨进行区分的一种标识，例如，人体右侧区域，在靠近人体头部且远离人体腹部所在方向上，各个肋骨编号为1,2,3,4,5,6，某一根肋骨位于人体右侧，且为与人体头部最接近的肋骨，该肋骨的肋骨标签为：右侧第1根肋骨。
请参考图5，其为一种管理列表的示意图。在一个实施例中，构建的骨骼图像包括肋骨曲面重建图像、多平面重建图像以及三维渲染图像这三种图像，这三种图像与管理列表具有映射关系，当医生输出指定操作(如，在多平面重建图像中移动图像中的光标)，触发执行主体执行根据三种图像与管理列表具有映射关系将这三种图像同步定位到一个空间坐标中，实现联动定位。而将肋骨曲面重建图像、多平面重建图像以及三维渲染图像联动定位到同一空间坐标中，方便医生从不同的视角观察肋骨结构，从而快速准确的诊断出骨折症状。
此外，肋骨曲面重建图像、多平面重建图像以及三维渲染图像都有管理列表具有映射关系，因此，通过操作管理列表或者三维渲染图像或者多平面重建图像，还可以实现一个或多个肋骨对应的肋骨曲面图像之间的切换。
为了便于理解，下面结合针对肋骨检测的具体场景，详细说明本发明技术方案的图像处理过程：
示例一
请参考图6，为本发明提供的示例一的方法流程图。其中，在该示例中，所使用的骨折检测模型为2D检测模型，其具体实现过程如下：
步骤1：导入病人的CT数据。
步骤2：获取肋骨掩膜。
步骤3：根据该肋骨掩膜，确定肋骨所在的起始片层以及终止片层。
步骤4：逐层提取肋骨所在片层的CT数据，输入到2D骨折检测模型中。
步骤5：利用2D骨折检测模型从肋骨所在每个片层的CT数据中检测骨折区域，并标记骨折位置和骨折类型。
步骤6：判断肋骨所在片层的CT数据是否检测完成，若是，执行步骤7；若否，返回执行步骤5。
步骤7：获取肋骨所在片层的CT数据的所有检测结果，即，获取肋骨所在的所有片层对应的候选骨折区域，利用肋骨掩膜去除假阳性区域。
步骤8：将任意两个片层对应的骨折位置之间距离不超过预设距离的骨折位置合成为一处骨折位置，并显示检测结果。
示例二
请参考图7，为本发明提供的示例二的方法流程图。其中，在该示例中，所使用的骨折检测模型为3D检测模型，其具体实现过程如下：
步骤1：导入病人的CT体数据。
步骤2：获取肋骨掩膜。
步骤3：根据该肋骨掩膜，确定包含整个肋骨所在区域的CT体数据。
步骤4：将整个肋骨所在区域的CT体数据，输入到3D骨折检测模型中。
步骤5：利用3D骨折检测模型检测从整个肋骨所在区域的CT体数据中检测骨折区域，并标记骨折位置和骨折类型。
步骤6：获取肋骨检测结果，利用肋骨掩膜去除假阳性区域，并显示检测结果。
示例三
请参考图8，为本发明提供的示例三的方法流程图。其中，在该示例中，所使用的检测模型为2D检测模型，且骨折检测模型和骨骼分割模型共用一个模型，其具体实现过程如下：
步骤1：导入病人的CT数据。
步骤2：将病人的CT数据逐层输入到2D检测模型中。
步骤3：利用2D检测模型从病人的CT数据中逐层检测骨折区域，并标记肋骨骨折位置和骨折类型。
步骤4：判断所有的CT数据是否检测完成，若是，执行步骤5；若否，返回执行步骤3。
步骤5：将任意两个片层对应的肋骨骨折位置之间距离不超过预设距离的骨折位置合成为同一处骨折，并显示检测结果。
本发明实施例进一步给出实现上述方法实施例中各步骤及方法的装置实施例。
请参考图9，其为本发明实施例所提供的装置的功能方块图。如图所示，包括：
获取单元601，用于获取医学图像；
分割单元602，用于从所述医学图像中分割出目标图像，所述目标图像为待检测骨骼区域对应的图像；
处理单元603，用于利用骨折检测模型在所述目标图像中检测骨折区域。
由于本实施例中的各单元能够执行前述图像处理方法，本实施例未详细描述的部分，可参考对图像处理方法的相关说明。
请参考图10，其为本发明实施例所提供的装置的功能方块图。如图所示，该装置包括：所述装置包括处理器710、存储器720、输入输出器730和显示器740，所述输入输出器730用于接收或发送数据，所述显示器740用于显示数据；所述存储器720用于存放程序；所述处理器710用于执行所述存储器720存储的所述程序，以执行前述任意一项图像处理方法。
由于本实施例中的处理器710能够执行前述图像处理方法，本实施例未详细描述的部分，可参考对图像处理方法的相关说明。
本发明实施例提供了一种计算可读存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行前述任意一项图像处理方法。
本发明实施例提供的技术方案，从医学图像中提取出目标图像，然后，利用骨折检测模型自动地对提取到的目标图像进行处理，以检测骨折区域，相比于现有技术医生通过反复查看多个CT图像并利用自身的经验检测是否骨折，本发明提供的技术方案，利用骨折检测模型，实现自动化检测，不需要医生反复切换度多个CT图像，减少人力操作，从而节省了骨折检测时间，能够快速进行骨折检测，提高检测效率，并且在检测过程中不需要依赖于医生的经验，而由执行主体自动地检测出骨折区域，从而使得检测结果更为客观。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取医学图像；
从所述医学图像中分割出目标图像，所述目标图像为待检测骨骼区域对应的图像；
利用骨折检测模型在所述目标图像中检测骨折区域；
所述方法还包括：
当检测到发生骨折，获取数据的管理列表，设置所述管理列表与构建的显示图像的映射关系，所述显示图像包括肋骨曲面重建图像、多平面重建图像以及三维渲染图像；
将所述肋骨曲面重建图像、所述多平面重建图像以及所述三维渲染图像联动定位到同一空间坐标中，以实现所述管理列表与所述构建的显示图像的联动定位。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取已标定骨折位置的医学数据，以作为训练样本数据；
根据所述训练样本数据，构建所述骨折检测模型。
3.根据权利要求1所述的方法，其特征在于，所述利用骨折检测模型在所述目标图像中检测骨折区域包括：
利用骨折检测模型在所述目标图像获取候选骨折区域；
利用骨骼掩膜对所述候选骨折区域进行去除假阳性区域处理，得到所述骨折区域。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括；
当检测出骨折区域，标记所述骨折区域。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括；
当检测出骨折区域，根据所述骨折检测模型，获取所述目标图像中的骨折类型。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当检测出至少两处骨折位置时，获取任意两处骨折位置之间的距离；
当所述距离小于或者等于预设的距离阈值时，合并这两处骨折位置，基于合并后的骨折位置构建所述骨折区域。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述骨折区域构建骨骼图像；
在所述骨骼图像中显示骨折检测结果。
8.一种图像处理装置，其特征在于，包括：
获取单元，用于获取医学图像；
分割单元，用于从所述医学图像中分割出目标图像，所述目标图像为待检测骨骼区域对应的图像；
处理单元，用于利用骨折检测模型在所述目标图像中检测骨折区域；
获取单元，用于当检测到发生骨折，获取数据的管理列表，设置所述管理列表与构建的显示图像的映射关系，所述显示图像包括肋骨曲面重建图像、多平面重建图像以及三维渲染图像；
将所述肋骨曲面重建图像、所述多平面重建图像以及所述三维渲染图像联动定位到同一空间坐标中，以实现所述管理列表与所述构建的显示图像的联动定位。
9.一种图像处理装置，其特征在于，所述装置包括处理器、存储器、输入输出器和显示器，所述输入输出器用于接收或发送数据，所述显示器用于显示数据；所述存储器用于存放程序；所述处理器用于执行所述存储器存储的所述程序，以执行权利要求1-7任意一项所述的方法。
10.一种计算可读存储介质，其特征在于，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如权利要求1-7任意一项所述的方法。
CN201810322914.8A 2018-04-11 2018-04-11 一种图像处理方法、装置及计算机可读存储介质 Active CN108520519B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810322914.8A CN108520519B (zh) 2018-04-11 2018-04-11 一种图像处理方法、装置及计算机可读存储介质
EP19168808.4A EP3553743A3 (en) 2018-04-11 2019-04-11 Systems and methods for image processing
US16/382,149 US10943699B2 (en) 2018-04-11 2019-04-11 Systems and methods for image processing
US17/189,352 US11437144B2 (en) 2018-04-11 2021-03-02 Systems and methods for image processing
US17/805,868 US11935654B2 (en) 2018-04-11 2022-06-08 Systems and methods for image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810322914.8A CN108520519B (zh) 2018-04-11 2018-04-11 一种图像处理方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108520519A CN108520519A (zh) 2018-09-11
CN108520519B true CN108520519B (zh) 2022-09-16

Family

ID=63432109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810322914.8A Active CN108520519B (zh) 2018-04-11 2018-04-11 一种图像处理方法、装置及计算机可读存储介质

Country Status (3)

Country Link
US (3) US10943699B2 (zh)
EP (1) EP3553743A3 (zh)
CN (1) CN108520519B (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3657433B1 (en) * 2018-11-22 2022-10-19 Siemens Healthcare GmbH Medical image data
WO2020133236A1 (zh) * 2018-12-28 2020-07-02 深圳迈瑞生物医疗电子股份有限公司 一种脊柱的成像方法以及超声成像系统
CN109859213B (zh) * 2019-01-28 2021-10-12 艾瑞迈迪科技石家庄有限公司 关节置换手术中骨骼关键点检测方法及装置
US11315242B2 (en) * 2019-04-10 2022-04-26 International Business Machines Corporation Automated fracture detection using machine learning models
CN111968728B (zh) * 2019-05-20 2024-03-08 杭州依图医疗技术有限公司 一种图像的处理方法和处理设备
CN111985512B (zh) * 2019-05-22 2024-02-02 杭州依图医疗技术有限公司 一种建立人体肋骨模型的方法和装置
CN110458799A (zh) * 2019-06-24 2019-11-15 上海皓桦科技股份有限公司 基于肋骨展开图的肋骨骨折自动检测方法
CN110738639B (zh) * 2019-09-25 2024-03-01 上海联影智能医疗科技有限公司 医学图像检测结果的展示方法、装置、设备及存储介质
CN110807770A (zh) * 2019-10-30 2020-02-18 杭州依图医疗技术有限公司 医学影像的处理、识别、显示方法及存储介质
CN110992376A (zh) * 2019-11-28 2020-04-10 北京推想科技有限公司 基于ct图像的肋骨分割方法、装置、介质及电子设备
CN110895812A (zh) * 2019-11-28 2020-03-20 北京推想科技有限公司 Ct图像的检测方法、装置、存储介质及电子设备
CN111062390A (zh) * 2019-12-18 2020-04-24 北京推想科技有限公司 感兴趣区域标注方法、装置、设备和存储介质
KR102179090B1 (ko) * 2020-01-30 2020-11-16 주식회사 투비코 신경망을 이용한 의료 진단 방법
CN113450306B (zh) * 2020-03-09 2024-04-30 长庚医疗财团法人林口长庚纪念医院 提供骨折检测工具的方法
CN111462071B (zh) * 2020-03-30 2023-08-04 浙江核睿医疗科技有限公司 一种图像处理方法和系统
CN111513743B (zh) * 2020-04-10 2023-08-11 青岛海信医疗设备股份有限公司 一种骨折检测方法及装置
JP2021175454A (ja) * 2020-05-01 2021-11-04 富士フイルム株式会社 医用画像処理装置、方法およびプログラム
CN111860106B (zh) * 2020-05-28 2023-12-08 江苏东印智慧工程技术研究院有限公司 一种无监督的桥梁裂缝识别方法
CN112085730A (zh) * 2020-09-18 2020-12-15 上海联影医疗科技股份有限公司 感兴趣区域成分分析方法、装置、电子设备和介质
CN111967540B (zh) * 2020-09-29 2021-06-08 北京大学口腔医学院 基于ct数据库的颌面部骨折的识别方法、装置及终端设备
KR102510221B1 (ko) * 2020-12-24 2023-03-15 연세대학교 산학협력단 골절 위험 예측 방법 및 장치
CN112819811A (zh) * 2021-02-24 2021-05-18 上海商汤智能科技有限公司 图像分析方法及相关装置、电子设备、存储介质
CN112785591B (zh) * 2021-03-05 2023-06-13 杭州健培科技有限公司 一种ct影像中肋骨骨折的检测与分割方法及装置
WO2022269373A1 (en) * 2021-06-23 2022-12-29 L&T Technology Services Limited Method and system for data balancing and hair-line fracture detection
CN113344927A (zh) * 2021-08-05 2021-09-03 武汉楚精灵医疗科技有限公司 基于深度学习的图像识别方法、装置、服务器及存储介质
CN113674261B (zh) * 2021-08-26 2023-05-09 上海脊影慧智能科技有限公司 骨骼检测方法、系统、电子设备和存储介质
US20230084352A1 (en) * 2021-09-10 2023-03-16 Cerner Innovation, Inc. Linking graph
CN114332132A (zh) * 2021-12-31 2022-04-12 联影智能医疗科技(成都)有限公司 图像分割方法、装置和计算机设备
CN116385756B (zh) * 2022-12-19 2023-10-17 中国医学科学院北京协和医院 基于增强标注和深度学习的医学图像识别方法及相关装置
CN116363056B (zh) * 2023-01-16 2023-09-05 北京医准智能科技有限公司 胸部ct骨折检测优化的方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1504931A (zh) * 2002-11-26 2004-06-16 GEҽҩϵͳ����Ƽ���˾ 图像组的计算机辅助诊断
CN104799924A (zh) * 2015-04-28 2015-07-29 黄若景 一种3d打印骨科固定器械的制备方法
CN107599412A (zh) * 2017-09-14 2018-01-19 深圳市艾科赛龙科技股份有限公司 一种基于组织结构的三维建模方法、系统及三维模型

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5364290B2 (ja) * 2008-04-17 2013-12-11 富士フイルム株式会社 画像表示装置並びに画像表示制御方法およびプログラム
US8538117B2 (en) * 2009-04-07 2013-09-17 Virginia Commonwealth University Accurate pelvic fracture detection for X-ray and CT images
US9480439B2 (en) * 2012-11-01 2016-11-01 Virginia Commonwealth University Segmentation and fracture detection in CT images
US20180060512A1 (en) * 2016-08-29 2018-03-01 Jeffrey Sorenson System and method for medical imaging informatics peer review system
US20190021677A1 (en) * 2017-07-18 2019-01-24 Siemens Healthcare Gmbh Methods and systems for classification and assessment using machine learning
US11721428B2 (en) * 2020-07-06 2023-08-08 Exini Diagnostics Ab Systems and methods for artificial intelligence-based image analysis for detection and characterization of lesions
US11615890B2 (en) * 2021-03-09 2023-03-28 RAD AI, Inc. Method and system for the computer-assisted implementation of radiology recommendations

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1504931A (zh) * 2002-11-26 2004-06-16 GEҽҩϵͳ����Ƽ���˾ 图像组的计算机辅助诊断
CN104799924A (zh) * 2015-04-28 2015-07-29 黄若景 一种3d打印骨科固定器械的制备方法
CN107599412A (zh) * 2017-09-14 2018-01-19 深圳市艾科赛龙科技股份有限公司 一种基于组织结构的三维建模方法、系统及三维模型

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
cine cardiac MRI slice misalignment correction towards full 3D left ventricle segmentation;Shusil Dangi等;《PROGRESS IN BIOMEDICAL OPTICS AND IMAGING,SPIE-INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING》;20180312;第10576卷;第2节 *

Also Published As

Publication number Publication date
US20220301719A1 (en) 2022-09-22
US11935654B2 (en) 2024-03-19
EP3553743A2 (en) 2019-10-16
US20190318828A1 (en) 2019-10-17
EP3553743A3 (en) 2019-12-11
US20210183517A1 (en) 2021-06-17
US11437144B2 (en) 2022-09-06
CN108520519A (zh) 2018-09-11
US10943699B2 (en) 2021-03-09

Similar Documents

Publication Publication Date Title
CN108520519B (zh) 一种图像处理方法、装置及计算机可读存储介质
CN110956635B (zh) 一种肺段分割方法、装置、设备及存储介质
CN110338844B (zh) 三维成像数据的显示处理方法和三维超声成像方法及系统
US9129362B2 (en) Semantic navigation and lesion mapping from digital breast tomosynthesis
CN111080573B (zh) 肋骨图像检测方法、计算机设备和存储介质
JP5399225B2 (ja) 画像処理装置および方法並びにプログラム
US9675317B2 (en) Interface identification apparatus and method
US8285013B2 (en) Method and apparatus for detecting abnormal patterns within diagnosis target image utilizing the past positions of abnormal patterns
EP3664034B1 (en) Method and data processing system for providing lymph node information
KR20140055152A (ko) 병변 진단 보조 장치 및 방법
EP2216751A2 (en) Preventing thoracic bones from being displayed in 3D images
CN111374712B (zh) 一种超声成像方法及超声成像设备
CN111161848B (zh) Ct图像的病灶标注方法及装置、存储介质
EP3242602B1 (en) Ultrasound imaging apparatus and method for segmenting anatomical objects
US20210271914A1 (en) Image processing apparatus, image processing method, and program
US10878564B2 (en) Systems and methods for processing 3D anatomical volumes based on localization of 2D slices thereof
CN110580948A (zh) 医学影像的显示方法及显示设备
CN112001889A (zh) 医学影像处理方法、装置及医学影像显示方法
CN115713590A (zh) 一种基于ct的三维重建图像处理方法及系统
CN113538471A (zh) 斑块的分割方法、装置、计算机设备和存储介质
CN110634554A (zh) 脊椎影像注册方法
CN114155193A (zh) 一种基于特征强化的血管分割方法及装置
Jeon et al. Maximum a posteriori estimation method for aorta localization and coronary seed identification
CN104146766A (zh) 扫描装置、扫描方法和医学图像设备
WO2014106747A1 (en) Methods and apparatus for image processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 201807 Shanghai city Jiading District Industrial Zone Jiading Road No. 2258

Applicant after: Shanghai Lianying Medical Technology Co.,Ltd.

Address before: 201807 Shanghai city Jiading District Industrial Zone Jiading Road No. 2258

Applicant before: SHANGHAI UNITED IMAGING HEALTHCARE Co.,Ltd.

GR01 Patent grant
GR01 Patent grant