CN110544245A - 图像处理方法、装置、计算机可读存储介质及电子设备 - Google Patents

图像处理方法、装置、计算机可读存储介质及电子设备 Download PDF

Info

Publication number
CN110544245A
CN110544245A CN201910817083.6A CN201910817083A CN110544245A CN 110544245 A CN110544245 A CN 110544245A CN 201910817083 A CN201910817083 A CN 201910817083A CN 110544245 A CN110544245 A CN 110544245A
Authority
CN
China
Prior art keywords
image
bone
cross
sectional
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910817083.6A
Other languages
English (en)
Other versions
CN110544245B (zh
Inventor
亢寒
于朋鑫
张荣国
陈宽
王少康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Beijing Infervision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Infervision Technology Co Ltd filed Critical Beijing Infervision Technology Co Ltd
Priority to CN201910817083.6A priority Critical patent/CN110544245B/zh
Publication of CN110544245A publication Critical patent/CN110544245A/zh
Application granted granted Critical
Publication of CN110544245B publication Critical patent/CN110544245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Abstract

公开了一种图像处理方法、装置、计算机可读存储介质和电子设备，涉及图像处理技术领域。该方法包括：根据包括骨骼的横断位CT图像序列，得到骨骼的矢状位图像；通过神经网络模型对所述矢状位图像进行图像分割，得到分割结果图像。本方案解决了相关技术中需要人工对骨骼进行分割的问题。通过横断位CT图像序列得到的矢状位图像包括骨骼的三维信息；通过神经网络模型对矢状位图像进行图像分割，可以得到包括骨骼的三维信息的分割结果图像，提高了对骨骼的各部分进行分割的准确率和效率，减少了人工成本。

Description

图像处理方法、装置、计算机可读存储介质及电子设备
技术领域
本发明涉及图像处理技术领域，具体涉及一种图像处理方法、装置、计算机可读存储介质及电子设备，以及一种神经网络训练方法和装置。
背景技术
骨质疏松是一种老年人常见病。国际骨质疏松基金会调查显示，全世界 50岁以上人群中，女性骨质疏松症患病率约为1/3，男性约为1/5，且明显呈现年轻化趋势。在中国，骨质疏松发生率为7％。国内有近1.5亿60岁以上的老人，占总人口的11％，骨质疏松发生率为60％，并发骨折者高达12％。约6900万50岁以上人群患有骨质疏松症。女性一生发生骨质疏松性骨折的危险性高于乳腺癌、子宫内膜癌和卵巢癌的总和；男性一生发生骨质疏松性骨折的危险性高于前列腺癌。
测量脊柱椎体内骨松质的骨密度可更早地反映骨量丢失的情况。现今骨密度测量方法有很多种。双能X线吸收法(Dual-energy X-ray Absorptiometry, DXA)作为评估骨密度的标准，但它只能获取椎体的二维信息，忽略了椎体在矢状位方向上的信息。定量CT(Quantitative Computed Tomography,QCT) 提供了一种真正意义上的三维骨密度测量方法，且随着CT机的普及，QCT 技术只需少量花费便可以得到。QCT是利用CT设备来测定人体骨密度的一种方法，通过CT值对密度的分辨率更高，经过大量的数据统计形成标准体，通过与标准体比较来判定骨密度的高低。通过QCT选取脊柱椎体中的感兴趣区域(Region ofInterest,ROI)分析骨密度值，其测量结果具有较高的敏感性和准确性。但是在使用QCT技术进行骨密度测量时，需要人为对椎体进行定位，从而获得椎体中的感兴趣区域，从而给QCT技术的实际应用带来不便。
除了通过脊柱进行骨密度分析外，动物或人体其他部位的骨骼还可以用于进行其他病理分析。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种图像处理方法、装置、计算机可读存储介质及电子设备，以及一种神经网络训练方法和装置。
根据本申请的第一方面，提供了一种图像处理方法，包括：
根据包括骨骼的横断位CT图像序列，得到骨骼的矢状位图像；
通过神经网络模型对所述矢状位图像进行图像分割，得到分割结果图像。
根据本申请的第二方面，提供了一种神经网络训练方法，其特征在于，包括：
根据包括骨骼的横断位CT图像序列，得到样本图像，所述样本图像是包括骨骼的矢状位图像；
获取所述样本图像中骨骼的标注数据；
根据所述样本图像和所述标注数据，对神经网络进行训练，得到神经网络模型。
根据本申请的第三方面，提供了一种图像处理装置，包括：
获取模块，用于根据包括骨骼的横断位CT图像序列，得到骨骼的矢状位图像；
分割模块，用于通过神经网络模型对所述矢状位图像进行图像分割，得到分割结果图像。
根据本申请的第四方面，提供了一种神经网络训练装置，其特征在于，包括：
第一获取模块，用于根据包括骨骼的横断位CT图像序列，得到样本图像，所述样本图像是包括骨骼的矢状位图像；
第二获取模块，用于获取所述样本图像中骨骼的标注数据；
训练模块，用于根据所述样本图像和所述标注数据，对神经网络进行训练，得到神经网络模型。
根据本申请的第五方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述的图像处理方法。
根据本申请的第六方面，提供了一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述图像处理方法。
本申请实施例提供的技术方案的有益效果至少包括：
通过横断位CT图像序列得到的矢状位图像包括骨骼的三维信息；通过神经网络模型对矢状位图像进行图像分割，可以得到包括骨骼的三维信息的分割结果图像，提高了对骨骼的各部分进行分割的准确率和效率，减少了人工成本。
通过横断位CT图像序列得到包括脊柱三维信息的样本图像，并获得对该样本图像的标注数据，可以减少数据标注的工作量，并提高神经网络训练的效率和训练得到的神经网络模型的准确率。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本申请实施例所提供的一种实施环境的示意图。
图2是本申请一示例性实施例提供的图像处理方法的流程示意图。
图3是本申请另一示例性实施例提供的图像处理方法的流程示意图。
图4是本申请另一示例性实施例提供的图像处理方法的流程示意图。
图5A是本申请一示例性实施例提供的包括脊柱的横断位CT图像的示意图。
图5B-图5H是本申请一示例性实施例提供的对图5A中横断位CT图像进行图像处理过程的示意图。
图6A是根据本申请一示例性实施例提供的脊柱矢状位图像的示意图。
图6B和图6C是根据本申请一示例性实施例提供的分割结果图像的示意图。
图6D和图6E分别是根据本申请一示例性实施例提供的股骨的横断位CT 图像和矢状位图像的示意图。
图7是本申请一示例性实施例提供的确定横断位CT图像序列中骨骼上的目标位置的流程示意图。
图8是本申请另一示例性实施例提供的确定横断位CT图像序列中骨骼上的目标位置的流程示意图。
图9是本申请另一示例性实施例提供的确定横断位CT图像序列中骨骼上的目标位置的流程示意图。
图10本申请一示例性实施例提供的神经网络训练方法的流程示意图。
图11是本申请一示例性实施例提供的图像处理装置的框图。
图12本申请一示例性实施例提供的神经网络训练装置的框图。
图13是本申请一示例性实施例提供的电子设备的结构图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
脊柱形成人体中一个重要的支撑结构，包括7个颈椎(C1-C7),12个胸椎(T1-T12)和5个腰椎(L1-L5)。脊柱椎骨分割在脊柱外科手术中具有重要的意义。在脊柱外科手术之前，医生需要根据病人的脊柱椎骨相关信息确定治疗方案，由于通过三维脊柱椎骨的图像进行图像处理比较直观方便，更易于为医生所采用，因此需要建立病人脊柱的三维模型。
脊柱椎骨的分割是一项挑战,主要是由于形状变化和邻近结构相似的强度。传统的分割方法存在工作量大、耗时长等问题。目前，大部分的医学图像分割都由医生来进行。然而，医生人工从医学图像中能读取的信息是有限的，且因为其主观性、不同解读者的较大变化和产生的疲劳，往往是片面的。近年来，随着计算机视觉和深度学习的快速发展，利用深度学习进行图像识别和分割，能帮助医生提高诊断准确率和效率。因此，提出一种基于深度学习的图像分割技术，以减少分割耗时、提高分割精度在临床医学应用上非常有必要。
CT成像是通过X射线对人体特定部位进行扫描后，利用不同密度的人体组织对X射线有着不同的吸收率，进而得到人体组织的具有不同成像特点的CT图像，因而适用于对人体密度信息较敏感的骨密度测量，具有较快的成像速度和较高的图像分辨率。
骨样骨瘤是一种病因不明的成骨性良性肿瘤，多见于儿童和青少年，男女发生比率为2:1。发病部位以下肢长管状骨多见，例如胫骨、股骨等。
骨样骨瘤的影像学表现多具特征性，瘤巢的确定是诊断骨样骨瘤的关键。 CT扫描能更好地显示骨样骨瘤瘤巢，比X线平片和MRI(Magnetic Resonance Imaging，磁共振成像)更能准确显示瘤巢。能够确诊平片所不能诊断的可疑病例，尤其适用于关节囊内、脊柱等解剖结构复杂的部位。
当然，通过骨骼的CT图像除了可以分析骨密度、确定骨瘤位置外，还可以用于其他病理分析，例如用于分析骨骼的形状变化、结构变化等情况。
图1是本申请的实施例所提供的一种实施环境的示意图。该实施环境中可以包括CT扫描仪110和计算机设备120。
CT扫描仪110用于对人体组织进行X线扫描，得到人体组织的横断位的CT图像序列，该CT图像序列包括按时间顺序/扫描位置顺序排序的多张包括人体组织的CT图像。在一实施例中，通过CT扫描仪110对骨骼进行扫描，可以得到包括骨骼的横断位CT图像序列。该骨骼例如可以为动物或者人体的脊柱、胫骨、股骨、肋骨和髌骨或者其他骨组织，本申请实施例对此不作限定。
计算机设备120可以是通用型计算机或者由专用的集成电路组成的计算机装置等，本申请实施例对此不做限定。本领域技术人员可以知晓，上述计算机设备120的数量可以为一个或大于一个，多个计算机设备120的类型可以相同或者不同。本申请实施例对终端的数量和设备类型不加以限定。计算机设备120 中部署有神经网络模型，用于对待处理图像进行图像分割等处理。计算机设备 120可以将其从CT扫描仪110获取到的包括骨骼的横断位CT图像序列进行图像处理和图像重建，得到包括骨骼三维信息的矢状位图像。计算机设备120 还可以通过其中部署的神经网络模型对该矢状位图像进行图像分割，得到骨骼各区间段的分割结果，以减少医生人工对骨骼进行分割导致的效率较低且分割结果缺乏三维信息的缺陷。
另外，计算机设备120还可以与服务器(图中未示出)之间通过通信网络相连。计算机设备120可以将其从CT扫描仪110获取到的包括骨骼的横断位CT图像序列等发送给服务器，利用服务器获得骨骼的矢状位图像，并且将该骨骼的矢状位图像存储为样本图像，以对神经网络进行训练，得到神经网络模型。计算机设备120还可以从服务器中获取横断位CT图像序列或骨骼的矢状位图像，进而通过神经网络模型对横断位CT图像序列或骨骼的矢状位图像进行处理，以得到分割结果图像，本申请实施例对此不做限定。
图2是本申请一示例性实施例提供的图像处理方法的流程示意图。该图像处理方法可以应用于如图1所提供的实施环境中，由上述图1中所示的计算机设备120执行，但本申请实施例不以此为限。下文将以通过计算机设备执行该方法为例，描述了本申请的示例性实施例。
如图2所示，该方法可以包括如下步骤210和步骤220。
步骤210，根据包括骨骼的横断位CT图像序列，得到骨骼的矢状位图像。
在一实施例中，可以通过上述图1中所示的CT扫描仪110对骨骼部位进行扫描，得到该包括骨骼的横断位CT图像序列。该横断位CT图像序列包括按时间顺序/扫描位置顺序排序的多张包括骨骼的横断位CT图像。该骨骼例如可以为动物或者人体的胫骨、股骨、脊柱或者其他骨组织，本申请实施例对此不作限定。
以脊柱为例，如图5A所示，图5A是本申请一示例性实施例提供的包括脊柱的横断位CT图像的示意图。图5A为灰阶图，不同密度的人体组织在图像上的像素值不同，例如对于密度较小的人体软组织，其像素值约为0，在图像上显示为黑色，对于密度较高的脊柱椎骨，其像素值大于0，显示为白色或灰白色。
示例地，可以从扫描得到的包括骨骼的原始横断位CT图像序列中选择部分横断位CT图像序列，得到该包括骨骼的横断位CT图像序列。以脊柱为例，可以从包括脊柱的横断位CT图像中选择部分连续的椎骨的横断位CT图像，例如从胸椎T11-T12到腰椎L1-L4、腰椎L1-L4或者人体其他部分的骨骼所对应的横断位CT图像，作为该包括脊柱的横断位CT图像序列，本申请实施例对此不作限定。
在一实施例中，可以通过对包括骨骼的横断位CT图像序列进行图像重建，得到包括骨骼三维信息的矢状位图像。如图6A所示，图6A是根据本申请一示例性实施例提供的脊柱矢状位图像的示意图，包括骨骼的多个椎骨。如图6E 所示，图6E是根据本申请一示例性实施例提供的股股矢状位图像的示意图。
本申请实施例不对图像重建算法作限定，例如该图像重建算法可以为多平面重建(Multi-planner Reformation，MPR)算法，将包括骨骼的横断位CT图像序列叠加后，通过MPR并根据对骨骼进行位置标定的标定线，构建出骨骼的三维矢状位图像。或者，例如还可以通过最大密度投影重建(Maximum Intensity Projection，MIP)、容积漫游技术(VolumeRendering Technique，VRT)等图像重建算法对上述包括骨骼的横断位CT图像序列进行处理，得到该包括骨骼三维信息的矢状位图像。
步骤220，通过神经网络模型对所述矢状位图像进行图像分割，得到分割结果图像。
在一实施例中，可以将通过如步骤210中的方法得到矢状位图像获取为样本图像，通过专家对该样本图像中的骨骼的各部分，例如脊柱的各椎骨、各椎骨的锥体等部位，进行标注，并利用样本图像及其标注数据对神经网络进行训练，得到神经网络模型。通过训练得到的神经网络模型对矢状位图像进行图像分割，得到分割结果图像。示例地，当样本图像中包括对脊柱椎骨的锥体进行标注数据，通过该样本图像及标注数据训练得到神经网络模型进行图像分割，即可得到可对脊柱椎骨的锥体进行分割的分割结果图像，该分割结果图像包括锥体的分割结果。例如如图6B和图6C为根据本申请一示例性实施例提供的分割结果图像的示意图，图6B和图6C所示的分割结果图像包括锥体的分割结果。但本申请实施例不以此为限，该神经网络模型还可以通过其他方式得到，例如为现有的神经网络分割模型。
在一实施例中，计算机设备中预先部署有神经网络模型。可选地，该神经网络模型可以为卷积神经网络(Convolutional Neural Network，CNN)、全卷积神经网络(FullyConvolutional Networks，FCN)等，本申请实施例对神经网络模型的类型不作限定。可选地，该神经网络模型的网络结构可以根据具体的图像分割任务设计，或者，神经网络模型的网络结构可以采用现有的网络结构的至少一部分，例如可以为U-Net、DeepLab和稠密连接卷积网络(Densely Connected Convolutional Networks，DenseNet)等，本申请实施例对该神经网络模型的网络结构不作限定。
本申请实施例的图像处理方法，通过横断位CT图像序列得到的矢状位图像包括骨骼的三维信息；通过神经网络模型对矢状位图像进行图像分割，可以得到包括骨骼的三维信息的分割结果图像，提高了对骨骼的各部分进行分割的准确率和效率，减少了人工成本。
图3是本申请另一示例性实施例提供的图像处理方法的流程示意图。该图像处理方法可以应用于如图1所提供的实施环境中，由上述图1中所示的计算机设备120执行，但本申请实施例不以此为限。下文将以通过计算机设备执行该方法为例，描述了本申请的示例性实施例。
如图3所示，该方法可以包括如下步骤310、步骤320、步骤330、步骤 340和步骤350。
步骤310，根据包括骨骼的横断位CT图像序列，确定所述横断位CT图像序列中骨骼上的目标位置。
在一实施例中，根据包括骨骼的横断位CT图像序列，确定横断位CT 图像序列中骨骼上的目标位置，通过每张横断位CT图像上的目标位置确定骨骼在矢状位方向上的标定线。进而根据该标定线，对包括骨骼的横断位CT 图像序列进行叠加，并通过上文所述的图像重建算法，构建出骨骼的矢状位图像。该矢状位图像为三维图像，比横断位CT图像包含更多的信息，有利于后续通过QCT方法进行骨密度测量，提高骨密度测量的准确率和效率。在另一实施例中，该矢状位图像还可以用于椎间盘突出或其他脊柱医学诊断，本申请实施例对此不做限定。
需要说明的是，本申请实施例的根据包括骨骼的横断位CT图像序列，确定所述横断位CT图像序列中骨骼上的目标位置有多种实施方式，以下将举例说明。
图7是本申请一示例性实施例提供的确定横断位CT图像序列中骨骼上的目标位置的流程示意图。下面将以该骨骼为脊柱为例，对本实施例进行具体说明。
如图7所示，步骤310进一步包括步骤3101、步骤3102、步骤3103和步骤3104中的一个或多个。
步骤3101，对包括骨骼的横断位CT图像序列进行预处理。
在一实施例中，对包括骨骼的横断位CT图像序列进行预处理包括对包括脊柱的横断位CT图像序列进行二值化处理和对包括脊柱的横断位CT图像序列进行去噪处理。可选地，对包括脊柱的横断位CT图像序列进行预处理还可以包括对包括脊柱的横断位CT图像序列进行二值化处理，或者对包括脊柱的横断位CT图像序列进行去噪处理。但本申请实施例不以此为限，还可以通过其他算法对上述横断位CT图像序列进行预处理。
二值化处理即将横断位CT图像由灰阶图转变为二值图，例如为将灰阶图中像素值小于预设值的像素设置为0，将灰阶图中像素值大于或等于预设值的像素设置为1。在一实施例中，横断位CT图像中像素值较大的肋骨和脊柱椎骨部分的像素值经二值化处理被设置为1，显示为白色；人体软组织(例如，非骨骼部分)的像素值经二值化处理被设置为0，显示为黑色。如图5B 所示为对图5A中的横断位CT图像进行二值化处理后的图像。
去噪处理即去除横断位CT图像序列中噪声，以对经过二值化处理的横断位CT图像进行去噪处理为例，去噪处理可以包括对经过二值化处理的横断位CT图像进行闭合运算、腐蚀运算中的至少一个。如图5C、图5D所示分别为对图5B中经过二值化处理的横断位CT图像进行闭合运算、腐蚀运算后的图像。可以看出，经过预处理的人体骨骼部分(包括脊柱椎骨和肋骨)更加清晰，有利于后续确定骨骼上的目标位置。
步骤3102，对经过预处理的横断位CT图像序列中的像素值进行取反处理。
对于经过二值化处理的横断位CT图像，像素值取反处理即为将经过二值化处理的横断位CT图像中像素值为0的像素的像素值更新为1，像素值为 1的像素的像素值更新为0。对于灰阶图像，像素值取反处理即为将灰阶图像的灰阶数-像素值得到更新后的像素值。类似地，对于RGB图像，像素值取反处理即为更新后的像素值＝255-像素值。如图5E所示，为对图5C、图5D 中经过预处理后的横断位CT图像序列中的像素值进行取反处理后，所得到的经过取反处理的横断位CT图像。可以看出，横断位CT图像中像素值较大的肋骨和脊柱椎骨部分的像素值变为1，显示为黑色；人体软组织(例如，非骨骼部分)的像素值变为0，显示为白色。
步骤3103，确定经过取反处理的横断位CT图像序列中的至少一个第一连通区域。
经过取反处理的横断位CT图像序列中的至少一个第一连通区域对应于像素值为1的连通区域。如图5F所示，为根据图5E的经过取反处理的横断位CT图像中获取的连通区域。
步骤3104，从至少一个第一连通区域中确定面积满足第一预设条件的目标连通区域，并根据该目标连通区域，确定该横断位CT图像序列中骨骼上的目标位置。
在一实施例中，从上述至少一个第一连通区域中确定目标连通区域，该目标连通区域的面积在第一预设条件所对应的范围内。示例地，该目标连通区域的面积小于特定值，或者为上述至少一个第一连通区域中面积最小的连通区域。示例地，对于胸椎和腰椎来说，该目标连通区域的数量为一个，对应于胸椎或腰椎的椎孔。示例地，对于颈椎来说，以该目标连通区域为上述至少一个第一连通区域中面积最小的连通区域为例，该目标连通区域的数量为两个，对应于颈椎的横突孔，此时，可以将该两个目标连通区域的坐标均值，确定为该横断位CT图像序列中骨骼上的目标位置。
根据本申请一实施例，步骤3104的根据该目标连通区域，确定横断位 CT图像序列中骨骼上的目标位置可以进一步包括S10、S20和S30(图中未示出)。
S10，叠加横断位CT图像序列中各横断位CT图像的目标连通区域，得到叠加区域。
在一实施例中，可以分别得到所述横断位CT图像序列中各横断位CT图像的所述目标连通区域，根据叠加算法，对各横断位CT图像的所述目标连通区域进行叠加，得到叠加区域。示例地，叠加算法可以为现有的叠加算法，本申请实施例对此不进行限定。如图5G所示，图5G为本申请一实施例的各横断位CT图像的所述目标连通区域经过叠加后，所形成的叠加区域。
S20，从该叠加区域中确定面积满足第二预设条件的第二连通区域。
根据步骤S10得到的叠加区域包括至少一个连通区域。在一实施例中，可以从该叠加区域选取面积满足第二预设条件的第二连通区域。示例地，该第二连通区域可以为该叠加区域中面积最大的连通区域，但本申请实施例不以此为限，例如该第二连通区域还可以为该叠加区域中面积为预设范围内的连通区域。如图5H所示，图5H为本申请一实施例的第二连通区域。
S30，根据该第二连通区域，确定横断位CT图像序列中骨骼上的目标位置。
在一实施例中，可以将该第二连通区域的中点，即该第二连通区域的坐标均值位置确定为该目标位置，但本申请实施例不以此为限，还可以将第二连通区域中的其他位置确定为该目标位置。
图8是本申请另一示例性实施例提供的确定横断位CT图像序列中骨骼上的目标位置的流程示意图。下面将以该骨骼为脊柱、股骨或胫骨为例，对本实施例进行具体说明。如图8所示，步骤310包括步骤3110、步骤3111、步骤3112和步骤3113中的一个或多个。
步骤3110，对包括骨骼的横断位CT图像序列进行预处理。
该步骤3110与上文的步骤3101类似，在此不再赘述。
步骤3111，根据经过预处理的横断位CT图像序列的像素值，确定所述经过预处理的横断位CT图像序列的第一非背景区域，该第一非背景区域的像素值大于第一预设值。
该第一非背景区域为横断位CT图像序列中密度较大的区域，例如对应脊柱中椎骨和肋骨，该第一预设值根据具体情况可以设定相应的取值，例如为0～255、200等，本申请实施例对此不作限定。
在一实施例中，经过二值化处理后的横断位CT图像中，组织密度较大的肋骨和脊柱椎骨部分的像素值为1，显示为白色；组织密度较小的人体软组织(例如，非骨骼部分)的像素值为0，显示为黑色。此时，背景区域的像素值为0；第一非背景区域的像素值为1，大于0，对应于人体肋骨和脊柱脊椎。通过本步骤可以定位出CT图像序列中的第一非背景区域，也即，人体肋骨和脊柱脊椎，如图5B、图5C和图5D所示，图5B、图5C和图5D中显示为白色的部分即为该第一非背景区域。
步骤3112，确定该第一非背景区域的左边界的坐标和该第一非背景区域的右边界坐标。
第一非背景区域的左边界和所述第一非背景区域的右边界分别对应第一非背景区域的肋骨左边界和右边界，如图5B、图5C和图5D所示，图5B、图5C和图5D中显示为白色的部分的左边界和右边界即为第一非背景区域的左边界和所述第一非背景区域的右边界。
步骤3113，计算该左边界的坐标和该右边界的坐标的均值，根据该左边界的坐标和该右边界的坐标的均值，确定横断位CT图像序列中骨骼上的目标位置。
在一实施例中，可以将该左边界的坐标和该右边界的坐标的均值确定为横断位CT图像序列中骨骼上的目标位置。示例地，还可以根据该左边界所在列的坐标和该右边界所在列的坐标，计算该左边界所在列的坐标和该右边界所在列的均值坐标，将该均值坐标的中点确定为该目标位置，本申请实施例对此不作限定。
在一实施例中，可以根据横断位CT图像序列中每张横断位CT图像的骨骼上的目标位置，计算骨骼在矢状位图像上的标定线，进而根据该标定线，对包括骨骼的横断位CT图像序列进行叠加，并通过上文所述的图像重建算法，构建出骨骼的矢状位图像。示例地，可以将每张横断位CT图像的骨骼上的目标位置，确定为在骨骼的矢状位图像上的标定位置，将每张横断位CT 图像的标定位置相连即可得到骨骼在矢状位图像上的标定线。在另一实施例中，还可以将各横断位CT图像的骨骼上的目标位置的均值，确定为在骨骼的矢状位图像上的标定位置，将各横断位CT图像的标定位置相连即可得到骨骼在矢状位图像上的标定线。
图9是本申请另一示例性实施例提供的确定横断位CT图像序列中骨骼上的目标位置的流程示意图。下面将以该骨骼为脊柱、股骨或胫骨为例，对本实施例进行具体说明。
如图9所示，步骤310可以包括步骤3120、步骤3121、步骤3122中的一个或多个。
步骤3120，对包括骨骼的横断位CT图像序列进行预处理。
该步骤3120与上文的步骤3101类似，在此不再赘述。
步骤3121，根据经过预处理的横断位CT图像序列的像素值，确定经过预处理的所述横断位CT图像序列的第二非背景区域，该第二非背景区域的像素值大于第二预设值。
该步骤3121与上文的步骤3111类似，在此不再赘述。
步骤3122，计算该第二非背景区域的坐标的均值，根据该第二非背景区域的坐标的均值，确定横断位CT图像序列中骨骼上的目标位置。
在一实施例中，可以对第二非背景区域进一步进行去噪处理，去除第二非背景区域中可能包括的CT扫描机床等噪声，以使得得到的该第二非背景区域仅包括骨骼部分，例如肋骨和脊柱椎骨、股骨。由于肋骨一般对称分布于脊柱椎骨两侧，而椎骨、股骨分别为对称分布、管状，形状较为均匀，将该第二非背景区域的坐标的均值一般为椎骨、股骨中心位置，可以将该第二非背景区域的坐标的均值确定为横断位CT图像序列中骨骼的目标位置。
在一实施例中，可以根据横断位CT图像序列中每张横断位CT图像的骨骼上的目标位置，计算骨骼在矢状位图像上的标定线，进而根据该标定线，对包括骨骼的横断位CT图像序列进行叠加，并通过上文所述的图像重建算法，构建出骨骼的矢状位图像。示例地，可以将每张横断位CT图像的骨骼上的目标位置，确定为在骨骼的矢状位图像上的标定位置，将每张横断位CT 图像的标定位置相连即可得到骨骼在矢状位图像上的标定线。在另一实施例中，还可以将各横断位CT图像的骨骼上的目标位置的均值，确定为在骨骼的矢状位图像上的标定位置，将各横断位CT图像的标定位置相连即可得到骨骼在矢状位图像上的标定线。
步骤320，根据该横断位CT图像序列和骨骼上的该目标位置，进行图像重建，得到骨骼的矢状位图像。
确定横断位CT图像序列中每张横断位CT图像的骨骼上的目标位置后，通过该目标位置可以确定骨骼在矢状位方向上的标定线。进而根据该标定线，对包括骨骼的横断位CT图像序列进行叠加，并通过上文所述的图像重建算法，构建出骨骼的矢状位图像。如图6A和5E所示，分别是根据本申请一示例性实施例提供的脊柱和股骨矢状位图像的示意图。
步骤330，通过神经网络模型对该矢状位图像进行图像分割，得到分割结果图像。
在一实施例中，可以通过经过训练的神经网络模型对该矢状位图像进行图像分割，得到分割结果图像。示例地，该分割结果图像可以包括脊柱各椎骨的分割结果，或者还可以对脊柱各椎骨进行进一步的分割，例如，将脊柱各椎骨分割为椎体、椎弓，或者还可以分割出各椎骨之间的椎间孔部分，本申请实施例对此不作限定。
步骤340，确定该分割结果图像中的目标区间段，该多个区间段包括该目标区间段。
示例地，该骨骼可以为脊柱、胫骨、股骨、肋骨和髌骨等，本申请实施例对此不作限定。可以通过将骨骼在矢状位方向上均匀分为该多个区间段，或者可以根据骨骼的结构，将骨骼分为多个结构单元，本申请实施例对此不作限定。例如，当该骨骼为脊柱时，可以将骨骼分割为多个椎体。
在一实施例中，当该骨骼为脊柱时，确定该分割结果图像中的目标椎体，该分割结果图像包括将脊柱分割为多个椎体的分割结果，其中，该多个椎体包括该目标椎体。根据分割结果图像确定目标椎体，该目标椎体可以用于计算骨密度。如图6B和图6C所示，是根据本申请一示例性实施例提供的分割结果图像的示意图。
步骤350，根据该目标区间段中的目标区域，对该骨骼进行病理分析。
示例地，可以根据股骨、胫骨、脊柱的目标区段中的的目标区域，对该骨骼进行骨密度分析等。
在一实施例中，当该骨骼为脊柱时，还可以根据该目标椎体中的目标区域，确定该目标椎体的骨密度。根据骨密度值，以确定被检测对象的骨骼是否存在骨质疏松等骨骼病变情况。或者还可以根据该目标椎体中的目标区域，确定该目标椎体的形状、结构等是否发生病理性变化，例如，骨质增生、颈椎生理曲度变直等病理性变化。
示例地，可以以目标椎体在矢状位方向上的中点为中心，确定该目标区域，或者从目标椎体随机选取至少一个三维区域作为该目标区域。示例地，该目标区域为球形区域、立方体区域、多边形区域等，本申请实施例对此不作限定。
在一实施例中，当该骨骼为股骨、胫骨时，还可以根据目标区间段中的目标区域，确定骨骼中的瘤巢。示例地，该目标区域可以为瘤巢所在的区域。
骨样骨瘤是一种病因不明的成骨性良性肿瘤，多见于儿童和青少年，男女发生比率为2:1。发病部位以下肢长管状骨多见，例如胫骨、股骨中。
骨样骨瘤的影像学表现多具特征性，瘤巢的确定是诊断骨样骨瘤的关键。 CT扫描能很好地显示瘤巢，比X线平片和MRI(Magnetic Resonance Imaging，磁共振成像)更能准确显示瘤巢。能够确诊平片所不能诊断的可疑病例，尤其适用于关节囊内、脊柱等解剖结构复杂的部位。
根据本申请实施例提供的图像处理方法，通过横断位CT图像序列得到的矢状位图像包括骨骼的三维信息；通过神经网络模型对矢状位图像进行图像分割，可以得到包括骨骼的三维信息的分割结果图像，提高了对骨骼的各部分进行分割的准确率和效率，减少了人工成本。
图4是本申请另一示例性实施例提供的图像处理方法的流程示意图。该图像处理方法可以应用于如图1所提供的实施环境中，由上述图1中所示的计算机设备120执行，但本申请实施例不以此为限。下文将以通过计算机设备执行该方法为例，描述了本申请的示例性实施例。
如图4所示，该方法可以包括步骤310、步骤320、步骤330、步骤340、步骤360和步骤370。
其中，步骤310、步骤320、步骤330、步骤340与图3所对应的实施例中的步骤310、步骤320、步骤330、步骤340类似，在此不再赘述。
步骤360，将该目标区间段映射至与该目标区间段对应的多张横断位CT 图像。
在一实施例中，可以先确定该目标区间段在矢状位方向上的预设位置，该预设位置例如为该目标区间段的中心(x,y)。将该中心(x,y)映射回CT图像序列中，确定该中心(x,y)在骨骼横断位CT图像序列中所对应的CT图像G及其在所对应的CT图像G中的坐标(g，h)。选取骨骼横断位CT图像序列中与 CT图像G在矢状位方向上相邻的多张CT图像，并将CT图像G及与CT图像 G相邻的多张CT图像确定为与该目标区间段对应的多张CT图像。示例地，可以选取CT图像G前后的M张图像[G-M,G+M]作为与该目标区间段对应的多张CT图像，或者还可以选取CT图像G前后的多张图像[G-M1,G+M2]作为与该目标区间段对应的多张CT图像，x、y、g、h为正数，G、M、M1和M2 为自然数，x、y、g、h、G、M、M1和M2的取值可以根据具体情况设定，本申请实施例对此不作限定。
步骤370，根据与该目标区间段对应的多张横断位CT图像，对骨骼进行病理分析。
在一实施例中，在横段位方向，选取与该预设位置在所对应的CT图像中的位置(g，h)相邻的预设行，并将该预设位置(g，h)所在的行和该预设行中的骨骼部分区域作为该目标区间段在横断位方向上的目标区域。示例地，可以根据该CT图像[G-M1,G+M2]以及该目标区域组成的立体区域为感兴趣区域(ROI，Region of Interest)，但本申请实施例对此并不作限定，例如还可以根据该CT图像[G-M1,G+M2]的子集以及该目标区域确定该感兴趣区域。示例地，骨骼部分在CT图像中具有特定的像素值，因而可以根据将该预设位置(g，h) 所在的行和该预设行中像素的值与骨骼部分在CT图像中的像素值范围，确定该骨骼部分区域。
示例地，该感兴趣区域中的中心位置例如为(g*，h*)，在横断位方向上的范围例如为[h*-n1,h*+n2]，该感兴趣区域中的中心位置(g*，h*)与该预设位置(g，h)可以相同或不同。该感兴趣区域可以为立方体、球体等3D形状，本申请实施例对此不作限定。例如，以该感兴趣区域为立方体、在矢状位上对应的CT图像范围为[G-M1,G+M2]以及(g*，h*)位于CT图像G为例，在矢状位方向上，在该感兴趣区域的CT图像G-M1中选取与CT图像G中的点(g*， h*-n1)和点(g*，h*+n2)垂直的点(m1，h*-n1)和(m1，h*+n2)，以及在 CT图像G-M2中选取与CT图像G中的点(g*，h*-n1)、点(g*，h*+n2)垂直的点(m2，h*-n1)、(m2，h*+n2)，也即该感兴趣区域在矢状位方向上的范围例如为[g*-m1,g*+m2]，m1、m2、n1、n2、g*、h*均为正数，其取值可以根据具体情况设定，本申请实施例对此不作限定。通过该感兴趣区域在矢状位方向上的范围，例如[g*-m1,g*+m2]，和该感兴趣区域在横断位方向上的范围，例如为[h*-n1,h*+n2]，确定该目标区间段在对应的多张横断位CT图像中的3D 感兴趣区域。根据该感兴趣区域，从与该感兴趣区域对应的多张横断位CT 图像中选取相应区域，即可对骨骼进行病理分析。
根据本申请实施例提供的图像处理方法，通过横断位CT图像序列得到的矢状位图像包括骨骼的三维信息；通过神经网络模型对矢状位图像进行图像分割，可以得到包括骨骼的三维信息的分割结果图像，提高了对骨骼的各部分进行分割的准确率和效率，减少了人工成本。
图10是本申请一示例性实施例提供的神经网络训练方法的流程示意图。该神经网络训练方法可以应用于如图1所提供的实施环境中，由上述图1中所示的计算机设备120执行。但本申请实施例不以此为限，还可以由服务器执行。
如图10所示，该方法可以包括如下步骤910、步骤920和步骤930。
步骤910，根据包括骨骼的横断位CT图像序列，得到样本图像，该样本图像是包括骨骼的矢状位图像。
在一实施例中，根据包括骨骼的横断位CT图像序列，得到样本图像具体可以包括S90和S92(图中未示出)。
S90，根据包括骨骼的横断位CT图像序列，确定该横断位CT图像序列中骨骼上的目标位置。
具体确定该横断位CT图像序列中骨骼上的目标位置的方法，与步骤310 类似，可参考上文所述的步骤310的3种具体实现方法，在此不再赘述。
S92，根据横断位CT图像序列和该骨骼上的目标位置，进行图像重建，得到该样本图像。
具体的根据横断位CT图像序列和该骨骼上的目标位置，进行图像重建的方法，与上文所述的步骤320中的图像重建方法类似，在此不再赘述。
步骤920，获取所述样本图像中骨骼的标注数据。
医学图像由于其特殊性和专业性，医学图像中的标注数据(Ground Truth)一般来源于专家，以确保标注数据的准确性。医学图像中普遍存在缺乏公开的标注数据的问题，并且在医疗任务中收集这些标注数据也有一定难度，需要较高的人工成本和时间开销。虽然目前实现了对现实世界图像进行标注的大型数据库，但在医学领域却缺少类似的对医学图像进行了标注的数据库。另外，若在医学图像中由非专家进行标注，可能会产生错误或不准确的标注数据。因而需要提出一种节省专家标注的工作量的方法。
通过横断位CT图像序列对于骨骼具有较好的显示效果，但是横断位CT 图像序列数量较多，进行人工标注需要耗费巨大工作量，增加了人工成本，且横断位CT图像序列得到的是骨骼的二维信息，忽略了骨骼在矢状位方向上的信息。
在一实施例中，通过将横断位CT图像序列得到矢状位的样本图像，使得多张横断位CT图像转换为一张矢状位的样本图像，并对该样本图像进行标注，可以减少人工标注的工作量，并且该矢状位的样本图像包括了骨骼的三维信息，所包含的信息更丰富，使得获取的标注数据更为准确。
步骤930，根据所述样本图像和所述标注数据，对神经网络进行训练，得到神经网络模型。
通过专家对该样本图像中的骨骼的各部分，例如脊柱中各椎骨、各椎骨的锥体等部位、股骨中股骨头、股骨颈、股骨体等部位进行标注，并利用样本图像及其标注数据对神经网络进行训练，得到神经网络模型。示例地，该神经网络模型为图像分割模型，用于对包括骨骼的矢状位图像进行分割。通过训练得到的神经网络模型对待分割的矢状位图像进行图像分割，可以得到分割结果图像。示例地，当样本图像中包括对脊柱椎骨的锥体的标注数据时，通过该样本图像及标注数据训练得到神经网络模型进行图像分割，即可得到可对脊柱椎骨的锥体进行分割的分割结果图像，该分割结果图像包括锥体的分割结果。
根据本申请实施例提供的神经网络训练方法，通过横断位CT图像序列得到包括脊柱三维信息的样本图像，并获得对该样本图像的标注数据，可以减少数据标注的工作量，并提高神经网络训练的效率和训练得到的神经网络模型的准确率。
图11是本申请一示例性实施例提供的图像处理装置的框图。该装置具有实现上述方法实施例图2、图3的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以包括：获取模块1010和分割模块1020。
获取模块1010，用于根据包括骨骼的横断位CT图像序列，得到骨骼的矢状位图像。
分割模块1020，用于通过神经网络模型对该矢状位图像进行图像分割，得到分割结果图像。
在基于图11所示实施例提供的一个可选实施例中，所述图像处理装置还包括：第一确定模块和第二确定模块(未示出)。
第一确定模块，用于确定所述分割结果图像中的目标区间段，该分割结果图像包括将骨骼分割为多个区间段的分割结果，该多个区间段包括该目标区间段；
第二确定模块，用于根据该目标区间段中的目标区域，对该骨骼进行病理分析。
在一个可选实施例中，获取模块1010还包括确定子模块10110和矢状位图像获取子模块10112。
确定子模块10110，用于根据包括骨骼的横断位CT图像序列，确定横断位CT图像序列中骨骼上的目标位置；
矢状位图像获取子模块10112，用于根据横断位CT图像序列和骨骼上的目标位置，进行图像重建，得到骨骼的矢状位图像。
在一个可选实施例中，确定子模块10110还用于：当所述骨骼为脊柱时，对包括骨骼的横断位CT图像序列进行预处理；对经过预处理的横断位CT图像序列中的像素值进行取反处理；确定经过取反处理的横断位CT图像序列中的至少一个第一连通区域；从至少一个第一连通区域中确定面积满足第一预设条件的目标连通区域，并根据目标连通区域，确定所述横断位CT图像序列中骨骼上的目标位置。
在一个可选实施例中，确定子模块10110还用于：叠加横断位CT图像序列中各横断位CT图像的所述目标连通区域，得到叠加区域；从叠加区域中确定面积满足第二预设条件的第二连通区域；根据第二连通区域，确定横断位CT图像序列中骨骼上的目标位置。
在一个可选实施例中，确定子模块10110还用于：对包括骨骼的横断位 CT图像序列进行预处理；根据经过预处理的所述横断位CT图像序列的像素值，确定经过预处理的所述横断位CT图像序列的第一非背景区域，该第一非背景区域的像素值大于第一预设值；确定该第一非背景区域的左边界的坐标和该第一非背景区域的右边界坐标；计算该左边界的坐标和该右边界的坐标的均值，根据该左边界的坐标和该右边界的坐标的均值，确定横断位CT 图像序列中骨骼上的目标位置。
在一个可选实施例中，确定子模块10110还用于：对包括骨骼的横断位 CT图像序列进行预处理；根据经过预处理的所述横断位CT图像序列的像素值，确定经过预处理的所述横断位CT图像序列的第二非背景区域，该第二非背景区域的像素值大于第二预设值；计算该第二非背景区域的坐标的均值，根据该第二非背景区域的坐标的均值，确定该横断位CT图像序列中骨骼上的目标位置。
在一个可选实施例中，确定子模块10110还用于：对包括骨骼的横断位 CT图像序列进行二值化处理；和/或对包括骨骼的横断位CT图像序列进行去噪处理，其中，去噪处理包括闭合运算、腐蚀运算中的至少一个。
根据本申请实施例提供的图像处理装置，通过横断位CT图像序列得到的矢状位图像包括骨骼的三维信息；通过神经网络模型对矢状位图像进行图像分割，可以得到包括骨骼的三维信息的分割结果图像，提高了对骨骼的各部分进行分割的准确率和效率，减少了人工成本。
图12是本申请一示例性实施例提供的神经网络训练装置的框图。该装置具有实现上述方法实施例图10的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以包括：第一获取模块1110、第二获取模块1120和训练模块1130。
第一获取模块1110，用于根据包括骨骼的横断位CT图像序列，得到样本图像，该样本图像是包括骨骼的矢状位图像。
第二获取模块1120，用于获取所述样本图像中骨骼的标注数据。
训练模块1130，用于根据所述样本图像和该标注数据，对神经网络进行训练，得到神经网络模型。
在一个可选实施例中，第一获取模块810还用于：根据包括骨骼的横断位CT图像序列，确定横断位CT图像序列中骨骼上的目标位置；根据横断位 CT图像序列和骨骼上的目标位置，进行图像重建，得到该样本图像。
根据本申请实施例提供的神经网络训练装置，通过横断位CT图像序列得到包括脊柱三维信息的样本图像，并获得对该样本图像的标注数据，可以减少数据标注的工作量，并提高神经网络训练的效率和训练得到的神经网络模型的准确率。
本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
下面，参考图13来描述根据本申请实施例的电子设备。图13图示了根据本申请实施例的电子设备的框图。
如图13所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器 (cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的图像处理方法、神经网络训练方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如，在该电子设备是第一设备100或第二设备200时，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。在该电子设备是单机设备时，该输入装置13可以是通信网络连接器，用于从第一设备100和第二设备200接收所采集的输入信号。
此外，该输入设备13还可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图13中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述描述的根据本申请各种实施例的图像处理方法、神经网络训练方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述描述的根据本申请各种实施例的图像处理方法、神经网络训练方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器 (CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (18)

1.一种图像处理方法，其特征在于，包括：
根据包括骨骼的横断位CT图像序列，得到骨骼的矢状位图像；
通过神经网络模型对所述矢状位图像进行图像分割，得到分割结果图像。
2.根据权利要求1所述的方法，还包括：
确定所述分割结果图像中的目标区间段，所述多个区间段包括所述目标区间段；
根据所述目标区间段中的目标区域，对所述骨骼进行病理分析。
3.根据权利要求2所述的方法，其特征在于，当所述骨骼为脊柱时，所述确定所述分割结果图像中的目标区间段，包括：
确定所述分割结果图像中的目标椎体，所述分割结果图像包括将脊柱分割为多个椎体的分割结果；
其中，所述根据所述目标区间段中的目标区域，对所述骨骼进行病理分析，包括：
根据所述目标椎体中的目标区域，确定所述目标椎体的骨密度。
4.根据权利要求1所述的方法，其特征在于，所述根据包括骨骼的横断位CT图像序列，得到骨骼的矢状位图像，包括：
根据包括骨骼的横断位CT图像序列，确定所述横断位CT图像序列中骨骼上的目标位置；
根据所述横断位CT图像序列和所述骨骼上的目标位置，进行图像重建，得到所述骨骼的矢状位图像。
5.根据权利要求4所述的方法，其特征在于，当所述骨骼为脊柱时，所述根据包括骨骼的横断位CT图像序列，确定所述横断位CT图像序列中骨骼上的目标位置，包括：
对包括骨骼的横断位CT图像序列进行预处理；
对经过预处理的横断位CT图像序列中的像素值进行取反处理；
确定经过取反处理的横断位CT图像序列中的至少一个第一连通区域；
从所述至少一个第一连通区域中确定面积满足第一预设条件的目标连通区域，并根据所述目标连通区域，确定所述横断位CT图像序列中骨骼上的目标位置。
6.根据权利要求5所述的方法，其特征在于，所述根据所述目标连通区域，确定所述横断位CT图像序列中骨骼上的目标位置，包括：
叠加所述横断位CT图像序列中各横断位CT图像的所述目标连通区域，得到叠加区域；
从所述叠加区域中确定面积满足第二预设条件的第二连通区域；
根据所述第二连通区域，确定所述横断位CT图像序列中骨骼上的目标位置。
7.根据权利要求6所述的方法，其特征在于，所述从所述叠加区域中确定面积满足第二预设条件的第二连通区域，包括：
从所述叠加区域中确定面积最大的连通区域为所述第二连通区域。
8.根据权利要求7所述的方法，其特征在于，所述根据所述第二连通区域，确定所述横断位CT图像序列中脊柱上的目标位置，包括：
将所述第二连通区域的中点确定为所述横断位CT图像序列中骨骼上的目标位置。
9.根据权利要求4所述的方法，其特征在于，所述根据包括骨骼的横断位CT图像序列，确定所述横断位CT图像序列中骨骼上的目标位置，包括：
对包括骨骼的横断位CT图像序列进行预处理；
根据经过预处理的所述横断位CT图像序列的像素值，确定所述经过预处理的所述横断位CT图像序列的第一非背景区域，所述第一非背景区域的像素值大于第一预设值；
确定所述第一非背景区域的左边界的坐标和所述第一非背景区域的右边界坐标；
计算所述左边界的坐标和所述右边界的坐标的均值，根据所述左边界的坐标和所述右边界的坐标的均值，确定所述横断位CT图像序列中骨骼上的目标位置。
10.根据权利要求4所述的方法，其特征在于，所述根据包括骨骼的横断位CT图像序列，确定所述横断位CT图像序列中骨骼上的目标位置，包括：
对包括骨骼的横断位CT图像序列进行预处理；
根据经过预处理的所述横断位CT图像序列的像素值，确定所述经过预处理的所述横断位CT图像序列的第二非背景区域，所述第二非背景区域的像素值大于第二预设值；
计算所述第二非背景区域的坐标的均值，根据所述第二非背景区域的坐标的均值，确定所述横断位CT图像序列中骨骼上的目标位置。
11.根据权利要求5-10任一项所述的方法，其特征在于，所述对包括骨骼的横断位CT图像序列进行预处理，包括：
对包括骨骼的横断位CT图像序列进行二值化处理；和/或
对包括骨骼的横断位CT图像序列进行去噪处理，所述去噪处理包括闭合运算、腐蚀运算中的至少一个。
12.根据权利要求2所述的方法，其特征在于，所述根据所述目标区间段中的目标区域，对所述骨骼进行病理分析，包括：
将所述目标区间段映射至与所述目标区间段对应的多张CT图像；
根据与所述目标区间段对应的多张CT图像，对所述骨骼进行病理分析。
13.一种神经网络训练方法，其特征在于，包括：
根据包括骨骼的横断位CT图像序列，得到样本图像，所述样本图像是包括骨骼的矢状位图像；
获取所述样本图像中骨骼的标注数据；
根据所述样本图像和所述标注数据，对神经网络进行训练，得到神经网络模型。
14.根据权利要求13所述的方法，其特征在于，所述根据包括骨骼的CT图像序列，得到样本图像，包括：
根据包括骨骼的横断位CT图像序列，确定所述横断位CT图像序列中骨骼上的目标位置；
根据所述横断位CT图像序列和所述骨骼上的目标位置，进行图像重建，得到所述样本图像。
15.一种图像处理装置，其特征在于，包括：
获取模块，用于根据包括骨骼的横断位CT图像序列，得到骨骼的矢状位图像；
分割模块，用于通过神经网络模型对所述矢状位图像进行图像分割，得到分割结果图像。
16.一种神经网络训练装置，其特征在于，包括：
第一获取模块，用于根据包括骨骼的横断位CT图像序列，得到样本图像，所述样本图像是包括骨骼的矢状位图像；
第二获取模块，用于获取所述样本图像中骨骼的标注数据；
训练模块，用于根据所述样本图像和所述标注数据，对神经网络进行训练，得到神经网络模型。
17.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-12、13-14任一所述的图像处理方法。
18.一种电子设备，所述电子设备包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述处理器，用于执行上述权利要求1-12、13-14任一所述的图像处理方法。
CN201910817083.6A 2019-08-30 2019-08-30 图像处理方法、装置、计算机可读存储介质及电子设备 Active CN110544245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910817083.6A CN110544245B (zh) 2019-08-30 2019-08-30 图像处理方法、装置、计算机可读存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910817083.6A CN110544245B (zh) 2019-08-30 2019-08-30 图像处理方法、装置、计算机可读存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN110544245A true CN110544245A (zh) 2019-12-06
CN110544245B CN110544245B (zh) 2020-11-27

Family

ID=68711316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910817083.6A Active CN110544245B (zh) 2019-08-30 2019-08-30 图像处理方法、装置、计算机可读存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN110544245B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110916707A (zh) * 2019-12-18 2020-03-27 上海皓桦科技股份有限公司 二维骨骼图像获取方法、系统及装置
CN111325754A (zh) * 2020-01-02 2020-06-23 武汉大学 一种基于ct序列图像的腰椎骨自动定位方法
CN111493918A (zh) * 2020-04-24 2020-08-07 杭州健培科技有限公司 用于腰椎ct影像的观测面自动定位方法，应用方法及设备
CN111652862A (zh) * 2020-05-27 2020-09-11 联影智能医疗科技(北京)有限公司 脊柱顺列分类方法、计算机设备和存储介质
CN112435341A (zh) * 2020-11-23 2021-03-02 推想医疗科技股份有限公司 三维重建网络的训练方法及装置、三维重建方法及装置
CN112489005A (zh) * 2020-11-26 2021-03-12 推想医疗科技股份有限公司 骨分割方法及装置、骨折检出方法及装置
CN112529863A (zh) * 2020-12-04 2021-03-19 推想医疗科技股份有限公司 测量骨密度的方法及装置
CN113240661A (zh) * 2021-05-31 2021-08-10 平安科技（深圳）有限公司 基于深度学习的腰椎骨分析方法、装置、设备及存储介质
CN113920128A (zh) * 2021-09-01 2022-01-11 北京长木谷医疗科技有限公司 膝关节股骨胫骨分割方法和装置
CN114119584A (zh) * 2021-12-01 2022-03-01 张福生 人体成分ct影像标记方法、系统、电子设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060257012A1 (en) * 2001-07-17 2006-11-16 Accuimage Diagnostics Corp Methods and software for self-gating a set of images
CN104574485A (zh) * 2013-10-22 2015-04-29 上海联影医疗科技有限公司 基于手持设备的医学图像重建的控制方法及控制系统
CN106683090A (zh) * 2016-12-31 2017-05-17 上海联影医疗科技有限公司 医学图像中肋骨的定位方法及其系统
CN107844800A (zh) * 2017-07-31 2018-03-27 深圳联影医疗科技有限公司 一种全脊椎最佳矢状位的确定系统、方法及装置
CN107977971A (zh) * 2017-11-09 2018-05-01 哈尔滨理工大学 基于卷积神经网络的椎骨定位的方法
CN108053400A (zh) * 2017-12-21 2018-05-18 上海联影医疗科技有限公司 图像处理方法及装置
CN108596904A (zh) * 2018-05-07 2018-09-28 北京长木谷医疗科技有限公司 生成定位模型的方法及对脊柱矢状位图像进行处理的方法
CN108830835A (zh) * 2018-05-25 2018-11-16 北京长木谷医疗科技有限公司 识别脊柱矢状位图像异常的方法及计算设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060257012A1 (en) * 2001-07-17 2006-11-16 Accuimage Diagnostics Corp Methods and software for self-gating a set of images
CN104574485A (zh) * 2013-10-22 2015-04-29 上海联影医疗科技有限公司 基于手持设备的医学图像重建的控制方法及控制系统
CN106683090A (zh) * 2016-12-31 2017-05-17 上海联影医疗科技有限公司 医学图像中肋骨的定位方法及其系统
CN107844800A (zh) * 2017-07-31 2018-03-27 深圳联影医疗科技有限公司 一种全脊椎最佳矢状位的确定系统、方法及装置
CN107977971A (zh) * 2017-11-09 2018-05-01 哈尔滨理工大学 基于卷积神经网络的椎骨定位的方法
CN108053400A (zh) * 2017-12-21 2018-05-18 上海联影医疗科技有限公司 图像处理方法及装置
CN108596904A (zh) * 2018-05-07 2018-09-28 北京长木谷医疗科技有限公司 生成定位模型的方法及对脊柱矢状位图像进行处理的方法
CN108830835A (zh) * 2018-05-25 2018-11-16 北京长木谷医疗科技有限公司 识别脊柱矢状位图像异常的方法及计算设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAO-WHA CHANG 等: "Quality Control of Reconstructed Sagittal Balance for Sagittal Imbalance", 《SPINE》 *
董然: "基于CT断层图像的脊椎骨分割方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110916707A (zh) * 2019-12-18 2020-03-27 上海皓桦科技股份有限公司 二维骨骼图像获取方法、系统及装置
CN110916707B (zh) * 2019-12-18 2023-06-27 上海皓桦科技股份有限公司 二维骨骼图像获取方法、系统及装置
CN111325754A (zh) * 2020-01-02 2020-06-23 武汉大学 一种基于ct序列图像的腰椎骨自动定位方法
CN111325754B (zh) * 2020-01-02 2023-04-07 武汉大学 一种基于ct序列图像的腰椎骨自动定位方法
CN111493918B (zh) * 2020-04-24 2022-08-26 杭州健培科技有限公司 腰椎ct影像的观测面自动定位方法、应用方法及设备
CN111493918A (zh) * 2020-04-24 2020-08-07 杭州健培科技有限公司 用于腰椎ct影像的观测面自动定位方法，应用方法及设备
CN111652862A (zh) * 2020-05-27 2020-09-11 联影智能医疗科技(北京)有限公司 脊柱顺列分类方法、计算机设备和存储介质
CN112435341A (zh) * 2020-11-23 2021-03-02 推想医疗科技股份有限公司 三维重建网络的训练方法及装置、三维重建方法及装置
CN112489005A (zh) * 2020-11-26 2021-03-12 推想医疗科技股份有限公司 骨分割方法及装置、骨折检出方法及装置
CN112529863A (zh) * 2020-12-04 2021-03-19 推想医疗科技股份有限公司 测量骨密度的方法及装置
CN112529863B (zh) * 2020-12-04 2024-01-23 推想医疗科技股份有限公司 测量骨密度的方法及装置
CN113240661A (zh) * 2021-05-31 2021-08-10 平安科技（深圳）有限公司 基于深度学习的腰椎骨分析方法、装置、设备及存储介质
CN113240661B (zh) * 2021-05-31 2023-09-26 平安科技（深圳）有限公司 基于深度学习的腰椎骨分析方法、装置、设备及存储介质
CN113920128A (zh) * 2021-09-01 2022-01-11 北京长木谷医疗科技有限公司 膝关节股骨胫骨分割方法和装置
CN113920128B (zh) * 2021-09-01 2023-02-21 北京长木谷医疗科技有限公司 膝关节股骨胫骨分割方法和装置
CN114119584A (zh) * 2021-12-01 2022-03-01 张福生 人体成分ct影像标记方法、系统、电子设备和存储介质

Also Published As

Publication number Publication date
CN110544245B (zh) 2020-11-27

Similar Documents

Publication Publication Date Title
CN110544245B (zh) 图像处理方法、装置、计算机可读存储介质及电子设备
US7920730B2 (en) Automatic bone detection in MRI images
AU2002251559B2 (en) Three-dimensional joint structure measuring method
JP5643304B2 (ja) 胸部トモシンセシスイメージングにおけるコンピュータ支援肺結節検出システムおよび方法並びに肺画像セグメント化システムおよび方法
Ikhsan et al. An analysis of x-ray image enhancement methods for vertebral bone segmentation
US20200058098A1 (en) Image processing apparatus, image processing method, and image processing program
CN111047572A (zh) 一种基于Mask RCNN的医学图像中脊柱自动定位方法
CN111210897A (zh) 处理医学图像
CN110570407B (zh) 图像处理方法、存储介质及计算机设备
Areeckal et al. Current and emerging diagnostic imaging-based techniques for assessment of osteoporosis and fracture risk
CN113222951B (zh) 一种识别髋关节x线的骨质疏松人工智能诊断装置
US11257214B2 (en) Two-stage variational image segmentation of medical images using fracture mechanics
Roberts et al. Automatic segmentation of lumbar vertebrae on digitised radiographs using linked active appearance models
Huang et al. Bone feature segmentation in ultrasound spine image with robustness to speckle and regular occlusion noise
Nazia Fathima et al. A Survey on Osteoporosis Detection Methods with a Focus on X-ray and DEXA Images
Liu et al. Rigid model‐based 3D segmentation of the bones of joints in MR and CT images for motion analysis
Krebs et al. High resolution computed tomography of the vertebrae yields accurate information on trabecular distances if processed by 3D fuzzy segmentation approaches
US10896501B2 (en) Rib developed image generation apparatus using a core line, method, and program
CN116433620A (zh) 基于ct图像的骨密度预测及骨质疏松智能筛查方法和系统
CN112734740B (zh) 训练目标检测模型的方法、目标检测的方法及其装置
KR20160126185A (ko) 컴퓨터를 이용한 x-선 영상처리 골절 위험 평가모델 작성방법, 시스템 및 컴퓨터 프로그램
Le Pennec et al. CT-based semi-automatic quantification of vertebral fracture restoration
Thevenot et al. Volumetric assessment of bone microstructures by a 3D local binary patterns–based method: bone changes with osteoarthritis
CN114037775B (zh) 骨骼结构生长方法、装置、电子设备及存储介质
KR102495365B1 (ko) 인공지능을 이용한 관절 분석 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085

Patentee after: Tuxiang Medical Technology Co., Ltd

Address before: Room B401, floor 4, building 1, No. 12, Shangdi Information Road, Haidian District, Beijing 100085

Patentee before: Beijing Tuoxiang Technology Co.,Ltd.