CN113240681B - 图像处理的方法及装置 - Google Patents

Abstract

本申请提供了一种图像处理的方法及装置，该方法包括：获取输入图像，所述输入图像包括多个骨骼；提取所述输入图像的第一特征图，所述第一特征图用于指示所述多个骨骼的初始实例分割结果；基于所述第一特征图提取所述输入图像的第二特征图和第三特征图，所述第二特征图用于指示所述多个骨骼中的椎体的实例分割结果，所述第三特征图用于指示所述多个骨骼中的肋骨椎骨的实例分割结果；根据所述第一特征图、所述第二特征图及所述第三特征图确定所述多个骨骼的实例分割结果。本申请实施例中的方法可以提高骨分割模型的分割精度。

Description

图像处理的方法及装置

技术领域

本申请涉及医学图像处理领域，具体涉及一种图像处理的方法及装置。

背景技术

医学图像往往能够反映病人当前的身体状况，例如，医学数字成像和通信(Digital Imaging and Communications in Medicine，DICOM)和计算机断层扫描(Computed Tomography，CT)等医学图像已经被广泛应用于疾病诊断、精准治疗、术前分析以及术中引导等场合。

随着深度学习方法及图像处理技术的快速发展，基于深度学习的图像处理方法在医学领域也得到了飞速的发展，许多研究人员已经开始研究和开发基于深度学习的骨分割模型。但是，现有的骨分割模型的分割效果并不理想。

发明内容

有鉴于此，本申请实施例致力于提供一种图像处理的方法及装置，可以提高骨分割模型的分割精度。

第一方面，提供了一种图像处理的方法，该方法包括：获取输入图像，所述输入图像包括多个骨骼；提取所述输入图像的第一特征图，所述第一特征图用于指示所述多个骨骼的初始实例分割结果；基于所述第一特征图提取所述输入图像的第二特征图和第三特征图，所述第二特征图用于指示所述多个骨骼中的椎体的实例分割结果，所述第三特征图用于指示所述多个骨骼中的肋骨椎骨的实例分割结果；根据所述第一特征图、所述第二特征图及所述第三特征图确定所述多个骨骼的实例分割结果。

在本申请实施例中，先提取所述输入图像的第一特征图，基于所述第一特征图提取所述输入图像的第二特征图和第三特征图，并根据所述第一特征图、所述第二特征图及所述第三特征图确定所述多个骨骼的实例分割结果，这种方式可以将一个复杂的骨分割任务拆分成多个相对简单子任务，可以提高各个子任务的输出结果的精度，最后结合这些输出结果预测骨分割结果，可以有效提高骨分割结果的精度。

同时，这种方式也便于查看各个子任务的处理效果，而且，输出的骨分割结果的精度不理想的情况下，也便于基于各模块的输出进行快速定位和排查，可以节省时间成本和人力成本，实现骨分割模型的快速开发和迭代。

在一些可能的实现方式中，所述基于所述第一特征图提取所述输入图像的第二特征图和第三特征图，包括：基于所述第一特征图确定椎体关键点及椎间盘平面，所述椎体关键点用于表示所述多个骨骼中各椎体的关键点，椎间盘平面用于表示所述多个骨骼中各椎间盘所在的平面；基于所述第一特征图、所述椎体关键点与所述椎间盘平面提取所述第二特征图和所述第三特征图。

在一些可能的实现方式中，所述基于所述第一特征图确定椎体关键点及椎间盘平面，包括：基于所述第一特征图提取第四特征图，所述第四特征图用于指示所述多个骨骼中的椎间盘的分割结果；根据所述第一特征图与所述第四特征图确定椎体关键点及椎间盘平面。

在一些可能的实现方式中，所述基于所述第一特征图提取第四特征图，包括：基于所述第一特征图提取第五特征图，所述第五特征图用于指示所述多个骨骼的候选实例分割结果；基于所述第五特征图提取所述第四特征图。

在一些可能的实现方式中，所述基于所述第一特征图提取第五特征图，包括：对所述第一特征图进行二值化处理，得到所述多个骨骼的语义分割图；基于所述语义分割图提取所述第五特征图。

在一些可能的实现方式中，所述基于所述第五特征图提取所述第四特征图，包括：对所述第五特征图进行下采样处理；基于下采样处理后的所述第五特征图提取所述第四特征图。

在一些可能的实现方式中，所述根据所述第一特征图、所述第二特征图及所述第三特征图确定所述多个骨骼的实例分割结果，包括：根据所述第一特征图、所述第二特征图及所述第三特征图确定所述实例分割结果、前后分界面和左右分界面，所述前后分界面用于将所述多个骨骼划分为前后两部分，所述左右分界面用于将所述多个骨骼划分为左右两部分。

在一些可能的实现方式中，所述根据所述第一特征图、所述第二特征图及所述第三特征图确定所述实例分割结果、前后分界面和左右分界面，包括：根据所述第一特征图、所述第二特征图、所述第三特征图、所述第五特征图、所述椎体关键点与所述椎间盘平面确定所述实例分割结果、所述前后分界面和所述左右分界面。

第二方面，提供了一种图像处理的装置，所述装置包括用于执行第一方面或第一方面任一种可能实现方式中的各个模块。

第三方面，提供了一种图像处理的装置，所述装置具有实现上述第一方面的方法设计的装置的功能。这些功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的单元。

第四方面，提供了一种图像处理的装置，包括收发器、处理器和存储器。该处理器用于控制收发器收发信号，该存储器用于存储计算机程序，该处理器用于从存储器中调用并运行该计算机程序，使得该装置执行第一方面中的方法。

第五方面，提供一种芯片，所述芯片包括处理器与数据接口，所述处理器通过所述数据接口读取存储器上存储的指令，执行第一方面或第一方面的任一可能的实现方式中的方法。

第六方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行第一方面或第一方面的任一可能的实现方式中的方法。

第七方面，提供了一种计算机可读介质，所述计算机可读介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行第一方面或第一方面的任一可能的实现方式中的方法。

在本申请实施例中，先提取所述输入图像的第一特征图，基于所述第一特征图提取所述输入图像的第二特征图和第三特征图，并根据所述第一特征图、所述第二特征图及所述第三特征图确定所述多个骨骼的实例分割结果，这种方式可以将一个复杂的骨分割任务拆分成多个相对简单子任务，可以提高各个子任务的输出结果的精度，最后结合这些输出结果预测骨分割结果，可以有效提高骨分割结果的精度。

同时，这种方式也便于查看各个子任务的处理效果，而且，输出的骨分割结果的精度不理想的情况下，也便于基于各模块的输出进行快速定位和排查，可以节省时间成本和人力成本，实现骨分割模型的快速开发和迭代。

附图说明

图1为适用于本申请实施例的一个应用场景图。

图2为本申请一个实施例中的图像处理的方法的示意性框图。

图3为本申请另一个实施例中的图像处理的方法的示意性框图。

图4为本申请一个实施例中的肋骨12分类mask的示意图。

图5为本申请一个实施例中的骨0-1分割mask的示意图。

图6为本申请一个实施例中的骨6大类分割mask的示意图。

图7为本申请一个实施例中的椎间盘0-1分割mask的示意图。

图8为本申请一个实施例中的椎体关键点和椎间盘平面的示意图。

图9为本申请一个实施例中的椎体分割mask的示意图。

图10为本申请一个实施例中的肋骨椎骨实例分割mask的示意图。

图11为本申请一个实施例中的骨56类分割mask的示意图。

图12为本申请一个实施例中的前后分界面和左右分界面的示意图。

图13为本申请一个实施例中的图像处理的装置的示意性框图。

图14为本申请另一个实施例中的图像处理的装置的示意性框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例中的方法可以应用于各种对待处理图像进行图像处理的场景，本申请实施例中对此并不限定。例如，本申请实施例中的方法可以应用于基于医学图像进行骨分割的场景。

本申请实施例中的医学图像可以为电子计算机断层扫描(computed omography，CT)图像及磁共振成像(magnetic resonance imaging，MRI)图像等，本申请实施例中对医学图像的类型并不限定。

图1为适用于本申请实施例的一个应用场景图。图1中的应用场景100可以包括图像获取装置110及图像处理装置120。

需要说明的是，图1所示的应用场景仅为示例而非限定，图1所示的应用场景中可以包括更多或更少的装置或设备，本申请实施例中对此并不限定。

其中，所述图像获取装置110可以为电子计算机断层(computed omography，CT)扫描仪、磁共振成像(magnetic resonance imaging，MRI)或其他用于拍摄医学图像的装置或设备，所述图像处理装置120可以为计算机设备、服务器(例如，云端服务器)或其他能够对待处理图像进行图像处理(例如，基于医学图像进行骨分割)的装置或设备。

可以看出，本申请实施例对医学图像并不限定，本申请实施例中的所述医学图像可以包括CT图像、MRI图像或其他应用于医学领域的图像。

例如，所述图像获取装置110可以为CT扫描仪，CT扫描仪可以用于对人体组织进行X线扫描，得到人体组织的CT图像序列。

在一实施例中，通过CT扫描仪对骨骼进行扫描，可以得到包括骨骼的横断位CT图像序列。该骨骼例如可以为动物或者人体的脊柱、胫骨、股骨、胸骨、肋骨和髌骨或者其他骨组织，本申请实施例中对此不作限定。

例如，所述图像处理装置120可以为计算机设备，所述计算机设备可以是通用型计算机或者由专用的集成电路组成的计算机装置等，本申请实施例中对此不做限定。

本领域技术人员可以知晓，上述计算机设备的数量可以为一个或大于一个，多个计算机设备的类型可以相同或者不同。本申请实施例中对终端的数量和设备类型不加以限定。例如，在本申请实施例中，用于图像处理的神经网络模型可以包括多个模块(或者说，多个子模型)，此时，可以将该多个模块分别部署在多个计算机设备上。

计算机设备中可以部署有神经网络模型，用于对待处理图像进行图像处理(例如，基于医学图像进行骨分割)，得到用于指示待处理图像中的处理结果。例如，计算机设备可以通过其中部署的神经网络模型(例如，所述神经网络模型可以为图像处理模型)对CT图像进行图像分割，以得到待处理图像的图像分割结果(如待处理图像中多个骨骼的实例分割结果)。

计算机设备可以为服务器或云端服务器，直接对待处理图像进行图像分割处理。或者，计算机设备也可以与服务器(图1中未示出)之间通过通信网络相连。计算机设备可以将其从CT扫描仪获取到的CT图像等发送给服务器，利用服务器中的神经网络模型对CT图像进行图像分割，并且将得到的图像分割结果存储为样本图像，以对服务器中的神经网络模型进行训练，得到用于图像分割的神经网络模型。

计算机设备还可以从服务器中获取CT图像，进而通过神经网络模型对CT图像进行图像分割，以得到待处理图像的图像分割结果(如待处理图像中多个骨骼的实例分割结果)，本申请实施例中对具体的实现方式并不做限定。

图2是本申请一个实施例的图像处理的方法200的示意性框图。

所述方法200可以由图1中的所述图像处理装置120执行，应理解，图2示出了方法200的步骤或操作，但这些步骤或操作仅是示例，本申请实施例还可以执行其他操作或者图2中方法200的各个操作的变形，或者，并不是所有步骤都需要执行，或者，这些步骤可以按照其他顺序执行。所述方法200可以包括步骤210至步骤240，具体如下：

S210，获取输入图像。

其中，所述输入图像可以包括多个骨骼。例如，所述输入图像可以为人体胸部、胸腹或头胸腹等部位对应的CT图像，所述输入图像可以包括12类肋骨(如左右第1～12肋)、锁骨、胸骨、椎骨、肩胛骨及其他骨骼等。

S220，提取所述输入图像的第一特征图。

其中，所述第一特征图用于指示所述多个骨骼的初始实例分割结果，所述S220可以参考后续图3中S310的描述。

所述第一特征图的尺寸可以小于所述输入图像的尺寸，也就是说，所述第一处理单元可以在(所述输入图像的)下采样空间提取所述输入图像的第一特征图。

例如，所述输入图像的尺寸为(128,512,512)，可以先对所述输入图像进行下采样处理得到所述输入图像的下采样图像，再使用所述第一处理单元，根据所述下采样图像提取所述第一特征图，所述第一特征图的尺寸可以为(32,128,128)。

在一些实施例中，所述第一特征图还可以包括语义分割结果。例如，如图5所示，所述第一特征图可以包括图5中左部分所示的肋骨12分类结果(或骨17类分割结果)及图5中右部分所示的语义分割图，该肋骨12分类结果(或骨17类分割结果)可以不区分肋骨的左右。可选地，所述第一特征图可以对应后续图3方法300中M0模块的输出。

在一些实施例中，可以对所述第一特征图进行二值化处理，得到所述多个骨骼的语义分割图。例如，可以对所述第一特征图指示的肋骨12分类结果(或骨17类分割结果)进行二值化处理，得到所述多个骨骼的语义分割图，在该语义分割图中，骨骼对应的像素可以为1，其余的背景部分对应的像素可以为0。

在一些实施例中，可以基于所述第一特征图提取第五特征图，或者，也可以基于所述语义分割图提取所述第五特征图，其中，所述第五特征图可以用于指示所述多个骨骼的候选实例分割结果。例如，如图6所示，所述第五特征图可以为骨6类分割结果，分别用不同的颜色指示肋骨、椎骨、胸骨、锁骨、肩胛骨及其他骨头等。可选地，所述第五特征图可以对应后续图3方法300中的骨6大类分割mask，关于提取所述第五特征图的方法也可以参考后续图3中S320的描述。

在一些实施例中，所述基于所述第一特征图提取第五特征图可以是指：对所述第一特征图进行去假阳和类别校正，得到所述第五特征图。可选地，还可以对所述第五特征图进行下采样处理，这样可以进一步降低模型占用的硬件资源。

在一些实施例中，可以基于所述第一特征图提取第四特征图，所述第四特征图可以用于指示所述多个骨骼中的椎间盘的分割结果。例如，如图7所示，所述第四特征图为二值化的特征图，其中，椎间盘对应的像素可以为1，其余的背景部分对应的像素可以为0。可选地，所述第四特征图可以对应后续图3方法300中的椎间盘0-1分割mask，关于提取所述第四特征图的方法也可以参考后续图3中S330的描述。

在一些实施例中，也可以基于所述第五特征图提取所述第四特征图。例如，可以对所述第五特征图进行下采样处理，基于下采样处理后的所述第五特征图提取所述第四特征图。

在一些实施例中，可以根据所述第一特征图与所述第四特征图确定椎体关键点及椎间盘平面。例如，所述多个骨骼可以包括多个椎骨，多个椎骨之间包括多个椎间盘，每个椎骨可以包括一个椎体，如图8所示，所述椎体关键点可以用于表示多个椎体的关键点，椎间盘平面可以用于表示多个椎间盘所在的平面。可选地，所述椎体关键点及椎间盘平面可以对应后续图3方法300中的M5模块的输出，关于提取椎体关键点及椎间盘平面的方法也可以参考后续图3中S340的描述。

S230，基于所述第一特征图提取所述输入图像的第二特征图和第三特征图。

其中，所述第二特征图可以用于指示所述多个骨骼中的椎体的实例分割结果，所述第三特征图可以用于指示所述多个骨骼中的肋骨椎骨的实例分割结果。可选地，所述第二特征图可以对应后续图3方法300中的M2模块的输出，所述第三特征图可以对应后续图3方法300中的M3模块的输出，所述S230可以参考后续图3中S350和S360的描述。

例如，如图9所示，所述第二特征图可以用不同颜色指示不同的椎体；如图10所示，在所述第三特征图中，左右两根肋骨和与这两根肋骨相连的椎体共同组成一个肋骨椎骨实例，所述第三特征图可以用不同的颜色指示不同的肋骨椎骨实例。

在一些实施例中，可以基于所述第一特征图确定椎体关键点及椎间盘平面，并基于所述第一特征图、所述椎体关键点与所述椎间盘平面提取所述第二特征图和所述第三特征图。

S240，根据所述第一特征图、所述第二特征图及所述第三特征图确定所述多个骨骼的实例分割结果。

可选地，所述多个骨骼的实例分割结果可以对应后续图3方法300中的M4模块的输出，所述S240可以参考后续图3中S370的描述。

在一些实施例中，可以根据所述第一特征图、所述第二特征图及所述第三特征图及其之间的对应关系，确定所述多个骨骼的实例分割结果。这样可以对多个骨分割结果进行融合，对多个骨分割结果存在的问题进行针对性处理，从而可以提高骨分割模型的分割精度。例如，如图11所示，实例分割结果可以包含56类骨骼分割结果：24类肋骨、2类肩胛骨、1类胸骨、2类锁骨、26类椎骨、1类其他骨骼，其中，肋骨、肩胛骨、锁骨在6分类、12分类、2分类的基础上还区分左右方位。

在一些实施例中，可以根据所述第一特征图、所述第二特征图及所述第三特征图确定所述实例分割结果、前后分界面和左右分界面。其中，如图12所示，所述前后分界面可以用于将所述多个骨骼划分为前后两部分，所述左右分界面可以用于将所述多个骨骼划分为左右两部分。

在一些实施例中，还可以根据所述第一特征图、所述第二特征图、所述第三特征图、所述第五特征图、所述椎体关键点与所述椎间盘平面确定所述实例分割结果、所述前后分界面和所述左右分界面。

图3是本申请一个实施例的图像处理的方法300的示意性框图。

所述方法300可以由图1中的所述图像处理装置120执行，应理解，图3示出了方法300的步骤或操作，但这些步骤或操作仅是示例，本申请实施例还可以执行其他操作或者图3中方法300的各个操作的变形，或者，并不是所有步骤都需要执行，或者，这些步骤可以按照其他顺序执行。所述方法300可以包括步骤310至步骤370，具体如下：

S310，M0模块进行一级骨分割。

其中，该M0模块可以为深度学习分割模型，可以用于将输入的DICOM图像分割为图4所示的肋骨12分类结果(或骨17类分割结果)及图5所示的语义分割图。这里的肋骨12分类可以指12类肋骨(如左右第1～12肋)，骨17分类可以指12类肋骨(如左右第1～12肋)、锁骨、胸骨、椎骨、肩胛骨及其他骨骼等。

在一些实施例中，可以将DICOM图像输入至M0模块进行一级(初级)骨分割，得到2个输出，如图3所示，这2个输出可以分别为肋骨12分类掩膜(mask)和骨0-1分割mask。其中，肋骨12分类mask(图3中M0模块左侧的输出)可以指示DICOM图像中的多根肋骨分别为第几根肋骨，该肋骨12分类mask可以不区分左右，例如，如图4所示，肋骨12分类mask可以分别以不同的颜色指示不同的肋骨；骨0-1分割mask(图3中M0模块右侧的输出)，该骨0-1分割mask可以用不同的像素值区别骨骼和(骨骼以外的)其余部分，例如，如图5所示，在骨0-1分割mask中，骨骼对应的像素可以为1，其余的背景部分对应的像素可以为0。

S320，M8模块进行骨6分类分割。

其中，该M8模块可以为深度学习分割模型，可以基于骨0-1分割mask得到骨6大类分割。这里骨6大类可以指肋骨、椎骨、胸骨、锁骨、肩胛骨及其他骨头等。

在一些实施例中，可以将M0模块输出的骨0-1分割mask输入至M8模块进行6大类骨分割，如图3所示，可以得到骨6大类分割mask和下采样骨6大类分割mask。其中，骨6大类分割mask用不同的颜色指示不同各类的骨骼，例如，如图6所示，可以用红色表示肋骨，用灰色表示椎骨，用浅灰色胸骨，用黄色表示锁骨，用绿色表示肩胛骨，用蓝绿色表示其他骨头；下采样骨6大类分割mask与骨6大类分割mask类似，可以理解为只是对骨6大类分割mask进行了下采样处理，这样可以降低模型占用的硬件资源，节省显存。

需要说明的是，M8模块可以仅输出骨6大类分割mask，而并不是必须同时输出骨6大类分割mask和下采样骨6大类分割mask，下采样骨6大类分割mask是对该骨6大类分割mask进行下采样处理后得到的。

S330，M1模块进行椎间盘分割。

其中，该M1模块可以为深度学习分割模型，用于基于骨6大类分割mask进行椎间盘分割。

在一些实施例中，可以将M8模块输出的下采样骨6大类分割mask输入至M1模块进行椎间盘分割，如图7所示，可以得到椎间盘0-1分割mask，该椎间盘0-1分割mask可以用不同的像素值区别椎间盘和(椎间盘以外的)其余部分。例如，如图7所示，椎间盘对应的像素可以为1，其余的背景部分对应的像素可以为0)。可选地，为了降低模型占用的硬件资源，节省显存，还可以对该椎间盘0-1分割mask进行下采样处理，得到下采样椎间盘0-1分割mask。

S340，M5模块提取椎体关键点。

其中，该M5模块可以为深度学习分割模型，用于提取椎体关键点和椎间盘平面。

在一些实施例中，可以将M8模块输出的下采样的骨6大类分割mask和M1模块输出的椎间盘0-1分割mask(或下采样椎间盘0-1分割mask)输入至M5模块，提取椎体关键点和椎间盘平面，如图8所示，可以得到一个处理结果(如字典对象)，该处理结果可以包含所有的椎体关键点和椎间盘平面。例如，椎体关键点如图8中的点所示，每个椎体可以由一个关键点表示，两个关键点中间为一个椎间盘平面，如图8中的平面所示。

S350，M3模块进行肋骨椎骨实例分割。

其中，该M3模块可以为深度学习分割模型，用于进行肋骨椎骨实例分割。

在一些实施例中，可以将M8模块输出的下采样的骨6大类分割mask和M5输出的椎体关键点及椎间盘平面输入至M3模块，进行肋骨椎骨实例粗分割，如图10所示，可以得到经过下采样的肋骨椎骨实例分割mask和经过优化处理的椎体关键点和椎间盘平面。其中，肋骨椎骨实例可以指由左右两根肋骨和与这两根肋骨相连的椎骨共同组成的实例，如图10所示，可以用不同的颜色表示不同的实例。

S360，M2模块进行椎体实例分割。

其中，该M2模块可以为深度学习分割模型，用于进行椎体实例分割。

在一些实施例中，可以将M8模块输出的下采样的骨6大类分割mask和M5输出的椎体关键点及椎间盘平面输入至M2模块，进行椎体实例精分割，如图9所示，可以得到一个椎体分割mask，该椎体分割mask可以用不同颜色表示不同的椎体。

S370，M4模块对骨分割结果进行优化处理。

其中，该M4模块可以为深度学习分割模型，由于上述各个步骤中的深度学习模型的输出结果的精度难以达到很高，因此，可以在M4模块中进行若干处理逻辑，以进一步提高骨分割结果的精度，例如，可以包含移除细碎，缓解肋骨粘连，处理肋骨串色，计算身体定位平面，确定肋骨顺序，确定椎骨顺序，骶骨尾骨修复等。

在一些实施例中，可以将M0模块输出的肋骨12分类mask、M8输出的骨6大类分割mask、M2模块输出的椎体分割mask、M3输出的下采样肋骨椎骨实例分割mask和M3模块输出的经过优化的椎体关键点和椎间盘平面输入M4模块，基于这些处理结果及其之间的对应关系进行最终的优化后处理，得到骨56类分割mask、前后分界面和左右分界面。

例如，如图11所示，骨56类分割mask可以包括56类骨骼的实例分割结果：24类肋骨(左侧12类肋骨及右侧12类肋骨)、2类肩胛骨(左侧肩胛骨及右侧肩胛骨)、1类胸骨、2类锁骨(左侧锁骨和右侧锁骨)、26类椎骨、1类其他骨骼；前后分界面和左右分界面可以如图12所示，前后分界面用于将所述多个骨骼划分为前后两部分，左右分界面用于将所述多个骨骼划分为左右两部分。可选地，M4模块还可以输出接口函数，通过该接口函数可以计算出给定的输入像素点在四象限(左前，左后，右前，右后)中的位置。

图13是本申请一个实施例提供的图像处理的装置1300的示意性框图。应理解，图13示出的装置1300仅是示例，本申请实施例的装置1300还可包括其他模块或单元。

应理解，装置1300能够执行图2或图3的方法中的各个步骤，为了避免重复，此处不再详述。

在本申请一种可能的实现方式中，所述装置1300包括：

获取模块1310，用于获取输入图像，所述输入图像包括多个骨骼；

第一提取模块1320，用于提取所述输入图像的第一特征图，所述第一特征图用于指示所述多个骨骼的初始实例分割结果；

第二提取模块1330，用于基于所述第一特征图提取所述输入图像的第二特征图和第三特征图，所述第二特征图用于指示所述多个骨骼中的椎体的实例分割结果，所述第三特征图用于指示所述多个骨骼中的肋骨椎骨的实例分割结果；

确定模块1340，用于根据所述第一特征图、所述第二特征图及所述第三特征图确定所述多个骨骼的实例分割结果。

应理解，这里的图像处理的装置1300以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现，对此不作具体限定。例如，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

作为一个示例，本申请实施例提供的图像处理的装置1300可以是处理器或芯片，以用于执行本申请实施例所述的方法。

图14是本申请一个实施例的图像处理的装置1400的示意性框图。图14所示的装置1400包括存储器1401、处理器1402、通信接口1403以及总线1404。其中，存储器1401、处理器1402、通信接口1403通过总线1404实现彼此之间的通信连接。

存储器1401可以是只读存储器(read only memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，RAM)。存储器1401可以存储程序，当存储器1401中存储的程序被处理器1402执行时，处理器1402用于执行本申请实施例的方法的各个步骤，例如，可以执行图2及图3所示实施例的各个步骤。

处理器1402可以采用通用的中央处理器(central processing unit，CPU)，微处理器，应用专用集成电路(application specific integrated circuit，ASIC)，或者一个或多个集成电路，用于执行相关程序，以实现本申请方法实施例的方法。

处理器1402还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请实施例的方法的各个步骤可以通过处理器1402中的硬件的集成逻辑电路或者软件形式的指令完成。

上述处理器1402还可以是通用处理器、数字信号处理器(digital signalprocessing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmable gatearray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1401，处理器1402读取存储器1401中的信息，结合其硬件完成本申请实施例中图像数据处理的装置包括的单元所需执行的功能，或者，执行本申请方法实施例的方法，例如，可以执行图2及图3所示实施例的各个步骤/功能。

通信接口1403可以使用但不限于收发器一类的收发装置，来实现装置1400与其他设备或通信网络之间的通信。

总线1404可以包括在装置1400各个部件(例如，存储器1401、处理器1402、通信接口1403)之间传送信息的通路。

应理解，本申请实施例所示的装置1400可以是处理器或芯片，以用于执行本申请实施例所述的方法。

应理解，本申请实施例中的处理器可以为中央处理单元(central processingunit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像处理的方法，其特征在于，包括：

获取输入图像，所述输入图像包括多个骨骼；

提取所述输入图像的第一特征图，所述第一特征图用于指示所述多个骨骼的初始实例分割结果；

基于所述第一特征图确定椎体关键点及椎间盘平面，所述椎体关键点用于表示所述多个骨骼中各椎体的关键点，所述椎间盘平面用于表示所述多个骨骼中各椎间盘所在的平面；

基于所述第一特征图、所述椎体关键点与所述椎间盘平面提取所述输入图像的第二特征图和第三特征图，所述第二特征图用于指示所述多个骨骼中的椎体的实例分割结果，所述第三特征图用于指示所述多个骨骼中的肋骨椎骨的实例分割结果；

根据所述第一特征图、所述第二特征图及所述第三特征图及其之间的对应关系，确定所述多个骨骼的实例分割结果。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一特征图确定椎体关键点及椎间盘平面，包括：

基于所述第一特征图提取第四特征图，所述第四特征图用于指示所述多个骨骼中的椎间盘的分割结果；

根据所述第一特征图与所述第四特征图确定椎体关键点及椎间盘平面。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一特征图提取第四特征图，包括：

基于所述第一特征图提取第五特征图，所述第五特征图用于指示所述多个骨骼的候选实例分割结果；

基于所述第五特征图提取所述第四特征图。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第一特征图提取第五特征图，包括：

对所述第一特征图进行二值化处理，得到所述多个骨骼的语义分割图；

基于所述语义分割图提取所述第五特征图。

5.根据权利要求3或4所述的方法，其特征在于，所述基于所述第五特征图提取所述第四特征图，包括：

对所述第五特征图进行下采样处理；

基于下采样处理后的所述第五特征图提取所述第四特征图。

6.根据权利要求5所述的方法，其特征在于，所述根据所述第一特征图、所述第二特征图及所述第三特征图及其之间的对应关系，确定所述多个骨骼的实例分割结果，包括：

根据所述第一特征图、所述第二特征图及所述第三特征图及其之间的对应关系，确定所述实例分割结果、前后分界面和左右分界面，所述前后分界面用于将所述多个骨骼划分为前后两部分，所述左右分界面用于将所述多个骨骼划分为左右两部分。

7.根据权利要求6所述的方法，其特征在于，所述根据所述第一特征图、所述第二特征图及所述第三特征图及其之间的对应关系，确定所述实例分割结果、前后分界面和左右分界面，包括：

根据所述第一特征图、所述第二特征图、所述第三特征图、所述第五特征图、所述椎体关键点与所述椎间盘平面及其之间的对应关系，确定所述实例分割结果、所述前后分界面和所述左右分界面。

8.一种图像处理的装置，其特征在于，所述装置用于执行所述权利要求1至7中任一项所述的方法。

9.一种图像处理的装置，其特征在于，包括处理器和存储器，所述存储器用于存储程序指令，所述处理器用于调用所述程序指令来执行权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序指令，当所述程序指令由处理器运行时，实现权利要求1至7中任一项所述的方法。

Images