CN114820592A - 图像处理装置、电子设备及介质 - Google Patents

Abstract

本公开实施例提供了一种图像处理装置、电子设备及介质。该图像处理装置包括输入层、主干网络、特征融合层、特征拼接层和输出层。其中，输入层用于接收目标侧乳腺的病灶区域图像，以及对侧乳腺的对应区域图像。主干网络用于分别处理所述病灶区域图像和所述对应区域图像，得到所述病灶区域的第一图像特征和所述对应区域图像的第二图像特征。特征融合层用于融合所述第一图像特征与第二图像特征，得到第三图像特征。特征拼接层用于拼接所述第一图像特征和所述第三图像特征，得到第四图像特征。输出层用于基于所述第四图像特征确定所述病灶区域图像的病灶预测结果。

Description

图像处理装置、电子设备及介质

技术领域

本说明书涉及计算机视觉技术领域，尤其涉及一种图像处理装置、电子设备及介质。

背景技术

在医学成像领域中，经常显示来自患者的医学图像。乳腺钼靶影像或乳腺断层影像可以提供患者乳房的图像。相关技术中已经存在一些用于检测并提示用户在医学图像序列内的感兴趣区域的方法。随着深度学习的发展，用网络提取图像特征成为医疗影像问题中的主流方法。然而，医疗影像的数据与自然图像相比数量相对较少，同时要解决的问题更加复杂，现有的方法难以准确地对病灶进行预测。

发明内容

为解决相关技术中的问题，本公开实施例提供了一种图像处理装置、电子设备及介质。

本公开的一个方面提供了一种图像处理方法，包括：获得目标侧乳腺的病灶区域图像，以及对侧乳腺的对应区域图像；通过主干网络分别处理所述病灶区域图像和所述对应区域图像，得到所述病灶区域的第一图像特征和所述对应区域图像的第二图像特征；融合所述第一图像特征与第二图像特征，得到第三图像特征；拼接所述第一图像特征和所述第三图像特征，得到第四图像特征；基于所述第四图像特征确定所述病灶区域图像的病灶预测结果。

本公开的另一个方面提供了一种图像处理装置，包括输入层、主干网络、特征融合层、特征拼接层和输出层。其中，输入层用于接收目标侧乳腺的病灶区域图像，以及对侧乳腺的对应区域图像。主干网络用于分别处理所述病灶区域图像和所述对应区域图像，得到所述病灶区域的第一图像特征和所述对应区域图像的第二图像特征。特征融合层用于融合所述第一图像特征与第二图像特征，得到第三图像特征。特征拼接层用于拼接所述第一图像特征和所述第三图像特征，得到第四图像特征。输出层用于基于所述第四图像特征确定所述病灶区域图像的病灶预测结果。

本公开的另一个方面提供了一种电子设备，包括至少一个处理器以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行：获得目标侧乳腺的病灶区域图像，以及对侧乳腺的对应区域图像；通过主干网络分别处理所述病灶区域图像和所述对应区域图像，得到所述病灶区域的第一图像特征和所述对应区域图像的第二图像特征；融合所述第一图像特征与第二图像特征，得到第三图像特征；拼接所述第一图像特征和所述第三图像特征，得到第四图像特征；基于所述第四图像特征确定所述病灶区域图像的病灶预测结果。

本公开的另一个方面提供了一种计算机可读存储介质，存储有计算机可读指令，所述指令在被处理器执行时用于实现如上所述的图像处理方法。

本公开的另一个方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的图像处理方法。

由于左右两侧乳腺的对应区域的信息之间具有医学参考价值，本公开实施例提供的图像处理装置或电子设备，以目标侧特征为主，对侧特征为辅，融合目标侧和对侧乳腺图像的特征，从而通过对侧乳腺图像辅助目标侧病灶的预测，能够改善预测结果的准确性。

附图说明

结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：

图1示意性示出应用本公开实施例的图像处理方法或装置的系统架构示意图；

图2示意性示出本公开实施例的图像处理方法的流程图；

图3A示意性示出本公开实施例的左侧乳腺影像的示意图；

图3B示意性示出本公开实施例的右侧乳腺影像的示意图；

图4示意性示出本公开实施例的获得病灶区域图像和对应区域图像的流程图；

图5示意性示出本公开实施例的对齐两侧乳腺影像的流程图；

图6示意性示出本公开实施例的截取对应区域图像的流程图；

图7示意性示出本公开实施例的融合第一图像特征和第二图像特征的流程图；

图8示意性示出本公开实施例的图像处理过程的示意图；

图9示意性示出本公开实施例的图像处理装置的框图；以及

图10示意性示出适于实现本公开实施例的图像处理方法和装置的计算机系统的结构示意图。

具体实施方式

下文中，将参考附图详细描述本公开的示例性实施例，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施例无关的部分。

在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。

另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

应当注意的是，本公开中数据的获取或展示均经用户授权、确认、或由用户主动选择。

本公开的实施例提供了一种图像处理方法，包括：获得目标侧乳腺的病灶区域图像，以及对侧乳腺的对应区域图像；通过主干网络分别处理所述病灶区域图像和所述对应区域图像，得到所述病灶区域的第一图像特征和所述对应区域图像的第二图像特征；融合所述第一图像特征与第二图像特征，得到第三图像特征；拼接所述第一图像特征和所述第三图像特征，得到第四图像特征；基于所述第四图像特征确定所述病灶区域图像的病灶预测结果。由于左右两侧乳腺的对应区域的信息之间具有医学参考价值，该方法以目标侧特征为主，对侧特征为辅，融合目标侧和对侧乳腺图像的特征，从而通过对侧乳腺图像辅助目标侧病灶的预测，能够改善预测结果的准确性。

以下结合附图，详细说明本公开各实施例提供的技术方案。

图1示意性示出应用本公开实施例的图像处理方法的系统架构示意图。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种客户端应用。例如浏览器类应用、搜索类应用、即时通信类工具等等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种专用或通用的电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。

服务器105可以是提供各种服务的服务器，例如为终端设备101、102、103上所安装的客户端应用提供服务的后端服务器。

服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。

本公开实施例提供的图像处理方法例如可以由服务器105执行，也可以由终端设备101、102、103执行。或者，本公开实施例的图像处理方法可以部分地由终端设备101、102、103执行，其他部分由服务器105执行。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2示意出本说明书实施例的图像处理方法的流程图。

如图2所示，该图像处理方法包括操作S202、S204、S206、S208和S210。

在操作S202，获得目标侧乳腺的病灶区域图像，以及对侧乳腺的对应区域图像；

在操作S204，通过主干网络分别处理所述病灶区域图像和所述对应区域图像，得到所述病灶区域的第一图像特征和所述对应区域图像的第二图像特征；

在操作S206，融合所述第一图像特征与第二图像特征，得到第三图像特征；

在操作S208，拼接所述第一图像特征和所述第三图像特征，得到第四图像特征；

在操作S210，基于所述第四图像特征确定所述病灶区域图像的病灶预测结果。

根据本公开实施例，乳腺影像如钼靶影像或断层影像等，可以显示乳腺内部的组织的状态。左右两侧的乳腺可以分别进行拍摄，得到左侧乳腺影像和右侧乳腺影像，如图3A和图3B所示。

乳腺断层影像(DBT，Digital Breast Tomosynthesis)是数字乳腺X线摄影术的创新。乳腺断层影像技术使用X射线源在乳房周围以弧形移动，从乳房组织中获取信息，以厚度为0.5-1.0毫米乳房组织“切片”重建高分辨率图像。通过呈现乳房内特定平面的图像，乳腺断层影像可以消除重叠的乳房组织，当三维乳房投影到二维图像平面上时，这些组织可能会在标准乳房X光检查中掩盖病灶，因此，乳腺断层影像技术更清晰地可视化乳房病变，并减少由于相邻正常乳房组织叠加而导致的假阳性结果。

根据本公开实施例，例如可以通过病灶识别算法提取左右两侧乳腺影像中疑似病灶的区域，截取病灶区域图像。病灶识别算法可以采用任何可能的现有算法。例如，在乳腺断层影像中，病灶识别算法例如可以产生一个二维的检测框，代表以这个区域为底的柱体里可能存在一个病灶，可以根据该检测框裁剪影像，得到病灶区域图像。对于每一个病灶区域图像，通过位置映射可以确定与该病灶区域对应的另一侧乳腺影像中对应位置的图像，即对应区域图像。可选地，病灶区域图像和对应区域图像也可以是由医生手动提取的。

根据本公开实施例，若乳腺影像为乳腺断层影像，对病灶的检测可以结合三维空间中的对应关系，得到一个三维的检测框。根据该三维的检测框，在乳腺断层影像中的多个二维影像中进行裁剪，得到同一个病灶区域在多个二维影像中的病灶图像区域。对于每一个病灶的多个病灶区域图像，通过位置映射可以确定与该病灶对应的另一侧乳腺影像中对应位置的多个二维影像中的多个对应区域图像。

根据本公开实施例，左右两侧乳腺均提取了病灶区域图像。对于每个病灶区域图像而言，该病灶区域图像所属的一侧乳腺称为目标侧乳腺，另一侧乳腺称为对侧乳腺。例如，对于左侧乳腺影像中检出的病灶区域图像，左侧乳腺为目标侧乳腺，右侧乳腺为对侧乳腺；对于右侧乳腺影像中检出的病灶区域图像，右侧乳腺为目标侧乳腺，左侧乳腺为对侧乳腺。

根据本公开实施例，在操作S204，通过主干网络分别提取病灶区域图像和对应区域图像的图像特征。用于处理病灶区域图像和对应区域图像的主干网络的参数是相同的，在实现时，可以使用两个结构相同且共享参数的主干网络分别处理病灶区域图像和对应区域图像，得到病灶区域的第一图像特征和对应区域图像的第二图像特征。

根据本公开实施例，对于乳腺钼靶影像，主干网络选用二维主干网络。对于乳腺断层影像，主干网络可以选用三维主干网络，从而更好地利用乳腺断层影像中的三维空间信息。

根据本公开实施例，在操作S206和S208，通过残差单元处理第一图像特征和第二图像特征，得到第四图像特征。其中，第一图像特征为主特征，第二图像特征为辅特征。具体地，首先融合第一图像特征和第二图像特征，而后将融合得到的第三图像特征与作为主特征的第一图像特征拼接，得到第四图像特征。第三图像特征与第一图像特征之间的拼接，可以是向量拼接操作(concatenate)，也可以是逐位相加操作(point-wise addition)。

根据本公开实施例，在操作S210，基于第四图像特征预测病灶区域图像，得到预测结果。该预测结果可以包括对病灶类型、恶性程度等方面的预测。该预测例如可以通过一个全连接层实现。

根据本公开实施例，在第四图像特征中，第一图像特征起主要作用，第二图像特征作为辅助，如此有利于改善病灶区域图像的预测结果。

图4示意性示出本公开实施例的获得病灶区域图像和对应区域图像的流程图。

如图4所示，操作S202可以包括操作S402、S404、S406、S408和S410。

在操作S402，获得左侧乳腺影像和右侧乳腺影像。

在操作S404，对齐所述左侧乳腺影像和右侧乳腺影像。

如图3A和3B所示，通常地，左侧乳腺影像和右侧乳腺影像中乳腺的方向不同，并且位置、大小都可能存在不一致的情况，从而影响对应区域图像的确定。本公开实施例在确定对应区域图像之前，对左侧乳腺影像和右侧乳腺影像进行对齐，以减少上述不利影响。

在操作S406，获得病灶区域检测框，所述病灶区域检测框对应的乳腺影像为目标侧乳腺影像，另一侧乳腺影像为对侧乳腺影像。

在操作S408，基于所述病灶区域检测框截取所述目标侧乳腺影像，得到目标侧乳腺的病灶区域图像。

在操作S410，基于所述病灶区域检测框在所述目标侧乳腺影像中的位置，截取所述对侧乳腺影像，得到对侧乳腺的对应区域图像。

根据本公开实施例，可以首先确定病灶区域检测框在目标侧乳腺影像中的位置，而后根据位置映射，确定该检测框在对侧乳腺影像中的对应位置，并且按比例调整检测框的大小，根据调整后的检测框在对侧乳腺中截取对应区域图像。

根据本公开实施例的技术方案，通过对齐两侧乳腺影像，能够更为准确地截取对应区域图像，有利于进一步提高病灶区域预测结果。

图5示意性示出本公开实施例的对齐两侧乳腺影像的流程图。

如图5所示，操作S404可以包括操作S502、S504和S506。

在操作S502，翻转所述对侧乳腺影像，使所述对侧乳腺影像中的乳腺方向与所述目标侧乳腺影像中的乳腺方向一致。例如，可以通过水平翻转图3A或图3B中的任意一个，使二者朝向一致。

根据本公开实施例，若翻转后目标侧乳腺影像和对侧乳腺影像仍存在角度不一致的情况，可以基于胸大肌的检测，通过旋转对侧乳腺影像的角度，进一步对齐两者的方向。

在操作S504，平移所述对侧乳腺影像，使所述对侧乳腺影像中的乳头位置与所述目标侧乳腺影像中的乳头位置一致。

在操作S506，缩放所述对侧乳腺影像，提高所述对侧乳腺影像中的乳腺轮廓与所述目标侧乳腺影像中的乳腺轮廓的相似度。例如，可以连续地缩放对侧乳腺影像，并持续计算两侧乳腺轮廓之间的相似度，在相似度达到最大时停止缩放动作。

根据本公开实施例的技术方案，通过翻转、平移和缩放操作，可以尽可能地对齐两侧乳腺影像，能够更为准确地截取对应区域图像，有利于进一步提高病灶区域预测结果。

在乳腺影像为乳腺断层影像的情况下，可以从深度、宽度和高度三个方向进行调整，以截取对应区域图像。

图6示意性示出本公开实施例的截取对应区域图像的流程图。

如图6所示，操作S410可以包括操作S602、S604、S606和S608。

在操作S602，对所述目标侧乳腺影像与所述对侧乳腺影像的乳腺深度归一化，确定所述对侧乳腺影像在深度方向上的对应区域，其中，所述深度方向为从乳头到胸大肌的方向。

根据本公开实施例，可以利用图像检测算法确定乳头和胸大肌的位置。其中，胸大肌在乳腺影像中可以近似为一条直线。从乳头到胸大肌的垂线方向，即为乳腺的深度方向，并可以定义乳头位置为原点，深度方向为x轴。可以对齐目标侧和对侧乳腺影像中乳头到胸大肌的垂线长度。例如，以左侧为目标侧为例，在左侧乳腺影像中，从乳头到胸大肌的距离为10cm，在右侧乳腺影像中，从乳头到胸大肌的距离为10.4cm，则可以在深度方向上改变右侧乳腺影像中x轴的单位长度，使其在扩大为1.04倍。从而，在已知病灶区域在左侧乳腺影像x轴上的位置信息后，可以确定对应区域在右侧乳腺影像x轴上的位置信息。

在操作S604，对所述目标侧乳腺影像与所述对侧乳腺影像的乳腺宽度归一化，确定所述对侧乳腺影像在宽度方向上的对应区域，其中，所述宽度方向为乳腺影像平面中垂直于所述深度方向的方向。

根据本公开实施例，可以确定乳腺影像平面中垂直于该x轴且过乳头的一条垂线作为y轴。可以计算乳腺边缘的坐标(x，y)，依据乳腺边缘的坐标，改变对侧乳腺影像在y轴上的单位长度，使对侧乳腺影像与目标侧乳腺影像在宽度方向上对齐。从而，在已知病灶区域在目标侧乳腺影像y轴上的位置信息后，可以确定对应区域在对侧乳腺影像y轴上的位置信息。

在操作S606，对所述目标侧乳腺影像与所述对侧乳腺影像的影像层数归一化，确定所述对侧乳腺影像在高度方向上的对应区域，其中，所述高度方向为垂直于乳腺影像的方向。

根据本公开实施例，可以确定过乳头且垂直于乳腺影像平面的直线为z轴。由于乳腺断层影像的每一层具有相同的厚度，乳腺在z方向的长度可以通过层数来表示。可以计算乳腺边缘的坐标(x，y，z)，依据乳腺边缘的坐标，改变对侧乳腺影像在z轴上的单位长度，使对侧乳腺影像与目标侧乳腺影像在高度方向上对齐。从而，在已知病灶区域在目标侧乳腺影像z轴上的位置信息后，可以确定对应区域在对侧乳腺影像z轴上的位置信息。

在操作S608，基于所述深度方向、宽度方向和高度方向上的对应区域，截取所述对侧乳腺的对应区域图像。

根据本公开实施例的技术方案，通过在深度、宽度和高度三个方向上长度归一化，可以尽可能准确地截取对应区域图像，有利于进一步提高病灶区域预测结果。

图7示意性示出本公开实施例的融合第一图像特征和第二图像特征的流程图。

如图7所示，操作S206可以包括操作S702和S704。

在操作S702，拼接所述第一图像特征和第二图像特征，得到第五图像特征。

在操作S704，通过卷积层对所述第五图像特征降采样，得到第三图像特征。

根据本公开实施例，拼接是指向量拼接操作(concatenate)，第五图像特征的维度扩张为第一图像特征和第二图像特征的维度之和。而后通过卷积层对第五图像特征降采样，以减少特征维度，得到第三图像特征。第三图像特征的特征维度可以与第一图像特征或第二图像特征一致。

图8示意性示出本公开实施例的图像处理过程的示意图。

在图8所示的实施例中，左侧乳腺影像为目标侧乳腺影像，右侧乳腺影像为对侧乳腺影像，图中的右侧乳腺影像已于左侧乳腺影像对齐。分别从两侧乳腺影像中截取病灶区域图像和对应区域图像，通过主干网络提取特征，得到第一图像特征和第二图像特征。以第一图像特征为主特征，通过一个残差结构处理第一图像特征和第二图像特征。具体地，首先融合第一图像特征和第二图像特征，得到第三图像特征，而后再与第一图像特征拼接，得到第四图像特征。

本公开实施例的方法以目标侧特征为主，对侧特征为辅，融合目标侧和对侧乳腺图像的特征，从而通过对侧乳腺图像辅助目标侧病灶的预测，能够改善预测结果的准确性。

基于同一发明构思，本公开还提供了一种图像处理装置，下面参照图9对本公开实施例的图像处理装置进行说明。

图9示意性示出本公开实施例的图像处理装置900的框图。其中，该装置900可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。

如图9所示，该图像处理装置900包括输入层902、主干网络904、特征融合层906、特征拼接层908以及输出层910。该图像处理装置900可以执行上文描述的各种方法。

输入层902，用于接收目标侧乳腺的病灶区域图像，以及对侧乳腺的对应区域图像；

主干网络904，用于分别处理所述病灶区域图像和所述对应区域图像，得到所述病灶区域的第一图像特征和所述对应区域图像的第二图像特征；

特征融合层906，用于融合所述第一图像特征与第二图像特征，得到第三图像特征；

特征拼接层908，用于拼接所述第一图像特征和所述第三图像特征，得到第四图像特征；

输出层910，用于基于所述第四图像特征确定所述病灶区域图像的病灶预测结果。

由于左右两侧乳腺的对应区域的信息之间具有医学参考价值，本公开实施例的图像处理装置以目标侧特征为主，对侧特征为辅，融合目标侧和对侧乳腺图像的特征，从而通过对侧乳腺图像辅助目标侧病灶的预测，能够改善预测结果的准确性。

根据本公开实施例，该装置还可以包括第一获得模块、对齐模块、第二获得模块、第一截取模块以及第二截取模块。第一获得模块用于获得左侧乳腺影像和右侧乳腺影像。对齐模块用于对齐所述左侧乳腺影像和右侧乳腺影像。第二获得模块用于获得病灶区域检测框，所述病灶区域检测框对应的乳腺影像为目标侧乳腺影像，另一侧乳腺影像为对侧乳腺影像。第一截取模块用于基于所述病灶区域检测框截取所述目标侧乳腺影像，得到目标侧乳腺的病灶区域图像。第二截取模块用于基于所述病灶区域检测框在所述目标侧乳腺影像中的位置，截取所述对侧乳腺影像，得到对侧乳腺的对应区域图像。

根据本公开实施例，所述病灶区域图像为从目标侧乳腺断层影像的多个断层中截取的多个图像，所述对应区域图像为从对侧乳腺断层影像的多个断层中截取的多个图像。

根据本公开实施例，所述对齐模块包括翻转单元、平移单元和缩放单元。其中，翻转单元用于翻转所述对侧乳腺影像，使所述对侧乳腺影像中的乳腺方向与所述目标侧乳腺影像中的乳腺方向一致。平移单元用于平移所述对侧乳腺影像，使所述对侧乳腺影像中的乳头位置与所述目标侧乳腺影像中的乳头位置一致。缩放单元用于缩放所述对侧乳腺影像，提高所述对侧乳腺影像中的乳腺轮廓与所述目标侧乳腺影像中的乳腺轮廓的相似度。

根据本公开实施例，深度方向为从乳头到胸大肌的方向，宽度方向为乳腺影像平面中垂直于所述深度方向的方向，高度方向为垂直于乳腺影像的方向。根据本公开实施例，所述第二截取模块包括深度归一化单元、宽度归一化单元、高度归一化单元以及截取单元。其中，深度归一化单元用于对所述目标侧乳腺影像与所述对侧乳腺影像的乳腺深度归一化，确定所述对侧乳腺影像在深度方向上的对应区域。宽度归一化单元用于对所述目标侧乳腺影像与所述对侧乳腺影像的乳腺宽度归一化，确定所述对侧乳腺影像在宽度方向上的对应区域。高度归一化单元用于对所述目标侧乳腺影像与所述对侧乳腺影像的影像层数归一化，确定所述对侧乳腺影像在高度方向上的对应区域。截取单元，用于基于所述深度方向、宽度方向和高度方向上的对应区域，截取所述对侧乳腺的对应区域图像。

根据本公开实施例，所述特征融合层用于拼接所述第一图像特征和第二图像特征，得到第五图像特征，对所述第五图像特征降采样，得到第三图像特征。

本公开还公开了一种电子设备，该电子设备包括存储器和处理器，其中，该存储器用于存储支持电子设备执行上述任一实施例中的图像处理方法的程序，该处理器被配置为用于执行该存储器中存储的程序，以实现如上文图2-图8任一实施例描述的图像处理方法。

图10示意性示出适于实现本公开实施例的图像处理方法的计算机系统的结构示意图。

如图10所示，计算机系统1000包括处理单元1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行上述实施例中的各种处理。在RAM 1003中，还存储有系统1000操作所需的各种程序和数据。处理单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

以下部件连接至I/O接口1005：包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。其中，所述处理单元1001可实现为CPU、GPU、TPU、FPGA、NPU等处理单元。

特别地，根据本公开的实施例，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行上述方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中电子设备或计算机系统中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (13)

1.一种图像处理装置，包括：

输入层，用于接收目标侧乳腺的病灶区域图像，以及对侧乳腺的对应区域图像；

主干网络，用于分别处理所述病灶区域图像和所述对应区域图像，得到所述病灶区域的第一图像特征和所述对应区域图像的第二图像特征；

特征融合层，用于融合所述第一图像特征与第二图像特征，得到第三图像特征；

特征拼接层，用于拼接所述第一图像特征和所述第三图像特征，得到第四图像特征；

输出层，用于基于所述第四图像特征确定所述病灶区域图像的病灶预测结果。

2.根据权利要求1所述的装置，还包括：

第一获得模块，用于获得左侧乳腺影像和右侧乳腺影像；

对齐模块，用于对齐所述左侧乳腺影像和右侧乳腺影像；

第二获得模块，用于获得病灶区域检测框，所述病灶区域检测框对应的乳腺影像为目标侧乳腺影像，另一侧乳腺影像为对侧乳腺影像；

第一截取模块，用于基于所述病灶区域检测框截取所述目标侧乳腺影像，得到目标侧乳腺的病灶区域图像；

第二截取模块，用于基于所述病灶区域检测框在所述目标侧乳腺影像中的位置，截取所述对侧乳腺影像，得到对侧乳腺的对应区域图像。

3.根据权利要求1或2所述的装置，其中，所述病灶区域图像为从目标侧乳腺断层影像的多个断层中截取的多个图像，所述对应区域图像为从对侧乳腺断层影像的多个断层中截取的多个图像。

4.根据权利要求2所述的装置，其中，所述对齐模块包括：

翻转单元，用于翻转所述对侧乳腺影像，使所述对侧乳腺影像中的乳腺方向与所述目标侧乳腺影像中的乳腺方向一致；

平移单元，用于平移所述对侧乳腺影像，使所述对侧乳腺影像中的乳头位置与所述目标侧乳腺影像中的乳头位置一致；

缩放单元，用于缩放所述对侧乳腺影像，提高所述对侧乳腺影像中的乳腺轮廓与所述目标侧乳腺影像中的乳腺轮廓的相似度。

5.根据权利要求2或4所述的装置，其中，所述第二截取模块包括：

深度归一化单元，用于对所述目标侧乳腺影像与所述对侧乳腺影像的乳腺深度归一化，确定所述对侧乳腺影像在深度方向上的对应区域，其中，所述深度方向为从乳头到胸大肌的方向；

宽度归一化单元，用于对所述目标侧乳腺影像与所述对侧乳腺影像的乳腺宽度归一化，确定所述对侧乳腺影像在宽度方向上的对应区域，其中，所述宽度方向为乳腺影像平面中垂直于所述深度方向的方向；

高度归一化单元，用于对所述目标侧乳腺影像与所述对侧乳腺影像的影像层数归一化，确定所述对侧乳腺影像在高度方向上的对应区域，其中，所述高度方向为垂直于乳腺影像的方向；

截取单元，用于基于所述深度方向、宽度方向和高度方向上的对应区域，截取所述对侧乳腺的对应区域图像。

6.根据权利要求1或2所述的装置，其中，所述特征融合层用于：

拼接所述第一图像特征和第二图像特征，得到第五图像特征；

对所述第五图像特征降采样，得到第三图像特征。

7.一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

获得目标侧乳腺的病灶区域图像，以及对侧乳腺的对应区域图像；

通过主干网络分别处理所述病灶区域图像和所述对应区域图像，得到所述病灶区域的第一图像特征和所述对应区域图像的第二图像特征；

融合所述第一图像特征与第二图像特征，得到第三图像特征；

拼接所述第一图像特征和所述第三图像特征，得到第四图像特征；

基于所述第四图像特征确定所述病灶区域图像的病灶预测结果。

8.根据权利要求7所述的电子设备，其中，所述获得目标侧乳腺的病灶区域图像，以及对侧乳腺的对应区域图像包括：

获得左侧乳腺影像和右侧乳腺影像；

对齐所述左侧乳腺影像和右侧乳腺影像；

获得病灶区域检测框，所述病灶区域检测框对应的乳腺影像为目标侧乳腺影像，另一侧乳腺影像为对侧乳腺影像；

基于所述病灶区域检测框截取所述目标侧乳腺影像，得到目标侧乳腺的病灶区域图像；

基于所述病灶区域检测框在所述目标侧乳腺影像中的位置，截取所述对侧乳腺影像，得到对侧乳腺的对应区域图像。

9.根据权利要求7或8所述的电子设备，其中，所述病灶区域图像为从目标侧乳腺断层影像的多个断层中截取的多个图像，所述对应区域图像为从对侧乳腺断层影像的多个断层中截取的多个图像。

10.根据权利要求8所述的电子设备，其中，所述对齐所述左侧乳腺影像和右侧乳腺影像包括：

翻转所述对侧乳腺影像，使所述对侧乳腺影像中的乳腺方向与所述目标侧乳腺影像中的乳腺方向一致；

平移所述对侧乳腺影像，使所述对侧乳腺影像中的乳头位置与所述目标侧乳腺影像中的乳头位置一致；

缩放所述对侧乳腺影像，提高所述对侧乳腺影像中的乳腺轮廓与所述目标侧乳腺影像中的乳腺轮廓的相似度。

11.根据权利要求8或10所述的电子设备，其中，所述基于所述病灶区域检测框在所述目标侧乳腺影像中的位置，截取所述对侧乳腺影像，得到对侧乳腺的对应区域图像包括：

对所述目标侧乳腺影像与所述对侧乳腺影像的乳腺深度归一化，确定所述对侧乳腺影像在深度方向上的对应区域，其中，所述深度方向为从乳头到胸大肌的方向；

对所述目标侧乳腺影像与所述对侧乳腺影像的乳腺宽度归一化，确定所述对侧乳腺影像在宽度方向上的对应区域，其中，所述宽度方向为乳腺影像平面中垂直于所述深度方向的方向；

对所述目标侧乳腺影像与所述对侧乳腺影像的影像层数归一化，确定所述对侧乳腺影像在高度方向上的对应区域，其中，所述高度方向为垂直于乳腺影像的方向；

基于所述深度方向、宽度方向和高度方向上的对应区域，截取所述对侧乳腺的对应区域图像。

12.根据权利要求7或8所述的电子设备，其中，所述融合所述第一图像特征和第二图像特征，得到第三图像特征包括：

拼接所述第一图像特征和第二图像特征，得到第五图像特征；

通过卷积层对所述第五图像特征降采样，得到第三图像特征。

13.一种计算机可读存储介质，其上存储有计算机可读指令，所述指令被处理器执行时使得处理器能够执行：

获得目标侧乳腺的病灶区域图像，以及对侧乳腺的对应区域图像；

通过主干网络分别处理所述病灶区域图像和所述对应区域图像，得到所述病灶区域的第一图像特征和所述对应区域图像的第二图像特征；

融合所述第一图像特征与第二图像特征，得到第三图像特征；

拼接所述第一图像特征和所述第三图像特征，得到第四图像特征；

基于所述第四图像特征确定所述病灶区域图像的病灶预测结果。

Images