CN110400302A - 一种确定、显示乳房图像中病灶信息的方法及装置 - Google Patents

Abstract

本申请实施例提供了一种确定、显示乳房图像中病灶信息的方法及装置，所述方法包括：获取乳房图像中关键点的位置；基于所述关键点的位置及所述乳房图像的投照位，划分所述乳房图像中的乳房区域，以获得所述乳房图像中的各分区；基于所述乳房图像中病灶所在位置及所述各分区，确定所述病灶所在的分区。本发明的技术方案避免了医生通过人工阅片的方式确定病灶在乳房图像中的分区带来的误差，提高了识别病灶在乳房图像中所在分区的准确度和诊断效率。

Description

一种确定、显示乳房图像中病灶信息的方法及装置

技术领域

本发明实施例涉及机器学习技术领域，尤其涉及一种确定、显示乳房图像中病灶信息的方法及装置。

背景技术

目前，通过低剂量的乳腺钼靶X线摄影设备采集女性乳房图像，基于采集到的乳房图像可以辅助诊断女性乳腺相关的疾病，尤其是可以检查乳房肿瘤、囊肿等病灶，有助于早期发现乳腺癌，降低乳腺癌患者的死亡率。因此有效的检测出乳房图像中的病灶是乳腺癌筛查中至为关键的一步。

现有技术中，一般通过人工阅片的方式查看乳房图像中的病灶，然而人工阅片的方式一方面难以准确的判断病灶在乳房中的具体位置及病灶所在的分区，另一方面也导致诊断效率较低，进而不利于医生对手术等后续治疗方案的设定。

发明内容

现有技术中通过人工查看乳房图像来判断病灶在乳房中的具体位置及病灶所在的分区，人工查看的方法对病灶定位的准确率低、降低了诊断效率，在一定程度上不利于医生对手术等后续治疗方案的设定。基于此，本申请实施例提供了一种确定、显示乳房图像中病灶信息的方法及装置。

第一方面，本发明实施例提供一种确定乳房图像中病灶信息的方法，包括：

获取乳房图像中关键点的位置；

基于所述关键点的位置及所述乳房图像的投照位，划分所述乳房图像中的乳房区域，以获得所述乳房图像中的各分区；

基于所述乳房图像中病灶所在位置及所述各分区，确定所述病灶所在的分区。

由于乳房不同位置的病变具有特殊的意义，本发明实施例中，通过先确定乳房图像中关键点的位置，进而获得乳房图像中的各个分区；通过病灶识别模型确定病灶在乳房图像中的位置；基于乳房图像中病灶所在位置以及获得的乳房图像中的分区，可以准确的确定病灶所在的分区及其在该分区中的位置，而不需要人工主观的根据乳房图像来判断病灶在乳房中的分区，避免了医生通过人工阅片的方式确定病灶在乳房图像中的分区带来的误差，提高了识别病灶在乳房图像中所在分区的准确度、诊断的准确率和诊断效率，进一步地也有利于医生根据乳房图像中病灶所在的分区，确定针对不同分区病灶的治疗方案，在一定程度上有利于患者恢复的同时也提高了治疗的效率。

一种可能的实现方式，所述关键点包括：腋下第一关键点、腋下第二关键点和乳头关键点；所述乳房图像的投照位，包括：MLO位和CC位；所述基于所述关键点的位置及所述乳房图像的投照位，划分所述乳房图像中的乳房区域，以获得所述乳房图像中的各分区，包括：

以距离所述乳头关键点的距离小于或等于第一阈值的区域为乳晕分区；

若所述乳房图像的投照位为MLO位，则分别过所述乳晕分区边缘与所述乳房区域边缘相交的两个点分别向所述腋下第一关键点和所述腋下第二关键点所在的直线做两条垂线，以所述两条垂线之间的区域为中央分区；以所述腋下第一关键点和所述腋下第二关键点所在的直线与所述乳房图像的边界形成的区域为腋下分区；

若所述乳房图像的投照位为CC位，则分别过所述乳晕分区边缘与所述乳房区域边缘相交的两个点分别向胸墙侧所在的乳房图像边界做两条垂线，以所述两条垂线之间的区域为中央分区；基于所述乳房图像的投照位，确定与所述中央分区相邻的分区。

上述技术方案中，根据乳头关键点确定乳晕分区；针对不同投照位的乳房图像的特性，在MLO位中，通过腋下第一关键点、腋下第二关键点确定腋下分区，进而根据不同投照位的乳房图像中的乳头关键点和/或腋下第一关键点、腋下第二关键点，设定出不同投照位的中央分区，在根据不同投照位的中央分区确定与所述中央分区相邻的分区，有效提高了分区的精度。

一种可能的实现方式，所述基于所述乳房图像的投照位，确定与所述中央分区相邻的分区，包括：

若所述乳房图像的投照位为MLO位，则位于所述中央分区上方的乳房区域为所述乳房图像的上分区，位于所述中央分区下方的乳房区域为所述乳房图像的下分区；

若所述乳房图像的投照位为CC位，则位于所述中央分区上方的乳房区域为所述乳房图像的外分区，位于所述中央分区下方的乳房区域为所述乳房图像的内分区。

上述技术方案中，基于不同投照位，为乳房分区设置了不同投照位下与所述中央分区相邻的分区，方便提高病灶在不同投照位下的分区的准确性，以便后续获得病灶的准确定位。

一种可能的实现方式，所述方法还包括：

获取所述乳头关键点到胸墙侧所在的乳房图像边界之间的第一距离；

基于所述病灶在所述乳房图像中的位置与所述胸墙侧所在的乳房图像边界之间的第二距离，及所述第一距离，确定所述病灶相对胸墙的第一深度；

和/或，基于所述乳头关键点与所述病灶在所述乳房图像中的位置之间的第三距离，及所述第一距离，确定所述病灶相对乳头的第二深度；

根据所述第一深和/或所述第二深度，确定所述病灶在乳房中的位置。

上述技术方案中，通过确定病灶相对关键点的距离，将病灶在图片中的位置转换为病灶在乳房中的具体位置，进而获得病灶在乳房中的准确定位，方便医生根据乳房图像对病灶的诊断，及后续针对不同病灶制定治疗方案，有利于提高诊断的准确性及加快诊疗的效率。

第二方面，本发明实施例还提供一种显示乳房图像中病灶信息的方法，应用于本发明实施例中的方法，该方法包括：

确定乳房图像中乳房区域的各分区；

确定病灶所在的分区；

响应于操作，显示所述病灶所在的分区。

第三方面，本发明实施例提供一种确定乳房图像中病灶信息的装置，包括：

获取模块：用于获取乳房图像中关键点的位置；

处理模块：用于基于所述关键点的位置及所述乳房图像的投照位，划分所述乳房图像中的乳房区域，以获得所述乳房图像中的各分区；基于所述乳房图像中病灶所在位置及所述各分区，确定所述病灶所在的分区。

一种可能的实现方式，所述关键点包括：腋下第一关键点、腋下第二关键点和乳头关键点；所述乳房图像的投照位，包括：MLO位和CC位；所述处理模块，包括：

第一确定模块：用于确定距离所述乳头关键点的距离小于或等于第一阈值的区域为乳晕分区；

第二确定模块：用于在所述乳房图像的投照位为MLO位时，分别过所述乳晕分区边缘与所述乳房区域边缘相交的两个点分别向所述腋下第一关键点和所述腋下第二关键点所在的直线做两条垂线，确定所述两条垂线之间的区域为中央分区；确定所述腋下第一关键点和所述腋下第二关键点所在的直线与所述乳房图像的边界形成的区域为腋下分区；

第三确定模块：用于在所述乳房图像的投照位为CC位时，分别过所述乳晕分区边缘与所述乳房区域边缘相交的两个点分别向胸墙侧所在的乳房图像边界做两条垂线，确定所述两条垂线之间的区域为中央分区；

第四确定模块：用于基于所述乳房图像的投照位，确定与所述中央分区相邻的分区。

一种可能的实现方式，所述第四确定模块，包括：

上下分区确定模块：用于在所述乳房图像的投照位为MLO位时，确定位于所述中央分区上方的乳房区域为所述乳房图像的上分区，位于所述中央分区下方的乳房区域为所述乳房图像的下分区；

内外分区确定模块：用于在所述乳房图像的投照位为CC位时，确定位于所述中央分区上方的乳房区域为所述乳房图像的外分区，位于所述中央分区下方的乳房区域为所述乳房图像的内分区。

一种可能的实现方式，所述处理模块，还包括：

乳房深度获取模块：用于获取所述乳头关键点到胸墙侧所在的乳房图像边界之间的第一距离；

第一深度确定模块：用于基于所述病灶位置与所述胸墙侧所在的乳房图像边界之间的第二距离，及所述第一距离，确定所述病灶相对胸墙的第一深度；和/或，

第二深度确定模块：用于基于所述乳头关键点与所述病灶在所述乳房图像中的位置之间的第三距离，及所述第一距离，确定所述病灶相对乳头的第二深度；

病灶深度确定模块：用于根据所述第一深度和/或所述第二深度，确定所述病灶在乳房中的位置。

第四方面，本申请实施例提供了显示乳房图像中病灶信息的装置，包括：

处理模块：用于确定乳房图像中乳房区域的各分区；确定病灶所在的分区；

显示模块：用于响应于操作，显示所述病灶所在的分区。

第五方面，本申请实施例提供了一种确定、显示乳房图像中病灶信息的设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储单元存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行第一方面所述方法的步骤。

第六方面，本申请实施例提供了一种计算机可读介质，其存储有可由确定、显示乳房图像中病灶信息的设备执行的计算机程序，当所述程序在确定、显示乳房图像中病灶信息的设备上运行时，使得所述确定、显示乳房图像中病灶信息的设备执行第一方面所述方法的步骤。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种确定乳房图像中病灶信息的方法的流程示意图；

图2a为本申请实施例提供的一种乳房图像的分区示意图；

图2b为本申请实施例提供的一种乳房图像的分区示意图；

图2c为本申请实施例提供的一种乳房图像的粗分割区域示意图；

图2d为本申请实施例提供的一种乳房图像的病灶在乳房中的位置示意图；

图3为本申请实施例提供的一种乳房图像的显示示意图；

图4为本申请实施例提供的一种确定乳房图像中病灶信息的装置的结构示意图；

图5为本申请实施例提供的一种显示乳房图像中病灶信息的装置的结构示意图；

图6为本申请实施例提供的一种确定、显示乳房图像中病灶信息的设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

基于上述问题，图1示例性示出了本申请实施例提供的一种确定乳房图像中病灶信息的方法的流程示意图，该流程可以由确定乳房图像中病灶信息的装置执行，具体包括以下步骤：

步骤S101，获取乳房图像中关键点的位置。

步骤S102，基于所述关键点的位置及所述乳房图像的投照位，划分所述乳房图像中的乳房区域，以获得所述乳房图像中的各分区。

步骤S103，基于所述乳房图像中病灶所在位置及所述各分区，确定所述病灶所在的分区。

执行步骤S101，本步骤中，乳房图像可以是采用X摄影设备采集的特定图像，例如，乳腺钼靶图像。当然，也可以为磁共振成像(Magnetic Resonance Imaging，MRI)设备采集的特定图像。从图像的维度讲，乳房图像可以为三维图像，也可以为二维图像。示例性地，乳房图像可以如图3所示的乳腺钼靶图像。

本步骤中，乳房图像中关键点的位置可以为根据预先训练好的定位模型确定的，也可以通过预设规则确定乳房图像的关键点的位置，还可以通过图像检测算法检测关键点的位置，在此不做限定。

本发明实施例以通过定位模型获取乳房图像中关键点的位置为例进行说明。在通过定位模型获取乳房图像中关键点的位置之前，需要多幅乳房图像作为训练样本以对定位模型进行训练，在训练之前，或者输入至定位模型确定乳房图像中关键点的位置之前，可以对多幅乳房图像进行预处理，乳房图像可以为DICOM格式的原始乳房图像文件。预处理可以包括图像归一化。图像归一化包括以下步骤：

将所有的原始乳房图像，转换为预设大小和设定的窗宽窗位的图片格式。预设大小和设定的窗宽窗位可以根据乳房图像拍摄的实际情况调整，在此不做限定。

具体的，可以选取设定的窗宽窗位，例如，窗宽W＝80，窗位L＝40，将DICOM格式的各幅乳房图像转换为该窗宽窗位下PNG格式的各幅乳房图像。将转换后的各幅乳房图像插值缩放到设定大小，例如512*512像素。一种可能的实现方式，还可以通过在转换后的乳房图像上侧或两侧添加黑边，将转换后的乳房图像长宽比调整为1:1。

本发明实施例中，定位模型可以包括第一定位模块和第二定位模块，第一定位模块和第二定位模块均为卷积神经网络，其中，第一定位模块是以预先标记关键点的多幅乳房图像为训练样本，对卷积神经网络进行训练后确定的。第二定位模块可以以多幅乳房图像中预先标记关键点的多个粗分割区域为训练样本，对卷积神经网络进行训练后确定的，第二定位模块的数量可以根据粗分割区域确定，粗分割区域根据第一定位模块输出的第一关键点确定。

第一定位模块通过如下方式训练获得：

获取多幅乳房图像作为训练样本。针对每一幅乳房图像，对其进行预处理，预处理见本文前述部分描述，此处不再赘述。由标注人员在每幅乳房图像中标注第一关键点，此处的第一关键点可以为划分乳房图像中乳房区域所需的关键点，例如，乳头关键点(其中，乳头关键点可以选取乳房皮肤表面在乳头或乳晕区域范围内的一个或多个点，例如，可以选取乳晕中心点作为乳头关键点)，腋下关键点等。每一个第一关键点对应一个序号。然后对训练样本进行数据增强，将数据量增强至原来数据量的10倍，数据增强的方法包括但不限于：1、随机旋转一定角度。2、随机上下左右平移0～30像素。3、随机缩放0.85～1.15倍。4、对图像对比度和亮度进行少量抖动。之后再将经过数据增强后的训练样本输入卷积神经网络进行训练。训练时根据标注的第一关键点和卷积神经网络预测的第一关键点计算损失函数，通过反向传播的方法训练，训练的优化算法可以使用带有动量和阶梯衰减的随机梯度下降(Stochastic Gradient Descent，SGD)优化算法。

可选地，上述卷积神经网络的结构，可以包括M个连续的卷积特征提取块以及一个全连接层。卷积特征提取块包括L个卷积模块，L大于0，任意一个卷积模块中包括卷积层、BN层及ReLU层。M，L为正整数，可以根据需要确定具体的值，在此不做限定。

第二定位模块通过如下方式训练获得：

获取多幅乳房图像作为训练样本。多幅乳房图像可以仅为同一投照位的左右乳房的乳房图像，也可以包括所有投照位的单侧乳房的乳房图像，在此不做限定。针对每一幅乳房图像，对其进行预处理。

根据第一定位模块确定出的第一关键点，及预设规则从每一幅确定出第一关键点的乳房图像中分割出多个粗分割区域，针对每个粗分割区域分别训练各自的第二定位模块；具体的，可以以同一预设规则在多幅乳房图像中分割出的同一粗分割区域为训练样本训练一个第二定位模块。如：从每一幅乳房图像中以第一关键点为圆心，2mm为半径分割出的圆形区域为训练样本训练一个第二定位模块。针对任意一个第二定位模块，由标注人员在每个粗分割区域中标注第二关键点，也可以直接使用分割出该分割区域时对应的乳房图像中已经人工标注的第一关键点作为第二关键点，每一个第二关键点对应一个序号。然后对以分割区域为训练样本的样本进行数据增强，将数据量增强至原来数据量的10倍，数据增强的方法包括但不限于：1.随机上下左右平移0～20像素；2.随机旋转-20～～20度；3.随机缩放0.8～1.2倍。之后再将该训练样本输入卷积神经网络进行训练。训练时根据标注的第二关键点的坐标和网络预测的第二关键点的坐标计算损失函数，通过反向传播的方法训练，训练的优化算法可以使用带有动量和阶梯衰减的随机梯度下降(Stochastic GradientDescent，SGD)算法。卷积神经网络包括M个连续的卷积特征提取块以及一个全连接层。

采用上述方法确定定位模型中的第一定位模块和第二定位模块之后，获取乳房图像中关键点的位置，具体包括以下步骤：

S1010：将乳房图像输入第一定位模块，确定乳房图像中的第一关键点的位置；

具体的，第一关键点可以是乳头关键点、腋下第一关键点、腋下第二关键点等。

S1011：根据所述第一关键点的位置确定乳房图像中的一个或多个粗分割区域；

粗分割区域可以包括：乳头区域，腺体区域、腋下分区、淋巴区域等；粗分割区域的具体位置以及粗分割区域的大小和形状可以预先设置，在此不做限定。通过设置粗分割区域，相比直接通过乳房图像确定关键点的方法，可以提高关键点定位的准确性。

图2c为本申请实施例提供的一种乳房图像的粗分割区域示意图。参见图2c所示，根据第一定位模块确定出第一关键点a1、b1和b2。其中，第一关键点a1为乳头关键点，第一关键点b1和b2分别为腋下第一关键点和腋下第二关键点。根据乳头关键点a1的位置，确定乳头粗分割区域。根据腋下第一关键点b1的位置和腋下第二关键点b2的位置，确定腋下粗分割区域。

S1012：针对每一个粗分割区域，将所述粗分割区域输入对应的第二定位模块，确定所述粗分割区域中第二关键点的位置；

S1013：将所述第二关键点的位置作为乳房图像中关键点的位置。

采用定位模型定位乳房图像中关键点的位置时，先采用第一定位模块从乳房图像中确定第一关键点的位置，基于第一关键点的位置确定粗分割区域，缩小了关键点的定位范围，然后再通过相应的第二定位模块从粗分割区域中定位第二关键点的位置，进而确定乳房图像中关键点的位置，提高了关键点定位的精度。

为进一步提高乳房图像中关键点的定位精度，避免乳房图像中的噪声的干扰，一种可能的实现方式，在训练定位模型时，增加训练样本数据的信息量，提高定位模型的定位精度，进而提高关键点的定位精度。具体地，在训练定位模型时，训练样本可以包括乳房图像和乳房图像的参考图像，乳房图像的参考图像是指将与乳房图像对应的图像进行翻转后得到的图像。举例来说：若乳房图像为一患者的右乳图像，则与该乳房图像对应的图像指该患者的左乳图像，将左乳图像进行翻转后得到的图像为右乳图像的参考图像。

具体地，在训练定位模型的过程中，将分别标注了第一关键点的乳房图像及乳房图像的参考图像输入至第一定位模块的卷积特征提取块中，分别获取乳房图像的特征图，及乳房图像的参考图像的参考特征图；将特征图及参考特征图输入至第一定位模块的全连接层的分类部分中，获得乳房图像中的第一关键点。根据标注的第一关键点和卷积神经网络预测的第一关键点计算损失函数，通过反向传播的方法训练，训练过程与上述的训练第一定位模块的过程相似，此处不再赘述。

然后，根据第一定位模块确定出的第一关键点，及预设规则从乳房图像及乳房图像的参考图像中分割出多个粗分割区域。在以同一规则分割出的多个粗分割区域中标注了第二关键点的粗分割区域作为训练样本训练卷积神经网络，以获得多个第二定位模块，训练过程与上述第二定位模块的训练过程相类似，此处不再赘述。此外，也可以不用在粗分割区域中标注第二关键点，而是直接使用分割出该粗分割区域时对应的乳房图像和乳房参考图像中已经标注的第一关键点作为第二关键点。至此，通过增加训练样本数据的信息量，提高了定位模型的定位精度。在通过该定位模型确定乳房图像中的关键点可以包括如下步骤：

S1010'：获取第一图像和第二图像，将所述第二图像翻转以获得第一图像的参考图像，将所述第一图像翻转以获得第二图像的参考图像，其中，所述第一图像为左侧乳房图像，所述第二图像为与所述左侧乳房图像对应的右侧乳房图像；

S1011'：将所述第一图像和所述第一图像的参考图像输入至定位模型中，以获得所述第一图像中的关键点的位置。

S1012'：将所述第二图像和所述第二图像的参考图像输入至定位模型中，以获得所述第二图像中关键点的位置。

在检测一侧乳房中的关键点时，利用了另一侧乳房的信息，避免了单侧乳头凹陷等问题导致定位精度下降的问题，提高了乳头定位的准确性，并排除了腺体、噪点等干扰因素对乳房区域的影响，提高了定位的准确性。

执行S102，基于所述关键点的位置及所述乳房图像的投照位，划分所述乳房图像中的乳房区域，以获得所述乳房图像中的各分区。

本实施例中，S101获取的乳房图像中的关键点可以包括：腋下第一关键点、腋下第二关键点及乳头关键点；乳房图像的投照位可以包括：MLO位、CC位。对于CC位而言，其不存在腋下分区，因此，对于CC位而言，基于乳头关键点将乳房区域划分为不同的分区。对于MLO位而言，基于乳头关键点、腋下第一关键点和腋下第二关键点将乳房区域划分为不同的分区。以下结合附图分别进行相应的说明。

参见图2b，对于CC位而言，划分乳房图像中的乳房区域包括如下步骤：

S1020：以距离所述乳头关键点的距离小于或等于第一阈值的区域为乳晕分区。

例如，以第一阈值为2cm为例，则到乳头关键点距离小于或等于2cm的区域均为乳晕分区，如图2b中所示。

S1021：分别过所述乳晕分区边缘与所述乳房区域边缘相交的两个点分别向胸墙侧所在的乳房图像边界做两条垂线，以所述两条垂线之间的区域为中央分区。

继续参见图2b，乳晕分区边缘与乳房区域边缘相交的点分别为P1和P2，过P1和P2向胸墙侧所在的乳房图像边界做垂线，两条垂线之间的区域为中央分区。

S1022：以位于所述中央分区上方的乳房区域为所述乳房图像的外分区，位于所述中央分区下方的乳房区域为所述乳房图像的内分区。

继续参见图2b，图2b中示出了位于中央分区上方的外分区和位于中央分区下方的内分区。

参见图2a，对于MLO位而言，划分乳房图像中的乳房区域包括如下步骤：

S1020'：以距离所述乳头关键点的距离小于或等于第一阈值的区域为乳晕分区。如以到乳头关键点距离小于或等于2cm的区域为乳晕分区，如图2a中所示。

S1021'：分别过所述乳晕分区边缘与所述乳房区域边缘相交的两个点分别向所述腋下第一关键点和所述腋下第二关键点所在的直线做两条垂线，以所述两条垂线之间的区域为中央分区。

继续参见图2a，乳晕分区边缘与乳房区域边缘相交的点分别为P1和P2，过P1和P2向腋下第一关键点和腋下第二关键点所在的直线做垂线，即向图2a中三角形区域斜边所在的直线做垂线，两条垂线之间的区域即为中央分区。

S1022'：以所述腋下第一关键点和所述腋下第二关键点所在直线与乳房图像边界形成的区域为腋下分区。

对于乳房图像而言，其包括水平边界和竖直边界，参见图2a所示，而对于腋下关键点而言，其通常位于乳房图像左上角或者右上角的区域，本实施例中，为提高关键点的检出效率，可以对分别位于乳房图像的水平边界和竖直边界上的腋下第一关键点和腋下第二关键点进行检测，以减少关键点检出的计算量。

将分别位于乳房图像边界上的腋下第一关键点和腋下第二关键点相连，乳房图像边界和腋下第一关键点和腋下第二关键点之间连线所包围的区域为腋下分区，参见图2a中阴影部分所示的区域。图2a中为右侧乳房的MLO图像，因此，腋下分区位于乳房图像的右上角，同理，若为左侧乳房的MLO图像，则腋下分区位于乳房图像的左上角。

S1023'：以位于所述中央分区上方的乳房区域为所述乳房图像的上分区，位于所述中央分区下方的乳房区域为所述乳房图像的下分区。

继续参见图2a，图2a中央分区上方和下方的乳房区域分别为乳房图像的上分区和下分区。

通过上述对乳房区域进行分区的方法，将乳房图像划分为如图2a和2b所示的乳晕分区、中央分区、上分区、下分区、腋下分区、外分区和内分区。需要说明的是，本实施例中对乳房区域进行了上述的划分以得到相应的区域，但是乳房区域的划分并不仅限于上述的划分，可以根据实际的需要进行不同的划分。

本实施例中，乳房图像为CC位，通过乳头关键点确定中央分区，乳房图像为MLO位，通过乳头关键点和腋下关键点确定中央分区，由于中央分区的划分基于乳房图像不同的投照位进行，因此提高了对中央分区划分的准确度。

步骤S103，基于所述乳房图像中病灶所在位置及所述各分区，确定所述病灶所在的分区。

其中，乳房图像中病灶所在位置可以根据预先训练好的病灶识别模型确定。

本发明实施例中，为进一步确定病灶在乳房中的位置，所述方法还可以包括：

获取所述乳头关键点到胸墙侧所在的乳房图像边界之间的第一距离；

基于所述病灶在乳房图像中的位置与所述胸墙侧所在的乳房图像边界之间的第二距离，及所述第一距离，确定所述病灶相对胸墙的第一深度；

和/或，基于所述病灶在乳房图像中的位置与所述乳头关键点之间的第三距离，及所述第一距离，确定所述病灶相对乳头的第二深度；

根据所述第一深度和/或所述第二深度，确定所述病灶在乳房中的位置。

本发明实施例中，病灶在乳房图像中的位置可以根据病灶识别模型确定，具体的病灶识别模型的训练方式可参考现有技术中的病灶识别模型的训练方式，在此不做限定。

具体的，可以通过判断乳房图像是否为左右乳，确定乳房图像中的胸墙侧所在的乳房图像边界，例如，若确定乳房图像为右乳的乳房图像，则胸墙侧所在的乳房图像边界为右侧的竖直边界，若确定乳房图像为左乳的乳房图像，则胸墙侧所在的乳房图像边界为左侧的竖直边界。

一种可能的实施方式，如图2d所示，可以基于病灶在乳房图像中的中心位置与胸墙侧所在的乳房图像边界之间的第二距离L1，及第一距离L的比值L1/L，作为病灶相对胸墙的第一深度。

另一种可能的实施方式，可以设置不同的深度区间。例如设置深度区间为(0，1/3L)，(1/3L，2/3L)，(2/3L，L)。将第二距离L1与1/3L,2/3L比较,确定病灶所在的深度区间，例如，L1位于(2/3L，L)的深度区间，通过该深度区间确定病灶在乳房中的位置。

一种可能的实施方式，可以基于病灶在乳房图像中的位置与乳头关键点之间的第三距离，及第一距离，确定病灶相对乳头的第二深度。

举例来说，可以根据乳晕中心点的位置，确定乳晕中心点到病灶的中心位置的距离L2,及第一距离L的比值L2/L作为病灶与所述乳头关键点的第二深度。

通过第一深度，可以确定病灶距离胸墙侧的深度；通过第二深度可以确定病灶距离乳头的深度。在具体实施过程中，可以根据实际需要，选择第一深度和/或第二深度表示病灶在乳房中的位置，在此不做限定。

上述技术方案中，通过确定病灶在乳房中的深度，方便医师确定病灶在乳房中的具体位置，进而获得病灶的准确定位，极大地方便了基于乳房图像对病灶的诊断，进而方便后续针对不同病灶提出准确的治疗方案，有利于提高诊断的准确性及加快诊疗的效率。

进一步的，为方便医生诊断及对后续治疗进行参考，可以将病灶在乳房图像上的位置转换为物理位置。具体的，可以通过像素空间pixel spacing进行像素坐标和物理坐标的转换。进而通过第一深度和/或第二深度，及转换后病灶在乳房图像中的物理坐标，确定病灶在乳房中的实际位置。

由于乳房不同位置的病变具有特殊的意义，本发明实施例中，通过先确定乳房图像中关键点的位置，进而获得乳房图像中的各个分区；通过病灶识别模型确定病灶在乳房图像中的位置；基于乳房图像中病灶所在位置以及获得的乳房图像中的分区，可以准确的确定病灶所在的分区及其在该分区中的位置，而不需要人工主观综合判断各病灶所在的分区，避免了医生通过人工阅片的方式确定病灶在乳房图像中的分区带来的误差，提高了识别病灶在乳房图像中所在分区的准确度和诊断效率，进一步地也有利于医生根据乳房图像中病灶所在的分区，确定针对不同分区病灶的治疗方案，在一定程度上有利于患者的恢复。本发明实施例中，基于对乳房区域的划分和病灶所在的位置进而定位病灶在乳房图像中的分区，故不需要通过人工主观的根据乳房图像来判断病灶在乳房中的分区，提高了诊断的准确率，在一定程度上也提高了临床诊断和治疗的效率。

本发明实施例还提供一种乳房图像的显示方法，应用于本发明实施例中的方法，该方法包括：

确定乳房图像中乳房区域的各分区；

确定病灶所在的分区；

响应于操作，显示所述病灶所在的分区。

如图3所示，病灶通过方框标注，病灶所在的分区为中央分区和下分区。

通过上述方案，可以显示对乳腺病灶所在的分区，帮助临床医生定位病灶位置，而不需要仅通过人工主观根据乳房图像判断病情，提高诊断的准确率，并进一步帮助其进行手术等，提高了临床诊断和治疗的效率。

基于相同的技术构思，本申请实施例提供了一种乳房图像中病灶信息的确定装置，如图4所示，该装置400包括：

获取模块401：用于获取乳房图像中关键点的位置；

处理模块402：用于基于所述关键点的位置及所述乳房图像的投照位，划分所述乳房图像中的乳房区域，以获得所述乳房图像中的各分区；基于所述乳房图像中病灶所在位置及所述各分区，确定所述病灶所在的分区。

一种可能的实现方式，所述关键点包括：腋下第一关键点、腋下第二关键点和乳头关键点；所述乳房图像的投照位包括：MLO位和CC位；处理模块402，包括：

第一确定模块：用于确定距离所述乳头关键点的距离小于或等于第一阈值的区域为乳晕分区；

第二确定模块：用于在所述乳房图像的投照位为MLO位时，分别过所述乳晕分区边缘与所述乳房区域边缘相交的两个点分别向所述腋下第一关键点和所述腋下第二关键点所在的直线做两条垂线，确定所述两条垂线之间的区域为中央分区；确定所述腋下第一关键点和所述腋下第二关键点所在的直线与所述乳房图像的边界形成的区域为腋下分区；

第三确定模块：用于在所述乳房图像的投照位为CC位时，分别过所述乳晕分区边缘与所述乳房区域边缘相交的两个点分别向胸墙侧所在的乳房图像边界做两条垂线，确定所述两条垂线之间的区域为中央分区；

第四确定模块：用于基于所述乳房图像的投照位，确定与所述中央分区相邻的分区。

一种可能的实现方式，所述第四确定模块，包括：

上下分区确定模块：用于在所述乳房图像的投照位为MLO位时，确定位于所述中央分区上方的乳房区域为所述乳房图像的上分区，位于所述中央分区下方的乳房区域为所述乳房图像的下分区；

内外分区确定模块：用于在所述乳房图像的投照位为CC位时，确定位于所述中央分区上方的乳房区域为所述乳房图像的外分区，位于所述中央分区下方的乳房区域为所述乳房图像的内分区。

一种可能的实现方式，处理模块402，还包括：

乳房深度确定模块：用于确定所述乳头关键点到胸墙侧所在的乳房图像边界之间的第一距离；

第一深度确定模块：用于基于所述病灶位置与胸墙侧所在的乳房图像边界之间的第二距离，及所述第一距离，确定所述病灶相对胸墙的第一深度；和/或，

第二深度确定模块：用于基于所述乳头关键点与所述病灶在所述乳房图像中的位置之间的第三距离，及所述第一距离，确定所述病灶相对乳头的第二深度；

病灶深度确定模块：用于根据所述第一深度和/或所述第二深度，确定所述病灶在乳房中的位置。

基于相同的技术构思，如图5所示，本申请实施例提供了显示乳房图像中病灶信息的装置500，包括：

处理模块501：用于确定乳房图像中乳房区域的各分区；确定病灶所在的分区；

显示模块502：用于响应于操作，显示所述病灶所在的分区。

基于相同的技术构思，本申请实施例提供了一种确定、显示乳房图像中病灶信息的设备，如图6所示，包括至少一个处理器601，以及与至少一个处理器连接的存储器602，本申请实施例中不限定处理器601与存储器602之间的具体连接介质，图6中处理器601和存储器602之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。

在本申请实施例中，存储器602存储有可被至少一个处理器601执行的指令，至少一个处理器601通过执行存储器602存储的指令，可以执行前述的确定、显示乳房图像中病灶信息的方法中所包括的步骤。

其中，处理器601是确定、显示乳房图像中病灶信息的设备的控制中心，可以利用各种接口和线路连接乳房图像中病灶信息的确定显示设备的各个部分，通过运行或执行存储在存储器602内的指令以及调用存储在存储器602内的数据，从而实现乳房图像中病灶信息的确定和/或显示。可选的，处理器601可包括一个或多个处理模块，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。在一些实施例中，处理器601和存储器602可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器601可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器602作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器602可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器602是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器602还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

基于同一发明构思，本申请实施例还提供了一种计算机可读介质，其存储有可由确定、显示乳房图像中病灶信息的设备执行的计算机程序，当所述程序在确定、显示乳房图像中病灶信息的设备上运行时，使得所述确定、显示乳房图像中病灶信息的设备执行确定、显示乳房图像中病灶信息的方法的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种确定乳房图像中病灶信息的方法，其特征在于，包括：

获取乳房图像中关键点的位置；

基于所述关键点的位置及所述乳房图像的投照位，划分所述乳房图像中的乳房区域，以获得所述乳房图像中的各分区；

基于所述乳房图像中病灶所在位置及所述各分区，确定所述病灶所在的分区。

2.如权利要求1所述的方法，其特征在于，所述关键点包括：腋下第一关键点、腋下第二关键点和乳头关键点；所述乳房图像的投照位，包括：MLO位和CC位；所述基于所述关键点的位置及所述乳房图像的投照位，划分所述乳房图像中的乳房区域，以获得所述乳房图像中的各分区，包括：

以距离所述乳头关键点的距离小于或等于第一阈值的区域为乳晕分区；

若所述乳房图像的投照位为MLO位，则分别过所述乳晕分区边缘与所述乳房区域边缘相交的两个点分别向所述腋下第一关键点和所述腋下第二关键点所在的直线做两条垂线，以所述两条垂线之间的区域为中央分区；以所述腋下第一关键点和所述腋下第二关键点所在的直线与所述乳房图像的边界形成的区域为腋下分区；

若所述乳房图像的投照位为CC位，则分别过所述乳晕分区边缘与所述乳房区域边缘相交的两个点分别向胸墙侧所在的乳房图像边界做两条垂线，以所述两条垂线之间的区域为中央分区；基于所述乳房图像的投照位，确定与所述中央分区相邻的分区。

3.如权利要求2所述的方法，其特征在于，所述基于所述乳房图像的投照位，确定与所述中央分区相邻的分区，包括：

若所述乳房图像的投照位为MLO位，则位于所述中央分区上方的乳房区域为所述乳房图像的上分区，位于所述中央分区下方的乳房区域为所述乳房图像的下分区；

若所述乳房图像的投照位为CC位，则位于所述中央分区上方的乳房区域为所述乳房图像的外分区，位于所述中央分区下方的乳房区域为所述乳房图像的内分区。

4.如权利要求2所述的方法，其特征在于，还包括：

获取所述乳头关键点到胸墙侧所在的乳房图像边界之间的第一距离；

基于所述病灶位置与所述胸墙侧所在的乳房图像边界之间的第二距离，及所述第一距离，确定所述病灶相对胸墙的第一深度；和/或，基于所述乳头关键点到所述病灶的第三距离，及所述第一距离，确定所述病灶相对乳头的第二深度；

根据所述第一深度和/或所述第二深度，确定所述病灶在乳房中的位置。

5.一种显示乳房图像中病灶信息的方法，其特征在于，包括：

确定乳房图像中乳房区域的各分区；

确定病灶所在的分区；

响应于操作，显示所述病灶所在的分区。

6.一种确定乳房图像中病灶信息的装置，其特征在于，包括：

获取模块：用于获取乳房图像中关键点的位置；

处理模块：用于基于所述关键点的位置及所述乳房图像的投照位，划分所述乳房图像中的乳房区域，以获得所述乳房图像中的各分区；基于所述乳房图像中病灶所在位置及所述各分区，确定所述病灶所在的分区。

7.如权利要求6所述的装置，其特征在于，所述关键点包括：腋下第一关键点、腋下第二关键点和乳头关键点；所述乳房图像的投照位包括：MLO位和CC位；

所述处理模块，包括：

第一确定模块：用于确定距离所述乳头关键点的距离小于或等于第一阈值的区域为乳晕分区；

第二确定模块：用于在所述乳房图像的投照位为MLO位时，分别过所述乳晕分区边缘与所述乳房区域边缘相交的两个点分别向所述腋下第一关键点和所述腋下第二关键点所在的直线做两条垂线，确定所述两条垂线之间的区域为中央分区；确定所述腋下第一关键点和所述腋下第二关键点所在的直线与所述乳房图像的边界形成的区域为腋下分区；

第三确定模块：用于在所述乳房图像的投照位为CC位时，分别过所述乳晕分区边缘与所述乳房区域边缘相交的两个点分别向胸墙侧所在的乳房图像边界做两条垂线，确定所述两条垂线之间的区域为中央分区；

第四确定模块：用于基于所述乳房图像的投照位，确定与所述中央分区相邻的分区。

8.一种显示乳房图像中病灶信息的装置，其特征在于，包括：

处理模块：用于确定乳房图像中乳房区域的各分区；确定病灶所在的分区；

显示模块：用于响应于操作，显示所述病灶所在的分区。

9.一种计算机设备，其特征在于，包括至少一个处理器、以及至少一个存储器，其中，所述存储单元存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行权利要求1～4或权利要求5任一权利要求所述方法的步骤。

10.一种计算机可读介质，其特征在于，其存储有可由确定、显示乳房图像中病灶信息的设备执行的计算机程序，当所述程序在确定、显示乳房图像中病灶信息的设备上运行时，使得所述确定、显示乳房图像中病灶信息的设备执行权利要求1～4或权利要求5任一所述方法的步骤。