CN111047610A

CN111047610A - 病灶区域呈现方法和装置

Info

Publication number: CN111047610A
Application number: CN202010173150.8A
Authority: CN
Inventors: 任鸿伦; 闫丁予; 胡勇; 张笑春; 刚亚栋
Original assignee: Shanghai Shenrui Bolian Medical Technology Co Ltd; Beijing Shenrui Bolian Technology Co Ltd; Shenzhen Deepwise Bolian Technology Co Ltd
Current assignee: Shanghai Shenrui Bolian Medical Technology Co Ltd; Beijing Shenrui Bolian Technology Co Ltd; Shenzhen Deepwise Bolian Technology Co Ltd
Priority date: 2020-03-13
Filing date: 2020-03-13
Publication date: 2020-04-21

Abstract

本申请实施例提供了一种病灶区域呈现方法和装置，解决了现有病灶区域呈现方式的轮廓遮挡和范围不明确的问题。该病灶区域呈现方法包括：基于医学影像获取病灶征象的征象闭合轮廓；以及将包括所述征象闭合轮廓的所述医学影像的颜色属性进行颜色格式处理，以填充所述征象闭合轮廓内区域的颜色；其中，所述颜色格式处理包括红色通道、绿色通道、蓝色通道和透明度通道。本申请通过这种局部着色提示的方式，可有效避免医生遗漏病灶，造成对于患者疾病的漏判；而在大面积病灶的情况下，选择用着色的方式，可保留原影像区域的特征信息，以避免造成病灶和周边组织的边界混淆。

Description

病灶区域呈现方法和装置

技术领域

本申请涉及影像分析技术领域，具体涉及一种病灶区域呈现方法、装置、电子设备和计算机可读存储介质。

背景技术

2020年新型冠状病毒造成中国国内广泛出现病毒性肺炎患者，这类肺炎潜伏期长，患病后发展迅速，从早期肺内少数的磨玻璃影状病灶快速发展成多数病灶，单体病灶范围逐渐增长，多个病灶汇集在一起，变成大量实变，难以分辨病灶的轮廓，更无法判断病灶的体积。

目前市场上的常规PACS（影像归档和通信）产品多数显示方式是按照病灶边缘描绘一个紧致的边缘框，将整个病灶包在一个不规则的封闭的区域，该显示方式可以显示病灶的边缘位置，但是由于由于肺内病灶弥漫性生长，边缘模糊，提供了明确的轮廓包边后，会给医生的阅片带来较大的准确性影响，从而出现判断病灶边缘造成误导，尤其是与血管、叶间裂等肺内的其他组织的关系很有可能被这条保住的线遮挡，有可能会对诊断造成负面影响。

具体而言，现有的病灶区域呈现方式存在如下缺陷：

1. 轮廓遮挡：影像学时是循证医学，需要找到明确的因素去指向最终的结论，而其中决定医生判断的有一个核心因素是通过了解病灶周围的解剖结构，分析病灶的血供，定位等，当边缘无法与周围组织有联系的时候，会出现误解读。尤其针对本次的新型冠状肺炎，一旦边缘分割不明确的时候，医生会对定量有所误判，周期性的随访复查过程中，一旦定量有误差的时候，将严重影响治疗计划的制定，影响患者康复周期；

2.范围不明确：医学影像仅有黑白两色，将范围框定在存在误导可能的颜色上时，判读的医生将定量范围判断失误，同样会引起影响治疗计划的制定，影响患者康复周期。

发明内容

有鉴于此，本申请实施例提供了一种病灶区域呈现方法和装置，解决了现有病灶区域呈现方式的轮廓遮挡和范围不明确的问题。

根据本申请的一个方面，本申请一实施例提供的一种病灶区域呈现方法包括：基于医学影像获取病灶征象的征象闭合轮廓；以及将包括所述征象闭合轮廓的所述医学影像的颜色属性进行颜色格式处理，以填充所述征象闭合轮廓内区域的颜色；其中，所述颜色格式处理包括红色通道、绿色通道、蓝色通道和透明度通道。

在本申请一实施例中，所述基于医学影像获取病灶征象的征象闭合轮廓包括：基于医学影像获取病灶征象轮廓分布信息，其中，所述病灶征象轮廓分布信息包括多个二维坐标值；以及在所述医学影像的画布标签上定位所述多个二维坐标值，连接所述多个二维坐标值获取征象闭合轮廓。

在本申请一实施例中，所述基于医学影像获取病灶征象轮廓分布信息包括：将空间上间距等距的三个平行层面的医学影像数据输入实例分割模型；将所述实例分割模型输出的分割结果作为所述三个平行层面中位于中间的平行层面的分割结果；基于多个所述三个平行层面中位于中间的平行层面各自对应的所述分割结果，通过三维分割区域连接来获取三维病灶分割结果；以及基于所述医学影像的纵坐标，从所述三维病灶分割结果中过滤出所述病灶征象轮廓分布信息。

在本申请一实施例中，所述实例分割模型通过如下训练过程建立：将包括医生标注病灶区域的医学影像样本输入神经网络；将所述神经网络输出的预测结果与所述医生标注病灶区域对比以计算损失；以及基于所述损失调整所述神经网络的网络参数。

根据本申请的另一个方面，本申请一实施例提供的一种病灶区域呈现装置包括：轮廓获取模块，配置为基于医学影像获取病灶征象的征象闭合轮廓；以及

颜色填充模块，配置为将包括所述征象闭合轮廓的所述医学影像的颜色属性进行颜色格式处理，以填充所述征象闭合轮廓内区域的颜色；其中，所述颜色格式处理包括红色通道、绿色通道、蓝色通道和透明度通道。

在本申请一实施例中，所述轮廓获取模块包括：

坐标分布获取模块，配置为基于医学影像获取病灶征象轮廓分布信息，其中，所述病灶征象轮廓分布信息包括多个二维坐标值；以及

坐标连接模块，配置为在所述医学影像的画布标签上定位所述多个二维坐标值，连接所述多个二维坐标值获取征象闭合轮廓。

在本申请一实施例中，所述基于医学影像获取病灶征象轮廓分布信息包括：

将空间上间距等距的三个平行层面的医学影像数据输入实例分割模型；

将所述实例分割模型输出的分割结果作为所述三个平行层面中位于中间的平行层面的分割结果；

基于多个所述三个平行层面中位于中间的平行层面各自对应的所述分割结果，通过三维分割区域连接来获取三维病灶分割结果；以及

基于所述医学影像的纵坐标，从所述三维病灶分割结果中过滤出所述病灶征象轮廓分布信息。

在本申请一实施例中，所述装置进一步包括：

模型训练模块，配置为通过如下训练过程建立实例分割模型：

将包括医生标注病灶区域的医学影像样本输入神经网络；将所述神经网络输出的预测结果与所述医生标注病灶区域对比以计算损失；以及基于所述损失调整所述神经网络的网络参数。

根据本申请的另一方面，本申请一实施例提供了一种电子设备，包括：处理器；存储器；以及存储在存储器中的计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一项所述的病灶区域呈现方法。

根据本申请的另一方面，本申请一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如前任一所述的病灶区域呈现方法。

根据本申请的另一方面，本申请一实施例提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令在被处理器运行时使得处理器执行如上述任一所述的病灶区域呈现方法。

本申请实施例提供的一种病灶区域呈现方法、装置、电子设备和计算机可读存储介质，通过在征象闭合轮廓中填充带有透明度的颜色，从而实现了病灶区域的热区显示。通过这种局部着色提示的方式，可有效避免医生遗漏病灶，造成对于患者疾病的漏判；而在大面积病灶的情况下，选择用着色的方式，可保留原影像区域的特征信息，以避免造成病灶和周边组织的边界混淆。

附图说明

图1所示为本申请一实施例提供的一种病灶区域呈现方法的流程示意图。

图2所示所示为本申请一实施例提供的一种病灶区域呈现方法中征象闭合轮廓的获取流程示意图。

图3a和图3b分别为本申请一实施例提供的医学影像示意图。

图4为本申请一实施例提供的病灶边缘交织的示意图。

图5所示为本申请一实施例提供的一种病灶区域呈现方法中获取病灶征象轮廓分布信息的流程示意图。

图6所示为本申请一实施例提供的病灶区域呈现装置的结构示意图。

图7所示为本申请另一实施例提供的病灶区域呈现装置的结构示意图。

图8所示为本申请一实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1所示为本申请一实施例提供的一种病灶区域呈现方法的流程示意图。如图1所示，该病灶区域呈现方法，包括如下步骤：

步骤101：基于医学影像获取病灶征象的征象闭合轮廓。

病灶征象是从医学影像的层面上表征或反映病灶特征的数据形式。例如，针对新型冠状肺炎，目前医学影像上典型的征象就为磨玻璃影状。应当理解，基于医学影像可能会获取到多个征象的征象闭合轮廓，下面的描述过程其实是针对一个征象的征象闭合轮廓进行的处理过程。在获取了病灶征象的征象闭合轮廓后，便可对征象内部的区域填充颜色，以将病灶区域与周边其他区域区分开来。

具体而言，如图2所示，征象闭合轮廓可通过如下步骤获取：

步骤201：基于医学影像获取病灶征象轮廓分布信息，其中，病灶征象轮廓分布信息包括多个二维坐标值。

在本申请一实施例中，病灶征象轮廓分布信息可基于实例分割模型获取，二维坐标值即为基于实例分割模型的输出结果获取的例如[[x1,y1]，[x2,y2]…[xn,yn]]的分布轮廓数据，其中x,y分别为医学影像的横纵坐标轴数据。

步骤202：在医学影像的画布标签上定位多个二维坐标值，连接多个二维坐标值获取征象闭合轮廓。

选取第一个征象的轮廓二维坐标值，在医学影像的画布（canvas）标签上将第一坐标点x1,y1进行定位，并逐次连接坐标点，在最后形成闭合图形作为征象闭合轮廓。

步骤102：将包括征象闭合轮廓的医学影像的颜色属性进行颜色格式处理，以填充征象闭合轮廓内区域的颜色；其中，颜色格式处理包括红色通道、绿色通道、蓝色通道和透明度通道。

通过遍历所有征象的病灶征象轮廓分布信息，并分别完成颜色填充，即可实现所有征象的分布信息绘制。

本申请实施例所进行的颜色格式处理又称为RGBA格式处理。RGBA是代表Red（红色）Green（绿色）Blue（蓝色）和Alpha的色彩空间。颜色格式处理包括红色通道、绿色通道、蓝色通道和透明度通道（Alpha通道）。Alpha通道一般用作不透明度参数。如果一个像素的Alpha通道数值为0%，那它就是完全透明的（也就是看不见的），而数值为100%则意味着一个完全不透明的像素（传统的数字图像）。在0%和100%之间的值则使得像素可以透过背景显示出来，就像透过玻璃（半透明性），这种效果是简单的二元透明性（透明或不透明）做不到的。它使数码合成变得容易。Alpha通道值可以用百分比、整数或者像RGB参数那样用0到1的实数表示。

由此可见，本申请实施例提供的一种病灶区域呈现方法，通过在征象闭合轮廓中填充带有透明度的颜色，从而实现了病灶区域的热区显示。通过这种局部着色提示的方式，可有效避免医生遗漏病灶，造成对于患者疾病的漏判；而在大面积病灶的情况下，选择用着色的方式，可保留原影像区域的特征信息，以避免造成病灶和周边组织的边界混淆。

具体而言，本申请实施例可实现下述技术效果：

1.对于边缘遮挡：局部通过着色的方式只提高其显示的权重，不管是着色区域还是轴位区域，仍然保留显示的细节原图像的细节，如图3a和图3b所示，上部边缘有部分区域与病灶的真实边缘并不紧致，但是优于颜色并未遮挡原图，原图的边缘仍然可以正常观察，操作者无需频繁关闭区域显示来观察边缘。

2.对于范围不明确：局部着色的方式不会出现由于多个病灶边缘交织出现的无法判断真实范围的问题，如图4所示，图4中左侧图形无法明确表示框选的区域，中心区域不明确；图4中右侧图形为着色方式，可以清楚看到灰色和白色的区域分别，不会造成范围误解。

图5所示为本申请一实施例提供的一种病灶区域呈现方法中获取病灶征象轮廓分布信息的流程示意图。如图5所示，该获取病灶征象轮廓分布信息的方法可包括如下步骤：

步骤501：将空间上间距等距的三个平行层面的医学影像数据输入实例分割模型。

为了获取更多的空间全局上下文信息，可以整个CT层面作为输入，该CT层面可包括空间上间距等距的多个平行层面。根据病灶每一个层面上（2D slice）医学影像（例如，电子计算机断层扫描（CT）影像）预测出来分割结果。对于实例分割模型的构建，可使用以ResNet50+FPN（特征金字塔网络，Feature Pyramid Networks）为主干网络的Mask-RCNN进行目标的检测和分割。

该实例分割模型可分为训练阶段和预测阶段。训练阶段可包括如下步骤：首先，将包括医生标注病灶区域（例如肺炎区域）的医学影像样本输入神经网络；将神经网络输出的预测结果与医生标注病灶区域对比以计算损失；以及，基于损失调整神经网络的网络参数，例如采用梯度反传算法进行模型参数更新。预测阶段输出的便为分割结果。

步骤502：将实例分割模型输出的分割结果作为三个平行层面中位于中间的平行层面的分割结果。

步骤503：基于多个平行层面各自对应的分割结果，通过三维分割区域连接来获取三维病灶分割结果。

步骤504：基于医学影像的纵坐标，从三维病灶分割结果中过滤出病灶征象轮廓分布信息。

图6所示为本申请一实施例提供的病灶区域呈现装置的结构示意图。如图6所示，该一种病灶区域呈现装置60包括：

轮廓获取模块601，配置为基于医学影像获取病灶征象的征象闭合轮廓；以及

颜色填充模块602，配置为将包括所述征象闭合轮廓的所述医学影像的颜色属性进行颜色格式处理，以填充所述征象闭合轮廓内区域的颜色；其中，所述颜色格式处理包括红色通道、绿色通道、蓝色通道和透明度通道。

在本申请一实施例中，如图7所示，所述轮廓获取模块601包括：

坐标分布获取模块6011，配置为基于医学影像获取病灶征象轮廓分布信息，其中，所述病灶征象轮廓分布信息包括多个二维坐标值；以及

坐标连接模块6012，配置为在所述医学影像的画布标签上定位所述多个二维坐标值，连接所述多个二维坐标值获取征象闭合轮廓。

在本申请一实施例中，如图7所示，所述装置60进一步包括：

模型训练模块603，配置为通过如下训练过程建立实例分割模型：

上述病灶区域呈现装置60中的各个模块的具体功能和操作已经在上面参考图1到图2描述的病灶区域呈现方法中进行了详细介绍。因此，这里将省略其重复描述。

需要说明的是，根据本申请实施例的病灶区域呈现装置60可以作为一个软件模块和/或硬件模块而集成到电子设备70中，换言之，该电子设备70可以包括该病灶区域呈现装置60。例如，该病灶区域呈现装置60可以是该电子设备70的操作系统中的一个软件模块，或者可以是针对于其所开发的一个应用程序；当然，该病灶区域呈现装置60同样可以是该电子设备70的众多硬件模块之一。

在本申请另一实施例中，该病灶区域呈现装置60与该电子设备70也可以是分立的设备（例如，服务器），并且该病灶区域呈现装置60可以通过有线和/或无线网络连接到该电子设备70，并且按照约定的数据格式来传输交互信息。

图8所示为本申请一实施例提供的电子设备的结构示意图。如图8所示，该电子设备70包括：一个或多个处理器701和存储器702；以及存储在存储器702中的计算机程序指令，计算机程序指令在被处理器701运行时使得处理器701执行如上述任一实施例的病灶区域呈现方法。

处理器701可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

存储器702可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器701可以运行程序指令，以实现上文的本申请的各个实施例的病灶区域呈现方法中的步骤以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如光线强度、补偿光强度、滤光片的位置等信息。

在一个示例中，电子设备70还可以包括：输入装置703和输出装置704，这些组件通过总线系统和/或其他形式的连接机构（图8中未示出）互连。

例如，在该电子设备是如工业生产线上的机器人时，该输入装置703可以是摄像头，用于捕捉待加工零件的位置。在该电子设备是单机设备时，该输入装置703可以是通信网络连接器，用于从外部的可移动设备接收所采集的输入信号。此外，该输入装置703还可以包括例如键盘、鼠标、麦克风等等。

该输出装置704可以向外部输出各种信息，例如可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图8中仅示出了该电子设备70中与本申请有关的组件中的一些，省略了诸如总线、输入装置/输出接口等组件。除此之外，根据具体应用情况，电子设备70还可以包括任何其他适当的组件。

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一实施例的病灶区域呈现方法中的步骤。

计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性病灶区域呈现方法”部分中描述的根据本申请各种实施例的病灶区域呈现方法中的步骤。

计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。

Claims

1.一种病灶区域呈现方法，其特征在于，包括：

基于医学影像获取病灶征象的征象闭合轮廓；以及

将包括所述征象闭合轮廓的所述医学影像的颜色属性进行颜色格式处理，以填充所述征象闭合轮廓内区域的颜色；

其中，所述颜色格式处理包括红色通道、绿色通道、蓝色通道和透明度通道。

2.根据权利要求1所述的方法，其特征在于，所述基于医学影像获取病灶征象的征象闭合轮廓包括：

基于医学影像获取病灶征象轮廓分布信息，其中，所述病灶征象轮廓分布信息包括多个二维坐标值；以及

在所述医学影像的画布标签上定位所述多个二维坐标值，连接所述多个二维坐标值获取征象闭合轮廓。

3.根据权利要求2所述的方法，其特征在于，所述基于医学影像获取病灶征象轮廓分布信息包括：

4.根据权利要求3所述的方法，其特征在于，所述实例分割模型通过如下训练过程建立：

将包括医生标注病灶区域的医学影像样本输入神经网络；

将所述神经网络输出的预测结果与所述医生标注病灶区域对比以计算损失；以及

基于所述损失调整所述神经网络的网络参数。

5.一种病灶区域呈现装置，其特征在于，包括：

轮廓获取模块，配置为基于医学影像获取病灶征象的征象闭合轮廓；以及

6.根据权利要求5所述的装置，其特征在于，所述轮廓获取模块包括：

7.根据权利要求6所述的装置，其特征在于，所述基于医学影像获取病灶征象轮廓分布信息包括：

8.根据权利要求7所述的装置，其特征在于，进一步包括：

9.一种电子设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1至4中任一所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1至4中任一所述的方法。