CN111080593B - 一种图像处理装置、方法及存储介质 - Google Patents

Abstract

本申请提供了一种图像处理装置、方法及存储介质，该装置包括：第一获取模块用于获取目标图像序列；提取模块用于基于第一神经网络模型对每帧目标图像进行特征提取，得到每帧目标图像的特征提取结果；融合模块用于基于第二神经网络模型对每帧目标图像对应的融合特征进行融合处理，得到每帧目标图像的特征融合结果，每帧目标图像的融合特征包括每帧目标图像的特征提取结果以及与每帧目标图像相邻的其他目标图像的特征融合结果；检测模块用于对每帧目标图像对应的特征融合结果进行检测，得到目标图像序列对应的目标出血点检测结果。本申请在结合第一神经网络模型与第二神经网络模型准确把握图像序列中帧之间的上下文信息，快速准确地检测出血点。

Description

一种图像处理装置、方法及存储介质

技术领域

本申请属于计算机技术领域，具体涉及一种图像处理装置、方法及存储介质。

背景技术

数字血管造影技术(Digital subtraction angiography，DSA)在临床上被广泛应用于患者介入手术过程中的手术引导工作，其主要任务是辅助医生观察病人出血责任血管和肿瘤供血动脉。通常情况下，参与介入手术的疑似血管出血症患者都具有病情紧急、危重的典型特点。

由于责任血管的识别难度较大，目前临床上针对介入手术过程中患者出血点的检查主要通过有经验的高年资医生肉眼判断，提供实时指导，使得诊断效率较低，需反复核验，反复校验结果的过程中增加了医生与患者在手术室内的曝光时间，且患者多处出血时易产生遗漏，增加需要进行二次介入手术的概率。为了满足临床需求，现有技术尝试使用卷积神经网络(Convolutional Neural Networks，CNN)的方法辅助医生找到异常血管和病灶区域，但是仅仅依靠建立单帧目标检测器的方法无法满足介入手术中查找出血点的临床需求。

因此，如何运用医疗辅助设备帮助医生快速准确的找到责任血管出血点，目前成为临床医生与智能医疗的迫切需求。

发明内容

为了快速准确的找到责任血管出血点，本申请提出一种图像处理装置、方法及存储介质。

一方面，本申请提出了一种图像处理装置，所述装置包括：

第一获取模块，用于获取目标图像序列，所述目标图像序列包括至少两帧目标图像；

提取模块，用于基于第一神经网络模型对每帧目标图像进行特征提取，得到每帧目标图像对应的特征提取结果；

融合模块，用于基于第二神经网络模型对每帧目标图像对应的融合特征进行融合处理，得到每帧目标图像对应的特征融合结果；其中，每帧目标图像对应的融合特征包括每帧目标图像对应的特征提取结果以及与每帧目标图像相邻的其他目标图像对应的特征融合结果；

检测模块，用于对每帧目标图像对应的特征融合结果进行检测处理，得到所述目标图像序列对应的目标出血点检测结果。

进一步地，所述装置还包括：

第二获取模块，用于获取多帧待检测图像；

第三获取模块，用于将所述多帧待检测图像按照生成时间的先后顺序进行排序，得到待检测图像序列。

进一步地，所述第一获取模块，包括：

第一获取单元，用于从所述待检测图像序列中抽取相邻的预设数量帧待检测图像；

第一确定单元，用于将所述相邻的预设数量帧待检测图像所形成的序列作为所述目标图像序列；

其中，所述待检测图像序列包括至少一个目标图像序列。

进一步地，所述提取模块，包括：

第二获取单元，用于基于所述第一神经网络模型对每帧目标图像进行特征提取，得到每帧目标图像对应的出血特征和三维属性特征；

第二确定单元，用于将每帧目标图像对应的出血特征和三维属性特征作为每帧目标图像对应的特征提取结果。

进一步地，所述三维属性特征包括每帧目标图像对应的长度信息、宽度信息和通道数信息。

进一步地，所述融合模块，包括：

第三获取单元，用于基于所述第二神经网络模型对所述目标图像序列中排序第一位的目标图像对应的特征提取结果进行融合处理，得到所述排序第一位的目标图像对应的特征融合结果；

第四获取单元，用于基于所述第二神经网络模型，对排序第N位的目标图像对应的特征提取结果和排序第N-1位的目标图像对应的特征融合结果进行融合处理，得到所述排序第N位的目标图像对应的特征融合结果，N为大于或等于2的正整数，且N小于或等于所述目标图像序列中包括的目标图像的数量。

进一步地，所述检测模块包括：

第五获取单元，用于对每帧目标图像对应的特征融合结果进行检测处理，得到每帧目标图像对应的检测框；

计算单元，用于计算每帧目标图像对应的检测框与预设检测框之间的交并比；

第三确定单元，用于基于交并比大于或等于预设阈值的目标图像对应的检测框，确定目标出血点位置和目标出血点大小，将所述目标出血点位置和所述目标出血点大小作为所述目标出血点检测结果。

进一步地，所述装置还包括：

汇总模块，用于将每个目标图像序列对应的目标出血点检测结果进行汇总，得到所述待检测图像序列对应的出血点检测结果。

另一方面，本申请提出了一种图像处理方法，所述方法包括：

获取目标图像序列，所述目标图像序列包括至少两帧目标图像；

基于第一神经网络模型对每帧目标图像进行特征提取，得到每帧目标图像对应的特征提取结果；

基于第二神经网络模型对每帧目标图像对应的融合特征进行融合处理，得到每帧目标图像对应的特征融合结果；其中，每帧目标图像对应的融合特征包括每帧目标图像对应的特征提取结果以及与每帧目标图像相邻的其他目标图像对应的特征融合结果；

对每帧目标图像对应的特征融合结果进行检测处理，得到所述目标图像序列对应的目标出血点检测结果。

另一方面，本申请提出了一种设备，所述设备包括处理器和存储器，所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器，所述处理器用于上述所述的图像处理装置。

另一方面，本申请提出了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于上述所述的图像处理装置或所述程序代码由处理器加载并执行以实现如上述所述的图像处理方法。

本申请实施例提出的一种图像处理装置、方法及存储介质，通过第一神经网络模型快速对每帧目标图像中的特征进行提取，得到每帧目标图像对应的特征提取结果，并通过第二神经网络模型融合目标图像序列中的每帧目标图像之间的上下文信息，得到每帧目标图像对应的特征融合结果，最后根据每帧目标图像对应的特征融合结果进行检测处理，得到目标出血点检测结果。本申请将第一神经网络模型与第二神经网络模型相结合，紧密结合每帧图像之间的上下文信息，重建了图像序列中相关连续帧的出血点特征，构建平面网状结构的连续帧检测器，能够快速准确地检测出出血点，鲁棒性较高。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种图像处理装置的结构示意图。

图2是本申请实施例提供的一种图像处理装置的工作原理图。

图3是本申请实施例提供的另一种图像处理装置的结构示意图。

图4是本申请实施例提供的DSA出血点图像数据。

图5是本申请实施例提供的另一种图像处理装置的结构示意图。

图6是本申请实施例提供的另一种图像处理装置的结构示意图。

图7是本申请实施例提供的另一种图像处理装置的结构示意图。

图8是使用本申请实施例提供的图像处理装置对单帧目标检测图像进行处理得到的出血点检测结果示意图。

图9是本申请实施例提供的另一种图像处理装置的结构示意图。

图10是本申请实施例提供的另一种图像处理装置的结构示意图。

图11是本申请实施例提供的一种图像处理方法的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1是本申请实施例提供的一种图像处理装置的结构示意图，图2所示为本申请实施例提供的一种图像处理装置的工作原理图，具体的如图1所示，所述装置可以包括：

第一获取模块101，可以用于获取目标图像序列，所述目标图像序列包括至少两帧目标图像。

本申请实施例中，如图3所示，所述装置还可以包括：

第二获取模块001，可以用于获取多帧待检测图像。

第三获取模块003，可以用于将所述多帧待检测图像按照生成时间的先后顺序进行排序，得到待检测图像序列。

在实际应用中，以应用场景为检测DSA手术过程中的责任血点出血点检测为例，第二获取模块和第三获取模块具体可以用于：

收集连续帧的DSA出血点图像数据(如图4所示)，将该连续帧的DSA出血点图像数据分解为DICOM格式的单帧待检测图像，接着将该单帧待检测图像按照生成时间的先后顺序排序，得到待检测图像序列，以此建立待检测数据集，便于后续的模块按照时序读取待检测图像，以使出血点的判断紧密结合上下文信息，提高出血点检测的准确性。

相应地，继续如图3所示，所述第一获取模块101，可以包括：

第一获取单元10101，可以用于从所述待检测图像序列中抽取相邻的预设数量帧待检测图像。

第一确定单元10103，可以用于将所述相邻的预设数量帧待检测图像所形成的序列作为所述目标图像序列；其中，所述待检测图像序列包括至少一个目标图像序列。

本申请实施例，第三获取模块可以将获取到的待检测图像序列发送至第一获取模块101，由第一获取模块101中的第一获取单元10101抽取相邻的预设数量帧待检测图像，并将该相邻的预设数量帧待检测图像作为一个待检测输入数据单元。比如，如图2所示，可以将t-2、t-1、t时刻获取到的连续三帧待检测图像作为目标图像序列(即目标图像t-2，目标图像t-1，目标图像t)，即作为一个待检测输入数据单元。在实际应用中，将相邻的预设数量帧待检测图像作为一个待检测输入数据单元，一方面可以便于后续的模块按照时序读取待检测图像，以使出血点的判断紧密结合上下文信息，提高出血点检测的准确性，另一方面可以避免一次性对所有待检测图像进行检测，造成的系统压力过大的缺陷。

提取模块103，可以用于基于第一神经网络模型对每帧目标图像进行特征提取，得到每帧目标图像对应的特征提取结果。

具体地，提取模块103，可以用于基于每帧目标图像对应的第一神经网络模型对每帧目标图像进行特征提取，得到每帧目标图像对应的特征提取结果。

在实际应用中，为了建立平面网状结构的连续帧检测器，提高出血点检测的准确性，第一神经网络模型的数量可以与每一个待检测输入数据单元中所包含的目标图像的数量一一对应。如图2所示，假设一个待检测输入数据单元中有三个目标图像，则该图像处理装置中可以有三个第一神经网络模型，其中，第一神经网络模型1与目标图像t-2相对应，第一神经网络模型2与目标图像t-1相对应，第一神经网络模型3与目标图像t相对应。

在一个可行的实施例中，如图5所示，所述提取模块103，可以包括：

第二获取单元10301，可以用于基于所述第一神经网络模型对每帧目标图像进行特征提取，得到每帧目标图像对应的出血特征和三维属性特征。

第二确定单元10303，可以用于将每帧目标图像对应的出血特征和三维属性特征作为每帧目标图像对应的特征提取结果。

在实际应用中，由于第一神经网络模型的数量与目标图像的帧数一一对应，具体地，第二获取单元10301可以用于基于每帧目标图像对应的第一神经网络模型对每帧目标图像进行特征提取，得到每帧目标图像对应的出血特征和三维属性特征。比如，如图2所示，可以使用第一神经神经网络模型1对目标图像t-2进行特征提取，得到目标图像t-2对应的出血特征和三维属性特征，使用第一神经神经网络模型2对目标图像t-1进行特征提取，得到目标图像t-1对应的出血特征和三维属性特征，使用第一神经神经网络模型3对目标图像t进行特征提取，得到目标图像t对应的出血特征和三维属性特征。

在提取模块103中，由于每帧目标图像经由相应的第一神经网络模型可以转化为三维向量的形式(H×W×N，H与W是每帧目标图像的原图的高和宽，N是通道数)。因此，在一个可行的实施例中，第二获取单元10301可以用于得到每帧目标图像对应的长度信息、宽度信息和通道数信息。此外，由于每帧目标图像经由相应的第一神经网络模型后，会使得出血特征更加清晰，因此，第二获取单元10301还可以用于得到更加清晰的出血特征，该出血特征表征与出血点相关的信息，其包括但不限于出血点的大小、出血点的形状、出血点的位置等。

第二获取单元10301在得到出血特征和三维属性特征之后，可以将出血特征和三维属性特征传输至第二确定单元10303，由第二确定单元10303确定出特征提取结果，比如，第二确定单元10303可以用于将目标图像t-2对应的出血特征和三维属性特征作为目标图像t-2对应的特征提取结果，将目标图像t-1对应的出血特征和三维属性特征作为目标图像t-1对应的特征提取结果，将目标图像t-对应的出血特征和三维属性特征作为目标图像t对应的特征提取结果。

在一个可行的实施例中，第一神经网络模型包括但不限于卷积神经网络(Convolutional Neural Networks，CNN)、循环神经网络(Recurrent Neural Network，RNN)。例如常用CNN特征提取网络VGG-16、VGG-19、Resnet等。

需要说明的是，在实际应用中，特征提取结果的表现形式为一个具有三维格式的特征图。

本申请实施例中，由于提取模块103可以用于将每帧目标图像转换为三维格式，使得后续的第二神经网络模型可以桥接到任一神经网络模型的卷积层之间，以作为特征图权重传递器，使得后层特征图共享前层特征图像同位置特征，由此可以实现特征数据的上下之间传递。

融合模块105，可以用于基于第二神经网络模型对每帧目标图像对应的融合特征进行融合处理，得到每帧目标图像对应的特征融合结果；其中，每帧目标图像对应的融合特征包括每帧目标图像对应的特征提取结果以及与每帧目标图像相邻的其他目标图像对应的特征融合结果。

在实际应用中，为了进一步建立平面网状结构的连续帧检测器，提高出血点检测的准确性，第二神经网络模型的数量比一个待检测数据单元中所包含的目标图像数量要多，一般为目标图像数量的倍数。因此，融合模块105可以用于基于每帧目标图像对应的第二神经网络模型对每帧目标图像对应的融合特征进行融合处理，得到每帧目标图像对应的特征融合结果。

具体地，如图6所示，所述融合模块105，可以包括：

第三获取单元10501，可以用于基于所述第二神经网络模型对所述目标图像序列中排序第一位的目标图像对应的特征提取结果进行融合处理，得到所述排序第一位的目标图像对应的特征融合结果。

第四获取单元10503，可以用于基于所述第二神经网络模型，对排序第N位的目标图像对应的特征提取结果和排序第N-1位的目标图像对应的特征融合结果进行融合处理，得到所述排序第N位的目标图像对应的特征融合结果，N为大于或等于2的正整数，且N小于或等于所述目标图像序列中包括的目标图像的数量。

本申请实施例，由于每个目标图像均有对应的第二神经网络模型，具体地，第三获取单元10501可以用于基于目标图像序列中排序第一位的目标图像对应的第二神经网络模型对排序第一位的目标图像对应的特征提取结果进行融合处理，得到所述排序第一位的目标图像对应的特征融合结果。

相应地，第四获取单元10503可以用于基于排序第N位的目标图像对应的第二神经网络模型对排序第N位的目标图像对应的特征提取结果和排序第N-1位的目标图像对应的特征融合结果进行融合处理，得到所述排序第N位的目标图像对应的特征融合结果，N为大于或等于2的正整数，且N小于或等于所述目标图像序列中包括的目标图像的数量。

在实际应用中，第二神经网络模型的层数可以为至少一层，如图2所示，图2中的第二神经网络模型的层数为两层，图2中排序第一位的图像为目标图像t-2，第二神经网络模型1与目标图像t-2相对应，排序第二位的图像为目标图像t-1，第二神经网络模型2与目标图像t-1相对应，排序第三位的图像为目标图像t，第二神经网络模型3与目标图像t相对应。

在融合模块105中，第三获取单元10501可以用于使用第二神经网络模型1对目标图像t-2(排序第一位的目标图像)的特征提取结果(包括出血特征和三维属性特征)进行融合处理，得到目标图像t-2对应的特征融合结果(即图2中的第一特征融合图t-2)，由于排序第一位的目标图像前面没有其他图像，因此，不需要对其他图像的特征进行融合，直接对第一神经网络模型1输出的结果进行处理即可。接着第三获取单元10501可以用于将目标图像t-2对应的特征融合结果传输到目标图像t-1对应的相同的特征图中，接着使用第二神经网络模型2对目标图像t-1(排序第二位的目标图像)的特征提取结果(包括出血特征和三维属性特征)和目标图像t-2对应的特征融合结果进行融合，得到目标图像t-1对应的特征融合结果(即图2中的第一特征融合图t-1)。接着，第三获取单元10501可以用于将目标图像t-1对应的特征融合结果传输至目标图像t对应的特征图中，接着使用第二神经网络模型3对目标图像t(排序第三位的目标图像)对应的特征提取结果(包括出血特征和三维属性特征)和目标图像t-1对应的特征融合结果进行融合，得到目标图像t对应的特征融合结果(即图2中的第一特征融合图t)。

需要说明的是，在实际应用中，特征融合结果的表现形式为一个具有三维格式的特征图。

上述过程为使用单层第二神经网络模型对目标图像进行特征融合处理的过程，如图2所示，当第二神经网络模型具有两层时，在第二神经网络模型的第一层处理结果后，第三获取单元10501还可以用于使用第二神经网络模型的第二层对特征融合继续进行处理，比如，将第二神经网络模的第一层的输出作为第二神经网络模型的第二层的输入，具体如下：

对于目标图像t-2，其对应的第二神经网络模1的第二层的输入为目标图像t-2对应的特征融合结果，输出为目标图像t-2对应的第二特征融合结果(即图2中的第二特征融合图t-2)，对于目标图像t-1，其对应的第二神经网络模型2的第二层的输入为目标图像t-1对应的特征融合结果以及目标图像t-2对应的第二特征融合结果，输出为目标图像t-1对应的第二特征融合结果(即图2中的第二特征融合图t-1)，对于目标图像t，其对应的第二神经网络模型3的第二层的输入为目标图像t对应的特征融合结果以及目标图像t-1对应的第二特征融合结果，输出为目标图像t对应的第二特征融合结果(即图2中的第二特征融合图t)。当第二神经网络的层数大于两层时，处理过程与上述类似，在此不再赘述。

本申请实施例中，第四获取单元10503中的第二神经网络模型可以在第三获取单元10501中的第一神经网络模型之间横向传播，使得目标图像t-2对应的特征融合结果可以向右传递到目标图像t-1对应的相同位置的特征图中，同理，目标图像t-1对应的特征融合结果可以向右传递到目标图像t对应的相同位置的特征图中，由此构成平面网状结构的具有时间传输特征的出血点目标检测器，可以准确把握图像序列中帧之间的上下文信息，提高出血点检测的准确性。

在一个可行的实施例中，该第二神经网络模型可以为长短时记忆网络(LongShort-Term Memory，LSTM)。

检测模块107，可以用于对每帧目标图像对应的特征融合结果进行检测处理，得到所述目标图像序列对应的目标出血点检测结果。

本申请实施例中，在得到每个目标图像对应的特征融合结果之后，还需要通过检测模块107对特征融合结果进行出血点检测，从而得到目标出血点。

在一个可行的实施例中，为了进一步确保出血点检测的精度和鲁棒性，可以根据每帧目标图像对应的检测框与预设检测框之间的交并比，确定最终的目标出血点检测结果。其中，交并比是指：目标图像对应的检测框与预设检测框之间的交集和并集的比例。

具体地，如图7所示，所述检测模块107，可以包括：

第五获取单元10701，可以用于对每帧目标图像对应的特征融合结果进行检测处理，得到每帧目标图像对应的检测框。

计算单元10703，可以用于计算每帧目标图像对应的检测框与预设检测框之间的交并比。

第三确定单元10705，可以用于基于交并比大于或等于预设阈值的目标图像对应的检测框，确定目标出血点位置和目标出血点大小，将所述目标出血点位置和所述目标出血点大小作为所述目标出血点检测结果。

在实际应用中，每帧目标图像对应的特征融合结果中可以包括多个特征点，第五获取单元10701可以用于根据每帧目标图像对应的特征融合图中的特征点的位置坐标，生成具有出血点的检测框，该出血点的检测框的生成方法可以如下：获取多个特征点的位置坐标，确定位置坐标位于左上角的特征点以及位置坐标位于右下角的特征点，根据左上角和右下角的特征点生成检测框，并确定该检测框的位置和大小。

在实际应用中，由于预先需要通过大量的目标样本图像对神经网络模型进行训练，从而得到损失函数满足预设要求的第一神经网络模型和第二神经网络模型，而在训练过程中会对大量的目标样本图像标注检测框标签，因此，可以根据在训练过程中标注的检测框标签以及训练结果等经验值，确定第一神经网络模型和第二神经网络模型在实际使用过程中的预设检测框。在确定预设检测框之后，可以通过计算单元10703计算每帧目标图像对应的检测框与预设检测框之间的交并比，并通过第三确定单元10705将交并比大于或等于预设阈值的目标图像对应的检测框对应的位置和大小，作为目标出血点检测结果。

如图8所示，图8中的图A为某一单帧目标图像，图B中的矩形区域为图A经过CNN+LSTM处理后得到的出血点检测结果。图8中的图C为另一单帧目标图像，图8中的图D中的矩形区域为图C经过CNN+LSTM进行处理后得到的出血点检测结果。

由于预先通过第一获取模块将待检测图像序列划分为至少一个目标图像序列，在一个可行的实施例中，在得到每个目标图像序列对应的目标出血点检测结果之后，还可以对每个目标出血点检测结果进行汇总，得到最终的出血点检测结果。而预先将待检测图像划分为至少一个目标图像序列，接着对每个目标图像序列进行出血点检测，最后将每个目标图像序列的出血点检测结果进行汇总，可以避免一次性对所有待检测图像进行检测，有效降低系统负担和压力。具体地，如图9所示，所述装置还可以包括：

汇总模块109，可以用于将每个目标图像序列对应的目标出血点检测结果进行汇总，得到所述待检测图像序列对应的出血点检测结果。

本申请实施例中的图像处理装置，以第一神经网络模型为CNN，第二神经网络模型为LSTM为例，CNN+LSTM的组合方式以Conv_LSTM层(卷积长短时记忆网络层)的集成模块工作，其输入的数据由传统的LSTM的一维数据转换为CNN输出的三维数据格式，由于Conv_LSTM的输入输出均为三维数据格式，其可以桥接到任一CNN的卷积层之间，因此，CNN+LSTM的桥接结构不影响CNN中间环节的输入输出结构，以此实现特征数据的上下之间的传递。通过提取模块中的CNN快速准确提取目标图像中的出血点特征和三维属性特征，结合融合模块中的Conv_LSTM准确把握图像序列中帧之间的上下文信息，前多帧信息通过时间顺序从左向右依次传递，各个CNN之间相互串联，建立平面网状结构的连续帧检测器。由CNN+LSTM形成的连续帧检测器，可以在CNN中以自底向上(如图2中的实线箭头所示)的形式传递参数，也可以以从左到右的方式(如图2中的虚线箭头所示)融合特征图，在保证出血点检测准确性的基础上，实现出血点小目标的实时性以及快速准确的检测。

需要说明的是，图2仅仅是一种示例，在其他场景中，一个待检测输入数据单元包含的待检测图像数量可以大于三个也可以小于三个，第二神经网络模型的层数可以大于两层，也可以为一层。

在实际应用中，可以将第一神经网络模型和第二神经网络模型作为一个整体神经网络模型的两个不同部分，比如第一神经网络模型为该整体神经网络模型的特征提取模型，将第二神经网络模型作为该整体神经网络模型的特征融合模型，即将两个模型作为一个整体进行训练，还可以单独对第一神经网络模型和第二神经网络模型进行训练。

以下，以第一神经网络模型为CNN，第二神经网络模型为Conv_LSTM，且将CNN和Conv_LSTM作为一个整体进行训练为例，介绍本申请实施例中的CNN+LSTM的模型构建模块，具体地，如图10所示，所述模型构建模块200可以包括：

样本图像获取单元，可以用于获取样本图像序列，所述样本图像序列包括至少两帧目标样本图像。

在实际应用中，以应用场景为检测DSA手术过程中的责任血点出血点检测为例，可以收集DSA出血点样本图像数据，将该DSA出血点样本图像数据转换为可标注数据格式，比如DICOM格式的单帧待检测样本图像。

标注单元，可以用于对至少两帧目标样本图像的出血点进行标注。

在实际应用中，可以根据每帧待检测样本图像的诊断报告描述完成每帧待检测样本图像的出血点的准确标注，标注文件保存为XML或者CSV格式，其中，XML与CSV均为文本标签保存格式。同序列图像按照顺序排列至同一文件夹保存，命名方式与单帧DICOM文件名相同，如Img_000、Img_001…等，从而完成DSA图像中出血病例数据集的采集和建立，得到可读连续帧的待检测图像序列，便于神经网络按照时序读取该待检测图像序列中的图像。

出血点位置和大小计算单元，可以用于获取已标注出血点的待检测样本图像，使用检测框可视化，两点法则(矩形的左上和右下二角点)确定检测框矩形位置和大小，数字化点坐标通过Numpy读取到模型当中，作为神经网络模型的真实标注框(Ground Truth)。

目标样本图像序列确定单元，可以用于选取连续三帧待检测样本图像作为目标样本图像序列输入到神经网络模型中，比如，将第一帧、第二帧、第三帧待检测样本图像作为一个目标图像序列，第二帧、第三帧、第四帧待检测样本图像序列作为一个目标图像序列，将第三帧、第四帧、第五帧待检测样本图像序列作为一个目标图像序列，以此类推。

目标样本图像调整单元，可以用于将目标样本图像的尺寸调整到预设尺寸，比如，将原始1024×1024的尺寸调整为1000×600的尺寸，还可以用于将目标样本图像的格式调整为高位保存的DICOM数据，还可以用于通过Pydicom工具包将目标样本图像转为Numpy矩阵数据，以便于读入神经网络模型中。其中，DICOM是医学数字成像和通信，是医学图像和相关信息的国际标准，Pydicom是python语言的医学图像处理库，Numpy是python语言的扩展程序库，python是一种跨平台的计算机程序设计语言，是一种面向对象的动态类型语言。

训练单元，可以用于基于每帧目标样本图像对神经网络模型进行出血点检测训练，当所述神经网络模型输出的损失函数满足预设条件或达到目标迭代次数时，将当前模型参数对应的神经网络模型作为所述第一神经网络模型和第二神经网络模型，即CNN+LSTM。

在一个可行的实施例中，神经网络模型可以包括特征提取模型和特征融合模型，具体地，训练单元，可以用于基于每帧目标样本图像作为特征提取模型的输入，提取每帧目标样本图像对应的样本提取结果，利用特征融合模型对相应的目标样本图像对应的样本提取结果以及前一帧目标样本图像对应的样本融合结果进行融合，得到每帧目标样本图像对应的样本融合结果。此外，训练单元，还可以用于根据每帧目标样本图像对应的样本融合结果与每帧目标样本图像的标注结果，确定样本融合结果与标注结果之间的损失函数，当损失函数满足预设条件或达到目标迭代次数时，将当前模型参数对应的神经网络模型作为CNN+LSTM。

在实际应用中，为了提高模型训练的可行度和精度，训练单元可以采用两种损失函数并行考虑的方法。包括目标的置信值(confidence loss)损失计算和定位(Locationloss)损失计算两类加权求和，计算公式如下：

其中，N表示待检测样本图像的数量，α表示确定位置信度损失函数在整个损失函数计算公式中的权重占比，选择非极大抑制规则(Non-maximum suppression，NMS)保留测试精度最高的框，采用的准确度计算方法是比较每帧目标样本图像的样本检测框与真实标注框(Ground Truth)之间的交并比(Intersection over Union，IOU)。比如，可以设定最低检测标准为IOU＝0.5，IOU小于0.5的待检测样本图像多为假阳性样本图像。

在训练过程中，每帧目标样本图像的样本检测框与真实标注框(Ground Truth)之间的交并比的计算过程如下：当将每帧目标样本图像输入神经网络模型进行训练后，可以得到每帧目标样本图像对应的样本融合结果，该样本融合结果中可以包括多个样本特征点，可以根据该样本特征点的位置坐标生成每帧目标样本图像的样本检测框，接着计算该样本检测框与Ground Truth之间的交集和并集，最后计算交集和并集的比例，得到交并比。

如果上述损失函数满足目标期望误差值或达到目标迭代次数，则保存模型，将当前得到的模型作为CNN+LSTM。如果没有达到迭代次数，则继续进入训练单元进行训练，直至损失函数满足目标期望误差值或达到目标迭代次数。

在一个可行的实施例中，为了进一步提高模型训练的可信度和精度，可以降低模型训练的学习率，比如，可以将学习率调整到0.001。

在另一个可行的实施例中，考虑到数据假阳性样本过多(X光下患者的运动伪影等)，可以设置合理的正负样本比例，收集假阳性出血样本集合，重新送入神经网络模型中，比如，可以调整负样本损失缩放为0.3，降低负样本对参数更新的影响，直至网络模型达到认知上限，性能不再提升为止，由此进一步确保模型训练的可信度和精度，提高使用该模型进行出血点检测的准确度。

如图11所示，本申请实施例还提供可一种图像处理方法，所述方法可以包括：

S301.获取目标图像序列，所述目标图像序列包括至少两帧目标图像。

本申请实施例中，在S301之前，所述方法还可以包括：

获取多帧待检测图像。

将所述多帧待检测图像按照生成时间的先后顺序进行排序，得到待检测图像序列。

相应地，所述S301可以包括：

从所述待检测图像序列中抽取相邻的预设数量帧待检测图像。

将所述相邻的预设数量帧待检测图像所形成的序列作为所述目标图像序列；其中，所述待检测图像序列包括至少一个目标图像序列。

S303.基于第一神经网络模型对每帧目标图像进行特征提取，得到每帧目标图像对应的特征提取结果。

本申请实施例中，S303可以包括：

基于所述第一神经网络模型对每帧目标图像进行特征提取，得到每帧目标图像对应的出血特征和三维属性特征。

将每帧目标图像对应的出血特征和三维属性特征作为每帧目标图像对应的特征提取结果。

其中，所述三维属性特征包括每帧目标图像对应的长度信息、宽度信息和通道数信息。

S305.基于第二神经网络模型对每帧目标图像对应的融合特征进行融合处理，得到每帧目标图像对应的特征融合结果；其中，每帧目标图像对应的融合特征包括每帧目标图像对应的特征提取结果以及与每帧目标图像相邻的其他目标图像对应的特征融合结果。

本申请实施例中，S305可以包括：

基于所述第二神经网络模型对所述目标图像序列中排序第一位的目标图像对应的特征提取结果进行融合处理，得到所述排序第一位的目标图像对应的特征融合结果。

基于所述第二神经网络模型，对排序第N位的目标图像对应的特征提取结果和排序第N-1位的目标图像对应的特征融合结果进行融合处理，得到所述排序第N位的目标图像对应的特征融合结果，N为大于或等于2的正整数，且N小于或等于所述目标图像序列中包括的目标图像的数量。

S307.对每帧目标图像对应的特征融合结果进行检测处理，得到所述目标图像序列对应的目标出血点检测结果。

本申请实施例中，S307可以包括：

对每帧目标图像对应的特征融合结果进行检测处理，得到每帧目标图像对应的检测框。

计算每帧目标图像对应的检测框与预设检测框之间的交并比。

基于交并比大于或等于预设阈值的目标图像对应的检测框，确定目标出血点位置和目标出血点大小，将所述目标出血点位置和所述目标出血点大小作为所述目标出血点检测结果。

本申请实施例中，S307之后，所述方法还可以包括：

将每个目标图像序列对应的目标出血点检测结果进行汇总，得到所述待检测图像序列对应的出血点检测结果。

需要说明的是，本申请实施例提供的方法实施例与上述装置实施例基于相同的发明构思。

本申请实施例还提供了一种图像处理设备，所述设备包括处理器和存储器，所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器，所述处理器用于上述装置实施例所提供的图像处理装置。

本申请的实施例还提供了计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于上述装置实施例提供的图像处理装置。

可选地，在本申请实施例中，存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例所述存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用程序以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像处理装置，其特征在于，所述装置包括：

第一获取模块，用于获取目标图像序列，所述目标图像序列包括至少两帧目标图像；

提取模块，用于基于第一神经网络模型对每帧目标图像进行特征提取，得到每帧目标图像对应的出血特征和三维属性特征；以及用于将每帧目标图像对应的出血特征和三维属性特征作为每帧目标图像对应的特征提取结果；

融合模块，用于基于第二神经网络模型对所述目标图像序列中排序第一位的目标图像对应的特征提取结果进行融合处理，得到所述排序第一位的目标图像对应的特征融合结果；以及用于基于所述第二神经网络模型，对排序第N位的目标图像对应的特征提取结果和排序第N-1位的目标图像对应的特征融合结果进行融合处理，得到所述排序第N位的目标图像对应的特征融合结果，N为大于或等于2的正整数，且N小于或等于所述目标图像序列中包括的目标图像的数量；检测模块，用于对每帧目标图像对应的特征融合结果进行检测处理，得到所述目标图像序列对应的目标出血点检测结果。

2.根据权利要求1所述的装置，其特征在于，所述装置还包括：

第二获取模块，用于获取多帧待检测图像；

第三获取模块，用于将所述多帧待检测图像按照生成时间的先后顺序进行排序，得到待检测图像序列。

3.根据权利要求2所述的装置，其特征在于，所述第一获取模块，包括：

第一获取单元，用于从所述待检测图像序列中抽取相邻的预设数量帧待检测图像；

第一确定单元，用于将所述相邻的预设数量帧待检测图像所形成的序列作为所述目标图像序列；

其中，所述待检测图像序列包括至少一个目标图像序列。

4.根据权利要求1所述的装置，其特征在于，所述三维属性特征包括每帧目标图像对应的长度信息、宽度信息和通道数信息。

5.根据权利要求1所述的装置，其特征在于，所述检测模块包括：

第五获取单元，用于对每帧目标图像对应的特征融合结果进行检测处理，得到每帧目标图像对应的检测框；

计算单元，用于计算每帧目标图像对应的检测框与预设检测框之间的交并比；

第三确定单元，用于基于交并比大于或等于预设阈值的目标图像对应的检测框，确定目标出血点位置和目标出血点大小，将所述目标出血点位置和所述目标出血点大小作为所述目标出血点检测结果。

6.根据权利要求3所述的装置，其特征在于，所述装置还包括：

汇总模块，用于将每个目标图像序列对应的目标出血点检测结果进行汇总，得到所述待检测图像序列对应的出血点检测结果。

7.一种图像处理方法，其特征在于，所述方法包括：

获取目标图像序列，所述目标图像序列包括至少两帧目标图像；

基于第一神经网络模型对每帧目标图像进行特征提取，得到每帧目标图像对应的出血特征和三维属性特征；以及用于将每帧目标图像对应的出血特征和三维属性特征作为每帧目标图像对应的特征提取结果；

基于第二神经网络模型对所述目标图像序列中排序第一位的目标图像对应的特征提取结果进行融合处理，得到所述排序第一位的目标图像对应的特征融合结果；以及用于基于所述第二神经网络模型，对排序第N位的目标图像对应的特征提取结果和排序第N-1位的目标图像对应的特征融合结果进行融合处理，得到所述排序第N位的目标图像对应的特征融合结果，N为大于或等于2的正整数，且N小于或等于所述目标图像序列中包括的目标图像的数量；

对每帧目标图像对应的特征融合结果进行检测处理，得到所述目标图像序列对应的目标出血点检测结果。

8.根据权利要求7所述的图像处理方法，其特征在于，在所述获取目标图像序列之前，所述方法还包括：

获取多帧待检测图像；

将所述多帧待检测图像按照生成时间的先后顺序进行排序，得到待检测图像序列。

9.根据权利要求8所述的图像处理方法，其特征在于，所述获取目标图像序列，包括：

从所述待检测图像序列中抽取相邻的预设数量帧待检测图像；

将所述相邻的预设数量帧待检测图像所形成的序列作为所述目标图像序列；其中，所述待检测图像序列包括至少一个目标图像序列。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于权利要求1-6任一所述的图像处理装置或所述程序代码由处理器加载并执行以实现如权利要求7-9所述的图像处理方法。

Images