CN109448825A - 一种图像帧提取系统与方法 - Google Patents

Abstract

本申请公开了一种图像帧提取系统及方法，其中，图像帧提取系统包括：内窥镜系统、图像处理系统和AI诊断设备；所述图像处理系统包括至少一个图像处理模块，所述图像处理模块与内窥镜系统的预设接口对应；在对所述内窥镜系统产生的单模式图像进行处理时，所述预设接口为用于输出所述单模式图像的接口；在对所述内窥镜系统产生的多模式图像进行处理时，所述预设接口为用于输出所述多模式图像的接口，所述图像处理模块对应所述多模式图像中一种模式图像的接口；所述图像处理模块对所接收的图像进行并行处理。通过本申请，提高了AI诊断设备的诊断效率。

Description

一种图像帧提取系统与方法

技术领域

本申请涉及图像处理领域，特别是涉及一种图像帧提取系统与方法。

背景技术

早癌诊断是内窥镜临床应用领域的核心技术之一，虽然各大内镜设备产商开发了多种早癌诊断成像技术，但是受限于技术的普及程度，大部分术中过程很难完成早癌诊断工作，无法实现早发现早治疗的目标。AI诊断技术应用到内窥镜系统，位于内窥镜系统外部的诊断设备依据内镜视频确定疑似病灶的诊断结果；诊断结果可以辅助临床医生术中对病灶病理进行判断。

如申请人在先的另一个专利申请，中国专利申请(CN108670203A)，其公开了一种成像设备，通过一种能够生成白光图像、特征光图像以及荧光图像的成像设备，提高判断早癌的准确性。

现有技术的AI引擎基本上基于白光图像，或者特征光谱图像进行诊断分析，没有有效的与早癌诊断成像技术(白光图像和多种特征光谱图像)结合。其次，现有的图像处理及AI引擎分析诊断的效率低，诊断分析的图像数据冗余，以至于分析的时间慢，满足不了内窥镜早癌实时显示要求。

发明内容

基于此，本申请提出了一种图像帧提取系统与方法，用以提高AI诊断设备的诊断效率。

本申请提供的技术方案为：

一种图像帧提取系统包括：内窥镜系统、图像处理系统和AI诊断设备；所述图像处理系统包括至少一个图像处理模块，所述图像处理模块与内窥镜系统的预设接口对应；在对所述内窥镜系统产生的单模式图像进行处理时，所述预设接口为用于输出所述单模式图像的接口；在对所述内窥镜系统产生的多模式图像进行处理时，所述预设接口为用于输出所述多模式图像的接口，所述图像处理模块对应所述多模式图像中一种模式图像的接口；所述图像处理模块对所接收的图像进行并行处理。

优选地，所述图像处理模块用于从所接收的图像中提取满足预设质量条件的关键帧图像。

优选地，所述图像处理模块包括数据单元与筛选单元；所述数据单元与所述图像处理模块对应的接口连接；所述数据单元与所述筛选单元连接；所述数据单元，用于对所接收的待筛选图像进行保存；所述筛选单元，用于按照所述数据单元接收所述待筛选图像的先后顺序，从所述数据单元所保存的图像中提取满足所述预设质量条件的关键帧图像。

优选地，所述筛选单元，用于按照所述数据单元接收所述待筛选图像的先后顺序，从所述数据单元所保存的图像中提取满足所述预设质量条件的关键帧图像，包括：

所述筛选单元，用于接收所述数据单元按照接收顺序发送的待筛选图像；采用预设计算算子对所述待筛图像进行计算，得到所述待筛选图像对应的计算结果；从预设数量帧已计算的待筛选图像中，确定计算结果大于预设阈值的待筛选图像为关键帧图像。

优选地，所述筛选单元，用于从预设数量帧已计算的待筛选图像中，确定计算结果大于预设阈值的待筛选图像为关键帧图像，包括：

将所述待筛选图像与计算结果进行对应保存；

统计已计算且待提取关键帧的待筛选图像的总帧数；

在所述总帧数达到预设数量时，从已计算且待提取关键帧的待筛选图像中，筛选出计算结果大于预设阈值的待筛选图像为所述关键帧图像。

优选地，所述数据单元的存储空间的上限值依据所接收的图像对应的位深进行设置。

优选地，所述数据单元在所保存的图像已占用的存储空间达到所述上限值时产生预警信号；所述预警信号表示不再接收所述内窥镜系统产生的图像。

优选地，输出模块；所述输出模块分别与每个图像处理模块中的筛选单元连接；所述输出模块，用于接收所述关键帧图像；并将所述关键帧图像发送至AI诊断设备。

一种图像帧提取方法，其特征在于，包括：在接收到预设触发条件的情况下，接收内窥镜系统产生的各模式图像；按照预设处理流程，对于所述各模式图像进行并行处理。

优选地，针对并行处理的任一模式图像，所述预设处理流程包括：从所接收的图像中提取满足预设质量条件的关键帧图像。

优选地，所述从所接收的图像中提取满足预设质量条件的关键帧图像，包括：接收所述内窥镜系统发送的待筛选图像；对所接收的待筛选图像进行保存；按照所述待筛选图像接收的先后顺序，从所保存的待筛选图像中提取满足所述预设质量条件的图像为所述关键帧图像。

优选地，所述按照所述待筛选图像接收的先后顺序，从所保存的待筛选图像中提取满足所述预设质量条件的图像为所述关键帧图像，包括：按照待筛选图像的接收顺序，采用预设计算算子对所保存的待筛图像进行计算，得到所述待筛选图像对应的计算结果；从预设数量帧已计算的待筛选图像中，确定计算结果大于预设阈值的待筛选图像为关键帧图像。

优选地，所述从预设数量帧已计算的待筛选图像中，确定计算结果大于预设阈值的待筛选图像为关键帧图像，包括：将所述待筛选图像与计算结果进行对应保存；统计已计算且待提取关键帧的待筛选图像的总帧数；在所述总帧数达到预设数量时，从已计算且待提取关键帧的待筛选图像中，筛选出计算结果大于预设阈值的待筛选图像为所述关键帧图像。

优选地，输出所述关键帧图像。

本申请的有益效果为：

本申请提供一种图像帧提取的系统与方法，可以对内窥镜系统产生的单模式图像进行处理，也可以对内窥镜系统产生的多模式图像中的各模式图像进行并行处理，从而提出处理效率，以及对各模式图像进行处理的稳定定性与准确性；通过对内窥镜系统产生的各模式图像中提取满足预设质量要求的关键帧图像，使得用于早癌诊断的AI诊断设备基于关键帧图像进行早癌诊断，从而减少AI诊断设备进行早癌的诊断数据的冗余性，进而提高诊断效率与诊断准确性；在提取满足预设质量条件的关键帧图像时，按照从内窥镜系统接收待筛选图像的先后顺序，采用预设算子计算待筛选图像的质量参数值，并从预设数量帧已计算的待筛选图像中，确定计算结果大于预设阈值的待筛选图像为关键帧图像；由于对于各模式图像进行并行处理的过程中，都是按照从内窥镜系统接收待筛选图像的先后顺序，从预设数量帧已计算的待筛选图像中提取关键帧图像，保证提取的各模式的关键帧图像是同步的，进而保证AI诊断设备的诊断结果是同一个待诊断部位的各模式图像对应的诊断结果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请中一种图像帧提取系统的结构示意图；

图2为本申请中一种图像帧提取系统的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

现有的AI诊断设备基本上基于白光图像，或者特征光谱图像进行诊断分析，内窥镜外部的AI诊断设备，通过获取内窥镜采集的白光图像和特征光谱图像，并基于获取的白光图像和特征光谱图像进行数据处理和诊断分析。

然而，本申请采用一种能够生成白光图像、特征光图像以及荧光图像的成像设备，在此基础上，通过分析所述的白光图像、特征光图像和荧光图像等多种图像，从而进行早癌诊断。若采用现有的图像处理的系统与方法，其存在效率低，分析的时间慢，满足不了内窥镜早癌实时显示要求。

因此，本申请采用不同的筛选单元对不同的图像进行并行处理，通过对不同图像进行关键帧提取，从而提高AI诊断设备输入图像关键帧的准确性，并行处理节约早癌图像获取的时间，提高关键帧的准确性，提高AI诊断设备的早癌诊断的分析效率。

图1为本申请所述的一种图像帧提取系统的结构示意图，图1中包括内窥镜系统、图像处理系统和AI诊断设备，其中，内窥镜系统与图像处理系统连接，图像处理系统和AI诊断设备通过AI接口连接。

图1中图像处理系统作为一个独立的系统与内窥镜系统连接，只是一种应用场景，在实际应用中，内窥镜系统与图像处理系统还可以集成。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图2为本申请中一种图像处理系统的结构，包括：

第一数据单元、第二数据单元、第三数据单元、第一筛选单元、第二筛选单元、第三筛选单元与输出单元；其中，第一数据单元与第一筛选单元连接，第二数据单元与第二筛选单元连接，第三数据单元与第三筛选单元连接；第一筛选单元、第二筛选单元、第三筛选单元分别与输出单元连接。

内窥镜系统可以生成多模式图像，例如，白光图像，特征光谱图像和荧光图像；也可以生成单模式图像，例如，白光图像。在本实施例中，图像帧提取系统可以对内窥镜系统生成的多模式图像进行关键帧提取，也可以内窥镜系统生成的单模式图像进行关键帧提取。

具体的，内窥镜系统存在多个接口，每个接口输出一种图像，不同的接口可以输出不同种类的图像，例如，多模式图像包括白光图像、特征光谱图像和荧光图像，则内窥镜系统可以存在三个接口，分别为第一接口、第二接口与第三接口，其中，第一接口用于输出白光图像，第二接口用于输出特征光谱图像，第三接口用于输出荧光图像。

这里需要说明的是，所述接口可以为硬件上实现的接口，也可以为软件实现的接口；当所述接口为硬件上实现的接口时，其可以为设置在内窥镜系统上的DVI接口、VGA接口等；当所述接口为软件上实现的接口时，其可以为数据包中划分的接口、或者通信传输帧中划分的接口等。

关键帧筛选系统中的第一数据单元、第二数据单元和第三数据单元与内窥镜系统中用于输出多模式图像的多个接口一一对应，接收来自所述接口的图像数据，具体的，第一数据单元与第一接口对应，第二数据单元与第二接口对应，第三数据单元与第三接口对应。使得，第一数据单元接收到的图像是白光图像，第二数据单元接收到的图像是特征光谱图像，第三数据单元接收到的图像是荧光图像。

图像处理系统对多模式图像进行关键帧提取的过程可以包括以下步骤：

S101、数据单元接收待筛选图像。

在本步骤中，为了描述方便，在本步骤中将第一数据单元，第二数据单元和第三数据单元统称为数据单元，并且，为了提高处理速度，第一数据单元、第二数据单元和第三数据单元的处理过程是独立的且是并行的。待筛选图像为内窥镜系统中与数据单元对应的接口输出的图像，对于第一数据单元，待筛选图像为与第一数据单元对应的接口所输出的图像；对于第二数据单元，待筛选图像为与第二数据单元对应的接口所输出的图像；同理，对于第三数据单元，待筛选图像为与第三数据单元对应的接口所输出的图像。

具体的，数据单元接收待筛选图像的触发条件为：数据单元接收到AI设备发出的开启指令，数据单元开始接收待筛选图像。

数据单元在AI设备开启到关闭的时间范围内，可以接收待筛选图像。

S102、数据单元保存待筛选图像。

在本实施例中，对于每个数据单元都可以事先设置保存待筛选图像的数量。进一步的，基于待筛选的图像的位深度(保存任意一个像素所需的位数)，可以事先确定出每个数据单元存储预设数量的图像所需的存储空间，进而依据事先确定出的存储空间，从而有效减少了数据单元对内存大小的要求。

例如，第一数据单元接收的是白光图像，则第一数据单元的位深度可以设置为32bit，第二数据单元接收的是特征光谱图像，则第二数据单元的位深度可以设置为8bit，第三数据单元接收的是荧光图像，则第三数据单元的位深度可以设置为16bit；由于第一数据单元、第二数据单元和第三数据单元所设置的位深度不同，则基于每个数据单元所需存储的待筛选图像的数量，确定第一数据单元、第二数据单元和第三数据单元所需的存储空间，进而，为每个数据单元分配所需的内存。

在本实施例中，每个数据单元以“栈”的方式存储数据。

S103、数据单元判断已占用的存储空间是否达上限存储空间，若达到，则执行S104，否则，执行S101与S105。

在本步骤中，数据单元的上限存储空间为事先设置的用于存储第一预设数量帧的图像所需的存储空间。对于第一预设数量的设置依据数据单元的硬件性能进行设定，不同的数据单元对应的预设数量可以不同，也可以相同。本实施例不对数据单元的第一预设数量作限定。

S104、数据单元发出用于表示达到上限存储空间的预警信号。

在本实施例中，数据单元发出预警信号的目的为：当前不再接收内窥镜系统生成的待筛选图像。

S105、数据单元以“先进先出”的方式向筛选单元发送待筛选图像。

在本步骤中，数据单元向筛选单元发送待筛选图像的触发条件为：筛选单元的标志位为预设标识，预设标识表示筛选单元当前没有正在计算的待筛选图像。具体的，数据单元可以一次向筛选单元发送一帧待筛选图像。当然，在实际应用中，还可以发送其他数量帧的待筛选图像，具体的，发送待筛选图像的帧数量依据筛选单元的计算算子最低所需的图像大小为依据，只要满足筛选单元的计算算子进行计算的最低大小即可。

当数据单元向筛选单元发送数据后，释放掉的内存用于接收新的数据。

具体的，在本步骤中，第一数据单元向第一筛选单元发送待筛选图像，第二数据单元向第二筛选单元发送待筛选图像，第三数据单元向第三筛选单元发送待筛选图像。

在本实施例中，数据单元在筛选单元的标志位为预设标识时，向筛选单元发送待筛选图像，可以保证数据处理的可靠性。

S106、筛选单元对所接收的图像进行计算。

在本步骤中，筛选单元是第一筛选单元、第二筛选单元、第三筛选单元的统称。具体的，第一筛选单元事先设置有第一计算算子，第一计算算子用于计算白光图像的质量信息；第二筛选单元中事先设置有第二计算算子，第二计算算子用于计算特征光谱图像的质量信息；第三筛选单元中事先设置有第三计算算子，第三计算算子用于计算荧光图像的质量信息。

具体的，对于白光图像，全局亮度通常是评价白光图像质量的一个指标，因此，第一计算算子用于计算图像的峰值信噪比；对于特征光谱图像，图像的纹理信息通常是评价特征光谱图像质量的一个指标，因此，第二计算算子用于计算图像的局部平均值；对于荧光图像，图像的灰度分局的聚集特性通常是评价荧光图像质量的一个指标，因此，第三计算算子用于计算图像的熵。

具体的，每个计算算子对待筛选图像的计算过程为现有技术，这里不再赘述。

在本实施例中，一个筛选单元处理一种模式图像，可以确保筛选单元处理的稳定性；一个筛选单元中预设一种适用于所处理模式图像的计算算子，可以提高筛选的效率。

需要说明的是，每个筛选单元的计算算子的数量、计算算子的具体功能本实施例不作限定，可以根据实际情况进行限定。

S107、筛选单元将待筛选图像与计算结果进行对应保存。

由于上述S104～S106，数据单元是按照“先进先出”的方式向筛选单元发送待筛选图像，筛选图像对待筛选图像进行计算，并将计算结果与待筛选图像对应保存，因此，在本步骤中，所对应保存的待筛选图像的顺序同样是数据单元发送待筛选图像的顺序。

S108、筛选单元统计已计算且未筛选图像的总帧数。

在本实施例中，筛选单元中可以安装有计数器，当筛选单元完成对一帧图像的计算后，计数器的计数加1。在本步骤中，也就是第一筛选单元、第二筛选单元与第三筛选单元中都安装有计数器。

S109、筛选单元在计数器的计数达到预设数量时，从预设数量的已计算图像中筛选出关键帧图像。

在本步骤中，预设数量可以根据实际情况进行设定，本实施例不对预设数量作限定，但是，为了保证不同的筛选单元向AI诊断设备发送的图像是帧同步，不同筛选单元的预设数量是相同的，即第一筛选单元、第二筛选单元与第三筛选单元对应的预设数量相同。

在本步骤中，关键帧为预设数量的待筛选图像中，质量大于预设阈值的帧图像。

从预设数量的已计算图像中筛选出关键帧的过程可以包括：将所保存的计算结果与预设质量阈值进行比较，并将大于预设质量阈值的帧图像作为关键帧。

例如，第二预设数量为20帧，第一筛选单元将计算得到的20个结果与第一预设质量阈值进行比较，从20个计算结果中筛选出第一目标数量帧图像；第二筛选单元将计算得到的20个结果与第二预设质量阈值进行比较，从20个计算结果中筛选出第二目标数量帧图像；第三筛选单元将计算得到的20个结果与第三预设质量阈值进行比较，从20个计算结果中筛选出第三目标数量帧图像；其中，第一预设质量阈值、第二预设质量阈值与第三预设质量阈值需要根据实际情况进行设定。第一目标数量帧、第二目标数量帧与第三目标数量帧可以相同也可以不同，本实施例不对第一目标数量帧、第二目标数量帧与第三目标数量帧的取值作限定。

需要说明是，本实施例中的筛选单元是并行运行，可以提高处理速度。

在本实施例中，内窥镜系统还可以生成单模式图像，例如，内窥镜系统只生成白光图像。在实施例中，图像帧提取系统可以对内窥镜系统生成的单模式图像进行关键帧提取。

图像帧提取系统对单模式图像与多模式图像进行关键帧提取的过程基本相同；对于从单模式图像中筛选关键帧，本实施例只介绍与从多模式图像中筛选关键帧的不同之处，相同之处这里不再赘述。

对单模式图像的提取过程与对多模式图像的提取过程不同之处包括：第一、每个数据单元与内窥镜系统输出同一种图像的接口相连。第二、每个筛选单元中的计算算子根据单模式图像的进行设定。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同相似部分互相参见即可。在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。在文中的“包括”、“包含”等词语解释为包含的含义而不是排他或穷举的含义；也就是说，是“包含但不限于”的含义。在不脱离本发明构思的前提下，还可以做出变形、同等替换、改进等，这些都属于本发明的保护范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (13)

1.一种图像帧提取系统，其特征在于，包括：

内窥镜系统、图像处理系统和AI诊断设备；

所述图像处理系统包括至少一个图像处理模块，所述图像处理模块与内窥镜系统的预设接口对应；在对所述内窥镜系统产生的单模式图像进行处理时，所述预设接口为用于输出所述单模式图像的接口；在对所述内窥镜系统产生的多模式图像进行处理时，所述预设接口为用于输出所述多模式图像的接口，所述图像处理模块对应所述多模式图像中一种模式图像的接口；

所述图像处理模块对所接收的图像进行并行处理。

2.根据权利要求1所述的图像帧提取系统，其特征在于，所述图像处理模块用于从所接收的图像中提取满足预设质量条件的关键帧图像。

3.根据权利要求2所述的图像帧提取系统，其特征在于，所述图像处理模块包括数据单元与筛选单元；所述数据单元与所述图像处理模块对应的接口连接；所述数据单元与所述筛选单元连接；所述数据单元，用于对所接收的待筛选图像进行保存；所述筛选单元，用于按照所述数据单元接收所述待筛选图像的先后顺序，从所述数据单元所保存的图像中提取满足所述预设质量条件的关键帧图像。

4.根据权利要求3所述的图像帧提取系统，其特征在于，所述筛选单元，用于按照所述数据单元接收所述待筛选图像的先后顺序，从所述数据单元所保存的图像中提取满足所述预设质量条件的关键帧图像，包括：

所述筛选单元，用于接收所述数据单元按照接收顺序发送的待筛选图像；采用预设计算算子对所述待筛图像进行计算，得到所述待筛选图像对应的计算结果；从预设数量帧已计算的待筛选图像中，确定计算结果大于预设阈值的待筛选图像为关键帧图像。

5.根据权利要求4所述的图像帧提取系统，其特征在于，所述筛选单元，用于从预设数量帧已计算的待筛选图像中，确定计算结果大于预设阈值的待筛选图像为关键帧图像，包括：

将所述待筛选图像与计算结果进行对应保存；

统计已计算且待提取关键帧的待筛选图像的总帧数；

在所述总帧数达到预设数量时，从已计算且待提取关键帧的待筛选图像中，筛选出计算结果大于预设阈值的待筛选图像为所述关键帧图像。

6.根据权利要求3～5任意一项所述的图像帧提取系统，其特征在于，所述数据单元的存储空间的上限值依据所接收的图像对应的位深进行设置。

7.根据权利要求6所述的图像帧提取系统，其特征在于，所述数据单元在所保存的图像已占用的存储空间达到所述上限值时产生预警信号；所述预警信号表示不再接收所述内窥镜系统产生的图像。

8.根据权利要求2所述的图像帧提取系统，其特征在于，还包括：输出模块；

所述输出模块分别与每个图像处理模块中的筛选单元连接；

所述输出模块，用于接收所述关键帧图像；并将所述关键帧图像发送至AI诊断设备。

9.一种图像帧提取方法，其特征在于，包括：

在接收到预设触发条件的情况下，接收内窥镜系统产生的各模式图像；

按照预设处理流程，对于所述各模式图像进行并行处理。

10.根据权利要求9所述的图像帧提取方法，其特征在于，针对并行处理的任一模式图像，所述预设处理流程包括：从所接收的图像中提取满足预设质量条件的关键帧图像。

11.根据权利要求10所述的图像帧提取方法，其特征在于，所述从所接收的图像中提取满足预设质量条件的关键帧图像，包括：

接收所述内窥镜系统发送的待筛选图像；

对所接收的待筛选图像进行保存；

按照所述待筛选图像接收的先后顺序，从所保存的待筛选图像中提取满足所述预设质量条件的图像为所述关键帧图像。

12.根据权利要求11所述的图像帧提取方法，其特征在于，所述按照所述待筛选图像接收的先后顺序，从所保存的待筛选图像中提取满足所述预设质量条件的图像为所述关键帧图像，包括：

按照待筛选图像的接收顺序，采用预设计算算子对所保存的待筛图像进行计算，得到所述待筛选图像对应的计算结果；

从预设数量帧已计算的待筛选图像中，确定计算结果大于预设阈值的待筛选图像为关键帧图像。

13.根据权利要求12所述的图像帧提取方法，其特征在于，所述从预设数量帧已计算的待筛选图像中，确定计算结果大于预设阈值的待筛选图像为关键帧图像，包括：

将所述待筛选图像与计算结果进行对应保存；

统计已计算且待提取关键帧的待筛选图像的总帧数；

在所述总帧数达到预设数量时，从已计算且待提取关键帧的待筛选图像中，筛选出计算结果大于预设阈值的待筛选图像为所述关键帧图像。