CN108055454B - 医用内窥镜人工智能芯片的体系架构及图像处理方法 - Google Patents

Abstract

本发明提供了一种医用内窥镜人工智能芯片的体系架构及图像处理方法。本发明通过设置部位识别模块筛选出包含预定部位的图像，后续只需要针对包含预定部位的图像进行处理，即进行预定特征区域识别，并且只需要计算包含预定特征区域的图像的置信度并进行标注，从而降低了需要处理的数据量以及需要处理的图像的数量，提高了图像的处理效率，包含该部位识别模块的内窥镜需要的处理数据量也相应的得到降低，从而提高了内窥镜对图像处理的效率以及内窥镜的检测效率。

Description

医用内窥镜人工智能芯片的体系架构及图像处理方法

技术领域

本发明涉及图像处理以及医用领域，具体涉及一种医用内窥镜人工智能芯片的体系架构及该架构的图像处理方法。

背景技术

内窥镜是集中了传统光学、人体工程学、数学、精密机械、微电子设备以及软件等于一体的检测仪器。内窥镜具有图像传感器、光学镜头、光源照明等，它可以经人体的天然孔道，或者是经手术做的小切口进入人体内，采集图像，并将采集的图像传输到医护人员可以看到的显示终端上，例如内窥镜经口腔进入胃内。利用内窥镜可以使医护人员看到X射线不能显示的病变，对医生诊断以及病人的治疗都非常有用。

目前内窥镜利用光源照明，利用光学镜头以及图像传感器采集人体内的图像，并将采集的图像传输给显示终端，供医护人员进行诊断。

现在的内窥镜虽然能够采集并传输图像，但是其采集、处理并传输的是从内窥镜进入人体到离开人体这段时间内的所有图像，需要处理的数据量非常大，大大降低了图像的处理效率，从而造成了检测效率的降低，并且大量的数据传输造成了相当大的通信负载，并且医护人员需要在众多的图像中选取少数有效的图像，给图像处理也带来很大的难度，降低了医生的诊断效率。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种医用内窥镜人工智能芯片的体系架构及图像处理方法，解决了现有技术中图像处理效率低的缺陷。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

第一方面，提供了一种医用内窥镜人工智能芯片的体系架构，所述架构包括：

图像采集模块，用于连续采集待拍摄物体的图像，并将采集的图像传输给部位识别模块、特征区域识别模块以及存储模块；

部位识别模块，用于判断当前帧对应的图像中是否包含所述待拍摄物体的预定部位，若当前帧对应的图像包含所述预定部位，则发送控制信号给所述特征区域识别模块；

特征区域识别模块，用于接收所述控制信号，并根据所述控制信号判断当前帧对应的图像中是否存在至少一个预定特征区域，若当前帧对应的图像存在至少一个所述预定特征区域，则在图像中标注出所述预定特征区域的位置，并计算所述预定特征区域的置信度，然后将所述置信度和标注后的图像发送给存储模块；

存储模块，用于接收所述置信度和标注后的图像，并判断所述置信度是否超过第一预定阀值，若所述置信度超过所述第一预定阀值，则存储所述置信度以及所述置信度对应的标注后的图像。

结合第一方面，在第一种可能的实现方式中，所述架构还包括控制模块，所述控制模块包括处理子模块和通信子模块，所述存储模块包括信号发送子模块；

所述信号发送子模块，用于判断所述存储模块已经被占用的存储空间是否超过第二预定阀值，若存储模块已经被占用的存储空间超过所述第二预定阀值，则发送筛选信号给所述控制模块；

所述处理子模块，用于接收所述筛选信号，并根据所述筛选信号，从所述存储模块中选取置信度超过第三预定阀值的带标注图像，并传输给所述通信子模块；

所述通信子模块，用于接收所述置信度超过第三预定阀值的带标注图像，并传输给外部终端。

结合第一方面，在第二种可能的实现方式中，所述控制模块还包括删除子模块；

所述删除子模块，用于在所述通信子模块将所述置信度超过第三预定阀值的带标注图像传输给所述外部终端之后，清空所述存储模块。

结合第一方面、第一方面的第一种可能的实现方式或第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述外部终端为远程终端。

结合第一方面，在第四种可能的实现方式中，所述部位识别模块和/或所述特征区域识别模块为神经网络加速器。

结合第一方面，在第五种可能的实现方式中，所述存储模块为静态随机存取存储器。

第二方面，提供了一种图像处理方法，所述方法包括如下步骤：

连续采集待拍摄物体的图像；

判断当前帧对应的图像是否包含所述待拍摄物体的预定部位，若当前帧对应的图像包含所述预定部位，则判断当前帧对应的图像中是否存在至少一个预定特征区域，若当前帧对应的图像存在至少一个所述预定特征区域，则在当前帧对应的图像中标注出所述预定特征区域的位置，并计算所述预定特征区域的置信度；

判断当前帧对应的图像中所述预定特征区域的的置信度是否超过第一预定阀值，若当前帧对应的图像中所述预定特征区域的置信度超过所述第一预定阀值，则存储所述置信度和所述置信度对应的标注后的图像。

结合二方面，在第一种可能的实现方式中，所述方法还包括如下步骤：

判断存储的所述带标注图像占用的存储空间是否超过第二预定阀值，若存储的所述带标注图像占用的存储空间超过所述第二预定阀值，则选取所述置信度最大的所述带标注图像，并传输给外部终端。

集合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述方法在所述选取所述置信度超过第三预定阀值所述带标注图像，并传输给外部终端之后，还包括如下步骤：

删除存储的所述带标注图像。

(三)有益效果

本发明实施例提供了一种医用内窥镜人工智能芯片的体系架构及图像处理方法。具备以下有益效果：

通过设置部位识别模块筛选出包含预定部位的图像，后续只需要针对包含预定部位的图像进行处理，即进行预定特征区域识别并标注，并且只需要计算包含预定特征区域的置信度，从而降低了需要处理的数据量以及需要处理的图像的数量，提高了图像的处理效率，包含该部位识别模块的内窥镜需要处理数据量也相应的得到降低，从而提高了内窥镜对图像处理的效率以及内窥镜的检测效率。

通过设置存储模块实现根据置信度对带标注图像进行筛选，只保存置信度超过第一预定阀值的带标注图像，节省了存储空间。同时通过控制模块在存储模块中选取置信度超过第三预定阀值的带标注图像，传输到外部终端，结合上述部位识别模块的筛选功能有效降低了需要传输的数据量，减少了数据传输的通信负载。同时医护人员或其他方面的工作人员收到的是数量很少的有效带标注图像，降低了医护人员或其他方面的工作人员的工作量，提高了工作的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例的医用内窥镜人工智能芯片的体系架构结构示意图；

图2是本发明再一实施例的医用内窥镜人工智能芯片的体系架构结构示意图；

图3是本发明又一实施例的医用内窥镜人工智能芯片的体系架构结构示意图

图4是本发明一实施例的图像处理方法流程图；

图5是本发明再一实施例的图像处理方法流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当说明的是本发明实施例的医用内窥镜人工智能芯片的体系架构中的部件可以但不限于用于内窥镜中，可以用于其他任何图像处理装置中。本发明的以下实施例内窥镜为例进行说明。

一种医用内窥镜人工智能芯片的体系架构，如图1所示，该架构包括：

图像采集模块，用于连续采集待拍摄物体的图像，并将采集的图像传输给部位识别模块、特征区域识别模块以及存储模块；

这里的待拍摄物体可以是人体的某个器官的内部，例如待拍摄物体为胃、大肠等。图像采集模块采集连续的图像形成视频流，并实时传输给部位识别模块、特征区域识别模块以及存储模块。

部位识别模块，用于判断当前帧对应的图像中是否包含待拍摄物体的预定部位，若当前帧对应的图像包含预定部位，则发送控制信号给特征区域识别模块；

这里的预定部位根据实际的应用场景灵活设定，例如是贲门、十二指肠、幽门等关键部位。部位识别模块在识别到关键部位时才会发出控制信号给特征区域识别模块，控制特征区域识别模块对相应的图像进行预定特征区域标注，并确定标注的预定特征区域的置信度，从而能够减少特征区域标注的计算量，提高图像处理效率，从而能够相应的提高检查效率。

特征区域识别模块，用于接收控制信号，并根据控制信号判断当前帧对应的图像中是否存在至少一个预定特征区域，若当前帧对应的图像存在至少一个预定特征区域，则在图像中标注出预定特征区域的位置，并计算标注的预定特征区域的置信度，然后将计算的置信度和标注后的图像发送给存储模块；

这里的特征区域识别模块根据控制信号以及预定特征区域对图像进行标注，只有包含预定部位的图像才会进行预定特征区域标注，从而进一步降低了图像处理需要计算的数据量，提高了图像处理的效率。利用预定特征区域可以筛选具有某种图像特征的图像，实现了对图像的进一步筛选。这里的某种图像特征可以是具有特定灰度值和特定对比度等图像特征，这些图像特征可以在一定程度上反映是否存在病灶以及病灶的程度等信息。

存储模块，用于接收置信度和标注后的图像，并判断置信度是否超过第一预定阀值，若置信度超过第一预定阀值，则存储置信度以及置信度对应的带标注图像。

这里的第一预定阀值可以根据实际的应用场景灵活设定。存储模块只保存置信度超过第一预定阀值的带标注图像，可以有效节省存储空间，并提高存储效率。

本实施例的方法，通过设置部位识别模块筛选出包含预定部位的图像，后续只需要针对包含预定部位的图像进行处理，即进行预定特征区域识别并标注出预定特征区域的位置，从而降低了需要处理的数据量以及需要处理的图像的数量，提高了图像的处理效率，包含该部位识别模块的内窥镜需要处理数据量也相应的得到降低，从而提高了内窥镜对图像处理的效率以及内窥镜的检测效率。

在一个实施例中，如图2所示，医用内窥镜人工智能芯片的体系架构还包括控制模块，控制模块包括处理子模块和通信子模块，存储模块包括信号发送子模块；

信号发送子模块，用于判断存储模块已经被占用的存储空间是否超过第二预定阀值，若存储模块已经被占用的存储空间超过第二预定阀值，则发送筛选信号给控制模块；

这里的第二预定阀值可以根据实际的应用场景灵活设定，例如第二阀值设置为被占用的存储空间为80％的存储空间。

处理子模块，用于接收筛选信号，并根据筛选信号，从存储模块中选取置信度超过第三预定阀值的带标注图像，并传输给通信模块；

这里的第二预定阀值可以根据实际的应用场景灵活设定，通过第三预定阀值选取的带标注图像可以包括一个或多个。当然处理子模块也可以选取置信度最大的带标注图像，传输给通信子模块。

通信子模块，用于接收置信度超过第三预定阀值的带标注图像，并传输给外部终端。

应当说明的是这里的第三那预定阀值可以筛选出置信度最大的带标注图像，并将置信度最大的带标注图像传输给外部终端。

这里的外部终端可以是远程终端，本发明实施例对此并不进行限定。

通过设置存储模块实现根据置信度对带标注图像进行筛选，只保存置信度超过第一预定阀值的带标注图像，节省了存储空间。同时通过控制模块在存储模块中选取置信度超过第三预定阀值的带标注图像，传输到外部终端，结合上述部位识别模块的筛选功能有效降低了需要传输的数据量，减少了数据传输的通信负载。同时医护人员或其他方面的工作人员收到的是数量很少的、包含预定部位以及标注出预定特征区域的图像，降低了医护人员或其他方面的工作人员的工作量，提高了工作的效率。

在一个实施例中，控制模块还包括删除子模块；

删除子模块，用于在通信子模块将置信度最大的带标注图像或置信度超过第三阀值的带标注图像传输给外部终端之后，清空存储模块。这样存储模块就应用于下一批图像存储。

如图3所示，本实施例的架构包括部位识别模块、特征区域识别模块、片上存储模块以及控制模块。本实施例还提供一种运行于控制模块中的筛选算法选取特征帧对应的带标注图像并传送到外部终端。

内窥镜启动后，开始拍摄的待拍摄物体的图像，拍摄的图像同时输入部位识别模块，特征区域识别模块和片上存储模块，部位识别模块对每一帧图像进行部位识别，若识别出当前所拍摄图像处于关键部位，即具有所拍摄图像包含预定部位，则发送控制信号给特征区域识别模块，否则不发送控制信号，特征区域识别模块在收到控制信号后，对当前帧图像进行预定特征区域标注，并计算标注的预定特征区域的置信度，然后将计算出的置信度和标注后的图像发送给片上存储模块，若没有收到控制信号，则略过该帧图像；片上存储模块在收到置信度和标注后的图像后，判断置信度是否大于第一预定阈值，若大于，则将标注后的图像和收到的置信度保存，否则略过该帧图像；当片上存储模块达到80％满的状态时，发送筛选信号给控制模块；控制模块在收到筛选信号后，从当前片上存储模块中的所有图像中选择置信度最高的带标注图像输出，并清空片上存储器。

部位识别模块用于识别当前内窥镜所拍摄的部位，当内窥镜拍摄的部位被识别为预定部位即关键部位时，发送控制信号给特征区域识别模块进行预定特征区域检测。例如胃镜检查中的贲门、十二指肠、幽门预定部位。部位识别模块为神经网络加速器，支持常见的神经网络层，如卷积层、全连接层、池化层等。可以加速目前常见的经典神经网络架构，如GoogLeNet、AlexNet、VGGNet等。部位识别模块根据部署的神经网络架构产生指令序列，通过其内部的控制器对每一帧图像进行识别，整个计算过程无需外部信号干预。

特征区域识别模块用于检测当前拍摄图像中是否存在预定特征区域，并在图像中标注出预定特征区域所在的位置。由于预定特征区域检测比识别预定部位需要更复杂的运算，检测的时间和难度都比识别预定部位要大很多，只有在前述部位识别模块判定当前拍摄区域为预定部位时，特征区域识别模块才开始进行病灶检测，通过这种方法，极大的减少了检测的视频帧数量，降低运算量。同时，由于部位识别模块已过滤掉非关键部位，即预定部位，减少了误将非关键部位的复杂影像检测为包含预定特征区域的图像的可能性，提高检测精度。特征区域识别模块为神经网络加速器，支持常见的神经网络层，如卷积层、全连接层、池化层等。可以加速目前常见的经典神经网络架构，如GoogLeNet、AlexNet、VGGNet等。特征区域识别模块根据部署的神经网络架构产生指令序列，通过其内部的控制器对每一帧图像的检测，整个计算过程无需外部信号干预。

片上存储模块用于缓存特征区域识别模块检测出的带有预定特征区域的带标注图像。由于拍摄过程中预定特征区域出现的视频时长一般只持续若干秒，片上存储模块不用提供大量存储空间，这也使得该模块可以集成到片上。在实现上，采用传统SRAM，达到读写速度快的特点。

控制模块用于从片上存储模块所缓存的带标注图像中选出合适的带标注图像(即特征帧)传送到外部终端。当片上存储模块到达80％满的状态时，控制模块运行筛选算法从所存储的带标注图像中选取一帧图像作为代表传送到外部终端。控制模块采用硬连线的方式将筛选算法固化到硬件中。

筛选算法用于从片上存储模块中所存的连续图像选出当前预定特征区域的特征帧图像进行输出。具体流程如下：当片上存储模块达到80％满的状态时，启动筛选算法；筛选算法遍历每帧图像的置信度(表示每帧图像检测出预定特征区域的可信度)；选取置信度最高的一帧图像进行输出；清空遍历过的所有图像。采用80％满状态启动筛选算法是考虑到筛选算法的运行延时，在筛选算法运行过程中，新到达的帧仍然可以进行保存，避免图像丢失。

本实施例在预定特征区域检测之前，加入了预定部位识别，避免了对大量不可能出现预定特征区域的部位进行复杂的检测运算，提高了检测效率，同时也提高了检测精度。本实施例得到并传输的不是整个拍摄视频，而是选出具有代表性的带标注图像，减少通信负载，同时也减轻了外部终端进行检测的计算量。

对应于上述架构，还公开了一种图像处理方法，如图4所示，该方法包括如下步骤：

110、连续采集待拍摄物体的图像；

120、判断当前帧对应的图像是否包含待拍摄物体的预定部位；

130、若当前帧对应的图像包含预定部位，则判断当前帧对应的图像中是否存在至少一个预定特征区域；

140、若当前帧对应的图像存在至少一个预定特征区域，则在当前帧对应的图像中标注出预定特征区域的位置，并计算预定特征区域的置信度；判断当前帧对应的图像的标注的预定特征区域的置信度是否超过第一预定阀值；

150、若当前帧对应的图像的标注的预定特征区域的置信度超过第一预定阀值，则存储计算出的置信度和标注后的图像。

在一个实施例中，如图5所示，图像处理方法还包括如下步骤：

160、判断存储的带标注的图像占用的存储空间是否超过第二预定阀值；

170、若存储的带标注的图像占用的存储空间超过第二预定阀值，则选取置信度超过第三预定阀值的带标注图像，并传输给外部终端；

180、删除存储的带标注图像。

本发明实施例的方法首先进行预定部位识别。只对包含关键的预定部位的图像进行处理和进一步的检测，极大的降低了处理的工作量，即降低了检测的工作量，也提高了检测速度和精度。

本发明实施例的方法可以根据第三预定阀值和预定特征区域对带标注图像进行筛选，并将选出的最具代表性的带标注图像传输给外部终端，减少了通信负载和外部终端的数据处理压力。

本发明实施例的方法是本发明实施例的架构在采集处理图像时的步骤一一对应的，本发明实施例的架构采集处理图像的每个步骤均包含在本发明实施例的方法中，因此，对于重复的部分，这里不再进行赘述。

本发明实施例的方法或架构可以用于移动式内窥镜设备，通过减少检测的计算量，提高了移动设备的使用寿命。同时本发明实施例减少了通信负载，可以在简陋通信环境下使用。另外本发明减少了云端的工作负担，通过只传送每一预定区域特征的特征帧图像给云端，即外部终端，减少了云端服务器的计算量，也减少了云端工作人员的工作负担。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种医用内窥镜人工智能芯片的系统，其特征在于，所述系统包括：

图像采集模块，用于连续采集待拍摄物体的图像，并将采集的图像传输给部位识别模块、特征区域识别模块以及存储模块；

部位识别模块，用于判断当前帧对应的图像中是否包含所述待拍摄物体的预定部位，若当前帧对应的图像包含所述预定部位，则发送控制信号给所述特征区域识别模块；

特征区域识别模块，用于接收所述控制信号，并根据所述控制信号判断当前帧对应的图像中是否存在至少一个预定特征区域，若当前帧对应的图像存在至少一个所述预定特征区域，则在图像中标注出所述预定特征区域的位置，并计算所述预定特征区域的置信度，然后将所述置信度和标注后的图像发送给存储模块；

存储模块，用于接收所述置信度和标注后的图像，并判断所述置信度是否超过第一预定阀值，若所述置信度超过所述第一预定阀值，则存储所述置信度以及所述置信度对应的标注后的图像；

所述系统还包括控制模块，所述控制模块包括处理子模块和通信子模块，所述存储模块包括信号发送子模块；

所述信号发送子模块，用于判断所述存储模块已经被占用的存储空间是否超过第二预定阀值，若存储模块已经被占用的存储空间超过所述第二预定阀值，则发送筛选信号给所述控制模块；

所述处理子模块，用于接收所述筛选信号，并根据所述筛选信号，从所述存储模块中选取置信度超过第三预定阀值的带标注图像，并传输给所述通信子模块；

所述通信子模块，用于接收所述置信度超过第三预定阀值的带标注图像，并传输给外部终端。

2.根据权利要求1所述的系统，其特征在于，所述控制模块还包括删除子模块；

所述删除子模块，用于在所述通信子模块将所述置信度超过第三预定阀值的带标注图像传输给所述外部终端之后，清空所述存储模块。

3.根据权利要求1至2任一项所述的系统，其特征在于，所述外部终端为远程终端。

4.根据权利要求1所述的系统，其特征在于，所述部位识别模块和/或所述特征区域识别模块为神经网络加速器。

5.根据权利要求1所述的系统，其特征在于，所述存储模块为静态随机存取存储器。

6.一种图像处理方法，其特征在于，所述方法包括如下步骤：

连续采集待拍摄物体的图像；

判断当前帧对应的图像是否包含所述待拍摄物体的预定部位，若当前帧对应的图像包含所述预定部位，则判断当前帧对应的图像中是否存在至少一个预定特征区域，若当前帧对应的图像存在至少一个所述预定特征区域，则在当前帧对应的图像中标注出所述预定特征区域的位置，并计算所述预定特征区域的置信度；

判断当前帧对应的图像中所述预定特征区域的置信度是否超过第一预定阀值，若当前帧对应的图像中所述预定特征区域的置信度超过所述第一预定阀值，则存储所述置信度和所述置信度对应的标注后的图像；

所述方法还包括如下步骤：

判断存储的带标注图像占用的存储空间是否超过第二预定阀值，若存储的所述带标注图像占用的存储空间超过所述第二预定阀值，则选取所述置信度超过第三预定阀值所述带标注图像，并传输给外部终端。

7.根据权利要求6所述的方法，其特征在于，所述方法在选取所述置信度超过第三预定阀值所述带标注图像，并传输给外部终端之后，还包括如下步骤：

删除存储的所述带标注图像。

Images