CN108042090A - 配置人工智能芯片的医用内窥镜系统及图像处理方法 - Google Patents

Abstract

本发明提供一种配置人工智能芯片的医用内窥镜系统及图像处理方法。通过数据处理模块筛选置信度超过预定阀值的图像，传送给远程服务模块，降低通信负载。包含该模块的内窥镜需要传输的数据量也会得到降低。通过远程服务模块将具有预定特征区域进行标注和分类，从而将特定的图像信息展示给相关的工作人员，减少了图像识别的工作量，提高了工作效率。包含该模块的内窥镜也能够将具有特定的图像信息的图像展示给相关的工作人员，提高工作效率。通过实时指导模块低延时的接收指导命令，实现了实时接受远程指导，提高图像采集处理的效率。包含该模块的内窥镜也能够实现低延时的接收指导命令，从而提高了内窥镜检测的有效性。

Description

配置人工智能芯片的医用内窥镜系统及图像处理方法

技术领域

本发明涉及图像处理以及医用领域，具体涉及一种配置人工智能芯片的医用内窥镜系统及该系统的图像处理方法。

背景技术

内窥镜是集中了传统光学、人体工程学、数学、精密机械、微电子设别以及软件等于一体的检测仪器。内窥镜具有图像传感器、光学镜头、光源照明等，它可以经人体的天然孔道，或者是经手术做的小切口进入人体内，采集图像，并将采集的图像传输到医护人员可以看到的显示终端上，例如内窥镜经口腔进入胃内。利用内窥镜可以使医护人员看到X射线不能显示的病变，对医生诊断以及病人的治疗都非常有用。

目前内窥镜利用光源照明，利用光学镜头以及图像传感器采集人体内的图像，并将采集的图像传输给显示终端，供医护人员进行诊断。

现在的内窥镜虽然能够采集并传输图像，但是其采集、处理并传输的是从内窥镜进入人体到离开人体这段时间内的所有图像，大量的图像数据的传输造成了相当大的通信负载。同时，现有的内窥镜将采集到的所有图像都以原始的状态存储或展示给相关的工作人员，不能够提供特定的图像信息，不仅浪费了存储空间，并且增大了相关人员识别图像的工作量，降低了工作效率。另外，内窥镜远程通信存在一定程度的延时，因此内窥镜在使用过程中不能实时接收远程终端的指导命令，影响了内窥镜对图像采集处理的效率，并且降低了内窥镜检测的有效性。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种配置人工智能芯片的医用内窥镜系统及图像处理方法、，克服了现有技术中图像处理过程中通信负载大、不能提供特定的图像信息以及不能实时接收远程指导命令的缺陷。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

第一方面，提供了一种配置人工智能芯片的医用内窥镜系统，所述系统包括：

视像采集模块，用于按照预定路线连续采集待拍摄物体的图像，并将采集的图像传输给数据处理模块以及通信模块；

数据处理模块，用于接收所述视像采集模块采集的图像，筛选包括预定特征区域的图像，计算每个所述预定特征区域的置信度，并将所述置信度超过预定阀值的所述预定特征区域对应的图像传输给通信模块；

通信模块，用于接收所述置信度超过所述预定阀值的预定特征区域对应的图像，并转发给远程服务模块，同时所述通信模块用于将所述视像采集模块采集到的图像数据传输给实时指导模块；

远程服务模块，用于接收所述置信度超过所述预定阀值的预定特征区域对应的图像，实现图像的云端存储；对所述预定特征区域进行标注，并对所述预定特征区域进行分类；

实时指导模块，用于接收远程指导命令，并根据所述远程指导命令形成新的预定路线或重复拍摄图像。

结合第一方面，在第一种可能的实现方式中，所述实时指导模块包括WebRTC子模块，所述WebRTC子模块用于接收所述远程指导命令，实现低延迟的视频通信。

结合第一方面，在第二种可能的实现方式中，所述数据处理模块包括利用集成了深度神经网络模型的医用人工智能芯片，用于筛选包括预定特征区域的图像，计算每个所述预定特征区域的置信度。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，数据处理模块包括控制器，所述控制器包括配置文件修改单元，所述配置文件修改单元用于修改所述控制器的配置文件，可实现将包含所述数据处理模块的配置人工智能芯片的医用内窥镜系统应用于不同场景下实现所述预定特征区域的识别。

结合第一方面的第二种可能的实现方式，在第四种可能的实现方式中，所述系统还包括视像显示模块；所述视像采集模块将采集的图像传输给所述视像显示模块；所述数据处理模块将标注有所述预定特征区域的图像传递给所述视像显示模块；

所述视像显示模块用于接收并显示所述视像采集模块采集的图像，并且接收并显示标注有所述预定特征区域的图像。

结合第一方面，在第五种可能的实现方式中，所述远程服务模块包括卷积神经网络子模块，所述卷积神经网络子模块用于实现所述预定特征区域的识别和标注，并且用于将所述预定特征区域进行分类，同时带有预定特征区域的类别说明。

结合第一方面，在第六种可能的实现方式中，所述远程服务模块包括存储子模块，用于存储接收的所述置信度超过预定阀值预定特征区域对应的图像。

第二方面，提供了一种图像处理方法，所述方法包括如下步骤：

按照预定路线连续采集待拍摄物体的图像；

筛选包括预定特征区域的图像，计算每个所述预定特征区域的置信度；并选取所述置信度超过预定阀值的预定特征区域对应的图像，得到待处理图像；

将所述待处理图像传输给给远程服务端；

从所述待处理图像中的预定特征区域进行标注，并对所述预定特征区域进行分类；

接收远程指导命令，根据所述指导命令形成新的预定路线或重复拍摄图像，并根据所述新的预定路线连续采集待拍摄物体的图像。

结合第二方面，在第一种可能的实现方式中，所述方法还包括如下步骤：

修改配置文件，实现在不同场景下对所述预定特征区域的识别。

(三)有益效果

本发明实施例提供了一种配置人工智能芯片的医用内窥镜系统及图像处理方法。具备以下有益效果：

通过设置数据处理模块筛选置信度超过预定阀值的图像，并将这部分图像传送给远程服务模块，从而降低了需要传输的图像的数量，即降低了通信负载。包含该数据处理模块的内窥镜需要传输的数据量也相应的得到降低，从而降低了内窥镜的通信负载。

通过设置远程服务模块，将具有预定特征区域进行标注和分类，从而将特定的图像信息展示给相关的工作人员，减少了相关人员识别图像的工作量，提高了工作效率。包含该远程服务模块的内窥镜也可以将具有特定的图像信息的图像展示给相关的工作人员，提高相关工作人员的工作效率。

通过设置实时指导模块，能够低延时的接收远程服务模块发送的指导命令，实现了配置人工智能芯片的医用内窥镜系统实时接受远程指导，提高了图像采集处理的效率。包含该实时指导模块的内窥镜也能够实现低延时的接收远程服务模块发送的指导命令，从而提高了内窥镜检测的有效性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例的配置人工智能芯片的医用内窥镜系统结构示意图；

图2是本发明再一实施例的配置人工智能芯片的医用内窥镜系统结构示意图；

图3是本发明又一实施例的配置人工智能芯片的医用内窥镜系统结构示意图

图4是本发明一实施例的图像处理方法流程图；

图5是本发明再一实施例的图像处理方法流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当说明的是本发明实施例的配置人工智能芯片的医用内窥镜系统中的部件可以但不限于用于内窥镜，可以用于其他任何图像处置装置。本发明的以下实施例以采用内窥镜作为例进行说明。

一种配置人工智能芯片的医用内窥镜系统，如图1所示，该系统包括：

视像采集模块，用于按照预定路线连续采集待拍摄物体的图像，并将采集的图像传输给数据处理模块；

这里的预定路线可以根据实际的应用场景灵活设定。

这里的待拍摄物体可以是人体的某个器官的内部，例如待拍摄物体为胃、大肠等。视像采集模块采集连续的图像形成视频流，并实时传输给数据处理模块。

配置人工智能芯片的医用内窥镜系统的视像采集模块可以包括CCD图像传感器，C-mount卡口，其可自如装卸不同医用内窥镜，如传统电子内窥镜、便携式内窥镜、移动内窥镜等，其主要用于消化内科、耳鼻喉科、妇科、骨科、泌尿外科检查，其利用内窥镜摄像头拍摄人体内病灶并生成实时内窥镜图像，这些图像包括从内窥镜进入到离开人体的全过程的图像。通过医生操控内窥镜的位置可以实现对疑似病灶位置进行重点拍摄，以便于后续数据处理。视像采集模块在拍摄的过程中将内窥镜影像的每一帧图像传至数据处理模块。

数据处理模块，用于接收视像采集模块采集的图像，筛选包括预定特征区域的图像，计算每个预定特征区域的置信度，并将置信度超过预定阀值的预定特征区域对应的图像传输给通信模块；

通过数据处理模块筛选置信度超过预定阀值的图像，并将这部分图像传送给远程服务模块，从而降低了需要传输的图像的数量，即降低了通信负载。包含该数据处理模块的内窥镜需要传输的数据量也相应的得到降低，从而降低了内窥镜的通信负载。

这里的数据处理模块可以但不限于利用神经网络加速器计算置信度。

通信模块，用于接收置信度超过预定阀值的预定特征区域对应的图像，并转发给远程服务模块，同时通信模块用于将视像采集模块采集到的图像数据传输给实时指导模块；

通信模块实现了将筛选出的图像传输出去的功能。

通信模块可以包括无线通信设备，连接远程服务模块。负责将采集到的图像、视频等信息通过无线通信设备发送至远程服务模块。这里的远程服务模块可以是远程服务器集群。

远程服务模块，用于接收置信度超过预定阀值的预定特征区域对应的图像，实现图像的云端存储；对预定特征区域进行标注，并对预定特征区域进行分类；

这里的分类具体应用与内窥镜时，是将预定特征区域分为具体的别，例如红肿、囊肿等。

这里对包括预定特征区域标注在图像上，能够让相关的工作人员非常容易的看到具有预定区域图像以及预定区域的位置和数量等信息，从而实现了将特定的图像信息展示给相关的工作人员，减少了相关人员识别图像的工作量，提高了工作效率。包含该远程服务模块的内窥镜也可以将具有特定的图像信息的图像展示给相关的工作人员，提高相关工作人员的工作效率。

实时指导模块，用于实时指导模块，用于接收远程指导命令，并根据远程指导命令形成新的预定路线或重复拍摄图像。

这里的实时指导模块接收视像采集模块采集到的图像，并将图像展示给相关的共组人员，相关的工作人员根据图像会生成一个远程指导命令，实施指导模块根据该远程指导命令进行相对应的操作，从而实现了远程实时指导。

这里的实时指导模块包括WebRTC子模块，WebRTC子模块用于接收远程指导命令，其与通信模块共用无线通信设备。实时指导模块通过WebRTC技术传输视频信息，接收远程用户指导，降低通信延时。通过实时指导模块，能够低延时的接收远程指导命令，实现了配置人工智能芯片的医用内窥镜系统实时接受远程指导，提高了图像采集处理的效率。包含该实时指导模块的内窥镜也能够实现低延时的接收远程终端发送的指导命令，从而提高了内窥镜检测的有效性。

综上，本实施例的系统克服了现有技术中图像处理过程中通信负载大、不能提供特定的图像信息以及不能实时接收远程指导命令的缺陷。

在一个实施例中，如图2所示，配置人工智能芯片的医用内窥镜系统还包括视像显示模块；视像采集模块将采集的图像传输给视像显示模块；视像显示模块用于接收并显示视像采集模块采集的图像。这里视像显示模块将视像采集模块采集到的原始图像展示出来，没有做任何的处理，保留了原始图像的所有特征，有利于后续进行图像验证。

数据处理模块包括利用集成了深度神经网络模型的医用人工智能芯片，用于筛选包括预定特征区域的图像，计算每个预定特征区域的置信度。

这里的医用人工智能芯片将视像采集模块采集的所有原始图像都进行了预定区域特征的筛选，方便相关工作人员查找到具有预定特征区域的图像以及确定预定特征区域的数量，能够提高相关工作人员对图像的识别效率，相应的提高了工作效率。

数据处理模块将具有预定特征区域的图像传递给视像显示模块，视像显示模块接收并显示具有预定特征区域的图像，实现了将预定特征区域的图像直接显示在显示模块上，从而实现了将特定的图像信息展示给相关的工作人员，减少了相关人员识别图像的工作量，提高了工作效率。包含该远程服务模块的内窥镜也可以将具有特定的图像信息的图像展示给相关的工作人员，提高相关工作人员的工作效率。

视像显示模块与上述视像采集模块相连，其包括图像/视频解码器、医用高清监视器、移动终端等。在接受到视像采集模块采集到的视频数据后，经过解码器解码，呈现在高清监视器上。同时其接受数据处理模块处理过后的图像数据并显示在高清监视器中。

数据处理模块包括SD-Card以及人工智能芯片，负责完成接收视像采集模块采集的图像以及无网络环境下的对图像进行本地数据存储。特别地，人工智能芯片植入了深度神经网络模型，可以用于无网络环境下准确地筛选出具有至少一个预定特征区域的图像。当数据处理模块应用于内窥镜时，在内窥镜应用于不同科室的情况下，其利用内部控制器控制配置文件修改单元修改内部配置文件从而实现多科室内窥镜系统的特征区域的辅助识别，并将结果返回视像显示模块显示。当内窥镜应用于不同的场景时，预定特征区域根据实际需求进行变更。

该数据处理模块还用于利用内部控制器筛选出具有特征区域并且置信度较高的帧，将其传至通信模块，这样会进一步降低数据传输的数量，并且由于传输给通信模块的图像具有预定特征区域的图像，因此提高了所传输数据的有效性。

在一个实施例中，远程服务模块包括卷积神经网络子模块，卷积神经网络子模块用于标注预定特征区域，并将预定特征区域进行分类，同时显示分类。当用户提出请求时，卷积神经网络子模块运用内置训练完成的深度学习(卷积神经网络)模型分析预定特征区域，从而实现智能辅助决策，并将结果返回视像显示模块。

远程服务模块还包括存储子模块，与通讯模块相连，用于接收并存储接收的置信度超过预定阀值的图像。这里的存储子模块存储置信度超过预定阀值的图像，有效减少了需要使用的存储空间，并且提高了存取效率。这里的存储子模块可以采用HDMS。

本发明的上述实施例的系统，可以满足基本内镜检查，集成像、拍照与摄像功能，同时其利用集成了深度神经网络，可以实现本地的数据处理与特征区域识别；提供本地存储与远程存储两种方式，具有存储和通讯功能；提供远程的实时指导功能，即通过本发明实施例中系统的成像操作，可以以低延时，在远程服务模块上得以实时呈现。

在一个实施例中，如图3所示，图像采集处理模块包括视像采集模块、视像显示模块、数据处理模块、通信模块以及远程服务模块。

视像采集模块利用医用电子内窥镜、便携式内窥镜、手持式内窥镜等多种类型的内窥镜采集消化内科、耳鼻喉科、妇科、骨科、泌尿外科内窥镜检查的多科室、多场景内窥镜影像数据，并将其同时传输至视像显示模块、数据处理模块及通信模块。

视像显示模块利用解码器解码接收到的图像数据，并将其呈现在视像显示模块的高清监视器、移动终端上，根据显示画面调整内窥镜位置。

数据处理模块利用内置的集成了深度神经网络模型的医用人工智能芯片对影像的每一帧进行预定特征区域进行检测，将处理结果传至视像显示模块。同时该芯片利用内部控制器筛选出具有预定特征区域的置信度较高的图像传输至通信模块。

视像显示模块模块接收数据处理模块处理过后的图像，并以视频的形式显示。

通信模块将视像采集模块采集到的原始视频传输至实时指导模块；将数据处理模块处理后的置信度较高的帧传输至远程服务模块。

实时指导模块通过WebRTC技术传输音视频数据，接受远程用户的实时指导。

远程服务模块利用内部存储单元接收来自远程通讯模块的数据并进行存储；利用卷积神经网络子模块分析特征区域，即预定特征区域并标注和分类，从而实现智能显示特征信息，并将结果反馈给视像显示模块，利用视像显示模块展示给用户。

本实施例的配置人工智能芯片的医用内窥镜系统还包括内窥镜设备、视像拍摄组件、HDMS、手持设备、便携式设备以及远程服务模块等，并不是单机的内镜装置。本实施例利用WebRTC技术进行实时指导，实现了进行高清低延的实时指导。利用人工智能芯片实现内窥镜系统的本地预定特征区域的辅助识别功能，同时，在远程服务模块中，用机器学习技术分析识别预定特征区域，并进行标注，进一步提供了远程端对预定特征区域的辅助识别功能，降低了相关人员的识别难度，提高了识别效率，并且提高了识别的实时性。传输到远程服务模块的图像是筛选出的置信度超过预定阀值，并且具有预定特征区域的图像，减小了远程通信的通信负载，提高了远程通信的效率。

对应于上述实施例的配置人工智能芯片的医用内窥镜系统，本发明实施例还提供了该系统的图像处理方法，如图4所示，该方法包括如下步骤：

110、按照预定路线连续采集待拍摄物体的图像；

120、筛选包括预定特征区域的图像，计算每个预定特征区域的置信度；并选取置信度超过预定阀值的预定特征区域对应的图像，得到待处理图像；

130、将待处理图像传输给给远程服务端，对待处理图像中的预定特征区域进行标注，并对预定特征区域进行分类；

140、接收远程指导命令，根据指导命令形成新的预定路线或重复拍摄图像，并根据新的预定路线连续采集待拍摄物体的图像。

在一个实施例中，如图5所示，图像处理方法还包括如下步骤：

210、修改配置文件，实现在不同场景下对预定特征区域的识别。

本发明实施例的方法是本发明实施例的系统在采集处理图像时的步骤一一对应的，本发明实施例的系统采集处理图像的每个步骤均包含在本发明实施例的方法中，因此，对于重复的部分，这里不再进行赘述。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种配置人工智能芯片的医用内窥镜系统，其特征在于，包括：

视像采集模块，用于按照预定路线连续采集待拍摄物体的图像，并将采集的图像传输给数据处理模块以及通信模块；

数据处理模块，用于接收所述视像采集模块采集的图像，筛选包括预定特征区域的图像，计算每个所述预定特征区域的置信度，并将所述置信度超过预定阀值的所述预定特征区域对应的图像传输给通信模块；

通信模块，用于接收所述置信度超过所述预定阀值的预定特征区域对应的图像，并转发给远程服务模块，同时所述通信模块用于将所述视像采集模块采集到的图像数据传输给实时指导模块；

远程服务模块，用于接收所述置信度超过所述预定阀值的预定特征区域对应的图像，实现图像的云端存储；对所述预定特征区域进行标注，并对所述预定特征区域进行分类；

实时指导模块，用于接收远程指导命令，并根据所述远程指导命令形成新的预定路线或重复拍摄图像。

2.根据权利要求1所述的系统，其特征在于，所述实时指导模块包括WebRTC子模块，所述WebRTC子模块用于接收所述远程指导命令，实现低延迟的视频通信。

3.根据权利要求1所述的系统，其特征在于，所述数据处理模块包括利用集成了深度神经网络模型的人工智能芯片，用于筛选包括预定特征区域的图像，计算每个所述预定特征区域的置信度。

4.根据权利要求3所述的系统，其特征在于，数据处理模块包括控制器，所述控制器包括配置文件修改单元，所述配置文件修改单元用于修改所述控制器的配置文件，可实现将包含所述数据处理模块的配置人工智能芯片的医用内窥镜系统应用于不同场景下实现所述预定特征区域的识别。

5.根据权利要求3所述的系统，其特征在于，所述系统还包括视像显示模块；所述视像采集模块将采集的图像传输给所述视像显示模块；所述数据处理模块将标注有所述预定特征区域的图像传递给所述视像显示模块；

所述视像显示模块用于接收并显示所述视像采集模块采集的图像，并且接收并显示标注有所述预定特征区域的图像。

6.根据权利要求1所述的系统，其特征在于，所述远程服务模块包括卷积神经网络子模块，所述卷积神经网络子模块用于实现所述预定特征区域的识别和标注，并且用于将所述预定特征区域进行分类，同时带有预定特征区域的类别说明。

7.根据权利要求1所述的系统，其特征在于，所述远程服务模块包括存储子模块，用于存储接收的所述置信度超过预定阀值预定特征区域对应的图像。

8.一种图像处理方法，其特征在于，所述方法包括如下步骤：

按照预定路线连续采集待拍摄物体的图像；

筛选包括预定特征区域的图像，计算每个所述预定特征区域的置信度；并选取所述置信度超过预定阀值的预定特征区域对应的图像，得到待处理图像；

将所述待处理图像传输给给远程服务端；

对所述待处理图像中的预定特征区域进行标注，并对所述预定特征区域进行分类；

接收远程指导命令，根据所述指导命令形成新的预定路线或重复拍摄图像，并根据所述新的预定路线连续采集待拍摄物体的图像。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括如下步骤：

修改配置文件，实现在不同场景下对所述预定特征区域的识别。