CN113240662B - 基于人工智能的内镜检查辅助系统 - Google Patents

Abstract

本发明提供了一种基于人工智能的内镜检查辅助系统。该系统包括：检查数据采集模块，被配置为通过内镜设备获取检查数据，所述检查数据至少包括检查时间数据和检查图像数据；检查质量监测模块，被配置为对所述检查数据进行数据处理，所述数据处理至少包括数据统计和数据分类，然后将特定类型的检查数据分别输入相应的基于神经网络构建的质量监测模型中，以确定检查质量；检查辅助模块，被配置为基于所述检查图像数据所对应的部位或对象，将所述检查图像数据分别输入对应的基于神经网络构建的识别模型中得到用于辅助操作的标识，将所述标识与对应的检查图像数据按照预设方式输出。

Description

基于人工智能的内镜检查辅助系统

技术领域

本发明的实施方式涉及神经网络技术领域，更具体地，本发明的实施方式涉及一种基于人工智能的内镜检查辅助系统。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

目前，为了准确的诊断人体内(如消化道等)的疾病，通常会使用内镜采集到的消化道内的图像辅助医生识别出消化道内的病灶，并且基于识别出的病灶对消化道的疾病进行诊断。然而，在实践过程中发现，在内镜的使用过程中，检查质量完全由操作人员把握，并没有统一的操作标准，并且操作人员需要长时间的对内镜进行操作，同时还需对内镜采集到的图像进行细致的观察。

发明内容

在本上下文中，本发明的实施方式期望提供一种于人工智能的内镜检查辅助系统、介质和计算设备。

在本发明实施方式的第一方面中，提供了一种基于人工智能的内镜检查辅助系统，包括：

检查数据采集模块，被配置为通过内镜设备获取检查数据，所述检查数据至少包括检查时间数据和检查图像数据；

检查质量监测模块，被配置为对所述检查数据进行数据处理，所述数据处理至少包括数据统计和数据分类，然后将特定类型的检查数据分别输入相应的基于神经网络构建的质量监测模型中，以确定检查质量；

检查辅助模块，被配置为基于所述检查图像数据所对应的部位或对象，将所述检查图像数据分别输入对应的基于神经网络构建的识别模型中得到用于辅助操作的标识，将所述标识与对应的检查图像数据按照预设方式输出。

在一个实施例中，所述检查质量监测模块包括：

检查时间监测子模块，被配置为记录各个部位的检查开始时间和检查结束时间，以及基于所述检查开始时间和检查结束时间统计检查总时间；并基于各个部位的检查总时间确定相应部位的第一检查质量分数；

检查质量监测子模块，被配置为获取各个部位的检查图像数据，并分别输入相应的质量监测模型中，以确定各个部位的第二检查质量分数，其中，所述第二检查质量分数至少基于检查图像数据的质量、基于检查图像数据得到的检查动作和顺序中的一个确定。

在一个实施例中，所述检查时间监测子模块还被配置为将各个部位的检查总时间与标准检查时间对比，以确定相应部位的第一检查质量分数；或者

将各个部位的检查总时间输入相应的检查时间质量检测模型，以确定相应部位的第一检查质量分数，某个检查部位的所述检查时间质量检测模型以神经网络技术构建，基于对应的训练数据训练获得，所述训练数据至少包括各个部位的检查时间及对应的检查质量分数。

在一个实施例中，检查质量监测子模块包括：

第一检查质量监测单元，被配置为基于各个部位中的第一部分部位的检查图像数据，确定检查动作序列，基于所述检查动作序列至少能够确定检查动作顺序及各个动作的形态，以及特定区域的停驻时间，将所述检查动作序列输入相应的第一质量监测模型中，以确定各个第一部分部位的第二检查质量分数。

第二检查质量监测单元，被配置为将各个部位中的第二部分部位的检查图像数据，输入相应的第二质量监测子模型中，分析所述检查图像数据表征的初始检查动作和结束检查动作及检查过程中的检查图像质量，以确定各个第二部分部位的第二检查质量分数。

在一个实施例中，所述检查质量监测模块还包括：

操作员检查质量统计子模块，被配置为记录并统计操作员的所有检查的各个部位的第一检查质量分数和第二质量分数，并按照预设规则计算得到相应操作员的第三检查质量分数。

在一个实施例中，所述检查辅助模块包括：

识别子模块，被配置为将检查图像数据输入相应的识别模型中，至少识别出所述检查图像数据中的目标检测部位、可疑区域和操作器具，并按照预设形式输出用于辅助操作的标识；

检查进度确定子模块，被配置为基于当前的检查图像数据中识别出的目标检测部位确定当前的检查进度，并基于预先构建的三维模型显示检查进度。

在一个实施例中，所述检查进度确定子模块包括：

内外判别单元，被配置为基于当前的检查图像数据的识别结果确定内镜处于人体内或人体外，并在对应的状态输出相应的提示；

上消化道判别单元，被配置为基于当前的检查图像数据的识别结果确定内镜处于人体内时，判别所述内镜是否处于上消化道，并在所述内镜处于上消化道时，基于当前的检查图像数据的识别结果在预先构建的上消化道三维模型显示检查进度；

下消化道判别单元，被配置为基于当前的检查图像数据的识别结果确定内镜处于人体内时，判别所述内镜是否处于下消化道，并在所述内镜处于下消化道时，基于当前的检查图像数据的识别结果在预先构建的下消化道三维模型显示检查进度。

在一个实施例中，所述下消化道判别单元包括：

回盲部判别子单元，被配置为被配置为基于检查图像数据的识别结果确定下消化道的检查进度趋于完成时，基于当前的检查图像数据的识别结果判别所述内镜是否检查到回盲部；

所述检查检查时间监测子模块，还被配置为在确定所述内镜检查到回盲部时，开始记录退镜时间并输出。

在一个实施例中，所述识别子模块包括：

目标部位检测单元，被配置为将当前的检查图像数据输入相应的目标部位识别模型中，得到当前的检查图像数据中包括的目标部位的位置信息和状态信息；

操作器具检测单元，被配置为将当前的检查图像数据输入相应的操作器具识别模型中，得到当前的检查图像数据中包括的操作器具的位置信息和状态信息；

可疑区域检测单元，被配置为将当前的检查图像数据输入相应的可疑区域识别模型中，得到当前的检查图像数据中包括的可疑区域的位置信息和状态信息。

在一个实施例中，所述目标部位识别模型、操作器具识别模型和可疑区域识别模型均为基于神经网络构建的图像识别模型；

或者，所述目标部位识别模型、操作器具识别模型和可疑区域识别模型为能够识别上述三种目标的图像识别模型。

在一个实施例中，所述可疑区域检测单元，还被配置为自动记录可疑分数超过预设阈值的可疑区域，并输出。

在一个实施例中，所述可疑区域检测单元，还被配置为基于检查图像数据中包括的操作器具的位置信息和状态信息确定可疑区域的大小。

在一个实施例中，所述检查质量监测模块还包括：

风险提示子模块，被配置为基于当前地域的居民检查大数据或当前被检查对象的历史检查数据确定检查部位中的高风险区域，并在检查到相应区域时显示提示信息，以便操作员重点关注当前的检查区域。

在一个实施例中，所述系统还包括：

数据统计及分析模块，被配置为基于历史的检查结果数据汇总分析，得到多种预定形式的分析报告，至少一种预定形式的分析报告包括各个部位的发病率统计和分析。

根据本发明实施方式的基于人工智能的内镜检查辅助系统，对操作员的检查操作进行了操作记录和操作质量监测，能够在事后需要对操作进行分析时起到辅助作用，以提高操作员的检查质量，并且在检查时，能够基于人工智能构建的模型对当前的检查操作给出相关的判别提示，辅助操作人员进行更加全面和安全的检查，避免错检或漏检。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示意性地示出了本发明一实施例提供的基于人工智能的内镜检查辅助系统的结构示意图；

图2为本实施例提供的一种计算机可读存储介质的示意图；

图3为本实施例提供的一种计算设备的示意。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种基于人工智能的内镜检查辅助系统、介质和计算设备。

此外，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

示例性系统

参考图1对本发明示例性实施方式的一种基于人工智能的内镜检查辅助系统进行说明，该系统包括：

检查数据采集模块110，被配置为通过内镜设备获取检查数据，所述检查数据至少包括检查时间数据和检查图像数据；

检查质量监测模块120，被配置为对所述检查数据进行数据处理，所述数据处理至少包括数据统计和数据分类，然后将特定类型的检查数据分别输入相应的基于神经网络构建的质量监测模型中，以确定检查质量；

考虑到检查中的相关区域(例如胃部)的部位数量较多，且需要配合不同的进镜顺序和正倒镜方法进行观察，在正常检查中无人监督无人考评，对标准的遵守大多数时间凭个人经验、自觉、和工作安排(例如临近下班时间)或检查压力(例如等待检查的人数)，检查中通常有三十个以上的需静止观察部位，不同部位停留的观察时间也不尽相同，而通常意义的内镜检查报告最多选择6张图片；另外，内镜技术在不同国家和地区的发展的质量极不均衡，且标准化进展缓慢，即使在同一个地级市的省会三甲医院的一个科室，每个操作人员的手法都是不同的(例如有人肠镜2分钟到回盲部，有人30分钟还没捅到顶)，因此，针对当前的无标准状况，急需一种能对每个操作员检查部位进行统计分析和术中提醒的工具，由此，在本实施例中，所述检查质量监测模块120包括：

检查时间监测子模块，被配置为记录各个部位的检查开始时间和检查结束时间，以及基于所述检查开始时间和检查结束时间统计检查总时间；并基于各个部位的检查总时间确定相应部位的第一检查质量分数；

具体来说，记录检查开始时间和检查结束时间包括以下中的至少一个：食管检查开始时间、食管检查结束时间、食管检查总时间、胃检查开始时间、胃检查结束时间、胃检查总时间、十二指肠检查开始时间、十二指肠结束时间、十二指肠检查总时间、升结肠检查开始时间、升结肠结束时间、升结肠检查总时间、降结肠检查开始时间、降结肠结束时间、降结肠总时间、横结肠检查开始时间、横结肠结束时间、横结肠检查总时间、上消化道检查开始时间、上消化道结束时间、上消化道检查总时间、下消化道检查开始时间、下消化道结束时间、下消化道检查总时间、下消化道退镜时间和下消化道检查模糊时间。

在本实施方式的一个实施例中，所述操作时间统计也可以基于相关部位记录的检查图像确定，例如检查图像多可以认为检查时间长，检查图像少可以认为检查时间短，可以理解的是，所述用于确定检查时间的检查图像可以是符合一定标准的有效检查图像，所述有效检查图像可以是图像清晰，目标部位边缘完整的检查图像。

在本实施方式的一个实施例中，所述检查时间监测子模块还被配置为将各个部位的检查总时间与标准检查时间对比，以确定相应部位的第一检查质量分数；或者

将各个部位的检查总时间输入相应的检查时间质量检测模型，以确定相应部位的第一检查质量分数，某个检查部位的所述检查时间质量检测模型以神经网络技术构建，基于对应的训练数据训练获得，所述训练数据至少包括各个部位的检查时间及对应的检查质量分数。

检查质量监测子模块，被配置为获取各个部位的检查图像数据，并分别输入相应的质量监测模型中，以确定各个部位的第二检查质量分数，其中，所述第二检查质量分数至少基于检查图像数据的质量、基于检查图像数据得到的检查动作和顺序中的一个确定。

另外，在进行检查，例如下消化道检查时，如果退镜速度过快，会增加图像模糊和漏诊的概率，从而降低检查的效果；如果进镜花费的时间太长，且等待检查的人数众多，操作员连续工作的时间过长，例如持续操作了4-5个小时，眼睛一直盯着显示器且注意力高度集中，疲劳加高速退镜，检查效果非常不理解，由此，在本实施例中，检查质量监测子模块包括：

第一检查质量监测单元，被配置为基于各个部位中的第一部分部位的检查图像数据，确定检查动作序列，基于所述检查动作序列至少能够确定检查动作顺序及各个动作的形态，以及特定区域的停驻时间，将所述检查动作序列输入相应的第一质量监测模型中，以确定各个第一部分部位的第二检查质量分数。

具体来说，第一质量监测模型可以是由标准检查动作数据训练而得的上消化道检查质量监测模型，在所述模型进行检查时，将输入的检查图像和标准检查动作数据进行对比，进而根据相似度进行评分，得到所述第二检查质量分数。

第二检查质量监测单元，被配置为将各个部位中的第二部分部位的检查图像数据，输入相应的第二质量监测子模型中，分析所述检查图像数据表征的初始检查动作和结束检查动作及检查过程中的检查图像质量，以确定各个第二部分部位的第二检查质量分数。

具体来说，第二质量监测模型可以是由标准检查动作数据训练而得的下消化道质量监测模型，在所述模型进行检查时，将输入的检查图像和标准检查动作数据进行对比，进而根据相似度进行评分，得到所述第二检查质量分数。

可以理解的是，上消化道和下消化道的检查动作和要求是不同的，由此，在上述实施例中分别针对上消化道和下消化道建立了质量监测模型，其中上消化道检查质量检测更加关注各个部位的检查动作和检查时间以及相应的停驻时间，下消化道检查质量检测更关注进境动作和时间以及退镜动作和时间。

为了对操作员的检查质量进行统计和评分，方便管理人员对其管理，从而提升操作员的检查水平，在本实施方式的一个实施例中，所述检查质量监测模块120还包括：

操作员检查质量统计子模块，被配置为记录并统计操作员的所有检查的各个部位的第一检查质量分数和第二质量分数，并按照预设规则计算得到相应操作员的第三检查质量分数。

在本实施例中，系统会针对每一个操作员建立检查数据档案，并对应存储响应操作员的检查操作数据和对每个被检查者的各个部位的第一检查质量分数和第二质量分数，从而综合得出相应操作员的第三检查质量分数，例如操作员A对被检查者a、b和c的上下消化道均做过检查，得到过相应的第一检查质量分数S1a^u、S1b^u和S1c^u以及S1a^d、S1b^d和S1c^d，其中u表示上消化道，d表示下消化道，S1表示第一检查质量分数，第二质量分数S2a^u、S2b^u和S2c^u以及S2a^d、S2b^d和S2c^d,S2表示第二检查质量分数，那么可以先计算操作员A对被检查者a的上下消化道进行检查的第三检查质量分数S3a＝αS1a^u+βS1a^d+γS2a^u+θS2a^d，其中α、β、γ和θ均为预设权重系数，本领域的技术人员可以根据实际需要进行设置，然后在汇总所有被检查者(a、b和c)的第三检查质量分数即为所述操作员A的总第三检查质量分数。

为了对操作员的检查或操作起到辅助作用，例如在重点部位进行风险提示或者在特定部位进行重点观察提示或者对图像中的可疑区域进行提示或者对检测到的各个对象进行识别提示，本系统还包括检查辅助模块130，被配置为基于所述检查图像数据所对应的部位或对象，将所述检查图像数据分别输入对应的基于神经网络构建的识别模型中得到用于辅助操作的标识，将所述标识与对应的检查图像数据按照预设方式输出。

在本实施例中，所述检查辅助模块130包括：

识别子模块，被配置为将检查图像数据输入相应的识别模型中，至少识别出所述检查图像数据中的目标检测部位、可疑区域和操作器具，并按照预设形式输出用于辅助操作的标识；

在本实施例中，所述识别子模块包括：

目标部位检测单元，被配置为将当前的检查图像数据输入相应的目标部位识别模型中，得到当前的检查图像数据中包括的目标部位的位置信息和状态信息；

操作器具检测单元，被配置为将当前的检查图像数据输入相应的操作器具识别模型中，得到当前的检查图像数据中包括的操作器具的位置信息和状态信息；

可疑区域检测单元，被配置为将当前的检查图像数据输入相应的可疑区域识别模型中，得到当前的检查图像数据中包括的可疑区域的位置信息和状态信息。

在本实施例中，在检查时，所述系统通过显示设备显示检查辅助模块识别到的各种信息，至少包括当前的检查图像数据，基于当前的检查图像数据确定的检查部位和检查进度，并以三维模型的形式显示，例如当前检查的整体部位是上消化道，则在屏幕的右上角显示胃部的三维模型，并以不同的颜色标注已经检查过的部位和未检查的部位，优选的，还可以通过另外一种颜色显示正在检查的部位，另外，所述屏幕还可以通过包围框的形式在图像上标注可疑区域、目标对象和操作器具，并且可以基于识别出的概率，分级的通过不同颜色显示所述包围框，例如识别出某个区域是可疑区域为低概率，则用绿色；为中概率，则用黄色；为高概率，则用红色。可以理解的是，所述可疑区域、目标对象和操作器具及各自的概率可以是同一屏幕显示的，本实施例中不做限定。

另外，在进行下消化道检查(即肠道检查时)，还可以基于肠道检查的特性进行异物检查以进行肠道环境评分，方便操作员进行判断，当分析检查到固态粪便或液态粪便，食物残渣时会减分，例如：识别到肠道内存在液态粪便，评分为92；当没有检查到异物，肠道内较为干净时，评分为100分。

可以理解的是，为了使得显示更加流畅，延时更低，可以通过异步的方式分别显示原始检查图像数据和基于所述原始检查图像数据得到的标识，例如将所述标识叠加在原始检查图像数据上得到第二检查图像数据，然后将第二检查图像数据和原始检查图像数据异步的显示，其中，在显示第二检查图像数据时，通过将其中的除标识之外的画面都设置为透明，从而不影响正常观察且达到低延迟和流畅的显示效果。

在一个实施例中，所述目标部位识别模型、操作器具识别模型和可疑区域识别模型均为基于神经网络构建的图像识别模型；

或者，所述目标部位识别模型、操作器具识别模型和可疑区域识别模型为能够识别上述三种目标的图像识别模型。

在一个实施例中，所述可疑区域检测单元，还被配置为自动记录可疑分数超过预设阈值的可疑区域，并输出。

具体来说，可以将预设阈值设置为60％，当可疑区域的概率大于60％时，记录下来，并显示在屏幕的右下角，可选地，可以在屏幕保留最近的三张可疑分数超过预设阈值的可疑区域图像以便观察，当然，所有可疑分数超过预设阈值的可疑区域图像均可以存储在数据库中，以便检查完毕后进行复查。

在一个实施例中，所述可疑区域检测单元，还被配置为基于检查图像数据中包括的操作器具的位置信息和状态信息确定可疑区域的大小。

检查进度确定子模块，被配置为基于当前的检查图像数据中识别出的目标检测部位确定当前的检查进度，并基于预先构建的三维模型显示检查进度。

在本实施例中，所述检查进度确定子模块包括：

内外判别单元，被配置为基于当前的检查图像数据的识别结果确定内镜处于人体内或人体外，并在对应的状态输出相应的提示；

上消化道判别单元，被配置为基于当前的检查图像数据的识别结果确定内镜处于人体内时，判别所述内镜是否处于上消化道，并在所述内镜处于上消化道时，基于当前的检查图像数据的识别结果在预先构建的上消化道三维模型显示检查进度；

下消化道判别单元，被配置为基于当前的检查图像数据的识别结果确定内镜处于人体内时，判别所述内镜是否处于下消化道，并在所述内镜处于下消化道时，基于当前的检查图像数据的识别结果在预先构建的下消化道三维模型显示检查进度。

在一个实施例中，所述下消化道判别单元包括：

回盲部判别子单元，被配置为被配置为基于检查图像数据的识别结果确定下消化道的检查进度趋于完成时，基于当前的检查图像数据的识别结果判别所述内镜是否检查到回盲部；

所述检查检查时间监测子模块，还被配置为在确定所述内镜检查到回盲部时，开始记录退镜时间并输出。

在一个实施例中，所述检查辅助模块还包括：

风险提示子模块，被配置为基于当前地域的居民检查大数据或当前被检查对象的历史检查数据确定检查部位中的高风险区域，并在检查到相应区域时显示提示信息，以便操作员重点关注当前的检查区域。

具体来说，通过大数据的统计、汇总和整合，能够建立每个被检查者的独立档案，其中既往病史、家族遗传等发病因素均会在独立档案中体现，因此医生在进行消化道内镜检查的过程中，能够有针对性的对被检查者进行检查，从而提高医生的工作效率，同时能够有效降低误诊、漏诊的概率。

在一个实施例中，所述系统还包括：

数据统计及分析模块，被配置为基于历史的检查结果数据汇总分析，得到多种预定形式的分析报告，至少一种预定形式的分析报告包括各个部位的发病率统计和分析。从而能够对检查过程中的检查内容进行多维度的分类，方便的服务于后续的维护和研究，并且临床数据统计产生的结果可以直接用于改进未来医生检查的技术，更好的服务医生，提升患者生存质量。

在一个实施例中，所述系统的参数可以根据用户的实际需要由用户进行自由设置，例如可根据自己需求设置声音提示开关、保存路径、目标截图阈值(可疑区域的预设阈值)、掩码透明度、目标识别阈值、操作器具如病理夹原始大小和病理夹张开大小。

在本实施方式的一个实施例中，所述系统还包括影像归档和通信系统接口，原因在于，辅助系统的截图可以不只存在自己机器上，也可以传输给任何用户所使用的检查报告所在的图像归档平台，以方便用户基于检查图像数据出具响应的检查报告。

可以理解的是，终端设备有时需要进行维护，设备散落再各个医院各个科室，在一些情况下，需要这些设备主动上报当前的使用情况，从而有针对性的对设备进行维护，从而提高设备的使用率和可维护性；在互联网环境中发送内容为医疗相关的数据，必须经过高强度的数据加密，不能进行明文传输，所以需要有针对性的，兼顾不同的产品型号(不仅限于：嵌入式设备、PC设备、服务器设备等)，具有统一的报文合适和自定义的加密手段。

在本实施例中，通过以下方式进行设备的信息上报：

1)基于以下构建报文，报文包含内容：帧头、帧长度、SIM卡号、控制字、大协议号、小协议号、协议内容、帧校验、帧尾；

2)主动上报心跳：硬盘使用率，CPU峰值，GPU峰值，内存峰值，当日目标图片采集数量，当日自动保存图片数量；

3)接收查询命令：查询各参数的指令；

4)回复查询命令：回复查询命令查询的内容；

5)主动上报使用率：检查患者信息、图片采集数量、质控内容、图片数量等信息；

6)主动上报设备信息：软件版本号、硬件版本号、SIM卡编号、设备编号、经纬度、医院名称UTF-8等内容。

可以理解的是，为了用户体验更加友好，且档案管理更加方便，在本实施方式的一个实施例中，所述系统在每次为新的被检查者进行检查时，都会建立新的检查档案，存储相关检查数据和检查图像。

当然，若被检查者已经存在检查档案，则可以在相应的档案中对应存储当前日期的检查数据和检查图像，用户可以在任何时间对档案中的数据进行基于关键字的搜索或查询以及删除或修改，本实施例不做限定。

在本实施方式的一个实施例中，所述系统实现的软件中，还可以包括消化道早癌筛查模块，其中首页显示检查流程宣教、健康宣教、实时新闻、广告通知和消息通知。宣教管理包括：首页编辑、宣教审核、宣教内容上报。

为了系统安全，验证使用者的真实身份，在本实施例中，还需要核实用户身份，例如要求用户使用手机号注册登录、实名登记身份证和居住地信息、填写基本信息。

在本实施例中，还可以包括调查问卷模块，以便收集用户的意向或信息，例如《xx市居民消化道肿瘤免费筛查个案登记表》和《xx市居民消化道肿瘤免费筛查异常/可以病理随访登记表》

另外，本实施例中，所述系统还可以包括线下检查预约，具体可以是便潜血检测、镜前三项血清学检查、镜前心电图和镜前心电图；

其中便潜血检测的临床意义在于：1.消化道癌症早期,有20％的患者可出现潜血试验阳性,晚期病人的潜血阳性率可达到90％以上,并且可呈持续性阳性,因此粪便潜血检查可作为消化道肿瘤筛选的首选指标；2.消化道出血,消化道溃疡病人粪便潜血试验多为阳性,或呈现间断性阳性；3.可导致粪便中出现较多红细胞的疾病,如痢疾,直肠息肉,痔疮出血等也会导致潜血试验阳性反应。注意进一步结合胃肠镜的检查有无异常。

进一步地，用户还可以基于所述系统进行健康评估，例如完成调查问卷和便潜血后通过人工智能进行健康评估。

当然，本实施例中，还可以在线通知内镜检查预约、在线报到和签到、筛查监控评估结果反馈表、筛查知情同意书；其中在线通知内镜检查预约，包括通知患者和通知医疗单位。

本系统还可以提供以下服务或功能

宣传登记，包括项目：入户宣传登记、媒体宣传登记、社会宣传登记；其中媒体宣传登记，包括广播媒体、电视媒体、新媒体；社会宣传登记，包括医疗机构宣传、基层组织宣传、入户宣传。

随访服务，包括项目：随访提示、在线随访、电话随访登记、随访统计。

工作进度与统计，如前文例：《xx市居民消化道肿瘤免费筛查工作进度表》和《xx市居民消化道肿瘤免费筛查结果统计表》

人员管理，包括项目：上报工作人员培训合格证明、工作人员合格证明审核。

质量控制考核，包括项目：免费筛查项目预计硬件人群知晓率、定点机构工作人员培训合格率、调查问卷录入率、镜前检查知情告知率、内镜检查率、上消化道早诊率、结直肠早诊率。

报告分析平台，包括项目：接受结构化报告、接受非结构化报告、报告进行后结构化或OCR处理。

其他项目，包括：权限管理、组织机构管理、角色管理、数据字典管理、附件管理。

示例性介质

在介绍了本发明示例性实施方式的系统之后，接下来，参考图2对本发明示例性实施方式的计算机可读存储介质进行说明，请参考图2，其示出的计算机可读存储介质为光盘40，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会实现上述方法实施方式中所记载的各步骤，各步骤的具体实现方式在此不再重复说明。

需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

示例性计算设备

在介绍了本发明示例性实施方式的系统和介质之后，接下来，参考图3对本发明示例性实施方式的基于人工智能的内镜检查辅助的计算设备。

图3示出了适于用来实现本发明实施方式的示例性计算设备50的框图，该计算设备50可以是计算机系统或服务器。图3显示的计算设备50仅仅是一个示例，不应对本实施例的功能和使用范围带来任何限制。

如图3所示，计算设备50的组件可以包括但不限于：一个或者多个处理器或者处理单元501，系统存储器502，连接不同系统组件(包括系统存储器502和处理单元501)的总线503。

计算设备50典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备50访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器502可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)5021和/或高速缓存存储器5022。计算设备50可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，ROM5023可以用于读写不可移动的、非易失性磁介质(图3中未显示，通常称为“硬盘驱动器”)。尽管未在图3中示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线503相连。系统存储器502中可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块5024的程序/实用工具5025，可以存储在例如系统存储器502中，且这样的程序模块5024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块5024通常执行本发明所描述的实施例中的功能和/或方法。

计算设备50也可以与一个或多个外部设备504(如键盘、指向设备、显示器等)通信。这种通信可以通过输入/输出(I/O)接口505进行。并且，计算设备50还可以通过网络适配器506与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图3所示，网络适配器506通过总线503与计算设备50的其它模块(如处理单元501等)通信。应当明白，尽管图3中未示出，可以结合计算设备50使用其它硬件和/或软件模块。

处理单元501通过运行存储在系统存储器502中的程序，从而执行各种功能应用以及数据处理。各步骤的具体实现方式在此不再重复说明。应当注意，尽管在上文详细描述中提及了基于人工智能的内镜检查辅助系统的若干单元/模块或子单元/子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

通过以上内容可知，本申请至少公开了以下技术方案：

1.一种基于人工智能的内镜检查辅助系统，包括：

检查数据采集模块，被配置为通过内镜设备获取检查数据，所述检查数据至少包括检查时间数据和检查图像数据；

检查质量监测模块，被配置为对所述检查数据进行数据处理，所述数据处理至少包括数据统计和数据分类，然后将特定类型的检查数据分别输入相应的基于神经网络构建的质量监测模型中，以确定检查质量；

检查辅助模块，被配置为基于所述检查图像数据所对应的部位或对象，将所述检查图像数据分别输入对应的基于神经网络构建的识别模型中得到用于辅助操作的标识，将所述标识与对应的检查图像数据按照预设方式输出。

2.如方案1所述的基于人工智能的内镜检查辅助系统，其中，所述检查质量监测模块包括：

检查时间监测子模块，被配置为记录各个部位的检查开始时间和检查结束时间，以及基于所述检查开始时间和检查结束时间统计检查总时间；并基于各个部位的检查总时间确定相应部位的第一检查质量分数；

检查质量监测子模块，被配置为获取各个部位的检查图像数据，并分别输入相应的质量监测模型中，以确定各个部位的第二检查质量分数，其中，所述第二检查质量分数至少基于检查图像数据的质量、基于检查图像数据得到的检查动作和顺序中的一个确定。

3.如方案1或2所述的基于人工智能的内镜检查辅助系统，其中，所述检查时间监测子模块还被配置为将各个部位的检查总时间与标准检查时间对比，以确定相应部位的第一检查质量分数；或者

将各个部位的检查总时间输入相应的检查时间质量检测模型，以确定相应部位的第一检查质量分数，某个检查部位的所述检查时间质量检测模型以神经网络技术构建，基于对应的训练数据训练获得，所述训练数据至少包括各个部位的检查时间及对应的检查质量分数。

4.如方案1-3中任一项所述的基于人工智能的内镜检查辅助系统，其中，检查质量监测子模块包括：

第一检查质量监测单元，被配置为基于各个部位中的第一部分部位的检查图像数据，确定检查动作序列，基于所述检查动作序列至少能够确定检查动作顺序及各个动作的形态，以及特定区域的停驻时间，将所述检查动作序列输入相应的第一质量监测模型中，以确定各个第一部分部位的第二检查质量分数；

第二检查质量监测单元，被配置为将各个部位中的第二部分部位的检查图像数据，输入相应的第二质量监测子模型中，分析所述检查图像数据表征的初始检查动作和结束检查动作及检查过程中的检查图像质量，以确定各个第二部分部位的第二检查质量分数。

5.如方案1-4中任一项所述的基于人工智能的内镜检查辅助系统，其中，所述检查质量监测模块还包括：

操作员检查质量统计子模块，被配置为记录并统计操作员的所有检查的各个部位的第一检查质量分数和第二质量分数，并按照预设规则计算得到相应操作员的第三检查质量分数。

6.如方案1-5中任一项所述的基于人工智能的内镜检查辅助系统，其中，所述检查辅助模块包括：

识别子模块，被配置为将检查图像数据输入相应的识别模型中，至少识别出所述检查图像数据中的目标检测部位、可疑区域和操作器具，并按照预设形式输出用于辅助操作的标识；

检查进度确定子模块，被配置为基于当前的检查图像数据中识别出的目标检测部位确定当前的检查进度，并基于预先构建的三维模型显示检查进度。

7.如方案1-6中任一项所述的基于人工智能的内镜检查辅助系统，其中，所述检查进度确定子模块包括：

内外判别单元，被配置为基于当前的检查图像数据的识别结果确定内镜处于人体内或人体外，并在对应的状态输出相应的提示；

上消化道判别单元，被配置为基于当前的检查图像数据的识别结果确定内镜处于人体内时，判别所述内镜是否处于上消化道，并在所述内镜处于上消化道时，基于当前的检查图像数据的识别结果在预先构建的上消化道三维模型显示检查进度；

下消化道判别单元，被配置为基于当前的检查图像数据的识别结果确定内镜处于人体内时，判别所述内镜是否处于下消化道，并在所述内镜处于下消化道时，基于当前的检查图像数据的识别结果在预先构建的下消化道三维模型显示检查进度。

8.如方案1-7中任一项所述的基于人工智能的内镜检查辅助系统，其中，所述下消化道判别单元包括：

回盲部判别子单元，被配置为被配置为基于检查图像数据的识别结果确定下消化道的检查进度趋于完成时，基于当前的检查图像数据的识别结果判别所述内镜是否检查到回盲部；

所述检查检查时间监测子模块，还被配置为在确定所述内镜检查到回盲部时，开始记录退镜时间并输出。

9.如方案1-8中任一项所述的基于人工智能的内镜检查辅助系统，其中，所述识别子模块包括：

目标部位检测单元，被配置为将当前的检查图像数据输入相应的目标部位识别模型中，得到当前的检查图像数据中包括的目标部位的位置信息和状态信息；

操作器具检测单元，被配置为将当前的检查图像数据输入相应的操作器具识别模型中，得到当前的检查图像数据中包括的操作器具的位置信息和状态信息；

可疑区域检测单元，被配置为将当前的检查图像数据输入相应的可疑区域识别模型中，得到当前的检查图像数据中包括的可疑区域的位置信息和状态信息。

10.如方案1-9中任一项所述的基于人工智能的内镜检查辅助系统，其中，所述目标部位识别模型、操作器具识别模型和可疑区域识别模型均为基于神经网络构建的图像识别模型；

或者，所述目标部位识别模型、操作器具识别模型和可疑区域识别模型为能够识别目标部位、操作器具和可疑区域三种目标的图像识别模型。

11.如方案1-10中任一项所述的基于人工智能的内镜检查辅助系统，其中，所述可疑区域检测单元，还被配置为自动记录可疑分数超过预设阈值的可疑区域，并输出。

12.如方案1-11中任一项所述的基于人工智能的内镜检查辅助系统，其中，所述可疑区域检测单元，还被配置为基于检查图像数据中包括的操作器具的位置信息和状态信息确定可疑区域的大小。

13.如方案1-12中任一项所述的基于人工智能的内镜检查辅助系统，其中，所述检查辅助模块，所述检查质量监测模块还包括：

风险提示子模块，被配置为基于当前地域的居民检查大数据或当前被检查对象的历史检查数据确定检查部位中的高风险区域，并在检查到相应区域时显示提示信息，以便操作员重点关注当前的检查区域。

14.如方案1-13中任一项所述的基于人工智能的内镜检查辅助系统，其中，所述系统还包括：

数据统计及分析模块，被配置为基于历史的检查结果数据汇总分析，得到多种预定形式的分析报告，至少一种预定形式的分析报告包括各个部位的发病率统计和分析。

Claims (12)

1.一种基于人工智能的内镜检查辅助系统，包括：

检查数据采集模块，被配置为通过内镜设备获取检查数据，所述检查数据至少包括检查时间数据和检查图像数据；

检查质量监测模块，被配置为对所述检查数据进行数据处理，所述数据处理至少包括数据统计和数据分类，然后将特定类型的检查数据分别输入相应的基于神经网络构建的质量监测模型中，以确定检查质量；

检查辅助模块，被配置为基于所述检查图像数据所对应的部位或对象，将所述检查图像数据分别输入对应的基于神经网络构建的识别模型中得到用于辅助操作的标识，将所述标识与对应的检查图像数据按照预设方式输出；

其中，所述检查质量监测模块包括：

检查时间监测子模块，被配置为记录各个部位的检查开始时间和检查结束时间，以及基于所述检查开始时间和检查结束时间统计检查总时间；并基于各个部位的检查总时间确定相应部位的第一检查质量分数；

检查质量监测子模块，被配置为获取各个部位的检查图像数据，并分别输入相应的质量监测模型中，以确定各个部位的第二检查质量分数，其中，所述第二检查质量分数至少基于检查图像数据的质量、基于检查图像数据得到的检查动作和顺序中的一个确定；

其中，所述检查质量监测子模块包括：

第一检查质量监测单元，被配置为基于各个部位中的第一部分部位的检查图像数据，确定检查动作序列，基于所述检查动作序列至少能够确定检查动作顺序及各个动作的形态，以及特定区域的停驻时间，将所述检查动作序列输入相应的第一质量监测模型中，以确定各个第一部分部位的第二检查质量分数；

第二检查质量监测单元，被配置为将各个部位中的第二部分部位的检查图像数据，输入相应的第二质量监测子模型中，分析所述检查图像数据表征的初始检查动作和结束检查动作及检查过程中的检查图像质量，以确定各个第二部分部位的第二检查质量分数。

2.如权利要求1所述的基于人工智能的内镜检查辅助系统，其中，所述检查时间监测子模块还被配置为将各个部位的检查总时间与标准检查时间对比，以确定相应部位的第一检查质量分数；或者

将各个部位的检查总时间输入相应的检查时间质量检测模型，以确定相应部位的第一检查质量分数，某个检查部位的所述检查时间质量检测模型以神经网络技术构建，基于对应的训练数据训练获得，所述训练数据至少包括各个部位的检查时间及对应的检查质量分数。

3.如权利要求1所述的基于人工智能的内镜检查辅助系统，其中，所述检查质量监测模块还包括：

操作员检查质量统计子模块，被配置为记录并统计操作员的所有检查的各个部位的第一检查质量分数和第二质量分数，并按照预设规则计算得到相应操作员的第三检查质量分数。

4.如权利要求1所述的基于人工智能的内镜检查辅助系统，其中，所述检查辅助模块包括：

识别子模块，被配置为将检查图像数据输入相应的识别模型中，至少识别出所述检查图像数据中的目标检测部位、可疑区域和操作器具，并按照预设形式输出用于辅助操作的标识；

检查进度确定子模块，被配置为基于当前的检查图像数据中识别出的目标检测部位确定当前的检查进度，并基于预先构建的三维模型显示检查进度。

5.如权利要求4所述的基于人工智能的内镜检查辅助系统，其中，所述检查进度确定子模块包括：

内外判别单元，被配置为基于当前的检查图像数据的识别结果确定内镜处于人体内或人体外，并在对应的状态输出相应的提示；

上消化道判别单元，被配置为基于当前的检查图像数据的识别结果确定内镜处于人体内时，判别所述内镜是否处于上消化道，并在所述内镜处于上消化道时，基于当前的检查图像数据的识别结果在预先构建的上消化道三维模型显示检查进度；

下消化道判别单元，被配置为基于当前的检查图像数据的识别结果确定内镜处于人体内时，判别所述内镜是否处于下消化道，并在所述内镜处于下消化道时，基于当前的检查图像数据的识别结果在预先构建的下消化道三维模型显示检查进度。

6.如权利要求5所述的基于人工智能的内镜检查辅助系统，其中，所述下消化道判别单元包括：

回盲部判别子单元，被配置为基于检查图像数据的识别结果确定下消化道的检查进度趋于完成时，基于当前的检查图像数据的识别结果判别所述内镜是否检查到回盲部；

所述检查时间监测子模块，还被配置为在确定所述内镜检查到回盲部时，开始记录退镜时间并输出。

7.如权利要求4所述的基于人工智能的内镜检查辅助系统，其中，所述识别子模块包括：

目标部位检测单元，被配置为将当前的检查图像数据输入相应的目标部位识别模型中，得到当前的检查图像数据中包括的目标部位的位置信息和状态信息；

操作器具检测单元，被配置为将当前的检查图像数据输入相应的操作器具识别模型中，得到当前的检查图像数据中包括的操作器具的位置信息和状态信息；

可疑区域检测单元，被配置为将当前的检查图像数据输入相应的可疑区域识别模型中，得到当前的检查图像数据中包括的可疑区域的位置信息和状态信息。

8.如权利要求7所述的基于人工智能的内镜检查辅助系统，其中，所述目标部位识别模型、操作器具识别模型和可疑区域识别模型均为基于神经网络构建的图像识别模型；

或者，所述目标部位识别模型、操作器具识别模型和可疑区域识别模型为能够识别目标部位、操作器具和可疑区域三种目标的图像识别模型。

9.如权利要求7所述的基于人工智能的内镜检查辅助系统，其中，所述可疑区域检测单元，还被配置为自动记录可疑分数超过预设阈值的可疑区域，并输出。

10.如权利要求7所述的基于人工智能的内镜检查辅助系统，其中，所述可疑区域检测单元，还被配置为基于检查图像数据中包括的操作器具的位置信息和状态信息确定可疑区域的大小。

11.如权利要求1所述的基于人工智能的内镜检查辅助系统，其中，所述检查辅助模块，所述检查质量监测模块还包括：

风险提示子模块，被配置为基于当前地域的居民检查大数据或当前被检查对象的历史检查数据确定检查部位中的高风险区域，并在检查到相应区域时显示提示信息，以便操作员重点关注当前的检查区域。

12.如权利要求1所述的基于人工智能的内镜检查辅助系统，其中，所述系统还包括：

数据统计及分析模块，被配置为基于历史的检查结果数据汇总分析，得到多种预定形式的分析报告，至少一种预定形式的分析报告包括各个部位的发病率统计和分析。

Images