CN115526842A - 鼻咽喉镜监测方法、装置、系统、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种鼻咽喉镜监测方法、装置、系统、计算机设备和存储介质质。所述方法包括：获取鼻咽喉镜的采集图像；分别将采集图像输入预先训练的图像检索模型和关键点检测模型，经图像检索模型输出采集图像对应的监测部位，经关键点检测模型输出采集图像中的关键点位；对关键点位与监测部位对应的关键目标点位进行特征对比，并基于特征比对的结果确定采集图像是否符合目标要求。采用本方法能够实时监控内镜操作并对镜头拍摄的图像进行分析，自动识别当前部位和关键点位，规范采图部位及范围，自动抓取合格图像作为最终报告图像。

Description

鼻咽喉镜监测方法、装置、系统、计算机设备和存储介质

技术领域

本申请涉及智能医疗图像处理技术领域，特别是涉及一种鼻咽喉镜监测方法、装置、系统、计算机设备和存储介质质。

背景技术

电子鼻咽喉镜作为便捷、直观、无创的检查方式，是医疗筛查技术中重要且不可替代的检查方式。电子鼻咽喉镜可对鼻、咽、喉腔进行形态学的大体观察，在电子鼻咽喉镜引导下进行活组织检查。

传统的检查结果完全取决于在检查过程中的人为操作与人为判断，这在检查过程中广泛存在的不规范操作问题，如某些部位漏检，误判等，而内镜检查操作不规范也是造成国内鼻咽喉早癌诊断率偏低的主要原因。另外，传统的检查操作都是只能在报告生成之后进行纠错，若存在不规范的图像，当下报告不能进行更改，只能重新进行检查操作。

因此，需要一种智能化、规范化的鼻咽喉镜监测方案。

发明内容

基于此，有必要针对上述技术问题，提供一种能够实时自动采集规范图像的鼻咽喉镜监测方法、装置、系统、计算机设备和存储介质质。

第一方面，本申请提供了一种鼻咽喉镜监测方法，方法包括：

获取鼻咽喉镜的采集图像；

分别将采集图像输入预先训练的图像检索模型和关键点检测模型，经图像检索模型输出采集图像对应的监测部位，经关键点检测模型输出采集图像中的关键点位；

对关键点位与监测部位对应的关键目标点位进行特征对比，并基于特征比对的结果确定采集图像是否符合目标要求。

在其中一个实施例中，图像检索模型与关键点检测模型的训练过程包括以下步骤：

获取鼻咽喉镜的训练图像，训练图像标记有部位类别、关键点信息；

对标记有部位类别的训练图像进行机器学习，得到图像检索模型；

对标记有关键点信息的训练图像进行机器学习，得到关键点检测模型。

在其中一个实施例中，基于标记有部位类别的训练图像进行部位识别训练，得到图像检索模型包括：

构建图像检索模型，图像检索模型中设有检索训练参数与图像特征底库；

分别将训练图像输入至图像检索模型，与图像特征底库进行匹配，生成检索预测结果；

基于检索预测结果与对应部位类别之间的差异，对检索训练参数进行迭代调整，直至差异满足预设要求。

在其中一个实施例中，基于标记有关键点信息的训练图像进行关键点检测训练，得到关键点检测模型包括：

构建关键点检测模型，关键点检测模型中设置有检测训练参数；

分别将训练图像输入至关键点检测模型中，生成检测预测结果；

基于检测预测结果和对应关键点信息之间的差异，对检测训练参数进行迭代调整，直至差异满足预设要求。

在其中一个实施例中，对关键点位与监测部位对应的关键目标点位进行特征对比，并基于特征比对的结果确定采集图像是否符合目标要求包括：

将关键点位的特征与监测部位对应的关键目标点位的合格阈值进行比对，验证采集图像是否符合目标要求，若不符合，则提醒采集图像异常；

其中，合格阈值设有多个合格档位，不同的合格档位对应不同监测要求。

在其中一个实施例中，方法还包括：

实时显示采集图像、采集图像对应的监测部位与关键点位、采集图像对应的验证结果、以及结果报告的实时情况。

第二方面，本申请提供了一种鼻咽喉镜监测装置，装置包括：

获取模块，用于实时获取鼻咽喉镜的采集图像；

检测模块，用于分别将采集图像输入预先训练的图像检索模型和关键点检测模型，经图像检索模型输出采集图像对应的监测部位，经关键点检测模型输出采集图像中的关键点位；

特征比对模块，用于对关键点位与监测部位对应的关键目标点位进行特征对比，并基于特征比对的结果确定采集图像是否符合目标要求。

第三方面，本申请提供了一种鼻咽喉镜监测系统，系统包括：鼻咽喉镜、服务器、服务控制器、原图显示器、输出显示器，原图显示器与鼻咽喉镜信号连接，鼻咽喉镜与服务器信号连接，服务器经服务控制器与输出显示器信号连接；

服务器用于获取鼻咽喉镜的采集图像，并分别将采集图像输入预先训练的图像检索模型和关键点检测模型，经图像检索模型输出采集图像对应的监测部位，经关键点检测模型输出采集图像中的关键点位，以及对关键点位与监测部位对应的关键目标点位进行特征对比，并基于特征比对的结果确定采集图像是否符合目标要求；

原图显示器用于显示采集图像，输出显示器用于显示基于采集图像得到的监测结果，监测结果至少包括监测部位、关键点位以及特征比对的结果。

第四方面，本申请提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述任意一实施例中的鼻咽喉镜监测方法的步骤。

第五方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意一实施例中的鼻咽喉镜监测方法的步骤。

上述鼻咽喉镜监测方法、装置、系统、计算机设备和存储介质质，通过实时对鼻咽喉镜的采集图像进行部位识别和关键点抓取，并比较关键点位与识别部位对应的关键目标点位确定当前采集图像是否合格，即结果报告所需的图像，实现了实时识别鼻咽喉镜的采集图像，并自动抓取符合规范的合格图像，不仅可以提高采集图像的准确性与规范性，而且降低鼻咽喉镜监测的难度、提高监测的效率。

附图说明

为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中鼻咽喉镜监测方法的应用环境图；

图2为一个实施例中鼻咽喉镜监测方法的整体流程示意图；

图3为一个实施例中鼻咽喉镜监测方法的模型训练流程示意图；

图4为一个实施例中鼻咽喉镜监测装置的结构框图；

图5为一个实施例中鼻咽喉镜监测系统的结构示意图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。

在此使用时，单数形式的“一”、“一个”和“所述/该”也可以包括复数形式，除非上下文清楚指出另外的方式。还应当理解的是，术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在，但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。

本申请实施例提供的鼻咽喉镜监测方法，可以应用于如图1所示的应用环境中。其中，终端102与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。服务器实时获取鼻咽喉镜的采集图像，并基于模型识别图像中的监测部位和关键点位，并对关键点位与监测部位对应的关键目标点位进行特征对比，并基于特征比对的结果确定采集图像是否符合目标要求。其中，终端102为鼻咽喉镜仪器，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种鼻咽喉镜监测方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

S100：获取鼻咽喉镜的采集图像；

具体地，本实施例的采集图像为鼻咽喉镜仪器实时采集的图像，鼻咽喉镜仪器通过镜头在内镜检查中实时采集鼻咽喉头颈内的图像信息，并输出实时采集图像，对实时采集图像进一步抓取并保存，可以获取有用的图像信息。

S200：分别将采集图像输入预先训练的图像检索模型和关键点检测模型，经图像检索模型输出采集图像对应的监测部位，经关键点检测模型输出采集图像中的关键点位；

具体地，本实施例预先训练的图像检索模型为前期通过采集大量的训练图像进行训练的模型，训练图像标记有部位类别，其经过部位标记的训练图像训练可以识别采集图像中所对应的监测部位，以便于后期的关键点位比对，减少比对的处理量并提高比对的准确性。训练图像可以从往期采集的鼻咽喉镜样本中进一步分析提取，剔除一些不重要的部位图片、图像质量不高的图片，保留清晰、覆盖需要识别的部位的图片，以提高模型训练的效果。参看图3，对于鼻咽喉的监测部位而言，可以分为鼻咽部、会厌与舌根、喉部等等。

具体地，本实施例预先训练的关键点检测模型为通用采集大量的训练图像进行训练的模型，训练图像为上述图像检索模型训练中的训练图像，并标记有关键点信息，其经过关键点标记的训练图像训练可以识别采集图像中存在的关键点位，该关键点位即鼻咽喉镜采集图像中可能会存在病变点的位置，该关键点位的具体位置可以通过往期采集的鼻咽喉镜样本中的病变点确定，并关键点标记，具体训练图像可以挑选图像检索模型的训练图像中特征明显、覆盖该部位的关键点位较多的，以提高模型训练的效果。参看图3，对于关键点位，例如喉部可以分为声带前端点、声带后端点、前联合点等等。

S300：对关键点位与监测部位对应的关键目标点位进行特征对比，并基于特征比对的结果确定采集图像是否符合目标要求。

具体地，本实施例在识别出采集图像的监测部位与关键点位的情况下，通过监测部位对应的关键目标点位与检测得到关键点位进行特征对比，确认采集图像是否涵盖了该部位需要监测的关键点位，若不符合该部位的点位要求，即不符合目标要求，则可以认定该采集图像不合格，提醒当前采集图像异常，需要重新监测，若符合该部位的点位要求，即符合目标要求，则可以认定该采集图像合格，输出至结果报告对应的区域中，如此，通过关键点位的特征比对，实现了合格的检测图像的自动抓取。

优选地，在确定采集图像不合格且对部分点位有监测到时，可以提醒该部位的哪些关键点并未监测到位，通过重新获取的采集图像，补足该不合格采集图像中缺失的点位，如此，通过多个采集图像覆盖该部位所有所需监测的点位，降低了采集图像采集的难度，提高了鼻咽喉镜监测的效率。

上述鼻咽喉镜监测方法，通过实时对鼻咽喉镜的采集图像进行部位识别和关键点抓取，并比较关键点位与识别部位对应的关键目标点位确定当前采集图像是否合格，即结果报告所需的图像，实现了实时识别鼻咽喉镜的采集图像，并自动抓取符合规范的合格图像，不仅可以提高采集图像的准确性与规范性，而且降低鼻咽喉镜监测的难度、提高监测的效率。

在一个实施例中，图像检索模型与关键点检测模型的训练过程包括以下步骤：获取鼻咽喉镜的训练图像，训练图像标记有部位类别、关键点信息；对标记有部位类别的训练图像进行机器学习，得到图像检索模型；对标记有关键点信息的训练图像进行机器学习，得到关键点检测模型。

具体地，本实施例通过获取大量的训练图像对图像检索模型和关键点检测模型进行训练，其中，训练图像从往期鼻咽喉镜采集的采集图像中获取，对于这些图像，按照所需监测到的部位与点位经过图像的筛选与剔除，初步获取所需的训练图像。进一步地，对于这些训练图像可以进行预处理，以提高训练图像的质量，例如数据标准化处理，使各维特征的取值均在相同的范围内以去除不同尺度特征的干扰，例如数据缩减处理，降维简化特征，防止过拟合，例如缺失值、离群值、异常值处理，弥补图像特征缺陷，等等。

在一个实施例中，基于标记有部位类别的训练图像进行部位识别训练，得到图像检索模型包括：构建图像检索模型，图像检索模型中设有检索训练参数与图像特征底库；分别将训练图像输入至图像检索模型，与图像特征底库进行匹配，生成检索预测结果；基于检索预测结果与对应部位类别之间的差异，对检索训练参数进行迭代调整，直至差异满足预设要求。

具体地，图像检索模型主要用于识别采集图像的部位，即对于采集图像进行部位的分类，其中，将部位类别标记的训练图像输入到构建的初始图像检索模型中进行训练，在训练过程中图像检索模型提取训练图像的特征，将其与图像特征底库中的部位特征进行匹配，生成检索预测结果，再通过比较检索预测结果与对应部位类别之间的差异，对检索训练参数进行迭代调整，直至差异满足预设要求，得到训练好的图像检索模型。

在一个实施例中，基于标记有关键点信息的训练图像进行关键点检测训练，得到关键点检测模型包括：构建关键点检测模型，关键点检测模型中设置有检测训练参数；分别将训练图像输入至关键点检测模型中，生成检测预测结果；基于检测预测结果和对应关键点信息之间的差异，对检测训练参数进行迭代调整，直至差异满足预设要求。

具体地，关键点检测模型主要用于识别采集图像的点位，其中，将关键点信息标记的训练图像输入到构建的初始关键点检测模型中进行训练，在训练过程中关键点检测模型识别采集图像的关键点位，成检索预测结果，再通过比较检索预测结果和对应关键点信息之间的差异，对检测训练参数进行迭代调整，直至差异满足预设要求，得到训练好的关键点检测模型。

在一个实施例中，根据关键点位与监测部位对应的关键目标点位进行特征对比，并基于特征比对的结果确定采集图像是否符合目标要求包括：将关键点位的特征与监测部位对应的关键目标点位的合格阈值进行比对，验证采集图像是否符合目标要求，若不符合，则提醒采集图像异常；其中，合格阈值设有多个合格档位，不同的合格档位对应不同监测要求。

具体地，每个监测部位设有需要监测的关键目标点位，对于关键目标点位的识别要求设有合格阈值，通过识别得到的关键点位的特征值与合格阈值比较，确定是否为所需监测的点位，满足合格阈值则说明采集图像中监测到了所需的点位，即为合格的检测图像，可以作为结果报告中对应部位的输出结果图像，若不合格，对该部位的监测发出监测异常提醒，以提醒重新监测该部位。

具体地，对于上述合格阈值设有多个合格档位，在一些实施例中，可以分为高、中、低三档，档位越高代表监测的关键点越准确，监测的要求更高，通过设置不同的合格档位，便于在不同场合适应不同的监测需求，提高了鼻咽喉镜监测的灵活性。

在一个实施例中，对关键点位与监测部位对应的关键目标点位进行特征对比，并基于特征比对的结果确定采集图像是否符合目标要求之后，还包括：检查结果报告中所有的采集图像，若监测图案合格且无缺失，则结果报告合格，反之，则提醒结果报告所缺失的内容或不合格的内容。

具体地，对于结果报告，实时检查结果报告中所有的采集图像，确认是否还有部位未监测的或者还有部位的关键点未监测的，这种情况下，提醒结果报告中的异常，确认所有的采集图像都合格且没有未监测到的部位或关键点，则可以输出结果报告。

在一个实施例中，方法还包括：实时显示采集图像、采集图像对应的监测部位与关键点位、采集图像对应的验证结果、以及结果报告的实时情况。

具体地，为了提高鼻咽喉镜监测的实时性，本实施例在上述自动抓取合格的采集图像的同时，还实时显示当前的采集图像、采集图像识别之后的部位与关键点信息、采集图像是否合格的验证结果、以及结果报告的实时情况，该结果报告的实时情况可以包括已监测合格的信息与未监测合格的信息，在提高鼻咽喉镜监测的实时性的同时，可以让用户直观地了解鼻咽喉监测的进度与详细信息，基于此还可以通过人工干预修正结果报告中的异常情况，大大提高了鼻咽喉镜监测的性能。

现结合一系统对本实施例的工作过程进行详细说明，但不仅限于此。

参看图5，通过一系统执行本实施例中的鼻咽喉镜监测方法，该系统包括鼻咽喉镜镜头、鼻咽喉仪器、原图显示器、输出显示器、以及服务器控制器和服务器。

镜头主要用于鼻咽喉镜仪器镜头，在内镜检查中实时采集鼻咽喉头颈内图像信息，通过仪器送入原图显示器显示，以及输入服务器中进行识别处理；鼻咽喉镜仪器用于鼻咽喉镜相关的配置，已经采集信息输出图像的转换与控制，同时可以通过仪器随时抓拍与保存图像；原始图像显示器主要用于实时显示当前镜头采集到的图像，方便分析；输出显示器主要显示服务器对当前部位的智能分析结果，以及整个检查的进程，已经完成检查的部位，还未检查的部位，以及已检查部位中的合格图像显示；服务器控制器主要用于控制服务器内部的相关参数配置，如对图像的合格要求档位是高，中，低档设置等，以及医生与服务器的交互，例如是否忽略当前的不合格图像，直接生成检查报告；

服务器配合上述部件用于执行上述鼻咽喉镜监测方法的步骤：

服务器实时获取鼻咽喉镜仪器的镜头采集的采集图像；

服务器对于采集到的鼻咽喉内部的采集图像，通过图像检索模型识别出当前采集图像所处的监测部位，同时，服务器通过关键点检测模型检测出当前部位所包含的关键点位。

服务器通过检测到的关键点位和该部位的关键目标点位进行特征对比，判断当前采集图像是否合格，如果比对成功，将该采集图像收纳入结果报告中，如果对比不成功，给出提示，提醒该部位重新采集采集图像，其中，通过服务控制器根据实际需求选择特征比对中的合格阈值的档位。

上述执行过程中，鼻咽喉镜仪器通过原图像显示器实时显示采集图像，服务器控制器通过输出显示器实时显示采集图像识别之后的部位与关键点信息、采集图像是否合格的验证结果、以及结果报告的实时情况。

通过上述鼻咽喉镜监测方法，能够实时监控内镜操作并对镜头拍摄的图像进行分析，自动识别当前部位和关键点位，对于漏掉的部位，能做出提醒，同时提供一定的引导，规范采图部位及范围，自动抓取合格图像作为最终报告图像，同时，可以指定高、中、低档的合格阈值，方便在不同场合灵活应用该系统，提高了该系统的灵活性。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的鼻咽喉镜监测方法的鼻咽喉镜监测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个鼻咽喉镜监测装置实施例中的具体限定可以参见上文中对于鼻咽喉镜监测方法的限定，在此不再赘述。

在一个实施例中，如图4所示，提供了一种鼻咽喉镜监测装置，装置包括：

获取模块10，用于实时获取鼻咽喉镜的采集图像；

检测模块20，用于分别将采集图像输入预先训练的图像检索模型和关键点检测模型，经图像检索模型输出采集图像对应的监测部位，经关键点检测模型输出采集图像中的关键点位；

特征比对模块30，用于根据关键点位与监测部位对应的关键目标点位进行特征对比，并基于特征比对的结果确定采集图像是否符合目标要求。在一个实施例中，图像检索模型与关键点检测模型的训练过程包括以下步骤：获取鼻咽喉镜的训练图像，并分别对训练图像进行部位标记、关键点标记；基于部位标记的训练图像进行检索网络训练，得到图像检索模型；基于关键点标记的训练图像进行关键点检测训练，得到关键点检测模型。

在一个实施例中，检测模块中图像检索模型与关键点检测模型的训练过程包括以下步骤：获取鼻咽喉镜的训练图像，训练图像标记有部位类别、关键点信息；对标记有部位类别的训练图像进行机器学习，得到图像检索模型；对标记有关键点信息的训练图像进行机器学习，得到关键点检测模型。

在一个实施例中，检测模块基于标记有部位类别的训练图像进行部位识别训练，得到图像检索模型包括：构建图像检索模型，图像检索模型中设有检索训练参数与图像特征底库；分别将训练图像输入至图像检索模型，与图像特征底库进行匹配，生成检索预测结果；基于检索预测结果与对应部位类别之间的差异，对检索训练参数进行迭代调整，直至差异满足预设要求。

在一个实施例中，检测模块基于标记有关键点信息的训练图像进行关键点检测训练，得到关键点检测模型包括：构建关键点检测模型，关键点检测模型中设置有检测训练参数；分别将训练图像输入至关键点检测模型中，生成检测预测结果；基于检测预测结果和对应关键点信息之间的差异，对检测训练参数进行迭代调整，直至差异满足预设要求。

在一个实施例中，特征比对模块根据关键点位与监测部位对应的关键目标点位进行特征对比，并基于特征比对的结果确定采集图像是否符合目标要求包括：将关键点位的特征与监测部位对应的关键目标点位的合格阈值进行比对，验证采集图像是否符合目标要求，若不符合，则提醒采集图像异常；其中，合格阈值设有多个合格档位，不同的合格档位对应不同监测要求。

在一个实施例中，特征比对模块根据关键点位与监测部位对应的关键目标点位进行特征对比，自动抓取合格的采集图像输出至结果报告中，并对不合格的采集图像进行异常提醒之后，还包括：检查结果报告中所有的采集图像，若监测图案合格且无缺失，则结果报告合格，反之，则提醒结果报告所缺失的内容或不合格的内容。

在一个实施例中，本实施例还实时显示采集图像、采集图像对应的监测部位与关键点位、采集图像对应的验证结果、以及结果报告的实时情况。

上述鼻咽喉镜监测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的鼻咽喉镜监测方法的鼻咽喉镜监测系统。该系统所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个鼻咽喉镜监测系统实施例中的具体限定可以参见上文中对于鼻咽喉镜监测方法的限定，在此不再赘述。

在一个实施例中，提供一种鼻咽喉镜监测系统，系统包括：鼻咽喉镜、服务器、服务控制器、原图显示器、输出显示器，原图显示器与鼻咽喉镜信号连接，鼻咽喉镜与服务器信号连接，服务器经服务控制器与输出显示器信号连接；服务器用于获取鼻咽喉镜的采集图像，并分别将采集图像输入预先训练的图像检索模型和关键点检测模型，经图像检索模型输出采集图像对应的监测部位，经关键点检测模型输出采集图像中的关键点位，以及根据关键点位与监测部位对应的关键目标点位进行特征对比，并基于特征比对的结果确定采集图像是否符合目标要求；原图显示器用于显示采集图像，输出显示器用于显示基于采集图像得到的监测结果，监测结果至少包括监测部位、关键点位以及特征比对的结果。具体详细说明参看方法对应的说明，在此不再赘述。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储鼻咽喉镜监测的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述实施例中任意一种鼻咽喉镜监测方法。具体详细说明参看方法对应的说明，在此不再赘述。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中任意一种鼻咽喉镜监测方法。具体详细说明参看方法对应的说明，在此不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种鼻咽喉镜监测方法，其特征在于，所述方法包括：

获取鼻咽喉镜的采集图像；

分别将所述采集图像输入预先训练的图像检索模型和关键点检测模型，经所述图像检索模型输出所述采集图像对应的监测部位，经所述关键点检测模型输出所述采集图像中的关键点位；

对所述关键点位与所述监测部位对应的关键目标点位进行特征对比，并基于所述特征比对的结果确定所述采集图像是否符合目标要求。

2.根据权利要求1所述的方法，其特征在于，所述图像检索模型与所述关键点检测模型的训练过程包括以下步骤：

获取鼻咽喉镜的训练图像，所述训练图像标记有部位类别、关键点信息；

对标记有所述部位类别的所述训练图像进行机器学习，得到所述图像检索模型；

对标记有所述关键点信息的所述训练图像进行机器学习，得到所述关键点检测模型。

3.根据权利要求2所述的方法，其特征在于，所述基于标记有所述部位类别的所述训练图像进行部位识别训练，得到所述图像检索模型包括：

构建所述图像检索模型，所述图像检索模型中设有检索训练参数与图像特征底库；

分别将所述训练图像输入至所述图像检索模型，与所述图像特征底库进行匹配，生成检索预测结果；

基于所述检索预测结果与对应所述部位类别之间的差异，对所述检索训练参数进行迭代调整，直至差异满足预设要求。

4.根据权利要求2所述的方法，其特征在于，所述基于标记有所述关键点信息的所述训练图像进行关键点检测训练，得到所述关键点检测模型包括：

构建所述关键点检测模型，所述关键点检测模型中设置有检测训练参数；

分别将所述训练图像输入至所述关键点检测模型中，生成检测预测结果；

基于所述检测预测结果和对应所述关键点信息之间的差异，对所述检测训练参数进行迭代调整，直至差异满足预设要求。

5.根据权利要求1至4任意一项所述的方法，其特征在于，所述对所述关键点位与所述监测部位对应的关键目标点位进行特征对比，并基于所述特征比对的结果确定所述采集图像是否符合目标要求包括：

将所述关键点位的特征与所述监测部位对应的所述关键目标点位的合格阈值进行比对，验证所述采集图像是否符合目标要求，若不符合，则提醒所述采集图像异常；

其中，所述合格阈值设有多个合格档位，不同的所述合格档位对应不同监测要求。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

实时显示所述采集图像、所述采集图像对应的所述监测部位与所述关键点位、所述采集图像对应的验证结果、以及所述结果报告的实时情况。

7.一种鼻咽喉镜监测装置，其特征在于，所述装置包括：

获取模块，用于实时获取鼻咽喉镜的采集图像；

检测模块，用于分别将所述采集图像输入预先训练的图像检索模型和关键点检测模型，经所述图像检索模型输出所述采集图像对应的监测部位，经所述关键点检测模型输出所述采集图像中的关键点位；

特征比对模块，用于对所述关键点位与所述监测部位对应的关键目标点位进行特征对比，并基于所述特征比对的结果确定所述采集图像是否符合目标要求。

8.一种鼻咽喉镜监测系统，其特征在于，所述系统包括：鼻咽喉镜、服务器、服务控制器、原图显示器、输出显示器，所述原图显示器与所述鼻咽喉镜信号连接，所述鼻咽喉镜与所述服务器信号连接，所述服务器经所述服务控制器与所述输出显示器信号连接；

所述服务器用于获取鼻咽喉镜的采集图像，并分别将所述采集图像输入预先训练的图像检索模型和关键点检测模型，经所述图像检索模型输出所述采集图像对应的监测部位，经所述关键点检测模型输出所述采集图像中的关键点位，以及对所述关键点位与所述监测部位对应的关键目标点位进行特征对比，并基于所述特征比对的结果确定所述采集图像是否符合目标要求；

所述原图显示器用于显示所述采集图像，所述输出显示器用于显示基于所述采集图像得到的监测结果，所述监测结果至少包括所述监测部位、所述关键点位以及所述特征比对的结果。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images