CN113288007B - 内窥镜移动时间确定方法、装置和计算机设备 - Google Patents

Abstract

本申请涉及一种内窥图像处理方法、装置、计算机可读存储介质和计算机设备，涉及人工智能的计算机视觉技术，所述方法包括：获取由肠镜拍摄得到的内窥图像；通过部位识别模型对内窥图像进行部位识别，得到部位识别结果；基于部位识别结果，从内窥图像中确定拍摄部位为第一部位的第一内窥图像和拍摄部位为第二部位的第二内窥图像；根据第一内窥图像的时间属性和第二内窥图像的时间属性，确定肠镜的移动时间；根据肠镜的移动时间与移动约束条件的比较结果，得到肠镜对应的移动评估结果。本申请提供的方案可以提高肠镜移动评估结果的确定效率。

Description

内窥镜移动时间确定方法、装置和计算机设备

本申请是于2019年12月06日提交中国专利局，申请号为2019112451550，发明名称为“内窥镜移动时间确定方法、装置和计算机设备”的分案申请，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及计算机技术领域，特别是涉及一种内窥镜移动时间确定方法、装置、计算机可读存储介质和计算机设备。

背景技术

内窥镜是一种常用的医疗器械，由可弯曲部分、光源及一组镜头组成。内窥镜经人体的天然孔道，或者是经手术做的小切口进入人体内。内窥镜使用时将内窥镜导入预检查的器官，可直接窥视有关部位的变化。内窥镜在使用时进入患者体内，权衡患者内窥镜检查的感受和内窥镜观察效果，需要控制内窥镜的移动时间，如肠镜从患者的回盲部移动到肛门的退镜时间。

然而，目前内窥镜的移动时间大多需要使用者在内窥镜操作结束后进行人工回溯统计确定，过程繁杂，导致内窥镜移动时间确定的效率较低。

发明内容

基于此，有必要针对内窥镜移动时间确定的效率较低的技术问题，提供一种内窥镜移动时间确定方法、装置、计算机可读存储介质和计算机设备。

一种内窥镜移动时间确定方法，包括：

获取内窥镜在移动过程中拍摄得到的内窥图像；所述内窥镜在移动时依次经过第一部位和第二部位；

对所述内窥图像进行部位识别，得到部位识别结果；

根据部位识别结果表示第一部位的内窥图像所对应的时间点，确定所述内窥镜的移动时间起点；

根据部位识别结果表示第二部位的内窥图像所对应的时间点，确定所述内窥镜的移动时间终点；

根据所述移动时间起点和所述移动时间终点确定内窥镜移动时间。

一种内窥镜移动时间确定装置，所述装置包括：

内窥图像获取模块，用于获取内窥镜在移动过程中拍摄得到的内窥图像；所述内窥镜在移动时依次经过第一部位和第二部位；

部位识别模块，用于对所述内窥图像进行部位识别，得到部位识别结果；

时间起点确定模块，用于根据部位识别结果表示第一部位的内窥图像所对应的时间点，确定所述内窥镜的移动时间起点；

时间终点确定模块，用于根据部位识别结果表示第二部位的内窥图像所对应的时间点，确定所述内窥镜的移动时间终点；

移动时间确定模块，用于根据所述移动时间起点和所述移动时间终点确定内窥镜移动时间。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上所述内窥镜移动时间确定方法的步骤。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述内窥镜移动时间确定方法的步骤。

上述内窥镜移动时间确定方法、装置、计算机可读存储介质和计算机设备，对内窥镜在依次经过第一部位和第二部位过程中拍摄得到的内窥图像进行部位识别，根据部位识别结果表示第一部位的内窥图像所对应的时间点确定移动时间起点，根据根据部位识别结果表示第二部位的内窥图像所对应的时间点确定移动时间终点，并根据移动时间起点和移动时间终点确定内窥镜移动时间。在内窥镜移动时间确定处理中，直接根据对内窥图像进行部位识别得到的部位识别结果确定移动时间起点和移动时间终点，并进一步得到内窥镜移动时间，不需要人工在内窥镜操作完成后进行人工回溯统计，简化了内窥镜移动时间的确定过程，提高了内窥镜移动时间确定的效率。

附图说明

图1为一个实施例中内窥镜移动时间确定方法的应用环境图；

图2为一个实施例中内窥镜移动时间确定方法的流程示意图；

图3为一个实施例中显示设备展示计时开始提示消息的示意图；

图4为一个实施例中显示设备展示计时结束提示消息的示意图；

图5为一个实施例中确定识别损失的流程示意图；

图6为一个实施例中模型结构的示意图；

图7为一个实施例中确定肠镜的退镜时间的流程示意图；

图8为一个实施例中模型训练的示意图；

图9为一个实施例中内窥镜移动时间确定方法的流程示意图；

图10为一个实施例中内窥镜移动时间确定装置的结构框图；

图11为一个实施例中计算机设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的方案涉及人工智能(Artificial Intelligence,AI)的计算机视觉(Computer Vision,CV)技术。其中，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本申请涉及的计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。本申请提供的内窥镜移动时间确定方法、装置、计算机可读存储介质和计算机设备，通过人工智能的计算机视觉技术对内窥镜在移动过程中拍摄得到的内窥图像进行图像识别，以基于内窥图像对应表示的部位确定内窥镜移动时间，具体通过如下实施例进行说明。

图1为一个实施例中内窥镜移动时间确定方法的应用环境图。(例子：参照图1，该内窥镜移动时间确定方法应用于肠镜系统。该肠镜系统包括肠镜110和服务器120。肠镜110和服务器120通过网络连接。肠镜110具体可以是小肠镜、直肠镜、结肠镜等类型的内窥镜。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。)

如图2所示，在一个实施例中，提供了一种内窥镜移动时间确定方法。本实施例主要以该方法应用于上述图1中的服务器120来举例说明。参照图2，该内窥镜移动时间确定方法具体包括如下步骤：

S202，获取内窥镜在移动过程中拍摄得到的内窥图像；内窥镜在移动时依次经过第一部位和第二部位。

其中，内窥镜是集中了传统光学、人体工程学、精密机械、现代电子、数学、软件等于一体的检测仪器。内窥镜具有图像传感器、光学镜头、光源照明、机械装置等，它可以经口腔进入胃内或经其他天然孔道进入体内。利用内窥镜可以看到X射线不能显示的病变，例如，借助内窥镜医生可以观察胃内的溃疡或肿瘤，据此针对进行治疗。从应用方面，内窥镜包括工业用内窥镜和医用内窥镜。其中，对于医用内窥镜，包括硬管式内镜、光学纤维(软管式)内镜和电子内镜；按其到达部位，可以分为耳鼻喉内窥镜、口腔内窥镜、牙科内窥镜、神经镜、尿道膀胱镜、电切镜、腹腔镜、关节镜、鼻窦镜、喉镜、肠镜等。

医用内窥镜在使用时需要进入体内，会给被观察对象带去痛苦，需要尽可能加快内窥镜的移动操作时间；但为保证内窥镜的观察效果，需要尽可能观察更长时间而增加内窥镜的移动操作时间。为了平衡二者，在医用内窥镜的使用中一般会对内窥镜的移动操作时间进行规范要求，以确保观察效果，降低病变漏检概率。内窥图像通过内窥镜在移动过程中拍摄得到。内窥镜设置有摄像头，在进入观察对象内部后通过拍摄图像以由外界对被观察对象内部进行观察，如通过工业用内窥镜拍摄的内窥图像观察被观察对象的内部结构，又如通过胃镜拍摄的内窥图像观察被观察对象胃部的情况。在具体应用时，内窥镜拍摄得到的为视频流，从该视频流中可以提取得到各帧内窥图像。

第一部位和第二部位根据需要确定移动时间的内窥镜的类型和操作阶段确定。不同的内窥镜对应于不同的第一部位和第二部位，例如对于胃镜和耳鼻喉内窥镜，观察部位并不相同，确定内窥镜移动时间对应的第一部位和第二部位也不同；内窥镜不同的操作阶段也对应于不同的第一部位和第二部位，如对于肠镜，其在移动过程中观察的部位包括回肠末段、回盲瓣、阑尾隐窝、升结肠、肝曲、横结肠、脾曲、降结肠、乙状结肠及直肠等，则不同操作阶段的移动时间对应于不同的操作阶段。其中，医用内窥镜中的肠镜为长条形，头部附带超声扫描探头，一般做肠镜指由内镜医生将探头通过肛门插入患者体内，最深一直到到回盲部后开始回退，医生在退镜过程中观察结直肠是否有病变，通过窥探患者体内结直肠的清晰影像，可直接观察结直肠管壁结构改变，对消化道早期肿瘤及胆管、胰腺疾病的诊断具有重要作用。具体应用中，肠镜从回盲部回到肛门处的整体耗时即为退镜时长，确保一定的退镜时长可以有效提高肠镜的观察效果，提高肠镜检查质量。在具体实现时，若内窥镜为肠镜，第一部位为回盲部，第二部位为肛门，即可以确定肠镜在依次经过肠镜和肛门的移动时间，即得到肠镜的退镜时长。

在一具体应用中，获取内窥镜的摄像头在从第一部位到第二部位的移动过程中拍摄得到的视频流，并从视频流中依次提取内窥图像。

S204，对内窥图像进行部位识别，得到部位识别结果。

内窥镜在移动过程中，摄像头拍摄得到的内窥图像可能包括不同的部位，对内窥图像进行部位识别，以确定内窥图像拍摄的部位，得到部位识别结果。例如，对喉镜拍摄的内窥图像进行部位识别，以确定各内窥图像拍摄的喉部具体部位，得到部位识别结果。

S206，根据部位识别结果表示第一部位的内窥图像所对应的时间点，确定内窥镜的移动时间起点。

部位识别结果反映了内窥图像所拍摄的部位，具体地，部位识别结果可以包括内窥图像拍摄所拍摄部位的部位名称或部位编号。时间点为内窥图像的时间属性，可以根据内窥图像在视频流中的时间戳确定，也可以根据触发的时间标记确定，如触发计时器进行计时得到的时间作为内窥图像所对应的时间点。具体地，基于部位识别结果中部位识别结果表示第一部位的内窥图像所对应的时间点，确定内窥镜经过第一部位的移动时间起点。内窥镜的移动时间起点为进行移动时间的起始时间，例如，对于肠镜的退镜时长确定处理，第一部位为回盲部，移动时间起点即为部位识别结果表示回盲部所对应内窥图像的时间点。

S208，根据部位识别结果表示第二部位的内窥图像所对应的时间点，确定内窥镜的移动时间终点。

内窥镜在移动时依次经过第一部位和第二部位，在确定内窥镜经过第二部位对应的移动时间终点时，根据部位识别结果表示第二部位的内窥图像所对应的时间点，确定内窥镜的移动时间终点。移动时间终点为内窥镜在依次经过第一部位和第二部位时，移动到第二部位的时间点。例如，对于肠镜的退镜时长确定处理，第二部位为肛门，移动时间终点即为部位识别结果表示肛门所对应内窥图像的时间点。

S210，根据移动时间起点和移动时间终点确定内窥镜移动时间。

得到的内窥镜在移动过程中的移动时间起点和移动时间终点后，根据该移动时间起点和移动时间终点得到内窥镜移动时间。具体可以直接根据移动时间起点和移动时间终点之间的时间跨度确定内窥镜移动时间。

上述内窥镜移动时间确定方法，对内窥镜在依次经过第一部位和第二部位过程中拍摄得到的内窥图像进行部位识别，根据部位识别结果表示第一部位的内窥图像所对应的时间点确定移动时间起点，根据根据部位识别结果表示第二部位的内窥图像所对应的时间点确定移动时间终点，并根据移动时间起点和移动时间终点确定内窥镜移动时间。在内窥镜移动时间确定处理中，直接根据对内窥图像进行部位识别得到的部位识别结果确定移动时间起点和移动时间终点，并进一步得到内窥镜移动时间，不需要人工在内窥镜操作完成后进行人工回溯统计，简化了内窥镜移动时间的确定过程，提高了内窥镜移动时间确定的效率。

在一个实施例中，获取内窥镜在移动过程中拍摄得到的内窥图像包括：从内窥镜在移动过程中拍摄得到的视频流中依次提取内窥图像。

具体地，获取内窥镜在移动过程中拍摄得到的视频流，并从该视频流中依次提取内窥图像。具体应用时，可以获取内窥镜在移动过程中即时拍摄得到的视频流，并实时从视频流中依次提取内窥图像进行内窥镜移动时间确定的处理，从而提高内窥镜移动时间确定的实时性。

进一步地，对内窥图像进行部位识别，得到部位识别结果包括：依次将提取的内窥图像输入至部位识别模型；获取部位识别模型处理输入的内窥图像后依次输出的部位识别结果。

本实施例中，基于部位识别模型对内窥图像进行部位识别，部位识别模型可以为机器学习模型，如决策树(Decision Tree，DT)模型、支持向量机(Support VectorMachine，SVM)模型或人工神经网络(Artificial Neural Network，ANN)模型等。其中，人工神经网络是模拟人类大脑处理信息的生物神经网络所产生出来的一种计算模型，其主要用于机器学习的研究与调用，例如语音识别、计算机图像处理等。

具体地，得到内窥镜拍摄得到的内窥图像后，依次将提取的内窥图像输入至部位识别模型，从而可以通过部位识别模型对内窥镜即时拍摄的视频流进行实时部位识别处理，得到部位识别模型处理输入的内窥图像后依次输出的部位识别结果。在具体实现时，部位识别模型可以预先根据携带有部位标签的内窥训练图像得到，内窥训练图像可以根据内窥镜拍摄的历史视频流中提取的内窥图像进行标注后得到。

在一个实施例中，根据部位识别结果表示第一部位的内窥图像所对应的时间点，确定内窥镜的移动时间起点包括：根据部位识别结果表示第一部位的内窥图像确定第一内窥图像；确定第一内窥图像对应的时间点；将第一内窥图像对应的时间点作为内窥镜的移动时间起点。

本实施例中，根据部位识别结果表示第一部位的内窥图像确定的第一内窥图像对应的时间点确定内窥镜的移动时间起点。具体地，得到内窥图像的部位识别结果后，根据部位识别结果表示第一部位的内窥图像确定第一内窥图像。在具体应用中，若实时对内窥镜拍摄的视频流中提取的内窥图像进行部位识别，可以对内窥图像的部位识别结果进行分析，确定为表示第一部位时，将该内窥图像确定为第一内窥图像。若对存储的内窥镜拍摄的非实时的视频流中提取的内窥图像进行部位识别，确定内窥镜移动时间时，也可以根据部位识别结果表示第一部位的内窥图像确定第一内窥图像，如根据部位识别结果表示第一部位的各内窥图像分别对应的时间点确定第一内窥图像，如内窥镜的在移动时依次经过第一部位和第二部位且需要确定内窥镜经过第一部位和第二部位的移动时间时，将部位识别结果表示第一部位的各内窥图像中时间点最早的内窥图像作为第一内窥图像。

从部位识别结果表示第一部位的内窥图像中确定拍摄到第一部位的第一内窥图像后，确定该第一内窥图像对应的时间点。具体地，可以根据第一内窥图像在视频流中的时间戳，确定该第一内窥图像对应的时间点。对于内窥镜即时拍摄的视频流中依次提取的内窥图像，在进行实时处理时，还可以通过计时器确定第一内窥图像对应的时间点，如在得到第一内窥图像时，获取计时器对应的时间，并将该计时器对应的时间作为第一内窥图像对应的时间点。其中，计时器可以在内窥镜进行移动作业时启动计时；也可以在确定第一内窥图像时启动计时，此时，第一内窥图像对应的时间点即为时间原点。得到第一内窥图像对应的时间点后，将该第一内窥图像对应的时间点作为内窥镜的移动时间起点。内窥镜在移动时依次经过第一部位和第二部位，确定内窥镜依次经过第一部位和第二部位的移动时间时，将拍摄到第一部位的第一内窥图像对应的时间点作为内窥镜的移动时间起点。

在一个实施例中，根据部位识别结果表示第一部位的内窥图像确定第一内窥图像包括：将部位识别结果表示第一部位的内窥图像中拍摄时间最早的内窥图像作为第一内窥图像；或根据连续至少两帧的部位识别结果表示第一部位的内窥图像确定第一内窥图像。

本实施例中，根据预设的第一内窥图像确定方式从部位识别结果表示第一部位的内窥图像中确定第一内窥图像。具体地，对内窥镜即时拍摄得到的内窥图像实时进行部位识别，得到内窥图像的部位识别结果后，将部位识别结果表示第一部位的内窥图像中拍摄时间最早的内窥图像作为第一内窥图像，具体可以将首次得到部位识别结果表示第一部位的内窥图像作为第一内窥图像。首次得到部位识别结果表示第一部位的内窥图像，即表明内窥镜拍摄的内窥图像包括了第一部位，即内窥镜已经移动到第一部位，可以确定移动时间起点，则将部位识别结果表示第一部位且拍摄时间最早的内窥图像直接作为第一内窥图像，并根据该第一内窥图像对应的时间点确定内窥镜的移动时间起点。

此外，对内窥镜即时拍摄得到的内窥图像实时进行部位识别，得到内窥图像的部位识别结果后，还可以根据连续至少两帧的部位识别结果表示第一部位的内窥图像确定第一内窥图像。部位识别结果表示第一部位的内窥图像中拍摄时间最早的内窥图像，可能是内窥镜已经移动到第一部位，也可能是部位识别结果有误，则结合连续多帧内窥图像的部位识别结果确定第一内窥图像。对内窥镜即时拍摄得到的内窥图像实时进行部位识别，得到内窥图像的部位识别结果后，若连续至少两帧内窥图像的部位识别结果均表示第一部位，则根据该连续至少两帧的内窥图像确定第一内窥图像。具体实现时，可以从该连续至少两帧的内窥图像中确定一帧内窥图像作为第一内窥图像，如将该连续至少两帧的内窥图像中的第一帧内窥图像作为第一内窥图像，或将该连续至少两帧的内窥图像中的最后一帧内窥图像作为第一内窥图像，还可以将该连续至少两帧的内窥图像中的中间帧内窥图像作为第一内窥图像。

在一个实施例中，根据部位识别结果表示第二部位的内窥图像所对应的时间点，确定内窥镜的移动时间终点包括：根据部位识别结果表示第二部位的内窥图像确定第二内窥图像；确定第二内窥图像对应的时间点；将第二内窥图像对应的时间点作为内窥镜的移动时间终点。

本实施例中，根据部位识别结果表示第二部位的内窥图像确定的第二内窥图像对应的时间点确定内窥镜的移动时间终点。具体地，得到内窥图像的部位识别结果后，根据部位识别结果表示第二部位的内窥图像确定第二内窥图像。在具体应用中，若实时对内窥镜拍摄的视频流中提取的内窥图像进行部位识别，可以对内窥图像的部位识别结果进行分析，确定为表示第二部位时，将该内窥图像确定为第二内窥图像。若对存储的内窥镜拍摄的非实时的视频流中提取的内窥图像进行部位识别，确定内窥镜移动时间时，也可以根据部位识别结果表示第二部位的内窥图像确定第二内窥图像，如根据部位识别结果表示第二部位的各内窥图像分别对应的时间点确定第二内窥图像，具体如内窥镜的在移动时依次经过第一部位和第二部位且需要确定内窥镜经过第一部位和第二部位的移动时间时，将部位识别结果表示第二部位的各内窥图像中时间点最早的内窥图像作为第二内窥图像。

从部位识别结果表示第二部位的内窥图像中确定拍摄到第二部位的第二内窥图像后，确定该第二内窥图像对应的时间点。具体地，可以根据第二内窥图像在视频流中的时间戳，确定该第二内窥图像对应的时间点。对于内窥镜即时拍摄的视频流中依次提取的内窥图像，在进行实时处理时，还可以通过计时器确定第二内窥图像对应的时间点，如在得到第二内窥图像时，获取计时器对应的时间，并将该计时器对应的时间作为第二内窥图像对应的时间点。其中，计时器可以在内窥镜进行移动作业时启动计时，在确定第二内窥图像时结束计时，以根据计时器的计时时间确定第二内窥图像对应的时间点。得到第二内窥图像对应的时间点后，将该第二内窥图像对应的时间点作为内窥镜的移动时间终点。内窥镜在移动时依次经过第一部位和第二部位，确定内窥镜依次经过第一部位和第二部位的移动时间时，将拍摄到第二部位的第二内窥图像对应的时间点作为内窥镜的移动时间终点。

在一个实施例中，根据部位识别结果表示第二部位的内窥图像确定第二内窥图像包括：将部位识别结果表示第二部位的内窥图像中拍摄时间最早的内窥图像作为第一内窥图像；或根据连续至少两帧的部位识别结果表示第二部位的内窥图像确定第二内窥图像。

本实施例中，根据预设的第二内窥图像确定方式从部位识别结果表示第二部位的内窥图像中确定第二内窥图像。具体地，对内窥镜即时拍摄得到的内窥图像实时进行部位识别，得到内窥图像的部位识别结果后，将部位识别结果表示第二部位的内窥图像中拍摄时间最早的内窥图像作为第二内窥图像，具体可以将首次得到部位识别结果表示第二部位的内窥图像作为第二内窥图像。首次得到部位识别结果表示第二部位的内窥图像，即表明内窥镜拍摄的内窥图像包括了第二部位，即内窥镜已经移动到第二部位，可以确定移动时间终点，则将部位识别结果表示第二部位且拍摄时间最早的内窥图像直接作为第二内窥图像，并根据该第二内窥图像对应的时间点确定内窥镜的移动时间终点。

此外，对内窥镜即时拍摄得到的内窥图像实时进行部位识别，得到内窥图像的部位识别结果后，还可以根据连续至少两帧的部位识别结果表示第二部位的内窥图像确定第二内窥图像。部位识别结果表示第二部位的内窥图像中拍摄时间最早的内窥图像，可能是内窥镜已经移动到第二部位，也可能是部位识别结果有误，则结合连续多帧内窥图像的部位识别结果确定第二内窥图像。对内窥镜即时拍摄得到的内窥图像实时进行部位识别，得到内窥图像的部位识别结果后，若连续至少两帧内窥图像的部位识别结果均表示第二部位，则根据该连续至少两帧的内窥图像确定第二内窥图像。具体实现时，可以从该连续至少两帧的内窥图像中确定一帧内窥图像作为第二内窥图像，如将该连续至少两帧的内窥图像中的第一帧内窥图像作为第二内窥图像，或将该连续至少两帧的内窥图像中的最后一帧内窥图像作为第二内窥图像，还可以将该连续至少两帧的内窥图像中的中间帧内窥图像作为第二内窥图像。

在一个实施例中，在根据部位识别结果表示第一部位的内窥图像所对应的时间点，确定内窥镜的移动时间起点之后，还包括：生成计时开始提示消息；在根据部位识别结果表示第二部位的内窥图像所对应的时间点，确定内窥镜的移动时间终点之后，还包括：生成计时结束提示消息。

本实施例中，在确定内窥镜的移动时间起点和移动时间终点后，还可以分别生成对应的计时提示消息，如移动时间起点对应的计时开始提示消息和移动时间终点对应的计时结束提示消息。

具体地，在确定内窥镜的移动时间起点之后，生成计时开始提示消息，计时开始提示消息用于提示医生已经开始计时，计时开始提示消息还可以包括移动时间起点。例如，在基于内窥镜即时拍摄的视频流进行内窥镜移动时间确定时，可以通过扬声器播放生成的计时开始提示消息并进行计时，还可以在显示设备中展示该计时开始提示消息。如图3所示，为一个具体肠镜应用中，通过显示设备展示计时开始提示消息的示意图。

在确定内窥镜的移动时间终点之后，生成计时结束提示消息，生成计时结束提示消息用于提示医生已经结束计时，生成计时结束提示消息，计时结束提示消息可以包括移动时间终点，还可以包括根据移动时间起点和移动时间终点确定的内窥镜移动时间。计时结束提示消息可以通过扬声器进行播放，也可以在显示设备中进行展示。如图4所示，为一个具体肠镜应用中，通过显示设备展示计时结束提示消息的示意图。

在一个实施例中，根据移动时间起点和移动时间终点确定内窥镜移动时间包括：确定移动时间起点和移动时间终点之间的时间差；根据时间差得到内窥镜在移动时经过第一部位和第二部位的内窥镜移动时间。

本实施例中，根据移动时间起点和移动时间终点之间的时间差确定内窥镜移动时间。具体地，得到移动时间起点和移动时间终点后，确定移动时间起点和移动时间终点之间的时间差，如可以将移动时间终点和移动时间起点进行求差，得到移动时间起点和移动时间终点之间的时间差，并根据时间差得到内窥镜在移动时经过第一部位和第二部位的内窥镜移动时间，如可以直接将移动时间起点和移动时间终点之间的时间差作为内窥镜在移动时经过第一部位和第二部位的内窥镜移动时间。例如，对于肠镜应用，内窥镜移动时间为退镜时间时，移动时间起点对应于内窥镜移动到回盲部的时间，移动时间终点对应于内窥镜移动到肛门的时间，根据移动时间起点和移动时间终点之间的时间差可以确定肠镜的退镜时间。

在一个实施例中，内窥镜移动时间确定方法还包括：查询预设的内窥镜移动约束条件；根据内窥镜移动时间与内窥镜移动约束条件的比较结果，得到内窥镜移动评估结果。

本实施例中，对得到的内窥镜移动时间进行评估，从而确定当次医生内窥镜操作的质量。具体地，得到内窥镜移动时间后，查询预设的内窥镜移动约束条件。内窥镜移动约束条件包括对内窥镜移动时间约束，例如肠镜中对退镜时间的约束条件，如退镜时间不可短于6分钟或退镜时间不可短于8分钟。不同内窥镜的移动约束条件不同，具体根据各内窥镜的实际需求进行灵活设置。比较得到的内窥镜移动时间与内窥镜移动约束条件，从而利用预设的内窥镜移动约束条件对内窥镜移动时间进行评估，确定当次内窥镜操作的质量，具体根据比较结果得到内窥镜移动评估结果。内窥镜移动评估结果可以作为内窥镜操作评价的指标，以评价当次内窥镜操作的质量，从而确保内窥镜移动时间满足预设的内窥镜操作规范，提高医疗服务质量。

在一个实施例中，部位识别模型的训练步骤包括：获取携带部位标签的内窥训练图像；通过待训练的部位识别模型对内窥训练图像进行部位识别，得到内窥训练图像对应所属的部位识别训练结果；根据部位识别训练结果与内窥训练图像携带的部位标签之间的差异确定识别损失；根据识别损失调整待训练的部位识别模型后继续训练，直至满足训练结束条件时结束训练，得到训练完成的部位识别模型。

本实施例中，部位识别模型为基于人工神经网络算法训练得到人工神经网络模型。在训练部位识别模型时，获取携带部位标签的内窥训练图像，携带部位标签的内窥训练图像作为模型训练样本数据，内窥训练图像可以根据内窥镜拍摄的历史视频流中提取的内窥图像进行标注后得到。通过待训练的部位识别模型对内窥训练图像进行部位识别，通过待训练的部位识别模型对内窥训练图像进行部位识别。在一具体应用中，部位识别模型可以为DenseNet深度卷积网络模型，具体可以为DenseNet-121模型。根据待训练的部位识别模型输出的部位识别训练结果与对应输入的内窥训练图像携带的部位标签之间的差异确定识别损失。识别损失可以包括分类交叉熵损失、L2正则和中心损失(Center loss)，对于包括数据增强处理后内窥增强图像的内窥训练图像，识别损失还可以包括内窥原始图像与对应内窥原始图像之间的一致性约束。确定识别损失后，根据该识别损失调整待训练的部位识别模型后继续训练，直至满足训练结束条件时结束训练，如识别损失满足收敛条件时结束训练，得到训练完成的部位识别模型。训练完成的部位识别模型可以根据输入的内窥图像进行部位识别，输出该内窥图像的部位识别结果，根据该部位识别结果可以确定该内窥图像对应表示的部位。

在一个实施例中，在获取携带部位标签的内窥训练图像之前，还包括：获取携带部位标签的内窥原始图像；对内窥原始图像进行数据增强处理，得到内窥原始图像对应的携带部位标签的内窥增强图像；根据内窥原始图像和内窥增强图像得到内窥训练图像。

本实施例中，通过对携带部位标签的内窥原始图像进行数据增强，以实现对模型训练样本数据的扩充，提高模型训练的效率，改善训练得到的模型的泛化能力。

具体地，获取携带部位标签的内窥原始图像，内窥原始图像根据内窥镜拍摄的历史视频流中直接提取的内窥图像进行标注后得到。对内窥原始图像进行数据增强处理，如进行随机剪裁，随机旋转，亮度、颜色、对比度随机抖动等数据增强处理，得到内窥原始图像对应的携带部位标签的内窥增强图像，内窥增强图像的部位标签与对应的内窥原始图像的部位标签相同。其中，随机剪裁是在内窥原始图像中随机选取固定大小的图像块(patch)，作为模型的内窥增强图像。随机旋转是对内窥原始图像做随机角度的旋转变换。亮度、颜色、对比度随机抖动是指在内窥原始图像中，随机改变图像的颜色、亮度、对比度值。通过对内窥原始图像进行数据增强处理，可以有效扩充模型样本数据的规模，从而提高模型训练效率和效果。对内窥原始图像进行数据增强处理得到对应的携带部位标签的内窥增强图像后，根据根据内窥原始图像和内窥增强图像得到内窥训练图像，内窥训练图像作为内窥训练图像的模型训练样本数据。

在一个实施例中，如图5所示，确定识别损失的步骤，即根据部位识别训练结果与内窥训练图像携带的部位标签之间的差异确定识别损失包括：

S502，根据部位识别训练结果和部位标签之间的分类交叉熵得到第一识别损失。

本实施例中，通过分类交叉熵、一致性约束和一致性约束确定部位识别模型的识别损失。其中，分类交叉熵用来衡量部位识别训练结果和部位标签的差别，具体可以通过部位识别训练结果和部位标签计算得到，并将分类交叉熵作为第一识别损失。

S504，根据内窥训练图像中内窥增强图像与内窥原始图像之间识别特征的差异得到第二识别损失；识别特征从待训练的部位识别模型中获得。

在内窥训练图像包括数据增强处理后内窥增强图像时，考虑到通过不同变换的同一张图片，模型所抽取到的特征应该很接近，引入一致性约束。一致性约束具体通过内窥训练图像中内窥增强图像与内窥原始图像之间识别特征的差异得到，并将该一致性约束作为部位识别模型的第二识别损失。通过第二识别损失可以降低内窥增强图像和对应内窥原始图像之间的识别差异。其中，识别特征从待训练的部位识别模型中获得，如对于DenseNet模型，识别特征可以根据部位识别模型中最后分类层softmax层的输入得到。

S506，根据内窥训练图像的中心损失得到第三识别损失。

内窥训练图像的中心损失可以根据内窥训练图像的特征向量与该内窥训练图像对应部位类别的中心特征向量确定。其中，内窥训练图像的特征向量可以在部位识别模型输出部位识别训练结果后，从该部位识别模型中提取得到；内窥训练图像对应部位类别的中心特征向量可以根据不同部位类别对应的特征中心确定。根据内窥训练图像的中心损失得到第三识别损失，第三识别损失可以使部位识别模型对每个部位类别学习的特征更加稳定和内聚，从而提升部位识别模型在真实环境中的泛化能力。

S508，根据第一识别损失、第二识别损失和第三识别损失确定识别损失。

根据得到的第一识别损失、第二识别损失和第三识别损失确定识别损失，具体可以综合第一识别损失、第二识别损失和第三识别损失得到识别损失。此外，还可以进一步引入L2正则确定识别损失，以防止模型过拟合，确保模型训练效果。

在一个实施例中，提供了一种内窥镜移动时间确定方法，该方法基于预先训练的部位识别模型实现。其中，部位识别模型采用DenseNet-121模型结构，该结构包含4个密集块(dense Block)，模型增长速度(growth-rate)设置为24，转换层(transition layer)特征压缩比设置为0.5，模型具体结构如图6所示。部位识别模型包括依次连接的卷积层(Convolution)、池化层(Pooling)、第一转换层、第一密集块、第二转换层、第二密集块、第三密集块、第三转换层、第四密集块和分类层(Classification Layer)，各层结构的输出尺寸(Output Size)及模型结构如图6所示。

本实施例中，内窥镜为肠镜，内窥镜移动时间确定方法用于确定肠镜的退镜时间。部位识别模型的输入为肠镜拍摄的白光RGB内窥图像，输出为输入内窥图像的部位，即器官类别，包括回盲部、肛门和其他。如图7所示，为利用部位识别模型确定肠镜的退镜时间时的流程示意图。输入的内窥图像经过卷积层处理后，由DenseNet-121模型的各层结构依次进行处理，最终通过线型分类层(Linear)输出部位识别结果，具体可以为回盲部、肛门或其他。本实例中，通过DenseNet-121模型对肠镜拍摄的内窥图像进行部位识别，可以满足内窥图像部位识别的任务复杂度，如有些类别形态和颜色上极为相似，类别鉴别需联合低纬度颜色、纹理特征及高纬度抽象语义特征，如整体粘膜的色调、光滑度等，能够得到准确的部位识别结果。

进一步地，在训练该部位识别模型时，考虑到肠镜拍摄的内窥图像因采集的环境、采集的设备和使用者拍摄习惯的差异，导致同一个器官的图像表观上千差万别，不同器官局部表现非常相似。而标注数据也有限(万级别)，且不同类别分布及数据量差异较大。

为保证采用上述DenseNet-121模型能够提取到足够鲁棒的特征，在训练时，采用丰富多样化的数据增强技术，具体可以对内窥原始图像进行数据增强处理，内窥原始图像根据内窥镜拍摄的历史视频流中直接提取的内窥图像进行标注后得到，具体如随机剪裁，随机旋转，亮度、颜色、对比度随机抖动等数据增强处理，得到内窥原始图像对应的携带部位标签的内窥增强图像，内窥增强图像的部位标签与对应的内窥原始图像的部位标签相同。其中，随机剪裁是在内窥原始图像中随机选取固定大小的图像块(patch)，作为模型的内窥增强图像。随机旋转是对内窥原始图像做随机角度的旋转变换。亮度、颜色、对比度随机抖动是指在内窥原始图像中，随机改变图像的颜色、亮度、对比度值。如图8所示，为一个实施例中，对内窥原始图像进行数据增强处理后利用内窥原始图像和内窥增强图像得到内窥训练图像进行模型训练的处理示意图。图8中，内窥原始图像分别经过旋转和颜色变换处理，并结合内窥原始图像本身进行模型训练。通过对内窥原始图像进行数据增强处理，可以有效扩充模型样本数据的规模，从而提高模型训练效率和效果。

在模型泛化能力方面，损失函数设计时，除了分类交叉熵损失及L2正则外，考虑到通过不同变换的同一张图片，部位识别模型所抽取到的特征应该很接近，引入一致性约束，一致性约束具体通过内窥训练图像中内窥增强图像与内窥原始图像之间识别特征的差异得到，并将该一致性约束作为部位识别模型的第二识别损失。通过第二识别损失可以降低内窥增强图像和对应内窥原始图像之间的识别差异。具体地，本实施例中分类交叉熵、L2正则和一致性约束如式(1)示，

其中，L(w)为定义的第一代价函数，w为部位识别模型的参数；n为训练样本的数量，即内窥训练图像的数量；w为模型参数；x_i为输入的内窥训练图像，即内窥训练图像的像素矩阵，y_i为输入的内窥训练图像携带的部位标签；r为超参，取大于0的数值，用于表征权重；m为数据增强处理的数量；h₀表示输入的内窥原始图像经过部位识别模型softmax前一层抽取到的特征向量，h_k表示内窥原始图像经某种变换(如随机旋转、随机颜色抖动等)后产生的内窥增强图像经过部位识别模型softmax前一层抽取到的特征向量；λ为超参，取大于0的数值，用于表征权重；y_i log f(x_i；w)为分类交叉熵，

为参数L2正则，

为一致性约束。

进一步地，为保证模型针对每个部位类别学习的特征更加稳定和内聚，在目标函数中引入中心损失Center Loss，进一步提升模型在真实环境中的泛化能力。中心损失如式(2)示，

其中，Cy_i为内窥训练图像对应部位类别的中心特征向量。

基于第一代价函数和中心损失构建部位识别模型的损失函数以确定模型的识别损失，通过该识别损失调整部位识别模型的参数进行训练，可以提高模型训练效率，提高模型训练效率，确保模型的泛化能力，提高模型的部位识别准确度。

在一个实施例中，如图9所示，提供了一种内窥镜移动时间确定方法，包括：

S901，从内窥镜在移动过程中拍摄得到的视频流中依次提取内窥图像；

S902，依次将提取的内窥图像输入至部位识别模型；

S903，获取部位识别模型处理输入的内窥图像后依次输出的部位识别结果。

本实施例中，针对内窥镜即时拍摄的视频流提取内窥图像，实时通过部位识别模型进行部位识别，得到部位识别结果。

S904，将部位识别结果表示第一部位的内窥图像中拍摄时间最早的内窥图像作为第一内窥图像；

S905，确定第一内窥图像对应的时间点；

S906，将第一内窥图像对应的时间点作为内窥镜的移动时间起点，并生成计时开始提示消息；

S907，将部位识别结果表示第二部位的内窥图像中拍摄时间最早的内窥图像作为第二内窥图像；

S908，确定第二内窥图像对应的时间点；

S909，将第二内窥图像对应的时间点作为内窥镜的移动时间终点，并生成计时结束提示消息。

本实施例中，当检测到部位识别结果表示第一部位的内窥图像时，确定为第一内窥图像，并将该第一内窥图像对应的时间点作为内窥镜的移动时间起点，并生成计时开始提示消息，以提示内窥镜的操作者已经开始计时；当检测到部位识别结果表示第二部位的内窥图像时，确定为第二内窥图像，并将该第二内窥图像对应的时间点作为内窥镜的移动时间终点，并生成计时结束提示消息，以提示操作者计时结束。

S910，确定移动时间起点和移动时间终点之间的时间差；

S911，根据时间差得到内窥镜在移动时经过第一部位和第二部位的内窥镜移动时间；

S912，查询预设的内窥镜移动约束条件；

S913，根据内窥镜移动时间与内窥镜移动约束条件的比较结果，得到内窥镜移动评估结果。

直接根据移动时间起点和移动时间终点之间的时间跨度确定内窥镜移动时间。并通过预设的内窥镜移动约束条件对得到的内窥镜移动时间进行评估，从而确定当次医生的内窥镜操作的质量。

图9为一个实施例中内窥镜移动时间确定方法的流程示意图。应该理解的是，虽然图9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图9中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

如图10所示，在一个实施例中，提供了一种内窥镜移动时间确定装置1000，包括：

内窥图像获取模块1002，用于获取内窥镜在移动过程中拍摄得到的内窥图像；内窥镜在移动时依次经过第一部位和第二部位；

部位识别模块1004，用于对内窥图像进行部位识别，得到部位识别结果；

时间起点确定模块1006，用于根据部位识别结果表示第一部位的内窥图像所对应的时间点，确定内窥镜的移动时间起点；

时间终点确定模块1008，用于根据部位识别结果表示第二部位的内窥图像所对应的时间点，确定内窥镜的移动时间终点；

移动时间确定模块1010，用于根据移动时间起点和移动时间终点确定内窥镜移动时间。

在一个实施例中，内窥图像获取模块1002包括视频流处理模块，用于从内窥镜在移动过程中拍摄得到的视频流中依次提取内窥图像；部位识别模块1004包括模型输入模块和识别结果获取模块；其中：模型输入模块，用于依次将提取的内窥图像输入至部位识别模型；识别结果获取模块，用于获取部位识别模型处理输入的内窥图像后依次输出的部位识别结果。

在一个实施例中，时间起点确定模块1006包括第一内窥图像模块、第一时间点模块和移动时间起点模块；其中：第一内窥图像模块，用于根据部位识别结果表示第一部位的内窥图像确定第一内窥图像；第一时间点模块，用于确定第一内窥图像对应的时间点；移动时间起点模块，用于将第一内窥图像对应的时间点作为内窥镜的移动时间起点。

在一个实施例中，第一内窥图像模块还用于将部位识别结果表示第一部位的内窥图像中拍摄时间最早的内窥图像作为第一内窥图像；或根据连续至少两帧的部位识别结果表示第一部位的内窥图像确定第一内窥图像。

在一个实施例中，时间终点确定模块1008包括第二内窥图像模块、第二时间点模块和移动时间终点模块；其中：第二内窥图像模块，用于根据部位识别结果表示第二部位的内窥图像确定第二内窥图像；第二时间点模块，用于确定第二内窥图像对应的时间点；移动时间终点模块，用于将第二内窥图像对应的时间点作为内窥镜的移动时间终点。

在一个实施例中，第二内窥图像模块还用于将部位识别结果表示第二部位的内窥图像中拍摄时间最早的内窥图像作为第二内窥图像；或根据连续至少两帧的部位识别结果表示第二部位的内窥图像确定第二内窥图像。

在一个实施例中，还包括计时开始提示模块和计时结束提示模块；其中：计时开始提示模块，用于生成计时开始提示消息；计时结束提示模块，用于生成计时结束提示消息。

在一个实施例中，移动时间确定模块1010包括时间差确定模块和移动时间模块；其中：时间差确定模块，用于确定移动时间起点和移动时间终点之间的时间差；移动时间模块，用于根据时间差得到内窥镜在移动时经过第一部位和第二部位的内窥镜移动时间。

在一个实施例中，还包括约束条件模块和评估结果获得模块；其中：约束条件模块，用于查询预设的内窥镜移动约束条件；评估结果获得模块，用于根据内窥镜移动时间与内窥镜移动约束条件的比较结果，得到内窥镜移动评估结果。

在一个实施例中，还包括训练图像获取模块、训练识别模块和识别损失确定模块；其中：训练图像获取模块，用于获取携带部位标签的内窥训练图像；训练识别模块，用于通过待训练的部位识别模型对内窥训练图像进行部位识别，得到内窥训练图像对应所属的部位识别训练结果；识别损失确定模块，用于根据部位识别训练结果与内窥训练图像携带的部位标签之间的差异确定识别损失；根据识别损失调整待训练的部位识别模型后继续训练，直至满足训练结束条件时结束训练，得到训练完成的部位识别模型。

在一个实施例中，还包括原始图像获取模块、增强处理模块和训练图像获得模块；其中：原始图像获取模块，用于获取携带部位标签的内窥原始图像；增强处理模块，用于对内窥原始图像进行数据增强处理，得到内窥原始图像对应的携带部位标签的内窥增强图像；训练图像获得模块，用于根据内窥原始图像和内窥增强图像得到内窥训练图像。

在一个实施例中，识别损失确定模块包括第一识别损失模块、第二识别损失模块、第三识别损失模块和识别损失模块；其中：第一识别损失模块，用于根据部位识别训练结果和部位标签之间的分类交叉熵得到第一识别损失；第二识别损失模块，用于根据内窥训练图像中内窥增强图像与内窥原始图像之间识别特征的差异得到第二识别损失；识别特征从待训练的部位识别模型中获得；第三识别损失模块，用于根据内窥训练图像的中心损失得到第三识别损失；识别损失模块，用于根据第一识别损失、第二识别损失和第三识别损失确定识别损失。

图11示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的服务器120。如图11所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现内窥镜移动时间确定方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行内窥镜移动时间确定方法。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的内窥镜移动时间确定装置可以实现为一种计算机程序的形式，计算机程序可在如图11所示的计算机设备上运行。计算机设备的存储器中可存储组成该内窥镜移动时间确定装置的各个程序模块，比如，图10所示的内窥图像获取模块1002、部位识别模块1004、时间起点确定模块1006、时间终点确定模块1008和移动时间确定模块1010。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的内窥镜移动时间确定方法中的步骤。

例如，图11所示的计算机设备可以通过如图10所示的内窥镜移动时间确定装置中的内窥图像获取模块1002执行获取内窥镜在移动过程中拍摄得到的内窥图像；内窥镜在移动时依次经过第一部位和第二部位。计算机设备可通过部位识别模块1004执行对内窥图像进行部位识别，得到部位识别结果。计算机设备可通过时间起点确定模块1006执行根据部位识别结果表示第一部位的内窥图像所对应的时间点，确定内窥镜的移动时间起点。计算机设备可通过时间终点确定模块1008执行根据部位识别结果表示第二部位的内窥图像所对应的时间点，确定内窥镜的移动时间终点。计算机设备可通过移动时间确定模块1010执行根据移动时间起点和移动时间终点确定内窥镜移动时间。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述内窥镜移动时间确定方法的步骤。此处内窥镜移动时间确定方法的步骤可以是上述各个实施例的内窥镜移动时间确定方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述内窥镜移动时间确定方法的步骤。此处内窥镜移动时间确定方法的步骤可以是上述各个实施例的内窥镜移动时间确定方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (26)

1.一种内窥图像处理方法，其特征在于，所述方法包括：

获取肠镜内窥图像；

通过部位识别模型对所述肠镜内窥图像进行部位识别，得到部位识别结果；所述部位识别模型，基于携带部位标签的内窥训练图像，通过训练待训练的部位识别模型得到，在训练过程中通过识别损失对待训练的部位识别模型进行调整更新；所述识别损失根据部位识别训练结果和所述部位标签之间的分类交叉熵、所述内窥训练图像中内窥增强图像与内窥原始图像之间识别特征的差异、以及所述内窥训练图像的中心损失得到，所述部位识别训练结果，由所述待训练的部位识别模型对所述内窥训练图像进行部位识别得到，所述识别特征从所述待训练的部位识别模型中获得；

基于所述部位识别结果，从所述肠镜内窥图像中确定拍摄部位为第一部位的第一内窥图像和拍摄部位为第二部位的第二内窥图像；

根据所述第一内窥图像的时间属性和所述第二内窥图像的时间属性，确定所述肠镜内窥图像的时间差；

根据所述时间差与约束条件的比较结果，得到所述肠镜内窥图像对应的评估结果；所述评估结果用于表征所述肠镜内窥图像相应的操作质量。

2.根据权利要求1所述的方法，其特征在于，所述获取肠镜内窥图像包括：

从肠镜视频流中依次提取肠镜内窥图像；

所述通过部位识别模型对所述肠镜内窥图像进行部位识别，得到部位识别结果包括：

依次将提取的肠镜内窥图像输入至部位识别模型；

获取所述部位识别模型处理输入的肠镜内窥图像后依次输出的部位识别结果。

3.根据权利要求1所述的方法，其特征在于，所述基于所述部位识别结果，从所述肠镜内窥图像中确定拍摄部位为第一部位的第一内窥图像和拍摄部位为第二部位的第二内窥图像包括：

对所述部位识别结果进行分析，得到所述部位识别结果所表示的部位；

根据部位识别结果表示第一部位的肠镜内窥图像确定拍摄部位为所述第一部位的第一内窥图像；

根据部位识别结果表示第二部位的肠镜内窥图像确定拍摄部位为所述第二部位的第二内窥图像。

4.根据权利要求3所述的方法，其特征在于，所述根据部位识别结果表示第一部位的肠镜内窥图像确定拍摄部位为所述第一部位的第一内窥图像包括：

将部位识别结果表示第一部位的肠镜内窥图像中拍摄时间最早的肠镜内窥图像作为拍摄部位为所述第一部位的第一内窥图像；或

根据连续至少两帧的部位识别结果表示第一部位的肠镜内窥图像确定为拍摄部位为所述第一部位的第一内窥图像。

5.根据权利要求3所述的方法，其特征在于，所述根据部位识别结果表示第二部位的肠镜内窥图像确定拍摄部位为所述第二部位的第二内窥图像包括：

将部位识别结果表示第二部位的肠镜内窥图像中拍摄时间最早的肠镜内窥图像作为拍摄部位为所述第二部位的第二内窥图像；或

根据连续至少两帧的部位识别结果表示第二部位的肠镜内窥图像确定为拍摄部位为所述第二部位的第二内窥图像。

6.根据权利要求3所述的方法，其特征在于，

在所述根据部位识别结果表示第一部位的肠镜内窥图像确定拍摄部位为所述第一部位的第一内窥图像之后，还包括：生成计时开始提示消息；

在所述根据部位识别结果表示第二部位的肠镜内窥图像确定拍摄部位为所述第二部位的第二内窥图像之后，还包括：生成计时结束提示消息。

7.根据权利要求1所述的方法，其特征在于，

所述根据所述第一内窥图像的时间属性和所述第二内窥图像的时间属性，确定所述肠镜内窥图像的时间差，包括：

分别确定所述第一内窥图像的时间属性和所述第二内窥图像的时间属性；

根据所述第一内窥图像的时间属性确定时间起点；

根据所述第二内窥图像的时间属性确定时间终点；

基于所述时间起点和所述时间终点得到所述肠镜内窥图像的时间差。

8.根据权利要求7所述的方法，其特征在于，所述基于所述时间起点和所述时间终点得到所述肠镜内窥图像的时间差包括：

确定所述时间起点和所述时间终点之间的差值；

根据所述差值得到所述肠镜内窥图像的时间差。

9.根据权利要求1所述的方法，其特征在于，所述根据所述时间差与约束条件的比较结果，得到所述肠镜内窥图像对应的评估结果，包括：

查询预设的约束条件；

将所述时间差与所述约束条件进行比较，获得比较结果；

根据所述比较结果，得到所述肠镜内窥图像的评估结果。

10.根据权利要求1至9任意一项所述的方法，其特征在于，所述部位识别模型的训练步骤包括：

获取携带部位标签的内窥训练图像；

通过待训练的部位识别模型对所述内窥训练图像进行部位识别，得到所述内窥训练图像对应所属的部位识别训练结果；

根据所述部位识别训练结果与所述内窥训练图像携带的部位标签之间的差异确定识别损失；

根据所述识别损失调整所述待训练的部位识别模型后继续训练，直至满足训练结束条件时结束训练，得到训练完成的部位识别模型。

11.根据权利要求10所述的方法，其特征在于，在所述获取携带部位标签的内窥训练图像之前，还包括：

获取携带部位标签的内窥原始图像；

对所述内窥原始图像进行数据增强处理，得到所述内窥原始图像对应的携带部位标签的内窥增强图像；

根据所述内窥原始图像和所述内窥增强图像得到内窥训练图像。

12.根据权利要求10所述的方法，其特征在于，所述根据所述部位识别训练结果与所述内窥训练图像携带的部位标签之间的差异确定识别损失包括：

根据所述部位识别训练结果和所述部位标签之间的分类交叉熵得到第一识别损失；

根据所述内窥训练图像中内窥增强图像与内窥原始图像之间识别特征的差异得到第二识别损失；

根据所述内窥训练图像的中心损失得到第三识别损失；

根据第一识别损失、第二识别损失和第三识别损失确定识别损失。

13.一种内窥图像处理装置，其特征在于，所述装置包括：

内窥图像获取模块，用于获取肠镜内窥图像；

部位识别模块，用于通过部位识别模型对所述肠镜内窥图像进行部位识别，得到部位识别结果；所述部位识别模型，基于携带部位标签的内窥训练图像，通过训练待训练的部位识别模型得到，在训练过程中通过识别损失对待训练的部位识别模型进行调整更新；所述识别损失根据部位识别训练结果和所述部位标签之间的分类交叉熵、所述内窥训练图像中内窥增强图像与内窥原始图像之间识别特征的差异、以及所述内窥训练图像的中心损失得到，所述部位识别训练结果，由所述待训练的部位识别模型对所述内窥训练图像进行部位识别得到，所述识别特征从所述待训练的部位识别模型中获得；

内窥图像部位分析模块，用于基于所述部位识别结果，从所述肠镜内窥图像中确定拍摄部位为第一部位的第一内窥图像和拍摄部位为第二部位的第二内窥图像；

移动时间确定模块，根据所述第一内窥图像的时间属性和所述第二内窥图像的时间属性，确定所述肠镜内窥图像的时间差；

移动评估结果获得模块，用于根据所述时间差与约束条件的比较结果，得到所述肠镜内窥图像对应的评估结果；所述评估结果用于表征所述肠镜内窥图像相应的操作质量。

14.根据权利要求13所述的装置，其特征在于，

所述内窥图像获取模块，还用于从肠镜视频流中依次提取肠镜内窥图像；

所述部位识别模块，还用于依次将提取的肠镜内窥图像输入至部位识别模型；获取所述部位识别模型处理输入的肠镜内窥图像后依次输出的部位识别结果。

15.根据权利要求13所述的装置，其特征在于，

所述内窥图像部位分析模块，还用于对所述部位识别结果进行分析，得到所述部位识别结果所表示的部位；根据部位识别结果表示第一部位的肠镜内窥图像确定拍摄部位为所述第一部位的第一内窥图像；根据部位识别结果表示第二部位的肠镜内窥图像确定拍摄部位为所述第二部位的第二内窥图像。

16.根据权利要求15所述的装置，其特征在于，

所述内窥图像部位分析模块，还用于将部位识别结果表示第一部位的肠镜内窥图像中拍摄时间最早的肠镜内窥图像作为拍摄部位为所述第一部位的第一内窥图像；或根据连续至少两帧的部位识别结果表示第一部位的肠镜内窥图像确定为拍摄部位为所述第一部位的第一内窥图像。

17.根据权利要求15所述的装置，其特征在于，

所述内窥图像部位分析模块，还用于将部位识别结果表示第二部位的肠镜内窥图像中拍摄时间最早的肠镜内窥图像作为拍摄部位为所述第二部位的第二内窥图像；或根据连续至少两帧的部位识别结果表示第二部位的肠镜内窥图像确定为拍摄部位为所述第二部位的第二内窥图像。

18.根据权利要求15所述的装置，其特征在于，所述装置还包括：

计时开始提示模块，用于生成计时开始提示消息；

计时结束提示模块，用于生成计时结束提示消息。

19.根据权利要求13所述的装置，其特征在于，

所述移动时间确定模块，还用于分别确定所述第一内窥图像的时间属性和所述第二内窥图像的时间属性；根据所述第一内窥图像的时间属性确定时间起点；根据所述第二内窥图像的时间属性确定时间终点；基于所述时间起点和所述时间终点得到所述肠镜内窥图像的时间差。

20.根据权利要求19所述的装置，其特征在于，

所述移动时间确定模块，还用于确定所述时间起点和所述时间终点之间的差值；根据所述差值得到所述肠镜内窥图像的时间差。

21.根据权利要求13所述的装置，其特征在于，

所述移动评估结果获得模块，还用于查询预设的约束条件；将所述时间差与所述约束条件进行比较，获得比较结果；根据所述比较结果，得到所述肠镜内窥图像的评估结果。

22.根据权利要求13至21任意一项所述的装置，其特征在于，所述装置还包括：

训练图像获取模块，用于获取携带部位标签的内窥训练图像；

训练识别模块，用于通过待训练的部位识别模型对所述内窥训练图像进行部位识别，得到所述内窥训练图像对应所属的部位识别训练结果；

识别损失确定模块，用于根据所述部位识别训练结果与所述内窥训练图像携带的部位标签之间的差异确定识别损失；根据所述识别损失调整所述待训练的部位识别模型后继续训练，直至满足训练结束条件时结束训练，得到训练完成的部位识别模型。

23.根据权利要求22所述的装置，其特征在于，所述装置还包括：

原始图像获取模块，用于获取携带部位标签的内窥原始图像；

增强处理模块，用于对所述内窥原始图像进行数据增强处理，得到所述内窥原始图像对应的携带部位标签的内窥增强图像；

训练图像获得模块，用于根据所述内窥原始图像和所述内窥增强图像得到内窥训练图像。

24.根据权利要求22所述的装置，其特征在于，所述识别损失确定模块包括：

第一识别损失模块，用于根据所述部位识别训练结果和所述部位标签之间的分类交叉熵得到第一识别损失；

第二识别损失模块，用于根据所述内窥训练图像中内窥增强图像与内窥原始图像之间识别特征的差异得到第二识别损失；

第三识别损失模块，用于根据所述内窥训练图像的中心损失得到第三识别损失；

识别损失模块，用于根据第一识别损失、第二识别损失和第三识别损失确定识别损失。

25.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述方法的步骤。

26.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述方法的步骤。

Images