CN115880294A - 基于内镜影像的一体化处理方法及系统 - Google Patents

Abstract

本申请提供一种基于内镜影像的一体化处理方法及系统，用以提高检测效率的同时，还能够保证检测的准确性。在该方法中，由于实例化容器集成有结构化项目实例和数据提示实例，使得在检测过程中，可以通过结构化项目实例的处理，自行生成内镜影像检测报告，以提高检测效率。同时，由于数据提示实例的处理，还可以自行评估检测结果，以保证检测的准确性。

Description

基于内镜影像的一体化处理方法及系统

技术领域

本申请涉及数据处理领域，尤其涉及一种基于内镜影像的一体化处理方法及系统。

背景技术

内镜影像是目前常见的检测手段，医生使用内镜探头，对患者体内对应的部位进行检测。此时，内镜探头会持续采集该部位处的内镜影像，并将其传输到显示设备上显示。医生可以根据显示设备上显示的内镜影像，在系统上输入本次检测的描述信息。

然而，这种人工操作的方式效率比较低，且无法保证检测的准确性。

发明内容

本申请实施例提供一种基于内镜影像的一体化处理方法及系统，用以提高检测效率的同时，还能够保证检测的准确性。

为达到上述目的，本申请采用如下技术方案：

第一方面，提供一种基于内镜影像的一体化处理方法，该方法包括：从内镜影像检测设备获取内镜影像检测设备采集的内镜影像数据；通过实例化容器对内镜影像数据进行处理，得到内镜影像数据的处理结果，其中，实例化容器集成有结构化项目实例和数据提示实例，处理结果包括内镜影像数据的内镜影像检测报告和内镜检测质量，内镜影像检测报告用于表征内镜影像的检测结果，且内镜影像检测报告是通过结构化项目实例对内镜影像数据进行结构化项目处理得到，内镜检测质量用于表征检测结果的准确性，且内镜检测质量是通过数据提示实例对内镜影像数据进行数据提示处理得到。

基于第一方面所述的方法可知，由于实例化容器集成有结构化项目实例和数据提示实例，使得在检测过程中，可以通过结构化项目实例的处理，自行生成内镜影像检测报告，以提高检测效率。同时，由于数据提示实例的处理，还可以自行评估检测结果，以保证检测的准确性。

一种可能的设计方案中，内镜影像数据包括内镜影像的内镜影像视频流以及内镜影像视频流的关键描述信息，通过实例化容器对内镜影像数据进行处理，得到内镜影像数据的处理结果，包括：通过实例化容器中的结构化项目实例，将关键描述信息结构化项目为内镜影像检测报告，以及通过实例化容器中的数据提示实例处理内镜影像视频流和实际中间数据，以得到内镜检测质量。其中，关键描述信息可以理解为检测结果本身，例如，描述被检测部分的结构的信息，如器官多大，多长等等，可以是用户在对被检测者进行检测的过程中输入的信息。实际中间数据是关键描述信息在结构化项目处理过程中生成的数据，具体可以参考下文的相关介绍，不再赘述。

可以理解，由于数据提示实例可以复用结构化项目实例在处理过程中生成的中间数据，如此可以避免数据提示实例自行生成这些数据，从而可以提高处理效率。

可选地，通过实例化容器中的结构化项目实例，将关键描述信息结构化项目为内镜影像检测报告，包括：通过结构化项目实例，将关键描述信息顺映射到向量空间，得到空间向量；根据空间向量在向量空间中的位置，将向量空间逆映射为内镜影像检测报告，也即对关键描述信息进行空间赋值，以确保后续生成的内镜影像检测报告中各信息的位置是准确的。

进一步的，通过结构化项目实例，将关键描述信息顺映射到向量空间，得到空间向量，包括：通过结构化项目实例，将关键描述信息中每个字符映射到三维的向量空间，得到每个字符实际对应的空间向量。其中，每个字符实际对应的空间向量在z轴坐标位置用于表征该字符在内镜影像检测报告中对应的页，且该字符实际对应的空间向量在xy轴坐标位置为该字符在该页中的位置。

进一步的，根据空间向量在向量空间中的位置，将向量空间逆映射为内镜影像检测报告，包括：根据每个字符在内镜影像检测报告中对应的页，以及该字符在该页中的位置，将该字符对应的向量空间逆映射为空间字符，得到内镜影像检测报告。

例如，字符“器官A”对应的向量空间为（103-110,111,2），表示“器官A”这一字符位于内镜影像检测报告的第2页，且位于第2页中坐标（103-110,111）处。其中，每个字符映射为多长的空间向量可以取决于字符的数据大小，数据大小越大的字符映射的空间向量越长，从而可以理解为该空间向量在三维空间中占据的空间越大，从而最终使得该字符在内镜影像检测报告能够占据合理的位置大小。此外，每个字符对应的空间向量在向量空间中的坐标位置可以根据每个字符的顺序确定，如字符输入的先后顺序。例如，先输入的字符1对应的向量空间为（100-101,100,1），接着后输入的字符2对应的向量空间为（102-105,100,1）。此外，对于首个输入的字符，其对应的空间向量的xyz坐标可以是确定的，即确定字符在内镜影像检测报告中的起始位置。此外，针对特殊字符而言，例如符号，如句号、分号等，在这些特殊字符之后的输入的字符对应的空间向量的y坐标需要变换，以实现内镜影像检测报告中的分段处理。此外，字符对应的空间向量的z坐标是否变换可以取决于其之前输入的总字符的数据大小，如果数据大小达到阈值，则需要增加该字符对应的空间向量的z坐标，以实现内镜影像检测报告中的分页处理。

一种可能的设计方案中，数据提示实例封装有级联神经网络模型，通过实例化容器中的数据提示实例处理内镜影像视频流和实际中间数据，以得到内镜检测质量，包括：通过级联神经网络模型中的第一子网络模块处理内镜影像视频流，得到预估中间数据，其中，预估中间数据是预估关键描述信息在结构化项目处理过程中生成的数据；通过级联神经网络模型中的第二子网络模块处理预估中间数据以及实际中间数据，得到内镜检测质量。也即，通过对中间数据进行比较，以实现快速且高效地确定内镜检测质量。

可选地，预估中间数据是每个字符预估对应的空间向量，实际中间数据是每个字符实际对应的空间向量，通过级联神经网络模型中的第二子网络模块处理内镜影像的预估检测结果以及实际中间数据，得到内镜检测质量，包括：通过级联神经网络模型中的第二子网络模块处理每个字符预估对应的空间向量以及该字符实际对应的空间向量，得到内镜检测质量。

可以理解，第一子网络模块可以是预先使用标注关键描述信息的视频流进行训练的子网络。例如，可以标记视频流中每一帧中包含的关键描述信息，并标注这些关键描述信息在每一帧中对应的区域，该图像区域即为包含该关键描述信息描述的内容的区域。例如，关键描述信息为“器官A”，对应的帧中也标记出器官A所在的区域。通过这样的方式训练第二子网络模块，使其能够从视频流的每一帧中识别出该帧中是否具有关键描述信息描述的内容，并生成该内容的关键描述信息。针对多帧都包含的关键描述信息，即多份关键描述信息，第二子网络模块可以对其进行合并，也即最终得到一份关键描述信息。

第二子网络模块可以是集成了结构化项目实例的部分结构的网络模块，如将关键描述信息映射为空间向量的这部分处理结构，从而能够最终将关键描述信息映射为空间向量，也即，每个字符预估对应的空间向量。

可选地，通过级联神经网络模型中的第二子网络模块处理每个字符预估对应的空间向量，以及该字符实际对应的空间向量，得到内镜检测质量，包括：通过级联神经网络模型中的第二子网络模块处理每个字符预估对应的空间向量以及该字符实际对应的空间向量，得到每个字符的向量相似度；根据每个字符的向量相似度，得到内镜检测质量。

第二方面，提供一种处理设备，该设备包括：收发模块，用于从内镜影像检测设备获取内镜影像检测设备采集的内镜影像数据。处理模块，用于通过实例化容器对内镜影像数据进行处理，得到内镜影像数据的处理结果，其中，实例化容器集成有结构化项目实例和数据提示实例，处理结果包括内镜影像数据的内镜影像检测报告和内镜检测质量，内镜影像检测报告用于表征内镜影像的检测结果，且内镜影像检测报告是通过结构化项目实例对内镜影像数据进行结构化项目处理得到，内镜检测质量用于表征检测结果的准确性，且内镜检测质量是通过数据提示实例对内镜影像数据进行数据提示处理得到。

一种可能的设计方案中，内镜影像数据包括内镜影像的内镜影像视频流以及内镜影像视频流的关键描述信息，处理模块，用于通过实例化容器中的结构化项目实例，将关键描述信息结构化项目为内镜影像检测报告，以及通过实例化容器中的数据提示实例处理内镜影像视频流和实际中间数据，以得到内镜检测质量。

可选地，处理模块，用于通过结构化项目实例，将关键描述信息顺映射到向量空间，得到空间向量；根据空间向量在向量空间中的位置，将向量空间逆映射为内镜影像检测报告，也即对关键描述信息进行空间赋值，以确保后续生成的内镜影像检测报告中各信息的位置是准确的。

进一步的，处理模块，用于通过结构化项目实例，将关键描述信息中每个字符映射到三维的向量空间，得到每个字符实际对应的空间向量。其中，每个字符实际对应的空间向量在z轴坐标位置用于表征该字符在内镜影像检测报告中对应的页，且该字符实际对应的空间向量在xy轴坐标位置为该字符在该页中的位置。

进一步的，处理模块，用于根据每个字符在内镜影像检测报告中对应的页，以及该字符在该页中的位置，将该字符对应的向量空间逆映射为空间字符，得到内镜影像检测报告。

一种可能的设计方案中，数据提示实例封装有级联神经网络模型，处理模块，用于通过级联神经网络模型中的第一子网络模块处理内镜影像视频流，得到预估中间数据，其中，预估中间数据是预估关键描述信息在结构化项目处理过程中生成的数据；通过级联神经网络模型中的第二子网络模块处理预估中间数据以及实际中间数据，得到内镜检测质量。

可选地，预估中间数据是每个字符预估对应的空间向量，实际中间数据是每个字符实际对应的空间向量，处理模块，用于通过级联神经网络模型中的第二子网络模块处理每个字符预估对应的空间向量以及该字符实际对应的空间向量，得到内镜检测质量。

可选地，处理模块，用于通过级联神经网络模型中的第二子网络模块处理每个字符预估对应的空间向量以及该字符实际对应的空间向量，得到每个字符的向量相似度；根据每个字符的向量相似度，得到内镜检测质量。

第三方面，提供了一种电子设备，包括：处理器和存储器；该存储器用于存储计算机程序，当该处理器执行该计算机程序时，以使该电子设备执行第一方面所述的方法。

在一种可能的设计方案中，第三方面所述的电子设备还可以包括收发器。该收发器可以为收发电路或接口电路。该收发器可以用于第三方面所述的电子设备与其他电子设备通信。

在本申请实施例中，第九方面所述的电子设备可以为第一方面所述的终端，或者可设置于该终端中的芯片（系统）或其他部件或组件，或者包含该终端的装置。

此外，第三方面所述的电子设备的技术效果可以参考第一方面所述的方法的技术效果，此处不再赘述。

第四方面，提供一种计算机可读存储介质，包括：计算机程序或指令；当该计算机程序或指令在计算机上运行时，使得该计算机执行第一方面或第二方面中任意一种可能的实现方式所述的方法。

第五方面，提供一种计算机程序产品，包括计算机程序或指令，当该计算机程序或指令在计算机上运行时，使得该计算机执行第一方面或第二方面中任意一种可能的实现方式所述的方法。

附图说明

图1为本申请实施例提供的基于内镜影像的一体化处理方法的流程示意图；

图2为本申请实施例提供的电子设备的结构示意图一；

图3为本申请实施例提供的电子设备的结构示意图二。

具体实施方式

下面将结合附图，对本申请中的技术方案进行描述。

本申请将围绕可包括多个设备、组件、模块等的系统来呈现各个方面、实施例或特征。应当理解和明白的是，各个系统可以包括另外的设备、组件、模块等，并且/或者可以并不包括结合附图讨论的所有设备、组件、模块等。此外，还可以使用这些方案的组合。

另外，在本申请实施例中，“示例的”、“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用示例的一词旨在以具体方式呈现概念。

本申请实施例中，“信息（information）”，“信号（signal）”，“消息（message）”，“信道（channel）”、“信令（singaling）”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是匹配的。“的（of）”，“相应的（corresponding，relevant）”和“对应的（corresponding）”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是匹配的。此外，本申请提到的“/”可以用于表示“或”的关系。

本申请实施例描述的设备以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着新的设备以及场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

图1为本申请实施例提供的基于内镜影像的一体化处理方法的流程示意图。该基于内镜影像的一体化处理方法适用到电子设备，该基于内镜影像的一体化处理方法的流程如下：

S101，从内镜影像检测设备获取内镜影像检测设备采集的内镜影像数据。

电子设备与内镜影像检测设备之间可以有线或无线连接，用以获取内镜影像检测设备采集的内镜影像数据。

S102，通过实例化容器对内镜影像数据进行处理，得到内镜影像数据的处理结果。

其中，实例化容器集成有结构化项目实例和数据提示实例。处理结果可以包括内镜影像数据的内镜影像检测报告和内镜检测质量。内镜影像检测报告用于表征内镜影像的检测结果，且内镜影像检测报告是通过结构化项目实例对内镜影像数据进行结构化项目处理得到，内镜检测质量用于表征检测结果的准确性，且内镜检测质量是通过数据提示实例对内镜影像数据进行数据提示处理得到。

一方面，内镜影像数据可以包括内镜影像的内镜影像视频流以及内镜影像视频流的关键描述信息。电子设备可以通过实例化容器中的结构化项目实例，将关键描述信息结构化项目为内镜影像检测报告，以及通过实例化容器中的数据提示实例处理内镜影像视频流和实际中间数据，以得到内镜检测质量。其中，关键描述信息可以理解为检测结果本身，例如，描述被检测部分的结构的信息，如器官多大，多长等等，可以是用户在对被检测者进行检测的过程中输入的信息。实际中间数据是关键描述信息在结构化项目处理过程中生成的数据，具体可以参考下文的相关介绍，不再赘述。

可以理解，由于数据提示实例可以复用结构化项目实例在处理过程中生成的中间数据，如此可以避免数据提示实例自行生成这些数据，从而可以提高处理效率。

具体的，电子设备可以通过结构化项目实例，将关键描述信息顺映射到向量空间，得到空间向量；根据空间向量在向量空间中的位置，将向量空间逆映射为内镜影像检测报告，也即对关键描述信息进行空间赋值，以确保后续生成的内镜影像检测报告中各信息的位置是准确的。

例如，电子设备可以通过结构化项目实例，将关键描述信息中每个字符映射到三维的向量空间，得到每个字符实际对应的空间向量。其中，每个字符实际对应的空间向量在z轴坐标位置用于表征该字符在内镜影像检测报告中对应的页，且该字符实际对应的空间向量在xy轴坐标位置为该字符在该页中的位置。然后，电子设备可以根据每个字符在内镜影像检测报告中对应的页，以及该字符在该页中的位置，将该字符对应的向量空间逆映射为空间字符，得到内镜影像检测报告。

方便理解，字符“器官A”对应的向量空间为（103-110,111,2），表示“器官A”这一字符位于内镜影像检测报告的第2页，且位于第2页中坐标（103-110,111）处。其中，每个字符映射为多长的空间向量可以取决于字符的数据大小，数据大小越大的字符映射的空间向量越长，从而可以理解为该空间向量在三维空间中占据的空间越大，从而最终使得该字符在内镜影像检测报告能够占据合理的位置大小。此外，每个字符对应的空间向量在向量空间中的坐标位置可以根据每个字符的顺序确定，如字符输入的先后顺序。例如，先输入的字符1对应的向量空间为（100-101,100,1），接着后输入的字符2对应的向量空间为（102-105,100,1）。此外，对于首个输入的字符，其对应的空间向量的xyz坐标可以是确定的，即确定字符在内镜影像检测报告中的起始位置。此外，针对特殊字符而言，例如符号，如句号、分号等，在这些特殊字符之后的输入的字符对应的空间向量的y坐标需要变换，以实现内镜影像检测报告中的分段处理。此外，字符对应的空间向量的z坐标是否变换可以取决于其之前输入的总字符的数据大小，如果数据大小达到阈值，则需要增加该字符对应的空间向量的z坐标，以实现内镜影像检测报告中的分页处理。

另一方面，数据提示实例封装有级联神经网络模型。电子设备可以通过级联神经网络模型中的第一子网络模块处理内镜影像视频流，得到预估中间数据。其中，预估中间数据是预估关键描述信息在结构化项目处理过程中生成的数据。然后，电子设备可以通过级联神经网络模型中的第二子网络模块处理预估中间数据以及实际中间数据，得到内镜检测质量。也即，通过对中间数据进行比较，以实现快速且高效地确定内镜检测质量。

其中，预估中间数据是每个字符预估对应的空间向量，实际中间数据是每个字符实际对应的空间向量。电子设备可以通过级联神经网络模型中的第二子网络模块处理每个字符预估对应的空间向量以及该字符实际对应的空间向量，得到内镜检测质量。例如，电子设备可以通过级联神经网络模型中的第二子网络模块处理每个字符预估对应的空间向量以及该字符实际对应的空间向量，得到每个字符的向量相似度；根据每个字符的向量相似度，得到内镜检测质量。

可以理解，第一子网络模块可以是预先使用标注关键描述信息的视频流进行训练的子网络。例如，可以标记视频流中每一帧中包含的关键描述信息，并标注这些关键描述信息在每一帧中对应的区域，该图像区域即为包含该关键描述信息描述的内容的区域。例如，关键描述信息为“器官A”，对应的帧中也标记出器官A所在的区域。通过这样的方式训练第二子网络模块，使其能够从视频流的每一帧中识别出该帧中是否具有关键描述信息描述的内容，并生成该内容的关键描述信息。针对多帧都包含的关键描述信息，即多份关键描述信息，第二子网络模块可以对其进行合并，也即最终得到一份关键描述信息。

还可以理解，第二子网络模块可以是集成了结构化项目实例的部分结构的网络模块，如将关键描述信息映射为空间向量的这部分处理结构，从而能够最终将关键描述信息映射为空间向量，也即，每个字符预估对应的空间向量。

综上，由于实例化容器集成有结构化项目实例和数据提示实例，使得在检测过程中，可以通过结构化项目实例的处理，自行生成内镜影像检测报告，以提高检测效率。同时，由于数据提示实例的处理，还可以自行评估检测结果，以保证检测的准确性。

以上结合图1详细说明了本申请实施例提供的基于内镜影像的一体化处理方法。以下结合图2-图3详细说明用于执行本申请实施例提供的基于内镜影像的一体化处理方法的电子设备。

图2是本申请实施例提供的电子设备的结构示意图一。示例性的，如图2所示，电子设备200包括：收发模块201和处理模块202。为了便于说明，图2仅示出了该电子设备的主要部件。电子设备200可以执行上述图1所示的方法中的功能。

收发模块201，用于从内镜影像检测设备获取内镜影像检测设备采集的内镜影像数据。处理模块202，用于通过实例化容器对内镜影像数据进行处理，得到内镜影像数据的处理结果，其中，实例化容器集成有结构化项目实例和数据提示实例，处理结果包括内镜影像数据的内镜影像检测报告和内镜检测质量，内镜影像检测报告用于表征内镜影像的检测结果，且内镜影像检测报告是通过结构化项目实例对内镜影像数据进行结构化项目处理得到，内镜检测质量用于表征检测结果的准确性，且内镜检测质量是通过数据提示实例对内镜影像数据进行数据提示处理得到。

一种可能的设计方案中，内镜影像数据包括内镜影像的内镜影像视频流以及内镜影像视频流的关键描述信息，处理模块202，用于通过实例化容器中的结构化项目实例，将关键描述信息结构化项目为内镜影像检测报告，以及通过实例化容器中的数据提示实例处理内镜影像视频流和实际中间数据，以得到内镜检测质量。

可选地，处理模块202，用于通过结构化项目实例，将关键描述信息顺映射到向量空间，得到空间向量；根据空间向量在向量空间中的位置，将向量空间逆映射为内镜影像检测报告，也即对关键描述信息进行空间赋值，以确保后续生成的内镜影像检测报告中各信息的位置是准确的。

进一步的，处理模块202，用于通过结构化项目实例，将关键描述信息中每个字符映射到三维的向量空间，得到每个字符实际对应的空间向量。其中，每个字符实际对应的空间向量在z轴坐标位置用于表征该字符在内镜影像检测报告中对应的页，且该字符实际对应的空间向量在xy轴坐标位置为该字符在该页中的位置。

进一步的，处理模块202，用于根据每个字符在内镜影像检测报告中对应的页，以及该字符在该页中的位置，将该字符对应的向量空间逆映射为空间字符，得到内镜影像检测报告。

一种可能的设计方案中，数据提示实例封装有级联神经网络模型，处理模块202，用于通过级联神经网络模型中的第一子网络模块处理内镜影像视频流，得到预估中间数据，其中，预估中间数据是预估关键描述信息在结构化项目处理过程中生成的数据；通过级联神经网络模型中的第二子网络模块处理预估中间数据以及实际中间数据，得到内镜检测质量。

可选地，预估中间数据是每个字符预估对应的空间向量，实际中间数据是每个字符实际对应的空间向量，处理模块202，用于通过级联神经网络模型中的第二子网络模块处理每个字符预估对应的空间向量以及该字符实际对应的空间向量，得到内镜检测质量。

可选地，处理模块202，用于通过级联神经网络模型中的第二子网络模块处理每个字符预估对应的空间向量以及该字符实际对应的空间向量，得到每个字符的向量相似度；根据每个字符的向量相似度，得到内镜检测质量。

可选地，收发模块201可以包括发送模块（图2中未示出）和接收模块（图2中未示出）。其中，发送模块用于实现电子设备200的发送功能，接收模块用于实现电子设备200的接收功能。

可选地，电子设备200还可以包括存储模块（图2中未示出），该存储模块存储有程序或指令。当该处理模块202执行该程序或指令时，使得该电子设备200可以执行上述方法中图1所示的方法。

可以理解，电子设备200可以是终端，也可以是可设置于终端中的芯片（系统）或其他部件或组件，还可以是包含终端的装置，本申请对此不做限定。

此外，电子设备200的技术效果可以参考图1所示的基于内镜影像的一体化处理方法的技术效果，此处不再赘述。

图3为本申请实施例提供的电子设备的结构示意图二。示例性地，该电子设备可以是终端，也可以是可设置于终端的芯片（系统）或其他部件或组件。如图3所示，电子设备300可以包括处理器301。可选地，电子设备300还可以包括存储器302和/或收发器303。其中，处理器301与存储器302和收发器303耦合，如可以通过通信总线连接。

下面结合图3对电子设备300的各个构成部件进行具体的介绍：

其中，处理器301是电子设备300的控制中心，可以是一个处理器，也可以是多个处理元件的统称。例如，处理器301是一个或多个中央处理器（central processing unit，CPU），也可以是特定集成电路（application specific integrated circuit，ASIC），或者是被配置成实施本申请实施例的一个或多个集成电路，例如：一个或多个微处理器（digital signal processor，DSP），或，一个或者多个现场可编程门阵列（fieldprogrammable gate array，FPGA）。

可选地，处理器301可以通过运行或执行存储在存储器302内的软件程序，以及调用存储在存储器302内的数据，执行电子设备300的各种功能，例如执行上述图1所示的基于内镜影像的一体化处理方法。

在具体的实现中，作为一种实施例，处理器301可以包括一个或多个CPU，例如图3中所示出的CPU0和CPU1。

在具体实现中，作为一种实施例，电子设备300也可以包括多个处理器，例如图3中所示的处理器301和处理器304。这些处理器中的每一个可以是一个单核处理器（single-CPU），也可以是一个多核处理器（multi-CPU）。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据（例如计算机程序指令）的处理核。

其中，所述存储器302用于存储执行本申请方案的软件程序，并由处理器301来控制执行，具体实现方式可以参考上述方法实施例，此处不再赘述。

可选地，存储器302可以是只读存储器（read-only memory，ROM）或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器（random access memory，RAM）或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器（electrically erasable programmable read-only memory，EEPROM）、只读光盘（compactdisc read-only memory，CD-ROM）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器302可以和处理器301集成在一起，也可以独立存在，并通过电子设备300的接口电路（图3中未示出）与处理器301耦合，本申请实施例对此不作具体限定。

收发器303，用于与其他电子设备之间的通信。例如，电子设备300为终端，收发器303可以用于与网络设备通信，或者与另一个终端设备通信。又例如，电子设备300为网络设备，收发器303可以用于与终端通信，或者与另一个网络设备通信。

可选地，收发器303可以包括接收器和发送器（图3中未单独示出）。其中，接收器用于实现接收功能，发送器用于实现发送功能。

可选地，收发器303可以和处理器301集成在一起，也可以独立存在，并通过电子设备300的接口电路（图3中未示出）与处理器301耦合，本申请实施例对此不作具体限定。

可以理解的是，图3中示出的电子设备300的结构并不构成对该电子设备的限定，实际的电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

此外，电子设备300的技术效果可以参考上述方法实施例所述的方法的技术效果，此处不再赘述。

可以理解，电子设备300可以是终端装置，终端装置可以为具有收发功能的终端装置，或为可设置于该终端的芯片或芯片系统。该终端装置也可以称为用户装置（uesrequipment，UE）、接入终端、用户单元（subscriber unit）、用户站、移动站（mobilestation，MS）、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置。本申请的实施例中的终端可以是手机（mobile phone）、蜂窝电话（cellularphone）、智能电话（smart phone）、平板电脑（Pad）、无线数据卡、个人数字助理电脑（personal digital assistant，PDA）、无线调制解调器（modem）、手持设备（handset）、膝上型电脑（laptop computer）、机器类型通信（machine type communication，MTC）终端、带无线收发功能的电脑、虚拟现实（virtual reality，VR）终端、增强现实（augmented reality，AR）终端、工业控制（industrial control）中的无线终端、无人驾驶（self driving）中的无线终端、远程医疗（remote medical）中的无线终端、智能电网（smart grid）中的无线终端、运输安全（transportation safety）中的无线终端、智慧城市（smart city）中的无线终端、智慧家庭（smart home）中的无线终端、车载终端、具有终端功能的路边单元（road sideunit，RSU）等。本申请的终端装置还可以是作为一个或多个部件或者单元而内置于车辆的车载模块、车载模组、车载部件、车载芯片或者车载单元。

应理解，在本申请实施例中的处理器可以是中央处理单元（central processingunit，CPU），该处理器还可以是其他通用处理器、数字信号处理器（digital signalprocessor，DSP）、专用集成电路（application specific integrated circuit，ASIC）、现成可编程门阵列（field programmable gate array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器（read-only memory，ROM）、可编程只读存储器（programmable ROM，PROM）、可擦除可编程只读存储器（erasable PROM，EPROM）、电可擦除可编程只读存储器（electrically EPROM，EEPROM）或闪存。易失性存储器可以是随机存取存储器（random access memory，RAM），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器（random accessmemory，RAM）可用，例如静态随机存取存储器（static RAM，SRAM）、动态随机存取存储器（DRAM）、同步动态随机存取存储器（synchronous DRAM，SDRAM）、双倍数据速率同步动态随机存取存储器（double data rate SDRAM，DDR SDRAM）、增强型同步动态随机存取存储器（enhanced SDRAM，ESDRAM）、同步连接动态随机存取存储器（synchlink DRAM，SLDRAM）和直接内存总线随机存取存储器（direct rambus RAM，DR RAM）。

上述实施例，可以全部或部分地通过软件、硬件（如电路）、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如，DVD）、或者半导体介质。半导体介质可以是固态硬盘。

应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。

本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a,b,或c中的至少一项（个），可以表示：a, b, c, a-b, a-c, b-c, 或a-b-c，其中a,b,c可以是单个，也可以是多个。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于内镜影像的一体化处理方法，其特征在于，所述方法包括：

从内镜影像检测设备获取所述内镜影像检测设备采集的内镜影像数据；

通过实例化容器对所述内镜影像数据进行处理，得到内镜影像数据的处理结果，其中，所述实例化容器集成有结构化项目实例和数据提示实例，所述处理结果包括所述内镜影像数据的内镜影像检测报告和内镜检测质量，所述内镜影像检测报告用于表征所述内镜影像的检测结果，且所述内镜影像检测报告是通过所述结构化项目实例对所述内镜影像数据进行结构化项目处理得到，所述内镜检测质量用于表征所述检测结果的准确性，且所述内镜检测质量是通过所述数据提示实例对所述内镜影像数据进行数据提示处理得到。

2.根据权利要求1所述的方法，其特征在于，所述内镜影像数据包括所述内镜影像的内镜影像视频流以及所述内镜影像视频流的关键描述信息，所述通过实例化容器对所述内镜影像数据进行处理，得到内镜影像数据的处理结果，包括：

通过所述实例化容器中的所述结构化项目实例，将所述关键描述信息结构化项目为所述内镜影像检测报告，以及通过所述实例化容器中的所述数据提示实例处理所述内镜影像视频流和实际中间数据，以得到所述内镜检测质量，其中，所述实际中间数据是所述关键描述信息在结构化项目处理过程中生成的数据。

3.根据权利要求2所述的方法，其特征在于，所述通过所述实例化容器中的所述结构化项目实例，将所述关键描述信息结构化项目为所述内镜影像检测报告，包括：

通过所述结构化项目实例，将所述关键描述信息顺映射到向量空间，得到空间向量；

根据所述空间向量在所述向量空间中的位置，将所述向量空间逆映射为所述内镜影像检测报告。

4.根据权利要求3所述的方法，其特征在于，所述通过所述结构化项目实例，将所述关键描述信息顺映射到向量空间，得到空间向量，包括：

通过所述结构化项目实例，将所述关键描述信息中每个字符映射到三维的向量空间，得到每个字符实际对应的空间向量，其中，每个字符实际对应的空间向量在z轴坐标位置用于表征该字符在所述内镜影像检测报告中对应的页，且该字符实际对应的空间向量在xy轴坐标位置为该字符在该页中的位置。

5.根据权利要求4所述的方法，其特征在于，所述根据所述空间向量在所述向量空间中的位置，将所述向量空间逆映射为所述内镜影像检测报告，包括：

根据每个字符在所述内镜影像检测报告中对应的页，以及该字符在该页中的位置，将该字符对应的向量空间逆映射为空间字符，得到所述内镜影像检测报告。

6.根据权利要求4或5所述的方法，其特征在于，所述数据提示实例封装有级联神经网络模型，所述通过所述实例化容器中的所述数据提示实例处理所述内镜影像视频流和实际中间数据，以得到所述内镜检测质量，包括：

通过所述级联神经网络模型中的第一子网络模块处理所述内镜影像视频流，得到预估中间数据，其中，所述预估中间数据是预估所述关键描述信息在结构化项目处理过程中生成的数据；

通过所述级联神经网络模型中的第二子网络模块处理所述预估中间数据以及所述实际中间数据，得到所述内镜检测质量。

7.根据权利要求6所述的方法，其特征在于，所述预估中间数据是每个字符预估对应的空间向量，所述实际中间数据是每个字符实际对应的空间向量，通过所述级联神经网络模型中的第二子网络模块处理所述内镜影像的预估检测结果以及所述实际中间数据，得到所述内镜检测质量，包括：

通过所述级联神经网络模型中的第二子网络模块处理每个字符预估对应的空间向量以及该字符实际对应的空间向量，得到所述内镜检测质量。

8.根据权利要求7所述的方法，其特征在于，通过所述级联神经网络模型中的第二子网络模块处理每个字符预估对应的空间向量以及该字符实际对应的空间向量，得到所述内镜检测质量，包括：

通过所述级联神经网络模型中的第二子网络模块处理每个字符预估对应的空间向量以及该字符实际对应的空间向量，得到每个字符的向量相似度；

根据每个字符的向量相似度，得到所述内镜检测质量。

9.一种电子设备，其特征在于，所述设备包括：

收发模块，用于从内镜影像检测设备获取所述内镜影像检测设备采集的内镜影像数据；

处理模块，用于通过实例化容器对所述内镜影像数据进行处理，得到内镜影像数据的处理结果，其中，所述实例化容器集成有结构化项目实例和数据提示实例，所述处理结果包括所述内镜影像数据的内镜影像检测报告和内镜检测质量，所述内镜影像检测报告用于表征所述内镜影像的检测结果，且所述内镜影像检测报告是通过所述结构化项目实例对所述内镜影像数据进行结构化项目处理得到，所述内镜检测质量用于表征所述检测结果的准确性，且所述内镜检测质量是通过所述数据提示实例对所述内镜影像数据进行数据提示处理得到。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机程序或指令，当所述计算机程序或指令在计算机上运行时，使得所述计算机执行如权利要求1-8中任一项所述的方法。

Images