CN114511045B - 图像处理方法、装置、终端及计算机可读存储介质 - Google Patents

Abstract

本申请提供一种图像处理方法、装置、终端及计算机可读存储介质，该方法包括：获取肠镜退镜过程中的第一肠镜图像集；对第一肠镜图像集进行图像预处理，得到处理后的第二肠镜图像集；确定第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集；确定肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构对应的目标肠镜图像集；基于目标肠镜图像集，对退镜过程中的第一肠镜图像集进行肠道分段。本申请实施例可以便于确定肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构，从而实现自动肠道分段，提高了肠道分段的准确性。

Description

图像处理方法、装置、终端及计算机可读存储介质

技术领域

本申请涉及辅助医疗技术领域，具体涉及一种图像处理方法、装置、终端及计算机可读存储介质。

背景技术

肠镜是检出并切除结直肠癌前病变最有效的方法。在肠镜检查过程中，准确地区分肠段是定位病变、评估肠道清洁度以及的重要前提。

根据欧美消化内镜协会的指南，肠镜退镜观察的肠段可分为升结肠、横结肠和降结肠，然而，医生在实际临床过程中对于肠段难以准确分辨，导致病灶的位置记录不准确以及肠道准备评估有误，进而影响患者的后续治疗。

因此，如何准确的实现自动肠段分段，是当前辅助医疗技术领域亟需解决的技术问题。

发明内容

本申请提供一种图像处理方法、装置、终端及计算机可读存储介质，旨在解决如何准确的实现自动肠段分段。

一方面，本申请提供一种图像处理方法，所述方法包括：

获取肠镜退镜过程中的第一肠镜图像集；

对所述第一肠镜图像集进行图像预处理，得到处理后的第二肠镜图像集；

确定所述第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集；

确定所述肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构对应的目标肠镜图像集；

基于所述目标肠镜图像集，对所述退镜过程中的第一肠镜图像集进行肠道分段。

在本申请一种可能的实现方式中，所述基于所述目标肠镜图像集，对所述退镜过程中的第一肠镜图像集进行肠道分段，包括：

获取目标肠镜图像集中每张图像对应的时序参数；

基于所述目标肠镜图像集中每张图像对应的时序参数，确定所述目标肠镜图像集中包括的肠道分段转折结构对应的个数参数以及每个肠道分段转折结构出现的顺序信息；

基于所述个数参数和所述顺序信息，对所述退镜过程中的第一肠镜图像集进行肠道分段。

在本申请一种可能的实现方式中，所述基于所述目标肠镜图像集中每张图像对应的时序参数，确定所述目标肠镜图像集中包括的肠道分段转折结构对应的个数参数以及每个肠道分段转折结构出现的顺序信息，包括：

基于所述每张图像对应的时序参数之间的差值参数和预设差值阈值，确定所述目标肠镜图像集中包括的肠道分段转折结构对应的个数参数；

基于所述每张图像对应的时序参数出现的顺序信息，确定每个肠道分段转折结构出现的顺序信息。

在本申请一种可能的实现方式中，所述确定所述第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集，包括：

基于预设的肠道外侧结构模拟模型，生成所述第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集。

在本申请一种可能的实现方式中，在基于预设的肠道外侧结构模拟模型，生成所述第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集之前，所述方法还包括：

基于预设的虚拟仿真结肠镜3D模型和电子肠镜，获取所述电子肠镜在多个角度进行模拟拍摄的肠道内结构模拟图像集以及拍摄视野对应于所述虚拟仿真结肠镜3D模型的坐标信息；

基于所述坐标信息，确定所述肠道内结构模拟图像集对应肠道外侧结构模拟图像集；

基于所述肠道内结构模拟图像集、所述肠道外侧结构模拟图像集以及预设的生成对抗网络模型，构建所述肠道外侧结构模拟模型。

在本申请一种可能的实现方式中，所述确定所述肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构对应的目标肠镜图像集，包括：

基于预设的结肠肠道外侧的分段转折结构识别模型，识别所述肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构对应的目标肠镜图像集。

在本申请一种可能的实现方式中，所述对所述第一肠镜图像集进行图像预处理，得到处理后的第二肠镜图像集，包括：

对所述第一肠镜图像集进行分类，得到有效图像集和无效图像集；

对所述有效图像集进行尺寸归一化处理，得到处理后的第二肠镜图像集。

另一方面，本申请提供一种图像处理装置，所述装置包括：

第一获取单元，用于获取肠镜退镜过程中的第一肠镜图像集；

第一图像预处理单元，用于对所述第一肠镜图像集进行图像预处理，得到处理后的第二肠镜图像集；

第一确定单元，用于确定所述第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集；

第二确定单元，用于确定所述肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构对应的目标肠镜图像集；

第一肠道分段单元，用于基于所述目标肠镜图像集，对所述退镜过程中的第一肠镜图像集进行肠道分段。

在本申请一种可能的实现方式中，所述第一肠道分段单元，具体包括：

第二获取单元，用于获取目标肠镜图像集中每张图像对应的时序参数；

第三确定单元，用于基于所述目标肠镜图像集中每张图像对应的时序参数，确定所述目标肠镜图像集中包括的肠道分段转折结构对应的个数参数以及每个肠道分段转折结构出现的顺序信息；

第二肠道分段单元，用于基于所述个数参数和所述顺序信息，对所述退镜过程中的第一肠镜图像集进行肠道分段。

在本申请一种可能的实现方式中，所述第三确定单元，具体用于：

基于所述每张图像对应的时序参数之间的差值参数和预设差值阈值，确定所述目标肠镜图像集中包括的肠道分段转折结构对应的个数参数；

基于所述每张图像对应的时序参数出现的顺序信息，确定每个肠道分段转折结构出现的顺序信息。

在本申请一种可能的实现方式中，所述第一确定单元，具体用于：

基于预设的肠道外侧结构模拟模型，生成所述第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集。

在本申请一种可能的实现方式中，在基于预设的肠道外侧结构模拟模型，生成所述第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集之前，所述装置还用于：

基于预设的虚拟仿真结肠镜3D模型和电子肠镜，获取所述电子肠镜在多个角度进行模拟拍摄的肠道内结构模拟图像集以及拍摄视野对应于所述虚拟仿真结肠镜3D模型的坐标信息；

基于所述坐标信息，确定所述肠道内结构模拟图像集对应肠道外侧结构模拟图像集；

基于所述肠道内结构模拟图像集、所述肠道外侧结构模拟图像集以及预设的生成对抗网络模型，构建所述肠道外侧结构模拟模型。

在本申请一种可能的实现方式中，所述第二确定单元，具体用于：

基于预设的结肠肠道外侧的分段转折结构识别模型，识别所述肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构对应的目标肠镜图像集。

在本申请一种可能的实现方式中，所述第一图像预处理单元，具体用于：

对所述第一肠镜图像集进行分类，得到有效图像集和无效图像集；

对所述有效图像集进行尺寸归一化处理，得到处理后的第二肠镜图像集。

另一方面，本申请还提供一种终端，所述终端包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现所述的图像处理方法。

另一方面，本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行所述的图像处理方法中的步骤。

本申请提供的一种图像处理方法，包括：获取肠镜退镜过程中的第一肠镜图像集；对第一肠镜图像集进行图像预处理，得到处理后的第二肠镜图像集；确定第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集；确定肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构对应的目标肠镜图像集；基于目标肠镜图像集，对退镜过程中的第一肠镜图像集进行肠道分段。相较于传统方法，在无法准确对肠段类型进行识别的背景下，创造性的提出通过在肠镜退镜过程中的肠镜图像，确定其对应的肠道外侧结构模拟图像，由于外侧结构模拟图对应的图像结构可以清晰分辨出此时的肠道的曲直情况，因此可以便于确定肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构，从而实现自动肠道分段，提高了肠道分段的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的图像处理系统的场景示意图；

图2是本申请实施例中提供的图像处理方法的一个实施例流程示意图；

图3是本申请实施例中提供的构建肠道外侧结构模拟模型的一个实施例流程示意图；

图4是本申请实施例中提供的步骤205的一个实施例流程示意图；

图5是本申请实施例中提供的步骤402的一个实施例流程示意图；

图6是本申请实施例中提供的图像处理装置的一个实施例结构示意图；

图7是本申请实施例中提供的终端的一个实施例结构示意图；

图8是本申请实施例中提供的虚拟仿真结肠镜3D建模示意图；

图9是本申请实施例中提供的目标肠道内外结构模拟图像对示意图；

图10是本申请实施例中提供的结肠肠道外侧的分段转折结构/非转折结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

本申请实施例提供一种图像处理方法、装置、终端及计算机可读存储介质，以下分别进行详细说明。

如图1所示，图1是本申请实施例提供的图像处理系统的场景示意图，该图像处理系统可以包括多个终端100和服务器200，终端100和服务器200网络连接，服务器200中集成有图像处理装置，如图1中的服务器，终端100可以访问服务器200。

本申请实施例中服务器200主要用于获取肠镜退镜过程中的第一肠镜图像集；对第一肠镜图像集进行图像预处理，得到处理后的第二肠镜图像集；确定第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集；确定肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构对应的目标肠镜图像集；基于目标肠镜图像集，对退镜过程中的第一肠镜图像集进行肠道分段。

本申请实施例中，该服务器200可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如本申请实施例中所描述的服务器200，其包括但不限于计算机、网络终端、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。本申请的实施例中，服务器与终端之间可通过任何通信方式实现通信，包括但不限于，基于第三代合作伙伴计划（3rd Generation Partnership Project，3GPP）、长期演进（Long Term Evolution，LTE)、全球互通微波访问（Worldwide Interoperability for Microwave Access，WiMAX）的移动通信，或基于TCP/IP协议族（TCP/IP Protocol Suite，TCP/IP）、用户数据报协议（User Datagram Protocol，UDP）的计算机网络通信等。

可以理解的是，本申请实施例中所使用的终端100可以是既包括接收和发射硬件的设备，既具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种终端可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。具体的终端100具体可以是台式终端或移动终端，终端100具体还可以是手机、平板电脑、笔记本电脑、医疗辅助仪器等中的一种。

本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本申请方案的一种应用场景，并不构成对本申请方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的终端，或者服务器网络连接关系，例如图1中仅示出1个服务器和2个终端。可以理解的，该图像处理系统还可以包括一个或多个其他服务器，或/且一个或多个与服务器网络连接的终端，具体此处不作限定。

另外，如图1所示，该图像处理系统还可以包括存储器300，用于存储数据，如存储用户肠镜图像集和图像处理数据，例如图像处理系统运行时的图像处理数据。

需要说明的是，图1所示的图像处理系统的场景示意图仅仅是一个示例，本申请实施例描述的图像处理系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着图像处理系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

接下来，介绍本申请实施例提供的图像处理方法。

本申实施例图像处理方法的实施例中以图像处理装置作为执行主体，为了简化与便于描述，后续方法实施例中将省略该执行主体，该图像处理装置应用于终端，该方法包括：获取肠镜退镜过程中的第一肠镜图像集；对第一肠镜图像集进行图像预处理，得到处理后的第二肠镜图像集；确定第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集；确定肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构对应的目标肠镜图像集；基于目标肠镜图像集，对退镜过程中的第一肠镜图像集进行肠道分段。

请参阅图2至图10，图2为本申请实施例中提供的图像处理方法的一个实施例流程示意图，该图像处理方法包括：

201、获取肠镜退镜过程中的第一肠镜图像集；

具体的，可以通过肠镜检查设备拍摄肠镜退镜过程，得到相应的肠镜视频，然后再对肠镜视频进行解码，得到第一肠镜图像集。

202、对第一肠镜图像集进行图像预处理，得到处理后的第二肠镜图像集；

本申请的一些实施例中，对第一肠镜图像集进行图像预处理，得到处理后的第二肠镜图像集，包括：对第一肠镜图像集进行分类，得到有效图像集和无效图像集；对有效图像集进行尺寸归一化处理，得到处理后的第二肠镜图像集。

其中，无效图像集指的是在体外操作的图像，以及冲水、吸水等操作下拍摄的模糊图像。

本申请实施例中，通过对第一肠镜进行图像分类，可以先从第一肠镜图像集中分类出有效图像集和无效图像集，从而过滤掉无效图像集，以直接对有效图像集进行处理，提高后续图像的处理效率和识别的准确率。

203、确定第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集；

肠道外侧结构模拟图像指的是相对于第二肠镜图像集中的图像而言，具体的，第二肠镜图像集是通过位于肠道内的内镜检查设备拍摄的肠道内测结构的图像集，而肠道外侧结构模拟图像，指的是相对于该肠道内测结构对应的肠道外侧的结构模拟图像，为了便于理解，我们可以假设是将某设备放在肠道外，并对肠道内外侧相同结构处进行标记，然后，肠道内镜检查设备在肠道内测拍摄第二肠镜图像集中的图像时，某设备则在肠道外侧拍摄与第二肠镜图像集中的图像对应的肠道外侧结构模拟图像。

本申请的一些实施例中，确定第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集，包括：基于预设的肠道外侧结构模拟模型，生成第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集。

本申请实施例中，通过预设的肠道外侧结构模拟模型，可以高效的识别第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集。

204、确定肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构对应的目标肠镜图像集；

结肠肠道外侧的分段转折结构指的是两个相邻的不同属性肠段的连接处的外侧为转折结构，可以理解为将一根直的水管进行预设角度的弯折，其弯折部分对应转折结构，其弯折部分两侧的水管则对应两个相邻的不同属性肠段，具体的，如升结肠和横结肠之间的连接处、横结肠与降结肠之间的连接处。

本申请的一些实施例中，确定肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构对应的目标肠镜图像集，包括：基于预设的结肠肠道外侧的分段转折结构识别模型，识别肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构对应的目标肠镜图像集。如图10所示，左侧图像为结肠肠道外侧的分段转折结构，而右侧图像为结肠肠道外侧的非分段转折结构。

本申请实施例中，通过预设的结肠肠道外侧的分段转折结构识别模型，可以高效的识别第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集。

205、基于目标肠镜图像集，对退镜过程中的第一肠镜图像集进行肠道分段。

本申请实施例通过目标肠镜图像集，对退镜过程中的第一肠镜图像集进行肠道分段，实现了在临床中进行自动肠道分段，以此确定在肠镜退镜检查过程中肠镜检查设备所对应肠道分段类型，从而可以实时提醒医师肠镜检查设备位于肠道的具体位置。

本申请提供的一种图像处理方法，包括：获取肠镜退镜过程中的第一肠镜图像集；对第一肠镜图像集进行图像预处理，得到处理后的第二肠镜图像集；确定第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集；确定肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构对应的目标肠镜图像集；基于目标肠镜图像集，对退镜过程中的第一肠镜图像集进行肠道分段。相较于传统方法，在无法准确对肠段类型进行识别的背景下，创造性的提出通过在肠镜退镜过程中的肠镜图像，确定其对应的肠道外侧结构模拟图像，由于外侧结构模拟图对应的图像结构可以清晰分辨出此时的肠道的曲直情况，因此可以便于确定肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构，从而实现自动肠道分段，提高了肠道分段的准确性。

本申请的一些实施例中，如图3所示，在基于预设的肠道外侧结构模拟模型，生成第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集之前，该方法还包括：

301、基于预设的虚拟仿真结肠镜3D模型和电子肠镜，获取电子肠镜在多个角度进行模拟拍摄的肠道内结构模拟图像集以及拍摄视野对应于虚拟仿真结肠镜3D模型的坐标信息；

其中，虚拟仿真结肠镜3D模型是预先训练好的，该模型是用于模拟待检测用户的3D肠镜模型的，具体的，在获取待检测用户许可情况下，收集其CT结肠镜影像资料，并对其资料进行匿名化处理，利用CT数据处理软件（如3D slicer等）构建虚拟仿真结肠镜3D模型，如图8所示。坐标信息中包括有多个角度、拍摄视野对应的坐标。

302、基于坐标信息，确定肠道内结构模拟图像集对应肠道外侧结构模拟图像集；

在本申请的一些实施例中，基于坐标信息，确定肠道内结构模拟图像集对应肠道外侧结构模拟图像集，可以包括：根据坐标信息，确定虚拟仿真结肠镜3D模型外对应的位置，根据对应的位置，捕获肠道外侧结构模拟图像，从而得到肠道内结构模拟图像集对应肠道外侧结构模拟图像集。

303、基于肠道内结构模拟图像集、肠道外侧结构模拟图像集以及预设的生成对抗网络模型，构建肠道外侧结构模拟模型。

具体的，基于肠道内结构模拟图像集、肠道外侧结构模拟图像集以及预设的生成对抗网络模型，构建肠道外侧结构模拟模型，可以包括：将肠道内结构模拟图像集中的目标肠道内结构模拟图像与肠道外侧结构模拟图像集中对应的目标肠道外侧结构模拟图像，得到多个目标肠道内外结构模拟图像对；将多个目标肠道内外结构模拟图像对输入到预设的生成对抗网络模型中进行训练，以得到肠道外侧结构模拟模型。其中，如图9所示，为得到多个目标肠道内外结构模拟图像对。

需要说明的是，在步骤301和步骤302中，肠道内结构模拟图像集中还包括有针对肠道内多位置的肠道内结构模拟图，可以理解的是，电子肠镜会针对完整的退镜过程包括的肠段，在每间隔预设距离长度的肠道内，沿多个角度对肠道内测进行模拟拍摄。

本申请实施例通过采用预设的生成对抗网络模型构建的肠道外侧结构模拟模型，可以提高肠道外侧结构模拟模型的准确率。

本申请的一些实施例中，如图4所示，步骤205、基于目标肠镜图像集，对退镜过程中的第一肠镜图像集进行肠道分段，包括：

401、获取目标肠镜图像集中每张图像对应的时序参数；

其中，时序参数指的是目标肠镜图像集中每张图像在被拍摄时的时间节点，基于前述实施例提及的，第一肠镜图像是通过对肠镜检查设备拍摄肠镜退镜过程，得到相应的肠镜视频进行视频解码得到的，而每个视频帧都对应有一个时间节点，当视频被解码得到多帧的图像时，其每张图像都对应有一个时间节点，及该时间节点可以是本实施例中的时间参数。

402、基于目标肠镜图像集中每张图像对应的时序参数，确定目标肠镜图像集中包括的肠道分段转折结构对应的个数参数以及每个肠道分段转折结构出现的顺序信息；

目标肠镜图像集中包括的肠道分段转折结构对应的个数参数指的是目标肠镜图像集中出现肠道分段转折结构的总数。

403、基于个数参数和顺序信息，对退镜过程中的第一肠镜图像集进行肠道分段。

本申请实施例中，根据目标肠镜图像集中包括的肠道分段转折结构对应的个数参数以及每个肠道分段转折结构出现的顺序信息，可以对退镜过程中的第一肠镜图像集进行肠道分段。具体的，若个数参数为1时，则在肠道分段转折结构前的图像可判定属于升结肠肠段，在肠道分段转折结构后的图像可判定属于横结肠肠段。若个数参数为2时，根据每个肠道分段转折结构出现的顺序信息，可以分为第一肠道分段转折结构和第二肠道分段转折结构，那么，在第一肠道分段转折结构之前的图像可判定属于升结肠肠段，在第一肠道分段转折结构和第二肠道分段转折结构之间的图像可判定属于横结肠肠段，在第二肠道分段转折结构之后的图像可判定属于降结肠肠段。

本申请实施例通过考虑目标肠镜图像集中包括的肠道分段转折结构对应的个数参数以及每个肠道分段转折结构出现的顺序信息对应的逻辑，可以准确的对退镜过程中的第一肠镜图像集进行肠道分段。

本申请的一些实施例中，如图5所示，步骤402、基于目标肠镜图像集中每张图像对应的时序参数，确定目标肠镜图像集中包括的肠道分段转折结构对应的个数参数以及每个肠道分段转折结构出现的顺序信息，包括：

501、基于每张图像对应的时序参数之间的差值参数和预设差值阈值，确定目标肠镜图像集中包括的肠道分段转折结构对应的个数参数；

其中，差值参数指的是针对目标肠镜图像集中的任意时序相邻两张图像中每张图像对应的时序参数之间的时差。例如，某两张图像中的第一张图像的时序参数为14点08分50秒12微秒，而第二张图像的时序参数为14点08分51秒12微秒，那么这两张图像的时差为1秒。

需要说明的是，目标肠镜图像集中的每张图像的排列顺序还是按照时序进行排列着，并不是杂乱无序的，为了便于理解任意时序相邻两张图像，可以假设每张图像都是间隔1秒，而目标肠镜图像集中有20张图像，且其中第1张至第10张图像的时间分布分别为14点10分01秒至14点10分10秒中每间隔一秒所对应的时间。而第11张至第20张图像的时间分布为14点25分01秒至14点25分10秒中每间隔一秒所对应的时间。预设差值阈值可以根据实际情况进行适应调整，例如可以设置为1秒、30秒、5分钟或者10分钟。

在本申请的一些实施例中，基于每张图像对应的时序参数之间的差值参数和预设差值阈值，确定目标肠镜图像集中包括的肠道分段转折结构对应的个数参数，可以包括：判断目标肠镜图像集中的任意时序相邻两张图像中每张图像对应的时序参数之间的时差大于预设差值阈值的个数，基于个数确定目标肠镜图像集中包括的肠道分段转折结构对应的个数参数。

例如，选取预设差值阈值为5分钟，并假设目标肠镜图像集中有30张图像，且其中第1张至第10张图像的时间分布分别为14点10分01秒至14点10分10秒中每间隔一秒所对应的时间。而第11张至第20张图像的时间分布为14点25分01秒至14点25分10秒中每间隔一秒所对应的时间。而，第21张至第30张图像的时间分布为14点45分01秒至14点45分10秒中每间隔一秒所对应的时间。由此可知，其中第1张至第10张图像中的时差均为1秒，小于预设差值阈值的5分钟，则不计数；而第10张图像与第11张图像中的时差为15分钟，大于预设差值阈值的5分钟，则计数一个；而从第11张到第20张图像中的时差均为1秒，小于预设差值阈值的5分钟，则不计数；而第20张图像与第21张图像中的时差为20分钟，大于预设差值阈值的5分钟，则计数一个；而从第21张到第30张图像中的时差均为1秒，小于预设差值阈值的5分钟，则不计数；由此可知，在目标肠镜图像集中的任意时序相邻两张图像中每张图像对应的时序参数之间的差值参数大于预设差值阈值的总个数为2个，因此，确定目标肠镜图像集中包括的肠道分段转折结构对应的个数参数为1个。

502、基于每张图像对应的时序参数出现的顺序信息，确定每个肠道分段转折结构出现的顺序信息。

本实施例中，顺序信息指的是目标肠镜图像集中每张图像对应的时序参数出现的先后顺序，因为目标肠镜图像集中的每张图像的排列顺序还是按照时序进行排列着，并不是杂乱无序的。

为了更好实施本申请实施例中图像处理方法，在图像处理方法基础之上，本申请实施例中还提供一种图像处理装置，如图6所示，图像处理装置600包括：

第一获取单元601，用于获取肠镜退镜过程中的第一肠镜图像集；

第一图像预处理单元602，用于对第一肠镜图像集进行图像预处理，得到处理后的第二肠镜图像集；

第一确定单元603，用于确定第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集；

第二确定单元604，用于确定肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构对应的目标肠镜图像集；

第一肠道分段单元605，用于基于目标肠镜图像集，对退镜过程中的第一肠镜图像集进行肠道分段。

本申请的一些实施例中，第一肠道分段单元605，具体包括：

第二获取单元，用于获取目标肠镜图像集中每张图像对应的时序参数；

第三确定单元，用于基于目标肠镜图像集中每张图像对应的时序参数，确定目标肠镜图像集中包括的肠道分段转折结构对应的个数参数以及每个肠道分段转折结构出现的顺序信息；

第二肠道分段单元，用于基于个数参数和顺序信息，对退镜过程中的第一肠镜图像集进行肠道分段。

本申请的一些实施例中，第三确定单元，具体用于：

基于每张图像对应的时序参数之间的差值参数和预设差值阈值，确定目标肠镜图像集中包括的肠道分段转折结构对应的个数参数；

基于每张图像对应的时序参数出现的顺序信息，确定每个肠道分段转折结构出现的顺序信息。

本申请的一些实施例中，第一确定单元603，具体用于：

基于预设的肠道外侧结构模拟模型，生成第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集。

本申请的一些实施例中，在基于预设的肠道外侧结构模拟模型，生成第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集之前，装置还用于：

基于预设的虚拟仿真结肠镜3D模型和电子肠镜，获取电子肠镜在多个角度进行模拟拍摄的肠道内结构模拟图像集以及拍摄视野对应于虚拟仿真结肠镜3D模型的坐标信息；

基于坐标信息，确定肠道内结构模拟图像集对应肠道外侧结构模拟图像集；

基于肠道内结构模拟图像集、肠道外侧结构模拟图像集以及预设的生成对抗网络模型，构建肠道外侧结构模拟模型。

本申请的一些实施例中，第二确定单元604，具体用于：

基于预设的结肠肠道外侧的分段转折结构识别模型，识别肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构对应的目标肠镜图像集。

本申请的一些实施例中，第一图像预处理单元602，具体用于：

对第一肠镜图像集进行分类，得到有效图像集和无效图像集；

对有效图像集进行尺寸归一化处理，得到处理后的第二肠镜图像集。

本申请提供的一种图像处理装置600，包括：第一获取单元601，用于获取肠镜退镜过程中的第一肠镜图像集；第一图像预处理单元602，用于对第一肠镜图像集进行图像预处理，得到处理后的第二肠镜图像集；第一确定单元603，用于确定第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集；第二确定单元604，用于确定肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构对应的目标肠镜图像集；第一肠道分段单元605，用于基于目标肠镜图像集，对退镜过程中的第一肠镜图像集进行肠道分段。相较于传统装置，在无法准确对肠段类型进行识别的背景下，创造性的提出通过在肠镜退镜过程中的肠镜图像，确定其对应的肠道外侧结构模拟图像，由于外侧结构模拟图对应的图像结构可以清晰分辨出此时的肠道的曲直情况，因此可以便于确定肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构，从而实现自动肠道分段，提高了肠道分段的准确性。

除了上述介绍用于图像处理方法与装置之外，本申请实施例还提供一种终端，其集成了本申请实施例所提供的任一种图像处理装置，终端包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由处理器执行上述图像处理方法实施例中任一实施例中的任一方法的操作。

本申请实施例还提供一种终端，其集成了本申请实施例所提供的任一种图像处理装置。参阅图7，图7是本申请实施例提供的终端一个实施例结构示意图。

如图7所示，其示出了本申请实施例所设计的图像处理装置的结构示意图，具体来讲：

该图像处理装置可以包括一个或者一个以上处理核心的处理器701、一个或一个以上计算机可读存储介质的存储单元702、电源703和输入单元704等部件。本领域技术人员可以理解，图7中示出的图像处理装置结构并不构成对图像处理装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器701是该图像处理装置的控制中心，利用各种接口和线路连接整个图像处理装置的各个部分，通过运行或执行存储在存储单元702内的软件程序和/或模块，以及调用存储在存储单元702的数据，执行图像处理装置的各种功能和处理数据，从而对图像处理装置进行整体监控。可选的，处理器701可包括一个或多个处理核心；优选的，处理器701可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器701中。

存储单元702可用于存储软件程序以及模块，处理器701通过运行存储在存储单元702的软件程序以及模块，从而执行各种功能应用以及数据处理。存储单元702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据图像处理装置的使用所创建的数据等。此外，存储单元702可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储单元702还可以包括存储器控制器，以提供处理器701对存储单元702的访问。

图像处理装置还包括给各个部件供电的电源703，优选的，电源703可以通过电源管理系统与处理器701逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源703还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该图像处理装置还可包括输入单元704，该输入单元704可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，图像处理装置还可以包括显示单元等，在此不再赘述。具体在本申请实施例中，图像处理装置中的处理器701会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储单元702中，并由处理器701来运行存储在存储单元702中的应用程序，从而实现各种功能，如下：

获取肠镜退镜过程中的第一肠镜图像集；对第一肠镜图像集进行图像预处理，得到处理后的第二肠镜图像集；确定第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集；确定肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构对应的目标肠镜图像集；基于目标肠镜图像集，对退镜过程中的第一肠镜图像集进行肠道分段。

本申请提供的一种图像处理方法，包括：获取肠镜退镜过程中的第一肠镜图像集；对第一肠镜图像集进行图像预处理，得到处理后的第二肠镜图像集；确定第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集；确定肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构对应的目标肠镜图像集；基于目标肠镜图像集，对退镜过程中的第一肠镜图像集进行肠道分段。相较于传统方法，在无法准确对肠段类型进行识别的背景下，创造性的提出通过在肠镜退镜过程中的肠镜图像，确定其对应的肠道外侧结构模拟图像，由于外侧结构模拟图对应的图像结构可以清晰分辨出此时的肠道的曲直情况，因此可以便于确定肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构，从而实现自动肠道分段，提高了肠道分段的准确性。

为此，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random AccessMemory）、磁盘或光盘等。该计算机可读存储介质中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种图像处理方法中的步骤。例如，该指令可以执行如下步骤：

获取肠镜退镜过程中的第一肠镜图像集；对第一肠镜图像集进行图像预处理，得到处理后的第二肠镜图像集；确定第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集；确定肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构对应的目标肠镜图像集；基于目标肠镜图像集，对退镜过程中的第一肠镜图像集进行肠道分段。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

以上对本申请实施例所提供的一种图像处理方法、装置、终端及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种图像处理方法，其特征在于，所述方法包括：

获取肠镜退镜过程中的第一肠镜图像集；

对所述第一肠镜图像集进行图像预处理，得到处理后的第二肠镜图像集；

确定所述第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集，其中，所述肠道外侧结构模拟图像为相对于肠道内测结构对应的肠道外侧的结构模拟图像；

确定所述肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构对应的目标肠镜图像集；

基于所述目标肠镜图像集，对所述退镜过程中的第一肠镜图像集进行肠道分段；

其中，所述确定所述第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集，包括：

基于生成对抗网络的肠道外侧结构模拟模型，生成所述第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集。

2.根据权利要求1所述的图像处理方法，其特征在于，所述基于所述目标肠镜图像集，对所述退镜过程中的第一肠镜图像集进行肠道分段，包括：

获取目标肠镜图像集中每张图像对应的时序参数；

基于所述目标肠镜图像集中每张图像对应的时序参数，确定所述目标肠镜图像集中包括的肠道分段转折结构对应的个数参数以及每个肠道分段转折结构出现的顺序信息；

基于所述个数参数和所述顺序信息，对所述退镜过程中的第一肠镜图像集进行肠道分段。

3.根据权利要求2所述的图像处理方法，其特征在于，所述基于所述目标肠镜图像集中每张图像对应的时序参数，确定所述目标肠镜图像集中包括的肠道分段转折结构对应的个数参数以及每个肠道分段转折结构出现的顺序信息，包括：

基于所述每张图像对应的时序参数之间的差值参数和预设差值阈值，确定所述目标肠镜图像集中包括的肠道分段转折结构对应的个数参数；

基于所述每张图像对应的时序参数出现的顺序信息，确定每个肠道分段转折结构出现的顺序信息。

4.根据权利要求1所述的图像处理方法，其特征在于，在基于预设的肠道外侧结构模拟模型，生成所述第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集之前，所述方法还包括：

基于预设的虚拟仿真结肠镜3D模型和电子肠镜，获取所述电子肠镜在多个角度进行模拟拍摄的肠道内结构模拟图像集以及拍摄视野对应于所述虚拟仿真结肠镜3D模型的坐标信息；

基于所述坐标信息，确定所述肠道内结构模拟图像集对应肠道外侧结构模拟图像集；

基于所述肠道内结构模拟图像集、所述肠道外侧结构模拟图像集以及预设的生成对抗网络模型，构建所述肠道外侧结构模拟模型。

5.根据权利要求1所述的图像处理方法，其特征在于，所述确定所述肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构对应的目标肠镜图像集，包括：

基于预设的结肠肠道外侧的分段转折结构识别模型，识别所述肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构对应的目标肠镜图像集。

6.根据权利要求1所述的图像处理方法，其特征在于，所述对所述第一肠镜图像集进行图像预处理，得到处理后的第二肠镜图像集，包括：

对所述第一肠镜图像集进行分类，得到有效图像集和无效图像集；

对所述有效图像集进行尺寸归一化处理，得到处理后的第二肠镜图像集。

7.一种图像处理装置，其特征在于，所述装置包括：

第一获取单元，用于获取肠镜退镜过程中的第一肠镜图像集；

第一图像预处理单元，用于对所述第一肠镜图像集进行图像预处理，得到处理后的第二肠镜图像集；

第一确定单元，用于确定所述第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集，其中，所述肠道外侧结构模拟图像为相对于肠道内测结构对应的肠道外侧的结构模拟图像；

第二确定单元，用于确定所述肠道外侧结构模拟图像集中为结肠肠道外侧的分段转折结构对应的目标肠镜图像集；

第一肠道分段单元，用于基于所述目标肠镜图像集，对所述退镜过程中的第一肠镜图像集进行肠道分段；

其中，所述第一确定单元，具体用于：

基于生成对抗网络的肠道外侧结构模拟模型，生成所述第二肠镜图像集中每张图像对应的肠道外侧结构模拟图像，以得到肠道外侧结构模拟图像集。

8.一种终端，其特征在于，所述终端包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至6中任一项所述的图像处理方法。

9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至6任一项所述的图像处理方法中的步骤。

Images