CN112735554A - 一种内镜报告生成装置、方法、电子设备及可读存储介质 - Google Patents

Abstract

本申请公开了一种内镜报告生成装置、方法、电子设备及计算机可读存储介质，该装置包括：图像获取模块，用于获取多个内镜图像；识别模块，用于将内镜图像输入图像识别模型，得到多个目标图像；信息获取模块，用于基于目标图像，从预设知识图谱中提取对应的报告信息；报告生成模块，用于在目标图像中选择代表图像，并利用代表图像和报告信息生成内镜报告；该装置可以自动生成内镜图像对应的内镜报告，降低人工查看和筛选数量巨大的内镜图像，可以减少查看内镜图像所需的阅片工作量和时长，提高了效率。

Description

一种内镜报告生成装置、方法、电子设备及可读存储介质

技术领域

本申请涉及图像处理技术领域，特别涉及一种内镜报告生成装置、内镜报告生成方法、电子设备及计算机可读存储介质。

背景技术

胶囊内窥镜即胶囊内镜，用于进行消化道检查，其无创无痛的特征使人们摆脱采用传统胃肠镜带来的痛苦与不适，是消化道检查的新型手段。在用胶囊内窥镜进行消化道检查的过程中，会产生大量图像数据，少则几千张(例如胃部检查)，多则几万张(例如小肠检查)。大量的胶囊内镜图像数据需要人工进行查看，判断其是否能够表现人体内情况，以便基于其得到对应的信息，这使得阅片工作量大、耗时较长。

因此，相关技术存在的阅片工作量大、耗时较长的问题，是本领域技术人员需要解决的技术问题。

发明内容

有鉴于此，本申请的目的在于提供一种内镜报告生成装置、内镜报告生成方法、电子设备及计算机可读存储介质，可以自动生成内镜图像对应的内镜报告，降低人工查看和筛选数量巨大的内镜图像，因此可以减少查看内镜图像所需的阅片工作量和时长。

为解决上述技术问题，本申请提供了一种内镜报告生成装置，包括：

图像获取模块，用于获取多个内镜图像；

识别模块，用于将所述内镜图像输入图像识别模型，得到多个目标图像；

信息获取模块，用于基于所述目标图像，从预设知识图谱中提取对应的报告信息；

报告生成模块，用于在所述目标图像中选择代表图像，并利用所述代表图像和所述报告信息生成内镜报告。

可选地，所述识别模块，包括：

第一识别单元，用于对各个所述内镜图像进行目标部位识别处理，得到第一目标图像；

第二识别单元，用于对各个所述内镜图像进行异常识别处理，得到第二目标图像。

可选地，所述第一识别单元，包括：

候选子单元，用于分别计算各个所述内镜图像与各个目标部位对应的置信度，并将所述置信度大于置信度阈值的所述内镜图像确定为候选目标图像；

确定子单元，用于从各个所述目标部位对应的所述候选目标图像中确定最佳目标图像，并将各个所述目标部位对应的所述最佳目标图像确定为所述第一目标图像。

可选地，所述信息获取模块，包括：

图像信息提取单元，用于根据所述目标图像的生成顺序，提取所述目标图像对应的图像信息；

筛选单元，用于利用所述图像信息筛选所述预设知识图谱，得到诊断信息，并将所述诊断信息确定为所述报告信息。

可选地，包括：

信息提取模块，用于获取多个初始医学数据，并对所述初始医学数据进行信息提取，得到实体信息、关系信息和属性信息；

构建模块，用于基于所述关系信息，对所述实体信息和所述属性信息进行对应关系构建处理，得到所述预设知识图谱；所述对应关系构建处理包括实体对齐处理、关系对齐处理、属性对齐处理、冲突消解处理和格式化处理中的至少一项。

可选地，所述报告生成模块，包括：

说明信息生成单元，用于对所述代表图像进行视觉语义联合处理，得到图像说明信息；

报告生成单元，用于利用所述图像说明信息、所述报告信息和所述代表图像生成所述内镜报告。

可选地，还包括：

内镜信息获取模块，用于获取所述内镜图像对应的内镜信息；

相应的，还包括：

模型选择模块，用于根据所述内镜信息，从多个候选识别模型中确定所述图像识别模型。

本申请还提供了一种内镜报告生成方法，包括：

获取多个内镜图像；

将所述内镜图像输入图像识别模型，得到多个目标图像；

基于所述目标图像，从预设知识图谱中提取对应的报告信息；

在所述目标图像中选择代表图像，并利用所述代表图像和所述报告信息生成内镜报告。

本申请还提供了一种电子设备，包括存储器和处理器，其中：

所述存储器，用于保存计算机程序；

所述处理器，用于执行所述计算机程序，以实现上述的内镜报告生成方法。

本申请还提供了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现上述的内镜报告生成方法。

本申请提供的内镜报告生成装置，包括：图像获取模块，用于获取多个内镜图像；识别模块，用于将内镜图像输入图像识别模型，得到多个目标图像；信息获取模块，用于基于目标图像，从预设知识图谱中提取对应的报告信息；报告生成模块，用于在目标图像中选择代表图像，并利用代表图像和报告信息生成内镜报告。

可见，该装置利用图像获取模块获取到内镜图像后，利用图像识别模型对内镜图像进行识别，将其中可以用于准确描述人体内情况的内镜图像确定为目标图像。在得到目标图像后，可以基于目标图像筛选预设知识图谱，得到与目标图像对应的报告信息。报告信息可以对目标图像的表现进行描述，可以使得用户根据报告信息了解人体内情况，以便对人体内异常的情况进行诊断。在得到报告信息后，在目标图像中确定代表图像，并利用代表图像和报告内容共同生成对应的内镜报告，代表图像可以代表人体内部的情况，其数量也较少，减少了内镜报告中的无效信息。该装置可以自动生成内镜图像对应的内镜报告，降低人工查看和筛选数量巨大的内镜图像，因此可以减少查看内镜图像所需的阅片工作量和时长，提高了效率，解决了相关技术存在的阅片工作量大、耗时较长的问题。

此外，本申请还提供了一种内镜报告生成方法、电子设备及计算机可读存储介质，同样具有上述有益效果。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种内镜报告生成装置的结构示意图；

图2为本申请实施例提供的一种具体的内镜报告生成装置的结构示意图；

图3为本申请实施例提供的一种内镜报告生成方法流程图；

图4为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例提供的一种内镜报告生成装置的结构示意图，包括：

图像获取模块110，用于获取多个内镜图像；

识别模块120，用于将内镜图像输入图像识别模型，得到多个目标图像；

信息获取模块130，用于基于目标图像，从预设知识图谱中提取对应的报告信息；

报告生成模块140，用于在目标图像中选择代表图像，并利用代表图像和报告信息生成内镜报告。

具体的，内镜图像的获取方式本实施例不做限定，在一种具体的实施方式中，可以利用图像获取部件获取内镜图像；在另一种实施方式中，可以获取其他电子设备发送的内镜图像，例如可以获取内镜胶囊发送的内镜图像；在另一种实施方式中，可以从预设路径下获取内镜图像，该预设路径可以为本地路径，或者可以为其它存储设备的存储路径。在获取内镜图像后，利用图像识别模型对内镜图像进行识别，从中筛选出可以用于准确描述人体内情况的内镜图像，即目标图像。需要说明的是，所有的内镜图像均记录了人体的情况，但并不是所有的内镜图像均可以准确地描述人体内的情况。可以理解的是，根据内镜种类的不同，对人体进行的检查种类也不同，因此获取到的内镜图像中有价值的、可以准确描述人体内情况的图像也不同。即使进行相同种类的检查，不同内镜图像的价值也不同，例如在一种实施方式中，记录有病灶的内镜图像能够准确描述人体内情况，而未记录有病灶的内镜图像则价值较低。在另一种实施方式中，记录有人体内关键位置(例如解剖位置)的图像能够表明胶囊胃镜在人体内的位置，与记录有病灶的内镜图像配合可以确定病灶的位置，因此同样有助于准确描述人体内情况。本实施例并不限定目标图像的具体确定过程，根据图像识别模型的不同，目标图像的类型、内容等也可以不同。

在获取目标图像后，可以基于目标图像，利用预设知识图谱获取对应的报告信息。预设知识图谱记录了各种图像对人体内的各种情况之间的对应关系，其具体内容不做限定，可以根据实际需要进行设置。可以理解的是，报告信息的具体内容与预设知识图谱相关，在一种实施方式中，报告信息具体可以为对目标图像的分析信息，即基于目标图像对人体内情况进行分析得到的图像分析信息。具体的，当目标图像为记录有病灶的内镜图像时，报告信息可以为：在A部位上存在病灶，该位置的病灶通常具有B特征。或者可以为：在C部位上存在D处(数量)病灶，该部位的多处病灶通常呈E形态，之间具有F类联系。在另一种实施方式中，报告信息可以为对目标图像进行诊断得到的疾病诊断信息，例如可以为：在G部位上存在H类病灶，可能为I类病症对应的现象。

在得到报告信息后，从目标图像中筛选代表图像，并利用其与报告信息共同组成内镜报告，以便从图文两方面对人体内情况进行说明，可以对人体内情况进行清楚地说明。代表图像具有代表性，其数量较少，但仍能够较准确的反映人体的内部情况。内镜报告中，除了代表图像以及内镜报告外，还可以包括其他内容，例如对每个代表图像或每个目标图像单独进行说明的图像说明信息。需要说明的是，图像说明信息是单独对各个图像进行陈述说明的信息，而并不是综合各个目标图像进行分析后得到的报告信息。

应用本申请实施例提供的内镜报告生成装置，利用图像获取模块获取到内镜图像后，利用图像识别模型对内镜图像进行识别，将其中可以用于准确描述人体内情况的内镜图像确定为目标图像。在得到目标图像后，可以基于目标图像筛选预设知识图谱，得到与目标图像对应的报告信息。报告信息可以对目标图像的表现进行描述，可以使得用户根据报告信息了解人体内情况，以便对人体内异常的情况进行诊断。在得到报告信息后，利用其与目标图像共同生成对应的内镜报告，内镜报告包括目标图像和报告信息，利用报告信息对目标图像进行说明。该装置可以自动生成内镜图像对应的内镜报告，降低人工查看和筛选数量巨大的内镜图像，因此可以减少查看内镜图像所需的阅片工作量和时长，提高了效率，解决了相关技术存在的阅片工作量大、耗时较长的问题。

基于上述实施例，本实施例对内镜报告生成装置进行进一步说明。在一种实施方式中，由于胶囊内镜的种类、工作模式等较多，不同类型、工作模式下的胶囊内镜获取到的内镜图像不同，为了准确地获取目标图像，内镜报告生成装置还可以包括：

内镜信息获取模块，用于获取内镜图像对应的内镜信息。

相应的，还包括：

模型选择模块，用于根据内镜信息，从多个候选识别模型中确定图像识别模型

内镜信息的具体内容不做限定，例如可以为内镜类型、工作模式等信息，或者可以为可以体现各种内镜之间的区别的标识信息，例如内镜类型编号信息。内镜图像对应的内镜信息可以通过分析内镜图像得到，或者可以利用获取内镜图像的方式获取对应的内镜信息。本实施例中，存在多个候选识别模型，分别对应于不同的内镜信息，可以理解的是，各个候选识别模型基于不同的训练数据训练得到，训练数据同样与内镜信息一一对应。在获取到内镜信息后，利用其从多个候选识别模型中选择对应的图像识别模型。

由于内镜图像的生成具有先后顺序，胶囊内镜在人体内的移动通常也是单向的，因此内镜图像的生成顺序与其记录的人体内部位置呈线性的对应关系，该顺序本身也具有一定的信息，因此信息获取模块可以包括：

图像信息提取单元，用于根据所述目标图像的生成顺序，提取所述目标图像对应的图像信息。

筛选单元，用于利用所述图像信息筛选所述预设知识图谱，得到诊断信息，并将所述诊断信息确定为所述报告信息。

本实施例并不限定图像信息的具体获取过程，由于目标图像的生成顺序可以表示人体内部位置的顺序，因此图像信息与人体内部位置相关。例如图像信息可以为人体食管内没有病灶，胃部开始有病灶，胃底病灶较多。利用该图像信息筛选预设知识图谱，可以得到诊断信息，并将诊断信息确定为报告信息。诊断信息即为具体的病症信息，其可以为病症名称或编号等。

可以理解的是，在利用预设知识图谱得到报告信息前，可以先在本地生成预设知识图谱，因此内镜报告生成装置还可以包括：

信息提取模块，用于获取多个初始医学数据，并对初始医学数据进行信息提取，得到实体信息、关系信息和属性信息。

构建模块，用于基于关系信息，对实体信息和属性信息进行对应关系构建处理，得到预设知识图谱；对应关系构建处理包括实体对齐处理、关系对齐处理、属性对齐处理、冲突消解处理和格式化处理中的至少一项

初始医学数据具体可以为检查报告、医学书籍等，具体内容不做限定。通过信息提取，可以得到实体信息、关系信息以及属性信息。其中，实体信息可以为病灶信息；关系信息用于记录病灶信息与实体信息间的对应关系；属性信息可以为病症信息，即诊断信息，或者可以为病灶对应的属性信息，例如病灶的特征等。实体对齐处理、关系对齐处理和属性对齐处理即为将描述方式不同但实质相同的多个实体、关系或属性进行统一。冲突消解处理即为从多个相互违背的关系中确定出正确的一个，并将其他关系删除。格式化处理用于将各个实体、关系和属性的表示方式进行统一，便于在后续查询。通过上述处理，即可得到预设知识图谱。

在一种可行的实施方式中，图像识别模型可以识别两类不同的目标图像，相应的，代表图像也可以为两类图像中的代表图像。具体的，报告生成模块可以包括：

第一识别单元，用于对各个目标图像进行目标部位识别处理，得到第一代表图像。

第二识别单元，用于对各个目标图像进行异常识别处理，得到第二代表图像。

在本实施例中，目标图像不仅包括记录有病灶的内镜图像，还包括记录有目标部位的内镜图像。可以理解的是，目标部位识别处理和异常识别处理可以由训练好的网络模型执行。第一识别单元用于识别记录有指定部位的内镜图像，即对目标图像进行目标部位识别处理，得到对应的第一代表图像。本实施例并不限定目标部位识别处理的具体过程，例如可以对各个目标图像进行分类处理，得到多种类别的目标图像，例如人脸图像、口腔图像、食管图像、胃部图像、小肠图像、结肠图像等，并将指定类别的图像确定为第一代表图像。例如将胃部图像确定为第一代表图像，第一代表图像的具体数量不做限定，可以为一个或多个。在另一种实施方式中，可以计算各个目标图像为目标部位图像的置信度，并将置信度大于阈值的图像确定为第一代表图像。异常识别处理即为病灶识别处理，其可以用于在多个记录有病灶图像的目标图像中筛选出病灶明显的图像，即第二代表图像，以便使用户能够清楚了解病灶的情况；或者可以用于筛选出其他符合规定的图像。另外，由于各个内镜图像先后生成，胶囊内镜在人体内的移动通常也是单向的，因此内镜图像的生成顺序与其记录的人体内部位置呈线性的对应关系。通过得到第一代表图像，可以对各个第二代表图像记录的部位进行定位，同时有利于在报告中根据检查顺序对人体内部情况进行说明。

进一步的，为了减少代表图像的数量，第一识别单元可以进一步包括：

候选子单元，用于分别计算各个目标图像与各个目标部位对应的置信度，并将置信度大于置信度阈值的目标图像确定为候选代表图像。

确定子单元，用于从各个目标部位对应的候选代表图像中确定最佳代表图像，并将各个目标部位对应的最佳代表图像确定为第一代表图像。

在本实施例中，各个目标部位可能对应于多个候选代表图像，即置信度大于置信度阈值的目标图像，为了减少代表图像的数量，可以将各个目标部位对应的多个候选代表图像中质量最好的图像，即最佳代表图像，确定为第一代表图像，以便减少第一代表图像的数量，进而减少内镜报告的长度。本实施例并不限定质量的具体定义，例如可以为清晰度最高的图像，或者可以为平均亮度最接近目标亮度的图像。

进一步的，为了对人体内情况进行具体的说明，内镜报告内除了包括对目标图像进行分析说明的报告信息外，还可以包括对各个代表图像进行说明的图像说明信息。因此报告生成模块还可以包括：

说明信息生成单元，用于对代表图像进行视觉语义联合处理，得到图像说明信息。

报告生成单元，用于利用图像说明信息、报告信息和代表图像生成内镜报告

视觉语义联合处理可以由深度学习模型执行，深度学习模型的训练数据为图像和对应的描述语句，该模型将图像和描述语句转换为定长向量，并将其对应关系嵌入至矢量空间中。在训练结束后，输入代表图像，深度学习模型即可对该代表图像的向量进行临近搜索，完成图像和描述语句的匹配和检索，得到对应的图像说明信息，进而利用其生成内镜报告。本实施例中，还可以存在报告模板，通过将图像说明信息、报告信息以及代表图像插入报告模板，即可生成内镜报告，该方法可以快速生成内镜报告。

请参考图2，图2为本申请实施例提供的一种具体的内镜报告生成装置的结构示意图。其中数据接收模块用于获取内镜图像，以及与内镜图像对应的采集设备型号信息(即内镜信息)。将内镜图像输入至训练好的图像识别模块，即可得到目标图像，目标图像包括有目标部位对应的图像和记录有病灶的图像。数据接收模块将采集设备型号信息发送至关键帧图像选取模块，以便根据采集设备型号信息选择关键帧图像(即代表图像)。例如，采集设备型号信息是小肠胶囊内镜的型号信息，则选取：人脸、食管、幽门、十二指肠球部、回盲瓣作为目标部位，并将记录有目标部位的目标图像确定为代表图像。或者当采集设备型号信息是胃胶囊型号信息时，则选取：人脸、食管、贲门、胃底、胃体、胃窦、胃角、幽门、十二指肠球部作为目标部位，并将记录有目标部位的目标图像确定为代表图像。同时，利用代表图像或者目标图像对知识图谱进行筛选，得到报告信息。最后利用报告生成与交互模块生成内镜报告，并输出内镜报告。

下面对本申请实施例提供的内镜报告生成方法进行介绍，下文描述的内镜报告生成方法与上文描述的内镜报告生成装置可相互对应参照。

请参考图3，图3为本申请实施例提供的一种内镜报告生成方法流程图，包括：

S101：获取多个内镜图像；

S102：将内镜图像输入图像识别模型，得到多个目标图像；

S103：基于目标图像，从预设知识图谱中提取对应的报告信息；

S104：在目标图像中选择代表图像，并利用代表图像和报告信息生成内镜报告。

可选地，在目标图像中选择代表图像，包括：

对各个目标图像进行目标部位识别处理，得到第一代表图像；

对各个目标图像进行异常识别处理，得到第二代表图像。

可选地，对各个目标图像进行目标部位识别处理，得到第一代表图像，包括：

分别计算各个目标图像与各个目标部位对应的置信度，并将置信度大于置信度阈值的目标图像确定为候选代表图像；

从各个目标部位对应的候选代表图像中确定最佳代表图像，并将各个目标部位对应的最佳代表图像确定为第一代表图像。

可选地，基于目标图像，从预设知识图谱中提取对应的报告信息，包括：

根据目标图像的生成顺序，提取目标图像对应的图像信息；

图像信息筛选预设知识图谱，得到诊断信息，并将诊断信息确定为报告信息。

可选地，预设知识图谱的生成过程，包括：

获取多个初始医学数据，并对初始医学数据进行信息提取，得到实体信息、关系信息和属性信息；

基于关系信息，对实体信息和属性信息进行对应关系构建处理，得到预设知识图谱；对应关系构建处理包括实体对齐处理、关系对齐处理、属性对齐处理、冲突消解处理和格式化处理中的至少一项。

可选地，利用代表图像和报告信息生成内镜报告，包括：

对代表图像进行视觉语义联合处理，得到图像说明信息；

利用图像说明信息、报告信息和代表图像生成内镜报告。

可选地，还包括：

获取内镜图像对应的内镜信息；

相应的，还包括：

根据内镜信息，从多个候选识别模型中确定图像识别模型。

下面对本申请实施例提供的电子设备进行介绍，下文描述的电子设备与上文描述的内镜报告生成装置可相互对应参照。

请参考图4，图4为本申请实施例提供的一种电子设备的结构示意图。其中电子设备100可以包括处理器101和存储器102，还可以进一步包括多媒体组件103、信息输入/信息输出(I/O)接口104以及通信组件105中的一种或多种。

其中，处理器101用于控制电子设备100的整体操作，以完成上述的内镜报告生成装置中的全部或部分步骤；存储器102用于存储各种类型的数据以支持在电子设备100的操作，这些数据例如可以包括用于在该电子设备100上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，SRAM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、只读存储器(Read-OnlyMemory，ROM)、磁存储器、快闪存储器、磁盘或光盘中的一种或多种。

多媒体组件103可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器102或通过通信组件105发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口104为处理器101和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件105用于电子设备100与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near Field Communication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件105可以包括：Wi-Fi部件，蓝牙部件，NFC部件。

电子设备100可以被一个或多个应用专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、数字信号处理器(Digital Signal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field ProgrammableGate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述实施例给出的内镜报告生成装置。

下面对本申请实施例提供的计算机可读存储介质进行介绍，下文描述的计算机可读存储介质与上文描述的内镜报告生成装置可相互对应参照。

本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的内镜报告生成方法的步骤。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本领域技术人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应该认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语包括、包含或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种内镜报告生成装置，其特征在于，包括：

图像获取模块，用于获取多个内镜图像；

识别模块，用于将所述内镜图像输入图像识别模型，得到多个目标图像；

信息获取模块，用于基于所述目标图像，从预设知识图谱中提取对应的报告信息；

报告生成模块，用于在所述目标图像中选择代表图像，并利用所述代表图像和所述报告信息生成内镜报告。

2.根据权利要求1所述的内镜报告生成装置，其特征在于，所述报告生成模块，包括：

第一识别单元，用于对各个所述目标图像进行目标部位识别处理，得到第一代表图像；

第二识别单元，用于对各个所述目标图像进行异常识别处理，得到第二代表图像。

3.根据权利要求2所述的内镜报告生成装置，其特征在于，所述第一识别单元，包括：

候选子单元，用于分别计算各个所述目标图像与各个目标部位对应的置信度，并将所述置信度大于置信度阈值的所述目标图像确定为候选代表图像；

确定子单元，用于从各个所述目标部位对应的所述候选代表图像中确定最佳代表图像，并将各个所述目标部位对应的所述最佳代表图像确定为所述第一代表图像。

4.根据权利要求1所述的内镜报告生成装置，其特征在于，所述信息获取模块，包括：

图像信息提取单元，用于根据所述目标图像的生成顺序，提取所述目标图像对应的图像信息；

筛选单元，用于利用所述图像信息筛选所述预设知识图谱，得到诊断信息，并将所述诊断信息确定为所述报告信息。

5.根据权利要求1所述的内镜报告生成装置，其特征在于，还包括：

信息提取模块，用于获取多个初始医学数据，并对所述初始医学数据进行信息提取，得到实体信息、关系信息和属性信息；

构建模块，用于基于所述关系信息，对所述实体信息和所述属性信息进行对应关系构建处理，得到所述预设知识图谱；所述对应关系构建处理包括实体对齐处理、关系对齐处理、属性对齐处理、冲突消解处理和格式化处理中的至少一项。

6.根据权利要求1所述的内镜报告生成装置，其特征在于，所述报告生成模块，包括：

说明信息生成单元，用于对所述代表图像进行视觉语义联合处理，得到图像说明信息；

报告生成单元，用于利用所述图像说明信息、所述报告信息和所述代表图像生成所述内镜报告。

7.根据权利要求1所述的内镜报告生成装置，其特征在于，还包括：

内镜信息获取模块，用于获取所述内镜图像对应的内镜信息；

相应的，还包括：

模型选择模块，用于根据所述内镜信息，从多个候选识别模型中确定所述图像识别模型。

8.一种内镜报告生成方法，其特征在于，包括：

获取多个内镜图像；

将所述内镜图像输入图像识别模型，得到多个目标图像；

基于所述目标图像，从预设知识图谱中提取对应的报告信息；

在所述目标图像中选择代表图像，并利用所述代表图像和所述报告信息生成内镜报告。

9.一种电子设备，其特征在于，包括存储器和处理器，其中：

所述存储器，用于保存计算机程序；

所述处理器，用于执行所述计算机程序，以实现如权利要求8所述的内镜报告生成方法。

10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求8所述的内镜报告生成方法。

Images