CN109935294A - 一种文本报告输出方法、装置、存储介质及终端 - Google Patents

Abstract

本申请实施例公开了一种文本报告输出方法、装置、存储介质及终端，所述方法包括：获取待识别图像，并获取所述待识别图像的图像特征信息；基于所述图像特征信息并采用训练后的神经网络协同过滤模型，在预设的文本报告集合中获取与所述图像特征信息相匹配的目标文本报告；输出所述目标文本报告。因此，采用本申请实施例，可以确保对患者进行医学检查所生成的文本报告的准确率。

Description

一种文本报告输出方法、装置、存储介质及终端

技术领域

本申请涉及计算机技术领域，尤其涉及一种文本报告输出方法、装置、存 储介质及终端。

背景技术

随着医疗营销技术的不断发展，医生可以通过医学影像高效地确定患者的 病症并填写相应的文本报告，诊断时长大幅减少。

目前文本报告主要是基于报告模板自动匹配加医生诊断而生成，而事实上， 通过人工诊断往往发生漏检错检的情况，因此，依赖人工诊断难以保证对患者 进行医学检查所生成的文本报告的准确率。

发明内容

本申请实施例提供了一种文本报告输出方法、装置、存储介质及终端，可 以解决依赖人工诊断难以保证对患者进行医学检查所生成的文本报告的准确率 的问题。所述技术方案如下；

第一方面，本申请实施例提供了一种文本报告输出方法，所述方法包括：

获取待识别图像，并获取所述待识别图像的图像特征信息；

基于所述图像特征信息并采用训练后的神经网络协同过滤模型，在预设的 文本报告集合中获取与所述图像特征信息相匹配的目标文本报告；

输出所述目标文本报告。

第二方面，本申请实施例提供了一种文本报告输出装置，所述装置包括：

图像信息获取模块，用于获取待识别图像，并获取所述待识别图像的图像 特征信息；

报告获取模块，用于基于所述图像特征信息并采用训练后的神经网络协同 过滤模型，在预设的文本报告集合中获取与所述图像特征信息相匹配的目标文 本报告；

报告输出模块，用于输出所述目标文本报告。

第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质 存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。

第四方面，本申请实施例提供一种终端，可包括：处理器和存储器；其中， 所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行 上述的方法步骤。

本申请一些实施例提供的技术方案带来的有益效果至少包括：

在本申请实施例中，获取待识别图像，并获取所述待识别图像的图像特征 信息，然后基于所述图像特征信息并采用训练后的神经网络协同过滤模型，在 预设的文本报告集合中获取与所述图像特征信息相匹配的目标文本报告，并输 出所述目标文本报告。通过机器学习自动在文本报告集合中查找符合待识别图 像的文本报告，不依赖人工诊断或机器诊断，从而可以确保对患者进行医学检 查所生成的文本报告的准确率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施 例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述 中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付 出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种文本报告输出方法的流程示意图；

图2是本申请实施例提供的一种文本报告输出方法的流程示意图；

图3是本申请实施例提供的一种CNN模型的结构示意图；

图4是本申请实施例提供的一种用户特征信息的举例示意图；

图5是本申请实施例提供的一种PCA降维处理的举例示意图；

图6是本申请实施例提供的一种医学影像及其对应的文本报告的举例示意 图；

图7是本申请实施例提供的一种RNN模型的结构示意图；

图8是本申请实施例提供的一种神经网络协同过滤模型的结构示意图；

图9是本申请实施例提供的一种文本报告输出装置的结构示意图；

图10是本申请实施例提供的一种文本报告输出装置的结构示意图；

图11是本申请实施例提供的一种报告获取模块的结构示意图；

图12是本申请实施例提供的一种模型训练模块的结构示意图；

图13是本申请实施例提供的一种终端的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请 实施例方式作进一步地详细描述。

下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同 或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一 致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的 一些方面相一致的装置和方法的例子。

在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描 述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而 言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描 述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对 象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存 在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

在本申请中，除非另有明确的规定和限定，术语“连接”、“固定”等应 做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一 体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒 介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另 有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述 术语在本申请中的具体含义。

另外，本申请各个实施例之间的技术方案可以相互结合，但是必须是以本 领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实 现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

下面将结合附图1-附图8，对本申请实施例提供的文本报告输出方法进行详 细介绍。

请参见图1，为本申请实施例提供了一种文本报告输出方法的流程示意图。 如图1所示，本申请实施例的所述方法可以包括以下步骤：

S101，获取待识别图像，并获取所述待识别图像的图像特征信息；

可以理解的是，所述待识别图像是指用于识别的图像，可以为任何包含了 特征信息的图像，如医学影像，人脸图像，人体图像等。

获取的该待识别图像可以为当前所采集，例如当前通过核磁，CT，超声， 各种X光机，各种红外仪、显微仪等设备采集的图像，也可以为直接在预存的 图像库中调用。

若该待识别图像为医学影像，则可以从影像归档和通信系统(Picture Archivingand Communication Systems，PACS)中直接调用。PACS是应用在医 院影像科室的系统，主要的任务就是把日常产生的各种医学影像通过各种接口 (如模拟，DICOM，网络)以数字化的方式海量保存起来，当需要的时候在一 定的授权下能够快速的调回使用，同时增加一些辅助诊断管理功能。它在各种 影像设备间传输数据和组织存储数据具有重要作用。

若该待识别图像为人体图像，则可以为通过摄像头所拍摄，如当前拍摄或 者从图片库中所选择。

每个图像包含有图像特征信息，如图像的颜色特征、纹理特征、形状特征 和空间关系特征。其中，颜色特征是一种全局特征，描述了图像或图像区域所 对应的景物的表面性质；纹理特征也是一种全局特征，它也描述了图像或图像 区域所对应景物的表面性质；形状特征有两类表示方法，一类是轮廓特征，另 一类是区域特征，图像的轮廓特征主要针对物体的外边界，而图像的区域特征 则关系到整个形状区域；空间关系特征，是指图像中分割出来的多个目标之间 的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重 叠关系和包含/包容关系等。

具体获取待识别图像的图像特征信息可以为通过特征识别算法对待图像进 行特征识别，如方向梯度直方图(Histogram of Oriented Gradient，HOG)特征 算法、局部二值模式(Local Binary Pattern，LBP)特征算法、Haar特征算法以 及卷积神经网络CNN(Convolutional Neural Network，CNN)等。

S102，基于所述图像特征信息并采用训练后的神经网络协同过滤模型，在 预设的文本报告集合中获取与所述图像特征信息相匹配的目标文本报告；

可以理解的是，神经网络协同过滤模型(Neural Collaborative Filtering，NCF)为用户对待识别图像进行处理，从而找到与该待识别图像相匹配的目标文本报 告的模型。

所述NCF包括多层神经网络，第一层为待识别图像的输入层，中间层为对 待识别图像的处理层，最后一层为处理结果的输出层。

预设的文本报告集合即为预先所建立的文本报告集合，该文本报告集合可 以独立存储，也可以存储在指定的系统或数据库中，如对于医学影像，文本报 告集合可以存储在PACS中。

需要说明的是，在文本报告集合中存储有历史图像的历史图像特征信息以 及该历史图像对应的历史文本报告。

例如，如表1所示为文本报告集合，在其中对应存储有多个历史图像特征 以及历史文本报告。

表1

历史图像特征	历史文本报告
		历史图像特征1	历史文本报告1
历史图像特征2	历史文本报告2
		历史图像特征3	历史文本报告3
…	…

需要说明的是，可预先对NCF进行训练，而训练样本可以为从文本报告集 合中所获取，训练样本可以包括历史图像特征和历史文本报告。

可选的，在文本报告集合中还可以包括历史图像对应的用户特征信息，如 用户基本特征(姓名、性别、年龄、身高、体重等)，还可以包括用户的其他特 征信息，以待识别图像为医学影像的场景为例，用户特征信息还可以包括用户 体检报告信息、用户看病记录等，其对应的映射关系表如表2所示。

表2

在一种具体的实现方式中，将图像特征信息(和用户特征信息)输入至NCF 中，然后遍历文本报告集合中的历史图像特征(和用户特征信息)，并找到相匹 配的结果，若找到与历史图像特征2(和用户特征2)相匹配，则确定历史文本 报告2为所要推送的目标文本报告。

当然，当匹配结果包括多个的情况下，分别获取每个匹配结果对应的匹配 相似度(或者匹配得到)，找到其中匹配相似度最高的结果所对应的历史文本报 告进行推送。

S103，输出所述目标文本报告。

在一种具体的实现方式中，将所查找到的目标文本报告进行输出，展示。 而输出方式可以有多种，如直接展示该文本报告，或者按照预设的输出规则将 目标文本报告与待识别图像同时展示。其中预设的输出规则可以包括图像与报 告在同一展示界面的展示位置，展示颜色，展示风格等。

在本申请实施例中，获取待识别图像，并获取所述待识别图像的图像特征 信息，然后基于所述图像特征信息并采用训练后的神经网络协同过滤模型，在 预设的文本报告集合中获取与所述图像特征信息相匹配的目标文本报告，并输 出所述目标文本报告。通过机器学习自动在文本报告集合中查找符合待识别图 像的文本报告，不依赖人工诊断或机器诊断，从而可以确保对患者进行医学检 查所生成的文本报告的准确率。

请参见图2，为本申请实施例提供了一种文本报告输出方法的流程示意图。 本实施例以文本报告输出方法应用于终端中来举例说明。该文本报告输出方法 可以包括以下步骤：

S201，采集历史图像，获取所述历史图像对应的历史图像特征信息；

可以理解的是，历史图像可以为任何包含了特征信息的图像，如医学影像， 人脸图像，人体图像等。为方便描述，在本申请实施例中以所提及的图像均为 医学影像进行说明。

历史图像即为用户在当前日期之前所拍摄的医学影像，可以包括多个用户 的医学影像，每个用户也可以包括多张医学影像。

对于每张医学影像，包含有多个图像特征信息，如图像的颜色特征、纹理 特征、形状特征和空间关系特征等，可通过这些特征信息表征该图像，而这些 特征信息可通过多维向量进行表示。

具体获取历史图像的图像特征信息可以为通过特征识别算法对待图像进行 特征识别，如HOG特征算法、LBP特征算法、Haar特征算法以及CNN等。

其中，CNN是一种前馈神经网络，其人工神经元可以响应一部分覆盖范围 内的周围单元，对于大型图像处理有出色表现。CNN由一个或多个卷积层和顶 端的全连接层组成，同时也包括关联权重和池化层(pooling layer)。与其他深度 学习结构相比，CNN在图像和语音识别方面能够给出更好的结果。

基于此，在本申请实施例中，优先选择CNN来提取待识别图像的特征。一 种可行的实现方式为，选择CNN最后一个全连接层的输出作为每一张图像的特 征。

如图3所示为CNN的结构示意图，输入一张32*32尺寸的图像，最后会输 出分类结构，此处只提取图像的高阶特征表征图像，所以选择图3中的Full Connection层作为最后的特征向量。假设Full connection有1000个神经元，即 1000维，则该历史图像可以由这1000维的向量来表征，每个维度的值都是浮点 数。

需要说明的是，所采集的历史图像可以包括多张。而所采集的历史图像可 以为在历史图像库中获取，如从PACS中随机获取或者基于预设的采集规则在其 中采集。

S202，获取所述历史图像对应的历史用户特征信息，并获取所述历史图像 对应的历史文本报告；

可以理解的是，历史用户特征信息即为历史图像对应的用户的用户特征信 息，可以包括用户基本特征(姓名、性别、年龄、身高、体重等)，用户体检报 告信息、用户看病记录等。其中，用户看病记录可以为如图4所示的格式。

由于历史用户特征信息为结构化数据，其对应的属性即为用户的特征信息， 可通过多维向量表征用户的用户特征信息。

可选的，由于在历史用户特征信息中可能存在重复的特征信息或者不重要 的特征信息，可删除其中重复的或不重要的特征信息而进行降维处理。一种可 行的实现方式为，采用PCA(Principal Component Analysis，PCA)进行降为处 理。

其中，PCA是一种常用的数据分析方法，通过线性变换将原始数据变换为 一组各维度线性无关的表示，可用于提取数据的主要特征分量。在本申请实施 例中，采用PCA提取用户特征信息中一组相关性低的主特征，从而可以构建有 效的用户相似性关系。

例如，如图5所示，若某历史用户的历史用户特征信息为[X1X2X3X4X5]， 通过PCA处理后得到的历史用户特征信息通过[PC1PC2]表征。

历史文本报告即为历史图像的文本说明，也就是说，为该医学影像的诊断 信息。例如，如图6所示，某历史图像为a，其对应的历史文本报告为b。当然， 所对应的历史文本报告可以包括多种语言。

每个历史文本报告可为一个txt文件，每个历史文本报告都包含有文本特征 信息，同样的可采用特征提取算法其中报告中的特征信息，如，循环神经网络 (RecurrentNeural Network，RNN)。

当理解一句话的意思时，孤立的理解这句话的每个词是不够的，还需要处 理这些词连接起来的整个序列；当处理视频的时候，也不能只单独的去分析每 一帧，而要分析这些帧连接起来的整个序列。CNN的网络状态仅依赖于输入， 而RNN的状态不仅依赖于输入，且与网络上一时刻的状态有关，可用于处理序 列相关的问题。因此，在本申请实施例中可采用RNN提取每个历史文本报告的 文本特征信息，同样是选择最后一层全连接层作为特征向量。

例如，如图7所示为RNN结构示意图，输入文本报告中一连串的字符序列[W1W2W3W4W5]，通过RNN处理后，提取Fully Connected层的特征向量表 征该历史文本报告。假设Fully Connected层有1000个神经元，即1000维，则 每一份txt文件中的报告将由这1000维的向量进行表征，每个维度的值都是浮 点数。

需要说明的是，用户的体检记录以及历史文本报告可从医院管理信息系统(Hospital Management Information System，HMIS)中获取。HMIS是支撑医院 生产和运营管理的系统，主要目标是支持医院的行政管理与事务处理业务，减 轻事务处理人员劳动强度，辅助医院管理，辅助高层领导决策，提高医院工作 效率，从而使医院能够以少的投入获得更好的社会效益与经济效益，像财务管 理系统、人事管理系统、住院病人管理系统、药品库存管理系统等均属于HMIS 的范围。

S203，将所述历史图像特征信息、所述历史用户特征信息以及所述历史文 本报告保存至文本报告集合中；

一种可行的实现方式为，通过对历史图像、用户特征以及历史文本报告进 行特征提取后，可以列表的形式对应存储至文本报告集合中，如表2所示。

另一种可行的实现方式为，由于历史图像和历史文本报告都是非结构化数 据，因此，可将历史图像存放到指定存储空间，每张历史图像以ID命名；将该 历史图像对应的文本段落存放成一个独立txt文件，同样以该ID命名；最后通 过Json格式建立用户和历史图像及历史文本报告的对应关系，具体格式如下所 示：

[

{“用户”：“A”，“图片”：img111，“文本”：txt111}，

{“用户”：“B”，“图片”：img222，“文本”：txt222}，

{“用户”：“C”，“图片”：img333，“文本”：txt333}，

{“用户”：“D”，“图片”：img444，“文本”：txt444}，

……

]

S204，采集样本图像，获取所述样本图像的样本图像信息；

可以理解的是，所采集的样本图像可以为从所存储的历史图像中选择，而 对应的样本图像信息同样可以为在文本报告集合中获取，或者采用上述特征算 法提取，此处不再赘述。

S205，采集所述样本图像对应的样本用户特征信息以及所述样本图像对应 的样本文本报告；

可以理解的是，所采集的样本用户特征信息以及样本文本报告可以为从所 存储的文本报告集合中获取中选择，此处不再赘述。

S206，创建神经网络协同过滤模型，基于所述样本图像信息、所述用户特 征信息以及所述样本文本报告对所述神经网络协同过滤模型进行训练。

可以理解的是，神经网络协同过滤模型NCF为用户对待识别图像进行处理， 从而找到与该待识别图像相匹配的目标文本报告的模型。所述NCF包括多层神 经网络，第一层为待识别图像的输入层，中间层为对待识别图像的处理层，最 后一层为处理结果的输出层。

其对应的网络结构如图8所示，L1层为视觉特征(样本图像特征信息)、用 户特征(样本用户特征信息)以及语义特征(样本文本报告对应的特征信息) 的输入层，L2层为数据处理层，L3层为训练结果输出层。

具体的，将所述样本图像信息以及所述样本用户信息输入至所述神经网络 协同过滤模型中，得到所述样本图像信息以及所述样本用户信息对应的预测文 本报告，获取所述预测文本报告以及所述样本文本报告的第二匹配相似度，当 所述第二匹配相似度大于或者等于预设相似度阈值时，生成训练后的所述神经 网络协同过滤模型。当所述第二匹配相似度小于所述预设相似度阈值时，交给 有经验的医生对样本文本报告进行诊断复核，从而得到诊断复核后的样本文本 报告，人工诊断后的样本作为正确的数据集重新执行上述过程进行训练，直到 第二匹配相似度大于或者等于预设相似度阈值。

需要说明的是，在将样本图像信息、所述样本用户信息以及样本文本报告 输入到NCF之前，先将样本图像信息以及样本用户信息组合为多维向量，然后 将组合后的向量与样本文本报告对应的多维向量进行对齐。其中可采用 embedding进行特征对齐处理。

例如，user特征1200维＝视觉特征1000维+用户特征200维，item特征1000 维＝语义特征1000维，经过embedding后，user和item特征对齐为500维。

S207，获取待识别图像，并获取所述待识别图像的图像特征信息；

可以理解的是，所述待识别图像是指用于识别的图像，可以为任何包含了 特征信息的图像，如医学影像，人脸图像，人体图像等。在本申请实施例中， 所述待识别图像历史图像以及样本图像一致，同样为医学影像。

获取的该待识别图像可以为当前所采集，例如当前通过核磁，CT，超声， 各种X光机，各种红外仪、显微仪等设备采集的图像，也可以为直接在预存的 图像库中调用。

而对于待识别图像的图像特征信息的获取方式与历史图像的历史图像特征 获取方式相同，具体可参见S201，此处不再赘述。

S208，获取所述待识别图像对应的用户特征信息；

可以理解的是，所述待识别图像对应一用户，若用户对应的用户特征信息 存储在HMIS中，则可直接在HMIS中提取并采用上述方法分解成多维向量进 行表征。

S209，将所述图像特征信息以及所述用户特征信息输入至训练后的神经网 络协同过滤模型中；

S210，在所述文本报告集合中获取与所述图像特征信息以及所述用户特征 信息相匹配的目标文本报告集合，并获取所述目标文本报告集合中各目标文本 报告对应的第一匹配相似度；

例如，若文本报告集合为如表1所示的格式，若查找若找到与历史图像特 征1和用户特征1、历史图像特征3和用户特征4、历史图像特征6和用户特征 5相匹配，则目标文本报告集合包括历史文本报告1、历史文本报告3、历史文 本报告4、历史文本报告5和历史文本报告6，其分别对应的第一匹配相似度为 92％、90％、95％、88％、85％和90％。

S211，在所述各目标文本报告对应的第一匹配相似度中获取相似度最大值；

筛选出其中的相似度最大值为95％。

S212，在所述目标文本报告集合中获取所述相似度最大值对应的目标文本 报告；

则确定历史文本报告4为目标文本报告。

S213，输出所述目标文本报告。

具体可参见S301，此处不再赘述。

在本申请实施例中，获取待识别图像，并获取所述待识别图像的图像特征 信息，然后基于所述图像特征信息并采用训练后的神经网络协同过滤模型，在 预设的文本报告集合中获取与所述图像特征信息相匹配的目标文本报告，并输 出所述目标文本报告。通过机器学习自动在文本报告集合中查找符合待识别图 像的文本报告，不依赖人工诊断或机器诊断，从而可以确保对患者进行医学检 查所生成的文本报告的准确率。另外，还基于用户特征信息查找目标文本报告， 对查找条件进行优化，可以更进一步提高文本报告匹配的准确率。同时，引入 增量学习方法，支持将专家人工诊断的样本融合到原有神经网络协同过滤模型 的训练样本中，优化模型。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请 装置实施例中未披露的细节，请参照本申请方法实施例。

请参见图9，其示出了本申请一个示例性实施例提供的文本报告输出装置的 结构示意图。该文本报告输出装置可以通过软件、硬件或者两者的结合实现成 为终端的全部或一部分。该装置10包括图像信息获取模块101、报告获取模块 102和报告输出模块103。

图像信息获取模块101，用于获取待识别图像，并获取所述待识别图像的图 像特征信息；

报告获取模块102，用于基于所述图像特征信息并采用训练后的神经网络协 同过滤模型，在预设的文本报告集合中获取与所述图像特征信息相匹配的目标 文本报告；

报告输出模块103，用于输出所述目标文本报告。

可选的，如图10所示，所述装置10还包括：

用户信息获取模块104，用于获取所述待识别图像对应的用户特征信息；

所述报告获取模块102，具体用于：

基于所述图像特征信息以及所述用户特征信息并采用训练后的神经网络协 同过滤模型，在预设的文本报告集合中获取与所述图像特征信息以及所述用户 特征信息相匹配的目标文本报告。

可选的，如图10所示，所述装置10还包括：

图像信息采集模块105，用于采集历史图像，获取所述历史图像对应的历史 图像特征信息；

历史报告获取模块106，用于获取所述历史图像对应的历史用户特征信息， 并获取所述历史图像对应的历史文本报告；

历史信息保存模块107，用于将所述历史图像特征信息、所述历史用户特征 信息以及所述历史文本报告保存至文本报告集合中。

可选的，如图11所示，所述报告获取模块102，包括：

信息输入单元1021，用于将所述图像特征信息以及所述用户特征信息输入 至训练后的神经网络协同过滤模型中；

相似度获取单元1022，用于在所述文本报告集合中获取与所述图像特征信 息以及所述用户特征信息相匹配的目标文本报告集合，并获取所述目标文本报 告集合中各目标文本报告对应的第一匹配相似度；

报告获取单元1023，用于基于所述各目标文本报告对应的第一匹配相似度 在所述目标文本报告集合中获取目标文本报告。

可选的，所述报告获取单元1023，具体用于：

在所述各目标文本报告对应的第一匹配相似度中获取相似度最大值；

在所述目标文本报告集合中获取所述相似度最大值对应的目标文本报告。

可选的，如图10所示，所述装置10还包括：

样本信息获取模块108，用于采集样本图像，获取所述样本图像的样本图像 信息；

样本报告获取模块109，用于采集所述样本图像对应的样本用户特征信息以 及样本图像对应的样本文本报告；

模型训练模块110，用于创建神经网络协同过滤模型，基于所述样本图像信 息、所述用户特征信息以及所述样本文本报告对所述神经网络协同过滤模型进 行训练。

可选的，如图12所示，所述模型训练模块110，包括：

预测报告获取单元1101，用于将所述样本图像信息以及所述样本用户信息 输入至所述神经网络协同过滤模型中，得到所述样本图像信息以及所述样本用 户信息对应的预测文本报告；

模型生成单元1102，用于获取所述预测文本报告以及所述样本文本报告的 第二匹配相似度，当所述第二匹配相似度大于或者等于预设相似度阈值时，生 成训练后的所述神经网络协同过滤模型。

可选的，如图12所示，所述模型训练模块110，还包括：

模型修复单元1103，用于当所述第二匹配相似度小于所述预设相似度阈值 时，获取修复后的所述样本文本报告，触发所述模型生成单元获取所述预测文 本报告以及所述样本文本报告的第二匹配相似度。

需要说明的是，上述实施例提供的文本报告输出装置在执行文本报告输出 方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需 要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同 的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的 文本报告输出装置与文本报告输出方法实施例属于同一构思，其体现实现过程 详见方法实施例，这里不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请实施例中，获取待识别图像，并获取所述待识别图像的图像特征 信息，然后基于所述图像特征信息并采用训练后的神经网络协同过滤模型，在 预设的文本报告集合中获取与所述图像特征信息相匹配的目标文本报告，并输 出所述目标文本报告。通过机器学习自动在文本报告集合中查找符合待识别图 像的文本报告，不依赖人工诊断或机器诊断，从而可以确保对患者进行医学检 查所生成的文本报告的准确率。另外，还基于用户特征信息查找目标文本报告， 对查找条件进行优化，可以更进一步提高文本报告匹配的准确率。同时，引入 增量学习方法，支持将专家人工诊断的样本融合到原有神经网络协同过滤模型 的训练样本中，优化模型。

本申请实施例还提供了一种计算机存储介质，所述计算机存储介质可以存 储有多条指令，所述指令适于由处理器加载并执行如上述图1-图8所示实施例 的方法步骤，具体执行过程可以参见图1-图8所示实施例的具体说明，在此不 进行赘述。

本申请还提供了一种计算机程序产品，该计算机程序产品存储有至少一条 指令，所述至少一条指令由所述处理器加载并执行以实现如上各个实施例所述 的焦点状态刷新方法。

请参见图13，为本申请实施例提供了一种终端的结构示意图。如图13所示， 所述终端1000可以包括：至少一个处理器1001，至少一个网络接口1004，用 户接口1003，存储器1005，至少一个通信总线1002。

其中，通信总线1002用于实现这些组件之间的连接通信。

其中，用户接口1003可以包括显示屏(Display)、摄像头(Camera)，可选 用户接口1003还可以包括标准的有线接口、无线接口。

其中，网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI 接口)。

其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各 种借口和线路连接整个终端1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据， 执行终端1000的各种功能和处理数据。可选的，处理器1001可以采用数字信 号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的 至少一种硬件形式来实现。处理器1001可集成中央处理器(Central Processing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中 的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等； GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独 通过一块芯片进行实现。

其中，存储器1005可以包括随机存储器(Random Access Memory，RAM)， 也可以包括只读存储器(Read-Only Memory)。可选的，该存储器1005包括非 瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储 器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括 存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、 用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、 用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施 例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理 器1001的存储装置。如图13所示，作为一种计算机存储介质的存储器1005中 可以包括操作系统、网络通信模块、用户接口模块以及文本报告输出应用程序。

在图13所示的终端1000中，用户接口1003主要用于为用户提供输入的接 口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的 文本报告输出应用程序，并具体执行以下操作：

获取待识别图像，并获取所述待识别图像的图像特征信息；

基于所述图像特征信息并采用训练后的神经网络协同过滤模型，在预设的 文本报告集合中获取与所述图像特征信息相匹配的目标文本报告；

输出所述目标文本报告。

在一个实施例中，所述处理器1001在执行获取待识别图像，并获取所述待 识别图像的图像特征信息之后，还执行以下操作：

获取所述待识别图像对应的用户特征信息；

所述基于所述图像特征信息并采用训练后的神经网络协同过滤模型，在预 设的文本报告集合中获取与所述图像特征信息相匹配的目标文本报告，包括：

基于所述图像特征信息以及所述用户特征信息并采用训练后的神经网络协 同过滤模型，在预设的文本报告集合中获取与所述图像特征信息以及所述用户 特征信息相匹配的目标文本报告。

在一个实施例中，所述处理器1001还执行以下操作：

采集历史图像，获取所述历史图像对应的历史图像特征信息；

获取所述历史图像对应的历史用户特征信息，并获取所述历史图像对应的 历史文本报告；

将所述历史图像特征信息、所述样本用户特征信息以及所述历史文本报告 保存至文本报告集合中。

在一个实施例中，所述处理器1001在执行基于所述图像特征信息以及所述 用户特征信息并采用训练后的神经网络协同过滤模型，在预设的文本报告集合 中获取与所述图像特征信息以及所述用户特征信息相匹配的目标文本报告时， 具体执行以下操作：

将所述图像特征信息以及所述用户特征信息输入至训练后的神经网络协同 过滤模型中；

在所述文本报告集合中获取与所述图像特征信息以及所述用户特征信息相 匹配的目标文本报告集合，并获取所述目标文本报告集合中各目标文本报告对 应的第一匹配相似度；

基于所述各目标文本报告对应的第一匹配相似度在所述目标文本报告集合 中获取目标文本报告。

在一个实施例中，所述处理器1001在执行基于所述各目标文本报告对应的 第一匹配相似度在所述目标文本报告集合中获取目标文本报告时，具体执行以 下操作：

在所述各目标文本报告对应的第一匹配相似度中获取相似度最大值；

在所述目标文本报告集合中获取所述相似度最大值对应的目标文本报告。

在一个实施例中，所述处理器1001在执行将所述图像特征信息以及所述用 户特征信息输入至训练后的神经网络协同过滤模型中之前，还执行以下操作：

采集样本图像，获取所述样本图像的样本图像信息；

采集所述样本图像对应的样本用户特征信息以及样本图像对应的样本文本 报告；

创建神经网络协同过滤模型，基于所述样本图像信息、所述用户特征信息 以及所述样本文本报告对所述神经网络协同过滤模型进行训练。

在一个实施例中，所述处理器1001在执行基于所述样本图像信息、所述用 户特征信息以及所述样本文本报告对所述神经网络协同过滤模型进行训练时， 具体执行以下操作：

将所述样本图像信息以及所述样本用户信息输入至所述神经网络协同过滤 模型中，得到所述样本图像信息以及所述样本用户信息对应的预测文本报告；

获取所述预测文本报告以及所述样本文本报告的第二匹配相似度，当所述 第二匹配相似度大于或者等于预设相似度阈值时，生成训练后的所述神经网络 协同过滤模型。

在一个实施例中，所述处理器1001还执行以下操作：

当所述第二匹配相似度小于所述预设相似度阈值时，获取修复后的所述样 本文本报告，并执行所述获取所述预测文本报告以及所述样本文本报告的第二 匹配相似度的步骤。

在本申请实施例中，获取待识别图像，并获取所述待识别图像的图像特征 信息，然后基于所述图像特征信息并采用训练后的神经网络协同过滤模型，在 预设的文本报告集合中获取与所述图像特征信息相匹配的目标文本报告，并输 出所述目标文本报告。通过机器学习自动在文本报告集合中查找符合待识别图 像的文本报告，不依赖人工诊断或机器诊断，从而可以确保对患者进行医学检 查所生成的文本报告的准确率。另外，还基于用户特征信息查找目标文本报告， 对查找条件进行优化，可以更进一步提高文本报告匹配的准确率。同时，引入 增量学习方法，支持将专家人工诊断的样本融合到原有神经网络协同过滤模型 的训练样本中，优化模型。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算 机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。 其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之 权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (11)

1.一种文本报告输出方法，其特征在于，包括：

获取待识别图像，并获取所述待识别图像的图像特征信息；

基于所述图像特征信息并采用训练后的神经网络协同过滤模型，在预设的文本报告集合中获取与所述图像特征信息相匹配的目标文本报告；

输出所述目标文本报告。

2.根据权利要求1所述的方法，其特征在于，所述获取待识别图像，并获取所述待识别图像的图像特征信息之后，还包括：

获取所述待识别图像对应的用户特征信息；

所述基于所述图像特征信息并采用训练后的神经网络协同过滤模型，在预设的文本报告集合中获取与所述图像特征信息相匹配的目标文本报告，包括：

基于所述图像特征信息以及所述用户特征信息并采用训练后的神经网络协同过滤模型，在预设的文本报告集合中获取与所述图像特征信息以及所述用户特征信息相匹配的目标文本报告。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

采集历史图像，获取所述历史图像对应的历史图像特征信息；

获取所述历史图像对应的历史用户特征信息，并获取所述历史图像对应的历史文本报告；

将所述历史图像特征信息、所述历史用户特征信息以及所述历史文本报告保存至文本报告集合中。

4.根据权利要求3所述的方法，其特征在于，所述基于所述图像特征信息以及所述用户特征信息并采用训练后的神经网络协同过滤模型，在预设的文本报告集合中获取与所述图像特征信息以及所述用户特征信息相匹配的目标文本报告，包括：

将所述图像特征信息以及所述用户特征信息输入至训练后的神经网络协同过滤模型中；

在所述文本报告集合中获取与所述图像特征信息以及所述用户特征信息相匹配的目标文本报告集合，并获取所述目标文本报告集合中各目标文本报告对应的第一匹配相似度；

基于所述各目标文本报告对应的第一匹配相似度在所述目标文本报告集合中获取目标文本报告。

5.根据权利要求4所述的方法，其特征在于，所述基于所述各目标文本报告对应的第一匹配相似度在所述目标文本报告集合中获取目标文本报告，包括：

在所述各目标文本报告对应的第一匹配相似度中获取相似度最大值；

在所述目标文本报告集合中获取所述相似度最大值对应的目标文本报告。

6.根据权利要求4所述的方法，其特征在于，所述将所述图像特征信息以及所述用户特征信息输入至训练后的神经网络协同过滤模型中之前，还包括：

采集样本图像，获取所述样本图像的样本图像信息；

采集所述样本图像对应的样本用户特征信息以及样本图像对应的样本文本报告；

创建神经网络协同过滤模型，基于所述样本图像信息、所述用户特征信息以及所述样本文本报告对所述神经网络协同过滤模型进行训练。

7.根据权利要求6所述的方法，其特征在于，所述基于所述样本图像信息、所述用户特征信息以及所述样本文本报告对所述神经网络协同过滤模型进行训练，包括：

将所述样本图像信息以及所述样本用户信息输入至所述神经网络协同过滤模型中，得到所述样本图像信息以及所述样本用户信息对应的预测文本报告；

获取所述预测文本报告以及所述样本文本报告的第二匹配相似度，当所述第二匹配相似度大于或者等于预设相似度阈值时，生成训练后的所述神经网络协同过滤模型。

8.根据权利要求7所述的方法，其特征在于，所述方法还包括：

当所述第二匹配相似度小于所述预设相似度阈值时，获取修复后的所述样本文本报告，并执行所述获取所述预测文本报告以及所述样本文本报告的第二匹配相似度的步骤。

9.一种文本报告输出装置，其特征在于，包括：

图像信息获取模块，用于获取待识别图像，并获取所述待识别图像的图像特征信息；

报告获取模块，用于基于所述图像特征信息并采用训练后的神经网络协同过滤模型，在预设的文本报告集合中获取与所述图像特征信息相匹配的目标文本报告；

报告输出模块，用于输出所述目标文本报告。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1～8任意一项的方法步骤。

11.一种终端，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1～8任意一项的方法步骤。