CN109741806B - 一种医学影像诊断报告辅助生成方法及其装置 - Google Patents

Abstract

本发明提供了一种医学影像诊断报告辅助生成方法及其装置。其中所述方法包括：获取医生输入的医学影像描述信息；对所述医学影像描述信息进行语义分割，得到多个影像语义分节；利用预先训练的分节识别模型对所述影像语义分节进行识别，获得每个所述影像语义分节对应的诊断意见分节；将所有所述诊断意见分节组合，得到诊断意见信息，并根据所述诊断意见信息生成医学影像诊断报告。实现了基于神经网络技术在医生进行撰写诊断意见时自动辅助生成诊断报告，提高了基于医学影像对患者进行诊断的效率，提高了医学诊断的准确性、一致性和可信度。

Description

一种医学影像诊断报告辅助生成方法及其装置

技术领域

本发明涉及基于神经网络的医学影像诊断报告生成技术领域，更具体地说，涉及一种医学影像诊断报告辅助生成方法及其装置。

背景技术

放射科的医生(医学影像科)的职责主要进行普通X线片、电子计算机体层摄影(CT)、与磁共振成像(MRI)等医学影像工作，为临床医生提供诊断支持。

其中，工作的主要内容是对影像资料进行分析对比，得出诊断意见或进一步检查的建议。而目前，现有的影像科医生的工作流程为，观察医学影像，选择预先准备的模板后，手动输入医学影像描述，并根据自己输入的医学影像描述，手动输入对应的诊断意见。

在进行对于患者的医学影像进行描述并输入诊断意见的过程中，由于需要大量的手动输入过程，大大降低了对患者进行诊断的效率，过程中由于完全凭借工作经验输入，极易存在结论遗漏、判断错误、事实错误，甚至存在医学影像描述与诊断意见二者不一致的情况，此外，不同医生由于临床经验不同，所得到的诊断意见也存在不一致的情况，导致医学影像诊断报告的准确性差、可信度低，为患者的正确确诊造成安全隐患。

发明内容

有鉴于此，本发明提供一种医学影像诊断报告辅助生成方法及其装置，以解决现有技术中的缺陷。

本发明提供的一种医学影像诊断报告辅助生成方法，包括：

获取医生输入的医学影像描述信息；

对所述医学影像描述信息进行语义分割，得到多个影像语义分节；

利用预先训练的分节识别模型对所述影像语义分节进行识别，获得每个所述影像语义分节对应的诊断意见分节；

将所有所述诊断意见分节组合，得到诊断意见信息，并根据所述诊断意见信息生成医学影像诊断报告。

优选地，所述“利用预先训练的分节识别模型对所述影像语义分节进行识别，获得每个所述影像语义分节对应的诊断意见分节”包括：

基于多层循环神经网络，建立多层循环神经网络模型；

利用预存医学影像报告数据对所述多层循环神经网络模型训练，得到分节识别模型；

通过所述分节识别模型对所述影像语义分节中的每个字符单元依次进行递归计算，获得与所述影像语义分节对应的所述诊断意见分节。

优选地，所述“通过所述分节识别模型对所述影像语义分节中的每个字符单元依次进行递归计算，获得与所述影像语义分节对应的所述诊断意见分节”包括：

依次将所述影像语义分节中的所述字符单元作为输入数据，基于所述分节识别模型通过递归计算获得分节概率向量；

选取所述分节概率向量中概率最大的诊断字符作为输出数据，直至所述概率最大的诊断字符为结束标识符，得到所述诊断意见分节；其中，所述输入数据中还包括所述字符单元相邻的前一个字符单元对应的输出数据。

优选地，所述“利用预存医学影像报告数据对所述多层循环神经网络模型训练，得到分节识别模型”包括：

进行多层循环神经网络的编码过程，将所述预存医学影像报告数据进行分词，并将分词后的每个词语信息通过词嵌入并通过神经网络转换为对应的关系向量；

进行多层循环神经网络的解码过程，将所述关系向量作为解码过程的输入，将输入的所述关系向量映射成包含有向量关系的词概率向量作为输出；

将解码输出的所述词概率向量通过损失函数进行计算，通过计算结果更新所述多层循环神经网络模型，得到所述分节识别模型。

优选地，所述编码过程包括：

进行多层循环神经网络的编码，获取所述预存医学影像报告数据D，通过分词和词嵌入，将输入D转换为初始步t＝0对应的向量x；通过如下函数实现：

并且，将输出的向量x收集组合，作为关系向量；通过如下函数实现：

所述解码过程为：

y_i∈[0,1]^|V|,|y_i|＝1；

其中，y为所述词概率向量，V为输出字符集合。

优选地，所述“将解码输出的所述词概率向量通过损失函数进行计算，通过计算结果更新所述多层循环神经网络模型，得到所述分节识别模型”包括：

将解码输出的所述词概率向量y作为初步诊断意见，输入至损失网络中，通过损失函数计算期望值与预测值的交叉熵，并利用梯度下降算法更新所述多层循环神经网络模型，得到所述分节识别模型。

优选地，所述“对所述医学影像描述信息进行语义分割，得到多个影像语义分节”包括：

将所述医学影像描述信息转换为包含连续的词单元的单元序列；

在所述单元序列中，将每个所述词单元转换为表征其语义特征的对应的语义向量；

根据所述语义向量，输出表征所述词单元所在位置后断句概率的断句向量；

将所述断句向量与预设断句阈值比较，将其中超过所述预设断句阈值的所述断句向量对应的词单元所在位置作为断句区；

通过所述断句区对所述医学影像描述信息进行断句，得到所述影像语义分节。

优选地，所述“在所述单元序列中，将每个所述词单元转换为表征其语义特征的对应的语义向量”包括：

利用预先训练的语义神经网络模型，对所述词单元进行计算得到所述语义向量；其中，在每次根据依次输入的所述词单元进行计算后，更新所述语义向量，直至输入结束，得到更新后的语义向量。

优选地，所述“将所有所述诊断意见分节组合，得到诊断意见信息，并根据所述诊断意见信息生成医学影像诊断报告”包括：

获取所述诊断意见中邻近，且相似度达到预设语句相似阈值的诊断语句，作为相似语句；抽取所述相似语句中的公共语句区域，并且，将区别于所述公共语句区域的不同语句区域根据医学语义规则进行组合，得到组合语句；并将所述组合语句替换原有诊断意见中的所述相似语句，得到重组诊断意见；

获取患者的目标病症关键词，根据所述目标病症关键词对所述重组诊断意见进行关键词匹配；根据匹配结果，对所述重组诊断意见中的诊断语句进行排序，将其中匹配通过的语句提前至前端，得到重排诊断意见；

根据预设报告格式，基于所述重排诊断意见组合得到所述医学影像诊断报告。

此外，为解决上述问题，本发明还提供一种医学影像诊断报告辅助生成装置，包括：

获取模块，用于获取医生输入的医学影像描述信息；

分割模块，用于对所述医学影像描述信息进行语义分割，得到多个影像语义分节；

识别模块，用于利用预先训练的分节识别模型对所述影像语义分节进行识别，获得每个所述影像语义分节对应的诊断意见分节；

组合模块，用于将所有所述诊断意见分节组合，得到诊断意见信息，并根据所述诊断意见信息生成医学影像诊断报告。

本发明提供的一种医学影像诊断报告辅助生成方法及其装置。其中所述方法通过对医生所输入的医学影像描述信息进行语义分割，再基于神经网络技术，通过预先训练的模型进行识别，获得诊断意见分节，再通过组合手段得到诊断意见信息，进而生成包括该诊断意见信息的医学影像诊断报告。本发明实现了基于神经网络技术在医生进行撰写诊断意见时自动辅助生成诊断报告，提高了基于医学影像对患者进行诊断的效率，提高了医学诊断的准确性、一致性和可信度，避免了由于手动输入影像描述和医学诊断导致的结论遗漏、判断错误、事实错误等问题，也避免了报告中医学影像描述和诊断结论不一致、以及不同医生由于临床经验所撰写的诊断报告不一致的缺陷。

附图说明

图1为本发明医学影像诊断报告辅助生成方法实施例方案涉及的硬件运行环境的结构示意图；

图2为本发明医学影像诊断报告辅助生成方法第一实施例的流程示意图；

图3为本发明医学影像诊断报告辅助生成方法第二实施例中步骤S3000细化的流程示意图；

图4为本发明医学影像诊断报告辅助生成方法第二实施例中步骤S3100细化的流程示意图；

图5为本发明医学影像诊断报告辅助生成方法第二实施例中步骤S3110细化的流程示意图；

图6为本发明医学影像诊断报告辅助生成方法第二实施例中步骤S3320细化的流程示意图；

图7为本发明医学影像诊断报告辅助生成方法第二实施例中步骤S3321、S3322和S3323细化的流程示意图；

图8为本发明医学影像诊断报告辅助生成方法第二实施例中编码过程的原理图示意图；

图9为本发明医学影像诊断报告辅助生成方法的第二实施例中解码过程的原理示意图；

图10为本发明医学影像诊断报告辅助生成方法第三实施例中步骤S2000细化的流程示意图；

图11为本发明医学影像诊断报告辅助生成方法第四实施例中步骤S4000细化的流程示意图；

图12为本发明医学影像诊断报告辅助生成装置的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面详细描述本发明的实施例，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，是本发明实施例方案涉及的计算机设备的硬件运行环境的结构示意图。

本发明实施例的计算机设备可以是的PC，也可以是智能手机、平板电脑、或者具有一定便携计算机等可移动式终端设备。如图1所示，该计算机设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏、输入单元比如键盘、遥控器，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。可选地，计算机设备还可以包括RF(Radio Frequency，射频)电路、音频电路、WiFi模块等等。此外，计算机设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的计算机设备并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、数据接口控制程序、网络连接程序以及医学影像诊断报告辅助生成程序。

本发明提供的一种医学影像诊断报告辅助生成方法。所述方法实现了基于神经网络技术在医生进行撰写诊断意见时自动辅助生成诊断报告，提高了基于医学影像对患者进行诊断的效率，提高了医学诊断的准确性、一致性和可信度。

实施例1：参照图2，本发明第一实施例提供一种医学影像诊断报告辅助生成方法，包括：

步骤S1000，获取医生输入的医学影像描述信息；

客观精准地描述医学影像，并基于此给出科学专业的诊断意见供临床医生参考是一线影像科医生的基本工作。在本实施例中，医学影像可来源于DR、CT、MRI等多种成像方式，可针对胸部、腹部、头部等人体各部位。医生根据所获得的医学影像进行对于该影像情况、现状、特征、程度的客观描述，即为医学影像描述信息。

例如，诊断描述1：右肺炎症伴右侧胸腔积液，建议抗炎治疗后复查，纵膈多发淋巴结肿大，请结合临床，左侧胸膜增厚，心包积液，主动脉及左右冠脉钙化。再例如诊断描述2：左侧额颗顶骨局部骨质缺如，局部脑实质膨出，左侧额骨颗骨眼眶诸构成骨左侧筛窦外侧壁蝶窦窦壁见多发骨质断裂，部分断端移位，左侧额颗叶可见斑片状密度增高影，边界欠清，周边见片状低密度影，左侧侧脑室扩大，邻近脑沟变窄消失，双侧额顶叶半卵圆中心及侧脑室旁亦见斑片状低密度影，边界欠清，中线结构轻度向左移位，左侧筛窦额窦及双侧上领窦蝶窦粘膜增厚，内见低密度影充填，部分可见斑片状高密度影，增强未见明显异常强化灶。

步骤S2000，对所述医学影像描述信息进行语义分割，得到多个影像语义分节；

上述，语义分割，即为根据医学语义、常识性语法的语义，以及语义完整性等规则进行的分割。现有的医学词句识别过程中，其分割、断句的方法均为通过利用其中所存在的标点符号进行分割，所得到的分割结果往往存在一句完整的诊断描述，由于其中存在逗号顿号等，被分割成多个独立的单元；或者，语句之间由于存在句号，但是其语义并没有表达完整，需要结合前后语句才能形成完整表达，此时句号则造成该描述被自动分割成诸多单元。例如，医学影像描述为“右肺炎症伴右侧胸腔积液，建议抗炎治疗后复查，纵膈多发淋巴结肿大，请结合临床，左侧胸膜增厚，心包积液，主动脉及左右冠脉钙化”。

根据现有的词句分割识别技术中，其分割后得到的语句单元分别为：“右肺炎症伴右侧胸腔积液”、“建议抗炎治疗后复查”、“纵膈多发淋巴结肿大”、“请结合临床”、“左侧胸膜增厚”、“心包积液”和“主动脉及左右冠脉钙化”，由此可见，该方法中将语义相关联的语句分割成为独立的单元，造成语义描述不完整甚至缺失变成无意义的语句。本实施例中，进行语义分割，分割后得到的多个影像语义分节分别为“右肺炎症伴右侧胸腔积液，建议抗炎治疗后复查”、“纵膈多发淋巴结肿大，请结合临床”、“左侧胸膜增厚”、“心包积液”和“主动脉及左右冠脉钙化”；由此可见，经过语义分割后，根据语义和语法常识，每个影像语义分节表达语义完整。其中，语义分割可采用但不限于根据预先设定的神经网络模型进行识别，从而得到语义向量的方式进行分割，也可以采用调取预设语法规则进行分割等方法。

本实施例中，通过对医生输入的医学影像描述进行语义分割，实现了基于语义，对医生的描述信息的分割，从而保证了每个语句在语义层面的完整性。避免了仅仅基于标点符号进行对于文字的分割所造成的语义不完整、语义缺失的缺点。

步骤S3000，利用预先训练的分节识别模型对所述影像语义分节进行识别，获得每个所述影像语义分节对应的诊断意见分节；

步骤S4000，将所有所述诊断意见分节组合，得到诊断意见信息，并根据所述诊断意见信息生成医学影像诊断报告。

上述，分节识别模型，为基于神经网络技术所构建的模型，通过预先准备的训练数据进行训练，理论上训练数据量越大，所得到的模型的计算结果越准确。通过预先训练的模型分别对影像语义分节进行识别，从而得到与其对应的诊断意见分节，进而对所有诊断意见分节进行整合，从而得到医学影像诊断报告。

本实施例提供的一种医学影像诊断报告辅助生成方法。通过对医生所输入的医学影像描述信息进行语义分割，再基于神经网络技术，通过预先训练的模型进行识别，获得诊断意见分节，再通过组合手段得到诊断意见信息，进而生成包括该诊断意见信息的医学影像诊断报告。本实施例实现了基于神经网络技术在医生进行撰写诊断意见时自动辅助生成诊断报告，提高了基于医学影像对患者进行诊断的效率，提高了医学诊断的准确性、一致性和可信度，避免了由于手工输入影像描述和医学诊断导致的结论遗漏、判断错误、事实错误等问题，也避免了报告中医学影像描述和诊断结论不一致、以及不同医生由于临床经验所撰写的诊断报告不一致的缺陷。

实施例2：参照图3-9，本发明第二实施例提供一种医学影像诊断报告辅助生成方法，基于上述图2所示的第一实施例，所述步骤S3000，“利用预先训练的分节识别模型对所述影像语义分节进行识别，获得每个所述影像语义分节对应的诊断意见分节”包括：

步骤S3100，基于多层循环神经网络，建立多层循环神经网络模型；

上述，本实施例中所述多层循环神经网络，其中循环神经网络为RNN(RecurrentNeural Network)。神经网络是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。不同于前馈神经网络的是，RNN可以利用它内部的记忆来处理任意时序的输入序列，这让它可以更容易处理如不分段的手写识别、语音识别等。

步骤S3200，利用预存医学影像报告数据对所述多层循环神经网络模型训练，得到分节识别模型；

上述，预存医学影像报告数据，为预先准备的用于对模型进行训练的包含有多个医学影像描述和对应的诊断的数据库，通过其中的医学影像描述对模型进行训练，并且通过对应的诊断进行修正，从而不断提高模型的准确性。

步骤S3300，通过所述分节识别模型对所述影像语义分节中的每个字符单元依次进行递归计算，获得与所述影像语义分节对应的所述诊断意见分节。

上述，需要说明的是，递归运算即为递归算法，是指在计算机科学中是指一种通过重复将问题分解为同类的子问题而解决问题的方法。递归式方法可以被用于解决很多的计算机科学问题，因此它是计算机科学中十分重要的一个概念。绝大多数编程语言支持函数的自调用，在这些语言中函数可以通过调用自身来进行递归。计算理论可以证明递归的作用可以完全取代循环，因此在很多函数编程语言(如Scheme)中习惯用递归来实现循环。

上述，字符单元，即为影像语义分节中的子单元，其可以为单个字，也可以为词或词组。例如，“今天天气很好啊”，其中所包括的字符单元可以为“今天”、“天气”“很好”和“啊”。或者再例如，“胸锁乳突肌裂伤”，其中所包括的字符单元可以为“胸锁乳突肌”和“裂伤”。

所述步骤S3300，“通过所述分节识别模型对所述影像语义分节中的每个字符单元依次进行递归计算，获得与所述影像语义分节对应的所述诊断意见分节”，包括：

步骤S3310，基于多层循环神经网络，建立多层循环神经网络模型；

步骤S3320，利用预存医学影像报告数据对所述多层循环神经网络模型训练，得到分节识别模型；

步骤S3330，通过所述分节识别模型对所述影像语义分节中的每个字符单元依次进行递归计算，获得与所述影像语义分节对应的所述诊断意见分节。

上述，获得到诊断意见分节的前提，是需要首先构建多层循环神经网络模型，并且对该模型进行大量医学影像报告数据的训练，在训练后模型的计算能力更新后，则得到分节识别模型。进而再通过分节识别模型对每个字符单元进行递归计算，从而获得到与影像语义分节对应的诊断意见分节。

其中，所述步骤S3330，“通过所述分节识别模型对所述影像语义分节中的每个字符单元依次进行递归计算，获得与所述影像语义分节对应的所述诊断意见分节”包括：

步骤S3331，依次将所述影像语义分节中的所述字符单元作为输入数据，基于所述分节识别模型通过递归计算获得分节概率向量；

步骤S3332，选取所述分节概率向量中概率最大的诊断字符作为输出数据，直至所述概率最大的诊断字符为结束标识符，得到所述诊断意见分节；其中，所述输入数据中还包括所述字符单元相邻的前一个字符单元对应的输出数据。

上述，在影像语义分节中包括一个或多个字符单元，若包含多个，则具有一定的顺序，进而在分节识别模型中，分别按照顺序依次将每个字符单元作为输入，通过模型计算获得分节概率向量，该向量中包含有多个概率值。

上述，每得到一个字符单元对应的分节概率向量，选取其中概率最大的诊断字符，作为一个输出数据，则对该字符单元相邻的下一个字符单元作为输入数据，并且将与其相邻的前一个字符单元对应的输出数据一起共同放入输入数据中，进行计算，直至该影像语义分节中的概率最大的诊断字符为结束标识符，例如为E，则停止计算，并输出诊断意见分节。

上述，基于步骤S3331和S3332，用户在逐字的输入医学影像描述信息后，分割为多个影像语义分节，并对所述影像语义分节进行逐个字符单元的输入，基于所述分节识别模型通过递归计算获得分节概率向量，该步骤即为编码过程。例如，输入是20个字的字符单元，会得到20个分节概率向量，进一步的进行解码，反复递归计算，直到输出E为止，经过30次计算，得到30个字。其中诊断字符，是根据分节概率向量得到的字符，并不与影像语义分节中的字符单元直接对应，也不一定是字符单元与诊断字符逐字的对应。例如，影像语义分节为：脊椎第3节骨裂；那么诊断意见分节可以为：脊柱1、3节压迫性骨折，2节挤压性骨折；由此可见，并不是绝对的字符数量层面上的一一对应关系。

在本实施例中，诊断字符的组合，可为预设的字典，其中可以包含有数量众多的诊断的语句。例如，诊断字符的字典包括【你，我，哈，好，E】五个词，其中E是结束标识符。则每次输出是一个五维向量，代表当前是哪个字的概率。比如第一次输出的分节概率向量(对第一个字符单元计算)是P1＝(0,9,0.1,0,0,0)，选取其中概率最大的，则根据概率得到【你】字。然后把当前输出(你字)作为输入，与下一个字符单元(P2)共同递归再算一次，比如得到P2＝(0.1,0.1,0.1,0.7,0)，于是选择最大的【好】字。然后继续递归，比如得到P3＝(0,0,0,0.1,0.9)，影像语义分节中概率最大的诊断字符为结束标识符，选择【E】，此时流程结束。于是整个预测结束，得到【你好】。即，诊断意见分节是在递归计算逐个由字典中的词拼出来的。每次递归的输出是当前字典中语词的概率分布，选择其中概率最大的，然后递归继续算，直到选中结束符，流程结束。这样每次计算均对当前的目标字符单元，以及该字符单元之前已经得到的输出数据进行共同计算，则保证得到的结果从语义上更加准确，提高了语义的流畅程度，提高了计算效率，并且使最后生成的诊断报告更具有可读性。

所述步骤S3320，“利用预存医学影像报告数据对所述多层循环神经网络模型训练，得到分节识别模型”包括：

步骤S3321，进行多层循环神经网络的编码过程，将所述预存医学影像报告数据进行分词，并将分词后的每个词语信息通过词嵌入并通过神经网络转换为对应的关系向量；

步骤S3322，进行多层循环神经网络的解码过程，将所述关系向量作为解码过程的输入，将输入的所述关系向量映射成包含有向量关系的词概率向量作为输出；

步骤S3323，将解码输出的所述词概率向量通过损失函数进行计算，通过计算结果更新所述多层循环神经网络模型，得到所述分节识别模型。

上述，在本实施例中，建立RNN，包括编码过程和解码过程，将用于训练的数据或字符作为编码过程的输入，输出编码结果，并且作为解码过程的输入，最终输出解码结果作为RNN的计算结果。

具体的，得到分节识别模型，需要经过对于多层循环神经网络模型的训练过程，该过程，可包括编码过程、解码过程，以及更新模型得到训练后模型的步骤，该步骤可在一定范围内循环，从而通过多次更新，达到提高模型计算准确度的目的。

其中，用于训练的数据，即为预存医学影像报告数据，通过对其中每一个数据进行分词，则得到分词后的词语信息，通过词嵌入，并通过神经网络计算，转换为对应的关系向量。并且，在解码过程中，再将该关系向量作为输入，并将其映射成为包含有向量关系的词概率向量。进而，再将输出的词概率向量通过损失函数进行计算，得到的计算结果则可进行对于多层循环神经网络模型的更新，从而得到分节识别模型。

其中，所述步骤S3321a，编码过程包括：进行多层循环神经网络的编码，获取所述预存医学影像报告数据D，通过分词和词嵌入，将输入D转换为初始步t＝0对应的向量x；通过如下函数实现：

并且，将输出的向量x收集组合，作为关系向量；通过如下函数实现：

所述步骤S3322a，解码过程为：

y_i∈[0,1]^|V|,|y_i|＝1；其中，y为所述词概率向量，V为输出字符集合。

上述，把训练数据统计一遍，找出训练数据中出现过的字符，构建成了输出字符集合V。

上述，一个多层RNN中的LSTM如图8，其是一个数学函数，拥有参数W【7】。其接收的输入为：

1.上一层RNN的输出x【1】；

2.当前层RNN上一步传递来的内部状态c【2】；

3.当前层RNN上一步传递来的层内输出m【3】；

其输出为：

1.内部状态c【4】；

2.层内输出m【5】；

3.层间输出x【6】，其值等于m；

其内部的计算公式为：

其中，σ为Sigmoid函数，⊙标识张量对应元素各自相乘。W与b为该单元的参数【7】，在训练时会被更新。公式中的所有字母均表示一个tensor，即张量。在编码(encode)阶段，影像描述D的每一个语词会首先经过一个word embedding(词嵌入)环节，转变为一个向量，即为上述公式中第一层RNN每一步t相对应的输入x。

这些x在网络中向前以及向上传播。我们将最后一层RNN的输出收集起来，作为整个影像描述的编码结果：

所述步骤S3323，“将解码输出的所述词概率向量通过损失函数进行计算，通过计算结果更新所述多层循环神经网络模型，得到所述分节识别模型”包括：

步骤S3323a，将解码输出的所述词概率向量y作为初步诊断意见，输入至损失网络中，通过损失函数计算期望值与预测值的交叉熵，并利用梯度下降算法更新所述多层循环神经网络模型，得到所述分节识别模型。

其中，所述损失函数为：

其中，v_i为第i个词语在所述预存训练词典中对应的序号。

上述，如图9，进入解码(decode)过程。其也是一个基于LSTM的多层RNN，但与编码阶段略有不同。包括：

1.上一层RNN的输出y【1】；

2.当前层RNN上一步传递来的内部状态h【2】；

3.当前层RNN上一步的上下文张量c【3】；

其输出为：

1.内部状态h【4】；

2.层内输出m【5】；

3.层间输出y【6】，其值等于m；

其内部的计算公式与编码器类似：

其中W与b为该单元的参数【7】，在训练时会被更新。与编码器的区别在于，这里存在一个上下文张量c，其计算方式为：

p＝σ(s)；a＝p⊙x；

其中x即为上文所述影像描述经过编码阶段映射为的张量，g是一个浅层神经网络。当前层上一步的上下文张量即为计算出的张量a与上一步的输出的组合。

与编码阶段类似，解码阶段将输入的若干向量x映射成若干向量y：

这里的y便可视为上述流程图中的初步诊断意见【4】，其为一个概率向量：y_i∈[0,1]^|V|,|y_i|＝1；

其中，V为分词字典(输出字符集合)，其中有一个特殊的字符E，标示一句话的结束。其中，E是加入字典的一个特殊的标识符，标识一句话的结束。比如，若某个结论是【心肺无异常。】，算法会先变成【心肺无异常。E】，然后进行训练。预测时，当模型输出E时，表示一句话已经结束。所以，E在此作为功能字符串，该字符串并不会在报告中出现，比如EOF。

现有的诊断报告辅助生成方法，均为通过人工规定特征，人工规定预测规则；并且，现有的方法往往是基于关键词匹配，利用人工规则进行诊断预测。比如看到“双肺透亮度可”，则可得到预测“双肺未见明显异常”。这往往只能处理极为简单的情况，且效果不佳。而本实施例中，利用的是海量数据，利用统计学算法。本实施例提供一种医学影像诊断报告辅助生成方法，不需要人工定义与抽取影像描述的特征，并且人工设计基于特征预测诊断结论的逻辑。采用神经网络，可以自动定义与抽取特征，并且自动学习出基于特征进行预测的逻辑。同时，神经网络可以更好地结合上下文，自动将全局信息嵌入特征中。

实施例3：参照图10，本发明第三实施例提供一种医学影像诊断报告辅助生成方法，基于上述图2所示的第一实施例，所述步骤S2000，“对所述医学影像描述信息进行语义分割，得到多个影像语义分节”包括：

步骤S2100，将所述医学影像描述信息转换为包含连续的词单元的单元序列；

上述，词单元，即为将医学影像描述进行转换后的，其中的每一个词，例如，“右肺炎症伴右侧胸腔积液”，其中词单元分别为右肺、炎症、伴、右侧、胸腔、积液。其依次排列在一起组成了单元序列。

步骤S2200，在所述单元序列中，将每个所述词单元转换为表征其语义特征的对应的语义向量；

步骤S2300，根据所述语义向量，输出表征所述词单元所在位置后断句概率的断句向量；

步骤S2400，将所述断句向量与预设断句阈值比较，将其中超过所述预设断句阈值的所述断句向量对应的词单元所在位置作为断句区；

步骤S2500，通过所述断句区对所述医学影像描述信息进行断句，得到所述影像语义分节。

进一步的，所述步骤S2200，“在所述单元序列中，将每个所述词单元转换为表征其语义特征的对应的语义向量”包括：

步骤S2210，利用预先训练的语义神经网络模型，对所述词单元进行计算得到所述语义向量；其中，在每次根据依次输入的所述词单元进行计算后，更新所述语义向量，直至输入结束，得到更新后的语义向量。

需要说明的是，医生输入的影像描述，一般为一段或多段文字，其中包括大量组合在一起的语句。例如：右肺炎症伴右侧胸腔积液，建议抗炎治疗后复查，纵膈多发淋巴结肿大，请结合临床，左侧胸膜增厚，心包积液，主动脉及左右冠脉钙化。

传统的方法是通过标点符号、关键词等进行分割，但这种做法很容易出错，或分割的不准确，因为其只能利用上文信息，缺乏对下文以及全局语义信息的把握。另外，断句是一个需要全盘统筹的问题，因为某处的分句会直接影响它后面的分句可能。

为弥补传统方法的不足，本实施例中，采用了基于卷积神经网络的方法来更加准确的进行语义分割。其算法流程是：1、将影像描述分词，变成逐个词的序列；2、将每一个词转变为一个语义向量，其表征了这个词的语义特征；3、将词按顺序输入神经网络，直到最后一次词；4、该神经网络的输出是一个与输入句子等长的向量，不妨称之为断句向量。其每一位的值是该位置后需要断句的概率。其中，4.1、该向量的初始值为全零。4.2、神经网络内部会维护一个语义向量，表征了当前已输入的部分描述的全局语义信息。4.3、每输入一个词，该语义向量会被更新，进一步断句向量也会被更新。5、最后按照断句向量的结果，把所有概率超过一定阈值的位置，视为需要断句的地方。

本实施例中，通过对医生输入的影像描述，利用卷积神经网络技术进行语义切割，为每个词单元建立对应的语义向量，并且每个语义向量分别对前面所获得的所有语义向量基础上进行更新，得到更新后语义向量，继而输出表征概率的断句向量，利用断句向量与预设断句阈值的比较结果，进行对断句区进行确定，即，将超过该阈值的断句向量的词单元的位置，作为断句区，从而进行断句。本实施例实现了基于卷积神经网络对于医生输入的影像描述的基于语义的断句，大大提高了进一步进行识别的准确性，以及得到最终组合后的报告的可阅读性。从而避免了现有的方法中，只能通过标点符号或空格位置进行断句，把语句切割造成语义不完整，语义缺失等问题。

实施例4：参照图11，本发明第四实施例提供一种医学影像诊断报告辅助生成方法，基于上述图2所示的第一实施例，在所述步骤S4000，“将所有所述诊断意见分节组合，得到诊断意见信息，并根据所述诊断意见信息生成医学影像诊断报告”包括：

步骤S4100，获取所述诊断意见中邻近，且相似度达到预设语句相似阈值的诊断语句，作为相似语句；抽取所述相似语句中的公共语句区域，并且，将区别于所述公共语句区域的不同语句区域根据医学语义规则进行组合，得到组合语句；并将所述组合语句替换原有诊断意见中的所述相似语句，得到重组诊断意见；

需要说明的是，由于整个算法的第一步对影像描述进行了断句，然后分别生成诊断意见，则需要将若干独立的诊断意见整合到一起，满足：A符合自然语言与医学用语的习惯；B满足医疗行业的整体规范；C满足每个医院的具体要求。

1、基于A举例：比如医学影像描述为，右肺中叶、左肺上叶舌段及左肺下叶基底段见条索样密度增高影。通过本实施例中所提供的方法得到的诊断意见可能为：左肺纤维灶；右肺纤维灶。

如此得到的结果，是不符合自然语言习惯的，本实施例中，会将其转换为符合自然语言与医学用语的习惯的阐述方式：“双肺纤维灶”。

2、基于B举例：医学影像报告的书写有一些惯例，例如，患者前来看病，是带着已知的目标病症前来进行检查，如果检查到相关问题则需要将该目标病症对应的诊断结果提前到最前端的位置，以便于患者查看。如果还存在其他的区别于目标病症的病症，则写在后面。在上述顺序下，按照诊断的重要程度书写。该重要程度是相对的，比如对于老人应优先肿瘤等，对于女性应优先妇科疾病等。

此外，当患者未检测到病症时，则写入信息“无明显异常”；如果有相关检测的病症时，则不书写该信息。

3、基于C举例：每家医院都会有本院诊断报告的一些格式上或形式上的具体要求，如：需要开头空两个格；需要依次标号1、2、3；除了最后一个诊断，其他的用分号隔开。

上述，预设语句相似阈值，为预先设定的语句相似度的最大阈值，如果大于等于该阈值，则可判定当前语句为相似语句。例如，左肺纤维灶；右肺纤维灶。上述，公共语句区域，即为相似语句中具有的相同的词语，例如上述举例中，公共语句区域即为肺纤维灶。进而，其中的区别于所述公共语句区域的不同语句区域即在此为“左和右”。上述，医学语义规则，即为预先设定的，常规医学用语用词的语法规则，通过该规则，对于组合的语句进行合并，从而得到组合语句。

寻找邻近且相似度高(达到阈值)的句子。抽取其公共部分，并将不同部分基于自然语言的规则进行组合，其间结合影像报告的术语与规范。

例如：1、左肺纤维灶。右肺纤维灶。转换后为(左|右)肺纤维灶＝>双肺纤维灶。2、心脏未见明显异常。肺部未见明显异常。纵膈未见明显异常＝>(心脏|肺部|纵膈)未见明显异常＝>心肺隔未见明显异常。

步骤S4200，获取患者的目标病症关键词，根据所述目标病症关键词对所述重组诊断意见进行关键词匹配；根据匹配结果，对所述重组诊断意见中的诊断语句进行排序，将其中匹配通过的语句提前至前端，得到重排诊断意见；

上述，目标病症关键词，即为预先输入的患者要求检查的目标病症，例如，患者要求来查看胸锁乳突肌位置的病灶区情况，则报告中的诊断需要围绕着该病症作为优先描述对象。在本实施例中，通过算法基于目标关键词匹配，寻找命中目标病症的诊断，提至最前，以方便患者优先了解所关注的病症。

此外，在S4200之后，还可以包括：获取包括程度评价标签与关键词对应关系的预设评估指标，对所述重排诊断意见中的每一个关键词所在语句进行标记，从而得到设有评价标签的所述重排诊断意见。

上述，评价标签，即为根据不同的病症所设置的重要程度标签，例如，一级、二级、三级；或者需要重视、需要了解、需要及时治疗等，从而，使患者第一时间了解所得到的诊断报告中的诊断的重要程度。即为，对于每一个诊断，算法会给出一个重要程度的评估，其基于当前患者的基本信息，以及预置的医学知识库(预设评估指标)。

步骤S4300，根据预设报告格式，基于所述重排诊断意见组合得到所述医学影像诊断报告。

上述，预设报告格式，即为格式模板，根据服务启动时配置的报告格式，将所有诊断组合成一段完整的诊断意见，从而得到报告。

此外，参考图12，本发明还提供一种医学影像诊断报告辅助生成装置，包括：获取模块10，用于获取医生输入的医学影像描述信息；分割模块20，用于对所述医学影像描述信息进行语义分割，得到多个影像语义分节；识别模块30，用于利用预先训练的分节识别模型对所述影像语义分节进行识别，获得每个所述影像语义分节对应的诊断意见分节；组合模块40，用于将所有所述诊断意见分节组合，得到诊断意见信息，并根据所述诊断意见信息生成医学影像诊断报告。

此外，本发明还提供一种计算机设备，所述计算机设备包括存储器以及处理器，所述存储器用于存储医学影像诊断报告辅助生成程序，所述处理器运行所述医学影像诊断报告辅助生成程序以使所述计算机设备执行如上述所述医学影像诊断报告辅助生成方法。

此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有医学影像诊断报告辅助生成程序，所述医学影像诊断报告辅助生成程序被处理器执行时实现如上述所述医学影像诊断报告辅助生成方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种医学影像诊断报告辅助生成方法，其特征在于，包括：

获取医生输入的医学影像描述信息；

对所述医学影像描述信息进行语义分割，得到多个影像语义分节；

利用预先训练的分节识别模型对所述影像语义分节进行识别，获得每个所述影像语义分节对应的诊断意见分节；

将所有所述诊断意见分节组合，得到诊断意见信息，并根据所述诊断意见信息生成医学影像诊断报告；

所述“利用预先训练的分节识别模型对所述影像语义分节进行识别，获得每个所述影像语义分节对应的诊断意见分节”包括：

基于多层循环神经网络，建立多层循环神经网络模型；

利用预存医学影像报告数据对所述多层循环神经网络模型训练，得到分节识别模型；

通过所述分节识别模型对所述影像语义分节中的每个字符单元依次进行递归计算，获得与所述影像语义分节对应的所述诊断意见分节；

所述“通过所述分节识别模型对所述影像语义分节中的每个字符单元依次进行递归计算，获得与所述影像语义分节对应的所述诊断意见分节”包括：

依次将所述影像语义分节中的所述字符单元作为输入数据，基于所述分节识别模型通过递归计算获得分节概率向量；

选取所述分节概率向量中概率最大的诊断字符作为输出数据，直至所述概率最大的诊断字符为结束标识符，得到所述诊断意见分节；其中，所述输入数据中还包括所述字符单元相邻的前一个字符单元对应的输出数据。

2.如权利要求1所述医学影像诊断报告辅助生成方法，其特征在于，所述“利用预存医学影像报告数据对所述多层循环神经网络模型训练，得到分节识别模型”包括：

进行多层循环神经网络的编码过程，将所述预存医学影像报告数据进行分词，并将分词后的每个词语信息通过词嵌入并通过神经网络转换为对应的关系向量；

进行多层循环神经网络的解码过程，将所述关系向量作为解码过程的输入，将输入的所述关系向量映射成包含有向量关系的词概率向量作为输出；

将解码输出的所述词概率向量通过损失函数进行计算，通过计算结果更新所述多层循环神经网络模型，得到所述分节识别模型。

3.如权利要求2所述医学影像诊断报告辅助生成方法，其特征在于，所述编码过程包括：

进行多层循环神经网络的编码，获取所述预存医学影像报告数据D，通过分词和词嵌入，将输入D转换为初始步t＝0对应的向量x；通过如下函数实现：

并且，将输出的向量x收集组合，作为关系向量；通过如下函数实现：

所述解码过程为：

y_i∈[0,1]^|V|,|y_i|＝1；

其中，y为所述词概率向量，V为输出字符集合。

4.如权利要求3所述医学影像诊断报告辅助生成方法，其特征在于，所述“将解码输出的所述词概率向量通过损失函数进行计算，通过计算结果更新所述多层循环神经网络模型，得到所述分节识别模型”包括：

将解码输出的所述词概率向量y作为初步诊断意见，输入至损失网络中，通过损失函数计算期望值与预测值的交叉熵，并利用梯度下降算法更新所述多层循环神经网络模型，得到所述分节识别模型。

5.如权利要求1所述医学影像诊断报告辅助生成方法，其特征在于，所述“对所述医学影像描述信息进行语义分割，得到多个影像语义分节”包括：

将所述医学影像描述信息转换为包含连续的词单元的单元序列；

在所述单元序列中，将每个所述词单元转换为表征其语义特征的对应的语义向量；

根据所述语义向量，输出表征所述词单元所在位置后断句概率的断句向量；

将所述断句向量与预设断句阈值比较，将其中超过所述预设断句阈值的所述断句向量对应的词单元所在位置作为断句区；

通过所述断句区对所述医学影像描述信息进行断句，得到所述影像语义分节。

6.如权利要求5所述医学影像诊断报告辅助生成方法，其特征在于，所述“在所述单元序列中，将每个所述词单元转换为表征其语义特征的对应的语义向量”包括：

利用预先训练的语义神经网络模型，对所述词单元进行计算得到所述语义向量；其中，在每次根据依次输入的所述词单元进行计算后，更新所述语义向量，直至输入结束，得到更新后的语义向量。

7.如权利要求1所述医学影像诊断报告辅助生成方法，其特征在于，所述“将所有所述诊断意见分节组合，得到诊断意见信息，并根据所述诊断意见信息生成医学影像诊断报告”包括：

获取所述诊断意见中邻近，且相似度达到预设语句相似阈值的诊断语句，作为相似语句；抽取所述相似语句中的公共语句区域，并且，将区别于所述公共语句区域的不同语句区域根据医学语义规则进行组合，得到组合语句；并将所述组合语句替换原有诊断意见中的所述相似语句，得到重组诊断意见；

获取患者的目标病症关键词，根据所述目标病症关键词对所述重组诊断意见进行关键词匹配；根据匹配结果，对所述重组诊断意见中的诊断语句进行排序，将其中匹配通过的语句提前至前端，得到重排诊断意见；

根据预设报告格式，基于所述重排诊断意见组合得到所述医学影像诊断报告。

8.一种医学影像诊断报告辅助生成装置，其特征在于，包括：

获取模块，用于获取医生输入的医学影像描述信息；

分割模块，用于对所述医学影像描述信息进行语义分割，得到多个影像语义分节；

识别模块，用于利用预先训练的分节识别模型对所述影像语义分节进行识别，获得每个所述影像语义分节对应的诊断意见分节；

组合模块，用于将所有所述诊断意见分节组合，得到诊断意见信息，并根据所述诊断意见信息生成医学影像诊断报告；

识别模块具体用于：

基于多层循环神经网络，建立多层循环神经网络模型；

利用预存医学影像报告数据对所述多层循环神经网络模型训练，得到分节识别模型；

通过所述分节识别模型对所述影像语义分节中的每个字符单元依次进行递归计算，获得与所述影像语义分节对应的所述诊断意见分节；

所述“通过所述分节识别模型对所述影像语义分节中的每个字符单元依次进行递归计算，获得与所述影像语义分节对应的所述诊断意见分节”包括：

依次将所述影像语义分节中的所述字符单元作为输入数据，基于所述分节识别模型通过递归计算获得分节概率向量；

选取所述分节概率向量中概率最大的诊断字符作为输出数据，直至所述概率最大的诊断字符为结束标识符，得到所述诊断意见分节；其中，所述输入数据中还包括所述字符单元相邻的前一个字符单元对应的输出数据。

Images