CN107908621A - 基于超声检查报告文本数据的乳腺肿瘤风险性评估系统 - Google Patents

Abstract

本发明涉及一种基于超声检查报告文本数据的乳腺肿瘤风险性评估系统，包括超声检查文本数据的预处理模块和结构化数据的评估模块；所述超声检查文本数据的预处理模块用于将大量非结构化的文本数据转化为评估算法可识别的结构化数据；所述结构化数据的评估模块根据结构化数据建立肿瘤风险评估模型，得到评估结果。本发明能够有效提高中文文本超声检查报告中的乳腺肿瘤良恶性评估的自动化和智能化水平。

Description

基于超声检查报告文本数据的乳腺肿瘤风险性评估系统

技术领域

本发明涉及医疗器械技术领域，特别是涉及一种基于超声检查报告文本数据的乳腺肿瘤风险性评估系统。

背景技术

随着现代生活节奏的加快，以及预防意识的薄弱，乳腺疾病的发病率呈现了逐年上升的趋势，乳腺癌也成为了女性最常见的癌症。据调查数据显示，中国每年的乳腺癌新发数量和死亡数量分别占全世界的12.2％和9.6％，而且按照当前趋势，至2021年中国乳腺癌患者数量可能将高达250万。如何提高乳腺肿瘤的诊断率，实现医疗资源的最大合理利用化，是医疗行业的一个难题。另外，如今大多数检查报告仍是由自然语言书写而成，海量错综复杂的半结构化，甚至是非结构化的数据挑战着医疗行业。这使得尽管病人的数据充足，但难以从这些数据中获取知识，也使得资源难以合理地分配，给整个医疗行业的发展带来了巨大的压力。就乳腺肿瘤这一疾病而言，其患者的检查信息分散在叙述性医疗文本中，无法直接交由计算机识别分析。所以首要解决的问题就是实现中文文本的结构化。常规的中文文本结构化方法，如依存句法分析(根据检测指标的词性、位置以及前后关系提取指标值)等，仍存在如下问题：1)由于医疗信息数据量大以及录入和存储不当导致患者的检查指标值数据缺失较多，检查报告中的指标值提取有较多为空，可用数据稀缺。2)医生诊断时为了方便记录常依据个人习惯采用不规范的医学专业术语简缩写，也不注重语法、句法，这就需要人工修改提取的不规范值等，导致人工干预较多，工作量较大。

强化学习是机器学习中的一个领域，强调基于环境以取得利益最大化，近几年成为一个研究热点。强化学习算法近似动态规划技巧，与传统的监督学习不同，不需要通过正例、反例来告知采取何种行为，而是通过试错自主学习寻找最优行为策略。由于传统的文本结构化方法，需要使用大量人工的指标值规范和填补，针对不同的文本并不具有普适性。强化学习通过试探某个行为，计算该行为对环境的奖励值并进行反馈，根据反馈和当前环境选择下一步动作，如果一个行为策略导致环境正的奖励，则以后产生这个行为策略的趋势会增强。

发明内容

本发明所要解决的技术问题是提供一种基于超声检查报告文本数据的乳腺肿瘤风险性评估系统，能够有效提高中文文本超声检查报告中的乳腺肿瘤良恶性评估的自动化和智能化水平。

本发明解决其技术问题所采用的技术方案是：提供一种基于超声检查报告文本数据的乳腺肿瘤风险性评估系统，包括超声检查文本数据的预处理模块和结构化数据的评估模块；所述超声检查文本数据的预处理模块用于将大量非结构化的文本数据转化为评估算法可识别的结构化数据；所述结构化数据的评估模块根据结构化数据建立肿瘤风险评估模型，得到评估结果。

所述超声检查文本数据的预处理模块包括：外部文件数据清洗子模块，用于从原始数据集中选出少量指标值完整的文本数据作为外部文件，并采用字符串匹配方法进一步规范外部文件数据，修改医学缩写、拼写错误、语法错误问题，以保证外部文件的绝对规范；建立指标库选定指标子模块，根据传统依存句法方法建立检测指标库，从中选择相关检测指标；提取检测指标的相应指标值子模块，基于强化学习，根据外部文件和检测指标参数，提取相应指标值，形成结构化数据。

所述建立指标库选定指标子模块采用正则匹配方法将超声检查报告切分为若干条短句，并借助Jieba分词工具对切分后的短句进行分词；对部分短句中的词语进行标注，特征因素的词语标注为“指标”，其余标注为“无关”，形成语料库；基于依存句法分析，自动识别所有短句中的指标，形成指标库，对于无法识别的特殊短句定义特征规则，将其加入语料库；从指标库中选定需要提取指标值的指标。

所述提取检测指标的相应指标值子模块基于强化学习算法，根据输入的文本数据和指标参数，进行多次迭代，在每次迭代更新中，与外部文件动态合并指标对应的指标值，即：协调当前提取指标值与外部文件中指标值的精确度，合并完后，反馈给当前网络，计算奖励函数，决定是否进行新的更新或者从外部文件中进行新的查询，直至算法终止，最终形成结构化的数据集。

所述结构化数据的评估模块包括：划分数据集子模块，用于将产生的结构化数据划分为训练集和测试集；训练数据子模块，将训练集直接应用于机器学习算法，建立肿瘤评估模型，并利用测试集检测模型的性能。

所述训练数据子模块建立SVM算法模型，所述SVM算法将乳腺肿瘤超声报告的结构化数据映射为高维特征空间的样本数据，在该样本空间中区别各特征的最优分类超平面，从而建立乳腺肿瘤判别函数，得到评估结果。

所述训练数据子模块建立KNN算法模型，所述KNN算法将乳腺肿瘤超声报告的结构化数据作为样本输入，计算待分类数据与每个样本数据之间的距离，根据k个最近距离的样本分类得到评估结果。

所述训练数据子模块建立随机森林机器学习算法模型，所述随机森林机器学习算法模型从乳腺肿瘤超声报告的结构化数据中随机抽样，构建子数据集，并利用子数据集建立子决策树，根据子决策树的分类投票得到评估结果。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明针对乳腺肿瘤患者的超声检查报告，利用强化学习算法进行文本结构化，该结构化数据的风险评估和分析取得了比传统基于依存句法分析的文本结构化方法更高的性能；本发明基于强化学习关联绝对规范的外部文件，可以自主动态地填补规范指标值，减少了大量的人工干预，降低了人工工作强度；本发明结合互联网、大数据挖掘、机器学习和强化学习等计算机知识，达到了肿瘤良恶性检测手段的全面信息化、客观化、标准化，提高了乳腺肿瘤的筛查准确性；本发明得出的肿瘤良恶性评估结果可以为临床医疗诊断提供参考，以安排后续治疗，从而降低了漏诊率和误诊率，实现了医疗资源的合理利用。

附图说明

图1为一种基于乳腺肿瘤超声检查文本数据的肿瘤风险评估系统总体框图；

图2为本发明中基于强化学习的文本结构化模块框图；

图3为本发明中构建指标库选定检测指标的流程图；

图4为本发明中利用强化学习算法提取检测指标的指标值的流程图；

图5为本发明中采用SVM算法评估乳腺肿瘤良恶性流程图；

图6为本发明中采用KNN算法评估乳腺肿瘤良恶性流程图；

图7为本发明中采用采用随机森林算法评估乳腺肿瘤良恶性流程图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明的实施方式涉及一种利用强化学习算法进行文本结构化，进而利用机器学习算法进行乳腺肿瘤风险性评估的分析系统，包括：1)超声检查文本数据的预处理模块，即基于强化学习的文本结构化模块。首先选取指标值较完整的规范文本数据进行数据清洗，形成绝对规范的外部文件；其次选定指标库中的指标作为强化学习算法的参数；最后进行多次迭代，计算强化学习算法中的奖励函数，关联外部文件动态地更新指标对应的指标值，形成结构化表格。该模块用于将大量非结构化的文本数据转化为评估算法可识别的结构化数据。2)结构化数据的评估模块，即基于机器学习的建立算法模块。首先把结构化之后的数据划分为训练集和测试集；其次利用训练集建立风险评估模型，利用测试集检测模型性能；最后给定一份原始的乳腺超声检查报告文本，实验肿瘤风险预测模型的可用性，得到肿瘤风险评估结果，即乳腺肿瘤的良恶性。该模块用于建立肿瘤风险评估模型，得到评估结果。

结合图1，本发明的总体框架主要分为两大模块。首先，将所有的乳腺肿瘤超声检查报告作为原始数据集，基于强化学习对原始数据集进行文本结构化，形成结构化的数据；其次，将结构化数据直接作为输入，采用三种机器学习算法(SVM、KNN、随机森林算法)，建立肿瘤风险预测模型；最后，对于新的乳腺超声检查报告文本数据，可直接作为该模型的输入，得到肿瘤的良恶性评估。

在文本结构化过程中，为解决传统的依存句法分析等结构化方法在专业性较强、缩写较多、不太关注语法和标点的乳腺肿瘤检查报告文本上表现较差的问题，本发明提出了一种基于强化学习的超声检查报告指标值提取的新方法。

结合图2，实现基于强化学习的乳腺肿瘤检测指标值的提取。其中对于外部文件的选取要求是指标值充足，描述完整，可选取原始数据集中约1-2‰的文本数据，并对选取的外部文件进行数据清洗，形成绝对规范的外部文件。举例来说，外部文件中也可能会出现医学缩写、拼写错误等，如“腺管未及明显扩张”、“腺体回声紊乱，无明显Ca化”，采用字符串匹配方法将其改为“腺管未见明显扩张”、“腺体回声紊乱，无明显钙化”等。

结合图3，构建乳腺肿瘤的检测指标库以提取相应指标值。由于强化学习算法需要指标作为参数以提取给定指标的指标值，所以在规范外部文件之后，需要构建指标库，从指标库中选定与肿瘤良恶性评估相关的指标。对于指标的给定可以由领域专家来指出，但是由于专家给出的指标可能专业性较强，与出现在检查报告中的指标不一致。为避免出现这种情况，本发明直接采用常用的依存句法分析提取指标，构建指标库。具体步骤如下：

步骤1：采用正则匹配方法将原始超声检查报告中的文本数据切分为若干条短句，并借助Jieba分词工具对切分后的短句进行分词；

步骤2：对部分短句中的词语进行标注，特征因素的词语标注为“指标”，其余标注为“无关”，形成语料库；

步骤3：基于依存句法分析，根据词性和词语之间的依存关系，自动识别所有短句中的指标，形成指标库(对于无法识别的特殊短句，可以定义特征规则，将其加入语料库)。

结合图4，基于强化学习算法，实现选定指标的指标值提取。在指标值提取过程中，强化学习算法根据输入的文本数据(包括外部文件)和指标参数，进行多次迭代，在每次迭代更新中，与外部文件动态合并指标对应的指标值，即：协调当前提取指标值与外部文件中指标值的精确度，合并完后，反馈给当前网络，计算奖励函数，决定是否进行新的更新或者从外部文件中进行新的查询，直至算法终止，最终形成结构化的数据集。具体步骤及其伪代码如下：

定义S＝{s}为指标值状态集合，A＝{a}为转移动作集合，R(s,a)＝{r}为瞬时奖励集合，Q(s,a)为当前状态至终结状态的所有奖励之和。

步骤1：初始化一个存储队列D，参数θ和指标值状态；

步骤2：随机选择一个转移动作(进行文本关联或者进行文本搜索)，或是将当前状态s_t输入到深度质量网络DQN中，得到两个动作的Q值；

步骤3：选择Q值较大的动作a，存储(s_t,a_t,r_t,s_t+1)到D中；

步骤4：执行状态转移，获得新的指标值状态s_t+1；

步骤5：从D中随机采样计算损失函数直至状态终结，得到最终的指标值。

在评估模型建立过程中，从特征维数为n的结构化数据中随机抽取70％的数据作为训练集D，剩下的30％作为测试集T，直接应用于机器学习算法，包括SVM算法、KNN算法和随机森林算法，以验证上述方法的有效性。

结合图5，采用SVM算法评估乳腺肿瘤良恶性的步骤如下：

步骤1：选择多次方的多项式核函数，将D映射到n维样本特征空间；

步骤2：在样本特征空间中找出各类别特征样本与其他特征样本的最优分类超平面，得到代表各样本特征的支持向量集及其相应的VC可信度，形成乳腺肿瘤良恶性评估函数；

步骤3：T中的数据通过核函数映射到n维特征空间中，作为良恶性评估函数的输入，输出即为算法的评估结果。

结合图6，采用KNN算法评估乳腺肿瘤良恶性的步骤如下：

步骤1：T中的数据作为输入，采用欧氏距离计算公式，计算它和D中所有数据的距离；

步骤2：设定参数k，选取k个最近的距离；

步骤3：根据k个近邻的良恶性，较多的即为算法的评估结果。

结合图7，采用随机森林算法评估乳腺肿瘤良恶性的步骤如下：

步骤1：从D中有放回地抽样，构造N个子数据集；

步骤2：利用子数据集构建特征维数为m(m≤n)的子决策树；

步骤3：T中的数据作为输入，根据N个子决策树的良恶性评估结果，较多的即为算法的评估结果。

实验结果表明，本发明可以有效地提高乳腺肿瘤评估的自动化和智能化水平，通过自主学习过程实现指标值提取，减少人工工作量，进而处理大量非结构化的医疗文本数据，挖掘检测指标和肿瘤良恶性的关系，最终用于评估检查报告中的肿瘤风险性，从而辅助医生做出正确判断和有效决策，达到医疗资源的合理化分配。

Claims (8)

1.一种基于超声检查报告文本数据的乳腺肿瘤风险性评估系统，其特征在于，包括超声检查文本数据的预处理模块和结构化数据的评估模块；所述超声检查文本数据的预处理模块用于将大量非结构化的文本数据转化为评估算法可识别的结构化数据；所述结构化数据的评估模块根据结构化数据建立肿瘤风险评估模型，得到评估结果。

2.根据权利要求1所述的基于超声检查报告文本数据的乳腺肿瘤风险性评估系统，其特征在于，所述超声检查文本数据的预处理模块包括：外部文件数据清洗子模块，用于从原始数据集中选出少量指标值完整的文本数据作为外部文件，并采用字符串匹配方法进一步规范外部文件数据，修改医学缩写、拼写错误、语法错误问题，以保证外部文件的绝对规范；建立指标库选定指标子模块，根据传统依存句法方法建立检测指标库，从中选择相关检测指标；提取检测指标的相应指标值子模块，基于强化学习，根据外部文件和检测指标参数，提取相应指标值，形成结构化数据。

3.根据权利要求2所述的基于超声检查报告文本数据的乳腺肿瘤风险性评估系统，其特征在于，所述建立指标库选定指标子模块采用正则匹配方法将超声检查报告切分为若干条短句，并借助Jieba分词工具对切分后的短句进行分词；对部分短句中的词语进行标注，特征因素的词语标注为“指标”，其余标注为“无关”，形成语料库；基于依存句法分析，自动识别所有短句中的指标，形成指标库，对于无法识别的特殊短句定义特征规则，将其加入语料库；从指标库中选定需要提取指标值的指标。

4.根据权利要求2所述的基于超声检查报告文本数据的乳腺肿瘤风险性评估系统，其特征在于，所述提取检测指标的相应指标值子模块基于强化学习算法，根据输入的文本数据和指标参数，进行多次迭代，在每次迭代更新中，与外部文件动态合并指标对应的指标值，即：协调当前提取指标值与外部文件中指标值的精确度，合并完后，反馈给当前网络，计算奖励函数，决定是否进行新的更新或者从外部文件中进行新的查询，直至算法终止，最终形成结构化的数据集。

5.根据权利要求1所述的基于超声检查报告文本数据的乳腺肿瘤风险性评估系统，其特征在于，所述结构化数据的评估模块包括：划分数据集子模块，用于将产生的结构化数据划分为训练集和测试集；训练数据子模块，将训练集直接应用于机器学习算法，建立肿瘤评估模型，并利用测试集检测模型的性能。

6.根据权利要求5所述的基于超声检查报告文本数据的乳腺肿瘤风险性评估系统，其特征在于，所述训练数据子模块建立SVM算法模型，所述SVM算法将乳腺肿瘤超声报告的结构化数据映射为高维特征空间的样本数据，在该样本空间中区别各特征的最优分类超平面，从而建立乳腺肿瘤判别函数，得到评估结果。

7.根据权利要求5所述的基于超声检查报告文本数据的乳腺肿瘤风险性评估系统，其特征在于，所述训练数据子模块建立KNN算法模型，所述KNN算法将乳腺肿瘤超声报告的结构化数据作为样本输入，计算待分类数据与每个样本数据之间的距离，根据k个最近距离的样本分类得到评估结果。

8.根据权利要求5所述的基于超声检查报告文本数据的乳腺肿瘤风险性评估系统，其特征在于，所述训练数据子模块建立随机森林机器学习算法模型，所述随机森林机器学习算法模型从乳腺肿瘤超声报告的结构化数据中随机抽样，构建子数据集，并利用子数据集建立子决策树，根据子决策树的分类投票得到评估结果。