CN107220506A - 基于深度卷积神经网络的乳腺癌风险评估分析系统 - Google Patents
基于深度卷积神经网络的乳腺癌风险评估分析系统 Download PDFInfo
- Publication number
- CN107220506A CN107220506A CN201710414761.5A CN201710414761A CN107220506A CN 107220506 A CN107220506 A CN 107220506A CN 201710414761 A CN201710414761 A CN 201710414761A CN 107220506 A CN107220506 A CN 107220506A
- Authority
- CN
- China
- Prior art keywords
- layer
- breast cancer
- training
- feature
- risk assessment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010006187 Breast cancer Diseases 0.000 title claims abstract description 57
- 208000026310 Breast neoplasm Diseases 0.000 title claims abstract description 57
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 38
- 238000012502 risk assessment Methods 0.000 title claims abstract description 38
- 238000004458 analytical method Methods 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 63
- 238000013528 artificial neural network Methods 0.000 claims abstract description 22
- 238000013507 mapping Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 36
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 23
- 230000004913 activation Effects 0.000 claims description 22
- 238000005070 sampling Methods 0.000 claims description 22
- 238000000576 coating method Methods 0.000 claims description 15
- 230000007787 long-term memory Effects 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 11
- 238000011049 filling Methods 0.000 claims description 8
- 230000036541 health Effects 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 8
- 210000002569 neuron Anatomy 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 239000011248 coating agent Substances 0.000 claims description 6
- 230000007935 neutral effect Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 238000004321 preservation Methods 0.000 claims description 5
- 210000004027 cell Anatomy 0.000 claims description 4
- 238000004140 cleaning Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 238000007667 floating Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 3
- 230000000644 propagated effect Effects 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 230000007774 longterm Effects 0.000 abstract description 5
- 238000007781 pre-processing Methods 0.000 abstract 2
- 206010063385 Intellectualisation Diseases 0.000 abstract 1
- 238000012216 screening Methods 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 210000000481 breast Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000000205 computational method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 241000220317 Rosa Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 210000005075 mammary gland Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 238000009394 selective breeding Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度卷积神经网络的乳腺癌风险评估分析系统,包括医疗文档预处理模块,用于对医学文本大数据进行预处理生成字向量训练使用的字表;字向量训练模块,通过训练一个深度卷积神经网络生成初级字向量;分布式语义特征医学信息抽取模块,使用全连接层将学到的分布式特征表示映射到样本标记空间,并生成医学领域的分布式语义特征;长时语义关联特征提取模块,用于使用分布式语义特征表示,提取医疗临床文档的长时语义关联特征;乳腺癌风险评估分析模块,使用长时语义关联特征训练一个用于乳腺癌风险评估的深度神经网络,并进行乳腺癌风险评估。本发明提高了乳腺癌筛查的自动化和智能化水平。
Description
技术领域
本发明涉及医疗设备技术领域,特别是涉及一种基于深度卷积神经网络的乳腺癌风险评估分析系统。
背景技术
近几年来,乳腺癌在我国的发生率逐年上升,尤其是在一些大城市,如上海、北京等地,乳腺癌在女性的恶性肿瘤发病率中已跃居首位。海量的结构化、半结构化数据以及错综复杂的非结构化数据挑战着医疗行业,使得资源难以合理地配置,给整个医疗行业的发展带来了巨大的压力。就乳腺癌这一疾病而言,其患者的电子病历信息分散在叙述性医疗文本中,但大部分的计算机应用只能理解结构化数据。普遍的实践是通过机器学习的方法对电子健康记录进行文档结构化表示,但该数据预处理流程同样依赖于专家领域知识,且结构化流程无法解决医疗数据稀疏,文本噪音问题。医疗文档结构化流程依赖于指定的数据集,不适用于真实临床情况。
深度学习作为最近几年机器学习领域的一个热点,非常适用于医疗文本的数据挖掘。由于传统的自然语言处理采用机器学习的方法,需要使用大量的领域知识人工设计出每种疾病的评估指标。这些评估指标被称作特征,且通常是由具体疾病种类导向的,容易导致过度设计(Over Engineer),也不具有广泛的适用性。深度学习通过组合低层特征形成更加抽象的高层特征表示属性类别或特征,以发现数据的分布式特征表示。其强大的自动特征提取、复杂模型构建能力,不仅可以避免繁琐的人工特征抽取,有效地利用无监督数据,并且具有优秀的泛化能力,可以应用到不同的医疗领域。因此引起了医学领域研究人员的广泛关注。
发明内容
本发明所要解决的技术问题是提供一种基于深度卷积神经网络的乳腺癌风险评估分析系统,能有效提高乳腺癌筛查的自动化和智能化水平。
本发明解决其技术问题所采用的技术方案是:提供一种基于深度卷积神经网络的乳腺癌风险评估分析系统,包括:医疗文档预处理模块,用于对医学文本大数据进行非法字符清理、中文字符编码统一以及生成字向量训练使用的字表;字向量训练模块,用于读取预处理过的医学文本,通过训练一个深度卷积神经网络,以优化语言模型的概率作为优化目标,生成初级字向量;分布式语义特征医学信息抽取模块,用于以初级字向量为出发点,使用深度卷积神经网络,将原始数据映射到隐层特征空间,最后使用全连接层将学到的分布式特征表示映射到样本标记空间,并且融合优化医学知识库的预测概率对初级字向量进行反馈优化,从而生成医学领域的分布式语义特征;长时语义关联特征提取模块,用于使用分布式语义特征表示,通过引入深度网格长短期记忆神经网络提取医疗临床文档的长时语义关联特征;乳腺癌风险评估分析模块,使用海量医学文本的长时语义关联特征训练一个用于乳腺癌风险评估的深度神经网络,并进行乳腺癌风险评估。
所述医疗文档预处理模块包括:非法字符过滤子模块,以字符为单位遍历文本,移出其中无效非可见字符;中文编码统一子模块,根据设置确定输入文本的中文字符编码方式;字表生成模块,以unicode字符为单位,生成字表,表中的字在后续字向量生成过程中,被映射为浮点数形式的字向量。
所述字向量训练模块包括:正负例生成子模块,用于读取输入语句,根据预设的窗口,生成正例,同时采用随机替换正例的中心字的方法,生成相应的负例;字向量深度卷积神经网络模块,将生成的正负例样本输入网络,计算概率,并根据正负例的概率调整网络;网络优化及训练误差监控模块,针对全局,优化语言模型的概率,并控制训练过程中的误差,达到训练设置的终止条件时,终止训练,保存模型,输出初级字向量。
所述分布式语义特征医学信息抽取模块中使用的深度卷积神经网络共分为八层,由数据增强模块、卷积层、激活层和下采样层交替构成;其中,数据增强模块,用于对原始根据字表生成的文本矩阵对图片进行变换,增大数据集,防止过拟合;卷积层,用于提取文本矩阵的局部特征,其中计算任意给定卷积层的输出大小的公式为其中,K是过滤器尺寸,P是填充值,S是步幅,W是输入文本矩阵的维度;激活层为ReLU激活层;下采样层,用于将隐层输出以一定的概率置0。
所述的深度卷积神经网络的学习过程是一个前向传播过程,上一层的输出即为当前层的输入,并通过激活函数逐层传递,整个网络的实际计算输出用公式表示为:Op=Fn(...F2(F1(XW1)W2)...Wn),其中,X表示原始输入,Fn表示第n层的激活函数,Wn表示第n层的映射权值矩阵,Op表示整个网络的实际计算输出;当前层的输出表示为:Xl=fl(WlWXl-1+bl),l表示网络层数,Xl表示当前层的输出,Xl-1表示上一层的输出,即当前层的输入,Wl表示已经训练好的当前网络层的映射权值矩阵,bl为当前网络的加性偏执,fl是当前网络层的激活函数;采用的激活函数fl为纠正线性单元,即ReLU激活函数,表示为:
所述的深度卷积神经网络的训练是一个反向传播过程,通过误差函数反向传播,利用随机梯度下降法对卷积参数和偏置进行优化调整,直到网络收敛或者达到最大迭代次数停止;反向传播需要通过对带有标签的训练样本进行比较,采用平方误差代价函数,对于c个类别,N个训练样本的多类别进行识别,网络最终输出误差函数用如下公式来计算:其中,EN为平方误差代价函数,为第n个样本对应标签的第k维,为第n个样本对应网络预测的第k个输出;对误差函数进行反向传播时,采用BP算法进行计算:其中,δl代表当前层的误差函数,δl+1代表上一层的误差函数,Wl +1为上一层映射矩阵,f'表示激活函数的反函数,即上采样,ul表示未通过激活函数的上一层的输出,xl-1表示下一层的输入,Wl为本层映射权值矩阵,bl为当前网络的加性偏执。
所述长时语义关联特征提取模块在全卷积神经网络中,分为从大到小再从小到大的两个过程;其中,从大到小是由所述的卷积神经网络中的下采样层作用所致,而从小到大需要由上采样层来实现在上采样过程中,采用分阶段增大的方法,并且在上采样的每个阶段,使用下采样对应层的特征进行辅助;所述辅助是指采用跳层上采样融合的方法,在浅层处减小上采样的步长,得到的细层和高层得到的粗层做融合,然后在上采样得到输出这种跳层上采样融合的方法兼顾了局部和全局信息,实现比较精准的分布式特征提取。
所述长时语义关联特征提取模块使用网格长短期记忆神经网络提取乳腺癌患者医疗文档的长时语义关联特征;所述长短期记忆神经网络采用了特殊隐式单元的LSTM实现长期的保存输入,通过记忆细胞的特殊单元和门控神经元在下一个时间步长将拥有一个权值并联接到自身,拷贝自身状态的真实值和累积的外部信号,这种自联接是由另一个单元学习并决定何时清除记忆内容的乘法门控制的。
所述乳腺癌风险评估分析模块是在所述的深度网格长短期记忆神经网络后连接了一个Softmax分类器,用海量医学文档的长时语义关联特征,训练一个用于乳腺癌风险评估的深度神经网络,用于BI-RADS类型的分类识别;所述Softmax分类器将深度神经网络中的学习结果作为Softmax分类器的输入数据,Softmax回归是面向多类分类问题的Logistic回归:假设对于训练集{(x(1),y(1),…,x(n),y(n))},有y(n)∈[1,2,…,k],对于给定的样本输入x,输出一个k维的向量来表示每一种分类结果出现的概率为p(y=i|x),假设函数h(x)如下:其中,θk为模型的参数,并且所有的概率和为1,加入规则后的代价函数为:代价函数对第j个类别的第1个参数的偏导数为:式中,j为类别数,m为训练集的类别数,p(y(i)=j|x(i);θ)为x分为类别j的概率,λ为规则项参数;通过最小化J(θ),实现的Softmax分类回归,将分类回归结果保存到特征库中;在进行乳腺癌风险评估时,依据BI-RADS类型对被检乳腺癌患者电子健康文档分类,将提取到的输入数据特征与学习训练得到BI-RADS类型特征库中的数据进行比对,计算出每一个分类结果的概率,然后取概率最高的一个结果进行输出。
有益效果
由于采用了上述的技术方案,本发明与现有技术相比,具有以下的优点和积极效果:本发明针对乳腺癌患者电子健康文档,利用深度卷积网格神经网络的进行风险评估和分析取得了比传统的基于人工识别和机器学习等方法更高的性能;本发明采用无监督特征学习,避免了耗时的大量人工标注过程,且融合优化医学知识库的预测概率,获取乳腺癌临床文本数据作完整的局部语义特征提取和组合;本发明利用移动互联网、云计算、大数据挖掘、深度学习和深度卷积神经网络提升乳腺癌筛查手段的全面信息化、客观化、标准化,提高了乳腺癌筛查精度,降低了医生的工作强度,为临床医疗诊断提供参考。
附图说明
图1为一种基于字向量的深度卷积网格神经网络的乳腺癌风险评估和分析系统框图;
图2为本发明中分布式语义特征医学信息抽取模块框图;
图3为本发明中长时语义关联特征提取模块的隐式单元门机制图
图4为本发明中长时语义关联特征提取模块的前馈和反向双维度长短时记忆神经网络关联图;
图5为本发明中基于字向量的深度卷积网格神经网络模型总体框图。
具体实施方式
下面结合具体实施例,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于字向量的深度卷积神经网络的乳腺癌风险评估系统,包括:医疗文档预处理模块,用于对医学文本大数据进行非法字符清理、中文字符编码统一以及生成字向量训练使用的字表;字向量训练模块,用于读取预处理过的医学文本,通过训练一个深度卷积神经网络,以优化语言模型的概率作为优化目标,生成初级字向量;分布式语义特征医学信息抽取模块,用于以初级字向量为出发点,使用深度卷积神经网络,将原始数据映射到隐层特征空间,最后使用全连接层将学到的分布式特征表示映射到样本标记空间,并且融合优化医学知识库的预测概率对初级字向量进行反馈优化,从而生成医学领域的分布式语义特征;长时语义关联特征提取模块,用于使用分布式语义特征表示,通过引入深度网格长短期记忆神经网络提取医疗临床文档的长时语义关联特征;乳腺癌风险评估分析模块,使用海量医学文本的长时语义关联特征训练一个用于乳腺癌风险评估的深度神经网络,并进行乳腺癌风险评估。
由此可见,该系统通过对乳腺癌患者的电子健康文档进行预处理,并构建语言模型将文本转化为字向量。通过深度卷积神经网络提取临床文档的分布式语义特征,并结合深度网格长短期记忆神经网络获得长时语义关联特征。最后使用基于Softmax的BI-RADS分类方法对乳腺癌患者的风险进行评估分析。
如图1所示,首先对乳腺患者的临床文档进行预处理。其中主要包含非法字符过滤子模块、中文编码统一子模块以及字表生成子模块。
非法字符过滤子模块,以字符为单位遍历文本,移出其中无效非可见字符,包括ASCII码表中的控制字符0x00-0x1F;
中文编码统一子模块,根据设置确定输入文本的中文字符编码方式如输入文本为UTF-8编码,则将其转换为一编码,后续系统将读取UTF-8形式编码,并在后续系统内存中统一使用unicode;
字表生成子模块,以unicode字符为单位,生成字表,表中字在后续字向量生成过程中,被映射为浮点数形式的字向量。
结合图1,然后需要将清洗后的电子健康文档的文本数据,转化为计算机可以理解的字向量矩阵。字向量训练模块包含正负例生成子模块、字向量深度神经网络子模块以及网络优化及训练误差监控子模块。
所述正负例生成子模块,用于读取输入语句,根据预设的窗口,生成正例,同时,采用随机替换正例的中心词方法,生成相应负例。
词向量深度神经网络子模块,将生成的正例负例输入网络,计算概率,并根据正负例的概率调整网络;
网络优化及训练误差监控子模块,优化语言模型的概率,并控制训练过程中的误差,达到训练设置的终止条件时,终止训练,生成初级字向量。
结合图2,对以上步骤生成的初级字向量提取局部语义特征。其中使用的卷积神经网络本质上是一种深度映射的网络结构,输入信号通过在网络中进行层层映射,不断进行分解和表示,最终形成关于乳腺癌的多层表达。其最主要特点就是不必再人为的选取和构建乳腺癌的各种特征,而是通过机器自动学习,得到关于乳腺癌的深层表示。
本实施方式中分布式语义特征医学信息抽取模块中使用的深度卷积神经网络共分为八层,由数据增强模块、卷积层、激活层和下采样层交替构成;数据增强模块,用于对原始根据字表生成的文本矩阵对图片进行变换,增大数据集,防止过拟合;卷积层,用于提取文本矩阵的局部特征,其中计算任意给定卷积层的输出大小的公式为其中,K是过滤器尺寸,P是填充值,S是步幅,W是输入文本矩阵的维度;激活层为ReLU激活层,是一种扭曲线性函数,即非线性的非饱和函数。其相比于模拟神经元输出的标准饱和函数,如tanh(x)或者sigmoid(x)函数等,不仅有更快的训练时间,而且保留了非线性的表达能力,不会有由于非线性引起的梯度弥散现象,适合训练更深的网络;所述下采样层将隐层输出以一定的概率置0,这个神经元就不参与前向和后向传播,就如同在网络中删除了一样。下采样层(Dropout)也可以看成是一种模型组合,每个样本都是不一样的网络结构。他减少了神经元之间的共适应关系(co-adaptation),使一个神经元不再依赖另一个神经元,强迫网络学习到更加鲁棒的特征表示。
下面通过一个具体的实施例来进一步说明本发明的分布式语义特征医学信息抽取模块。
数据增强模块从原始文本数据的向量矩阵(300×n)中,通过随机切割或者平移变换等方式从已有的训练数据集中生成一些新的224×224的矩阵,来扩大训练数据的量级规模,提升算法的准确率,避免过拟合。
卷积层分为八层,每层具体流程如下:
第一层:输入数据为根据数据增强技术生成的大小为224×224的文本矩阵,填充值是3,输出数据227×227×3。然后经过96个过滤器、窗口大小为11×11、步长为4的卷积层处理,得到[(227-11)/4]+1=55个特征,以后的层就分为两组处理,输出特征为55×55×96,然后进行ReLU激活层1处理,输出特征为55×55×96,经过池化层1进行最大池化3×3的核,步长为2,得到[(55-3)/2]+1=27个特征,总的特征数为33×33×96,然后进行正则化处理,用于求和的通道数为5,最后得到27×27×96数据;
第二层:输入数据27×27×96,填充值是2,有256个过滤器,窗口大小为5×5,得到[(27-5+2×2)/1]+1=27个特征,输出特征为27×27×256,然后进行ReLU激活层2处理,输出特征为27×27×256,经过池化层进行最大池化3×3的核,步长为2,得到[(27-3)/2]+1=13个特征,总的特征数为13×13×256,然后进行正则化处理,用于求和的通道数为5,最后得到13×13×256数据;
第三层输入数据13×13×256,填充值是1,有384个过滤器,窗口大小为3×3,得到[(13-3+2×1)/1]+1=13个特征,输出特征为13×13×384,然后进行ReLU激活层3处理,输出特征为13×13×384数据;
第四层输入数据13×13×384,填充值是1,有384个过滤器,窗口大小为3×3,得到[(13-3+2×1)/1]+1=13个特征,输出特征为13×13×384,然后进行ReLU激活层4处理,输出特征为13×13×384数据;
第五层输入数据13×13×384,填充值是1,有256个过滤器,窗口大小为3×3,得到[(13-3+2×1)/1]+1=13个特征,输出特征为13×13×256,然后进行ReLU激活层5处理,输出特征为13×13×256数据。经过池化层5进行最大池化3×3的核,步长为2,得到[(13-3)/2]+1=6个特征,总的特征数为6×6×256,最后得到6×6×256数据;
第六层输入数据6×6×256,全连接,得到4096个特征,然后进行ReLU激活层6处理,输出特征为4096维,经过下采样层6处理,最后得到4096个数据。
第七层:输入4096个数据,全连接,得到4096个特征,然后进行ReLU激活层7处理,输出特征为4096,经过下采样层7处理,最后得到4096数据
第八层:输入4096数据,全连接,得到1000个特征数据。
卷积神经网络的预测过程是一个前向传播过程,上一层的输出即为当前层的输入,并通过激活函数逐层传递,因此整个网络的实际计算输出用如下公式(1)表示:
Op=Fn(...F2(F1(XW1)W2)...Wn) (1)
式中,X表示原始输入,Fn表示第n层的激活函数,Wn表示第n层的映射权值矩阵,Op表示整个网络的实际计算输出。
当前层的输出用(2)表示:
Xl=fl(WlWXl-1+bl) (2)
式中,l代表网络层数,Xl表示当前层的输出,Xl-1表示上一层的输出,即当前层的输入,Wl代表已经训练好的当前网络层的映射权值矩阵,bl为当前网络的加性偏执,fl是当前网络层的激活函数;采用的激活函数f1为纠正线性单元,即ReLU,用公式(3)表示,
式中,l代表网络层数,Wl代表已经训练好的当前网络层的映射权值矩阵,fl是当前网络层的激活函数其作用是如果卷积计算结果小于0,则让其为0;否则保持其值不变。
卷积神经网络训练是一个反向传播过程,与BP算法类似,通过误差函数反向传播,利用随机梯度下降法对卷积参数和偏置进行优化调整,直到网络收敛或者达到最大迭代次数停止。
该神经网络训练是一个反向传播过程,通过误差函数反向传播,利用随机梯度下降法对卷积参数和偏置进行优化调整,直到网络收敛或者达到最大迭代次数停止。
反向传播需要通过对带有标签的训练样本进行比较,采用平方误差代价函数,对于c个类别,N个训练样本的多类别进行识别,网络最终输出误差函数用公式(4)来计算误差:
式子中,EN为平方误差代价函数,为第n个样本对应标签的第k维,为第n个样本对应网络预测的第k个输出;
对误差函数进行反向传播时,采用传统的BP算法类似的计算方法,如公式(5)所示
式中,δl代表当前层的误差函数,δl+1代表上一层的误差函数,Wl+1为上一层映射矩阵,f'表示激活函数的反函数,即上采样,ul表示未通过激活函数的上一层的输出,xl-1表示下一层的输入,Wl为本层映射权值矩阵。
深度学习训练过程具体如下:
步骤1:使用自下而上的非监督学习,即从底层开始,一层一层的往顶层训练,学习医疗文档的局部特征先用无标签数据训练第一层,训练时先学习第一层的参数,由于模型容量的限制以及稀疏性约束,使得得到的模型能够学习到数据本身的结构,从而得到比输入更具有表示能力的特征在学习得到第l-1层后,将l-1层的输出作为第l层的输入。训练第l层,由此分别得到各层的参数具体计算如公式(2)、(3)所示;
步骤2:自顶向下的监督学习,即通过带标签的乳房图像数据去训练,误差自顶向下传输,对网络进行微调具体计算如公式(4)、(5)所示;
基于步骤2得到的各层参数进一步微调整个多层模型的参数,这一步是一个有监督训练过程;步骤2的操作类似神经网络的随机初始化初值过程,但由于参数是通过学习输入数据的结构得到的,而不是随机初始化,因而这个初值更接近全局最优,从而能够取得更好的效果。
所述长时语义关联特征提取模块使用网格长短期记忆神经网络提取乳腺癌患者医疗文档的长时语义关联特征;所述长短期记忆神经网络采用了特殊隐式单元的LSTM实现长期的保存输入,通过记忆细胞的特殊单元和门控神经元在下一个时间步长将拥有一个权值并联接到自身,拷贝自身状态的真实值和累积的外部信号,这种自联接是由另一个单元学习并决定何时清除记忆内容的乘法门控制的。
如图3所示,基于深度网格长短期记忆神经网络的乳腺癌患者临床医疗文档的长时语义关联特征提取模块。通过引入门机制(如输入门(Input Gate),输出门(OutputGate),遗忘门(ForgetGate))来计算隐藏状态的结构。x(t)代表文档中第t个字的特征向量。是上一层的隐藏状态,则下一层的隐藏状态和输出层s(t)的计算公式如下:
其中σ是激活函数,是输入层权值矩阵;是隐藏层的权值矩阵;请补充表示什么含义;请补充tanh()表示什么含义。为了计算给定文档的长时关联的前向和后向特征,可以通过反转文档的方法来计算反向的隐藏单元计算方法与上述计算的方法类似。令V为输出层的参数向量,输出层s的计算公式是
以上计算的是单维的LSTM,Gird-LSTM(网格长短时记忆神经网络)可以看做是双维度的LSTM。其网络结构如图4所示,神经元分别计算前馈和反向LSTM的,最后得到输出层的隐藏向量和记忆向量的计算公式如下:(h'1,m'1)=LSTM(H,m1,W1,U1)和(h'2,m'2)=LSTM(H,m2,W2,U2)
综合图5,将长时语义关联特征作为Softmax分类器的输入数据;Softmax回归是面向多类分类问题的Logistic回归,是Logistic回归的一般形式,适用于类别之间互斥的情况;假设对于训练集{(x(1),y(1),…,x(n),y(n))},有y(n)∈[1,2,…,k],对于给定的样本输入x,输出一个k维的向量来表示每一种分类结果出现的概率为p(y=ix),假设函数h(x)如下:
θ1,θ2,…,θk是模型的参数,并且所有的概率和为1;加入规则项后的代价函数为:
代价函数对第j个类别的第1个参数的偏导数为:
式中,j为类别数,m为训练集的类别数,p(y(i)=j|x(i);θ)为x分为类别j的概率,λ为规则项参数,也称为权重衰减项,该规则项参数主要是防止过拟合的。
最后,通过最小化J(θ),实现的Softmax分类回归,将分类回归结果保存到特征库中。在依据BI-RADS类型对被检乳腺癌患者电子健康文档分类时,将提取到的输入数据特征与学习训练得到BI-RADS类型特征库中的数据进行比对,计算出每一个分类结果的概率,然后取概率最高的一个结果进行输出。
不难发现,本发明能有效提高乳腺癌筛查的自动化和智能化水平,通过自训练过程自动学习医生的病理分析过程,继而帮助其处理大量的医疗或医学数据,最终辅助医生做出针对大量医疗数据的正确判断和有效决策。
Claims (9)
1.一种基于深度卷积神经网络的乳腺癌风险评估分析系统,其特征在于,包括:医疗文档预处理模块,用于对医学文本大数据进行非法字符清理、中文字符编码统一以及生成字向量训练使用的字表;字向量训练模块,用于读取预处理过的医学文本,通过训练一个深度卷积神经网络,以优化语言模型的概率作为优化目标,生成初级字向量;分布式语义特征医学信息抽取模块,用于以初级字向量为出发点,使用深度卷积神经网络,将原始数据映射到隐层特征空间,最后使用全连接层将学到的分布式特征表示映射到样本标记空间,并且融合优化医学知识库的预测概率对初级字向量进行反馈优化,从而生成医学领域的分布式语义特征;长时语义关联特征提取模块,用于使用分布式语义特征表示,通过引入深度网格长短期记忆神经网络提取医疗临床文档的长时语义关联特征;乳腺癌风险评估分析模块,使用海量医学文本的长时语义关联特征训练一个用于乳腺癌风险评估的深度神经网络,并进行乳腺癌风险评估。
2.根据权利要求1所述的基于深度卷积神经网络的乳腺癌风险评估分析系统,其特征在于,所述医疗文档预处理模块包括:非法字符过滤子模块,以字符为单位遍历文本,移出其中无效非可见字符;中文编码统一子模块,根据设置确定输入文本的中文字符编码方式;字表生成模块,以unicode字符为单位,生成字表,表中的字在后续字向量生成过程中,被映射为浮点数形式的字向量。
3.根据权利要求1所述的基于深度卷积神经网络的乳腺癌风险评估分析系统,其特征在于,所述字向量训练模块包括:正负例生成子模块,用于读取输入语句,根据预设的窗口,生成正例,同时采用随机替换正例的中心字的方法,生成相应的负例;字向量深度卷积神经网络模块,将生成的正负例样本输入网络,计算概率,并根据正负例的概率调整网络;网络优化及训练误差监控模块,针对全局,优化语言模型的概率,并控制训练过程中的误差,达到训练设置的终止条件时,终止训练,保存模型,输出初级字向量。
4.根据权利要求1所述的基于深度卷积神经网络的乳腺癌风险评估分析系统,其特征在于,所述分布式语义特征医学信息抽取模块中使用的深度卷积神经网络共分为八层,由数据增强模块、卷积层、激活层和下采样层交替构成;其中,数据增强模块,用于对原始根据字表生成的文本矩阵对图片进行变换,增大数据集,防止过拟合;卷积层,用于提取文本矩阵的局部特征,其中计算任意给定卷积层的输出大小的公式为其中,K是过滤器尺寸,P是填充值,S是步幅,W是输入文本矩阵的维度;激活层为ReLU激活层;下采样层,用于将隐层输出以一定的概率置0。
5.根据权利要求4所述的基于深度卷积神经网络的乳腺癌风险评估分析系统,其特征在于,所述的深度卷积神经网络的学习过程是一个前向传播过程,上一层的输出即为当前层的输入,并通过激活函数逐层传递,整个网络的实际计算输出用公式表示为:Op=Fn(...F2(F1(XW1)W2)...Wn),其中,X表示原始输入,Fn表示第n层的激活函数,Wn表示第n层的映射权值矩阵,Op表示整个网络的实际计算输出;当前层的输出表示为:Xl=fl(WlWXl-1+bl),l表示网络层数,Xl表示当前层的输出,Xl-1表示上一层的输出,即当前层的输入,Wl表示已经训练好的当前网络层的映射权值矩阵,bl为当前网络的加性偏执,fl是当前网络层的激活函数;采用的激活函数fl为纠正线性单元,即ReLU激活函数,表示为:
6.根据权利要求4所述的基于深度卷积神经网络的乳腺癌风险评估分析系统,其特征在于,所述的深度卷积神经网络的训练是一个反向传播过程,通过误差函数反向传播,利用随机梯度下降法对卷积参数和偏置进行优化调整,直到网络收敛或者达到最大迭代次数停止;反向传播需要通过对带有标签的训练样本进行比较,采用平方误差代价函数,对于c个类别,N个训练样本的多类别进行识别,网络最终输出误差函数用如下公式来计算:其中,EN为平方误差代价函数,为第n个样本对应标签的第k维,为第n个样本对应网络预测的第k个输出;对误差函数进行反向传播时,采用BP算法进行计算:其中,δl代表当前层的误差函数,δl+1代表上一层的误差函数,Wl +1为上一层映射矩阵,f'表示激活函数的反函数,即上采样,ul表示未通过激活函数的上一层的输出,xl-1表示下一层的输入,Wl为本层映射权值矩阵,bl为当前网络的加性偏执。
7.根据权利要求1所述的基于深度卷积神经网络的乳腺癌风险评估分析系统,其特征在于,所述长时语义关联特征提取模块在全卷积神经网络中,分为从大到小再从小到大的两个过程;其中,从大到小是由所述的卷积神经网络中的下采样层作用所致,而从小到大需要由上采样层来实现在上采样过程中,采用分阶段增大的方法,并且在上采样的每个阶段,使用下采样对应层的特征进行辅助;所述辅助是指采用跳层上采样融合的方法,在浅层处减小上采样的步长,得到的细层和高层得到的粗层做融合,然后在上采样得到输出这种跳层上采样融合的方法兼顾了局部和全局信息,实现比较精准的分布式特征提取。
8.根据权利要求1所述的基于深度卷积神经网络的乳腺癌风险评估分析系统,其特征在于,所述长时语义关联特征提取模块使用网格长短期记忆神经网络提取乳腺癌患者医疗文档的长时语义关联特征;所述长短期记忆神经网络采用了特殊隐式单元的LSTM实现长期的保存输入,通过记忆细胞的特殊单元和门控神经元在下一个时间步长将拥有一个权值并联接到自身,拷贝自身状态的真实值和累积的外部信号,这种自联接是由另一个单元学习并决定何时清除记忆内容的乘法门控制的。
9.根据权利要求1所述的基于深度卷积神经网络的乳腺癌风险评估分析系统,其特征在于,所述乳腺癌风险评估分析模块是在所述的深度网格长短期记忆神经网络后连接了一个Softmax分类器,用海量医学文档的长时语义关联特征,训练一个用于乳腺癌风险评估的深度神经网络,用于BI-RADS类型的分类识别;所述Softmax分类器将深度神经网络中的学习结果作为Softmax分类器的输入数据,Softmax回归是面向多类分类问题的Logistic回归:假设对于训练集{(x(1),y(1),…,x(n),y(n))},有y(n)∈[1,2,…,k],对于给定的样本输入x,输出一个k维的向量来表示每一种分类结果出现的概率为p(y=i|x),假设函数h(x)如下:其中,θk为模型的参数,并且所有的概率和为1,加入规则后的代价函数为:代价函数对第j个类别的第1个参数的偏导数为:式中,j为类别数,m为训练集的类别数,p(y(i)=j|x(i);θ)为x分为类别j的概率,λ为规则项参数;通过最小化J(θ),实现的Softmax分类回归,将分类回归结果保存到特征库中;在进行乳腺癌风险评估时,依据BI-RADS类型对被检乳腺癌患者电子健康文档分类,将提取到的输入数据特征与学习训练得到BI-RADS类型特征库中的数据进行比对,计算出每一个分类结果的概率,然后取概率最高的一个结果进行输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710414761.5A CN107220506A (zh) | 2017-06-05 | 2017-06-05 | 基于深度卷积神经网络的乳腺癌风险评估分析系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710414761.5A CN107220506A (zh) | 2017-06-05 | 2017-06-05 | 基于深度卷积神经网络的乳腺癌风险评估分析系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107220506A true CN107220506A (zh) | 2017-09-29 |
Family
ID=59947038
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710414761.5A Pending CN107220506A (zh) | 2017-06-05 | 2017-06-05 | 基于深度卷积神经网络的乳腺癌风险评估分析系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107220506A (zh) |
Cited By (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107863147A (zh) * | 2017-10-24 | 2018-03-30 | 清华大学 | 基于深度卷积神经网络的医疗诊断的方法 |
CN108038209A (zh) * | 2017-12-18 | 2018-05-15 | 深圳前海微众银行股份有限公司 | 答案选择方法、装置和计算机可读存储介质 |
CN108090686A (zh) * | 2017-12-29 | 2018-05-29 | 北京大学 | 一种医疗事件风险评估分析方法及系统 |
CN108109693A (zh) * | 2017-12-19 | 2018-06-01 | 深圳京柏医疗科技股份有限公司 | 胎儿估重方法、装置、系统、存储介质和计算机设备 |
CN108171707A (zh) * | 2018-01-23 | 2018-06-15 | 武汉精测电子集团股份有限公司 | 一种基于深度学习的Mura缺陷等级评判方法及装置 |
CN108198620A (zh) * | 2018-01-12 | 2018-06-22 | 洛阳飞来石软件开发有限公司 | 一种基于深度学习的皮肤疾病智能辅助诊断系统 |
CN108231146A (zh) * | 2017-12-01 | 2018-06-29 | 华南师范大学 | 一种基于深度学习的医疗记录模型构建方法、系统及装置 |
CN108231201A (zh) * | 2018-01-25 | 2018-06-29 | 华中科技大学 | 一种疾病数据分析处理模型的构建方法、系统及应用 |
CN108664589A (zh) * | 2018-05-08 | 2018-10-16 | 苏州大学 | 基于领域自适应的文本信息提取方法、装置、系统及介质 |
CN108765374A (zh) * | 2018-04-27 | 2018-11-06 | 华南理工大学 | 一种宫颈涂片图像中异常核区域筛查的方法 |
CN108830282A (zh) * | 2018-05-29 | 2018-11-16 | 电子科技大学 | 一种乳腺x光图像的乳腺肿块信息提取及分类方法 |
CN109214719A (zh) * | 2018-11-02 | 2019-01-15 | 广东电网有限责任公司 | 一种基于人工智能的营销稽查分析的系统和方法 |
CN109243616A (zh) * | 2018-06-29 | 2019-01-18 | 东华大学 | 基于深度学习的乳腺电子病历联合关系抽取与结构化系统 |
CN109359550A (zh) * | 2018-09-20 | 2019-02-19 | 大连民族大学 | 基于深度学习技术的满文文档印章提取与去除方法 |
CN109447065A (zh) * | 2018-10-16 | 2019-03-08 | 杭州依图医疗技术有限公司 | 一种乳腺影像识别的方法及装置 |
CN109585020A (zh) * | 2018-11-27 | 2019-04-05 | 华侨大学 | 一种运用卷积神经网络对疾病风险预测的模型 |
CN109686441A (zh) * | 2018-12-21 | 2019-04-26 | 质直(上海)教育科技有限公司 | 一种大数据医疗数据特征提取和智能分析预测方法 |
CN109743311A (zh) * | 2018-12-28 | 2019-05-10 | 北京神州绿盟信息安全科技股份有限公司 | 一种WebShell检测方法、装置及存储介质 |
CN109889525A (zh) * | 2019-02-26 | 2019-06-14 | 北京智芯微电子科技有限公司 | 多通信协议智能感知方法 |
CN109902802A (zh) * | 2019-01-22 | 2019-06-18 | 西安电子科技大学 | 基于fpga的卷积神经网络训练系统及方法 |
CN109946538A (zh) * | 2019-03-14 | 2019-06-28 | 上海交通大学 | 一种基于磁感应信号的移动设备监控方法及系统 |
CN109994201A (zh) * | 2019-03-18 | 2019-07-09 | 浙江大学 | 一种基于深度学习的糖尿病与高血压概率计算方法 |
CN110097541A (zh) * | 2019-04-22 | 2019-08-06 | 电子科技大学 | 一种无参考的图像去雨质量评价系统 |
CN110123277A (zh) * | 2019-05-17 | 2019-08-16 | 上海电气集团股份有限公司 | 一种脓毒血症的数据处理系统 |
WO2019196300A1 (zh) * | 2018-04-09 | 2019-10-17 | 平安科技(深圳)有限公司 | 电子装置、鼻咽癌筛查分析方法和计算机可读存储介质 |
CN110364255A (zh) * | 2019-06-06 | 2019-10-22 | 江苏大学 | 一种基于自编码器的肝病评估方法 |
CN110399455A (zh) * | 2019-06-05 | 2019-11-01 | 福建奇点时空数字科技有限公司 | 一种基于cnn和lstm的深度学习数据挖掘方法 |
CN110415824A (zh) * | 2019-07-30 | 2019-11-05 | 广东工业大学 | 脑卒中风的患病风险评估装置和设备 |
CN110543412A (zh) * | 2019-05-27 | 2019-12-06 | 上海工业控制安全创新科技有限公司 | 一种基于神经网络可达性的汽车电子功能安全评估方法 |
CN110543629A (zh) * | 2019-08-01 | 2019-12-06 | 淮阴工学院 | 一种基于w-att-cnn算法的化工装备文本分类方法 |
CN110580500A (zh) * | 2019-08-20 | 2019-12-17 | 天津大学 | 一种面向人物交互的网络权重生成少样本图像分类方法 |
CN110633717A (zh) * | 2018-06-21 | 2019-12-31 | 北京京东尚科信息技术有限公司 | 一种目标检测模型的训练方法和装置 |
CN110689961A (zh) * | 2019-09-03 | 2020-01-14 | 重庆大学 | 一种基于大数据分析技术的胃癌疾病风险检测装置 |
CN110706804A (zh) * | 2019-08-23 | 2020-01-17 | 刘雷 | 一种混合专家系统在肺腺癌分类中给的应用方法 |
CN110837970A (zh) * | 2019-11-11 | 2020-02-25 | 重庆亚德科技股份有限公司 | 一种区域卫生平台质控方法和系统 |
CN110957036A (zh) * | 2019-10-24 | 2020-04-03 | 中国人民解放军总医院 | 一种基于因果推理构建的疾病预后风险评估模型的方法 |
CN111064724A (zh) * | 2019-12-13 | 2020-04-24 | 电子科技大学 | 一种基于rbf神经网络的网络入侵检测系统 |
CN111183486A (zh) * | 2017-10-05 | 2020-05-19 | 皇家飞利浦有限公司 | 用于提高医学成像设备的可靠性的系统和方法 |
CN111476292A (zh) * | 2020-04-03 | 2020-07-31 | 北京全景德康医学影像诊断中心有限公司 | 医学图像分类处理人工智能的小样本元学习训练方法 |
CN111537893A (zh) * | 2020-05-27 | 2020-08-14 | 中国科学院上海高等研究院 | 一种锂离子电池模组运行安全的评测方法、系统及电子设备 |
CN111656408A (zh) * | 2017-12-22 | 2020-09-11 | 普罗马顿控股有限责任公司 | 使用深度学习方法的自动3d牙根形状预测 |
CN112164462A (zh) * | 2020-09-27 | 2021-01-01 | 华南理工大学 | 一种乳腺癌风险评估方法、系统、介质及设备 |
CN112382388A (zh) * | 2020-12-14 | 2021-02-19 | 中南大学 | 一种压疮不良事件的预警方法 |
CN112487179A (zh) * | 2019-09-11 | 2021-03-12 | 珠海格力电器股份有限公司 | 一种口语语义理解方法、装置及系统 |
CN112633482A (zh) * | 2020-12-30 | 2021-04-09 | 广州大学华软软件学院 | 一种高效宽度图卷积神经网络模型及其训练方法 |
CN112667781A (zh) * | 2020-12-31 | 2021-04-16 | 北京万方数据股份有限公司 | 一种恶性肿瘤文献获取方法及装置 |
CN112687330A (zh) * | 2020-12-29 | 2021-04-20 | 北京易奇科技有限公司 | 一种乳腺癌患者携带胚系致病变异的风险预测系统 |
CN112699230A (zh) * | 2020-12-31 | 2021-04-23 | 北京万方数据股份有限公司 | 一种恶性肿瘤诊疗知识获取方法及装置 |
CN112735584A (zh) * | 2020-12-31 | 2021-04-30 | 北京万方数据股份有限公司 | 一种恶性肿瘤诊疗辅助决策生成方法及装置 |
CN113140318A (zh) * | 2021-05-10 | 2021-07-20 | 中国人民解放军总医院第三医学中心 | 一种基于深度学习的肝移植术后肺部感染风险预测方法 |
CN113361559A (zh) * | 2021-03-12 | 2021-09-07 | 华南理工大学 | 基于深宽度联合神经网络的多模态数据知识信息提取方法 |
CN113392890A (zh) * | 2021-06-08 | 2021-09-14 | 南京大学 | 一种基于数据增强的分布外异常样本检测方法 |
CN113571183A (zh) * | 2020-04-28 | 2021-10-29 | 西门子医疗有限公司 | Covid-19患者管理的风险预测 |
CN114203295A (zh) * | 2021-11-23 | 2022-03-18 | 国家康复辅具研究中心 | 脑卒中风险预测干预方法及系统 |
CN114300126A (zh) * | 2021-12-30 | 2022-04-08 | 济南大学 | 一种基于早癌筛查问卷与前馈神经网络的癌症预测系统 |
CN114391827A (zh) * | 2022-01-06 | 2022-04-26 | 普昶钦 | 一种基于卷积神经网络的院前肺气肿诊断装置 |
CN115660871A (zh) * | 2022-11-08 | 2023-01-31 | 上海栈略数据技术有限公司 | 医学临床过程无监督建模方法、计算机设备、存储介质 |
CN115862875A (zh) * | 2023-02-27 | 2023-03-28 | 四川大学华西医院 | 基于多类型特征融合的术后肺部并发症预测方法及系统 |
CN115910327A (zh) * | 2022-12-22 | 2023-04-04 | 北京壹永科技有限公司 | 小样本癌症事件分析方法、装置、设备以及存储介质 |
CN116383344A (zh) * | 2023-05-25 | 2023-07-04 | 广东珠江智联信息科技股份有限公司 | 一种基于中台技术的医学临床研究的数据处理方法及系统 |
CN116777295A (zh) * | 2023-07-04 | 2023-09-19 | 上海智覓医药科技有限公司 | 一种基于数据智能的医药追溯系统及其方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105894088A (zh) * | 2016-03-25 | 2016-08-24 | 苏州赫博特医疗信息科技有限公司 | 基于深度学习及分布式语义特征医学信息抽取系统及方法 |
CN106339591A (zh) * | 2016-08-25 | 2017-01-18 | 汤平 | 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务系统 |
CN106569998A (zh) * | 2016-10-27 | 2017-04-19 | 浙江大学 | 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法 |
CN106599198A (zh) * | 2016-12-14 | 2017-04-26 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种多级联结循环神经网络的图像描述方法 |
-
2017
- 2017-06-05 CN CN201710414761.5A patent/CN107220506A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105894088A (zh) * | 2016-03-25 | 2016-08-24 | 苏州赫博特医疗信息科技有限公司 | 基于深度学习及分布式语义特征医学信息抽取系统及方法 |
CN106339591A (zh) * | 2016-08-25 | 2017-01-18 | 汤平 | 一种基于深度卷积神经网络的预防乳腺癌自助健康云服务系统 |
CN106569998A (zh) * | 2016-10-27 | 2017-04-19 | 浙江大学 | 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法 |
CN106599198A (zh) * | 2016-12-14 | 2017-04-26 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种多级联结循环神经网络的图像描述方法 |
Cited By (91)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111183486A (zh) * | 2017-10-05 | 2020-05-19 | 皇家飞利浦有限公司 | 用于提高医学成像设备的可靠性的系统和方法 |
CN111183486B (zh) * | 2017-10-05 | 2024-05-24 | 皇家飞利浦有限公司 | 用于提高医学成像设备的可靠性的系统和方法 |
CN107863147A (zh) * | 2017-10-24 | 2018-03-30 | 清华大学 | 基于深度卷积神经网络的医疗诊断的方法 |
CN108231146A (zh) * | 2017-12-01 | 2018-06-29 | 华南师范大学 | 一种基于深度学习的医疗记录模型构建方法、系统及装置 |
CN108038209A (zh) * | 2017-12-18 | 2018-05-15 | 深圳前海微众银行股份有限公司 | 答案选择方法、装置和计算机可读存储介质 |
CN108109693A (zh) * | 2017-12-19 | 2018-06-01 | 深圳京柏医疗科技股份有限公司 | 胎儿估重方法、装置、系统、存储介质和计算机设备 |
CN111656408A (zh) * | 2017-12-22 | 2020-09-11 | 普罗马顿控股有限责任公司 | 使用深度学习方法的自动3d牙根形状预测 |
CN108090686B (zh) * | 2017-12-29 | 2022-01-25 | 北京大学 | 一种医疗事件风险评估分析方法及系统 |
CN108090686A (zh) * | 2017-12-29 | 2018-05-29 | 北京大学 | 一种医疗事件风险评估分析方法及系统 |
CN108198620A (zh) * | 2018-01-12 | 2018-06-22 | 洛阳飞来石软件开发有限公司 | 一种基于深度学习的皮肤疾病智能辅助诊断系统 |
CN108198620B (zh) * | 2018-01-12 | 2022-03-22 | 洛阳飞来石软件开发有限公司 | 一种基于深度学习的皮肤疾病智能辅助诊断系统 |
CN108171707A (zh) * | 2018-01-23 | 2018-06-15 | 武汉精测电子集团股份有限公司 | 一种基于深度学习的Mura缺陷等级评判方法及装置 |
CN108231201A (zh) * | 2018-01-25 | 2018-06-29 | 华中科技大学 | 一种疾病数据分析处理模型的构建方法、系统及应用 |
CN108231201B (zh) * | 2018-01-25 | 2020-12-18 | 华中科技大学 | 一种疾病数据分析处理模型的构建方法、系统及应用方法 |
WO2019196300A1 (zh) * | 2018-04-09 | 2019-10-17 | 平安科技(深圳)有限公司 | 电子装置、鼻咽癌筛查分析方法和计算机可读存储介质 |
CN108765374A (zh) * | 2018-04-27 | 2018-11-06 | 华南理工大学 | 一种宫颈涂片图像中异常核区域筛查的方法 |
CN108765374B (zh) * | 2018-04-27 | 2022-03-29 | 华南理工大学 | 一种宫颈涂片图像中异常核区域筛查的方法 |
CN108664589A (zh) * | 2018-05-08 | 2018-10-16 | 苏州大学 | 基于领域自适应的文本信息提取方法、装置、系统及介质 |
CN108664589B (zh) * | 2018-05-08 | 2022-03-15 | 苏州大学 | 基于领域自适应的文本信息提取方法、装置、系统及介质 |
CN108830282A (zh) * | 2018-05-29 | 2018-11-16 | 电子科技大学 | 一种乳腺x光图像的乳腺肿块信息提取及分类方法 |
CN110633717A (zh) * | 2018-06-21 | 2019-12-31 | 北京京东尚科信息技术有限公司 | 一种目标检测模型的训练方法和装置 |
CN109243616A (zh) * | 2018-06-29 | 2019-01-18 | 东华大学 | 基于深度学习的乳腺电子病历联合关系抽取与结构化系统 |
CN109359550B (zh) * | 2018-09-20 | 2021-06-22 | 大连民族大学 | 基于深度学习技术的满文文档印章提取与去除方法 |
CN109359550A (zh) * | 2018-09-20 | 2019-02-19 | 大连民族大学 | 基于深度学习技术的满文文档印章提取与去除方法 |
CN109447065B (zh) * | 2018-10-16 | 2020-10-16 | 杭州依图医疗技术有限公司 | 一种乳腺影像识别的方法及装置 |
CN109447065A (zh) * | 2018-10-16 | 2019-03-08 | 杭州依图医疗技术有限公司 | 一种乳腺影像识别的方法及装置 |
CN109214719A (zh) * | 2018-11-02 | 2019-01-15 | 广东电网有限责任公司 | 一种基于人工智能的营销稽查分析的系统和方法 |
CN109214719B (zh) * | 2018-11-02 | 2021-07-13 | 广东电网有限责任公司 | 一种基于人工智能的营销稽查分析的系统和方法 |
CN109585020A (zh) * | 2018-11-27 | 2019-04-05 | 华侨大学 | 一种运用卷积神经网络对疾病风险预测的模型 |
CN109686441A (zh) * | 2018-12-21 | 2019-04-26 | 质直(上海)教育科技有限公司 | 一种大数据医疗数据特征提取和智能分析预测方法 |
CN109743311A (zh) * | 2018-12-28 | 2019-05-10 | 北京神州绿盟信息安全科技股份有限公司 | 一种WebShell检测方法、装置及存储介质 |
CN109743311B (zh) * | 2018-12-28 | 2021-10-22 | 绿盟科技集团股份有限公司 | 一种WebShell检测方法、装置及存储介质 |
CN109902802B (zh) * | 2019-01-22 | 2020-12-29 | 西安电子科技大学 | 基于fpga的卷积神经网络训练系统及方法 |
CN109902802A (zh) * | 2019-01-22 | 2019-06-18 | 西安电子科技大学 | 基于fpga的卷积神经网络训练系统及方法 |
CN109889525A (zh) * | 2019-02-26 | 2019-06-14 | 北京智芯微电子科技有限公司 | 多通信协议智能感知方法 |
CN109946538A (zh) * | 2019-03-14 | 2019-06-28 | 上海交通大学 | 一种基于磁感应信号的移动设备监控方法及系统 |
CN109994201A (zh) * | 2019-03-18 | 2019-07-09 | 浙江大学 | 一种基于深度学习的糖尿病与高血压概率计算方法 |
CN109994201B (zh) * | 2019-03-18 | 2021-06-11 | 浙江大学 | 一种基于深度学习的糖尿病与高血压概率计算系统 |
CN110097541B (zh) * | 2019-04-22 | 2023-03-28 | 电子科技大学 | 一种无参考的图像去雨质量评价系统 |
CN110097541A (zh) * | 2019-04-22 | 2019-08-06 | 电子科技大学 | 一种无参考的图像去雨质量评价系统 |
CN110123277A (zh) * | 2019-05-17 | 2019-08-16 | 上海电气集团股份有限公司 | 一种脓毒血症的数据处理系统 |
CN110543412A (zh) * | 2019-05-27 | 2019-12-06 | 上海工业控制安全创新科技有限公司 | 一种基于神经网络可达性的汽车电子功能安全评估方法 |
CN110399455A (zh) * | 2019-06-05 | 2019-11-01 | 福建奇点时空数字科技有限公司 | 一种基于cnn和lstm的深度学习数据挖掘方法 |
CN110364255A (zh) * | 2019-06-06 | 2019-10-22 | 江苏大学 | 一种基于自编码器的肝病评估方法 |
CN110364255B (zh) * | 2019-06-06 | 2024-03-22 | 江苏大学 | 一种基于自编码器的肝病评估方法 |
CN110415824A (zh) * | 2019-07-30 | 2019-11-05 | 广东工业大学 | 脑卒中风的患病风险评估装置和设备 |
CN110415824B (zh) * | 2019-07-30 | 2023-05-09 | 广东工业大学 | 脑卒中风的患病风险评估装置和设备 |
CN110543629A (zh) * | 2019-08-01 | 2019-12-06 | 淮阴工学院 | 一种基于w-att-cnn算法的化工装备文本分类方法 |
CN110580500B (zh) * | 2019-08-20 | 2023-04-18 | 天津大学 | 一种面向人物交互的网络权重生成少样本图像分类方法 |
CN110580500A (zh) * | 2019-08-20 | 2019-12-17 | 天津大学 | 一种面向人物交互的网络权重生成少样本图像分类方法 |
CN110706804B (zh) * | 2019-08-23 | 2024-02-02 | 刘雷 | 一种混合专家系统在肺腺癌分类中给的应用方法 |
CN110706804A (zh) * | 2019-08-23 | 2020-01-17 | 刘雷 | 一种混合专家系统在肺腺癌分类中给的应用方法 |
CN110689961A (zh) * | 2019-09-03 | 2020-01-14 | 重庆大学 | 一种基于大数据分析技术的胃癌疾病风险检测装置 |
CN110689961B (zh) * | 2019-09-03 | 2022-12-09 | 重庆大学 | 一种基于大数据分析技术的胃癌疾病风险检测装置 |
CN112487179B (zh) * | 2019-09-11 | 2024-05-31 | 珠海格力电器股份有限公司 | 一种口语语义理解方法、装置及系统 |
CN112487179A (zh) * | 2019-09-11 | 2021-03-12 | 珠海格力电器股份有限公司 | 一种口语语义理解方法、装置及系统 |
CN110957036A (zh) * | 2019-10-24 | 2020-04-03 | 中国人民解放军总医院 | 一种基于因果推理构建的疾病预后风险评估模型的方法 |
CN110837970A (zh) * | 2019-11-11 | 2020-02-25 | 重庆亚德科技股份有限公司 | 一种区域卫生平台质控方法和系统 |
CN111064724A (zh) * | 2019-12-13 | 2020-04-24 | 电子科技大学 | 一种基于rbf神经网络的网络入侵检测系统 |
CN111476292A (zh) * | 2020-04-03 | 2020-07-31 | 北京全景德康医学影像诊断中心有限公司 | 医学图像分类处理人工智能的小样本元学习训练方法 |
CN113571183A (zh) * | 2020-04-28 | 2021-10-29 | 西门子医疗有限公司 | Covid-19患者管理的风险预测 |
US11830606B2 (en) | 2020-04-28 | 2023-11-28 | Siemens Healthcare Gmbh | Risk prediction for COVID-19 patient management |
CN111537893A (zh) * | 2020-05-27 | 2020-08-14 | 中国科学院上海高等研究院 | 一种锂离子电池模组运行安全的评测方法、系统及电子设备 |
CN112164462A (zh) * | 2020-09-27 | 2021-01-01 | 华南理工大学 | 一种乳腺癌风险评估方法、系统、介质及设备 |
CN112164462B (zh) * | 2020-09-27 | 2022-05-24 | 华南理工大学 | 一种乳腺癌风险评估方法、系统、介质及设备 |
CN112382388A (zh) * | 2020-12-14 | 2021-02-19 | 中南大学 | 一种压疮不良事件的预警方法 |
CN112687330A (zh) * | 2020-12-29 | 2021-04-20 | 北京易奇科技有限公司 | 一种乳腺癌患者携带胚系致病变异的风险预测系统 |
CN112633482B (zh) * | 2020-12-30 | 2023-11-28 | 广州大学华软软件学院 | 一种高效宽度图卷积神经网络模型系统及训练方法 |
CN112633482A (zh) * | 2020-12-30 | 2021-04-09 | 广州大学华软软件学院 | 一种高效宽度图卷积神经网络模型及其训练方法 |
CN112667781A (zh) * | 2020-12-31 | 2021-04-16 | 北京万方数据股份有限公司 | 一种恶性肿瘤文献获取方法及装置 |
CN112735584A (zh) * | 2020-12-31 | 2021-04-30 | 北京万方数据股份有限公司 | 一种恶性肿瘤诊疗辅助决策生成方法及装置 |
CN112699230A (zh) * | 2020-12-31 | 2021-04-23 | 北京万方数据股份有限公司 | 一种恶性肿瘤诊疗知识获取方法及装置 |
CN112735584B (zh) * | 2020-12-31 | 2023-10-24 | 北京万方数据股份有限公司 | 一种恶性肿瘤诊疗辅助决策生成方法及装置 |
CN113361559A (zh) * | 2021-03-12 | 2021-09-07 | 华南理工大学 | 基于深宽度联合神经网络的多模态数据知识信息提取方法 |
CN113361559B (zh) * | 2021-03-12 | 2023-10-17 | 华南理工大学 | 基于深宽度联合神经网络的多模态数据知识信息提取方法 |
CN113140318A (zh) * | 2021-05-10 | 2021-07-20 | 中国人民解放军总医院第三医学中心 | 一种基于深度学习的肝移植术后肺部感染风险预测方法 |
CN113392890A (zh) * | 2021-06-08 | 2021-09-14 | 南京大学 | 一种基于数据增强的分布外异常样本检测方法 |
CN114203295A (zh) * | 2021-11-23 | 2022-03-18 | 国家康复辅具研究中心 | 脑卒中风险预测干预方法及系统 |
CN114203295B (zh) * | 2021-11-23 | 2022-05-20 | 国家康复辅具研究中心 | 脑卒中风险预测干预方法及系统 |
CN114300126A (zh) * | 2021-12-30 | 2022-04-08 | 济南大学 | 一种基于早癌筛查问卷与前馈神经网络的癌症预测系统 |
CN114391827A (zh) * | 2022-01-06 | 2022-04-26 | 普昶钦 | 一种基于卷积神经网络的院前肺气肿诊断装置 |
CN115660871A (zh) * | 2022-11-08 | 2023-01-31 | 上海栈略数据技术有限公司 | 医学临床过程无监督建模方法、计算机设备、存储介质 |
CN115660871B (zh) * | 2022-11-08 | 2023-06-06 | 上海栈略数据技术有限公司 | 医学临床过程无监督建模方法、计算机设备、存储介质 |
CN115910327B (zh) * | 2022-12-22 | 2023-09-29 | 北京壹永科技有限公司 | 小样本癌症事件分析方法、装置、设备以及存储介质 |
CN115910327A (zh) * | 2022-12-22 | 2023-04-04 | 北京壹永科技有限公司 | 小样本癌症事件分析方法、装置、设备以及存储介质 |
CN115862875B (zh) * | 2023-02-27 | 2024-02-09 | 四川大学华西医院 | 基于多类型特征融合的术后肺部并发症预测方法及系统 |
CN115862875A (zh) * | 2023-02-27 | 2023-03-28 | 四川大学华西医院 | 基于多类型特征融合的术后肺部并发症预测方法及系统 |
CN116383344B (zh) * | 2023-05-25 | 2023-08-04 | 广东珠江智联信息科技股份有限公司 | 一种基于中台技术的医学临床研究的数据处理方法及系统 |
CN116383344A (zh) * | 2023-05-25 | 2023-07-04 | 广东珠江智联信息科技股份有限公司 | 一种基于中台技术的医学临床研究的数据处理方法及系统 |
CN116777295A (zh) * | 2023-07-04 | 2023-09-19 | 上海智覓医药科技有限公司 | 一种基于数据智能的医药追溯系统及其方法 |
CN116777295B (zh) * | 2023-07-04 | 2024-06-14 | 上海智覓医药科技有限公司 | 一种基于数据智能的医药追溯系统及其方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107220506A (zh) | 基于深度卷积神经网络的乳腺癌风险评估分析系统 | |
CN107516110B (zh) | 一种基于集成卷积编码的医疗问答语义聚类方法 | |
CN110298037A (zh) | 基于增强注意力机制的卷积神经网络匹配的文本识别方法 | |
CN106503654A (zh) | 一种基于深度稀疏自编码网络的人脸情感识别方法 | |
CN110083700A (zh) | 一种基于卷积神经网络的企业舆情情感分类方法及系统 | |
CN107798381A (zh) | 一种基于卷积神经网络的图像识别方法 | |
CN107506797A (zh) | 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法 | |
CN107316046A (zh) | 一种基于增量补偿动态自适应增强的故障诊断方法 | |
CN107316294A (zh) | 一种基于改进的深度玻尔兹曼机肺结节特征提取和良恶性分类方法 | |
CN106529605A (zh) | 基于免疫理论的卷积神经网络模型的图像识别方法 | |
Zhang et al. | Bilateral sensitivity analysis: a better understanding of a neural network | |
CN110276402A (zh) | 一种基于深度学习语义边界增强的盐体识别方法 | |
CN107665248A (zh) | 基于深度学习混合模型的文本分类方法和装置 | |
CN110212528A (zh) | 基于生成对抗和双重语义感知的配电网量测数据缺失重构方法 | |
CN109086802A (zh) | 一种基于八元数卷积神经网络的图像分类方法 | |
CN107563407A (zh) | 一种面向网络空间多模态大数据的特征表示学习系统 | |
CN107194438A (zh) | 一种基于多重栈式自编码的深度特征表示方法 | |
CN112560948A (zh) | 数据偏差下的眼底图分类方法及成像方法 | |
CN107392155A (zh) | 基于多目标优化的稀疏受限玻尔兹曼机的手写体识别方法 | |
CN111598252A (zh) | 基于深度学习的大学计算机基础知识解题方法 | |
CN115658886A (zh) | 基于语义文本的智能肝癌分期方法、系统及介质 | |
CN113920379A (zh) | 一种基于知识辅助的零样本图像分类方法 | |
Harikrishnan et al. | Handwritten digit recognition with feed-forward multi-layer perceptron and convolutional neural network architectures | |
Oja | Self-organizing maps and computer vision | |
Jiang et al. | A massive multi-modal perception data classification method using deep learning based on internet of things |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170929 |