CN111904470B - 医学超声诊查过程的动态可解释推理辅助诊断方法 - Google Patents
医学超声诊查过程的动态可解释推理辅助诊断方法 Download PDFInfo
- Publication number
- CN111904470B CN111904470B CN202010860099.8A CN202010860099A CN111904470B CN 111904470 B CN111904470 B CN 111904470B CN 202010860099 A CN202010860099 A CN 202010860099A CN 111904470 B CN111904470 B CN 111904470B
- Authority
- CN
- China
- Prior art keywords
- path
- reasoning
- vector
- diagnosis
- paths
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 143
- 238000000034 method Methods 0.000 title claims abstract description 121
- 230000008569 process Effects 0.000 title claims abstract description 94
- 230000005012 migration Effects 0.000 claims abstract description 9
- 238000013508 migration Methods 0.000 claims abstract description 9
- 201000010099 disease Diseases 0.000 claims abstract description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 110
- 230000036541 health Effects 0.000 claims description 37
- 239000000523 sample Substances 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000002604 ultrasonography Methods 0.000 claims description 25
- 239000013610 patient sample Substances 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 8
- 241000282414 Homo sapiens Species 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 abstract description 6
- 206010028980 Neoplasm Diseases 0.000 description 7
- 206010006187 Breast cancer Diseases 0.000 description 6
- 238000002405 diagnostic procedure Methods 0.000 description 5
- 238000005295 random walk Methods 0.000 description 5
- 238000012216 screening Methods 0.000 description 5
- 208000026310 Breast neoplasm Diseases 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 4
- 210000000481 breast Anatomy 0.000 description 3
- 238000004195 computer-aided diagnosis Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 208000027089 Parkinsonian disease Diseases 0.000 description 2
- 206010034010 Parkinsonism Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 201000007295 breast benign neoplasm Diseases 0.000 description 2
- 238000003759 clinical diagnosis Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003211 malignant effect Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000002099 shear wave elastography Methods 0.000 description 2
- 206010004243 Benign breast neoplasm Diseases 0.000 description 1
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 208000024770 Thyroid neoplasm Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 201000002510 thyroid cancer Diseases 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Heart & Thoracic Surgery (AREA)
- Software Systems (AREA)
- Surgery (AREA)
- Computing Systems (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Evolutionary Computation (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明提供了一种医学超声诊查过程的动态可解释推理辅助诊断方法。利用医学超声知识图谱实时识别诊查过程中的牵涉实体，通过牵涉实体的推理路径实现推理过程的可解释性；通过知识图谱中实体的路径游走与有效推理路径排名，实现对超声医生扫查的步骤化引导与对疾病的动态推理诊断。本发明能够解决现有静态推理方法对医学超声诊查中的过程信息缺失的问题，并实现推理过程的可解释性，为超声诊查提供实时动态可解释推理辅助诊断。
Description
技术领域
本发明属计算机辅助诊断领域，具体涉及一种医学超声诊查过程的动态可解释推理辅助诊断方法。
背景技术
医学超声具有无辐射、无创伤、实时性、成本低等特点，目前已用于患者的大规模筛查。以癌症为例，超声诊查可有效诊断乳腺癌和甲状腺癌等多种癌症，在癌症早期筛查干预中具有重要作用。但对于我国患者数量的规模，经验丰富超声医生的人数明显不足，因而难以应对我国疾病筛查的庞大规模。为降低大规模筛查对大量医生人手的依赖，现阶段的主要方式是对超声诊查引入计算机辅助诊断技术。
现有医学超声相关的计算机辅助诊断技术，主要以超声医生诊查后所提供的静态超声图像为依据。例如，Abdel-Nasser等人在文献"Abdel-Nasser M,Melendez J,MorenoA,et al.Breast tumor classification in ultrasound images using texture analysisandsuper-resolution methods[J].Engineering Applications of ArtificialIntelligence,2017,59:84-92"中通过超分辨技术对超声影像进行纹理分析，实现对患者乳腺肿瘤良恶性的辅助诊断。Zhang等人在文献"Zhang Q,Xiao Y,Dai W,et al.Deeplearning basedclassification of breast tumors with shear-wave elastography[J].Ultrasonics,2016,72:150-157"中提出了超声剪切波弹性成像图片的深度学习乳腺肿瘤良恶性预测算法。Shi等人在文献"Shi J,Zhou S C,Liu X,et al.Stacked deeppolynomial network basedrepresentation learning for tumor classification withsmall ultrasound image dataset[J].Neurocomputing,2016,194:87-94"中设计了一种栈式深度多项式网络的表示学习方法对肿瘤良恶性进行超声辅助诊断。针对帕金森综合征的经颅超声数据，Shi等人在文献"Shi J,Xue Z Y,Dai Y K,et al.Cascaded Multi-Column RVFL plus Classifier forSingle-Modal Neuroimaging-Based Diagnosis ofParkinson's Disease[J].IEEE Transactionson Biomedical Engineering,2019,66(8):2362-2371"中提出了随机向量函数链接神经网络的超声辅助诊断方法。Shen等人在文献"Shen L,Shi J,Dong Y,et al.An ImprovedDeep Polynomial Network Algorithm forTranscranial Sonography-Based Diagnosis ofParkinson's Disease[J].CognitiveComputation,2019,DOI:10.1007/s12559-019-09691-7"中建立了改进深度多项式网络的经颅超声帕金森综合征辅助诊断方法。
由于上述超声辅助推理诊断方法主要采用数据驱动的方式，难以有效应用于医学超声数据样例较少的情况。对此，Huang等人在文献"Huang Q H,Zhang F,Li X L.Few-shotdecision tree for diagnosis of ultrasound breast tumor using BI-RADS features[J].Multimedia Tools and Applications,2018,77(22):29905-29918"中根据乳腺影像报告和数据系统(Breast Imaging Reporting and Data System,BI-RADS)特征，提出一种基于小样本决策树的乳腺肿瘤良恶性高效辅助诊断方法。此外，由于医学超声图像数据往往维度较高，现有方法在处理较少样例时还会面临维度灾难问题，为此，Huang等人在文献"Huang Q,Chen Y,Liu L,et al.On combining biclustering mining and AdaBoostforbreast tumor classification[J].IEEE Transactions on Knowledge and DataEngineering,2019,DOI:10.1109/TKDE.2019.2891622"中对超声辅助诊断的数据处理环节引入了双聚类挖掘算法，通过提取数据中的局部一致性模式并加以筛选，从而实现特征空间降维的肿瘤良恶性预测。在此基础上，Huang等人在文献"Huang Q H,Hu B Z,ZhangF.Evolutionary optimized fuzzy reasoning with mined diagnostic patterns forclassification ofbreast tumors in ultrasound[J].Information Sciences,2019,502:525-536"中将BI-RADS特征的肿瘤良恶性辅助诊断中引入了模糊推理技术，不仅使得乳腺超声辅助诊断具备了一定可解释性，还增强了推理结果对噪声干扰的鲁棒性。
上述超声辅助诊断方法的共同特征是将超声图像作为静态数据进行辅助诊断推理研究，而医学超声诊断是一个对病患的动态诊查过程，为向静态辅助诊断提供具有代表性的超声图像，需在诊查中采用地毯式扫描并从整个过程中挑选出符合要求的静态超声数据，在全部过程完成后才能进行辅助诊断推理，无法在诊查过程的同步进行动态推理诊断，且存在诊查中重要过程性信息缺失的问题。此外，目前辅助诊断推理方法主要采用深度学习，整个推理流程属于黑箱，缺乏推理过程的可解释性。
发明内容
为了克服现有技术的不足，本发明提供一种医学超声诊查过程的动态可解释推理辅助诊断方法。利用医学超声知识图谱实时识别诊查过程中的牵涉实体，通过牵涉实体的推理路径实现推理过程的可解释性；通过知识图谱中实体的路径游走与有效推理路径排名，实现对超声医生扫查的步骤化引导与对疾病的动态推理诊断。本发明能够解决现有静态推理方法对医学超声诊查中的过程信息缺失的问题，并实现推理过程的可解释性，为超声诊查提供实时动态可解释推理辅助诊断。
一种医学超声诊查过程的动态可解释推理辅助诊断方法，其特征在于步骤如下：
步骤1：利用超声探头实时采集获得诊查过程的超声图像，并根据已有医学超声知识图谱的实体，对超声图像中所含的实体进行标注，作为训练超声图像牵涉实体预测模型的金标准；以超声图像作为输入数据，以标注的金标准作为输出标签，训练卷积神经网络，得到用于预测超声图像牵涉实体的网络模型；通过所训练的网络模型，在超声诊查过程中，对超声图像牵涉实体进行同步识别，将每个诊查步骤的识别结果作为当前的超声图像牵涉实体；
通过领夹式麦克风实时记录医生在诊查过程中的评语语音信号，并利用语音输入法将评语语音信号转换为文字，再通过与已有医学超声知识图谱中的实体关键词进行匹配，得到每个诊查步骤的医生评语所涉及实体，作为当前的医生评语牵涉实体；
上述的超声图像牵涉实体和医生评语牵涉实体共同构成诊查过程当前步骤的牵涉实体；
步骤2：采用TransD算法对已有医学超声知识图谱进行嵌入，其中，实体嵌入向量的维度和关系嵌入向量的维度均设置为d，10≤d≤10000，得到已有医学超声知识图谱中的所有实体和关系的d维嵌入向量；
步骤3：在医学超声知识图谱中，将当前诊查过程中的牵涉实体设置为可游走节点，将与当前诊查过程中的牵涉实体互斥的实体设置为无法游走节点，对于每一个可游走节点，根据知识图谱的有向图结构，对其邻边箭头指向的可游走邻居节点进行等概率选择，随机游走至一个邻居节点，完成一步游走，如此游走K步，游走过程中所途经的邻边与节点构成该可游走节点的一条游走路径；将上述游走过程重复Nrep次，每一个可游走节点得到Nrep条游走路径；
所有可游走节点的所有游走路径共同构成可游走初步路径集合；
对可游走初步路径集合，对其中的重复路径进行剔除，并将其中未能涵盖所有当前诊查过程的牵涉实体的游走路径进行剔除，将剩余的路径构成候选推理路径集合；
所述的步长K的取值范围为3-10，重复游走次数Nrep的取值范围为1000-10000；
步骤4：对患者和健康志愿者分别按照步骤1进行处理，得到其诊查过程中的牵涉实体，并记录每个牵涉实体在诊查过程中被识别的先后顺序，得到患者和健康志愿者的诊查记录；
对每个患者或健康志愿者，以他们的最终诊断结果所对应的实体，标注为其推理路径的终点；
所有患者的诊查记录和其推理路径终点构成病患样例，所有健康志愿者的诊查记录和其推理路径终点构成健康样例；
步骤5：进行样例的有效路径标注，具体为：
步骤5.1：对所有病患样例和健康样例的牵涉实体分别按照步骤3进行处理，得到其候选推理路径集合；
步骤5.2：对病患样例和健康样例，将其候选推理路径集合中路径终点吻合标注终点，且符合医生诊断过程的长为K的路径标记为倒数第一步的有效推理路径；
步骤5.3：对于病患样例和健康样例推理终点的前一步诊查，以其倒数第一步的有效推理路径的倒数第二个节点作为新终点，按照步骤5.2的方法，从含有新终点的候选推理路径中标注其中的符合医生诊断过程的路径，得到病患样例和健康样例的倒数第二步的长为K的有效推理路径；重复此过程，直至第一步诊查，得到病患样例和健康样例的第一步的长为K的有效推理路径；
步骤5.4：对病患样例和健康样例分别按上述过程标记得到所有的有效推理路径，共同构成其有效推理路径集合；其中，记病患样例的有效推理路径个数为Ndis，记健康样例的有效推理路径个数为Nhealth；
步骤6：训练得到路径排名网络模型：
步骤6.1：对病患样例和健康样例的每一个候选推理路径，首先，按照实体和关系在路径中出现的顺序，将其按照步骤2计算得到对应的实体嵌入向量和关系嵌入向量进行拼接，得到向量序列Epath＝[e1,r1,e2,r2,...,eK-1,rK-1,eK]，其中，ei为路径中第i个实体的嵌入向量，i＝1,2,…,K，K为路径包含的实体个数，rj为路径中的第j个关系的嵌入向量，j＝1,2,…,K-1；然后，将向量序列中的第k和k+1个实体及两者间第k个关系的嵌入向量拼接为第2k-1个合并向量将向量序列中的第k和k+1个关系及两者间第k+1个实体的嵌入向量拼接为第2k个合并向量/>k＝1,2,…,K，符号/>表示向量拼接操作；将所有的合并向量xi按顺序排列得到矩阵X＝[x1,x2,x3,...,x2K-2,x2K-1]，记为该候选推理路径的嵌入矩阵，i＝1,2,…,2K-1；
步骤6.2：设置病患/健康样例所有的有效推理路径的优先级均优高于候选推理路径集合中其余的路径；对于所有病患/健康样例，将其相应的有效推理路径和其余路径的优先级进行两两对比，比对结果构成路径优先级二元组集合Spair＝{(i,j)|路径i的优先级高于路径j，且1≤i≤Ndis,1≤j≤Nhealth}；
步骤6.3：构建由LSTM网络、全连接层和线性投影层串联而成的路径排名网络模型；在模型训练时，模型输入为路径优先级二元组集合Spair中每一对路径(i,j)分别对应的嵌入矩阵，1≤i≤Ndis，1≤j≤Nhealth，输出为此对路径(i,j)的优先级得分的差值；
其中，LSTM网络按照以下过程进行计算，得到输出向量pi和pj：
其中，表示路径i的第t步遗忘门向量，σ(·)表示sigmoid函数，Wf表示遗忘门权重矩阵，/>表示路径i的第t-1步网络输出向量，/>表示路径i的嵌入矩阵中的第t步的合并向量，bf表示遗忘门偏置向量；/>表示路径i的第t步的输入门向量，Wi表示输入门权重矩阵，bi表示输入门偏置向量；/>表示路径i的第t步的记忆向量，tanh(·)表示双曲正切函数，Wu表示状态单元权重矩阵，bu表示状态单元偏置向量；/>表示路径i的第t步的输出门向量，Wo表示输入门权重矩阵，bo表示输入门偏置向量；/>表示路径i的第t步的记忆向量，/>表示路径i的第t-1步的记忆向量，⊙为向量点对点乘法，/>表示向量拼接操作，/>表示路径i的第t步输出向量；
由t＝1开始，直至t＝2K-1，按上述公式进行循环迭代计算，最终得到的输出向量即为路径i的LSTM网络输出向量pi，/>将公式1中的所有上标i替换为j，计算得到路径j的LSTM网络输出向量pj；
对于此对路径(i,j)，构建路径排名网络模型的损失函数如下：
其中，LRanking表示网络总损失，γ为预设参数，取值范围为(0,+∞)；F(pi；Wscore,bscore,v)表示路径i的优先级得分，F(pj；Wscore,bscore,v)表示路径j的优先级得分，分别按下式计算得到：
F(pi；Wscore,bscore,v)＝vTσ{Wscorepi+bscore} (3)
F(pj；Wscore,bscore,v)＝vTσ{Wscorepj+bscore} (4)
其中，v表示线性投影层的参数向量，Wscore表示全连接层的变换矩阵，bscore表示全连接层的变换偏置向量；
通过反向传播和随机梯度下降法对LRanking进行最小化优化，完成路径排名网络模型训练；
步骤7：对于每一名新来的检查者，首先通过步骤1获得该检查者的诊查过程牵涉实体；利用其诊查过程牵涉实体，通过步骤3获得候选推理路径集合；进而，对于候选推理路径集合，成双地取出集合中的路径，输入至由步骤6所训练好的路径排名网络模型，得到该路径对的两条候选推理路径的优先级得分的差值；根据优先级得分的差值，对所有候选推理路径进行两两对比，得到候选推理路径的优先级排序；选择排名最高的路径，作为当前诊查过程中最符合医生诊断过程的有效推理路径；
对于检查者的每步诊查，分别按照由上述方式处理，得到当前诊查过程的有效推理路径，整个诊查过程各步的有效推理路径顺序拼接，构成本次诊查的辅助诊断推理通路。
本发明的有益效果是：由于实时识别医学超声知识图谱在诊查过程中的牵涉实体，并获得牵涉实体推理路径，可以满足辅助诊断推理过程的可解释性要求；由于在诊查过程采用了牵涉实体实时识别和路径排名网络模型，可以对诊查过程中的牵涉实体进行动态路径排名，实现超声诊查中对医生扫查的引导及诊断结果的预测。
附图说明
图1是本发明的医学超声诊查过程的动态可解释推理辅助诊断方法流程图；
图2是本发明的医学超声诊查过程的动态可解释推理辅助诊断方法原理示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
1、超声知识图谱牵涉实体的即时判别
在超声诊查中，为了对诊查过程当前所牵涉的图谱实体进行即时判别，将超声探头压电信号转为数字信号后，输入至超声诊断室的计算机中并进行成像处理，实时获得诊查过程的超声图像。根据已有医学超声知识图谱中可由超声图像所见的实体，对超声图像中所含的实体进行标注，作为训练超声图像牵涉实体预测模型的金标准。以超声图像作为输入数据，以标注的金标准作为输出标签，训练卷积神经网络，得到用于预测超声图像牵涉实体的网络模型。在超声诊查过程中，将当前诊查步骤所获得的超声图输入至所训练的网络模型，输出当前诊查步骤所对应的超声图像牵涉实体的识别结果，将每个诊查步骤的识别结果作为当前的超声图像牵涉实体。
对于超声医生在诊查过程中的评语，通过领夹式麦克风实时记录医生在诊查过程中评语的语音信号并输入至计算机。进而利用语音输入法软件将评语转换为文字，并将医生评语语音所转换的文字与已有医学超声知识图谱的实体关键词进行精准匹配，最后将其中被成功匹配的实体也作当前诊查步骤的医生评语牵涉实体。
通过网络所识别的超声图像牵涉实体和通过语音转换文字所匹配的医生评语牵涉实体，共同作为当前诊查步骤的牵涉实体。
2、医学超声知识图谱的实体关系嵌入
为了使已有医学超声知识图谱的实体和关系在后续推理更易于处理，进而采用嵌入向量表示知识图谱的相应实体和关系。此处，设置实体嵌入向量的维度和关系嵌入向量的维度均为d，其中10≤d≤10000，进而采用TransD算法对已有医学超声知识图谱进行嵌入，得到知识图谱中的所有实体和关系的d维嵌入向量。
3、牵涉实体在知识图谱中的网络游走
根据超声诊查过程当前步骤的牵涉实体，对已有医学超声知识图谱的网络节点多次进行游走：其中，为防止知识图谱游走所发现的候选路径集合存在无效路径，将已牵涉实体互斥的实体设置为无法游走节点。根据知识图谱的有向图结构中的可游走节点，对牵涉实体节点的箭头向外邻边进行等概率选择，游走至所选邻边箭头指向的邻居实体节点。对图谱的可游走节点(即当前诊查过程中的牵涉实体)，将上述单步随机游走进行K步，可从图谱采样一条步长为K的可游走路径。步长K由用户自定，可取值范围为3-10。通过上述方式，可采样得到已有医学超声知识图谱的一条可游走初步路径。将上述随机游走过程从初始点重复Nrep次(由用户设定，可取值范围为1000-10000)，得到知识图谱的可游走初步路径集合。
4、图谱游走结果的候选推理路径发现
对于上述方式所获得的步长为K的可游走初步路径集合，去除知识图谱随机游走结果中的重复路径。在剩余的非重复路径中，若该路径遗漏诊查中已识别的牵涉实体，则剔除此次随机游走所采样的可游走初步路径；当此次采样路径可同时覆盖所有已识别牵涉实体时，路径符合诊查过程当前步骤的候选游走路径要求，保留此次游走的路径。将所剩余的满足牵涉实体覆盖要求的可游走初步路径，构成图谱中步长为K的候选推理路径集合。
5、已知诊断结果样例收集
收集患者/健康志愿者的超声诊查记录，其中全面记录每个样例按照步骤1的方式在超声诊查过程的牵涉实体，以及每个牵涉实体在诊查过程中被识别的时间先后顺序。同时，记录每个诊查记录所对应的医生临床诊断结果，标注为该样例的诊断推理终点实体。将所收集的各患者的牵涉实体记录和终诊断结果所对应的实体，作为病患样例；将所收集的健康志愿者的牵涉实体记录和健康语义所对应的实体，作为健康样例。
6、候选推理路径的有效路径标注
对所收集样例诊查过程中的牵涉实体分别按照步骤3进行随机游走，并按照步骤4得到其候选推理路径。其中，对于病患样例的候选路径集合，选择其中终点为医生临床诊断结果实体且符合医生人工诊断过程的路径，记为病患样例的有效推理路径；对于健康样例，从候选推理路径集合中选择终点为健康语义实体且符合医生人工诊断过程的路径，记为健康样例的有效推理路径。对于候选路径最终结果的前一步诊查，将当前步骤有效路径的倒数第二个实体作为新终点，按照上述过程进行有效路径筛选。重复上述过程，直到第一步诊查，可获得每一步诊查的候选推理路径中的符合医生诊断的所有有效推理路径，构成有效推理路径集合。此处所得的有效推理路径集合，和候选推理路径集合中其余的路径，共同作为后续推理模型的训练数据。
7、构建并训练路径排名网络模型
设置病患/健康样例的候选推理路径集合中的有效推理路径的优先级高于其余的路径。对所有病患/健康样例，将其相应的有效推理路径和其余路径的优先级进行两两对比，并将成对路径的比对结果按左高右低的形式，构成路径优先级二元组集合，即Spair＝{(i,j)|路径i的优先级高于路径j，且1≤i≤Ndis,1≤j≤Nhealth}。
为使路径排名网络模型对输入候选路径的处理更加有效，根据步骤2中所得到的实体和关系的d维嵌入向量，找出候选推理路径中所包含的实体和关系分别对应的嵌入向量，按路径中出现的顺序对其中实体和关系的嵌入向量进行拼接，得到路径的嵌入向量序列Epath＝[e1,r1,e2,r2,...,eK-1,rK-1,eK]，其中，ei为路径中第i个实体的嵌入向量，i＝1,2,…,K，K为该候选推理路径包含的实体个数(即路径长度)，rj为路径中的第j个关系的嵌入向量，j＝1,2,…,K-1。
进一步地，将嵌入向量序列中的第k和k+1个实体及两者间第k个关系的嵌入向量拼接为第2k-1个合并向量(维度为3d×1)，同时，将向量序列中的第k和k+1个关系及两者间第k+1个实体的嵌入向量拼接为第2k个合并向量/>(维度为3d×1)，k＝1,2,…,K，此处符号/>表示向量拼接操作。所有合并向量xi(维度为3d×1)构成维度为3d×(2K-1)维的矩阵X＝[x1,x2,x3,...,x2K-2,x2K-1]，记为该候选推理路径的嵌入矩阵，其中i＝1,2,…,2K-1。该嵌入矩阵将是路径排名模型的输入。
构建由LSTM网络、全连接层和线性投影层串联而成的路径排名网络模型，模型输入为路径优先级二元组集合Spair中每一对路径(i,j)分别对应的嵌入矩阵，1≤i≤Ndis，1≤j≤Nhealth，输出为此对路径(i,j)的优先级得分的差值。
其中，LSTM网络按照以下过程进行计算，得到输出向量pi和pj：
其中，表示路径i的第t步遗忘门向量，σ(·)表示sigmoid函数，Wf表示遗忘门权重矩阵，/>表示路径i的第t-1步网络输出向量，/>表示路径i的嵌入矩阵中的第t步的合并向量，bf表示遗忘门偏置向量；/>表示路径i的第t步的输入门向量，Wi表示输入门权重矩阵，bi表示输入门偏置向量；/>表示路径i的第t步的记忆向量，tanh(·)表示双曲正切函数，Wu表示状态单元权重矩阵，bu表示状态单元偏置向量；/>表示路径i的第t步的输出门向量，Wo表示输入门权重矩阵，bo表示输入门偏置向量；/>表示路径i的第t步的记忆向量，/>表示路径i的第t-1步的记忆向量，⊙为向量点对点乘法，/>表示向量拼接操作，/>表示路径i的第t步输出向量；
由t＝1开始，直至t＝2K-1，按上述公式进行循环迭代计算，最终得到的输出向量即为路径i的LSTM网络输出向量pi，/>将公式1中的所有上标i替换为j，计算得到路径j的LSTM网络输出向量pj；
对于此对路径(i,j)，构建路径排名网络模型的损失函数，用于描述输入的两对路径的优先级得分的差值，具体设置如下：
其中，LRanking表示网络总损失，γ为预设参数，取值范围为(0,+∞)；F(pi；Wscore,bscore,v)表示路径i的优先级得分，F(pj；Wscore,bscore,v)表示路径j的优先级得分，分别按下式计算得到：
F(pi；Wscore,bscore,v)＝vTσ{Wscorepi+bscore} (7)
F(pj；Wscore,bscore,v)＝vTσ{Wscorepj+bscore} (8)
其中，v表示线性投影层的参数向量，Wscore表示全连接层的变换矩阵，bscore表示全连接层的变换偏置向量；
通过反向传播和随机梯度下降法对LRanking进行最小化优化，完成路径排名网络模型训练。
8、诊查过程中的最佳推理诊断路径和结果
对于每一名新来的检查者，首先通过步骤1获得该检查者的诊查过程牵涉实体；利用其诊查过程牵涉实体，通过步骤3和步骤4获得候选推理路径集合。进而，对于候选推理路径集合，成双地取出集合中的路径，并按将两个路径分别设为路径对的左侧路径和右侧路径，并输入至由步骤7所训练好的路径排名网络模型，得到该路径对的两条候选推理路径的优先级得分的差值。根据优先级得分的差值，若差值大于零，则视为输入时的左侧路径的优先级大于右侧路径；若差值小于零，则视为输入时的左侧路径的优先级小于右侧路径；若差值等于零，则视为输入时的左侧路径与右侧路径的优先级相等。按照上述所得的优先级高低，对所有候选推理路径进行优先级排序；选择排名最高的路径，作为当前诊查过程中最符合医生诊断过程的有效推理路径；
对于检查者的每步诊查，分别由上述方式给出当前诊查过程的有效推理路径；医生根据当前的有效推理路径结果的引导，继续开展下一步诊查，所得的最新的牵涉实体仍然按照上述方式输入至路径排名网络模型，并给出最新的有效推理路径；如此反复该流程，直至抵达最新的有效推理路径抵达最终诊断结果实体。整个诊查过程各步的有效推理路径的前后拼接，构成本次诊查的辅助诊断推理通路，该通路对诊查过程各步的推理过程具有可解释性。
Claims (1)
1.一种医学超声诊查过程的动态可解释推理辅助诊断方法，其特征在于步骤如下：
步骤1：利用超声探头实时采集获得诊查过程的超声图像，并根据已有医学超声知识图谱的实体，对超声图像中所含的实体进行标注，作为训练超声图像牵涉实体预测模型的金标准；以超声图像作为输入数据，以标注的金标准作为输出标签，训练卷积神经网络，得到用于预测超声图像牵涉实体的网络模型；通过所训练的网络模型，在超声诊查过程中，对超声图像牵涉实体进行同步识别，将每个诊查步骤的识别结果作为当前的超声图像牵涉实体；
通过领夹式麦克风实时记录医生在诊查过程中的评语语音信号，并利用语音输入法将评语语音信号转换为文字，再通过与已有医学超声知识图谱中的实体关键词进行匹配，得到每个诊查步骤的医生评语所涉及实体，作为当前的医生评语牵涉实体；
上述的超声图像牵涉实体和医生评语牵涉实体共同构成诊查过程当前步骤的牵涉实体；
步骤2：采用TransD算法对已有医学超声知识图谱进行嵌入，其中，实体嵌入向量的维度和关系嵌入向量的维度均设置为d，10≤d≤10000，得到已有医学超声知识图谱中的所有实体和关系的d维嵌入向量；
步骤3：在医学超声知识图谱中，将当前诊查过程中的牵涉实体设置为可游走节点，将与当前诊查过程中的牵涉实体互斥的实体设置为无法游走节点，对于每一个可游走节点，根据知识图谱的有向图结构，对其邻边箭头指向的可游走邻居节点进行等概率选择，随机游走至一个邻居节点，完成一步游走，如此游走K步，游走过程中所途经的邻边与节点构成该可游走节点的一条游走路径；将上述游走过程重复Nrep次，每一个可游走节点得到Nrep条游走路径；
所有可游走节点的所有游走路径共同构成可游走初步路径集合；
对可游走初步路径集合，对其中的重复路径进行剔除，并将其中未能涵盖所有当前诊查过程的牵涉实体的游走路径进行剔除，将剩余的路径构成候选推理路径集合；
所述的步长K的取值范围为3-10，重复游走次数Nrep的取值范围为1000-10000；
步骤4：对患者和健康志愿者分别按照步骤1进行处理，得到其诊查过程中的牵涉实体，并记录每个牵涉实体在诊查过程中被识别的先后顺序，得到患者和健康志愿者的诊查记录；
对每个患者或健康志愿者，以他们的最终诊断结果所对应的实体，标注为其推理路径的终点；
所有患者的诊查记录和其推理路径终点构成病患样例，所有健康志愿者的诊查记录和其推理路径终点构成健康样例；
步骤5：进行样例的有效路径标注，具体为：
步骤5.1：对所有病患样例和健康样例的牵涉实体分别按照步骤3进行处理，得到其候选推理路径集合；
步骤5.2：对病患样例和健康样例，将其候选推理路径集合中路径终点吻合标注终点，且符合医生诊断过程的长为K的路径标记为倒数第一步的有效推理路径；
步骤5.3：对于病患样例和健康样例推理终点的前一步诊查，以其倒数第一步的有效推理路径的倒数第二个节点作为新终点，按照步骤5.2的方法，从含有新终点的候选推理路径中标注其中的符合医生诊断过程的路径，得到病患样例和健康样例的倒数第二步的长为K的有效推理路径；重复此过程，直至第一步诊查，得到病患样例和健康样例的第一步的长为K的有效推理路径；
步骤5.4：对病患样例和健康样例分别按上述过程标记得到所有的有效推理路径，共同构成其有效推理路径集合；其中，记病患样例的有效推理路径个数为Ndis，记健康样例的有效推理路径个数为Nhealth；
步骤6：训练得到路径排名网络模型：
步骤6.1：对病患样例和健康样例的每一个候选推理路径，首先，按照实体和关系在路径中出现的顺序，将其按照步骤2计算得到对应的实体嵌入向量和关系嵌入向量进行拼接，得到向量序列Epath＝[e1,r1,e2,r2,...,eK-1,rK-1,eK]，其中，ei为路径中第i个实体的嵌入向量，i＝1,2,…,K，K为路径包含的实体个数，rj为路径中的第j个关系的嵌入向量，j＝1,2,…,K-1；然后，将向量序列中的第k和k+1个实体及两者间第k个关系的嵌入向量拼接为第2k-1个合并向量将向量序列中的第k和k+1个关系及两者间第k+1个实体的嵌入向量拼接为第2k个合并向量/>符号/>表示向量拼接操作；将所有的合并向量xi按顺序排列得到矩阵X＝[x1,x2,x3,...,x2K-2,x2K-1]，记为该候选推理路径的嵌入矩阵，i＝1,2,…,2K-1；
步骤6.2：设置病患/健康样例所有的有效推理路径的优先级均优高于候选推理路径集合中其余的路径；对于所有病患/健康样例，将其相应的有效推理路径和其余路径的优先级进行两两对比，比对结果构成路径优先级二元组集合Spair＝{(i,j)|路径i的优先级高于路径j，且1≤i≤Ndis,1≤j≤Nhealth}；
步骤6.3：构建由LSTM网络、全连接层和线性投影层串联而成的路径排名网络模型；在模型训练时，模型输入为路径优先级二元组集合Spair中每一对路径(i,j)分别对应的嵌入矩阵，1≤i≤Ndis，1≤j≤Nhealth，输出为此对路径(i,j)的优先级得分的差值；
其中，LSTM网络按照以下过程进行计算，得到输出向量pi和pj：
其中，表示路径i的第t步遗忘门向量，σ(·)表示sigmoid函数，Wf表示遗忘门权重矩阵，/>表示路径i的第t-1步网络输出向量，/>表示路径i的嵌入矩阵中的第t步的合并向量，bf表示遗忘门偏置向量；/>表示路径i的第t步的输入门向量，Wi表示输入门权重矩阵，bi表示输入门偏置向量；/>表示路径i的第t步的记忆向量，tanh(·)表示双曲正切函数，Wu表示状态单元权重矩阵，bu表示状态单元偏置向量；/>表示路径i的第t步的输出门向量，Wo表示输入门权重矩阵，bo表示输入门偏置向量；/>表示路径i的第t步的记忆向量，/>表示路径i的第t-1步的记忆向量，⊙为向量点对点乘法，/>表示向量拼接操作，/>表示路径i的第t步输出向量；
由t＝1开始，直至t＝2K-1，按上述公式进行循环迭代计算，最终得到的输出向量即为路径i的LSTM网络输出向量pi，/>将公式1中的所有上标i替换为j，计算得到路径j的LSTM网络输出向量pj；
对于此对路径(i,j)，构建路径排名网络模型的损失函数如下：
其中，LRanking表示网络总损失，γ为预设参数，取值范围为(0,+∞)；F(pi；Wscore,bscore,v)表示路径i的优先级得分，F(pj；Wscore,bscore,v)表示路径j的优先级得分，分别按下式计算得到：
F(pi；Wscore,bscore,v)＝vTσ{Wscorepi+bscore} (3)
F(pj；Wscore,bscore,v)＝vTσ{Wscorepj+bscore} (4)
其中，v表示线性投影层的参数向量，Wscore表示全连接层的变换矩阵，bscore表示全连接层的变换偏置向量；
通过反向传播和随机梯度下降法对LRanking进行最小化优化，完成路径排名网络模型训练；
步骤7：对于每一名新来的检查者，首先通过步骤1获得该检查者的诊查过程牵涉实体；利用其诊查过程牵涉实体，通过步骤3获得候选推理路径集合；进而，对于候选推理路径集合，成双地取出集合中的路径，输入至由步骤6所训练好的路径排名网络模型，得到该路径对的两条候选推理路径的优先级得分的差值；根据优先级得分的差值，对所有候选推理路径进行两两对比，得到候选推理路径的优先级排序；选择排名最高的路径，作为当前诊查过程中最符合医生诊断过程的有效推理路径；
对于检查者的每步诊查，分别按照由上述方式处理，得到当前诊查过程的有效推理路径，整个诊查过程各步的有效推理路径顺序拼接，构成本次诊查的辅助诊断推理通路。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010860099.8A CN111904470B (zh) | 2020-08-24 | 2020-08-24 | 医学超声诊查过程的动态可解释推理辅助诊断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010860099.8A CN111904470B (zh) | 2020-08-24 | 2020-08-24 | 医学超声诊查过程的动态可解释推理辅助诊断方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111904470A CN111904470A (zh) | 2020-11-10 |
| CN111904470B true CN111904470B (zh) | 2024-03-12 |
Family
ID=73279475
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010860099.8A Active CN111904470B (zh) | 2020-08-24 | 2020-08-24 | 医学超声诊查过程的动态可解释推理辅助诊断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111904470B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117093727B (zh) * | 2023-10-16 | 2024-01-05 | 湖南董因信息技术有限公司 | 基于时间关系感知的时序知识图谱补全方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005001740A2 (en) * | 2003-06-25 | 2005-01-06 | Siemens Medical Solutions Usa, Inc. | Systems and methods for automated diagnosis and decision support for breast imaging |
| CN105447872A (zh) * | 2015-12-03 | 2016-03-30 | 中山大学 | 一种在超声影像中自动识别肝脏肿瘤类型的方法 |
| CN110881969A (zh) * | 2019-11-27 | 2020-03-17 | 太原理工大学 | 一种基于Stacking集成学习的心力衰竭预警方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11730387B2 (en) * | 2018-11-02 | 2023-08-22 | University Of Central Florida Research Foundation, Inc. | Method for detection and diagnosis of lung and pancreatic cancers from imaging scans |
-
2020
- 2020-08-24 CN CN202010860099.8A patent/CN111904470B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005001740A2 (en) * | 2003-06-25 | 2005-01-06 | Siemens Medical Solutions Usa, Inc. | Systems and methods for automated diagnosis and decision support for breast imaging |
| CN105447872A (zh) * | 2015-12-03 | 2016-03-30 | 中山大学 | 一种在超声影像中自动识别肝脏肿瘤类型的方法 |
| WO2017092182A1 (zh) * | 2015-12-03 | 2017-06-08 | 中山大学 | 一种在超声影像中自动识别肝脏肿瘤类型的方法 |
| CN110881969A (zh) * | 2019-11-27 | 2020-03-17 | 太原理工大学 | 一种基于Stacking集成学习的心力衰竭预警方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111904470A (zh) | 2020-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109978850B (zh) | 一种多模态医学影像半监督深度学习分割系统 | |
| WO2023077603A1 (zh) | 一种异常脑连接预测系统、方法、装置及可读存储介质 | |
| CN109544518B (zh) | 一种应用于骨骼成熟度评估的方法及其系统 | |
| Shrestha et al. | Machine learning for nuclear cardiology: The way forward | |
| CN111738363B (zh) | 基于改进的3d cnn网络的阿尔茨海默病分类方法 | |
| Cai et al. | Lesion-harvester: iteratively mining unlabeled lesions and hard-negative examples at scale | |
| Hennessey et al. | Artificial intelligence in veterinary diagnostic imaging: A literature review | |
| Hebbale et al. | A survey on automated medical image classification using deep learning | |
| Sirjani et al. | Automatic cardiac evaluations using a deep video object segmentation network | |
| Shamrat et al. | Analysing most efficient deep learning model to detect COVID-19 from computer tomography images | |
| CN111904470B (zh) | 医学超声诊查过程的动态可解释推理辅助诊断方法 | |
| Khan et al. | A novel approach to predict brain cancerous tumor using transfer learning | |
| Bhowal et al. | A two-tier feature selection method using Coalition game and Nystrom sampling for screening COVID-19 from chest X-Ray images | |
| Li et al. | DSMT-Net: Dual Self-supervised Multi-operator Transformation for Multi-source Endoscopic Ultrasound Diagnosis | |
| CN117152433A (zh) | 一种基于多尺度跨层注意力融合网络的医学图像分割方法 | |
| CN117274147A (zh) | 一种基于混合Swin Transformer U-Net的肺部CT图像分割方法 | |
| Reuben et al. | Effective Kidney Stone Prediction Based on Optimized Yolov7 Segmentation and Deep Learning Classification | |
| Krishnamoorthy et al. | Self-Supervised Representation Learning for Diagnosis of Cardiac Abnormalities on Echocardiograms | |
| Abdulsamad et al. | Cervical Cancer Screening Using Residual Learning | |
| Nagashree et al. | A Modified UNet based Framework towards Early Detection of Autism using EEG Waves | |
| CN117333485B (zh) | 基于弱监督深度序数回归网络的wsi生存预测方法 | |
| Xue et al. | Regional Cardiac Motion Scoring With Multi-Scale Motion-Based Spatial Attention | |
| Prakram et al. | A System For Detecting Brain Tumors Through the Use of Deep Learning and Image Classification with Improved Accuracy | |
| Wang et al. | A Lung Nodule Detector Based on U-Net and 3D-CNN Model | |
| Hamida et al. | ischemic stroke, deep learning, transfer learning, VGG-16, data augmentation. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Huang Qinghua Inventor after: Xi Jianing Inventor before: Xi Jianing Inventor before: Huang Qinghua |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |