CN111949801B - 医生经验知识与超声影像信息的知识图谱融合方法 - Google Patents
医生经验知识与超声影像信息的知识图谱融合方法 Download PDFInfo
- Publication number
- CN111949801B CN111949801B CN202010729546.6A CN202010729546A CN111949801B CN 111949801 B CN111949801 B CN 111949801B CN 202010729546 A CN202010729546 A CN 202010729546A CN 111949801 B CN111949801 B CN 111949801B
- Authority
- CN
- China
- Prior art keywords
- knowledge
- entity
- graph
- entities
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 10
- 239000013598 vector Substances 0.000 claims abstract description 76
- 238000000034 method Methods 0.000 claims abstract description 22
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 238000002372 labelling Methods 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 12
- 238000002604 ultrasonography Methods 0.000 claims description 11
- 210000000481 breast Anatomy 0.000 claims description 5
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 2
- 238000001228 spectrum Methods 0.000 claims 1
- 238000003745 diagnosis Methods 0.000 abstract description 9
- 238000004195 computer-aided diagnosis Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 17
- 238000013507 mapping Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 201000004311 Gilles de la Tourette syndrome Diseases 0.000 description 1
- 240000000233 Melia azedarach Species 0.000 description 1
- 208000009453 Thyroid Nodule Diseases 0.000 description 1
- 208000000323 Tourette Syndrome Diseases 0.000 description 1
- 208000016620 Tourette disease Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000105 evaporative light scattering detection Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003169 placental effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/20—ICT specially adapted for the handling or processing of medical references relating to practices or guidelines
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Bioethics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明提供了一种医生经验知识与超声影像信息的知识图谱融合方法。首先，将医生经验标注信息逐条叙述为三元组规则化知识，并将各条规则化知识构建为医生经验知识图谱；然后，对医生经验知识图谱和超声影像知识图谱中的实体进行语义本体查询，并进行对齐处理和知识图谱嵌入表示；最后，求解所构建的融合目标函数，得到不同图谱的联合空间嵌入向量，结合距离判断，实现医生经验知识图谱和超声影像知识图谱的融合。本发明通过知识图谱方式将医生经验融合至超声影像中，可以突破计算机辅助诊断方法仅采用医学影像数据驱动的局限，使辅助诊断过程更加吻合医生经验。
Description
技术领域
本发明属医学信息处理领域，具体涉及一种医生经验知识与超声影像信息的知识图谱融合方法。
背景技术
在临床中，医学超声属于最高频的医学影像诊查，为在大规模筛查时有效缓解医生诊断过程中的工作强度，医院主要采用计算机辅助诊断技术对医生诊断进行辅助。现有计算机辅助诊断技术的研究，主要集中于诊查所采集的医学影像，通过数据驱动方式挖掘出图像与疾病的潜在关联，对疾病的诊断结果进行预测。
由于仅来自医学图像数据的信息对于辅助诊断参考价值往往有限，因此可以在医学影像的基础上进一步融合其他医学信息，从而对超声数据的信息进行补充。如Lafitte等人在文献"Lafitte L,Zachiu C,Kerkmeijer L G W,et al.Accelerating multi-modalimage registration using a supervoxel-based variational framework[J].Physicsin Medicine and Biology,2018,63(23):235009"中采用基于超像素变分框架的图像配准方法，将超声影像与多种其他医学影像模态进行融合。Lei等人在文献"Lei B Y,Li W J,Yao Y,et al.Multi-modal and multi-layout discriminative learning forplacental maturity staging[J].Pattern Recognition,2017,63:719-730"中提出了基于特征融合的多层Fisher向量判别式学习，可有效融合B型超声图像和彩色多普勒能量图两种信息。Ye等人在文献"Ye C Y,Vaidya V,Zhao F,et al.:Improved Mass Detectionin 3D Automated Breast Ultrasound Using Region Based Features and Multi-viewInformation,2014 36th Annual International Conference of the IEEE Engineeringin Medicine and Biology Society,2014:2865-2868"中通过多视角学习方法实现了三维超声的多视角信息融合。此外，其他医学影像的多模态融合研究，也对超声影像信息融合具有重要借鉴意义。如Wen等人在文献"Wen H W,Liu Y,Rekik I,et al.Multi-modalmultiple kernel learning for accurate identification of Tourette syndromechildren[J].Pattern Recognition,2017,63:601-611"中通过多核学习方法对多种模态的医学影像信息进行融合。Cao等人在文献"Cao X H,Yang J H,Gao Y Z,et al.Region-Adaptive Deformable Registration of CT/MRI Pelvic Images via Learning-BasedImage Synthesis[J].IEEE Transactions on Image Processing,2018,27(7):3500-3512"中提出区域适应的可变形图像配准方法以融合多种医学模态信息。
总的来说，虽然上述方法可有效实现影像模态层面的融合，但仍然围绕着医学影像数据本身的信息开展分析，忽视了超声医生长期积累的经验知识，致使计算机辅助诊断的诸多预测结果仍与医生诊断结果有较大偏离。Liu等人在文献"Liu T J,Guo Q Q,Lian CF,et al.Automated detection and classification of thyroid nodules inultrasound images using clinical-knowledge-guided convolutional neuralnetworks[J].Medical Image Analysis,2019,58"中通过医生经验预先确定区域选取的尺寸和形状分布，采用多分支网络的输出对影像医生的常用特征进行拟合，初步实现了将超声医生经验知识对应超声数据的融合。但所融合的医生经验知识仅局限于影像指标，与影像不直接相关的经验知识则无法进行融合。
发明内容
为了解决现有数据驱动超声辅助诊断无法有效融合医生经验知识的问题，本发明提供一种医生经验知识与超声影像信息的知识图谱融合方法。首先，将医生经验标注信息逐条叙述为三元组规则化知识，并将各条规则化知识构建为知识图谱结构；然后，对实体进行语义本体查询，并进行对齐处理和知识图谱嵌入表示；最后，求解所构建的融合目标函数，得到不同图谱的联合嵌入空间嵌入向量，结合距离判断，实现医生经验知识图谱和超声影像知识图谱的融合。
一种医生经验知识与超声影像信息的知识图谱融合方法，其特征在于步骤如下：
步骤1：以乳腺超声诊查的指标为实体，以医生标注的实体间的必要、充分或相关关系为标注关系，并将实体和标注关系表示为实体1-关系类型-实体2的三元组形式；所述的指标包括形状、方位、边缘、病灶边界、内部回声类型、后方回声特征、病灶是否钙化、周围组织变化情况；
步骤2：以步骤1中的实体为节点，以医生标注关系为邻边，并分别对实体和标注关系进行编号；对所有以三元组形式表示的实体和标注关系，根据其所对应的编号构建成为医生经验知识图谱；
步骤3：从医学术语本体知识库中，分别查询医生经验知识图谱和超声影像知识图谱中的实体名称所对应的语义本体，对于可查询到语义本体的实体，进行实体对齐处理，然后转至步骤6；对于无法在本体知识库中查询到语义本体的实体，进行独立嵌入空间表示处理，然后转至步骤4；
所述的实体对齐处理包括：对于两个图谱中所对应的语义本体相同的实体，赋予相同的标注标签；
所述的独立嵌入空间表示处理，具体为：以图谱A表示医生经验知识图谱，以图谱B表示超声影像知识图谱，图谱A有NA个实体，其以编号表示的图谱A实体集合表示为SA＝{1,2,...,NA}，图谱B有NB个实体，其以编号表示的图谱B实体集合表示为SB＝{1,2,...,NB}，采用TransD算法分别对两个知识图谱进行实体嵌入处理，得到图谱A中实体的独立嵌入向量和图谱B中实体的独立嵌入向量/>其中，iA表示知识图谱A的实体编号，iA∈SA，iB表示知识图谱B的实体编号，iB∈SB；图谱A与图谱B中的相同实体构成共有实体集合SC，设共有NC个相同实体，以/>表示来自图谱A中编号为iA的实体在共有实体集合SC中的编号，以/>表示来自图谱B中编号为iB的实体在共有实体集合SC中的编号，以/>表示共有实体集合SC中编号为/>的实体的独立嵌入向量，满足/>以/>表示集合SC中编号为/>的实体所对应的独立嵌入向量，满足/>
步骤4：构建如下知识图谱融合的目标函数LCoEm：
其中，表示共有实体集合SC中编号为/>的实体对应在知识图谱A中的实体在联合嵌入空间的嵌入向量，/> 表示共有实体集合SC中编号为/>的实体对应在知识图谱B中的实体在联合嵌入空间的嵌入向量，/> 和/>分别为独立嵌入向量/>和/>的重建向量；|SC|表示集合SC中的元素个数，|SA|表示集合SA中的元素个数，|SB|表示集合SB中的元素个数；/>表示两个知识图谱的对齐误差，/>表示知识图谱A的重建误差，/>表示知识图谱B的重建误差；λ表示对齐误差和重建误差之间的调谐参数，取值范围为(0,+∞)；
所述的联合嵌入空间的嵌入向量为独立嵌入向量/>经由知识图谱A的编码器网络A(e)处理得到，即/>fA表示知识图谱A的编码器网络函数，表示知识图谱A的编码器网络第1、2层的权值矩阵/> 和偏置向量/>的参数集合；
所述的联合嵌入空间嵌入向量为独立嵌入向量/>经由知识图谱B的编码器网络B(e)处理得到，即/>fB表示知识图谱B的编码器网络函数，表示知识图谱B的编码器网络第1、2层的权值矩阵/> 和偏置向量/>的参数集合；
所述的重建向量为联合嵌入空间的嵌入向量/>经由知识图谱A的解码器网络A(d)处理得到，即/>gA表示知识图谱A的解码器网络函数，/>表示知识图谱A的解码器网络第1、2层的权值矩阵/> 和偏置向量/>的参数集合；/>表示知识图谱A中编号为iA的实体在联合嵌入空间的嵌入向量，/>为独立嵌入向量/>经由知识图谱A的编码器网络A(e)处理得到，即
所述的重建向量为联合嵌入空间的嵌入向量/>经由知识图谱B的解码器网络B(d)处理得到，即/>gB表示知识图谱B的解码器网络函数，/>表示知识图谱A的解码器网络第1、2层的权值矩阵/> 和偏置向量/>的参数集合；/>表示知识图谱B中编号为iB的实体在联合嵌入空间的嵌入向量，/>为独立嵌入向量/>经由知识图谱B的编码器网络B(e)处理得到，即/>
步骤5：采用随机梯度下降法求解公式1的目标函数，最终得到两个知识图谱的所有实体的联合嵌入空间的嵌入向量和/>iA∈SA，iB∈SB；
步骤6：融合医生经验知识图谱和超声影像知识图谱，得到最终的融合后知识图谱，具体为：
步骤6.1：将两个图谱中的具有相同标注标签的实体或联合嵌入空间的嵌入向量之间的欧式距离小于给定阈值δ的实体，合并为同一个实体，对于除以上情况外的其他实体，保留原实体；其中，所述的阈值δ∈(0,+∞)；
步骤6.2：对于原有两个图谱中实体间已有关系，将其作为融合后知识图谱中相应实体之间的关系；
步骤6.3：对于融合后知识图谱中的实体间未包含关系，从医学术语本体知识库中进行查询，当实体所对应的语义本体间存在单向性关联关系时，增加其单向性关联关系标注；当实体所对应的语义本体间存在互逆关系时，增加其双向性关联关系标注；其中，单向性关联关系包括传递关系、部分整体关系、继承关系、概念实例关系和属性关系。
本发明的有益效果是：由于采用将医生经验标注信息逐条叙述为三元组规则化知识的方式，可以有效将医生经验知识转化为计算机可处理的知识图谱结构；由于采用语义本体的实体对齐匹配和实体嵌入向量的邻近关系处理，可以有效将影像信息与其不直接相关的医生经验知识映射至同一嵌入空间中，进而便于知识融合；由于通过知识图谱方式将医生经验融合至超声影像中，可以突破计算机辅助诊断方法仅采用医学影像数据驱动的局限，使辅助诊断过程更加吻合医生经验。
附图说明
图1是本发明的医生经验知识与超声影像信息的知识图谱融合方法流程图；
图2是本发明的医生经验知识与超声影像信息的知识图谱融合方法原理图。
具体实施方式
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
如图1和2所示，本发明提供了一种医生经验知识与超声影像信息的知识图谱融合方法，其具体实现过程如下：
1、医生经验标注信息三元组表示
以乳腺超声诊查的指标为实体，以医生标注的实体间的必要、充分或相关关系为标注关系，并将实体和标注关系表示为实体1-关系类型-实体2的三元组形式。所述的指标是由超声科医生罗列的常见概念指标，包括形状、方位、边缘、病灶边界、内部回声类型、后方回声特征、病灶是否钙化、周围组织变化情况。标注关系主要是医生依据超声诊查相关的医学指南标注出的关系。
2、超声医生的经验知识图谱构建
以实体和医生标注关系作为节点和邻边，并分别进行编号；所有以三元组形式表示的实体和标注关系根据其所对应的编号构建成为医生经验知识图谱。在此知识图谱中，各节点代表临床指标，各邻边代表指标之间的充分条件关系/必要条件关系/相关关系。
3、医学语义本体的已录入术语判断和处理
鉴于上述所得的医生经验知识图谱和现有超声影像知识图谱存在同物异名现象，通过医学术语本体知识库，分别查询两个知识图谱的实体名称所对应的语义本体。对于同物异名的实体，若两者可在语义本体查询到已录入的术语，则对两实体进行后续对齐处理；若两者在本体知识库中无法查询到已录入的术语，则对这些未录入术语的实体进行共有嵌入空间表示处理。
为实现两个知识图谱的实体对齐，将不同图谱的实体名称在本体知识库的查询结果进行比对。若查询结果完全符合相同的本体语义，则将两个实体在不同知识图谱中进行相同标签的标注。
对于本体语义库中未录入的同物异名实体，根据两个知识图谱的已录入同语义实体的相同标签，将两个知识图谱向独立嵌入空间进行映射。具体为：
以图谱A表示医生经验知识图谱，以图谱B表示超声影像知识图谱，图谱A有NA个实体，其以编号表示的实体集合表示为SA＝{1,2,...,NA}，图谱B有NB个实体，其以编号表示的实体集合表示为SB＝{1,2,...,NB}，采用文献"Ji G L,He S Z,Xu L H,et al.KnowledgeGraph Embedding via Dynamic Mapping Matrix[M].Stroudsburg:Assoc ComputationalLinguistics-ACL,2015:687-696"的TransD算法，分别对两个知识图谱进行实体嵌入处理，得到图谱A中实体的独立嵌入向量和图谱B中实体的独立嵌入向量/>其中，iA表示知识图谱A的实体编号，iA∈SA，iB表示知识图谱B的实体编号，iB∈SB；图谱A与图谱B中的相同实体构成共有实体集合SC，设共有NC个相同实体，以/>表示来自图谱A中编号为iA的实体在共有实体集合SC中的编号，以/>表示来自图谱B中编号为iB的实体在共有实体集合SC中的编号，以/>表示共有实体集合SC中编号为/>的实体的独立嵌入向量，满足/>以/>表示集合SC中编号为/>的实体所对应的独立嵌入向量，满足/>
4、嵌入融合
对于上述独立嵌入向量，构建如下知识图谱融合的目标函数LCoEm：
其中，表示共有实体集合SC中编号为/>的实体对应在知识图谱A中的实体在联合嵌入空间的嵌入向量，/> 表示共有实体集合SC中编号为/>的实体对应在知识图谱B中的实体在联合嵌入空间的嵌入向量，/> 和/>分别为独立嵌入向量/>和/>的重建向量；|SC|表示集合SC中的元素个数，|SA|表示集合SA中的元素个数，|SB|表示集合SB中的元素个数；/>表示两个知识图谱的对齐误差，/>表示知识图谱A的重建误差，/>表示知识图谱B的重建误差；λ表示对齐误差和重建误差之间的调谐参数，取值范围为(0,+∞)。
公式(2)的目标函数中，第一项用于将两个知识图谱中标注相同的实体映射到联合嵌入空间的相近位置，第二/三项分别用于确保知识图谱A/B映射到联合嵌入空间的嵌入向量可有效重建两者的原始嵌入向量。
在实体联合嵌入空间表示中，选取深度学习自动编码机分别作为知识图谱A与B对联合嵌入空间的映射和逆映射。本申请均选用三层自动编码机，输入层到中间隐层的前半部分为原始嵌入向量到联合嵌入空间的映射，中间隐层到输出层的后半部分为联合嵌入空间嵌入向量到原始嵌入向量的逆映射。设e表示编码器网络的标志，A(e)表示知识图谱A的编码器网络的标志，B(e)表示知识图谱B的编码器网络的标志，d表示解码器网络的标志，A(d)表示知识图谱A的解码器网络的标志，B(d)表示知识图谱B的解码器网络的标志；对于公式(2)的目标函数LCoEm，通过神经网络编码器输出通过神经网络解码器输出/>和具体如下：
知识图谱A的编码器网络函数为其中为包含网络第1、2层的权值矩阵/>和/>及偏置向量/>和/>的参数集合，当分别输入图谱A的序号为iA和/>的实体的独立嵌入向量/>和/>时，当对该编码器网络分别输出两者的联合嵌入空间嵌入向量/>和/>即/>和知识图谱B的编码器网络函数为/>其中/>为包含网络第1、2层的权值矩阵/>和/>及偏置向量和/>的参数集合，当对该编码器网络分别输入图谱B的序号为iB和/>的实体的独立嵌入向量/>和/>时，分别输出两者的联合嵌入空间嵌入向量/>和/>即/>和
同时，知识图谱A的解码器网络函数为其中为包含网络第1、2层的权值矩阵/>和/>及偏置向量/>和的参数集合，当对该解码器网络分别输入图谱A的序号为iA的实体的联合嵌入空间嵌入向量/>时，输出的独立嵌入向量的重建向量/>即/>知识图谱B的解码器网络函数为/>其中为包含网络第1、2层的权值矩阵/>和/>及偏置向量/>和/>的参数集合，当对该解码器网络分别输入图谱B的序号为iB的实体的联合嵌入空间嵌入向量/>时，输出的独立嵌入向量的重建向量/>即/>
根据上述所给出的和/>的编码器/解码器表达式，带入至目标函数LCoEm中，可以得到更新后的优化函数：
对此公式(3)优化函数，采用随机梯度下降法对向量和/>和参数ΦA(e)、ΦA(d)、ΦB(e)和ΦB(d)进行交替求解，将求解结果中的参数ΦA(e)和ΦB(e)所对应的编码器网络分别应用于知识图谱A与B的所有独立嵌入向量/>和/>最终得到两个知识图谱的所有实体的联合嵌入空间嵌入向量/>和/>其中iA∈SA，iB∈SB。
5、融合医生经验知识图谱和超声影像知识图谱
通过上述步骤，可将分别来源于医生经验和超声影像的两个知识图谱进行融合，其中，本体语义匹配的相同实体(即具有相同标注标签的实体)在融合后的知识图谱中直接合并，本体语义未录入(即无法在本体知识库中查询到语义本体)的实体，按照上述过程计算二者在联合嵌入空间嵌入向量和/>之间的欧氏距离，距离小于预定义的阈值δ(δ∈(0,+∞))时视为两者在嵌入空间邻近，为相同实体，进而将两个实体进行合并。对于两个知识图谱中无法合并的实体，分别将这些实体作为融合后知识图谱的其余实体。
对于原有两个图谱中实体间已有关系，将其作为融合后知识图谱中相应实体之间的关系。对于实体间未包含关系，通过在本体知识库中查询实体概念的逻辑关系进行补充：若查询结果中两个实体在本体中存在了传递关系、部分整体关系、继承关系、概念实例关系、属性关系，则根据描述在两个实体之间增加单向性关联关系；若查询结果中两实体在本体中存在互逆关系，则在两实体之间构建互逆的双向性关联关系。对融合后知识图谱中的相应实体之间完成所有关系填充，确保融合后知识图谱中含有来自图谱A和B的已有关系，得到融合后的知识图谱。
Claims (1)
1.一种医生经验知识与超声影像信息的知识图谱融合方法，其特征在于步骤如下：
步骤1：以乳腺超声诊查的指标为实体，以医生标注的实体间的必要、充分或相关关系为标注关系，并将实体和标注关系表示为实体1-关系类型-实体2的三元组形式；所述的指标包括形状、方位、边缘、病灶边界、内部回声类型、后方回声特征、病灶是否钙化、周围组织变化情况；
步骤2：以步骤1中的实体为节点，以医生标注关系为邻边，并分别对实体和标注关系进行编号；对所有以三元组形式表示的实体和标注关系，根据其所对应的编号构建成为医生经验知识图谱；
步骤3：从医学术语本体知识库中，分别查询医生经验知识图谱和超声影像知识图谱中的实体名称所对应的语义本体，对于可查询到语义本体的实体，进行实体对齐处理，然后转至步骤6；对于无法在本体知识库中查询到语义本体的实体，进行独立嵌入空间表示处理，然后转至步骤4；
所述的实体对齐处理包括：对于两个图谱中所对应的语义本体相同的实体，赋予相同的标注标签；
所述的独立嵌入空间表示处理，具体为：以图谱A表示医生经验知识图谱，以图谱B表示超声影像知识图谱，图谱A有NA个实体，其以编号表示的图谱A实体集合表示为SA＝{1,2,...,NA}，图谱B有NB个实体，其以编号表示的图谱B实体集合表示为SB＝{1,2,...,NB}，采用TransD算法分别对两个知识图谱进行实体嵌入处理，得到图谱A中实体的独立嵌入向量和图谱B中实体的独立嵌入向量/>其中，iA表示知识图谱A的实体编号，iA∈SA，iB表示知识图谱B的实体编号，iB∈SB；图谱A与图谱B中的相同实体构成共有实体集合SC，设共有NC个相同实体，以/>表示来自图谱A中编号为iA的实体在共有实体集合SC中的编号，以/>表示来自图谱B中编号为iB的实体在共有实体集合SC中的编号，以/>表示共有实体集合SC中编号为/>的实体的独立嵌入向量，满足/>以/>表示集合SC中编号为/>的实体所对应的独立嵌入向量，满足/>
步骤4：构建如下知识图谱融合的目标函数LCoEm：
其中，表示共有实体集合SC中编号为/>的实体对应在知识图谱A中的实体在联合嵌入空间的嵌入向量，/> 表示共有实体集合SC中编号为/>的实体对应在知识图谱B中的实体在联合嵌入空间的嵌入向量，/> 和/>分别为独立嵌入向量/>和/>的重建向量；|SC|表示集合SC中的元素个数，|SA|表示集合SA中的元素个数，|SB|表示集合SB中的元素个数；/>表示两个知识图谱的对齐误差，/>表示知识图谱A的重建误差，/>表示知识图谱B的重建误差；λ表示对齐误差和重建误差之间的调谐参数，取值范围为(0,+∞)；
所述的联合嵌入空间的嵌入向量为独立嵌入向量/>经由知识图谱A的编码器网络A(e)处理得到，即/>fA表示知识图谱A的编码器网络函数，/>表示知识图谱A的编码器网络第1、2层的权值矩阵/> 和偏置向量/>的参数集合；
所述的联合嵌入空间嵌入向量为独立嵌入向量/>经由知识图谱B的编码器网络B(e)处理得到，即/>fB表示知识图谱B的编码器网络函数，/>表示知识图谱B的编码器网络第1、2层的权值矩阵/> 和偏置向量/>的参数集合；
所述的重建向量为联合嵌入空间的嵌入向量/>经由知识图谱A的解码器网络A(d)处理得到，即/>gA表示知识图谱A的解码器网络函数，/>表示知识图谱A的解码器网络第1、2层的权值矩阵/> 和偏置向量/>的参数集合；/>表示知识图谱A中编号为iA的实体在联合嵌入空间的嵌入向量，/>为独立嵌入向量/>经由知识图谱A的编码器网络A(e)处理得到，即/>
所述的重建向量为联合嵌入空间的嵌入向量/>经由知识图谱B的解码器网络B(d)处理得到，即/>gB表示知识图谱B的解码器网络函数，/>表示知识图谱A的解码器网络第1、2层的权值矩阵/> 和偏置向量/>的参数集合；/>表示知识图谱B中编号为iB的实体在联合嵌入空间的嵌入向量，/>为独立嵌入向量/>经由知识图谱B的编码器网络B(e)处理得到，即/>
步骤5：采用随机梯度下降法求解公式1的目标函数，最终得到两个知识图谱的所有实体的联合嵌入空间的嵌入向量和/>iA∈SA，iB∈SB；
步骤6：融合医生经验知识图谱和超声影像知识图谱，得到最终的融合后知识图谱，具体为：
步骤6.1：将两个图谱中的具有相同标注标签的实体或联合嵌入空间的嵌入向量之间的欧式距离小于给定阈值δ的实体，合并为同一个实体，对于除以上情况外的其他实体，保留原实体；其中，所述的阈值δ∈(0,+∞)；
步骤6.2：对于原有两个图谱中实体间已有关系，将其作为融合后知识图谱中相应实体之间的关系；
步骤6.3：对于融合后知识图谱中的实体间未包含关系，从医学术语本体知识库中进行查询，当实体所对应的语义本体间存在单向性关联关系时，增加其单向性关联关系标注；当实体所对应的语义本体间存在互逆关系时，增加其双向性关联关系标注；其中，单向性关联关系包括传递关系、部分整体关系、继承关系、概念实例关系和属性关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010729546.6A CN111949801B (zh) | 2020-07-27 | 2020-07-27 | 医生经验知识与超声影像信息的知识图谱融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010729546.6A CN111949801B (zh) | 2020-07-27 | 2020-07-27 | 医生经验知识与超声影像信息的知识图谱融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111949801A CN111949801A (zh) | 2020-11-17 |
| CN111949801B true CN111949801B (zh) | 2023-10-24 |
Family
ID=73338142
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010729546.6A Active CN111949801B (zh) | 2020-07-27 | 2020-07-27 | 医生经验知识与超声影像信息的知识图谱融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111949801B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112559727B (zh) * | 2020-12-15 | 2024-04-09 | 北京百度网讯科技有限公司 | 用于输出信息的方法、装置、设备、存储介质和程序 |
| CN113157931B (zh) * | 2021-01-20 | 2022-11-25 | 青岛海信网络科技股份有限公司 | 一种融合图谱构建方法及装置 |
| CN112992317B (zh) * | 2021-05-10 | 2021-11-02 | 明品云(北京)数据科技有限公司 | 一种医学数据处理方法、系统、设备及介质 |
| CN115017331B (zh) * | 2022-06-07 | 2024-06-21 | 深圳伯德睿捷健康科技有限公司 | 健康感知与认知方法及装置 |
| CN115062120B (zh) * | 2022-08-18 | 2022-12-09 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 读片知识图谱构建方法、装置、处理器及报告生成方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106649514A (zh) * | 2015-10-16 | 2017-05-10 | 百度（美国）有限责任公司 | 用于受人启发的简单问答（hisqa）的系统和方法 |
| CN108389614A (zh) * | 2018-03-02 | 2018-08-10 | 西安交通大学 | 基于图像分割与卷积神经网络构建医学影像图谱的方法 |
| CN109471950A (zh) * | 2018-11-19 | 2019-03-15 | 北京交通大学 | 腹部超声文本数据的结构化知识网络的构建方法 |
| CN109830303A (zh) * | 2019-02-01 | 2019-05-31 | 上海众恒信息产业股份有限公司 | 基于互联网一体化医疗平台的临床数据挖掘分析与辅助决策方法 |
| CN110851614A (zh) * | 2019-09-09 | 2020-02-28 | 中国电子科技集团公司电子科学研究院 | 知识图谱的关系预测推演方法及知识图谱的动态更新方法 |
-
2020
- 2020-07-27 CN CN202010729546.6A patent/CN111949801B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106649514A (zh) * | 2015-10-16 | 2017-05-10 | 百度（美国）有限责任公司 | 用于受人启发的简单问答（hisqa）的系统和方法 |
| CN108389614A (zh) * | 2018-03-02 | 2018-08-10 | 西安交通大学 | 基于图像分割与卷积神经网络构建医学影像图谱的方法 |
| CN109471950A (zh) * | 2018-11-19 | 2019-03-15 | 北京交通大学 | 腹部超声文本数据的结构化知识网络的构建方法 |
| CN109830303A (zh) * | 2019-02-01 | 2019-05-31 | 上海众恒信息产业股份有限公司 | 基于互联网一体化医疗平台的临床数据挖掘分析与辅助决策方法 |
| CN110851614A (zh) * | 2019-09-09 | 2020-02-28 | 中国电子科技集团公司电子科学研究院 | 知识图谱的关系预测推演方法及知识图谱的动态更新方法 |
Non-Patent Citations (2)
| Title |
|---|
| Prostate segmentation from 2-D ultrasound images using graph cuts and domain knowledge;Mehrnaz Zouqi 等;《2008 canadian conference on computer and robot vision》;第1-2页 * |
| 基于EMR的乳腺肿瘤知识图谱构建研究;崔洁 等;《计算机应用与软件》;第34卷(第12期);第122-126页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111949801A (zh) | 2020-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111949801B (zh) | 医生经验知识与超声影像信息的知识图谱融合方法 | |
| Khan et al. | Deep neural architectures for medical image semantic segmentation | |
| Yin et al. | [Retracted] U‐Net‐Based Medical Image Segmentation | |
| Bai et al. | Automated cardiovascular magnetic resonance image analysis with fully convolutional networks | |
| CN113496495B (zh) | 可缺失输入的医学图像分割模型建立方法及分割方法 | |
| Chetty et al. | A low resource 3D U-Net based deep learning model for medical image analysis | |
| Cao et al. | Dilated densely connected U-Net with uncertainty focus loss for 3D ABUS mass segmentation | |
| Jung et al. | Deep learning for medical image analysis: Applications to computed tomography and magnetic resonance imaging | |
| CN115082381A (zh) | 一种基于u型网络的多目标分割方法及装置 | |
| Xia et al. | Automatic 3D+ t four-chamber CMR quantification of the UK biobank: integrating imaging and non-imaging data priors at scale | |
| CN115908800A (zh) | 医学图像分割方法 | |
| Sun et al. | Topological correction of infant white matter surfaces using anatomically constrained convolutional neural network | |
| Wu et al. | Image synthesis in contrast MRI based on super resolution reconstruction with multi-refinement cycle-consistent generative adversarial networks | |
| Xia et al. | Recent advances of transformers in medical image analysis: a comprehensive review | |
| Singh et al. | The role of geometry in convolutional neural networks for medical imaging | |
| Wang et al. | IGNFusion: an unsupervised information gate network for multimodal medical image fusion | |
| Fatima et al. | Automated 2D slice-based skull stripping multi-view ensemble model on NFBS and IBSR datasets | |
| Fallahpoor et al. | Deep learning techniques in PET/CT imaging: A comprehensive review from sinogram to image space | |
| Tang et al. | A combined deformable model and medical transformer algorithm for medical image segmentation | |
| Dong et al. | A novel end‐to‐end deep learning solution for coronary artery segmentation from CCTA | |
| CN118279361A (zh) | 基于无监督深度学习和模态转换的多模态医学图像配准方法 | |
| Islam et al. | Deep learning for automatic tumor lesions delineation and prognostic assessment in multi-modality pet/ct: A prospective survey | |
| Verma et al. | Role of deep learning in classification of brain MRI images for prediction of disorders: a survey of emerging trends | |
| Al-Shboul et al. | Overview of convolutional neural networks architectures for brain tumor segmentation. | |
| Guan et al. | A mutual promotion encoder-decoder method for ultrasonic hydronephrosis diagnosis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Huang Qinghua Inventor after: Xi Jianing Inventor before: Xi Jianing Inventor before: Huang Qinghua |
|
| CB03 | Change of inventor or designer information |