CN112131405B - 一种基于智能搜索的ar肿瘤知识图谱多模态演示方法 - Google Patents
一种基于智能搜索的ar肿瘤知识图谱多模态演示方法 Download PDFInfo
- Publication number
- CN112131405B CN112131405B CN202011039917.4A CN202011039917A CN112131405B CN 112131405 B CN112131405 B CN 112131405B CN 202011039917 A CN202011039917 A CN 202011039917A CN 112131405 B CN112131405 B CN 112131405B
- Authority
- CN
- China
- Prior art keywords
- knowledge graph
- entity
- tumor
- entities
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 206010028980 Neoplasm Diseases 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 33
- 210000000056 organ Anatomy 0.000 claims abstract description 17
- 230000000007 visual effect Effects 0.000 claims abstract description 9
- 238000006243 chemical reaction Methods 0.000 claims abstract description 8
- 238000012216 screening Methods 0.000 claims description 9
- 238000003745 diagnosis Methods 0.000 claims description 5
- 201000010099 disease Diseases 0.000 claims description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 238000010827 pathological analysis Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000009877 rendering Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 21
- 201000005202 lung cancer Diseases 0.000 description 21
- 208000020816 lung neoplasm Diseases 0.000 description 21
- 208000002154 non-small cell lung carcinoma Diseases 0.000 description 4
- 208000029729 tumor suppressor gene on chromosome 11 Diseases 0.000 description 4
- 230000007547 defect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 206010041067 Small cell lung cancer Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 210000001185 bone marrow Anatomy 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 238000002618 extracorporeal membrane oxygenation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001989 nasopharynx Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 208000000587 small cell lung carcinoma Diseases 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 231100000588 tumorigenic Toxicity 0.000 description 1
- 230000000381 tumorigenic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/34—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- Artificial Intelligence (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提出一种基于智能搜索的AR肿瘤知识图谱多模态演示方法，包括以下步骤：S1.构建目标肿瘤疾病的多模态知识图谱，根据相关数据，建立一种基于多模态知识展示的目标肿瘤知识图谱，并存入neo4j数据库中；S2.采用unity工具系统，设置人体三维模型，点击对应器官位置，演示目标肿瘤实体的AR多模态知识图谱，并且能够根据需要进行2D和3D的转换；S3.智能搜索结合可视化知识图谱，对目标实体的知识图谱进行多模态信息展示。该方法通过结合多模态知识图谱的AR展示，并且提供智能搜索和2D转换，融合多种功能，有利于用户有更加丰富的体验效果，提高用户获取知识的效率。
Description
技术领域
本发明涉及医疗数据处理以及知识图谱可视化领域，尤其涉及一种基于智能问答的AR肿瘤知识图谱多模态演示方法。
背景技术
随着医学信息化的发展和医疗的大数据化，在医疗领域中，越来越多有用的知识图谱被构建出来，尤其是我国每年的肿瘤患者越来越多，已经渐渐成为“第一杀手”，将知识图谱运用到肿瘤领域中，可以通过构建肿瘤知识图谱，提供药物推荐，疾病预测等服务。
目前，智能搜索能够提供传统的快速检索、相关度排序、智能信息过滤和推送等功能。患者的医疗知识普及主要是通过人工的方式，依靠医生的口头交待，但是有时会面临患者需要了解更多的知识，只能通过从网上检索信息。但是网上信息繁杂，患者难以获得自己有用的信息，而且网上提供的数据多为单一的文字描述，对于医学专业用词或者某些抽象的医学概念来说，理解起来比较困难，缺乏一定的直观性。此外，网络上搜索的答案鱼目混杂，对于有些不可靠的信息，用户有可能被误导。
AR技术可广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。在医疗领域，增强现实与医疗的结合应用逐渐被人们所重视。由于知识图谱是将复杂的信息通过计算处理成能够结构化表示的知识，所表示的知识可以通过图形绘制而展现出来，为人们的学习提供有价值的参考，为信息检索提供便利。知识图谱就是一种知识库，但构建好的知识图谱如何可视化展示出来，还存在以下问题：
1.医学知识枯燥难懂，内容冗杂，而知识图谱多为2D可视化展示，繁杂的文本会让知识图谱的节点很多，看起来复杂难懂，并且对于数据比较多的文本，显示效果会受到屏幕大小的限制。
2.知识图谱的构建和数据都是基于单一文本数据格式进行分析，对于语音、视频、图像等多模态数据的使用存在明显不足，知识图谱的呈现多为文本形式的知识点，可视化感官效果不好，单调枯燥的医疗知识难以提供患者更加直观的感受，内容模态的单一性使用户获取目标知识的吸收程度不高。
3.目前的医学相关知识图谱的可视化展示都是单一的2D或者3D的展示方式，患者选择性低，无法实现自定义展示方式。
4.AR医疗知识图谱无法提供自动检索的功能。
发明内容
本发明的目的是针对肿瘤知识图谱可视化的难点，基于智能搜索，设计一种AR肿瘤知识图谱的多模态展示方法，不仅是通过文本展示，同时涉及图片、音频、视频等多媒体资源的展示，并且能结合3D和2D的切换，使用户根据自身需求，在3D的不同实体层级上，进行2D的切换和多模态展示，实现用户更好的体验效果，避免内容过多导致2D知识图谱显示的节点覆盖，屏幕太小等问题。增加智能检索功能，方便对目标知识的查询。该发明主要解决现有方法的可视化形式单一，内容枯燥，信息冗杂，功能简单的缺点，使用户获取目标医学知识更加简单，易于掌握。
结合增强现实技术和智能搜索的方法，通过构建肿瘤知识图谱，实现一种方法可以展示3D的多模态知识图谱，并且可以根据用户的需要实现3D和2D的切换，摆脱了用户获取知识的枯燥性，也能让用户更好地掌握肿瘤相关的医学知识。
为了达到上述目的，本发明技术方案的具体步骤为：
S1.构建目标肿瘤疾病的多模态知识图谱，根据相关数据，建立一种基于多模态知识展示的目标肿瘤知识图谱，并存入neo4j数据库中；
S2.采用unity工具系统，设置人体三维模型，点击对应器官位置，演示目标肿瘤实体的AR多模态知识图谱，并且能够根据需要进行2D和3D的转换；
S3.智能搜索结合可视化知识图谱，对目标实体的知识图谱进行多模态信息展示；
在步骤S1中，对目标肿瘤的原始数据，通过以下方法进行多模态医疗知识图谱的构建以及数据库的连接：
S11.根据不同的目标肿瘤实体以及相关肿瘤属性，从多个数据源获取多个原始数据，原始数据包括图片、音频或者视频资源；
S12.利用开源的词法工具和医疗领域的词典库，对目标肿瘤实体识别，并从语料数据中提取出实体与实体之间的多个关系类型，所述关系类型至少包括流行病学特征，筛查，临床表现和诊断，病理诊断，分子分型，分期，治疗；
S13.通过知识抽取得到所述实体和关系的信息，定义知识图谱实体和属性，包括实体和实体之间的关系，实体的属性值。其中的实体信息和属性信息，包括文本信息，图片，音频或者视频的一种或者多种；
S14.根据所述实体和实体之间的关系，构建医疗知识图谱树，其中根节点代表的是目标肿瘤实体的值，实体与实体之间的关系代表树干，实体的下位概念是中间节点，每个实体的属性作为子节点；
S15.根据上述S14构建的图谱树，将目标肿瘤实体和实体之间的关联关系，以csv格式导入到neo4j数据库中。
在步骤S2中，对于AR肿瘤知识图谱，主要通过以下方法进行AR知识图谱的多模态展示和2D、3D的切换：
S21.在unity系统中设置知识图谱演示的场景，通过3DsMax三维建模软件制作人体目标肿瘤对应器官的三维模型中的标准图，包括各个器官的位置，器官名称，各种肿瘤可能存在的位置等，并将其导入到unity中；
S22.点击三维模型上的对应肿瘤所在器官，通过服务器，从neo4j数据库获取数据，解析从服务端获取的数据，将数据分为实体、关系和属性三类，实体、关系和属性都包含各自的id，名称以及类别；
S23.通过unity中的树形插件，根据获取的实体和关系的id和类别，动态创建知识图谱树，形成3D树的根，树干以及节点，并且将实体的名称显示在树形结构对应位置上；
S24.根据UI页面渲染帧循环的改变，实体和属性信息的改变进行UI页面的调整，主页面主要是实体名称及其他实体的关联情况，可以通过点击不同的实体进入下一层级；
S25.在页面右侧存在自动旋转、模式切换以及后退的按钮，根据用户需求，在unity中进行设置，使得用户可以进行3D和2D模式的切换，2D主要是通过对应的id，对获取的数据以思维导图的形式呈现，并可以通过在3D中不同实体的id，进入到目标实体id的2D思维导图平面中，在3D和2D的信息展示过程中，都是多模态信息，可通过点击对应节点显示视频、图片等多模态的信息；
S26.利用Vuforia插件，在unity中设置要展示的AR树结构和点击事件，并对AR树展示场景设置旋转和缩放按钮。点击上述S25中3D模式下的树节点，会自动下载默认图片，并根据neo4j数据库获取的信息，AR树的内容包括多模态的信息。发布到android手机上，打开应用，摄像头会被打开，用摄像头扫描目标图片，可以看到AR树展现在屏幕上方空间中，通过设置的按钮进行旋转和缩放，点击AR树节点，可以在客户端显示对应的多模态内容。
在步骤S3中，根据步骤S2中建立的AR展示肿瘤知识图谱的多模态展示系统以及能根据不同id在2D、3D呈现不同形式的知识图谱，增加智能搜索的功能，主要是通过以下方法实现：
S31.利用问句解析技术和文本关键词提取技术获取用户输入的问题的关键字，至少包括目标肿瘤名称和疾病实体名称的信息或者属性信息；
S32.连接图数据库，通过获取的关键字，在neo4j数据库进行检索，得到匹配关键字的搜索结果；
S33.客户端根据用户关注的节点，进行AR树形结构的重建，重建的结果包括目标关键词对应实体的树形结构，以及对应的多模态信息。
发明相较于现有技术具有以下优点：
1.通过构建多模态肿瘤知识图谱，将目标肿瘤的相关知识点，知识点之间的关系用图谱的形式展现出来，并且将多模态融入到所述知识图谱中，丰富了知识的展现形式；
2.通过对知识图谱的AR多模态展示，将传统的2D知识图谱可视化变成3D效果，使得在2D上展示的信息总量不受到限制。同时，由于肿瘤知识图谱在3D下的AR展示可以展现不同实体的层级，并且可以根据用户需要，也提供了2D的思维导图的展示形式，对于知识体系不是过于复杂的也能很好的展示；
3.针对于该AR肿瘤多模态的展示，还提供了智能搜索的功能，有利于用户直接获得目标信息；
4.该方法通过结合多模态知识图谱的AR展示，并且提供智能搜索和2D转换，融合多种功能，有利于用户有更加丰富的体验效果，提高用户获取知识的效率。
附图说明
图1为目标肿瘤多模态知识图谱构建过程；
图2为基于智能搜索的AR肿瘤知识图谱演示方法的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明设计一种基于智能搜索的AR肿瘤知识图谱多模态演示方法，通过将肿瘤的多模态知识图谱以AR形式展示，并且可以根据用户需要，进行2D和3D的切换，此外，新增了智能搜索的功能。相较于现有方法，本发明可以避免知识图谱过多时在2D展示不全的缺点，提高用户获取知识的趣味性和便捷性，智能搜索功能使用户能方便查找到所需要的肿瘤信息，多模态的信息也丰富了用户的体验；
以下是本发明的优选实例并结合附图，对本发明的技术方案进一步描述，但本发明并不仅限于这些实施例。
如图1和图2所示，本实施例公开了一种基于智能搜索的AR肿瘤知识图谱多模态演示方法，整体流程为：首先构建目标肿瘤的多模态知识图谱，将构建好的知识图谱的多模态信息导入到neo4j数据库中。然后，在unity系统中设置人体三维模型，通过点击对应肿瘤所在器官位置，发送http请求，从图数据库获取数据并返回，客户端演示目标肿瘤实体的AR多模态知识图谱，并且能够根据需要进行2D和3D的转换；此外，结合智能搜索实现对关键字信息的有效检索功能。
具体包括以下步骤：
S1.构建目标肿瘤疾病的多模态知识图谱，根据相关数据，建立一种基于多模态知识展示的目标肿瘤知识图谱，并存入neo4j数据库中。
S2.采用unity工具系统，设置人体三维模型，点击对应器官位置，演示目标肿瘤实体的AR多模态知识图谱，并且能够根据需要进行2D和3D的转换；
S3.智能搜索结合可视化知识图谱，对目标实体的知识图谱进行多模态信息展示。
下面以肺癌AR知识图谱多模态演示为例进行阐述：
对应步骤1，对目标肿瘤的原始数据，通过以下方法进行多模态医疗知识图谱的构建以及数据库的连接：
S11.根据不同的目标肿瘤实体以及相关肿瘤属性，从多个数据源获取多个原始数据，原始数据包括图片、音频或者视频资源。作为肺癌的多个数据源，至少包括诊疗数据源，2019NCCN,ECMO等医学专业指南数据源；
S12.利用开源的词法工具和医疗领域的词典库，对肺癌实体识别，设计关系类型和疾病实体类型，所述肺癌实体和其他实体之间的关系类型主要包括以下几种：流行病学特征，筛查，临床表现和诊断，病理诊断，分子分型，分期，治疗；所述其他实体类型如：根据流行病学特征关系，对应实体有年龄特征，性别特征，地区分布特征，职业分布特性；根据筛查关系，对应实体有风险评估，风险状态，低剂量CT等；
S13.根据上述其他实体，知识抽取得到所述实体的属性信息，定义肺癌实体与实体属性，包括实体和实体之间的关系以及所述实体对应的属性信息。其中的实体信息和属性信息，都包含文本信息，图片，音频或者视频的一种或者多种；
S14.构建“肺癌”医疗知识图谱树，其中根节点的值就是肺癌，实体的下位概念是中间节点，根据肺癌实体和疾病实体之间的关系，定义出的中间关系包括肺癌的流行病学，肺癌的筛查，临床表现和诊断，病理诊断，分子分型，肺癌分期，非小细胞肺癌治疗，小细胞肺癌治疗，随访。根据关系，得到二级实体节点；对于某些二级实体节点，再根据其下位概念，进行三级实体节点的区分。实体的属性作为子节点。例如：肺癌-分类-非小细胞肺癌，在非小细胞肺癌这个二级实体节点下，又可生成三级节点：非小细胞肺癌-分期-IA,IB,IIA,IIB,可手术IIIA或IIIB期，不可手术IIIA,IIIB,IIIC期等；
S15.根据上述S14构建的图谱树，以csv格式导入到neo4j数据库中。
在步骤S2中，对于AR肿瘤知识图谱，主要通过以下方法进行AR知识图谱的多模态展示和2D、3D的切换：
S21.在unity系统中设置知识图谱演示的场景，在3DsMax三维建模软件制作人体目标肿瘤对应器官的三维模型中的标准图，包括各个器官的位置，器官名称，至少包括肺，胃，肝，小肠，大肠，脑干，鼻咽，乳腺，骨髓，食管，宫颈，前列腺，淋巴结等常见肿瘤发生位置，将其导入到unity中；
S22.点击肺部，通过向服务器发送http请求，从neo4j数据库获取数据，解析从neo4j数据库中获取的数据，主要是步骤1中存入的知识图谱的数据，不同的实体和属性都有不同的id值。
S23.通过unity中的Tree View树形插件，根据获取的实体和关系的id和类别，动态创建知识图谱树，形成3D树的根，树干以及节点，并且将实体的名称显示在树形结构对应位置上，可以动态配置数据源。对于树形样式的修改，可以通过设置属性DrawMode属性为OwnerDrawAll进行自定义绘制；
S24.根据帧循环、实体和属性信息的改变进行UI页面的实时调整，主页面主要是实体名称及其他实体的关联情况，可以通过点击不同的实体进入下一层级；
S25.在页面右侧存在自动旋转、模式切换以及后退的按钮，根据用户需求，在unity中进行设置，使得用户可以进行3D和2D模式的切换，2D主要是通过对应的id，对获取的数据以思维导图的形式呈现，并可以通过在3D中不同实体对应的id，进入到各自指定的2D思维导图平面中，在3D和2D的信息展示过程中，都是多模态信息，可通过点击对应节点显示视频、图片等多模态的信息；
S26.利用Vuforia插件，在unity中设置要展示的肺癌的AR树结构和点击事件，并对肺癌AR树展示场景设置旋转和缩放按钮。点击上述S25中3D模式下的树节点，会自动下载默认图片，并根据neo4j数据库获取的信息，肺癌AR树的内容包括肺癌相关的视频，图片等多模态信息。将其发布到android手机上，打开应用，摄像头会被打开，用摄像头扫描目标图片，可以看到肺癌AR树展现在屏幕上方空间中，通过之前设置的按钮进行旋转和缩放，点击肺癌AR树节点，可以在客户端显示对应的多模态内容。
在步骤S3中，根据步骤S2中建立的AR展示肿瘤知识图谱的多模态展示系统以及能根据不同id在2D、3D呈现不同形式的知识图谱，增加智能搜索的功能，主要是通过以下方法实现：
S31.利用问句解析技术和文本关键词提取技术获取用户输入的问题的关键字，例如问题：“肺癌的筛查”；
S32.连接图数据库，通过设计关键字的SQL语句，获取用户输入的关键字“肺癌”、“筛查”，在neo4j数据库进行检索，得到匹配对应关键字的内容，客户端根据获取的“肺癌”(实体)-“筛查”(关系)-对应的实体值；
S33.根据获取的数据进行AR树形结构的重建，重建的结果是“筛查”实体相关内容的3D树形结构；
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
Claims (3)
1.一种基于智能搜索的AR肿瘤知识图谱多模态演示方法，其特征在于，包括以下步骤：
S1.构建目标肿瘤疾病的多模态知识图谱，根据相关数据，建立基于多模态知识展示的目标肿瘤知识图谱，并存入neo4j数据库中；
S2.采用unity工具系统，设置人体三维模型，点击对应器官位置，演示目标肿瘤实体的AR多模态知识图谱，并且能够根据需要进行2D和3D的转换；
S3. 获取用户输入的问题的关键词，智能搜索关键词，结合可视化知识图谱，对目标实体的知识图谱进行多模态信息展示；
在步骤S1中，对目标肿瘤的原始数据，通过以下方法进行多模态医疗知识图谱的构建以及数据库的连接：
S11. 根据不同的目标肿瘤实体以及相关肿瘤属性，从多个数据源获取多个原始数据，原始数据包括图片、音频或者视频资源；
S12. 利用开源的词法工具和医疗领域的词典库，对目标肿瘤实体识别，并从语料数据中提取出实体与实体之间的多个关系类型，所述关系类型至少包括流行病学特征，筛查，临床表现和诊断，病理诊断，分子分型，分期，治疗；
S13. 通过知识抽取得到所述实体和关系的信息，定义知识图谱实体和属性，包括实体和实体之间的关系，实体的属性值；其中的实体信息和属性信息，包括文本信息，图片，音频或者视频的一种或者多种；
S14. 根据所述实体和实体之间的关系，构建医疗知识图谱树，其中根节点代表的是目标肿瘤实体的值，实体与实体之间的关系代表树干，实体的下位概念是中间节点，每个实体的属性作为子节点；
S15. 根据上述S14中构建的图谱树，将目标肿瘤实体和实体之间的关联关系，以csv格式导入到neo4j数据库中；
在步骤S2中，对于AR肿瘤知识图谱，通过以下方法进行AR知识图谱的多模态展示和2D、3D的切换：
S21. 在unity系统中设置知识图谱演示的场景，通过3DsMax三维建模软件制作人体目标肿瘤对应器官的三维模型中的标准图，包括各个器官的位置，器官名称，各种肿瘤可能存在的位置，并将其导入到unity中；
S22. 点击三维模型上的对应肿瘤所在器官，通过服务器，从neo4j数据库获取数据，解析从服务器获取的数据，将数据分为实体、关系和属性三类，实体、关系和属性都包含各自的id，名称以及类别；
S23. 通过unity中的树形插件，根据获取的实体和关系的id和类别，动态创建知识图谱树，形成3D树的根，树干以及节点，并且将实体的名称显示在树形结构对应位置上；
S24. 根据UI页面渲染帧循环的改变，实体和属性信息的改变进行UI页面的调整，主页面主要是实体名称及其他实体的关联情况，通过点击不同的实体进入下一层级；
S25. 在页面右侧设置自动旋转、模式切换以及后退的按钮，根据用户需求，在unity中进行设置，使得用户通过选择对应的按钮进行3D和2D模式的切换，2D模式通过对应的id，对获取的数据以思维导图的形式呈现，并通过在3D中不同实体的id，进入到目标实体id的2D思维导图平面中，在3D和2D的信息展示过程中，都是多模态信息，能够通过点击对应节点显示视频、图片、音频多模态的信息；
S26.在unity中设置要展示的AR树结构和点击事件，并对AR树展示场景设置旋转、缩放按钮，点击上述S25中3D模式下的树节点，会自动下载默认图片，并根据neo4j数据库获取的信息，AR树显示的内容包括多模态的信息，发布到手机上，打开应用，摄像头会被打开，用摄像头扫描目标图片，就能看到AR树展现在屏幕上方空间中，通过设置的按钮进行旋转和缩放，点击AR树节点，在客户端显示对应的多模态内容。
2.根据权利要求1所述的基于智能搜索的AR肿瘤知识图谱多模态演示方法，其特征在于，首先构建目标肿瘤的多模态知识图谱，将构建好的知识图谱的多模态信息导入到neo4j数据库中，然后，在unity系统中设置人体三维模型，通过点击对应肿瘤所在器官位置，发送http请求，从neo4j数据库获取数据并返回，客户端演示目标肿瘤实体的AR多模态知识图谱，并且能够根据需要进行2D和3D的转换；此外，结合智能搜索实现对关键字信息的有效检索功能。
3.根据权利要求2所述的基于智能搜索的AR肿瘤知识图谱多模态演示方法，其特征在于，在步骤S3中，根据步骤S2中建立的AR展示肿瘤知识图谱的多模态展示系统以及能根据不同id在2D、3D呈现不同知识图谱的功能，增加智能搜索的功能，具体步骤如下：
S31. 利用问句解析技术和文本关键词提取技术获取用户输入的问题的关键字，至少包括目标肿瘤名称和疾病实体名称的信息或者属性信息；
S32. 连接neo4j数据库，通过获取的关键字，在neo4j数据库进行检索，得到匹配关键字的搜索结果；
S33. 客户端根据用户关注的节点，进行AR树形结构的重建，重建的结果包括目标关键词对应实体的树形结构，以及对应的多模态信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011039917.4A CN112131405B (zh) | 2020-09-28 | 2020-09-28 | 一种基于智能搜索的ar肿瘤知识图谱多模态演示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011039917.4A CN112131405B (zh) | 2020-09-28 | 2020-09-28 | 一种基于智能搜索的ar肿瘤知识图谱多模态演示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112131405A CN112131405A (zh) | 2020-12-25 |
| CN112131405B true CN112131405B (zh) | 2024-05-17 |
Family
ID=73843144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011039917.4A Active CN112131405B (zh) | 2020-09-28 | 2020-09-28 | 一种基于智能搜索的ar肿瘤知识图谱多模态演示方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112131405B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112749289A (zh) * | 2020-12-31 | 2021-05-04 | 重庆空间视创科技有限公司 | 基于多模态的知识图谱检索系统及方法 |
| CN112733019A (zh) * | 2020-12-31 | 2021-04-30 | 郑州轻工业大学 | 一种开放式知识图谱推理研究系统 |
| CN112925928A (zh) * | 2021-03-25 | 2021-06-08 | 深圳市商汤科技有限公司 | 数据处理方法及装置、电子设备及计算机可读存储介质 |
| CN113192628B (zh) * | 2021-04-22 | 2023-09-01 | 广州金域医学检验中心有限公司 | 基于病理知识图谱的病理危急值预警方法及相关设备 |
| CN113704492B (zh) * | 2021-08-26 | 2024-02-27 | 山东大学 | 一种老年照护数据知识图谱的构建方法及系统 |
| CN113918732A (zh) * | 2021-11-19 | 2022-01-11 | 北京明略软件系统有限公司 | 多模态知识图谱构建方法、系统、存储介质及电子设备 |
| CN114896426B (zh) * | 2022-07-14 | 2023-10-13 | 中国人民解放军国防科技大学 | 一种电子目标认知图谱的构建方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018006472A1 (zh) * | 2016-07-07 | 2018-01-11 | 深圳狗尾草智能科技有限公司 | 基于知识图谱的人机交互方法及系统 |
| CN111046194A (zh) * | 2019-12-31 | 2020-04-21 | 重庆和贯科技有限公司 | 构建多模态教学知识图谱的方法 |
-
2020
- 2020-09-28 CN CN202011039917.4A patent/CN112131405B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018006472A1 (zh) * | 2016-07-07 | 2018-01-11 | 深圳狗尾草智能科技有限公司 | 基于知识图谱的人机交互方法及系统 |
| CN111046194A (zh) * | 2019-12-31 | 2020-04-21 | 重庆和贯科技有限公司 | 构建多模态教学知识图谱的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 崔洁 ; 陈德华 ; 乐嘉锦 ; .基于EMR的乳腺肿瘤知识图谱构建研究.计算机应用与软件.2017,(12),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112131405A (zh) | 2020-12-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112131405B (zh) | 一种基于智能搜索的ar肿瘤知识图谱多模态演示方法 | |
| Radley et al. | Images of recovery: A photo-elicitation study on the hospital ward | |
| US8117549B2 (en) | System and method for capturing user actions within electronic workflow templates | |
| Jastrow et al. | Teaching and learning gross anatomy using modern electronic media based on the visible human project | |
| Loumos et al. | Augmented and virtual reality technologies in cultural sector: Exploring their usefulness and the perceived ease of use | |
| Kopanitsa et al. | Development, implementation and evaluation of an information model for archetype based user responsive medical data visualization | |
| Seale et al. | Using software to analyze qualitative interviews | |
| de Almeida et al. | Passages on Brazilian scientific cinema | |
| Gilmore et al. | Make Room for VR: Constructing Domestic Space and Accessibility in Virtual Reality Headset Tutorials | |
| WO2011071363A2 (en) | System and method for visualizing and learning of human anatomy | |
| Wibowo | Publication trends related to Uses and Gratification Theory on social media | |
| Watson | Post-hospital nursing: shortage, shifts, and scripts | |
| Van Dijck | Digital cadavers: the visible human project as anatomical theater | |
| McNeill | Music and spatial injustice in banlieue cinema | |
| Wagner | The mummy and the medical gaze: digital visualisations in the British Museum’s exhibition Ancient lives, new discoveries | |
| Lin et al. | A multi-modal mobile device for learning Japanese kanji characters through mnemonic stories | |
| Purwodani et al. | Mapping the Research Landscape of 360-degree Visual Integrated Virtual Guides: A Bibliometric Review | |
| Eden | 2D and 3D information visualization: The next big Internet revolution | |
| Smatana et al. | New Ways of Exploring Connections Between Cultural Heritage Objects | |
| US20190279404A1 (en) | Methods and program product for mapping of functional panels onto available physical displays | |
| Bennardo et al. | Three innovative research tools to store, visualize, and analyze data in and from the field | |
| Downing | Setting the Fractal Clock (s): The coordinates of a spatial expression | |
| Dritsou | Introduction to Europeana APIs | |
| Wu et al. | The design and integration of retinal CAD-SR to diabetes patient ePR system | |
| Collins | Exploring the Potential of AI in Drug Development, Clinical Decisions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |