CN113220951B - 一种基于智能内容的医学临床支持方法和系统 - Google Patents
一种基于智能内容的医学临床支持方法和系统 Download PDFInfo
- Publication number
- CN113220951B CN113220951B CN202110535407.4A CN202110535407A CN113220951B CN 113220951 B CN113220951 B CN 113220951B CN 202110535407 A CN202110535407 A CN 202110535407A CN 113220951 B CN113220951 B CN 113220951B
- Authority
- CN
- China
- Prior art keywords
- content
- data source
- user
- database
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 230000008569 process Effects 0.000 claims abstract description 24
- 201000010099 disease Diseases 0.000 claims description 23
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 23
- 238000003745 diagnosis Methods 0.000 claims description 22
- 238000010586 diagram Methods 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 18
- 238000004140 cleaning Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000012015 optical character recognition Methods 0.000 claims description 5
- 238000003908 quality control method Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000005520 cutting process Methods 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 39
- 238000012549 training Methods 0.000 abstract description 17
- 238000003759 clinical diagnosis Methods 0.000 abstract description 9
- 238000005516 engineering process Methods 0.000 description 24
- 238000010276 construction Methods 0.000 description 12
- 230000004044 response Effects 0.000 description 8
- 238000000605 extraction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000006698 induction Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 2
- 238000004801 process automation Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000009411 base construction Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
- G06F16/90332—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9038—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本申请公开了一种基于智能内容的医学临床支持方法，包括获取数据源，所述数据源包括文档、图片、音频和视频形式的临床知识；响应于用户对所述数据源的标注和内容输入指令，对所述数据源标注和内容输入；将所述数据源转换为结构性数据，存储于数据库中；响应于用户的查询指令，从所述数据库中找出与所述查询指令匹配的临床知识并显示给用户，可处理和提取海量的医学讲座、培训视频和音频，并进行结构化和知识图谱构建，无缝无痕配合临床诊治流程，为医生提供快速精准的内容推荐，提供极大的内容丰富度和和极具时效性的内容更新。本申请还公开了一种基于智能内容的医学临床支持系统。
Description
技术领域
本发明属于医疗辅助设备技术领域，特别是涉及一种基于智能内容的医学临床支持方法和系统。
背景技术
为了建立医学临床知识支持系统以借助人工智能支持及分析，需要经历海量数据的准备过程和繁琐的数据处理过程，这里的数据包括和临床诊疗系统相关的文档、图片、音频、视频等分门别类的数据源，这些不同类型的海量数据的获取、正确性校验、数据格式的转换、数据统计和计算都缺乏专业的高效率的自动化工具处理，而且，各病种、科室和诊疗手段等原始数据处理过程和方法也不一样，同时处理的规则也不一样，针对不同属性的原始数据，都需要采用特定的处理规则和方法，每个类型数据的处理就是一条业务流水线，多个业务流水线并行的时候，经历的步骤和路径都不一样，这些都无法自动化编排。
现有的医学临床知识支持系统存在如下缺点：数据处理缺乏自动化工具，无法持续自动化更新，处理技术简陋，不能实现从多类型内容、全流程的自动编排、结构化，以及知识提取，并保障高效持续的内容自动更新和模型升级；知识库构建不系统不全面，都是零碎的局部的信息，通常无法无缝无痕的配合临床诊治流程和路径；数据源单一，比如只有医学论文，而缺少会议报告、讲座、培训、同业交流等视频和音频内容，而这些内容往往是业务的精华并且时效性和针对性极强；业务类型单一，通常只能支持单病种或科室业务，无法提供跨科室跨学科联合诊断；知识获取难，由于缺乏智能化高效率的数据处理，只能依靠低效率的人工处理，临床医生也无法通过简单的机器人问答方式来获取对应的知识、决策支持和内容推荐。
发明内容
为解决上述问题，本发明提供了一种基于智能内容的医学临床支持方法和系统，可处理和提取海量的医学讲座、培训视频和音频，并进行结构化和知识图谱构建，无缝无痕配合临床诊治流程，为医生提供快速精准的内容推荐，提供极大的内容的丰富度和和极具时效性的内容更新。
本发明提供的一种基于智能内容的医学临床支持方法包括：
获取数据源，所述数据源包括文档、图片、音频和视频形式的临床知识；
响应于用户对所述数据源的标注和内容输入指令，对所述数据源标注和内容输入；
将所述数据源转换为结构性数据，存储于数据库中；
响应于用户的查询指令，从所述数据库中找出与所述查询指令匹配的临床知识并显示给用户。
优选的，在上述基于智能内容的医学临床支持方法中，所述响应于用户对所述数据源的标注和内容输入指令，对所述数据源标注和内容输入，将所述数据源转换为结构性数据，存储于数据库中具体包括：
利用SDN智能编排方式，将不同类型的数据源进行自动化流水处理，每一个业务流为一个切片，每一个切片映射到一个原子操作，将所述原子操作融入到流水线的路径图中；
所述路径图的生成包括：
构建各个所述原子操作的有向路径矢量；
构建基于条件概率依赖判断的路径；
构建最优动态规划路径。
优选的，在上述基于智能内容的医学临床支持方法中，在所述对所述数据源标注和内容输入之后，还包括：
对所述标注和输入的内容进行质量检测。
优选的，在上述基于智能内容的医学临床支持方法中，所述响应于用户的查询指令，从所述数据库中找出与所述查询指令匹配的临床知识并显示给用户包括：
响应于用户的查询指令，利用多病种、多科室知识和推理引擎从所述数据库中找出与所述查询指令匹配的临床知识并显示给用户。
优选的，在上述基于智能内容的医学临床支持方法中，还包括：
获取用户的诊治决策信息，利用监管质控合规引擎判断所述诊治决策信息是否偏离诊治流程，当存在偏离时进行提示和纠正。
优选的，在上述基于智能内容的医学临床支持方法中，所述将所述数据源转换为结构性数据，存储于数据库中包括：
利用SpeechToText提取视频中的语音内容，并进行分词、停用词清洗和关键词检测备用；
提取视频中的关键帧中的文字和图片，并进行光学字符识别，将得到的实时文字存储于数据库中，对所述图片进行截取并存储于数据库中。
优选的，在上述基于智能内容的医学临床支持方法中，所述将所述数据源转换为结构性数据，存储于数据库中还包括：
对视频进行段落划分和剪切，在疾病、医生和案例的维度上得到便于检索和观看的子视频。
优选的，在上述基于智能内容的医学临床支持方法中，所述将所述数据源转换为结构性数据，存储于数据库中还包括：
对所述结构性数据进行重复检测、冲突检测、清洗与合并，然后存储于数据库中。
优选的，在上述基于智能内容的医学临床支持方法中，所述响应于用户的查询指令，从所述数据库中找出与所述查询指令匹配的临床知识并显示给用户包括：
响应于用户的提问形式的查询指令，将所述提问形式的查询指令转换为知识图谱的查询语句，从所述数据库中找出与所述知识图谱的查询语句相匹配的回答和内容推荐并显示给用户。
本发明提供的一种基于智能内容的医学临床支持系统包括：
数据源获取模块，用于获取数据源，所述数据源包括文档、图片、音频和视频形式的临床知识；
标注和内容输入模块，用于响应于用户对所述数据源的标注和内容输入指令，对所述数据源标注和内容输入；
转换和存储模块，用于将所述数据源转换为结构性数据，存储于数据库中；
查询和显示模块，用于响应于用户的查询指令，从所述数据库中找出与所述查询指令匹配的临床知识并显示给用户。
通过上述描述可知，本发明提供的上述基于智能内容的医学临床支持方法，由于包括获取数据源，所述数据源包括文档、图片、音频和视频形式的临床知识；响应于用户对所述数据源的标注和内容输入指令，对所述数据源标注和内容输入；将所述数据源转换为结构性数据，存储于数据库中；响应于用户的查询指令，从所述数据库中找出与所述查询指令匹配的临床知识并显示给用户，因此可以利用该方法处理和提取海量的医学讲座、培训视频和音频，并进行结构化和知识图谱构建，无缝无痕配合临床诊治流程，为医生提供快速精准的内容推荐，提供极大的内容丰富度和和极具时效性的内容更新。本发明提供的上述基于智能内容的医学临床支持系统，具有与上述方法相同的优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种基于智能内容的医学临床支持方法的实施例的示意图；
图2为使用集中式硬件架构的医学临床支持系统的示意图；
图3为使用分布式硬件架构的医学临床支持系统的示意图；
图4为本发明提供的一种基于智能内容的医学临床支持系统的实施例的示意图。
具体实施方式
本发明的核心是提供一种基于智能内容的医学临床支持方法和系统，可处理和提取海量的医学讲座、培训视频和音频，并进行结构化和知识图谱构建，无缝无痕配合临床诊治流程，为医生提供快速精准的内容推荐，提供极大的内容的丰富度和和极具时效性的内容更新。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的一种基于智能内容的医学临床支持方法的实施例如图1所示，图1为本发明提供的一种基于智能内容的医学临床支持方法的实施例的示意图，该方法可以包括如下步骤：
S1：获取数据源，数据源包括文档、图片、音频和视频形式的临床知识；
需要说明的是，该方法实现数据源多元输入智能管理，这里所说的文档包括但不限于word、PDF、PPT、excel、WPS、txt等文件，图片包括但不限于 jpg、gif、bmp等格式的图片，音频包括但不限于MP3、MPEG、wave、AIF、 AMR等格式的音频，视频包括但不限于AVI、MOV、RMVB、MP4、3gp等格式的视频，可见，该实施例支持复杂的数据来源，解决了数据准备不足和样本量不够的问题，数据完备度高，数据可信度强，数据采集高效率，而且，可以通过数据流水线自动吸纳和处理每日新产生的多媒体内容，从而提供极大的内容的丰富度和和极具时效性的内容更新。
S2：响应于用户对数据源的标注和内容输入指令，对数据源标注和内容输入；
需要说明的是，在整体知识图谱构建过程中，涉及到知识特征工程的构建，因此需要人工介入进行标注及输入。
S3：将数据源转换为结构性数据，存储于数据库中；
特别指出的是，对于视频中的PPT文件，可以通过视频帧智能检测技术和光学字符精确识别技术，将视频中的文字识别并将内容结构化，将视频中的 PPT提取出来，把这些音频、视频和文档都能转化为结构性数据，存储在数据库中，可以使用关键词检测、主题模型和文档识别等技术，对视频内容进行段落划分、语义归纳和打标，得到可检索的数据库；
S4：响应于用户的查询指令，从数据库中找出与查询指令匹配的临床知识并显示给用户。
利用该方法，能够无缝无痕的配合临床诊治流程，为医生提供快速精准的内容推荐。
通过上述描述可知，本发明提供的上述基于智能内容的医学临床支持方法的实施例中，由于包括获取数据源，数据源包括文档、图片、音频和视频形式的临床知识；响应于用户对数据源的标注和内容输入指令，对数据源标注和内容输入；将数据源转换为结构性数据，存储于数据库中；响应于用户的查询指令，从数据库中找出与查询指令匹配的临床知识并显示给用户，因此可以利用该方法处理和提取海量的医学讲座、培训视频和音频，并进行结构化和知识图谱构建，无缝无痕配合临床诊治流程，为医生提供快速精准的内容推荐，提供极大的内容丰富度和和极具时效性的内容更新。
在上述基于智能内容的医学临床支持方法的一个具体实施例中，响应于用户对数据源的标注和内容输入指令，对数据源标注和内容输入，将数据源转换为结构性数据，存储于数据库中可以具体包括如下步骤：
利用SDN智能编排方式，将不同类型的数据源进行自动化流水处理，每一个业务流为一个切片，每一个切片映射到一个原子操作，将原子操作融入到流水线的路径图中；
路径图的生成包括：
构建各个原子操作的有向路径矢量；
构建基于条件概率依赖判断的路径；
构建最优动态规划路径。
具体而言，可以参考图2，图2为使用集中式硬件架构的医学临床支持系统的示意图，这种一键式E2E自动化流水线包含六步骤和五模块，所有软件功能集中部署在一台服务器/PC/手机/便携机/单板上，模块1是智能数据流程自动化DPA模块，使用SDN智能编排技术，不同类型的视频数据进行自动化流水处理，一键式E2E无需人工干预得到处理结果；每一个业务流就是一个切片，每个切片映射到一系列原子操作，这里定义了全部的原子操作集合，每个业务根据其属性来组合所需的原子操作，称之为SDN(software definenetwork)；如图2所示，业务流1映射到原子操作1/原子操作2.1/原子操作4.1/原子操作6，业务流1的任务由这几个原子操作叠加组合完成；对于前述每一个step，基于具体识别对象、处理规则或处理逻辑的不同，可以区分为不同的原子操作，比如Step2的关键帧提取，为了区分不同的识别对象，可以有不同原子操作2.1 或原子操作2.2；
这里需要解决的问题是通过动态的组合和判断各种原子操作的依赖性，以及动态的智能的将各种原子操作进行组合，以达到最大的流水线处理吞吐量。具体的，给定资源上限(包括CPU核数量、内存容量)，对均匀、随机输入的多媒体内容(包括图片、视频、音频、文本等)进行编排处理，其中所有视频需要提取关键图片和音频，所有音频需要语音转文字，所有图片需要提取文字，所有文本需要纠错和搭建知识图谱。原子操作可多路输入并行处理，但在同一多媒体对象中必须依赖先后顺序。如表1所示，表1为各种原子操作类型的资源特征和前置条件列表。
表1
目的的定义：这是一个多目标的编排系统，目标如下(按优先顺序)
(1)总体效率：在给定时间内处理完成给定规模多媒体内容的输入，例如在 24小时内完成一次性提供的500个多媒体文件的端到端处理；
(2)统筹时效性：在给定时间内处理完成80％的多媒体内容输入，例如在12 小时内完成一次性提供的500个多媒体原始文件所需的100000次原子操作的 80％；
(3)高可用性：在给定时间内完成80％数量的多媒体内容端到端处理，例如在18小时内完成小时内完成一次性提供的500个视频文件中的80％文件数的知识图谱更新。
其中，“总体效率”目标是为了保障系统处理能力的下限，即在可控时间内完成所有流水线任务；“统筹时效性”目标是降低系统风险，在任意时刻已经完成可完成的最多处理操作；“高可用性”目标是为了提升系统可用性，在任意时刻已经可用最多的“终端处理结果”，在本系统中体现为知识图谱的更新和视频推荐的完成。
在优先资源下的SDN编排问题可转化为有向路径矢量图构建问题，即：将任意的多媒体文件分解为原子操作集合，将这些原子操作融入流水线的路径图中。路径图的数量等于CPU核的数量(或允许进程数)，而原子操作的可执行性依赖于其前置操作已完成。在每个CPU进程上，应遵循以下规则：
(1)优先安排CPU耗时少的原子操作以达到统筹时效性；
(2)分散安排网络IO和内存的原子操作；
(3)在CPU进程之间，应使得每个原始文件的原子操作集尽量分布在较短的时间区间内。
算法应使用以上策略对路径图进行初始规划，在路径图使用时，会发生原子操作无法执行的情况，因为其前置条件尚未完成，此时应将当前原子操作向后推迟N个位置；如该原子操作在推迟的位置上再次发生无法执行，则应再推迟2N个位置，以此级数规律类推。需要注意的是，当新的一批多媒体文件入库时，将会生成一批新的有向路径图。
下面是具体的有向路径图的生成算法：
(1)各原子操作的有向路径矢量的构建。
有向路径矢量的构成是多步骤每步多选择模型的最优选择问题，在每一步的所有选择都保存了前续所有步骤到当前步骤当前选择的最小总代价(或者最大价值)以及当前代价的情况下前继步骤的选择，依次计算完所有步骤后，通过回溯的方法找到最优选择路径。针对此特定系统，算法的思想是：使得“N个多媒体文件在P时间内无法完成”的概率最低。由于一个多媒体文件可以分解成m个原子操作A1,A2,…Am，每个原子操作的耗时是t1,t2,…tm，则Am无法在时刻T完成的概率小于Am-1在T-tm时刻无法完成的概率，以此类推。
由此，可以得到有向路径构建方法，如下所述。
(2)基于条件概率依赖判断的路径构建。
各个原子操作的排列组合，实际是对整体条件概率的原子组合，利用假设的条件概率依赖性，可以判断出条件概率最大的依赖路径，从而确定整体原子操作的组合路径。
(3)最优动态规划路径的构建。
通过以上智能算法，能动态的将各原子操作以及核心处理环节动态的组合起来，极大的降低人工干预，更自动化的识别和甄别对不同内容的处理，形成整条流水线的自动化。
为了记录动态规划最短路径的值，使用一个N*t矩阵dp来记录最短路径的值(N原子操作数量，t操作序列数量)
若t的操作序列是dp[i][j]这一点，为了记录t操作依赖是从哪条路径来的，使用一个N*t矩阵ptr来记录t-1操作依赖。例如：ptr[i][j]储存的是前一个原子操作(j-1)的操作依赖。
如果只有dp矩阵，我们只可以记录最短路径的值，不知道最短路径具体路径是如何走的，ptr矩阵记录了从哪条路径来的，解决了这个问题。
公式表示：
模块2是内容提取模块，使用关键帧检测、语音转文字、光学字符识别等技术，对视频进行结构化处理和入库，利用智能质检技术，可智能的对人工介入的标注和输入进行质量检测，并保障标注效果的准确性。
模块3是自然语言处理模块，使用关键词检测、主题模型、文档识别等技术，对视频内容进行段落划分，语义归纳和打标，得到可检索的媒体库。
模块4是知识图谱模块，将结构化的视频信息导入知识图谱数据库，形成可查询的专家系统，为医生提供快速精准的内容推荐，结合多病种、多科室知识和推理引擎，实时的配合医生对各种疾病和诊疗方法进行辅助决策以及提供流程自动化的帮助。
模块5是临床支持模块，提供机器人问答、诊断支持、临床路径推荐、合规监控、医生培训等功能，多科室多病种核心常见问题的针对性培训、问答和临床支持系统。
另外，上述系统还可以通过分布式软硬件来实现，如图3所示，图3为使用分布式硬件架构的医学临床支持系统的示意图，软件功能分布部署在多台服务器/PC/手机/便携机/单板上，实现从开始到终结的全流程智能化自动编排，本实施例将Step1和Step2部署在硬件处理单元1，将Step3和Step4部署在硬件处理单元2，将Step5和Step6部署在硬件处理单元3。
这种医学临床支持系统的搭建包含六个步骤：
步骤1：视频中的音频提取和文字转化，通过SpeechToText技术提取视频中的语音内容，并进行分词、停用词清洗、关键词检测备用；
步骤2：视频中的关键帧提取，关键帧通常是讲座和培训所使用的PPT页，内容包含文字和医学图片，关键帧智能检测，基于视频内容分析技术，检测并标记出视频关键帧，作为视频处理的最小基础单元；
步骤3：在步骤2基础上的内容识别，对文字部分进行光学字符精确识别，实时文字入库，对图片部分进行自动截取和入库；
步骤4：在以上3个步骤基础上进行视频内容主题提取。使用多种主题模型算法相配合的方式对视频内容进行段落划分和剪切，在疾病、医生、案例的维度上得到便于检索和观看的子视频；
步骤5：知识图谱搭建，将结构化的数据(包括视频段落、主题、医生、科室、疾病、医院等实体和各自之间的关系)导入知识图谱并进行重复检测、冲突检测、清洗、合并；此步骤后可对视频中的信息要素进行关联检索和分析；
步骤6：智能问答系统训练，使用自然语言处理技术将医生的提问转化为知识图谱的查询语句，并提供精确的回答和有针对性的内容推荐。
医学临床支持系统包含如下5个模块：
模块1：智能数据流程自动化DPA模块。
使用SDN智能编排技术，不同类型的视频数据进行自动化流水处理，一键式E2E无需人工干预得到处理结果；每一个业务流就是一个切片，每个切片映射到一系列原子操作，这里定义了全部的原子操作集合，每个业务根据其属性来组合所需的原子操作，称之为SDN(software define network)；如图3所示，业务流1映射到原子操作1/原子操作2.1/原子操作4.1/原子操作6，业务流1的任务由这几个原子操作叠加组合完成；对于前述每一个step，基于具体识别对象、处理规则或处理逻辑的不同，可以区分为不同的原子操作，比如Step2的关键帧提取，为了区分不同的识别对象，可以有不同原子操作2.1或原子操作2.2。
模块2：内容提取模块。
使用关键帧检测、语音转文字、光学字符识别等技术，对视频进行结构化处理和入库；借用智能质检技术，可智能的对人工介入的标注和输入进行质量检测，并保障标注效果的准确性。
模块3：自然语言处理模块。
使用关键词检测、主题模型、文档识别等技术，对视频内容进行段落划分，语义归纳和打标，得到可检索的媒体库。
模块4：知识图谱模块。
将结构化的视频信息导入知识图谱数据库，形成可查询的专家系统，为医生提供快速精准的内容推荐，结合多病种、多科室知识和推理引擎，实时的配合医生对各种疾病和诊疗方法进行辅助决策以及提供流程自动化的帮助。
模块5：临床支持模块。
提供机器人问答、诊断支持、临床路径推荐、合规监控、医生培训等功能，多科室多病种核心常见问题的针对性培训、问答和临床支持系统。
利用多业务流的自动化流水线，各种类型的原始数据能实现多业务流并行流水，基于上述SDN智能编排技术，不同类型的输入数据进行自动化流水处理，一键式E2E无需人工干预就能够得到处理结果。
在上述基于智能内容的医学临床支持方法中，在对数据源标注和内容输入之后，还包括：
对标注和输入的内容进行质量检测，从而更好地保障标注效果的准确性。
在上述基于智能内容的医学临床支持方法的另一个具体实施例中，响应于用户的查询指令，从数据库中找出与查询指令匹配的临床知识并显示给用户可以包括如下具体步骤：
响应于用户的查询指令，利用多病种、多科室知识和推理引擎从数据库中找出与查询指令匹配的临床知识并显示给用户，这样就能够实时的配合医生对各种疾病和诊疗方法进行辅助决策以及提供流程自动化的帮助。
在上述基于智能内容的医学临床支持方法基础上，还可以包括如下步骤：
获取用户的诊治决策信息，利用监管质控合规引擎判断诊治决策信息是否偏离诊治流程，当存在偏离时进行提示和纠正。可见，这就提供了监管、质控模块，提示医生的诊治过程是否符合或偏离临床路径，从而更好的保证诊治过程的准确性。
另外，在上述基于智能内容的医学临床支持方法的一个优选实施例中，将数据源转换为结构性数据，存储于数据库中可以具体包括：
利用SpeechToText提取视频中的语音内容，并进行分词、停用词清洗和关键词检测备用；
提取视频中的关键帧中的文字和图片，并进行光学字符识别，将得到的实时文字存储于数据库中，对图片进行截取并存储于数据库中。
需要说明的是，关键帧通常是讲座和培训所使用的PPT页，内容包含文字和医学图片，关键帧智能检测是基于视频内容分析技术，检测并标记出视频关键帧，作为视频处理的最小基础单元。
在上述基于智能内容的医学临床支持方法的另一个优选实施例中，将数据源转换为结构性数据，存储于数据库中还可以包括：
对视频进行段落划分和剪切，在疾病、医生和案例的维度上得到便于检索和观看的子视频。
具体而言，可以使用多种主题模型算法相配合的方式对视频内容进行段落划分和剪切，在疾病、医生、案例的维度上得到便于检索和观看的子视频。
本申请还提供了又一个基于智能内容的医学临床支持方法的优选实施例，将数据源转换为结构性数据，存储于数据库中还可以具体包括：
对结构性数据进行重复检测、冲突检测、清洗与合并，然后存储于数据库中。
需要说明的是，这种结构性数据包括视频段落、主题、医生、科室、疾病、医院等实体和各自之间的关系，将其导入知识图谱并进行重复检测、冲突检测、清洗与合并，此步骤后可对视频中的信息要素进行关联检索和分析。
在上述基于智能内容的医学临床支持方法的实施例中，响应于用户的查询指令，从数据库中找出与查询指令匹配的临床知识并显示给用户可以具体包括：
响应于用户的提问形式的查询指令，将提问形式的查询指令转换为知识图谱的查询语句，从数据库中找出与知识图谱的查询语句相匹配的回答和内容推荐并显示给用户。
具体的，就是可以进行多科室多病种核心常见问题的针对性培训、问答和临床支持，这里所说的知识图谱就是一套数据内容的逻辑呈现方式，通过构建完备的知识图谱，当临床医生需要获取知识的时候，通过机器人自动问答方式，就能够得到想要的答案。
本发明提供的一种基于智能内容的医学临床支持系统的实施例如图4所示，图4为本发明提供的一种基于智能内容的医学临床支持系统的实施例的示意图，该系统可以包括：
数据源获取模块401，用于获取数据源，数据源包括文档、图片、音频和视频形式的临床知识，这里所说的文档包括但不限于word、PDF、PPT、excel、 WPS、txt等文件，图片包括但不限于jpg、gif、bmp等格式的图片，音频包括但不限于MP3、MPEG、wave、AIF、AMR等格式的音频，视频包括但不限于 AVI、MOV、RMVB、MP4、3gp等格式的视频，可见，该实施例支持复杂的数据来源，解决了数据准备不足和样本量不够的问题，数据完备度高，数据可信度强，数据采集高效率，而且，可以通过数据流水线自动吸纳和处理每日新产生的多媒体内容，从而提供极大的内容的丰富度和和极具时效性的内容更新；
标注和内容输入模块402，用于响应于用户对数据源的标注和内容输入指令，对数据源标注和内容输入，需要说明的是，在整体知识图谱构建过程中，涉及到知识特征工程的构建，因此需要人工介入进行标注及输入；
转换和存储模块403，用于将数据源转换为结构性数据，存储于数据库中，特别指出的是，对于视频中的PPT文件，可以通过视频帧智能检测技术和光学字符精确识别技术，将视频中的文字识别并将内容结构化，将视频中的PPT 提取出来，把这些音频、视频和文档都能转化为结构性数据，存储在数据库中，可以使用关键词检测、主题模型和文档识别等技术，对视频内容进行段落划分、语义归纳和打标，得到可检索的数据库；
查询和显示模块404，用于响应于用户的查询指令，从数据库中找出与查询指令匹配的临床知识并显示给用户，这样能够无缝无痕的配合临床诊治流程，为医生提供快速精准的内容推荐。
利用该系统，能够处理和提取海量的医学讲座、培训视频和音频，并进行结构化和知识图谱构建，无缝无痕配合临床诊治流程，为医生提供快速精准的内容推荐，提供极大的内容丰富度和和极具时效性的内容更新。
综上所述，上述软硬件架构支持多业务切片slicing，依托全流程智能化自动编排SDN技术(software define network)，超越传统的单点非系统化的DPA和 RPA，即数据流程自动化DPA(data process automation)和机器人流程自动化 RPA(robot processautomation)，能将技术点整体串联，不同类型数据处理路径和步骤方法不一样，实现从开始到终结的全流程智能化自动编排，每一个业务流就是一个切片slicing，每个切片映射到一系列原子操作，而且本方案定义了全部的原子操作集合，每个业务根据其属性来组合所需的原子操作，称之为SDN(software define network)，实现一键式E2E的自动化处理效率；上述方案能够提升业务的处理效率，节省任务处理时间，多业务流的自动化流水线，各种类型的原始数据能实现多业务流并行流水，基于上述的SDN智能编排技术，通过灵活组件软件架构技术和硬件资源池技术来支持n条流水线，将数据处理得到结果，这些结果实时入库；知识互动和分享效率高，知识图谱构建，知识图谱就是一套数据内容的逻辑呈现方式，通过上述步骤构建完备的知识图谱，当用户需要获取知识时候，通过机器人自动问答方式，或直接输出为 word文档方式等，通过本系统来呈现答案，为医生提供快速精准的内容推荐。结合多病种、多科室知识和推理引擎，实时的配合医生对各种疾病和诊疗方法进行辅助决策以及提供流程自动化的帮助。这种临床知识支持诊断质控、合规、监控、培训，提供机器人问答、诊断支持、临床路径推荐、合规监控、医生培训等功能，多科室多病种核心常见问题的针对性培训、问答。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种基于智能内容的医学临床支持方法，其特征在于，包括：
获取数据源，所述数据源包括文档、图片、音频和视频形式的临床知识；
响应于用户对所述数据源的标注和内容输入指令，对所述数据源标注和内容输入；
将所述数据源转换为结构性数据，存储于数据库中；
响应于用户的查询指令，从所述数据库中找出与所述查询指令匹配的临床知识并显示给用户；
所述响应于用户对所述数据源的标注和内容输入指令，对所述数据源标注和内容输入，将所述数据源转换为结构性数据，存储于数据库中具体包括：
利用SDN智能编排方式，将不同类型的数据源进行自动化流水处理，每一个业务流为一个切片，每一个切片映射到一个原子操作，将所述原子操作融入到流水线的路径图中；
所述路径图的生成包括：
构建各个所述原子操作的有向路径矢量；
构建基于条件概率依赖判断的路径；
构建最优动态规划路径。
2.根据权利要求1所述的基于智能内容的医学临床支持方法，其特征在于，在所述对所述数据源标注和内容输入之后，还包括：
对所述标注和输入的内容进行质量检测。
3.根据权利要求1所述的基于智能内容的医学临床支持方法，其特征在于，所述响应于用户的查询指令，从所述数据库中找出与所述查询指令匹配的临床知识并显示给用户包括：
响应于用户的查询指令，利用多病种、多科室知识和推理引擎从所述数据库中找出与所述查询指令匹配的临床知识并显示给用户。
4.根据权利要求1所述的基于智能内容的医学临床支持方法，其特征在于，还包括：
获取用户的诊治决策信息，利用监管质控合规引擎判断所述诊治决策信息是否偏离诊治流程，当存在偏离时进行提示和纠正。
5.根据权利要求1所述的基于智能内容的医学临床支持方法，其特征在于，所述将所述数据源转换为结构性数据，存储于数据库中包括：
利用SpeechToText提取视频中的语音内容，并进行分词、停用词清洗和关键词检测备用；
提取视频中的关键帧中的文字和图片，并进行光学字符识别，将得到的实时文字存储于数据库中，对所述图片进行截取并存储于数据库中。
6.根据权利要求5所述的基于智能内容的医学临床支持方法，其特征在于，所述将所述数据源转换为结构性数据，存储于数据库中还包括：
对视频进行段落划分和剪切，在疾病、医生和案例的维度上得到便于检索和观看的子视频。
7.根据权利要求6所述的基于智能内容的医学临床支持方法，其特征在于，所述将所述数据源转换为结构性数据，存储于数据库中还包括：
对所述结构性数据进行重复检测、冲突检测、清洗与合并，然后存储于数据库中。
8.根据权利要求7所述的基于智能内容的医学临床支持方法，其特征在于，所述响应于用户的查询指令，从所述数据库中找出与所述查询指令匹配的临床知识并显示给用户包括：
响应于用户的提问形式的查询指令，将所述提问形式的查询指令转换为知识图谱的查询语句，从所述数据库中找出与所述知识图谱的查询语句相匹配的回答和内容推荐并显示给用户。
9.一种基于智能内容的医学临床支持系统，其特征在于，包括：
数据源获取模块，用于获取数据源，所述数据源包括文档、图片、音频和视频形式的临床知识；
标注和内容输入模块，用于响应于用户对所述数据源的标注和内容输入指令，对所述数据源标注和内容输入；
转换和存储模块，用于将所述数据源转换为结构性数据，存储于数据库中；
查询和显示模块，用于响应于用户的查询指令，从所述数据库中找出与所述查询指令匹配的临床知识并显示给用户；
所述标注和内容输入模块和转换和存储模块具体用于利用SDN智能编排方式，将不同类型的数据源进行自动化流水处理，每一个业务流为一个切片，每一个切片映射到一个原子操作，将所述原子操作融入到流水线的路径图中；
所述路径图的生成包括：
构建各个所述原子操作的有向路径矢量；
构建基于条件概率依赖判断的路径；
构建最优动态规划路径。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110535407.4A CN113220951B (zh) | 2021-05-17 | 2021-05-17 | 一种基于智能内容的医学临床支持方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110535407.4A CN113220951B (zh) | 2021-05-17 | 2021-05-17 | 一种基于智能内容的医学临床支持方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113220951A CN113220951A (zh) | 2021-08-06 |
| CN113220951B true CN113220951B (zh) | 2023-08-22 |
Family
ID=77092409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110535407.4A Active CN113220951B (zh) | 2021-05-17 | 2021-05-17 | 一种基于智能内容的医学临床支持方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113220951B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114999598B (zh) * | 2022-07-14 | 2022-11-01 | 北京清医智慧科技有限公司 | 临床实验数据的获取方法、系统、电子设备及存储介质 |
| CN116955639A (zh) * | 2023-04-24 | 2023-10-27 | 浙商期货有限公司 | 期货产业链知识图谱构建方法、装置及计算机设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100097522A (ko) * | 2009-02-26 | 2010-09-03 | 서울대학교산학협력단 | 임상의사결정 지원 시스템 및 방법 |
| CN107239665A (zh) * | 2017-06-09 | 2017-10-10 | 京东方科技集团股份有限公司 | 医疗信息查询系统及方法 |
| CN109271530A (zh) * | 2018-10-17 | 2019-01-25 | 长沙瀚云信息科技有限公司 | 一种疾病知识图谱构建方法和平台系统、设备、存储介质 |
| CN109327490A (zh) * | 2017-07-31 | 2019-02-12 | 杭州华为数字技术有限公司 | 一种部署云服务组件的方法和装置 |
| KR20190079805A (ko) * | 2017-12-28 | 2019-07-08 | 주식회사 솔트룩스 | 복수의 데이터 소스들 기반 지식 베이스 구축 시스템 및 방법 |
| WO2020089259A1 (en) * | 2018-10-30 | 2020-05-07 | Siemens Aktiengesellschaft | Method and system for integrating data from different data sources into a knowledge graph storage unit |
| CN111930421A (zh) * | 2020-07-31 | 2020-11-13 | 中电鸿信信息科技有限公司 | 一种基于DevOps的自由编排监控系统及其使用方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9904768B2 (en) * | 2011-02-18 | 2018-02-27 | Nuance Communications, Inc. | Methods and apparatus for presenting alternative hypotheses for medical facts |
| US10614196B2 (en) * | 2014-08-14 | 2020-04-07 | Accenture Global Services Limited | System for automated analysis of clinical text for pharmacovigilance |
| US10977292B2 (en) * | 2019-01-15 | 2021-04-13 | International Business Machines Corporation | Processing documents in content repositories to generate personalized treatment guidelines |
| US10943673B2 (en) * | 2019-04-10 | 2021-03-09 | Tencent America LLC | Method and apparatus for medical data auto collection segmentation and analysis platform |
-
2021
- 2021-05-17 CN CN202110535407.4A patent/CN113220951B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100097522A (ko) * | 2009-02-26 | 2010-09-03 | 서울대학교산학협력단 | 임상의사결정 지원 시스템 및 방법 |
| CN107239665A (zh) * | 2017-06-09 | 2017-10-10 | 京东方科技集团股份有限公司 | 医疗信息查询系统及方法 |
| CN109327490A (zh) * | 2017-07-31 | 2019-02-12 | 杭州华为数字技术有限公司 | 一种部署云服务组件的方法和装置 |
| KR20190079805A (ko) * | 2017-12-28 | 2019-07-08 | 주식회사 솔트룩스 | 복수의 데이터 소스들 기반 지식 베이스 구축 시스템 및 방법 |
| CN109271530A (zh) * | 2018-10-17 | 2019-01-25 | 长沙瀚云信息科技有限公司 | 一种疾病知识图谱构建方法和平台系统、设备、存储介质 |
| WO2020089259A1 (en) * | 2018-10-30 | 2020-05-07 | Siemens Aktiengesellschaft | Method and system for integrating data from different data sources into a knowledge graph storage unit |
| CN112912871A (zh) * | 2018-10-30 | 2021-06-04 | 西门子股份公司 | 用于将来自不同数据源的数据集成到知识图存储单元中的方法和系统 |
| CN111930421A (zh) * | 2020-07-31 | 2020-11-13 | 中电鸿信信息科技有限公司 | 一种基于DevOps的自由编排监控系统及其使用方法 |
Non-Patent Citations (1)
| Title |
|---|
| "大数据驱动的临床决策支持系统设计与实践";汪鹏 等;《中国数字医学》;第15卷(第07期);7-10 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113220951A (zh) | 2021-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210232762A1 (en) | Architectures for natural language processing | |
| US11663409B2 (en) | Systems and methods for training machine learning models using active learning | |
| CN111090987B (zh) | 用于输出信息的方法和装置 | |
| CN111753198B (zh) | 信息推荐方法和装置、以及电子设备和可读存储介质 | |
| WO2021114810A1 (zh) | 基于图结构的公文推荐方法、装置、计算机设备及介质 | |
| WO2020010834A1 (zh) | 一种faq问答库泛化方法、装置及设备 | |
| CN113220951B (zh) | 一种基于智能内容的医学临床支持方法和系统 | |
| CN111666416B (zh) | 用于生成语义匹配模型的方法和装置 | |
| CN111984784B (zh) | 人岗匹配方法、装置、电子设备和存储介质 | |
| CN115587175A (zh) | 人机对话及预训练语言模型训练方法、系统及电子设备 | |
| CN115982376B (zh) | 基于文本、多模数据和知识训练模型的方法和装置 | |
| US20200074300A1 (en) | Artificial-intelligence-augmented classification system and method for tender search and analysis | |
| CN113094512A (zh) | 一种工业生产制造中故障分析系统及方法 | |
| CN114417012A (zh) | 一种生成知识图谱的方法和电子设备 | |
| CN113723853A (zh) | 岗位胜任力需求数据处理方法及装置 | |
| Alwadain et al. | Crowd-generated data mining for continuous requirements elicitation | |
| CN115827885A (zh) | 一种运维知识图谱的构建方法、装置及电子设备 | |
| CN112529743B (zh) | 合同要素抽取方法、装置、电子设备及介质 | |
| CN112199954B (zh) | 基于语音语义的疾病实体匹配方法、装置及计算机设备 | |
| US11562126B2 (en) | Coaching system and coaching method | |
| Duan et al. | Reuse‐oriented data publishing: How to make the shared research data friendlier for researchers | |
| AU2019290658B2 (en) | Systems and methods for identifying and linking events in structured proceedings | |
| Luo et al. | Comparison among four prominent text processing tools | |
| CN113343668B (zh) | 选择题解题方法、装置、电子设备及可读存储介质 | |
| Yu et al. | An Approach of Multi-Comment Emotional Perception Based On K-Means Clustering towards Online Government Service System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20210806 Assignee: Shanghai Wanyi Medical Technology Co.,Ltd. Assignor: Ju Yue|Du Boren|Feng Jian Contract record no.: X2023980047998 Denomination of invention: A medical clinical support method and system based on intelligent content Granted publication date: 20230822 License type: Common License Record date: 20231124 |
|
| EE01 | Entry into force of recordation of patent licensing contract |