CN111916202A - 基于强化学习的临床决策支持设备及方法 - Google Patents

基于强化学习的临床决策支持设备及方法 Download PDF

Info

Publication number
CN111916202A
CN111916202A CN202010200146.6A CN202010200146A CN111916202A CN 111916202 A CN111916202 A CN 111916202A CN 202010200146 A CN202010200146 A CN 202010200146A CN 111916202 A CN111916202 A CN 111916202A
Authority
CN
China
Prior art keywords
information
determining
medical
query
reinforcement learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010200146.6A
Other languages
English (en)
Inventor
陈晓钟
王堃
杜楠
涂旻
张尚卿
谢于晟
范伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent America LLC
Original Assignee
Tencent America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent America LLC filed Critical Tencent America LLC
Publication of CN111916202A publication Critical patent/CN111916202A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本申请提供了一种基于强化学习的临床决策支持方法和设备。其中，所述方法包括：设备接收与用户相关联的医疗信息。基于所述与用户相关联的医疗信息和强化学习模型，确定询问信息。提供所述询问信息，以允许接收响应信息。在提供所述询问信息的基础上，接收所述响应信息。使用机器学习模型，基于所述医疗信息和所述响应信息，确定诊断信息。通过网络将所述诊断信息提供给一组设备。

Description

基于强化学习的临床决策支持设备及方法
本申请要求2019年05月10日递交的第16/409,293号美国申请的优先权，其全部内容通过引用并入本文中。
技术领域
本申请涉及医疗领域，特别是涉及一种基于基于强化学习的临床决策支持设备及方法。
背景技术
随着电子健康记录的引入，额外的数字数据已经可用于分析和决策支持。因此，当医生诊断患者时，他们需要考虑和评估大范围的各种大量的数据，这使得临床决策日益复杂。基于机器学习的临床决策支持系统可以提供对这种数据挑战的解决方案。
临床决策支持系统的一个主要困难是长期预测性。在许多疾病的早期阶段，存在可能是非常常见的症状，例如，发热、皮肤发红等。然而，甚至是一些常规的临床检验，也不能找到线索。在这种情况下，一些现有的临床决策支持系统，有可能提供与常见的、轻微的疾病对应的建议，这会导致误诊。
当前的临床决策支持系统通常缺乏前瞻能力，只能被动地接收用户的信息，并且只能基于已知的观察报告给出建议。然而，由于疏忽，可能不会发现一些信息性(informative)特征。
发明内容
根据本申请实施例，一种基于强化学习的临床决策支持方法包括：接收与用户相关联的医疗信息；所述设备基于所述与用户相关联的医疗信息和强化学习模型，确定询问信息；提供询问信息，以允许接收响应信息；在提供所述询问信息的基础上，接收所述响应信息；使用机器学习模型，基于医疗信息和所述响应信息，确定诊断信息；以及通过网络将所述诊断信息提供给一组设备。
本申请实施例提供了一种基于强化学习的临床决策支持设备，包括：第一接收模块，用于接收与用户相关联的医疗信息；第一确定模块，用于用于基于所述与用户相关联的医疗信息和强化学习模型，确定询问信息；第一提供模块，用于提供所述询问信息，以允许接收响应信息；第二接收模块，用于在提供所述询问信息的基础上，接收所述响应信息；第二确定模块，用于使用机器学习模型，基于所述医疗信息和所述响应信息，确定诊断信息；以及第二提供模块，用于通过网络实时将标准化格式的诊断信息提供给一组设备。
根据本申请实施例，一种设备包括：至少一个存储器，用于存储程序代码；以及至少一个处理器，用于读取所述程序代码，并按照所述程序代码的指示进行操作，所述程序代码包括：第一接收代码，用于使所述至少一个处理器接收与用户相关联的医疗信息；第一确定代码，用于使所述至少一个处理器基于与用户相关联的医疗信息和强化学习模型，确定询问信息；提供代码，用于使所述至少一个处理器提供所述询问信息，以允许接收响应信息；第二接收代码，用于使所述至少一个处理器在提供所述询问信息的基础上，接收所述响应信息；第二确定代码，用于使所述至少一个处理器使用机器学习模型，基于所述医疗信息和所述响应信息，确定诊断信息；以及提供代码，用于使所述至少一个处理器通过网络将所述诊断信息提供给一组设备。
根据本申请实施例，一种非易失性计算机可读存储介质，存储有指令，所述指令包括：一个或多个指令，当所述一个或多个指令由设备的一个或多个处理器执行时，使所述一个或多个处理器：接收与用户相关联的医疗信息；基于所述与用户相关联的医疗信息和强化学习模型，确定询问信息；提供所述询问信息，以允许接收响应信息；在提供所述询问信息的基础上，接收所述响应信息；使用机器学习模型，基于所述医疗信息和所述响应信息，确定诊断信息；以及通过网络将所述诊断信息提供给一组设备。
通过本申请实施例的基于强化学习的临床决策支持方法、设备、非易失性计算机可读存储介质，可以通过原始信息和基于询问的信息，确定最终决策。本申请实施例可以发现未观察到的临床信息，给医生提供准确的临床建议，降低人为错误的风险以及医护人员的工作量，提高诊断的准确性，减少决策所需要的时间。此外，申请实施例可以为用户提供全面的信息，改善临床决策支持系统的长期预测性，提高用药安全和效率。最后，本申请实施例可以通过网络，将消息以标准化格式传送给能够访问患者信息的所有医护人员和/或其它用户。通过这种方式，可以将任何变化快速地通知给所有用户，而不必用户手动搜索此类信息。
附图说明
图1是本申请中描述的示例实施方式的概括示意图；
图2是可以实施本申请中描述的系统和/或方法的示例环境示意图；
图3是图2的一个或多个设备的示例组件示意图；
图4是使用强化学习模型确定诊断信息的示例过程的流程图；
图5a、5b是本申请实施例中的基于强化学习的临床决策支持设备示意图。
具体实施方式
一个可靠的临床决策支持系统，应该主动引导用户确定尽可能多的信息性信息。本申请提供了包括强化学习和异质性学习的新技术，以改善临床决策支持系统的长期预测性。
本申请使用强化学习技术，确定潜在的、未观察到的临床信息，提供准确的临床建议。例如，本申请利用基于强化学习的算法，所述算法可以基于当前观察到的临床表现，确定应当确认患者的哪些信息，以提供最多信息和最有价值的建议。强化学习模块中的奖励函数，是基于不同的临床数据格式设计的，临床数据格式包括电子病历(EMR)/电子健康记录(EHR)、规则、和/或其它类型的知识库。因此，本申请可以广泛应用于各种类型的临床建议任务。
图1是本申请中描述的实施例的概括示意图。如图1中的参考标号110所示，信息理解模块可以从文本格式的临床数据中，检测有价值的信息。例如，在患者的医学描述中，特别是在他们以前的病史和症状中，有一些可用于心脏异常分析的重要线索。因此，信息理解模块从病历信息中确定此信息性信息。信息理解模块包括命名实体识别(NER)、语义角色标记等组件。
如图1中的参考标号120进一步所示，潜在问题收集模块设计用于提取适当的问题，这些问题是医生可以与患者进行互动的问题、或可以基于当前已知的临床观察报告采取行动的问题。例如，这些问题可以是关于当前疾病、病史、患者的用药史、医生应当评估的患者的检验结果等等之类的问题。这些问题可以覆盖临床诊断环境中的任何行为或信息。
如图1中的参考标号130进一步所示，在收集潜在问题之后，使用问题判定模块估计每个问题的重要性，并且基于这些问题的重要性，做出要询问哪个问题的判定。所述估计是基于强化学习做出的，其中，奖励函数对每个问题的重要性进行评分，所述奖励函数是在大量的EMR/HER数据的基础上训练得到的，或者是基于知识库或规则定义的。例如，如果一个未弄清的问题可能会导致死亡或后遗症等可怕后果，则其重要性很高。最后，通过考虑已知信息、对话影响和医护专业人员的输入，系统决定最终要询问的问题。
如图1中的参考标号140进一步所示，基于从文本中学习的已知观察报告或在询问过程中确定的已知观察报告，系统使用机器学习模块，向用户提供最终决定。
本申请实施例所提出的训练框架设计为一个端到端的框架。与其它临床决策支持系统相比，本框架可以从原始描述和通过询问收集的信息两者中，学习和提取信息。通过这种方式，本申请经由原始信息和基于询问的信息，确定最终决策，而不是传统的临床决策支持系统那样，被动地等待输入。此外，本框架可以收集不同类型的临床问题(例如，当前疾病、家族史、先前疾病，等等)，并提供不同类型的建议(例如，检验、检查、药物推荐，等等)，为用户提供全面的信息。最后，本框架可以通过网络，将消息以标准化格式传送给能够访问患者信息的所有医护人员和/或其它用户。通过这种方式，可以将任何变化快速地通知给所有用户，而不必用户手动搜索此类信息。
在其它实现中，信息理解模块利用各种机器学习算法，例如，递归神经网络(RNN)、卷积神经网络(CNN)、支持向量机(SVM)等等。此外，问题判定模块中的奖励函数是基于EHR/EMR、知识库、规则等设计的。
此外，本申请框架设计为一个端对端过程，整个框架是同时优化和改动的。在一个替代实施例中，所述框架包括一个逐步训练过程，其中各个模块可以单独地训练。
图2是可以实施本申请中描述的系统和/或方法的示例环境200的示意图。如图2所示，环境200可以包括用户设备210、平台220和网络230。环境200的设备可以通过有线连接、无线连接、或有线和无线连接的组合进行互连。
用户设备210包括一个或多个设备，该一个或多个设备能够接收、生成、存储、处理、和/或提供平台220的相关信息。例如，用户设备210可以包括计算设备(例如，台式计算机、膝上型计算机、平板计算机、手持式计算机、智能扬声器、服务器等)、移动电话(例如，智能电话、无线电话等)、可穿戴设备(例如，智能眼镜或智能手表)或类似设备。在一些实施方式中，用户设备210可以从平台220接收信息和/或向其发送信息。
平台220包括如本申请其它地方所描述的一个或多个设备，能够使用强化学习模型确定诊断信息。在一些实施方式中，平台220可以包括一个云服务器或一组云服务器。在一些实施方式中，平台220可以设计成模块化的，以便可以根据具体需要，换入或换出某些软件组件。这样，可以容易地和/或快速地为不同的用途重新配置平台220。
在一些实施方式中，如图2所示，平台220可以被托管在云计算环境222中。特别地，虽然在本申请中描述的实施方式将平台220描述为托管在云计算环境222中，但是在一些实施方式中，平台220并不是基于云的(即，可以在云计算环境外部实施)，或者可以是部分基于云的。
云计算环境222包括托管平台220的环境。云计算环境222可以提供计算、软件、数据访问、存储等服务，这些服务不需要终端用户(例如，用户设备210)知道托管平台220的系统和/或设备的物理位置和配置。如图2所示，云计算环境222可以包括一组计算资源224(统称为“计算资源224”并分别称为“计算资源224”)。
计算资源224包括一个或多个个人计算机、工作站计算机、服务器设备或其它类型的计算和/或通信设备。在一些实施方式中，计算资源224可以托管平台220。云资源可以包括：在计算资源224中执行的计算实例、在计算资源224中提供的存储设备、由计算资源224提供的数据传输设备等。在一些实施方式中，计算资源224可以通过有线连接、无线连接、或有线和无线连接的组合，与其它计算资源224通信。
如图2进一步所示，计算资源224包括一组云资源，例如，一个或多个应用程序(“APP”)224-1、一个或多个虚拟机(“VM”)224-2、虚拟化存储器(“VS”)224-3、一个或多个管理程序(Hypervisor，“HYP”)224-4等。
应用程序224-1包括一个或多个软件应用程序，该一个或多个软件应用程序可以提供给用户设备210和/或传感器设备220，或由用户设备和/或平台访问。应用程序224-1可以消除在用户设备210上安装和执行软件应用程序的需要。例如，应用程序224-1可以包括与平台220相关联的软件和/或任何其它能够经由云计算环境222提供的软件。在一些实施方式中，一个应用程序224-1可以经由虚拟机224-2向/从一个或多个其它应用程序224-1发送/接收信息。
虚拟机224-2包括执行程序的机器(例如，计算机)的软件实现，类似于物理机。虚拟机224-2可以是系统虚拟机或进程虚拟机，取决于虚拟机224-2对任何真实机器的使用和对应程度。系统虚拟机可以提供完整的系统平台，支持执行完整的操作系统(“OS”)。进程虚拟机可以执行单个程序，并且可以支持单个进程。在一些实施方式中，虚拟机224-2可以代表用户(例如，用户设备210)执行，并且可以管理云计算环境222的基础设施，例如，数据管理、同步、或长时间的数据传输。
虚拟化存储器224-3包括一个或多个存储系统和/或一个或多个设备，该一个或多个存储系统和/或一个或多个设备在计算资源224的存储系统或设备内，使用虚拟化技术。在一些实施方式中，在存储系统的上下文，虚拟化的类型可以包括块虚拟化和文件虚拟化。块虚拟化可以指，从物理存储器抽象(或分离)出逻辑存储器，使得可以在不考虑物理存储器或异类结构的情况下，访问存储系统。所述分离可以允许存储系统的管理员在管理员如何管理终端用户的存储方面，具有灵活性。文件虚拟化可以消除在文件级别存取的数据与文件的物理存储位置之间的依赖性。这样能够优化存储器的使用、服务器的整合、和/或无中断文件迁移的性能。
管理程序224-4可以提供硬件虚拟化技术，硬件虚拟化技术允许多个操作系统(例如，“客户操作系统”)同时在例如计算资源224的主计算机上执行。管理程序224-4可以给客户操作系统提供虚拟操作平台，并且可以管理客户操作系统的执行。多种操作系统的多个实例可以共享虚拟化硬件资源。
网络230包括一个或多个有线和/或无线网络。例如，网络230可以包括蜂窝网络(例如，第五代(Fifth Generation，5G)网络、长期演进(Long-term Evolution，LTE)网络、第三代(Third Generation，3G)网络、码分多址(Code Division Multiple Access，CDMA)网络等)、公共陆地移动网络(Public Land Mobile Network，PLMN)、局域网(Local AreaNetwork，LAN)、广域网(Wide Area Network，WAN)、城域网(Metropolitan Area Network，MAN)、电话网络(例如，公共交换电话网络(Public Switched Telephone Network，PSTN))、专用网络、混合网络、内网、因特网、基于光纤的网络等等，和/或这些或其它类型的网络的组合。
图2所示的设备和网络的数量和布置是作为示例提供的。实际上，与图2所示的设备和/或网络相比，可以存在额外的设备和/或网络、更少的设备和/或网络、不同的设备和/或网络、或不同布置的设备和/或网络。此外，图2所示的两个或更多个设备可以在单个设备内实施，或者图2所示的单个设备可以实施为多个分布式设备。另外或替代地，环境200的一组设备(例如，一个或多个设备)可以执行被描述为由环境200的另一组设备执行的一个或多个功能。
图3是设备300的示例组件的示意图。设备300可以对应于用户设备210和/或平台220。如图3所示，设备300可以包括总线310、处理器320、存储器330、存储组件340、输入组件350、输出组件360和通信接口370。
总线310包括允许设备300的组件之间进行通信的组件。处理器320以硬件、固件或硬件和软件的组合的方式实施。处理器320是中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)、微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、应用专用集成电路(ASIC)或另一类型的处理组件。在一些实施方式中，处理器320包括能够被编程以执行功能的一个或多个处理器。存储器330包括随机存取存储器(RAM)、只读存储器(ROM)和/或存储供处理器320使用的信息和/或指令的另一类型的动态或静态存储设备(例如，闪存、磁存储器和/或光存储器)。
存储组件340存储与设备300的操作和使用有关的信息和/或软件。例如，存储组件340可以包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘)、压缩盘(CD)、数字通用盘(DVD)、软盘、盒式磁带、磁带和/或另一类型的非易失性计算机可读存储介质，以及相应的驱动器。
输入组件350包括允许设备300例如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关和/或麦克风)接收信息的组件。另外或替代地，输入组件350可以包括用于感测信息的传感器(例如，全球定位系统(GPS)组件、加速度计、陀螺仪和/或致动器)。输出组件360包括提供设备300的输出信息的组件(例如，显示器、扬声器、和/或一个或多个发光二极管(LED))。
通信接口370包括类似于收发器的组件(例如，收发器和/或单独的接收器和发送器)，该组件使设备300能够例如通过无线连接、有线连接、或无线连接与有线连接的组合，与其他设备通信。通信接口370可以包括以太网接口、光接口、同轴接口、红外接口、射频接口、通用串行总线接口、Wi-Fi接口、蜂窝网络接口等。
设备300可以执行本申请中描述的一个或多个处理过程。设备300可以响应于处理器320执行存储器330和/或存储组件340等非易失性计算机可读存储介质存储的软件指令，执行这些处理过程。计算机可读存储介质在本申请中定义为非易失性存储器设备。存储器设备包括单个物理存储设备内的存储空间，或分布在多个物理存储设备上的存储空间。
软件指令可以经由通信接口370，从另一计算机可读存储介质或另一设备，读入存储器330和/或存储组件340。当存储在存储器330和/或存储组件340中的软件指令执行时，可以使处理器320执行本申请中所描述的一个或多个处理过程。另外或替代地，可以使用硬连线电路代替软件指令，或与软件指令组合，以执行本申请中所描述的一个或多个处理过程。因此，本申请中所描述的实施方式不限于硬件电路和软件的任何特定组合。
图3所示的组件的数量和布置是作为示例提供的。实际上，与图3所示的组件相比，设备300可以包括额外的组件、更少的组件、不同的组件、或不同布置的组件。另外或替代地，设备300的一组组件(例如，一个或多个组件)可以执行被描述为由设备300的另一组组件执行的一个或多个功能。
图4是使用强化学习模型确定诊断信息的示例过程400的流程图。在一些实施方式中，图4的一个或多个处理块可以由平台220执行。在一些实现中，图4的一个或多个处理块可以由与平台220分离或包括平台220的另一设备或一组设备来执行，例如用户设备210。
如在图4中所示，过程400可以包括：设备接收与用户相关联的医疗信息(框410)。
例如，平台220可以接收与用户相关联的医疗信息，例如，EMR数据、EHR数据、和/或其它类型的格式化医疗数据。医疗信息可以识别疾病历史、症状、治疗历史、生物信息、药物信息等等之类。所述医疗信息可以从一个自动化数据库获得，其中具有患者的历史病历和当前病历，以及其它关键信息，包括所有处方和个人过敏反应文档等。
平台220可以接收医疗信息，并使用命名实体识别(Named Entity RecognitionNER)技术、语义角色标记技术、数据挖掘技术、解析技术等等之类，识别特定信息。
如图4中进一步所示，过程400可以包括：设备基于医疗信息确定询问信息(框420)。
平台220可以基于医疗信息，确定要提供给医生、医护专业人员等的潜在问题，以便确定与最终诊断相关的附加信息。例如，所述问题可以是关于当前疾病、先前疾病、药物史、测试结果等的问题。
平台220可以确定一组潜在问题，并且确定各个潜在问题的重要性分数。例如，高度相关性或高度证明性(probative)问题可以与高重要性分数相关联，而不太相关或证明性较低的问题可以与较低的重要性分数相关联。
平台220可以使用强化学习技术，确定所述一组重要性分数。例如，平台220可以使用EMR、EHR、知识库数据、规则数据等等之类，训练强化学习模型的奖励函数。
如图4进一步所示，过程400可以包括判断询问信息是否满足阈值分数(框430)。平台220可以判断一个潜在问题所包括的重要性分数是否满足阈值分数。通过这种方式，平台220可以确定提供给医生、医护专业人员等的特定问题。
如图4进一步所示，如果询问信息不满足阈值分数(框430-否)，则过程400可以包括返回到框420。在这种情况下，平台220可以确定要提供的另一个潜在问题。
如图4进一步所示，如果询问信息满足阈值分数(框430-是)，则过程400可以包括：设备提供所述询问信息，以允许接收响应信息(框440)。
平台220可以将所述询问信息(例如问题、信息请求等)提供给另一设备或输出组件，以允许接收响应信息。
如在图4中进一步所示，过程400可以包括：设备在提供所述询问信息的基础上，接收所述响应信息(框450)。
平台220可以从另一设备(例如该设备可能已经从医生、医护专业人员等接收到输入)接收基于询问信息的响应信息。
如图4进一步示出的，过程400可以包括：设备使用机器学习模型，基于所述医疗信息和所述响应信息，确定诊断信息(框460)。
平台220可以基于医疗信息和响应信息，确定诊断信息，例如识别诊断、治疗选项、处方药物等的信息。
平台220可以使用递归神经网络(Recurrent Neural Network，RNN)技术、卷积神经网络(Convolutional Neural Network，CNN)技术、支持向量机(Support VectorMachine，SVM)等模型，确定诊断信息。
如图4进一步所示，过程400可以包括：设备通过网络将诊断信息提供给一组设备(框470)。
平台220可以通过网络实时将诊断信息提供给一组其它设备。在一些实施方式中，平台220可以提供标准化格式的诊断信息，以允许基于诊断信息，更新各种数据库和记录。
平台220可以通过网络实时将标准化格式的诊断信息提供给一组设备。平台220可以使用标准化技术，对诊断信息进行标准化，使得所述一组设备中的每一个设备可以利用标准化的诊断信息。
平台220可以收集医疗信息，并且将来自各个医师和医疗提供者的医疗信息，转换和合并为标准化格式。此外，平台220可以生成与标准化格式相关联的诊断信息。平台220可以将标准化的医疗信息和/或诊断信息存储在一组基于网络的存储设备(例如，平台220)中，并且每当生成、更新医疗信息和/或诊断信息时，生成用于通知卫生保健提供者、医生、医护人员、患者等的消息。
此外，平台220可以实时(例如，与生成诊断信息基本上同时)将诊断信息提供给所述一组设备，以允许所述一组设备实时更新和/或利用诊断信息。通过这种方式，所述一组设备的各个用户可以立即访问最新的诊断信息。
通过这种方式，与关联于不同医疗提供者的非标准化医疗信息相比，本申请中的一些实施方式允许实时生成标准化医疗信息和/或诊断信息，并提供给多个不同的设备，从而允许不同的用户共享医疗信息和/或诊断信息。
此外，通过这种方式，在本申请中的一些实现允许实时提供完整和准确的医疗信息和/或诊断信息。与多个不同的医护人员具有不完整或不准确的医疗或诊断信息的情况相比，本申请的一些实施方式允许在医疗人员之间传播和容易地共享完整和准确的医疗和诊断信息。
虽然图4示出了过程400的示例块，但是在一些实施方式中，过程400可以包括额外的块、更少的块、不同的块或与图4中所示的块的布置不同的块。另外或替代地，过程400的两个或两个以上块可以并行执行。
本申请实施例还提供了一种基于强化学习的临床决策支持设备，如图5a所示，所述设备包括：第一接收模块510，用于接收与用户相关联的医疗信息；第一确定模块520，用于用于基于所述与用户相关联的医疗信息和强化学习模型，确定询问信息；第一提供模块530，用于提供所述询问信息，以允许接收响应信息；第二接收模块540，用于在提供所述询问信息的基础上，接收所述响应信息；第二确定模块550，用于使用机器学习模型，基于所述医疗信息和所述响应信息，确定诊断信息；以及第二提供模块560，用于通过网络实时将标准化格式的诊断信息提供给一组设备。
如图5b所示，所述设备可以进一步包括：执行模块570，用于使用所述医疗信息执行命名实体识别技术；在此情况下，所述第二确定模块550用于基于执行所述命名实体识别技术，确定所述诊断信息。所述执行模块570，还可以用于使用所述医疗信息执行语义角色标记技术；在这种情况下，所述第二确定模块550用于基于所述语义角色标记技术，确定所述诊断信息。
所述设备进一步包括：第三确定模块580，用于：基于所述医疗信息，确定一组潜在询问；确定与所述一组潜在询问相关联的各个分数；从所述一组潜在询问中确定出具有最高分数的询问；在这种情况下，所述第一确定模块520用于基于所述具有最高分数的询问，确定所述询问信息。
所述设备进一步包括：训练模块，用于使用电子病历EMR数据和电子健康记录EHR数据中的至少一种数据，训练所述强化学习模型。特别是，所述训练模块用于使用所述EMR数据和所述EHR数据中的至少一种数据，训练所述强化学习模型的奖励函数。
所述第二确定模块550确定所述诊断信息包括：使用递归神经网络、卷积神经网络、支持向量机中的至少一个，确定所述诊断信息。
关于上述设备实施例的描述可以参考前文的方法实施例。
本申请实施例还提供了一种基于强化学习的临床决策支持设备，其包括：至少一个存储器，用于存储程序代码；以及至少一个处理器，用于读取所述程序代码，并按照所述程序代码的指示进行操作，所述程序代码包括：第一接收代码，用于使所述至少一个处理器接收与用户相关联的医疗信息；第一确定代码，用于使所述至少一个处理器基于所述与用户相关联的医疗信息和强化学习模型，确定询问信息；提供代码，用于使所述至少一个处理器提供所述询问信息，以允许接收响应信息；第二接收代码，用于使所述至少一个处理器在提供所述询问信息的基础上，接收所述响应信息；第二确定代码，用于使所述至少一个处理器使用机器学习模型，基于所述医疗信息和所述响应信息，确定诊断信息；以及提供代码，用于使所述至少一个处理器通过网络实时将标准化格式的诊断信息提供给一组设备。
所述设备可以进一步包括：执行代码，用于使所述至少一个处理器使用所述医疗信息执行命名实体识别技术；其中，所述第二确定代码用于使所述至少一个处理器基于执行所述命名实体识别技术，确定所述诊断信息。
所述的设备可以进一步包括：执行代码，用于使所述至少一个处理器使用所述医疗信息执行语义角色标记技术；其中，所述第二确定代码用于使所述至少一个处理器基于所述语义角色标记技术，确定所述诊断信息。
所述设备可以进一步包括：第三确定代码，用于使所述至少一个处理器：
基于所述医疗信息，确定一组潜在询问；确定与所述一组潜在询问相关联的各个分数；从所述一组潜在询问中确定出具有最高分数的询问；其中，所述第一确定代码用于使所述至少一个处理器基于所述具有最高分数的询问，确定所述询问信息。
所述设备可以进一步包括：训练代码，用于使所述至少一个处理器使用电子病历EMR数据和电子健康记录EHR数据中的至少一种数据，训练所述强化学习模型。
所述的设备可以进一步包括：训练代码，用于使所述至少一个处理器使用所述EMR数据和所述EHR数据中的至少一种数据，训练所述强化学习模型的奖励函数。
所述第二确定代码用于使所述至少一个处理器确定所述诊断信息包括：使用递归神经网络、卷积神经网络、支持向量机中的至少一个，确定所述诊断信息。
前面的说明书提供了阐述和描述，但并不旨在穷举或将实施方式限制为所公开的精确形式。根据上述说明书，修改和变化是可能的，或者是可以从实践实施方式中获得。
如本申请中所使用的，术语“组件”旨在广义地解释为硬件、固件、或硬件和软件的组合。
很明显，本申请中描述的系统和/或方法可以以硬件、固件、或硬件和软件的组合的不同形式实施。用于实施这些系统和/或方法的实际专用控制硬件或软件代码并不限制实施方式。因此，在本申请中描述了系统和/或方法的操作和性能，而没有参考具体的软件代码—应理解，可以基于本申请中的描述，将软件和硬件设计为实施所述系统和/或方法。
即使权利要求中记载了特征的组合和/或在说明书中公开了特征的组合，这些组合也不旨在限制对可能的实施方式的公开。实际上，这些特征中的许多特征，可以以没有在权利要求中具体记载的方式和/或在说明书中公开的方式组合。虽然每个从属权利要求可以直接仅从属于一个权利要求，但是可能的实施方式的公开包括权利要求集中的每个从属权利要求与每个其它权利要求的组合。
本申请中使用的元件、动作、或指令，不应解释为关键的或必须的，除非明确说明。此外，如本申请中所使用，冠词“一个(a)”和“一个(an)”旨在包括一个或多个项目，并且可以与“一个或多个”互换使用。此外，如本申请中所使用，术语“集(set)”旨在包括一个或多个项(例如，相关项、不相关项、相关项和不相关项的组合等)，并且可以与“一个或多个”互换使用。在仅意指一个项的情况下，使用术语“一个(one)”或类似语言。此外，如本申请中所使用，术语“具有(has)”、“具有(have)”、“具有(having)”等旨在为开放式术语。此外，短语“基于”旨在表示“至少部分地基于”，除非另有明确说明。

Claims (15)

1.一种基于强化学习的临床决策支持方法，其特征在于，其包括：
接收与用户相关联的医疗信息；
基于所述与用户相关联的医疗信息和强化学习模型，确定询问信息；
提供所述询问信息，以允许接收响应信息；
在提供所述询问信息的基础上，接收所述响应信息；
使用机器学习模型，基于所述医疗信息和所述响应信息，确定诊断信息；以及
通过网络实时将标准化格式的诊断信息提供给一组设备。
2.根据权利要求1所述的方法，其特征在于，其进一步包括：
使用所述医疗信息执行命名实体识别技术；
其中，确定所述诊断信息包括：基于所述命名实体识别技术，确定所述诊断信息。
3.根据权利要求1所述的方法，其特征在于，其进一步包括：
使用所述医疗信息执行语义角色标注技术；
其中，确定所述诊断信息包括：基于所述语义角色标记技术，确定所述诊断信息。
4.根据权利要求1所述的方法，其特征在于，其进一步包括：
基于所述医疗信息，确定一组潜在询问；
确定与所述一组潜在询问相关联的各个分数；
从所述一组潜在询问中确定出具有最高分数的询问；
其中，确定所述询问信息包括：基于所述具有最高分数的询问，确定所述询问信息。
5.根据权利要求1至4任一项权利要求所述的方法，其特征在于，其进一步包括：
使用电子病历EMR数据和电子健康记录EHR数据中的至少一种数据，训练所述强化学习模型。
6.根据权利要求5所述的方法，其特征在于，其进一步包括：
使用所述EMR数据和所述EHR数据中的至少一种数据，训练所述强化学习模型的奖励函数。
7.根据权利要求1至6任一项权利要求所述的方法，其特征在于，确定所述诊断信息包括：使用递归神经网络、卷积神经网络、支持向量机中的至少一个，确定所述诊断信息。
8.一种基于强化学习的临床决策支持设备，其特征在于，其包括：
第一接收模块，用于接收与用户相关联的医疗信息；
第一确定模块，用于用于基于所述与用户相关联的医疗信息和强化学习模型，确定询问信息；
第一提供模块，用于提供所述询问信息，以允许接收响应信息；
第二接收模块，用于在提供所述询问信息的基础上，接收所述响应信息；
第二确定模块，用于使用机器学习模型，基于所述医疗信息和所述响应信息，确定诊断信息；以及
第二提供模块，用于通过网络实时将标准化格式的诊断信息提供给一组设备。
9.根据权利要求8所述的设备，其特征在于，其进一步包括：
执行模块，用于使用所述医疗信息执行命名实体识别技术；
其中，所述第二确定模块用于基于执行所述命名实体识别技术，确定所述诊断信息。
10.根据权利要求8所述的设备，其特征在于，其进一步包括：
执行模块，用于使用所述医疗信息执行语义角色标记技术；
其中，所述第二确定模块用于基于所述语义角色标记技术，确定所述诊断信息。
11.根据权利要求8所述的设备，其特征在于，其进一步包括：
第三确定模块，用于：
基于所述医疗信息，确定一组潜在询问；
确定与所述一组潜在询问相关联的各个分数；
从所述一组潜在询问中确定出具有最高分数的询问；
其中，所述第一确定模块用于基于所述具有最高分数的询问，确定所述询问信息。
12.根据权利要求8至11任一项权利要求所述的设备，其特征在于，其进一步包括：
训练模块，用于使用电子病历EMR数据和电子健康记录EHR数据中的至少一种数据，训练所述强化学习模型。
13.根据权利要求12所述的设备，其特征在于，其进一步包括：
训练模块，用于使用所述EMR数据和所述EHR数据中的至少一种数据，训练所述强化学习模型的奖励函数。
14.根据权利要求8至13任一项权利要求所述的设备，其特征在于，所述第二确定模块用于确定所述诊断信息包括：使用递归神经网络、卷积神经网络、支持向量机中的至少一个，确定所述诊断信息。
15.一种非易失性计算机可读存储介质，存储有指令，其特征在于，所述指令包括：一个或多个指令，当所述一个或多个指令由设备的一个或多个处理器执行时，使所述一个或多个处理器执行权利要求1至7任一项所述的方法。
CN202010200146.6A 2019-05-10 2020-03-20 基于强化学习的临床决策支持设备及方法 Pending CN111916202A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/409,293 2019-05-10
US16/409,293 US11763944B2 (en) 2019-05-10 2019-05-10 System and method for clinical decision support system with inquiry based on reinforcement learning

Publications (1)

Publication Number Publication Date
CN111916202A true CN111916202A (zh) 2020-11-10

Family

ID=73046469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010200146.6A Pending CN111916202A (zh) 2019-05-10 2020-03-20 基于强化学习的临床决策支持设备及方法

Country Status (2)

Country Link
US (1) US11763944B2 (zh)
CN (1) CN111916202A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11552785B2 (en) * 2020-04-02 2023-01-10 Epidaurus Health, Inc. Methods and systems for a synchronized distributed data structure for federated machine learning
DE102020212411A1 (de) * 2020-09-30 2022-03-31 Siemens Healthcare Gmbh System und Verfahren zur Verarbeitung medizinischer Daten

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5660176A (en) * 1993-12-29 1997-08-26 First Opinion Corporation Computerized medical diagnostic and treatment advice system
WO2012122196A2 (en) * 2011-03-08 2012-09-13 International Business Machines Corporation A decision-support application and system for medical differential-diagnosis and treatment using a question-answering system
JP2018014059A (ja) * 2016-07-22 2018-01-25 株式会社トプコン 医療情報処理システム及び医療情報処理方法
US20180218126A1 (en) * 2017-01-31 2018-08-02 Pager, Inc. Determining Patient Symptoms and Medical Recommendations Based on Medical Information
US10847265B2 (en) * 2018-04-06 2020-11-24 Curai, Inc. Systems and methods for responding to healthcare inquiries
US20190311807A1 (en) * 2018-04-06 2019-10-10 Curai, Inc. Systems and methods for responding to healthcare inquiries
EP3811245A4 (en) * 2018-06-19 2022-03-09 Ellipsis Health, Inc. MENTAL HEALTH ASSESSMENT SYSTEMS AND METHODS
CN108932349B (zh) * 2018-08-17 2019-03-26 齐鲁工业大学 医疗自动问答方法及装置、存储介质、电子设备
EP3857409A4 (en) * 2018-09-26 2021-11-17 Leverton Holding LLC NAMED ENTITY RECOGNITION WITH CONVOLUTIVE NETWORKS
US11468998B2 (en) * 2018-10-09 2022-10-11 Radect Inc. Methods and systems for software clinical guidance
US10395772B1 (en) * 2018-10-17 2019-08-27 Tempus Labs Mobile supplementation, extraction, and analysis of health records

Also Published As

Publication number Publication date
US11763944B2 (en) 2023-09-19
US20200357515A1 (en) 2020-11-12

Similar Documents

Publication Publication Date Title
US11163763B2 (en) Decision-support application and system for medical differential-diagnosis and treatment using a question-answering system
US11200968B2 (en) Verifying medical conditions of patients in electronic medical records
CN110459320B (zh) 一种基于知识图谱的辅助诊疗系统
US11881293B2 (en) Methods for automatic cohort selection in epidemiologic studies and clinical trials
CA2843403C (en) A decision-support application and system for medical differential-diagnosis and treatment using a question-answering system
US11244761B2 (en) Accelerated clinical biomarker prediction (ACBP) platform
AU2019203992A1 (en) Data platform for automated data extraction, transformation, and/or loading
Ling et al. GEMINI: An integrative healthcare analytics system
CN111382275A (zh) 医疗知识图谱的构建方法、装置、介质及电子设备
US20240053307A1 (en) Identifying Repetitive Portions of Clinical Notes and Generating Summaries Pertinent to Treatment of a Patient Based on the Identified Repetitive Portions
Prados-Suárez et al. Improving electronic health records retrieval using contexts
CN112970070A (zh) 用于健康护理提供者辅助系统的方法和系统
US20130297340A1 (en) Learning and optimizing care protocols
CN111916202A (zh) 基于强化学习的临床决策支持设备及方法
Sharma et al. Artificial intelligence and machine learning for healthcare solutions
Miller et al. Natural language processing of radiology reports to detect complications of ischemic stroke
CN114579626A (zh) 数据处理方法、数据处理装置、电子设备和介质
US11942226B2 (en) Providing clinical practical guidelines
US10886030B2 (en) Presenting contextually relevant patient data in relation to other patients to a medical professional
Tokatlı et al. Digital health navigator: Preliminary work on a personal health assistant software for all health literacy level users in turkey
Qiu et al. Estimating disease burden using Google Trends and Wikipedia data
WO2018193051A1 (en) Summarization of clinical documents with end points thereof
Zeru Transformative Role of AI in Medicine
Olasupo et al. Application of Artificial Intelligence in Medical Diagnosis of Diabetes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination