CN110838363A - 控制方法以及医学系统 - Google Patents

Abstract

本公开涉及控制方法以及医学系统。用以控制医学系统的一种方法包含下列步骤。接收初始症状。利用神经网络模型以选择症状询问行动。接收针对症状询问行动的症状答复。利用神经网络模型根据初始症状及症状答复选择医疗检测行动。接收针对医疗检测行动的检测结果。利用神经网络模型根据初始症状及症状答复以及检测结果选出结果预测行动。

Description

控制方法以及医学系统

技术领域

本公开涉及机器学习方法，更进一步而言，本公开涉及用于医学系统的强化学习方法。

背景技术

近年来已经出现了电脑辅助医学系统的概念以便于患者自我诊断。电脑辅助医学系统可请求患者提供一些信息，并随后基于与患者的互动来尝试诊断潜在疾病。

发明内容

本公开文件提供控制一医学系统的一种方法，该控制方法包含：接收一初始症状；利用一神经网络模型以选择至少一症状询问行动；接收针对该至少一症状询问行动的至少一症状答复；利用该神经网络模型根据该初始症状及该至少一症状答复由多个候选检测行动中选择至少一医疗检测行动；接收针对该至少一医疗检测行动的至少一检测结果；利用该神经网络模型根据该初始症状及该至少一症状答复以及该至少一检测结果由多个候选预测行动中选出一结果预测行动。

于部分实施例中，该控制方法包含：取得一训练数据，该训练数据包含多个病历，该些病历每一者包含一确诊疾病以及用来诊断该确诊疾病的多个医疗检测结果；利用该神经网络模型根据该训练数据，由该些候选检测行动中选择该至少一医疗检测行动，并由该些候选预测行动中选出该结果预测行动；根据该至少一医疗检测行动提供一检测成本惩罚；相对应于该至少一医疗检测行动根据该训练数据当中的该些医疗检测结果，提供一检测结果异常奖励；根据该结果预测行动与该些病历中的该确诊疾病的比较结果，提供一预测奖励；以及训练该神经网络模型以最大化一累积奖励，该累积奖励与该检测结果异常奖励、该预测奖励及该检测成本惩罚有关。

于部分实施例中，该些病历每一者还包含与该确诊疾病有关的多个确诊症状，该神经网络模型还用以在该医疗检测行动及该结果预测行动之前挑选出多个症状询问行动。

于部分实施例中，该控制方法还包含：决定一第一输入状态其包含针对该些症状询问行动的多个症状询问答复，其中该些症状询问答复是根据该训练数据中该些病历的该些确诊症状而决定；以及根据该第一输入状态选择该至少一医疗检测行动。

于部分实施例中，控制方法还包含：决定一第二输入状态其包含针对该些症状询问行动的该些症状询问答复以及针对该至少一医疗检测行动的至少一医疗检测答复；以及根据该第二输入状态选择该结果预测行动。

于部分实施例中，根据该第一输入状态由该些候选检测行动当中同时选择多个医疗检测行动所形成的一种组合。

于部分实施例中，控制方法还包含：由该神经网络模型根据该第一输入状态产生该些候选检测行动的多个机率(几率、概率)值与多个机率补数；根据该些机率值以及该些机率补数，决定由该些候选检测行动所能形成的所有组合各自的多个权重；以及参考该些权重，由该些候选检测行动所能形成的所有组合当中，挑选出该些医疗检测行动所形成的该种组合。

于部分实施例中，该神经网络模型包含一共同神经网络部分、一第一分支神经网络部分、一第二分支神经网络部分以及一第三分支神经网络部分，该第一分支神经网络部分、该第二分支神经网络部分以及该第三分支神经网络部分分别连接至该共同神经网络部分，该第一分支神经网络产生的一第一结果状态用以选择该些症状询问行动，该第二分支神经网络产生的一第二结果状态用以选择该至少一医疗检测行动，该第三分支神经网络产生的一第三结果状态用以选择该结果预测行动。

于部分实施例中，该第一分支神经网络部分以及该第三分支神经网络部分采用第一激励函数(函式)，该第二分支神经网络部分采用第二激励函数相异于第一激励函数。

于部分实施例中，该第一激励函数为Softmax函数，该第二激励函数为Sigmoid函数。

于部分实施例中，控制方法还包含：提供一标签引导探索概率；当一随机参数符合该标签引导探索概率时，将该些病历中的该确诊疾病提供给该神经网络模型作为该结果预测行动，以引导该神经网络模型；以及当该随机参数不符合该标签引导探索概率时，根据该神经网络模型由该些候选预测行动中挑选该结果预测行动。

于部分实施例中，该结果预测行动包含一疾病预测行动与对应该疾病预测行动的一医疗部门推荐行动两者至少其一。

本公开文件提供一种医学系统，包含互动系统、决策智能体以及神经网络模型。互动系统用以接收一初始症状。决策智能体与该互动系统互动。神经网络模型该决策智能体利用该神经网络模型根据该初始症状选择至少一症状询问行动。该互动系统接收针对该至少一症状询问行动的至少一症状答复，该决策智能体利用该神经网络模型根据该初始症状及该至少一症状答复由多个候选检测行动中选择至少一医疗检测行动，该互动系统接收针对该至少一医疗检测行动的至少一检测结果，该决策智能体利用该神经网络模型根据该初始症状及该至少一症状答复以及该至少一检测结果由多个候选预测行动中选出一结果预测行动。

于部分实施例中，医学系统还包含一强化学习智能体，与该互动系统互动，其中该强化学习智能体根据一训练数据训练该神经网络模型，该训练数据包含多个病历，该些病历每一者包含一确诊疾病以及用来诊断该确诊疾病的多个医疗检测结果，其中该强化学习智能体利用该神经网络模型根据该训练数据，由该些候选检测行动中选择该至少一医疗检测行动，并由该些候选预测行动中选出该结果预测行动，该互动系统根据该至少一医疗检测行动提供一检测成本惩罚，该互动系统相对应于该至少一医疗检测行动根据该训练数据当中的该些医疗检测结果提供一检测结果异常奖励，该互动系统根据该结果预测行动与该些病历中的该确诊疾病的比较结果提供一预测奖励，该强化学习智能体训练该神经网络模型以最大化一累积奖励，该累积奖励与该检测结果异常奖励、该预测奖励及该检测成本惩罚有关。

于部分实施例中，该些病历每一者还包含与该确诊疾病有关的多个确诊症状，该神经网络模型还用以在该医疗检测行动及该结果预测行动之前挑选出多个症状询问行动，该互动系统决定一第一输入状态其包含针对该些症状询问行动的多个症状询问答复，其中该些症状询问答复是根据该训练数据中该些病历的该些确诊症状而决定，该强化学习智能体根据该第一输入状态选择该至少一医疗检测行动，该互动系统决定一第二输入状态其包含针对该些症状询问行动的该些症状询问答复以及针对该至少一医疗检测行动的至少一医疗检测答复，该强化学习智能体根据该第二输入状态选择该结果预测行动。

于部分实施例中，根据该第一输入状态由该些候选检测行动当中同时选择多个医疗检测行动所形成的一种组合。

于部分实施例中，该强化学习智能体利用该神经网络模型根据该第一输入状态产生该些候选检测行动的多个机率值与多个机率补数，该强化学习智能体根据该些机率值以及该些机率补数决定由该些候选检测行动所能形成的所有组合各自的多个权重，该强化学习智能体参考该些权重由该些候选检测行动所能形成的所有组合当中，挑选出该些医疗检测行动所形成的该种组合。

于部分实施例中，该神经网络模型包含一共同神经网络部分、一第一分支神经网络部分、一第二分支神经网络部分以及一第三分支神经网络部分，该第一分支神经网络部分、该第二分支神经网络部分以及该第三分支神经网络部分分别连接至该共同神经网络部分，该第一分支神经网络产生的一第一结果状态用以选择该些症状询问行动，该第二分支神经网络产生的一第二结果状态用以选择该至少一医疗检测行动，该第三分支神经网络产生的一第三结果状态用以选择该结果预测行动。

于部分实施例中，其中该第一分支神经网络部分以及该第三分支神经网络部分采用第一激励函数，该第二分支神经网络部分采用第二激励函数相异于第一激励函数。

于部分实施例中，该互动系统提供一标签引导探索概率，当一随机参数符合该标签引导探索概率时，该互动系统将该些病历中的该确诊疾病提供给该神经网络模型作为该结果预测行动，以引导该神经网络模型；以及当该随机参数不符合该标签引导探索概率时，该强化学习智能体根据该神经网络模型由该些候选预测行动中挑选该结果预测行动。

部分实施例中，本公开文件提供的医学系统及控制方法，能够根据使用者提供的信息(例如使用者的初始症状以及针对症状询问行动的症状答复)选择特定的医疗检测行动，以推荐使用者采取进一步的医疗检测，并且根据医疗检测行动的医疗检测结果或医疗检测答复，产生最终的疾病预测或是医疗部门建议，如此一来，可以提高产生结果预测行动的准确率。

并且，在训练阶段提供检测结果异常奖励以鼓励强化学习智能体去选择医疗检测行动当中潜在检测结果较有机会为异常的医疗检测，借此提高提出关键性医疗检测的可能性，以提高医学系统推荐医疗检测行动的效率以及有助于提高疾病预测的正确性。

须说明的是，上述说明以及后续详细描述是以实施例方式例示性说明本公开，并用以辅助本公开所请求的发明内容的解释与理解。

附图说明

为让本公开内容的上述和其他目的、特征、优点与实施例能更明显易懂，说明书附图的说明如下：

图1示出根据本公开的一实施例中医学系统100的示意图；

图2A示出本公开文件一些实施例中关于图1的医学系统如何训练的神经网络模型的控制方法的方法流程图；

图2B示出于部分实施例中图2A中操作当中的进一步操作的方法流程图；

图2C示出于部分实施例中图2A中操作当中的进一步操作的方法流程图；

图3示出本公开文件一些实施例中训练数据的其中一笔病历的示意图；

图4示出根据本公开文件一些实施例中神经网络模型的架构示意图；

图5A至图5E示出于一些实施例中在不同阶段当中输入状态、更新状态以及控制方法所决定的行动的示意图；

图6A示出一示范举例中对应不同的医疗检测行动各自的机率值及机率补数的示意图；

图6B示出一示范举例中对应多个医疗检测行动所形成的多种组合的示意图；以及

图7示出在神经网络模型完成训练后医学系统的示意图。

附图标记说明：

为让本公开内容的上述和其他目的、特征、优点与实施例能更明显易懂，附图标记说明如下：

100、500 医学系统

120、520 互动系统

140、540 强化学习智能体

560 决策智能体

200 控制方法

S210～S270 操作

ST0～STt 状态

ACT0～ACTt 行动

TD 训练数据

SQA 症状询问行动

SQ1～SQ9 候选行动

DPA 疾病预测行动

DP1～DP5 候选行动

TDS 确诊症状数据

S1～S9 症状

TDC 脉络数据

DS 症状数据位元群组

DS1～DS9 症状数据位元

DC 脉络数据位元群组

DC1～DC3 脉络数据位元

CA 候选行动

NNL1～NNL6b 神经网络层

T1～T6 中间张量

RST1 第一结果状态

RST2 第二结果状态

RST3 第三结果状态

RST4 第四结果状态

COM 共同神经网络部分

B1 第一分支神经网络部分

B2 第二分支神经网络部分

B3 第三分支神经网络部分

B4 第四分支神经网络部分

U1 使用者

Sini 初始症状

Sqry 症状询问

Sans 症状答复

Smed 医疗检测行动

Smedr 医疗检测结果

具体实施方式

以下公开提供许多不同实施例或例证用以实施本公开文件的不同特征。特殊例证中的元件及配置在以下讨论中被用来简化本公开。所讨论的任何例证只用来作解说的用途，并不会以任何方式限制本公开文件或其例证的范围和意义。在适当的情况下，在图示之间及相应文字说明中采用相同的标号以代表相同或是相似的元件。

参考图1，其示出根据本公开的一实施例中医学系统100的示意图。如图1所示，医学系统100包括互动系统120以及强化学习智能体140。互动系统120与强化学习智能体140彼此互动以训练神经网络模型NNM。换句话说，图1中的医学系统100是处于训练神经网络模型NNM的训练阶段。强化学习智能体140用以选择多个序列行动，上述序列行动使得互动系统120由一状态进入另一状态。强化学习智能体140训练神经网络模型NNM时是参照强化学习智能体140与互动系统120之间的互动并且根据训练数据TD而进行。

于部分实施例中，互动系统120及强化学习智能体140可以通过处理器、中央处理单元或是运算电路加以实现。在医学系统100的训练阶段中，强化学习智能体140可以训练用来挑选多个序列行动的神经网络模型NNM(例如调整神经网络模型NNM当中节点或者互连线路之间的权重或参数)。互动系统120可以作为上述强化学习智能体140所进行的训练流程的监督者，举例来说，互动系统120可以评估强化学习智能体140所挑选的序列行动，并且给予强化学习智能体140相应上述序列行动的奖励。于一些实施例中，强化学习智能体140训练神经网络模型NNM的目标在于，将强化学习智能体140由互动系统120所收集到的奖励最大化。

强化学习智能体140利用神经网络模型NNM由一系列的多个候选行动当中挑选出多个序列行动。强化学习智能体140所挑选出的多个序列行动包含数个症状询问行动、一或多个医疗检测行动(适合用来提供预测或诊断疾病的额外信息)以及在上述数个症状询问行动之后的一个结果预测行动。

于一些实施例中，结果预测行动包含疾病预测行动。于另一些实施例中，结果预测行动包含对应疾病预测行动的医疗部门建议行动。于再一些实施例中，结果预测行动包含疾病预测行动以及对应疾病预测行动的医疗部门建议行动。在下列示范性的举例当中，强化学习智能体140所选择的结果预测行动包含疾病预测行动。然而本公开文件并不以此为限。

当强化学习智能体140选择了适当的序列行动(例如适当的症状询问行动、适当的医疗检测行动或是正确的疾病预测行动)，互动系统120将提供相对应的奖励给强化学习智能体140。于一些实施例中，强化学习智能体140训练神经网络模型NNM的目标在于将强化学习智能体140对应各个序列行动所收集到的累积奖励的总值最大化，于一些实施例中，累积奖励可以通过症状异常奖励、检测结果异常奖励、检测成本惩罚以及正/负预测奖励等上述加总的总和进行计算。如此一来，神经网络模型NNM将会被训练为尽可能地选择适当的症状询问行动、建议适当的医疗检测行动以及正确的疾病预测行动。

请一并参阅图2A，其示出本公开文件一些实施例中关于图1的医学系统100如何训练的神经网络模型NNM的控制方法200的方法流程图。

如图1及图2A所示，控制方法200的操作S210，由互动系统120执行，以取得与互动系统120有关的训练数据TD。于一些实施例中，训练数据TD包含多个已确认的病历。训练数据TD利用训练数据TD中上述已确认的病历来训练神经网络模型NNM。于一例子中，训练数据TD可以是由美国疾病管制与预防中心(Centers for Disease Control and Prevention)所取得的数据与相关信息，上述美国疾病管制与预防中心的网址为https://www.cdc.gov/datastatistics/index.html。

请一并参阅图3，其示出本公开文件一些实施例中训练数据TD的其中一笔病历MR1的示意图。于图3所示的实施例中，训练数据TD当中的一笔病历MR1是有关于具有一种确诊疾病(图示中未示出)的一个病患。病历MR1包含确诊症状数据TDS、医疗检测数据TDT以及脉络数据TDC。医疗检测数据TDT则记载为了诊断上述确诊疾病在病患身上进行的医疗检测的检测结果。

在确诊症状数据TDS当中的数据位元「1」代表病历MR1当中所提到的病患遭遇到对应的确诊症状(例如，咳嗽、头痛、胸痛或晕眩)。在确诊症状数据TDS当中的数据位元「0」代表病历MR1当中所提到的病患并未遭遇到对应的确诊症状。如图3所示，确诊症状S1、S6、S8有发生在此病患身上，而其他症状S2-S5、S7及S9则没有发生在此病患身上。

在医疗检测数据TDT当中的数据位元「-1」代表病历MR1当中所提到的病患身上曾经进行的特定医疗检测(例如，血压检测、胸部X光检查、腹部超音波检查或血液透析检查)，并且此特定医疗检测的结果为正常。在医疗检测数据TDT当中的数据位元「2」或「3」代表病历MR1当中所提到的病患身上曾经进行的特定医疗检测(例如，血压检测、胸部X光检查、腹部超音波检查或血液透析检查)，并且此特定医疗检测的结果为异常，例如其中一个检查的结果参数高于/低于标准范围，或是X光检查结果出现不正常的阴影。如图3所示的实施例中，三种医疗检测MT1、MT2及MT5的医疗检测结果为正常，而两种医疗检测MT3及MT4的医疗检测结果则为异常。

如图3所示，病历MR1记载了确诊疾病、与此确诊疾病有关的多个确诊症状S1、S6及S8、以及用来诊断此确诊疾病所进行的医疗检测MT1-MT5的医疗检测结果之间的关系。此例子中，病历MR1记载了患有确诊疾病的病患以及当病患患有确诊疾病时发生在病患身上相对应的多个症状(即确诊症状S1、S6及S8)。当另一份病历(图中未示出)当中的另一位病患具有另一个疾病时，病患将可能具有相对应于另一个疾病的多个不同症状。即使当两个病患患有相同的疾病时，两个病患各自遇到的症状也不一定完全相同。

需要特别注意的是，图3中所示出的病历MR1具有九种可能的确诊症状S1-S9与五种可能的医疗检测MT1-MT5之间的交互关系仅仅是作为一种示范性举例。然而，本公开文件并不以此为限。于一些实施例中，训练数据TD当中的多个病历可以具有200至500个可能的确诊症状以及10至50种可能的医疗检测对应到200至500个可能的确诊疾病。病历MR1仅示出一小部分的可能的确诊症状S1-S9以及一小部分的可能的医疗检测MT1-MT5以利简短说明。

图3中的病历MR1显示患有确诊疾病的病患具有确诊症状S1、S6及S8(而未具有症状S2-S5、S7及S9)并且进行其中两种医疗检测MT3及MT4的医疗检测结果为异常(在另外三种医疗检测MT1、MT2及MT5的医疗检测结果则为正常)。在训练数据TD当中，当另一病患具有不同的确诊疾病，此另一病患可能具有不同的确诊症状以及具有不同的医疗检测结果，相应地另一病患的病历当中的数据位元将会随之不同。

于图3所示的一些实施例中，病历MR1可以进一步具备病患的脉络数据(contextinformation)TDC，脉络数据TDC可以表示病患的性别、年龄、血压、心理状态、婚姻状态、DNA序列表或其他有关病患的相关信息。于一些实施例中，病历MR1中的脉络数据TDC也同时被用来训练神经网络模型NNM。

需注意的是，图3示出的是来训练神经网络模型NNM的训练数据TD当中的其中一笔病历MR1。实际应用中，训练数据TD可以包含100笔病历至1000000笔病历。操作S230-S270当中的训练流程将会针对训练数据TD当中的每一笔病历多次重复进行以最佳化神经网络模型NNM的训练结果。

如图1及图2A所示，控制方法200的操作S230，由互动系统120及强化学习智能体140执行，使用神经网络模型NNM挑选多个症状询问行动、至少一医疗检测行动以及一结果预测行动。

如图1及图2A所示，基于操作S230所选择的上述行动(包含多个症状询问行动、至少一医疗检测行动以及一结果预测行动)，互动系统120将执行控制方法200的操作S250，以提供相应的累积奖励(如症状异常奖励、检测结果异常奖励、检测成本惩罚以及正/负预测奖励等上述加总的总和)给强化学习智能体140，累积奖励对应于强化学习智能体140在操作S230所选择的各种行动。

如图1及图2A所示，由强化学习智能体140执行控制方法200的操作S270，参考累积奖励以进行神经网络模型NNM的训练。其中，累积奖励是由强化学习智能体140基于神经网络模型NNM选择的各种行动时所收集到的奖励总数所决定。在操作S270中，神经网络模型NNM被训练为尽可能地最大化累积奖励，而累积奖励是参照检测结果异常奖励、预测奖励以及检测成本惩罚而决定的。

当操作S270完成时，对应病历MR1的一次训练流程便可结束。控制方法200将回到操作S230针对训练数据TD当中另一笔病历(图示中未示出)开始另一次的训练流程。当神经网络模型NNM反复经过训练数据TD当中多笔病历的多次训练流程之后，便能够使神经网络模型NNM在选择症状询问行动、医疗检测行动以及结果预测行动的效果最佳化。

请一并参阅图2B，其示出于部分实施例中图2A中操作S230当中的进一步操作S231-S246的方法流程图。

如图2B所示，由医学系统100执行操作S231，判断控制方法200所处的当前阶段，其中控制方法200所处的当前阶段有关于神经网络模型NNM如何挑选当前行动。于此实施例中，共有三种不同的阶段，分别是症状询问阶段eSYM、医疗检测建议阶段eMED以及结果预测阶段eDIS。起始状态下，控制方法200将进入症状询问阶段eSYM。之后，控制方法200将可能切换进入医疗检测建议阶段eMED(由症状询问阶段eSYM的操作S235)，或者切换进入结果预测阶段eDIS(由症状询问阶段eSYM的操作S236或是医疗检测建议阶段eMED的操作S244)。

请一并参阅图4，其示出根据本公开文件一些实施例中神经网络模型NNM的架构示意图。如图4所示，强化学习智能体140在挑选当前行动时所使用的神经网络模型NNM包含共同神经网络部分COM、第一分支神经网络部分B1、第二分支神经网络部分B2、第三分支神经网络部分B3以及第四分支神经网络部分B4。在控制方法200处在症状询问阶段eSYM中，是利用第一分支神经网络部分B1来挑选当前行动。在控制方法200处在医疗检测建议阶段eMED中，是利用第二分支神经网络部分B2来挑选当前行动。在控制方法200处在结果预测阶段eDIS中，是利用第三分支神经网络部分B3来挑选当前行动。

如图4所示，共同神经网络部分COM包含神经网络层NNL1以及另一神经网络层NNL2。神经网络层NNL1用以转换输入状态ST0-STt至一个中间张量(intermediate tensor)T1，神经网络层NNL2用以将中间张量T1转换为另一个中间张量T2。于一实施例中，神经网络层NNL1以及神经网络层NNL2可以是全连接层(fully-connection layer)或是卷积运算层(convolution filter layer)。

如图4所示，第一分支神经网络部分B1、第二分支神经网络部分B2、第三分支神经网络部分B3以及第四分支神经网络部分B4分别连接至共同神经网络部分COM。

如图4所示，第一分支神经网络部分B1包含神经网络层NNL3a以及另一神经网络层NNL3b。神经网络层NNL3a用以转换中间张量T2至另一个中间张量T3。神经网络层NNL3b用以转换中间张量T3至第一结果状态RST1。于一实施例中，神经网络层NNL3a可以是全连接层或是卷积运算层。神经网络层NNL3b可以是全连接层或是卷积运算层或激励函数层。第一分支神经网络部分B1产生的第一结果状态RST1可以用来选择一个当前行动，此当前行动可以是一个症状询问行动(由多个候选询问行动SQA当中选出)、用以切换至医疗检测建议阶段eMED的切换行动、或者是用以切换至结果预测阶段eDIS的另一切换行动其中一者。

如图4所示，第二分支神经网络部分B2包含神经网络层NNL4a以及另一神经网络层NNL4b。神经网络层NNL4a用以转换中间张量T2至另一个中间张量T4。神经网络层NNL4b用以转换中间张量T4至第二结果状态RST2。于一实施例中，神经网络层NNL4a可以是全连接层或是卷积运算层。神经网络层NNL4b可以是全连接层或是卷积运算层或激励函数层。第二分支神经网络部分B2产生的第二结果状态RST2可以用来选择多个医疗检测行动MTA所形成的一个组合(包含一个或多个医疗检测行动)。

如图4所示，第三分支神经网络部分B3包含神经网络层NNL5a以及另一神经网络层NNL5b。神经网络层NNL5a用以转换中间张量T2至另一个中间张量T5。神经网络层NNL5b用以转换中间张量T5至第三结果状态RST3。于一实施例中，神经网络层NNL5a可以是全连接层或是卷积运算层。神经网络层NNL5b可以是全连接层或是卷积运算层或激励函数层。第三分支神经网络部分B3产生的第三结果状态RST3可以用来选择一个当前行动，此当前行动可以是一个结果预测行动(由多个疾病预测行动DPA当中选出。

于一些实施例中，第一分支神经网络部分B1的神经网络层NNL3b及第三分支神经网络部分B3的神经网络层NNL5b采用相同的激励函数以产生第一结果状态RST1及第三结果状态RST3。第二分支神经网络部分B2的神经网络层NNL4b采用另一激励函数(相异于神经网络层NNL3b/NNL5b)来产生第二结果状态RST2。

于图4所示的实施例中，神经网络层NNL3b及神经网络层NNL5b采用Softmax函数(Softmax function)。另一方面，神经网络层NNL4b则采用Sigmoid函数(Sigmoidfunction)。第二分支神经网络部分B2当中采用的Sigmoid函数使得第二分支神经网络部分B2可以根据一个输入状态同时选择多个医疗检测行动。

需特别注意的是，Softmax函数通常用来从多个候选行动中选择单一行动，而Sigmoid函数通常用来在同一时间评估多个候选行动各自的机率。于此实施例中，由于神经网络模型NNM具有多个分支(包含第一分支神经网络部分B1、第二分支神经网络部分B2、第三分支神经网络部分B3以及第四分支神经网络部分B4)，第二分支神经网络部分B2利用Sigmoid函数产生的第二结果状态RST2可以用来在同一时间选择多个医疗检测行动。另一方面，第一结果状态RST1可以在一次循环中产生一个症状询问行动，而第三结果状态RST3可以在一次循环中产生一个疾病预测行动。

若神经网络模型NNM并不具有多个分支，则神经网络模型NNM可能只通过Softmax函数产生单一个结果状态，神经网络模型NNM无法基于Softmax函数在同一时间推荐多个医疗检测行动。在此情况下，神经网络模型NNM并必须建议一个医疗检测、等待医疗检测的答复、建议另一个医疗检查、以及接着等待另一个医疗检测的答复。

如图4所示，第四分支神经网络部分B4包含神经网络层NNL6a以及另一神经网络层NNL6b。神经网络层NNL6a用以转换中间张量T2至另一个中间张量T6。神经网络层NNL6b用以转换中间张量T6至第四结果状态RST4。于一实施例中，神经网络层NNL6a可以是全连接层或是卷积运算层。神经网络层NNL6b可以是全连接层或是卷积运算层或激励函数层。第四分支神经网络部分B4产生的第四结果状态RST4可以用来重建症状特征以及医疗检测特征的机率分布。

初始状态下，当控制方法200进入症状询问阶段eSYM时，互动系统120执行操作S232，以决定输入状态并传送至强化学习智能体140。强化学习智能体140利用神经网络模型NNM根据输入状态所带有的信息挑选出一个行动。

请一并参阅图5A，其示出于一些实施例中在症状询问阶段eSYM当中输入状态ST0、更新状态ST1以及控制方法200所决定的行动ACT0的示意图。

于一示范例子中，互动系统120所决定的输入状态ST0示出于图5A的实施例中。输入状态ST0包含症状数据位元群组DS、医疗检测数据位元群组DT以及脉络数据位元群组DC。症状数据位元群组DS中的每一个症状数据位元DS1至DS9可以被设定为1(正状态代表此症状有发生)、-1(负状态代表此症状未发生)或0(未确认状态代表尚未确认此症状是否发生)。医疗检测数据位元群组DT中的每一个医疗检测数据位元DT1至DT5可以被设定为-1(表示此医疗检测结果为正常)或者被设定1、2或3等其他数字(表示此医疗检测结果为异常，例如超过标准或低于标准)或被设定为0(表示未确认状态，代表尚未确认医疗检测结果是正常或者异常)。脉络数据位元群组DC的每一个脉络数据位元DC1至DC3可以代表病患的性别、年龄、血压、心理状态、婚姻状态、DNA序列表或其他有关病患的相关信息。举例来说，脉络数据位元DC1为「1」可以代表病患是男性，脉络数据位元DC3为「0」可以代表病患尚未结婚。于实际应用中，脉络数据位元群组DC可以包含更多的数据位元(图中未示出)以记录年龄、血压、心理状态、DNA序列表或其他有关病患的相关信息。

于图5A的实施例中，脉络数据位元群组DC的脉络数据位元DC1至DC3可以由图3当中病历MR1的脉络数据(context information)TDC复制而来。

于图5A的一些实施例中，症状数据位元群组DS当中的症状数据位元DS6被互动系统120设定为「1」根据图3所示的病历MR1当中的确诊症状S6。于初始状态ST0当中，只有症状数据位元DS6已知为「1」，症状数据位元群组DS中其他的症状数据位元DS1-DS5以及DS7-DS9目前仍未确认「0」。

如图1及图2B、图5A所示，在症状询问阶段eSYM中，由强化学习智能体140配合神经网络模型NNM执行操作S233，根据输入状态ST0决定所有候选行动CA0的优先值。于图5A的实施例中，强化学习智能体140配合神经网络模型NNM，根据输入状态ST0通过第一分支神经网络部分B1产生的第一结果状态RST1，决定症状询问行动SQ1-SQ9、用以切换至医疗检测建议阶段eMED的阶段切换行动Q1、以及用以切换至结果预测阶段eDIS的另一阶段切换行动Q2上述各种行动各自的优先值。

如图1及图2B、图5A所示，在症状询问阶段eSYM中，由强化学习智能体140执行操作S234，由症状询问行动SQ1-SQ9、阶段切换行动Q1以及Q2各自的优先值当中搜索最高的优先值。当阶段切换行动Q1具有最高的优先值时，将执行操作S235切换至医疗检测建议阶段eMED。另一方面，当阶段切换行动Q2具有最高的优先值时，将执行操作S236切换至结果预测阶段eDIS。

如图5A所示，初始状态(也就是输入状态ST0)尚未包含足够的信息以建议医疗检测或做出疾病预测。因此，通过第一分支神经网络部分B1产生的第一结果状态RST1所产生关于阶段切换行动Q1及Q2的优先值此时通常较低。于图5A的实施例中，假设此时症状询问行动SQ3具有最高的优先值。将执行操作S237，由强化学习智能体140配合神经网络模型NNM，将症状询问行动SQ3选择为当前行动ACT0。当症状询问行动SQ3被选定时，将提出有关于第三种症状(对应到图3中的症状S3)的询问将。相似地，若有其他不同的症状询问行动SQA被选定时，则会提出相应于不同症状的问题。

于图1及图2A的一些实施例中，在建议医疗检测行动(即切换至医疗检测建议阶段eMED)、或者是挑选出疾病预测(即切换至结果预测阶段eDIS)之前，需要先进行几次的症状询问(即由从多个症状询问行动SQA中按序选出多少个行动进行询问)是由套用在医学系统100上的预算「t」而决定。于后续的实施例中，预算「t」是以「3」作为举例说明。

另一方面，当预算「t」已用尽时，图1及图2A中强化学习智能体140将会收到预算用尽惩罚，预算用尽惩罚将会降低强化学习智能体140所得到的累积报酬。本公开文件并不限制于预算「t＝3」。预算「t」可以被设定为大于1的正整数。于一些实施例中，预算「t」可以被设定为5到9之间。

于另一些实施例中，预算「t」可以被视为在决定最终疾病预测(即由多个疾病预测行动DPA中选出一个疾病预测行动)之前将会进行的症状询问次数(也就是由多个症状询问行动SQA挑出几次行动)的最大数量。然而，强化学习智能体140并未被限定于在所有情况(例如对应训练数据TD当中所有的病患或所有的病历)下都必须询问「t」个症状询问。如果强化学习智能体140已经收集了足够的信息，阶段切换行动Q1或Q2将具有最高的优先值，以触发切换至医疗检测建议阶段eMED或结果预测阶段eDIS。

如图5A所示，在操作S237当中，由强化学习智能体140将候选询问行动SQA当中的症状询问行动SQ3选为行动ACT0。接着执行操作S238，互动系统120将收集对应症状询问行动SQ3的症状询问答复。根据训练数据TD的病历MR1当中的确诊症状，症状询问行动SQ3的症状询问答复将被设定为”-1”，其代表病患并未遭遇症状S3。

互动系统120将决定一个更新状态ST1(此更新状态ST1将做为下一个循环中的输入状态ST1)。如图5A所示，在更新状态ST1中，症状数据位元群组DS当中的症状数据位元DS3由未确认状态「0」改为负状态「-1」，其代表第三个症状并未发生在患者身上。控制方法200将接着根据更新状态ST1(做为新的输入状态ST1)再次进行操作S231。

请一并参阅图5B，其示出于一些实施例中在症状询问阶段eSYM当中输入状态ST1、更新状态ST2以及控制方法200决定的另一行动ACT1的示意图。

如图1、图2B以及图5B所示，执行操作S231以判断控制方法200的当前阶段，目前仍处于症状询问阶段eSYM。执行操作S232以决定输入状态ST1，此时输入状态ST1包含初始状态(例如DS6及DC1-DC3等位元组的信息)、先前的症状询问答复(例如DS3位元组的信息)。在症状询问阶段eSYM中，执行操作S233，根据输入状态ST1决定所有候选行动CA1的优先值。于图5B的实施例中，强化学习智能体140配合神经网络模型NNM，根据输入状态ST1通过第一分支神经网络部分B1产生的第一结果状态RST1，决定症状询问行动SQ1-SQ9、用以切换至医疗检测建议阶段eMED的阶段切换行动Q1、以及用以切换至结果预测阶段eDIS的另一切换行动Q2上述各种行动各自的优先值。由于此时输入状态ST1包含了比输入状态ST0更多的信息，在本次循环中图5B的实施例中症状询问行动SQ1-SQ9、阶段切换行动Q1以及阶段切换行动Q2所算出的优先值的大小，将不同于图5A所示的前一次循环中优先值的大小。在此例子中，假设症状询问行动SQ8具有最高的优先值。

执行操作S237，由强化学习智能体140配合神经网络模型NNM，将症状询问行动SQ8选择为当前行动ACT1。接着执行操作S238，互动系统120将收集对应症状询问行动SQ8的症状询问答复。根据训练数据TD的病历MR1当中的确诊症状，症状询问行动SQ8的症状询问答复将被设定为”1”，其代表病患有遭遇症状S8。

互动系统120将决定一个更新状态ST2(此更新状态ST2将做为下一个循环中的输入状态ST2)。如图5B所示，在更新状态ST2中，症状数据位元群组DS当中的症状数据位元DS8由未确认状态「0」改为正状态「1」，其代表第八个症状有发生在患者身上。控制方法200将接着根据更新状态ST2(做为新的输入状态ST2)再次进行操作S231。

请一并参阅图5C，其示出于一些实施例中在症状询问阶段eSYM当中输入状态ST2、更新状态ST3以及控制方法200决定的另一行动ACT2的示意图。

如图1、图2B以及图5C所示，执行操作S231以判断控制方法200的当前阶段，目前仍处于症状询问阶段eSYM。执行操作S232以决定输入状态ST2，此时输入状态ST1包含初始状态(例如DS6及DC1-DC3等位元组的信息)、先前的症状询问答复(例如DS3及DS8等位元组的信息)。在症状询问阶段eSYM中，执行操作S233，根据输入状态ST2决定所有候选行动CA1的优先值。于图5B的实施例中，强化学习智能体140配合神经网络模型NNM，根据输入状态ST2通过第一分支神经网络部分B1产生的第一结果状态RST1，决定症状询问行动SQ1-SQ9、用以切换至医疗检测建议阶段eMED的阶段切换行动Q1、以及用以切换至结果预测阶段eDIS的另一切换行动Q2上述各种行动各自的优先值。由于此时输入状态ST2包含了比输入状态ST1更多的信息，在本次循环中图5C的实施例中症状询问行动SQ1-SQ9、阶段切换行动Q1以及阶段切换行动Q2所算出的优先值的大小，将不同于图5B所示的前一次循环中优先值的大小。在此例子中，假设阶段切换行动Q1具有最高的优先值。将执行操作S235，切换至医疗检测建议阶段eMED，并回到操作S231。于图5C所示的实施例中，并没有选定任何症状询问行动。因此，更新状态ST3(此更新状态ST3将做为下一个循环中的输入状态ST3)的内容将会相同于输入状态ST2。于此实施例中，强化学习智能体140将会利用神经网络模型NNM在产生医疗检测行动或结果预测行动之前，先选择数个症状询问行动(例如SQ3及SQ8)。如此一来，控制方法200便能取得足够的信息(有关哪些症状发生在病患身上)以利随后进行医疗检测建议、或者进行疾病预测。

请一并参阅图5D，其示出于一些实施例中在医疗检测建议阶段eMED当中输入状态ST3、更新状态ST4以及控制方法200决定的多个行动ACT3的示意图。

如图1、图2B以及图5D所示，执行操作S231以判断当前阶段，于此实施例中此时为医疗检测建议阶段eMED。

执行操作S239以决定输入状态ST3，此时输入状态ST3包含初始状态(例如DS6及DC1-DC3等位元组的信息)、先前的症状询问答复(例如DS3及DS8等位元组的信息)。执行操作S240，由强化学习智能体140配合神经网络模型NNM，根据输入状态ST3决定在医疗检测建议阶段eMED中所有候选行动CA3(包含五种不同的医疗检测行动MT1-MT5)各自的机率值(probability value)以及机率补数(complement probability value)。

请一并参阅图6A，其示出一示范举例中对应不同的医疗检测行动MT1-MT5各自的机率值及机率补数的示意图。于一些实施例中，医疗检测行动MT1-MT5各自的机率值是由第二结果状态RST2产生。第二结果状态RST2是由第二分支神经网络部分B2根据第二激励函数(例如Sigmoid函数)计算。医疗检测行动MT1-MT5各自的机率值将是介于0与1之间的数值。于此示范举例中，医疗检测行动MT1-MT5各自的机率值分别是0.4、0.2、0.7、1及0。医疗检测行动MT1-MT5各自的机率值分别代表了各自的医疗检测行动MT1-MT5在正确预测病患的疾病所具有重要性或必须性。医疗检测行动MT1-MT5各自的机率补数等于「1-每一个医疗检测行动MT1-MT5各自的机率值」。于此例子中，每一个医疗检测行动MT1-MT5各自的机率补数等于0.6、0.8、0.3、0及1。上述五种不同的医疗检测行动MT1-MT5可以排列形成非常多种不同的医疗检测行动组合。

请一并参阅图6B，其示出一示范举例中对应多个医疗检测行动MT1-MT5所形成的多种组合的示意图。如图6B所示，组合CMB1包含进行医疗检测行动MT4(不进行医疗检测行动MT1、MT2、MT3及MT5)。组合CMB2包含进行医疗检测行动MT1及MT4(不进行医疗检测行动MT2、MT3及MT5)。组合CMB3包含进行医疗检测行动MT2及MT4(不进行医疗检测行动MT1、MT3及MT5)。组合CMB4包含进行医疗检测行动MT3及MT4(不进行医疗检测行动MT1、MT2及MT5)。组合CMB5包含进行医疗检测行动MT1、MT2及MT4(不进行医疗检测行动MT3及MT5)。组合CMB6包含进行医疗检测行动MT1、MT3及MT4(不进行医疗检测行动MT2及MT5)。组合CMB7包含进行医疗检测行动MT2、MT3及MT4(不进行医疗检测行动MT1及MT5)。组合CMB8包含进行医疗检测行动MT1、MT2、MT3及MT4(不进行医疗检测行动MT5)。

执行操作S241，在医疗检测建议阶段eMED中，由强化学习智能体140根据上述机率值以及机率补数，决定所有医疗检测行动MT1-MT5所形成的所有组合各自的权重。

其中一个组合的权重的计算，是由被选入组合中的医疗检测行动的机率值、与未被选入组合中医疗检测行动的机率补数相乘的乘积而得到。如图6B所示，组合CMB1的权重W1可由医疗检测行动MT4的机率值、以及医疗检测行动MT1、MT2、MT3及MT5的机率补数相乘而得到。换句话说，权重W1＝0.6*0.8*0.3*1*1＝0.144。如图6B所示，组合CMB2的权重W2可由医疗检测行动MT1及MT4的机率值、以及医疗检测行动MT2、MT3及MT5的机率补数相乘而得到。换句话说，权重W2＝0.4*0.8*0.3*1*1＝0.096。如图6B所示，组合CMB3的权重W3＝0.6*0.2*0.3*1*1＝0.036。如图6B所示，组合CMB4的权重W4＝0.6*0.8*0.7*1*1＝0.336。如图6B所示，组合CMB5的权重W5＝0.4*0.2*0.3*1*1＝0.024。如图6B所示，组合CMB6的权重W6＝0.4*0.8*0.7*1*1＝0.224。相似地，权重W7及权重W8也可以利用相似的方法加以计算。

于一些实施例中，操作S242用以根据上述权重W1-W8随机地由医疗检测行动MT1-MT5所形成的所有组合CMB1-CMB8当中选出一种组合。于此例子中，具有较高权重的组合将有较大的机会被随机挑选上。举例来说，组合CMB4及CMB6相对于组合CMB2及CMB3将有较大的机会被随机挑选到。于此例子中，假设被挑选到的组合为组合CMB6(其对应的权重W6＝0.224)。

于另一些实施例中，操作S242用以由医疗检测行动MT1-MT5所形成的所有组合CMB1-CMB8当中挑选出具有最高权重的一种组合。

由于被挑选到的组合为组合CMB6(包含进行医疗检测行动MT1、MT3及MT4)，因此，医疗检测行动MT1、MT3及MT4三者将同时被选为当前行动ACT3。操作S243将收集训练数据TD当中病历MR1当中有关医疗检测行动MT1、MT3及MT4的医疗检验结果。如图5D所示，在更新状态ST4中，医疗检测数据位元DT1由未确认状态「0」改为「-1」，其代表医疗检测行动MT1的检测结果为正常。在更新状态ST4中，医疗检测数据位元DT3由未确认状态「0」改为「3」，其代表医疗检测行动MT3的检测结果为异常。在更新状态ST4中，医疗检测数据位元DT4由未确认状态「0」改为「2」，其代表医疗检测行动MT4的检测结果为异常。当医疗检测行动的检测结果被收集并更新至更新状态ST4之后，控制方法200执行操作S244，切换进入结果预测阶段eDIS。

医疗检测数据位元群组DT中的每一个医疗检测数据位元DT1至DT5可以被设定为-1(表示此医疗检测结果为正常)或者被设定1、2或3等其他数字(表示此医疗检测结果为异常，例如超过标准或低于标准)或被设定为0(表示未确认状态，代表尚未确认医疗检测结果是正常或者异常)。举例来说，于一些实施例中，医疗检测数据位元DT3变更为「3」代表医疗检测行动MT3的检测结果超过标准范围。于一些实施例中，医疗检测数据位元DT4变更为「2」代表医疗检测行动MT4的检测结果低于标准范围。数据位元「2」或「3」可以表示不同类型的异常状态。

如图5D所示，更新状态ST4(此更新状态ST4将做为下一个循环中的输入状态ST4)仅包含了三种症状的信息以及三种医疗检测的信息。如此一来，将难以看出此病患在所有症状与所有医疗检测整体的情况，由于大部分的症状与医疗检测的结果都仍属于未确认的状态。于此实施例中，可以通过第四结果状态RST4计算症状特征的机率分布(包含未确认的症状DS1、DS2、DS4、DS5、DS7及DS9)及医疗检测结果的机率分布(包含未确认的医疗检测行动MT2及MT5)。

请一并参阅图5E，其示出于一些实施例中在结果预测阶段eDIS当中输入状态ST4以及控制方法200决定的行动ACT4a/ACT4b的示意图。

如图1、图2B以及图5C所示，操作S245用以决定输入状态ST4。输入状态ST4包含初始状态(即DS6、DC1-DC3等位元组)、先前的症状询问回复(即DS3及DS8等位元组)以及医疗检测行动(即MT1、MT3及MT4)的医疗检测结果(即DS1、DC3、DC4等位元组)由操作S237所选出。

执行操作S246，在结果预测阶段eDIS当中，根据输入状态ST4由强化学习智能体140配合神经网络模型NNM，决定所有的候选行动CA(包含五种结果预测行动DP1-DP5对应到五种不同的疾病)各自的优先值。于图5E的实施例中，强化学习智能体140配合神经网络模型NNM，相对应于输入状态ST4根据第三神经网络分支部分B3产生的第三结果状态RST3决定结果预测行动DP1-DP5各自的优先值。于此实施例中，第三结果状态RST3是根据症状询问的答复(例如患者有胸痛、难以入睡但没有失去食欲)以及医疗检测的结果(例如胸腔X光结果为异常，耳鼻喉检查结果为异常，以及细菌培养检测的结果为正常)。

于此例子中，由于医疗检测的结果可以提供重要且关键的信息用以诊断疾病，因此第三结果状态RST3具有较高的准确性以呈现五种结果预测行动DP1-DP5各自的优先值。

在该实施例中，假设训练数据TD中的医疗记录MR1指示患者患有与结果预测动作DP3对应的疾病。如果控制方法200在操作S246中选择结果预测动作DP3作为当前动作ACT4a，则控制方法200将相应于正确的预测结果给予强化学习智能体140(及其使用神经网络模型NNM)一个正的预测奖励。另一方面，如果控制方法200在操作S246中选择任何其他结果预测动作(例如，选择结果预测动作DP1作为当前动作ACT4b)，则控制方法200将给予强化学习智能体140(及其使用神经网络模型NNM)一个负的预测奖励。

在一些实施例中，控制方法200提供一定的标签引导探索概率ε。标签引导的勘探概率ε是一个特定比例，介于0％到100％之间。在一些实施例中，标签引导探索概率ε可以在0％和1％之间的范围内。在一些实施方案中，标签引导探索概率ε可以是0.5％。标签引导的探索概率ε用于加速神经网络模型NNM的训练。

当介于0和1之间的随机数，落入标签引导探索概率ε的范围内时，控制方法200会将正确答案(医疗记录MR1中的诊断的疾病)提供给神经网络模型NNM作为结果预测动作预测动作，借此指导神经网络模型NNM加速进行学习。换句话说，存在0.5％的机会(如果ε＝0.5％)，控制方法200将直接给出结果预测动作的正确答案，使得神经网络模型NNM将在这种情况下直接学习正确的答案。

另一方面，当介于0和1之间的随机数并未落入标签引导探索概率ε时，控制方法200利用神经网络模型NNM来选择结果预测动作。换句话说，在大多数情况下(99.5％，假设ε被设定为0.5％)，将由神经网络模型NNM负责进行预测，并从根据预测的结果正确与否取得奖励并进行学习。

当操作S230结束时，神经网络模型NNM已完成症状查询动作、医学检测动作和结果预测动作的选择。控制方法200前进到操作S250，用于相应于神经网络模型NNM先前所选择的各种动作，提供相应的累积奖励给强化学习代理140。

在这种情况下，当0和1之间的随机值与标签引导的探索概率ε匹配时，将根据正确的标记数据(直接来自训练数据TD)训练神经网络模型NNM。神经网络模型NNM更有效地学习正确的标记数据对比度以随机预测标签并学习失败的结果。因此，标签引导的探索概率ε用于加速神经网络模型NNM的训练。

请一并参阅图2C，图2C示出图2A中所示的操作S250中的进一步操作S251-S257的流程图。

如图1、图2C和图5D所示，操作S251由互动系统120执行，以根据症状查询动作的症状查询答案提供症状异常奖励。如图1中所示的实施例。在图5D中，输入状态ST4包括标记为“1”的数据位DS6和DS8，并且这意味着患者具有这两个症状S6和S8。根据在患者上询问和确认的症状量产生症状异常奖励。假设当一个症状查询动作具有异常结果(即，患者确实具有该症状)时，将提供一个症状异常奖励单位“σ”。如图5D的实施例所示，此时有两种症状具有异常结果，因此症状异常奖励相应为σ*2。

如图1、图2C和图5D所示，如图5D所示，由互动系统120执行操作S252，以根据在被选入组合当中的所有医学测试的总数(参考图2B中的操作S242)向采用神经网络模型NNM的强化学习代理140提供检测成本惩罚。在图5D所示的实施例中，选择了医疗检测行动MT1、MT3和MT4。因此，根据医疗检测行动MT1，MT3和MT4的成本之和(C1+C3+C4)来决定检测成本惩罚。因此，可利用检测成本惩罚来约束由强化学习代理140(及其配合的神经网络模型NNM)所建议的医疗检测行动的总量。如果在选择更多医疗检测行动时没有惩罚，神经网络模型NNM将倾向于选择尽可能多的医疗检测行动(则可能包括一些非必要的医疗检测行动)以争取得到更多的累积奖励。

在一些实施例中，可以根据执行医疗检测行动MT1所需要耗材的价格、执行医疗检测行动MT1所需的时间，执行医疗检测行动MT1的难度、风险或者医疗检测行动MT1造成患者的不适程度等各种因素来决定医疗检测行动MT1的成本C1。类似地，成本C3和成本C4分别关于医疗检测行动MT3和MT4来确定。

在一些其他实施例中，成本C1，C3和C4也可以是相等值或是近似值。

当在图2B中的操作S242中将更多医疗检测行动纳入到组合中时，相应的医疗检测成本惩罚会更高。

如图1、图2C和图5D所示，执行操作S253以确定在组合中选择的医疗检测行动(参考图2B中的操作S242)是否具有异常结果。在图5D所示的实施例中，医疗检测行动MT3和MT4具有异常结果，并且医疗检测行动MT1具有正常结果。互动系统120执行操作S254，以提供对应于医疗检测行动MT3和MT4的医疗检测结果异常奖励，给予利用神经网络模型NNM进行挑选的强化学习代理140。假设当一个医疗检测结果具有异常结果时，将提供医疗检测结果“λ”。如图5D所示，存在两个具有异常结果的医疗检测行动MT3和MT4，使得相对应的医疗检测行动MT3和MT4的医疗检测结果异常奖励为λ*2。症状异常奖励和医疗检测结果异常奖励可以鼓励神经网络模型NNM选择关键性的症状进行询问或者进行关键性的医疗检测行动。在大多数情况下，相较于患者未发生的症状，有发生在患者身上的症状将提供更多有利于诊断的讯息。在大多数情况下，与具有正常结果的医疗检测行动相比，具有异常结果的医疗检测行动将提供更多有利于诊断的讯息。

如图1、图2C及图5E，执行操作S255以确定所选择的结果预测动作(参考图2B中的操作S246)是否正确。

如图5E所示，如果选择结果预测动作DP3，则交互系统120执行操作S256，以向强化学习代理140提供正预测奖励+m。在这种情况下，由强化学习代理收集的累积奖励将会等于：

m+(σ*2)+(λ*2)-(C1+C3+C4)

如图5E所示，如果选择结果预测动作DP1，则交互系统120执行操作S257，以向强化学习代理140提供负预测奖励-n。在这种情况下，由强化学习代理收集的累积奖励将会等于：

(-n)+(σ*2)+(λ*2)-(C1+C3+C4)

接着，图2A所示，操作S270由强化学习代理140执行以参考累积奖励来训练神经网络模型NNM，累积奖励包括上述测试异常奖励、预测奖励和测试成本惩罚。应注意，神经网络模型NNM的训练目标是最大化由强化学习代理140收集的累积奖励。

因此，训练神经网络模型NNM以进行正确的疾病预测以获得正预测奖励。同时，训练神经网络模型NNM以选择医疗检测行动的合适组合，其可以检测尽可能多的异常结果，并且避免选择太多医疗检测行动来控制测试成本惩罚。

此外，神经网络模型NNM也被训练为尽可能询问适当的症状询问问题(以达到产生正确的疾病预测，以便能取得正预测奖励)。

当神经网络模型NNM通过上述图2A至图2C中的控制方法200训练完成之后，图1中的医学系统100可以与患者互动，并且根据患者提出的初始症状以及患者回答多个症状询问的答复，医学系统500能够提供相应的疾病预测。请一并参阅图7，其示出在神经网络模型NNM完成训练后医学系统500的示意图。于此例中，互动系统520可以进一步包含输入/输出介面(接口)，例如键盘、鼠标、麦克风、触控面板或其他等效的设备，以便与使用者U1进行互动。如图7所示，医学系统500进一步包含决策智能体560，决策智能体560可以使用强化学习智能体540训练完成的神经网络模型NNM。

医学系统500可以通过输入/输出介面与使用者U1互动(例如由使用者U1收集初始症状、提供一些症状询问至使用者U1及/或由使用者U1处收集相应的症状询问答复)。基于上述互动历程，医学系统500可以分析、建议进行一些医疗检测、诊断或预测使用者U1身上可能遭遇的潜在疾病。

于一些实施例中，医学系统500可以建立在电脑、服务器或是处理运算中心上。互动系统520、强化学习智能体540以及决策智能体560可以通过处理器、中央处理单元或是运算电路加以实现。于一些实施例中，互动系统520可以还包含输出介面(例如显示面板以显示信息)及输入装置(例如触控板、键盘、麦克风、扫描器或是闪存存储器读取装置)让使用者可以输入文件指令、给予语音指令或是上传相关数据(例如影像、病历或是个人检查报告)。

在一些实施例中，医学系统500的至少一部分是由分散式系统所建构。举例来说，互动系统520、强化学习智能体540以及决策智能体560可以建立在云端运算系统上。

如图7所示，使用者U1可以操作互动系统520的输入/输出介面。使用者U1可以看到输入/输出介面上显示的信息以及使用者U1可以在输入/输出介面进行输入。于一实施例中，输入/输出介面会显示一个提示询问使用者U1身上的症状。使用者U1所输入的第一个症状将被视为初始症状Sini。输入/输出介面将会收集使用者输入的初始症状Sini作为状态ST0，互动系统520将把状态ST0传送至决策智能体560。

决策智能体560用以选择序列行动ACT0-ACTt。序列行动ACT0-ACTt包含多个症状询问行动以及一个结果预测行动。结果预测行动可以是疾病预测行动及/或对应疾病预测行动的医疗部门建议行动。互动系统520会根据多个序列行动ACT0-ACTt产生相应的多个症状询问Sqry以及医疗检测行动Smed的建议。多个症状询问Sqry会按序显示，使用者可以按序回答多个症状询问Sqry，并采取相应的医疗检测行动Smed，互动系统520会收到对应症状询问Sqry的多个症状答复Sans并且收到相应多个的医疗检测行动Smed的医疗检测结果Smedr，并转换多个症状答复Sans以及医疗检测结果Smedr为状态ST1-STt。在数个症状询问之后(当预算用尽时)，图7中的医学系统500将会根据结果预测行动提供一个疾病预测或是对应疾病预测的一个医疗部门建议给使用者U1。

决策智能体560会基于训练后的神经网络模型NNM，根据初始症状Sini以及所有使用者先前回复的症状答复Sans(在当前的问题之前)，决定最适合的问题(即症状询问Sqry)对使用者U1进行询问。

虽然本发明的实施例已公开如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可做些许的变动与润饰，因此本发明的保护范围当以权利要求所界定为准。

Claims (20)

1.一种控制方法，其特征在于，该控制方法适用于一医学系统，该控制方法包含：

接收一初始症状；

利用一神经网络模型以选择至少一症状询问行动；

接收针对该至少一症状询问行动的至少一症状答复；

利用该神经网络模型根据该初始症状及该至少一症状答复由多个候选检测行动中选择至少一医疗检测行动；

接收针对该至少一医疗检测行动的至少一检测结果；

利用该神经网络模型根据该初始症状及该至少一症状答复以及该至少一检测结果由多个候选预测行动中选出一结果预测行动。

2.如权利要求1所述的控制方法，其特征在于，其中提供该控制方法包含：

取得一训练数据，该训练数据包含多个病历，该些病历每一者包含一确诊疾病以及用来诊断该确诊疾病的多个医疗检测结果；

利用该神经网络模型根据该训练数据，由该些候选检测行动中选择该至少一医疗检测行动，并由该些候选预测行动中选出该结果预测行动；

根据该至少一医疗检测行动提供一检测成本惩罚；

相对应于该至少一医疗检测行动根据该训练数据当中的该些医疗检测结果，提供一检测结果异常奖励；

根据该结果预测行动与该些病历中的该确诊疾病的比较结果，提供一预测奖励；以及

训练该神经网络模型以最大化一累积奖励，该累积奖励与该检测结果异常奖励、该预测奖励及该检测成本惩罚有关。

3.如权利要求2所述的控制方法，其特征在于，该些病历每一者还包含与该确诊疾病有关的多个确诊症状，该神经网络模型还用以在该医疗检测行动及该结果预测行动之前挑选出多个症状询问行动。

4.如权利要求3所述的控制方法，其特征在于，该控制方法还包含：

决定一第一输入状态其包含针对该些症状询问行动的多个症状询问答复，其中该些症状询问答复是根据该训练数据中该些病历的该些确诊症状而决定；以及

根据该第一输入状态选择该至少一医疗检测行动。

5.如权利要求4所述的控制方法，其特征在于，该控制方法还包含：

决定一第二输入状态其包含针对该些症状询问行动的该些症状询问答复以及针对该至少一医疗检测行动的至少一医疗检测答复；以及

根据该第二输入状态选择该结果预测行动。

6.如权利要求4所述的控制方法，其特征在于，根据该第一输入状态由该些候选检测行动当中同时选择多个医疗检测行动所形成的一种组合。

7.如权利要求6所述的控制方法，其特征在于，该控制方法还包含：

由该神经网络模型根据该第一输入状态产生该些候选检测行动的多个机率值与多个机率补数；

根据该些机率值以及该些机率补数，决定由该些候选检测行动所能形成的所有组合各自的多个权重；以及

参考该些权重，由该些候选检测行动所能形成的所有组合当中，挑选出该些医疗检测行动所形成的该种组合。

8.如权利要求3所述的控制方法，其特征在于，其中该神经网络模型包含一共同神经网络部分、一第一分支神经网络部分、一第二分支神经网络部分以及一第三分支神经网络部分，其中该第一分支神经网络部分、该第二分支神经网络部分以及该第三分支神经网络部分分别连接至该共同神经网络部分，其中该第一分支神经网络产生的一第一结果状态用以选择该些症状询问行动，该第二分支神经网络产生的一第二结果状态用以选择该至少一医疗检测行动，该第三分支神经网络产生的一第三结果状态用以选择该结果预测行动。

9.如权利要求8所述的控制方法，其特征在于，其中该第一分支神经网络部分以及该第三分支神经网络部分分别采用一第一激励函数，该第二分支神经网络部分采用一第二激励函数相异于该第一激励函数。

10.如权利要求9所述的控制方法，其特征在于，其中该第一激励函数为Softmax函数，该第二激励函数为Sigmoid函数。

11.如权利要求2所述的控制方法，其特征在于，该控制方法还包含：

提供一标签引导探索概率；

当一随机参数符合该标签引导探索概率时，将该些病历中的该确诊疾病提供给该神经网络模型作为该结果预测行动，以引导该神经网络模型；以及

当该随机参数不符合该标签引导探索概率时，根据该神经网络模型由该些候选预测行动中挑选该结果预测行动。

12.如权利要求1所述的控制方法，其特征在于，其中该结果预测行动包含一疾病预测行动与对应该疾病预测行动的一医疗部门推荐行动两者至少其一。

13.一种医学系统，其特征在于，该医学系统包含：

一互动系统，用以接收一初始症状；

一决策智能体，与该互动系统互动；以及

一神经网络模型，该决策智能体利用该神经网络模型根据该初始症状选择至少一症状询问行动；

其中，该互动系统接收针对该至少一症状询问行动的至少一症状答复，

其中，该决策智能体利用该神经网络模型根据该初始症状及该至少一症状答复由多个候选检测行动中选择至少一医疗检测行动，

其中，该互动系统接收针对该至少一医疗检测行动的至少一检测结果，以及

其中，该决策智能体利用该神经网络模型根据该初始症状及该至少一症状答复以及该至少一检测结果由多个候选预测行动中选出一结果预测行动。

14.如权利要求13所述的医学系统，其特征在于，该医学系统还包含：

一强化学习智能体，与该互动系统互动，

其中该强化学习智能体根据一训练数据训练该神经网络模型，该训练数据包含多个病历，该些病历每一者包含一确诊疾病以及用来诊断该确诊疾病的多个医疗检测结果；

其中该强化学习智能体利用该神经网络模型根据该训练数据，由该些候选检测行动中选择该至少一医疗检测行动，并由该些候选预测行动中选出该结果预测行动，

其中，该互动系统根据该至少一医疗检测行动提供一检测成本惩罚，

其中，该互动系统相对应于该至少一医疗检测行动根据该训练数据当中的该些医疗检测结果提供一检测结果异常奖励，

其中，该互动系统根据该结果预测行动与该些病历中的该确诊疾病的比较结果提供一预测奖励，以及

其中，该强化学习智能体训练该神经网络模型以最大化一累积奖励，该累积奖励与该检测结果异常奖励、该预测奖励及该检测成本惩罚有关。

15.如权利要求14所述的医学系统，其特征在于，该些病历每一者还包含与该确诊疾病有关的多个确诊症状，

其中，该神经网络模型还用以在该医疗检测行动及该结果预测行动之前挑选出多个症状询问行动，

其中，该互动系统决定一第一输入状态其包含针对该些症状询问行动的多个症状询问答复，该些症状询问答复是根据该训练数据中该些病历的该些确诊症状而决定，

其中，该强化学习智能体根据该第一输入状态选择该至少一医疗检测行动，以及

其中，该互动系统决定一第二输入状态其包含针对该些症状询问行动的该些症状询问答复以及针对该至少一医疗检测行动的至少一医疗检测答复，

其中，该强化学习智能体根据该第二输入状态选择该结果预测行动。

16.如权利要求15所述的医学系统，其特征在于，根据该第一输入状态由该些候选检测行动当中同时选择多个医疗检测行动所形成的一种组合。

17.如权利要求16所述的医学系统，其特征在于，其中，该强化学习智能体利用该神经网络模型根据该第一输入状态产生该些候选检测行动的多个机率值与多个机率补数，

其中，该强化学习智能体根据该些机率值以及该些机率补数决定由该些候选检测行动所能形成的所有组合各自的多个权重，

其中，该强化学习智能体参考该些权重由该些候选检测行动所能形成的所有组合当中，挑选出该些医疗检测行动所形成的该种组合。

18.如权利要求15所述的医学系统，其特征在于，其中，该神经网络模型包含一共同神经网络部分、一第一分支神经网络部分、一第二分支神经网络部分以及一第三分支神经网络部分，

其中，该第一分支神经网络部分、该第二分支神经网络部分以及该第三分支神经网络部分分别连接至该共同神经网络部分，以及

其中，该第一分支神经网络产生的一第一结果状态用以选择该些症状询问行动，该第二分支神经网络产生的一第二结果状态用以选择该至少一医疗检测行动，该第三分支神经网络产生的一第三结果状态用以选择该结果预测行动。

19.如权利要求18所述的医学系统，其特征在于，其中该第一分支神经网络部分以及该第三分支神经网络部分分别采用一第一激励函数，该第二分支神经网络部分采用一第二激励函数相异于该第一激励函数。

20.如权利要求14所述的医学系统，其特征在于，该互动系统提供一标签引导探索概率，

当一随机参数符合该标签引导探索概率时，该互动系统将该些病历中的该确诊疾病提供给该神经网络模型作为该结果预测行动，以引导该神经网络模型；以及

当该随机参数不符合该标签引导探索概率时，该强化学习智能体根据该神经网络模型由该些候选预测行动中挑选该结果预测行动。

Images