CN101903887A

CN101903887A - 临床决策支持系统的推理机的误差检测

Info

Publication number: CN101903887A
Application number: CN2008801222967A
Authority: CN
Inventors: J·D·谢弗
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2007-12-21
Filing date: 2008-12-10
Publication date: 2010-12-01
Anticipated expiration: 2028-12-10
Also published as: US8954339B2; US20100280847A1; EP2235654A1; WO2009081306A1; RU2497193C2; RU2010130458A; JP2011508301A; CN101903887B

Abstract

一种电子临床决策支持系统(CDSS)(10、12)包括：推理机(20、22)，其被配置为基于有关患者的信息生成针对患者的临床决策建议，所述推理机包括由多个医学专家(14)开发并被编码成软件的规则(16)；电子异常值检测器(52)，其被配置为检测可检验出所述推理机的潜在缺陷的异常值病例；异常值数据库(60)，其被配置为收集有关由所述电子异常值检测器检测到的所述异常值病例；以及异常值报告生成器(62)，其被配置为生成关于由所述电子异常值检测器检测到的所述异常值病例的报告(64)，所生成的报告包含在所述异常值数据库中收集的至少一些信息。

Description

临床决策支持系统的推理机的误差检测

下文涉及医学技术、诊断技术、软件技术等。

医师被要求每天做出临床决策。这些决策需要收集关于患者的信息，做出诊断决策以及做出针对患者的治疗决策。医师经过多年训练以便熟练做出这种临床决策，并且在很大程度上依赖于以前的经验、教育以及所收集的知识。当医师对临床决策不确定时，他或她可能咨询专业的同事、医学论文、发表的医学研究，等等。然而，即便拥有所有这些资源，一些临床决策的复杂性，以及医院和一些其他医学环境的忙碌(hectic)性质使得很难做出临床决策。这是个问题，因为错误的临床决策能够导致患者的不良结果，例如延长的不适、临时或永久残疾、或者甚至死亡。

已经开发出电子临床决策支持系统(CDSS)以为进行临床决策提供支持。更先进的电子CDSS系统接收诸如测得生理参数、患者检查结果等的患者医学信息，并且包括推理机，所述推理机将预定的诊断和治疗规则应用于测得生理参数、患者检查结果等以确定一个或多个诊断并推荐一个或多个疗程。预定规则由医学专家委员会制定，并由计算机程序员编码以构建推理机。这样，推理机体现出各种专家医师关于各种医疗课题的累积医学专业知识，并且可以提供治疗医师可能未知或者未认识到的诊断和/或疗程。

人们期望CDSS在许多情况下提供合理的治疗建议。然而，人们认识到，治疗医师拥有CDSS无法获得的附加信息，而并且具有直接检查被治疗患者的另外优势。因此，对于可预见的未来，CDSS系统的角色将为顾问性质——治疗医师将继续使用他们自己的判断，并可以选择接受、修改或者完全不理会CDSS建议。

具有推理能力的电子CDSS系统为复杂系统。由于临床诊断和治疗的相互关联性，由推理机执行的规则有时体现不同规则之间的复杂交互，并且规则可以为多分支的或者具有其他复杂结构。这种相关性和复杂性使得其难以或者不可能挑选并识别特定规则或规则部分中的缺陷。考虑到这些复杂性和其他复杂性，CDSS通常不易服从正在进行的增量更新。

相反，现存CDSS系统通常要定期升级，例如每年或每六个月进行升级，通过合并最新发展的医学知识和标准的版本升级的开发和采用。在每次升级时，医学专家委员会评审由CDSS执行的现存规则以识别应被丢弃、取代、修订或者增加的规则。医学专家委员会依赖其由发表的医学研究等增加的累积专业知识以做出关于规则改变的决策。一旦由医学专家委员会确定出一套修订的规则，软件程序员接手以将推理机构建为体现修订后规则的软件程序。这得到用于将CDSS升级到新版本的CDSS修订发布。

用于升级CDSS的这种方法具有某些劣势。第一，其依赖于组成医学专家委员会的医学专家的专业知识。尽管这些所选个体在其各自专业领域具有广博的知识，这样的知识不可能十分全面，因此仍然有可能制定出错误的规则。一些规则的相关性增强了这一可能性，这是由于，例如，在一个领域具有专业知识的医学专家可能并不知晓不同领域治疗计划的潜在不利结果。

另外，即使规则或相关规则的集合在医学上是合理的，但是有可能在软件开发过程中引入误差。如果规则是正确的而误差是由编码该规则的计算机程序员引入的，该误差将进入CDSS的下一版本。甚至更糟地，由于医学专家委员会评审规则，而非所生成的软件代码，因此接下来，任何正确但被错误编码的规则将不会被后序的委员会评审检测出来，相反将仍然保留在CDSS中，除非并直到软件调试过程检测到错误编码。但是，取决于编码误差的性质，对于软件调试过程可能难以或者不能够检测出错误编码的规则。计算机程序员通常不是医学专家，可能很难识别出由错误编码产生的错误的医学相关结果。

下文提供了克服了上述问题以及其他问题的改进。

在至少一个示例性实施例中，公开了一种电子临床决策支持系统(CDSS)，包括：推理机，其被配置为基于与患者有关的信息生成针对患者的临床决策建议，推理机包括由多个医学专家开发并被编码成软件的规则；电子异常值检测器，其被配置为检测可检验出推理机的潜在缺陷的异常值病例；异常值数据库，其被配置为收集与由电子异常值检测器检测到的异常值病例有关的信息；以及异常值报告生成器，其被配置为生成关于由电子异常值检测器检测到的异常值病例的报告，所生成的报告包含异常值数据库中收集到的至少一些信息。

在本文公开为示意性示例的至少一个实施例中，公开了一种用于操作包括推理机的电子临床决策支持系统(CDSS)的方法，所述推理机包括被配置为根据临床决策规则生成临床决策建议的软件，所述方法包括：使用推理机生成针对患者病例的临床决策建议；检测包括推理机生成的临床决策建议可以检验出推理机的一个或多个潜在缺陷的患者病例的子集的异常值病例；以及收集与异常值病例有关的信息。

在本文公开为示意性示例的至少一个实施例中，公开了一种计算机可读介质，所述计算机可读介质携载有被配置为控制处理器以执行上段的方法的计算机代码。

在本文公开为示意性示例的至少一个实施例中，公开了一种用于监测包括推理机的电子临床决策支持系统(CDSS)的监测系统，所述推理机包括被配置为根据临床决策规则生成临床决策建议的软件，所述监测系统包括：电子异常值检测器，其被配置为检测包括患者病例的子集的异常值病例，针对所述异常值病例，具有以下的至少一个：(i)推理机生成未被遵循的临床决策建议以及(ii)推理机生成临床决策建议并且患者疗效不良；并且异常值数据库被配置为收集与由电异常值检测器检测的异常值病例有关的信息。

一个优势在于更有效的CDSS升级。

另一优势在于运算CDSS系统中的软件编码误差的检测。

另一优势在于通过向修订CDSS的医学专家提供一组压缩的高值数据而进行更有效的CDSS升级。

本领域技术人员在阅读并理解下述详细说明之后将理解其他优势。

附图仅为示出优选实施例的目的，而不被看作为限制。

图1示意性地示出了包括推理机和升级部件的电子临床决策支持系统(CDSS)；

图2示意性地示出了由图1的电子CDSS的异常值报告生成器生成的异常值报告的说明性格式的页面。

参照图1，电子临床决策支持系统10、12包括主要运算部分10和升级部分12。运算部分10每天连续运算以提供临床决策支持。偶尔，例如每六个月、每年、每两年等使用升级部分12，以保持运算部分10赶得上相关诊断和治疗领域的发展，并校正基于由运算部分10检测到的异常值的分析检测到的误差。电子CDSS 10、12的运算部分10为基本自动的，但是也并入一些手动交互，例如患者数据的手动输入、与决策支持过程的手动交互(例如，从由CDSS呈现的一组有限选项之中的手动选择)等。这样的手动交互也可以包括治疗医师选择不采纳由运算CDSS部分10提供的一些或所有建议，而是任意地提供关于未采用上述建议的原因的手写或其他方式的相关说明。电子CDSS 10、12的升级部分12为半自动的，但是包括由生成并偶尔评估或评审包括多个规则的CDSS规则数据库16的医学专家委员会14(其中，该术语旨在被宽泛地理解为包括任意组、集合或其他多个医学专家，专家通常为注册医师，但是任意地还包括注册护士、非注册开业医生、工作在医学相关领域的工程师或科学家、学术界专家、放射学专家等)提供的基本上手动的输入和处理。另外，升级部分12包括来自将CDSS规则数据库16编码成软件的软件部18(其中，该词语旨在被宽泛地理解为包括计算机程序员、计算机科学家、计算机分析员、数据库专家等的一个或多个的任意集合，包括该个体的任意组织，包括该个体的任意公司、集团或其他实体)的基本手动的输入。

还应当注意，医学专家委员会14和/或软件部18的任一个或两个可以具有随时间改变的组合或身份，正如一些医学专家加入该委员会14而其他医学专家从委员会14辞职或以其他方式离开委员会14。作为另一示例，软件部18可以改变身份，如果，例如，采用电子CDSS 10、12的组织终止与一个软件公司的软件开发合同，而取而代之的，雇佣不同的软件公司执行下面的升级，或者利用内部软件专家执行下面的升级。仍然进一步地，尽管医学专家委员会14和软件部18两者都包括提供处理的人员，但是还可以预见到委员会14和/或软件部18的任一个或两个包括自动或半自动部件，例如电子医学数据库、被配置为搜索医学刊物的电子搜索引擎、将高级软件编程转换为低级代码的编译器等。另一预期的自动或半自动部件包括自动调节规则以便改进CDSS系统性能的机器学习技术。

运算部分10的主要部件为推理机20，其被配置为基于与患者有关的信息生成针对该患者的临床决策建议。推理机20由软件部18生成，并且以编码或软件形式并入CDSS规则数据库16的规则(由医学专家委员会14制定)。推理机20还包括提供用户界面和处理以使得能够输入患者数据以及将编码规则应用到患者数据以便根据患者数据计算或推断医学相关推论的软件。术语“软件”旨在被宽泛地理解为包括在计算机、处理器、控制器、个人数据助理、或其他数字设备上可执行的任意指令集合或集，并且旨在包括被存储在任意数字存储介质上的这种指令，所述数字存储介质例如为磁盘，光盘，磁带，诸如FLASH存储器、只读存储器(ROM)、随机存取存储器(RAM)等的固态读/写存储器，或者存储介质的任意组合。包括于推理机20中的CDSS规则数据库16的编码可能需要常规的编程，或者可能需要生成可执行指令的任何其他运算，例如开发交互相关数据库或其他数据库、诸如Prolog的基于规则的逻辑编程语言等。另外地，推理机20的可执行指令可以为直接可执行机器代码、诸如Java字节代码的中间二进制代码、以诸如BASIC的高级解释语言存储的软件指令，其类似英语的指令由在计算机或其他数字设备上运行的解释器软件“及时(on-the-fly)”编译。进一步地，应当理解推理机20的物理定位是不重要的。推理机20可以在定位于医院或其他医疗设施的计算机上操作，或者可以由医院或其他医疗设施的医务工作者经由因特网访问的远程服务器上操作等。除了推理机20，电子CDSS 10、12的运算部分10任意地包括诸如CDSS数据库22的其他部件，所述CDSS数据库22存储查找表、物理常数、解剖结构模型或由推理机20在执行CDSS规则数据库16中访问并使用的其他数据。

在操作中，一位或多位治疗医师(其中，术语“治疗医师”应当被宽泛地理解为包括做出临床决策的任意一个或多个个体，这样的个体通常为注册医师，但也可以预见到包括注册护士或非注册护士、学校护士、田径训练师、临床放射专家等)面临关于患者的临床决策。这可以发生的一些通常场所包括医院急诊室、医生办公室、其中选手已经受伤的体育场馆、对遭受不适的学生进行治疗的学校护士等。在图1所示出的实施例中，示意性地描述出包括说明性的医院数据库24的医院场所。医院数据库24存储诸如患者记录26(其中的一些任选地经由有线、无线或有线和无线组合的局域网络连接自动地由患者监测器28接收并被患者监测器28存储)以及具有由诸如血液检查实验室、x射线实验室等的诊断实验室获取的信息的实验室记录30的医学相关和患者相关信息。这样存储的信息选意地链路到或拷贝给相应的患者记录26、与出院(或者，在一些实施例中，去世)患者相关的出院记录32、存储由磁共振成像(MRI)、计算机断层摄影(CT)、正电子发射断层摄影(PET)等获取的医学图像的图片归档和通信服务(PACS)34。所示出的医院数据库24为示例，并且其他医院数据库可以包括比所示出的更多、更少或不同的信息，或者可以以不同方式组织信息，或者可以包括多个单独数据库等。如同执行推理机20的系统，医院数据库24可以就地或远程定位，例如，经由因特网访问。另外，在一些实施例中，相同计算机系统或其他数字设备或系统存储并执行医院数据库24和CDSS10、12的运算部分10。

面临临床决策的一位或多位治疗医师可以选择使用CDSS 10、12的运算部分10。然而，代替选择使用CDSS的是，可以预见到，在一些实施例中，一位或多位治疗医师可能需要按照医院规则、管辖区法律等使用CDSS。为此，在患者数据缓冲器40中收集并存储患者数据，使得其可以被提供给推理机20。该患者数据以各种方式进行收集。例如，CDSS 10、12的运算部分10可以经由诸如医院网络或因特网的数字网络从医学数据库24自动检索相关患者数据，或者是如果医院数据库24和CDSS运算部分10都被存储在相同计算机或其他通用数字设备上并在所述计算机或数字设备上执行，并且CDSS过程具有相应医院数据库24的读取访问许可。另外，一位或多位治疗医师和其他操作人可以使用用户界面42将患者数据直接输入医院数据库CDSS运算部分10。(用户界面42可以为桌上计算机或膝上计算机、哑终端(dumb terminal)、个人数字助理等，而与此同时，在图1中描述单个代表性用户界面42，应当理解典型医院或其他医疗场所可以在整个医院的各个位置包括若干、几十个、几百个或更多用户界面，并且进一步地，用户界面可以任意地被定位于医院之外)。患者数据还可以从其他来源收集，例如读取光盘，经由因特网从远程数据库检索，基于救护车的计算机或设备的拷贝，经由有线或无线通信链路从患者监测器28直接读取等。

由推理机20分析患者数据缓冲器40中包含的信息。如果需要附加信息或者附加信息是有用的以便推理机20做出临床决策建议，推理机20可以试图自动获取该信息(例如，通过访问医院数据库24或者直接从患者监测器28读取数据)或者经由用户界面42请求该附加信息来获取该信息。推理机20被配置为提供在选定的由CDSS规则数据库16的范围限定的专业知识的范围内的建议，所述规则被合并入推理机20。例如，推理机20可以具有仅包括心脏问题、或者仅仅心肺问题或脉管问题的运算范围。或者，推理机20可以具有基本上包括整个临床医学领域的运算范围。推理机20的范围由CDSS规则数据库16的范围限定，其可以基于医学专家委员会14的累积专业知识按照需要或宽或窄。一位或多位治疗医师可以通过输入一些关于要做出的临床决策的限制可替代地限制推理机20的运算。例如，在一些实施例中，一位或多位治疗医师可以选择根据在用户界面42上显示的决策选择的菜单做出的临床决策的通常领域。作为示例，菜单可以提供包括“躯干疼痛或不适”；“腹部疼痛或不适”；“呼吸问题”等的列表。可替代地或附加地，要做出的临床决策的通常领域可以根据患者数据进行推断。

如果提供的数据不充分，或者如果要做出临床决策的领域在推理机20的范围之外，那么，推理机20经由用户界面42适当地将其报告给一位或多位治疗医师。在另一方面，如果推理机20接收足够的患者数据并且临床决策在CDSS规则数据库16的范围之内，那么，推理机20将CDSS规则数据库16(以编码软件形式)的相关规则应用到患者数据以生成临床决策建议(通常包括一个或多个建议诊断以及一个或多个建议的疗程)，所述临床决策建议被存储在CDSS诊断和治疗缓冲器44中并且优选地格式化并在用户界面42上以易于理解的英语或另外自然语言的形式清晰化，优选地增加图像、图表、模型或其他图示、模拟语音解释、或者有助于清晰化临床决策建议的其他输出。

CDSS规则数据库16可以采取各种形式。例如，可以如下制定用于说明所检测的肺癌结节的诊断和治疗的规则。通过考虑由计算机断层摄影成像的可疑结节的形态特征和纹理特征，可以估计出可疑结节为癌症的可能性。例如，该可能性可以被表示为在范围[0，1]中的可能性，其中，较高值指示较高的恶性可能性。基于该可能性，易于将诊断呈现给治疗医师，可能连同呈现基于该可能性计算的置信测度。基于针对已经在过去针对该病例使用的特定医疗行为的成功期望的计算适当地选择治疗建议。模糊逻辑是计算成功期望的一种方式。例如，可以限定家庭成员函数，例如，“如果P(恶性)＞0.85，则用于安排活组织检查的期望将为高，如果P(恶性)＜0.65，则该期望将为低”。可以针对其他临床选项限定类似期望，例如，安排在六个月中的跟踪计算机断层摄影检查等。建议疗程可以被选择为这些医疗行为的一个或其组合。

在另一方法中，CDSS规则数据库16可以包括用于从医院数据库24中识别类似病例的规则。例如，通过将重要性权重分配给不同患者数据，并将相似性确定为由针对每个相应特征的重要性权重加权的该特征的相似性的和来构造这样的规则。可以被适当地并入这种加权组合的一些患者数据可以包括，例如：诸如年龄、体重、民族或性别的患者描述特征；诸如心率、血压或呼吸率的监测数据；诸如胸痛的症状(并且可能地其剧烈性的测量)、呼吸困难度或睡眠困难度等的症状；等等。一些这样的权重可以为二元参数，例如，要么患者具有可疑的肺结节要么患者没有可疑的肺结节。一些这样的二元权重可以被用作过滤器而非权重——例如，在考虑具有可疑肺结节的患者时，不将未识别出可疑肺结节的任意其他患者考虑为“类似病例”是有意义的。通过使用这样的规则识别类似病例，治疗建议可以被给出为在大多数类似比病例中使用的具有成功疗效的治疗，或者在N种最相似病例的具有成功疗效的治疗的一些组合。

经由用户界面42将临床决策建议报告给一位或多位治疗医师，并且还存储在CDSS治疗数据库50中，所述CDSS治疗数据库50跟踪由CDSS的运算部分10做出的临床决策建议。运算部分10还包括异常值检测器52，其目的为识别“异常值”病例，所述“异常值”病例为由运算CDSS部分10处理的患者病例的子集，所述患者病例被检测为基本上有可能检验出推理机20的可能缺陷。

术语“推理机的缺陷”被宽泛地理解为包括CDSS规则数据库16中的任何误差、将这些规则编码成软件的任何误差，以及查找表或CDSS数据库22中包含的并由推理机20在生成临床决策建议中使用的其他参考信息中的任何误差。术语“推理机的缺陷”不包括经由患者数据缓冲器40提供给推理机20的患者数据中的误差(尽管必须领会到可以制度CDSS的一些规则以确保输入患者数据的合理性，例如，规则可以将任意高于250心跳每分钟的输入患者心率标志为可能为不正确输入，并且在这种情况下，“缺陷”可以包括询问合理患者数据或者未能清楚地询问不合理患者数据的不够理想规则)，并且还不包括在执行由CDSS运算部分10提供的临床决策建议中的任何医师误差(尽管再一次领会到，可以制定CDSS的一些规则以基于在开始患者治疗之后接收的患者输入数据识别并警告平常治疗实施误差，并且在该情况中“缺陷”可以包括提出关于治疗实施的无足轻重问题或者未能清楚地识别不正确的治疗实施的不够理想规则)。

另外，由医师做出以克服或忽略由CDSS运算部分10提出的临床决策建议的决策不被看作推理机的缺陷，除非这种克服或忽略的决策受到CDSS运算部分10的建议的清晰性不足的激励或影响，建议的清晰性被看作是编码推理法则的一部分。被定性为推理机的缺陷的清晰性不足可以为错误的清晰性(例如，建议的清晰性并没有确切地表示该建议)或者可以为正确但难以令人信服的清晰性(例如，建议的清晰性事实上是正确的，但呈现得如此之差使得医师不能领会建议的合理性)。例如，仅仅说明“应用身体降温以引起适当低体温”的建议可以被认为推理机的缺陷，这是由于明智的治疗医师可以选择不遵循该简短且潜在有害的建议。在另一方面，校正该缺陷的建议可以为“症状建议脊椎损伤有可能引起具有引起永久性局部瘫痪或死亡的高可能性的危险肿胀。建议应用身体降温以引起适当低体温，从而降低肿胀。参见……”其中，“……”提供相关医学研究的引用。

异常值检测器52监测CDSS治疗数据库50从而检测可以检验出推理机20的缺陷的异常值病例，其在该背景中包括CDSS数据库22。基本使用识别潜在可检验病例的任意一个或多个异常值检测准则可以检测异常值病例。由于医学是模糊科学，因此检测异常值病例并不琐碎。可能存在CDSS提供合理治疗建议，但仍存在不利疗效的患者病例。相反地，可能存在CDSS提供非合理治疗建议，然而患者有良好疗效的患者病例。另外，疗效的确定可以是不明确的——例如，如果患者病重住院，并且危重情况持续数周，但是最终康复，确定这是“良好”疗效还是“不良”疗效取决于各种因素和考虑。

作为示例，异常值检测器52使用下面一组规则检测异常值病例。异常值病例为满足下面三个条件之一的病例：

A.未遵循CDSS提供的建议，然而疗效良好。

B.未遵循CDSS提供的建议，且疗效不良。

C.遵循CDSS提供的建议，但是疗效不良。

该异常值准则之后的基本原理如下。在满足条件A的任何病例中，治疗医师有可能识别出CDSS治疗建议的缺陷，这就是医师没有采取CDSS治疗建议的原因。实际治疗成功的事实还建议治疗医师可以有一些有价值的自知力。因此，满足条件A的患者病例被适当地检测为异常值病例。

在满足条件B的任意病例中，治疗医师再次推测CDSS建议有一些缺陷。由于实际治疗提供了不良疗效，因此，与满足条件A的病例相比，治疗医师更有可能错误地决定不采用CDSS建议。但是，在满足条件B的情况中，医师还基本上有可能对CDSS治疗建议的一些缺陷有一些有价值的自知力或者识别。另外，即使CDSS治疗建议是合理的并且治疗医师使用不良判断而没有采用它，在确定推理机20在其对CDSS治疗建议的清晰性中是否存在缺陷时，考虑满足条件B的患者病例是有用的。换言之，或许CDSS治疗建议可以在清晰性上更加清晰，从而治疗医师能够看到建议的合理性。

由于不管治疗医师遵循CDSS治疗建议的不良疗效实质上证明了治疗建议存在缺陷，因此满足条件C的任意病例为异常值。

三个条件A、B、C可以被简化为如下两种更简单条件：

1.未遵循CDSS提供的建议。

2.遵循CDSS提供的建议，但疗效不良。

有利地，通过使用条件(1)、(2)重新制定异常值准则，结果为条件(1)可以被用于在不考虑患者疗效的情况下识别一些异常值病例。这是有利的，因为治疗医师或他或她的专业同事可能不愿意将疗效归类为不良，尤其由于治疗医师肯定地且独立地确定不采用CDSS治疗建议。因此，可能地，在一些情况中，仅仅可以得到实际治疗建议，而不能得到有用的患者疗效量度。

条件(2)为依赖于疗效的。然而，仅仅当治疗医师遵循CDSS治疗建议时可以保持条件(2)。结果，治疗医师根据CDSS治疗建议采取行动，并且因此如果合适的话可能更愿意将患者疗效归类为不良。

在一些病例中，患者疗效可能是不可获得的。例如，考虑到潜在的职业过失责任，医院可能不愿意将任何疗效归类为不良。另外，如前面所注意到的，很难评估疗效是良好还是不良。在该病例中，可以预见到使用仅包括条件(1)的异常值准则。

在其他可预见到的实施例中，可以使用包括仅单个条件的异常值准则：将CDSS提供治疗建议且疗效不良的患者病例检测为异常值病例。该准则有利地独立于实际治疗，并且可以有效地结合具有生成建议的复杂疗程的推理机的CDSS系统，其中所述疗程例如包括两个或更多相异且单独的治疗行为(例如，建议提供静脉注射流体并且向患者提供药物“X”)。在这样的系统中，确定是否遵循复杂的多组分治疗方案可能是模糊的(例如，如果治疗医师为患者提供静脉注射流体但是选择不指定药物“X”，那么，所建议的治疗仅仅被部分遵循)。

另一可预见到的异常值准则为被设计为使异常值检测器52识别具有特定感兴趣特征的患者病例的用户限定异常值准则。例如，医学专家委员会14可能需要这样的异常值准则，所述异常值准则收集激活可能为试行的特定规则的病例，或者收集关于特定罕见情况的统计以提供用于制定要在CDSS规则数据库16的后面修订中实施的新准则的数据。例如，异常值准则可以将任意患有镰状细胞贫血的患者检测为异常值病例，或者可以将CDSS为其应用某一规则或者规则集合以基于具体症状进行诊断的任意患者检测为异常值病例。

上述为异常值规则的说明性示例，取决于可用的信息可以应用其他异常值规则。对于采用条件(1)和(2)的说明性规则，CDSS运算部分10适当地包括提供在评估条件(1)时使用的实际治疗信息的指定治疗数据库54以及提供在评估条件(2)时使用的疗效信息的患者疗效数据库56。在一些实施例中，可以在多于一个时间点时确定患者疗效，所述时间点例如在患者住院之后的二十四小时时；在患者住院后的一周时；以及在患者出院(广泛地理解为包括患者死亡)时。在这种实施例中，如果在这些多个确定点的任意一个或多个时患者疗效不良，可以认为满足条件(2)。

在异常值数据库60中收集与由异常值检测器52检测的异常值病例有关的信息，用于医学专家委员会14在下一CDSS修订过程中进行考虑。例如，如果每年发布新的CDSS修订，那么，异常值数据库60可以收集与九个月的异常值病例有关的信息。如此处所使用的，在异常值数据库60中收集的信息旨在被理解为包括存储在数据库60中的信息以及可以被存储在其他地方但通过指针或其他参照被合并入异常值数据库60的信息。例如，异常值数据库60可以包括到患者记录26的链路或指针而不包含记录内容的拷贝——在这种情况下，所链接的患者记录26的内容被认为是在异常值数据库60中收集或存储的内容。在选定时间，异常值报告生成器62被调用以生成异常值报告64。在一些实施例中，隐私过滤器66被插入异常值数据库60和异常值报告生成器62之间(或者在格式化处理路径的报告中的其他地方)以过滤掉可能损害患者隐私的任意信息。例如，在U.S.设置中，隐私过滤器66可以为移除可以识别特定患者的任意信息(例如，姓名、地址信息、雇佣信息等)的依从HIPAA的复合隐私过滤器，从而确保异常值报告64符合健康保险流通与责任法案(HIPAA)的患者隐私规定。在其他实施例中，异常值报告64包括一些患者识别信息，但由医学专家委员会14保密。

可以在不同医院或其他医疗场所中使用多个运算CDSS部分10，并且升级部分12可以为单独设置。例如，升级部分12可以在软件卖主处工厂实施，而运算CDSS部分10可以为在已经购买、租用或以其他方式从卖主处获取运算CDSS部分10的多个医院或其他医疗场所中使用的设置。在这样的情况下，异常值报告64任意地使用多个运算CDSS部分10的异常值数据库60的组合累积内容生成，每个运算CDSS部分10经由安全因特网连接或另一安全连接将其收集的异常值病例数据适当地传送到单个升级部分12，任意地在由隐私过滤器66过滤之后。这样，异常值报告64包括多个所安装的异常值数据库60的累积内容。

由CDSS 10、12的升级部分12执行修订过程。在CDSS修订过程中，医学专家委员会14基于异常值报告64和其他可获得信息修订CDSS规则数据库16的规则，所述其他可获得信息例如为当前医学杂志文章、由委员会成员累积的新知识、关于最新获取的或最新可得到的医学仪器的信息等。基于异常值报告64，医学专家委员会14可以识别不是医学合理的规则，如由特定异常值病例证明的，其中，规则由推理机20正确地实施以根据规则生成治疗建议，而医师指定不同且比由(如由委员会14确定的)规则建议的治疗更好的治疗。基于异常值报告64，医学专家委员会14还可以识别不是医学合理的规则，如由特定异常值病例所证明的，在所述情况中，规则由推理机20正确地执行以根据规则生成治疗建议，并且医师遵循该建议治疗，但是患者疗效仍然不良。

另外，医学专家委员会14可以基于异常值报告64识别医学合理但未由编程部18正确编码的规则。这样的情形可以在异常值报告18中由特定异常值病例证明，其中，推理机20生成医师未遵循或者医师遵循但生成不良患者结果的治疗建议。在评审由异常值报告64提供的患者信息时，委员会可以确定由CDSS生成的治疗建议未根据规则16。这识别应当在下一修订过程中由软件部18校正的编码误差。

修订过程的结果为实施由医学专家委员会14开发的规则改变的CDSS修订发布70，以及校正医学合理规则的误差编码的任何编码校正。CDSS修订发布70用于升级推理机20的软件编码的CDSS规则数据库以及CDSS数据库22以校正不合理的规则或编码误差。CDSS修订发布70还可以包括其他改变，例如升级的用户界面对话、改进的编码以提高速度、到新的硬件平台的迁移等。

CDSS修订发布70可以在使用异常值数据库60的一些或所有异常值病例安排之前任意地被确认。在异常值数据库60中累积的异常值病例提供了用于验证新修订发布70的合适数据库。使用CDSS的试验台实现可以将这样的验证合适地自动化(例如，在医院计算机上，或者在卖主工厂的专用测试台计算装置上)。测试台运算CDSS部分用新的修订发布70进行更新，并接收异常值数据库60中累积的异常值病例作为输入。由测试台CDSS实施生成的感兴趣结果，例如与根据那些之前修订的输出不同的输出或者与由医学专家基于修订规则期望的输出不同的输出，由医学专家委员会14并且任选地由软件部18标记以进行手动评审。该验证过程可以重复执行以调节规则并校正编码误差直到经验证的CDSS修订发布70为在异常值数据库60中累积的大多数或者所有异常值病例提供合理诊断和治疗建议。之后，经验证的CDSS修订发布70被部署用于为新患者病例提供临床决策支持。使用异常值数据库60作为用于每个新CDSS修订发布70的验证数据库有利地影响异常值病例的累积以提供增加的CDSS改进，使得随时间逐渐改进CDSS能够为异常值病例提供合理诊断。

异常值检测准则被设计为通常地涵盖较广。这种涵盖较广的准则可能错过可检验出推理机的潜在缺陷的一些病例。例如，基于条件(1)和(2)的说明性准则将错过其中建议的疗程为医学不合理但被遵循的任意病例，但是患者疗效仍然令人满意。然而，更常见的情形是，患者病例可以满足通常涵盖较广的异常值检测准则，但并不能检验出推理机的任何缺陷。例如，条件(1)将其中治疗医师不采用合理且清晰性好的CDSS治疗建议的任意患者病例检测为异常值病例，尽管这种病例并不能检验出推理机的任何缺陷。

通过使用通常涵盖较广的异常值检测准则，CDSS修订过程依赖于医学专家委员会14在制定最终确定哪些患者病例实际上可检验出推理机的缺陷时的专业知识。这是有利的，因为这些医学专家可以考虑不能由异常值检测算法考虑的若干因素，并且可以考虑不易于简化为公式的信息，例如与治疗医师座谈。另外，与在没有鼓励的情况下仅由自我报告获取的信息相比，医学专家委员会14在不良疗效的情况下可以获取更多信息。异常值报告64的目的为当评审并修订当前CDSS版本时，将一组紧缩高值数据有效地带给委员会14供其考虑。另外，在检测编码误差时所提供的异常值是有用的，这是由于当由CDSS提供的建议与由专家14制定的规则不同时，医学专家委员会14完全能够进行识别。

参照图2，将用于异常值报告64的适当的说明性格式表现为示例。报告包括患者识别数字80，所述患者标识数字80为使得患者在保持患者隐私的同时能够被跟踪的跟踪数字。或者，如果医学专家委员会14为充分有限的访问，可以提供实际患者姓名或者其他患者识别信息。说明性异常值报告格式还提供一位或多位治疗医师82的姓名，和/或其他适合的医学个体联系信息。

通过提供患者识别80以及识别医学联系个体82的识别，如果其与CDSS修订过程有关，医学专家委员会14可以选择遵循该病例。例如，委员会14可以选择与治疗医师座谈以获取医师对异常值病例的自知力，和/或可以选择接联系患者以从患者获取另外的信息，或者请求得到允许评审用于可能的相关信息的患者记录。

用于异常值报告64的说明性格式还提供关于异常值病例的日期信息84，其在所示出的示例中包括治疗开始和结束的日期(例如，关于住院患者的住院和出院的日期)以及CDSS版本。后一信息可以用于从异常值报告64中过滤存储在异常值数据库60中的较老的异常值病例。或者，在异常值报告64中可以包括最近两个或三个修订中的异常值病例以向委员会14提供更多数据。来自之前修订的异常值病例可以被保留在异常值数据库60中以供在使用测试台CDSS实施方式测试新的修订发布70时使用。保留各修订的至少一些异常值病例提供了对较新修订的质量控制核查，以及用于测试台的更大数据库。在异常值报告64中包括CDSS版本信息还使得委员会14能够辨认出自之前版本升级延续的“延续”病例，以提供对在观察之下的异常值的特定分类的长期监测。

可能地考虑到在隐私相关和法律考虑的范围内，异常值报告64优选地提供患者数据86的概要，这可以包括分类数据(例如，性别、年龄、民族等)、生理监测数据(例如，脉冲率读数、SpO₂读数等)、患者的实验室检查结果以及关于患者的其他基本客观信息。尽管在示意性的图2中，患者数据86由若干代表线表示，但是可以预见到每个异常值病例的患者数据部分86能够占据报告的多页，这是由于该信息可以为占用体积的并且为医学专家委员会14在确定(如果存在的话)关于CDSS推理机中的潜在缺陷的异常值病例是否具有检验性质时的基本值。另外，要理解异常值报告64可以以印刷形式或电子形式进行评审；在后一情况中，可以预见到异常值报告将被显示在计算机监测器或者其他电子显示设备上而不必打印，并且可以从诸如医院数据库24的适当电子存储器或者诸如评审医学专家的个人计算机的硬盘的本地存储介质来检索异常值报告以进行电子显示。异常值报告64的显示或者打印可以任选地需要访问并使用程序库程序、“辅助者”程序等——例如，可以使用PACS 34的图像显示软件来显示与异常值病例相关的图像。

异常值报告64还为患者提供由推理机20生成的临床决策建议90。在所示出的示例中，临床决策建议90包括CDSS诊断和CDSS治疗建议。还提供了实际指定的疗程92。任选地，还提供CDSS诊断/治疗变化总结94，如果给定其识别指定治疗和CDSS建议之间的差别(如果存在的话)。可以预见到该任选的变化总结对医学专家委员会14有用，所述医学专家委员会可能有几十个或者甚至几百个，或者更多的异常值病例来评审。在这样的高工作量环境下，变化总结94可能对使委员会14能够快速断定当前评审的异常值病例是遵循了CDSS建议的病例还是治疗医师选择不采用CDSS建议的病例是有用的。作为进一步辅助，异常值报告64任选地包括医师治疗注释部分96(在图2中示出的示例中，医师不提供注释，因此符合“N/A”用于报告的这一输入项)。如果可以获得，治疗医师的注释对于委员会14理解实际检查患者的医学个体的自知力是有价值的。在另一方面，如前所注意到的，在一些病例中，治疗医师可能不愿提供手写的注释，从而医师治疗注释部分96可能如所示出地为符合“N/A”等。如果合适，委员会14可以选择直接与治疗医师联系(在部分82给出医师的姓名以及任选的联系信息)，以及进行口头座谈(自愿地或者，在一些实施例中，例如在医师的医院特权协定下强制地)以获取治疗医师的自知力。

如果可以获得，异常值报告64还提供患者疗效信息100。该信息可以为各种形式并且可以包括各种内容，这取决于可以获得关于患者疗效的哪些信息(如果存在)。在一些实施例中，根据在患者出院电子记录中的一个或多个重要输入项电子地获取患者疗效信息。在一些实施例中，从患者记录26的其他部分电子地获取患者疗效信息。在一些实施例中，手动获取患者疗效信息，例如，由治疗医师填写的自我报告表来手动获取患者疗效信息。在一些实施例中，可以获取并报告这些或其他患者疗效信息的一些组合。在所示出的实施例中，对应于不同的时间报告多个患者疗效100，所述时间例如为患者住院之后的24小时、患者住院之后呆呆地的一周，以及出院时。在一些情况中，仅有这些不同患者疗效中的一个或一些相关和/或可以获得。这是有用的，因为患者疗效可能在不同时间而不同(例如，在头24小时患者状况可能没有改善或退化，但是第一周可能有实质上的改善。)如果可能，也可以为治疗医师102关于患者疗效的后续注释提供输入项(在所示的图2的示例中，没有注释，因此为符合“N/A”)。如同治疗医师关于指定诊断的注释一样，关于患者疗效102的医师注释对于委员会14是有价值的，但是在一些情况下不容易获得。

异常值报告64任选地可以包括不同的、另外的或者其他的对于医学专家委员会14评估关于在包括CDSS数据库22的推理机20中的潜在缺陷的异常值病例的重要性有其潜在价值的选定信息。在所示出的示例中，所提供的其他信息包括具有其他类似病例的参照索引的参照索引部分104。在一些实施例中，“类似病例”可以被限制到类似异常值病例，而在其他实施例中，“类似病例”可以包括针CDSS提供建议但是不能被定性为异常值病例的其他患者病例。参照索引部分104在识别可能与确定推理机中的潜在缺陷相关的其他病例时是有用的。

已经描述了优选实施例。在阅读并理解上述详细描述之后他人会想到各种修改和变更。本发明旨在被理解为包括所有这些修改和变更只要它们在权利要求或其等价物的范围内。

Claims

1.一种电子临床决策支持系统(CDSS)(10、12)，包括：

推理机(20、22)，其被配置为基于与患者有关的信息生成针对所述患者的临床决策建议，所述推理机包括由多位医学专家(14)开发并编码成软件的规则(16)；

电子异常值检测器(52)，其被配置为检测可检验出所述推理机的潜在缺陷的异常值病例；

异常值数据库(60)，其被配置为收集与由所述电子异常值检测器检测到的所述异常值病例有关的信息；以及

异常值报告生成器(62)，其被配置为生成关于由所述电子异常值检测器检测到的所述异常值病例的报告(64)，所生成的报告包含所述异常值数据库中所收集的至少一些信息。

2.根据权利要求1所述的电子CDSS(10、12)，其中，所述电子异常值检测器(52)被配置为将异常值病例检测为具有如下准则的至少一个的任意病例：

(i)由所述推理机生成临床决策建议但并未遵守；或者

(ii)由所述推理机生成临床决策建议而所述患者有不良疗效。

3.根据权利要求1所述的电子CDSS(10、12)，其中，所述电子异常值检测器(52)接收在患者出院期间记录的患者疗效作为输入，并且将具有在患者出院期间记录的不良患者疗效的任意病例检测为异常值病例。

4.根据权利要求1所述的电子CDSS(10、12)，其中，所述电子异常值检测器(52)接收在多个相继时间记录的多个患者疗效作为输入，并且将具有至少一个所记录的不良患者疗效的任意病例检测为异常值病例。

5.根据权利要求1所述的电子CDSS(10、12)，其中，所述电子异常值检测器(52)接收指定的患者治疗作为输入，并且将所述指定的患者治疗基本上不同于由所述推理机(20、22)针对所述患者生成的所述临床决策建议的任意病例检测为异常值病例。

6.根据权利要求5所述的电子CDSS(10、12)，其中，所述异常值数据库(60)被配置为收集关于为什么指定的患者治疗基本不同于由所述推理机(20、22)针对所述患者生成的所述临床决策建议的医师注释。

7.根据权利要求1所述的电子CDSS(10、12)，其中，所述异常值数据库(60)被配置为收集一位或多位治疗医师的姓名。

8.根据权利要求1所述的电子CDSS(10、12)，其中，所述异常值数据库(60)被配置为针对每位患者收集：

由所述推理机(20、22)针对所述患者生成的临床决策建议；

针对所述患者指定的患者治疗；以及

所述患者的疗效。

9.根据权利要求1所述的电子CDSS(10、12)，还包括：

修订发布(70)，其被配置为至少更新所述推理机(20、22)，所述修订发布包括通过如下方式生成的更新软件：(i)至少部分基于关于异常值病例的所述报告(64)的评审来更新由多位医学专家(14)开发的所述规则(16)，以及(ii)将更新后的规则编码成软件。

10.根据权利要求1所述的电子CDSS(10、12)，还包括：

修订发布(70)，其被配置为至少更新所述推理机(20、22)，所述修订发布包括通过如下方式生成的更新软件：(i)至少部分基于关于异常值病例的所述报告(64)评审来更新由多位医学专家(14)开发的所述规则(16)，(ii)将更新后的规则编码成软件，以及(iii)针对所述异常值数据库(60)的内容验证所述软件。

11.根据权利要求1所述的电子CDSS(10、12)，其中，所述推理机(20、22)包括包含被不正确编码成软件的合理规则的软件误差，所述电子CDSS还包括：

修订发布(70)，其被配置为至少更新所述推理机，所述修订发布包括通过如下方式生成的更新软件：(i)基于关于异常值病例的所述报告(64)的评审识别所述软件误差，以及(ii)配置所述更新软件以从所述推理机移除所述软件误差。

12.一种用于操作包括推理机(20、22)的电子临床决策支持系统(CDSS)(10、12)的方法，所述推理机(20、22)包括被配置为根据临床决策规则(16)生成临床决策建议的软件，所述方法包括：

使用所述推理机生成针对患者病例的临床决策建议；

检测包括所述患者病例的子集的异常值病例，针对所述异常值病例所述推理机生成的临床决策建议将有可能检验出所述推理机的一个或多个潜在缺陷；以及

收集与所述异常值病例有关的信息。

13.根据权利要求12所述的方法，其中，所述检测包括：

将所述推理机(20、22)生成临床决策建议且患者疗效不良的异常值病例检测为患者病例。

14.根据权利要求12所述的方法，其中，所述检测包括：

将所述推理机(20、22)生成临床决策建议且所述患者病例中指定的患者治疗基本上不同于所生成的临床决策建议的异常值病例检测为患者病例。

15.根据权利要求12所述的方法，其中，所述检测包括：

将具有下述条件的至少一个的异常值病例检测为患者病例：

(i)患者疗效不良，以及

(ii)指定的患者治疗基本上不同于所述临床决策建议。

16.根据权利要求12所述的方法，还包括：

更新所述推理机以校正基于所收集到的与所述异常值病例有关的信息而检测到的至少一个缺陷；以及

针对所收集到的与所述异常值病例有关的信息验证更新后的推理机。

17.根据权利要求16所述的方法，其中，所述更新包括：

基于与所述异常值病例有关的所述信息更新临床决策规则；以及

重新配置所述推理机(20、22)以根据经更新后的临床决策规则生成临床决策建议。

18.根据权利要求16所述的方法，其中，所述更新包括：

基于与所述异常值病例有关的所述信息识别所述推理机(20、22)中的软件误差，所述软件误差令所述推理机生成并非根据一个或多个所述临床决策规则(16)的临床决策建议；以及

从所述推理机移除所识别的软件误差。

19.根据权利要求16所述的方法，还包括：

生成关于所述异常值病例的报告(64)，所生成的报告包含所述异常值数据库中收集的至少一些信息，所生成的报告被在所述更新中涉及的医学专家(14)所参考。

20.一种计算机可读介质，其携载有被配置为控制处理器以执行根据权利要求12所述的方法的计算机代码。

21.一种用于包括推理机(20、22)的电子临床决策支持系统(CDSS)(10、12)的监测系统，所述推理机(20、22)包括被配置为根据临床决策规则(16)生成临床决策建议的软件，所述监测系统包括：

电子异常值检测器(52)，其被配置为检测包括具有下述至少一个的患者病例的子集的异常值病例：(i)所述推理机生成未被遵循的临床决策建议以及(ii)所述推理机生成临床决策建议并且所述患者疗效不良；以及

异常值数据库(60)，其被配置为收集与由所述电子异常值检测器检测到的所述异常值病例有关的信息。

22.根据权利要求21所述的监测系统，其中，所述异常值数据库(60)至少存储由所述推理机(20、22)生成的所述临床决策建议和指定的治疗。

23.根据权利要求22所述的监测系统，其中，所述异常值数据库(60)还包括：

异常值报告生成器(62)，其被配置为生成关于由所述电子异常值检测器(52)检测到的所述异常值病例的报告(64)，所生成的报告至少包含由所述推理机(20、22)生成的所述临床决策建议和指定的治疗。