CN107958321A - 模型验证系统和方法 - Google Patents

Abstract

本公开涉及模型验证系统和方法，其中模型验证系统包括存储器和处理器。处理器使得模型验证者能够从所分配的一组模型选择用于验证的模型。每个模型包括多个预限定属性。处理器还通过限定与所选择模型相关的一组问题来帮助模型开发者和模型验证者之间的交互，并识别针对所选择模型的多个模型风险。处理器使用一组统计测试来设计验证工作计划。验证工作计划将所识别的模型风险作为因素计入，并且模型验证者从存储在代码库中的多个统计测试选择该组统计测试。处理器执行用于验证工作计划的该组所选择的统计测试以生成所选择模型的一组验证结果，并将多个模型风险分类到一个或多个类别中。基于在所选择模型的验证期间获得的该组验证结果来执行分类。

Description

模型验证系统和方法

技术领域

至少一个示例实施例大体上涉及模型验证，并且更具体地涉及系统化模型验证并且提供对传遍银行操作范围的广泛模型套件的监督以及按照监管标准对模型风险的识别的系统和方法。

背景技术

通常，为了使银行和其他金融机构在压力场景、保障资本、流动性、保护消费者资产和确保资本充足性下顺利运行，必须识别潜在风险。潜在风险仅能够通过严格的模型验证和连续模型监视来识别。如今，由于银行使用量化模型的增加，模型风险管理变得更加重要和有挑战性。

在2008年金融危机瓦解之后，监管机构急剧提高了针对模型验证的监管要求。此外，监管要求随时间频繁修改，并且难以满足。因此，模型验证者为获得模型开发以及验证寿命周期的代表性观点面临许多困难。

模型验证者需要理解模型开发，准备验证工作流设计，并且根据合规标准生成验证报告。为了消除模型开发与其验证之间的差距，模型验证者需要理解特定模型的开发。

因此，需要高效的模型验证系统和方法来确保信息在模型开发者、模型验证者和验证监督者之间容易流动。

发明内容

以下发明内容仅是说明性的，并且不意图以任何方式进行限制。除了上述说明性方面、示例实施例和特征之外，通过参考附图和以下详细描述，其他方面、示例实施例和特征将变得显而易见。

示例实施例提供了一种模型验证系统，其关注于将良好限定和高效的结构带到模型验证。简而言之，根据示例实施例，提供了一种模型验证系统。模型验证系统包括其中存储有计算机可读指令的存储器和处理器。处理器被配置为使得模型验证者能够从所分配的一组模型选择用于验证的模型。每个模型包括多个预限定属性。处理器还被配置为通过限定与所选择模型相关的一组问题来帮助模型开发者和模型验证者之间的交互。处理器被配置为识别针对所选择模型的多个模型风险，并使用一组统计测试来设计验证工作计划。验证工作计划将所识别的模型风险作为因素计入，并且模型验证者从存储在代码库中的多个统计测试选择该组统计测试。处理器被配置为执行用于验证工作计划的该组所选择的统计测试，以生成所选择模型的一组验证结果，并将多个模型风险分类到一个或多个类别中。基于在所选择模型的验证期间获得的该组验证结果来执行分类。

根据再另一示例实施例，提供了一种用于验证模型的方法。该方法包括使得模型验证者能够从所分配的一组模型选择用于验证的模型。每个模型包括多个预限定属性。该方法还包括利用与所选择模型相关的一组问题来帮助模型开发者和模型验证者之间的交互。另外，该方法包括识别针对所选择模型的多个模型风险并使用一组统计测试来设计验证工作计划。验证工作计划将所识别的模型风险作为因素计入。模型验证者从所存储的多个统计测试选择该组统计测试。此外，该方法包括执行用于验证工作计划的该组所选择的统计测试，以生成所选择模型的一组验证结果。该方法还包括将多个模型风险分类到一个或多个类别中。基于在所选择模型的验证期间获得的该组验证结果来执行分类。

附图说明

当参考附图阅读以下详细描述时，示例实施例的这些和其他特征、方面和优点将变得更好地理解，其中遍及附图相同的符号表示相同的部件，其中：

图1是根据示例实施例的执行模型验证系统的模块的计算设备的实施例的框图；

图2是根据示例实施例的模型验证系统的框图；

图3是根据示例实施例的图示通过其使用图2的系统来验证模型的过程的流程图；

图4-A和图4-B是根据示例实施例的描绘包括由模型验证系统的问卷模块向模型验证者提供的用于理解正被验证的模型的一组问题的“模型问卷”的示例用户界面；

图5是根据示例实施例的描绘识别多个模型风险的工作流设计模块所设计的“工作计划”屏幕的示例用户界面；

图6-A是根据示例实施例的图示描绘了将模型风险分类到一个或多个风险区域中以及针对所选择模型分类的每个风险的验证测试计划的“模型测试”屏幕的示例用户界面；

图6-B是根据示例实施例的描绘示出验证的结果和观察并且提供建议的“模型测试”屏幕的示例用户界面；

图7是根据示例实施例的图示“代码库”和“工作台”的示例用户界面；

图8是根据示例实施例的图示示出详细验证报告的“执行概要报告”的示例用户界面；

图9是根据示例实施例的描绘使得模型验证者能够访问多个库的“知识库”屏幕的示例用户界面；

图10-A和图10-B是根据示例实施例的描绘展示在开发者、监督者和模型验证者之间在模型验证过程期间发生的全部所捕获通信的“对话日志”屏幕的示例用户界面；

图11是根据示例实施例的图示用于“监督者首页动作计划”的屏幕的示例用户界面；以及

图12是根据示例实施例的图示采用说明验证过程的状态的图形表示的“执行概要”的示例用户界面。

具体实施方式

附图被认为是示意性表示，并且附图中图示的元件不一定按比例示出。相反，各种元件被表示为使得它们的功能和一般目的对于本领域技术人员是显而易见的。附图中所示或本文所述的功能块、设备、组件或其他物理或功能单元之间的任何连接或耦合也可以通过间接连接或耦合来实现。也可以通过无线连接建立组件之间的耦合。功能块可以以硬件、固件、软件或其组合实现。

现在将参考附图更全面地描述各种示例实施例，在附图中仅示出了一些示例实施例。本文公开的具体结构和功能细节仅仅是表示性的，以用于描述示例实施例的目的。然而，示例实施例可以以许多替代形式具体化，并且不应被解释为仅限于本文阐述的示例实施例。

因此，虽然示例实施例能够具有各种修改和替代形式，但是示例实施例在附图中作为示例示出并且将在本文中详细描述。然而，应当理解，不意图将示例实施例限制为所公开的特定形式。相反，示例实施例要覆盖其所有修改、等同物和替代物。遍及附图的描述，相同的附图标记指代相同的元件。

在更详细地讨论示例实施例之前，要注意，一些示例实施例被描述为被描绘为流程图的过程或方法。虽然流程图将操作描述为顺序过程，但是许多操作可以并行地、并发地或同时地执行。另外，可以重新布置操作的次序。过程可以在其操作完成时终止，但也可以具有不包括在附图中的附加步骤。过程可以对应于方法、功能、过程、子例程、子程序等。

本文公开的具体结构和功能细节仅仅是表示性的，以用于描述示例实施例的目的。然而，本发明构思可以以许多替代形式具体化，并且不应被解释为仅限于本文阐述的示例实施例。

将理解，虽然本文中可以使用术语第一、第二等来描述各种元件，但是这些元件不应受这些术语限制。这些术语仅用于将一个元件与另一个元件相区分。例如，在不脱离示例实施例的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。如本文所使用的，术语“和/或”包括相关联的所列出项目中的一个或多个的任何和所有组合。短语“至少一个”具有与“和/或”相同的含义。

此外，虽然术语第一、第二等可以在本文中用于描述各种元件、组件、区域、层和/或部分，但是应当理解，这些元件、组件、区域、层和/或部分不应受这些术语限制。这些术语仅用于将一个元件、组件、区域、层或部分与另一个区域、层或部分相区分。因此，在不脱离本发明构思的范围的情况下，下面讨论的第一元件、组件、区域、层或部分可以被称为第二元件、组件、区域、层或部分。

使用包括“连接”、“接合”、“对接”和“耦合”的各种术语描述元件之间（例如，模块之间）的空间和功能关系。除非明确地描述为“直接”，否则当在上述公开中描述第一和第二元件之间的关系时，该关系包括其中在第一和第二元件之间不存在其他中间元件的直接关系，并且还包括其中在第一和第二元件之间（在空间上或功能上）存在一个或多个中间元件的间接关系。相反，当元件被称为“直接地”连接、接合、对接或耦合到另一元件时，不存在中间元件。用于描述元件之间的关系的其他词语应以相似的方式解释（例如“之间，”对“直接在……之间，”、“相邻，”对“直接相邻，”等）。

本文所使用的术语仅用于描述特定示例实施例的目的，而不意图是限制性的。如本文所使用的，除非上下文另有明确说明，否则单数形式“一”、“一个”和“该”也意图包括复数形式。如本文所使用的，术语“和/或”和“……中的至少一个”包括相关联所列出项目中的一个或多个的任何和所有组合。还将理解，当在本文中使用时，术语“包括”、“包括有”、“包括”和/或“包括有”指定所陈述特征、整数、步骤、操作、元件和/或组件的存在但不排除一个或多个其他特征、整数、步骤、操作、元件、组件和/或其群组的存在或添加。

还应注意，在一些替代实现中，所述的功能/动作可以不按附图中所述的次序发生。例如，取决于所涉及的功能/动作，连续示出的两个图实际上可以基本上并发地执行或者有时可以以相反次序执行。

除非另有限定，否则本文使用的所有术语（包括技术和科学术语）具有与示例实施例所属的领域中的普通技术人员通常理解的相同的含义。将进一步理解的是，术语（例如，在常用词典中限定的那些术语）应当被解释为具有与它们在相关领域的上下文中的含义一致的含义，并且将不以理想化或过度形式化意义解释，除非在本文明确地限定如此。

在本文中可以使用空间相对术语（诸如“下面”、“之下”、“下方”、“之上”、“上方”等）以便于描述如图所示的一个元件或特征与另外的（一个或多个）元件或（一个或多个）特征的关系的描述。将理解，空间相对术语意图包括除了图中所示的定向之外的使用或操作中的设备的不同定向。例如，如果图中的设备翻转，则被描述为在其他元件或特征“之下”或“下面”的元件将被定向为在其他元件或特征“之上”。因此，诸如“之下”的术语可以包括之上和之下的定向。设备可以以其他方式定向（旋转90度或处于其他定向），并且相应地解释本文使用的空间相对描述词。

至少一个示例实施例一般涉及用于使信息在模型开发者、模型验证者和验证监督者之间容易流动的模型验证系统和方法。本技术的示例实施例提供了一种模型验证系统和方法，其系统化了传遍银行操作范围的广泛模型套件的验证和监督以及根据监管标准对模型风险的确定。

图1是根据示例实施例的执行模型验证系统的模块的计算设备的实施例的框图。下面描述计算设备10的一个示例。计算设备10包括在一个或多个总线18上的一个或多个处理器12、一个或多个计算机可读RAM 14和一个或多个计算机可读ROM 16。此外，计算设备10包括有形存储设备20，其可以用于执行操作系统30和模型验证系统50。操作系统30和模型验证系统50二者都由处理器12经由一个或多个相应的RAM 14（其通常包括高速缓存存储器）来执行。

存储设备20的示例包括诸如ROM 16、EPROM、闪存之类的半导体存储设备或能够存储计算机程序和数字信息的任何其他计算机可读有形存储设备。

计算设备还包括从一个或多个便携式计算机可读有形存储设备38（诸如CD-ROM、DVD、存储棒或半导体存储设备）读取和向其写入的R/W驱动器或接口24。此外，诸如TCP/IP适配器卡、无线WI-FI接口卡或者3G或4G无线接口卡或其他有线或无线通信链路之类的网络适配器或接口22也包括在计算设备中。

计算设备还包括与输入和输出设备对接的设备驱动器26。输入和输出设备能够包括计算机显示监视器28、键盘34、小键盘、触摸屏、计算机鼠标36和/或某个别的合适的输入设备。

图2是根据示例实施例的模型验证系统50的框图。模型验证系统50（其在下文中可以简称为系统50）包括仪表板52、问卷模块54、对话日志模块55、工作流设计模块56、测试模块58、分类模块60、报告生成模块62、代码库64、工作台65、知识库66、模型库存68、版本控制模块70、访问控制模块72、执行概要模块74、监视模块76和可视化模块78。下面进一步详细描述每个组件。

本文描述的模型验证系统50的模块在图1的计算设备10中实现。包括仪表板52、问卷模块54、对话日志模块55、工作流设计模块56、测试模块58、分类模块60、报告生成模块62、代码库64、工作台65、知识库66、模型库存68、版本控制模块70、访问控制模块72、执行概要模块74、监视模块76和可视化模块78的模型验证系统50的各个模块能够存储在有形存储设备20中。

在一个实施例中，包括仪表板52、问卷模块54、对话日志模块55、工作流设计模块56、测试模块58、分类模块60、报告生成模块62、代码库64、工作台65、知识库66、模型库存68、版本控制模块70、访问控制模块72、执行概要模块74、监视模块76和可视化模块78的图2的模块能够从外部计算机经由网络（例如，因特网、局域网或其他广域网）和网络适配器或接口22下载。

虽然图2图示了系统50的各种组件/模块并且以下提供了系统50的各种组件/模块的详细描述，但是示例实施例不限于此。例如，系统50的上述模块可以经由一个或多个处理器（例如，图1的处理器12）来实现，其中一个或多个处理器被配置为执行存储在存储器（例如，图1的存储器20）上的计算机可读指令以执行将在下面进一步描述的上述模块中的每个的功能。

在一个示例实施例中，模型验证系统50包括仪表板52，其被配置为使得模型验证者能够从分配的一组模型选择用于验证的模型。仪表板52上的模型包括多个预限定的属性。预限定的属性包括与模型相关联的细节，并由模型开发者添加。预限定的属性提供帮助给模型验证者来验证所选择模型。

问卷模块54耦合到仪表板52并且被配置为帮助模型开发者和模型验证者之间的交互。问卷模块54帮助模型验证者限定与所选择模型相关的一组问题。该组问题包括多个预限定的问题。此外，问卷模块54被配置为使得模型验证者能够添加与每个模型相关的多个新问题和/或删除一个或多个预限定的问题。向问卷模块54的每组添加和/或删除的问题被存储为新版本。

问卷模块54被配置为使得模型验证者能够与模型开发者通信。例如，模型验证者可以针对相对于特定模型的澄清和解决而与模型开发者通信。为了简明起见，问卷模块54发挥使模型验证者理解朝向模型验证的特定模型的开发的重要作用。问卷模块54不仅通过从过去回答他们的问题来保存模型验证者时间，而且帮助他们考虑在上次验证期间从模型开发者接收的假设和相关信息的可靠性。

在一个示例实施例中，对话日志模块55被配置为捕获模型开发者和/或模型验证者之间的通信。在一个实施例中，对话日志模块55在模型开发者、模型验证者和监督者之间的模型验证的过程期间捕获整个通信进展。所捕获的对话日志帮助模型验证者在重新验证的情况下引用历史对话日志。

工作流设计模块56耦合到仪表板52并且被配置为识别多个模型风险，并且还被配置为基于所识别的风险来设计验证工作计划。例如，为了识别多个模型风险，将模型风险宽泛地分类到一个或多个风险区域中。每个风险区域能够具有多个风险，并且每个风险可以具有多个验证工作计划。用于针对验证而选择的特定模型的风险区域的示例包括但不限于数据完整性、概念性稳健性、结果分析、正在进行监视和基于计算机的过程或其组合。

在一个示例实施例中，工作流设计模块56还使得模型验证者能够使用与每个模型风险相关的自定义的验证工作计划。自定义的验证工作计划使得模型验证者能够执行针对所选择模型的多个统计测试。代码库64被配置为针对模型验证者使得能够访问多个统计测试。为模型验证实现多个统计测试。

在一个示例实施例中，自定义的验证工作计划是与期望风险相关的所存储的“默认工作计划”。默认的自定义验证工作计划针对模型验证者充当交叉检查，以确保执行所有重要的验证测试。

代码库64耦合到工作流设计模块56，并且被配置为以统计语言提供一组代码。该组代码被配置为使得模型验证者能够实现快速且高效的模型验证。在一个实施例中，该组代码采用在模型验证的各个阶段中频繁使用的常见统计语言。

在一个示例实施例中，存储在代码库64中的该组代码能够被添加到代码仓（bin）。代码库64中的代码是模型验证者在执行验证测试计划时能够使用的通用代码。在将代码添加到代码仓之后，模型验证者能够访问工作台65。工作台65允许模型验证者查看、创建、选择和/或编辑代码仓中的代码，并且还执行代码。工作台65包括使得模型验证者能够以R、Python或SAS编写自定义代码的编辑器。

在一个示例实施例中，SAS（统计分析系统）是用于高级分析、多变量分析、商业智能、数据管理和预测分析的软件套件。在另一示例实施例中，R是用于统计计算的编程语言和软件环境和用于统计计算的图形。此外，python用作高级的、通用的、解释型动态编程语言。此外，模型验证者还能够连接到数据库或上传csv文件以向工作台提供输入数据。在执行代码之后，模型验证者具有查看输出并且还在由工作台65提供的输出标签中生成图形的选项。

在一个实施例中，工作流设计模块56还被配置为向模型验证者显示用于每个模型的历史工作计划。例如，在重新验证的情况下，填充来自上次验证任务的工作计划，其再次帮助模型验证者节省大量时间，并且推动他超越在上次验证期间覆盖的风险源进行思考。

知识库66耦合到代码库64并且被配置为使得模型验证者能够访问多个库。库包括与多个模型相关的信息。知识库66采用可搜索的格式。在一个示例实施例中，知识库66还耦合到代码库64，并且被配置为使得模型验证者能够访问多个在线库。库包括与多个模型相关的信息。例如，在线库包括与多个模型相关的信息和文档。在线库能够向模型验证者提供用于理解来自不同业务线并且属于不同模型族的模型的帮助。

在另一示例实施例中，知识库66包括被配置为使得模型验证者能够从知识库66搜索特定信息的搜索选项。例如，模型验证者能够搜索与特定模型的特定主题相关的不同的相关联关键字并标记文档。此外，知识库66还向模型验证者提供针对每个验证的个人笔记的空间和简明综合的偏好。此外，过滤器选项还可用于模型验证者以滤出与特定业务线相关的文档。此外，模型验证者还具有编辑和向文档添加标签的选项，这可以有助于使得搜索随时间越来越高效。此外，模型验证者还能够向库添加更多的文档。知识库66还提供遍及所有文档的全文搜索。

测试模块58被配置为执行对应于所选择模型的所选择的一组统计测试，并且在存储器20中存储在所选择模型的验证期间获得的对应的一组验证结果。用于与所选择模型对应的验证工作计划的所执行的该组所选择统计测试生成所选择模型的一组验证结果。

在一个实施例中，测试模块58还促进从提供给模型验证者的预限定位置上传输入和输出文件、图形、图像等，从而确保模型验证者不会错过来自所执行的验证测试的观察和结果中的任何一个。模型验证者还需要总结用于每个测试的验证结果，从而也突显问题和建议。此外，测试模块58被配置为记录在执行验证测试的过程中获得的所有观察和结果。此外，测试模块58还使得模型验证者能够写入用于验证的自定义代码并且在应用的库中更新它们以供将来引用。

分类模块60被配置为将多个模型风险分类到一个或多个类别中。基于在所选择模型的验证期间获得的该组结果来执行分类。例如，模型验证者将多个模型风险分类到给定的风险桶（bucket）中。例如，风险桶被分类为“低”、“中”和“高”。分类促进向模型开发者针对所选择模型的验证的补救动作计划请求一个或多个查询。此外，基于诸如由测试模块58记录的观察和结果之类的该组测试结果来执行分类。

报告生成模块62被配置为生成包括用于所选择模型的评估参数的一个或多个报告。评估参数包括在所选择模型的验证期间获得的验证结果。具体地，报告生成模块62被配置为生成用于验证工作计划和多个模型风险的一个或多个报告。一个或多个报告符合监管标准。在一个示例实施例中，报告生成模块62被配置为处理与验证测试和发现相关的数据，并且还被配置为生成具有采用多种数据可视化格式的输出数据的一个或多个报告。所生成的报告符合由监管机构在及时的基础上管理的不同标准。

在一个示例实施例中，在验证后，模型验证者需要将验证测试、发现、问题和建议的细节放在报告模板中，以使监管机构能够评估模型。报告生成模块62默认地提供报告模板以确保报告与监管要求一致。例如，能够生成几种类型的报告。所生成的报告的一种类型可能是简明报告，其包含验证的概要、仅关于问题和建议（如果有的话）进行陈述，其称为执行概要报告。所生成的其他类型的报告可能是更详细的报告，其描述过程、假设、方法等。

在一个实施例中，报告生成模块62可以包括文档仓。文档仓通过确保模型验证者不会错过来自验证测试的重要发现或结果中的任何一个来促进帮助模型验证者创建报告。模型验证者能够在验证过程期间的任何时间将验证结果添加到文档仓。验证结果可以采用文本、图像和/或图形的格式。

模型库存68包括与一个或多个模型相关联的信息。特别地，模型库存68帮助模型验证者理解用于验证的所选择模型。在一个示例实施例中，可以存在用于所选择模型的多个验证周期。例如，模型验证者可以在特定时段中验证所选择模型一次或多次。在完成所选择模型的每个验证之后，与每个验证相关联的信息可以存储在模型库存68中。因此，模型库存68存储与所选择模型的验证相关联的所有历史信息，并且每当需要时都能够被访问。例如，模型库存68存储诸如用于所选择模型的验证周期数、执行的动作、模型验证者的名称等之类的信息。

版本控制模块70被配置为创建并存储由模型验证者在模型验证系统50的每个模块上执行的操作的一个或多个版本。例如，由模型验证者执行并与诸如问卷模块54、工作流设计模块58、测试模块58、分类模块和报告生成模块62之类的模块中的每一个相关联的操作在存储器20中作为多个修订被存储。

访问控制模块72被配置为提供对对应的多个角色的多个级别的访问。在一个实施例中，访问控制模块72被配置为通过计划当前和未来的验证来帮助顶级监督者管理模型库存68。访问控制模块72还被配置为使得顶级监督者能够高效地管理用于正在进行和未来验证的人力资源分配。例如，顶级监督者能够查看对调查问卷模块54、工作流设计模块56、测试模块58、报告生成模块62和/或其组合有贡献的多个组件。另外，访问控制模块72授权顶级监督者去将模型验证重新分配给新模型验证者、添加/删除/编辑模型验证的审阅者列表和/或其组合的这样一个选项。

执行概要模块74被配置为促进在由业务线、模型族和模型或其组合构成的多个级别处监视组织范围的模型库存68。执行概要模块74还被配置为提供状态和评估风险严重性并监视风险解决计划及其有效性。在一个示例实施例中，执行概要模块74被配置为向监督者和其他人（诸如顶级管理者）提供模型验证的整体情况，这两者都正在进行中以及在管线中的那些。执行概要模块74已经被以监督者能够看到验证任务的整体进展以及与验证任务相关联的各种子任务的进展的方式设计。监督者可以通过查看管线中的模型验证来计划未来。在一个示例实施例中，向监督者提供首页以关于审阅模型验证系统50的组件提供帮助。例如，监督者能够审阅问卷模块54、工作流设计模块56、测试模块58、分类模块60、报告生成模块62和/或其组合。

图1的存储器20存储与每个模型相关的数据和每个模型验证的状态。存储器20由用户或模型验证者访问以查看对应于每个模型的数据和模型验证的状态。因此，系统50还促进针对每个模型的可视化。在一个实施例中，可视化模块78被配置为提供每个模型的可视化。例如，用户能够创建针对正在执行的验证测试的视觉流程图。因此，可视化将帮助用户记录模型验证的流程，以用于理解和重用。此外，模型验证者能够从多个可用模板选择。在一个实施例中，在可视化中，每个节点将充当到模型验证过程中的对应阶段的导航点。

系统50包括监视模块76以监视开发者的模型的一个或多个假设，以推断模型的健康。假设是在模型的寿命期间假定为真的参数。在一个示例实施例中，假设是在特定模型的寿命周期期间假定为真的条件或参数。例如，假设可以与市场稳定性、就业率的增加、转化率（conversion rate）的下降等相关。这些假设可以是环境的或统计的。环境假设可以是内部或外部假设。用于特定模型的内部假设的示例可以包括“仅在针对产品的激烈推广之后发生的备货效应”。用于特定模型的外部假设的示例可以包括“某些假日（例如万圣节）未能对某些类别的产品具有影响”。因此，对于每个和每一个模型，存在要被监视以便判断模型的良好性的不同假设。监视模块76提供使用/目的以及模型是否以正确的方式被消耗。

在一个示例实施例中，图1的存储器20还可以存储用于系统50的上述模块中的每一个的计算机可读指令。因此，一个或多个处理器（诸如图1的处理器12）被配置为执行存储在存储器20上的计算机可读指令以执行上述模块的功能。

上述系统可以在由金融机构、银行和其中模型风险管理发挥至关重要作用的若干其他组织所使用的多个定量模型的验证中实现。以下进一步详细描述了模型验证过程促进模型验证者对模型的理解和验证的端到端需要的方式。

图3是根据示例实施例的图示通过其使用图2的系统来验证模型的过程的流程图。将从配置成执行计算机可读指令以执行图2中所示的系统50的上述模块的功能的处理器（处理器12）的角度描述图3。

仅为了示例目的，参考模型验证者对理解和验证特定模型需要的所有方面描述了模型验证方法80。模型验证方法中的每个步骤在下面进一步详细描述。

在步骤82处，处理器12使得模型验证者能够从所分配的一组模型选择用于验证的模型。所选择模型包括多个预限定的属性。预限定的属性包括与模型相关联的细节，并由模型开发者添加。预限定属性提供帮助给模型验证者来验证所选择模型。

在步骤84处，处理器12通过限定与所选择模型相关的一组问题来帮助模型开发者和模型验证者之间的交互。在一个实施例中，该组问题包括多个预限定的问题。此外，问卷模块54被配置为使得模型验证者能够添加与每个模型相关的多个新问题和/或删除一个或多个预限定的问题。向问卷的每组添加和/或删除的问题被存储为新版本。在一个示例实施例中，交互和该组问题在模型理解应用的部分方面对模型验证者有益。处理器12使得模型验证者能够与模型开发者通信。例如，模型验证者可以针对关于特定模型的澄清和解决而与模型开发者通信。

在步骤86处，处理器12识别针对所选择模型的多个模型风险。在一个实施例中，为了识别模型风险，将模型风险宽泛地分类到各种风险区域中。每个风险区域能够具有多个风险。每个风险能够具有多个验证工作计划。模型验证者从存储在代码库中的多个统计测试选择一组统计测试。代码库被配置为针对模型验证者使得能够访问多个统计测试。为模型验证实现多个统计测试。

在步骤88处，处理器12使用一组统计测试来设计验证工作计划。验证工作计划将所识别的模型风险作为因素计入。在一个实施例中，使得模型验证者能够使用与每个模型风险相关的自定义的验证工作计划。自定义的验证工作计划使得模型验证者能够执行多个验证测试。自定义的验证工作计划确保模型验证者不会错过重要的验证测试中的任何一个。

在步骤90处，处理器12执行用于验证工作计划的该组所选择的统计测试，以生成所选择模型的一组验证结果。执行统计测试以使得模型验证者能够实现快速且高效的模型验证。在一个实施例中，统计测试采用在模型验证的各个阶段中频繁使用的常见统计语言。

在步骤92处，处理器12将多个模型风险分类到一个或多个类别中。基于该组验证结果（诸如在所选择模型的验证期间获得的记录的观察和结果）来执行分类。在一个示例实施例中，模型验证者将多个模型风险分类到给定的风险桶中。例如，风险桶被分类为“低”、“中”和“高”。分类促进模型验证者向模型开发者针对所选择模型的验证的补救动作计划请求一个或多个查询。

在步骤94处，处理器12生成包括用于所选择模型的评估参数的一个或多个报告。评估参数包括在所选择模型的验证期间获得的验证结果。在一个示例实施例中，针对符合监管标准的多个模型风险和验证工作计划生成一个或多个报告。在一个实施例中，处理与验证结果和发现相关的数据以生成具有采用多种数据可视化格式的输出数据的一个或多个报告。所生成的报告符合由监管机构在及时的基础上管理的不同标准。

上述模型验证过程已经被概念化，以着眼于当今世界的模型风险管理过程中的差距。过程80特征在于一种解决方案，其致力于集成模型风险管理过程的核心方面，即，控制和合规性、协作和通信、效率和有效性、以及监管遵守。

用于模型验证的上述系统和方法实现使得用户能够验证并生成多个验证报告的若干用户界面。用于模型验证的用户界面的设计重点是使其保持用户友好，并确保捕获所有用户的需要。在下面的描述中使用的词“模型验证者”和“用户”反映了相同的含义。

模型验证系统50利用用于每个用户的登陆页面来方便用户，而不管分配给他们的角色如何。当用户已经向模型验证系统50注册时，用户能够键入他的用户名和密码并登录。在用户不是注册用户的情况下，用户具有通过在请求访问部分中输入所需细节来请求访问的选项。可以向模型验证系统50的管理员触发邮件，从而通知该请求并寻求对将用户添加到模型验证授权用户列表的批准。系统50提供游览（tour）特征以帮助新用户通过教程视频来开始熟悉模型验证系统50的流程和特征。

在基于角色的认证之后，模型验证者将落在他的首页上。首页向模型验证者提供分配给他的验证任务以及他/她在过去已经完成的任务的概观。模型验证系统50还提供设置用于所涉及的子任务的时间线的特征。模型验证者还能够查看他/她针对其被分配为审阅者的任务。模型验证者还能够查看通知和消息（如果有的话）。点击特定任务允许模型验证者访问该特定任务的验证部分，第一是模型理解。下面进一步详细描述关于模型验证的一些相关界面。

图4-A是根据示例实施例的描绘由水平导航栏102表示的“模型问卷”的示例用户界面100，“模型问卷”包括由模型验证系统50的问卷模块54向模型验证者提供的用于理解正被验证的模型的一组问题。导航栏“模型问卷”102向模型验证者提供查看问题列表（栏104）的选项。该组问题104-A至104-N向模型验证者提供帮助以模型理解用于验证的所选择模型的部分。添加按钮108-A使得模型验证者能够添加需要回答以理解在特定模型的开发期间由模型开发者所遵循的基础假设、前提、方法等的问题。此外，添加按钮108-A使得模型验证者能够添加他的选择的问题并且使用发送选项（按钮108-C）发送到开发者并使用保存选项（按钮108-B）保存。“模型问卷”（导航标签102）还促进提醒（按钮108-E）来帮助团队遵守时间线。

在一个示例实施例中，当模型验证者正第一次验证模型时，“模型问卷”102利用针对业务线自定义的一组默认问题（104-A至104-N）来帮助模型验证者，模型验证者必须寻求对该组问题的答案，以便对模型具有良好的理解。例如，当模型正被重新验证时，问题和开发者对来自上次验证的那些问题的响应被填充以帮助验证者不仅节省他的时间，而且还推动他验证来自上次验证的开发者的响应。保存按钮108-B使得模型验证者能够将问卷保存到数据库。在一个示例实施例中，共享按钮108-D使得模型验证者能够与监督者共享问卷。

删除按钮108-F使得模型验证者能够删除该组问题（栏104）中的特定行。关于模型验证者的查询的开发者的响应在栏106中列出。

在一个实施例中，附图标记110显示模型问卷的当前工作版本，并且还使得模型验证者能够查看先前版本。例如，先前版本是示出由模型验证者在模型问卷标签102上执行的操作的版本。模型验证者还能够查看关于如图4-B中所示的模型问卷标签102的修订列表。图4-B图示了弹出窗口112，弹出窗口112示出由与模型问卷标签102相关联的模型验证者执行的修订列表。诸如“版本名称”、“创建于”、“注释”和“由……修订”之类的细节被示出在如由附图标记112所示的弹出窗口中。

图5是根据示例实施例的描绘由水平导航栏125所表示并由识别多个模型风险的工作流设计模块所设计的“工作计划”屏幕的示例用户界面120。界面120专用于验证工作计划的设计，其包括识别模型风险源并针对对应的风险源关于验证工作计划进行决定。模型验证系统50就自定义开始于的默认工作计划的业务线向验证者提供帮助。在所图示的实施例中，模型风险被宽泛地分类（栏122），并且风险以表格形式显示。由图2的系统分类的模型风险的示例包括数据完整性122-A、概念稳健性（单元122-B）、结果分析（单元122-C）等。此外，每个风险能够包括多个风险（栏124中所表示的）。针对所分类的风险的多个验证计划显示在栏126中。

在一个实施例中，工作计划界面125还提供在界面125上提供由模型验证者执行的操作的一个或多个版本的特征，如由参考标记110所示的。此外，保存按钮128-B使得模型验证者能够将工作计划保存到数据库。在一个示例实施例中，共享按钮128-A使得模型验证者能够与监督者共享工作计划。

图6-A是根据示例实施例的图示“模型测试”屏幕的示例用户界面130，“模型测试”屏幕描绘了将模型风险分类到一个或多个风险区域中和针对所选择模型分类的每个风险的验证测试计划。

根据示例实施例，水平导航栏132使得模型验证者能够基于所识别的模型风险来执行与用于验证的所选择模型的工作计划对应的该组所选择的统计测试，并且存储在所选择模型的验证期间获得的对应的一组验证结果并基于验证结果将模型风险进一步分类到不同的类别中。

在所图示的实施例中，模型风险被宽泛地分类到风险区域（栏134）中。每个风险区域能够具有多个风险（栏136）。此外，每个风险能够具有多个验证计划（如栏138中所示）。栏138启用模型验证者。按钮138-A表示对代码库64的访问，并且138-B表示对图2的可视化模块78的访问。在一个实施例中，如由附图标记138-A所示的代码库按钮允许模型验证者访问代码库并且充当包括采用统计语言的一组代码的直接链接，并且使得模型验证者能够实现快速且高效的模型验证。在一个实施例中，可视化模块78被配置为提供每个模型的可视化。例如，用户能够创建针对正在执行的验证测试的视觉流程图。因此，可视化将帮助用户记录模型验证的流程，以用于理解和重用。

单元140图示了输入文件和关于输入文件的细节。添加按钮140-A允许模型验证者添加输入文件。栏142图示了使得模型验证者能够访问由模型验证者在工作台中编写的代码的一个或多个代码。例如，栏142（代码）图示了由附图标记142-A所示的样本R代码。

模型验证者能够从提供给模型验证者的预限定位置上传输入文件和输出文件，从而确保验证者不会错过来自所执行的验证测试的结果和观察中的任何一个。保存按钮144-A使得模型验证者能够将验证工作计划保存到数据库。在一个示例实施例中，发送按钮144-B和共享按钮144-C使得模型验证者能够发送工作计划并与监督者共享工作计划。模型测试（导航标签132）还促进通知和提醒（按钮144-D）来帮助团队遵守时间线。

图6-B是根据示例实施例的描绘示出验证的结果和观察以及提供建议的“模型测试”屏幕的示例用户界面150。输出文件和关于输出文件的细节在栏151中示出。验证的结果及其观察示出在栏152中。在验证期间所面临的问题和由验证者共享的建议在栏154中图示。此外，栏156为模型验证者提供动作计划。在所图示的实施例中，动作计划列出动作计划细节。在此记录由模型开发者指定的动作计划细节。模型风险被分类到各种风险桶（栏158）中。例如，模型验证者能够基于由下拉162-A和162-B提供的风险的严重性将风险评级为“高”、“中”和“低”。最后，状态栏160提供验证计划的状态。

图7是根据示例实施例的图示“代码库”和“工作台”的示例用户界面170。在一个示例实施例中，存储在代码库172中的一组代码能够被添加到代码仓174。代码库172中的代码是模型验证者在执行验证测试计划时能够使用的通用代码。在将该代码添加到代码仓174之后，模型验证者能够访问工作台175。工作台175允许模型验证者查看、选择和/或编辑代码仓174中的代码，并且还执行代码。工作台175包括如由子屏幕176所示的编辑器，编辑器使得模型验证者能够以R、Python或SAS编写自定义代码。另外，模型验证者还能够（使用选项173）连接到数据库（由选项173-A所示），以将提供输入数据文件（由选项173-B所示）的csv文件上传到工作台175。在执行代码之后，模型验证者具有（使用按钮179-A）保存并查看输出并且还在由工作台175提供的输出标签177-A中（使用按钮179-B）生成图形的选项。标签177-B和177-C允许模型验证者访问R-服务器和python服务器。

图8是根据示例实施例的图示示出详细验证报告的“执行概要报告”的示例用户界面180。在验证完成后，模型验证者需要在报告模板中记录验证测试、发现、问题和建议的细节，以使监管机构能够评估模型。生成了呈现包括验证的概要的总体状态、讨论问题和建议的称为执行概要报告的简明报告。用户界面180描绘了报告生成（导航栏182）的屏幕，所述屏幕包括用于“执行概要报告”的标签184。此外，用户界面180描绘了报告生成（导航栏182）的屏幕，所述屏幕包括用于选择“验证报告的详细视图”的标签185。详细报告详细地描述了关于模型验证的过程、假设、方法等。

文档仓（单元186）通过确保验证者不会错过来自验证测试的重要发现或结果中的任何一个而向模型验证者提供关于报告的创建的帮助。单元186使得模型验证者能够查看文档仓模块和文本。单元188允许模型验证者查看在验证期间提供的注释。在一个实施例中，报告生成界面182还提供在界面182上提供由模型验证者执行的操作的一个或多个版本的特征，如由参考标记110所示的。

图9是根据示例实施例的描绘“知识库”屏幕的示例用户界面190，“知识库”屏幕使得模型验证者能够访问多个库。知识库为其用户提供包含多个文档和期刊的在线库。在线库帮助模型验证者理解来自不同业务线并属于不同模型族的模型。下拉LOB 192（业务线）促进模型验证者选择需要过滤的LOB。下拉194使得模型验证者能够选择需要过滤的标签。此外，用户能够搜索（使用文本框195）与特定模型相关的文档，并且还能够搜索不同的相关联的关键词。例如，模型验证者需要在文本框195中键入“关键字”以在知识库中搜索文件。用户具有编辑标签和向文档添加标签的选项，这有助于使搜索随时间越来越高效。模型验证者需要“点击”按钮198来标记文件。用户还能够向库添加更多文档。在一个示例实施例中，模型验证者能够“点击”按钮196以将新文件添加到库中。单元193示出向知识库中添加的文件的头部。

图10-A是根据示例实施例的描绘“对话日志”屏幕的示例用户界面210，“对话日志”屏幕展示在开发者、监督者和模型验证者之间在模型验证过程期间发生的整个捕获的通信。在所图示的实施例中，文本框212使得用户能够过滤验证主线（thread），以关于针对验证选择的特定模型查看特定主线。此外，文本框214使得用户能够搜索特定邮件，以经由邮件获得必要的信息。此外，在点击按钮216时，用户能够切换以创作新的邮件模板。在点击“创作”按钮216时，显示如图10-B中所示的弹出屏幕215。弹出屏幕215允许模型验证者从地址簿选择联系人列表。例如，在所图示的实施例中，当模型验证者点击“创作”按钮216时，填充与如由附图标记218所示的所选择模型“信用损失预测NCO”相关联的人的电子邮件地址。

图11是根据示例实施例的图示用于“监督者首页动作计划”的屏幕的示例用户界面220。屏幕220在监督者首页上列出有效动作计划。特别地，动作计划通过计划当前和未来的验证来在管理模型验证计划方面向顶级监督者提供帮助。此外，监督者能够高效地管理用于正在进行和未来验证的人力资源分配。在点击特定动作计划（栏222-F）时，从监督者首页出现弹出窗口，其示出用于验证的所选择模型的动作计划的细节。

在一个示例实施例中，当监督者想要将模型验证任务分配给模型验证者时，监督者能够点击图中的该特定实例，并且弹出窗口出现。例如，监督者被提供有显示模型库存的整体视图的甘特图。显示给监督者的模型库存的整体视图提供了正在进行的模型验证的进展以及验证管线。此外，监督者还能够查看资源可用性，资源可用性允许监督者将验证分配给团队中的验证者之一。

此外，屏幕220提供特定模型的开始日期（栏222-A）、到期日期（栏222-B）、联系点（POC）222-C、审阅者222-D、各阶段222-E、动作计划222-F和状态222-E。

屏幕220允许监督者在该时间点查看可用模型验证者的列表。监督者能够将任务分配给任何可用的模型验证者。通过点击上述界面中的“查看资源”选项，向监督者提供查看人力资源库存和管线的选项。在一个实施例中，监督者能够将一个或多个模型分配给模型验证者以用于以许多其他方式验证，并且不受本文所述的特定方法限制。

为了审阅模型验证系统50的组件，监督者需要点击针对每个验证任务指示的图标。此外，监督者也能够利用仅一次点击打开已经完成的验证以重新验证。此外，监督者还能够在有需要时将模型验证重新分配给新的验证者。监督者还能够添加/编辑审阅者列表以及用于模型理解的联系点。

图12是根据示例实施例的图示采用图形表示的“执行概要”的示例用户界面240，“执行概要”说明验证过程的状态。屏幕240提供特定模型的验证过程的状态。屏幕240提供像“完成的模型数量”和/或“待定”和/或“进行中”等的细节。在所图示的示例实施例中，圆形图242提供基于模型的总体视图。此外，条形图244表示模型的按层级分布。图形246表示模型的按风险分布。此外，图形247表示按层级的模型的状态。最后，圆形图248示出按层级的模型的风险。

示例实施例和对应的详细描述的部分可以从软件或对计算机存储器内的数据位的操作的算法和符号表示的角度来呈现。这些描述和表示是本领域普通技术人员通过其有效地将其工作的实质传达给本领域其他普通技术人员的描述和表示。如本文使用的术语并且如其通常使用的，算法被认为是导致期望结果的自相一致的步骤序列。步骤是需要物理量的物理操纵的步骤。通常，不过未必，这些量采取能够被存储、传递、组合、比较和以其他方式操纵的光学、电或磁信号的形式。已经证明，主要出于常见使用的原因，有时将这些信号称为位、值、元素、符号、字符、术语、数字等是方便的。

本文所描述的（一个或多个）设备/装置可以通过硬件元件、软件元件和/或其组合来实现。例如，本发明构思的示例实施例中图示的设备和组件可以在一个或多个通用计算机或专用计算机中实现，所述一个或多个通用计算机或专用计算机诸如处理器、控制器、算术逻辑单元（ALU）、数字信号处理器、微型计算机、现场可编程阵列（FPA）、可编程逻辑单元（PLU）、微处理器或可以执行指令并响应的任何设备。中央处理单元可以实现操作系统（OS）或在OS上运行的一个或软件应用。此外，处理单元可以响应于软件的执行而访问、存储、操纵、处理和生成数据。本领域技术人员将理解，虽然为了方便理解可以图示单个处理单元，但是处理单元可以包括多个处理元件和/或多种类型的处理元件。例如，中央处理单元可以包括多个处理器或一个处理器和一个控制器。此外，处理单元可以具有不同的处理配置，诸如并行处理器。

软件可以包括计算机程序、代码、指令或其一个或多个组合，并且可以将处理单元配置为以期望的方式操作，或者可以独立地或共同地控制处理单元。软件和/或数据可以永久地或临时地体现在任何类型的机器、组件、物理设备、虚拟设备、计算机存储介质或单元或传输的信号波中，以便由处理单元解释或将指令或数据提供到处理单元。软件可以遍及经由网络连接的计算机系统而分散，并且可以以分散的方式存储或执行。软件和数据可以记录在一个或多个计算机可读存储介质中。

根据本发明构思的上述示例实施例的方法可以利用可以由计算机或处理器执行并且可以记录在计算机可读介质中的程序指令来实现。介质还可以单独地包括或与程序指令组合地包括数据文件、数据结构等。记录在介质中的程序指令可以被特别地设计和配置以用于本发明构思的示例实施例或者是计算机软件中的技术人员已知和可用的。计算机可读介质包括磁介质，诸如硬盘、软盘和磁带；光学介质，诸如压缩盘只读存储器（CD-ROM）盘和数字通用盘（DVD）；磁光介质，诸如光磁盘；以及特别配置为存储和执行程序指令的硬件设备，诸如只读存储器（ROM）、随机存取存储器（RAM）、闪存等。程序指令包括诸如由编译器产生的机器代码和可以由计算机使用解释器执行的更高级代码二者。所描述的硬件设备可以被配置为执行一个或多个软件模块以执行本发明构思的上述示例实施例的操作，反之亦然。

然而，应当记住，所有这些和类似的术语要与适当的物理量相关联，并且仅仅是应用于这些量的方便的标记。除非另有特别说明或从讨论就能清楚，诸如“处理”或“计算”或“运算”或“显示”的“确定”等之类的术语是指计算机系统或类似电子计算设备/硬件的动作和过程，它将表示为计算机系统的寄存器和存储器内的物理、电子量的数据操纵并变换为类似地表示为计算机系统存储器或寄存器或其他这样的信息存储、传输或显示设备内的物理量的其他数据。

本领域技术人员将理解，一般而言，在本文中并且特别是在所附权利要求（例如，所附权利要求的主体）中使用的术语通常意图作为“开放式”术语（例如，术语“包括”应当解释为“包括但不限于”，术语“具有”应当解释为“至少具有”，术语“包含”应当解释为“包含但不限于”等）。本领域技术人员将进一步理解，如果意图是特定数量的引入的权利要求的记载，则这样的意图将在权利要求中被明确地记载，并且在没有这样的记载的情况下，不存在这样的意图。

虽然本文仅图示和描述了若干实施例的某些特征，但是本领域技术人员将想到许多修改和改变。因此，要理解，所附权利要求意图覆盖落入本发明的真实精神内的所有这样的修改和改变。

Claims (22)

1.一种模型验证系统，所述模型验证系统包括：

存储器，具有在其中存储的计算机可读指令；以及

处理器，被配置为：

使得模型验证者能够从所分配的一组模型选择用于验证的模型；其中每个模型包括多个预限定属性；

通过限定与所选择模型相关的一组问题来帮助模型开发者和模型验证者之间的交互；

识别针对所选择模型的多个模型风险并使用一组统计测试来设计验证工作计划；其中所述验证工作计划将所识别的模型风险作为因素计入；并且其中模型验证者从存储在代码库中的多个统计测试选择该组统计测试；

执行用于所述验证工作计划的该组所选择的统计测试以生成所选择模型的一组验证结果；以及

将所述多个模型风险分类到一个或多个类别中；其中基于在所选择模型的验证期间获得的该组验证结果来执行所述分类。

2.根据权利要求1所述的模型验证系统，其中所述存储器还被配置为存储在所选择模型的验证期间获得的验证结果。

3.根据权利要求1所述的模型验证系统，其中所述处理器被配置为执行所述计算机可读指令以生成包括用于所选择模型的评估参数的一个或多个报告，其中所述评估参数包括在所选择模型的验证期间获得的验证结果。

4.根据权利要求1所述的模型验证系统，其中与所述模型相关联的预限定属性由模型开发者限定。

5.根据权利要求1所述的模型验证系统，其中所述处理器被配置为执行所述计算机可读指令以使得模型验证者能够向问卷添加与每个模型相关的多个新问题和/或删除一个或多个预限定问题。

6.根据权利要求5所述的模型验证系统，其中该组预限定的问题包括与所选择模型相关联的多个预限定的问题，并且还使得模型验证者能够与模型开发者通信。

7.根据权利要求5所述的模型验证系统，其中对所述问卷的每组添加和/或删除的问题被存储为新版本。

8.根据权利要求1所述的模型验证系统，其中所述代码库包括工作台，所述工作台被配置为使得模型验证者能够从多个统计测试创建、编辑、执行或保存该组统计测试。

9.根据权利要求1所述的模型验证系统，其中所述处理器还被配置为执行所述计算机可读指令以使得模型验证者能够使用与每个模型风险相关的自定义的验证工作计划；其中所述自定义的验证工作计划包括执行针对所选择模型的多个统计测试。

10.根据权利要求1所述的模型验证系统，其中所述处理器还被配置为执行所述计算机可读指令以显示针对每个模型的历史工作计划。

11.根据权利要求1所述的模型验证系统，其中所述存储器包括知识库，所述知识库被配置为使得模型验证者能够访问多个库；其中所述库包括与多个模型相关的信息；其中所述知识库采用可搜索格式。

12.根据权利要求1所述的模型验证系统，其中所述处理器还被配置为执行所述计算机可读指令以提供对对应的多个角色的多个级别的访问。

13.根据权利要求1所述的模型验证系统，其中所述处理器还被配置为执行所述计算机可读指令以促进在由业务线、模型族和模型或其组合构成的多个级别处监视组织范围的模型库存。

14.根据权利要求13所述的模型验证系统，其中所述处理器还被配置为执行所述计算机可读指令以提供状态并评估风险的严重性并且监视风险解决计划及其有效性。

15.根据权利要求13所述的模型验证系统，其中所述处理器还被配置为执行所述计算机可读指令以提供所选择模型的验证的综合概要。

16.根据权利要求1所述的模型验证系统，其中所述处理器还被配置为执行所述计算机可读指令以捕获模型开发者和/或模型验证者之间的通信。

17.根据权利要求1所述的模型验证系统，其中所述存储器还被配置为存储与每个模型和模型验证的状态相关的数据，由模型验证者和/或监督者访问存储器以查看与每个模型和模型验证的状态对应的数据。

18.根据权利要求1所述的模型验证系统，其中所述处理器还被配置为执行所述计算机可读指令以监视开发者的模型的一个或多个假设，以推断所述模型的健康；其中所述假设是在所述模型的寿命期间假定为真的参数。

19.一种用于验证模型的方法，包括：

使得模型验证者能够从所分配的一组模型选择用于验证的模型；其中每个模型包括多个预限定属性；

利用与所选择模型相关的一组问题来帮助模型开发者和模型验证者之间的交互；

识别针对所选择模型的多个模型风险并使用一组统计测试来设计验证工作计划；其中所述验证工作计划将所识别的模型风险作为因素计入；并且其中模型验证者从多个统计测试选择该组统计测试；

执行用于所述验证工作计划的该组所选择的统计测试，以生成所选择模型的一组验证结果；以及

将多个模型风险分类到一个或多个类别中；其中，基于在所选择模型的验证期间获得的该组验证结果来执行所述分类。

20.根据权利要求19所述的方法，还包括捕获模型开发者和/或模型验证者之间的通信。

21.根据权利要求19所述的方法，还包括使得模型验证者能够访问多个库；其中所述库包括与多个模型相关的信息。

22.根据权利要求19所述的方法，还包括促进在由业务线、模型族和模型或其组合构成的多个级别处监视组织范围的模型库存。