CN112041880A - 用于评估信用风险的深度学习方法 - Google Patents

Abstract

本文中描述了促进信用风险评估的系统和方法。本文中描述的系统和方法涉及实现和训练包括文档模型和企业模型的信用风险模型。可以将文档模型配置为读取文档的文本，理解单词、短语与一个或多个财务事件的发生之间的长期关系，并基于文档创建指示财务事件是否可能发生的文档分数。可以生成文档模型状态向量，该文档模型状态向量表示基于文档分数针对给定实体在每个文档中以及跨一组文档识别的重要特征和关系。企业模型可以基于与实体相关联的文档的文档模型状态向量产生表示该实体发生财务事件的总体可能性的违约概率分数序列。

Description

用于评估信用风险的深度学习方法

相关申请的交叉引用

本申请要求2018年4月11日递交的、名称为“DEEP LEARNING APPROACH FORASSESSING CORPORATE CREDIT RISK”的美国临时专利申请序列号No.62/655,974的权益，其通过引用整体并入本文中。

技术领域

本文中描述的系统和方法涉及评估信用风险。

背景技术

申请破产和/或债务违约可能对诸如企业或公司的实体的信用产生不利影响。重要的是能够识别实体可能面临的未来的不利事件并建立程序以测量、减轻和管理风险。例如，向实体提供信贷的投资者必须能够评估此类活动造成的潜在损失。同样，持有实体股权的投资者必须能够评估影响这些投资的潜在波动性，并相应地调整其投资组合。

存在各种信用风险模型来评估实体的违约概率。这些信用风险模型可以利用广泛的来源。这些数据源的许多可能直接来自公共数据源。例如，各种现有的信用风险模型可以使用财务账户数据(诸如财务比率和来自定价服务的定价信息)，基于实体对其债务违约的可能性来对实体(例如公司或企业)进行评级。在现有的信用风险模型中计算的示例度量可以包括违约概率(例如，实体将无法履行其财务义务的可能性)和违约损失(例如，如果发生违约，则向该实体提供信贷的投资者所预计损失的金额)。

尽管现有信用风险模型所利用的信息源为信用风险建模过程提供了宝贵的输入，但现有模型忽略了大量可公开获得的信息。例如，基于文本的数据源(例如，报道公司的过去、目前和可能的未来事件的新闻文章)通常包含信用风险建模过程中未考虑的重要信息。另外，这些过程通常不分析这些数据源中所包含的文本的语义上下文。因此，除了目前现有信用风险模型所考虑的财务账户数据之外，还需要一种改进的信用风险建模方法，该方法能够考虑与实体相关的文档，包括这些文档中的非结构化文本。

发明内容

本文中所述的系统和方法涉及实现和训练信用风险模型。例如，本文中描述的系统和方法可以涉及被配置为利用下一代深度学习神经网络来从计算方面评估各种实体的信用质量的系统。在各种实施方式中，该系统可以分析来自文档的非结构化文本，以确定指示一个或多个未来财务事件(例如，诸如破产或违约的财务恶化、或者财务改善)的单词之间的关系以及短语之间的关系，所述文档包括新闻、研究、文件、文字记录和/或其它文本或表格来源中的一者或多者。系统可以在各个文档中的单词和短语的含义和/或上下文中理解关系，而无需预处理文本或创建停用词、n-gram(N元模型)和/或用于词袋模型(bag-of-words model)中的文本挖掘的其它字典。

本文中所描述的系统和方法所利用的信用风险模型表示对现有信用风险模型的改进。例如，通过在单个模型框架内统一多种不同的信用风险建模方法，本文中所描述的信用风险模型对实体的违约概率进行改进的评估，该评估考虑了与实体相关的可用的附加信息(例如与该实体相关的包括非结构化文本的文档)。改进的信用风险模型能够单独或共同查看这些文档，以识别一组文档之间的关系。另外，本文中所描述的信用风险模型产生违约概率分数序列，该违约概率分数序列表示实体发生一个或多个财务事件的总体可能性。因此，与传统的信用风险模型不同，本文中所描述的系统和方法能够在一段时间内以各种间隔产生实体的违约概率的指示，而不是在一个特定时间对实体的违约概率进行单次评估。

在各种实施方式中，本文中所描述的系统和方法可以利用包括文档模型和企业模型的深度学习神经网络。该文档模型可以使用具有存储器的深度学习模型来读取文档的文本，理解单词、短语与所述一个或多个财务事件的发生之间的长期关系，并创建指示根据文档是否可能发生所述一个或多个财务事件的文档分数。文档模型可以生成文档模型状态向量(document-model-state vector)，该文档模型状态向量表示在给定实体的每个文档内以及跨一组文档识别的重要特征和关系。企业模型可以基于与实体相关联的文档的文档模型状态向量，产生表示该实体发生一个或多个财务事件的总体可能性的违约概率分数序列。企业模型可以将文档模型状态向量与实体的财务信息进行聚合，以产生所述违约概率分数序列中的各个违约概率分数。财务信息可以包括定价数据、基本比率和/或其它表格数据中的一者或多者。

本文中所描述的系统可以包括服务器、客户端计算平台、文档源、财务源、外部资源和/或其它部件中的一者或多者。在各种实施方式中，系统可以包括一个或多个服务器，该一个或多个服务器包括电子存储器以及一个或多个物理处理器。所述一个或多个物理处理器可以通过计算机可读指令来配置。执行计算机可读指令可以使所述一个或多个物理处理器实现和训练信用风险模型。计算机可读指令可以包括一个或多个计算机程序组件。计算机程序组件可以包括文档模型组件、企业模型组件、模型训练组件和/或其它计算机程序组件中的一者或多者。所述一个或多个物理处理器可以表现系统中的协同操作的多个组件的处理功能。因此，关于所述一个或多个处理器描述的各种处理功能可以由系统的单个组件或多个组件执行。

文档模型组件可以被配置为实现文档模型，以针对各个文档产生各个文档分数，该各个文档分数表示基于所述各个文档，实体发生一个或多个财务事件的可能性。在各种实施方式中，文档模型组件用作编码器，以便针对与给定实体相关联并且在一段时间内生成、获得、发布和/或以其它方式得到的每个文档生成“文档表示”或文档表示向量。例如，文档模型组件可以被配置为在追踪历史(例如，过去的12个月)中针对每个文档生成文档表示向量。在各种实施方式中，针对文档产生的文档分数基于针对该文档生成的(一个或多个)向量。在各种实施方式中，各个文档分数可以是包括在零(0)和一(1)之间的数字的各个预测描述符，其中零(0)表示违约和/或破产的可能性非常小，一(1)表示很可能违约和/或破产。在各种实施方式中，文档模型组件聚合文档表示向量和文档分数以创建文档模型状态向量。文档模型状态向量表示针对给定实体，在每个文档内以及跨一组文档识别的重要特征和关系。

企业模型组件可以被配置为实现企业模型，以基于与实体相关联的文档的文档模型状态向量，产生表示该实体发生一个或多个财务事件的总体可能性的违约概率分数序列。在各种实施方式中，企业模型组件用作解码器以输出企业分数(例如，在零(0)和一(1)之间)。企业分数可以表示实体的违约概率。基于由文档模型组件创建的文档模型状态向量和其它输入(例如实体财务信息)，企业模型组件可以产生企业分数以及更新的内部状态向量—企业模型状态向量。企业模型可以包括通常用于文本转换的一个或多个深度学习模型的改编，包括序列到序列模型(sequence-to-sequence model)。代替训练模型来转换文本(例如，将英语单词序列转换为法语单词序列)，可以训练企业模型来将分类器状态和文档分数序列转换为违约分数序列。

模型训练组件可以被配置为利用反向传播算法来训练深度学习神经网络。在各种实施方式中，模型训练组件可以被配置为限定文档模型和/或企业模型(即，信用风险模型)的每一层，并利用随机值初始化每个参数。在各种实施方式中，模型训练组件可以被配置为运行具有数千或数百万个历史示例的全模型，以确定来自全模型的输出是否与期望输出匹配。在一些实施方式中，模型训练组件可以被配置为单独地训练文档模型和企业模型。在一些实施方式中，模型训练组件可以被配置为在单个训练步骤中训练文档模型和企业模型，而不是单独地训练每个模型。

在参考附图考虑以下描述和所附的权利要求时，本文中公开的系统和/或方法的这些和其它目的、特征和特性、以及相关结构元件的操作方法和功能及其组合将变得更加明显，以下的描述、附图形成本说明书的一部分，其中，在各附图中，相同的附图标记表示相应的部件。然而，应当明确地理解，附图仅出于说明和描述的目的，并且不旨在作为对本发明的范围的限定。如说明书和权利要求书中所使用的，单数形式的“一(a或an)”、和“该”包括复数指代，除非上下文另有明确指示。

附图说明

提供附图仅出于说明性目的，并且仅描绘了典型或示例性实施方式。提供这些附图是为了便于读者理解，并且不应视为限制本发明的广度、范围或适用性。为了清楚和便于说明，这些附图不一定按比例绘制。

图1示出了根据一个或多个实施方式的系统的示例，该系统被配置为实现和训练用于评估实体的信用质量的信用风险模型。

图2示出了根据一个或多个实施方式的信用风险模型的文档模型的示例。

图3示出了根据一个或多个实施方式的信用风险模型的企业模型的示例。

图4示出了根据一个或多个实施方式的用于利用文档模型和企业模型来评估实体的信用质量的方法的示例。

具体实施方式

图1示出了根据一个或多个实施方式的系统100，该系统100被配置为实现和训练用于评估实体的信用质量的信用风险模型。在各种实施方式中，系统100可以被配置为利用包括文档模型和企业模型的深度学习卷积神经网络。深度学习神经网络可以被配置为在计算方面评估各种实体的信用质量。例如，深度学习神经网络可以被配置为预测许多未来财务事件，包括但不限于违约或破产的概率、违约损失、评级机构评级变化的概率、股票价格波动的概率、和/或其它财务事件。

在各种实施方式中，系统100可以包括一个或多个服务器102、一个或多个客户端计算平台104、一个或多个文档源106、一个或多个财务源108、(一个或多个)外部资源110、电子存储器140和/或其它部件中的一者或多者。在一些实施方式中，系统100的一个或多个服务器102、以及一个或多个其它部件可以被包含在被配置为实现和训练信用风险模型的单个设备内。例如，一个或多个服务器102和电子存储器140可以被包含在单个设备内。

在一些实施方式中，系统100的(一个或多个)服务器102、一个或多个客户端计算平台104、一个或多个文档源106、一个或多个财务源108、外部资源110、和/或一个或多个其它部件可以经由一个或多个电子通信链接而可操作地链接。例如，可以至少部分地经由网络130(诸如因特网、蓝牙和/或其它网络)来建立此类电子通信链接。将理解的是，这并不旨在限制，并且本发明的范围包括(一个或多个)服务器102、一个或多个客户端计算平台104、一个或多个文档源106、一个或多个财务源108和/或其它部件可以经由一些其它通信介质可操作地链接的实施方式。

给定的客户端计算平台104可以包括被配置为执行计算机程序组件的一个或多个处理器。计算机程序组件可以被配置为使得与给定客户端计算平台104相关联的专家或用户能够与系统100和/或外部资源110对接，和/或提供本文中归属于(一个或多个)客户端计算平台104的其它功能。作为非限制性示例，给定的客户端计算平台可以包括台式电脑、笔记本电脑、掌上电脑、平板计算平台、上网本、智能电话、和/或其它计算平台中的一者或多者。

外部资源110可以包括系统100外部的信息源、参与系统100的外部实体和/或其它资源。在一些实施方式中，本文中归属于外部资源110的功能中的一些或全部可以由包含在系统100中的资源来提供。

图1中一个或多个处理器112的图示并不旨在限制。上述一个或多个处理器112可以包括多个硬件、软件和/或固件组件，这些硬件、软件和/或固件组件一起操作以在本文中提供归属于一个或多个处理器112的功能。例如，一个或多个处理器112可以由作为一个或多个处理器112的一起操作的一群计算平台来实现。

电子存储器140可以包括电子地存储信息的非暂时性存储介质。电子存储器140的电子存储介质可以与系统100的一个或多个部件一体地(即，基本上不可移除的)提供和/或为可移除存储器，该可移除存储器可连接至系统100的一个或多个部件，例如经由端口(例如USB端口、Firewire(火线)端口等)或驱动器(例如磁盘驱动器等)连接。电子存储器140可以包括光学可读存储介质(例如，光盘等)、磁可读存储介质(例如，磁带、磁性硬盘驱动器、软盘驱动器等)、基于电荷的存储介质(例如，EPROM、EEPROM、RAM等)、固态存储介质(例如，闪存驱动器等)和/或其它电子可读存储介质中的一者或多者。电子存储设备140可以包括一个或多个虚拟存储资源(例如，云存储器、虚拟专用网络和/或其它虚拟存储资源)。尽管电子存储器140在图1中作为单个实体示出，但是，这仅用于说明性目的。在一些实施方式中，电子存储器140可以包括多个存储单元。这些存储单元可以物理上位于同一设备内，或者电子存储器140可以表现协同操作的多个设备的存储功能。

电子存储器140可以存储软件算法、由(一个或多个)处理器112确定的信息、从(一个或多个)服务器102接收的信息、从一个或多个客户端计算平台104接收的信息、从一个或多个文档源106接收的信息、从一个或多个财务源108接收的信息、和/或使(一个或多个)服务器102能够如本文中所描述的起作用的其它信息。

在各种实施方式中，(一个或多个)服务器102还可以包括非暂时性电子存储器。例如，(一个或多个)服务器102可以包括与电子存储器140相同或相似的非暂时性电子存储器。在各种实施方式中，(一个或多个)服务器102的非暂时性电子存储器可以被配置为存储机器学习算法和/或被配置为促进基于云的点对点数据传输的其它信息。机器学习算法可以包括基于无监督目标的机器学习程序。可以向机器学习算法提供来自计算机可读指令114的一个或多个组件的输入。与训练数据被标记有适当分类的监督学习相比，无监督学习可以学习所提供的数据集合中的元素之间的关系并且提供输出而无需用户输入。这些关系可以采用许多不同的算法形式，但是一些模型可以具有通过搜索间接隐藏的结构、模式和/或特征以分析新数据来模仿人类逻辑的相同目标。

可以以硬件、固件、软件或其任何合适的组合来实现本发明的实施方式。本发明的各方面可以被实现为存储在机器可读介质上的指令，该指令可以由一个或多个处理器读取和执行。机器可读介质可以包括用于存储或传输机器(例如，计算设备)可读形式的信息的任何机构。例如，有形的计算机可读存储介质可以包括只读存储器、随机存取存储器、磁盘存储介质、光学存储介质、闪存设备和其它存储介质，并且机器可读传输介质可以包括传播信号的形式，例如载波、红外信号、数字信号和其它信号。可以在本文中根据本发明的特定示例性方面和实施方式并执行特定动作来描述固件、软件、例程或指令。

尽管(一个或多个)处理器112在图1中作为单个部件示出，但这仅用于说明目的。在一些实施方式中，(一个或多个)处理器112可以包括多个处理单元。这些处理单元可以物理上位于同一设备内，或者(一个或多个)处理器112可以表现协同操作的多个设备的处理功能。(一个或多个)处理器112可以被配置为通过软件、硬件、固件，软件、硬件和/或固件的一些组合，和/或用于配置(一个或多个)处理器112上的处理能力的其它机构来执行一个或多个组件。如本文中所使用的，术语“组件”可以指执行归属于该组件的功能的任何组件或组件集合。这可以包括在执行处理器可读指令、处理器可读指令、电路、硬件、存储介质或任何其它组件期间的一个或多个物理处理器。此外，应当理解，尽管在图1中示出了各种指令共同位于单个处理单元内，但在(一个或多个)处理器110包括多个处理单元的实施方式中，一个或多个指令可以与其它指令远程地执行。

本文中所描述的不同计算机可读指令所提供的功能的描述是出于说明目的，而不是旨在进行限制，因为任何指令都可以提供比所描述的更多或更少的功能。例如，所述指令中的一个或多个指令可以被去除，并且其功能中的一些或全部可以由所述指令中的其它指令提供。作为另一示例，(一个或多个)处理器110可以由一个或多个附加指令来编程，所述一个或多个附加指令可以执行本文中归属于计算机可读指令之一的功能中的一些或全部。

在各种实施方式中，一个或多个服务器102(为方便起见，在本文中也可互换地称为(一个或多个)服务器102、服务器102、或多个服务器102)可以被配置为与一个或多个客户端计算平台104、一个或多个文档源106、一个或多个财务源108、(一个或多个)外部资源110、和/或系统100的其它部件根据客户端/服务器架构、对等架构和/或其它架构进行通信。用户可以经由(一个或多个)客户端计算平台104来访问系统100。(一个或多个)服务器102可以向(一个或多个)客户端计算平台104提供将用户界面呈现在(一个或多个)客户端计算平台104上所必需的信息。(一个或多个)客户端计算平台104可以将信息传送回(一个或多个)服务器102，以促进(一个或多个)服务器102处的进一步处理和/或功能。可以通过(一个或多个)网络130来促进通信。(一个或多个)网络130可以包括有线连接和/或无线连接。(一个或多个)网络130可以包括因特网、蓝牙、USB和/或其它通信网络。将理解的是，这并不旨在限制，并且本发明的范围包括其中系统100的部件可以经由一些其它通信介质可操作地链接的实施方式。

一个或多个文档源106中的各个文档源可以包括实体，该实体发布和/或以其它方式公开关于一个或多个实体的文档。文档可以包括包含非结构化文本的新闻、研究、文件、文字记录和/或其它文本或表格来源中的一者或多者。在各种实施方式中，本文中所描述的系统和方法可以被配置为分析文档中的非结构化文本，以确定指示一个或多个未来财务事件(例如，诸如破产或违约的财务恶化、或者财务改善)的单词之间的关系以及短语之间的关系。通过非限制性说明，单个文档源可以包括商业实体、报告机构和/或其它源中的一者或多者。这些文档可以包括指示一个或多个实体的一个或多个未来财务事件(例如，诸如破产或违约的财务恶化、或者财务改善)的内容。在一些实施方式中，文档可以包括从与各个文档源相关联的网页所访问的网络文档。

一个或多个财务源108中的各个财务源可以包括针对一个或多个实体发布和/或以其它方式公开财务信息的实体。财务信息可以包括定价数据、基本比率和/或其它信息中的一者或多者。通过非限制性说明，单个财务源可以包括商业实体、报告机构和/或其它源中的一者或多者。

在各种实施方式中，(一个或多个)服务器102可以包括一个或多个物理处理器112和/或其它部件。该一个或多个物理处理器112(为方便起见，在本文中也可互换地称为(一个或多个)处理器112、处理器112或多个处理器112)可以被配置为在系统100中提供信息处理能力。因此，(一个或多个)处理器112可以包括数字处理器、模拟处理器、被设计为处理信息的数字电路、中央处理单元、图形处理单元、微控制器、被设计为处理信息的模拟电路、状态机和/或用于电子地处理信息的其它机构中的一者或多者。

在各种实施方式中，(一个或多个)处理器112可以被配置为执行一个或多个计算机可读指令114。执行计算机可读指令114可以使一个或多个处理器112实现和训练信用风险模型。计算机可读指令114可以包括一个或多个计算机程序组件。在一些实施方式中，计算机可读指令114可以被存储在电子存储器(例如，电子存储器140)中。计算机可读指令114可以包括文档模型组件116、企业模型组件118、模型训练组件120和/或其它计算机程序组件中的一者或多者。如本文中所使用的，为了方便起见，当实际上各种指令对(一个或多个)处理器112(以及因此对系统100)进行编程以执行操作时，各种计算机可读指令114将被描述为执行该操作。

文档模型组件116可以被配置为利用文档模型来针对各个文档产生各个文档分数，文档分数表示基于各个文档，实体发生一个或多个财务事件的可能性。该文档模型可以使用具有存储器的深度学习模型来读取文档的文本，理解单词、短语与一个或多个财务事件的发生之间的长期关系，并创建指示根据该文档是否发生所述一个或多个财务事件的文档分数。文档模型可以在各个文档的单词和短语的含义和/或上下文中理解关系，而无需预处理文本或创建停用词、n-gram和/或用于在词袋模型中进行文本挖掘的其它字典。文档模型的存储器可以表示在给定的时间段和/或特定时间段内的分类器状态。

在各种实施方式中，文档模型组件116可以被配置为获得与至少一个实体相关的各个文档。例如，文档模型组件116可以被配置为从一个或多个文档源106获得各个文档。在一些实施方式中，文档模型组件116可以被配置为在使一个或多个文档源106可访问(例如已发布)时顺序地从一个或多个文档源106获得各个文档。

在各种实施方式中，文档模型组件116可以被配置为分析来自文档的非结构化文本(该文档包括新闻、研究、文件、文字记录和/或其它文本或表格来源中的一者或多者)，以确定指示一个或多个未来财务事件(例如，诸如破产或违约的财务恶化、或者财务改善)的单词之间的关系以及短语之间的关系。例如，文档模型组件116可以被配置为分析来自从一个或多个文档源106获得的各个文档的非结构化文本。

在各种实施方式中，文档模型组件116可以被配置为针对与给定实体相关联的每个文档生成“文档表示”或文档表示向量。例如，文档模型组件116可以被配置为针对与给定实体相关联且在一段时间内生成、获得、发布和/或以其它方式得到的每个文档生成文档表示向量。在一些实施方式中，文档模型组件116可以被配置为在追踪历史(例如，过去的12个月)中针对每个文档生成文档表示向量。在各种实施方式中，文档模型组件116可以被配置为针对从一个或多个文档源106获得的各个文档生成文档表示向量。

在各种实施方式中，文档模型组件116可以被配置为经由文档模型来获得与各个实体相关联的各个文档的各个文档分数。例如，实体可以包括企业、公司和/或其它商业实体。在各种实施方式中，文档模型组件116可以被配置为针对一组文档中的每一个文档产生文档分数，该文档分数指示基于每个单独文档是否发生一个或多个财务事件的可能性。在各种实施方式中，文档模型组件116可以被配置为基于针对一文档生成的(一个或多个)文档表示向量来为该文档产生文档分数。

在各种实施方式中，文档模型组件116可以被配置为获得和/或布置一组文档分数作为文档分数的序列。该序列可以表示时间线，在该时间线上可以获得各个文档并分配各个分数。在一些实施方式中，文档模型组件116可以被配置为在特定时间段(例如，一天、一周、一个月等)内获得一组文档，以产生针对该时间段的一个或多个文档分数。在一些实施方式中，文档模型组件116可以被配置为在连续时间段(例如，一天、一周、一个月等)内连续获得多组文档，以产生每个时间段的文档分数随时间变化的图表。在一些实施方式中，文档模型组件116可以被配置为将多个文档聚集在一起并且将它们作为单个文档处理。例如，文档模型组件116可以将在特定时间段(例如，一天、一周、一个月等)内与实体相关的多个文档作为一个文档处理。如本文中所使用的，词“文档”可以包括单个文档、多个文档的组、单个文档的一部分和/或它们的组合。

各个文档分数可以表示基于各个文档，实体发生一个或多个未来财务事件的可能性。在各种实施方式中，文档模型组件116可以被配置为基于单个文档中的单词和/或短语与一个或多个财务事件发生的可能性之间的关系来确定该文档的文档分数。换句话说，文档中某些单词和/或短语的出现表明发生一个或多个财务事件的可能性更高(或更低)。在各种实施方式中，文档模型组件116可以被配置为经由深度学习神经网络和/或其它技术来确定文档的文档分数。在一些实施方式中，各个文档分数可以是包括在零(0)和一(1)之间的数字的各个预测描述符，其中零(0)表示违约和/或破产的可能性非常小，一(1)表示很有可能违约和/或破产。在一些实施方式中，文档模型组件116可以被配置为在传达未来财务事件发生可能性的文档和仅包括负面信息的文档之间进行区分。负面信息可以指可能不利于实体声誉但不一定指示违约、破产和/或其它财务事件的信息。在各种实施方式中，文档模型组件116可以被配置为聚合文档表示向量和文档分数以创建文档模型状态向量。文档模型状态向量表示针对给定实体在每个文档内以及跨一组文档识别的特征和关系。

在各种实施方式中，文档分数可以以与预测描述符、标签、特征向量和/或其它信息相同或相似的方式产生，如Ryan D.Roser等人在2010年7月23日递交的、名称为“CREDITRISK MINING”的美国专利No.8,671,040所描述的，其公开内容通过引用整体并入本文中。通过非限制性说明，文档模型组件110使用的文档模型可以与美国专利No.8,671,040中描述的一个或多个模型相同或相似。

图2示出了根据一个或多个实施方式的信用风险模型的文档模型200的示例。在各种实施方式中，文档模型组件116可以被配置为利用与文档模型200相同或相似的文档模型来产生针对各个文档的各个文档分数，该各个文档分数表示基于各个文档，实体发生一个或多个财务事件的可能性。在各种实施方式中，文档模型200可以包括被配置为接收文档202的输入层204。例如，文档202可以包括从一个或多个文档源106接收的一个或多个文档。对于接收到的每个文档，文档模型200可以被配置为创建文档向量。在各种实施方式中，基于文档202创建的文档向量经过嵌入层206，该嵌入层206被配置为创建该文档中的特征的单词嵌入表示(即，文档表示向量)。使用神经网络中的多个层(例如，文档模型200和企业模型300的一个或多个层，如本文中进一步所描述的)来聚合该向量。卷积网络可以在向量上传递，以获取该文档的表示，该表示是从文档中得到的，并提取了表示文档之间的更长期关系的信息。例如，然后为每个文档202创建的单词嵌入表示经由批量归一化208进行聚合。在各种实施方式中，将GRU网络(即GRU层210)配置为获得传入的文档序列并生成包括文档模型状态向量212的输出。GRU网络可以包括聚合的多个文档向量所传递通过的顺序网络，并且随着按顺序读取每个文档向量，该网络状态被更新。顺序地更新该网络的状态，并且一旦每个文档向量都已通过GRU网络，则该网络的最终状态由基于所述一组文档(即，文档202)的文档模型状态向量212表示。然后，文档模型状态向量212被传递到企业模型300。

返回至图1，文档模型组件116可以被配置为使得针对给定实体的文档模型状态向量被提供给企业模型组件118。换句话说，基于所接收的输入(例如，来自一个或多个文档源106的各个文档)，文档模型组件118可以被配置为用作编码器，从而聚合生成的文档表示向量和文档分数以创建文档模型状态向量，该文档模型状态向量被输出到企业模型组件118。

企业模型组件118可以被配置为利用企业模型来产生表示实体发生一个或多个财务事件的总体可能性的违约概率分数序列。例如，企业模型组件118可以被配置为基于针对与实体相关联的文档的、聚合的文档表示向量和文档分数(即，文档模型状态向量)来产生表示该实体发生一个或多个财务事件的总体可能性的违约概率分数序列。在各种实施方式中，企业模型组件118可以被配置为用作解码器，以输出给定实体的企业分数(例如，在零(0)和一(1)之间)。企业分数可以表示该实体的违约概率(例如，单个违约概率分数)。单个(individual)违约概率分数可以表示基于与实体相关联的文档的文档模型状态向量、财务信息和/或可能是在某个特定时间段内同时获得的其它信息，一个或多个未来财务事件发生的单个总体(例如，整体)可能性。因此，违约概率分数序列可以表示给定实体发生一个或多个未来财务事件的总体可能性的时间线。

在各种实施方式中，企业模型组件118可以被配置为获得针对各个实体的一组财务信息。例如，企业模型组件118可以被配置为从一个或多个财务源108获得一组财务信息。财务信息可以包括定价数据、基本比率和/或其它表格数据中的一者或多者。

在各种实施方式中，企业模型组件118可以被配置为经由企业模型来生成违约概率分数序列，该违约概率分数序列表示实体发生一个或多个未来财务事件的总体可能性的时间线。例如，企业模型组件118可以被配置为基于由文档模型组件116创建的文档模型状态向量来为实体产生企业分数。在各种实施方式中，企业模型组件118可以被配置为聚合针对实体在特定时间段内获得的文档模型状态向量和/或其它信息与也在该时间段内获得的财务信息，以产生违约概率分数序列中的各个违约概率分数。企业模型可以使用财务信息来帮助校准模型的状态并提供状态向量的上下文。例如，企业的追踪波动性(trailingvolatility)的测量值可以至少与文档模型状态向量一起输入，从而导致企业模型组件118为追踪波动性较低的实体产生波动性较小的企业分数序列，而波动性较高的实体在其企业分数序列中将出现较大的逐月变化。

基于由文档模型组件和其它输入(例如实体的财务信息)创建的文档模型状态向量，企业模型组件118可以被配置为产生企业分数以及内部状态向量—企业模型状态向量。企业模型状态向量可以与文档模型状态向量具有相同的形状。在各种实施方式中，企业模型组件118可以被配置为在第二次和后续迭代中，输入来自先前迭代的企业模型状态向量，以产生更新的企业分数和更新的企业模型状态向量。例如，企业模型组件118可以被配置为输入来自先前迭代的企业模型状态向量和一个或多个其它表格输入(例如，实体的财务信息)以再次输出企业分数(即，更新的企业分数)和更新的企业模型状态向量。在示例性实施方式中，可以训练企业模型组件118所利用的企业模型，使得每次迭代对应一个月，并且企业模型组件118被配置为运行十二(12)次迭代以计算12个月的企业分数曲线(或违约概率预测)。

在一些实施方式中，企业模型组件118利用的企业模型可以包括通常用于文本转换的一个或多个深度学习模型的改编。用于文本转换的深度学习模型可以包括序列到序列(sequence-to-sequence)模型和/或其它模型。代替训练企业模型来转换文本(例如，英语单词序列转换到法语单词序列)，可以训练企业模型来将分类器状态和/或文档分数序列(例如，从文档模型组件110的文档模型获得)转换为违约概率分数序列。

图3示出了根据一个或多个实施方式的信用风险模型的企业模型300的示例。在各种实施方式中，企业模型组件118可以被配置为利用与企业模型300相同或相似的企业模型来产生表示实体发生一个或多个财务事件的总体可能性的违约概率分数序列。在各种实施方式中，企业模型300可以接收财务信息302和由文档模型(例如，文档模型200)生成的文档模型状态向量(例如，文档模型状态向量212)作为输入。在各种实施方式中，企业模型300可以包括被配置为接收财务信息302的输入层304。例如，财务信息302可以包括从一个或多个财务源108接收的财务信息。在各种实施方式中，企业模型300可以包括密集层306和被配置为产生企业分数和企业模型状态向量的GRU层308。密集层306可以包括神经网络中神经元的规则层，其中每个神经元都从先前层中的所有神经元接收输入，因此，该层“密集地”连接。在各种实施方式中，密集层306可以被配置为对层的输入向量执行线性运算。GRU层308可以包括与本文中关于图2描述的GRU层210相同或相似的层。在各种实施方式中，GRU层308的输出然后经由批量归一化310被聚合。在各种实施方式中，企业模型300可以包括与密集层306相同或相似的附加密集层(即，密集层312)。在各种实施方式中，企业模型300可以被配置为输出至少一个违约概率序列(即，违约概率序列314)，该违约概率序列表示与一个或多个文档(即，文档202)相关的实体发生一个或多个财务事件的总体可能性。

返回至图1，模型训练组件120可以被配置为利用反向传播算法来训练本文中所描述的包括文档模型和企业模型的深度学习神经网络。在各种实施方式中，模型训练组件120可以被配置为限定文档模型和企业模型的每一层(以下称为“全模型”)并使用随机值初始化每个参数。在各种实施方式中，模型训练组件120可以被配置为利用数千个或数百万个历史示例运行全模型以确定来自全模型的输出是否与期望的输出相匹配。在一些实施方式中，模型训练组件120可以被配置为单独地训练文档模型和企业模型。在一些实施方式中，模型训练组件120可以被配置为在单个训练步骤中训练文档模型和企业模型(即，作为单个“全模型”)。所述单个“全模型”在本文中也可以被称为包括文档模型和企业模型两者的信用风险模型。

在一些实施方式中，模型训练组件120可以被配置为使用历史实体违约和破产情况来训练文档模型和/或企业模型。例如，模型训练组件120可以被配置为基于特定的历史实体事件来训练文档模型和/或企业模型。在示例性实施方式中，模型训练组件120可以被配置为获得在事件之前的12个月的时间段内生成、获得、发布和/或以其它方式可获得的文档以及当时已知的所述实体的财务信息。这些输入由文档模型和企业模型(即分别为文档模型组件116和企业模型组件118)使用，以计算违约概率分数(或企业分数)序列。模型训练组件120可以被配置为将该序列与历史破产和违约记录进行比较。知道特定历史实体事件发生的日期后，与该日期有关的用于迭代的企业分数应为一(1)，表示该历史财务事件发生的可能性为100％。模型训练组件120可以被配置为计算该企业分数与期望值(1)之间的差，以测量分数中的误差。使用反向传播算法，模型训练组件120可以被配置为使用所测量的误差来对(一个或多个)模型的层中的参数进行微小调整。在各种实施方式中，模型训练组件120可以被配置为跨多个示例重复该过程以训练模型。

在一些实施方式中，模型训练组件120可以被配置为使用一种或多种其它训练技术来训练文档模型和/或企业模型。例如，在一些实施方式中，模型训练组件120可以被配置为使用Ryan D.Roser等人在2010年7月23日递交的、名称为“CREDIT RISK MINING”的美国专利No.8,671,040中描述的一种或多种训练技术来训练文档模型和/或企业模型，其公开内容通过引用整体并入本文中。

方法的示例性流程图

图4示出了根据一个或多个实施方式的用于利用文档模型和企业模型来评估实体的信用质量的方法400。下面呈现的方法400的操作旨在是说明性的，因此，不应将其视为限制性的。在一些实施方式中，方法400可以利用一个或多个未描述的附加操作和/或没有所讨论的操作中的一个或多个操作来完成。在一些实施方式中，这些操作中的两个或多个可以基本上同时发生。可以使用上面详细描述的系统组件的一些或全部来完成所描述的操作。

在一些实施方式中，方法400可以在一个或多个处理设备(例如，数字处理器、模拟处理器、被设计用于处理信息的数字电路、中央处理单元、图形处理单元、微控制器，被设计用于处理信息的模拟电路、状态机和/或其它用于电子地处理信息的机构)中实现。所述一个或多个处理设备可以包括响应于电子地存储在一个或多个电子存储介质上的指令而执行方法400的一些或全部操作的一个或多个设备。所述一个或多个处理设备可以包括通过被专门设计用于执行方法400的一个或多个操作的硬件、固件和/或软件配置的一个或多个设备。

在操作402中，方法400可以包括针对与实体相关联的一组文档中的每个文档生成文档分数和文档表示向量。在各种实施方式中，可以从一个或多个文档源获得与实体相关联的一组文档。这些文档可以包括与给定实体相关联并且在预定时间段内生成、获得、发布和/或以其它方式可获得的文档。在各种实施方式中，可以使用文档模型基于文档的文本来生成文档分数和文档表示向量。给定文档的文档分数表示基于该文档，给定实体发生一个或多个未来财务事件的可能性。未来财务事件可以包括违约和/或破产。在一些实施方式中，操作402可以由与文档模型组件116(在图1中示出并且在本文中描述)相同或相似的处理器组件执行。

在操作404中，方法400可以包括聚合文档分数和文档表示向量。在一些实施方式中，操作404可以由与文档模型组件116(在图1中示出并且在本文中描述)相同或相似的处理器组件执行。

在操作406中，方法400可以包括基于聚合的文档分数和文档表示向量来创建文档模型状态向量。文档模型状态向量可以表示在与文档分数和文档表示向量相关联的每个文档中识别的关系、以及跨文档识别的关系。在各种实施方式中，文档模型状态向量可以包括文档模型的输出。在一些实施方式中，操作406可以由与文档模型组件116(在图1中示出并且在本文中描述)相同或相似的处理器组件执行。

在操作408中，方法400可以包括基于文档模型状态向量产生表示至少一个财务事件发生的可能性的违约概率分数序列。可以利用包括文档模型和企业模型的神经网络来产生违约概率分数序列。在各种实施方式中，可以聚合从文档模型输出的文档模型状态向量和实体的财务信息。可以基于聚合的文档模型状态向量和财务信息来确定违约概率分数序列。在各种实施方式中，违约概率分数序列可以包括企业模型的输出。在一些实施方式中，可以基于违约概率分数序列来生成企业分数。企业分数可以包括零(0)和一(1)之间的单个值，并且表示实体的违约概率。在一些实施方式中，可以利用企业模型基于文档模型状态向量来生成内部状态向量—企业模型状态向量。在一些实施方式中，可以运行附加迭代以更新企业模型状态向量。例如，企业模型可以接收在先前迭代中基于第一文档模型状态向量生成的企业模型状态向量以及基于针对第二组文档的聚合的文档分数和文档表示向量生成的第二文档模型状态向量作为输入。利用企业模型，可以至少基于第二文档模型状态向量来产生第二违约概率分数序列，并且可以基于在先前的迭代中生成的企业模型状态向量和第二文档模型状态向量来生成更新的企业模型状态向量。在一些实施方式中，操作408可以由与企业模型组件118(在图1中示出并且在本文中描述)相同或相似的处理器组件执行。

在各种实施方式中，方法400还可以包括训练文档模型和企业模型。例如，可以使用反向传播算法来训练文档模型和企业模型。在一些实施方式中，文档模型和企业模型可以被单独地训练。在其它实施方式中，文档模型和企业模型可以在单个训练步骤中被训练(即，作为单个“全模型”)。所述单个“全模型”在本文中也可以被称为包括文档模型和企业模型两者的信用风险模型。在一些实施方式中，可以由与模型训练组件120(在图1中示出并且在本文中描述)相同或相似的处理器组件来执行文档模型和企业模型的训练。

出于解释的目的，阐述了许多具体细节以便提供对描述的透彻理解。本领域技术人员将理解，可以在没有这些具体细节或具有等同布置的情况下实践本文描述的实施方式。因此，应理解，该技术不限于所公开的实施方式，相反，其旨在覆盖所附权利要求的精神和范围内的修改和等同布置。例如，应当理解，本技术设想在可能的范围内，任何实施方式的一个或多个特征可以与任何其它实施方式的一个或多个特征组合。

在一些实例中，以框图形式示出了公知的结构和设备，以避免不必要地使描述不清楚。在其它实例中，示出了功能框图和流程图以表示数据流和逻辑流。框图和流程图的组成部分(例如，模块、块、结构、设备、特征等)可以以不同于本文明确描述和描绘的方式不同地组合、分离、移除、重新排序和替换。

在本说明书中，提及“一个实施方式”、“实施方式”、“一些实施方式”、“各种实施方式”、“特定实施方式”、“其它实施方式”、“一系列实施方式”等意味着结合实施方式描述的特定特征、设计、结构或特性被包括在本发明的至少一个实施方式中。例如，在说明书中各个地方出现的短语“在一个实施方式中”或“在一种实施方式中”不一定都指的是同一实施方式，也不是与其它实施方式互斥的单独或替选的实施方式。此外，无论是否明确引用“实施方式”等，均描述了各种特征，这些特征可以不同地组合并被包括在一些实施方式中，但是在其它实施方式中也可以不同地省略。类似地，描述了可能是一些实施方式(而不是其它实施方式)优选或要求的各种特征。

本文使用的语言主要是出于可读性和指导性目的而选择的，并且可能没有被选择来描绘或限制本发明的主题。通过考虑本文公开的本发明的说明书和实践，本发明的其它实施方式、用途和优点对于本领域技术人员将是显而易见的。本说明书应仅被认为是示例性的，并且本发明的范围因此旨在仅由所附权利要求书来限定。

Claims (16)

1.一种被配置为利用文档模型和企业模型来评估实体的信用质量的系统，所述系统包括：

一个或多个物理计算机处理器，所述一个或多个物理计算机处理器由计算机可读指令配置为：

获得与一实体相关的一组文档；

利用文档模型，基于所述一组文档的文本，为所述一组文档生成文档分数和文档表示向量，所述文档分数包括针对所述一组文档中的每一个文档的文档分数，所述文档表示向量包括针对所述一组文档中的每一个文档的文档表示向量，其中，针对单个文档的文档分数表示基于所述单个文档，所述实体发生一个或多个未来财务事件的可能性；

聚合所述文档分数和所述文档表示向量；

创建文档模型状态向量作为所述文档模型的输出，所述文档模型状态向量表示在所述一组文档的每一个文档中以及跨所述一组文档识别的关系；以及

利用企业模型，基于所述文档模型状态向量，产生违约概率分数序列，

所述违约概率分数序列表示一个或多个未来财务事件发生的总体可能性。

2.根据权利要求1所述的系统，其中，利用包括所述文档模型和所述企业模型的神经网络来产生所述违约概率分数序列。

3.根据前述权利要求中任一项所述的系统，其中，所述一个或多个处理器还被配置为：

基于所述违约概率分数序列为所述实体生成企业分数，所述企业分数包括在零(0)和一(1)之间的值，并表示所述实体的违约概率。

4.根据前述权利要求中任一项所述的系统，其中，所述一个或多个未来财务事件包括违约或破产中的一者或多者。

5.根据前述权利要求中任一项所述的系统，其中，为了产生所述违约概率分数序列，所述一个或多个处理器还被配置为：

聚合针对所述实体的所述文档模型状态向量和财务信息，其中，所述违约概率分数序列是基于聚合的所述文档模型状态向量和财务信息确定的。

6.根据前述权利要求中任一项所述的系统，其中，所述一个或多个处理器还被配置为：

利用所述企业模型，基于所述文档模型状态向量生成内部状态向量，其中，所述内部状态向量包括第一企业模型状态向量。

7.根据权利要求6所述的系统，其中，所述一个或多个处理器还被配置为：

将第二文档模型状态向量和所述第一企业模型状态向量输入到所述企业模型中，其中，所述第二文档模型状态向量基于针对第二组文档的、聚合的文档分数和文档表示向量；

利用所述企业模型，至少基于所述第二文档模型状态向量，产生第二违约概率分数序列，所述第二违约概率分数序列表示一个或多个未来财务事件发生的总体可能性；以及

利用所述企业模型，生成第二内部状态向量，所述第二内部状态向量包括基于所述第二文档模型状态向量的第二企业模型状态向量和所述第一企业模型状态向量。

8.根据前述权利要求中任一项所述的系统，其中，所述一个或多个处理器还被配置为：

使用反向传播算法在单个训练步骤中训练所述文档模型和所述企业模型。

9.一种用于利用文档模型和企业模型来评估实体的信用质量的方法，所述方法包括：

获得与一实体相关的一组文档；

利用文档模型，基于所述一组文档的文本，为所述一组文档生成文档分数和文档表示向量，所述文档分数包括针对所述一组文档中的每一个文档的文档分数，所述文档表示向量包括针对所述一组文档中的每一个文档的文档表示向量，其中，给定文档的文档分数表示基于所述给定文档，所述实体发生一个或多个未来财务事件的可能性；

聚合所述文档分数和所述文档表示向量；

创建文档模型状态向量作为所述文档模型的输出，所述文档模型状态向量表示在所述一组文档的每一个文档中以及跨所述一组文档识别的关系；以及

利用企业模型，基于所述文档模型状态向量，产生违约概率分数序列，所述违约概率分数序列表示一个或多个未来财务事件发生的总体可能性。

10.根据权利要求9所述的方法，其中，利用包括所述文档模型和所述企业模型的神经网络来产生所述违约概率分数序列。

11.根据权利要求9至10中任一项所述的方法，所述方法还包括：

基于所述违约概率分数序列为所述实体生成企业分数，所述企业分数包括在零(0)和一(1)之间的值，并表示所述实体的违约概率。

12.根据权利要求9至11中任一项所述的方法，其中，所述一个或多个未来财务事件包括违约或破产中的一者或多者。

13.根据权利要求9至12中任一项所述的方法，其中，产生所述违约概率分数序列包括：

聚合针对所述实体的所述文档模型状态向量和财务信息，其中，所述违约概率分数序列是基于聚合的所述文档模型状态向量和财务信息确定的。

14.根据权利要求9至13中任一项所述的方法，所述方法还包括：

利用所述企业模型，基于所述文档模型状态向量生成内部状态向量，其中，所述内部状态向量包括第一企业模型状态向量。

15.根据权利要求14所述的方法，所述方法还包括：

将第二文档模型状态向量和所述第一企业模型状态向量输入到所述企业模型中，其中，所述第二文档模型状态向量基于针对第二组文档的、聚合的文档分数和文档表示向量；

利用所述企业模型，至少基于所述第二文档模型状态向量，产生第二违约概率分数序列，所述第二违约概率分数序列表示一个或多个未来财务事件发生的总体可能性；以及

利用所述企业模型，生成第二内部状态向量，所述第二内部状态向量包括基于所述第二文档模型状态向量的第二企业模型状态向量和所述第一企业模型状态向量。

16.根据权利要求9至15中任一项所述的方法，所述方法还包括：

使用反向传播算法在单个训练步骤中训练所述文档模型和所述企业模型。

Images