CN117131791B - 一种基于大数据平台的模型评估方法、系统和存储介质 - Google Patents

Abstract

本说明书实施例提供一种基于大数据平台的模型评估方法、系统和存储介质，该方法包括获取待评估模型的目标模型信息；基于目标模型信息，确定待评估模型的第一评估指数；获取待评估模型的血缘关系信息；基于血缘关系信息、第一评估指数，确定待评估模型的第二评估指数；响应于第一评估指数和/或所述第二评估指数满足预设条件，基于目标模型信息，确定待评估模型的优化参数。

Description

一种基于大数据平台的模型评估方法、系统和存储介质

技术领域

本说明书涉及大数据平台领域，特别涉及一种基于大数据平台的模型评估方法、系统和存储介质。

背景技术

随着数据科学领域的发展，越来越多的企业依靠大数据平台进行业务开展。当构建的数仓体量和支撑应用规模越来越庞大时，因大数据平台内缺少可以有效识别出存量模型的价值的方法，难以区分高价值模型和低价值模型，从而会影响大数据平台资源利用效率提升和数仓结构优化。CN111639143B提供了一种数据仓库的数据血缘关系展示方法，通过定义每个数据表的加工脚本并解析得到第一映射关系表，进而得到每个数据表与其他数据表之间的第一数据血缘关系、与其源数据之间的第二数据血缘关系，最终得到目标关系表在数据仓库中的数据血缘关系。但其仅仅只是通过映射关系来获取目标关系表在数据仓库中的数据血缘关系，并不涉及综合评估模型的成本、成效、血缘等，获取准确的模型价值进而进行优化。

因此，有必要提供一种基于大数据平台的模型评估方法、系统和存储介质，可以综合考虑模型的模型成本信息、模型成效信息以及模型之间的血缘关系信息，确定更准确的模型价值评估结果，更好反映模型在不同应用环境中的实际价值和发挥作用。

发明内容

本说明书一个或多个实施例提供一种基于大数据平台的模型评估方法。所述方法由处理器执行，所述方法包括：获取待评估模型的目标模型信息；基于所述目标模型信息，确定所述待评估模型的第一评估指数；获取所述待评估模型的血缘关系信息；基于所述血缘关系信息、所述第一评估指数，确定所述待评估模型的第二评估指数；响应于所述第一评估指数和/或所述第二评估指数满足预设条件，基于所述目标模型信息，确定所述待评估模型的优化参数。

本说明书实施例之一提供一种基于大数据平台的模型评估系统，所述系统包括：第一获取模块，用于获取待评估模型的目标模型信息，所述目标模型信息包括模型成本信息和/或模型成效信息；第一确定模块，用于基于所述目标模型信息，确定所述待评估模型的第一评估指数；第二获取模块，用于获取所述待评估模型的血缘关系信息；第二确定模块，用于基于所述血缘关系信息、所述第一评估指数，确定所述待评估模型的第二评估指数；第三确定模块，用于响应于所述第一评估指数和/或所述第二评估指数满足预设条件，基于所述目标模型信息，确定所述待评估模型的优化参数。

本说明书一个或多个实施例提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行基于大数据平台的模型评估方法。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的基于大数据平台的模型评估系统的示例性示意图；

图2是根据本说明书一些实施例所示的基于大数据平台的模型评估方法的示例性流程图；

图3是根据本说明书一些实施例所示的确定开发成本的示例性示意图；

图4是根据本说明书一些实施例所示的确定血缘评分的示例性示意图；

图5是根据本说明书一些实施例所示的确定第二评估指数的示例性示意图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

随着数据科学和机器学习领域的迅速发展，模型评估需要考虑更多的因素以确保准确性和可用性。一方面，评估过程不再仅仅是简单地查看模型在某一数据集上的表现，而需要在大规模数据流中进行实时验证。这也意味着模型评估需要涵盖多样性的数据源和多种不同的评估指标，从而能够更全面地了解模型在真实应用场景中的表现。另一方面，模型在大数据平台上运行时常常是嵌入到一个更复杂的系统或流程中，与其他模型或系统有着各种各样的依赖和交互。因此，在评估一个模型的有效性时，也需要考虑到它与其他模型或系统的关系，这就引入了血缘关系和模型间依赖性的评估。这种依赖性不仅仅影响模型自身的性能，还可能影响整个系统的稳定性和可靠性。

CN111639143B提供了一种数据仓库的数据血缘关系展示方法，通过定义每个数据表的映射关系表，进而得到每个数据表与其他数据表之间的第一数据血缘关系、与其源数据之间的第二数据血缘关系，来获取关系表在数据仓库中的数据血缘关系。但其并不涉及模型价值的综合评估，也无法反映模型在不同应用环境中的实际价值和发挥的作用。

因此，有必要提供一种基于大数据平台的模型评估方法、系统和存储介质，可以综合考虑模型的运维成本、开发成本和血缘关系，使模型价值的确定准确高效，便于后续进行有效优化，提升大数据平台的资源运转效率。

图1是根据本说明书一些实施例所示的基于大数据平台的模型评估系统的示例性示意图。

通讯（通信）行业的大数据平台需要采用多种模型进行数据的分析处理，本实施例通过评估各模型的成本、成效、血缘等数据，来评估各模型的价值，区分高价值模型和低价值模型，并基于此进行模型的参数优化、成本优化、血缘优化等，从而使大数据平台资源利用效率提升和数据仓库结构优化。

在一些实施例中，大数据平台可以包括调度系统和资产系统，用于采集待评估模型的元数据信息。

调度系统可以用于采集待评估模型进行任务执行的元数据，例如，字段、集群名、模型名、待评估模型执行任务时配置的CPU核数，待评估模型执行任务时的消耗时间、待评估模型执行任务时配置的内存大小等。

资产系统可以用于采集待评估模型相关的元数据，例如，待评估模型的全量字段数、待评估模型的输入表数量、模型算法SQL、模型血缘（输入表和输出表关系对）、支撑应用标签等。

在一些实施例中，基于大数据平台的模型评估系统100可以包括第一获取模块110、第一确定模块120、第二获取模块130、第二确定模块140和第三确定模块150。

在一些实施例中，第一获取模块110可以用于获取待评估模型的目标模型信息。

在一些实施例中，第一确定模块120可以用于基于目标模型信息，确定待评估模型的第一评估指数。

在一些实施例中，第二获取模块130可以用于获取待评估模型的血缘关系信息。

在一些实施例中，第二确定模块140可以用于基于血缘关系信息、第一评估指数，确定待评估模型的第二评估指数。

在一些实施例中，第二确定模块140还可以用于构建第二血缘关系图谱；基于第二血缘关系图谱，通过预设算法进行多轮迭代，基于迭代结果确定第二节点的目标评分值；基于目标评分值，确定第二评估指数。

在一些实施例中，第三确定模块150可以用于响应于第一评估指数和/或第二评估指数满足预设条件，基于目标模型信息，确定待评估模型的优化参数。

关于待评估模型、目标模型信息、第一评估指数、血缘关系信息、第二评估指数、第二血缘关系图谱、预设算法、第二节点、目标评分值、优化参数的更多内容可以参见图2-图5的相关描述。

需要注意的是，以上对于基于大数据平台的模型评估系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。在一些实施例中，图1中披露的第一获取模块110、第一确定模块120、第二获取模块130、第二确定模块140和第三确定模块150可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。

图2是根据本说明书一些实施例所示的基于大数据平台的模型评估方法的示例性流程图。如图2所示，流程200包括下述步骤。在一些实施例中，流程200可以由处理器执行。

步骤210，获取待评估模型的目标模型信息。

待评估模型可以指需要被评估的模型。在一些实施例中，待评估模型可以定义数据的组织方式、关联关系以及数据之间的约束。

在一些实施例中，待评估模型可以包括列表、数据库中的模型、数据仓库中的模型、神经网络模型等。例如，记录实体及其对应数据的特征或属性的列表、关系型数据模型、层次数据模型等、维度模型、星型模型、神经网络模型（Neural Networks, NN）、卷积神经网络模型（Convolutional Neural Networks, CNN）等。

目标模型信息可以指用于评估待评估模型所需的相关信息。在一些实施例中，目标模型信息可以包括模型成本信息和/或模型成效信息。

模型成本信息可以指模型开发、运行、维护的成本相关信息。

模型成效信息可以指反映模型对应用的支撑程度的相关信息。其中，应用支撑数量越多、应用支撑重要程度越高，待评估模型与其支撑的应用在第一血缘关系图谱中距离越近，模型的成效就越高。关于应用支撑数量、应用支撑重要程度、第一血缘关系图谱等的更多内容可以参见图4及其相关描述。

在一些实施例中，模型成本信息可以包括开发成本、运行资源成本、维护成本中至少一种。

开发成本指对研发模型投入的成本的评估。在一些实施例中，处理器可以通过多种方式确定开发成本。例如，处理器可以通过加权计算的方式确定开发成本，权重可以基于经验或需求预设。

在一些实施例中，处理器可以基于待评估模型的输入复杂度、字段复杂度、算法复杂度中至少一种，确定开发成本。关于输入复杂度、字段复杂度、算法复杂度的更多内容可以参见图3及其相关描述。

关于开发成本的更多确定方法的说明可以参见图3的相关说明。

维护成本指对维护模型运行需要的成本的评估。在一些实施例中，处理器可以通过多种方式确定开发成本。例如，处理器可以获取用户输入确定开发成本。

在一些实施例中，处理器可以基于上游模型维护复杂度、上游字段维护复杂度、部署集群维护复杂度中至少一种，确定维护成本。

上游模型维护复杂度指与上游模型相关的维护复杂程度。上游模型可以指待评估模型运行时调用数据所依据的上级模型。在一些实施例中，处理器可以基于大数据平台中生成待评估模型依赖的所有上游模型的数量，确定上游模型维护复杂度，待评估模型对应的上游模型数量越多，表示要正常输出该待评估模型数据的复杂度越高，前述待评估模型的上游模型维护复杂度越高。

在一些实施例中，处理器可以通过多轮第一迭代，确定每个待评估模型的全量上游模型集；基于全量上游模型集，确定待评估模型的上游模型维护复杂度。

全量上游模型集指待评估模型对应的所有直接和间接上游模型的集合。

第一迭代可以指通过迭代更新上游模型集并最终确定全量上游模型集的方式。

在一些实施例中，第一迭代可以包括步骤S1-S5：

S1，构建模型关系对集合。

在一些实施例中，处理器可以基于待评估模型所属环境或平台的所有模型，生成模型关系对集合。其中，待评估模型所属环境或平台指待评估模型所在的虚拟环境、大数据平台等。

模型关系对指输入模型与输出模型构成的关系对。可以理解的，数据可以经过多个模型处理，由数据处理过程中数据被处理的先后顺序确定输入模型与输出模型，例如，通过两个模型对一组数据进行处理，先进行数据处理的模型可以作为输入模型（如上游模型），后进行数据处理的模型可以作为输出模型（如下游模型）。

在一些实施例中，一个模型可以既作为输入模型也作为输出模型（如某一模型可以为其上游模型的输出模型、其下游模型的输入模型）。

仅作为示例的，某数据经模型P输入处理后再经模型M处理并输出，则模型P可以作为输入模型，模型M可以作为输出模型，二者可以构成模型关系对（P,M）。

在一些实施例中，模型关系对集合可以包括待评估模型所属环境或平台的所有模型关系对。例如，模型关系对集合A可以为[（P，M），（R，P），（S，Q），（O，M），（Q，M），…（N，Z）]。

S2，处理器可以基于指定模型，在模型关系对集合中的多个模型关系对的输出模型中进行查找，将找到的模型关系对中的输入模型取出，构建为第一集合。

指定模型可以基于经验或需求设定，例如，指定模型可以为待评估模型。仅作为示例的，指定模型为M时，处理器可以在前述模型关系对集合A中多个模型关系对的输出模型中进行查找，找到输出模型为指定模型M的关系对，即（P，M）、（Q，M）、（O，M），将找到的关系对中的输入模型P、Q、O取出，构建为第一集合T[P，Q，O]。

S3，进行第二轮的第一迭代时，处理器可以将第一集合中新增的模型作为第二轮的指定模型，重复前述操作。

例如，处理器可以将第一集合T中新增的模型P、Q、O作为第二轮的指定模型，在前述模型关系对集合A中的多个模型关系对的输出模型中进行查找，找到输出模型为P、Q、O的关系对，即（R，P），（S，Q），将找到的关系对中的输入模型R、S取出，加入第一集合T，即[P，Q，O，S，Q]。

S4，重复步骤S3，直至第一集合中新增的模型无法在模型关系对集合的多个模型关系对中，查找到对应的输出模型时，结束第一迭代。

此时第一集合即为指定模型的全量上游模型。

在一些实施例中，处理器可以基于全量上游模型集的模型数量，通过多种方式确定上游模型维护复杂度。例如，处理器可以将全量上游模型集的模型数量直接确定为上游模型维护复杂度。又例如，处理器可以基于全量上游模型集的模型数量，通过第一数据对照表确定上游模型维护复杂度。第一数据对照表可以包括不同全量上游模型集的模型数量及其对应的上游模型维护复杂度。第一数据对照表可以基于历史数据或需求预设。

本说明书一些实施例中，通过多轮第一迭代，确定每个模型的全量上游模型集，进而确定上游模型维护复杂度，可以获取贴合实际的、准确的上游模型维护复杂度，进而有助于后续的模型评估。

上游字段维护复杂度指与上游字段相关的维护复杂程度。上游字段可以指上游模型的字段数量。在一些实施例中，处理器可以基于大数据平台中，生成待评估模型的所有上游模型的字段数量，确定上游字段维护复杂度，待评估模型对应的上游模型字段数量越多，表示要输出前述待评估模型数据的复杂度越高，前述待评估模型的上游字段维护复杂度越高。

部署集群维护复杂度指与待评估模型所部署的大数据集群相关的维护复杂程度。在一些实施例中，处理器可以根据待评估模型所部署且需要进行日常维护的大数据集群数量，确定部署集群维护复杂度，部署的集群越多，则部署集群维护复杂度越高。

在一些实施例中，处理器可以基于上游模型维护复杂度、上游字段维护复杂度、部署集群维护复杂度，通过多种方式确定维护成本。

例如，处理器可以先将上游模型维护复杂度、上游字段维护复杂度、部署集群维护复杂度进行归一化处理，再通过加权计算的方式确定维护成本，权重可以基于经验或需求预设。

仅作为示例的，处理器可以先将上游模型维护复杂度、上游字段维护复杂度、部署集群维护复杂度进行归一化处理，基于归一化公式进行Min-Max归一化处理为[0,100]区间的值，归一化公式可以为：

在对各复杂度（即上游模型维护复杂度、上游字段维护复杂度、部署集群维护复杂度）通过归一化公式进行处理时，和/>分别为对应的各复杂度的最小值与最大值。处理器可以基于归一化处理后的各复杂度，通过第一预设公式确定维护成本。第一预设公式可以基于经验或需求预设。

例如，第一预设公式可以为：

其中，为维护成本，/>为归一化处理后的上游模型维护复杂度，/>为归一化处理后的上游字段维护复杂度，/>为归一化处理后的部署集群维护复杂度；/>、/>、/>为前述三个归一化处理后的复杂度对应的权重系数，其和为1，/>、/>、/>可以基于经验或需求预设。

本说明书一些实施例中，通过上游模型维护复杂度、上游字段维护复杂度、部署集群维护复杂度确定维护成本，可以从多个角度衡量维护成本，使确定的模型成本信息更符合实际。

运行资源成本指运行待评估模型需要的资源成本。

在一些实施例中，处理器可以通过多种方式确定运行资源成本。例如，处理器可以通过获取用户输入确定运行资源成本。

在一些实施例中，处理器可以基于CPU资源成本和/或内存资源成本确定运行资源成本。

CPU资源成本指运行待评估模型消耗的CPU资源。在一些实施例中，处理器可以将运行待评估模型时，生成一天数据量所使用的CPU时间确定为CPU资源成本，CPU时间越多，表示使用的资源越多，CPU资源成本越高。

其中，CPU时间可以基于待评估模型执行任务时配置的CPU核数、待评估模型执行任务时消耗的时间确定。例如，处理器可以对待评估模型执行的1-n个任务配置的CPU核数与消耗时间的乘积求和，确定CPU时间。仅作为示例的，处理器可以基于公式（1）计算确定CPU时间：

（1）

其中，为CPU时间，i为待评估模型执行的第i个任务，/>为待评估模型执行任务时第i个配置的CPU核数，/>为待评估模型执行第i个任务时的消耗时间。

内存资源成本指运行待评估模型消耗的内存资源。在一些实施例中，处理器可以将运行待评估模型时，生成一天数据量所使用的内存时间确定为内存资源成本，内存时间越多，表示使用的资源越多，内存资源成本越高。

内存时间可以由待评估模型执行任务时配置的内存大小、待评估模型执行任务时消耗的时间确定，例如，处理器可以对待评估模型执行的1-n个任务配置的内存大小与消耗时间的乘积求和，确定内存时间。仅作为示例的，处理器可以基于公式（2）计算确定内存时间：

（2）

其中，为内存时间，i为待评估模型执行的第i个任务，/>为待评估模型执行第i个任务时配置的内存大小。

在一些实施例中，处理器可以基于CPU资源成本、内存资源成本，通过多种方式确定运行资源成本。例如，处理器可以基于CPU资源成本、内存资源成本，通过加权计算方式确定运行资源成本，权重可以基于经验或需求预设。

仅作为示例的，处理器可以先将CPU资源成本、内存资源成本进行归一化处理，再通过第二预设公式确定运行资源成本。第二预设公式可以基于经验或需求预设。例如，处理器可以将CPU资源成本、内存资源成本基于归一化公式进行Min-Max归一化处理为[0,100]区间的值，归一化公式可以参见前述相关描述。

在对各资源成本（即CPU资源成本、内存资源成本）通过归一化公式进行处理时，和/>分别为对应的各资源成本的最小值与最大值。处理器可以基于归一化处理后的各资源成本，通过第二预设公式确定运行资源成本第二预设公式可以为：

其中，为运行资源成本，/>为归一化处理后的CPU资源成本的最大值，/>为归一化处理后的内存资源成本的最大值。

本说明书一些实施例中，通过基于CPU资源成本、内存资源成本确定运行资源成本，可以真实反映运行所需的资源成本，进而使评估的结果更加准确。

本说明书一些实施例中，通过考虑开发成本、运行资源成本、维护成本等三个维度的成本，使模型成本信息更全面，可以更好地体现模型的各方面成本，使后续的评估更准确。

在一些实施例中，模型成效信息可以包括应用支撑数量和/或应用支撑重要度，其中，应用支撑数量越多、应用支撑重要度越高，模型对应用的支撑程度就越高，模型成效越好，具体内容可以参见图4相关说明。

模型成效维度得分是指基于模型成效信息得到的评分。在一些实施例中，模型成效维度得分可以正相关于应用支撑数量、应用支撑重要度以及血缘评分，并由应用支撑数量、应用支撑重要度以及血缘评分加权计算确定，权重可以基于经验或需求预设。

例如，模型成效维度得分可以由以下公式计算并通过Min-Max归一化处理后得到：

其中，为应用/>的应用支撑重要度，/>代表待评估模型的所有支撑应用的集合，集合包含的应用数量即为待评估模型的应用支撑数量，d表示血缘评分，通过对集合A中每个应用的应用支撑重要度与血缘评分次根号2的比值进行求和，确定最终的模型成效/>；和/>分别为所有待评估模型中模型成效的最小值与最大值。关于模型成效信息、待评估模型、应用支撑数量、血缘评分的更多内容可以参见图5及其相关描述。

在一些实施例中，处理器可以基于前述方法，通过第一获取模块获取模型成本信息、模型成效信息作为目标模型信息。

步骤220，基于目标模型信息，确定待评估模型的第一评估指数。

第一评估指数指根据目标模型信息确定的初步的评估指数。

在一些实施例中，处理器可以将模型成本信息和模型成效信息通过加权计算确定第一评估指数。例如，处理器可以根据公式（3）确定第一评估指数：

（3）

其中，为开发成本，/>为维护成本；/>为运行资源成本；/>为模型成效维度得分；/>、/>、/>、/>为前述四个数据对应的权重系数，且其和等于1。

步骤230，获取待评估模型的血缘关系信息。

血缘关系信息指反映模型、应用等之间的数据引用关系的信息。例如，血缘关系信息可以包括模型和应用的支撑关系（即模型向应用提供数据支撑的关系）、模型和模型的引用关系（即模型间进行数据引用的关系）等。

在一些实施例中，处理器可以通过多种方式获取血缘关系信息。例如，处理器可以通过用户输入获取血缘关系信息。又例如，处理器可以通过大数据平台直接获取模型、应用间相关数据的引用情况，确定血缘关系信息。

步骤240，基于血缘关系信息、第一评估指数，确定待评估模型的第二评估指数。

第二评估指数指根据血缘关系对模型进一步评估的评估指数。在一些实施例中，处理器可以基于血缘关系信息、第一评估指数，通过多种方式确定第二评估指数。例如，处理器可以基于血缘关系信息、第一评估指数，通过第二数据对照表确定第二评估指数。第二数据对照表可以包括不同血缘关系信息、第一评估指数及其对应的第二评估指数。第二数据对照表可以基于历史数据或需求预设。

在一些实施例中，处理器可以建立第二血缘关系图谱，基于预设算法和第一评估指数，迭代计算确定第二评估指数，具体实施方式可以参见图5的相关说明。

步骤250，响应于第一评估指数和/或第二评估指数满足预设条件，基于目标模型信息，确定待评估模型的优化参数。

优化参数可以指对待评估模型进行优化的相关参数。例如，优化参数可以为优化后的目标模型信息。

预设条件可以基于经验或需求设定。例如，预设条件可以为第一评估指数和/或第二评估指数高于预设阈值。

在一些实施例中，响应于第一评估指数和/或第二评估指数满足预设条件，处理器可以基于目标模型信息，通过第三数据对照表确定待评估模型的优化参数。第三数据对照表可以包括不同目标模型信息及其对应的优化参数。第三数据对照表可以基于历史数据或需求预设。可以理解的，基于优化参数的优化方式可以为：基于模型成本信息、模型成效信息，通过调节模型和模型之间的引用关系、模型和应用之间的支撑关系、模型成本等（即优化参数），来提高模型的评估指数。

本说明书一些实施例中，通过目标模型信息确定第一评估指数，通过血缘关系信息、第一评估指数确定第二评估指数，并通过预设条件确定待评估模型的优化参数，可以多方考虑各个维度的指标，对待评估模型进行更准确的评估，进而使确定的优化参数更加精准。

图3是根据本说明书一些实施例所示的确定开发成本的示例性流程图。

在一些实施例中，处理器可以基于输入复杂度310、字段复杂度320和算法复杂度330中至少一种，确定开发成本。

输入复杂度310指表征待评估模型的输入数据复杂程度的参数。在一些实施例中，处理器可以基于待评估模型的输入表的数量确定输入复杂度310，输入表的数量越多，表示输入数据的复杂程度越高，输入复杂度310越高。具体的输入复杂度数值可以基于预设确定。处理器可以基于大数据平台的资产系统直接获取输入表数量。

字段复杂度320指表征待评估模型的字段复杂程度的参数。在一些实施例中，处理器可以基于待评估模型的全量字段数确定字段复杂度320，全量字段数越多，表示字段的复杂程度越高，字段复杂度320越高。具体的字段复杂程度数值可以基于预设确定。处理器可以基于大数据平台的资产系统直接获取全量字段数。

算法复杂度330指表征待评估模型的模型算法的复杂程度的参数。在一些实施例中，处理器可以基于待评估模型的模型算法中聚合函数的个数、计算表达式个数、子查询语句个数之和，确定算法复杂度330。前述和值越大，模型算法的复杂程度越高，算法复杂度330越高。

在一些实施例中，处理器可以通过解析待评估模型中的结构化查询语言（Structured Query Language，SQL）计算待评估模型的模型算法中聚合函数的个数、计算表达式个数、子查询语句个数。例如，处理器可以通过SQL语法解析器实现待评估模型的模型算法中SQL语句的解析过程，不同的待评估模型的模型算法可以通过不同的解析方式实现解析过程；处理器可以使用SQL语法解析器解析待评估模型中待计算的SQL语句，生成语法树；遍历语法树，提取待评估模型的模型算法中聚合函数的个数、计算表达式个数、子查询语句个数。

在一些实施例中，处理器可以基于输入复杂度310、字段复杂度320和算法复杂度330中至少一种，通过多种方式确定待预估模型开发成本。例如，处理器可以先将输入复杂度310、字段复杂度320和算法复杂度330进行归一化处理，再通过加权计算方式确定开发成本，权重可以基于经验或需求预设。

例如，处理器可以将输入复杂度310、字段复杂度320和算法复杂度330基于归一化公式进行Min-Max归一化处理为[0,100]区间的值，再基于归一化处理后的各复杂度，通过第三预设公式计算确定维护开发成本。第三预设公式可以基于经验或需求预设，归一化公式可以参见图2及其相关描述。

在对各复杂度（即输入复杂度310、字段复杂度320和算法复杂度330）通过归一化公式进行处理时，和/>分别为对应的各复杂度的最小值与最大值。

仅作为示例的。第三预设公式可以为：

其中，为维护成本，/>为归一化处理后的输入复杂度，/>为归一化处理后的字段复杂度，/>为归一化处理后的算法复杂度，/>、/>、/>为前述三个复杂度对应的权重系数，且其和等于1。

开发成本模型340指用于确定待预估模型开发对应的开发成本的模型，在一些实施例中，开发成本模型340可以是机器学习模型。例如，开发成本模型340可以包括卷积神经网络（Convolutional Neural Networks，CNN）模型、神经网络（Neural Networks，NN）模型或其他自定义的模型结构等中的任意一种或组合。

在一些实施例中，开发成本模型340的输入可以包括待预估模型的输入复杂度310、字段复杂度320和算法复杂度330。输出可以包括待预估模型开发对应的开发成本350。

可以理解的，开发成本350在所有成本中占比较大，通过前述第三预设公式进行开发成本的计算时，权重系数的选择过于依赖人工预设，其对开发成本的计算影响过大，因此需要将开发时消耗的经济成本作为开发成本纳入后续计算。

经济成本可以包括人力成本（可以基于开发待评估模型使用的员工数量、工作时长、时薪等计算）、软硬件设施成本（服务器的购买租用、商业软件的购买费用、云服务费用等）、基础设施成本（房租、水电费等）。在一些实施例中，处理器可以基于待评估模型的开发公司的财务数据中获取经济成本。

在一些实施例中，开发成本模型340可以通过多个带有第一标签的第一训练样本训练得到。第一训练样本可以包括样本模型的样本输入复杂度、样本字段复杂度、样本算法复杂度，第一标签可以包括前述样本模型对应的实际开发成本。第一训练样本可以基于历史数据获取，第一标签可以通过人工标注的方式确定。

在本说明书的一些实施例中，通过开发成本模型，确定待预估模型开发对应的开发成本，可以对未开始开发或开发未完成的待评估模型，也进行准确、合理的开发成本的预估，有助于后续进行待预估模型的参数优化。

在本说明书的一些实施例中，基于待预估模型的输入复杂度、字段复杂度以及算法复杂度中至少一种，确定模型开发成本，可以综合考虑多种影响模型开发成本的因素，准确确定开发成本。

图4是根据本说明书一些实施例所示的确定血缘评分的示例性示意图。

在一些实施例中，模型成效信息可以包括应用支撑数量和/或应用支撑重要度。

应用支撑数量指与模型关联的下游应用数量。例如，模型的应用支撑数量可以是需要该模型提供数据支撑的应用数量。在一些实施例中，处理器可以基于大数据平台的相关数据的引用情况直接获取应用支撑数量。

应用支撑重要度指表征待评估模型所支撑的应用的重要程度的参数。在一些实施例中，应用支撑重要度可以基于经验或需求预设。

在一些实施例中，处理器可以基于每个模型的应用支撑数量、应用支撑重要度，确定第一血缘关系图谱。

第一血缘关系图谱可以指用于反映各模型和应用的血缘关系的图谱。第一血缘关系图谱包括多个第一节点和第一边。

第一节点可以包括模型节点和应用节点。其中，模型节点可以指单个模型表示的节点，在一些实施例中，模型节点的节点特征可以包括模型的应用支撑数量；应用节点指单个应用的节点。在一些实施例中，应用节点的节点特征可以包括应用支撑重要度。

第一血缘关系图谱的存在关联的模型节点与应用节点之间存在第一边，存在关联指模型和应用之间有直接或间接的数据引用关系。在一些实施例中，第一边的边特征可以包括血缘评分，血缘评分可以表征模型与应用之间血缘关系远近的参数。血缘评分越高，表示模型与应用之间血缘关系越近。

在一些实施例中，处理器还可以利用模型和应用间的接口调用日志，获取接口调用的程度和接口调用的频率，根据接口调用的程度和接口调用的频率确定血缘评分。其中，接口调用的程度可以为模型和应用之间传输的数据量，处理器可以统计模型和应用之间单位时间内累计数据传输的总量作为接口调用的程度；接口调用的频率可以为单位时间内接口的调用次数。前述接口调用的程度和接口调用的频率也可以通过其它方式获取，例如，监控工具等。

处理器可以基于接口调用的程度和接口调用的频率，通过加权计算方式确定血缘评分，权重可以基于经验或需求设定。例如，处理器可以基于接口调用的程度和接口调用的频率，通过公式（4）计算血缘评分：

（4）

其中，为血缘评分，/>为预设系数，y1为接口调用的程度，y2为接口调用的频率；为常数，可以基于经验预设，当k取1时，血缘评分/>即为每次调用模型的平均传输数据量。

在一些实施例中，当待评估模型或其对应的支撑应用还未实际投放使用（即未产生数据调用）的情况下，处理器还可以基于节点组410、数据流路径420、依赖关系430、数据处理步骤440，通过多种方式确定血缘评分。例如，处理器可以基于节点组410、数据流路径420、依赖关系430、数据处理步骤440，通过第四数据对照表确定待评估模型的优化参数。第四数据对照表可以包括不同目节点组、数据流路径、依赖关系、数据处理步骤及其对应的优化参数。第四数据对照表可以基于历史数据或需求预设。

在一些实施例中，处理器还可以基于节点组410、数据流路径420、依赖关系430、数据处理步骤440，通过血缘评分模型450确定血缘评分，血缘评分模型450可以为机器学习模型，例如，可以为神经网络模型、深度神经网络模型（Deep Neural Networks, DNN）等。

在一些实施例中，血缘评分模型450的输入可以为节点组410、数据流路径420、依赖关系430、数据处理步骤440，输出可以为血缘评分460。

其中，节点组410可以指由存在关联的模型和应用组成的关系对，例如，节点组410可以为（模型1，应用2），（模型4，应用3）等。

数据流路径420可以指模型和应用之间数据的流动方式。在一些实施例中，数据流路径420可以根据输入节点组中模型的数据经过的应用和模型的先后顺序以向量形式表示。例如，某数据先后经过模型2、模型1、应用1，则该数据的数据流路径可以为（模型2，模型1，应用1）。

依赖关系430指节点组中的应用是否直接依赖于节点组中的模型的关系表示方式。依赖关系430可以通过0、1的数值表示，数值为1时，表明应用直接依赖于模型。例如，应用1直接使用模型1中的数据，则应用1与模型1的依赖关系可以记为1；应用1直接使用模型2中的数据，而模型2的数据是由模型1中的数据处理获得的，则应用1与模型1的依赖关系可以记为0。

数据处理步骤440可以指数据从节点组中的模型到应用需经过的转换/处理的步骤总数的最小值。

在一些实施例中，血缘评分模型450可以基于大量带有第二标签的第二训练样本训练得到。在一些实施例中，第二训练样本可以包括样本节点组（包括样本模型及其对应的样本应用）以及样本节点组对应的数据流路径、依赖关系和数据处理步骤，第二标签可以指前述样本节点组中的样本模型与样本应用对应的血缘评分。第二训练样本可以基于历史数据中获取。

在一些实施例中，处理器可以基于第二训练样本中样本节点组对应的历史接口调用记录，确定样本节点组对应的历史接口调用的程度和历史接口调用的频率，再基于前述公式（4）计算得到对应的血缘评分作为第二标签。

本说明书一些实施例中，通过利用大量带标签的样本数据训练得到血缘评分模型，可以使得模型更加准确，使输出的血缘评分更具参考性，进一步使后续模型的成效维度得分的计算更合理。

本说明书一些实施例中，通过基于应用支撑数量、应用支撑重要度构建第一血缘关系图，可以使模型与应用之间的血缘关系更清晰明了，使后续的计算更加方便直观。

本说明书一些实施例中，基于应用支撑数量、应用支撑重要度确定模型与应用之间的血缘关系，进一步确定模型的模型成效信息，可以使得模型成效信息更加准确、第一评估指数更加合理，进而使模型的评估更加准确和规范。

图5是根据本说明书一些实施例所示的确定第二评估指数的示例性示意图。

在一些实施例中，处理器可以构建第二血缘关系图谱510；基于第二血缘关系图谱510，通过预设算法进行多轮第二迭代520，基于迭代结果确定第二节点的目标评分值530；基于目标评分值530，确定第二评估指数540。

第二血缘关系图谱510是指用于反映模型与模型之间血缘关系的图谱。第二血缘关系图谱510包括多个第二节点和第二边。

第二血缘关系图谱510的第二节点包括模型节点。在一些实施例中，第二节点的节点特征可以为模型重要性。模型重要性与模型支撑的应用相关，模型的应用支撑数量越多、应用支撑重要度越高，则模型重要性越高。关于应用支撑数量、应用支撑重要度的更多内容可以参见图5及其相关描述。

第二血缘关系图谱510的第二节点之间存在有向的第二边，例如，如果模型A的输出作为模型B的输入，则由A指向B；如果模型B的运行数据引用了模型A，则由A指向B。第二边的边特征可以包括模型之间的血缘关系，在一些实施例中，处理器可以根据输入表和输出表关系对的数量来确定模型之间的血缘关系，数量越多，血缘关系越近。输入表和输出表关系对可以基于大数据平台的资产系统获取。

预设算法可以基于经验或需求预设。在一些实施例中，预设算法可以为TableRank算法。

基于TableRank算法的第二迭代步骤如下：

1）确定第二评估指数的初始值：将待评估模型（即第二血缘关系图谱中的第二节点）对应的第一评估指数作为第二迭代的初始值；

2）进行第二迭代的计算：每轮迭代中，处理器可以基于当前待评估模型的评估值（即TableRank值，简称为TR值，可以理解的，进行第一轮次的第二迭代时，该评估值即为前述初始值，进行后续轮次的第二迭代时，该评估值即为上一轮次更新后的评估值）和血缘结构对每个待评估模型的TR值进行更新。血缘结构可以指反映待评估模型存在直接和/或间接的数据调用的模型之间联系的信息。例如，血缘结构可以为反映待评估模型的上游模型、下游模型的信息等。在一些实施例中，处理器可以基于第二血缘关系图谱直接获取血缘结构。

在一些实施例中，处理器可以通过对待评估模型的各下游模型的TR值与前述下游模型对应的上游模型的数量的比值进行求和，确定待评估模型的TR值。例如，对于待评估模型，其TR值的计算公式如下：

其中，为待评估模型/>的TR值，/>为待评估模型/>的下游模型的集合，/>为待评估模型/>的下游模型，/>为下游模型/>的TR值，/>为下游模型/>的上游模型的数量，/>为所有待评估模型的总数量，/>为阻尼系数，可以由技术人员根据经验设定；关于阻尼系数的更多内容可以参见后述相关内容；

3）基于收敛条件确定是否停止第二迭代：处理器可以基于收敛阈值判断是否停止迭代，若所有待评估模型的TR值变化小于该收敛阈值时，则认为算法已经收敛，可以停止迭代。收敛阈值可以基于经验或需求设定。

4）对TR值进行归一化处理：计算出所有待评估模型的TR值后，处理器可以将前述TR值归一化到[0, 100]的区间，作为第二节点的目标评分值（即TRP值）。示例性的归一化计算公式如下：

其中，为待评估模型/>的目标评分值（即TRP值），/>为所有待评估模型的TR值中的最大值，/>为待评估模型/>的TR值的最终迭代结果。

在一些实施例中，处理器可以基于第二节点的目标评分值530，通过多种方式确定第二评估指数540。例如，处理器可以将目标评分值530直接作为第二评估指数540。又例如，处理器可以将目标评分值530与预设系数的乘积作为第二评估指数540，预设系数可以基于经验设定。

在一些实施例中，前述预设算法中的阻尼系数可以基于第二节点的血缘质量及模型重要性确定。

血缘质量是指表征待评估模型间血缘关系的质量的参数。血缘质量越高，表示待评估模型生成的下游模型越重要。

在一些实施例中，第二节点的血缘质量可以基于其下游节点的模型重要性确定。在一些实施例中，处理器可以对某一第二节点对应模型的下游模型的模型重要性进行加权求和计算，确定该第二节点对应模型的血缘质量，权重系数可以由技术人员根据经验设定。

例如，某一第二节点对应模型的血缘质量=a1v1+a2/>v2+...+ an/>vn，其中a1、a2、…、an为权重系数，v1、v2、…、vn为该第二节点对应模型的下游模型1、2、…、n的模型重要性。

模型重要性可以指表示模型重要程度的参数。在一些实施例中，处理器可以通过模型被调用的次数、调用过程中模型工作时间的长短确定模型重要性。前述两种数据可以从数据库或者数据仓库中获取。例如，处理器可以通过预设算法对模型的调用次数和工作时间进行转换得到模型重要性。预设算法不做限制，可以是调用次数和工作时长的加权计算，也可以参见图4中基于调用相关数据计算血缘评分的算法（即计算每次调用的平均时长，并基于该平均时长确定模型重要性）。

在一些实施例中，若模型还未投放使用，可以基于模型重要性确定模型来确定第二节点的模型重要性，该模型可以为机器学习模型，如神经网络模型等。

在一些实施例中，模型重要性确定模型的输入可以包括模型的应用支撑数量和应用支撑重要度，输出可以包括模型重要性。

在一些实施例中，处理器可以基于大量带标签的样本数据训练模型重要性确定模型。样本数据及训练标签可以基于历史数据获取，具体训练方式可以参见图4中血缘评分模型中的对应说明。

在一些实施例中，第二节点的阻尼系数可以基于当前节点的模型重要性和血缘质量，进行加权计算，权重系数可以基于经验预设。

本说明书一些实施例中，通过基于模型重要性以及血缘质量计算对应于每个第二节点的阻尼系数，可以优化第二迭代的迭代算法，使迭代结果更符合实际，从而使得最终得到的第二评估指数更加准确。

本说明书一些实施例中，通过构建第二血缘关系图谱，可以使模型之间的血缘关系以及各模型的模型重要性得到直观体现；再基于第一评估指数和第二血缘关系图谱，通过预设算法进行第二迭代得到第二评估指数，使得最终的评估结果可以基于血缘关系和模型重要性合理确定，并提高模型评估的准确性。

本说明书一个或多个实施例还提供了一种计算机可读存储介质，该存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如上述实施例中任一项所述的基于大数据平台的模型评估方法。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20%的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件（当前或之后附加于本说明书中的）也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (10)

1.一种基于大数据平台的模型评估方法，由处理器执行，包括：

获取待评估模型的目标模型信息，所述目标模型信息包括模型成本信息和/或模型成效信息；

基于所述目标模型信息，确定所述待评估模型的第一评估指数，所述第一评估指数是根据所述目标模型信息确定的初步评估指数；

获取所述待评估模型的血缘关系信息，所述血缘关系信息是指反映模型和应用之间的数据引用关系的信息；

基于所述血缘关系信息、所述第一评估指数，确定所述待评估模型的第二评估指数，所述第二评估指数是指根据所述血缘关系信息对模型进一步评估的评估指数；

响应于所述第一评估指数和/或所述第二评估指数满足预设条件，基于所述目标模型信息，确定所述待评估模型的优化参数，所述优化参数是指对所述待评估模型进行优化的相关参数，所述优化参数包括优化后的所述目标模型信息，所述优化包括：

基于所述模型成本信息和所述模型成效信息，通过调节模型和模型之间的引用关系、模型和应用之间的支撑关系和模型成本，提高模型的评估指数。

2.根据权利要求1所述的方法，其特征在于，所述模型成本信息包括开发成本、运行资源成本、维护成本中至少一种。

3.根据权利要求2所述的方法，其特征在于，所述开发成本的确定包括：基于输入复杂度、字段复杂度和算法复杂度中至少一种，确定所述开发成本。

4.根据权利要求2所述的方法，其特征在于，所述维护成本的确定包括：基于上游模型维护复杂度、上游字段维护复杂度、部署集群维护复杂度中至少一种，确定所述维护成本。

5.根据权利要求2所述的方法，其特征在于，所述运行资源成本的确定包括：基于CPU资源成本和/或内存资源成本，确定所述运行资源成本。

6.根据权利要求1所述的方法，其特征在于，所述模型成效信息包括应用支撑数量和/或应用支撑重要度。

7.根据权利要求1所述的方法，其特征在于，所述基于所述血缘关系信息、所述第一评估指数，确定所述待评估模型的第二评估指数包括：

构建第二血缘关系图谱，所述第二血缘关系图谱是指用于反映模型与模型之间血缘关系的图谱，所述第二血缘关系图谱包括多个第二节点和多条第二边，

所述第二节点包括模型节点，所述模型节点指单个模型表示的节点，所述第二节点至少包括所述待评估模型对应的模型节点，每条第二边表示所连接的第二节点对应的模型之间存在血缘关系；

基于所述第二血缘关系图谱，通过预设算法进行多轮第二迭代，基于迭代结果确定第二节点的目标评分值，所述目标评分值是指第二节点的TR值的最终迭代结果进行归一化处理后得到的值，所述TR值是指TableRank算法中的TableRank值；

基于所述目标评分值，确定所述第二评估指数。

8.一种基于大数据平台的模型评估系统，其特征在于，所述系统包括：

第一获取模块，用于获取待评估模型的目标模型信息，所述目标模型信息包括模型成本信息和/或模型成效信息；

第一确定模块，用于基于所述目标模型信息，确定所述待评估模型的第一评估指数，所述第一评估指数是根据所述目标模型信息确定的初步评估指数；

第二获取模块，用于获取所述待评估模型的血缘关系信息，所述血缘关系信息是指反映模型和应用之间的数据引用关系的信息；

第二确定模块，用于基于所述血缘关系信息、所述第一评估指数，确定所述待评估模型的第二评估指数，所述第二评估指数是指根据所述血缘关系信息对模型进一步评估的评估指数；

第三确定模块，用于响应于所述第一评估指数和/或所述第二评估指数满足预设条件，基于所述目标模型信息，确定所述待评估模型的优化参数，所述优化参数是指对所述待评估模型进行优化的相关参数，所述优化参数包括优化后的所述目标模型信息，所述优化包括：

基于所述模型成本信息和所述模型成效信息，通过调节模型和模型之间的引用关系、模型和应用之间的支撑关系和模型成本，提高模型的评估指数。

9.根据权利要求8所述的系统，其特征在于，所述第二确定模块进一步用于：

构建第二血缘关系图谱，所述第二血缘关系图谱是指用于反映模型与模型之间血缘关系的图谱，所述第二血缘关系图谱包括多个第二节点和多条第二边，

所述第二节点包括模型节点，所述模型节点指单个模型表示的节点，所述第二节点至少包括所述待评估模型对应的模型节点，每条第二边表示所连接的第二节点对应的模型之间存在血缘关系；

基于所述第二血缘关系图谱，通过预设算法进行多轮第二迭代，基于迭代结果确定第二节点的目标评分值，所述目标评分值是指第二节点的TR值的最终迭代结果进行归一化处理后得到的值，所述TR值是指TableRank算法中的TableRank值；

基于所述目标评分值，确定所述第二评估指数。

10.一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如权利要求1所述的基于大数据平台的模型评估方法。