CN107783896A - 一种数据处理模型的优化方法和装置 - Google Patents

Abstract

一种数据处理模型的优化方法包括：接收用于数据处理模型进行计算处理的输入参数；将所述输入参数分别输入到旧数据处理模型和新数据处理模型，分别生成第一处理结果和第二处理结果；当第一处理结果和第二处理结果之间的差值的绝对值超过预设的阈值时，根据所述输入参数、第一处理结果和所述第二处理结果，优化所述新数据处理模型。通过与标准的数据处理结果进行比较，可以更为准确查找可能出错的代码区域，更有效的对新数据处理模型进行优化。

Description

一种数据处理模型的优化方法和装置

技术领域

本发明属于软件优化领域，尤其涉及一种数据处理模型的优化方法和装置。

背景技术

为了得到多个因子影响下的数据结果，技术开发人员通常会建立一个包括多参数因子的数据处理模型。所述数据处理模型中通过分析各个参数因子之间相互作用、多个参数因子之间的累积效应等，可以较为快速有效的计算得到数据处理的结果。比如，对于保险费用计算模型，在输入用户的相关资料后，可自动计算得到该用户的保费额度等信息。

在数据处理模型使用过程中，在数据处理模型中可能会增加新的参数因子，形成新的数据结构，或者对数据处理算法的编码进行优化。由于更新后的数据处理模型使用新的数据结构以及新的优化编码，和旧版的成熟的数据处理模型相比，更新后的数据处理模型无法保证计算结果的准确率，因此需要对更新后的数据处理模型进行有效的优化。现有的数据处理模型优化方法，一般是由技术人员对整个数据处理模型进行排查，这种排查方式不容易寻找出可能出错的代码模块，优化的效率较低。

发明内容

本发明的目的在于提供一种数据处理模型的优化方法，以解决现有技术对整个数据处理模型进行排查，不容易寻找出可能出错的代码模块，优化的效率较低的问题。

第一方面，本发明实施例提供了一种数据处理模型的优化方法，所述方法包括：

接收用于数据处理模型进行计算处理的输入参数；

将所述输入参数分别输入到旧数据处理模型和新数据处理模型，分别生成第一处理结果和第二处理结果；

当第一处理结果和第二处理结果之间的差值的绝对值超过预设的阈值时，根据所述输入参数、第一处理结果和所述第二处理结果，优化所述新数据处理模型。

结合第一方面，在第一方面的第一种可能实现方式中，所述根据所述输入参数、第一处理结果和所述第二处理结果，优化所述新数据处理模型步骤包括：

根据所述输入参数，查找所述输入参数对应的代码模块；

依次比较所述代码模块的输出结果，确定所述代码模块的异常区域。

结合第一方面的第一种可能实现方式，在第一方面的第二种可能实现方式中，在所述依次比较所述代码模块的输出结果，确定所述代码模块的异常区域步骤之后，所述方法还包括：

在预先设定的代码模块与技术人员的对应关系表中，查找所述异常区域对应的技术人员；

将所述输入参数、第一处理结果和第二处理结果发送给对应的技术人员。

结合第一方面、第一方面的第一种可能实现方式，或者第一方面的第二种可能实现方式，在第一方面的第三种可能实现方式中，所述当第一处理结果和第二处理结果之间的差值的绝对值超过预设的阈值时，根据所述输入参数、第一处理结果和所述第二处理结果，优化所述新数据处理模型步骤包括：

对多个第一处理结果和第二处理结果的差值的绝对值按照从大到小进行排序；

对所述排序中，与排序靠前的第一处理结果、第二处理结果及输入参数所对应的异常区域优先进行优化处理。

结合第一方面的第三种可能实现方式，在第一方面的第四种可能实现方式中，所述方法还包括：

根据优化处理的顺序，在每次完成一个异常区域的优化处理后，对排序在后的其它异常区域重新计算和排序；

根据重新计算和排序的结果，对其它异常区域进行优化处理。

第二方面，本发明实施例提供了一种数据处理模型的优化装置，所述装置包括：

参数接收单元，用于接收用于数据处理模型进行计算处理的输入参数；

处理单元，用于将所述输入参数分别输入到旧数据处理模型和新数据处理模型，分别生成第一处理结果和第二处理结果；

优化单元，用于当第一处理结果和第二处理结果之间的差值的绝对值超过预设的阈值时，根据所述输入参数、第一处理结果和所述第二处理结果，优化所述新数据处理模型。

结合第二方面，在第二方面的第一种可能实现方式中，所述优化单元包括：

代码模块查找子单元，用于根据所述输入参数，查找所述输入参数对应的代码模块；

异常区域确定子单元，用于依次比较所述代码模块的输出结果，确定所述代码模块的异常区域。

结合第二方面的第一种可能实现方式，在第二方面的第二种可能实现方式中，所述装置还包括：

技术人员查找子单元，用于在预先设定的代码模块与技术人员的对应关系表中，查找所述异常区域对应的技术人员；

发送子单元，用于将所述输入参数、第一处理结果和第二处理结果发送给对应的技术人员。

结合第二方面、第二方面的第一种可能实现方式，或者第二方面的第二种可能实现方式，在第二方面的第三种可能实现方式中，所述优化单元包括：

排序单元，用于对多个第一处理结果和第二处理结果的差值的绝对值按照从大到小进行排序；

优先处理单元，用于对所述排序中，与排序靠前的第一处理结果、第二处理结果及输入参数所对应的异常区域优先进行优化处理。

结合第二方面的第三种可能实现方式，在第二方面的第四种可能实现方式中，所述装置还包括：

重新计算单元，用于根据优化处理的顺序，在每次完成一个异常区域的优化处理后，对排序在后的其它异常区域重新计算和排序；

再优化单元，用于根据重新计算和排序的结果，对其它异常区域进行优化处理。

在本发明中，通过接收用于数据处理模型进行计算处理的输入数据，分别输入到旧数据处理模型和新数据处理模型，由于旧的数据处理模型为较为成熟的数据处理模型，得到的第一处理结果较为准确，当新数据处理模型得到的第二处理结果与第一处理结果的差值超过预设的阈值时，则根据所述输入参数、第一处理结果和第二处理结果，对新数据处理模型进行优化。通过与标准的数据处理结果进行比较，可以更为准确查找可能出错的代码区域，更有效的对新数据处理模型进行优化。

附图说明

图1是本发明第一实施例提供的数据处理模型的优化方法的实现流程图；

图2是本发明第二实施例提供的数据处理模型的优化方法的实现流程图；

图3是本发明第三实施例提供的数据处理模型的优化方法的实现流程图；

图4为本发明第四实施例提供的数据处理模型的优化装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的目的在于提出一种数据处理模型的优化方法，以解决现有技术中对于数据处理模型进行优化时，通常按照编程的逻辑流程，对数据处理模型进行优化时，用时较长，查找和优化的效率低。并且还不容易查找到可能出错的代码区域的问题。下面结合附图，对本发明作进一步的说胆。

实施例一：

图1示出了本发明第一实施例提供的数据处理模型的优化方法的实现流程，详述如下：

在步骤S101中，接收用于数据处理模型进行计算处理的输入参数。

具体的，所述数据处理模型，可以为多种行业广泛应用的多参数计算模型，比如可以为保险行业所使用的保险费用计算模型，也可以为环境指数评估模型等。所述数据处理模型为保险费用计算模型时，相应的输入参数可以包括：保险产品代码、保险产品类型、保险业务类型、被保人职业、被保人月薪、保费计算方向中的一个或者多个。

所述数据处理模型包括新数据处理模型和旧数据处理模型。其中，所述旧数据处理模型为运行了多年的数据处理模型，经过其处理计算的结果的准确率高。但是，由于其存在冗余代码较多，数据结构较老，使得旧数据处理模型的数据处理效率较低。为了提高数据处理效率，所开发的新数据处理模型，采用新的数据结构，对冗余代码进行了优化。但是新数据处理模型的准确率还需要进一步优化和验证。比如，对于保费计算模型，由于产品种类多、逻辑分支多、业务场景多，往往难以覆盖周全，新保费计算模型上线后一旦保费计算出错，将对客户造成很大影响。因此，需要在上线前对数据处理模型进行高效、准确的优化，以尽量减少出错。

所述输入参数，可以在旧数据处理模型正常运行的同时，将旧数据处理模型接收的参数进行复制，输入到新数据处理模型。在不会影响旧数据处理模型正常工作的前提下，方便对新数据处理模型进行实时的维护优化操作。

在一次数据处理模型的计算处理过程中，所述输入参数可以包括一个或者多个具体的参数。并且，根据参数输入的个数或者种类的不同，得到的处理结果也可能会不相同。

在步骤S102中，将所述输入参数分别输入到旧数据处理模型和新数据处理模型，分别生成第一处理结果和第二处理结果。

将输入参数中的一个或者多个参数分别输入到旧数据处理模型和新数据处理模型时，可以分别生成第一处理结果和第二处理结果。其中，第一处理结果为旧数据处理模型生成的处理结果，旧数据处理模型的运行时间较长，数据处理的结果的正确率较为稳定且准确率较高。新数据处理模型由于采用新的数据结构，对计算处理的过程进行了优化和去冗余处理，得到的计算结果的准确率相对较低，需要及时发现出错的计算结果，并对计算的结果进行优化。

所述第二处理结果的计算效率，在一般情况下会高于第一处理结果。因此，一种优选的实施方式中，可以监测第二处理结果和第一处理结果的生成时间。当第一处理结果的生成时间小于第二处理结果的生成时间时，所述新数据处理模型可能存在异常，可以向相关的人员发送异常提醒信息，根据出现异常的输入参数(可能为一个参数，也可能是多个参数的集合)以及生成的结果，对所述新数据处理模型者比较分析。

当所述第二处理结果的生成时间出现异常时，比如第二处理结果的生成时间大于第一处理结果的生成时间，则可以根据第二处理结果的处理流程对所述新数据处理模块进行优化处理。比如可以设定各个代码模块设置运行或触发提醒，比较新数据处理模型与旧数据处理模型之间的流程触发时间，有效的解决冗余处理的异常。

在步骤S103中，当第一处理结果和第二处理结果之间的差值的绝对值超过预设的阈值时，根据所述输入参数、第一处理结果和所述第二处理结果，优化所述新数据处理模型。

在理论上，如果新数据处理模型没有出现异常，则第二数据处理结果与第一数据处理结果应当相同或者相近。因此，可以设定与输入参数对应的阈值。对于不同的输入参数，由于输出的结果也会不同，为了适应处理结果对误差的容错性，可以设定与输入参数对应阈值。

当第一处理结果与第二处理结果之间的差值的绝对值小于所述阈值时，则表示新数据处理模型计算的结果正常。当第一处理结果与第二处理结果之间的差值的绝对值大于所述阈值时，则表示新数据处理模型计算过程存在异常，需要对新数据处理模型中对于输入参数相关的代码模块进行优化。通过将新数据处理模型与旧数据处理模型的处理过程进行比较，从而可以快速有效的确定代码出错的异常区域。

本发明通过接收用于数据处理模型进行计算处理的输入数据，分别输入到旧数据处理模型和新数据处理模型，由于旧的数据处理模型为较为成熟的数据处理模型，得到的第一处理结果较为准确，当新数据处理模型得到的第二处理结果与第一处理结果的差值超过预设的阈值时，则根据所述输入参数、第一处理结果和第二处理结果，对新数据处理模型进行优化。通过与标准的数据处理结果进行比较，可以更为准确查找可能出错的代码区域，更有效的对新数据处理模型进行优化。

实施例二：

图2示出了本发明第二实施例提供的数据处理模型的优化方法的实现流程，详述如下：

在步骤S201中，接收用于数据处理模型进行计算处理的输入参数。

在步骤S202中，将所述输入参数分别输入到旧数据处理模型和新数据处理模型，分别生成第一处理结果和第二处理结果。

步骤S201-S202与实施例一中步骤S101-S102基本相同，在此不作重复赘述。

在步骤S203中，当第一处理结果和第二处理结果之间的差值的绝对值超过预设的阈值时，根据所述输入参数，查找所述输入参数对应的代码模块。

具体的，在本发明实施例中，可以预先设定输入参数与代码模块的对应关系，或者还可以设定输入参数与代码模块的处理顺序的对应关系，从而根据输入参数，可以依次查询对所述输入参数进行处理的代码模块，根据各个代码模块的输出结果和输出时间进行比较，可以方便的确定出现异常的代码模块，也就是本步骤中所述的异常区域。

在步骤S205中，依次比较所述代码模块的输出结果，确定所述代码模块的异常区域。

可以建立新数据处理模块与旧数据处理模块之间的代码模块之间的对应关系，在进行异常区域的查找时，可以通过查找相应的代码模块之间的输出结果，定位异常区域所在的代码模块。

比如，对于输入参数X，在旧数据处理模型中对应的代码模块为a、b、c、d，在新数据处理模型中对应的代码模块为a’、m’、d’，并且代码模块a与a’对应，代码模块b、c与代码模块m’对应，代码模块d与代码模块d’对应。在进行异常区域的查找时，可以比较对应的代码模块的输出结果，当代码模块输出的结果不同或者超过一定的差值时，则判断输出不同结果的代码模块为异常区域。

当然，作为本发明实施例进一步优化的实施方式，所述方法还可以包括在预先设定的代码模块与技术人员的对应关系表中，查找所述异常区域对应的技术人员；

将所述输入参数、第一处理结果和第二处理结果发送给对应的技术人员。

所述技术人员可以为负责该区域的代码撰写的工作人员。通过建立各个代码模块与技术人员的对应关系，当查找到异常区域时，根据异常区域所包括的代码模块，可以发送至编写该处代码的技术人员，高效的解决可能碰到的问题。

本发明实施例在实施例一的基础上，进一步对异常区域的获取和优化进行了描述，通过本实施例所述方法，在实施例一的基础上，有利于进一步提高优化的效率和准确率。

实施例三：

图3示出了本发明第三实施例提供的数据处理模型的优化方法的实现流程，详述如下：

在步骤S301中，接收用于数据处理模型进行计算处理的输入参数。

在步骤S302中，将所述输入参数分别输入到旧数据处理模型和新数据处理模型，分别生成第一处理结果和第二处理结果。

步骤S301-S302与实施例一中步骤S101-S102基本相同，在此不作重复赘述。

在步骤S303中，对多个第一处理结果和第二处理结果的差值的绝对值按照从大到小进行排序。

在对输入参数进行数据处理时，有可能在同一段时间内出现多个异常的结果(即第一处理结果与第二处理结果的差值的绝对值大于预设的阈值)，导致在较短的时间内，技术人员无法全部有效的将出现问题的代码模块。或者，有可能出现问题的多个输入参数，有部分相同的原因在于同一个位置的代码模块。因此，为了提高优化效率，本发明对多个第一处理结果和第二处理结果的差值的绝对值按照从大到小进行排序。并且对于差值的绝对值较大的第一处理结果和第二处理结果，优选进行处理。

在步骤S304中，对所述排序中，与排序靠前的第一处理结果、第二处理结果及输入参数所对应的异常区域优先进行优化处理。

通过处理第一处理结果和第二处理结果的差值的绝对值较大时，优先进行处理，可以在同一次优化过程中，具有更大的可能同时解决多个代码模块的问题，从而能够提高数据处理模块的优化效率。

进一步的，本发明实施例还可以根据优化处理的顺序，在每次完成一个异常区域的优化处理后，对排序在后的其它异常区域重新计算和排序；根据重新计算和排序的结果，对其它异常区域进行优化处理。

对于每一次优化完成后，对于没有进行优化处理的异常区域重新进行计算和排序。其中，重新计算是指，获取没有进行优化处理的异常区域所对应的输入参数，根据所述输入参数重新计算第一处理结果和第二处理结果。并且，重新根据第一处理结果和第二处理结果之间的差值进行重新排序。

可以进一步选择差值较大的异常区域进行下一次优化。通过重新计算第二处理结果，可以避免已经优化的代码重复呈现问题，比如对于异常区域A进行优化后，可能对排序中的其它异常区域的处理结果产生影响，因而可以避免同类问题重复操作。并对差异较大的结果优先进行分析处理，可以提高对新数据处理模型的优化效率。

实施例四：

图4示出了本发明第四实施例提供的数据处理模型的优化装置的结构示意图，详述如下：

本发明实施例所述数据处理模型的优化装置，包括：

参数接收单元401，用于接收用于数据处理模型进行计算处理的输入参数；

处理单元402，用于将所述输入参数分别输入到旧数据处理模型和新数据处理模型，分别生成第一处理结果和第二处理结果；

优化单元403，用于当第一处理结果和第二处理结果之间的差值的绝对值超过预设的阈值时，根据所述输入参数、第一处理结果和所述第二处理结果，优化所述新数据处理模型。

优选的，所述优化单元包括：

代码模块查找子单元，用于根据所述输入参数，查找所述输入参数对应的代码模块；

异常区域确定子单元，用于依次比较所述代码模块的输出结果，确定所述代码模块的异常区域。

优选的，所述装置还包括：

技术人员查找子单元，用于在预先设定的代码模块与技术人员的对应关系表中，查找所述异常区域对应的技术人员；

发送子单元，用于将所述输入参数、第一处理结果和第二处理结果发送给对应的技术人员。

优选的，所述优化单元包括

排序单元，用于对多个第一处理结果和第二处理结果的差值的绝对值按照从大到小进行排序；

优先处理单元，用于对所述排序中，与排序靠前的第一处理结果、第二处理结果及输入参数所对应的异常区域优先进行优化处理。

优选的，所述装置还包括：

重新计算单元，用于根据优化处理的顺序，在每次完成一个异常区域的优化处理后，对排序在后的其它异常区域重新计算和排序；

再优化单元，用于根据重新计算和排序的结果，对其它异常区域进行优化处理。

本发明实施例所述数据处理模型的优化装置，与实施例一至三所述的数据处理模型的优化方法对应，在此不作重复赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据处理模型的优化方法，其特征在于，所述方法包括：

接收用于数据处理模型进行计算处理的输入参数；

将所述输入参数分别输入到旧数据处理模型和新数据处理模型，分别生成第一处理结果和第二处理结果；

当第一处理结果和第二处理结果之间的差值的绝对值超过预设的阈值时，根据所述输入参数、第一处理结果和所述第二处理结果，优化所述新数据处理模型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述输入参数、第一处理结果和所述第二处理结果，优化所述新数据处理模型步骤包括：

根据所述输入参数，查找所述输入参数对应的代码模块；

依次比较所述代码模块的输出结果，确定所述代码模块的异常区域。

3.根据权利要求2所述的方法，其特征在于，在所述依次比较所述代码模块的输出结果，确定所述代码模块的异常区域步骤之后，所述方法还包括：

在预先设定的代码模块与技术人员的对应关系表中，查找所述异常区域对应的技术人员；

将所述输入参数、第一处理结果和第二处理结果发送给对应的技术人员。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述当第一处理结果和第二处理结果之间的差值的绝对值超过预设的阈值时，根据所述输入参数、第一处理结果和所述第二处理结果，优化所述新数据处理模型的步骤包括：

对多个第一处理结果和第二处理结果的差值的绝对值按照从大到小进行排序；

对所述排序中，与排序靠前的第一处理结果、第二处理结果及输入参数对应的异常区域，优先进行优化处理。

5.根据权利要求4所述方法，其特征在于，所述方法还包括：

根据优化处理的顺序，在每次完成一个异常区域的优化处理后，对排序在后的其它异常区域重新计算和排序；

根据重新计算和排序的结果，对其它异常区域进行优化处理。

6.一种数据处理模型的优化装置，其特征在于，所述装置包括：

参数接收单元，用于接收用于数据处理模型进行计算处理的输入参数；

处理单元，用于将所述输入参数分别输入到旧数据处理模型和新数据处理模型，分别生成第一处理结果和第二处理结果；

优化单元，用于当第一处理结果和第二处理结果之间的差值的绝对值超过预设的阈值时，根据所述输入参数、第一处理结果和所述第二处理结果，优化所述新数据处理模型。

7.根据权利要求6所述的装置，其特征在于，所述优化单元包括：

代码模块查找子单元，用于根据所述输入参数，查找所述输入参数对应的代码模块；

异常区域确定子单元，用于依次比较所述代码模块的输出结果，确定所述代码模块的异常区域。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

技术人员查找子单元，用于在预先设定的代码模块与技术人员的对应关系表中，查找所述异常区域对应的技术人员；

发送子单元，用于将所述输入参数、第一处理结果和第二处理结果发送给对应的技术人员。

9.根据权利要求6-8任一项所述的装置，其特征在于，所述优化单元包括

排序单元，用于对多个第一处理结果和第二处理结果的差值的绝对值按照从大到小进行排序；

优先处理单元，用于对所述排序中，与排序先前的第一处理结果、第二处理结果及输入参数所对应的异常区域优先进行优化处理。

10.根据权利要求9所述装置，其特征在于，所述装置还包括：

重新计算单元，用于根据优化处理的顺序，在每次完成一个异常区域的优化处理后，对排序在后的其它异常区域重新计算和排序；

再优化单元，用于根据重新计算和排序的结果，对其它异常区域进行优化处理。