CN116308830B - 基于保险金融的规则管理及执行发布处理系统 - Google Patents

Abstract

本发明涉及金融规则处理技术领域。本发明涉及基于保险金融的规则管理及执行发布处理系统。其包括数据验证模块、规则上线系统、规则调度模块和规则执行模块；在新规则上线时，数据验证模块对新规则进行验证，判断触发的新规则是否正确；数据验证模块验证新规则前，规则上线系统对新规则进行预热。本发明部署的规则集数量可横向扩展，在执行大规模的任务时，执行时间大大缩短，并且采用环形消息队列，避免锁竞争，大大提高读写速度，同时，在新规则上线时通过AB测试对新规则进行验证，并且采用预热缓存的方式，降低数据库的负载，再通过一级缓存和二级缓存的方式缓存将新规则缓存至执行器中，避免缓存穿透，提高缓存的效率。

Description

基于保险金融的规则管理及执行发布处理系统

技术领域

本发明涉及金融规则处理技术领域，具体地说，涉及基于保险金融的规则管理及执行发布处理系统。

背景技术

在保险金融风控领域（车损的定损、核损环节），部署的规则数量通常在十万级别以上，保险公司各机构启用的规则也不一样，机构与规则的关系数量也在百万千万级别，同时车损风控系统面向C端作业的定损、核损人员，对系统的响应时间也有硬性要求，必须在规定时间以内返回结果,并且系统可用性SLA要达到4个9以上，而规则专家每隔一段时间就会投放规则，在执行的规则数量不断增加的情况下，同时在这种大数量规则频繁更新，以及系统满足高可用、高性能的情况下，对规则执行及发布处理系统的设计提出了挑战，因此，提出基于保险金融的规则管理及执行发布处理系统。

发明内容

本发明的目的在于提供基于保险金融的规则管理及执行发布处理系统，以解决上述背景技术中提出的问题。

为实现上述目的，提供了基于保险金融的规则管理及执行发布处理系统，包括数据验证模块、规则上线系统、规则调度模块和规则执行模块；

在新规则上线时，所述数据验证模块对新规则进行验证，判断触发的新规则是否正确；

所述数据验证模块验证新规则前，所述规则上线系统对新规则进行预热，所述数据验证模块验证新规则为正确时，所述规则上线系统对新规则进行缓存，并通知所有的规则执行模块进行缓存；

所述规则调度模块对已经使用的规则集进行查询，并将需要执行的规则进行分组，最后将分组后的规则写入环形消息队列中；

所述规则执行模块对环形消息队列进行监听，获取规则组，并执行规则组中的规则，并将结果返回给调用方。

作为本技术方案的进一步改进，所述数据验证模块采用AB测试对新规则的触发是否正确进行判断。

作为本技术方案的进一步改进，所述数据验证模块采用AB测试的步骤如下：

①、规则专家上线或下线规则时，启用预热模块，预热模块分为一级和二级缓存；

②、预热模块采用分成批次的方法进行预热，先预热一级缓存，等预热完成后再预热二级缓存；

③、预热的过程中，调用规则通知模块，采用发布订阅模式，通知其它部署节点进行规则数据更新，保证数据的一致性，规则通知模块会将最新的规则数据推送给所有需要更新的节点；

④、预热B完成后，系统切换到预热完成的规则数据集B中，完成规则的更新；

⑤、缓存更新完成后，规则专家可以通过后台面板查看规则上线的状态，并进行必要的调整；

⑥、在规则专家下线规则时，缓存更新机制同样会进行一次预热和更新操作，保证下线规则后系统的正常运行；

通过AB缓存更新机制，可以实现规则更新时的平滑过渡，保证系统的稳定性。同时，采用规则通知模块对其它节点进行更新通知，保证了数据的一致性，减少了不必要的冲突和误差。

作为本技术方案的进一步改进，所述规则上线系统包括规则预热模块、规则切换模块和规则通知模块；

所述数据验证模块对新规则进行验证之前，所述规则切换模块控制规则预热模块将新规则的预热组进行缓存，在所述数据验证模块完成对新规则的验证之后，所述规则切换模块控制规则预热模块切换成完整的新规则进行缓存；

所述规则预热模块将新规则的预热组进行缓存时，所述规则通知模块通知规则执行模块的各个集群节点进行预热缓存；所述规则预热模块切换成完整组缓存时，所述规则通知模块通知规则执行模块的各个集群节点同步切换缓存。

作为本技术方案的进一步改进，所述规则预热模块采用一级缓存和二级缓存的方式将新规则缓存在规则执行模块的各个执行器中。

作为本技术方案的进一步改进，所述规则切换模块包括预热缓存单元和切换缓存单元；

在新规则上线之后，所述预热缓存单元将新规则的预热组通过规则预热模块中的一级缓存的方式缓存至规则执行模块中。

所述数据验证模块完成对新规则的验证之后，所述切换缓存单元将预热缓存单元中的一级缓存切换为二级缓存，并将新规则的完整数据缓存至规则执行模块。

作为本技术方案的进一步改进，所述预热缓存单元对新规则的预热组进行预热缓存时，所述规则通知模块通知规则执行模块的其他节点同时进行预热缓存；

所述切换缓存单元对新规则的完整内容进行缓存时，所述规则通知模块通知规则执行模块的其他节点同时进行缓存。

作为本技术方案的进一步改进，所述规则执行模块中所有节点将新规则的完整数据缓存完整之后，所述规则调度模块对正在使用中的规则集进行查询，并将规则集任务写入环形消息队列。

作为本技术方案的进一步改进，所述规则执行模块对环形消息队列的信息进行监听，并执行规则调度模块环形消息队列中的规则集任务。

与现有技术相比，本发明的有益效果：

该基于保险金融的规则管理及执行发布处理系统中，部署的规则集数量可横向扩展，在执行大规模的任务时，执行时间大大缩短，并且采用环形消息队列，避免锁竞争，大大提高读写速度，同时，在新规则上线时通过AB测试对新规则进行验证，并且采用预热缓存的方式，降低数据库的负载，再通过一级缓存和二级缓存的方式缓存将新规则缓存至执行器中，避免缓存穿透，提高缓存的效率。

附图说明

图1为本发明的整体流程框图；

图2为本发明的规则切换模块的流程框图。

图中各个标号意义为：

1、规则预热模块；

2、规则切换模块；

21、预热缓存单元；22、切换缓存单元；

3、规则通知模块；

4、规则调度模块；

5、规则执行模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

请参阅图1-图2所示，本实施例目的在于，提供了基于保险金融的规则管理及执行发布处理系统，包括数据验证模块、规则上线系统、规则调度模块4和规则执行模块5；

在新规则上线时，数据验证模块对新规则进行验证，判断触发的新规则是否正确；

数据验证模块验证新规则前，规则上线系统对新规则进行预热，数据验证模块验证新规则为正确时，规则上线系统对新规则进行缓存，并通知所有的规则执行模块5进行缓存；

规则调度模块4对已经使用的规则集进行查询，并将需要执行的规则进行分组，最后将分组后的规则写入环形消息队列中；

规则执行模块5对环形消息队列进行监听，获取规则组，并执行规则组中的规则，将执行结果回调，并将结果返回给调用方。

数据验证模块采用AB测试对新规则的触发是否正确进行判断，采用A和B两组分别运行，并将运行后触发的结果进行对比分析，得出新规则的运行是否正确。

数据验证模块采用AB测试的步骤如下：

①、规则专家上线或下线规则时，启用预热模块，预热模块是一个独立的模块，它可以在后台监控规则专家的操作，一旦发现规则上线或下线的情况，就会启动预热流程；

②、预热模块分为一级和二级缓存。一级缓存通常是内存缓存，可以快速读取数据。二级缓存通常是分布式缓存，可以分散数据存储的压力，保证系统的稳定性；预热模块会分批次对这两种缓存进行预热；首先会预热一级缓存，等一级缓存预热完成后再预热二级缓存；

③、预热的过程中，调用规则通知模块，采用发布订阅模式，通知其它部署节点进行规则数据更新，保证数据的一致性；规则通知模块是一个独立的模块，它会监控规则预热的进度，一旦发现缓存中的规则数据需要更新，就会将最新的规则数据推送给所有需要更新的节点；这样，所有节点都可以获取最新的规则数据，保证数据的一致性；

④、预热B完成后，系统切换到预热完成的规则数据集B中，完成规则的更新；这时，整个系统已经完成了规则的更新，可以开始正常的运行；

⑤、在规则专家下线规则时，缓存更新机制同样会进行一次预热和更新操作；同样需要采用发布订阅模式通知其它节点进行规则数据更新，保证数据的一致性。

通过AB缓存更新机制，可以实现规则更新时的平滑过渡，保证系统的稳定性。同时，采用规则通知模块对其它节点进行更新通知，保证了数据的一致性，减少了不必要的冲突和误差。预热模块和规则通知模块的引入，可以大幅提高系统的可维护性和可靠性。

规则上线系统包括规则预热模块1、规则切换模块2和规则通知模块3；

数据验证模块对新规则进行验证之前，规则切换模块2控制规则预热模块1将新规则的预热组进行缓存，在数据验证模块完成对新规则的验证之后，规则切换模块2控制规则预热模块1切换成完整的新规则进行缓存；

规则预热模块1将新规则的预热组进行缓存时，规则通知模块3通知规则执行模块5的各个集群节点进行预热缓存；规则预热模块1切换成完整组缓存时，规则通知模块3通知规则执行模块5的各个集群节点同步切换缓存。

规则预热模块1采用一级缓存和二级缓存的方式将新规则缓存在规则执行模块5的各个执行器中，在用户查询缓存内容时，如果某个key对应的数据不存在，而又未对该key作缓存，所以每次请求都会穿过缓存直接到数据库进行查询，并发量高的情况下进而导致数据库直接宕机，造成缓存穿透，所以设置一级缓存和二级缓存，其中一级缓存在高并发的场景下，为了减少网络数据调用，缓存数据到本地，当要获取规则信息时，首先从本地获取，通常用encache、caffeine存储，二级缓存通常采用memcached、redis存储，当一级缓存查询不到数据时，再查询二级缓存数据，二级缓存没有查询到数据时，再查询数据库，如果数据库中存在，则将查询到的结果录入一级缓存和二级缓存中。

规则切换模块2包括预热缓存单元21和切换缓存单元22；

在新规则上线之后，预热缓存单元21将新规则的预热组通过规则预热模块1中的一级缓存的方式缓存至规则执行模块5中，预热缓存单元21在规则执行模块5中开辟一个新的储存区域，一级缓存和二级缓存的内容都在这个新的储存区域中储存，而新规则上线时，规则执行模块5中没有关于新规则的任何缓存数据，在缓存数据建立的过程中，规则执行模块5的性能和数据库的负载都会受到影响，导致性能下降，所以在新规则上线之后，把新规则的热点数据预先缓存，不会更改正在使用中的规则数据。

数据验证模块完成对新规则的验证之后，切换缓存单元22将预热缓存单元21中的一级缓存切换为二级缓存，并将新规则的完整数据缓存至规则执行模块5，在新规则被验证为正确之后，新规则可进行直接运行，所以此时将新规则的完整内容缓存下来，便于后期新规则的执行。

预热缓存单元21对新规则的预热组进行预热缓存时，规则通知模块3通知规则执行模块5的其他节点同时进行预热缓存，在所有节点都预热完成时，数据验证模块开始对新规则进行验证；

切换缓存单元22对新规则的完整内容进行缓存时，规则通知模块3通知规则执行模块5的其他节点同时进行缓存，保证规则执行模块5的所有节点同时进行预热组和新规则完整内容的同步缓存，保证数据的一致性。

规则执行模块5是在所有节点缓存完整新规则的数据后开始执行的，在一个案件中的所有规则进行运行时，将10个规则分为一组，每一组表示一个任务，这样可以降低网络调用次数，减少性能损耗，提升系统性能。

在这些规则任务被创建后，它们会被写入环形消息队列中。这个队列的作用就是在不同模块之间传递数据，即规则任务，环形队列是一种特殊的队列，它在逻辑上是将数组元素和/>连接起来形成一个环形的存储空间。

为了方便读写数据，队列中需要维护两个指针：head和tail。其中head指向队列中可以读取数据的位置，tail指向队列中可以写入数据的位置。当一个规则任务被写入队列时，tail指针会向前移动，指向下一个可写入数据的位置。当需要读取队列中的数据时，head指针会向前移动，指向下一个可读取数据的位置，这样就可以实现从队列头部读取数据的功能。

通过环形消息队列，规则调度模块4可以按照调度算法，读取并执行队列中的规则任务，从而实现规则的运行。队列的优点是可以实现缓冲作用，当规则任务瞬间很多时，系统可以先将任务写入队列，待系统资源足够时再去处理队列中的任务，从而保证系统的稳定性。同时，由于环形队列的特殊性质，可以实现循环利用队列中的存储空间，不需要频繁地进行内存分配和释放，从而提高系统的效率。

调度算法步骤如下：

①、获取任务列表：从任务队列中获取待处理的任务列表；

②、过滤任务：根据任务的优先级、类型和其他指标，过滤掉不符合要求的任务，减少后续处理的负担；

③、对任务进行排序：根据任务的优先级、创建时间等指标，对任务进行排序，确保高优先级任务先被处理；

④、选择执行线程：根据当前系统资源的情况选择适当的执行线程，保证任务可以在指定时间内得到处理；

⑤、分配任务：将选定的任务分配给执行线程，并设置相关的参数和约束条件；

⑥、执行任务：执行线程开始执行任务，根据任务的类型和要求进行处理，并返回执行结果；

⑦、更新任务状态：根据执行结果更新任务的状态信息，标记已完成或失败，并将任务移出待处理列表；

⑧、循环执行步骤①~⑦，直到任务队列为空或系统停止运行。

在实际运行中，规则调度模块还可以根据具体需求添加一些特殊的处理逻辑，例如任务错误重试、任务超时处理等。同时，为了充分利用系统资源，还可以通过调整主线程和子线程的数量、线程池的大小等方式来优化系统性能。

环形队列是一种特殊的队列，因此具有队列的显著特征先进先出，其特殊性在于“环形”，内存空间可以不断重复使用，无需频繁分配和释放内存，并且可以实现无锁的数据结构。

规则执行模块5对环形消息队列的信息进行监听，并执行规则调度模块4环形消息队列中的规则集任务，规则执行模块5通过设置集群式的执行器执行规则调度模块4的规则集任务，相比于单机执行器来说，在任务数小于3000时，单机执行的响应时间比集群快；在任务数大于3000时，单机执行的响应时间比集群慢，因此在大规模执行规则集任务时，采用集群执行器可有效提高响应时间，在集群式执行器执行完规则集任务之后，将执行结果传输至规则调度模块4，并通过规则通知模块3将执行结果中存在的风险告知调用方，调用方可直观的看到新规则的使用效果。

在本系统使用时，部署的规则集数量可横向扩展，在执行大规模的任务时，执行时间大大缩短，并且采用环形消息队列，避免锁竞争，大大提高读写速度，同时，在新规则上线时通过AB测试对新规则进行验证，并且采用预热缓存的方式，降低数据库的负载，再通过一级缓存和二级缓存的方式缓存将新规则缓存至执行器中，避免缓存穿透，提高缓存的效率。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.基于保险金融的规则管理及执行发布处理系统，其特征在于：包括数据验证模块、规则上线系统、规则调度模块（4）和规则执行模块（5）；

在新规则上线时，所述数据验证模块对新规则进行验证，判断触发的新规则是否正确；

所述数据验证模块验证新规则前，所述规则上线系统对新规则进行预热，所述数据验证模块验证新规则为正确时，所述规则上线系统对新规则进行缓存，并通知所有的规则执行模块（5）进行缓存；

所述规则调度模块（4）对已经使用的规则集进行查询，并将需要执行的规则进行分组，最后将分组后的规则写入环形消息队列中；

所述规则执行模块（5）对环形消息队列进行监听，获取规则组，并执行规则组中的规则，并将结果返回给调用方；

所述规则上线系统包括规则预热模块（1）、规则切换模块（2）和规则通知模块（3）；

所述数据验证模块对新规则进行验证之前，所述规则切换模块（2）控制规则预热模块（1）将新规则的预热组进行缓存，在所述数据验证模块完成对新规则的验证之后，所述规则切换模块（2）控制规则预热模块（1）切换成完整的新规则进行缓存；

所述规则预热模块（1）将新规则的预热组进行缓存时，所述规则通知模块（3）通知规则执行模块（5）的各个集群节点进行预热缓存；所述规则预热模块（1）切换成完整组缓存时，所述规则通知模块（3）通知规则执行模块（5）的各个集群节点同步切换缓存；

所述规则预热模块（1）采用一级缓存和二级缓存的方式将新规则缓存在规则执行模块（5）的各个执行器中；

所述规则切换模块（2）包括预热缓存单元（21）和切换缓存单元（22）；

在新规则上线之后，所述预热缓存单元（21）将新规则的预热组通过规则预热模块（1）中的一级缓存的方式缓存至规则执行模块（5）中；

所述数据验证模块完成对新规则的验证之后，所述切换缓存单元（22）将预热缓存单元（21）中的一级缓存切换为二级缓存，并将新规则的完整数据缓存至规则执行模块（5）；

所述预热缓存单元（21）对新规则的预热组进行预热缓存时，所述规则通知模块（3）通知规则执行模块（5）的其他节点同时进行预热缓存；

所述切换缓存单元（22）对新规则的完整内容进行缓存时，所述规则通知模块（3）通知规则执行模块（5）的其他节点同时进行缓存。

2.根据权利要求1所述的基于保险金融的规则管理及执行发布处理系统，其特征在于：

所述规则执行模块（5）中所有节点将新规则的完整数据缓存完整之后，所述规则调度模块（4）对正在使用中的规则集进行查询，并将规则集任务写入环形消息队列。

3.根据权利要求2所述的基于保险金融的规则管理及执行发布处理系统，其特征在于：所述规则执行模块（5）对环形消息队列的信息进行监听，并执行规则调度模块（4）环形消息队列中的规则集任务。