CN110674173A - 一种风控云上的数据缓存的方法和系统 - Google Patents
一种风控云上的数据缓存的方法和系统 Download PDFInfo
- Publication number
- CN110674173A CN110674173A CN201910904873.8A CN201910904873A CN110674173A CN 110674173 A CN110674173 A CN 110674173A CN 201910904873 A CN201910904873 A CN 201910904873A CN 110674173 A CN110674173 A CN 110674173A
- Authority
- CN
- China
- Prior art keywords
- data
- cloud
- event
- wind
- wind control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/03—Credit; Loans; Processing thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Accounting & Taxation (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本公开涉及一种风控云上的数据缓存的方案,包括:在私有云处对敏感数据进行清洗和脱敏;定期从所述私有云获取脱敏后的数据并存储到公有云的缓存中;在驻留在所述公有云上的风控云处,针对不同的业务事件配置并存储相应的事件配置和事件脚本;根据接收到的业务事件请求,编译并加载与所述业务事件相关联的事件配置和事件脚本;根据所述事件脚本从所述缓存中获取需要的数据并进行格式转换;根据所述需要的数据执行风控分析,并输出风控分析的结果。
Description
技术领域
本公开涉及云技术中的数据处理,更具体而言,涉及一种针对风控云的数据缓存的方法和系统。
背景技术
随着互联网技术的不断发展,越来越多的日常业务也被搬迁到互联网上。特别是随着互联网金融的发展,原来传统的线下金融业务也开始向互联网转型。例如,P2P、网贷平台、网上银行、网上保险、网上信贷、网上转账、网上购物、网上支付、网上交易等等。这些传统金融业务的线上转型带来了一系列问题,其中最主要的就是风控问题。在传统的金融业务中,当客户要享受金融服务时必须提交各种实体材料,例如身份证、营业执照、税单、资产证明文件等等,因此,对客户的资格审核相对比较容易,风险也比较小。但当这些金融业务转型到互联网上时,此时再让办理相关业务的客户提供各种实体资料显然是不现实的。因此,要对客户进行资格审核就会面临诸多难题。一种解决该难题的办法就是利用云技术从各种数据源收集有关该客户的信息并利用风险模型加以分析和评分,这一过程通常被称为云风控。例如一些基于大数据的风控云平台已经开始尝试从诸如,例如商业银行、电商平台、传统金融机构、P2P公司等众多数据源采集多方数据,并按地区、分行业输出不同场景下的风控解决方案。但现有的风控云平台还存在很多缺陷,例如针对私有云上的敏感数据的处理缺乏足够的保密性并且处理速度缓慢。
因此,需要提供一种能够在提高保密性的前提下加快风控云上数据的同步及处理速度的方法和系统。
发明内容
本公开涉及一种风控云上的数据缓存的方案。通过利用缓存的数据预存来减少与私有云之间的通信,从而加快风控分析的响应速度。
根据本公开的第一方面,提供了一种风控云上的数据缓存的方法,包括:在私有云处对敏感数据进行清洗和脱敏;定期从所述私有云获取脱敏的数据并存储到公有云的缓存中;在驻留在所述公有云上的风控云处,针对不同的业务事件配置并存储相应的事件配置和事件脚本;根据接收到的业务事件请求,编译并加载与事件相关联的事件配置和事件脚本;根据所述事件脚本从所述缓存中获取需要的数据并进行格式转换;根据所述需要的数据执行风控分析,并输出风控分析的结果。
根据本公开的第二方面,提供了一种利用数据缓存进行风控分析的风控云,包括:缓存,被配置为存储从私有云处获取的经过清洗和脱敏的敏感数据;事件配置和脚本模块,被配置为配置并存储针对不同的业务事件的相应的事件配置和事件脚本;风控分析模块,被配置为根据接收到的业务事件请求从所述事件配置和脚本模块中编译并加载与事件相关联的事件配置和事件脚本以根据所述事件脚本从所述缓存中获取需要的数据,根据所述需要的数据执行风控分析,并输出风控分析的结果。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征,也不旨在用于限制所要求保护主题的范围。
附图说明
为了描述可获得本公开的上述和其它优点和特征的方式,将通过参考附图中示出的本公开的具体实施例来呈现以上简要描述的本公开的更具体描述。可以理解,这些附图只描绘了本公开的各典型实施例,并且因此不被认为是对其范围的限制,将通过使用附图并利用附加特征和细节来描述和解释本公开,在附图中:
图1示出了传统风控云的示例性系统环境。
图2示出了根据本公开的一个实施例的风控云的示例性系统环境。
图3示出了根据本公开的一个实施例的用于在风控云上的数据缓存的方法的流程。
具体实施方式
在描述本公开的各实施例之前,先就几个术语进行说明,以便于理解。
公有云:公有云通常指第三方提供商为用户提供的能够使用的云平台,公有云一般可通过Internet使用,可能是免费或成本低廉的。这种云有许多实例,可在当今整个开放的公有网络中提供服务。本公开的风控云就是通过驻留在公有云上来实现的。
私有云:私有云是为一个客户(或企业、机构)单独使用而构建的平台,因而它能提供对数据、安全性和服务质量的最有效控制。所述公司拥有平台基础设施,并可以控制在此基础设施上部署应用程序的方式。私有云可部署在企业数据中心的防火墙内,也可以将它们部署在一个安全的主机托管场所,私有云的核心属性是专有资源。
风控云:风控云是搭建在公有云上的SAAS(软件即服务)风控云服务。其主要功能是帮助客户通过风控分析进行风险评估。具体而言,例如金融风控云系统提供了风险分析、反欺诈分析、决策引擎服务、信息核验服务、策略调用服务、统计报表等功能。而本公开的方案主要就是针对风控云上的风控分析过程进行的改进。
在风控云上进行风控分析时依赖的数据分为两种,第一种是客户自身同步传递到风控云的业务数据,第二种是所依赖的私有云内的数据,包括黑白名单数据、设备数据和可信数据等。第二种数据由于合规、法务、政策等约束和要求,不能在公有云上存储和落地,仅能存储在风控云所依赖的私有云中。但是这部分数据对于风控分析来说至关重要,对风控策略的覆盖率、打扰率,以及对模型的准确率都有重要影响。
目前业务方每次调用风控云进行风控分析请求时,风控云在实时风险分析时需要去获取私有云内的数据以进行风控策略运算,这种数据同步方式是通过公网(例如互联网、GRPS、CDMA、2/3/4/5G蜂窝网络等)访问,因此,存在比较大的安全隐患。并且,实时查询数据和处理这样的方式响应速度慢,导致风控分析服务性能的下降,严重时会造成服务不可用,甚至发生“风险放过”(未及时判断出风险导致放过了高风险事件)问题。
具体而言,如图1所示,在图1中示出了传统的风控云的示例性系统环境。如图所示,风控云120可以为客户(例如客户110)提供风控分析服务以帮助客户实现风险分析、反欺诈分析、策略决策、信息核验、统计报表等服务。所述客户可以是个人,也可以是诸如公司、企业、机关、机构、团体等实体。如图所示,所述风控云可以由在公有云上的服务器来实现,从而使得它能够被公众所访问。风控云120可以通过通信网络1从客户110接收风控分析请求和/或由客户所提供的相关数据。在接收到所述风控分析请求之后,风控云120需要从各个数据源调取与所述请求相关的数据以进行风控策略运算。所述风控策略运算通常可以基于风控云120针对不同业务所构建的一个或多个风控模型来实现。通信网络1可以是公网中的一种,例如局域网、广域网、GRPS、CDMA、2/3/4/5G蜂窝网络等公共网络。
而所述数据源可以包括例如由客户所提供的相关数据、其他实体平台上的服务器(例如电商平台、网上银行以及网贷平台等等)130(1),…,130(n)所提供的相关数据、以及与该风控云120相关联的具有敏感数据的私有云140所提供的相关数据。对于其他实体平台上的服务器可以通过公共的通信网络1来访问。而在私有云上存储的数据一般都是企业的专有资源,属于内部敏感数据,不能被公开到企业外部,因此,私有云一般都部署在企业数据中心或安全的主机托管场所内,并需要通过专有网络2或通过公网(例如上述的通信网络1)经由专门的访问接口来进行访问。专有网络2可以是专门铺设的线路、VPC等等。使用专有网络2来访问私有云虽然速度快、安全性高,但却会导致高昂的传输成本,因此,出于成本原因,一般都不考虑使用该解决方案来访问私有云。换句话说,当风控云120从私有云140获取其内部敏感数据时,通常都是利用现有的公网,例如通信网络1,来实现。但是,由于公网的速度一般比较慢,而且还需要执行安全验证,因此,会导致显著的访问延时。这种延时在一些场景中是无法接受的。另外,公网的安全性较差,这就导致所述私有云上的敏感数据在公网上的传输时存在较大的安全隐患。
另一方面,每次风控分析时所需的私有云内的数据,只有在真正执行分析并用到该数据时才能通过公网向私有云进行查询和计算,导致实时查询数据和处理分析响应的速度非常慢,这就使得整个风控分析的处理瓶颈集中在数据同步上。举例来说,以一次公网访问获取所有需要的数据为例,同城网络耗时一来一回一般在200ms左右,私有云内数据查询和计算耗时300ms左右,因此,一次公网访问获取数据最快也要500ms。再加上获取数据后,风控分析本身执行的时间大约需要200ms,因此,风控云120的整个风控分析流程最快也要花费700ms才能完成。这还是在网络传输理想情况下所要花费的时间。如果再加上网络抖动的因素,则每次风控分析流程所需要花费的时间平均要达到1s左右。对于实时风控来说,这种响应对业务会有不小的影响,甚至不可接受。例如,对于扫码支付而言,1s的风控等待时间或许在大部分情况下是可以容忍的,但是,如果是在抢购、秒杀、抢拍这样需要极速完成的业务的情况下,1s的风控等待时间足以导致客户的业务中止或失败。而且,在很多情况下,风控云需要处理的业务可能不仅仅涉及一次风控分析,甚至同时存在许多次风控分析请求。这样,就要求风控云120在风控分析过程中,频繁通过公网访问私有云数据,而每次访问的响应缓慢可能被累积成无法忍受的整体风控分析的数据查询和处理方式响应的累加迟缓,进而形成远超1s的延迟。
最后,在传统的风控云中,针对所述风控分析请求的对所述私有云的每次数据访问一般都是进行全量查询数据,即对私有云的数据库中的所有数据进行查询检索,因此,无法根据所请求的事件进行个性化管控和配置,浪费了大量处理时间。并且,如果有需求,还需要进行硬编码,增加了额外的资源消耗。
综上所述,现有的传统风控云120对私有云140的访问存在着诸如数据处理和响应速度缓慢、安全性差等缺陷。因此,需要一种能够在提高数据安全性的同时加速风控云上的数据同步的方法和系统。
为了解决上述问题,本公开提供了一种在风控云上的数据缓存的新颖方法和系统。
如图2所示,其示出了根据本公开的一个实施例的风控云的示例性系统环境。在所述示例性系统环境中,客户210可以通过通信网络1与建立在公有云上的风控云220进行通信。所述通信可以包括将客户自身的业务数据同步传递到与风控云220相关的数据库中或向风控云220发送风控分析请求。如前所述,在收到所述风控分析请求后,风控云可以从多个数据源调取与所述请求相关的数据以进行风控策略运算。而所述数据源可以包括例如存储在公有云的数据库上的由客户所提供的相关业务数据、其他实体平台上的服务器(例如电商平台、网上银行以及网贷平台等等)230(1),…,230(n)上存储的相关数据、以及与该风控云220相关联的具有敏感数据的私有云240上存储的相关数据等等。如图所示,在该示例中,这些数据源都可以通过公网,例如通信网络1,与风控云220进行数据通信。在另一些示例中,私有云240也可以使用专有网络2来与风控云220进行数据通信。
下面再看风控云220。所述风控云220包括运营模块、事件配置和脚本模块、事件转换模块、风控分析模块、数据库以及缓存等模块。
与图1中的传统风控云不同的是,在本公开的方案中,在风控云220和私有云240之间还另外配置了一个缓存。所述缓存的作用是通过定时任务将从私有云获取并脱敏后的数据缓存起来以便在需要时(例如风控云220执行风控分析处理时)取代私有云来向风控云220提供需要的业务数据。这样,当所述风控云在接收到来自客户210的风控分析业务请求并且需要从私有云获取相关的数据时,可以先从缓存中检索需要的数据是否存在,如果存在(命中),就能直接从所述缓存中获取所述数据来执行风控分析,无需再访问所述私有云。这无疑能够大大节省网络通信的时间,进而加快分析的速度。尽管缓存对私有云的数据的存取也需要耗费一定的时间,但这些时间可以在没有风控分析任务的空闲时段定时执行,因此,并不会增加风控分析的处理时间和资源消耗。另一方面,如果在所述缓存中不存在需要的数据(不命中),则所述方案还是可以按照常规的办法通过通信网络访问私有云来获取所需数据。此时,所述风控分析任务所花费的时间与传统的风控分析任务相比基本相同(由于缓存的高速特性,对缓存的数据命中检索耗费的时间几乎可以忽略不计)。
数据库则可以用于存储来自客户自身所提供的用于风控分析的业务数据,以及其他各种数据。
除了上述模块之外,在本公开的风控云220中还配置了下述模块:运营配置模块、事件配置和脚本模块、事件转换模块以及风控分析模块。
对于运营配置模块,其包含了事件配置、风险策略配置、名单配置和变量配置等各种配置。通过利用所述运营配置模块对系统进行配置,可以使得所述系统实现各种相应的功能。
具体而言,事件配置:事件是基于不同场景定义的一组数据结构,包括事件名称、事件编码以及事件属性等关键信息,比如注册环节会发送注册事件,登录环节会发送登录事件。
事件脚本:通常事件属性数据是上游业务根据约定的格式发送到风控云系统,但是有些事件属性数据需要通过第三方数据源获取,或进行相应地计算转换为事件标准格式,由于事件种类众多并且事件属性会动态增减,这种情况下跟进动态语言脚本进行动态配置,通常用groovy脚本实现。不同事件的事件属性会不同,可以在脚本里根据实际情况选取对应的属性而不必全量获取。
风险策略配置:每种事件会关联一组风险策略,风险策略是策略运营同学用来识别和管控不同风险、刻画不同人物画像、环境设备等信息的手段和方法,有一系列规则条件组成,规则条件比如某账号是否在白名单中。
名单配置:账号、介质等黑白名单配置,名单通过变量获取。
变量配置:对数据维度的刻画,比如获取事件属性、获取账号白名单、账号价值判断以及金额累计等,变量会被使用在风险策略规则条件里。
举例而言,客户提交的各种业务实际上涉及各种类型的事件,例如,如果客户想要防控在注册时的垃圾注册风险,这就需要在注册环节将风控需要的数据发送给风控云以对所述注册进行监控。再例如,如果客户想要避免在支付时的风险,则在执行支付之前就需要将风控所需的数据发送给风控云以对所述支付进行风险评估。因此,每种需要防控风险的业务场景都会定义一个事件,用来给后续的风险防控传递所需的事件。
另一方面,在风控分析时,有些事件中的数据能通过业务系统透传数据功能直接得到,但也有一些事件中的数据需要通过第三方(诸如其他平台230、私有云240等)的数据源来获取。来自第三方数据源的数据的形式和格式一般各不相同,并不能被直接使用,因此,这时候就需要利用事件脚本对其进行相应的转换以组装成风控云所需要的数据。例如账号的相关标签信息,通过业务系统直接获取不到,所以,这些数据需要由公有云上的风控云从私有云来获取,并且在获取的同时还需要利用事件脚本将相关数据从私有云上的原本格式转成风控云可以处理的需要格式,这就是事件脚本的作用。
基于上述内容,可以理解在风控云220中的事件配置和脚本模块实际上存储了由营运者针对不同类型的事件所定义的与该事件对应的各种事件配置和事件脚本。这样,当在客户的业务请求中包含风控分析请求时,就能够根据客户所请求的业务类型(也即事件类型)从事件配置和脚本模块中选择出与所述业务场景相匹配的事件配置和事件脚本。可以理解,在有新接入的事件时,所述事件配置和脚本模块可以相应地提供该事件的配置和事件脚本。并且所述事件脚本可以是动态配置的,也即在风控分析过程中随时可以通过编辑和修改来进行调整。
随后,当接收到风控分析请求时,风控云对所选择的事件脚本进行编译以及配置加载,从而从缓存中个性化获得所需的数据,并引导所述事件转换模块对所获取的数据进行数据格式的转换,以使得风控云能够使用所述数据。
之后,风控分析模块可以根据所述数据以及来自其他数据源的其他业务数据并利用例如风控模型来对业务的风险进行风控分析评估,并将评估的结果返回给提出请求的客户。
应该理解,图2中的实施例所示出的各种模块仅仅是举例说明,并非对其具体结构进行限制,更多或更少的模块也可以被使用,这些都属于本公开的保护范围内。
在了解了图2的根据本公开的一个实施例的风控云的示例性系统环境之后,下面结合图3来描述根据本公开的一个实施例的在风控云上的数据缓存的方法。
首先,在步骤310,在私有云上,每当接收到新的敏感数据时,就对所述敏感数据进行离线数据处理后再存储。所述离线数据处理可以包括数据清洗和数据脱敏。所述数据清洗是指:对私有云上的所述敏感数据进行重新审查和校验的过程,目的在于删除重复信息、纠正存在的错误,并提供数据一致性。而数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护,这样就可以在开发、测试和其它非生产环境以及外包环境中安全地使用脱敏后的真实数据集。在一个实施例中,例如可以通过诸如ODPS(Open Data Processing Service)的开放数据处理服务来对所述数据进行离线清洗。经过清洗和脱敏后的数据可以以合适的格式被保存。例如当使用开放数据处理服务ODPS对数据进行离线清洗处理后,就可以采用OTS(Open Table Service)之类的表格来进行存储。所述ODPS和OTS拥有出色的数据离线处理能力,使用这些技术可以轻松处理和分析海量的数据。而数据脱敏也可借助常用的数据变形手段来实现。当然,其他数据处理工具和格式也可以用于所述敏感数据的清洗、脱敏和存储,在此不再一一详述。技术人员可以根据实际需要选择合适的数据处理工具来实现对私有云的敏感数据的上述处理。
接着,在步骤320,公有云上的风控云220通过定时任务定期从私有云获取脱敏后的数据并将其存储到缓存中。至此,在公有云的缓存中就保存有来自私有云的相应业务数据,并且还会被定期更新。为了传输效率,所述获取操作可以是增量获取,也即仅将先前并未存储在缓存中的增量脱敏数据从私有云加载到缓存中,而非全量传输。
这些都是针对私有云上的数据的预处理步骤,所述预处理步骤可以随时执行,并不需要在进行风控分析的过程中进行。因此,这些预处理步骤就不会占用风控分析的过程中的宝贵的时间、带宽和资源,实现了以空间换时间的目的。
在步骤330,在风控云220处的营运人员针对不同的业务请求事件,进行相应的事件配置并配置相应的数据同步的事件脚本,在所述事件脚本中定制个性化的数据获取逻辑。如上所述,事件脚本通常用groovy脚本来实现,但其他的脚本也是允许的。技术人员可以根据实际需要选择脚本实现的方式。具体而言,数据同步的事件脚本实现了自定义同步数据的逻辑,保证了不同业务事件获取数据的个性化,也即使用所述事件脚本就不会再出现全量查询数据的情况,而是只查询和获取与该业务事件相关的数据。这就大大节省了数据查询的时间。随后,将所述涉及不同事件的相应的事件配置和事件脚本存储到事件配置和脚本模块中,以供在需要时进行调用。
在步骤340,风控云220接收到来自客户210的外围业务传入事件,该业务事件涉及针对某个事件(例如注册或支付)的风控分析请求。
在步骤350,在收到所述业务事件请求之后,风控云220对其进行分析后生成相应的风控分析服务调用指令以启动风控分析。
在步骤360,风控云220根据所述请求所涉及的事件,从事件配置和脚本模块中调用相应的事件配置和事件脚本,并编译和加载所述事件脚本和配置。利用所加载的事件脚本和配置,所述风控云220可以先尝试从缓存而非私有云中获取需要的数据并将需要的数据转换成所需格式。利用所述事件脚本,所述数据获取是个性化的,而非对全量数据进行检索。
如果缓存中存在需要的数据(即命中),则将从缓存中获取的数据通过事件转换模块将其格式转换成风控分析所需的格式并提供给风控分析模块。
如果缓存中不存在所需的数据(未命中),则所述风控云220按照常规的方法,通过通信网络1访问私有云以从其获取所需的数据。在获取到所需数据之后,首先通过事件转换模块将其格式转换成风控分析所需的格式并将其提供给风控分析模块,同时也可以将其存储到缓存中以进行更新。这样,当下次需要所述数据时,就能直接从缓存中调用该数据,而无需再次访问私有云。
在步骤370,除了从缓存或私有云获取数据之外,所述风控云220还可以从其他数据源(例如公有云上的其他服务器或本地的数据库)中获取风控分析需要的其他业务数据。
在步骤380,利用诸如风控模型对从缓存/私有云获取的数据与来自其他数据源的其他业务数据进行合并分析以生成风控结果。所述风控分析可以利用传统的技术来实现,在此不再举例。
最后,在步骤390将所述风控分析结果输出并返还给发出所述业务请求的客户210。至此,本公开的方案到此结束。
应该理解,本公开的上述流程涉及到多方,因此,所述流程中的执行步骤并不需要按照所描述的顺序依次执行,而是可以并发地或异步执行。并且,所述步骤也并非需要全部执行,更多或更少的步骤也是可行的。
如前所述,传统的风控云120的整个风控分析流程最快也要花费700ms才能完成,实际上通常都需要1s。而在本公开的方案中,由于最耗时的公有云和私有云之间的数据通信被缓存所取代,因此,在实时风控分析前,通过同步脚本提前获取数据并缓存,如果缓存有50%的数据命中率,平均响应耗时可以从700ms下降到350ms。如果命中率更高,则平均响应耗时还能进一步缩短。即使没有命中,由于所述缓存的高速检索花费的时间微乎其微,因此,总体上来说还是大大节省了风控分析过程所花费的时间。另外,由于要缓存的私有数据都经过了脱敏处理,因此,保证了数据的安全性。还有,依据不同的业务事件所依赖的数据不同,本公开分别配置了各种不同的事件脚本,通过对事件脚本的定制化,以数据个性化的管控取代了传统的全量数据查询,从而提升了整体的分析性能。
在上述实施例中,在风控云220和私有云240之间是以公网,也即通信网络1,为例进行描述。但可以理解,在它们之间是专用网络2时,本公开的方案也能通过将需要的数据存储在缓存中来避免频繁调用专有线路,以减少带宽使用,因此,在这种情况下也能提高实时风控分析的响应速度。
上述对本公开特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。而且,相关领域的技术人员将领会,在不偏离如所附权利要求书所定义的本公开的精神和范围的情况下,所述实施例可以在形式和细节方面进行各种修改。因此,此处所公开的本公开的宽度和范围不应被上述所公开的示例性实施例所限制,而应当仅根据所附权利要求书及其等同替换来定义。
Claims (14)
1.一种风控云上的数据缓存的方法,包括:
在私有云处对敏感数据进行清洗和脱敏;
定期从所述私有云获取脱敏的数据并存储到公有云的缓存中;
在驻留在所述公有云上的风控云处,针对不同的业务事件配置并存储相应的事件配置和事件脚本;
根据接收到的业务事件请求,编译并加载与所述业务事件相关联的事件配置和事件脚本;
根据所述事件脚本从所述缓存中获取需要的数据并进行格式转换;
根据所述需要的数据执行风控分析,并输出风控分析的结果。
2.如权利要求1所述的方法,其特征在于,所述清洗是离线清洗,其中,使用ODPS任务来执行数据离线清洗,并将清洗后的数据存储到OTS表格中。
3.如权利要求1所述的方法,其特征在于,所述事件脚本将需要的数据从所述私有云上的原本格式转成所述风控云可以处理的需要格式。
4.如权利要求1所述的方法,其特征在于,所述事件脚本定制了个性化的数据获取逻辑,以避免全量获取数据。
5.如权利要求3或4所述的方法,其特征在于,所述事件脚本可用groovy脚本实现,并且是动态配置的。
6.如权利要求4所述的方法,其特征在于,所述方法还包括:
如果所述缓存中不存在需要的数据,则所述风控云通过访问所述私有云以获取需要的数据。
7.如权利要求1所述的方法,其特征在于,根据所述需要的数据执行风控分析还包括:
根据所述需要的数据和来自其他数据源的其他业务数据执行风控分析。
8.一种利用数据缓存进行风控分析的风控云,包括:
缓存,被配置为存储从私有云处获取的经过清洗和脱敏的敏感数据;
事件配置和脚本模块,被配置为配置并存储针对不同的业务事件的相应的事件配置和事件脚本;
风控分析模块,被配置为根据接收到的业务事件请求从所述事件配置和脚本模块中编译并加载与所述业务事件相关联的事件配置和事件脚本以根据所述事件脚本从所述缓存中获取需要的数据,根据所述需要的数据执行风控分析,并输出风控分析的结果。
9.如权利要求8所述的风控云,其特征在于,所述风控云还包括:
运营模块,所述运营模块包括了事件配置、风险策略配置、名单配置、变量配置以及其他配置。
10.如权利要求8所述的风控云,其特征在于,所述风控云还包括:
事件转换模块,被配置为根据事件脚本将需要的数据从所述私有云上的原本格式转成所述风控云可以处理的需要格式。
11.如权利要求8所述的风控云,其特征在于,所述风控云定期从所述私有云获取经过清洗和脱敏的敏感数据并存储到所述缓存中。
12.如权利要求8所述的风控云,其特征在于,如果所述缓存中不存在需要的数据,则所述风控云通过访问所述私有云以获取需要的数据。
13.如权利要求8所述的风控云,其特征在于,根据所述需要的数据执行风控分析还包括:
根据所述需要的数据和来自其他数据源的其他业务数据执行风控分析。
14.如权利要求8所述的风控云,其特征在于,所述风控云驻留在一公有云上。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910904873.8A CN110674173A (zh) | 2019-09-24 | 2019-09-24 | 一种风控云上的数据缓存的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910904873.8A CN110674173A (zh) | 2019-09-24 | 2019-09-24 | 一种风控云上的数据缓存的方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110674173A true CN110674173A (zh) | 2020-01-10 |
Family
ID=69077515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910904873.8A Pending CN110674173A (zh) | 2019-09-24 | 2019-09-24 | 一种风控云上的数据缓存的方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110674173A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111400764A (zh) * | 2020-03-25 | 2020-07-10 | 支付宝(杭州)信息技术有限公司 | 个人信息保护的风控模型训练方法、风险识别方法及硬件 |
CN111432024A (zh) * | 2020-04-09 | 2020-07-17 | 兰州聚源信息科技有限公司 | 基于scorm技术的复合云培训平台的搭建方法 |
WO2024207834A1 (zh) * | 2023-12-12 | 2024-10-10 | 天翼云科技有限公司 | 基于机器学习的多级缓存自适应系统及策略 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106295382A (zh) * | 2015-05-20 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 一种信息风险防控方法及装置 |
CN106845056A (zh) * | 2015-12-04 | 2017-06-13 | 北大医疗信息技术有限公司 | 医疗信息的整合方法及整合装置 |
CN107527287A (zh) * | 2017-08-29 | 2017-12-29 | 深圳市分期乐网络科技有限公司 | 一种风险控制方法及装置 |
US20180196829A1 (en) * | 2017-01-06 | 2018-07-12 | Oracle International Corporation | Hybrid cloud mirroring to facilitate performance, migration, and availability |
CN109284321A (zh) * | 2018-08-22 | 2019-01-29 | 中国平安人寿保险股份有限公司 | 数据加载方法、装置、计算设备和计算机可读存储介质 |
CN109447443A (zh) * | 2018-10-18 | 2019-03-08 | 阳光人寿保险股份有限公司 | 指标计算方法及装置 |
CN109949148A (zh) * | 2019-02-27 | 2019-06-28 | 四川享宇金信金融科技有限公司 | 一种用于金融信贷业务的自动化风控配置系统及方法 |
CN110197428A (zh) * | 2019-06-04 | 2019-09-03 | 武汉神算云信息科技有限责任公司 | 信贷风控规则制定系统、设备及存储介质 |
-
2019
- 2019-09-24 CN CN201910904873.8A patent/CN110674173A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106295382A (zh) * | 2015-05-20 | 2017-01-04 | 阿里巴巴集团控股有限公司 | 一种信息风险防控方法及装置 |
CN106845056A (zh) * | 2015-12-04 | 2017-06-13 | 北大医疗信息技术有限公司 | 医疗信息的整合方法及整合装置 |
US20180196829A1 (en) * | 2017-01-06 | 2018-07-12 | Oracle International Corporation | Hybrid cloud mirroring to facilitate performance, migration, and availability |
CN107527287A (zh) * | 2017-08-29 | 2017-12-29 | 深圳市分期乐网络科技有限公司 | 一种风险控制方法及装置 |
CN109284321A (zh) * | 2018-08-22 | 2019-01-29 | 中国平安人寿保险股份有限公司 | 数据加载方法、装置、计算设备和计算机可读存储介质 |
CN109447443A (zh) * | 2018-10-18 | 2019-03-08 | 阳光人寿保险股份有限公司 | 指标计算方法及装置 |
CN109949148A (zh) * | 2019-02-27 | 2019-06-28 | 四川享宇金信金融科技有限公司 | 一种用于金融信贷业务的自动化风控配置系统及方法 |
CN110197428A (zh) * | 2019-06-04 | 2019-09-03 | 武汉神算云信息科技有限责任公司 | 信贷风控规则制定系统、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
呱说产品: "金融风控云系统如何设计?", 《HTTP://WWW.WOSHIPM.COM/PD/1523610.HTML》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111400764A (zh) * | 2020-03-25 | 2020-07-10 | 支付宝(杭州)信息技术有限公司 | 个人信息保护的风控模型训练方法、风险识别方法及硬件 |
CN111400764B (zh) * | 2020-03-25 | 2021-05-07 | 支付宝(杭州)信息技术有限公司 | 个人信息保护的风控模型训练方法、风险识别方法及硬件 |
CN111432024A (zh) * | 2020-04-09 | 2020-07-17 | 兰州聚源信息科技有限公司 | 基于scorm技术的复合云培训平台的搭建方法 |
WO2024207834A1 (zh) * | 2023-12-12 | 2024-10-10 | 天翼云科技有限公司 | 基于机器学习的多级缓存自适应系统及策略 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11550905B2 (en) | Intelligent security risk assessment | |
CN109194495B (zh) | 服务器、报文处理方法和计算机可读存储介质 | |
CN110674173A (zh) | 一种风控云上的数据缓存的方法和系统 | |
CN108197176A (zh) | 基于分布式集群架构的核心银行数据处理方法及其系统 | |
KR102417742B1 (ko) | Api 데이터 수집시스템 및 그에 관한 방법 | |
CN111580874B (zh) | 数据申请的系统安全控制方法、系统和计算机设备 | |
CN112100277A (zh) | 一种企业数据上链预言机实现方法、系统、设备及产品 | |
CN111800434A (zh) | 一种多渠道资产对接平台及其工作方法 | |
CN111091358B (zh) | 多支付渠道的统一处理方法及系统 | |
CN111784282A (zh) | 智慧场馆综合管理平台 | |
CN111275391A (zh) | 在线式资产智能分发系统和方法 | |
CN113570468A (zh) | 一种企业支付风控服务平台 | |
CN112131305A (zh) | 账户处理系统 | |
CN101727475A (zh) | 一种获取数据库访问过程的方法、装置及系统 | |
CN113793213A (zh) | 一种异步信贷风控断点续作的决策方式的实现方法及装置 | |
US8406401B2 (en) | Interactive voice response system to business application interface | |
CN103501326A (zh) | 基于中间件的数据处理方法及系统 | |
CN115617924A (zh) | 金融数据处理方法、装置、设备及存储介质 | |
CN112181380B (zh) | 一种信贷产品多产品并行开发系统及其授信、放款、还款方法 | |
CN111866171A (zh) | 报文处理方法、装置、电子设备和介质 | |
CN112053137A (zh) | 流程预测方法、电子设备和服务器集群 | |
US10296882B2 (en) | Multicomputer processing of client device request data using centralized event orchestrator and link discovery engine | |
US20240104481A1 (en) | Generating Transaction Recommendations Based on Monitoring and Analyzing Consumer Transactions | |
US20240112195A1 (en) | Identifying and Resolving Consumer Transactions Using Consumer Call Analytics | |
CN113360387B (zh) | 银行支付结算模拟器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200110 |
|
RJ01 | Rejection of invention patent application after publication |