CN112380213A - 信息采集方法、装置、计算机设备和存储介质 - Google Patents
信息采集方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112380213A CN112380213A CN202011269484.1A CN202011269484A CN112380213A CN 112380213 A CN112380213 A CN 112380213A CN 202011269484 A CN202011269484 A CN 202011269484A CN 112380213 A CN112380213 A CN 112380213A
- Authority
- CN
- China
- Prior art keywords
- target
- information
- field
- rule
- service
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Finance (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Entrepreneurship & Innovation (AREA)
- General Engineering & Computer Science (AREA)
- Game Theory and Decision Science (AREA)
- General Business, Economics & Management (AREA)
- Software Systems (AREA)
- Marketing (AREA)
- Economics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种信息采集方法,该方法包括:通过接口获取待采集的用户信息,用户信息包括目标信息类型以及属于目标信息类型的至少一个业务字段的字段数据;根据目标信息类型从预先设置的配置表中获取目标字段映射关系和目标校验规则集合,配置表中包括多个信息类型分别对应的各字段映射关系和各校验规则集合;根据目标校验规则集合对用户信息进行校验,在用户信息通过校验时,根据目标字段映射关系将用户信息采集存储到业务表中。采用本方法能够改善兼容性、提高效率以及降低开发成本。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种信息采集方法、装置、计算机设备和存储介质。
背景技术
在智慧零售行业,越来越多的企业开始依靠采集到的用户信息来实现精准营销。例如,企业根据采集到的用户的手机、健康、宠物、车辆、电脑数码等信息,为用户提供关联的商品推荐,可以极大地提高转化率和销售量。但由于运营需求灵活多变,企业经常需要采集不同类型的信息。
然而,传统的信息采集过程中,进行信息采集的接口兼具接收数据和校验数据的功能。不同信息类型包括的字段类型及其校验规则存在差异,比如车辆信息和健康信息难有共性,无法一张业务表实现共用。因此在需要采集新的信息类型时,需要创建一张新的业务表,并针对需要采集的信息重新开发接口。也就是说,一种新信息类型对应一张新创建的业务表和一个新开发的接口,不同信息类型就需要创建不同业务表和开发不同接口,不同业务表以及不同接口互不兼容,重复的开发工作还降低了对新信息类型的采集效率。此外,大数据系统需要重新从新的数据库业务表抽取数据以进行后续的精准营销工作,降低了后续处理效率。综上所述,传统的信息采集方法不仅兼容性差,而且开发周期长,开发成本高,效率低,还造成了系统资源的浪费。
发明内容
基于此,有必要针对上述技术问题,提供一种能够改善兼容性、提高效率以及降低开发成本的信息采集方法、装置、计算机设备和存储介质。
一种信息采集方法,该方法包括:
通过接口获取待采集的用户信息,用户信息包括目标信息类型以及属于目标信息类型的至少一个业务字段的字段数据;
根据目标信息类型从预先设置的配置表中获取目标字段映射关系和目标校验规则集合,配置表中包括多个信息类型分别对应的各字段映射关系和各校验规则集合,字段映射关系用于配置属于信息类型的业务字段与数据库的业务表中的信息字段之间的映射关系,校验规则集合用于对属于信息类型的业务字段的字段数据进行参数校验;
根据目标校验规则集合对用户信息进行校验,在用户信息通过校验时,根据目标字段映射关系将用户信息采集存储到业务表中。
在其中一个实施例中,配置表包括映射规则配置表和系统规则配置表,校验规则集合还用于对该信息类型的用户信息进行校验,目标校验规则集合包括目标参数校验规则和目标系统校验规则,根据目标信息类型从预先设置的配置表中获取目标字段映射关系和目标校验规则集合,包括:
从映射规则配置表中获取目标信息类型对应的目标字段映射关系和目标参数校验规则,以及,根据目标信息类型从系统规则配置表中获取目标系统校验规则;
根据目标校验规则集合对用户信息进行校验,在用户信息通过校验时,根据目标字段映射关系将用户信息采集存储到业务表中,包括:
根据目标参数校验规则对属于目标信息类型的业务字段的字段数据进行参数校验,以及,根据目标系统校验规则对用户信息进行校验;
当业务字段的字段数据通过校验且用户信息通过校验时,根据目标字段映射关系将用户信息采集存储到业务表中。
在其中一个实施例中,该方法还包括:
通过接口获取用户信息对应的目标操作类型;
根据目标信息类型从系统规则配置表中获取目标系统校验规则,包括:
从系统规则配置表中获取目标信息类型对应的多个系统校验规则,从多个系统校验规则中选取目标操作类型对应的系统校验规则,作为目标系统校验规则;目标系统校验规则用于在用户信息被执行的操作为目标操作类型时对用户信息进行校验。
在其中一个实施例中,根据目标校验规则集合对用户信息进行校验,包括:
根据目标参数校验规则对属于目标信息类型的业务字段的字段数据进行参数校验,在业务字段的字段数据通过校验时,根据目标系统校验规则对用户信息进行校验;
或者,根据目标系统校验规则对用户信息进行校验,在用户信息通过校验时,根据目标参数校验规则对属于目标信息类型的业务字段的字段数据进行参数校验;
优选地,目标参数校验规则包括非空校验规则、字段长度校验规则、格式校验规则、敏感词校验规则以及证件号码校验规则中的至少一种,目标系统校验规则包括信息条数限制校验规则。
在其中一个实施例中,该方法还包括:
在通过接口获取待采集的用户信息之前,获取目标信息类型、属于目标信息类型的各业务字段、各业务字段分别与业务表中的信息字段之间的映射关系以及各业务字段对应的目标参数校验规则;
根据目标信息类型、各业务字段、各业务字段与业务表中的各信息字段之间的映射关系以及各目标参数校验规则,配置映射规则配置表,映射规则配置表用于配置业务表中的各信息字段与各业务字段之间的映射关系以及各业务字段对应的目标参数校验规则;
优选地,该方法还包括:
在通过接口获取待采集的用户信息之前,获取目标信息类型、目标信息类型的用户信息对应的各操作类型、以及各操作类型对应的各系统校验规则;
根据目标信息类型、各操作类型、以及各操作类型对应的各系统校验规则,配置系统规则配置表;系统规则配置表用于配置目标信息类型的用户信息对应不同操作类型的系统校验规则。
在其中一个实施例中,根据目标参数校验规则对属于目标信息类型的业务字段的字段数据进行参数校验,包括:
根据目标字段映射关系,从各业务字段的字段数据中筛选出待存储到业务表中的各信息字段的各目标字段数据;
根据目标参数校验规则对各目标字段数据进行校验。
在其中一个实施例中,用户信息还包括用户标识信息,在用户信息通过校验时,根据目标字段映射关系将用户信息采集存储到业务表中,包括:
在用户信息通过校验时,将用户标识信息和目标信息类型存储到业务表中,且根据目标字段映射关系将各业务字段的字段数据存储到业务表中;
优选地,在用户信息未通过校验时,生成报错信息,并向终端发送报错信息。
一种信息采集装置,该装置包括:
第一获取模块,用于通过接口获取待采集的用户信息,用户信息包括目标信息类型以及属于目标信息类型的至少一个业务字段的字段数据;
第二获取模块,用于根据目标信息类型从预先设置的配置表中获取目标字段映射关系和目标校验规则集合,配置表中包括多个信息类型分别对应的各字段映射关系和各校验规则集合,字段映射关系用于配置属于信息类型的业务字段与数据库的业务表中的信息字段之间的映射关系,校验规则集合用于对属于信息类型的业务字段的字段数据进行参数校验;
校验模块,用于根据目标校验规则集合对用户信息进行校验;
采集模块,用于在用户信息通过校验时,根据目标字段映射关系将用户信息采集存储到业务表中。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一实施例中方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一实施例中方法的步骤。
上述信息采集方法、装置、计算机设备和存储介质,通过接口获取待采集的用户信息,用户信息包括目标信息类型以及属于目标信息类型的至少一个业务字段的字段数据,本步骤中的接口为通用接口,只用于获取数据,无需对获取到的数据进行参数校验,因此可以适用于不同类型信息的采集;根据目标信息类型从预先设置的配置表中获取目标字段映射关系和目标校验规则集合,配置表中包括多个信息类型分别对应的各字段映射关系和各校验规则集合,字段映射关系用于配置属于信息类型的业务字段与数据库的业务表中的信息字段之间的映射关系,业务表为数据库中用于存储用户信息的数据表,校验规则集合用于对属于信息类型的业务字段的字段数据进行参数校验,根据目标校验规则集合对用户信息进行校验,在用户信息通过校验时,根据目标字段映射关系将用户信息采集存储到业务表中。这里对应接口设置有配置表,配置表中包含多种信息类型以及各信息类型对应的业务字段的映射关系,还可以通过在配置表中增加新的信息类型对应的字段映射关系,因此,当接口接入的用户信息的信息类型不同时,根据信息类型可以在配置表中查找到对应的字段映射关系,根据该字段映射关系可以将用户信息的字段数据存储到数据库的业务表中,无需建立新的业务表;此外,配置表中还包含各信息类型对应的校验规则集合,当接口接入的用户信息的信息类型不同时,可以根据上述信息类型查找到对应的校验规则集合,根据该校验规则集合可以对属于该信息类型的业务字段的字段数据进行参数校验。
本申请中技术方案能够通过对接口接入的用户信息设置配置表,可配置多种信息类型的字段映射关系和校验规则集合,进而根据校验规则集合对用户信息进行校验,并根据该字段映射关系将通过校验的用户信息存储到数据库的业务表中,使得在接收到新的信息类型的采集需求时,无需研发新接口,只需要在原有的接口上对配置表进行配置即可,同时也无需重新创建业务表,降低了开发成本,避免了系统资源的浪费,改善了兼容性,提高了采集效率。
附图说明
图1为一个实施例中信息采集方法的应用环境图;
图2为一个实施例中信息采集方法的流程示意图;
图3为一个实施例中的业务表示例;
图4为一个实施例中的映射规则配置表示例;
图5为一个实施例中的系统规则配置表示例;
图6为一个实施例中的接口服务示例表;
图7为另一个实施例中信息采集方法的流程示意图;
图8为一个实施例中信息采集装置的结构框图;
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的信息采集方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104通过网络进行通信。用户可以在终端102填写用户信息表单,即输入用户信息,用户信息可以包括目标信息类型以及属于目标信息类型的至少一个业务字段的字段数据;服务器104通过接口获取待采集的用户信息,服务器104内部设有数据库,数据库中设置有配置表和业务表组成的表数据结构,其中,业务表用于存储用户信息的数据,配置表用于存储配置数据,配置表可以由业务人员在数据库中预先设置。服务器104根据目标信息类型从预先设置的配置表中获取目标字段映射关系和目标校验规则集合,并根据目标校验规则集合对用户信息进行校验,在用户信息通过校验时,服务器104根据目标字段映射关系将用户信息采集存储到数据库的业务表中。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种信息采集方法,以该方法应用于图1中的服务器为例进行说明,包括以下步骤:
步骤202,通过接口获取待采集的用户信息,用户信息包括目标信息类型以及属于目标信息类型的至少一个业务字段的字段数据。
其中,该接口为通用接口,只用于获取数据,而无需对获取到的数据进行参数校验,因此可适用于不同类型信息的采集。用户信息可以指互联网平台的会员信息,接口可以从会员在终端的显示页面表上填写的信息采集表单中获取该会员信息。用户信息的信息类型很多,比如设备信息、健康信息、车辆信息以及尺码信息等。每种信息类型可包括至少一个业务字段,该业务字段通常可为接口输入参数的字段名,比如健康信息至少包括身高、体重这两个业务字段,业务字段“身高”的字段数据可为50kg,业务字段“体重”的字段数据可为1.6m。目标信息类型就是此次信息采集操作需要获取的用户信息对应的信息类型。
具体地,服务器通过接口从终端获取待采集的用户信息,该用户信息可以包括用户标识信息、该用户信息的信息类型以及属于该信息类型的多个业务字段的字段数据。
步骤204,根据目标信息类型从预先设置的配置表中获取目标字段映射关系和目标校验规则集合。
其中,配置表中包括多个信息类型分别对应的各字段映射关系和各校验规则集合。字段映射关系可以用于配置属于信息类型的业务字段与数据库的业务表中的信息字段之间的映射关系,业务表为数据库中用于存储用户信息的数据表。业务字段可为接口输入参数的字段名,因此,业务人员可以通过预先配置上述字段映射关系来配置接口输入参数和数据库的业务表中的信息字段之间的对应关系,一定程度地实现接口和数据库的配置。
在一些实施例中,校验规则集合可以用于对属于信息类型的业务字段的字段数据进行参数校验,即校验规则集合包括用于对字段数据进行参数校验的参数校验规则。在另一些实施例中,校验规则集合还可以对信息类型的用户信息进行校验。对字段数据进行参数校验与对用户信息进行校验所使用的校验规则一般不同,可知此时该校验规则集合包括两种校验规则,一种是用于对字段数据进行参数校验的参数校验规则,另一种是用于对用户信息进行校验的系统校验规则,这里对用户信息进行校验一般指对整条用户信息进行校验,比如对该用户信息的整条新增/删除/修改/查询规则。具体实施时,参数校验规则和系统校验规则可以分别在两张不同的配置表中实现配置,也可以在同一个配置表中实现配置。
由此可见,目标字段映射关系即目标信息类型在配置表中对应的字段映射关系,目标校验规则集合即目标信息类型在配置表中对应的校验规则集合。
具体地,服务器从预先设置的配置表中获取目标信息类型对应的目标字段映射关系,根据该目标字段映射关系可以确定待采集存储到业务表中的各业务字段;再从配置表中获取目标信息类型对应的目标校验规则集合。
步骤206,根据目标校验规则集合对用户信息进行校验,在用户信息通过校验时,根据目标字段映射关系将用户信息采集存储到业务表中。
其中,由目标校验规则集合用于对属于信息类型的业务字段的字段数据进行参数校验,可知目标校验规则集合包括目标参数校验规则,具体实施时,目标参数校验规则可以包括非空校验规则、字段长度校验规则以及格式校验规则中的至少一种。
具体地,根据目标参数校验规则对用户信息中的待采集存储到业务表中的各业务字段的字段数据进行参数校验,当上述的各字段数据均通过参数校验时,根据目标字段映射关系将用户信息中的目标信息类型以及各业务字段的字段数据采集存储到业务表中。进一步具体地,用户信息还包括用户标识信息,在用户信息通过校验时,将用户标识信息和目标信息类型存储到业务表中,且根据目标字段映射关系将各业务字段的字段数据存储到业务表中。若用户信息未通过校验,则生成报错信息,并向终端发送报错信息。
上述信息采集方法中,服务器中通过接口获取待采集的用户信息,用户信息包括目标信息类型以及属于目标信息类型的至少一个业务字段的字段数据,本步骤中的接口为通用接口,只用于获取数据,无需对获取到的数据进行参数校验,因此可以适用于不同类型信息的采集;根据目标信息类型从预先设置的配置表中获取目标字段映射关系和目标校验规则集合,配置表中包括多个信息类型分别对应的各字段映射关系和各校验规则集合,字段映射关系用于配置属于信息类型的业务字段与数据库的业务表中的信息字段之间的映射关系,业务表为数据库中用于存储用户信息的数据表,校验规则集合用于对属于信息类型的业务字段的字段数据进行参数校验,根据目标校验规则集合对用户信息进行校验,在用户信息通过校验时,根据目标字段映射关系将用户信息采集存储到业务表中。这里对应接口设置有配置表,配置表中包含多种信息类型以及各信息类型对应的业务字段的映射关系,因此,当接口接入的用户信息的信息类型不同时,根据信息类型可以在配置表中查找到对应的字段映射关系,根据该字段映射关系可以将用户信息的字段数据存储到数据库中;此外,配置表中还包含各信息类型对应的校验规则集合,当接口接入的用户信息的信息类型不同时,可以根据上述信息类型查找到对应的校验规则集合,根据该校验规则集合可以对属于该信息类型的业务字段的字段数据进行参数校验。
本申请中技术方案能够通过对接口接入的用户信息设置配置表,可配置多种信息类型的字段映射关系和校验规则集合,进而根据校验规则集合对用户信息进行校验,并根据该字段映射关系将通过校验的用户信息存储到数据库的业务表中,使得在接收到新的信息类型的采集需求时,无需研发新接口,只需要在原有的接口上对配置表进行配置即可,同时也无需重新创建业务表,降低了开发成本,避免了系统资源的浪费,改善了兼容性,提高了采集效率。
在一个实施例中,配置表包括映射规则配置表和系统规则配置表,校验规则集合可以用于对属于信息类型的业务字段的字段数据进行参数校验以及对信息类型的用户信息进行校验,目标校验规则集合包括目标参数校验规则和目标系统校验规则。其中,目标参数校验规则用于对属于该目标信息类型的业务字段的字段数据进行参数校验,目标系统校验规则用于对用户信息进行校验。
该信息采集方法采用了由业务表、映射规则配置表和系统规则配置表三张表共同组成的表数据结构,以及兼容多种类型信息采集的通用接口。
举例说明:图3至图6分别为一个实施例中业务表示例、映射规则配置表示例、系统规则配置表示例以及接口服务示例。
图3为一个实施例中的业务表示例,如图3所示,业务表为存储用户信息数据的表,可以包含会员编号(UID,User Identification)、信息类型、信息编号和信息字段。
图4为一个实施例中的映射规则配置表示例,如图4所示,映射规则配置表用于定义业务表中各信息字段的业务含义和规则,也就是各信息字段对应的业务字段和参数校验规则,可以包含信息类型、业务字段、映射字段(即业务字段对应的信息字段)、校验类型及校验值。例如:业务字段为身高信息或车辆公里数,身高信息的范围是0-300cm,车辆公里数的范围是0-30万公里,超出范围则无法保存。
图5为一个实施例中的系统规则配置表示例,如图5所示,该示例中的系统规则配置表用于定义该用户信息的整条新增/删除/修改/查询规则,可以包含信息类型、操作类型、校验类型及校验值。例如:待采集的用户信息为会员健康信息,每个会员最多维护一条会员健康信息,则在系统规则配置表中,配置操作类型为新增,校验值为1。
图6为一个实施例中的接口服务示例表,如图6所示,接口服务示例表可以包含会员编号(UID,User Identification)、信息类型、会员信息以及多个输入参数。接口每次获取用户信息时只获取一种信息类型的用户信息,不同的信息类型对应的map容器的输入参数的字段名不同。
本实施例中,步骤204包括:从映射规则配置表中获取目标信息类型对应的目标字段映射关系和目标参数校验规则,以及,根据目标信息类型从系统规则配置表中获取目标系统校验规则。
具体地,服务器调用映射规则配置表,从该映射规则配置表中获取目标信息类型对应的目标字段映射关系和目标参数校验规则,以及,服务器调用系统规则配置表,从系统规则配置表中获取目标信息类型对应的目标系统校验规则。具体实施时,获取目标字段映射关系和目标参数校验规则的步骤与获取系统规则配置表的步骤既可以同时进行,也可以按不同的先后顺序进行。
如图5所示,系统规则配置表用于定义该用户信息的整条新增/删除/修改/查询规则,也就是说,系统规则配置表可以用于定义在对整条用户信息进行新增/删除/修改/查询操作时的校验规则,新增/删除/修改/查询是该用户信息被执行的操作类型。在具体实施时,为了准确地选取该用户信息被执行的操作类型对应的校验规则,该方法还包括:服务器通过接口获取用户信息对应的目标操作类型。
此时,根据目标信息类型从系统规则配置表中获取目标系统校验规则,包括:从系统规则配置表中获取目标信息类型对应的多个系统校验规则,从多个系统校验规则中选取目标操作类型对应的系统校验规则,作为目标系统校验规则;目标系统校验规则用于在用户信息被执行的操作为目标操作类型时对用户信息进行校验。以上获取目标系统校验规则的步骤即根据目标信息类型和目标操作类型从系统规则配置表中获取对应的系统校验规则作为目标系统校验规则。
其中,操作类型表示的是对整条用户信息的操作,操作类型对应的系统校验规则用于对整条用户信息进行校验。具体实施过程中,操作类型对应的校验规则可以为信息条数限制校验规则,某些具体应用场景中,也可以使用敏感词、证件号码等校验规则。
步骤206包括:根据目标参数校验规则对属于目标信息类型的业务字段的字段数据进行参数校验,以及,根据目标系统校验规则对用户信息进行校验。当业务字段的字段数据通过校验且用户信息通过校验时,根据目标字段映射关系将用户信息采集存储到业务表中。
具体地,字段数据的参数校验步骤以及用户信息的校验步骤既可以同时进行,也可以按不同的先后顺序进行。
例如,在一个实施例中,服务器先根据目标参数校验规则对属于目标信息类型的业务字段的字段数据进行参数校验,在业务字段的字段数据通过校验时;再根据目标系统校验规则对用户信息进行校验,在用户信息通过校验时,根据目标字段映射关系将用户信息采集存储到业务表中。该实施例先对字段数据进行参数校验,再对用户信息进行校验,适用于需校验的属于目标信息类型的业务字段的数量少且目标系统校验规则条目多的情况,以避免在根据多条目标系统校验规则对该用户信息校验完毕后,少量的字段数据却未通过参数校验,从而避免浪费系统资源。
在另一个实施例中,服务器先根据目标系统校验规则对用户信息进行校验,在用户信息通过校验时,再根据目标参数校验规则对属于目标信息类型的业务字段的字段数据进行参数校验,在业务字段的字段数据通过校验时,根据目标字段映射关系将用户信息采集存储到业务表中。该实施例先对用户信息进行校验,再对字段数据进行参数校验,适用于属于目标信息类型的业务字段的数量多且目标系统校验规则条目少的情况,以避免对大量的字段数据校验完毕后,该用户信息却未通过目标系统校验规则的校验的情况,从而避免浪费系统资源。
以上实施例中,还可以通过不同信息类型对应的业务字段的数量来选择字段数据的参数校验步骤以及用户信息的校验步骤的先后顺序设定,例如,该方法还可以包括:获取属于目标信息类型的业务字段的数量值,当该数量值大于等于预设的阈值时,先进行用户信息的校验步骤;当该数量值小于预设的阈值时,先进行字段数据的参数校验步骤。
具体实施中,目标参数校验规则包括非空校验规则、字段长度校验规则、格式校验规则、敏感词校验规则以及证件号码校验规则中的至少一种,目标系统校验规则包括信息条数限制校验规则。
为了去掉噪音数据,可对获取到的数据进行筛选以确定待存储的数据,减少后续需要校验的数据量,进而加快后续校验速度,提高信息采集效率,字段数据的参数校验步骤可以包括以下步骤:根据目标字段映射关系,从各业务字段的字段数据中筛选出待存储到业务表中的各信息字段的各目标字段数据;根据目标参数校验规则对各目标字段数据进行校验。
本实施例中提供了一种信息采集方法,该方法通过业务表、映射规则配置表和系统规则配置表三张表共同组成的表数据结构和兼容多种信息类型的通用接口,可以完成多种信息类型的用户信息的规则校验和数据存储,从而能够支持多元化、灵活的不同信息类型的信息采集,避免了新增一类信息采集就需要新增一张数据库业务表和一个数据采集接口,实现可配置的信息采集方法。
如图7所示,以下提供一个具体实施例,以说明上述信息采集方法:
在该实施例中,上述信息采集方法包括以下步骤:
步骤302,通过接口获取待采集的用户信息和该用户信息对应的目标操作类型,用户信息包括目标信息类型以及属于目标信息类型的至少一个业务字段的字段数据。
其中,接口获取到的各项数据可以先存放在缓存中。
步骤304,从预先设置的配置表中获取目标信息类型对应的目标字段映射关系。
步骤306,根据该目标字段映射关系,从各业务字段的字段数据中筛选出待存储到业务表中的各信息字段的各目标字段数据。
步骤308,从配置表中获取目标信息类型对应的目标参数校验规则,根据该目标参数校验规则对待采集存储到业务表中的各目标字段数据进行参数校验。
步骤310,判断业务字段的字段数据是否通过校验,未通过校验则进入步骤320。
步骤312,在业务字段的字段数据通过校验时,从配置表中获取目标信息类型对应的目标系统校验规则。
步骤314,根据目标系统校验规则对用户信息进行校验。
步骤316,判断用户信息是否通过校验,未通过校验则进入步骤320。
步骤318,在用户信息通过校验时,根据目标字段映射关系将用户信息采集存储到业务表中。
步骤320,完成信息采集。
本实施例中提供了一种信息采集方法的具体实施例,该实施例可以应用于会员信息采集场景中。但以上各实施例中的技术方案不仅可以应用在字段规则相对固定、字段改动相对频繁、系统压力相对较小的会员信息采集的场景,还可以应用于与外部公司进行的业务合作等其他应用场合。该信息采集方法通过映射规则配置表和系统规则配置表,可以实现数据库和接口的配置化,进而缩短企业产品运营中会员信息采集需求的上线周期,还能够敏捷、快速地支持功能相似的业务场景,而且使用一张业务表,大数据避免重复抽表,可以缩短后期研发时间,降低研发成本。
在一个实施例中,该方法还包括映射规则配置表的配置步骤:在通过接口获取待采集的用户信息之前,获取目标信息类型、属于目标信息类型的各业务字段、各业务字段分别与业务表中的信息字段之间的映射关系以及各业务字段对应的目标参数校验规则;根据目标信息类型、各业务字段、各业务字段与业务表中的各信息字段之间的映射关系以及各目标参数校验规则,配置映射规则配置表。
进一步地,该方法还包括系统规则配置表的配置步骤:在通过接口获取待采集的用户信息之前,获取目标信息类型、目标信息类型的用户信息对应的各操作类型、以及各操作类型对应的各系统校验规则;根据目标信息类型、各操作类型、以及各操作类型对应的各系统校验规则,配置系统规则配置表。
其中,映射规则配置表用于配置业务表中的各信息字段与各业务字段之间的映射关系以及各业务字段对应的目标参数校验规则,各业务字段即接口中的输入参数的字段名,也就是说,映射规则配置表用于对数据库的业务表中各信息字段进行定义,还用于配置接口中的输入参数的含义和校验规则;系统规则配置表用于配置目标信息类型的用户信息对应不同操作类型的系统校验规则。
以下举例说明上述配置表的配置流程:
一个例子中,产品运营业务需要采集会员的手机设备信息,首先在映射规则配置表中,新增属于手机设备信息的业务字段与业务表中各信息字段的映射关系,手机设备信息可以包括手机号码、品牌、系列、型号、价位、购买时间等业务字段。
比如,手机号码字段对应业务表中的C1字段,价格字段对应业务表中的C3字段,并同时定义字段的格式校验规则,比如,价格字段为12位的1000开头的纯数字。然后在系统规则配置表中,配置整条用户信息的系统校验规则,比如会员最多维护5条手机号设备信息。
再一个例子中,需要采集会员的健康信息,
例如,现在新增会员的健康信息采集,健康信息包括会员的身高和体重,每个会员最多维护一条健康信息,其中,身高范围0-300cm,体重范围0-500kg。则在映射规则配置表中,配置一个业务字段“Height”,映射到业务表的信息字段C1,然后配置校验规则是数值范围0-300cm,配置一个业务字段“Weight”映射到信息字段C2,然后校验规则是数值范围0-500kg。再在系统规则配置表中,配置操作类型为新增,校验值为1。
本实施例中提供了一种信息采集方法,该方法通过对映射规则配置表配置,配置了数据库的业务表中的各信息字段的定义以及接口中各输入参数的业务含义和校验规则,还通过对系统规则配置表的配置,配置了整条用户信息对应的系统校验规则,从而实现接口和数据库配置化,在后续新增会员采集需求时,无需调用新接口就能实现数据对接;大数据系统无需抽取新的数据库,可以更快速实现报表和用户标签,保证每次采集需求都可以实现快速支持,缩短开发周期,节省研发成本。
以下提供具体应用场景案例,以更形象地说明本申请的技术方案中提供的一种信息采集方法与传统信息采集方法实际应用时的区别:
传统的会员信息采集的业务流程包括以下步骤:
1)业务人员确定表单的内容和每个字段的业务规则;2)中台开发团队根据业务需求,设计数据库和接口,并完成开发;3)前台开发团队设计表单并完成开发;4)用户填写表单,提交保存;5)采集到的会员信息存储在中台数据库;6)大数据团队抽取业务表数据,形成报表和用户标签;7)根据报表做精细化运营,根据用户标签做精准营销。
传统的会员信息采集流程的缺点如下:首先,会员信息采集系统设计周期长,每次表单内容变更或新增表单,都需要重新设计开发,无法做到敏捷支持运营活动;并且在数据应用时,大数据需要重新抽表,每个表单需单独开发任务,无法实现快速形成报表和用户标签。
本申请的技术方案中提供的信息采集方法在该应用场景应用时,改进后的会员信息采集的业务流程包括以下步骤:
1)业务确定表单的内容和每个字段的业务规则;2)中台开发团队配置业务规则和系统规则;3)前台开发团队,设计表单并完成开发;4)用户填写表单,提交保存;5)系统根据入参类型,获取字段映射配置,并进行参数校验(必填性、长度、格式等);6)校验通过后,再获取业务规则配置,校验规则(信息条数上限等);7)校验通过,将采集到的会员信息存储在中台数据库;8)根据报表做精细化运营,根据用户标签做精准营销。
综上,可见改进后的会员信息采集的业务流程具有如下优点:配置化周期短,每次表单内容变更或新增表单,无需重新开发,可以敏捷快速响应业务需求;在数据应用时,大数据系统无需重复抽表,可以快速形成报表和用户标签。
应该理解的是,虽然图1-7中的各流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1-7中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图8所示,提供了一种信息采集装置,该装置包括第一获取模块402、第二获取模块404、校验模块406和采集模块408,其中:
第一获取模块402,用于通过接口获取待采集的用户信息,用户信息包括目标信息类型以及属于目标信息类型的至少一个业务字段的字段数据;
第二获取模块404,用于根据目标信息类型从预先设置的配置表中获取目标字段映射关系和目标校验规则集合,配置表中包括多个信息类型分别对应的各字段映射关系和各校验规则集合,字段映射关系用于配置属于信息类型的业务字段与数据库的业务表中的信息字段之间的映射关系,校验规则集合用于对属于信息类型的业务字段的字段数据进行参数校验;
校验模块406,用于根据目标校验规则集合对用户信息进行校验;
采集模块408,用于在用户信息通过校验时,根据目标字段映射关系将用户信息采集存储到业务表中。
在一个实施例中,配置表包括映射规则配置表和系统规则配置表,校验规则集合还用于对该信息类型的用户信息进行校验,目标校验规则集合包括目标参数校验规则和目标系统校验规则,
第二获取模块404包括:
第一获取单元,用于从映射规则配置表中获取目标信息类型对应的目标字段映射关系和目标参数校验规则,以及,第二获取单元,用于根据目标信息类型从系统规则配置表中获取目标系统校验规则。
校验模块406包括:
第一校验单元,用于根据目标参数校验规则对属于目标信息类型的业务字段的字段数据进行参数校验,以及,第二校验单元,用于根据目标系统校验规则对用户信息进行校验。
采集模块408,用于当业务字段的字段数据通过校验且用户信息通过校验时,根据目标字段映射关系将用户信息采集存储到业务表中。
在一个实施例中,该装置还包括:
第三获取模块,用于通过接口获取用户信息对应的目标操作类型。
具体地,第二获取单元,用于从系统规则配置表中获取目标信息类型对应的多个系统校验规则,从多个系统校验规则中选取目标操作类型对应的系统校验规则,作为目标系统校验规则;目标系统校验规则用于在用户信息被执行的操作为目标操作类型时对用户信息进行校验。
在一个实施例中,校验模块406用于根据目标参数校验规则对属于目标信息类型的业务字段的字段数据进行参数校验,在业务字段的字段数据通过校验时,根据目标系统校验规则对用户信息进行校验;或者,校验模块406用于根据目标系统校验规则对用户信息进行校验,在用户信息通过校验时,根据目标参数校验规则对属于目标信息类型的业务字段的字段数据进行参数校验;
优选地,目标参数校验规则包括非空校验规则、字段长度校验规则、格式校验规则、敏感词校验规则以及证件号码校验规则中的至少一种,目标系统校验规则包括信息条数限制校验规则。
在一个实施例中,该系统还包括:
第一配置模块,用于在通过接口获取待采集的用户信息之前,获取目标信息类型、属于目标信息类型的各业务字段、各业务字段分别与业务表中的信息字段之间的映射关系以及各业务字段对应的目标参数校验规则;
根据目标信息类型、各业务字段、各业务字段与业务表中的各信息字段之间的映射关系以及各目标参数校验规则,配置映射规则配置表,映射规则配置表用于配置业务表中的各信息字段与各业务字段之间的映射关系以及各业务字段对应的目标参数校验规则;
优选地,该系统还包括:
第二配置模块,用于在通过接口获取待采集的用户信息之前,获取目标信息类型、目标信息类型的用户信息对应的各操作类型、以及各操作类型对应的各系统校验规则;
根据目标信息类型、各操作类型、以及各操作类型对应的各系统校验规则,配置系统规则配置表;系统规则配置表用于配置目标信息类型的用户信息对应不同操作类型的系统校验规则。
在一个实施例中,第一校验单元还用于根据目标字段映射关系,从各业务字段的字段数据中筛选出待存储到业务表中的各信息字段的各目标字段数据;根据目标参数校验规则对各目标字段数据进行校验。
在一个实施例中,用户信息还包括用户标识信息,采集模块408还用于在用户信息通过校验时,将用户标识信息和目标信息类型存储到业务表中,且根据目标字段映射关系将各业务字段的字段数据存储到业务表中。
该系统还包括:报错模块,用于在用户信息未通过校验时,生成报错信息,并向终端发送报错信息。
关于信息采集装置的具体限定可以参见上文中对于信息采集方法的限定,在此不再赘述。上述信息采集装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储用户信息数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种信息采集方法。
本领域技术人员可以理解,图9中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:通过接口获取待采集的用户信息,用户信息包括目标信息类型以及属于目标信息类型的至少一个业务字段的字段数据;根据目标信息类型从预先设置的配置表中获取目标字段映射关系和目标校验规则集合,配置表中包括多个信息类型分别对应的各字段映射关系和各校验规则集合,字段映射关系用于配置属于信息类型的业务字段与数据库的业务表中的信息字段之间的映射关系,校验规则集合用于对属于信息类型的业务字段的字段数据进行参数校验;根据目标校验规则集合对用户信息进行校验,在用户信息通过校验时,根据目标字段映射关系将用户信息采集存储到业务表中。
在一个实施例中,配置表包括映射规则配置表和系统规则配置表,校验规则集合还用于对该信息类型的用户信息进行校验,目标校验规则集合包括目标参数校验规则和目标系统校验规则,处理器执行计算机程序实现上述的根据目标信息类型从预先设置的配置表中获取目标字段映射关系和目标校验规则集合的步骤时,具体实现以下步骤:从映射规则配置表中获取目标信息类型对应的目标字段映射关系和目标参数校验规则,以及,根据目标信息类型从系统规则配置表中获取目标系统校验规则;处理器执行计算机程序实现上述的根据目标校验规则集合对用户信息进行校验,在用户信息通过校验时,根据目标字段映射关系将用户信息采集存储到业务表中的步骤时,具体实现以下步骤:根据目标参数校验规则对属于目标信息类型的业务字段的字段数据进行参数校验,以及,根据目标系统校验规则对用户信息进行校验;当业务字段的字段数据通过校验且用户信息通过校验时,根据目标字段映射关系将用户信息采集存储到业务表中。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:通过接口获取用户信息对应的目标操作类型;处理器执行计算机程序实现上述的根据目标信息类型从系统规则配置表中获取目标系统校验规则的步骤时,具体实现以下步骤:从系统规则配置表中获取目标信息类型对应的多个系统校验规则,从多个系统校验规则中选取目标操作类型对应的系统校验规则,作为目标系统校验规则;目标系统校验规则用于在用户信息被执行的操作为目标操作类型时对用户信息进行校验。
在一个实施例中,处理器执行计算机程序实现上述的根据目标校验规则集合对用户信息进行校验的步骤时,具体实现以下步骤:根据目标参数校验规则对属于目标信息类型的业务字段的字段数据进行参数校验,在业务字段的字段数据通过校验时,根据目标系统校验规则对用户信息进行校验;或者,根据目标系统校验规则对用户信息进行校验,在用户信息通过校验时,根据目标参数校验规则对属于目标信息类型的业务字段的字段数据进行参数校验;优选地,目标参数校验规则包括非空校验规则、字段长度校验规则、格式校验规则、敏感词校验规则以及证件号码校验规则中的至少一种,目标系统校验规则包括信息条数限制校验规则。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:在通过接口获取待采集的用户信息之前,获取目标信息类型、属于目标信息类型的各业务字段、各业务字段分别与业务表中的信息字段之间的映射关系以及各业务字段对应的目标参数校验规则;根据目标信息类型、各业务字段、各业务字段与业务表中的各信息字段之间的映射关系以及各目标参数校验规则,配置映射规则配置表,映射规则配置表用于配置业务表中的各信息字段与各业务字段之间的映射关系以及各业务字段对应的目标参数校验规则;优选地,处理器执行计算机程序时还实现以下步骤:在通过接口获取待采集的用户信息之前,获取目标信息类型、目标信息类型的用户信息对应的各操作类型、以及各操作类型对应的各系统校验规则;根据目标信息类型、各操作类型、以及各操作类型对应的各系统校验规则,配置系统规则配置表;系统规则配置表用于配置目标信息类型的用户信息对应不同操作类型的系统校验规则。
在一个实施例中,处理器执行计算机程序实现上述的根据目标参数校验规则对属于目标信息类型的业务字段的字段数据进行参数校验的步骤时,具体实现以下步骤:根据目标字段映射关系,从各业务字段的字段数据中筛选出待存储到业务表中的各信息字段的各目标字段数据;根据目标参数校验规则对各目标字段数据进行校验。
在一个实施例中,用户信息还包括用户标识信息,处理器执行计算机程序实现上述的在用户信息通过校验时,根据目标字段映射关系将用户信息采集存储到业务表中的步骤时,具体实现以下步骤:在用户信息通过校验时,将用户标识信息和目标信息类型存储到业务表中,且根据目标字段映射关系将各业务字段的字段数据存储到业务表中;优选地,在用户信息未通过校验时,生成报错信息,并向终端发送报错信息。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:通过接口获取待采集的用户信息,用户信息包括目标信息类型以及属于目标信息类型的至少一个业务字段的字段数据;根据目标信息类型从预先设置的配置表中获取目标字段映射关系和目标校验规则集合,配置表中包括多个信息类型分别对应的各字段映射关系和各校验规则集合,字段映射关系用于配置属于信息类型的业务字段与数据库的业务表中的信息字段之间的映射关系,校验规则集合用于对属于信息类型的业务字段的字段数据进行参数校验;根据目标校验规则集合对用户信息进行校验,在用户信息通过校验时,根据目标字段映射关系将用户信息采集存储到业务表中。
在一个实施例中,配置表包括映射规则配置表和系统规则配置表,校验规则集合还用于对该信息类型的用户信息进行校验,目标校验规则集合包括目标参数校验规则和目标系统校验规则,计算机程序被处理器执行时实现上述的根据目标信息类型从预先设置的配置表中获取目标字段映射关系和目标校验规则集合的步骤时,具体实现以下步骤:从映射规则配置表中获取目标信息类型对应的目标字段映射关系和目标参数校验规则,以及,根据目标信息类型从系统规则配置表中获取目标系统校验规则;计算机程序被处理器执行时实现上述的根据目标校验规则集合对用户信息进行校验,在用户信息通过校验时,根据目标字段映射关系将用户信息采集存储到业务表中的步骤时,具体实现以下步骤:根据目标参数校验规则对属于目标信息类型的业务字段的字段数据进行参数校验,以及,根据目标系统校验规则对用户信息进行校验;当业务字段的字段数据通过校验且用户信息通过校验时,根据目标字段映射关系将用户信息采集存储到业务表中。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:通过接口获取用户信息对应的目标操作类型;计算机程序被处理器执行时实现上述的根据目标信息类型从系统规则配置表中获取目标系统校验规则的步骤时,具体实现以下步骤:从系统规则配置表中获取目标信息类型对应的多个系统校验规则,从多个系统校验规则中选取目标操作类型对应的系统校验规则,作为目标系统校验规则;目标系统校验规则用于在用户信息被执行的操作为目标操作类型时对用户信息进行校验。
在一个实施例中,计算机程序被处理器执行时实现上述的根据目标校验规则集合对用户信息进行校验的步骤时,具体实现以下步骤:根据目标参数校验规则对属于目标信息类型的业务字段的字段数据进行参数校验,在业务字段的字段数据通过校验时,根据目标系统校验规则对用户信息进行校验;或者,根据目标系统校验规则对用户信息进行校验,在用户信息通过校验时,根据目标参数校验规则对属于目标信息类型的业务字段的字段数据进行参数校验;优选地,目标参数校验规则包括非空校验规则、字段长度校验规则、格式校验规则、敏感词校验规则以及证件号码校验规则中的至少一种,目标系统校验规则包括信息条数限制校验规则。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:在通过接口获取待采集的用户信息之前,获取目标信息类型、属于目标信息类型的各业务字段、各业务字段分别与业务表中的信息字段之间的映射关系以及各业务字段对应的目标参数校验规则;根据目标信息类型、各业务字段、各业务字段与业务表中的各信息字段之间的映射关系以及各目标参数校验规则,配置映射规则配置表,映射规则配置表用于配置业务表中的各信息字段与各业务字段之间的映射关系以及各业务字段对应的目标参数校验规则;优选地,计算机程序被处理器执行时还实现以下步骤:在通过接口获取待采集的用户信息之前,获取目标信息类型、目标信息类型的用户信息对应的各操作类型、以及各操作类型对应的各系统校验规则;根据目标信息类型、各操作类型、以及各操作类型对应的各系统校验规则,配置系统规则配置表;系统规则配置表用于配置目标信息类型的用户信息对应不同操作类型的系统校验规则。
在一个实施例中,计算机程序被处理器执行时实现上述的根据目标参数校验规则对属于目标信息类型的业务字段的字段数据进行参数校验的步骤时,具体实现以下步骤:根据目标字段映射关系,从各业务字段的字段数据中筛选出待存储到业务表中的各信息字段的各目标字段数据;根据目标参数校验规则对各目标字段数据进行校验。
在一个实施例中,用户信息还包括用户标识信息,计算机程序被处理器执行时实现上述的在用户信息通过校验时,根据目标字段映射关系将用户信息采集存储到业务表中的步骤时,具体实现以下步骤:在用户信息通过校验时,将用户标识信息和目标信息类型存储到业务表中,且根据目标字段映射关系将各业务字段的字段数据存储到业务表中;优选地,在用户信息未通过校验时,生成报错信息,并向终端发送报错信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种信息采集方法,所述方法包括:
通过接口获取待采集的用户信息,所述用户信息包括目标信息类型以及属于所述目标信息类型的至少一个业务字段的字段数据;
根据所述目标信息类型从预先设置的配置表中获取目标字段映射关系和目标校验规则集合,所述配置表中包括多个信息类型分别对应的各字段映射关系和各校验规则集合,所述字段映射关系用于配置属于所述信息类型的业务字段与数据库的业务表中的信息字段之间的映射关系,所述校验规则集合用于对属于所述信息类型的业务字段的字段数据进行参数校验;
根据所述目标校验规则集合对所述用户信息进行校验,在所述用户信息通过校验时,根据所述目标字段映射关系将所述用户信息采集存储到所述业务表中。
2.根据权利要求1所述的方法,其特征在于,所述配置表包括映射规则配置表和系统规则配置表,所述校验规则集合还用于对所述信息类型的用户信息进行校验,所述目标校验规则集合包括目标参数校验规则和目标系统校验规则,所述根据所述目标信息类型从预先设置的配置表中获取目标字段映射关系和目标校验规则集合,包括:
从所述映射规则配置表中获取所述目标信息类型对应的所述目标字段映射关系和所述目标参数校验规则,以及,根据所述目标信息类型从所述系统规则配置表中获取所述目标系统校验规则;
所述根据所述目标校验规则集合对所述用户信息进行校验,在所述用户信息通过校验时,根据所述目标字段映射关系将所述用户信息采集存储到所述业务表中,包括:
根据所述目标参数校验规则对属于所述目标信息类型的业务字段的字段数据进行参数校验,以及,根据所述目标系统校验规则对所述用户信息进行校验;
当所述业务字段的字段数据通过校验且所述用户信息通过校验时,根据所述目标字段映射关系将所述用户信息采集存储到所述业务表中。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
通过接口获取所述用户信息对应的目标操作类型;
所述根据所述目标信息类型从所述系统规则配置表中获取所述目标系统校验规则,包括:
从所述系统规则配置表中获取所述目标信息类型对应的多个系统校验规则,从多个所述系统校验规则中选取所述目标操作类型对应的系统校验规则,作为所述目标系统校验规则;所述目标系统校验规则用于在所述用户信息被执行的操作为所述目标操作类型时对所述用户信息进行校验。
4.根据权利要求3所述的方法,其特征在于,所述根据所述目标校验规则集合对所述用户信息进行校验,包括:
根据所述目标参数校验规则对属于所述目标信息类型的业务字段的字段数据进行参数校验,在所述业务字段的字段数据通过校验时,根据所述目标系统校验规则对所述用户信息进行校验;
或者,根据所述目标系统校验规则对所述用户信息进行校验,在所述用户信息通过校验时,根据所述目标参数校验规则对属于所述目标信息类型的业务字段的字段数据进行参数校验;
优选地,所述目标参数校验规则包括非空校验规则、字段长度校验规则、格式校验规则、敏感词校验规则以及证件号码校验规则中的至少一种,所述目标系统校验规则包括信息条数限制校验规则。
5.根据权利要求3或4所述的方法,其特征在于,所述方法还包括:
在通过接口获取待采集的用户信息之前,获取所述目标信息类型、属于所述目标信息类型的各业务字段、各所述业务字段分别与所述业务表中的信息字段之间的映射关系以及各所述业务字段对应的所述目标参数校验规则;
根据所述目标信息类型、各所述业务字段、各所述业务字段与所述业务表中的各信息字段之间的映射关系以及各所述目标参数校验规则,配置所述映射规则配置表,所述映射规则配置表用于配置所述业务表中的各信息字段与各所述业务字段之间的映射关系以及各所述业务字段对应的所述目标参数校验规则;
优选地,所述方法还包括:
在通过接口获取待采集的用户信息之前,获取所述目标信息类型、所述目标信息类型的用户信息对应的各操作类型、以及各所述操作类型对应的各所述系统校验规则;
根据所述目标信息类型、各所述操作类型、以及各所述操作类型对应的各所述系统校验规则,配置所述系统规则配置表;所述系统规则配置表用于配置所述目标信息类型的用户信息对应不同操作类型的系统校验规则。
6.根据权利要求3或4所述的方法,其特征在于,所述根据所述目标参数校验规则对属于所述目标信息类型的业务字段的字段数据进行参数校验,包括:
根据所述目标字段映射关系,从各所述业务字段的字段数据中筛选出待存储到所述业务表中的各所述信息字段的各目标字段数据;
根据所述目标参数校验规则对各所述目标字段数据进行校验。
7.根据权利要求1所述的方法,其特征在于,所述用户信息还包括用户标识信息,所述在所述用户信息通过校验时,根据所述目标字段映射关系将所述用户信息采集存储到所述业务表中,包括:
在所述用户信息通过校验时,将所述用户标识信息和所述目标信息类型存储到所述业务表中,且根据所述目标字段映射关系将各所述业务字段的字段数据存储到所述业务表中;
优选地,在所述用户信息未通过校验时,生成报错信息,并向终端发送所述报错信息。
8.一种信息采集装置,其特征在于,所述装置包括:
第一获取模块,用于通过接口获取待采集的用户信息,所述用户信息包括目标信息类型以及属于所述目标信息类型的至少一个业务字段的字段数据;
第二获取模块,用于根据所述目标信息类型从预先设置的配置表中获取目标字段映射关系和目标校验规则集合,所述配置表中包括多个信息类型分别对应的各字段映射关系和各校验规则集合,所述字段映射关系用于配置属于所述信息类型的业务字段与数据库的业务表中的信息字段之间的映射关系,所述校验规则集合用于对属于所述信息类型的业务字段的字段数据进行参数校验;
校验模块,用于根据所述目标校验规则集合对所述用户信息进行校验;
采集模块,用于在所述用户信息通过校验时,根据所述目标字段映射关系将所述用户信息采集存储到所述业务表中。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011269484.1A CN112380213B (zh) | 2020-11-13 | 2020-11-13 | 信息采集方法、装置、计算机设备和存储介质 |
CA3139243A CA3139243A1 (en) | 2020-11-13 | 2021-11-15 | Information collection method, device, computer equipment and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011269484.1A CN112380213B (zh) | 2020-11-13 | 2020-11-13 | 信息采集方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112380213A true CN112380213A (zh) | 2021-02-19 |
CN112380213B CN112380213B (zh) | 2022-11-15 |
Family
ID=74583875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011269484.1A Active CN112380213B (zh) | 2020-11-13 | 2020-11-13 | 信息采集方法、装置、计算机设备和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112380213B (zh) |
CA (1) | CA3139243A1 (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112613063A (zh) * | 2021-03-05 | 2021-04-06 | 支付宝(杭州)信息技术有限公司 | 一种数据核验系统构建方法及装置 |
CN113259154A (zh) * | 2021-04-20 | 2021-08-13 | 广州骏伯网络科技有限公司 | 中台数据校验通知方法、装置、计算机设备和存储介质 |
CN113609014A (zh) * | 2021-08-04 | 2021-11-05 | 深圳鼎盛电脑科技有限公司 | 一种接口字段校验方法、装置、存储介质及电子设备 |
CN113779132A (zh) * | 2021-09-15 | 2021-12-10 | 深圳我家云网络科技有限公司 | 一种数据导入的方法、装置、计算机设备和存储介质 |
CN113986384A (zh) * | 2021-10-28 | 2022-01-28 | 数字天堂(北京)网络技术有限公司 | 基于客户端和云端的处理装置、方法、设备和存储介质 |
CN114510536A (zh) * | 2022-02-16 | 2022-05-17 | 平安普惠企业管理有限公司 | 数据校验方法、装置、计算机设备及存储介质 |
CN114553954A (zh) * | 2022-04-21 | 2022-05-27 | 北京时代亿信科技股份有限公司 | 信息推送方法、装置、非易失性存储介质及电子设备 |
CN117235079A (zh) * | 2023-11-16 | 2023-12-15 | 中国人民财产保险股份有限公司 | 数据处理方法、装置及设备 |
CN117312435A (zh) * | 2023-11-23 | 2023-12-29 | 首都信息发展股份有限公司 | 数据采集方法、装置及电子设备 |
WO2024164951A1 (zh) * | 2023-02-09 | 2024-08-15 | 抖音视界有限公司 | 配置变更的处理方法、装置、计算机设备以及存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115544417B (zh) * | 2022-10-10 | 2024-05-31 | 中电金信软件有限公司 | 一种网页表单验证方法、装置、电子设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070179939A1 (en) * | 2003-06-11 | 2007-08-02 | O'neil Owen | System and method for automatic data mapping |
CN110020358A (zh) * | 2017-11-07 | 2019-07-16 | 北京京东尚科信息技术有限公司 | 用于生成动态页面的方法和装置 |
-
2020
- 2020-11-13 CN CN202011269484.1A patent/CN112380213B/zh active Active
-
2021
- 2021-11-15 CA CA3139243A patent/CA3139243A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070179939A1 (en) * | 2003-06-11 | 2007-08-02 | O'neil Owen | System and method for automatic data mapping |
CN110020358A (zh) * | 2017-11-07 | 2019-07-16 | 北京京东尚科信息技术有限公司 | 用于生成动态页面的方法和装置 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112613063A (zh) * | 2021-03-05 | 2021-04-06 | 支付宝(杭州)信息技术有限公司 | 一种数据核验系统构建方法及装置 |
CN112613063B (zh) * | 2021-03-05 | 2022-02-18 | 支付宝(杭州)信息技术有限公司 | 一种数据核验系统构建方法及装置 |
CN113259154A (zh) * | 2021-04-20 | 2021-08-13 | 广州骏伯网络科技有限公司 | 中台数据校验通知方法、装置、计算机设备和存储介质 |
CN113609014A (zh) * | 2021-08-04 | 2021-11-05 | 深圳鼎盛电脑科技有限公司 | 一种接口字段校验方法、装置、存储介质及电子设备 |
CN113779132A (zh) * | 2021-09-15 | 2021-12-10 | 深圳我家云网络科技有限公司 | 一种数据导入的方法、装置、计算机设备和存储介质 |
CN113779132B (zh) * | 2021-09-15 | 2024-07-16 | 深圳我家云网络科技有限公司 | 一种数据导入的方法、装置、计算机设备和存储介质 |
CN113986384A (zh) * | 2021-10-28 | 2022-01-28 | 数字天堂(北京)网络技术有限公司 | 基于客户端和云端的处理装置、方法、设备和存储介质 |
CN114510536A (zh) * | 2022-02-16 | 2022-05-17 | 平安普惠企业管理有限公司 | 数据校验方法、装置、计算机设备及存储介质 |
CN114553954A (zh) * | 2022-04-21 | 2022-05-27 | 北京时代亿信科技股份有限公司 | 信息推送方法、装置、非易失性存储介质及电子设备 |
WO2024164951A1 (zh) * | 2023-02-09 | 2024-08-15 | 抖音视界有限公司 | 配置变更的处理方法、装置、计算机设备以及存储介质 |
CN117235079A (zh) * | 2023-11-16 | 2023-12-15 | 中国人民财产保险股份有限公司 | 数据处理方法、装置及设备 |
CN117312435A (zh) * | 2023-11-23 | 2023-12-29 | 首都信息发展股份有限公司 | 数据采集方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CA3139243A1 (en) | 2022-05-13 |
CN112380213B (zh) | 2022-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112380213B (zh) | 信息采集方法、装置、计算机设备和存储介质 | |
CN108958714B (zh) | 业务组件式开发方法、装置、计算机设备及存储介质 | |
CN109408746B (zh) | 画像信息查询方法、装置、计算机设备和存储介质 | |
CN111310427A (zh) | 业务数据配置处理方法、装置、计算机设备和存储介质 | |
CN108804548B (zh) | 测试数据查询方法、装置、计算机设备和存储介质 | |
CN111178069B (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
CN109788031B (zh) | 业务数据获取方法、装置、计算机设备和存储介质 | |
CN108334625B (zh) | 用户信息的处理方法、装置、计算机设备和存储介质 | |
CN110636106B (zh) | 信息推送方法、装置、计算机设备和存储介质 | |
CN110609954A (zh) | 数据获取方法、装置、计算机设备和存储介质 | |
CN110135943B (zh) | 产品推荐方法、装置、计算机设备和存储介质 | |
WO2022134583A1 (zh) | 一种保险数据信息的生成方法、装置、服务器及存储介质 | |
CN114327374A (zh) | 业务流程的生成方法、装置及计算机设备 | |
CN110956269A (zh) | 数据模型的生成方法、装置、设备以及计算机存储介质 | |
CN105488125A (zh) | 页面访问方法和装置 | |
CN110795697A (zh) | 逻辑表达式的获取方法、装置、存储介质以及电子装置 | |
CN105426452A (zh) | 一种业务处理以及数据控制方法和装置 | |
CN110766520A (zh) | 多系统多店铺订单融合方法、装置、计算机设备和存储介质 | |
CN112800197A (zh) | 一种目标故障信息的确定方法和装置 | |
CN111209061A (zh) | 用户信息的填写方法、装置、计算机设备和存储介质 | |
CN109544206B (zh) | 商机处理方法、装置、计算机设备和存储介质 | |
CN115408615A (zh) | 一种广告投放的匹配方法、装置、设备及存储介质 | |
CN111190964B (zh) | 数据对接方法、装置、设备及存储介质 | |
CN107679168A (zh) | 一种基于java平台的目标网站内容获取方法 | |
CN110851446B (zh) | 数据表的生成方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |