CN117743443A - 数据采集方法、装置、电子设备及存储介质 - Google Patents
数据采集方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117743443A CN117743443A CN202311807574.5A CN202311807574A CN117743443A CN 117743443 A CN117743443 A CN 117743443A CN 202311807574 A CN202311807574 A CN 202311807574A CN 117743443 A CN117743443 A CN 117743443A
- Authority
- CN
- China
- Prior art keywords
- task
- issued
- execution unit
- data acquisition
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000013480 data collection Methods 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 9
- 238000012790 confirmation Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 14
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000003607 modifier Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请提供一种数据采集方法、装置、电子设备及存储介质,涉及数据处理技术领域。该方法在进行采集任务下发时,可根据任务的类型,调用与任务类型对应的任务创建信息中所创建的各种相关信息的绑定关系,确定出任务对应的执行单位以及执行单位执行任务时的数据采集标准,从而可根据任务类型的不同,针对性的进行任务下发,避免了传统任务下发时没有任务的执行单位依然接收到任务表单所带来的用户易用性较差的问题;同时可根据任务执行单位的不同,进行数据采集标准的对应下发,使得针对同一任务,不同的执行单位可根据自身对应的数据采集标准进行数据采集,提升任务处理结果的精确性。
Description
技术领域
本申请涉及数据处理技术领域,具体而言,涉及一种数据采集方法、装置、电子设备及存储介质。
背景技术
数据采集系统是用于企业创建采集任务并下发采集任务给对应的执行单位,以进行数据采集的系统。
目前的数据采集系统在进行采集任务下发时,会根据定义好的数据标准向所有采集单位下发业务表,所有的采集单位都需按照统一的标准进行业务表的填报。
但是,不同的采集单位针对同一采集任务的数据采集标准可能不同,按照统一的数据标准进行数据采集,会导致数据采集的精确度较低。
发明内容
本申请的目的在于,针对上述现有技术中的不足,提供一种数据采集方法、装置、电子设备及存储介质,以便于提升数据采集的准确性,完善采集功能。
为实现上述目的,本申请实施例采用的技术方案如下:
第一方面,本申请实施例提供了一种数据采集方法,包括:接收任务下发请求,所述任务下发请求包括:待下发的任务的标识以及任务关联的业务表单;
根据所述待下发的任务的标识,确定所述待下发的任务的类型;
根据所述待下发的任务的类型,确定所述待下发的任务对应的至少一个目标执行单位以及各目标执行单位执行所述待下发的任务时的数据采集标准;
根据所述待下发的任务对应的至少一个目标执行单位以及各目标执行单位执行所述待下发的任务时的数据采集标准,向各目标执行单位下发采集任务,所述采集任务包括:业务表单以及业务表单对应的数据采集标准。
可选地,所述根据所述待下发的任务的类型,确定所述待下发的任务对应的至少一个目标执行单位以及各目标执行单位执行所述待下发的任务时的数据采集标准,包括:
若所述待下发的任务的类型为专项任务,则根据所述待下发的任务关联的各业务表单与执行单位之间的关联关系,确定各业务表单对应的至少一个目标执行单位;
根据任务的数据采集标准与执行单位之间的对应关系,确定各目标执行单位执行所述待下发的任务中的对应业务表单时的数据采集标准。
可选地,所述根据所述待下发的任务的类型,确定所述待下发的任务对应的至少一个目标执行单位以及各目标执行单位执行所述待下发的任务时的数据采集标准,包括:
若所述待下发的任务的类型为非专项任务,则根据任务与执行单位之间的对应关系,确定待下发的任务对应的至少一个目标执行单位;
根据任务的数据采集标准与执行单位之间的对应关系,确定各目标执行单位执行所述待下发的任务时的数据采集标准。
可选地,所述接收任务下发请求之前,还包括:
接收任务创建请求,所述任务创建请求包括:任务关联的业务表单、任务对应的执行单位以及执行单位执行任务时的数据采集标准;
根据所述任务创建请求,创建任务。
可选地,若待创建的任务为专项任务,所述任务创建请求还包括:专项任务关联的各业务表单与专项任务对应的各执行单位之间的关联关系。
可选地,所述向各目标执行单位下发采集任务之后,还包括:
响应于目标执行单位的执行人员针对所述业务表单输入的操作指令,确定当前操作的字段信息;
若当前操作的字段关联有字典表,则根据所述字典表向所述执行人员展示当前操作的字段关联的至少一个属性信息;所述字典表中记录有字段所关联的所有属性信息;
响应于所述执行人员对目标属性信息的确认操作,生成所述当前操作的字段的字段值。
可选地,所述向各目标执行单位下发采集任务之后,还包括:
响应于目标执行单位的执行人员针对所述业务表单输入的操作指令,获取数据操作信息;
根据所述数据操作信息,生成数据日志以及数据状态信息并进行记录。
第二方面,本申请实施例还提供了一种数据采集装置,包括:接收模块、确定模块、任务下发模块;
所述接收模块,用于接收任务下发请求,所述任务下发请求包括:待下发的任务的标识以及任务关联的业务表单;
所述确定模块,用于根据所述待下发的任务的标识,确定所述待下发的任务的类型;
所述确定模块,用于根据所述待下发的任务的类型,确定所述待下发的任务对应的至少一个目标执行单位以及各目标执行单位执行所述待下发的任务时的数据采集标准;
所述任务下发模块,用于根据所述待下发的任务对应的至少一个目标执行单位以及各目标执行单位执行所述待下发的任务时的数据采集标准,向各目标执行单位下发采集任务,所述采集任务包括:业务表单以及业务表单对应的数据采集标准。
可选地,所述确定模块,具体用于若所述待下发的任务的类型为专项任务,则根据所述待下发的任务关联的各业务表单与执行单位之间的关联关系,确定各业务表单对应的至少一个目标执行单位;
根据任务的数据采集标准与执行单位之间的对应关系,确定各目标执行单位执行所述待下发的任务中的对应业务表单时的数据采集标准。
可选地,所述确定模块,具体用于若所述待下发的任务的类型为非专项任务,则根据任务与执行单位之间的对应关系,确定待下发的任务对应的至少一个目标执行单位;
根据任务的数据采集标准与执行单位之间的对应关系,确定各目标执行单位执行所述待下发的任务时的数据采集标准。
可选地,还包括:任务创建模块;
所述任务创建模块,用于接收任务创建请求,所述任务创建请求包括:任务关联的业务表单、任务对应的执行单位以及执行单位执行任务时的数据采集标准;
根据所述任务创建请求,创建任务。
可选地,若待创建的任务为专项任务,所述任务创建请求还包括:专项任务关联的各业务表单与专项任务对应的各执行单位之间的关联关系。
可选地,还包括:展示模块、生成模块;
所述确定模块,还用于响应于目标执行单位的执行人员针对所述业务表单输入的操作指令,确定当前操作的字段信息;
所述展示模块,用于若当前操作的字段关联有字典表,则根据所述字典表向所述执行人员展示当前操作的字段关联的至少一个属性信息;所述字典表中记录有字段所关联的所有属性信息;
所述生成模块,用于响应于所述执行人员对目标属性信息的确认操作,生成所述当前操作的字段的字段值。
可选地,还包括:获取模块;
所述获取模块,用于响应于目标执行单位的执行人员针对所述业务表单输入的操作指令,获取数据操作信息;
所述生成模块,还用于根据所述数据操作信息,生成数据日志以及数据状态信息并进行记录。
第三方面,本申请实施例提供了一种电子设备,包括:处理器、存储介质和总线,存储介质存储有处理器可执行的机器可读指令,当电子设备运行时,处理器与存储介质之间通过总线通信,处理器执行机器可读指令,以实现如第一方面中提供的数据采集方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,该存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面提供的数据采集方法。
本申请的有益效果是:
本申请提供一种数据采集方法、装置、电子设备及存储介质,在进行采集任务下发时,可根据任务的类型,调用与任务类型对应的任务创建信息中所创建的各种相关信息的绑定关系,确定出任务对应的执行单位以及执行单位执行任务时的数据采集标准,从而可根据任务类型的不同,针对性的进行任务下发,避免了传统任务下发时没有任务的执行单位依然接收到任务表单所带来的用户易用性较差的问题;同时可根据任务执行单位的不同,进行数据采集标准的对应下发,使得针对同一任务,不同的执行单位可根据自身对应的数据采集标准进行数据采集,提升任务处理结果的精确性。
其次,通过扩展字段关联的字典表,可提升数据采集的效率和准确性,规范填报的标准。
另外,通过监测数据操作信息,生成数据日志和数据状态信息,可以便于后期的数据追溯和数据恢复。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种数据采集系统的架构示意图;
图2为本申请实施例提供的一种数据采集方法的流程示意图;
图3为本申请实施例提供的另一种数据采集方法的流程示意图;
图4为本申请实施例提供的又一种数据采集方法的流程示意图;
图5为本申请实施例提供的另一种数据采集方法的流程示意图;
图6为本申请实施例提供的又一种数据采集方法的流程示意图;
图7为本申请实施例提供的又一种数据采集方法的流程示意图;
图8为本申请实施例提供的一种数据采集装置的示意图;
图9为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,应当理解,本申请中附图仅起到说明和描述的目的,并不用于限定本申请的保护范围。另外,应当理解,示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
另外,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请实施例中将会用到术语“包括”,用于指出其后所声明的特征的存在,但并不排除增加其它的特征。
数据采集系统通常用于企业进行数据采集,可首先创建数据采集任务,然后对创建的数据采集任务进行下发,下发至对应的数据采集单位,由数据采集单位按照任务的数据采集标准进行数据的采集填报以及提交。
现有的数据采集系统已经可以实现用户自定义数据标准进行数据填报,但是系统定义好的数据标准在数据采集过程中无法根据采集单位不同进行业务表的区分,所有单位都需要按照统一的标准进行数据采集,对于没有某些业务的单位还需要看到该业务的业务表单,对于用户易用性上有一定影响。
且现有系统只支持单采集任务的填报功能。系统定义好一套数据采集标准之后进行数据采集工作,在过程中只可以在一个任务中调整采集数据标准。系统对于多采集任务支撑性不高,对于采集单位不同,数据标准不同的任务,需要部署多套系统来满足多任务的采集需求,对于部署复杂度和运维要求比较严格。
基于此,本方案提供一种数据采集方法,在原有数据采集系统的基础上,对任务创建和任务下发流程进行了优化和升级,实现了数据采集标准与执行单位之间的关系绑定,可以根据任务所对应的执行单位以及数据采集标准与执行单位之间的绑定关系,在任务下发时,向执行单位下发任务对应的数据采集标准,使得执行单位可以按照自身对应的数据采集标准执行任务,提高任务执行的精确性。
同时,针对专项任务,还实现了专项任务中业务表单与执行单位之间的关系绑定,从而针对专项任务,可按照业务表单与执行单位之间的绑定关系,进行任务下发,实现了多采集任务的并发处理,且避免了没有业务的执行单位还需接收任务信息所带来的体验感较差的问题。
图1为本申请实施例提供的一种数据采集系统的架构示意图。系统新定义了业务模型表,业务模型表用于定义数据标准(数据类),数据类包含数据采集标准和序列标准两类。具体的数据类详细信息采用json(JavaScript Object Notation,JS对象简谱,是一种轻量级的数据交换格式)的格式进行非结构化数据记录,加强了数据标准定义的灵活性,系统启动之后将所有定义的数据标准json加载到系统缓存中,降低由于json非结构化数据对于数据库的读写压力,提高数据标准加载效率。
系统新增了模型发布记录,系统中维护好的数据标准通过发布操作进行标准更新发布,每次发布会记录到模型发布记录中,可以提供每次标准调整的调整详情对比,提供发布撤销及退回功能。
业务表相比现有系统进行了优化,业务表定义的表类型为三种:业务表、序列表、字典表,扩展了修改人、修改时间、针对业务表的配置信息、填报样表文件等字段用于强化功能。
业务扩展表用于存储给业务表做业务扩展的表记录,扩展的表包含数据日志表、数据状态表、报送记录表,数据日志用于记录所有数据操作的日志,可以用来进行数据溯源和数据恢复,数据状态表用于记录数据的最新状态,可以记录数据的新增、修改、删除、报送、审核等最新状态,报送记录表用于记录数据报送的数据详情和报送记录。
校验规则表扩展了校验使用场景,可以选择填报和审核两种场景使用。
业务主题表用于扩展填报任务的定义,通过增加这张表扩展系统支持多任务的功能,业务主题相当于定义常态任务,可以关联数据标准数据类和序列数据类。
专项任务表用于定义专项任务,该类任务可以根据不同采集单位指定填报表单,由于填报的任务表和业务主题是一个多对多的关系,专项任务表也可理解为两张表的关联关系表。
任务表单表用于存储专项任务表中各个填报单位对应的填报表单数据,本表记录的是专项任务中不同单位需要填报的业务表,填报功能页面会根据当前单位检索本表来加载需要填报的业务表单。
上述各项表联合使用则可完成数据采集任务的创建、下发以及填报等。
图2为本申请实施例提供的一种数据采集方法的流程示意图;本方法可应用于上述图1所示的数据采集系统中。如图2所示,该方法可包括:
S201、接收任务下发请求,任务下发请求包括:待下发的任务的标识以及任务关联的业务表单。
任务下发请求可以是任务创建方发起的,任务创建方可以为企业上级主管部门等,可以通过数据采集系统提供的用户界面,进行任务请求的下发。
可选地,任务下发请求中可包括:待下发的任务的标识以及待下发的任务所关联的业务表单。待下发的任务的标识用于唯一的区分不同任务。
任务所关联的业务表单下发至执行单位后,可通过执行单位对业务表单的填报完成相关任务数据的采集。
S202、根据待下发的任务的标识,确定待下发的任务的类型。
在一些实施例中,可根据待下发的任务的标识先判断待下发的任务的类型。这里可将任务分类两种类型,一种是专项任务,一种是非专项任务。
针对专项任务可以根据不同的执行单位,指定任务中对应的业务表单进行填报,以实现多任务的并发执行。
针对非专项任务则执行单位均执行任务中的所有业务表单的填报。
可以在预先创建的专项任务表中记录各专项任务的标识,从而将待下发的任务的标识与专项任务表中记录的各任务的标识进行比对,以确定待下发的任务的类型。
S203、根据待下发的任务的类型,确定待下发的任务对应的至少一个目标执行单位以及各目标执行单位执行待下发的任务时的数据采集标准。
可选地,可根据待下发的任务的类型,调用任务类型对应的任务创建信息中所创建的各种信息绑定关系,确定待下发的任务对应的至少一个目标执行单位以及各目标执行单位执行待下发的任务时的数据采集标准。执行单位也即指数据采集单位。
S204、根据待下发的任务对应的至少一个目标执行单位以及各目标执行单位执行待下发的任务时的数据采集标准,向各目标执行单位下发采集任务,采集任务包括:业务表单以及业务表单对应的数据采集标准。
可选地,在确定了待下发的任务对应的各目标执行单位以及各目标执行单位执行待下发的任务时的数据采集标准后,则可以将待下发的任务下发至各目标执行单位,同时还可将所确定的目标执行单位执行待下发的任务时的数据采集标准进行下发,从而目标执行单位可按照接收到的数据采集标准执行接收到的任务。其中,执行任务也即指对任务关联的业务表单进行填报,以采集数据信息。在任务下发时,可将任务关联的业务表单以及数据采集标准同时下发给执行单位,从而执行单位根据数据采集标准填报业务表单,填报完成后可进行业务表单的上传,完成数据采集任务。
综上,本实施例提供的数据采集方法,在进行采集任务下发时,可根据任务的类型,调用与任务类型对应的任务创建信息中所创建的各种相关信息的绑定关系,确定出任务对应的执行单位以及执行单位执行任务时的数据采集标准,从而可根据任务类型的不同,针对性的进行任务下发,避免了传统任务下发时没有任务的执行单位依然接收到任务表单所带来的用户易用性较差的问题;同时可根据任务执行单位的不同,进行数据采集标准的对应下发,使得针对同一任务,不同的执行单位可根据自身对应的数据采集标准进行数据采集,提升任务处理结果的精确性。
图3为本申请实施例提供的另一种数据采集方法的流程示意图;可选地,步骤S203中,根据待下发的任务的类型,确定待下发的任务对应的至少一个目标执行单位以及各目标执行单位执行待下发的任务时的数据采集标准,可以包括:
S301、若待下发的任务的类型为专项任务,则根据待下发的任务关联的各业务表单与执行单位之间的关联关系,确定各业务表单对应的至少一个目标执行单位。
在一种可实现的方式中,当待下发的任务为专项任务时,不同的执行单位执行专项任务时所需填报的业务表单可能是不同的。那么,可根据待下发的任务所关联的各业务表单与执行单位之间的关联关系,确定待下发的任务中各业务表单对应的各目标执行单位。
也就是说,待下发的任务中可能包含多个业务表单,但是这些业务表单并非需要下发给待下发的任务对应的所有执行单位,可能部分表单仅由部分执行单位进行填报。那么,则可根据业务表单与执行单位之间的关联关系,确定出每个业务表单对应的目标执行单位,一个业务表单对应的目标执行单位可以有多个。
示例性地,专项任务1关联有表单1、表单2和表单3,专项任务1对应的执行单位分别有单位1、单位2、单位3和单位4,而根据业务表单与执行单位之间的关联关系确定出表单1由单位1和单位2填报,表单2由单位1和单位3填报,表单3由单位2和单位4填报,从而可根据确定出的各业务表单对应的目标执行单位,向各目标执行单位下发对应的业务表单。
而传统的方式中,没有为专项任务设定专门的任务下发流程,则会导致将专项任务1关联的所有表单全部下发给专项任务1所对应的所有执行单位,这样,可能有些执行单位并不需要填报某些表单,则会造成执行单位的感受较差,系统对于用户的易用性较差。
S302、根据任务的数据采集标准与执行单位之间的对应关系,确定各目标执行单位执行待下发的任务中的对应业务表单时的数据采集标准。
可选地,由于每个执行单位在执行任务时的数据采集标准可能是不同的,从而根据创建的任务的数据采集标准与执行单位之间的对应关系,可确定各目标执行单位在执行待下发的任务中的对应业务表单时的数据采集标准,从而则可根据确定出的各业务表单对应的各目标执行单位以及各目标执行单位执行待下发的任务中的对应业务表单时的数据采集标准,向各目标执行单位下发采集任务。
本实施例中,数据采集标准采用json格式进行数据记录,可支持目录、业务表、字段项、界面采集配置、审核规则配置、界面定制等各种自定义功能配置,并且系统运行过程中可将配置好的数据采集标准加载到缓存中,提高数据加载效率。
图4为本申请实施例提供的又一种数据采集方法的流程示意图;可选地,步骤S203中,根据待下发的任务的类型,确定待下发的任务对应的至少一个目标执行单位以及各目标执行单位执行待下发的任务时的数据采集标准,可以包括:
S401、若待下发的任务的类型为非专项任务,则根据任务与执行单位之间的对应关系,确定待下发的任务对应的至少一个目标执行单位。
在另一种可实现的方式中,当待下发的任务为非专项任务时,任务对应的所有执行单位均执行相同的业务表单,那么,则可根据任务与执行单位之间的对应关系,确定待下发的任务对应的至少一个目标执行单位。这种场景下,无需再确定待下发的任务中具体的业务表单与执行单位之间的关系,因为所有执行单位均需执行所有的业务表单。
S402、根据任务的数据采集标准与执行单位之间的对应关系,确定各目标执行单位执行待下发的任务时的数据采集标准。
同样地,不同的执行单位执行相同任务时的数据采集标准可能不同,则可以根据任务的数据采集标准与执行单位之间的对应关系,确定各目标执行单位执行待下发的任务时的数据采集标准。
从而可根据确定出的待下发的任务对应的各目标执行单位,以及各目标执行单位执行待下发的任务时的数据采集标准,向各目标执行单位下发任务。
图5为本申请实施例提供的另一种数据采集方法的流程示意图;可选地,步骤S201中,接收任务下发请求之前,本方法还可包括:
S501、接收任务创建请求,任务创建请求包括:任务关联的业务表单、任务对应的执行单位以及执行单位执行任务时的数据采集标准。
任务下发之前,还需要先创建任务,创建任务也即指对任务与执行单位之间的对应关系进行绑定,对业务表单与执行单位进行绑定,对执行单位与数据采集标准进行绑定等。
任务创建方可通过数据采集系统提供的用户界面进行任务创建信息的输入,输入的信息可包括:任务关联的业务表单、任务对应的执行单位以及执行单位执行任务时的数据采集标准等。
其中,创建的任务对应的执行单位以及执行单位执行任务时的数据采集标准可记录在数据采集系统中的业务主题中。
S502、根据任务创建请求,创建任务。
从而根据输入的任务创建信息,可完成任务创建,并记录与任务相关的各绑定关系。
可选地,若待创建的任务为专项任务,任务创建请求还包括:专项任务关联的各业务表单与专项任务对应的各执行单位之间的关联关系。
当待创建的任务为专项任务时,则还需要创建任务所关联的各业务表单与任务对应的各执行单位之间的对应关系,从而确保业务表单的精确下发。其中,专项任务的标识可记录在数据采集系统中的专项任务表中,专项任务中各业务表单与各执行单位之间的对应关系可记录在数据采集系统中的任务表单中。
图6为本申请实施例提供的又一种数据采集方法的流程示意图;可选地,步骤S204中,向各目标执行单位下发采集任务之后,本方法还可包括:
S601、响应于目标执行单位的执行人员针对业务表单输入的操作指令,确定当前操作的字段信息。
本实施则是对任务下发至执行单位后,执行单位对业务表单进行处理的过程进行说明。
可选地,可由目标执行单位的执行人员对所下发的任务的业务表单进行填报。响应于执行人员针对业务表单输入的操作指令,则可确定当前操作的字段信息。
也即,检索输入的操作指令,可判断当前是对业务表单中的哪个数据列进行操作,不同的数据列对应不同的字段信息,从而确定出当前操作的字段信息。以采集任务为采集员工的基本信息为例,业务表单中则可包括:姓名字段、性别字段、年龄字段等信息。
S602、若当前操作的字段关联有字典表,则根据字典表向执行人员展示当前操作的字段关联的至少一个属性信息;字典表中记录有字段所关联的所有属性信息。
针对一些字段,在业务表单创建的时候,会相应的创建字段关联的字典表,字典表中记录有字段所关联的所有属性信息。关联有字典表的字段在进行数据填报时,执行人员是不能直接对表格进行自定义的,而是根据字典表中所包含的可选项进行填报。
那么,当判断当前操作的字段关联有字典表时,则可以根据字段所关联的字典表向执行人员展示当前操作的字段关联的至少一个可选属性信息,从而执行人员从可选属性信息中选择目标属性信息进行填报。
例如:当前操作的字段为性别,性别字段关联有字典表,则字典表中记录的为男和女两种可选属性,以供执行人员进行选择。
字段为填报单位时,也可关联有字典表,字典表中可记录有所有可选填报单位的标识,以供选择。
S603、响应于执行人员对目标属性信息的确认操作,生成当前操作的字段的字段值。
响应于执行人员从至少一个属性信息中所选择出的目标属性信息的确认操作,则可将目标属性信息填充至当前操作的字段信息中的对应位置。
可选地,字典表中的字典项(可选属性信息)可支持手填字典项录入功能,方便用户扩展字典项,支持手填字典项的上报功能,并且可以通过字典匹配自动扩展到数据标准中。
在一些实施例中,业务表单中还扩展了修改人、修改时间、针对业务表的配置信息、填报样表文件等字段用于强化功能,在进行任务创建时,或者在任务下发之前,若有对业务表单进行强化更新的需求,则可通过扩展的字段进行相应的更新。
图7为本申请实施例提供的又一种数据采集方法的流程示意图;可选地,步骤S204中,向各目标执行单位下发采集任务之后,还包括:
S701、响应于目标执行单位的执行人员针对业务表单输入的操作指令,获取数据操作信息。
在一些实施例中,响应执行人员针对业务表单输入的操作指令,还可获取执行人员对表单中的数据的操作信息。数据的操作信息包括但不限于操作日志信息、操作状态等。
S702、根据数据操作信息,生成数据日志以及数据状态信息并进行记录。
那么,根据数据操作信息,则可生成数据日志以及数据状态信息并进行记录。其中,数据日志可记录在数据日志表中,数据状态信息可记录在数据状态表中。而数据日志表和数据状态表均为业务扩展表中的一种。
数据日志表用于记录所有数据操作的日志,可以用来进行数据溯源和数据恢复,数据状态表用于记录数据的最新状态,可以记录数据的新增、修改、删除、报送、审核等最新状态。
当然,业务扩展表还可包括报送记录表,报送记录表用于记录数据报送的数据详情和报送记录。数据报送信息也可根据数据操作信息得到。
可选地,本实施例对表单填报时的数据校验规则进行了扩展,扩展了校验使用场景,使用场景包括但不限于填报和审核两种场景,在执行人员进行业务表单的填报时,还可根据填报需求选择使用场景,从而可调用与使用场景对应的校验规则,对所填报的数据进行校验。其中,不同的字段对应的校验规则可以是不同的。在校验通过后,则可认为数据填报正确,可完成当前数据的填报,而若校验未通过,则可弹出提示信息,以提示执行人员重新核对并重新填报。例如:字段为性别,而执行人员填报的为年龄数字,则通过校验规则可检测到填报信息出错,给出提示信息。
综上,本实施例提供的数据采集方法,在进行采集任务下发时,可根据任务的类型,调用与任务类型对应的任务创建信息中所创建的各种相关信息的绑定关系,确定出任务对应的执行单位以及执行单位执行任务时的数据采集标准,从而可根据任务类型的不同,针对性的进行任务下发,避免了传统任务下发时没有任务的执行单位依然接收到任务表单所带来的用户易用性较差的问题;同时可根据任务执行单位的不同,进行数据采集标准的对应下发,使得针对同一任务,不同的执行单位可根据自身对应的数据采集标准进行数据采集,提升任务处理结果的精确性。
其次,通过扩展字段关联的字典表,可提升数据采集的效率和准确性,规范填报的标准。
另外,通过监测数据操作信息,生成数据日志和数据状态信息,可以便于后期的数据追溯和数据恢复。
下述对用以执行本申请所提供的数据采集方法的装置、设备及存储介质等进行说明,其具体的实现过程以及技术效果参见上述,下述不再赘述。
图8为本申请实施例提供的一种数据采集装置的示意图,该数据采集装置实现的功能对应上述方法执行的步骤。如图8所示,该装置可包括:接收模块810、确定模块820、任务下发模块830;
接收模块810,用于接收任务下发请求,任务下发请求包括:待下发的任务的标识以及任务关联的业务表单;
确定模块820,用于根据待下发的任务的标识,确定待下发的任务的类型;
确定模块820,用于根据待下发的任务的类型,确定待下发的任务对应的至少一个目标执行单位以及各目标执行单位执行待下发的任务时的数据采集标准;
任务下发模块830,用于根据待下发的任务对应的至少一个目标执行单位以及各目标执行单位执行待下发的任务时的数据采集标准,向各目标执行单位下发采集任务,采集任务包括:业务表单以及业务表单对应的数据采集标准。
可选地,确定模块820,具体用于若待下发的任务的类型为专项任务,则根据待下发的任务关联的各业务表单与执行单位之间的关联关系,确定各业务表单对应的至少一个目标执行单位;
根据任务的数据采集标准与执行单位之间的对应关系,确定各目标执行单位执行待下发的任务中的对应业务表单时的数据采集标准。
可选地,确定模块820,具体用于若待下发的任务的类型为非专项任务,则根据任务与执行单位之间的对应关系,确定待下发的任务对应的至少一个目标执行单位;
根据任务的数据采集标准与执行单位之间的对应关系,确定各目标执行单位执行待下发的任务时的数据采集标准。
可选地,还包括:任务创建模块;
任务创建模块,用于接收任务创建请求,任务创建请求包括:任务关联的业务表单、任务对应的执行单位以及执行单位执行任务时的数据采集标准;
根据任务创建请求,创建任务。
可选地,若待创建的任务为专项任务,任务创建请求还包括:专项任务关联的各业务表单与专项任务对应的各执行单位之间的关联关系。
可选地,还包括:展示模块、生成模块;
确定模块820,还用于响应于目标执行单位的执行人员针对业务表单输入的操作指令,确定当前操作的字段信息;
展示模块,用于若当前操作的字段关联有字典表,则根据字典表向执行人员展示当前操作的字段关联的至少一个属性信息;字典表中记录有字段所关联的所有属性信息;
生成模块,用于响应于执行人员对目标属性信息的确认操作,生成当前操作的字段的字段值。
可选地,还包括:获取模块;
获取模块,用于响应于目标执行单位的执行人员针对业务表单输入的操作指令,获取数据操作信息;
生成模块,还用于根据数据操作信息,生成数据日志以及数据状态信息并进行记录。
上述装置用于执行前述实施例提供的方法,其实现原理和技术效果类似,在此不再赘述。
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(digital singnal processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(CentralProcessing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
上述模块可以经由有线连接或无线连接彼此连接或通信。有线连接可以包括金属线缆、光缆、混合线缆等,或其任意组合。无线连接可以包括通过LAN、WAN、蓝牙、ZigBee、或NFC等形式的连接,或其任意组合。两个或更多个模块可以组合为单个模块,并且任何一个模块可以分成两个或更多个单元。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考方法实施例中的对应过程,本申请中不再赘述。
图9为本申请实施例提供的一种电子设备的结构示意图,该终端可以是具备数据处理功能的计算设备。
该设备可包括:处理器801、存储介质802。
存储介质802用于存储程序,处理器801调用存储介质802存储的程序,以执行上述方法实施例。具体实现方式和技术效果类似,这里不再赘述。
其中,存储介质802存储有程序代码,当程序代码被处理器801执行时,使得处理器801执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的数据采集方法中的各种步骤。
处理器801可以是通用处理器,例如中央处理器(CPU)、数字信号处理器(DigitalSignal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储介质802作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储介质可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储介质、随机访问存储介质(Random AccessMemory,RAM)、静态随机访问存储介质(Static Random Access Memory,SRAM)、可编程只读存储介质(Programmable Read Only Memory,PROM)、只读存储介质(Read Only Memory,ROM)、带电可擦除可编程只读存储介质(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储介质、磁盘、光盘等等。存储介质是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请实施例中的存储介质802还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
可选地,本申请还提供一种程序产品,例如计算机可读存储介质,包括程序,该程序在被处理器执行时用于执行上述方法实施例。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储介质(英文:Read-Only Memory,简称:ROM)、随机存取存储介质(英文:Random Access Memory,简称:RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种数据采集方法,其特征在于,包括:
接收任务下发请求,所述任务下发请求包括:待下发的任务的标识以及任务关联的业务表单;
根据所述待下发的任务的标识,确定所述待下发的任务的类型;
根据所述待下发的任务的类型,确定所述待下发的任务对应的至少一个目标执行单位以及各目标执行单位执行所述待下发的任务时的数据采集标准;
根据所述待下发的任务对应的至少一个目标执行单位以及各目标执行单位执行所述待下发的任务时的数据采集标准,向各目标执行单位下发采集任务,所述采集任务包括:业务表单以及业务表单对应的数据采集标准。
2.根据权利要求1所述的方法,其特征在于,所述根据所述待下发的任务的类型,确定所述待下发的任务对应的至少一个目标执行单位以及各目标执行单位执行所述待下发的任务时的数据采集标准,包括:
若所述待下发的任务的类型为专项任务,则根据所述待下发的任务关联的各业务表单与执行单位之间的关联关系,确定各业务表单对应的至少一个目标执行单位;
根据任务的数据采集标准与执行单位之间的对应关系,确定各目标执行单位执行所述待下发的任务中的对应业务表单时的数据采集标准。
3.根据权利要求1所述的方法,其特征在于,所述根据所述待下发的任务的类型,确定所述待下发的任务对应的至少一个目标执行单位以及各目标执行单位执行所述待下发的任务时的数据采集标准,包括:
若所述待下发的任务的类型为非专项任务,则根据任务与执行单位之间的对应关系,确定待下发的任务对应的至少一个目标执行单位;
根据任务的数据采集标准与执行单位之间的对应关系,确定各目标执行单位执行所述待下发的任务时的数据采集标准。
4.根据权利要求1所述的方法,其特征在于,所述接收任务下发请求之前,还包括:
接收任务创建请求,所述任务创建请求包括:任务关联的业务表单、任务对应的执行单位以及执行单位执行任务时的数据采集标准;
根据所述任务创建请求,创建任务。
5.根据权利要求4所述的方法,其特征在于,若待创建的任务为专项任务,所述任务创建请求还包括:专项任务关联的各业务表单与专项任务对应的各执行单位之间的关联关系。
6.根据权利要求1所述的方法,其特征在于,所述向各目标执行单位下发采集任务之后,还包括:
响应于目标执行单位的执行人员针对所述业务表单输入的操作指令,确定当前操作的字段信息;
若当前操作的字段关联有字典表,则根据所述字典表向所述执行人员展示当前操作的字段关联的至少一个属性信息;所述字典表中记录有字段所关联的所有属性信息;
响应于所述执行人员对目标属性信息的确认操作,生成所述当前操作的字段的字段值。
7.根据权利要求1所述的方法,其特征在于,所述向各目标执行单位下发采集任务之后,还包括:
响应于目标执行单位的执行人员针对所述业务表单输入的操作指令,获取数据操作信息;
根据所述数据操作信息,生成数据日志以及数据状态信息并进行记录。
8.一种数据采集装置,其特征在于,包括:接收模块、确定模块、任务下发模块;
所述接收模块,用于接收任务下发请求,所述任务下发请求包括:待下发的任务的标识以及任务关联的业务表单;
所述确定模块,用于根据所述待下发的任务的标识,确定所述待下发的任务的类型;
所述确定模块,用于根据所述待下发的任务的类型,确定所述待下发的任务对应的至少一个目标执行单位以及各目标执行单位执行所述待下发的任务时的数据采集标准;
所述任务下发模块,用于根据所述待下发的任务对应的至少一个目标执行单位以及各目标执行单位执行所述待下发的任务时的数据采集标准,向各目标执行单位下发采集任务,所述采集任务包括:业务表单以及业务表单对应的数据采集标准。
9.一种电子设备,其特征在于,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的程序指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述程序指令,以实现如权利要求1至7任一所述的数据采集方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时以实现如权利要求1至7任一所述的数据采集方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311807574.5A CN117743443A (zh) | 2023-12-26 | 2023-12-26 | 数据采集方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311807574.5A CN117743443A (zh) | 2023-12-26 | 2023-12-26 | 数据采集方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117743443A true CN117743443A (zh) | 2024-03-22 |
Family
ID=90281301
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311807574.5A Pending CN117743443A (zh) | 2023-12-26 | 2023-12-26 | 数据采集方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117743443A (zh) |
-
2023
- 2023-12-26 CN CN202311807574.5A patent/CN117743443A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8065204B2 (en) | System and method for software integration and factory deployment | |
CN111722839B (zh) | 一种代码生成方法、装置、电子设备及存储介质 | |
US10120658B2 (en) | Method and system for realizing software development tasks | |
CN104252481A (zh) | 主从数据库一致性的动态校验方法和装置 | |
CN111475192B (zh) | 对游戏服务器进行热更的方法、装置、存储介质和系统 | |
CN111309734B (zh) | 自动生成表数据的方法及系统 | |
CN110990274A (zh) | 一种生成测试案例的数据处理方法、装置及系统 | |
US10678864B2 (en) | Analysis model preparing system, programming apparatus, and analysis model preparing method | |
CN111159040A (zh) | 一种测试数据生成方法、装置、设备及存储介质 | |
CN106990974B (zh) | 一种app应用更新方法、装置及电子设备 | |
CN114091383A (zh) | 测试序列生成方法、装置、系统及相关设备 | |
CN108228611B (zh) | 单据信息抄写方法和装置 | |
CN116561003A (zh) | 测试数据生成方法、装置、计算机设备和存储介质 | |
CN115599618B (zh) | 寄存器动态改配验证方法、装置、存储介质和处理器 | |
CN114116664B (zh) | 数据库建表语句处理方法、装置、计算机设备和存储介质 | |
CN117743443A (zh) | 数据采集方法、装置、电子设备及存储介质 | |
CN115809290A (zh) | 生成数据持久层入参方法、装置、设备及介质 | |
CN113377368A (zh) | 项目开发方法、装置、服务器及存储介质 | |
JP2018045619A (ja) | 解析プログラム、解析方法、及び解析装置 | |
JP7344521B1 (ja) | プログラム、方法、情報処理装置、及びシステム | |
CN115328816B (zh) | 测试用例管理方法、装置、计算设备及存储介质 | |
CN113741956B (zh) | 移植版本管理功能的方法及装置、版本管理方法及装置 | |
TWI655535B (zh) | 程式異動管理系統及程式異動管理方法 | |
CN116149640A (zh) | 一种代码生成方法及系统 | |
CN117033242A (zh) | 测试数据生成方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |