CN117609263A - 数据处理方法以及装置 - Google Patents
数据处理方法以及装置 Download PDFInfo
- Publication number
- CN117609263A CN117609263A CN202311624939.0A CN202311624939A CN117609263A CN 117609263 A CN117609263 A CN 117609263A CN 202311624939 A CN202311624939 A CN 202311624939A CN 117609263 A CN117609263 A CN 117609263A
- Authority
- CN
- China
- Prior art keywords
- demand
- requirement
- record
- field
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000004458 analytical method Methods 0.000 claims abstract description 23
- 230000006399 behavior Effects 0.000 claims description 15
- 230000000694 effects Effects 0.000 abstract description 15
- 230000006870 function Effects 0.000 description 68
- 230000018109 developmental process Effects 0.000 description 52
- 238000013075 data extraction Methods 0.000 description 17
- 238000000605 extraction Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 3
- 239000003999 initiator Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000010223 real-time analysis Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/10—Requirements analysis; Specification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种数据处理方法以及装置,该方法包括:通过对需求数据分析处理,确定与需求数据相对应的需求记录,其中,需求记录包括至少一个需求维度下的至少一个需求字段;若需求记录库中存在需求记录,则对需求记录的需求次数更新,并基于更新后的需求次数对需求记录库中的需求记录进行排序更新;以及调取与需求数据相对应目标数据并反馈;在检测到满足功能开发条件时,基于更新后的需求次数确定目标开发需求记录,以基于目标开发需求记录开发目标功能。本发明实施例所提供的技术方案,实现了智能对需求数据进行分析处理,进而基于需求数据所对应的需求频次来确定需要开发的目标功能,从而目标功能开发智能性的技术效果。
Description
技术领域
本发明实施例涉及数据处理技术领域,尤其涉及一种数据处理方法以及装置。
背景技术
随着计算机技术的方案,越来越多的业务办理多是在线完成的,例如,经营分析、营销活动、管理决策、监管审计等工作都需要在线完成,企业的数据使用诉求也越来越旺盛。
对于某些诉求来说数据的获取是临时的,即需要获取很多临时性数据,进一步的,临时性数据的获取存在大量重复的情形,导致临时数据提取的量很大,引起重复对相同问题进行处理,导致占用资源带宽以及效率较低的问题。
进一步的,由于临时数据的调取数据量比较大,同时,调取到的数据多是基于需求内容描述来确定的,存在用户的主观语言组织形式,可能存在内容描述不准确,导致分析过程非常苦难以及分析结果(调取的临时性数据)与需求不适配的问题。
发明内容
本发明提供一种数据处理方法以及装置,以实现根据所有用户的需求数据,确定目标功能,进而开发相应的目标功能,提高了功能开发与用户适配性的效果。
第一方面,本发明实施例提供了一种数据处理方法,该方法包括:
通过对需求数据分析处理,确定与所述需求数据相对应的需求记录,其中,所述需求记录包括至少一个需求维度下的至少一个需求字段;
若需求记录库中存在所述需求记录,则对所述需求记录的需求次数更新,并基于更新后的需求次数对所述需求记录库中的需求记录进行排序更新;以及调取与所述需求数据相对应目标数据并反馈;其中,所述需求记录库中的需求记录是基于历史需求数据生成的;
在检测到满足功能开发条件时,基于更新后的需求次数确定目标开发需求记录,以基于所述目标开发需求记录开发目标功能。
进一步的,所述方法还包括:
获取预设时长内的多个历史需求数据,其中,所述历史需求数据中包括需求文本;
通过对所述需求文本分析处理,得到与所述需求文本相对应的至少一个关键词;
通过对所述需求文本所对应的至少一个关键词归类处理,确定至少一个需求维度以及所述至少一个需求维度下的需求字段。
进一步的,所述需求维度包括日期维度、客群维度、账户类别维度、产品信息维度以及操作行为维度中的至少一种,所述日期维度下的需求字段包括具体日期字段、日期区间字段、季度字段以及年度字段中的至少一个,所述客群维度的需求字段包括客户字段以及户类型字段;所述账户类别维度下的需求字段包括借记卡字段、贷记卡字段以及信贷卡字段中的至少一种;所述产品信息维度下的需求字段包括理财字段、基金字段、存款字段以及贷款字段中的至少一种;所述操作行为维度下的需求字段包括与操作应用程序相关的所有操作行为对应的字段。
进一步的,所述通过对所述需求文本所对应的至少一个关键词归类处理,确定至少一个需求维度以及所述至少一个需求维度下的需求字段,包括:
通过对所有需求文本的至少一个关键词进行归类处理,得到至少一个需求字段;
通过对所述至少一个需求字段归类处理,得到至少一个需求维度。
进一步的,在得到需求维度和所述需求维度下的至少一个需求字段之后,所述方法还包括:
确定所述历史需求数据所对应的至少一个需求维度和相应的需求字段,并基于所述需求字段生成历史需求记录;
将所述历史需求记录存入所述需求记录库中。
进一步的,所述将所述历史需求记录存入所述需求记录库中,包括:
将相同的历史需求记录合并为一个历史需求记录,并记录所述历史需求记录的需求次数;
依据所述需求次数对合并后的历史需求记录排序处理,以更新所述需求记录库。
进一步的,所述功能开发条件包括下述至少一种:
触发定时任务;
检测到所述需求记录库中的需求次数达到预设需求次数阈值的目标历史需求记录。
进一步的,所述基于更新后的需求进行确定目标开发需求记录,以基于所述目标开发需求记录开发目标功能,包括:
将更新后需求次数最高的历史需求记录,作为目标开发需求记录;
基于所述目标需求记录的需求维度以及需求字段,确定所述目标功能。
进一步的,所述方法还包括:
若所述需求记录库中未存在所述需求记录,则将所述需求记录作为历史需求记录写入所述需求记录库中。
第二方面,本发明实施例还提供了一种数据处理装置,该装置包括:
需求记录确定模块,用于通过对需求数据分析处理,确定与所述需求数据相对应的需求记录,其中,所述需求记录包括至少一个需求维度下的至少一个需求字段;
需求记录更新模块,用于若需求记录库中存在所述需求记录,则对所述需求记录的需求次数更新,并基于更新后的需求次数对所述需求记录库中的需求记录进行排序更新;以及调取与所述需求数据相对应目标数据并反馈;其中,所述需求记录库中的需求记录是基于历史需求数据生成的;
功能开发模块,用于在检测到满足功能开发条件时,基于更新后的需求次数确定目标开发需求记录,以基于所述目标开发需求记录开发目标功能。
第三方面,本发明实施例还提供了一种电子设备,所述电子设备包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明实施例任一所述的数据处理方法。
第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例任一所述的数据处理方法。
本发明实施例的技术方案,通过对需求数据分析处理,确定与需求数据相对应的需求记录,其中,需求记录包括至少一个需求维度下的至少一个需求字段;若需求记录库中存在需求记录,则对需求记录的需求次数更新,并基于更新后的需求次数对需求记录库中的需求记录进行排序更新;以及调取与需求数据相对应目标数据并反馈;其中,需求记录库中的需求记录是基于历史需求数据生成的;在检测到满足功能开发条件时,基于更新后的需求次数确定目标开发需求记录,以基于目标开发需求记录开发目标功能,解决了现有技术中对临时数据的智能提取时,存在临时数据重复提取,从而引起临时数据提取量较大的问题,实现了可以基于需求数据确定需求记录,进而基于需求记录所出现的频次,确定是否研发与其相对应的功能,有效降低临时数据提取的需求量,以及提高研发的功能与用户之间适配度的效果。
附图说明
为了更加清楚地说明本发明示例性实施例的技术方案,下面对描述实施例中所需要用到的附图做一简单介绍。显然,所介绍的附图只是本发明所要描述的一部分实施例的附图,而不是全部的附图,对于本领域普通技术人员,在不付出创造性劳动的前提下,还可以根据这些附图得到其他的附图。
图1为本发明实施例所提供的一种数据处理方法流程示意图;
图2为本发明实施例所提供的一种数据处理方法流程示意图;
图3为本发明实施例所提供的需求维度和需求字段的示意图;
图4为本发明实施例所提供的一种数据处理方法流程示意图;
图5为本发明实施例所提供的一种数据处理方法流程示意图;
图6为本发明实施例所提供的一种电子设备结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
在介绍本技术方案之前,可以先对应用场景进行示例性说明。用户可以根据实际需求编写相应的文字内容或程序代码以提取临时数据,当出现的需求量较大时,可能会出现重复提取相同的临时数据,导致数据重复提取效率较低的问题。进一步的,需求编写多是人为编写的,若可能会存在描述不准确导致提取的数据与用户需求不匹配的问题。。
图1为本发明实施例所提供的一种数据处理方法流程示意图,该方法可以应用在基于历史需求数据,生成历史需求记录,进而基于历史需求记录所对应的频次,确定是否开发相应的功能的效果。该方法可以由数据处理装置来执行,该装置可以通过软件和/或硬件的形式实现,该软件可以是电子设备,所述电子设备包括移动终端或PC端等,移动终端可以是智能手机。
如图1所示,所述方法包括:
S110、获取预设时长内的多个历史需求数据,其中,历史需求数据中包括需求文本。
其中,预设时长可以是一年、两年或者半年,其具体的时长开发人员可以根据实际需求进行设置,其具体的时间长度在本实施例中不做限定。历史需求数据可以理解为相关用户对调取某项数据的描述数据,该描述数据可以是描述文本,即,需求文本。也就是说,用户可以基于实际需求编辑相应的文本,并将其需求文本发送至目标设备,以使目标设备对需求文本分析处理,从而提取出相应的临时数据。
为了提高确定目标研发功能的高效性,即,降低临时数据调取的频次,可以尽可能多的获取历史需求数据。
S120、通过对需求文本分析处理,得到与需求文本相对应的至少一个关键词。
其中,至少一个关键词的数量可以是一个或者多个,其具体的数量是与需求文本的文本内容相对应。分析处理可以是采用分词工具对需求文本进行分词,并剔除掉其中的停用词以及助词,得到与需求文本相对应的关键词。
需要说明的是,关键词可以是日期、用户类型、账户信息、产品信息以及行为信息中的至少一个。
S130、通过对需求文本所对应的至少一个关键词归类处理,确定至少一个需求维度以及至少一个需求维度下的需求字段。
其中,归类处理可以理解为将属性相同的词汇归为一类,此时,可以得到多个需求维度。为了达到进一步细分的效果,可以依据关键词对需求维度进行进一步细分,得到每个需求维度下的需求字段。例如,关键词是日期,需求维度可以是日期维度,相应的,关键词中每个日期所对应的属性,如,具体每一天、每一个月、每年、每个季度等等,可以将其作为一个需求字段。
在本实施例中,确定需求维度以及需求字段可以是:通过对需求文本所对应的至少一个关键词归类处理,确定至少一个需求维度以及至少一个需求维度下的需求字段,包括:通过对所有需求文本的至少一个关键词进行归类处理,得到至少一个需求字段;通过对至少一个需求字段归类处理,得到至少一个需求维度。
其中,需求维度可以理解为至少一个需求字段的概括。需求字段可以理解为具体的某个字段,例如,具体的日期字段、具体的借记卡字段等。
具体的,可以对历史需求数据分析处理,得到多个关键词。依据关键词所对应的属性,确定与其相对应的需求字段。对同一类型的需求字段进行上位概括得到需求维度。
在本实施例中,需求维度包括日期维度、客群维度、账户类别维度、产品信息维度以及操作行为维度中的至少一种,日期维度下的需求字段包括具体日期字段、日期区间字段、季度字段以及年度字段中的至少一个,客群维度的需求字段包括客户字段以及户类型字段;账户类别维度下的需求字段包括借记卡字段、贷记卡字段以及信贷卡字段中的至少一种;产品信息维度下的需求字段包括理财字段、基金字段、存款字段以及贷款字段中的至少一种;操作行为维度下的需求字段包括与操作应用程序相关的所有操作行为对应的字段。
还需要说明的是,需求维度和需求维度下的需求字段是可以根据实际业务需求来动态调整的,若本发明实施例所应用的应用场景为银行场景,那么需求维度以及需求字段可以参见上述表述,如果应用场景是其他场景,那么需求维度和需求字段可以变化。也就是说,需求维度和需求字段可以根据业务场景来动态变化,其变化的主要依据是获取的历史需求数据。在本实施例中,所述确定历史需求数据所对应的至少一个需求维度和相应的需求字段,并基于需求字段生成历史需求记录;将历史需求记录存入需求记录库中。
具体的,在得到至少一个需求维度和相应的需求字段之后,可以对历史需求数据进行分析处理,以得到与其相对应的历史需求记录。
需要说明的是,对每个历史需求数据的处理方式都是相同,在本实施例中以对其中一个历史需求数据处理为例来说明。
对于当前历史需求数据,可以确定该历史需求数据所对应的需求维度,以及相应的需求字段,可以确定各需求字段下所对应的需求内容,即将历史需求数据填充至相应的需求字段下,得到一个历史需求记录。可以重复执行上述步骤,得到每一个历史需求数据所对应的历史需求记录。
在本实施例中,所述将历史需求记录存入需求记录库中,包括:将相同的历史需求记录合并为一个历史需求记录,并记录历史需求记录的需求次数;依据需求次数对合并后的历史需求记录排序处理,以更新需求记录库。
可以理解为,在得到每个历史需求数据所对应的历史需求记录之后,可能存在相同的历史需求记录,此时,可以对相同的历史需求记录进行合并,并记录该历史需求记录的出现频次。在对所有的历史需求记录合并完成过后,可以确定依据每个历史需求记录的需求次数从高往低进行排序,以更新需求记录库。
本发明实施例的技术方案,通过对需求数据分析处理,确定与需求数据相对应的需求记录,其中,需求记录包括至少一个需求维度下的至少一个需求字段;若需求记录库中存在需求记录,则对需求记录的需求次数更新,并基于更新后的需求次数对需求记录库中的需求记录进行排序更新;以及调取与需求数据相对应目标数据并反馈;其中,需求记录库中的需求记录是基于历史需求数据生成的;在检测到满足功能开发条件时,基于更新后的需求次数确定目标开发需求记录,以基于目标开发需求记录开发目标功能,解决了现有技术中对临时数据的智能提取时,存在临时数据重复提取,从而引起临时数据提取量较大的问题,实现了可以基于需求数据确定需求记录,进而基于需求记录所出现的频次,确定是否研发与其相对应的功能,有效降低临时数据提取的需求量,以及提高研发的功能与用户之间适配度的效果。
图2为本发明实施例所提供的一种数据处理方法流程示意图,在前述实施例的基础上,在接收到需求数据后,可以对需求数据进行处理,以确定是否触发需要将其开发为相应功能的操作。其中,与上述实施例相同或者相应的技术术语在本实施例中不做限定。
如图2所述,本实施例的方法包括:
S210、通过对需求数据分析处理,确定与需求数据相对应的需求记录,其中,需求记录包括至少一个需求维度下的至少一个需求字段。
具体的,在实际应用中,每个用户都可以上传需求数据,可以对接收到的需求数据分析处理,以得到该需求数据所对应的需求记录。其中,确定需求记录的方式可以参见上述实施例的详细阐述,在本实施例中不做赘述。
S220、若需求记录库中存在需求记录,则对需求记录的需求次数更新,并基于更新后的需求次数对需求记录库中的需求记录进行排序更新;以及调取与需求数据相对应目标数据并反馈。
具体的,在得到需求记录之后,可以确定需求记录库中是否包括该需求记录,即需求记录库中是否预先存储有相应的需求记录,若是,则对该需求记录所对应的需求次数加一,即对需求次数进行更新。基于更新后的需求次数,可以对需求记录库中的需求记录进行重新排序。同时,在对需求记录次数更新的基础上,可以调取与需求数据相对应的目标数据并反馈。
需要说明的是,需求记录库中可以存储多条需求记录,该需求记录可以是基于历史需求数据来生成的,同时,在对该需求数据处理完成后,该需求数据也可以作为历史需求数据的。
在上述技术方案的基础上,若需求记录库中未存在需求记录,则将需求记录作为历史需求记录写入需求记录库中。
可以理解为,如果需求记录库中没有存储该需求记录,即,历史需求数据中没有该需求,此时,可以将需求记录作为历史需求记录写入需求记录库中,同时,将该需求记录的需求次数写为1。
S230、在检测到满足功能开发条件时,基于更新后的需求次数确定目标开发需求记录,以基于目标开发需求记录开发目标功能。
其中,功能开发条件可以理解为需要对需求记录库中的某条需求记录进行处理的条件。目标功能为与需要开发的需求记录所对应的功能。
在本实施例中,功能开发条件包括下述至少一种:触发定时任务;检测到需求记录库中的需求次数达到预设需求次数阈值的目标历史需求记录。
可以理解为,可以预先设定定时任务,即,定时对需求记录库中的需求记录进行处理。如,对于需求记录库中的每一条需求记录数据,每天定时查看是否达到功能开发条件。或者是,当检测到某个历史需求记录的需求次数达到预设需求次数阈值,则将该需求次数所对应的历史需求记录作为目标历史需求记录,基于该目标需求记录所对应的需求字段来开发相应的目标功能。
在本实施例中,基于更新后的需求进行确定目标开发需求记录,以基于目标开发需求记录开发目标功能,包括:将更新后需求次数最高的历史需求记录,作为目标开发需求记录;基于目标需求记录的需求维度以及需求字段,确定目标功能。
具体的,可以将更新后的需求次数最高的历史需求记录作为目标开发需求记录。同时,如果该需求次数大于预设次数阈值,则确定将目标开发需求记录作为最终要开发的需求记录。获取该需求记录的需求字段,可以基于该需求维度以及需求字段来开发相应的目标功能,提高了确定目标功能与用户之间的匹配度,进一步的,结合需求维度和需求字段来确定目标功能时,可以提高功能开发的便捷性和高效性。
本发明实施例的技术方案,通过对需求数据分析处理,确定与需求数据相对应的需求记录,其中,需求记录包括至少一个需求维度下的至少一个需求字段;若需求记录库中存在需求记录,则对需求记录的需求次数更新,并基于更新后的需求次数对需求记录库中的需求记录进行排序更新;以及调取与需求数据相对应目标数据并反馈;其中,需求记录库中的需求记录是基于历史需求数据生成的;在检测到满足功能开发条件时,基于更新后的需求次数确定目标开发需求记录,以基于目标开发需求记录开发目标功能,解决了现有技术中对临时数据的智能提取时,存在临时数据重复提取,从而引起临时数据提取量较大的问题,实现了可以基于需求数据确定需求记录,进而基于需求记录所出现的频次,确定是否研发与其相对应的功能,有效降低临时数据提取的需求量,以及提高研发的功能与用户之间适配度的效果。
作为上述实施例的一可选实施例,可以进一步阐述本发明实施例所提供的技术方案,其中,与上述实施例相同或者相应的技术术语在此不再赘述。
本发明实施例所提供的方案,可以对临时数据分析提取情况智能分析,以对大量无规律的需求进行识别和自动分类,进而对超过一定频率的同类需求转换为相应的系统功能,从而有效降低临时数据提取的需求量。
在实际应用中,对于某个业务来说,该业务所对应的需求维度可以由多个,每个需求维度下所对应的需求字段的数量也可以有多个,即,可以有需求维度M个集合,每个集合中可以包括N个元素,每个元素可以对应于一个需求字段。此时可以形成N^M个需求条目,即可以形成这么多需求记录。可以对每个需求条目进行初始化计数、累计计数以及动态排序,并将排序较高的需求条目定期转交至相应业务系统中进行功能开发,待功能上线后,可以停止对该需求条目进行临时数据提取,即,可以基于开发的功能进行数据处理,从而降低了临时数据提取量的效果。
也就是说,基于上述方式可以有效解决企业内各用数部门为追求方便快捷,将过多重复性的数据使用需求通过后台临时数据提取的方式实现,而疏于丰富和扩展自身业务功能的问题。
接下来详细介绍下本发明实施例所提供的方案,为了清楚的了解本发明实施例所提供的方案,可以以银行场景为例来说,其中,在获取到历史需求数据之后,可以对历史需求数据的需求文本进行分析处理,得到与每个历史需求数据所对应的关键字。对关键词汇总之后,可以得到相应的需求维度,以及需求字段。或者是,可以根据业务需求确定其所对应的需求维度和需求字段,进而将历史需求数据对应于相应的需求字段。需要说明的是,不论哪一种方式只要可以确定其需求记录即可。
以银行场景为例,形成日期、客群、账户信息、产品信息、行为信息5个集合,即,五个需求维度,每个集合中包含1~5个子集,此时的,子集可以理解为需求字段,可选的,日期里包括某一天、某个月、某个季度、某个年度,可群里包含某个客户、某类客户,账户信息里包含借记卡、贷记卡,产品信息里包含理财、基金等,行为信息里包含登陆掌银、小程序等,参见图3。需求发起者根据实际需要进行选择和组合,共形成总量5~3125个需求条目(需求记录),将原带有不同需求发起者主观自然语言表述的,不易识别的需求内容,转换成可组织、可识别的需求条目。
在获取到历史需求数据之后,可以先对历史需求数据所对应的需求文本分析处理,确定与其相对应的历史需求记录。历史需求数据可以是当前时刻之前一年内的需求数据。
可选的,参见,4,初始化为全年各提取0次,每产生一次相同的需求记录,则对该需求记录的需求次数累计加1次,并按由多到少的需求条目(需求记录)进行排序,并将排序较高的需求条目(需求记录)定期转交至响应业务系统中进行功能开发,待功能上线后,停止对该需求条目进行临时数据提取。将提取流程的阶段性事后分析转换成事中实时分析,并同步对分析结果进行处理,及时开发对应业务功能。
上述方式达到了业务功能开发便捷性和高效性的效果。
本发明实施例所提供的技术方案,实现了临时数据提取场景中数据分析的功能,解放了38个机构的人工分析成本,有效管控了数据提取需求的合理性,识别出1700项需求条目,并建设了响应应用系统功能,可有效对临时数据提取场景中的需求进行管理。进一步的,采用了实时识别重复需求的方法,对结构化需求条目进行登记和计数,实时分析,确保高频次的重复需求可及时被识别出。
图5为本发明实施例提供的一种数据处理装置的结构示意图,该装置包括:需求记录确定模块310、需求记录更新模块320以及功能开发模块330。
需求记录确定模块310,用于通过对需求数据分析处理,确定与所述需求数据相对应的需求记录,其中,所述需求记录包括至少一个需求维度下的至少一个需求字段;需求记录更新模块320,用于若需求记录库中存在所述需求记录,则对所述需求记录的需求次数更新,并基于更新后的需求次数对所述需求记录库中的需求记录进行排序更新;以及调取与所述需求数据相对应目标数据并反馈;其中,所述需求记录库中的需求记录是基于历史需求数据生成的;功能开发模块330,用于在检测到满足功能开发条件时,基于更新后的需求次数确定目标开发需求记录,以基于所述目标开发需求记录开发目标功能。
在上述方案的基础上,所述装置还包括:
历史需求数据获取模块,用于获取预设时长内的多个历史需求数据,其中,所述历史需求数据中包括需求文本;
需求数据分析模块,用于通过对所述需求文本分析处理,得到与所述需求文本相对应的至少一个关键词;
需求字段确定模块,用于通过对所述需求文本所对应的至少一个关键词归类处理,确定至少一个需求维度以及所述至少一个需求维度下的需求字段。
在上述技术方案的基础上,所述需求维度包括日期维度、客群维度、账户类别维度、产品信息维度以及操作行为维度中的至少一种,所述日期维度下的需求字段包括具体日期字段、日期区间字段、季度字段以及年度字段中的至少一个,所述客群维度的需求字段包括客户字段以及户类型字段;所述账户类别维度下的需求字段包括借记卡字段、贷记卡字段以及信贷卡字段中的至少一种;所述产品信息维度下的需求字段包括理财字段、基金字段、存款字段以及贷款字段中的至少一种;所述操作行为维度下的需求字段包括与操作应用程序相关的所有操作行为对应的字段。
在上述各技术方案的基础上,所述需求字段确定模块,包括:
需求字段确定单元,用于通过对所有需求文本的至少一个关键词进行归类处理,得到至少一个需求字段;
需求维度确定单元,用于通过对所述至少一个需求字段归类处理,得到至少一个需求维度。
在上述各技术方案的基础上,所述装置还包括:
历史需求记录生成模块,用于确定所述历史需求数据所对应的至少一个需求维度和相应的需求字段,并基于所述需求字段生成历史需求记录;
历史需求记录存入模块,用于将所述历史需求记录存入所述需求记录库中。
在上述各技术方案的基础上,所述历史需求记录存入模块,包括:
需求次数记录单元,用于将相同的历史需求记录合并为一个历史需求记录,并记录所述历史需求记录的需求次数;
记录库更新单元,用于依据所述需求次数对合并后的历史需求记录排序处理,以更新所述需求记录库。
在上述各技术方案的基础上,所述功能开发条件包括下述至少一种:
触发定时任务;
检测到所述需求记录库中的需求次数达到预设需求次数阈值的目标历史需求记录。
在上述各技术方案的基础上,功能开发模块,包括:
功能确定单元,用于将更新后需求次数最高的历史需求记录,作为目标开发需求记录;
开发单元,用于基于所述目标需求记录的需求维度以及需求字段,确定所述目标功能。
在上述各技术方案的基础上,所述装置还包括:
记录库更新模块,用于若所述需求记录库中未存在所述需求记录,则将所述需求记录作为历史需求记录写入所述需求记录库中。
本发明实施例的技术方案,通过对需求数据分析处理,确定与需求数据相对应的需求记录,其中,需求记录包括至少一个需求维度下的至少一个需求字段;若需求记录库中存在需求记录,则对需求记录的需求次数更新,并基于更新后的需求次数对需求记录库中的需求记录进行排序更新;以及调取与需求数据相对应目标数据并反馈;其中,需求记录库中的需求记录是基于历史需求数据生成的;在检测到满足功能开发条件时,基于更新后的需求次数确定目标开发需求记录,以基于目标开发需求记录开发目标功能,解决了现有技术中对临时数据的智能提取时,存在临时数据重复提取,从而引起临时数据提取量较大的问题,实现了可以基于需求数据确定需求记录,进而基于需求记录所出现的频次,确定是否研发与其相对应的功能,有效降低临时数据提取的需求量,以及提高研发的功能与用户之间适配度的效果。本发明实施例所提供的数据处理装置可执行本发明任意实施例所提供的数据处理方法,具备执行方法相应的功能模块和有益效果。
值得注意的是,上述装置所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明实施例的保护范围。
图6为本发明实施例提供的一种电子设备的结构示意图。图6示出了适于用来实现本发明实施例实施方式的示例性设备40的框图。图6显示的设备40仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示,设备40以通用计算设备的形式表现。设备40的组件可以包括但不限于:一个或者多个处理器或者处理单元401,系统存储器402,连接不同系统组件(包括系统存储器402和处理单元401)的总线403。
总线403表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
设备40典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备40访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
系统存储器402可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(RAM)404和/或高速缓存存储器405。设备40可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统406可以用于读写不可移动的、非易失性磁介质(图6未显示,通常称为“硬盘驱动器”)。尽管图6中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线403相连。存储器402可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块407的程序/实用工具408,可以存储在例如存储器402中,这样的程序模块407包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块407通常执行本发明所描述的实施例中的功能和/或方法。
设备40也可以与一个或多个外部设备409(例如键盘、指向设备、显示器410等)通信,还可与一个或者多个使得用户能与该设备40交互的设备通信,和/或与使得该设备40能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口411进行。并且,设备40还可以通过网络适配器412与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器412通过总线403与设备40的其它模块通信。应当明白,尽管图6中未示出,可以结合设备40使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元401通过运行存储在系统存储器402中的程序,从而执行各种功能应用以及数据处理,例如实现本发明实施例所提供的数据处理方法。
本发明实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种数据处理方法。
该方法包括:
通过对需求数据分析处理,确定与所述需求数据相对应的需求记录,其中,所述需求记录包括至少一个需求维度下的至少一个需求字段;
若需求记录库中存在所述需求记录,则对所述需求记录的需求次数更新,并基于更新后的需求次数对所述需求记录库中的需求记录进行排序更新;以及调取与所述需求数据相对应目标数据并反馈;其中,所述需求记录库中的需求记录是基于历史需求数据生成的;
在检测到满足功能开发条件时,基于更新后的需求次数确定目标开发需求记录,以基于所述目标开发需求记录开发目标功能。
本发明实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种数据处理方法,其特征在于,包括:
通过对需求数据分析处理,确定与所述需求数据相对应的需求记录,其中,所述需求记录包括至少一个需求维度下的至少一个需求字段;
若需求记录库中存在所述需求记录,则对所述需求记录的需求次数更新,并基于更新后的需求次数对所述需求记录库中的需求记录进行排序更新;以及调取与所述需求数据相对应目标数据并反馈;其中,所述需求记录库中的需求记录是基于历史需求数据生成的;
在检测到满足功能开发条件时,基于更新后的需求次数确定目标开发需求记录,以基于所述目标开发需求记录开发目标功能。
2.根据权利要求1所述的方法,其特征在于,还包括:
获取预设时长内的多个历史需求数据,其中,所述历史需求数据中包括需求文本;
通过对所述需求文本分析处理,得到与所述需求文本相对应的至少一个关键词;
通过对所述需求文本所对应的至少一个关键词归类处理,确定至少一个需求维度以及所述至少一个需求维度下的需求字段。
3.根据权利要求1或2所述的方法,其特征在于,所述需求维度包括日期维度、客群维度、账户类别维度、产品信息维度以及操作行为维度中的至少一种,所述日期维度下的需求字段包括具体日期字段、日期区间字段、季度字段以及年度字段中的至少一个,所述客群维度的需求字段包括客户字段以及户类型字段;所述账户类别维度下的需求字段包括借记卡字段、贷记卡字段以及信贷卡字段中的至少一种;所述产品信息维度下的需求字段包括理财字段、基金字段、存款字段以及贷款字段中的至少一种;所述操作行为维度下的需求字段包括与操作应用程序相关的所有操作行为对应的字段。
4.根据权利要求2所述的方法,其特征在于,所述通过对所述需求文本所对应的至少一个关键词归类处理,确定至少一个需求维度以及所述至少一个需求维度下的需求字段,包括:
通过对所有需求文本的至少一个关键词进行归类处理,得到至少一个需求字段;
通过对所述至少一个需求字段归类处理,得到至少一个需求维度。
5.根据权利要求2所述的方法,其特征在于,在得到需求维度和所述需求维度下的至少一个需求字段之后,所述方法还包括:
确定所述历史需求数据所对应的至少一个需求维度和相应的需求字段,并基于所述需求字段生成历史需求记录;
将所述历史需求记录存入所述需求记录库中。
6.根据权利要求5所述的方法,其特征在于,所述将所述历史需求记录存入所述需求记录库中,包括:
将相同的历史需求记录合并为一个历史需求记录,并记录所述历史需求记录的需求次数;
依据所述需求次数对合并后的历史需求记录排序处理,以更新所述需求记录库。
7.根据权利要求1所述的方法,其特征在于,所述功能开发条件包括下述至少一种:
触发定时任务;
检测到所述需求记录库中的需求次数达到预设需求次数阈值的目标历史需求记录。
8.根据权利要求1所述的方法,其特征在于,所述基于更新后的需求进行确定目标开发需求记录,以基于所述目标开发需求记录开发目标功能,包括:
将更新后需求次数最高的历史需求记录,作为目标开发需求记录;
基于所述目标需求记录的需求维度以及需求字段,确定所述目标功能。
9.根据权利要求1所述的方法,其特征在于,还包括:
若所述需求记录库中未存在所述需求记录,则将所述需求记录作为历史需求记录写入所述需求记录库中。
10.一种数据处理装置,其特征在于,包括:
需求记录确定模块,用于通过对需求数据分析处理,确定与所述需求数据相对应的需求记录,其中,所述需求记录包括至少一个需求维度下的至少一个需求字段;
需求记录更新模块,用于若需求记录库中存在所述需求记录,则对所述需求记录的需求次数更新,并基于更新后的需求次数对所述需求记录库中的需求记录进行排序更新;以及调取与所述需求数据相对应目标数据并反馈;其中,所述需求记录库中的需求记录是基于历史需求数据生成的;
功能开发模块,用于在检测到满足功能开发条件时,基于更新后的需求次数确定目标开发需求记录,以基于所述目标开发需求记录开发目标功能。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311624939.0A CN117609263A (zh) | 2023-11-30 | 2023-11-30 | 数据处理方法以及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311624939.0A CN117609263A (zh) | 2023-11-30 | 2023-11-30 | 数据处理方法以及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117609263A true CN117609263A (zh) | 2024-02-27 |
Family
ID=89953161
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311624939.0A Pending CN117609263A (zh) | 2023-11-30 | 2023-11-30 | 数据处理方法以及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117609263A (zh) |
-
2023
- 2023-11-30 CN CN202311624939.0A patent/CN117609263A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11138381B2 (en) | Method, computer device and readable medium for user's intent mining | |
US20180260484A1 (en) | Method, Apparatus, and Device for Generating Hot News | |
AU2018206822A1 (en) | Simplified tax interview | |
US11775504B2 (en) | Computer estimations based on statistical tree structures | |
CN111062799A (zh) | 家庭客户的管理方法、装置、电子设备及存储介质 | |
CN110990445A (zh) | 一种数据处理方法、装置、设备和介质 | |
CN112925664A (zh) | 目标用户的确定方法、装置、电子设备及存储介质 | |
CN113538154A (zh) | 风险对象的识别方法、装置、存储介质和电子设备 | |
CN111027832A (zh) | 一种税务风险确定方法、装置及存储介质 | |
US20230385952A1 (en) | System and method for serverless modification and execution of machine learning algorithms | |
CN113792038A (zh) | 用于存储数据的方法和装置 | |
CN112348658A (zh) | 资源分配方法、装置及电子设备 | |
CN117033431A (zh) | 工单处理方法、装置、电子设备和介质 | |
CN113515528B (zh) | 基于大数据和oracle海量数据的资产筛选系统和方法 | |
CN117609263A (zh) | 数据处理方法以及装置 | |
CN112256566B (zh) | 一种测试案例的保鲜方法和装置 | |
US11227003B2 (en) | System and method for classification of low relevance records in a database using instance-based classifiers and machine learning | |
CN113095078A (zh) | 关联资产确定方法、装置和电子设备 | |
KR20230059364A (ko) | 언어 모델을 이용한 여론조사 시스템 및 운영 방법 | |
CN112380321A (zh) | 基于票据知识图谱的主次数据库分配方法及相关设备 | |
CN111639910A (zh) | 一种台账生成方法、装置、设备及存储介质 | |
CN113792039A (zh) | 数据处理方法及装置、电子设备、存储介质 | |
CN113032515A (zh) | 基于多数据源生成图表的方法、系统、设备及存储介质 | |
CN111353087A (zh) | 热词统计方法及装置、存储介质、电子终端 | |
CN114584616B (zh) | 一种消息推送方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |