CN117974022A - 业务数据处理方法、装置、计算机设备和存储介质 - Google Patents
业务数据处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN117974022A CN117974022A CN202211277091.4A CN202211277091A CN117974022A CN 117974022 A CN117974022 A CN 117974022A CN 202211277091 A CN202211277091 A CN 202211277091A CN 117974022 A CN117974022 A CN 117974022A
- Authority
- CN
- China
- Prior art keywords
- data
- processing
- information
- report
- normalized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 166
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000010606 normalization Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 5
- 230000008685 targeting Effects 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000004927 fusion Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000013480 data collection Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提出一种业务数据处理方法、装置、计算机设备和存储介质,涉及数据处理技术领域,该方法包括:基于至少一个数据源,获取业务的相关数据,对相关数据进行规范化处理,以得到规范化数据,对规范化数据进行目标处理。通过实施本公开的方法,能够保证所获取相关数据的全面性,并基于所得规范化数据有效提升业务数据处理效果。
Description
技术领域
本公开涉及数据处理技术领域,具体涉及一种业务数据处理方法、装置、计算机设备和存储介质。
背景技术
随着信息化时代的到来和网络技术的迅速发展,如何获取有价值的业务数据作为制定策略的参考数据成为了影响众多企业发展的决定性因素,而企业直接获取的业务数据可能比较琐粹,无法直接被作为参考数据,因此,需要对其进行处理。
相关技术中,在对业务数据进行处理时,无法保证所得业务数据的全面性,且对于业务数据的处理效果不佳。
发明内容
本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
本公开第一方面实施例提出的业务数据处理方法,包括:基于至少一个数据源,获取业务的相关数据;对所述相关数据进行规范化处理,以得到规范化数据;对所述规范化数据进行目标处理。
可选的,所述对所述相关数据进行规范化处理,包括以下至少一项:
根据所述业务的需求信息,对所述相关数据进行筛选处理;
确定所述相关数据之间的相似值,并根据所述相似值对所述相关数据进行去重处理;
对所述相关数据进行数据结构化信息提取。
可选的,所述对所述规范化数据进行目标处理,包括:
确定目标处理类型;
获取与所述目标处理类型对应的数据处理模型;
基于所述数据处理模型对所述规范化数据进行目标处理。
可选的,所述基于所述数据处理模型对所述规范化数据进行目标处理,包括:
基于所述数据处理模型对所述规范化数据进行摘要提取,以获取与所述规范化数据对应的至少一个摘要数据,其中,所述摘要数据用于指示相应所述规范化数据的主体信息。
可选的,还包括:
获取所述业务的报告模板;
其中,所述基于所述数据处理模型对所述规范化数据进行目标处理,包括:
基于所述数据处理模型对所述规范化数据进行实体识别,以确定与所述规范化数据对应的至少一个参考实体;
根据所述报告模板和所述至少一个参考实体,生成与所述规范化数据对应的报告信息。
可选的,所述报告模板用于指示至少一个目标实体的目标特征信息;其中,所述根据所述报告模板和所述至少一个参考实体,生成与所述规范化数据对应的报告信息,包括:
确定所述参考实体的参考特征信息;
确定所述目标特征信息与所述参考特征信息的匹配结果;
根据所述匹配结果,从所述至少一个参考实体中确定所述目标实体;
根据所述报告模板和所述目标实体,生成所述报告信息。
可选的,还包括:
根据至少一个所述报告信息,生成历史报告数据库;
根据所述历史报告数据库,获取所述至少一个所述报告信息的历史特征信息。
本公开第二方面实施例提出的业务数据处理装置,包括:
第一获取模块,用于基于至少一个数据源,获取业务的相关数据;
第一处理模块,用于对所述相关数据进行规范化处理,以得到规范化数据;
第二处理模块,用于对所述规范化数据进行目标处理。
可选的,所述第一处理模块,具体用于:
根据所述业务的需求信息,对所述相关数据进行筛选处理;
确定所述相关数据之间的相似值,并根据所述相似值对所述相关数据进行去重处理;
对所述相关数据进行数据结构化信息提取。
可选的,所述第二处理模块,包括:
确定子模块,用于确定目标处理类型;
获取子模块,用于获取与所述目标处理类型对应的数据处理模型;
处理子模块,用于基于所述数据处理模型对所述规范化数据进行目标处理。
可选的,所述处理子模块,具体用于:
基于所述数据处理模型对所述规范化数据进行摘要提取,以获取与所述规范化数据对应的至少一个摘要数据,其中,所述摘要数据用于指示相应所述规范化数据的主体信息。
可选的,还包括:
第三获取模块,用于获取所述业务的报告模板;
其中,所述处理子模块,还用于:
基于所述数据处理模型对所述规范化数据进行实体识别,以确定与所述规范化数据对应的至少一个参考实体;
根据所述报告模板和所述至少一个参考实体,生成与所述规范化数据对应的报告信息。
可选的,处理子模块,还用于:
确定所述参考实体的参考特征信息;
确定所述目标特征信息与所述参考特征信息的匹配结果;
根据所述匹配结果,从所述至少一个参考实体中确定所述目标实体;
根据所述报告模板和所述目标实体,生成所述报告信息。
可选的,还包括:
生成模块,用于根据至少一个所述报告信息,生成历史报告数据库;
第四获取模块,用于根据所述历史报告数据库,获取所述至少一个所述报告信息的历史特征信息。
本公开第三方面实施例提出的计算机设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如本公开第一方面实施例提出的业务数据处理方法。
本公开第四方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本公开第一方面实施例提出的业务数据处理方法。
本公开第五方面实施例提出了一种计算机程序产品,当所述计算机程序产品中的指令由处理器执行时,执行如本公开第一方面实施例提出的业务数据处理方法。
本公开提供的业务数据处理方法、装置、电子设备及存储介质,存在如下有益效果:
本公开实施例中,通过基于至少一个数据源,获取业务的相关数据,对相关数据进行规范化处理,以得到规范化数据,对规范化数据进行目标处理,由此,能够保证所获取相关数据的全面性,并基于所得规范化数据有效提升业务数据处理效果。
本公开附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本公开的实践了解到。
附图说明
本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本公开一实施例提出的业务数据处理方法的流程示意图;
图2是本公开另一实施例提出的业务数据处理方法的流程示意图;
图3是本公开另一实施例提出的业务数据处理方法的流程示意图;
图4a是本公开实施例提出的一业务数据处理系统的结构示意图;
图4b是本公开实施例提出的一数据收集模块的工作流程示意图;
图4c是本公开实施例提出的一数据融合与处理过程的流程示意图;
图5是本公开一实施例提出的业务数据处理装置的结构示意图;
图6是本公开另一实施例提出的业务数据处理装置的结构示意图;
图7示出了适于用来实现本公开实施方式的示例性计算机设备的框图。
具体实施方式
下面详细描述本公开的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本公开,而不能理解为对本公开的限制。相反,本公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
图1是本公开一实施例提出的业务数据处理方法的流程示意图。
其中,需要说明的是,本实施例的业务数据处理方法的执行主体为业务数据处理装置,该装置可以由软件和/或硬件的方式实现,该装置可以配置在计算机设备中,计算机设备可以包括但不限于终端、服务器端等,如终端可为手机、掌上电脑等。
如图1所示,该业务数据处理方法,包括:
S101:基于至少一个数据源,获取业务的相关数据。
其中,数据源,是指可以提供业务相关数据的功能模块,例如可以是数据库。
其中,业务,例如可以是能源业务、环保业务等,对此不做限制。
其中,相关数据,是指基于至少一个数据源所获取的与上述业务相关的数据,例如可以是新闻、报刊、网络文章等,对此不做限制。举例而言,本公开实施例中相关数据可以按照其数据特征被划分为开源数据、动态数据以及静态数据。
本公开实施例中,在基于至少一个数据源,获取业务的相关数据时,可以是预先建立本公开实施例的执行主体与多个数据源之间的通信链接,而后从多个数据源处获取该业务的相关数据。
本公开实施例中,当基于至少一个数据源,获取业务的相关数据时,可以有效提升所得相关数据对于该业务的全面性,从而为后续目标处理过程提供可靠的参考信息。
S102:对相关数据进行规范化处理,以得到规范化数据。
其中,规范化数据,是指基于预先配置的处理规则处理相关数据所得到的数据。
可以理解的是,上述所得相关数据的数量可能是多个,且多个相关数据中能存在重合信息或者与业务关联程度较低的信息,可能会影响数据处理的准确性,当对相关数据进行规范化处理时,可以有效提升所得规范化数据的规范性,从而为目标处理过程提供可靠的数据支持。
可选的,一些实施例中,在对相关数据进行规范化处理时,可以是根据业务的需求信息,对相关数据进行筛选处理,由于需求信息可以根据业务场景进行灵活配置,当基于需求信息对相关数据进行筛选处理时,可以有效提升所得规范化数据与应用场景之间的适配性。
其中,需求信息,可以是指用户对于该业务数据处理结果的需求信息,例如可以是该业务数据处理的主题。
可选的,一些实施例中,在对相关数据进行规范化处理时,还可以是确定相关数据之间的相似值,并根据相似值对相关数据进行去重处理,由此,可以有效降低所得规范化数据中的冗余信息,较大程度地减少业务数据量,从而有效提升业务数据处理效率。
其中,相似值,可以被用于量化指示不同相关数据之间的重合程度。
可选的,一些实施例中,在对相关数据进行规范化处理时,还可以是对相关数据进行数据结构化信息提取,由此,可以有效提升所得规范化数据的实用性。
可以理解的是,数据可以根据其结构特征划分为结构化数据和非结构化数据两种,其中,结构化数据是指按照预定义的模型结构化或以预定义的方式组织的数据,而非结构化数据指的是既没有按照预定义的数据模型进行结构化,也没有按照预定义的方式组织的数据。这种类型的数据可以是人生成的,也可以是机器生成的,并且具有内部结构。非结构化数据可能包括文档、书籍、元数据、健康记录、图像、音频、视频、文件、电子邮件消息、网页等。
本公开实施例中,所得相关数据可能包括结构化数据和/或非结构化数据,当对相关数据进行数据结构化信息提取时,可以保证所得规范化数据为结构化数据,以便于实现数据在业务层面的融合。
S103:对规范化数据进行目标处理。
其中,目标处理,可以根据具体的应用场景进行配置,以适用于个性化的用户需求。
本实施例中,通过基于至少一个数据源,获取业务的相关数据,对相关数据进行规范化处理,以得到规范化数据,对规范化数据进行目标处理,由此,能够保证所获取相关数据的全面性,并基于所得规范化数据有效提升业务数据处理效果。
图2是本公开另一实施例提出的业务数据处理方法的流程示意图。
如图2所示,该业务数据处理方法,包括:
S201:基于至少一个数据源,获取业务的相关数据。
S202:对相关数据进行规范化处理,以得到规范化数据。
S201和S202的描述说明可以具体参见上述实施例,在此不再赘述。
S203:确定目标处理类型。
其中,目标处理类型,是指目标处理所对应的类型信息。
可以理解的是,在不同应用场景中,目标处理的具体过程可能存在差异,当确定目标处理类型时,可以为后续获取与目标处理类型对应的数据处理模型提供可靠的参考信息。
S204:获取与目标处理类型对应的数据处理模型。
其中,数据处理模型,可以是预先针对目标处理类型所配置的人工智能模型。
本公开实施例中,当获取与目标处理类型对应的数据处理模型时,可以为后续目标处理过程提供可靠的执行对象,并有效提升目标处理效率。
S205:基于数据处理模型对规范化数据进行目标处理。
可选的,一些实施例中,在基于数据处理模型对规范化数据进行目标处理时,可以是基于数据处理模型对规范化数据进行摘要提取,以获取与规范化数据对应的至少一个摘要数据,其中,摘要数据用于指示相应规范化数据的主体信息,由此,所得摘要数据可以准确、快速地指示相应规范化数据的主体信息,以有效降低用户获取规范化数据对应主体信息的时间成本。
也即是说,本公开实施例在对相关数据进行规范化处理,以得到规范化数据之后,可以确定目标处理类型,获取与目标处理类型对应的数据处理模型,基于数据处理模型对规范化数据进行目标处理,由此,可以在目标处理过程中基于对应数据处理模型有效提升处理效率,降低人力成本。
本实施例中,通过确定目标处理类型,获取与目标处理类型对应的数据处理模型,基于数据处理模型对规范化数据进行目标处理,由此,可以在目标处理过程中基于对应数据处理模型有效提升处理效率,降低人力成本。通过基于数据处理模型对规范化数据进行摘要提取,以获取与规范化数据对应的至少一个摘要数据,其中,摘要数据用于指示相应规范化数据的主体信息,由此,所得摘要数据可以准确、快速地指示相应规范化数据的主体信息,以有效降低用户获取规范化数据对应主体信息的时间成本。
图3是本公开另一实施例提出的业务数据处理方法的流程示意图。
如图3所示,该业务数据处理方法,包括:
S301:基于至少一个数据源,获取业务的相关数据。
S302:对相关数据进行规范化处理,以得到规范化数据。
S303:确定目标处理类型。
S304:获取与目标处理类型对应的数据处理模型。
S301-S304的描述说明可以具体参见上述实施例,在此不再赘述。
S305:获取业务的报告模板。
其中,报告模板,是指被用于生成上述业务对应报告信息的模板。
本公开实施例中,当获取业务的报告模板时,所得报告模板可以作为报告信息生成过程中的参考模板,以有效提升报告信息的生成效率和准确性。
S306:基于数据处理模型对规范化数据进行实体识别,以确定与规范化数据对应的至少一个参考实体。
其中,参考实体,是指基于数据处理模型对规范化数据进行实体识别所得到的实体。
可以理解的是,规范化数据中所包含的实体数量可能是多个,且多个实体与报告模板的匹配程度可能存在差异。
本公开实施例中,当基于数据处理模型对规范化数据进行实体识别,以确定与规范化数据对应的至少一个参考实体时,可以为后续生成报告信息提供可靠的数据支持。
S307:根据报告模板和至少一个参考实体,生成与规范化数据对应的报告信息。
其中,报告信息,可以被用于指示与规范化数据对应的相关信息。
可选的,一些实施例中,报告模板用于指示至少一个目标实体的目标特征信息,在根据报告模板和至少一个参考实体,生成与规范化数据对应的报告信息时,可以是确定参考实体的参考特征信息,确定目标特征信息与参考特征信息的匹配结果,根据匹配结果,从至少一个参考实体中确定目标实体,根据报告模板和目标实体,生成报告信息,由此,可以基于目标特征信息与参考特征信息的匹配结果,有效提升所得报告信息的可靠性。
其中,特征信息,可以被用于描述实体的相关特征,例如实体类型。目标特征信息,是指目标实体对应的特征信息。而参考特征信息,是指参考实体对应的特征信息。
也即是说,本公开实施例在获取与目标处理类型对应的数据处理模型之后,可以获取业务的报告模板,并基于数据处理模型对规范化数据进行实体识别,以确定与规范化数据对应的至少一个参考实体,根据报告模板和至少一个参考实体,生成与规范化数据对应的报告信息,由此,可以基于报告模板在降低人工成本的同时,有效提升报告信息的获取效率。
S308:根据至少一个报告信息,生成历史报告数据库。
其中,历史报告数据库,是指基于至少一个报告信息所生成的数据库。
可以理解的是,在应用场景中可能会基于时间维度生成多个报告信息,即历史报告,而历史报告仍具有较高的参考价值,当根据至少一个报告信息,生成历史报告数据库时,还历史报告数据库可以为后续获取历史特征信息提供可靠的数据支持。
S309:根据历史报告数据库,获取至少一个报告信息的历史特征信息。
其中,历史特征信息,是指基于历史报告数据库中的报告信息所获取的特征信息。
也即是说,本公开实施例在根据报告模板和至少一个参考实体,生成与规范化数据对应的报告信息之后,可以根据至少一个报告信息,生成历史报告数据库,根据历史报告数据库,获取至少一个报告信息的历史特征信息,由此,可以基于历史报告数据库实现对多个报告信息的精准化快速检索,以高效完成各期报告信息的汇总和统计,并保证所得历史特征信息的准确性。
本实施例中,通过获取业务的报告模板,并基于数据处理模型对规范化数据进行实体识别,以确定与规范化数据对应的至少一个参考实体,根据报告模板和至少一个参考实体,生成与规范化数据对应的报告信息,由此,可以基于报告模板在降低人工成本的同时,有效提升报告信息的获取效率。通过确定参考实体的参考特征信息,确定目标特征信息与参考特征信息的匹配结果,根据匹配结果,从至少一个参考实体中确定目标实体,根据报告模板和目标实体,生成报告信息,由此,可以基于目标特征信息与参考特征信息的匹配结果,有效提升所得报告信息的可靠性。通过根据至少一个报告信息,生成历史报告数据库,根据历史报告数据库,获取至少一个报告信息的历史特征信息,由此,可以基于历史报告数据库实现对多个报告信息的精准化快速检索,以高效完成各期报告信息的汇总和统计,并保证所得历史特征信息的准确性。
举例而言,本公开实施例所提出的业务数据处理方法可以基于业务数据处理系统实现,如图4a所示,图4a是本公开实施例提出的一业务数据处理系统的结构示意图,该业务数据处理系统可以包括:数据收集模块、数据规范化与存储模块、话题发现与热度计算模块、报告信息生成模块以及可视化展示模块。
其中,数据收集模块可以收集来自于多个数据源的原始数据(业务的相关数据);数据规范化与存储模块可以实现针对上述相关数据的规范化处理(如清洗、去重、数据结构化信息提取等)和存储(如数据库存储和文件系统存储);话题发现与热度计算模块可以基于规范化后所得数据进行多项操作(如实体识别、摘要抽取、热度计算、文本分类等);报告信息生成模块可以基于话题发现与热度计算模块的输出数据,生成对应的报告信息;可视化展示模块可以基于多种途径(PC端、移动端、邮件等)对上述信息进行可视化展示。
其中,该业务数据处理系统可以实现多元异构数据处理、业务级数据融合、语义智能搜索、量身定制算法、多维时空分析等功能,举例而言,业务级数据融合、语义智能搜索、量身定制算法对应功能实现过程可以如下所示:
业务级数据融合:系统支持将接入数据快速粉碎为结构化的知识,融入知识数据库并实现数据在业务层面的融合。系统内置大量知识模型,可根据数据的复杂性和实际需求动态规约归出数据模型。系统提供一套知识数据组织方式,底层采用多种数据库相结合的混合存储架构,秒级完成检索、过滤、对比、碰撞、分析等操作。
语义智能搜索:利用大规模语义计算、深度神经网络、预训练模型等方法实现多模态数据的特征表示。多模态结构化数据、非结构化数据、知识图谱数据,构建了高度融合统一的跨语言语义网,实现了不同语言、不同模态数据之间相互驱动溯源;提高了用户探索式知识获取的效率,实现更加智能的跨语言跨模态搜索能力。
量身定制算法模型:系统内置了丰富的符合情报分析处理的数据操作(算法),每个数据操作对应一个或者一组智能算法或算法模型。用户利用直接选择内置的数据操作的方法对数据进行操作,也可以自定义训练自己的算法模型。针对每种数据操作,系统都提供了使用向导、数据约束校验和使用帮助。
举例而言,如图4b所示,图4b是本公开实施例提出的一数据收集模块的工作流程示意图,其中,数据收集模块所收集的原始数据可以按照数据渠道划分为开源数据、动态数据以及静态数据,所得原始数据可以经过整合分类,被划分成不同的种类(如新闻、科研成果、言论、标准等)。
举例而言,如图4c所示,图4c是本公开实施例提出的一数据融合与处理过程的流程示意图,其中,可以基于大数据中心实现多源数据的汇聚,而后基于自然语言处理(Natural Language Processing,NLP)模块所提供的智能算法库和机器翻译模块,以及可视化引擎依次实现智能检索数据漏斗、算法分析多语言翻译、智能摘要生成以及报告信息生成等步骤。
该业务数据处理方法的基本流程可以如下所示:
1)全域资源构建
可实现多源数据的收集汇聚,范围涵盖多渠道与上述业务相关的新闻资讯、论文报告、科技成果等数据,系统内置机器翻译引擎,可实现不同语种之间的高精准的自动化翻译,保证数据的全面性和准确性。
2)数据规范化与存储
基于智能算法库和机器翻译引擎,可针对每期报告的主题和组成部分的要求,实现对全域数据的智能化筛选和精准定位,过滤与本主题无关或关联度低的信息,把报告制作人员从海量数据检索等繁重工作中解放出来,提供了高质量报告的数据基础和制作效率。
3)摘要智能生成
利用内容摘要智能化生成工具,辅助报告制作人员从繁杂内容中提取关键信息,生成相关摘要。可有效减少报告制作人员的阅读量和信息分析时间,在保证报告质量的情况下,极大缩短制作时间。
4)报告自动生成
基于自定义报告模板,对相关的分析结果进行有序组织,自动生成所需报告。减少报告制作人员内容组织、报告排版等繁杂的工作,大大降低其工作量。
5)历史价值挖掘
报告的制作过程和结果都具备重要的价值,需要进行充分的挖掘,以让其发挥更大的作用。传统方式,无法实现历史报告内容的精准化快速检索,无法高效的完成各期历史报告内容的汇总和统计,可通过智能化工具帮助相关人员以低成本的方式快速完成上述工作,并深度挖掘其历史价值。
图5是本公开一实施例提出的业务数据处理装置的结构示意图。
如图5所示,该业务数据处理装置50,包括:
第一获取模块501,用于基于至少一个数据源,获取业务的相关数据;
第一处理模块502,用于对相关数据进行规范化处理,以得到规范化数据;
第二处理模块503,用于对规范化数据进行目标处理。
在本公开的一些实施例中,如图6所示,图6是本公开另一实施例提出的业务数据处理装置的结构示意图,第一处理模块502,具体用于:
根据业务的需求信息,对相关数据进行筛选处理;
确定相关数据之间的相似值,并根据相似值对相关数据进行去重处理;
对相关数据进行数据结构化信息提取。
可选的,第二处理模块503,包括:
确定子模块5031,用于确定目标处理类型;
获取子模块5032,用于获取与目标处理类型对应的数据处理模型;
处理子模块5033,用于基于数据处理模型对规范化数据进行目标处理。
可选的,处理子模块5033,具体用于:
基于数据处理模型对规范化数据进行摘要提取,以获取与规范化数据对应的至少一个摘要数据,其中,摘要数据用于指示相应规范化数据的主体信息。
可选的,还包括:
第三获取模块504,用于获取业务的报告模板;
其中,处理子模块5033,还用于:
基于数据处理模型对规范化数据进行实体识别,以确定与规范化数据对应的至少一个参考实体;
根据报告模板和至少一个参考实体,生成与规范化数据对应的报告信息。
可选的,处理子模块5033,还用于:
确定参考实体的参考特征信息;
确定目标特征信息与参考特征信息的匹配结果;
根据匹配结果,从至少一个参考实体中确定目标实体;
根据报告模板和目标实体,生成报告信息。
可选的,还包括:
生成模块505,用于根据至少一个报告信息,生成历史报告数据库;
第四获取模块506,用于根据历史报告数据库,获取至少一个报告信息的历史特征信息。
需要说明的是,前述对业务数据处理方法的解释说明也适用于本实施例的业务数据处理装置,此处不再赘述。
本实施例中,通过基于至少一个数据源,获取业务的相关数据,对相关数据进行规范化处理,以得到规范化数据,对规范化数据进行目标处理,由此,能够保证所获取相关数据的全面性,并基于所得规范化数据有效提升业务数据处理效果。
图7示出了适于用来实现本公开实施方式的示例性计算机设备的框图。图7显示的计算机设备12仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示,计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于:一个或者多个处理器或者处理单元16,系统存储器28,连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,外围总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture;以下简称:ISA)总线,微通道体系结构(Micro Channel Architecture;以下简称:MAC)总线,增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation;以下简称:VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection;以下简称:PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质,例如随机存取存储器(Random Access Memory;以下简称:RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其他可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例,存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示,通常称为“硬盘驱动器”)。
尽管图7中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如:光盘只读存储器(Compact Disc Read OnlyMemory;以下简称:CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory;以下简称:DVD-ROM)或者其他光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本公开各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其他程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得人体能与该计算机设备12交互的设备通信,和/或与使得该计算机设备12能与一个或多个其他计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network;以下简称:LAN),广域网(Wide Area Network;以下简称:WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器20通过总线18与计算机设备12的其他模块通信。应当明白,尽管图中未示出,可以结合计算机设备12使用其他硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现前述实施例中提及的业务数据处理方法。
为了实现上述实施例,本公开还提出一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本公开前述实施例提出的业务数据处理方法。
为了实现上述实施例,本公开还提出一种计算机程序产品,当计算机程序产品中的指令处理器执行时,执行如本公开前述实施例提出的业务数据处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
需要说明的是,在本公开的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本公开的描述中,除非另有说明,“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本公开的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本公开的实施例所属技术领域的技术人员所理解。
应当理解,本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本公开各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定是指相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本公开的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本公开的限制,本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种业务数据处理方法,其特征在于,包括:
基于至少一个数据源,获取业务的相关数据;
对所述相关数据进行规范化处理,以得到规范化数据;
对所述规范化数据进行目标处理。
2.如权利要求1所述的方法,其特征在于,所述对所述相关数据进行规范化处理,包括以下至少一项:
根据所述业务的需求信息,对所述相关数据进行筛选处理;
确定所述相关数据之间的相似值,并根据所述相似值对所述相关数据进行去重处理;
对所述相关数据进行数据结构化信息提取。
3.如权利要求1所述的方法,其特征在于,所述对所述规范化数据进行目标处理,包括:
确定目标处理类型;
获取与所述目标处理类型对应的数据处理模型;
基于所述数据处理模型对所述规范化数据进行目标处理。
4.如权利要求3所述的方法,其特征在于,所述基于所述数据处理模型对所述规范化数据进行目标处理,包括:
基于所述数据处理模型对所述规范化数据进行摘要提取,以获取与所述规范化数据对应的至少一个摘要数据,其中,所述摘要数据用于指示相应所述规范化数据的主体信息。
5.如权利要求3所述的方法,其特征在于,还包括:
获取所述业务的报告模板;
其中,所述基于所述数据处理模型对所述规范化数据进行目标处理,包括:
基于所述数据处理模型对所述规范化数据进行实体识别,以确定与所述规范化数据对应的至少一个参考实体;
根据所述报告模板和所述至少一个参考实体,生成与所述规范化数据对应的报告信息。
6.如权利要求5所述的方法,其特征在于,所述报告模板用于指示至少一个目标实体的目标特征信息;其中,所述根据所述报告模板和所述至少一个参考实体,生成与所述规范化数据对应的报告信息,包括:
确定所述参考实体的参考特征信息;
确定所述目标特征信息与所述参考特征信息的匹配结果;
根据所述匹配结果,从所述至少一个参考实体中确定所述目标实体;
根据所述报告模板和所述目标实体,生成所述报告信息。
7.如权利要求5所述的方法,其特征在于,还包括:
根据至少一个所述报告信息,生成历史报告数据库;
根据所述历史报告数据库,获取所述至少一个所述报告信息的历史特征信息。
8.一种业务数据处理装置,其特征在于,包括:
第一获取模块,用于基于至少一个数据源,获取业务的相关数据;
第一处理模块,用于对所述相关数据进行规范化处理,以得到规范化数据;
第二处理模块,用于对所述规范化数据进行目标处理。
9.一种计算机设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,其中,所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211277091.4A CN117974022A (zh) | 2022-10-18 | 2022-10-18 | 业务数据处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211277091.4A CN117974022A (zh) | 2022-10-18 | 2022-10-18 | 业务数据处理方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117974022A true CN117974022A (zh) | 2024-05-03 |
Family
ID=90859918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211277091.4A Pending CN117974022A (zh) | 2022-10-18 | 2022-10-18 | 业务数据处理方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117974022A (zh) |
-
2022
- 2022-10-18 CN CN202211277091.4A patent/CN117974022A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109992645B (zh) | 一种基于文本数据的资料管理系统及方法 | |
CN111753099B (zh) | 一种基于知识图谱增强档案实体关联度的方法及系统 | |
US11521603B2 (en) | Automatically generating conference minutes | |
CN110457439B (zh) | 一站式智能写作辅助方法、装置和系统 | |
CN111709527A (zh) | 运维知识图谱库的建立方法、装置、设备及存储介质 | |
EP3968185A1 (en) | Method and apparatus for pushing information, device and storage medium | |
KR20190062848A (ko) | 점진적 학습 모델을 이용한 빅데이터 마이닝 시스템 및 그 방법 | |
US11887011B2 (en) | Schema augmentation system for exploratory research | |
CN111143556A (zh) | 软件功能点自动计数方法、装置、介质及电子设备 | |
CN110544035A (zh) | 一种内控检测方法、系统和计算机可读存储介质 | |
AU2019200371A1 (en) | Utilizing artificial intelligence to integrate data from multiple diverse sources into a data structure | |
CN114491034B (zh) | 一种文本分类方法及智能设备 | |
CN115309749A (zh) | 一种用于科技服务的大数据实验系统 | |
CN111221698A (zh) | 任务数据采集方法与装置 | |
CN102902705A (zh) | 定位数据中的歧义 | |
CN112685374B (zh) | 日志分类方法、装置及电子设备 | |
CN116467291A (zh) | 一种知识图谱存储与搜索方法及系统 | |
CN117974022A (zh) | 业务数据处理方法、装置、计算机设备和存储介质 | |
CN113627200B (zh) | 多机器翻译引擎驱动的国际组织科技术语主题句萃取方法 | |
CN113722421B (zh) | 一种合同审计方法和系统,及计算机可读存储介质 | |
CN113032515A (zh) | 基于多数据源生成图表的方法、系统、设备及存储介质 | |
CN111063446A (zh) | 用于标准化医疗文本数据的方法、装置、设备及存储介质 | |
CN110737749A (zh) | 创业计划评价方法、装置、计算机设备及存储介质 | |
CN1841372A (zh) | 帮用户根据非结构化信息源形成结构化图表的方法和设备 | |
Yang et al. | Automatic annotation method of VR speech corpus based on artificial intelligence |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |