CN115203311A - 一种基于数据大脑的行业数据分析挖掘方法及系统 - Google Patents

一种基于数据大脑的行业数据分析挖掘方法及系统 Download PDF

Info

Publication number
CN115203311A
CN115203311A CN202210780473.2A CN202210780473A CN115203311A CN 115203311 A CN115203311 A CN 115203311A CN 202210780473 A CN202210780473 A CN 202210780473A CN 115203311 A CN115203311 A CN 115203311A
Authority
CN
China
Prior art keywords
data
analysis
relevance
processed
strategy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210780473.2A
Other languages
English (en)
Other versions
CN115203311B (zh
Inventor
刘鹏
张真
高中强
张堃
朱超
贾先译
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Innovative Data Technologies Inc
Original Assignee
Nanjing Innovative Data Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Innovative Data Technologies Inc filed Critical Nanjing Innovative Data Technologies Inc
Priority to CN202210780473.2A priority Critical patent/CN115203311B/zh
Publication of CN115203311A publication Critical patent/CN115203311A/zh
Application granted granted Critical
Publication of CN115203311B publication Critical patent/CN115203311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26Visual data mining; Browsing structured data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供的基于数据大脑的行业数据分析挖掘方法及系统,涉及数据处理领域;其方法包括:获取待处理的数据,所述待处理的数据为与某一已知的行业有关的数据;获取待处理的数据的处理目标,筛选对应的数据关联性分析模型;根据数据关联性分析模型对待处理的数据进行关联性分析,获得关联性分析结果;根据关联性分析结果,生成数据关联性分析的可视化结果图。本发明根据待处理的数据的处理目标选择分析模型,能为用户提供人性化服务,同时还通过对无规则、不知含义的行业数据进行挖掘分析获得可视化分析结果,大大提升这类数据的应用价值。

Description

一种基于数据大脑的行业数据分析挖掘方法及系统
技术领域
本发明涉及数据处理技术领域,具体涉及一种基于数据大脑的行业数据分析挖掘方法及系统。
背景技术
数据大脑技术是数据治理、智能算法、行业知识等系列化系统化的集成成果;人工智能的发展需要依据大数据的推进,数据大脑即为通过更强大的行业数据获取能力和领域知识的计算能力来实现由数据驱动的涌现智能,让信息系统具备数据获取的能力,具备行业知识的理解能力,以及进行深度的分析及处理能力。当前数据大脑的概念可应用于很多方面,包括健康医疗和环保领域;例如,当前提出的智能化预防近视的眼镜,通过将感知的用户用眼习惯的数据传回数据大脑,在数据大脑的健康医疗等方面的专业知识辅助下,判断用户是否在用眼习惯方面存在的问题,指导用户改进用眼习惯和辅助治疗;又如,在环保领域,通过对多源数据的感知,自动监测当前环境的健康程度和污染指数,结合绿色环境标准,及时做出精准预判和处置。
从行业角度看,目前各行业存在的数据多为无规则、不知含义的散乱数据,数据间缺乏关联,用于数据大脑分析应用时价值低,并且在具体应用时需要预先对数据进行分类,以帮助应用;具体使用时,通过挖掘分类数据间的关联性,能进一步提升数据的价值,例如,通过对行业数据的关联性分析指导行业的重点发展目标,推进行业的发展方向;现有技术中的数据分析通常为统一模板的简单分析,如何根据用户的需求获得理想的分析结果,提供用户定制化服务,在当前鲜少出现。
发明内容
本发明目的在于提供一种基于数据大脑的行业数据分析挖掘方法及系统,通过对待处理的数据处理目标的分解,分别选取对应的数据关联性分析模型,获得关联性分析结果并生成可视化结果图,提供人性化服务的同时充分挖掘数据的应用价值。
为达成上述目的,本发明提出如下技术方案:一种基于数据大脑的行业数据分析挖掘方法,包括:获取待处理的数据,所述待处理的数据为与某一已知的行业有关的数据;
获取待处理的数据的处理目标,筛选对应的数据关联性分析模型;
根据数据关联性分析模型对待处理的数据进行关联性分析,获得关联性分析结果;
根据关联性分析结果,生成数据关联性分析的可视化结果图。
进一步的,所述获取待处理的数据的处理目标包括:
获取用户需求,根据所述用户需求确定数据关联性分析的分析维度;
根据所述分析维度,获取数据关联性分析的待处理数据;
判断常规分析策略的关联性分析结果是否满足所述用户需求,所述常规分析策略为根据行业通用分析标准制定的分析策略;
若满足,选择常规分析策略对应的数据关联性分析模型对待处理数据进行关联性分析。
进一步的,还包括:
若不满足,判断关键要素分析策略的关联性分析结果是否满足所述用户需求;所述关键要素分析策略为根据用户需求在对应的分析维度下特别关注的技术要点制定的分析策略;
满足,选择关键要素分析策略对应的数据关联性分析模型对待处理数据进行关联性分析。
进一步的,还包括:
若不满足,根据所述用户需求和所述分析维度定制自定义分析策略;
选择自定义分析策略对应的数据关联性分析模型对待处理数据进行关联性分析。
本发明另一技术方案在于提供一种基于数据大脑的行业数据分析挖掘系统,该系统包括:
第一获取模块,用于获取待处理的数据,所述待处理的数据为与某一已知的行业有关的数据;
第二获取模块,用于获取待处理的数据的处理目标,筛选对应的数据关联性分析模型;
关联性分析模块,用于根据数据关联性分析模型对待处理的数据进行关联性分析,获得关联性分析结果;
可视化分析模块,用于根据关联性分析结果,生成数据关联性分析的可视化结果图。
进一步的,所述第二获取模块获取待处理的数据的处理目标的过程由如下执行单元实现,包括:
第一获取单元,用于获取用户需求,根据所述用户需求确定数据关联性分析的分析维度;
第二获取单元,用于根据所述分析维度,获取数据关联性分析的待处理数据;
第一判断单元,用于判断常规分析策略的关联性分析结果是否满足所述用户需求,所述常规分析策略为根据行业通用分析标准制定的分析策略;
第一选择单元,用于当所述常规分析策略的关联性分析结果满足所述用户需求,选择常规分析策略对应的数据关联性分析模型对待处理数据进行关联性分析。
进一步的,还包括:
第二判断单元,用于当所述常规分析策略的关联性分析结果不满足所述用户需求,判断关键要素分析策略的关联性分析结果是否满足所述用户需求;所述关键要素分析策略为根据用户需求在对应的分析维度下特别关注的技术要点制定的分析策略;
第二选择单元,用于当所述关键要素分析策略的关联性分析结果满足所述用户需求,选择关键要素分析策略对应的数据关联性分析模型对待处理数据进行关联性分析。
进一步的,还包括:
定制单元,用于当所述关键要素分析策略的关联性分析结果不满足所述用户需求,根据所述用户需求和所述分析维度定制自定义分析策略;
第三选择单元,用于选择自定义分析策略对应的数据关联性分析模型对待处理数据进行关联性分析。
本发明还提供一种电子设备,该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器运行所述计算机程序时,实现上述的基于数据大脑的行业数据分析挖掘方法。
本发明由提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述的基于数据大脑的行业数据分析挖掘方法。
由以上技术方案可知,本发明的技术方案获得了如下有益效果:
本发明公开的基于数据大脑的行业数据分析挖掘方法及系统,涉及数据处理领域;其方法包括:获取待处理的数据,所述待处理的数据为与某一已知的行业有关的数据;获取待处理的数据的处理目标,筛选对应的数据关联性分析模型;根据数据关联性分析模型对待处理的数据进行关联性分析,获得关联性分析结果;根据关联性分析结果,生成数据关联性分析的可视化结果图。本发明根据待处理的数据的处理目标选择分析模型,能为用户提供人性化服务,同时还通过对无规则、不知含义的行业数据进行挖掘分析获得可视化分析结果,大大提升这类数据的应用价值。
具体的实施时,本发明先通过对用户需求的分析确定数据关联性分析的分析维度,然后依次判定常规分析策略和关键要素分析策略对用户需求的满足情况确定使用的数据关联性分析模型,否则定制自定义分析策略,进而在关联性分析后形成可视化的结果;本方案不仅能为用户提供人性化的数据分析挖掘服务,利用生成的可视化结果图作为行业历史数据引导和推进行业发展,辅助决策;而且,还能实现对无价值数据的再利用,提升数据的应用价值。
应当理解,前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见,或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中,在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见,在每个图中,并非每个组成部分均被标记。现在,将通过例子并参考附图来描述本发明的各个方面的实施例,其中:
图1为本发明基于数据大脑的行业数据分析挖掘方法的流程图一;
图2为本发明基于数据大脑的行业数据分析挖掘方法的流程图二;
图3为本发明基于数据大脑的行业数据分析挖掘方法的应用方案图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例的附图,对本发明实施例的技术方案进行清楚、完整地描述。显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于所描述的本发明的实施例,本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。除非另作定义,此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
本发明专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。同样,除非上下文清楚地指明其它情况,否则单数形式的“一个”“一”或者“该”等类似词语也不表示数量限制,而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者“包含”后面列举的特征、整体、步骤、操作、元素和/或组件,并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
基于现有技术中各行业在运营过程中都会产生大量的无规则、不知含义的行业数据,这类数据随着时间的延续逐渐增多,不仅由于缺乏关联性导致应用价值低,而且还占据极大的存储空间;例如对电商行业,任一订单的产生都会产生大量数据,这类数据由于来自不同的端口、不同的阶段往往分散存储在系统中,长久以往,会严重影响电商系统的运行速度;因此,本发明旨在于针对上述问题提出一种基于数据大脑的行业数据分析挖掘方法及系统,通过获取处理目标,对待处理的数据筛选对应的数据关联性分析模型,形成可视化的分析结果,将行业数据充分利用,不仅能为用户提供人性化的服务,还能提升数据的应用价值,实现对垃圾数据清理,减少存储空间的目的。
下面结合具体实施例,对本发明公开的基于数据大脑的行业数据分析挖掘方法及系统,作进一步具体介绍。
结合图1所示,本发明实施例公开的基于数据大脑的行业数据分析挖掘方法实施时包括如下步骤:
步骤S102,获取待处理的数据,所述待处理的数据为与某一已知的行业有关的数据;
该步骤完成行业数据的获取过程,包括从行业模块进入获取的行业数据和工作人员手动输入的行业数据;例如智慧电商精准营销模块,首先上传数据,建立数据库,通过配置数据库用户名、密码等抓取数据或者直接上传文件至数据库中,数据库存储的数据虽然不知道具体的数据的含义,但明确知道与电商行业有关。本发明获取的待处理的数据可以为行业无规则、不知含义的散乱数据,也可以已经预先分类的分类数据。
若获取的数据为行业无规则、不知含义的散乱数据,则对数据进行关联性分析前,可先对待处理的数据进行分类预处理;如图2所示,预处理过程可包括:步骤S202,对任一待处理的数据或数据的字段判断其数据类型的过程,其中,数据类型包括字符串、数值型和文本型;步骤S204,根据数据类型,选择基于机器学习的字段识别方法、基于规则匹配的字段识别方法或字段自动识别方法识别字段并进行识别分类。例如,对于电商相关数据,可以将行业数据分类为姓名、ID号、联系方式、发货地、收货地、时间等。
具体实施中,各识别方法进行字段自动识别的原理如下:基于机器学习的字段识别方法为对文本型数据或字段通过构建词向量,在神经网络学习模型中进行文本分类,获得数据识别分类结果;基于规则匹配的字段识别方法为将字符串或数值型数据与数据规则进行一一识别与匹配,并根据匹配结果确定数据含义,获得数据识别分类结果;其中,数据规则为根据语言学理论,预先建立的作为参考的识别字段,并存储在数据库中;字段自动识别方法为根据自动识别算法识别数据或字段含义,进行识别分类。字段自动识别方法由于使用简单在现有技术中应用普遍,直接针对网络爬取数据和人工上传数据进行自动识别其含义,理解其字段,但字段自动识别方法存在较大的误差、准确率不高。
具体实施时,基于机器学习的字段识别方法实现文本分类的过程包括:提取文本型数据的文本根据深度学习分词算法进行分词,构建词向量;输入词向量至神经网络学习模型中进行多任务学习,并经迭代计算,获得优化后的神经网络学习模型;利用优化后的神经网络学习模型提取输入词向量的局部特征,以便输入至Softmax函数中,对所得局部特征进行识别分类,得到文本分类名。
例如,先根据词性对文本进行分词,例如一文本“江苏省南京市栖霞区马群街道西花岗28号”分词为 “江苏省/南京市/栖霞区/马群街道/西花岗/28号”,构建词向量,输入到神经网络学习模型中迭代优化获得优化后的神经网络学习模型;通过优化后的神经网络学习模型提取输入词向量的局部特征输入Softmax函数构建出完整的分类模型,对任一选定数据在模型中即能实现文本分类,分类包括地址、姓名、购买的商品名等。实施例选用的神经网络模型可为长短期记忆神经网络模型LSTM,包括输入层、隐藏层和输出层,通过调节各层参数、隐藏层的层数或调整神经元的个数让本模型能够提取更多有价值的信息。
作为一可增加的实施方式,基于规则匹配的字段识别方法的数据规则包括身份识别规则Id_card、手机号码识别规则Phone_number和时间识别规则Time,具体的规则内容如下表所示;
表1数据规则的规则内容
规则名称 数据规则内容 字段含义
Id_card 字符串的长度为18,第7~10的字符介于年份1910~2020之间,第18位字符为数字或X 身份证号码
Phone_number 字符串的长度为11,第一个字符为1 手机号码
Time 字符串符合YYYY-MM-DD 、YYYY/MM/DD 或HH:MM:SS等形式 时间
基于规则匹配的字段识别方法使用时,对选定数据、数据的字段按照数据规则进行一一识别与匹配,分别给出识别结果,由数据规则的内容可知本规则适用于数据类型为字符串的数据。
步骤S104,获取待处理的数据的处理目标,筛选对应的数据关联性分析模型;
步骤S106,根据数据关联性分析模型对待处理的数据进行关联性分析,获得关联性分析结果;
上述步骤先通过对用户需求的分析确定数据关联性分析的分析维度,即数据分析涉及的分析范围,然后依次判定常规分析策略和关键要素分析策略对用户需求的满足情况确定使用的数据关联性分析模型,否则定制自定义分析策略,进而在关联性分析后获得关联性分析结果。
具体的,获取待处理的数据的处理目标包括:获取用户需求,根据所述用户需求确定数据关联性分析的分析维度;根据所述分析维度,获取数据关联性分析的待处理数据;判断常规分析策略的关联性分析结果是否满足所述用户需求,所述常规分析策略为根据行业通用分析标准制定的分析策略;若满足,选择常规分析策略对应的数据关联性分析模型对待处理数据进行关联性分析。若不满足,判断关键要素分析策略的关联性分析结果是否满足所述用户需求;其中,所述关键要素分析策略为根据用户需求在对应的分析维度下特别关注的技术要点制定的分析策略;若满足,选择关键要素分析策略对应的数据关联性分析模型对待处理数据进行关联性分析。若不满足,根据所述用户需求和所述分析维度定制自定义分析策略;选择自定义分析策略对应的数据关联性分析模型对待处理数据进行关联性分析。
可选的,数据关联性分析模型包括:基于字段识别的关联性分析模型、基于关联规则算法的关联性分析模型;其中,基于字段识别的关联性分析模型主要用于常规分析策略中,其能够识别自动实现工作流,适用于具有完整关联关系的行业数据分析,例如电商数据的一客户订单,包括客户ID号、购买的商品名、商品数量和收货地址,这类数据能够通过字段识别建立明确的关联,通过常规分析策略即可满足需求。基于关联规则算法的关联性分析模型适用于关键要素分析策略和自定义分析策略,包括:利用Apriori算法从分类后的数据中筛选进行关联分析的所有频繁项集,即利用Apriori算法的先验原理,采用逐层搜索的迭代方法获取满足支持度要求的频繁项集;从所筛选的每个频繁项集中挖掘各分类数据间的关联规则,根据关联规则分析各分类数据间的关联性,即根据筛选出的所有频繁项集设定最小置信度,每个频繁项集生成多个关联规则,去除频繁项集中可信度小于置信度的关联规则,得到满足最小置信度的关联规则,进而根据满足条件的关联规则分析数据间的关联性。
步骤S108,根据关联性分析结果,生成数据关联性分析的可视化结果图。
作为一可选的实施方式,可视化结果图包括多样式,例如以世界地图为参考标准的3D行业运营关联图、以区域柱状图反应的行业组成不同板块运营图,和以时间为横向坐标的行业业务增长图等。
作为一可选的实施方式,可视化分析结果图表征行业历史数据的关联情况,可根据该历史数据的关联情况进行业务推进和用户记录,例如电商行业的新业务的广告推送、定期的用户跟踪反馈。具体的,对于电商行业数据,如图3所示,当可视化分析结果图用于业务推进时,可包括如下步骤:
步骤S302,根据可视化分析结果图,自动分析任一用户产生的行业数据的关联性,获取该用户的业务倾向;
步骤S304,根据业务倾向推荐业务至该用户。
对于电商行业,获取的用户业务倾向并进行推荐的过程即为根据用户历史购买数据或浏览记录找到用户感兴趣的商品进行推送,或根据用户的购买习惯推送符合用户购买习惯的商品前置。
当可视化分析结果图用于用户记录时,可包括如下步骤:
步骤S402,获取所有用户在行业消费过程产生的业务数据,划分消费等级;其中,业务数据包括消费频率、消费金额和最后一次的消费时间;
步骤S404,获取任一用户在行业消费过程产生的业务数据,判断用户消费等级。
作为一可选的实施方式,可视化分析结果图还能用于辅助决策者进行区域性发展战略的制定;例如,对于电商行业,可能根据区域物流信息分析当其产品购买情况,针对性对该区域做指导性销售策略调整,例如置顶式产品推荐或满减活动。
上述对可视化分析结果图的应用本质实现的是根据数据本身驱动数据挖掘的过程。对于行业无规则、不知含义的数据可以通过先采用字段识别方法进行识别分类,获得规整的分类数据;再通过获取处理目标确定分析策略及其对应的数据关联性分析模型,进而在关联性分析后形成可视化的结果的方案,不仅能为客户提供人性化服务,还能提高数据价值、实现对这类低价值甚至无价值垃圾数据的再利用,其可视化的关联性分析结果还能够作为行业历史发展数据引导和推进行业发展规划,辅助决策。
在本发明的实施例中,还提供一种电子设备,该设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器运行所述计算机程序时实现以上实施例中的基于数据大脑的行业数据分析挖掘方法。
上述程序可以运行在处理器中,或者也可以存储在存储器中,即计算机可读介质中,计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器 (CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体,如调制的数据信号和载波。
这些计算机程序也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤,对应于不同的方法步骤可以通过不同的模块来实现。
在本实施例中,就提供了这样一种设备或系统,该系统可以称为一种基于数据大脑的行业数据分析挖掘系统,所述系统包括:第一获取模块,用于获取待处理的数据,所述待处理的数据为与某一已知的行业有关的数据;第二获取模块,用于获取待处理的数据的处理目标,筛选对应的数据关联性分析模型;关联性分析模块,用于根据数据关联性分析模型对待处理的数据进行关联性分析,获得关联性分析结果;可视化分析模块,用于根据关联性分析结果,生成数据关联性分析的可视化结果图。
该系统用于实现上述实施例中行业数据分析挖掘方法的步骤,已经进行说明的,在此不再赘述。
例如,第二获取模块获取待处理的数据的处理目标的过程由如下执行单元实现,包括:第一获取单元,用于获取用户需求,根据所述用户需求确定数据关联性分析的分析维度;第二获取单元,用于根据所述分析维度,获取数据关联性分析的待处理数据;第一判断单元,用于判断常规分析策略的关联性分析结果是否满足所述用户需求,所述常规分析策略为根据行业通用分析标准制定的分析策略;第一选择单元,用于当所述常规分析策略的关联性分析结果满足所述用户需求,选择常规分析策略对应的数据关联性分析模型对待处理数据进行关联性分析。
又例如,第二获取模块还包括:第二判断单元,用于当所述常规分析策略的关联性分析结果不满足所述用户需求,判断关键要素分析策略的关联性分析结果是否满足所述用户需求;所述关键要素分析策略为根据用户需求在对应的分析维度下特别关注的技术要点制定的分析策略;第二选择单元,用于当所述关键要素分析策略的关联性分析结果满足所述用户需求,选择关键要素分析策略对应的数据关联性分析模型对待处理数据进行关联性分析。
以及,当常规分析策略和关键要素分析策略均不能满足用户需求时,第二获取模块还包括:定制单元,用于当所述关键要素分析策略的关联性分析结果不满足所述用户需求,根据所述用户需求和所述分析维度定制自定义分析策略;第三选择单元,用于选择自定义分析策略对应的数据关联性分析模型对待处理数据进行关联性分析。
作为一可选的实施方式,该系统还包括对可视化分析模块获得的可视化分析结果图进一步应用实现业务推荐的功能模块,包括:第三获取模块,用于根据可视化分析结果图,自动分析任一用户产生的行业数据的关联性,获取该用户的业务倾向;推荐模块,用于根据业务倾向推荐业务至该用户。
作为一可选的实施方式,该系统还包括对可视化分析模块获得的可视化分析结果图进一步应用实现用户消费等级划分的功能模块,包括:第四获取模块,用于根据可视化分析结果图,获取所有用户在行业消费过程产生的业务数据,划分消费等级;其中,业务数据包括消费频率、消费金额和最后一次的消费时间;获取判断模块,用于获取任一用户在行业消费过程产生的业务数据,判断用户消费等级。
本发明公开的方法或系统通过对用户需求的分析确定数据关联性分析的分析维度,然后选择满足用户需求的分析策略及其对应的数据关联性分析模型对数据进行关联性分析,根据关联性分析结果形成可视化的结果。本发明不仅能够为用户提供人性化服务,充分满足用户需求,同时能够大大提升这类数据的应用价值,通过对这类行业数据进行处理分析避免垃圾数据的堆积,充分解决现有各行业堆积越来越多应用价值低的垃圾数据的技术问题,适用于数据大脑的分析应用。
虽然本发明已以较佳实施例揭露如上,然其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰。因此,本发明的保护范围当视权利要求书所界定者为准。

Claims (10)

1.一种基于数据大脑的行业数据分析挖掘方法,其特征在于,包括:
获取待处理的数据,所述待处理的数据为与某一已知的行业有关的数据;
获取待处理的数据的处理目标,筛选对应的数据关联性分析模型;
根据数据关联性分析模型对待处理的数据进行关联性分析,获得关联性分析结果;
根据关联性分析结果,生成数据关联性分析的可视化结果图。
2.根据权利要求1所述的基于数据大脑的行业数据分析挖掘方法,其特征在于,所述获取待处理的数据的处理目标包括:
获取用户需求,根据所述用户需求确定数据关联性分析的分析维度;
根据所述分析维度,获取数据关联性分析的待处理数据;
判断常规分析策略的关联性分析结果是否满足所述用户需求,所述常规分析策略为根据行业通用分析标准制定的分析策略;
若满足,选择常规分析策略对应的数据关联性分析模型对待处理数据进行关联性分析。
3.根据权利要求2所述的基于数据大脑的行业数据分析挖掘方法,其特征在于,还包括:
若不满足,判断关键要素分析策略的关联性分析结果是否满足所述用户需求;所述关键要素分析策略为根据用户需求在对应的分析维度下特别关注的技术要点制定的分析策略;
若满足,选择关键要素分析策略对应的数据关联性分析模型对待处理数据进行关联性分析。
4.根据权利要求2所述的基于数据大脑的行业数据分析挖掘方法,其特征在于,还包括:
若不满足,根据所述用户需求和所述分析维度定制自定义分析策略;
选择自定义分析策略对应的数据关联性分析模型对待处理数据进行关联性分析。
5.一种基于数据大脑的行业数据分析挖掘系统,其特征在于,包括:
第一获取模块,用于获取待处理的数据,所述待处理的数据为与某一已知的行业有关的数据;
第二获取模块,用于获取待处理的数据的处理目标,筛选对应的数据关联性分析模型;
关联性分析模块,用于根据数据关联性分析模型对待处理的数据进行关联性分析,获得关联性分析结果;
可视化分析模块,用于根据关联性分析结果,生成数据关联性分析的可视化结果图。
6.根据权利要求5所述的基于数据大脑的行业数据分析挖掘系统,其特征在于,所述第二获取模块获取待处理的数据的处理目标的过程由如下执行单元实现,包括:
第一获取单元,用于获取用户需求,根据所述用户需求确定数据关联性分析的分析维度;
第二获取单元,用于根据所述分析维度,获取数据关联性分析的待处理数据;
第一判断单元,用于判断常规分析策略的关联性分析结果是否满足所述用户需求,所述常规分析策略为根据行业通用分析标准制定的分析策略;
第一选择单元,用于当所述常规分析策略的关联性分析结果满足所述用户需求,选择常规分析策略对应的数据关联性分析模型对待处理数据进行关联性分析。
7.根据权利要求6所述的基于数据大脑的行业数据分析挖掘系统,其特征在于,还包括:
第二判断单元,用于当所述常规分析策略的关联性分析结果不满足所述用户需求,判断关键要素分析策略的关联性分析结果是否满足所述用户需求;所述关键要素分析策略为根据用户需求在对应的分析维度下特别关注的技术要点制定的分析策略;
第二选择单元,用于当所述关键要素分析策略的关联性分析结果满足所述用户需求,选择关键要素分析策略对应的数据关联性分析模型对待处理数据进行关联性分析。
8.根据权利要求6所述的基于数据大脑的行业数据分析挖掘系统,其特征在于,还包括:
定制单元,用于当所述关键要素分析策略的关联性分析结果不满足所述用户需求,根据所述用户需求和所述分析维度定制自定义分析策略;
第三选择单元,用于选择自定义分析策略对应的数据关联性分析模型对待处理数据进行关联性分析。
9.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器运行所述计算机程序时,实现如权利要求1-4中任一项所述的基于数据大脑的行业数据分析挖掘方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-4中任一项所述的基于数据大脑的行业数据分析挖掘方法。
CN202210780473.2A 2022-07-05 2022-07-05 一种基于数据大脑的行业数据分析挖掘方法及系统 Active CN115203311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210780473.2A CN115203311B (zh) 2022-07-05 2022-07-05 一种基于数据大脑的行业数据分析挖掘方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210780473.2A CN115203311B (zh) 2022-07-05 2022-07-05 一种基于数据大脑的行业数据分析挖掘方法及系统

Publications (2)

Publication Number Publication Date
CN115203311A true CN115203311A (zh) 2022-10-18
CN115203311B CN115203311B (zh) 2023-05-02

Family

ID=83578950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210780473.2A Active CN115203311B (zh) 2022-07-05 2022-07-05 一种基于数据大脑的行业数据分析挖掘方法及系统

Country Status (1)

Country Link
CN (1) CN115203311B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115730605A (zh) * 2022-11-21 2023-03-03 刘奕涵 基于多维信息的数据分析方法
CN116991130A (zh) * 2023-09-18 2023-11-03 深圳市昭行云科技有限公司 一种石化生产智能化自动化控制系统和方法
CN117076573A (zh) * 2023-10-16 2023-11-17 深圳博十强志科技有限公司 一种基于大数据技术的数据处理分析系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160076646A (ko) * 2014-12-23 2016-07-01 (주)해인씨앤에스 제조 공정 라인의 공정 및 품질 관리 방법 및 장치
CN107247581A (zh) * 2017-03-07 2017-10-13 刘立 系统分析与概要设计交付模型的构建方法
CN107403334A (zh) * 2017-06-07 2017-11-28 北京小度信息科技有限公司 数据处理方法及装置
CN108876009A (zh) * 2018-05-14 2018-11-23 中国神华能源股份有限公司 煤矿事故预测模型确定及监测方法、存储介质和电子设备
CN109635006A (zh) * 2018-12-17 2019-04-16 山大地纬软件股份有限公司 基于Apriori的社保业务关联规则挖掘和推荐装置及方法
CN111881224A (zh) * 2020-08-06 2020-11-03 广东省信息工程有限公司 一种多维数据分析方法及系统
CN111949696A (zh) * 2020-07-08 2020-11-17 国家计算机网络与信息安全管理中心 一种全要素关联分析方法及装置
CN112765475A (zh) * 2021-02-01 2021-05-07 吉林农业科技学院 一种智慧旅游目标匹配方法
CN113887960A (zh) * 2021-09-29 2022-01-04 重庆富民银行股份有限公司 一种业务策略效能自动监控系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160076646A (ko) * 2014-12-23 2016-07-01 (주)해인씨앤에스 제조 공정 라인의 공정 및 품질 관리 방법 및 장치
CN107247581A (zh) * 2017-03-07 2017-10-13 刘立 系统分析与概要设计交付模型的构建方法
CN107403334A (zh) * 2017-06-07 2017-11-28 北京小度信息科技有限公司 数据处理方法及装置
CN108876009A (zh) * 2018-05-14 2018-11-23 中国神华能源股份有限公司 煤矿事故预测模型确定及监测方法、存储介质和电子设备
CN109635006A (zh) * 2018-12-17 2019-04-16 山大地纬软件股份有限公司 基于Apriori的社保业务关联规则挖掘和推荐装置及方法
CN111949696A (zh) * 2020-07-08 2020-11-17 国家计算机网络与信息安全管理中心 一种全要素关联分析方法及装置
CN111881224A (zh) * 2020-08-06 2020-11-03 广东省信息工程有限公司 一种多维数据分析方法及系统
CN112765475A (zh) * 2021-02-01 2021-05-07 吉林农业科技学院 一种智慧旅游目标匹配方法
CN113887960A (zh) * 2021-09-29 2022-01-04 重庆富民银行股份有限公司 一种业务策略效能自动监控系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DAHLAN ABDULLAH ET AL.: "data mining to determine correlation of purchasing cosmetics with apriori method" *
周星星: "面向交通OD流的人群移动模式挖掘及其可视化方法研究" *
张东辉: "基于复杂网络的海运物流信息风险与操作风险关联性分析" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115730605A (zh) * 2022-11-21 2023-03-03 刘奕涵 基于多维信息的数据分析方法
CN115730605B (zh) * 2022-11-21 2024-02-02 暨南大学 基于多维信息的数据分析方法
CN116991130A (zh) * 2023-09-18 2023-11-03 深圳市昭行云科技有限公司 一种石化生产智能化自动化控制系统和方法
CN117076573A (zh) * 2023-10-16 2023-11-17 深圳博十强志科技有限公司 一种基于大数据技术的数据处理分析系统
CN117076573B (zh) * 2023-10-16 2024-01-05 深圳博十强志科技有限公司 一种基于大数据技术的数据处理分析系统

Also Published As

Publication number Publication date
CN115203311B (zh) 2023-05-02

Similar Documents

Publication Publication Date Title
CN115203311B (zh) 一种基于数据大脑的行业数据分析挖掘方法及系统
Krishna et al. Sales-forecasting of retail stores using machine learning techniques
Liu et al. Machine learning-based e-commerce platform repurchase customer prediction model
Xiao et al. Churn prediction in customer relationship management via GMDH-based multiple classifiers ensemble
CN116431931B (zh) 实时增量数据统计分析方法
Ljepava AI-enabled marketing solutions in Marketing Decision making: AI application in different stages of marketing process
CN112149352B (zh) 一种结合gbdt自动特征工程对营销活动点击的预测方法
CN112184484A (zh) 一种电力用户差异化服务方法及系统
CN106708871A (zh) 一种社交业务特征用户的识别方法和装置
CN114860941A (zh) 一种基于数据大脑的行业数据治理方法及系统
CN116645119A (zh) 一种基于大数据的营销获客方法
CN106997371B (zh) 单用户智慧图谱的构建方法
Kousik et al. An E-Commerce Product Feedback Review Using Sentimental Analysis
Chkoniya Challenges in decoding consumer behavior with data science
CN113326432A (zh) 一种基于决策树与推荐方法的模型优选方法
Jiang et al. Durable product review mining for customer segmentation
Bhargavi et al. Comparative study of consumer purchasing and decision pattern analysis using pincer search based data mining method
Mei et al. Research on e-commerce coupon user behavior prediction technology based on decision tree algorithm
Joppi et al. POP: mining POtential Performance of new fashion products via webly cross-modal query expansion
CN113762415A (zh) 一种基于神经网络的汽车金融产品智能匹配方法和系统
Larasatie et al. From fingerprint to footprint: using point of interest (POI) recommendation system in marketing applications
CN114329167A (zh) 超参数学习、智能推荐、关键词和多媒体推荐方法及装置
Zadeh A New Sales Forecasting method for industrial supply chain
CN117668205B (zh) 智慧物流客服处理方法、系统、设备及存储介质
CN116468096B (zh) 一种模型训练方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant