CN114862482B - 一种基于大数据预测产品需求的数据处理方法及系统 - Google Patents

一种基于大数据预测产品需求的数据处理方法及系统 Download PDF

Info

Publication number
CN114862482B
CN114862482B CN202210783372.0A CN202210783372A CN114862482B CN 114862482 B CN114862482 B CN 114862482B CN 202210783372 A CN202210783372 A CN 202210783372A CN 114862482 B CN114862482 B CN 114862482B
Authority
CN
China
Prior art keywords
target
product
product demand
model
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210783372.0A
Other languages
English (en)
Other versions
CN114862482A (zh
Inventor
乔恩·罗伯特·桑德森
霁虹·桑德森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Future Map Shenzhen Intelligent Technology Co ltd
Original Assignee
Future Map Shenzhen Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Future Map Shenzhen Intelligent Technology Co ltd filed Critical Future Map Shenzhen Intelligent Technology Co ltd
Priority to CN202210783372.0A priority Critical patent/CN114862482B/zh
Publication of CN114862482A publication Critical patent/CN114862482A/zh
Application granted granted Critical
Publication of CN114862482B publication Critical patent/CN114862482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • G06Q30/0202Market predictions or forecasting for commercial activities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/10Pre-processing; Data cleansing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于大数据预测产品需求的数据处理方法及系统。其中,该方法包括:接收需要预测的目标产品的产品需求属性,以及预测环境参数,产品需求属性包括目标产品的数量,预测环境参数包括产品需求属性的环境约束;根据产品需求属性和预测环境参数,从模型库中选取对应的目标预测模型,目标预测模型是由大数据库中目标产品的同类产品在预测环境参数对应的环境参数下的产品需求属性数据训练而成,产品需求属性数据包括不同时间的产品需求属性;将产品需求属性输入目标预测模型,由目标预测模型输出目标产品在预设时间段的预测产品需求属性。本发明解决了现有技术中产品的需求数据受影响的方面较多,难以有效预测的技术问题。

Description

一种基于大数据预测产品需求的数据处理方法及系统
技术领域
本发明涉及产品预测领域,具体而言,涉及一种基于大数据预测产品需求的数据处理方法及系统。
背景技术
现有技术中,对产品的需求预测,更多的是采用先行统计的方式,计算产品过去一段时间内的发展趋势,来预测产品未来的需求。或者使用其他的一些统计学方法来进行产品需求预测。但是,产品需求不仅存在地域的不同,产品需求属性的不同,受众不同,销售方式不同,等等多种因素的影响,其内在的逻辑非常复杂,并且常常难以数据化分析,现有统计学方式局限性较大,往往难以准确的预测产品的需求。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种基于大数据预测产品需求的数据处理方法及系统,以至少解决现有技术中产品的需求数据受影响的方面较多,难以有效预测的技术问题。
根据本发明实施例的一个方面,提供了一种基于大数据预测产品需求的数据处理方法,包括:接收需要预测的目标产品的产品需求属性,以及预测环境参数,其中,所述产品需求属性包括目标产品的数量,所述预测环境参数包括所述产品需求属性的环境约束;将所述产品需求属性和所述预测环境参数发送给模型库,其中,所述模型库用于根据所述产品需求属性和所述预测环境参数查找对应的目标预测模型;在所述模型库中包括所述产品需求属性和所述预测环境参数对应的目标预测模型的情况下,调用所述模型库中的所述目标预测模型,其中,所述目标预测模型用于针对所述预测环境参数对所述目标产品的产品需求属性进行预测,所述目标预测模型是由大数据库中所述目标产品的同类产品在所述预测环境参数对应的环境参数下的产品需求属性数据训练而成,所述产品需求属性数据包括不同时间的产品需求属性;在所述模型库中不包括所述产品需求属性和所述预测环境参数对应的目标预测模型的情况下,从所述大数据库中获取所述目标产品的同类产品的相关数据;根据所述相关数据生成所述产品需求属性和所述预测环境参数对应的目标预测模型;将所述产品需求属性输入所述目标预测模型,由所述目标预测模型输出所述目标产品在预设时间段的预测产品需求属性。
可选的,从所述大数据库中获取所述目标产品的同类产品的相关数据包括:将所述产品需求属性和所述预测环境参数发送给所述大数据库,其中,所述大数据库在接收到所述产品需求属性和所述预测环境参数之后,通过聚类的方式,将所述目标产品和所述大数据库中的产品分为多个聚类簇,选取所述目标产品所属聚类簇中与所述目标产品距离最接近的预设数量的产品作为所述同类产品,并调用所述同类产品的相关数据,所述相关数据包括所述同类产品的某一产品需求属性在某一环境参数下随时间的变化;调用所述大数据库中所述目标产品的同类产品的相关数据。
可选的,根据所述相关数据生成所述产品需求属性和所述预测环境参数对应的目标预测模型包括:根据所述目标产品,所述产品需求属性和所述环境参数,以及对应的权重,在所述模型库中选择匹配的预测模型,并获取所述预测模型的初始模型;从所述相关数据中选择与所述目标产品的产品需求属性的同类属性,在所述预测环境参数的同类环境参数下的变化数据;根据所述变化数据对所述初始模型进行训练生成所述目标预测模型。
可选的,根据所述变化数据对所述初始模型进行训练生成所述目标预测模型包括:对所述变化数据进行预处理,其中,所述预处理包括去重处理,清洗处理;将所述变化数据分为训练数据和验证数据;通过训练数据对所述初始模型进行训练,直至所述初始模型收敛,完成训练;通过所述验证数据对训练完成的初始模型进行验证;在验证通过的情况下,将所述训练完成的初始模型作为所述目标预测模型;在验证不通过的情况下,对训练完成的初始模型进行调参,并利用所述训练数据继续训练,直至训练完成的初始模型通过验证。
可选的,将所述产品需求属性输入所述目标预测模型,由所述目标预测模型输出所述目标产品在预设时间段的预测产品需求属性之后,所述方法还包括:将所述目标预测模型存储到所述模型库中;将所述预测产品需求属性发送给可视化工具,对所述预测产品需求属性进行可视化。
可选的,将所述产品需求属性输入所述目标预测模型,由所述目标预测模型输出所述目标产品在预设时间段的预测产品需求属性之后,所述方法还包括:获取所述目标产品的相关关键词,其中,所述相关关键词包括,所述目标产品的名称,种类,所属的行业或领域;根据所述相关关键词在可信数据源中查找相关文档,其中,所述相关文档包括政策文件。
可选的,根据所述相关关键词在可信数据源中查找相关文档,所述方法还包括:将所述相关文档按照与所述相关关键词的相关性进行排序,得到相关文件列表;将所述相关文件列表发送给所述可视化工具,在所述预测产品需求属性的可视化界面中显示所述相关文件列表。
根据本发明实施例的另一个方面,提供了一种基于大数据预测产品需求的数据处理系统,包括:接收模块,用于接收需要预测的目标产品的产品需求属性,以及预测环境参数,其中,所述产品需求属性包括目标产品的数量,所述预测环境参数包括所述产品需求属性的环境约束;发送模块,用于将所述产品需求属性和所述预测环境参数发送给所述模型库,其中,所述模型库用于根据所述产品需求属性和所述预测环境参数查找对应的目标预测模型;调用模块,用于在所述模型库中包括所述产品需求属性和所述预测环境参数对应的目标预测模型的情况下,调用所述模型库中的所述目标预测模型,其中,所述目标预测模型用于针对所述预测环境参数对所述目标产品的产品需求属性进行预测,所述目标预测模型是由大数据库中所述目标产品的同类产品在所述预测环境参数对应的环境参数下的产品需求属性数据训练而成,所述产品需求属性数据包括不同时间的产品需求属性;获取模块,用于在所述模型库中不包括所述产品需求属性和所述预测环境参数对应的目标预测模型的情况下,从所述大数据库中获取所述目标产品的同类产品的相关数据;生成模块,用于根据所述相关数据生成所述产品需求属性和所述预测环境参数对应的目标预测模型;预测模块,用于将所述产品需求属性输入所述目标预测模型,由所述目标预测模型输出所述目标产品在预设时间段的预测产品需求属性。
根据本发明实施例的另一个方面,提供了一种计算机存储介质,所述计算机存储介质存储有程序指令,其中,在所述程序指令运行时控制所述计算机存储介质所在设备执行上述中任意一项所述的方法。
根据本发明实施例的另一个方面,提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述中任意一项所述的方法。
在本发明实施例中,采用接收需要预测的目标产品的产品需求属性,以及预测环境参数,其中,产品需求属性包括目标产品的数量,预测环境参数包括产品需求属性的环境约束;将产品需求属性和预测环境参数发送给模型库,其中,模型库用于根据产品需求属性和预测环境参数查找对应的目标预测模型;在模型库中包括产品需求属性和预测环境参数对应的目标预测模型的情况下,调用模型库中的目标预测模型,其中,目标预测模型用于针对预测环境参数对目标产品的产品需求属性进行预测,目标预测模型是由大数据库中目标产品的同类产品在预测环境参数对应的环境参数下的产品需求属性数据训练而成,产品需求属性数据包括不同时间的产品需求属性;在模型库中不包括产品需求属性和预测环境参数对应的目标预测模型的情况下,从大数据库中获取目标产品的同类产品的相关数据;根据相关数据生成产品需求属性和预测环境参数对应的目标预测模型;将产品需求属性输入目标预测模型,由目标预测模型输出目标产品在预设时间段的预测产品需求属性的方式,达到了通过产品需求属性和产品的环境参数,采用匹配的目标预测模型,利用深度学模型的方式对产品的需求属性进行预测的目的,从而实现了提高产品需求预测的准确率的技术效果,进而解决了现有技术中产品的需求数据受影响的方面较多,难以有效预测的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种基于大数据预测产品需求的数据处理方法的流程图;
图2是根据本发明实施例的一种基于大数据预测产品需求的数据处理系统的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例,提供了一种基于大数据预测产品需求的数据处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种基于大数据预测产品需求的数据处理方法的流程图,如图1所示,该方法包括如下步骤:
步骤S101,接收需要预测的目标产品的产品需求属性,以及预测环境参数,其中,产品需求属性包括目标产品的数量,预测环境参数包括产品需求属性的环境约束;
步骤S102,将产品需求属性和预测环境参数发送给模型库,其中,模型库用于根据产品需求属性和预测环境参数查找对应的目标预测模型;
步骤S103,在模型库中包括产品需求属性和预测环境参数对应的目标预测模型的情况下,调用模型库中的目标预测模型,其中,目标预测模型用于针对预测环境参数对目标产品的产品需求属性进行预测,目标预测模型是由大数据库中目标产品的同类产品在预测环境参数对应的环境参数下的产品需求属性数据训练而成,产品需求属性数据包括不同时间的产品需求属性;
步骤S104,在模型库中不包括产品需求属性和预测环境参数对应的目标预测模型的情况下,从大数据库中获取目标产品的同类产品的相关数据;
步骤S105,根据相关数据生成产品需求属性和预测环境参数对应的目标预测模型;
步骤S106,将产品需求属性输入目标预测模型,由目标预测模型输出目标产品在预设时间段的预测产品需求属性。
通过上述步骤,采用接收需要预测的目标产品的产品需求属性,以及预测环境参数,其中,产品需求属性包括目标产品的数量,预测环境参数包括产品需求属性的环境约束;将产品需求属性和预测环境参数发送给模型库,其中,模型库用于根据产品需求属性和预测环境参数查找对应的目标预测模型;在模型库中包括产品需求属性和预测环境参数对应的目标预测模型的情况下,调用模型库中的目标预测模型,其中,目标预测模型用于针对预测环境参数对目标产品的产品需求属性进行预测,目标预测模型是由大数据库中目标产品的同类产品在预测环境参数对应的环境参数下的产品需求属性数据训练而成,产品需求属性数据包括不同时间的产品需求属性;在模型库中不包括产品需求属性和预测环境参数对应的目标预测模型的情况下,从大数据库中获取目标产品的同类产品的相关数据;根据相关数据生成产品需求属性和预测环境参数对应的目标预测模型;将产品需求属性输入目标预测模型,由目标预测模型输出目标产品在预设时间段的预测产品需求属性的方式,达到了通过产品需求属性和产品的环境参数,采用匹配的目标预测模型,利用深度学模型的方式对产品的需求属性进行预测的目的,从而实现了提高产品需求预测的准确率的技术效果,进而解决了现有技术中产品的需求数据受影响的方面较多,难以有效预测的技术问题。
上述步骤的执行主体可以为处理器,计算器,服务器等具有数据运算能力的设备。上述需要预测的目标产品可以为各类商品,或者制造的中间产品。
上述产品需求属性可以为产品的需求数量,也可以是需求程度,需求比例等表征产品需求的参数。
上述预测环境参数可以理解为预测产品需求的地区,仓库等控件参数。在环境参数为地区的情况下,可以包括地区的大小,地区人口数量,地区目标受众数量,地区购买企业数量等参数。
上述环境约束可以理解为环境参数的范围或者表达式。
上述目标产品的产品需求属性可以从大数据系统中获得,大数据系统中存储有各种品类和型号的产品,以及产品的需求属性。在使用时只需要输入目标产品的标识就可以从大数据系统中查找出对应的产品需求属性,在产品需求属性较多的情况下,可以将多个产品需求属性进行显示,由用户选择需要预测的产品需求属性。预测环境参数也可以采用类似的方式进行确定。
需要说明的是,大数据系统并不是保存所有的数据,因此,在无法查找到产品需求属性或者预测环境参数的情况下,也接受用户输入。在用户输入后,经审核通过后,在大数据系统存储。
上述大数据系统可以通过爬虫定期从互联网上获取数据,并对获取到的数据进行筛选和清洗,分类后,按照预定格式进行存储。该预定格式可以为包括产品标识,产品需求属性,预测环境参数等数据项的结构化数据。
考虑到不同产品属性和不同的环境参数下产品需求的变化规律和内在逻辑不同,本实施例为不同的产品属性和环境参数提供专用的预测模型。不同的产品属性和不同的环境参数分别组合,可以对应多个预测模型,多个预测模型可以创建并训练后存储在上述模型库中,上述模型库可以为上述大数据系统的一个存储单位。
在使用时将产品需求属性和预测环境参数输入大数据系统,并查找和匹配对应的目标预测模型,在查找不到的情况下,可以查找只满足产品需求属性或者预测环境参数的预测模型,作为备选的目标预测模型。
在查找不到的情况下也可以对预测模型进行创建,具体的,通过聚类的方式,寻找与产品需求属性和预测环境参数下的目标产品同类的产品,并根据同类产品在预测环境参数对应的环境参数下的产品需求属性,来训练目标预测模型。
将产品需求属性和预测环境参数发送给模型库,其中,模型库用于根据产品需求属性和预测环境参数查找对应的目标预测模型;在模型库中包括产品需求属性和预测环境参数对应的目标预测模型的情况下,调用模型库中的目标预测模型;在模型库中不包括产品需求属性和预测环境参数对应的目标预测模型的情况下,从大数据库中获取目标产品的同类产品的相关数据;根据相关数据生成产品需求属性和预测环境参数对应的目标预测模型。从而得到产品需求属性和预测环境参数对应的目标预测模型,该目标预测模型对上述预测环境参数下的产品需求属性具有较高的预测准确率,更加具有针对性。
在另一些实施例中,在模型库中查找不到产品需求属性和预测环境参数对应的目标预测模型的情况下,还可以对产品需求属性和预测环境参数进行特征提取,通过聚类的方式查找,模型库中相似度最高的预测模型对应的产品需求属性和预测环境参数,并将其对应的预测模型作为目标预测模型,来在紧急情况下,作为备选的目标预测模型使用,解决重新训练模型需要花费较多时间的问题。
可选的,从大数据库中获取目标产品的同类产品的相关数据包括:将产品需求属性和预测环境参数发送给大数据库,其中,大数据库在接收到产品需求属性和预测环境参数之后,通过聚类的方式,将目标产品和大数据库中的产品分为多个聚类簇,选取目标产品所属聚类簇中与目标产品距离最接近的预设数量的产品作为同类产品,并调用同类产品的相关数据,相关数据包括同类产品的某一产品需求属性在某一环境参数下随时间的变化;调用大数据库中目标产品的同类产品的相关数据。
上述大数据库也可以为上述大数据系统的一个存储单位。通过在大数据库中进行特征提取和聚类的方式,确定出与目标产品最为相似的产品的相关数据,作为训练模型的数据,使得预测模型针对上述产品需求属性和预测环境参数具有更优的预测性能。
可选的,根据相关数据生成产品需求属性和预测环境参数对应的目标预测模型包括:根据目标产品,产品需求属性和环境参数,以及对应的权重,在模型库中选择匹配的预测模型,并获取预测模型的初始模型;从相关数据中选择与目标产品的产品需求属性的同类属性,在预测环境参数的同类环境参数下的变化数据;根据变化数据对初始模型进行训练生成目标预测模型。
在根据相关数据生成产品需求属性和预测环境参数对应的目标预测模型之前,获取了目标产品的同类产品的相关数据作为训练数据,但是对于不同的初始模型,其预测性能不同。考虑到产品品类,产品需求属性和环境参数对预测进程的影响程度不同,根据目标产品,产品需求属性和环境参数,以及对应的权重,在模型库中选择匹配的预测模型,并获取预测模型的初始模型,作为需要上述目标预测模型的初始模型。
然后通过上述目标产品的同类产品的相关数据作为训练数据对该初始模型进行训练,得到上述目标预测模型。
具体的,根据变化数据对初始模型进行训练生成目标预测模型包括:对变化数据进行预处理,其中,预处理包括去重处理,清洗处理;将变化数据分为训练数据和验证数据;通过训练数据对初始模型进行训练,直至初始模型收敛,完成训练;通过验证数据对训练完成的初始模型进行验证;在验证通过的情况下,将训练完成的初始模型作为目标预测模型;在验证不通过的情况下,对训练完成的初始模型进行调参,并利用训练数据继续训练,直至训练完成的初始模型通过验证。
需要说明的是,对于模型收敛,需要初始模型的损失函数的损失值满足预设条件。对于验证数据对训练完成的初始模型的验证,可以将验证数据输入训练完成的初始模型,计算初始模型的预测准确率,在预测准确率达到合格阈值的情况下,确定训练完成的初始模型通过验证。
可选的,将产品需求属性输入目标预测模型,由目标预测模型输出目标产品在预设时间段的预测产品需求属性之后,方法还包括:将目标预测模型存储到模型库中;将预测产品需求属性发送给可视化工具,对预测产品需求属性进行可视化。
在得到预测产品属性后,结合产品属性的历史数据,生成产品属性的统计图表,并通过可视化工具进行显示,以便用户查询和观看。
可选的,将产品需求属性输入目标预测模型,由目标预测模型输出目标产品在预设时间段的预测产品需求属性之后,方法还包括:获取目标产品的相关关键词,其中,相关关键词包括,目标产品的名称,种类,所属的行业或领域;根据相关关键词在可信数据源中查找相关文档,其中,相关文档包括政策文件;将相关文档按照与相关关键词的相关性进行排序,得到相关文件列表;将相关文件列表发送给可视化工具,在预测产品需求属性的可视化界面中显示相关文件列表。
考虑到产品需求会收到政策,市场等突发情况的影响,可以通过目标产品的相关关键词,来对相关文件进行查找,包括政策文件,可信事件,统计报告等文件。并以相关文件列表的形式显示在预测的产品需求属性的可视化界面上。
图2是根据本发明实施例的一种基于大数据预测产品需求的数据处理系统的结构示意图,如图2所示,根据本发明实施例的另一个方面,提供了一种基于大数据预测产品需求的数据处理系统,包括:接收模块21,发送模块22,调用模块23,获取模块24,生成模块25和预测模块26。下面对该系统进行详细说明。
接收模块21,用于接收需要预测的目标产品的产品需求属性,以及预测环境参数,其中,产品需求属性包括目标产品的数量,预测环境参数包括产品需求属性的环境约束;发送模块22,与上述接收模块21相连,用于将产品需求属性和预测环境参数发送给模型库,其中,模型库用于根据产品需求属性和预测环境参数查找对应的目标预测模型;调用模块23,与上述发送模块22相连,用于在模型库中包括产品需求属性和预测环境参数对应的目标预测模型的情况下,调用模型库中的目标预测模型,其中,目标预测模型用于针对预测环境参数对目标产品的产品需求属性进行预测,目标预测模型是由大数据库中目标产品的同类产品在预测环境参数对应的环境参数下的产品需求属性数据训练而成,产品需求属性数据包括不同时间的产品需求属性;获取模块24,与上述调用模块23相连,用于在模型库中不包括产品需求属性和预测环境参数对应的目标预测模型的情况下,从大数据库中获取目标产品的同类产品的相关数据;生成模块25,与上述获取模块24相连,用于根据相关数据生成产品需求属性和预测环境参数对应的目标预测模型;预测模块26,与上述生成模块25相连,用于将产品需求属性输入目标预测模型,由目标预测模型输出目标产品在预设时间段的预测产品需求属性。
通过上述系统,采用接收模块21接收需要预测的目标产品的产品需求属性,以及预测环境参数,其中,产品需求属性包括目标产品的数量,预测环境参数包括产品需求属性的环境约束;发送模块22将产品需求属性和预测环境参数发送给模型库,其中,模型库用于根据产品需求属性和预测环境参数查找对应的目标预测模型;调用模块23在模型库中包括产品需求属性和预测环境参数对应的目标预测模型的情况下,调用模型库中的目标预测模型,其中,目标预测模型用于针对预测环境参数对目标产品的产品需求属性进行预测,目标预测模型是由大数据库中目标产品的同类产品在预测环境参数对应的环境参数下的产品需求属性数据训练而成,产品需求属性数据包括不同时间的产品需求属性;获取模块24在模型库中不包括产品需求属性和预测环境参数对应的目标预测模型的情况下,从大数据库中获取目标产品的同类产品的相关数据;生成模块25根据相关数据生成产品需求属性和预测环境参数对应的目标预测模型;预测模块26将产品需求属性输入目标预测模型,由目标预测模型输出目标产品在预设时间段的预测产品需求属性的方式,达到了通过产品需求属性和产品的环境参数,采用匹配的目标预测模型,利用深度学模型的方式对产品的需求属性进行预测的目的,从而实现了提高产品需求预测的准确率的技术效果,进而解决了现有技术中产品的需求数据受影响的方面较多,难以有效预测的技术问题。
根据本发明实施例的另一个方面,提供了一种计算机存储介质,计算机存储介质存储有程序指令,其中,在程序指令运行时控制计算机存储介质所在设备执行上述中任意一项的方法。
根据本发明实施例的另一个方面,提供了一种处理器,处理器用于运行程序,其中,程序运行时执行上述中任意一项的方法。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的系统实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于大数据预测产品需求的数据处理方法,其特征在于,包括:
接收需要预测的目标产品的产品需求属性,以及预测环境参数,其中,所述产品需求属性包括目标产品的数量,所述预测环境参数包括所述产品需求属性的环境约束;
将所述产品需求属性和所述预测环境参数发送给模型库,其中,所述模型库用于根据所述产品需求属性和所述预测环境参数查找对应的目标预测模型;
在所述模型库中包括所述产品需求属性和所述预测环境参数对应的目标预测模型的情况下,调用所述模型库中的所述目标预测模型,其中,所述目标预测模型用于针对所述预测环境参数对所述目标产品的产品需求属性进行预测,所述目标预测模型是由大数据库中所述目标产品的同类产品在所述预测环境参数对应的环境参数下的产品需求属性数据训练而成,所述产品需求属性数据包括不同时间的产品需求属性;
在所述模型库中不包括所述产品需求属性和所述预测环境参数对应的目标预测模型的情况下,从所述大数据库中获取所述目标产品的同类产品的相关数据;
根据所述相关数据生成所述产品需求属性和所述预测环境参数对应的目标预测模型;
将所述产品需求属性输入所述目标预测模型,由所述目标预测模型输出所述目标产品在预设时间段的预测产品需求属性;
从所述大数据库中获取所述目标产品的同类产品的相关数据包括:
将所述产品需求属性和所述预测环境参数发送给所述大数据库,其中,所述大数据库在接收到所述产品需求属性和所述预测环境参数之后,通过聚类的方式,将所述目标产品和所述大数据库中的产品分为多个聚类簇,选取所述目标产品所属聚类簇中与所述目标产品距离最接近的预设数量的产品作为所述同类产品,并调用所述同类产品的相关数据,所述相关数据包括所述同类产品的某一产品需求属性在某一环境参数下随时间的变化;
调用所述大数据库中所述目标产品的同类产品的相关数据;
根据所述相关数据生成所述产品需求属性和所述预测环境参数对应的目标预测模型包括:
根据所述目标产品,所述产品需求属性和所述环境参数,以及对应的权重,在所述模型库中选择匹配的预测模型,并获取所述预测模型的初始模型;
从所述相关数据中选择与所述目标产品的产品需求属性的同类属性,在所述预测环境参数的同类环境参数下的变化数据;
根据所述变化数据对所述初始模型进行训练生成所述目标预测模型;
在所述模型库中不包括所述产品需求属性和所述预测环境参数对应的目标预测模型的情况下,还包括查找满足产品需求属性、预测环境参数其中之一的预测模型,作为备选的目标预测模型;
在所述模型库中不包括所述产品需求属性和所述预测环境参数对应的目标预测模型的情况下,还包括对产品需求属性和预测环境参数进行特征提取,通过聚类的方式查找模型库中相似度最高的预测模型对应的产品需求属性和预测环境参数,并将其对应的预测模型作为目标预测模型,来在紧急情况下,作为备选的目标预测模型使用;
根据所述变化数据对所述初始模型进行训练生成所述目标预测模型包括:
对所述变化数据进行预处理,其中,所述预处理包括去重处理,清洗处理;
将所述变化数据分为训练数据和验证数据;
通过训练数据对所述初始模型进行训练,直至所述初始模型收敛,完成训练;
通过所述验证数据对训练完成的初始模型进行验证;
在验证通过的情况下,将所述训练完成的初始模型作为所述目标预测模型;
在验证不通过的情况下,对训练完成的初始模型进行调参,并利用所述训练数据继续训练,直至训练完成的初始模型通过验证。
2.根据权利要求1所述的方法,其特征在于,将所述产品需求属性输入所述目标预测模型,由所述目标预测模型输出所述目标产品在预设时间段的预测产品需求属性之后,所述方法还包括:
将所述目标预测模型存储到所述模型库中;
将所述预测产品需求属性发送给可视化工具,对所述预测产品需求属性进行可视化。
3.根据权利要求2所述的方法,其特征在于,将所述产品需求属性输入所述目标预测模型,由所述目标预测模型输出所述目标产品在预设时间段的预测产品需求属性之后,所述方法还包括:
获取所述目标产品的相关关键词,其中,所述相关关键词包括,所述目标产品的名称,种类,所属的行业或领域;
根据所述相关关键词在可信数据源中查找相关文档,其中,所述相关文档包括政策文件。
4.根据权利要求3所述的方法,其特征在于,根据所述相关关键词在可信数据源中查找相关文档,所述方法还包括:
将所述相关文档按照与所述相关关键词的相关性进行排序,得到相关文件列表;
将所述相关文件列表发送给所述可视化工具,在所述预测产品需求属性的可视化界面中显示所述相关文件列表。
5.一种计算机存储介质,其特征在于,所述计算机存储介质存储有程序指令,其中,在所述程序指令运行时控制所述计算机存储介质所在设备执行权利要求1至4中任意一项所述的方法。
6.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至4中任意一项所述的方法。
CN202210783372.0A 2022-07-05 2022-07-05 一种基于大数据预测产品需求的数据处理方法及系统 Active CN114862482B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210783372.0A CN114862482B (zh) 2022-07-05 2022-07-05 一种基于大数据预测产品需求的数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210783372.0A CN114862482B (zh) 2022-07-05 2022-07-05 一种基于大数据预测产品需求的数据处理方法及系统

Publications (2)

Publication Number Publication Date
CN114862482A CN114862482A (zh) 2022-08-05
CN114862482B true CN114862482B (zh) 2023-06-27

Family

ID=82625757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210783372.0A Active CN114862482B (zh) 2022-07-05 2022-07-05 一种基于大数据预测产品需求的数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN114862482B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740814A (zh) * 2018-12-29 2019-05-10 联想(北京)有限公司 预测方法、装置及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612122B (zh) * 2019-02-25 2023-08-08 北京嘀嘀无限科技发展有限公司 实时需求量的预测方法、装置及电子设备
CN111178624B (zh) * 2019-12-26 2023-10-20 浙江大学 一种新产品需求预测的方法
CN114462532A (zh) * 2022-02-07 2022-05-10 中国工商银行股份有限公司 模型训练方法、预测交易风险的方法、装置、设备及介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740814A (zh) * 2018-12-29 2019-05-10 联想(北京)有限公司 预测方法、装置及电子设备

Also Published As

Publication number Publication date
CN114862482A (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
US10977293B2 (en) Technology incident management platform
US11334635B2 (en) Domain specific natural language understanding of customer intent in self-help
CN113377850B (zh) 认知物联网大数据技术平台
US9799035B2 (en) Customer feedback analyzer
EP3717984B1 (en) Method and apparatus for providing personalized self-help experience
Thorleuchter et al. Analyzing existing customers’ websites to improve the customer acquisition process as well as the profitability prediction in B-to-B marketing
US11036811B2 (en) Categorical data transformation and clustering for machine learning using data repository systems
US11972360B2 (en) Utilizing machine learning models to automatically generate contextual insights and actions based on legal regulations
CN104933100A (zh) 关键词推荐方法和装置
US11373101B2 (en) Document analyzer
US20230342833A1 (en) Recommendation method, recommendation network, and related device
CN111966886A (zh) 对象推荐方法、对象推荐装置、电子设备及存储介质
US11796991B2 (en) Context-awareness in preventative maintenance
Ryu et al. Understanding quality of analytics trade-offs in an end-to-end machine learning-based classification system for building information modeling
US20190164083A1 (en) Categorical Data Transformation and Clustering for Machine Learning using Natural Language Processing
US11062330B2 (en) Cognitively identifying a propensity for obtaining prospective entities
CN107644042B (zh) 软件程序点击率预估排序方法及服务器
CN114862482B (zh) 一种基于大数据预测产品需求的数据处理方法及系统
EP4002151A1 (en) Data tagging and synchronisation system
US11115440B2 (en) Dynamic threat intelligence detection and control system
US9466031B1 (en) Data-agnostic methods and systems for ranking and updating beliefs
CN112052365A (zh) 一种跨境场景画像构建方法和装置
CN117539948B (zh) 基于深度神经网络的业务数据检索方法及装置
CN116561134B (zh) 业务规则处理方法、装置、设备及存储介质
US20230409586A1 (en) Data recommender using lineage to propagate value indicators

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant