CN110335072B - 大宗商品数据提取及报告生成的方法、系统、介质及装置 - Google Patents

大宗商品数据提取及报告生成的方法、系统、介质及装置 Download PDF

Info

Publication number
CN110335072B
CN110335072B CN201910555445.9A CN201910555445A CN110335072B CN 110335072 B CN110335072 B CN 110335072B CN 201910555445 A CN201910555445 A CN 201910555445A CN 110335072 B CN110335072 B CN 110335072B
Authority
CN
China
Prior art keywords
commodity
data
report
bulk
extraction rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910555445.9A
Other languages
English (en)
Other versions
CN110335072A (zh
Inventor
范昕
刘小磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Metals Market Information Technology Co ltd
Original Assignee
Shanghai Metals Market Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Metals Market Information Technology Co ltd filed Critical Shanghai Metals Market Information Technology Co ltd
Priority to CN201910555445.9A priority Critical patent/CN110335072B/zh
Publication of CN110335072A publication Critical patent/CN110335072A/zh
Application granted granted Critical
Publication of CN110335072B publication Critical patent/CN110335072B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34Browsing; Visualisation therefor
    • G06F16/345Summarisation for human users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/186Templates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Data Mining & Analysis (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种大宗商品数据提取及报告生成的方法、系统、介质及装置,包括以下步骤:获取大宗商品相关数据,制定大宗商品数据提取规则,从所述大宗商品相关数据中选取符合大宗商品数据提取规则的大宗商品数据;制定大宗商品报告的预设模板,并基于所述大宗商品数据生成所述预设模板格式的大宗商品报告;对所述大宗商品报告进行检测得到检测结果,并基于所述检测结果修改所述大宗商品数据提取规则直至所述大宗商品报告的准确率达到预设标准。本发明的一种大宗商品数据提取及报告生成的方法、系统、介质及装置,用于自动生成大宗商品报告并不断完善生成报告的能力,减少行业分析师的人力成本。

Description

大宗商品数据提取及报告生成的方法、系统、介质及装置
技术领域
本发明涉及金属行情技术领域,特别是涉及一种大宗商品数据提取及报告生成的方法、系统、介质及装置。
背景技术
在大宗商品数据提取及报告生成的中,往往都需要专业的分析师团队去整理数据进行制作,由于大宗商品报告的更新频率和需求量比较大,无形中增加了团队的人力成本。因为人为过多参与大宗商品报告的分析和制作,需要参考的资料量巨大,每一份都要做成大宗商品报告很费时费力,分析师人员经常需要人工检索历年大宗商品报告和数据,不可避免的会存在数据错误的现象,尽管企业存在严格的层层审核,但是还是会出现极少存在错误数据的大宗商品报告分发,严重的可能到导致一些参考大宗商品报告内容的企业在决策中出现偏差,或许会造成一些不必要的损失。
因此,希望能够解决如何更好地进行大宗商品报告生成,避免出现错误报告,减少人力成本的问题。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种大宗商品数据提取及报告生成的方法、系统、介质及装置,用于解决现有技术中减少人力成本的问题。
为实现上述目的及其他相关目的,本发明提供一种大宗商品数据提取及报告生成的方法,包括以下步骤:获取大宗商品相关数据,制定大宗商品数据提取规则,从所述大宗商品相关数据中选取符合大宗商品数据提取规则的大宗商品数据;制定大宗商品报告的预设模板,并基于所述大宗商品数据生成所述预设模板格式的大宗商品报告;对所述大宗商品报告进行检测得到检测结果,并基于所述检测结果修改所述大宗商品数据提取规则直至所述大宗商品报告的准确率达到预设标准。
于本发明的一实施例中,还包括以下步骤:将所述达到预设标准的大宗商品报告发送至接收端,并接收所述接收端对于所述大宗商品报告的反馈,并基于所述反馈修改所述大宗商品数据提取规则。
于本发明的一实施例中,基于用户的订阅信息制定所述预设模板。
于本发明的一实施例中,所述制定大宗商品数据提取规则包括:接收人工对于大宗商品相关数据的评价,基于所述评价生成大宗商品数据提取规则。
于本发明的一实施例中,所述制定大宗商品数据提取规则包括:设定大宗商品相关数据筛选关键词,基于所述筛选关键词制定大宗商品数据提取规则。
于本发明的一实施例中,所述对所述大宗商品报告进行检测包括:自动检测所述大宗商品报告或基于人工检测所述大宗商品报告。
为实现上述目的,本发明还提供一种大宗商品数据提取及报告生成的系统,包括:获取模块、制定模块和修改模块;所述获取模块用于获取大宗商品相关数据,制定大宗商品数据提取规则,从所述大宗商品相关数据中选取符合大宗商品数据提取规则的大宗商品数据;所述制定模块用于制定大宗商品报告的预设模板,并基于所述大宗商品数据生成所述预设模板格式的大宗商品报告;所述修改模块用于对所述大宗商品报告进行检测得到检测结果,并基于所述检测结果修改所述大宗商品数据提取规则直至所述大宗商品报告的准确率达到预设标准。
为实现上述目的,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现任一上述大宗商品数据提取及报告生成的方法。
为实现上述目的,本发明还提供一种大宗商品数据提取及报告生成的装置,包括:处理器和存储器;所述存储器用于存储计算机程序;所述处理器与所述存储器相连,用于执行所述存储器存储的计算机程序,以使所述大宗商品数据提取及报告生成的装置执行任一上述的大宗商品数据提取及报告生成的方法。
最后,本发明还提供一种大宗商品数据提取及报告生成的系统,包括上述的大宗商品数据提取及报告生成的装置和接收装置;所述接收装置用于接收所述大宗商品数据提取及报告生成的装置发送的大宗商品报告,并发送所述大宗商品报告的反馈至所述大宗商品数据提取及报告生成的装置。
如上所述,本发明的一种大宗商品数据提取及报告生成的方法、系统、介质及装置,具有以下有益效果:减少行业分析师的人力成本;自动生成大宗商品报告并不断完善生成报告的能力;更好地进行大宗商品报告生成;避免出现错误报告。
附图说明
图1显示为本发明的大宗商品数据提取及报告生成的方法于一实施例中的流程图;
图2显示为本发明的大宗商品数据提取及报告生成的系统于一实施例中的结构示意图;
图3显示为本发明的大宗商品数据提取及报告生成的装置于一实施例中的结构示意图;
图4显示为本发明的大宗商品数据提取及报告生成的系统于又一实施例中的结构示意图。
元件标号说明
21 获取模块
22 制定模块
23 修改模块
31 处理器
32 存储器
41 大宗商品数据提取及报告生成的装置
42 接收装置
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
本发明的大宗商品数据提取及报告生成的方法、系统、介质及装置,减少行业分析师的人力成本;自动生成大宗商品报告并不断完善生成报告的能力;更好地进行大宗商品报告生成;避免出现错误报告。
如图1所示,于一实施例中,本发明的大宗商品数据提取及报告生成的方法,包括以下步骤:
步骤S11、获取大宗商品相关数据,制定大宗商品数据提取规则,从所述大宗商品相关数据中选取符合大宗商品数据提取规则的大宗商品数据。
于本发明一实施例中,所述大宗商品相关数据包括但不限于企业多年的积累的大量大宗商品数据、历史记录的大宗商品报告、微博相关信息、网页相关信息、财经信息。所述大宗商品是指可进入流通领域,但非零售环节,具有商品属性并用于工农业生产与消费使用的大批量买卖的物质商品。在金融投资市场,大宗商品指同质化、可交易、被广泛作为工业基础原材料的商品,如原油、有色金属、钢铁、农产品、铁矿石、煤炭等。包括3个类别,即能源商品、基础原材料和农副产品。
于本发明一实施例中,所述制定大宗商品数据提取规则包括:接收人工对于大宗商品相关数据的评价,基于所述评价生成大宗商品数据提取规则。例如接收人工评定所述大宗商品相关数据是否为取符合大宗商品数据提取规则的大宗商品数据的反馈,并基于所述反馈修改所述大宗商品数据提取规则。
于本发明一实施例中,所述大宗商品数据提取规则通过机器学习算法生成。接收人工对于大宗商品相关数据的评价,基于机器学习算法根据所述评价生成大宗商品数据提取规则。机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域,它主要使用归纳、综合而不是演绎。由于我们所提供的机器学习算法信息,数据中心机器学习算法正在变得越来越智能。机器学习算法是大数据能够给组织带来智能运营的关键组成部分。尽管机器学习算法算法趣味无穷,但机器学习算法技术本身很快就会变得复杂起来。所有人不可能都成为数据科学家,但IT专业人士需要了解我们的机器学习算法是如何学习的。机器学习算法可以是有人监督也或者是无人干预的。机器学习算法区别不在于算法是否可以为所欲为,而是是否要从具备真实结果的训练数据中学习--机器学习算法预先确定并添加到数据集中以提供监管--或者尝试发现给定数据集中的任何自然形态。大多数企业使用机器学习算法预测模型,对机器学习算法训练数据使用监督方式,而且通常旨在预测给定实例--邮件、人员、公司或者交易是否属于某个有趣的分类--垃圾邮件、潜在买家、信用良好或者获得后续报价。如果在机器学习算法开始之前你不是很清楚在寻找什么,那么无人干预的机器学习算法能够提供全新的洞察力。无人干预的机器学习算法还能够生成集群与层次结构图,机器学习算法显示数据的内在联系,机器学习算法还能够发现哪些数据字段看起来是独立的,哪些是规则描述、总结或者概括。反过来,机器学习算法这些洞察能够为构建更好的预测方法提供帮助。构建机器学习算法模型是一项反复练习的过程,需要机器学习算法清理数据和动手实验。目前市场上正在涌现一些自动和有向导的机器学习算法模型工具,它们承诺降低对数据科学家的依赖性,同时在常见领域获得最高的投资回报率。然而这里面真正的差别很可能需要你自己去发现。尽管机器学习算法能够提供多种好处,但是在使用机器学习算法过程中也有可能导致严重问题。机器学习算法初学者需要理解所输入数据、项目范围和目标,以及工作中使用的机器学习算法。机器学习是很多大数据项目背后的重要推动力量,但是即便IT部门投入大量精力,在机器学习算法具体实施过程当中事情也有可能朝着错误的方向发展。不幸的是,如果没有牢固掌握机器学习算法所输入数据的质量和准确性、实际的业务目标以及真实环境限制,那么机器学习算法预测模型很有可能具有严重的潜在风险(比如无法避免黑天鹅效应)。对于机器学习算法和大数据初学者来说,很容易编写出效率低下的机器学习算法复杂模型或者对特定数据进行重复分析。事实上,在将这种机器学习算法"广义"模型应用到生产环境之前,很难判定哪种才算是最佳方式。另外一种机器学习算法挑战是成功的定义会随着不同的使用情况而出现巨大差异。针对特定机器学习算法测试数据,可以使用数十种机器学习算法指标来描述机器学习算法模型数据输出结果的质量和准确性。即机器学习算法便对于IT专家来说,其至少需要熟悉机器学习算法输出结果的相关指标,并且了解各种机器学习算法象限知识,比如真正(TruePositive)被模型预测为正的正样本、真负(True Negative)被模型预测为负的负样本、假正(False Positive)被模型预测为正的负样本、假负(False Negative)被模型预测为负的正样本等。在机器学习算法和大数据领域,许多关键机器学习算法指标都是根据这四种基本机器学习算法测量结果推导而来。比如,通常会使用正确标记(真正+真负)的实例数量除以总实例数量来定义机器学习算法整体准确性。如果想要了解究竟有多少个正确的机器学习算法正实例,敏感性(或者召回率)就是真正的机器学习算法数量除以实际正数量(真正+假正)所得到的比例。通常机器学习算法精确度也是十分重要的,也就是真正(TruePositive)的数量除以所有被标记为正(真正+假正)的项目之和。机器学习算法将所有都标记为正的简化模型将会有100%的召回率,但是机器学习算法精确度和准确性会非常差--这种机器学习算法模型能够找到一切,但是机器学习算法却不能将小麦从谷壳当中挑选出来。因此通常需要机器学习算法从这些指标当中进行抉择以寻找最佳平衡点。在一些基于机器学习算法的大数据应用领域当中,比如机器学习算法针对性营销,机器学习算法相比于随机选择目标客户这种传统方式来说能够提高20%的效率。在其他领域当中,比如对100万人进行癌症检查时,即便是99%的准确率也会导致极其严重的后果:假设癌症的发病率非常低,那么这1%当中的大部分就是假正,从而导致需要对将近1万人进行不必要的治疗。这种情况下机器学习算法对于IT领域的影响。首先,主机存储和计算平台应该和尝试学习的种类相匹配。有时候应该进行离线机器学习算法,机器学习算法将结果模型应用在生产环境的简单计算步骤当中。而在其他时间机器学习算法是持续或者反复出现的(比如强化机器学习算法),需要更加靠近当前的数据流。相比于使用其他大数据扩展集群(比如Apache Mahout、MLlib和Madlib)的可分区库来说,一些机器学习算法能够实现更好可扩展性,然而其他方式可能需要更高速的计算互联通道以及读写事务存储架构以提高计算效率。机器学习算法可以使用一些内存工具来完成大型交付式数据挖掘或者预测工作,并且机器学习算法降低延迟。还有一些根据生产环境当中API调用情况进行收费的云主机机器学习算法服务,对于存储在云中的数据来说这种方式能提升成本效率。如果你已经拥有固定的程序业务领域,只是想要随意探索一下或者刚刚开始研究机器学习算法,那么机器学习算法可以使用Python和其他语言当中提供的相关免费包。你甚至可以在微软Azure当中注册一个免费开发、基于云的主机学习工作室。这些机器学习算法产品当中的大多数都可以运行在本地主机的小型数据集合上,或者机器学习算法针对生产环境扩展为大型数据集合。机器学习算法是一个十分热门的领域,每天我们都能听到厂商保证自己的特定机器学习算法产品能够简化平均业务分析过程。所有这些机器学习算法预测模型都不具有人工智能。是的,通过寻找和探索数据方面的更深层次模型,其能够提供真实和多种业务优势,但是通过这种机器学习算法方式建立的一切都是相关性。就像学校经常告诉我们的一样,相关性不代表明确的因果关系。但是,考虑到现在应用机器学习算法技术已经变得非常容易--只需要研究感兴趣的机器学习算法数据集合,因此所有IT部门都可以学习自己的内部专业知识--收集和清除数据、制定开发流程、协助模型效果等,并且机器学习算法应用在生产环境当中。在数据科学方面的专业知识是非常宝贵和难得的,但是考虑到这个机器学习算法领域正在发生的快速变化,企业应该马上开始机器学习算法研究工作,不要期望获得成熟的科学家团队来顺利完成机器学习算法这样的任务。机器学习算法可以分为干涉性学习、非干涉性学习、半干涉性学习和强化学习。以上学习包括但不限于:决策树(DecisionTrees)、朴素贝叶斯分类(Naive Bayesian classification)、最小二乘法(OrdinaryLeast Squares Regression)、逻辑回归(Logistic Regression)、支持向量机(SupportVector Machine,SVM)、集成方法(Ensemble methods)、聚类算法(ClusteringAlgorithms)、主成分分析(Principal Component Analysis,PCA)、奇异值分解(SingularValue Decomposition,SVD)、独立成分分析(Independent Component Analysis,ICA)。
于本发明一实施例中,所述制定大宗商品数据提取规则包括:设定大宗商品相关数据筛选关键词,基于所述筛选关键词制定大宗商品数据提取规则。具体地,人工设置大宗商品相关数据筛选关键词,基于所述筛选关键词制定大宗商品数据提取规则。
于本发明一实施例中,所述报告内容包括但不限于:不同金属类型、金属价格对应的时间、金属价格的周涨跌、金属价格的月涨跌、金属相关价格点的价格数据、一定周期内的价格走势、金属行业的热点资讯、相关行业的国内外政策及制度、金属进出口量信息、金属供需关系等。
于本发明一实施例中,所述报告包括但不限于图片、表格、文字形式。
于本发明一实施例中,基于用户的订阅信息制定所述预设模板。。
于本发明一实施例中,所述大宗商品数据提取规则的制定包括干涉性学习:将大量的大宗商品相关数据作为训练数据进行输入,每次训练产出一个明确的大宗商品报告,然后根据实际现有历史分析报告进行对比。不断根据准确率进行大宗商品数据提取规则调整,最终达到预期的准确率。
于本发明一实施例中,所述大宗商品数据提取规则的制定包括非干涉性学习:输入的大宗商品相关数据不被特殊的标识,不做品目区分,不做数据包和分析报告的区分,让系统自主推断大宗商品相关数据的内在结构和组成,从而进行所述大宗商品数据提取规则制定。
于本发明一实施例中,所述大宗商品数据提取规则的制定包括半干涉性学习:输入的大宗商品相关数据进行部分标识,或仅仅提供品目区分,或仅仅标识类型,从而获取数据的内在结构以便合理的组织数据来进行所述大宗商品相关数据的制定。
于本发明一实施例中,所述大宗商品数据提取规则的制定包括强化学习:将大宗商品相关数据作为输入数据,直接对大宗商品数据提取规则进行反馈,同时对所述大宗商品数据提取规则立刻做出调整,以达到准确的大宗商品报告的输出。
步骤S12、制定大宗商品报告的预设模板,并基于所述大宗商品数据生成所述预设模板格式的大宗商品报告。
于本发明一实施例中,所述预设模板的内容包括以下任一一种或多种:不同金属类型、金属价格对应的时间、金属价格的周涨跌、金属价格的月涨跌、金属相关价格点的价格数据、一定周期内的价格走势、金属行业的热点资讯、相关行业的国内外政策及制度、金属进出口量信息、金属供需关系等。
于本发明一实施例中,所述预设模板的格式包括但不限于:文字、图片、表格、语音和视频。
于本发明一实施例中,基于用户的订阅信息制定所述预设模板。所述订阅信息包括但不限于:订阅频率、订阅时间段,订阅内容。
步骤S13、对所述大宗商品报告进行检测得到检测结果,并基于所述检测结果修改所述大宗商品数据提取规则直至所述大宗商品报告的准确率达到预设标准。
于本发明一实施例中,通过将基于大宗商品数据提取规则重新生成过去某个预设时间段的大宗商品报告与原有的历史数据和历史分析报告进行对比分析进行检测得到检测结果。还包括通过人为检测基于大宗商品数据提取规则重新生成过去某个预设时间段的大宗商品报告得到检测结果。基于所述检测结果修改所述大宗商品数据提取规则,直至所述大宗商品报告的准确率达到预设标准。具体地,所述预设标准为准确率99%及以上。即实现基于第一预设规则重新生成的过去某个预设时间段的预设种类的大宗商品报告与已有的历史分析报告相比准确率达到99%及以上。可以提供准确的大宗商品报告。革新企业传统的大宗商品报告制作方式,缩减人力成本,并且不断提高大宗商品报告的准确性和可靠性。
于本发明一实施例中,所述对所述大宗商品报告进行检测包括:自动检测所述大宗商品报告或基于人工检测所述大宗商品报告。
于本发明一实施例中,还包括自动对生成的大宗商品报告进行准确性判断,如果出现数据的较大出入则提交至预设部门进行所述大宗商品报告的审查。
于本发明一实施例中,还包括以下步骤:将所述达到预设标准的大宗商品报告发送至预设接收端,并接收所述预设接收端对于所述大宗商品报告的反馈,并基于所述反馈修改所述大宗商品数据提取规则。具体地,所述预设接收端包括但不限于客户的邮箱、其他系统、客户的网站。具体地,还包括以下步骤:基于客户的订阅信息,发送所述大宗商品报告至相应客户。例如,基于客户订阅信息的相应订阅内容发送相应频次、相应时间段、相应商品种类的大宗商品报告至客户预留的邮箱,并接收客户基于所述大宗商品报告的反馈,并基于所述反馈修改完善所述大宗商品数据提取规则。实现企业不同系统的无缝衔接,减少不同运营人员的参与,同时也能降低人工处理问题的出错概率。
于本发明一实施例中,还提供与用户的交互功能,在用户订阅大宗商品报告时,获取用户的需求信息,包括但不限于大宗商品品目、价格点分类、时间点、用户的定位等,并基于所述用户的需求信息生成大宗商品报告。能够实现不同企业订阅大宗商品报告的智能分发,保证系统不断智能化。实现个性化的内容定制,结合不同用户的行为分析,合理绘制用户画像,针对用户的检索关键词进行匹配,智能生成个性化的行情报告,以供不同用户进行决策使用。
于本发明一实施例中,根据用户的搜索关键词进行大宗商品报告的试阅和订阅推荐。实现个性化的内容定制,结合不同用户的行为分析,合理绘制用户画像,针对用户的检索关键词进行匹配,智能生成个性化的大宗商品报告,以供不同用户进行决策使用。
于本发明一实施例中,基于用户的指令完成大宗商品报告的订阅。
于本发明一实施例中,所述大宗商品报告支持在线观看、邮件发送至相应用户等操作。
如图2所示,于一实施例中,本发明的大宗商品数据提取及报告生成的系统,包括:获取模块21、制定模块22和修改模块23。
所述获取模块21用于获取大宗商品相关数据,制定大宗商品数据提取规则,从所述大宗商品相关数据中选取符合大宗商品数据提取规则的大宗商品数据。
于本发明一实施例中,所述大宗商品相关数据包括但不限于企业多年的积累的大量大宗商品数据、历史记录的大宗商品报告、微博相关信息、网页相关信息、财经信息。所述大宗商品是指可进入流通领域,但非零售环节,具有商品属性并用于工农业生产与消费使用的大批量买卖的物质商品。在金融投资市场,大宗商品指同质化、可交易、被广泛作为工业基础原材料的商品,如原油、有色金属、钢铁、农产品、铁矿石、煤炭等。包括3个类别,即能源商品、基础原材料和农副产品。
于本发明一实施例中,所述制定大宗商品数据提取规则包括:接收人工对于大宗商品相关数据的评价,基于所述评价生成大宗商品数据提取规则。例如接收人工评定所述大宗商品相关数据是否为取符合大宗商品数据提取规则的大宗商品数据的反馈,并基于所述反馈修改所述大宗商品数据提取规则。
于本发明一实施例中,所述大宗商品数据提取规则通过机器学习算法生成。接收人工对于大宗商品相关数据的评价,基于机器学习算法根据所述评价生成大宗商品数据提取规则。
于本发明一实施例中,所述制定大宗商品数据提取规则包括:设定大宗商品相关数据筛选关键词,基于所述筛选关键词制定大宗商品数据提取规则。具体地,人工设置大宗商品相关数据筛选关键词,基于所述筛选关键词制定大宗商品数据提取规则。
于本发明一实施例中,所述报告内容包括但不限于:不同金属类型、金属价格对应的时间、金属价格的周涨跌、金属价格的月涨跌、金属相关价格点的价格数据、一定周期内的价格走势、金属行业的热点资讯、相关行业的国内外政策及制度、金属进出口量信息、金属供需关系等。
于本发明一实施例中,所述报告包括但不限于图片、表格、文字形式。
于本发明一实施例中,基于用户的订阅信息制定所述预设模板。。
于本发明一实施例中,所述大宗商品数据提取规则的制定包括干涉性学习:将大量的大宗商品相关数据作为训练数据进行输入,每次训练产出一个明确的大宗商品报告,然后根据实际现有历史分析报告进行对比。不断根据准确率进行大宗商品数据提取规则调整,最终达到预期的准确率。
于本发明一实施例中,所述大宗商品数据提取规则的制定包括非干涉性学习:输入的大宗商品相关数据不被特殊的标识,不做品目区分,不做数据包和分析报告的区分,让系统自主推断大宗商品相关数据的内在结构和组成,从而进行所述大宗商品数据提取规则制定。
于本发明一实施例中,所述大宗商品数据提取规则的制定包括半干涉性学习:输入的大宗商品相关数据进行部分标识,或仅仅提供品目区分,或仅仅标识类型,从而获取数据的内在结构以便合理的组织数据来进行所述大宗商品相关数据的制定。
于本发明一实施例中,所述大宗商品数据提取规则的制定包括强化学习:将大宗商品相关数据作为输入数据,直接对大宗商品数据提取规则进行反馈,同时对所述大宗商品数据提取规则立刻做出调整,以达到准确的大宗商品报告的输出。
所述制定模块22用于制定大宗商品报告的预设模板,并基于所述大宗商品数据生成所述预设模板格式的大宗商品报告。
于本发明一实施例中,所述预设模板的内容包括以下任一一种或多种:不同金属类型、金属价格对应的时间、金属价格的周涨跌、金属价格的月涨跌、金属相关价格点的价格数据、一定周期内的价格走势、金属行业的热点资讯、相关行业的国内外政策及制度、金属进出口量信息、金属供需关系等。
于本发明一实施例中,所述预设模板的格式包括但不限于:文字、图片、表格、语音和视频。
于本发明一实施例中,基于用户的订阅信息制定所述预设模板。所述订阅信息包括但不限于:订阅频率、订阅时间段,订阅内容。
所述修改模块23用于对所述大宗商品报告进行检测得到检测结果,并基于所述检测结果修改所述大宗商品数据提取规则直至所述大宗商品报告的准确率达到预设标准。
于本发明一实施例中,通过将基于大宗商品数据提取规则重新生成过去某个预设时间段的大宗商品报告与原有的历史数据和历史分析报告进行对比分析进行检测得到检测结果。还包括通过人为检测基于大宗商品数据提取规则重新生成过去某个预设时间段的大宗商品报告得到检测结果。基于所述检测结果修改所述大宗商品数据提取规则,直至所述大宗商品报告的准确率达到预设标准。具体地,所述预设标准为准确率99%及以上。即实现基于第一预设规则重新生成的过去某个预设时间段的预设种类的大宗商品报告与已有的历史分析报告相比准确率达到99%及以上。可以提供准确的大宗商品报告。革新企业传统的大宗商品报告制作方式,缩减人力成本,并且不断提高大宗商品报告的准确性和可靠性。
于本发明一实施例中,所述对所述大宗商品报告进行检测包括:自动检测所述大宗商品报告或基于人工检测所述大宗商品报告。
于本发明一实施例中,还包括自动对生成的大宗商品报告进行准确性判断,如果出现数据的较大出入则提交至预设部门进行所述大宗商品报告的审查。
于本发明一实施例中,还包括以下步骤:将所述达到预设标准的大宗商品报告发送至预设接收端,并接收所述预设接收端对于所述大宗商品报告的反馈,并基于所述反馈修改所述大宗商品数据提取规则。具体地,所述预设接收端包括但不限于客户的邮箱、其他系统、客户的网站。具体地,还包括以下步骤:基于客户的订阅信息,发送所述大宗商品报告至相应客户。例如,基于客户订阅信息的相应订阅内容发送相应频次、相应时间段、相应商品种类的大宗商品报告至客户预留的邮箱,并接收客户基于所述大宗商品报告的反馈,并基于所述反馈修改完善所述大宗商品数据提取规则。实现企业不同系统的无缝衔接,减少不同运营人员的参与,同时也能降低人工处理问题的出错概率。
于本发明一实施例中,还提供与用户的交互功能,在用户订阅大宗商品报告时,获取用户的需求信息,包括但不限于大宗商品品目、价格点分类、时间点、用户的定位等,并基于所述用户的需求信息生成大宗商品报告。能够实现不同企业订阅大宗商品报告的智能分发,保证系统不断智能化。实现个性化的内容定制,结合不同用户的行为分析,合理绘制用户画像,针对用户的检索关键词进行匹配,智能生成个性化的行情报告,以供不同用户进行决策使用。
于本发明一实施例中,根据用户的搜索关键词进行大宗商品报告的试阅和订阅推荐。实现个性化的内容定制,结合不同用户的行为分析,合理绘制用户画像,针对用户的检索关键词进行匹配,智能生成个性化的大宗商品报告,以供不同用户进行决策使用。
于本发明一实施例中,基于用户的指令完成大宗商品报告的订阅。
于本发明一实施例中,所述大宗商品报告支持在线观看、邮件发送至相应用户等操作。
需要说明的是,应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分,实际实现时可以全部或部分集成到一个物理实体上,也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现;也可以全部以硬件的形式实现;还可以部分模块通过处理元件调用软件的形式实现,部分模块通过硬件的形式实现。例如,x模块可以为单独设立的处理元件,也可以集成在上述装置的某一个芯片中实现,此外,也可以以程序代码的形式存储于上述装置的存储器中,由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起,也可以独立实现。这里所述的处理元件可以是一种集成电路,具有信号的处理能力。在实现过程中,上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如,以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(Application Specific Integrated Circuit,简称ASIC),或,一个或多个微处理器(Digital Singnal Processor,简称DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,简称FPGA)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(Central Processing Unit,简称CPU)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称SOC)的形式实现。
于本发明一实施例中,本发明还包括一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述任一所述大宗商品数据提取及报告生成的方法。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
如图3所示,于一实施例中,本发明的大宗商品数据提取及报告生成的装置包括:处理器31和存储器32;所述存储器32用于存储计算机程序;所述处理器31与所述存储器32相连,用于执行所述存储器32存储的计算机程序,以使所述大宗商品数据提取及报告生成的装置执行任一所述的大宗商品数据提取及报告生成的方法。
具体地,所述存储器32包括:ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
优选地,所述处理器31可以是通用处理器,包括中央处理器(Central ProcessingUnit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application SpecificIntegrated Circuit,简称ASIC)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
如图4所示,于一实施例中,本发明的大宗商品数据提取及报告生成的系统,包括上述的大宗商品数据提取及报告生成的装置41和接收装置42。
所述接收装置42用于接收所述大宗商品数据提取及报告生成的装置41宗商品报告,并发送所述大宗商品报告的反馈至所述大宗商品数据提取及报告生成的装置42。
于本发明一实施例中,所述接收装置42包括但不限于:客户的邮箱、其他系统、客户的网站。
综上所述,本发明大宗商品数据提取及报告生成的方法、系统、介质及装置,减少行业分析师的人力成本;自动生成大宗商品报告并不断完善生成报告的能力;更好地进行大宗商品报告生成;避免出现错误报告。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (6)

1.一种大宗商品数据提取及报告生成的方法,其特征在于,包括以下步骤:
获取大宗商品相关数据,制定大宗商品数据提取规则,从所述大宗商品相关数据中选取符合大宗商品数据提取规则的大宗商品数据;
制定大宗商品报告的预设模板,并基于所述大宗商品数据生成所述预设模板格式的大宗商品报告;所述预设模板的内容包括以下任一种或多种:不同金属类型、金属价格对应的时间、金属价格的周涨跌、金属价格的月涨跌、金属相关价格点的价格数据、一定周期内的价格走势、金属行业的热点资讯、相关行业的国内外政策及制度、金属进出口量信息和金属供需关系;
对所述大宗商品报告进行检测得到检测结果,并基于所述检测结果修改所述大宗商品数据提取规则直至所述大宗商品报告的准确率达到预设标准;通过将基于大宗商品数据提取规则重新生成过去某个预设时间段的大宗商品报告与原有的历史数据和历史分析报告进行对比分析进行检测得到检测结果;
所述制定大宗商品数据提取规则包括:
接收人工对于大宗商品相关数据的评价,基于机器学习算法根据所述评价生成大宗商品数据提取规则;
设定大宗商品相关数据筛选关键词,基于所述筛选关键词制定大宗商品数据提取规则;
所述大宗商品数据提取规则的制定包括干涉性学习:将大量的大宗商品相关数据作为训练数据进行输入,每次训练产出一个明确的大宗商品报告,然后根据实际现有历史分析报告进行对比;不断根据准确率进行大宗商品数据提取规则调整,最终达到预期的准确率;
所述大宗商品数据提取规则的制定包括非干涉性学习:输入的大宗商品相关数据不被特殊的标识,不做品目区分,不做数据包和分析报告的区分,让系统自主推断大宗商品相关数据的内在结构和组成,从而进行所述大宗商品数据提取规则制定;
所述大宗商品数据提取规则的制定包括半干涉性学习:输入的大宗商品相关数据进行部分标识,或仅仅提供品目区分,或仅仅标识类型,从而获取数据的内在结构以便合理的组织数据来进行所述大宗商品相关数据的制定;
或/和
所述大宗商品数据提取规则的制定包括强化学习:将大宗商品相关数据作为输入数据,直接对大宗商品数据提取规则进行反馈,同时对所述大宗商品数据提取规则立刻做出调整,以达到准确的大宗商品报告的输出;
将所述达到预设标准的大宗商品报告发送至接收端,并接收所述接收端对于所述大宗商品报告的反馈,并基于所述反馈修改所述大宗商品数据提取规则;
提供与用户的交互功能,在用户订阅大宗商品报告时,获取用户的需求信息,包括大宗商品品目、价格点分类、时间点、用户的定位,并基于所述用户的需求信息生成大宗商品报告;
实现个性化的内容定制,结合不同用户的行为分析,合理绘制用户画像,针对用户的检索关键词进行匹配,智能生成个性化的行情报告;
根据用户的搜索关键词进行大宗商品报告的试阅和订阅推荐;
或/和
基于用户的指令完成大宗商品报告的订阅;
基于用户的订阅信息制定所述预设模板;所述订阅信息包括订阅频率、订阅时间段,订阅内容。
2.根据权利要求1所述的大宗商品数据提取及报告生成的方法,其特征在于,所述对所述大宗商品报告进行检测包括:
自动检测所述大宗商品报告或基于人工检测所述大宗商品报告。
3.一种大宗商品数据提取及报告生成的系统,其特征在于,包括:获取模块、制定模块和修改模块;
所述获取模块用于获取大宗商品相关数据,制定大宗商品数据提取规则,从所述大宗商品相关数据中选取符合大宗商品数据提取规则的大宗商品数据;
所述制定模块用于制定大宗商品报告的预设模板,并基于所述大宗商品数据生成所述预设模板格式的大宗商品报告;所述预设模板的内容包括以下任一种或多种:不同金属类型、金属价格对应的时间、金属价格的周涨跌、金属价格的月涨跌、金属相关价格点的价格数据、一定周期内的价格走势、金属行业的热点资讯、相关行业的国内外政策及制度、金属进出口量信息和金属供需关系;
所述修改模块用于对所述大宗商品报告进行检测得到检测结果,并基于所述检测结果修改所述大宗商品数据提取规则直至所述大宗商品报告的准确率达到预设标准;通过将基于大宗商品数据提取规则重新生成过去某个预设时间段的大宗商品报告与原有的历史数据和历史分析报告进行对比分析进行检测得到检测结果;
所述制定大宗商品数据提取规则包括:
接收人工对于大宗商品相关数据的评价,基于机器学习算法根据所述评价生成大宗商品数据提取规则;
设定大宗商品相关数据筛选关键词,基于所述筛选关键词制定大宗商品数据提取规则;
所述大宗商品数据提取规则的制定包括干涉性学习:将大量的大宗商品相关数据作为训练数据进行输入,每次训练产出一个明确的大宗商品报告,然后根据实际现有历史分析报告进行对比;不断根据准确率进行大宗商品数据提取规则调整,最终达到预期的准确率;
所述大宗商品数据提取规则的制定包括非干涉性学习:输入的大宗商品相关数据不被特殊的标识,不做品目区分,不做数据包和分析报告的区分,让系统自主推断大宗商品相关数据的内在结构和组成,从而进行所述大宗商品数据提取规则制定;
所述大宗商品数据提取规则的制定包括半干涉性学习:输入的大宗商品相关数据进行部分标识,或仅仅提供品目区分,或仅仅标识类型,从而获取数据的内在结构以便合理的组织数据来进行所述大宗商品相关数据的制定;
或/和
所述大宗商品数据提取规则的制定包括强化学习:将大宗商品相关数据作为输入数据,直接对大宗商品数据提取规则进行反馈,同时对所述大宗商品数据提取规则立刻做出调整,以达到准确的大宗商品报告的输出;
将所述达到预设标准的大宗商品报告发送至接收端,并接收所述接收端对于所述大宗商品报告的反馈,并基于所述反馈修改所述大宗商品数据提取规则;
提供与用户的交互功能,在用户订阅大宗商品报告时,获取用户的需求信息,包括大宗商品品目、价格点分类、时间点、用户的定位,并基于所述用户的需求信息生成大宗商品报告;
实现个性化的内容定制,结合不同用户的行为分析,合理绘制用户画像,针对用户的检索关键词进行匹配,智能生成个性化的行情报告;
根据用户的搜索关键词进行大宗商品报告的试阅和订阅推荐;
或/和
基于用户的指令完成大宗商品报告的订阅;
基于用户的订阅信息制定所述预设模板;所述订阅信息包括订阅频率、订阅时间段,订阅内容。
4.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至2中任一项所述大宗商品数据提取及报告生成的方法。
5.一种大宗商品数据提取及报告生成的装置,其特征在于,包括:处理器和存储器;
所述存储器用于存储计算机程序;
所述处理器与所述存储器相连,用于执行所述存储器存储的计算机程序,以使所述大宗商品数据提取及报告生成的装置执行权利要求1至2中任一项所述的大宗商品数据提取及报告生成的方法。
6.一种大宗商品数据提取及报告生成的系统,其特征在于,包括权利要求5所述的大宗商品数据提取及报告生成的装置和接收装置;
所述接收装置用于接收所述大宗商品数据提取及报告生成的装置发送的大宗商品报告,并发送所述大宗商品报告的反馈至所述大宗商品数据提取及报告生成的装置。
CN201910555445.9A 2019-06-25 2019-06-25 大宗商品数据提取及报告生成的方法、系统、介质及装置 Active CN110335072B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910555445.9A CN110335072B (zh) 2019-06-25 2019-06-25 大宗商品数据提取及报告生成的方法、系统、介质及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910555445.9A CN110335072B (zh) 2019-06-25 2019-06-25 大宗商品数据提取及报告生成的方法、系统、介质及装置

Publications (2)

Publication Number Publication Date
CN110335072A CN110335072A (zh) 2019-10-15
CN110335072B true CN110335072B (zh) 2023-11-21

Family

ID=68142434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910555445.9A Active CN110335072B (zh) 2019-06-25 2019-06-25 大宗商品数据提取及报告生成的方法、系统、介质及装置

Country Status (1)

Country Link
CN (1) CN110335072B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101611B (zh) * 2020-07-31 2022-11-18 重庆锐云科技有限公司 房地产客户复购时间的预测方法、服务器及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170017982A1 (en) * 2015-07-13 2017-01-19 Keith Douglas TRIPPIE System and method of providing an information technology services report
CN106097009A (zh) * 2016-06-13 2016-11-09 上海钢联电子商务股份有限公司 一种大宗商品行业数据分析服务平台
US20180165724A1 (en) * 2016-12-13 2018-06-14 International Business Machines Corporation Method and system for contextual business intelligence report generation and display
CN106649223A (zh) * 2016-12-23 2017-05-10 北京文因互联科技有限公司 基于自然语言处理的金融报告自动生成方法
CN107808339A (zh) * 2017-09-07 2018-03-16 广西钱盆科技股份有限公司 一种数据采集分析系统
CN109544162A (zh) * 2018-11-30 2019-03-29 上海浑度商务咨询有限公司 基于区块链的大宗商品通证系统及计算机可读介质

Also Published As

Publication number Publication date
CN110335072A (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
See-To et al. Customer reviews for demand distribution and sales nowcasting: a big data approach
Lim et al. Business intelligence and analytics: Research directions
US8655737B1 (en) Brand name synonymy
Prihastomo et al. The key success factors in e-marketplace implementation: A systematic literature review
Yu et al. Personalized item recommendation for second-hand trading platform
US11741111B2 (en) Machine learning systems architectures for ranking
US20190080352A1 (en) Segment Extension Based on Lookalike Selection
CN111695024A (zh) 对象评估值的预测方法及系统、推荐方法及系统
Li et al. Do online reviews truly matter? A study of the characteristics of consumers involved in different online review scenarios
Jie et al. Bidding via clustering ads intentions: an efficient search engine marketing system for ecommerce
Agarwal et al. Recommender system for surplus stock clearance
CN110335072B (zh) 大宗商品数据提取及报告生成的方法、系统、介质及装置
Li et al. Impact of data-driven online financial consumption on supply chain services
CN107209897A (zh) 处理和分析用户数据以便确定关键词质量
US11977565B2 (en) Automated data set enrichment, analysis, and visualization
CN110738538B (zh) 识别相似物品的方法和装置
Xiao et al. Analysis of influencing factors and enterprise strategy of online consumer behavior decision based on association rules and mobile computing
Ehsani et al. Customer purchase prediction in electronic markets from clickstream data using the Oracle meta-classifier
Luo et al. Click-Through Rate Prediction Models based on Interest Modeling
Qing et al. Data Mining Technology in Business Data Analysis
Liu Research on E-commerce Precision Marketing Model Based on Big Data Technology
Ganesh et al. Characterising Online Purchasing Behaviour
Diqi Deeprec: Efficient product recommendation model for e-commerce using cnn
Anju et al. Sentimental Analysis for E-Commerce Website
Liu et al. Automatic Recommendation Algorithm for E-Commerce Personalized Information Based on B2C Data Model Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant