CN105117468B - 一种网络数据处理方法和装置 - Google Patents
一种网络数据处理方法和装置 Download PDFInfo
- Publication number
- CN105117468B CN105117468B CN201510542894.1A CN201510542894A CN105117468B CN 105117468 B CN105117468 B CN 105117468B CN 201510542894 A CN201510542894 A CN 201510542894A CN 105117468 B CN105117468 B CN 105117468B
- Authority
- CN
- China
- Prior art keywords
- data
- data processing
- record
- stock
- predicted value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种网络数据处理的方法和装置,涉及通讯领域,以提高网络数据处理的效率。所述方法包括:获取网络上的数据;根据获取的所述数据,采用自学习的方式生成数据处理模型;利用所述数据处理模型对数据进行处理。本发明用于数据处理。
Description
技术领域
本发明涉及通讯领域,特别涉及一种网络数据处理方法和装置。
背景技术
随着计算机技术和网络的不断发展,现如今已越来越多的需要对网络上的各种数据进行处理。
相关技术中,往往利用数据爬取技术从网络获取数据,然后基于获取到的数据进行手动分析处理,但是这种分析处理数据的方式往往效率不高。因而,需要一种对数据高效处理的方式。
发明内容
本发明实施例提供一种网络数据处理方法和装置,以提高网络数据处理的效率。
第一方面,提供一种网络数据处理的方法,所述方法包括:
获取网络上的数据;
根据获取的所述数据,采用自学习的方式生成数据处理模型;
利用所述数据处理模型对数据进行处理。
可选地,在一个实施例中,所述数据包括项目代码和/或项目名称,
所述获取网络上的数据包括:获取网络上与项目代码和/或项目名称有关的所有记录,所述记录包含所述项目代码和/或所述项目名称;
所述根据获取的数据,采用自学习的方式生成数据处理模型包括:从获取的所有记录中选取预定数目的记录形成训练集,根据所述训练集中的记录,采用自学习的方式生成数据处理模型;
所述利用所述数据处理模型对数据进行处理包括:利用所述数据处理模型对获取的记录进行处理。
可选地,所述根据所述训练集中的记录,采用自学习的方式生成数据处理模型可包括:
将所述训练集中的每一条记录转换成向量表示;
利用所述向量表示通过卷积神经网络生成数据处理模型。
可选地,在本发明的一个实施例中,所述项目为股票,所述利用所述数据处理模型对后续获取的记录进行处理包括:
利用所述数据处理模型对获取的记录进行处理,以得到每一条记录的预测值;
对得到的所有预测值计算平均值,以得到股票的平均预测值;
基于所述平均预测值,确定所述股票的涨跌。
可选地,所述预测值的范围为﹣1到1,所述基于所述平均预测值,确定所述股票的涨跌包括:
如果所述平均预测值大于0,则确定所述股票的趋势为涨;
如果所述平均预测值小于0,则确定所述股票的趋势为跌。
第二方面,提供一种网络数据处理的装置,所述装置包括:
获取模块,用于获取网络上的数据;
生成模块,用于根据所述获取模块获取的所述数据,采用自学习的方式生成数据处理模型;
处理模块,用于利用生成模块生成的所述数据处理模型对数据进行处理。
可选地,在本发明的一个实施例中,所述数据包括项目代码和/或项目名称,
所述获取模块具体用于:获取网络上预定数目的记录,以形成训练集,所述记录包含所述项目代码和/或所述项目名称;
所述生成模块具体用于:根据所述训练集中的记录,采用自学习的方式生成数据处理模型;
所述处理模块具体用于:利用所述数据处理模型对后续获取的记录进行处理。
可选地,所述生成模块具体用于:
将所述训练集中的每一条记录转换成向量表示;
利用所述向量表示通过卷积神经网络生成数据处理模型。
可选地,在本发明的一个实施例中,所述项目为股票,所述处理模块具体用于:
利用所述数据处理模型对后续获取的记录进行处理,以得到每一条记录的预测值;
对得到的所有预测值计算平均值,以得到股票的平均预测值;
基于所述平均预测值,确定所述股票的涨跌。
可选地,所述预测值的范围为﹣1到1,所述处理模块具体用于:
如果所述平均预测值大于0,则确定所述股票的趋势为涨;
如果所述平均预测值小于0,则确定所述股票的趋势为跌。
本发明实施例提供的网络数据处理的方法和装置,在得到网络数据后,基于获取得到的数据,采用自学习的方式来生成数据处理模型,这样一来,后续即可生成的数据处理模型来对数据进行处理,实现了数据处理的自动化,提高了数据处理的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的网络数据处理的方法的流程图;
图2是本发明实施例提供的网络数据处理的装置的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
图1是本发明实施例提供的一种网络数据处理的方法。参照图1,本发明实施例提供的网络数据处理的方法可包括:
11、获取网络上的数据。
其中,所述数据可以为用户需要进行处理分析的任何类型的数据,例如像股票名称、股票代码之类的与股票有关的数据,与商品价格有关的数据等等。需要了解的是,下文说明在针对与股票有关的数据描述时,该说明也可以适用于与商品价格有关的数据,或视使用情况而定,也可以适用于其他类型的数据。
本发明实施例中的所述数据可以为存在于网络社区的文字数据,例如,网友的评论和发帖等等。
所述获取网络上的数据可以利用爬取技术来完成。一种具体的获取数据的方式为:内存中维持一个队列来存放URL,同时新建线程池,线程池中的线程不断读取队列中的URL,并利用HTTP请求拉取该URL下的页面内容,在得到页面内容后,解析该页面内容,并将该页面内容的URL添加到所述队列中,之后继续对该页面内容中的文字进行解析,并存入数据库。
12、根据获取的所述数据,采用自学习的方式生成数据处理模型。
13、利用所述数据处理模型对数据进行处理。
本发明实施例提供的网络数据处理的方法,在得到网络数据后,基于获取得到的数据,采用自学习的方式来生成数据处理模型,这样一来,后续即可生成的数据处理模型来对数据进行处理,实现了数据处理的自动化,提高了数据处理的效率。
可选地,在本发明的一个实施例中,所述数据可包括项目代码和/或项目名称,所述项目可以为股票,也可以为商品等。即在获取数据时可以获取包含股票代码和/或股票名称的记录,也可以获取包含商品名称和/或商品代码的记录。其中,记录的数目可以预先进行设置。步骤11中所述获取网络上的数据可包括:获取网络上与项目代码和/或项目名称有关的所有记录,所述记录包含所述项目代码和/或所述项目名称。
相应地,步骤12中,所述根据获取的数据,采用自学习的方式生成数据处理模型包括:从获取的所有记录中选取预定数目的记录形成训练集,根据所述训练集中的记录,采用自学习的方式生成数据处理模型。
相应地,步骤13中,所述利用所述数据处理模型对数据进行处理包括:利用所述数据处理模型对获取的记录进行处理。
在本发明实施例中可以选取一定数目的记录组成训练集,该数目可以视情况来选定,而当记录较少时,可以选取较少数目的记录组成训练集;当记录较多时,可选取相对较多数目的记录组成训练集。一旦训练集选取好后,即可根据这个训练集采用自学习的方式来生成数据处理模型。如此一来,用相对较少的记录即可形成数据处理模型,而一旦数据处理模型形成后,即可对后续得到的记录进行自动处理,提高了数据处理的效率。
可选地,在本发明实施例中,根据所述训练集中的记录,采用自学习的方式生成数据处理模型可包括:
将所述训练集中的每一条记录转换成向量表示;
利用所述向量表示通过卷积神经网络生成数据处理模型。
本发明实施例利用特征提取和卷积神经网络相结合的方式来生成数据处理模型,能够保证生成的数据处理模型能以较高准确性的数据进行处理。
可选地,在获取的数据为股票代码和/或股票名称时,所述利用所述数据处理模型对获取的记录进行处理可包括:
利用所述数据处理模型对获取的记录进行处理,以得到每一条记录的预测值;
对得到的所有预测值计算平均值,以得到股票的平均预测值;
基于所述平均预测值,确定所述股票的涨跌。
由于平均值能够更好地反映预测值的整体情况,本发明实施例采用对预测值求平均值的方式可以保证对股票的预测更精准。
可选地,在本发明实施例中够可以对预测值设置一个范围,该范围可根据需要来设置。一种常见的方式是将所述预测值的范围设置为﹣1到1。此时,所述基于所述平均预测值,确定所述股票的涨跌可包括:
如果所述平均预测值大于0,则确定所述股票的趋势为涨;
如果所述平均预测值小于0,则确定所述股票的趋势为跌。
本发明实施例以非常直观的方式来对股票的趋势进行显示,可以方便用户判断股票的走势,提高用户体验。
为更好地理解本发明的技术方案,下面以获取的数据包括股票代码和/或股票名称为例,通过具体的实施例来对本发明进行进一步阐释。
本实施例提供的网络数据处理的方法可包括如下步骤:
从网络获取与用户指定的股票代码和/或股票名称有关的所有记录,并选取预定数目的记录组成训练集。其中,所述预定数目可以根据获取得到的记录的总量来确定。
将所述训练集中的每一条记录转换成向量表示。具体地,对训练集中每一条记录中句子的每个词可以设定一个编号,比如“我是谁”中,“我”编号为1,“是”编号为2,“谁”编号为3;然后,把每个句子转换成向量表示,比如我是谁则为向量(1,2,3)。
利用所述向量表示通过卷积神经网络生成数据处理模型。其中,有关卷积神经网络的内容可参照现有技术,在此不做赘述。在本发明实施例中可利用卷积神经网络的思想来生成数据处理模型。
利用所述数据处理模型对获取的记录进行处理,以得到每一条记录的预测值。
对得到的所有预测值计算平均值,以得到股票的平均预测值。
基于所述平均预测值,确定所述股票的涨跌。例如,所述预测值的范围可以为﹣1到1,如果所述平均预测值大于0,则确定所述股票的趋势为涨;如果所述平均预测值小于0,则确定所述股票的趋势为跌。
本实施例提供的网络数据处理的方法,通过采用自学习方式形成数据处理模型可以提高数据处理的效率,而且,将数据处理模型应用于股票预测,可以更好地满足用户需求。
图2是本发明实施例提供的一种网络数据处理的装置。参照图2,本发明实施例提供的网络数据处理的装置200包括获取模块201、生成模块202以及处理模块203。其中:
获取模块201,用于获取网络上的数据;
生成模块202,用于根据所述获取模块获取的所述数据,采用自学习的方式生成数据处理模型;
处理模块203,用于利用生成模块生成的所述数据处理模型对数据进行处理。
本发明实施例提供的网络数据处理的装置,在得到网络数据后,基于获取得到的数据,采用自学习的方式来生成数据处理模型,这样一来,后续即可生成的数据处理模型来对数据进行处理,实现了数据处理的自动化,提高了数据处理的效率。
可选地,在本发明的一个实施例中,所述数据包括项目代码和/或项目名称。
所述获取模块201具体用于:获取网络上预定数目的记录,以形成训练集,所述记录包含所述项目代码和/或所述项目名称;
所述生成模块202具体用于:根据所述训练集中的记录,采用自学习的方式生成数据处理模型;
所述处理模块203具体用于:利用所述数据处理模型对后续获取的记录进行处理。
本实施例用相对较少的记录即可形成数据处理模型,而一旦数据处理模型形成后,即可对后续得到的记录进行自动处理,提高了数据处理的效率。
可选地,所述生成模块202具体用于:
将所述训练集中的每一条记录转换成向量表示;
利用所述向量表示通过卷积神经网络生成数据处理模型。
本发明实施例利用特征提取和卷积神经网络相结合的方式来生成数据处理模型,能够保证生成的数据处理模型能以较高准确性的数据进行处理。
可选地,在本发明的另一个实施例中,所述项目为股票,所述处理模块203具体用于:
利用所述数据处理模型对后续获取的记录进行处理,以得到每一条记录的预测值;
对得到的所有预测值计算平均值,以得到股票的平均预测值;
基于所述平均预测值,确定所述股票的涨跌。
由于平均值能够更好地反映预测值的整体情况,本发明实施例采用对预测值求平均值的方式可以保证对股票的预测更精准。
其中,可选地,所述预测值的范围可以为﹣1到1,所述处理模块203可具体用于:
如果所述平均预测值大于0,则确定所述股票的趋势为涨;
如果所述平均预测值小于0,则确定所述股票的趋势为跌。
本发明实施例以非常直观的方式来对股票的趋势进行显示,可以方便用户判断股票的走势,提高用户体验。
需要说明的是:上述实施例提供的网络数据处理的装置在描述时仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将所说网络数据处理的装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的网络数据处理的装置和网络数据处理的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种网络数据处理的方法,其特征在于,所述方法包括:
获取网络上的数据,所述数据为存在于网络社区的文字数据;
根据获取的所述数据,采用自学习的方式生成数据处理模型;
利用所述数据处理模型对数据进行处理,
所述数据包括项目代码和/或项目名称,
所述获取网络上的数据包括:获取网络上与项目代码和/或项目名称有关的所有记录,所述记录包含所述项目代码和/或所述项目名称;
所述根据获取的数据,采用自学习的方式生成数据处理模型包括:从获取的所有记录中选取预定数目的记录形成训练集,根据所述训练集中的记录,采用自学习的方式生成数据处理模型;
所述利用所述数据处理模型对数据进行处理包括:利用所述数据处理模型对获取的记录进行处理,
所述项目为股票,所述利用所述数据处理模型对获取的记录进行处理包括:
利用所述数据处理模型对获取的记录进行处理,以得到每一条记录的预测值;
对得到的所有预测值计算平均值,以得到股票的平均预测值;
基于所述平均预测值,确定所述股票的涨跌。
2.根据权利要求1所述的方法,其特征在于,根据所述训练集中的记录,采用自学习的方式生成数据处理模型包括:
将所述训练集中的每一条记录转换成向量表示;
利用所述向量表示通过卷积神经网络生成数据处理模型。
3.根据权利要求1所述的方法,其特征在于,所述预测值的范围为﹣1到1,所述基于所述平均预测值,确定所述股票的涨跌包括:
如果所述平均预测值大于0,则确定所述股票的趋势为涨;
如果所述平均预测值小于0,则确定所述股票的趋势为跌。
4.一种网络数据处理的装置,其特征在于,所述装置包括:
获取模块,用于获取网络上的数据,所述数据为存在于网络社区的文字数据;
生成模块,用于根据所述获取模块获取的所述数据,采用自学习的方式生成数据处理模型;
处理模块,用于利用生成模块生成的所述数据处理模型对数据进行处理,
所述数据包括项目代码和/或项目名称,
所述获取模块具体用于:获取网络上预定数目的记录,以形成训练集,所述记录包含所述项目代码和/或所述项目名称;
所述生成模块具体用于:根据所述训练集中的记录,采用自学习的方式生成数据处理模型;
所述处理模块具体用于:利用所述数据处理模型对后续获取的记录进行处理,
所述项目为股票,所述处理模块具体用于:
利用所述数据处理模型对后续获取的记录进行处理,以得到每一条记录的预测值;
对得到的所有预测值计算平均值,以得到股票的平均预测值;
基于所述平均预测值,确定所述股票的涨跌。
5.根据权利要求4所述的装置,其特征在于,所述生成模块具体用于:
将所述训练集中的每一条记录转换成向量表示;
利用所述向量表示通过卷积神经网络生成数据处理模型。
6.根据权利要求4所述的装置,其特征在于,所述预测值的范围为﹣1到1,所述处理模块具体用于:
如果所述平均预测值大于0,则确定所述股票的趋势为涨;
如果所述平均预测值小于0,则确定所述股票的趋势为跌。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510542894.1A CN105117468B (zh) | 2015-08-28 | 2015-08-28 | 一种网络数据处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510542894.1A CN105117468B (zh) | 2015-08-28 | 2015-08-28 | 一种网络数据处理方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105117468A CN105117468A (zh) | 2015-12-02 |
CN105117468B true CN105117468B (zh) | 2019-05-28 |
Family
ID=54665458
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510542894.1A Active CN105117468B (zh) | 2015-08-28 | 2015-08-28 | 一种网络数据处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105117468B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105573836B (zh) * | 2016-02-23 | 2018-12-28 | 中国农业银行股份有限公司 | 数据处理方法及装置 |
CN106503853A (zh) * | 2016-11-02 | 2017-03-15 | 华南师范大学 | 一种基于多标度卷积神经网络的外汇交易预测模型 |
CN107507052B (zh) * | 2017-07-17 | 2021-04-09 | 苏州凯联信息科技有限公司 | 一种报价信息获取方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101276454A (zh) * | 2007-12-05 | 2008-10-01 | 中原工学院 | 基于bp神经网络的股市建模、预测及决策的方法 |
CN103985055A (zh) * | 2014-05-30 | 2014-08-13 | 西安交通大学 | 一种基于网络分析和多模型融合的股市投资决策方法 |
CN104751363A (zh) * | 2015-03-24 | 2015-07-01 | 北京工商大学 | 基于贝叶斯分类器的股票中长期趋势预测方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100257117A1 (en) * | 2009-04-03 | 2010-10-07 | Bulloons.Com Ltd. | Predictions based on analysis of online electronic messages |
-
2015
- 2015-08-28 CN CN201510542894.1A patent/CN105117468B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101276454A (zh) * | 2007-12-05 | 2008-10-01 | 中原工学院 | 基于bp神经网络的股市建模、预测及决策的方法 |
CN103985055A (zh) * | 2014-05-30 | 2014-08-13 | 西安交通大学 | 一种基于网络分析和多模型融合的股市投资决策方法 |
CN104751363A (zh) * | 2015-03-24 | 2015-07-01 | 北京工商大学 | 基于贝叶斯分类器的股票中长期趋势预测方法及系统 |
Non-Patent Citations (1)
Title |
---|
基于神经网络的股票预测分析和研究;赵燕;《中国优秀硕士学位论文全文数据库 经济与管理科学辑》;20061215(第12期);正文第43-45、60页 |
Also Published As
Publication number | Publication date |
---|---|
CN105117468A (zh) | 2015-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108121795B (zh) | 用户行为预测方法及装置 | |
CN106372249B (zh) | 一种点击率预估方法、装置及电子设备 | |
CN104991899B (zh) | 用户属性的识别方法及装置 | |
CN109376844A (zh) | 基于云平台和模型推荐的神经网络自动训练方法和装置 | |
US20150052003A1 (en) | Providing Personalized Item Recommendations Using Scalable Matrix Factorization With Randomness | |
CN106250464B (zh) | 排序模型的训练方法及装置 | |
Wang | Encyclopedia of business analytics and optimization | |
CN107220094A (zh) | 页面加载方法、装置和电子设备 | |
CN110060090A (zh) | 推荐商品组合的方法、装置、电子设备及可读存储介质 | |
CN105095279B (zh) | 文件推荐方法和装置 | |
CN109784959B (zh) | 一种目标用户预测方法、装置、后台服务器及存储介质 | |
CN103714084A (zh) | 推荐信息的方法和装置 | |
CN107194430A (zh) | 一种样本筛选方法及装置,电子设备 | |
CN108665148B (zh) | 一种电子资源质量评价方法、装置和存储介质 | |
US10521437B2 (en) | Resource portfolio processing method, device, apparatus and computer storage medium | |
US9607081B2 (en) | Ontology based categorization of users | |
WO2013073377A1 (ja) | 情報拡散規模予測装置、情報拡散規模予測方法、および情報拡散規模予測プログラム | |
CN109511015A (zh) | 多媒体资源推荐方法、装置、存储介质及设备 | |
CN110334356A (zh) | 文章质量的确定方法、文章筛选方法、以及相应的装置 | |
CN105117468B (zh) | 一种网络数据处理方法和装置 | |
CN110175895A (zh) | 一种物品推荐方法及装置 | |
Milojević | Network analysis and indicators | |
CN109819002B (zh) | 数据推送方法和装置、存储介质及电子装置 | |
Rak | Modeling web client and system behavior | |
Selsaas et al. | AFFM: Auto feature engineering in field-aware factorization machines for predictive analytics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 510660 Guangzhou City, Guangzhou, Guangdong, Whampoa Avenue, No. 315, self - made 1-17 Applicant after: Guangzhou KuGou Networks Co., Ltd. Address before: 510000 B1, building, No. 16, rhyme Road, Guangzhou, Guangdong, China 13F Applicant before: Guangzhou KuGou Networks Co., Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |