CN106095777A - 基于大数据的预测证券市场多空情绪指标方法 - Google Patents

基于大数据的预测证券市场多空情绪指标方法 Download PDF

Info

Publication number
CN106095777A
CN106095777A CN201610361293.5A CN201610361293A CN106095777A CN 106095777 A CN106095777 A CN 106095777A CN 201610361293 A CN201610361293 A CN 201610361293A CN 106095777 A CN106095777 A CN 106095777A
Authority
CN
China
Prior art keywords
data
emotion
day
attribute
many
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610361293.5A
Other languages
English (en)
Inventor
陈志雄
胡浩
胡春华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Up Wealth Management Co ltd
Original Assignee
Up Wealth Management Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Up Wealth Management Co ltd filed Critical Up Wealth Management Co ltd
Priority to CN201610361293.5A priority Critical patent/CN106095777A/zh
Publication of CN106095777A publication Critical patent/CN106095777A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/06—Asset management; Financial planning or analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Technology Law (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本发明涉及大数据的预测证券市场多空情绪指标方法，属于计算机应用技术领域。包括如下步骤：步骤一：每日获取情绪数据；步骤二：利用智能分词、情感分析技术对步骤一获得的资讯、文章进行文本分析，获得相应的情感属性；步骤三：将步骤二获取到的大量情绪数据的情感属性整理放置到相应的历史数据库中，供调用计算。在本发明提出之前，对于证券市场的散户投资者观点以及机构投资者的观点与情绪的统计，均分布于各个媒体、平台、产品/服务之中，较为零散单薄，数据样本存在数量不足、数据噪音过多、数据属性不统一的问题，无法较为准确综合反映投资者的整体情绪。

Description

基于大数据的预测证券市场多空情绪指标方法
技术领域
本发明涉及基于大数据的预测证券市场多空情绪指标方法，属于计算机应用技术领域。
背景技术
随着证券市场和互联网财经媒体的发展，证券市场投资者、投资研究机构数量快速增长，同时每日有海量的财经资讯在互联网上呈现。国内财经互联网媒体纷纷设立专门的频道(页面)对投资者多空情绪进行调查统计，或搜集发布各大研究机构、分析师对于证券市场后市的多空观点。这些个人/机构的后市情绪观点在一定程度上反应了市场参与者、研究者对于市场走向的心理预期，对于判断市场趋势具备很大的应用价值。
大数据理论认为，当样本数据越多时，大数据越趋近反映事物的真实性。随着大数据理念在金融市场中的逐步实施利用，针对国内证券市场中的各种数据、资讯进行情绪挖掘的探索越来越多。本指标系统即是基于大数据方法论，创造性的将上述这些大量散落在各媒体中的市场情绪数据进行搜集整理聚合，并使用一定的计算模型将数据最终进行整合分析，能够综合反应市场整体多空情绪观点。
发明内容
为了实现上述目的，本发明提供一种涉及基于大数据的预测证券市场多空情绪指标方法。
本发明采取的技术方案如下：
基于大数据的预测证券市场多空情绪指标方法，包括如下步骤：
步骤1：每日获取情绪数据，所述情绪数据可以通过程序抓取或人工记录，尽可能多的每日从各大媒体的投资者后市多空调查频道中分别获取看多、看空、看平等不同属性的情绪数据，包括尽可能多的每日从各大财经资讯网站以及证券研究报告中获取足够多的研究机构、著名分析师的后市预测观点文章；
步骤2：利用智能分词、情感分析技术对步骤1获得的资讯、文章进行文本分析，获得相应的情感属性，情感属性包括看多、看空及看平；然后采用人工进行排查勘误，最终获得正确的情感属性，情感属性为多空看法；
步骤3：将步骤2获取到的大量情绪数据的情感属性整理放置到相应的历史数据库中，供调用计算；
步骤4：使用简单平均或加权平均计算模型对步骤3所述的历史数据库中获取到的所有统计情绪数据的情感属性样本来源中多个数据进行综合计算，得出每日近似整体市场的多空情绪综合属性，多空情绪综合属性包括看多、看空、看平；综合计算的方法如下：
从每日海量资讯中，标记出对当天大盘趋势观点的资讯，结合资讯热度、数据来源权重，得出市场评论人员对于市场的情绪：
R3＝∑(H1*DS)/(∑(H1*DS)+∑(H2*DS))，
R3:市场评论员对于市场看多的情绪，
H1：各看多资讯所对应热度，
H2：各看空资讯所对应热度，
DS：各财经门户网站权权重；
步骤5：将步骤4最终获得的多空情绪综合指标在前端分别用看多指数以及分歧指数的形式进行展示，以呈现每日市场投资者对于下一交易日的多空观点。
步骤1中所述的每日获取情绪数据的方式包括如下：
①分析数据来源的可靠性、可参考性，以及数据的多维度属性差异和页面的技术特征，确定原始数据来源范围，以及相应的合理获取方式；
②对于通过程序可以直接抓取的来源，在本公司自主研发的网络爬虫软件中编写相应的抓取规则脚本，每日定时联网自动抓取，并存储成统一规范的可用基础数据；
③对于不便于用程序自动抓取的来源，安排对应的数据录入人员，每日定时浏览来源网站，进行人工查看并录入数据库。
本发明所具有的有益效果是：
1.在本发明提出之前的现有技术中，对于证券市场的散户投资者观点以及机构投资者的观点与情绪的统计，均分布于各个媒体、平台、产品/服务之中，较为零散单薄，数据样本存在数量不足、数据噪音过多、数据属性不统一的问题，无法较为准确综合反映投资者的整体情绪。而本发明基于“大数据”的理念，将众多有价值的各大调查数据、报告数据进行再聚合整理，并将数据属性进行统一，建立综合得分模型，相对于上述的“小数据”，本发明能更准确、更全面的反映市场中整体投资者的情绪指标。
2.基于金融资讯语义分析的情感分析(智能+人工)多空辨别系统。
说明书附图
图1示例性地示出了本发明的流程示意图。
具体实施方式
下面结合附图对本发明做进一步详细说明：
如图1所示，基于大数据的预测证券市场多空情绪指标方法,包括如下步骤：
步骤1：每日获取情绪数据，所述情绪数据可以通过程序抓取或人工记录；尽可能多的每日从各大媒体的投资者后市多空调查频道中分别获取看多、看空、看平等不同属性的情绪数据，包括尽可能多的每日从各大财经资讯网站以及证券研究报告中获取足够多的研究机构、著名分析师的后市预测观点文章。
每日获取情绪数据的方式可以如下所述：
1.分析数据来源的可靠性、可参考性，以及数据的多维度属性差异和页面的技术特征，确定原始数据来源范围，以及相应的合理获取方式；
2.对于通过程序可以直接抓取的来源，在本公司自主研发的网络爬虫软件中编写相应的抓取规则脚本，每日定时联网自动抓取，并存储成统一规范的可用基础数据；
3.对于不便于用程序自动抓取的来源，安排对应的数据录入人员，每日定时浏览来源网站，进行人工查看并录入数据库。
步骤2：利用智能分词、情感分析技术对步骤1获得的资讯、文章进行文本分析，获得相应的情感属性，情感属性包括看多、看空及看平；然后采用人工进行排查勘误，最终获得正确的情感属性，情感属性为多空看法；
步骤3：将步骤2获取到的大量情绪数据的情感属性整理放置到相应的历史数据库中，供调用计算；
步骤4：使用简单平均或加权平均计算模型对步骤3所述的历史数据库中获取到的所有统计情绪数据的情感属性样本来源中多个数据进行综合计算，得出每日近似整体市场的多空情绪综合属性，多空情绪综合属性包括看多、看空、看平；综合计算的方法如下：
综合计算方法：
从每日海量资讯中，标记出对当天大盘趋势观点的资讯，结合资讯热度、数据来源权重，得出市场评论人员对于市场的情绪：
R3＝∑(H1*DS)/(∑(H1*DS)+∑(H2*DS))
R3:市场评论员对于市场看多的情绪，
H1：各看多资讯所对应热度，
H2：各看空资讯所对应热度，
DS：各财经门户网站权权重。
步骤5：将步骤4最终获得的多空情绪综合指标在前端分别用看多指数以及分歧指数的形式进行展示，以呈现每日市场投资者对于下一交易日的多空观点。
本发明相较于现有技术而言，现有技术对证券市场的散户投资者观点以及机构投资者的观点与情绪的统计，均分布于各个媒体、平台、产品/服务之中，较为零散单薄，数据样本存在数量不足、数据噪音过多、数据属性不统一的问题，无法较为准确综合反映投资者的整体情绪。而本发明基于“大数据”的理念，将众多有价值的各大调查数据、报告数据进行再聚合整理，并将数据属性进行统一，建立综合得分模型，相对于上述的“小数据”，本发明能更准确、更全面的反映市场中整体投资者的情绪指标。本发明还有基于金融资讯语义分析的情感分析(智能+人工)多空辨别系统。
对于本领域的普通技术人员而言，上述实施例只是对本发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性的改进，或未经改进将本发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。

Claims (2)

1.基于大数据的预测证券市场多空情绪指标方法,其特征在于：包括如下步骤；
步骤1：每日获取情绪数据，所述情绪数据可以通过程序抓取或人工记录，每日从各大媒体的投资者后市多空调查频道中分别获取看多、看空和看平的不同属性的情绪数据，包括每日从各大财经资讯网站以及证券研究报告中获取足够多的研究机构、著名分析师的后市预测观点文章；
步骤2：利用智能分词、情感分析技术对步骤1获得的资讯、文章进行文本分析，获得相应的情感属性，情感属性包括看多、看空及看平；然后采用人工进行排查勘误，最终获得正确的情感属性，情感属性为多空看法；
步骤3：将步骤2获取到的大量情绪数据的情感属性整理放置到相应的历史数据库中，供调用计算；
步骤4：使用简单平均或加权平均计算模型对步骤3所述的历史数据库中获取到的所有统计情绪数据的情感属性样本来源中多个数据进行综合计算，得出每日近似整体市场的多空情绪综合属性，多空情绪综合属性包括看多、看空、看平；综合计算的方法如下：
从每日海量资讯中，标记出对当天大盘趋势观点的资讯，结合资讯热度、数据来源权重，得出市场评论人员对于市场的情绪：
R3＝∑(H1*DS)/(∑(H1*DS)+∑(H2*DS))，
R3:市场评论员对于市场看多的情绪，
H1：各看多资讯所对应热度，
H2：各看空资讯所对应热度，
DS：各财经门户网站权权重；
步骤5：将步骤4最终获得的多空情绪综合属性指标在前端分别用看多指数以及分歧指数的形式进行展示，以呈现每日市场投资者对于下一交易日的多空观点。
2.根据权利要求1所述的基于大数据的预测证券市场多空情绪指标方法,其特征在于：步骤1中所述的每日获取情绪数据的方式包括如下；
①分析数据来源的可靠性、可参考性，以及数据的多维度属性差异和页面的技术特征，确定原始数据来源范围，以及相应的合理获取方式；
②对于通过程序可以直接抓取的来源，在网络爬虫软件中编写相应的抓取规则脚本，每日定时联网自动抓取，并存储成统一规范的可用基础数据；
③对于不便于用程序自动抓取的来源，安排对应的数据录入人员，每日定时浏览来源网站，进行人工查看并录入数据库。
CN201610361293.5A 2016-05-26 2016-05-26 基于大数据的预测证券市场多空情绪指标方法 Pending CN106095777A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610361293.5A CN106095777A (zh) 2016-05-26 2016-05-26 基于大数据的预测证券市场多空情绪指标方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610361293.5A CN106095777A (zh) 2016-05-26 2016-05-26 基于大数据的预测证券市场多空情绪指标方法

Publications (1)

Publication Number Publication Date
CN106095777A true CN106095777A (zh) 2016-11-09

Family

ID=57229357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610361293.5A Pending CN106095777A (zh) 2016-05-26 2016-05-26 基于大数据的预测证券市场多空情绪指标方法

Country Status (1)

Country Link
CN (1) CN106095777A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886834A (zh) * 2017-01-19 2017-06-23 沃民高新科技（北京）股份有限公司 数据的建模方法和建模装置
CN109145302A (zh) * 2018-08-30 2019-01-04 南京都宁大数据科技有限公司 基于语义文本的大宗农产品投资者恐慌情绪测度方法
WO2019047352A1 (zh) * 2017-09-05 2019-03-14 平安科技（深圳）有限公司 基于社交数据的资产配置方法、电子装置及介质
CN113393321A (zh) * 2021-07-11 2021-09-14 北京天仪百康科贸有限公司 一种基于区块链的金融风控方法
CN113393330A (zh) * 2021-07-11 2021-09-14 北京天仪百康科贸有限公司 一种基于区块链的金融风控管理系统
CN116611696A (zh) * 2023-07-19 2023-08-18 北京大学 一种基于时间序列分析的数字资产市场风险预测系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104636425A (zh) * 2014-12-18 2015-05-20 北京理工大学 一种网络个体或群体情绪认知能力预测与可视化方法
CN104951807A (zh) * 2015-07-10 2015-09-30 沃民高新科技（北京）股份有限公司 股市情绪的确定方法和装置
CN104995650A (zh) * 2011-12-27 2015-10-21 汤姆森路透社全球资源公司 用于使用源于社交媒体的数据和情绪分析来生成复合索引的方法及系统
CN105022725A (zh) * 2015-07-10 2015-11-04 河海大学 一种应用于金融Web领域的文本情感倾向分析方法
CN105335888A (zh) * 2014-07-17 2016-02-17 南方科技大学 市场监察系统及方法
CN105447759A (zh) * 2015-12-18 2016-03-30 深圳市佐学科技有限公司 一种基于大数据的混合估值型智能股票交易系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104995650A (zh) * 2011-12-27 2015-10-21 汤姆森路透社全球资源公司 用于使用源于社交媒体的数据和情绪分析来生成复合索引的方法及系统
CN105335888A (zh) * 2014-07-17 2016-02-17 南方科技大学 市场监察系统及方法
CN104636425A (zh) * 2014-12-18 2015-05-20 北京理工大学 一种网络个体或群体情绪认知能力预测与可视化方法
CN104951807A (zh) * 2015-07-10 2015-09-30 沃民高新科技（北京）股份有限公司 股市情绪的确定方法和装置
CN105022725A (zh) * 2015-07-10 2015-11-04 河海大学 一种应用于金融Web领域的文本情感倾向分析方法
CN105447759A (zh) * 2015-12-18 2016-03-30 深圳市佐学科技有限公司 一种基于大数据的混合估值型智能股票交易系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106886834A (zh) * 2017-01-19 2017-06-23 沃民高新科技（北京）股份有限公司 数据的建模方法和建模装置
WO2019047352A1 (zh) * 2017-09-05 2019-03-14 平安科技（深圳）有限公司 基于社交数据的资产配置方法、电子装置及介质
CN109145302A (zh) * 2018-08-30 2019-01-04 南京都宁大数据科技有限公司 基于语义文本的大宗农产品投资者恐慌情绪测度方法
CN113393321A (zh) * 2021-07-11 2021-09-14 北京天仪百康科贸有限公司 一种基于区块链的金融风控方法
CN113393330A (zh) * 2021-07-11 2021-09-14 北京天仪百康科贸有限公司 一种基于区块链的金融风控管理系统
CN113393330B (zh) * 2021-07-11 2022-12-23 深圳市鼎驰科技发展有限公司 一种基于区块链的金融风控管理系统
CN116611696A (zh) * 2023-07-19 2023-08-18 北京大学 一种基于时间序列分析的数字资产市场风险预测系统
CN116611696B (zh) * 2023-07-19 2024-01-26 北京大学 一种基于时间序列分析的数字资产市场风险预测系统

Similar Documents

Publication Publication Date Title
CN106095777A (zh) 基于大数据的预测证券市场多空情绪指标方法
CN109767318A (zh) 贷款产品推荐方法、装置、设备及存储介质
López-Robles et al. Understanding the intellectual structure and evolution of Competitive Intelligence: A bibliometric analysis from 1984 to 2017
CN110490729B (zh) 一种基于用户画像模型的金融用户分类方法
CN106339502A (zh) 一种基于用户行为数据分片聚类的建模推荐方法
CN106408184A (zh) 一种基于多源异构数据的用户信用评估模型
CN107077486A (zh) 情感评价系统和方法
CN110428322A (zh) 一种业务数据的适配方法及装置
CN103678564A (zh) 一种基于数据挖掘的互联网产品调研系统
CN102890702A (zh) 一种面向网络论坛的意见领袖挖掘方法
CN108648068A (zh) 一种信用风险评估方法及系统
CN107292744A (zh) 基于机器学习的投资趋势分析方法及其系统
Buchanan et al. The efficacy of utilising Nvivo for interview data from the electronic gaming industry in two jurisdictions
CN111598648A (zh) 一种基于快消行业商品的全链路线上营销方法
CN105205163B (zh) 一种科技新闻的增量学习多层次二分类方法
CN109214417A (zh) 用户意图的挖掘方法及装置、计算机设备及可读介质
Chou et al. Integrating XBRL data with textual information in Chinese: A semantic web approach
CN111026804A (zh) 一种基于语义的大数据分析智能服务系统
Hussein How many old and new big data v’s characteristics, processing technology, and applications (bd1)
Cifci et al. Data mining usage and applications in health services
CN206497498U (zh) 一种基于企业征信业务的信用评级信息数据集成系统
CN110992111A (zh) 基于大数据的投保人用户画像挖掘方法
CN111666499A (zh) 一种基于大数据的舆情监测云服务平台
CN110222180A (zh) 一种文本数据分类与信息挖掘方法
TWM584469U (zh) 理財新聞可信度評價裝置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161109

RJ01 Rejection of invention patent application after publication