CN116843473A - 基于云计算的股票数据采集方法、系统、设备及存储介质 - Google Patents
基于云计算的股票数据采集方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN116843473A CN116843473A CN202311106148.9A CN202311106148A CN116843473A CN 116843473 A CN116843473 A CN 116843473A CN 202311106148 A CN202311106148 A CN 202311106148A CN 116843473 A CN116843473 A CN 116843473A
- Authority
- CN
- China
- Prior art keywords
- stock
- prediction
- data
- stock prediction
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 230000002159 abnormal effect Effects 0.000 claims abstract description 220
- 238000013480 data collection Methods 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000005856 abnormality Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 9
- 230000007704 transition Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000002860 competitive effect Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 12
- 230000004913 activation Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0202—Market predictions or forecasting for commercial activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/06—Asset management; Financial planning or analysis
Abstract
本申请提供了一种基于云计算的股票数据采集方法、系统、设备及存储介质，通过从云端服务器的股票数据库中获取实时股票数据集，进而得到股票预测初始集，根据所述股票预测初始集确定股票预测误差值，根据所述股票预测误差值对所述股票预测样本进行调节，得到股票预测数据集，根据所述股票预测数据集和所述股票预测初始集确定股票预测异常阈值，由所述股票预测异常阈值确定股票预测异常数据集，遍历所有股票预测异常数据段，对股票预测异常数据段中股票预测异常值数量超过正常阈值的股票预测异常数据段，按照该股票预测异常数据段将对应的股票影响因素采集数据和对应的实时股票数据发送至客户端，大大提高了异常股票数据的筛查效率。
Description
技术领域
本申请涉及股票数据处理技术领域，更具体的说，本申请涉及一种基于云计算的股票数据采集方法、系统、设备及存储介质。
背景技术
股票数据处理是指对与股票市场相关的数据进行整理、分析和转换的过程。这些数据包括股票价格、交易量、市值、财务指标等，股票数据处理的目的是从原始数据中提取有用的信息，以便用于投资决策、量化交易策略、风险管理和市场研究等方面，对股票数据的处理通常包括：数据采集、数据清洗、数据转换、数据分析以及可视化呈现等，通过对股票数据的处理，可便于投资者更好地理解市场趋势和风险。
股票数据采集是指从各种来源获取股票市场相关的数据的过程，这些数据包括股票价格、交易量、市值、财务指标等，是进行股票分析和投资决策的基础，通常股票交易所是股票市场的核心交易场所，提供了股票的实时交易数据，股票数据采集可以通过访问股票交易所的数据接口，实时获取股票的价格、成交量、交易所代码等信息，另外，涉及财务报表，上市公司网站或者专门的财经网站会定期发布财务报表，包括资产负债表、利润表和现金流量表等，股票数据采集可以通过上述网站采集财务报表数据，获得上市公司的财务指标、营业收入、利润等数据，另外新闻和媒体报道通常会包含与股票市场相关的信息，如公司业绩公告、市场新闻、分析师报告等，股票数据采集可以通过监控新闻渠道和媒体平台，及时获取这些信息，以实时掌握股票数据变化，由于股票数据变化异常对投资者来说显得尤为重要，通常需要对股票数据进行筛查，以筛查出异常股票数据，现有技术中对异常股票数据的筛查大多通过人工方式进行筛查，往往需要比较资深的专业人员对大量股票数据进行人工筛查，异常股票数据的筛查效率较低。
发明内容
本申请提供一种基于云计算的股票数据采集方法、系统、设备及存储介质，以解决现有技术中对异常股票数据通过人工方式进行筛查，异常股票数据的筛查效率较低的技术问题。
为解决上述技术问题，本申请采用如下技术方案：
第一方面，本申请提供一种基于云计算的股票数据采集方法，包括：
启动股票数据采集，从云端服务器的股票数据库中获取实时股票数据集；
对所述实时股票数据集进行归一化处理得到股票预测初始集，根据所述股票预测初始集确定股票预测样本，由所述股票预测初始集和所述股票预测样本计算得到股票预测误差值；
根据所述股票预测误差值对所述股票预测样本进行调节，重复股票预测误差值的计算和调节，直至达到最大股票预测迭代次数，得到股票预测数据集；
根据所述股票预测数据集和所述股票预测初始集确定预测离异度，进而得到股票预测离异序列；根据所述股票预测离异序列计算得到股票预测异常阈值，由所述股票预测异常阈值和所述股票预测离异序列确定股票预测异常数据集，将所述股票预测异常数据集分为多个股票预测异常数据段；
遍历所有股票预测异常数据段，将股票预测异常数据段中股票预测异常值数量低于正常阈值的该股票预测异常数据段标记为正常股票预测数据，放弃采集；
对股票预测异常数据段中股票预测异常值数量超过正常阈值的股票预测异常数据段，按照该股票预测异常数据段对应的股票影响因素数据进行采集，并将对应的股票影响因素采集数据和对应的实时股票数据发送至客户端。
在一些实施例中，对所述实时股票数据集进行归一化处理具体包括：
获取实时股票数据最大值和实时股票数据最小值；
根据所述实时股票数据最大值和所述实时股票数据最小值对所述实时股票数据集中的每个数据点进行归一化处理，得到实时股票数据归一化值；
根据所述实时股票数据归一化值确定股票预测初始集。
在一些实施例中，根据所述股票预测初始集确定股票预测样本具体包括；
获取随机股票预测向量；
根据所述股票预测初始集的维度确定所述随机股票预测向量的维度；
根据确定维度后的随机股票预测向量确定股票预测样本。
在一些实施例中，确定预测离异度采用下述公式实现；
其中，表示预测离异度，/>表示股票预测初始集中的元素的转置，/>表示股票预测数据集中的对应元素，/>表示底数为/>的对数。
在一些实施例中，计算得到股票预测异常阈值具体包括；
选取股票预测离异序列中第一个预测离异度作为股票预测异常阈值过渡值；
根据股票预测异常阈值过渡值划分为异常区间和正常区间；
根据异常区间中的元素个数和正常区间中的元素个数计算股票预测异常阈值权重度；
继续遍历所述股票预测离异序列中的剩余预测离异度，得到对应的股票预测异常阈值权重度；
选取股票预测异常阈值权重度最大的作为股票预测异常阈值。
在一些实施例中，确定股票预测异常阈值权重度采用下述步骤实现；
确定被正确划分为异常区间的样本数量；
确定所有被划分为异常区间的样本数量；
确定股票预测离异序列中的异常样本数量；
其中，表示股票预测异常阈值权重度；/>为常数，平衡被正确划分为异常区间的样本数量/>和所有被划分为异常区间的样本数量/>之间的权重，并使得股票预测异常阈值权重度/>取值范围在0和1之间；/>为一个无穷小正数。
在一些实施例中，该股票预测异常数据段的股票影响因数据素具体包括：财务数据、市场数据、竞争数据和行业经济环境数据。
第二方面，本申请提供一种基于云计算的股票数据采集系统，包括：
股票数据采集启动模块，用于启动股票数据采集，从云端服务器的股票数据库中获取实时股票数据集；
股票预测误差值确定模块，用于对所述实时股票数据集进行归一化处理得到股票预测初始集，根据所述股票预测初始集确定股票预测样本，由所述股票预测初始集和所述股票预测样本计算得到股票预测误差值；
股票预测样本调节模块，用于根据所述股票预测误差值对所述股票预测样本进行调节，重复股票预测误差值的计算和调节，直至达到最大股票预测迭代次数，得到股票预测数据集；
股票预测异常数据段划分模块，用于根据所述股票预测数据集和所述股票预测初始集确定预测离异度，进而得到股票预测离异序列；根据所述股票预测离异序列计算得到股票预测异常阈值，由所述股票预测异常阈值和所述股票预测离异序列确定股票预测异常数据集，将所述股票预测异常数据集分为多个股票预测异常数据段；
正常股票预测数据标记模块，用于遍历所有股票预测异常数据段，将股票预测异常数据段中股票预测异常值数量低于正常阈值的该股票预测异常数据段标记为正常股票预测数据，放弃采集；
股票影响因素数据采集模块，用于对股票预测异常数据段中股票预测异常值数量超过正常阈值的股票预测异常数据段，按照该股票预测异常数据段对应的股票影响因素数据进行采集，并将对应的股票影响因素采集数据和对应的实时股票数据发送至客户端。
第三方面，本申请提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有代码，所述处理器被配置为获取所述代码，并执行上述的基于云计算的股票数据采集方法。
第四方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于云计算的股票数据采集方法。
本申请公开的实施例提供的技术方案具有以下有益效果：
本申请提供的基于云计算的股票数据采集系统中，首先启动股票数据采集，从云端服务器的股票数据库中获取实时股票数据集，对所述实时股票数据集进行归一化处理得到股票预测初始集，根据所述股票预测初始集确定股票预测样本，由所述股票预测初始集和所述股票预测样本计算得到股票预测误差值，根据所述股票预测误差值对所述股票预测样本进行调节，重复股票预测误差值的计算和调节，直至达到最大股票预测迭代次数，得到股票预测数据集，根据所述股票预测数据集和所述股票预测初始集确定预测离异度，进而得到股票预测离异序列；根据所述股票预测离异序列计算得到股票预测异常阈值，由所述股票预测异常阈值和所述股票预测离异序列确定股票预测异常数据集，将所述股票预测异常数据集分为多个股票预测异常数据段，遍历所有股票预测异常数据段，将股票预测异常数据段中股票预测异常值数量低于正常阈值的该股票预测异常数据段标记为正常股票预测数据，放弃采集，对股票预测异常数据段中股票预测异常值数量超过正常阈值的股票预测异常数据段，按照该股票预测异常数据段对应的股票影响因素数据进行采集，并将对应的股票影响因素采集数据和对应的实时股票数据发送至客户端，该方法可实现智能化的异常股票数据筛查，与现有技术对异常股票数据通过人工方式进行筛查相比，大大提高了异常股票数据的筛查效率。
附图说明
图1是根据本申请一些实施例所示的基于云计算的股票数据采集方法的示例性流程图；
图2是根据本申请一些实施例所示的基于云计算的股票数据采集系统的示例性硬件和/或软件的示意图；
图3是根据本申请一些实施例所示的实现基于云计算的股票数据采集方法的计算机设备的结构示意图。
具体实施方式
本申请核心是启动股票数据采集，从云端服务器的股票数据库中获取实时股票数据集，对所述实时股票数据集进行归一化处理得到股票预测初始集，根据所述股票预测初始集确定股票预测样本，由所述股票预测初始集和所述股票预测样本计算得到股票预测误差值，根据所述股票预测误差值对所述股票预测样本进行调节，重复股票预测误差值的计算和调节，直至达到最大股票预测迭代次数，得到股票预测数据集，根据所述股票预测数据集和所述股票预测初始集确定预测离异度，进而得到股票预测离异序列；根据所述股票预测离异序列计算得到股票预测异常阈值，由所述股票预测异常阈值和所述股票预测离异序列确定股票预测异常数据集，将所述股票预测异常数据集分为多个股票预测异常数据段，遍历所有股票预测异常数据段，将股票预测异常数据段中股票预测异常值数量低于正常阈值的该股票预测异常数据段标记为正常股票预测数据，放弃采集，对股票预测异常数据段中股票预测异常值数量超过正常阈值的股票预测异常数据段，按照该股票预测异常数据段对应的股票影响因素数据进行采集，并将对应的股票影响因素采集数据和对应的实时股票数据发送至客户端，从而可实现智能化的异常股票数据筛查，与现有技术对异常股票数据通过人工方式进行筛查相比，大大提高了异常股票数据的筛查效率。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。参考图1，该图是根据本申请一些实施例所示的基于云计算的股票数据采集方法的示例性流程图，该基于云计算的股票数据采集方法100主要包括如下步骤：
在步骤S101，启动股票数据采集，从云端服务器的股票数据库中获取实时股票数据集。
具体实现时，本申请的股票数据采集基于云计算的云端服务器和客户端，启动股票数据采集后首先选择合适云端服务器的股票数据库，如聚宽、天软等；注册并获取该数据库的访问权限，以获得云端服务器的股票数据库中的实时股票数据集，实时股票数据集包括股票的价格、成交量和涨跌幅等数据。
在步骤S102，对所述实时股票数据集进行归一化处理得到股票预测初始集，根据所述股票预测初始集确定股票预测样本，由所述股票预测初始集和所述股票预测样本计算得到股票预测误差值。
在一些实施例中，对所述实时股票数据集进行归一化处理得到股票预测初始集可采用下述步骤实现：
获取实时股票数据最大值和实时股票数据最小值；
根据所述实时股票数据最大值和所述实时股票数据最小值对所述实时股票数据集中的每个数据点进行归一化处理，得到实时股票数据归一化值；
根据所述实时股票数据归一化值确定股票预测初始集。
具体实现时，将实时股票数据集的均值作为实时股票数据最大值和实时股票数据最小值的初始值，遍历实时股票数据集中的每个数据点，将每个数据点的值与当前的实时股票数据最大值和实时股票数据最小值进行比较，以更新实时股票数据最大值和实时股票数据最小值；将实时股票数据集中的每个数据点和实时股票数据最小值之差除以实时股票数据最大值和实时股票数据最小值之差得到实时股票数据归一化值，公式为：实时股票数据归一化值=（每个数据点的值-实时股票数据最小值）/（实时股票数据最大值-实时股票数据最小值）。
需要说明的是，本申请中根据所述实时股票数据归一化值确定股票预测初始集可以采用现有技术中的生成对抗网络实现，使用全连接层作为输入层，将连续的随机向量z输入生成器网络，该层将随机向量z映射到生成器网络的输入维度；在输入层之后，设置若干个卷积层网络，卷积层对输入进行一维卷积操作，提取特征并进行非线性变换，可以设置多个卷积层以逐渐提取更高级的特征；在卷积层之后的每个层级之间，应用批标准化操作；在每个层级中，采用带泄露修正线性单元函数作为激活函数；在生成器网络的最后一层，使用双曲正切激活函数作为激活函数，最终生成股票预测初始集。
在一些实施例中，根据所述股票预测初始集确定股票预测样本可采用下述步骤实现：
获取随机股票预测向量；
根据所述股票预测初始集的维度确定所述随机股票预测向量的维度；
由确定维度后的随机股票预测向量确定股票预测样本。
具体实施时，获取随机股票预测向量；并根据所述股票预测初始集的维度确定所述随机股票预测向量的维度，使两者的维度一致；将确定维度后的随机股票预测向量输入至输入层，输入层采用全连接神经网络，将输入的确定维度后的随机股票预测向量传递至隐藏层，隐藏层由若干卷积层和标准化层组成，采用渗漏修正线性单元函数作为每个标准化层和全连接神经网络的激活函数，将经过隐藏层计算的随机股票预测向量输入至输出层，输出层采用以双曲正切函数作为激活函数的全连接神经网络，最终输出股票预测样本，例如：将一组数据传递至输入层，先经过输入层的全连接层运算与激活函数的变换，然后将该组数据传递至卷积层，卷积层根据卷积核维度和步长对该组数据进行运算，然后将该组数据传递至标准化层，经过标准化层运算与激活函数的变换后，由传递至下一个卷积层，依此类推直至经过所有标准化层和卷积层后，将该组数据输入输出层，经过输出层的全连接层运算和双曲正切激活函数变换后生成股票预测样本。
本申请中，由于股票预测初始集为连续的时间序列，所以获取随机股票预测向量也是连续的，卷积层的卷积核维度为3×1，步长为1；需要说明的是，还可采用现有技术中神经网络的判别器（下述简称判别器）对上述具体实施步骤进行调节，这里不在赘述。
在一些实施例中，由所述股票预测初始集和所述股票预测样本计算得到股票预测误差值可采用下述步骤实现：
确定股票预测初始集中的元素；
确定股票预测样本中的元素；
确定关于股票预测初始集中的元素的概率分布/>；
确定关于股票预测样本中的元素的概率分布/>；
确定判别器对股票预测初始集中的元素的输出/>；
确定判别器对股票预测样本中的元素的输出/>；
确定判别器在插值样本上的梯度/>；
根据所述股票预测初始集中的元素、所述股票预测样本中的元素/>、所述关于股票预测初始集中的元素/>的概率分布/>、所述关于股票预测样本中的元素/>的概率分布/>、所述判别器对股票预测初始集中的元素/>的输出/>、所述判别器对股票预测样中的元素/>的输出/>和所述确定判别器在插值样本/>上的梯度/>确定股票预测误差值，其中股票预测误差值可采用下述公式确定：
其中，表示股票预测误差值，/>表示期望，/>表示梯度惩罚项的权重，/>表示超参系数，/>表示梯度惩罚项。
具体实现时，通过直方图估计股票预测初始集的概率分布，例如，收集1000个样本的股票数据，将股票数据划分为若干个区间（例如每1个点为一个区间），然后计算每个区间内样本的频率，最后将频率除以样本的总数，得到每个区间的概率，同理，股票预测样本的概率分布也可以使用该方法得到；选择一对真实样本和生成样本进行插值操作，生成插值样本，使用插值样本作为判别器的输入，计算判别器在插值样本上的梯度；在训练过程中逐步增加或减小梯度惩罚项的权重和超参系数的数值，直到获得满意的结果为止；计算判别器在插值样本上的梯度的平方和，然后取平方根作为梯度惩罚项。
需要说明的是，本申请中插值操作可以使用现有技术中的线性插值；计算判别器在插值样本上的梯度可以通过调用现有技术中的深度学习框架的自动求导功能来实现；根据现有经验，取范围在[0.1，10]之间的梯度惩罚项的权重和范围[0.1，1]之间的超参系数可以提供良好的结果，这里不在赘述。
在步骤S103，根据所述股票预测误差值对所述股票预测样本进行调节，重复股票预测误差值的计算和调节，直至达到最大股票预测迭代次数，得到股票预测数据集。
具体实现时，初始化所述股票预测样本中的输入层和隐藏层、隐藏层和输出层之间的梯度，使得到的两个梯度为0；从输出层开始，根据输出层的梯度传播规则，计算前一层（即卷积层）的梯度，根据卷积层的梯度传播规则，计算前一层（即标准化层）的梯度，以此类推，直至计算到输出层；使用计算得到的梯度来更新各层中的参数，例如计算输出层到卷积层的梯度为：，其中，/>为股票预测误差值对输出层的梯度，/>为输出层参数W的梯度，对于每个参数，将计算得到的偏导数累积到相应参数的梯度中，所述各层中的参数包括权重参数W和偏置参数b，计算卷积层到输入层的梯度为：/>，其中/>是卷积层输出H的梯度，/>为卷积层参数W的梯度；根据计算得到的各梯度，更新对应的各层参数，例如更新输出层参数/>，其中，/>为第/>次更新的输出层权重系数，/>为第/>次更新的输出层权重系数，/>为学习率，取值为0.00001，更新卷积层参数/>，其中，/>为第/>次更新的卷积层权重系数，/>为第次更新的卷积层权重系数；更新完各层的参数后，重复股票预测误差值的计算和调节，直至达到最大股票预测迭代次数，每一轮迭代都会根据当前各层的参数生成新的股票预测样本，并与股票预测初始集进行比较，不断调整各层的参数以减小股票预测误差值，将股票预测误差值达到最小的股票预测样本作为最终执行下述步骤的股票预测数据集。
在步骤S104，根据所述股票预测数据集和所述股票预测初始集确定预测离异度，进而得到股票预测离异序列；根据所述股票预测离异序列计算得到股票预测异常阈值，由所述股票预测异常阈值和所述股票预测离异序列确定股票预测异常数据集，将所述股票预测异常数据集分为多个股票预测异常数据段。
在一些实施例中，根据所述股票预测数据集和所述股票预测初始集确定预测离异度可采用下述公式实现：
其中，表示预测离异度，/>表示股票预测初始集中的元素的转置，/>表示股票预测数据集中的对应元素，/>表示底数为/>的对数。
在一些实施例中，股票预测离异序列为预测离异度按照时间排序而成的序列。
在一些实施例中，根据所述股票预测离异序列计算得到股票预测异常阈值可采用下述步骤实现：
选取股票预测离异序列中第一个预测离异度作为股票预测异常阈值过渡值；
根据股票预测异常阈值过渡值划分为异常区间和正常区间；
根据异常区间中的元素个数和正常区间中的元素个数计算股票预测异常阈值权重度；
继续遍历所述股票预测离异序列中的剩余预测离异度，得到对应的股票预测异常阈值权重度；
选取股票预测异常阈值权重度最大的作为股票预测异常阈值。
具体实现时，根据股票预测异常阈值过渡值划分为异常区间和正常区间，例如：股票预测异常阈值过渡值为3，则将小于3的所有预测离异度作为正常区间，将大于3的所有预测离异度作为异常区间；根据异常区间中的元素个数和正常区间中的元素个数计算股票预测异常阈值权重度；以此类推，继续遍历所述股票预测离异序列中的剩余预测离异度，得到对应的股票预测异常阈值权重度；选取股票预测异常阈值权重度最大的预测离异度作为股票预测异常阈值，若有多个预测离异度的股票预测异常阈值权重度最大，则取平均值作为股票预测异常阈值。
在一些实施例中，计算股票预测异常阈值权重度可采用下述步骤实现：
确定被正确划分为异常区间的样本数量；
确定所有被划分为异常区间的样本数量；
确定股票预测离异序列中的异常样本数量；
其中，表示股票预测异常阈值权重度；/>为常数，一般取值为2，平衡被正确划分为异常区间的样本数量/>和所有被划分为异常区间的样本数量/>之间的权重，并使得股票预测异常阈值权重度/>取值范围在0和1之间；/>为一个无穷小正数，防止分母为0。
具体实现时，统计所有被划分为异常区间的样本数量，根据现有经验设置另一个股票预测异常阈值，根据该股票预测异常阈值统计被正确划分为异常区间的样本数量/>和股票预测离异序列中的异常样本数量/>。
在一些实施例中，由所述股票预测异常阈值和所述股票预测离异序列确定股票预测异常数据集可采用下述步骤实现：
根据所述股票预测异常阈值，提取股票预测离异序列中大于股票预测异常阈值的预测离异度对应的股票预测数据集中的元素得到股票预测异常数据集。
在一些实施例中，将所述股票预测异常数据集分为多个股票预测异常数据段可采用下述步骤实现：
根据时间连续性，将所述股票预测异常数据集分为多个时间连续的股票预测异常数据段。
具体实现时，例如一段异常数据集对应的时间为，则分为/>、/>、/>、和/>，根据连续的时间段，划分对应的股票预测异常数据集得到多个时间连续的股票预测异常数据段。
在步骤S105，遍历所有股票预测异常数据段，将股票预测异常数据段中股票预测异常值数量低于正常阈值的该股票预测异常数据段标记为正常股票预测数据，放弃采集。
具体实现时，若股票预测异常数据段中的股票预测异常值数量为5个，正常阈值为8时，则将该股票预测异常数据段标记为正常股票预测数据，放弃采集。
在步骤S106，对股票预测异常数据段中股票预测异常值数量超过正常阈值的股票预测异常数据段，按照该股票预测异常数据段对应的股票影响因素数据进行采集，并将对应的股票影响因素采集数据和对应的实时股票数据发送至客户端。
具体实现时，若股票预测异常数据段中的股票预测异常值数量为12个，正常阈值为8时，则将该股票预测异常数据段标记为异常股票预测数据，并对股票预测异常数据段中股票预测异常值数量超过正常阈值的股票预测异常数据段对应的股票影响因素数据进行采集，以及将对应的股票影响因素数据和对应的实时股票数据发送至客户端。
在一些实施例中，该股票预测异常数据段对应的股票影响因素数据具体包括：财务数据、市场数据、竞争数据和行业经济环境数据等。
需要说明的是，本申请中财务数据是指该股票预测异常数据段对应公司的财务报表和财务指标，这些数据反映了该公司的盈利能力、财务健康状况等；另外市场数据包括该股票预测异常数据段对应公司的股票价格、成交量等信息，通过分析市场数据，可以了解该股票的趋势，并帮助预测其未来表现，竞争数据是指与该股票预测异常数据段对应公司在同一行业或市场竞争的其他公司的相关数据，通过分析竞争数据，可以预测该公司市场份额和盈利能力；另外，行业经济环境数据涉及到整个行业或宏观经济环境的数据指标，通过分析行业经济环境数据，可以预测该公司的发展趋势和风险。
另外，本申请的另一方面，在一些实施例中，本申请提供一种基于云计算的股票数据采集系统，参考图2，该图是根据本申请一些实施例所示的基于云计算的股票数据采集系统的示例性硬件和/或软件的示意图，该基于云计算的股票数据采集系统200包括：股票数据采集启动模块201、股票预测误差值确定模块202、股票预测样本调节模块203、股票预测异常数据段划分模块204、正常股票预测数据标记模块205和股票影响因素数据采集模块206，分别说明如下：
股票数据采集启动模块201，本申请中股票数据采集启动模块201主要用于启动股票数据采集，从云端服务器的股票数据库中获取实时股票数据集；
股票预测误差值确定模块202，本申请中股票预测误差值确定模块202主要用于对所述实时股票数据集进行归一化处理得到股票预测初始集，根据所述股票预测初始集确定股票预测样本，由所述股票预测初始集和所述股票预测样本计算得到股票预测误差值；
股票预测样本调节模块203，本申请中股票预测样本调节模块203主要用于根据所述股票预测误差值对所述股票预测样本进行调节，重复股票预测误差值的计算和调节，直至达到最大股票预测迭代次数，得到股票预测数据集；
股票预测异常数据段划分模块204，本申请中股票预测异常数据段划分模块204主要用于根据所述股票预测数据集和所述股票预测初始集确定预测离异度，进而得到股票预测离异序列；根据所述股票预测离异序列计算得到股票预测异常阈值，由所述股票预测异常阈值和所述股票预测离异序列确定股票预测异常数据集，将所述股票预测异常数据集分为多个股票预测异常数据段；
正常股票预测数据标记模块205，本申请中正常股票预测数据标记模块模块205主要用于遍历所有股票预测异常数据段，将股票预测异常数据段中股票预测异常值数量低于正常阈值的该股票预测异常数据段标记为正常股票预测数据，放弃采集；
股票影响因素数据采集模块206，本申请中股票影响因素数据采集模块206主要用于对股票预测异常数据段中股票预测异常值数量超过正常阈值的股票预测异常数据段，按照该股票预测异常数据段对应的股票影响因素数据进行采集，并将对应的股票影响因素采集数据和对应的实时股票数据发送至客户端。
另外，本申请还提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有代码，所述处理器被配置为获取所述代码，并执行上述的基于云计算的股票数据采集方法。
在一些实施例中，参考图3，该图是根据本申请一些实施例所示的应用基于云计算的股票数据采集方法的计算机设备的结构示意图。上述实施例中的基于云计算的股票数据采集方法可以通过图3所示的计算机设备来实现，该计算机设备包括至少一个处理器301、通信总线302、存储器303以及至少一个通信接口304。
处理器301可以是一个通用中央处理器(central processing unit，CPU)、特定应用集成电路(application-specific integrated circuit，ASIC)或一个或多个用于控制本申请中的基于云计算的股票数据采集方法的执行。
通信总线302可包括一通路，在上述组件之间传送信息。
存储器303可以是只读存储器（read-only memory，ROM）或可存储静态信息和指令的其它类型的静态存储设备，随机存取存储器（random access memory，RAM）或者可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器（electricallyerasable programmable read-only memory，EEPROM）、只读光盘（compact disc read-only Memory，CD-ROM）或其它光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘或者其它磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质，但不限于此。存储器303可以是独立存在，通过通信总线302与处理器301相连接。存储器303也可以和处理器301集成在一起。
其中，存储器303用于存储执行本申请方案的程序代码，并由处理器301来控制执行。处理器301用于执行存储器303中存储的程序代码。程序代码中可以包括一个或多个软件模块。上述实施例中基于云计算的股票数据采集方法可以通过处理器301以及存储器303中的程序代码中的一个或多个软件模块实现。
通信接口304，使用任何收发器一类的装置，用于与其它设备或通信网络通信，如以太网，无线接入网（radio access network，RAN），无线局域网（wireless local areanetworks，WLAN）等。
在具体实现中，作为一种实施例，计算机设备可以包括多个处理器，这些处理器中的每一个可以是一个单核（single-CPU）处理器，也可以是一个多核（multi-CPU）处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据（例如计算机程序指令）的处理核。
上述的计算机设备可以是一个通用计算机设备或者是一个专用计算机设备。在具体实现中，计算机设备可以是台式机、便携式电脑、网络服务器、掌上电脑（personaldigital assistant，PDA）、移动手机、平板电脑、无线终端设备、通信设备或者嵌入式设备。本申请实施例不限定计算机设备的类型。
另外，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于云计算的股票数据采集方法。
综上，本申请实施例公开的基于云计算的股票数据采集方法、系统、设备及存储介质中，首先，启动股票数据采集，从云端服务器的股票数据库中获取实时股票数据集，对所述实时股票数据集进行归一化处理得到股票预测初始集，根据所述股票预测初始集确定股票预测样本，由所述股票预测初始集和所述股票预测样本计算得到股票预测误差值，根据所述股票预测误差值对所述股票预测样本进行调节，重复股票预测误差值的计算和调节，直至达到最大股票预测迭代次数，得到股票预测数据集，根据所述股票预测数据集和所述股票预测初始集确定预测离异度，进而得到股票预测离异序列；根据所述股票预测离异序列计算得到股票预测异常阈值，由所述股票预测异常阈值和所述股票预测离异序列确定股票预测异常数据集，将所述股票预测异常数据集分为多个股票预测异常数据段，遍历所有股票预测异常数据段，将股票预测异常数据段中股票预测异常值数量低于正常阈值的该股票预测异常数据段标记为正常股票预测数据，放弃采集，对股票预测异常数据段中股票预测异常值数量超过正常阈值的股票预测异常数据段，按照该股票预测异常数据段对应的股票影响因素数据进行采集，并将对应的股票影响因素采集数据和对应的实时股票数据发送至客户端，可实现智能化的异常股票数据筛查，与现有技术对异常股票数据通过人工方式进行筛查相比，大大提高了异常股票数据的筛查效率。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种基于云计算的股票数据采集方法，其特征在于，包括如下步骤：
启动股票数据采集，从云端服务器的股票数据库中获取实时股票数据集；
对所述实时股票数据集进行归一化处理得到股票预测初始集，根据所述股票预测初始集确定股票预测样本，由所述股票预测初始集和所述股票预测样本计算得到股票预测误差值；
根据所述股票预测误差值对所述股票预测样本进行调节，重复股票预测误差值的计算和调节，直至达到最大股票预测迭代次数，得到股票预测数据集；
根据所述股票预测数据集和所述股票预测初始集确定预测离异度，进而得到股票预测离异序列；根据所述股票预测离异序列确定股票预测异常阈值，由所述股票预测异常阈值和所述股票预测离异序列确定股票预测异常数据集，将所述股票预测异常数据集分为多个股票预测异常数据段；
遍历所有股票预测异常数据段，将股票预测异常数据段中股票预测异常值数量低于正常阈值的该股票预测异常数据段标记为正常股票预测数据，放弃采集；
对股票预测异常数据段中股票预测异常值数量超过正常阈值的股票预测异常数据段，按照该股票预测异常数据段对应的股票影响因素数据进行采集，并将对应的股票影响因素采集数据和对应的实时股票数据发送至客户端。
2.如权利要求1所述的方法，其特征在于，对所述实时股票数据集进行归一化处理具体包括：
获取实时股票数据最大值和实时股票数据最小值；
根据所述实时股票数据最大值和所述实时股票数据最小值对所述实时股票数据集中的每个数据点进行归一化处理，得到实时股票数据归一化值；
根据所述实时股票数据归一化值确定股票预测初始集。
3.如权利要求1所述的方法，其特征在于，根据所述股票预测初始集确定股票预测样本具体包括：
获取随机股票预测向量；
根据所述股票预测初始集的维度确定所述随机股票预测向量的维度；
根据确定维度后的随机股票预测向量确定股票预测样本。
4.如权利要求1所述的方法，其特征在于，确定预测离异度采用下述公式实现：
其中，表示预测离异度，/>表示股票预测初始集中的元素的转置，/>表示股票预测数据集中的对应元素，/>表示底数为/>的对数。
5.如权利要求1所述的方法，其特征在于，确定股票预测异常阈值具体包括：
选取股票预测离异序列中第一个预测离异度作为股票预测异常阈值过渡值；
根据股票预测异常阈值过渡值划分异常区间和正常区间；
根据异常区间中的元素个数和正常区间中的元素个数确定股票预测异常阈值权重度；
继续遍历所述股票预测离异序列中的剩余预测离异度，得到对应的股票预测异常阈值权重度；
选取股票预测异常阈值权重度最大的作为股票预测异常阈值。
6.如权利要求5所述的方法，其特征在于，确定股票预测异常阈值权重度采用下述步骤实现：
确定被正确划分为异常区间的样本数量；
确定所有被划分为异常区间的样本数量；
确定股票预测离异序列中的异常样本数量；
其中，表示股票预测异常阈值权重度；/>为常数，平衡被正确划分为异常区间的样本数量/>和所有被划分为异常区间的样本数量/>之间的权重，并使得股票预测异常阈值权重度/>取值范围在0和1之间；/>为一个无穷小正数。
7.如权利要求1所述的方法，其特征在于，该股票预测异常数据段对应的股票影响因素数据具体包括：财务数据、市场数据、竞争数据和行业经济环境数据。
8.一种基于云计算的股票数据采集系统，其特征在于，包括：
股票数据采集启动模块，用于启动股票数据采集，从云端服务器的股票数据库中获取实时股票数据集；
股票预测误差值确定模块，用于对所述实时股票数据集进行归一化处理得到股票预测初始集，根据所述股票预测初始集确定股票预测样本，由所述股票预测初始集和所述股票预测样本计算得到股票预测误差值；
股票预测样本调节模块，用于根据所述股票预测误差值对所述股票预测样本进行调节，重复股票预测误差值的计算和调节，直至达到最大股票预测迭代次数，得到股票预测数据集；
股票预测异常数据段划分模块，用于根据所述股票预测数据集和所述股票预测初始集确定预测离异度，进而得到股票预测离异序列；根据所述股票预测离异序列计算得到股票预测异常阈值，由所述股票预测异常阈值和所述股票预测离异序列确定股票预测异常数据集，将所述股票预测异常数据集分为多个股票预测异常数据段；
正常股票预测数据标记模块，用于遍历所有股票预测异常数据段，将股票预测异常数据段中股票预测异常值数量低于正常阈值的该股票预测异常数据段标记为正常股票预测数据，放弃采集；
股票影响因素数据采集模块，用于对股票预测异常数据段中股票预测异常值数量超过正常阈值的股票预测异常数据段，按照该股票预测异常数据段对应的股票影响因素数据进行采集，并将对应的股票影响因素采集数据和对应的实时股票数据发送至客户端。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有代码，所述处理器被配置为获取所述代码，并执行如权利要求1至7任一项所述的基于云计算的股票数据采集方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于云计算的股票数据采集方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311106148.9A CN116843473A (zh) | 2023-08-30 | 2023-08-30 | 基于云计算的股票数据采集方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311106148.9A CN116843473A (zh) | 2023-08-30 | 2023-08-30 | 基于云计算的股票数据采集方法、系统、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116843473A true CN116843473A (zh) | 2023-10-03 |
Family
ID=88172817
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311106148.9A Pending CN116843473A (zh) | 2023-08-30 | 2023-08-30 | 基于云计算的股票数据采集方法、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116843473A (zh) |
-
2023
- 2023-08-30 CN CN202311106148.9A patent/CN116843473A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230325724A1 (en) | Updating attribute data structures to indicate trends in attribute data provided to automated modelling systems | |
| CN111435463A (zh) | 数据处理方法及相关设备、系统 | |
| CN112561082A (zh) | 生成模型的方法、装置、设备以及存储介质 | |
| CN112734559A (zh) | 企业信用风险评价方法、装置及电子设备 | |
| CN112668822A (zh) | 科技成果转化平台共享系统、方法、存储介质、手机app | |
| CN116307215A (zh) | 一种电力系统的负荷预测方法、装置、设备及存储介质 | |
| CN116684330A (zh) | 基于人工智能的流量预测方法、装置、设备及存储介质 | |
| CN114202256A (zh) | 架构升级预警方法、装置、智能终端及可读存储介质 | |
| CN113361959A (zh) | 一种银行业务集中运营成熟度的计算方法和装置 | |
| CN111160614B (zh) | 资源转移预测模型的训练方法、装置及计算设备 | |
| CN112257958A (zh) | 一种电力饱和负荷预测方法及装置 | |
| CN111783883A (zh) | 一种异常数据的检测方法及装置 | |
| CN111404974B (zh) | 一种云计算效能评估方法、装置及评估设备 | |
| Deng et al. | A novel method for elimination of inconsistencies in ordinal classification with monotonicity constraints | |
| CN116843473A (zh) | 基于云计算的股票数据采集方法、系统、设备及存储介质 | |
| CN115169089A (zh) | 基于核密度估计和copula的风电功率概率预测方法和装置 | |
| CN114925275A (zh) | 产品推荐方法、装置、计算机设备及存储介质 | |
| CN114861800A (zh) | 模型训练方法、概率确定方法、装置、设备、介质及产品 | |
| CN112926801A (zh) | 一种基于分位数回归的负荷曲线组合预测方法及装置 | |
| CN112308294A (zh) | 违约概率预测方法及装置 | |
| CN113435653B (zh) | 一种基于logistic模型的饱和用电量预测方法及系统 | |
| CN116934486B (zh) | 一种基于深度学习的决策评估方法及系统 | |
| CN114066278B (zh) | 物品召回的评估方法、装置、介质及程序产品 | |
| WO2022156743A1 (zh) | 特征构建方法和装置、模型训练方法和装置、设备、介质 | |
| EP4134834A1 (en) | Method and apparatus of processing feature information, electronic device, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |