CN102917009A - 一种基于云计算技术的股票数据采集和存储方法和系统 - Google Patents
一种基于云计算技术的股票数据采集和存储方法和系统 Download PDFInfo
- Publication number
- CN102917009A CN102917009A CN2012103274432A CN201210327443A CN102917009A CN 102917009 A CN102917009 A CN 102917009A CN 2012103274432 A CN2012103274432 A CN 2012103274432A CN 201210327443 A CN201210327443 A CN 201210327443A CN 102917009 A CN102917009 A CN 102917009A
- Authority
- CN
- China
- Prior art keywords
- stock
- certificate data
- stock certificate
- data
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005516 engineering process Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 13
- 238000004458 analytical method Methods 0.000 claims abstract description 4
- 238000013480 data collection Methods 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 17
- 238000013467 fragmentation Methods 0.000 claims description 16
- 238000006062 fragmentation reaction Methods 0.000 claims description 16
- 238000013500 data storage Methods 0.000 claims description 13
- 230000006399 behavior Effects 0.000 claims description 3
- 238000011161 development Methods 0.000 claims description 3
- 230000006386 memory function Effects 0.000 claims description 2
- 238000000354 decomposition reaction Methods 0.000 claims 3
- 239000012634 fragment Substances 0.000 abstract 3
- 230000008520 organization Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 244000097202 Rathbunia alamosensis Species 0.000 description 1
- 235000009776 Rathbunia alamosensis Nutrition 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于云计算技术的股票数据采集和存储方法，包括：获取多个股票代码，并为该股票代码生成对应的URL列表文件，设置云计算平台的Hadoop分布式文件系统的分片大小，将URL列表文件存储在Hadoop分布式文件系统上，接收用户提交的股票数据采集请求，根据文件分片的个数将股票数据采集请求分解为相应个数的Map任务，并将分解后的Map任务指派给相应分片所在的从服务器执行，根据分解后的Map任务从服务器向远程股票数据服务器发出Http数据请求，并且远程股票数据服务器返回股票数据，根据分解后的Map任务对股票数据进行解析，解析功能函数程序的编制遵循远程股票服务器对股票数据的结构描述。本发明开发简单，可实现股票数据的快速采集，数据结构扩展性好。
Description
技术领域
本发明属于网络应用技术领域，更具体地，涉及一种基于云计算技术的股票数据采集和存储方法和系统。
背景技术
证劵交易日产生的股票数据的特征主要表现为实时性和大规模。目前，沪深两市在交易日每支股票每5秒会产生一条更新数据，每天数据增长容量在1.5-2GB之间。据2011年相关统计数据，在国内沪深交易所上市交易股票数1800支左右，香港交易所6700左右，国外仅以美国纳斯达克证券市场为例上市交易股票数5800支左右。若把基金和债劵考虑在内则某时刻同时产生的数据量更多。随着时间的积累，股票数据规模非常可观，且与一般日志数据不同的是，这些数据在金融工程领域有较高的分析价值，金融投资研究机构需要经常对历史和实时数据进行挖掘创新。处理高频且大规模的股票数据是一个大型的工程问题，包括数据如何去存储，到这些数据如何建模、计算，到最后形成高效的数据组织之后如何应用这些数据。
一般的数据库系统无法满足如此大规模和实时性，灵活性的要求。单独使用关系型数据库实现方法存在开发复杂、实时性差、管理困难、数据结构灵活性差等问题。若采用Oracle Timesten解决方案，存在软硬件成本昂贵、横向扩展难度较大以及需要有使用经验的技术员工等问题。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种基于云计算技术的股票数据采集和存储方法，其开发简单、实现大规模股票数据的快速采集、股票数据高效组织、数据结构扩展性好。
为实现上述目的，本发明提供了一种基于云计算技术的股票数据采集和存储方法，包括以下步骤：
（1）获取多个股票代码，并为该股票代码生成对应的URL列表文件，
（2）设置云计算平台的Hadoop分布式文件系统的分片大小，
（3）将URL列表文件存储在Hadoop分布式文件系统上，
（4）接收用户提交的股票数据采集请求，根据文件分片的个数将股票数据采集请求分解为相应个数的Map任务，并将分解后的Map任务指派给相应分片所在的从服务器执行，
（5）根据分解后的Map任务从服务器向远程股票数据服务器发出Http数据请求，并且远程股票数据服务器返回股票数据，从而实现股票数据的并行采集，
（6）根据分解后的Map任务对股票数据进行解析，解析功能函数程序的编制遵循远程股票服务器对股票数据的结构描述，
（7）根据分解后的Map任务将解析后的股票数据存储在从服务器上的分布式数据库HBase中。
步骤（1）中URL列表文件是按行组织的文本形式的文件，每一行为一个URL链接，且每个URL链接含有190支股票代码。
步骤（4）具体为，采集工作是遵循Hadoop分布式并行编程MapReduce模型开发出来的应用程序，其中包含一个Map任务功能函数，所述函数中实现了股票数据采集、解析和存储功能。
步骤（6）具体为，首先以回车符作为特征将含有股票数据的StockData值分割成190个数据对象，保存在TempResult数组中，然后依次取出TempResult数组中的每一个元素，使用String对象的Split方法，利用双引号符号特征将信息内容分割成二个部分，其中第一部分包含了股票代码ID，第二部分中包含了有用的股票数据信息，先取出第二部分内容，再按逗号分割成32份，保存在数组Result中。
通过本发明所构思的以上技术方案，与现有技术相比，本发明具有以下的有益效果：
1、开发简单：因为步骤（4）中采用了开源云计算Hadoop系统提供的提供的MapReduce分布式计算编程模型，开发人员只需写较少的代码就可以完成复杂的分布式应用程序的开发。
2、实时性强：因为在步骤（4）、步骤（5）和步骤（6）中编写了MapReduce模型的计算任务，将股票数据的采集、解析和存储等较重的计算任务分解成若干小计算任务分配到多台服务器上并行执行完成，所以，本方法具有较高计算效率，能实现股票数据的快速采集和存储。
3、股票数据的高效组织：因为在步骤（7）中结合股票数据处理应用的需求特征设计了基于分布式数据库HBase技术的股票数据存储结构，便于各种应用服务的开发，如查询服务、统计应用或者如进行股票变化规律聚类等数据挖掘高级应用，实现结构良好的股票历史数据存储中心。
4、数据结构易于扩展：由于采用了基于分布式数据库HBase技术，描述股票数据属性结构是灵活的，可根据存储需求随时通过增加列族的列标签的方式增加新的属性描述，这相比传统关系型数据库固定的关系模式结构要灵活得多。
本发明的另一目的在于提供一种基于云计算技术的股票数据采集和存储系统，其能满足大规模股票数据采集和存储对系统的需求，软硬件成本低廉，服务资源具有良好的可扩展性。
为实现上述目的，本发明提供了一种基于云计算技术的股票数据采集和存储系统，包括URL列表文件生成模块、文件分片大小设置模块、URL列表文件存储模块、股票数据采集请求提交模块、数据采集模块、数据解析模块、数据存储模块、以及云计算软件系统支撑模块。URL列表文件生成模块用于获取多个股票代码，并为股票代码生成对应的URL列表文件，文件分片大小设置模块用于设置云计算平台的Hadoop分布式文件系统的分片大小，URL列表文件存储模块用于将URL列表文件存储在Hadoop分布式文件系统上，股票数据采集请求提交模块用于向云计算平台提交股票数据采集请求，数据采集模块用于从远程股票数据服务器获取股票数据，数据解析模块用于对获取到的股票数据进行格式解析，数据存储模块用于将解析后股票数据存储到分布式数据库系统中，云计算软件系统支撑模块用于提供URL列表文件生成模块、文件分片大小设置模块、URL列表文件存储模块、股票数据采集请求提交模块、数据采集模块和数据解析模块运行的软件支撑环境。
通过本发明所构思的以上技术方案，与现有技术相比，本发明具有以下的有益效果：
1、软硬件成本低廉：因为股票数据采集和存储云服务的构建系统采用了Hadoop云计算技术，Hadoop可以部署在由普通计算机构成集群上的，而不需要传统方法所需要的高性能服务器，且Hadoop是开源的云计算技术项目，所以，本发明系统的软硬件成本比较低。
2、资源利用率高：因为采用了云计算服务架构，能实现多台普通计算机协同工作，提高了硬件资源的利用率。
3、可扩展性好：由于采用Hadoop云计算技术，所以，可在不停止当前服务的情况下动态增加服务器的个数，从而增加整个云平台的计算能力和存储能力。
附图说明
图1是本发明的硬件应用环境图。
图2是本发明基于云计算技术的股票数据采集和存储方法的流程图。
图3是本发明基于云计算技术的股票数据采集和存储系统的示意框图。
图4是URL列表文件实例图。
图5是基于分布式计算技术的采集过程图。
图6是股票数据中间结果数据实例图。
图7是股票数据解析示意图。
图8是基于分布式存储技术的存储组织模型设计图。
图9是基于分布式存储技术的数据存储实例示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明的硬件应用环境如下：由客户端、一个主服务器和多个从服务器组成的云计算平台、以及远程股票数据服务器组成。采集股票数据工作请求由用户通过客户端提交到主服务器；主服务器先将采集工作分解为多个采集Map任务并分配到不同的从服务器执行，主服务器还负责与数据存储管理相关的元数据管理；从服务器向远程股票数据服务器发起Http数据请求，远程股票数据服务器返回股票数据给从服务器；从服务器解析获得的股票数据，并将股票数据存储在从服务器上。
如图2所示，本发明基于云计算技术的股票数据采集和存储方法包括以下步骤：
（1）获取多个股票代码，并为该股票代码生成对应的URL列表文件，该URL列表文件是按行组织的文本形式的文件，每一行为一个URL链接，且每个URL链接含有190支股票代码。具体而言，股票代码可以从诸如香港交易所、美国纽交所网站下载获取，取190支股票代码以逗号隔开，再股票代码前加上“http://hq.sinajs.cn/list=”字符串，从而一个构成股票数据采集URL，以行的形式存储在URL列表文件中；每190支股票代码都按上述方法构成URL列表的一行，如图4所示，给出一个URL列表文件内容组成实例。URL列表文件的行数越多，URL列表文件越大，越能体现出云计算服务方法比传统方法在抓取性能上的优势；
（2）设置云计算平台的Hadoop分布式文件系统（Hadoop DistributedFile System，简称HDFS）的分片大小，具体而言，是通过修改主服务器Hadoop目录下的conf子目录中的hdfs.xml配置文件的dfs.block.size属性值来实现，分片的大小决定了步骤（3）中数据文件存储时的分片个数，也决定了步骤（4）中的Map任务数目；
（3）将URL列表文件存储在HDFS上，具体而言，根据步骤（2）中设置的文件分片大小将URL列表文件进行分割成若干个分片，在主服务器控制下将文件分片存储到不同的从服务器中；
（4）接收用户提交的股票数据采集请求，根据文件分片的个数将股票数据采集请求分解为相应个数的Map任务，并将分解后的Map任务指派给相应分片所在的从服务器执行；具体而言，采集工作是遵循Hadoop分布式并行编程MapReduce模型开发出来的应用程序，其中包含一个Map任务功能函数，该函数中实现了股票数据采集、解析和存储等功能。
（5）根据分解后的Map任务从服务器向远程股票数据服务器发出Http数据请求，并且远程股票数据服务器返回股票数据，实现股票数据的并行采集；对于远程股票数据服务器而言，国内的服务器是例如新浪金融数据服务器，国外服务器是例如雅虎金融数据服务器。具体而言，每个Map任务从相应文件分片按行读取文件内容，并将其装配成键值对格式（Key ValuePair）作为Map任务的输入值，Key的值为每行URL在URL列表文件中的行号，Value的值为URL内容本身，如图5所示，执行Map任务功能函数将从输入Value值中获得股票数据采集URL，并向远程股票数据发起Http数据报文请求，远程股票数据服务器返回股票数据，得到Map任务的中间输出结果键值对，Key的值为URL内容，Value的值为URL中所有190支股票代码在Http数据请求时的股票数据StockData，如图6所示，给出了一个返回中间结果Value值的数据实例；
（6）根据分解后的Map任务对股票数据进行解析，解析功能函数程序的编制遵循远程股票服务器对股票数据的结构描述；具体而言，首先以回车符作为特征将含有股票数据的StockData值分割成190个数据对象，保存在TempResult数组中，然后依次取出TempResult数组中的每一个元素，使用String对象的Split方法，利用双引号符号特征将信息内容分割成二个部分，其中第一部分包含了股票代码ID，第二部分中包含了有用的股票数据信息，先取出第二部分内容，再按逗号分割成32份，保存在数组Result中，此时，Result中的数据对应当前抓取股票的32个实时数据项，如图7所示。
（7）根据分解后的Map任务将解析后的股票数据存储在从服务器上的分布式数据库HBase中，HBase是一种以列为存储结构的分布式数据库，在存储数据前必须先设计好存储结构，存储结构好坏将直接影响到股票数据处理的上层应用的执行效率，如图8所示，是本发明的股票数据存储组织模型设计图；具体而言，以股票代码ID作为HBase数据表的“行键”（RowKey）；设立一个基本信息“列族”（Column Family），用以描述发行该股票的公司相关信息；设立“实时数据”列族，用以存储每次抓取解析后的股票数据；将获得股票数据的日期时间信息作为存储该行数据的“时间戳”（Time Stamp）。
在上述步骤（7）中，HBase数据库技术中数据存储结构的设计具有较大的自由度，本发明以股票代码ID作为HBase数据表行键的设计理由如下：考虑到上层应用需求存在以下特征，大多数的查询和展示操作都是针对指定股票代码在一小段时间内的某种业务数据，对股票数据统计和数据挖掘应用也针对某支股票进行的；以股票代码ID作为行键，分布式HBase数据库系统在数据存储时会自动按股票代码ID建立索引；由于HBase数据库在物理存储上按行健自动划分Region，使得按行健分割的同一列族的数据保存在临近位置的物理存储区中，这样的设计会在最大程度上保证单次数据操作的独立性（即仅需扫描一个Region），能提高数据操作的效率。
在上述步骤（7）中，“时间戳”中的股票日期时间信息可以由步骤（6）中解析股票数据的第30和31项信息内容（如图7所示）联合起来得到。
在上述步骤（7）中，“基本信息列族”中可以通过添加“列标签”（FamilyLab）的方式来对发行该股票的公司各方面的信息进行描述，图8仅给出了4个“列标签”的设计，用户可根据需求动态增加新的列标签以存储描述该公司其他诸如财务信息的数据。
在上述步骤（7）中，“实时数据列族”由32个列标签，分别对应于股票数据解析后的32个数据项内容，以存储相应的股票数据内容。如图9所示，给出了存储组织模型下存储数据的一个实例。
在上述步骤（5）至（7）中，采集、解析和存储是设计在一个工作里的Map任务功能函数中进行的，如果采用多个工作的话，就会因需要额外消耗一定系统资源进行工作的初始化和分配等计算，而增加数据采集的延时。
如图3所示，本发明基于云计算技术的股票数据采集和存储系统包括URL列表文件生成模块1、文件分片大小设置模块2、URL列表文件存储模块3、股票数据采集请求提交模块4、数据采集模块5、数据解析模块6、数据存储模块7、以及云计算软件系统支撑模块8。
URL列表文件生成模块1用于获取多个股票代码，并为股票代码生成对应的URL列表文件。
文件分片大小设置模块2用于设置云计算平台HDFS存储文件时文件分片的大小。
URL列表文件存储模块3用于将URL列表文件存储在云计算平台的HDFS上。
股票数据采集请求提交模块4用于向云计算平台提交股票数据采集请求。
数据采集模块5用于从远程股票数据服务器获取股票数据。
数据解析模块6用于对获取到的股票数据进行格式解析。
数据存储模块7用于将解析后股票数据存储到分布式数据库系统中。
云计算软件系统支撑模块8用于提供URL列表文件生成模块1、文件分片大小设置模块2、URL列表文件存储模块3、股票数据采集请求提交模块4、数据采集模块5和数据解析模块6运行的软件支撑环境，主要包括开源Hadoop软件和HBase开源分布式数据库系统。具体而言，在主、从服务器上安装Linux操作系统；然后在每台机器上部署Hadoop软件，将主服务器配置为分布式文件系统HDFS的Namenode节点，并它配置成Hadoop分布式计算模型MapReduce的JobTracker节点，同时还将其配置成分布式Hbase数据库的HMaster节点；将从服务器配置为分布式文件系统HDFS的Datanode节点，并它配置成Hadoop分布式计算模型MapReduce的TaskTracker节点，同时还将其配置成分布式数据库Hbase的HRegionServer节点。在此基础上，部署本发明的URL列表文件生成模块1、文件分片大小设置模块2、URL列表文件存储模块3、股票数据采集请求提交模块4、数据采集模块5、数据解析模块6、数据存储模块7，以实现本发明所提出的方法。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于云计算技术的股票数据采集和存储方法，其特征在于，包括以下步骤：
（1）获取多个股票代码，并为该股票代码生成对应的URL列表文件；
（2）设置云计算平台的Hadoop分布式文件系统的分片大小；
（3）将所述URL列表文件存储在所述Hadoop分布式文件系统上；
（4）接收用户提交的股票数据采集请求，根据文件分片的个数将所述股票数据采集请求分解为相应个数的Map任务，并将分解后的Map任务指派给相应分片所在的从服务器执行；
（5）根据所述分解后的Map任务从服务器向远程股票数据服务器发出Http数据请求，并且所述远程股票数据服务器返回股票数据，从而实现股票数据的并行采集；
（6）根据所述分解后的Map任务对所述股票数据进行解析，解析功能函数程序的编制遵循远程股票服务器对股票数据的结构描述；
（7）根据所述分解后的Map任务将解析后的股票数据存储在从服务器上的分布式数据库HBase中。
2.根据权利要求1所述的股票数据采集和存储方法，其特征在于，所述URL列表文件是按行组织的文本形式的文件，每一行为一个URL链接，且每个URL链接含有190支股票代码。
3.根据权利要求1所述的股票数据采集和存储方法，其特征在于，步骤（4）具体为，采集工作是遵循Hadoop分布式并行编程MapReduce模型开发出来的应用程序，其中包含一个Map任务功能函数，所述函数中实现了股票数据采集、解析和存储功能。
4.根据权利要求1所述的股票数据采集和存储方法，其特征在于，步骤（6）具体为，首先以回车符作为特征将含有股票数据的StockData值分割成190个数据对象，保存在TempResult数组中，然后依次取出TempResult数组中的每一个元素，使用String对象的Split方法，利用双引号符号特征将信息内容分割成二个部分，其中第一部分包含了股票代码ID，第二部分中包含了有用的股票数据信息，先取出第二部分内容，再按逗号分割成32份，保存在数组Result中。
5.一种基于云计算技术的股票数据采集和存储系统，其特征在于，
包括URL列表文件生成模块、文件分片大小设置模块、URL列表文件存储模块、股票数据采集请求提交模块、数据采集模块、数据解析模块、数据存储模块、以及云计算软件系统支撑模块；
所述URL列表文件生成模块用于获取多个股票代码，并为股票代码生成对应的URL列表文件；
所述文件分片大小设置模块用于设置云计算平台的Hadoop分布式文件系统的分片大小；
所述URL列表文件存储模块用于将所述URL列表文件存储在所述Hadoop分布式文件系统上；
所述股票数据采集请求提交模块用于向云计算平台提交股票数据采集请求；
所述数据采集模块用于从远程股票数据服务器获取股票数据；
所述数据解析模块用于对获取到的股票数据进行格式解析；
所述数据存储模块用于将解析后股票数据存储到分布式数据库系统中；
所述云计算软件系统支撑模块用于提供所述URL列表文件生成模块、所述文件分片大小设置模块、所述URL列表文件存储模块、所述股票数据采集请求提交模块、所述数据采集模块和所述数据解析模块运行的软件支撑环境。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210327443.2A CN102917009B (zh) | 2012-09-06 | 2012-09-06 | 一种基于云计算技术的股票数据采集和存储方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210327443.2A CN102917009B (zh) | 2012-09-06 | 2012-09-06 | 一种基于云计算技术的股票数据采集和存储方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102917009A true CN102917009A (zh) | 2013-02-06 |
| CN102917009B CN102917009B (zh) | 2015-08-19 |
Family
ID=47615239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210327443.2A Expired - Fee Related CN102917009B (zh) | 2012-09-06 | 2012-09-06 | 一种基于云计算技术的股票数据采集和存储方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102917009B (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103514277A (zh) * | 2013-09-24 | 2014-01-15 | 国家电网公司 | 用电信息采集系统的任务并行处理方法 |
| CN103747069A (zh) * | 2013-12-27 | 2014-04-23 | 王之杰 | 一种利用gdp成分编制股票指数的云计算系统 |
| CN103986606A (zh) * | 2014-05-27 | 2014-08-13 | 重庆邮电大学 | 一种基于MapReduce算法的并行识别、统计网页URL的方法 |
| CN104794231A (zh) * | 2015-05-04 | 2015-07-22 | 罗敬宁 | 一种基于Map/Reduce的非结构化数据的处理方法和装置 |
| CN104834557A (zh) * | 2015-05-18 | 2015-08-12 | 成都博元科技有限公司 | 一种基于Hadoop的数据分析方法 |
| CN105354642A (zh) * | 2015-11-20 | 2016-02-24 | 浪潮(北京)电子信息产业有限公司 | 一种基于云计算的股票数据分析系统 |
| CN105847329A (zh) * | 2016-03-15 | 2016-08-10 | 优品财富管理有限公司 | 一种基于股票数据服务器的管理设备及方法 |
| CN106780035A (zh) * | 2017-01-09 | 2017-05-31 | 天津市思托科技有限公司 | 用于云计算的指标公式处理方法、计算方法、处理装置和计算系统 |
| CN107276782A (zh) * | 2016-04-07 | 2017-10-20 | 中国移动通信集团福建有限公司 | 一种信息处理方法、设备和系统 |
| CN109829015A (zh) * | 2019-01-16 | 2019-05-31 | 成都有据量化科技有限公司 | 基于HBase的金融数据存储方法、装置以及存储介质 |
| CN111145024A (zh) * | 2019-12-27 | 2020-05-12 | 深圳市思迪信息技术股份有限公司 | 行情数据的推送方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060136425A1 (en) * | 2004-12-16 | 2006-06-22 | International Business Machines Corporation | Data-centric distributed computing |
| CN101276364A (zh) * | 2007-03-30 | 2008-10-01 | 阿里巴巴公司 | 一种分布式计算数据合并方法、系统及其装置 |
-
2012
- 2012-09-06 CN CN201210327443.2A patent/CN102917009B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060136425A1 (en) * | 2004-12-16 | 2006-06-22 | International Business Machines Corporation | Data-centric distributed computing |
| CN101276364A (zh) * | 2007-03-30 | 2008-10-01 | 阿里巴巴公司 | 一种分布式计算数据合并方法、系统及其装置 |
Non-Patent Citations (3)
| Title |
|---|
| 存储在线: "向Hadoop看齐 RainStor加快数据分析", 《HTTP://WWW.DOSTOR.COM/ARTICLE/2012-02-17/8208596.SHTML》, 17 February 2012 (2012-02-17) * |
| 李成华等: "MapReduce：新型的分布式并行计算编程模型", 《计算机工程与科学》, vol. 33, no. 3, 31 March 2011 (2011-03-31) * |
| 编程学习: "新浪股票查询接口(1)", 《HTTP://WWW.MORNINGSTAREDU.COM/PUBLIC_HTML/WORDPRESS/%E6%96%B0%E6%B5%AA%E8%82%A1%E7%A5%A8%E6%9F%A5%E8%AF%A2%E6%8E%A5%E5%8F%A31.HTML》, 20 January 2008 (2008-01-20) * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103514277A (zh) * | 2013-09-24 | 2014-01-15 | 国家电网公司 | 用电信息采集系统的任务并行处理方法 |
| CN103514277B (zh) * | 2013-09-24 | 2015-10-21 | 国家电网公司 | 用电信息采集系统的任务并行处理方法 |
| CN103747069A (zh) * | 2013-12-27 | 2014-04-23 | 王之杰 | 一种利用gdp成分编制股票指数的云计算系统 |
| CN103986606B (zh) * | 2014-05-27 | 2017-03-29 | 重庆邮电大学 | 一种基于MapReduce算法的并行识别、统计网页URL的方法 |
| CN103986606A (zh) * | 2014-05-27 | 2014-08-13 | 重庆邮电大学 | 一种基于MapReduce算法的并行识别、统计网页URL的方法 |
| CN104794231A (zh) * | 2015-05-04 | 2015-07-22 | 罗敬宁 | 一种基于Map/Reduce的非结构化数据的处理方法和装置 |
| CN104794231B (zh) * | 2015-05-04 | 2018-05-25 | 罗敬宁 | 一种基于Map/Reduce的非结构化数据的处理方法和装置 |
| CN104834557A (zh) * | 2015-05-18 | 2015-08-12 | 成都博元科技有限公司 | 一种基于Hadoop的数据分析方法 |
| CN105354642A (zh) * | 2015-11-20 | 2016-02-24 | 浪潮(北京)电子信息产业有限公司 | 一种基于云计算的股票数据分析系统 |
| CN105847329A (zh) * | 2016-03-15 | 2016-08-10 | 优品财富管理有限公司 | 一种基于股票数据服务器的管理设备及方法 |
| CN105847329B (zh) * | 2016-03-15 | 2023-04-07 | 优品财富管理有限公司 | 一种基于股票数据服务器的管理设备及方法 |
| CN107276782A (zh) * | 2016-04-07 | 2017-10-20 | 中国移动通信集团福建有限公司 | 一种信息处理方法、设备和系统 |
| CN107276782B (zh) * | 2016-04-07 | 2020-10-16 | 中国移动通信集团福建有限公司 | 一种信息处理方法、设备和系统 |
| CN106780035A (zh) * | 2017-01-09 | 2017-05-31 | 天津市思托科技有限公司 | 用于云计算的指标公式处理方法、计算方法、处理装置和计算系统 |
| CN109829015A (zh) * | 2019-01-16 | 2019-05-31 | 成都有据量化科技有限公司 | 基于HBase的金融数据存储方法、装置以及存储介质 |
| CN111145024A (zh) * | 2019-12-27 | 2020-05-12 | 深圳市思迪信息技术股份有限公司 | 行情数据的推送方法及装置 |
| CN111145024B (zh) * | 2019-12-27 | 2023-05-12 | 深圳市思迪信息技术股份有限公司 | 行情数据的推送方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102917009B (zh) | 2015-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102917009B (zh) | 一种基于云计算技术的股票数据采集和存储方法和系统 | |
| US10963513B2 (en) | Data system and method | |
| CN104767813B (zh) | 基于openstack的公众行大数据服务平台 | |
| CN101821710B (zh) | 用于工作流生成、调度和/或执行的系统、方法和图形用户界面 | |
| CN105446991A (zh) | 数据存储方法、查询方法及设备 | |
| CN102799690A (zh) | 一种利用数据库技术校验网页输入的方法 | |
| CN108268565B (zh) | 基于数据仓库处理用户浏览行为数据的方法及系统 | |
| CA2497742A1 (en) | Real-time aggregation of data within an enterprise planning environment | |
| CN104102710A (zh) | 一种海量数据查询方法 | |
| CN112364223B (zh) | 一种数字档案馆系统 | |
| CN101576915A (zh) | 一种分布式b+树索引系统及构建方法 | |
| CN101821709A (zh) | 用于工作流生成、调度和/或执行的系统、方法和图形用户界面 | |
| CN102270155A (zh) | 应用程序实例和查询存储 | |
| CN103019728A (zh) | 一种高效复杂报表解析引擎及其解析方法 | |
| CN101477522A (zh) | 收集与分析商业智能数据的系统 | |
| CN101739452A (zh) | 一种数据交换接口及其实现方法 | |
| CN102262674A (zh) | 一种分布式内存数据库的数据同步方法及系统 | |
| CN106326243B (zh) | 一种数据处理方法及装置 | |
| CN105760520A (zh) | 一种数据管控平台及架构 | |
| CN104142930A (zh) | 通用δ数据装载 | |
| CN102609488A (zh) | 客户端及其数据查询方法、服务端和数据查询系统 | |
| CN102880683A (zh) | 一种可行性研究报告的自动网络生成系统及其生成方法 | |
| CN104199978A (zh) | 基于NoSQL实现元数据缓存与分析的系统及方法 | |
| CN103353901A (zh) | 基于Hadoop分布式文件系统的表数据的有序管理方法以及系统 | |
| CN103942330A (zh) | 一种大数据的处理方法、系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20161028 Address after: 430205 999 hi tech Avenue, East Lake New Technology Development Zone, Wuhan, Hubei Patentee after: WUHAN MINGDA INFORMATION TECHNOLOGY Co.,Ltd. Address before: 430074 National Road, Hongshan District, Hubei, Wuhan 708 Patentee before: SOUTH CENTRAL University FOR NATIONALITIES |
|
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150819 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |