CN105426541A - 一种通用数据的存储方法和装置 - Google Patents

一种通用数据的存储方法和装置 Download PDF

Info

Publication number
CN105426541A
CN105426541A CN201510982949.0A CN201510982949A CN105426541A CN 105426541 A CN105426541 A CN 105426541A CN 201510982949 A CN201510982949 A CN 201510982949A CN 105426541 A CN105426541 A CN 105426541A
Authority
CN
China
Prior art keywords
data
configuration information
field
database
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510982949.0A
Other languages
English (en)
Other versions
CN105426541B (zh
Inventor
魏钦刚
马伟然
赵银灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Qizhi Software Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd, Qizhi Software Beijing Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201510982949.0A priority Critical patent/CN105426541B/zh
Publication of CN105426541A publication Critical patent/CN105426541A/zh
Application granted granted Critical
Publication of CN105426541B publication Critical patent/CN105426541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • G06F16/287Visualization; Browsing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2291User-Defined Types; Storage management thereof

Abstract

本发明实施例提供了一种通用数据的存储方法和装置,该方法包括:当获取到源数据时,读取所述源数据对应的配置信息;按照所述配置信息识别所述源数据中的一个或多个指定类型的数据;在所述配置信息中读取所述一个或多个指定类型在预设的数据库中的一个或多个字段;将所述一个或多个数据存储至所述的数据库中的一个或多个字段。本发明实施例通过配置和存储的分离,使得存储结构可以定制化,支持通用数据的存储,大大降低了开发的工作量。

Description

一种通用数据的存储方法和装置
技术领域
本发明涉及计算机处理的技术领域,特别是涉及一种通用数据的存储方法和一种通用数据的存储装置。
背景技术
在各种应用系统,如门户网站、云存储系统、应用分发平台等应用系统中,基本会将系统运行过程中所发生的事件进行记录,然后通过对记录的文件进行解析,就可以详细了解系统的整个运行过程。
由于不同的应用系统,具有不同的特点,其记录的文件也有所不同。
因此,每记录一种文件,相应地需要开发一套数据库及文件解析系统。
在一些网站中,由于涉及的业务较为广泛,因此,需要开发多套数据库及文件解析系统。
此外,应用系统的业务发展一般比较快,原有的数据库和文件解析系统经常需要随之更新,每次更新都需要修改数据库和文件解析系统,开发工作量较大。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种通用数据的存储方法和相应的一种通用数据的存储装置。
依据本发明的一个方面,提供了一种通用数据的存储方法,包括:
当获取到源数据时,读取所述源数据对应的配置信息;
按照所述配置信息识别所述源数据中的一个或多个指定类型的数据;
在所述配置信息中读取所述一个或多个指定类型在预设的数据库中的一个或多个字段;
将所述一个或多个数据存储至所述的数据库中的一个或多个字段。
可选地,所述将所述一个或多个数据存储至所述的数据库中的一个或多个字段的步骤包括:
在数据库中查找所述字段;
在所述字段中查找所述数据对应的、当前时间所属的时间段的统计项;
在所述统计项中写入统计值。
可选地,还包括:
读取配置信息中指定的类型;
当生成源数据时,按照指定的格式写入所述类型的数据。
可选地,所述按照所述配置信息识别所述源数据中的一个或多个指定类型的数据的步骤包括:
读取配置信息中指定的类型;
在源数据中按照指定的格式读取所属指定类型的数据。
可选地,还包括:
当接收到一个或多个类型的数据的展示请求时,从配置信息读取所述一个或多个类型的数据对应的一个或多个字段;
在数据库中读取所述一个或多个字段的数据;
加载所述一个或多个字段的数据。
可选地,所述在数据库中读取所述一个或多个字段的数据的步骤包括:
从所述展示请求中确定统计时间范围;
在数据库中读取所述一个或多个字段的数据对应的、属于所述统计时间范围的统计项。
可选地,所述加载所述一个或多个字段的数据的步骤包括:
在配置信息中查询所述一个或多个字段的对应的一个或多个展示方式;
按照所述一个或多个展示方式展示一个或多个字段的数据。
可选地,所述加载所述一个或多个字段的数据的步骤包括:
对所述统计时间范围的统计项进行计算处理;
展示计算处理之后的统计项。
根据本发明的另一方面,提供了一种通用数据的存储装置,包括:
配置信息读取模块,适于在获取到源数据时,读取所述源数据对应的配置信息;
数据识别模块,适于按照所述配置信息识别所述源数据中的一个或多个指定类型的数据;
字段读取模块,适于在所述配置信息中读取所述一个或多个指定类型在预设的数据库中的一个或多个字段;
数据库存储模块,适于将所述一个或多个数据存储至所述的数据库中的一个或多个字段。
可选地,所述字段读取模块还适于:
在数据库中查找所述字段;
在所述字段中查找所述数据对应的、当前时间所属的时间段的统计项;
在所述统计项中写入统计值。
可选地,还包括:
数据类型确定模块,适于读取配置信息中指定的类型;
数据写入模块,适于在生成源数据时,按照指定的格式写入所述类型的数据。
可选地,所述数据识别模块还适于:
读取配置信息中指定的类型;
在源数据中按照指定的格式读取所属指定类型的数据。
可选地,还包括:
字段确定模块,适于在接收到一个或多个类型的数据的展示请求时,从配置信息读取所述一个或多个类型的数据对应的一个或多个字段;
数据读取模块,适于在数据库中读取所述一个或多个字段的数据;
数据加载模块,适于加载所述一个或多个字段的数据。
可选地,所述数据读取模块还适于:
从所述展示请求中确定统计时间范围;
在数据库中读取所述一个或多个字段的数据对应的、属于所述统计时间范围的统计项。
可选地,所述数据加载模块还适于:
在配置信息中查询所述一个或多个字段的对应的一个或多个展示方式;
按照所述一个或多个展示方式展示一个或多个字段的数据。
可选地,所述数据加载模块还适于:
对所述统计时间范围的统计项进行计算处理;
展示计算处理之后的统计项。
本发明实施例在配置信息中,对一类数据进行一定的信息说明,并依照配置信息部分中对该类型数据的配置,将数据组织成特定的形式,然后存储在数据库中,通过配置和存储的分离,使得存储结构可以定制化,支持通用数据的存储,大大降低了开发的工作量。
本发明实施例由于数据的展现和数据存储本身的分离,所以,数据的展现形式可以使用任意类型,使得数据展现形式多样化并且操作方式是统一的。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的一种通用数据的存储方法实施例1的步骤流程图;
图2示出了根据本发明一个实施例的一种通用数据的存储方法实施例2的步骤流程图;
图3示出了根据本发明一个实施例的一种数据的存储和展示的流程示例图;以及
图4示出了根据本发明一个实施例的一种通用数据的存储装置实施例的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
参照图1,示出了根据本发明一个实施例的一种通用数据的存储方法实施例1的步骤流程图,具体可以包括如下步骤:
步骤101,当获取到源数据时,读取所述源数据对应的配置信息;
在应用系统中,需要对各种业务数据进行收集,例如,在应用分发平台中记录与应用相关的下载数据(如名称、包名、应用id、渠道、版本等),通常记录为日志文件,展现给技术人员进行分析。
对于业务数据,每一种都有自身的特点,比较简单的是一种业务数据的一个总数;更复杂的有某一类业务数据在一段时间内,连续的,多种维度下的数据分析。
通常,对于每一种业务数据都有一套独立的展现分析方式,这样需要针对数据进行不断的开发,造成工作量较大。
而在本发明实施例中,可以使用一种通用的数据展现分析系统,其特点是,可以使用统一的架构,支持各种类型数据的展现分析,减少工作量。
具体而言,如图2所示,处理数据的结构包含两部分:配置信息部分和存储实体部分。
在配置信息部分中,需要对一类数据进行一定的信息说明,比如,数据的类型,数据的名称,数据的存储方式,数据的展现形式等等。
在存储实体部分中,可以依照配置信息部分中对该类型数据的配置,将数据组织成特定的形式,然后存储在数据库中。
在具体实现中,对于应用系统,可以读取配置信息中指定的类型,当生成源数据时,按照指定的格式写入类型的数据。
例如,在应用分发平台中,若配置信息指定存储名称、包名、应用id、渠道、版本等等数据,则可以以key=value的形式将这些数据写入日志中,如名称=俄罗斯方块。
需要说明的是,对于每一种数据,可以通过配置信息部分进行存储,数据的输入源并没有特定限制,只要存储时通过配置信息的规划,存储到数据库中既可以做后续的展示处理。
例如,在应用分发平台中是通过访问日志和系统打点等方式,将基础数据在Hadoop分布式文件系统HDFS中进行汇总。
需要不同类型的数据时,可以直接编写脚本或者hivesql获取数据,输入到数据系统中进行展现;还有另外一种展现别的业务数据,其他业务将自己算好的数据推送到应用分发平台,再通过脚本将数据转换形式,写入数据库。
步骤102,按照所述配置信息识别所述源数据中的一个或多个指定类型的数据;
在具体实现中,可以读取配置信息中指定的类型,获知需要存储的数据。
若在先应用系统根据配置信息中指定的类型的数据,按照指定的格式写入数据源,则可以在源数据中按照指定的格式读取所属指定类型的数据。
例如,以key=value的形式将这些数据写入日志中,如名称=俄罗斯方块,则可以在检测到名称时,读取俄罗斯方块。
步骤103,在所述配置信息中读取所述一个或多个指定类型在预设的数据库中的一个或多个字段;
在本发明实施例中,可以在配置信息中该指定类型的数据在数据库中的存储字段,因此,如图2所示,可以从配置信息中读取该指定类型的数据在数据库中的存储字段。
步骤104,将所述一个或多个数据存储至所述的数据库中的一个或多个字段。
在具体实现中,在数据库中查找该字段,在所述字段中查找数据对应的、当前时间所属的时间段的统计项,在统计项中写入统计值。
例如,在数据库中第1个字段为名称,该字段下具有俄罗斯方块、吞食蛇、坦克大战等条目,每个条目可以每隔一时间段(如1天)进行一次统计,若从当前源数据读取到的名称为俄罗斯方块,则可以在当前时间所属的时间段(如当天)的统计值中写入统计值,即累积加1。
本发明实施例在配置信息中,对一类数据进行一定的信息说明,并依照配置信息部分中对该类型数据的配置,将数据组织成特定的形式,然后存储在数据库中,通过配置和存储的分离,使得存储结构可以定制化,支持通用数据的存储,大大降低了开发的工作量。
参照图3,示出了根据本发明一个实施例的一种通用数据的存储方法实施例2的步骤流程图,具体可以包括如下步骤:
步骤301,当获取到源数据时,读取所述源数据对应的配置信息;
步骤302,按照所述配置信息识别所述源数据中的一个或多个指定类型的数据;
步骤303,在所述配置信息中读取所述一个或多个指定类型在预设的数据库中的一个或多个字段;
步骤304,将所述一个或多个数据存储至所述的数据库中的一个或多个字段;
步骤305,当接收到一个或多个类型的数据的展示请求时,从配置信息读取所述一个或多个类型的数据对应的一个或多个字段;
在本发明实施例中,可以在配置信息中该指定类型的数据在数据库中的存储字段,因此,如图2所示,可以从配置信息中读取该指定类型的数据在数据库中的存储字段。
步骤306,在数据库中读取所述一个或多个字段的数据;
在实际应用中,可以从展示请求中确定统计时间范围,在数据库中读取一个或多个字段的数据对应的、属于所述统计时间范围的统计项。
步骤307,加载所述一个或多个字段的数据。
在本发明实施例中,如图2所示,数据的展现也可以通过配置信息部分中的特定配置进行分析展现。
由于数据的展现和数据存储本身的分离,所以,数据的展现形式可以使用任意类型:
单一数据,单维度连续数据,多维度连续数据等形式都可以通过特定的信息配置实现。
在本发明实施例中,可以在配置信息中该指定类型的数据的展示方式,如柱状图、连线图等,因此,可以在配置信息中查询一个或多个字段的对应的一个或多个展示方式,按照一个或多个展示方式展示一个或多个字段的数据。
以俄罗斯方块为例,对于单一数据:在昨天、在主渠道中的、下载量,展现是一个柱形图就可以了;
单维度连续:在过去一个月内,在主渠道中的,下载量,这样表现的是一条线状图。
多维度连续数据:在过去一个月内,在各个渠道中,下载量,这样表现的是很多条线的现状图。
更复杂的数据形式,维度进一步增加:在过去一个月内,在各个渠道内,在各个版本内,下载量,展现的是三维数据。
在本发明实施例中,可以在配置信息中该指定类型的数据的计算处理方式,如累加、请平均值等等,因此,可以按照该处理方式对统计时间范围的统计项进行计算处理,展示计算处理之后的统计项。
进一步而言,单一数据,此数据展现是柱状图形式,只有一个,而数据库中,由于维度多少原因,会拆分出很多很多数据。
例如,对于俄罗斯方块,是一个维度,时间、渠道、版本是拆分出来的几个维度,数据量随着拆分的维度数据量增加。
所以,如果要计算俄罗斯方块在某一天的总下载,需要将被拆分成很多条数据的所有数据集之和汇聚起来相加。
同理,单维度连续数据,是需要将每天的数据集合整理成一组数据;更多维度的只是要整理更多组数据。
本发明实施例由于数据的展现和数据存储本身的分离,所以,数据的展现形式可以使用任意类型,使得数据展现形式多样化并且操作方式是统一的。
为使本领域技术人员更好地理解本发明实施例,以下通过具体的示例来说明本发明实施例中的数据存储、展示的方法。
以用户下载游戏的统计为例,基础维度是时间,应用的版本和渠道号等;特殊数据是游戏的ID,被下载的次数以及人数;
1、建立数据模型,此类型数据假设用数组10代表,说明编号的意义是游戏ID,使用int存储,展现使用多种维度展现;
2、从日志中,依照时间、版本、渠道、游戏ID统计每一种情况下的下载总次数和人数;
3、按照配置中的字段规则,将数据存储;
4、展现时,可根据任意维度进行单日或者多日的数据查询,也可以多种维度组合查看单日或者多日的数据分布等等。
对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图4,示出了根据本发明一个实施例的一种通用数据的存储装置实施例的结构框图,具体可以包括如下模块:
配置信息读取模块401,适于在获取到源数据时,读取所述源数据对应的配置信息;
数据识别模块402,适于按照所述配置信息识别所述源数据中的一个或多个指定类型的数据;
字段读取模块403,适于在所述配置信息中读取所述一个或多个指定类型在预设的数据库中的一个或多个字段;
数据库存储模块404,适于将所述一个或多个数据存储至所述的数据库中的一个或多个字段。
在本发明的一种可选实施例中,所述字段读取模块403还可以适于:
在数据库中查找所述字段;
在所述字段中查找所述数据对应的、当前时间所属的时间段的统计项;
在所述统计项中写入统计值。
在本发明的一种可选实施例中,该装置还可以包括如下模块:
数据类型确定模块,适于读取配置信息中指定的类型;
数据写入模块,适于在生成源数据时,按照指定的格式写入所述类型的数据。
在本发明的一种可选实施例中,所述数据识别模块402还可以适于:
读取配置信息中指定的类型;
在源数据中按照指定的格式读取所属指定类型的数据。
在本发明的一种可选实施例中,该装置还可以包括如下模块:
字段确定模块,适于在接收到一个或多个类型的数据的展示请求时,从配置信息读取所述一个或多个类型的数据对应的一个或多个字段;
数据读取模块,适于在数据库中读取所述一个或多个字段的数据;
数据加载模块,适于加载所述一个或多个字段的数据。
在本发明的一种可选实施例中,所述数据读取模块还可以适于:
从所述展示请求中确定统计时间范围;
在数据库中读取所述一个或多个字段的数据对应的、属于所述统计时间范围的统计项。
在本发明的一种可选实施例中,所述数据加载模块还可以适于:
在配置信息中查询所述一个或多个字段的对应的一个或多个展示方式;
按照所述一个或多个展示方式展示一个或多个字段的数据。
在本发明的一种可选实施例中,所述数据加载模块还可以适于:
对所述统计时间范围的统计项进行计算处理;
展示计算处理之后的统计项。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的通用数据的存储设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明实施例公开了A1、一种通用数据的存储方法,包括:
当获取到源数据时,读取所述源数据对应的配置信息;
按照所述配置信息识别所述源数据中的一个或多个指定类型的数据;
在所述配置信息中读取所述一个或多个指定类型在预设的数据库中的一个或多个字段;
将所述一个或多个数据存储至所述的数据库中的一个或多个字段。
A2、如A1所述的方法,所述将所述一个或多个数据存储至所述的数据库中的一个或多个字段的步骤包括:
在数据库中查找所述字段;
在所述字段中查找所述数据对应的、当前时间所属的时间段的统计项;
在所述统计项中写入统计值。
A3、如A1所述的方法,还包括:
读取配置信息中指定的类型;
当生成源数据时,按照指定的格式写入所述类型的数据。
A4、如A3所述的方法,所述按照所述配置信息识别所述源数据中的一个或多个指定类型的数据的步骤包括:
读取配置信息中指定的类型;
在源数据中按照指定的格式读取所属指定类型的数据。
A5、如A1或A2或A3或A4所述的方法,还包括:
当接收到一个或多个类型的数据的展示请求时,从配置信息读取所述一个或多个类型的数据对应的一个或多个字段;
在数据库中读取所述一个或多个字段的数据;
加载所述一个或多个字段的数据。
A6、如A5所述的方法,所述在数据库中读取所述一个或多个字段的数据的步骤包括:
从所述展示请求中确定统计时间范围;
在数据库中读取所述一个或多个字段的数据对应的、属于所述统计时间范围的统计项。
A7、如A5所述的方法,所述加载所述一个或多个字段的数据的步骤包括:
在配置信息中查询所述一个或多个字段的对应的一个或多个展示方式;
按照所述一个或多个展示方式展示一个或多个字段的数据。
A8、如A6或A7所述的方法,所述加载所述一个或多个字段的数据的步骤包括:
对所述统计时间范围的统计项进行计算处理;
展示计算处理之后的统计项。
本发明实施例还公开了B9、一种通用数据的存储装置,包括:
配置信息读取模块,适于在获取到源数据时,读取所述源数据对应的配置信息;
数据识别模块,适于按照所述配置信息识别所述源数据中的一个或多个指定类型的数据;
字段读取模块,适于在所述配置信息中读取所述一个或多个指定类型在预设的数据库中的一个或多个字段;
数据库存储模块,适于将所述一个或多个数据存储至所述的数据库中的一个或多个字段。
B10、如B9所述的装置,所述字段读取模块还适于:
在数据库中查找所述字段;
在所述字段中查找所述数据对应的、当前时间所属的时间段的统计项;
在所述统计项中写入统计值。
B11、如B9所述的装置,还包括:
数据类型确定模块,适于读取配置信息中指定的类型;
数据写入模块,适于在生成源数据时,按照指定的格式写入所述类型的数据。
B12、如B11所述的装置,所述数据识别模块还适于:
读取配置信息中指定的类型;
在源数据中按照指定的格式读取所属指定类型的数据。
B13、如B9或B10或B1或B12所述的装置,还包括:
字段确定模块,适于在接收到一个或多个类型的数据的展示请求时,从配置信息读取所述一个或多个类型的数据对应的一个或多个字段;
数据读取模块,适于在数据库中读取所述一个或多个字段的数据;
数据加载模块,适于加载所述一个或多个字段的数据。
B14、如B13所述的装置,所述数据读取模块还适于:
从所述展示请求中确定统计时间范围;
在数据库中读取所述一个或多个字段的数据对应的、属于所述统计时间范围的统计项。
B15、如B13所述的装置,所述数据加载模块还适于:
在配置信息中查询所述一个或多个字段的对应的一个或多个展示方式;
按照所述一个或多个展示方式展示一个或多个字段的数据。
B16、如B14或B15所述的装置,所述数据加载模块还适于:
对所述统计时间范围的统计项进行计算处理;
展示计算处理之后的统计项。

Claims (10)

1.一种通用数据的存储方法,包括:
当获取到源数据时,读取所述源数据对应的配置信息;
按照所述配置信息识别所述源数据中的一个或多个指定类型的数据;
在所述配置信息中读取所述一个或多个指定类型在预设的数据库中的一个或多个字段;
将所述一个或多个数据存储至所述的数据库中的一个或多个字段。
2.如权利要求1所述的方法,其特征在于,所述将所述一个或多个数据存储至所述的数据库中的一个或多个字段的步骤包括:
在数据库中查找所述字段;
在所述字段中查找所述数据对应的、当前时间所属的时间段的统计项;
在所述统计项中写入统计值。
3.如权利要求1所述的方法,其特征在于,还包括:
读取配置信息中指定的类型;
当生成源数据时,按照指定的格式写入所述类型的数据。
4.如权利要求3所述的方法,其特征在于,所述按照所述配置信息识别所述源数据中的一个或多个指定类型的数据的步骤包括:
读取配置信息中指定的类型;
在源数据中按照指定的格式读取所属指定类型的数据。
5.如权利要求1或2或3或4所述的方法,其特征在于,还包括:
当接收到一个或多个类型的数据的展示请求时,从配置信息读取所述一个或多个类型的数据对应的一个或多个字段;
在数据库中读取所述一个或多个字段的数据;
加载所述一个或多个字段的数据。
6.如权利要求5所述的方法,其特征在于,所述在数据库中读取所述一个或多个字段的数据的步骤包括:
从所述展示请求中确定统计时间范围;
在数据库中读取所述一个或多个字段的数据对应的、属于所述统计时间范围的统计项。
7.如权利要求5所述的方法,其特征在于,所述加载所述一个或多个字段的数据的步骤包括:
在配置信息中查询所述一个或多个字段的对应的一个或多个展示方式;
按照所述一个或多个展示方式展示一个或多个字段的数据。
8.如权利要求6或7所述的方法,其特征在于,所述加载所述一个或多个字段的数据的步骤包括:
对所述统计时间范围的统计项进行计算处理;
展示计算处理之后的统计项。
9.一种通用数据的存储装置,包括:
配置信息读取模块,适于在获取到源数据时,读取所述源数据对应的配置信息;
数据识别模块,适于按照所述配置信息识别所述源数据中的一个或多个指定类型的数据;
字段读取模块,适于在所述配置信息中读取所述一个或多个指定类型在预设的数据库中的一个或多个字段;
数据库存储模块,适于将所述一个或多个数据存储至所述的数据库中的一个或多个字段。
10.如权利要求9所述的装置,其特征在于,所述字段读取模块还适于:
在数据库中查找所述字段;
在所述字段中查找所述数据对应的、当前时间所属的时间段的统计项;
在所述统计项中写入统计值。
CN201510982949.0A 2015-12-23 2015-12-23 一种通用数据的存储方法和装置 Active CN105426541B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510982949.0A CN105426541B (zh) 2015-12-23 2015-12-23 一种通用数据的存储方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510982949.0A CN105426541B (zh) 2015-12-23 2015-12-23 一种通用数据的存储方法和装置

Publications (2)

Publication Number Publication Date
CN105426541A true CN105426541A (zh) 2016-03-23
CN105426541B CN105426541B (zh) 2019-03-08

Family

ID=55504753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510982949.0A Active CN105426541B (zh) 2015-12-23 2015-12-23 一种通用数据的存储方法和装置

Country Status (1)

Country Link
CN (1) CN105426541B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765111A (zh) * 2019-10-28 2020-02-07 深圳市商汤科技有限公司 存储和读取方法、装置、电子设备和存储介质
CN111259107A (zh) * 2020-01-10 2020-06-09 北京百度网讯科技有限公司 行列式文本的存储方法、装置以及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860458A (zh) * 2009-04-09 2010-10-13 大唐移动通信设备有限公司 一种数据配置方法、设备及系统
CN101901218A (zh) * 2009-05-27 2010-12-01 北京启明星辰信息技术股份有限公司 一种通用数据入库装置及方法
US20110099188A1 (en) * 2009-10-23 2011-04-28 Microsoft Corporation Data framework to enable rich processing of data from any arbitrary data source
CN102819539A (zh) * 2011-09-28 2012-12-12 金蝶软件(中国)有限公司 数据快速录入的方法及系统
CN104424263A (zh) * 2013-08-29 2015-03-18 腾讯科技(深圳)有限公司 一种数据记录的处理方法及装置
CN104462121A (zh) * 2013-09-18 2015-03-25 腾讯科技(深圳)有限公司 数据处理方法、装置及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860458A (zh) * 2009-04-09 2010-10-13 大唐移动通信设备有限公司 一种数据配置方法、设备及系统
CN101901218A (zh) * 2009-05-27 2010-12-01 北京启明星辰信息技术股份有限公司 一种通用数据入库装置及方法
US20110099188A1 (en) * 2009-10-23 2011-04-28 Microsoft Corporation Data framework to enable rich processing of data from any arbitrary data source
CN102819539A (zh) * 2011-09-28 2012-12-12 金蝶软件(中国)有限公司 数据快速录入的方法及系统
CN104424263A (zh) * 2013-08-29 2015-03-18 腾讯科技(深圳)有限公司 一种数据记录的处理方法及装置
CN104462121A (zh) * 2013-09-18 2015-03-25 腾讯科技(深圳)有限公司 数据处理方法、装置及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765111A (zh) * 2019-10-28 2020-02-07 深圳市商汤科技有限公司 存储和读取方法、装置、电子设备和存储介质
WO2021082461A1 (zh) * 2019-10-28 2021-05-06 深圳市商汤科技有限公司 存储和读取方法、装置、电子设备和存储介质
CN110765111B (zh) * 2019-10-28 2023-03-31 深圳市商汤科技有限公司 存储和读取方法、装置、电子设备和存储介质
CN111259107A (zh) * 2020-01-10 2020-06-09 北京百度网讯科技有限公司 行列式文本的存储方法、装置以及电子设备
CN111259107B (zh) * 2020-01-10 2023-08-18 北京百度网讯科技有限公司 行列式文本的存储方法、装置以及电子设备

Also Published As

Publication number Publication date
CN105426541B (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
CN107958057B (zh) 一种用于异构数据库中数据迁移的代码生成方法及装置
CN104838377B (zh) 利用映射缩减集成事件处理
Prowell et al. Cleanroom software engineering: technology and process
US10846273B2 (en) System and method for automatic inference of a cube schema from a tabular data for use in a multidimensional database environment
CN102982075A (zh) 支持访问异构数据源的系统和方法
CN102999537A (zh) 一种数据迁移系统和方法
CN101681366A (zh) 一种数据存储和管理方法
CN103020268A (zh) 关系型数据库序列号应用方法和系统
US20160259831A1 (en) Methodology supported business intelligence (BI) software and system
Halle et al. Streamlining the inclusion of computer experiments in a research paper
CN111966760B (zh) 基于Hive数据仓库的测试数据生成方法及装置
CN103593406A (zh) 一种静态资源标识处理方法及装置
CN110750969A (zh) 一种生成报表的方法及装置
CN113835692A (zh) 字典的数据处理方法、装置、电子设备及计算机存储介质
US20110264703A1 (en) Importing Tree Structure
US11586616B2 (en) Automatically updating column data type
CN107562429A (zh) 一种基于编译规则的Android系统静态划分方法
CN105426541A (zh) 一种通用数据的存储方法和装置
CN108733758B (zh) 酒店静态数据推送方法、装置、电子设备及可读存储介质
CN105512039A (zh) 一种软件测试申请单的生成方法和装置
US7814413B2 (en) System and method for controlling web pages
US20190130012A1 (en) Flexible organizational hierarchy
CN103744852A (zh) 快照处理方法、快照显示方法、服务器、浏览器和系统
Ruth Protosystem I—An automatic programming system prototype
CN114089962A (zh) 一种构件管理方法、设备及介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220714

Address after: Room 801, 8th floor, No. 104, floors 1-19, building 2, yard 6, Jiuxianqiao Road, Chaoyang District, Beijing 100015

Patentee after: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Address before: 100088 room 112, block D, 28 new street, new street, Xicheng District, Beijing (Desheng Park)

Patentee before: BEIJING QIHOO TECHNOLOGY Co.,Ltd.

Patentee before: Qizhi software (Beijing) Co.,Ltd.

TR01 Transfer of patent right