CN106776733A - 数据处理系统中的数据分级抽样方法 - Google Patents

数据处理系统中的数据分级抽样方法 Download PDF

Info

Publication number
CN106776733A
CN106776733A CN201611026392.4A CN201611026392A CN106776733A CN 106776733 A CN106776733 A CN 106776733A CN 201611026392 A CN201611026392 A CN 201611026392A CN 106776733 A CN106776733 A CN 106776733A
Authority
CN
China
Prior art keywords
data
metadata
level
data file
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611026392.4A
Other languages
English (en)
Other versions
CN106776733B (zh
Inventor
张洁
刘孟语
庞贺
上官子粮
李娜
邢志岩
邱枫
江源博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Aerospace Automatic Control Research Institute
Original Assignee
Beijing Aerospace Automatic Control Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Aerospace Automatic Control Research Institute filed Critical Beijing Aerospace Automatic Control Research Institute
Priority to CN201611026392.4A priority Critical patent/CN106776733B/zh
Publication of CN106776733A publication Critical patent/CN106776733A/zh
Application granted granted Critical
Publication of CN106776733B publication Critical patent/CN106776733B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/248Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/221Column-oriented storage; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

公开了数据处理系统中的数据分级抽样方法,包括:对元数据进行分级抽样预处理,将每个抽样间隔内元数据的最值存入下一级数据文件中;根据数据查询请求确定查询时间段;基于查询时间段确定需要加载的数据文件的初始级别数x0;查询x0级数据文件的元数据并显示。通过对原始数据进行分级抽样,能够减少查询的数据量,降低数据出库压力;在接收到数据查询请求后,首先根据查询时间段确定需要加载的数据文件的初始级别数,通过确定出的初始级别数查询对应的数据文件并显示,能够大大降低数据出库压力,实现任意时间段内数据曲线的加载。此外,本发明还可以实现对数据曲线的动态缩放,使整个数据处理系统可以实现数据的快速查询与数据曲线的局部缩放查看。

Description

数据处理系统中的数据分级抽样方法
技术领域
本发明涉及数据处理技术领域,尤其涉及数据处理系统中的数据分级抽样方法。
背景技术
以下对本发明的相关技术背景进行说明,但这些说明并不一定构成本发明的现有技术。
新一代导弹武器向信息化、智能化发展,产生的试验数据大规模的增加,对数据的解析、存储和查询都提出了更高的要求。对于导弹武器长时间加电产生的海量数据,需要有专门的数据处理系统和专网负责数据的处理与传输。
以往的武器研制试验通常采用云平台或者国外数据处理系统对实验数据进行处理。但是云平台基于web的应用具有潜在的安全风险,在少数情况下会产生数据丢失,这对于武器研制是致命的缺点。国外的数据处理系统虽然性能稳定,处理速度快,但是国外数据处理服务器等基础设备和软件存在各种漏洞和后门。为了保障导弹武器研制的安全性,亟需使用基于全国产化的数据处理平台。
目前国产化软硬件相比于国外同类产品,性能还有很大的差距。例如,由于数据库无法承受大量数据出库的压力,所以无法实现对较长时间段内数据的实时查询加载,目前型号中已有的数据处理系统只能一次加载一天的试验数据,导致国产化平台在处理海量数据时难以满足导弹武器的性能要求。
发明内容
本发明的目的在于提出数据处理系统中的数据分级抽样方法,能够减少数据出库压力,实现实时查询任意时间段的数据,提高数据处理系统的数据查询性能。
根据本发明的数据处理系统中的数据分级抽样方法,包括如下步骤:
S1、根据接收的数据查询请求确定查询时间段;
S2、基于查询时间段,按照公式1确定需要加载的数据文件的初始级别数x0
式中,t为查询时间段;T为采样间隔,即相邻两个抽样间隔之间的时间差;m为显示界面的最佳显示数据个数;x0为需要加载的数据文件的初始级别数;z为抽样间隔,即每个采样间隔内元数据的数量;
S3、从数据系统中查询与x0数据文件的元数据并显示;
其中,每个元数据按照如下方式进行预处理并存入数据系统:
S01、按照时间顺序将发送到数据处理系统的原始数据经过数据解析后,按照预设的数据存储格式存储在数据处理系统的0级数据文件中;
S02、针对i级数据文件,根据预设的抽样间隔抽取i级数据文件中的元数据,按照时间顺序将每个抽样间隔内的元数据的最大值和最小值存入数据处理系统的i+1级数据文件中;i为不小于0的整数。
优选地,步骤S02具体为:针对i级数据文件,根据时间顺序将存入i级数据文件的每z个元数据作为一组,按照时间顺序将每组元数据的最大值和最小值存入数据处理系统的i+1级数据文件中。
优选地,步骤S3中采用数据列表的形式显示数据文件的元数据;或者,
步骤S3中根据查询到的数据文件的元数据生成数据曲线并显示。
优选地,步骤S3之后进一步包括:
接收到用户的放大显示请求时,根据放大显示请求确定放大显示后显示界面中元数据的个数a;
若a=0,则查询x+Δx1级数据文件的元数据并显示;
其中,Δx1为跳转级数。
优选地,Δx1=-2。
优选地,步骤S3之后进一步包括:
接收到用户的放大显示请求时,根据放大显示请求确定放大显示后显示界面中元数据的个数a;
若a>0,根据公式2确定放大显示后数据文件的级别变量Δx2
查询x+Δx2级数据文件的元数据并显示。
优选地,步骤S3之后进一步包括:
接收到用户的缩小显示请求时,根据缩小显示请求确定缩小显示后显示界面中元数据的个数a;
根据公式3确定缩小显示后数据文件的级别变量Δx3
查询x+Δx3级数据文件的元数据并显示。
优选地,步骤S02中,当i+1的取值达到预设的级别数阈值、或者当i+1级数据文件中元数据的个数为2时,结束抽样。
优选地,每级数据文件按照列存储的方式存储在数据系统中。
本发明在数据分级抽样之前首先对存入数据处理系统中的原始数据进行预处理,通过对原始数据进行抽样并分级存储,能够减少查询的数据量,进而降低数据出库压力;在接收到数据查询请求后,首先根据查询时间段确定需要加载的数据文件的初始级别数,通过确定出的初始级别数查询对应的数据文件并显示,能够大大降低数据出库压力,从而实现任意时间段内数据曲线的加载。此外,本发明还可以实现对数据曲线的动态缩放,使整个数据处理系统可以实现数据的快速查询与数据曲线的局部缩放查看。
附图说明
通过以下参照附图而提供的具体实施方式部分,本发明的特征和优点将变得更加容易理解,在附图中:
图1是本发明数据处理系统中的数据分级抽样方法的流程图;
图2是本发明数据处理系统中的数据预处理流程图。
具体实施方式
下面参照附图对本发明的示例性实施方式进行详细描述。对示例性实施方式的描述仅仅是出于示范目的,而绝不是对本发明及其应用或用法的限制。
本发明的数据分级抽样方法,对于数据系统接收到的原始数据,在数据存入系统之前首先对原始数据进行预处理,图2示出了本发明优选实施例中的数据预处理流程图。
步骤S01、按照时间顺序将发送到数据处理系统的原始数据存储在数据处理系统的0级数据文件中;
步骤S02、针对i级数据文件,根据预设的抽样间隔抽取i级数据文件中的元数据,按照时间顺序将每个抽样间隔内的元数据的最大值和最小值存入数据处理系统的i+1级数据文件中;i为不小于0的整数。
在一些实施例中,抽样间隔是预设的时间间隔;步骤S12具体为:
针对i级数据文件,将每个时间间隔内存入i级数据文件的元数据作为一组,按照时间顺序将每组元始数据的最大值和最小值存入数据处理系统的i+1级数据文件中。
在另一些实施例中,抽样间隔为预设的元数据个数z;步骤S12具体为:
针对i级数据文件,根据时间顺序将存入i级数据文件的每z个元数据作为一组,按照时间顺序将每组元始数据的最大值和最小值存入数据处理系统的i+1级数据文件中;其中,z为正整数。例如,若抽样间隔的元数据个数为8,在进行分级抽取时,针对每一级数据文件,分别从该数据文件的第1组8个元数据中抽取一个最大值和最小值、第2组8个元数据中抽取一个最大值和最小值、…、第k组8个元数据中抽取一个最大值和最小值,将抽取的最大值和最小值按照时间顺序存入下一级数据文件中,然后再对下一级数据文件进行分级抽样,直至抽样结束。
相邻两个抽样间隔之间的时间差称为采样间隔,假设以元数据的数量度量抽样间隔,令抽样间隔为8,第一个抽样间隔包括第1-8个元数据,第二个抽样间隔包括第9-16个元数据,则第1个元数据和第9个元数据之间的时间差为采样间隔。
采样间隔、抽样间隔和数据文件的级别数可以根据原始数据中元数据的数量和实际统计需要进行确定。当原始数据的元数据数量一定时,可以预先设置数据文件的级别数阈值,步骤S02中当i+1的取值达到预设的级别数阈值时,结束抽样。对于连续发送的原始数据,由于原始数据的元数据数量不确定,难以预先设置数据级别的级别数阈值,因此可以根据数据文件中的元数据数量判定是否结束抽样,例如当i+1级数据文件中元数据的个数为2时,结束抽样。
数据文件的级别数过少,则最高级别中的数据文件中的元数据数量过多,不利于降低数据出库压力。数据文件的级别数越多,越有利于分级抽样;但是若级别数过多,则数据文件数过多,会增大数据处理系统的数据入库压力。此外,当数据文件中的元数据数量较少时,例如当元数据数量为2时,继续从该数据文件中抽取最大值和最小值存入下一级数据文件时,该下一级数据文件和当前数据文件的内容相同,此时若不结束抽样,每一个更下级数据文件的内容都和当前数据文件的内容相同,造成死循环,浪费数据系统的网络资源和存储空间。
本领域技术人员可以根据实际需要选择合适的存储方式将每一级数据文件存储到数据处理系统中,优选地,每级数据文件按照列存储的方式存储在数据系统中。因为数据处理系统中采用的国产数据库的列存储只有唯一索引的索引方式,所以可以对抽样后每级数据文件中的元数据采用“时间字段序号—元数据|字段序号—元数据|字段序号—元数据|字段序号—元数据……”的方式进行存储。
将发送到数据处理系统的原始数据按照上述预处理方法分级存储之后,若接收到用户的数据查询请求,如图1所示,可以采用包括如下步骤的数据分级抽样方法:
S1、根据接收的数据查询请求确定查询时间段;
S2、基于查询时间段,按照公式1确定需要加载的数据文件的初始级别数x0
式中,t为查询时间段;T为采样间隔,即相邻两个抽样间隔之间的时间差;m为显示界面的最佳显示数据个数,m可以是预先设置的固定值,也可以是用户自行设置的数据,当然,m也可以是根据显示界面的尺寸并按照预设的算法确定的某个值;x0为需要加载的数据文件的初始级别数;z为抽样间隔,即每个采样间隔内元数据的数量;
S3、从数据系统中查询与x0数据文件的元数据并显示。
本发明在确定出初始查询级别数后,仅从数据处理系统中查询对应级别的数据文件并显示即可,无需查询整个原始数据,查询数据量较少,因此能够大大降低数据出库压力。用户任意输入一个查询时间段,本发明都可以查询到对应级别的数据文件并输出,因此可以实现任意时间段内数据曲线的快速加载。
在显示查询到的数据文件时,本领域技术人员可以根据查询需求选择合适的显示方式,例如采用数据列表的形式显示数据文件的元数据,当然,为了便于直观了解不同时间内数据的变化趋势,步骤S3中也可以根据查询到的数据文件的元数据生成数据曲线并显示。
实际应用中,为了详细了解数据变化趋势,用户经常会对显示界面中的数据曲线进行缩放。若用户请求放大显示界面中的数据曲线,也就是减小显示界面显示的时间段,则放大显示后显示界面中元数据的个数a会小于最佳显示数据个数显示界面的最佳显示数据个数m。在本发明的一些实施例中,步骤S3之后进一步包括:
接收到用户的放大显示请求时,根据放大显示请求确定放大显示后显示界面中元数据的个数a;
若a>0,根据公式2确定放大显示后数据文件的级别变量Δx2
查询x+Δx2级数据文件的元数据并显示。
当用户请求放大显示界面中的数据曲线时,即构成数据曲线的元数据点数小于显示界面的最佳显示数据个数时,通过减小加载的数据文件的级别增加构成曲线图的数据个数,使单位显示时间段的数据曲线包含更多的元数据,防止数据曲线失真,提高数据抽取的显示效果。
用户请求放大显示的放大倍数越大,放大显示后显示界面中元数据的个数a越小。若用户请求放大显示的放大倍数过大,放大显示后显示界面中元数据的个数a有可能为0。此时,无法查询到对应的数据文件并显示相应的数据曲线,为了避免显示界面上无法显示数据曲线,可以预先设置若a=0时的显示界面。在一些实施例中:
接收到用户的放大显示请求时,根据放大显示请求确定放大显示后显示界面中元数据的个数a;
若a=0,则查询x+Δx1级数据文件的元数据并显示;
其中,Δx1为跳转级数。
优选地,,Δx1=-2。
若用户请求缩小显示界面中的数据曲线,也就是增大显示界面显示的时间段,则缩小显示后显示界面中元数据的个数a会大于最佳显示数据个数显示界面的最佳显示数据个数m。在本发明的一些实施例中,步骤S3之后进一步包括:
接收到用户的缩小显示请求时,根据缩小显示请求确定缩小显示后显示界面中元数据的个数a;
根据公式3确定缩小显示后数据文件的级别变量Δx3
查询x+Δx3级数据文件的元数据并显示。
当用户请求缩小显示界面中的数据曲线时,即构成数据曲线的元数据点数大于显示界面的最佳显示数据个数时,通过增大加载的数据文件的级别减小构成曲线图的数据个数,使单位显示时间段的数据曲线包含更少的元数据,降低数据出库压力,提高数据抽取效率。
通过设定针对用户缩放请求的数据文件级别计算方法,能够实现对数据曲线的动态缩放,使整个数据处理系统可以实现数据的快速查询与数据曲线的局部缩放查看。
与现有技术相比,本发明应用分级抽样的数据预处理方法处理数据系统中的数据,能够减少数据查询时的数据量,降低数据出库压力,实现实时查询任意时间段的数据曲线,能够应用在低性能的软硬件平台上,提升其数据处理能力。
虽然参照示例性实施方式对本发明进行了描述,但是应当理解,本发明并不局限于文中详细描述和示出的具体实施方式,在不偏离权利要求书所限定的范围的情况下,本领域技术人员可以对所述示例性实施方式做出各种改变。

Claims (10)

1.数据处理系统中的数据分级抽样方法,其特征在于包括如下步骤:
S1、根据接收的数据查询请求确定查询时间段;
S2、基于所述查询时间段,按照公式1确定需要加载的数据文件的初始级别数x0
式中,t为查询时间段;T为采样间隔,即相邻两个抽样间隔之间的时间差;m为显示界面的最佳显示数据个数;x0为需要加载的数据文件的初始级别数;z为抽样间隔,即每个采样间隔内元数据的数量;
S3、从数据系统中查询x0级数据文件的元数据并显示;
其中,每个元数据按照如下方式进行分级抽样预处理:
S01、按照时间顺序将发送到数据处理系统的原始数据经过数据解析后,按照预设的数据存储格式存储在数据处理系统的0级数据文件中;
S02、针对i级数据文件,根据预设的抽样间隔抽取i级数据文件中的元数据,按照时间顺序将每个抽样间隔内的元数据的最大值和最小值存入数据处理系统的i+1级数据文件中;i为不小于0的整数。
2.如权利要求1所述的数据分级抽样方法,其中,步骤S02具体为:
针对i级数据文件,根据时间顺序将存入i级数据文件的每z个元数据作为一组,按照时间顺序将每组元数据的最大值和最小值存入数据处理系统的i+1级数据文件中。
3.如权利要求1所述的数据分级抽样方法,其中,步骤S3中根据查询到的数据文件的元数据生成数据曲线并显示。
4.如权利要求1所述的数据分级抽样方法,其中,步骤S3中采用数据列表的形式显示数据文件的元数据。
5.如权利要求3所述的数据分级抽样方法,步骤S3之后进一步包括:
接收到用户的放大显示请求时,根据所述放大显示请求确定放大显示后显示界面中元数据的个数a;
若a=0,则查询x+Δx1级数据文件的元数据并显示;
其中,Δx1为跳转级数。
6.如权利要求5所述的数据分级抽样方法,其中,Δx1=-2。
7.如权利要求3所述的数据分级抽样方法,步骤S3之后进一步包括:
接收到用户的放大显示请求时,根据所述放大显示请求确定放大显示后显示界面中元数据的个数a;
若a>0,根据公式2确定放大显示后数据文件的级别变量Δx2
查询x+Δx2级数据文件的元数据并显示。
8.如权利要求3所述的数据分级抽样方法,步骤S3之后进一步包括:
接收到用户的缩小显示请求时,根据所述缩小显示请求确定缩小显示后显示界面中元数据的个数a;
根据公式3确定缩小显示后数据文件的级别变量Δx3
查询x+Δx3级数据文件的元数据并显示。
9.如权利要求1所述的数据分级抽样方法,其中,步骤S02中,当i+1的取值达到预设的级别数阈值、或者当i+1级数据文件中元数据的个数为2时,结束抽样。
10.如权利要求1所述的数据分级抽样方法,其中,每级数据文件按照列存储的方式存储在数据库中。
CN201611026392.4A 2016-11-22 2016-11-22 数据处理系统中的数据分级抽样方法 Expired - Fee Related CN106776733B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611026392.4A CN106776733B (zh) 2016-11-22 2016-11-22 数据处理系统中的数据分级抽样方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611026392.4A CN106776733B (zh) 2016-11-22 2016-11-22 数据处理系统中的数据分级抽样方法

Publications (2)

Publication Number Publication Date
CN106776733A true CN106776733A (zh) 2017-05-31
CN106776733B CN106776733B (zh) 2019-07-19

Family

ID=58970658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611026392.4A Expired - Fee Related CN106776733B (zh) 2016-11-22 2016-11-22 数据处理系统中的数据分级抽样方法

Country Status (1)

Country Link
CN (1) CN106776733B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679093A (zh) * 2017-09-07 2018-02-09 北京神州绿盟信息安全科技股份有限公司 一种数据查询方法及装置
CN108287740A (zh) * 2017-12-22 2018-07-17 西安思丹德信息技术有限公司 一种计算机人机交互界面的图形处理方法和装置
CN109492574A (zh) * 2018-11-06 2019-03-19 北京润科通用技术有限公司 一种数据处理方法及装置
CN109920025A (zh) * 2019-01-31 2019-06-21 甘肃省地震局 一种海量数据在时间域的高效分层抽样绘图方法及系统
CN110737679A (zh) * 2018-07-03 2020-01-31 百度在线网络技术(北京)有限公司 数据资源的查询方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030212677A1 (en) * 2002-05-10 2003-11-13 International Business Machines Corporation Systems, methods, and computer program products to reduce computer processing in grid cell size determination for indexing of multidimensional databases
CN1535435A (zh) * 2001-07-30 2004-10-06 Ӧ�ò��Ϲ�˾ 用于分析制造数据的方法和装置
CN101739410A (zh) * 2008-11-24 2010-06-16 华为技术有限公司 运算结果展现的方法、装置和系统
CN103955508A (zh) * 2014-04-29 2014-07-30 安徽中科大国祯信息科技有限责任公司 一种工控系统曲线图的数据分层存储查询方法
CN105404664A (zh) * 2015-11-10 2016-03-16 上海尚毅测控技术有限公司 一种针对海量数据可配置的多重索引及回放方法及其系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1535435A (zh) * 2001-07-30 2004-10-06 Ӧ�ò��Ϲ�˾ 用于分析制造数据的方法和装置
US20030212677A1 (en) * 2002-05-10 2003-11-13 International Business Machines Corporation Systems, methods, and computer program products to reduce computer processing in grid cell size determination for indexing of multidimensional databases
CN101739410A (zh) * 2008-11-24 2010-06-16 华为技术有限公司 运算结果展现的方法、装置和系统
CN103955508A (zh) * 2014-04-29 2014-07-30 安徽中科大国祯信息科技有限责任公司 一种工控系统曲线图的数据分层存储查询方法
CN105404664A (zh) * 2015-11-10 2016-03-16 上海尚毅测控技术有限公司 一种针对海量数据可配置的多重索引及回放方法及其系统

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679093A (zh) * 2017-09-07 2018-02-09 北京神州绿盟信息安全科技股份有限公司 一种数据查询方法及装置
CN107679093B (zh) * 2017-09-07 2020-04-07 北京神州绿盟信息安全科技股份有限公司 一种数据查询方法及装置
CN108287740A (zh) * 2017-12-22 2018-07-17 西安思丹德信息技术有限公司 一种计算机人机交互界面的图形处理方法和装置
CN110737679A (zh) * 2018-07-03 2020-01-31 百度在线网络技术(北京)有限公司 数据资源的查询方法、装置、设备及存储介质
CN110737679B (zh) * 2018-07-03 2022-06-14 百度在线网络技术(北京)有限公司 数据资源的查询方法、装置、设备及存储介质
CN109492574A (zh) * 2018-11-06 2019-03-19 北京润科通用技术有限公司 一种数据处理方法及装置
CN109492574B (zh) * 2018-11-06 2021-03-23 北京润科通用技术有限公司 一种数据处理方法及装置
CN109920025A (zh) * 2019-01-31 2019-06-21 甘肃省地震局 一种海量数据在时间域的高效分层抽样绘图方法及系统
CN109920025B (zh) * 2019-01-31 2023-10-27 甘肃省地震局 一种海量数据在时间域的高效分层抽样绘图方法及系统

Also Published As

Publication number Publication date
CN106776733B (zh) 2019-07-19

Similar Documents

Publication Publication Date Title
CN106776733B (zh) 数据处理系统中的数据分级抽样方法
CN107679211B (zh) 用于推送信息的方法和装置
US10346517B2 (en) Application above-the-fold rendering measurements
WO2017012491A1 (zh) 一种图像高维特征的相似比较方法及装置
TWI603211B (zh) Construction of inverted index system based on Lucene, data processing method and device
CN110162665B (zh) 视频搜索方法、计算机设备及存储介质
US20190114711A1 (en) Financial analysis system and method for unstructured text data
WO2020154536A1 (en) Compound model scaling for neural networks
Schmith et al. Grain shape of basaltic ash populations: implications for fragmentation
Bianco et al. Non-monotonous polymer translocation time across corrugated channels: Comparison between Fick-Jacobs approximation and numerical simulations
JP2014041453A (ja) データ類似度算出方法およびデータ類似度算出装置
CN105320746A (zh) 一种基于大数据的索引获取方法及系统
US10380092B2 (en) Server, control method thereof, and system for producing rankings of search terms whose popularities increase rapidly
CN112905551B (zh) 数据压缩方法、装置、电子设备及计算机可读存储介质
CN103108033A (zh) 文件上传方法及系统
US20090006354A1 (en) System and method for knowledge based search system
WO2017010514A1 (ja) 画像検索装置及び方法、撮影時刻推定装置及び方法、反復構造抽出装置及び方法、並びにプログラム
CN107545039B (zh) 关键词的指数获取方法和装置、计算机设备和存储介质
CN112015845A (zh) 地图检索测试的方法、装置、设备以及存储介质
CN103955508A (zh) 一种工控系统曲线图的数据分层存储查询方法
CN112887426B (zh) 信息流的推送方法、装置、电子设备以及存储介质
CN108073643B (zh) 任务处理方法和装置
CN105589863B (zh) 一种搜索方法及数据处理方法、装置及系统
CN107995176B (zh) 一种scada系统画面缓存系统
JP6079738B2 (ja) ヒストグラムインターセクション演算装置、データ照合装置、類似データ検索装置、ヒストグラムインターセクション演算方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190719

Termination date: 20211122