CN106446046B - 一种在关系数据库中及时快速分析记录的方法 - Google Patents

一种在关系数据库中及时快速分析记录的方法 Download PDF

Info

Publication number
CN106446046B
CN106446046B CN201610792600.5A CN201610792600A CN106446046B CN 106446046 B CN106446046 B CN 106446046B CN 201610792600 A CN201610792600 A CN 201610792600A CN 106446046 B CN106446046 B CN 106446046B
Authority
CN
China
Prior art keywords
record
task
middle table
analysis
task list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610792600.5A
Other languages
English (en)
Other versions
CN106446046A (zh
Inventor
苏艳辉
李绍辉
尹孟磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Well Data Co Ltd
Original Assignee
Shandong Well Data Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Well Data Co Ltd filed Critical Shandong Well Data Co Ltd
Priority to CN201610792600.5A priority Critical patent/CN106446046B/zh
Publication of CN106446046A publication Critical patent/CN106446046A/zh
Application granted granted Critical
Publication of CN106446046B publication Critical patent/CN106446046B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种在关系数据库中及时快速分析记录的方法，该方法通过建立中间表和任务表、启用自动调度程序以及将多条非固定列记录存放于一个字段的方式来实现及时快速分析记录，该方法步骤如下：建立任务表；插入及更新任务表数据；建立中间表；启用任务自动调度程序，定时自动解析任务表中的任务、定时分析中间表中的记录；定时自动解析任务表任务；定时自动分析中间表数据；将多条非固定列记录通过select语句存放在中间表的一个字段中，在使用时通过exec命令将记录再拆分插入到临时表，实现及时快速分析记录。

Description

一种在关系数据库中及时快速分析记录的方法
技术领域
本发明涉及一种在及时快速分析记录的方法，尤其涉及一种在关系数据库中及时快速分析记录的方法。
背景技术
在关系型数据库中分析大量记录时，需要从多个表中取分析记录规则信息，在记录量比较大时，存在分析速度慢、系统资源占用率高等问题，如何设计非固定列记录数据表结构，是目前分析记录的一个难题，如果按照最大列来设计中间表，那么中间表表结构会特别的臃肿，势必会影响操作速度；如果将记录中的每个字段通过分隔符分隔的方式拼装成字符串放在一个字段中，使用时再拆分字符串，那么拼装字符串和拆分字符串的过程也会占用不少的时间。
发明内容
本发明针对现有技术存在的不足，提供一种在关系数据库中及时快速分析记录的方法。该方法通过中间表的使用以及将固定列记录存储到一个字段中，模糊了对具体系统的要求，为关系型数据库存储数据提供了一种新的思路。
本发明解决上述技术问题的技术方案如下：一种在关系数据库中及时快速分析记录的方法，该方法通过建立中间表和任务表、启用自动调度程序以及将多条非固定列记录存放于一个字段的方式来实现及时快速分析记录，其特征在于，该方法步骤如下：
(1)建立任务表，根据用户操作生成相应的任务；
(2)插入及更新任务表数据：将用户进行的对记录和分析记录规则有影响的操作生成为相应的任务插入到任务表；
(3)建立中间表：按照人员、日期将记录以及分析需要用到规则信息集中存放到中间表，根据任务表的内容对中间表的数据进行操作；
(4)插入中间表数据；
(5)启用任务自动调度程序，定时自动解析任务表中的任务、定时分析中间表中的记录；
(6)定时自动解析任务表任务：解析任务表中的任务类型，根据不同的任务对中间表的记录或者分析规则数据进行操作；解析任务用存储过程实现，启用自动调度服务定时自动调用解析任务过程；
(7)定时自动分析中间表数据：根据记录分析规则信息分析中间表记录，用存储过程实现，启用自动调度服务定时自动调用数据分析过程；
(8)将多条非固定列记录通过select语句存放在中间表的一个字段中，在使用时通过exec命令将记录再拆分插入到临时表，实现及时快速分析记录。
在本发明上述的步骤(3)中，中间表数据插入分为三步，分别如下：
1)根据人员和日期生成记录：
2)根据人员和日期将分析用到的规则信息更新到中间表；
3)根据人员和日期将需要分析的记录更新到中间表，如果记录是不断的插入到数据库中的，那么就通过存储过程实现记录插入到中间表的功能，然后启用自动调度程序定时执行处理记 录过程，以实现将记录分散处理的功能。
步骤(4)中，所述多条非固定列记录存放实现方法如下：使用select<常量>as字段名union all select<常量>方式将多条非固定列记录拼接成一个字符串存放在一个字段中，在使用时使用exec命令将记录值插入到临时表中使用。
例如：字段内容为’select 123as列1,’abc’as列2 union all select 456,’def’’.使用时先建立临时表#temp，然后将该字段值存放到变量@varialbe，最后执行exec@varialbe into #temp将多条记录插入到临时表中。
在本发明中，非固定列记录是指由n个字段组合成的记录(n的值不固定)。
本发明可以适用于以下范围：
(a)在关系型数据库中存放记录时，多条记录对应一个主键；
(b)需要存储的信息需要用分隔符，例如存放某条记录时，需要先将记录的各字段信息取出来，然后用分隔符分隔后再拼成字符串存放到数据表中，使用时再将字符串挨个解析出来；
(c)需要存放的记录字段个数是不确定的，导致确定表结构比较困难或者表结构臃肿的情况。
在这个方案中，中间表扩展功能较为容易，如果需要增加规则信息，就增加一个字段就可以了，而不是将规则信息所需的字段都增加进来。
经过测试，在2万人档案，每人一条刷卡记录共2万条刷卡记录情况下，采用之前方式需要30分钟将记录分析完毕，而采用及时快速分析记录方案，可以实现记录在插入数据库2分钟内分析完毕。效率比之前提高了15倍。随着记录数的增加，效率会有更加明显的提升。
本发明的有益效果是：本发明解决了三个问题：①为了兼容记录列而将 中间表表结构设计的非常庞大的问题；②解决了将记录各列用分隔符分隔拼装成字符串存放，记录使用时拆分字符串时占用时间长问题；③解决了在中间表中一个主键值(人员、日期)对应多条记录的情况。
附图说明
图1为本发明的流程示意图。
具体实施方式
以下对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，一种在关系数据库中及时快速分析记录的方法，该方法通过建立中间表和任务表、启用自动调度程序以及将多条非固定列记录存放于一个字段的方式来实现及时快速分析记录，其特征在于，该方法步骤如下：
(1)建立任务表，根据用户操作生成相应的任务；
(2)插入及更新任务表数据：将用户进行的对记录和分析记录规则有影响的操作生成为相应的任务插入到任务表；
(3)建立中间表：按照人员、日期将记录以及分析需要用到规则信息集中存放到中间表，根据任务表的内容对中间表的数据进行操作；
(4)插入中间表数据；
(5)启用任务自动调度程序，定时自动解析任务表中的任务、定时分析中间表中的记录；
(6)定时自动解析任务表任务：解析任务表中的任务类型，根据不同的任务对中间表的记录或者分析规则数据进行操作；解析任务用存储过程实现，启用自动调度服务定时自动调用解析任务过 程；
(7)定时自动分析中间表数据：根据记录分析规则信息分析中间表记录，用存储过程实现，启用自动调度服务定时自动调用数据分析过程；
(8)将多条非固定列记录通过select语句存放在中间表的一个字段中，在使用时通过exec命令将记录再拆分插入到临时表，实现及时快速分析记录。
在本发明上述的步骤(3)中，中间表数据插入分为三步，分别如下：
1)根据人员和日期生成记录：
2)根据人员和日期将分析用到的规则信息更新到中间表；
3)根据人员和日期将需要分析的记录更新到中间表，如果记录是不断的插入到数据库中的，那么就通过存储过程实现记录插入到中间表的功能，然后启用自动调度程序定时执行处理记录过程，以实现将记录分散处理的功能。
步骤(4)中，所述多条非固定列记录存放实现方法如下：使用select<常量>as字段名union all select<常量>方式将多条非固定列记录拼接成一个字符串存放在一个字段中，在使用时使用exec命令将记录值插入到临时表中使用。
实施例一：
对原始记录进行分析需要用到三个规则，如果按照以往模式，那么中间表的字段数目为：原始记录(5字段)+规则1(5字段)+规则2(17字段)+规则3(5字段)+其余(5字段)＝32个字段。如果采用将原始记录和规则字段用select语句组合存放的方式那么中间表字段数目为：原始记录(1字段)+规则1(1字段)+规则2(1字段)+规则3(1字段)+其余(5字段)＝9个字段。中间表字段个数仅为之前的三分之一。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种在关系数据库中及时快速分析记录的方法，该方法通过建立中间表和任务表、启用自动调度程序以及将多条非固定列记录存放于一个字段的方式来实现及时快速分析记录，其特征在于，该方法步骤如下：
(1)建立任务表，根据用户操作生成相应的任务；
(2)插入及更新任务表数据：将用户进行的对记录和分析记录规则有影响的操作生成为相应的任务插入到任务表；
(3)建立中间表：按照人员、日期将记录以及分析需要用到的规信息集中存放到中间表，根据任务表的内容对中间表的数据进行操作；
(4)插入中间表数据；
(5)启用任务自动调度程序，定时自动解析任务表中的任务、定时分析中间表中的记录；
(6)定时自动解析任务表任务：解析任务表中的任务类型，根据不同的任务对中间表的记录或者分析规则数据进行操作；解析任务用存储过程实现，启用自动调度服务定时自动调用解析任务过程；
(7)定时自动分析中间表数据：根据记录分析规则信息分析中间表记录，用存储过程实现，启用自动调度服务定时自动调用数据分析过程；
(8)将多条非固定列记录通过select语句存放在中间表的一个字段中，在使用时通过exec命令将记录再拆分插入到临时表，实现及时快速分析记录。
2.根据权利要求1所述的一种在关系数据库中及时快速分析记录的方法，其特征在于：步骤(4)中，中间表数据插入分为三步，分别如下：
1)根据人员和日期生成记录：
2)根据人员和日期将分析用到的规则信息更新到中间表；
3)根据人员和日期将需要分析的记录更新到中间表，如果记录是不断的插入到数据库中的，那么就通过存储过程实现记录插入到中间表的功能，然后启用自动调度程序定时执行处理记录过程，以实现将记录分散处理的功能。
3.根据权利要求1所述的一种在关系数据库中及时快速分析记录的方法，其特征在于：步骤(8)中，所述多条非固定列记录存放实现方法如下：使用select<常量>as字段名unionall select<常量>方式将多条非固定列记录拼接成一个字符串存放在一个字段中，在使用时使用exec命令将记录值插入到临时表中使用。
CN201610792600.5A 2016-08-31 2016-08-31 一种在关系数据库中及时快速分析记录的方法 Expired - Fee Related CN106446046B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610792600.5A CN106446046B (zh) 2016-08-31 2016-08-31 一种在关系数据库中及时快速分析记录的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610792600.5A CN106446046B (zh) 2016-08-31 2016-08-31 一种在关系数据库中及时快速分析记录的方法

Publications (2)

Publication Number Publication Date
CN106446046A CN106446046A (zh) 2017-02-22
CN106446046B true CN106446046B (zh) 2019-09-13

Family

ID=58163696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610792600.5A Expired - Fee Related CN106446046B (zh) 2016-08-31 2016-08-31 一种在关系数据库中及时快速分析记录的方法

Country Status (1)

Country Link
CN (1) CN106446046B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109271402A (zh) * 2018-09-04 2019-01-25 拉扎斯网络科技（上海）有限公司 数据管理方法、装置、设备及计算机存储介质
CN109542902A (zh) * 2018-11-12 2019-03-29 珠海格力电器股份有限公司 一种数据处理系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1376383A2 (de) * 2002-03-23 2004-01-02 Uwe Noll Verfahren zur Verarbeitung von Ein- und Ausgaben für statistische Analysen und Verfahren zur Bereinigung von Redundanzen
CN102591925A (zh) * 2010-12-13 2012-07-18 微软公司 以多维数据为中心的服务协议
CN104615763A (zh) * 2015-02-13 2015-05-13 百度在线网络技术（北京）有限公司 中间表更新方法及装置
CN105608088A (zh) * 2014-11-19 2016-05-25 中国航空工业集团公司西安飞机设计研究所 一种基于配置文件的数据库自动创建与数据动态记录方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080120304A1 (en) * 2006-11-21 2008-05-22 Calio Robert J Method and system for providing high performance data modification of relational database tables
US9002902B2 (en) * 2012-09-05 2015-04-07 Compuware Corporation Techniques for constructing minimum supersets of test data from relational databases

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1376383A2 (de) * 2002-03-23 2004-01-02 Uwe Noll Verfahren zur Verarbeitung von Ein- und Ausgaben für statistische Analysen und Verfahren zur Bereinigung von Redundanzen
CN102591925A (zh) * 2010-12-13 2012-07-18 微软公司 以多维数据为中心的服务协议
CN105608088A (zh) * 2014-11-19 2016-05-25 中国航空工业集团公司西安飞机设计研究所 一种基于配置文件的数据库自动创建与数据动态记录方法
CN104615763A (zh) * 2015-02-13 2015-05-13 百度在线网络技术（北京）有限公司 中间表更新方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ORDBMS中复杂对象查询的中间表机制;刘永革等;《计算机应用》;20010630;第21卷(第6期);第73-74页 *

Also Published As

Publication number Publication date
CN106446046A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
Haagsma et al. MAGPIE: A large corpus of potentially idiomatic expressions
US10366154B2 (en) Information processing device, information processing method, and computer program product
CN106886567B (zh) 基于语义扩展的微博突发事件检测方法及装置
CN106528894B (zh) 设置标签信息的方法及装置
CN106682036A (zh) 一种数据交换系统及其交换方法
CN110889280B (zh) 基于文档拆分的知识库建设方法及装置
CN105608069A (zh) 信息提取支持设备和方法
CN103425257A (zh) 一种生僻字符信息的提示方法和装置
CN102298587A (zh) 满意度调查方法及系统
US8484229B2 (en) Method and system for identifying traditional arabic poems
CN102122280A (zh) 一种智能提取内容对象的方法及系统
Friedrich et al. Gatekeeping revisited
CA3089223A1 (en) System and method for spatial encoding and feature generators for enhancing information extraction
CN106446046B (zh) 一种在关系数据库中及时快速分析记录的方法
CN105095436A (zh) 数据源数据自动建模方法
CN106372038A (zh) 关键词的抽取方法及装置
CN109033082B (zh) 语义模型的学习训练方法、装置及计算机可读存储介质
CN105068979B (zh) 一种文档管理方法及系统
CN105979287B (zh) 一种节目关键词的提取与统计方法及装置
WO2015016133A1 (ja) 情報管理装置及び情報管理方法
WO2016013209A1 (ja) 文集合抽出システム、方法およびプログラム
KR20190104745A (ko) 이슈 관심도 기반의 뉴스 가치 평가 장치 및 방법, 이를 기록한 기록매체
CN114863463A (zh) 一种对合同文本的智能审核校验方法及装置
JP6642429B2 (ja) テキスト処理システム、テキスト処理方法およびテキスト処理プログラム
CN107203616A (zh) 视频文件的标注方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190913

Termination date: 20210831

CF01 Termination of patent right due to non-payment of annual fee