CN106649722B - 一种监控系统高频数据的存储及查询方法 - Google Patents

一种监控系统高频数据的存储及查询方法 Download PDF

Info

Publication number
CN106649722B
CN106649722B CN201611202074.9A CN201611202074A CN106649722B CN 106649722 B CN106649722 B CN 106649722B CN 201611202074 A CN201611202074 A CN 201611202074A CN 106649722 B CN106649722 B CN 106649722B
Authority
CN
China
Prior art keywords
storage
data
file
monitoring system
inquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611202074.9A
Other languages
English (en)
Other versions
CN106649722A (zh
Inventor
郭建国
陈二涛
蔺洪峰
李广奇
徐富军
张鑫
张尽晶
吴权威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Tiamaes Technology Co ltd
Original Assignee
Zhengzhou Tiamaes Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Tiamaes Technology Co ltd filed Critical Zhengzhou Tiamaes Technology Co ltd
Priority to CN201611202074.9A priority Critical patent/CN106649722B/zh
Publication of CN106649722A publication Critical patent/CN106649722A/zh
Application granted granted Critical
Publication of CN106649722B publication Critical patent/CN106649722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种监控系统高频数据的存储及查询方法，当监控系统接收到数据后，解析数据字段，加入时间戳，再存入到缓冲队列中；存储线程定时从缓冲队列中取出数据，写入存储文件并更新存储记录数据分索引和总索引文件；当查询线程接收到按时间段查询的请求后，先读取总索引文件，确定起始和结束存储文件，然后读取存储文件分索引，确定存储文件的起始和结束位置，最后读取存储文件返回查询结果；其中，所述监控系统的存储系统在初始阶段生成一个总索引文件和多个存储文件。本发明方法中存储系统结构明确，占用空间小，可以实现自动循环覆盖和快速查找。

Description

一种监控系统高频数据的存储及查询方法
技术领域
本发明涉及一种数据存储方法，具体的说，涉及了一种监控系统高频数据的存储及查询方法。
背景技术
在监控系统中，通常需要存储大量的原始数据供后期查询验证等。在此类系统中，不仅需要保证存储数据的完整性和准确性，还需要提供可靠的数据循环覆盖策略。此类系统最常用的查询方式是按数据产生的时间段查询，因此需要保证按时间段查询的快速性。
目前现有的做法是将数据存储到数据库中，数据库作为一种通用的存储工具，更多的是考虑常用数据存储，此类方法不适合这种特定的场合，存在的缺点如下：1、占用空间大，数据存储到数据库中不能进行有效的压缩，并且数据库产生的自有字段也会占用一定的空间；2、没循环覆盖，数据库存储数据后，需要另外的管理过程来删除超量旧数据以供新数据的存入，不能自动循环覆盖；3、查询速度不理想，数据库虽然可以建立索引，但当存储数据达到数百万条，数千万条时，查询效果并不好，尤其是运行在嵌入式系统上时，系统资源的有限性更加凸显这一问题；4、数据不可恢复，当存储硬件出现问题后，由于数据库的黑盒特性，会导致数据丢失，不可恢复或不好恢复。
为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。
发明内容
本发明的目的是针对现有技术的不足，提供一种结构明确，占用空间小，可以自动循环覆盖和快速查找的监控系统高频数据的存储及查询方法。
为了实现上述目的，本发明所采用的技术方案是：一种监控系统高频数据的存储及查询方法，当监控系统接收到数据后，解析数据字段，加入时间戳，再存入到缓冲队列中；存储线程定时从缓冲队列中取出数据，写入存储文件并更新存储记录数据分索引和总索引文件；
当查询线程接收到按时间段查询的请求后，先读取总索引文件，确定起始和结束存储文件，然后读取存储文件分索引，确定存储文件的起始和结束位置，最后读取存储文件返回查询结果；
其中，所述监控系统的存储系统在初始阶段生成一个总索引文件和多个存储文件。
基于上述，所述总索引文件的数据结构包括基本信息、开始存储文件编号、结束存储文件编号和顺次排列的存储文件信息。
基于上述，每个存储文件信息包括数据记录开始时间、数据记录结束时间、下次存储数据写入的偏移位和记录个数。
基于上述，所述存储文件的数据结构包括数据部分和索引部分；
所述数据部分包括多个存储数据记录，每个存储数据记录包括头部和多条存储数据，所述头部包括存储数据时间戳、存储数据记录总长度，所述存储数据包括存储数据的时间戳和存储数据的其他字段；
所述索引部分包括顺次排列的存储数据记录分索引，所述存储数据记录分索引包括存储数据时间戳、存储数据开始位置和存储数据长度。
基于上述，所述数据部分和所述索引部分以秒为单位记录数据。
本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明通过对存储系统中的存储数据的某些字段的压缩，减小了占用的存储空间；2、存储数据采用自动循环覆盖，避免了对存储空间的管理；3、存储系统采用二级索引，可以对超大量数据实现快速查找；4、存储系统的数据结构明确，当存储系统出现问题后，可以实现绝大多数数据的恢复。
附图说明
图1是本发明的存储系统的文件结构。
图2是本发明的总索引文件的数据结构。
图3是本发明的存储文件的数据结构。
具体实施方式
下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。
如图1-3所示，一种监控系统高频数据的存储及查询方法，当监控系统接收到数据后，解析数据字段，加入时间戳，再存入到缓冲队列中；存储线程定时从缓冲队列中取出数据，写入存储文件并更新存储数据记录分索引和总索引文件；当查询线程接收到按时间段查询的请求后，先读取总索引文件，确定起始和结束存储文件，然后读取存储文件分索引，确定存储文件的起始和结束位置，最后读取存储文件返回查询结果。
所述监控系统的存储系统在初始阶段生成一个总索引文件和多个存储文件。
所述总索引文件的数据结构包括基本信息、开始存储文件编号、结束存储文件编号和顺次排列的存储文件信息。每个存储文件信息包括数据记录开始时间、数据记录结束时间、下次存储数据写入的偏移位和记录个数。
所述存储文件的数据结构包括数据部分和索引部分；所述数据部分包括多个存储数据记录，每个存储数据记录包括头部和多条存储数据，所述头部包括存储数据时间戳、存储数据记录总长度，所述存储数据包括存储数据的时间戳和存储数据的其他字段；所述索引部分包括顺次排列的存储数据记录分索引，所述存储数据记录分索引包括存储数据时间戳、存储数据开始位置和存储数据长度。其中，所述数据部分和所述索引部分以秒为单位记录数据。
具体的，该监控系统高频数据的存储及查询方法为：
存储过程
首先，监控系统接收到具体数据后，解析具体字段，加入时间戳（可以精确到毫秒），作为一条数据存入到缓冲队列中。
然后，存储线程定时（依具体而定，例如10s）从缓冲队列中取出当前秒之前的所有数据，以秒为单位组合成存储数据记录并生成相应的存储数据记录分索引，接着将该段时间的存储数据写入到存储文件中，完成后写入总索引文件。当前存储文件写满后顺序写到下个存储文件中，存储文件全部写完后，循环覆盖开始的存储文件写入。
需要特别说明的是，总索引文件从系统启动后就从文件读入到内存中缓存，每次存储文件写入成功后更新总索引文件缓存，每分钟总索引文件缓存同步到文件中一次。另外，因为存储过程不是实时写入，中间存在缓存。如果不是7*24小时运行系统，需要配备UPS或者超级电容等设备或器件用以确保在断电时存储数据的完全写入。
查询过程
首先，根据接收到查询数据中的开始和结束时间，查找总索引文件缓存，得到查询区间的开始存储文件和结束存储文件；
然后，根据前面查到的开始存储文件和结束存储文件，按总索引文件缓存中的各自记录个数，读取相应长度存储数据分索引到内存中，按快速查找算法分别查找查询开始文件偏移和查询结束文件偏移；
接下来，根据开始存储文件、结束存储文件和相应的偏移，读取中间的数据并返回给查询者。如果需要解析查询结果，可以在该步骤解析后再返回。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。

Claims (2)

1.一种监控系统高频数据的存储及查询方法，其特征在于：当监控系统接收到数据后，解析数据字段，加入时间戳，再存入到缓冲队列中；存储线程定时从缓冲队列中取出数据，写入存储文件并更新存储记录数据分索引和总索引文件；
当查询线程接收到按时间段查询的请求后，先读取总索引文件，确定起始和结束存储文件，然后读取存储文件分索引，确定存储文件的起始和结束位置，最后读取存储文件返回查询结果；
其中，所述监控系统的存储系统在初始阶段生成一个总索引文件和多个存储文件；
所述总索引文件的数据结构包括基本信息、开始存储文件编号、结束存储文件编号和顺次排列的存储文件信息；
每个存储文件信息包括数据记录开始时间、数据记录结束时间、下次存储数据写入的偏移位和记录个数；
所述存储文件的数据结构包括数据部分和索引部分；
所述数据部分包括多个存储数据记录，每个存储数据记录包括头部和多条存储数据，所述头部包括存储数据时间戳、存储数据记录总长度，所述存储数据包括存储数据的时间戳和存储数据的其他字段；
所述索引部分包括顺次排列的存储数据记录分索引，所述存储数据记录分索引包括存储数据时间戳、存储数据开始位置和存储数据长度。
2.根据权利要求1所述的监控系统高频数据的存储及查询方法，其特征在于：所述数据部分和所述索引部分以秒为单位记录数据。
CN201611202074.9A 2016-12-23 2016-12-23 一种监控系统高频数据的存储及查询方法 Active CN106649722B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611202074.9A CN106649722B (zh) 2016-12-23 2016-12-23 一种监控系统高频数据的存储及查询方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611202074.9A CN106649722B (zh) 2016-12-23 2016-12-23 一种监控系统高频数据的存储及查询方法

Publications (2)

Publication Number Publication Date
CN106649722A CN106649722A (zh) 2017-05-10
CN106649722B true CN106649722B (zh) 2020-09-08

Family

ID=58827232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611202074.9A Active CN106649722B (zh) 2016-12-23 2016-12-23 一种监控系统高频数据的存储及查询方法

Country Status (1)

Country Link
CN (1) CN106649722B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109819345B (zh) * 2017-11-20 2021-08-10 网宿科技股份有限公司 直播视频的处理、时移方法、视频处理装置及云存储系统
CN108170573A (zh) * 2017-12-15 2018-06-15 珠海金山网络游戏科技有限公司 一种移动终端日志的循环擦写方法及系统
CN108304487A (zh) * 2018-01-02 2018-07-20 吉旗（成都）科技有限公司 一种优化搜索引擎多索引的查询方法
CN110245121A (zh) * 2019-05-08 2019-09-17 深圳市战音科技有限公司 文件管理方法、系统以及电子设备
CN111061684B (zh) * 2019-12-31 2023-04-07 科来网络技术股份有限公司 一种数据包文件时序恢复系统
CN112463746B (zh) * 2020-12-11 2023-11-03 杭州海康汽车软件有限公司 一种文件存储、生成方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101008919A (zh) * 2007-01-31 2007-08-01 浙江大学 基于裸设备的音视频数据存取方法和装置
CN102915346A (zh) * 2012-09-26 2013-02-06 中国科学院软件研究所 面向物联网智能感知的数据索引建立与查询方法
CN103064832A (zh) * 2011-10-18 2013-04-24 百度在线网络技术（北京）有限公司 一种用于操作多层次结构数据集合的方法与设备
CN104750859A (zh) * 2015-04-16 2015-07-01 成都影泰科技有限公司 一种网络存储方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4420351B2 (ja) * 2005-09-30 2010-02-24 富士通株式会社 階層ストレージシステム、制御方法及びプログラム
CN104504105B (zh) * 2014-12-30 2018-08-24 青岛海信网络科技股份有限公司 一种实时数据库的存储方法
CN105095421A (zh) * 2015-07-14 2015-11-25 南京国电南自美卓控制系统有限公司 一种实时数据库的分布式的存储方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101008919A (zh) * 2007-01-31 2007-08-01 浙江大学 基于裸设备的音视频数据存取方法和装置
CN103064832A (zh) * 2011-10-18 2013-04-24 百度在线网络技术（北京）有限公司 一种用于操作多层次结构数据集合的方法与设备
CN102915346A (zh) * 2012-09-26 2013-02-06 中国科学院软件研究所 面向物联网智能感知的数据索引建立与查询方法
CN104750859A (zh) * 2015-04-16 2015-07-01 成都影泰科技有限公司 一种网络存储方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
视频监控云系统架构及运营模式的研究;陈锦星;《中国优秀硕士学位论文全文数据库信息科技辑》;20140515;第I136-476页 *

Also Published As

Publication number Publication date
CN106649722A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
CN106649722B (zh) 一种监控系统高频数据的存储及查询方法
CN110879813B (zh) 一种基于二进制日志解析的MySQL数据库增量同步实现方法
CN110764706B (zh) 存储系统、数据管理方法及存储介质
CN102929936B (zh) 日志记录方法、日志查询方法及系统
US9619512B2 (en) Memory searching system and method, real-time searching system and method, and computer storage medium
CN102244758A (zh) 一种基于录像文件的数据获取方法和设备
CN104881481A (zh) 一种存取海量时间序列数据的方法及装置
CN106033324B (zh) 一种数据存储的方法和装置
CN102508913A (zh) 一种带有数据立方存储索引结构的云计算系统
CN109739811B (zh) 支持双维度查询海量监测数据的存储方法
CN103605778A (zh) 一种视频文件的定位方法、装置及系统
CN104270605A (zh) 一种视频监控数据的处理方法及装置
CN106970935B (zh) 实时数据存储结构、数据写入方法及数据读取方法
CN110515958A (zh) 基于大数据的数据一致性方法、装置、设备和存储介质
CN103279530B (zh) 时间序列数据的组合查询缓存建立方法及系统、时间序列数据的组合查询缓存方法及系统
CN104615459A (zh) 一种MoCA设备参数配置方法及装置
CN112966025B (zh) 一种binlog日志挖掘字典实现方法
CN113348450A (zh) 一种车载数据存储方法及系统
CN116821179A (zh) 一种达梦数据库跨库搜索系统和方法
CN110866068A (zh) 一种基于hdfs的公告数据存储方法及其装置
CN103177026A (zh) 数据管理方法和数据管理系统
CN113032408B (zh) 数据处理方法、系统及设备
CN115374939A (zh) 一种基于多标签动态更新的专家知识库构建方法
CN114741552A (zh) 一种自定义格式的录像文件存储方法及介质
CN113407770A (zh) 基于redis的云回放索引服务方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant