CN112667628A - 一种大规模监控数据的存储方法、系统和可穿戴设备 - Google Patents
一种大规模监控数据的存储方法、系统和可穿戴设备 Download PDFInfo
- Publication number
- CN112667628A CN112667628A CN202010630378.5A CN202010630378A CN112667628A CN 112667628 A CN112667628 A CN 112667628A CN 202010630378 A CN202010630378 A CN 202010630378A CN 112667628 A CN112667628 A CN 112667628A
- Authority
- CN
- China
- Prior art keywords
- sensor data
- data
- index
- sensor
- timestamp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012544 monitoring process Methods 0.000 title claims abstract description 26
- 238000013500 data storage Methods 0.000 title description 4
- 238000013507 mapping Methods 0.000 claims abstract description 71
- 238000003860 storage Methods 0.000 claims abstract description 41
- 238000005259 measurement Methods 0.000 claims abstract description 23
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Arrangements For Transmission Of Measured Signals (AREA)
Abstract
本申请涉及一种大规模监控数据的存储方法、系统和可穿戴设备，其中，该监控方法包括：获取到可穿戴设备的传感器数据，该传感器数据包括设备编号、时间戳、传感器类型和测量指标；根据该设备编号、该时间戳所表示的整点时段和该传感器类型建立索引映射，其中，该索引映射指示该时间戳的时间段；根据该时间戳的余数所表示的准确时刻和该测量指标建立空间映射，其中，该空间映射指示该传感器数据在该时间段的存储空间；根据该索引映射和该空间映射存储该传感器数据，解决了存储可穿戴设备大规模时序数据延迟高且查询效率低的问题，实现了快速和稳定的存取可穿戴设备大规模时序数据。
Description
技术领域
本申请涉及计算机应用领域，特别是涉及一种大规模监控数据的存储方法、系统和可穿戴设备。
背景技术
可穿戴设备是物联网应用的一个载体，用来关联数据采集，信息传输和信息处理以及反馈的各环节，除了基本的时钟时间信息外，还会有其它功能需求，例如：GPS计步、血压探测和环境温度湿度等，随着物联网还有人工智能相关领域的技术突破，可穿戴设备将会发挥更大作用，提高人类生活品质。
在相关技术中，可穿戴设备上传的人体生理参数和地理位置坐标，产生的数据为大规模动态时序数据，对于处理这些数据面临问题主要有：时序数据压缩不佳,需占用大量机器资源，导致存储成本巨大的问题；现有架构庞大，导致维护成本巨大的问题；单机吞吐数据的能力不足，导致无法满足干万级时序数据写入的问题；海量数据的聚合分析性能低，导致查询能力差的问题。
针对相关技术中，存储可穿戴设备大规模时序数据延迟高且查询效率低的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种大规模监控数据的存储方法、系统和可穿戴设备，以至少解决相关技术中存储可穿戴设备大规模时序数据延迟高且查询效率低的问题。
第一方面，本申请实施例提供了一种大规模监控数据的存储方法，获取到可穿戴设备的传感器数据，所述传感器数据包括设备编号、时间戳、传感器类型和测量指标；
根据所述设备编号、所述时间戳所表示的整点时段和所述传感器类型建立索引映射，其中，所述索引映射指示所述时间戳的时间段；
根据所述时间戳的余数所表示的准确时刻和所述测量指标建立空间映射，其中，所述空间映射指示所述传感器数据在所述时间段的存储空间；
根据所述索引映射和所述空间映射存储所述传感器数据。
在一个实施例中，所述存储所述传感器数据之后，所述方法包括：
获取搜索主键，根据所述搜索主键确定传感器数据，其中，所述搜索主键包括：所述设备编号、所述时间戳和所述传感器类型。
在一个实施例中，所述根据所述索引映射和所述空间映射存储所述传感器数据包括：根据所述设备编号和所述传感器类型，将相同所述设备编号和所述传感器类型相同的传感器数据存储到同一存储设备。
在一个实施例中，所述根据所述索引映射和所述空间映射存储所述传感器数据包括：根据所述索引映射将所述传感器数据进行打包和分片处理，分发给数据节点。
在一个实施例中，所述根据所述索引映射和所述空间映射存储所述传感器数据之后，所述方法包括：将所述传感器数据的测量指标与预设阈值进行比较，根据比较结果进行网格化显示。
在一个实施例中，所述根据所述空间映射指示所述传感器数据在所述时间段的存储空间之后，所述方法包括：获取查询时间，根据所述查询时间对应的索引映射和空间映射查询存储的所述传感器数据。
第二方面，本申请实施例提供了一种大规模监控数据的存储系统，包括：可穿戴设备、控制节点服务器和数据节点服务器；
所述控制节点服务器获取到所述可穿戴设备的传感器数据，所述传感器数据包括设备编号、时间戳、传感器类型和测量指标；所述控制节点服务器根据所述设备编号、所述时间戳所表示的整点时段和所述传感器类型建立索引映射，其中，所述索引映射指示所述时间戳的时间段；
所述控制节点服务器根据所述时间戳的余数所表示的准确时刻和所述测量指标建立空间映射，其中，所述空间映射指示所述传感器数据在所述时间段的存储空间；所述数据节点服务器根据所述索引映射和所述空间映射存储所述传感器数据。
在一个实施例中，所述系统还包括：移动终端和缓存节点，所述可穿戴设备将所述传感器数据上传至所述移动终端，所述移动终端将所述传感器数据和当前所述移动终端的地理位置上传至所述缓存节点，所述缓存节点将所述传感器数据上传至所述控制节点服务器。
在一个实施例中，所述系统还包括移动终端，所述可穿戴设备包括蓝牙单元，所述蓝牙单元获取所述可穿戴设备周围的可穿戴设备的距离信息，所述可穿戴设备上传所述距离信息给所述移动终端，所述移动终端将所述距离信息上传给所述控制节点服务器。
在一个实施例中，所述系统还包括：业务节点服务器和移动终端，在所述数据节点服务器储存和分析所述传感器数据之后，将所述传感器数据发送到所述控制节点服务器，所述控制节点服务器将所述传感器数据发送给所述业务节点服务器，所述业务节点服务器将所述传感器数据传输到所述移动终端。
第三方面，本申请实施例提供了一种可穿戴设备，可穿戴设备将所述可穿戴设备的编号、所述可穿戴设备的时间戳信息和所述可穿戴设备传感器数据，上传至移动终端，所述移动终端将地理位置、所述编号、所述时间戳信息和所述传感器数据上传至控制节点服务器，所述控制节点服务器基于所述编号、所述时间戳信息、所述地理位置和所述传感器数据，所述可穿戴设备实现上述实施例的任一项所述方法的步骤。相比于相关技术，本申请实施例提供的大规模监控数据的存储方法，通过获取到可穿戴设备的传感器数据，该传感器数据包括设备编号、时间戳、传感器类型和测量指标；根据该设备编号、该时间戳所表示的整点时段和该传感器类型建立索引映射，其中，该索引映射指示该时间戳的时间段；根据该时间戳的余数所表示的准确时刻和该测量指标建立空间映射，其中，该空间映射指示该传感器数据在该时间段的存储空间；根据该索引映射和该空间映射存储该传感器数据，解决了存储可穿戴设备大规模时序数据延迟高且查询效率低的问题，实现了快速和稳定的存取可穿戴设备大规模时序数据。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为根据本申请实施例中一种大规模监控数据的存储系统的应用场景的示意图；
图2是根据本申请实施例的一种大规模监控数据的存储方法的流程图一；
图3是根据本申请实施例的一种大规模监控数据的存储方案示意图；
图4是根据本申请实施例的一种大规模监控数据的数据系统架构方案的结构框图一；
图5是根据本申请实施例的一种大规模监控数据的数据系统架构方案的结构框图二；
图6是根据本申请实施例的一种大规模监控数据的存储的流程图二；
图7A是根据本申请实施例的可穿戴设备采集参数在某地区某时段网格化显示的示意图；
图7B是根据本申请实施例的可穿戴设备采集社交距离的参数在某时区的某时段人员密集的网格化显示的示意图；
图7C是根据本申请实施例的某时区的某可穿戴设备在佩戴时段内行迹追踪的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
在本实施例中，提供了一种大规模监控数据的存储系统的应用场景，图1为根据本申请实施例中一种大规模监控数据的存储系统的应用场景的示意图，如图1所示，该系统包括：可穿戴设备14、控制节点服务器10和数据节点服务器12，其中，
该控制节点服务器10获取到该可穿戴设备14的传感器数据，该传感器数据包括：设备编号、时间戳、传感器类型和测量指标，其中，传感器包含多个种类，加速度传感器、生物电阻传感器和气压传感器等，通过传感器可以对人体的运动情况进行实时记录，还可以通过将传感器检测到的数据进行整合，将数据通过蓝牙、WiFi和无线通信系统直接上传至该控制节点服务器10，或者通过上传至移动终端，该移动端再通过蓝牙、WiFi和无线通信系统上传至服务器，其中，本申请中描述的各种上传数据的技术可用于各种无线通信系统，例如2G、3G、4G、5G通信系统以及下一代通信系统，又例如全球移动通信系统(Global Systemfor Mobile communications，简称为GSM)，码分多址(Code Division Multiple Access，简称为CDMA)系统，时分多址(Time Division Multiple Access，简称为TDMA)系统，宽带码分多址(Wideband Code Division Multiple Access Wireless，简称为WCDMA)，频分多址(Frequency Division Multiple Addressing，简称为FDMA)系统，正交频分多址(Orthogonal Frequency-Division Multiple Access，简称为OFDMA)系统，单载波FDMA(SC-FDMA)系统，通用分组无线业务(General Packet Radio Service，简称为GPRS)系统，长期演进(Long Term Evolution，简称为LTE)系统，5G新空口(New Radio，简称为NR)系统以及其他此类通信系统。
该控制节点服务器10根据该设备编号、该时间戳所表示的整点时段和该传感器类型建立索引映射，其中，该索引映射通过该索引指示到该时间戳的时间段，另外，索引映射可以通过其他关键字建立索引映射，例如，通过设备的编号作为其索引映射，指示该设备的时间和该设备所在时刻对应的数据，或者通过传感器的类型作为索引映射，指示该传感器的所在时刻对应的数据；
该控制节点服务器10根据该时间戳的余数所表示的准确时刻和该测量指标建立空间映射，其中，该空间映射指示该传感器数据在该时间点的存储空间，该数据节点服务器12根据该索引映射和该空间映射存储该传感器数据，存储数据的方法还包括：通过以传感器的名称为索引，索引映射到储存该传感器所在的设备名称、该设备传输的时间段和该传感器在该时间段的测量数据，还可以选择以该设备的名称为索引，索引映射到储存该传感器的名称、该传感器传输的时间和该传感器的测量数据，在查询方面，通过以该传感器的名称为索引查询，采用依次遍历时间的方法查询到该传感器每一时刻的数据；
在相关的技术中，可穿戴设备14产生大规模动态时序数据的场景下，现有的服务器对数据的存储是通过对大量数据直接进行压缩，这样导致所存储的数据需要占用大量的机器资源，而同时系统的架构十分庞大，数据存储之后，需要人工对数据进行分库和分表，导致数据的维护成本高昂，在服务器负载偏高时，服务器写入数据的速度变低，很难满足时序数据千万级的写入压力；系统在查询数据的时候，没有对数据进行分级和建立多层索引，对大量数据的分析性能影响较大；现有的系统多采用离线批量处理系统，数据从产生到分析会耗时数小时，甚至数天，工作的效率十分低下，本申请通过控制节点服务器10，对时序数据采取打包和分片储存方案，利用索引映射和空间映射优化时序实时数据的储存，满足持续高并发写入的条件，在设备写入数量增多的情况下；同时由于系统定期采样，可以使数据的写入量趋于平稳，另外，设备之间的数据关联性小，同种类设备产生的数据互相并不依赖，通过上述数据的优化，解决了存储可穿戴设备14大规模时序数据延迟高且查询效率低的问题，实现了快速和稳定的存取可穿戴大规模时序数据。
本实施例提供了一种大规模监控数据的存储方法，图2是根据本申请实施例的一种大规模监控数据的存储方法的流程图一，如图2所示，该流程包括如下步骤：
步骤S202，获取到可穿戴设备14的传感器数据，该传感器数据包括设备编号、时间戳、传感器类型和测量指标，其中，获取到的传感器数据还包括可穿戴设备14的位置信息等其他信息，该测量指标包括：体温、心跳和血压等其他生理参数指标；
步骤S204，根据该设备编号、该时间戳所表示的整点时段和该传感器类型建立索引映射，例如，通过设备的编号作为索引映射，该索引指示该设备的时间、该设备的传感器类型和该设备的传感器的数据，也可以通过传感器的类型作为索引，该索引指示该传感器的时间、该可穿戴设备和该传感器的存储数据；
步骤S206，根据该时间戳的余数所表示的准确时刻和该测量指标建立空间映射，其中，该空间映射指示该传感器数据在该时间段的存储空间，其中，存储空间可以按照设备分配，将所有同型设备的存储数据放入一个空间，存储空间也可以通过传感器的类型进行分配，将同型的传感器数据存储到一个空间；
步骤S208，根据该索引映射和该空间映射存储该传感器数据，其中，根据该索引映射和该空间映射存储该传感器数据方法包括：先进行索引映射，该索引映射包括：测试者字节映射、传感器类型字节映射和时间戳小时映射，按照时间范围进行存储，确保相同测量者和同型传感器的数据会分配到一台服务器上连续存放的情况下，将小时或特定持续时间段内的数据进行打包存储，然后进行空间映射，将一个小时的数据，映射为一个储存空间，对于基本时间戳，储存整小时时间戳标签及时间段内数据。
通过上述步骤S202至S208，在相关的技术中，系统在存储数据的时候没有对数据进行分级和建立多层索引，对大量数据的分析性能影响较大，本申请通过建立索引设备编号、时间戳所表示的整点时段和该传感器类型为索引，这样优化了索引的映射，在查询时，按照时间范围进行查询，确保时间相同测量者和同型传感器的数据分配到一台服务器进行存放，仅实施以时间为索引的查询，优化磁盘的顺序读取方式，完成快速查询任务；同时，本申请采用的空间映射将一个小时的数据，映射为一个储存空间，具体为对于基本时间戳，储存整小时时间戳标签及时间段内数据，再通过时间戳标签的余数所表示的准确时刻计算得到具体时刻，表示为在这个小时里面的顺序毫秒数，进一步节省了空间，提升数据的存储效率控制节点服务器10可穿戴设备14，另外，毫秒数不易通过时钟表示，本申请采用时间戳进行时间的记录，其中，利用时间戳记录时间有如下优点：时间精度为秒级和毫秒级，数据随着时间维度迅速增长，而数据维度几乎不变；本申请解决了存储可穿戴设备14大规模时序数据延迟高且查询效率低的问题，实现了快速和稳定的存取可穿戴大规模时序数据。
在一个实施例中，图3是根据本申请实施例的一种大规模监控数据的存储方案示意图，如图3所示，获取搜索主键，根据该搜索主键确定传感器数据，其中，该搜索主键包括：该设备编号、该时间戳和该传感器类型，可以确定唯一一条数据，考虑到时间戳的精度在毫秒级，单个可穿戴设备14的一种传感器在一天内由时间戳生成的数据条数高达十几万，在整个时间轴上进行搜索会极大的损耗搜索资源，针对这个问题，我们进一步以预定的时间进行分段，将时间段范围内的数据进行打包存储，利用时间戳的取余运算定位准确的时间点，精确定位到具体时间点的数据，例如，将一台可穿戴设备14的心率传感器数据都放在一个数据节点服务器14，对下午三点五十六分钟四秒的数据进行查询，在查询时，以小时为单位的数据作为第一级索引，进行查询，优先查到时间段三点到四点，再进行二级索引查询，精确到时间段内的特定时间点五十六分钟，通过两层索引映射，优化了查询的效率，降低了服务器负载。
在一个实施例中，图4是根据本申请实施例的一种大规模监控数据的数据系统架构方案的结构框图一，如图4所示，该流程包括如下步骤：根据该设备编号和该传感器类型，将相同该设备编号和该传感器类型相同的传感器数据存储到同一存储设备，通过建立索引映射，具体映射为可穿戴设备14的字节映射和传感器类型字节映射，可以优化磁盘的顺序读取方式，完成快速的查询，例如，在一台服务器上存储的数据都是可穿戴设备14的心率传感器所存储的数据，这样通过索引映射想得知心率传感器的数据，就通过该可穿戴设备14的心率传感器映射的字节映射进行查询，优化了磁盘的顺序读取方式，完成快速的查询。
在一个实施例中，图5是根据本申请实施例的一种大规模监控数据的数据系统架构方案的结构框图二，如图5所示，该流程包括如下步骤：根据该索引映射将该传感器数据进行打包和分片处理，分发给数据节点，例如，通过索引映射将可穿戴设备的时间进行打包，分为一位一天24小时的数据，将每个小时的数据进行分片处理，存储到数据节点服务器14上。
在一个实施例中，图6是根据本申请实施例的一种大规模监控数据的存储方法的存储的流程图二，如图6所示，该流程包括如下步骤：
步骤S601，将该传感器数据的测量指标与预设阈值进行比较，根据比较结果进行网格化显示；
例如，图7A是根据本申请实施例的可穿戴设备采集参数在某地区某时段网格化显示的示意图，图7B是根据本申请实施例的可穿戴设备采集社交距离的参数在某时区的某时段人员密集的网格化显示的示意图，图7C是根据本申请实施例的某时区的某可穿戴设备在佩戴时段内行迹追踪的示意图，如图7A、图7B和图7C所示，采集到可穿戴设备14上个人的生理参数、个人的社交距离和个人的坐标位置参数之后，进行分析步骤，该分析的步骤包括：
步骤S1，进行地理位置网格化投影，地理坐标位置[x,y]表示为总体区域网格上的某个点的横坐标和纵坐标；
步骤S2，将该社交距离参数由如下函数进行映射，并以颜色梯度进行展示，其中距离d使用的公式1为：
其中该公式S1中的min和max为预设的最大和最小判别距离，对于每一个社交距离d小于特定的阈值的采集位置进行提取并表示为人员密集的地点；
步骤S3，生理参数心率和皮肤温度的由如下判决函数判断是否属于异常数据，若判断为异常，用符号进行标记，其中生理参数P(v)使用的公式2为：
其中当P(v)输出为0时表示无异常，P(v)输出为1时表示异常。v＝[心率，皮肤温度]为心率和温度的测量值，
为预设的参数；
步骤S4，如果由一台设备编号所产生的异常数据数量进行判断，在该数据分析之后，可以进行基于社交距离的人员密集程度分析，及基于异常参数的行迹进行追踪，若一天内异常数据数量超过阈值将对其行迹进行追踪。
在一个实施例中，该流程包括如下步骤：根据该空间映射指示该传感器数据在该时间段的存储空间之后，获取查询时间，根据该查询时间对应的索引映射和空间映射查询存储的该传感器数据，在查询时，将小时或特定持续时间段内的数据进行打包，降低时间维度代价，在索引时，以小时或某个时间段为单位的数据作为第一级索引，优先查到时间段，再进行二级索引，精确到时间段内的特定时间点，优化了索引效率，降低了服务器负载，以索引映射优化及空间映射优化，避免了存储时序数据时，数据在时间维度上的“迅猛”增长，而导致的索引问题，这种分级索引是对时间戳的取余操作计算得以实现的，余数余数详细的计算过程如下为例，时间戳是指格林威治时间1970年01月01日00时00分00秒(北京时间1970年01月01日08时00分00秒)起至现在的总毫秒数，在计算机中以二进制进行储存，为解释方便起见，以下为二进制数值所转换的十进制数。某时刻的时间戳为1592297473.652(表示为2020年6月16日16时51分13秒652毫秒)，除以3600(一小时包含3600秒)取整为1592294400(2020年6月16日16时0分0秒)，3073.652为。二级存储格式为：存储1592294400至1592297999(2020年6月16日16时59分59秒)为一级索引，表示为整数时段索引；二级索引3073.652表示51分13秒652毫秒时刻。以下为一次完整传输和查询示例：某时段传输的多段数据为：{设备编号：001，时间戳：1592297473.652，类型：心率，数值：74}，{设备编号：001，时间戳：1592297474.072，类型：心率，数值：73}，{设备编号：001，时间戳：1592297475.871，类型：心率，数值：73}。此三段数据将转换为如下的存储方式：一行数据包括一级索引主键和二级索引主键，表示为{一级索引主键：二级索引空间(索引：数值)}。在这个示例中，一级索引主键为{001+1592294400+HR(心率标识)}，表示设备号001，时间段2020年6月16日16时，数据类型为心率的信号；二级索引及数值储存：{3073.652：74，3074.072，3075.871}，表示51分13秒652毫秒储存数值74，表示51分14秒072毫秒储存数值73，表示51分15秒871毫秒储存数值73。在查询过程中，将迅速锁定一级索引所表示的数据段，即设备号为001，在时间段2020年6月16日16时，数据类型为心率的信号。然后在该时间段内查询二级索引时刻，51分13秒652毫秒所表示的数据，依以上的描述，可得到查询结果为74。
在一个实施例中，该可穿戴设备14将该传感器数据上传至该移动终端，该移动终端将该传感器数据和当前该移动终端的地理位置上传至该缓存节点，该缓存节点将该传感器数据上传至该控制节点服务器10，其中，该传感器的数据包括皮肤温度传感器测量的人体温度数据、低功耗蓝牙测量的社交距离数据和光电容积传感器测量的心率数据，数据蓝牙的的缓存节点服务器用于吞吐和暂存处理所有收集的数据，控制节点用于数据的打包和分片处理数据，并控制数据分布式节点，相关技术中，采用原生的分布式生态框架存储时序数据会有以下问题，离线批处理系统，数据延迟高，数据从产生到可分析，耗时数小时、甚至天级，同时原生的分布式生态框架，查询性能比较差，不能很好的利用索引，查询耗时一般在分钟级，而采用利用分布式节点网络，可以更加于准确的测量人体的生理参数、社交距离及坐标位置，实时的采集、传输、存储、分析和展示大规模数据。
在一个实施例中，该系统还包括移动终端，该可穿戴设备14包括蓝牙单元，该蓝牙单元获取该可穿戴设备14周围的可穿戴设备14的距离信息，该可穿戴设备14上传该距离信息给该移动终端，该移动终端将该距离信息上传给该控制节点服务器10，这样达到了对社交增强的作用，例如，一名测试人员通过可穿戴设备14的传感器上传在江边跑步的数据，通过服务器进行基于社交距离的人员密集程度分析之后，回馈至终端，在终端显示出附近的人和你相距的距离和所在区域人员密集的程度，在网格图上显示出来。
在一个实施例中，业务节点服务器和移动终端，在该数据节点服务器14储存和分析该传感器数据之后，将该传感器数据发送到该控制节点服务器10，该控制节点服务器10将该传感器数据发送给该业务节点服务器，该业务节点服务器将该传感器数据传输到该移动终端，通过分析的数据经过该控制节点后，该控制节点识别出数据为反馈的分析数据，识别之后将数据分发给业务节点，业务节点将数据保存，然后转发到该移动终端，这样做可以避免和该缓存节点的数据发生冲突，让数据更快的回馈至该移动终端，提高数据的传输效率。
本申请实施例提供了一种可穿戴设备14，可穿戴设备14将该可穿戴设备14的编号、该可穿戴设备14的时间戳信息和该可穿戴设备14传感器数据，上传至移动终端，该移动终端将地理位置、该编号、该时间戳信息和该传感器数据上传至控制节点服务器10，该控制节点服务器10基于该编号、该时间戳信息、该地理位置和该传感器数据，该可穿戴设备实现如权利要求上述实施例中任一项该方法的步骤，其中，可穿戴设备14通过蓝牙传感器该可穿戴设备14的编号、该可穿戴设备14的时间戳信息和该可穿戴设备14传感器数据上传至移动终端，该移动终端可以为手机和平板电脑等移动终端，该移动终端再将该数据上传至缓存节点服务器，缓存节点服务器用来维持大规模数据的吞吐，再将该数据上传至控制节点服务器10，该控制节点服务器10将数据进行打包和分片放入数据节点服务器12，可穿戴设备14迅速调取任何时间节点的数据，降低了对大规模时序数据查询地延迟，同时增加了对大规模时序数据查询的效率。
另外，结合上述实施例中的大规模监控数据的存储方法，本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种大规模监控数据的存储方法。
以上该实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上该实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (11)
1.一种大规模监控数据的存储方法，其特征在于：
获取到可穿戴设备的传感器数据，所述传感器数据包括设备编号、时间戳、传感器类型和测量指标；
根据所述设备编号、所述时间戳所表示的整点时段和所述传感器类型建立索引映射，其中，所述索引映射指示所述时间戳的时间段；
根据所述时间戳的余数所表示的准确时刻和所述测量指标建立空间映射，其中，所述空间映射指示所述传感器数据在所述时间段的存储空间；
根据所述索引映射和所述空间映射存储所述传感器数据。
2.根据权利要求1所述的方法，其特征在于，所述存储所述传感器数据之后，所述方法包括：
获取搜索主键，根据所述搜索主键确定传感器数据，其中，所述搜索主键包括：所述设备编号、所述时间戳和所述传感器类型。
3.根据权利要求1所述的方法，其特征在于，所述根据所述索引映射和所述空间映射存储所述传感器数据包括：根据所述设备编号和所述传感器类型，将相同所述设备编号和所述传感器类型相同的传感器数据存储到同一存储设备。
4.根据权利要求1所述的方法，其特征在于，所述根据所述索引映射和所述空间映射存储所述传感器数据包括：根据所述索引映射将所述传感器数据进行打包和分片处理，分发给数据节点。
5.根据权利要求1所述的方法，其特征在于，所述根据所述索引映射和所述空间映射存储所述传感器数据之后，所述方法包括：将所述传感器数据的测量指标与预设阈值进行比较，根据比较结果进行网格化显示。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述根据所述空间映射指示所述传感器数据在所述时间段的存储空间之后，所述方法包括：获取查询时间，根据所述查询时间对应的索引映射和空间映射查询存储的所述传感器数据。
7.一种大规模监控数据的存储系统，其特征在于，包括：可穿戴设备、控制节点服务器和数据节点服务器；
所述控制节点服务器获取到所述可穿戴设备的传感器数据，所述传感器数据包括设备编号、时间戳、传感器类型和测量指标；所述控制节点服务器根据所述设备编号、所述时间戳所表示的整点时段和所述传感器类型建立索引映射，其中，所述索引映射指示所述时间戳的时间段；
所述控制节点服务器根据所述时间戳的余数所表示的准确时刻和所述测量指标建立空间映射，其中，所述空间映射指示所述传感器数据在所述时间段的存储空间；所述数据节点服务器根据所述索引映射和所述空间映射存储所述传感器数据。
8.根据权利要求7所述的系统，其特征在于，所述系统还包括：移动终端和缓存节点，所述可穿戴设备将所述传感器数据上传至所述移动终端，所述移动终端将所述传感器数据和当前所述移动终端的地理位置上传至所述缓存节点，所述缓存节点将所述传感器数据上传至所述控制节点服务器。
9.根据权利要求7所述的系统，其特征在于，所述系统还包括移动终端，所述可穿戴设备包括蓝牙单元，所述蓝牙单元获取所述可穿戴设备周围的可穿戴设备的距离信息，所述可穿戴设备上传所述距离信息给所述移动终端，所述移动终端将所述距离信息上传给所述控制节点服务器。
10.根据权利要求7所述的系统，其特征在于，所述系统还包括：业务节点服务器和移动终端，在所述数据节点服务器储存和分析所述传感器数据之后，将所述传感器数据发送到所述控制节点服务器，所述控制节点服务器将所述传感器数据发送给所述业务节点服务器，所述业务节点服务器将所述传感器数据传输到所述移动终端。
11.一种可穿戴设备，其特征在于，可穿戴设备将所述可穿戴设备的编号、所述可穿戴设备的时间戳信息和所述可穿戴设备传感器数据，上传至移动终端，所述移动终端将地理位置、所述编号、所述时间戳信息和所述传感器数据上传至控制节点服务器，所述控制节点服务器基于所述编号、所述时间戳信息、所述地理位置和所述传感器数据，所述可穿戴设备实现如权利要求1至6中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010630378.5A CN112667628A (zh) | 2020-07-03 | 2020-07-03 | 一种大规模监控数据的存储方法、系统和可穿戴设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010630378.5A CN112667628A (zh) | 2020-07-03 | 2020-07-03 | 一种大规模监控数据的存储方法、系统和可穿戴设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112667628A true CN112667628A (zh) | 2021-04-16 |
Family
ID=75403154
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010630378.5A Pending CN112667628A (zh) | 2020-07-03 | 2020-07-03 | 一种大规模监控数据的存储方法、系统和可穿戴设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112667628A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103198126A (zh) * | 2013-04-09 | 2013-07-10 | 江苏物联网研究发展中心 | 物联网时空数据管理方法 |
| CN105224546A (zh) * | 2014-06-04 | 2016-01-06 | 阿里巴巴集团控股有限公司 | 数据存储和查询方法及设备 |
| CN107391571A (zh) * | 2017-06-16 | 2017-11-24 | 深圳市盛路物联通讯技术有限公司 | 传感器数据的处理方法及装置 |
| CN108256088A (zh) * | 2018-01-23 | 2018-07-06 | 清华大学 | 一种基于键值数据库的时序数据的存储方法及系统 |
| CN110795428A (zh) * | 2019-10-10 | 2020-02-14 | 中盈优创资讯科技有限公司 | 应用于工业物联网的时序数据存储方法和时序数据库 |
-
2020
- 2020-07-03 CN CN202010630378.5A patent/CN112667628A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103198126A (zh) * | 2013-04-09 | 2013-07-10 | 江苏物联网研究发展中心 | 物联网时空数据管理方法 |
| CN105224546A (zh) * | 2014-06-04 | 2016-01-06 | 阿里巴巴集团控股有限公司 | 数据存储和查询方法及设备 |
| CN107391571A (zh) * | 2017-06-16 | 2017-11-24 | 深圳市盛路物联通讯技术有限公司 | 传感器数据的处理方法及装置 |
| CN108256088A (zh) * | 2018-01-23 | 2018-07-06 | 清华大学 | 一种基于键值数据库的时序数据的存储方法及系统 |
| CN110795428A (zh) * | 2019-10-10 | 2020-02-14 | 中盈优创资讯科技有限公司 | 应用于工业物联网的时序数据存储方法和时序数据库 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108446293A (zh) | 一种基于城市多源异构数据构建城市画像的方法 | |
| CN104348650B (zh) | 网站的监控方法、业务装置及系统 | |
| CN105069703B (zh) | 一种电网海量数据管理方法 | |
| Muckell et al. | SQUISH: an online approach for GPS trajectory compression | |
| US7392247B2 (en) | Method and apparatus for fusing context data | |
| CN103235820B (zh) | 一种集群系统中数据存储方法与装置 | |
| CN102917069B (zh) | 与设备无关性的医疗信息采集中间件装置及其设计方法 | |
| CN110007957A (zh) | 调用链路构建方法、装置及设备 | |
| WO2020215783A1 (zh) | 定位方法、装置及存储介质 | |
| CN103517405B (zh) | 一种网络定位的方法及系统、移动终端和网络侧设备 | |
| CN114911830B (zh) | 基于时序数据库的索引缓存方法、装置、设备及存储介质 | |
| CN108156186A (zh) | 一种信息采集方法及装置 | |
| US20090282056A1 (en) | Location tracking framework | |
| CN106777093A (zh) | 基于空间时序数据流应用的Skyline查询系统 | |
| Cuttone et al. | Inferring human mobility from sparse low accuracy mobile sensing data | |
| CN108804459A (zh) | 数据查询方法及装置 | |
| CN108989147A (zh) | 基于fpga的sdn网络流量测量系统及方法 | |
| Atta et al. | Spatial-crowd: A big data framework for efficient data visualization | |
| CN105848104B (zh) | 基于区域的人员流动状态监测方法及装置 | |
| CN112667628A (zh) | 一种大规模监控数据的存储方法、系统和可穿戴设备 | |
| US9116916B2 (en) | Information organizing sytem and information organizing method | |
| CN108710347A (zh) | 一种监控云平台 | |
| Bordogna et al. | An effective and efficient similarity-matrix-based algorithm for clustering big mobile social data | |
| CN115658742B (zh) | 一种现场级主动标识载体的标识解析方法及系统 | |
| US20180310134A1 (en) | Communication device and method, and computer program product for associating a mobile telephony identifier and a computer network identifier |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210416 |
|
| RJ01 | Rejection of invention patent application after publication |