CN111045606B - 一种可扩展云规模iot存储方法、装置及服务器 - Google Patents

一种可扩展云规模iot存储方法、装置及服务器 Download PDF

Info

Publication number
CN111045606B
CN111045606B CN201911285169.5A CN201911285169A CN111045606B CN 111045606 B CN111045606 B CN 111045606B CN 201911285169 A CN201911285169 A CN 201911285169A CN 111045606 B CN111045606 B CN 111045606B
Authority
CN
China
Prior art keywords
data
information
cloud
data information
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911285169.5A
Other languages
English (en)
Other versions
CN111045606A (zh
Inventor
约翰·阿尔伯特·卡迈克尔
陆博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orca Data Technology Xian Co Ltd
Original Assignee
Orca Data Technology Xian Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Orca Data Technology Xian Co Ltd filed Critical Orca Data Technology Xian Co Ltd
Priority to CN201911285169.5A priority Critical patent/CN111045606B/zh
Publication of CN111045606A publication Critical patent/CN111045606A/zh
Application granted granted Critical
Publication of CN111045606B publication Critical patent/CN111045606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Abstract

本发明实施例提供的一种可扩展云规模IOT存储方法、系统及服务器，在对媒体流信息或图像数据信息进行存储时，先将上述数据进行分类，利用处理器处理上述数据，上述处理器为客户使用restful、POSIX或SQL应用程序接口与数据云连接的处理器；上述处理器处理上述数据后得到预处理数据，此时，数据云将上述预处理数据和上述数据一同存储，在存储过程中，将上述预处理数据与上述数据存储在与上述位置信息对应的存储位置，采用该数据存储方法，可以实现对数据的高效管理，且数据存储逻辑清晰。

Description

一种可扩展云规模IOT存储方法、装置及服务器
技术领域
本发明涉及数据存储技术领域，特别是涉及一种可扩展云规模IOT存储方法、装置及服务器。
背景技术
现有技术中的计算机数据存储由三种存储形式主导：Block块存储，File System文件系统和Database数据云。传统存储的前提是所有数据都是宝贵的，并且永远不会丢失。这对应于大多数但不是所有的数据用例。这些数据通常寿命有限，而且很少被访问。
一个例外是物联网(IOT)数据流，其特征是连续的数据元素流，作为一个组，这些数据元素有价值，这些数据元素单独来看是体现不出价值的。一个典型的例子是监控摄像机视频，它经常被记录，但很少被观看。来自IOT设备的状态信息是另一个例子，因为一般来说，只有非常规的数据值才会被关注。维护此类数据所需的存储空间很大，因为这是“流”数据，而且设备特定，既不易于解释，也不具有规律性。这些数据也往往与空间/时间高度相关，因为IoT由现实世界的物体组成。5G和AI作用下，我们看到IoT领域的设备数量不仅仅是数量基数庞大，每天的增量也非常快速，预计到2025年全球IOT设备量将达到215亿个，同时不仅仅是设备总量形成了巨大规模，平均年复合增长率达17％左右。所以，物联网技术的发展可能导致在中国每一天都会在线上诞生10万个物联网设备，意味着：你昨天做的分析可能今天就已经过时了。所以，我们要面对的不仅仅是海量的数据，还要面对设备的海量增长。
传统的云计算架构本身就不是为这样的场景设计的，它是为单个组织产生数，据的相对统一环境而设计的，并没有一种技术被设计来对跨机构和组织产生数据，进行分析，更没有能力跨行业，跨AI的数据管理机制。这里有几个基本问题:来自数百万个数据源的数据必须共享，环境是非常动态的；每天在数百个位置添加数以千计的设备；系统能自动看到这些海量设备的信息的改变，不用管理员接入；需要一种通用的方法来分类和识别不同的设备，这通常称为“universal discovery”。
发明内容
本发明实施例的目的在于提供一种可扩展云规模IOT存储方法、装置及服务器，以解决现有技术中无法高效存储和处理媒体流信息或图像数据信息数据的问题。具体技术方案如下：
第一方面，本发明实施例提供了一种可扩展云规模IOT存储方法，包括：
接收数据信息；其中，所述数据信息为媒体流信息或图像数据信息；
对所述数据信息进行分类，将所述数据信息分配至所述数据信息对应的目标类别中；
获取用于处理所述目标类别的处理器，其中，所述处理器为在数据云注册的至少两个处理器；
所述处理器处理所述数据信息，得到预存储信息；
获取所述数据信息的地理位置信息；其中，所述地理位置信息包括发送所述数据信息的设备的地点、所述设备发送所述数据信息的时间；
根据所述地理位置信息确定存储位置；其中，所述存储位置为所述数据云根据所述地理位置信息确定的存储所述数据信息以及预处理信息的目标位置；
将所述数据信息与所述预存储信息存储在所述目标位置。
可选的，所述数据云包括预定数量的可用性区域，其中，所述预定数量范围为1-16。
可选的，所述处理器通过restful应用程序接口、POSIX应用程序接口或SQL应用程序接口中的任一应用接口连接所述数据云。
可选的，所述地理位置信息还包括设备的经度、纬度。
第二方面，一种可扩展云规模IOT存储装置，包括：
接收装置，用于接收数据信息；其中，所述数据信息为媒体流信息或图像数据信息；
GPU内容过滤器，用于对所述数据信息进行分类，将所述数据信息分配至所述数据信息对应的目标类别中，其中，所述GPU内容过滤器集成在所述数据云；
获取模块，用于获取用于处理所述目标类别的处理器，其中，所述处理器为在数据云注册的至少两个处理器，每一个所述处理器分别处理不同的数据类型；
处理器，用于处理所述数据信息，得到预存储信息；
区位采集模块，用于获取所述预存储信息与所述数据信息的地理位置信息；其中，所述地理位置信息包括发送所述数据信息的设备的地点、所述设备发送所述数据信息的时间；
分层模块，用于根据所述地理位置信息确定存储位置；其中，所述存储位置为所述数据云根据所述地理位置信息确定的存储所述数据信息以及预处理信息的目标位置；
存储模块，用于将所述数据信息与所述预存储信息存储在所述目标位置。
可选的，还包括：
数据云接口模块，用于所述处理器通过restful应用程序接口、POSIX应用程序接口或SQL应用程序接口中的任一应用接口连接所述数据云。
第三方面，一种服务器，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述的方法步骤。
本发明实施例提供的一种可扩展云规模IOT存储方法、系统及服务器，在对媒体流信息或图像数据信息进行存储时，先利用集成在数据云的GPU内容过滤器对上述媒体流信息或图像数据信息进行分类处理，先将上述数据进行分类，再利用与数据云通过接口连接的与上述数据种类对应的处理器，处理上述数据，在本发明实施例提供的数据云中，数据云托管数据。它不托管客户应用程序。客户应用程序使用restful、POSIX或SQL应用程序接口访问数据云作为存储，因此它可以被视为存储设备，而不是计算设备，由于IOT存储是通过空间/空间而不是应用程序链接的，因此完全避免了每个应用程序的数据孤岛，因为所有存储都可以通过通用存储代码进行访问，这些代码大部分是数字，因此不需要应用程序提供名称空间，上述处理器处理上述数据后得到预处理数据，此时，数据云将上述预处理数据和上述数据一同存储，在存储过程中，数据云会获取到发送上述数据的设备或装置所处的位置信息，并将上述预处理数据与上述数据存储在与上述位置信息对应的存储位置，采用该数据存储方法，可以实现对数据的高效管理，且数据存储逻辑清晰，采用本发明提出了一种可扩展且经济高效的云规模IOT存储的最佳方法，能够处理比单个数据中心更大的规模，以及需要高级内容分析的复杂图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1示出了根据本发明的一个实施例方法流程图；
图2示出了根据本发明的一个实施例可用性区域(AZ)示意图；
图3示出了根据本发明的一个实施例数据地区示意图；
图4示出了根据本发明的一个实施例数据扇区示意图；
图5示出了根据本发明的一个实施数据云的数据柜、媒体流和数据区示意图；
图6示出了根据本发明的一个实施例数据云GSM属性示意图；
图7示出了根据本发明的一个实施例图形处理器属性示意图；
图8示出了根据本发明的一个实施例摄像机数据云示意图；
图9示出了根据本发明的一个实施例一种可扩展云规模IOT存储系统示意图；
图10示出了根据本发明的一个实施例一种可扩展云规模IOT存储装置的模块连接图；
图11示出了根据本发明的一个实施例一种服务器的模块连接图。
具体实施方式
现在将描述某些示例性实施方案，以从整体上理解本文所公开的装置和方法的结构、功能、制造和用途的原理。这些实施方案的一个或多个示例已在附图中示出。本领域的普通技术人员将会理解，在本文中具体描述并示出于附图中的装置和方法为非限制性的示例性实施方案，并且本发明的多个实施方案的范围仅由权利要求书限定。结合一个示例性实施方案示出或描述的特征可与其他实施方案的特征进行组合。这种修改和变型旨在包括在本发明的范围之内。
本说明书通篇提及的“多个实施例”、“一些实施例”、“一个实施例”或“实施例”等，意味着结合该实施例描述的具体特征、结构或特性包括在至少一个实施例中。因此，本说明书通篇出现的短语“在多个实施例中”、“在一些实施例中”、“在至少另一个实施例中”或“在实施例中”等并不一定都指相同的实施例。此外，在一个或多个实施例中，具体特征、结构或特性可以任何合适的方式进行组合。因此，在无限制的情形下，结合一个实施例示出或描述的具体特征、结构或特性可全部或部分地与一个或多个其他实施例的特征、结构或特性进行组合。这种修改和变型旨在包括在本发明的范围之内。
实施例1
第一方面，请参见图1，本发明实施例提供了一种可扩展云规模IOT存储方法，包括：
S110.接收数据信息；其中，所述数据信息为媒体流信息或图像数据信息；
S120.对所述数据信息进行分类，将所述数据信息分配至所述数据信息对应的目标类别中；
S130.获取用于处理所述目标类别的处理器，其中，所述处理器为在数据云注册的至少两个处理器，每一个所述处理器分别处理不同的数据类型；
S140.所述处理器处理所述数据信息，得到预存储信息；
S150.获取所述预存储信息与所述数据信息的地理位置信息；其中，所述地理位置信息包括发送所述数据信息的设备的地点、所述设备发送所述数据信息的时间；
S160.根据所述地理位置信息确定存储位置；其中，所述存储位置为所述数据云根据所述地理位置信息确定的存储所述数据信息以及预处理信息的目标位置；
S170.将所述数据信息与所述预存储信息存储在所述目标位置。
需要说明的是，本发明提出了一种可扩展且经济高效的云规模IOT存储方法的目的在于，创建世界上最大的单一名称空间文件系统，或许也是最大的单一数据云，能够跨越多个数据中心，具有云规模服务可用性，能够统一基于中央处理器和图形处理器的处理，并集成IOT中心的空间/时间概念。
在本发明实施例中，数据云根据存储记录的事件的时间和空间特征来表示存储。因此，每个存储元素在时间和空间上都具有实际或隐含的范围，这与生成要由云处理的数据流的IOT设备高度相关。
利用通用的IOT存储代码，其明确包括3D位置和时间，并且所有组件被定义为具有特定位置和时间的实体，或者被定义为空间/时间中元素的边界框。实现安块存储，方便数据的存储以及管理；本质上，存储可以表示为2D或3D模型矩形或立方体，其中对于IOT设备，存储管理由设备本身的物理位置定义的边界框内的数据，例如，设备的位置信息，包括设备所处的海拔、经度以及纬度信息，将上述位置信息作为数据存储的边界，提高数据存储逻辑的合理性。
在实际应用中，数据云的图形用户界面显示元素中，元素状态和IOT事件的二维地图投影和三维模型投影被显式呈现为物理元素，类似于交通地图等应用。基于这种这种映射，很大程度上就可以从IOT资源数据云中模拟和配置奥卡数据云。
进一步的，所述数据云包括预定数量的可用性区域，其中，所述预定数量范围为4-64。
具体的，数据云是云规模的，必须展示云规模的可靠性和云规模的可扩展性。因此，数据云引入一个名为可用性区域(AZ)的概念，它直接来自亚马逊AWS，作为高可用性的选择模型。
AZ是一个数据中心。数据云最多可由64个数据中心组成，一个AZ最少4个数据中心。4个数据中心的组是相关的，因为4个数据中心中的每一个都为其他数据中心提供了一个备用存储位置，以防止数据中心出现全面故障或重大组件故障，进而导致数据损坏或流失。数据云采用上述拓扑结构，可以可信地宣称999999可用性，而不是历史数据中心存储产品更常见的99999可用性宣称。
进一步的，所述处理器通过restful应用程序接口、POSIX应用程序接口或SQL应用程序接口中的任一应用接口连接所述数据云。
具体的，数据云不是为通用计算解决方案而设计的，它不会与基于计算的云竞争，例如OpenStack或阿里云。相反，它把100％的重点放在了IOT存储上。数据云仅托管数据，它不托管客户应用程序。客户应用程序使用restful应用程序接口、POSIX应用程序接口或SQL应用程序接口中的任一应用程序接口访问数据云作为存储，因此数据云可以被视为存储设备，而不是计算设备。
数据云的独特之处在于，许多数据项既可以作为POSIX元素(文件)访问，也可以通过SQL数据库访问，整个云是一个单一的名称空间。这个名字空间本身是用空间/时间来表达的。
这意味着，由于IOT存储是通过空间/时间而不是应用程序链接的，因此完全避免了每个应用程序的数据孤岛，因为所有存储都可以通过通用存储代码进行访问，这些代码大部分是数字，因此不需要应用程序提供名称空间。
进一步的，所述地理位置信息还包括设备的经度、纬度。
具体的，本发明实施例提供的一种可扩展云规模IOT存储方法、系统及服务器，在对媒体流信息或图像数据信息进行存储时，先利用集成在数据云的GPU内容过滤器对上述媒体流信息或图像数据信息进行分类处理，先将上述数据进行分类，再利用与数据云通过接口连接的与上述数据种类对应的处理器处理上述数据，在本发明实施例提供的数据云中，数据云托管数据。它不托管客户应用程序。客户应用程序使用restful、POSIX或SQL应用程序接口访问数据云作为存储，因此它可以被视为存储设备，而不是计算设备，由于IOT存储是通过空间/空间而不是应用程序链接的，因此完全避免了每个应用程序的数据孤岛，因为所有存储都可以通过通用存储代码进行访问，这些代码大部分是数字，因此不需要应用程序提供名称空间，上述处理器处理上述数据后得到预处理数据，此时，数据云将上述预处理数据和上述数据一同存储，在存储过程中，数据云会获取到发送上述数据的设备或装置所处的位置信息，并将上述预处理数据与上述数据存储在与上述位置信息对应的存储位置，采用该数据存储方法，可以实现对数据的高效管理，且数据存储逻辑清晰，采用本发明提出了一种可扩展且经济高效的云规模IOT存储的最佳方法，能够处理比单个数据中心更大的规模，以及需要高级内容分析的复杂图像。
再一方面，请参见图9、图10，本发明实施例提供了一种可扩展云规模IOT存储装置，包括：
接收装置，用于接收数据信息；其中，所述数据信息为媒体流信息或图像数据信息；
GPU内容过滤器，用于对所述数据信息进行分类，将所述数据信息分配至所述数据信息对应的目标类别中，其中，所述GPU内容过滤器集成在所述数据云；
具体的，对于IOT，原始数据本身可能没什么意义。例如，对于监控视频，主要目标可能是在视频中找到人脸，从而识别人的当前位置。这种形式的翻译需要集成基于图形处理器的应用程序，这些应用程序在原始数据流到达时进行分析，并生成适当的元数据(可识别的对象)。数据云包括将GPU内容过滤器集成为IOT数据流存储的一部分的显式功能。最相关的现有技术是数据库中的存储过程，但是在现有技术中找不到数据存储机制中的集成GPU处理。
假设要避免特定于应用程序的数据孤岛，数据云必须提供人工智能/商业智能应用程序可以“发现”的存储，就像数据库提供发现表模式的方法一样。事实上，数据云由两个存储定义组成，或者是单个磁盘SQL数据库，或者是单个磁盘对象数据库，这两者都提供了第三方模式检测机制。
获取模块，用于获取用于处理所述目标类别的处理器，其中，所述处理器为在数据云注册的至少两个处理器，每一个所述处理器分别处理不同的数据类型；
处理器，用于处理所述数据信息，得到预存储信息；
区位采集模块，用于获取所述预存储信息与所述数据信息的地理位置信息；其中，所述地理位置信息包括发送所述数据信息的设备的地点、所述设备发送所述数据信息的时间；
分层模块，用于根据所述地理位置信息确定存储位置；其中，所述存储位置为所述数据云根据所述地理位置信息确定的存储所述数据信息以及预处理信息的目标位置；
存储模块，用于将所述数据信息与所述预存储信息存储在所述目标位置。
需要说明的是，此外，数据云基于可移动/可迁移存储模型。大多数现代存储都是“热插拔的”。在数据云中，如果介质从一台物理服务器中移除，并安装在另一台物理服务器中，则该物理介质的底层服务会自动从一台服务器迁移到另一台服务器。事实上，所有服务都是基于单个磁盘介质定义的，云中服务器的功能完全由当前安装在该服务器上的存储来定义，存储会随着时间的推移而变化。
进一步的，还包括：数据云接口模块，用于所述处理器通过restful应用程序接口、POSIX应用程序接口或SQL应用程序接口中的任一应用接口连接所述数据云。
本发明实施例提供的一种可扩展云规模IOT存储装置，如图所示。请参见下表，这是实际监控摄像机数据库的摘录：
摄像机的物理位置由定义摄像机位置和高度(楼层)的第一、第二、第三列定义。列M为摄像机定义了一个类，在这种情况下，它意味着像公共公园一样的室外摄像机。
公园位于地图区(列G、H)，是地图扇区(列F)的一部分，也是地图区(列E)的一部分，该区域由数据中心(列D)托管。
IOT对象数据库还定义了托管这些对象的数据云，如下所示：数据中心由列D指定、服务器组由列E指定、元数据磁盘由列F指定、摄像机的包含文件夹由列G、H、I、J和M指定、磁盘和服务器组的2D和3D边界框是它们所服务的IOT对象的纬度和经度的最小值和最大值。
要创建一个云来服务这些摄像机，需要添加几项内容：必须创建具有IP地址的服务器(不能从摄像机数据库导出)、必须添加提供元数据的磁盘(第六栏)、必须添加数据磁盘池(由区域或列E定义)、必须添加资源类(列M)的GPU应用程序。
又一方面，请参见图11，本发明实施例提供了一种服务器，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，用以实现如下步骤：
S110.接收数据信息；其中，所述数据信息为媒体流信息或图像数据信息；
S120.对所述数据信息进行分类，将所述数据信息分配至所述数据信息对应的目标类别中；
S130.获取用于处理所述目标类别的处理器，其中，所述处理器为在数据云注册的至少两个处理器，每一个所述处理器分别处理不同的数据类型；
S140.所述处理器处理所述数据信息，得到预存储信息；
S150.获取所述预存储信息与所述数据信息的地理位置信息；其中，所述地理位置信息包括发送所述数据信息的设备的地点、所述设备发送所述数据信息的时间；
S160.根据所述地理位置信息确定存储位置；其中，所述存储位置为所述数据云根据所述地理位置信息确定的存储所述数据信息以及预处理信息的目标位置；
S170.将所述数据信息与所述预存储信息存储在所述目标位置。
上述电子设备提到的通信总线可以是外设部件互连标准(PeripheralComponentInterconnect，简称PCI)总线或扩展工业标准结构(ExtendedIndustryStandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(ApplicationSpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中步骤S110-步骤S170中任一步骤。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的步骤S110-步骤S170中任一步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
实施例2
在实施例1的基础上，本实施例进行举例说明。
参考图2，示出了云的数据中心的Availability Zones(AZ)可用性区域
图1描述了云的数据中心。数据中心由AZ编号，从0到63(1.2)，并被分组到4个AZ编号(1.3)的列中，这些列定义了高可用性组，这意味着每个数据中心也可以为其列伙伴数据中心存储资源。
这意味着，当媒体流处于活动状态时，例如，摄像机正在传输数据，如果该摄像机的“正常”资源不可用，该数据流将被重定向到备用数据中心(由4个数据中心的AZ列定义)，并且将自动创建新的媒体流，而不会中断服务。
需要说明的是，机柜是媒体流的联合，分布在多达4个数据中心。
参考图3，示出了Regions地区。
每个物理磁盘(2.1)都与某一个区域相关联。区域(2.2)的服务器是当前为该区域安装了磁盘的一组服务器，这些磁盘会随着时间的推移而变化。
这意味着数据云中的服务器通常没有预定义的角色，而是从当前装载的包含介质的服务器，或继承存储所述区域数据服务器。
数据存储是池化的，数据存储池的范围是单个区域。在单个媒体流中，数据区将均匀分布在存储池中。
参考图4，示出了数据云的Sectors扇区。
图3示出了两种形式的扇区，复制扇区3.1和池扇区3.2。
复制扇区将由3台服务器中的每台服务器上的一个磁盘组成，可以使用丛号标识。每个丛号都是完整的镜像副本。
池扇区是跨服务器集合的磁盘集合。复制扇区的元数据使用池扇区来存储相关数据，并且一个区域内的所有复制扇区共享一个公共池扇区。元数据扇区是3个复制的SQL数据库(Myrocks)，并实现标准的主用、备用、第三复制数据库协调机制。一个附加的媒体流应用程序将使用多达4个元数据扇区，每个AZ数据中心一个。
参考图5，示出了文件柜，媒体流和数据范围
数据云包括一个文件夹的概念，称为文件柜。在视频存储的例子中，每个摄像机映射有有一个文件柜，该摄像机的媒体流将存储在该文件夹中。文件夹的元数据存储在复制扇区中，数据分布在包含该文件夹的区域的池扇区中。
文件柜专用于单个扇区4.2，这是一个复制的SQL数据库，由AZ|REG|SECT4.1定义。存储代码4.3中的区域、底层、区域、摄像头组件定义文件柜标识4.4。
当媒体流开始时，媒体流4.6由标准Linux纪元格式的时间戳4.5定义。当数据区4.8被添加到媒体流时，它由时间戳4.7定义，也是在Linux纪元格式中。
有许多附属机制实现了这一模式，并将成为个别发明的主题。在本发明的限制下，显著的特征是数字学。所有存储元素都由特定的数字定义，这使得单个元素可以完全自定义，因此无需遵循递归下降链即可直接访问。
这允许存储定义的双重性。递归下降链之后是存储元素的POSIX定义，适用于媒体流、图形用户界面缩略图显示和媒体阅读器等应用。但是这些元素对于基于SQL的应用程序也是单独可用的，例如人工智能/商业智能。二元性是本发明独有的。
参考图6，示出了GSM属性。任何存储或IOT设备组件的定义都可以包括GSM属性，如下所示:
5.1–物体纬度；
5.2–物体经度；
5.3–地图显示类；
5.4–GPU处理类；
这里的含义是数据云本质上绝对是物理的，并且被设计成使得2d和3d地图渲染是固有的。这也暗示着云的定义可以很大程度上来源于要管理的IOT设备的数据库。
参考图7，GPU属性。当接收到媒体流4.6的图像数据6.1时，主机柜4.2的图形处理器6.2指定哪个注册的图形处理器应用程序6.4将过滤内容。类别过滤器6.3将图像数据发送到图形处理器应用程序，图形处理器应用程序返回元数据，以与原始图像一起存储。
GPU应用程序可以作为独立的可执行文件开发，并向云注册。因为云是一个存储应用编程接口，所以他们也可以直接在云中存储东西。
摄像机终端与云的连接构成了一个简单的NVR(网络录像机)，摄像机只需提供其云存储号，如摄像机数据库中所定义的。
外部人工智能/商业智能应用程序可以使用标准的SQL连接来分析视频的内容，因为GPU应用程序以与并行SQL查询兼容的格式生成元数据。
除了相机，人工智能应用程序可以分析任意数量的应用程序，以及它们之间的各种交互。
参考图8，示出了摄像机数据库，主要含义是云主要由云服务的IOT设备定义。因此，定义一个3D模型图形用户界面是可行的，它接收来自分布式人工智能/商业智能应用程序的结果，并实时呈现真实世界输入的一致视图。
本申请实施例可能带来的有益效果包括但不限于：本发明提出了一种可扩展的云规模IOT存储方法，该方法能够处理比单个数据中心更大的规模，以及需要高级内容分析的复杂图像。其可以用于创建世界最大的单一名称空间文件系统，能够跨越多个数据中心，具有云规模服务可用性，能够统一基于中央处理器和图形处理器的处理，并集成IOT中心的空间或时间概念。
数据云的独特之处在于，许多数据项既可以作为POSIX元素(文件)访问，也可以通过SQL数据库访问，整个云是一个单一的名称空间。这个名字空间本身是用空间或时间来表达的。这意味着，由于IOT存储是通过空间或时间而不是应用程序链接的，因此完全避免了每个应用程序的数据孤岛，因为所有存储都可以通过通用存储代码进行访问，这些代码大部分是数字，因此不需要应用程序提供名称空间。
数据云最多可由64个数据中心组成。每4个数据中心为一组，每一个都为其他数据中心提供了一个备用存储位置，以防数据中心出现全面故障或重大组件故障。
对于IOT，原始数据本身可能没什么意义。基于图形处理器的应用程序需要在原始数据流到达时进行实时分析，并生成元数据。数据云包括了将GPU内容过滤器集成为IOT数据流存储的功能。在现有技术中找不到在数据存储机制中集成GPU的技术。
数据云基于可移动或可迁移存储模型。所有服务都是基于单个磁盘介质定义的，云中服务器的功能完全由当前安装在该服务器上的存储来定义，存储会随着时间的推移而变化。如果介质从一台物理服务器中移除，并安装在另一台物理服务器中，则该物理介质的底层服务会自动从一台服务器迁移到另一台服务器,不需要人为配置。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (7)

1.一种可扩展云规模IOT存储方法，其特征在于，包括：
接收数据信息；其中，所述数据信息为媒体流信息或图像数据信息；
对所述数据信息进行分类，将所述数据信息分配至所述数据信息对应的目标类别中；
获取用于处理所述目标类别的处理器，其中，所述处理器为在数据云注册的至少两个处理器；
所述处理器处理所述数据信息，得到预存储信息；
获取所述数据信息的地理位置信息；其中，所述地理位置信息包括发送所述数据信息的设备的地点、所述设备发送所述数据信息的时间；
根据所述地理位置信息确定存储位置；其中，所述存储位置为所述数据云根据所述地理位置信息确定的存储所述数据信息以及预处理信息的目标位置；
将所述数据信息与所述预存储信息存储在所述目标位置。
2.根据权利要求1所述的一种可扩展云规模IOT存储方法，其特征在于，所述数据云包括预定数量的可用性区域，其中，所述预定数量范围为1-16。
3.根据权利要求1所述的一种可扩展云规模IOT存储方法，其特征在于，所述处理器通过restful应用程序接口、POSIX应用程序接口或SQL应用程序接口中的任一应用接口连接所述数据云。
4.根据权利要求1所述的一种可扩展云规模IOT存储方法，其特征在于，所述地理位置信息还包括设备的经度、纬度。
5.一种可扩展云规模IOT存储装置，其特征在于，包括：
接收装置，用于接收数据信息；其中，所述数据信息为媒体流信息或图像数据信息；
GPU内容过滤器，用于对所述数据信息进行分类，将所述数据信息分配至所述数据信息对应的目标类别中，其中，所述GPU内容过滤器集成在所述数据云；
获取模块，用于获取用于处理所述目标类别的处理器，其中，所述处理器为在数据云注册的至少两个处理器，每一个所述处理器分别处理不同的数据类型；
处理器，用于处理所述数据信息，得到预存储信息；
区位采集模块，用于获取所述预存储信息与所述数据信息的地理位置信息；其中，所述地理位置信息包括发送所述数据信息的设备的地点、所述设备发送所述数据信息的时间；
分层模块，用于根据所述地理位置信息确定存储位置；其中，所述存储位置为所述数据云根据所述地理位置信息确定的存储所述数据信息以及预处理信息的目标位置；
存储模块，用于将所述数据信息与所述预存储信息存储在所述目标位置。
6.根据权利要求5所述的可扩展云规模IOT存储装置，其特征在于，还包括：
数据云接口模块，用于所述处理器通过restful应用程序接口、POSIX应用程序接口或SQL应用程序接口中的任一应用接口连接所述数据云。
7.一种服务器，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-4任一所述的方法。
CN201911285169.5A 2019-12-13 2019-12-13 一种可扩展云规模iot存储方法、装置及服务器 Active CN111045606B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911285169.5A CN111045606B (zh) 2019-12-13 2019-12-13 一种可扩展云规模iot存储方法、装置及服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911285169.5A CN111045606B (zh) 2019-12-13 2019-12-13 一种可扩展云规模iot存储方法、装置及服务器

Publications (2)

Publication Number Publication Date
CN111045606A CN111045606A (zh) 2020-04-21
CN111045606B true CN111045606B (zh) 2021-08-27

Family

ID=70236264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911285169.5A Active CN111045606B (zh) 2019-12-13 2019-12-13 一种可扩展云规模iot存储方法、装置及服务器

Country Status (1)

Country Link
CN (1) CN111045606B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11606432B1 (en) * 2022-02-15 2023-03-14 Accenture Global Solutions Limited Cloud distributed hybrid data storage and normalization

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103607463A (zh) * 2013-11-25 2014-02-26 中国电信集团系统集成有限责任公司 定位数据存储系统和存储方法
CN105138578A (zh) * 2015-07-30 2015-12-09 北京奇虎科技有限公司 目标图片分类存储方法及其终端
CN106657026A (zh) * 2016-12-01 2017-05-10 上海理工大学 基于gpu的视频流智能感知协同处理系统及其处理方法
CN107422980A (zh) * 2016-05-24 2017-12-01 上海共联通信信息发展有限公司 物联网数据文件存储系统及其数据文件存储方法
CN107547280A (zh) * 2017-09-15 2018-01-05 山东建筑大学 一种物联网智能建筑系统架构
CN108141717A (zh) * 2016-01-11 2018-06-08 环球互连及数据中心公司 共同定位设施中的物联网设备数据的分布式边缘处理
CN109067868A (zh) * 2018-07-31 2018-12-21 佛山市苔藓云链科技有限公司 一种用于对云数据存储的方法和系统
CN110266821A (zh) * 2019-07-19 2019-09-20 南京世竹软件科技有限公司 一种物联网监测大数据的存储系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050188248A1 (en) * 2003-05-09 2005-08-25 O'brien John Scalable storage architecture
US10028025B2 (en) * 2014-09-29 2018-07-17 Time Warner Cable Enterprises Llc Apparatus and methods for enabling presence-based and use-based services

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103607463A (zh) * 2013-11-25 2014-02-26 中国电信集团系统集成有限责任公司 定位数据存储系统和存储方法
CN105138578A (zh) * 2015-07-30 2015-12-09 北京奇虎科技有限公司 目标图片分类存储方法及其终端
CN108141717A (zh) * 2016-01-11 2018-06-08 环球互连及数据中心公司 共同定位设施中的物联网设备数据的分布式边缘处理
CN107422980A (zh) * 2016-05-24 2017-12-01 上海共联通信信息发展有限公司 物联网数据文件存储系统及其数据文件存储方法
CN106657026A (zh) * 2016-12-01 2017-05-10 上海理工大学 基于gpu的视频流智能感知协同处理系统及其处理方法
CN107547280A (zh) * 2017-09-15 2018-01-05 山东建筑大学 一种物联网智能建筑系统架构
CN109067868A (zh) * 2018-07-31 2018-12-21 佛山市苔藓云链科技有限公司 一种用于对云数据存储的方法和系统
CN110266821A (zh) * 2019-07-19 2019-09-20 南京世竹软件科技有限公司 一种物联网监测大数据的存储系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
High Performance Video Processing in Cloud Data Centres;Yaseen, MU等;《PROCEEDINGS 2016 IEEE SYMPOSIUM ON SERVICE-ORIENTED SYSTEM ENGINEERING SOSE 2016》;20161231;第180-189页 *
铁路综合视频监控系统云存储应用研究;于东旭;《中国铁路》;20190815;第103-109页 *

Also Published As

Publication number Publication date
CN111045606A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
JP7316341B2 (ja) ストリームデータにおける空間変化検出器
CN109997126B (zh) 事件驱动提取、变换、加载（etl）处理
CN110309264B (zh) 基于知识图谱获取地理产品数据的方法和装置
US10652248B2 (en) Systems and methods of managing data rights and selective data sharing
CN106294888B (zh) 一种基于时空数据库的对象数据的订阅方法
US9530075B2 (en) Presentation and organization of content
US20210117469A1 (en) Systems and methods for selecting content items to store and present locally on a user device
CN110647512B (zh) 一种数据存储和分析方法、装置、设备和可读介质
JP2020531970A (ja) スケーラブルな時空密度データの融合
US10938684B2 (en) Disparate monitoring for IoT
US20240004883A1 (en) Data ingestion with spatial and temporal locality
US11900688B2 (en) People and vehicle analytics on the edge
US20230367808A1 (en) Hyperzoom attribute analytics on the edge
CN111045606B (zh) 一种可扩展云规模iot存储方法、装置及服务器
Luo et al. Big-data analytics: challenges, key technologies and prospects
CN111723245A (zh) 数据存储系统中建立不同类型存储对象关联关系的方法
Ikhlaq et al. Computation of Big Data in Hadoop and Cloud Environment
Krstić et al. Testing the performance of NoSQL databases via the database benchmark tool
US20230394043A1 (en) Systems and methods for optimizing queries in a data lake
Singh NoSQL: A new horizon in big data
de Oliveira et al. A new platform for time-series analysis of remote sensing images in a distributed computing environment.
de Oliveira et al. Distsensing: A new platform for time series processing in a distributed computing environment
Scarfò et al. How the big data is leading the evolution of ICT technologies and processes
CN117670634A (zh) 智慧停机运营系统、智慧停机运营方法及存储介质
Siddesh et al. Driving big data with hadoop technologies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A scalable cloud scale IOT storage method, device and server

Effective date of registration: 20211215

Granted publication date: 20210827

Pledgee: Xixian New District Financing Guarantee Co.,Ltd.

Pledgor: Xi'an Okayun Data Technology Co.,Ltd.

Registration number: Y2021610000428

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20221219

Granted publication date: 20210827

Pledgee: Xixian New District Financing Guarantee Co.,Ltd.

Pledgor: Xi'an Okayun Data Technology Co.,Ltd.

Registration number: Y2021610000428

PC01 Cancellation of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A scalable cloud scale IOT storage method, device and server

Effective date of registration: 20221220

Granted publication date: 20210827

Pledgee: China Minsheng Banking Corp Xi'an branch

Pledgor: Xi'an Okayun Data Technology Co.,Ltd.

Registration number: Y2022610000814

PE01 Entry into force of the registration of the contract for pledge of patent right