CN110506261B - 用于运行数据存储系统的方法、用于执行该方法的计算机程序和根据该方法工作的数据存储系统 - Google Patents
用于运行数据存储系统的方法、用于执行该方法的计算机程序和根据该方法工作的数据存储系统 Download PDFInfo
- Publication number
- CN110506261B CN110506261B CN201880024803.7A CN201880024803A CN110506261B CN 110506261 B CN110506261 B CN 110506261B CN 201880024803 A CN201880024803 A CN 201880024803A CN 110506261 B CN110506261 B CN 110506261B
- Authority
- CN
- China
- Prior art keywords
- data
- metadata
- iot
- storage system
- delay
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/185—Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
Abstract
本发明涉及一种用于运行具有多个数据存储器(22)的数据存储系统(20)的方法,其中,在该方法的范畴中在相应的数据点(10‑13)处产生的IoT数据(14‑17)被存储在至少一个数据存储器(22)中,其中,根据元数据(40)自动地选择用于存储IoT数据(14‑17)的至少一个数据存储器(22),并且其中,元数据(40)对应于数据点(10‑13)。本发明还涉及一种具有该方法的实现方案的计算机程序(50)和根据该方法工作的数据存储系统(20)。
Description
技术领域
本发明涉及一种用于高效地存储来自所谓的物联网(IoT)环境的数据的方法。数据存储在数据存储系统中实现。此外,本发明涉及一种用于执行该方法的计算机程序以及根据该方法工作的数据存储系统。
背景技术
在物联网中已知,分散地收集、传输来自分布式数据源的大量数据并且集中地在下面根据传统术语称为后端系统的数据存储系统中存储这些大量数据,并且通过应用程序和服务将这些大量数据提供给另外的应用。后端系统中的IoT数据存储通常在多个不同的数据存储器中实现。
在后端系统中存储物联网中累积的大量数据造成了运行中的成本。IoT数据存储的时间越长且对数据提供的要求越高,该成本就越高。此外,对于数据提供来说,基本的质量标准一方面是所谓的延迟或延迟时间-下面简称为延迟-另一方面是可用的数据请求功能。延迟理解为在数据消费应用进行数据请求与下级技术系统进行数据提供之间的时间上的滞后。数据请求功能在可用的过滤和集合功能的类型和范围方面以及二者的组合可行性的类型和范围方面有所不同。数据提供质量基本上通过相应使用的下级技术数据存储器来确定。例如,所谓的内存数据库(In-Memory Datenbank)的特征在于非常低的延迟以及灵活的请求可行性,然而它很贵。所谓的NoSQL数据库(NoSQL=Not only SQL,不仅仅是SQL)或简单的文件系统(Filesystem)具有更高的延迟和灵活性更低的请求可行性,然而成本也较低。在NoSQL数据库中,基于数据值的复杂请求(例如请求“转速何时曾经高于400?”)仅能够在建立专门的检索之后实现。
在现今可用的数据存储系统中,高质量的数据提供伴随着更高的成本。因此,通常不会在共同的数据存储器中存放所有数据。
在物联网系统的环境中,要处理的IoT数据通常是异构的,并且它们包括例如尤其以具有时间戳的时间序列数据形式或者数值形式存储的传感器数据、尤其以具有时间戳的列类型数据形式或者文本形式存储的过程和机械事件等等。要处理的IoT数据的其他实例为手动输入内容、计算出的KPI(KPI=Key Performance Indicator,关键性能指标)或所谓的BLOB(BLOB=Binary Large Object,二进制大对象)数据,其中后者以二进制格式存储并且例如代表了具有伴随值的所采集的频谱。
这样的IoT数据通常存放在不同的数据存储器中,并且在那里保存。通过选择对于IoT数据来说最合适的数据存储器,来实现IoT数据在特定数据存储器中的存储。为此需要的各个IoT数据与可用的数据存储器的分配迄今为止以手动方式实现,并且因此受到传统的错误源和不准确性的影响。
发明内容
相应地,本发明的目的在于,提供一种用于自动地运行数据存储系统(后端系统)的优化方法,其中在该方法的范畴中,自动地选择数据存储器作为用于收到的IoT数据的存放位置。
根据本发明,该目的借助一种用于运行数据存储系统的方法来实现。在用于运行数据存储系统的该方法中提出,数据存储系统包括多个数据存储器或者多个数据存储器属于该数据存储系统,在相应的数据点处产生的IoT数据被自动地存储在至少一个数据存储器中,根据元数据自动地选择至少一个数据存储器以用于存储IoT数据,并且元数据对应于数据点。
本发明的优点在于,根据相应的元数据,自动地选择用于存放数据存储系统中收到的IoT数据的相应的至少一个数据存储器,并且该元数据分别对应于一个数据点、即IoT数据的产生地点。因此,对于每个数据点和其IoT数据都能够细粒度地选择相应的存储地点进而还选择数据存储的特征。数据存储系统能够自动评估元数据,并且在其基础上自动选择相应的数据存储器作为用于收到的IoT数据的存放位置。
上述目的也借助数据存储系统(后端系统)实现,其根据此处以及下面所描述的方法工作,并且对此包括用于执行该方法的构件。下面所描述的方法为了自动实施而优选以计算机程序的形式,可能以分布式计算机程序的形式,来实现。因此,本发明一方面也是具有能通过计算机执行的程序代码指令的计算机程序,另一方面是具有这种计算机程序的存储介质、即具有程序代码构件的计算机程序产品,以及最后也是在这种系统中的计算机,在该计算机的存储器中作为用于执行该方法和其设计方案的构件而加载或能加载这种计算机程序。
当下面描述方法步骤或方法步骤序列时,只要没有明确指出单个行为通过计算机程序的用户发起,所涉及的都是基于计算机程序或在计算机程序的控制下实现的行为。术语“自动化”的每次应用至少意味着,相关的行为基于计算机程序或在计算机程序的控制下实现。
因此,为了避免不必要的重复,对于下面的说明适用:结合用于运行数据存储系统以及可能的设计方案所描述的特征和细节显然也适用于与设置用于执行该方法的数据存储系统结合或者相关,反之亦然。相应地,该方法也能够借助与数据存储系统执行的方法步骤相关的单个或多个方法特征得以改进。同样地,数据存储系统能够通过用于执行在该方法的范畴中执行的方法步骤的构件得以改进。相应地,结合用于运行数据存储系统的方法和可能的设计方案描述的特征和细节显然也适用于与确定用于执行该方法的数据存储系统结合或者相关,反之亦然,从而能够在公开的意义上始终使得本发明的各个方面相互参考或者能够相互参考。
在该方法的一个实施方式中,元数据包括至少一个用于表明在相应的数据点处产生的IoT数据的延迟的元数据。根据该元数据,即根据分别预设的延迟,来选择用于存放标记有该元数据的IoT数据的至少一个数据存储器。因此,需要被快速访问(较低延迟)的IoT数据,例如自动地通过数据存储系统,存放在与不需要被这样快速访问的IoT数据不同的数据存储器中。因此确保了,根据随后应用IoT数据的必要性来选择相应的数据存储器。因此,不需要被特别快速访问的IoT数据能够自动地存放在更便宜的数据存储器中。IoT数据存储的增加成本仅在实际需要的地方累积。
在基于具有用于表明延迟的至少一个元数据的元数据的特别实施方式中,至少一个数据存储器的选择不是直接根据元数据实现的。还考虑数据存储系统的预定或能预定的配置。该配置包括延迟或延迟范围与相应的至少一个数据存储器的对应关系(映射)的定义。因此,在配置,例如查询列表形式的配置等的基础上,选择至少一个数据存储器。在配置中选择以下的项目,其匹配于在元数据中表明的延迟。这确保了与相应的元数据中的实际表明内容的退耦。通过调配配置,例如也能够为这种IoT数据提供可用的、快速的、但目前很少使用的数据存储器并使用该数据存储器,IoT数据在借助元数据表明的所需延迟之后也能存储在稍慢的数据存储器中。在自动选择数据存储器时,借助于配置和由其包括的对应关系能够考虑整个系统的行为和能力,并且由此能够动态地调配配置,例如在数据存储系统改变期间添加新的目前未使用的数据存储器。
在该方法的另一实施方式中,也考虑数据行为,即访问数据存储器中存放的特定IoT数据的频率。对此,数据存储系统使用能调配的延迟值来替代借助元数据预定的延迟,延迟值利用在元数据中定义的延迟初始化。在访问数据点的IoT数据时,在数据行为识别的范畴中,数据存储系统监视能配置的行为阙值的超出情况。在超出行为阙值时,将能调配的延迟值减少一个能配置的量。因此,经常使用的IoT数据的延迟与使用相关地被调配。在经常使用时,能调配的延迟值下降,并且通过数据存储系统根据能调配的延迟值自动地选择至少一个数据存储器。因此,经常使用的IoT数据能够进入与根据元数据初始设置的不同(更快)的数据存储器中。这实现了通过数据存储系统所进行的存储位置自动选择的动态调配。可替代地,正如在经常使用的IoT数据的情况下能调配的延迟值被减小那样,其能够在很少使用的IoT数据的情况下增加一个能配置的量。因此,所涉及的IoT数据同样能够进入与根据元数据初始设置的不同(更慢)的数据存储器中。因此最后,对于更不常使用的IoT数据来说也产生更低的成本。
在该方法的再一个实施方式中,数据点的IoT数据根据在元数据中定义的关键性而被自动地以提高的故障安全性存储,例如单次或多次冗余地存储和/或在空间上的不同存储位置处存储。
附加地或可替代地,在该方法的一个实施方式中提出,数据点的IoT数据在元数据中定义的寿命结束后被自动删除。这种IoT数据随后在其自动删除后不再造成另外的成本。
在该方法的一个具体实施方式中,借助元数据被要求有检索的数据点的IoT数据被自动地存放在适于该目的的数据存储器中。可选地,结合IoT数据在适当选择的数据存储器中的存放而建立关于IoT数据的索引。
最后,在该方法的一个实施方式中可替代地提出,在数据存储器有大小限制的情况下,应用在元数据中定义的延迟以用于确定优先级,并且IoT数据根据得出的优先级而被自动地存放在较快的数据存储器中或者相较而言较慢的数据存储器中。这通过根据优先级也使用至少一个其他数据存储器来避免有大小限制的数据存储器的“溢出”。具有高优先级的IoT数据继续进入有大小限制的数据存储器中,然而其现在由于至少一个其他数据存储器形式的规避可行性而能够被更长时间地使用。
因此,本发明的优点和其设计方案尤其在于,IoT系统的用户能够对各个数据点的IoT数据的存储质量,特别是在IoT数据的延迟、检索和寿命方面施加细粒度的影响。借助本文提出的方案,确保能够在请求数据点的数据时持续地保障延迟。索引仅在需要时才被建立,并且甚至在由负责数据的用户预定之后,并且不需要管理员干预或类似操作。
附图说明
下面根据附图详细阐述本发明。彼此相应的对象或要素在所有的附图中配有相同的附图标记。
实施例不应理解为对于本发明的限制。确切地说,在本公开的范畴中完全也能够实现补充方案和修改方案,特别是能够实现以下方案,其例如对于本领域技术人员来说能为了解决前述目的通过将在一般性或具体的说明书描述部分中描述的以及在附图中包含的各个特征或方法步骤相组合或修改而得出,以及通过能组合的特征推导出的新主题或新的方法步骤或者方法步骤序列。
在此示出
图1是具有要采集的且在后端系统中要存储的IoT数据的IoT场景,
图2是具有其它细节的后端系统,
图3,和
图4是选择后端系统的数据存储器作为IoT数据的存储位置的图解。
具体实施方式
图1的视图-示意性简化地-示出典型的IoT场景(IoT=Internet of Things,物联网)。产生于广泛不同的、下面也尤其称为数据点10、11、12、13的数据源10-13的IoT数据14、15、16、17(可选地加密)传输给后端系统20,并且存放在由后端系统20包括的数据存储器22中。后端系统20例如是能在所谓的云端访问的计算机(服务器)或者能在云端访问的计算机网络。
借助于定义的用户或编程接口(API;API=Application ProgrammingInterface,应用程序编程接口),能够访问存储的IoT数据14-17。这借助单个或多个应用程序24或服务26实现。
下面,数据源10-13、后端系统20和由其包括的一个或每个数据存储器22以及一个或每个确定用于访问存储的IoT数据14-17的应用程序24和/或一个或每个确定用于访问存储的IoT数据14-17的服务26被称为IoT系统30。
IoT系统30通常能够受到下述人员或人员组影响:
-人员或组织32,其对IoT数据14-17的采集进行初始配置,并且为此目的熟悉相应的一个或多个数据源10-13的属性。
-人员或组织34,其供应用于数据使用的服务26,例如通过建立和提供服务26的软件实现方案来供应。
-人员或组织36,其使用这样的一个服务26或多个服务26以访问存储的IoT数据14-17。
为了更好的可读性,但不牺牲广泛普适性,在下述简化的基础上继续说明:代替人员或组织32、34、36而称呼用户32、34、36,即第一用户32、第二用户34和第三用户36。第二用户34建立一个或每个服务26以用于访问IoT数据14-17,并且为此目的而使用和/或建立至少一个应用程序24,借助该应用程序同样能够访问存储的IoT数据14-17。第三用户36为了访问存储的IoT数据14-17而使用一个服务26或多个可用的服务26中的一个服务26。
这种应用程序24或服务26例如在后端系统20上实施,并且在那里能以基本上已知的方式和方法来实现,例如借助于由相应的用户32、34、36使用的设备(带浏览器的计算机、智能电话等)实现。可替代地,这种应用程序24或服务26在相应的用户32-36使用的上述类型的设备上实施,并且相应的设备以基本上已知的方式和方法建立与后端系统20的数据连接且与后端系统20交换在用户32-36的操控的范畴中累积的数据。
目前,在IoT系统30中将IoT数据14-17分配给数据存储器22,例如在IoT数据14-17的相应年龄(数据年龄)的基础上分配。其前提在于,新的以及因此当前的IoT数据14-17通常比旧的IoT数据14-17更重要。因此,新的IoT数据14-17保存在更贵的快速数据存储器22中,并且在预定或者能预定的时间段结束之后转移到较慢的、更便宜的数据存储器22中。利用这种基于数据年龄的分配,例如将在访问更旧的IoT数据14-17时的高延迟问题以及快速数据存储器22的部分占用与实际不太重要的IoT数据14-17联系起来。因此,在基于行为的按照数据年龄的分配中,将上述静态配置的分配与活跃IoT数据14-17的自动识别组合起来。在此,长时间不活跃(未使用)的IoT数据14-17被自动转移到更便宜的数据存储器22中。然而与之相关的问题在于,在访问很少需要的IoT数据14-17时存在不可预见的延迟,并且没有为长期的数据存放问题提供解决方案。在基于行为的按照数据年龄的分配中,能够使用作为“缓存(Caching)”已知的数据处理方法。对此,经常和/或最近应用的IoT数据14-17存放在专门的快速存储区域中。因此,能够部分地避免访问下级的缓慢存储系统。然而,在使用缓存时通常的问题在于,所谓的缓存内存的大小有限、确保缓存和下级存储系统的一致性、以及在访问特定IoT数据14-17时不可预见的延迟,因为IoT数据在缓存中的存在性通常不能够得到保障。尤其在IoT环境中,缓存仅在有限程度上有用,因为缓存的使用不能由IoT系统30的所有应用者控制并且最多仅分出两种数据存储器。
当此处和下面谈到“贵”或“便宜”/“更便宜”的数据存储器22时,这不仅部分涉及其采购价格,而是更多地还涉及在运行中用于数据存储器22的使用成本。这样的成本部分按照租金类型计算。恰好,数据存储器22的速度被包括在针对使用要收取的费用的计算中。因此,在快速数据存储器22中使用存储器比在相对较慢的数据存储器22中使用存储器更贵。
在此提出的用于将IoT数据14-17分配给相应的数据存储器22的解决方案中,提出使用元数据40(图2)。据此,为每个IoT数据源(数据点)10-13补充元数据40,以用于将在相应的数据源10-13处产生的IoT数据14-17对应于相应的数据存储器22。
此外,通过元数据40确定,
-数据点10-13应当具有哪个计划延迟(低至高),
-对于数据点10-13来说,是否需要检索(是或否),以便在运行中支持基于IoT数据14-17的复杂请求,和/或
-哪个计划寿命应当适用于数据点10-13(短到长或者天数)。
此外,可选地还能够提出,通过元数据40来确定,哪个计划关键性应适用于数据点10-13(低至高)。在可能的情况下,根据所期望的访问可行性,可以定义另外的元数据40。元数据40-只要有用-按标度给出(例如1…100,其中,1例如意味着“最低可能延迟”)。
图2的视图中示例性示出了图1的数据源10-13之一。所示的数据源12是电机。电机的IoT数据16来自对应于电机的至少一个传感器(未示出)或者类似传感器。每个传感器都是电机的数据源/数据点12。在多个传感器的情况下,有多个数据点10-13属于电机。为了更易于解读下面的说明,该说明以用于电机的一个数据点12的实例来继续-不牺牲更广泛的普适性。多个用于电机的数据点12和普适的对应于每一个数据源10-13的多个数据点10-13被一起解读。
数据点10-13的元数据40的初始确定,结合数据采集的配置,即例如数据点10-13的确定和配置,由第一用户32实现。配置例如能够在相应的数据源10-13处实现。相应的数据点10-13得到的元数据40能够单独或与数据点10-13的IoT数据14-17一起发送给后端系统20。可替代地,数据点10-13的元数据40的配置也可以直接在后端系统20处进行。在这两种情况下,预先规定了相应的IoT数据14-17的未来管理,并且元数据40存储在后端系统20侧,且在那里可被用于评估和处理。
可选地,数据点10-13的元数据40的预先设置能够从现有领域知识中得到或者能够从重叠的工程系统中推导出。作为本领域知识,例如使用关于起到数据源10-13作用的机器或机器类型等的运行和数据属性的信息。例如,在电机的转速监视器中,转速测量值的采集频率必须比例如采集环境温度的温度传感器更高。由此得到不同的数据量,但是所需的延迟也不同。例如,为了能够快速识别电机转速的变化曲线,必须也能够快速地访问最近采集的较旧的测量值。因为通常环境温度仅缓慢地发生变化,所以允许较高的延迟以识别温度变化曲线的改变。
此外,数据点10-13的元数据40也能够在IoT系统30的运行期间通过第二用户34来规定和/或调配。这借助在后端系统20处或者通向后端系统的系统接口42实现。以该方式,例如能够在需要时减少在数据点10-13的元数据40中初始计划的延迟并且将其转为实际有效的延迟。同样,例如能够追溯提高在数据点10-13的元数据40中初始定义的寿命和/或能够追溯请求检索。这样的影响可行性可选以基本上已知的方式和方法来限制,并且随后嵌入到授权系统(Systematik)中。为了实现这种影响可行性,由第二用户34使用的应用程序24包括用于访问存储的IoT数据14-17和元数据40的至少一个接口44。数据点10-13的元数据40的调配例如通过调用接口功能,例如像“SetDatapointLatency(datapoint,newLatency)”的接口功能来实现,其中Datapoint表示数据点10-13而newLatency是通过调用接口功能给定的新延迟。下面简化地有时仅简单地谈及元数据40。元数据40总是与恰好一个数据点10-13关联。因此,在每次提到元数据40时始终理解为,涉及的是相应的恰好一个数据点10-13的元数据40。
为了高效地察觉这种影响可行性并且为了优化地调整元数据40,为第二用户34提供本领域知识。此外,例如在之后为了访问IoT数据14-17而使用的服务26的范畴中,第二用户34能够将关于各个数据点10-13的调整可行性或者数据点10-13的分类赋予第三用户36。该调整可行性经由提到的系统接口42,从应用程序24传递到后端系统20。这允许创建元数据40或者将其匹配于一个相应的数据点10-13或多个相应的数据点10-13。
后端系统20确定和设置用于,在对分别从数据源/数据点10-13得到的IoT数据14-17进行分配时,自动考虑元数据40。属于数据源10-13的能够是一个数据点10-13或者多个数据点10-13。通常,属于作为数据源10-13的一个传感器的是恰好一个数据点10-13,即在该处产生由相应的传感器提供的IoT数据14-17,例如温度数据的一个数据点10-13。通常,属于作为数据源10-13的一个工业机器人的是多个数据点10-13,即例如:数据点10-13,在该处产生代表工业机器人的当前配置的IoT数据14-17;数据点10-13,在该处产生代表工业机器人的状态报告等的和/或借助于工业机器人的工件加工的状态报告等的IoT数据14-17,等等。
来源于借助元数据40对应有低延迟要求的数据点10-13的IoT数据14-17,在后端系统20的区域中存放在快速数据存储器22中。简而言之,也可以说,借助元数据40使数据点10-13自身对应于或者会对应于这种快速数据存储器22。相应地,来源于借助元数据40对应有高延迟的数据点10-13的IoT数据14-17,存放在与快速数据存储器22相比更慢的数据存储器22中。相应地,在此可以表述为,借助元数据40使这种数据点10-13对应于或者会对应于更慢的数据存储器22。
IoT数据14-17或相应的数据点10-13与恰好一个数据存储器22的精确对应关系通过后端系统20实现。对此,后端系统20访问预定或者能预定的且在下面称为后端系统配置46的配置46。后端系统配置46按照查询列表的形式或类似形式为分别在元数据40中定义的延迟与至少一个数据存储器22的对应关系进行定义。因此,实现了元数据40与由后端系统20包括的或者能访问的存储系统和一个或每个所属数据存储器22的退耦。
如果各个数据存储器22具有大小限制,那么后端系统20就可选地自动使用在元数据40中定义的延迟,以便确定优先级。此时,根据优先级来决定,哪些IoT数据14-17存放在更快的数据存储器22中,哪些IoT数据14-17,为了保护更快的数据存储器22的资源,而存放在与之相比更慢的数据存储器22中。
借助元数据40被要求有检索的数据点10-13的IoT数据14-17由后端系统20自动地存放在适于该目的的数据存储器22中。此外,在需要时生成用于数据点10-13的IoT数据14-17的索引,以便之后能够实现更复杂的数据请求。
较旧的IoT数据14-17在相应的借助元数据40定义的寿命结束之后由后端系统20自动删除。
可选地,数据点10-13的IoT数据14-17能够根据在元数据40中定义的关键性而通过后端系统20被自动地以提高的故障安全性存储,即例如同时存放在多个数据存储器22中。在这一点上例如考虑,后端系统20将借助元数据40对应有高关键性的数据点10-13的IoT数据14-17自动地三倍冗余地存储在空间上分开的数据存储器22中。在元数据40中定义的关键性和故障安全性与相应的存储模式的相应对应关系和/或根据存储模式要使用的数据存储器22例如同样在后端系统配置46中被定义。这也使得在元数据40中采用的配置与由后端系统20包括或者能访问的存储系统和一个或每个所属数据存储器22退耦。
此外,可选地,数据点10-13的IoT数据14-17能够通过后端系统20根据元数据“老化”在达到老化数量之后被自动地转移到又更慢的数据存储器22中,以便优化运行成本。
通过后端系统20,将数据点10-13的IoT数据14-17根据其元数据40被自动存储在至少一个由后端系统包括的或者能访问的数据存储器22中,该自动存储能够可选地与基本上已知的用于数据行为自动识别的方法组合。由此,如果得出在元数据40中初始定义的延迟不合适或不匹配,那么能够改善实际有效的延迟。当例如借助元数据40为数据点10-13分配有高延迟而实际上其IoT数据14-17借助服务26被经常请求时,比初始定义的延迟更低的延迟是合理的。在超出预定义的行为阙值时,借助后端系统20调配初始定义的延迟。调配例如通过使用能调配的延迟值替代初始定义的延迟来实现。其利用初始定义的延迟初始化,并且在超出行为阙值时减小一个能配置的量。
图3和图4的视图以图形形式示出了上述各个方面以进一步阐述。图4的视图示出了,各个数据点10-13的以从左到右延伸的箭头形式表示的IoT数据14-17,根据相应的元数据40,进入后端系统20的各个数据存储器22中。在此,图4的视图示出了后端系统配置46的影响。在基本上可选地使用这种后端系统配置46时,元数据40不直接规定相应的数据存储器22。该具体规定在后端系统配置46中实现。在图4中示出的实例的情况下,元数据40包括定义延迟(“L=3”)的元数据。后端系统配置46以查询列表形式或类似形式包括延迟值或延迟值范围与数据存储器22的对应关系。图4的视图中,由后端系统20包括的数据存储器22以“A”、“B”和“C”而符号化标记。后端系统配置46,对于在元数据40中定义的延迟而言,包括与恰好一个数据存储器22的对应关系(“3=>B”)。因此,元数据40与后端系统配置46一起规定了,标有这些元数据40的数据点10-13的IoT数据14-17进入以“B”符号化标记的数据存储器22中。前述措施相应地适用于其它数据点10-13的元数据40。
上述方法的实施,即通过后端系统20并且在后端系统20的范围中,根据对应于数据点10-13的元数据40,将相应的数据点10-13的IoT数据14-17存储,借助后端系统20的控制单元48(图2)并且在其控制下实现。在此,涉及例如基本上已知的具有存储器和微处理器形式或类型的处理单元的计算机。在存储器中装载起到后端系统控制程序50(图2)作用的计算机程序50,其在后端系统20运行时被执行。后端系统控制程序50包括用于实现上述方法的计算机程序指令,即其用于实现根据元数据40在相应的至少一个数据存储器22中存储IoT数据14-17。
有利地,但不是必须的是,在此称为后端系统20的数据存储系统20在所谓的云端,并且相应地能够经由互联网访问。一个或每个由数据存储系统20使用的数据存储器22能够在本地属于数据存储系统20或者自身能够经由互联网被访问。
尽管通过实施例在细节上详细地阐述并描述了本发明,但本发明并不局限于所公开的实例,并且能够由本领域技术人员推导出其它变体方案,而不脱离本发明的保护范围。
因此,在此呈现的说明书的前述各个方面能够简要概括为:提供一种用于运行具有多个数据存储器22的数据存储系统20,其中,在该方法的范畴中,在相应的数据点10-13处产生的IoT数据14-17存储在至少一个数据存储器22中,其中,根据元数据40自动选择用于存储IoT数据14-17的至少一个数据存储器22,并且其中,元数据40对应于数据点10-13,还提供一种具有该方法的实现方案的计算机程序50,以及根据该方法工作的数据存储系统20。
Claims (8)
1.一种用于运行具有多个数据存储器(22)的数据存储系统(20)的方法,
其中,在所述方法的范畴中,在多个数据点(10-13)处产生的IoT数据(14-17)被存储在至少一个所述数据存储器(22)中,其中,为每个所述数据点(10-13)补充元数据(40),以用于将所述IoT数据(14-17)对应于相应的所述数据存储器(22),其中,所述元数据(40)包括用于表明在相应的所述数据点(10-13)产生的所述IoT数据(14-17)的延迟的至少一个元数据,其中,能调配的延迟值利用在所述元数据(40)中定义的所述延迟被初始化,其中,在访问数据点(10-13)的所述IoT数据(14-17)时,在数据行为识别的范畴中监视能配置的行为阙值的超出情况,并且其中,在超出所述行为阙值时,将能调配的所述延迟值减少一个能配置的量,
其中,根据相应的对应于所述数据点(10-13)的所述元数据(40)的所述能调配的延迟值来自动地选择用于存储所述IoT数据(14-17)的至少一个所述数据存储器(22)。
2.根据权利要求1所述的方法,其中,根据所述至少一个元数据以及所述数据存储系统(20)的配置(46)选择至少一个所述数据存储器(22),其中,所述配置(46)包括所述延迟或延迟范围与相应的至少一个所述数据存储器(22)的对应关系的定义。
3.根据权利要求1至2中任一项所述的方法,其中,数据点(10-13)的所述IoT数据(14-17)根据在所述元数据(40)中定义的关键性而自动地以提高的故障安全性被存储。
4.根据权利要求1至2中任一项所述的方法,其中,数据点(10-13)的所述IoT数据(14-17)在所述元数据(40)中定义的寿命结束之后被自动删除。
5.根据权利要求1至2中任一项所述的方法,其中,借助所述元数据(40)被要求有检索的数据点(10-13)的所述IoT数据(14-17)被自动地存放在对应的数据存储器(22)中。
6.根据权利要求1或2所述的方法,其中,在数据存储器(22)有大小限制的情况下,应用在所述元数据(40)中定义的所述延迟以用于确定优先级,并且其中,所述IoT数据(14-17)根据得出的所述优先级而被自动地存放在较快的数据存储器(22)中或者相较而言较慢的数据存储器(22)中。
7.一种具有能电子读取的控制信号的数字存储介质,所述控制信号能够与数据存储系统(20)的控制单元(48)共同作用,从而执行根据权利要求1至6中任一项所述的方法。
8.一种具有多个数据存储器(22)的数据存储系统(20),其中,包括存储器的控制单元(48)和计算机程序(50)用作为用于执行根据权利要求1至6中任一项所述的方法的构件,其中,在所述控制单元(48)的所述存储器中加载所述计算机程序(50),并且在运行所述数据存储系统(20)时通过所述控制单元(48)的处理单元执行所述计算机程序,以便执行权利要求1至6中任一项的所有步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17166208.3A EP3388954A1 (de) | 2017-04-12 | 2017-04-12 | Verfahren zum betrieb eines datenspeichersystems, computerprogramm zur implementierung des verfahrens sowie nach dem verfahren arbeitendes datenspeichersystem |
EP17166208.3 | 2017-04-12 | ||
PCT/EP2018/055919 WO2018188862A1 (de) | 2017-04-12 | 2018-03-09 | Verfahren zum betrieb eines datenspeichersystems, computerprogramm zur implementierung des verfahrens sowie nach dem verfahren arbeitendes datenspeichersystem |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110506261A CN110506261A (zh) | 2019-11-26 |
CN110506261B true CN110506261B (zh) | 2023-10-20 |
Family
ID=58578849
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880024803.7A Active CN110506261B (zh) | 2017-04-12 | 2018-03-09 | 用于运行数据存储系统的方法、用于执行该方法的计算机程序和根据该方法工作的数据存储系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11250057B2 (zh) |
EP (2) | EP3388954A1 (zh) |
CN (1) | CN110506261B (zh) |
WO (1) | WO2018188862A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11102064B2 (en) * | 2019-08-28 | 2021-08-24 | International Business Machines Corporation | Dynamically adapting an internet of things (IOT) device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101583952A (zh) * | 2007-01-10 | 2009-11-18 | 微软公司 | 集成企业搜索系统与自定义访问控制应用程序编程接口 |
US20130013561A1 (en) * | 2011-07-08 | 2013-01-10 | Microsoft Corporation | Efficient metadata storage |
US20170091277A1 (en) * | 2015-09-30 | 2017-03-30 | Sap Se | Analysing internet of things |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101544485B1 (ko) * | 2011-04-25 | 2015-08-17 | 주식회사 케이티 | 클라우드 스토리지 시스템에서 복수개의 복제본을 분산 저장하는 방법 및 장치 |
EP3067872B1 (en) * | 2012-09-12 | 2017-11-22 | Omron Corporation | Column traveling generating apparatus |
US9552288B2 (en) * | 2013-02-08 | 2017-01-24 | Seagate Technology Llc | Multi-tiered memory with different metadata levels |
US10037340B2 (en) * | 2014-01-21 | 2018-07-31 | Red Hat, Inc. | Tiered distributed storage policies |
US9602349B2 (en) * | 2014-08-18 | 2017-03-21 | Qualcomm Incorporated | Multi-device sensor subsystem joint optimization |
-
2017
- 2017-04-12 EP EP17166208.3A patent/EP3388954A1/de not_active Withdrawn
-
2018
- 2018-03-09 CN CN201880024803.7A patent/CN110506261B/zh active Active
- 2018-03-09 WO PCT/EP2018/055919 patent/WO2018188862A1/de active Search and Examination
- 2018-03-09 EP EP18714147.8A patent/EP3583520B1/de active Active
- 2018-03-09 US US16/603,751 patent/US11250057B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101583952A (zh) * | 2007-01-10 | 2009-11-18 | 微软公司 | 集成企业搜索系统与自定义访问控制应用程序编程接口 |
US20130013561A1 (en) * | 2011-07-08 | 2013-01-10 | Microsoft Corporation | Efficient metadata storage |
US20170091277A1 (en) * | 2015-09-30 | 2017-03-30 | Sap Se | Analysing internet of things |
Also Published As
Publication number | Publication date |
---|---|
EP3583520A1 (de) | 2019-12-25 |
WO2018188862A1 (de) | 2018-10-18 |
EP3583520C0 (de) | 2023-07-26 |
CN110506261A (zh) | 2019-11-26 |
EP3388954A1 (de) | 2018-10-17 |
EP3583520B1 (de) | 2023-07-26 |
US11250057B2 (en) | 2022-02-15 |
US20200117384A1 (en) | 2020-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11086725B2 (en) | Orchestration of heterogeneous multi-role applications | |
US20190220266A1 (en) | Upgrading Bundled Applications In A Distributed Computing System | |
US20190213085A1 (en) | Implementing Fault Domain And Latency Requirements In A Virtualized Distributed Storage System | |
US20190213080A1 (en) | Implementing Clone Snapshots In A Distributed Storage System | |
US20120173831A1 (en) | Data aware storage system operations | |
WO2014181475A1 (ja) | 複数バージョンのデータを格納するデータベースサーバ、及び、データベース管理方法 | |
EP2146280A2 (en) | Resource migration system and resource migration method | |
JP2010146067A (ja) | データ処理プログラム、サーバ装置およびデータ処理方法 | |
CN102289409B (zh) | 分层可伸缩的存储器分配器 | |
JP2005115438A (ja) | データ管理装置 | |
US11500755B1 (en) | Database performance degradation detection and prevention | |
US20220171817A1 (en) | System and method for in-place record content management | |
CN114286988A (zh) | 处理数据库系统的数据 | |
KR101621385B1 (ko) | 클라우드 스토리지 서비스의 파일 검색 시스템 및 방법, 및 파일 제어 방법 | |
CN105468660A (zh) | 分布式文件系统的读方法、客户端设备及分布式文件系统 | |
CN110506261B (zh) | 用于运行数据存储系统的方法、用于执行该方法的计算机程序和根据该方法工作的数据存储系统 | |
US10162597B1 (en) | Identifying IO access pattern in unique database structures | |
US10394820B2 (en) | Constructing and querying a bloom filter to detect the absence of data from one or more endpoints | |
US10360085B1 (en) | Method and apparatus for identifying process use on storage array resources | |
CN113157600A (zh) | 一种叠瓦式硬盘的空间分配方法、文件存储系统及服务器 | |
CN110659296B (zh) | 存储方法、装置、设备以及计算机可读介质 | |
CN105094688A (zh) | 存储系统中的去重 | |
JPWO2013118270A1 (ja) | 計算機システム、データ管理方法及びプログラム | |
US11748203B2 (en) | Multi-role application orchestration in a distributed storage system | |
US11030010B2 (en) | Processing storage management request based on current and threshold processor load using request information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |