CN111566634B - 存储关联引擎 - Google Patents

存储关联引擎 Download PDF

Info

Publication number
CN111566634B
CN111566634B CN201880077405.1A CN201880077405A CN111566634B CN 111566634 B CN111566634 B CN 111566634B CN 201880077405 A CN201880077405 A CN 201880077405A CN 111566634 B CN111566634 B CN 111566634B
Authority
CN
China
Prior art keywords
data
storage location
parsed
processor
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880077405.1A
Other languages
English (en)
Other versions
CN111566634A (zh
Inventor
A·M·阿普特
A·S·东哲
P·阿加瓦尔
S·达拉姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JPMorgan Chase Bank NA
Original Assignee
JPMorgan Chase Bank NA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JPMorgan Chase Bank NA filed Critical JPMorgan Chase Bank NA
Publication of CN111566634A publication Critical patent/CN111566634A/zh
Application granted granted Critical
Publication of CN111566634B publication Critical patent/CN111566634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/215Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2379Updates performed during online database operations; commit processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/252Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本文公开了一种方法和系统,该方法和系统用于:将来自不同的数据源组的数据相关联,并且经由API以及对数据的直接传输来将关联后的数据提供给数据消费者。一旦数据的有效性被验证,就将数据从数据源专用的格式转换为其他各种数据存储库可用的格式。此后,可以将该数据提供给数据消费者。

Description

存储关联引擎
相关申请
本申请要求于2017年10月19日提交的美国非临时专利申请No.15/787,773的优先权和任何权益,其全部内容通过引用合并于此。
技术领域
本发明总体上涉及用于确保从多个源流入多个存储库或直接流向数据消费者的数据代表了该数据的最新近和准确的实例的方法和系统。
背景技术
企业和其他此类机构产生并接收大量数据。该数据可以表示在企业的日常运营期间生成的数据、与企业运营所处的环境有关的数据、企业绩效数据、客户数据、雇员数据以及与企业资产有关的数据。该数据可能实质上是相对静态的,也可能连续变化。连续变化的数据可能会立即产生与确定特定数据实例是否准确或最新相关的问题。甚至相对静态的数据也可能由于数据的多个副本而出现问题。除了与特定数据集的新近程度有关的问题外,组织具有多个分布式数据源的事实还可能导致相关数据分散在多个存储位置的情况。例如,有形资产可能具有存储在一个位置的经营记录以及存储在另一位置的财务记录。因此,除非存在将多个(通常是多种)数据平台上的组织数据关联起来的途径,否则很可能将不完整或非新近的数据用在决策过程中。例如,应用程序可以从一个数据源或存储位置提取数据,以便生成各种性能和状态报告。这些报告可以呈现给管理人员,以允许这些人员代表企业做出决策。在所提取的数据与来自其他源的相似数据发生冲突或在新近程度上不及来自其他源的相似数据的情况下,生成的报告以及由此依赖于那些报告做出的决策,可能不如将所提取的数据在各数据源之间进行关联的情况下所得到的更佳。此外,在提供给决策者的信息中,可能会无意中遗漏来自分散的存储位置的数据。至少由于上述原因,企业经常保留的大量数据变得很难或不可能使用手动过程来管理,因此需要一种自动关联过程。因此,需要一种用于使整个组织中的各种存储库中所保存的数据相关联的自动化方法和系统。
发明内容
总体发明构思包括用于将整个组织中存储在多个数据存储库中的数据相关联的方法和系统。
在示例性实施例中,一种在各存储位置和数据源之间关联数据的方法包括将数据提供给关联引擎。该关联引擎从这些存储位置和数据源中的每一个提取数据,并分析每条数据,以确定接收到的数据相对于整个组织中存储的数据的其他副本是否为最新近的。
在一些示例性实施例中,使用收集脚本来执行数据的提取。
在一些示例性实施例中,关联引擎从存储位置提取数据,并将提取出的数据与从相同存储位置提取的该数据的其他副本进行比较。
在本发明的一些示例性实施例中,关联引擎从存储位置提取数据,并将提取出的数据与早于提取出的数据创建的该数据的其他副本进行比较。
在示例性实施例中,一种用于在各种存储位置和数据源之间关联数据的系统。该系统包括多个数据源、多个存储位置和一个关联引擎。该关联引擎从这些存储位置和数据源中的每一个接收数据,并分析每条数据,以确定接收到的数据相对于整个组织中存储的该数据的其他副本是否为最新近的。以这种方式,可以确保数据与整个组织中的数据适当地关联、对应或以其他方式相关。
在本发明的示例性实施例中,通过用于检索数据的数据收集脚本从数据源提取数据。除了数据本身之外,还可以确定或以其他方式获得关于交换机、端口、区域和配置等的附加信息。该附加信息通常不会被从提取数据的数据源中提取出来。但是,与基础设施数据有关的该附加信息可用于确定各种数据源之间的关系,以实现跨分布式计算架构的数据关联。检查检索到的数据的有效性,包括:检查来确定是否存在被报告的提取错误;对照先前提取的数据大小对数据大小进行检查,以确定数据集是否包括期望数量的元素(例如,匹配);以及解析提取出的数据,以便将各种解析出的元素与来自先前提取的类似地解析出的元素进行比较。在示例性实施例中,如果发现提取出的数据无效,则保留先前存储的数据,而将检索到的数据作为无效数据丢弃。相反,如果发现提取出的数据有效,则对该数据执行数据转换操作,以使其准备与其他数据源关联以及最终被使用。例如,在一些示例性实施例中,对数据进行解析和重新格式化,使其变得就其原始存储格式而言为不可知论的。在其他示例性实施例中,该数据可以接受各种翻译功能。在其他示例性实施例中,可以将该数据解析为不同的布置形式,例如,解析为列格式。例如,在解析和验证之后,将来自多个源的数据相关联并插入标准化的数据模型中,使得从不同供应商检索到的数据以一致且与供应商无关的方式存储。可以通过应用程序接口(API)提取该数据。除了API之外,将标准化数据插入到数据湖中,以供整个组织中跨不同平台的各种组使用。将数据提供至数据湖允许安全存储之外的用户获得性能数据。示例性能数据可以包括但不限于IOPS、响应时间或延迟、吞吐量或MBPS(读取和写入)。在一些示例性实施例中,将被发现为有效的提取出的数据重新格式化,使其格式与第一存储位置、第二存储位置和第三存储位置中的每一个可兼容。
在数据提取、数据大小检查、数据有效性检查和数据转换完成后,将所得数据提供给关联数据库以供处理和存储。关联数据库还包括表格,前一天的数据被移到该表格中。在一些示例性实施例中,将前几天的数据存储回滚(rolling)时间段(例如,六个月),以提供历史信息的源。
一旦将数据存储在关联数据库中,该数据对于各种使用点就为可用的。在一些示例性实施例中,这些使用点可以包括数据湖、各种程序(例如,效率程序)、数据迁移和刷新功能以及操作组(例如,计费和容量管理)。在一些示例性实施例中,通过提供一个或多个应用程序接口(API)来使得共享数据可访问,以促进对存储在关联数据库中的数据的访问。在一些示例性实施例中,通过提供微服务架构接口来使得共享数据可访问。
在一些示例性实施例中,将来自关联数据库的数据提供给专用存储(例如,数据湖)以供整个组织使用,而无需要求信息的消费者直接从关联引擎检索数据。在其他示例性实施例中,可以将数据直接提供给各种应用以供使用。这些访问关联后的数据的方法确保了数据消费者可以继续以他们习惯的方式访问信息,同时接收由数据关联引擎处理过的数据的好处。
在其他示例性实施例中,可以使用包括处理器和存储器的系统来执行本文描述的方法步骤和功能,该存储器还包括指令,所述指令在由处理器执行时,将导致上述方法步骤和功能的执行。
以下描述和附图以示例方式示出了总体发明构思的原理,从这些描述和附图中,以上和其他方面以及总体发明构思的优点将变得更加显而易见。
附图说明
总体发明构思的这些特征和其他特征将通过参考以下描述和附图而变得更好理解,其中:
图1是示出根据示例性实施例的与存储关联引擎通信的各种数据源和存储库的示图,该存储关联引擎与各种数据消费者通信;
图2是根据示例性实施例的关联引擎的示图;
图3A至图3C是示出根据示例性实施例的从各种数据源到关联引擎的数据流的示图;
图4是根据示例性实施例的基础设施数据的示图;
图5是根据示例性实施例的用于验证数据的步骤的流程图;以及
图6是示出根据示例性实施例的从存储关联引擎到各种数据使用点的数据流的示图。
具体实施方式
组织(企业、慈善机构、医院、学校等)通常具有必须由该组织维护的大量数据。该数据可以是从组织外部的源接收到的数据,也可以是由组织本身的运营产生的数据。例如,可以从政府机构、客户或商业数据提供者获得外部信息。内部数据可以是由于正常业务运营而生成的数据,也可以是分析业务运营数据、外部数据或两者的结合而得出的数据。因为内部和外部数据都可能连续变化,并分布在整个组织中以供存储和使用,所以整个组织中某些数据实例很可能与其他实例不一致。相关数据片段也可能分布在整个组织中。这两种情况在大型去中心化企业(例如银行)中可能更为普遍。取决于各种数据实例之间的差异的大小和数据的性质,这些差异可能会导致严重的混乱和不佳的业务决策。
总体发明构思包括数据关联引擎,该数据关联引擎从整个组织中的各存储位置和数据源提取数据,并使该数据在各种源之间关联。所得的关联后数据可以存储在作为关联引擎的一部分的存储关联数据库中。可选地,存储关联数据库可以位于关联引擎之外。在某些情况下,根本不使用存储关联数据库。
图1示出了根据示例性实施例的用于关联数据的系统100。系统100包括关联引擎104、数据源102和数据消费者112。关联引擎104接收到的数据150可以采取数据消费者不能以其接收到的格式使用的格式。举例来说,此类格式可以包括但不限于LUN#、区域名称和全球号码(WWN)。这些格式要求先映射到主机,然后再映射到业务线和应用名称。关联引擎104用作将存储供应商工具数据与通过组织可用的数据富集功能所富集的数据进行合并的源。例如,主机从三个数据存储帧(data storage frame)接收存储数据。示例主机具有连接到两个交换机(来自奇数据构造(fabric)和偶数据构造)的两个主机总线适配器(HBA)。因此,主机被分区、映射和掩码至三个存储帧。此外,每个帧都有其自己的性能值。接收到的存储数据150需要与业务线(LoB)应用级别绑定。为了理解此示例中分配给该主机的存储和主机性能,必须合并来自所有三个帧的数据。
在一些示例性实施例中,在存储供应商工具提供的数据与组织对此类数据的使用之间配置有由关联引擎104形成的抽象层。在示例性实施例中,每个数据源102可以来自不同的供应商平台。抽象层用以将从各种源102收集的数据150转换为标准化的、供应商无关的格式。这种标准化的、供应商无关的数据格式用以简化对数据执行的后续操作。结果是数据消费者112不必担心数据的源或数据格式。
在许多组织中,工程资源利用数据使用信息来识别基础设施需求。该数据使用信息是从通常受工程资源控制的硬件或软件数据仪表系统生成的。在某些示例性实施例中,这些仪表系统被定位,使其从关联引擎104接收数据。除了这些数据仪表系统之外,数据存储提供者还可以提供报告工具,该报告工具使得用户能够获得与所存储的数据有关的使用以及其他数据。但是,在利用多个存储提供者的组织中,希望获得报告信息的用户可能必须查阅多个不同的工具和数据源,然后尝试合并结果。在一些示例性实施例中,系统100包括将数据120从关联引擎数据库116提供给数据消费者112的自动数据馈送114。因为这些自动数据馈送114将关联后的数据120直接提供给数据消费者112,所以它们提供了常青数据源(evergreen data source),该常青数据源避免了由过时或被取代的数据引起的问题。
在一些示例性实施例中,从这些多个存储提供者102提取的数据118变得可通过应用程序接口(API)或微服务功能来使用。这些数据接口和对数据源102的合并使得有效管理整个组织中大量存储的信息的分布成为可能。
除了API和微服务功能之外,在一些示例性实施例中,关联后的数据120被直接发送到由组织维护的数据湖110。这种直接提供数据用以使数据湖110中的可用数据保持尽可能的新近和准确,同时减少管理该过程所需的行政资源的介入量。在一些示例性实施例中,提供了一个或多个用户界面,其允许用户直接输入数据,从而消除了对某些数据存储库的需要。这样的用户界面可以允许用户输入富集数据。
因为数据118被路由通过关联引擎104,所以与数据集群、分配、虚拟机和其他构造有关的信息可被关联引擎所使用。因此,在一些示例性实施例中,除了使各种数据相关联并分发关联后的数据之外,系统100还可被配置为计算数据存储消费并使存储服务的计费过程完全自动化。
如上所述,关联引擎104与多个数据源102通信。这些数据源102可以是特定的数据存储库106。数据源102可以是运营数据108。数据源102可以是数据湖110。这样的数据源102本质上为静态和动态兼具。例如,静态数据存储库106包括即使改变、也是不经常改变的数据项,例如资产记录和各种历史记录。动态数据源106包括即使不频繁改变、也最终会改变的数据项。示例包括但不限于业务绩效数据、客户或顾客数据、应收账款、应付账款以及本质上不是静态的其他类型的数据。这些各种源之间可能存在数据冗余。除了这种冗余之外,存储在各种位置的实际数据值可能在一个位置与另一个位置之间有所不同。由于这些差异,利用数据的个人或组织(即,数据消费者112)可能不知道哪个数据源反映了最新的信息。为了解决由不一致或过时的数据引起的潜在问题,将从特定数据存储库106提取的数据118提供给存储关联引擎104。存储关联引擎104处理该接收到的数据118,以使其在各种特定数据存储库106.1-106.6之间进行关联。如112所示,存储关联引擎104使关联后的数据120可用于各种数据消费者(可以在组织内部或外部)。
图2示出了根据示例性实施例的关联引擎200。关联引擎200包括与存储器204电子通信的处理器202。该存储器包括配置处理器以执行本文描述的步骤的软件指令。另外,该存储器可以包括全部所述数据、不包括所述数据、或包括部分所述数据。其他示例性实施例可以包括多个处理器和存储器位置。在一些示例性实施例中,系统200还包括与各种特定数据存储库106和各种消费者112通信的接口206。
图3A至图3C示出了根据示例性实施例的从各种不同数据源106.1-106.6流向关联引擎104的数据流120。数据源102包括多个特定数据存储库106.1-106.6,每个具有用于从数据存储库106.1-106.6提取数据的对应方式302。在某些示例性实施例中,这些方式包括数据收集脚本和解析后的报告方法。在一些示例性实施例中,当从多个数据源102提取数据118时,获得与提取的数据118相关的附加信息304。如图4所示,利用数据构造存储,这样的附加信息304可以包括用于每个构造404的交换机(switch)402的列表。另外,为每个交换机402收集构造数据406。这样的构造数据406包括例如:构造登录(flogi)数据408;构造通道名称服务器(FCNS)数据410;接口数据412;以及区域集数据414。附加信息的其他示例可以包括某些存储位置305的性能指标。
一旦初始数据提取500(包括根据需要获得附加信息)完成,就进行有效性检查306。在此示例性实施例中,有效性检查包括三个单独的检查。图5示出了根据示例性实施例的进行有效性检查的步骤。第一有效性检查502假定从元素管理器获得的数据是准确的,并且参考系统也是准确的。作为这些假设的结果,在数据收集期间报告的故障将导致收集错误的指示。所报告的收集错误因此导致将针对该数据收集(运行)实例的整个数据集丢弃504。例如,如果数据构造中的交换机在数据收集期间报告了错误,则该构造的整个运行将被视为无效。如果检测到此类错误,则数据关联引擎会将最新成功的数据运行视为最准确的数据。检测到的错误将被记录并生成警报。
第二有效性检查506涉及数据解析。在数据解析中,对从数据构造收集的不同类型的数据集进行解析,然后进行关联以检测错误。例如,如表1所示,从第一接口收集flogi数据。该数据包括端口名称。在第二有效性检查506中,如表2所示,对该数据进行解析并将其与FCNS数据进行比较。如图所示,来自接口fc3/1的flogi数据中的端口名称与在FCNS数据中找到的端口名称匹配。在FCNS数据中找到与端口名称匹配的数据,这确认了主机总线适配器已联机且处于活动状态。可以执行其他解析检查,以通过比较来自第一源的解析数据以确保其与可从第二源获得的解析数据匹配来确认数据。如果比较结果是不匹配,则检索到的数据值中的至少一个不一致,因此使该第二质量检查506失败。如果检测到这样的错误,则丢弃504整个构造数据,并生成警报。
Figure BDA0002515234130000091
表1
Figure BDA0002515234130000092
表2
如图3A至图3C所示,在执行了数据操纵过程310之后,执行第三有效性检查312。在该第三有效性检查312中,将当前检索到的数据的记录数量(数据大小)与预定的期望数据大小进行比较。该期望数据大小是通过检查历史数据大小值来确定的,并允许存在微小差异。如果发现数据大小有效,则将数据吸收314到存储关联引擎数据库中,然后将前一天的数据移动到“前一天”表中,在某些示例性实施例中,该数据将在该“前一天”表中保存一段时间(例如,最多六个月)以提供历史记录。如果有效性检查的结果是确定无效数据,则保留先前数据308,并将无效数据丢弃504。在这种情况下,生成警报,以提示调查无效数据的原因。以这种方式,不完整或错误的提取将不会导致存储数据的损坏。这防止了损坏或无效数据进入由存储关联引擎104维护的数据库。一旦发现数据是有效的,就执行数据操纵过程310以将特定数据转换成与供应商无关的格式。这些数据操纵过程310可以根据从特定数据存储库106.1-106.6接收到的数据的类型而变化。
图6示出了根据示例性实施例的从存储关联引擎104流向各种消费或存储点的数据流120。例如,可以存在多个数据消费者602,包括但不限于数据湖604、各种组织程序606、数据迁移和刷新团队608以及计费组610。在所示的示例中,从关联数据库612检索数据,并将其提供给存储关联引擎API 614。然后,可以由多个消费者(例如,设备和系统)访问该API614,以允许消费者602直接提取关联后的数据。因此,关联引擎可以被配置,使其运行对于数据消费者是透明的。
尽管已经通过描述本发明和相关发明构思的各种实施例,示出了本发明和相关发明构思,并且尽管这些实施例已经得到了相当详细的描述,但是申请人无意将所附权利要求的范围约束或以任何方式限制至如此详细。其他优点和修改对于本领域技术人员将是显而易见的。而且,在某些情况下,一个实施例描述的元素可以容易地适应于与其他实施例一起使用。因此,本发明在其更广泛的方面不限于所示出和描述的具体细节、代表性装置以及说明性示例。相应地,可以在不脱离总体发明构思的精神或范围的情况下偏离这些细节。

Claims (20)

1.一种用于将存储在多个存储位置的数据相关联的方法,所述方法包括:
从第一存储位置提取表示信息项的第一数据;
从第二存储位置提取表示所述信息项的第二数据;以及
使用所述第一数据和所述第二数据来评估所述第二数据的有效性,包括确认所述第二数据的数据大小与所述第一数据的数据大小是否相同,
其中,在确定所述第二数据无效时:
保留所述第一数据;以及
丢弃所述第二数据;以及
其中,在确定所述第二数据有效时:
将所述第二数据转换为具有标准化数据格式的第三数据;以及
将所述第三数据存储为新数据,以及
其中,确认所述第二数据的数据大小与所述第一数据的数据大小相同,包括:
接收所述第二数据中参考对象的计数;
通过确定所述第一数据中参考对象的数量来计算参考对象的期望数量;以及
将接收到的计数与计算出的数量进行比较,并确定所述接收到的计数与所述计算出的数量之间的差异。
2.根据权利要求1所述的方法,其中,使用所述第一数据和所述第二数据来评估所述第二数据的有效性包括:
确认在从所述第二存储位置提取所述第二数据的过程中没有被报告的错误。
3.根据权利要求1所述的方法,其中,使用所述第一数据和所述第二数据来评估所述第二数据的有效性还包括:
解析所述第一数据以获得对应于一个或多个解析类别的第一解析数据;
解析所述第二数据以获得对应于所述一个或多个解析类别的第二解析数据;以及
比较所述第一解析数据和所述第二解析数据。
4.根据权利要求1所述的方法,还包括:
提供允许直接访问所述第三数据的接口。
5.根据权利要求1所述的方法,还包括,如果确定所述第二数据有效:将所述第二数据记录为历史数据。
6.根据权利要求1所述的方法,还包括:接收与所述第一存储位置有关的信息,其中,所述信息包括:
端口标识数据;
分区数据;以及
存储位置配置数据,以及
其中,与所述第一存储位置有关的信息存储在所述第一存储位置之外。
7.根据权利要求1所述的方法,还包括:接收与所述第一存储位置有关的信息,其中,所述信息包括:
构造登录数据;
构造通道名称服务器数据;
接口数据;以及
区集数据。
8.根据权利要求1所述的方法,还包括:将所述第三数据存储在第三存储位置。
9.根据权利要求8所述的方法,其中,将所述第三数据存储在所述第三存储位置进一步包括:
将先前存储的表示所述信息项的数据值从所述第三存储位置移动到前一天的存储表中;以及
将所述第三数据存储到所述第三存储位置中的数据存储位置。
10.一种用于将来自多个数据源的数据相关联的系统,所述系统包括:
处理器;
硬件数据接口;
关联引擎数据库;
存储器;
其中,所述处理器与所述硬件数据接口、所述关联引擎数据库和所述存储器进行电子通信;
所述存储器包括在由所述处理器执行时使所述处理器执行以下的软件指令:
使用所述硬件数据接口从第一存储位置提取表示信息项的第一数据;
使用所述硬件数据接口从第二存储位置提取表示所述信息项的第二数据;
使用所述硬件数据接口接收与所述第二数据有关的信息,所述信息包括:
文件记录数量;
数据源端口数据;
代表所述第二数据中参考对象的计数的值;
使用所述第一数据评估所述第二数据的有效性,包括确认所述第二数据的数据大小与所述第一数据的数据大小是否相同;
其中,在确定所述第二数据无效时:
保留所述第一数据;以及
丢弃所述第二数据;以及
其中,在确定所述第二数据有效时:
将所述第二数据转换为具有标准化数据格式的第三数据;以及
使用所述硬件数据接口将所述第三数据存储为新数据,以及
其中,确认所述第二数据的数据大小与所述第一数据的数据大小相同,包括:
接收所述第二数据中参考对象的计数;
通过确定所述第一数据中参考对象的数量来计算参考对象的期望数量;以及
将接收到的计数与计算出的数量进行比较,并确定所述接收到的计数与所述计算出的数量之间的差异。
11.根据权利要求10所述的系统,其中,使用所述第一数据和所述第二数据评估所述第二数据的有效性包括:
确认在从所述第二存储位置提取所述第二数据的过程中没有被报告的错误。
12.根据权利要求10所述的系统,其中,使用所述第一数据和所述第二数据评估所述第二数据的有效性还包括:
解析所述第一数据以获得对应于一个或多个解析类别的第一解析数据;
解析所述第二数据以获得对应于所述一个或多个解析类别的第二解析数据;以及
比较所述第一解析数据和所述第二解析数据。
13.根据权利要求10所述的系统,其中,将所述第三数据存储在第三存储位置。
14.根据权利要求13所述的系统,其中,通过以下将所述第三数据存储在所述第三存储位置:
将先前存储的表示所述信息项的数据值从所述第三存储位置移动到前一天的存储表中;以及
将所述第三数据存储到所述第三存储位置中的数据存储位置。
15.根据权利要求10所述的系统,还包括在由所述处理器执行时使所述处理器执行以下的软件指令:
提供允许直接访问所述第三数据的接口。
16.根据权利要求10所述的系统,其中,
所述软件指令包括指令,所述指令在由所述处理器执行时,使所述处理器接收与所述第一存储位置有关的信息,所述信息包括:
端口标识数据;
分区数据;以及
存储位置配置数据,以及
其中,与所述第一存储位置有关的信息存储在所述第一存储位置之外。
17.根据权利要求10所述的系统,其中,所述软件指令包括指令,所述指令在由所述处理器执行时,使所述处理器接收与所述第一存储位置有关的信息,所述信息包括:
构造登录数据;
构造通道名称服务器数据;
接口数据;以及
区集数据。
18.一种非暂时性计算机可读介质,被配置为存储用于将存储在多个存储位置的数据相关联的指令,其中,所述指令在被执行时,使处理器执行以下:
从第一存储位置提取表示信息项的第一数据;
从第二存储位置提取表示所述信息项的第二数据;以及
使用所述第一数据和所述第二数据来评估所述第二数据的有效性,包括确认所述第二数据的数据大小与所述第一数据的数据大小是否相同,
其中,在确定所述第二数据无效时,所述指令在被执行时,使所述处理器进一步执行以下:
保留所述第一数据;以及
丢弃所述第二数据;以及
其中,在确定所述第二数据有效时,所述指令在被执行时,使所述处理器进一步执行以下:
将所述第二数据转换为具有标准化数据格式的第三数据;以及
将所述第三数据作为新数据存储在第三存储位置;以及
提供允许直接访问所述第三数据的接口,以及
其中,确认所述第二数据的数据大小与所述第一数据的数据大小相同,包括:
接收所述第二数据中参考对象的计数;
通过确定所述第一数据中参考对象的数量来计算参考对象的期望数量;以及
将接收到的计数与计算出的数量进行比较,并确定所述接收到的计数与所述计算出的数量之间的差异。
19.根据权利要求18所述的非暂时性计算机可读介质,其中,将所述第三数据存储在所述第三存储位置进一步包括:
将先前存储的表示所述信息项的数据值从所述第三存储位置移动到前一天的存储表中;以及
将所述第三数据存储到所述第三存储位置中的数据存储位置。
20.根据权利要求18所述的非暂时性计算机可读介质,其中,使用所述第一数据和所述第二数据评估所述第二数据的有效性进一步包括:
解析所述第一数据以获得对应于一个或多个解析类别的第一解析数据;
解析所述第二数据以获得对应于所述一个或多个解析类别的第二解析数据;以及
比较所述第一解析数据和所述第二解析数据。
CN201880077405.1A 2017-10-19 2018-10-16 存储关联引擎 Active CN111566634B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/787,773 US10606828B2 (en) 2017-10-19 2017-10-19 Storage correlation engine
US15/787,773 2017-10-19
PCT/US2018/055974 WO2019079224A1 (en) 2017-10-19 2018-10-16 STORAGE CORRELATION ENGINE

Publications (2)

Publication Number Publication Date
CN111566634A CN111566634A (zh) 2020-08-21
CN111566634B true CN111566634B (zh) 2021-10-15

Family

ID=66173469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880077405.1A Active CN111566634B (zh) 2017-10-19 2018-10-16 存储关联引擎

Country Status (5)

Country Link
US (1) US10606828B2 (zh)
CN (1) CN111566634B (zh)
GB (1) GB2581679B (zh)
SG (1) SG11202003519SA (zh)
WO (1) WO2019079224A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104756106A (zh) * 2012-10-22 2015-07-01 起元科技有限公司 表征数据存储系统中的数据源
CN106407233A (zh) * 2015-08-03 2017-02-15 阿里巴巴集团控股有限公司 一种数据处理方法和设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3715690B2 (ja) * 1995-08-02 2005-11-09 キヤノン株式会社 マルチメディアデータファイリングシステム
AUPQ486599A0 (en) 1999-12-23 2000-02-03 Zentronix Pty Ltd A method of storing and retrieving miniaturised data
US7738014B2 (en) * 2002-12-05 2010-06-15 Atlab Inc. Image sensor and optical pointing system
KR100687336B1 (ko) * 2003-03-25 2007-02-27 비오이 하이디스 테크놀로지 주식회사 액정구동장치 및 그 구동방법
KR100851445B1 (ko) * 2004-05-17 2008-08-08 가부시키가이샤 세가 응용 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체, 서버 및 정보 시스템
JP2006350599A (ja) * 2005-06-15 2006-12-28 Hitachi Ltd ストレージシステム及びストレージシステムのデータマイグレーション方法
US7840595B1 (en) * 2008-06-20 2010-11-23 Emc Corporation Techniques for determining an implemented data protection policy
JP5259286B2 (ja) * 2008-07-16 2013-08-07 株式会社日立製作所 3次元物体認識システム及びそれを用いた棚卸システム
JP5276943B2 (ja) * 2008-09-29 2013-08-28 株式会社日立製作所 表示装置
US9002792B2 (en) 2012-11-19 2015-04-07 Compellent Technologies Confirming data consistency in a data storage environment
US10204123B2 (en) 2013-01-25 2019-02-12 Datawerks Holding Gmbh Method for accessing and automatically correlating data from a plurality of external data sources

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104756106A (zh) * 2012-10-22 2015-07-01 起元科技有限公司 表征数据存储系统中的数据源
CN106407233A (zh) * 2015-08-03 2017-02-15 阿里巴巴集团控股有限公司 一种数据处理方法和设备

Also Published As

Publication number Publication date
GB2581679B (en) 2022-02-09
US10606828B2 (en) 2020-03-31
WO2019079224A1 (en) 2019-04-25
SG11202003519SA (en) 2020-05-28
GB202006215D0 (en) 2020-06-10
GB2581679A (en) 2020-08-26
CN111566634A (zh) 2020-08-21
US20190272338A1 (en) 2019-09-05

Similar Documents

Publication Publication Date Title
US11269859B1 (en) Correlating different types of data of a distributed ledger system
US8626702B2 (en) Method and system for validation of data extraction
US11507562B1 (en) Associating data from different nodes of a distributed ledger system
US10210190B1 (en) Roll back of scaled-out data
CN108647357B (zh) 数据查询的方法及装置
US10657530B2 (en) Automated transactions clearing system and method
US9053112B2 (en) Automated data validation
US10528534B2 (en) Method and system for deduplicating data
CN112860777B (zh) 数据处理方法、装置及设备
US11914574B2 (en) Generation of inconsistent testing data
US20180374047A1 (en) Computing framework for compliance report generation
CN112651826A (zh) 授信额度管控系统、方法及可读存储介质
US20240211630A1 (en) Data privacy management
CN110928893A (zh) 一种标签查询方法、装置、设备和存储介质
CN113010208B (zh) 一种版本信息的生成方法、装置、设备及存储介质
US11816112B1 (en) Systems and methods for automated process discovery
CN104123104B (zh) 日志控制系统及方法
US20150154606A1 (en) System, method, and software for enterprise-wide complaint aggregation
CN111566634B (zh) 存储关联引擎
CN115879980A (zh) 一种客群圈选与对比分析的方法及装置
US20130318088A1 (en) Management of Class of Service
CN114186570A (zh) 集成读卡器设备运维方法、装置、计算机设备和存储介质
CN112346938B (zh) 操作审计方法、装置及服务器和计算机可读存储介质
US20070226085A1 (en) System and method for automated mapping of data in a multi-valued data structure
US20200201829A1 (en) Systems and methods for compiling a database

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40026042

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant