CN110678855A - 数据复制装置以及数据复制程序 - Google Patents

数据复制装置以及数据复制程序 Download PDF

Info

Publication number
CN110678855A
CN110678855A CN201780091128.5A CN201780091128A CN110678855A CN 110678855 A CN110678855 A CN 110678855A CN 201780091128 A CN201780091128 A CN 201780091128A CN 110678855 A CN110678855 A CN 110678855A
Authority
CN
China
Prior art keywords
data
range
copy
node
replication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780091128.5A
Other languages
English (en)
Other versions
CN110678855B (zh
Inventor
高桥加寿子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Corp
Original Assignee
Mitsubishi Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Corp filed Critical Mitsubishi Corp
Publication of CN110678855A publication Critical patent/CN110678855A/zh
Application granted granted Critical
Publication of CN110678855B publication Critical patent/CN110678855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

数据复制装置(200)使用数据处理图解来决定复制范围。数据处理图解示出相对于复制源系统(110)中包含的复制源程序的输入输出数据的信息。复制范围是从复制源系统复制到复制目的地系统(120)的数据的范围。数据复制装置从复制源系统取得与复制范围对应的复制数据。数据复制装置将复制数据登记到复制目的地系统。

Description

数据复制装置以及数据复制程序
技术领域
本发明涉及在系统之间复制数据的技术。
背景技术
随着IoT(Internet of Things：物联网)的普及，制作预测模型的模型制作系统预计将会增加。模型制作系统从设备收集信息并累积时间序列数据，使用时间序列数据来制作预测模型。
由于难以事先完全验证模型制作系统的输出是否妥当，因此，在运用开始后还需继续评价模型制作系统的输出。
在持续的评价中需要改善的情况下，为了确定改善部位并分析改善方法，需要在开发环境数据库中再现运用环境数据库的状态。
运用环境数据库是运用环境系统具有的数据库。
运用环境系统是正在被运用的系统，是处理时间序列数据的系统。
开发环境数据库是开发环境系统具有的数据库。
开发环境系统是具有与运用环境系统相同的功能的系统。
再现是指将为了确定改善位置以及分析改善方法所需的数据从运用环境数据库复制到开发环境数据库。
在专利文献1中，公开有从运用环境数据库向开发环境数据库复制数据的现有的数据库转移装置。
在现有的数据库转移装置中，对数据赋予时间戳，根据在生成输出时使用的多个输入数据判定最早的日期时间，复制从该日期时间起的数据。以与运用环境数据库的规格对应的方式制作数据库转移装置。
现有技术文献
专利文献
专利文献1：日本特开2010-244486号公报
发明内容
发明要解决的课题
现有的数据库转移装置将在输出的分析中不需要的数据也包含在内而复制从最早的日期时间起的数据。因此，在输入数据的时间间隔稀疏的情况下，数据量变大。特别是在使用几年前的任意期间的输入数据的系统中，在输出的研究以及输出的评价中不需要的数据较多，要复制的数据量增加。
另外，现有的数据库转移装置依赖于运用环境数据库的规格。因此，在运用环境数据库的规格变更的情况下，需要重新制作现有的数据库转移装置。
本发明的目的在于，能够限定从复制源系统向复制目的地系统复制的数据。
用于解决课题的手段
本发明的数据复制装置具有：
范围决定部，其使用数据处理图解来决定复制范围，该数据处理图解示出相对于复制源系统中包含的复制源程序的输入输出数据的信息，该复制范围是从所述复制源系统复制到复制目的地系统的数据的范围；
数据取得部，其从所述复制源系统取得与所述复制范围对应的复制数据；以及
数据登记部，其将所述复制数据登记到所述复制目的地系统。
发明效果
根据本发明，使用数据处理图解来决定复制范围，复制与复制范围对应的数据。因此，能够将从复制源系统复制到复制目的地系统的数据限定成与复制范围对应的数据。
附图说明
图1是实施方式1中的数据复制系统100的结构图。
图2是实施方式1中的数据复制装置200的结构图。
图3是实施方式1中的处理器901的功能结构图。
图4是实施方式1中的数据处理图解300的结构图。
图5是实施方式1中的数据复制方法的概要图。
图6是实施方式1中的数据复制方法的处理(1)的概要图。
图7是实施方式1中的数据复制方法的处理(2)的概要图。
图8是实施方式1中的数据复制方法的处理(3)的概要图。
图9是实施方式1中的数据复制方法的处理(4)的概要图。
图10是实施方式1中的决定控制处理的流程图。
图11是实施方式1中的图解检索处理的流程图。
图12是实施方式1中的取得查询生成处理的流程图。
图13是实施方式1中的初始化查询生成处理的流程图。
图14是实施方式1中的登记查询生成处理的流程图。
图15是实施方式1中的查询执行处理的流程图。
图16是实施方式1中的图解检索(S122)的流程图。
图17是用于说明实施方式1中的复制范围的决定的图。
图18是实施方式1中的基准表与复制数据的关系图。
图19是实施方式2中的处理器901的功能结构图。
图20是实施方式2中的图解检索(S122)的流程图。
图21是实施方式2中的数据复制方法的处理(5)的概要图。
图22是实施方式3中的处理器901的功能结构图。
图23是实施方式3中的数据复制方法的处理(6)的概要图。
图24是实施方式中的数据复制装置200的硬件结构图。
具体实施方式
在实施方式以及附图中，对相同的要素和对应的要素标注相同标号。适当省略或简化标注有相同标号的要素的说明。图中的箭头主要表示数据流或处理流。
实施方式1
根据图1～图18对从复制源系统向复制目的地系统复制数据的方式进行说明。
＊＊＊结构的说明＊＊＊
根据图1对数据复制系统100的结构进行说明。
数据复制系统100是将复制源系统110的一部分数据复制到复制目的地系统120的系统。
数据复制系统100具有复制源系统110、复制目的地系统120以及数据复制装置200。
复制源系统110具有复制源数据库111。
具体而言，复制源系统110是运用环境系统，复制源数据库111是运用环境数据库。
复制目的地系统120具有复制目的地数据库121。
具体而言，复制目的地系统120是开发环境系统，复制目的地数据库121是开发环境数据库。
数据复制装置200是将复制源数据库111的一部分数据复制到复制目的地数据库121的装置。
根据图2对数据复制装置200的结构进行说明。
数据复制装置200是具有处理器901、存储器902、辅助存储装置903以及通信接口904这样的硬件的计算机。这些硬件经由信号线相互连接。
处理器901是进行运算处理的IC(Integrated Circuit：集成电路)，控制其他硬件。例如，处理器901可以是CPU(Central Processing Unit：中央处理单元)、DSP(DigitalSignal Processor：数字信号处理器)或GPU(Graphics Processing Unit：图形处理单元)。
存储器902是易失性的存储装置。存储器902也被称作主存储装置或主存储器。例如，存储器902是RAM(Random Access Memory：随机存取存储器)。存储在存储器902中的数据根据需要保存在辅助存储装置903中。
辅助存储装置903是非易失性的存储装置。例如，辅助存储装置903是ROM(ReadOnly Memory：只读存储器)、HDD(Hard Disk Drive：硬盘驱动器)或闪存。存储在辅助存储装置903中的数据根据需要被加载到存储器902。
通信接口904是进行通信的设备即接收机和发送机。例如，通信接口904是通信芯片或NIC(Network Interface Card：网络接口卡)。
在辅助存储装置903中存储有数据复制程序。数据复制程序被加载到存储器902，由处理器901执行。
并且，在辅助存储装置903中存储有OS(Operating System：操作系统)。OS的至少一部分被加载到存储器902，由处理器901执行。
即，处理器901在执行OS的同时执行数据复制程序。
执行数据复制程序而得到的数据存储在存储器902、辅助存储装置903、处理器901内的寄存器或处理器901内的高速缓冲存储器这样的存储装置中。
辅助存储装置903作为存储数据的存储部291而发挥功能。但是，其他存储装置也可以代替辅助存储装置903或者与辅助存储装置903一起作为存储部291而发挥功能。
通信接口904作为数据通信的通信部292而发挥功能。
数据复制装置200也可以具有代替处理器901的多个处理器。多个处理器分担处理器901的作用。
根据图3对处理器901的功能结构进行说明。
处理器901作为范围决定部210、数据取得部220、初始化部230以及数据登记部240而发挥功能。
范围决定部210具有决定控制部211和图解检索部212。
数据取得部220具有取得查询生成部221和取得查询执行部222。
初始化部230具有初始化查询执行部231和初始化查询生成部232。
数据登记部240具有登记查询执行部241和登记查询生成部242。
查询执行部250是取得查询执行部222、初始化查询执行部231以及登记查询执行部241的统称。
数据复制程序是用于使计算机作为范围决定部210、数据取得部220、初始化部230以及数据登记部240而发挥功能的程序。
数据复制程序能够以计算机能读取的方式存储在磁盘、光盘或闪存等非易失性的存储介质中。非易失性的存储介质是非临时性的有形介质。
根据图4对数据处理图解300的结构进行说明。
数据处理图解300是示出相对于复制源程序的输入输出数据的信息的数据，预先存储到存储部291。
复制源程序是复制源系统110中包含的程序。
具体而言，相对于复制源程序的输入输出数据是时间序列数据。时间序列数据是包含日期时间的数据。
数据处理图解300是用于复制源数据库111的专用数据。因此，在复制源数据库111的规格被变更的情况下，更新数据处理图解300。另外，在与复制源数据库111不同的复制源数据库成为复制源的情况下，将不同的复制源数据库用的数据处理图解存储到存储部291。
数据处理图解300分别具有一个以上的表节点301、输出信息节点302、输入信息节点303、数据范围节点304以及程序节点305。各节点通过链路而与其他节点相连。
将从输出信息节点302向表节点301的链路称作投入链路。投入链路将输出信息节点302与表节点301相连。
将从表节点301向输入信息节点303的链路称作取得链路。取得链路将表节点301与输入信息节点303相连。
将从输入信息节点303向程序节点305的链路称作输入链路。输入链路将输入信息节点303与程序节点305相连。
将从程序节点305向输出信息节点302的链路称作输出链路。输出链路将程序节点305与输出信息节点302相连。
将从输出信息节点302或输入信息节点303向数据范围节点304的链路称作列名链路。列名链路将输出信息节点302或输入信息节点303与数据范围节点304相连。
数据处理图解300按照每个复制源表具有表节点301。复制源表是包含在复制源数据库111中的表。
表节点301表示复制源表。
投入链路表示表节点301的输入。表节点301的输入是0个以上的数据信息。
取得链路表示表节点301的输出。表节点301的输出是0个以上的数据信息。
输出信息节点302表示相对于复制源程序的输入输出数据中的输出数据的信息。
输出链路表示输出信息节点302的输入。输出信息节点302的输入是来自一个程序节点305的输出链路。
投入链路表示输出信息节点302的第1输出。输出信息节点302的第1输出是向一个表节点301的投入链路。
列名链路表示输出信息节点302的第2输出。输出信息节点302的第2输出是一个以上的列名。列名表示数据的种类。
输入信息节点303表示相对于复制源程序的输入输出数据中的输入数据的信息。
取得链路表示输入信息节点303的输入。输入信息节点303的输入是来自一个表节点301的取得链路。
输入链路表示输入信息节点303的第1输出。输入信息节点303的第1输出是向一个程序节点305的输入链路。
列名链路表示输入信息节点303的第2输出。输入信息节点303的第2输出是一个以上的列名。
数据范围节点304表示相对于复制源程序的输入输出数据的数据范围。数据范围是数据所示的值的范围。具体而言，数据范围是相对期间和对象时间段。相对期间用天数或时间等表示，对象时间段用日期或时间等表示。
列名链路表示数据范围节点304的输入。数据范围节点304的输入是一个列名。
将连接来自输出信息节点302的列名链路的数据范围节点304称作输出范围节点。
将连接来自输入信息节点303的列名链路的数据范围节点304称作输入范围节点。
程序节点305表示复制源程序。
输入链路表示程序节点305的输入。程序节点305的输入是来自一个以上的输入信息节点303的输入链路。
输出链路表示程序节点305的输出。程序节点305的输出是来自一个以上的输出信息节点302的输出链路。
＊＊＊动作的说明＊＊＊
数据复制装置200的动作相当于数据复制方法。另外，数据复制方法的步骤相当于数据复制程序的步骤。
根据图5对数据复制方法的概要进行说明。
在数据复制方法中，依次进行处理(1)～处理(4)。
根据图6对数据复制方法的处理(1)进行说明。
在处理(1)中，范围决定部210使用数据处理图解300来决定复制范围。
复制范围是从复制源数据库111复制到复制目的地数据库121的数据的范围。具体而言，复制范围是要复制的数据中包含的日期时间的范围。
具体而言，复制范围如下决定。
首先，用户101将基准信息输入到数据复制装置200。决定控制部211受理输入的基准信息并存储到存储部291。
基准信息是用于决定从复制源数据库111向复制目的地数据库121复制的数据的信息。具体而言，基准信息表示表名、时间点以及用户名等。日期、时刻以及日期时间是时间点的一例。
接下来，决定控制部211根据基准信息生成范围查询。
范围查询是用于请求检索复制范围的查询，包含基准信息。
接下来，决定控制部211将范围查询输入到图解检索部212。
接下来，图解检索部212通过按照范围查询检索数据处理图解300，从数据处理图解300取得复制范围。
然后，图解检索部212将范围信息输出到决定控制部211。范围信息是表示复制范围的信息。
根据图7对数据复制方法的处理(2)进行说明。
在处理(2)中，数据取得部220从复制源数据库111取得复制数据。
复制数据是对复制源数据库111中包含的数据中的复制范围的数据进行复制而得到的数据。即，复制数据是复制范围的数据。
具体而言，如下取得复制数据。
首先，决定控制部211将范围信息输入到取得查询生成部221。
接下来，取得查询生成部221根据范围信息生成取得查询。
取得查询是用于取得复制数据的查询，包含范围信息。
接下来，取得查询生成部221将取得查询输入到取得查询执行部222。
然后，取得查询执行部222通过对复制源数据库111执行取得查询，从复制源数据库111取得复制数据。
根据图8对数据复制方法的处理(3)进行说明。
在处理(3)中，初始化部230将复制目的地数据库121初始化。
具体而言，将复制目的地数据库121如下初始化。
首先，初始化查询执行部231向初始化查询生成部232请求初始化查询。
初始化查询是用于将复制目的地数据库121初始化的查询。
接下来，初始化查询生成部232生成初始化查询。
接下来，初始化查询生成部232向初始化查询执行部231响应初始化查询。
然后，初始化查询执行部231通过对复制目的地数据库121执行初始化查询，将复制目的地数据库121初始化。
根据图9对数据复制方法的处理(4)进行说明。
在处理(4)中，数据登记部240将复制数据登记到复制目的地数据库121。
具体而言，如下登记复制数据。
首先，登记查询执行部241向登记查询生成部242请求登记查询。
登记查询是用于将复制数据登记到复制目的地数据库121的查询，包含复制数据和范围信息。
接下来，登记查询生成部242向决定控制部211请求范围信息。
接下来，决定控制部211向登记查询生成部242响应范围信息。
接下来，登记查询生成部242根据范围信息生成登记查询。
接下来，登记查询生成部242向登记查询执行部241响应登记查询。
接下来，登记查询执行部241通过对复制目的地数据库121执行登记查询，将复制数据登记到复制目的地数据库121。
然后，登记查询执行部241输出完成通知。
完成通知是用于向用户101通知复制完成的通知。
根据图10对决定控制处理进行说明。
决定控制处理是由决定控制部211执行的处理。
在步骤S111中，决定控制部211接收由用户101发送的基准信息，并将接收到的基准信息存储到存储部291。
在步骤S112中，决定控制部211根据基准信息生成范围查询，并将生成的范围查询存储到存储部291。范围查询是用于请求检索复制范围的查询。
在步骤S113中，决定控制部211将范围查询发送到图解检索部212。
具体而言，决定控制部211将表示存储有范围查询的区域的信息发送到图解检索部212。
在步骤S114中，决定控制部211从图解检索部212接收范围信息。范围信息是表示复制范围的信息。
具体而言，决定控制部211从图解检索部212接收表示存储有范围信息的区域的信息，从接收到的信息所示的区域取得范围信息。
在步骤S115中，决定控制部211将范围信息发送到取得查询生成部221。
具体而言，决定控制部211将表示存储有范围信息的区域的信息发送到取得查询生成部221。
在步骤S116中，决定控制部211从登记查询生成部242接收范围信息的请求。
在步骤S117中，决定控制部211将范围信息发送到登记查询生成部242。
具体而言，决定控制部211将表示存储有范围信息的区域的信息发送到登记查询生成部242。
根据图11对图解检索处理进行说明。
图解检索处理是由图解检索部212执行的处理。
在步骤S121中，图解检索部212从决定控制部211接收范围查询。
具体而言，图解检索部212从决定控制部211接收表示存储有范围查询的区域的信息，从接收到的信息所示的区域取得范围查询。
在步骤S122中，图解检索部212通过按照范围查询检索数据处理图解300，从数据处理图解300取得范围信息。然后，图解检索部212将范围信息存储到存储部291。
检索数据处理图解300的方法容后再述。
在步骤S123中，图解检索部212将范围信息发送到决定控制部211。
具体而言，图解检索部212将表示存储有范围信息的区域的信息发送到决定控制部211。
根据图12对取得查询生成处理进行说明。
取得查询生成处理是由取得查询生成部221执行的处理。
在步骤S131中，取得查询生成部221从决定控制部211接收范围信息。
具体而言，取得查询生成部221从决定控制部211接收表示存储有范围信息的区域的信息，从接收到的信息所示的区域取得范围信息。
在步骤S132中，取得查询生成部221根据范围信息生成取得查询，并将生成的取得查询存储到存储部291。取得查询是用于取得复制数据的查询，包含范围信息。
具体而言，取得查询生成部221根据范围信息生成用于取得复制数据的SQL语句。生成的SQL语句是取得查询。SQL是结构化查询语言(Structured Query Language)的简称。
在步骤S133中，取得查询生成部221将取得查询发送到取得查询执行部222。
具体而言，取得查询生成部221将表示存储有取得查询的区域的信息发送到取得查询执行部222。
根据图13对初始化查询生成处理进行说明。
初始化查询生成处理是由初始化查询生成部232执行的处理。
在步骤S141中，初始化查询生成部232从初始化查询执行部231接收初始化查询的请求。初始化查询是用于将复制目的地数据库121初始化的查询。
在步骤S142中，初始化查询生成部232生成初始化查询，并将生成的初始化查询存储到存储部291。
具体而言，初始化查询生成部232生成用于将复制目的地数据库121初始化的SQL语句。生成的SQL语句是初始化查询。
在步骤S143中，初始化查询生成部232将初始化查询发送到初始化查询执行部231。
具体而言，初始化查询生成部232将表示存储有初始化查询的区域的信息发送到初始化查询执行部231。
根据图14对登记查询生成处理进行说明。
登记查询生成处理是由登记查询生成部242执行的处理。
在步骤S151中，登记查询生成部242从登记查询执行部241接收登记查询的请求。登记查询是用于将复制数据登记到复制目的地数据库121的查询。
在步骤S152中，登记查询生成部242将范围信息的请求发送到决定控制部211。
在步骤S153中，登记查询生成部242从决定控制部211接收范围信息。
具体而言，登记查询生成部242从决定控制部211接收表示存储有范围信息的区域的信息，从接收到的信息所示的区域取得范围信息。
在步骤S154中，登记查询生成部242根据范围信息生成登记查询，并将生成的登记查询存储到存储部291。
具体而言，登记查询生成部242根据范围信息生成用于将复制数据登记到复制目的地数据库121的SQL语句。生成的SQL语句是登记查询。
在步骤S155中，登记查询生成部242将登记查询发送到登记查询执行部241。
具体而言，登记查询生成部242将表示存储有登记查询的区域的信息发送到登记查询执行部241。
根据图15对查询执行处理进行说明。
查询执行处理是由查询执行部250执行的处理。即，查询执行处理是由取得查询执行部222、初始化查询执行部231以及登记查询执行部241执行的处理。
在步骤S1611中，取得查询执行部222从取得查询生成部221接收取得查询。
具体而言，取得查询执行部222从取得查询生成部221接收表示存储有取得查询的区域的信息，并从接收到的信息所示的区域取得取得查询。
在步骤S1612中，取得查询执行部222对复制源数据库111执行取得查询。
在步骤S1613中，取得查询执行部222从复制源数据库111接收复制数据，并将接收到的复制数据存储到存储部291。
在步骤S1621中，初始化查询执行部231将初始化查询的请求发送到初始化查询生成部232。
在步骤S1622中，初始化查询执行部231从初始化查询生成部232接收初始化查询。
具体而言，初始化查询执行部231从初始化查询生成部232接收表示存储有初始化查询的区域的信息。
在步骤S1623中，初始化查询执行部231通过对复制目的地数据库121执行初始化查询，将复制目的地数据库121初始化。
在步骤S1631中，登记查询执行部241将登记查询的请求发送到登记查询生成部242。
在步骤S1632中，登记查询执行部241从登记查询生成部242接收登记查询。
具体而言，登记查询执行部241从登记查询生成部242接收表示存储有登记查询的区域的信息，并从接收到的信息所示的区域取得登记查询。
在步骤S1633中，登记查询执行部241通过对复制目的地数据库121执行登记查询，将复制数据登记到复制目的地数据库121。
在步骤S1634中，登记查询执行部241通过向用户101发送完成通知，通知用户101复制完成。
根据图16对图解检索(S122)进行说明。
图解检索(S122)是通过按照范围查询检索数据处理图解300而从数据处理图解300取得范围信息的处理。
范围查询包含表名、时间点以及用户名等基准信息。将作为基准信息的表名称作基准表名，将作为基准信息的时间点称作基准时间点。
在步骤S1221中，图解检索部212从范围查询中提取基准表名，将由基准表名识别的表决定为基准表。
在步骤S1222中，图解检索部212判定是否有基准表的投入链路。基准表的投入链路是与基准表的表节点301连接的投入链路。
即，图解检索部212从数据处理图解300中选择基准表的表节点301，判定是否有与基准表的表节点301连接的投入链路。
在有基准表的投入链路的情况下，处理前进到步骤S1223。
在没有基准表的投入链路的情况下，处理前进到步骤S1225。
在步骤S1223中，图解检索部212从范围查询中提取基准时间点。
接下来，图解检索部212从基准表的表节点301依次沿着投入链路和列名链路选择数据范围节点304。即，图解检索部212从基准表的表节点301沿着投入链路选择输出信息节点302，从选择出的输出信息节点302沿着列名链路选择数据范围节点304。
然后，图解检索部212对选择出的数据范围节点304设定基准时间点。
按照基准表的每个投入链路执行从循环开始到循环结束的处理(S1224)。
在步骤S1224中，图解检索部212从基准表的表节点301依次沿着投入链路、输出链路、输入链路以及取得链路选择表节点301。即，图解检索部212从基准表的表节点301沿着投入链路选择输出信息节点302，从选择出的输出信息节点302沿着输出链路选择程序节点305。并且，图解检索部212从选择出的程序节点305沿着输入链路选择输入信息节点303，从选择出的输入信息节点303沿着取得链路选择表节点301。
然后，图解检索部212将选择出的表节点301所示的表决定为基准表而代替原来的基准表。
例如，设表A是基准表，在表A的表节点301连接有第1投入链路和第2投入链路。设图解检索部212沿着第1投入链路选择表B的表节点301，沿着第2投入链路选择表C的表节点301。在该情况下，图解检索部212代替表A而将表B和表C决定为基准表。
通过步骤S1221或步骤S1224最终决定一个以上的基准表。
最终决定的一个以上的基准表分别是起始表。
起始表是包含输入到一系列的复制源程序中的起始的复制源程序中的数据的表。
一系列的复制源程序是依次执行的多个复制源程序。
起始的复制源程序是首先执行的复制源程序。
在步骤S1225中，图解检索部212按照每个基准表决定复制范围。复制范围是要复制的数据的范围。
图解检索部212按照每个基准表以以下的步骤决定复制范围。
首先，图解检索部212从基准表(起始表)的表节点301依次沿着取得链路和列名链路选择数据范围节点304(对象数据范围节点)。即，图解检索部212从基准表的表节点301沿着取得链路选择输入信息节点303，从选择出的输入信息节点303沿着列名链路选择数据范围节点304。
然后，图解检索部212根据选择出的数据范围节点304所示的数据范围来决定复制范围。
具体而言，图解检索部212如下决定复制范围。
首先，图解检索部212从选择出的数据范围节点304取得基准时间点和数据范围。数据范围是相对期间和对象时间段。
接下来，图解检索部212使用基准时间点和相对期间(数据范围)计算对象时间点。对象时间点是从基准时间点起经过相对期间后的时间点。
然后，图解检索部212将对象时间点和对象时间段(数据范围)决定为复制范围。
根据图17对决定复制范围的具体例进行说明。
首先，图解检索部212从基准表的表节点301沿着取得链路选择输入信息节点303。在输入信息节点303连接有第1列名链路和第2列名链路。
第1列名链路是表示列名“日期时间”的列名链路。
第2列名链路是表示列名“取得日”的列名链路。
接下来，图解检索部212沿着第1列名链路选择第1数据范围节点304。并且，图解检索部212沿着第2列名链路选择第2数据范围节点304。
接下来，图解检索部212从第1数据范围节点304取得第1基准时间点和第1数据范围(第1相对期间和第1对象时间段)。在第1数据范围节点304中，“T”是第1基准时间点，“-1”是第1相对期间，“00：00～23：59”是第1对象时间段。“-1”意味着1天前。
并且，图解检索部212从第2数据范围节点304取得第2基准时间点和第2数据范围(第2相对期间和第2对象时间段)。在第2数据范围节点304中，“T”是第2基准时间点，“-2”是第2相对期间，“12：00”是第2对象时间段。“-2”意味着2天前，
接下来，图解检索部212使用第1基准时间点“T”和第1相对期间“-1”计算第1对象时间点。在第1基准时间点“T”为2017年1月16日的情况下，第1对象时间点为2017年1月15日。
并且，图解检索部212使用第2基准时间点“T”和第2相对期间“-2”计算第2对象时间点。在第2基准时间点“T”为2017年1月16日的情况下，第2对象时间点为2017年1月14日。
然后，图解检索部212将第1对象时间点和第1对象时间段决定为第1复制范围。并且，图解检索部212将第2对象时间点和第2对象时间段决定为第2复制范围。
第1复制范围是相对于列名“日期时间”的复制范围。
第2复制范围是相对于列名“取得日”的复制范围。
根据图18对基准表与复制数据的关系进行说明。
在相对于列名“日期时间”的复制范围中，对象时间点为2017年1月15日，对象时间段为0时0分至23时59分。另外，在相对于列名“取得日”的复制范围中，对象时间点为2017年1月16日，对象时间段为12时0分。在该情况下，得到图18所示的复制数据。
即，基准表中包含的数据中的包含2017年1月15日的0时0分至23时59分的“日期时间”和2017年1月16日的12时0分的“取得日”的数据相当于复制数据。
返回到图16，对步骤S1226进行说明。
在步骤S1226中，图解检索部212按照每个基准表将基准表名和复制范围设定为范围信息。
＊＊＊实施方式1的效果＊＊＊
由于使用数据处理图解300，因此，能够检索在输出的研究以及输出的评价中所需的数据。其结果是，复制最小限度的数据，作用于运用环境系统的负载为最小限度。
另外，即使运用环境系统的规格被变更，只要变更数据处理图解300，就能够进行数据库的复制。即，即使运用环境系统的规格被变更，也无需重新制作数据复制装置200而能够进行数据库的复制。因此，能够缩短在运用环境系统的规格被变更的情况下所需的作业时间。
实施方式2
关于复制相对于任意的复制源程序的输入数据的方式，主要根据图19和图21对与实施方式1不同的点进行说明。
＊＊＊结构的说明＊＊＊
根据图19对处理器901的功能结构进行说明。
处理器901还作为程序选择部260而发挥功能。
数据复制程序还使计算机作为程序选择部260而发挥功能。
＊＊＊动作的说明＊＊＊
根据图20对图解检索(S122)进行说明。
步骤S1221～步骤S1223如在实施方式1中说明的那样。
按照基准表的每个投入链路执行从循环开始到循环结束的处理(S1227)。
在步骤S1227中，图解检索部212从基准表的表节点301依次沿着投入链路、输出链路、输入链路以及取得链路选择表节点301。即，图解检索部212从基准表的表节点301沿着投入链路选择输出信息节点302，从选择出的输出信息节点302沿着输出链路选择程序节点305。并且，图解检索部212从选择出的程序节点305沿着输入链路选择输入信息节点303，从选择出的输入信息节点303沿着取得链路选择表节点301。
然后，图解检索部212将选择出的表节点301所示的表与原来的基准表相加而决定为基准表。
例如，设表A是基准表，在表A的表节点301连接有第1投入链路和第2投入链路。设图解检索部212沿着第1投入链路选择表B的表节点301，沿着第2投入链路选择表C的表节点301。在该情况下，图解检索部212除了表A之外，还将表B和表C决定为基准表。
通过步骤S1221或步骤S1227最终决定一个以上的基准表。
最终决定的一个以上的基准表是对应于一系列的复制源程序的一系列的复制源表。
即，按照构成一系列的复制源程序的每个复制源程序，将包含输入到复制源程序的数据的表决定为基准表。
步骤S1225和步骤S1226如在实施方式1中说明的那样。
即，按照每个基准表生成表示基准表名和复制范围的范围信息。
因此，按照构成一系列的复制源程序的每个复制源程序生成表示基准表名和复制范围的范围信息。
根据图21对数据复制方法的处理(5)进行说明。
处理(5)在处理(1)之后处理(2)之前执行。
在处理(5)中，程序选择部260从一系列的复制源程序中选择对象复制源程序。
具体而言，如下选择对象复制源程序。
首先，程序选择部260输出程序信息。程序信息是表示一系列的复制源程序的信息。程序信息的具体例是通过处理(1)得到的范围信息。输出的程序信息被公开给用户101。例如，程序信息被显示在显示器。
接下来，用户101根据程序信息从一系列的复制源程序中选择对象复制源程序。
接下来，用户101将选择信息输入到数据复制装置200。选择信息是表示对象复制源程序的信息。
然后，程序选择部260受理输入的选择信息并存储到存储部291。
在处理(5)之后，执行处理(2)～处理(4)。
在处理(2)(参照图7)中，从决定控制部211输入到取得查询生成部221的范围信息是对象复制源程序用的范围信息。
在处理(4)(参照图9)中，从决定控制部211向登记查询生成部242响应的范围信息是对象复制源程序用的范围信息。
具体而言，决定控制部211参照通过处理(5)得到的选择信息确定对象复制源程序，从通过处理(1)得到的范围信息选择对象复制源程序用的信息(基准表名和复制范围)。选择出的信息是对象复制源程序用的范围信息。然后，决定控制部211将对象复制源程序用的范围信息输入到取得查询生成部221，并向登记查询生成部242响应对象复制源程序用的范围信息。
其结果是，在处理(2)中，从复制源数据库111取得对象复制源程序用的复制数据，在处理(4)中，将对象复制源程序用的复制数据登记到复制目的地数据库121。
＊＊＊实施方式2的效果＊＊＊
按照每个复制源程序决定复制范围。因此，能够复制为了分析任意的复制源程序所需的数据，并分析任意的复制源程序。
实施方式3
关于对范围信息施加变更的方式，主要根据图22和图23对与实施方式1不同的点进行说明。
＊＊＊结构的说明＊＊＊
根据图22对处理器901的功能结构进行说明。
处理器901还作为范围编辑部270而发挥功能。
数据复制程序还使计算机作为范围编辑部270而发挥功能。
＊＊＊动作的说明＊＊＊
根据图23对数据复制方法的处理(6)进行说明。
处理(6)在处理(1)之后处理(2)之前执行。
在处理(6)中，范围编辑部270编辑复制范围。
具体而言，如下编辑复制范围。
首先，范围编辑部270输出范围信息(基准表名和复制范围)。输出的范围信息被公开给用户101。例如，范围信息被显示在显示器。
接下来，用户101编辑范围信息。
接下来，用户101将编辑后的范围信息输入到数据复制装置200。
然后，范围编辑部270受理编辑后的范围信息并存储到存储部291。
在处理(6)之后，使用编辑后的范围信息执行处理(2)～处理(4)。
＊＊＊实施方式3的效果＊＊＊
用户101能够任意变更范围信息。因此，还能够复制用户101判断为分析所需的数据。
＊＊＊其他的结构＊＊＊
实施方式3也可以与实施方式2进行组合。
即，数据复制装置200也可以具有程序选择部260和范围编辑部270。
实施方式4
关于相对于复制源程序的输入输出数据的方式，主要对与实施方式1不同的点进行说明。
在实施方式1中，对相对于复制源程序的输入输出数据具体而言是时间序列数据进行了说明。
但是，相对于复制源程序的输入输出数据也可以是时间序列数据以外的数据。在该情况下，复制范围是要复制的数据的日期时间以外的范围。
例如，相对于复制源程序的输入输出数据也可以是距离数据。距离数据是包含距离的数据。例如，距离数据包含表示地理范围的距离。相对于距离数据的复制范围是要复制的数据中包含的距离的范围。
实施方式中的数据复制方法能够应用于对时间序列数据以外的数据进行处理的复制源系统。例如，实施方式中的数据复制方法能够应用于根据地理范围决定在复制源程序中使用的数据的系统。
＊＊＊实施方式的补充＊＊＊
数据复制装置200也可以由多个计算机构成。
例如，数据复制装置200也可以由作为范围决定部210而发挥功能的计算机、作为数据取得部220而发挥功能的计算机、作为初始化部230而发挥功能的计算机以及作为数据登记部240而发挥功能的计算机这4台计算机构成。
根据图24对数据复制装置200的硬件结构进行说明。
数据复制装置200具有处理电路990。
处理电路990是实现范围决定部210、数据取得部220、初始化部230、数据登记部240以及存储部291的硬件。
处理电路990可以是专用硬件，也可以是执行存储在存储器902中的程序的处理器901。
在处理电路990是专用硬件的情况下，处理电路990例如是单个电路、复合电路、程序化的处理器、并行程序化的处理器、ASIC、FPGA或它们的组合。
ASIC是面向特定用途的集成电路(Application Specific Integrated Circuit)的简称，FPGA是现场可编程门阵列(Field Programmable Gate Array)的简称。
数据复制装置200也可以具有代替处理电路990的多个处理电路。多个处理电路分担处理电路990的作用。
关于数据复制装置200的功能，也可以一部分由专用硬件实现，其余部分由软件或固件实现。
这样，处理电路990可以通过硬件、软件、固件或它们的组合来实现。
实施方式只是优选方式的例示，并不意图限制本发明的技术范围。实施方式可以部分地实施，也可以与其他方式组合来实施。使用流程图等说明的步骤也可以适当变更。
标号说明
100：数据复制系统；101：用户；110：复制源系统；111：复制源数据库；120：复制目的地系统；121：复制目的地数据库；200：数据复制装置；210：范围决定部；211：决定控制部；212：图解检索部；220：数据取得部；221：取得查询生成部；222：取得查询执行部；230：初始化部；231：初始化查询执行部；232：初始化查询生成部；240：数据登记部；241：登记查询执行部；242：登记查询生成部；250：查询执行部；260：程序选择部；270：范围编辑部；291：存储部；292：通信部；300：数据处理图解；301：表节点；302：输出信息节点；303：输入信息节点；304：数据范围节点；305：程序节点；901：处理器；902：存储器；903：辅助存储装置；904：通信接口；990：处理电路。

Claims (10)

1.一种数据复制装置，该数据复制装置具有：
范围决定部，其使用数据处理图解来决定复制范围，该数据处理图解示出相对于复制源系统中包含的复制源程序的输入输出数据的信息，该复制范围是从所述复制源系统复制到复制目的地系统的数据的范围；
数据取得部，其从所述复制源系统取得与所述复制范围对应的复制数据；以及
数据登记部，其将所述复制数据登记到所述复制目的地系统。
2.根据权利要求1所述的数据复制装置，其中，
所述数据处理图解具有：
程序节点，其表示所述复制源程序；
输入信息节点，其表示相对于所述复制源程序的输入输出数据中的输入数据的信息；
输出信息节点，其表示相对于所述复制源程序的输入输出数据中的输出数据的信息；
数据范围节点，其表示相对于所述复制源程序的输入输出数据的数据范围；
表节点，其表示所述复制源系统中包含的复制源表；以及
链路，其将所述程序节点、所述输入信息节点、所述输出信息节点、所述数据范围节点和所述表节点分别连接起来。
3.根据权利要求2所述的数据复制装置，其中，
所述范围决定部从基准表的表节点沿着各链路选择对象数据范围节点，根据所述对象数据范围节点所示的数据范围来决定所述复制范围。
4.根据权利要求3所述的数据复制装置，其中，
所述范围决定部从所述基准表的表节点沿着各链路选择起始表的表节点，从所述起始表的表节点沿着各链路选择所述对象数据范围节点。
5.根据权利要求3所述的数据复制装置，其中，
所述范围决定部从所述基准表的表节点沿着各链路选择新的基准表的表节点，按照每个基准表从基准表的表节点沿着各链路针对每个基准表选择对象数据范围节点。
6.根据权利要求5所述的数据复制装置，其中，
所述数据复制装置具有选择对象复制源程序的程序选择部，
所述范围决定部按照每个基准表决定所述复制范围，选择所述对象复制源程序用的复制范围，
所述数据取得部取得与所述对象复制源程序用的复制范围对应的数据作为所述复制数据。
7.根据权利要求1～6中的任意一项所述的数据复制装置，其中，
所述数据复制装置具有编辑所述复制范围的范围编辑部，
所述数据取得部取得编辑后的复制范围的数据作为所述复制数据。
8.根据权利要求1～7中的任意一项所述的数据复制装置，其中，
所述输入输出数据是时间序列数据，
所述复制范围是要复制的数据的日期时间的范围。
9.根据权利要求1～7中的任意一项所述的数据复制装置，其中，
所述输入输出数据是时间序列数据以外的数据，
所述复制范围是要复制的数据的日期时间以外的范围。
10.一种数据复制程序，该数据复制程序用于使计算机执行如下处理：
范围决定处理，使用数据处理图解来决定复制范围，该数据处理图解示出相对于复制源系统中包含的复制源程序的输入输出数据的信息，该复制范围是从所述复制源系统复制到复制目的地系统的数据的范围；
数据取得处理，从所述复制源系统取得与所述复制范围对应的复制数据；以及
数据登记处理，将所述复制数据登记到所述复制目的地系统。
CN201780091128.5A 2017-05-31 2017-05-31 数据复制装置以及计算机能读取的存储介质 Active CN110678855B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/020292 WO2018220754A1 (ja) 2017-05-31 2017-05-31 データ複製装置およびデータ複製プログラム

Publications (2)

Publication Number Publication Date
CN110678855A true CN110678855A (zh) 2020-01-10
CN110678855B CN110678855B (zh) 2023-06-16

Family

ID=64454577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780091128.5A Active CN110678855B (zh) 2017-05-31 2017-05-31 数据复制装置以及计算机能读取的存储介质

Country Status (5)

Country Link
US (1) US11151158B2 (zh)
EP (1) EP3605340B1 (zh)
JP (1) JP6602510B2 (zh)
CN (1) CN110678855B (zh)
WO (1) WO2018220754A1 (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030208511A1 (en) * 2002-05-02 2003-11-06 Earl Leroy D. Database replication system
CN105450741A (zh) * 2015-11-16 2016-03-30 苏州大学 分布式存储系统中供应服务器选择和修复数据传输方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3412384B2 (ja) 1996-03-13 2003-06-03 株式会社日立製作所 制御モデル構築支援装置
JP3755497B2 (ja) 2002-09-02 2006-03-15 株式会社日立製作所 制御モデル構築支援装置および方法
JP2006099793A (ja) 2005-10-28 2006-04-13 Hitachi Ltd 制御モデル構築支援装置および方法
US20080243769A1 (en) 2007-03-30 2008-10-02 Symantec Corporation System and method for exporting data directly from deduplication storage to non-deduplication storage
US7917512B2 (en) * 2007-11-30 2011-03-29 International Business Machines Corporation Method for automated design of range partitioned tables for relational databases
JP2009146169A (ja) 2007-12-14 2009-07-02 Fujitsu Ltd ストレージシステム、ストレージ装置、データバックアップ方法
JP5439014B2 (ja) 2009-04-10 2014-03-12 株式会社日立製作所 データ処理システム、その処理方法、及び計算機
JP2011134029A (ja) * 2009-12-24 2011-07-07 Hitachi Ltd ストレージ装置
US8676772B2 (en) * 2011-12-09 2014-03-18 Telduráðgevin Sp/f Systems and methods for improving database performance
WO2013128582A1 (ja) * 2012-02-28 2013-09-06 株式会社 日立製作所 ストレージシステム及びストレージシステムの制御方法
US10747777B2 (en) 2015-03-11 2020-08-18 Hitachi, Ltd. Computer system and transaction processing management method
WO2016141590A1 (zh) * 2015-03-12 2016-09-15 华为技术有限公司 时序数据处理方法及装置
US10067969B2 (en) * 2015-05-29 2018-09-04 Nuodb, Inc. Table partitioning within distributed database systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030208511A1 (en) * 2002-05-02 2003-11-06 Earl Leroy D. Database replication system
CN105450741A (zh) * 2015-11-16 2016-03-30 苏州大学 分布式存储系统中供应服务器选择和修复数据传输方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘娟娟等: "数据库同步技术的研究与实现", 《软件工程》 *

Also Published As

Publication number Publication date
JP6602510B2 (ja) 2019-11-06
CN110678855B (zh) 2023-06-16
EP3605340A1 (en) 2020-02-05
EP3605340A4 (en) 2020-03-11
JPWO2018220754A1 (ja) 2019-12-12
WO2018220754A1 (ja) 2018-12-06
US20200104308A1 (en) 2020-04-02
EP3605340B1 (en) 2021-03-31
US11151158B2 (en) 2021-10-19

Similar Documents

Publication Publication Date Title
US8745588B2 (en) Method for testing operation of software
US20180144244A1 (en) Distributed clinical workflow training of deep learning neural networks
US9454466B2 (en) Explaining partially illegal combinations in combinatorial models
Wang et al. Dynamic poisson autoregression for influenza-like-illness case count prediction
JP6526684B2 (ja) データベースキーの識別
JP6053131B2 (ja) 情報処理装置、情報処理方法、およびプログラム
Pitzer et al. Evaluating strategies to improve rotavirus vaccine impact during the second year of life in Malawi
Stashko et al. Assessing the quality and accuracy of national immunization program reported target population estimates from 2000 to 2016
US10628140B2 (en) Program code generation apparatus
US20160162539A1 (en) Computer executable method of generating analysis data and apparatus performing the same and storage medium for the same
Zhang et al. Improved seasonal Mann–Kendall tests for trend analysis in water resources time series
Renggli et al. Ease. ml/ci and ease. ml/meter in action: Towards data management for statistical generalization
US20180329873A1 (en) Automated data extraction system based on historical or related data
CN110678855B (zh) 数据复制装置以及计算机能读取的存储介质
JP2018120465A (ja) 関係分析装置および関係分析プログラム
JPWO2018154657A1 (ja) 等価性検証装置および等価性検証プログラム
US8949766B2 (en) Detecting corresponding paths in combinationally equivalent circuit designs
Haddock et al. Simulated data for census-scale entity resolution research without privacy restrictions: a large-scale dataset generated by individual-based modeling
JP7275504B2 (ja) 情報処理装置、分析モデル管理方法及び分析モデル管理プログラム
US20200285463A1 (en) Evaluation of developer organizations
CN112817971A (zh) 一种基于二维映射表的数据处理方法及系统
Manikantan et al. Software tool to perform metamorphic testing on RESTful web APIs
JP6455087B2 (ja) 帳票情報処理プログラム、帳票情報処理装置、および帳票情報処理方法
Sobrinho et al. Web Crawler for Social Network User Data Prediction Using Soft Computing Methods
JP6085481B2 (ja) プログラマブル回路、演算処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant