JP2012141847A - データ移行システム、データ移行装置、及びデータ移行方法 - Google Patents
データ移行システム、データ移行装置、及びデータ移行方法 Download PDFInfo
- Publication number
- JP2012141847A JP2012141847A JP2011000187A JP2011000187A JP2012141847A JP 2012141847 A JP2012141847 A JP 2012141847A JP 2011000187 A JP2011000187 A JP 2011000187A JP 2011000187 A JP2011000187 A JP 2011000187A JP 2012141847 A JP2012141847 A JP 2012141847A
- Authority
- JP
- Japan
- Prior art keywords
- migration
- data
- definition file
- processing unit
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】後続の各処理で用いる処理条件を定義する定義ファイルを作成し、記憶領域に格納する定義ファイル作成部と、記憶領域から読み出した定義ファイルを用いて、クレンジング前又は後の移行元DBのデータの妥当性のチェック処理を実施し、チェック処理結果を出力するチェック処理部と、記憶領域から読み出した定義ファイルを用いて、ロード後の移行先DBに格納されたデータの妥当性を検証し、検証処理結果を出力する検証処理部とを備え、画面処理部は、表示装置にチェック処理結果および検証処理結果を表示することを特徴とする。
【選択図】図3
Description
本発明の関連技術として、特許文献1がある。
図1は、従来のシステム移行処理を示す概念図である。移行元システム101は、1つ以上の移行元テーブル102を保持する移行元DB(Database)103、移行元テーブル102のうち、移行する対象をまとめた移行元データファイル104を有する。移行先システム105は、移行元データファイル104を移行先の形式に変換及び又は加工した編集後データファイル108、編集後データファイル108をロードした移行先DB107を有する。なお、移行元データファイル104と編集後データファイル108は、移行先システムの形態によってはファイルではなくDB形式等のデータでもよい。
上述した従来の移行処理では、上記の(1)から(4)について、移行を実施する対象の移行元テーブル102毎に、個別のプログラム開発や人手による作業の実施を行う必要がある。そのため、テーブル数が増える程、作業量や不良件数の増加を招く。また、(1)クレンジングは手作業でSQLを作成し、結果の確認は目視で行われることが多い。そのため、作業結果の精度が低くなってしまう。そこで、以下説明する本発明のデータ移行システムでは、移行対象となるデータ種別および数を問わずにデータ移行を実施し、また移行対象となるデータを移行元DBから抽出する前に当該データをチェックし、移行先DBにデータをロードした後にデータを検証することを特徴とする。
図4および図5は、本発明の実施形態に係るデータ移行処理の手順を示すフローチャートである。
本実施形態では、以下に示す特徴および効果がある。
(1)画面処理部302は、ユーザがGUIを介して選択または追加した後続の処理で必要となる条件を受け付ける。定義ファイル作成部312は、ユーザからの指示に基づき、各処理で用いる定義ファイルを作成する。その後、各処理部が、移行対象となる移行元テーブル全てについて、定義ファイルの情報を元に、抽出、変換及び又は加工、ロード、検証を一度に自動で実施する。
302・・・画面処理部、
303・・・検証処理部、
304・・・チェック処理部、
305・・・抽出処理部、
306・・・変換・加工処理部、
307・・・ロード処理部、
308・・・定義ファイル、
309・・・処理結果ファイル、
310・・・移行元サーバ、
311・・・移行元DB、
312・・・定義ファイル作成部
313・・・クレンジング処理部
320・・・移行先サーバ、
321・・・移行先DB、
330・・・クライアント、
331・・表示装置、
340、341、342・・・LAN、
351・・・オンライン処理部、
352・・・バッチ処理部、
353・・・ファイル情報格納部。
Claims (6)
- 表示装置を備えるクライアントと、移行元DBを備える移行元サーバと、移行先DBを備える移行先サーバとを具備し、前記移行元DBから前記移行先DBへデータ移行処理を実施するデータ移行システムであって、
前記クライアントからの指示を受け付ける画面処理部と、
後続の各処理で用いる処理条件を定義する定義ファイルを作成し、記憶領域に格納する定義ファイル作成部と、
前記クライアントからの指示に基づき、前記移行元DBをクレンジングするクレンジング処理部と、
前記記憶領域から読み出した定義ファイルを用いて、前記クレンジング前又は後の移行元DBのデータの妥当性のチェック処理を実施し、チェック処理結果を出力するチェック処理部と、
前記記憶領域から読み出した定義ファイルを用いて、前記チェック後及びクレンジング後の移行元DBから移行対象となるデータを抽出し、抽出処理結果を出力する抽出処理部と、
前記記憶領域から読み出した定義ファイルを用いて、前記抽出後の移行元DBを変換及び又は加工し、変換加工処理結果を出力する変換加工処理部と、
前記記憶領域から読み出した定義ファイルを用いて、前記変換及び又は加工後の移行元DBを前記移行先DBへロードし、ロード処理結果を出力するロード処理部と、
前記記憶領域から読み出した定義ファイルを用いて、前記ロード後の移行先DBに格納されたデータの妥当性を検証し、検証処理結果を出力する検証処理部と
を備え、
前記画面処理部は、前記表示装置に前記チェック処理結果および検証処理結果を表示することを特徴とするデータ移行システム。 - 前記定義ファイルは、少なくとも、
前記移行元DB内のテーブルの項目毎に、チェックを必須とする項目、データの属性、またはデータの範囲を定義するチェック定義ファイルと、
前記移行元DBおよび移行先DBに含まれるそれぞれのテーブルについて、対応するテーブル項目を紐付けした情報を保持するとともに、対応するテーブル項目毎のデータを比較検証するための条件を定義する検証定義ファイルと
を有することを特徴とする請求項1記載のデータ移行システム。 - ユーザからの指示により、移行元サーバに備えられた移行元DBを移行先サーバに備えられた移行先DBへ、データ移行処理を実施するデータ移行装置であって、
前記ユーザからの指示を受け付ける画面処理部と、
後続の各処理で用いる処理条件を定義する定義ファイルを作成し、記憶領域に格納する定義ファイル作成部と、
前記ユーザからの指示に基づき、前記移行元DBをクレンジングするクレンジング処理部と、
前記記憶領域から読み出した定義ファイルを用いて、前記クレンジング前又は後の移行元DBのデータの妥当性のチェック処理を実施し、チェック処理結果を出力するチェック処理部と、
前記記憶領域から読み出した定義ファイルを用いて、前記チェック後及びクレンジング後の移行元DBから移行対象となるデータを抽出し、抽出処理結果を出力する抽出処理部と、
前記記憶領域から読み出した定義ファイルを用いて、前記抽出後の移行元DBを変換及び又は加工し、変換加工処理結果を出力する変換加工処理部と、
前記記憶領域から読み出した定義ファイルを用いて、前記変換及び又は加工後の移行元DBを前記移行先DBへロードし、ロード処理結果を出力するロード処理部と、
前記記憶領域から読み出した定義ファイルを用いて、前記ロード後の移行先DBに格納されたデータの妥当性を検証し、検証処理結果を出力する検証処理部と
を備え、
前記画面処理部は、表示装置に前記チェック処理結果および検証処理結果を表示することを特徴とするデータ移行装置。 - 前記定義ファイルは、少なくとも、
前記移行元DB内のテーブルの項目毎に、チェックを必須とする項目、データの属性、またはデータの範囲を定義するチェック定義ファイルと、
前記移行元DBおよび移行先DBに含まれるそれぞれのテーブルについて、対応するテーブル項目を紐付けした情報を保持するとともに、対応するテーブル項目毎のデータを比較検証するための条件を定義する検証定義ファイルと
を有することを特徴とする請求項3記載のデータ移行装置。 - ユーザからの指示により、移行元サーバに備えられた移行元DBを移行先サーバに備えられた移行先DBへ、データ移行処理を実施するデータ移行方法であって、
画面処理部が、前記クライアントからの指示を受け付けるステップと、
定義ファイル作成部が、後続の各処理で用いる処理条件を定義する定義ファイルを作成し、記憶領域に格納するステップと、
クレンジング処理部が、前記ユーザからの指示に基づき、前記移行元DBをクレンジングするステップと、
チェック処理部が、前記記憶領域から読み出した定義ファイルを用いて、前記クレンジング前又は後の移行元DBのデータの妥当性のチェック処理を実施し、チェック処理結果を出力するステップと、
前記画面処理部が、表示装置に前記チェック処理結果を表示するステップと、
抽出処理部が、前記記憶領域から読み出した定義ファイルを用いて、前記チェック後及びクレンジング後の移行元DBから移行対象となるデータを抽出し、抽出処理結果を出力するステップと、
変換加工処理部が、前記記憶領域から読み出した定義ファイルを用いて、前記抽出後の移行元DBを変換及び又は加工し、変換加工処理結果を出力するステップと、
ロード処理部が、前記記憶領域から読み出した定義ファイルを用いて、前記変換及び又は加工後の移行元DBを前記移行先DBへロードし、ロード処理結果を出力するステップと、
検証処理部が、前記記憶領域から読み出した定義ファイルを用いて、前記ロード後の移行先DBに格納されたデータの妥当性を検証し、検証処理結果を出力するステップと、
前記画面処理部が、前記表示装置に前記検証処理結果を表示するステップと
を備えることを特徴とするデータ移行方法。 - 前記定義ファイルは、少なくとも、
前記移行元DB内のテーブルの項目毎に、チェックを必須とする項目、データの属性、またはデータの範囲を定義するチェック定義ファイルと、
前記移行元DBおよび移行先DBに含まれるそれぞれのテーブルについて、対応するテーブル項目を紐付けした情報を保持するとともに、対応するテーブル項目毎のデータを比較検証するための条件を定義する検証定義ファイルと
を有することを特徴とする請求項5記載のデータ移行方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011000187A JP2012141847A (ja) | 2011-01-04 | 2011-01-04 | データ移行システム、データ移行装置、及びデータ移行方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011000187A JP2012141847A (ja) | 2011-01-04 | 2011-01-04 | データ移行システム、データ移行装置、及びデータ移行方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012141847A true JP2012141847A (ja) | 2012-07-26 |
Family
ID=46678070
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011000187A Pending JP2012141847A (ja) | 2011-01-04 | 2011-01-04 | データ移行システム、データ移行装置、及びデータ移行方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012141847A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013146884A1 (ja) * | 2012-03-27 | 2013-10-03 | 日本電気株式会社 | データクレンジングシステム、方法およびプログラム |
WO2015182478A1 (ja) * | 2014-05-30 | 2015-12-03 | オリンパス株式会社 | 医療用システム及び医療用装置の設定値移行方法 |
JP2018527674A (ja) * | 2015-05-08 | 2018-09-20 | フロージョー エルエルシーFlowJo, LLC | データ発見ノード |
CN112199371A (zh) * | 2020-09-18 | 2021-01-08 | 中国建设银行股份有限公司 | 一种数据迁移方法、装置、计算机设备和存储介质 |
CN115422168A (zh) * | 2022-11-02 | 2022-12-02 | 北京滴普科技有限公司 | 一种轻量级数据迁移装置及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004240524A (ja) * | 2003-02-04 | 2004-08-26 | Hitachi Ltd | 介護保険事務支援システムのデータ移行方法及びそのシステム |
JP2005266973A (ja) * | 2004-03-16 | 2005-09-29 | Kyowa Exeo Corp | データ移行方法および装置 |
WO2007083371A1 (ja) * | 2006-01-18 | 2007-07-26 | Fujitsu Limited | データ統合装置、方法、プログラムを記録した記録媒体 |
-
2011
- 2011-01-04 JP JP2011000187A patent/JP2012141847A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004240524A (ja) * | 2003-02-04 | 2004-08-26 | Hitachi Ltd | 介護保険事務支援システムのデータ移行方法及びそのシステム |
JP2005266973A (ja) * | 2004-03-16 | 2005-09-29 | Kyowa Exeo Corp | データ移行方法および装置 |
WO2007083371A1 (ja) * | 2006-01-18 | 2007-07-26 | Fujitsu Limited | データ統合装置、方法、プログラムを記録した記録媒体 |
Non-Patent Citations (2)
Title |
---|
CSND200601349005; 岡本 藍: 'BI環境を構築する製品の実態 進む価格下落、広がる選択肢' 日経コンピュータ No.659, 200608, pp.52-61, 日経BP社 * |
JPN6014007883; 岡本 藍: 'BI環境を構築する製品の実態 進む価格下落、広がる選択肢' 日経コンピュータ No.659, 200608, pp.52-61, 日経BP社 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013146884A1 (ja) * | 2012-03-27 | 2013-10-03 | 日本電気株式会社 | データクレンジングシステム、方法およびプログラム |
WO2015182478A1 (ja) * | 2014-05-30 | 2015-12-03 | オリンパス株式会社 | 医療用システム及び医療用装置の設定値移行方法 |
JP2018527674A (ja) * | 2015-05-08 | 2018-09-20 | フロージョー エルエルシーFlowJo, LLC | データ発見ノード |
US10783439B2 (en) | 2015-05-08 | 2020-09-22 | FlowJo, LLC | Plugin interface and framework for integrating a remote server with sample data analysis software |
CN112199371A (zh) * | 2020-09-18 | 2021-01-08 | 中国建设银行股份有限公司 | 一种数据迁移方法、装置、计算机设备和存储介质 |
CN112199371B (zh) * | 2020-09-18 | 2024-10-01 | 中国建设银行股份有限公司 | 一种数据迁移方法、装置、计算机设备和存储介质 |
CN115422168A (zh) * | 2022-11-02 | 2022-12-02 | 北京滴普科技有限公司 | 一种轻量级数据迁移装置及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8078651B2 (en) | Match rules to identify duplicate records in inbound data | |
US8065323B2 (en) | Offline validation of data in a database system for foreign key constraints | |
US8887135B2 (en) | Generating test cases for functional testing of a software application | |
US7617451B2 (en) | Structuring data for word processing documents | |
US9552214B2 (en) | Tool for automated extraction and loading of configuration settings | |
US20190042208A1 (en) | Analyzing objects from a graphical interface for standards verification | |
JP2012141847A (ja) | データ移行システム、データ移行装置、及びデータ移行方法 | |
US20230046582A1 (en) | Cloud-based api metadata management method and system for integrated api management | |
US20170060974A1 (en) | Automated conversion tool for facilitating migration between data integration products | |
CN113138781B (zh) | Csv配置更新方法、存储介质 | |
CN111061733A (zh) | 数据处理方法、装置、电子设备和计算机可读存储介质 | |
US9390073B2 (en) | Electronic file comparator | |
CN108694172B (zh) | 信息输出方法和装置 | |
US20210200833A1 (en) | Health diagnostics and analytics for object repositories | |
CN107247904B (zh) | 一种安全基线项目同步方法及装置 | |
WO2017072872A1 (ja) | 業務プログラム生成支援システムおよび業務プログラム生成支援方法 | |
CN115587045A (zh) | 测试用例的生成方法、装置、设备、存储介质和程序产品 | |
US11144287B2 (en) | Compile time validation of programming code | |
JP2006302212A (ja) | データベースへのデータ登録プログラム | |
CN114547060A (zh) | 一种政务事项数据交换方法及系统 | |
CN113918593A (zh) | 识别金融数据异常的方法及装置、存储介质、计算设备 | |
CN111782629A (zh) | 一种特征加工脚本生成方法及装置 | |
CN112130860A (zh) | Json对象解析方法、装置、电子设备及存储介质 | |
JP2015076025A (ja) | プログラムバージョンアップ支援方法及びシステム | |
JP2013114443A (ja) | 資材リリース確認支援システム、資材リリース確認支援方法、資材リリース確認支援プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130724 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140225 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140425 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140902 |