JP2017521778A - データ品質例外を処理するための方法、コンピュータ・プログラム、および例外エンジン - Google Patents
データ品質例外を処理するための方法、コンピュータ・プログラム、および例外エンジン Download PDFInfo
- Publication number
- JP2017521778A JP2017521778A JP2016575685A JP2016575685A JP2017521778A JP 2017521778 A JP2017521778 A JP 2017521778A JP 2016575685 A JP2016575685 A JP 2016575685A JP 2016575685 A JP2016575685 A JP 2016575685A JP 2017521778 A JP2017521778 A JP 2017521778A
- Authority
- JP
- Japan
- Prior art keywords
- exception
- data
- technical
- description
- data quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0766—Error or fault reporting or storing
- G06F11/0769—Readable error formats, e.g. cross-platform generic formats, human understandable formats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0766—Error or fault reporting or storing
- G06F11/0787—Storage of error reports, e.g. persistent data storage, storage using memory protection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
101 例外エンジン
103 プロセッサ
105 メモリ
107 バス
109 ネットワーク・アダプタ
111 ストレージ
113 接続
115 接続
119 I/Oインターフェース
121 データ・ソース
123A〜N 技術サポート・システム
125 グループ化規則
400 データ処理システム
401 例外マネージャ
403 根本原因アナライザ
405 ゲート・キーパ
407 改善モニタ
409 改善DB
411 情報アナライザ
413 MDMサーバ
421 データ・ソース
423 技術サポート・システム
425 改善ツール
427 改善処理
431 データベース
Claims (13)
- データ処理システム(100)においてデータ品質例外を処理する方法であって、前記データ処理システム(100)は1つまたは複数のデータ・ソース(121)にアクセスすることができ、前記データ処理システム(100)は、前記データ品質例外の技術的修復を提供するための複数の技術サポート・システム(123A〜N)にさらにアクセスすることができ、前記複数の技術サポート・システム(123A〜N)は、1つまたは複数の事前定義済みの技術タスクを有し、前記方法は、
データ品質例外を例外グループに割り当てること、および前記1つまたは複数の事前定義済み技術タスクのうちの少なくとも1つの技術タスクを使用して、前記例外グループにおける例外の技術的修復を提供する役割を担う前記複数の技術サポート・システムのうちの1つの技術サポート・システムに各例外グループを関連付けることのために、事前定義済みグループ化規則(125)を提供することと、
前記データ処理システム(100)の例外エンジン(101)によって、前記1つまたは複数のデータ・ソースのうちの少なくとも第1のデータ・ソース(121)から、前記第1のデータ・ソース(121)のデータ・セットにおける少なくとも第1のデータ品質例外の第1の記述を受信することと、
前記第1の記述を使用して前記第1のデータ品質例外を少なくとも第1の例外グループに割り当てるため、および前記1つまたは複数の技術タスクのうちの第1の技術タスクを使用して前記第1の例外グループを前記複数の技術サポート・システムのうちの第1の技術サポート・システムに関連付けるために前記グループ化規則を使用することと、
前記例外エンジン(101)によって、前記第1の例外グループにおける例外の技術的修復を提供するために前記第1の記述の少なくとも一部を前記第1の技術サポート・システムにルーティングすることと
を含む、方法。 - 前記第1の例外グループを前記第1の技術サポート・システムに割り当てることは、
前記第1のデータ品質例外の影響を受けるとともに前記第1の技術タスクに対応する前記データ・セットの第1のデータ項目を示す標識を取得するために、前記データ・ソースに要求を送信することと、
応答が前記第1のデータ項目を示す前記要求に対する応答メッセージを受信することと
を含む、請求項1に記載の方法。 - 前記第1の例外グループを前記第1の技術サポート・システムに関連付けることは、前記第1の記述を使用して行われ、前記第1の記述は、前記第1のデータ品質例外の影響を受けるとともに前記第1の技術タスクに対応する前記データ・セットの第1のデータ項目を示す標識を含む、請求項1または2に記載の方法。
- 前記第1のデータ品質例外を前記第1の記述を使用して第2の例外グループに割り当てるため、および前記1つまたは複数の技術タスクのうちの第2の技術タスクを使用して、前記第2の例外グループを前記複数の技術サポート・システムのうちの第2の技術サポート・システムに関連付けるために、前記グループ化規則を使用することと、
前記第1のデータ品質例外の影響を受けるとともに前記第2の技術タスクに対応する前記データ・セットのデータ項目を示す標識を取得するために、前記データ・ソースに要求を送信することと、
前記要求に応答して、ゼロ項目を示す応答を受信することと、
前記第2の例外グループにおける例外の技術的修復を提供するために前記第2の技術サポート・システムに前記第1の記述の少なくとも一部が前記例外エンジンによってルーティングされるの防ぐことと
をさらに含む、請求項2に記載の方法。 - ルーティングの前に、
前記データ処理システムの第2のデータ・ソースから、前記第2のデータ・ソースのデータ・セットにおける第2のデータ品質例外の第2の記述を受信することと、
前記第2の記述を使用して前記第2のデータ品質例外を前記第1の例外グループに割り当てるために前記グループ化規則を使用することと
をさらに含み、ルーティングすることは、前記例外エンジンによって前記第1の記述の少なくとも一部および前記第2の記述を前記第1の技術サポート・システムにルーティングすることを含む、請求項1ないし4のいずれかに記載の方法。 - 前記グループ化規則は、前記第1の記述の少なくとも一部と前記第1の技術タスクとに関する条件を含む、請求項1ないし5のいずれかに記載の方法。
- 前記第1の記述は、
前記データ・セットを示す標識と、
前記第1のデータ・ソースにおける前記第1のデータ品質例外の発生時刻と、
前記第1のデータ品質例外の影響を受ける前記データ・セット内のデータの量と、
前記第1のデータ品質例外を検出するために使用される例外検出アルゴリズムと、
前記データ・セットのデータ・タイプと、
前記第1のデータ品質例外の技術的記述と、
前記データ・セットにおける最後の変更時刻を示す標識と、
のうちの少なくとも1つを含む、請求項1ないし6のいずれかに記載の方法。 - ルーティングの前に、
前記処理システムの第2のデータ・ソースから前記第2のデータ・ソースのデータ・セットにおける少なくとも第2のデータ品質例外の第2の記述を受信することであって、前記第1および第2の記述が、前記第1および第2のデータ品質例外をそれぞれ記述する第1および第2の例外属性値を示す、前記受信することと、
前記第2の記述を使用して前記第2のデータ品質例外を前記第1の例外グループに割り当てるために前記グループ化規則を使用することと、
前記第1および第2の例外属性値を評価し、それに基づいて前記第1および第2の例外属性に関連する依存関係例外属性を判断することと、
前記依存関係例外属性に関連付けられた根本データ品質例外を判断することと、
前記第1および第2の記述を使用して前記根本データ品質例外の記述を提供することと
をさらに含み、ルーティングが、前記根本データ品質例外の技術的修復を提供するために前記例外エンジンによって前記記述の少なくとも一部を前記第1の技術サポート・システムにルーティングすることを含み、それによって前記第1および第2のデータ品質例外の前記技術的修復を提供する、請求項1ないし7のいずれかに記載の方法。 - 前記第1のデータ品質例外の影響を受ける前記データ・セットの第1のデータ項目の数を判断することと、
第1のデータ項目の数が所定の最大項目数より多いと判断することと、
前記第1の例外グループを少なくとも2つの例外サブグループに分割し、前記第1の技術タスクを使用して前記少なくとも2つの例外サブグループを少なくとも前記第1の技術サポート・システムに関連付けることと、
前記少なくとも2つの例外サブグループのそれぞれについて記述を生成することと、
前記少なくとも2つの例外サブグループに技術的修復を提供するために、前記記述を少なくとも前記第1の技術サポート・システムにルーティングすることと
をさらに含む、請求項1ないし8のいずれかに記載の方法。 - 前記ルーティングが事前定義済みの時間間隔で繰り返される、請求項1ないし9のいずれかに記載の方法。
- 前記第1のデータ・ソースと前記第1の技術サポート・システムのそれぞれが、前記データ処理システムのネットワークのエンドホスト・システムを含む、請求項1ないし10のいずれかに記載の方法。
- 請求項1ないし11のいずれか一項に記載の方法の前記方法ステップを実行するためのコンピュータ実行可能命令を含む、コンピュータ・プログラム製品。
- データ処理システムにおいてデータ品質例外を処理するための例外エンジンであって、前記データ処理システムは1つまたは複数のデータ・ソースにアクセスすることができ、前記データ処理システムは、前記データ品質例外の技術的修復を提供するための複数の技術サポート・システムにさらにアクセスすることができ、前記複数の技術サポート・システムは、1つまたは複数の事前定義済みの技術タスクを有し、データ品質例外を例外グループに割り当てることと、前記例外グループにおける例外の技術的修復を提供する役割を担う前記1つまたは複数の事前定義済み技術タスクのうちの少なくとも1つの技術タスクを使用して各例外グループを前記複数の技術サポート・システムのうちの技術サポート・システムに関連付けることとのために、事前定義済みグループ化規則が提供され、前記例外エンジンは、
前記1つまたは複数のデータ・ソースのうちの少なくとも第1のデータ・ソース(121)から、前記第1のデータ・ソース(121)のデータ・セットにおける少なくとも第1のデータ品質例外の第1の記述を受信し、
前記第1の記述を使用して前記第1のデータ品質例外を少なくとも第1の例外グループに割り当てること、および前記1つまたは複数の技術タスクのうちの第1の技術タスクを使用して前記第1の例外グループを前記複数の技術サポート・システムのうちの第1の技術サポート・システムに関連付けることのために前記グループ化規則を使用し、
前記第1の例外グループにおける例外の技術的修復を提供するために前記第1の記述の少なくとも一部を前記第1の技術サポート・システムにルーティングする
ように構成された、例外エンジン。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1412121.4 | 2014-07-08 | ||
GB1412121.4A GB2528066A (en) | 2014-07-08 | 2014-07-08 | A method for processing data quality exceptions in a data processing system |
PCT/IB2015/055128 WO2016005898A1 (en) | 2014-07-08 | 2015-07-07 | Method for processing data quality exceptions in data processing system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017521778A true JP2017521778A (ja) | 2017-08-03 |
JP6534402B2 JP6534402B2 (ja) | 2019-06-26 |
Family
ID=51410790
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016575685A Expired - Fee Related JP6534402B2 (ja) | 2014-07-08 | 2015-07-07 | データ品質例外を処理するための方法、コンピュータ・プログラム、および例外エンジン |
Country Status (5)
Country | Link |
---|---|
US (1) | US9697066B2 (ja) |
JP (1) | JP6534402B2 (ja) |
CN (1) | CN106537350A (ja) |
GB (1) | GB2528066A (ja) |
WO (1) | WO2016005898A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2528066A (en) | 2014-07-08 | 2016-01-13 | Ibm | A method for processing data quality exceptions in a data processing system |
US20160019534A1 (en) * | 2014-07-16 | 2016-01-21 | Mastercard International Incorporated | Systems and Methods for Monitoring Performance of Payment Networks Through Distributed Computing |
CN107688504A (zh) * | 2016-08-05 | 2018-02-13 | 中兴通讯股份有限公司 | 数据管理异常的补救方法及系统 |
US11106643B1 (en) * | 2017-08-02 | 2021-08-31 | Synchrony Bank | System and method for integrating systems to implement data quality processing |
CN109828883B (zh) * | 2017-11-23 | 2023-03-17 | 腾讯科技(北京)有限公司 | 任务数据处理方法和装置、存储介质及电子装置 |
CN110109768B (zh) * | 2019-03-29 | 2023-02-17 | 创新先进技术有限公司 | 一种数据质量巡检方法及装置 |
CN110597649B (zh) * | 2019-09-06 | 2023-06-27 | 创新先进技术有限公司 | 一种数据处理方法、系统及装置 |
CN111459646B (zh) * | 2020-05-09 | 2023-03-21 | 南京大学 | 基于管道模型与任务合并的大数据质量管理任务调度方法 |
CN113760945A (zh) * | 2020-08-11 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 一种审核sql语句的方法及装置 |
CN112486767B (zh) * | 2020-11-25 | 2022-10-18 | 中移(杭州)信息技术有限公司 | 云资源的智能监控方法、系统、服务器以及存储介质 |
US11789967B2 (en) | 2021-05-07 | 2023-10-17 | Bank Of America Corporation | Recovering from data processing errors by data error detection and correction |
US11734238B2 (en) | 2021-05-07 | 2023-08-22 | Bank Of America Corporation | Correcting data errors for data processing fault recovery |
CN114190916B (zh) * | 2021-12-07 | 2023-05-23 | 河南省儿童医院郑州儿童医院 | 一种基于织物传感器的儿童呼吸监控方法及系统 |
CN116401090B (zh) * | 2023-04-23 | 2024-01-30 | 中航信移动科技有限公司 | 一种基于数据更新的异常数据源确定方法 |
CN116383083B (zh) * | 2023-04-23 | 2024-01-12 | 中航信移动科技有限公司 | 基于多接口连接的异常数据源确定方法及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006344012A (ja) * | 2005-06-09 | 2006-12-21 | Toshiba Corp | データ入力システム、データ入力プログラム |
US20080021822A1 (en) * | 2006-07-18 | 2008-01-24 | Jpmorgan Chase Bank, N.A. | Method and system for receivables management |
US20130275170A1 (en) * | 2012-04-13 | 2013-10-17 | International Business Machines Corporation | Information governance crowd sourcing |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7116759B2 (en) | 2003-06-30 | 2006-10-03 | Bellsouth Intellectual Property Corporation | Method, system and computer program product for facilitating the analysis of automatic line insulation testing data |
US7849062B1 (en) | 2005-03-18 | 2010-12-07 | Beyondcore, Inc. | Identifying and using critical fields in quality management |
US7844641B1 (en) | 2005-03-18 | 2010-11-30 | Beyondcore Inc. | Quality management in a data-processing environment |
US20070179833A1 (en) | 2006-01-31 | 2007-08-02 | Infosys Technologies Ltd. | Assisted business process exception management |
US7251578B1 (en) | 2006-03-10 | 2007-07-31 | Yahoo! Inc. | Method and system of measuring data quality |
US8458148B2 (en) | 2009-09-22 | 2013-06-04 | Oracle International Corporation | Data governance manager for master data management hubs |
US20120159133A1 (en) | 2010-12-17 | 2012-06-21 | Microsoft Corporation | Business exception management pattern for business processes |
US8688625B1 (en) | 2010-12-31 | 2014-04-01 | United Services Automobile Association (Usaa) | Extract, transform, and load application complexity management framework |
US10013439B2 (en) | 2011-06-27 | 2018-07-03 | International Business Machines Corporation | Automatic generation of instantiation rules to determine quality of data migration |
US8666919B2 (en) | 2011-07-29 | 2014-03-04 | Accenture Global Services Limited | Data quality management for profiling, linking, cleansing and migrating data |
US9354968B2 (en) * | 2011-09-30 | 2016-05-31 | Johnson Controls Technology Company | Systems and methods for data quality control and cleansing |
US8577833B2 (en) | 2012-01-04 | 2013-11-05 | International Business Machines Corporation | Automated data analysis and transformation |
CN102629223B (zh) | 2012-02-28 | 2015-04-01 | 北京搜狐新媒体信息技术有限公司 | 一种数据修复方法及装置 |
GB2502768A (en) * | 2012-04-12 | 2013-12-11 | Qatar Foundation | Correcting database errors |
US8751438B2 (en) | 2012-04-13 | 2014-06-10 | Verizon Patent And Licensing Inc. | Data extraction, transformation, and loading |
WO2013187816A1 (en) | 2012-06-15 | 2013-12-19 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and a consistency checker for finding data inconsistencies in a data repository |
US9195725B2 (en) * | 2012-07-23 | 2015-11-24 | International Business Machines Corporation | Resolving database integration conflicts using data provenance |
GB2505184A (en) * | 2012-08-21 | 2014-02-26 | Ibm | Checking data quality of an application program by monitoring runtime behaviour |
US9576036B2 (en) | 2013-03-15 | 2017-02-21 | International Business Machines Corporation | Self-analyzing data processing job to determine data quality issues |
CN103226499B (zh) | 2013-04-22 | 2016-02-24 | 华为技术有限公司 | 一种恢复内部存储器中的异常数据的方法及装置 |
GB2528066A (en) | 2014-07-08 | 2016-01-13 | Ibm | A method for processing data quality exceptions in a data processing system |
GB201417129D0 (en) | 2014-09-29 | 2014-11-12 | Ibm | A method of processing data errors for a data processing system |
-
2014
- 2014-07-08 GB GB1412121.4A patent/GB2528066A/en not_active Withdrawn
-
2015
- 2015-03-26 US US14/669,410 patent/US9697066B2/en not_active Expired - Fee Related
- 2015-07-07 CN CN201580036703.2A patent/CN106537350A/zh active Pending
- 2015-07-07 WO PCT/IB2015/055128 patent/WO2016005898A1/en active Application Filing
- 2015-07-07 JP JP2016575685A patent/JP6534402B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006344012A (ja) * | 2005-06-09 | 2006-12-21 | Toshiba Corp | データ入力システム、データ入力プログラム |
US20080021822A1 (en) * | 2006-07-18 | 2008-01-24 | Jpmorgan Chase Bank, N.A. | Method and system for receivables management |
US20130275170A1 (en) * | 2012-04-13 | 2013-10-17 | International Business Machines Corporation | Information governance crowd sourcing |
Also Published As
Publication number | Publication date |
---|---|
WO2016005898A1 (en) | 2016-01-14 |
CN106537350A (zh) | 2017-03-22 |
JP6534402B2 (ja) | 2019-06-26 |
US20160011926A1 (en) | 2016-01-14 |
GB201412121D0 (en) | 2014-08-20 |
GB2528066A (en) | 2016-01-13 |
US9697066B2 (en) | 2017-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6534402B2 (ja) | データ品質例外を処理するための方法、コンピュータ・プログラム、および例外エンジン | |
US10108914B2 (en) | Method and system for morphing object types in enterprise content management systems | |
US20190057101A1 (en) | Efficient deletion of archive records after expiration of a tenant-defined retention period | |
JP2021515330A (ja) | データオブジェクトストアのためのデータ保持ハンドリング | |
US10949395B2 (en) | Cross objects de-duplication | |
US10303393B2 (en) | Technology for governance of data retention and transfer | |
US20130117319A1 (en) | Objects in a storage environment for connected applications | |
WO2013038489A1 (ja) | 計算機システム、クライアント計算機の管理方法及び記憶媒体 | |
US11431572B2 (en) | Semantic detection and resolution of conflicts and redundancies in network function virtualization policies | |
JP5745932B2 (ja) | グラフデータに写像の像であるオブジェクトに対する操作を反映する方法、プログラム、および、システム | |
US10509641B2 (en) | Optimizing feature deployment based on usage pattern | |
US20220197950A1 (en) | Eliminating many-to-many joins between database tables | |
US20230040635A1 (en) | Graph-based impact analysis of misconfigured or compromised cloud resources | |
US20230281179A1 (en) | Load Balancing For A Storage System | |
US9300522B2 (en) | Information technology asset management | |
US11082284B1 (en) | Applying configurations to applications in a multi-server environment | |
Henze et al. | Complying with data handling requirements in cloud storage systems | |
CN106095511A (zh) | 一种服务器升级方法和装置 | |
CN110083509B (zh) | 一种日志数据的规整方法及装置 | |
US8015207B2 (en) | Method and apparatus for unstructured data mining and distributed processing | |
US20160140191A1 (en) | Method and apparatus for the storage and retrieval of time stamped blocks of data | |
JPWO2020152845A1 (ja) | セキュリティ情報分析装置、システム、方法およびプログラム | |
US11561979B2 (en) | Dynamically detecting and correcting errors in queries | |
US11823133B1 (en) | Core decision engine for managing software development lifecycles | |
CN111488242B (zh) | 将条带化备份加标签和路由到重复数据删除设备上的单个重复数据删除实例的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170427 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180425 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190418 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190528 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6534402 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |