JP2018523195A5 - - Google Patents

Download PDF

Info

Publication number
JP2018523195A5
JP2018523195A5 JP2017559576A JP2017559576A JP2018523195A5 JP 2018523195 A5 JP2018523195 A5 JP 2018523195A5 JP 2017559576 A JP2017559576 A JP 2017559576A JP 2017559576 A JP2017559576 A JP 2017559576A JP 2018523195 A5 JP2018523195 A5 JP 2018523195A5
Authority
JP
Japan
Prior art keywords
data set
data
subset
upstream
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017559576A
Other languages
English (en)
Other versions
JP6707564B2 (ja
JP2018523195A (ja
Filing date
Publication date
Priority claimed from US15/175,793 external-priority patent/US10409802B2/en
Application filed filed Critical
Publication of JP2018523195A publication Critical patent/JP2018523195A/ja
Publication of JP2018523195A5 publication Critical patent/JP2018523195A5/ja
Application granted granted Critical
Publication of JP6707564B2 publication Critical patent/JP6707564B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (56)

  1. データ処理システムによって生成される出力データセットを示す情報を受信することと、
    前記出力データセットに関係するデータ系列情報に基づき、前記出力データセットが依拠する1つ又は複数のアップストリームデータセットを識別することと、
    前記出力データセットが依拠する前記識別された1つ又は複数のアップストリームデータセットの1つ又は複数を分析することであって、前記1つ又は複数のアップストリームデータセットのうちの特定のアップストリームデータセットごとに、
    (i)前記特定のアップストリームデータセットのプロファイルと前記特定のアップストリームデータセットに関する基準プロファイルとの間の許容偏差を示す第1の規則、及び
    (ii)前記特定のアップストリームデータセット内の1つ又は複数のデータ要素のそれぞれに関する1つ又は複数の許容値又は禁止値を示す第2の規則
    のうちの1つ又は複数を適用し、前記1つ又は複数の規則を適用した結果に基づき、前記アップストリームデータセットの1つ又は複数を選択すること、
    を含む、分析することと、
    前記選択された1つ又は複数のアップストリームデータセットに関連する情報を出力することと、
    を含む、方法。
  2. 前記第1の規則及び前記第2の規則の1つ又は複数が自動で生成される、請求項1に記載の方法。
  3. 前記第1の規則が、前記特定のアップストリームデータセットの履歴プロファイルの自動分析に基づいて自動で生成される、請求項2に記載の方法。
  4. 前記基準プロファイルが、前記特定のアップストリームデータセットに関する履歴平均プロファイルに基づく、請求項3に記載の方法。
  5. 前記第2の規則が、前記特定のアップストリームデータセット内の前記1つ又は複数のデータ要素に関する履歴値の自動分析に基づいて自動で生成される、請求項2に記載の方法。
  6. 前記許容値又は禁止値が前記自動分析に基づいて決定される、請求項5に記載の方法。
  7. 前記第1の規則及び前記第2の規則の1つ又は複数がユーザによって指定される、請求項1に記載の方法。
  8. 前記第1の規則及び前記第2の規則の1つ又は複数の指定を、ユーザインタフェースを通して受信することを含む、請求項1に記載の方法。
  9. データ系列情報が、前記出力データセットが依拠する1つ又は複数のデータセット、前記出力データセットに依拠する1つ又は複数のデータセット、又はその両方を示す、請求項1に記載の方法。
  10. 前記データセットの部分集合を識別するために前記1つ又は複数のデータセットのそれぞれを分析することが、前記1つ又は複数のデータセットの何れが誤り又は起こり得る誤りを有するかを判定することを含み、
    前記方法が、前記部分集合に関して誤り又は起こり得る誤りを有する前記データセットを選択することを含む、請求項1に記載の方法。
  11. 前記データセットの部分集合を識別するために前記1つ又は複数のデータセットのそれぞれを分析することが、特定のデータセットであって、前記特定のデータセットの前記プロファイルと前記特定のデータセットに関する前記基準プロファイルとの間の偏差が、前記対応する第1の規則によって示される前記許容偏差を上回る、特定のデータセットを識別することを含み、
    前記方法が、前記部分集合のために前記特定のデータセットを選択することを含む、請求項1に記載の方法。
  12. 前記データセットの部分集合を識別するために前記1つ又は複数のデータセットのそれぞれを分析することが、前記対応する第2の規則によって示される前記許容値又は禁止値を満たさない値を有するデータ要素を有する特定のデータセットを識別することを含み、
    前記方法が、前記部分集合のために前記特定のデータセットを選択することを含む、請求項1に記載の方法。
  13. 前記出力データセット内のデータ要素を識別することを含み、前記出力データセットが依拠する前記1つ又は複数のデータセットを識別することが、前記出力データセット内の前記識別されたデータ要素に影響を及ぼすデータセットを識別することを含む、請求項1に記載の方法。
  14. 前記出力データセット内のデータ要素を識別することが、誤り又は起こり得る誤りを有するデータ要素を識別することを含む、請求項13に記載の方法。
  15. 前記アップストリームデータセットの1つ又は複数のプロファイルを生成することを含む、請求項1に記載の方法。
  16. 特定のデータセットのプロファイルを生成することが、前記特定のデータセットの新バージョンが受信されるときに前記特定のデータセットの新規プロファイルを生成することを含む、請求項15に記載の方法。
  17. 特定のデータセットに関する前記基準プロファイルが、前記特定のデータセットの1つ又は複数の過去のプロファイルから導出される、請求項1に記載の方法。
  18. 前記データセットの部分集合に関連する情報を出力することが、前記部分集合の前記データセットのそれぞれの識別子を出力することを含む、請求項1に記載の方法。
  19. 前記データセットの部分集合に関連する情報を出力することが、前記部分集合の前記データセットのそれぞれに関連する誤り又は起こり得る誤りの標識を出力することを含む、請求項1に記載の方法。
  20. 前記データ処理システムの表現をユーザインタフェース上で表示することを含み、前記データセットの部分集合に関連する情報を出力することが、前記データセットの部分集合の特定のデータセットの表現の近くに前記部分集合の前記特定のデータセットに関連する情報を表示することを含む、請求項1に記載の方法。
  21. 前記部分集合の前記特定のデータセットに関連する前記表示された情報が、前記特定のデータセットの前記プロファイルと前記特定のデータセットに関する前記基準プロファイルとの間の偏差を示す値を含む、請求項20に記載の方法。
  22. 前記部分集合の前記特定のデータセットに関連する前記表示された情報が、前記対応する第2の規則によって示される前記許容値又は禁止値を満たさない前記特定のデータセット内のデータ要素の数を表す値を含む、請求項20に記載の方法。
  23. 前記データセットの部分集合に関する情報を示す情報バブル又はポップアップウィンドウを表示することを含む、請求項20に記載の方法。
  24. ユーザが規則を追加するか、規則を修正するか、又は規則を除去することを可能にするためのユーザインタフェースを提供することを含む、請求項1に記載の方法。
  25. 前記データセットが1つ又は複数のソースデータセット及び1つ又は複数の基準データセットを含み、前記ソースデータセットが、前記データ処理システムによって処理されるデータ要素を含み、前記基準データセットが、前記ソースデータセット内の前記データ要素を処理する際に前記データ処理システムによって参照される基準値を含む、請求項1に記載の方法。
  26. 前記基準データセットが、前記データ処理システムに関連する企業体に関連するデータを含み、及び前記ソースデータセットが、前記企業体の顧客に関連するデータを含む、請求項25に記載の方法。
  27. 前記データ処理システムが変換要素を含み、及び前記方法が、前記出力データセットに影響を及ぼす1つ又は複数の変換要素を前記データ系列情報に基づいて識別することを含む、請求項1に記載の方法。
  28. 前記変換要素の何れの1つ又は複数が誤り又は起こり得る誤りを有するかを判定することを含む、請求項27に記載の方法。
  29. 特定のデータ処理要素が誤り又は起こり得る誤りを有するかどうかを、前記特定の変換要素に関連する実装日に基づいて判定することを含む、請求項28に記載の方法。
  30. データ処理システムによって生成される出力データセットを示す情報を受信することと、
    前記出力データセットに関係するデータ系列情報に基づき、前記出力データセットが依拠する1つ又は複数のアップストリームデータセットを識別することと、
    前記出力データセットが依拠する前記識別された1つ又は複数のアップストリームデータセットの1つ又は複数を分析することであって、前記1つ又は複数のアップストリームデータセットのうちの特定のアップストリームデータセットごとに、
    (i)前記特定のアップストリームデータセットのプロファイルと前記特定のアップストリームデータセットに関する基準プロファイルとの間の許容偏差を示す第1の規則、及び
    (ii)前記特定のアップストリームデータセット内の1つ又は複数のデータ要素のそれぞれに関する1つ又は複数の許容値又は禁止値を示す第2の規則
    のうちの1つ又は複数を適用し、前記1つ又は複数の規則を適用した結果に基づき、前記アップストリームデータセットの1つ又は複数を選択すること、
    を含む、分析することと、
    前記選択された1つ又は複数のアップストリームデータセットに関連する情報を出力することと、
    を計算システムに行わせるための命令を記憶する、非一時的コンピュータ可読媒体。
  31. メモリに結合される1つ又は複数のプロセッサを含む計算システムであって、前記1つ又は複数のプロセッサ及びメモリは、
    データ処理システムによって生成される出力データセットを示す情報を受信することと、
    前記出力データセットに関係するデータ系列情報に基づき、前記出力データセットが依拠する1つ又は複数のアップストリームデータセットを識別することと、
    前記出力データセットが依拠する前記識別された1つ又は複数のアップストリームデータセットの1つ又は複数を分析することであって、前記1つ又は複数のアップストリームデータセットのうちの特定のアップストリームデータセットごとに、
    (i)前記特定のアップストリームデータセットのプロファイルと前記特定のアップストリームデータセットに関する基準プロファイルとの間の許容偏差を示す第1の規則、及び
    (ii)前記特定のアップストリームデータセット内の1つ又は複数のデータ要素のそれぞれに関する1つ又は複数の許容値又は禁止値を示す第2の規則
    のうちの1つ又は複数を適用し、前記1つ又は複数の規則を適用した結果に基づき、前記アップストリームデータセットの1つ又は複数を選択すること、
    を含む、分析することと、
    前記選択された1つ又は複数のアップストリームデータセットに関連する情報を出力することと、
    を行うように構成される、計算システム。
  32. データ処理システムによって生成される出力データセットを示す情報を受信するための手段と、
    前記出力データセットに関係するデータ系列情報に基づき、前記出力データセットが依拠する1つ又は複数のアップストリームデータセットを識別するための手段と、
    前記出力データセットが依拠する前記識別された1つ又は複数のアップストリームデータセットの1つ又は複数を分析するための手段であって、前記分析することが、前記1つ又は複数のアップストリームデータセットのうちの特定のアップストリームデータセットごとに、
    (i)前記特定のアップストリームデータセットのプロファイルと前記特定のアップストリームデータセットに関する基準プロファイルとの間の許容偏差を示す第1の規則、及び
    (ii)前記特定のアップストリームデータセット内の1つ又は複数のデータ要素のそれぞれに関する1つ又は複数の許容値又は禁止値を示す第2の規則
    のうちの1つ又は複数を適用し、前記1つ又は複数の規則を適用した結果に基づき、前記アップストリームデータセットの1つ又は複数を選択すること、
    を含む、手段と、
    前記選択された1つ又は複数のアップストリームデータセットに関連する情報を出力するための手段と、
    を含む、計算システム。
  33. 1つ又は複数の前記第1の規則及び前記第2の規則は、自動的に生成される、請求項30に記載の非一時的コンピュータ可読媒体。
  34. 前記命令は、前記計算システムに、1つ又は複数の前記第1の規則及び前記第2の規則の指定を、ユーザインタフェースを通じて受信することを行わせる、請求項30に記載の非一時的コンピュータ可読媒体。
  35. 前記1つ又は複数のデータセットのそれぞれを分析して前記データセットの部分集合を識別することは、前記1つ又は複数のデータセットの何れが誤り又は起こり得る誤りを有するかを判定することを含み、
    前記命令は、前記計算システムに、前記誤り又は起こり得る誤りを有する前記データセットを、前記部分集合として選択することを行わせる、請求項30に記載の非一時的コンピュータ可読媒体。
  36. 前記1つ又は複数のデータセットのそれぞれを分析して前記データセットの部分集合を識別することは、特定のデータセットのプロファイルと、前記特定のデータセットの基準プロファイルとの間の偏差が、対応する前記第1の規則によって示される許容偏差を上回る特定のデータセットを識別することを含み、
    前記命令は、前記計算システムに、前記特定のデータセットを、前記部分集合として選択することを行わせる、請求項30に記載の非一時的コンピュータ可読媒体。
  37. 前記1つ又は複数のデータセットのそれぞれを分析して前記データセットの部分集合を識別することは、対応する前記第2の規則によって示される前記許容値又は前記禁止値を満たさない値を有するデータ要素を有する特定のデータセットを識別することを含み、
    前記命令は、前記計算システムに、前記特定のデータセットを、前記部分集合として選択することを行わせる、請求項30に記載の非一時的コンピュータ可読媒体。
  38. 前記命令は、前記計算システムに、前記出力データセット内のデータ要素を識別することを行わせ、
    前記出力データセットが依拠する前記一つ又は複数のデータセットを識別することは、前記出力データセット内の識別された前記データ要素に影響を及ぼすデータセットを識別することを含む、請求項30に記載の非一時的コンピュータ可読媒体。
  39. 前記命令は、前記計算システムに、前記1つ又は複数のアップストリームデータセットのプロファイルを生成することを行わせる、請求項30に記載の非一時的コンピュータ可読媒体。
  40. 前記命令は、前記計算システムに、前記データ処理システムの表現をユーザインタフェース上に表示することを行わせ、
    前記データセットの部分集合に関連する情報を出力することは、前記データセットの部分集合の特定のデータセットの表現の近くに部分集合の特定のデータセットに関連する情報を表示することを含む、請求項30に記載の非一時的コンピュータ可読媒体。
  41. 前記命令は、前記計算システムに、ユーザが規則を追加し、規則を修正し、又は規則を削除することを可能にするためのユーザインタフェースを提供することを行わせる、請求項30に記載の非一時的コンピュータ可読媒体。
  42. 前記データ処理システムは、変換要素を含み、
    前記命令は、前記計算システムに、前記出力データセットに影響を及ぼす1つ又は複数の変換要素を前記データ系列情報に基づいて識別することを行わせる、請求項30に記載の非一時的コンピュータ可読媒体。
  43. 前記命令は、前記計算システムに、前記変換要素の何れの1つ又は複数が誤り又は起こり得る誤りを有するかを判定することを行わせる、請求項30に記載の非一時的コンピュータ可読媒体。
  44. 前記命令は、前記計算システムに、特定のデータ処理要素が誤り又は起こり得る誤りを有するかどうかを、特定の変換要素に関連する実装日に基づいて判定することを行わせる、請求項30に記載の非一時的コンピュータ可読媒体。
  45. 1つ又は複数の前記第1の規則及び前記第2の規則は、自動的に生成される、請求項31に記載の計算システム。
  46. 前記1つ又は複数のプロセッサ及びメモリは、1つ又は複数の前記第1の規則及び前記第2の規則の指定を、ユーザインタフェースを通じて受信するように構成されている、請求項31に記載の計算システム。
  47. 前記1つ又は複数のデータセットのそれぞれを分析して前記データセットの部分集合を識別することは、前記1つ又は複数のデータセットの何れが誤り又は起こり得る誤りを有するかを判定することを含み、
    前記1つ又は複数のプロセッサ及びメモリは、前記誤り又は起こり得る誤りを有する前記データセットを、前記部分集合として選択するように構成されている、請求項31に記載の計算システム。
  48. 前記1つ又は複数のデータセットのそれぞれを分析して前記データセットの部分集合を識別することは、特定のデータセットのプロファイルと、前記特定のデータセットの基準プロファイルとの間の偏差が、対応する前記第1の規則によって示される許容偏差を上回る特定のデータセットを識別することを含み、
    前記1つ又は複数のプロセッサ及びメモリは、前記特定のデータセットを、前記部分集合として選択するように構成されている、請求項31に記載の計算システム。
  49. 前記1つ又は複数のデータセットのそれぞれを分析して前記データセットの部分集合を識別することは、対応する前記第2の規則によって示される前記許容値又は前記禁止値を満たさない値を有するデータ要素を有する特定のデータセットを識別することを含み、
    前記1つ又は複数のプロセッサ及びメモリは、前記特定のデータセットを、前記部分集合として選択するように構成されている、請求項31に記載の計算システム。
  50. 前記1つ又は複数のプロセッサ及びメモリは、前記出力データセット内のデータ要素を識別するように構成されており、前記出力データセットが依拠する前記一つ又は複数のデータセットを識別することは、前記出力データセット内の識別された前記データ要素に影響を及ぼすデータセットを識別することを含む、請求項31に記載の計算システム。
  51. 前記1つ又は複数のプロセッサ及びメモリは、前記1つ又は複数のアップストリームデータセットのプロファイルを生成するように構成されている、請求項31に記載の計算システム。
  52. 前記1つ又は複数のプロセッサ及びメモリは、前記データ処理システムの表現をユーザインタフェース上に表示するように構成されており、前記データセットの部分集合に関連する情報を出力することは、前記データセットの部分集合の特定のデータセットの表現の近くに部分集合の特定のデータセットに関連する情報を表示することを含む、請求項31に記載の計算システム。
  53. 前記1つ又は複数のプロセッサ及びメモリは、ユーザが規則を追加し、規則を修正し、又は規則を削除することを可能にするためのユーザインタフェースを提供するように構成されている、請求項31に記載の計算システム。
  54. 前記データ処理システムは、変換要素を含み、
    前記1つ又は複数のプロセッサ及びメモリは、前記出力データセットに影響を及ぼす1つ又は複数の変換要素を前記データ系列情報に基づいて識別するように構成されている、請求項31に記載の計算システム。
  55. 前記1つ又は複数のプロセッサ及びメモリは、前記変換要素の何れの1つ又は複数が誤り又は起こり得る誤りを有するかを判定するように構成されている、請求項54に記載の計算システム。
  56. 前記1つ又は複数のプロセッサ及びメモリは、特定のデータ処理要素が誤り又は起こり得る誤りを有するかどうかを、特定の変換要素に関連する実装日に基づいて判定するように構成されている、請求項55に記載の計算システム。
JP2017559576A 2015-06-12 2016-06-10 データ品質分析 Active JP6707564B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562174997P 2015-06-12 2015-06-12
US62/174,997 2015-06-12
US15/175,793 US10409802B2 (en) 2015-06-12 2016-06-07 Data quality analysis
US15/175,793 2016-06-07
PCT/US2016/036813 WO2016201176A1 (en) 2015-06-12 2016-06-10 Data quality analysis

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020088498A Division JP2020161147A (ja) 2015-06-12 2020-05-20 データ品質分析

Publications (3)

Publication Number Publication Date
JP2018523195A JP2018523195A (ja) 2018-08-16
JP2018523195A5 true JP2018523195A5 (ja) 2019-07-11
JP6707564B2 JP6707564B2 (ja) 2020-06-10

Family

ID=56178502

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2017559576A Active JP6707564B2 (ja) 2015-06-12 2016-06-10 データ品質分析
JP2020088498A Pending JP2020161147A (ja) 2015-06-12 2020-05-20 データ品質分析
JP2023024532A Pending JP2023062126A (ja) 2015-06-12 2023-02-20 データ品質分析

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2020088498A Pending JP2020161147A (ja) 2015-06-12 2020-05-20 データ品質分析
JP2023024532A Pending JP2023062126A (ja) 2015-06-12 2023-02-20 データ品質分析

Country Status (10)

Country Link
US (2) US10409802B2 (ja)
EP (2) EP3308297B1 (ja)
JP (3) JP6707564B2 (ja)
KR (1) KR102033971B1 (ja)
CN (2) CN107810500B (ja)
AU (2) AU2016274791B2 (ja)
CA (2) CA2988256A1 (ja)
HK (1) HK1250066A1 (ja)
SG (1) SG10201909389VA (ja)
WO (1) WO2016201176A1 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10409802B2 (en) 2015-06-12 2019-09-10 Ab Initio Technology Llc Data quality analysis
US9734188B1 (en) * 2016-01-29 2017-08-15 International Business Machines Corporation Systematic approach to determine source of data quality issue in data flow in an enterprise
US10776740B2 (en) 2016-06-07 2020-09-15 International Business Machines Corporation Detecting potential root causes of data quality issues using data lineage graphs
US10452625B2 (en) * 2016-06-30 2019-10-22 Global Ids, Inc. Data lineage analysis
US10915545B2 (en) 2016-09-29 2021-02-09 Microsoft Technology Licensing, Llc Systems and methods for dynamically rendering data lineage
US10657120B2 (en) * 2016-10-03 2020-05-19 Bank Of America Corporation Cross-platform digital data movement control utility and method of use thereof
US10885057B2 (en) * 2016-11-07 2021-01-05 Tableau Software, Inc. Correlated incremental loading of multiple data sets for an interactive data prep application
US11853529B2 (en) 2016-11-07 2023-12-26 Tableau Software, Inc. User interface to prepare and curate data for subsequent analysis
US10242079B2 (en) 2016-11-07 2019-03-26 Tableau Software, Inc. Optimizing execution of data transformation flows
CA2989617A1 (en) * 2016-12-19 2018-06-19 Capital One Services, Llc Systems and methods for providing data quality management
US10147040B2 (en) 2017-01-20 2018-12-04 Alchemy IoT Device data quality evaluator
US10855783B2 (en) * 2017-01-23 2020-12-01 Adobe Inc. Communication notification trigger modeling preview
US10298465B2 (en) * 2017-08-01 2019-05-21 Juniper Networks, Inc. Using machine learning to monitor link quality and predict link faults
US10394691B1 (en) 2017-10-05 2019-08-27 Tableau Software, Inc. Resolution of data flow errors using the lineage of detected error conditions
US10783138B2 (en) * 2017-10-23 2020-09-22 Google Llc Verifying structured data
US10331660B1 (en) * 2017-12-22 2019-06-25 Capital One Services, Llc Generating a data lineage record to facilitate source system and destination system mapping
CN110413632B (zh) * 2018-04-26 2023-05-30 腾讯科技(深圳)有限公司 管理状态的方法、装置、计算机可读介质及电子设备
EP3807823A1 (en) 2018-06-12 2021-04-21 Intergraph Corporation Artificial intelligence applications for computer-aided dispatch systems
US10678660B2 (en) * 2018-06-26 2020-06-09 StreamSets, Inc. Transformation drift detection and remediation
JP7153500B2 (ja) * 2018-08-09 2022-10-14 富士通株式会社 データ管理装置およびデータ推奨プログラム
WO2020076546A1 (en) * 2018-10-09 2020-04-16 Tableau Software, Inc. Correlated incremental loading of multiple data sets for an interactive data prep application
US11250032B1 (en) 2018-10-22 2022-02-15 Tableau Software, Inc. Data preparation user interface with conditional remapping of data values
US10691304B1 (en) 2018-10-22 2020-06-23 Tableau Software, Inc. Data preparation user interface with conglomerate heterogeneous process flow elements
US11157470B2 (en) * 2019-06-03 2021-10-26 International Business Machines Corporation Method and system for data quality delta analysis on a dataset
US11100097B1 (en) 2019-11-12 2021-08-24 Tableau Software, Inc. Visually defining multi-row table calculations in a data preparation application
US11886399B2 (en) 2020-02-26 2024-01-30 Ab Initio Technology Llc Generating rules for data processing values of data fields from semantic labels of the data fields
KR102240496B1 (ko) * 2020-04-17 2021-04-15 주식회사 한국정보기술단 데이터 품질 관리 시스템 및 그 방법
US20220059238A1 (en) * 2020-08-24 2022-02-24 GE Precision Healthcare LLC Systems and methods for generating data quality indices for patients
CN112131303A (zh) * 2020-09-18 2020-12-25 天津大学 基于神经网络模型的大规模数据沿袭方法
US11277473B1 (en) * 2020-12-01 2022-03-15 Adp, Llc Coordinating breaking changes in automatic data exchange
US20220179835A1 (en) * 2020-12-09 2022-06-09 Kyndryl, Inc. Remediation of data quality issues in computer databases
KR102608736B1 (ko) * 2020-12-15 2023-12-01 주식회사 포티투마루 질의에 대한 문서 검색 방법 및 장치
US11921698B2 (en) 2021-04-12 2024-03-05 Torana Inc. System and method for data quality assessment
US20230185786A1 (en) * 2021-12-13 2023-06-15 International Business Machines Corporation Detect data standardization gaps
KR20230138074A (ko) 2022-03-23 2023-10-05 배재대학교 산학협력단 데이터 프로파일링을 이용한 학사정보 시스템의 데이터 품질 관리 방법 및 장치
KR102437098B1 (ko) * 2022-04-15 2022-08-25 이찬영 인공 지능 기반의 오류 데이터 판정 방법 및 그 장치
US11822375B1 (en) * 2023-04-28 2023-11-21 Infosum Limited Systems and methods for partially securing data

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5966072A (en) 1996-07-02 1999-10-12 Ab Initio Software Corporation Executing computations expressed as graphs
US7849075B2 (en) 2003-09-15 2010-12-07 Ab Initio Technology Llc Joint field profiling
US7328428B2 (en) * 2003-09-23 2008-02-05 Trivergent Technologies, Inc. System and method for generating data validation rules
US7743420B2 (en) * 2003-12-02 2010-06-22 Imperva, Inc. Dynamic learning method and adaptive normal behavior profile (NBP) architecture for providing fast protection of enterprise applications
US7716630B2 (en) 2005-06-27 2010-05-11 Ab Initio Technology Llc Managing parameters for graph-based computations
US20070174234A1 (en) 2006-01-24 2007-07-26 International Business Machines Corporation Data quality and validation within a relational database management system
JP2008265618A (ja) 2007-04-23 2008-11-06 Toyota Motor Corp 車載電子制御装置
US9760612B2 (en) * 2008-02-26 2017-09-12 Ab Initio Technology, Llc Graphic representations of data relationships
CA2940960A1 (en) 2008-12-02 2010-06-10 Ab Initio Technology Llc Visualizing relationships between data elements and graphical representations of data element attributes
KR101660853B1 (ko) * 2009-06-10 2016-09-28 아브 이니티오 테크놀로지 엘엘시 테스트 데이터의 생성
KR101660348B1 (ko) 2009-09-16 2016-09-27 아브 이니티오 테크놀로지 엘엘시 데이터세트 요소의 매핑
JP2011253491A (ja) 2010-06-04 2011-12-15 Toshiba Corp プラント異常検知装置,プラント異常検知装置方法,およびプログラム
US8819010B2 (en) 2010-06-28 2014-08-26 International Business Machines Corporation Efficient representation of data lineage information
JP5331774B2 (ja) 2010-10-22 2013-10-30 株式会社日立パワーソリューションズ 設備状態監視方法およびその装置並びに設備状態監視用プログラム
US10013439B2 (en) 2011-06-27 2018-07-03 International Business Machines Corporation Automatic generation of instantiation rules to determine quality of data migration
US9330148B2 (en) 2011-06-30 2016-05-03 International Business Machines Corporation Adapting data quality rules based upon user application requirements
US9202174B2 (en) 2013-01-28 2015-12-01 Daniel A Dooley Automated tracker and analyzer
US10489360B2 (en) 2012-10-17 2019-11-26 Ab Initio Technology Llc Specifying and applying rules to data
US9075860B2 (en) 2012-10-18 2015-07-07 Oracle International Corporation Data lineage system
US9569342B2 (en) * 2012-12-20 2017-02-14 Microsoft Technology Licensing, Llc Test strategy for profile-guided code execution optimizers
US9558230B2 (en) 2013-02-12 2017-01-31 International Business Machines Corporation Data quality assessment
US9576036B2 (en) * 2013-03-15 2017-02-21 International Business Machines Corporation Self-analyzing data processing job to determine data quality issues
US9256656B2 (en) 2013-08-20 2016-02-09 International Business Machines Corporation Determining reliability of data reports
US10409802B2 (en) 2015-06-12 2019-09-10 Ab Initio Technology Llc Data quality analysis

Similar Documents

Publication Publication Date Title
JP2018523195A5 (ja)
CN109450956B (zh) 网络安全性评估方法、系统、介质和计算机系统
EP2899671A1 (en) Identification method and device for target object in image
US20180247248A1 (en) Measure Evaluation System and Measure Evaluation Method
JP2016509308A5 (ja)
US20150112920A1 (en) User feature identification method and apparatus
WO2018113469A1 (zh) 一种资源分配方法和装置
Moreira et al. DTDA: An R package to analyze randomly truncated data
US9122799B1 (en) System, method, and computer program for software testing project design and execution utilizing a mockup
US20150379410A1 (en) Method and apparatus for generating data in a missing segment of a time data sequence
US20190251604A1 (en) Predicting after-rehab value of a real-estate property based on rehab-packages
CN110659998A (zh) 数据处理方法、装置、计算机装置及存储介质
US10824976B2 (en) Infeasibility management in e-sourcing systems
US20180089581A1 (en) Apparatus and method for dataset model fitting using a classifying engine
JP5793228B1 (ja) 欠陥数予測装置及び欠陥数予測プログラム
CN111382052A (zh) 代码质量评价方法、装置及电子设备
US11138099B2 (en) Method for testing software, and computing device and computer-readable storage medium thereof
US9336140B1 (en) Efficient management of hierarchically-linked data storage spaces
US10324815B2 (en) Error checking of a multi-threaded computer processor design under test
CN106295026B (zh) 流量相似性分析方法及装置
US20140059705A1 (en) Document control apparatus and document control method
CN110008100A (zh) 用于网页访问量异常检测的方法及装置
CN110414186B (zh) 数据资产切分校验方法以及装置
CN109684720B (zh) 基于bim模型的工程量反向匹配方法和装置
KR20240066603A (ko) Sns 데이터의 이상 징후 감지 방법 및 sns 데이터의 이상 징후 감지 장치