JP2020161147A - データ品質分析 - Google Patents
データ品質分析 Download PDFInfo
- Publication number
- JP2020161147A JP2020161147A JP2020088498A JP2020088498A JP2020161147A JP 2020161147 A JP2020161147 A JP 2020161147A JP 2020088498 A JP2020088498 A JP 2020088498A JP 2020088498 A JP2020088498 A JP 2020088498A JP 2020161147 A JP2020161147 A JP 2020161147A
- Authority
- JP
- Japan
- Prior art keywords
- data
- dataset
- upstream
- output
- profile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 claims abstract description 88
- 238000012545 processing Methods 0.000 claims description 142
- 238000011144 upstream manufacturing Methods 0.000 claims description 141
- 230000009466 transformation Effects 0.000 claims description 28
- 230000001131 transforming effect Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 238000013500 data storage Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 238000010200 validation analysis Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 230000002547 anomalous effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000013502 data validation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/197—Version control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/60—Software deployment
- G06F8/65—Updates
Abstract
Description
本明細書は、データ品質分析に関する。データセットのデータ品質は、データセット内のデータ記録が誤りを有するかどうかの指標である。多くの場合、データセットの処理中に誤りが生じる場合、そのデータセットのデータ品質は低い。
一般的な態様では、方法は、データ処理システムによって生成される出力データセットを示す情報を受信することと、出力データセットに関係するデータ系列情報に基づき、出力データセットが依拠する1つ又は複数のアップストリームデータセットを識別することと、出力データセットが依拠する識別された1つ又は複数のアップストリームデータセットの1つ又は複数を分析することとを含む。分析することは、1つ又は複数のアップストリームデータセットのうちの特定のアップストリームデータセットごとに、(i)特定のアップストリームデータセットのプロファイルと特定のアップストリームデータセットに関する基準プロファイルとの間の許容偏差を示す第1の規則、及び(ii)特定のアップストリームデータセット内の1つ又は複数のデータ要素のそれぞれに関する1つ又は複数の許容値又は禁止値を示す第2の規則のうちの1つ又は複数を適用し、且つ1つ又は複数の規則を適用した結果に基づき、アップストリームデータセットの1つ又は複数を選択することを含む。この方法は、選択された1つ又は複数のアップストリームデータセットに関連する情報を出力することを含む。
データ系列の分析に基づいてデータ品質問題の根本的原因を識別するための手法をここで説明する。データ品質問題がダウンストリームデータセット内で識別される場合、ダウンストリームデータセットの導出元であるアップストリームデータセット及びアップストリーム変換要素(アップストリームデータ系列要素と呼ばれる場合もある)が識別される。ダウンストリームデータセット内のデータ品質問題に寄与したデータ品質問題をそれ自体が有し得るアップストリームデータ系列要素の1つ又は複数を識別するために、各アップストリームデータ系列要素の品質が評価される。一部の例では、データセットがデータ品質問題を有するかどうかを判定するために、各アップストリームデータセットを特徴付けるプロファイルがそのデータセットに関する履歴平均プロファイル等の基準プロファイルと比較される。一部の例では、データセットがデータ品質問題を有するかどうかを判定するために、アップストリームデータセットのフィールド内の値がそのフィールドに関する1つ又は複数の許容値又は禁止値と比較される。
MA:6%
TX:25%
CA:33%
DE:3%
NY:17%
IL:11%
RI:4%
他の任意の値:1%
を示し、図7を見れば分かるように、州フィールドの実際のプロファイルが基準プロファイルの10%の許容偏差に含まれており、従って入力データのデータ品質問題はない。
MA:6%
TX:25.1%
CA:32.7%
DE:2.9%
NY:17.1%
IL:11.1%
RI:0%
他の任意の値:5.1%。
MA:6.1%
TX:25.2%
CA:32.6%
DE:2.9%
NY:17.0%
IL:11.1%
RI:4.1%
他の任意の値:1%。
Claims (33)
- データ処理システムによって生成される出力データセットを示す情報を受信することと、
前記出力データセットに関係するデータ系列情報に基づき、前記出力データセットが依拠する1つ又は複数のアップストリームデータセットを識別することと、
前記出力データセットが依拠する前記識別された1つ又は複数のアップストリームデータセットの1つ又は複数を分析することであって、前記1つ又は複数のアップストリームデータセットのうちの特定のアップストリームデータセットごとに、
(i)前記特定のアップストリームデータセットのプロファイルと前記特定のアップストリームデータセットに関する基準プロファイルとの間の許容偏差を示す第1の規則、及び
(ii)前記特定のアップストリームデータセット内の1つ又は複数のデータ要素のそれぞれに関する1つ又は複数の許容値又は禁止値を示す第2の規則
のうちの1つ又は複数を適用し、前記1つ又は複数の規則を適用した結果に基づき、前記アップストリームデータセットの1つ又は複数を選択すること、
を含む、分析することと、
前記選択された1つ又は複数のアップストリームデータセットに関連する情報を出力することと、
を含む、方法。 - 前記第1の規則及び前記第2の規則の1つ又は複数が自動で生成される、請求項1に記載の方法。
- 前記第1の規則が、前記特定のアップストリームデータセットの履歴プロファイルの自動分析に基づいて自動で生成される、請求項2に記載の方法。
- 前記基準プロファイルが、前記特定のアップストリームデータセットに関する履歴平均プロファイルに基づく、請求項3に記載の方法。
- 前記第2の規則が、前記特定のアップストリームデータセット内の前記1つ又は複数のデータ要素に関する履歴値の自動分析に基づいて自動で生成される、請求項2に記載の方法。
- 前記許容値又は禁止値が前記自動分析に基づいて決定される、請求項5に記載の方法。
- 前記第1の規則及び前記第2の規則の1つ又は複数がユーザによって指定される、請求項1に記載の方法。
- 前記第1の規則及び前記第2の規則の1つ又は複数の指定を、ユーザインタフェースを通して受信することを含む、請求項1に記載の方法。
- データ系列情報が、前記出力データセットが依拠する1つ又は複数のデータセット、前記出力データセットに依拠する1つ又は複数のデータセット、又はその両方を示す、請求項1に記載の方法。
- 前記データセットの部分集合を識別するために前記1つ又は複数のデータセットのそれぞれを分析することが、前記1つ又は複数のデータセットの何れが誤り又は起こり得る誤りを有するかを判定することを含み、
前記方法が、前記部分集合に関して誤り又は起こり得る誤りを有する前記データセットを選択することを含む、請求項1に記載の方法。 - 前記データセットの部分集合を識別するために前記1つ又は複数のデータセットのそれぞれを分析することが、特定のデータセットであって、前記特定のデータセットの前記プロファイルと前記特定のデータセットに関する前記基準プロファイルとの間の偏差が、前記対応する第1の規則によって示される前記許容偏差を上回る、特定のデータセットを識別することを含み、
前記方法が、前記部分集合のために前記特定のデータセットを選択することを含む、請求項1に記載の方法。 - 前記データセットの部分集合を識別するために前記1つ又は複数のデータセットのそれぞれを分析することが、前記対応する第2の規則によって示される前記許容値又は禁止値を満たさない値を有するデータ要素を有する特定のデータセットを識別することを含み、
前記方法が、前記部分集合のために前記特定のデータセットを選択することを含む、請求項1に記載の方法。 - 前記出力データセット内のデータ要素を識別することを含み、前記出力データセットが依拠する前記1つ又は複数のデータセットを識別することが、前記出力データセット内の前記識別されたデータ要素に影響を及ぼすデータセットを識別することを含む、請求項1に記載の方法。
- 前記出力データセット内のデータ要素を識別することが、誤り又は起こり得る誤りを有するデータ要素を識別することを含む、請求項13に記載の方法。
- 前記アップストリームデータセットの1つ又は複数のプロファイルを生成することを含む、請求項1に記載の方法。
- 特定のデータセットのプロファイルを生成することが、前記特定のデータセットの新バージョンが受信されるときに前記特定のデータセットの新規プロファイルを生成することを含む、請求項15に記載の方法。
- 特定のデータセットに関する前記基準プロファイルが、前記特定のデータセットの1つ又は複数の過去のプロファイルから導出される、請求項1に記載の方法。
- 前記データセットの部分集合に関連する情報を出力することが、前記部分集合の前記データセットのそれぞれの識別子を出力することを含む、請求項1に記載の方法。
- 前記データセットの部分集合に関連する情報を出力することが、前記部分集合の前記データセットのそれぞれに関連する誤り又は起こり得る誤りの標識を出力することを含む、請求項1に記載の方法。
- 前記データ処理システムの表現をユーザインタフェース上で表示することを含み、前記データセットの部分集合に関連する情報を出力することが、前記データセットの部分集合の特定のデータセットの表現の近くに前記部分集合の前記特定のデータセットに関連する情報を表示することを含む、請求項1に記載の方法。
- 前記部分集合の前記特定のデータセットに関連する前記表示された情報が、前記特定のデータセットの前記プロファイルと前記特定のデータセットに関する前記基準プロファイルとの間の偏差を示す値を含む、請求項20に記載の方法。
- 前記部分集合の前記特定のデータセットに関連する前記表示された情報が、前記対応する第2の規則によって示される前記許容値又は禁止値を満たさない前記特定のデータセット内のデータ要素の数を表す値を含む、請求項20に記載の方法。
- 前記データセットの部分集合に関する情報を示す情報バブル又はポップアップウィンドウを表示することを含む、請求項20に記載の方法。
- ユーザが規則を追加するか、規則を修正するか、又は規則を除去することを可能にするためのユーザインタフェースを提供することを含む、請求項1に記載の方法。
- 前記データセットが1つ又は複数のソースデータセット及び1つ又は複数の基準データセットを含み、前記ソースデータセットが、前記データ処理システムによって処理されるデータ要素を含み、前記基準データセットが、前記ソースデータセット内の前記データ要素を処理する際に前記データ処理システムによって参照される基準値を含む、請求項1に記載の方法。
- 前記基準データセットが、前記データ処理システムに関連する企業体に関連するデータを含み、及び前記ソースデータセットが、前記企業体の顧客に関連するデータを含む、請求項25に記載の方法。
- 前記データ処理システムが変換要素を含み、及び前記方法が、前記出力データセットに影響を及ぼす1つ又は複数の変換要素を前記データ系列情報に基づいて識別することを含む、請求項1に記載の方法。
- 前記変換要素の何れの1つ又は複数が誤り又は起こり得る誤りを有するかを判定することを含む、請求項27に記載の方法。
- 特定のデータ処理要素が誤り又は起こり得る誤りを有するかどうかを、前記特定の変換要素に関連する実装日に基づいて判定することを含む、請求項28に記載の方法。
- データ処理システムによって生成される出力データセットを示す情報を受信することと、
前記出力データセットに関係するデータ系列情報に基づき、前記出力データセットが依拠する1つ又は複数のアップストリームデータセットを識別することと、
前記出力データセットが依拠する前記識別された1つ又は複数のアップストリームデータセットの1つ又は複数を分析することであって、前記1つ又は複数のアップストリームデータセットのうちの特定のアップストリームデータセットごとに、
(i)前記特定のアップストリームデータセットのプロファイルと前記特定のアップストリームデータセットに関する基準プロファイルとの間の許容偏差を示す第1の規則、及び
(ii)前記特定のアップストリームデータセット内の1つ又は複数のデータ要素のそれぞれに関する1つ又は複数の許容値又は禁止値を示す第2の規則
のうちの1つ又は複数を適用し、前記1つ又は複数の規則を適用した結果に基づき、前記アップストリームデータセットの1つ又は複数を選択すること、
を含む、分析することと、
前記選択された1つ又は複数のアップストリームデータセットに関連する情報を出力することと、
を計算システムに行わせるための命令を記憶する、非一時的コンピュータ可読媒体。 - メモリに結合されるプロセッサを含む計算システムであって、前記プロセッサ及びメモリは、
データ処理システムによって生成される出力データセットを示す情報を受信することと、
前記出力データセットに関係するデータ系列情報に基づき、前記出力データセットが依拠する1つ又は複数のアップストリームデータセットを識別することと、
前記出力データセットが依拠する前記識別された1つ又は複数のアップストリームデータセットの1つ又は複数を分析することであって、前記1つ又は複数のアップストリームデータセットのうちの特定のアップストリームデータセットごとに、
(i)前記特定のアップストリームデータセットのプロファイルと前記特定のアップストリームデータセットに関する基準プロファイルとの間の許容偏差を示す第1の規則、及び
(ii)前記特定のアップストリームデータセット内の1つ又は複数のデータ要素のそれぞれに関する1つ又は複数の許容値又は禁止値を示す第2の規則
のうちの1つ又は複数を適用し、前記1つ又は複数の規則を適用した結果に基づき、前記アップストリームデータセットの1つ又は複数を選択すること、
を含む、分析することと、
前記選択された1つ又は複数のアップストリームデータセットに関連する情報を出力することと、
を行うように構成される、計算システム。 - データ処理システムによって生成される出力データセットを示す情報を受信するための手段と、
前記出力データセットに関係するデータ系列情報に基づき、前記出力データセットが依拠する1つ又は複数のアップストリームデータセットを識別するための手段と、
前記出力データセットが依拠する前記識別された1つ又は複数のアップストリームデータセットの1つ又は複数を分析するための手段であって、前記分析することが、前記1つ又は複数のアップストリームデータセットのうちの特定のアップストリームデータセットごとに、
(i)前記特定のアップストリームデータセットのプロファイルと前記特定のアップストリームデータセットに関する基準プロファイルとの間の許容偏差を示す第1の規則、及び
(ii)前記特定のアップストリームデータセット内の1つ又は複数のデータ要素のそれぞれに関する1つ又は複数の許容値又は禁止値を示す第2の規則
のうちの1つ又は複数を適用し、前記1つ又は複数の規則を適用した結果に基づき、前記アップストリームデータセットの1つ又は複数を選択すること、
を含む、手段と、
前記選択された1つ又は複数のアップストリームデータセットに関連する情報を出力するための手段と、
を含む、計算システム。 - データ処理システムのダウンストリームデータセットのデータ要素内の誤り又は起こり得る誤りを識別すると、前記ダウンストリームデータセットに関係するデータ系列情報に基づき、前記データ要素に影響を及ぼす1つ又は複数のアップストリームデータセットを自動で識別することと、
前記識別されたアップストリームデータセットのそれぞれの現在のプロファイル及び基準プロファイルを分析することを含む、前記アップストリームデータセットの何れが誤り又は起こり得る誤りを有するかを判定することと、
誤りを有するか又は誤りを有する可能性が高いと判定される前記アップストリームデータセットのそれぞれに関連する情報を出力することと、
を含む、方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023024532A JP2023062126A (ja) | 2015-06-12 | 2023-02-20 | データ品質分析 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562174997P | 2015-06-12 | 2015-06-12 | |
US62/174,997 | 2015-06-12 | ||
US15/175,793 US10409802B2 (en) | 2015-06-12 | 2016-06-07 | Data quality analysis |
US15/175,793 | 2016-06-07 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017559576A Division JP6707564B2 (ja) | 2015-06-12 | 2016-06-10 | データ品質分析 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023024532A Division JP2023062126A (ja) | 2015-06-12 | 2023-02-20 | データ品質分析 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020161147A true JP2020161147A (ja) | 2020-10-01 |
Family
ID=56178502
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017559576A Active JP6707564B2 (ja) | 2015-06-12 | 2016-06-10 | データ品質分析 |
JP2020088498A Pending JP2020161147A (ja) | 2015-06-12 | 2020-05-20 | データ品質分析 |
JP2023024532A Pending JP2023062126A (ja) | 2015-06-12 | 2023-02-20 | データ品質分析 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017559576A Active JP6707564B2 (ja) | 2015-06-12 | 2016-06-10 | データ品質分析 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023024532A Pending JP2023062126A (ja) | 2015-06-12 | 2023-02-20 | データ品質分析 |
Country Status (10)
Country | Link |
---|---|
US (2) | US10409802B2 (ja) |
EP (2) | EP3839758B1 (ja) |
JP (3) | JP6707564B2 (ja) |
KR (1) | KR102033971B1 (ja) |
CN (2) | CN117807065A (ja) |
AU (2) | AU2016274791B2 (ja) |
CA (2) | CA3185178C (ja) |
HK (1) | HK1250066A1 (ja) |
SG (1) | SG10201909389VA (ja) |
WO (1) | WO2016201176A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102437098B1 (ko) * | 2022-04-15 | 2022-08-25 | 이찬영 | 인공 지능 기반의 오류 데이터 판정 방법 및 그 장치 |
Families Citing this family (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10409802B2 (en) | 2015-06-12 | 2019-09-10 | Ab Initio Technology Llc | Data quality analysis |
US9734188B1 (en) * | 2016-01-29 | 2017-08-15 | International Business Machines Corporation | Systematic approach to determine source of data quality issue in data flow in an enterprise |
US10776740B2 (en) | 2016-06-07 | 2020-09-15 | International Business Machines Corporation | Detecting potential root causes of data quality issues using data lineage graphs |
US10452625B2 (en) * | 2016-06-30 | 2019-10-22 | Global Ids, Inc. | Data lineage analysis |
US10915545B2 (en) | 2016-09-29 | 2021-02-09 | Microsoft Technology Licensing, Llc | Systems and methods for dynamically rendering data lineage |
US10657120B2 (en) * | 2016-10-03 | 2020-05-19 | Bank Of America Corporation | Cross-platform digital data movement control utility and method of use thereof |
US10885057B2 (en) * | 2016-11-07 | 2021-01-05 | Tableau Software, Inc. | Correlated incremental loading of multiple data sets for an interactive data prep application |
US11853529B2 (en) | 2016-11-07 | 2023-12-26 | Tableau Software, Inc. | User interface to prepare and curate data for subsequent analysis |
US10242079B2 (en) | 2016-11-07 | 2019-03-26 | Tableau Software, Inc. | Optimizing execution of data transformation flows |
CA2989617A1 (en) * | 2016-12-19 | 2018-06-19 | Capital One Services, Llc | Systems and methods for providing data quality management |
US10147040B2 (en) | 2017-01-20 | 2018-12-04 | Alchemy IoT | Device data quality evaluator |
US10855783B2 (en) * | 2017-01-23 | 2020-12-01 | Adobe Inc. | Communication notification trigger modeling preview |
US10298465B2 (en) | 2017-08-01 | 2019-05-21 | Juniper Networks, Inc. | Using machine learning to monitor link quality and predict link faults |
US10394691B1 (en) | 2017-10-05 | 2019-08-27 | Tableau Software, Inc. | Resolution of data flow errors using the lineage of detected error conditions |
US10783138B2 (en) * | 2017-10-23 | 2020-09-22 | Google Llc | Verifying structured data |
US10331660B1 (en) * | 2017-12-22 | 2019-06-25 | Capital One Services, Llc | Generating a data lineage record to facilitate source system and destination system mapping |
CN110413632B (zh) * | 2018-04-26 | 2023-05-30 | 腾讯科技(深圳)有限公司 | 管理状态的方法、装置、计算机可读介质及电子设备 |
AU2019284379A1 (en) | 2018-06-12 | 2021-01-28 | Intergraph Corporation | Artificial intelligence applications for computer-aided dispatch systems |
US10678660B2 (en) * | 2018-06-26 | 2020-06-09 | StreamSets, Inc. | Transformation drift detection and remediation |
JP7153500B2 (ja) * | 2018-08-09 | 2022-10-14 | 富士通株式会社 | データ管理装置およびデータ推奨プログラム |
CA3115220C (en) * | 2018-10-09 | 2023-07-18 | Tableau Software, Inc. | Correlated incremental loading of multiple data sets for an interactive data prep application |
US11250032B1 (en) | 2018-10-22 | 2022-02-15 | Tableau Software, Inc. | Data preparation user interface with conditional remapping of data values |
US10691304B1 (en) | 2018-10-22 | 2020-06-23 | Tableau Software, Inc. | Data preparation user interface with conglomerate heterogeneous process flow elements |
US11157470B2 (en) * | 2019-06-03 | 2021-10-26 | International Business Machines Corporation | Method and system for data quality delta analysis on a dataset |
US11100097B1 (en) | 2019-11-12 | 2021-08-24 | Tableau Software, Inc. | Visually defining multi-row table calculations in a data preparation application |
US11886399B2 (en) | 2020-02-26 | 2024-01-30 | Ab Initio Technology Llc | Generating rules for data processing values of data fields from semantic labels of the data fields |
KR102240496B1 (ko) * | 2020-04-17 | 2021-04-15 | 주식회사 한국정보기술단 | 데이터 품질 관리 시스템 및 그 방법 |
US20220059238A1 (en) * | 2020-08-24 | 2022-02-24 | GE Precision Healthcare LLC | Systems and methods for generating data quality indices for patients |
CN112131303A (zh) * | 2020-09-18 | 2020-12-25 | 天津大学 | 基于神经网络模型的大规模数据沿袭方法 |
US11277473B1 (en) * | 2020-12-01 | 2022-03-15 | Adp, Llc | Coordinating breaking changes in automatic data exchange |
US20220179835A1 (en) * | 2020-12-09 | 2022-06-09 | Kyndryl, Inc. | Remediation of data quality issues in computer databases |
KR102608736B1 (ko) * | 2020-12-15 | 2023-12-01 | 주식회사 포티투마루 | 질의에 대한 문서 검색 방법 및 장치 |
US11921698B2 (en) | 2021-04-12 | 2024-03-05 | Torana Inc. | System and method for data quality assessment |
US20230185786A1 (en) * | 2021-12-13 | 2023-06-15 | International Business Machines Corporation | Detect data standardization gaps |
KR20230138074A (ko) | 2022-03-23 | 2023-10-05 | 배재대학교 산학협력단 | 데이터 프로파일링을 이용한 학사정보 시스템의 데이터 품질 관리 방법 및 장치 |
US11822375B1 (en) * | 2023-04-28 | 2023-11-21 | Infosum Limited | Systems and methods for partially securing data |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011253491A (ja) * | 2010-06-04 | 2011-12-15 | Toshiba Corp | プラント異常検知装置,プラント異常検知装置方法,およびプログラム |
JP2012089057A (ja) * | 2010-10-22 | 2012-05-10 | Hitachi Engineering & Services Co Ltd | 設備状態監視方法およびその装置並びに設備状態監視用プログラム |
US20140229456A1 (en) * | 2013-02-12 | 2014-08-14 | International Business Machines Corporation | Data quality assessment |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5966072A (en) | 1996-07-02 | 1999-10-12 | Ab Initio Software Corporation | Executing computations expressed as graphs |
KR100922141B1 (ko) * | 2003-09-15 | 2009-10-19 | 아브 이니티오 소프트웨어 엘엘시 | 데이터 프로파일링 방법 및 시스템 |
US7328428B2 (en) * | 2003-09-23 | 2008-02-05 | Trivergent Technologies, Inc. | System and method for generating data validation rules |
US7743420B2 (en) * | 2003-12-02 | 2010-06-22 | Imperva, Inc. | Dynamic learning method and adaptive normal behavior profile (NBP) architecture for providing fast protection of enterprise applications |
US7716630B2 (en) | 2005-06-27 | 2010-05-11 | Ab Initio Technology Llc | Managing parameters for graph-based computations |
US20070174234A1 (en) | 2006-01-24 | 2007-07-26 | International Business Machines Corporation | Data quality and validation within a relational database management system |
JP2008265618A (ja) | 2007-04-23 | 2008-11-06 | Toyota Motor Corp | 車載電子制御装置 |
JP5643654B2 (ja) * | 2008-02-26 | 2014-12-17 | アビニシオ テクノロジー エルエルシー | データ関連性のグラフ表現 |
WO2010065623A1 (en) | 2008-12-02 | 2010-06-10 | Ab Initio Software Llc | Visualizing relationships between data elements and graphical representations of data element attributes |
JP5620984B2 (ja) * | 2009-06-10 | 2014-11-05 | アビニシオ テクノロジー エルエルシー | テストデータの生成方法 |
JP6121163B2 (ja) | 2009-09-16 | 2017-04-26 | アビニシオ テクノロジー エルエルシー | データセット要素のマッピング |
US8819010B2 (en) | 2010-06-28 | 2014-08-26 | International Business Machines Corporation | Efficient representation of data lineage information |
US10013439B2 (en) | 2011-06-27 | 2018-07-03 | International Business Machines Corporation | Automatic generation of instantiation rules to determine quality of data migration |
US9330148B2 (en) | 2011-06-30 | 2016-05-03 | International Business Machines Corporation | Adapting data quality rules based upon user application requirements |
US9202174B2 (en) | 2013-01-28 | 2015-12-01 | Daniel A Dooley | Automated tracker and analyzer |
US10489360B2 (en) | 2012-10-17 | 2019-11-26 | Ab Initio Technology Llc | Specifying and applying rules to data |
US9063998B2 (en) | 2012-10-18 | 2015-06-23 | Oracle International Corporation | Associated information propagation system |
US9569342B2 (en) * | 2012-12-20 | 2017-02-14 | Microsoft Technology Licensing, Llc | Test strategy for profile-guided code execution optimizers |
US9576036B2 (en) * | 2013-03-15 | 2017-02-21 | International Business Machines Corporation | Self-analyzing data processing job to determine data quality issues |
US9256656B2 (en) | 2013-08-20 | 2016-02-09 | International Business Machines Corporation | Determining reliability of data reports |
US10409802B2 (en) | 2015-06-12 | 2019-09-10 | Ab Initio Technology Llc | Data quality analysis |
-
2016
- 2016-06-07 US US15/175,793 patent/US10409802B2/en active Active
- 2016-06-10 JP JP2017559576A patent/JP6707564B2/ja active Active
- 2016-06-10 CN CN202311630856.2A patent/CN117807065A/zh active Pending
- 2016-06-10 CA CA3185178A patent/CA3185178C/en active Active
- 2016-06-10 CA CA2988256A patent/CA2988256A1/en active Pending
- 2016-06-10 SG SG10201909389V patent/SG10201909389VA/en unknown
- 2016-06-10 WO PCT/US2016/036813 patent/WO2016201176A1/en active Application Filing
- 2016-06-10 KR KR1020187001032A patent/KR102033971B1/ko active IP Right Grant
- 2016-06-10 AU AU2016274791A patent/AU2016274791B2/en active Active
- 2016-06-10 CN CN201680034382.7A patent/CN107810500B/zh active Active
- 2016-06-10 EP EP21156728.4A patent/EP3839758B1/en active Active
- 2016-06-10 EP EP16731466.5A patent/EP3308297B1/en active Active
-
2018
- 2018-07-23 HK HK18109490.6A patent/HK1250066A1/zh unknown
-
2019
- 2019-07-17 US US16/513,882 patent/US11249981B2/en active Active
- 2019-10-24 AU AU2019253860A patent/AU2019253860B2/en active Active
-
2020
- 2020-05-20 JP JP2020088498A patent/JP2020161147A/ja active Pending
-
2023
- 2023-02-20 JP JP2023024532A patent/JP2023062126A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011253491A (ja) * | 2010-06-04 | 2011-12-15 | Toshiba Corp | プラント異常検知装置,プラント異常検知装置方法,およびプログラム |
JP2012089057A (ja) * | 2010-10-22 | 2012-05-10 | Hitachi Engineering & Services Co Ltd | 設備状態監視方法およびその装置並びに設備状態監視用プログラム |
US20140229456A1 (en) * | 2013-02-12 | 2014-08-14 | International Business Machines Corporation | Data quality assessment |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102437098B1 (ko) * | 2022-04-15 | 2022-08-25 | 이찬영 | 인공 지능 기반의 오류 데이터 판정 방법 및 그 장치 |
Also Published As
Publication number | Publication date |
---|---|
SG10201909389VA (en) | 2019-11-28 |
HK1250066A1 (zh) | 2018-11-23 |
US20160364434A1 (en) | 2016-12-15 |
AU2019253860B2 (en) | 2021-12-09 |
CA3185178A1 (en) | 2016-12-15 |
JP2023062126A (ja) | 2023-05-02 |
KR102033971B1 (ko) | 2019-10-18 |
JP2018523195A (ja) | 2018-08-16 |
CN107810500A (zh) | 2018-03-16 |
JP6707564B2 (ja) | 2020-06-10 |
EP3308297A1 (en) | 2018-04-18 |
KR20180030521A (ko) | 2018-03-23 |
EP3308297B1 (en) | 2021-03-24 |
CA2988256A1 (en) | 2016-12-15 |
AU2016274791A1 (en) | 2017-11-30 |
CN107810500B (zh) | 2023-12-08 |
CN117807065A (zh) | 2024-04-02 |
WO2016201176A1 (en) | 2016-12-15 |
US20200057757A1 (en) | 2020-02-20 |
US11249981B2 (en) | 2022-02-15 |
EP3839758B1 (en) | 2022-08-10 |
US10409802B2 (en) | 2019-09-10 |
AU2019253860A1 (en) | 2019-11-14 |
EP3839758A1 (en) | 2021-06-23 |
CA3185178C (en) | 2023-09-26 |
AU2016274791B2 (en) | 2019-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2020161147A (ja) | データ品質分析 | |
US11163670B2 (en) | Data records selection | |
US10067788B2 (en) | Automated invalidation of job output data in a job processing system | |
US20190095390A1 (en) | Impact analysis | |
US11182394B2 (en) | Performing database file management using statistics maintenance and column similarity | |
US10121114B2 (en) | Metadata-driven audit reporting system with hierarchical relationships | |
US10185641B2 (en) | Data generation | |
US10909109B1 (en) | Quality control test transactions for shared databases of a collaboration tool | |
US20220276920A1 (en) | Generation and execution of processing workflows for correcting data quality issues in data sets | |
US8396847B2 (en) | System and method to retrieve and analyze data for decision making | |
CN114416891B (zh) | 在知识图谱中进行数据处理的方法、系统、装置和介质 | |
US9959329B2 (en) | Unified master report generator | |
US20220019566A1 (en) | System and method for integrating systems to implement data quality processing | |
US8589444B2 (en) | Presenting information from heterogeneous and distributed data sources with real time updates | |
US10853888B2 (en) | Computing validation and error discovery in computers executing a multi-level tax data validation engine |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200612 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200612 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220719 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20221021 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230220 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20230220 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230301 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20230302 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20230421 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20230425 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231215 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240321 |