JP2012510687A5 - - Google Patents

Download PDF

Info

Publication number
JP2012510687A5
JP2012510687A5 JP2011539631A JP2011539631A JP2012510687A5 JP 2012510687 A5 JP2012510687 A5 JP 2012510687A5 JP 2011539631 A JP2011539631 A JP 2011539631A JP 2011539631 A JP2011539631 A JP 2011539631A JP 2012510687 A5 JP2012510687 A5 JP 2012510687A5
Authority
JP
Japan
Prior art keywords
data
data set
mapping
sets
readable medium
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011539631A
Other languages
English (en)
Other versions
JP2012510687A (ja
JP5525541B2 (ja
Filing date
Publication date
Application filed filed Critical
Priority claimed from PCT/US2009/066210 external-priority patent/WO2010065511A1/en
Publication of JP2012510687A publication Critical patent/JP2012510687A/ja
Publication of JP2012510687A5 publication Critical patent/JP2012510687A5/ja
Application granted granted Critical
Publication of JP5525541B2 publication Critical patent/JP5525541B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (90)

  1. コンピュータシステムによって使用される、データストレージシステム内に格納されたデータをマッピングする方法であって、
    ノードを含むデータフローグラフの仕様を処理するステップであって、前記ノードがデータのフローを表現するリンクによって相互接続された計算を表現し、前記データフローグラフの少なくとも一つが少なくとも一つの入力データセットからデータのフローを受取り、且つ、前記データフローグラフの少なくとも一つが少なくとも一つの出力データセットにデータのフローを提供する、ステップ;
    データセットの一つ以上のセットを特定するステップであって、所与のセット内の各データセットが単一のデータセットの異なるバージョンを特定するための一つ以上の基準に一致し、前記単一のデータセットの各バージョンが前記データフローグラフのうちの異なる一つによって受け取られるかまたは提供されるデータを表す、ステップ;
    所与のセットにおける少なくとも二つのデータセットの間のマッピングを受け取るユーザインターフェースを提供するステップ;及び、
    データを前記マッピングのデータセットに提供するかまたはデータを前記マッピングのデータセットから受け取る一つのデータフローグラフに関連して前記ユーザインターフェースを通して受け取られた前記マッピングを格納するステップ;
    を含む方法。
  2. 前記セットを前記ユーザインターフェースを通して提示することを含む請求項1に記載の方法。
  3. 前記一つ以上の基準への一致の数量化に従って順位付けられた可能性のあるマッピングのリストを前記ユーザインターフェースを通して提示することを含む請求項1に記載の方法。
  4. 前記可能性のあるマッピングのリストは、前記リスト内にてより高位に順序付けられた所与のデータセットのインスタンスである可能性がより高い候補を含む請求項3に記載の方法。
  5. 前記基準の一つが前記一つ以上のデータセットのセットを特定するマッパに組込まれている請求項3に記載の方法。
  6. 前記基準の一つは前記ユーザインターフェースから受け取られる請求項3に記載の方法。
  7. 前記可能性のあるマッピングの少なくとも一つは一つのデータセットを表現するデータフローグラフの構成要素を示し、且つ、前記可能性のあるマッピングの少なくとも一つはデータセットを表現しないデータフローグラフの構成要素を示す、請求項3に記載の方法。
  8. 複数の構成要素を含むデータフローグラフのサブグラフはデータセットを表現する請求項1に記載の方法。
  9. 前記サブグラフはデータ構成要素を含む請求項8に記載の方法。
  10. 前記サブグラフは実行可能な構成要素を含む請求項8に記載の方法。
  11. 前記データセットの一つ以上のセットを特定することは、所与のセット内の一つのデータセットが他のデータセットと共通の一つ以上の特徴を有するか否かを判別するためのヒューリスティックスを使用することを含む請求項1に記載の方法。
  12. 前記特徴は前記データセットの表現におけるバイト及びレコードの量を含む請求項11に記載の方法。
  13. 前記特徴は前記データセットの表現の名称を含む請求項11に記載の方法。
  14. 前記特徴は前記データセットの表現の生成日を含む請求項11に記載の方法。
  15. 前記特徴は前記データセットの表現のデータフォーマットを含む請求項11に記載の方法。
  16. 前記マッピングのデータセットの少なくとも一つはデータ管理システムに知られているデータセットのグループに属する請求項1に記載の方法。
  17. さらに、所与のセットのデータセット間のフォーマットマッピングを提供することを含む請求項1に記載の方法。
  18. 前記マッピングは、前記データセットを追跡する前記データ管理システムにおけるレコードを指し示す識別子を含む請求項1に記載の方法。
  19. さらに、データセットの変化に基づいて前記マッピングを更新することを含む請求項1に記載の方法。
  20. データストレージシステム内に格納されたデータをマッピングするシステムであって、
    ノードを含むデータフローグラフの仕様を格納するデータストレージシステムであって、前記ノードがデータのフローを表現するリンクによって相互接続された計算を表現し、
    前記データフローグラフの少なくとも一つが少なくとも一つの入力データセットからデータのフローを受取り、且つ、前記データフローグラフの少なくとも一つが少なくとも一つの出力データセットにデータのフローを提供する、データストレージシステム;
    データフローグラフと関連したデータセットの一つ以上のセットを特定するマッパであって、所与のセット内の各データセットが単一のデータセットの異なるバージョンを特定するための一つ以上の基準に一致し、前記単一のデータセットの各バージョンが前記データフローグラフのうちの異なる一つによって受け取られるかまたは提供されるデータを表す、マッパ;及び、
    所与のセットにおける少なくとも二つのデータセットの間のマッピングを受け取るユーザインターフェースであって、データを前記マッピングのデータセットに提供するかまたはデータを前記マッピングのデータセットから受け取る一つのデータフローグラフに関連して前記データストレージシステム内の前記マッピングを格納するユーザインターフェース;
    を含むシステム。
  21. 前記ユーザインターフェースが前記セットを提示する請求項20に記載のシステム。
  22. 前記ユーザインターフェースが、前記一つ以上の基準への一致の数量化に従って順位付けられた可能性のあるマッピングのリストを提示する請求項20に記載のシステム。
  23. 前記可能性のあるマッピングのリストは、前記リスト内にてより高位に順序付けられた所与のデータセットのインスタンスである可能性がより高い候補を含む請求項22に記載のシステム。
  24. 前記基準の一つが前記マッパに組み込まれている請求項22に記載のシステム。
  25. 前記基準の一つは前記ユーザインターフェースによって受け取られる請求項22に記載のシステム。
  26. 前記可能性のあるマッピングの少なくとも一つはデータセットを表現するデータフローグラフの構成要素を示し、且つ、前記可能性のあるマッピングの少なくとも一つはデータセットを表現しないデータフローグラフの構成要素を示す、請求項22に記載のシステム。
  27. 複数の構成要素を含むデータフローグラフのサブグラフはデータセットを表現する請求項20に記載のシステム。
  28. 前記サブグラフはデータ構成要素を含む請求項27に記載のシステム。
  29. 前記サブグラフは実行可能な構成要素を含む請求項27に記載のシステム。
  30. 前記マッパは、所与のセット内の一つのデータセットが他のデータセットと共通の一つ以上の特徴を有するか否かを判別するためのヒューリスティックスを使用する請求項20に記載のシステム。
  31. 前記特徴は前記データセットの表現におけるバイト及びレコードの量を含む請求項30に記載のシステム。
  32. 前記特徴は前記データセットの表現の名称を含む請求項30に記載のシステム。
  33. 前記特徴は前記データセットの表現の生成日を含む請求項30に記載のシステム。
  34. 前記特徴は前記データセットの表現のデータフォーマットを含む請求項30に記載の方法システム。
  35. 前記マッピングの前記データセットの少なくとも一つはデータ管理システムに知られているデータセットのグループに属する請求項20に記載のシステム。
  36. 前記マッパは、所与のセット内のデータセット間のフォーマットマッピングを発生する請求項20に記載のシステム。
  37. 前記マッピングは、前記データセットを追跡する前記データ管理システムにおけるレコードを指し示す識別子を含む請求項20に記載のシステム。
  38. 前記マッパはデータセットの変化に基づいて前記マッピングを更新する請求項20に記載のシステム。
  39. データストレージシステムに格納されたデータをマッピングするシステムであって、
    ノードを含むデータフローグラフの仕様を処理する手段であって、前記ノードがデータのフローを表現するリンクによって相互接続された計算を表現し、前記データフローグラフの少なくとも一つが少なくとも一つの入力データセットからデータのフローを受取り、且つ、前記データフローグラフの少なくとも一つが少なくとも一つの出力データセットにデータのフローを提供する、手段;
    データセットの一つ以上のセットを特定する手段であって、所与のセット内の各データセットが単一のデータセットの異なるバージョンを特定するための一つ以上の基準に一致し、前記単一のデータセットの各バージョンが前記データフローグラフのうちの異なる一つによって受け取られるかまたは提供されるデータを表す、手段;
    所与のセットにおける少なくとも二つのデータセットの間のマッピングを受け取るユーザインターフェースを提供する手段;及び、
    データを前記マッピングのデータセットに提供するかまたはデータを前記マッピングのデータセットから受け取る一つのデータフローグラフに関連して前記ユーザインターフェースを通して受け取られた前記マッピングを格納する手段;
    を含むシステム。
  40. データストレージシステムに格納されたデータをマッピングするためのコンピュータプログラムを格納するコンピュータ読み取り可能媒体であって、前記コンピュータプログラムは
    ノードを含むデータフローグラフの仕様を処理させる命令であって、前記ノードがデータのフローを表現するリンクによって相互接続された計算を表現し、前記データフローグラフの少なくとも一つが少なくとも一つの入力データセットからデータのフローを受取り、且つ、前記データフローグラフの少なくとも一つが少なくとも一つの出力データセットにデータのフローを提供する、命令;
    データセットの一つ以上のセットを特定させる命令であって、所与のセット内の各データセットが単一のデータセットの異なるバージョンを特定するための一つ以上の基準に一致し、前記単一のデータセットの各バージョンが前記データフローグラフのうちの異なる一つによって受け取られるかまたは提供されるデータを表す、命令;
    所与のセットにおける少なくとも二つのデータセットの間のマッピングを受け取るユーザインターフェースを提供させる命令;及び、
    データを前記マッピングのデータセットに提供するかまたはデータを前記マッピングのデータセットから受け取る一つのデータフローグラフに関連して前記ユーザインターフェースを通して受け取られた前記マッピングを格納させる命令;
    を含む、コンピュータ読み取り可能媒体
  41. 単一のデータセットの各バージョンは、異なるグラフ、グラフサブセットまたは実行可能な構成要素に関連する請求項1に記載の方法。
  42. 単一のデータセットの各バージョンは、前記データストレージシステムに関連した異なる場所に格納される請求項1に記載の方法。
  43. 単一のデータセットの各バージョンは、異なるデータストレージフォーマットを用いて解釈される請求項1に記載の方法。
  44. 単一のデータセットの各バージョンは、前記データフローグラフの実行間で変化するパラメータを用いてアクセスされる請求項1に記載の方法。
  45. 単一のデータセットの各バージョンは、異なるグラフ、グラフサブセットまたは実行可能な構成要素に関連する請求項20に記載のシステム。
  46. 単一のデータセットの各バージョンは、前記データストレージシステムに関連した異なる場所に格納される請求項20に記載のシステム。
  47. 単一のデータセットの各バージョンは、異なるデータストレージフォーマットを用いて解釈される請求項20に記載のシステム。
  48. 単一のデータセットの各バージョンは、前記データフローグラフの実行間で変化するパラメータを用いてアクセスされる請求項20に記載のシステム。
  49. 前記ユーザインターフェースが前記セットを提示する請求項39に記載のシステム。
  50. 前記ユーザインターフェースが、前記一つ以上の基準への一致の数量化に従って順位付けられた、可能性のあるマッピングのリストを提示する請求項39に記載のシステム。
  51. 前記可能性のあるマッピングのリストは、前記リスト内にてより高位に順序付けられた所与のデータセットのインスタンスである可能性がより高い候補を含む請求項50に記載のシステム。
  52. 前記データセットの一つ以上のセットを特定する手段は、前記基準の一つを含む請求項50に記載のシステム。
  53. 前記基準の一つは、前記ユーザインターフェースによって受信される請求項50に記載のシステム。
  54. 前記可能性のあるマッピングの少なくとも一つは一つのデータセットを表現するデータフローグラフの構成要素を示し、且つ、前記可能性のあるマッピングの少なくとも一つはデータセットを表現しないデータフローグラフの構成要素を示す、請求項50に記載のシステム。
  55. 複数の構成要素を含むデータフローグラフのサブグラフはデータセットを表現する請求項39に記載のシステム。
  56. 前記サブグラフはデータ構成要素を含む請求項55に記載のシステム。
  57. 前記サブグラフは実行可能な構成要素を含む請求項55に記載のシステム。
  58. 前記データセットの一つ以上のセットを特定する手段は、所与のセット内の一つのデータセットが他のデータセットと共通の一つ以上の特徴を有するか否かを判別するためのヒューリスティックスを使用する請求項39に記載のシステム。
  59. 前記特徴は前記データセットの表現におけるバイト及びレコードの量を含む請求項58に記載のシステム。
  60. 前記特徴は前記データセットの表現の名称を含む請求項58に記載のシステム。
  61. 前記特徴は前記データセットの表現の生成日を含む請求項58に記載のシステム。
  62. 前記特徴は前記データセットの表現のデータフォーマットを含む請求項58に記載のシステム。
  63. 前記マッピングのデータセットの少なくとも一つはデータ管理システムに知られているデータセットのグループに属する請求項39に記載のシステム。
  64. 前記データセットの一つ以上のセットを特定する手段は、所与のセットのデータセット間のフォーマットマッピングを発生する請求項39に記載のシステム。
  65. 単一のデータセットの各バージョンは、異なるグラフ、グラフサブセットまたは実行可能な構成要素に関連する請求項39に記載のシステム。
  66. 単一のデータセットの各バージョンは、前記データストレージシステムに関連した異なる場所に格納される請求項39に記載のシステム。
  67. 単一のデータセットの各バージョンは、異なるデータストレージフォーマットを用いて解釈される請求項39に記載のシステム。
  68. 単一のデータセットの各バージョンは、前記データフローグラフの実行間で変化するパラメータを用いてアクセスされる請求項39に記載のシステム。
  69. 前記コンピュータプログラムは、前記セットを前記ユーザインターフェースを通して提示する命令をさらに含む、請求項40に記載のコンピュータ読み取り可能媒体。
  70. 前記コンピュータプログラムは、前記一つ以上の基準への一致の数量化に従って順位付けられた、可能性のあるマッピングのリストを前記ユーザインターフェースを通して提示する命令をさらに含む、請求項40に記載のコンピュータ読み取り可能媒体。
  71. 前記可能性のあるマッピングのリストは、前記リスト内にてより高位に順序付けられた所与のデータセットのインスタンスである可能性がより高い候補を含む請求項70に記載のコンピュータ読み取り可能媒体。
  72. 前記基準の一つが前記一つ以上のデータセットのセットを特定するマッパに組込まれている請求項70に記載のコンピュータ読み取り可能媒体。
  73. 前記基準の一つは前記ユーザインターフェースから受け取られる請求項70に記載のコンピュータ読み取り可能媒体。
  74. 前記可能性のあるマッピングの少なくとも一つは一つのデータセットを表現するデータフローグラフの構成要素を示し、且つ、前記可能性のあるマッピングの少なくとも一つはデータセットを表現しないデータフローグラフの構成要素を示す、請求項70に記載のコンピュータ読み取り可能媒体。
  75. 複数の構成要素を含むデータフローグラフのサブグラフはデータセットを表現する請求項40に記載のコンピュータ読み取り可能媒体。
  76. 前記サブグラフはデータ構成要素を含む請求項75に記載のコンピュータ読み取り可能媒体。
  77. 前記サブグラフは実行可能な構成要素を含む請求項75に記載のコンピュータ読み取り可能媒体。
  78. 前記データセットの一つ以上のセットを特定することは、所与のセット内の一つのデータセットが他のデータセットと共通の一つ以上の特徴を有するか否かを判別するためのヒューリスティックスを使用することを含む請求項40に記載のコンピュータ読み取り可能媒体。
  79. 前記特徴は前記データセットの表現におけるバイト及びレコードの量を含む請求項78に記載のコンピュータ読み取り可能媒体。
  80. 前記特徴は前記データセットの表現の名称を含む請求項78に記載のコンピュータ読み取り可能媒体。
  81. 前記特徴は前記データセットの表現の生成日を含む請求項78に記載のコンピュータ読み取り可能媒体。
  82. 前記特徴は前記データセットの表現のデータフォーマットを含む請求項78に記載のコンピュータ読み取り可能媒体。
  83. 前記マッピングのデータセットの少なくとも一つはデータ管理システムに知られているデータセットのグループに属する請求項40に記載のコンピュータ読み取り可能媒体。
  84. 前記コンピュータプログラムは、所与のセットのデータセット間のフォーマットマッピングを提供する命令をさらに含む、請求項40に記載のコンピュータ読み取り可能媒体。
  85. 前記マッピングは、前記データセットを追跡するデータ管理システムにおけるレコードを指し示す識別子を含む請求項40に記載のコンピュータ読み取り可能媒体。
  86. 前記コンピュータプログラムは、データセットの変化に基づいて前記マッピングを更新する命令をさらに含む、請求項40に記載のコンピュータ読み取り可能媒体。
  87. 単一のデータセットの各バージョンは、異なるグラフ、グラフサブセットまたは実行可能な構成要素に関連する請求項40に記載のコンピュータ読み取り可能媒体。
  88. 単一のデータセットの各バージョンは、前記データストレージシステムに関連した異なる場所に格納される請求項40に記載のコンピュータ読み取り可能媒体。
  89. 単一のデータセットの各バージョンは、異なるデータストレージフォーマットを用いて解釈される請求項40に記載のコンピュータ読み取り可能媒体。
  90. 単一のデータセットの各バージョンは、前記データフローグラフの実行間で変化するパラメータを用いてアクセスされる請求項40に記載のコンピュータ読み取り可能媒体。
JP2011539631A 2008-12-02 2009-12-01 データ管理システム内のデータセットのインスタンスのマッピング Active JP5525541B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11916408P 2008-12-02 2008-12-02
US61/119,164 2008-12-02
PCT/US2009/066210 WO2010065511A1 (en) 2008-12-02 2009-12-01 Mapping instances of a dataset within a data management system

Publications (3)

Publication Number Publication Date
JP2012510687A JP2012510687A (ja) 2012-05-10
JP2012510687A5 true JP2012510687A5 (ja) 2013-01-24
JP5525541B2 JP5525541B2 (ja) 2014-06-18

Family

ID=42223717

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011539631A Active JP5525541B2 (ja) 2008-12-02 2009-12-01 データ管理システム内のデータセットのインスタンスのマッピング

Country Status (8)

Country Link
US (2) US20100138388A1 (ja)
EP (1) EP2370892B1 (ja)
JP (1) JP5525541B2 (ja)
KR (2) KR101661532B1 (ja)
CN (1) CN102232212B (ja)
AU (1) AU2009322602B2 (ja)
CA (1) CA2744881C (ja)
WO (1) WO2010065511A1 (ja)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7389275B2 (en) 2002-03-05 2008-06-17 Visa U.S.A. Inc. System for personal authorization control for card transactions
US9262490B2 (en) * 2004-08-12 2016-02-16 Oracle International Corporation Adaptively routing transactions to servers
EP2370892B1 (en) 2008-12-02 2020-11-04 Ab Initio Technology LLC Mapping instances of a dataset within a data management system
EP2478433A4 (en) 2009-09-16 2016-09-21 Ab Initio Technology Llc MAPPING DATA SET ELEMENTS
CN103069394B (zh) * 2010-08-25 2016-06-22 起元技术有限责任公司 评估数据流图的特征
US9396283B2 (en) 2010-10-22 2016-07-19 Daniel Paul Miranker System for accessing a relational database using semantic queries
KR101911793B1 (ko) 2010-10-25 2018-10-25 아브 이니티오 테크놀로지 엘엘시 컴퓨터 프로그램을 나타내는 데이터플로우 그래프 내의 데이터세트 객체의 관리
US9563411B2 (en) * 2011-01-07 2017-02-07 Ab Initio Technology Llc Flow analysis instrumentation
CA2824282C (en) 2011-01-14 2019-05-21 Ab Initio Technology Llc Managing changes to collections of data
US8217945B1 (en) 2011-09-02 2012-07-10 Metric Insights, Inc. Social annotation of a single evolving visual representation of a changing dataset
US8538934B2 (en) * 2011-10-28 2013-09-17 Microsoft Corporation Contextual gravitation of datasets and data services
KR102031402B1 (ko) 2012-07-24 2019-10-11 아브 이니티오 테크놀로지 엘엘시 데이터 모델에서의 엔티티 매핑
US9444674B2 (en) 2012-10-02 2016-09-13 Microsoft Technology Licensing, Llc Heuristic analysis of responses to user requests
US10489360B2 (en) 2012-10-17 2019-11-26 Ab Initio Technology Llc Specifying and applying rules to data
US10515118B2 (en) 2013-06-24 2019-12-24 Micro Focus Llc Processing a data flow graph of a hybrid flow
GB2534693B (en) * 2013-11-08 2017-02-08 Exacttrak Ltd Data accessibility control
SG11201606776XA (en) * 2014-03-14 2016-09-29 Ab Initio Technology Llc Mapping attributes of keyed entities
US10089409B2 (en) 2014-04-29 2018-10-02 Microsoft Technology Licensing, Llc Event-triggered data quality verification
US10877955B2 (en) * 2014-04-29 2020-12-29 Microsoft Technology Licensing, Llc Using lineage to infer data quality issues
KR102148984B1 (ko) * 2014-05-29 2020-08-27 삼성에스디에스 주식회사 데이터 처리 시스템 및 방법
EP3195114B1 (en) 2014-07-18 2020-04-01 AB Initio Technology LLC Managing lineage information
TWI540861B (zh) * 2014-08-01 2016-07-01 友勁科技股份有限公司 管理系統與管理方法
CN105302843A (zh) * 2014-08-01 2016-02-03 友劲科技股份有限公司 管理系统与管理方法
US9626393B2 (en) 2014-09-10 2017-04-18 Ab Initio Technology Llc Conditional validation rules
JP6598973B2 (ja) * 2015-03-23 2019-10-30 モルガン スタンレー サービシーズ グループ,インコーポレイテッド 分散コンピューティングシステムにおけるデータフローの追跡
CN110149801A (zh) * 2015-05-05 2019-08-20 华为技术有限公司 用于在处理系统中进行数据流图转换的系统和方法
US11675808B2 (en) 2016-06-19 2023-06-13 Data.World, Inc. Dataset analysis and dataset attribute inferencing to form collaborative datasets
US11023104B2 (en) 2016-06-19 2021-06-01 data.world,Inc. Interactive interfaces as computerized tools to present summarization data of dataset attributes for collaborative datasets
US11334625B2 (en) 2016-06-19 2022-05-17 Data.World, Inc. Loading collaborative datasets into data stores for queries via distributed computer networks
US10515085B2 (en) 2016-06-19 2019-12-24 Data.World, Inc. Consolidator platform to implement collaborative datasets via distributed computer networks
US11042548B2 (en) 2016-06-19 2021-06-22 Data World, Inc. Aggregation of ancillary data associated with source data in a system of networked collaborative datasets
US10353911B2 (en) 2016-06-19 2019-07-16 Data.World, Inc. Computerized tools to discover, form, and analyze dataset interrelations among a system of networked collaborative datasets
US10645548B2 (en) 2016-06-19 2020-05-05 Data.World, Inc. Computerized tool implementation of layered data files to discover, form, or analyze dataset interrelations of networked collaborative datasets
US10438013B2 (en) 2016-06-19 2019-10-08 Data.World, Inc. Platform management of integrated access of public and privately-accessible datasets utilizing federated query generation and query schema rewriting optimization
US11755602B2 (en) 2016-06-19 2023-09-12 Data.World, Inc. Correlating parallelized data from disparate data sources to aggregate graph data portions to predictively identify entity data
US11468049B2 (en) * 2016-06-19 2022-10-11 Data.World, Inc. Data ingestion to generate layered dataset interrelations to form a system of networked collaborative datasets
US11016931B2 (en) * 2016-06-19 2021-05-25 Data.World, Inc. Data ingestion to generate layered dataset interrelations to form a system of networked collaborative datasets
US10324925B2 (en) 2016-06-19 2019-06-18 Data.World, Inc. Query generation for collaborative datasets
US11036716B2 (en) 2016-06-19 2021-06-15 Data World, Inc. Layered data generation and data remediation to facilitate formation of interrelated data in a system of networked collaborative datasets
US10747774B2 (en) 2016-06-19 2020-08-18 Data.World, Inc. Interactive interfaces to present data arrangement overviews and summarized dataset attributes for collaborative datasets
US11042537B2 (en) * 2016-06-19 2021-06-22 Data.World, Inc. Link-formative auxiliary queries applied at data ingestion to facilitate data operations in a system of networked collaborative datasets
US11086896B2 (en) * 2016-06-19 2021-08-10 Data.World, Inc. Dynamic composite data dictionary to facilitate data operations via computerized tools configured to access collaborative datasets in a networked computing platform
US10824637B2 (en) 2017-03-09 2020-11-03 Data.World, Inc. Matching subsets of tabular data arrangements to subsets of graphical data arrangements at ingestion into data driven collaborative datasets
US11042556B2 (en) 2016-06-19 2021-06-22 Data.World, Inc. Localized link formation to perform implicitly federated queries using extended computerized query language syntax
US11036697B2 (en) * 2016-06-19 2021-06-15 Data.World, Inc. Transmuting data associations among data arrangements to facilitate data operations in a system of networked collaborative datasets
US10452975B2 (en) 2016-06-19 2019-10-22 Data.World, Inc. Platform management of integrated access of public and privately-accessible datasets utilizing federated query generation and query schema rewriting optimization
US11042560B2 (en) 2016-06-19 2021-06-22 data. world, Inc. Extended computerized query language syntax for analyzing multiple tabular data arrangements in data-driven collaborative projects
US10452677B2 (en) 2016-06-19 2019-10-22 Data.World, Inc. Dataset analysis and dataset attribute inferencing to form collaborative datasets
US11941140B2 (en) 2016-06-19 2024-03-26 Data.World, Inc. Platform management of integrated access of public and privately-accessible datasets utilizing federated query generation and query schema rewriting optimization
US11068847B2 (en) 2016-06-19 2021-07-20 Data.World, Inc. Computerized tools to facilitate data project development via data access layering logic in a networked computing platform including collaborative datasets
US10853376B2 (en) 2016-06-19 2020-12-01 Data.World, Inc. Collaborative dataset consolidation via distributed computer networks
US11947554B2 (en) 2016-06-19 2024-04-02 Data.World, Inc. Loading collaborative datasets into data stores for queries via distributed computer networks
US11093703B2 (en) 2016-09-29 2021-08-17 Google Llc Generating charts from data in a data table
US12008050B2 (en) * 2017-03-09 2024-06-11 Data.World, Inc. Computerized tools configured to determine subsets of graph data arrangements for linking relevant data to enrich datasets associated with a data-driven collaborative dataset platform
US11068453B2 (en) * 2017-03-09 2021-07-20 data.world, Inc Determining a degree of similarity of a subset of tabular data arrangements to subsets of graph data arrangements at ingestion into a data-driven collaborative dataset platform
US11238109B2 (en) * 2017-03-09 2022-02-01 Data.World, Inc. Computerized tools configured to determine subsets of graph data arrangements for linking relevant data to enrich datasets associated with a data-driven collaborative dataset platform
US10691729B2 (en) * 2017-07-07 2020-06-23 Palantir Technologies Inc. Systems and methods for providing an object platform for a relational database
US10592147B2 (en) 2017-07-26 2020-03-17 International Business Machines Corporation Dataset relevance estimation in storage systems
US10671303B2 (en) 2017-09-13 2020-06-02 International Business Machines Corporation Controlling a storage system
US10922308B2 (en) 2018-03-20 2021-02-16 Data.World, Inc. Predictive determination of constraint data for application with linked data in graph-based datasets associated with a data-driven collaborative dataset platform
US11243960B2 (en) 2018-03-20 2022-02-08 Data.World, Inc. Content addressable caching and federation in linked data projects in a data-driven collaborative dataset platform using disparate database architectures
CN110297699B (zh) * 2018-03-23 2021-09-14 华为技术有限公司 调度方法、调度器、存储介质及系统
US11947529B2 (en) 2018-05-22 2024-04-02 Data.World, Inc. Generating and analyzing a data model to identify relevant data catalog data derived from graph-based data arrangements to perform an action
US11327991B2 (en) * 2018-05-22 2022-05-10 Data.World, Inc. Auxiliary query commands to deploy predictive data models for queries in a networked computing platform
USD940169S1 (en) 2018-05-22 2022-01-04 Data.World, Inc. Display screen or portion thereof with a graphical user interface
USD940732S1 (en) 2018-05-22 2022-01-11 Data.World, Inc. Display screen or portion thereof with a graphical user interface
US11442988B2 (en) 2018-06-07 2022-09-13 Data.World, Inc. Method and system for editing and maintaining a graph schema
KR20210046487A (ko) * 2019-10-18 2021-04-28 삼성전자주식회사 데이터 베이스에 포함된 데이터를 분석하는 데이터 분석 장치 및 방법
EP4285238A1 (en) 2021-01-31 2023-12-06 Ab Initio Technology LLC Data processing system with manipulation of logical dataset groups
CA3210343A1 (en) * 2021-01-31 2022-08-04 Ab Initio Technology Llc Dataset multiplexer for data processing system
US11947600B2 (en) 2021-11-30 2024-04-02 Data.World, Inc. Content addressable caching and federation in linked data projects in a data-driven collaborative dataset platform using disparate database architectures
CN115017251B (zh) * 2022-08-05 2022-10-25 山东省计算中心(国家超级计算济南中心) 一种用于智慧城市的标准映射地图建立方法及系统
KR102660914B1 (ko) * 2023-11-07 2024-04-24 김기창 대용량 데이터 활용을 위한 공통 코드 정비 및 정제와 설계 방법 및 서버

Family Cites Families (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5168441A (en) 1990-05-30 1992-12-01 Allen-Bradley Company, Inc. Methods for set up and programming of machine and process controllers
US5446885A (en) 1992-05-15 1995-08-29 International Business Machines Corporation Event driven management information system with rule-based applications structure stored in a relational database
JPH0744368A (ja) 1993-07-29 1995-02-14 Hitachi Ltd 組合せモデルの編集システム
US5758351A (en) * 1995-03-01 1998-05-26 Sterling Software, Inc. System and method for the creation and use of surrogate information system objects
US5966072A (en) * 1996-07-02 1999-10-12 Ab Initio Software Corporation Executing computations expressed as graphs
US6216140B1 (en) * 1997-09-17 2001-04-10 Hewlett-Packard Company Methodology for the efficient management of hierarchically organized information
US6216131B1 (en) * 1998-02-06 2001-04-10 Starfish Software, Inc. Methods for mapping data fields from one data set to another in a data processing environment
US6088702A (en) 1998-02-25 2000-07-11 Plantz; Scott H. Group publishing system
US6948154B1 (en) * 1999-03-22 2005-09-20 Oregon State University Methodology for testing spreadsheets
US7120638B1 (en) * 1999-09-21 2006-10-10 International Business Machines Corporation Method, system, program, and data structure for cleaning a database table
US6633875B2 (en) 1999-12-30 2003-10-14 Shaun Michael Brady Computer database system and method for collecting and reporting real estate property and loan performance information over a computer driven network
GB2358072B (en) 2000-01-07 2004-01-28 Mitel Corp Tabular range editing mechanism
US7164422B1 (en) * 2000-07-28 2007-01-16 Ab Initio Software Corporation Parameterized graphs with conditional components
US6704024B2 (en) * 2000-08-07 2004-03-09 Zframe, Inc. Visual content browsing using rasterized representations
US6708186B1 (en) * 2000-08-14 2004-03-16 Oracle International Corporation Aggregating and manipulating dictionary metadata in a database system
US7143076B2 (en) 2000-12-12 2006-11-28 Sap Aktiengesellschaft Method and apparatus for transforming data
US6629098B2 (en) 2001-01-16 2003-09-30 Hewlett-Packard Development Company, L.P. Method and system for validating data submitted to a database application
US7117430B2 (en) * 2001-02-27 2006-10-03 Microsoft Corporation Spreadsheet error checker
JP2002279147A (ja) 2001-03-22 2002-09-27 Sharp Corp 内製化判断支援装置、内製化判断支援方法および内製化判断支援プログラムを記録した機械読取可能な記録媒体および内製化判断支援プログラム
US7614036B2 (en) * 2001-03-22 2009-11-03 Robert D Bjornson Method and system for dataflow creation and execution
US7853553B2 (en) * 2001-03-26 2010-12-14 Siebel Systems, Inc. Engine for converting data from a source format to a destination format using user defined mappings
US6732095B1 (en) 2001-04-13 2004-05-04 Siebel Systems, Inc. Method and apparatus for mapping between XML and relational representations
US6494159B2 (en) * 2001-05-11 2002-12-17 The United States Of America As Represented By The Secretary Of The Navy Submarine launched unmanned combat vehicle replenishment
US6832366B2 (en) 2001-05-17 2004-12-14 Simdesk Technologies, Inc. Application generator
US7099885B2 (en) * 2001-05-25 2006-08-29 Unicorn Solutions Method and system for collaborative ontology modeling
US6868526B2 (en) * 2001-07-18 2005-03-15 The Mathworks, Inc. Graphical subclassing
AUPR966001A0 (en) * 2001-12-20 2002-01-24 Canon Information Systems Research Australia Pty Ltd A microprocessor card defining a custom user interface
US7080088B1 (en) * 2002-01-30 2006-07-18 Oracle International Corporation Automatic reconciliation of bindable objects
US7185317B2 (en) 2002-02-14 2007-02-27 Hubbard & Wells Logical data modeling and integrated application framework
US6820077B2 (en) 2002-02-22 2004-11-16 Informatica Corporation Method and system for navigating a large amount of data
US7110924B2 (en) * 2002-05-15 2006-09-19 Caterpillar Inc. Method for controlling the performance of a target system
US7574652B2 (en) * 2002-06-20 2009-08-11 Canon Kabushiki Kaisha Methods for interactively defining transforms and for generating queries by manipulating existing query data
US20050144189A1 (en) 2002-07-19 2005-06-30 Keay Edwards Electronic item management and archival system and method of operating the same
US7167850B2 (en) * 2002-10-10 2007-01-23 Ab Initio Software Corporation Startup and control of graph-based computation
US7225301B2 (en) 2002-11-22 2007-05-29 Quicksilver Technologies External memory controller node
US7257603B2 (en) 2003-05-08 2007-08-14 Microsoft Corporation Preview mode
US20040225632A1 (en) 2003-05-08 2004-11-11 Microsoft Corporation Automated information management and related methods
US20050010896A1 (en) 2003-07-07 2005-01-13 International Business Machines Corporation Universal format transformation between relational database management systems and extensible markup language using XML relational transformation
US20050060317A1 (en) * 2003-09-12 2005-03-17 Lott Christopher Martin Method and system for the specification of interface definitions and business rules and automatic generation of message validation and transformation software
US7849075B2 (en) * 2003-09-15 2010-12-07 Ab Initio Technology Llc Joint field profiling
US7865507B2 (en) * 2003-09-15 2011-01-04 Oracle International Corporation Data quality analyzer
US7765529B1 (en) * 2003-10-31 2010-07-27 The Mathworks, Inc. Transforming graphical objects in a graphical modeling environment
US7743382B2 (en) * 2003-11-03 2010-06-22 Ramal Acquisition Corp. System for deadlock condition detection and correction by allowing a queue limit of a number of data tokens on the queue to increase
US20050187984A1 (en) * 2004-02-20 2005-08-25 Tianlong Chen Data driven database management system and method
US8165853B2 (en) * 2004-04-16 2012-04-24 Knowledgebase Marketing, Inc. Dimension reduction in predictive model development
JP4275013B2 (ja) * 2004-06-21 2009-06-10 三洋電機株式会社 データフローグラフ処理装置、処理装置、リコンフィギュラブル回路。
US7536406B2 (en) 2004-06-23 2009-05-19 Microsoft Corporation Impact analysis in an object model
US20060007464A1 (en) 2004-06-30 2006-01-12 Percey Michael F Structured data update and transformation system
US7353227B2 (en) * 2004-07-23 2008-04-01 Sap Aktiengesellschaft Conflict resolution engine
US7899833B2 (en) 2004-11-02 2011-03-01 Ab Initio Technology Llc Managing related data objects
WO2006096681A1 (en) * 2005-03-07 2006-09-14 Computer Associates Think, Inc. System and method for data manipulation
JP4550641B2 (ja) 2005-03-30 2010-09-22 大陽日酸エンジニアリング株式会社 データ照合装置及び方法
US8255363B2 (en) 2005-06-08 2012-08-28 rPath Methods, systems, and computer program products for provisioning software using dynamic tags to identify and process files
US8630917B2 (en) * 2005-06-09 2014-01-14 At&T Intellectual Property Ii, L.P. Arrangement for guiding user design of comprehensive product solution using on-the-fly data validation
US7716630B2 (en) 2005-06-27 2010-05-11 Ab Initio Technology Llc Managing parameters for graph-based computations
US7877350B2 (en) * 2005-06-27 2011-01-25 Ab Initio Technology Llc Managing metadata for graph-based computations
US7464105B2 (en) * 2005-07-06 2008-12-09 International Business Machines Corporation Method for performing semi-automatic dataset maintenance
US7870162B2 (en) * 2005-07-29 2011-01-11 Sap Ag Method for generating properly formed expressions
US20070050705A1 (en) * 2005-08-30 2007-03-01 Erxiang Liu Method of xml element level comparison and assertion utilizing an application-specific parser
US20070050750A1 (en) 2005-08-31 2007-03-01 Microsoft Corporation Extensible data-driven setup application for operating system
EP1941432A4 (en) * 2005-10-25 2011-04-20 Angoss Software Corp STRATEGY TREES FOR DATA MINING
US8060821B2 (en) * 2005-12-09 2011-11-15 Apple Inc. Enhanced visual feedback of interactions with user interface
US20070179956A1 (en) 2006-01-18 2007-08-02 Whitmyer Wesley W Jr Record protection system for networked databases
US7761586B2 (en) * 2006-02-06 2010-07-20 Microsoft Corporation Accessing and manipulating data in a data flow graph
US7661067B2 (en) * 2006-02-21 2010-02-09 International Business Machines Corporation Method for providing quick responses in instant messaging conversations
US7647298B2 (en) * 2006-03-23 2010-01-12 Microsoft Corporation Generation of query and update views for object relational mapping
US20070294119A1 (en) * 2006-03-30 2007-12-20 Adaptive Alpha, Llc System, method and computer program product for evaluating and rating an asset management business and associate investment funds using experiential business process and performance data, and applications thereof
US8868577B2 (en) * 2006-03-31 2014-10-21 Sap Se Generic database manipulator
US7797319B2 (en) * 2006-05-15 2010-09-14 Algebraix Data Corporation Systems and methods for data model mapping
US7870556B2 (en) * 2006-05-16 2011-01-11 Ab Initio Technology Llc Managing computing resources in graph-based computations
US7970746B2 (en) 2006-06-13 2011-06-28 Microsoft Corporation Declarative management framework
US7689565B1 (en) 2006-06-28 2010-03-30 Emc Corporation Methods and apparatus for synchronizing network management data
WO2008021953A2 (en) * 2006-08-10 2008-02-21 Ab Initio Software Llc Distributing services in graph-based computations
US20080083237A1 (en) * 2006-10-06 2008-04-10 Hussmann Corporation Electronic head pressure control
US8423564B1 (en) 2006-10-31 2013-04-16 Ncr Corporation Methods and apparatus for managing and updating stored information
US20080126988A1 (en) 2006-11-24 2008-05-29 Jayprakash Mudaliar Application management tool
US7890509B1 (en) * 2006-12-05 2011-02-15 First American Real Estate Solutions Llc Parcel data acquisition and processing
US20080162384A1 (en) * 2006-12-28 2008-07-03 Privacy Networks, Inc. Statistical Heuristic Classification
GB0700450D0 (en) * 2007-01-10 2007-02-21 Radiation Watch Ltd The RWL threat engine
US9430552B2 (en) * 2007-03-16 2016-08-30 Microsoft Technology Licensing, Llc View maintenance rules for an update pipeline of an object-relational mapping (ORM) platform
US20080243765A1 (en) * 2007-03-29 2008-10-02 Ariel Fuxman Method for generating nested mapping specifications in a schema mapping formalism
US7603368B2 (en) * 2007-03-30 2009-10-13 Fmr Llc Mapping data on a network
US8069129B2 (en) * 2007-04-10 2011-11-29 Ab Initio Technology Llc Editing and compiling business rules
US8032404B2 (en) * 2007-06-13 2011-10-04 International Business Machines Corporation Method and system for estimating financial benefits of packaged application service projects
US8694518B2 (en) * 2007-06-14 2014-04-08 Colorquick, L.L.C. Method and apparatus for database mapping
US8103704B2 (en) 2007-07-31 2012-01-24 ePrentise, LLC Method for database consolidation and database separation
US7912264B2 (en) * 2007-08-03 2011-03-22 Siemens Medical Solutions Usa, Inc. Multi-volume rendering of single mode data in medical diagnostic imaging
US7860863B2 (en) 2007-09-05 2010-12-28 International Business Machines Corporation Optimization model for processing hierarchical data in stream systems
US8566296B2 (en) * 2007-09-14 2013-10-22 Oracle International Corporation Support for compensation aware data types in relational database systems
EP2191362B1 (en) * 2007-09-20 2015-08-19 Ab Initio Technology LLC Managing data flows in graph-based computations
CN101878461B (zh) * 2007-09-28 2014-03-12 国际商业机器公司 分析用于匹配数据记录的系统的方法和系统
US8078651B2 (en) * 2008-01-24 2011-12-13 Oracle International Corporation Match rules to identify duplicate records in inbound data
US20090234623A1 (en) 2008-03-12 2009-09-17 Schlumberger Technology Corporation Validating field data
JP4224126B1 (ja) * 2008-06-09 2009-02-12 パナソニック株式会社 データベース管理サーバ装置、データベース管理システム、データベース管理方法およびデータベース管理プログラム
US20090319494A1 (en) * 2008-06-20 2009-12-24 Microsoft Corporation Field mapping for data stream output
CN102138139B (zh) * 2008-06-30 2014-12-17 起元技术有限责任公司 基于图的计算中的数据日志记录
US20100083237A1 (en) * 2008-09-26 2010-04-01 Arm Limited Reducing trace overheads by modifying trace operations
US8082228B2 (en) * 2008-10-31 2011-12-20 Netapp, Inc. Remote office duplication
CN102272752B (zh) 2008-11-12 2015-07-08 起元技术有限责任公司 管理和自动链接数据对象
CA2744876C (en) 2008-12-02 2017-08-29 Ab Initio Technology Llc Data maintenance system
EP2370892B1 (en) 2008-12-02 2020-11-04 Ab Initio Technology LLC Mapping instances of a dataset within a data management system
KR101613110B1 (ko) * 2009-01-30 2016-04-18 아브 이니티오 테크놀로지 엘엘시 벡터 필드를 이용한 데이터 처리 방법
EP2221733A1 (en) 2009-02-17 2010-08-25 AMADEUS sas Method allowing validation in a production database of new entered data prior to their release
US8935702B2 (en) * 2009-09-04 2015-01-13 International Business Machines Corporation Resource optimization for parallel data integration
EP2478433A4 (en) * 2009-09-16 2016-09-21 Ab Initio Technology Llc MAPPING DATA SET ELEMENTS
JP5401279B2 (ja) 2009-11-26 2014-01-29 株式会社日立製作所 チェックルール設計支援方法、チェックルール設計支援システム、およびチェックルール設計支援プログラム
US9805015B2 (en) 2009-12-16 2017-10-31 Teradata Us, Inc. System and method for enhanced user interactions with a grid
US8555265B2 (en) 2010-05-04 2013-10-08 Google Inc. Parallel processing of data
US8583664B2 (en) * 2010-05-26 2013-11-12 Microsoft Corporation Exposing metadata relationships through filter interplay
US8732143B2 (en) * 2010-08-27 2014-05-20 Microsoft Corporation Reducing locking during database transactions
KR101911793B1 (ko) * 2010-10-25 2018-10-25 아브 이니티오 테크놀로지 엘엘시 컴퓨터 프로그램을 나타내는 데이터플로우 그래프 내의 데이터세트 객체의 관리
US8949166B2 (en) * 2010-12-16 2015-02-03 International Business Machines Corporation Creating and processing a data rule for data quality
CA2824282C (en) * 2011-01-14 2019-05-21 Ab Initio Technology Llc Managing changes to collections of data
US20120310904A1 (en) 2011-06-01 2012-12-06 International Business Machine Corporation Data validation and service
US20130166515A1 (en) 2011-12-22 2013-06-27 David Kung Generating validation rules for a data report based on profiling the data report in a data processing tool
US8516008B1 (en) 2012-05-18 2013-08-20 Splunk Inc. Flexible schema column store
US10489360B2 (en) 2012-10-17 2019-11-26 Ab Initio Technology Llc Specifying and applying rules to data

Similar Documents

Publication Publication Date Title
JP2012510687A5 (ja)
JP6165741B2 (ja) 複数のデータ・ソースを表すスキーマを生成するシステム及び方法
Elseidy et al. Grami: Frequent subgraph and pattern mining in a single large graph
CN104137095B (zh) 用于演进分析的系统
JP2013517574A5 (ja)
US20200090085A1 (en) Digital twin graph
CN107533453A (zh) 用于生成数据可视化应用的系统和方法
JP2007073039A5 (ja)
JP2013533995A5 (ja)
WO2012131927A1 (ja) 計算機システム及びデータ管理方法
JP2013513864A5 (ja)
Barba-González et al. jMetalSP: a framework for dynamic multi-objective big data optimization
JP2012234520A5 (ja)
JP2012081948A5 (ja)
Slota et al. Complex network analysis using parallel approximate motif counting
JP2010257020A5 (ja)
WO2018153210A1 (zh) 一种自动创建索引的方法、装置及数据库系统
CN104572289B (zh) 基于虚拟化的服务器配置测算处理方法与装置
JP2016530584A (ja) データ操作のための、メモリ及びストレージ空間の管理
JP2016119081A5 (ja)
US20120297361A1 (en) Configuration management system for software product line development environment
JP2015106219A (ja) 分散型データ仮想化システム、クエリ処理方法及びクエリ処理プログラム
US9881069B2 (en) Information landscape modeling, analysis and validation
Zhu et al. Ontology-based mission modeling and analysis for system of systems
GB2493963A (en) Database record repair