JP2018106400A - 同義カラム候補選出装置、同義カラム候補選出方法、及び同義カラム候補選出プログラム - Google Patents
同義カラム候補選出装置、同義カラム候補選出方法、及び同義カラム候補選出プログラム Download PDFInfo
- Publication number
- JP2018106400A JP2018106400A JP2016251592A JP2016251592A JP2018106400A JP 2018106400 A JP2018106400 A JP 2018106400A JP 2016251592 A JP2016251592 A JP 2016251592A JP 2016251592 A JP2016251592 A JP 2016251592A JP 2018106400 A JP2018106400 A JP 2018106400A
- Authority
- JP
- Japan
- Prior art keywords
- column
- data model
- rare
- word
- mapping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010187 selection method Methods 0.000 title claims 3
- 238000013499 data model Methods 0.000 claims abstract description 203
- 238000000034 method Methods 0.000 claims description 115
- 238000004364 calculation method Methods 0.000 claims description 58
- 238000012545 processing Methods 0.000 claims description 27
- 238000012790 confirmation Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 7
- 230000010354 integration Effects 0.000 abstract description 44
- 238000013507 mapping Methods 0.000 description 304
- 238000007726 management method Methods 0.000 description 100
- 238000000605 extraction Methods 0.000 description 27
- 230000006870 function Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 17
- 238000004519 manufacturing process Methods 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 230000037221 weight management Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 238000007476 Maximum Likelihood Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/247—Thesauruses; Synonyms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3338—Query expansion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/374—Thesaurus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
- G06F16/84—Mapping; Conversion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/177—Editing, e.g. inserting or deleting of tables; using ruled lines
- G06F40/18—Editing, e.g. inserting or deleting of tables; using ruled lines of spreadsheets
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】データ統合サーバ10のCPU101は、工場データモデル210の自テーブル以外のテーブルの構成に係る語として存在する個数が所定数以下である第1希少語を検出するとともに、共通データモデル140における自テーブル以外のテーブルの構成に係る語として存在する個数が所定数以下である第2希少語を検出し、共通データモデル140に含まれる第2カラムが、工場データモデル210の第1カラムの同義カラム候補であることを判定するための判定条件を満たすか否かを判定し、判定条件を満たす場合に、第2カラムを第1カラムの同義カラム候補として選出する。判定条件は、第1カラムの周囲における第1希少語のいずれかと、第2カラムの周囲における第2希少語のいずれかと、が一致することである条件を含む。
【選択図】図1
Description
w1*MatchCName(x1,y1)
+w2*MatchTName(x2,y2)
+w3*MatchCType(x3,y3)
+w4*MatchDataRange(x4,y4)・・・(1)
MatchTName(x2,y2)は、テーブル名マッチ度算出式であり、例えば、x2とy2とが一致すれば1となり、そうでなければ0となる。
MatchCType(x3,y3)は、カラム型マッチ度算出式であり、例えば、x3とy3とが一致すれば1となり、そうでなければ0となる。
MatchDataRange(x4,y4)は、データ値範囲マッチ度算出式であり、例えば、x4とy4とが一致すれば1となり、そうでなければ0となる。
w1*MatchCName(xi1,yi1)
+w2*MatchTName(xi2,yi2)
+w3*MatchCType(xi3,yi3)
+w4*MatchDataRange(xi4,yi4)・・・(3)
MatchTName(xi2,yi2)は、テーブル名マッチ度算出式であり、例えば、xi2とyi2が一致すれば1となり、そうでなければ0となる。
MatchCType(xi3,yi3)は、カラム型マッチ度算出式であり、例えば、xi3とyi3が一致すれば1となり、そうでなければ0となる。
MatchDataRange(xi4,yi4)は、データ値範囲マッチ度算出式であり、例えば、xi4とyi4が一致すれば1となり、そうでなければ0となる。
Claims (15)
- 第1データモデルのカラムと同義であるカラムの候補である同義カラム候補を第2データモデルから検出する同義カラム候補選出装置であって、
前記同義カラム候補選出装置のプロセッサは、
前記第1データモデルにおける各テーブルの構成に係る語であって、前記第1データモデルにおける自テーブル以外のテーブルの構成に係る語として存在する個数が所定数以下である1以上の第1希少語を検出するとともに、前記第2データモデルにおける各テーブルの構成に係る語であって、前記第2データモデルにおける自テーブル以外のテーブルの構成に係る語として存在する個数が所定数以下である1以上の第2希少語を検出する希少語検出処理を実行し、
前記第2データモデルの第2カラムが、前記第1データモデルの第1カラムの同義カラム候補であることを判定するための所定の判定条件を満たすか否かを判定する判定処理を実行し、
前記判定条件を満たす場合に、前記第2カラムを前記第1カラムの同義カラム候補として選出する選出処理を実行し、
前記判定条件は、前記第1カラムの周囲における前記第1希少語のいずれかと、前記第2カラムの周囲における前記第2希少語のいずれかと、が一致することである希少語判定条件を含む
同義カラム候補選出装置。 - 前記プロセッサは、
前記第1カラムと、前記第1カラムの同義カラム候補として選定された前記第2カラムと、を表示出力する
請求項1に記載の同義カラム候補選出装置。 - 前記プロセッサは、
前記第1カラムと前記第2カラムとのカラムの特徴の類似度であるカラム特徴類似度を特定し、
前記判定条件は、前記カラム特徴類似度が所定の閾値以上であることである条件を含む
請求項1又は請求項2に記載の同義カラム候補選出装置。 - 前記プロセッサは、
前記カラム特徴類似度が所定の閾値以上である第1カラムと第2カラムとを対象に、前記判定処理を実行する
請求項3に記載の同義カラム候補選出装置。 - 前記プロセッサは、
同一の第1カラムとの前記カラム特徴類似度が所定の閾値以上であると特定された所定数以上の第2カラムと、前記第1カラムとを対象に、前記判定処理を実行する
請求項4に記載の同義カラム候補選出装置。 - 前記判定条件は、前記第1カラムの周囲における前記第1希少語のいずれかと、前記第2カラムの周囲における前記第2希少語のいずれかと、が一致することには、前記第1希少語のいずれかと、前記第2希少語のいずれかとが部分一致する場合も含む
請求項1から請求項5のいずれか一項に記載の同義カラム候補選出装置。 - 前記所定数は、0である
請求項1から請求項6のいずれか一項に記載の同義カラム選出装置。 - 前記第1カラムの周囲とは、前記第1カラムを含む第1テーブル、又は前記第1テーブルと前記第1テーブルの上位又は下位の少なくとも一方のテーブルを含む範囲であり、前記第2カラムの周囲とは、前記第2カラムを含む第2テーブル、又は前記第2テーブルと前記第2テーブルの上位又は下位の少なくとも一方のテーブルを含む範囲である
請求項1から請求項7のいずれか一項に記載の同義カラム選出装置。 - 前記プロセッサは、
ユーザからの、判定条件として、希少語判定条件を含めるか否かの指定を受け付け、
前記希少語判定条件を含めないとの指定を受け付けた場合には、前記判定処理において、前記希少語判定条件以外の条件を満たすか否かを判定する
請求項1から請求項8のいずれか一項に記載の同義カラム候補選出装置。 - 前記プロセッサは、
ユーザからの同一の希少語とみなす語の組の指定を受け付け、
前記受け付けた語の組を記憶装置に記憶させ、
前記第1カラムの周囲における前記第1希少語のいずれかと、前記第2カラムの周囲における前記第2希少語のいずれかと、が一致することには、前記第1希少語のいずれかと、前記第2希少語のいずれかとの組が、前記語の組と一致する場合も含む
請求項1から請求項9のいずれか一項に記載の同義カラム候補選出装置。 - 前記プロセッサは、
ユーザからの、第1カラムと、前記第1カラムの同義カラムとする第2カラムとを指定する同義カラム確定情報を取得し、
前記同義カラム確定情報に基づいて、前記第2テーブルに前記第1テーブルの第1カラムの同義カラム候補となる第2カラムが存在する可能性を示すテーブル類似度を特定し、
前記テーブル類似度が所定値以上である前記第1テーブル及び前記第2テーブルについて、同義カラムが確定していない第1カラムに対する同義カラム候補として、同義カラムとして指定されていない第2カラムを選出する
請求項1から請求項10のいずれか一項に記載の同義カラム候補選出装置。 - 前記プロセッサは、
前記第1データモデル又は前記第2データモデルの一方のテーブル構成に係る語を、他方のテーブル構成に係る語の言語に翻訳し、
前記翻訳後のテーブル構成に係る語を利用して、前記希少語検出処理、前記判定処理を実行する
請求項1から請求項11のいずれか一項に記載の同義カラム候補選出装置。 - 前記プロセッサは、
前記第1カラムと、前記第2カラムとのカラム特徴類似度を所定の計算式に基づいて特定し、
ユーザからの、第1カラムと、前記第1カラムの同義カラムとする第2カラムとを指定する同義カラム確定情報を取得し、
前記同義カラム確定情報に含まれる前記第1カラムと、前記第2カラムとの前記カラム特徴類似度が高く特定されるように、前記計算式を調整する
請求項1から請求項12のいずれか一項に記載の同義カラム候補選出装置。 - 第1データモデルのカラムと同義であるカラムの候補である同義カラム候補を第2データモデルから検出する同義カラム候補選出装置による同義カラム候補選出方法であって、
前記同義カラム候補選出装置が、
前記第1データモデルにおける各テーブルの構成に係る語であって、前記第1データモデルにおける自テーブル以外のテーブルの構成に係る語として存在する個数が所定数以下である1以上の第1希少語を検出するとともに、前記第2データモデルにおける各テーブルの構成に係る語であって、前記第2データモデルにおける自テーブル以外のテーブルの構成に係る語として存在する個数が所定数以下である1以上の第2希少語を検出する希少語検出処理を実行し、
前記第2データモデルの第2カラムが、前記第1データモデルの第1カラムの同義カラム候補であることを判定するための所定の判定条件を満たすか否かを判定する判定処理を実行し、
前記判定条件を満たす場合に、前記第2カラムを前記第1カラムの同義カラム候補として選出する選出処理を実行し、
前記判定条件は、前記第1カラムの周囲における前記第1希少語のいずれかと、前記第2カラムの周囲における前記第2希少語のいずれかと、が一致することである希少語判定条件を含む
同義カラム候補選出方法。 - 第1データモデルのカラムと同義であるカラムの候補である同義カラム候補を第2データモデルから検出する同義カラム候補選出装置を構成するコンピュータに実行させるための同義カラム候補選出プログラムであって、
前記コンピュータに、
前記第1データモデルにおける各テーブルの構成に係る語であって、前記第1データモデルにおける自テーブル以外のテーブルの構成に係る語として存在する個数が所定数以下である1以上の第1希少語を検出するとともに、前記第2データモデルにおける各テーブルの構成に係る語であって、前記第2データモデルにおける自テーブル以外のテーブルの構成に係る語として存在する個数が所定数以下である1以上の第2希少語を検出する希少語検出処理を実行させ、
前記第2データモデルの第2カラムが、前記第1データモデルの第1カラムの同義カラム候補であることを判定するための所定の判定条件を満たすか否かを判定する判定処理を実行させ、
前記判定条件を満たす場合に、前記第2カラムを前記第1カラムの同義カラム候補として選出する選出処理を実行させ、
前記判定条件は、前記第1カラムの周囲における前記第1希少語のいずれかと、前記第2カラムの周囲における前記第2希少語のいずれかと、が一致することである希少語判定条件を含む
同義カラム候補選出プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016251592A JP6764779B2 (ja) | 2016-12-26 | 2016-12-26 | 同義カラム候補選出装置、同義カラム候補選出方法、及び同義カラム候補選出プログラム |
US15/792,883 US10936634B2 (en) | 2016-12-26 | 2017-10-25 | Synonymous column candidate selecting apparatus, synonymous column candidate selecting method, and synonymous column candidate selecting program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016251592A JP6764779B2 (ja) | 2016-12-26 | 2016-12-26 | 同義カラム候補選出装置、同義カラム候補選出方法、及び同義カラム候補選出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018106400A true JP2018106400A (ja) | 2018-07-05 |
JP6764779B2 JP6764779B2 (ja) | 2020-10-07 |
Family
ID=62629778
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016251592A Expired - Fee Related JP6764779B2 (ja) | 2016-12-26 | 2016-12-26 | 同義カラム候補選出装置、同義カラム候補選出方法、及び同義カラム候補選出プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10936634B2 (ja) |
JP (1) | JP6764779B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11886459B2 (en) | 2021-06-04 | 2024-01-30 | Hitachi, Ltd. | Data management system and data management method |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11410129B2 (en) | 2010-05-01 | 2022-08-09 | Monday.com Ltd. | Digital processing systems and methods for two-way syncing with third party applications in collaborative work systems |
WO2021144656A1 (en) | 2020-01-15 | 2021-07-22 | Monday.Com | Digital processing systems and methods for graphical dynamic table gauges in collaborative work systems |
WO2021161104A1 (en) | 2020-02-12 | 2021-08-19 | Monday.Com | Enhanced display features in collaborative network systems, methods, and devices |
WO2021099839A1 (en) | 2019-11-18 | 2021-05-27 | Roy Mann | Collaborative networking systems, methods, and devices |
WO2021220058A1 (en) | 2020-05-01 | 2021-11-04 | Monday.com Ltd. | Digital processing systems and methods for enhanced collaborative workflow and networking systems, methods, and devices |
CN110555203B (zh) * | 2018-05-31 | 2023-05-30 | 北京百度网讯科技有限公司 | 文本复述方法、装置、服务器及存储介质 |
US11436359B2 (en) | 2018-07-04 | 2022-09-06 | Monday.com Ltd. | System and method for managing permissions of users for a single data type column-oriented data structure |
US11698890B2 (en) * | 2018-07-04 | 2023-07-11 | Monday.com Ltd. | System and method for generating a column-oriented data structure repository for columns of single data types |
US20210149553A1 (en) | 2019-11-18 | 2021-05-20 | Monday.Com | Digital processing systems and methods for real-time resource and capacity allocation in collaborative work systems |
US20240184989A1 (en) | 2020-05-01 | 2024-06-06 | Monday.com Ltd. | Digital processing systems and methods for virtualfile-based electronic white board in collaborative work systems systems |
US11277361B2 (en) | 2020-05-03 | 2022-03-15 | Monday.com Ltd. | Digital processing systems and methods for variable hang-time for social layer messages in collaborative work systems |
US11687216B2 (en) | 2021-01-14 | 2023-06-27 | Monday.com Ltd. | Digital processing systems and methods for dynamically updating documents with data from linked files in collaborative work systems |
US11741071B1 (en) | 2022-12-28 | 2023-08-29 | Monday.com Ltd. | Digital processing systems and methods for navigating and viewing displayed content |
US11886683B1 (en) | 2022-12-30 | 2024-01-30 | Monday.com Ltd | Digital processing systems and methods for presenting board graphics |
US11893381B1 (en) | 2023-02-21 | 2024-02-06 | Monday.com Ltd | Digital processing systems and methods for reducing file bundle sizes |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6826568B2 (en) * | 2001-12-20 | 2004-11-30 | Microsoft Corporation | Methods and system for model matching |
US20070185868A1 (en) * | 2006-02-08 | 2007-08-09 | Roth Mary A | Method and apparatus for semantic search of schema repositories |
JP5506527B2 (ja) | 2010-04-26 | 2014-05-28 | 三菱電機株式会社 | 同義カラム検出装置及び同義カラム検出方法 |
-
2016
- 2016-12-26 JP JP2016251592A patent/JP6764779B2/ja not_active Expired - Fee Related
-
2017
- 2017-10-25 US US15/792,883 patent/US10936634B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11886459B2 (en) | 2021-06-04 | 2024-01-30 | Hitachi, Ltd. | Data management system and data management method |
Also Published As
Publication number | Publication date |
---|---|
US20180181650A1 (en) | 2018-06-28 |
US10936634B2 (en) | 2021-03-02 |
JP6764779B2 (ja) | 2020-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6764779B2 (ja) | 同義カラム候補選出装置、同義カラム候補選出方法、及び同義カラム候補選出プログラム | |
JP5825122B2 (ja) | 生成プログラム、生成方法、および生成システム | |
TW201810161A (zh) | 資訊處理裝置、資訊處理方法以及資訊處理程式產品 | |
JP2006092316A (ja) | 構造化文書検索装置、構造化文書検索方法及び構造化文書検索のためのデータを記憶した記憶媒体 | |
US20150288574A1 (en) | Information system construction assistance device, information system construction assistance method, and information system construction assistance program | |
US20160328430A1 (en) | Address/latitude and longitude converting device and geographical information system using the same | |
US9461884B2 (en) | Information management device and computer-readable medium recorded therein information management program | |
JP6446819B2 (ja) | 文書差分表示プログラム及び情報処理装置 | |
KR102243794B1 (ko) | 데이터 통합 장치 및 데이터 통합 방법 | |
JP2009129067A (ja) | ファイル検索方法、ファイル検索装置、検索システム、及び、ファイル検索プログラム | |
JP6020196B2 (ja) | 情報提供装置及びプログラム | |
JP6467826B2 (ja) | 帳票データ管理プログラム、帳票データ管理方法、及び情報処理装置 | |
JP5076290B2 (ja) | 運用管理ルール流用装置、運用管理ルール流用方法およびプログラム | |
JP5786041B2 (ja) | 業務支援装置、業務支援方法及び業務支援プログラム | |
JP2017068782A (ja) | 時系列データ処理装置、及び時系列データ処理方法 | |
JP2009064390A (ja) | 計画作成条件取得装置、計画作成条件取得方法、および計画作成条件取得プログラム | |
JP2019101829A (ja) | ソフトウェア部品管理システム、計算機および方法 | |
JP6007320B2 (ja) | 計算機、関連性算出方法及び記憶媒体 | |
JP5358981B2 (ja) | 情報処理装置、情報処理装置の制御方法および情報処理装置の制御用プログラム | |
JP6674091B2 (ja) | 情報処理システムとその処理方法及びプログラム | |
JP6193491B2 (ja) | 計算機システム | |
JP2019200532A (ja) | データ生成方法、データ生成プログラム及び情報処理装置 | |
JP5600826B1 (ja) | 非構造化データ処理システム、非構造化データ処理方法およびプログラム | |
JP6901533B2 (ja) | 計算機システム及び業務の支援方法 | |
JP2014092836A (ja) | 図面管理サーバ及びこれを用いた図面管理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200825 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200914 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6764779 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |