JP2014092967A - 同一項目検出装置及びプログラム - Google Patents
同一項目検出装置及びプログラム Download PDFInfo
- Publication number
- JP2014092967A JP2014092967A JP2012243539A JP2012243539A JP2014092967A JP 2014092967 A JP2014092967 A JP 2014092967A JP 2012243539 A JP2012243539 A JP 2012243539A JP 2012243539 A JP2012243539 A JP 2012243539A JP 2014092967 A JP2014092967 A JP 2014092967A
- Authority
- JP
- Japan
- Prior art keywords
- item
- item information
- coincidence
- information
- pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 32
- 238000004364 calculation method Methods 0.000 claims abstract description 165
- 238000012545 processing Methods 0.000 claims abstract description 55
- 238000000034 method Methods 0.000 claims description 95
- 230000008569 process Effects 0.000 claims description 86
- 238000000605 extraction Methods 0.000 claims description 10
- 230000008685 targeting Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 16
- 239000000284 extract Substances 0.000 description 10
- 238000004891 communication Methods 0.000 description 3
- 238000004886 process control Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 102100026933 Myelin-associated neurite-outgrowth inhibitor Human genes 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Abstract
【解決手段】複数のデータベースそれぞれに設定されている項目情報を抽出して1組の項目情報の組合せから成る項目情報ペアを抽出するペア情報設定部11と、一致度の取りうる範囲が算出可能な項目情報ペアに対して当該範囲を算出する一致度範囲算出部12と、一致度が求められていないものの中から一致度算出対象の項目情報ペアを選出する一致度算出ペア特定部13と、選出された項目情報ペアにおける一致度を算出する一致度算出部14と、を有し、一致度の取りうる上限値が一致判定用閾値を下回る項目情報ペアを対象外として一致度を算出する処理を繰り返し、一致度が一致判定用閾値以上となる項目情報ペアに含まれる項目を同一を判定する。
【選択図】図1
Description
max{α+β−1,0}≦γ≦|α−β| ・・・(1)
一致度=一致件数÷(全件数−欠損値数) ・・・(2)
」東京大学教養学部統計学教室編、東京大学出版会、1991年を参照できる。この統計的方式を用いることで、項目情報ペアに含まれる各項目の全ての項目データを用いずに一致度γの取りうる範囲を算出できる。
Claims (11)
- 複数のデータベースそれぞれに登録されている項目データの項目情報を抽出する項目情報抽出手段と、
前記項目情報抽出手段により抽出された項目情報の中から2つの項目情報を選択することにより、当該2つの項目情報から成る項目情報ペアを少なくとも1つ形成し、その形成した項目情報ペアの中から一致度の算出対象とする項目情報ペアを一致度算出ペアとして特定する一致度算出ペア特定手段と、
前記一致度算出ペア特定手段により特定された一致度算出ペアに含まれる各項目情報に対応する項目データを照合することによって当該項目情報に対応する項目データの一致度を算出する一致度算出手段と、
前記一致度算出手段により一致度が算出された項目情報ペアの中に、一方の項目情報を共通とし、かつ他方の項目情報の間で一致度が算出されていない項目情報ペアの組が存在する場合、前記他方の項目情報の間における一致度の取りうる範囲を算出する一致度範囲算出手段と、
前記一致度範囲算出手段、前記一致度算出ペア特定手段及び前記一致度算出手段における各処理を繰り返し実行することで、前記一致度範囲算出手段により算出された一致度の取りうる範囲の上限が予め設定された一致判定用閾値に達していない項目情報ペアを除き、前記項目情報抽出手段により抽出された項目情報の間における一致度を順次算出させる一致度算出処理制御手段と、
前記一致判定用閾値以上となる一致度が算出された項目情報ペアに含まれる各項目情報により特定される項目を同一の項目と判定する判定手段と、
を有することを特徴とする同一項目検出装置。 - 項目情報ペア毎に、当該項目情報ペアに含まれる各項目情報に対応する項目データの一致度及び当該一致度の取りうる範囲の各算出値を少なくとも含む項目情報ペア情報を保持する項目情報ペア情報テーブルを記憶する項目情報ペア情報記憶手段と、
前記項目情報抽出手段により抽出された項目情報の中から2つの項目情報を選択することにより形成される前記項目情報ペアそれぞれに設定される項目情報ペア情報を保持する前記項目情報ペア情報テーブルを生成する項目情報ペア情報生成手段と、
を有し、
前記一致度算出ペア特定手段及び前記一致度範囲算出手段は、前記項目情報ペア情報テーブルの設定内容を参照してそれぞれ処理を行うことを特徴とする請求項1に記載の同一項目検出装置。 - 管理者により一致していると認識されている項目の組から成る項目情報ペアが予め設定される対応関係情報テーブルを記憶する対応関係情報記憶手段を有し、
前記項目情報ペア情報生成手段は、前記対応関係情報テーブルに設定されている項目情報ペアにおける一致度として一致判定用閾値以上の値を前記項目情報ペア情報テーブルに設定することを特徴とする請求項2に記載の同一項目検出装置。 - データベースを関連付けるためのキーとなる項目の項目情報の組から成るキー項目情報ペアが予め設定される対応キー情報テーブルを記憶する対応キー情報記憶手段を有し、
前記一致度算出手段は、前記対応キー情報テーブルに設定されたキー項目情報ペアに基づき前記データベースを関連付けして項目データの一致度を算出することを特徴とする請求項1に記載の同一項目検出装置。 - 前記項目情報ペア情報生成手段は、前記項目情報ペア情報テーブルに保持されている各項目情報ペア情報に、当該項目情報ペア情報に含まれている各項目情報が設定されたデータベースに対応する、前記対応キー情報テーブルに設定されているキー項目情報ペアを対応付けして設定することを特徴とする請求項4に記載の同一項目検出装置。
- 前記一致度範囲算出手段は、前記他の項目情報に対応する全ての項目データを用いずに一致度の取りうる範囲を算出することを特徴とする請求項1に記載の同一項目検出装置。
- 一致していない1組の項目データに含まれている各文字列の間に、予め設定された一致条件を満たす関係がある場合に、一方の項目データは誤入力された項目データと判定する誤入力判定手段を有することを特徴とする請求項1に記載の同一項目検出装置。
- 前記誤入力判定手段により誤入力と判定された項目データを自動的に修正する若しくは当該項目データに関する情報を出力する手段を有することを特徴とする請求項7に記載の同一項目検出装置。
- 管理者により一致していないと認識されている項目の組から成る項目情報ペアが予め設定される不一致関係情報テーブルを記憶する不一致関係情報記憶手段を有し、
前記項目情報ペア情報生成手段は、前記不一致関係情報テーブルに設定されている項目情報ペアにおける一致度として一致判定用閾値を下回る値を前記項目情報ペア情報テーブルに設定することを特徴とする請求項2に記載の同一項目検出装置。 - 前記項目情報ペア情報テーブルに設定された項目情報ペア情報に基づき項目情報の関係を視認可能な項目情報対応関係グラフを生成する項目情報対応関係グラフ生成処理手段を有することを特徴とする請求項2に記載の同一項目検出装置。
- コンピュータを、
複数のデータベースそれぞれに登録されている項目データの項目情報を抽出する項目情報抽出手段、
前記項目情報抽出手段により抽出された項目情報の中から2つの項目情報を選択することにより、当該2つの項目情報から成る項目情報ペアを少なくとも1つ形成し、その形成した項目情報ペアの中から一致度の算出対象とする項目情報ペアを一致度算出ペアとして特定する一致度算出ペア特定手段、
前記一致度算出ペア特定手段により特定された一致度算出ペアに含まれる各項目情報に対応する項目データを照合することによって当該項目情報に対応する項目データの一致度を算出する一致度算出手段、
前記一致度算出手段により一致度が算出された項目情報ペアの中に、一方の項目情報を共通とし、かつ他方の項目情報の間で一致度が算出されていない項目情報ペアの組が存在する場合、前記他方の項目情報の間における一致度の取りうる範囲を算出する一致度範囲算出手段、
前記一致度範囲算出手段、前記一致度算出ペア特定手段及び前記一致度算出手段における各処理を繰り返し実行することで、前記一致度範囲算出手段により算出された一致度の取りうる範囲の上限が予め設定された一致判定用閾値に達していない項目情報ペアを除き、前記項目情報抽出手段により抽出された項目情報の間における一致度を順次算出させる一致度算出処理制御手段、
前記一致判定用閾値以上となる一致度が算出された項目情報ペアに含まれる各項目情報により特定される項目を同一の項目と判定する判定手段、
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012243539A JP5840110B2 (ja) | 2012-11-05 | 2012-11-05 | 同一項目検出装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012243539A JP5840110B2 (ja) | 2012-11-05 | 2012-11-05 | 同一項目検出装置及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014092967A true JP2014092967A (ja) | 2014-05-19 |
JP2014092967A5 JP2014092967A5 (ja) | 2015-03-12 |
JP5840110B2 JP5840110B2 (ja) | 2016-01-06 |
Family
ID=50936991
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012243539A Expired - Fee Related JP5840110B2 (ja) | 2012-11-05 | 2012-11-05 | 同一項目検出装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5840110B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6055948B1 (ja) * | 2016-04-20 | 2016-12-27 | 株式会社岩崎電機製作所 | データベース構築装置、データベース構築方法、および、データベース構築プログラム |
JP2017041029A (ja) * | 2015-08-18 | 2017-02-23 | 富士通株式会社 | 項目値対応づけ処理方法、項目値対応づけ処理プログラムおよび情報処理装置 |
JP2017076286A (ja) * | 2015-10-15 | 2017-04-20 | 富士通株式会社 | 検査装置、検査プログラムおよび検査方法 |
JP2018010450A (ja) * | 2016-07-13 | 2018-01-18 | 富士通株式会社 | データ処理プログラム、データ処理方法、及びデータ処理装置 |
JP2018170008A (ja) * | 2017-03-09 | 2018-11-01 | タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited | エンティティの属性をマッピングする方法及びシステム |
JP2019121173A (ja) * | 2018-01-05 | 2019-07-22 | Kddi株式会社 | 複数のインスタンスデータの群をスキーマの関係性に基づいて統合するプログラム、装置及び方法 |
US10726012B2 (en) | 2016-05-17 | 2020-07-28 | Fujitsu Limited | Metadata registration method and device |
JP2020144457A (ja) * | 2019-03-04 | 2020-09-10 | 株式会社日立製作所 | データ選定システム、及びデータ選定方法 |
JP2021002292A (ja) * | 2019-06-24 | 2021-01-07 | 富士通株式会社 | データ処理装置、データ処理方法及びプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008011424A2 (en) * | 2006-07-17 | 2008-01-24 | Solar Communications International, Inc. | System, method and apparatus for supporting and concealing radio antennas |
JP2008250861A (ja) * | 2007-03-30 | 2008-10-16 | Fujitsu Ltd | コード変換システム、コード変換方法、コード対応関係情報生成方法、およびコンピュータプログラム |
JP2012128760A (ja) * | 2010-12-17 | 2012-07-05 | Mitsubishi Electric Corp | 情報処理装置及び情報処理方法及びプログラム |
-
2012
- 2012-11-05 JP JP2012243539A patent/JP5840110B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008011424A2 (en) * | 2006-07-17 | 2008-01-24 | Solar Communications International, Inc. | System, method and apparatus for supporting and concealing radio antennas |
JP2008250861A (ja) * | 2007-03-30 | 2008-10-16 | Fujitsu Ltd | コード変換システム、コード変換方法、コード対応関係情報生成方法、およびコンピュータプログラム |
JP2012128760A (ja) * | 2010-12-17 | 2012-07-05 | Mitsubishi Electric Corp | 情報処理装置及び情報処理方法及びプログラム |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017041029A (ja) * | 2015-08-18 | 2017-02-23 | 富士通株式会社 | 項目値対応づけ処理方法、項目値対応づけ処理プログラムおよび情報処理装置 |
JP2017076286A (ja) * | 2015-10-15 | 2017-04-20 | 富士通株式会社 | 検査装置、検査プログラムおよび検査方法 |
JP6055948B1 (ja) * | 2016-04-20 | 2016-12-27 | 株式会社岩崎電機製作所 | データベース構築装置、データベース構築方法、および、データベース構築プログラム |
JP2017194840A (ja) * | 2016-04-20 | 2017-10-26 | 株式会社岩崎電機製作所 | データベース構築装置、データベース構築方法、および、データベース構築プログラム |
US10726012B2 (en) | 2016-05-17 | 2020-07-28 | Fujitsu Limited | Metadata registration method and device |
JP2018010450A (ja) * | 2016-07-13 | 2018-01-18 | 富士通株式会社 | データ処理プログラム、データ処理方法、及びデータ処理装置 |
JP2018170008A (ja) * | 2017-03-09 | 2018-11-01 | タタ コンサルタンシー サービシズ リミテッドTATA Consultancy Services Limited | エンティティの属性をマッピングする方法及びシステム |
JP2019121173A (ja) * | 2018-01-05 | 2019-07-22 | Kddi株式会社 | 複数のインスタンスデータの群をスキーマの関係性に基づいて統合するプログラム、装置及び方法 |
JP2020144457A (ja) * | 2019-03-04 | 2020-09-10 | 株式会社日立製作所 | データ選定システム、及びデータ選定方法 |
JP7046859B2 (ja) | 2019-03-04 | 2022-04-04 | 株式会社日立製作所 | データ選定システム、及びデータ選定方法 |
JP2021002292A (ja) * | 2019-06-24 | 2021-01-07 | 富士通株式会社 | データ処理装置、データ処理方法及びプログラム |
JP7322544B2 (ja) | 2019-06-24 | 2023-08-08 | 富士通株式会社 | データ処理装置、データ処理方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5840110B2 (ja) | 2016-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5840110B2 (ja) | 同一項目検出装置及びプログラム | |
JP6843882B2 (ja) | 履歴ログからの学習と、etlツール内のデータアセットに関するデータベースオペレーションの推奨 | |
JP5020776B2 (ja) | 情報セキュリティ対策決定支援装置及び方法ならびにコンピュータプログラム | |
US8150813B2 (en) | Using relationships in candidate discovery | |
WO2017216980A1 (ja) | 機械学習装置 | |
JP4997856B2 (ja) | データベース分析プログラム、データベース分析装置、データベース分析方法 | |
US20130218620A1 (en) | Method and system for skill extraction, analysis and recommendation in competency management | |
CN103886667B (zh) | 一种投票信息处理方法、装置及系统 | |
CA2882280A1 (en) | System and method for matching data using probabilistic modeling techniques | |
US20150193511A1 (en) | Graphical record matching process replay for a data quality user interface | |
WO2023093638A1 (zh) | 异常数据识别方法、装置、设备和存储介质 | |
US10229267B2 (en) | Method and device for virus identification, nonvolatile storage medium, and device | |
CN108280197A (zh) | 一种识别同源二进制文件的方法及系统 | |
CN107305615B (zh) | 数据表识别方法和系统 | |
US8756093B2 (en) | Method of monitoring a combined workflow with rejection determination function, device and recording medium therefor | |
WO2017065891A1 (en) | Automated join detection | |
JP6832903B2 (ja) | 情報検索システムおよび方法 | |
JP2015176365A (ja) | メッセージ送信装置、メッセージ受信装置、メッセージ送信プログラム、メッセージ受信プログラムおよびメッセージチェック方法 | |
JP6677093B2 (ja) | 表データ検索装置、表データ検索方法、及び表データ検索プログラム | |
JP5887031B1 (ja) | 商品特定装置、商品特定方法及び商品特定プログラム | |
CN113468186A (zh) | 数据表主键关联方法、装置、计算机设备及可读存储介质 | |
US9483463B2 (en) | Method and system for motif extraction in electronic documents | |
JP2016110448A (ja) | 診断・修理事例検索装置 | |
Burton | Enumerating fundamental normal surfaces: Algorithms, experiments and invariants | |
CN113535782B (zh) | 一种bi报表查询响应方法、系统、电子设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20150106 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150108 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150108 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150121 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150106 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150909 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151013 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5840110 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |