JP2013033305A - データ配置変更プログラム、データ配置変更方法およびデータ配置変更装置 - Google Patents
データ配置変更プログラム、データ配置変更方法およびデータ配置変更装置 Download PDFInfo
- Publication number
- JP2013033305A JP2013033305A JP2011167783A JP2011167783A JP2013033305A JP 2013033305 A JP2013033305 A JP 2013033305A JP 2011167783 A JP2011167783 A JP 2011167783A JP 2011167783 A JP2011167783 A JP 2011167783A JP 2013033305 A JP2013033305 A JP 2013033305A
- Authority
- JP
- Japan
- Prior art keywords
- data
- column
- attribute
- cleansing
- record
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
Abstract
【解決手段】データ配置変更装置は、読出制御部と判定部と配置制御部とを有し、DB1の各レコードについてデータの属性を判定し、DB1からDB2にデータ配置変更を実行するサーバ装置である。読出制御部は、複数のカラムを含むレコードをDB1から読み出す。判定部は、読出制御部が読み出したレコードのいずれかのカラムに格納されるデータが、該カラムに対応する属性を有さない場合に、他のカラムに対応する属性を有するかの判定を行う。配置制御部は、判定の結果、該他のカラムに対応する属性を有すると判定した場合に、データを他のカラムに配置する。
【選択図】図1
Description
図3は、実施例2に係るデータ配置変更装置の構成を示す機能ブロック図である。図3に示すように、データ配置変更装置20は、通信制御I/F部21と記憶部22と制御部25とを有する。なお、データ配置変更装置20が有する処理は、図示したものに限られず、例えば、ディスプレイなどの表示部やマウスなどの入力部を有していてもよい。
次に、図13から図15を用いて、データ配置変更の具体的な処理の例を説明する。ここでは、図13を用いて処理例1を説明し、図14を用いて処理例2を説明し、図15を用いて処理例3を説明する。
図13は、属性判定後にクレンジングを実行して配置変更するまでの処理例1を説明する図である。図13に示すように、データ配置変更装置20のクレンジング対象DB22aは、「姓、名、住所、自宅Tel、携帯Tel」として「山田太郎、-、神奈川県・・・、080-1234-5678、-」を記憶する。なお、「-」は、データがないことを示す。
図14は、属性判定後にクレンジングを実行して配置変更するまでの処理例2を説明する図である。図14に示した処理が図13に示した処理と異なる点は、クレンジング後に「仮置き」という処理を実行する点である。図14に示すように、データ配置変更装置20のクレンジング対象DB22aは、「姓、名、住所、自宅Tel、携帯Tel」として「山田太郎、-、神奈川県・・・、080-1234-5678、abc」を記憶する。なお、「-」は、データがないことを示す。
図15は、属性判定後にクレンジングを実行して配置変更するまでの処理例3を説明する図である。図15に示した処理が図13に示した処理と異なる点は、クレンジング対象のデータベースのスキーマと、クレンジングのデータベースのスキーマとが異なる点である。図15に示すように、データ配置変更装置20のクレンジング対象DB22aは、「姓、名、住所、自宅Tel、携帯Tel」として「山田太郎、-、神奈川県・・・、080-1234-5678、abc」を記憶する。なお、「-」は、データがないことを示す。
次に、データ配置変更装置20が実行する処理の流れを説明する。図16は、データ配置変更装置が実行する処理の流れを説明するフローチャートである。
実施例1では、データの属性判定後にデータクレンジングを実行する例について説明したが、これに限定されるものではなく、任意の順番で実行することができる。例えば、属性判定の結果に基づいてデータの再配置が完了した後にデータクレンジングを実行してもよく、属性判定前のデータに対してデータクレンジングを実行することもできる。ここでは、一例として、属性判定前のデータに対してデータクレンジングを実行する例について説明する。
実施例1で説明した属性判定用辞書は、例えば、カラムの構成が「姓、名、住所」である場合には「姓」、「名」、「住所」、「姓名」、「姓住所」、「名住所」のように、各カラムの属性を組み合わせた属性用辞書を用いることもできる。また、実施例1では、属性用辞書とクレンジング用辞書とを別々の辞書として説明したが、これに限定されるものではなく、同じ辞書を用いることもできる。
実施例1で説明した属性判定順定義書には、予め順番が定義されている例について説明したが、これに限定されるものではなく、カラムの構成等について動的に変更することもできる。図18は、属性判定順序を動的に変更する処理例を説明する図である。図18に示すように、データ配置変更装置20のクレンジング対象DB22aは、「法人種別、法人名、電話番号」として「-、年寄株、044・・・」を記憶する。なお、「-」は、データがないことを示す。
実施例1では、データベースに格納されるデータを再配置およびクレンジング対象とする例について説明したが、これに限定されるものではなく、他の記憶装置に記憶されるデータやクライアントから入力されたデータなど様々なデータを対象とすることができる。
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともできる。あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
ところで、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することができる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムの一例を説明する。
10 データ配置変更装置
10a 読出制御部
10b 判定部
10c 配置制御部
20 データ配置変更装置
21 通信制御I/F部
22 記憶部
22a クレンジング対象DB
22b 属性判定順定義書DB
22c 属性判定用辞書DB
22d クレンジング用辞書DB
22e クレンジング後DB
25 制御部
26 クレンジングデータ分割部
27 レコード読出制御部
28 属性判定部
29 クレンジング実行部
30 データ再配置部
Claims (6)
- コンピュータに、
複数のカラムを含むレコードを記憶部から読み出し、
読み出したレコードのいずれかのカラムに格納されるデータが、該カラムに対応する属性を有さない場合に、他のカラムに対応する属性を有するかの判定を行い、
前記判定の結果、該他のカラムに対応する属性を有すると判定した場合に、前記データを前記他のカラムに配置する、
処理を実行させることを特徴とするデータ配置変更プログラム。 - 前記コンピュータに、さらに、
該カラムに対応する属性と、前記他のカラムに対応する属性と、を組み合わせた属性を有するかの判定を行う、
処理を実行させることを特徴とする請求項1に記載のデータ配置変更プログラム。 - 前記他のカラムは、該カラムと隣接するカラムである、
ことを特徴とする請求項1又は請求項2に記載のデータ配置変更プログラム。 - 前記コンピュータに、
前記配置する処理を実行後にさらに前記対応する属性を有するか否かの判定を行なう、
ことをさらに実行させることを特徴とする請求項1から3のいずれか一つに記載のデータ配置変更プログラム。 - コンピュータに、
複数のカラムを含むレコードを記憶部から読み出し、
読み出したレコードのいずれかのカラムに格納されるデータが、該カラムに対応する属性を有さない場合に、他のカラムに対応する属性を有するかの判定を行い、
前記判定の結果、該他のカラムに対応する属性を有すると判定した場合に、前記データを前記他のカラムに配置する、
処理を実行させることを特徴とするデータ配置変更方法。 - 複数のカラムを含むレコードレコードを記憶する記憶部とネットワークを介して接続されるデータ配置変更装置であって、
前記レコードを前記記憶部から読み出す読出制御部と、
前記読出制御部によって読み出されたレコードのいずれかのカラムに格納されるデータが、該カラムに対応する属性を有さない場合に、他のカラムに対応する属性を有するかの判定を判定部と、
前記判定部による判定の結果、該他のカラムに対応する属性を有すると判定した場合に、前記データを前記他のカラムに配置する配置制御部と
を有することを特徴とするデータ配置変更装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011167783A JP5810719B2 (ja) | 2011-07-29 | 2011-07-29 | データ配置変更プログラム、データ配置変更方法およびデータ配置変更装置 |
US13/557,309 US8667022B2 (en) | 2011-07-29 | 2012-07-25 | Adjustment apparatus, adjustment method, and recording medium of adjustment program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011167783A JP5810719B2 (ja) | 2011-07-29 | 2011-07-29 | データ配置変更プログラム、データ配置変更方法およびデータ配置変更装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013033305A true JP2013033305A (ja) | 2013-02-14 |
JP5810719B2 JP5810719B2 (ja) | 2015-11-11 |
Family
ID=47598105
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011167783A Expired - Fee Related JP5810719B2 (ja) | 2011-07-29 | 2011-07-29 | データ配置変更プログラム、データ配置変更方法およびデータ配置変更装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8667022B2 (ja) |
JP (1) | JP5810719B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014155761A1 (ja) * | 2013-03-29 | 2014-10-02 | 株式会社日立システムズ | 顧客別データクレンジング処理システム及び顧客別データクレンジング処理方法 |
JP2019159837A (ja) * | 2018-03-13 | 2019-09-19 | 日本電気株式会社 | データベース結合装置、データベース結合方法及びデータベース結合プログラム |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10176188B2 (en) * | 2012-01-31 | 2019-01-08 | Tata Consultancy Services Limited | Automated dictionary creation for scientific terms |
CN104252515B (zh) * | 2013-12-04 | 2017-06-16 | 深圳市华傲数据技术有限公司 | 一种数据生成方法和装置 |
US9317566B1 (en) | 2014-06-27 | 2016-04-19 | Groupon, Inc. | Method and system for programmatic analysis of consumer reviews |
US11250450B1 (en) | 2014-06-27 | 2022-02-15 | Groupon, Inc. | Method and system for programmatic generation of survey queries |
US10878017B1 (en) | 2014-07-29 | 2020-12-29 | Groupon, Inc. | System and method for programmatic generation of attribute descriptors |
US10977667B1 (en) | 2014-10-22 | 2021-04-13 | Groupon, Inc. | Method and system for programmatic analysis of consumer sentiment with regard to attribute descriptors |
US20170060919A1 (en) * | 2015-08-31 | 2017-03-02 | Salesforce.Com, Inc. | Transforming columns from source files to target files |
CN112629098A (zh) | 2015-12-10 | 2021-04-09 | Jcr制药股份有限公司 | 移动式低温工作台 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04352274A (ja) * | 1991-05-30 | 1992-12-07 | Sharp Corp | データ転送装置 |
JPH0844605A (ja) * | 1994-07-26 | 1996-02-16 | Nec Corp | データチェック装置 |
JPH10269245A (ja) * | 1997-03-21 | 1998-10-09 | Nec Home Electron Ltd | データ入力方法およびその装置 |
JPH11110275A (ja) * | 1997-09-30 | 1999-04-23 | Canon Inc | データベースシステム及びその制御方法及び情報処理装置 |
JP2003067234A (ja) * | 2001-08-29 | 2003-03-07 | Landscape:Kk | データベース管理システム |
JP2006216027A (ja) * | 2005-02-01 | 2006-08-17 | Microsoft Corp | 同じアイテムを表すデータ構造間で生データを転送するメカニズム |
JP2011034246A (ja) * | 2009-07-30 | 2011-02-17 | Fujitsu Ltd | データ変換装置、データ変換方法、およびデータ変換プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7386566B2 (en) | 2004-07-15 | 2008-06-10 | Microsoft Corporation | External metadata processing |
WO2007083371A1 (ja) | 2006-01-18 | 2007-07-26 | Fujitsu Limited | データ統合装置、方法、プログラムを記録した記録媒体 |
US8671111B2 (en) * | 2011-05-31 | 2014-03-11 | International Business Machines Corporation | Determination of rules by providing data records in columnar data structures |
-
2011
- 2011-07-29 JP JP2011167783A patent/JP5810719B2/ja not_active Expired - Fee Related
-
2012
- 2012-07-25 US US13/557,309 patent/US8667022B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04352274A (ja) * | 1991-05-30 | 1992-12-07 | Sharp Corp | データ転送装置 |
JPH0844605A (ja) * | 1994-07-26 | 1996-02-16 | Nec Corp | データチェック装置 |
JPH10269245A (ja) * | 1997-03-21 | 1998-10-09 | Nec Home Electron Ltd | データ入力方法およびその装置 |
JPH11110275A (ja) * | 1997-09-30 | 1999-04-23 | Canon Inc | データベースシステム及びその制御方法及び情報処理装置 |
JP2003067234A (ja) * | 2001-08-29 | 2003-03-07 | Landscape:Kk | データベース管理システム |
JP2006216027A (ja) * | 2005-02-01 | 2006-08-17 | Microsoft Corp | 同じアイテムを表すデータ構造間で生データを転送するメカニズム |
JP2011034246A (ja) * | 2009-07-30 | 2011-02-17 | Fujitsu Ltd | データ変換装置、データ変換方法、およびデータ変換プログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014155761A1 (ja) * | 2013-03-29 | 2014-10-02 | 株式会社日立システムズ | 顧客別データクレンジング処理システム及び顧客別データクレンジング処理方法 |
JP2019159837A (ja) * | 2018-03-13 | 2019-09-19 | 日本電気株式会社 | データベース結合装置、データベース結合方法及びデータベース結合プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20130031062A1 (en) | 2013-01-31 |
JP5810719B2 (ja) | 2015-11-11 |
US8667022B2 (en) | 2014-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5810719B2 (ja) | データ配置変更プログラム、データ配置変更方法およびデータ配置変更装置 | |
US10579827B2 (en) | Event processing system to estimate unique user count | |
US8122008B2 (en) | Joining tables in multiple heterogeneous distributed databases | |
US20180239800A1 (en) | Data query method and apparatus | |
US20210117414A1 (en) | Global dictionary for database management systems | |
US10878121B2 (en) | Method and device for converting data containing user identity | |
CN109508420B (zh) | 一种知识图谱属性的清洗方法及装置 | |
CN105808633A (zh) | 数据归档方法和系统 | |
US7539689B2 (en) | Bundling database | |
US20160283357A1 (en) | Call stack relationship acquiring method and apparatus | |
US20090049013A1 (en) | Enhanced control to users to populate a cache in a database system | |
KR20170123336A (ko) | 파일 조작 방법 및 장치 | |
US7333992B2 (en) | System and method for identifying and storing changes made to a table | |
CN106407360B (zh) | 一种数据的处理方法及装置 | |
CN104423982B (zh) | 请求的处理方法和处理设备 | |
CN108846021B (zh) | 一种基于用户访问偏好模型的海量小文件存储方法 | |
CN106557307B (zh) | 业务数据的处理方法及处理系统 | |
US20140279972A1 (en) | Cleansing and standardizing data | |
US20180060362A1 (en) | Method and system for implementing distributed lobs | |
CN108241540A (zh) | 一种跨数据源查询的任务调度方法以及装置 | |
CN103778239A (zh) | 一种多数据库数据管理方法及系统 | |
US20190095481A1 (en) | Generating a query | |
CN106484699A (zh) | 数据库查询字段的生成方法及装置 | |
CN112100182A (zh) | 数据入库处理方法、装置和服务器 | |
CN108415998A (zh) | 应用依赖关系更新方法、终端、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140404 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150818 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150831 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5810719 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |