JP2009116395A - データ形式変換装置及びデータ形式変換プログラム及びデータ形式変換方法 - Google Patents
データ形式変換装置及びデータ形式変換プログラム及びデータ形式変換方法 Download PDFInfo
- Publication number
- JP2009116395A JP2009116395A JP2007285345A JP2007285345A JP2009116395A JP 2009116395 A JP2009116395 A JP 2009116395A JP 2007285345 A JP2007285345 A JP 2007285345A JP 2007285345 A JP2007285345 A JP 2007285345A JP 2009116395 A JP2009116395 A JP 2009116395A
- Authority
- JP
- Japan
- Prior art keywords
- continuous
- record
- data format
- conversion
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 166
- 238000000034 method Methods 0.000 title claims description 76
- 239000000872 buffer Substances 0.000 claims abstract description 97
- 238000013500 data storage Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 14
- 230000015654 memory Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【解決手段】ファイル変換装置1は、区切られて連続する複数の項目値からなるレコードを要素とするとともに、このレコードごとに区切られて連続する連続レコードを格納する入力用バッファ9と、入力用バッファ9に格納された連続レコードを対象として項目値の区切りとレコードの区切りとを探索し、探索結果に基づいて、それぞれの項目値の出現位置が記載された項目情報テーブル10を生成する区切り文字探索処理装置6と、区切り文字探索処理装置6により生成された項目情報テーブル10に基づいて、入力用バッファ9に格納された連続レコードのデータ形式を変換する変換処理装置7a〜7cを備えた。
【選択図】図3
Description
区切られて連続する複数の項目値からなるレコードを要素とするとともに、このレコードごとに区切られて連続する連続レコードを格納する連続レコード格納部と、
前記連続レコード格納部に格納された連続レコードを対象として、項目値の区切りとレコードの区切りとを探索し、探索結果に基づいて、それぞれの項目値の出現位置を示す出現位置情報を生成する探索部と、
前記探索部により生成された出現位置情報に基づいて、前記連続レコード格納部に格納された連続レコードのデータ形式を変換する変換部と
を備えたことを特徴とする。
図1は、コンピュータであるファイル変換装置1の外観の一例を示す図である。図1において、ファイル変換装置1は、システムユニット830、CRT(Cathode・Ray・Tube)やLCD(液晶)の表示画面を有する表示装置813、キーボード814(Key・Board:K/B)、マウス815、FDD817(Flexible・Disk・Drive)、コンパクトディスク装置818(CDD:Compact Disk Drive)、プリンタ装置819などのハードウェア資源を備え、これらはケーブルや信号線で接続されている。
図4は、出力先の項目数が3個の場合(即ち、1レコードが3項目からなる場合)の入力用バッファ9と、項目情報テーブル10との関係を示す図である。図4を説明する。入力用バッファに格納される入力ファイルのデータは、図4に示すように、区切られて連続する複数の項目値からなるレコードを要素とするとともに、このレコードごとに区切られて連続する連続レコードである。すなわち、項目値ABCDEFG等からなるレコード「ABCDEFG,123,XYZ」、項目値HIJK等からなるレコード「HIJK,45,XX」等を要素とし、「改行記号」により区切られて、これらレコードが連続する「ABCDEFG,123,XYZ」〜「KLM、7890123」の連続レコードである。なお、入力ファイルの連続レコードが複数の入力用バッファに分散して格納される場合には、入力ファイルの連続レコードの連続性は保持されて格納される。例えば、入力ファイルの連続レコードがR(1)〜R(N)であり、入力用バッファを3つとすると、第1の入力用バッファにはR(1)〜R(m)のレコードからなる連続レコードが格納され、第2の入力用バッファにはR(m+1)〜R(n)のレコードからなる連続レコードが格納され、第3の入力用バッファにはR(n+1)〜R(N)のレコードからなる連続レコードが格納される。
項目情報テーブル10は、区切り文字探索処理装置6によって生成される。項目情報テーブル10に格納される情報は、各項目毎の、
(1)出現した入力用バッファ9の番号21、
(2)バッファ内オフセット22、
(3)項目値の長さ23
から構成される。図4では、入力用バッファ9は「バッファ番号=1」である。そして、例えば、一つのレコード「ABCDEFG,123,XYZ」における項目値ABCDEFGについて前記の(1)〜(3)は、「1,0,7」であり、「123」は「1,8,3」である。項目情報テーブル10は、前記の(1)〜(3)により、それぞれの入力用バッファに分散して格納された連続レコードを管理することができる。すなわち、区切り文字探索処理装置6(探索部)は、複数の入力用バッファに分散して格納された連続レコードを対象として、入力用バッファごとに項目情報テーブル10を生成する。複数設けられた変換処理部(変換部)のそれぞれは、区切り文字探索処理装置6により生成された入力用バッファごとの項目情報テーブル10に基づいて、複数の入力用バッファに分散して格納されたデータのデータ形式を変換することが可能となる。
図5は、出力先定義情報3の構成例を示す図である。出力先定義情報3は、通番31、データ型情報32、データ型が文字型の場合のデータ長33、および、データ型が数値型の場合の精度34から構成される。通番31が「1〜3」となっているのは、出力先の項目数が3個となっているからである。すなわち、通番31の「1〜3」は、それぞれ第1番項目〜第3項目に対応する。
入力用バッファ9に入力ファイルのデータ(連続レコード)が読み込まれると、区切り文字探索処理装置6が実行を開始し、入力用バッファ9内の探索を開始する。区切り文字探索処理装置6は、入力用バッファ9内の先頭から区切り文字または改行文字を探索する。区切り文字探索処理装置6は、区切り文字または改行文字を検出すると、検出した時点までを一つの項目とみなし、項目情報テーブル10に、検出した項目値の出現位置情報として、「入力用バッファ9の番号」、「入力用バッファ9内のオフセット」、「項目の長さ」を格納する(ステップS47)。
ステップS48、ステップS49における変換処理装置7の動作を図7を用いて説明する。図7は、データ変換処理を「列単位」に並列実行する場合を説明する図である。ステップS48及びステップS49は、個々の「変換処理部と対応する出力用バッファ」についてのステップである。すなわち、複数の変換処理装置7a、7b、7cのそれぞれが、各レコード単位に項目値のデータ変換処理を実施する場合を示す図である。データ変換処理は、入力ファイル2内のデータを出力先のデータ形式に変換する処理であり、出力先のデータ型が数値型の場合は、文字列の数値を数値型に変換する処理であり、あるいは、出力先のデータ型が固定長の文字列型の場合は、項目値の後ろにパティング文字を追加する処理である。
次に図8、図9を参照して実施の形態2を説明する。実施の形態1では、データ変換処理をレコード単位(行単位)に並列に実行する場合を説明したが、実施の形態2では、データ変換処理を「列単位」に並列に実行する場合を説明する。
入力ファイルを読み込んで、出力先のデータ形式に変換する処理において、以下の手段を備えたファイル変換方式を説明した。
(a)入力ファイルからデータを入力用バッファに読み込む手段
(b)入力用バッファから、項目の区切り、および、行の区切りを探索し、各項目値の出現位置情報を項目情報テーブルとして格納する手段
(c)入力用バッファと、項目情報テーブルから、出力先のデータ形式へのデータ変換処理を行い、変換結果を出力用バッファに書き込む手段
(d)出力用バッファの内容をファイルまたはデータベースに書き込む手段。
前記ファイル変換処理において、
入力用バッファ内での項目値の出現位置を特定するために、
各項目値が出現するバッファ番号、
バッファ内オフセット、
および、項目値の長さを格納する項目情報テーブル
を備えたファイル変換方式を説明した。
前記ファイル変換処理において、
データ変換処理手段を複数実行し、
それぞれのデータ変換処理手段が、
項目情報テーブル内に格納された項目値の位置情報をもとに、入力用バッファ内のデータに対して、列単位に並列に変換処理を実行し、列単位に出力用バッファに書き込む
ファイル変換方式を説明した。
前記ファイル変換処理において、
データ変換処理手段を複数実行し、
それぞれのデータ変換処理手段が、
項目情報テーブル内に格納された項目値の位置情報をもとに、入力用バッファ内のデータに対して、行単位に並列に変換処理を実行し、行単位に出力用バッファに書き込むファイル変換方式を説明した。
前記、ファイル変換処理において、
以下の装置を備えたファイル変換装置を説明した。
(a)入力処理装置
(b)区切り文字探索処理装置
(c)変換処理装置
(d)出力処理装置。
Claims (8)
- 区切られて連続する複数の項目値からなるレコードを要素とするとともに、このレコードごとに区切られて連続する連続レコードを格納する連続レコード格納部と、
前記連続レコード格納部に格納された連続レコードを対象として、項目値の区切りとレコードの区切りとを探索し、探索結果に基づいて、それぞれの項目値の出現位置を示す出現位置情報を生成する探索部と、
前記探索部により生成された出現位置情報に基づいて、前記連続レコード格納部に格納された連続レコードのデータ形式を変換する変換部と
を備えたことを特徴とするデータ形式変換装置。 - 前記連続レコード格納部は、
複数のバッファからなるとともに、
前記複数のバッファは、
連続レコードにおけるレコードの連続性を保持したまま連続レコードを分散して格納し、
前記探索部は、
複数の前記バッファに分散して格納された連続レコードを対象として、前記バッファごとに出現位置情報を生成し、
前記変換部は、
前記探索部により生成された前記バッファごとの出現位置情報に基づいて、複数の前記バッファに分散して格納された連続レコードのデータ形式を変換することを特徴とする請求項1記載のデータ形式変換装置。 - 前記データ形式変換装置は、さらに、
連続レコードを含むファイルから連続レコードを読み込み、読み込まれた連続レコードの連続性を保持したままで複数の前記バッファのそれぞれに連続レコードを分散して格納する入力処理部を備えたことを特徴とする請求項2記載のデータ形式変換装置。 - 前記データ形式変換装置は、
複数の前記変換部を備え、
複数の前記変換部のそれぞれは、
前記探索部により生成された前記出現位置情報に基づいて、前記連続レコード格納部に格納された連続レコードに対し、この連続レコードを構成するそれぞれのレコードにおけるレコード内の出現位置を同じくする項目値を単位として、データ形式を変換することを特徴とする請求項1〜3のいずれかに記載のデータ形式変換装置。 - 前記データ形式変換装置は、
複数の前記変換部を備え、
複数の前記変換部のそれぞれは、
前記探索部により生成された前記出現位置情報に基づいて、前記連続レコード格納部に格納された連続レコードに対し、この連続レコードを構成するレコードを単位として、データ形式を変換することを特徴とする請求項1〜3のいずれかに記載のデータ形式変換装置。 - 複数の前記変換部のそれぞれは、
データ形式の変換された連続レコードを出力し、
前記データ形式変換装置は、さらに、
複数の前記変換部のそれぞれに対応するとともに、複数の前記変換部のそれぞれから出力された変換された連続レコードを入力して格納する複数の変換データ格納部と、
複数の前記変換データ格納部に格納された変換された連続データを他の装置に出力する出力処理部と
を備えたことを特徴とする請求項4または5のいずれかに記載のデータ形式変換装置。 - 区切られて連続する複数の項目値からなるレコードを要素とするとともに、このレコードごとに区切られて連続する連続レコードを格納する処理と、
格納された連続レコードを対象として、項目値の区切りとレコードの区切りとを探索し、探索結果に基づいて、それぞれの項目値の出現位置を示す出現位置情報を生成する処理と、
生成された出現位置情報に基づいて、格納された連続レコードのデータ形式を変換する処理と
をコンピュータに実行させることを特徴とするデータ形式変換プログラム。 - コンピュータであるデータ形式変換装置が行なうデータ形式変換方法において、
連続レコード格納部は、
区切られて連続する複数の項目値からなるレコードを要素とするとともに、このレコードごとに区切られて連続する連続レコードを格納し、
探索部は、
前記連続レコード格納部に格納された連続レコードを対象として、項目値の区切りとレコードの区切りとを探索し、探索結果に基づいて、それぞれの項目値の出現位置を示す出現位置情報を生成し、
変換部は、
前記探索部により生成された出現位置情報に基づいて、前記連続レコード格納部に格納された連続レコードのデータ形式を変換することを特徴とするデータ形式変換方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007285345A JP5171211B2 (ja) | 2007-11-01 | 2007-11-01 | データ形式変換装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007285345A JP5171211B2 (ja) | 2007-11-01 | 2007-11-01 | データ形式変換装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009116395A true JP2009116395A (ja) | 2009-05-28 |
JP5171211B2 JP5171211B2 (ja) | 2013-03-27 |
Family
ID=40783514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007285345A Active JP5171211B2 (ja) | 2007-11-01 | 2007-11-01 | データ形式変換装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5171211B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012105063A1 (ja) * | 2011-01-31 | 2012-08-09 | オムロン株式会社 | データ収集装置、並びに、該データ収集装置の制御方法および制御プログラム |
JP2013225317A (ja) * | 2013-05-28 | 2013-10-31 | Omron Corp | データ収集装置、並びに、該データ収集装置の制御方法および制御プログラム |
JP2015099416A (ja) * | 2013-11-18 | 2015-05-28 | 三菱電機株式会社 | データベース連携装置及びデータベース連携プログラム |
JP2016126530A (ja) * | 2014-12-29 | 2016-07-11 | 三菱電機インフォメーションネットワーク株式会社 | 入力ファイル処理装置、入力ファイル処理プログラム及び入力ファイル処理方法 |
US10990604B2 (en) | 2017-02-15 | 2021-04-27 | Fujitsu Limited | Non-transitory computer-readable storage medium, record data processing method, and record data processing apparatus |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03147036A (ja) * | 1989-11-01 | 1991-06-24 | Casio Comput Co Ltd | 可変長データ処理装置 |
JPH11259584A (ja) * | 1998-03-10 | 1999-09-24 | Casio Comput Co Ltd | 表出力装置及び記録媒体 |
JPH11296510A (ja) * | 1998-04-13 | 1999-10-29 | Nec Corp | データ変換装置 |
JP2000057231A (ja) * | 1998-08-07 | 2000-02-25 | Fujitsu Ltd | プログラム間データ転送システムおよびデータ転送プログラムを格納した記憶媒体 |
JP2007004645A (ja) * | 2005-06-27 | 2007-01-11 | Quality Kk | 個人情報管理システム |
-
2007
- 2007-11-01 JP JP2007285345A patent/JP5171211B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03147036A (ja) * | 1989-11-01 | 1991-06-24 | Casio Comput Co Ltd | 可変長データ処理装置 |
JPH11259584A (ja) * | 1998-03-10 | 1999-09-24 | Casio Comput Co Ltd | 表出力装置及び記録媒体 |
JPH11296510A (ja) * | 1998-04-13 | 1999-10-29 | Nec Corp | データ変換装置 |
JP2000057231A (ja) * | 1998-08-07 | 2000-02-25 | Fujitsu Ltd | プログラム間データ転送システムおよびデータ転送プログラムを格納した記憶媒体 |
JP2007004645A (ja) * | 2005-06-27 | 2007-01-11 | Quality Kk | 個人情報管理システム |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012105063A1 (ja) * | 2011-01-31 | 2012-08-09 | オムロン株式会社 | データ収集装置、並びに、該データ収集装置の制御方法および制御プログラム |
JP2012159942A (ja) * | 2011-01-31 | 2012-08-23 | Omron Corp | データ収集装置、並びに、該データ収集装置の制御方法および制御プログラム |
CN103314335A (zh) * | 2011-01-31 | 2013-09-18 | 欧姆龙株式会社 | 数据收集装置、以及该数据收集装置的控制方法和控制程序 |
CN104914818A (zh) * | 2011-01-31 | 2015-09-16 | 欧姆龙株式会社 | 数据收集装置、以及该数据收集装置的控制方法 |
JP2013225317A (ja) * | 2013-05-28 | 2013-10-31 | Omron Corp | データ収集装置、並びに、該データ収集装置の制御方法および制御プログラム |
JP2015099416A (ja) * | 2013-11-18 | 2015-05-28 | 三菱電機株式会社 | データベース連携装置及びデータベース連携プログラム |
JP2016126530A (ja) * | 2014-12-29 | 2016-07-11 | 三菱電機インフォメーションネットワーク株式会社 | 入力ファイル処理装置、入力ファイル処理プログラム及び入力ファイル処理方法 |
US10990604B2 (en) | 2017-02-15 | 2021-04-27 | Fujitsu Limited | Non-transitory computer-readable storage medium, record data processing method, and record data processing apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP5171211B2 (ja) | 2013-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI409695B (zh) | 用於配置裝置之系統、方法及裝置 | |
TWI519963B (zh) | 用以完成可變寬度資料輸入之方法及系統 | |
KR20110088553A (ko) | 결과 버퍼를 구비하는 패턴 인식 프로세서 | |
US20180300250A1 (en) | Method and apparatus for storing data | |
JP5171211B2 (ja) | データ形式変換装置 | |
US20180129736A1 (en) | System to organize search and display unstructured data | |
CN116483441B (zh) | 基于移位缓冲的输出时序优化系统、方法及相关设备 | |
WO2022068328A1 (zh) | 数据迁移的方法、装置、处理器和计算设备 | |
US10204177B2 (en) | Matching an ordered set of strings containing wild cards | |
KR20080044872A (ko) | 컴퓨터 상에서 정보 또는 데이터를 처리하기 위한 시스템및 방법 | |
JP2008210073A (ja) | ログデータサイズ削減装置及びログデータサイズ削減装置のログデータサイズ削減方法 | |
JPH0820951B2 (ja) | プロセッサの動作速度を速める方法 | |
US20070079109A1 (en) | Simulation apparatus and simulation method | |
CN114036431A (zh) | 页面缓存跳转方法、装置、电子设备及存储介质 | |
CN114518841A (zh) | 存储器中处理器和使用存储器中处理器输出指令的方法 | |
JP5972461B2 (ja) | データ連携支援装置及びデータ連携支援方法 | |
JP2001034525A (ja) | Webページ表示方法およびその処理プログラムを記録した記録媒体 | |
US20150134939A1 (en) | Information processing system, information processing method and memory system | |
US8666925B1 (en) | Method for parallel computation of a finite state machine | |
JP7201545B2 (ja) | 帳票処理プログラム、帳票処理方法、及び帳票処理装置 | |
JP2018181196A (ja) | 情報処理装置、プログラム、情報処理方法及びデータ構造 | |
JP2008191796A (ja) | 解析装置及び解析方法及びプログラム | |
JP2006260316A (ja) | 文章形式変換装置、プログラム、および方法 | |
JP6383289B2 (ja) | 入力ファイル処理装置、入力ファイル処理プログラム及び入力ファイル処理方法 | |
JP6455229B2 (ja) | ストレージ装置、読出記憶装置決定方法、読出記憶装置決定プログラム、およびストレージシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100916 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120918 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5171211 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |