JP2000194720A - 長大デ―タファイル処理システムおよびその方法 - Google Patents
長大デ―タファイル処理システムおよびその方法Info
- Publication number
- JP2000194720A JP2000194720A JP10374228A JP37422898A JP2000194720A JP 2000194720 A JP2000194720 A JP 2000194720A JP 10374228 A JP10374228 A JP 10374228A JP 37422898 A JP37422898 A JP 37422898A JP 2000194720 A JP2000194720 A JP 2000194720A
- Authority
- JP
- Japan
- Prior art keywords
- long data
- file
- index
- data file
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
数値データなどの長大データファイルの内容一致や比較
処理の高速化を図り、結果として長大データファイル同
士の内容一致・比較処理のコスト低減を図る。 【解決手段】 長大データファイルの比較処理の操作を
行うコンピュータシステム21は、長大データファイル
の索引を作成する索引作成部22と、作成された長大デ
ータの索引同士の比較を行う中間処理部23と、上記中
間処理部23で選択された長大データ同士の最終比較処
理を行う最終比較部24と、外部からの命令を受け入
れ、処理結果を出力する入出力部27から構成されてい
る。
Description
(画像・音声・メモリなどのダンプファイル・数値デー
タなどの、非常に大きなデータからなるファイル)同士
の内容一致や比較処理の高速化を図り、結果として長大
データファイル同士の内容一致・比較処理のコスト低減
を図ることができる処理方式に関する。
ガバイトもの情報がノート型パソコンで使用できるディ
スクに格納できるほど、記憶媒体の記憶容量は増大し
た。しかしこのような容量を持つディスクにも問題があ
って、コンピュータの他の部品に比べ比較にならないほ
ど遅く、例えばディスクのアクセス時間はRAMのアク
セス時間の25万倍の時間がかかるといわれている。つ
まりディスクは低いアクセス速度と巨大な容量を秤にか
けているのである。このような状況の中で、ディスクの
中に蓄えられて情報の中から目的とするものをできるだ
け高速で得られるようなファイル構造が考案されてき
た。例えば巨大なファイルにインデクスを付加し、イン
デクスにより、より高速で検索できる方式が追求されて
いる。
データの内容一致や比較処理のためには、従来技術では
多くのコストが掛っていた。コストが掛かる理由として
は、長大データのため、ディスクから読み出すため多大
の時間を要することと、この長大データをメモリ上に置
いておく領域が必要になることである。また、メモリ上
のデータ同士を比較するための処理量も、データサイズ
に伴って多くかかってしまっていた。本発明は以上の問
題点を解決する機能を提供する。
イル(画像・音声・メモリなどのダンプファイル・数値
データなどの、非常に大きなデータからなるファイル)
の内容一致や比較処理の高速化を図り、結果として長大
データファイル同士の内容一致・比較処理のコスト低減
図ることができる機能を提供するものである。請求項1
に記載の発明は、長大データファイルの索引を作成する
索引作成部と、作成された長大データの索引同士の比較
を行う中間処理部と、上記中間処理部で選択された長大
データ同士の最終比較処理を行う最終比較部と、外部か
らの命令を受け入れ処理結果を出力する入出力部を具備
する長大データファイル同士の比較処理の操作を行う長
大データファイル処理システムにおいて、上記索引作成
部は対象長大データファイルのファイル識別子(ID
#)と、該長大データファイルの数箇所をサンプルして
採取したサンプルデータとを元に索引を作成し、上記中
間処理部では1群の長大データファイルから作成された
索引同士を比較することにより、索引内容が同一の長大
データファイルを選択し、上記最終比較部では選択され
た長大データファイルの全データを比較して、内容が同
一であることを確認することを特徴としている。請求項
2に記載の発明は、長大データファイルの索引を作成す
る索引作成部と、作成された長大データの索引同士の比
較を行う中間処理部と、上記中間処理部で選択された長
大データ同士の最終比較処理を行う最終比較部と、外部
からの命令を受け入れ処理結果を出力する入出力部を具
備する長大データファイル同士の比較処理の操作を行う
長大データファイル処理システムのファイル処理方法に
おいて、対象長大データファイルのファイル識別子(I
D#)と、該長大データファイルの数箇所をサンプルし
て採取したサンプルデータとを基に索引を作成する過程
と、1群の長大データファイルから作成された索引同士
を比較することにより、索引内容が同一の長大データフ
ァイルを選択する過程と、選択された長大データファイ
ルの全データを比較して、内容が同一であることを確認
する過程と、を有することを特徴としている。
を参照して説明する。図1には長大データファイルから
索引を作成し、作成した索引群によりファイル群の内容
一致・比較処理を行う手順が示されている。この処理に
より#1と#3のデータファイルが同一であるとして選
択され、最終比較処理に付される手順が示されている。
長大データファイル11はファイル識別子(ID#)と
バイナリイメージデータから構成されている。このファ
イル識別子と数箇所をサンプルして採取したサンプルデ
ータとを基に索引12を作成する。図1においてはサン
プル数は4つとしている。かくして作成された複数の索
引を比較して、すなわち採取したサンプルデータを比較
することにより最終照合の必要の無いデータファイルを
排除してしまう中間処理13を施している。この中間処
理13では#2のデータファイルが排除される。選択さ
れたデータファイル#1と#3とのみが最終比較処理1
4に付せられ、全データの比較が行われるので、長大デ
ータファイルの内容一致・比較処理のための時間の短縮
・高速化が実現されている。図2は図1に示した長大デ
ータファイルの比較処理の操作と、本システムが稼動す
るコンピュータシステムを説明するための図である。本
システムが稼動するコンピュータシステム21は外部か
らの要求を受け付けることができる。例えば外部から
「ファイルID#1と同じデータを探せ」という内容の命令
を受け付けることができる。長大データファイルから索
引を作成する索引作成部22は本実施例では#1,#2,#3の
3つの長大データファイル25から索引を作成してい
る。作成された長大データの索引26同士の比較を行う
中間処理部分の中間処理部23があり、ファイルID#1と
同じデータとしてID#3のデータファイルが選択された。
長大データ同士の最終比較処理を行う最終比較部24
で、ファイルID#1とファイルID#3の全データが比較さ
れ、内容が同一であることが確認される。前記したよう
に本実施例では画像や音声といった、3つの長大データ
ファイル25を対象ファイルとして取り上げる。この長
大データファイル25は、それぞれファイルID(#1、#
2、#3)を持っており、該長大データファイル25から
長大データ索引群26が作成される。入出力部27にお
ける外部からの命令の内容は「ファイルID#1と同じデー
タを探せ」とする。
イルより索引を作成する操作、 比較処理の動作を説明
する。長大データファイル25より索引を作成する操作
は下記の通りである。画像や音声といった3つの長大デ
ータファイル25がコンピュータ上に登録されたとき、
長大データファイルのファイルID(#1など)と、長大デ
ータファイルの内容から一定間隔毎にサンプルデータを
数箇所(例の場合は4個所)を採取し、これらのデータ
から長大データの索引26を作成する。は、長大デー
タ索引作成の操作を示す。 は、長大データ索引作成
のためのデータの流れを示す。中間処理部23における
中間処理の動作は下記の通りである。比較命令27(フ
ァイルID#1と同一データを探せ)が本システムに 送ら
れた際、中間処理部23では、長大データ索引26を読
み込み、ファイルID#1と同一の索引情報をもつ索引が存
在するかを確認する。は、「ファイルID#1と同一デー
タを探せ」という命令である。は、長大データ索引情
報が中間処理部に読み込まれるときのデータの流れであ
る。は、中間処理部で処理された比較結果である。例
では、#1、と#3の索引が一致したという結果が入る。最
終比較部24における最終比較処理の動作は次の通りで
ある。上記中間処理の結果()が最終比較処理24に
渡ると、ファイルID#1とファイルID#3のデータをすべて
比較して、内容が同一であるかを確認する。この最終比
較部24の処理結果が、入出力部27から外部に戻され
る。は、最終比較のため、ファイルID#1とファイルID
#3データを最終比較部に持ってくるデータの流れであ
る。は、最終比較部によって比較された結果である。
使って中間処理を施すことにより、長大データ同士の内
容一致・比較処理の際に、違う索引の元データを排除す
ることによって、全データを比較する最終比較処理の対
象ファイル数を少なくすることが可能となる。これによ
り、内容一致・比較処理コストを抑え、処理時間の短縮
(高速化)と、処理の効率化が期待できる。
した索引群からファイルの比較処理を行う手順を説明す
る図。
テム。
処理 21…コンピュータ 22…索引作成
部 23…中間処理部 24…最終比較
部 25…長大データファイル 26…長大デー
タ索引 27…入出力部
29)
イル(画像・音声・メモリなどのダンプファイル・数値
データなどの、非常に大きなデータからなるファイル)
の内容一致や比較処理の高速化を図り、結果として長大
データファイル同士の内容一致・比較処理のコスト低減
を図ることができる機能を提供するものである。請求項
1に記載の発明は、長大データファイルの索引を作成す
る索引作成部と、作成された長大データの索引同士の比
較を行う中間処理部と、上記中間処理部で選択された長
大データ同士の最終比較処理を行う最終比較部と、外部
からの命令を受け入れ処理結果を出力する入出力部を具
備する長大データファイル同士の比較処理の操作を行う
長大データファイル処理システムであって、上記索引作
成部は対象長大データファイルのファイル識別子(ID
#)と、該長大データファイルから一定間隔で読み出し
たサンプルデータとを基に索引を作成し、上記中間処理
部では1群の長大データファイルから作成された索引同
士を比較することにより、索引内容が同一の長大データ
ファイルを選択し、上記最終比較部では選択された長大
データファイルの全データを比較して、内容が同一であ
ることを確認することを特徴としている。請求項2に記
載の発明は、長大データファイルの索引を作成する索引
作成部と、作成された長大データの索引同士の比較を行
う中間処理部と、上記中間処理部で選択された長大デー
タ同士の最終比較処理を行う最終比較部と、外部からの
命令を受け入れ処理結果を出力する入出力部を具備する
長大データファイル同士の比較処理の操作を行う長大デ
ータファイル処理システムのファイル処理方法であっ
て、対象長大データファイルのファイル識別子(ID
#)と、該長大データファイルから一定間隔で読み出し
たサンプルデータとを基に索引を作成する過程と、1群
の長大データファイルから作成された索引同士を比較す
ることにより、索引内容が同一の長大データファイルを
選択する過程と、選択された長大データファイルの全デ
ータを比較して、内容が同一であることを確認する過程
と、を有することを特徴としている。
Claims (2)
- 【請求項1】 長大データファイルの索引を作成する索
引作成部と、作成された長大データの索引同士の比較を
行う中間処理部と、上記中間処理部で選択された長大デ
ータ同士の最終比較処理を行う最終比較部と、外部から
の命令を受け入れ処理結果を出力する入出力部を具備す
る長大データファイル同士の比較処理の操作を行う長大
データファイル処理システムにおいて、上記索引作成部
は対象長大データファイルのファイル識別子(ID#)
と、該長大データファイルの数箇所をサンプルして採取
したサンプルデータとを基に索引を作成し、上記中間処
理部では1群の長大データファイルから作成された索引
同士を比較することにより、索引内容が同一の長大デー
タファイルを選択し、上記最終比較部では選択された長
大データファイルの全データを比較して、内容が同一で
あることを確認することを特徴とする長大データファイ
ル処理システム。 - 【請求項2】 長大データファイルの索引を作成する索
引作成部と、作成された長大データの索引同士の比較を
行う中間処理部と、上記中間処理部で選択された長大デ
ータ同士の最終比較処理を行う最終比較部と、外部から
の命令を受け入れ処理結果を出力する入出力部を具備す
る長大データファイル同士の比較処理の操作を行う長大
データファイル処理システムのファイル処理方法におい
て、対象長大データファイルのファイル識別子(ID
#)と、該長大データファイルの数箇所をサンプルして
採取したサンプルデータとを基に索引を作成する過程
と、1群の長大データファイルから作成された索引同士
を比較することにより、索引内容が同一の長大データフ
ァイルを選択する過程と、選択された長大データファイ
ルの全データを比較して、内容が同一であることを確認
する過程と、を有することを特徴とする長大データファ
イル処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10374228A JP3119640B2 (ja) | 1998-12-28 | 1998-12-28 | 長大データファイル処理システムおよびその方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10374228A JP3119640B2 (ja) | 1998-12-28 | 1998-12-28 | 長大データファイル処理システムおよびその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000194720A true JP2000194720A (ja) | 2000-07-14 |
JP3119640B2 JP3119640B2 (ja) | 2000-12-25 |
Family
ID=18503487
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10374228A Expired - Fee Related JP3119640B2 (ja) | 1998-12-28 | 1998-12-28 | 長大データファイル処理システムおよびその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3119640B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5543684A (en) | 1992-03-16 | 1996-08-06 | Microelectronics And Computer Technology Corporation | Flat panel display based on diamond thin films |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6065335A (ja) * | 1983-09-21 | 1985-04-15 | Hitachi Ltd | 画像検索方式 |
JPS63286974A (ja) * | 1987-05-20 | 1988-11-24 | Matsushita Electric Ind Co Ltd | 画像検索装置 |
JPS6461881A (en) * | 1987-09-02 | 1989-03-08 | Fujitsu Ltd | System for processing template matching |
JPH0191569A (ja) * | 1987-10-01 | 1989-04-11 | Fuji Xerox Co Ltd | 画像データの転送制御装置 |
JPH02252061A (ja) * | 1989-03-27 | 1990-10-09 | Hitachi Maxell Ltd | 画像フアイル装置 |
JPH0363876A (ja) * | 1989-08-02 | 1991-03-19 | Mitsubishi Electric Corp | 検索装置 |
JPH03288979A (ja) * | 1990-04-06 | 1991-12-19 | Sharp Corp | パターン検出装置 |
JPH0423167A (ja) * | 1990-05-18 | 1992-01-27 | Fujitsu Ltd | コマンド検索方式 |
JPH05159064A (ja) * | 1991-12-09 | 1993-06-25 | Nippon Telegr & Teleph Corp <Ntt> | 画像探索装置 |
JPH06162096A (ja) * | 1992-11-18 | 1994-06-10 | Casio Comput Co Ltd | レコード検索方法 |
JPH07282075A (ja) * | 1994-04-05 | 1995-10-27 | Ricoh Co Ltd | ファイリング装置 |
-
1998
- 1998-12-28 JP JP10374228A patent/JP3119640B2/ja not_active Expired - Fee Related
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6065335A (ja) * | 1983-09-21 | 1985-04-15 | Hitachi Ltd | 画像検索方式 |
JPS63286974A (ja) * | 1987-05-20 | 1988-11-24 | Matsushita Electric Ind Co Ltd | 画像検索装置 |
JPS6461881A (en) * | 1987-09-02 | 1989-03-08 | Fujitsu Ltd | System for processing template matching |
JPH0191569A (ja) * | 1987-10-01 | 1989-04-11 | Fuji Xerox Co Ltd | 画像データの転送制御装置 |
JPH02252061A (ja) * | 1989-03-27 | 1990-10-09 | Hitachi Maxell Ltd | 画像フアイル装置 |
JPH0363876A (ja) * | 1989-08-02 | 1991-03-19 | Mitsubishi Electric Corp | 検索装置 |
JPH03288979A (ja) * | 1990-04-06 | 1991-12-19 | Sharp Corp | パターン検出装置 |
JPH0423167A (ja) * | 1990-05-18 | 1992-01-27 | Fujitsu Ltd | コマンド検索方式 |
JPH05159064A (ja) * | 1991-12-09 | 1993-06-25 | Nippon Telegr & Teleph Corp <Ntt> | 画像探索装置 |
JPH06162096A (ja) * | 1992-11-18 | 1994-06-10 | Casio Comput Co Ltd | レコード検索方法 |
JPH07282075A (ja) * | 1994-04-05 | 1995-10-27 | Ricoh Co Ltd | ファイリング装置 |
Also Published As
Publication number | Publication date |
---|---|
JP3119640B2 (ja) | 2000-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5826262A (en) | Parallel bottom-up construction of radix trees | |
JP2002514331A (ja) | 物理的情報ファイルの情報を共有するための仮想ファイルを生成するコンピュータ実行法 | |
EP1607868A1 (en) | Data processing device, data processing program, and recording medium | |
JP2000357115A (ja) | ファイル検索装置及びファイル検索方法 | |
US20040107204A1 (en) | File management apparatus | |
JP2000194720A (ja) | 長大デ―タファイル処理システムおよびその方法 | |
US4809214A (en) | Information searching apparatus | |
KR101992631B1 (ko) | 비동기 방식을 사용하는 파일 색인장치 및 그 방법 | |
US5953717A (en) | Iterative search method builds key list for speeding up future searches | |
JP2008052475A (ja) | ファイル検索装置、方法、プログラム | |
CN116016553B (zh) | 一种基于网盘的文件分享方法、装置、网盘及存储介质 | |
JP2734023B2 (ja) | 索引検索方式 | |
JPH05181735A (ja) | 複数の情報処理装置間で共有される記憶装置の管理方法 | |
JPH02116936A (ja) | 再編成方式 | |
JPS61103242A (ja) | 高速検索方式 | |
JP3120493B2 (ja) | データ処理装置 | |
CN114153606A (zh) | 一种文件处理方法、装置、设备、存储介质、系统及车辆 | |
JP3348279B2 (ja) | プライスルックアップデータ検索回路及びその検索方法並びにその制御プログラムを記録した記録媒体 | |
JPH02120950A (ja) | メモリダンプファイルアクセスにおけるアドレス変換方式 | |
JP2720770B2 (ja) | 自動事後処理方式 | |
CN118012656A (zh) | 损坏pdf文档修复方法、装置、设备及存储介质 | |
JPS62107336A (ja) | 階層型デ−タベ−スの制御方法 | |
CN114519043A (zh) | 一种可执行二进制文件格式逆向分析方法 | |
CN117194349A (zh) | 一种文件存储与读取方法及装置 | |
JPH05158760A (ja) | マイグレーション処理方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20000912 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081013 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091013 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091013 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101013 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111013 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121013 Year of fee payment: 12 |
|
LAPS | Cancellation because of no payment of annual fees |