JP2000194720A - 長大デ―タファイル処理システムおよびその方法 - Google Patents

長大デ―タファイル処理システムおよびその方法

Info

Publication number
JP2000194720A
JP2000194720A JP10374228A JP37422898A JP2000194720A JP 2000194720 A JP2000194720 A JP 2000194720A JP 10374228 A JP10374228 A JP 10374228A JP 37422898 A JP37422898 A JP 37422898A JP 2000194720 A JP2000194720 A JP 2000194720A
Authority
JP
Japan
Prior art keywords
long data
file
index
data file
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10374228A
Other languages
English (en)
Other versions
JP3119640B2 (ja
Inventor
Mitsuru Yoshikoshi
満 吉越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Software Nagano Ltd
Original Assignee
NEC Software Nagano Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Software Nagano Ltd filed Critical NEC Software Nagano Ltd
Priority to JP10374228A priority Critical patent/JP3119640B2/ja
Publication of JP2000194720A publication Critical patent/JP2000194720A/ja
Application granted granted Critical
Publication of JP3119640B2 publication Critical patent/JP3119640B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

(57)【要約】 【課題】 画像・音声・メモリなどのダンプファイル・
数値データなどの長大データファイルの内容一致や比較
処理の高速化を図り、結果として長大データファイル同
士の内容一致・比較処理のコスト低減を図る。 【解決手段】 長大データファイルの比較処理の操作を
行うコンピュータシステム21は、長大データファイル
の索引を作成する索引作成部22と、作成された長大デ
ータの索引同士の比較を行う中間処理部23と、上記中
間処理部23で選択された長大データ同士の最終比較処
理を行う最終比較部24と、外部からの命令を受け入
れ、処理結果を出力する入出力部27から構成されてい
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は長大データファイル
(画像・音声・メモリなどのダンプファイル・数値デー
タなどの、非常に大きなデータからなるファイル)同士
の内容一致や比較処理の高速化を図り、結果として長大
データファイル同士の内容一致・比較処理のコスト低減
を図ることができる処理方式に関する。
【0002】
【従来の技術】近時技術の驚くべき進歩により、数百メ
ガバイトもの情報がノート型パソコンで使用できるディ
スクに格納できるほど、記憶媒体の記憶容量は増大し
た。しかしこのような容量を持つディスクにも問題があ
って、コンピュータの他の部品に比べ比較にならないほ
ど遅く、例えばディスクのアクセス時間はRAMのアク
セス時間の25万倍の時間がかかるといわれている。つ
まりディスクは低いアクセス速度と巨大な容量を秤にか
けているのである。このような状況の中で、ディスクの
中に蓄えられて情報の中から目的とするものをできるだ
け高速で得られるようなファイル構造が考案されてき
た。例えば巨大なファイルにインデクスを付加し、イン
デクスにより、より高速で検索できる方式が追求されて
いる。
【0003】
【発明が解決しようとする課題】従来、画像などの長大
データの内容一致や比較処理のためには、従来技術では
多くのコストが掛っていた。コストが掛かる理由として
は、長大データのため、ディスクから読み出すため多大
の時間を要することと、この長大データをメモリ上に置
いておく領域が必要になることである。また、メモリ上
のデータ同士を比較するための処理量も、データサイズ
に伴って多くかかってしまっていた。本発明は以上の問
題点を解決する機能を提供する。
【0004】
【課題を解決するための手段】本発明は長大データファ
イル(画像・音声・メモリなどのダンプファイル・数値
データなどの、非常に大きなデータからなるファイル)
の内容一致や比較処理の高速化を図り、結果として長大
データファイル同士の内容一致・比較処理のコスト低減
図ることができる機能を提供するものである。請求項1
に記載の発明は、長大データファイルの索引を作成する
索引作成部と、作成された長大データの索引同士の比較
を行う中間処理部と、上記中間処理部で選択された長大
データ同士の最終比較処理を行う最終比較部と、外部か
らの命令を受け入れ処理結果を出力する入出力部を具備
する長大データファイル同士の比較処理の操作を行う長
大データファイル処理システムにおいて、上記索引作成
部は対象長大データファイルのファイル識別子(ID
#)と、該長大データファイルの数箇所をサンプルして
採取したサンプルデータとを元に索引を作成し、上記中
間処理部では1群の長大データファイルから作成された
索引同士を比較することにより、索引内容が同一の長大
データファイルを選択し、上記最終比較部では選択され
た長大データファイルの全データを比較して、内容が同
一であることを確認することを特徴としている。請求項
2に記載の発明は、長大データファイルの索引を作成す
る索引作成部と、作成された長大データの索引同士の比
較を行う中間処理部と、上記中間処理部で選択された長
大データ同士の最終比較処理を行う最終比較部と、外部
からの命令を受け入れ処理結果を出力する入出力部を具
備する長大データファイル同士の比較処理の操作を行う
長大データファイル処理システムのファイル処理方法に
おいて、対象長大データファイルのファイル識別子(I
D#)と、該長大データファイルの数箇所をサンプルし
て採取したサンプルデータとを基に索引を作成する過程
と、1群の長大データファイルから作成された索引同士
を比較することにより、索引内容が同一の長大データフ
ァイルを選択する過程と、選択された長大データファイ
ルの全データを比較して、内容が同一であることを確認
する過程と、を有することを特徴としている。
【0005】
【発明の実施の形態】本発明の実施の形態について図面
を参照して説明する。図1には長大データファイルから
索引を作成し、作成した索引群によりファイル群の内容
一致・比較処理を行う手順が示されている。この処理に
より#1と#3のデータファイルが同一であるとして選
択され、最終比較処理に付される手順が示されている。
長大データファイル11はファイル識別子(ID#)と
バイナリイメージデータから構成されている。このファ
イル識別子と数箇所をサンプルして採取したサンプルデ
ータとを基に索引12を作成する。図1においてはサン
プル数は4つとしている。かくして作成された複数の索
引を比較して、すなわち採取したサンプルデータを比較
することにより最終照合の必要の無いデータファイルを
排除してしまう中間処理13を施している。この中間処
理13では#2のデータファイルが排除される。選択さ
れたデータファイル#1と#3とのみが最終比較処理1
4に付せられ、全データの比較が行われるので、長大デ
ータファイルの内容一致・比較処理のための時間の短縮
・高速化が実現されている。図2は図1に示した長大デ
ータファイルの比較処理の操作と、本システムが稼動す
るコンピュータシステムを説明するための図である。本
システムが稼動するコンピュータシステム21は外部か
らの要求を受け付けることができる。例えば外部から
「ファイルID#1と同じデータを探せ」という内容の命令
を受け付けることができる。長大データファイルから索
引を作成する索引作成部22は本実施例では#1,#2,#3の
3つの長大データファイル25から索引を作成してい
る。作成された長大データの索引26同士の比較を行う
中間処理部分の中間処理部23があり、ファイルID#1と
同じデータとしてID#3のデータファイルが選択された。
長大データ同士の最終比較処理を行う最終比較部24
で、ファイルID#1とファイルID#3の全データが比較さ
れ、内容が同一であることが確認される。前記したよう
に本実施例では画像や音声といった、3つの長大データ
ファイル25を対象ファイルとして取り上げる。この長
大データファイル25は、それぞれファイルID(#1、#
2、#3)を持っており、該長大データファイル25から
長大データ索引群26が作成される。入出力部27にお
ける外部からの命令の内容は「ファイルID#1と同じデー
タを探せ」とする。
【0006】次に同じ図2を参照して、長大データファ
イルより索引を作成する操作、 比較処理の動作を説明
する。長大データファイル25より索引を作成する操作
は下記の通りである。画像や音声といった3つの長大デ
ータファイル25がコンピュータ上に登録されたとき、
長大データファイルのファイルID(#1など)と、長大デ
ータファイルの内容から一定間隔毎にサンプルデータを
数箇所(例の場合は4個所)を採取し、これらのデータ
から長大データの索引26を作成する。は、長大デー
タ索引作成の操作を示す。 は、長大データ索引作成
のためのデータの流れを示す。中間処理部23における
中間処理の動作は下記の通りである。比較命令27(フ
ァイルID#1と同一データを探せ)が本システムに 送ら
れた際、中間処理部23では、長大データ索引26を読
み込み、ファイルID#1と同一の索引情報をもつ索引が存
在するかを確認する。は、「ファイルID#1と同一デー
タを探せ」という命令である。は、長大データ索引情
報が中間処理部に読み込まれるときのデータの流れであ
る。は、中間処理部で処理された比較結果である。例
では、#1、と#3の索引が一致したという結果が入る。最
終比較部24における最終比較処理の動作は次の通りで
ある。上記中間処理の結果()が最終比較処理24に
渡ると、ファイルID#1とファイルID#3のデータをすべて
比較して、内容が同一であるかを確認する。この最終比
較部24の処理結果が、入出力部27から外部に戻され
る。は、最終比較のため、ファイルID#1とファイルID
#3データを最終比較部に持ってくるデータの流れであ
る。は、最終比較部によって比較された結果である。
【0007】
【発明の効果】長大データの索引を作成し、この索引を
使って中間処理を施すことにより、長大データ同士の内
容一致・比較処理の際に、違う索引の元データを排除す
ることによって、全データを比較する最終比較処理の対
象ファイル数を少なくすることが可能となる。これによ
り、内容一致・比較処理コストを抑え、処理時間の短縮
(高速化)と、処理の効率化が期待できる。
【図面の簡単な説明】
【図1】 長大データファイルから索引を作成し、作成
した索引群からファイルの比較処理を行う手順を説明す
る図。
【図2】 ファイルの比較処理を行うコンピュータシス
テム。
【符号の説明】
11…長大データファイル 12…索引 13…中間処理 14…最終比較
処理 21…コンピュータ 22…索引作成
部 23…中間処理部 24…最終比較
部 25…長大データファイル 26…長大デー
タ索引 27…入出力部
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成11年11月29日(1999.11.
29)
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正内容】
【特許請求の範囲】
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0004
【補正方法】変更
【補正内容】
【0004】
【課題を解決するための手段】本発明は長大データファ
イル(画像・音声・メモリなどのダンプファイル・数値
データなどの、非常に大きなデータからなるファイル)
の内容一致や比較処理の高速化を図り、結果として長大
データファイル同士の内容一致・比較処理のコスト低減
図ることができる機能を提供するものである。請求項
1に記載の発明は、長大データファイルの索引を作成す
る索引作成部と、作成された長大データの索引同士の比
較を行う中間処理部と、上記中間処理部で選択された長
大データ同士の最終比較処理を行う最終比較部と、外部
からの命令を受け入れ処理結果を出力する入出力部を具
備する長大データファイル同士の比較処理の操作を行う
長大データファイル処理システムであって、上記索引作
成部は対象長大データファイルのファイル識別子(ID
#)と、該長大データファイルから一定間隔で読み出し
サンプルデータとを基に索引を作成し、上記中間処理
部では1群の長大データファイルから作成された索引同
士を比較することにより、索引内容が同一の長大データ
ファイルを選択し、上記最終比較部では選択された長大
データファイルの全データを比較して、内容が同一であ
ることを確認することを特徴としている。請求項2に記
載の発明は、長大データファイルの索引を作成する索引
作成部と、作成された長大データの索引同士の比較を行
う中間処理部と、上記中間処理部で選択された長大デー
タ同士の最終比較処理を行う最終比較部と、外部からの
命令を受け入れ処理結果を出力する入出力部を具備する
長大データファイル同士の比較処理の操作を行う長大デ
ータファイル処理システムのファイル処理方法であっ
、対象長大データファイルのファイル識別子(ID
#)と、該長大データファイルから一定間隔で読み出し
サンプルデータとを基に索引を作成する過程と、1群
の長大データファイルから作成された索引同士を比較す
ることにより、索引内容が同一の長大データファイルを
選択する過程と、選択された長大データファイルの全デ
ータを比較して、内容が同一であることを確認する過程
と、を有することを特徴としている。

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 長大データファイルの索引を作成する索
    引作成部と、作成された長大データの索引同士の比較を
    行う中間処理部と、上記中間処理部で選択された長大デ
    ータ同士の最終比較処理を行う最終比較部と、外部から
    の命令を受け入れ処理結果を出力する入出力部を具備す
    る長大データファイル同士の比較処理の操作を行う長大
    データファイル処理システムにおいて、上記索引作成部
    は対象長大データファイルのファイル識別子(ID#)
    と、該長大データファイルの数箇所をサンプルして採取
    したサンプルデータとを基に索引を作成し、上記中間処
    理部では1群の長大データファイルから作成された索引
    同士を比較することにより、索引内容が同一の長大デー
    タファイルを選択し、上記最終比較部では選択された長
    大データファイルの全データを比較して、内容が同一で
    あることを確認することを特徴とする長大データファイ
    ル処理システム。
  2. 【請求項2】 長大データファイルの索引を作成する索
    引作成部と、作成された長大データの索引同士の比較を
    行う中間処理部と、上記中間処理部で選択された長大デ
    ータ同士の最終比較処理を行う最終比較部と、外部から
    の命令を受け入れ処理結果を出力する入出力部を具備す
    る長大データファイル同士の比較処理の操作を行う長大
    データファイル処理システムのファイル処理方法におい
    て、対象長大データファイルのファイル識別子(ID
    #)と、該長大データファイルの数箇所をサンプルして
    採取したサンプルデータとを基に索引を作成する過程
    と、1群の長大データファイルから作成された索引同士
    を比較することにより、索引内容が同一の長大データフ
    ァイルを選択する過程と、選択された長大データファイ
    ルの全データを比較して、内容が同一であることを確認
    する過程と、を有することを特徴とする長大データファ
    イル処理方法。
JP10374228A 1998-12-28 1998-12-28 長大データファイル処理システムおよびその方法 Expired - Fee Related JP3119640B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10374228A JP3119640B2 (ja) 1998-12-28 1998-12-28 長大データファイル処理システムおよびその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10374228A JP3119640B2 (ja) 1998-12-28 1998-12-28 長大データファイル処理システムおよびその方法

Publications (2)

Publication Number Publication Date
JP2000194720A true JP2000194720A (ja) 2000-07-14
JP3119640B2 JP3119640B2 (ja) 2000-12-25

Family

ID=18503487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10374228A Expired - Fee Related JP3119640B2 (ja) 1998-12-28 1998-12-28 長大データファイル処理システムおよびその方法

Country Status (1)

Country Link
JP (1) JP3119640B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5543684A (en) 1992-03-16 1996-08-06 Microelectronics And Computer Technology Corporation Flat panel display based on diamond thin films

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6065335A (ja) * 1983-09-21 1985-04-15 Hitachi Ltd 画像検索方式
JPS63286974A (ja) * 1987-05-20 1988-11-24 Matsushita Electric Ind Co Ltd 画像検索装置
JPS6461881A (en) * 1987-09-02 1989-03-08 Fujitsu Ltd System for processing template matching
JPH0191569A (ja) * 1987-10-01 1989-04-11 Fuji Xerox Co Ltd 画像データの転送制御装置
JPH02252061A (ja) * 1989-03-27 1990-10-09 Hitachi Maxell Ltd 画像フアイル装置
JPH0363876A (ja) * 1989-08-02 1991-03-19 Mitsubishi Electric Corp 検索装置
JPH03288979A (ja) * 1990-04-06 1991-12-19 Sharp Corp パターン検出装置
JPH0423167A (ja) * 1990-05-18 1992-01-27 Fujitsu Ltd コマンド検索方式
JPH05159064A (ja) * 1991-12-09 1993-06-25 Nippon Telegr & Teleph Corp <Ntt> 画像探索装置
JPH06162096A (ja) * 1992-11-18 1994-06-10 Casio Comput Co Ltd レコード検索方法
JPH07282075A (ja) * 1994-04-05 1995-10-27 Ricoh Co Ltd ファイリング装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6065335A (ja) * 1983-09-21 1985-04-15 Hitachi Ltd 画像検索方式
JPS63286974A (ja) * 1987-05-20 1988-11-24 Matsushita Electric Ind Co Ltd 画像検索装置
JPS6461881A (en) * 1987-09-02 1989-03-08 Fujitsu Ltd System for processing template matching
JPH0191569A (ja) * 1987-10-01 1989-04-11 Fuji Xerox Co Ltd 画像データの転送制御装置
JPH02252061A (ja) * 1989-03-27 1990-10-09 Hitachi Maxell Ltd 画像フアイル装置
JPH0363876A (ja) * 1989-08-02 1991-03-19 Mitsubishi Electric Corp 検索装置
JPH03288979A (ja) * 1990-04-06 1991-12-19 Sharp Corp パターン検出装置
JPH0423167A (ja) * 1990-05-18 1992-01-27 Fujitsu Ltd コマンド検索方式
JPH05159064A (ja) * 1991-12-09 1993-06-25 Nippon Telegr & Teleph Corp <Ntt> 画像探索装置
JPH06162096A (ja) * 1992-11-18 1994-06-10 Casio Comput Co Ltd レコード検索方法
JPH07282075A (ja) * 1994-04-05 1995-10-27 Ricoh Co Ltd ファイリング装置

Also Published As

Publication number Publication date
JP3119640B2 (ja) 2000-12-25

Similar Documents

Publication Publication Date Title
US5826262A (en) Parallel bottom-up construction of radix trees
JP2002514331A (ja) 物理的情報ファイルの情報を共有するための仮想ファイルを生成するコンピュータ実行法
EP1607868A1 (en) Data processing device, data processing program, and recording medium
JP2000357115A (ja) ファイル検索装置及びファイル検索方法
US20040107204A1 (en) File management apparatus
JP2000194720A (ja) 長大デ―タファイル処理システムおよびその方法
US4809214A (en) Information searching apparatus
KR101992631B1 (ko) 비동기 방식을 사용하는 파일 색인장치 및 그 방법
US5953717A (en) Iterative search method builds key list for speeding up future searches
JP2008052475A (ja) ファイル検索装置、方法、プログラム
CN116016553B (zh) 一种基于网盘的文件分享方法、装置、网盘及存储介质
JP2734023B2 (ja) 索引検索方式
JPH05181735A (ja) 複数の情報処理装置間で共有される記憶装置の管理方法
JPH02116936A (ja) 再編成方式
JPS61103242A (ja) 高速検索方式
JP3120493B2 (ja) データ処理装置
CN114153606A (zh) 一种文件处理方法、装置、设备、存储介质、系统及车辆
JP3348279B2 (ja) プライスルックアップデータ検索回路及びその検索方法並びにその制御プログラムを記録した記録媒体
JPH02120950A (ja) メモリダンプファイルアクセスにおけるアドレス変換方式
JP2720770B2 (ja) 自動事後処理方式
CN118012656A (zh) 损坏pdf文档修复方法、装置、设备及存储介质
JPS62107336A (ja) 階層型デ−タベ−スの制御方法
CN114519043A (zh) 一种可执行二进制文件格式逆向分析方法
CN117194349A (zh) 一种文件存储与读取方法及装置
JPH05158760A (ja) マイグレーション処理方式

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20000912

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081013

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091013

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091013

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101013

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111013

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121013

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees