JP2000306076A - 画像処理装置及び制御方法及び記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 文書画像の検索は勿論、要望される品位の画
像を提供する。 【解決手段】 文章を含む画像を入力し、解析して得ら
れた文字情報及び非文字情報を記憶管理する。このと
き、非文字領域となる画像部分については解像度の異な
る階層構造の画像データを生成する。そして、生成され
た階層構造の画像データを前記文字情報とを単位として
保存する。文字情報については、フラッシュピックスフ
ォーマットに、Analized Image objectを更に設け、こ
こに保存する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は文書画像データをフ
ァイリングする画像処理装置及びその制御方法及び記憶
媒体に関するものである。

【０００２】

【従来の技術】文書画像データになんらかの文書解析処
理を施した結果のデータをファイリング装置がある。ま
た、この装置をネットワーク等を介して遠方に送信する
ことも行われてもいる。ファイリングする場合には、文
書画像中の文章部分をＯＣＲしてテキストデータを文書
画像とともに記憶したり、あるいは遠隔地に送信したり
して、文字列による処理（たとえば検索）を行う場合に
利用できる。

【０００３】また、モノクロ文書画像を、その画像中の
ＯＣＲ結果のテキストを付随させて、全文検索のできる
ファイリングシステムの技術も存在する。

【０００４】一方、FlashPixと呼ばれる画像ファイルの
フォーマットの標準化が検討されている。この画像フォ
ーマットのファイルは、一つの画像について複数の解像
度のデータが含まれるため、画像のサムネイル表示、プ
ログレッシブな画像表示などを可能としている。

【０００５】

【発明が解決しようとする課題】しかしながら、前記全
文検索のできるファイリングシステムの技術では、ひと
つの文書画像の性質は固定的に一種類のみであり、ＯＣ
Ｒなどの処理をすることが前提の場合、文書画像はＯＣ
Ｒに適したモノクロ２値画像で、解像度が３００〜４０
０ｄｐｉが条件になるため、文書画像はその条件で記憶
されたり、送信されることが制限されていた。一方、文
書画像を画像ビューアで見るためには、高くても２００
ｄｐｉ程度のカラー画像が望ましい。また、カラー画像
は、表示に時間がかかるため、サムネイル画像で画像を
一覧表示したり、最大解像度で見る前に、低い解像度か
ら高い解像度へプログレッシブに表示することが必要で
あった。そのため、ＯＣＲに適した文書画像の性質と矛
盾するため、ＯＣＲと画像閲覧とは両立ができなかっ
た。

【０００６】また、"FlashPix format and Architectur
e White Paper",June 17,1996,Eastman Kodak Company,
によれば、標準化案となっているFlashPix formatに
は、ＯＣＲなどの文書解析結果のデータが含まれないた
め、テキストによる検索など、テキストベースの処理が
できない。

【０００７】本発明はかかる問題点に鑑みなされたもの
であり、文書画像の検索は勿論、要望される品位の画像
を提供することを可能ならしめる画像処理装置及びその
制御方法及び記憶媒体を提供しようとするものである。

【０００８】

【課題を解決するための手段】この課題を解決するた
め、例えば本発明の画像処理装置は以下に示す構成を備
える。すなわち、文字列を含む画像データを解析して得
られた文字情報及び非文字情報を記憶管理する文書画像
ファイリング装置であって、非文字情報については解像
度の異なる階層構造の画像データを生成する画像生成手
段と、生成された階層構造の画像データを前記文字情報
とを単位として保存する保存手段とを備える。

【０００９】また、本発明の好適な実施態様に従えば、
本発明は、画像データと、該画像データから生成される
解像度を落とした第二の画像データと、さらに第二の画
像データから生成される解像度を落とした第三の画像デ
ータとを含み、一般に第ｎの画像データから階層的に生
成される解像度を落とした第（ｎ＋１）の画像データを
含む複数の画像データを置くストレージを含む文書画像
ファイルであって、前記画像データを文書解析した結果
の文書解析データを含むことを特徴とする文書画像ファ
イルを記憶するメディア、または該文書画像データを通
信経路を通して送受信する方法を提供する。

【００１０】また、前記文書解析データには、前記画像
データに関連する情報をリンクするためのアドレス情報
を含むことを特徴とする。

【００１１】

【発明の実施の形態】以下、添付図面に従って本発明に
係る実施形態を詳細に説明する。

【００１２】図１と図２は、FlashPix formatファイル
を説明する図であり、先ず、これについて説明する。

【００１３】ファイル内の各プロパティやデータには、
ＭＳ−ＤＯＳ（米国Microsoft社の商標）のディレクト
リとファイルに相当する、ストレージとストリームによ
ってアクセスする。図１、図２において、影付き部分が
ストレージを示し、影なし部分がストリームである。画
像データや画像属性情報はストリーム部分に格納され
る。画像データは異なる解像度で階層化されており、そ
れぞれの解像度の画像をSubimageと呼び、Resolution０
〜ｎで示してある。各解像度画像に対して、その画像を
呼び出すために必要な情報がSubimage headerに、また
画像データがSubimage dataに格納される。プロパティ
セットとは属性情報をその使用目的、内容に応じて分類
して定義したもので、Summary Info.Property Set,Imag
e Info.Property Set,Image Content Property Set,Ext
ension list property Setがある。

【００１４】［各プロパティの説明］Summary Info.Pro
perty Setは、FlashPix特有のものではなく、米国Micro
soft社のストラクトチャードストレージでは必須のプロ
パティセットで、そのファイルのタイトル・題名・著者
・サムネイル画像等を格納する。

【００１５】Image Content Property Setは、画像デー
タの格納方法を記述する属性である。この属性には画像
データの階層数、最大解像度の画像の幅、高さや、それ
ぞれの解像度の画像についての幅、高さ、色の構成、あ
るいはＪＰＥＧ圧縮を用いる際の量子化テーブル・ハフ
マンテーブルの定義を記述する。

【００１６】Image Info.Property Setは、画像を使用
する際に利用できる様々な情報、たとえば、画像がどの
ようにして取り込まれ、どのように利用可能であるかの
情報を格納する。 ・ディジタルデータの取込み方法／或いは生成方法に関
する情報(File Source) ・画像の内容（画像中の人物、場所など）に関する情報
(Content description) ・撮影に使われたカメラに関する情報(Camera informat
ion) ・撮影時のカメラのセッティング（露出、シャッタース
ピード、焦点距離、フラッシュ使用の有無など）の情報
(Per Picture camera settings) ・ディジタルカメラ特有解像度やモザイクフィルタに関
する情報(Digital camera characterzation) ・フィルムのメーカ名、製品名、種類（ネガ／ポジ、カ
ラー／白黒）などの情報(Filim description) ・オリジナルが書物や印刷物である場合の種類やサイズ
に関する情報(Originaldocument scan description) ・スキャン画像の場合、使用したスキャナやソフト、操
作した人に関する情報(Scan device) Extension list property Setは上記FlashPixの基本仕
様に含まれない情報を追加する際に使用する領域であ
る。

【００１７】図１の１０１〜１１１において、Flash Im
age View Objectは、画像を表示する際に用いるビュー
イングパラメータと画像データを合わせて格納する画像
ファイルである。ビューイングパラメータとは画像の回
転、拡大／縮小、移動、色変換、フィルターリングの処
理を画像表示の際に適応するために記憶しておく処理係
数のセットである。

【００１８】Source／Result FlashPix Image Objectは
FlashPix画像データの実体であり、Source FlashPix Im
age Objectは必須、Result FlashPix Image Objectはオ
プションである。

【００１９】Source FlashPix Image Objectはoriginal
の画像データを、Result FlashPixImage Objectはビュ
ーイングパラメータを使い画像処理した結果の画像を格
納する。

【００２０】Source／Result desc.Property setは上
記、画像データの識別のためのプロパティセットであ
り、画像ＩＤ、変更禁止のプロパティセット、最終変更
日時を格納する。

【００２１】Transform property setは回転、拡大／縮
小、移動のためのAffine変換係数、色変換マトリクス、
コントラスト調整値、フィルタリング係数を格納してい
る。次に画像データの取り扱いについて説明する。

【００２２】図４に解像度の異なる複数の画像から構成
される画像ファイルの例を示す。図４で最大解像度の画
像がＣ×Ｒの画素で構成されており、その次に大きい画
像はＲ／２×Ｃ／２であり、それ以降順次、行・列とも
に１／２ずつ縮小し、列・行ともに６４画素以下あるい
は等しくなるまで繰り返す。このように階層化した結
果、画像の属性情報として「１つの画像ファイル中の階
層数」やそれぞれの階層の画像に対して、ヘッダ情報と
画像データが必要となる。１つの画像ファイル中の階層
の数や最大解像度の画像の幅、高さ、あるいはそれぞれ
解像度の画像の幅、高さ、色構成、圧縮方式等に関する
情報は前記Image Contents Property Setに記述され
る。

【００２３】さらに各解像度のレイヤの画像は６４×６
４画素のタイルに分割されている。画像の左上から順次
６４×６４のタイルに分割すると、画像によっては右端
および下端の一部に空白が生ずる場合がある。この場合
はそれぞれ最右端および最下端画像を繰り返し挿入する
ことで、６４×６４画像を構築する。FlashPix画像で
は、それぞれのタイル中の画像をＪＰＥＧ圧縮、シング
ルカラー、非圧縮のいずれかの方法で格納する。ＪＰＥ
Ｇ圧縮は、ＩＳＯ／ＩＥＣ、ＪＴＣ１／ＳＣ２９により
国際標準化された画像圧縮方式であり、方式自体の説明
はここでは割愛する。このようにタイル分割された画像
データは、Subimage dataストリーム中に格納され、タ
イルの個数、個々のタイルのサイズ、データの開始位
置、圧縮方法はすべてSubimage headerに格納されてい
る。シングルカラーとは、前記１つのタイルがすべて同
じ色で構成されている場合にのみ、個々の画素の値を記
録することなく、そのタイルの色を１色で表現する方式
である。この方法は特にコンピュータグラフィックスに
より生成された画像に対して有効である。

【００２４】図３は実施形態の特徴を示すものであり、
FlashPix image view object rootに、Analized image
objectを追加したものである。Analized image object
は、文書解析データであり、図５のようにBlock Inform
ation(501)、Text Data(502)、Key Data(503)から構成
される。一般に、文書画像は、イメージスキャナなどに
よって、取り込まれる。文書画像には、文字からなるテ
キスト領域（テキストブロック）、表領域（表ブロッ
ク）、線画領域（線画ブロック）、画像領域（ピクチャ
ブロック）が含まれる。テキストブロックは、見出しテ
キストブロックと本文テキストブロックに識別すること
ができる。文書画像から、これらの領域（ブロック）を
抽出し、そのブロックの位置・大きさ・種別を求めるこ
とができる。かかる技術としては特開平０６−０６８３
０１号公報等がある。

【００２５】たとえば、図６のように、文書画像６０１
から、６０２，６０３，６０４，６０５，６０６の各ブ
ロックが抽出され、該ブロックの位置・大きさ・種類が
求められる。ブロック６０２は見出しテキストブロッ
ク、ブロック６０３および６０４は本文テキストブロッ
ク、ブロック６０５，６０６はピクチャブロックであ
る。

【００２６】また、図７は、Analized image objectの
内容、すなわち文書解析データ（Block Information(50
1)、Text Data(502)、Key Data(503)）の表現方法の一
例を示したものである。７０１は、Headerであり、その
内容をＣ言語で表すと、 struch header { int BInfo_offset; //Block Information dataの先頭のオフセット int BInfo_dataLeng; //Block Information dataのデータ長（単位：バイト） int BData_offset; //Block Dataの先頭のオフセット int BData_dataLeng; //Block Dataのデータ長（単位：バイト） int KEYD_offset; //Key Dataの先頭のオフセット int KEYD_dataLeng; //Key Dataのデータ長（単位：バイト） } header; という構造体形式である。

【００２７】図７で、Block numberは、文書に含まれる
領域の個数であり、図６の例では“５”（ブロック６０
１〜６０６）である。Block DATAには、次の構造体(BDA
TA)が先頭に配置されている。 struct tagBdata { int x1; //ブロックの左上角のｘ座標 int y1; //ブロックの左上角のｙ座標 int x2; //ブロックの右下角のｘ座標 int y2; //ブロックの右下角のｙ座標 int kind; //ブロックの種類 int offset; //ブロックデータのオフセット } BDATA; ここで、ブロックの種類kindは、たとえば次のように定
義する。

【００２８】 ０： テキスト １： 表 ２： 線画 ３： 画像 ９： unknown offsetで示される位置に、そのブロックのデータが記憶
されている。たとえばテキストであれば、ＯＣＲされた
結果の文字コード列が記憶されている。また、画像であ
れば、画像のビットマップデータ、表であればたとえば
ＲＴＦの表データ形式、線画であればWindowsのＧＤＩ
コマンド、またunkeownならば画像のビットマップ形式
が記憶されている。これらの記憶形式は、一例であって
他の形式でも構わない。また、本実施形態では、このよ
うなブロックのデータは構造体BDATAの直後に置かれて
いるものとする。

【００２９】ところで、この文書解析データ(Analized
image object）は、FlashPix Imageobjectの適当な解像
度の画像を、特開平０６−０６８３０１号公報に開示さ
れた方法で作成される。あるいは、FlashPix image obj
ectには無い他の解像度でスキャンされた画像から作成
されてもかまわない。FlashPix image objectを作成す
るための適当なアプリケーションソフトウェアが必要な
ことはいうまでもないが、本実施形態には直接関係ない
ので特に説明はしない。このアプリケーションによって
各種プロパティ情報が入力されることが可能である。そ
れとともに、Analized image objectのKey Dateも入力
することができる。Key Dataは、例えば、検索用のキー
ワード（該画像の特徴を現す言葉など）である。あるい
は、Key Dataは、また本実施形態のもうひとつの特徴で
ある、該画像データに関連する情報をリンクするための
アドレス情報、例えばインターネットのＵＲＬ(Univers
al relocatable Locator)である。

【００３０】図８は、図３の画像を表示したアプリケー
ションの一例である。８０１はアプリケーションの親ウ
ィンドウ、８０２は画像表示ウィンドウ、８０３はテキ
スト領域のテキストを表示するウィンドウ、８０４はKe
y Dataに記憶されているＵＲＬのリスト表示である。

【００３１】不図示のコンボボックス形式等のメニュー
を選択することにより、８０２の表示は異なる解像度の
画像をFlashPix image objectから取り出して表示を変
更できる。通常、表示装置はせいぜい１００ｄｐｉの解
像度であるので、表示用の画像としても１００〜２００
ｄｐｉが最適で、ＯＣＲのために使われてきた３００〜
４００ｄｐｉの画像を表示する必要はない。また、８０
３では、３００〜４００ｄｐｉの画像をＯＣＲした結果
のテキストが表示されている。不図示のスクロールバー
を操作して、テキスト全体を見ることができる。また、
８０４のＵＲＬのどれかをダブルクリックすると、イン
ターネットエクスプローラやネットスケープなどのＷｅ
ｂブラウザが起動して、そのページがロードされる。そ
のＵＲＬのページには例えば本画像についてのより詳し
い説明が載っている。

【００３２】上記処理及び機能を実現するため、本実施
形態においてファイリング装置に適用した場合の構成は
図９の様になる。

【００３３】図中、１は装置全体の制御を司るＣＰＵ、
２はＢＩＯＳやブートプログラムを記憶しているＲＯ
Ｍ、３は主記憶装置としてのＲＡＭである。４はキーボ
ードやマウス等の入力装置であり、５は原稿画像をカラ
ー画像として読み取るスキャナである。６はネットワー
ク（例えばインターネット）に接続するネットワークイ
ンタフェースであり、７はビデオコントローラ（ビデオ
メモリを内蔵している）、８はビデオコントローラより
のビデオ信号に基づいて像を表示する表示装置である。
そして、９はスキャナ５で読み取った画像がデータベー
スとして格納する外部記憶装置（たとえはハードディス
ク等）である。なお、外部記憶装置９には、ＯＳ及びフ
ァイリングシステムとして機能するアプリケーションも
記憶されていて、電源投入時には、ＲＯＭ２のブートプ
ログラムにしたがって外部記憶装置９に格納されている
ＯＳが起動し、その後でファイリングアプリケーション
を起動することになる。

【００３４】次に、上記のようにして起動したファイリ
ングアプリケーションにおける画像データの登録にかか
る処理を図１０のフローチャートに従って説明する。

【００３５】先ず、ステップＳ１でスキャナ５より原稿
画像（文字と写真画像等の非文字画像を含んでいるもの
とする）の読み取りを行う。次いで、ステップＳ２に進
み、文章、つまり、文字列が存在する領域と文字列以外
の領域（ここでは中間調画像領域）との判別処理を行
う。ただし、文字領域の位置情報、非文字領域の位置情
報も抽出し、後述する保存時にマージして保存する。

【００３６】次いで、ステップＳ３に進み、中間調画像
として判別された領域については、解像度毎に異なる階
層画像を生成し、ステップＳ４では文字領域についての
文字認識処理を行って文字コード群を得る。

【００３７】こうして得られた階層化画像データ及び文
字コード群を先に説明したフォーマットになるよう合成
し、ステップＳ６において外部記憶装置９に格納する。

【００３８】なお、検索処理においては、例えば全文検
索（任意の文字列での検索）においては、検索しようと
する文字列を入力すると、その文字列を含むデータを先
に説明したフォーマットで記憶されたテキストエリア中
にあるかを判断する処理を保存されているデータの個数
だけ繰り返すことになる。検索できて表示する場合に
は、何番目の階層画像かを予め決めておき（表示装置の
解像度に近い解像度の画像が何番目かは、スキャナの読
み取り解像度から既知）、その画像データを表示させれ
ばよいし、ユーザの指示に応じて所望とする解像度を表
示させることもできるようになる。

【００３９】また、上記説明ではファイリング時につい
て説明したが、図９の装置を例えば画像データベースと
してのサーバとして機能させるようにしてもよい。この
場合、ネットワーク上のクライアント（不図示）からネ
ットワークインタフェースを介して検索依頼があると、
その検索処理を行う。そして、検索結果（複数検索でき
る場合もある）をクライアントに送出する場合には、も
っとも解像度の低い画像をサムネイル画像としてクライ
アントに適当なフォーマット（例えば、ＨＴＭＬ形式）
で送出する。そして、クライアントからそのサムネイル
画像の選択指示があた場合には、それより高い解像度、
更には最大解像度の画像を送出する。

【００４０】なお、本発明は、複数の機器（例えばホス
トコンピュータ、インタフェイス機器、リーダ、プリン
タなど）から構成されるシステムに適用しても、一つの
機器からなる装置（例えば、複写機、ファクシミリ装置
など）に適用してもよい。

【００４１】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはCPUやMPU）が記憶媒体に格納されたプログ
ラムコードを読み出し実行することによっても、達成さ
れることは言うまでもない。この場合、記憶媒体から読
み出されたプログラムコード自体が前述した実施形態の
機能を実現することになり、そのプログラムコードを記
憶した記憶媒体は本発明を構成することになる。また、
コンピュータが読み出したプログラムコードを実行する
ことにより、前述した実施形態の機能が実現されるだけ
でなく、そのプログラムコードの指示に基づき、コンピ
ュータ上で稼働しているオペレーティングシステム(OS)
などが実際の処理の一部または全部を行い、その処理に
よって前述した実施形態の機能が実現される場合も含ま
れることは言うまでもない。

【００４２】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００４３】以上説明したように本実施形態によれば、
カラー画像を表示に適当な解像度で表示でき、その画像
のＯＣＲ結果も同時に表示ができる。また、Key Dataの
活用によりＵＲＬを記憶することにより、インターネッ
トの関連ページへのリンクが可能となる。

【００４４】

【発明の効果】以上説明したように本発明によれば、文
書画像の検索は勿論、要望される品位の画像を提供する
ことが可能になる。

【図面の簡単な説明】

【図１】FlashPix image object rootを示す図である。

【図２】FlashPix image objectを示す図である。

【図３】実施形態におけるFlashPix image object root
を示す図である。

【図４】マルチ解像度での記憶を説明する図である。

【図５】Analized image objectの図である。

【図６】サンプル画像を示す図である。

【図７】Analized image objectの内容の表現方法の一
例を示す図である。

【図８】実施形態の画像フォーマットのアプリケーショ
ンの例を示す図である。

【図９】実施形態が適用するファイリング装置のブロッ
ク構成図である。

【図１０】実施形態におけるファイリング処理手順を示
すフローチャートである。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 BA06 BA10 BA16 CA04 CA07 DA06 EA03 EA05 EA06 EA10 EA12 EA19 FA02 FA12 FA19 GA08 5B082 AA13 EA01 5C062 AA06 AB17 AB23 AB38 AB42 AC08 AC22 AC24 AC51 AF00 BA00

Claims (6)

【特許請求の範囲】
1. 【請求項１】 文字列を含む画像データを解析して得ら
   れた文字情報及び非文字情報を記憶管理する文書画像フ
   ァイリング装置であって、 非文字情報については解像度の異なる階層構造の画像デ
   ータを生成する画像生成手段と、 生成された階層構造の画像データを前記文字情報とを単
   位として保存する保存手段とを備えることを特徴とする
   画像処理装置。
2. 【請求項２】 前記保存手段で保存するファイル形式は
   フラッシュピクスフォーマットをベースにすることを特
   徴とする請求項第１項に記載の画像処理装置。
3. 【請求項３】 前記保存手段で保存する情報には、保存
   対象のデータにリンクするためのアドレス情報が含まれ
   ることを特徴とする請求項第１項に記載の画像処理装
   置。
4. 【請求項４】 更に、ネットワークを介して通信する通
   信手段を備え、前記保存手段で保存されたデータを当該
   通信手段によって送受信すること特徴とする請求項第１
   項に記載の画像処理装置。
5. 【請求項５】 文字列を含む画像データを解析して得ら
   れた文字情報及び非文字情報を記憶管理する画像処理装
   置の制御方法であって、 非文字情報については解像度の異なる階層構造の画像デ
   ータを生成する画像生成工程と、 生成された階層構造の画像データを前記文字情報とを単
   位として保存する保存工程とを備えることを特徴とする
   画像処理装置の制御方法。
6. 【請求項６】コンピュータが読み込み実行することで、
   文字列を含む画像データを解析して得られた文字情報及
   び非文字情報を記憶管理する文書処理装置として機能す
   る、プログラムコードを格納した記憶媒体であって、 非文字情報については解像度の異なる階層構造の画像デ
   ータを生成する画像生成手段と、 生成された階層構造の画像データを前記文字情報とを単
   位として保存する保存手段として機能するプログラムコ
   ードを格納した記憶媒体。