JP2008311828A - 画像処理装置、画像処理方法、そのプログラムおよび記録媒体 - Google Patents

Abstract

【課題】画像ログデータからログ検索用のデータを生成するための画像処理装置、画像処理方法、そのプログラムおよび記録媒体を提供すること。
【解決手段】本発明の画像処理装置１０は、文書のログ画像６８と、前記ログ画像６８の元となった記述データ７０とを含むログデータを記憶するログデータ記憶手段６６と、文字認識処理によってログ画像中に含まれる文字列情報を抽出し、抽出されたログ画像由来の文字列情報を含む第１抽出データ８２を生成する第１抽出手段（７８，７４）と、解釈処理によって前記記述データに含まれる文字列情報を抽出し、抽出された前記記述データ由来の文字列情報を含む第２抽出データ８４を生成する第２抽出手段（７６，８０）と、前記第１抽出データと前記第２抽出データとを統合し、前記ログデータの検索データを生成する検索データ生成手段８６とを含み、ログ検索のための検索データ７２を生成する。
【選択図】図３

Description

本発明は、ログ検索データの生成に関し、より詳細には、画像ログデータからログ検索用のデータを生成するための画像処理装置、画像処理方法、そのプログラムおよび記録媒体に関する。

近年、情報セキュリティの重要性の高まりから、電子情報のみならず、プリンタや複合機から出力される印刷物についてもログを蓄積し、管理することが求められている。画像ログを蓄積しておくことにより、例えば、機密情報を含む文書の不正プリントや不正コピーの事実が判明した場合に、作業者や作業時刻および出力内容に関するログデータから、事後的に作業者および出力内容を特定することが可能となり、情報漏洩の好適な抑止力となる。

例えば特開２００２−１４９３７１号公報（特許文献１）は、印刷物を介した情報の漏洩を予防し、情報が漏洩した場合に、その原因を究明することを可能とすることを目的として、クライアント端末より、印刷データと、ジョブ名、端末名、ユーザ名の少なくともいずれかを含むコントロールデータとを受信し、印刷データをプリンタに送信して印刷させ、さらに、印刷データからビットマップデータを生成して、コントロールデータと印刷データとビットマップデータとを印刷ログとして蓄積する、プリントサーバを開示している。

しかし、蓄積される膨大なログから、所望のログデータにアクセスすることは容易ではなく、セキュリティ上の保護対象となるログデータを効率的に検索可能とすることが望まれている。例えば、特許文献１の発明では、印刷ログを収集管理する管理端末において、コントロールデータを参考にして印刷データを特定し、再印刷可能としている。

情報検索に関連して、例えば特開２００１−２５６２５５号公報（特許文献２）は、複数のデータベースから、所望のデータをより迅速に検索し得るデータ検索装置を提供することを目的として、複数のデータベースから、与えられた検索条件に応じたデータを検索するにあたり、各々のデータベース毎に、該データベースが有するデータの検索頻度を記録しておくことにより、各々のデータベースの検索順序の優先順位を、その検索頻度により決定し、その優先順位に従って、各データベースを順番に検索するデータ検索装置を開示している。

また、印刷ログの管理においては、印刷データに添付されるコントロールデータ以外にも、キーワードなどの印刷物の内容に関する情報を用いて検索を行うことができれば、より好ましいものと考えられる。印刷物からの情報抽出に関連して、例えば特開２００６−２６１９０７号公報（特許文献３）は、文書内容から文書タイプを推定し、文書タイプに応じてコピー禁止、印刷禁止等の禁止制御を行うことを目的として、スキャンあるいはラスタライズされたページイメージにＯＣＲ（Optical Character Recognition）をかけてテキストを抽出し、レイアウトあるいはテキスト内容から文書タイプを判断して、コピー禁止等の制御を行う文字処理装置を開示している。
特開２００２−１４９３７１号公報 特開２００１−２５６２５５号公報 特開２００６−２６１９０７号公報

しかしながら、特許文献１に開示される従来技術では、ジョブ名、端末名、ユーザ名などのコントロールデータやタイムスタンプ、印刷データ内のテキスト情報を検索データとして利用可能であるものの、印刷物の画像部分に含まれる内容についてまで検索データとして利用できるものではなく、検索データの網羅性および利便性の点から充分なものではなかった。

また、ＯＣＲにより画像からテキスト情報を抽出することも可能であるものの、文字認識の識字率は１００％ではなく、誤認識を含むことが少なくない。そのため、画像から抽出したテキスト情報は、必ずしもそのままで、充分な確度を有する検索データとして使用することがでないという問題もあった。

本発明は、上記問題点に鑑みてなされたものであり、画像ログとして保存されるログ画像および当該ログ画像の元となった記述データから、画像ログに含まれる文字情報を高い確度で抽出することができ、網羅性および確度の高い検索データを生成することを可能とする、画像処理装置、画像処理方法、そのプログラムおよび記録媒体を提供することを目的とする。

本発明は、上記課題を解決するために、ログ画像中に含まれる文字列情報を文字認識によって抽出し、抽出されたログ画像由来の文字列情報を含む第１抽出データを生成する第１抽出手段と、ログ画像の元となる記述データを解釈処理して、記述データに含まれる文字列情報を抽出し、抽出された記述データ由来の文字列情報を含む第２抽出データを生成する第２抽出手段と、これらの抽出データを統合し、ログデータの検索データを生成する検索データ生成手段とを含む構成を採用する。

ログ画像は、画素によって表現される画像データ形式とすることができ、文書の文字情報を画像データとして保有しているものとすることができる。記述データは、当該ログ画像の元データとなった、例えば、印刷制御命令やページ記述言語によって記述されたデータ、または文書作成アプリケーションなどの固有のデータ形式とすることができ、文書の内容を記述する文字列、文字列の書式情報、ビットマップフォントなどの画素表現された画像要素、アウトラインフォントなどのベクトル表現された画像要素、これらの要素の位置情報、その他ページ属性に関する情報などを抽出可能なデータ形式とすることができる。

ログ画像から文字認識により文字列、書式情報や位置情報などが抽出され、抽出された文字列情報から構成されるログ画像由来の第１抽出データを生成する。また、ログ画像の元となる記述データから、解釈処理により、文字列、書式情報、位置情報やページ属性などが抽出され、抽出された文字列情報から構成される記述データ由来の第２抽出データを生成する。そして、これらの抽出データが統合され、当該ログデータの検索データが生成される。この統合処理によって、抽出データ間において保有する文字列情報が補完され、検索データの網羅性が向上し、さらに、重なり合う情報については、情報の確からしさに従って取捨選択され、検索データ内の情報の確度を向上させることができる。

すなわち本発明によれば、ログ検索のための検索データを生成する画像処理装置であって、前記装置は、
文書のログ画像と、前記ログ画像の元となった記述データとを含むログデータを記憶するログデータ記憶手段と、
文字認識処理によって前記ログ画像中に含まれる文字列情報を抽出し、抽出された前記ログ画像由来の文字列情報を含む第１抽出データを生成する第１抽出手段と、
解釈処理によって前記記述データに含まれる文字列情報を抽出し、抽出された前記記述データ由来の文字列情報を含む第２抽出データを生成する第２抽出手段と、
前記第１抽出データと前記第２抽出データとを統合し、前記ログデータの検索データを生成する検索データ生成手段と
を含む、画像処理装置が提供される。

前記装置は、前記第１抽出データに含まれる文字列情報と、前記第２抽出データに含まれる文字列情報とを、各文字列情報に含まれる文字列の位置情報を用いて対応付ける手段をさらに含み、前記検索データ生成手段は、前記対応付けの結果に従って、文字列情報を補完して統合することができる。前記第２抽出手段は、解釈処理によって抽出された前記記述データに含まれる埋込画像要素から、さらに文字認識処理によって文字列情報を抽出し、前記第２抽出データを修正することができる。前記文字認識処理により抽出される文字列情報は、文字列の識字確度値をさらに含み、前記検索データ生成手段は、対応付けられた文字列情報について、前記識字確度値を参照して、統合の際に取捨選択する文字列情報を判定することができる。

前記解釈処理により抽出される文字列情報は、文字列の書式情報をさらに含み、前記書式情報は、フォント、フォントサイズおよび修飾属性、またはこれらの少なくとも１つを含むことができる。前記第２抽出手段は、解釈処理によって前記記述データからページ属性をさらに抽出して前記第２抽出データに追加し、前記ページ属性は、ページの種類、地紋の種類、コピーガードパターン、ヘッダおよびフッタ、またはこれらの少なくとも１つを含むことができる。

また本発明によれば、ログ検索のための検索データを生成する方法であって、前記方法は、コンピュータが、
文書のログ画像と、前記ログ画像の元となった記述データとを含むログデータを記憶手段から読出すステップと、
文字認識処理によって前記ログ画像中に含まれる文字列情報を抽出し、抽出された前記ログ画像由来の文字列情報を含む第１抽出データを生成し、また、解釈処理によって前記記述データに含まれる文字列情報を抽出し、抽出された前記記述データ由来の文字列情報を含む第２抽出データを生成するステップと、
前記第１抽出データと前記第２抽出データとを統合し、前記ログデータの検索データを生成するステップと
を実行する、画像処理方法が提供される。

前記方法は、前記第１抽出データに含まれる文字列情報と、前記第２抽出データに含まれる文字列情報とを、各文字列情報に含まれる文字列の位置情報を用いて対応付けるステップをさらにコンピュータが実行し、前記検索データを生成するステップでは、前記対応付けの結果に従って、文字列情報を補完して統合することができる。前記方法は、解釈処理によって抽出された前記記述データに含まれる埋込画像要素から、さらに文字認識処理によって文字列情報を抽出し、前記第２抽出データを修正するステップをさらにコンピュータが実行することができる。前記文字認識処理により抽出される文字列情報は、文字列の識字確度値をさらに含み、前記検索データを生成するステップでは、対応付けられた文字列情報について、前記識字確度値を参照して、統合の際に取捨選択する文字列情報を判定することができる。

さらに、前記解釈処理により抽出される文字列情報は、文字列の書式情報をさらに含み、前記書式情報は、フォント、フォントサイズおよび修飾属性、またはこれらの少なくとも１つを含むことができる。また前記方法は、解釈処理によって前記記述データからページ属性を抽出して前記第２抽出データに追加し、前記ページ属性は、ページの種類、地紋の種類、コピーガードパターン、ヘッダおよびフッタ、またはこれらの少なくとも１つを含むことができる。

さらに本発明によれば、コンピュータを、上記の各手段として機能させるための装置実行可能なプログラムが提供される。さらにまた、本発明によれば、コンピュータに対して、上記の方法の各ステップを実行させるための装置実行可能なプログラムが提供される。さらに、本発明によれば、上記のプログラムを記録した装置可読な記録媒体が提供される。

以下、本発明の実施形態を図面をもって説明するが、本発明の実施形態は、以下の実施形態に限定されるものではない。

図１は、画像ログ管理システムの実施形態を示した概略図である。図に示した画像ログ管理システム１００は、ネットワーク２４と、ネットワーク２４に接続される画像ログ収集サーバ１０と、画像ログ管理サーバ１４と、レーザプリンタ１６と、複合機１８，２０と、パーソナル・コンピュータ（以下、ＰＣとして参照）２２とを含み構成され、例えば、イーサネット（登録商標）およびＴＣＰ／ＩＰプロトコルによるローカル・エリア・ネットワーク（以下、ＬＡＮとして参照）を実現している。

画像ログ収集サーバ１０は、レーザプリンタ１６や複合機１８，２０といったネットワーク２４上の画像形成装置から画像ログデータを収集して、ストレージ１０ａに画像ログを一時的に保管し、収集した画像ログデータを画像ログ管理サーバ１４へ転送する。また画像ログ収集サーバ１０は、プリントサーバとしても機能し、クライアントのＰＣ２２からのプリント制御データや、ページ記述言語（ＰＤＬ）によって記述されたプリント・データを受信し、画像ログとして利用するためのプリント・データを取得するとともに、レーザプリンタ１６や複合機１８，２０へスプールし、印刷出力を実行させる。

画像ログ管理サーバ１４は、画像ログ収集サーバ１０などの管理対象の画像ログ収集サーバから画像ログデータを収集して、ストレージ１４ａに保管し、画像ログを一元的に管理する機能を有している。画像ログ管理システム１００では、図示しないＶＰＮゲートウェイおよびインターネット２６を介して、ネットワーク２４と他のネットワーク２８とを接続し、別拠点のネットワーク２８に、画像ログ管理サーバ１４へ画像ログデータを転送する他の画像ログ収集サーバ１２が接続されてもよい。

ＰＣ２２は、ユーザからのプリント指示に応答して、ユーザが文書作成アプリケーション等によって作成した文書データから、プリント・データを生成し、印刷設定とともに画像ログ収集サーバ１０へ送信する。レーザプリンタ１６および複合機１８，２０は、プリント・データを受信して、要求に応じたプリント出力を実行する。また、本実施形態の複合機２０は、プリント出力の際に内部的に生成した画像データを、必要に応じて所定のフォーマットに変換し、ログとして記録するための画像（以下、ログ画像として参照する）を画像ログデータとして、画像ログ収集サーバ１０へ送信する。一方、レーザプリンタ１６は、このような画像ログのキャプチャ機能を有さない構成とされている。

画像ログ収集サーバ１０では、キャプチャ機能を有する複合機１８，２０については、取得したログ画像と、そのログ画像に対応するプリント・データとがプリント処理に関する画像ログデータとして取得され保管されることとなる。また、キャプチャ機能を有さないレーザプリンタ１６については、画像ログ収集サーバ１０では、中継の際に取得したプリント・データからラスタライズ処理によってログ画像を生成し、生成されたログ画像と、そのログ画像に対応するプリント・データとがプリント処理の画像ログデータとして取得され、保管されることとなる。そして、本実施形態の画像ログ管理システム１００では、このログ画像と、元プリント・データとを含む画像ログデータから、当該画像ログデータを検索するための検索データが生成されることとなる。

以下、画像ログデータの検索データを生成する画像処理装置を、上記画像ログ収集サーバ１０として構成した場合の実施形態を一例として説明するが、特に限定されるものではない。他の実施形態では、画像ログデータの検索データを生成する機能を、画像ログを一元管理する画像ログ管理サーバ１４において構成してもよい。さらに他の実施形態では、複合機２０やレーザプリンタ１６，１８において、受信したプリント・データと、プリント出力のために当該プリント・データから生成した画像データとを使用して、画像ログデータの検索データを生成し、プリント・データと、ログ画像と検索データとを画像ログデータとして画像ログ収集サーバ１０へ送信する構成とすることもできる。さらに他の実施形態では、画像ログ収集サーバ１０や画像ログ管理サーバ１４からの検索データ作成依頼を受けて、生成した検索データを返信する専用サーバとして構成してもよい。

図２は、画像ログ収集サーバ１０の概略的なハードウェア構成の実施形態を示したブロック図である。本実施形態の画像ログ収集サーバ１０は、ＰＣやワークステーションとして構成され、中央処理装置（ＣＰＵ）３２と、ＣＰＵ３２が使用するデータの高速アクセスを可能とするキャッシュ・メモリ３４と、ＣＰＵ３２の処理を可能とするＲＡＭ、ＤＲＡＭなどの固体メモリ素子から形成されるシステム・メモリ３６とを備える。ＣＰＵ３２、キャッシュ・メモリ３４、およびシステム・メモリ３６は、システム・バス３８を介して、画像ログ収集サーバ１０の他のデバイスまたはドライバ、例えば、グラフィックス・ドライバ４０およびネットワーク・デバイス（ＮＩＣ）４２へと接続されている。グラフィックス・ドライバ４０は、システム・バス３８を介してディスプレイ４４に接続されて、ＣＰＵ３２による処理結果をディスプレイ画面上に表示させている。また、ネットワーク・デバイス４２は、物理層レベルで画像ログ収集サーバ１０をネットワークへと接続している。

システム・バス３８には、さらにＩ／Ｏバス・ブリッジ４６が接続されている。Ｉ／Ｏバス・ブリッジ４６の下流側には、ＰＣＩなどのＩ／Ｏバス４８を介して、ＩＤＥ、ＡＴＡ、ＡＴＡＰＩ、シリアルＡＴＡ、ＳＣＳＩ、ＵＳＢなどにより、ハードディスク装置（以下、ＨＤＤとして参照）５０などの記憶装置が接続されている。また、Ｉ／Ｏバス４８には、ＵＳＢなどのバスを介して、キーボードおよびマウスなどのポインティング・デバイスなどの入力装置５２が接続され、システム管理者などのオペレータによる入力および指令を受付けている。

さらに、特定の実施形態において、検索データ生成する画像処理装置を、ＭＦＰなどの画像形成装置として構成する場合には、システム・バス３８に接続された画像処理ドライバ５４および画像処理デバイス５６を備えていても良い。画像処理ドライバ５４および画像処理デバイス５６は、図示しないＡＤＦ(Automatic Document Feeder)および電子写真法を使用した画像形成エンジンを駆動して、画像処理・画像出力を行う場合に用いることができる。

画像ログ収集サーバ１０は、ＲＯＭ（図示せず）や、ＨＤＤ５０やＮＶ−ＲＡＭ（図示せず）やＳＤカード（図示せず）などの記憶装置に格納されたプログラム（図示せず）を読出し、ＣＰＵ３２の作業メモリ領域を提供するキャッシュ・メモリ３４およびシステム・メモリ３６のメモリ領域に展開することにより、適切なオペレーティング・システム上で、後述する検索データを生成するための各機能手段および各処理を実現している。

画像ログ収集サーバ１０が使用するＣＰＵとしては、より具体的には、例えば、Itanium（登録商標）、Xeon（登録商標）、Pentium（登録商標）、Celeron（登録商標）、PowerPC（登録商標）、Athlon（登録商標）、PA-RISC（略称）、MIPSまたはそれ以外の適切なＣＰＵを挙げることができる。また、画像ログ収集サーバ１０が使用するオペレーティング・システム（ＯＳ）としては、例えば、Windows（登録商標）2000、Windows（登録商標）XP、Windows（登録商標）200Xサーバ、UNIX（登録商標）、LINUX（登録商標）、FreeBSD(登録商標)、AIX（登録商標）、MacOS（商標）、Solaris（登録商標）、VxWorks（登録商標）またはそれ以外の適切なＯＳを挙げることができる。なお、図１に示した画像ログ管理サーバ１４、画像ログ収集サーバ１２、ＰＣ２２、ＭＦＰ２０についても、図２に示したものと同様の構成、または特定の用途に応じて一部のハードウェアを追加、変更、削除した構成とすることができる。

以下、本実施形態の画像ログ収集サーバ１０が有する、画像ログデータから検索データを生成する機能について説明する。図３は、本実施形態の画像ログ収集サーバ１０が備える検索データ生成機能を実現する機能構成を示すブロック図である。図に示した画像ログ収集サーバ１０は、ログ収集部６０と、ログ記憶部６６と、文字列抽出部９２と、検索データ生成部８６とを含み構成される。

ログ収集部６０は、ログ画像取得部６２と、記述データ取得部６４とを含み構成され、例えば複合機１８などから画像ログデータを収集して、ログ記憶部６６へ保存する。なお、ログ記憶部６６は、ＨＤＤ５０などの記憶領域を含んで構成することができる。保存の際に、ログ画像取得部６２は、取得した画像ログデータ中の画像部分、つまりログ画像６８をログ記憶部６６へ保存し、記述データ取得部６４は、ログ画像の元となる記述データの部分、つまり、プリント・データ７０をログ画像と対応付けてログ記憶部６６へ保存する。本実施形態では、説明を簡略化するために、ログ画像６８と、元のプリント・データ７０とが、１ページ相当の画像データと、当該画像データに対応するプリント・データとによって構成される場合を例として説明するが、特に限定されるものではない。他の実施形態では、例えば、複数ページを含み、文書単位で関連付けられたものとすることもできる。また、ログ収集部６０は、任意であり、例えば、スタンドアローンで動作する管理用の情報処理装置を検索データ生成する画像処理装置として機能させる場合には、画像ログデータを記録媒体から直接読み出す構成としてもよい。

文字列抽出部９２は、ログ画像抽出部７４と、プリント・データ抽出部７６と、文字認識部７８と、記述解釈部８０とを含み構成され、取得した画像ログデータのログ画像６８および元のプリント・データ７０から、それぞれが含む文字に関する情報を抽出し、検索データの中間データを生成する。ログ画像抽出部７４は、ログ記憶部６６に保存されているログ画像６８を読出して文字認識部７８へ与え、ＯＣＲ（Optical Character Recognition）処理による認識結果を取得し、ログ画像６８から得られる文字列に関する情報（以下、文字列情報として参照する。）を含む画像由来抽出データ８２を生成する。つまり、ログ画像抽出部７４および文字認識部７８が、本実施形態のログ画像から文字列情報を抽出するための機能手段となる。

プリント・データ抽出部７６は、ＰＤＬなどによって記述されているプリント・データ７０を読出して記述解釈部８０へ与え、解釈処理による結果を取得し、プリント・データから得られる文字列情報を含む記述由来抽出データ８４を生成する。プリント・データ７０には、文字コードで表現された文字列以外にも、ビットマップフォントやアウトラインフォントなどのビットマップ形式またはベクタ形式の画像要素を含む場合がある。プリント・データ抽出部７６は、解釈結果にこれらの画像要素が含まれていた場合には、その画像要素を文字認識部７８へ与え、ＯＣＲ処理による結果を取得して、これら画像要素から文字認識される文字列情報により、記述由来抽出データ８４を修正することができる。つまり、プリント・データ抽出部７６、記述解釈部８０および文字認識部７８が、本実施形態の記述データから文字列情報を抽出するための機能手段となる。なお、各抽出データ８２，８４が保有する文字列情報についての詳細は、後述する。

文字認識部７８は、画像データが与えられると、まず、画像データに対して前処理を施し、画像データの描画範囲において、文字列を含む文章ブロックと、図、表や写真などを含むイメージブロックとを領域分割し、文字認識処理を実施するべき領域を認識する。さらに文字認識部７８は、各文章ブロックについて、画素パターンに応じて１行単位に領域を切出し、続いて１文字単位に領域を切出して、切出された文字単位の領域に対して、画素パターンの面積や形状などを分析して、候補文字列を割出し、候補文字列と画像のマッチングから識字確度を算出し、最も確からしい文字列を抽出する。そして文字認識部７８は、問合わせのあった機能部に対して、認識された文字列と、当該文字列の位置座標と、識字確度値とを含む認識結果を応答する。また、他の実施形態では、文字認識部７８は、コンピュータの処理性能および負荷を勘案して、強調系（中ゴシック）や非強調系（細明朝）の区別や代表的なフォントへの分類、フォントサイズ、普通または太字や斜体などの文字の修飾属性を判定する構成とすることもできる。

記述解釈部８０は、与えられたプリント・データのヘッダ部分から、言語体系を認識し、所定の構文に従って、ページを構成する文字列や画像要素、文字列や画像要素の描画位置座標、フォントやフォントサイズ、その他、印字色、太字、斜体、下線、影付き、白抜きまたは取消線などの修飾属性を含む書式設定、画像要素のスケールなどの属性値、その他、ページの種類、ヘッダ、フッタ、地紋の種類、コピーガードパターンなどのページ属性を抽出する。そして記述解釈部８０は、抽出されたこれらの情報含む解釈結果を問合わせのあった記述由来抽出データ８４に対して応答する。

検索データ生成部８６は、対応処理部９０と統合処理部８８とを含み構成され、生成された画像由来抽出データ８２および記述由来抽出データ８４が保有する文字列情報を統合して検索データ７２を生成し、対応するログ画像やプリント・データと対応付けて、ログ記憶部６６に保存する。対応処理部９０は、別々のアプローチから生成された各抽出データ８２，８４とに含まれる各文字列情報を、文字認識処理または解釈処理された際に得られた位置座標に関する情報を使用して対応付ける。この対応付け処理では、最も距離が近い各抽出データ８２，８４の要素同士が対応づけられ、それらは共通要素として識別される。

統合処理部８８は、対応処理部９０による対応付け結果に応じて、各抽出データに含まれる文字列情報を補完して１つの情報に統合する。また共通要素については、画像由来の文字列情報と記述由来の文字列情報とが、文字列情報の確からしさに応じて取捨選択され、より確からしいものが採用されることとなる。なお、統合処理の詳細については、後述する。

そして、検索データ生成部８６は、この統合された情報に従って、検索データ７２を生成する。なお、生成される検索データ７２は、特に限定されるものではなく、統合されたデータに後処理を施して、例えば、全文検索のために、プレーンテキストや書式情報を含むマルチスタイルテキストを作成したり、その他、キーワード抽出によるキーワードを付属させたり、内容を要約するメタデータを作成してもよい。生成した検索データ７２と、元のログ画像６８と、プリント・データ７０とから構成される新たな画像ログデータは、例えば、画像ログ管理サーバ１４へ送信され、蓄積および管理されることとなる。

以下、画像ログデータの検索データ生成処理について説明する。図４は、本実施形態の画像ログ収集サーバが実行する、検索データの生成処理を示すフローチャートである。図４に示した処理は、例えば、画像ログ収集サーバ１０が画像ログデータを取得したり、ユーザ指令を受領したりすることによってステップＳ１００から開始される。ステップＳ１０１では、ログ記憶部６６から画像ログデータを読出し、ステップＳ１０２では、画像ログデータ中にログ画像が含まれるか否かを判定し、ログ画像が含まれないと判定された場合（ＮＯ）には、そのままステップＳ１０５へ処理を分岐させる。

一方、ステップＳ１０２で、画像ログデータにログ画像が含まれると判定された場合（ＹＥＳ）には、処理をステップＳ１０３へ分岐させる。ステップＳ１０３では、ログ画像抽出部７４は、ログ画像を文字認識部７８へ与えることによって、ログ画像から文字列情報を抽出し、ステップＳ１０４で、文字列情報を含む画像由来抽出データを生成して、一時的にメモリなどに格納し、ステップＳ１０５へ処理を分岐させる。

続くステップＳ１０５では、画像ログデータにプリント・データが含まれるか否かを判定し、含まれないと判定された場合（ＮＯ）には、そのまま処理をステップＳ１０８へ分岐させる。一方、ステップＳ１０５の判定で、プリント・データが含まれると判定された場合（ＹＥＳ）には、処理をステップＳ１０６へ分岐させ、ステップＳ１０６でプリント・データ抽出部７６は、プリント・データを記述解釈部８０へ与え、解釈結果を取得し、プリント・データに画像要素が含まれる場合には、さらに文字認識部７８へ画像要素を与え、文字認識結果を取得し、プリント・データに含まれる文字列情報を抽出する。ステップＳ１０７でプリント・データ抽出部７６は、これらの結果から文字列情報を含む記述由来抽出データを生成して、一時的にメモリなどに格納し、ステップＳ１０８へ処理を分岐させる。

ステップＳ１０８では、検索データ生成部８６は、抽出データの統合処理ルーチンを呼出して、得られた抽出データを統合し、検索データを生成する。ステップＳ１０９で検索データ生成部８６は、検索データを生成する元となった画像ログデータと対応付けて、生成した検索データをログ記憶部６６へ保存し、ステップＳ１１０で処理を終了させる。なお、ステップＳ１０２〜Ｓ１０４の処理およびステップＳ１０５〜Ｓ１０７の処理の順序は問わない。

以下、統合処理について説明する前に、上述の画像ログデータおよび抽出データのデータ構造について説明する。図５は、画像ログデータおよび各抽出データのデータ構造の実施形態を模式的に示す。図５（Ａ）は、ログ画像のデータ構造を模式的に示し、ログ画像２００には、文章ブロック２００ａと、画像ブロック２００ｂと、文章ブロック２００ｃと、文章ブロック２００ｅとが示されている。また図５（Ａ）には、元となるプリント・データにおいて、ビットマップフォントとして埋めこまれた埋込画像部分２００ｄが示されている。なお、このようなログ画像２００は、ビットマップ形式、シングルページまたはマルチページのＴＩＦＦ（Tagged Image File Format）形式、ＪＰＥＧ（Joint Photographic Experts Group）、ＪＰＥＧ２０００、ＧＩＦ（Graphics
Interchange Format ）、ＰＮＧ（Portable Network Graphics）などとすることができる。

図５（Ｂ）は、図５（Ａ）のログ画像２００の元となったプリント・データのデータ構造を模式的に示す。図に示したプリント・データ２２０は、文字列、その書式情報およびその描画位置座標を含む記述部分２２０ａと、画像要素およびその描画位置座標とを含む記述部分２２０ｂ，２２０ｃと、フッタ情報を含む記述部分２２０ｄとを含み構成されている。記述部分２２０ｂは、図５（Ａ）に示したログ画像２００のビットマップフォントの画像部分２００ｄに対応し、画像部分２００ｄの文字列が、文字コードではなく画像要素としてプリント・データに記述されていることを示している。また、記述部分２２０ｃは、上述の画像ブロック２００ｂに対応し、ここに含まれる文字列および図表が画像要素として記述されていることを示している。なお、このようなプリント・データ２２０は、印刷ＲＡＷ形式、ＥＭＦ形式、ＴＸＴ形式などとすることができる。

図５（Ｃ）は、図５（Ａ）に示したログ画像から抽出される画像由来の抽出データのデータ構造を模式的に示す。本実施形態の文字認識部７８は、ログ画像２００を受取り、上記のようなブロック単位に領域分割して、文章ブロックに対して文字認識処理を行う。この認識結果に従って、ログ画像抽出部７４は、図５（Ｃ）に示すような画像由来抽出データを生成する。図に示した画像由来抽出データ２４０は、文字列をエントリするフィールド２４０ａと、その位置座標がエントリされるフィールド２４０ｂと、文字認識処理によって認識された文字列の識字確度値をエントリするフィールド２４０ｃとを含み構成されている。各レコードが１組の画像由来の文字列情報を構成し、画像由来抽出データ２４０は、複数組の文字列情報の集合として構成される。なお、説明を簡略化するために、画像由来抽出データ２４０のフィールド２４０ａには、文字認識処理の際に切出された１文字単位の領域から抽出される１文字の文字列がエントリされているものとして説明する。また、図に示した画像由来抽出データでは、文字認識により確定された最も確からしい１つの文字列候補がエントリされるものとして参照するが、他の実施形態では、複数の文字列候補を含む構成としてもよい。

図５（Ｄ）は、図５（Ｂ）に示したプリント・データから抽出される、記述由来の抽出データのデータ構造を模式的に示す。本実施形態のプリント・データ抽出部７６は、記述解釈部８０および文字認識部７８からの解釈結果および認識結果に従って、図５（Ｄ）に示すような記述由来抽出データを生成する。図５（Ｄ）に示した、記述由来抽出データ２５０は、文字列がエントリされるフィールド２５０ａと、その位置座標がエントリされるフィールド２５０ｂと、その書式情報がエントリされるフィールド２５０ｃと、ページ属性がエントリされるフィールド２５０ｄと、文字列の確度値がエントリされるフィールド２５０ｅとを含み構成される。各レコードが１組の記述由来の文字列情報を構成し、記述由来抽出データ２５０は、複数組の文字列情報の集合として構成される。なお、画像由来抽出データ２４０の場合と同様に、フィールド２５０ａには、１文字単位の文字列がエントリされているものとして説明する。

プリント・データ２２０の文字列などを含む記述部分から抽出された情報は、基本的に真に正しい文字列を含んでいる。このため、本実施形態では、記述由来抽出データ２５０の確度フィールド２５０ｅには、最大の確度値［１．０］をエントリしている。一方、プリント・データに含まれる画像要素から文字認識により抽出された場合には、文字認識結果に応じた識字確度値がエントリされる。

図５（Ｃ）は、文章ブロック２００ａ、２００ｃなどに含まれた文字列が、その位置座標および識字確度値とともに画像由来の抽出データ２４０にエントリされていることを示している。またビットマップフォントによって表現された画像部分２００ｄについては、正しく文字認識されているが、文章ブロック２００ｃ内の文字列「イメージ」が「イメーシ」として誤認識されていることを示している。これに対して記述由来抽出データ２５０には、文字列を含む記述部分２２０ａおよびビットマップフォントを含む記述部分２２０ｂに対応する文字列などが抽出され、その位置座標、書式情報、ページ属性、確度値とともにエントリされている。そして、記述部分２２０ａから抽出された文字列に対しては、確度値［１．０］が設定され、記述部分２２０ｂから抽出された文字列に対しては、それぞれ文字認識における識字確度値が確度フィールド２５０ｅにエントリされている。また、イメージを含む記述部分２２０ｂからは、「Ｐ」が「ｐ」として誤認識され、イメージを含む記述部分２２０ｃからは、文章ブロック２００ｃ内の文字列「イメージ」が、何らかの原因で「イメ＿ジ」として誤認識されていることを示している。

上述したように、文字列抽出部９２によって、ログ画像２００およびプリント・データ２２０から、画像由来抽出データ２４０および記述由来抽出データ２５０が生成され、これらの情報が統合され、検索データが生成されることとなる。以下、上記抽出データの統合処理の詳細について、説明する。

図６は、本実施形態の画像ログ収集サーバ１０が実行する、抽出データの統合処理を示すフローチャートである。図６に示した処理は、図４におけるステップＳ１０８の処理によって呼出され、ステップＳ２００から開始される。ステップＳ２０１では、対応処理部９０が、メモリなどに格納された画像由来抽出データ８２および記述由来抽出データ８４を読出して取得する。ステップＳ２０２では、各抽出データ２４０，２５０に含まれる文字列情報が、その位置座標から算出される距離に応じて対応付けられ、対応付け結果がメモリ上に格納される。この対応づけられた各抽出データ２４０，２５０の文字列情報は、統合処理において、同一要素としてみなされることとなる。

ステップＳ２０３では、統合処理部８８は、対応付けの結果に従って、各抽出データ８２，８４の集合の和を算出し、抽出データ８２，８４の両方に含まれる共通要素と、これら抽出データ８２，８４のいずれか一方のみに含まれる個別要素とに区別する。そして、ステップＳ２０４からステップＳ２１０までの処理により、各要素を順に統合し、検索データを生成するための統合データが生成されて行くこととなる。

ステップＳ２０４では、統合処理部８８は、処理対象を次に処理すべき要素へ進め、ステップＳ２０５では、対象の要素が、上記共通要素か否かが判定される。ステップＳ２０５の判定で、共通要素ではないと判定された場合（ＮＯ）には、処理をステップＳ２０６へ進め、この要素は抽出データ８２，８４のいずれか一方のみに含まれるものであることから、当該要素を統合データに追加し、処理をステップＳ２１０へ分岐させる。

一方、ステップＳ２０５の判定で、共通要素であると判定された場合（ＹＥＳ）には、処理をステップＳ２０７へ進め、重なり合う２つの要素のうち最も確からしいものを選択すべく、記述由来の要素の方が高い確度値を有するか否かを判定する。ステップＳ２０７の判定で、高い確度値を有すると判定された場合（ＹＥＳ）には、処理をステップＳ２０８へ分岐させ、確度値が高いと判定された記述由来抽出データ８４の要素を採用して、統合データに追加し、ステップＳ２１０へ処理を進める。一方、ステップＳ２０７の判定で、記述由来抽出データ８４の要素の方が低いと判定された場合（ＮＯ）には、処理をステップＳ２０９へ分岐させ、確度値が高いと判定された画像由来抽出データ８２の要素を採用して、統合データに追加し、ステップＳ２１０へ処理を進める。

ステップＳ２１０では、処理すべき要素がまだ残されているか否かを判定し、残りの要素がまだある場合（ＹＥＳ）には、処理をステップＳ２０４へループさせ、すべての要素について処理が完了するまでループを繰返させる。一方、ステップＳ２１０の判定で、すべての要素について処理が完了したと判定された場合（ＮＯ）には、処理をステップＳ２１１へ分岐させ、得られた統合データに対して後処理を施し、検索データ７２生成し、ステップＳ２１２で処理ルーチンを終了させる。なお、ステップＳ２１１の後処理では、特定の用途に応じて、文書名、作業者、タイムスタンプなどの基本的な記録項目の付加が行われたり、統合データから逐次検索用のプレーンテキストや書式情報やページ属性を含むマルチスタイルテキストの作成、さらに形態素解析などによるテキストからのインデックスの抽出や、その他、検索用のメタデータの生成処理を行うことができる。また、生成された検索データを、位置座標を元にログ画像と重ね合わせることによって、全文検索可能なＰＤＦ（Portable Document Format）を作成することもできる。

図７は、図６の処理フローにより生成される統合データのデータ構造を模式的に示す。本実施形態の検索データ生成部８６は、画像由来抽出データ２４０および記述由来抽出データ２５０を統合し、図７に示す統合データを生成する。図７に示した、統合データ２６０は、文字列がエントリされるフィールド２６０ａと、その位置座標がエントリされるフィールド２６０ｂと、その書式情報がエントリされるフィールド２６０ｃと、ページ属性がエントリされるフィールド２６０ｄとを含み構成される。

図５と比較すると、統合データ２６０では、記述由来抽出データ２５０において誤認識されていた部分が、２６２ａ，ｂとして示され、確度値に応じてより確からしいものが採用されていることが示されている。また画像由来抽出データ２４０において誤認識されていた部分が２６４ａとして示され、これについてもより確度の高いものが採用されていることが示されている。

このように、図４のステップＳ１０２〜Ｓ１０４の処理およびステップＳ１０５〜Ｓ１０７の処理により、画像ログデータとして取得されたログ画像およびプリント・データから、それぞれ文字に関する情報を取得し、さらに、ステップＳ１０８で呼出された図６に示す処理により別々に取得された情報を統合することによって、可能な限り最大限の情報を網羅し、かつ、より確からしい情報から構成される画像ログ検索のためのデータを生成することが可能となる。また本実施形態の変形として、ステップＳ２０７において、記述由来の要素と画像由来の要素との間の文字列の一致をカウントし、一致率などのデータを検索データに付属させることもできる。

特に、上述したビットマップフォントやアウトラインフォントなどの画像要素として埋めこまれた文字情報を含むプリント・データからは、常に真に正しい文字列が得られるとは限らないが、ログ画像からも文字列情報を抽出して情報を統合することにより、最終的に得られる検索データの情報の確度を向上させることができる。また、プリント・データには、文字認識では抽出することが困難な書式情報やページ属性などの情報が含まれるため、これらの情報を含む検索データを生成することが可能となる。例えば、文字列と、書式情報やページ属性とを組合わせた検索クエリーや、書式情報やページ属性のみからなる検索クエリーによって、より詳細、かつ自由度の高い画像ログ検索が可能となる。

以下、図６のステップＳ２０２の対応処理について、説明を加える。図８は、画像ログ収集サーバ１０が実行する対応付け処理の実施形態を示すフローチャートである。図８の処理では、対応処理部９０は、例えば、記述由来抽出データ８４の各要素について、相手となる画像由来抽出データ８２の要素の中から、位置座標が近接する要素を検索して、検索された最近接の要素を両抽出データ８２，８４に共に含まれる共通要素として識別させる処理を実行する。なお本実施形態では、記述由来抽出データ８４の各要素を中心とした処理を例として説明するが、画像由来抽出データ８２を中心とした処理としてもよい。

図８に示した処理は、図６のステップＳ２０２の処理によって呼出され、ステップＳ３００から開始される。ステップＳ３０１では、記述由来抽出データ８４の最初の要素から処理の対象として設定し、ステップＳ３０２では、相手となる画像由来抽出データ８２の各要素との間の距離を位置座標から算出し、求めた距離に従ってソートする。ステップＳ３０３では、記述由来の要素と、画像由来の最近接の要素との距離が、予め設定された閾値以下であるか否かを判定する。ここでは、最近接の要素との距離が所定の閾値以上であった場合、対応する共通要素ではないと判定することとなる。ステップＳ３０３の判定で、距離が閾値以下であると判定された場合（ＹＥＳ）には、処理をステップＳ３０４へ分岐させ、対象の記述由来の要素と、最近接の画像由来の要素とを対応するものとし、共通の識別値を付与し、処理をステップＳ３０６へ分岐させる。

一方、ステップＳ３０３の判定で、距離が閾値より大きいと判定された場合（ＮＯ）には、処理をステップＳ３０５へ分岐させ、対象の記述由来の要素に個別の識別値を付与し、処理をステップＳ３０６へ分岐させる。ステップＳ３０６では、記述由来抽出データ８４の中に、まだ処理すべき要素が残されているか否かを判定し、残されていると判定された場合（ＹＥＳ）には、処理をステップＳ３０１へループさせ、次の要素を処理対象とし、すべての要素に対する処理が完了するまで処理を繰返させる。一方、ステップＳ３０６の判定で、残りの要素がないと判定された場合（ＮＯ）には、処理をステップＳ３０７へ分岐させ、画像由来抽出データ８２の要素の中で、まだ識別値が付与されていない要素に対して個別の識別値を付与し、ステップＳ３０８で処理を終了させる。

図８に示した対応付け処理により、各抽出データ８２，８４の各要素に対して識別値が付与され、情報を統合する際に、確からしさの比較により取捨選択される共通要素と、相互に補完するべき個別要素とを識別することが可能となる。例えば、記述由来抽出データ８４の識別値を要素とした集合と、画像由来抽出データ８２の識別値を要素とした集合とを集合演算することにより、全体の要素、共通要素、および個別要素を容易に抽出することができる。また本実施形態では、画像由来抽出データ８２の要素すべての中から、最近接の要素を検索する処理として説明したが、他の実施形態では、文字列情報の位置座標に従って領域で区分し、検索対象を適当な範囲まで絞る構成としても良い。

以上説明したように本実施形態によれば、画像ログとして保存されるログ画像および当該ログ画像の元データから、画像ログに含まれる文字情報を高い確度で抽出することができ、網羅性および確度の高い検索データを生成することを可能とする、画像処理装置、画像処理方法、そのプログラムおよび記録媒体を提供することができる。

なお上述では、プリント制御命令やページ記述言語により記述されたプリント・データから文字列情報を抽出する構成として参照したが、ＷＯＲＤ（登録商標）やＥＸＣＥＬ（登録商標）などのアプリケーションデータから、適切な文書フィルタおよび解釈エンジンを使用して、文字列情報を抽出する構成としてもよい。

また、上記機能は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述された装置実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ、ＳＤメモリ、ＭＯなど装置可読な記録媒体に格納して頒布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

画像ログ管理システムの実施形態を示した概略図。 画像ログ収集サーバの概略的なハードウェア構成の実施形態を示したブロック図。 本実施形態の画像ログ収集サーバが備える検索データ生成機能を実現する機能構成を示すブロック。 本実施形態の画像ログ収集サーバが実行する、検索データの生成処理を示すフローチャート。 画像ログデータおよび各抽出データのデータ構造の実施形態を模式的に示す図。 本実施形態の画像ログ収集サーバが実行する、抽出データの統合処理を示すフローチャート。 図６の処理フローにより生成される統合データのデータ構造を模式的に示す図。 画像ログ収集サーバが実行する対応付け処理の実施形態を示すフローチャート。

符号の説明

１０，１２…画像ログ収集サーバ、１４…画像ログ管理サーバ、１６…レーザプリンタ、１８，２０…複合機、２２…ＰＣ、２４，２８…ネットワーク、２６…インターネット、３２…ＣＰＵ、３４…キャッシュ・メモリ、３６…システム・メモリ、３８…システム・バス、４０…グラフィックス・ドライバ、４２…ＮＩＣ、４４…ディスプレイ、４６…Ｉ／Ｏバス・ブリッジ、４８…Ｉ／Ｏバス、５０…ＨＤＤ、５２…入力装置、５４…画像処理ドライバ、５６…画像処理デバイス、６０…ログ収集部、６２…ログ画像取得部、６４…記述データ取得部、６６…ログ記憶部、６８…ログ画像、７０…プリント・データ、７２…検索データ、７４…ログ画像抽出部、７６…プリント・データ抽出部、７８…文字認識部、８０…記述解釈部、８２…画像由来抽出データ、８４…記述由来抽出データ、８６…検索データ生成部、８８…統合処理部、９０…対応処理部、９２…文字列抽出部、１００…画像ログ管理システム、２００…ログ画像、２２０…プリント・データ、２４０…画像由来抽出データ、２５０…記述由来抽出データ、２６０…統合データ

Claims (15)

1. ログ検索のための検索データを生成する画像処理装置であって、前記装置は、
   文書のログ画像と、前記ログ画像の元となった記述データとを含むログデータを記憶するログデータ記憶手段と、
   文字認識処理によって前記ログ画像中に含まれる文字列情報を抽出し、抽出された前記ログ画像由来の文字列情報を含む第１抽出データを生成する第１抽出手段と、
   解釈処理によって前記記述データに含まれる文字列情報を抽出し、抽出された前記記述データ由来の文字列情報を含む第２抽出データを生成する第２抽出手段と、
   前記第１抽出データと前記第２抽出データとを統合し、前記ログデータの検索データを生成する検索データ生成手段と
   を含む、画像処理装置。
2. 前記装置は、前記第１抽出データに含まれる文字列情報と、前記第２抽出データに含まれる文字列情報とを、各文字列情報に含まれる文字列の位置情報を用いて対応付ける手段をさらに含み、前記検索データ生成手段は、前記対応付けの結果に従って、文字列情報を補完して統合する、請求項１に記載の画像処理装置。
3. 前記第２抽出手段は、解釈処理によって抽出された前記記述データに含まれる埋込画像要素から、さらに文字認識処理によって文字列情報を抽出し、前記第２抽出データを修正する、請求項１または２に記載の画像処理装置。
4. 前記文字認識処理により抽出される文字列情報は、文字列の識字確度値をさらに含み、
   前記検索データ生成手段は、対応付けられた文字列情報について、前記識字確度値を参照して、統合の際に取捨選択する文字列情報を判定する、請求項２または３に記載の画像処理装置。
5. 前記解釈処理により抽出される文字列情報は、文字列の書式情報をさらに含み、前記書式情報は、フォント、フォントサイズおよび修飾属性、またはこれらの少なくとも１つを含む、請求項１〜４のいずれか１項に記載の画像処理装置。
6. 前記第２抽出手段は、解釈処理によって前記記述データからページ属性をさらに抽出して前記第２抽出データに追加し、前記ページ属性は、ページの種類、地紋の種類、コピーガードパターン、ヘッダおよびフッタ、またはこれらの少なくとも１つを含む、請求項１〜５のいずれか１項に記載の画像処理装置。
7. ログ検索のための検索データを生成する方法であって、前記方法は、コンピュータが、
   文書のログ画像と、前記ログ画像の元となった記述データとを含むログデータを記憶手段から読出すステップと、
   文字認識処理によって前記ログ画像中に含まれる文字列情報を抽出し、抽出された前記ログ画像由来の文字列情報を含む第１抽出データを生成し、また、解釈処理によって前記記述データに含まれる文字列情報を抽出し、抽出された前記記述データ由来の文字列情報を含む第２抽出データを生成するステップと、
   前記第１抽出データと前記第２抽出データとを統合し、前記ログデータの検索データを生成するステップと
   を実行する、画像処理方法。
8. 前記方法は、前記第１抽出データに含まれる文字列情報と、前記第２抽出データに含まれる文字列情報とを、各文字列情報に含まれる文字列の位置情報を用いて対応付けるステップをさらにコンピュータが実行し、
   前記検索データを生成するステップでは、前記対応付けの結果に従って、文字列情報を補完して統合する、請求項７に記載の画像処理方法。
9. 前記方法は、解釈処理によって抽出された前記記述データに含まれる埋込画像要素から、さらに文字認識処理によって文字列情報を抽出し、前記第２抽出データを修正するステップをさらにコンピュータが実行する、請求項７または８に記載の画像処理方法。
10. 前記文字認識処理により抽出される文字列情報は、文字列の識字確度値をさらに含み、
    前記検索データを生成するステップでは、対応付けられた文字列情報について、前記識字確度値を参照して、統合の際に取捨選択する文字列情報を判定する、請求項７〜９のいずれか１項に記載の画像処理方法。
11. 前記解釈処理により抽出される文字列情報は、文字列の書式情報をさらに含み、前記書式情報は、フォント、フォントサイズおよび修飾属性、またはこれらの少なくとも１つを含む、請求項７〜１０のいずれか１項に記載の画像処理方法。
12. 前記方法は、解釈処理によって前記記述データからページ属性を抽出して前記第２抽出データに追加し、前記ページ属性は、ページの種類、地紋の種類、コピーガードパターン、ヘッダおよびフッタ、またはこれらの少なくとも１つを含む、請求項７〜１１のいずれか１項に記載の画像処理方法。
13. コンピュータを、請求項１〜６のいずれか１項に記載の各手段として機能させるための装置実行可能なプログラム。
14. コンピュータに対して、請求項７〜１２のいずれか１項に記載の方法の各ステップを実行させるための装置実行可能なプログラム。
15. 請求項１３または１４に記載のプログラムを記録した装置可読な記録媒体。

Images