JP2007334670A - 画像処理装置、方法及びプログラム - Google Patents

Abstract

【課題】 所望の資料を迅速、且つ正確に見つけ出すことができる画像処理装置を提供する。
【解決手段】 資料データから当該資料データの特徴を表すテキストデータを検出して、検出結果に基づいてデータベース８を検索して、テキストデータに関連のある画像を取得する前処理部３と、画像の所定領域を抽出し、複数の画像から抽出した所定領域の部分画像を一覧表示したサマリー画像を生成するステンドグラス作成部５とを有する構成としている。資料データから資料の特徴を表すテキストデータを検出して、このキーワードに関連する画像で構成したサマリー画像を生成するので、資料の内容を簡単に確認することができ、短時間で目的の資料を検出することができる。
【選択図】 図１

Description

本発明は、データベースに登録されたデータから所望とする資料を簡単に選択するための技術に関する。

近年、オフィス等で保有する資料をデータベースに登録して管理するために、ドキュメント・マネージメント・システム（ＤＭＳ）等の資料処理装置が普及しており、大量の電子化された資料が登録されている。

またデータベースからオフィス内の個々の情報処理端末に、ネットワークを通じて大量の資料をダウンロードできるようにもなっている。さらに、資料検索機能の向上により、大量の資料からユーザの要求に適合しそうな幾つかの資料を候補として抽出し、表示できるようにもなっている。

そこで、このような候補として表示された資料の内容を短時間で正確に把握する技術も必要となってきている。例えば、キャノン株式会社製の「ｃ−ｃａｂｉｎｅｔ」（以下、従来製品という）では、サーバ装置に登録した資料のサムネイルとリストを組み合わせた複合表示が可能となっている。

また、特許文献１では、異なる資料ファイルの内容が簡単に分かるように、それぞれの資料ファイルの内容を分割表示領域に表示している。各分割表示領域には、それぞれ個別のスクロールバーが付されており、これらスクロールバーによって各分割表示領域に表示する資料ファイルの内容をスクロール表示できるようにしている。

特開２００１−２２７３４号公報

しかしながら、上記従来製品では、画像のサムネイル表示が可能であるが、表示する資料がもともと図や表のない、又は少ない資料であった場合、サムネイル画像では資料内容の把握が簡単ではない。
また、特許文献１は、テキストによる情報提示技術のため、例えばパワーポイント等の図や表を含むドキュメントの表示には対応できない。

本発明は上記事情に鑑みてなされたものであり、所望の資料を迅速、且つ正確に見つけ出すことができる画像処理装置、方法及びプログラムを提供することを目的とする。

かかる目的を達成するために本発明の画像処理装置は、資料データから当該資料データの特徴を表すテキストデータを検出する検出手段と、前記検出手段の検出結果に基づいてデータベースを検索し、前記テキストデータに関連のある画像を取得する画像取得手段と、前記画像の所定領域を抽出する抽出手段と、複数の画像から抽出した前記所定領域の部分画像を一覧表示したサマリー画像を生成する画像生成手段とを有する構成としている。
このように本発明は、資料データの特徴を表すテキストデータを検出して、このキーワードに関連する画像で構成したサマリー画像を生成するので、資料の内容を簡単に確認することができ、短時間で目的の資料を検出することができる。

上記画像処理装置において、前記画像生成手段は、前記資料データに含まれる画像と、前記データベースを検索して取得した画像とを使用して前記サマリー画像を生成するとよい。
従って、資料に画像が含まれる場合には、資料に含まれる画像を活用することで、一度見た資料の検出が容易になる。

上記画像処理装置において、前記特徴を表すテキストデータは、資料のタイトル、資料に付けられた見出し、人名、会社名の少なくとも１つを含むとよい。

上記画像処理装置において、前記抽出手段は、前記特徴を表すテキストデータが人名を表すデータであった場合に、顔画像が含まれるように前記所定領域の画像を抽出するとよい。
従って、テキストデータに人名が含まれていた場合に、人名を表す顔画像をサマリー画像に含めるので、資料の内容確認がさらに簡単になる。

上記画像処理装置において、前記抽出手段は、前記画像中に文字が含まれる場合に、該文字が含まれるように前記所定領域の画像を抽出するとよい。
従って、画像に含まれる文字を資料確認の有効な情報にすることができる。

上記画像処理装置において、前記検出手段は、前記特徴を表すテキストデータを前記資料データの各ページから均等に抽出するとよい。
従って、資料全体の内容を表すサマリー画像を生成することができる。

上記画像処理装置において、前記サマリー画像と、前記サマリー画像を構成する画像に関連のあるテキストデータとを表示する表示制御手段を有するとよい。
また、前記表示制御手段は、前記サマリー画像を構成する画像の１つが選択されると、該画像に関連のあるテキストデータを前記サマリー画像に重ねて表示するとよい。
従って、画像とテキストデータとを表示するので、資料の内容を簡単に確認することができる。

上記画像処理装置において、前記表示制御手段は、前記サマリー画像を構成する画像にテキストデータが含まれていた場合に、該テキストデータを含む画像を他の画像よりも拡大表示させるとよい。
従って、画像に含まれる文字を資料確認の有効な情報にすることができる。

上記画像処理装置において、前記表示制御手段は、前記サマリー画像を構成する画像の１つが選択されると、該画像を拡大表示するとよい。
従って、サマリー画像から選択された画像を見やすいように表示することができる。

上記画像処理装置において、前記表示制御手段は、前記サマリー画像を構成する画像の１つが選択されると、該画像を拡大表示するとよい。また、画像に関連する他の画像を表示してもよい。
従って、資料の内容を簡単に確認することができる。

上記画像処理装置において、前記画像生成手段は、前記特徴を表すテキストデータを抽出する資料データの範囲を変更して、複数のサマリー画像を生成するとよい。
従って、ユーザの記憶に残っている資料範囲のサマリー画像を表示することができる。

本発明の画像処理方法は、資料データから当該資料データの特徴を表すテキストデータを検出するステップと、前記特徴を表すテキストデータの検出結果に基づいてデータベースを検索し、前記テキストデータに関連のある画像を取得するステップと、前記画像の所定領域を抽出するステップと、複数の画像から抽出した前記所定領域の部分画像を一覧表示したサマリー画像を生成するステップと、を有している。

本発明は、資料データから当該資料データの特徴を表すテキストデータを検出する処理と、前記特徴を表すテキストデータの検出結果に基づいてデータベースを検索し、前記テキストデータに関連のある画像を取得する処理と、前記画像の所定領域を抽出する処理と、複数の画像から抽出した前記所定領域の部分画像を一覧表示したサマリー画像を生成する処理と、をコンピュータに実行可能に構成している。

本発明は、所望の資料を迅速、且つ正確に見つけ出すことができる。

添付図面を参照しながら本発明の好適な実施例を説明する。

まず、図１を参照しながら本実施例の構成を説明する。本実施例は、資料入力部１、テキスト抽出部２、前処理部３、検索部４、ステンドグラス作成部５、表示制御部６、表示装置７、データベース８を備えている。

資料入力部１は、スキャナ等の入力デバイスによって資料データを読み込んだり、ネットワークを介して資料データを受信する入力部である。

テキスト抽出部２は、資料入力部２で入力した資料データからテキストデータを抽出する。

前処理部３は、資料データから画像データを抽出し、資料データに含まれる画像数をカウントする。資料データ中に画像が少ないと判定すると、資料データの中のテキストに関連のある画像をデータベース８やインターネットを検索して取得する。検索部４は、インターネットを検索して、前処理部３によって指示されたキーワードを含む画像を取得する。

ステンドグラス作成部５は、資料データから抽出した画像データ、データベース８、インターネットを利用して取得した画像データから所定領域の画像を切り出し、複数の画像を一覧表示したサマリー画像（以下、ステンドグラス表示と呼ぶ）を作成する。図２にステンドグラス画像の一例を示す。なお、ステンドグラス作成の詳細については、特開２００５−２９３５７７号公報と、特開２００５−２９３５７６号公報とに開示がある。

表示制御部６は、ステンドグラス作成部５によって作成されたステンドグラス画像や、資料から抽出したテキストをデータベース８から取り出して、表示装置７に表示させる。
また、表示制御部６は、ユーザの操作入力に従って、表示装置７に表示させるステンドグラスの形態を変更する。

なお、図１に示す各機能部は、ソフトウェア制御によって実現することもできる。図３は、このソフトウェア制御を実現する制御装置の構成を示すものであり、ＲＯＭ１１に格納したプログラムをＣＰＵ１０が読み込んで、このプログラムに従った演算をＣＰＵ１０で行うことにより、各部の機能が実現される。ＣＰＵ１０で実行されるプログラムの詳細については、各機能部の詳細を説明する中で、フローチャートを用いて説明する。なお、ＲＡＭ１２には、演算結果のデータが書き込まれ、ＮＶＲＡＭ（Non Volatile RAM）１４には、電源オフ時にバックアップが必要なデータが保存される。

以下、各機能部の詳細について説明する。まず、図４に示すフローチャートを参照しながらテキスト抽出部２について説明する。
テキスト抽出部２は、まず、入力した資料データがスキャナ等によって読み込まれたデータであるか否かを判定する（ステップＳ１）。スキャナによって読み込まれた資料データであった場合には（ステップＳ１／ＹＥＳ）、ＯＣＲ（Optical Character Reader））によってテキストデータを抽出する（ステップＳ２）。
また、資料データがスキャナによって読み込んだデータではなかった場合には（ステップＳ１／ＮＯ）、資料データを電子的に解析して、テキストデータを取り出すことができるかどうかを判定する（ステップＳ３）。電子的に解析可能な資料データであった場合には（ステップＳ３／ＹＥＳ）、資料データからテキストデータを取り出す（ステップＳ４）。例えば、資料データがパワーポイントで作成されていれば、ｐｐｔ ｅｘｔｒａｃｔｏｒのソフトウェアを用いてテキストデータを抽出することができる。また、電子的に解析可能なデータではなかった場合には（ステップＳ３／ＮＯ）、ＯＣＲを用いてテキストデータを抽出する（ステップＳ５）。

次に、図５に示すフローチャートを参照しながら前処理部３の詳細について説明する。前処理部３は、まず資料データ中から画像データを抽出する（ステップＳ１１）。画像データの抽出には、一般的に知られた方法を用いることができる。例えば、テキスト領域であれば、Ｌａｂデータの明度を表すＬ^*成分は高周波成分を多く含み、画像領域であれば、Ｌ^*成分は低周波成分を多く含む。そこで、ＬａｂデータのうちＬ^*データに対して周波数フィルタ処理を施した結果から、テキスト領域であるか画像領域であるかの属性を判定することができる。
この他に、資料データのエッジ検出を行って、画像領域を検出することもできる。テキスト領域はエッジ領域として検出され、画像領域では濃度一定のベタパターンが含まれることから、非エッジの領域として検出される。

次に、前処理部３は、検出した画像数をカウントし（ステップＳ１２）、しきい値と比較する。画像数がしきい値よりも小さいと、ステンドグラスの作成に使用する画像数が不足しているので、データベース８やインターネットから資料データに関連する画像データを補完する必要があると判定する（ステップＳ１３）。

前処理部３は、画像データの補完が必要であると判定すると（ステップＳ１３／ＹＥＳ）、資料データからキーワードを抽出する（ステップＳ１４）。キーワードの抽出方法も従来から一般的に用いられている方法を適用することができる。例えば、形態素解析を行ってテキストデータを単語に分割し、単語登録辞書を用いてキーワードとなる単語を検出する方法が挙げられる。また、抽出されるキーワードは、資料データの特徴を表すキーワードであって、例えば、資料のタイトル、見出し、人名、社名等を含む。

次に、前処理部３は、抽出したキーワードに関連する画像データをデータベース８又はインターネットから検索する。データベース８には、キーワードと、このキーワードに関連付けされた画像データとが登録されており、キーワードを検索キーとして画像データを検出する。
また、前処理部３は、検索部４にキーワードを通知して、インターネットを利用した画像検索を行う。検索部４は、ブラウザソフトウェアを備えており、取得したキーワードに関連する画像データをインターネットから取得する。例えば、Ｇｏｏｇｌｅのイメージ検索等を利用することができる。
キーワードに関連する画像データを検出すると、検出した画像データの中から、実際に使用する画像を選択する（ステップＳ１６）。この処理の詳細については後述する。

次に、図６に示すフローチャートを参照しながら、データベース８を検索してキーワードに関連付けられた画像データを取得する手順を説明する。
前処理部３は、資料データからキーワードを抽出すると、データベース８を検索して、キーワードに関連付けされた画像データを検出する（ステップＳ２１）。画像データを検出すると（ステップＳ２２／ＹＥＳ）、この画像を格納するデータベースのアドレスを取得する（ステップＳ２３）。この処理をＳ１５のキーワード抽出で抽出されたすべてのキーワードについて行う（ステップＳ２４）。

次に、前処理部３は、データベース８又はインターネットを検索して取得した画像データから、実際に使用する画像データを選択する。この処理を図７に示すフローチャートを参照しながら説明する。
前処理部３は、まずキーワードを評価する評価値をキーワードごとに求める（ステップＳ３１）。評価値Ｗは、以下に示す評価式によって算出される。この評価式は、キーワードを資料の全体から隔たりなく抽出するための評価式である。
Ｗ＝Ａ×キーワード重要度スコア＋Ｂ×（キーワード位置評価値）
なお、変数ＡとＢは重み付けの係数である。キーワード重要度スコアの算出は、例えば、キーワードが出現する資料の各部位に応じたスコアを予め定めておき、出現するキーワードのスコアを資料の部位に基づいて加算して求めることができる。例えば、資料のタイトルにキーワードが出現する場合と、大見出しに出現する場合、中見出しに出現する場合、段落の中の文中に出現する場合では、キーワードの重要度が異なると考えられる。そこで、資料のタイトルに出現した語に対してはより大きなスコアを与え、段落の中の文に出現する語には小さなスコアを与えるようにする。この他に、単純に資料データに出現するキーワードの出現頻度やＴＦ−ＩＤＦ（Term Frequency−Inverse Document Frequency:用語頻度−逆文書頻度アルゴリズム）といった一般的な自然言語処理の指標を用いてもよい。

また、キーワード位置評価値を求める評価式Ｒは、以下に示す式によって算出される。

上式のＸ１、Ｘ２は、各キーワードの資料データ中での出現位置（資料の行数）を示す。また、Ｘは、全キーワードの出現位置の平均値を示し、Ｎは、全キーワード数を示す。なお、全キーワードの出現位置の平均値を示すＸの値は、一度選択され、評価されたキーワードを除いたキーワードの位置の平均値である。例えば、最初にキーワードＸ１が選択された場合、Ｘは、Ｘ２〜Ｘｎ（ｎは全キーワード数）の平均値となる。次にキーワードＸ２が選択されると、Ｘ３〜Ｘｎの平均値となる。

キーワードの評価値が求められると、前処理部３は、評価値がしきい値以上のキーワードを求める（ステップＳ３２）。求めたキーワードからステンドグラスの作成に使用する画像数が所定数以上となるようにキーワードを再度選択し、選択したキーワードに関連付けられた画像をステンドグラス画像の生成に使用する。

前処理部３からステンドグラス作成部５には、選択されたキーワードと、キーワードに関連付けられた画像を格納したデータベース８のアドレスとが通知される。また、インターネットを利用して取得した画像がある場合には、この画像もステンドグラス作成部５に出力される。また前処理部３は、入力した資料データと、資料データから抽出したテキストデータ、画像データとに識別情報を付し、データベース８に登録する。

次に、ステンドグラス作成部５の処理について説明する。ステンドグラス作成部５は、資料データから抽出したキーワードに応じて、ステンドグラスで表示する画像の領域を変更する。
例えば、キーワードが人物名であった場合、図８（Ａ）に示すように画像データから顔画像を切り取る。ステンドグラスの作成の際には、この画像を代表する画像として切り取った顔画像を使用する。
また、キーワードに関連付けられた画像データに文字を含む場合には、図８（Ｂ）に示すように画像データの文字部分を取り出して、文字部分がステンドグラスに含まれるように加工する。

図９に示すフローチャートを参照しながらステンドグラス作成部５の処理手順を説明する。
ステンドグラス作成部５は、キーワードと、キーワードに関連する画像データを取得してステンドグラスを作成する。
まず、ステンドグラス作成部５は、キーワードが人名であるかどうかを判定する（ステップＳ４１）。キーワードが人名であった場合には（ステップＳ４１／ＹＥＳ）、画像データに含まれる人物の顔位置を検出する（ステップＳ４２）。顔位置の検出は、例えば、エッジ検出によって顔のエッジ画像を検出することで求められる。また、顔画像データとエッジ画像から顔の中心線を求め、この中心線に基づき顔領域を決定してもよい。
また、人物の目の位置を検出して顔を判定してもよい。目の位置検出は、目と目の周辺との色差（肌色）、目の特徴（対称性、形状等）、目と他の領域（例えば、鼻、口、眉等）との関係を考慮して求めることができる。
顔位置を検出すると、ステンドグラス作成部５は、顔を中心に画像を切り出して、ステンドグラス画像の所定領域に表示されるように処理を行う（ステップＳ４３）。

また、キーワードが人名ではなかった場合には（ステップＳ４１／ＮＯ）、キーワードに関連付けされた画像データをＯＣＲ処理し、画像データ中にキーワードが含まれているかどうかを判定する（ステップＳ４５）。画像データにキーワードが含まれている場合には（ステップＳ４５／ＹＥＳ）、切り出す画像にキーワードが含まれるように加工処理を行う（ステップＳ４６）。また、画像データにキーワードが含まれていなかった場合には（ステップＳ４５／ＮＯ）、通常のステンドグラス処理を行う（ステップＳ４７）。

なお、ステンドグラスを構成する画像の数は、任意に設定することができる。また、ステンドグラス作成部５は、作成したステンドグラス画像に識別情報を付し、このステンドグラス画像を作成した資料データに関連付けてデータベース８に格納する。

次に、表示制御部６の処理について説明する。表示制御部６は、データベース８からステンドグラス画像と、テキストデータを取得して図１０に示すように表示装置７に表示させる。
ステンドグラス画像と共に表示するテキストデータは、資料データのタイトルであってもよい。また、資料データにもともと含まれる画像データをステンドグラス画像として表示している場合には、この画像データの近傍のテキストデータを表示させてもよい。
さらに、ステンドグラス画像を構成する画像と、テキストデータとの関係を明確にするために、各画像を取り囲む枠の色と、テキストデータの色とを同一の色で表示させてもよい。もしくは、ステンドグラス画像を構成する各画像の位置構成と同じ配置となるように、対応する各テキストデータを配置することもできる。

このような表示を表示装置７に表示させるための前処理部３の処理手順を図１１に示すフローチャートを参照しながら説明する。
前処理部３は、ステンドグラス画像の作成に使用する画像データを選択すると（ステップＳ５１／ＹＥＳ）、この画像データはもともと資料に含まれていた画像であるかどうかを判定する（ステップＳ５２）。画像データが資料に含まれていたものであった場合には（ステップＳ５２／ＹＥＳ）、資料の中で画像データの近傍に配置されたテキストデータを所定数以内で抽出する（ステップＳ５３）。また、画像データが資料データに含まれていたものではなく、データベース８やインターネットを検索して取得したものであった場合には（ステップＳ５２／ＮＯ）、キーワードを中心として、キーワードの近傍のテキストデータを所定数以内で抽出する（ステップＳ５４）。
資料データから抽出した画像データ、データベース８やインターネットから抽出した画像データに対して上述の処理が終了すると（ステップＳ５５／ＹＥＳ）、前処理部３は、抽出したテキストデータを資料データに関連付けて、データベース８に登録する（ステップＳ５６）。以上の処理によって生成されたテキストデータを表示制御部６がデータベース８から読み出して表示装置７に表示させることで、図１０に示す画像が表示される。
なお、図１２には、図１０に示す表示の別形態を示す。ステンドグラス画像を表示した時に、マウス等の入力デバイスによってステンドグラスの１画像が選択されると、図１２に示すように抽出したテキストデータをステンドグラス画像に重ねて表示させる。

表示装置７に表示させる画像は、図１０、１２に示すものだけではなく、この他種々の表示形態が考えられる。図面を参照しながら表示装置７の表示例を説明する。
図１３に示す表示例では、画像中に文字が含まれていた場合に、文字が読み取れるように文字を含む領域の画像を他の領域の画像よりも大きく表示させる。
ステンドグラス作成部５は、ステンドグラス画像を作成する際に、ステンドグラスを構成する画像に文字が含まれていた場合、文字が含まれるように画像を切り取る。

また図１４に示す表示例では、ステンドグラス画像を表示した時に、マウス等の入力デバイスによってステンドグラスの１画像が選択されると、この画像を拡大表示させる。
データベース８には、ステンドグラスの一部に使用した画像と、これを所定倍率に拡大した拡大画像とを用意しておく。表示制御部６は、マウスによって画像が選択されると、選択された画像を拡大処理したステンドグラス画像を表示させる。
また、選択された画像を拡大表示させたステンドグラス画像を表示させるのではなく、図１５に示すように選択された画像だけを拡大表示させてもよい。表示制御部６は、ステンドグラス画像の作成の際に切り取った部分画像ではなく、切り取る前の画像の全体を拡大表示させる。

この他に、図１６に示す表示例では、マウスによって選択された画像に関連する他の画像を表示している。
キーワードごとに複数の画像候補（第１候補、第２候補）を用意し、第１候補の画像データをステンドグラスの一部を構成する画像とする。ステンドグラス画像を表示した時に、マウス等の入力デバイスによって画像が選択されると、この画像の第２候補をステンドグラス画像上に重ねて表示する。この時、画像の第２候補を１枚だけ表示するのではなく、第３候補や第４候補といった複数の候補をまとめてステンドグラス化して表示しても良い。このようにして複数の画像から資料の内容を判断することができ、ユーザの資料再認性を高めることができる。

さらに、マウス等によって画像が選択されると、図１７に示すように選択された画像を含む資料のタイトルをステンドグラス画像に重ねて表示してもよい。
また、ステンドグラス画像から１画像が選択され拡大表示された後に、ユーザが該画像を含む資料データをダウンロードした場合、その画像がユーザのダウンロードをする際の有用な情報であったとみなし、次回、同じ検索キーワードが入力され同資料のステンドグラスを表示する場合には同画像の表示領域を拡大して表示する。
このようにして、履歴を用いることで検索キーワードごとにユーザの情報選択にとって有用な情報を残すことができる。

また、ステンドグラスの作成に使用する資料データの範囲を変更して複数のステンドグラス画像を作成してもよい。例えば、図１８に示すように資料データの各ページから画像データやテキストを抽出して、資料の全内容を反映したステンドグラス画像を作成すると共に、各ページ内の画像データやテキストデータだけを使用したステンドグラス画像を作成しておく。
表示装置７に、まず資料データの全体を反映させたステンドグラス画像を表示して、１つの画像が選択されると、そのページの画像やテキストから作成したステンドグラス画像を表示させる。これによってユーザは、資料データの各ページの内容を簡単に認識することができる。

また、ステンドグラス画像を作成する時に、資料アイコンを表示させて、ユーザによって選択された範囲内のテキストデータや画像データを使用してステンドグラス画像を作成してもよい。図１９（Ａ）に示すように資料アイコンの全体が選択されると、資料の全体からキーワードや画像データを抽出してステンドグラス画像を生成する。また、図１９（Ｂ）に示すように資料アイコンの一部が選択されると、選択された範囲に対応する一部の資料データからキーワードや画像データを抽出してステンドグラス画像を生成する。なお、ステンドグラスを構成する画像の数は、参照する資料データの範囲に応じて変更してもよい。
また、ステンドグラス画像の作成後は、ステンドグラスそれぞれの要素がカバーしている範囲を示すため、ステンドグラス画像の枠線の色と、対応する資料アイコンの範囲を示す表示色とを一致させて表示させても良い。

また、複数のステンドグラス画像を作成した時には、図２０に示すように資料の全体をタイムラインで表示し、資料中のどの部分を用いてステンドグラス画像を作成したのかが分かるようにしてもよい。さらに、この場合もステンドグラスの個々の要素がタイムライン上でカバーしている範囲を明確に示すため、画像の枠線の色とタイムライン上の色を一致させて表示させても良い。

さらに、データベース８に格納した資料を表示装置７でフォルダ表示するときには、図２１に示すようにフォルダに格納した資料内容を反映させたステンドグラスを表示させて、資料が一目で分かるようにしてもよい。

また、複数の資料をまとめて１つのフォルダに保存する時には、これらの資料に共通するキーワードを抽出して、このキーワードに関連する画像を取得してステンドグラスにしてもよい。なお、ステンドグラスに使用する画像を選択するときには、画像の色分散など特徴となる量が大きい画像を選択することで、資料の内容把握が容易になる。

上述した実施例は本発明の好適な実施例である。但しこれに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

例えば、ステンドグラス画像を作成する際に、資料データにもともと付加されていた画像と、データベース８やインターネットから補完した画像との区別がつくように画像を表示してもよい。例えばデータベース８やインターネットから補完した画像を、セピア、斜線、モノクロ等で表示することができる。

また、各ユーザが自身の端末にダウンロードした資料の履歴を記録しておき、この資料の履歴からステンドグラス画像を作成して、各ユーザが、どのような情報に興味があるかを判別できるようにしてもよい。
例えば、ユーザが以前、車の資料をダウンロードしていた場合には、車の画像をステンドグラス画像の一部に含ませる。また、この車の画像に関連付けて、新車情報や、メンテナンス情報などの様々な車に関する情報を登録しておく。ユーザがステンドグラス画像の車を選択すると、車に関する情報がユーザ端末に表示される（情報の推薦）。このようにして情報推薦サービスのユーザインターフェースとしても利用することができる。

また、キーワードに関連する画像がデータベース８に登録されていない場合、他のデータベースを参照して画像データを取得することもできる。また、データベース８の管理者に画像がデータベース８に登録されていない旨を通知してもよい。

また、上述した実施例ではキーワードのみによる画像の取得を行っていたが、キーワードに関連のある文書を入力して、関連文書文書検索による絞込みを行っても良い。具体的には、キーワードと、このキーワードが掲載されている関連文書（例えば、html文書）からキーワード候補を抽出する。キーワード候補は、キーワードとの類似度判定によって検出する。このようにして抽出したキーワードと、キーワード候補とからより適当な画像を選択して、ステンドグラスの要素とする。

画像処理装置の構成を示すブロック図である。 ステンドグラス画像の一例を示す図である。 プログラム処理によって本発明を実現するためのハードウェア構成を示す図である。 テキスト抽出部の処理手順を示すフローチャートである。 前処理部の処理手順を示すフローチャートである。 データベースを検索して、キーワードに関連する画像データを検出する手順を示すフローチャートである。 ステンドグラス作成に使用する画像を選択する手順を示すフローチャートである。 ステンドグラス作成部５の処理例を示す図である。 ステンドグラス作成部５の処理手順を示すフローチャートである。 表示制御部によって表示装置に表示される画像の一例を示す図である。 ステンドグラス画像と共に表示されるテキストデータを抽出する前処理部の処理手順を示すフローチャートである。 ステンドグラス画像の一例を示す図であって、選択画像に関連するテキストを表示した例である。 ステンドグラス画像の一例を示す図であって、テキストを含む画像を拡大表示した例である。 ステンドグラス画像の一例を示す図であって、マウスによって選択された画像を拡大表示したステンドグラス画像の例である。 ステンドグラス画像の一例を示す図であって、マウスによって選択された画像を拡大表示した例である。 ステンドグラス画像の一例を示す図であって、選択された画像に関連する他の画像を表示する例を示す図である。 ステンドグラス画像の一例を示す図であって、選択された画像を含む資料のタイトルを表示した例である。 ステンドグラス画像の一例を示す図であって、ステンドグラス画像を階層的に構成した例を示す図である。 ステンドグラス画像を作成する資料データの領域を選択する例を示す図である。 資料の全体をタイムラインで表示し、資料中のどの部分を用いたステンドグラス画像であるのかを表示した図である。 フォルダにステンドグラス画像を表示させた状態を示す図である。

符号の説明

１ 資料入力部
２ テキスト抽出部
３ 前処理部
４ 検索部
５ ステンドグラス作成部
６ 表示制御部
７ 表示装置
８ データベース

Claims (14)

1. 資料データから当該資料データの特徴を表すテキストデータを検出する検出手段と、
   前記検出手段の検出結果に基づいてデータベースを検索し、前記テキストデータに関連のある画像を取得する画像取得手段と、
   前記画像の所定領域を抽出する抽出手段と、
   複数の画像から抽出した前記所定領域の部分画像を一覧表示したサマリー画像を生成する画像生成手段と、
   を有することを特徴とする画像処理装置。
2. 前記画像生成手段は、前記資料データに含まれる画像と、前記データベースを検索して取得した画像とを使用して前記サマリー画像を生成することを特徴とする請求項１記載の画像処理装置。
3. 前記特徴を表すテキストデータは、資料のタイトル、資料に付けられた見出し、人名、会社名の少なくとも１つを含むことを特徴とする請求項１記載の画像処理装置。
4. 前記抽出手段は、前記特徴を表すテキストデータが人名を表すデータであった場合に、顔画像が含まれるように前記所定領域の画像を抽出することを特徴とする請求項１から３のいずれか一項記載の画像処理装置。
5. 前記抽出手段は、前記画像中に文字が含まれる場合に、該文字が含まれるように前記所定領域の画像を抽出することを特徴とする請求項１から３のいずれか一項記載の画像処理装置。
6. 前記検出手段は、前記特徴を表すテキストデータを前記資料データの各ページから均等に抽出することを特徴とする請求項１記載の画像処理装置。
7. 前記サマリー画像と、前記サマリー画像を構成する画像に関連のあるテキストデータとを表示する表示制御手段を有することを特徴とする請求項１から６のいずれか一項記載の画像処理装置。
8. 前記表示制御手段は、前記サマリー画像を構成する画像の１つが選択されると、該画像に関連のあるテキストデータを前記サマリー画像に重ねて表示することを特徴とする請求項７記載の画像処理装置。
9. 前記表示制御手段は、前記サマリー画像を構成する画像にテキストデータを含んでいた場合に、該テキストデータを含む画像を他の画像よりも拡大表示させることを特徴とする請求項７記載の画像処理装置。
10. 前記表示制御手段は、前記サマリー画像を構成する画像の１つが選択されると、該画像を拡大表示することを特徴とする請求項７記載の画像処理装置。
11. 前記表示制御手段は、前記サマリー画像を構成する画像の１つが選択されると、該画像に関連する他の画像を表示することを特徴とする請求項７記載の画像処理装置。
12. 前記画像生成手段は、前記特徴を表すテキストデータを抽出する資料データの範囲を変更して、複数のサマリー画像を生成することを特徴とする請求項１記載の画像処理装置。
13. 資料データから当該資料データの特徴を表すテキストデータを検出するステップと、
    前記特徴を表すテキストデータの検出結果に基づいてデータベースを検索し、前記テキストデータに関連のある画像を取得するステップと、
    前記画像の所定領域を抽出するステップと、
    複数の画像から抽出した前記所定領域の部分画像を一覧表示したサマリー画像を生成するステップと、
    を有することを特徴とする画像処理方法。
14. 資料データから当該資料データの特徴を表すテキストデータを検出する処理と、
    前記特徴を表すテキストデータの検出結果に基づいてデータベースを検索し、前記テキストデータに関連のある画像を取得する処理と、
    前記画像の所定領域を抽出する処理と、
    複数の画像から抽出した前記所定領域の部分画像を一覧表示したサマリー画像を生成する処理と、
    をコンピュータに実行させることを特徴とするプログラム。
    

Images