JP2007336008A

JP2007336008A - 画像検索装置および方法

Info

Publication number: JP2007336008A
Application number: JP2006162810A
Authority: JP
Inventors: Shigeo Fukuoka; 茂雄福岡
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-06-12
Filing date: 2006-06-12
Publication date: 2007-12-27

Abstract

【課題】ユーザインターフェースが複合機の操作部のような簡易なものであっても、容易且つ効率的に画像検索を実行可能にする。
【解決手段】文字コードと画像データが対応付けて格納された格納装置から、文字列を用いた検索により画像データを検索する画像検索装置において、原稿読み取り装置により原稿を読み取って得られた画像データから抽出された文字列と、マニュアルによって入力された文字列とを用いて検索クエリを生成し、生成した検索クエリを用いて格納装置に蓄積された画像データを検索する。
【選択図】図４

Description

本発明は、蓄積された画像データを文字列により検索する画像検索技術に関する。

近年のハードディスクの大容量化に伴い、デジタル複写機などの複合機において従来は一時的な画像データの保存場所として使われていた記憶装置が、使用者の文書の保管場所としても使用されるようになってきている。
また、保管されている画像をＯＣＲした結果とユーザが入力したキーワードとを用いて、保管されている画像の中から所望の画像を検索する技術がある。
特開平１１−２２４２５８号公報

ハードディスクなどの記憶装置の大容量化により機器に蓄積できる画像などのデータ量は飛躍的に増大している。このため大量に保存された画像の中から目的の画像を見つけ出すことが、複合機の限られた操作部などでは困難になってきている。一般に複合機の操作部にはタッチパネルが用いられており、検索のキーとなるキーワードの入力は、例えば、表示されたソフトウェアキーボードを用いて行われており、キーワード入力操作だけでも手間のかかるものとなっている。また、蓄積された文書数が増大すればするほど入力したキーワードによる検索でヒットする文書数が多くなってしまう。このため、目的の文書にたどり着くために、キーワードを追加して絞込み検索を行って候補を減らしていくという操作が要求されてしまい、画像検索のための操作は非常に手間がかかるものとなっている。

本発明は上記の課題に鑑みてなされたものであり、複合機の操作部のような簡易なユーザインターフェースを用いた画像検索を、容易且つ効率的に実行可能にすることを目的とする。

上記の目的を達成するための本発明による画像検索装置は、
文字コードと画像データが対応付けて格納された格納装置から、文字列を用いた検索により画像データを検索する画像検索装置であって、
原稿読み取り装置により原稿を読み取って得られた画像データから文字列を抽出する文字列抽出手段と、
マニュアルによって文字列を入力させる文字列入力手段と、
前記文字列入力手段により入力された文字列と、前記文字列抽出手段により得られた文字列を用いて検索クエリを生成するクエリ生成手段と、
前記クエリ生成手段で生成された検索クエリにより、前記格納装置に蓄積された画像データを検索する検索手段とを備える。

本発明によれば、ユーザインターフェースが複合機の操作部のような簡易なものであっても、容易且つ効率的に画像検索を実行することが可能となる。

以下、添付の図面を参照して本発明の好適な実施形態を説明する。

図１Ａは本実施形態によるシステム構成例を示す図である。図１Ａにおいて、１００は複合機（ＭＦＰ）であり、後述するようにネットワークスキャナ、ネットワークプリンタ、複写機として機能する。２０１はファイルサーバであり、複合機１００で読み取られた原稿画像データ等のファイルを記憶する。２０２はメールサーバであり、複合機１００で読み取られた原稿画像を電子メールで送信する。３０１及び３０２はパーソナルコンピュータ等のクライアントＰＣである。４００はネットワークであり、上述の各装置を相互に通信可能に接続する。

上記のシステム構成において、クライアントＰＣ３０１，３０２は、複合機１００をネットワークプリンタとして活用すると共に、ファイルサーバ２０１にネットワーク上の各クライアントＰＣで共有するファイルを格納する。又、クライアントＰＣ３０１，３０２はメールサーバ２０２に接続してメールを受信することができる。

図１Ｂは、複合機１００の構成例を示すブロック図である。複合機１００において、制御部１０１は複合機１００の各部及び全体を制御する。制御部１０１は不図示のＣＰＵ，ＲＯＭ，ＲＡＭを具備し、例えばＲＯＭに格納された制御プログラムをＣＰＵが実行することにより、いかに説明する検索処理を含む、各種処理を実現する。スキャナ部１０２は原稿を光学的に読み取りデジタルの原稿画像データを出力する。プリンタ部１０３は原稿画像データ等を可視画像として記録メディア上に記録する。ファクス部１０４は、電話回線を用いて原稿画像データをファクシミリ送信する。操作部１０５は、例えばタッチパネルと液晶表示器で構成されており、ユーザからの各種操作入力を受け付ける。記憶装置１０６はスキャナ部１０２で原稿を読み取って得られた原稿画像データや、ネットワーク４００からネットワークインターフェース１０７を介して受信した原稿画像データを記憶する。ネットワークインターフェース１０７は複合機１００とネットワーク４００を接続するインターフェースである。

尚、本実施形態における複合機１００は、ネットワーク４００を介してクライアントＰＣからのプリント要求を受信して、プリンタ部１０３により印刷を実行するネットワークプリンタとして機能する。或は、スキャナ部１０２で読み取った原稿画像データを直ちにプリンタ部１０３で印刷することにより複写機としても機能する。

このように複合機１００は様々な機能を有するが、以下では、本発明と関連する機能について詳述する。

スキャナ部１０２は、原稿台に載置された原稿を光学的に読み取るスキャナと、原稿を原稿台へ送るオートドキュメントフィーダ（ＡＤＦ）を有する。又、スキャナ部１０２は、原稿検知機能を具備しており、原稿台またはＡＤＦに原稿がセットされているかどうかを検知することができる。スキャナ部１０２により紙原稿をスキャンすることで得られた原稿画像データは、複合機１００内の記憶装置１０６に保存される。或は、複合機１００は、クライアントＰＣ３０１，３０２からの印刷処理によって発行された印刷データをネットワークインターフェース１０７を介して受信し、これを原稿画像データとして記憶装置１０６に保存する。この場合、複合機１００の制御部１０１は、受信した印刷データを画像に展開し、これを原稿画像データとして保存する。又、記憶装置１０６に原稿画像データを保存する際には、制御部１０１が有する文字認識機能を用いて当該画像に文字認識処理を施し、画像データに対応させて文字認識結果の全ての文字コードを保存する。

記憶装置１０６に記憶されている画像を検索する検索処理では、保存されている文字コードに対して検索処理を行う。文字コードに対する検索処理には、キーワード検索や概念検索などさまざまな手法があるが、本実施形態ではキーワード検索による検索を用いることにする。尚、概念検索とは、検索したい内容を文章として入力すると、その文章に近い内容が記載された文書を検索する技術である。即ち、キーワードも概念検索も文字列を利用した検索技術である。

図２及び図３は、本実施形態における検索処理の開始時における画面例を示す図である。図２及び図３に示される画面は操作部１０５の液晶表器に表示される。検索用のキーワードが入力されておらず、且つ、スキャナ部１０２の原稿検知機能により原稿が検知されていない場合は、図２に示すように「開始」ボタン１０５ａがグレーアウトした状態になる。この状態では、検索の開始指示は受け付けられない。即ち、キーワード入力が無く、ＡＤＦ及び原稿台に原稿が存在しない場合は、検索処理を開始することが禁止される。

これに対して、キーワードの入力が検出された場合、或は、原稿台及びＡＤＦのいずれかに原稿がセットされていることが検出された場合は、図３に示すように「開始」ボタン１０５ａを受付可能な表示とし、検索処理の開始が許可される。尚、キーワードの入力においては、画面上にキーボードを表示させて文字入力する（ソフトウエアキーボード）を利用するものとする。但し、これに限られるものではなく、携帯電話のようにテンキーに文字を割り当てて、テンキー操作によってキーワードが入力される用に構成してもよい。

以下、図４のフローチャートを参照して、本実施形態の複合機１００による検索処理を説明する。図４は複合機１００（主として制御部１０１）による検索処理を説明するフローチャートである。

ステップＳ４０１〜Ｓ４０４は、図２及び図３に関して上述した「開始」ボタン１０５ａの有効化／無効化を行う処理である。まず、ステップＳ４０１において制御部１０１は、スキャナ部１０２の原稿台もしくはＡＤＦの少なくともいずれかにおいて原稿が検知されているかどうかを判定する。原稿台及びＡＤＦで原稿が検知されていない場合、ステップＳ４０２において制御部１０１は操作部１０５においてキーワードが入力されたかどうかを判定する。キーワードが入力がなされていない場合は、ステップＳ４０３に進み、図２に示すように、「開始」ボタン１０５ａを無効化し、検索開始の指示を受け付けないようにし、ステップＳ４０１へ処理を戻す。他方、ステップＳ４０１で原稿が検知された場合、或はステップＳ４０２においてキーワードが入力されていた場合は、ステップＳ４０４へ進み、図３に示すように「開始」ボタン１０５ａを有効化する。そして、検索開始の指示を受け付けが可能であるので、ステップＳ４０５へ処理を進める。

ステップＳ４０５では、「開始」ボタン１０５ａが押されたかどうかを判定する。「開始」ボタン１０５ａが押されていなければステップＳ４０１へ戻り、上記の処理を繰り返す。「開始」ボタン１０５ａが押された場合は、記憶装置１０６に保持されている画像の検索処理を開始するべくステップＳ４０６へ処理を進める。

ステップＳ４０６において、制御部１０１は、検索開始時のスキャナ部１０２の原稿検知機能による原稿の検知結果によって処理を分岐させる。即ち、制御部１０１は、ステップS４０６で原稿検知機能により原稿が検知されている場合（原稿台或はＡＤＦの少なくともいずれかに原稿が存在する場合）は処理をステップＳ４０７に進める。そして、ステップＳ４０７において、スキャナ部１０２により当該原稿をスキャンして検索用のキーワードを抽出する。ステップＳ４０７のキーワードの抽出についてより具体的に説明すると、制御部１０１は、まず、スキャナ部１０２に原稿台またはＡＤＦにセットされた原稿をスキャンさせて原稿画像データを取得する。そして、読み取った原稿画像データから文字、画像などの領域を識別し、文字領域に識別された領域について文字認識処理を施す。こうして、原稿画像データ中に含まれる文字部分から、文字認識処理によって文字コードデータを取得する。そして、取得された文字コードデータを形態素解析によって形態素の列に分解し、主として名詞の単語をキーワードとして抽出する。尚、抽出する個数は所定数を上限とする。キーワードの抽出処理を終えたならば、処理をステップＳ４０８へ進める。一方、ステップＳ４０１において原稿が検知されていなければ、操作部１０５から入力されたキーワードのみで検索処理を行うため、ステップＳ４０７をスキップしてステップＳ４０８へ処理を進める。

ステップＳ４０８において、制御部１０１は、ステップＳ４０７で原稿から抽出されたキーワードと操作部１０５から入力されたキーワードを用いて検索クエリを生成する。ステップＳ４０７で抽出されたキーワードは、その出現頻度によりソーティングされ、頻度の高いキーワードが重要なキーワードとなるように検索クエリが生成される。尚、キーワードは、頻度の高い順に所定数までのキーワードが抽出されるものとする。又、操作部から入力されたキーワードと原稿から抽出されたキーワードが共に存在する場合は、操作部から入力されたキーワードをより重要なキーワードとして検索クエリを生成する。更に、操作部１０５から入力されたキーワードが複数存在する場合に、キーワードの入力順に優先度を設定するようにしてもよい。優先度は、検索スコアを計算する際の重み付けに用いられる（優先度の高いキーワードを含む文書のスコアが高くなる）。

又、原稿から抽出されたキーワードや操作部１０５から入力されたキーワードはＯＲ条件で検索クエリを生成する。もちろん、これらのキーワードをＡＮＤ条件として検索クエリが生成されてもよい。或は、原稿から抽出された複数のキーワードをＯＲ条件とし、これに操作部１０５から入力されたキーワードをＡＮＤ条件として加えて検索クエリを生成するようにしてもよい。

ステップＳ４０９において、制御部１０１は、ステップＳ４０８で生成された検索クエリを用いて、記憶装置１０６に蓄積されている原稿画像データの検索を実行する。そして、ステップＳ４１０において、ステップＳ４０５における検索の結果を表示する。制御部１０１は、例えば、操作部１０５において図５に示されるような表示を行い、絞込み検索や検索結果の使用方法を操作者に設定させる。図５の表示例では、エリア５０１に検索に用いられたキーワードが表示され、エリア５０２に検索結果（検索された原稿画像データの文書名、用紙サイズ、ページ数等）が表示されている。尚、エリア５０１のキーワード表示は、操作部１０５から入力されたキーワードと読み取った画像から抽出したキーワードとを区別して表示してもよい。

制御部１０１は、「絞込み検索」ボタン５１１が押されると、操作者が絞込み検索（再検索）を行う指示をしたと判定し、ステップＳ４１１からステップＳ４０１へ処理を戻して再検索を実行させる。即ち、図２の画面を表示し、使用者がキーワード入力や他の原稿をセットして絞込み検索を行うことができるようにする。

一方、絞込検索以外の指示がなされた場合は、ステップＳ４１１からステップＳ４１２へ処理を進める。ステップＳ４１２において、制御部１０１は、使用者が選択した原稿画像を指示された方法で処理する。例えば、図５の操作画面においてエリア５０２に表示された検索結果からファイルが選択され、「送信」ボタン５１３が押された場合は、メールサーバ２０２に検索結果のファイル（原稿画像データ）を送信する。又、エリア５０２の検索結果からファイルが選択されて「印刷」ボタン５１２が押された場合は、制御部１０１はプリンタ部１０３を用いて選ばれたファイルを印刷する。又、エリア５０２の検索結果からファイルが選択されてプレビューキーが押された場合は、操作部１０５に選択されたファイルの内容（画像）を表示する。「検索結果を送信」ボタン５１５が押された場合は、エリア５０２に表示した検索結果がメールサーバ２０２に送信される。

以上のように、上記実施形態によれば、機器内の記憶装置に蓄積された文書画像データを検索するために、使用者が入力するキーワードと使用者が指定した原稿を読み取って抽出したキーワードを用いて検索を行うことが可能となる。このため、乏しいユーザインターフェースであっても、効率的な検索を行うことができる。

＜変形例＞
上記実施形態において、ステップＳ４０８における検索クエリの生成では、操作部１０５から入力されたキーワードをより重要なキーワードとして扱ったが、ステップＳ４０７で原稿から抽出されたキーワードを優先して検索クエリを生成するようにしてもよい。

或は、ステップＳ４０８における検索クエリの生成において、操作部１０５に入力されたキーワードと原稿から抽出されたキーワードのどちらを優先させるかを図６に示す操作画面に選択ボタン６０１を設けることによって使用者に選択させるようにしてもよい。この場合、例えば、どちらのキーワードを優先するかの選択ボタンはラジオボタンとし、どちらか一つが常に選択されるようにする。

又、ステップＳ４０８における検索クエリの生成において、操作部１０５に入力されたキーワードと原稿から抽出されたキーワードの優先順位を、使用者の操作手順によって決めるようにしてもよい。例えば、操作部１０５にキーワードを設定した後でスキャナ部１０２の原稿台やＡＤＦに原稿をセットした場合は、ステップＳ４０８において、操作部１０５から入力されたキーワードを優先にして検索クエリが生成される。又、逆に、スキャナ部１０２の原稿台やＡＤＦに原稿がセットされた後で操作部１０５にキーワードが入力された場合は、ステップＳ４０８において原稿から抽出されたキーワードを優先にして検索クエリが生成される。
また、原稿を文字認識して得た文章からキーワードを抽出して検索に用いたが、当該文字認識で得た文章を概念検索のクエリとして用いて検索するようにしてもよい。即ち、文字認識から得られた文字列をキーワードとして検索する構成を説明したが、文字認識から得られた文字列を用いて概念検索を行う構成に適用してもよい。

以上説明したように、上記実施形態では、機器内の記憶装置に蓄積された文書画像データを検索するために、使用者が入力するキーワードと使用者が指定した原稿を読み取って抽出したキーワードを使い検索を行うことで効率的な検索を行うことができる。

実施形態によるシステム構成例を示す図である。実施形態による複合機の構成例を示すブロック図である。複合機の操作部に表示される検索操作の初期画面例を示す図である。複合機の操作部に表示される検索操作の初期画面例を示す図である。複合機による画像検索処理を説明するフローチャートである。複合機の操作部に表示される検索結果の表示画面例を示す図である。操作部からのキーワードと原稿から抽出されたキーワードのどちらを優先するかを設定するための画面例を示す図である。

Claims

文字コードと画像データが対応付けて格納された格納装置から、文字列を用いた検索により画像データを検索する画像検索装置であって、
原稿読み取り装置により原稿を読み取って得られた画像データから文字列を抽出する文字列抽出手段と、
マニュアルによって文字列を入力させる文字列入力手段と、
前記文字列入力手段により入力された文字列と、前記文字列抽出手段により得られた文字列を用いて検索クエリを生成するクエリ生成手段と、
前記クエリ生成手段で生成された検索クエリにより、前記格納装置に蓄積された画像データを検索する検索手段とを備えることを特徴とする画像検索装置。
前記検索手段の検索結果を表示する表示手段と、
前記表示手段で表示された検索結果から、ユーザ指示によって選択された画像データを外部装置へ送信する送信手段を更に備えることを特徴とする請求項１に記載の画像検索装置。
前記検索手段の検索結果を表示する表示手段と、
前記表示手段で表示された検索結果から、ユーザ指示によって選択された画像データを印刷又は画面に表示する出力手段を更に備えることを特徴とする請求項１に記載の画像検索装置。
前記原稿読取り装置に読み取られるべき原稿が置かれたことを検知する原稿検知手段と、
前記原稿検知手段が原稿を検知しておらず、前記文字列入力手段によって文字列が入力されていない場合は、前記検索手段による検索処理の開始を禁止する検索開始処理判定手段とを更に備えることを特徴とする請求項１乃至３のいずれかに記載の画像検索装置。
前記文字列抽出手段は、
前記画像データから文字、画像などの領域を識別し、文字領域に識別された領域について文字認識処理を実行し、得られた文字認識結果から単語を抽出することによって文字列を抽出することを特徴とする請求項１に記載の画像検索装置。
前記クエリ生成手段は、前記文字列入力手段により入力された文字列に、前記文字列抽出手段で抽出された文字列よりも高い優先度を設定して前記検索クエリを生成することを特徴とする請求項１に記載の画像検索装置。
前記クエリ生成手段は、文字列抽出手段で抽出された文字列に、前記文字列入力手段により入力された文字列よりも高い優先度を設定して前記検索クエリを生成することを特徴とする請求項１に記載の画像検索装置。
前記クエリ生成手段による検索クエリの生成に際して、前記文字列入力手段により入力された文字列と前記文字列抽出手段で抽出された文字列のいずれを優先させるかを指定する指定手段を更に備えることを特徴とする請求項１に記載の画像検索装置。
前記原稿読取り装置に読み取られるべき原稿が置かれたことを検知する原稿検知手段を更に備え、
前記クエリ生成手段は、前記文字列入力手段による文字列の入力と、前記原稿検知手段による原稿の検知の時間的な順番に従って、前記文字列入力手段により入力された文字列と前記文字列抽出手段で抽出された文字列の優先度を決定し、決定された優先度に従って前記検索クエリを生成することを特徴とする請求項１に記載の画像検索装置。
文字コードと画像データが対応付けて格納された格納装置から、文字列を用いた検索により画像データを検索する画像検索方法であって、
原稿読み取り装置により原稿を読み取って得られた画像データから文字列を抽出する文字列抽出工程と、
ユーザに文字列を入力させる文字列入力工程と、
前記文字列入力工程で入力された文字列と、前記文字列抽出工程で得られた文字列を用いて検索クエリを生成するクエリ生成工程と、
前記クエリ生成工程で生成された検索クエリにより、前記格納装置に蓄積された画像データを検索する検索工程とを備えることを特徴とする画像検索方法。