JP2007172235A

JP2007172235A - 履歴管理装置

Info

Publication number: JP2007172235A
Application number: JP2005368118A
Authority: JP
Inventors: Yoshihide Kadani; 嘉英甲谷; Ayumi Seki; 歩瀬木
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2005-12-21
Filing date: 2005-12-21
Publication date: 2007-07-05
Anticipated expiration: 2025-12-21
Also published as: CN100501736C; US7844138B2; CN1987856A; US20070140568A1; JP4747828B2

Abstract

【課題】検索結果の絞り込みを効率的に行なわせることのできる履歴管理装置を提供する。
【解決手段】画像処理装置において処理された画像データを処理対象として、当該処理対象の画像データに含まれる文字、ないし語を検出し、検出した文字ないし語について、画像データ内での検出位置を特定する情報を関連づけて検索用情報として、処理対象の画像データとともに保持し、当該保持されている検索用情報が、文字ないし語と、その検出位置とを検索条件とした画像データの検索処理に供される履歴管理装置である。
【選択図】図１

Description

本発明は、複写機やプリンタ等の画像処理装置において処理された画像のデータを履歴として記録する履歴管理装置に関する。

近年では、複写機等で複写された画像データの履歴を保持することにより、特定の画像データの形成日時や形成指示者を追跡可能とする技術がある（特許文献１）。また、光学的文字認識処理（ＯＣＲ）等によって、画像データに含まれる文字列情報を抽出し、画像データに関連づけて記憶しておくことで、キーワードを用いて画像データを検索できるようにしているものもある。
特開２００２−１６７８８号公報

こうした記録により、例えば複写により機密の情報が持ち出されたような場合に、当該情報の複写がどの画像処理装置において行なわれたかを特定できるようになる。ところが、持ち出された複写物が完全な形で発見されるとは限らず、例えば、Ａ４のドキュメントの下半分だけが発見されることもあり得る。

しかしながら、上記従来のＯＣＲを用いた画像データの履歴記録技術では、キーワードを用いて検索を行なうだけであるため、例えばＡ４の下半分だけが見いだされた場合などにおいて、当該下半分に含まれているキーワードを用いて検索を実行すると、Ａ４の上半分に当該キーワードを含んでいるようなドキュメント（目的外のドキュメント）までが見いだされてしまい、検索結果から所望の記録を見いだす際の効率が低い。

本発明は上記実情に鑑みて為されたもので、検索結果の絞り込みを効率的に行なわせることのできる履歴管理装置を提供することをその目的の一つとする。

上記従来例の問題点を解決するための本発明は、履歴管理装置であって、画像処理装置において処理された画像データを処理対象として、当該処理対象の画像データに含まれる文字、ないし語を検出する手段と、前記検出した文字ないし語について、画像データ内での検出位置を特定する情報を関連づけて検索用情報として、前記処理対象の画像データとともに保持する手段と、を含み、当該保持されている検索用情報が、前記文字ないし語と、その検出位置とを検索条件とした画像データの検索処理に供されることを特徴としている。

また、本発明の一態様は、履歴管理方法であって、コンピュータを用いて、画像処理装置において処理された画像データを処理対象として、当該処理対象の画像データに含まれる文字、ないし語を検出する工程と、前記検出した文字ないし語について、画像データ内での検出位置を特定する情報を関連づけて検索用情報として、前記処理対象の画像データとともに保持する工程と、を実行させ、当該保持されている検索用情報が、前記文字ないし語と、その検出位置とを検索条件とした画像データの検索処理に供されることを特徴としている。

さらに本発明の別の態様は、プログラムであって、コンピュータに、画像処理装置において処理された画像データを処理対象として、当該処理対象の画像データに含まれる文字、ないし語を検出する手順と、前記検出した文字ないし語について、画像データ内での検出位置を特定する情報を関連づけて検索用情報として、前記処理対象の画像データとともに保持する手順と、を実行させ、当該保持されている検索用情報が、前記文字ないし語と、その検出位置とを検索条件とした画像データの検索処理に供されることを特徴としている。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る履歴管理装置１は、図１に示すように、複写機２やプリンタ３などの画像処理装置に接続されている。本実施の形態の履歴管理装置１は、図１に示すように制御部１１と、記憶部１２と、ストレージ部１３と、通信部１４と、インタフェース（Ｉ／Ｆ）部１５とを含んで構成されている。

制御部１１は、ＣＰＵ等であり、記憶部１２に格納されているプログラムに従って動作する。この制御部１１は、複写機２やプリンタ３等の画像処理装置において、処理の対象とされた画像データや、当該画像データの処理を要求した利用者を特定する情報などの付帯情報とを受信して、これらを含む履歴情報をストレージ部１３に格納する。

また、この制御部１１は、履歴情報の検索指示を受けて、ストレージ部１３に格納した履歴情報を検索し、その検索の結果を提示する検索処理を実行する。これら制御部１１の各処理については後に詳しく述べる。

記憶部１２は、ＲＡＭやＲＯＭ等の記憶素子を含んで構成される。この記憶部１２には、制御部１１が実行するプログラムが格納されている。また、この記憶部１２は制御部１１のワークメモリとしても動作する。ストレージ部１３は、ハードディスク装置等であり、制御部１１から入力される指示に従って履歴情報を保持する。

通信部１４は、例えばネットワークカードであり、制御部１１から入力される指示に従い、ネットワークを介して指定された宛先へデータを送信する。また、この通信部１４は、ネットワークを介して到来するデータを受信して制御部１１に出力する。

Ｉ／Ｆ部１５は、例えばＵＳＢ（Univarsal Serial Bus）等のシリアルバスインタフェースであり、プリンタ３に接続されている。このＩ／Ｆ部１５は、プリンタ３において処理の対象となった画像データを受信して、制御部１１に出力する。

複写機２は、ネットワークを介して履歴管理装置１に接続されている。この複写機２は、利用者が複写指示を行ったときに、当該複写の指示に従って読み取った画像データを履歴管理装置１へ送信する。なおこのときに複写機２は、複写指示を行った利用者を、利用者名やパスワードを入力させることで認証し、この認証によって得られた利用者を特定する情報（利用者名など）を、画像データとともに履歴管理装置１へ送信してもよい。

プリンタ３は、シリアルバスインタフェース等を介して履歴管理装置１に接続されており、ネットワークを介して接続されたパーソナルコンピュータ（ＰＣ）等から受信される画像データを印刷出力するとともに、当該印刷出力した画像データ（処理対象とした画像データ）と、ＰＣから受信される利用者名等の付帯情報とを履歴管理装置１に送信する。

次に、制御部１１の処理の内容について説明する。履歴管理装置１の制御部１１が実行する処理は、機能的には、図２に示すように、文字認識処理部２１と、語情報生成部２２と、語位置情報生成部２３と、履歴情報記録部２４と、検索処理部２５とを含んで構成される。

文字認識処理部２１は、複写機２やプリンタ３等の画像処理装置から画像データと付帯情報とを受信し、これらを処理の対象として、文字認識処理を実行する。文字認識処理部２１は、受信した画像データがビットマップの画像データであれば、光学的文字認識処理を行なって含まれている文字列データを抽出する。また、この文字認識処理部２１は、受信した画像データがＰＤＬで記述されたデータであれば、当該ＰＤＬのデータから文字列データを抽出する。

また、語情報生成部２２は、文字認識処理部２１にて抽出された文字列データに対して、形態素解析処理や、Ｎグラム処理を行なって、語情報を生成する。例えば、形態素解析処理であれば、予め定められた単語の単位に分割され、各単語が語情報として扱われることとなり、Ｎグラム処理であれば、ｉ（ｉ＝１，２，…）番目の文字からＮ文字分を順次抽出して語情報を生成する。

語位置情報生成部２３は、画像データ上で、生成した語情報の含まれる位置を表す位置情報を生成する。ここで位置情報は、画像データの例えば右上隅を（０，０）として、右方向にＸ軸、下方向にＹ軸を設定した座標系での値で表すこととし、具体的な例としては、図３（ａ）に示すように、語を取り囲む矩形領域の左上隅の座標値（ｘ，ｙ）と、矩形の幅Ｈ、高さＷとを検出することになる。この位置情報は、光学的文字認識の場合は、文字認識の過程で設定する、認識の対象となる文字を取り囲む矩形の座標情報に基づいて定めてもよいし、ＰＤＬのデータである場合は、文字を配置位置を指定する情報から定めることができる。

なお、多数の行にわたって文字列が配列されている場合において、矩形領域は、行ごとに定めてもよい。この場合、語情報に係る文字列が行をまたがっている場合は、各行において当該文字列に係る部分を取り囲む矩形領域を定める。

例えば、図３（ｂ）に示すように、「イメージログ」の語について、「イメー」までが前行の末にあり、「ジログ」が続く行の先頭にある場合は、各行で、「イメー」の部分を取り囲む矩形領域Ｐ（左上隅座標（ｘｐ，ｙｐ）、幅Ｗｐ、高さＨｐ）と、「ジログ」の部分を取り込む矩形領域Ｑ（左上隅座標（ｘｑ，ｙｑ）、幅Ｗｑ、高さＨｑ）とを定める。そして、矩形領域が分断されていることを示す情報を、少なくとも一方の矩形領域に関連づけておく。例えば、この図３（ｂ）の例において、「イメー」の部分を表す矩形領域の情報に「分割」とのフラグを関連づけ、さらに次の「ジログ」の部分を表す矩形領域の情報を連続して生成する（図３（ｃ））。つまり、本実施の形態では、分割に係る複数の矩形領域の情報は、連続して記録されることとなり、分割のフラグは、次に記録されている矩形領域の情報が分割に係るものであることを示すものとなる。

語位置情報生成部２３は、語ごとに出現回数を表す情報を関連づけた語基本情報を生成し、また、語ごとに、画像データ上で含まれる位置を表す位置情報を関連づけて語位置情報とを生成する。ここで語基本情報及び語位置情報は、例えば図４に示すようなものとなる。

履歴情報記録部２４は、図示しないカレンダー部（カレンダーＩＣ等で実現できる）から処理を行なっている日時の情報を取得し、ここで取得した日時の情報や、付帯情報に含まれる利用者等の情報とともに、画像データと、画像データに関連づけられた語基本情報や語位置情報、キーワードの情報などを互いに関連づけて、履歴情報としてストレージ部１３に格納する。これによりストレージ部１３に記録される履歴情報は、図５に示すようなものとなる。

検索処理部２５は、利用者が指定する検索条件に基づいて履歴情報の検索を行なう。本実施の形態では、この検索条件は、例えばネットワークを介して接続されたパーソナルコンピュータ（ＰＣ）から受信する。そして検索の結果は、ネットワークを介して検索の要求元のＰＣに対して送信される。

本実施の形態において取得される検索条件は、語と、その出現位置とを特定する情報を含む。検索処理部２５は、例えばＰＣ側から検索の要求を受けると、図５に示すように、検索範囲を指定させるインタフェース（領域指定部）と、検索語を入力するインタフェース（検索語入力部）とを含むインタフェース画面を要求元のＰＣに表示させる。このインタフェース画面は、Ｊａｖａ（登録商標）など、ウェブ画面を表示し、利用者からの入力を受け入れることのできる一般的な技術を用いて実装できる。

利用者が、この領域指定部内においてマウス等のポインティングデバイスを利用するなどして領域を描画し、検索語入力部に検索の対象となる語を入力して、「検索」ボタンをクリックすると、履歴管理装置１の制御部１１は、検索処理部２５の処理として、当該描画された領域の情報（指定領域情報）と、検索語の情報とを受信し、次の処理を行なう。

すなわち検索処理部２５は、図６に示すように、ストレージ部１３に格納した各履歴情報の語基本情報を参照して、検索語として指定された語に関連づけられた画像データのリストを生成する（Ｓ１）。そして検索処理部２５は、処理Ｓ１にて生成したリストに列挙された画像データの一つであって、未だ注目データとして選択されていないものを注目データとして選択し（Ｓ２）、注目データに関連づけられている検索語の語位置情報を参照して、当該語位置情報によって特定される領域のいずれかが、指定領域情報によって特定される領域に含まれているか否かを調べる（Ｓ３）。ここで、当該語位置情報によって特定される領域が、いずれも指定領域情報によって特定される領域に含まれていなければ、検索処理部２５は、注目データをリストから取り除いて（Ｓ４）、注目データとして未だ選択されていない画像データがリストに含まれているか否かを調べる（Ｓ５）。ここで注目データとして未だ選択されていない画像データがリストに含まれていれば、処理Ｓ２に戻って処理を続ける。

また、処理Ｓ５において注目データとして未だ選択されていない画像データがリストに含まれていなければ（リスト内の画像データのすべてについて処理が終了したならば）、当該画像データのリストを提示する情報を生成して、検索の要求元となったＰＣへ送信する（Ｓ６）。

一方、処理Ｓ３において、語位置情報によって特定される領域のいずれかが、指定領域情報によって特定される領域に含まれていれば、そのまま処理Ｓ５に移行する。

なお、処理Ｓ３での処理は、指定領域情報が矩形にて指定されている場合は、指定領域情報によって指定される矩形に、語位置情報によって特定される矩形領域の全体（分割されている矩形領域についてはそのすべて）が含まれているか否かによって判断する。すなわち、検索処理部２５は、注目データに関連付けられている、検索語に係る語位置情報に含まれる領域情報を順次読み出して、当該領域情報に分割されていることを表すフラグが関連づけられていなければ、当該読み出した領域情報によって画定される矩形領域が、指定領域情報によって指定される矩形に内包されているか否かを調べる。また、語位置情報から読み出した領域情報に、分割されていることを表すフラグが関連づけられていれば、当該領域情報によって画定される矩形領域が、指定領域情報によって指定される矩形に内包されているか否かを調べるとともに、連続して記録されている、分割に係る次の領域情報を読み出して、当該次の領域情報によって画定される矩形領域が、指定領域情報によって指定される矩形に内包されているか否かを調べる。そして、分割に係る矩形領域のすべてが、指定領域情報によって指定される矩形に内包されているときに、矩形領域が、指定領域情報によって特定される領域に含まれていると判断する。

このように本実施の形態によれば、検索語が、指定した領域に含まれる画像データが、検索の結果として提供されることとなり、検索結果の絞り込みを効率的に行なわせることができる。

なお、ここまでの説明では、形態素解析やＮグラム等の方法で得られる語の情報を検索の対象として抽出する例について述べたが、これに代えて、語ではなく、文字ごとに各文字が形成されている領域を表す情報を生成して、文字位置情報として記録し、検索の処理に供してもよい。この場合、文字列の情報と、各文字の形成領域を表す座標情報とを、文字位置情報として記録すればよい。そして、検索処理部２５においては、注目データについての文字列の情報から、検索語を検索し、当該検索によって特定された部分ごとに、当該部分に含まれる各文字についての形成領域のすべてが、指定領域情報で指定されている領域に内包されているか否かを調べる。そして、当該部分に含まれる各文字についての形成領域のすべてが、指定領域情報で指定されている領域に内包されていれば、検索結果のリストに注目データをとどめる。また検索によって特定された部分のいずれについても、各部分に含まれる各文字についての形成領域の少なくとも一部が、指定領域情報で指定されている領域外にある場合は、検索結果のリストから注目データを取り除く。

次に、本実施の形態の履歴管理装置１の動作例について述べる。ここでは例えば図７に示すように、用紙の上半分側にのみ「ａｂｃｄ」なる文字列が記述されたドキュメントＡ（図７（ａ））と、用紙の上半分と下半分の双方に「ａｂｃｄ」なる文字列が記述されたドキュメントＢ（図７（ｂ））とがあり、それぞれが複写機２によって複写されたとする。

これらの複写時において、ドキュメントＡの複写の際に、履歴管理装置１には、当該ドキュメントＡの画像データとともに、複写の日時や利用者名等の情報と、「ａｂｃｄ」なる文字列に関する語基本情報と、その位置を表す語位置情報とが関連づけて記録される。ここで語位置情報は用紙の上半分側の領域情報のみとなる。

また、ドキュメントＢの複写の際に、当該ドキュメントＢの画像データとともに、複写の日時や利用者名等の情報と、「ａｂｃｄ」なる文字列に関する語基本情報と、その位置を表す語位置情報とが関連づけて記録される。ここでの語位置情報は、用紙の上半分側と下半分側の双方の領域の情報が含まれる。

利用者が、下半分側に「ａｂｃｄ」なる文字列を含む画像データを検索する場合、検索の指示を行なうインタフェース画面の領域指定部において、用紙の下半分を取り囲む矩形を描画して（図７（ｃ））、用紙の下半分側を検索範囲の指定領域として設定するとともに、検索語として「ａｂｃｄ」なる文字列を入力する。

履歴管理装置１は、これらの検索条件の指定を受けて、検索語として指定された文字列「ａｂｃｄ」に関連づけられている画像データを検索する。ここでは、上述のようにドキュメントＡ，Ｂの画像データが見いだされ、リストに含められる。

そして履歴管理装置１は、このリストに含められた各画像データについて、検索語に係る語位置情報を参照する。まず、ドキュメントＡに係る画像データにおいては、検索語「ａｂｃｄ」についての語位置情報から用紙の上半分側の領域情報が見いだされるが、この領域情報によって特定される領域は、検索範囲として指定された領域に含まれないので、ドキュメントＡについての画像データは、リストから除かれる。

次に、ドキュメントＢに係る画像データについては、用紙の上半分側の領域情報については、同様に検索範囲として指定された領域に含まれないが、用紙の下半分側の領域情報が指定された領域に含まれることとなるので、ドキュメントＢに係る画像データについてはリストから除かれずに、検索結果に含めて表示される。

このように本実施の形態によると、検索語が記述されている位置を検索の条件に含めることができるので、検索結果の絞り込みを効率的に行なわせることができる。

なお、ここまでの説明では履歴管理装置１は、複写機２やプリンタ３等の画像処理装置とは別体の装置であるものとして説明したが、これらの画像処理装置と一体に構成されてもよい。その場合は、各画像処理装置において処理の対象となった画像データについての履歴情報を蓄積することとなる。

本発明の実施の形態に係る履歴管理装置の構成とその接続例を表すブロック図である。本発明の実施の形態に係る履歴管理装置の機能ブロック図である。本発明の実施の形態に係る履歴管理装置による語位置情報の生成例を表す説明図である。本発明の実施の形態に係る履歴管理装置が生成する語基本情報と、語位置情報の例を表す説明図である。本発明の実施の形態に係る履歴管理装置が提供する検索指示のためのインタフェース画面の例を表す説明図である。本発明の実施の形態に係る履歴管理装置の検索処理の例を表すフローチャート図である。本発明の実施の形態に係る履歴管理装置の動作例に係る説明図である。

符号の説明

１履歴管理装置、２複写機、３プリンタ、１１制御部、１２記憶部、１３ストレージ部、１４通信部、１５インタフェース部、２１文字認識処理部、２２語情報生成部、２３語位置情報生成部、２４履歴情報記録部、２５検索処理部。

Claims

画像処理装置において処理された画像データを処理対象として、当該処理対象の画像データに含まれる文字、ないし語を検出する手段と、
前記検出した文字ないし語について、画像データ内での検出位置を特定する情報を関連づけて検索用情報として、前記処理対象の画像データとともに保持する手段と、
を含み、
当該保持されている検索用情報が、前記文字ないし語と、その検出位置とを検索条件とした画像データの検索処理に供されることを特徴とする履歴管理装置。
コンピュータを用いて、
画像処理装置において処理された画像データを処理対象として、当該処理対象の画像データに含まれる文字、ないし語を検出する工程と、
前記検出した文字ないし語について、画像データ内での検出位置を特定する情報を関連づけて検索用情報として、前記処理対象の画像データとともに保持する工程と、
を実行させ、
当該保持されている検索用情報が、前記文字ないし語と、その検出位置とを検索条件とした画像データの検索処理に供されることを特徴とする履歴管理方法。
コンピュータに、
画像処理装置において処理された画像データを処理対象として、当該処理対象の画像データに含まれる文字、ないし語を検出する手順と、
前記検出した文字ないし語について、画像データ内での検出位置を特定する情報を関連づけて検索用情報として、前記処理対象の画像データとともに保持する手順と、
を実行させ、
当該保持されている検索用情報が、前記文字ないし語と、その検出位置とを検索条件とした画像データの検索処理に供されることを特徴とするプログラム。