JP2008027131A - 画像検索機能を持つ情報漏えい抑止システム - Google Patents

Abstract

【課題】 プリンタやデジタル複合機のジョブ履歴管理システムで蓄積した文書画像を検索するには類似画像検索が有効であるが、文書画像には文章や複数の画像が混在していることがあり、適切な特徴量抽出ができない。
【解決手段】 文書画像から部分画像を切り出し、部分画像に対して特長量抽出を行う。また、文書画像と部分画像を結び付けて記憶する。部分画像の特徴量に対して類似画像検索を行うことで、その部分画像を含む文書画像を特定することが出来る。検索元となるクエリ画像に対しても、同様の部分画像切り出し処理を行い、あらためて、適切なクエリ画像を同様の部分画像に分割し、適切なクエリ画像を改めてユーザに選択させる。
【選択図】 図１

Description

本発明は、情報処理装置および情報処理方法に関し、詳しくはパーソナルコンピュータ等の情報処理装置とプリンタなどの印刷装置およびデジタル複合機などのコピー、スキャン、Ｓｅｎｄといった機能を有するジョブ入出力装置を有して構成されるシステムにおいて、蓄積されたジョブログ情報内の画像を検索対象とし画像検索を行うことにより追跡可能とする、画像検索機能を持つ情報漏えい抑止システムに関するものである。

近年、コンピュータ技術の発達やデジタル複合機の普及に伴い、原稿の印刷や複写、送信を容易に行えるようになっている。このような利便性向上の反面、機密原稿の複写や送信といった情報漏洩の可能性が増加し、企業活動において情報管理が重要な問題となっている。このような情報漏洩への対策として、プリンタ及びデジタル複合機の各ジョブを実行する際に、扱ったデータをすべて画像として記憶装置に蓄積し、そのジョブを実行環境と合わせて保存しておく情報漏洩抑止システムがある。これにより、情報漏洩した場合に蓄積データを参照することで、その情報がいつ、どこで、どのような処理をされたか、などの情報を追跡でき、情報漏えいの原因究明が可能となる。

画像検索の方法の一つとして、蓄積されている画像に対し検索用キーワードを付与し、検索用に入力された文字列と検索キーワードを照合することで該当する画像を検索する方法がある（特許文献１）。また、別の方法として、検索用に指定された画像（以下「クエリ画像」）と、蓄積されている画像の類似度を判定し、類似する画像を検索する方法がある（特許文献２）。このような類似画像検索は、前記キーワード検索のようにあらかじめキーワードを設定しておく必要がなく、また、類似度に従って検索結果を示すことができるので、目的の画像を効率よく発見することができる。

画像の一部分をクエリ画像とする類似画像検索としては、ユーザに画像の検索対象領域を指定させる方法がある（特許文献３）。画像の一部に含まれるオブジェクトを検索対象とする類似画像検索としては、検索対象となる画像を複数の矩形ブロックに分割し、画像の各ブロックの特徴量を利用する方法がある（特許文献４）。また、画像を任意の部分画像に分割し、各部分画像に対して特徴量抽出を行い、元の画像と結び付けて記憶することで、部分画像に対する検索を実現する方法もある（特許文献５）。
特開２００４−１１８２４３ 特開２００５−２０８７４ 特開２０００−２０７４２０ 特開２００２−２４５０４８ 特開２００４−２４０７５０

しかしながら、上述した従来の技術では、まず特許文献１に書かれている方法では、ジョブを実行したユーザ名やジョブの実行日時などを検索キーワードとして該当ジョブを検索するため、画像の内容を考慮した効果的な検索条件を設定することができない。次に、特許文献２にかかれている方法では、画像検索の対象とする画像は文書を画像化したもの（以下「文書画像」）ではなく、文字領域や余白を含まない純粋な画像（以下「純粋画像」）であることが前提である。ジョブ履歴管理システムで蓄積するような文書画像は、文章と画像が混在していたり、複数の画像を含んでいたりする可能性があるため、文書画像を対象とした画像検索では精度が低くなってしまう課題がある。特許文献３ではユーザがクエリ画像として部分画像の領域を指定することが可能だが、検索対象となるジョブ履歴管理システムで蓄積された画像に対しては効果がない。特許文献４や特許文献５では、部分画像の元画像に対する位置情報を検索情報として使用しているため、同じ部分画像でも元画像に対する座標が異なると、類似度が低いと判断されてしまう。

そこで本発明は、文書画像に対して高精度な検索が可能な類似画像検索機能をもつジョブ履歴管理システムを提供することを目的とするものである。

本発明に係るジョブ履歴管理システムは、
プリンタで印刷した内容およびデジタル複合機の各入出力ジョブ（コピー、スキャン、Ｓｅｎｄ等）の内容を、ジョブログ情報として蓄積し追跡可能とすることで情報漏えいを抑止するジョブ履歴管理システムであって、
印刷を指示する情報機器から追跡対象情報を抽出・生成する手段と、
指示されたプリンタへの印刷内容から追跡対象情報を抽出・生成する手段と、
指示されたデジタル複合機の各入出力ジョブから追跡対象情報を抽出・生成する手段と、
前記抽出手段により抽出されたジョブ情報を蓄積する蓄積手段と、
前記抽出手段が抽出した追跡情報を前記蓄積手段に送信する手段と、
前記蓄積手段によって蓄積されたジョブ情報の中から、指定された画像と類似する画像を検索する類似画像検索手段と、
前記類似画像検索手段で検索元となる画像を指定するための検索画像指定手段と、
前記類似画像検索手段の結果をユーザに提示する類似画像表示手段と、
を有することを特徴とする。

前記蓄積手段は、ジョブ情報と、そのジョブ情報が持つ画像および部分画像と、を関連付けて蓄積する画像関連付け手段と、
を有することを特徴とする。

前記類似画像検索手段は、ＰＤＦなどの複数ページからなるファイルをページごとの画像に分割するページ分割手段と、
前記ページ分割手段によって得られたページ画像を画素値に基づいて単数または複数の部分画像に切り出す部分画像切り出し手段と、
画像の特徴量を抽出する特徴量抽出手段と、
特徴量を前記蓄積手段に蓄積する特徴量登録手段と、
検索元となる画像に対する前記特徴量抽出手段によって得られた画像特徴量と前記蓄積手段に記憶されている特徴量とを比較して両画像の類似度を算出する類似度算出手段と、
前記類似度算出手段の結果に基づいて前記蓄積手段によって蓄積されたジョブログ情報から類似画像を検索する画像検索手段と
前記画像関連付け手段によって、類似画像からその類似画像を含む文書を特定する文書特定手段と、
を有することを特徴とする。

前記検索画像指定手段は、
ユーザが検索元となる画像を指定する第一画像指定手段と、
前記画像指定手段によって指定された画像を前記画像切り出し手段によって部分画像を切り出し、その結果をユーザに表示する部分画像表示手段と、
前記部分画像表示手段で示された部分画像からユーザが画像を指定する第二画像指定手段と、
を有することを特徴とする。

前記類似画像表示手段は、
前記検索画像指定手段によって指定された画像と、前記蓄積手段に蓄積されたジョブ情報に含まれる画像と、を前記類似度算出手段によって比較し、類似度の高い順に画像あるいはその画像に関連付けられたジョブ情報をユーザに提示することを特徴とする。

本発明は、上記のような構成を有することで、ジョブ履歴管理システムが蓄積した文書画像に対する類似画像検索の精度を高める効果がある。また、クエリ画像が文書画像の場合にも、クエリ画像としてより適切な純粋画像をユーザに提示し、選択させることで、高精度な類似画像検索を可能とする。これにより、ジョブ履歴管理システムが蓄積した文書画像に対する高精度な類似画像検索を用いたジョブの追跡が可能となる。

以下、本発明の実施の形態に係るジョブ履歴管理システムに関する実施形態について説明する。

図１は、本実施形態におけるシステム構成図を示す。図示するように、ＬＡＮなどのネットワーク１１を介して、各構成要素が相互に接続されている。クライアントＰＣ１２は、ユーザの印刷指示に応じてジョブ情報をプリントサーバ１３に送信する。プリントサーバ１３は、受信したジョブ情報をアーカイブサーバ１６に送信するとともに、印刷データをプリンタ１４に送信する。プリンタ１４は、プリントサーバ１３から受信した印刷データに従って印刷を実行する。デジタル複合機１５は、コピー、スキャン、Ｓｅｎｄなどの各入出力ジョブの情報をアーカイブサーバ１６に送信する。アーカイブサーバ１６は、プリンタ１３やデジタル複合機１５から送信されたジョブ情報を蓄積する。画像検索サーバ１７は、アーカイブサーバ１６に蓄積されたジョブ情報のうちの文書画像や、画像検索クライアント１８からクエリ画像として指定された文書画像から、画像検索に適した部分画像を切り出す機能、画像の特徴量を抽出する機能、特徴量をアーカイブサーバ１６に蓄積する機能、アーカイブサーバ１６に蓄積された画像の特徴量とクエリ画像の特徴量を比較し類似度を算出する機能、を備える。画像検索クライアント１８は、画像検索サーバ１７に検索指示を出し、算出された類似度に応じた検索結果をユーザに表示する。

プリントサーバ１３やデジタル複合機１５にジョブ情報を蓄積する手段を設け、アーカイブサーバ１６にバッチ処理としてまとめて送信しても良い。

アーカイブサーバ１６は、ジョブ情報と画像特徴量を異なるデータベースとして記憶することが好ましいが、同一のデータベースとして蓄積しても良い。

画像検索クライアント１８は、画像検索サーバと異なるＰＣであることが好ましいが、同一のＰＣとしても良い。

図２は、本実施形態における図１のクライアントＰＣ１２、プリントサーバ１３、アーカイブサーバ１６、画像検索サーバ１７および画像検索クライアント１８のハードウェア構成を示すブロック図である。いずれもＩＢＭ−ＰＣ／ＡＴ互換機などの汎用ＰＣなので同じブロック図としている。ＣＰＵ２１は、内部バスで接続されるＲＡＭやＨＤＤを制御し、本発明を実現するためのプログラムを実行する。ＲＯＭ２２は、ＢＩＯＳなどの基本ソフトウェアを格納している。ＲＡＭ２３は、ＣＰＵ２１のワークスペースや、本発明を実現するためのプログラムを読み込むための一時記憶領域として利用される。ＨＤＤ２４は、前記プログラムをファイルとして格納してある。また、アーカイブサーバ１６においては、ジョブ情報データベース７１や特徴量データベース７２を備える。入力装置２５は、前記プログラムの中で操作画面を持つものを操作する機能を備える。モニタ２６は、前記操作やプログラムの動作を確認するのため表示機能を備える。ネットワークインタフェース２７は、ネットワークに接続するための機能を備える。

画像検索サーバ１７で動作する画像検索サービスは、ＨＤＤ２４に格納されており、実行時にはＲＡＭ２３上にロードされ、ＣＰＵ２１の制御のもと実行される。

画像検索クライアント１８で動作する画像検索アプリケーションは、ユーザによるクエリ画像の指定および画像検索結果の表示といった機能を提供する。クエリ画像の特徴量抽出およびクエリ画像とジョブ情報画像の特徴量比較処理、類似度算出処理は、画像検索アプリケーションの管理のもと、画像検索サーバ１７が行う。画像検索アプリケーションはＨＤＤ２４に格納されており、実行時にはＲＡＭ２３上にロードされ、ＣＰＵ２１の制御のもと実行される。

図３は、本実施形態における画像の特徴量登録のフローである。ステップＳ３１では、特徴量を登録する文書画像ファイルをアーカイブサーバ１６から取得する。ステップＳ３２では、文書画像ファイルがＰＤＦなど複数のページから構成されるファイルの場合に、ページごとに分割を行う。ステップＳ３３では、後記図４のように、分割された各ページの文書画像に含まれる画像を切り出す。ステップＳ３２で取得したページ画像が文書画像ではなく純粋画像である場合は、ステップＳ３３の画像切り出し処理の前後で画像は変化しない。ステップＳ３４では、ステップＳ３３の結果切り出されたすべての部分画像に対して、特徴量の抽出を行う。ステップＳ３５では、抽出された特徴量をアーカイブサーバ１６に保存する。

図４は、本実施形態における特徴量登録の過程を示す説明図である。ジョブ履歴管理システムで蓄積する文書画像は、文書画像４１１のように複数の画像を含むものや、画像や文章が混在する可能性がある。このとき、文書画像４１１に対して画像の特徴量を抽出しても、類似画像検索に適した情報を得ることができない。そこで本発明では、文書画像４１１に対して画素値に基づいて部分画像４２１および４２２を切り出し、各部分画像に対して画像の特徴量を抽出する。部分画像４２１および４２２の特徴量をアーカイブサーバ１６に登録する際には、部分画像４２１および４２２が文書画像４１１の一部であることを示すために、文書画像４１１の画像ＩＤおよび部分画像４２１および４２２が含まれているページ番号を合わせて保存する。

図５は、ジョブ履歴管理システムで蓄積したジョブ情報の中から、ユーザが指定した画像に類似する画像を検索する類似画像検索フローである。ステップＳ５１ではユーザが画像検索クライアント１８上で画像検索アプリケーションを使用し、第一画像指定手段によって検索元となるクエリ画像を入力する。ステップＳ５２では、前記図３のステップＳ３２と同様に、クエリ画像に対して部分画像の切り出し処理を行う。ステップＳ５１で入力されたクエリ画像が文書画像ではなく純粋画像である場合は、ステップＳ５２の画像切り出し処理の前後でクエリ画像は変化しない。ステップＳ５３では、ステップＳ５２の画像切り出しの結果、クエリ画像の候補となる画像が複数あるかどうかを判断する。クエリ画像候補が一つである場合は、ステップＳ５６の特徴量抽出処理へ進む。クエリ画像候補が複数ある場合には、あらためてユーザにクエリ画像を選択させるために、ステップＳ５４としてクエリ画像候補の一覧をユーザに表示する。ステップＳ５５では、ステップＳ５４で示されたクエリ画像候補の一覧から、第二画像指定手段によってユーザがクエリ画像を選択する。ステップＳ５６では、クエリ画像に対し、画像の特徴量抽出を行う。ステップＳ５７では、ステップＳ５６で抽出したクエリ画像の特徴量と、アーカイブサーバに蓄積された文書画像の特徴量を比較し類似度を算出する。ステップＳ５８では、ステップＳ５７で算出した類似度に基づいて、類似画像検索結果を表示する。

ステップＳ５２の画像切り出し手段で用いられる方法は、ステップＳ３３で行う蓄積文書画像に対する画像切り出し手段で用いられる方法と同一であることが好ましいが、異なる方法であっても良い。

ステップＳ５７においては、画像検索クライアントにジョブ実行日時やユーザ名などの絞込み条件を入力し、アーカイブサーバ内のジョブ情報と照合することで、検索対象とする文書画像を絞り込んでも良い。

図６は、クエリ画像指定の過程を示す説明図である。ユーザは、第一画像指定手段によって、検索元となる画像６１１を指定する。画像６１１が文書画像の場合、画像切り出し手段によってクエリ画像候補となる部分画像（図６の例では部分画像６２１および６２２）をユーザに提示する。ユーザは提示されたクエリ画像候補の中から、第二画像指定手段によってあらためてクエリ画像を指定する。第二画像指定手段によって指定されたクエリ画像は、文書画像に画像切り出し手段を適用して得られた純粋画像である。

図７は、ジョブ履歴管理システムで蓄積したジョブ情報が持つ文書ＩＤと、各ジョブに含まれる画像が持つ画像ＩＤとの関連を示す説明図である。ジョブ履歴管理システムによってジョブ情報データベース７１として蓄積したジョブログは、ジョブの実行日時やジョブを発生させたユーザなどの情報とともに、ジョブを一意に特定するための文書ＩＤを持つ。また、前記画像切り出し手段の結果、一つのジョブが複数の画像を含んでいる可能性があり、各画像に対してはその画像を一意に特定するための画像ＩＤを割り当て、特徴量抽出を行い特徴量データベース７２に蓄積する。また、その画像を含んでいる文書の文書ＩＤをあわせて記憶しておく。こうすることにより、類似画像検索手段によりクエリ画像と類似する特徴量を持つ画像ＩＤを特定し、さらにその画像が含まれる文書ＩＤを特定することができる。

図７の例では特徴量データベースにその特徴量を持つ部分画像を含む文書のＩＤを記憶することで、画像と文書の結び付けを行っているが、反対にジョブ情報データベースに画像ＩＤを記憶することで画像と文書を結び付けても良い。また、ジョブ情報データベースと特徴量データベースとは別に、画像と文書を結び付けるための別のデータベースを用意しても良い。

本実施形態におけるシステム構成図。 プリンタドライバの印刷命令フロー。 画像の特徴量登録フロー。 特徴量登録の過程を示す説明図。 類似画像検索フロー。 クエリ画像指定の過程を示す説明図。 ジョブ情報データベースと特徴量データベースの関連の一例を示す説明図。

符号の説明

１１ ネットワーク
１２ クライアントＰＣ
１３ プリントサーバ
１４ プリンタ
１５ デジタル複合機
１６ アーカイブサーバ
１７ 画像検索サーバ
１８ 画像検索クライアント
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ ＨＤＤ
２５ 入力装置
２６ モニタ
２７ ネットワークインタフェース

Claims (5)

1. プリンタで印刷した内容およびデジタル複合機の各入出力ジョブの内容を、ジョブログ情報として蓄積し追跡可能とすることで情報漏えいを抑止するジョブ履歴管理システムであって、
   印刷を指示する情報機器から追跡対象情報を抽出・生成する手段と、
   指示されたプリンタへの印刷内容から追跡対象情報を抽出・生成する手段と、
   指示されたデジタル複合機の各入出力ジョブから追跡対象情報を抽出・生成する手段と、
   前記抽出手段により抽出されたジョブ情報を蓄積する蓄積手段と、
   前記抽出手段が抽出した追跡情報を前記蓄積手段に送信する手段と、
   前記蓄積手段によって蓄積されたジョブ情報の中から、指定された画像と類似する画像を検索する類似画像検索手段と、
   前記類似画像検索手段で検索元となる画像を指定するための検索画像指定手段と、
   前記類似画像検索手段の結果をユーザに提示する類似画像表示手段と、
   を有することを特徴とするジョブ履歴管理システム。
2. 前記蓄積手段は、ジョブ情報と、そのジョブ情報が持つ画像および部分画像と、を関連付けて蓄積する画像関連付け手段と、
   を有することを特徴とする請求項１に記載のジョブ履歴管理システム。
3. 前記類似画像検索手段は、複数ページからなるファイルをページごとの画像に分割するページ分割手段と、
   前記ページ分割手段によって得られたページ画像を画素値に基づいて単数または複数の部分画像に切り出す部分画像切り出し手段と、
   画像の特徴量を抽出する特徴量抽出手段と、
   特徴量を前記蓄積手段に蓄積する特徴量登録手段と、
   検索元となる画像に対する前記特徴量抽出手段によって得られた画像特徴量と前記蓄積手段に記憶されている特徴量とを比較して両画像の類似度を算出する類似度算出手段と、
   前記類似度算出手段の結果に基づいて前記蓄積手段によって蓄積されたジョブログ情報から類似画像を検索する画像検索手段と
   前記画像関連付け手段によって、類似画像からその類似画像を含む文書を特定する文書特定手段と、
   を有することを特徴とする請求項１に記載のジョブ履歴管理システム。
4. 前記検索画像指定手段は、
   ユーザが検索元となる画像を指定する第一画像指定手段と、
   前記画像指定手段によって指定された画像を前記画像切り出し手段によって部分画像を切り出し、その結果をユーザに表示する部分画像表示手段と、
   前記部分画像表示手段で示された部分画像からユーザが画像を指定する第二画像指定手段と、
   を有することを特徴とする請求項１に記載のジョブ履歴管理システム。
5. 前記類似画像表示手段は、
   前記検索画像指定手段によって指定された画像と、前記蓄積手段に蓄積されたジョブ情報に含まれる画像と、を前記類似度算出手段によって比較し、類似度の高い順に画像あるいはその画像に関連付けられたジョブ情報をユーザに提示することを特徴とする請求項１に記載のジョブ履歴管理システム。

Images