JP2007158413A - 画像処理方法及び装置 - Google Patents

Abstract

【課題】機密情報が漏洩されようとする際に、その漏洩を未然に防ぎ、その操作に対して警告することを可能とする画像処理システムを提供すること。
【解決手段】機密として扱う紙文書またはデータのページ内の文字、グラフ、表、画像、写真、フォントなどの構成に関わる特徴を抽出し、これらの特徴を登録情報として格納する。ＭＦＰを使用して出力する際に、先ず、その紙文書またはデータのページ内の文字、グラフ、表、画像、写真、フォントなどの構成に関わる特徴を抽出する。次に、この抽出した特徴を、あらかじめ登録されている文書またはデータの特徴と照合する。この照合の結果、その文書またはデータが、あらかじめ登録された文書またはデータであるか否かを判定し、あらかじめ登録された文書またはデータであると判定した場合に、警告処理を実行する。
【選択図】図３

Description

本発明は、画像処理装置、画像処理方法に関する。

画像処理装置の普及に従って、誰でも原稿の複写やファクシミリ送信等が容易に行うことが可能になっている。しかし、これらはユーザにとっての利便性向上の反面、機密原稿などの複写や送信といった情報漏洩の観点では非常に問題となっている。

このような問題への対策として、例えば、磁気カードなどの手段で、ユーザの認証をして動作可能とするものもある。また、複写や送信などの際に、読み取った画像データを全て記録装置に蓄積しておく画像処理装置が存在する。これにより、情報漏洩した原稿が、どの画像処理装置で読み取られたかを、管理者が前記画像データを確認することによって、いつ、どこで、どのような処理をされたかを追跡可能になるといった効果がある。

ネットワーク・プリントにおいては、サーバを経由して印刷された際に、印刷されたデータに関する情報、印刷された日付、印刷処理を実行した出力者などの履歴を蓄積しておき、万が一情報が漏洩した場合でも履歴を追跡可能にした処理装置も開発されている。（例えば、特許文献１参照）。

また、原稿のコピーにおいては、読み取った画像から、その地紋パターン、背景画像、あるいは前面画像に埋め込まれたドットパターンを検出してあらかじめ登録されたデータと照合することも行われている（例えば、特許文献２、３参照）。これにより、その原稿が機密であるか否かを判定し、この判定結果に基づいてその出力（コピー）の禁止／許可を行っている。

特開２００４−１１８２４３号公報 特開２００４−２０１０６９号公報 特開２００５−１４２９１８号公報

しかしながら、従来の画像処理装置、例えば特許文献１に記載されたものは、基本的には機密文書がコピーされて外部に持ち出され、その持ち出しが、あるいは機密情報の漏洩が発覚してから、その機密が漏洩した足取りを調査するシステムである。したがって、これらシステムは、積極的に情報が漏洩することを防止するというよりも、そのようなシステムであることを開示することにより、２次的な効果として、あるいは受け身の形で情報の漏洩を未然に防ぐ効果も有しているに過ぎない。

また、上述した特許文献２、３に記載されたものは、あらかじめ定められた特定のフォーマットを有する原稿のみが、機密として扱うことができるシステムである。このシステムでは、その原稿の用紙が限定されたり、あるいは、その原稿の作成時や印刷時に特定の処理を施す必要があり、煩わしさが存在する。またその原稿をユーザが観察することによりその原稿が特別に管理されていることを知ることができるなどの、ある意味での欠点もあり、またこれにより一般性が低かった。

したがって、本発明は、オブジェクトごとの画像情報と機密情報を登録しておき、そのオブジェクトが出力されそうになったときに警告を発生させることを目的とする。

このような目的を達成するために、本発明は、画像処理装置であって、画像入力手段により入力された画像情報の領域を分析して、その像域情報に応じてブロック分割するブロック・セレクション手段と、前記ブロック・セレクション手段により分割された１つ以上のオブジェクト画像をベクトル化するベクトル化手段と、前記ブロック・セレクション手段により分割された前記１つ以上のオブジェクト画像に対して機密情報を設定する機密情報設定手段と、前記機密情報設定手段により設定された機密情報に対応するオブジェクト画像のベクトル化された情報に、画像属性情報を付加した情報を、オブジェクト情報として格納する格納手段と、入力されるベクトル化されたオブジェクト情報を用いて前記格納手段内に格納されているオブジェクト情報を検索するオブジェクト情報検索手段と、前記オブジェクト情報検索手段により検索されたオブジェクト画像に機密情報が付加されている場合に警告処理する警告処理手段とを備えることを特徴とするものである。

以上の特徴ある構成を備えることにより、オブジェクトごとの画像情報と機密情報を登録しておき、そのオブジェクトが出力されそうになったときに警告を発することが可能となる。

（第１実施形態）
次に本発明に係る画像処理方法の第１実施形態を図面に基づいて説明する。

（画像処理システム）
図１は、本発明を実装することが可能な画像処理システムを説明するためのブロック図である。本発明は、エリア１として示した構成において、あるいは、さらにエリア２として示した構成における構成要素とをインターネット１０４で接続した環境において、使用することができる。

エリア１内に構築されたＬＡＮ１０７には、記録装置としてのＭＦＰ（マルチ・ファンクション複合機）１００、ＭＦＰ１００を制御するマネージメントＰＣ１０１、クライアントＰＣ（外部記憶手段）１０２が接続されている。さらに、画像の履歴情報を記録するためのジョブ・アーカイブ・サーバ１０６、画像を記憶するための画像用ストレージ・サーバ１０５も接続されている。

エリア２内にはＬＡＮ１０８が構築され、ＬＡＮ１０８には画像用ストレージ・サーバ１０５、およびジョブ・アーカイブ・サーバ１０６が接続されている。なお、エリア２内部のこれらのサーバは、エリア１内部の対応するサーバと同一の符号としており、共に両方に存在することも可能である。通常は、これらのサーバがどちらかのエリアに存在することを想定している。ＬＡＮ１０７、１０８にはプロキシ・サーバ１０３が接続され、ＬＡＮ１０７、１０８はプロキシ・サーバ１０３を介してインターネットに接続される。

画像用ストレージ・サーバ１０５は、ＭＦＰ１００がスキャンしたデータをブロック・セレクションにより文字領域と画像領域に分割し、格納するためのストレージ・デバイスである。ジョブ・アーカイブ・サーバ１０６は、ＭＦＰ１００におけるプリントや送信した画像を、ユーザ情報、日付、ユーザＩＤ、ジョブ種といった画像の属性情報と共にジョブ履歴として記録するためのサーバである。

ＭＦＰ１００は原稿から読み取った入力画像に対する画像処理の一部を担当し、処理結果としての画像データはＬＡＮ１０９を通じてマネージメントＰＣ１０１に入力される。マネージメントＰＣ１０１は、画像記憶手段、画像処理手段、表示手段、入力手段等を含む通常のコンピュータであり、機能的にはこれら構成要素の一部がＭＦＰ１００と一体化して、画像処理システムの構成要素となっている。なお、本実施形態では、マネージメントＰＣにおいて、下記に記載の検索処理などが実行されるものとするが、マネージメントＰＣで行われる処理をＭＦＰで実行するようにしても構わない。

さらにＭＦＰ１００は、ＬＡＮ１０９によってマネージメントＰＣ１０１に直接接続されている。クライアントＰＣ１０２から出力したイメージ・データを、ＭＦＰ１００でプリントすることができる他、格納されている画像データをダウンロードして表示することができる。

（ＭＦＰ）
図２は、図１のＭＦＰ１００の機能ブロックを示す図である。同図において、ＭＦＰ１００は、図示しないオート・ドキュメント・フィーダ（ＡＤＦ）を有する画像読み取り部１１０を備える。画像読み取り部１１０は束状の或いは１枚の原稿の画像を光源で照射し、反射画像をレンズで固体撮像素子上に結像する。固体撮像素子は所定解像度（例えば６００ｄｐｉ）および所定濃度レベル（例えば８ビット）の画像読み取り信号を生成する。画像読み取り信号からラスターデータよりなる画像データが構成される。

ＭＦＰ１００は、記憶装置１１１および記録装置１１２を有し、通常の複写機能を実行する際には、イメージ・データをデータ処理装置１１５によって画像処理して記録信号に変換する。複数枚複写の場合には、１頁分の記録信号を一旦記憶装置１１１に記憶保持した後、記録装置１１２に順次出力して、記録紙上に記録画像を形成する。

また、ＭＦＰ１００は、図示しないモデムを備え、このモデムを介して一般公衆回線からファクシミリ受信し、あるいは、画像読み取り部で読み取った画像を、ファクシミリ送信することができる。

ＭＦＰ１００は、ＬＡＮ１０７との接続のためのネットワークＩＦ１１４を有し、クライアントＰＣ１０２が出力したイメージ・データを、このＩＦから入力して、記録装置１１２によって記録したり、モデムを介してファクシミリ送信することができる。クライアントＰＣ１０２から出力されたイメージ・データはＬＡＮ１０７からネットワークＩＦ１１４を経てデータ処理装置１１５で記録可能な記録信号に変換される。この変換後、ＭＦＰ１００において、記録紙上に記録画像として記録される。また、データ処理装置１１５でファクシミリ送信可能な信号に変換された後、モデムを介して公衆回線上に送信される。

ＭＦＰ１００は、ＭＦＰ１００に設けられたキー操作部（入力装置１１３）、あるいはマネージメントＰＣ１０１の入力装置（キーボード、ポインティング・デバイス等）を通じて操作される。これらの操作のために、データ処理装置１１５は内部の制御部（図示せず。）によって所定の制御を実行する。

また、入力装置１１３にユーザ認識装置１１８が接続され、ユーザ識別を行っている。ユーザ認識装置は、このＭＦＰ１００を使用するユーザの有するＩＣカードの読み取り部、あるいはユーザを識別するデータとそのユーザの暗証番号の入力部から構成される。また、指紋や虹彩識別といった生態認証手段を使用してユーザを特定する装置などを使用することも可能である。このような手段を介して入力したユーザ情報が、あらかじめ記憶している情報と一致しない場合、あるいは、所定のフォーマットを有さず、ユーザの識別ができない場合は、ＭＦＰ１００の操作ができないようになっている。

ＭＦＰ１００は、表示装置１１６を有し、操作入力の状態と処理すべきイメージ・データとを、表示装置１１６によって表示することができる。

記憶装置１１１はネットワークＩＦ１１７を介して、マネージメントＰＣ１０１から直接制御することが可能である。ＬＡＮ１０９は、ＭＦＰ１００とマネージメントＰＣ１０１との間のデータの授受、制御信号授受に用いられる。

整理すると、ＭＦＰ１００は、複写機能、プリンタ機能、スキャナ機能、ファクシミリの送受機能、等を有する。

（画像処理方法の全体の流れ）
本発明に係る画像処理の第１の実施形態は、図３の各ステップにより実行される。なお、図３は、管理者としてのユーザが登録処理をする場合、および非管理者としてのユーザが、使用する場合を示している。図におけるステップＳ３０５、Ｓ３１０、Ｓ３１４は、管理者として認証されたユーザが、登録処理をするか否かの判定を示しており、ユーザが非管理者の場合はこれらの判定でＮＯの方に進む。

ステップＳ３０１（ユーザ認証ステップ）：ユーザ認識装置１１８から入力されたユーザ情報についてユーザの識別を行う。例えば、識別は、ＩＤカード、ＩＤ入力手段もしくは指紋等の生態認証により個人が特定される。

ステップＳ３０２（ユーザ識別ステップ）：登録されていないＩＤ、暗証番号、指紋が入力された場合は、あるいは、入力したデータが所定のフォーマットを有しない場合、表示装置１１６に個人の認証エラーが表示され、ＭＦＰ１００を操作することはできない。登録されているＩＤ、暗証番号、指紋が入力された場合、あるいは、所定のフォーマットを有する場合、処理はステップ３０３に進む。

ステップＳ３０３（画像入力ステップ）：ユーザ認証が終了すると、ＭＦＰ１００の画像読み取り部１１０を動作させることが可能になり、ユーザ操作を受け付けて、原稿をラスター状に走査し、所定解像度および所定濃度レベルの画像信号を取得する。画像信号は、データ処理装置１１５によって前処理され、入力画像の１頁分のイメージ・データとして、記憶装置１１１に保存される。

ステップＳ３０４（ブロック・セレクション（領域分割）ステップ）：マネージメントＰＣ１０１によって、記憶装置１１１に格納されたイメージ・データが取得される。マネージメントＰＣ１０１は、取得したイメージ・データの領域を分析して、背景領域（通常、原稿上の何も記録されていない領域）に対して、文字あるいは線画を含む文字・線画領域と、ハーフ・トーンを含む写真領域、不定形の画像領域のその他、に分ける。さらに文字・線画領域について、主に文字を含む文字領域と、表、図形等を含む線画領域とを分離し、線画領域は表領域と図形領域に分離する。なお、本実施形態では、この場合に、連結画素を検知し、該連結画素の外接矩形領域の形状・サイズ・画素密度等を用いて、属性ごとの領域に分割するものとするが、その他の領域分割手法を用いても構わない。

文字領域については、文字段落ごとの纏まった塊をブロックとして矩形ブロック（文字領域矩形ブロック）にセグメント化し、線画領域では、表、図形等の個々のオブジェクト（表領域矩形ブロック、線画領域矩形ブロック）毎に矩形ブロックにセグメント化する。

ハーフ・トーンで表現される写真領域は、画像領域矩形ブロック、背景領域矩形ブロック等のオブジェクトごとに、矩形ブロックにセグメント化する。これらの矩形ブロックの情報を「領域分割情報」という。

ブロック・セレクション・ステップで得られた領域分割情報と入力画像とを合成して、ＭＦＰ１００の表示装置１１６に表示する。この表示装置１１６に表示される操作画面の一例を図４に示す。この図に示す例においては、左半部に入力画像そのものが画像４１として表示され、右半部に矩形ブロックにより領域分割情報を示す画像４２が表示される。画像４２では、入力画像を簡略表示すると共に、各矩形ブロックを矩形で示す。この図では、矩形ブロックの概念の理解を容易にするために、各矩形ブロックに対してその属性を示している。すなわち、文字（ＴＥＸＴ）／図面（ＰＩＣＴＵＲＥ）／線画（ＬＩＮＥ）／表（ＴＡＢＬＥ）／写真（ＰＨＯＴＯ）の表示を付している。しかしながら、実際には、画面に属性情報は表示されず、分割された矩形領域が枠線として表示されるのみである。

ＴＥＸＴ、ＰＩＣＴＵＲＥ、ＬＩＮＥ、ＴＡＢＬＥ、およびＰＨＯＴＯは、それぞれ、文字領域、図面領域、線図形領域、表領域矩形、および、写真領域の各矩形ブロックについての属性表示である。その他の矩形ブロックには、その他の属性表示を用いることもできる。なお、ＰＩＣＴＵＲＥとＰＨＯＴＯは、色や階調の分布具合から、区分することができる。

なお、図４では入力画像と領域分割情報を左右に並べて表示しているが、これらを重ねて入力画像上に分割された矩形ブロックを表示する等、多様な表示形態が可能である。この処理が完了すると、処理はステップＳ３０５に進む。

ステップＳ３０５：このステップは、ステップＳ３０２で認証したユーザが管理者の場合にのみ存在し、管理者として、登録処理をするのか否かの操作入力を受け付ける。単にユーザとして使用する場合は、あるいは非管理者のユーザの場合はステップＳ３０６に無条件に進む。

ステップＳ３０６（機密情報設定ステップ）：原稿画像全体もしくは、原稿内のオブジェクトごとに機密情報を設定することができる。オブジェクトごとに設定する場合は、表示装置１１６に表示された矩形オブジェクトを選択することにより行う。

ステップＳ３０７（ベクトル化ステップ）：ブロック・セレクションにより分割されたオブジェクト情報をベクトル化処理により各領域のベクトル・データに変換する。ベクトル化の方法は、以下（ａ）〜（ｆ）等が存在する。
（ａ）特定領域が文字領域のときは、さらにＯＣＲによる文字画像のコード変換を行ったり、あるいは文字のサイズ、スタイル、字体を認識し、原稿を走査して得られた文字に可視的に忠実なフォント・データに変換したりする。
（ｂ）特定領域が文字領域であり、かつＯＣＲによる認識が不可能であったとき、文字の輪郭を追跡し、輪郭情報（アウトライン）を線分のつながりとして表現する形式に変換する。
（ｃ）特定領域が図形領域のとき、図形オブジェクトの輪郭を追跡し、輪郭情報を線分のつながりとして表現する形式に変換する。
（ｄ）上述（ｂ）、（ｃ）の処理結果の線分形式のアウトライン情報をベジエ関数などでフィッティングして、関数情報に変換する。
（ｅ）上述の（ｃ）の処理結果の図形オブジェクトの輪郭情報から、図形の形状を認識し、円、矩形、多角形、等の図形定義情報に変換する。
（ｆ）特定領域が図形領域であって、特定領域の表形式のオブジェクトの場合、罫線や枠線を認識し、所定のフォーマットの帳票フォーマット情報に変換する。

以上の方法以外に、イメージ・データをコード情報、図形情報、関数情報等のコマンド定義形の情報に置きかえる種々のベクトル化処理が考えられる。

以上のベクトル化処理が全てのオブジェクトに対して完了すると、処理はステップ３０８に進む。

ステップＳ３０８（オブジェクト検索ステップ）：ベクトル化されたオブジェクトごとに一致する、あるいは類似するオブジェクトの有無検索を行う。ネットワークに接続された画像用ストレージ・サーバ１０５には、画像オブジェクトが記憶（登録）されており、ベクトル化されたオブジェクトと、同じ情報あるいは類似率が高い情報が既にサーバに登録されていないかを検索する。

オブジェクトの検索は、テキスト、写真、表、線画などの各属性に応じて行われる。また、当然ながら、画像用ストレージ・サーバ１０５には、各属性毎に分類して格納されている。検索するオブジェクトが写真画像の場合、画像より抽出される特徴ベクトルに基づいて特徴空間上の誤差より類似率が算出される。ここでいう特徴ベクトルとは、色ヒストグラムや色モーメントのような色に関する特徴量、共起行列、コントラスト、エントロピ、Ｇａｂｏｒ変換等で表現されるテクスチャ特徴量、フーリエ記述子等の形状特徴量など複数挙げられる。このような複数の特徴量のうち最適な組み合わせを用いることができる。

また、検索するオブジェクトがテキストの場合は、ＯＣＲ処理により文字コードが判別されているため、文字列の検索を行う。登録されたものと一致するか、所定の類似率以上のものが存在する場合、処理はステップＳ３０９に進み、そうでない場合、処理はステップＳ３１４に進む。

ステップＳ３０９（機密情報取得ステップ）：オブジェクト検索ステップで一致するオブジェクトが検索された場合は、そのオブジェクトに機密情報データが設定されているかどうかのチェックを行う。設定されている場合、処理はステップＳ３１０に進み、設定されていない場合、処理はＳ３１４に進む。

ステップ３１０：ここのステップは、先のステップ３０５での設定に応じて、分岐する。以前にＳ３０５から、Ｓ３０７に進んだ場合は、Ｓ３１０からＳ３１３に進み、Ｓ３０５からＳ３０６に進んだ場合は、処理はＳ３１０からＳ３１１に進む。

ステップＳ３１１（警告処理ステップ）：この場合、ユーザは管理者であり、登録処理中であり、この警告処理は、登録しようとするブジェクトの一部が機密情報に既に設定されていることを知らせることを意味する。管理者には、表示装置１１６で、どのオブジェクトが機密に設定されるかが判るように表示される。この報知が行われた後、Ｓ３１０に進むことも、また、既に登録されているとの理由で中止することも、ユーザの処理を継続するか否かについてのユーザの選択（ステップＳ３１２）に依存する。ステップＳ３１２で継続を選択した場合は、処理はステップＳ３１５に進み、継続を選択しない場合は、この処理は終了することになる。

ステップＳ３１３（警告処理）：登録処理以外の場合において、機密情報データが設定されている場合には、そのオブジェクトは、以前に機密情報として登録されており、セキュリティーレベルの高いものである。したがって、例えば、コピー操作は制限される（禁止される）必要があることから、操作者に対してセキュリティー情報が含まれていることを通知し、さらに意図的に機密情報をコピーしようとしている可能性があるため出力禁止にする。さらに、機密オブジェクトの登録者、あるいは管理者に対してメールを送信して、セキュリティー情報がコピーされていることを通知することもできる。この場合、処理が停止されて終了したり、あるいは、ステップＳ３１６に進み、その後のステップでこの処理が行われたことを記録することができる。

ステップ３１４：ここのステップは、先のステップ３０５での設定に応じて、分岐する。以前にＳ３０５から、Ｓ３０７に進んだ場合は、処理はＳ３１４からＳ３１８に進み、Ｓ３０５からＳ３０６に進んだ場合は、処理はＳ３１４からＳ３１５に進む。

ステップＳ３１５（機密オブジェクト情報登録ステップ）：オブジェクト検索ステップで一致するオブジェクトがなかった場合には、各オブジェクトを新規オブジェクトとして画像用ストレージ・サーバ１０５に登録を行う。この場合、登録されるオブジェクトには、そのオブジェクトの属性情報（ＴＥＸＴ、等）と共に、登録者、この場合、ステップＳ３０１で認証したユーザの情報を含ませることができる。

登録するオブジェクトが機密情報設定されたオブジェクトである場合には、機密情報データであることを示す情報と共に画像用ストレージ・サーバ１０５に登録される
ステップＳ３１６（画像属性情報取得ステップ）：画像履歴情報として、以下の情報が取得される。日付、時刻情報、認証を行ったユーザ名称、画像の名称、ＦＡＸ、送信、プリント、コピーといったジョブ種類、機体情報及び処理が正常終了したかどうかのジョブ結果等の画像属性情報。

ステップＳ３１７（履歴情報登録ステップ）：画像の属性情報を履歴情報としてジョブ・アーカイブ・サーバ１０６に登録して、この処理は終了する。

ステップ３１８（記録出力ステップ）：ステップＳ３０３で入力した画像を記録出力する。すなわち、複写装置であれば、複写した結果を出力し、ファクシミリ装置の場合では、ファクシミリ送信する。この処理完了後に、ステップＳ３１６に進むこと、あるいは終了することも可能である。

なお、管理者であっても、登録処理以外の場合は、ここに開示した範囲では、原則として、機密情報として設定されているコンテンツ、あるいは機密情報として設定されているコンテンツに類似するコンテンツを含む原稿は、記録出力することはできない。登録処理の場合は、単に、所定のサーバに登録するだけであり、記録出力は行われない。

上述した、ステップ３１１における処理について、さらに説明する。ＭＦＰ１００は、複写機能、プリンタ機能、スキャナ機能、ファクシミリの送受機能を有するので、この警告処理には、複写の禁止、プリントの禁止、スキャナしたデータの出力禁止、ファクシミリ送信の禁止が含まれる。したがって、ステップ３１８の処理には、複写出力、プリント出力、スキャナしたデータの出力、およびファクシミリ送信を含むことができる。

操作者に対してセキュリティー情報が含まれていることを通知する場合にも、複写の禁止、スキャナしたデータの出力禁止、ファクシミリ送信の禁止の場合には、表示装置１１６上にその旨を表示することで代用することが可能である。しかし、プリントの禁止の場合は、そのプリントデータを送信したユーザの端末に対して実行することが必要であり、このような報知は、ユーザ端末に表示されるプリンタのステイタス情報に含ませることができる。

また、このようなイベントが発生した際に、機密オブジェクトの登録者、あるいは管理者に対してメールを送信することも可能である。また、ＭＦＰ１００内に備えられたチャイムを鳴らすなどの、音響を出力することによって、装置周囲の人の注意を喚起することも考えられる。

次に図３に示す各ステップのうちステップ３０４、ステップ３０７について、さらに詳細に説明する。

（ブロック・セレクション化処理）
ステップＳ３０４（ブロック・セレクション・ステップ）においては、先ず入力画像を白黒に２値化し、黒画素輪郭で囲まれる画素塊を抽出する。

さらに、このように抽出された黒画素塊の大きさを評価し、大きさが所定値以上の黒画素塊の内部にある白画素塊に対する輪郭追跡を行う。白画素塊に対する大きさ評価、内部黒画素塊の追跡というように、内部の画素塊が所定値以上である限り、再帰的に内部画素塊の抽出、輪郭追跡を行う。

画素塊の大きさは、例えば画素塊の面積によって評価される。

このようにして得られた画素塊に外接する矩形ブロックを生成し、矩形ブロックの大きさ、形状に基づき属性を判定する。

例えば、縦横比が１に近く、大きさが一定の範囲の矩形ブロックは文字領域矩形ブロックの可能性がある文字相当ブロックとする。近接する文字相当ブロックが規則正しく整列しているときに、これら文字相当ブロックを纏めた新たな矩形ブロックを生成し、新たな矩形ブロックを文字領域矩形ブロックとする。

また扁平な画素塊を線画領域矩形ブロック、一定大きさ以上でかつ四角形の白画素塊を整列よく内包する黒画素塊を表領域矩形ブロック、不定形の画素塊が散在している領域を写真領域矩形ブロック、それ以外の不定形の画素塊を写真領域矩形ブロックとする。

ブロック・セレクション・ステップでは、このようにして生成された矩形ブロックのそれぞれについてその属性、座標、大きさ、等を含むブロック情報および、そのブロック総数を含む入力ファイル情報を生成する。これらの例を図５に示す。なお、図５は、図４と直接的な関係を持たせてはいない。

図５において、ブロック情報には、各ブロックの属性、位置の座標Ｘ、座標Ｙ、幅Ｗ、高さＨ、ＯＣＲ情報が含まれる。属性は１〜５の数値で与えられる。１は文字領域矩形ブロック、２は図面領域矩形ブロック、３は表領域矩形ブロック、４ は線画領域矩形ブロック、５は写真領域矩形ブロックを示す。座標Ｘ、座標Ｙは入力画像における各矩形ブロックの始点のＸ、Ｙ座標（左上角の座標）である。幅Ｗ、高さＨは矩形ブロックのＸ座標方向の幅、Ｙ座標方向の高さである。ＯＣＲ情報は入力画像におけるポインタ情報の有無を示す。さらに入力ファイル情報として矩形ブロックの個数を示すブロック総数Ｎが含まれる。

これらの矩形ブロックごとのブロック情報は、特定領域でのベクトル化に利用される。またブロック情報によって、特定領域とその他の領域を合成する際の相対位置関係を特定でき、入力画像のレイアウトを損なわずにベクトル化領域とラスターデータ領域を合成することが可能となる。

なお、テーブルについては、枠および罫線部分とその内部のＴＥＸＴブロックの部分を有するが、枠および罫線部分と、ＴＥＸＴブロックとは、それぞれ独立したブロックとして扱うことも、結合したブロックとして扱うこともできる。

（ベクトル化ステップ）
ステップＳ３０７（ベクトル化処理）は、一実施形態においては、図８に示す各ステップによって実行することができる。図８は、ステップＳ３０４のブロック・セレクション化処理によってブロック化された各ブロック、および各ブロック内のブロックに対して、再帰的に実行される。先ず、ブロックが選択され、図８の処理が実行される。

ステップＳ８０１：そのブロックが文字領域矩形ブロックであるか否か判断し、文字領域矩形ブロックであればステップＳ８０２のステップに進み、そうでない場合は、ステップＳ８１２に移行する。

ステップ８０２以下のステップは、パターンマッチングの一手法を用いて認識を行い、対応する文字コードを得る処理を含む。

ステップＳ８０２：特定領域に対し横書き、縦書きの判定（組み方向判定）を行うために、特定領域内で画素値に対する水平・垂直の射影を取る。

ステップＳ８０３：ステップＳ８０２で得た射影の分散を評価する。水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きと判断する。

ステップＳ８０４：ステップＳ８０３の評価結果に基づき、組み方向を決定し、行の切り出しを行い、その後文字を切り出して文字画像を得る。

文字列および文字への分解は、横書きならば水平方向の射影を利用して行を切り出し、切り出された行に対する垂直方向の射影から、文字を切り出す。縦書きの文字領域に対しては、水平と垂直について逆の処理を行う。行、文字切り出しに際して、文字のサイズも検出することができる。

ステップＳ８０５：ステップＳ８０４で切り出された各文字について、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルを生成する。特徴ベクトルの抽出には種々の公知手法があり、例えば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴ベクトルとする方法がある。

ステップＳ８０６：ステップＳ８０５で得られた観測特徴ベクトルと、あらかじめ字種（フォント）ごとに求められている辞書特徴ベクトルとを比較し、観測特徴ベクトルと辞書特徴ベクトルとの距離を算出する。

ステップＳ８０７：ステップＳ８０６で算出された距離を評価し、最も距離の近い字種を認識結果とする。

ステップＳ８０８：ステップＳ８０７における距離評価における最短距離が所定値よりも大きいか否かの判定から、類似度を判断する。最短距離が所定値以上の（類似度が低い）場合は、辞書特徴ベクトルにおいて、形状が類似する他の文字に誤認識している可能性が高い。そこで最短距離が所定値以上の（類似度が低い）場合は、ステップＳ８０７の認識結果を採用せず、ステップＳ８１１の処置に進む。最短距離が所定値以下の（類似度が高い）場合は、ステップＳ８０７の認識結果を採用し、ステップ８０９に進む。

ステップＳ８０９（フォント認識ステップ）：文字認識の際に用いる、字種数ぶんの辞書特徴ベクトルを、文字形状種すなわちフォント種に対して複数用意しておき、パターンマッチングの際に、文字コードと共にフォント種を出力する。これにより、文字フォントを認識することができる。

ステップＳ８１０：文字認識およびフォント認識よって得られた文字コードおよびフォント情報を用いて、各々あらかじめ用意されたアウトライン・データを用いて、各文字をベクトル・データに変換する。なお、入力画像がカラーの場合は、カラー画像から各文字の色を抽出してベクトル・データと共に記録する。

ステップＳ８１１：文字を一般的な線画と同様に扱い、該文字をアウトライン化する。すなわち誤認識を起こす可能性の高い文字については、可視的にイメージ・データに忠実なアウトラインのベクトル・データを生成する。

ステップＳ８１２：特定領域が文字領域矩形ブロックでないときは、画像の輪郭に基づいてベクトル化の処理を実行する。

以上の処理により、文字領域矩形ブロックに属するイメージ情報をほぼ形状、大きさ、色が忠実なベクトル・データに変換することができる。

（文字領域以外の領域のベクトル化）
ステップＳ８０１で、選択したブロックが、文字領域矩形ブロック以外の領域、すなわち図面領域矩形ブロック、線画領域矩形ブロック、表領域矩形ブロック等と判断されると、ステップＳ８１２で、そのブロックの黒画素塊の輪郭をベクトル・データに変換する。

この変換について、先ず一般論を説明する。

文字領域以外の領域のベクトル化においては、先ず線画、あるいは輪郭線等を直線および／または所定の曲線の組み合わせとして表現するために、検出した任意形状の曲線を複数の区間（画素列）に区切る「角」を検出する。角とは曲率が極大となる点であり、図１０の曲線上の画素Ｐｉが角か否かの判断は以下のように行う。

すなわち、Ｐｉを起点とし、曲線に沿ってＰｉから両方向に所定画素（ｋ個とする。）づつ離れた画素Ｐｉ−ｋ、Ｐｉ＋ｋを直線の線分Ｌで結ぶ。画素Ｐｉ−ｋ、Ｐ ｉ＋ｋ間の距離をｄ１、線分Ｌと画素Ｐｉとの距離をｄ２、曲線の画素Ｐｉ−ｋ 、Ｐｉ＋ｋ間の弧の長さをＡとするとき、ｄ２が極大となるとき、あるいは比（ｄ１／Ａ）が閾値以下となるときに、その画素Ｐｉを角と判断する。

角によって分割された画素列を、直線あるいは曲線で近似する。直線への近似は最小二乗法等により実行し、曲線への近似は３次スプライン関数などを用いる。画素列を分割する角の画素は近似直線あるいは近似直線における、始端または終端となる。

以上のようにして、線画、あるいは輪郭線等をベクトル化する。

さらにベクトル化された輪郭内に白画素塊の内輪郭が存在するか否かを判断し、内輪郭が存在するときはその内輪郭をベクトル化し、次々と内輪郭の内輪郭というように、再帰的に反転画素の内輪郭をベクトル化する。

以上のように、輪郭の区分線近似を用いれば、任意形状の図形のアウトラインをベクトル化することができる。元原稿がカラーの場合は、カラー画像から図形の色を抽出してベクトル・データと共に記録する。

図９に示すように、ある注目区間で外輪郭ＰＲｊと、内輪郭ＰＲｊ＋１あるいは別の外輪郭が近接している場合、２個あるいは複数の輪郭線をひとまとめにし、太さを持った線として表現することができる。例えば、輪郭Ｐｊ＋１の各画素Ｐｉから輪郭ＰＲｊ上で最短距離となる画素Ｑｉまでの距離ＰｉＱｉを算出し、ＰＱｉのばらつきがわずかである場合には、注目区間を画素Ｐｉ、Ｑｉの中点Ｍｉの点列に沿った直線または曲線で近似することができる。この場合、近似直線、近似曲線の太さは、例えば距離ＰｉＱｉの平均値とする。

線や線の集合体である表罫線は、太さを持つ線の集合とすることにより、効率よくベクトル表現することができる。

対象とするブロック内の輪郭および、存在する場合にその内部の輪郭等について、実行して、最終的な輪郭まとめの処理の後、全体の処理を終了する。

以上の処理において、各ブロックは、それぞれ単独に、処理される。すなわち、テーブルについては、その枠や罫線のみのブロック、その内部の文字ブロックは、それぞれ単独に処理される。

なお写真領域矩形ブロックについては、ベクトル化せず、イメージ・データのままとする。

（図形認識）
以上の線図形等のアウトラインをベクトル化した後、ベクトル化された区分線を図形オブジェクトごとにグループ化する。

図６の各ステップは、ベクトル・データを図形オブジェクトごとにグループ化する処理を示す。

ステップＳ６０１：先ず各ベクトル・データの始点、終点を算出する。

ステップＳ６０２（図形要素検出）：ステップＳ６０１で求められた始点、終点情報を用いて、図形要素を検出する。図形要素とは、区分線が構成している閉図形であり、検出に際しては、始点、終端となっている共通の角の画素においてベクトルを連結する。すなわち、閉形状を構成する各ベクトルはその両端にそれぞれ連結するベクトルを有しているという原理を応用する。

ステップＳ６０３：次に図形要素内に存在する他の図形要素、もしくは区分線をグループ化し、一つの図形オブジェクトとする。また、図形要素内に他の図形要素、区分線が存在しない場合は、その単一の図形要素を図形オブジェクトとする。

（図形要素の検出）
上述したステップＳ６０２（図形要素検出）の処理は、図７に示す各ステップによって実行される。

ステップＳ７０１：先ず、各ベクトル・データから、その両端に他のベクトルを連結していない不要なベクトルを除去し、閉図形を構成するベクトルを抽出する。

ステップＳ７０２：次に閉図形を構成するベクトルについて、いずれかのベクトルの端点（始点または終点）を開始点とし、一定方向、例えば時計回りに、順にベクトルを探索する。すなわち、他端点において他のベクトルの端点を探索し、所定距離内の最近接端点を連結ベクトルの端点とする。閉図形を構成するベクトルを１まわりして開始点に戻ったとき、通過したベクトルを全て一つの図形要素を構成する閉図形としてグループ化する。また、閉図形内部にある閉図形構成ベクトルも全てグループ化する。さらにまだグループ化されていないベクトルの始点を開始点とし、同様の処理を繰り返す。

ステップＳ７０３：最後に、ステップＳ７０１で除去された不要ベクトルのうち、ステップＳ７０２で閉図形としてグループ化されたベクトルに端点が近接しているベクトルを検出し、一つの図形要素としてグループ化する。

以上の処理によって図形ブロックを、再利用可能な個別の図形オブジェクトとして扱うことが可能になる。

（第２実施形態）
この形態は、管理者としてのユーザが登録処理をする場合の他の実施形態を示している。

図１１は、例えば、図２の表示装置上における表示画面を表している。図１１ａは、例えば、図３のステップ３０３で、入力した画像である。図１１ｂは、図１１（ａ）に示す原稿に対して、ユーザが入力装置１１３を操作して、その一部、すなわち、ブロック・セレクション化処理した後の、特定の文字領域矩形ブロックに対し、マスク（黒帯部分）を施した図である。図１１（ｂ）に示すように、公開したくない、機密として管理したい、ブロックに対してオブジェクトごとに、この場合、表領域矩形ブロック内の文字領域矩形ブロックごとに、マスクするマスク処理の機能を有する。

上述した第１の実施形態では、原稿の画像全体、もしくはオブジェクト毎（図１１ａの場合、中央の表領域）に対して機密情報を設定する構成であった。しかし、図１１ｂに示すように、マスク処理を施すことで、そのマスク処理が施された領域を機密情報として、設定を行い、サーバに登録する構成でも良い。

本発明に係る画像処理システムを示すブロック図である。 図１におけるＭＦＰの概略構成を示すブロック図である。 本発明に係る画像処理方法の第１の実施形態を示すフローチャ−トである。 図３の画像処理方法により処理される場合の、原稿と処理結果の画像の例を示す図である。 ブロック・セレクション処理で得られるブロック情報および入力ファイル情報の例を示す表図である。 図３のベクトル化処理で生成されたベクトル・データのグループ化の処理を示すフローチャートである。 図６の処理でグループ化されたベクトル・データに対する図形要素検出の処理を示すフローチャートである。 図３の文字領域のベクトル化処理を示すフローチャートである。 ベクトル化の処理における輪郭線まとめの処理を示す図である。 ベクトル化の処理における角抽出の処理を示す図である。 本発明に係るマスク処理の例を示す図である。

符号の説明

１００ ＭＦＰ
１０１ マネージメントＰＣ
１０２ クライアントＰＣ
１０３ プロキシ・サーバ
１０４ インターネット
１０５ 画像用ストレージ・サーバ
１０６ ジョブ・アーカイブ・サーバ
１０７、１０８ ＬＡＮ
１１０ 画像読み取り部
１１１ 記憶装置
１１２ 記録装置
１１３ 入力装置
１１４ ネットワークＩＦ
１１５ データ処理装置
１１６ 表示装置
１１７ ネットワークＩＦ
１１８ ユーザ認識装置

Claims (6)

1. 画像入力手段により入力された画像情報の領域を分析して、その像域情報に応じてブロック分割するブロック・セレクション手段と、
   前記ブロック・セレクション手段により分割された１つ以上のオブジェクト画像をベクトル化するベクトル化手段と、
   前記ブロック・セレクション手段により分割された前記１つ以上のオブジェクト画像に対して機密情報を設定する機密情報設定手段と、
   前記機密情報設定手段により設定された機密情報に対応するオブジェクト画像のベクトル化された情報に、画像属性情報を付加した情報を、オブジェクト情報として格納する格納手段と、
   入力されるベクトル化されたオブジェクト情報を用いて前記格納手段内に格納されているオブジェクト情報を検索するオブジェクト情報検索手段と、
   前記オブジェクト情報検索手段により検索されたオブジェクト画像に機密情報が付加されている場合に警告処理する警告処理手段と
   を備えることを特徴とする画像処理装置。
2. 前記機密情報設定手段は、前記ブロック・セレクション手段により分割された前記１つ以上のオブジェクト画像に対して、マスク情報を設定するマスク情報設定手段を備え、
   前記格納手段は、前記マスク情報設定手段によりマスク設定されているオブジェクト画像のベクトル化された情報と、当該情報に対する機密情報と、ユーザ情報を含む画像属性情報とを備えることを特徴とする請求項１に記載の画像処理装置。
3. ユーザ認識手段をさらに備え、
   前述画像属性情報は、前記ブロック・セレクション手段により分割された前記１つ以上のオブジェクト画像に対応する画像を前記画像入力手段で入力した際の、前記ユーザ認識手段により認識されたユーザのＩＤ、日付および時刻、このジョブ種類、画像処理装置を示す機器ＩＤ、ジョブの結果を備えることを特徴とする請求項１に記載の画像処理装置。
4. 前記ユーザ認識手段は、カード入力手段、生態認証手段、ＩＤ入力手段のうちの少なくとも１つを備えることを特徴とする請求項３に記載の画像処理装置。
5. 前記警告手段による前記警告処理は、表示手段へメッセージ表示すること、前記出力手段の動作を禁止することのうちの少なくとも１つを備えることを特徴とする請求項１に記載の画像処理装置。
6. 画像入力手段により入力された画像情報の領域を分析して、その像域情報に応じてブロック分割するブロック・セレクション手段と、前記ブロック・セレクション手段により分割された１つ以上のオブジェクト画像をベクトル化するベクトル化手段と、前記ブロック・セレクション手段により分割された前記１つ以上のオブジェクト画像に対して機密情報を設定する機密情報設定手段と、前記機密情報設定手段により設定された機密情報に対応するオブジェクト画像のベクトル化された情報に、画像属性情報を付加した情報を、オブジェクト情報として格納する格納手段とを備えた画像処理システムの処理方法であって、
   入力されるベクトル化されたオブジェクト情報を用いて前記格納手段内に格納されているオブジェクト情報を検索すること、および
   前記検索することによって検索されたオブジェクト画像に機密情報が付加されている場合に警告処理すること
   を備えたことを特徴とする画像処理システムの処理方法。
   

Images