JP2009200794A - 文書の改竄検出プログラム及び改竄検出装置 - Google Patents

Abstract

【課題】文書に加えられた改竄を適切に検出する。
【解決手段】画像データに含まれる画素を画素値の範囲毎にグループ化するグループ化ステップＳ１２と、画素のグループの画像データ毎を処理単位として文字認識を行う文字認識ステップＳ１４と、文字認識ステップＳ１４における処理結果に応じて画像データに改竄が加えられているか否かを判定する改竄判定ステップＳ１６と、をコンピュータに実行させる。
【選択図】図３

Description

本発明は、文書の改竄検出プログラム及び改竄検出装置に関する。

従来、紙等の印刷媒体に印刷された画像の改竄を検出する技術が知られている。

例えば、スキャナ等によって読み込まれた画像データを解析し、改竄のために原稿に貼られた紙片の端部に生じる細い筋を検出し、その検出部で囲まれる部分を改竄部とする技術が知られている（特許文献１）。

また、修正液を用いて原稿を改竄した場合、読み込まれた原稿の画像データの用紙の輝度と修正液を用いた部分の輝度との差に基づいて改竄を検出する技術が開示されている（特許文献２及び３）。

また、文字情報等からなる文書画像と所定のコードパターンからなるコード画像を含む原稿の画像データよりコード画像を抽出し、当該コード画像の欠落状態から改ざんを検出する技術も開示されている（特許文献４）。

特開平１１−４１４５０号公報 特開２００７−１２４６１６号公報 特開２００７−２０７１８４号公報 特開２００７−２８３２４号公報

原稿に残る紙片の縁や修正液の痕を検出する技術では、原稿に直接書き加えた改竄を適切に検出することができない。また、改竄検出用の付加情報を埋め込む技術では付加情報を原稿に埋め込んでおく必要があり、既に印刷されている紙文書には適用することができない。

本発明の一態様は、画像データに含まれる画素を画素値の範囲毎にグループ化するグループ化ステップと、前記画素のグループの画像データ毎を処理単位として文字認識を行う文字認識ステップと、前記文字認識ステップにおける処理結果に応じて前記画像データに改竄が加えられているか否かを判定する改竄判定ステップと、をコンピュータに実行させることを特徴とする改竄検出プログラムである。

ここで、前記文字認識ステップは、さらに前記画像データ全体を処理単位として文字認識を行い、前記改竄判定ステップは、前記画素のグループの画像データ毎を処理単位として文字認識を行ったときの認識結果と、前記画像データ全体を処理単位として文字認識を行ったときの認識結果と、が異なる場合に前記画像データに改竄が加えられていると判定してもよい。

また、本発明の別の態様は、画像データに含まれる画素を画素値の範囲毎にグループ化するグループ化ステップと、前記画素のグループを重ね合わせた画像データを処理単位として文字認識を行う文字認識ステップと、前記文字認識ステップにおける処理結果に応じて前記画像データに改竄が加えられているか否かを判定する改竄判定ステップと、をコンピュータに実行させることを特徴とする改竄検出プログラムである。

ここで、前記文字認識ステップは、前記画素のグループの異なる組み合わせについて文字認識を行い、前記改竄判定ステップは、前記文字認識ステップにおいて前記画素のグループの異なる組み合わせにおいて文字認識の結果が異なる場合に前記画像データに改竄が加えられていると判定してもよい。

また、前記文字認識ステップは、前記画素のグループに含まれるグループ化された画素の画素数が多い順に順次前記画素のグループを重ね合わせた画像データについて文字認識を行ってもよい。

また、前記改竄判定ステップは、前記画素のグループを重ね合わせた第１の画像データに対する文字認識の結果と、前記第１の画像データとは異なる前記画素のグループを重ね合わせた第２の画像データに対する文字認識の結果と、が異なる場合に、前記第１の画像データに含まれる画素の代表値と前記第２の画像データに含まれる画素の代表値との差が所定値以上である場合に前記画像データに改竄が加えられていると判定してもよい。

また、コンピュータに、前記画像データ内において改竄検出が必要な検出対象領域をユーザから取得する検出対象領域取得ステップを実行させ、前記文字認識ステップは、前記検出対象領域のみについて文字認識を行ってもよい。

また、コンピュータに、前記画像データ全体を文字認識して、その認識結果に基づいて改竄検出が必要な検出対象領域を抽出する検出対象領域抽出ステップを実行させ、前記文字認識ステップは、前記検出対象領域のみについて文字認識を行ってもよい。

また、前記検出対象領域抽出ステップは、前記画像データ全体の文字認識の結果において数字として認識された領域を含む検出対象領域を抽出してもよい。

また、前記改竄判定ステップにおいて改竄が検出された場合、前記検出対象領域のみ画素値を多値データとして記憶部に保存してもよい。

また、前記改竄判定ステップにおいて改竄が検出された場合、前記画像データを多値データとして記憶部に保存してもよい。

また、コンピュータに、前記改竄判定ステップにおいて改竄が検出された場合にユーザに対して警告を呈示する警告ステップを行わせてもよい。

また、前記警告ステップは、前記改竄判定ステップにおいて改竄として検出された領域を強調表示してユーザに呈示してもよい。

また、前記画素値は、輝度又は色差としてもよい。

また、本発明の別の態様は、画像データに含まれる画素を画素値の範囲毎にグループ化するグループ化手段と、前記画素のグループの画像データ毎を処理単位として文字認識を行う文字認識手段と、前記文字認識手段における処理結果に応じて前記画像データに改竄が加えられているか否かを判定する改竄判定手段と、を備えることを特徴とする改竄検出装置である。

また、本発明の別の態様は、画像データに含まれる画素を画素値の範囲毎にグループ化するグループ化手段と、前記画素のグループを重ね合わせた画像データを処理単位として文字認識を行う文字認識手段と、前記文字認識手段における処理結果に応じて前記画像データに改竄が加えられているか否かを判定する改竄判定手段と、を備えることを特徴とする改竄検出装置である。

これらの装置は、上記改竄検出プログラムをコンピュータによって実行することによって実現することができる。また、上記各ステップを実行する改竄検出プログラムをコンピュータによって実行することによって、それらの機能を実現する改竄検出装置を実現することもできる。

請求項１及び１５に記載の構成によれば、画素の画素値の範囲に応じてグループ化された画素毎に文字認識処理を行うことで改竄検出の精度をより高めることができる。

請求項２の記載の構成によれば、画像データ全体の文字認識結果と、グループ化された画素毎の文字認識結果と、を比較することによって改竄検出の精度をより高めることができる。

請求項３及び１６に記載の構成によれば、画素の画素値の範囲に応じてグループ化された画素群を組み合わせて得られる画像データに対して文字認識処理を行うことで改竄検出の精度をより高めることができる。

請求項４に記載の構成によれば、画素の画素値の範囲に応じてグループ化された画素群を組み合わせて得られる画像データ間で文字認識処理結果が異なる場合に改竄と検出することによって改竄検出の精度をより高めることができる。

請求項５に記載の構成によれば、画素数が多いグループの画像データから順に重ね合わせて文字認識処理を行い、文字認識処理の結果を比較することによって効率よく改竄検出を行うことができる。

請求項６に記載の構成によれば、文字認識結果が異なると共に、重ね合わせた画像データの画素値の代表値が異なる場合のみ改竄有りと判定することで改竄判定の精度をより高めることができる。

請求項７に記載の構成によれば、改竄の検出処理が必要な領域をユーザが指定できるようにすることによって、改竄検出を効率的に行うことができる。

請求項８に記載の構成によれば、改竄の検出処理が必要な領域を自動的に抽出することによって、改竄検出を効率的に行うことができる。

請求項９に記載の構成によれば、数字であると認識された画像領域を改竄の検出処理が必要な領域として抽出することによって、改竄検出を効率的に行うことができる。

請求項１０に記載の構成によれば、改竄有りと検出された領域のみ画像データを多値データとして保存することによってメモリの使用効率を向上させることができる。

請求項１１に記載の構成によれば、改竄有りと検出された場合に画像データを多値データとして保存することによってメモリの使用効率を向上させることができる。

請求項１２に記載の構成によれば、改竄が検出された場合にユーザに対して警告を呈示することによって、ユーザは改竄を知ることができる。

請求項１３に記載の構成によれば、改竄が検出された場合にユーザに対して改竄が検出された領域を強調して表示することによって、原稿中の改竄を調査し易くできる。

請求項１４に記載の構成によれば、画像データのグループ分けをする場合の基準となる画素値を輝度又は色差とすることによって、グループ分けの処理をより簡易に行うことができる。

＜第１の実施の形態＞
本発明の第１の形態における改竄検出装置１００は、図１に示すように、一般的な構成を有するコンピュータにおいて改竄検出プログラムを実行することによって実現することができる。

ただし、本実施の形態では１台のコンピュータによって改竄検出プログラムによる処理を総て行う態様について説明するが、一般的な分散処理システムの技術により、各処理を複数のコンピュータに分散させて行わせてもよい。

本発明の実施の形態における改竄検出装置１００は、中央処理部１０、記憶部１２、入力部１４、表示部１６及びインターフェース部１８を含んで構成される。これらの構成部は、バスやネットワーク等の情報伝達手段によって相互に情報伝達可能に接続される。

中央処理部１０は、ＣＰＵ（中央制御装置）を含んで構成される。中央処理部１０は、記憶部１２、入力部１４及びインターフェース部１８から情報を受け取り、その情報に対してプログラムに従って演算等の処理を施し、表示部１６及びインターフェース部１８へ出力することによって情報処理を行う。本実施の形態では、中央処理部１０は、記憶部１２に予め格納されている改竄検出プログラムを実行することによって、処理対象となる画像データに含まれる改竄を検出する処理を実現する。

記憶部１２は、半導体メモリ、ハードディスク装置、光ディスク装置等の情報記憶装置を含んで構成される。記憶部１２は、改竄検出装置１００で実行される改竄検出プログラムや改竄検出装置１００での処理に供されるデータを格納及び保持する。

入力部１４は、キーボード等の文字データ入力装置、マウス等のポインティングデバイス等の情報入力装置を含んで構成される。入力部１４は、改竄検出処理を行うユーザによって操作され、改竄検出処理に対するユーザからの指示や処理のためのデータを受け付けるために用いられる。また、入力部１４は、紙等の印刷媒体に画像形成された画像を読み取り、電子データである画像データに変換するスキャナ等の画像読取装置を含んでもよい。入力部１４から入力されたデータは記憶部１２に格納及び保持される。

表示部１６は、ディスプレイ等の表示装置を含んで構成される。表示部１６は、アプリケーションでの処理を行う際にユーザにユーザインターフェース画像や処理対象である情報を呈示するために用いられる。例えば、ユーザに対してユーザインターフェース画像を呈示し、改竄検出処理に必要な情報の入力を促すために用いられる。

インターフェース部１８は、改竄検出装置１００をＬＡＮ、ＷＡＮ、インターネット等の通信手段を介して他の装置へ情報伝達可能に接続するための装置を含んで構成される。本実施の形態において、改竄検出装置１００は、インターフェース部１８を用いて改竄の検出対象となる画像データや改竄検出処理に必要なデータを外部の装置から取得してもよい。インターフェース部１８は、例えば、ＴＣＰ／ＩＰ等の既存のプロトコルに則って情報伝達を実現する装置としてもよい。

図２は、本実施の形態における改竄検出装置１００を機能ブロック図として示したものである。

改竄検出装置１００は、図２に示すように、画像取得手段２０、グループ化手段２２、文字認識手段２４、改竄判定手段２６及び警告表示手段２８を含んで構成される。

以下、改竄検出装置１００において図２の機能ブロック図に示す機能を実現する際の処理について説明する。以下の処理は、改竄検出装置１００において改竄検出プログラムを実行することによって実現される。

＜改竄検出処理＞
改竄検出処理は、図３に示すフローチャートに沿って実行される。中央処理部１０は、記憶部１２に記憶されている改竄検出プログラムの実行を開始すると、ステップＳ１０からの処理を行う。ここでは、図４〜図６を参照して説明を行うが、説明を分かりやすくするために処理対象となる画像データは簡略化されたものとしている。実際には改竄の検出対象となる原稿はさらに複雑なものであってもよい。

ステップＳ１０では、改竄検出の処理対象となる画像データを取得する。このステップＳ１０が図２における画像取得手段２０に相当する。画像データは、入力部１４に含まれる画像読取装置によって紙などの印刷媒体に画像形成されている原稿を読み取ることによって取得することができる。また、インターフェース部１８を介して、外部の装置から画像データを取得してもよい。取得された画像データは記憶部１２に格納及び保持される。このステップＳ１０で取得する画像データは多値データであるものとする。

ステップＳ１２では、改竄検出の処理対象となる画像データに含まれる画素を画素値に基づいてグループ化する。このステップが図２におけるグループ化手段２２に相当する。

まず、中央処理部１０は、記憶部１２から改竄検出の処理対象となる画像データを読み出し、画像データに対してラベリング処理を行う。各々の画素を注目画素として注目画素の画素値と注目画素から所定の距離内（画素数内）にある近傍の画素の画素値とを比較し、それらの画素値が所定の範囲内に収まる画素同士に同一のラベルを付す。すなわち、ラベリング処理では、近い画素値を有する画素であって、画素同士が繋がり合っている画素群に分ける処理を行う。各画素のラベル情報は記憶部１２に格納及び保持される。

図４にラベリング処理の例を示す。図４において、画像データ全体における画像の画素値の違いはハッチングの濃さでの違いで示している。また、各ラベルはアルファベット小文字で示しており、異なるラベルが付された画素には異なるアルファベットを付して示している。図４では、画像データに含まれる画素にａ〜ｅの５つのラベルが付されている（図を見やすくするために背景部分にはラベルを付していない）。

例えば、画像データの輝度によってラベリング処理を行う場合、画像データの輝度が０〜２５５までの２５６階調で表されているとすると、注目画素と注目画素から２画素以内にある画素との輝度の差が５階調以内である場合にそれらの画素に同一のラベルを付すという処理を行う。

また、画像データの色差によってラベリング処理を行う場合、画像データの赤の強度Ｒ、緑の強度Ｇ、青の強度Ｂがそれぞれ０〜２５５までの２５６階調で表されているとすると、注目画素と注目画素から２画素以内にある画素とのいずれかの色の強度の差が５階調以内である場合にそれらの画素に同一のラベルを付すという処理を行う。また、赤、緑及び青の強度の二乗平均（Ｒ²＋Ｇ²＋Ｂ²）^1/2／３の差が所定値以内である場合にそれらの画素に同一のラベルを付すという処理を行うものとしてもよい。

なお、各画像についてのラベルの付し方はこれらの例に限定されるものではなく、画素の画素値に基づいて互いに近傍（所定の距離内又は所定の画素数内）にあり画素値が近い特徴を有する画素同士に同じラベルが付されるものであればよい。

次に、中央処理部１０は、ラベリングされた画素をグループ化する。同じラベルが付された画素群の画素値の代表値を決定し、その代表値が所定の画素値の範囲内にある異なるラベルが付された画素群同士を同一のグループとして指定する。すなわち、グループ化処理では、近い画素値を有する画素であって、画素同士が繋がり合っている画素群としてラベル付けされた画素について、互いに近い画素値を有する画素群をさらに纏める処理を行う。各画素のグループ情報は記憶部１２に格納及び保持される。

図５にグループ化処理の例を示す。図５において、各グループはアルファベット大文字で示しており、異なるグループに分けられた画素には異なるアルファベットを付して示している。図５では、ラベルａ及びｄが付された画素群の画素値の代表値が同じ画素値の範囲内にあり、ラベルｂ，ｃ及びｅが付された画素群の画素値の代表値が同じ画素値の範囲内にあり、それぞれグループＡ及びグループＢに分けられている（図を見やすくするために背景部分はグループの符号を付していない）。

例えば、画像データの輝度によってグループ化を行う場合、画像データの輝度が０〜２５５までの２５６階調で表されているとすると、２５６階調を０〜４９（背景グループ），５０〜１４９（第１グループ）及び１５０〜２５５（第２グループ）の３グループに分け、上記ラベリング処理によって同一のラベルが付された画素群の輝度の平均値を代表値として、その代表値が含まれるグループにそのラベルが付された画素群をグループ分けしてもよい。

また、画像データの色差によってグループ化を行う場合、画像データの赤の強度Ｒ、緑の強度Ｇ、青の強度Ｂがそれぞれ０〜２５５までの２５６階調で表されているとすると、いずれかの色の強度の階調を０〜４９（背景グループ），５０〜１４９（第１グループ）及び１５０〜２５５（第２グループ）の３グループに分け、上記ラベリング処理によって同一のラベルが付された画素群のその色の強度の平均値を代表値として、その代表値が含まれるグループにそのラベルが付された画素群をグループ分けしてもよい。

また、階調を０〜４９（背景グループ），５０〜１４９（第１グループ）及び１５０〜２５５（第２グループ）の３グループに分け、上記ラベリング処理によって同一のラベルが付された画素群に含まれる各画素の色の強度の二乗平均（Ｒ²＋Ｇ²＋Ｂ²）^1/2／３の平均値を代表値として、その代表値が含まれるグループにそのラベルが付された画素群をグループ分けしてもよい。

なお、各画像についてのグルーピングの方法はこれらの例に限定されるものではなく、互いに近い画素値を有する画素が同一のグループに分けられる方法であればよい。また、グループ分けの基準となる階調の範囲は上記例に限定されるものではなく、グループの数も３つに限定されるものではない。

ステップＳ１４では、文字認識処理を行う。このステップＳ１４が図２における文字認識手段２４に相当する。中央処理部１０は、処理対象となる画像データ全体及びステップＳ１２においてグループ化された画素群毎の画像データについて文字認識処理を施す。文字認識処理は、既存のアルゴリズムを適用することができる。

ここでは、まず同一のグループに分けられた画素のみを含む画像データ毎に文字認識処理を行う。具体的な処理を例として挙げれば、同一のグループに分けられた画素のみを含む画像データを各グループに分けられた画像が明確となるように２値化する。そして２値化された画像データに含まれる画像を連続する画素群毎のブロックに切り分けて、それぞれの画像ブロック毎に文字認識処理を施す。

例示として、図５に示すグループ分けの例では、第１グループ（階調５０〜１４９）の画像について階調５０〜１４９の画素値を有する画素を“１”、その他の画素値を有する画素を“０”とした２値化画像データを生成し（図６（ａ）：ただし“０”は示していない）、その第１グループの２値化画像データに含まれる画素値“１”の画素を連続する画素群毎に切り分けて、その連続する画素群を包含する画像領域を画像ブロック５４，５６とし（図６（ｂ））、それぞれの画像ブロック５４，５６毎に文字認識処理を行う。ここでは、画像ブロック５４は文字「１」と判定され、画像ブロック５６は文字「６」と判定されたものとする。同様に、第２グループ（階調１５０〜２５５）については、階調１５０〜２５５の画素値を有する画素を“１”、その他の画素値を有する画素を“０”とした２値化画像データを生成し（図６（ａ）：ただし“０”は示していない）、その第２グループの２値化画像データに含まれる画素値“１”のうち連続する画素毎に切り分けて（図６（ｂ））、その連続する画素群を包含する画像領域を画像ブロック５８，６０とし、それぞれの画像ブロック５８，６０毎に文字認識処理を行う。ここでは、画像ブロック５８，６０共に文字としては認識されなかったものとする。

さらに、改竄検出の処理対象とする画像データ全体に対しても文字認識処理を施す。具体的な処理を例として挙げれば、改竄検出の処理対象とする画像データ全体に含まれる画素をそれらの画素値に応じて所定の閾値を基準に２値化する。そして２値化された画像データに含まれる画像を連続する画素群毎のブロックに切り分けて、それぞれの画像ブロック毎に文字認識処理を施す。すなわち、グループ化などを施す前の画像データ全体についての文字認識結果を得る。

例示として、図５に示す画像データの例では、階調５０〜２５５の画素値を有する画素を“１”、その他の画素値を有する画素を“０”とした２値化画像データを生成し（図６（ａ）：ただし“０”は示していない）、その第１グループの２値化画像データに含まれる画素値“１”の画素を連続する画素群毎に切り分けて、その連続する画素群を包含する画像領域を画像ブロック５０，５２とし（図６（ｂ））、それぞれの画像ブロック５０，５２毎に文字認識処理を行う。ここでは、画像ブロック５０は文字「４」と判定され、画像ブロック５２は文字「８」と判定されたものとする。

ステップＳ１６では、処理対象となる画像データの改竄の検出処理が行われる。ステップＳ１４において得られた画像データ全体についての文字認識結果と各グループ毎の画像データについての文字認識結果とが相違するか否かに基づいて改竄の有無を判定する。このステップＳ１６が図２における改竄判定手段２６に相当する。

すなわち、画像データ全体についての文字認識結果に対して、各グループの画像データについての文字認識結果が一致するか否かをグループ毎に順次調べ、いずれかのグループに画像データ全体についての文字認識結果と一致しない文字が含まれていた場合には改竄があったものと判定する。一方、総てのグループに画像データ全体についての文字認識結果と一致しない文字が含まれていなかった場合、直ちに改竄がなかったものと判定できるものではないが、ある程度の確からしさにおいて改竄がなかったものと判定してもよい。

より具体的な処理の例を示すと、ステップＳ１４において各グループの画像データから得られた画像ブロック毎に、その画像ブロックと重複する領域を有する画像データ全体から得られた画像ブロックを求め、それらの画像ブロックについての文字認識結果が一致するか否かを調査する。両方の画像ブロックの文字認識結果が一致した場合、又は、少なくとも一方の画像ブロックが文字として認識されていなかった場合には文字マッチング結果は「一致」と判定する。一方、両方の画像ブロックが文字として認識されており、その認識結果が一致していなかった場合には文字マッチング結果は「不一致」と判定する。不一致と判定された場合、その判定対象となった画像ブロックが不一致であることを特定する不一致特定情報を記憶部１２に保存しておいてもよい。

このような判定処理を画像データ全体と全グループの画像データとの組み合わせについて行い、いずれかのグループに画像データ全体についての文字認識結果と一致しない文字が含まれていた場合には改竄があったものと判定する。

図５及び図６の例では、第１グループの画像データの画像ブロック５４は画像データ全体の画像ブロック５０に対応するので、画像ブロック５４の文字認識結果と画像ブロック５０の文字認識結果とを比較する。それらは各々「１」及び「４」であるので文字マッチング結果は「不一致」と判定される。同様に、第１グループの画像データの画像ブロック５６は画像データ全体の画像ブロック５２に対応するので、画像ブロック５６の文字認識結果と画像ブロック５２の文字認識結果とを比較する。それらは各々「６」及び「８」であるので文字マッチング結果は「不一致」と判定する。また、第２グループの画像データの画像ブロック５８は画像データ全体の画像ブロック５０に対応するので、画像ブロック５８の文字認識結果と画像ブロック５０の文字認識結果とを比較する。画像ブロック５８は文字として認識できていないので、文字マッチング結果は「一致」と判定される。同様に、第２グループの画像データの画像ブロック６０は画像データ全体の画像ブロック５２に対応するので、画像ブロック６０の文字認識結果と画像ブロック５２の文字認識結果とを比較する。画像ブロック６０は文字として認識できていないので、文字マッチング結果は「一致」と判定される。文字マッチング結果が「不一致」となるグループが存在するので改竄判定は「改竄有り」となる。

ステップＳ１８では、ユーザに対して改竄の検出結果を呈示する。このステップＳ１８が図２における警告表示手段２８に相当する。

中央処理部１０は、ステップＳ１６における改竄判定処理において改竄があったものと判定された場合にはその旨を示す警告情報を表示部１６に表示させる。

例えば、表示部１６に「処理対象の画像データは改竄された可能性があります。」といった警告を表示させる。また、処理対象となった画像データ全体を表示部１６に表示させ、不一致特定情報で特定される画像ブロックの領域を枠で囲む、色を変えて表示する等して強調表示してもよい。

また、図７に示すように、改竄検出装置１００は改竄記録手段３０を含む構成としてもよい。図８に示すように、ステップＳ２０において、画像データ全体については２値化されたデータのみを記憶部１２に格納及び保持させ、不一致特定情報で特定される画像ブロックの画像領域のみ多値データを記憶部１２に格納及び保持させる処理を行う。この処理が改竄記録手段３０に相当する。なお、図８におけるステップＳ２０以外の処理は上記実施の形態と同様であるので説明を省略する。

また、本実施の形態では、改竄を検出する領域は画像データの全領域としたが、ユーザに改竄を検出する領域を指定させてもよい。この場合、図９に示すように、改竄検出装置１００に検出領域取得手段３２が付加される。図１０に示すように、ステップＳ２２において、ステップＳ１０で取得した画像データのうち改竄検出の対象とする領域をユーザに選択させる。例えば、中央処理部１０は、ステップＳ１０で取得した画像データ及び入力部１４を用いて改竄検出の対象とする領域を指定させるユーザインターフェース画面を表示部１６に表示させる。ユーザは入力部１４（ポインティングデバイス等）を用いて改竄検出の対象とする領域を選択する。中央処理部１０は、選択された領域を入力部１４から取得し、画像データのうち選択された領域のみをステップＳ１２以降の処理対象とする。ステップＳ１２以降では、選択された領域のみを処理対象とする以外は同様の処理を行うので説明を省略する。この処理が検出領域取得手段３２に相当する。

この検出領域取得処理は、改竄検出処理前に予め行っておいてもよい。例えば、改竄検出の対象となる原稿の定型フォーマット毎に改竄検出の対象となる領域を予め設定して記憶部１２に保存しておくことによって、ステップＳ１０で取得した画像データの原稿のフォーマットに応じて改竄検出の対象を変更する処理としてもよい。

また、取得した画像データから改竄を検出する領域を自動的に抽出する処理を行ってもよい。この場合、図１１に示すように、改竄検出装置１００に検出領域抽出手段３４が付加される。図１２に示すように、ステップＳ２４において、ステップＳ１０で取得した画像データから改竄検出の対象とする領域を自動的に抽出する。例えば、中央処理部１０は、ステップＳ１０で取得した画像データについて文字認識処理を施し、改竄される可能性が高い文字を含む領域を検出対象領域として抽出する。改竄される可能性が高い領域とは、アラビア数字を含む領域、漢数字を含む領域、金銭等に関する情報を含む領域（「振り込み額」等の文字から所定の範囲の画像領域等）等が挙げられる。このとき、予め記憶部１２に登録された文字列や画像等を含む領域を検出対象領域として抽出するものとしてもよい。

また、画像データのフォーマットに応じて改竄される可能性が高い領域を抽出してもよい。例えば、振り込み用紙、請求書等の定型フォーマットと、それらにおいて改竄される可能性が高い領域を予め記憶部１２に登録しておき、ステップＳ１０で取得した画像データが登録された定型フォーマットのいずれかに該当する場合には該当するフォーマットの改竄される可能性が高い領域を抽出する。

中央処理部１０は、抽出された領域を入力部１４から取得し、画像データのうち抽出された領域のみをステップＳ１２以降の処理対象とする。ステップＳ１２以降では、抽出された領域のみを処理対象とする以外は同様の処理を行うので説明を省略する。この処理が検出領域抽出手段３４に相当する。

なお、本実施の形態では、全グループの画像データについて文字認識処理を行った後に改竄判定処理を行う例を示したが、これに限定されるものではない。例えば、１つのグループについて文字認識処理を行う毎に、画像データ全体についての文字認識処理の結果と比較し、「不一致」となるグループが存在した時点で改竄が有るものとして警告等を行う処理としてもよい。

＜第２の実施の形態＞
第２の実施の形態における改竄検出装置２００も図１に示すコンピュータによって改竄検出プログラムを実行することによって実現される。

図１３は、本実施の形態における改竄検出装置２００を機能ブロック図として示したものである。改竄検出装置２００は、図１３に示すように、画像取得手段２０、グループ化手段２２、文字認識手段３６、改竄判定手段３８及び警告表示手段２８を含んで構成される。なお、図１３において第１の実施の形態と同様の機能を有する手段については図２と同じ符号を付して説明を省略する。

＜改竄検出処理＞
改竄検出処理は、図１４に示すフローチャートに沿って実行される。中央処理部１０は、記憶部１２に記憶されている改竄検出プログラムの実行を開始すると、ステップＳ１０からの処理を行う。ここでは、図１５〜図１６を参照して説明を行うが、説明を分かりやすくするために処理対象となる画像データは簡略化されたものとしている。実際には改竄の検出対象となる原稿はさらに複雑なものであってもよい。

ステップＳ１０では、改竄検出の処理対象となる画像データを取得する。また、ステップＳ１２では、改竄検出の処理対象となる画像データに含まれる画素を画素値に基づいてグループ化する。これらのステップは第１の実施の形態と同様であるので説明を省略する。

ステップＳ２６では、文字認識処理を行う。このステップＳ２６が図１３における文字認識手段３６に相当する。中央処理部１０は、ステップＳ１２においてグループ化された画素群を順次重ね合わせた画像データについて文字認識処理を施す。文字認識処理は、既存のアルゴリズムを適用することができる。

まず、各グループのうちラベルが付された画素が多い順にグループ化された画素群を順次重ね合わせた画像データを生成する。

例示として、図１５に画像データ（図１５（ａ））、ラベリング処理結果（図１５（ｂ））及びグルーピング処理結果（図１５（ｃ））を示す。図１５（ａ）に示す画像データに対して、第１グループ（階調５０〜１４９）、第２のグループ（階調１５０〜１９９）、第３のグループ（階調２００〜２５５）の各画像データについてラベリング処理を施し（図１５（ｂ））、さらに同一ラベルが付された画素の代表値（平均値）が各グループの階調に属する画素を纏めて各グループに振り分ける（図１５（ｃ））。

さらに、それぞれ階調５０〜１４９，階調１５０〜１９９，階調２００〜２５５の画素値を有する画素を“１”、その他の画素値を有する画素を“０”とした２値化画像データを生成する（図１６（ａ）：ただし“０”は示していない）。

次に、このようにして２値化された画像データのうち画素値“１”の画素が多い順に画像データを選択し、選択された画像データを順次重ね合わせた画像データを生成して文字認識処理を行う。

図１５の例では、第１グループが最も画素値“１”の画素の数が多い画像データであるので、第１グループの画像データについて文字認識処理を行う（図１６（ｂ）の第１グループ）。このとき、第１の実施の形態と同様に、２値化画像データに含まれる画素値“１”の画素を連続する画素群毎に切り分けて、その連続する画素群を包含する画像領域を画像ブロックとして、それぞれの画像ブロック毎に文字認識処理を行う。ここでは、画像ブロック６０は文字「１」と判定され、画像ブロック６２は文字「０」と判定されたものとする。

次に画素値“１”の画素が多いグループは第２グループであるので、既に選択されている第１グループの画像データと第２グループの画像データとを重畳させた画像データについて文字認識処理を行う（図１６（ｂ）の第１＋第２グループ）。より具体的には、第１グループの画像データ及び第２グループの画像データをそれぞれ２値化し、それらを重ね合わせた画像データを生成し、その画像データに含まれる画素値“１”の画素を連続する画素群毎に切り分けて、その連続する画素群を包含する画像領域を画像ブロックとして、それぞれの画像ブロック毎に文字認識処理を行う。ここでは、画像ブロック６４は文字として認識されず、画像ブロック６６は文字「６」として認識されたものとする。

次に画素値“１”の画素が多いグループは第３グループであるので、既に選択されている第１グループ，第２グループの画像データと第３グループの画像データとを重畳させた画像データについて文字認識処理を行う（図１６（ｂ）の第１＋第２＋第３グループ）。より具体的には、第１グループの画像データ，第２グループの画像データ及び第３グループの画像データをそれぞれ２値化し、それらを重ね合わせた画像データを生成し、その画像データに含まれる画素値“１”の画素を連続する画素群毎に切り分けて、その連続する画素群を包含する画像領域を画像ブロックとして、それぞれの画像ブロック毎に文字認識処理を行う。ここでは、画像ブロック６８は文字「４」として認識され、画像ブロック７０は文字「８」として認識されたものとする。

グループがさらに存在する場合であっても同様に画像データを順に重ね合わせて文字認識処理を行う。

ステップＳ２８では、処理対象となる画像データの改竄の検出処理が行われる。ステップＳ２６において得られた画素群を順次重ね合わせた画像データについての文字認識結果に基づいて改竄の有無を判定する。このステップＳ２８が図２における改竄判定手段３８に相当する。

より具体的には、各グループの重ね合わせの組み合わせが異なる複数の画像データについて文字として認識された画像ブロックが存在する場合、互いに対応する画像ブロックの文字認識結果が不一致であれば、互いに領域が重なり合う画像ブロックの画素値の代表値を求め、その代表値の差が所定の範囲以上であれば改竄が有るものと判定し、そうでなければ改竄がないものと判定する。

図１６の例では、第１グループのみからなる画像データについては、画像ブロック６０は文字「１」と認識され、画像ブロック６２は文字「０」と認識されている。第１グループの画像データと第２グループの画像データとを重畳させた画像データについては、画像ブロック６４は文字として認識されず、画像ブロック６６は文字「６」として認識されている。

そこで、画像ブロック６０と、画像ブロック６０と画像領域が重なる画像ブロック６４と、の文字認識結果を比較し、一致するか否かを判定する。両方の画像ブロックの文字認識結果が一致した場合、又は、少なくとも一方の画像ブロックが文字として認識されていなかった場合には文字マッチング結果は「一致」と判定する。一方、両方の画像ブロックが文字として認識されており、その認識結果が一致していなかった場合には文字マッチング結果は「不一致」と判定する。したがって、画像ブロック６０と画像ブロック６４についての文字マッチング結果は「一致」となる。

次に、画像ブロック６２と、画像ブロック６２と画像領域が重なる画像ブロック６６と、の文字認識結果を比較し、一致するか否かを判定する。画像ブロック６２は文字「０」と認識され、画像ブロック６６は文字「６」として認識されているので文字マッチング結果は「不一致」となる。そこで、画像ブロック６０に含まれる画素値“１”の画素について２値化する前の元の画像データの画素値の平均値を代表値として算出し、画像ブロック６４に含まれる画素値“１”の画素について２値化する前の元の画像データの画素値の平均値を代表値として算出し、それらの代表値が所定の範囲以上であるか否かを判定する。代表値の差が所定の範囲未満であれば改竄はないと判定し、そうでなければ改竄が有ったものと判定する。

第１グループの画像データと第２グループの画像データとを重畳させた画像データについては、画像ブロック６４は文字として認識されず、画像ブロック６６は文字「６」として認識されている。第１グループ〜第３グループを重畳させた画像データについては、画像ブロック６８は文字「４」と認識され、画像ブロック７０は文字「８」と認識されている。

そこで、画像ブロック６４と、画像ブロック６４と画像領域が重なる画像ブロック６８と、の文字認識結果を比較し、一致するか否かを判定する。画像ブロック６４と画像ブロック６８についての文字マッチング結果は「一致」となる。

次に、画像ブロック６６と、画像ブロック６６と画像領域が重なる画像ブロック７０と、の文字認識結果を比較し、一致するか否かを判定する。画像ブロック６６は文字「６」と認識され、画像ブロック７０は文字「８」として認識されているので文字マッチング結果は「不一致」となる。そこで、画像ブロック６６に含まれる画素値“１”の画素について２値化する前の元の画像データの画素値の平均値を代表値として算出し、画像ブロック７０に含まれる画素値“１”の画素について２値化する前の元の画像データの画素値の平均値を代表値として算出し、それらの代表値が所定の範囲以上であるか否かを判定する。代表値の差が所定の範囲未満であれば改竄はないと判定し、そうでなければ改竄が有ったものと判定する。

ステップＳ１８では、ユーザに対して改竄の検出結果を呈示する。このステップＳ１８が図１３における警告表示手段２８に相当する。ここでの処理は第１の実施の形態と同様であるので説明を省略する。

なお、第２の実施の形態においても改竄記録手段３０、検出領域取得手段３２、検出領域抽出手段３４を組み合わせる構成としてもよい。

また、本実施の形態では、グループの画像データを順に重ね合わせて生成される画像データの総てについて文字認識処理を行った後に改竄判定処理を行う例を示したが、これに限定されるものではない。例えば、１つのグループをさらに重ね合わせた画像データを生成する毎に文字認識処理を行い、その文字認識結果に基づいて改竄検出処理を行い、改竄が検出された時点で警告等を行う処理としてもよい。

本発明の実施の形態における改竄検出装置の構成を示す図である。 第１の実施の形態における改竄検出装置の機能ブロック図である。 第１の実施の形態における改竄検出処理のフローチャートである。 画像データの画素のラベリング処理の例を示す図である。 画像データの画素のグループ化処理の例を示す図である。 画像データに対する文字認識処理の例を示す図である。 第１の実施の形態の変形例における改竄検出装置の機能ブロック図である。 第１の実施の形態の変形例における改竄検出処理のフローチャートである。 第１の実施の形態の変形例における改竄検出装置の機能ブロック図である。 第１の実施の形態の変形例における改竄検出処理のフローチャートである。 第１の実施の形態の変形例における改竄検出装置の機能ブロック図である。 第１の実施の形態の変形例における改竄検出処理のフローチャートである。 第２の実施の形態における改竄検出装置の機能ブロック図である。 第２の実施の形態における改竄検出処理のフローチャートである。 第２の実施の形態におけるラベリング処理及びグルーピング処理の例を示す図である。 第２の実施の形態における文字認識処理の例を示す図である。

符号の説明

１０ 中央処理部、１２ 記憶部、１４ 入力部、１６ 表示部、１８ インターフェース部、２０ 画像取得手段、２２ グループ化手段、２４ 文字認識手段、２６ 改竄判定手段、２８ 警告表示手段、３０ 改竄記録手段、３２ 検出領域取得手段、３４ 検出領域抽出手段、３６ 文字認識手段、３８ 改竄判定手段、５０−７０ 画像ブロック、１００，２００ 改竄検出装置。

Claims (16)

1. 画像データに含まれる画素を画素値の範囲毎にグループ化するグループ化ステップと、
   前記画素のグループの画像データ毎を処理単位として文字認識を行う文字認識ステップと、
   前記文字認識ステップにおける処理結果に応じて前記画像データに改竄が加えられているか否かを判定する改竄判定ステップと、
   をコンピュータに実行させることを特徴とする改竄検出プログラム。
2. 請求項１に記載の改竄検出プログラムであって、
   前記文字認識ステップは、さらに前記画像データ全体を処理単位として文字認識を行い、
   前記改竄判定ステップは、前記画素のグループの画像データ毎を処理単位として文字認識を行ったときの認識結果と、前記画像データ全体を処理単位として文字認識を行ったときの認識結果と、が異なる場合に前記画像データに改竄が加えられていると判定することを特徴とする改竄検出プログラム。
3. 画像データに含まれる画素を画素値の範囲毎にグループ化するグループ化ステップと、
   前記画素のグループを重ね合わせた画像データを処理単位として文字認識を行う文字認識ステップと、
   前記文字認識ステップにおける処理結果に応じて前記画像データに改竄が加えられているか否かを判定する改竄判定ステップと、
   をコンピュータに実行させることを特徴とする改竄検出プログラム。
4. 請求項３に記載の改竄検出プログラムであって、
   前記文字認識ステップは、前記画素のグループの異なる組み合わせについて文字認識を行い、
   前記改竄判定ステップは、前記文字認識ステップにおいて前記画素のグループの異なる組み合わせにおいて文字認識の結果が異なる場合に前記画像データに改竄が加えられていると判定することを特徴とする改竄検出プログラム。
5. 請求項３又は４に記載の改竄検出プログラムであって、
   前記文字認識ステップは、前記画素のグループに含まれるグループ化された画素の画素数が多い順に順次前記画素のグループを重ね合わせた画像データについて文字認識を行うことを特徴とする改竄検出プログラム。
6. 請求項５に記載の改竄検出プログラムであって、
   前記改竄判定ステップは、前記画素のグループを重ね合わせた第１の画像データに対する文字認識の結果と、前記第１の画像データとは異なる前記画素のグループを重ね合わせた第２の画像データに対する文字認識の結果と、が異なる場合に、前記第１の画像データに含まれる画素の代表値と前記第２の画像データに含まれる画素の代表値との差が所定値以上である場合に前記画像データに改竄が加えられていると判定することを特徴とする改竄検出プログラム。
7. 請求項１から６のいずれか１つに記載の改竄検出プログラムであって、
   コンピュータに、前記画像データ内において改竄検出が必要な検出対象領域をユーザから取得する検出対象領域取得ステップを実行させ、
   前記文字認識ステップは、前記検出対象領域のみについて文字認識を行うことを特徴とする改竄検出プログラム。
8. 請求項１から６のいずれか１つに記載の改竄検出プログラムであって、
   コンピュータに、前記画像データ全体を文字認識して、その認識結果に基づいて改竄検出が必要な検出対象領域を抽出する検出対象領域抽出ステップを実行させ、
   前記文字認識ステップは、前記検出対象領域のみについて文字認識を行うことを特徴とする改竄検出プログラム。
9. 請求項８に記載の改竄検出プログラムであって、
   前記検出対象領域抽出ステップは、前記画像データ全体の文字認識の結果において数字として認識された領域を含む検出対象領域を抽出することを特徴とする改竄検出プログラム。
10. 請求項７から９のいずれか１つに記載の改竄検出プログラムであって、
    前記改竄判定ステップにおいて改竄が検出された場合、前記検出対象領域のみ画素値を多値データとして記憶部に保存することを特徴とする改竄検出プログラム。
11. 請求項１から１０のいずれか１つに記載の改竄検出プログラムであって、
    前記改竄判定ステップにおいて改竄が検出された場合、前記画像データを多値データとして記憶部に保存することを特徴とする改竄検出プログラム。
12. 請求項１から１１のいずれか１つに記載の改竄検出プログラムであって、
    コンピュータに、前記改竄判定ステップにおいて改竄が検出された場合にユーザに対して警告を呈示する警告ステップを行わせることを特徴とする改竄検出プログラム。
13. 請求項１２に記載の改竄検出プログラムであって、
    前記警告ステップは、前記改竄判定ステップにおいて改竄として検出された領域を強調表示してユーザに呈示することを特徴とする改竄検出プログラム。
14. 請求項１から１４に記載の改竄検出プログラムであって、
    前記画素値は、輝度又は色差であることを特徴とする改竄検出プログラム。
15. 画像データに含まれる画素を画素値の範囲毎にグループ化するグループ化手段と、
    前記画素のグループの画像データ毎を処理単位として文字認識を行う文字認識手段と、
    前記文字認識手段における処理結果に応じて前記画像データに改竄が加えられているか否かを判定する改竄判定手段と、
    を備えることを特徴とする改竄検出装置。
16. 画像データに含まれる画素を画素値の範囲毎にグループ化するグループ化手段と、
    前記画素のグループを重ね合わせた画像データを処理単位として文字認識を行う文字認識手段と、
    前記文字認識手段における処理結果に応じて前記画像データに改竄が加えられているか否かを判定する改竄判定手段と、
    を備えることを特徴とする改竄検出装置。