JP2007241356A - 画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】膨張引き算法を用いた差分抽出処理では、追記後原稿の画像から追記前原稿の膨張処理画像を引き算することと、膨張した部分で余分に引き算を行うことになるために、文字のカスレや線の途切れなどが生じたり、追記抽出漏れが生じたりする。
【解決手段】追記前画像と追記後画像との差分をとって追記後画像から追記情報を抽出する追記情報抽出処理（差分抽出処理）において、両画像の比較に先立って、先ず、全体位置・歪補正部１０１で原稿全体に対して画像の位置合わせを行い、その後に差分抽出部１０２で大まかな差分情報を得る。次いで、当該差分情報を基に分割画像位置・歪補正部１０５で局所的な位置合わせを行い、その後に追記情報抽出部１０６で差分処理を行い、その差分情報を追記情報として抽出する。
【選択図】図３

Description

本発明は、画像処理装置および画像処理プログラムに関し、特に追記が行われる前の原稿画像と追記が行われた後の原稿画像とを比較して追記部分（追記情報）を抽出する画像処理装置および画像処理プログラムに関する。

画像処理の分野において、紙原稿に対して、手書きで追記（加筆修正）を行ったり、押印を行ったりした紙原稿から、手書き追記部分や押印部分（以下、これらを「追記領域」と記述する）を抽出して活用したいというニーズがある。ここで、手書き追記や押印を行う前の紙原稿を追記前原稿とし、手書き追記や押印を行った後の紙原稿を追記後原稿とする。

なお、フォームの紙原稿に手書き追記（１回目の追記）が行われ、当該手書き追記後の紙原稿にさらに追記（２回目の追記）が行われた場合などでは、１回目の追記が行われた紙原稿を追記前原稿とし、２回目の追記が行われた紙原稿を追記後原稿とする。３回目以降の追記が行われた場合にも、同様に、２回目、３回目、…の追記が行われた紙原稿を追記前原稿とし、３回目、４回目、…の追記が行われた紙原稿を追記後原稿とする。

一般的には、追記前原稿と追記後原稿を共にスキャナ等の画像読取装置で読み取ることによって両原稿のスキャン画像を得、双方のスキャン画像を比較することにより、追記後画像から追記領域を抽出する処理が行われる。この追記抽出処理にあたっては、追記前原稿の画像と追記後原稿の画像との位置合わせを行った後、追記後原稿の画像から追記前原稿の画像を引き算（差分抽出）することによって追記領域を抽出する。

この差分抽出処理において、追記前原稿の画像と追記後原稿の画像との位置合わせを行うときは、通常、画像全体から特徴点を抽出し、この抽出した特徴点情報を基に両画像の位置合わせを実施する。しかしながら、通常、スキャン画像は、レンズ歪、モータの回転ムラ、振動などに起因するスキャン時の画像歪や、紙に印字した際に生ずる原稿自体の歪により、原稿全体で一様なズレ方をしていない。すなわち、原稿上の場所によって画像のズレ量やズレ方向が異なる。

したがって、画像全体での位置合わせでは、局所的に精度良く位置合わせを行うか、画像全体で平均的に位置合わせを行うかのいずれかになる。その結果、高精度な差分抽出を行うことができなかったり、位置合わせ処理の後段処理である差分抽出処理に負荷がかかったりする。具体的には、差分抽出の精度を高めるために処理を追加したり、処理に時間がかかったりする。

ここで、一例として、図１６に示すように、例えば「マーケティング部」なる印字がなされたフォームの紙原稿に対して、例えば「進行はしていませんが、」なる手書き追記（１回目の追記）が行われた追記前原稿（Ａ）と、当該追記前原稿（Ａ）に対して「進行はしていませんが、」なる一文を消去する線分１０１および押印１０２、さらに「見通しはたっていませんが、」なる修正文の追記（２回目の追記）が行われた追記後文書（Ｂ）とがある場合を考える。

これら追記前原稿（Ａ）および追記後文書（Ｂ）について、差分抽出処理の基本的な手法である先述した単純引き算法を用いて差分抽出処理を行う場合を考えると、追記後文書（Ｂ）から抽出する追記領域１０３に対して位置合わせが精度良く行われているものとした場合に、追記領域１０３については抽出できる。ところが、原稿上の場所によって画像のズレ量やズレ方向が異なることによってフォーム領域１０４において追記前原稿（Ａ）に対して画像ズレが生じていると、図１７に示すように、フォーム領域１０４では引き算処理による引き残しが生じ、追記領域ではない箇所からの誤抽出が発生する。

このような誤抽出を回避するために、従来は、追記前後の各原稿の画像を所定個数の領域に分割し、その分割領域ごとに画像の位置合わせを行うとともに、追記前原稿の画像に対して膨張処理を行い、追記後原稿の画像から追記前原稿の膨張処理画像を引き算することによって追記領域を抽出する、いわゆる膨張引き算法を用いた差分抽出処理が行われていた（例えば、特許文献１参照）。

特開２００４−３４１９１４号公報

しかしながら、膨張引き算法を用いた差分抽出処理では、追記後原稿の画像から追記前原稿の膨張処理画像を引き算することにより、膨張した部分で余分に引き算を行うことになるために、図１８に示すように、文字のカスレや線の途切れなどが生じたり、追記抽出漏れが生じたりする。

本発明は、上記課題に鑑みてなされたものであって、その目的とするところは、紙原稿上の場所によって画像のズレ量やズレ方向が異なる場合であっても、追記後原稿からの追記部分（追記情報）の抽出を精度良く行うことが可能な画像処理装置および画像処理プログラムを提供することにある。

上記目的を達成するために、本発明は、次のような構成を採っている。すなわち、先ず、追記が行われる前の第１原稿（追記前原稿）の画像と追記が行われた後の第２原稿（追記後原稿）の画像との位置合わせを原稿全体に対して行い、この位置合わせ後の第１原稿の画像と第２原稿の画像とを比較することによって差分情報を抽出する。そして、この抽出した差分情報を基に第１原稿の画像と第２原稿の画像との位置合わせを局所的に行い、この位置合わせ後の第１原稿の画像と第２原稿の画像とを比較することによって当該第２原稿の画像から差分情報を抽出し、当該差分情報を追記情報とする。

第１，第２原稿の各画像を比較して第２原稿の画像から追記部分（追記情報）を抽出する差分抽出処理において、第１，第２原稿の各画像の比較に先立って、先ず、原稿全体に対して画像の位置合わせを行う。この全体的な位置合わせは、画像全体で平均的に位置合わせを行う粗調的な位置合わせとなる。この全体的な位置合わせ処理を行うことにより、その後の差分処理において大まかな差分情報が得られる。次に、この差分情報を基に局所的に第１，第２原稿の各画像の位置合わせを行う。この局所的な位置合わせは、抽出対象の追記部分に対して精度の高い位置合わせを行う微調的な位置合わせとなる。この局所的な位置合わせ処理を行うことにより、その後の差分処理において追記情報の抽出を精度良く行うことができる。

本発明によれば、全体的な位置合わせ処理と局所的な位置合わせ処理の２段階の位置合わせ処理を行うことにより、抽出対象の追記部分（追記情報）に対して精度の高い位置合わせを実行することができるために、紙原稿上の場所によって画像のズレ量やズレ方向が異なる場合であっても、第２原稿である追記後原稿からの追記情報の抽出を精度良く行うことができる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明が適用される画像処理システムの構成の概略を示すシステム構成図である。図１において、画像処理装置１０は本発明による画像処理装置に相当し、追記が行われる前の原稿（以下、「追記前原稿」と記述する）２０の画像と、手書き追記や押印などの追記が行われた後の原稿（以下、「追記後原稿」と記述する）３０の画像とを比較し、両画像の差分をとることによって追記後原稿３０の画像から追記部分（追記情報）を抽出する差分抽出処理を行う。

ここで、フォームの紙原稿に手書き追記（１回目の追記）が行われ、当該手書き追記後の紙原稿にさらに追記（２回目の追記）が行われた場合には、１回目の追記が行われた紙原稿が追記前原稿２０となり、２回目の追記が行われた紙原稿が追記後原稿３０となる。３回目以降の追記が行われた場合にも、同様に、２回目、３回目、…の追記が行われた紙原稿が追記前原稿２０となり、３回目、４回目、…の追記が行われた紙原稿が追記後原稿３０となる。

本適用例に係る画像処理システムにおいては、追記前原稿２０と追記後原稿３０とをスキャナなどの画像読取装置４０によって読み取り、この画像読み取りによって得られた追記前原稿画像データと追記後原稿画像データとを画像処理装置１０に入力する。画像処理装置１０は、追記前原稿画像データと追記後原稿画像データとから、両原稿上の画像の差分をとって追記情報を抽出する差分抽出処理を行う。

本発明による画像処理装置１０は、上述したような差分抽出処理を、紙原稿上の場所によって画像のズレ量やズレ方向が異なる場合であっても、精度良く行うことを特徴としている。

以下に、本発明による画像処理装置１０およびその処理プログラムについて具体的に説明する。

図２は、本発明による画像処理装置１０を含む画像処理システムのより具体的な構成例を示すブロック図である。図２において、画像データ入力部５０は、図１の画像読取装置４０に相当し、追記前原稿２０の画像を読み取ることによって得られる追記前原稿画像データと、追記後原稿３０の画像を読み取ることによって得られる追記後原稿画像データとを本発明による画像処理装置１０に入力する。

なお、ここでは、追記前原稿画像データおよび追記後原稿画像データの両方をスキャナなどの画像読取装置４０で読み取ってそれらの画像データを画像処理装置１０に入力するとしているが、差分抽出の基準となる追記前原稿画像データについては、例えば、サーバから与えられる追記前原稿２０の画像データを画像処理装置１０に入力しても良く、また本画像処理装置１０内の記憶装置に追記前原稿２０の画像データをあらかじめ格納しておき、当該画像データを用いるようにすることも可能である。

画像処理装置１０は、ＣＰＵ(Central Processing Unit:中央演算装置)１１、Ｉ／Ｏ回路１２、ＲＯＭ１３、ＲＡＭ１４およびＨＤＤ（ハードディスクドライブ）装置１５などを有し、これら構成要素がバスライン１６を介して相互に通信可能に接続された構成となっている。

ＣＰＵ１１は、演算処理を含む本画像処理装置１０全体の処理の制御を行う。Ｉ／Ｏ回路１２は、画像データ入力部５０および画像データ出力部６０を含む周辺機器との入出力を管理する。ＲＯＭ１３は、ＣＰＵ１１による制御の下に実行される各種処理の処理プログラムを格納する。ＲＡＭ１４は、当該各種処理の実行時に使用される一次記憶装置である。ＨＤＤ１５は、ＣＰＵ１１による制御の下に処理された画像データや、外部から取り込んだ画像データなどを記憶する。

画像データ出力部６０は、プリンタやディスプレイ等の出力装置とその制御手段によって構成され、画像処理装置１０での処理によって追記後原稿３０の画像から抽出された追記情報（追記抽出情報）を印刷（記録）紙に印刷出力したり、あるいは、表示画面上に表示出力したりする。

［実施形態］
図３は、本発明の一実施形態に係る画像処理装置１０の機能構成例を示すブロック図である。

図３に示すように、本実施形態に係る画像処理装置１０は、全体位置・歪補正部１０１と、差分抽出部１０２と、統合化処理部１０３と、分割領域抽出部１０４と、分割画像位置・歪補正部１０５と、追記情報抽出部１０６とを有する構成となっている。

（全体位置・歪補正部）
全体位置・歪補正部１０１は、特許請求の範囲の第１位置合わせ手段に相当し、第１原稿である追記前原稿の画像（以下、「追記前画像」と記述する）と、第２原稿である追記後原稿の画像（以下、「追記後画像」と記述する）との相対的な位置合わせを原稿全体に対して行うことにより、両画像間の位置ズレや歪を補正する。ここでは、追記前画像を基準として、当該追記前画像に合わせて追記後画像の位置ズレや歪を補正する。ただし、追記後画像を基準として、当該追記後画像に合わせて追記前画像の位置ズレや歪の補正を行うようにすることも可能である。

なお、画像の位置ずれや歪には、平行移動・回転ずれ・倍率ずれの３種類がある。そして、例えば、紙原稿の幅方向の移動量（Ｘ）、縦方向の移動量（Ｙ）、回転角（θ）、倍率（β）を位置合わせの補正係数（パラメータ）とするアフィン変換を用いた周知の画像変換の手法を用いて、一方の画像（本例では、追記後画像）に対して画像変換を行うことにより、２つの画像間の位置ずれを補正することができる。

（差分抽出部）
差分抽出部１０２は、特許請求の範囲の第１抽出手段に相当し、全体位置・歪補正部１０１によって位置合わせ（位置ズレや歪の補正）が行われた追記前画像と追記後画像とを比較することによって差分情報を抽出する。具体的には、例えば、位置・歪補正を行った追記後画像から追記前画像のＯＮ画素を膨張した画像を引き算することによって差分情報を抽出する。

ここに、ＯＮ画素とは、例えば２値画像において、白（または、黒）を背景としたときの黒画素（または、白画素）を言う。また、追記前画像のＯＮ画素を膨張するサイズは、例えば５画素×５画素とする。

（統合化処理部）
統合化処理部１０３は、特許請求の範囲の統合化処理手段に相当し、差分抽出部１０２によって抽出された差分情報である差分抽出画素を基に、同一領域と見なせる差分抽出画素同士を統合化して統合化領域とする。ここに、統合化とは、同一領域と見なせる差分抽出画素同士を１つの画素群とすることを言う。

この統合化処理部１０３による統合化処理としては、例えば、次のような処理（１）〜（４）が考えられる。

（１）抽出した画素同士の距離、例えばユークリッド距離を求め、当該ユークリッド距離が所定閾値以下の場合に、その画素同士を同一領域と見なして統合化領域とする。
（２）抽出した画素を中心とした所定サイズの図形、例えば所定サイズの矩形を作成し、矩形同士が重なる場合に、その画素同士を同一領域と見なして統合化領域とする。なお、これは、上記（１）での距離をシティーブロック距離としたものと同じである。
（３）抽出した画素を、例えばラベリング処理を使用することによって連結画素群ごとに分け、連結画素群ごとに外接矩形を求め、その外接矩形を所定サイズだけ拡張（膨張）する。そして、拡張した外接矩形同士が重なる場合に、その連結画素群同士を同一領域と見なして統合化領域とする。なお、これは、上記（２）の処理高速化した処理である。
（４）位置・歪補正後の追記後画像に対してラベリング処理を行う。そして、抽出した画素が含まれている（属している）ラベル（連結画素群）を判断し、同一ラベルに属している抽出画素は同一領域と見なして統合化領域とする。なお、抽出画素を含むラベル（連結画素群）を統合化領域としても良い。

（分割領域抽出部）
分割領域抽出部１０４は、特許請求の範囲の領域分割手段に相当し、差分抽出部１０２によって抽出された差分情報、ひいては統合化処理部１０３による統合化の処理結果、即ち統合化領域を基に、追記前画像と追記後画像とを領域分割する。

図３に示すように、分割領域抽出部１０４は、第２分割領域算出部１０４１と、第１分割領域算出部１０４２と、第２画像分割部１０４３と、第１画像分割部１０４４とから構成されている。

第２分割領域算出部１０４１は、統合化処理部１０３で統合化された統合化領域を含む所定領域を追記前画像についての第２分割領域とする。この第２分割領域算出部１０４１による領域分割の処理としては、例えば、次のような処理（１），（２）が考えられる。

（１）統合化領域（画素群）の外接矩形を所定サイズだけ拡張（膨張）して第２分割領域とする。ただし、拡張サイズは０でも良い。
（２）統合化領域の画素群に対し凸包を作成し、その凸包を所定サイズだけ拡張（膨張）して第２分割領域とする。ただし、拡張サイズは０でも良い。
ここに、凸包とは、点集合を含む最小の凸多角形を言い、複数の点を囲む最短の閉路とも言える。

第１分割領域算出部１０４２は、第２分割領域算出部１０４１で算出された第２分割領域よりも所定サイズだけ膨張させた領域を追記後画像についての第１分割領域とする。ここでは、第２分割領域を基に当該第２分割領域よりも所定サイズだけ膨張させた領域を第１分割領域として算出するとしたが、第２分割領域算出部１０４１と同様に、統合化処理部１０３で統合化された統合化領域を基準として、第２分割領域よりも所定サイズだけ膨張させた領域を第１分割領域として算出する構成を採ることも可能である。

第２画像分割部１０４３は、第２分割領域算出部１０４１で算出された第２分割領域を基に、追記前画像から第２分割領域に相当する画像を切り出して（分割して）第２画像とする。第１画像分割部１０４４は、第１分割領域算出部１０４２で算出された第１分割領域を基に、位置・歪補正後の追記後画像から第１分割領域に相当する画像を切り出して第１画像とする。

（分割画像位置・歪補正部）
分割画像位置・歪補正部１０５は、特許請求の範囲の第２位置合わせ手段に相当し、差分抽出部１０２によって抽出された差分情報である差分抽出画素を基に、第１画像（追記前画像）と第２画像（追記後画像）との位置合わせを局所的に行う。

具体的には、ここでは、第１画像のサイズを第２画像のサイズよりも大きいとしているために、分割画像位置・歪補正部１０５は、第１画像内で第２画像の位置を変えつつ第２画像を第１画像に重畳する形でパターンマッチングを行い、マッチング度の大きい位置を補正位置として位置・歪補正を行う。この分割画像位置・歪補正部１０５による位置・歪補正の処理としては、例えば、次のような処理（１），（２）が考えられる。

（１）第１画像内全体で第２画像を１画素単位で上下左右方向に移動させつつ全位置でパターンマッチングを行って、最もマッチング度（マッチング度合い）の大きい位置を位置・歪補正の位置とする。ここでは、例えば、第１画像と第２画像のＯＮ画素位置が一致した画素の個数でマッチング度を表すものとする。

具体的には、図４に示すように、矩形のリング状画像を持つ第１画像（Ａ）と、当該リング状画像に斜めに直線で追記された追記情報を持つ第２画像（Ｂ）の場合を考えると、第１画像（Ａ）に対して第２画像（Ｂ）を図の左上から右方向へ１画素単位で移動させ、次に１画素下に移動させて左側から右側へ移動させ、この処理を図の右下まで繰り返して実行する。

ここでは、４つの位置（Ｃ）〜（Ｆ）のマッチング度を示している。位置（Ｃ）のマッチング度＝１２、位置（Ｄ）のマッチング度＝１２、位置（Ｅ）のマッチング度＝５２、位置（Ｆ）のマッチング度＝３１である。したがって、位置（Ｅ）が位置・歪補正の位置となる。
（２）全体位置・歪補正部１０１で補正した位置を基準位置とし、当該基準位置での第１画像と第２画像とのマッチング度合いを算出する。そして、第２画像を、４方向（上下左右）または８方向（上下左右斜め）に移動させつつそれぞれの位置でのマッチング度合いを算出する。この処理例の場合の具体的な処理については後述する。

上記（２）の処理において、基準位置でのマッチング度合いが４または８方向位置での最大マッチング度合い以下のとき、基準位置をマッチング度合いが最大の位置に移動する。また、基準位置でのマッチング度合いが４または８方向位置での最大マッチング度合い以上のとき、基準位置を位置歪補正する位置とする。

なお、本実施形態では、第１画像のサイズを第２画像のサイズよりも大きく設定するとしたが、第２画像のサイズを第１画像のサイズよりも大きく設定して位置・歪補正を行うようにすることも可能である。この場合は、分割画像位置・歪補正部１０５は、第２画像内で第１画像の位置を変えつつ第１画像を第２画像に重畳する形でパターンマッチングを行い、マッチング度の大きい位置を補正位置として位置・歪補正を行うことになる。

（追記情報抽出部）
追記情報抽出部１０６は、特許請求の範囲の第２抽出手段に相当し、分割画像位置・歪補正部１０５によって位置合わせが行われた第１画像と第２画像とを比較することによって当該第２画像から追記情報を抽出する。具体的には、追記情報抽出部１０６は、第１画像と、分割画像位置・歪補正部１０５で位置・歪補正された第２画像と比較し、両画像の差分抽出を行うことで第２画像から追記情報を抽出する。この分割画像位置・歪補正部１０５による位置・歪補正の処理としては、例えば、次のような処理（１），（２）が考えられる。

（１）位置・歪補正を行った第２画像から、第１画像のＯＮ画素を膨張した画像を引き算する。この追記情報抽出部１０６での膨張サイズ（膨張数）は、例えば、３画素×３画素とする。このとき、差分抽出部１０２の膨張サイズと追記情報抽出部１０６の膨張サイズとの関係は、差分抽出部１０２の膨張サイズが追記情報抽出部１０６の膨張サイズ以上、もしくは追記情報抽出部１０６の膨張サイズよりも大きい方が好ましい。
（２）分割画像位置・歪補正部１０５での処理における最大マッチング度の位置およびその周辺でマッチング度の高い位置において、第２画像から複数の位置での第１画像を引き算する。

上記（２）の場合、第２画像の位置を固定して、第１画像を移動させる必要がある。したがって、第２画像を移動させてマッチング度を算出したとき、その位置関係に合わせて第２画像から複数の位置での第１画像を引き算する。また、最大マッチング度の位置周辺でのマッチング度閾値については、最大マッチング度から算出する、例えば所定係数を乗算するか、あるいは予め定めた所定の閾値を用いるなどが考えられる。

追記情報抽出部１０６で抽出した追記情報については、当該追記情報単体で出力するようにしても良いし、あるいは、画像全体の中での位置を保存して、差分画素（追記情報）を１枚の画像で表現するようにしても良い。

上記構成の画像処理装置１０の各構成要素、即ち全体位置・歪補正部１０１、差分抽出部１０２、統合化処理部１０３、分割領域抽出部１０４（第２分割領域算出部１０４１、第１分割領域算出部１０４２、第２画像分割部１０４３および第１画像分割部１０４４）、分割画像位置・歪補正部１０５および追記情報抽出部１０６については、ＰＣ（パーソナルコンピュータ）のように、所定プログラムを実行することによって情報記憶処理、画像処理、演算処理等の各機能を実行するコンピュータ機器を利用してソフトウェア構成によって実現することが考えられる。

ただし、ソフトウェア構成による実現に限られるものではなく、ハードウェア構成、あるいはハードウェアとソフトウェアの複合構成によって実現することも可能である。ソフトウェア構成によって実現する場合、全体位置・歪補正部１０１、差分抽出部１０２、統合化処理部１０３、分割領域抽出部１０４、分割画像位置・歪補正部１０５および追記情報抽出部１０６としてコンピュータを機能させるプログラムが本発明による画像処理プログラムとなる。

また、以下に説明する処理シーケンスにおける各処理ステップの処理を実行するプログラムが、本発明による画像処理プログラムであるとも言える。そして、これらの画像処理プログラムについては、あらかじめコンピュータ内にインストールしておくことが考えられる。ただし、あらかじめインストールされているのではなく、コンピュータ読み取り可能な記憶媒体に格納されて提供されるものであっても良く、または有線若しくは無線による通信手段を介して配信されるものであっても良い。

（追記情報抽出処理）
次に、追記前原稿の画像（追記前画像）と追記後原稿の画像（追記後画像）とから、両原稿上の画像の差分をとって追記情報を抽出する追記情報抽出処理（差分抽出処理）の一例について、図５のフローチャートを用いて説明する。

先ず、第１原稿である追記前画像と第２原稿である追記後画像との相対的な位置合わせを原稿全体に対して行うことにより、両画像間の位置ズレや歪を補正する（ステップＳ１１）。ここでは、追記前画像を基準として、当該追記前画像に合わせて追記後画像の位置ズレや歪を補正する。このステップＳ１１の処理は、図３の全体位置・歪補正部１０１の処理に相当する。

次に、位置ズレや歪の補正を行った追記前画像と追記後画像とを比較することによって差分情報を抽出する（ステップＳ１２）。ここでは、一例として、位置・歪補正を行った追記後画像から追記前画像のＯＮ画素を膨張した画像を引き算することによって差分情報を抽出する。このステップＳ１２の処理は、図３の差分抽出部１０２の処理に相当する。

次に、抽出した差分情報である差分抽出画素を基に、同一領域と見なせる差分抽出画素同士を統合化して統合化領域（画素群）とする（ステップＳ１３）。このステップＳ１３の処理は、図３の統合化処理部１０３の処理に相当する。

次に、統合化領域がｎ個存在する場合に、１番目の統合化領域からｎ番目の統合化領域について順番に差分抽出処理を行うために、統合化領域の番号ｉを１に設定し（ステップＳ１４）、次いで、ｉ＞ｎであるか否かを判断し（ステップＳ１５）、ｉ＞ｎになるまで以下の処理を繰り返して実行する。

ｉ≦ｎであれば、ｉ番目の統合化領域を含む所定領域を追記後画像についての第２分割領域とし（ステップＳ１６）、次いで、第２分割領域よりも所定サイズだけ膨張させた領域を追記前画像についての第１分割領域とする（ステップＳ１７）。これらステップＳ１６，Ｓ１７の各処理は、図３の第２，第１分割領域算出部１０４１，１０４２の各処理に相当する。

次に、位置・歪補正後の追記後画像から第２分割領域に相当する画像を切り出して（分割して）第２画像とし（ステップＳ１８）、次いで、追記前画像から第１分割領域に相当する画像を切り出して第１画像とする（ステップＳ１９）。これらステップＳ１８，Ｓ１９の各処理は、図３の第２，第１画像分割部１０４３，１０４４の各処理に相当する。

次に、第１画像内で第２画像の位置を動かし、最も一致度の高い位置、具体的には基もマッチング度の大きい位置を位置・歪補正位置する（ステップＳ２０）。このステップＳ２０の処理は、図３の分割画像位置・歪補正部１０５の処理に相当する。なお、位置・歪補正の具体的な処理については後述する。

次に、第１画像と、位置・歪補正した第２画像と比較し、両画像の差分抽出を行うことによって第２画像から追記情報を抽出する（ステップＳ２１）。このステップＳ２１の処理は、図３の追記情報抽出部１０６の処理に相当する。

次に、統合化領域の番号ｉをインクリメントし（ステップＳ２２）、ステップＳ１５に戻って、ｉ＞ｎになるまでステップＳ１６からステップＳ２２までの処理を繰り返して実行する。

ステップＳ１５でｉ＞ｎになったと判定したら、番号１〜ｎの各統合化領域で差分抽出した追記情報（差分画素）を合成して１枚の画像として出力する（ステップＳ２３）。ただし、差分画素を１枚の画像で表現する必要がなれば、当該ステップＳ２３の処理を省略することが可能である。

以上説明した一連の処理を要約すると次のようになる。すなわち、第１画像である追記前画像と第２画像である追記後画像との差分をとって追記後画像から追記情報を抽出する追記情報抽出処理（差分抽出処理）において、両画像の比較に先立って、先ず、原稿全体に対して画像の位置合わせを行って大まかな差分情報を得、次いで、当該差分情報を基に局所的な位置合わせを行い、その後の差分処理で得られる差分情報を追記情報として抽出する。

ここで、原稿全体に対して行う位置合わせは、画像全体で平均的に位置合わせを行う粗調的な位置合わせとなる。この粗調的な位置合わせ処理を行うことにより、その後の差分処理において大まかな差分情報が得られる。次に、この差分情報を基に局所的に追記前画像と追記後画像との位置合わせを行う。この局所的な位置合わせは、抽出対象の追記部分に対して精度の高い位置合わせを行う微調的な位置合わせとなる。この微調的な位置合わせ処理を行うことにより、その後の差分処理において精度の高い差分情報が得られる。

このように、全体的な位置合わせ処理（粗調的な位置合わせ処理）と局所的な位置合わせ処理（微調的な位置合わせ）の２段階の位置合わせ処理を行うことにより、抽出対象の追記部分（追記情報）に対して精度の高い位置合わせを実行することができるために、紙原稿上の場所によって画像のズレ量やズレ方向が異なる場合であっても、追記後原稿からの追記情報の抽出を精度良く行うことができる。

ここで、一例として、図６に示すように、例えば「マーケティング部」なる印字がなされたフォームの紙原稿に対して、例えば「進行はしていませんが、」なる手書き追記（１回目の追記）が行われた追記前原稿（Ａ）と、当該追記前原稿（Ａ）に対して「進行はしていませんが、」なる一文を消去する線分６１および押印６２、さらに「見通しはたっていませんが、」なる修正文の追記（２回目の追記）が行われた追記後文書（Ｂ）とがある場合を考える。

これら追記前原稿（Ａ）および追記後文書（Ｂ）に対して、本実施形態に係る差分抽出処理を適用して、追記後文書（Ｂ）から追記領域６３を抽出するものとすると、粗調的な位置合わせ処理後の差分処理で得られた差分情報を基に、追記領域６３に対して微調的な位置合わせ処理が行われるために、差分抽出結果（Ｃ）からあきらかなように、追記領域６３を精度良く抽出することができる。

このとき、原稿上の場所によって画像のズレ量やズレ方向が異なることによってフォーム領域６４において追記前原稿（Ａ）に対して画像ズレが生じていたとしても、粗調的な位置合わせ処理後の差分処理で得られた差分情報を基に、フォーム領域６４に対しても追記領域６３とは別個に微調的な位置合わせ処理が行われるために、フォーム領域６４において、単純引き算処理法を用いた差分抽出処理での誤抽出や、膨張引き算法を用いた差分抽出処理での追記抽出漏れなどの不具合が発生することもない。

（位置・歪補正処理）
続いて、ステップＳ２０の位置・歪補正処理の具体的な処理の一例について、図７のフローチャートを用いて説明する。この位置・歪補正処理は、先述した分割画像位置・歪補正部１０５の２つの処理例（１），（２）のうち、第２例（２）の処理に相当する。

先ず、全体位置・歪補正で補正し、切り出した位置関係を基準位置とする（ステップＳ３１）。本例では、第１画像（追記前分割画像）のサイズ≧第２画像（追記後分割画像）のサイズである。

次いで、第１画像と第２画像のマッチングを行い、このときのマッチング度をＶ０とし（ステップＳ３２）、次いで第１画像内における第２画像の移動方向の順番ｍを１にする（ステップＳ３３）。図８に示すように、第１画像内における第２画像の移動方向としては、上下左右の４方向（Ａ）と、上下左右斜めの８方向（Ｂ）の２通りが考えられる。移動方向の順番ｍについては、例えば、基準位置Ｘ０の上から右回りに１，２，３，…とする。

次に、移動方向の順番ｍが４または８以下であるか否かを判断し（ステップＳ３４）、ｍ≦４または８であれば、第２画像を基準位置Ｘ０から見てＸｍ（Ｘ１，Ｘ２，Ｘ３，…）の方向に所定画素、例えば１画素シフトし（ステップＳ３５）、次いで、第１画像と第２画像のマッチングを行い、このときのマッチング度をＶｍとする（ステップＳ３６）。

次に、移動方向の順番ｍをインクリメントし（ステップＳ３７）、しかる後、ステップＳ３４に戻ってｍ＞４又は８となるまで、ステップＳ３５〜ステップＳ３７の処理を繰り返して実行する。

ステップＳ３４でｍ＞４または８と判定した場合には、基準位置Ｘ０でのマッチング度Ｖ０と４または８方向位置での最大マッチング度ＭＡＸ｛Ｖｍ｝とを比較し（ステップＳ５８）、Ｖ０≧ＭＡＸ｛Ｖｍ｝であれば、現在の基準位置を位置・歪補正処理結果とし（ステップＳ３９）、位置・歪補正のための一連の処理を終了する。

一方、Ｖ０＜ＭＡＸ｛Ｖｍ｝であれば、マッチング度Ｖｍが最大となるＸｍ方向に第２画像を１画素シフトし（ステップＳ４０）、しかる後ステップＳ３４に戻ってステップＳ３８でＶ０≧ＭＡＸ｛Ｖｍ｝と判定するまでステップＳ３４からステップＳ３７までの処理を繰り返して実行する。

ここで、例えば、移動方向が４方向の場合、前回の移動が上方向だったときは、今回はＸ３の方向にシフトする必要はない。移動方向が８方向の場合、前回の移動が右方向だったときは、今回はＸ２−Ｘ４の方向にシフトさせるだけで良い。

上述した位置・歪補正処理の具体例につき、図９〜図１１の模式図を用いて説明する。ここでは、第１画像と第２画像のＯＮ画素位置が一致した画素の個数をマッチング度とし、第２画像の移動方向は４方向とする。

本例でも、図４に例示したように、矩形のリング状画像を持つ第１画像（Ａ）と、当該リング状画像に斜めに直線で追記された追記情報を持つ第２画像（Ｂ）の場合を考えるものとする。そして、第１画像（Ａ）の中心位置を第２画像（Ｂ）の最初の基準位置とし、この基準位置Ｘ０、上方向に１画素シフトした位置Ｘ１、右方向に１画素シフトした位置Ｘ２、下方向に１画素シフトした位置Ｘ３、左方向に１画素シフトした位置Ｘ４の各位置でのマッチング度を求める。

図９から明らかなように、本例の場合は、基準位置Ｘ０のマッチング度Ｖ０＝３１となり、各移動方向のマッチング度は、上方向のシフト位置Ｘ１のマッチング度Ｖ１＝１９、右方向のシフト位置Ｘ２のマッチング度Ｖ２＝４０、下方向のシフト位置Ｘ３のマッチング度Ｖ３＝４２、左方向のシフト位置Ｘ４のマッチング度Ｖ４＝２３となる。

すなわち、下方向のシフト位置Ｘ３のマッチング度Ｖ３が、基準位置Ｘ０でのマッチング度Ｖ０（＝３１）よりも大きく、かつ、４方向のマッチング度Ｖ１〜Ｖ４の中で最大となる。したがって、次の処理では、図１０に示すように、下方向のシフト位置Ｘ３を基準位置とする。

このとき、上方向のシフト位置におけるマッチング度については、前回の処理でマッチング度Ｖ０＝３１として求められていることから、今回の処理で求める必要はない。当然のことながら、今回の基準位置Ｘ０のマッチング度Ｖ０についても、前回の処理で下方向のシフト位置Ｘ３のマッチング度Ｖ３＝４２として求めていることから、今回の処理で求める必要はない。

すなわち、下方向に基準位置が動いたために、今回の処理では、右方向に１画素シフトした位置Ｘ２、下方向に１画素シフトした位置Ｘ３、左方向に１画素シフトした位置Ｘ４の各位置でのマッチング度を求めれば良いことになる。そして、各移動方向のマッチング度は、右方向のシフト位置Ｘ２のマッチング度Ｖ２＝５２、下方向のシフト位置Ｘ３のマッチング度Ｖ３＝３２、左方向のシフト位置Ｘ４のマッチング度Ｖ４＝３３となる。

今回の処理では、右方向のシフト位置Ｘ２のマッチング度Ｖ２が、基準位置Ｘ０でのマッチング度Ｖ０（＝４２）よりも大きく、かつ、３方向のマッチング度Ｖ２〜Ｖ４の中で最大となる。したがって、次の処理では、図１１に示すように、右方向のシフト位置Ｘ２を基準位置とする。

このとき、左方向のシフト位置におけるマッチング度については、前回の処理でマッチング度Ｖ０＝４２として求められていることから、今回の処理で求める必要はない。当然のことながら、今回の基準位置Ｘ０のマッチング度Ｖ０についても、前回の処理で右方向のシフト位置Ｘ２のマッチング度Ｖ２＝５２として求めていることから、今回の処理で求める必要はない。

すなわち、右方向に基準位置が動いたために、今回の処理では、上方向に１画素シフトした位置Ｘ１、右方向に１画素シフトした位置Ｘ２、下方向に１画素シフトした位置Ｘ３の各位置でのマッチング度を求めれば良いことになる。ただし、上方向に関しては、１回目の処理で、右方向のシフト位置Ｘ２のマッチング度Ｖ２＝４０として求めているので、再度求める必要はない。また、上方向の動かす（シフトする）必要もない。

そして、各移動方向のマッチング度は、上方向のシフト位置Ｘ１のマッチング度Ｖ１＝４０（１回目の処理結果）、右方向のシフト位置Ｘ２のマッチング度Ｖ２＝４２、下方向のシフト位置Ｘ３のマッチング度Ｖ３＝４０となる。その結果、今回の基準位置Ｘ０のマッチング度Ｖ０、即ち前回の処理求めた右方向のシフト位置Ｘ２のマッチング度Ｖ２（＝５２）が３方向のマッチング度Ｖ１〜Ｖ３よりも大きいために、今回の基準位置Ｘ０が位置・歪補正位置に決定される。

（マッチング度）
ここで、一致点（マッチング）位置の算出で用いるマッチング度について説明する。マッチング度については、２値画像の場合は、先述したように、第１画像と第２画像のＯＮ画素位置が一致した画素の個数として求める。

カラーの場合には、マッチング度の求め方として次の３通り（１）〜（３）が考えられる。ここでは、例えば、第１画像をＡ、第２画像をＢとする。
（１）Ｒ（赤）Ｇ（緑）Ｂ（青）の色プレーンごとの差の２乗和（ΣΣ｛Ａ（ｘ，ｙ）−Ｂ（ｘ，ｙ）｝² ）として求める。ここに、｛Ａ（ｘ，ｙ）−Ｂ（ｘ，ｙ）｝は、２色間のユークリッド距離である。
（２）ＲＧＢの色同士の差の絶対値の和（ΣΣ|Ａ（ｘ，ｙ）−Ｂ（ｘ，ｙ）|）として求める。ここに、|Ａ（ｘ，ｙ）−Ｂ（ｘ，ｙ）|＝|Ａ（ｘ，ｙ）のＲ−Ｂ（ｘ，ｙ）のＲ|＋|Ａ（ｘ，ｙ）のＧ−Ｂ（ｘ，ｙ）のＧ|＋|Ａ（ｘ，ｙ）のＢ−Ｂ（ｘ，ｙ）のＢ|である。

（３）数１の相互相関係数として求める。

数１において、Ｍ，Ｎは、画像が矩形の場合、縦・横の画素数である。

（最大マッチング位置の推定処理）
ところで、ここまでの説明では、一致点位置（マッチング位置）を求めるのに、第１画像内で第２画像を画素単位で移動させるとしたが、一致点位置は必ずしも画素単位で存在するとは限らない。

そこで、一致点位置をより正確に求めるには、マッチング度の高い位置と、その位置およびその周辺でのマッチング度を用いて、マッチング度が最も高くなるであろうと推定される位置を最大マッチング位置とする。この最大マッチング位置は、サブピクセルの位置を含む。ここに、サブピクセルとは、１画素を複数に分割したときの分割の単位を言うものとする。

最大マッチング位置の推定処理について以下に具体的に説明する。なお、本処理では、図３の分割画像位置・歪補正部１０５の処理例（１）または（２）の処理で求められたマッチング度が用いられる。したがって、最大マッチング位置の推定処理は、図３の分割画像位置・歪補正部１０５の処理例（１）または（２）の処理の後処理として、必要に応じて、即ち一致点位置をより正確な検出処理が求められる際に採用されることになる。

先ず、図１２に示すように、第１画像（Ａ）に対してその中央にマッチング度が最大の第２画像（Ｂ）が位置し、当該第２画像（Ｂ）を上下左右に１画素シフトする場合を想定する。そして、図１３に示すように、マッチング度が最大の第２画像（Ｂ）を原点としたｘｙ座標を考える。このｘｙ座標上において、中心・上・下でのマッチング度を用いて上下方向（ｙ方向）の最大マッチング度を推定し、同様に、中心・左・右でのマッチング度を用いて左右方向（ｘ方向）の最大マッチング度を推定し、両方向の最大マッチング度の交点を最終的な最大マッチング度と推定する。

具体的には、図１４のｘｙ座標において、中心のマッチング度をｍ（０）、右／下のマッチング度をｍ（１）、左／上のマッチング度をｍ（−１）とするとき、中心のマッチング度ｍ（０）と右／下のマッチング度ｍ（１）を結ぶ直線Ｌ１を引き、次に左／上のマッチング度ｍ（−１）を通り、直線Ｌ１の傾きの正負が逆で絶対値が同じ傾きの直線Ｌ２を引く。そして、直線Ｌ１と直線Ｌ２との交点Ｏの原点からの距離ｄを左右方向／上下方向の最大マッチング位置と推定する。

図１３のｘｙ座標は、ｍ（−１）＞ｍ（１）のときのものである。このときの推定最大マッチング位置の距離ｄは、
ｄ＝｛ｍ（１）−ｍ（−１）｝／２｛ｍ（０）−ｍ（１）｝
なる式で与えられる。

ｍ（−１）＜ｍ（１）のときは、図１４に示すｘｙ座標となる。このときの推定最大マッチング位置の距離ｄは、
ｄ＝｛ｍ（１）−ｍ（−１）｝／２｛ｍ（０）−ｍ（−１）｝
なる式で与えられる。

上述したように、マッチング度の高い位置と、その位置およびその周辺（左右方向／上下方向）でのマッチング度を用いて、マッチング度が最も高くなるであろうと推定される位置を最大マッチング位置と推定することにより、マッチング位置が画素単位で存在しない場合であっても、第１画像（Ａ）に対する第２画像（Ｂ）のマッチング位置の原点からの距離ｄを、１画素を複数ｓに分割したときの分割の単位であるサブピクセル単位１／ｓで求めることができる。

図１５は、最大マッチング位置の推定処理における他の処理例を示す概念図である。この他の処理例は、放物線Ｐを用いて当該放物線Ｐのピーク値の原点からの距離ｄを左右方向／上下方向の最大マッチング位置と推定するというものである。このときの推定最大マッチング位置の距離ｄは、
ｄ＝｛ｍ（−１）−ｍ（１）｝／｛２ｍ（−１）−４ｍ（０）＋２ｍ（１）｝
なる式で与えられる。

この最大マッチング位置の推定処理によってマッチング位置を推定・決定した場合、追記情報抽出部１０６の膨張サイズ（膨張数）は小数となる。２値画像の場合は、膨張処理後はサブピクセル単位となるので、切り捨て、切り上げあるいは四捨五入の処理が必要になる。

本発明が適用される画像処理システムの構成の概略を示すシステム構成図である。 本発明による画像処理装置を含む画像処理システムのより具体的な構成例を示すブロック図である。 本発明の一実施形態に係る画像処理装置の機能構成例を示すブロック図である。 位置・歪補正処理の第１例の具体例を示す模式図である。 追記情報抽出処理の一例を示すフローチャートである。 追記情報抽出処理の処理例の一具体例を示す図である。 位置・歪補正処理の具体的な処理の一例を示すフローチャートである。 第１画像内における第２画像の移動方向の説明図である。 位置・歪補正処理の第２例の具体例を示す模式図（その１）である。 位置・歪補正処理の第２例の具体例を示す模式図（その２）である。 位置・歪補正処理の第２例の具体例を示す模式図（その３）である。 第１画像（Ａ）とマッチング度が最大の第２画像（Ｂ）および当該第２画像（Ｂ）を上下左右に１画素シフトする場合の位置関係を示す図である。 最大マッチング位置の推定処理におけるｍ（−１）＞ｍ（１）時の処理の概念図である。 最大マッチング位置の推定処理におけるｍ（−１）＜ｍ（１）時の処理の概念図である。 最大マッチング位置の推定処理における放物線を用いた場合の処理の概念図である。 追記前画像（Ａ）と追記後画像（Ｂ）の一具体例を示す図である。 単純引き算法の課題の説明図である。 膨張引き算法の課題の説明図である。

符号の説明

１０…画像処理装置、２０…追記前原稿、３０…追記後原稿、４０…画像読取装置、５０…画像データ入力部、６０…画像データ出力部、１０１…全体位置・歪補正部、１０２…差分抽出部、１０３…統合化処理部、１０４…分割領域抽出部、１０５…分割画像位置・歪補正部、１０６…追記情報抽出部

Claims (14)

1. 追記が行われる前の第１原稿の画像と追記が行われた後の第２原稿の画像との位置合わせを原稿全体に対して行う第１位置合わせ手段と、
   前記第１位置合わせ手段によって位置合わせが行われた第１原稿の画像と第２原稿の画像とを比較することによって差分情報を抽出する第１抽出手段と、
   前記第１抽出手段によって抽出された差分情報を基に第１原稿の画像と第２原稿の画像との位置合わせを局所的に行う第２位置合わせ手段と、
   前記第２位置合わせ手段によって位置合わせが行われた第１原稿の画像と第２原稿の画像とを比較することによって当該第２原稿の画像から追記情報を抽出する第２抽出手段と
   を備えることを特徴とする画像処理装置。
2. 前記第１抽出手段によって抽出された差分情報を基に第１原稿の画像と第２原稿の画像とを領域分割する領域分割手段をさらに備え、
   前記第２位置合わせ手段は、前記領域分割手段によって分割された分割領域ごとに位置合わせを行う
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記第１抽出手段によって抽出された差分抽出画素を基に、同一領域と見なせる差分抽出画素同士を統合して統合化領域とする統合化処理手段をさらに備え、
   前記分割手段は、前記統合化処理手段による統合化の処理結果を基に第１原稿の画像と第２原稿の画像とを領域分割する
   ことを特徴とする請求項２記載の画像処理装置。
4. 前記統合化処理手段は、前記差分抽出画素同士の距離を求め、当該距離が所定閾値以下の場合に当該差分抽出画素同士を統合化領域とする
   ことを特徴とする請求項３記載の画像処理装置。
5. 前記統合化処理手段は、前記差分抽出画素を中心とした所定サイズの図形を作成し、当該図形同士が重なる場合に、その画素同士を統合化領域とする
   ことを特徴とする請求項３記載の画像処理装置。
6. 前記統合化処理手段は、前記差分抽出画素を連結画素群ごとに分けて連結画素群ごとに外接矩形を求め、その外接矩形を所定サイズだけ拡張し、この拡張した外接矩形同士が重なる場合に統合化領域とする。
   ことを特徴とする請求項３記載の画像処理装置。
7. 前記統合化処理手段は、前記第１位置合わせ手段による位置合わせ後の第２画像において前記差分抽出画素が含まれている連結画素群を判断し、同一連結画素群に属している抽出画素を統合化領域とする
   ことを特徴とする請求項３記載の画像処理装置。
8. 前記分割手段は、第２原稿の画像での領域分割に基づいて、第１原稿の画像の領域分割を行う
   ことを特徴とする請求項２記載の画像処理装置。
9. 第１原稿の画像での分割領域のサイズが、第２原稿の画像での分割領域のサイズよりも大きく、
   前記第２位置合わせ手段は、第１原稿の画像での分割領域内で第２原稿の画像での分割領域を移動させて両分割領域の画像の一致点を求める
   ことを特徴とする請求項２記載の画像処理装置。
10. 第２原稿の画像での分割領域のサイズが、第１原稿の画像での分割領域のサイズよりも大きく、
    前記第２位置合わせ手段は、第２原稿の画像での分割領域内で第１原稿の画像での分割領域を移動させて両分割領域の画像の一致度の高い位置を求める
    ことを特徴とする請求項２記載の画像処理装置。
11. 前記第２位置合わせ手段は、第２原稿の画像または第１原稿の画像での分割領域を一致度の高い方向にシフトしていき、シフトした方向の一致度が低くなった場合、シフト前を一致位置とする
    ことを特徴とする請求項９または１０記載の画像処理装置。
12. 前記第２位置合わせ手段は、一致度の高い位置と、その位置および周辺での一致度を用いて一致度が最も高くなるであろう位置を推定する
    ことを特徴とする請求項１１記載の画像処理装置。
13. 前記第１，第２抽出手段は、第２原稿の画像から、第１原稿の画像のＯＮ画素を膨張した画像を引き算する処理を行い、
    前記第２抽出手段の膨張サイズは、前記第１抽出手段の膨張サイズ以下、若しくは前記第１抽出手段の膨張サイズよりも小さい
    ことを特徴とする請求項１記載の画像処理装置。
14. 追記が行われる前の第１原稿の画像と追記が行われた後の第２原稿の画像との位置合わせを原稿全体に対して行う第１位置合わせステップと、
    前記第１位置合わせステップで位置合わせした第１原稿の画像と第２原稿の画像とを比較することによって差分情報を抽出する第１抽出ステップと、
    前記第１抽出ステップで抽出した差分情報を基に第１原稿の画像と第２原稿の画像との位置合わせを局所的に行う第２位置合わせステップと、
    前記第２位置合わせステップで位置合わせした第１原稿の画像と第２原稿の画像とを比較することによって当該第２原稿の画像から追記情報を抽出する第２抽出ステップと
    の各処理をコンピュータに実行させることを特徴とする画像処理プログラム。
    

Images