JP2010049587A

JP2010049587A - 差分抽出装置及び差分抽出プログラム

Info

Publication number: JP2010049587A
Application number: JP2008214846A
Authority: JP
Inventors: Toshiya Koyama; 俊哉小山
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2008-08-25
Filing date: 2008-08-25
Publication date: 2010-03-04
Anticipated expiration: 2028-08-25
Also published as: JP5146199B2

Abstract

【課題】原稿に修正を加えていなくても画像間の差異が抽出される可能性を低減させる。
【解決手段】無効領域特定部３０は、修正前後のいずれかの画像から、差分抽出処理の結果として有効な処理結果が得られない画像種別に該当する画像の領域を抽出し、その抽出した画像領域を無効領域として特定する。差分抽出部４０は、修正前画像及び修正後画像の両画像の無効領域を除いた領域（有効領域）から全体位置歪み補正のための特徴点を抽出し、その抽出した特徴点を用いて修正後画像の位置歪みを補正し、修正前画像と位置歪み補正後の修正後画像を比較することで差分抽出画像を生成する。画像出力部５０は、無効領域を視認可能に差分抽出画像を出力する。
【選択図】図１

Description

本発明は、差分抽出装置及び差分抽出プログラムに関する。

紙原稿に対し、手書きで追記や押印、あるいは修正液を用いて削除などを行ったり、コンピュータ等を用いて原稿データに編集を加えたりする場合が少なくない。これらの元の原稿に対する手書きによる追記や押印、コンピュータを用いた追加、削除等元の原稿に対して何らかの変更を加えることを「修正」と総称することにすると、修正した部分を把握するために修正前の原稿と修正後の原稿とを比較して差異部分を抽出したいというニーズは少なからずある。従来では、比較対象の画像データを領域分割し、分割画像を比較などして差分を抽出する技術が提案されている（例えば、特許文献１，２）。

特開２００４−１７８００２号公報特開２００４−２８７６８２号公報

ところで、差分抽出を行う際に、比較対象の画像に写真画像、絵柄画像といった特定の種類の画像が含まれている場合、これらの画像はスキャナの特性変動の影響により、濃度や色彩の変化が生じやすいため、差分が抽出される可能性が大きくなる。

本発明は、原稿に修正を加えていなくても画像間の差異が抽出される可能性を低減させることを目的とする。

本発明に係る差分抽出装置は、第１の画像と、第１の画像との差分抽出対象となる第２の画像と、を受け付ける受付手段と、第１又は第２の画像の少なくとも一方の画像の中から、差分抽出処理を実行する際に有効な処理結果が得られない画像を含む領域を無効領域として特定する無効領域特定手段と、第１及び第２の各画像から無効領域を除いた画像領域を比較することによって差分抽出処理を行う差分抽出処理手段と、前記差分抽出処理手段による処理の結果得られた差分抽出画像を出力する画像出力手段と、を有することを特徴とする。

また、前記画像出力手段は、前記無効領域特定手段により特定された無効領域を判別可能な態様で差分抽出画像を出力することを特徴とする。

また、前記差分抽出処理手段は、第１及び第２の各画像の無効領域を除いた画像領域から特徴点を抽出する特徴点抽出部と、前記第１及び第２の各画像の無効領域を除いた画像領域から抽出された特徴点を対応付けることによって第１又は第２の画像の少なくとも一方の画像の位置、歪みを補正する補正部と、前記補正部による補正後の第１及び第２の各画像を比較することによって差分抽出を行う差分抽出部と、を有し、前記無効領域特定手段は、更に第１又は第２の画像の少なくとも一方の画像の中から、当該画像に含まれている部分画像の種類及びその部分画像の領域を特定し、前記特徴点抽出部は、前記第１又は第２の画像の少なくとも一方の画像の無効領域を除いた画像領域における前記特定された部分画像の種類に応じた方法にて当該部分画像の領域から特徴点を抽出することを特徴とする。

本発明に係る差分抽出プログラムは、コンピュータに、第１の画像と、第１の画像との差分抽出対象となる第２の画像とを受け付けるステップと、第１又は第２の画像の少なくとも一方の画像の中から、差分抽出処理を実行する際に有効な処理結果が得られない画像を含む領域を無効領域として特定するステップと、第１及び第２の各画像から無効領域を除いた画像領域を比較することによって差分抽出処理を行うステップと、前記差分抽出処理手段による処理の結果得られた差分抽出画像を出力するステップと、を実施させることを特徴とする。

請求項１、４記載の発明によれば、原稿に修正を加えていなくても画像間の差異が抽出される可能性を低減させることができる。

請求項２記載の発明によれば、差分抽出処理に用いなかった無効領域に差分があるか否かを視認により確認することができる。

請求項３記載の発明によれば、画像の種類に応じた特徴点を用いて画像の位置や歪みの補正を行わない場合に比べて、画像間の差異が抽出される可能性を低減させることができる。

以下、図面に基づいて、本発明の好適な実施の形態について説明する。

実施の形態１．
図１は、本発明に係る差分抽出装置の一実施の形態を示したブロック構成図、図２は、本実施の形態における差分抽出装置を形成するコンピュータのハードウェア構成図である。本実施の形態において差分抽出装置を形成するコンピュータは、従前から存在する汎用的なハードウェア構成で実現できる。すなわち、コンピュータは、図２に示したようにＣＰＵ１、ＲＯＭ２、ＲＡＭ３、ハードディスクドライブ（ＨＤＤ）４を接続したＨＤＤコントローラ５、入力手段として設けられたマウス６とキーボード７、画像出力先となるディスプレイ８とプリンタ９、及び原稿を読み取るスキャナ１０をそれぞれ接続する入出力コントローラ１１、通信手段として設けられたネットワークコントローラ１２を内部バス１３に接続して構成される。

図１に戻り、本実施の形態における差分抽出装置は、画像読取部２０、無効領域特定部３０、差分抽出部４０及び画像出力部５０を有している。差分抽出装置は、一般に、元の原稿（以下、「修正前原稿」）に対して修正が加えられたことにより原稿（以下、「修正後原稿」）が生成された場合に、その修正後原稿に加えられた修正箇所を修正前原稿との差分として抽出するが、画像読取部２０は、差分の抽出をするために比較する修正前原稿と修正後原稿とをスキャナ１０を用いて読み取ることで修正前画像と修正後画像とを生成する。無効領域特定部３０は、修正前画像又は修正後画像の少なくとも一方の画像の中から、差分抽出処理の結果として有効な処理結果が得られない画像として予め設定されている画像種別の領域を抽出し、その抽出した画像領域を無効領域として特定する。差分抽出部４０は、差分抽出画像処理を実施することによって修正前画像と修正後画像との差分を示す差分抽出画像を生成する。

差分抽出部４０は、全体位置・歪み補正部４１、大略差分抽出部４２、分割領域算出部４３、領域分割部４４、局所位置・歪み補正部４５、詳細差分抽出部４６及び差分合成部４７を有しているが、これらの構成要素４１〜４７については、動作の説明と共に説明する。

画像出力部５０は、差分抽出部４０により得られた差分抽出画像を出力する。特に、本実施の形態における画像出力部５０は、差分抽出画像を、無効領域特定部３０により特定された無効領域が判別可能なように出力するが、その際に画像出力部５０に含まれる無効領域組込部５１は、無効領域以外の部分と判別可能な状態で無効領域部分を差分抽出画像に組み込む。

図３は、図１に示した全体位置・歪み補正部４１のブロック構成図である。本実施の形態における全体位置・歪み補正部４１は、第１特徴点抽出部４１１、第２特徴点抽出部４１２、対応特徴点判定部４１３、補正係数算出部４１４及び位置・歪み補正部４１５を有している。これらの構成要素４１１〜４１５については、動作の説明と共に説明する。

差分抽出装置における各構成要素２０〜５０は、差分抽出装置を形成するコンピュータと、コンピュータに搭載されたＣＰＵ１で動作するプログラムとの協調動作により実現される。

また、本実施の形態で用いるプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体に格納して提供することも可能である。通信手段や記録媒体から提供されたプログラムはコンピュータにインストールされ、コンピュータのＣＰＵがインストールプログラムを順次実行することで各種処理が実現される。

次に、本実施の形態における差分抽出処理について図４に示したフローチャートを用いて説明する。

原稿に加えられた修正箇所を抽出するために、比較対象となる修正前原稿及び修正後原稿をスキャナ１０にスキャンさせ読み取らせることで、画像読取部２０は、修正前原稿の読取画像（以下、「修正前画像」）と修正後原稿の読取画像（以下、「修正後画像」）をそれぞれ生成する（ステップ１０１）。

修正前画像と修正後画像の各画像は、無効領域特定部３０と差分抽出部４０それぞれに入力されることになる。なお、図１では、修正前画像と修正後画像の双方の画像が無効領域特定部３０に入力されることになるが、実際には、以降の説明から明らかになるように修正前画像又は修正後画像の少なくとも一方が入力されればよい。

送られてきた修正前画像又は修正後画像を受け付けると、無効領域特定部３０は、受け付けた画像を次のように処理することによって無効領域を特定する（ステップ１０２）。ここで、無効領域というのは、差分抽出対象の画像（修正前画像又は修正後画像）に含まれている画像であって差分抽出処理の結果として有効な処理結果が得られないと考えられる画像が含まれている領域のことである。例えば、写真画像や絵柄、グラフィック及びグラデーションの各画像（以下、「絵柄画像」と総称）などは、スキャナの特性変動の影響を受けることによって、二値化後の黒画素と白画素が実際より大きく異なる可能性が高くなる。比較対象の画像の位置合わせをするための前処理として各画像から特徴点を抽出することになるが、各画像の画素値が大きく異なると、この処理において抽出される特徴点が大きく異なることになるため、位置歪み補正の精度が低下する可能性が生じる。

このように、高精度な差分抽出が期待できない種類の画像に対して差分抽出処理を実施してしまうと、前述した処理精度の低下等様々な弊害を招きやすい。このような弊害を招きやすい画像の種類としては、前述した写真画像や絵柄画像、更に小ポイント文字を含む画像などが考えられる。従って、本実施の形態においては、差分抽出対象の画像のうちこれらの差分抽出に適切でない画像を含む領域を差分抽出処理の対象外とするために無効領域として特定するようにした。

無効領域というのは上記の通りであるので、図４におけるステップ１０２では、無効領域特定部３０は、修正前画像又は修正後画像を受け付けると、その画像に対して画像処理を行うことで、受け付けた画像に含まれている画像の種類を判別する。そして、写真画像や絵柄画像等の無効領域とすべき画像の種類として予め設定されている種類の画像が含まれている領域を抽出すると、その領域を無効領域として特定する。なお、差分抽出対象の画像に含まれる画像領域のうち差分抽出処理が施される領域、換言すると当該画像に含まれる無効領域以外の領域を「有効領域」と称することにする。

無効領域特定部３０は、以上のようにして差分抽出対象の画像の中の処理対象外の領域を特定するため、前述したように修正前画像又は修正後画像のいずれか一方の画像を処理対象とすればよい。このようにして、無効領域を特定すると、無効領域特定部３０は、画像中の無効領域が現れる位置情報、具体的には画像上における座標情報を差分抽出部４０の全体位置・歪み補正部４１及び大略差分抽出部４２、更に画像出力部５０に送る。

なお、差分抽出処理の誤った結果としては、差分がないのにもかかわらず差分有りと誤って抽出される場合と、差分があるのにもかかわらず差分無しとして差分が抽出されない場合とが考えられる。小ポイント文字は、特に後者に該当する可能性があるため、本実施の形態では、処理結果の信頼性向上のために小ポイント文字を含む画像領域も無効領域に含めるようにした。

無効領域の位置情報が送られてくると、差分抽出部４０における全体位置・歪み補正部４１は、修正前画像及び修正後画像の両画像の無効領域を除いた領域（有効領域）から全体位置歪み補正のための特徴点を抽出する（ステップ１０３）。なお、各画像がグレーやカラーなどの多値画像である場合には、各画像を二値化しておく。より具体的には、図３に示したように、第１特徴点抽出部４１１は、画像読取部２０から送られてきた修正前画像から、無効領域特定部３０から送られてきた無効領域の位置情報に該当する領域部分を除いた有効領域を抽出し、その有効領域において特徴点抽出処理を施す。第２特徴点抽出部４１２も同様に、画像読取部２０から送られてきた修正後画像から、無効領域特定部３０から送られてきた無効領域の位置情報に該当する領域部分を除いた有効領域を抽出し、その有効領域において特徴点抽出処理を施す。そして、対応特徴点判定部４１３は、抽出された両画像の特徴点から、それぞれ対応する特徴点ペアを特定する。続いて、補正係数算出部４１４は、特徴点ペアを用いて、例えば、修正前画像を基準として位置が合うように修正後画像の位置や歪みの補正を行うための全体位置歪み補正のための補正係数（移動、拡縮倍率、回転角度）を算出する。位置・歪み補正部４１５は、算出された補正係数を用いて修正後画像の位置歪みを補正する（ステップ１０４）。

全体位置・歪み補正部４１から修正前画像及び位置歪み補正後の修正後画像を受け取ると、大略差分抽出部４２は、各画像の有効領域を対象に大略差分を抽出する（ステップ１０５）。続いて、分割領域算出部４３は、大略差分画像を解析して差分がありそうな領域を特定し、領域分割部４４は、その特定された領域および周辺領域に該当する部分を、修正前画像と位置歪み補正をした修正後画像からそれぞれ切り出す。そして、局所位置・歪み補正部４５は、位置合わせの基準画像となる修正前画像から切り出した部分画像領域と、それに対応する修正後画像から切り出した部分画像領域との位置合わせを行うために、修正後画像の位置歪みを補正する。そして、局所位置・歪み補正部４５から修正前画像及び位置歪み補正後の修正後画像を受け取ると、詳細差分抽出部４６は、切り出された領域画像同士を詳細に比較して詳細差分を抽出する（ステップ１０６）。この詳細差分の抽出処理を全ての部分画像領域に対して繰り返し行う。

なお、大略差分の抽出とは、例えば、各画像の有効領域の黒画素の個数を数え、それらの間に差分があるかを抽出するようなものであってよい。この場合、個数の差が一定範囲外の場合に両画像間に差分がある可能性があるものとみなすようにしてもよい。

そして、大略差分画像の解析に際しては、例えば、両画像の有効領域の黒画素の出現度数の分布を表すヒストグラムを生成して差分がありそうな領域を特定するようにしてもよい。

また、詳細差分の抽出とは、例えば、差分がありそうな部分画像領域毎に各画像の黒画素の出現位置を確認して、異なる出現位置の黒画素が一定数以上存在する場合に差分があるとみなすようにしてもよい。

以上説明した差分抽出部４０における処理は、差分抽出対象の画像から無効領域を除いた有効領域に対して行うこと以外は、基本的には従来の差分抽出処理と同じでよい。そして最後に、差分合成部４７は、詳細差分抽出のために分割した画像を合成して、１つの差分抽出画像を生成する（ステップ１０７）。

画像出力部５０は、無効領域特定部３０から送られてきた無効領域の位置情報に加えて、差分合成部４７から送られてきた差分抽出画像を受け付けると、画像出力部５０における無効領域組込部５１は、受け付けた差分抽出画像に対して、無効領域が有効領域や有効領域内の差分抽出領域と視覚により判別可能なように組み込む（ステップ１０８）。そして、画像出力部５０は、差分抽出画像を出力する（ステップ１０９）。出力先は、プリンタ９、ディスプレイ８、ＨＤＤ４、あるいはネットワークコントローラ１２を介して外部機器としてもよい。

また、無効領域を判別可能とする方法としては、差分抽出画像上における無効領域部分を線で囲む枠を描画したり、シェードをかけたり、無効領域内を他と異なる色で着色したり、これらを組み合わせたりしてもよい。あるいは、例えば差分抽出画像を印刷する場合、修正前後の各画像上から無効領域部分の画像を切り出して差分抽出画像とは別に印刷してもよい。本実施の形態では、無効領域に関しては差分抽出処理を実施しないので、ユーザは、視認により差分の有無を確認する必要が生じることから、比較しやすいように各画像から切り出した無効領域部分の画像を並べて印刷する。

実施の形態２．
上記実施の形態１では、無効領域を無条件に差分抽出処理の対象領域から外すようにした。本実施の形態では、実施の形態１において特定した無効領域以外の有効領域に含まれる画像の種別に応じた方法で特徴点の抽出を行うことができるようにした。

図５は、本実施の形態における差分抽出装置を示したブロック構成図である。なお、実施の形態１同じ構成要素には同じ符号を付け、説明を省略する。本実施の形態は、図１に示した無効領域特定部３０の代わりに領域分離部６０を設けたこと以外は実施の形態１と同じでよい。

次に、本実施の形態における差分抽出処理について図６に示したフローチャートを用いて説明する。なお、図４に示した実施の形態１と同じ処理には、同じ番号を付け説明を適宜省略する。

画像読取部２０が修正前原稿及び修正後原稿をそれぞれ読み取ることで生成された修正前画像と修正後画像は、領域分離部６０と差分抽出部４０それぞれに入力される（ステップ１０１）。なお、領域分離部６０には、修正前画像又は修正後画像の少なくとも一方が入力されればよい。

送られてきた修正前画像又は修正後画像を受け付けると、領域分離部６０は、受け付けた画像を解析することによってその画像に含まれている画像の種類を判別し、画像の種類毎に分類する。つまり、受け付けた画像のどの領域にどの種類の画像で形成されているのかを判別する。画像の種類としては、例えば、文字、線画、表罫線、写真、絵柄及びその他の種類に分類する。そして、本実施の形態では、写真、絵柄及びその他の種類に属する画像の領域を、実施の形態１で説明した無効領域として特定する。このようにして、画像を分類し、また無効領域を特定すると（ステップ２０１）、領域分離部６０は、分類した各画像の種類及び当該画像の領域が現れる位置情報、無効領域が現れる位置情報を差分抽出部４０の全体位置・歪み補正部４１及び大略差分抽出部４２、更に画像出力部５０に送る。このように、本実施の形態では、有効領域に含まれる画像領域の画像を種類毎に分類したことを特徴としている。

無効領域の位置情報が送られてくると、差分抽出部４０における全体位置・歪み補正部４１は、修正前画像及び修正後画像の両画像の無効領域を除いた領域（有効領域）から全体位置歪み補正のための特徴点を抽出する（ステップ２０２）。この際、全体位置・歪み補正部４１は、有効領域に含まれる画像領域の画像に対し、当該画像の種類に適合した方法にて特徴点を抽出する。例えば、文字画像であれば、文字単位で特徴点を抽出し、線画画像や表罫線画像であれば、線の交差や折れ曲りの画像部分を特徴点として抽出する、というように画像の種類に応じて最適な特徴点の抽出方法や処理パラメータを採用する。このようにして、より正確な特徴点を抽出すると、全体位置・歪み補正部４１は、抽出した両画像の特徴点を用いて修正後画像の位置歪みを補正する（ステップ１０４）。

この後の差分抽出部４０における処理（ステップ１０５〜１０７）及び画像出力部５０における処理（ステップ１０８〜１０９）は、実施の形態１と同じでよいので説明を省略する。

なお、本実施の形態では、差分抽出装置の本来の目的である、修正前原稿と修正後原稿との差分を抽出することによって修正箇所及びその内容を確認する処理に適用した場合を例にして説明した。このため、本実施の形態では、修正前後の原稿を、スキャナ１０を用いて読み取って、第１の画像に相当する修正前画像と、第１の画像との差分抽出対象となる第２の画像として修正後画像とを生成するようにした。ただ、差分抽出対象は、修正前後の原稿に必ずしも限定する必要はなく、単に比較したい原稿に適用してもよい。また、スキャナ１０により原稿を読み取って画像データを生成するのではなく、画像読取部２０は、比較対象の各画像データを、ＨＤＤ４から読み出したり、ネットワークコントローラ１２を経由して取得したりしてもよい。

また、本実施の形態では、１台のコンピュータにて差分抽出装置を形成することを想定したが、複数台のコンピュータや他の機器を組み合わせて実現してもよい。例えば、本実施の形態では、コンピュータにプリンタ９やスキャナ１０を接続して画像読取部２０を構成したが、画像形成装置に搭載されたプリンタやスキャナを利用するように構成してもよい。

本発明に係る差分抽出装置の実施の形態１を示したブロック構成図である。実施の形態１における差分抽出装置を形成するコンピュータのハードウェア構成図である。図１に示した全体位置・歪み補正部のブロック構成図である。実施の形態１における差分抽出処理を示したフローチャートである。実施の形態２における差分抽出装置を示したブロック構成図である。実施の形態２における差分抽出処理を示したフローチャートである。

符号の説明

１ＣＰＵ、２ＲＯＭ、３ＲＡＭ、４ハードディスクドライブ（ＨＤＤ）、５ＨＤＤコントローラ、６マウス、７キーボード、８ディスプレイ、９プリンタ、１０スキャナ、１１入出力コントローラ、１２ネットワークコントローラ、１３内部バス、２０画像読取部、３０無効領域特定部、４０差分抽出部、４１全体位置・歪み補正部、４２大略差分抽出部、４３分割領域算出部、４４領域分割部、４５局所位置・歪み補正部、４６詳細差分抽出部、４７差分合成部、５０画像出力部、５１無効領域組込部、６０領域分離部、４１１第１特徴点抽出部、４１２第２特徴点抽出部、４１３対応特徴点判定部、４１４補正係数算出部、４１５位置・歪み補正部。

Claims

第１の画像と、第１の画像との差分抽出対象となる第２の画像と、を受け付ける受付手段と、
第１又は第２の画像の少なくとも一方の画像の中から、差分抽出処理を実行する際に有効な処理結果が得られない画像を含む領域を無効領域として特定する無効領域特定手段と、
第１及び第２の各画像から無効領域を除いた画像領域を比較することによって差分抽出処理を行う差分抽出処理手段と、
前記差分抽出処理手段による処理の結果得られた差分抽出画像を出力する画像出力手段と、
を有することを特徴とする差分抽出装置。
請求項１記載の差分抽出装置において、
前記画像出力手段は、前記無効領域特定手段により特定された無効領域を判別可能な態様で差分抽出画像を出力することを特徴とする差分抽出装置。
請求項１記載の差分抽出装置において、
前記差分抽出処理手段は、
第１及び第２の各画像の無効領域を除いた画像領域から特徴点を抽出する特徴点抽出部と、
前記第１及び第２の各画像の無効領域を除いた画像領域から抽出された特徴点を対応付けることによって第１又は第２の画像の少なくとも一方の画像の位置、歪みを補正する補正部と、
前記補正部による補正後の第１及び第２の各画像を比較することによって差分抽出を行う差分抽出部と、
を有し、
前記無効領域特定手段は、更に第１又は第２の画像の少なくとも一方の画像の中から、当該画像に含まれている部分画像の種類及びその部分画像の領域を特定し、
前記特徴点抽出部は、前記第１又は第２の画像の少なくとも一方の画像の無効領域を除いた画像領域における前記特定された部分画像の種類に応じた方法にて当該部分画像の領域から特徴点を抽出することを特徴とする差分抽出装置。
コンピュータに、
第１の画像と、第１の画像との差分抽出対象となる第２の画像とを受け付けるステップと、
第１又は第２の画像の少なくとも一方の画像の中から、差分抽出処理を実行する際に有効な処理結果が得られない画像を含む領域を無効領域として特定するステップと、
第１及び第２の各画像から無効領域を除いた画像領域を比較することによって差分抽出処理を行うステップと、
前記差分抽出処理手段による処理の結果得られた差分抽出画像を出力するステップと、
を実施させることを特徴とする差分抽出プログラム。