JP2007335920A - 画像処理装置および画像処理プログラム - Google Patents

画像処理装置および画像処理プログラム Download PDF

Info

Publication number
JP2007335920A
JP2007335920A JP2006161763A JP2006161763A JP2007335920A JP 2007335920 A JP2007335920 A JP 2007335920A JP 2006161763 A JP2006161763 A JP 2006161763A JP 2006161763 A JP2006161763 A JP 2006161763A JP 2007335920 A JP2007335920 A JP 2007335920A
Authority
JP
Japan
Prior art keywords
image
original
alignment
divided
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006161763A
Other languages
English (en)
Inventor
Toshiya Koyama
俊哉 小山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2006161763A priority Critical patent/JP2007335920A/ja
Priority to US11/606,907 priority patent/US7969631B2/en
Publication of JP2007335920A publication Critical patent/JP2007335920A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/413Classification of content, e.g. text, photographs or tables
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】紙ドキュメント上の場所によって画像のずれ量やずれ方向が異なる場合、画像全体に対して位置合わせを行うと、高精度な差分抽出を行うことができなかったり、位置合わせ処理の後段処理である差分抽出処理に負荷がかかったりする。
【解決手段】追記前画像と追記後画像とを比較して当該追記後画像から追記情報を抽出する画像処理(差分抽出処理)において、画像から白領域探索部105によって白領域を探索し、この白領域を基準にして画像分割部107,108,109によって画像全体を複数の領域に分割する。そして、分割領域ごとに追記前画像と追記後画像との相対的な位置合わせを位置補正部114によって行い、しかる後差分抽出部116によって追記後画像から追記情報を抽出する。
【選択図】図3

Description

本発明は、画像処理装置および画像処理プログラムに関し、特に追記が行われる前の原稿画像と追記が行われた後の原稿画像とを比較して追記部分(追記情報)を抽出する画像処理装置および画像処理プログラムに関する。
画像処理の分野において、2枚の同種の紙ドキュメント間で、画像相互の位置合わせを行いたい場合が少なくない。例えば、プリンタやFAX(ファクシミリ装置)などから出力した帳票やレジュメなどの紙ドキュメントにユーザが例えば手書きで追記(加筆修正)した情報を、当該紙ドキュメントから抽出したり、セキュリティ文書が改竄されていないかどうかを検証したりする場合などに、これらの紙ドキュメントをスキャンして得たスキャン画像データを、電子原本の原本画像データと比較して追記情報や改竄部分を検出する処理が行われる。
このような追記情報や改竄部分の検出処理の際に、スキャン画像データと原本画像データとの比較に先立って、イメージ上におけるスキャン画像と電子原本画像との位置合わせを高精度に行う必要がある。かかる位置合わせの処理は、従来、次のようにして行われていた。
すなわち、スキャン画像を単色化・二値化した後、所定の大きさ範囲に設定した検索領域において、黒データ(黒ラン)の連結領域を抽出するとともに、スキャン処理の元データとしての原本画像(単色化・二値化済み)から、同様の黒データの連結領域を抽出し、両画像から抽出した黒データの連結領域のパターンを比較して対応するパターンをパターンマッチングで見つける。次に、両画像間で対応がとれた複数のパターン(連結領域)の濃度重心を求め、各画像における対応パターンの濃度重心の位置に基づいて両画像の位置ずれを算出して補正式(アフィン変換)の係数として一方の画像の補正を実行することにより、2つの画像位置を一致させるようにしていた(例えば、特許文献1参照)。
また、スキャン画像を単色化・二値化した後、線分が十字交差する十字点を抽出し、両画像から抽出した十字点の対応付けを行い、両画像間で対応付けられた十字点間の位置関係に基づいて一方の画像の他方の画像に対する位置ずれ、回転および変倍を補正するための補正式を決定して一方の画像の補正を実行することにより、2つの画像位置を一致させるようにしていた(例えば、特許文献2参照)。
このように、差分抽出処理において、スキャン画像と電子原本画像との位置合わせを行うときは、通常、画像全体から特徴点を抽出し、この抽出した特徴点情報を基に両画像の位置合わせを実施する。
特開平09−245173号公報 特開平10−091783号公報
しかしながら、通常、スキャン画像にあっては、レンズ歪、モータの回転ムラ、振動などに起因するスキャン時の画像歪や、紙に印字した際に生ずる紙ドキュメント自体の歪により、紙ドキュメント全体で一様なずれ方をしていない。すなわち、紙ドキュメント上の場所によって画像のずれ量やずれ方向が異なる。したがって、画像全体での位置合わせでは、局所的に精度良く位置合わせを行うか、あるいは、画像全体で平均的に位置合わせを行うかのいずれかになる。その結果、高精度な差分抽出を行うことができなかったり、位置合わせ処理の後段処理である差分抽出処理に負荷がかかったりする。具体的には、差分抽出の精度を高めるために処理を追加したり、処理に時間がかかったりする。
本発明は、上記課題に鑑みてなされたものであって、その目的とするところは、紙ドキュメント上の場所によって画像のずれ量やずれ方向が異なる場合であっても、2つの画像相互間の位置合わせを精度良く実現可能な画像処理装置および画像処理プログラムを提供することにある。
上記目的を達成するために、本発明は、次のような構成を採っている。すなわち、追記が行われる前の第1原稿と追記が行われた後の第2原稿の画像全体を複数の領域に分割し、この分割した分割領域ごとに第1原稿の画像と第2原稿の画像との相対的な位置合わせを行う。そして、この位置合わせ後の第1原稿の画像と第2原稿の画像とを比較することによって当該第2原稿の画像から追記情報を抽出するようにする。
第1,第2原稿の各画像を比較して第2原稿の画像から追記部分(追記情報)を抽出する差分抽出処理において、局所的に精度良く位置合わせを行うか、あるいは、画像全体で平均的に位置合わせを行うのではなく、画像全体を複数の領域に分割して分割領域ごとに第1原稿の画像と第2原稿の画像との相対的な位置合わせを行うことで、原稿全体で一様なずれ方をしていない場合、即ち原稿の場所によって画像のずれ量やずれ方向が異なる場合に、各場所ごとにずれ量やずれ方向に対応した位置合わせを実行できる。
本発明によれば、画像全体を複数の領域に分割して分割領域ごとに両画像の相対的な位置合わせを行うことにより、原稿全体で一様なずれ方をしていない場合に、各場所ごとにずれ量やずれ方向に対応した位置合わせを実行できるために、紙原稿上の場所によって画像のずれ量やずれ方向が異なる場合であっても、第2原稿である追記後原稿からの追記情報の抽出(差分抽出)を精度良く行うことができる。
以下、本発明の実施の形態について図面を参照して詳細に説明する。
図1は、本発明が適用される画像処理システムの構成の概略を示すシステム構成図である。図1において、画像処理装置10は本発明による画像処理装置に相当し、追記が行われる前の原稿(以下、「追記前原稿」と記述する)20の画像と、手書き追記や押印などの追記が行われた後の原稿(以下、「追記後原稿」と記述する)30の画像とを比較し、両画像の差分をとることによって追記後原稿30の画像から追記部分(追記情報)を抽出する差分抽出処理を行う。
ここで、フォームの紙原稿に手書き追記(1回目の追記)が行われ、当該手書き追記後の紙原稿にさらに追記(2回目の追記)が行われた場合には、1回目の追記が行われた紙原稿が追記前原稿20となり、2回目の追記が行われた紙原稿が追記後原稿30となる。3回目以降の追記が行われた場合にも、同様に、2回目、3回目、…の追記が行われた紙原稿が追記前原稿20となり、3回目、4回目、…の追記が行われた紙原稿が追記後原稿30となる。
本適用例に係る画像処理システムにおいては、追記前原稿20と追記後原稿30とをスキャナなどの画像読取装置40によって読み取り、この画像読み取りによって得られた追記前原稿画像データと追記後原稿画像データとを画像処理装置10に入力する。画像処理装置10は、追記前原稿画像データと追記後原稿画像データとから、両原稿上の画像の差分をとって追記情報を抽出する差分抽出処理を行う。
本発明による画像処理装置10は、上述したような差分抽出処理を、スキャン画像において、レンズ歪、モータの回転ムラ、振動などに起因するスキャン時の画像歪や、紙に印字した際に生ずる原稿自体の歪などが原因で、紙原稿上の場所によって画像のずれ量やずれ方向が異なる場合であっても、精度良く行うことを特徴としている。
以下に、本発明による画像処理装置10およびその処理プログラムについて具体的に説明する。
図2は、本発明による画像処理装置10を含む画像処理システムのより具体的な構成例を示すブロック図である。図2において、画像データ入力部50は、図1の画像読取装置40に相当し、追記前原稿20の画像を読み取ることによって得られる追記前原稿画像データと、追記後原稿30の画像を読み取ることによって得られる追記後原稿画像データとを本発明による画像処理装置10に入力する。
なお、ここでは、追記前原稿画像データおよび追記後原稿画像データの両方をスキャナなどの画像読取装置40で読み取ってそれらの画像データを画像処理装置10に入力するとしているが、差分抽出の基準となる追記前原稿画像データについては、例えば、サーバから与えられる追記前原稿20の画像データを画像処理装置10に入力しても良く、また本画像処理装置10内の記憶装置に追記前原稿20の画像データをあらかじめ格納しておき、当該画像データを用いるようにすることも可能である。
画像処理装置10は、CPU(Central Processing Unit:中央演算装置)11、I/O回路12、ROM13、RAM14およびHDD(ハードディスクドライブ)装置15などを有し、これら構成要素がバスライン16を介して相互に通信可能に接続された構成となっている。
CPU11は、演算処理を含む本画像処理装置10全体の処理の制御を行う。I/O回路12は、画像データ入力部50および画像データ出力部60を含む周辺機器との入出力を管理する。ROM13は、CPU11による制御の下に実行される各種処理の処理プログラムを格納する。RAM14は、当該各種処理の実行時に使用される一次記憶装置である。HDD15は、CPU11による制御の下に処理された画像データや、外部から取り込んだ画像データなどを記憶する。
画像データ出力部60は、プリンタやディスプレイ等の出力装置とその制御手段によって構成され、画像処理装置10での処理によって追記後原稿30の画像から抽出された追記情報(追記抽出情報)を印刷(記録)紙に印刷出力したり、あるいは、表示画面上に表示出力したりする。
[実施形態]
図3は、本発明の一実施形態に係る画像処理装置10の機能構成例を示すブロック図である。
図3に示すように、本実施形態に係る画像処理装置10は、2値化部101,102、特徴点抽出部103,104、白領域探索部105、領域分割位置算出部106、画像分割部107,108,109、特徴点分割部110,111、対応特徴点抽出部112、位置補正係数算出部113、位置補正部114、画像合成部115および差分抽出部116を有する構成となっている。
2値化部101には、第1原稿である追記前原稿の画像(以下、「追記前画像」と記述する)についての画像データ(以下、「追記前画像データ」と記述する)が、2値化部102には、第2原稿である追記後原稿の画像(以下、「追記後画像」と記述する)についての画像データ(以下、「追記後画像データ」と記述する)が、図2の画像データ入力部50からそれぞれ入力される。
2値化部101は、濃淡が複数ビットで表されている追記前画像データを、追記前画像中に含まれる例えば文字や線、絵柄や写真などの前景に属する画素を画素値が論理「1」のON画素(例えば、黒画素)、背景領域に属する画素を画素値が論理「0」のOFF画素(例えば、白画素)とした各画素値が1ビットの2値画像データに2値化する。同様にして、2値化部102は、濃淡が複数ビットで表されている追記後画像データを2値化する。
特徴点抽出部103は、2値化部101から供給される2値画像データを基に、当該画像データに基づく2値化追記前画像から、文字や線分(図形)などに含まれる、例えば端点、交差点、屈曲点などの特徴点を抽出する。特徴点抽出部104は、2値化部102から供給される2値画像データを基に、当該画像データに基づく2値化追記後画像から、文字や線分などに含まれる、例えば端点、交差点、屈曲点などの特徴点を抽出する。
なお、ここでは、特徴点抽出部103,104において、文字や線分などに含まれる端点、交差点、屈曲点などを特徴点(特徴量)として抽出するとしたが、これらの特徴点は一例に過ぎない。例えば、2値化された画像において連続する画素(具体的には、ON画素)に対して同一ラベルを付与するラベリング処理を行って同一ラベルが付与された連続画素群を抽出し、当該連続画素群の例えば外接矩形サイズ、外接矩形内のON画素数(ON画素率)、線の長さ(細線化した後の画素数)などを特徴点(特徴量)として抽出するようにすることも可能である。
白領域探索部105は、2値化部101から供給される2値画像データを基に、当該画像データに基づく2値化追記前画像中から白領域(白帯)を探索する。この白領域探索部105は、白領域探索を行う際に、2値化追記前画像に対して論理和縮小、具体的にはm×n画素(m,nは2以上の任意の整数)、例えば4×4画素を単位とし、当該単位中の1画素でもON画素ならその単位を1画素のON画素とすることによって画像の縮小を行う。
この画像縮小の際に、例えば図4に示すように、元画像(A)を1回の縮小処理で所定倍率の縮小画像(B)に縮小するようにしても良いし、あるいは、元画像(A)を段階的に(徐々に)縮小して最終的に所定倍率の縮小画像(B)を得るようにしても良い。
領域分割位置算出部106は、白領域探索部105が探索した白領域(白帯)を基準にして、2値化追記前画像(2値化追記後画像も同じ)を複数の領域に分割するための分割領域位置を算出する。この分割領域位置は、白領域を形成する連続するOFF画素群の各OFF画素の座標位置で表される。
なお、2値化追記前画像の分割領域位置と、2値化追記後画像の分割領域位置は、まったく同じである必要は無い。なぜなら、2値化追記後画像は2値化追記前画像に対して、位置ずれがあるため、まったく同じ分割をした場合、後述する特徴点分割部110の処理において、対応すべき特徴点が、異なる領域になる可能性があるためである。従って、2値化追記後画像の分割領域位置を算出する際には、2値化追記前画像の分割領域位置と、2値化追記後画像の両方を参照しながら行うのが望ましい。
画像分割部107は、領域分割位置算出部106が算出した分割領域位置を基に、2値化部101で2値化された追記前画像を複数の領域に分割する。画像分割部108は、領域分割位置算出部106が算出した分割領域位置を基に、2値化部102で2値化された追記後画像を複数の領域に分割する。画像分割部109は、領域分割位置算出部106が算出した分割領域位置を基に、2値前の追記後画像を複数の領域に分割する。
画像分割部107,108,109は、特許請求の範囲の領域分割手段に相当する。ここで、画像分割部107,108,109において、画像を複数の領域に分割する際に、完全に白領域で区切られている必要は無い。白領域を基準として大体領域分割されていれば良く、文字領域などについてはある程度なら分断されていても構わない。
特徴点分割部110は、特徴点抽出部103が2値化追記前画像の画像全体から抽出した特徴点を、画像分割部107が分割した分割領域(分割画像)ごとに分割する。特徴点分割部111は、特徴点抽出部104が2値化追記後画像の画像全体から抽出した特徴点を、画像分割部108が分割した分割領域ごとに分割する。
対応特徴点抽出部112は、特徴点分割部110,111が分割した分割領域(分割画像)ごとの特徴点群、即ち追記前画像の分割領域ごとの特徴点群と追記後画像の分割領域ごとの特徴点群とについて、類似した特徴を持つ特徴点を抽出し、対応する特徴点として座標を算出する。このときの対応関係としては、通常、1対1の対応とする。
ここで、分割画像内同士(追記前画像と追記後画像)でも、類似する特徴を持つ特徴点は複数存在することが考えられる。この場合は、
・位置で制約する(あまり大きな位置ずれは無視する)
・複数の特徴量を用いる
などの手法により、対応する特徴点を決定するようにすれば良い。それでも対応特徴点が誤るような場合は、他の対応特徴点で補正する、例えば正しい対応点ペアが多くあれば誤差として吸収されるようにすることが可能である。
位置補正係数算出部113は、対応特徴点抽出部112が抽出した対応特徴点から位置補正係数を算出する。具体的には、追記前画像と追記後画像の位置歪が、平行移動ずれ・回転ずれ・伸縮(倍率ずれ)によって起こるものとすると、原本画像である追記前画像の点(Xi,Yi)が追記後画像の点(Xi′,Yi′)に移動した場合、
Figure 2007335920
なる式で表すことができる。ここに、m,θ,ΔX,ΔYが位置補正係数である。
そして、最小二乗法を用い、
Figure 2007335920
が最小となる位置補正係数m,θ,ΔX,ΔYを求める。
位置補正部114は、位置補正係数算出部113が算出した位置補正係数m,θ,ΔX,ΔYを用いて、原本画像である追記前画像に対して追記後画像を分割領域ごとに位置補正(位置合わせ)する。具体的には、位置補正部114は、位置補正係数m,θ,ΔX,ΔYをパラメータとする例えばアフィン変換を用いた周知の画像変換の手法を用いて追記後画像に対して画像変換を行うことで、追記前画像に対する追記後画像の位置ずれを補正することができる。
位置補正係数算出部113および位置補正部114は、特徴点抽出部103,104、特徴点分割部110,111および対応特徴点抽出部112と共に、特許請求の範囲の位置合わせ手段を構成している。
なお、領域分割に際して、特徴点抽出部103,104が抽出した特徴点、あるいは、対応特徴点抽出部112が抽出した対応特徴点の個数や位置によって、領域分割数(画像分割数)や分割位置を変化させるようにすることにより、分割画像内に含まれる特徴点/対応特徴点の偏りを少なくすることができる。
画像合成部115は、位置補正部114が分割領域ごとに位置補正を行った各分割画像を合成することにより、原本画像である追記前画像に対して分割領域ごとに位置合わせが行われた追記後画像を生成する。
差分抽出部116は、原本画像である追記前画像と、当該追記前画像に対して分割領域ごとに位置合わせが行われ、合成された後の追記後画像とを比較し、両画像の差分抽出を行うことにより、追記後画像から追記情報を抽出する。
ここでは、追記前画像に対して分割領域ごとに位置合わせが行われ、合成された後の追記後画像に対して差分抽出を行うとしたが、追記前画像に対して分割領域ごとに位置合わせが行われた分割画像に対して差分抽出を行うようにすることも可能である。このとき、差分抽出画像の利用の仕方にもよるが、差分抽出画像の各々について合成して出力するようにしても良いし、合成処理を行わずにそのまま出力するようにしても良い。ただし、差分抽出によって得られた追記情報が領域分割によって分断されていた場合は合成する必要がある。
なお、本実施形態では、画像から白領域を抽出し、その白領域を基準に複数の領域に分割することにより、分割領域(分割画像)ごとに位置合わせを行うとしたが、これは一例に過ぎず、例えば、画像を均等に16分割する等のように、あらかじめ決められた分割手法/分割位置で複数の領域に分割し、その分割領域ごとに位置合わせを行う構成を採ることも可能である。ただし、白領域を基準に領域分割を行った方が、領域分割によって追記情報が分断される確率を低くできる利点がある。
また、本実施形態では、分割領域の決定を原本画像である追記前画像を基準に行うとしたが、追記後画像を基準に分割領域の決定を行うようにすることも可能である。一般に、追記は追記前画像の白領域に行われることから、前者の手法を採った場合は、白領域を確実に抽出できる利点がある。逆に、後者の手法を採った場合は、追記前画像の白領域に追記された追記情報を避けて白領域の抽出が行われることになるために、追記情報を分断させずに領域分割を行える利点がある。
上記構成の画像処理装置10の各構成要素、即ち2値化部101,102、特徴点抽出部103,104、白領域探索部105、領域分割位置算出部106、画像分割部107,108,109、特徴点分割部110,111、対応特徴点抽出部112、位置補正係数算出部113、位置補正部114、画像合成部115および差分抽出部116については、PC(パーソナルコンピュータ)のように、所定プログラムを実行することによって情報記憶処理、画像処理、演算処理等の各機能を実行するコンピュータ機器を利用してソフトウェア構成によって実現することが考えられる。
ただし、ソフトウェア構成による実現に限られるものではなく、ハードウェア構成、あるいはハードウェアとソフトウェアの複合構成によって実現することも可能である。ソフトウェア構成によって実現する場合、2値化部101,102、特徴点抽出部103,104、白領域探索部105、領域分割位置算出部106、画像分割部107,108,109、特徴点分割部110,111、対応特徴点抽出部112、位置補正係数算出部113、位置補正部114、画像合成部115および差分抽出部116としてコンピュータを機能させるプログラムが本発明による画像処理プログラムとなる。
また、以下に説明する処理シーケンスにおける各処理ステップの処理を実行するプログラムが、本発明による画像処理プログラムであるとも言える。そして、これらの画像処理プログラムについては、あらかじめコンピュータ内にインストールしておくことが考えられる。ただし、あらかじめインストールされているのではなく、コンピュータ読み取り可能な記憶媒体に格納されて提供されるものであっても良く、または有線若しくは無線による通信手段を介して配信されるものであっても良い。
(追記情報抽出処理)
次に、追記前画像と追記後画像との差分をとって追記後画像から追記情報を抽出する追記情報抽出処理(差分抽出処理)の一例について、図5のフローチャートを用いて説明する。
先ず、2値化追記前画像および2値化追記後画像から文字や線分などに含まれる、例えば端点、交差点、屈曲点などの特徴点を抽出し(ステップS11)、次いで、2値化追記前画像から白領域(白帯)を探索する(ステップS12)。
次に、探索した白領域を基準にして2値化追記前画像(2値化追記後画像も同じ)を複数の領域に分割するための分割領域位置を算出し(ステップS13)、次いで、算出した分割領域位置を基に2値化追記前画像および2値化追記後画像を複数の領域に分割し(ステップS14)、同様にして、2値化前の追記後画像を複数の領域に分割する(ステップS15)。
次に、2値化追記前画像および2値化追記後画像の画像全体から抽出した特徴点を分割領域(分割画像)ごとに領域分割し(ステップS16)、次いで、分割領域(分割画像)ごとの特徴点群、即ち追記前画像の分割領域ごとの特徴点群と追記後画像の分割領域ごとの特徴点群とについて、類似した特徴を持つ特徴点を抽出し、対応する特徴点として座標を算出する(ステップS17)。
次に、抽出した対応特徴点から位置補正係数m,θ,ΔX,ΔYを算出し(ステップS18)、次いで、算出した位置補正係数m,θ,ΔX,ΔYを用いて、原本画像である追記前画像に対して追記後画像を分割領域ごとに位置補正(位置合わせ)し(ステップS19)、次いで、各分割画像を画像合成する(ステップS20)。
そして、原本画像である追記前画像と、当該追記前画像に対して分割領域ごとに位置合わせが行われ、合成された後の追記後画像とを比較し、両画像の差分抽出を行うことにより、追記後画像から追記情報を抽出し(ステップS21)、追記後画像から追記情報を抽出するための一連の処理を終了する。
なお、上述した追記後画像から追記情報を抽出するための一連の処理において、各ステップの処理順は一例に過ぎず、処理によっては各ステップの処理を前後させることが可能である。
上述したように、追記前画像と追記後画像とを比較して当該追記後画像から追記情報を抽出する画像処理(差分抽出処理)において、局所的に精度良く位置合わせを行うか、あるいは、画像全体で平均的に位置合わせを行うのではなく、画像全体を複数の領域に分割して分割領域ごとに追記前画像と追記後画像との相対的な位置合わせを行うことで、原稿全体で一様なずれ方をしていない場合、即ち原稿の場所によって画像のずれ量やずれ方向が異なる場合に、各場所ごとにずれ量やずれ方向に対応した位置合わせを行うことができる。その結果、紙ドキュメント上の場所によって画像のずれ量やずれ方向が異なる場合であっても、追記前画像と追記後画像との相対的な位置合わせの精度を上げることができるために、追記後原稿からの追記情報の抽出(差分抽出)を精度良く行うことができる。
本発明が適用される画像処理システムの構成の概略を示すシステム構成図である。 本発明による画像処理装置を含む画像処理システムのより具体的な構成例を示すブロック図である。 本発明の一実施形態に係る画像処理装置の機能構成例を示すブロック図である。 白領域(白帯)を探索する際に行う画像縮小の説明図である。 追記後画像から追記情報を抽出する差分抽出処理における処理手順の一例を示すフローチャートである。
符号の説明
10…画像処理装置、11…CPU(中央演算装置)、12…I/O回路、13…ROM、14…RAM、15…HDD(ハードディスクドライブ)装置、16…バスライン、20…追記前原稿、30…追記後原稿、40…画像読取装置、50…画像データ入力部、60…画像データ出力部、101,102…2値化部、103,104…特徴点抽出部、105…白領域探索部、106…領域分割位置算出部、107,108,109…画像分割部、110,111…特徴点分割部、112…対応特徴点抽出部、113…位置補正係数算出部、114…位置補正部、115…画像合成部、116…差分抽出部

Claims (4)

  1. 追記が行われる前の第1原稿と追記が行われた後の第2原稿の画像全体を複数の領域に分割する領域分割手段と、
    前記領域分割手段が分割した分割領域ごとに前記第1原稿の画像と前記第2原稿の画像との相対的な位置合わせを行う位置合わせ手段と、
    前記位置合わせ手段による位置合わせ後の前記第1原稿の画像と前記第2原稿の画像とを比較することによって当該第2原稿の画像から追記情報を抽出する抽出手段と
    を備えることを特徴とする画像処理装置。
  2. 前記位置合わせ手段は、前記領域分割手段が分割した分割領域ごとに特徴点を抽出し、この抽出した特徴点を基に当該分割領域ごとに位置合わせを行う
    ことを特徴とする請求項1記載の画像処理装置。
  3. 前記領域分割手段は、前記第1原稿および前記第2原稿の一方の原稿の画像中から白領域を探索し、当該白領域を基準に領域の分割を行う
    ことを特徴とする請求項1記載の画像処理装置。
  4. 追記が行われる前の第1原稿と追記が行われた後の第2原稿の画像全体を複数の領域に分割する領域分割ステップと、
    前記領域分割ステップで分割した分割領域ごとに前記第1原稿の画像と前記第2原稿の画像との相対的な位置合わせを行う位置合わせステップと、
    前記位置合わせステップでの位置合わせ後の前記第1原稿の画像と前記第2原稿の画像とを比較することによって当該第2原稿の画像から追記情報を抽出する抽出ステップと
    の各処理をコンピュータに実行させることを特徴とする画像処理プログラム。
JP2006161763A 2006-06-12 2006-06-12 画像処理装置および画像処理プログラム Pending JP2007335920A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006161763A JP2007335920A (ja) 2006-06-12 2006-06-12 画像処理装置および画像処理プログラム
US11/606,907 US7969631B2 (en) 2006-06-12 2006-12-01 Image processing apparatus, image processing method and computer readable medium storing image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006161763A JP2007335920A (ja) 2006-06-12 2006-06-12 画像処理装置および画像処理プログラム

Publications (1)

Publication Number Publication Date
JP2007335920A true JP2007335920A (ja) 2007-12-27

Family

ID=38821620

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006161763A Pending JP2007335920A (ja) 2006-06-12 2006-06-12 画像処理装置および画像処理プログラム

Country Status (2)

Country Link
US (1) US7969631B2 (ja)
JP (1) JP2007335920A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009200923A (ja) * 2008-02-22 2009-09-03 Fuji Xerox Co Ltd 画像処理装置及びプログラム
JP2010066865A (ja) * 2008-09-09 2010-03-25 Fuji Xerox Co Ltd 差分抽出装置及び差分抽出プログラム
JP2013225736A (ja) * 2012-04-20 2013-10-31 Konica Minolta Inc 境界決定装置、境界決定方法、およびコンピュータプログラム
JP2018072900A (ja) * 2016-10-24 2018-05-10 富士通株式会社 画像処理装置、画像処理方法、および画像処理プログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7925089B2 (en) * 2007-09-18 2011-04-12 Microsoft Corporation Optimization of multi-label problems in computer vision
KR20130020072A (ko) * 2011-08-18 2013-02-27 삼성전자주식회사 화상형성장치 및 제어 방법
JP5679229B2 (ja) * 2012-08-24 2015-03-04 楽天株式会社 画像処理装置、画像処理方法、及びプログラム
JP6512763B2 (ja) * 2014-07-16 2019-05-15 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP2017011490A (ja) * 2015-06-22 2017-01-12 株式会社リコー 配信サーバ装置、配信方法及び配信システム
JP6662023B2 (ja) * 2015-12-21 2020-03-11 富士ゼロックス株式会社 画像処理装置および画像処理プログラム
US10318593B2 (en) * 2017-06-21 2019-06-11 Accenture Global Solutions Limited Extracting searchable information from a digitized document

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018393A (ja) * 2001-07-03 2003-01-17 Ricoh Co Ltd 画像処理システム
JP2005039485A (ja) * 2003-07-18 2005-02-10 Ricoh Co Ltd 画像抽出方法、プログラム、記録媒体及び画像処理装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4827330A (en) * 1987-07-20 1989-05-02 Litton Industrial Automation Systems, Inc. Automatic document image revision
JPH032979A (ja) * 1989-05-31 1991-01-09 Toshiba Corp 画像修正方法及び装置
JP3636809B2 (ja) 1996-03-12 2005-04-06 株式会社リコー 画像処理方法
JP3600380B2 (ja) 1996-09-11 2004-12-15 株式会社リコー 画像処理方法及びファクス文字認識装置
JP3606430B2 (ja) * 1998-04-14 2005-01-05 松下電器産業株式会社 画像整合性判定装置
DE69926699T2 (de) * 1998-08-31 2006-06-08 International Business Machines Corp. Unterscheidung zwischen Formularen
US6560620B1 (en) * 1999-08-03 2003-05-06 Aplix Research, Inc. Hierarchical document comparison system and method
US6909805B2 (en) * 2001-01-31 2005-06-21 Matsushita Electric Industrial Co., Ltd. Detecting and utilizing add-on information from a scanned document image
US20030004991A1 (en) * 2001-06-29 2003-01-02 Keskar Dhananjay V. Correlating handwritten annotations to a document
US7131061B2 (en) * 2001-11-30 2006-10-31 Xerox Corporation System for processing electronic documents using physical documents
US6983084B2 (en) * 2002-05-17 2006-01-03 Hewlett-Packard Development Company, Lp. Method of aligning page images
US7233696B2 (en) * 2002-07-12 2007-06-19 Hill Richard K Apparatus and method for characterizing digital images using a two axis image sorting technique
US20040223648A1 (en) * 2003-05-05 2004-11-11 Keith Hoene Determining differences between documents
US7391884B2 (en) * 2003-11-14 2008-06-24 Microsoft Corporation Correlative assessment between scanned and original digital images
JP4572669B2 (ja) * 2004-03-31 2010-11-04 セイコーエプソン株式会社 レイアウトルール生成システム、レイアウトシステム及びレイアウトルール生成方法並びにレイアウトルール生成プログラム
JP4630777B2 (ja) * 2004-09-13 2011-02-09 キヤノン株式会社 デジタル文書を変更する方法、装置、コンピュータプログラム及び記憶媒体
US7602972B1 (en) * 2005-04-25 2009-10-13 Adobe Systems, Incorporated Method and apparatus for identifying white space tables within a document

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018393A (ja) * 2001-07-03 2003-01-17 Ricoh Co Ltd 画像処理システム
JP2005039485A (ja) * 2003-07-18 2005-02-10 Ricoh Co Ltd 画像抽出方法、プログラム、記録媒体及び画像処理装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009200923A (ja) * 2008-02-22 2009-09-03 Fuji Xerox Co Ltd 画像処理装置及びプログラム
JP2010066865A (ja) * 2008-09-09 2010-03-25 Fuji Xerox Co Ltd 差分抽出装置及び差分抽出プログラム
JP2013225736A (ja) * 2012-04-20 2013-10-31 Konica Minolta Inc 境界決定装置、境界決定方法、およびコンピュータプログラム
JP2018072900A (ja) * 2016-10-24 2018-05-10 富士通株式会社 画像処理装置、画像処理方法、および画像処理プログラム

Also Published As

Publication number Publication date
US7969631B2 (en) 2011-06-28
US20070285722A1 (en) 2007-12-13

Similar Documents

Publication Publication Date Title
JP2007335920A (ja) 画像処理装置および画像処理プログラム
JP5620244B2 (ja) 画像比較および文書認証のための画像位置合わせの方法及びプログラム
JP4919028B2 (ja) 画像処理装置および画像処理プログラム
JP5559619B2 (ja) 画像比較解析を用いた印刷文書における変更の検出方法
US8810862B2 (en) Paper medium information encrypting system, decrypting system, program and method
US20060008113A1 (en) Image processing system and image processing method
JP5861503B2 (ja) 画像検査装置及び方法
US20090231630A1 (en) Image processing apparatus and image processing method
JP2007241356A (ja) 画像処理装置および画像処理プログラム
US8139237B2 (en) Image generating apparatus, image processing apparatus, recording medium and computer readable recording medium
JP2017161969A (ja) 文字認識装置、方法およびプログラム
US8477988B2 (en) Image processing apparatus, image forming apparatus and computer readable medium
JP4565396B2 (ja) 画像処理装置および画像処理プログラム
JP3989733B2 (ja) フォーム処理でのひずみの訂正
JP4623377B2 (ja) 画像処理装置および画像処理プログラム
JP2006235785A (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP4192909B2 (ja) 改ざん検出装置、改ざん検出方法
JP3582988B2 (ja) 非接触型画像読取装置
JP2007041832A (ja) 差分画像抽出装置
JP2020088780A (ja) システム、画像形成装置、方法およびプログラム
TWI411927B (zh) 嵌入資訊於輸入影像的方法、自輸入影像中擷取出資訊的方法以及相關裝置
JP2006235786A (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
JP2006253839A (ja) 透かし情報検出装置および透かし情報埋め込み装置および透かし情報検出方法および透かし情報埋め込み方法
JP2007328652A (ja) 画像処理装置および画像処理プログラム
JP4635845B2 (ja) Ocr装置、フォームアウト方法及びフォームアウトプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090210

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20091009

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100816

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101001

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101203