JP2004213230A - 加筆抽出装置及び加筆抽出方法 - Google Patents
加筆抽出装置及び加筆抽出方法 Download PDFInfo
- Publication number
- JP2004213230A JP2004213230A JP2002380609A JP2002380609A JP2004213230A JP 2004213230 A JP2004213230 A JP 2004213230A JP 2002380609 A JP2002380609 A JP 2002380609A JP 2002380609 A JP2002380609 A JP 2002380609A JP 2004213230 A JP2004213230 A JP 2004213230A
- Authority
- JP
- Japan
- Prior art keywords
- image
- character
- area
- difference
- retouching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Character Discrimination (AREA)
- Editing Of Facsimile Originals (AREA)
- Character Input (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
【課題】電子文書と加筆重畳画像とからの加筆抽出の際に、加筆情報が存在しない領域での引き残しの発生を抑制でき、かつ、より精度の高い加筆抽出を行うことができる加筆抽出装置及び加筆抽出方法を提供する。
【解決手段】加筆抽出装置９００は、電子文書の原稿画像と電子文書を紙へ出力した後に手書きの加筆が重畳した状態でスキャナ等の画像読取装置で再び電子化された画像とから、文字認識を用いて所望の領域を小領域に分割して小領域毎に加筆抽出操作の必要性の有無を判定する領域分割部９０２と、これによって分割され差分計算が必要と判定された小領域に対して差分計算を行う画像差分部９０３と、これによって差分処理された画像に対して補間処理を行う画像補間部９０４と、を有する。これにより、加筆抽出の精度が向上する。
【選択図】 図９
【解決手段】加筆抽出装置９００は、電子文書の原稿画像と電子文書を紙へ出力した後に手書きの加筆が重畳した状態でスキャナ等の画像読取装置で再び電子化された画像とから、文字認識を用いて所望の領域を小領域に分割して小領域毎に加筆抽出操作の必要性の有無を判定する領域分割部９０２と、これによって分割され差分計算が必要と判定された小領域に対して差分計算を行う画像差分部９０３と、これによって差分処理された画像に対して補間処理を行う画像補間部９０４と、を有する。これにより、加筆抽出の精度が向上する。
【選択図】 図９
Description
【０００１】
【発明の属する技術分野】
本発明は加筆抽出装置及び加筆抽出方法に関するものであり、特に、手書き入力システムに対する加筆抽出精度を向上させるための画像差分による加筆抽出装置及び加筆抽出方法に関する。
【０００２】
【従来の技術】
従来、ユーザがプリンタ出力文書の内容に関連して思いついたアイデア等を紙面上に加筆修正したとしても、それを元の電子ファイル文書には反映するためには、後日加筆修正内容をユーザが改めてワープロソフトウエア等を用いて入力する必要があった。
【０００３】
このような不便を解決するために、スキャナ等の画像入力手段によって入力された加筆重畳画像から、プリンタドライバが作成した加筆修正前のイメージを差分することで紙文書に対する加筆修正内容を画像情報として抽出するする技術が開発された（例えば、特許文献１参照）。
【０００４】
しかし、このような技術によっても、例えば、定型フォーマットですでに確定している情報が誤って訂正されたり、更には、文書自体の内容を故意に改ざんされる等の問題があった。
【０００５】
そこで、画像の中の、外枠の隅などの特徴的な四点を検出し、それぞれの点が電子画像中の対応する点に移動する様に補間処理を行う方法や、一点を対応点へ平行移動しその点を中心に回転させ伸縮補正などを行うアフィン変換式により補正処理を行う方法などで、位置合わせを行った後に差分処理を行っているものもある（例えば、特許文献２参照）。
【０００６】
さらには、ハイパーテキストを作成する手段と、関連情報ファイルを記憶する手段と、ハイパーテキストから媒体用紙情報を作成する手段と、媒体用紙を出力する手段と、選択情報を付与する手段と、媒体用紙から選択情報および連結情報を読み取る手段と、該当する関連情報ファイルを検索する手段と、検索された関連情報ファイルを出力する手段とを備えた文書情報管理システムもある（例えば、特許文献３参照）。この技術は、コンピューター等のデジタルの世界と紙の文書との間に情報の連続性・関連性を構築することにより、紙の文書をデジタルの世界の文書情報管理システム内に組み込むと共に、紙の文書を媒体としてデジタルの世界に直接アクセス可能とし、さらに紙の文書を用いたハイパーテキスト（紙ハイパーテキスト）を実現することを目的としている。
【０００７】
【特許文献１】
特開平１１−２７２６５４号公報
【特許文献２】
特開２００１−２８３２３１号公報
【特許文献３】
特開平１０−２２８４６８号公報
【０００８】
【発明が解決しようとする課題】
しかし、特許文献１記載の発明等では、加筆修正内容をイメージ抽出する際に、プリンタドライバが作成した電子原稿画像と、スキャナ等のデバイスから入力された加筆重畳画像との間で、単純な差分処理を行うことで抽出しているが、この方法では電子原稿と加筆重畳画像の間で全体的、または局所的なズレが発生した場合に、そのズレの影響として差分処理後に引き残しが発生する。また、印刷された枠、文字等の上に加筆があった場合、差分処理によって、加筆した情報が失われてしまう可能性もある。
【０００９】
また、特許文献２記載の発明等では、プリンタ時の紙送りムラ、ドラムの回転ムラ、スキャン時における光学系の速度ムラなどによる加筆した画像の局所的な倍率変動に対応できない。また、この従来技術においても、差分処理時の過除去による加筆情報の消失に対して何ら対策がなされていない。
【００１０】
そこで、本発明では、原稿上の文字に対する加筆を対象とし、さらに文字認識処理を利用することによって処理対象範囲を絞ることで加筆情報が存在しない領域での引き残しの発生を抑制し、また、差分処理によって一部を損失した加筆画像に対して補間操作を実行することにより、より精度の高い加筆抽出を行うことを目的としている。すなわち、本発明は、電子文書と加筆重畳画像からの加筆抽出装置において、抽出精度の向上を目的とする。
【００１１】
【課題を解決するための手段】
上記の目的を達成するために、請求項１記載の発明によれば、加筆抽出装置は、電子文書の原稿画像と電子文書を紙へ出力した後に手書きの加筆が重畳した状態でスキャナ等の画像読取装置で再び電子化された画像とから文字認識を用いて所望の領域を小領域に分割し、小領域毎に加筆抽出操作の必要性の有無を判定する領域分割手段と、領域分割手段によって分割され差分計算が必要と判定された小領域に対して差分計算を行う画像差分手段と、画像差分手段によって差分処理された画像に対して補間処理を行う画像補間手段と、を有することを特徴とするものである。
【００１２】
請求項２記載の発明によれば、加筆抽出装置は、画像補間手段は、差分処理後の画像の輪郭画像を作成する輪郭抽出手段と、輪郭抽出手段によって作成された輪郭画像から電子原稿画像を差分することで補間すべき端点の座標と補間方向を検出する端点検出手段と、端点検出手段によって検出された端点の情報から端点同士を接続し閉曲線を構成する端点接続手段と、端点接続手段によって作成された閉曲線の内部を着色する画像着色手段と、を有する請求項１記載の加筆抽出装置であることを特徴とするものである。
【００１３】
請求項３記載の発明によれば、加筆抽出装置は、領域分割手段は、電子原稿画像の与えられた領域に文字認識処理を行い、領域内における一文字毎の文字画像の認識結果と認識結果における文字の確信度と文字の領域情報とを出力する文字認識手段と、文字認識手段から得られた文字画像の領域情報から文字画像に対応する加筆重畳画像内での領域を検出する位置検出手段と、位置検出手段によって検出された文字画像の加筆重畳画像内での領域に対する文字認識結果および認識結果文字の確信度と、文字認識手段によって得られる認識結果および認識結果文字の確信度とを比較することで加筆抽出操作の必要性の有無を判定する認識結果比較手段と、を有する請求項１記載の加筆抽出装置であることを特徴とするものである。
【００１４】
請求項４記載の発明によれば、加筆抽出装置は、領域分割手段は、電子原稿画像の与えられた領域に文字認識処理を行い領域内における一文字毎の文字画像の領域情報を出力する文字認識手段と、文字認識手段から得られた文字画像の領域情報から文字画像に対応する加筆重畳画像内での領域を検出する位置検出手段と、位置検出手段によって検出された文字画像の加筆重畳画像内での領域内における黒画素の総和と電子原稿画像内での文字画像の黒画素の総和を計数し比較することで加筆抽出操作の必要性の有無を判定する画素計数手段と、を有する請求項１記載の加筆抽出装置であることを特徴とするものである。
【００１５】
請求項５記載の発明によれば、加筆抽出装置は、位置検出手段は、電子原稿画像の領域と加筆重畳画像の画像相関関数を計算し相関関数が最大値に達する２枚の画像の位置関係を検出結果とする相関位置検出手段、を有する請求項３または４記載の加筆抽出装置であることを特徴とするものである。
【００１６】
請求項６記載の発明によれば、加筆抽出装置は、位置検出手段は、電子原稿画像の領域と加筆重畳画像の差分後の黒画素の総和を計算し該総和値が最小値に達する２枚の画像の位置関係を検出結果とする差分位置検出手段、を有する請求項３または４記載の加筆抽出装置であることを特徴とするものである。
【００１７】
請求項７記載の発明によれば、加筆抽出装置は、画像差分手段は、電子原稿画像と加筆重畳画像の両者の対応する位置からわずかにずらす画素ずらし処理手段と、画素ずらし処理手段によりわずかにずらされた２枚の画像間での差分処理を行う差分処理手段と、を有する請求項１記載の加筆抽出装置であることを特徴とするものである。
【００１８】
請求項８記載の発明によれば、加筆抽出装置は、画像差分手段は、電子原稿画像を太化する画像太化処理手段と、画像太化処理手段により太化された電子原稿画像と加筆重畳画像間での差分処理を行う差分処理手段と、を有する請求項１記載の加筆抽出装置であることを特徴とするものである。
【００１９】
請求項９記載の発明によれば、加筆抽出方法は、電子文書の原稿画像と電子文書を紙へ出力した後に手書きの加筆が重畳した状態でスキャナ等の画像読取装置で再び電子化された画像とから文字認識を用いて所望の領域を小領域に分割し、該小領域毎に加筆抽出操作の必要性の有無を判定する領域分割ステップと、領域分割ステップによって分割され差分計算が必要と判定された小領域に対して差分計算を行う画像差分ステップと、画像差分ステップによって差分処理された画像に対して補間処理を行う画像補間ステップと、を有することを特徴とするものである。
【００２０】
請求項１０記載の発明によれば、加筆抽出方法は、画像補間ステップは、差分処理後の画像の輪郭画像を作成する輪郭抽出ステップと、輪郭抽出ステップによって作成された輪郭画像から電子原稿画像を差分することで補間すべき端点の座標と補間方向を検出する端点検出ステップと、端点検出ステップによって検出された端点の情報から端点同士を接続し閉曲線を構成する端点接続ステップと、端点接続ステップによって作成された閉曲線の内部を着色する画像着色ステップと、を有する請求項９記載の加筆抽出方法であることを特徴とするものである。
【００２１】
請求項１１記載の発明によれば、加筆抽出方法は、領域分割ステップは、電子原稿画像の与えられた領域に文字認識処理を行い領域内における一文字毎の文字画像の認識結果と認識結果における文字の確信度と文字の領域情報とを出力する文字認識ステップと、文字認識ステップから得られた文字画像の領域情報から文字画像に対応する加筆重畳画像内での領域を検出する位置検出ステップと、位置検出ステップによって検出された文字画像の加筆重畳画像内での領域に対する文字認識結果および認識結果文字の確信度と、文字認識ステップによって得られる認識結果および認識結果文字の確信度とを比較することで加筆抽出操作の必要性の有無を判定する認識結果比較ステップと、を有することを特徴とするものである。
【００２２】
請求項１２記載の発明によれば、加筆抽出方法は、領域分割ステップは、電子原稿画像の与えられた領域に文字認識処理を行い領域内における一文字毎の文字画像の領域情報を出力する文字認識ステップと、文字認識ステップから得られた文字画像の領域情報から文字画像に対応する加筆重畳画像内での領域を検出する位置検出ステップと、位置検出ステップによって検出された文字画像の加筆重畳画像内での領域内における黒画素の総和と電子原稿画像内での文字画像の黒画素の総和を計数し比較することで加筆抽出操作の必要性の有無を判定する画素計数ステップと、を有する請求項９記載の加筆抽出方法であることを特徴とするものである。
【００２３】
請求項１３記載の発明によれば、加筆抽出方法は、位置検出ステップは、電子原稿画像の領域と加筆重畳画像の画像相関関数を計算し相関関数が最大値に達する２枚の画像の位置関係を検出結果とする相関位置検出ステップ、を有する請求１１または１２記載の加筆抽出方法であることを特徴とするものである。
【００２４】
請求項１４記載の発明によれば、加筆抽出方法は、位置検出ステップは、電子原稿画像の領域と加筆重畳画像の差分後の黒画素の総和を計算し総和値が最小値に達する２枚の画像の位置関係を検出結果とする差分位置検出ステップ、を有する請求項１１または１２記載の加筆抽出方法であることを特徴とするものである。
【００２５】
請求項１５記載の発明によれば、加筆抽出方法は、画像差分ステップは、電子原稿画像と加筆重畳画像の両者の対応する位置からわずかにずらす画素ずらし処理ステップと、画素ずらし処理ステップによりわずかにずらされた２枚の画像間での差分処理を行う差分処理ステップと、を有する請求項９記載の加筆抽出方法であることを特徴とするものである。
【００２６】
請求項１６記載の発明によれば、加筆抽出方法は、画像差分ステップは、電子原稿画像を太化する画像太化処理ステップと、画像太化処理ステップにより太化された電子原稿画像と加筆重畳画像間での差分処理を行う差分処理ステップと、を有する請求項９記載の加筆抽出方法であることを特徴とするものである。
【００２７】
【発明の実施の形態】
次に、添付図面を参照して、本発明による加筆抽出装置及び加筆抽出方法の実施の形態を詳細に説明する。
【００２８】
図１には、本発明に係る画像差分による加筆抽出装置及び加筆抽出方法の一実施における加筆抽出の処理手順が示されている。
【００２９】
ステップＳ１０１で、加筆抽出を行う領域の個数Ｎと、それぞれの抽出対象領域の位置、大きさを設定し、電子原稿画像とその画像を紙に出力した後に加筆されスキャナなどの画像読取装置で取り込まれた加筆重畳画像を入力する。
【００３０】
ステップＳ１０２では、領域数変数ｎを１に設定する。
ステップＳ１０３では、加筆抽出の対象となる領域を加筆重畳画像から切り出し、同時に電子原稿画像からは、先に加筆重畳画像から抽出した領域に対応した領域を切り出す。
ステップＳ１０４では、ステップＳ１０３で切り出された電子原稿画像をＭ個の小領域に分割する。
【００３１】
その分割処理ステップＳ１０４を示したのが図２である。
【００３２】
図２において、ステップＳ２０１では、分割数を計数するために分割数変数ｍを０に設定する。
ステップＳ２０２では、ステップＳ１０３で切り出された電子原稿画像の領域に対して文字認識処理を行う。これは、例えば、特開平１０−１７１９２７「文字認識装置、文字認識方法および…」に記載されている方法を利用することができる。
【００３３】
電子原稿画像の領域に文字領域が含まれていれば、ステップＳ２０２の処理により電子原稿画像の領域中の文字数Ｌとそれぞれの文字の認識結果｛Ｒｒｌ｝、認識確信度｛Ｒｃｌ｝、そして文字領域｛Ｃｒｌ｝が得られる。
【００３４】
ステップＳ２０３では文字数変数ｌを１に設定する。
ステップＳ２０４では電子原稿画像中の文字領域Ｃｒｌに対応する加筆重畳画像中の領域Ｃｒｌ’を検出する。
【００３５】
この対応する領域を検出する手段としては、電子原稿画像中の文字領域Ｃｒｌの文字画像と加筆重畳画像との相関関数をＣｒｌの近傍で計算し相関関数が最大値を示すところを「最も確からしい位置」としてＣｒｌ’に代入する。
【００３６】
また、ステップＳ２０４の別の手段として、加筆重畳画像中のＣｒｌの近傍でＣｒｌと同じ大きさの領域を切り出し、その領域から電子原稿画像中の文字領域Ｃｒｌを差分処理して残黒画素の総和を計算する。
【００３７】
この残黒画素総和計算を加筆重畳画像からＣｒｌ領域を切り出す際にわずかにずらしながら複数回実行し、残黒画素の総和が最小値を示したところを「最も確からしい位置」としてＣｒｌ’に代入する。
【００３８】
ステップＳ２０５では、ステップＳ２０４で得られた加筆重畳画像側のＣｒｌ’に対して文字認識処理を行う。これはステップＳ２０２で行った文字認識方法と同じものを用いる必要がある。よって、ステップＳ２０２と同じく、領域｛Ｃｒｌ’｝の認識結果｛Ｒｒｌ’｝、認識確信度｛Ｒｃｌ’｝が得られる。
【００３９】
ステップＳ２０６では、それぞれの文字認識の結果ＲｒｌとＲｒｌ’を比較する。文字認識の結果ＲｒｌとＲｒｌ’が異なっていれば（Ｎｏ）、領域Ｃｒｌ’には何らかの加筆が加わっている可能性があるので、ステップＳ２０８に進み、分割数変数ｍを１増加させ、ＲａｍにＣｒｌを、Ｒａｍに対応する領域Ｒａｍ’にＣｒｌ’を代入した後、ステップＳ２０９へ進む。
【００４０】
文字認識の結果ＲｒｌとＲｒｌ’が同じであれば（ステップＳ２０６でＹｅｓ）、ステップＳ２０７へ進む。ここではＲｃｌに１以下の定数αを乗算しＲｃｌ’と比較し、Ｒｃｌ’の方が小さい（Ｎｏ）、つまり認識確信度に著しい低下が見られた場合、領域Ｃｒｌ’には何らかの加筆が加わっている可能性があるので、ステップＳ２０８に進み、分割数変数ｍを１増加させ、ＲａｍにＣｒｌを、Ｒａｍに対応する領域Ｒａｍ’にＣｒｌ’を代入した後、ステップＳ２０９へ進む。Ｒｃｌ’の方が大きければ（ステップＳ２０７でＹｅｓ）、加筆の可能性は低いので、ステップＳ２０８へ行くことなくステップＳ２０９に進む。
【００４１】
ステップＳ２０９では、文字数変数ｌを１だけ増加させ、ステップＳ２１０で文字数Ｌと比較し、文字数変数ｌが文字数Ｌを超えていれば（Ｙｅｓ）、ステップＳ２１１で分割領域数ｍを分割数Ｍに代入し、｛Ｒａｍ｝と｛Ｒａｍ’｝をステップＳ１０５へ出力する。
超えていなければ（ステップＳ２１０でＮｏ）、ステップＳ２０４からの処理を繰り返す。
【００４２】
図３は、分割処理ステップＳ１０４の別の手段である。
【００４３】
ステップＳ３０１では、分割数を計数するためにｍを０に設定する。
ステップＳ３０２では、ステップＳ１０３で切り出された電子原稿画像の領域に対して文字認識処理を行う。これには、図２のステップＳ２０２と同じものが利用できる。
【００４４】
電子原稿画像の領域に文字領域が含まれていれば、ステップＳ３０２の処理により電子原稿画像の領域中の文字数Ｌとそれぞれの文字の認識結果｛Ｒｒｌ｝、認識確信度｛Ｒｃｌ｝、そして文字領域｛Ｃｒｌ｝が得られる。
【００４５】
ステップＳ３０３では、文字数変数ｌを１に設定する。
ステップＳ３０４では、電子原稿画像中の文字領域Ｃｒｌに対応する加筆重畳画像中の領域Ｃｒｌ’を検出する。この対応する領域を検出する手段としては、図２のステップＳ２０４と同じものが利用できる。
【００４６】
ステップＳ３０５では、電子原稿画像側のＣｒｌとステップＳ３０４で得られた加筆重畳画像側のＣｒｌ’に対して黒画素計数処理を行う。それぞれの黒画素数をＮｂｌ、Ｎｂｌ’とする。
【００４７】
ステップＳ３０６では、ステップＳ３０５で得られた黒画素数Ｎｂｌ、Ｎｂｌ’を比較する。
【００４８】
Ｎｂｌ’に１以下の定数βを乗算してＮｂｌと比較し、Ｎｂｌの方が小さい （ステップＳ３０６でＮｏ）、つまり加筆重畳画像側に著しい黒画素の増加が見られた場合、領域Ｃｒｌ’には何らかの加筆が加わっている可能性があるので、ステップＳ３０７に進み、割数変数ｍを１増加させ、ＲａｍにＣｒｌを、Ｒａｍに対応する領域Ｒａｍ’にＣｒｌ’を代入した後、ステップＳ３０８へ進む。
【００４９】
Ｎｂｌの方が大きければ（ステップＳ３０６でＹｅｓ）、加筆の可能性は低いので、ステップＳ３０７へ行くことなくステップＳ３０８に進む。
【００５０】
ステップＳ３０８では、文字数変数ｌを１だけ増加させ、ステップＳ３０９で文字数Ｌと比較し、文字数変数ｌが文字数Ｌを超えていれば（Ｙｅｓ）、ステップＳ３１０で分割領域数ｍを分割数Ｍに代入し、｛Ｒａｍ｝と｛Ｒａｍ’｝をステップＳ１０５へ出力する。超えていなければ（ステップＳ３０９でＮｏ）、ステップＳ３０４からの処理を繰り返す。
【００５１】
また、ステップＳ２０２、ステップＳ３０２で文字として認識されなかった部分は、後に記す加筆画像の貼り付け先として保存しておく。
【００５２】
図１のステップＳ１０５では、分割数変数ｍを１に設定する。
ステップＳ１０６では、ステップＳ１０４で加筆の可能性があると判定された領域ＲａｍとＲａｍ’に対して画像差分処理を行い、結果の差分処理画像をステップＳ１０７へ出力する。
【００５３】
画像差分処理ステップＳ１０６を示したのが図４である。
【００５４】
ステップＳ４０１では、縦座標変数ｙを−ａに設定する。
ステップＳ４０２では、横座標変数ｘを−ａに設定する。
【００５５】
ステップＳ４０３では、電子原稿側の領域Ｒａｍから（ｘ、 ｙ）だけ画素をずらした画像を抽出し、ステップＳ４０４では、ステップＳ４０３において画素ずらしで抽出したＲａｍとＲａｍ’との差分を行う。
【００５６】
ステップＳ４０５では、ｘを１だけ増加させ、ステップＳ４０６で横座標変数ｘがａを超えていれば（Ｙｅｓ）、ステップＳ４０７へ進む。超えていなければ（ステップＳ４０６でＮｏ）、ステップＳ４０３からの処理を繰り返す。
【００５７】
ステップＳ４０７では、ｙを１だけ増加させ、ステップＳ４０８で横座標変数ｙがａを超えていれば（Ｙｅｓ）、ステップＳ４０４での差分処理結果をステップＳ１０７へ出力する。超えていなければ（ステップＳ４０８でＮｏ）、ステップＳ４０２からの処理を繰り返す。ａの値は１〜２を用いる。
【００５８】
図５は、分割処理ステップＳ１０６の別の手段である。
【００５９】
ステップＳ５０１では、Ｒａｍに対して画像太化処理を行う。
ステップＳ５０２では、Ｒａｍ’と画像太化処理されたＲａｍとを用いて差分処理を行い、その差分処理結果をステップＳ１０７へ出力する。
【００６０】
図４または図５の処理をせずに直接差分処理を行うと、加筆重畳画像側の原稿成分の引き残しが発生する可能性がある。これは電子原稿画像は電子原稿を計算機内部で直接画像化したものに対し加筆重畳画像は電子原稿が一度紙に出力されスキャナなどのデバイスで画像化したものであるから、画像の質が大きく変化する可能性があるからである。
【００６１】
図１のステップＳ１０７では、ステップＳ１０６から入力される差分処理画像に対して画像補間処理を行う。
【００６２】
画像補間処理ステップＳ１０７を示したのが図６である。
【００６３】
ステップＳ６０１では、ステップＳ１０６から入力される差分処理画像に対して輪郭抽出処理を行い差分輪郭画像を生成する。
【００６４】
ステップＳ６０２では、ステップＳ６０１で生成された差分輪郭画像に対し、電子原稿画像を用いて図４または図５で示された差分処理を再び行い、端点画像を作成する。
【００６５】
ステップＳ６０３では、ステップＳ６０２で作成された端点画像中の線分の端点を検出し、 その座標と端点付近における線分のベクトルを計算する。
【００６６】
ステップＳ６０４では、ステップＳ６０３で検出された端点同士を接続する。端点接続のルールとしては、未接続の２つの端点を選び、 一方の端点の座標がもう一方の端点がある線分の延長上にあるか否かを判定し、延長上にあるとみなせる場合は２点間を直線で結ぶ。延長上にあるとはみなせない場合は一方の端点を未接続の別の端点に置き換え同様の判定を行う。
【００６７】
ステップＳ６０５では、全ての端点が接続されたかどうかを判定し、未接続の端点がある場合はステップＳ６０４の操作を繰り返すことで推定輪郭画像を作成する。全ての端点が接続された場合はステップＳ６０６に進む。
【００６８】
ステップＳ６０６では、ステップＳ６０４、ステップＳ６０５での処理で作成された推定輪郭画像に対して輪郭内部の着色を行う。輪郭の「内部」また「外部」の判定には差分処理画像を用いる。差分処理画像のおいて黒画素の部分は推定輪郭画像においては輪郭内部なので、輪郭の内外の判定が可能である。こうして作成された加筆小領域画像をステップＳ１０８に出力する。
【００６９】
図１のステップＳ１０８では、ステップＳ１０７で作成された加筆画像をステップＳ１０４から得られた領域情報と下地画像を元に合成する。
【００７０】
ステップＳ１０９では、分割数変数ｍを１だけ増加させ、ステップＳ１１０で分割領域数Ｍを超えているか否かを判定し、超えていなければ（Ｎｏ）、ステップＳ１０６から繰り返す。超えた場合は（ステップＳ１１０でＹｅｓ）、ステップＳ１１１で、白紙の画像に対してステップＳ１０３で抽出した位置に領域情報を元にステップＳ１０８で合成された加筆画像を合成する。
【００７１】
ステップＳ１１２で，領域数変数ｎを１だけ増加させ、ステップＳ１１３で、領域数Ｎを超えているか否かを判定し、超えていなければ（Ｎｏ）、ステップＳ１０３から繰り返し、超えていれば（ステップＳ１１３でＹｅｓ）、ステップＳ１１４加筆画像を出力する。
【００７２】
図７、図８は前述した一連の処理を画像を用いて模式的に説明したものである。
【００７３】
図７では、前述のステップＳ１０１によって電子原稿と加筆重畳画像の二つの画像が与えられる。
【００７４】
まず、図７▲１▼でこの２つの画像から加筆抽出を行う領域を抽出する（ステップＳ１０３参照）。
次に、抽出した領域の電子原稿画像側に対して、図７▲２▼で文字認識処理を行い、領域中の文字画像情報を得る。
加筆重畳画像側に対して先ほど電子原稿画像から得た文字画像の領域情報を適用し（図７▲３▼）、文字画像毎に文字認識、または黒画素計数を行い電子原稿画像側と比較する（図７▲４▼）。その際に文字認識処理によって『文字画像』として認識されなかった領域を、加筆画像を合成する際の下地として保存しておく（図７▲５▼）。
【００７５】
以上の操作で加筆重畳画像に対して、図７下のように加筆抽出操作が必要な領域を絞ることができる。これらの処理は前述のステップＳ１０４に対応する。
【００７６】
図８では、前述のステップＳ１０６以降の処理が表わされている。ステップＳ１０４で得られた分割画像領域情報から図８左上の文字単位の電子原稿画像と加筆重畳画像が得られる。
【００７７】
この２枚の画像間で図８▲１▼の差分処理を行い（ステップＳ１０６参照）、差分画像を得る。ここで得られた差分画像に対して図８▲２▼のように輪郭抽出を行うことで（ステップＳ６０１参照）、差分輪郭画像が得られる。
【００７８】
この画像に対して図８▲４▼の差分処理（ステップＳ６０２参照）を行うことで、端点画像を得るのだが、この図８では、あらかじめ電子原稿画像側の文字画像を太化したものを準備し（図８▲３▼）、それとの差分処理を行っている。つまり、画像差分処理に前述のステップＳ５０１、ステップＳ５０２の方法を採用している。
【００７９】
こうして得られた端点画像に対して端点検出処理を行い、それぞれの端点の座標、端点を含む線分の端点上でのベクトルを算出する（ステップＳ６０３参照）。
【００８０】
この端点同士を図８▲５▼で接続し（ステップＳ６０４参照）、全ての端点を接続し終わり輪郭推定画像が生成されると図８▲６▼において着色処理を行う。
【００８１】
着色操作は、輪郭推定画像の輪郭を境界に着色する部分、しない部分に分けられるが、この判断には図８▲６▼’のように図８▲１▼で作成された差分画像を参照画像とし、この参照画像と相関が高い着色パターンを採用する。
以上の操作で図８右下の加筆画像が得られる。
【００８２】
図９には、本発明による加筆抽出装置及び加筆抽出方法の一実施形態における加筆抽出器の構成例が示されている。
【００８３】
図９において、加筆抽出器９００は、領域抽出部９０１と、領域分割部９０２と、画像差分部９０３と、画像補間部９０４と、画像合成部９０５と、から構成される。
【００８４】
領域抽出部９０１は、図１のステップＳ１０１で設定される電子原稿画像と加筆重畳画像、加筆抽出を行いたい領域の個数、それぞれの領域の位置と大きさを使用することで、図１のステップＳ１０３での所望の領域切り出しを両画像から行う。
【００８５】
領域分割部９０２は、領域抽出部９０１で抽出された領域に対してステップＳ１０４のさらなる領域分割を行う。
【００８６】
図１０には、本発明による加筆抽出装置及び加筆抽出方法の一実施形態における領域分割器の構成例が示されている。
【００８７】
図１０において、領域分割器１０００は、図９の領域分割部９０２の一実施例であり、文字認識部１００１と、位置検出部１００２と、認識結果比較部１００３とから構成される。
【００８８】
文字認識部１００１において、図９の領域抽出部９０１で抽出された電子原稿側の領域に対して図２のステップＳ２０２の文字認識処理を行う。
【００８９】
電子原稿画像に文字画像が含まれていれば、その認識結果と確信度、そしてそれぞれの文字の領域情報（位置と大きさ）が一文字毎に得られる。
【００９０】
次に、位置検出部１００２において、先の文字認識部１００１より出力された電子原稿画像の文字毎の画像領域に対応する加筆重畳画像上における領域を検出し、両領域のずれ量を得る。ここでは図２のステップＳ２０４の動作を行う。
【００９１】
認識結果比較部１００３において、加筆重畳画像に対して、先の位置検出部１００２で得られたそれぞれの電子原稿画像の文字の領域情報を用いて、図２のステップＳ２０５の文字認識処理を行い、ここで得られる文字認識処理結果とその結果に対する確信度と、文字認識部１００１で得られた文字認識結果とその結果に対する確信度とを比較する。これは図２のステップＳ２０６とステップＳ２０７の動作に対応する。
【００９２】
もし、ここで考えている文字領域に加筆が行われていなければ、加筆重畳画像に対して行った文字認識処理結果と、電子原稿画像に対して行った文字認識処理結果は一致し、確信度も同程度のものが得られる。文字領域に何らかの加筆成分があった場合、一文字あるいは複数の文字の両画像の文字認識処理結果の間に結果の相違、または結果が同じであっても確信度の変化が起こる。
【００９３】
こうして得られた加筆成分が重畳している可能性がある領域情報と位置検出部１００２から得られる加筆重畳画像上における領域情報を図２のステップＳ２０８の代入操作で保存しておき、最終的に図９の画像差分部９０３へ出力する。
【００９４】
図１１には、本発明による加筆抽出装置及び加筆抽出方法の他の実施形態における領域分割器の構成例が示されている。
【００９５】
図１１において、領域分割器１１００は、図９の領域分割部９０２の他の実施例であり、文字認識部１１０１と、位置検出部１１０２と、画素形成部１１０３とから構成される。
【００９６】
文字認識部１１０１は、図１０の文字認識部１００１と同等の機能を有するので、図９の領域抽出部９０１で抽出された領域に含まれる文字画像の位置情報が得られる。これは図３のステップＳ３０２の動作に対応する。
【００９７】
次に、位置検出部１１０２において、先の文字認識部１１０１より出力された電子原稿画像の文字毎の文字画像領域に対応する加筆重畳画像上における領域を検出し、両領域のずれ量を得る。これは図３のステップＳ３０４の動作に対応する。
【００９８】
次に、画素計数部１１０３において、先の位置検出部１１０２で得られた文字画像の位置に対応する部分を電子原稿画像と加筆重畳画像から抽出し、図３のステップＳ３０５に対応する領域内の黒画素数計数を２つの画像に対して行いステップＳ３０６の比較を行う。
【００９９】
もし、ここで考えている文字領域に加筆が行われていなければ、加筆重畳画像側の文字領域抽出画像の黒画素数と電子原稿画像の文字領域抽出画像の黒画素数は、ほぼ一致する。
【０１００】
文字領域に何らかの加筆成分があった場合、加筆重畳画像側の文字領域抽出画像の黒画素数は電子原稿画像の文字領域抽出画像の黒画素数を大きく上回る。
【０１０１】
こうして得られた加筆成分が重畳している可能性がある領域情報と位置検出部１１０２から得られる加筆重畳画像上における領域情報を図３のステップＳ３０７の代入操作で保存しておき、最終的に９０３へ出力する。
【０１０２】
図１０、図１１の領域分割器において、文字画像として判定されなかった領域は、後述する補間処理後の貼り付け先として保存する。
【０１０３】
図１２には、本発明による加筆抽出装置及び加筆抽出方法の一実施形態における位置検出器の構成例が示されている。
【０１０４】
図１２において、位置検出器１２００は、図１０、図１１における位置検出部１００２と、１１０２との一実施例であり、相関計算部１２０１と、最大相関検出部１２０２とから構成される。
【０１０５】
相関計算部１２０１は、図１０、図１１における文字認識部１００１と、１１０１とから入力される一文字毎の画像領域情報をもとに、電子原稿画像から画像切り出すことで参照画像を作成し、参照画像と加筆重畳画像との相関関数を計算する。
【０１０６】
次に、最大相関検出部１２０２において、相関計算部１２０１で計算した相関関数で最大値に達する座標を検出し、その座標を参照画像と加筆重畳画像との相対位置として図１０の認識結果比較部１００３、図１１の画素計数部１１０３へ出力する。
【０１０７】
図１３には、本発明による加筆抽出装置及び加筆抽出方法の他の実施形態における位置検出器の構成例が示されている。
【０１０８】
図１３において、位置検出器１３００は、図１０、図１１における位置検出部１００２と、１１０２の他の実施例であり、差分処理部１３０１と、最小残黒画素検出部１３０２とから構成される。
【０１０９】
差分処理部１３０１は、図１０、図１１における文字認識部１００１と、１１０１とから入力される一文字毎の画像領域情報をもとに電子原稿画像から画像切り出すことで参照画像を作成し、加筆重畳画像から参照画像を差分することで得られる残黒画素の総和値を計算する。
【０１１０】
この差分計算と残黒画素の総和計算を、参照画像と加筆重畳画像との位置関係をずらしながら複数回実行し、残黒画素の総和を参照画像のずらし量の関数とする。
【０１１１】
次に、最小残黒画素検出部１３０２において、差分処理部１３０１で計算した残黒画素関数で最小値に達する座標を検出し、その座標を参照画像と加筆重畳画像との相対位置として図１０、図１１における認識結果比較部１００３と、画素計数部１１０３とへ出力する。
【０１１２】
図９の画像差分部９０３は、領域分割部９０２より入力される加筆成分が重畳している可能性がある領域に対して、図１のステップＳ１０６の差分処理を行い、処理結果の画像を画像補間部９０４に出力する。
【０１１３】
図１４には、本発明による加筆抽出装置及び加筆抽出方法の一実施形態における画像差分器の構成例が示されている。
【０１１４】
図１４において、画像差分器１４００は、図９の画像差分部９０３の一実施例であり、画素ずらし処理部１４０１と、差分処理部１４０２とから構成される。
【０１１５】
画素ずらし処理部１４０１は、図９の領域分割部９０２から入力される加筆成分が重畳している可能性がある電子原稿画像の領域情報とその領域に対応する加筆重畳画像上における領域情報から、電子原稿画像と加筆重畳画像の両画像から画像切り出しを行う。
【０１１６】
この電子原稿画像から画像切り出しを行う際に、切り出す領域を数画素ずらしながらを切り出す。これは図４のステップＳ４０１〜ステップＳ４０３、およびステップＳ４０５〜ステップＳ４０８の処理に対応する。
【０１１７】
次に、差分処理部１４０２において、画素ずらし処理部１４０１で切り出された加筆重畳画像の小領域と同じく画素ずらし処理部１４０１で切り出された電子原稿画像の小領域との間でステップＳ４０４の差分処理を実行し、処理結果を図９の画像補間部９０４へ出力する。
【０１１８】
図１５には、本発明による加筆抽出装置及び加筆抽出方法の他の実施形態における画像差分器の構成例が示されている。
【０１１９】
図１５において、画像差分器１５００は、図９の画像差分部９０３の他の実施例であり、画像太化処理部１５０１と、差分処理部１５０２とから構成される。
【０１２０】
画像太化処理部１５０１は、図９の領域分割部９０２から入力される加筆成分が重畳している可能性がある電子原稿画像の領域情報とその領域に対応する加筆重畳画像上における領域情報から、電子原稿画像と加筆重畳画像の両画像から画像切り出しを行い、電子原稿画像から切り出した画像に対して画像の太化処理を行う。この画像切り出しと太化処理は図５のステップＳ５０１に対応する。
【０１２１】
次に、差分処理部１５０２において、画像太化処理部１５０１で切り出された加筆重畳画像の小領域と同じく画像太化処理部１５０１で切り出された電子原稿画像の小領域との間で図５のステップＳ５０２の差分処理を実行し、処理結果を図９の画像補間部９０４へ出力する。
【０１２２】
図９の画像補間部９０４は、画像差分部９０３より入力される差分画像に対し図１のステップＳ１０７の画像補間処理を実行し、処理結果を画像合成部９０５へ出力する。
【０１２３】
図１６には、本発明による加筆抽出装置及び加筆抽出方法の一実施形態における画像補間器の構成例が示されている。
【０１２４】
図１６において、画像補間器１６００は、図９の画像補間部９０４の一実施例であり、輪郭抽出部１６０１と、端点検出部１６０２と、端点接続部１６０３と、画像着色部１６０４と、領域合成部１６０５とから構成される。
【０１２５】
輪郭抽出部１６０１は、図９の画像差分部９０３から入力される差分処理後の画像に対して図６のステップＳ６０１の輪郭強調処理を行い、差分輪郭画像を作成する。
【０１２６】
次に、端点検出部１６０２において、輪郭抽出部１６０１で作成された差分輪郭画像と電子原稿画像の間で図６のステップＳ６０２の差分処理を行い、端点画像を作成し、画像中の端点の座標を抽出する。これは図６のステップＳ６０３に対応する。
【０１２７】
次に、端点接続部１６０３において、端点検出部１６０２において作成した端点画像と端点の情報から、線分の延長上にある端点同士に対して図６のステップＳ６０４の端点接続を行い、推定輪郭画像を作成する。
【０１２８】
次に、画像着色部１６０４において、推定輪郭画像の内部に対し図６のステップＳ６０６の着色処理を行う。
【０１２９】
最後に、領域合成部１６０５において、図９の領域分割部９０２で貼り付け先画像として保存された画像に対して貼り付け処理を行い、画像合成部９０５へ出力する。
【０１３０】
図９の画像合成部９０５は、領域抽出部９０１から入力される抽出領域情報に基づいて、画像補間部９０４から入力される画像補間処理後の画像、つまり図１のステップＳ１１１の加筆画像の張り合わせ処理を白紙の画像に対して実行し、その結果一枚の加筆画像が完成する。
【０１３１】
【発明の効果】
請求項１の記載の発明によれば、加筆抽出装置は、電子文書の原稿画像と前記電子文書を紙へ出力した後に手書きの加筆が重畳した状態でスキャナ等の画像読取装置で再び電子化された画像とから文字認識を用いて所望の領域を小領域に分割し、小領域毎に加筆抽出操作の必要性の有無を判定する領域分割手段と、前記領域分割手段によって分割され差分計算が必要と判定された小領域に対して差分計算を行う画像差分手段と、前記画像差分手段によって差分処理された画像に対して補間処理を行う画像補間手段と、を有しているので、加筆抽出の精度が向上する。
【０１３２】
請求項２記載の発明によれば、加筆抽出装置は、請求項１記載の加筆抽出装置において、前記画像補間手段は、差分処理後の画像の輪郭画像を作成する輪郭抽出手段と、前記輪郭抽出手段によって作成された輪郭画像から電子原稿画像を差分することで補間すべき端点の座標と補間方向を検出する端点検出手段と、前記端点検出手段によって検出された端点の情報から端点同士を接続し閉曲線を構成する端点接続手段と、前記端点接続手段によって作成された閉曲線の内部を着色する画像着色手段、を有しているので、加筆成分の過除去後の補間が可能となり、加筆抽出の精度が向上する。
【０１３３】
請求項３記載の発明によれば、加筆抽出装置は、請求項１記載の加筆抽出装置において、前記領域分割手段は、電子原稿画像の与えられた領域に文字認識処理を行い領域内における一文字毎の文字画像の領域情報と認識結果、認識結果文字の確信度を出力する文字認識手段と、前記文字認識手段から得られた文字画像の領域情報から該文字画像に対応する加筆重畳画像内での領域を検出する位置検出手段と、前記位置検出手段によって検出された該文字画像の加筆重畳画像内での領域に対する文字認識結果および認識結果文字の確信度と、前記文字認識手段によって得られる認識結果および認識結果文字の確信度とを比較することで加筆抽出操作の必要性の有無を判定する認識結果比較手段、を有しているので計算効率が向上する。
【０１３４】
請求項４記載の発明によれば、加筆抽出装置は、請求項１記載の加筆抽出装置において、前記領域分割手段は、前記領域分割手段は、電子原稿画像の与えられた領域に文字認識処理を行い領域内における一文字毎の文字画像の領域情報を出力する文字認識手段と、前記文字認識手段から得られた文字画像の領域情報から該文字画像に対応する加筆重畳画像内での領域を検出する位置検出手段と、前記位置検出手段によって検出された該文字画像の加筆重畳画像内での領域内における黒画素の総和と電子原稿画像内での文字画像の黒画素の総和を計数し比較することで加筆抽出操作の必要性の有無を判定する画素計数手段、を有しているので計算効率が向上する。
【０１３５】
請求項５記載の発明によれば、加筆抽出装置は、請求項３、 ４記載の加筆抽出装置において、前記位置検出手段は、電子原稿画像の領域と加筆重畳画像の画像相関関数を計算し相関関数が最大値に達する２枚の画像の位置関係を検出結果とする相関位置検出手段、を有しているので加筆抽出の精度が向上する。
【０１３６】
請求項６記載の発明によれば、加筆抽出装置は、請求項３、 ４記載の加筆抽出装置において、前記位置検出手段は、電子原稿画像の領域と加筆重畳画像の差分後の黒画素の総和を計算し該総和値が最小値に達する２枚の画像の位置関係を検出結果とする差分位置検出手段、を有しているので加筆抽出の精度が向上する。
【０１３７】
請求項７記載の発明によれば、加筆抽出装置は、請求項１記載の加筆抽出装置において、前記画像差分手段は、電子原稿画像と加筆重畳画像の両者の対応する位置からわずかにずらす画素ずらし処理手段と、前記画素ずらし処理手段によりわずかにずらされた２枚の画像間での差分処理を行う差分処理手段、を有しているので、加筆重畳画像の画質低下によるひき残しを防ぐことが可能となり、加筆抽出の精度が向上する。
【０１３８】
請求項８記載の発明によれば、加筆抽出装置は、請求項１記載の加筆抽出装置において、前記画像差分手段は、電子原稿画像を太化する画像太化処理手段と、前記画像太化処理手段により太化された電子原稿画像と加筆重畳画像間での差分処理を行う差分処理手段、を有しているので、加筆重畳画像の画質低下によるひき残しを防ぐことが可能となり、加筆抽出の精度が向上する。
【０１３９】
請求項９記載の発明によれば、加筆抽出方法は、電子文書の原稿画像と前記電子文書を紙へ出力した後に手書きの加筆が重畳した状態でスキャナ等の画像読取装置で再び電子化された画像とから文字認識を用いて所望の領域を小領域に分割し、小領域毎に加筆抽出操作の必要性の有無を判定する領域分割ステップと、前記領域分割ステップによって分割され差分計算が必要と判定された小領域に対して差分計算を行う画像差分ステップと、前記画像差分ステップによって差分処理された画像に対して補間処理を行う画像補間ステップと、を有しているので、加筆抽出の精度が向上する。
【０１４０】
請求項１０記載の発明によれば、加筆抽出方法は、請求項９記載の加筆抽出方法において、前記画像補間ステップは、差分処理後の画像の輪郭画像を作成する輪郭抽出ステップと、前記輪郭抽出ステップによって作成された輪郭画像から電子原稿画像を差分することで補間すべき端点の座標と補間方向を検出する端点検出ステップと、前記端点検出ステップによって検出された端点の情報から端点同士を接続し閉曲線を構成する端点接続ステップと、前記端点接続ステップによって作成された閉曲線の内部を着色する画像着色ステップ、を有しているので、加筆成分の過除去後の補間が可能となり、加筆抽出の精度が向上する。
【０１４１】
請求項１１記載の発明によれば、加筆抽出方法は、請求項９記載の加筆抽出方法において、前記領域分割ステップは、電子原稿画像の与えられた領域に文字認識処理を行い領域内における一文字毎の文字画像の領域情報と認識結果、認識結果文字の確信度を出力する文字認識ステップと、前記文字認識ステップから得られた文字画像の領域情報から該文字画像に対応する加筆重畳画像内での領域を検出する位置検出ステップと、前記位置検出ステップによって検出された該文字画像の加筆重畳画像内での領域に対する文字認識結果および認識結果文字の確信度と、前記文字認識ステップによって得られる認識結果および認識結果文字の確信度とを比較することで加筆抽出操作の必要性の有無を判定する認識結果比較ステップ、を有しているので計算効率が向上する。
【０１４２】
請求項１２記載の発明によれば、加筆抽出方法は、請求項９記載の加筆抽出方法において、前記領域分割ステップは、前記領域分割ステップは、電子原稿画像の与えられた領域に文字認識処理を行い領域内における一文字毎の文字画像の領域情報を出力する文字認識ステップと、前記文字認識ステップから得られた文字画像の領域情報から該文字画像に対応する加筆重畳画像内での領域を検出する位置検出ステップと、前記位置検出ステップによって検出された該文字画像の加筆重畳画像内での領域内における黒画素の総和と電子原稿画像内での文字画像の黒画素の総和を計数し比較することで加筆抽出操作の必要性の有無を判定する画素計数ステップ、を有しているので計算効率が向上する。
【０１４３】
請求項１３記載の発明によれば、加筆抽出方法は、請求項１１、 １２記載の加筆抽出方法において、前記位置検出ステップは、電子原稿画像の領域と加筆重畳画像の画像相関関数を計算し相関関数が最大値に達する２枚の画像の位置関係を検出結果とする相関位置検出ステップ、を有しているので加筆抽出の精度が向上する。
【０１４４】
請求項１４記載の発明によれば、加筆抽出方法は、請求項１１、 １２記載の加筆抽出方法において、前記位置検出ステップは、電子原稿画像の領域と加筆重畳画像の差分後の黒画素の総和を計算し該総和値が最小値に達する２枚の画像の位置関係を検出結果とする差分位置検出ステップと、を有しているので加筆抽出の精度が向上する。
【０１４５】
請求項１５記載の発明によれば、加筆抽出方法は、請求項９記載の加筆抽出方法において、前記画像差分ステップは、電子原稿画像と加筆重畳画像の両者の対応する位置からわずかにずらす画素ずらし処理ステップと、前記画素ずらし処理ステップによりわずかにずらされた２枚の画像間での差分処理を行う差分処理ステップ、を有しているので、加筆重畳画像の画質低下によるひき残しを防ぐことが可能となり、加筆抽出の精度が向上する。
【０１４６】
請求項１６記載の発明によれば、加筆抽出方法は、請求項９記載の加筆抽出方法において、前記画像差分ステップは、電子原稿画像を太化する画像太化処理ステップと、前記画像太化処理ステップにより太化された電子原稿画像と加筆重畳画像間での差分処理を行う差分処理ステップ、を有しているので、加筆重畳画像の画質低下によるひき残しを防ぐことが可能となり、加筆抽出の精度が向上する。
【図面の簡単な説明】
【図１】本発明による加筆抽出装置及び加筆抽出方法の一実施形態における加筆抽出のフローチャートである。
【図２】本発明による加筆抽出装置及び加筆抽出方法の一実施形態における領域分割ステップのフローチャートである。
【図３】本発明による加筆抽出装置及び加筆抽出方法の他の実施形態における領域分割ステップのフローチャートである。
【図４】本発明による加筆抽出装置及び加筆抽出方法の一実施形態における画像太化差分のフローチャートである。
【図５】本発明による加筆抽出装置及び加筆抽出方法の他の実施形態における画像太化差分のフローチャートである。
【図６】本発明による加筆抽出装置及び加筆抽出方法の一実施形態における画像補間ステップのフローチャートである。
【図７】本発明による加筆抽出装置及び加筆抽出方法の一実施形態における領域抽出・領域分割の説明図である。
【図８】本発明による加筆抽出装置及び加筆抽出方法の一実施形態における画像差分等の説明図である。
【図９】本発明による加筆抽出装置及び加筆抽出方法の一実施形態における加筆抽出器の構成例である。
【図１０】本発明による加筆抽出装置及び加筆抽出方法の一実施形態における領域分割器の構成例である。
【図１１】本発明による加筆抽出装置及び加筆抽出方法の他の実施形態における領域分割器の構成例である。
【図１２】本発明による加筆抽出装置及び加筆抽出方法の一実施形態における位置検出器の構成例である。
【図１３】本発明による加筆抽出装置及び加筆抽出方法の他の実施形態における位置検出器の構成例である。
【図１４】本発明による加筆抽出装置及び加筆抽出方法の一実施形態における画像差分器の構成例である。
【図１５】本発明による加筆抽出装置及び加筆抽出方法の他の実施形態における画像差分器の構成例である。
【図１６】本発明による加筆抽出装置及び加筆抽出方法の一実施形態における画像補間器の構成例である。
【符号の説明】
９００ 加筆抽出器
９０１ 領域抽出部
９０２ 領域分割部
９０３ 画像差分部
９０４ 画像補間部
９０５ 画像合成部
１０００、１１００ 領域分割器
１００１、１１０１ 文字認識部
１００２、１１０２ 位置検出部
１００３ 認識結果比較部
１１０３ 画素計数部
１２００、１３００ 位置検出器
１２０１ 相関計算部
１２０２ 最大相関検出部
１３０１、１４０２、１５０２ 差分処理部
１３０２ 最小残黒画素検出部
１４００、１５００ 画像差分器
１４０１ 画素ずらし処理部
１５０１ 画像太化処理部
１６００ 画像補間器
１６０１ 輪郭抽出部
１６０２ 端点検出部
１６０３ 端点接続部
１６０４ 画像着色部
１６０５ 領域合成部
【発明の属する技術分野】
本発明は加筆抽出装置及び加筆抽出方法に関するものであり、特に、手書き入力システムに対する加筆抽出精度を向上させるための画像差分による加筆抽出装置及び加筆抽出方法に関する。
【０００２】
【従来の技術】
従来、ユーザがプリンタ出力文書の内容に関連して思いついたアイデア等を紙面上に加筆修正したとしても、それを元の電子ファイル文書には反映するためには、後日加筆修正内容をユーザが改めてワープロソフトウエア等を用いて入力する必要があった。
【０００３】
このような不便を解決するために、スキャナ等の画像入力手段によって入力された加筆重畳画像から、プリンタドライバが作成した加筆修正前のイメージを差分することで紙文書に対する加筆修正内容を画像情報として抽出するする技術が開発された（例えば、特許文献１参照）。
【０００４】
しかし、このような技術によっても、例えば、定型フォーマットですでに確定している情報が誤って訂正されたり、更には、文書自体の内容を故意に改ざんされる等の問題があった。
【０００５】
そこで、画像の中の、外枠の隅などの特徴的な四点を検出し、それぞれの点が電子画像中の対応する点に移動する様に補間処理を行う方法や、一点を対応点へ平行移動しその点を中心に回転させ伸縮補正などを行うアフィン変換式により補正処理を行う方法などで、位置合わせを行った後に差分処理を行っているものもある（例えば、特許文献２参照）。
【０００６】
さらには、ハイパーテキストを作成する手段と、関連情報ファイルを記憶する手段と、ハイパーテキストから媒体用紙情報を作成する手段と、媒体用紙を出力する手段と、選択情報を付与する手段と、媒体用紙から選択情報および連結情報を読み取る手段と、該当する関連情報ファイルを検索する手段と、検索された関連情報ファイルを出力する手段とを備えた文書情報管理システムもある（例えば、特許文献３参照）。この技術は、コンピューター等のデジタルの世界と紙の文書との間に情報の連続性・関連性を構築することにより、紙の文書をデジタルの世界の文書情報管理システム内に組み込むと共に、紙の文書を媒体としてデジタルの世界に直接アクセス可能とし、さらに紙の文書を用いたハイパーテキスト（紙ハイパーテキスト）を実現することを目的としている。
【０００７】
【特許文献１】
特開平１１−２７２６５４号公報
【特許文献２】
特開２００１−２８３２３１号公報
【特許文献３】
特開平１０−２２８４６８号公報
【０００８】
【発明が解決しようとする課題】
しかし、特許文献１記載の発明等では、加筆修正内容をイメージ抽出する際に、プリンタドライバが作成した電子原稿画像と、スキャナ等のデバイスから入力された加筆重畳画像との間で、単純な差分処理を行うことで抽出しているが、この方法では電子原稿と加筆重畳画像の間で全体的、または局所的なズレが発生した場合に、そのズレの影響として差分処理後に引き残しが発生する。また、印刷された枠、文字等の上に加筆があった場合、差分処理によって、加筆した情報が失われてしまう可能性もある。
【０００９】
また、特許文献２記載の発明等では、プリンタ時の紙送りムラ、ドラムの回転ムラ、スキャン時における光学系の速度ムラなどによる加筆した画像の局所的な倍率変動に対応できない。また、この従来技術においても、差分処理時の過除去による加筆情報の消失に対して何ら対策がなされていない。
【００１０】
そこで、本発明では、原稿上の文字に対する加筆を対象とし、さらに文字認識処理を利用することによって処理対象範囲を絞ることで加筆情報が存在しない領域での引き残しの発生を抑制し、また、差分処理によって一部を損失した加筆画像に対して補間操作を実行することにより、より精度の高い加筆抽出を行うことを目的としている。すなわち、本発明は、電子文書と加筆重畳画像からの加筆抽出装置において、抽出精度の向上を目的とする。
【００１１】
【課題を解決するための手段】
上記の目的を達成するために、請求項１記載の発明によれば、加筆抽出装置は、電子文書の原稿画像と電子文書を紙へ出力した後に手書きの加筆が重畳した状態でスキャナ等の画像読取装置で再び電子化された画像とから文字認識を用いて所望の領域を小領域に分割し、小領域毎に加筆抽出操作の必要性の有無を判定する領域分割手段と、領域分割手段によって分割され差分計算が必要と判定された小領域に対して差分計算を行う画像差分手段と、画像差分手段によって差分処理された画像に対して補間処理を行う画像補間手段と、を有することを特徴とするものである。
【００１２】
請求項２記載の発明によれば、加筆抽出装置は、画像補間手段は、差分処理後の画像の輪郭画像を作成する輪郭抽出手段と、輪郭抽出手段によって作成された輪郭画像から電子原稿画像を差分することで補間すべき端点の座標と補間方向を検出する端点検出手段と、端点検出手段によって検出された端点の情報から端点同士を接続し閉曲線を構成する端点接続手段と、端点接続手段によって作成された閉曲線の内部を着色する画像着色手段と、を有する請求項１記載の加筆抽出装置であることを特徴とするものである。
【００１３】
請求項３記載の発明によれば、加筆抽出装置は、領域分割手段は、電子原稿画像の与えられた領域に文字認識処理を行い、領域内における一文字毎の文字画像の認識結果と認識結果における文字の確信度と文字の領域情報とを出力する文字認識手段と、文字認識手段から得られた文字画像の領域情報から文字画像に対応する加筆重畳画像内での領域を検出する位置検出手段と、位置検出手段によって検出された文字画像の加筆重畳画像内での領域に対する文字認識結果および認識結果文字の確信度と、文字認識手段によって得られる認識結果および認識結果文字の確信度とを比較することで加筆抽出操作の必要性の有無を判定する認識結果比較手段と、を有する請求項１記載の加筆抽出装置であることを特徴とするものである。
【００１４】
請求項４記載の発明によれば、加筆抽出装置は、領域分割手段は、電子原稿画像の与えられた領域に文字認識処理を行い領域内における一文字毎の文字画像の領域情報を出力する文字認識手段と、文字認識手段から得られた文字画像の領域情報から文字画像に対応する加筆重畳画像内での領域を検出する位置検出手段と、位置検出手段によって検出された文字画像の加筆重畳画像内での領域内における黒画素の総和と電子原稿画像内での文字画像の黒画素の総和を計数し比較することで加筆抽出操作の必要性の有無を判定する画素計数手段と、を有する請求項１記載の加筆抽出装置であることを特徴とするものである。
【００１５】
請求項５記載の発明によれば、加筆抽出装置は、位置検出手段は、電子原稿画像の領域と加筆重畳画像の画像相関関数を計算し相関関数が最大値に達する２枚の画像の位置関係を検出結果とする相関位置検出手段、を有する請求項３または４記載の加筆抽出装置であることを特徴とするものである。
【００１６】
請求項６記載の発明によれば、加筆抽出装置は、位置検出手段は、電子原稿画像の領域と加筆重畳画像の差分後の黒画素の総和を計算し該総和値が最小値に達する２枚の画像の位置関係を検出結果とする差分位置検出手段、を有する請求項３または４記載の加筆抽出装置であることを特徴とするものである。
【００１７】
請求項７記載の発明によれば、加筆抽出装置は、画像差分手段は、電子原稿画像と加筆重畳画像の両者の対応する位置からわずかにずらす画素ずらし処理手段と、画素ずらし処理手段によりわずかにずらされた２枚の画像間での差分処理を行う差分処理手段と、を有する請求項１記載の加筆抽出装置であることを特徴とするものである。
【００１８】
請求項８記載の発明によれば、加筆抽出装置は、画像差分手段は、電子原稿画像を太化する画像太化処理手段と、画像太化処理手段により太化された電子原稿画像と加筆重畳画像間での差分処理を行う差分処理手段と、を有する請求項１記載の加筆抽出装置であることを特徴とするものである。
【００１９】
請求項９記載の発明によれば、加筆抽出方法は、電子文書の原稿画像と電子文書を紙へ出力した後に手書きの加筆が重畳した状態でスキャナ等の画像読取装置で再び電子化された画像とから文字認識を用いて所望の領域を小領域に分割し、該小領域毎に加筆抽出操作の必要性の有無を判定する領域分割ステップと、領域分割ステップによって分割され差分計算が必要と判定された小領域に対して差分計算を行う画像差分ステップと、画像差分ステップによって差分処理された画像に対して補間処理を行う画像補間ステップと、を有することを特徴とするものである。
【００２０】
請求項１０記載の発明によれば、加筆抽出方法は、画像補間ステップは、差分処理後の画像の輪郭画像を作成する輪郭抽出ステップと、輪郭抽出ステップによって作成された輪郭画像から電子原稿画像を差分することで補間すべき端点の座標と補間方向を検出する端点検出ステップと、端点検出ステップによって検出された端点の情報から端点同士を接続し閉曲線を構成する端点接続ステップと、端点接続ステップによって作成された閉曲線の内部を着色する画像着色ステップと、を有する請求項９記載の加筆抽出方法であることを特徴とするものである。
【００２１】
請求項１１記載の発明によれば、加筆抽出方法は、領域分割ステップは、電子原稿画像の与えられた領域に文字認識処理を行い領域内における一文字毎の文字画像の認識結果と認識結果における文字の確信度と文字の領域情報とを出力する文字認識ステップと、文字認識ステップから得られた文字画像の領域情報から文字画像に対応する加筆重畳画像内での領域を検出する位置検出ステップと、位置検出ステップによって検出された文字画像の加筆重畳画像内での領域に対する文字認識結果および認識結果文字の確信度と、文字認識ステップによって得られる認識結果および認識結果文字の確信度とを比較することで加筆抽出操作の必要性の有無を判定する認識結果比較ステップと、を有することを特徴とするものである。
【００２２】
請求項１２記載の発明によれば、加筆抽出方法は、領域分割ステップは、電子原稿画像の与えられた領域に文字認識処理を行い領域内における一文字毎の文字画像の領域情報を出力する文字認識ステップと、文字認識ステップから得られた文字画像の領域情報から文字画像に対応する加筆重畳画像内での領域を検出する位置検出ステップと、位置検出ステップによって検出された文字画像の加筆重畳画像内での領域内における黒画素の総和と電子原稿画像内での文字画像の黒画素の総和を計数し比較することで加筆抽出操作の必要性の有無を判定する画素計数ステップと、を有する請求項９記載の加筆抽出方法であることを特徴とするものである。
【００２３】
請求項１３記載の発明によれば、加筆抽出方法は、位置検出ステップは、電子原稿画像の領域と加筆重畳画像の画像相関関数を計算し相関関数が最大値に達する２枚の画像の位置関係を検出結果とする相関位置検出ステップ、を有する請求１１または１２記載の加筆抽出方法であることを特徴とするものである。
【００２４】
請求項１４記載の発明によれば、加筆抽出方法は、位置検出ステップは、電子原稿画像の領域と加筆重畳画像の差分後の黒画素の総和を計算し総和値が最小値に達する２枚の画像の位置関係を検出結果とする差分位置検出ステップ、を有する請求項１１または１２記載の加筆抽出方法であることを特徴とするものである。
【００２５】
請求項１５記載の発明によれば、加筆抽出方法は、画像差分ステップは、電子原稿画像と加筆重畳画像の両者の対応する位置からわずかにずらす画素ずらし処理ステップと、画素ずらし処理ステップによりわずかにずらされた２枚の画像間での差分処理を行う差分処理ステップと、を有する請求項９記載の加筆抽出方法であることを特徴とするものである。
【００２６】
請求項１６記載の発明によれば、加筆抽出方法は、画像差分ステップは、電子原稿画像を太化する画像太化処理ステップと、画像太化処理ステップにより太化された電子原稿画像と加筆重畳画像間での差分処理を行う差分処理ステップと、を有する請求項９記載の加筆抽出方法であることを特徴とするものである。
【００２７】
【発明の実施の形態】
次に、添付図面を参照して、本発明による加筆抽出装置及び加筆抽出方法の実施の形態を詳細に説明する。
【００２８】
図１には、本発明に係る画像差分による加筆抽出装置及び加筆抽出方法の一実施における加筆抽出の処理手順が示されている。
【００２９】
ステップＳ１０１で、加筆抽出を行う領域の個数Ｎと、それぞれの抽出対象領域の位置、大きさを設定し、電子原稿画像とその画像を紙に出力した後に加筆されスキャナなどの画像読取装置で取り込まれた加筆重畳画像を入力する。
【００３０】
ステップＳ１０２では、領域数変数ｎを１に設定する。
ステップＳ１０３では、加筆抽出の対象となる領域を加筆重畳画像から切り出し、同時に電子原稿画像からは、先に加筆重畳画像から抽出した領域に対応した領域を切り出す。
ステップＳ１０４では、ステップＳ１０３で切り出された電子原稿画像をＭ個の小領域に分割する。
【００３１】
その分割処理ステップＳ１０４を示したのが図２である。
【００３２】
図２において、ステップＳ２０１では、分割数を計数するために分割数変数ｍを０に設定する。
ステップＳ２０２では、ステップＳ１０３で切り出された電子原稿画像の領域に対して文字認識処理を行う。これは、例えば、特開平１０−１７１９２７「文字認識装置、文字認識方法および…」に記載されている方法を利用することができる。
【００３３】
電子原稿画像の領域に文字領域が含まれていれば、ステップＳ２０２の処理により電子原稿画像の領域中の文字数Ｌとそれぞれの文字の認識結果｛Ｒｒｌ｝、認識確信度｛Ｒｃｌ｝、そして文字領域｛Ｃｒｌ｝が得られる。
【００３４】
ステップＳ２０３では文字数変数ｌを１に設定する。
ステップＳ２０４では電子原稿画像中の文字領域Ｃｒｌに対応する加筆重畳画像中の領域Ｃｒｌ’を検出する。
【００３５】
この対応する領域を検出する手段としては、電子原稿画像中の文字領域Ｃｒｌの文字画像と加筆重畳画像との相関関数をＣｒｌの近傍で計算し相関関数が最大値を示すところを「最も確からしい位置」としてＣｒｌ’に代入する。
【００３６】
また、ステップＳ２０４の別の手段として、加筆重畳画像中のＣｒｌの近傍でＣｒｌと同じ大きさの領域を切り出し、その領域から電子原稿画像中の文字領域Ｃｒｌを差分処理して残黒画素の総和を計算する。
【００３７】
この残黒画素総和計算を加筆重畳画像からＣｒｌ領域を切り出す際にわずかにずらしながら複数回実行し、残黒画素の総和が最小値を示したところを「最も確からしい位置」としてＣｒｌ’に代入する。
【００３８】
ステップＳ２０５では、ステップＳ２０４で得られた加筆重畳画像側のＣｒｌ’に対して文字認識処理を行う。これはステップＳ２０２で行った文字認識方法と同じものを用いる必要がある。よって、ステップＳ２０２と同じく、領域｛Ｃｒｌ’｝の認識結果｛Ｒｒｌ’｝、認識確信度｛Ｒｃｌ’｝が得られる。
【００３９】
ステップＳ２０６では、それぞれの文字認識の結果ＲｒｌとＲｒｌ’を比較する。文字認識の結果ＲｒｌとＲｒｌ’が異なっていれば（Ｎｏ）、領域Ｃｒｌ’には何らかの加筆が加わっている可能性があるので、ステップＳ２０８に進み、分割数変数ｍを１増加させ、ＲａｍにＣｒｌを、Ｒａｍに対応する領域Ｒａｍ’にＣｒｌ’を代入した後、ステップＳ２０９へ進む。
【００４０】
文字認識の結果ＲｒｌとＲｒｌ’が同じであれば（ステップＳ２０６でＹｅｓ）、ステップＳ２０７へ進む。ここではＲｃｌに１以下の定数αを乗算しＲｃｌ’と比較し、Ｒｃｌ’の方が小さい（Ｎｏ）、つまり認識確信度に著しい低下が見られた場合、領域Ｃｒｌ’には何らかの加筆が加わっている可能性があるので、ステップＳ２０８に進み、分割数変数ｍを１増加させ、ＲａｍにＣｒｌを、Ｒａｍに対応する領域Ｒａｍ’にＣｒｌ’を代入した後、ステップＳ２０９へ進む。Ｒｃｌ’の方が大きければ（ステップＳ２０７でＹｅｓ）、加筆の可能性は低いので、ステップＳ２０８へ行くことなくステップＳ２０９に進む。
【００４１】
ステップＳ２０９では、文字数変数ｌを１だけ増加させ、ステップＳ２１０で文字数Ｌと比較し、文字数変数ｌが文字数Ｌを超えていれば（Ｙｅｓ）、ステップＳ２１１で分割領域数ｍを分割数Ｍに代入し、｛Ｒａｍ｝と｛Ｒａｍ’｝をステップＳ１０５へ出力する。
超えていなければ（ステップＳ２１０でＮｏ）、ステップＳ２０４からの処理を繰り返す。
【００４２】
図３は、分割処理ステップＳ１０４の別の手段である。
【００４３】
ステップＳ３０１では、分割数を計数するためにｍを０に設定する。
ステップＳ３０２では、ステップＳ１０３で切り出された電子原稿画像の領域に対して文字認識処理を行う。これには、図２のステップＳ２０２と同じものが利用できる。
【００４４】
電子原稿画像の領域に文字領域が含まれていれば、ステップＳ３０２の処理により電子原稿画像の領域中の文字数Ｌとそれぞれの文字の認識結果｛Ｒｒｌ｝、認識確信度｛Ｒｃｌ｝、そして文字領域｛Ｃｒｌ｝が得られる。
【００４５】
ステップＳ３０３では、文字数変数ｌを１に設定する。
ステップＳ３０４では、電子原稿画像中の文字領域Ｃｒｌに対応する加筆重畳画像中の領域Ｃｒｌ’を検出する。この対応する領域を検出する手段としては、図２のステップＳ２０４と同じものが利用できる。
【００４６】
ステップＳ３０５では、電子原稿画像側のＣｒｌとステップＳ３０４で得られた加筆重畳画像側のＣｒｌ’に対して黒画素計数処理を行う。それぞれの黒画素数をＮｂｌ、Ｎｂｌ’とする。
【００４７】
ステップＳ３０６では、ステップＳ３０５で得られた黒画素数Ｎｂｌ、Ｎｂｌ’を比較する。
【００４８】
Ｎｂｌ’に１以下の定数βを乗算してＮｂｌと比較し、Ｎｂｌの方が小さい （ステップＳ３０６でＮｏ）、つまり加筆重畳画像側に著しい黒画素の増加が見られた場合、領域Ｃｒｌ’には何らかの加筆が加わっている可能性があるので、ステップＳ３０７に進み、割数変数ｍを１増加させ、ＲａｍにＣｒｌを、Ｒａｍに対応する領域Ｒａｍ’にＣｒｌ’を代入した後、ステップＳ３０８へ進む。
【００４９】
Ｎｂｌの方が大きければ（ステップＳ３０６でＹｅｓ）、加筆の可能性は低いので、ステップＳ３０７へ行くことなくステップＳ３０８に進む。
【００５０】
ステップＳ３０８では、文字数変数ｌを１だけ増加させ、ステップＳ３０９で文字数Ｌと比較し、文字数変数ｌが文字数Ｌを超えていれば（Ｙｅｓ）、ステップＳ３１０で分割領域数ｍを分割数Ｍに代入し、｛Ｒａｍ｝と｛Ｒａｍ’｝をステップＳ１０５へ出力する。超えていなければ（ステップＳ３０９でＮｏ）、ステップＳ３０４からの処理を繰り返す。
【００５１】
また、ステップＳ２０２、ステップＳ３０２で文字として認識されなかった部分は、後に記す加筆画像の貼り付け先として保存しておく。
【００５２】
図１のステップＳ１０５では、分割数変数ｍを１に設定する。
ステップＳ１０６では、ステップＳ１０４で加筆の可能性があると判定された領域ＲａｍとＲａｍ’に対して画像差分処理を行い、結果の差分処理画像をステップＳ１０７へ出力する。
【００５３】
画像差分処理ステップＳ１０６を示したのが図４である。
【００５４】
ステップＳ４０１では、縦座標変数ｙを−ａに設定する。
ステップＳ４０２では、横座標変数ｘを−ａに設定する。
【００５５】
ステップＳ４０３では、電子原稿側の領域Ｒａｍから（ｘ、 ｙ）だけ画素をずらした画像を抽出し、ステップＳ４０４では、ステップＳ４０３において画素ずらしで抽出したＲａｍとＲａｍ’との差分を行う。
【００５６】
ステップＳ４０５では、ｘを１だけ増加させ、ステップＳ４０６で横座標変数ｘがａを超えていれば（Ｙｅｓ）、ステップＳ４０７へ進む。超えていなければ（ステップＳ４０６でＮｏ）、ステップＳ４０３からの処理を繰り返す。
【００５７】
ステップＳ４０７では、ｙを１だけ増加させ、ステップＳ４０８で横座標変数ｙがａを超えていれば（Ｙｅｓ）、ステップＳ４０４での差分処理結果をステップＳ１０７へ出力する。超えていなければ（ステップＳ４０８でＮｏ）、ステップＳ４０２からの処理を繰り返す。ａの値は１〜２を用いる。
【００５８】
図５は、分割処理ステップＳ１０６の別の手段である。
【００５９】
ステップＳ５０１では、Ｒａｍに対して画像太化処理を行う。
ステップＳ５０２では、Ｒａｍ’と画像太化処理されたＲａｍとを用いて差分処理を行い、その差分処理結果をステップＳ１０７へ出力する。
【００６０】
図４または図５の処理をせずに直接差分処理を行うと、加筆重畳画像側の原稿成分の引き残しが発生する可能性がある。これは電子原稿画像は電子原稿を計算機内部で直接画像化したものに対し加筆重畳画像は電子原稿が一度紙に出力されスキャナなどのデバイスで画像化したものであるから、画像の質が大きく変化する可能性があるからである。
【００６１】
図１のステップＳ１０７では、ステップＳ１０６から入力される差分処理画像に対して画像補間処理を行う。
【００６２】
画像補間処理ステップＳ１０７を示したのが図６である。
【００６３】
ステップＳ６０１では、ステップＳ１０６から入力される差分処理画像に対して輪郭抽出処理を行い差分輪郭画像を生成する。
【００６４】
ステップＳ６０２では、ステップＳ６０１で生成された差分輪郭画像に対し、電子原稿画像を用いて図４または図５で示された差分処理を再び行い、端点画像を作成する。
【００６５】
ステップＳ６０３では、ステップＳ６０２で作成された端点画像中の線分の端点を検出し、 その座標と端点付近における線分のベクトルを計算する。
【００６６】
ステップＳ６０４では、ステップＳ６０３で検出された端点同士を接続する。端点接続のルールとしては、未接続の２つの端点を選び、 一方の端点の座標がもう一方の端点がある線分の延長上にあるか否かを判定し、延長上にあるとみなせる場合は２点間を直線で結ぶ。延長上にあるとはみなせない場合は一方の端点を未接続の別の端点に置き換え同様の判定を行う。
【００６７】
ステップＳ６０５では、全ての端点が接続されたかどうかを判定し、未接続の端点がある場合はステップＳ６０４の操作を繰り返すことで推定輪郭画像を作成する。全ての端点が接続された場合はステップＳ６０６に進む。
【００６８】
ステップＳ６０６では、ステップＳ６０４、ステップＳ６０５での処理で作成された推定輪郭画像に対して輪郭内部の着色を行う。輪郭の「内部」また「外部」の判定には差分処理画像を用いる。差分処理画像のおいて黒画素の部分は推定輪郭画像においては輪郭内部なので、輪郭の内外の判定が可能である。こうして作成された加筆小領域画像をステップＳ１０８に出力する。
【００６９】
図１のステップＳ１０８では、ステップＳ１０７で作成された加筆画像をステップＳ１０４から得られた領域情報と下地画像を元に合成する。
【００７０】
ステップＳ１０９では、分割数変数ｍを１だけ増加させ、ステップＳ１１０で分割領域数Ｍを超えているか否かを判定し、超えていなければ（Ｎｏ）、ステップＳ１０６から繰り返す。超えた場合は（ステップＳ１１０でＹｅｓ）、ステップＳ１１１で、白紙の画像に対してステップＳ１０３で抽出した位置に領域情報を元にステップＳ１０８で合成された加筆画像を合成する。
【００７１】
ステップＳ１１２で，領域数変数ｎを１だけ増加させ、ステップＳ１１３で、領域数Ｎを超えているか否かを判定し、超えていなければ（Ｎｏ）、ステップＳ１０３から繰り返し、超えていれば（ステップＳ１１３でＹｅｓ）、ステップＳ１１４加筆画像を出力する。
【００７２】
図７、図８は前述した一連の処理を画像を用いて模式的に説明したものである。
【００７３】
図７では、前述のステップＳ１０１によって電子原稿と加筆重畳画像の二つの画像が与えられる。
【００７４】
まず、図７▲１▼でこの２つの画像から加筆抽出を行う領域を抽出する（ステップＳ１０３参照）。
次に、抽出した領域の電子原稿画像側に対して、図７▲２▼で文字認識処理を行い、領域中の文字画像情報を得る。
加筆重畳画像側に対して先ほど電子原稿画像から得た文字画像の領域情報を適用し（図７▲３▼）、文字画像毎に文字認識、または黒画素計数を行い電子原稿画像側と比較する（図７▲４▼）。その際に文字認識処理によって『文字画像』として認識されなかった領域を、加筆画像を合成する際の下地として保存しておく（図７▲５▼）。
【００７５】
以上の操作で加筆重畳画像に対して、図７下のように加筆抽出操作が必要な領域を絞ることができる。これらの処理は前述のステップＳ１０４に対応する。
【００７６】
図８では、前述のステップＳ１０６以降の処理が表わされている。ステップＳ１０４で得られた分割画像領域情報から図８左上の文字単位の電子原稿画像と加筆重畳画像が得られる。
【００７７】
この２枚の画像間で図８▲１▼の差分処理を行い（ステップＳ１０６参照）、差分画像を得る。ここで得られた差分画像に対して図８▲２▼のように輪郭抽出を行うことで（ステップＳ６０１参照）、差分輪郭画像が得られる。
【００７８】
この画像に対して図８▲４▼の差分処理（ステップＳ６０２参照）を行うことで、端点画像を得るのだが、この図８では、あらかじめ電子原稿画像側の文字画像を太化したものを準備し（図８▲３▼）、それとの差分処理を行っている。つまり、画像差分処理に前述のステップＳ５０１、ステップＳ５０２の方法を採用している。
【００７９】
こうして得られた端点画像に対して端点検出処理を行い、それぞれの端点の座標、端点を含む線分の端点上でのベクトルを算出する（ステップＳ６０３参照）。
【００８０】
この端点同士を図８▲５▼で接続し（ステップＳ６０４参照）、全ての端点を接続し終わり輪郭推定画像が生成されると図８▲６▼において着色処理を行う。
【００８１】
着色操作は、輪郭推定画像の輪郭を境界に着色する部分、しない部分に分けられるが、この判断には図８▲６▼’のように図８▲１▼で作成された差分画像を参照画像とし、この参照画像と相関が高い着色パターンを採用する。
以上の操作で図８右下の加筆画像が得られる。
【００８２】
図９には、本発明による加筆抽出装置及び加筆抽出方法の一実施形態における加筆抽出器の構成例が示されている。
【００８３】
図９において、加筆抽出器９００は、領域抽出部９０１と、領域分割部９０２と、画像差分部９０３と、画像補間部９０４と、画像合成部９０５と、から構成される。
【００８４】
領域抽出部９０１は、図１のステップＳ１０１で設定される電子原稿画像と加筆重畳画像、加筆抽出を行いたい領域の個数、それぞれの領域の位置と大きさを使用することで、図１のステップＳ１０３での所望の領域切り出しを両画像から行う。
【００８５】
領域分割部９０２は、領域抽出部９０１で抽出された領域に対してステップＳ１０４のさらなる領域分割を行う。
【００８６】
図１０には、本発明による加筆抽出装置及び加筆抽出方法の一実施形態における領域分割器の構成例が示されている。
【００８７】
図１０において、領域分割器１０００は、図９の領域分割部９０２の一実施例であり、文字認識部１００１と、位置検出部１００２と、認識結果比較部１００３とから構成される。
【００８８】
文字認識部１００１において、図９の領域抽出部９０１で抽出された電子原稿側の領域に対して図２のステップＳ２０２の文字認識処理を行う。
【００８９】
電子原稿画像に文字画像が含まれていれば、その認識結果と確信度、そしてそれぞれの文字の領域情報（位置と大きさ）が一文字毎に得られる。
【００９０】
次に、位置検出部１００２において、先の文字認識部１００１より出力された電子原稿画像の文字毎の画像領域に対応する加筆重畳画像上における領域を検出し、両領域のずれ量を得る。ここでは図２のステップＳ２０４の動作を行う。
【００９１】
認識結果比較部１００３において、加筆重畳画像に対して、先の位置検出部１００２で得られたそれぞれの電子原稿画像の文字の領域情報を用いて、図２のステップＳ２０５の文字認識処理を行い、ここで得られる文字認識処理結果とその結果に対する確信度と、文字認識部１００１で得られた文字認識結果とその結果に対する確信度とを比較する。これは図２のステップＳ２０６とステップＳ２０７の動作に対応する。
【００９２】
もし、ここで考えている文字領域に加筆が行われていなければ、加筆重畳画像に対して行った文字認識処理結果と、電子原稿画像に対して行った文字認識処理結果は一致し、確信度も同程度のものが得られる。文字領域に何らかの加筆成分があった場合、一文字あるいは複数の文字の両画像の文字認識処理結果の間に結果の相違、または結果が同じであっても確信度の変化が起こる。
【００９３】
こうして得られた加筆成分が重畳している可能性がある領域情報と位置検出部１００２から得られる加筆重畳画像上における領域情報を図２のステップＳ２０８の代入操作で保存しておき、最終的に図９の画像差分部９０３へ出力する。
【００９４】
図１１には、本発明による加筆抽出装置及び加筆抽出方法の他の実施形態における領域分割器の構成例が示されている。
【００９５】
図１１において、領域分割器１１００は、図９の領域分割部９０２の他の実施例であり、文字認識部１１０１と、位置検出部１１０２と、画素形成部１１０３とから構成される。
【００９６】
文字認識部１１０１は、図１０の文字認識部１００１と同等の機能を有するので、図９の領域抽出部９０１で抽出された領域に含まれる文字画像の位置情報が得られる。これは図３のステップＳ３０２の動作に対応する。
【００９７】
次に、位置検出部１１０２において、先の文字認識部１１０１より出力された電子原稿画像の文字毎の文字画像領域に対応する加筆重畳画像上における領域を検出し、両領域のずれ量を得る。これは図３のステップＳ３０４の動作に対応する。
【００９８】
次に、画素計数部１１０３において、先の位置検出部１１０２で得られた文字画像の位置に対応する部分を電子原稿画像と加筆重畳画像から抽出し、図３のステップＳ３０５に対応する領域内の黒画素数計数を２つの画像に対して行いステップＳ３０６の比較を行う。
【００９９】
もし、ここで考えている文字領域に加筆が行われていなければ、加筆重畳画像側の文字領域抽出画像の黒画素数と電子原稿画像の文字領域抽出画像の黒画素数は、ほぼ一致する。
【０１００】
文字領域に何らかの加筆成分があった場合、加筆重畳画像側の文字領域抽出画像の黒画素数は電子原稿画像の文字領域抽出画像の黒画素数を大きく上回る。
【０１０１】
こうして得られた加筆成分が重畳している可能性がある領域情報と位置検出部１１０２から得られる加筆重畳画像上における領域情報を図３のステップＳ３０７の代入操作で保存しておき、最終的に９０３へ出力する。
【０１０２】
図１０、図１１の領域分割器において、文字画像として判定されなかった領域は、後述する補間処理後の貼り付け先として保存する。
【０１０３】
図１２には、本発明による加筆抽出装置及び加筆抽出方法の一実施形態における位置検出器の構成例が示されている。
【０１０４】
図１２において、位置検出器１２００は、図１０、図１１における位置検出部１００２と、１１０２との一実施例であり、相関計算部１２０１と、最大相関検出部１２０２とから構成される。
【０１０５】
相関計算部１２０１は、図１０、図１１における文字認識部１００１と、１１０１とから入力される一文字毎の画像領域情報をもとに、電子原稿画像から画像切り出すことで参照画像を作成し、参照画像と加筆重畳画像との相関関数を計算する。
【０１０６】
次に、最大相関検出部１２０２において、相関計算部１２０１で計算した相関関数で最大値に達する座標を検出し、その座標を参照画像と加筆重畳画像との相対位置として図１０の認識結果比較部１００３、図１１の画素計数部１１０３へ出力する。
【０１０７】
図１３には、本発明による加筆抽出装置及び加筆抽出方法の他の実施形態における位置検出器の構成例が示されている。
【０１０８】
図１３において、位置検出器１３００は、図１０、図１１における位置検出部１００２と、１１０２の他の実施例であり、差分処理部１３０１と、最小残黒画素検出部１３０２とから構成される。
【０１０９】
差分処理部１３０１は、図１０、図１１における文字認識部１００１と、１１０１とから入力される一文字毎の画像領域情報をもとに電子原稿画像から画像切り出すことで参照画像を作成し、加筆重畳画像から参照画像を差分することで得られる残黒画素の総和値を計算する。
【０１１０】
この差分計算と残黒画素の総和計算を、参照画像と加筆重畳画像との位置関係をずらしながら複数回実行し、残黒画素の総和を参照画像のずらし量の関数とする。
【０１１１】
次に、最小残黒画素検出部１３０２において、差分処理部１３０１で計算した残黒画素関数で最小値に達する座標を検出し、その座標を参照画像と加筆重畳画像との相対位置として図１０、図１１における認識結果比較部１００３と、画素計数部１１０３とへ出力する。
【０１１２】
図９の画像差分部９０３は、領域分割部９０２より入力される加筆成分が重畳している可能性がある領域に対して、図１のステップＳ１０６の差分処理を行い、処理結果の画像を画像補間部９０４に出力する。
【０１１３】
図１４には、本発明による加筆抽出装置及び加筆抽出方法の一実施形態における画像差分器の構成例が示されている。
【０１１４】
図１４において、画像差分器１４００は、図９の画像差分部９０３の一実施例であり、画素ずらし処理部１４０１と、差分処理部１４０２とから構成される。
【０１１５】
画素ずらし処理部１４０１は、図９の領域分割部９０２から入力される加筆成分が重畳している可能性がある電子原稿画像の領域情報とその領域に対応する加筆重畳画像上における領域情報から、電子原稿画像と加筆重畳画像の両画像から画像切り出しを行う。
【０１１６】
この電子原稿画像から画像切り出しを行う際に、切り出す領域を数画素ずらしながらを切り出す。これは図４のステップＳ４０１〜ステップＳ４０３、およびステップＳ４０５〜ステップＳ４０８の処理に対応する。
【０１１７】
次に、差分処理部１４０２において、画素ずらし処理部１４０１で切り出された加筆重畳画像の小領域と同じく画素ずらし処理部１４０１で切り出された電子原稿画像の小領域との間でステップＳ４０４の差分処理を実行し、処理結果を図９の画像補間部９０４へ出力する。
【０１１８】
図１５には、本発明による加筆抽出装置及び加筆抽出方法の他の実施形態における画像差分器の構成例が示されている。
【０１１９】
図１５において、画像差分器１５００は、図９の画像差分部９０３の他の実施例であり、画像太化処理部１５０１と、差分処理部１５０２とから構成される。
【０１２０】
画像太化処理部１５０１は、図９の領域分割部９０２から入力される加筆成分が重畳している可能性がある電子原稿画像の領域情報とその領域に対応する加筆重畳画像上における領域情報から、電子原稿画像と加筆重畳画像の両画像から画像切り出しを行い、電子原稿画像から切り出した画像に対して画像の太化処理を行う。この画像切り出しと太化処理は図５のステップＳ５０１に対応する。
【０１２１】
次に、差分処理部１５０２において、画像太化処理部１５０１で切り出された加筆重畳画像の小領域と同じく画像太化処理部１５０１で切り出された電子原稿画像の小領域との間で図５のステップＳ５０２の差分処理を実行し、処理結果を図９の画像補間部９０４へ出力する。
【０１２２】
図９の画像補間部９０４は、画像差分部９０３より入力される差分画像に対し図１のステップＳ１０７の画像補間処理を実行し、処理結果を画像合成部９０５へ出力する。
【０１２３】
図１６には、本発明による加筆抽出装置及び加筆抽出方法の一実施形態における画像補間器の構成例が示されている。
【０１２４】
図１６において、画像補間器１６００は、図９の画像補間部９０４の一実施例であり、輪郭抽出部１６０１と、端点検出部１６０２と、端点接続部１６０３と、画像着色部１６０４と、領域合成部１６０５とから構成される。
【０１２５】
輪郭抽出部１６０１は、図９の画像差分部９０３から入力される差分処理後の画像に対して図６のステップＳ６０１の輪郭強調処理を行い、差分輪郭画像を作成する。
【０１２６】
次に、端点検出部１６０２において、輪郭抽出部１６０１で作成された差分輪郭画像と電子原稿画像の間で図６のステップＳ６０２の差分処理を行い、端点画像を作成し、画像中の端点の座標を抽出する。これは図６のステップＳ６０３に対応する。
【０１２７】
次に、端点接続部１６０３において、端点検出部１６０２において作成した端点画像と端点の情報から、線分の延長上にある端点同士に対して図６のステップＳ６０４の端点接続を行い、推定輪郭画像を作成する。
【０１２８】
次に、画像着色部１６０４において、推定輪郭画像の内部に対し図６のステップＳ６０６の着色処理を行う。
【０１２９】
最後に、領域合成部１６０５において、図９の領域分割部９０２で貼り付け先画像として保存された画像に対して貼り付け処理を行い、画像合成部９０５へ出力する。
【０１３０】
図９の画像合成部９０５は、領域抽出部９０１から入力される抽出領域情報に基づいて、画像補間部９０４から入力される画像補間処理後の画像、つまり図１のステップＳ１１１の加筆画像の張り合わせ処理を白紙の画像に対して実行し、その結果一枚の加筆画像が完成する。
【０１３１】
【発明の効果】
請求項１の記載の発明によれば、加筆抽出装置は、電子文書の原稿画像と前記電子文書を紙へ出力した後に手書きの加筆が重畳した状態でスキャナ等の画像読取装置で再び電子化された画像とから文字認識を用いて所望の領域を小領域に分割し、小領域毎に加筆抽出操作の必要性の有無を判定する領域分割手段と、前記領域分割手段によって分割され差分計算が必要と判定された小領域に対して差分計算を行う画像差分手段と、前記画像差分手段によって差分処理された画像に対して補間処理を行う画像補間手段と、を有しているので、加筆抽出の精度が向上する。
【０１３２】
請求項２記載の発明によれば、加筆抽出装置は、請求項１記載の加筆抽出装置において、前記画像補間手段は、差分処理後の画像の輪郭画像を作成する輪郭抽出手段と、前記輪郭抽出手段によって作成された輪郭画像から電子原稿画像を差分することで補間すべき端点の座標と補間方向を検出する端点検出手段と、前記端点検出手段によって検出された端点の情報から端点同士を接続し閉曲線を構成する端点接続手段と、前記端点接続手段によって作成された閉曲線の内部を着色する画像着色手段、を有しているので、加筆成分の過除去後の補間が可能となり、加筆抽出の精度が向上する。
【０１３３】
請求項３記載の発明によれば、加筆抽出装置は、請求項１記載の加筆抽出装置において、前記領域分割手段は、電子原稿画像の与えられた領域に文字認識処理を行い領域内における一文字毎の文字画像の領域情報と認識結果、認識結果文字の確信度を出力する文字認識手段と、前記文字認識手段から得られた文字画像の領域情報から該文字画像に対応する加筆重畳画像内での領域を検出する位置検出手段と、前記位置検出手段によって検出された該文字画像の加筆重畳画像内での領域に対する文字認識結果および認識結果文字の確信度と、前記文字認識手段によって得られる認識結果および認識結果文字の確信度とを比較することで加筆抽出操作の必要性の有無を判定する認識結果比較手段、を有しているので計算効率が向上する。
【０１３４】
請求項４記載の発明によれば、加筆抽出装置は、請求項１記載の加筆抽出装置において、前記領域分割手段は、前記領域分割手段は、電子原稿画像の与えられた領域に文字認識処理を行い領域内における一文字毎の文字画像の領域情報を出力する文字認識手段と、前記文字認識手段から得られた文字画像の領域情報から該文字画像に対応する加筆重畳画像内での領域を検出する位置検出手段と、前記位置検出手段によって検出された該文字画像の加筆重畳画像内での領域内における黒画素の総和と電子原稿画像内での文字画像の黒画素の総和を計数し比較することで加筆抽出操作の必要性の有無を判定する画素計数手段、を有しているので計算効率が向上する。
【０１３５】
請求項５記載の発明によれば、加筆抽出装置は、請求項３、 ４記載の加筆抽出装置において、前記位置検出手段は、電子原稿画像の領域と加筆重畳画像の画像相関関数を計算し相関関数が最大値に達する２枚の画像の位置関係を検出結果とする相関位置検出手段、を有しているので加筆抽出の精度が向上する。
【０１３６】
請求項６記載の発明によれば、加筆抽出装置は、請求項３、 ４記載の加筆抽出装置において、前記位置検出手段は、電子原稿画像の領域と加筆重畳画像の差分後の黒画素の総和を計算し該総和値が最小値に達する２枚の画像の位置関係を検出結果とする差分位置検出手段、を有しているので加筆抽出の精度が向上する。
【０１３７】
請求項７記載の発明によれば、加筆抽出装置は、請求項１記載の加筆抽出装置において、前記画像差分手段は、電子原稿画像と加筆重畳画像の両者の対応する位置からわずかにずらす画素ずらし処理手段と、前記画素ずらし処理手段によりわずかにずらされた２枚の画像間での差分処理を行う差分処理手段、を有しているので、加筆重畳画像の画質低下によるひき残しを防ぐことが可能となり、加筆抽出の精度が向上する。
【０１３８】
請求項８記載の発明によれば、加筆抽出装置は、請求項１記載の加筆抽出装置において、前記画像差分手段は、電子原稿画像を太化する画像太化処理手段と、前記画像太化処理手段により太化された電子原稿画像と加筆重畳画像間での差分処理を行う差分処理手段、を有しているので、加筆重畳画像の画質低下によるひき残しを防ぐことが可能となり、加筆抽出の精度が向上する。
【０１３９】
請求項９記載の発明によれば、加筆抽出方法は、電子文書の原稿画像と前記電子文書を紙へ出力した後に手書きの加筆が重畳した状態でスキャナ等の画像読取装置で再び電子化された画像とから文字認識を用いて所望の領域を小領域に分割し、小領域毎に加筆抽出操作の必要性の有無を判定する領域分割ステップと、前記領域分割ステップによって分割され差分計算が必要と判定された小領域に対して差分計算を行う画像差分ステップと、前記画像差分ステップによって差分処理された画像に対して補間処理を行う画像補間ステップと、を有しているので、加筆抽出の精度が向上する。
【０１４０】
請求項１０記載の発明によれば、加筆抽出方法は、請求項９記載の加筆抽出方法において、前記画像補間ステップは、差分処理後の画像の輪郭画像を作成する輪郭抽出ステップと、前記輪郭抽出ステップによって作成された輪郭画像から電子原稿画像を差分することで補間すべき端点の座標と補間方向を検出する端点検出ステップと、前記端点検出ステップによって検出された端点の情報から端点同士を接続し閉曲線を構成する端点接続ステップと、前記端点接続ステップによって作成された閉曲線の内部を着色する画像着色ステップ、を有しているので、加筆成分の過除去後の補間が可能となり、加筆抽出の精度が向上する。
【０１４１】
請求項１１記載の発明によれば、加筆抽出方法は、請求項９記載の加筆抽出方法において、前記領域分割ステップは、電子原稿画像の与えられた領域に文字認識処理を行い領域内における一文字毎の文字画像の領域情報と認識結果、認識結果文字の確信度を出力する文字認識ステップと、前記文字認識ステップから得られた文字画像の領域情報から該文字画像に対応する加筆重畳画像内での領域を検出する位置検出ステップと、前記位置検出ステップによって検出された該文字画像の加筆重畳画像内での領域に対する文字認識結果および認識結果文字の確信度と、前記文字認識ステップによって得られる認識結果および認識結果文字の確信度とを比較することで加筆抽出操作の必要性の有無を判定する認識結果比較ステップ、を有しているので計算効率が向上する。
【０１４２】
請求項１２記載の発明によれば、加筆抽出方法は、請求項９記載の加筆抽出方法において、前記領域分割ステップは、前記領域分割ステップは、電子原稿画像の与えられた領域に文字認識処理を行い領域内における一文字毎の文字画像の領域情報を出力する文字認識ステップと、前記文字認識ステップから得られた文字画像の領域情報から該文字画像に対応する加筆重畳画像内での領域を検出する位置検出ステップと、前記位置検出ステップによって検出された該文字画像の加筆重畳画像内での領域内における黒画素の総和と電子原稿画像内での文字画像の黒画素の総和を計数し比較することで加筆抽出操作の必要性の有無を判定する画素計数ステップ、を有しているので計算効率が向上する。
【０１４３】
請求項１３記載の発明によれば、加筆抽出方法は、請求項１１、 １２記載の加筆抽出方法において、前記位置検出ステップは、電子原稿画像の領域と加筆重畳画像の画像相関関数を計算し相関関数が最大値に達する２枚の画像の位置関係を検出結果とする相関位置検出ステップ、を有しているので加筆抽出の精度が向上する。
【０１４４】
請求項１４記載の発明によれば、加筆抽出方法は、請求項１１、 １２記載の加筆抽出方法において、前記位置検出ステップは、電子原稿画像の領域と加筆重畳画像の差分後の黒画素の総和を計算し該総和値が最小値に達する２枚の画像の位置関係を検出結果とする差分位置検出ステップと、を有しているので加筆抽出の精度が向上する。
【０１４５】
請求項１５記載の発明によれば、加筆抽出方法は、請求項９記載の加筆抽出方法において、前記画像差分ステップは、電子原稿画像と加筆重畳画像の両者の対応する位置からわずかにずらす画素ずらし処理ステップと、前記画素ずらし処理ステップによりわずかにずらされた２枚の画像間での差分処理を行う差分処理ステップ、を有しているので、加筆重畳画像の画質低下によるひき残しを防ぐことが可能となり、加筆抽出の精度が向上する。
【０１４６】
請求項１６記載の発明によれば、加筆抽出方法は、請求項９記載の加筆抽出方法において、前記画像差分ステップは、電子原稿画像を太化する画像太化処理ステップと、前記画像太化処理ステップにより太化された電子原稿画像と加筆重畳画像間での差分処理を行う差分処理ステップ、を有しているので、加筆重畳画像の画質低下によるひき残しを防ぐことが可能となり、加筆抽出の精度が向上する。
【図面の簡単な説明】
【図１】本発明による加筆抽出装置及び加筆抽出方法の一実施形態における加筆抽出のフローチャートである。
【図２】本発明による加筆抽出装置及び加筆抽出方法の一実施形態における領域分割ステップのフローチャートである。
【図３】本発明による加筆抽出装置及び加筆抽出方法の他の実施形態における領域分割ステップのフローチャートである。
【図４】本発明による加筆抽出装置及び加筆抽出方法の一実施形態における画像太化差分のフローチャートである。
【図５】本発明による加筆抽出装置及び加筆抽出方法の他の実施形態における画像太化差分のフローチャートである。
【図６】本発明による加筆抽出装置及び加筆抽出方法の一実施形態における画像補間ステップのフローチャートである。
【図７】本発明による加筆抽出装置及び加筆抽出方法の一実施形態における領域抽出・領域分割の説明図である。
【図８】本発明による加筆抽出装置及び加筆抽出方法の一実施形態における画像差分等の説明図である。
【図９】本発明による加筆抽出装置及び加筆抽出方法の一実施形態における加筆抽出器の構成例である。
【図１０】本発明による加筆抽出装置及び加筆抽出方法の一実施形態における領域分割器の構成例である。
【図１１】本発明による加筆抽出装置及び加筆抽出方法の他の実施形態における領域分割器の構成例である。
【図１２】本発明による加筆抽出装置及び加筆抽出方法の一実施形態における位置検出器の構成例である。
【図１３】本発明による加筆抽出装置及び加筆抽出方法の他の実施形態における位置検出器の構成例である。
【図１４】本発明による加筆抽出装置及び加筆抽出方法の一実施形態における画像差分器の構成例である。
【図１５】本発明による加筆抽出装置及び加筆抽出方法の他の実施形態における画像差分器の構成例である。
【図１６】本発明による加筆抽出装置及び加筆抽出方法の一実施形態における画像補間器の構成例である。
【符号の説明】
９００ 加筆抽出器
９０１ 領域抽出部
９０２ 領域分割部
９０３ 画像差分部
９０４ 画像補間部
９０５ 画像合成部
１０００、１１００ 領域分割器
１００１、１１０１ 文字認識部
１００２、１１０２ 位置検出部
１００３ 認識結果比較部
１１０３ 画素計数部
１２００、１３００ 位置検出器
１２０１ 相関計算部
１２０２ 最大相関検出部
１３０１、１４０２、１５０２ 差分処理部
１３０２ 最小残黒画素検出部
１４００、１５００ 画像差分器
１４０１ 画素ずらし処理部
１５０１ 画像太化処理部
１６００ 画像補間器
１６０１ 輪郭抽出部
１６０２ 端点検出部
１６０３ 端点接続部
１６０４ 画像着色部
１６０５ 領域合成部
Claims (16)
- 電子文書の原稿画像と前記電子文書を紙へ出力した後に手書きの加筆が重畳した状態でスキャナ等の画像読取装置で再び電子化された画像とから文字認識を用いて所望の領域を小領域に分割し、該小領域毎に加筆抽出操作の必要性の有無を判定する領域分割手段と、
前記領域分割手段によって分割され差分計算が必要と判定された前記小領域に対して差分計算を行う画像差分手段と、
前記画像差分手段によって差分処理された画像に対して補間処理を行う画像補間手段と、
を有することを特徴とする加筆抽出装置。 - 前記画像補間手段は、
前記差分処理後の画像の輪郭画像を作成する輪郭抽出手段と、
前記輪郭抽出手段によって作成された輪郭画像から電子原稿画像を差分することで補間すべき端点の座標と補間方向を検出する端点検出手段と、
前記端点検出手段によって検出された端点の情報から端点同士を接続し閉曲線を構成する端点接続手段と、
前記端点接続手段によって作成された閉曲線の内部を着色する画像着色手段と、
を有することを特徴とする請求項１記載の加筆抽出装置。 - 前記領域分割手段は、
電子原稿画像の与えられた領域に文字認識処理を行い、該領域内における一文字毎の文字画像の認識結果と該認識結果における前記文字の確信度と前記文字の領域情報とを出力する文字認識手段と、
前記文字認識手段から得られた文字画像の領域情報から該文字画像に対応する加筆重畳画像内での領域を検出する位置検出手段と、
前記位置検出手段によって検出された該文字画像の加筆重畳画像内での領域に対する文字認識結果および認識結果文字の確信度と、前記文字認識手段によって得られる認識結果および認識結果文字の確信度とを比較することで加筆抽出操作の必要性の有無を判定する認識結果比較手段と、
を有することを特徴とする請求項１記載の加筆抽出装置。 - 前記領域分割手段は、
電子原稿画像の与えられた領域に文字認識処理を行い領域内における一文字毎の文字画像の領域情報を出力する文字認識手段と、
前記文字認識手段から得られた文字画像の領域情報から該文字画像に対応する加筆重畳画像内での領域を検出する位置検出手段と、
前記位置検出手段によって検出された該文字画像の加筆重畳画像内での領域内における黒画素の総和と電子原稿画像内での文字画像の黒画素の総和を計数し比較することで加筆抽出操作の必要性の有無を判定する画素計数手段と、
を有することを特徴とする請求項１記載の加筆抽出装置。 - 前記位置検出手段は、
電子原稿画像の領域と加筆重畳画像の画像相関関数を計算し相関関数が最大値に達する２枚の画像の位置関係を検出結果とする相関位置検出手段、
を有することを特徴とする請求項３または４記載の加筆抽出装置。 - 前記位置検出手段は、
電子原稿画像の領域と加筆重畳画像の差分後の黒画素の総和を計算し該総和値が最小値に達する２枚の画像の位置関係を検出結果とする差分位置検出手段、
を有することを特徴とする請求項３または４記載の加筆抽出装置。 - 前記画像差分手段は、
電子原稿画像と加筆重畳画像の両者の対応する位置からわずかにずらす画素ずらし処理手段と、
前記画素ずらし処理手段によりわずかにずらされた２枚の画像間での差分処理を行う差分処理手段と、
を有することを特徴とする請求項１記載の加筆抽出装置。 - 前記画像差分手段は、
電子原稿画像を太化する画像太化処理手段と、
前記画像太化処理手段により太化された電子原稿画像と加筆重畳画像間での差分処理を行う差分処理手段と、
を有することを特徴とする請求項１記載の加筆抽出装置。 - 電子文書の原稿画像と前記電子文書を紙へ出力した後に手書きの加筆が重畳した状態でスキャナ等の画像読取装置で再び電子化された画像とから文字認識を用いて所望の領域を小領域に分割し、該小領域毎に加筆抽出操作の必要性の有無を判定する領域分割ステップと、
前記領域分割ステップによって分割され差分計算が必要と判定された前記小領域に対して差分計算を行う画像差分ステップと、
前記画像差分ステップによって差分処理された画像に対して補間処理を行う画像補間ステップと、
を有することを特徴とする加筆抽出方法。 - 前記画像補間ステップは、
前記差分処理後の画像の輪郭画像を作成する輪郭抽出ステップと、
前記輪郭抽出ステップによって作成された輪郭画像から電子原稿画像を差分することで補間すべき端点の座標と補間方向を検出する端点検出ステップと、
前記端点検出ステップによって検出された端点の情報から端点同士を接続し閉曲線を構成する端点接続ステップと、
前記端点接続ステップによって作成された閉曲線の内部を着色する画像着色ステップと、
を有することを特徴とする請求項９記載の加筆抽出方法。 - 前記領域分割ステップは、
電子原稿画像の与えられた領域に文字認識処理を行い該領域内における一文字毎の文字画像の認識結果と該認識結果における前記文字の確信度と前記文字の領域情報とを出力する文字認識ステップと、
前記文字認識ステップから得られた文字画像の領域情報から該文字画像に対応する加筆重畳画像内での領域を検出する位置検出ステップと、
前期位置検出ステップによって検出された該文字画像の加筆重畳画像内での領域に対する文字認識結果および認識結果文字の確信度と、前記文字認識ステップによって得られる認識結果および認識結果文字の確信度とを比較することで加筆抽出操作の必要性の有無を判定する認識結果比較ステップと、
を有することを特徴とする請求項９記載の加筆抽出方法。 - 前記領域分割ステップは、
電子原稿画像の与えられた領域に文字認識処理を行い領域内における一文字毎の文字画像の領域情報を出力する文字認識ステップと、
前記文字認識ステップから得られた文字画像の領域情報から該文字画像に対応する加筆重畳画像内での領域を検出する位置検出ステップと、
前期位置検出ステップによって検出された該文字画像の加筆重畳画像内での領域内における黒画素の総和と電子原稿画像内での文字画像の黒画素の総和を計数し比較することで加筆抽出操作の必要性の有無を判定する画素計数ステップと、
を有することを特徴とする請求項９記載の加筆抽出方法。 - 前記位置検出ステップは、
電子原稿画像の領域と加筆重畳画像の画像相関関数を計算し相関関数が最大値に達する２枚の画像の位置関係を検出結果とする相関位置検出ステップ、
を有することを特徴とする請求１１または１２記載の加筆抽出方法。 - 前記位置検出ステップは、
電子原稿画像の領域と加筆重畳画像の差分後の黒画素の総和を計算し該総和値が最小値に達する２枚の画像の位置関係を検出結果とする差分位置検出ステップ、
を有することを特徴とする請求項１１または１２記載の加筆抽出方法。 - 前記画像差分ステップは、
電子原稿画像と加筆重畳画像の両者の対応する位置からわずかにずらす画素ずらし処理ステップと、
前記画素ずらし処理ステップによりわずかにずらされた２枚の画像間での差分処理を行う差分処理ステップと、
を有することを特徴とする請求項９記載の加筆抽出方法。 - 前記画像差分ステップは、
電子原稿画像を太化する画像太化処理ステップと、
前記画像太化処理ステップにより太化された電子原稿画像と加筆重畳画像間での差分処理を行う差分処理ステップと、
を有することを特徴とする請求項９記載の加筆抽出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002380609A JP4120795B2 (ja) | 2002-12-27 | 2002-12-27 | 加筆抽出装置及び加筆抽出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002380609A JP4120795B2 (ja) | 2002-12-27 | 2002-12-27 | 加筆抽出装置及び加筆抽出方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004213230A true JP2004213230A (ja) | 2004-07-29 |
| JP2004213230A5 JP2004213230A5 (ja) | 2006-02-23 |
| JP4120795B2 JP4120795B2 (ja) | 2008-07-16 |
Family
ID=32816776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002380609A Expired - Fee Related JP4120795B2 (ja) | 2002-12-27 | 2002-12-27 | 加筆抽出装置及び加筆抽出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4120795B2 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007172336A (ja) * | 2005-12-22 | 2007-07-05 | Fuji Xerox Co Ltd | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
| JP2007174038A (ja) * | 2005-12-20 | 2007-07-05 | Fuji Xerox Co Ltd | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
| US7630572B2 (en) | 2005-06-16 | 2009-12-08 | Fuji Xerox Co., Ltd. | Image processing apparatus, image processing method, and computer program |
| JP2010066865A (ja) * | 2008-09-09 | 2010-03-25 | Fuji Xerox Co Ltd | 差分抽出装置及び差分抽出プログラム |
| EP2169613A1 (en) | 2008-09-25 | 2010-03-31 | Fuji Xerox Co., Ltd. | Image processing apparatus, image processing method, and image processing program |
| US7738703B2 (en) | 2006-03-01 | 2010-06-15 | Fuji Xerox Co., Ltd. | Image processing apparatus, image processing method and computer readable medium storing image processing program |
| JP2011154713A (ja) * | 2011-04-06 | 2011-08-11 | Fuji Xerox Co Ltd | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
| US8391607B2 (en) | 2008-04-14 | 2013-03-05 | Fuji Xerox Co., Ltd. | Image processor and computer readable medium |
| US8570609B2 (en) | 2009-07-16 | 2013-10-29 | Fuji Xerox Co., Ltd. | Image processing device with image dilation processing, image processing system, image processing method and computer readable medium |
| KR20170087357A (ko) * | 2016-01-20 | 2017-07-28 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
-
2002
- 2002-12-27 JP JP2002380609A patent/JP4120795B2/ja not_active Expired - Fee Related
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7630572B2 (en) | 2005-06-16 | 2009-12-08 | Fuji Xerox Co., Ltd. | Image processing apparatus, image processing method, and computer program |
| JP2007174038A (ja) * | 2005-12-20 | 2007-07-05 | Fuji Xerox Co Ltd | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
| JP4631696B2 (ja) * | 2005-12-20 | 2011-02-16 | 富士ゼロックス株式会社 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
| JP2007172336A (ja) * | 2005-12-22 | 2007-07-05 | Fuji Xerox Co Ltd | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
| US7738703B2 (en) | 2006-03-01 | 2010-06-15 | Fuji Xerox Co., Ltd. | Image processing apparatus, image processing method and computer readable medium storing image processing program |
| US8391607B2 (en) | 2008-04-14 | 2013-03-05 | Fuji Xerox Co., Ltd. | Image processor and computer readable medium |
| JP2010066865A (ja) * | 2008-09-09 | 2010-03-25 | Fuji Xerox Co Ltd | 差分抽出装置及び差分抽出プログラム |
| JP2010079507A (ja) * | 2008-09-25 | 2010-04-08 | Fuji Xerox Co Ltd | 画像処理装置及び画像処理プログラム |
| US8311322B2 (en) | 2008-09-25 | 2012-11-13 | Fuji Xerox Co., Ltd. | Image processing apparatus, image processing method, and computer readable medium |
| EP2169613A1 (en) | 2008-09-25 | 2010-03-31 | Fuji Xerox Co., Ltd. | Image processing apparatus, image processing method, and image processing program |
| US8570609B2 (en) | 2009-07-16 | 2013-10-29 | Fuji Xerox Co., Ltd. | Image processing device with image dilation processing, image processing system, image processing method and computer readable medium |
| JP2011154713A (ja) * | 2011-04-06 | 2011-08-11 | Fuji Xerox Co Ltd | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
| KR20170087357A (ko) * | 2016-01-20 | 2017-07-28 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
| KR102574900B1 (ko) | 2016-01-20 | 2023-09-06 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4120795B2 (ja) | 2008-07-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4358193B2 (ja) | 画像対象の自動切抜き方法 | |
| JP7013182B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| EP1139272A2 (en) | Method and apparatus for identification of documents, and computer product | |
| WO2004051575A1 (ja) | 特徴領域抽出装置、特徴領域抽出方法および特徴領域抽出プログラム | |
| JP2007335920A (ja) | 画像処理装置および画像処理プログラム | |
| JP4630777B2 (ja) | デジタル文書を変更する方法、装置、コンピュータプログラム及び記憶媒体 | |
| JP2007116469A (ja) | 媒体処理方法、複写装置、及びデータファイリング装置 | |
| JP4120795B2 (ja) | 加筆抽出装置及び加筆抽出方法 | |
| JP4275973B2 (ja) | 加筆画像抽出装置、プログラム、記憶媒体及び加筆画像抽出方法 | |
| JP5200786B2 (ja) | 差分抽出装置及び差分抽出プログラム | |
| JP2007164513A (ja) | 画像処理装置 | |
| JP6413542B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP2003259110A (ja) | 画像結合装置、その方法、プログラム | |
| JP6163868B2 (ja) | 画像処理方法、画像処理装置および画像処理プログラム | |
| JP2010079507A (ja) | 画像処理装置及び画像処理プログラム | |
| CN105025188B (zh) | 图像形成装置、图像处理装置和图像处理方法 | |
| JP2008259172A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| US20130114898A1 (en) | Template matching processing device and template matching processing program | |
| JP3600380B2 (ja) | 画像処理方法及びファクス文字認識装置 | |
| JP5821994B2 (ja) | 画像処理装置、画像形成装置およびプログラム | |
| JP4651876B2 (ja) | パターン識別装置、パターン識別方法及びパターン識別用プログラム | |
| JP2005182098A (ja) | 合成画像を生成・表示する装置及び方法 | |
| JP5923981B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP3625245B2 (ja) | 画像処理方法及び画像処理装置 | |
| JP3986059B2 (ja) | 画像補正装置、プログラム、記憶媒体及びページ外形の直線部分と曲線部分の境界点の検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071225 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080408 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080415 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110509 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120509 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120509 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130509 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130509 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |