JP2018185702A

JP2018185702A - 情報処理装置、その制御方法とプログラム

Info

Publication number: JP2018185702A
Application number: JP2017087867A
Authority: JP
Inventors: 唯仁八尾; Tadahito Yao
Original assignee: Canon Marketing Japan Inc; Canon IT Solutions Inc
Current assignee: Canon Marketing Japan Inc; Canon IT Solutions Inc
Priority date: 2017-04-27
Filing date: 2017-04-27
Publication date: 2018-11-22

Abstract

【課題】逆向きスキャンに対応しつつ、細かいフィッティングを行うこと。【解決手段】内容に差がある基準データ及び比較データとの差分から得られる情報を取得する情報処理装置が、読み取った当該基準データと比較データ間のデータ箇所に共通して存在する特徴点同士の位置を、読み取った基準データと比較データ間の画像全体で対応付けし、画像全体で対応付けした特徴点同士の位置を読み取った基準データに合わせるように、読み取った比較データの特徴点の位置を変形させ、読み取った基準データのデータ箇所と、変形させた比較データのデータ箇所に共通して存在する複数の特徴点を所定の形状に分割させ、読み取った基準データと変形させた比較データ間のデータ箇所に共通して存在する特徴点同士の位置を、分割した形状単位で対応付けし、対応付けした特徴点同士の位置を読み取った基準データに合わせるように、変形させた比較データの特徴点の位置を変形させる。【選択図】図４

Description

本発明は、画像データ間の歪みやムラを適切に変形する技術に関する。

帳票に手書きで記入した文字をＯＣＲ（光学文字認識）で認識して業務に利用するシステムは古くから存在しているが、帳票上の手書き文字を認識するには、記入後の帳票から、元の帳票と手書きの部分をどのように分離するかという課題がある。元の帳票に存在する罫線や見出しは後から手書きをした文字を認識する際には障害となる。

特許文献１の画像処理装置には、歪補正部と差分抽出部によって２つの画像データ間の歪を補正後、１の画像データと歪を補正した２の画像データとを比較して、その差分データを抽出し、解答者情報欄の記入内容を抽出する技術が開示されている。

非特許文献１には、画像中の特徴点を抽出し、画像の差分を取るための位置基準を決定するし、その基準に基づいて画像を変形させて合わせ込む方法について記載されている。

特開２００８−２０５０６号公報

「イメージ差分抽出技術」富士ゼロックステクニカルレポートＮｏ．２０２０１１

しかしながら、先行技術では、画像全体に対してアフィン変換をかけており、画像中の局所的な歪みやムラの変形にはうまく対応ができない。

局所的な歪みやムラの変形にうまく対応するには、画像全体に対するアフィン変換でなく、特徴点単位で画像を変形させて合わせ込む方法で細かいフィッティングを行えばよいが、特徴点が取れない外周部分の特徴点単位で画像を変形させて合わせ込む場合、例えば、記入前のデータと記入後のデータの向きをそれぞれ逆向きにスキャンしてしまった場合に、画像を変形させる合わせ込みに対応できないといった問題が発生してしまう。

本発明は、逆向きスキャンに対応しつつ、細かいフィッティングを行うことができる仕組みを提供することを目的とする。

本発明は、内容に差がある基準データ及び比較データとの差分から得られる情報を取得する情報処理装置であって、当該基準データ及び比較データにおけるデータ箇所を読み取る読取手段と、前記読み取った基準データと比較データ間のデータ箇所に共通して存在する特徴点同士の位置を、前記読み取った基準データと比較データ間の画像全体で対応付けする全体対応付け手段と前記画像全体で対応付けした特徴点同士の位置を前記読み取った基準データに合わせるように、前記読み取った比較データの特徴点の位置を変形させる全体変形手段と、前記読み取った基準データのデータ箇所と、前記変形させた比較データのデータ箇所に共通して存在する複数の特徴点を所定の形状に分割させて、前記画像全体を形状単位に分割する画像分割手段と、前記読み取った基準データと前記変形させた比較データ間のデータ箇所に共通して存在する特徴点同士の位置を、前記分割した形状単位で対応付けする部分対応付け手段と、前記分割した形状単位で対応付けした特徴点同士の位置を前記読み取った基準データに合わせるように、前記変形させた比較データの特徴点の位置を変形させる部分変形手段と、を備えることを特徴とする。

本発明は、内容に差がある基準データ及び比較データとの差分から得られる情報を取得する情報処理装置の制御方法であって、前記情報処理装置の読取手段が、当該基準データ及び比較データにおけるデータ箇所を読み取る読取工程と、前記情報処理装置の全体対応付け手段が、前記読み取った基準データと比較データ間のデータ箇所に共通して存在する特徴点同士の位置を、前記読み取った基準データと比較データ間の画像全体で対応付けする全体対応付け工程と、前記情報処理装置の全体変形手段が、前記画像全体で対応付けした特徴点同士の位置を前記読み取った基準データに合わせるように、前記読み取った比較データの特徴点の位置を変形させる全体変形工程と、前記情報処理装置の画像分割手段が、前記読み取った基準データのデータ箇所と、前記変形させた比較データのデータ箇所に共通して存在する複数の特徴点を所定の形状に分割させて、前記画像全体を形状単位に分割する画像分割工程と、前記情報処理装置の部分対応付け手段が、前記読み取った基準データと前記変形させた比較データ間のデータ箇所に共通して存在する特徴点同士の位置を、前記分割した形状単位で対応付けする部分対応付け工程と、前記情報処理装置の部分変形手段が、前記分割した形状単位で対応付けした特徴点同士の位置を前記読み取った基準データに合わせるように、前記変形させた比較データの特徴点の位置を変形させる部分変形工程と、を含むことを特徴とする。

本発明は、内容に差がある基準データ及び比較データとの差分から得られる情報を取得する情報処理装置で読み取り実行可能なプログラムであって、前記情報処理装置を、当該基準データ及び比較データにおけるデータ箇所を読み取る読取手段と、前記読み取った基準データと比較データ間のデータ箇所に共通して存在する特徴点同士の位置を、前記読み取った基準データと比較データ間の画像全体で対応付けする全体対応付け手段と、前記画像全体で対応付けした特徴点同士の位置を前記読み取った基準データに合わせるように、前記読み取った比較データの特徴点の位置を変形させる全体変形手段と、前記読み取った基準データのデータ箇所と、前記変形させた比較データのデータ箇所に共通して存在する複数の特徴点を所定の形状に分割させて、前記画像全体を形状単位に分割する画像分割手段と、前記読み取った基準データと前記変形させた比較データ間のデータ箇所に共通して存在する特徴点同士の位置を、前記分割した形状単位で対応付けする部分対応付け手段と、前記分割した形状単位で対応付けした特徴点同士の位置を前記読み取った基準データに合わせるように、前記変形させた比較データの特徴点の位置を変形させる部分変形手段と、して機能させることを特徴とする。

本発明により、逆向きスキャンに対応しつつ、細かいフィッティングを行うことができる仕組みを提供することが可能となる。

本発明の実施形態における、手書き文字抽出システム構成の一例を示す図である。本発明の実施形態における、ＯＣＲ装置のハードウェア構成の一例を示すブロック図である。本発明の実施形態における、ＯＣＲ装置内部の機能構成の一例を示すブロック図である。本発明の実施形態における、画像をフィッティングする処理の一例を示すフローチャートである。本発明の実施形態における、画像をフィッティングする処理の概要を示す図である。本発明の実施形態における、帳票データベースの一例を示す図である。本発明の実施形態における、概略変形のための特徴点の対応付け処理の一例を表す図である。本発明の実施形態における、詳細変形のための特徴点の対応付け処理および記入個所推定処理の一例を示す図である。本発明の実施形態における、詳細変形処理一例を示す図である。本発明の実施形態における、手書き入力箇所推定のための、対応付けがされない特徴点領域の抽出の一例を示す図である。本発明の実施形態における、概略変形前、概略変形後の画素の位置関係を示す式である。

図１を説明する。

図１は、本発明の実施形態における手書き文字抽出システムのシステム構成の一例を示す図である。

手書き文字抽出の主要な処理を行うためのＯＣＲ装置（情報処理装置）１０１および、帳票をスキャンして画像ファイル化（画像スキャン）するスキャナ３０１が通信経路４０１を介して接続される構成となっている。

通信経路４０１はスキャナ３０１の有する物理インターフェースに応じて、有線ＬＡＮ，無線ＬＡＮ，ＵＳＢなどの形態をとることができる。

通信経路４０１上にはファイルサーバー５０１を置いてもよい。スキャナ３０１でスキャンした画像をＯＣＲ装置１０１に取り込む方法として、スキャナ３０１からＯＣＲ装置１０１に直接画像を送信する方法、スキャナ３０１で取り込んだ画像ファイルをいったんファイルサーバー５０１に保管し、ＯＣＲ装置１０１がファイルサーバー５０１から画像ファイルを取り出す方法どちらをとっても良い。

図２を説明する。

図２は、本発明の実施形態におけるＯＣＲ装置１０１のハードウェア構成の一例を示すブロック図である。ファイルサーバー５０１も同様の構成となる。

ＣＰＵ１は、システムバス４に接続される各デバイスやコントローラを統括的に制御する。また、ＲＯＭ２あるいは外部メモリ１１には、ＣＰＵ１の制御プログラムであるＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、各サーバ或いは各ＯＣＲ装置の実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。

ＲＡＭ３は、ＣＰＵ１の主メモリ、ワークエリア等として機能する。ＣＰＵ１は、処理の実行に際して必要なプログラム等をＲＯＭ２あるいは外部メモリ１１からＲＡＭ３にロードして、該ロードしたプログラムを実行することで各種動作を実現するものである。

また、５は入力コントローラで、キーボード（ＫＢ）９やカメラデバイス１２（撮像装置）、不図示のマウス等のポインティングデバイス等からの入力を制御する。２０６はビデオコントローラで、ＣＲＴディスプレイ（ＣＲＴ）１０等の表示器への表示を制御する。なお、ＣＲＴ１０と記載しているが、表示器はＣＲＴだけでなく、液晶ディスプレイ等の他の表示器であってもよい。これらは必要に応じて管理者が使用するものである。

メモリコントローラ７は、ブートプログラム，各種のアプリケーション，フォントデータ，ユーザファイル，編集ファイル，各種データ等を記憶する外部記憶装置（ハードディスク（ＨＤ））や、フレキシブルディスク（ＦＤ）、或いはＯＣＲ装置ＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等の外部メモリ１１へのアクセスを制御する。

通信Ｉ／Ｆコントローラ８は、ネットワーク（例えば、図に示したＬＡＮ）を介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信等が可能である。

なお、ＣＰＵ１は、例えばＲＡＭ３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ＣＲＴ１０上での表示を可能としている。また、ＣＰＵ１は、ＣＲＴ１０上の不図示のマウスカーソル等でユーザによる指示を可能とする。

本発明を実現するための後述する各種プログラムは、外部メモリ１１に記録されており、必要に応じてＲＡＭ３にロードされることによりＣＰＵ１によって実行されるものである。さらに、上記プログラムの実行時に用いられる定義ファイル及び各種情報テーブル等も、外部メモリ１１に格納されており、これらについての詳細な説明も後述する。

また、本発明における実行可能なプログラムは、図３乃至図４の処理をコンピュータに実行させるプログラムである。なお、本発明におけるプログラムは、図３乃至図４の各処理ごとのプログラムであってもよい。

以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。

また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

図３を説明する。

ＯＣＲ装置１０１の機能ブロックを示したものである。

入力受付部２５１は、帳票ＩＤ及びドキュメントスキャナや画像形成装置にて読み取られ、ＯＣＲ装置１０１に送信された記入後帳票画像を受け付ける機能を有している。

特徴点検出部２５２は、受け付けた記入後帳票画像と、受け付けた帳票ＩＤに対応する記入前帳票画像から、特徴点群７０１、特徴点群７０２を検出し、特徴点対応情報７０３を作成する機能を有している。

変換行列算出部２５３は、特徴点群７０１と特徴点群７０２との特徴点同士の座標が、ぴったり重なるように、記入後帳票画像１００１の画像全体を変形するための変換行列Ｔを算出する機能を有している。

変換行列算出部２５３は、特徴点群９０１と特徴点群９０２との特徴点同士の座標が、ぴったり重なるように、記入後帳票画像１００２の三角領域だけを独立して変形するための変換行列Ｔｎを算出する機能を有している。

画像概略変形部２５４は、記入後帳票画像１００１に変換行列算出部２５３が算出した変換行列Ｔをかけて、記入後帳票画像１００１の画像全体の変形を実行する機能を有している。

画像分割部２５５は、特徴点群８０１を基に概略変形後の記入後帳票画像１００２に三角形分割を行う機能を有している。

画像詳細変形部２５６は、記入後帳票画像１００２に変換行列算出部２５３が算出した変換行列Ｔｎをかけて、記入後帳票画像１００２の三角領域だけを独立した変形を実行する機能を有している。

記入箇所推定部２５７は、特定した特徴点の位置に従って、記入前帳票画像１１０１と概略変形後の記入後帳票画像１００２間のデータ箇所で、差分となる箇所を推定する機能を有している。

図４を説明する。

次に図４のフローチャートを用いて、本発明の実施形態におけるＯＣＲ装置１０１が実行する画像フィッティング処理について説明する。

図４のフローチャートは、ＯＣＲ装置１０１上のＣＰＵ２０１が所定の制御プログラムを読み出して実行する処理であり、記入後帳票画像（基準となる画像データＡと内容の差を比較する画像データＢ）を記入前帳票画像（基準となる画像データＡ）にフィッティングする処理を示すフローチャートである。尚、記入後帳票画像（基準となる画像データＡと内容の差を比較する画像データＢ）は、スキャナで読み取られる画像データである。

このように、記入後帳票画像（基準となる画像データＡと内容の差を比較する画像データＢ）と記入前帳票画像（基準となる画像データＡ）との間でフィッティングしている。

ＣＰＵ２０１上に読み込まれた制御プログラムは図３に示す機能ブロックに分割されており、ここではその機能ブロックに照らし合わせて説明する。

図５を説明する。

図５は本発明の画像フィッティング処理の入力および出力を簡易的に示した図である。記入後帳票画像１００１を、ＯＣＲ装置１０１が帳票データベース２６０に保管している記入前帳票画像１１０１を、帳票管理部２５８を通して取得し、後述の処理を通じて概略変形画像１００２、詳細変形画像１００３として出力する。この際、検出された特徴点から推定記入領域８０６，８０７を得る。

ステップＳ４０１では、入力受付部２５１が、ユーザから手書き文字抽出の要求を受け付ける。この要求には、スキャナ等でスキャンされた手書き文字を抽出する対象の記入後帳票画像１００１（例えば、学籍番号、得点等が記入された後の講義レポートの画像データ）及び対象帳票の種類を識別可能な帳票ＩＤ（例えば、講義レポートを特定可能）のセットが電文として含まれている。記入後帳票画像１００１はスキャナ３０１から直接取得してＯＣＲ装置１０１上のＲＡＭ２０３を介して送信してもよいし、ファイルサーバー５０１を経由してファイルの形で送信してもよい。

受信した記入後帳票画像１００１は、ＯＣＲ装置１０１のＲＡＭ２０３に記憶される。

さらに、ＲＡＭ２０３に記憶された記入後帳票画像１００１の中で、記入後データ（比較データである。）のデータ箇所（罫線や記入枠や項目名、手書きの学籍番号、手書きの氏名、手書きの得点等）を読み取る（読取手段）。例えば図５に示したような概略変形前の状態である。

ステップＳ４０２では、帳票管理部２５８が、ステップＳ４０１で受け付けた要求に含まれる帳票ＩＤに基づき、帳票ＩＤをキーに、帳票データベース２６０（図６）から帳票ＩＤに対応する記入前帳票画像１１０１を引き出す。引き出した記入前帳票画像はＯＣＲ装置１０１のＲＡＭ２０３に記憶される。

さらに、ＲＡＭ２０３に記憶された記入前帳票画像１１０１の中で、記入前データ（基準データである。）のデータ箇所（罫線や記入枠や項目名等）を読み取る（読取手段）。例えば図５の１１０１に示したような照合前の状態である。

図６を説明する。

図６は本発明における帳票データベース２６０の一例である。帳票の種類を識別可能な帳票ＩＤと一意に対応づけて、各記入前帳票画像が画像ファイルの形式で帳票データベース２６０にそれぞれ格納されており、Ｓ４０１で要求された帳票ＩＤに基づいてレコード６０１〜から記入前帳票画像１１０１を取得する。

ステップＳ４０３では、特徴点検出部２５２が、記入後帳票画像１００１から、特徴点群７０１を抽出する。特徴点は画像中の線分の端点、交点、輝度や色の境界になる線上の点が望ましい。こうした条件に合致する点を抽出するための手法として、ＫＡＺＥ、ＯＲＢ（Ｏｒｉｅｎｔｅｄ−ＢＲＩＥＦ）、ＳＩＦＴ（Ｓｃａｌｅ−ｉｎｖａｒｉａｎｔｆｅａｔｕｒｅｔｒａｎｓｆｏｒｍ）などが知られている。

ステップＳ４０４では、ステップＳ４０３と同様にして、記入前帳票画像１１０１から、特徴点群７０２を抽出する。

ステップＳ４０５では、特徴点検出部２５２が、特徴点群７０１と特徴点群７０２間で、記入前後の帳票の同一個所から検出されたと推定される特徴点の対応付けを行う（全体対応付け手段）。特徴点の対応付けのアルゴリズムとしては、ＫＮＮ（Ｋ−ＮｅａｒｅｓｔＮｅｉｇｈｂｏｒａｌｇｏｒｉｔｈｍ）、Ｂｌｕｔｅ−Ｆｏｒｃｅ、ＦＬＡＮＮ（ＦａｓｔＬｉｂｒａｒｙｆｏｒＡｐｐｒｏｘｉｍａｔｅＮｅａｒｅｓｔＮｅｉｇｈｂｏｒｓ）などが知られている。

つまり、ここでステップＳ４０１とステップＳ４０２でそれぞれ読み取った記入前帳票画像１１０１と記入後帳票画像１００１間のデータ箇所に共通して存在する特徴点同士の位置を、記入前帳票画像１１０１と記入後帳票画像１００１間の画像全体で図７のように対応付けすることになる。

図７を説明する。

図７は、ステップＳ４０５における特徴点の対応付け処理の一例を示す図である。記入後帳票画像１００１上の手書き文字から検出された特徴点は、記入前帳票画像１１０１からは検出されないのでここで対応付けから除外され、帳票にもともと存在する罫線、見出しに対応する特徴点対応情報７０３が得られる。

ここで特徴点対応情報７０３は、記入後帳票画像１００１上のある特徴点と、記入前帳票画像１１０１上のある特徴点を紐づけたものである。

つまり、図７のように、記入後帳票画像１００１の特徴点群７０２と記入前帳票画像１１０１の特徴点群７０３間で、同じ特徴量を持つ特徴点対応情報７０３群がマッピングテーブルとして管理されている。

ステップＳ４０６では、変換行列算出部２５３が、対応する特徴点同士の座標から、記入後帳票画像１００１と記入前帳票画像１１０１との特徴点同士の座標が、ぴったり重なるように、記入後帳票画像１００１の画像全体を変形するための変換行列Ｔを算出する。変換行列を算出するための手法としては、ＲＡＮＳＡＣやＬｅａｓｔＭｅｄｉａｎなどが知られている。

ステップＳ４０７では、画像概略変形部２５４が、記入後帳票画像１００１に変換行列Ｔをかけて概略変形を行う（全体変形手段）。ここで行う概略変形は画像全体に対して単一の変換行列をかけるものであり、ここでは概略変形と呼ぶ。この概略変形により、スキャン時に発生した大きな傾きや、記入前のデータと記入後のデータの向きをそれぞれ逆向きにスキャンしてしまった場合でも対応できるというメリットがある。

ステップＳ４０７で得られる画像を概略変形後画像１００２とする。

つまり、ステップＳ４０５で、画像全体で対応付けした特徴点同士の位置を、画像全体で記入前帳票画像１１０１に合わせるように、記入後帳票画像１００１の特徴点の位置を、画像全体で変形させることになる。

ここで得られる画像を変形後の記入後帳票画像１００２とする。例えば図５の１００２に示したような詳細変形前の状態である。

数式１は概略変形後の記入後帳票画像１００２上の任意の点（ｘ，ｙ）と、変形前の記入後帳票画像１００１上の対応する点（ｘ’，ｙ’）との関係を表す式であり、画像概略変形部２５４による変形後の記入後帳票画像１００２上の任意の座標を（ｘ，ｙ）を示したものである。

更に、数式２は概略変形後の記入後帳票１００２上の任意の点（ｘ，ｙ）における色Ｃ２（ｘ，ｙ）を表す式である。Ｃ２（ｘ，ｙ）は概略変形前の記入後帳票１００１上の点（ｘ’，ｙ’）における色Ｃ１（ｘ’，ｙ’）と同じである。

ステップＳ４０８では、特徴点検出部２５２が、概略変形後の記入後帳票画像１００２から、特徴点群８０１を再度抽出する。

ステップＳ４０９では、特徴点検出部２５２が、ステップＳ４０５と同様に、特徴点群８０１と特徴点群７０２間で、記入前後の帳票の同一個所から検出されたと推定される特徴点の対応付けを行う。

ここでの記入前後の帳票の同一個所から検出されたと推定される特徴点の対応付けの結果から、記入前帳票画像１１０１と概略変形後の記入後帳票画像１００２間のデータ箇所で、記入前帳票画像１１０１には無く概略変形後の記入後帳票画像１００２に存在する特徴点の位置を特定する（特徴点特定手段）。

ここで特徴点対応情報８０２が得られ、このとき対応付けから漏れた特徴点群８０３は、後述の手書き入力推定処理で利用される。

図８を説明する。

図８は、ステップＳ４０９における特徴点対応付け処理の一例を示す図である。特徴点群８０３中には、手書き文字から抽出された特徴点群８０４，８０５が含まれる。

ステップＳ４１０では、画像詳細変形部２５６が、特徴点群８０１を基に概略変形後の記入後帳票画像１００２に三角形分割を行う（画像分割手段）。

つまり、図９のように、記入前帳票画像１１０１のデータ箇所と、概略変形させた記入後帳票画像１００２のデータ箇所に共通して存在する複数の特徴点を所定の形状（例えば三角形）に分割させて、画像全体を形状単位（全て三角領域）に分割する。

図９を説明する。

図９は、ステップＳ４１０の処理の一例を示す図である。ここでは、概略変形後の記入後画像にまだ局所的な歪みが残っているケースを考える。

概略変形後の記入後帳票画像１００２を特徴点群８０１の各点を頂点とする三角領域に分割する。図形を三角形に分化する手法としてはドロネー三角形分割法が知られている。ここで、局所的に歪みが発生している三角領域９０１があるとする。ここでは、特徴点対応情報８０２に含まれる特徴点の記入前帳票画像１１０１上の各点を、特徴点群８０１と各三角形が対応するように分割する。ここで三角領域９０１に対応する三角領域９０２とする。

記入前帳票画像１１０１と概略変形させた記入後画像１００２間のデータ箇所に共通して存在する特徴点同士（９０１と９０２）の位置を、分割した三角形単位で独立して対応付けしている（部分対応付け手段）。

次に、三角形分割をしたそれぞれの三角領域に対して詳細変形を行う（部分変形手段）。この画像の内の一部の領域ごとに行う変形をここでは詳細変形と呼ぶ。この処理で得られる画像を詳細変形後の記入後画像１００３とする。

画像詳細変形部２５６が、三角領域に分割して対応付けをした特徴点同士の位置を、三角領域に分割して対応付けをした特徴点同士で記入前帳票画像１１０１に合わせるように、概略変形させた記入後画像１００２の特徴点の位置を独立して変形（アフィン変換）させることになる。

つまり、三角領域９０１の３つの頂点から、三角領域９０１内の任意の点を三角領域９０２に合わせ込むためのアフィン変換行列Ｔｎを求める。Ｔｎの求め方は既知であるものとする。

同様に、概略変形後帳票画像１００２内のすべての三角領域に対して、独立して変換行列Ｔｎを求め、図９のように、それぞれ分割した三角領域で独立してアフィン変換を行う。

数式３は詳細変形後の記入後帳票画像１００３上の任意の点（ｘ，ｙ）と、詳細変形前の記入後帳票画像１００２上の対応する点（ｘ’，ｙ’）との関係を表す式であり、画像詳細変形部２５６による変形後の記入後帳票画像１００３上の任意の座標を（ｘ，ｙ）を示したものである。

概略変形後の帳票１００２から検出された対応点群９０１を三角形分割したうちの任意の点（ｘ，ｙ）を含む三角領域ｎに対して、前ステップで対応付けされた対応点群８０３上の対応する三角形に合わせ込むための変換行列をＴｎとする。

更に、数式４は詳細変形後の記入後帳票１００３上の任意の点（ｘ，ｙ）における色Ｃ_ｎ，２（ｘ，ｙ）を表す式である。Ｃ_ｎ，２（ｘ，ｙ）は詳細変形前の記入後帳票１００２上の点（ｘ’，ｙ’）における色Ｃ_ｎ，１（ｘ’，ｙ’）と同じである。

ステップＳ４１１では、記入個所推定部２５８が、ステップＳ４０９で対応付けから除外された特徴点群８０３から、手書き文字が帳票に追記された場所を推定する（差分推定手段）。つまりステップＳ４０９で特定した特徴点の位置に従って、記入前帳票画像１１０１と概略変形後の記入後帳票画像１００２間のデータ箇所で、差分となる箇所を推定することになる。

図１０を説明する。

図１０は、ステップＳ４１１における追記個所推定処理の一例である。この処理においては、対応付けから漏れた特徴点群８０３の中には、罫線や帳票に印刷された見出し、ノイズから検出される特徴点の中にも対応付けから漏れるものは存在するが、手書き文字から抽出された特徴点はそれらに比べて密に検出されるという仮定に基づいている。

記入個所推定部２５８は、特徴点群８０３内の特徴点をクラスタリングによって分類する。クラスタリングの手法としては、Ｋ−ＭＥＡＮＳ法が知られている。

前記のクラスタリングによって、一定以上の特徴点数、密度を示した領域を文字記入領域とみなし、後続のＯＣＲ処理においてヒント情報として利用する。

このように、本発明のＯＣＲ装置１０１は、内容に差がある基準データ及び比較データとの差分から得られる情報（文字、罫線、オブジェクト）を取得することができる。

ステップＳ４１１で推定した箇所を利用して、情報（文字、罫線、オブジェクト）を取得する位置を特定する（位置特定手段）ことができる。

更に、ＯＣＲ装置１０１は、が、記入に差がある記入前データ及び記入後データとの差分から得られる情報も取得することもできる。

この場合、記入後データで読み取ったデータ箇所には、罫線、記入枠、項目名、手書きの文字を含んでおり、記入前データで読み取ったデータ箇所には、罫線、記入枠、項目名を含んでいるものとする。

この場合、差分から得られる手書きの文字の認識をする（文字認識手段）こともできる。

１０１ＯＣＲ装置本体
２５１入力受付部
２５２特徴点検出部
２５３変換行列算出部
２５４画像概略変形部
２５５画像分割部
２５６画像詳細変形部
２５８帳票管理部
２５７記入個所推定部
２６０帳票データベース
３０１スキャナ本体
４０１ネットワーク経路
５０１ファイルサーバー
７０１概略変形前の記入後帳票から抽出された特徴点群
７０２記入前帳票から抽出された特徴点群
７０３特徴点群７０１と特徴点群７０２間の特徴点対応情報
８０１概略変形後の記入後帳票から抽出された特徴点群
８０２特徴点群８０１と特徴点群７０２間の特徴点対応情報
８０３特徴点群８０１中において、対応情報８０２に含まれなかった特徴点群
８０４，８０５特徴点群８０３から抽出された特徴点クラスタ
８０６，８０７特徴点クラスタ８０４，８０５に基づいて推定された推定文字記入領域
９０１三角形分割した特徴点群上の一つの三角領域
９０２三角形分割した特徴点群上の一つの三角領域
１００１記入後帳票画像
１００２概略変形後記入後帳票画像
１００３詳細変形後記入後帳票画像
１１０１記入前帳票画像

Claims

内容に差がある基準データ及び比較データとの差分から得られる情報を取得する情報処理装置であって、
当該基準データ及び比較データにおけるデータ箇所を読み取る読取手段と、
前記読み取った基準データと比較データ間のデータ箇所に共通して存在する特徴点同士の位置を、前記読み取った基準データと比較データ間の画像全体で対応付けする全体対応付け手段と、
前記画像全体で対応付けした特徴点同士の位置を前記読み取った基準データに合わせるように、前記読み取った比較データの特徴点の位置を変形させる全体変形手段と、
前記読み取った基準データのデータ箇所と、前記変形させた比較データのデータ箇所に共通して存在する複数の特徴点を所定の形状に分割させて、前記画像全体を形状単位に分割する画像分割手段と、
前記読み取った基準データと前記変形させた比較データ間のデータ箇所に共通して存在する特徴点同士の位置を、前記分割した形状単位で対応付けする部分対応付け手段と、
前記分割した形状単位で対応付けした特徴点同士の位置を前記読み取った基準データに合わせるように、前記変形させた比較データの特徴点の位置を変形させる部分変形手段と、
を備えることを特徴とする情報処理装置。
前記読み取った基準データと比較データ間のデータ箇所で、前記基準データには無く前記比較データに存在する特徴点の位置を特定する特徴点特定手段と、
前記特定した特徴点の位置に従って、前記読み取った基準データと比較データ間のデータ箇所で、前記差分となる箇所を推定する差分推定手段と、
前記推定した箇所を利用して、前記情報を取得する位置を特定する位置特定手段と、
更に備えることを特徴とする請求項１に記載の情報処理装置。
前記比較データは、スキャナで読み取られる画像データであることを特徴とする請求項１または請求項２に記載の情報処理装置。
前記情報処理装置が、記入に差がある記入前データ及び記入後データとの差分から得られる情報を取得すること請求項１乃至請求項３の何れか１項に記載の情報処理装置。
前記記入後データで読み取ったデータ箇所には、罫線、記入枠、項目名、手書きの文字を含み、前記記入前データで読み取ったデータ箇所には、罫線、記入枠、項目名を含み、
前記差分から得られる前記手書きの文字の認識をする文字認識手段を更に備えることを特徴とする請求項４に記載の情報処理装置。
内容に差がある基準データ及び比較データとの差分から得られる情報を取得する情報処理装置の制御方法であって、
前記情報処理装置の読取手段が、当該基準データ及び比較データにおけるデータ箇所を読み取る読取工程と、
前記情報処理装置の全体対応付け手段が、前記読み取った基準データと比較データ間のデータ箇所に共通して存在する特徴点同士の位置を、前記読み取った基準データと比較データ間の画像全体で対応付けする全体対応付け工程と、
前記情報処理装置の全体変形手段が、前記画像全体で対応付けした特徴点同士の位置を前記読み取った基準データに合わせるように、前記読み取った比較データの特徴点の位置を変形させる全体変形工程と、
前記情報処理装置の画像分割手段が、前記読み取った基準データのデータ箇所と、前記変形させた比較データのデータ箇所に共通して存在する複数の特徴点を所定の形状に分割させて、前記画像全体を形状単位に分割する画像分割工程と、
前記情報処理装置の部分対応付け手段が、前記読み取った基準データと前記変形させた比較データ間のデータ箇所に共通して存在する特徴点同士の位置を、前記分割した形状単位で対応付けする部分対応付け工程と、
前記情報処理装置の部分変形手段が、前記分割した形状単位で対応付けした特徴点同士の位置を前記読み取った基準データに合わせるように、前記変形させた比較データの特徴点の位置を変形させる部分変形工程と、
を含むことを特徴とする制御方法。
内容に差がある基準データ及び比較データとの差分から得られる情報を取得する情報処理装置で読み取り実行可能なプログラムであって、
前記情報処理装置を、
当該基準データ及び比較データにおけるデータ箇所を読み取る読取手段と、
前記読み取った基準データと比較データ間のデータ箇所に共通して存在する特徴点同士の位置を、前記読み取った基準データと比較データ間の画像全体で対応付けする全体対応付け手段と、
前記画像全体で対応付けした特徴点同士の位置を前記読み取った基準データに合わせるように、前記読み取った比較データの特徴点の位置を変形させる全体変形手段と、
前記読み取った基準データのデータ箇所と、前記変形させた比較データのデータ箇所に共通して存在する複数の特徴点を所定の形状に分割させて、前記画像全体を形状単位に分割する画像分割手段と、
前記読み取った基準データと前記変形させた比較データ間のデータ箇所に共通して存在する特徴点同士の位置を、前記分割した形状単位で対応付けする部分対応付け手段と、
前記分割した形状単位で対応付けした特徴点同士の位置を前記読み取った基準データに合わせるように、前記変形させた比較データの特徴点の位置を変形させる部分変形手段と、
して機能させることを特徴とするプログラム。