JP2018098705A - 画像処理装置及びその制御方法並びにプログラム - Google Patents

Abstract

【課題】 カードの表裏をスキャンして表裏ペアの対応付けを行う際、裏面スキャンのためカードを裏返した時に位置がずれても、表裏ペアを推定してユーザに提示することができる画像処理装置及びその制御方法並びにプログラムを提供する。
【解決手段】
画像処理装置１００は、スキャナ部１２０の原稿台の上に複数枚の名刺を置いてスキャンすることで、名刺の表裏の画像をそれぞれ含む読み取り画像を取得し、その取得した読み取り画像から各名刺の表面の画像および裏面の画像を抽出すると共に抽出された各画像の中央座標値を抽出する。抽出された一つの表面の画像の中央座標値から一定距離内に、抽出された裏面の画像の中央座標値がある場合、その表面の画像と裏面の画像を１つの名刺の表裏ペアであると判別する。
【選択図】 図３

Description

本発明は、複数枚並べた名刺等のカードをスキャナなどの画像読み取り装置で取得し、カード毎に切り分ける画像処理装置及びその制御方法並びにプログラムに関するものである。

従来から、スキャナなどの画像読み取り装置の原稿台上に名刺や免許証などのカードを複数枚並べ、１つの読み取り画像として取得し、取得した読み取り画像からカード毎の画像を切り分ける技術が開示されている。

名刺や免許証などの両面刷りのカードは、表面と裏面の情報を一体的に管理できると便利である。このため、このようなカードには、表裏組み合わせのファイルを作るというニーズがある。表裏組み合わせのファイルを作るには、各カードの表面の読み取り画像と裏面の読み取り画像をそれぞれのカード毎の画像に切り分け、各カードの表裏の画像を組み合わせる必要がある。

特許文献１では、この各カードの表裏の画像を組み合わせる方法として以下のような技術が開示されている。まず、原稿台上に複数枚カードを並べて表面の読み取り画像を取得した後、各カードを原稿台上の同じ位置で裏返して裏面の読み取り画像を取得する。次に、各読み取り画像から各カードの画像の位置情報を算出し、この算出された位置情報に基づいて各カードの表裏の画像を組み合わせる。

特開２００９−１００２１１号公報

しかしながら、特許文献１では、各カードの画像の位置情報として、各カード画像の中心座標を算出する。このため、カードを裏返す際にカードの位置がずれてしまうとそのカードの表裏の画像の中心座標もずれてしまい、表裏の組み合わせが決定できない場合がある。また、カードを裏返す際に大きく位置がずれた場合には、異なるカードの表裏の画像が組み合わせられてしまう場合もある。

このような場合には、表裏の画像の組み合わせが適切かどうかをユーザに確認してもらう必要がある。しかし、Ａ３サイズのスキャナデバイスを使って画像を読み取る場合、一般の名刺サイズでは、数十枚の名刺を同時にスキャンすることができる。そのため、すべてのカードの表裏の画像をその位置情報に基づいて表示し、ユーザに所望の組み合わせを選択させるのは、非常に煩雑となってしまうという問題がある。

本発明は、カードの表裏をスキャンして表裏ペアの対応付けを行う際、裏面スキャンのためカードを裏返した時に位置がずれても、表裏ペアを推定してユーザに提示することができる画像処理装置及びその制御方法並びにプログラムを提供することを目的とする。

本発明の画像処理装置は、第１の画像及び第２の画像を取得する画像取得手段と、前記画像取得手段によって取得された前記第１の画像から第１の矩形画像及びその中心座標値を抽出する第１の抽出手段と、前記画像取得手段によって取得された前記第２の画像から第２の矩形画像及びその中心座標値を抽出する第２の抽出手段と、前記第１の抽出手段によって抽出された中心座標値から一定距離内に前記第２の抽出手段によって抽出された中心座標値がある場合、前記第１の矩形画像と前記第２の矩形画像が対となる組み合わせの矩形画像であると判別する第１の判別手段と、を備えることを特徴とする。

本発明によれば、カードの表裏をスキャンして表裏ペアの対応付けを行う際、裏面スキャンのためカードを裏返した時に位置がずれても、表裏ペアを推定してユーザに提示することができる。

本発明の第１の実施例に係る画像処理装置を含むシステムの全体構成を示す図である。 画像処理装置のハードウェア構成を示すブロック図である。 本発明の第１の実施例に係る画像処理の手順を示すフローチャートである。 図３のカード読み取り処理の対象となるカードの表裏の画像の例を示す図である。 図３のカード読み取り処理により複数のカード夫々の表裏の画像を読み取る際の図２のスキャナ部１２０の原稿台上での各カードの配置例を示す図である。 図３のカード読み取り処理によるカードの表面の画像及びその中心座標値の抽出方法を説明するための図である。 図３のステップＳ３０９で実行されるカードの位置情報に基づく表裏ペアの対応付けを行なう方法を説明するための図である。 図３のステップＳ３１１で実行されるカードから特徴量を抽出する方法を説明するための図である。 図３のステップＳ３１４で実行されるカード表裏ペアの確認の際に表示される画面を示す図である。 図３のステップＳ３１４で実行される裏面カードの選択の際に表示される画面を示す図である。 本発明の第２の実施例におけるカード表裏ペアの対応付け判定方法を示すテーブルである。 図１１の各条件に示すカードを読み取る際の配置例を示す図である。 本発明の第３の実施例に係る画像処理の手順を示すフローチャートである。

以下、図面を用いて本発明に係る実施形態を詳細に説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらに限定する趣旨のものではない。

＜システム構成＞
図１は、本発明の第１の実施例に係る画像処理装置を含むシステムの全体構成を示す図である。

図１に示すように、画像処理装置１００、ＰＣなどの端末（以下単に「ＰＣ」という）１０１はイーサネット（登録商標）や無線ＬＡＮなどからなるＬＡＮ１０４に接続され、Ｉｎｔｅｒｎｅｔ１０５に接続されている。また、モバイル端末１０３は公衆無線通信網１０２などからＬＡＮ１０４を介して又は直接Ｉｎｔｅｒｎｅｔ１０５に接続されている。画像処理装置１００、ＰＣ１０１、及びモバイル端末１０３は、ＬＡＮ１０４又は公衆無線通信網１０２からＩｎｔｅｒｎｅｔ１０５に接続され、相互に通信可能となっている。なお、ＰＣ１０１とモバイル端末１０３に関しては、どちらか一方がある構成でも良いし、画像処理装置１００のみの構成だけでも良い。

画像処理装置１００は、図２で後述する表示・操作部１２１、スキャナ部１２０、及びプリンタ部１２３を有する複合機である。本実施例のシステムでは画像処理装置１００を複数枚の名刺や免許証、ハガキなどカードのスキャン端末として利用する。また、表示・操作部１２１は、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）として機能する表示部やタッチパネルやハードボタンなどの操作部を有し、エラー通知や指示通知などの表示や、スキャン操作や設定操作などの操作を行う。尚、本実施例において画像処理装置１００はプリンタ部１２３を有するが、スキャン端末として利用できる装置であればこれに限定されるものではない。

ＰＣ１０１は、画像処理装置１００で取得した画像の表示を行う。また、ＰＣアプリケーションなどを有し、画像処理装置１００から取得した画像の保存や、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）処理などを実施し、再利用可能なメタデータの生成を行う。更に、クラウドやサーバーなどの外部ストレージとの通信も可能で、保存した画像やメタデータを外部ストレージへ送信することも可能である。なお、本実施例では、ＰＣ１０１で上記画像の保存、メタデータ生成及び、外部ストレージへの送信を行うが、画像処理装置１００に同機能を備えることで画像処理装置１００において行うようにしてもよい。

また、モバイル端末１０３は、操作部、無線通信部、ウェブブラウザを動作させるアプリ部を有するスマートフォンやタブレット端末である。本実施例のシステムでは、ＰＣ１０１と同様に表示端末、操作端末及び、メタデータ生成・保存端末として利用することができる。なお、ＰＣ１０１とモバイル端末１０３は、表示、操作及び、メタデータ生成・保存の機能など、重複した機能を有しており、どちらを使用することも可能である。また、本システムは片方どちらか一方のみ有する構成でもよい。

以上の構成要素はあくまで例示であり、すべての構成が必要というものではない。例えば、画像処理装置１００に、画像の保存機能、メタデータ生成機能、メタデータの保存機能、外部ストレージへの送信機能があれば、画像処理装置１００のみの構成でもよい。

＜画像処理装置１００のハードウェア構成＞
図２は、画像処理装置１００のハードウェア構成を示すブロック図である。制御部１１０上に、ＣＰＵ１１１、記憶装置１１２、ネットワークＩ／Ｆ部１１３、スキャナＩ／Ｆ部１１４、表示・操作部Ｉ／Ｆ部１１５、プリンタＩ／Ｆ部１２２がシステムバス１１６を介して互いに通信可能に接続されている。制御部１１０は、画像処理装置１００全体の動作を制御する。

ＣＰＵ１１１は、記憶装置１１２に記憶された制御プログラムを読み出して読取制御や送信制御などの各種制御を行う。

記憶装置１１２は、上記プログラム、画像、メタデータ、設定データ及び、処理結果データなどを格納し保持する。記憶装置１１２には、不揮発性メモリであるＲＯＭ１１７、揮発性メモリであるＲＡＭ１１８、及び大容量記憶領域であるＨＤＤ１１９などがある。

ＲＯＭ１１７は、制御プログラムなどを保持し、ＣＰＵ１１１はその制御プログラムを読み出し制御を行う。

ＲＡＭ１１８は、ＣＰＵ１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。

ネットワークＩ／Ｆ部１１３は、制御部１１０を、システムバス１１６を介してＬＡＮ１０４に接続する。ネットワークＩ／Ｆ部１１３は、ＬＡＮ１０４を介して接続される外部装置（本実施例の場合、ＰＣ１０１やモバイル端末１０３）に画像データを送信したり、ＬＡＮ１０４上の外部装置から各種情報を受信したりする。

スキャナＩ／Ｆ部１１４は、スキャナ部１２０と制御部１１０を、システムバス１１６を介して接続する。スキャナ部１２０は、原稿上の画像を読み取って画像データを生成し、スキャナＩ／Ｆ部１１４を介して制御部１１０に入力する。

表示・操作部Ｉ／Ｆ部１１５は、表示・操作部１２１と制御部１１０を、システムバス１１６を介して接続する。表示・操作部１２１には、タッチパネル機能を有する液晶表示部やキーボードなどが備えられている。

その他、画像処理装置１００にはプリンタＩ／Ｆ部１２３やプリンタ部１２２等を有するが、本実施例では用いないため説明は省略する。

以上のように、本実施例に係る画像処理装置１００では、上記のハードウェア構成によって、画像処理機能を提供することが可能である。

＜画像処理機能＞
本実施例に係る画像処理機能について説明する。

本実施例に係る画像処理装置１００では、スキャナ部１２０にある原稿台に置かれた複数の両面刷りのカードの片面（表面とする）を一度にスキャンした画像（第１の画像）を取得する。取得した画像からカード毎の画像を抽出し、複数の表面の画像（第１の矩形画像）を取得する。

次に、表面のスキャンを終了した上記複数のカードを原稿台上で裏返し、スキャンしていない側の面（裏面とする）を一度にスキャンした画像（第２の画像）を取得する。取得した画像からカード毎の画像を抽出し、複数の裏面の画像（第２の矩形画像）を取得する。

画像処理装置１００は、取得した複数の表面及び裏面の画像から各カードの表裏ペアを推定し、後述する図９、図１０のような表示・操作部１２１のＵＩを通じてユーザに提示する。ここで示す表裏ペアとは、両面刷りのカードの一方の面を表面、他方の面を裏面とした場合に、その両面を表裏対となる組み合わせとして対応づけたものである。ユーザによって、表示・操作部１２１のＵＩを通じて表裏ペアとなる画像が決定されると、表裏ペアの画像（結合データ）を生成する。

本実施例に係る画像処理装置１００は、以上のような画像処理機能を有している。また、本実施例では、カードの例として以下、名刺を挙げて説明するが、名刺に限るものではなく、免許証や保険証、各種カード、はがきなどの両面刷りのカードであれば良い。

以下に、実施例に係る画像処理機能の構成とそのフローについて説明する。

図３は、本発明の第１の実施例に係る画像処理の手順を示すフローチャートである。

図３において、本実施例に係る複数のカードの両面をスキャンして切り分け、各カードの表裏ペアを推定してユーザに提示し、決定された表裏ペアの画像を生成する画像処理を説明する。この画像処理は、画像処理装置１００で実行される。具体的には、画像処理装置１００のＣＰＵ１１１がＲＯＭ１１７に格納されている処理プログラムをＲＡＭ１１８にロードして実行することにより、図３の各ステップの処理が実行される。図３に示すように、本フローチャートは、大きく分けてカード読み取り処理３００、表裏ペア決定処理３０１、データ生成処理３０２から構成される。

＜カード読み取り処理３００の詳細説明＞
まず、カード読み取り処理３００について、図４、図５及び、図６を用いて説明する。

図４は、図３のカード読み取り処理３００の対象となる両面刷りカードの表裏の画像の例を示す図である。図５は、図３のカード読み取り処理３００により複数のカード夫々の表裏の画像を読み取る際の図２のスキャナ部１２０の原稿台上の各カードの配置例を示す図である。図６は、図３のカード読み取り処理３００によるカードの表面の画像及びその中心座標値の抽出方法を説明するための図である。

図３のステップＳ３０３において、ＣＰＵ１１１は、複数枚の両面刷りのカードの表面をスキャンし、スキャナ部１２０から読み取り画像を取得する。本実施例では名刺を例とするため、図４（ａ）に示すような名刺の表面の画像が取得される。なお、図４（ａ）で示す面を両面刷りの名刺の表面としたが、図４（ｂ）で示す面を表面としても良い。記載内容の異なる複数枚の名刺を、図５（ａ）に示すスキャナ部１２０上の原稿台５００に配置する。本実施例では、記載内容の異なる５枚のカードをその表面が原稿台５００に当たるように並べて、スキャンを行う。実際にスキャナ部１２０によって取得される領域５０６の画像を、ステップＳ３０３では読み取り画像として取得する。ここで、領域５０６と以下図５（ｂ）、（ｃ）で後述する領域５１６，５２６はいずれもスキャナ部１２０の原稿台の領域であるため、同一サイズの読み取り領域となる。

ステップＳ３０４では、ＣＰＵ１１１は、ステップＳ３０３で取得した読み取り画像から、各カードの表面の画像を抽出する。これにより、ステップＳ３０３で取得した読み取り画像に含まれている複数のカードの表面の画像を個別に取得することができる。図５（ａ）の場合、領域５０６の画像から複数のカード領域を抽出することによって５枚のカードの表面の画像５０１〜５０５を取得する。ステップＳ３０３で取得した読み取り画像から、複数のカード領域のみを抽出する処理は、各カードの枠エッジを元に切り出す方法など、公知の分割技術で実現する。その際、図６に示すように、各カード領域の画像の４頂点の座標値も取得する。例えば、図６に示すように原稿台５００の上部左端に配置されたカードの表面の画像５０１の４頂点６０１ａ〜６０１ｄの座標値として｛ｘ１，ｙ１｝、｛ｘ２，ｙ２｝、｛ｘ３，ｙ３｝、｛ｘ４，ｙ４｝の４つの座標値を取得する。同様に、取得した他のカードの表面の画像５０２〜５０５の４頂点の座標値を取得する。もし、これらの画像５０２〜５０５のいずれかのカード領域が傾いていた場合には、傾き補正を行った後に、カードの表面の画像の４頂点の座標値を取得する。傾きを補正する手法に関しては、公知技術で可能である。例えば、上記の４頂点の座標値を用いて、斜行角度推定を行い、補正を行うことができる。その他、４頂点の座標値から射影変換を行うことで実現することも可能である。

ステップＳ３０５において、ＣＰＵ１１１は、ステップＳ３０４で分割した各カードの中央座標値を抽出する。具体的にはステップＳ３０４で取得した４頂点の座標値に基づき各カードの中央座標値を算出することにより抽出する。この中央座標値の算出する手法は、公知技術で良い。例えば図６に示すように頂点６０１ａ，６０１ｄの座標値｛ｘ１，ｙ１｝，｛ｘ４，ｙ４｝を結ぶ直線と、頂点６０１ｂ，６０１ｃの座標値｛ｘ２，ｙ２｝，｛ｘ３，ｙ３｝を結ぶ直線の交点から算出することができる。同様に、ステップＳ３０４で取得した他のカードについてもその中央座標値をそれぞれ取得する。

ステップＳ３０６〜Ｓ３０８は、各カードの表面をスキャンしてその表面の画像を取得した後の処理であり、ユーザが各カードを原稿台５００上で裏返してから実行される。ステップＳ３０６〜Ｓ３０８の各ステップは、それぞれステップＳ３０３〜Ｓ３０５と同様の処理である。

ステップＳ３０６において、ＣＰＵ１１１は、ステップＳ３０３で表面をスキャンした、複数の両面刷りのカードの裏面をスキャンし、スキャナ部１２０から読み取り画像を取得する。本実施例では、図４（ｂ）に示す名刺の裏面の画像が取得される。なお、図４（ｂ）で示す面を両面刷りの名刺の裏面としたが、図４（ａ）で示す面を裏面としても良い。図５（ａ）に示す５枚のカードを裏返して並べ直した例を、図５（ｂ）と図５（ｃ）に示す。スキャナ部１２０によって取得される図５（ｂ）に示す領域５１６の画像（図５（ｃ）においては領域５２６の画像）を読み取り画像として取得する。図５（ｂ）、図５（ｃ）においては、それぞれカードの表面がスキャンされた際の各カードの位置を示すべく、表面の画像５０１〜５０５を破線の矩形で表している。図５（ｂ）の場合、表面の画像５０１〜５０５は、それぞれ裏面の画像５１１〜５１５に対応するが、各カードは共に裏返す際にその位置が少しずつずれている。図５（ｃ）の場合、表面の画像５０１〜５０５は、それぞれ裏面の画像５２１〜５２５に対応するが、原稿台５００の上部に配置された２枚のカードは、裏返す際に位置が大きくずれてしまっている。

ステップＳ３０７において、ＣＰＵ１１１は、ステップＳ３０６で取得した読み取り画像から、各カードの裏面の画像を抽出する。これにより、ステップＳ３０６で取得した読み取り画像に含まれている複数のカードの裏面の画像を個別に取得することができる。図５（ｂ）の場合、領域５１６の画像から複数のカード領域を抽出することによって５枚のカードの裏面の画像５１１〜５１５を取得する。図５（ｃ）の場合、領域５２６の画像から複数のカード領域を抽出することによって５枚のカードの裏面の画像５２１〜５２５を取得する。読み取り画像から各カードの裏面の画像を抽出する方法は、ステップＳ３０４と同様である。

ステップＳ３０８において、ＣＰＵ１１１は、ステップＳ３０７で分割した各カードの中央座標値を抽出する。具体的にはステップＳ３０８で取得した４頂点の座標値に基づき各カードの中央座標値を算出することにより抽出する。この中央座標値を算出する方法は、ステップＳ３０５における方法と同様である。

このように、ステップＳ３０３〜Ｓ３０５，Ｓ３０６〜Ｓ３０８で取得した各カードの画像と座標情報は、所定の記憶領域（例えば、ＲＡＭ１１８）に保持される。以上が、カード読み取り処理３００において実行される。

＜表裏ペア決定処理３０１の詳細説明＞
次に、表裏ペア決定処理３０１について、図３、図５、図７、図８および図９を用いて説明する。

まず、図３のステップＳ３０９において、ＣＰＵ１１１は、ステップＳ３０４で抽出した表面の画像とステップＳ３０７で抽出した裏面の画像を、下記図７の方法により表裏ペアとして対応付ける。

図７に示すように、ステップＳ３０５で抽出された１つのカードの表面の画像７００の中央座標値から一定距離内に、ステップＳ３０７で抽出されたカードの裏面の画像のうちのいずれかの中央座標値がある場合に、その表裏の画像を表裏ペアとして対応付ける。

図７（ａ）にステップＳ３０５で抽出された１つのカードの表面の画像７００の領域を表す。７０１は表面の画像７００の中央座標であり、７０２は表面の画像７００の４つの頂点の１つである。中央座標７０１および頂点７０２の各座標値は、ステップＳ３０４，Ｓ３０５において抽出される座標値である。点線で示す円７０３は、中央座標７０１を中心とし、中央座標７０１と頂点７０２の距離を半径とする円である。中央座標７０１と頂点７０２の距離は、カードの横幅をＸ、縦幅をＹとした場合、ｓｑｒｔ｛（Ｘ／２）^２＋（Ｙ／２）^２｝となる。本実施例では、この円７０３内にカードの裏面座標の中央座標があるか否かで表裏ペアの対応付けを行う。ステップＳ３０８において抽出されたすべての裏面の画像の中央座標値について、円７０３の領域内にあるかどうかを判定する。

図７（ｂ）にステップＳ３０５で抽出された１つのカードの裏面の画像７０４の領域を表す。ステップＳ３０８で抽出された各カードの中央座標値のうち円７０３の領域内に含まれるのは、裏面の画像７０４の中央座標値（中央座標７０５）のみであるため、表面の画像７００と裏面の画像７０４を一つのカードの表裏ペアの画像として対応づける。尚、円７０３の領域内にステップＳ３０８で抽出された各カードの中央座標が１つも存在しない場合には、表面の画像７００が抽出されたカードの裏面の画像として対応付けられる画像はステップＳ３０５では抽出されなかったと判断する。

図７（ｃ）に、円７０３の領域内に、複数のカードの裏面の画像の中央座標が存在する場合を示す。ステップＳ３０５で抽出された１つのカードの裏面の画像７０４の中央座標７０５と、ステップＳ３０５で抽出された別の１つのカードの裏面の画像７０６の中央座標７０７が、円７０３の領域内に存在している。この場合、中央座標７０５と中央座標７０１との距離、及び中央座標７０７と中央座標７０１との距離をそれぞれ算出し、最も距離の短いものを裏面として対応付ける。図７（ｃ）の例では、後者の距離の方が前者の距離より短いため、表面の画像７００と裏面の画像７０６が一つのカードの表裏ペアの画像として対応づけられる。

ステップＳ３０９において、図７で説明した方法を繰り返すことで、ステップＳ３０４で抽出された全ての表面の画像に対して、表裏ペアの対応付けを行う。なお、位置情報に基づく表裏ペアの対応付けは上記の方法に限るものではない。たとえば、中央座標を中心とする、上記ｓｑｒｔ｛（Ｘ／２）^２＋（Ｙ／２）^２｝とは異なる、予め決められた半径の円領域内に、裏面の画像の中央座標があるか否かで判定してもよい。

ステップＳ３１０において、ＣＰＵ１１１は、ステップＳ３０９で全てのカードの表裏ペアが対応づけられたかどうかを判定する。全てのカードの表裏ペアが対応付けられた場合には、対応付けが成功したと判定し、処理をステップＳ３１３に進める。また、表裏ペアとして対応付けられないカードが１枚でもあった場合には、対応付けが失敗したと判定し、処理をステップＳ３１１に進める。

対応付け判定の例を、図５を用いて説明する。図５（ｂ）に示すようにカードが並べられた後各カードの裏面の画像スキャンされた場合、各カードの裏面の画像５１１〜５１５は、それぞれ各カードの表面の画像５０１〜５０５に対して正しく対応付けが行われる。したがって、ステップＳ３１０では表裏ペアの対応付けが成功したと判定し、処理をステップＳ３１３に進める。すなわち、各カードの裏面のスキャン時にそのカードの位置が表面のスキャン時と大きく変わらない場合には、表示ペアの対応付けを高速に行うことができる。一方、図５（ｃ）に示すようにカードが並べられた後各カードの裏面の画像がスキャンされた場合には、上部左端に配置されたカードの表面の画像と、裏面の画像が対応する表裏ペアとして判定されない。したがって、ステップＳ３１０では表裏ペアの対応付けが失敗したと判定し、処理をステップＳ３１１に進める。また、各カードの裏面のスキャン時にそのカードの位置が表面のスキャン時と大きく変わってしまう場合には、以下後述する特徴量を利用した表裏組み合わせの推定を行うことで、ユーザの選択する手間を減らすことができる。さらには、裏面の画像５２１と表面の画像５０２を１つのカードの表裏ペアとして、誤って対応付けることを防ぐこともできる。ただし、上記の対応付け判定では、カードの位置が入れ替わっただけの場合を判定することはできない。たとえば、図５（ｂ）において、上部左端の裏面の画像５１１が抽出されたカードと上部中央の裏面の画像５１２が抽出されたカードの位置が、それぞれのカードの表面の画像を抽出されたときの位置と入れ替わったような場合である。そのような場合には、後述するステップＳ３１４に示すカード表裏ペア確認部において、対応付けした結果の表裏ペアを表示する。これにより、ユーザがその対応付け結果が適切か否かを確認することができる。

ステップＳ３１１において、ＣＰＵ１１１は、ステップＳ３０４で抽出された各カードの表面の画像と、ステップＳ３０７で抽出された各カードの裏面の画像とのそれぞれから、特徴量を抽出する。図８は、ステップＳ３０４，Ｓ３０７で抽出された画像のうちの１枚から、特徴量を抽出する流れを示した図である。

まず、図８（ａ）に示す画像に対して、ブロックセレクション処理を実施する。ブロックセレクション処理とは、画像を前景画像と背景画像に分類した上で、前景画像を文字部分とそれ以外の部分に分割する判定処理である。図８（ａ）に示した画像に対して、ブロックセレクション処理を施した結果を図８（ｂ）に示す。前景画像と分類された領域のうち、文字部分が領域８００〜８０２であり、文字以外の部分が領域８０３である。ブロックセレクション処理によって文字部分と判定された領域８００〜８０２だけを残した画像図８（ｃ）に示す。図８（ｃ）の画像に対して、ＯＣＲ処理を施すことによって、文字特徴量である文字列情報８０４を抽出する。また、ブロックセレクション処理によって文字以外の部分と判定された領域８０３だけを残した画像を、図８（ｄ）に示す。図８（ｄ）の画像に対して、画像特徴量として、高次局所自己相関特徴のヒストグラム８０５を抽出する。高次局所自己相関特徴は、位置不変性及び、加法性を満たす統計的特徴量である。これにより、名刺のようなカードにおいては、その表面と裏面に共通するロゴが印刷されている場合、高次局所自己相関特徴に基づいて表裏ペアの推定が可能になる。

なお、ステップＳ３１１で抽出される特徴量は、カードの表面の画像と裏面の画像の共通性を表すものであれば、上記の特徴量に限定されるものではない。例えば、画像認識で利用される局所特徴量を用いてもよいし、色ヒストグラムを用いてもよい。

ステップＳ３１２において、ＣＰＵ１１１は、ステップＳ３０４で抽出された表面の画像と、ステップＳ３０７で抽出された裏面の画像のすべての組み合わせについて、ステップＳ３１１で抽出した特徴量の一致度を算出する。本実施例では、抽出した文字特徴量と画像特徴量について、個別に一致度を算出する。

まず、文字特徴量の一致度を算出する方法について説明する。文字特徴量の一致度としては、表面の画像と裏面の画像の間での一致行数を利用する。名刺などのカードでは、電話番号やメールアドレスといった、他のカードと区別するための情報が１つの文字列で記載されていることが多いためである。一致行数を算出するためには、行単位で分割した文字列間で、Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇを用いたマッチング（ＤＰマッチング）を利用する。ＤＰマッチングは、類似文字列検索で利用される手法であり、文字列の並び順を考慮した減点方式のマッチング方法である。ＤＰマッチングによって得られたマッチングスコアのうち、所定の閾値以上となる文字列の組み合わせが現れた場合には、その文字列が一致したと判別し、一致行数としてカウントする。なお、文字特徴量の一致度を算出する方法は、上記の方法に限定されるものではない。一致行数を判定するための文字列間のマッチングには、Ｈｉｄｄｅｎ Ｍａｒｃｏｖ Ｍｏｄｅｌ（ＨＭＭ）を用いてもよいし、Ｂｏｙｅｒ−Ｍｏｏｒｅ（ＢＭ）法やレーベンシュタイン距離を用いてもよい。また、文字列特徴量の一致度には、一致行数ではなく、正規表現にしたがって抽出した電話番号やメールアドレスなどの特定の属性を持つ文字列間の一致数を用いてもよい。

次に、画像特徴量の一致度を算出する方法について説明する。画像特徴量の一致度としては、Ｈｉｓｔｏｇｒａｍ Ｉｎｔｅｒｓｅｃｔｉｏｎ（ヒストグラム交差法）を利用して得られる、画像特徴量間の相関を利用する。なお、画像特徴量の一致度の算出方法は、ヒストグラム交差法に限定するものでなく、Ｅｕｃｌｉｄｅａｎ距離やＢｈａｔｔａｃｈａｒｙｙａ距離などを利用してもよい。

ステップＳ３１３において、ＣＰＵ１１１は、ステップＳ３１２で算出した特徴量の一致度に基づいて、表裏ペアを推定して仮決定を行う。ステップＳ３１２では、ステップＳ３０４で抽出された表面の画像とステップＳ３０７で抽出された裏面の画像のすべてに対する表裏の組み合わせを推定するため、文字特徴量と画像特徴量の一致度が算出される。具体的には、まず、文字特徴量の一致度を降順に並べて表裏ペアの仮決定を行う。なお、文字特徴量の一致度が近い値となる画像が複数存在する場合は、画像特徴量の一致度を降順に並べて表裏ペアの仮決定を行う。文字特徴量と画像特徴量のいずれの一致度も所定の値より小さくなってしまった残りのカードについては、ステップＳ３０５，Ｓ３０８で取得した各カードの中央座標に基づいて、近い位置にある表裏の画像をペアとして仮決定する。

ステップＳ３１４において、ＣＰＵ１１１（表示制御手段）は、表示・操作部１２１（表示画面）に、ステップＳ３０４，Ｓ３０７で抽出された表裏ペアを表示する。その後、その表裏ペアが適切であるか否かのユーザ指示を受け付ける。ここで表示される表裏ペアは、ステップＳ３０９で対応づけられた表裏ペアあるいは、ステップＳ３１３で推定された表裏ペアとして表示される。

ステップＳ３１４におけるカード表裏ペアの確認方法について、図９および図１０を用いて説明する。まず、カード表裏ペア確認画面について、図９を用いて説明する。

本実施例における表示・操作部１２１上には、ＵＩ画面（表示及び、操作機能を有す）であるカード表裏ペア確認画面９０１と、ハードボタン９０２がある。

カード表裏ペア確認画面９０１には、表面の画像９０３〜９０６と、それぞれに対応する裏面の画像９０７〜９１０（以下単に画像９０３〜９１０という）が表示される。このように、ステップＳ３０９で対応付けられた表裏ペア、あるいはステップＳ３１３で推定された表裏ペアを上下に並べて表示する。なお、ステップＳ３１３で推定された表裏ペアの内、特徴量の一致度が所定の値より低いペアの画像については、そのペアの画像の枠の色を変えるなどして、強調して表示を行う。これにより、ユーザにこのペアが１つのカードの表裏ペアであるか否かを優先的に確認してもらうことが可能となる。また、表裏ペアとして対応付けられなかったカードについては、対応する表面の画像あるいは裏面の画像の表示を行わない。

ボタン９１１，９１２は、ユーザから、画像９０３〜９１０に表示する表裏ペアを切り替える旨の指示を受け付けるためのボタンである。ステップＳ３０４、Ｓ３０７で切り分けたカード画像が大量にある場合、すべての表裏ペアを表示すると、視認性が下がってしまう。そこで本実施例では、カード表裏ペア確認画面９０１はステップＳ３０４，Ｓ３０７で抽出された画像の一部を表示する。また、ボタン９１１，９１２で受け付けたユーザ指示に応じて、カード表裏ペア確認画面９０１に表示される画像をステップＳ３０４，Ｓ３０７で抽出された他の画像に切り替える。なお、画像９０３〜９１０の表裏ペアの画像の表示順は、ステップＳ３０５，Ｓ３０８で取得した中央座標の位置に基づいて決定してもよいし、ステップＳ３１２で算出した特徴量の一致度を利用して決定してもよい。特に、ステップＳ３１３で推定された表裏ペアを表示する場合には、特徴量の一致度の昇順で並べる。これにより、間違えている可能性の高いペアを、ユーザに優先的に確認してもらうことが可能となる。

ボタン９１３〜９１６は、それぞれ画像９０３〜９１０の表裏ペアの画像の変更指示を受け付けるためのボタンである。例えば、ボタン９１３によって、画像９０３，９０７に示す表裏ペアの画像の変更指示を受け付けると、ＣＰＵ１１１は、表面の画像９０３に対応する裏面の画像の選択画面に遷移する。この裏面の画像の選択画面の説明については、図１０を用いて後述する。

ボタン９１７は、ＵＩ画面であるカード表裏ペア確認画面９０１の内容にしたがって、表裏ペアを決定する指示を受け付けるためのボタンである。ボタン９１７によって、表裏ペアの決定が指示されると、ＣＰＵ１１１は、ＵＩ画面であるカード表裏ペア確認画面９０１の内容にしたがって、各カードについて、表裏ペアを決定したり、片面刷りのカードである旨を決定する。その後処理をステップＳ３１５あるいはステップＳ３１６に進める。

ステップＳ３１４における、表示される表面の画像とペアとなる裏面の画像の選択画面１００１を図１０に示す。この選択画面１００１は、カード表裏ペア確認画面９０１において、ボタン９１３〜９１６によってカードの表裏ペアの変更指示を受け付けると、表示される。

表示・操作部１２１に表示される選択画面１００１は、図９のカード表裏ペア確認画面９０１と同様に、ＵＩ画面（表示及び、操作機能を有す）である。

１００３は、１つのカードの表面の画像である。カード表裏ペア確認画面９０１において表示される表面の画像９０３〜９０６のうち、ボタン９１３〜９１６のうちの選択されたボタンに対応する表面の画像が画像１００３として選択画面１００１に表示される。

１００４は、表面の画像１００３に対応する裏面の画像である。カード表裏ペア確認画面９０１において表示される裏面の画像９０７〜９１０のうち、ボタン９１３〜９１６のうちの選択されたボタンに対応する裏面の画像が画像１００４として選択画面１００１に表示される。

１００５は、表面の画像１００３に対応する裏面の画像をユーザ選択させるための、裏面画像選択部である。

１００６〜１００８は裏面の画像であり、ステップＳ３０７で抽出された裏面の画像のうちの数枚あるいはすべてが表示される。なお、裏面画像選択部１００５は、裏面の画像を表示するだけでなく、ユーザ指示に基づき、表示されている裏面の画像１００６〜１００８の一つを表裏ペアとなる裏面の画像として受け付ける。具体的には、ユーザから、裏面の画像１００６〜１００８の１枚が指定された場合、指定された裏面の画像を裏面の画像１００４に表示する。

ボタン１００９，１０１０は、ユーザから、裏面画像選択部１００５に表示される裏面の画像１００６〜１００８を切り替える指示を受け付けるためのボタンである。ステップＳ３０７で抽出された裏面の画像が大量にある場合、裏面画像選択部１００５にその抽出されたすべての裏面の画像を表示すると、視認性が下がってしまうため、抽出された裏面の画像のうちの数枚を表示する。本実施例では、ステップＳ３１０で、全てのカードの表裏ペアが対応付けられたと判定された場合には、表裏ペアとなる表面の画像と裏面の画像のうち、ステップＳ３０８で抽出された中央座標値が近い順に並べて表示する。また、ステップＳ３１０で、表裏ペアの対応付けが失敗したと判定された場合には、ステップＳ３１２で算出した特徴量の一致度に基づいて決定した順番で裏面の画像を表示する。特徴量の一致度に基づく裏面の画像の表示順は、まず、文字特徴量の一致度が高い順番に並べ、文字特徴量の一致度が所定の閾値より低い裏面の画像について、画像特徴量の一致度の高い順に並べる方法で決定する。このとき、すでに別の表面の画像と表裏ペアとして確定された裏面の画像については、表示を行わなくてもよい。なお、裏面画像選択部１００５に表示する裏面の画像の表示順の決定方法は、上記の方法に限るものではない。文字特徴量と画像特徴量のそれぞれに重みを設定して表示順を決定してもよいし、文字特徴量と画像特徴量のいずれか１つを利用して表示順を決定してもよい。

ボタン１０１１は、ユーザから、表面の画像１００３に対応する裏面の画像がない旨の指示を受け付けるためのボタンである。ボタン１０１１によって、表面の画像１００３に対応する裏面カードがない旨の指示を受け付けると、裏面の画像１００４として画像を表示せず、対応する裏面の画像がない旨を表示する。

ボタン１０１２は、表面の画像１００３に対応する裏面の画像を確定する旨の指示を受け付けるためのボタンである。ボタン１０１２によって、表面の画像１００３に対応する裏面の画像を確定する旨の指示を受け付けると、表面の画像１００３及び裏面の画像１００４が表示される。その後、表面の画像１００３が抽出されたカードが両面刷りのカードであるか決定されると、図９に示すカード表裏ペア確認画面９０１へ戻る。裏面の画像が選択されている場合、表面の画像１００３と裏面の画像１００４とを表裏ペアとして決定する。また、ボタン１０１１によって裏面カードがない旨の指示を受け付けた場合、表面の画像１００３には表裏ペアとなる裏面の画像はないため、表面の画像１００３が抽出されたカードを片面刷りのカードであると決定する。

以上、ステップＳ３１４では、ステップＳ３０９で対応付けたカードの表裏ペアや、ステップＳ３１３で推定したカードの表裏ペアを表示し、表裏ペアの確認をユーザに求める。これにより、図５（ｂ）に示すように、裏返す際に、位置があまりずれない場合には、ユーザは、表面カードに対応する裏面カードの確認だけ行えばよい。また、図５（ｃ）に示すように、裏返す際に大きく位置がずれてしまったカードがある場合にも、推定した表裏ペアを提示することで、ユーザが１枚ずつ表裏ペアを選択し直す必要がない。さらに、カードの特徴量や位置情報を利用して候補を表示することができるため、推定した表裏ペアが間違っている場合にも、ユーザが容易に表裏ペアの対応付けが修正可能となる。

＜データ生成処理３０２の詳細説明＞
最後に、データ生成処理３０２について説明する。

ステップＳ３１５において、ＣＰＵ１１１は、ステップＳ３０４，Ｓ３０７で抽出された画像からカードの表裏ペアの画像とする結合データを生成する。これにより、ステップＳ３１４において表裏ペアとして決定された表面の画像と裏面の画像を、同一ファイル化することができる。本実施例ではステップＳ３１５で生成されるファイルはＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）ファイルである。かかるファイル形式とした場合、画像をページに分けて保存することが可能であるため、１つカードの表面の画像と裏面の画像を２ページに分けて保存する。例えば、ステップＳ３１４で、表面の画像５０１と裏面の画像５１１が表裏ペアとして決定された場合、表面の画像５０１をＰＤＦの１ページ目に保存し、裏面の画像５１１を２ページ目に保存する。これにより、表面の画像と裏面の画像を２ページに分けマルチページとして一つのファイルに保存することができる。また、ＰＤＦファイルに限らず、表裏ペアの画像を１つのファイルとして保存できればよい。また、表裏ペアの画像を結合する必要がない場合はそれぞれ別画像として扱いつつも表の画像と裏の画像との対応付けができればよい。

ステップＳ３１６において、ＣＰＵ１１１は、ステップＳ３０４，Ｓ３０７で切り分けたカードが表面のみ、または裏面のみの片面刷りのカードの場合に、１ページのファイルを生成する。これにより、カード表面（または、カード裏面）をファイル化することができる。このような１ページからなるファイル生成方法は、ステップＳ３１４において、片面刷りのカードであると決定された場合などに用いられる。

ステップＳ３１７において、ＣＰＵ１１１は、ステップＳ３１５，Ｓ３１６で生成されたファイルを保存する。保存先は、画像処理装置１００内のＨＤＤ１１９であっても良いし、ＬＡＮ１０４を経由し、ＰＣ１０１やモバイル端末１０３などのＨＤＤであってもよい。また、ＰＣ１０１やモバイル端末１０３のＨＤＤから読み出し、ＯＣＲ処理やアプリからの利用も可能である。

以上が、データ生成処理３０２において実行される。

以上、本実施形態によれば、各カードの画像に対して、図７に示す方法により表裏ペアの対応付けを行う。これにより、カードを裏返した際に位置が大きく変わらなかった場合には、特徴量と、特徴量の一致度を算出しないため、高速に表裏の対応付けを行ってユーザに確認を求めることができる。また、図７に示す方法による表裏ペアの対応付けができなかった場合には、特徴量の一致度に基づいて、表裏ペアを推定してユーザに提示するため、ユーザが１枚ずつ表裏ペアの指示を行う必要がない。さらに、裏面画像選択部１００５において特徴量の一致度に基づいて裏面の画像の表示順を変えることができるため、表裏ペアの修正が容易になる。

実施例１においては、各カードの画像に対して、カードを裏返した際に位置が大きく変わらなかった場合には図７に示す方法により表裏ペアを対応付ける。一方、図７に示す方法による表裏ペアの対応付けができなかった場合には特徴量を利用して表裏ペアを対応付ける。その後、対応付けた表裏ペアについて、ユーザに確認を求める。

すなわち、実施例１では、表面の画像と裏面の画像の数が一致している場合を想定しているため、対応付け判定の際、すべてのカードが表裏ペアとして対応付けられたかどうかで判定する。しかし、実際には表面と裏面の数が一致しない場合が考えられる。たとえば、両面刷りのカードの中に片面刷りのカードが混ざっている際に、ユーザが片面刷りのカードを裏返さずに原稿台から取り除いてしまう場合がある。また、カードを裏返す際に重なってしまい、複数のカードが１枚のカードとして抽出することで、カードの数が一致しない場合がある。

実施例２では、図３のステップＳ３１０の処理の代わりに、抽出された表面の画像と裏面の画像の枚数が異なるかどうかを考慮して対応付け判定を行う処理が行われる。この処理を、図１１と図１２を用いて具体的に説明する。なお、以下では、実施例１と異なる部分についてのみ説明する。

ステップＳ３１０において、ＣＰＵ１１１は、表裏ペアの対応付けが成功したか、失敗したかを判定する。表裏ペアの対応付け判定には、ステップＳ３０４，Ｓ３０７で抽出された表面の画像と裏面の画像の枚数と、ステップＳ３０９で各カードが表裏ペアとして対応付けらたかどうかの結果を利用する。

表裏ペアの対応付け判定について、図１１を用いて説明する。条件１１００〜１１０２は、ステップＳ３０４，Ｓ３０７で抽出された表面の画像と裏面の画像の枚数に応じた条件である。項目１１０３〜１１０６は、表裏ペアの対応付け判定に利用するカードの面を示す項目であり、「○」が記載されている。ステップＳ３１０では、各条件において、項目１１０３〜１１０６に対応した全てのカードが、ステップＳ３０９で表裏ペアとして対応付けられている場合に、対応付けが成功したと判定する。また、項目１１０３〜１１０６に対応したカードの内、１枚でもステップＳ３０９で表裏ペアが対応付けられていないカードがある場合には、対応付けが失敗したと判定する。すなわち、ステップＳ３０４で表面の画像としてＮ個抽出され、ステップＳ３０７で裏面の画像としてＭ（＜Ｎ）個抽出された場合、Ｍ個の前記表裏の対となる組み合わせの矩形画像があることが判別された場合に対応付けが成功したと判定する。抽出された枚数が表面の画像と裏面の画像でそれぞれ逆の場合であっても同様である。

条件１１００に示すように、表面の画像と裏面の画像の枚数が一致している場合には、表面の画像と裏面の画像の全てについて、ステップＳ３０９で表裏ペアが対応付けられたかどうかを確認する。

条件１１０１，１１０２については、図１２を用いて説明する。図１２（ａ）は、図５（ａ）と同様に、スキャナ部１２０の原稿台上に５枚のカードの表面が配置されている例を示している。また、裏面スキャン時のカードの配置例を図１２（ｂ）と図１２（ｃ）に示す。

図１２（ｂ）は、条件１１０１の表面の画像が裏面の画像の枚数より多い場合の一例である。図５（ｂ）と同様に、裏面スキャン時のカードの配置例を表しているが、表面スキャン時に上部中央に配置し、表面の画像５０２を抽出したカードを裏面スキャン時において取り除かれた状態で配置されている。この場合、ステップＳ３０９において、表面の画像５０１，５０３，５０４，５０５と、裏面の画像５１１，５１３，５１４，５１５は、それぞれ表裏ペアとして対応づけられる。表面の画像５０２に対応する裏面の画像は見つからないが、全ての裏面の画像について対応する表面カードが見つかっているため、表裏対応付けに成功したと判定し、処理をステップＳ３１４に進める。

図１２（ｃ）は、条件１１０２の表面カードが裏面カードの枚数より少ない場合の一例である。図５（ｂ）と同様に、裏面スキャン時のカードの配置例を表しているが、裏面の画像１１００が追加された状態で配置されている。この場合、ステップＳ３０９において、表面の画像５０１〜５０５と、裏面の画像５１１〜５１５は、それぞれ表裏ペアとして対応づけられる。裏面の画像１１００に対応する表面の画像は見つからないが、表面の画像は、全て対応する裏面の画像が見つかっているため、表裏対応付けに成功したと判定し、処理をステップＳ３１４に進める。

以上、本実施形態によれば、表裏ペアの対応付け判定を行う際に、表面の画像と裏面の画像の数に応じて、カードの表裏ペアの対応付けに位置情報を利用するか、特徴量を利用するかを切り替えることができる。これにより、表面の画像と裏面の画像の数が一致しない場合でも、精度良く表裏対応付けを行い、ユーザに確認を求めることができる。

実施例１においては、カードの両面の読み込みにおいて、スキャナを用いて画像を取得する方法を説明した。

しかし、スキャナでのみの取得でなく、例えば、タブレット端末１０３などにはカメラデバイスがついており、カメラ画像に対して入力される場合もある。

そこで、スキャナではなく、カメラでカードの画像を取得した場合の構成を、図１３を用いて説明する。図１３は、図３の構成に加え、ステップＳ３０３の画像取得とステップＳ３０５のカード画像抽出の間及び、ステップＳ３０６の画像取得とステップＳ３０７のカード画像抽出間に、ステップＳ１３００，Ｓ１３０１に示す台形補正がある。カメラでのステップＳ３０３において、複数枚のカードを並べ、画像を取得する。カメラ画像の場合、スキャナとは異なり、原稿に対して斜めからの画像が取得されることがある。そこで、ステップＳ１３００においては、画像取得部Ｓ３０３で取得した画像に対し、台形補正を行う。

台形補正の方法としては、複数枚あるカードの枠エッジを求め、枠エッジの形から、台形補正に用いるホモグラフィ行列を算出し、ホモグラフィ変換（射影変換）を行うことができる。なお、台形補正の方法に関しては、公知技術で実現することができる。

ステップＳ３０３で取得した画像に対してステップＳ１３００で台形補正を行い、ステップＳ３０５で画像の抽出処理を行う。また、ステップＳ３０６で取得した画像に対しても同様に、ステップＳ１３０１で台形補正を行った上で、画像の抽出処理を行う。

なお、図１３に示すフローチャートを、例えばモバイル端末１０３内のＣＰＵで実施しても良いし、画像の取得をおこなうステップＳ３０３，Ｓ３０６をモバイル端末１０３内で行い、それ以降の処理を、画像処理装置１００やＰＣ１０１で行っても良い。

以上、本実施形態のように、入力画像に対して台形補正を行う台形補正部の構成を追加することで、スキャナだけでなく、カメラ画像からの画像に対しても、同様に複数カードの表裏ペアの決定を実現することができる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１００ 画像処理装置
１０１ ＰＣ
１０２ 公衆無線通信網
１０３ モバイル端末
１０４ ＬＡＮ
１０５ Ｉｎｔｅｒｎｅｔ
１１１ ＣＰＵ
１１２ 記憶装置
１２０ スキャナ部
１２１ 表示・操作部

Claims (14)

1. 第１の画像及び第２の画像を取得する画像取得手段と、
   前記画像取得手段によって取得された前記第１の画像から第１の矩形画像及びその中心座標値を抽出する第１の抽出手段と、
   前記画像取得手段によって取得された前記第２の画像から第２の矩形画像及びその中心座標値を抽出する第２の抽出手段と、
   前記第１の抽出手段によって抽出された中心座標値から一定距離内に前記第２の抽出手段によって抽出された中心座標値がある場合、前記第１の矩形画像と前記第２の矩形画像が前記表裏の対となる組み合わせの矩形画像であると判別する第１の判別手段と、
   を備えることを特徴とする画像処理装置。
2. 前記第１の判別手段により前記第１の矩形画像と前記第２の矩形画像とが対となる組み合わせであると判別されると、前記第１の矩形画像と前記第２の矩形画像を紐づけてファイルに保存する保存手段をさらに備えることを特徴とする請求項１記載の画像処理装置。
3. 前記判別が適切であるか否か確認するために前記第１の矩形画像と前記第２の矩形画像とを表示画面に表示する表示制御手段をさらに備えることを特徴とする請求項１又は２記載の画像処理装置。
4. 前記第１の判別手段は、前記第２の抽出手段により前記第２の矩形画像として複数の矩形画像が抽出され、且つ前記一定距離内に前記複数の矩形画像の中心座標値がいずれもある場合、前記複数の矩形画像のうち、前記第１の矩形画像の中心座標値と最も近い中心座標値をもつ矩形画像を前記第１の矩形画像と対となる組み合わせの矩形画像であると判断することを特徴とする請求項１乃至３のいずれか1項に記載の画像処理装置。
5. 前記第１の矩形画像と前記第２の矩形画像から特徴量を抽出する第３の抽出手段と、
   前記第３の抽出手段によって抽出した特徴量の一致度に基づいて、前記第１の矩形画像と前記第２の矩形画像が前記表裏の対となる組み合わせの矩形画像であるか否かを判別する第２の判別手段と、
   を備えることを特徴とする請求項１乃至３のいずれか1項に記載の画像処理装置。
6. 前記第３の抽出手段による特徴量の抽出は、前記第１の判別手段による結果に基づき実施されることを特徴とする請求項５記載の画像処理装置。
7. 前記第２の抽出手段により前記第２の矩形画像として複数の矩形画像が抽出された場合、前記第１の矩形画像の前記対となる組み合わせの矩形画像をユーザにより確認させるべく、前記第１の矩形画像と、前記複数の矩形画像とを表示することを特徴とする請求項５又は６記載の画像処理装置。
8. 前記第２の矩形画像のそれぞれから抽出される特徴量と前記第１の矩形画像の特徴量とを用いて取得される一致度の高い順に前記第２の矩形画像として抽出された複数の矩形画像を表示することを特徴とする請求項７記載の画像処理装置。
9. 前記第１の抽出手段により前記第１の矩形画像がＮ個抽出され、且つ前記第２の抽出手段により前記第２の矩形画像がＭ（＜Ｎ）個抽出された場合、前記第１及び第２の判別手段のいずれか１つにより、Ｍ個の前記表裏の対となる組み合わせの矩形画像があることが判別された場合、前記第１及び第２の判別手段による判別を終了することを特徴とする請求項５乃至８のいずれか１項に記載の画像処理装置。
10. 前記第３の抽出手段は、前記第１の矩形画像及び前記第２の矩形画像から、文字列を前記特徴量として抽出することを備えることを特徴とする請求項５乃至９のいずれか１項に記載の画像処理装置。
11. 前記第３の抽出手段は、前記第１の矩形画像及び前記第２の矩形画像から、画像特徴量を前記特徴量として抽出することを特徴とする請求項５乃至１０のいずれか１項に記載の画像処理装置。
12. 前記第１及び第２の抽出手段は、前記第１及び第２の矩形画像の抽出を行う前に、前記第１及び第２の画像の台形補正を行うことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 第１の画像及び第２の画像を取得する画像取得ステップと、
    前記画像取得ステップで取得された前記第１の画像から第１の矩形画像及びその中心座標値を抽出する第１の抽出ステップと、
    前記画像取得ステップで取得された前記第２の画像から第２の矩形画像及びその中心座標値を抽出する第２の抽出ステップと、
    前記第１の抽出ステップで抽出された中心座標値から一定距離内に前記第２の抽出ステップで抽出された中心座標値がある場合、前記第１の矩形画像と前記第２の矩形画像が対となる組み合わせの矩形画像であると判別する判別ステップと、
    を有することを特徴とする画像処理装置の制御方法。
14. 請求項１３の制御方法を実行することを特徴とするプログラム。

Images