JP2017098617A - 画像処理装置、画像処理方法、及びプログラム。 - Google Patents

Abstract

【課題】複数枚並べたカードをスキャナなどの画像読み取り装置で読み取り、読み取った画像を対応するカードごとに切り分けることが可能な画像処理装置、画像処理方法を提供する。
【解決手段】本画像処理装置は、複数のカードをスキャンして取得された画像から複数のカードのそれぞれに対応するカード画像を抽出する抽出手段と、抽出手段により抽出されたカード画像のうち、同一のカードをスキャンすることで得られる第１の画像と第２の画像を検出する検出手段と、検出手段により検出された第１の画像と第２の画像とが、同一性が高いと判定された場合に、該判定結果をユーザに通知する通知手段と、を有することを特徴とする。
【選択図】図３

Description

本発明は、複数枚並べたカードをスキャナなどの画像読み取り装置で読み取り、読み取った画像を対応するカードごとに切り分けることが可能な画像処理装置、画像処理方法、に関するものである。

従来から、スキャナなどの画像読み取り装置の読み取り面上に名刺や免許証などのカードを複数枚並べ、これを１つの画像として読み取り、読み取った画像からカードごとに画像を切り分ける技術がある。また、カードの両面を読み取り、カードの表裏を組み合わせて保存する技術がある。

特許文献１には、読み取り面上に複数枚並べた名刺を読み取り、読み取った画像を対応する名刺ごとに切り分け、名刺ごとに名刺に記載された内容などの名刺情報を取得し、名刺管理データを生成する技術が開示されている。

また、特許文献２には、汎用的な名刺ホルダを使用して名刺の表面の画像と裏面の画像との対応付けを行い、カードの表裏を組み合わせて保存する方法について開示されている。

特開２０１２−４９９０６号公報 特開２０１５−９５２０４号公報

両面のカードを表面と裏面との両面をスキャンし、表裏組み合わせてファイルを作る場合、カードの表面の画像と裏面の画像とを取得するために、カードの表面をスキャンした後に、カードを裏返して裏面をスキャンする必要がある。また、スキャナでカードを読み込む場合は、取得された画像をカードごとに切り分けるためことができるため、同時に複数枚のカードをスキャナに並べる。その際、Ａ３サイズのスキャナデバイスでスキャンをする場合には一般の名刺サイズのであれば数十枚の名刺を同時にスキャンすることができる。

しかし、カードの数が多くある場合は、複数枚あるカードをのうち一部のカードを裏返し忘れてしまうという可能性がある。

特許文献１で開示されている手法では、ユーザが複数枚のカードのうち、一部のカードを裏返し忘れて裏面をスキャンした場合、表裏組み合わせたファイルを生成すると、表面・裏面裏がセットになったファイルが生成適切にされない。

また、従来の製品はＰＣなどのアプリケーションで複数枚のカードを並べて読み取った画像からカードごとに画像を切り分ける処理を行っている。このため作業者がスキャナから離れてＰＣで処理を行っている際に、裏返し忘れていたことに気付くことがある。この場合、再度スキャナに画像を取得する必要があり、手戻りが多く発生してしまうという。

上記課題を解決するために、本発明の画像処理装置は、複数のカードをスキャンして取得された画像から前記複数のカードのそれぞれに対応するカード画像を抽出する抽出手段と、前記抽出手段により抽出されたカード画像のうち、同一のカードをスキャンすることで得られる第１の画像と第２の画像を検出する検出手段と、前記検出手段により検出された第１の画像と第２の画像とが、同一性が高いと判定された場合に、該判定結果をユーザに通知する通知手段と、を有することを特徴とする。

本発明によれば、ユーザが複数枚あるカードを両面スキャンする際に、裏面をスキャンする際にカードを裏返しすることを忘れたとしても、スキャン時に気付くことができる。よって、すぐさまカードを裏返して読み取り直しすることが可能となる。

本発明の第１の実施例に関する適用可能なシステムの全体構成を示す図である。 本発明の第１の実施例に関する画像処理装置のハードウェア構成例を示す図である。 本発明の第１の実施例に関する画像処理機能全体のフローチャートを示す図である。 本発明の第１の実施例に関するカードのサンプル例を示す。 本発明の第１の実施例に関するカードを読み取る際の配置例を示す図である。 本発明の第１の実施例に関するカードの表面の切り出しと座標値取得を示す図である。 本発明の第１の実施例に関するカードの裏面の切り出しと座標値取得を示す図である。 本発明の第１の実施例に関するカードの表裏ペアを判定する処理を示す図である。 本発明の第１の実施例に関するＵＩの表示例を示す図である。 本発明の第２の実施例に関する画像処理機能全体のフローチャートを示す図である。 本発明の第２の実施例に関するＵＩの表示例を示す図である。 本発明の第２の実施例に関する画像処理機能全体のフローチャートを示す図である。 本発明の第３の実施例に関する画像処理機能全体のフローチャートを示す図である。

以下、図面を用いて本発明に係る実施形態を詳細に説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらに限定する趣旨のものではない。

＜システム構成＞
図１は本実施例を適用可能なシステムの全体構成を示す図である。

図１に示すように、画像処理装置１００、ＰＣなどの端末１０１はイーサネット（登録商標）や無線ＬＡＮなどからなるＬＡＮ１０４に接続され、Ｉｎｔｅｒｎｅｔ１０５に接続されている。また、モバイル端末１０３は公衆無線通信網１０２などからＩｎｔｅｒｎｅｔ１０５に接続されている。画像処理装置１００、ＰＣなどの端末１０１及び、モバイル端末１０３はＬＡＮ１０４又は、公衆無線通信網１０２からＩｎｔｅｒｎｅｔ１０５に接続され、相互に通信可能となっている。なお、ＰＣなどの端末１０１とモバイル端末１０３に関しては、どちらか一方がある構成でも良いし、画像処理装置１００のみ他の構成が実施する処理を行っても良い。

画像処理装置１００は操作部、スキャナ部及び、プリンタ部を有する複合機である。本実施例のシステムでは複数枚の名刺や免許証、ハガキなどカードのスキャン端末として利用する。また、ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などの表示部や、タッチパネルやハードボタンなどの操作部を有し、エラー通知や指示通知などの表示や、スキャン操作や設定操作などの操作を行う。

ＰＣなどの端末１０１は、画像処理装置１００で取得した画像の表示を行う。また、ＰＣアプリケーションなどを有し、画像処理装置１００から取得した画像の保存や、ＯＣＲ（ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ）処理などを実施し、再利用可能なメタデータの生成を行う。更に、クラウドやサーバーなどの外部ストレージとの通信も可能で、保存した画像やメタデータを外部ストレージへ送信することも可能である。なお、本実施例では、ＰＣなどの端末１０１で画像の保存、メタデータ生成及び、外部ストレージへの送信を行うフローを説明するが、画像処理装置１００に同機能を備えることでこれらのフローを画像処理装置１００単体でも行うことも可能である。

また、モバイル端末１０３は、操作部、無線通信部、ウェブブラウザを動作させるアプリ部を有するスマートフォンやタブレット端末である。本実施例のシステムでは、ＰＣなどの端末１０１と同様に表示端末、操作端末及び、メタデータ生成・保存端末として利用することができる。なお、ＰＣなどの端末１０１とモバイル端末１０３は、表示、操作及び、メタデータ生成・保存の機能など、重複した機能を有しており、どちらを使用することも可能であり、片方どちらか一方の構成でもかまわない。

以上の構成要素はあくまで例示であり、すべての構成が必要というものではない。例えば画像処理装置１００で、原稿を読み込むスキャン機能や表示・操作機能に加え、画像の保存機能、メタデータ生成機能、メタデータの保存機能、外部ストレージへの送信機能が可能なら、これらの構成を画像処理装置１００のみで実現することも可能である。

＜画像処理装置１００のハードウェア構成＞
図２は、画像処理装置１００の構成を示すブロック図である。制御部１１０上に、ＣＰＵ１１１、記憶装置１１２、ネットワークＩ／Ｆ部１１３、スキャナＩ／Ｆ部１１４、表示・操作部Ｉ／Ｆ部１１５がシステムバス１１６を介して互いに通信可能に接続されている。制御部１１０は、画像処理装置１００全体の動作を制御する。

ＣＰＵ１１１は、記憶装置１１２に記憶された制御プログラムを読み出して読取制御や送信制御などの各種制御を行う。

記憶装置１１２は、上記プログラム、画像データ、メタデータ、設定データ及び、処理結果データなどを格納し保持する。記憶装置１１２には、不揮発性メモリであるＲＯＭ、揮発性メモリであるＲＡＭ１１８及び、大容量記憶領域であるＨＤＤ１１９などがある。

ＲＯＭ１１７は、制御プログラムなどを保持し、ＣＰＵ１１１はその制御プログラムを読み出し制御を行う。

ＲＡＭ１１８は、ＣＰＵ１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。

ネットワークＩ／Ｆ部１１３は、制御部１１０（画像処理装置１００）をＬＡＮ１０４に接続する。ネットワークＩ／Ｆ部１１３は、ＬＡＮ１０４上の外部装置（本実施例の場合、ＰＣなどの端末１０１やモバイル端末１０３）に画像データを送信したり、ＬＡＮ１０４上の外部装置から各種情報を受信したりする。

スキャナＩ／Ｆ部１１４は、スキャナ部１２０と制御部１１０を接続する。スキャナ部１２０は、原稿上の画像を読み取って画像データを生成し、スキャナＩ／Ｆ部１１４を介して制御部１１０に入力する。

表示・操作部Ｉ／Ｆ部１１５は、表示・操作部１２１と制御部１１０とを接続する。表示・操作部１２１には、タッチパネル機能を有する液晶表示部やキーボードなどが備えられている。

その他、画像処理装置１００にはプリンタ部等もあるものがあるが、本実施例では用いないため省略する。

以上のように、本実施例に係る画像処理装置１００では、上記のハードウェア構成によって、画像処理機能を提供することが可能である。

＜画像処理機能＞
本実施例に係る画像処理機能について説明する。

本実施例に係る画像処理装置１００では、スキャナ部１２０にある原稿台に置かれた複数の両面カードの片面（表面とする）を一度にスキャンして画像を取得する。取得した画像をカード毎の画像に分割し、複数のカード画像を取得する。更に、複数の両面カードを裏返し、スキャンしてない側の面（裏面とする）を一度にスキャンして画像を取得する。
画像形成装置１００は、各カードの表面と裏面それぞれの画像に対して、表裏ペアとなるカードの組み合わせを判定し、表裏ペアとなる画像を取得する。ここで示す表裏ペアとは、両面記載のカードの内、一方の面を表面とした場合に、もう一方の面を裏面とし、その両面（表面及び裏面）を組み合わせたものを示す。画像処理装置は、取得した表裏ペアとなる画像の表裏ペア同一性判定を行った結果、表裏ペアの同一性が高い画像であった場合、表示・操作部のＵＩにエラー通知及び、画像の再取得を促し、再度裏面画像を取得する。表裏ペアの同一性が低い場合及び、画像の再取得がされた場合には、表裏ペアの結合データを生成する。同一性の判定についての詳細については後述する。
本実施例に係る画像処理装置１００は、以上のような画像処理機能を有している。また、本実施例では、カードの例として名刺を挙げて説明するが、これに限定するものではなく、カードとして、免許証、保険証、各種カード、はがきなどを用いても良い。

両面のカードを表裏の両面をスキャンし、表裏組み合わせのファイルを生成する場合、カードの表面の画像と裏面の画像とを取得するためには、カードの表面をスキャンした後に、カードを裏返して裏面をスキャンする必要がある。スキャナの原稿台の上に複数のカードを並べて１度スキャンすると、各カード画像の領域を自動で判断して分割を行う。これにより複数のカードを１度にスキャンして、各カードの画像をそれぞれ取得することができる。名刺サイズをスキャンする場合、Ａ３スキャナで最大２０枚程度の名刺を同時にスキャンすることができる。

また、名刺の場合、表面が日本語表記、裏が英語表記されており、表裏のデザインも非常によく似ている。

以上のように、１度にスキャンするカードの数が多くあり、かつ、デザインも似ている場合、すべてのカードを裏返し、裏面も読み取ったつもりが裏返し忘れを起こしてしまう場合がある。

ユーザが複数枚のカードの内、一部のカードを裏返し忘れて裏面をスキャンした場合、表裏組み合わせたファイルを生成すると、表面・裏面がセットになるのではなく、例えば表面・表面でセットとなって保存されてしまう。

そこで、本実施例に係る画像処理装置１００では、上記のように分割したカード毎に表裏ペアの同一性の判定を行う。それにより、複数枚ある両面カードを同時にスキャンする場合に、裏返し忘れを防止できる。

以下に、実施例に係る画像処理機能の構成とそのフローについて説明する。

図３は、本実施例に係る画像処理機能の構成例を示す図である。図３に示すように、本実施例に係る画像処理機能は、主にカード読み取り部２００、ペアカード判定部２０１、カード再取得表示部２０２及び、データ生成部２０３などを有している。

まず、カード読み取り部２００の機能について、図４、図５、図６及び、図７を用いて説明する。図４は、本実施例に係る両面カードの例を示したものである。図５は、本実施例に係るスキャナ部１２０でカードを読み取る際の配置例を示す図である。図６は、本実施例に係るカード表面の分割の動作例を示す図である。また、図６は、本実施例に係るカード裏面の分割の動作例を示す図である。

画像取得部２０４では、複数枚のカードの表面をスキャナ部１２０から取得する。これにより複数枚のカード画像が含まれた画像を取得することができる。図４（ａ）に示す両面カードの表面をスキャンし、画像として取得する。本実施例では名刺を例とするため、図４（ｃ）に示す名刺の表面を取得する。なお、両面名刺の図４（ｃ）で示す面を表面としたが、図４（ｄ）で示す面を表面としても良い。記載内容の異なる複数枚の名刺を、図５（ａ）の４００で示すスキャナ部１２０上の原稿台に配置する。本実施例では、記載内容の異なり、カード４０１〜カード４１８で示される１８枚のカードを並べて、スキャンを行う。実際にスキャナにより取得される領域を４１９とし、画像取得部２０４おいて領域４１９の画像を取得することができる。また、カード４０１を読み取った画像をカード画像４０１とする。他のカード画像も同様にカード４０２を読み取った画像をカード画像４０２とする。すなわち、カード４０１〜４１８を読み取ることでカード画像４０１〜４１８が得られる。

カード画像分割部２０５では、画像取得部２０４でスキャンした画像を分割し、各カードの画像に切り分ける。これにより、画像取得部２０４で読み取った画像内に含まれている複数のカード画像を取得することができる。

図５（ａ）の場合、領域４１９の画像をカードごとに分割し、各カード画像を切り分けることにより４０１〜４１８で示すカード［表−１］〜カード［表−１８］の複数のカード画像を取得する。

画像取得部２０４で読み取った画像内に含まれている複数のカード画像内から、余白を除きカード部分のみを抽出する処理は、カードの枠エッジを元に切り出す方法など、公知の分割技術で実現する。なお、この余白を除いた画像もカード画像と呼ぶ。その際、図６に示すように、カード画像をカードごとに分割し、その画像の４頂点の座標値を取得する。本実施例では、４０１（カード［表−１］）の場合、６０１の４頂点である６０１｛ｘ_１， ｙ_１｝、６０１｛ｘ_２， ｙ_２｝、６０１｛ｘ_３， ｙ_３｝、６０１｛ｘ_４， ｙ_４｝の座標値を取得する。なお、取得したカード画像の枚数分の４頂点を取得する（６０１｛ｘ_ｉ， ｙ_ｉ｝〜６１８｛ｘ_ｉ， ｙ_ｉ｝）。

もし、切り分けた画像内のカード画像が傾いていた場合には、同時に傾き補正を行い、保存を行う。傾き補正は、公知技術で実行可能である。例えば、上記の４頂点の座標値を用い、斜行角度推定を行い、補正を行うことができる。その他、４頂点の座標値から射影変換を行うことで実現することも可能である。

中央座標取得部２０６では、カード画像分割部２０５で分割した各カード画像の中央座標値を取得する。これにより、後述するカード表裏ペア判定部２１０において、表裏ペアとなるカード画像の組み合わせを判定することができる。カード画像分割部２０５で取得した４頂点の座標値を用いて、その頂点の中心座標を取得する。６０１の４頂点である６０１｛ｘ_１， ｙ_１｝、６０１｛ｘ_２， ｙ_２｝、６０１｛ｘ_３， ｙ_３｝、６０１｛ｘ_４， ｙ_４｝の中心座標値を求める手法は、例えば以下の手法がある。６０１｛ｘ_１， ｙ_１｝と６０１｛ｘ_４， ｙ_４｝を結ぶ直線と、６０１｛ｘ_２， ｙ_２｝と６０１｛ｘ_３， ｙ_３｝を結ぶ直線の交点を求めることでカード画像の中央座標値とすることができる。その、中心座標値として６０１｛ｘ_ｃ， ｙ_ｃ｝を算出する。なお、中心座標値の算出は、公知技術で実行可能である。取得したカード画像の枚数分の中心座標値を取得する（６０１｛ｘ_ｃ， ｙ_ｃ｝〜６１８｛ｘ_ｃ， ｙ_ｃ｝）。

画像取得部２０７、カード画像分割部２０８及び、中央座標取得部２０９は、画像取得部２０４〜中央座標取得部２０６でカードの表面をスキャンしてカード画像を取得し、その後、ユーザが各カードを原稿台上で裏返してから実行される。各処理はそれぞれ画像取得部２０４、カード画像分割部２０５及び、中央座標取得部２０６で実行される処理と同様の処理である。

画像取得部２０７に示す画像取得部では、図４（ｂ）に示す両面カードの裏面をスキャンし、カード画像として取得する。本実施例では、図４（ｄ）に示す名刺の裏面の画像を取得する。なお、両面名刺の図４（ｄ）で示す面を裏としたが、図４（ｃ）で示す面を裏面としても良い。図５（ｂ）または図５（ｃ）の５００で示すように記載内容の異なる複数枚の名刺をスキャナ部１２０上の原稿台に配置する。本実施例では、１８枚のカードをすべて裏返して並べ直した例として図５（ｂ）を示す。図５（ｂ）の場合には、記載内容の異なる１８枚のカードを裏返して、スキャンを行う。実際にスキャナにより取得される領域を５１９とし、Ｓ２０７おいて５１９で示す領域の画像を取得することができる。一方、１８枚のカードのうち、一部を裏返し忘れ、読み取られる向きにカードの表面が混在した例として図５（ｃ）を示す。図５（ｃ）の場合には、記載内容の異なる１８枚のカードのうち、裏返したカードを５０１〜５０６、５０８及び、５１０〜５１８とし、裏返し忘れたカードを４０７、４０９とする。なお、ここで表面が読取られることを明確にする為、４０７、４０９としているが、実際にはそれぞれ５０７、５０９として読み取られ、読み取られた結果は裏面の画像として取得される。図５（ｃ）の場合も、図５（ｂ）の場合と同様に、実際にスキャナにより取得される領域を５１９とし、画像取得部２０７おいて領域５１９の画像を取得することができる。

カード画像分割部２０８では、画像取得部２０７でスキャンした画像をカードごとに分割し、各カード画像に切り分ける。これにより、画像取得部２０７で読み取った画像内に含まれている複数のカード画像を取得することができる。図５（ｂ）の場合、領域５１９の画像をカードごとに分割し、各カード画像を切り分ける。これにより５０１〜５１８で示すカード［裏−１］〜カード［裏−１８］に対応する画像が取得される。また、図５（ｃ）の場合、５１９で示す画像を各名刺の領域で分割し、カード画像を切り分ける。これにより５０１〜５０６、５０８及び、５１０〜５１８で示すカード［裏−１］〜カード［裏−６］、カード［裏−８］及び、カード［裏−１０］〜カード［裏−１８］の画像が取得される。また、５０７（４０７）、５０９（４０９）で示すカード［表−７］、カード［表−９］の画像が取得される。なお、ここで５０７（４０７）、５０９（４０９）を表面としているが、この時点では裏面カードとして取得される。読み取った画像からの分割及び、各カード画像を切り出す方法は、カード画像分割部２０５と同様である。その際、図７に示すように、各カードに画像を分割し、その各カード画像の４頂点の座標値も取得する。本実施例では、５０１（カード［裏−１］）の場合、８０１の４頂点である８０１｛ｘ_１， ｙ_１｝、８０１｛ｘ_２， ｙ_２｝、８０１｛ｘ_３， ｙ_３｝、８０１｛ｘ_４， ｙ_４｝の座標値を取得する。なお、取得したカード画像の枚数分の４頂点を取得する（８０１｛ｘ_ｉ， ｙ_ｉ｝〜８１８｛ｘ_ｉ， ｙ_ｉ｝）。

このように、画像取得部２０４、カード画像分割部２０５、中央座標取得部２０６、画像取得部２０７、カード画像分割部２０８、中央座標取得部２０９で取得した各カード画像及び、座標データを所定の記憶領域（例えば、ＲＡＭ１１８）に保持される。以上が、カード読み取り部２００の機能である。

次に、ペアカード判定部２０１の機能について説明する。

カード画像表裏ペア判定部２１０では、カード画像分割部２０５で切り分けた表面の各カード画像（４０１〜４１８）とカード画像分割部２０８で切り分けた裏面の各カード画像（５０１〜５１８）とに対して、表裏のペアとなるカード画像があるか否かを判定する。これにより、表面の各カード画像とそれに対応する裏面の各カード画像のペアを検出することができる。

本実施例では、スキャナで読み取りカード画像分割部２０５で切り分けた表面の各カード画像（４０１〜４１８）に対し、スキャナ部１２０の原稿台の座標に置いてほぼ同じ場所に置き読み取って得られたカード画像を裏面のカード画像とする。
表面の各カード画像（４０１〜４１８）に対応する裏面の各カード画像（５０１〜５１８）を判定する例を説明する。なお、本実施例は一例であり、カード画像の表裏ペアを判定できる処理であればこれに限定しない。表裏ペア判定部２１０の機能について、図８を用いて説明する。

読み取って得られた表面のカード画像４０１［表−１］（図６での６０１）に対応する裏面のカード画像を判定する方法を説明する。図８（ａ）に示す右上がり斜線で示す領域９００を、表面のカード画像４０１（６０１で切り出した領域）とする。領域９００の中央座標である座標９０１がカードの中心座標であり、表面のカード画像４０１［表−１］の中心座標である６０１｛ｘ_ｃ， ｙ_ｃ｝に対応する。領域９００の頂点である座標９０２がカード画像の４頂点（６０１｛ｘ_１， ｙ_１｝、６０１｛ｘ_２， ｙ_２｝、６０１｛ｘ_３， ｙ_３｝、６０１｛ｘ_４， ｙ_４｝）の内の一つである。座標９０１と座標９０２間の距離は、カードの横幅をＸ、縦幅をＹとした場合、ｓｑｒｔ｛（Ｘ／２）^２＋（Ｙ／２）^２｝となる。座標９０１を中心として、ｓｑｒｔ｛（Ｘ／２）^２＋（Ｙ／２）^２｝を半径とする円を円９０３の点線で示す。円９０３までの領域を定義した上で、裏面のカード画像の中心座標がその領域内にあるか否かで、これらのカードがペアカードか否かを判定する。裏面のカード画像の中心座標がその領域内に置かれたか否かを判定するため、次に、読み取って得られた裏面の各カード画像（５０１〜５１８）のそれぞれの中央座標を取得する。図８（ｂ）に示す右下がり斜線で示す領域９０４を、裏面のカード画像５０１（８０１で切り出した領域）とする。領域９０４の中央座標である座標９０５がカードの中心座標であり、裏面のカード画像５０１［裏−１］の中心座標である座標８０１｛ｘ_ｃ， ｙ_ｃ｝に対応する。座標８０１｛ｘ_ｃ， ｙ_ｃ｝が、上記で定義した円９０３の内にあるか否かで判定する。また、座標８０１｛ｘ_ｃ， ｙ_ｃ｝が円９０３の内にない場合には、他の裏面のカード画像の中央座標である座標８０２｛ｘ_ｃ， ｙ_ｃ｝、座標８０３｛ｘ_ｃ， ｙ_ｃ｝、・・・、座標８１８｛ｘ_ｃ， ｙ_ｃ｝までを検索する。座標８０１｛ｘ_ｃ， ｙ_ｃ｝〜座標８１８｛ｘ_ｃ， ｙ_ｃ｝までの座標値を取得し、判定する。なお、円９０３の内に複数の裏面候補が存在する場合も存在する。その際の説明を、図８（ｃ）を用いて説明する。図８（ｃ）に示す円９０３の内に、右下がり斜線領域９０４と格子領域９０６で示すカード画像が存在した場合には、それぞれの中心座標である座標９０５と座標９０７の内、座標９０１との距離の近いものを裏面候補として判定する。
なお、実施例ではカード表裏ペア判定部２１０によって実施される上記の手法について説明したが、カードの表裏の組み合わせを判定する方法であれば良く、この記載に限定するものではない。

カード表裏ペア判定部２１０において、表裏の組み合わせであるペアのカード画像が見つかった場合は、後述のカード表裏ペア同一性判定部２１１にて処理が施される。一方、カード表裏ペア判定部２１０において、表裏の組み合わせであるペアのカード画像が見つからない場合には、両面カードと判断せず片面カードとして後述の片面カードデータ生成部２１６にて処理が施される。

カード表裏ペア同一性判定部２１１では、カード表裏ペア判定部２１０で決定したペアのカード画像の表面画像と裏面画像が同一か否かを判定する。これにより、カード表裏ペア判定部２１０でペアと決定された２つのカード画像がが、カードの同じ面を読取って得られたカード画像の組合せか否かが判定できる。よって、ペアとして判定された表面のカード画像と裏面のカード画像の同一性が高い場合には、カードを裏返してスキャンせず、同一面を２度スキャンしていると判断できる。

表裏ペア同一性判定部２１１での処理は、カード画像分割部（表面）２０５とカード画像分割部（裏面）２０８でそれぞれ切り出したカード画像に対し、カード表裏ペア判定部２１０で表裏ペアと判断した場合、これらの画像の同一性を判定する。例えば、表裏ペアは、読み取って得られた表面カード画像４０１とペアとなる、読み取って得られた裏面カード画像５０１であったり、読み取って得られた表面カード画像４０７とペアとなる、読み取って得られた裏面カード画像５０７であったりする。

カード画像分割部（表面）２０５とカード画像分割部（裏面）２０８は、スキャンタイミングも異なり、かつ、位置も厳密には一致していない。よって、表裏ペア同一性判定部２１１では、画像同士が完全一致しているかについては判断しない。スキャンタイミングが異なることによる画像差が発生していたり、位置が若干変わっていたりしたとしても、画像内に描画されている情報について同一性が高いか否かを判定できる手法で判定する。

画像内に描画されている情報について同一性が高いか否かを判定する方法はいくつかあるが、ここでは例として四手法を説明する。なお、判定手法に関しては、公知技術でよく、画像同士の同一性が判定できる手法であれば良い。

一つ目の手法として、画像同士のパターンマッチングで位相を合わせ、画像同士の差分を求め、平均二乗誤差やＳＮ比から、同一性が高いか否かを判定する手法がある。例えば、二枚の画像同士のマッチングを取り相関係数の高い位置を元に画像同士の位相を合わせ、画像に描画されているオブジェクトの位置を合わせる。画像の位相を一致させて上で、画像配列をピクセル毎に減算などを行い、画像差分を算出する。その差分画像から、平均二乗誤差やＳＮ比を算出し、平均二乗誤差やＳＮ比が特定の閾値より高いか否かで、二枚の画像の同一性が高いか否かを判定する。平均二乗誤差やＳＮ比が特定の閾値より小さい場合は同一性が高いと判定する。

二つ目の手法として、二枚の画像のヒストグラムをそれぞれ取得し、ヒストグラムの差分を求め、同一性が高いか否かを判定する手法がある。カードの表面の画像の信号値のヒストグラムと裏面の画像の信号値のヒストグラムとを取得する。ヒストグラムを取得する場合、ＲＧＢ画像の場合、３チャンネルでもよいし、ＲＧＢ信号を統合し１チャンネル化してもよい。取得した二枚の画像に対応するヒストグラムの差分を算出し、その差分の累積値が特定の閾値より高いか否かで、二枚の画像の同一性が高いか否かを判定する。

差分の累積値が閾値より小さい場合は同一性が高いと判定する。

三つ目の手法として、平均画素値の差分が一定値以内の範囲にあるか否かを判定する手法がある。ぞれぞれの画像の平均画素値を算出し、その平均画素値の差分が一定値以内の範囲にあるか否かで、二枚の画像の同一性が高いか否かを判定する。

平均画素値の差分が予め決められた範囲内の値であれば同一性が高いと判定する。

四つ目の手法として、ａＨａｓｈ（Ａｖｅｒａｇｅ Ｈａｓｈ）法を用い、二枚の画像の輝度値の平均値をそれぞれ求め、平均値より大なら１でそれ以外は０として値を算出し、画像を比較する方法などもある。

以上のように、カード表裏ペア同一性判定部２１１において、表裏ペアとして判定された二つのカード画像の同一性を判定する。

カード表裏ペア同一性判定部２１１において、表裏の組み合わせと判断した画像の同一性が高いと判断された場合には、後述のエラー通知部２１２にて処理が施される。具体的には、表面カード画像４０７とペアとなる裏面カード画像５０７（図５（Ｃ）の５０７）は、取得される際にカードを裏返しされずに読み取られたれたため同一性が高い。この場合は、このエラー通知部２１２にて処理が施される。

一方、同一性が低いと判断された場合には、裏面のカード画像が取得される際にカードを裏返しされて読み取られていたと判断し、後述のカード表裏ペア結合データ生成部２１５にて処理が施される。具体的には、表面カード画像４０１とペアとなる裏面カード画像５０１は、裏面カード画像を取得する際にカードが裏返しされて読み取られていたため同一性が低い。この場合、このカード表裏ペア結合データ生成部２１５にて処理が施される。

以上が、ペアカード判定部２０１の機能である。
次に、カード再取得表示部２０２の機能について説明する。

エラー通知部２１２では、カード表裏ペア同一性判定部２１１にて、ペアと判定された表面のカード画像と裏面のカード画像の同一性が高いと判断された場合に判定結果であるエラー通知を行う。これにより、ユーザはカードを裏返していないことを知ることができる。よって、裏返しし損ねたカードを裏返したうえで、再取得を行うことができる。エラー通知部２１２の機能について、図９を用いて説明する。

カード表裏ペア同一性判定部２１１において、ペアと判定された表面のカード画像と裏面のカード画像の同一性が高いと判断した場合に、表示・操作部１２１のＵＩ画面にエラー通知を行う。図９の画面１０００は、表示・操作部１２１を示した図である。画面１０００上に、１００１で示すＵＩ画面（表示及び、操作機能を有す）と、１００２に示すハードボタンがある。ＵＩ画面１００１上に、カード表裏ペア同一性判定部２１１でペアの画像の同一性が高かった旨を通知する。本実施例では、「画像の同一性が高い」、つまり、「カードを裏返していない」ことをメッセージ１００３のように表示する。更に本実施例では、カードを裏返した上で、再スキャンするか否かのメッセージを表示する例を示している。

ユーザは、そのエラー通知を見た上で、ボタン１００４を押下するかボタン１００５を押下する。ボタン１００４が押下された場合は、エラーメッセージに従い再取得を実行する。その場合には、後述の画像取得部２１３にて処理が施される。一方、ボタン１００５が押下された場合は、再取得を行わないと判断し、後述のカード表裏ペア結合データ生成部２１５にて処理が施される。

画像取得部２１３では、画像取得部２０７で実行される処理と同様の処理がなされる。カードを裏返した上で、カードの裏面の画像を取得する。画像取得部２０７にて裏返し忘れていたカード以外は取り除き、画像取得部２１３で裏返し忘れていたカード（図５に示す５０７及び、５０９）のスキャンを行う。なお、本実施例では、裏返していないカード１枚をスキャンする例を説明するが、裏返し忘れていたカード以外も取り除かず、裏返し忘れたカードを裏返し、スキャンすることも可能である。その場合には、以前に画像取得部２０７で取得した画像を破棄し、画像取得部２１３から取得した画像をＳ２０７からの画像とし、処理が実行される。

カード画像分割部２１４では、カード画像分割部２０８の処理と同様である。読み取った画像内から、カード画像に対応する領域のみを分割する。ここで取得した画像を、カード表裏ペア同一性判定部２１１で同一性が高いと判断したカード裏面画像と差し替えを行う。

以上が、カード再取得表示部２０２の機能である。
最後に、データ生成部２０３の機能について説明する。

カード表裏ペア結合データ生成部２１５では、表面のカード画像と裏面のカード画像とを結合し、一つのファイルを生成するファイル生成部である。これにより、表面のカード画像と裏面のカード画像を同一ファイルにすることができる。

カード表裏ペア結合データ生成部２１５では、本実施例ではＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）化して保存する例を示す。ＰＤＦの場合には、画像をページに分け保存することが可能であり、表面のカード画像と裏面のカード画像とを各ページに分けて保存することが可能である。例えば、カード画像４０１をＰＤＦの１ページ目に保存しカード画像５０１を２ページ目に保存する。これにより、カード画像の表裏をページに分けマルチページとして一つのファイルに保存することができる。

片面カードデータ生成部２１６では、表面のカード画像のみ、または裏面のカード画像のみといったように、片面のみがスキャンされて得られたカード画像は、１ページのファイルとしてファイルを生成するファイル生成部である。これにより、カード表面（または、裏面）の片面のみのカード画像をファイルにすることができる。

このように片面カードデータ生成部２１６は、カード表裏ペア判定部２１０において、組み合わせとなるカードがない場合などに用いられ、１ページもののファイルとして保存を行う。

残カード確認部２１７は、複数毎同時にスキャンしたカードがすべて保存されたか否かを確認する。これにより複数毎のカードを残すことなくすべて保存処理することができる。

残カード確認部２１７において、本実施例では、カード表面の４０１〜４１８に対応するカード裏面の５０１〜５１８すべてが処理されているか否かを確認する。本実施例の場合、１８回のループ処理を行い、ループごとにカード表裏ペア結合データ生成部２１５または片面カードデータ生成部２１６で生成したファイルを、カードデータ保持部２１８に保存する。そのループ処理が終わるまで、処理が実行される。

カードデータ保持部２１８は、画像処理装置１００内のＨＤＤ１１９であっても良いし、ＬＡＮ１０４を経由し、ＰＣなどの端末１０１やモバイル端末１０３などのＨＤＤに送信し、保存を行う。また、ＰＣなどの端末１０１やモバイル端末１０３のＨＤＤから読み出し、ＯＣＲ処理やアプリからの利用も可能である。以上が、データ生成部２０３の機能である。

以上のように示した実施例によって、複数のカードの両面をそれぞれスキャンし、各カード画像に切り分けた上で、同じカードの表裏をスキャンしたものであるか否かを判断する。そして、同じカードの表裏をスキャンした可能性が高い画像でる場合には、２回目のスキャン時にカードを裏返し忘れられたと判断し、ユーザに裏面のカード画像の再取得を促すことが可能となる。

これにより、ユーザが複数枚あるカードを両面スキャンする際に、裏面をスキャンする際にカードを裏返しすることを忘れたとしても、カードを裏返して裏面画像の読み取り直しをすることが可能となる。よって、カードの両面を適切にスキャンすることができ、同一のカードから裏表ペアのカード画像を取得することが可能になる。

実施例１では、複数のカードの両面をそれぞれスキャンし、各カード画像に切り分けた上で、カードの同一性を判断する。そして、表裏のペアと判定されたカード画像に対して同一性が高いと判定された場合、２回目のスキャン時にカードを裏返し忘れたと判断し、ユーザにエラー通知を行い、裏面のカード画像の再取得を促す方法を説明した。

しかし、ユーザに対し、エラー通知を表示させるだけでは、複数枚あるカードの内、どのカードが２回目のスキャン時に裏返していないかを判断するのが困難な場合がある。

そこで、２回目のスキャン時に、ユーザが複数枚あるカードのうち、どのカードが裏返していないかをわかる構成を、図１０、図１１を用いて説明する。

図１０は、図３の構成に対しエラー通知部２１２の代わりに、高同一性画像位置表示部２１９を設ける。高同一性画像位置表示部２１９においては、ユーザに対し同一性が高く裏返していないと判断したカードの位置を表示・操作部１２１で明示的に表示する。表示・操作部１２１での表示例を、図１１を用いて説明する。図１１は、図９に対し、エラー通知のメッセージ１００３だけでなく、画像１００６に表示するようにスキャナの原稿台上の裏返していないカードの位置を表示する。図１１の画像１００６は、スキャナの原稿台の領域を示している。この画像では画像１００７に示すように他のカードより目立つように装飾を加えて裏返し忘れを行っているカードの位置をユーザに示す。

これにより、ユーザは原稿台上で２回目のスキャン時に裏返していないカードを探し出す必要がなく、手間を省くことができる。

なお、本実施例ではエラー通知部２１２を取り除き、その代わりに高同一性画像位置表示部２１９を追加した構成を説明した。その他にも、図１２に示すように、エラー通知部２１２を残し、その後のフローに高同一性画像位置表示部２１９を追加する構成であっても良い。図１２に示す通り、エラー通知部２１２と、画像取得部２１３の間に、高同一性画像位置表示部２１９を追加することができる。これにより、ユーザは、エラー通知部２１２によるエラー通知を受けた上で、高同一性画像位置表示部２１９による表示を見るか否かを決めることができる。この場合には、例えば図９の１００５を選択することで、高同一性画像位置表示部２１９による表示をスキップし、画像取得部２１３により画像の取得をすることができる。

以上のように、ユーザが複数枚あるカードのうち、２回目のスキャン時にどのカードが裏返してスキャンされていなかったかを容易に判断することが可能になる。

実施例１及び実施例２においては、カードの両面をスキャンするために、スキャナを用いる方法について説明した。

しかし、スキャナによる画像の取得でなく、例えば、カメラデバイスを有するモバイル端末１０３などを用いて画像を取得することも可能である。

そこで、スキャナではなく、カメラでカード画像を取得した場合の構成を、図１３を用いて説明する。図１３は、図３の構成に加え、画像取得部２０４とカード画像分割部２０５の間及び、画像取得部２０７とカード画像分割部２０８の間に、台形補正部２２０を有する。カメラでの画像取得部２０４で複数枚のカードを並べ、画像を取得する。カメラを用いて取得した画像の場合、スキャナを用いて主等したと異なり斜めから撮影された画像が取得されることがある。そこで、台形補正部２２０においては、画像取得部２０４で取得した画像に対し、台形補正を行う。

台形補正の方法としては、複数枚あるカードの枠エッジを求め、枠エッジの形から、台形補正に用いるホモグラフィ行列を算出し、ホモグラフィ変換（射影変換）を行うことができる。なお、台形補正の方法に関しては、公知技術で実現することができる。

画像取得部２０４で取得したが画像に対して台形補正部２２０で台形補正を行い、カード画像分割部２０５で画像の分割・切り出し処理を行う。また、画像取得部２０７で取得した画像に対しても同様に、台形補正部２２０で画像の分割・切り出し処理を行う。

なお、図１３に示すフローを例えばモバイル端末１０３内のＣＰＵで実施しても良いし、画像の取得をおこなう画像取得部２０４、画像取得部２０７をモバイル端末１０３内で行い、それ以降の処理を画像処理装置１００やＰＣなどの端末１０１で行っても良い。

以上のように、ユーザが複数枚あるカードの両面の画像をカメラを用いて取得する場合であっても、取得した画像を台形補正することで、適切にカード画像に分割・切り出しすることが可能になる。

そして、このように切り出されたカード画像に対しても、裏面を撮影する際にカードを裏返しすることを忘れたとしても、カードを裏返して裏面画像の撮影し直しをすることが可能となる。よって、カードの両面を適切に撮影することができ、同一のカードから裏表ペアのカード画像を取得することが可能になる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 複数のカードをスキャンして取得された画像から前記複数のカードのそれぞれに対応するカード画像を抽出する抽出手段と、
   前記抽出手段により抽出されたカード画像のうち、同一のカードをスキャンすることで得られる第１の画像と第２の画像を検出する検出手段と、
   前記検出手段により検出された第１の画像と第２の画像とが、同一性が高いと判定された場合に、該判定結果をユーザに通知する通知手段と、
   を備えることを特徴とする画像処理装置。
2. 前記検出手段により検出された第１の画像はカードの表面をスキャンすることで得られた画像であり、前記第２の画像は前記カードの裏面をスキャンすることで得られた画像であることを特徴とする請求項１に記載の画像処理装置。
3. 前記複数のカードの表面をスキャンして画像を取得する第１の取得手段と、
   前記複数のカードの裏面をスキャンして画像を取得する第２の取得手段と、
   をさらに有し、
   前記第１の画像は前記第１の取得手段により取得され、前記第２の画像は前記第２の取得手段により取得され、
   前記第２の画像が前記第１の画像と同一性が高いと判定された場合、
   前記通知手段は、前記第２の取得手段によるスキャンにおいてカードの裏面がスキャンされていないことをユーザに通知することを特徴とする請求項１に記載の画像処理装置。
4. 前記第１の画像と前記第２の画像のパターンマッチングを行い、前記第１の画像と前記第２の画像との差分が閾値より小さい場合、前記第１の画像と前記第２の画像の同一性が高いと判定する判定手段を有することを特徴とする請求項１に記載の画像処理装置。
5. 前記第１の画像から取得したヒストグラムと前記第２の画像から取得したヒストグラムとの差分の累積値が閾値より小さい場合、前記第１の画像と前記第２の画像の同一性が高いと判定する判定手段を有することを特徴とする請求項１に記載の画像処理装置。
6. 前記第１の画像から取得した平均画素値と前記第２の画像から取得した平均画素値と差分が予め決められた範囲内の値であれば、前記第１の画像と前記第２の画像の同一性が高いと判定する判定手段を有することを特徴とする請求項１に記載の画像処理装置。
7. 前記第１の画像から取得した輝度値の平均値と前記第２の画像から取得した輝度値の平均値とをそれぞれ求め、該平均値を用いて前記第１の画像と前記第２の画像の同一性の判定を行う判定手段を有することを特徴とする請求項１に記載の画像処理装置。
8. 前記通知手段は、前記カード画像のうち、前記第１の画像と前記第２の画像の同一性が高いカード画像がどれかを通知することを特徴とする請求項１に記載の画像処理装置。
9. 前記スキャンして得られた画像に対して台形補正を行う補正手段を有することを特徴とする請求項１に記載の画像処理装置。
10. 複数のカードをスキャンして取得された画像から前記複数のカードのそれぞれに対応するカード画像を抽出する抽出ステップと、
    前記抽出ステップにより抽出されたカード画像のうち、同一のカードをスキャンすることで得られる第１の画像と第２の画像を検出する検出ステップと、
    前記検出ステップにより検出された第１の画像と第２の画像とが、同一性が高いと判定された場合に、該判定結果をユーザに通知する通知ステップと、
    を備えることを特徴とする画像処理方法。
11. コンピュータに請求項１０に記載の画像処理方法を実行させるためのプログラム。

Images