JP2020155155A - 画像判定システム、画像判定方法、画像判定プログラム、画像判定プログラムを記録する記録媒体 - Google Patents

Abstract

【課題】利用できる可能性の高い画像を採用する画像判定システムを提供すること。【解決手段】画像を取得する取得部と、前記画像が、採用条件を満たすか否かを判定する判定部と、記憶部と、を有し、前記採用条件は、前記画像において所定の文字又は画像が認識されることであり、前記記憶部は、前記判定部が前記採用条件を満たすと判定した前記画像を記憶する。【選択図】 図１

Description

本発明は、採用条件を満たす画像を記憶する画像判定システム、画像判定方法、画像判定プログラム、画像判定プログラムを記録する記録媒体に関する。

近年、デジタルカメラや携帯端末で画像を撮像することが容易となり、撮像した画像の用途も多岐に渡っている。例えば、身分証明書のコピーの代わりに、身分証明書を撮像した画像を送付することや、画像に対してOCR（Optical Character Recognition：光学文字認識）処理を行うことで文字を抽出することにより、画像のもつ情報を有効活用する場合がある。

画像のもつ情報を利用する技術に関連する装置が、特許文献１に記載されている。特許文献１記載の装置は、道路走行中の車両を撮像し、撮像された画像から車両ナンバーを検出する装置である。特許文献１の装置は、道路上にパルスビームを出力することで道路を横切る車と装置との距離を測定し、その距離が予め定めた設定距離内となったタイミングで、撮像を行う。そして、撮像された画像から車両ナンバーを読み取る。

特開平１１−２９６６８２

しかしながら、上述したような装置では、例えば、画像のピントが合っていない、情報を表示する部分が反射している、被写体が傾いて写っている、等の理由から、被写体が持つ情報を画像に反映できず、画像を利用できない場合があるという問題点があった。

そこで、本発明の目的は、上述した課題を解決し、利用できる可能性の高い画像を採用する画像判定システムを提供することにある。

本発明の第一のシステムは、画像を取得する取得部と、前記画像が、採用条件を満たすか否かを判定する判定部と、記憶部と、を有し、前記採用条件は、前記画像において所定の文字又は画像が認識されることであり、前記記憶部は、前記判定部が前記採用条件を満たすと判定した前記画像を記憶する。

本発明によれば、利用できる可能性の高い画像を採用する画像判定システムを提供することができる。

第一実施形態の構成例を示すブロック図である。 第一実施形態のハードウェア構成例を示すブロック図である。 第二実施形態の構成例を示すブロック図である。 第二実施形態の動作の一例を示すフローチャートである。 採用条件の一例を示す図である。 在留カードを撮像した画像の一例である。 所定位置の説明図である。 位置合わせのための枠の表示例である。 位置合わせのための枠の表示例である。 第三実施形態の構成例を示すブロック図である。 第三実施形態の動作の一例を示すフローチャートである。 文字データの表示の一例である。 文字データの入れ替えの説明図である。 文字データの入れ替えの説明図である。 サポートデスクに接続するための手段の一例である。 第四実施形態のハードウェア構成例を示すブロック図である。

以下に、図面を参照して、本発明の実施の形態について詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は例示であり、本発明の技術範囲をそれらに限定する趣旨のものではない。
（第一実施形態）
（第一実施形態の構成）
第一実施形態の構成例について説明する。図１は第一実施形態の構成例を示すブロック図である。画像判定システム１０００は、取得部１０、判定部２０、記憶部３０を含む。図に示す各構成要素は、ハードウェア単位の構成ではなく、機能単位のブロックを示している。

取得部１０は画像を取得する。判定部２０は、取得部１０が取得した画像を受け取り、採用条件を満たすか否かを判定する。採用条件は、画像において所定の文字又は画像が認識されることである。つまり、判定部２０は、取得した画像のいずれの位置で所定の文字又は画像を認識した場合も、採用条件を満たすと判定してもよい。記憶部３０は、判定部２０が採用条件を満たすと判定した画像を取得し、記憶する。

次に、第一実施形態のハードウェア構成について、図２を用いて説明する。図２は、第一実施形態の各構成要素を実現するハードウェア構成を示している。通信制御部１は、ネットワークを介して外部装置と通信する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ２には、本実施形態の実現に必要な種々のデータを記憶する容量が確保される。記憶部３は、本実施形態の実現に必要なデータベース等のデータ、ＣＰＵ４が実行するアプリケーションプログラム、初期データ等を、不揮発に記憶する。ＣＰＵ４は演算制御用のプロセッサであり、プログラムを実行することで本発明の各機能手段を実現する。

なお、ＣＰＵ４は、ＣＰＵ以外の回路によって代替されても良い。回路は、プログラムを実行するひとつまたは複数のプロセッサであり、ＣＰＵ、ＡＳＩＣｓ、ＰＡＬ‘ｓ等を含む。複数の回路は、同一の装置内で協働しても良いし、別の装置内に存在しても良い。

図２に示すように、記憶部３は、記憶部３０を実現することができる。ＣＰＵ４は、取得部１０及び判定部２０を実現することができる。なお、各ハードウェア構成と、各構成要素との対応付けは、図２に示すものに限らず、任意の組み合わせで良い。例えば、取得部１０は、ＲＡＭ２によって実現されても良い。また、取得部１０と判定部２０は、異なる回路によって実現されても良い。また、画像判定システム１０００は、一つの装置によって実現されても良いし、複数の装置によって実現されても良い。すなわち、画像判定システム１０００を構成する取得部１０、判定部２０、記憶部３０は、それぞれ別の装置内のハードウェアによって実現されても良い。

記憶部３が記憶するアプリケーションプログラムは、取得部１０及び判定部２０が行う処理を実行するプログラムである。ＣＰＵ４は記憶部３からアプリケーションプログラムを読み出して、取得部１０及び判定部２０の処理を実行する
第一実施形態によれば、所定位置において、所定の文字又は画像が認識された画像を採用するため、利用できる可能性の高い画像を採用することができる。
（第二実施形態）
（第二実施形態の構成）
第二実施形態の構成例について説明する。図３は第二実施形態の構成例を示すブロック図である。画像判定システム１００２は、画像判定装置１００を含む。画像判定装置１００は、例えば携帯電話端末、タブレット端末、パーソナルコンピュータ、デジタルカメラ等で良い。画像判定装置１００は、取得部１１、判定部２１、記憶部３１、撮像部４０を含む。

記憶部３１は、書類種別ごとに異なる採用条件を、前記書類種別に対応付けて記憶する。書類には、運転免許証、パスポート、在留カード等の身分証明書や、クレジットカード、キャッシュカード等の個人情報を含む書類、カードも含まれるものとする。採用条件とは、撮像部４０が撮像した画像を採用するか否かの基準となる条件であり、所定位置において、所定の文字又は画像が認識されることを示す。記憶部３１は、採用条件として、書類種別に対応付けて所定の位置及び所定の文字を記憶する。記憶部３１は、採用条件として、所定の文字に代えて、所定の画像を記憶しても良い。画像を記憶する。書類種別と採用条件との対応付けは、例えば、「書類種別」「位置（座標等）」「所定の文字又は画像」のそれぞれを含む表を、記憶部３１が記憶することによって実現されてもよい。または、取得１１と判定部２１が実行するプログラムとして、特定の書類種別を取得したときに対応する採用条件を判定するように動作させても良い。

撮像部４０は、個人情報を含む被写体である書類を撮像し、画像を生成する。撮像部４０による画像の生成は、一定の時間間隔で行われても良いし、ユーザが不図示のシャッターボタンを押下したタイミングで行われても良い。又は、撮像部４０による画像の生成は、判定部２１による画像の判定結果に基づいた指示があったタイミングで行われても良い。

取得部１１は、撮像部４０から、個人情報を含む被写体を撮像した画像を取得する。取得部１１は、撮像部４０が画像を生成する度に当該画像を取得しても良いし、一定時間ごとにまとめて当該画像を取得しても良い。また、取得部１１は、ユーザが不図示の指定部を介して選択した書類種別を取得する。指定部は、例えば画像判定装置１００を構成するタッチパネル、操作ボタンや、画像判定装置１００と接続されたマウス、キーボード等で良い。ユーザが指定する書類種別は、撮像部４０が撮像した書類の種別を表すものであり、例えば運転免許証、パスポート、在留カード等で良い。

判定部２１は、取得部１１が取得した画像と書類種別を取得する。そして、判定部２１は、取得した画像が、取得した書類種別に対応する採用条件を満たすか否かを判定する。判定部２１は、取得した書類種別に対応付けられた採用条件を記憶部３１から読み出し、取得した画像の判定を行う。つまり、判定部２１は、書類種別に対応する所定の文字又は画像が、対応する所定の位置に認識されるか否かを判定する。取得した画像が採用条件を満たす場合、判定部２１は、その画像を記憶部３１に記憶させる。なお、文字又は画像の認識と判定は、パターンマッチング、統計的識別法、構造識別法など、画像の特徴を用いた既存の技術により実現できる。

判定部２１は、取得した画像が採用条件を満たさない場合、撮像部４０に対し、画像の撮像を継続するよう指示する。または、取得した画像が採用条件を満たさず、かつ画像の撮像開始から一定時間が経過している場合、判定部２１は、撮像部４０に画像の撮像の停止を指示しても良い。

なお、判定部２１は、所定位置に対してOCR処理を行うことで画像に表示された文字を認識しても良い。このときのOCR処理を、以下判定用OCR処理と呼ぶ。この場合の採用条件は、判定用OCR処理により認識された文字が、所定の文字と同一となることで良い。すなわち、判定部２１は、判定用OCR処理により所定位置で認識された文字が、当該所定位置に対応する所定文字と同一（一部の文字でもよい）であるか否かを判定し、同一であれば、採用条件を満たすと判定する。判定用OCR処理により何の文字も認識されない場合、および認識された文字が所定文字と同一でない場合、判定部２１は、採用条件を満たさないと判定する。

また、画像判定装置１００は、撮像部４０を含まなくても良い。その場合、取得部１１は、不図示の受信部が受信した画像を取得しても良い。つまり、画像判定装置１００は、無線又は有線の通信により、書類を撮像した画像を外部から取得しても良い。

採用条件は、複数の所定位置において、それぞれの所定位置に対応する所定の文字又は画像が認識されることであっても良い。採用条件は、全ての所定位置において対応する文字等が認識されることでも良いし、予め定められた数の所定位置において対応する文字等が認識されることでも良い。
（第二実施形態の動作）
図４は、第二実施形態の動作を示すフローチャートである。まず、取得部１１は、ユーザが不図示の指定部を介して選択した書類種別を取得する（Ｓ１）。ユーザによる書類種別の指定は、画像判定装置１００が記憶するアプリケーションを介して行われても良い。本実施形態では、ユーザは書類種別を「在留カード」として指定する。指定部は、例えば画像判定装置１００を構成するタッチパネル、操作ボタンや、画像判定装置１００と接続されたマウス、キーボード等で良い。書類種別が取得されると、撮像部４０が起動し、画像の撮像が開始される。なお、画像の撮像が開始されてから、書類種別を選択するものとしてもよい。

本実施形態では、ユーザは、撮像部４０を用いて在留カードを撮像するものとする。在留カードは、在留資格に係る許可の結果として我が国に中長期間在留する者（中長期在留者）に対して交付されるカードであり、適法に在留する者であることを証明する証明書としての性格を有する。また、在留カードには、氏名、住所、性別、国籍等の個人情報が記載されている。

ユーザは、画像判定装置１００と在留カードとを近づけ、撮像部４０が在留カードを撮像できる位置関係で静止する。撮像部４０は、その画角に入る映像を撮像し、画像を生成する。本実施形態では、撮像部４０が起動した後の二度目以降の画像の生成は、判定部２１による画像の判定結果に基づいた指示があったタイミングで行われるものとする。

取得部１１は、撮像部４０が撮像した画像を取得する（Ｓ２）。本実施形態では、取得部１１は、撮像部４０が画像を生成する度に当該画像を取得するものとする。また、判定部２１は、取得部１１が取得した画像と書類種別を取得する。そして、判定部２１は、取得した画像が、取得した書類種別に対応する採用条件を満たすか否かを判定する（Ｓ３）。つまり、判定部２１は、取得した書類種別に対応付けられた採用条件を記憶部３１から読み出す。そして、判定部２１は、取得した画像が、採用条件における所定位置において所定の文字が認識されるか否かの判定を行う。

より具体的には、記憶部３１は、例えば図５に示す情報を記憶する。記憶部３１は、書類種別ごとに異なる前記採用条件を、前記書類種別に対応付けて記憶する。採用条件は、所定位置において、所定の文字又は画像が認識されることであるため、記憶部３１は、書類種別ごとに、所定の文字と所定の位置を対応付けて記憶する。図５に示すように、書類種別「在留カード」については、文字「在留カード」「法務大臣」及び「日本国政府」が、それぞれの在留カード上の位置Ａ，Ｂ，及びＣと対応付けられて記憶されている。Ａ，Ｂ，及びＣ等の所定位置は、例えば所定の文字を囲む長方形の四隅のＸ座標とＹ座標の値によって表すことができる。なお、位置の表し方、原点の位置はこれに限られない。

判定部２１は、書類種別が「在留カード」であることを取得すると、記憶部３１から所定文字「在留カード」「法務大臣」「日本国政府」及びそれらについての所定位置Ａ，Ｂ，及びＣを読みだす。そして、判定部２１は、取得した画像が採用条件を満たすか、すなわち、読み出した所定位置に所定文字が認識されるか否かを判定する。

在留カードを撮像した画像上の位置と文字との関係の例を図６に示す。図６では、画像に写る在留カード２０００の左下角を原点として、Ｘ軸とＹ軸が設定されている。図５より、所定位置２００１の位置は「Ａ」、所定位置２００２の位置は「Ｂ」、所定位置２００３の位置は「Ｃ」である。画像における原点となる位置の認識は、不図示の処理部が画像に写る在留カード２０００の輪郭を検出することで行われても良い。つまり、記憶部３１が記憶する採用条件の「位置」が、画像に写る被写体における「位置」である場合、不図示の処理部が画像に写る被写体を認識しても良い。

記憶部３１が記憶する採用条件の「位置」は、画像に写る被写体における「位置」ではなく、画像全体における「位置」でも良い。例えば、画像全体の左下角を原点とした場合の位置が採用条件に用いられていても良い。この場合、画像に写る被写体の位置は認識されなくても良い。

さらに、採用条件に複数の所定の文字又は画像が含まれる場合、採用条件の「位置」は、それらの文字又は画像の相対位置でも良い。相対位置は、例えば２つ以上の文字又は画像の中心間の距離、２つ以上の文字又は画像の中心を結ぶ直線が水平方向に対してなす角度等によって表されても良い。また、採用条件の「位置」は、２つ以上の文字又は画像の相対距離が所定の範囲内にあることでも良い。

判定部２１は、取得した画像が採用条件を満たすと判定した場合、その画像を記憶部３１に記憶させる。記憶部３１は、判定部２１から取得した画像を記憶し（Ｓ４）、処理が終了する。

判定部２１は、取得した画像が採用条件を満たさないと判定した場合、撮像部４０の起動から所定時間が経過したか否かを判定する（Ｓ５）。所定時間が経過していない場合、判定部２１は、撮像部４０に対し、画像の撮像を継続するよう指示する。所定時間が経過している場合、判定部２１は、撮像部４０に画像の撮像の停止を指示し、処理が終了する。

第二実施形態の画像判定システム１００２の判定部２０は、所定位置において所定の文字又は画像が認識されるか否かを判定するため、認識の負荷が低減し、認識に要する時間が短縮される。また、画像判定システム１００２は、書類種別ごとに異なる前記採用条件で画像の判定を行うため、システムの設計者は書類の特性に応じた採用条件を設定することができる。例えば、書類のうち重要な情報を有する部分（顔写真や氏名が表示された部分）の付近を所定部分とすれば、ユーザがそれらの情報を正確に読み取れる画像を採用することができる可能性が高まる。

なお、採用条件は、複数の所定位置とそれぞれに対応する所定文字等により構成されていても良いし、一つの所定位置とそれに対応する所定文字等により構成されていても良い。さらに、採用条件は、全ての所定位置において対応する文字等が認識されることでも良いし、予め定められた数の所定位置において対応する文字等が認識されることでも良い。例えば、上述の在留カードの例では、所定文字「在留カード」「法務大臣」「日本国政府」の全てが、それぞれに対応する所定位置において認識された場合に、採用条件を満たすとしても良い。

採用条件が、複数の所定位置とそれぞれに対応する所定文字等により構成されることにより、画像に写された書類の有する情報が全体的に利用できる可能性が高まる。すなわち、画像のどの部分もピントが合い、反射しておらず、書類の情報が読み取り可能である可能性が高い。特に、所定位置を書類上に分散するように設定することで、その効果がより高まる。

また、所定位置には、一定の広がりがあっても良い。つまり、所定位置は所定の文字又は画像の大きさよりも大きくてもよい。所定位置に一定の広がりがある場合、所定位置に含まれる領域内のいずれかの位置で文字又は画像が認識されることを、採用条件としてもよい。図７は、所定位置に一定の広がりがある場合の説明図である。画像４０００は、判定部２１が取得する画像の一例である。所定位置２００４〜２００６は、認識の対象となる文字「日本国政府」「在留カード」「法務大臣」のそれぞれに対応する所定位置を示す。例えば判定部２１は、所定位置２００６内のいずれかの位置で文字「日本国政府」が認識されるか否かの判定をする。

これにより、判定部２０は、在留カード２０００が画像４０００に対して一定の範囲に収まっていれば、採用条件を満たすと判断することができる。そのため、ユーザが画像判定装置１００と被写体との位置を厳密に調節しなくとも、画像判定装置１００は利用できる可能性の高い画像を採用することができる。特に、採用条件の「位置」が、画像全体における「位置」である場合に、ユーザによる画像判定装置１００と被写体との位置調節の負担を低減することができる。

さらに、ユーザによる画像の撮像の際に、不図示の表示部は、撮像された画像と共に位置合わせのための枠を表示しても良い。位置合わせのための枠は、認証対象となる文字や画像が撮像された画像に含まれるように設定されることが好ましい。表示部による位置合わせのための枠の表示例を図８に示す。図８には、画像判定装置１００の一例として、スマートフォン３０００を示す。スマートフォン３０００の表示部７０は、撮像部４０が撮像した画像を逐次取得し、表示する。図８に示すスマートフォン３０００は、表示部７０の背面に撮像部４０を有し、被写体である在留カード２０００を撮像している。

４つの枠８０は、撮像部４０が撮像する画像に写る在留カードの大きさを、ユーザが調節するための枠である。ユーザは、表示部７０写る在留カード２０００の四隅を枠８０に合わせることで、画像内の在留カード２０００の大きさを調節する。図８では、在留カード２０００の大きさが枠８０に合う大きさより小さい。そのため、ユーザは、スマートフォン３０００と実物の在留カード２０００とを近づける動作を行う。

また、位置合わせのための枠は、画像に写る被写体の大きさ示すものでも、画像に写る被写体の一部の大きさを示すものでもよい。図９に示す位置合わせの枠は、認証対象となる文字部分の大きさを示すものである。ユーザは、枠８１に文字「法務大臣」が収まり、かつ、枠８２に文字「日本国政府」が収まるように、スマートフォン３０００と実物の在留カード２０００の位置を調節する。枠が対象とする被写体の一部は、認証対象となる文字に限られない。例えば、認証対象の顔写真部分、特徴的なマークなど、ユーザが用いやすい部分を枠の対象としても良い。

なお、上述した位置合わせのための枠の形態は、は図８及び図９に示すものに限られない。位置合わせのための枠は、点線や実践で表された図形、被写体のテンプレート画像等、ユーザがそれを見て画像に写る被写体の大きさを調節することができるものであれば何でも良い。

画像判定装置１００が位置合わせのための枠を表示することにより、ユーザは画像判定装置１００と被写体との位置を調節することができる。そのため、画像判定装置１００が所定の文字又は画像を認識し、利用できる画像を採用するまでに要する時間を短縮することができる。また、採用条件の「位置」が、画像に写る被写体における「位置」である場合、不図示の処理部が画像に写る被写体を認識する際の負荷が低減される。

また、画像判定システム１００２は、書類種別ごとに異なる前記採用条件で画像の判定を行わなくても良い。つまり、記憶部３１は、書類種別ごとに異なる採用条件を記憶していなくても良い。例えば採用条件は、被写体によらず同一でも良い。つまり、図４に示すフローチャートのＳ４は実行されなくても良い。その場合、例えばユーザが撮像部４０を起動する動作を行ったことを契機に、画像の撮像が開始されても良い。ユーザが撮像部４０を起動させる動作とは、ユーザが、画像判定装置１００を構成するタッチパネルや画像判定装置１００に接続されたマウス等を用いて、画像判定装置１００が記憶するアプリケーションを起動する動作でも良い。また、その場合、判定部２１は、書類種別を取得せず、採用条件を記憶部３１から読み出しても良い。

なお、判定部２１は、所定位置に対してOCR処理を行うことで画像に表示された文字を認識しても良い。このときのOCR処理を、以下判定用OCR処理と呼ぶ。この場合の採用条件は、判定用OCR処理により認識された文字が、所定の文字と同一となることであっても良い。すなわち、判定部２１は、判定用OCR処理により所定位置で認識された文字が、当該所定位置に対応する所定文字と同一であるか否かを判定し、同一であれば、採用条件を満たすと判定する。判定用OCR処理により文字が何らの文字も認識されない場合、および認識された文字が所定文字と同一でない場合は、判定部２１は、採用条件を満たさないと判定する。

画像判定システム１００２が採用した画像に対してOCR処理を行い、書類の画像から個人情報等を抽出するような場合（例えば、証明書の画像から個人情報を抽出し、帳票入力を補助する場合）に、判定用OCR処理は有効である。なぜならば、判定用OCR処理によって、所定位置で所定の文字が認識された場合は、その他の部分でもOCR処理により正しい文字が認識される可能性が高いためである。
（第三実施形態）
（第三実施形態の構成）
第三実施形態の構成例について説明する。図１０は第三実施形態の構成例を示すブロック図である。画像判定システム１００３は、画像判定装置１０１を含む。画像判定装置１０１は、取得部１１、判定部２１、記憶部３１、撮像部４０、処理部５０、受付部６０を含む。処理部５０及び受付部６０以外の構成は第二実施形態と同様であるため、説明を省略する。

処理部５０は、記憶部３１が記憶する画像に対してOCR処理を行い、生成された文字データを記憶部３１に記憶させる。すなわち、処理部５０は、判定部２１が採用条件を満たすと判定した画像に対してOCR処理を行い、画像に写る被写体から文字データを抽出する。生成される文字データは、被写体である証明書等が表示する個人情報に関するものでよく、ユーザの氏名、住所、国籍等である。また、生成される文字データは、「氏名」「住所」「国籍」等、ユーザの個人情報の項目自体を示すものでもよい。

また、処理部５０は、受付部６０がユーザからの修正部分の選択を受け付けた場合、修正用OCR処理を行う。修正用OCR処理は、修正部分を修正するために用いられる文字データを生成するOCR処理である。修正用OCR処理によって生成された文字データを、修正用文字データとする。

より具体的には、受付部６０は、ユーザからの修正部分の選択を受け付けると、撮像部４０を起動する。そして、撮像部４０は、再び画像の撮像を開始する。第二実施形態と同様の動作を経て、判定部２１が記憶部３１に対して新たな画像を記憶させると、処理部５０は、新たな画像に対して修正用OCR処理を行う。なお、受付部６０は、ユーザからの修正部分の選択を受け付けた際に、撮像部４０を起動せず、処理部５０に修正用OCR処理を指示しても良い。つまり、処理部５０は、新たに撮像された画像ではなく、前回と同じ画像に対して修正用OCR処理を行っても良い。

さらに、処理部５０は、修正用OCR処理によって生成された修正用文字データのうち、受付部６０が受け付けた修正部分に対応する部分を、記憶部３１が記憶する文字データと入れ替える。詳細は、第三実施形態の動作の説明で後述する。

受付部６０は、記憶部３１が記憶する文字データのうち、ユーザが修正を希望する修正部分の選択を受け付ける。より具体的には、まず、不図示の表示部がユーザに対して、処理部５０が生成した文字データを表示する。ユーザは表示部を見て、文字データに誤りがあるか否かを判断する。

文字データに誤りがある場合、ユーザは、不図示の指定部を用いて修正部分を選択する。指定部は、例えば画像判定装置１０１を構成するタッチパネル、操作ボタンや、画像判定装置１０１と接続されたマウス、キーボード等で良い。受付部６０は、不図示の指定部から修正部分の選択を受け付ける。つまり、受付部６０は、ユーザが選択した修正部分を特定する情報を指定部から取得する。

ユーザは、文字データに誤りがないと判断した場合、画像判定装置１０１の処理を終了する動作を行う。画像判定装置１０１の処理を終了する動作とは、例えば不図示の表示部に表示された「Confirm」のアイコンをユーザがタッチする、マウスでクリックする、などで良い。
（第三実施形態の動作）
図１１は、第三実施形態の動作を示すフローチャートである。Ｓ１〜Ｓ５の動作は、第二実施形態と同様であるため、説明を省略する。 処理部５０は、記憶部３１が記憶する画像に対してOCR処理を行う（Ｓ６）。そして、処理部５０は、OCR処理によって生成された文字データを記憶部３１に記憶させる（Ｓ７）。すなわち、処理部５０は、判定部２１が採用条件を満たすと判定した画像に対してOCR処理を行うことで、画像に写る被写体から文字データを抽出する。生成される文字データは、被写体である証明書等が表示する個人情報に関するものでよく、ユーザの氏名、住所、国籍等である。

そして、不図示の表示部は、記憶部３１が記憶する文字データを表示する。不図示の表示部が表示する文字データの例を図１２に示す。図１２には、氏名、生年月日、住所等の、ユーザの個人情報が項目ごとに文字データとして表示されている。そして、これらの文字データはいずれも、図６の在留カードを撮像した画像からOCR処理によって生成されたものである。

各項目と文字データとの対応付けは、処理部５０によって行われる。処理部５０は、OCR処理により「氏名」「生年月日」といった項目が記載された部分を認識することで、その付近（例えば右側）に記載された文字をその項目に対応する文字として認識しても良い。

図１２の表示を見たユーザは、文字データに誤りがあるか否かを判断する。そして、誤りがあると判断すると、ユーザは、不図示の指定部を用いて修正部分を選択する。指定部は、例えば画像判定装置１０１を構成するタッチパネル、操作ボタンや、画像判定装置１０１と接続されたマウス、キーボード等で良い。

図６と図１２を比較すると、図６では、「住所」が「東京都港区○丁目○番○号」であるが図１２では「束京都港区○丁目○番○号」であり、「東」が「束」に置き換わっている。すなわち、図６の在留カードを撮像した画像が、OCR処理によって正しく読み取られなかったといえる。そこで、ユーザは、例えば図１２に示す表示のうち、「束」の部分のタッチパネルをタッチして選択した上で、修正用OCRボタンを押下する。修正用OCRボタンとは、図１２に示すカメラマークのアイコンである。なお、選択の仕方はこれに限られない。例えばユーザは、同様の選択を、マウスを用いて行っても良い。また、ユーザは、誤っていない文字を全て選択することで、誤っている文字を選択するものとしても良い。修正用OCRボタンのデザインも、図１２に示すものに限られない。

受付部６０は、修正用OCRボタンの押下を検出すると、不図示の指定部から修正部分の選択を受け付ける（Ｓ８）。つまり、受付部６０は、ユーザが選択した修正部分を特定する情報を指定部から取得する。受付部６０は、修正部分の選択を受け付けると、撮像部４０を起動する。また、受付部６０は、処理部５０に対して修正用OCR処理を指示する。

撮像部４０が起動した後、画像判定装置１０１は二実施形態と同様の動作を行う。そして、判定部２１が記憶部３１に対して新たな画像を記憶させると、処理部５０は、新たな画像に対して修正用OCR処理を行う（Ｓ９）。修正用OCR処理によって生成された文字データを、修正用文字データとする。なお、受付部６０は、ユーザからの修正部分の選択を受け付けた際に、撮像部４０を起動しなくても良い。つまり、処理部５０は、新たに撮像された画像ではなく、前回と同じ画像に対して修正用OCR処理を行っても良い。修正用OCR処理によって生成された文字データと各項目との対応付けは、前述と同様に、処理部５０が行っても良い。

さらに、処理部５０は、修正用OCR処理によって生成された修正用文字データのうち、受付部６０が受け付けた修正部分に対応する部分を、記憶部３１が記憶する文字データと入れ替える（Ｓ１０）。文字データの入れ替えの説明図を図１３に示す。図１３は、OCR処理によって生成された文字データと、修正用OCR処理によって生成された修正用文字データを示す対比図である。処理部５０は、文字データのうち、○印がついた修正部分である「束」の部分を、修正用文字データのうち、○印がついている部分の「東」の部分と入れ替える。これらの部分は、文字データ又は修正用文字データ全体において、同一の箇所に位置しているため、対応する部分であるといえる。

処理部５０は、これらの部分以外の部分については入れ替えを行わなくても良い。修正用OCR処理によって生成された修正用文字データの「氏名」の項目は、名が「FLIZABETH」となっており、頭文字が誤って読み取られているが、処理部５０は、この部分についての入れ替えは行わなくて良い。

記憶部３１が記憶していた文字データは、処理部５０が修正部分の文字を入れ替えた文字データに上書きされ、再び記憶部３１に記憶される。そして、不図示の表示部は、記憶部３１が記憶する文字データを再度表示する。不図示の表示部による表示を見たユーザは、文字データに誤りがあるか否かを再度判断する。ユーザが文字データに誤りがあると判断すると、Ｓ８と同様に、受付部６０は、ユーザによる不図示の指定部を介した修正部分の選択を受け付ける（Ｓ１１）。そして、画像判定装置１０１は、Ｓ９〜Ｓ１１の動作を繰り返す。

Ｓ８又はＳ１１において、ユーザは、文字データに誤りがないと判断した場合、画像判定装置１０１の処理を終了する動作を行う。画像判定装置１０１の処理を終了する動作とは、例えば図１２に示すような不図示の表示部に表示された「Confirm」のアイコン部分のタッチパネルをユーザがタッチする、マウスでクリックする、などで良い。これにより、画像判定装置１０１は動作を終了する。以上のように、ユーザによる文字データの確認、修正を経て確定された文字データは、帳票の自動入力、ユーザ情報の収集などの用途に用いることができる。

なお、Ｓ６以降の動作は、Ｓ１〜Ｓ５の動作と独立して行われても良い。すなわち、Ｓ６以降で扱う画像は、Ｓ１〜Ｓ５を経て採用され、記憶された画像でなくても良い。

第三実施形態の画像判定システム１００３は、文字データについてユーザが選択した修正部分について、修正用文字データとの入れ替えを行うため、修正用OCR処理によって新たに修正すべき部分が発生することがない。つまり、修正用OCR処理の度に異なる部分に誤りが発生することにより、何度も同様の動作を行うというユーザの煩わしさを低減することができる。

また処理部５０は、生成した文字データの画像における位置に基づいて、文字データが示す個人情報の項目を決定してもよい。その場合は、記憶部３１が予め、各項目と各項目の画像上の位置とを対応付けて記憶していても良い。処理部５０は、記憶部３１が記憶する情報を読み出し、各項目とOCR処理により認識された文字データとの対応付けを行っても良い。そして、記憶部３１は、処理部５０が生成した文字データと、項目とを対応付けて記憶する。

修正用OCR処理の対象となる画像が、OCR処理を行った画像とは異なる書類種別の書類を撮像したものである場合、処理部５０は、修正部分を含む文字データが対応付けられている項目と同一の項目について生成された修正用文字データの、一部又は全部を対応する部分としても良い。例えば、一度目のOCR処理の対象となった画像が在留カードを撮像したものであり、修正用OCR処理の対象となった画像が運転免許証を撮像したものであるとする。図１４は、OCR処理によって生成された文字データと、修正用OCR処理によって生成された修正用文字データを示す対比図である。

まず、処理部５０は、修正部分である「束」を含む文字データが、項目「住所」に対応付けられており、「住所」に対応付けられた文字データの一文字目であることを認識する。そして、処理部５０は、修正用文字データのうち、同一の項目「住所」に対応付けられている文字データの一文字目を対応する部分として、文字データとの入れ替えを行う。つまり、処理部５０は、修正部分の文字データ「束」を「東」に入れ替える。なお、文字データの入れ替えは、項目「住所」に対応付けられた文字データ全体に対して行われても良い。つまり、処理部５０は、修正部分を含む文字データ「束京都港区○丁目○番○号」を、「東京都港区○丁目○番○号」に入れ替えても良い。

これにより、画像判定システム１００３は、修正部分の項目と同一の項目について生成された修正用文字データを対応する部分とするため、異なる書類に対して修正用OCR処理を行った場合も、ユーザの個人情報として同一の内容を構成する文字を入れ替えることができる。

また、処理部５０は、修正用OCR処理が所定の回数行われた場合、ユーザに対し、サポートデスクに接続するための手段を提供しても良い。サポートデスクに接続するための手段の例を図１５に示す。例えばユーザが、項目「住所」についての文字データの修正のために、画像判定装置１０１に対して修正用OCR処理を所定の回数指示したとする。すると、処理部５０は、不図示の表示部に対し、図１５の項目「住所」の右端に示されるような電話マークのアイコンを表示させる。このアイコンが、サポートデスクに接続するための手段の例である。ユーザが、タッチパネル上の当該アイコンをタッチすると、不図示の通信制御部が予め記憶されたサポートデスクの電話番号に対して発信を行い、ユーザはサポートデスクの担当者と会話をすることが可能となる。

また、処理部５０は、当該アイコンの表示の際に、不図示のスピーカーを介して音声アナウンスを送出しても良い。アナウンスの内容は、ユーザが当該アイコンをタッチすることにより、サポートデスクへの接続が可能となる旨のメッセージで良い。

これにより、画像判定システム１００３は、ユーザに対し、サポートデスクに接続するための手段を提供するため、ユーザが適切に文字データを修正できず困惑している場合にも、迅速にサポートを得ることができる。また、画像判定システム１００３を用いてサービスを提供する企業も、ユーザが抱えている問題に対して迅速に対応することができ、顧客満足度を高めることができる。
（第四実施形態）
（第四実施形態の構成）
第四実施形態の構成例について説明する。図１６は第四実施形態の構成例を示すブロック図である。図１６では、構成要素を示す機能単位のブロック図及びそれらを実現するハードウェアの構成例を示している。

画像判定装置１０１内の取得部１１、判定部２１、処理部５０、受付部６０は、回路５によって実現されても良い。記憶部３１は、記憶部６によって実現されても良い。撮像部４０は、撮像部７によって実現されてもよい。撮像部７は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＣＤイメージセンサを備えたデジタルカメラなどで良い。

各構成要素の説明及びその他のハードウェアの説明については、上述の実施形態と同様であるため省略する。なお、ハードウェア構成と、各構成要素との対応付けは、図１４に示すものに限らず、任意の組み合わせによって実現される。例えば、取得部１１、判定部２１、処理部５０、受付部６０は、異なる装置内の回路によって実現されても良い。また、記憶部６は、外付けハードディスク、ＳＤカード等、画像判定装置１０１とは異なる装置によって実現されても良い。

本明細書において、上述した一連の処理を記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

上述した各実施形態は本発明を具体化した一例に過ぎず、請求の範囲に記載された本発明の趣旨の範囲内であれば、種々変更することができるものである。

１ 通信制御部
２ ＲＡＭ
３ 記憶部
４ ＣＰＵ
５ ＣＰＵ
６ 記憶部
７ 撮像部
１０ 取得部
１１ 取得部
２０ 判定部
２１ 判定部
３０ 記憶部
３１ 記憶部
４０ 撮像部
５０ 処理部
６０ 受付部
７０ 表示部
８０ 枠
８１ 枠
８２ 枠
１００ 画像判定装置
１０１ 画像判定装置
１０００ 画像判定システム
１００１ 画像判定システム
１００２ 画像判定システム
１００３ 画像判定システム
２０００ 画像に写る在留カード
２００１ 所定位置
２００２ 所定位置
２００３ 所定位置
２００４ 所定位置
２００５ 所定位置
２００６ 所定位置
３０００ スマートフォン
４０００ 画像

Claims (10)

1. 画像を取得する取得部と、
   前記画像が、採用条件を満たすか否かを判定する判定部と、
   記憶部と、を有し、
   前記採用条件は、前記画像において所定の文字又は画像が認識されることであり、
   前記記憶部は、前記判定部が前記採用条件を満たすと判定した前記画像を記憶する、
   画像判定システム。
2. 前記採用条件は、所定位置において、前記所定の文字又は画像が認識されることである
   請求項１記載の画像判定システム。
3. 前記画像は、個人情報を含む書類を撮像した画像であり、
   前記取得部は、前記書類の書類種別を取得し、
   前記判定部は、前記画像が、前記書類種別ごとに異なる前記採用条件を満たすか否かを判定する
   請求項１又は２記載の画像判定システム。
4. 前記採用条件は、複数の前記所定位置において、それぞれの前記所定位置に対応する前記所定の文字又は画像が認識されることである
   請求項１乃至３のいずれかひとつに記載の画像判定システム。
5. 前記判定部は、前記画像の前記所定位置に対して判定用OCR処理を行い、
   前記採用条件は、前記判定用OCR処理により生成された文字データが、所定の文字データと同一となることである
   請求項１乃至４のいずれかひとつに記載の画像判定システム。
6. 前記記憶部が記憶する画像に対してOCR処理を行い、生成された文字データを前記記憶部に記憶させる処理部と、
   前記記憶部が記憶する前記文字データにおける修正部分の選択を受け付ける受付部と、を有し、
   前記処理部は、修正用OCR処理によって生成された修正用文字データのうち、前記受付部が受け付けた修正部分に対応する部分を、前記記憶部が記憶する文字データと入れ替える請求項１乃至５記載のいずれかひとつに記載の画像判定システム。
7. 前記処理部は、生成した前記文字データの前記画像における位置に基づいて、前記文字データが示す情報の項目を決定し、
   前記記憶部は、前記文字データと、前記項目とを対応付けて記憶し、
   前記修正用OCR処理の対象となる画像が、前記OCR処理を行った画像とは異なる書類種別の書類を撮像したものである場合、
   前記処理部は、前記修正部分を含む前記文字データが対応付けられている前記項目と同一の項目について生成された前記修正用文字データの、一部又は全部を前記対応する部分とする
   請求項６記載の画像判定システム。
8. 前記処理部は、前記修正用OCR処理が所定の回数行われた場合、ユーザに対し、サポートデスクに接続するための手段を提供する
   請求項６又は７記載の画像判定システム。
9. 画像を取得し、
   前記画像が、採用条件を満たすか否かを判定し、
   前記判定部が前記採用条件を満たすと判定した前記画像を記憶し、
   前記採用条件は、前記画像において、所定の文字又は画像が認識されることである
   画像判定方法。
10. コンピュータに、
    画像を取得する取得処理と、
    前記画像が、採用条件を満たすか否かを判定する判定処理と、
    前記判定部が前記採用条件を満たすと判定した前記画像を記憶する記憶処理と、を実行させ、
    前記採用条件は、前記画像において、所定の文字又は画像が認識されることである、
    画像判定プログラム。

Images