JP2022169874A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2022169874A JP2022169874A JP2021075562A JP2021075562A JP2022169874A JP 2022169874 A JP2022169874 A JP 2022169874A JP 2021075562 A JP2021075562 A JP 2021075562A JP 2021075562 A JP2021075562 A JP 2021075562A JP 2022169874 A JP2022169874 A JP 2022169874A
- Authority
- JP
- Japan
- Prior art keywords
- image
- determination
- image data
- orientation
- document type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 62
- 238000003672 processing method Methods 0.000 title description 3
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 48
- 238000000605 extraction Methods 0.000 claims description 10
- 230000008520 organization Effects 0.000 claims description 3
- 238000012015 optical character recognition Methods 0.000 claims 1
- 230000003287 optical effect Effects 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 239000000284 extract Substances 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00795—Reading arrangements
- H04N1/00798—Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity
- H04N1/00801—Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity according to characteristics of the original
- H04N1/00809—Orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00795—Reading arrangements
- H04N1/00798—Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity
- H04N1/00801—Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity according to characteristics of the original
- H04N1/00806—According to type of the original, e.g. colour paper or transparency, or reading a plurality of different types of original
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00795—Reading arrangements
- H04N1/00798—Circuits or arrangements for the control thereof, e.g. using a programmed control device or according to a measured quantity
- H04N1/00816—Determining the reading area, e.g. eliminating reading of margins
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Character Input (AREA)
- Character Discrimination (AREA)
Abstract
【課題】 スキャンする際の原稿の向きを間違えたとしても、スキャンされた画像の向きを修正することができる画像処理装置を提供する。【解決手段】 画像処理装置は、光学的に読み取られた画像データに関して原稿種別を判定する原稿種判定部と、画像の向きを判定する複数の判定アルゴリズムの中から、前記原稿種判定部による判定結果に基づいて、適用する判定アルゴリズムを選択する選択部と、前記選択部により選択された判定アルゴリズムを用いて、前記画像データにおける画像の向きを判定する向き判定部とを有する。【選択図】図6
Description
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
例えば、特許文献1には、原稿を読み取って生成された入力画像を取得する入力画像取得部161と、入力画像における文字列密度又は文字列分散を算出する文字列情報算出部168と、文字列密度又は文字列分散に基づいて、原稿の種類を判別する原稿種類判別部169とを有する画像処理装置が開示されている。
また、特許文献2には、所定フォーマットに従った画像における所定領域の位置を記憶する記憶部210と、文字認識対象領域を含む入力画像を取得する画像取得部221と、入力画像又は入力画像から生成された画像から文字認識対象領域に対応する領域を切り出して、所定フォーマットに従った画像の所定領域の位置に配置した補正画像を生成する補正画像生成部223と、補正画像から文字を検出する文字検出部224と、検出された文字に関する情報を出力する出力部203と、を有する画像処理装置200が開示されている。
スキャンする際の原稿の向きを間違えたとしても、スキャンされた画像の向きを修正することができる画像処理装置を提供することを目的とする。
本発明に係る画像処理装置は、光学的に読み取られた画像データに関して原稿種別を判定する原稿種判定部と、画像の向きを判定する複数の判定アルゴリズムの中から、前記原稿種判定部による判定結果に基づいて、適用する判定アルゴリズムを選択する選択部と、前記選択部により選択された判定アルゴリズムを用いて、前記画像データにおける画像の向きを判定する向き判定部とを有する。
好適には、前記画像データの中から、原稿に相当する画像領域を抽出する領域抽出部をさらに有し、前記原稿種判定部は、前記領域抽出部により抽出された画像領域の大きさ又は形状に基づいて、原稿種別を判定する。
好適には、前記画像データの中から、国際民間航空機関により定義された機械可読領域を探索するMRZ探索部をさらに有し、前記原稿種判定部は、前記MRZ探索部による探索結果に基づいて、原稿種別を判定する。
好適には、前記原稿種判定部は、前記画像データの原稿が渡航文書であるか否かを判定し、前記選択部は、前記原稿種判定部により前記画像データの原稿が渡航文書であると判定された場合に、前記画像データを90度回転させながら、機械可読領域を探索する判定アルゴリズムを選択する。
好適には、前記選択部は、前記原稿種判定部により前記画像データの原稿が渡航文書ではないと判定された場合に、前記画像データを90度、180度、又は270度回転させて、光学文字認識処理を行う判定アルゴリズムを選択する。
好適には、前記領域抽出部により抽出された画像領域の画像データに対して、二値化処理を施して、二値画像を生成する二値化部をさらに有し、前記原稿種判定部は、前記二値化部により生成された二値画像を用いて、原稿種別を判定し、前記向き判定部は、前記二値化部により生成された二値画像を用いて、前記画像データにおける画像の向きを判定し、前記向き判定部による判定結果に応じて、前記画像データを回転させる元画像回転部をさらに有する。
好適には、両面スキャンにより読み取られた複数の画像データが入力された場合に、前記向き判定部による判定結果に基づいて、表裏画像の入れ替えを実施する表裏入替部をさらに有する。
好適には、前記原稿種判定部により判定された原稿種別に対応する優先順位で、回転角度を選択する角度選択部をさらに有し、前記向き判定部は、前記角度選択部により選択された回転角度で回転させた画像データに基づいて、画像の向きを判定する。
本発明に係る画像処理方法は、光学的に読み取られた画像データに関して原稿種別を判定する原稿種判定ステップと、画像の向きを判定する複数の判定アルゴリズムの中から、前記原稿種判定ステップによる判定結果に基づいて、適用する判定アルゴリズムを選択する選択ステップと、前記選択ステップにより選択された判定アルゴリズムを用いて、前記画像データにおける画像の向きを判定する向き判定ステップとを有する。
本発明に係るプログラムは、光学的に読み取られた画像データに関して原稿種別を判定する原稿種判定ステップと、画像の向きを判定する複数の判定アルゴリズムの中から、前記原稿種判定ステップによる判定結果に基づいて、適用する判定アルゴリズムを選択する選択ステップと、前記選択ステップにより選択された判定アルゴリズムを用いて、前記画像データにおける画像の向きを判定する向き判定ステップとをコンピュータに実行させる。
スキャンする際の原稿の向きを間違えたとしても、スキャンされた画像の向きを修正することができる画像処理装置を提供することを目的とする。
[背景]
本発明がなされた背景を説明する。
ホテル等で海外からの旅行者を受付るシーンにおいて旅行者の本人確認などは、ドキュメントスキャナを受付窓口におき、パスポートやIDカードのような証明書をスキャンして顧客情報を取得することでホテル側での管理、セキュリティに役立てることが可能となる。
すなわち、証明書をスキャンした画像からOCR認識を実行し、顧客氏名などの本人情報を取得するというスキャナ利用シーンが存在する。
このような業務で使用される証明書は、いわゆる、Travel-Document(渡航文書)というものであり、おおむねMRZ(Machine Readable Zone)と呼ばれる、OCR専用の文字列領域(機械可読領域)を持っている。
Travel-Documentは、その原稿寸法、MRZ領域の位置、MRZの列数や文字数など、ICAO(International Civil Aviation Organization:国際民間航空機関)等、国際的に統一された規定を持っており、おおむね各国規定に従ったドキュメントとなっている。
旅行者が携帯し、窓口でよく使われる証明書としては、TD1(IDカード)やTD3(パスポート)があげられる(以降、TD1、TD3と表現する)。
本発明がなされた背景を説明する。
ホテル等で海外からの旅行者を受付るシーンにおいて旅行者の本人確認などは、ドキュメントスキャナを受付窓口におき、パスポートやIDカードのような証明書をスキャンして顧客情報を取得することでホテル側での管理、セキュリティに役立てることが可能となる。
すなわち、証明書をスキャンした画像からOCR認識を実行し、顧客氏名などの本人情報を取得するというスキャナ利用シーンが存在する。
このような業務で使用される証明書は、いわゆる、Travel-Document(渡航文書)というものであり、おおむねMRZ(Machine Readable Zone)と呼ばれる、OCR専用の文字列領域(機械可読領域)を持っている。
Travel-Documentは、その原稿寸法、MRZ領域の位置、MRZの列数や文字数など、ICAO(International Civil Aviation Organization:国際民間航空機関)等、国際的に統一された規定を持っており、おおむね各国規定に従ったドキュメントとなっている。
旅行者が携帯し、窓口でよく使われる証明書としては、TD1(IDカード)やTD3(パスポート)があげられる(以降、TD1、TD3と表現する)。
しかし、TD1、TD3は 原稿のサイズやMRZ位置寸法等は規定された規格どおりであるが、背景のデザインや、カラー、MRZ以外の証明文字情報などの配置、色などは、各国自由なものとなっている。
また、窓口において本人認証は、基本的にはAd-hocな作業であり、オペレータがスキャナなどを用いる際、スキャン方向(原稿のセット方向)や向き(表裏の向き)を間違えるケースもありうる。
また、無人受付などを想定した場合は、旅行者自身がスキャナを操作すると、上記の一層スキャンミスを想定したガードを考慮する必要性がある。
また、受付業務においてスキャナの利用は、他業務でも用いられることを考えると、旅行者の受付の毎に、使用するスキャンモードを切り替えるなどの手間も発生する。
このような切り替え手間を省くには、トラベルドキュメントであることを自動で認識することが有効である。
また、窓口において本人認証は、基本的にはAd-hocな作業であり、オペレータがスキャナなどを用いる際、スキャン方向(原稿のセット方向)や向き(表裏の向き)を間違えるケースもありうる。
また、無人受付などを想定した場合は、旅行者自身がスキャナを操作すると、上記の一層スキャンミスを想定したガードを考慮する必要性がある。
また、受付業務においてスキャナの利用は、他業務でも用いられることを考えると、旅行者の受付の毎に、使用するスキャンモードを切り替えるなどの手間も発生する。
このような切り替え手間を省くには、トラベルドキュメントであることを自動で認識することが有効である。
図1は、画像処理システム1の全体構成を例示する図である。
図1に例示するように、画像処理システム1は、画像処理装置2及びスキャナ装置4を含み、ケーブル7を介して互いに接続している。なお、本例では、USBケーブルなどのケーブル7で接続する形態を具体例として説明するが、これに限定されるものではなく、例えば、無線により接続してもよい。また、スキャナ装置4の筐体内に、画像処理装置2の機能が内蔵されていてもよい。
画像処理装置2は、コンピュータ端末であり、スキャナ装置4により読み取られた画像データを処理する。具体的には、画像処理装置2は、スキャナ装置4により光学的に読み取られた画像データに関して、画像の向きを判定し、画像が正立するように画像データを回転処理する。
スキャナ装置4は、光学式の画像読取装置である。
図1に例示するように、画像処理システム1は、画像処理装置2及びスキャナ装置4を含み、ケーブル7を介して互いに接続している。なお、本例では、USBケーブルなどのケーブル7で接続する形態を具体例として説明するが、これに限定されるものではなく、例えば、無線により接続してもよい。また、スキャナ装置4の筐体内に、画像処理装置2の機能が内蔵されていてもよい。
画像処理装置2は、コンピュータ端末であり、スキャナ装置4により読み取られた画像データを処理する。具体的には、画像処理装置2は、スキャナ装置4により光学的に読み取られた画像データに関して、画像の向きを判定し、画像が正立するように画像データを回転処理する。
スキャナ装置4は、光学式の画像読取装置である。
図2及び図3は、トラベルドキュメントの自動認識処理における課題を説明する図である。
OCR処理に基づく向き判定方法では、文字列の抽出がカギになるが、TD1やTD3のMRZ領域では、以下のような判定ミスが発生することがあり、TD1やTD3に限って言及すると、向き判定精度は高くない。
すなわち、図2に例示するように、文字列の結合グループを縦/横で間違えるケースがある。文字列は文字が整然と並んでいる特徴でグルーピングするところ、MRZ領域では、図2に示すように、縦も横も どちらの方向も整然としているため間違えやすい。なお、MRZ領域における文字列の整然さは、文字数が決まっていること、及び、プロポーションフォントは使わないこと(文字間隔が一定)に起因している。
OCR処理に基づく向き判定方法では、文字列の抽出がカギになるが、TD1やTD3のMRZ領域では、以下のような判定ミスが発生することがあり、TD1やTD3に限って言及すると、向き判定精度は高くない。
すなわち、図2に例示するように、文字列の結合グループを縦/横で間違えるケースがある。文字列は文字が整然と並んでいる特徴でグルーピングするところ、MRZ領域では、図2に示すように、縦も横も どちらの方向も整然としているため間違えやすい。なお、MRZ領域における文字列の整然さは、文字数が決まっていること、及び、プロポーションフォントは使わないこと(文字間隔が一定)に起因している。
また、図3(A)に示すように、MRZ領域の“<”文字が多用される。この文字は、MRZ領域の文字において文字数を埋めるための補完用無効文字として使われる。“<”は、OCR処理で“VVV”や“^^^”と誤判断され、向き検出が誤判定になりやすい。
さらには、TD1やTD3は、個人証明書であるため、図3(B)に例示するように、文字の背景にデザイン模様等が多様に採用されるため、そもそも文字列を抽出しにくい。また、地紋除去を実施してOCR処理する場合には、処理時間が長大化する。
そこで、本実施形態の画像処理装置2は、スキャンされた画像データに関して、原稿種別を判定し、原稿種別に対応する判定アルゴリズムを用いて、画像データにおける画像の向きを判定する。判定アルゴリズムは、例えば、MRZ領域を探索するアルゴリズムと、OCR処理を実行するアルゴリズムである。
さらには、TD1やTD3は、個人証明書であるため、図3(B)に例示するように、文字の背景にデザイン模様等が多様に採用されるため、そもそも文字列を抽出しにくい。また、地紋除去を実施してOCR処理する場合には、処理時間が長大化する。
そこで、本実施形態の画像処理装置2は、スキャンされた画像データに関して、原稿種別を判定し、原稿種別に対応する判定アルゴリズムを用いて、画像データにおける画像の向きを判定する。判定アルゴリズムは、例えば、MRZ領域を探索するアルゴリズムと、OCR処理を実行するアルゴリズムである。
図4は、画像処理装置2のハードウェア構成を例示する図である。
図4に例示するように、画像処理装置2は、CPU200、メモリ202、HDD204、ネットワークインタフェース206(ネットワークIF206)、表示装置208、及び、入力装置210を有し、これらの構成はバス212を介して互いに接続している。
CPU200は、例えば、中央演算装置である。
メモリ202は、例えば、揮発性メモリであり、主記憶装置として機能する。
HDD204は、例えば、ハードディスクドライブ装置であり、不揮発性の記録装置としてコンピュータプログラム(例えば、図5の画像処理プログラム3)やその他のデータファイルを格納する。
ネットワークIF206は、有線又は無線で通信するためのインタフェースであり、例えば、スキャナ装置4との通信を実現する。
表示装置208は、例えば、液晶ディスプレイである。
入力装置210は、例えば、キーボード及びマウスである。
図4に例示するように、画像処理装置2は、CPU200、メモリ202、HDD204、ネットワークインタフェース206(ネットワークIF206)、表示装置208、及び、入力装置210を有し、これらの構成はバス212を介して互いに接続している。
CPU200は、例えば、中央演算装置である。
メモリ202は、例えば、揮発性メモリであり、主記憶装置として機能する。
HDD204は、例えば、ハードディスクドライブ装置であり、不揮発性の記録装置としてコンピュータプログラム(例えば、図5の画像処理プログラム3)やその他のデータファイルを格納する。
ネットワークIF206は、有線又は無線で通信するためのインタフェースであり、例えば、スキャナ装置4との通信を実現する。
表示装置208は、例えば、液晶ディスプレイである。
入力装置210は、例えば、キーボード及びマウスである。
図5は、画像処理装置2の機能構成を例示する図である。
図5に例示するように、画像処理装置2には、画像処理プログラム3がインストールされている。
画像処理プログラム3は、領域抽出部300、二値化部310、原稿種判定部320、アルゴリズム選択部330、角度選択部340、向き判定部350、元画像回転部360、及び表裏入替部370を有する。
なお、画像処理プログラム3の一部又は全部は、ASICなどのハードウェアにより実現されてもよく、また、OS(Operating System)の機能を一部借用して実現されてもよい。
図5に例示するように、画像処理装置2には、画像処理プログラム3がインストールされている。
画像処理プログラム3は、領域抽出部300、二値化部310、原稿種判定部320、アルゴリズム選択部330、角度選択部340、向き判定部350、元画像回転部360、及び表裏入替部370を有する。
なお、画像処理プログラム3の一部又は全部は、ASICなどのハードウェアにより実現されてもよく、また、OS(Operating System)の機能を一部借用して実現されてもよい。
画像処理プログラム3において、領域抽出部300は、スキャナ装置4によりスキャンされた画像データの中から、原稿に相当する画像領域を抽出する。例えば、原稿の領域外に対し、一定の背景色となる裏あて(単色)を持っており、領域抽出部300は、裏あて背景を含んだ画像から、原稿部分のみを抽出する。
また、領域抽出部300は、スキャンされた画像の中から、コンテンツに相当する領域(コンテンツ領域)を原稿部分として抽出してもよい。コンテンツ領域の周囲にマージン(余白)を付加した画像領域が、原稿領域と考えられるからである。この場合、トラベルドキュメントを複写したコピー原稿をスキャナ装置4でスキャンしたケースでも、コピー用紙の形状及び大きさではなく、トラベルドキュメントの形状及び大きさで画像を抽出することができる。
また、領域抽出部300は、スキャンされた画像の中から、コンテンツに相当する領域(コンテンツ領域)を原稿部分として抽出してもよい。コンテンツ領域の周囲にマージン(余白)を付加した画像領域が、原稿領域と考えられるからである。この場合、トラベルドキュメントを複写したコピー原稿をスキャナ装置4でスキャンしたケースでも、コピー用紙の形状及び大きさではなく、トラベルドキュメントの形状及び大きさで画像を抽出することができる。
二値化部310は、領域抽出部300により抽出された画像領域の画像データに対して、二値化処理を施して、二値画像を生成する。二値化処理の閾値は、例えば、地紋が除去でき、文字が残すことができる程度の濃度値である。
また、二値化部310は、領域抽出部300により抽出された画像領域の画像データに対して、二値化処理及び低解像度化処理を施して、元の画像から解像度を落した二値画像を生成してもよい。これにより、原稿種別の判別処理や画像の向き判定処理の処理負荷を抑えることができる。
また、二値化部310は、領域抽出部300により抽出された画像領域の画像データに対して、二値化処理及び低解像度化処理を施して、元の画像から解像度を落した二値画像を生成してもよい。これにより、原稿種別の判別処理や画像の向き判定処理の処理負荷を抑えることができる。
原稿種判定部320は、二値化部310により生成された二値画像を用いて、画像データの原稿種別を判定する。判定される原稿種別は、例えば、トラベルドキュメント(渡航文書)であるか否かである。本例の原稿種判定部320は、二値化部310により生成された二値画像の大きさ及び形状に基づいて、スキャン画像データの原稿がTD1のカードサイズ、TD3のパスポート見開きサイズ、又は、これら以外であることを判別する。
アルゴリズム選択部330は、画像の向きを判定する複数の判定アルゴリズムの中から、原稿種判定部320による判定結果に基づいて、適用する判定アルゴリズムを選択する。本例のアルゴリズム選択部330は、図7に例示するように、原稿種判定部320により原稿がTD1又はTD3であると判定された場合に、画像データを回転させながら、MRZ領域を探索するアルゴリズム(「アルゴ1」)を選択し、原稿種判定部320により原稿がTD1又はTD3以外であると判定された場合に、画像データを回転させながら、OCR処理を行うアルゴリズム(「アルゴ2」)を選択する。
角度選択部340は、原稿種判定部320により判定された原稿種別に対応する優先順位で、回転角度を選択する。本例の角度選択部340は、図7に例示するように、原稿種判定部320により判定された原稿種別と、領域抽出部300により抽出された領域の形状(縦横比)とに対応する優先順位で、回転角度を選択する。図7に例示するように、原稿がトラベルドキュメント(TD1又はTD3)である場合に、向き判定部350は、2つの回転角度で判定処理を完了できる。なお、原稿がトラベルドキュメント以外である場合には、向き判定部350は、既定の順序(0度、90度、180度、270度)で画像データを回転させることになる。
向き判定部350は、アルゴリズム選択部330により選択された判定アルゴリズムを用いて、画像データにおける画像の向きを判定する。本例の向き判定部350は、アルゴリズム選択部330により選択されたアルゴリズムに従って、角度選択部340により選択された回転角度で回転させた画像データに対して、MRZ領域の探索処理又はOCR処理を行って、画像データにおける画像の向きを判定する。
元画像回転部360は、向き判定部350による判定結果に応じて、スキャナ装置4から取得した元の画像データを回転させる。
表裏入替部370は、両面スキャンにより読み取られた複数の画像データが入力された場合に、向き判定部350による判定結果に基づいて、表裏画像の入れ替えを実施する。例えば、表裏入替部370は、両面スキャンにより読み取られた画像データの原稿が原稿種判定部によりTD1であると判定された場合に、図8に例示するように、向き判定部350によりMRZ領域が発見された画像データを裏面とするように、表裏画像の入れ替えを実施する。
表裏入替部370は、両面スキャンにより読み取られた複数の画像データが入力された場合に、向き判定部350による判定結果に基づいて、表裏画像の入れ替えを実施する。例えば、表裏入替部370は、両面スキャンにより読み取られた画像データの原稿が原稿種判定部によりTD1であると判定された場合に、図8に例示するように、向き判定部350によりMRZ領域が発見された画像データを裏面とするように、表裏画像の入れ替えを実施する。
図6は、画像処理装置2による画像処理(S10)を説明するフローチャートである。
図6に例示するように、ステップ100(S100)において、画像処理装置2(図5の画像処理プログラム3)は、スキャナ装置4によりスキャンされた画像データを取得する。
ステップ105(S105)において、画像処理プログラム3の二値化部310は、スキャナ装置4から取得した画像データに対して二値化処理を施して、二値画像を生成する。
ステップ110(S110)において、領域抽出部300は、二値化部310により生成された二値画像の中から、黒画素が既定量以上存在する領域をコンテンツ領域であると判定し、コンテンツ領域を抽出する。
図6に例示するように、ステップ100(S100)において、画像処理装置2(図5の画像処理プログラム3)は、スキャナ装置4によりスキャンされた画像データを取得する。
ステップ105(S105)において、画像処理プログラム3の二値化部310は、スキャナ装置4から取得した画像データに対して二値化処理を施して、二値画像を生成する。
ステップ110(S110)において、領域抽出部300は、二値化部310により生成された二値画像の中から、黒画素が既定量以上存在する領域をコンテンツ領域であると判定し、コンテンツ領域を抽出する。
ステップ115(S115)において、原稿種判定部320は、領域抽出部300により抽出されたコンテンツ領域の形状及び大きさに基づいて、画像データの原稿がTD1であるか、TD3であるか、又は、これら以外であるかを判定する。
ステップ120(S120)において、画像処理プログラム3は、原稿種判定部320により画像データの原稿がトラベルドキュメント(TD1又はTD3)であると判定された場合に、S125の処理に移行し、原稿がトラベルドキュメント以外であると判定された場合に、S135の処理に移行する。
ステップ120(S120)において、画像処理プログラム3は、原稿種判定部320により画像データの原稿がトラベルドキュメント(TD1又はTD3)であると判定された場合に、S125の処理に移行し、原稿がトラベルドキュメント以外であると判定された場合に、S135の処理に移行する。
ステップ125(S125)において、角度選択部340は、図7に例示するように、原稿種判定部320により判定された原稿種別(TD1又はTD3)と、領域抽出部300により抽出されたコンテンツ領域の縦横比とに基づいて、回転角度の優先順位を決定する。
ステップ30(S30)において、アルゴリズム選択部330は、画像データを回転させながらMRZ領域を探索して画像の向きを判定するアルゴリズム(アルゴ1)を選択し、向き判定部350は、選択されたアルゴリズムに従って、画像データにおける画像の向きを判定する。なお、画像データを回転させる代わりに、MRZの座標情報を回転させて探索してもよい。また、S30において、いずれの回転方向でもMRZ領域が発見されなかった場合に、S135に移行するようなフローとしてもよい。
ステップ30(S30)において、アルゴリズム選択部330は、画像データを回転させながらMRZ領域を探索して画像の向きを判定するアルゴリズム(アルゴ1)を選択し、向き判定部350は、選択されたアルゴリズムに従って、画像データにおける画像の向きを判定する。なお、画像データを回転させる代わりに、MRZの座標情報を回転させて探索してもよい。また、S30において、いずれの回転方向でもMRZ領域が発見されなかった場合に、S135に移行するようなフローとしてもよい。
ステップ135(S135)において、アルゴリズム選択部330は、画像データを回転させながらOCR処理を行って画像の向きを判定するアルゴリズム(アルゴ2)を選択し、向き判定部350は、選択されたアルゴリズムに従って、0度回転の画像データ、90度回転の画像データ、180度回転の画像データ、及び、270度回転の画像データに対して、OCR処理を行い、文字認識処理の確度に基づいて、画像の向きを判定する。
ステップ140(S140)において、元画像回転部360は、向き判定部350による判定結果に基づいて、スキャナ装置4から取得した元の画像データを回転させて、画像が正立した状態の画像データとする。
ステップ145(S145)において、表裏入替部370は、スキャナ装置4から両面スキャンされた画像データを取得し、かつ、原稿種判定部320によりTD1であると判定された場合に、S145の処理に移行し、これ以外の場合に、画像処理(S10)を終了する。
ステップ150(S150)において、表裏入替部370は、向き判定部350によりMRZ領域が発見された画像データを裏面の画像データとなるように、両面スキャンされた画像データの表裏(順序)を入れ替える。
ステップ145(S145)において、表裏入替部370は、スキャナ装置4から両面スキャンされた画像データを取得し、かつ、原稿種判定部320によりTD1であると判定された場合に、S145の処理に移行し、これ以外の場合に、画像処理(S10)を終了する。
ステップ150(S150)において、表裏入替部370は、向き判定部350によりMRZ領域が発見された画像データを裏面の画像データとなるように、両面スキャンされた画像データの表裏(順序)を入れ替える。
図9は、MRZ探索処理(S30)をより詳細に説明するフローチャートである。
図9に例示するように、ステップ300(S300)において、向き判定部350は、角度選択部340により決定された優先順位1の回転角度で、二値化部310により生成された二値画像を回転させる。なお、回転角度が0度である場合は、回転処理を実施せずスルーする。
ステップ305(S305)において、向き判定部350は、回転させた二値画像から、図10に例示するように、垂直方向の投影された黒画素のヒストグラムを生成する。
図9に例示するように、ステップ300(S300)において、向き判定部350は、角度選択部340により決定された優先順位1の回転角度で、二値化部310により生成された二値画像を回転させる。なお、回転角度が0度である場合は、回転処理を実施せずスルーする。
ステップ305(S305)において、向き判定部350は、回転させた二値画像から、図10に例示するように、垂直方向の投影された黒画素のヒストグラムを生成する。
ステップ310(S310)において、向き判定部350は、生成された垂直方向の投影ヒストグラムにおいて、図10に例示するように、画像の下側に、既定の間隔で既定行数の文字列の画素が存在するか否かを判断し、存在する場合に、S315の処理に移行し、存在しない場合に、S330の処理に移行する。既定行数とは、例えば、TD1の場合、3行であり、TD3の場合、2行である。
ステップ315(S315)において、向き判定部350は、画像の下側領域(既定行数の画素が存在する領域)に限定して、二値画像から、図10に例示するように、水平方向の投影された黒画素のヒストグラムを生成する。
ステップ320(S320)において、向き判定部350は、生成された水平方向の投影ヒストグラムにおいて、図10に例示するように、既定数の文字に相当する画素が存在するか否かを判断し、存在する場合に、S325の処理に移行し、存在しない場合に、S330の処理に移行する。既定数とは、例えば、TD1の場合、30文字であり、TD3の場合、44文字である。
ステップ320(S320)において、向き判定部350は、生成された水平方向の投影ヒストグラムにおいて、図10に例示するように、既定数の文字に相当する画素が存在するか否かを判断し、存在する場合に、S325の処理に移行し、存在しない場合に、S330の処理に移行する。既定数とは、例えば、TD1の場合、30文字であり、TD3の場合、44文字である。
ステップ325(S325)において、向き判定部350は、MRZ領域が存在すると判定し、二値画像を回転させた角度に基づいて、画像の向きを決定する。
ステップ330(S330)において、向き判定部350は、角度選択部340により決定された次の優先順位の回転角度が存在する場合に、S300の処理に戻り、次の優先順位の回転角度でS300~S325の処理を実行する。向き判定部350は、角度選択部340により決定された次の優先順位の回転角度が存在しない場合に、S335の処理に移行する。
ステップ335(S335)において、向き判定部350は、MRZ領域が存在しないと判定する。
ステップ330(S330)において、向き判定部350は、角度選択部340により決定された次の優先順位の回転角度が存在する場合に、S300の処理に戻り、次の優先順位の回転角度でS300~S325の処理を実行する。向き判定部350は、角度選択部340により決定された次の優先順位の回転角度が存在しない場合に、S335の処理に移行する。
ステップ335(S335)において、向き判定部350は、MRZ領域が存在しないと判定する。
以上説明したように、本実施形態の画像処理システム1によれば、スキャナ装置4によりスキャンされた画像データの原稿種別を判定し、原稿種別に対応するアルゴリズムを用いて、画像データにおける画像の向きを判定することができる。特に、原稿種別がトラベルドキュメントであるか否かに応じてアルゴリズムを切り替えることにより、図2及び図3に例示するような誤判定を避けて、判定精度を向上させることができる。
(変形例)
次に、上記実施形態の変形例を説明する。
図11は、原稿種判定部320の変形例を説明する図である。
図11に例示するように、変形例の原稿種判定部320は、MRZ探索部322を含む。MRZ探索部322は、図9と同様の処理によって、MRZ領域の有無を判定する。変形例の原稿種判定部320は、MRZ探索部322による探索結果に基づいて、原稿種別を判定する。
次に、上記実施形態の変形例を説明する。
図11は、原稿種判定部320の変形例を説明する図である。
図11に例示するように、変形例の原稿種判定部320は、MRZ探索部322を含む。MRZ探索部322は、図9と同様の処理によって、MRZ領域の有無を判定する。変形例の原稿種判定部320は、MRZ探索部322による探索結果に基づいて、原稿種別を判定する。
また、上記実施形態では、原稿がトラベルドキュメントである場合に、向き判定部350は、MRZ領域を探索して、画像の向きを判定しているが、これに限定されるものではなく、例えば、罫線構造を解析して、画像の向きを判定してもよい。
また、回転角度の優先順位は、スキャナ装置4への原稿セットの傾向を加味して、最も確率の高い方から順に優先度を決定してもよく、例えば、スキャナ装置4に原稿セット方法を表示する刻印やシールが付されている場合は、その方向の優先順位を1としてもよい。
また、回転角度の優先順位は、スキャナ装置4への原稿セットの傾向を加味して、最も確率の高い方から順に優先度を決定してもよく、例えば、スキャナ装置4に原稿セット方法を表示する刻印やシールが付されている場合は、その方向の優先順位を1としてもよい。
1…画像処理システム
2…画像処理装置
3…画像処理プログラム
4…スキャナ装置
300…領域抽出部
310…二値化部
320…原稿種判定部
330…アルゴリズム選択部
340…角度選択部
350…向き判定部
360…元画像回転部
370…表裏入替部
2…画像処理装置
3…画像処理プログラム
4…スキャナ装置
300…領域抽出部
310…二値化部
320…原稿種判定部
330…アルゴリズム選択部
340…角度選択部
350…向き判定部
360…元画像回転部
370…表裏入替部
Claims (10)
- 光学的に読み取られた画像データに関して原稿種別を判定する原稿種判定部と、
画像の向きを判定する複数の判定アルゴリズムの中から、前記原稿種判定部による判定結果に基づいて、適用する判定アルゴリズムを選択する選択部と、
前記選択部により選択された判定アルゴリズムを用いて、前記画像データにおける画像の向きを判定する向き判定部と
を有する画像処理装置。 - 前記画像データの中から、原稿に相当する画像領域を抽出する領域抽出部
をさらに有し、
前記原稿種判定部は、前記領域抽出部により抽出された画像領域の大きさ又は形状に基づいて、原稿種別を判定する
請求項1に記載の画像処理装置。 - 前記画像データの中から、国際民間航空機関により定義された機械可読領域を探索するMRZ探索部
をさらに有し、
前記原稿種判定部は、前記MRZ探索部による探索結果に基づいて、原稿種別を判定する
請求項1に記載の画像処理装置。 - 前記原稿種判定部は、前記画像データの原稿が渡航文書であるか否かを判定し、
前記選択部は、前記原稿種判定部により前記画像データの原稿が渡航文書であると判定された場合に、前記画像データを90度回転させながら、機械可読領域を探索する判定アルゴリズムを選択する
請求項2に記載の画像処理装置。 - 前記選択部は、前記原稿種判定部により前記画像データの原稿が渡航文書ではないと判定された場合に、前記画像データを90度、180度、又は270度回転させて、光学文字認識処理を行う判定アルゴリズムを選択する
請求項4に記載の画像処理装置。 - 前記領域抽出部により抽出された画像領域の画像データに対して、二値化処理を施して、二値画像を生成する二値化部
をさらに有し、
前記原稿種判定部は、前記二値化部により生成された二値画像を用いて、原稿種別を判定し、
前記向き判定部は、前記二値化部により生成された二値画像を用いて、前記画像データにおける画像の向きを判定し、
前記向き判定部による判定結果に応じて、前記画像データを回転させる元画像回転部
をさらに有する請求項5に記載の画像処理装置。 - 両面スキャンにより読み取られた複数の画像データが入力された場合に、前記向き判定部による判定結果に基づいて、表裏画像の入れ替えを実施する表裏入替部
をさらに有する請求項6に記載の画像処理装置。 - 前記原稿種判定部により判定された原稿種別に対応する優先順位で、回転角度を選択する角度選択部
をさらに有し、
前記向き判定部は、前記角度選択部により選択された回転角度で回転させた画像データに基づいて、画像の向きを判定する
請求項1又は4に記載の画像処理装置。 - 光学的に読み取られた画像データに関して原稿種別を判定する原稿種判定ステップと、
画像の向きを判定する複数の判定アルゴリズムの中から、前記原稿種判定ステップによる判定結果に基づいて、適用する判定アルゴリズムを選択する選択ステップと、
前記選択ステップにより選択された判定アルゴリズムを用いて、前記画像データにおける画像の向きを判定する向き判定ステップと
を有する画像処理方法。 - 光学的に読み取られた画像データに関して原稿種別を判定する原稿種判定ステップと、
画像の向きを判定する複数の判定アルゴリズムの中から、前記原稿種判定ステップによる判定結果に基づいて、適用する判定アルゴリズムを選択する選択ステップと、
前記選択ステップにより選択された判定アルゴリズムを用いて、前記画像データにおける画像の向きを判定する向き判定ステップと
をコンピュータに実行させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021075562A JP2022169874A (ja) | 2021-04-28 | 2021-04-28 | 画像処理装置、画像処理方法、及びプログラム |
US17/711,792 US11722615B2 (en) | 2021-04-28 | 2022-04-01 | Image processing including adjusting image orientation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021075562A JP2022169874A (ja) | 2021-04-28 | 2021-04-28 | 画像処理装置、画像処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022169874A true JP2022169874A (ja) | 2022-11-10 |
Family
ID=83807927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021075562A Pending JP2022169874A (ja) | 2021-04-28 | 2021-04-28 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11722615B2 (ja) |
JP (1) | JP2022169874A (ja) |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030099379A1 (en) * | 2001-11-26 | 2003-05-29 | Monk Bruce C. | Validation and verification apparatus and method |
EP2320390A1 (en) * | 2009-11-10 | 2011-05-11 | Icar Vision Systems, SL | Method and system for reading and validation of identity documents |
US8619340B2 (en) * | 2010-10-29 | 2013-12-31 | Xerox Corporation | Augmenting page orientation direction detection in a digital document processing environment |
JP6171165B2 (ja) | 2012-09-30 | 2017-08-02 | 日本電産サンキョー株式会社 | 運転免許証読取装置及び運転免許証読取方法 |
JP6161484B2 (ja) | 2013-09-19 | 2017-07-12 | 株式会社Pfu | 画像処理装置、画像処理方法及びコンピュータプログラム |
WO2016061292A1 (en) * | 2014-10-17 | 2016-04-21 | SimonComputing, Inc. | Method and system for imaging documents in mobile applications |
US9779296B1 (en) * | 2016-04-01 | 2017-10-03 | Kofax, Inc. | Content-based detection and three dimensional geometric reconstruction of objects in image and video data |
CN110073418B (zh) * | 2016-12-16 | 2021-08-06 | 松下知识产权经营株式会社 | 门禁系统控制装置以及门禁系统的控制方法 |
JP2019179342A (ja) | 2018-03-30 | 2019-10-17 | 日本電産サンキョー株式会社 | 画像処理装置および画像処理方法 |
JP2020086847A (ja) | 2018-11-22 | 2020-06-04 | 株式会社Pfu | 画像処理装置、制御方法及び制御プログラム |
JP2022147074A (ja) * | 2021-03-23 | 2022-10-06 | 株式会社リコー | 画像処理装置、画像処理方法およびプログラム |
-
2021
- 2021-04-28 JP JP2021075562A patent/JP2022169874A/ja active Pending
-
2022
- 2022-04-01 US US17/711,792 patent/US11722615B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11722615B2 (en) | 2023-08-08 |
US20220353383A1 (en) | 2022-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4525787B2 (ja) | 画像抽出装置、及び画像抽出プログラム | |
US8213687B2 (en) | Image processing methods, image processing systems, and articles of manufacture | |
JP5620244B2 (ja) | 画像比較および文書認証のための画像位置合わせの方法及びプログラム | |
US7751648B2 (en) | Image processing apparatus, image processing method, and computer program | |
EP2974261A2 (en) | Systems and methods for classifying objects in digital images captured using mobile devices | |
CN109845237A (zh) | 图像形成设备、图像形成设备的扫描图像校正方法以及非暂时性计算机可读记录介质 | |
JP6122988B1 (ja) | 画像処理装置、画像処理方法、および、プログラム | |
JP4380733B2 (ja) | 原稿の複写履歴を管理する装置及びその方法 | |
US9818028B2 (en) | Information processing apparatus for obtaining a degree of similarity between elements | |
JP2018128825A (ja) | 画像処理装置及び画像処理プログラム | |
JP4893643B2 (ja) | 検出方法および検出装置 | |
JP2022169874A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
WO2020183628A1 (ja) | 画像処理装置、画像読取装置、画像処理方法、及びプログラム | |
CN110991451B (zh) | 扫描图像的卡片区域图像的校正方法及装置 | |
JP4552757B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
JP2014120832A (ja) | 画像処理装置及び画像処理プログラム | |
US11087448B2 (en) | Apparatus, method, and non-transitory recording medium for a document fold determination based on the change point block detection | |
US20200396346A1 (en) | Character line division apparatus and method, and storage medium | |
JP2008186256A (ja) | 文書処理装置、文書処理方法、コンピュータプログラム | |
JP2009272714A (ja) | 画像処理装置、画像処理方法、プログラム及びプログラムを記録した記録媒体 | |
JP2022019257A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6950237B2 (ja) | コンピュータプログラム及び画像処理装置 | |
JP2022019253A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2004336219A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP2021144673A (ja) | 画像処理装置、画像処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20221118 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240401 |