JP2021117609A

JP2021117609A - 画像処理装置、及びプログラム

Info

Publication number: JP2021117609A
Application number: JP2020009374A
Authority: JP
Inventors: 淳榊原; Atsushi Sakakibara
Original assignee: Toshiba TEC Corp
Current assignee: Toshiba TEC Corp
Priority date: 2020-01-23
Filing date: 2020-01-23
Publication date: 2021-08-10
Anticipated expiration: 2040-01-23
Also published as: JP7374003B2

Abstract

【課題】ユーザにとっての利便性を向上させることができる画像処理装置、及びプログラムを提供することである。【解決手段】画像処理装置は、第１文字認識部と、回転処理部と、第２文字認識部と、保存処理部とを持つ。第１文字認識部は、シートに記載された文字画像に対して正立処理が行われた文字画像を文字認識する。回転処理部は、前記第１文字認識部によって文字認識されない文字画像を回転処理する。第２文字認識部は、前記回転処理部によって回転処理された文字画像を文字認識する。保存処理部は、前記第１文字認識部の文字認識によって得られた文字情報と、前記第２文字認識部の文字認識によって得られた文字情報とを、前記シートに記載された文字画像の文字情報として一のファイルに保存させる。【選択図】図４

Description

本発明の実施形態は、画像処理装置、及びプログラムに関する。

近年、印刷された文字を、コンピュータが利用可能な文字コードに変換するＯＣＲ（Optical Character Reader）処理を行う画像処理装置が普及している。例えば、名刺やカードに記載された文字を読み取って、テキストデータのファイルを作成することなどが行われている。関連する技術として、名刺やカードから読み取った画像から矩形画像を切り出して、矩形画像の天地を判定して回転させるようにすることが知られている。

しかしながら、シートの書字方向とは異なる方向に記載された文字があると、当該文字を認識することができないことがあるため、当該文字の文字情報が欠落したファイルが作成されてしまうことがあった。これにより、ユーザが当該文字の文字情報を得るには、ユーザ自身でシートを見直す必要が生じてしまうなど、ユーザにとって利便性が低いことがあった。

特開２０１３−０２６８３９号公報

本発明が解決しようとする課題は、ユーザにとっての利便性を向上させることができる画像処理装置、及びプログラムを提供することである。

実施形態の画像処理装置は、第１文字認識部と、回転処理部と、第２文字認識部と、保存処理部とを持つ。第１文字認識部は、シートに記載された文字画像に対して正立処理が行われた文字画像を文字認識する。回転処理部は、前記第１文字認識部によって文字認識されない文字画像を回転処理する。第２文字認識部は、前記回転処理部によって回転処理された文字画像を文字認識する。保存処理部は、前記第１文字認識部の文字認識によって得られた文字情報と、前記第２文字認識部の文字認識によって得られた文字情報とを、前記シートに記載された文字画像の文字情報として一のファイルに保存させる。

実施形態の画像処理装置のハードウェア構成の一例を示す説明図。文字画像に対する正立処理の一例を示す説明図。横書き文字の文字認識の一例を示す説明図。画像処理装置の機能的構成の一例を示す説明図。画像処理装置が行う名刺ファイルの作成処理の一例を示すフローチャート。

実施形態の画像処理装置は、文字情報に欠落が生じたファイルの作成を抑えることが可能である。以下、実施形態の画像処理装置について詳細に説明する。以下の説明では、同一又は類似の機能を有する構成に同一の符号を付す。また、重複した構成の説明は省略する場合がある。

先ず、図１を用いて、実施形態の画像処理装置１０の構成について説明する。図１は、実施形態の画像処理装置１０のハードウェア構成の一例を示す説明図である。本実施形態の画像処理装置１０は、例えば、画像形成装置を備えたＭＦＰ（Multifunction Peripheral）によって実現される。但し、画像処理装置１０は、パソコン、スマートフォン、タブレット装置などのコンピュータ装置によって実現されてもよい。

図１において、画像処理装置１０は、ＣＰＵ（Central Processing Unit）１１と、メモリ１２と、記憶媒体Ｉ／Ｆ（Interface）１３と、記憶媒体１４と、入力デバイス１５と、出力デバイス１６と、通信Ｉ／Ｆ１７とを備える。画像処理装置１０が備える各部１１〜１７は、バス２０によってそれぞれ接続されている。

ＣＰＵ１１は、画像処理装置１０の全体の制御をつかさどる。メモリ１２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）およびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが本実施形態に係る画像処理プログラムなどの各種プログラムを記憶する。ＲＡＭは、ＣＰＵ１１のワークエリアとして使用される。メモリ１２に記憶されるプログラムは、ＣＰＵ１１にロードされることで、コーディングされている処理をＣＰＵ１１に実行させる。

なお、本実施形態では、ＣＰＵ１１がプログラムを実行することにより本実施形態に係る画像処理を行うこととしているが、これに限らない。例えば、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）を用いて本画像処理を行うことも可能であるし、ソフトウェアとハードウェアの協働により本画像処理を行うことも可能である。

また、プログラムは、予めＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよい。また、プログラムは、ＤＶＤやＣＤ−ＲＯＭなどの着脱可能な記憶媒体１４（非一過性の記憶媒体）に格納されており、記憶媒体１４が記憶媒体Ｉ／Ｆ１３に装着されることでインストールされてもよい。

記憶媒体Ｉ／Ｆ１３は、ＣＰＵ１１の制御にしたがって記憶媒体１４に対するデータのリード／ライトを制御する。記憶媒体Ｉ／Ｆ１３は、例えば、ディスクドライブ、ＳＳＤ（Solid State Drive）、ＵＳＢ（Universal Serial Bus）ポートなどである。記憶媒体１４は、記憶媒体Ｉ／Ｆ１３の制御で書き込まれたデータを記憶する不揮発メモリである。具体的には、記憶媒体１４は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記憶媒体１４は、画像処理装置１０から着脱可能であってもよい。

入力デバイス１５は、画像読取装置、コントロールパネル、及びタッチパネルを含む。画像読取装置は、シートに記載された画像を読み取るスキャナ機能を有する。入力デバイス１５は、文字、数字、各種指示などのデータの入力を行う。なお、入力デバイス１５は、キーボードやマウスなどを含んでもよい。また、入力デバイス５４は、音声を入力するマイクや、撮像対象を撮像するカメラを含んでもよい。

出力デバイス１６は、例えば、プリンタ部や、自動原稿送り装置や、画像を表示するディスプレイや、音声を出力するスピーカなどを含む。プリンタ部は、例えば、トナー式のプリンタ部であってもよいし、インクジェット式のプリンタ部であってもよい。自動原稿送り装置は、載置部に載置された読み取り対象のシートを連続して画像読取装置に送り出す。

通信Ｉ／Ｆ１７は、通信回線を通じてネットワーク３０に接続され、ネットワーク３０を介して、例えばパソコンなどの他の装置に接続される。通信Ｉ／Ｆ１７は、ネットワーク３０と内部のインターフェースを司り、他の装置からのデータの入出力を制御する。通信Ｉ／Ｆ１７には、例えば、モデムやＬＡＮアダプタなどを採用することができる。ネットワーク３０は、例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネットなどである。

（文字画像に対する正立処理の一例）
次に、文字画像に対する正立処理の一例について説明する。なお、本実施形態において、正立処理や、画像を読み取る読取処理は、画像処理装置１０によって行われる。ただし、これに限らず、正立処理や読取処理は、他の装置によって行われてもよい。すなわち、画像処理装置１０は、他の装置によって行われた正立処理の結果や読取処理の結果を、当該他の装置から取得するようにしてもよい。

ここで、文字画像の正立方向と、書字方向について説明する。文字画像の正立方向とは、その文字画像が文字として認識できる方向である。例えば、「Ｈ」という文字画像は、正立方向に沿っていれば「Ｈ」という文字として認識できるが、正立方向から９０度傾くと「Ｈ」でなく「Ｉ」や「エ」という文字として認識されてしまう場合がある。また、例えば、「ｍ」という文字画像は正立方向に沿っていれば「ｍ」という文字として認識できるが、正立方向から１８０度傾くと「ｍ」でなく「ｗ」という文字として認識されてしまう場合がある。

書字方向とは、縦書きや横書きといった、単語をなす一連の文字群が並ぶ方向である。正立方向のアルファベット文字で構成する単語における書字方向は、一連の文字群が左から右へ横方向にならぶ横書きであるのが一般的である。正立方向の漢字で構成する単語における書字方向は、縦書きであれば一連の文字群が上から下へ縦方向にならび、横書きであれば一連の文字群が左から右へ横方向にならぶのが、現代の日本では一般的である。

図２は、文字画像に対する正立処理の一例を示す説明図である。図２では、シートを縦書きの名刺２００とした場合について説明する。図２（Ａ）に示すように、名刺２００には、部署名２０１と、氏名２０２と、会社名２０３と、住所２０４と、電話番号２０５と、ＦＡＸ２０６と、メールアドレス２０７とが記載されている。なお、見出し２２０には、例えば、会社のロゴやマークや、株式会社であれば株式会社を外した会社の名称などが記載される。この見出し２２０は、例えば、文字認識の対象外として、予め設定されているものとするが、文字認識の対象としてもよい。

ここで、名刺２００に記載されている画像は、自動原稿送り装置への名刺２００の置き方によっては上下が逆転した画像として読み取られることになる。図２（Ａ）と図２（Ｃ）とは、それぞれ置き方が逆の場合を示している。

図２（Ａ）は、画像読取装置が名刺２００を読み取った際の、上下が合っている場合の読取結果を示す。画像処理装置１０は、読取結果を取得すると、図２（Ｂ）に示すように、画像処理装置１０は、読み取った画像情報から、文字が連続して記載されている矩形領域２１１ａ〜２１７ａを行情報として抽出する。

例えば、矩形領域２１１ａが示す行情報は、「開発部第二担当」の上下が合った行情報である。次に、画像処理装置１０は、行情報を一文字ごとの文字部分に分離し、先頭文字を特定する。具体的には、画像処理装置１０は、例えば、矩形領域２１１ａが示す行情報であれば、「開」、「発」、「部」、「第」、「二」、「担」、「当」の一文字ごとの文字部分に分離し、先頭文字２２０ａである「開」を特定する。

そして、画像処理装置１０は、先頭文字２２０ａにＯＣＲ（Optical Character Reader）処理を行う。ＯＣＲ処理により、先頭文字２２０ａは「開」であると文字認識される。具体的には、ＯＣＲ処理により、先頭文字２２０ａは「開」を示す文字情報（例えば、文字コード）が得られる。これにより、画像処理装置１０は、図２（Ａ）に示した名刺２００の置き方については上下が合っているものと判断し、正立処理を完了する。

一方で、図２（Ｃ）は、画像読取装置が名刺２００を読み取った際の、上下が合っていない場合の読取結果を示す。この場合も、画像処理装置１０は、図２（Ｂ）と同様に行情報を抽出する。具体的には、図２（Ｄ）に示すように、画像処理装置１０は、読み取った画像情報から、文字が連続して記載されている矩形領域２１１ｂ〜２１７ｂを行情報として抽出する。例えば、矩形領域２１１ｂが示す行情報は、「開発部第二担当」が逆さになった行情報ある。次に、画像処理装置１０は、行情報を一文字ごとの文字部分に分離し、先頭文字を特定する。例えば、矩形領域２１１ｂが示す行情報の先頭文字２２０ｂは、「当」が逆さになった文字である。

そして、画像処理装置１０は、例えば、先頭文字２２０ｂにＯＣＲ処理を行う。先頭文字２２０ｂは、「当」が逆さになった文字であるため、ＯＣＲ処理によって文字認識されない。具体的には、ＯＣＲ処理により、先頭文字２２０ｂの文字情報（例えば、文字コード）が得られない。これにより、画像処理装置１０は、図２（Ｃ）に示した名刺２００の置き方については上下が合っていないものと判断する。

そこで、画像処理装置１０は、読み取った画像を１８０度回転処理させ、正立処理を完了する。これにより、画像処理装置１０は、図２（Ｂ）に示した読取結果と同様の画像情報を得ることができる。したがって、画像処理装置１０は、図２（Ｃ）に示した上下が合っていない置き方であっても、文字認識することが可能になる。

なお、図２では、縦書きの名刺２００の正立処理について説明したが、当該正立処理の前提として、画像処理装置１０は、縦書きの名刺２００であるか、横書きの名刺であるかについて判別する。具体的には、画像処理装置１０は、矩形領域２１１ａ〜２１７ａのそれぞれの配置位置に基づいて、縦書きの名刺２００であるか、横書きの名刺であるかを判別してもよい。

また、矩形領域の先頭文字を、９０度ずつ回転させてＯＣＲ処理を行うことにより、縦書きの名刺２００または横書きの名刺の判別と、正立処理とを行うことも可能である。具体的には、例えば、図２（Ａ）に示す名刺２００の配置を０度とすると、仮に、矩形領域の先頭文字を左方向に９０度回転させてＯＣＲ処理を行って文字認識した場合、横書きの名刺であると判別できるとともに、横書きの名刺に対する正立処理も完了する。

（横書き文字の文字認識について）
次に、図３を用いて、名刺２００に記載される横書き文字の文字認識について説明する。図３は、横書き文字の文字認識の一例を示す説明図である。図３（Ａ）に示すように、正立処理を終えると、図２（Ｂ）に示した画像情報について、縦書き方向のＯＣＲ処理を行う。これにより、矩形領域２１１ａ〜２１７ａに示す行情報の各文字画像を文字認識することができる。

ここで、矩形領域２１７ａに示す行情報は、メールアドレスであり、縦書き領域３０１と、横書き領域３０２とを含む。縦書き領域３０１に示す「メール」の文字は、縦書き方向のＯＣＲ処理によって文字認識される。一方で、横書き領域３０２に示す「Taro_Tokyo@daiichi.co.jp」は、アルファベットが横になって並んだ文字であるため、縦書き方向のＯＣＲ処理を行ったとしても文字認識されない。

そこで、画像処理装置１０は、図３（Ｂ）に示すように、文字認識されない横書き領域３０２を抽出する。さらに、画像処理装置１０は、図３（Ｃ）に示すように、横書き領域３０２の画像を左方向に略９０度回転処理させる。これにより、横書き領域３０２の画像を、横書き文字画像３０３とすることができる。そして、横書き文字画像３０３に対して横書き方向のＯＣＲ処理することにより、横書き領域３０２に記載された画像が「Taro_Tokyo@daiichi.co.jp」であると文字認識される。具体的には、横書き方向のＯＣＲ処理によって、「Taro_Tokyo@daiichi.co.jp」の各文字に対応する文字情報（例えば、文字コード）が得られる。

図３（Ｄ）は、名刺２００に記載された文字情報として保存される名刺ファイル３３０を示す。名刺ファイル３３０は、矩形領域２１１ａ〜２１７ａに示す各行情報の各文字が縦書き文字に対するＯＣＲ処理によって文字認識された文字情報と、横書き文字画像３０３が横書き文字に対するＯＣＲ処理によって文字認識された文字情報とを含む。これにより、画像処理装置１０は、名刺２００に記載された文字の文字情報を欠落なく得ることができる。

なお、図２（Ｂ）に示した正立処理では、矩形領域２１１ａの一の先頭文字２２０ａに対してのみ、ＯＣＲ処理を行うようにした。ただし、正立処理では、矩形領域２１１ａ以外の矩形領域２１２ａ〜２１７ａに示す各行情報の先頭文字に対しても、それぞれＯＣＲ処理を行うようにしてもよい。また、矩形領域２１１ａ〜２１７ａのうち、予め定めたいずれか一つまたは複数の先頭文字に対して、ＯＣＲ処理を行うようにしてもよい。

複数の先頭文字に対して、ＯＣＲ処理を行うことにより、正立処理の精度を向上させることができる。具体的に補足すると、仮に、一の先頭文字が、例えば、「田」や「口」といった、上下方向のいずれの方向からも文字認識されてしまう文字であったとする。この場合、ＯＣＲ処理を行ったとしても、上下の判別ができないこととなる。このため、一の先頭文字のみならず、他の先頭文字に対してもＯＣＲ処理を行うことにより、正立処理を適切に行うことができる。

なお、図２に示した正立処理において上下が合っていなかった場合でも、図３に示した文字全体に対するＯＣＲ処理の後に、再度正立処理を行うことは可能である。具体的には、文字画像の上下が合っておらずに、文字全体に対するＯＣＲ処理を行うと、ほとんどの文字が文字認識されない。ほとんどの文字が文字認識されない場合、正立処理が適正ではなかったものと判断して、全ての文字画像を１８０度回転させて、正立処理を再度行うことも可能である。

（画像処理装置１０の機能的構成について）
次に、図４を用いて、画像処理装置１０の機能的構成について説明する。図４は、画像処理装置１０の機能的構成の一例を示す説明図である。図４に示すように、画像処理装置１０は、正立処理部４０１と、第１文字認識部４０２と、回転処理部４０３と、第２文字認識部４０４と、保存処理部４０５とを備える。各部４０１〜４０５は、ＣＰＵ１１によって実現される。すなわち、ＣＰＵ１１がメモリ１２に記憶されている画像処理プログラムを実行することにより、各部４０１〜４０５の機能を実現する。

まず、本実施形態において、シートは、縦書きの名刺２００である。ただし、シートは、縦書きの名刺２００に限らず、書字方向とは異なる書字方向の文字が一部に含まれるシートであればよい。具体的には、シートは、書字方向が横書きであれば、一部に縦書きの文字が含まれるシートであってもよい。また、シートのサイズは、名刺サイズに限らず、一般的な用紙のサイズ（例えば、Ａ４サイズやＢ５サイズなど）であってもよい。

正立処理部４０１は、名刺２００に記載された文字を正立処理する。正立処理について、具体的に説明すると、正立処理部４０１は、画像読取装置によって読み取られた画像情報の中から、文字が連続して記載されている領域を抽出する。本実施形態において、文字が連続して記載されている領域は、行（行情報）を示す領域である。正立処理部４０１は、抽出した領域（行情報）の中から、先頭文字をＯＣＲ処理することによって文字画像の正立を確定させる。正立処理部４０１は、正立処理を行った文字画像の情報を第１文字認識部４０２に出力する。

第１文字認識部４０２は、名刺２００に記載された文字画像に対して正立処理が行われた文字画像を文字認識する。具体的には、第１文字認識部４０２は、正立処理が行われた文字画像の全体にＯＣＲ処理を行う。第１文字認識部４０２による文字認識によって、名刺２００上のほとんどの文字は、文字認識される。本実施形態において、第１文字認識部４０２は、縦書き文字に対するＯＣＲ処理を行う。

第１文字認識部４０２は、文字認識を行うと、文字認識によって得られた文字情報を保存処理部４０５に出力する。全ての文字画像が第１文字認識部４０２によって文字認識されると、保存処理部４０５は、第１文字認識部４０２の文字認識によって得られた文字情報を、名刺２００に記載された文字の文字情報として一のファイルに保存させる。保存処理部４０５は、保存したファイルをメモリ１２または記憶媒体１４に記憶させる。

一方で、第１文字認識部４０２によって文字認識されない文字画像がある場合、第１文字認識部４０２は、当該文字画像の情報を回転処理部４０３に出力する。なお、第１文字認識部４０２によって文字認識されない文字画像は、具体的には、横書きの文字画像である。

回転処理部４０３は、第１文字認識部４０２によって文字認識されない文字画像を回転処理する。回転処理する角度は、第２文字認識部４０４が当該文字を読み取り可能となる角度であればよい。具体的には、回転処理部４０３は、第１文字認識部４０２によって文字認識されなかった文字画像を、名刺２００の書字方向に略直交する方向に回転させる。略直交する方向に回転させるとは、例えば、左方向に９０度回転させることである。ただし、回転させる角度は、９０度に限らず、９０度以外の角度（例えば、８９度や９１度など）であってもよい。

第２文字認識部４０４は、回転処理部４０３によって回転処理された文字画像を文字認識する。具体的には、第２文字認識部４０４は、回転処理された文字画像にＯＣＲ処理を行う。本実施形態において、第２文字認識部４０４による文字認識は、第１文字認識部４０２によるＯＣＲ処理における書字方向とは異なる書字方向（横書き）に対するＯＣＲ処理によって行われる。第２文字認識部４０４は、文字認識を行うと、文字認識によって得られた文字情報を保存処理部４０５に出力する。

保存処理部４０５は、第１文字認識部４０２の文字認識によって得られた文字情報と、第２文字認識部４０２の文字認識によって得られた文字情報とを、名刺２００に記載された文字の文字情報として一のファイルに保存させる。なお、一のファイルは、シートに記載された文字の文字情報を、シートごとにリスト化したファイルである。本実施形態において、一のファイルは、名刺ファイル３３０（図３（Ｄ）参照）である。

ここで、名刺２００（縦書きの名刺）において、横書きの文字が名刺２００の下方向から上方向に向けて記載されている場合が想定される。この場合、文字画像を左方向に略９０度回転させたとしても、第２文字認識部４０４が当該文字画像を文字認識できないことがある。言い換えれば、第１文字認識部４０２によって文字認識されない文字画像が回転処理部４０３によって左方向に略９０度回転させる回転処理が行われたとしても、第２文字認識部４０４によって当該文字画像が文字認識されないことがある。

この場合、回転処理部４０３は、さらに、当該文字画像を略１８０度回転させる回転処理を行う。これにより、回転処理部４０３は、当該文字画像を、当初の角度（０度）から左方向に略２７０度（右方向に９０度）回転させることになる。略１８０度とは、例えば、１８０度であるが、第２文字認識部４０４が当該文字を読み取り可能となる角度であれば、必ずしも１８０度に限らない。例えば、略１８０度とは、１８０度以外の角度（例えば、１７９度や１８１度など）であってもよい。

なお、本実施形態において、第１文字認識部４０２によって文字認識されない文字画像が回転処理部４０３によって回転処理される方向は、左方向とするが、これに限らず、右方向としてもよい。具体的には、例えば、回転処理部４０３は、第１文字認識部４０２によって文字認識されない文字画像を、右方向に略２７０度回転させてもよい。このようにしても、当該文字画像を、左方向に略９０度回転させた場合と同様の角度だけ回転させることができる。

また、本実施形態において、第１文字認識部４０２は、名刺２００に記載された文字画像を領域ごとに分けて文字認識する。具体的には、第１文字認識部４０２は、文字画像を行情報ごとに分けて文字認識する。また、回転処理部４０３は、各領域内の文字画像のうち、第１文字認識部４０２によって文字認識されない一部の文字画像を回転させる。具体的には、回転処理部４０３は、図３に示した、矩形領域２１７ａに示す行情報の文字画像のうち、横書き領域３０２の文字画像を回転処理させる。一方で、回転処理部４０３は、図３に示した、矩形領域２１７ａに示す行情報の文字画像のうち、縦書き領域３０１の文字画像については回転処理させない。

また、本実施形態において、第１文字認識部４０２によって文字認識されない文字画像は、名刺２００に記載されている横書きの文字画像である。名刺２００に記載されている横書きの文字画像は、例えば、メールアドレスやＵＲＬ（Uniform Resource Locator）などである。なお、縦書きの名刺２００において、電話番号やＦＡＸ番号が横書きで記載されている場合には、これらの番号は、横書きの文字画像に含まれる。

（画像処理装置１０が行う名刺ファイルの作成処理）
次に、図５を用いて、画像処理装置１０が行う名刺ファイルの作成処理の一例について説明する。図５は、画像処理装置１０が行う名刺ファイルの作成処理の一例を示すフローチャートである。

図５において、画像処理装置１０は、名刺２００の読み取り開始タイミングであるか否かを判定する（ＡＣＴ５０１）。なお、画像読取装置によって読み取られるシートのサイズは、例えば、自動原稿送り装置に設けられる用紙サイズを合わせるガイド板の位置から検出される。具体的に説明すると、自動原稿送り装置のガイド板の位置が名刺サイズに応じた位置である場合に、名刺２００が読み取られることが検出される。ただし、例えば、名刺２００が原稿ガラス上に載置されて画像が読み取られる場合、読取結果に基づいて、シートサイズが検出されてもよい。

ＡＣＴ５０１において、画像処理装置１０は、名刺２００の読み取り開始タイミングになるまで待機する（ＡＣＴ５０１：ＮＯ）。名刺２００の読み取り開始タイミングになると（ＡＣＴ５０１：ＹＥＳ）、画像処理装置１０は、文字が連続して記載されている矩形領域を抽出する（ＡＣＴ５０２）。

そして、画像処理装置１０は、矩形領域内の先頭文字をＯＣＲ処理する（ＡＣＴ５０３）。次いで、ＯＣＲ処理の結果を用いて、文字画像の正立処理を行う（ＡＣＴ５０４）。ＡＣＴ５０４では、ＡＣＴ５０３において行われたＯＣＲ処理で文字認識ができた場合には、そのまま正立処理が完了し、文字認識ができなかった場合には、先頭文字を１８０度回転させることにより、縦書きの名刺２００に対する正立処理が完了する。なお、先頭文字を１８０度回転させても、文字認識できなかった場合は、その位置からさらに、＋９０度、または−９０度回転させて、ＯＣＲ処理により文字認識が可能になると、横書き名刺の正立処理が完了する。

そして、画像処理装置１０は、名刺２００に記載の全文字に対してＯＣＲ処理を行う（ＡＣＴ５０５）。ＡＣＴ５０３において、画像処理装置１０は、縦書きの名刺２００であれば、縦書き文字に対するＯＣＲ処理を行い、横書きの名刺であれば、横書き文字に対するＯＣＲ処理を行う。次いで、画像処理装置１０は、シートが縦書きの名刺２００であるか否かを判定する（ＡＣＴ５０６）。

縦書きの名刺２００ではない場合（ＡＣＴ５０６：ＮＯ）、すなわち、シートが横書きの名刺である場合、画像処理装置１０は、ＯＣＲ処理によって得られた横書きの文字の文字情報を一のファイルに保存する（ＡＣＴ５１５）。一方、縦書きの名刺２００である場合（ＡＣＴ５０６：ＹＥＳ）、画像処理装置１０は、ＯＣＲ処理を行った全文字のうち、文字認識が不可能な文字画像があるか否かを判定する（ＡＣＴ５０７）。文字認識が不可能な文字画像がない場合（ＡＣＴ５０７：ＮＯ）、画像処理装置１０は、ＯＣＲ処理によって得られた縦書きの文字の文字情報を一のファイルに保存する（ＡＣＴ５１５）。

一方、画像処理装置１０は、ＯＣＲ処理を行った全文字のうち、文字認識が不可能な文字画像がある場合（ＡＣＴ５０７：ＹＥＳ）、文字認識が不可能な文字画像を左方向に略９０度回転させる回転処理を行う（ＡＣＴ５０８）。そして、画像処理装置１０は、当該文字画像に対して横書き文字に対するＯＣＲ処理を行う（ＡＣＴ５０９）。次いで、画像処理装置１０は、横書き文字に対するＯＣＲ処理によって当該文字画像を文字認識できたか否かを判定する（ＡＣＴ５１０）。

横書き文字に対するＯＣＲ処理によって当該文字画像を文字認識できた場合（ＡＣＴ５１０：ＹＥＳ）、画像処理装置１０は、ＡＣＴ５０５における縦書き文字に対するＯＣＲ処理によって得られた文字情報と、ＡＣＴ５０９における横書き文字に対するＯＣＲ処理によって得られた文字情報と関連付けて、名刺２００に記載された文字情報として、一のファイルを作成し（ＡＣＴ５１１）、ＡＣＴ５１５に進む。

一方、画像処理装置１０は、ＡＣＴ５１０において、横書き文字に対するＯＣＲ処理によって文字画像を文字認識できない場合（ＡＣＴ５１０：ＮＯ）、当該文字画像を１８０度回転させる回転処理が済んでいるか否かを判断する（ＡＣＴ５１２）。なお、当該文字画像を１８０度回転させるのは、縦書きの名刺２００において、横書きの文字が名刺２００の下方向から上方向に向けて記載されている場合でも、文字認識することを可能にするためである。

当該文字画像を１８０度回転させる回転処理が済んでいない場合（ＡＣＴ５１２：ＮＯ）、画像処理装置１０は、当該文字画像を１８０度回転させる回転処理を行い（ＡＣＴ５１３）、ＡＣＴ５０９に戻る。ここで、当該文字画像を１８０度回転させる回転処理が済んでいる場合とは（ＡＣＴ５１２：ＹＥＳ）、横書き文字に対するＯＣＲ処理によって文字認識できなかった文字を、１８０度回転させて、再度横書き文字に対するＯＣＲ処理を行ったとしても文字認識できない場合である。また、１８０回転させて再度横書き文字に対するＯＣＲ処理を行ったとしても文字認識できない文字とは、例えば、特殊な言語、特殊な文字、特殊な記号、及び図形などである。

ＡＣＴ５１２において、当該文字画像を１８０度回転させる回転処理が済んでいる場合（ＡＣＴ５１２：ＹＥＳ）、画像処理装置１０は、文字情報が欠落している旨を示す欠落情報をファイルに追加する（ＡＣＴ５１４）。欠落情報は、例えば、欠落部分がユーザに分かるように、その旨を表示可能にする情報や印刷可能にする情報である。そして、画像処理装置１０は、ファイルを保存して（ＡＣＴ５１５）、一連の処理を終了する。

なお、保存したファイルは、ユーザの操作に応じて出力可能である。具体的には、保存されたファイルは、プリンタ部から印刷することが可能である。また、パソコンやスマートフォンなどの他のコンピュータ装置にファイルを転送することにより、他のコンピュータ装置でファイルを表示することも可能である。

以上述べた実施形態では、正立処理された文字画像のうち、文字認識されない文字画像を回転処理させてＯＣＲ処理を行うようにした。そして、回転処理をせずに行ったＯＣＲ処理によって得られた文字情報と、回転処理をして行ったＯＣＲ処理によって得られた文字情報とを、シートに記載の文字画像の文字情報として一のファイルに保存させるようにした。これにより、シートの書字方向とは異なる方向に記載された文字がある場合でも、当該文字の文字情報が欠落したファイルの作成を抑えることができる。このため、当該文字を表示したり、印刷したりすることができる。したがって、ユーザ自身でシートの欠落した文字を見直すことを要さないため、ユーザにとっての利便性を向上させることができる。

また、本実施形態において、画像処理装置１０は、正立処理された文字画像のうち、文字認識されない文字画像を、書字方向に略直交する方向に回転させるようにした。これにより、書字方向に対して直交する方向に記載されている文字画像を文字認識することができる。したがって、書字方向に対して直交する方向に記載されている文字の文字情報を欠落なくファイルを保存することができる。

また、本実施形態において、画像処理装置１０は、書字方向に略直交する方向に回転させて文字画像が文字認識されない場合、当該文字画像をさらに略１８０度回転させるようにした。これにより、書字方向（例えば縦書き）に対して直交する方向に記載されている文字（例えば横書きの文字）の記載方向（例えば、下側から上側、または上側から下側）にかかわらず、当該文字を文字認識することが可能になる。したがって、書字方向に対して異なる方向に記載されている文字の文字情報を欠落なくファイルに保存することができる。

また、本実施形態において、画像処理装置１０は、シートに記載された文字画像を領域（矩形領域）ごとに分けて文字認識し、各領域内の文字画像のうち、文字認識されない一部の文字画像を回転処理するようにした。これにより、領域内（例えば、図３（Ａ）の矩形領域２１７ａ）に書字方向とは異なる書字方向の文字（横書き領域３０２）が含まれる場合でも、当該文字を画像認識することができる。したがって、シートに記載の文字の文字情報を欠落なくファイルに保存することができる。

また、本実施形態において、シートを縦書きの名刺２００とし、文字認識されない文字画像を、名刺に記載されている横書きの文字画像とした。これにより、縦書きの名刺２００に記載されている横書きの文字を文字認識することができる。したがって、縦書きの名刺２００に記載されている、メールアドレス等の横書きの文字の文字情報を欠落なくファイルに保存することができる。

上述した実施形態における画像処理装置１０の機能をコンピュータで実現するようにしても良い。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０…画像処理装置、１１…ＣＰＵ、１２…メモリ、１５…入力デバイス、１６…出力デバイス、２００…名刺、３０２…横書き領域、３０３…横書き文字画像、３３０…名刺ファイル、４０１…正立処理部、４０２…第１文字認識部、４０３…回転処理部、４０４…第２文字認識部、４０５…保存処理部

Claims

シートに記載された文字画像に対して正立処理が行われた文字画像を文字認識する第１文字認識部と、
前記第１文字認識部によって文字認識されない文字画像を回転処理する回転処理部と、
前記回転処理部によって回転処理された文字画像を文字認識する第２文字認識部と、
前記第１文字認識部の文字認識によって得られた文字情報と、前記第２文字認識部の文字認識によって得られた文字情報とを、前記シートに記載された文字画像の文字情報として一のファイルに保存させる保存処理部と、
を備える画像処理装置。
前記回転処理部は、前記第１文字認識部によって文字認識されなかった文字画像を、前記シートの書字方向に略直交する方向に回転処理する、
請求項１に記載の画像処理装置。
前記回転処理部は、前記書字方向に略直交する方向に回転処理した文字画像が前記第２文字認識部によって文字認識されない場合、当該文字画像をさらに略１８０度回転させる回転処理を行う、
請求項２に記載の画像処理装置。
前記第１文字認識部は、シートに記載された文字画像を領域ごとに分けて文字認識し、
前記回転処理部は、各領域内の文字画像のうち、前記第１文字認識部によって文字認識されない一部の文字画像を回転処理する、
請求項１〜３のいずれか一項に記載の画像処理装置。
前記シートは、縦書きの名刺であり、
前記第１文字認識部によって文字認識されない文字画像は、前記名刺に記載されている横書きの文字画像である、
請求項１〜４のいずれか一項に記載の画像処理装置。
コンピュータに、
シートに記載された文字画像に対して正立処理が行われた文字画像を文字認識する第１文字認識工程と、
前記第１文字認識工程において文字認識されない文字画像を回転処理する回転処理工程と、
前記回転処理工程において回転処理された文字画像を文字認識する第２文字認識工程と、
前記第１文字認識工程における文字認識によって得られた文字情報と、前記第２文字認識工程における文字認識によって得られた文字情報とを、前記シートに記載された文字画像の文字情報として一のファイルに保存させる保存処理工程と、
を含む処理を実行させるプログラム。