JP2017116974A - 画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】記入または選択された情報を、事前設定なしに認識する画像処理装置および画像処理プログラムを提供する。
【解決手段】原稿上の画像を光電的に読み取って画像データを生成する画像読取部１１と、未記入原稿とその未記入原稿に追加記録がなされた記入済原稿とを取得する画像取得部１２と、 画像取得部１２で取得した未記入原稿と記入済原稿とに基づいて、記入済原稿の、未記入原稿に対し追加記録された領域を特定する領域特定部１３と、領域特定部１３で特定された領域に記録されている部分画像を認識する部分画像認識部１４とを有する。
【選択図】図２

Description

本発明は、画像処理装置および画像処理プログラムに関する。

官公庁等に提出する書類や様々なアンケート用紙への記入等、印字された用紙（帳票やアンケート用紙等）に手書きで記入して提出する機会が多い。記入された用紙を集める側は、それらの用紙に記入された手書き文字や、丸印等のマークで選択された文字や数字を自動で読み取って集計したいという要求がある。

その要求に対し、特許文献１には、マークシートのように塗りつぶして回答する種類の帳票について、回答が記入されたマークシートをスキャナ等で読み取って集計する技術が開示されている。

特開平２０１３―４５３０９号公報

しかしながら、上掲の特許文献１に開示された技術の場合、マークシートに記入されているマークの位置を検出することはできるが、その位置に記入されたマークが何を意味しているかは、別途の情報として事前設定しておく必要がある。

本発明は、上記事情に鑑み、記入あるいは選択された情報を、記入あるいは選択された位置に対応する情報を事前設定することなく認識する画像処理装置および画像処理プログラムを提供することを目的とする

請求項１は、
第１の画像を表す第１の画像データと、該第１の画像に追加記録がなされた第２の画像を表す第２の画像データとを取得する画像取得部と、
前記画像取得部で取得した前記第１の画像データおよび前記第２の画像データに基づいて、前記第２の画像の、前記第１の画像に対し追加記録された領域を特定する領域特定部と、
前記領域特定部で特定された領域に記録されている部分画像を認識する部分画像認識部とを有することを特徴とする画像処理装置である。
請求項２は、
前記第１の画像と、前記第２画像データとの差分を抽出する差分抽出部をさらに備え、
前記領域特定部は、前記差分抽出部によって前記追加記録された領域を特定することを特徴とする請求項１に記載の画像処理装置である。

請求項３は、前記画像取得部は、画像データの取得順に基づいて、前記第１の画像データと前記第２の画像データとを区分けするものであることを特徴とする請求項１または２に記載の画像処理装置である。

請求項４は、
原稿上の画像を光電的に読み取って画像データを生成する画像読取部を有し、
前記画像取得部は、前記画像読取部から画像データを取得するものであることを特徴とする請求項１から３のうちいずれか１項に記載の画像処理装置である。

請求項５は、前記部分画像認識部は、前記領域特定部で特定された領域に記録されている部分画像が表す文字を認識するものであることを特徴とする請求項１から４のうちのいずれか１項に記載の画像処理装置である。

請求項６は、前記部分画像認識部は、前記領域特定部で特定された領域の、前記第１の画像上の部分画像を認識対象とするものであることを特徴とする請求項１から５のうちのいずれか１項に記載の画像処理装置である。

請求項７前記部分画像認識部は、前記領域特定部で特定された領域の、前記第２の画像上の部分画像、もしくは、前記第１の画像と前記第２の画像との差分の画像上の部分画像を認識対象とするものであることを特徴とする請求項１から６のうちのいずれか１項に記載の画像処理装置である。

請求項８は、前記部分画像認識部は、前記領域特定部で特定された領域が前記第１の画像上で空白の領域であった場合に、該領域の、前記第２の画像、もしくは、前記第１の画像と前記第２の画像との差分の画像上の部分画像を認識対象とし、該領域が前記第１の画像上で空白の領域ではなかった場合に、該領域の、前記第１の画像上の部分画像を認識対象とするものであることを特徴とする請求項１から７のうちのいずれか１項に記載の画像処理装置である。

請求項９は、プログラムを実行する情報処理装置内で実行されて、該情報処理装置を、
第１の画像を表す第１の画像データと、該第１の画像に追加記録がなされた第２の画像を表す第２の画像データとを取得する画像取得部と、
前記画像取得部で取得した前記第１の画像データおよび前記第２の画像データに基づいて、前記第２の画像の、前記第１の画像に対し追加記録された領域を特定する領域特定部と、
前記領域特定部で特定された領域に記録されている部分画像を認識する部分画像認識部とを有する画像処理装置
として動作させることを特徴とする画像処理プログラムである。

請求項１、２の画像処理装置および請求項９の画像処理プログラムによれば、記入あるいは選択された部分画像を、記入あるいは選択された位置に対応する情報を事前設定なしに認識することができる。

請求項３の画像処理装置によれば、例えば多数の第２の画像データから第１の画像データを抽出する場合等と比べ、第１の画像データを容易かつ確実に取得することができる。

請求項４の画像処理装置によれば、画像読取部を備えずに例えばカメラで撮影して画像データを取得する場合と比べ、用紙上の画像から安定した画像データを容易に取得することができる。

請求項５の画像処理装置によれば、文字認識を行わずに画像の形状等の認識を行う場合と比べ、文字という、ユーザが理解しやすい情報が生成される。

請求項６の画像処理装置によれば、第２の画像上の部分画像を認識する場合と比べ、選択のために記入されたマーク等による外乱を受けずに部分画像を認識することができる。

請求項７の画像処理装置によれば、自由に記入した文字列等からなる部分画像を認識対象とすることができる。

請求項８の画像処理装置によれば、選択された部分画像と記入された部分画像との双方の認識が可能である。

本発明の一実施形態としての画像処理装置の外観図である。 図１に外観を示す画像処理装置の機能ブロック図である。 図１，図２に示した画像処理装置における処理を表すフローチャートを示した図である。 未記入原稿と記入済原稿に一例を示した図である。 差分画像の一例を示した図である。 設定された文字認識領域を図４（Ａ）と同じ未記入原稿上に重ねて示した図である。 図３に１つのステップとして示した文字認識処理のフローチャートを示した図である。

以下、本発明の実施の形態を説明する。

図１は、本発明の一実施形態としての画像処理装置の外観図である。

ここに示す画像処理装置１０は、スキャナ２０とノート型パーソナルコンピュータ（以下、「ノートＰＣ」と略記する）３０とを備えている。
スキャナ２０とノートＰＣ３０との間は、通信ケーブル４０で接続されている。

スキャナ２０は、原稿に記録されている画像を読み取って画像データを生成する装置である。このスキャナ２０の原稿トレイ２１上に原稿を置き、スタートボタン（不図示）を押すと、あるいは、ノートＰＣから指示を与えると、原稿が１枚スキャナ２０内に送り込まれる。スキャナ２０内には原稿上の画像を光電的に読み取るセンサ（不図示）が備えられていて、スキャナ２０内に送り込まれた原稿から、その原稿上に記録されている画像が光電的に読み取られて画像データが生成される。記録されている画像が読み取られた後の原稿は、排紙トレイ２２上に排出される。この原稿トレイ２１には複数枚の原稿を積み重ねて載置することができ、スキャナ２０は、原稿トレイ２１上の複数枚の原稿を１枚ずつ順次にスキャナ２０内に送り込み、その送り込まれた原稿上の画像を読み取り、排紙トレイ２２上に排出する。

また、このスキャナ２０は、背面側に配置された左右に延びるヒンジ（不図示）を回転中心として上蓋２３を持ち上げることができる。この上蓋２３を持ち上げてその下に原稿を１枚置き、上蓋２３を閉じて、その置かれた原稿を読み取ることもできる。

このスキャナ２０での読み取りにより得られた画像データは、通信ケーブル４０を経由してノートＰＣ３０に入力される。

ノートＰＣ３０は、表示画面３１やキーボード３２を備えており、また、その内部には、プログラムを実行するためのＣＰＵやメモリ等の設備を備えている。このノートＰＣ３０ではプログラムが実行されて、その実行されたプログラムに応じた処理が行われる。本実施形態に対応しては、このノートＰＣでは、以下に説明する画像処理プログラムが実行される。

図２は、図１に外観を示す画像処理装置の機能ブロック図である。

本実施形態の画像処理装置１０は、機能上は、画像読取部１１と、画像取得部１２と、領域特定部１３と、部分画像認識部１４とを有する。

画像読取部１１は、図１に示すスキャナ２０がその役割を担っている。すなわち、この画像読取部１１では、原稿上の画像が光電的に読み取られて画像データが生成される。上述の通り、この生成された画像データは、図１に示す通信ケーブル４０を経由して、ノートＰＣ３０に入力される。

画像取得部１２、領域特定部１３、および部分画像認識部１４は、ノートＰＣ３０内での画像処理プログラムの実行により実現する機能である。これらのうち、画像取得部１２は、画像読取部１１で生成されて通信ケーブル４０を経由して送信されてきた画像データを受信することにより、その画像データを取得する。ここでは、この画像データとして、第１の画像を表す第１の画像データと、その第１の画像に追加記録がなされた第２の画像を表す第２の画像データとが含まれている。この画像取得部１２は、画像読取部１１からの画像データの取得順に基づいて、第１の画像データと第２の画像データとを区分けする。具体的には、本実施形態では、１枚目の画像を表す最初に送信されてきた画像データを第１の画像データとして認識し、２枚目以降の画像を表す２番目以降に送信されてきた画像データのそれぞれを第２の画像データとして認識する。

また、領域特定部１３は、画像取得部１２で取得した第１の画像データおよび第２の画像データに基づいて、第２の画像の、第１の画像に対し追加記録された領域を特定する。

さらに、部分画像認識部１４は、領域特定部１３で特定された領域に記録されている部分画像を認識する。具体的には、本実施形態では、部分画像認識部１４は、領域特定部１３で特定された領域に記録されている部分画像が表す文字を認識する。この部分画像認識部１４は、領域特定部１３で特定された領域の、第１の画像上の部分画像を認識対象とする。また、この部分画像認識部１４は、領域特定部１３で特定された領域の、第２の画像上の部分画像、もしくは、第１の画像と前記第２の画像との差分の画像上の部分画像も認識対象とする。第１の画像を認識対象とするか、第２の画像もしくは差分画像を認識対象とするかという点については、本実施形態では、領域特定部１３で特定された領域が第１の画像上で空白の領域であった場合に、その領域の、第２の画像、もしくは、第１の画像と第２の画像との差分の画像上の部分画像を認識対象とし、その領域が第１の画像上で空白の領域ではなかった場合に、その領域の、第１の画像上の部分画像を認識対象とする。

図３は、図１，図２に示した画像処理装置における処理を表すフローチャートを示した図である。この図３に示す処理は、スキャナ２０（図１参照）への読取りの指示があったことを受けて開始される。

ここでは先ず、スキャナ２０の原稿トレイ２１上に原稿が存在するか否かが判定される（ステップＳ１１）。原稿トレイ２１上に原稿が存在しないときは、そのまま終了する。

原稿トレイ２１上に原稿が存在するときは、その原稿のうちの一番上に積み重ねられている１枚の原稿がスキャナ２０内に送り込まれ、その原稿に記録されている画像が光電的に読み取られて画像データが生成される（ステップＳ１２）。その生成された画像データはノートＰＣ３０に送信される。

ノートＰＣ３０では、ノートＰＣ３０に以下の処理を実行させる画像処理プログラムが実行され、スキャナ２０から送信されてきた画像データは、そのノートＰＣ３０に取り込まれる（ステップＳ１３）。

次に、その取り込んだ画像データが１枚目の原稿から読み取って得た画像データであるか否かを判定する（ステップＳ１４）。１枚目の原稿の場合は、その画像データを未記入原稿として一時保存する（ステップＳ１５）。

なお、ここでは、データ上の画像を取り扱っていることが明らかなため、画像データと画像を特に区別した表現とせずに、「画像データ」を「画像」あるいは「原稿」と称することがある。

ステップＳ１４において２枚目以降の原稿であると判定されると、その原稿は記入済原稿として認識され、ステップＳ１５で一時保存しておいた未記入原稿との差分が抽出されて差分原稿が生成される（ステップＳ１６）。

ここで、本実施形態における未記入原稿および記入済原稿は、本発明にいう、それぞれ第１の画像（あるいは第１の画像データ）および第２の画像（あるいは第２の画像データ）の各一例に相当する。

図４は、未記入原稿と記入済原稿の一例を示した図である。
図４（Ａ）は、記入前のアンケート用紙、すなわち未記入原稿５１を表している。ここでは、アンケート内容として（１）〜（３）の３つの設問があり、それら３つの設問のうち、（１）と（２）の設問に対する回答は、１〜５の数字のうちのいずれか１つの数字を○印で囲うことによりその数字を選択する方式のものである。（３）の設問は、その回答を、空白の回答欄５１１に自由に記入してもらう形式の設問である。

また、図４（Ｂ）は、図４（Ａ）に示したアンケート用紙と同一様式のアンケート用紙上に回答者が回答を記入した記入済原稿５２を表している。記入済原稿は１枚とは限らず、スキャナ２０で順次読み込まれた複数枚の原稿のうちの２枚目以降の原稿に１枚１枚のそれぞれが記入済原稿として取り扱われる。

この図４（Ｂ）に示されている１枚の記入済原稿では、（１）の設問に関しては、数字の「４」が○印５２１で囲まれている。また、（２）の設問に関しては、数字の「１」が○印５２２で囲まれている。さらに、（３）の設問に関しては、空白だった回答欄に回答者が記入した文字列５２３が並んでいる。

図５は、差分画像の一例を示した図である。

上述の通り、図３のステップＳ１６では、ステップＳ１５において一時保存しておいた未記入原稿と、２枚目以降の記入済原稿のうちの今回取得した１枚の記入済原稿との差分画像５３が生成される。図４（Ａ）の未記入原稿５１と図４（Ｂ）の記入済原稿５２との差分画像５３を生成すると、回答者によって記入された、２つの○印５２１，５２２と文字列５２３のみが抽出される。

図３に戻って説明を続ける。

図３のステップＳ１６において差分画像５３（図５参照）を生成すると、その差分画像５３上には、回答者によって記入されたパターンが現れる。そこで、次に、この差分画像５３上のパターンに基づいて文字認識領域が設定され（ステップＳ１７）、その文字認識領域に記録されている部分画像について文字認識処理が実行される（ステップＳ２０）。

図６は、設定された文字認識領域を図４（Ａ）と同じ未記入原稿上に重ねて示した図である。

ここでは、３つの文字認識領域５５１，５５２，５５３が設定されている。ステップＳ２０の文字認識処理においては、これら３つの文字認識領域５５１，５５２，５５３の１つずつについて文字認識が行われている。それら３つの文字認識領域５５１，５５２，５５３のうちの２つの文字認識領域５５１，５５２は回答者が記入した２つの○印５２１，５２２（図４（Ａ）参照）に対応しており、残りの１つの文字認識領域５５３は、回答者が記入する前は空欄だった回答欄５１１（図４（Ａ）参照）に対応している。

ここで、ステップＳ１３における画像データの取込み、および、１枚目の原稿か否かに基づいて未記入原稿と記入済原稿とに振り分ける処理（ステップＳ１４〜Ｓ１６）の集合が、本発明にいう画像取得部の一例に相当する。

また、ステップＳ１６における差分画像の生成処理と、ステップＳ１７における、その差分画像に基づく文字認識領域抽出の処理とを合わせたものが、本発明にいう領域特定部の一例に相当する。

さらに、ステップＳ２０の文字認識処理が、本発明にいう部分画像認識部の一例に相当する。

図７は、図３に１つのステップとして示した文字認識処理のフローチャートを示した図である。

ここでは先ず、抽出した文字認識領域を左上から右下に向かって検査していき（ステップＳ２１）、文字認識領域を見つけたら、その見つけた１つの文字認識領域を取り出す（ステップＳ２２）。

図６に示す３つの文字認識領域が抽出された例について説明する。

この場合、先ず１番上の文字認識領域５５１が取り出される。ここでは、文字認識領域が取り出されたため、ステップＳ２３では文字認識領域ありと判定されて、ステップＳ２４に進む。ステップＳ２４では、未記入原稿５１（図４（Ａ），図６参照）において、この文字認識領域５５１が空白の領域であるか否かが判定される。

図６から分かる通り、この文字認識領域５５１には「４」の数字が記入されている。したがって、この段階ではまだ文字認識は行われていないものの、空白ではないと判定される。この場合、ステップＳ２６に進んで、未記入原稿５１（図４（Ａ），図６）から、そこに記録されている「４」という数字について、文字認識が行われる。

その後、ステップＳ２１に戻り、今回取り出した文字認識領域５５１の次の位置から右下に向かって検査を再開し、次の文字認識領域５５２が取り出される（ステップＳ２２）。この文字認識領域５５２も未記入原稿５１において空欄ではなく、ステップＳ２６に進んで、未記入原稿５１から、「１」という数字について文字認識が行われる。

同様にして、ステップＳ２２において、次に文字認識領域５５３が取り出される。この文字認識領域５５３は、未記入原稿５１上において空白の領域である。このため、ステップＳ２４において空白であると判定されてステップＳ２５に進む。このステップＳ２５では、差分画像５３（図５参照）上の文字認識領域５５３から、そこに記入されている文字列について文字認識が実行される。

なお、このステップＳ２５では、差分画像ではなく、記入済画像５２（図４（Ｂ）参照）を基にして文字認識を行ってもよい。

次に、ステップＳ２１に戻って処理をもう一度繰り返そうとする。すると、ステップＳ２３において、取り出すべき文字認識領域がもはや存在しないと判定され、ステップＳ２７に進んで、文字認識対象とした今回の１枚の記入済原稿についての文字認識結果を、例えばノートＰＣ３０の表示画面上に表示したり、文字認識結果記録用のファイルに書き込んだりなどの認識結果出力処理が行われて、この図７に示す一連の処理を終了する。

その後は、図３に示す通り、次の原稿の処理に移る。そして、全ての原稿の処理が終了すると、図３に示す一連の処理も終了する。

このように、本実施形態によれば、マークシートのマークの各位置ごとに、その位置のマークが何を意味しているか、という情報を予めインプットしておくといったような事前設定なしに、回答者の回答を認識することができる。

ここで、本実施形態の場合、スキャナ２０で複数枚の原稿を連続的に読み取り、それら複数枚の原稿のうちの１枚目の原稿を未記入原稿とし、２枚目以降の原稿を記入済原稿とするというルールが定められている。この場合、未記入原稿の画像データを容易かつ確実に取得することができる。しかしながら、本発明においては、未記入原稿を１枚目などの特定の位置に配置することは必ずしも必要ではない。未記入原稿を、例えば複数枚積み重ねた記入済原稿の途中位置に挟みこんでおいてもよい。その場合、画像取得部の中に未記入原稿を複数枚の原稿から見つけ出す処理を実施すればよい。未記入原稿を見つけ出す処理の一例としては、１枚目の原稿と２枚目以降の原稿との差分を抽出する処理を順次行い、１枚目の原稿にのみ差分が出た原稿を未記入原稿とすればよい。また、未記入原稿であるか記入済原稿であるかを問わずに読取により得られたテータ上の複数枚の原稿の共通部分を抽出した画像を作成し、その作成した画像と読み込んだ各原稿とのパターンマッチングを行い、一致度が最も高かった原稿を未記入原稿としてもよい。

あるいは、記入済原稿の読み込みが複数回に分かれていても、同種の原稿についての未記入原稿の読み込みは１回のみとし、一旦読み込んだ未記入原稿を記憶しておいて、今回読み込んだ記入済原稿とのパターンマッチングや特徴点抽出、あるいは直線で囲まれた領域の一致度を使ったフォーム認識により、今回読み込んだ記入済原稿に対応する未記入原稿を特定してもよい。

さらには、本発明では、未記入原稿を読み込むことすら必ずしも必要ではない。例えば、複数枚の記入済原稿から、それら複数枚の記入済原稿の共通部分を抽出することにより、データ上で未記入原稿を作成してもよい。この場合、共通部分を抽出することにより作成されたデータ上での未記入原稿が第１の画像を表す第１の画像データに対応する。

また、ここでは、図１に示すスキャナ２０とノートＰＣ３０との組み合わせからなる画像処理装置について説明したが、本発明における画像処理装置は必ずしもこの形態である必要はない。例えば、スキャナとプリンタとが合体した形態のコピー機ないしはさらに機能が増えた複合機に、本発明の画像処理装置の機能を組み込んでもよい。さらには、カメラ機能を備えた携帯型端末に本発明の画像処理装置の機能を組み込んでもよい。その場合、画像読取部はカメラ機能で原稿を撮影することにより行えばよい。

１０ 画像処理装置
１１ 画像読取部
１２ 画像取得部
１３ 領域特定部
１４ 部分画像認識部
２０ スキャナ
２１ 原稿トレイ
２２ 排紙トレイ
２３ 上蓋
３０ ノート型パーソナルコンピュータ（ノートＰＣ）
３１ 表示画面
３２ キーボード
５１ 未記入原稿
５２ 記入済原稿
５３ 差分画像
５１１ 回答欄
５２１，５２２ ○印
５２３ 文字列
５５１，５５２，５５３ 文字認識領域

Claims (9)

1. 第１の画像を表す第１の画像データと、該第１の画像に追加記録がなされた第２の画像を表す第２の画像データとを取得する画像取得部と、
   前記画像取得部で取得した前記第１の画像データおよび前記第２の画像データに基づいて、前記第２の画像の、前記第１の画像に対し追加記録された領域を特定する領域特定部と、
   前記領域特定部で特定された領域に記録されている部分画像を認識する部分画像認識部とを有することを特徴とする画像処理装置。
2. 前記第１の画像と、前記第２画像データとの差分を抽出する差分抽出部をさらに備え、
   前記領域特定部は、前記差分抽出部によって前記追加記録された領域を特定することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像取得部は、画像データの取得順に基づいて、前記第１の画像データと前記第２の画像データとを区分けするものであることを特徴とする請求項１または２に記載の画像処理装置。
4. 原稿上の画像を光電的に読み取って画像データを生成する画像読取部を有し、
   前記画像取得部は、前記画像読取部から画像データを取得するものであることを特徴とする請求項１から３のうちいずれか１項に記載の画像処理装置。
5. 前記部分画像認識部は、前記領域特定部で特定された領域に記録されている部分画像が表す文字を認識するものであることを特徴とする請求項１から４のうちのいずれか１項に記載の画像処理装置。
6. 前記部分画像認識部は、前記領域特定部で特定された領域の、前記第１の画像上の部分画像を認識対象とするものであることを特徴とする請求項１から５のうちのいずれか１項に記載の画像処理装置。
7. 前記部分画像認識部は、前記領域特定部で特定された領域の、前記第２の画像上の部分画像、もしくは、前記第１の画像と前記第２の画像との差分の画像上の部分画像を認識対象とするものであることを特徴とする請求項１から６のうちのいずれか１項に記載の画像処理装置。
8. 前記部分画像認識部は、前記領域特定部で特定された領域が前記第１の画像上で空白の領域であった場合に、該領域の、前記第２の画像、もしくは、前記第１の画像と前記第２の画像との差分の画像上の部分画像を認識対象とし、該領域が前記第１の画像上で空白の領域ではなかった場合に、該領域の、前記第１の画像上の部分画像を認識対象とするものであることを特徴とする請求項１から７のうちのいずれか１項に記載の画像処理装置。
9. プログラムを実行する情報処理装置内で実行されて、該情報処理装置を、
   第１の画像を表す第１の画像データと、該第１の画像に追加記録がなされた第２の画像を表す第２の画像データとを取得する画像取得部と、
   前記画像取得部で取得した前記第１の画像データおよび前記第２の画像データに基づいて、前記第２の画像の、前記第１の画像に対し追加記録された領域を特定する領域特定部と、
   前記領域特定部で特定された領域に記録されている部分画像を認識する部分画像認識部とを有する画像処理装置
   として動作させることを特徴とする画像処理プログラム。

Images