JP2007058485A - 画像認識装置、画像認識方法および画像認識プログラム - Google Patents

Abstract

【課題】オンライン認識によって画像認識を行うのでは、教育用教材等の紙原稿の追記画像を認識することはできない。
【解決手段】正誤判定の採点集計にあたって、対応付け部１０において、正誤判定抽出部８で抽出された追記画像である正誤判定図形と解答欄とを対応付け（グループ化）、この対応付けによって１つの解答欄に対して複数の追記画像が対応付けられたときに、所定の判定条件の下に複数の追記画像のうちの１つを選択することで（オブジェクト選択）、紙原稿である教育用教材に対しても、訂正後の追記画像を確実に認識できるようにする。
【選択図】図１

Description

本発明は、画像認識装置、画像認識方法および画像認識プログラムに関し、特に用紙に記入された文字や図形等の画像を読み取って認識する画像認識装置、画像認識方法および画像認識プログラムに関する。

一般に、学校や塾等の教育機関では、例えばテストの答案用紙や練習問題用紙のような教育用教材を用いることが多い。そして、問題およびその解答欄を含む教育用教材を用いて、その教育用教材（用紙）上に生徒に解答を記入させ、その記入された解答に対して教師が採点を行う、といったことが広く行われている。

ところで、教育用教材については、その採点処理の省力化が強く求められている。これに応えるべく、採点処理の省力化を実現するものとしては、例えば、パーソナルコンピュータ（以下、単に「ＰＣ」と記述する）に採点台および採点ペンを接続し、採点台の所定位置に教育用教材を載置した状態で採点ペンによって○×付けを実施することで、ＰＣに対して教育用教材上に記入された解答の位置情報およびその正否情報を入力し得るようにし、これによりＰＣにて教育用教材上の解答についての自動採点を実施するように構成されたシステムが提案されている（例えば、特許文献１参照）。

一方、生徒によって解答が記入された教育用教材についての採点にあたって、教師等の採点者が、ある解答に対してその解答が不正解であるのに誤って「○」の正誤判定図形を記入し、その誤記入に気付いた場合、「○」の図形の上に訂正を意味する例えば二重線を引いてその近傍に「×」の正誤判定図形を記入するようなことがある。自動採点を実現するためには、このような訂正後の画像をも認識できることが必要になる。

従来、訂正後の画像を認識する技術として、文字認識手法中で生成された文字切出し情報を利用し、二重線や囲み線などの制御記号が記入された場合に、当該文字切出し情報とそれらの制御記号との重なりの度合いを求め、変更対象文字の判定に利用するシステムが提案されている（例えば、特許文献２参照）。

特開平６−２６６２７８号公報 特開２００４−１５２０４０号公報

しかしながら、特許文献１記載の従来技術では、教育用教材についての採点処理にあたって、採点台や採点ペン等といった専用の構成機器を必要とするために、システム全体の構成の複雑化や高コスト化等を招く要因となり、好ましいとは言えない。また、専用の構成機器を必要とすることで、対応可能な教育用教材が限定されてしまい、その教育用教材についての汎用性が制限されてしまうおそれもある。しかも、訂正後の画像を認識することはできない。

一方、特許文献２記載の従来技術では、タブレットや電子ペンといった特別な装置を必要とするために、システム全体の構成の複雑化や高コスト化等を招く要因となり、好ましいとは言えない。しかも、基本的にオンライン認識であるために、紙原稿（用紙）には適用できない。したがって、例えば教育用教材の自動採点にあたって、教師等の採点者によって訂正された画像を認識することは困難である。

そこで、本発明は、教育用教材等の紙原稿上において訂正された画像を確実に認識することが可能な画像認識装置、画像認識方法および画像認識プログラムを提供することを目的とする。

上記目的を達成するために、本発明では、紙原稿上の画像を読み取って当該紙原稿から画像データを読み取り手段によって得て、前記紙原稿上の原画像についての画像データと前記読み取り手段で得た画像データとを追記画像抽出手段で比較して差分をとり、差分抽出結果から前記原画像の所定領域毎に追記された追記画像を抽出する画像認識装置、当該一連の処理を行う画像認識方法、または画像認識装置と接続するコンピュータを、上記各手段として機能させる教材処理プログラムにおいて、前記追記画像抽出手段によって抽出された前記追記画像と前記所定領域とを対応付け、この対応付けによって１つの所定領域に対して複数の追記画像が対応付けられたときに、所定の判定条件の下に前記複数の追記画像のうちの１つを選択する構成を採っている。

上記構成を採る画像認識装置、画像認識方法または画像認識プログラムにおいて、例えば教師等の採点者による採点処理の際に、ある解答に対してその解答が不正解であるのに誤って「○」の正誤判定図形を記入し、その誤記入に気付いて「○」の図形の上に訂正を意味する例えば二重線を引いてその近傍に「×」の正誤判定図形を記入した場合に、所定領域である１つの解答欄の解答に対して訂正前の正誤判定図形と訂正後の正誤判定図形の２つが存在することになり、単なる画像認識ではその区別をすることができないことになる。そこで、抽出された追記画像である正誤判定図形と所定領域である解答欄とを対応付け、この対応付けによって１つの所定領域に対して複数の追記画像が対応付けられたときに、所定の判定条件の下に複数の追記画像のうちの１つを選択することで、訂正後の正誤判定図形を正確に画像認識することができることとなる。

本発明によれば、教育用教材等の紙原稿上において、追記画像を訂正してその近傍にさらに追記画像を追記するような状況が生じても、訂正前の追記画像と訂正後の追記画像とを判別できるために、訂正後の追記画像を確実に認識できることとなる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明が適用される例えば教材処理装置の概略構成例を示すシステム構成図である。図１に示すように、本例に係る教材処理装置は、データベース部１と、画像読み取り部２と、画像データ解析部３と、教材判別部４と、歪み補正部５と、差分抽出部６と、解答者抽出部７と、正誤判定抽出部８と、途切れ補正部９と、対応付け部１０と、図形形状認識部１１と、採点集計部１２と、集計結果出力部１３とを有する構成となっている。

かかる教材処理装置において、データベース部１は、教育用教材についての電子データを保持蓄積する。

ここで、教育用教材について簡単に説明する。図２は、教育用教材の一具体例を示す説明図である。図２に示すように、教育用教材２０は、教育機関で用いられるテストの答案用紙や練習問題用紙等であり、複数の問題（設問）とこれら複数の問題それぞれについての解答欄２１が記載されている。ただし、教育用教材２０は、少なくとも解答欄２１が記載されていればよく、問題文については必ずしも記載されていなくてもよい。

また、教育用教材２０には、その教育用教材２０を識別特定するための情報が記載された識別情報欄２２と、解答欄２１への解答記入者に関する情報を記載するための解答者情報欄２３とが設けられている。識別情報欄２２には、例えば教育用教材２０の科目、タイトル、適用学年等の情報が予め記載されるものとする。

なお、識別情報欄２２には、科目、タイトル、適用学年等の情報の記載に加えて、またはこれらの記載とは別に、教育用教材２０を識別するためのコード情報が埋め込まれていてもよい。コード情報の埋め込みは、公知技術を利用して実現すればよい。その具体例の一つとして、例えば「ｉＴｏｎｅ（登録商標）」と呼ばれるもののように、階調表現としての万線スクリーンまたはドットスクリーンを構成する画素の形態（位置、形状等）を変化させることで、ハーフトーン画像の中にデジタル情報を埋め込むようにする、といった技術を用いることが考えられる。一方、解答者情報欄２３には、解答記入者の学級、出席番号、氏名等が記入され得るようになっている。

このような教育用教材２０についての電子データに関しては、その教育用教材２０における解答欄２１や識別情報欄２２等のレイアウトを特定し得るものであり、かつ、データベース部１にて保持蓄積可能なものであればそのデータ形式を問わない。具体的には、例えば、後述する画像読み取り部２での画像読み取りによって得られるラスター形式の画像データを、教育用教材２０についての電子データとして記憶保持することが考えられる。

図１に説明を戻す。画像読み取り部２は、本発明における読み取り手段に相当し、読み取り対象となる教育用教材２０に対して、公知の光学的画像読み取り技術を用いた画像読み取りを行って、その教育用教材２０から画像データを得る。読み取り対象となる教育用教材２０としては、解答欄２１への解答記入、解答者情報欄２３への氏名等の記入および当該解答に対する正誤判定のためのチェック記号（具体的には、例えば「○」や「×」等の図形）の追記が為されたものが挙げられる。また、データベース部１内への電子データの記憶保持のために、解答欄２１および解答者情報欄２３が未記入であるもの（以下、これを「原本」と記す）も、画像読み取り部２での読み取り対象となる。

画像データ解析部３は、画像読み取り部２で得られた画像データについて、その解析処理を行う。解析処理としては、レイアウト解析、文字図形分離、文字認識、コード情報認識、図形処理、色成分認識等が挙げられるが、いずれも公知の画像処理技術を利用して実現すればよいため、ここではその詳細な説明を省略する。

教材判別部４は、タイトル解析部４１とコード情報解析部４２との少なくとも一方によって構成され、画像データ解析部３での解析処理の結果、特に識別情報欄２２についてのタイトル解析部４１によるタイトル解析またはコード情報解析部４２によるコード解析の少なくとも一方の解析結果を基にして、画像読み取り部２で得られた画像データの元となった教育用教材２０を識別特定する。

このとき、教材判別部４においては、データベース部１が保持蓄積している教育用教材２０の電子データと照らし合わせ、該当する電子データがデータベース部１に保持蓄積されていなければ、教育用教材の識別特定エラーとする判定を行う。すなわち、教材判別部４は、画像データ解析部３での解析結果から、画像読み取り部２で得られた画像データとの比較対象となる電子データを特定する。

歪み補正部５は、画像読み取り部２で得られた画像データに対して、その画像データにおける画像歪みの補正を行う。画像歪みの補正としては、傾き補正や主走査方向または副走査方向の拡縮補正等が挙げられる。これらの歪補正については、いずれも公知の画像処理技術を利用して実現すればよいため、ここではその詳細な説明を省略する。

差分抽出部６は、教材判別部４での教育用教材２０の識別特定の結果に基づいて、画像読み取り部２で得られ、歪み補正部５での歪み補正処理後の画像データと、その比較対象となるデータベース部１内の電子データとを比較して、それぞれの間の差分を抽出する。なお、差分抽出処理の手法自体については、公知の画像処理技術を利用して実現すればよいため、ここではその詳細な説明を省略する。

解答者抽出部７は、出席番号情報切り出し部７１と手書きＯＣＲ(Optical Character Reader)部７２との少なくとも一方、好ましくは両方から構成され、画像データ解析部３での解析処理の結果を基にしつつ、差分抽出部６で抽出された差分のうち、解答者情報欄２３についての差分に対し、その差分からの出席番号情報切り出し部７１による文字情報抽出や手書きＯＣＲ部７２による文字認識処理等を通じて、画像読み取り部２で読み取り対象となった教育用教材における解答者情報を抽出する。解答者情報としては、解答記入者の学級、出席番号、氏名等といった、解答記入者を識別するための情報が挙げられる。

正誤判定抽出部８は、本発明における追記画像抽出手段に相当し、画像データ解析部３での解析処理の結果を基にしつつ、差分抽出部６で抽出された差分から、さらに追記画像である正誤判定の記入内容を抽出する。ここに、追記画像とは、教師等の採点者が、解答欄２１に記入された解答に対して、採点のために記入（追記）するチェック記号、さらに一度記入したチェック記号が誤りである場合に二重線等で消した後にその近傍に記入（追記）するチェック記号など、原画像に対して追記された画像を言うものとする。

採点のためのチェック記号としては、正解を表す「○」、不正解を表す「×」に加えて、部分点を表す「△」や半丸等の記号（図形）が用いられることがある。以下では、これらの記号（図形）を単に「正誤判定図形」と記す場合もあり、さらに部分点の図形として「△」を代表して用いるものとする。ここに、部分点とは、正解とも不正解とも言えない場合に、「△」等のチェック記号を記入することによって与えられる設問の配点未満の得点、例えば設問の配点の半分の得点を言う。

正誤判定抽出部８において、正誤判定の記入内容（正誤判定図形）の抽出は、例えば差分抽出部６での抽出結果に対する色成分認識処理を通じて、所定色成分についてのものを抽出することによって行えばよい。何故ならば、正誤判定の記入は、一般に、赤色で行われるからである。

途切れ補正部９は、正誤判定抽出部８での抽出結果に対して途切れ補正処理を行う。ここに、途切れ補正処理とは、抽出された線分同士を接続して、その抽出線分間の途切れを解消するための処理である。

対応付け部１０は、本発明における対応付け手段に相当し、正誤判定抽出部８によって抽出された追記画像である正誤判定の記入内容と教育用教材２０の所定領域である解答欄２１とを対応付ける。対応付け部１０はさらに、対応付けによって１つの解答欄２１に対して複数の追記画像（正誤判定図形）が対応付けられたときに、所定の判定条件の下に複数の追記画像のうちの１つを選択する追記画像選択手段としての機能も併せ持っている。この対応付け部１０の対応付けおよび追記画像選択の２つの機能が本発明の特徴とするところであり、その詳細については後述する。

図形形状認識部１１は、対応付け部１０で対応付けられた、あるいは選択された追記画像である正誤判定図形に対して、その形状認識を行って正誤判定図形を認識する。形状認識は、採点（正誤判定）のための正誤判定図形の形状とのパターンマッチングによって行えばよい。

採点集計部１２は、図形形状認識部１１による正誤判定図形の認識結果と、対応付け部１０での対応付けの結果と、データベース部１が保持蓄積している教育用教材２０の電子データに含まれる当該教育用教材２０の各解答欄２１についての配点情報とを基にして、画像読み取り部２が画像読み取りを行った教育用教材２０について、その教育用教材２０に記入された正誤判定の採点集計を行う。

集計結果出力部１３は、採点集計部１２による採点集計の結果を、解答者抽出部７が抽出した解答者情報と関連付けて出力する。なお、集計結果出力部１３による出力先としては、本教材処理装置と接続するデータベース装置３１またはファイルサーバ装置３２で、教育用教材２０についての採点集計結果を管理するものが挙げられる。

なお、以上説明した各構成要素、即ちデータベース部１〜集計結果出力部１３のうち、画像読み取り部２については、画像読み取り装置としての機能を有した複写機、複合機あるいはスキャナ装置を利用して実現することが考えられる。その場合に、自動原稿搬送装置(Automatic Document Feeder；ＡＤＦ）が付設されていると、複数の教育用教材に対する画像読み取りを連続的に行うことができる。

また、画像読み取り部２を除く他の各構成要素、即ちデータベース部１、画像データ解析部３〜集計結果出力部１３については、例えばＰＣ（パーソナルコンピュータ）のように、所定プログラムを実行することによって情報記憶処理機能、画像処理機能、演算処理機能等を実現するコンピュータ機器を利用して実現することが考えられる。

その場合に、データベース部１、画像データ解析部３〜集計結果出力部１３の実現に必要となる所定プログラムは、予めＰＣ内にインストールしておくことが考えられる。ただし、予めインストールされているのではなく、コンピュータ読み取り可能な記憶媒体に格納されて提供されるものであってもよく、または有線若しくは無線による通信手段を介して配信されるものであってもよい。つまり、上述した構成の教材処理装置は、画像読み取り装置と接続するコンピュータを教材処理装置として機能させる教材処理プログラムによっても実現可能である。

（教材処理方法の処理手順）
次に、以上のように構成された本実施形態に係る教材処理装置（教材処理プログラムによっても実現される場合を含む）における処理動作の処理手順の一例について、図３の説明図を参照して説明する。図３は、本実施形態に係る教材処理装置における処理動作例を示す説明図である。

教材処理装置を利用する場合には、予めデータベース部１内に採点集計処理の対象となる教育用教材２０の原本についての電子データが保持蓄積されており、またその電子データには当該教育用教材２０の配点情報を含む答案情報が含まれているものとする。これら電子データ、配点情報を含む答案情報の予めデータベース部１内への登録は、画像読み取り部２での画像読み取り等を利用して行えばよいが、その詳細については公知技術を利用して行えばよいため、ここではその説明を省略する。

そして、採点集計処理にあたっては、先ず、生徒等の解答者によって解答者情報欄２３への氏名等の情報の記入および解答欄２１への解答記入が為され、さらに教師等の採点者によって各解答欄２１に記入された解答に対する「○」，「×」，「△」等の正誤判定図形の記入（追記）が為された教育用教材２０について、画像読み取り部２が画像読み取りを行って、その教育用教材２０からの画像データを得る（ステップＳ１０１）。

このとき、ＡＤＦを用いれば、例えば同一学級のような一つのグループに纏めて処理すべき複数の教育用教材２０について、一括して画像読み取りを行って、各教育用教材２０から連続的に画像データを得ることができる。そして、画像読み取りによって得られた画像データについては、一旦ワークエリアとして用いられるメモリ等に保持しておく。

その後は、各教育用教材２０から得られたそれぞれの画像データに対して、順次、以下のような自動採点処理が行われる（ステップＳ１０２）。

すなわち、ある一つの教育用教材２０から得られた画像データについて、画像データ解析部３がその解析処理を行い、その解析処理の結果に基づいて教材判別部４が教育用教材２０の識別特定を行う。この識別特定は、例えば「理科」、「５年」、「１．天気と気温の変化」といったタイトル解析または識別情報欄２２に埋め込まれたコード情報についてのコード解析を通じて行えばよい。この識別特定を経ることで、教材判別部４において、画像読み取り部２で得られた画像データとの比較対象となる電子データを特定することが可能となる。

なお、この識別特定は、画像読み取り部２が画像読み取りを行った複数の教育用教材２０のそれぞれについて順次行うことも考えられるが、一般に一つのグループに纏めて処理される教育用教材２０は全て同一のものであるため、その纏めて処理される中で最初に処理される教育用教材２０についてのみ行えばよい。

教材判別部４が電子データを特定すると、データベース部１は、その特定結果に従いつつ、保持蓄積している中から該当する電子データを取り出して、これを差分抽出部６へ受け渡す。

また、ある一つの教育用教材２０から得られた画像データについては、歪み補正部５がその画像データにおける画像歪みの補正を行う。この画像歪みの補正は、その後に行う電子データとの比較や差分抽出等の精度向上を図ることを目的として、画像読み取り部２での画像読み取りの際に生じ得る画像歪みを補正するために行われる。

そして、差分抽出部６は、データベース部１から受け渡された電子データと、画像読み取り部２で得られ、歪み補正部５で画像歪みが補正された後の画像データとをそれぞれ比較して、その差分を抽出する。この差分抽出によって、解答者情報欄２３および各解答欄２１への記入内容、並びに各解答欄２１に対する正誤判定図形が抽出されることになる。

差分抽出部６が差分を抽出すると、その後は、解答者抽出部７が、その差分に対する文字認識処理等を通じて、画像読み取り部２で読み取り対象となった教育用教材における解答者情報を抽出する。これにより、ある一つの教育用教材２０に解答を記入した解答記入者の学級、出席番号、氏名等を特定することが可能となる。

また、差分抽出部６による差分抽出結果に対しては、各解答欄２１への正誤判定図形を抽出するために、その差分抽出結果から正誤判定抽出部８がさらに所定色成分についてのもの、具体的には例えば赤色成分のものを抽出する。所定色成分の抽出は、例えば差分抽出結果が画素データからなる場合であれば、その画素データを構成する色成分データに着目することで行うことができる。

ただし、一般に、教育用教材２０上での「○」，「×」，「△」等の正誤判定図形の記入は、問題文、各解答欄２１を特定する枠、各解答欄２１への解答記入内容等に重ねて行われることが多い。そのため、正誤判定抽出部８による所定色成分の抽出結果は、その重なり部分が除かれたもの、すなわち「○」，「×」，「△」等の正誤判定図形に途切れ部分が生じたものとなるおそれがある。このことから、正誤判定抽出部８による所定色成分の抽出結果に対しては、途切れ補正部９が途切れ補正処理を行う。

（途切れ補正の一例）
ここで、途切れ補正部９による途切れ補正処理について、図４のフローチャートに沿って説明する。図４は、途切れ補正の処理手順の一例を示すフローチャートである。

途切れ補正処理にあたっては、正誤判定抽出部８による所定色成分の抽出結果、すなわち「○」，「×」，「△」等の正誤判定図形である筈の抽出結果に対して細線化処理を実行し（ステップＳ２０１）、さらに端点抽出処理を実行する（ステップＳ２０２）。これにより、「○」，「×」，「△」等の正誤判定図形に途切れ部分が生じている場合に、その途切れ部分における端点が抽出されることになる。なお、このときに行う細線化処理および端点抽出処理は、公知技術を利用して行えばよいため、ここではその詳細な説明を省略する。

そして、端点を抽出したら、その抽出した全ての端点に対し、接続処理済みと判定するまで（ステップＳ２０３）、以下のような処理を実行する。すなわち、先ず、未処理の端点を一つ選択し（ステップＳ２０４）、その選択した端点（以下、「第一端点」と記す）から、予め設定されている所定距離内にあって、かつ、最も近傍にある未処理の端点（以下、「第二端点」と記す）をさらに選択する（ステップＳ２０５）。

そして、対応する端点（第二端点）が有るか否かを判断し（ステップＳ２０６）、対応する端点があれば、第一端点と第二端点とを互いに接続し（ステップＳ２０７）、次いで第一端点および第二端点をいずれも処理済みにする（ステップＳ２０８）。一方、対応する端点が第二端点で無ければ、端点間の接続は行わずに、第一端点を処理済みにする（ステップＳ２０９）。

このような処理を、未処理の端点がなくなるまで、全ての端点に対して行う（ステップＳ２０３〜Ｓ２０９）。これにより、例えば図５に示す図形が抽出された場合には、端点Ａに対して、所定距離内に端点Ｂ，Ｃが存在していても、その中で最も近傍の端点Ｂが端点Ａと接続され、「○」の図形における途切れ部分が補正されることになる。

（途切れ補正の他の例）
図６は、途切れ補正部９による途切れ補正の処理手順の他の例を示すフローチャートである。途切れ補正処理の他の例では、正誤判定抽出部８による所定色成分の抽出結果の他に、歪み補正部５による画像歪み補正後の画像データをも用いて、途切れ補正処理の精度向上を図っている。

すなわち、途切れ補正処理の他の例では、歪み補正部５による画像歪み補正後の画像データに対して二値化処理を行う（ステップＳ３０１）。ただし、差分抽出部６による差分抽出または正誤判定抽出部８による所定色成分の抽出の際に二値化処理をしていれば、その二値化処理後の画像データを使用しても構わない。

また、正誤判定抽出部８による所定色成分の抽出結果に対しては、細線化処理を実行し（ステップＳ３０２）、さらに端点抽出処理を実行する（ステップＳ３０３）。そして、端点を抽出したら、その抽出した全ての端点に対して、接続処理済みと判定するまで（ステップＳ３０４）、以下のような処理を実行する。

先ず、未処理の端点を一つ選択し（ステップＳ３０５）、その選択した第一端点から、予め設定されている所定距離内にあって、かつ、最も近傍にある未処理の端点を第二端点として選択する（ステップＳ３０６）。次いで対応する端点（第二端点）が有るか否かを判断する（ステップＳ３０７）。

そして、対応する端点があれば、第一端点と第二端点とを連結するような画素群が、二値化処理後の画像データ中にあるか否かを判断する（ステップＳ３０８）。つまり、途切れの発生要因となった画像の重なり部分があるか否かを判断する。その結果、重なり部分があれば、第一端点と第二端点とを互いに接続し（ステップＳ３０９）、次いで第一端点および第二端点をいずれも処理済みにする（ステップＳ３１０）。

一方、重なり部分がなければ、ステップＳ３０６に戻り、第一端点から所定距離内にあって、かつ、最も近傍の端点の次に近距離にある端点を第二端点として選択する。このとき、選択すべき端点がなければ、端点間の接続は行わずに、第一端点を処理済みにする（ステップＳ３１１）。このような処理を、未処理の端点がなくなるまで、全ての端点に対して行う（ステップＳ３０４〜Ｓ３１１）。

これにより、例えば図７に示す図形が抽出された場合に、端点Ａに対して、所定距離内に端点Ｂ，Ｃが存在していると、その中で最も近傍の端点Ｃが選択されるが、二値化処理後の画像データ中に端点Ａ，Ｃ間を連結する画素群がないので、端点Ａ，Ｃ間は接続しない。そして、端点Ｃの次に距離の近い端点Ｂが選択されるが、その端点Ｂと端点Ａとの間には二値化処理後の画像データ中に画素群が存在するので、端点Ｂが端点Ａと接続されることになる。つまり、「○」と「×」とが誤って接続されてしまうことなく、「○」の図形における途切れ部分が補正されるのである。

以上のような途切れ補正部９による途切れ補正処理後、対応付け部１０は、正誤判定抽出部８によって抽出された正誤判定図形と教育用教材２０上の解答欄２１とを対応付ける（グループ化）とともに、対応付けによって１つの解答欄２１に対して複数の正誤判定図形が対応付けられたときに、所定の判定条件の下に複数の正誤判定図形のうちの１つを選択する（オブジェクト選択）。

そして、対応付け部１０でのグループ化およびオブジェクト選択が終わると、図形形状認識部１１が解答欄２１毎に１つ対応付けられた正誤判定図形に対する形状認識、すなわち「○」，「×」，「△」等の図形形状とのパターンマッチングを行って、その正誤判定図形が「正解（○）」であるか、「不正解（×）」であるか、あるいは「部分点（△）」であるかを認識する。このときに行うパターンマッチングは、公知技術を利用して実現すればよいため、ここではその説明を省略する。

このようにして、対応付け部１０がグループ化およびオブジェクト選択を行って、その正誤判定図形と解答欄２１との対応付けを行った後は、採点集計部１２が正誤判定の採点集計を行う。このとき、採点集計部１２は、正誤判定図形が「○」であれば、これに対応する設問についての配点情報から特定される配点を加算し、正誤判定図形が「×」であれば、これに対応する設問についての配点加算を行わず、正誤判定図形が「△」であれば、所定の得点、例えばその設問の配点の半分の得点を加算する。このような採点集計を教育用教材２０上の全ての正誤判定図形について行う。

以上のような処理を経ることで、採点集計部１２からは、教育用教材２０上に記入された正誤判定の採点集計の結果が問題別採点結果として出力される。採点集計部１２から問題別採点結果が出力されると、その後は、集計結果出力部１３が、その問題別採点結果、すなわち採点集計部１２による採点集計の結果を、解答者抽出部７が抽出した解答者情報と関連付けて、教材処理装置と接続するデータベース装置３１またはファイルサーバ装置３２に対して出力する（図３におけるステップＳ１０３）。これにより、データベース装置３１またはファイルサーバ装置３２では、教育用教材２０についての採点集計結果を、例えば一覧形式で、管理または利用することが可能となる。

（訂正認識）
ところで、生徒等の解答者によって解答が記入された教育用教材２０についての採点にあたって、教師等の採点者が、ある解答に対してその解答が不正解であり、「×」の正誤判定図形を記入すべきところを誤って「○」の正誤判定図形を記入し、その誤記入に気付いた場合に、例えば図８に示すように、「○」の図形の上に訂正を意味する例えば二重線を引いてその近傍に「×」の正誤判定図形を追記するようなことがある。

このように、追記画像が記入され、正誤判定に対して訂正が為された教育用教材２０の採点集計を行うにあたって、「○」，「×」，「△」等の正誤判定図形のみならず、訂正後の追記画像（具体的には、「○」，「×」，「△」等の正誤判定図形）についても認識する技術が本発明の特徴とするところであり、その具体的な実施例について、以下に３つの実施例１，２，３として説明する。以下では、訂正後の追記画像を認識することを「訂正認識」と呼ぶこととする。

〈実施例１〉
実施例１に係る訂正認識は、図９に示すように、教育用教材（答案原稿）２０上に問題（設問）ごとに、解答欄２１を含む領域であって、採点者が正誤判定の内容を記入する範囲を規定する採点領域２４が定められていることを前提とする。この採点領域２４を含めた教育用教材２０の情報はデータベース部１に予め登録されている。

図１０は、実施例１に係る訂正認識の処理手順の一例を示すフローチャートである。先ず、正誤判定抽出部８において、画像読み取り部２で教育用教材２０から読み取って得た画像データに基づく差分抽出部６での差分抽出結果から追記画像を抽出する（ステップＳ４０１）。ここで言う追記画像とは、教師等の採点者による採点によって各解答欄２１の解答に対して記入された正誤判定図形や、この正誤判定図形を例えば二重線等によって訂正して新たに記入された正誤判定図形など、原画像に対して追記された画像である。

次に、対応付け部１０において、抽出した各追記画像の外接矩形を抽出し（ステップＳ４０２）、次いで外接矩形および採点領域２４の各面積を求める（ステップＳ４０３）。そして、外接矩形および採点領域２４の各面積の重なり量、すなわち外接矩形と採点領域２４との重複量が最も大きくなる採点領域２４に対し、抽出した各追記画像を対応付ける（ステップＳ４０４）。これにより、図１１に示すように、訂正前の正誤判定図形「○」と訂正後の正誤判定図形「×」とが同じグループとして１つの採点領域２４に対応付けられる（グループ化）。

次に、１つの採点領域２４に複数の正誤判定図形（追記画像）が存在するか否かを判断し（ステップＳ４０５）、複数の正誤判定図形が存在するのであれば、採点領域２４に対応づけられた正誤判定図形同士の位置関係に基づいて、例えば図１１に示すように、採点領域２４内の最も右側に位置する正誤判定図形を当該採点領域２４の代表とする（オブジェクト選択）（ステップＳ４０６）。

次に、図形形状認識部１１において、各採点領域２４の代表画像の正誤判定図形についてパターンマッチングによって形状認識し（ステップＳ４０７）、その形状認識結果を採点集計部１２へ渡す。そして、採点集計部１２において、形状認識結果に基づいて採点集計の処理を行う（ステップＳ４０８）。

ステップＳ４０５において、１つの採点領域２４に複数の正誤判定図形が存在しないと判定した場合には、１つの正誤判定図形がそのまま当該採点領域２４の代表となることから、直接ステップＳ４０７に移行して当該代表画像の正誤判定図形について形状認識を行う。

（採点集計処理）
次に、採点集計部１２での採点集計処理の詳細について説明する。図１２は、採点集計の処理手順の一例を示すフローチャートである。

先ず、正誤判定図形についてのカウント数Ｐを「１」に設定し（ステップＳ５０１）、以下の処理をステップＳ５０２でカウント数Ｐの値が図形形状認識部１１より渡された正誤判定図形の形状認識結果の数を超えたと判定するまで繰り返して実行する。すなわち、以下の処理は、正誤判定図形ごとに実行されることになる。

次に、図形形状認識部１１での形状認識結果を基に正誤判定図形の形状を判断する（ステップＳ５０３）。そして、正誤判定図形の形状が「○」であれば、これに対応する問題についての配点情報から特定される得点を集計結果表に登録し（ステップＳ５０４）、正誤判定図形が「×」であれば、得点０を集計結果表に登録し（ステップＳ５０５）、正誤判定図形が部分点を示す「△」であれば、部分点として予め規定されている得点、例えば配点の半分の得点を集計結果表に登録する（ステップＳ５０６）。

正誤判定図形の形状に応じた得点の登録が終了したら、カウント数Ｐの値をインクリメントし（ステップＳ５０７）、しかる後ステップＳ５０２に戻って、カウント数Ｐの値が正誤判定図形の形状認識結果の数を超えるまで、ステップＳ５０３〜ステップＳ５０７の各処理を実行する。

以上のような処理を経ることで、採点集計部１２からは、教育用教材２０上に記入された正誤判定の採点集計の結果が問題別採点結果として出力される。図１３に、教育用教材２０である答案原稿情報（ａ）と、採点領域２４が定められ、当該採点領域２４内に正誤判定図形が記入された答案原稿（ｂ）と、採点集計部１２の出力結果（ｃ）とを示す。

〈実施例２〉
図１４は、実施例２に係る訂正認識の処理手順の一例を示すフローチャートである。先ず、正誤判定抽出部８において、画像読み取り部２で教育用教材２０から読み取って得た画像データに基づく差分抽出部６での差分抽出結果から追記画像を抽出する（ステップＳ６０１）。

次に、対応付け部１０において、図１５に示すように、抽出した追記画像について領域分割処理によって複数の領域に分割する（ステップＳ６０２）。この領域分割では、解答欄数（設問数）があらかじめわかっていることから、領域の数が当該解答欄数になるまで分割する。領域の分割数を解答欄数とすることで（領域分割数＝解答欄数）、分割した領域数が解答欄数に対して多すぎたり、少なすぎたりすることがないために、次のグループ化を確実に行えるようになる。

次いで、分割された各分割領域２５と、抽出された追記画像とを対応付ける（ステップＳ６０３）。これにより、図１５に示すように、１つの解答欄２１に対して追記された訂正前の正誤判定図形「○」と訂正後の正誤判定図形「×」とが、当該解答欄２１を含む分割領域２５に対して同じグループとして対応付けられる（グループ化）。

次に、１つの分割領域２５に複数の正誤判定図形（追記画像）が存在するか否かを判断し（ステップＳ６０４）、複数の正誤判定図形が存在するのであれば、取消記号画像（例えば、二重線）を持つテンプレートと比較するテンプレートマッチングを行い、取消記号が含まれない正誤判定図形を当該分割領域２５の代表とする（オブジェクト選択）（ステップＳ６０５）。

ここで、テンプレートマッチングを用いたオブジェクト選択について、図１６を用いて具体的に説明する。先ず、抽出した追記画像のサイズや傾き等を正規化し、次いで最もマッチングする位置で取消記号画像（例えば、二重線）を持つテンプレートと追記画像との排他的論理和演算を行う。そして、その排他的論理和の結果、画素数が減る追記画像を除外するか、あるいは画素数が最も増加する追記画像を代表とする。

次に、図形形状認識部１１において、各分割領域２５の代表画像の正誤判定図形についてパターンマッチングによって形状認識し（ステップＳ６０６）、その形状認識結果を採点集計部１２へ渡す。そして、採点集計部１２において、図１２の処理手順で形状認識結果に基づいて採点集計の処理を行う（ステップＳ６０７）。

ステップＳ６０４において、１つの分割領域２５に複数の正誤判定図形が存在しないと判定した場合には、１つの正誤判定図形がそのまま当該分割領域２５の代表となることから、直接ステップＳ６０６に移行して当該代表画像の正誤判定図形について形状認識を行う。

〈実施例３〉
図１７は、実施例３に係る訂正認識の処理手順の一例を示すフローチャートである。先ず、正誤判定抽出部８において、画像読み取り部２で教育用教材２０から読み取って得た画像データに基づく差分抽出部６での差分抽出結果から追記画像を抽出する（ステップＳ７０１）。

次に、対応付け部１０において、抽出した各追記画像の外接矩形を抽出し（ステップＳ７０２）、次いで外接矩形の中心座標を求める（ステップＳ７０３）。外接矩形の中心座標については、例えば、外接矩形の所定点（例えば、左上頂点）のｘｙ座標、並びに、当該外接矩形の幅ｗおよび高さｈを算出し、これらの算出結果から中心ｘ座標（＝ｘ＋ｗ／２）、中心ｙ座標（＝ｙ＋ｈ／２）を算出することで求めることができる。次いで、各追記画像の中心座標同士の距離を求め、所定閾値以内の追記画像同士をグループ化する（ステップＳ７０４）。

次に、図形形状認識部１１において、対応付けられた正誤判定図形についてパターンマッチングによって形状認識を行うとともに、その形状認識の信頼度を求める（ステップＳ７０５）。ここで、形状認識の信頼度は、形状認識の結果の信頼性（精度）の度合いであり、「○」の形状認識において、当該「○」が例えば二重線で消されている場合は「○」としての形状認識の信頼性が低くなる。

次に、採点集計部１２において、１つのグループに複数の正誤判定図形（追記画像）が存在するか否かを判断し（ステップＳ７０６）、複数の正誤判定図形が存在するのであれば、ステップＳ７０５で求めた形状認識の信頼度を参照し、最も信頼度の高い正誤判定図形を当該解答欄領域２６の代表とする（オブジェクト選択）（ステップＳ７０７）。

次に、図１８に示すように、グループ化された正誤判定図形の外接矩形を抽出し（ステップＳ７０８）、次いで抽出した外接矩形と解答欄２１を含む解答欄領域２６との各面積を求める（ステップＳ７０９）。そして、外接矩形および解答欄領域２６の各面積の重なり量、すなわち外接矩形と解答欄領域２６との重複量が最も大きくなる解答欄領域２６に対して抽出した各追記画像を対応付け、認識結果を登録する（ステップＳ７１０）。

そして、図１２の処理手順で形状認識結果に基づいて採点集計の処理を行う（ステップＳ７１１）。ステップＳ７０６において、１つのグループに複数の正誤判定図形が存在しないと判定した場合には、そのままステップＳ７０８に移行する。

本実施例３においては、採点集計部１２が本発明における対応付け手段としての機能をも持つことになる。

上述したように、実施例１では、抽出した各追記画像の外接矩形と解答欄２１を含む採点領域２４との重複量によってグループ化を行い、１つの採点領域２４に複数の追記画像が存在する場合に、追記画像同士の位置関係によってオブジェクト選択を行うとし、実施例２では、抽出した各追記画像を領域分割することによってグループ化を行い、１つの分割領域２５に複数の追記画像が存在する場合に、テンプレートマッチングによってオブジェクト選択を行うとし、実施例３では、抽出した各追記画像の中心座標同士の距離によってグループ化を行い、１つのグループに複数の追記画像が存在する場合に、形状認識の信頼度によってオブジェクト選択を行うとともに、グループの外接矩形と解答欄領域２６との重複量によって対応付けを行うこととした。

ただし、実施例１〜３における上述したグループ化とオブジェクト選択との組み合わせは一例に過ぎずこれらの組み合わせに限られるものではなく、実施例１〜３の各々のグループ化とオブジェクト選択とを相互に入れ換えた組み合わせを採ることも可能である。

以上説明したように、教材処理装置、教材処理方法また教材処理プログラムにおいて、正誤判定の記入がされた教育用教材２０から読み取った画像データと、その教育用教材２０についての電子データ、すなわち解答欄２１への解答記入および当該解答に対する正誤判定の記入がされていないものについてのデータとを比較し、互いの差分から正誤判定の記入内容を認識して、その正誤判定の採点集計を行うようにしたことで、正誤判定が記入された教育用教材２０に対する画像読み取りを行えば、その記入された正誤判定について採点結果の自動集計を行うことができるために、教育用教材２０についての採点処理の省力化を図ることができることとなる。

しかも、教育用教材２０から読み取った画像データを基にするため、例えば、複写機、複合機またはスキャナ装置によって実現されるスキャン機能と、ＰＣ等のコンピュータ機器が有する情報記憶処理機能、画像処理機能および演算処理機能とがあれば、装置構成を実現することができ、専用の構成機器を必要とすることもない。

つまり、本実施形態に係る教材処理装置、教材処理方法または教材処理プログラムによれば、教育機関で用いられる教育用教材２０について、その採点処理の省力化を実現することが可能となるのに加えて、その採点処理にあたって専用の構成機器を必要とせず、しかも対応可能な教育用教材２０についての汎用性を十分に確保することができる。したがって、教育機関で用いるのにあたり非常に利便性の高いものとなり、信頼性の高い採点処理を円滑に行えるようになる。

また、本実施形態に係る教材処理装置、教材処理方法または教材処理プログラムでは、正誤判定の記入内容として、当該正誤判定の記入図形形状および記入位置の両方を認識するようになっており、さらにはその記入図形形状および記入位置の認識結果を、電子データに含まれる解答欄２１の位置情報および配点情報と対応させて、正誤判定の採点集計を行うようになっている。

つまり、正誤判定の記入位置を算出し、これを解答欄２１の位置情報と対応させているので、教育用教材２０上で解答欄２１がどのようにレイアウトされていても、その教育用教材２０に記入された正誤判定に対する採点集計を行い得るようになる。しかも、単に位置情報だけではなく、配点情報とも対応させるので、例えば解答欄２１によって配点が異なるような教育用教材２０についても、正誤判定に対する採点集計を行うことが可能となる。

特に、本実施形態に係る教材処理装置、教材処理方法または教材処理プログラムでは、例えば教師等の採点者による採点処理の際に、ある解答に対してその解答が不正解であるのに誤って「○」の正誤判定図形を記入し、その誤記入に気付いて「○」の図形の上に訂正を意味する例えば二重線を引いてその近傍に「×」の正誤判定図形を記入する（追記画像を訂正してその近傍にさらに追記画像を追記する）ような状況が生じても、抽出された追記画像である正誤判定図形と所定領域である解答欄２１とを対応付け、この対応付けによって１つの解答欄２１に対して複数の追記画像が対応付けられたときに、所定の判定条件の下に複数の追記画像のうちの１つを選択することで、訂正前の追記画像と訂正後の追記画像とを判別できるために、訂正後の追記画像を確実に認識できる。すなわち、紙原稿である教育用教材に対しても、訂正後の追記画像を確実に認識することができるために、採点処理の作業性を向上できるとともに、信頼性の高い採点処理を行うことができることとなる。

なお、上記実施形態では、本発明の好適な実施具体例を説明したが、本発明はその内容に限定されるものではない。例えば、歪み補正処理や途切れ補正処理等は、必ずしも必須ではない。

また、上記実施形態では、本発明に係る画像認識装置、画像認識方法および画像認識プログラムとして教材処理装置、教材処理方法および教材処理プログラムを例に挙げて説明したが、本発明はこれらへの適用に限られるものではなく、用紙に記入された文字や図形等の画像を読み取って認識する画像認識装置、画像認識方法および画像認識プログラム全般に適用可能である。

このように、本発明は、上記実施形態での構成に対し、その要旨を逸脱しない範囲内で適宜変更することが可能である。

本発明が適用される教材処理装置の構成例を示すシステム構成図である。 教育用教材の一具体例を示す説明図である。 教材処理装置における処理動作例を示す説明図である。 途切れ補正の処理手順の一例を示すフローチャートである。 途切れ補正処理の一例の説明図である。 途切れ補正の処理手順の他の例を示すフローチャートである。 途切れ補正処理の他の例の説明図である。 追記画像の記入例を示す説明図である。 採点領域が定められた教育用教材を示す説明図である。 本発明の実施例１に係る訂正認識の処理手順の一例を示すフローチャートである。 実施例１に係る訂正認識におけるグループ化およびオブジェクト選択の説明図である。 採点集計の処理手順の一例を示すフローチャートである。 答案原稿情報（ａ）と答案原稿（ｂ）と採点集計部１２の出力結果（ｃ）とを示す説明図である。 本発明の実施例２に係る訂正認識の処理手順の一例を示すフローチャートである。 実施例２に係る訂正認識におけるグループ化およびオブジェクト選択の説明図である。 テンプレートマッチングを用いたオブジェクト選択の一具体例を示す説明図である。 本発明の実施例３に係る訂正認識の処理手順の一例を示すフローチャートである。 実施例３に係る訂正認識におけるオブジェクト選択および対応付けの説明図である。

符号の説明

１…データベース部、２…画像読み取り部、３…画像データ解析部、４…教材判別部、５…歪み補正部、６…差分抽出部、７…解答者抽出部、８…正誤判定抽出部、９…途切れ補正部、１０…対応付け部、１１…図形形状認識部、１２…採点集計部、１３…集計結果出力部、２０…教育用教材、２１…解答欄、２２…識別情報欄、２３…解答者情報欄、２４…採点領域、２５…分割領域、２６…解答欄領域、３１…データベース装置、３２…ファイルサーバ装置

Claims (9)

1. 紙原稿上の画像を読み取って当該紙原稿から画像データを得る読み取り手段と、
   前記紙原稿上の原画像についての画像データと前記読み取り手段で得た画像データとを比較して差分をとり、差分抽出結果から前記原画像の所定領域毎に追記された追記画像を抽出する追記画像抽出手段と、
   前記追記画像抽出手段によって抽出された前記追記画像と前記所定領域とを対応付ける対応付け手段と、
   前記対応付け手段による対応付けによって１つの所定領域に対して複数の追記画像が対応付けられたときに、所定の判定条件の下に前記複数の追記画像のうちの１つを選択する追記画像選択手段と
   を備えたことを特徴とする画像認識装置。
2. 前記対応付け手段は、前記追記画像抽出手段によって抽出された前記追記画像と前記所定領域との重複量によって対応付けを行う
   ことを特徴とする請求項１記載の画像認識装置。
3. 前記対応付け手段は、前記追記画像抽出手段によって抽出された前記追記画像について領域分割処理により複数の領域に分割することによって対応付けを行う
   ことを特徴とする請求項１記載の画像認識装置。
4. 前記対応付け手段は、前記追記画像抽出手段によって抽出された前記追記画像の各々の中心座標同士の距離によってグループ化を行う
   ことを特徴とする請求項１記載の画像認識装置。
5. 前記追記画像選択手段は、前記対応付け手段によって１つの所定領域に複数の追記画像が対応付けられている場合に、当該追記画像同士の位置関係をもとに１つを選択する
   ことを特徴とする請求項１記載の画像認識装置。
6. 前記追記画像選択手段は、前記対応付け手段によって１つの所定領域に複数の追記画像が対応付けられている場合に、これら複数の追記画像と取消記号画像を持つテンプレートとを比較するテンプレートマッチングによって１つを選択する
   ことを特徴とする請求項１記載の画像認識装置。
7. 前記追記画像選択手段は、前記対応付け手段によって１つのグループに複数の追記画像がグループ化されている場合に、これら複数の追記画像の形状認識の信頼度によって１つを選択し、かつ、グループの外接矩形と前記所定領域との重複量が最も大きくなる所定領域に対して選択した追記画像を対応付ける
   ことを特徴とする請求項４記載の画像認識装置。
8. 紙原稿上の画像を読み取って当該紙原稿から画像データを得る第１ステップと、
   前記紙原稿上の原画像についての画像データと前記第１ステップで得た画像データとを比較して差分をとり、差分抽出結果から前記原画像の所定領域毎に追記された追記画像を抽出する第２ステップと、
   前記第２ステップで抽出した前記追記画像と前記所定領域とを対応付ける第３ステップと、
   前記第３ステップでの対応付けによって１つの所定領域に対して複数の追記画像が対応付けられたときに、所定の判定条件の下に前記複数の追記画像のうちの１つを選択する第４ステップと
   を有することを特徴とする画像認識方法。
9. 紙原稿上の画像を読み取って当該紙原稿から画像データを得る画像読み取り装置と接続するコンピュータを、
   前記紙原稿上の原画像についての画像データと前記読み取り手段で得た画像データとを比較して差分をとり、差分抽出結果から前記原画像の所定領域毎に追記された追記画像を抽出する追記画像抽出手段と、
   前記追記画像抽出手段によって抽出された前記追記画像と前記所定領域とを対応付ける対応付け手段と、
   前記対応付け手段による対応付けによって１つの所定領域に対して複数の追記画像が対応付けられたときに、所定の判定条件の下に前記複数の追記画像のうちの１つを選択する追記画像選択手段
   として機能させることを特徴とする画像認識プログラム。
   

Images