JP2007241357A - 画像処理装置、画像処理プログラムおよび画像処理方法 - Google Patents

Abstract

【課題】手書き図形を認識対象とする場合に、互いに重複部分または接触部分を有して記入された複数の図形があっても、これらを正しく分離して適切に認識できるようにする。
【解決手段】複数の手書き図形が重複または接触して記入されてなる接触図形群の有無および当該接触図形群を構成する手書き図形の数を判定し、前記接触図形群があれば当該接触図形群を構成する各手書き図形についての記入位置中心を推定し、推定した記入位置中心を用いて前記接触図形群を構成する各手書き図形の分離抽出を行い、その分離抽出の後に前記手書き図形に対する図形認識処理を行うように、画像処理装置を構成する。
【選択図】図１

Description

本発明は、手書き図形に対する図形認識処理を行う機能を有した画像処理装置、画像処理プログラムおよび画像処理方法に関する。

近年、教育用教材（ペーパーテストや練習問題シート等）についての自動採点集計や、アンケート用紙への記入内容の自動集計等が、ＯＣＲ（Optical Character Reader）技術等を利用することによって実現されている。ただし、ＯＣＲ技術では、手書きの文字または記号を認識対象とする。すなわち、手書きゆえに隣り合う文字または記号が重複部分または接触部分を有して記入されることも考えられるが、その場合であってもそれぞれの文字または記号について正しく認識する必要がある。このことから、従来、ＯＣＲ技術に関しては、接触文字を含む文字列についても正確に認識できるようにすることが提案されている（例えば、特許文献１，２参照）。

特開平５−２３３８７７号公報 特開平６−１５００６２号公報

しかしながら、従来におけるＯＣＲ技術では、認識対象が文字列である場合には有効であるが、例えば「○」や「×」といった手書き図形が認識対象となる場合には、互いに重複部分または接触部分を有して記入された複数の図形について、必ずしもこれらを正確に認識し得るとは限らない。認識対象が手書き図形であると、文字の場合とは異なり、その意味に基づく判断が困難だからである。また、文字であれば各文字が縦書きまたは横書きといった一定の規則に従って並ぶことになるが、手書き図形の場合には斜め方向といったように様々な態様で並んで重複または接触し得るからである。さらには、手書き図形については、重複度合いの変化が大きいことも多いからである。したがって、教育用教材の自動採点集計やアンケート用紙の自動集計等を行う場合には、「○」、「△」、「×」等といった手書きの図形についての認識が必要となるため、その自動採点集計や自動集計等が正しく行えないおそれがある。

そこで、本発明は、手書き図形を認識対象とする場合に、互いに重複部分または接触部分を有して記入された複数の図形があっても、これらを正しく分離して適切に認識することのできる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。

本発明は、上記目的を達成するために案出された画像処理装置で、複数の記入欄のそれぞれに対応して手書き図形が記入された原稿から得た画像データを、当該原稿についての画像データで前記手書き図形が未記入のものと比較して、両者の差分を抽出する差分抽出手段と、前記差分抽出手段による差分抽出結果に基づいて、複数の手書き図形が重複または接触して記入されてなる接触図形群の有無および当該接触図形群を構成する手書き図形の数を判定する接触判定手段と、前記接触図形群を構成する各手書き図形についての記入位置中心を推定し、または当該接触図形群における図形主軸を特定する中心推定手段と、前記中心推定手段が推定した記入位置中心または当該中心推定手段が特定した図形主軸のを用いて前記接触図形群を構成する各手書き図形の分離抽出を行う図形分離手段と、前記差分抽出手段による差分抽出結果または前記図形分離手段による図形分離抽出結果の少なくとも一方に対する図形認識処理を行う図形認識手段とを備えることを特徴とする。

また、本発明は、上記目的を達成するために案出された画像処理プログラムで、コンピュータを、複数の記入欄のそれぞれに対応して手書き図形が記入された原稿から得た画像データを、当該原稿についての画像データで前記手書き図形が未記入のものと比較して、両者の差分を抽出する差分抽出手段と、前記差分抽出手段による差分抽出結果に基づいて、複数の手書き図形が重複または接触して記入されてなる接触図形群の有無および当該接触図形群を構成する手書き図形の数を判定する接触判定手段と、前記接触図形群を構成する各手書き図形についての記入位置中心を推定し、または当該接触図形群における図形主軸を特定する中心推定手段と、前記中心推定手段が推定した記入位置中心または当該中心推定手段が特定した図形主軸の少なくとも一方を用いて前記接触図形群を構成する各手書き図形の分離抽出を行う図形分離手段と、前記差分抽出手段による差分抽出結果または前記図形分離手段による図形分離抽出結果の少なくとも一方に対する図形認識処理を行う図形認識手段として機能させることを特徴とする。

また、本発明は、上記目的を達成するために案出された画像処理方法で、複数の記入欄のそれぞれに対応して手書き図形が記入された原稿から得た画像データを、当該原稿についての画像データで前記手書き図形が未記入のものと比較して、両者の差分を抽出する差分抽出ステップと、前記差分抽出ステップによる差分抽出結果に基づいて、複数の手書き図形が重複または接触して記入されてなる接触図形群の有無および当該接触図形群を構成する手書き図形の数を判定する接触判定ステップと、前記接触図形群を構成する各手書き図形についての記入位置中心を推定し、または当該接触図形群における図形主軸を特定する中心推定ステップと、前記中心推定ステップで推定した記入位置中心または当該中心推定ステップで特定した図形主軸の少なくとも一方を用いて前記接触図形群を構成する各手書き図形の分離抽出を行う図形分離ステップと、前記差分抽出ステップによる差分抽出結果または前記図形分離ステップによる図形分離抽出結果の少なくとも一方に対する図形認識処理を行う図形認識ステップとを含むことを特徴とする。

上記構成の画像処理装置および画像処理プログラム並びに上記手順の画像処理方法によれば、複数の手書き図形が重複または接触して記入されてなる接触図形群が存在する場合に、その接触図形群を構成する各手書き図形についての記入位置中心を推定し、または当該接触図形群における図形主軸を特定し、その推定結果または特定結果のいずれかを用いて接触図形群を構成する各手書き図形の分離抽出を行うようになっている。つまり、各手書き図形の記入位置に基づいてそれぞれの分離抽出を行うことになるので、各手書き図形の意味や重複または接触の態様（方向や度合）等に拘らず、各手書き図形を分離抽出し得るようになる。したがって、その後に行う図形認識処理を適切に行い得るようになる。

以上のように、本発明の画像処理装置、画像処理プログラムおよび画像処理方法では、手書きゆえに形状にばらつきのある複数の手書き図形同士が、同じく手書きゆえに重複または接触して記入されることがあっても、正しく個々の手書き図形を分離抽出して認識することができる。したがって、手書きの図形についての認識を正しく行えることから、教育用教材の自動採点集計やアンケート用紙の自動集計等に適用して非常に好適なものとなる。しかも、手書き図形同士が重複または接触して記入されても各手書きの図形を正しく認識し得るので、教育用教材やアンケート用紙等といった原稿に対する図形記入時の制約を少なくすることができ、結果として記入者の負担を減らすことができる。さらには、重複または接触を避けるために記入欄同士を離すといったことも不要となり、原稿上のレイアウト作成時の自由度を十分に確保し得るようになる。すなわち、例えば葉書のような小さなスペースのものを認識対象原稿として、その原稿に記入された手書き図形についての自動集計を行うといったことも実現可能となる。

以下、図面に基づき本発明に係る画像処理装置、画像処理方法および画像処理プログラムについて説明する。

〔装置概略構成の説明〕
先ず、画像処理装置の概略構成について説明する。ここでは、教育用教材についての自動採点集計を行うものを例に挙げて説明する。

図１は、本発明に係る画像処理装置の概略構成例を示すブロック図である。図例のように、ここで説明する画像処理装置（教育用教材自動採点システム）は、データベース部１と、画像読み取り部２と、画像データ解析部３と、教材判別部４と、歪み補正部５と、差分抽出部６と、解答者抽出部７と、正誤判定抽出部８と、途切れ補正部９と、接触図形分離部１０と、図形形状認識部１１と、記入位置認識部１２と、採点集計部１３と、集計結果出力部１４と、を備えて構成されている。

データベース部１は、教育用教材についての電子データを保持蓄積するものである。

ここで、教育用教材について簡単に説明する。図２は、教育用教材の一具体例を示す説明図である。図例のように、教育用教材２０は、問題およびその解答の記入欄２１を有したもので、具体的には教育機関で用いられるペーパーテストや練習問題シート等がこれに相当する。ただし、教育用教材２０は、少なくとも記入欄２１を有していればよく、問題文については必ずしも記載されていなくともよい。また、教育用教材２０には、その教育用教材２０を識別特定するための識別情報欄２２と、記入欄２１への解答記入者に関する解答者情報欄２３と、を有している。識別情報欄２２には、例えば教育用教材２０の科目、タイトル、適用学年等が予め記載されるものとする。ただし、これらの記載に加えて、またはこれらの記載とは別に、教育用教材２０を識別するためのコード情報が埋め込まれていてもよい。コード情報の埋め込みは、公知技術を利用して実現すればよいが、その一つの具体例として、例えば「ｉＴｏｎｅ（登録商標）」と呼ばれるもののように、階調表現としての万線スクリーンまたはドットスクリーンを構成する画素の形態（位置、形状等）を変化させることで、ハーフトーン画像の中にデジタル情報を埋め込むようにする、といった技術を用いることが考えられる。一方、解答者情報欄２３には、解答記入者の学級、出席番号、氏名等が記入され得るようになっている。

このような教育用教材２０についての電子データは、その教育用教材２０における記入欄２１や識別情報欄２２等のレイアウトを特定し得るものであり、かつ、データベース部１にて保持蓄積可能なものであれば、そのデータ形式を問わない。例えば、画像データ（イメージデータ）であっても、文書作成ソフトウェアで作成したアプリケーション文書データであってもよい。ただし、教育用教材２０についての電子データは、その教育用教材２０の原本についてのもの、すなわち記入欄２１等が全て未記入の教育用教材２０についてのものとする。また、教育用教材２０の電子データは、その教育用教材２０における各記入欄２１についての配点情報を含んでいるものとする。配点情報とは、教育用教材２０上における各記入欄２１について、どの位置に存在する記入欄２１への配点が何点であるかを特定するための情報である。なお、配点は、各記入欄２１毎に異なっていても、あるいは一律であっても構わない。

また図１において、画像読み取り部２は、記入欄２１への解答記入、解答者情報欄２３への氏名等の記入および当該解答に対する正誤判定（具体的には、例えば「○」または「×」の手書き図形）の記入がされた教育用教材２０に対して、公知の光学的画像読み取り技術を用いた画像読み取りを行って、その教育用教材２０から画像データを得るものである。すなわち、画像読み取り部２は、手書き図形（正誤判定）が記入された原稿（教育用教材）から画像データを得るためのものである。

画像データ解析部３は、画像読み取り部２で得られた画像データについて、その解析処理を行うものである。解析処理としては、レイアウト解析、文字図形分離、文字認識、コード情報認識、図形処理、色成分認識等が挙げられるが、いずれも公知の画像処理技術を利用して実現すればよいため、ここではその詳細な説明を省略する。

教材判別部４は、タイトル解析部とコード情報解析部との少なくとも一方からなるもので、画像データ解析部３での解析処理の結果、特に識別情報欄２２についてのタイトル解析部によるタイトル解析またはコード情報解析部によるコード解析の少なくとも一方の結果を基にして、画像読み取り部２で得られた画像データの元となった教育用教材２０を識別特定するものである。このとき、教材判別部４では、データベース部１が電子データを保持蓄積している教育用教材２０と照らし合わせ、該当する電子データがデータベース部１に保持蓄積されていなければ、教育用教材の識別特定エラーと判定するようになっている。すなわち、教材判別部４は、画像データ解析部３での解析結果から、画像読み取り部２で得られた画像データとの比較対象となる電子データを特定するものである。

歪み補正部５は、画像読み取り部２で得られた画像データに対して、その画像データにおける画像歪みの補正を行うものである。画像歪みの補正としては、傾き補正や主走査方向または副走査方向の拡縮補正等が挙げられるが、いずれも公知の画像処理技術を利用して実現すればよいため、ここではその詳細な説明を省略する。
あるいは、画像読み取り部２で得られた画像データと、比較対象となるデータベース部１内の電子データとを比較照合し、その画像歪み（傾き、拡縮など）を補正しても良い。

差分抽出部６は、教材判別部４での教育用教材２０の識別特定の結果に基づいて、画像読み取り部２で得られた画像データで、歪み補正部５での画像歪みの補正処理後のものと、その比較対象となるデータベース部１内の電子データとを比較して、それぞれの間の差分を抽出するものである。なお、差分抽出処理の手法自体については、公知の画像処理技術を利用して実現すればよいため、ここではその詳細な説明を省略する。

解答者抽出部７は、出席番号情報切り出し部と手書きＯＣＲ部との少なくとも一方、好ましくは両方からなるもので、画像データ解析部３での解析処理の結果を基にしつつ、差分抽出部６で抽出された差分のうち、解答者情報欄２３についての差分に対し、その差分からの出席番号情報切り出し部による文字情報抽出や手書きＯＣＲ部による文字認識処理等を通じて、画像読み取り部２で読み取り対象となった教育用教材における解答者情報を抽出するものである。解答者情報としては、解答記入者の学級、出席番号、氏名等といった、解答記入者を識別するための情報が挙げられる。

正誤判定抽出部８は、画像データ解析部３での解析処理の結果を基にしつつ、差分抽出部６で抽出された差分から、さらに正誤判定の記入内容を抽出するものである。正誤判定の記入内容の抽出は、例えば差分抽出部６での抽出結果に対する色成分認識処理を通じて、所定色成分についてのものを抽出することによって行えばよい。一般に、正誤判定の記入は、赤色で行われるからである。

途切れ補正部９は、正誤判定抽出部８での抽出結果に対して途切れ補正処理を行うものである。途切れ補正処理とは、抽出された線分同士を接続して、その抽出線分間の途切れを解消するための処理である。

接触図形分離部１０は、複数の正誤判定が重複または接触して記入されてなる接触図形群が有る場合に、その接触図形群を構成する各正誤判定の分離抽出を行うものである。すなわち、接触図形分離部１０は、接触図形群を構成する各手書き図形をそれぞれ個別に分割するものである。なお、接触図形分離部１０では、正誤判定の分離抽出を、詳細を後述するように、接触判定処理、中心推定処理および図形分離処理を経て行うようになっている。

図形形状認識部１１は、正誤判定抽出部８で抽出され、途切れ補正部９で途切れ補正がされ、接触図形分離部１０で分離抽出された正誤判定の記入内容に対して、その形状認識を行って、その正誤判定の記入内容を認識するものである。形状認識は、例えば「○」または「×」の図形形状とのパターンマッチングによって行えばよい。あるいは、認識対象図形の特徴量を算出し、その特徴量から形状を認識してもよい。特徴量としては、例えば、穴の個数、外接矩形に占める対象図形の面積率等が挙げられる。すなわち、図形形状認識部１１は、正誤判定の記入内容が「正解（○）」または「不正解（×）」であるかを認識するものである。

記入位置認識部１２は、図形形状認識部１１で形状が認識された正誤判定の記入内容について、その教育用教材２０上における記入位置を認識するものである。記入位置の認識は、例えば教育用教材２０上における座標解析によって行えばよい。

採点集計部１３は、図形形状認識部１１による正誤判定の記入内容の認識結果と、記入位置認識部１２による正誤判定の記入位置の認識結果と、データベース部１が保持蓄積している教育用教材２０の電子データに含まれる当該教育用教材２０の各記入欄２１についての配点情報とを基にして、画像読み取り部２が画像読み取りを行った教育用教材２０について、その教育用教材２０に記入された正誤判定の採点集計を行うものである。

集計結果出力部１４は、採点集計部１３による採点集計の結果を、解答者抽出部７が抽出した解答者情報と関連付けて出力するものである。なお、集計結果出力部１４による出力先としては、画像処理装置と接続するデータベース装置３１またはファイルサーバ装置３２で、教育用教材２０についての採点集計結果を管理するものが挙げられる。

なお、以上に説明した各部１〜１４のうち、画像読み取り部２については、画像読み取り装置としての機能を有した複写機、複合機またはスキャナ装置を利用して実現することが考えられる。その場合に、自動原稿搬送装置（Automatic Document Feeder；ＡＤＦ）が付設されていると、複数の教育用教材に対する画像読み取りを連続的に行うことができる。

また、画像読み取り部２を除く他の各部１，３〜１４については、例えばパーソナルコンピュータ（ＰＣ）のように、所定プログラムを実行することによって情報記憶処理機能、画像処理機能、演算処理機能等を実現するコンピュータ機器を利用して実現することが考えられる。その場合に、各部１，３〜１４の実現に必要となる所定プログラムは、予めＰＣ内にインストールしておくことが考えられるが、予めインストールされているのではなく、コンピュータ読み取り可能な記憶媒体に格納されて提供されるものであっても、または有線若しくは無線による通信手段を介して配信されるものであってもよい。つまり、上述した構成の画像処理装置は、画像読み取り装置と接続するコンピュータを画像処理装置として機能させる画像処理プログラムによっても実現可能である。

〔処理動作例の概要の説明〕
次に、以上のように構成された画像処理装置（画像処理プログラムによっても実現される場合を含む）における処理動作例、すなわち本発明に係る画像処理方法の手順について説明する。

図３は、本発明に係る画像処理装置における処理動作例の概要を示す説明図である。図例のように、画像処理装置を利用する場合には、先ず、生徒等によって解答者情報欄２３への氏名等の記入および記入欄２１への解答記入がされ、さらに教師等によって各記入欄２１に記入された解答に対する「○」や「×」等の正誤判定の図形記入がされた教育用教材２０について、画像読み取り部２が画像読み取りを行って、その教育用教材２０からの画像データを得る（ステップ１０１、以下ステップを「Ｓ」と略す）。このとき、ＡＤＦを用いれば、例えば同一学級のような一つのグループに纏めて処理すべき複数の教育用教材２０について、一括して画像読み取りを行って、各教育用教材２０から連続的に画像データを得ることができる。そして、画像読み取りによって得られた画像データについては、一旦ワークエリアとして用いられるメモリ等に保持しておく。

その後は、各教育用教材２０から得られたそれぞれの画像データに対して、詳細を後述するような自動採点処理が行われる（Ｓ１０２）。そして、その自動採点処理による採点集計の結果が採点集計部１３から出力されると、その採点集計の結果とこれに対応する解答者情報とを互いに関連付けて、画像処理装置と接続するデータベース装置３１またはファイルサーバ装置３２に対して出力する（Ｓ１０３）。これにより、データベース装置３１またはファイルサーバ装置３２では、教育用教材２０についての採点集計結果を、例えば一覧形式で、管理または利用することが可能となる。

〔自動採点処理の説明〕
続いて、画像処理装置が行う自動採点処理（Ｓ１０２）について、さらに詳しく説明する。図４は、自動採点処理の概要を示す説明図である。

自動採点処理にあたっては、ある一つの教育用教材２０から得られた画像データについて（Ｓ２０１）、画像データ解析部３がその解析処理を行い、その解析処理の結果に基づいて教材判別部４が教育用教材２０の識別特定を行う。この識別特定は、例えば「理科」「５年」「１．天気と気温の変化」といったタイトル解析または識別情報欄２２に埋め込まれたコード情報についてのコード解析を通じて行えばよい。この識別特定を経ることで、教材判別部４では、画像読み取り部２で得られた画像データとの比較対象となる電子データを特定することが可能となる。なお、この識別特定は、画像読み取り部２が画像読み取りを行った複数の教育用教材２０のそれぞれについて順次行うことも考えられるが、一般に一つのグループに纏めて処理される教育用教材２０は全て同一のものであるため、その纏めて処理される中で最初に処理される教育用教材２０についてのみ行えばよい。

教材判別部４が電子データを特定すると、データベース部１は、その特定結果に従いつつ、保持蓄積している中から該当する電子データを取り出して、これを差分抽出部６へ受け渡す。

また、ある一つの教育用教材２０から得られた画像データについては、歪み補正部５がその画像データにおける画像歪みの補正を行う。この画像歪みの補正は、画像読み取り部２での画像読み取りの際に生じ得る画像歪みを補正するために行うものであり、その後に行う電子データとの比較や差分抽出等の精度向上を図るためのものである（Ｓ２０２）。

そして、差分抽出部６は、データベース部１から受け渡された電子データと、画像読み取り部２で得られ、歪み補正部５で画像歪みが補正された後の画像データとについて、その差分を抽出する（Ｓ２０３）。この差分抽出によって、解答者情報欄２３および各記入欄２１への記入内容並びに各記入欄２１に対する正誤判定の記入内容が抽出されることになる。

差分抽出部６が差分を抽出すると、その後は、解答者抽出部７が、その差分に対する文字認識処理等を通じて、画像読み取り部２で読み取り対象となった教育用教材における解答者情報を抽出する。これにより、ある一つの教育用教材２０に解答を記入した解答記入者の学級、出席番号、氏名等を特定することが可能となる。

また、差分抽出部６による差分抽出結果に対しては、各記入欄２１への正誤判定の記入内容を抽出するために、その差分抽出結果から正誤判定抽出部８がさらに所定色成分についてのもの、具体的には例えば赤色成分のものを抽出する（Ｓ２０４）。所定色成分の抽出は、例えば差分抽出結果が画素データからなる場合であれば、その画素データを構成する色成分データに着目することで行うことができる。

ただし、一般に、教育用教材２０上での「○」や「×」等の正誤判定の図形記入は、問題文、各記入欄２１を特定する枠、各記入欄２１への解答記入内容等に重ねて行われることが多い。そのため、正誤判定抽出部８による所定色成分の抽出結果は、その重なり部分が除かれたもの、すなわち「○」や「×」等の図形に途切れ部分が生じたものとなるおそれがある。このことから、正誤判定抽出部８による所定色成分の抽出結果に対しては、途切れ補正部９が詳細を後述する途切れ補正処理を行って、途切れ部分についての補間を行う（Ｓ２０５）。

途切れ補正処理の後は、図形形状認識部１１が正誤判定の記入内容に対する形状認識、すなわち「○」または「×」の図形形状とのパターンマッチングを行って、その正誤判定の記入内容が「正解」であるか、あるいは「不正解」であるかを認識する（Ｓ２０６）。このときに行うパターンマッチングは、公知技術を利用して実現すればよいため、ここではその説明を省略する。あるいは、認識対象図形の特徴量を算出し、その特徴量から形状を認識してもよい。特徴量についても、穴の個数、外接矩形に占める対象図形の面積率等といった公知のものを使用すればよいため、ここではその説明を省略する。

また、教育用教材２０上では、複数の正誤判定が重複または接触して記入されることもあり得る。したがって、パターンマッチングによる○×判定にあたっては、重複または接触して記入された正誤判定の各手書き図形についても「正解」であるか、あるいは「不正解」であるかを正しく認識すべく、接触図形分離部１０が必要に応じて詳細を後述するような各正誤判定の分離抽出処理を行う（Ｓ２０６）。

そして、図形形状認識部１１が正誤判定の記入内容に対する形状認識を行うと、続いて、記入位置認識部１２は、正誤判定の記入内容について、その教育用教材２０上における記入位置を認識する。なお、図形形状認識部１１による形状認識の際には、「○」または「×」の図形を構成する連続画素群を一つに纏めて取り扱うために、その連続画素群に対して識別子を付与すべく、一般的な画像処理技術であるラベリング処理が行われている。このことから、記入位置認識部１２による位置認識の際にも、そのラベリング処理の結果を利用して、「○」または「×」の図形を構成する連続画素群を一つの纏まりとして取り扱う。

記入位置認識部１２が正誤判定記入位置を認識した後は、採点集計部１３が正誤判定の採点集計を行う（Ｓ２０７）。このとき、採点集計部１３は、その採点集計を、図形形状認識部１１による正誤判定の記入内容の認識結果と、記入位置認識部１２による正誤判定の記入位置の認識結果と、データベース部１が保持蓄積している教育用教材２０の電子データに含まれる当該教育用教材２０の各記入欄２１についての配点情報と、を基にして行う。

ただし、正誤判定の記入は、一般に教育用教材２０上の各記入欄２１に対応して行われるが、教師等によって手書きでされるため、各記入欄２１に対する記入位置が必ずしも一義的に定まっている訳ではない。その一方で、正誤判定の採点集計にあたっては、各記入欄２１と正誤判定の記入位置との対応を明確にする必要がある。正誤判定の採点集計は、各記入欄２１に対応する正誤判定の記入結果を明確にした上で、正誤判定の内容（正解か不正解か）および各記入欄２１についての配点に基づいて行われるからである。

このことから、採点集計部１３では、以下に述べるような手順で、正誤判定の採点集計を行う。すなわち、採点集計部１３は、「○」または「×」といった正誤判定図形の外接矩形と、教育用教材２０上で記入欄２１となる領域との重なり面積を求め、その面積（外接矩形に対する面積比でも同様）が最も大きくなる正誤判定図形と記入欄２１とを互いに対応付け、その正誤判定図形を当該記入欄２１対して記入された正誤判定結果とする。ただし、重なり面積の外接矩形に対する比が所定閾値未満の場合には、重なる部分が小さいことから、対応付けについての判定が不能であると判断する。そして、対応付けを行った後は、正誤判定図形が「○」であれば、これに対応する記入欄２１についての配点情報から特定される配点を加算し、また正誤判定図形が「×」であれば、これに対応する記入欄２１についての配点加算を行わず、このような採点集計を教育用教材２０上の全ての記入欄２１について行う。

教育用教材２０上で記入欄２１となる領域は、各記入欄２１についての配点情報として、または当該配点情報と同様に、教育用教材２０の電子データに含まれる解答欄位置領域情報によって特定されるものとする。解答欄位置領域情報としては、教育用教材２０上に存在する問題の番号と、その問題の解答に対する配点と、その問題の解答を記入する記入欄２１として扱われる領域の所定点（例えば左上頂点）のｘｙ座標、並びに、その外接矩形の幅（Ｗ）および高さ（ｈ）からなる情報で、これらを互いに関連付けるテーブル形式で、データベース部１内に予め保持蓄積されているものが挙げられる。

以上のような処理を経ることで、採点集計部１３からは、教育用教材２０上に記入された正誤判定の採点集計の結果が、問題別採点結果として出力されるのである。問題別採点結果としては、教育用教材２０上に存在する問題の番号と、その問題の解答に対する正誤判定と、その正誤判定に基づく得点とからなる情報で、これらを互いに関連付けるテーブル形式で、採点集計部１３から出力されるものが挙げられる。

採点集計部１３から問題別採点結果が出力されると、その後は、集計結果出力部１４が、その問題別採点結果、すなわち採点集計部１３による採点集計の結果を、解答者抽出部７が抽出した解答者情報と関連付けて、画像処理装置と接続するデータベース装置３１またはファイルサーバ装置３２に対して出力する（Ｓ２０７）。これにより、データベース装置３１またはファイルサーバ装置３２では、教育用教材２０についての採点集計結果を、例えば一覧形式で、管理または利用することが可能となる。

〔途切れ補正処理の説明〕
ここで、上述した自動採点処理における途切れ補正処理（Ｓ２０５）について詳しく説明する。図５は、途切れ補正処理の一例を示す説明図である。
途切れ補正処理にあたっては、図５（ａ）に示すように、正誤判定抽出部８による所定色成分の抽出結果、すなわち「○」や「×」等の図形であるはずの抽出結果に対して、細線化処理を実行し（Ｓ３０１）、さらに端点抽出処理を実行する（Ｓ３０２）。これにより、「○」や「×」等の図形に途切れ部分が生じている場合に、その途切れ部分における端点が抽出されることになる。なお、このときに行う細線化処理および端点抽出処理は、公知技術を利用して行えばよいため、ここではその詳細な説明を省略する。
そして、端点を抽出したら、その抽出した全ての端点に対して、以下のような処理を実行する（Ｓ３０３）。すなわち、先ず、未処理の端点を一つ選択し（Ｓ３０４）、その選択した端点（以下「第一端点」という）から、予め設定されている所定距離内にあって、かつ、最も近傍にある未処理の端点（以下「第二端点」という）をさらに選択する（Ｓ３０５）。そして、第二端点があれば（Ｓ３０６）、第一端点と第二端点とを互いに接続するとともに（Ｓ３０７）、第一端点および第二端点をいずれも処理済みにする（Ｓ３０８）。一方、第二端点が存在しない場合には（Ｓ３０６）、端点間の接続は行わずに、第一端点を処理済みにする（Ｓ３０９）。このような処理を、未処理の端点がなくなるまで、全ての端点に対して行う（Ｓ３０３〜Ｓ３０９）。
これにより、例えば図５（ｂ）に示す図形が抽出された場合には、端点Ａに対して、所定距離内に端点Ｂ，Ｃが存在していても、その中で最も近傍の端点Ｂが端点Ａと接続されることとなり、「○」の図形における途切れ部分が補正されることになる。

図６は、途切れ補正処理の他の例を示す説明図である。
途切れ補正処理の他の例では、正誤判定抽出部８による所定色成分の抽出結果の他に、歪み補正部５による画像歪み補正後の画像データをも用いて、途切れ補正処理の精度向上を図っている。すなわち、途切れ補正処理の他の例では、図６（ａ）に示すように、歪み補正部５による画像歪み補正後の画像データに対して二値化処理を行う（Ｓ４０１）。ただし、差分抽出部６による差分抽出または正誤判定抽出部８による所定色成分の抽出の際に二値化処理をしていれば、その二値化処理後の画像データを使用しても構わない。
また、正誤判定抽出部８による所定色成分の抽出結果に対しては、細線化処理を実行し（Ｓ４０２）、さらに端点抽出処理を実行する（Ｓ４０３）。そして、端点を抽出したら、その抽出した全ての端点に対して、以下のような処理を実行する（Ｓ４０４）。
先ず、未処理の端点を一つ選択し（Ｓ４０５）、その選択した第一端点から、予め設定されている所定距離内にあって、かつ、最も近傍にある未処理の端点を第二端点として選択する（Ｓ４０６）。そして、第二端点があれば（Ｓ４０７）、第一端点と第二端点とを連結するような画素群が、二値化処理後の画像データ中にあるか否かを判断する（Ｓ４０８）。つまり、途切れの発生要因となった画像の重なり部分があるか否かを判断するのである。その結果、重なり部分があれば、第一端点と第二端点とを互いに接続するとともに（Ｓ４０９）、第一端点および第二端点をいずれも処理済みにする（Ｓ４１０）。一方、重なり部分がなければ、上述したステップ（Ｓ４０６）に戻り、第一端点から所定距離内にあって、かつ、最も近傍の端点の次に近距離にある端点を第二端点として選択する。このとき、選択すべき端点がなければ、端点間の接続は行わずに、第一端点を処理済みにする（Ｓ４１１）。このような処理を、未処理の端点がなくなるまで、全ての端点に対して行う（Ｓ４０４〜Ｓ４１１）。
これにより、例えば図６（ｂ）に示す図形が抽出された場合に、端点Ａに対して、所定距離内に端点Ｂ，Ｃが存在していると、その中で最も近傍の端点Ｃが選択されるが、二値化処理後の画像データ中に端点Ａ，Ｃ間を連結する画素群がないので、端点Ａ，Ｃ間は接続しない。そして、端点Ｃの次に距離の近い端点Ｂを選択されるが、その端点Ｂと端点Ａとの間には二値化処理後の画像データ中に画素群が存在するので、端点Ｂが端点Ａと接続されることになる。つまり、「○」と「×」とが誤って接続されてしまうことなく、「○」の図形における途切れ部分が補正されるのである。

〔図形情報取得処理の説明〕
次いで、上述した自動採点処理における正誤判定の分離抽出処理（Ｓ２０６）および記入位置認識処理（以下、これらの処理を「図形情報取得処理」という）について詳しく説明する。図７は、図形情報取得処理の一例を示すフローチャートである。

図形情報取得処理にあたっては、先ず、接触図形分離部１０が正誤判定の分離抽出処理を行う（Ｓ５０１）。すなわち、接触図形分離部１０は、「○」または「×」といった複数の手書き図形が重複または接触して記入されてなる接触図形群について、その接触図形群を構成する各手書き図形を分離抽出する、接触図形分離処理を行うのである。この接触図形分離処理については、その詳細を後述する。

そして、接触図形分離処理の後は、教育用教材２０上に複数の正誤判定が記入されていることから、その正誤判定についてのカウント数ｋを図形数（正誤判定が記入された数）に設定する（Ｓ５０２）。これにより、カウント数ｋが「０」になるまで、すなわち図形数の全てについて、一つ目から順にその記入位置が認識されることとなる（Ｓ５０３）。位置認識は、例えば「○」または「×」の図形の外接矩形情報を算出し、さらにその外接矩形の中心座標を算出することによって行うことが考えられる（Ｓ５０４）。具体的には、認識対象となる図形（連続画素群）に対して外接矩形を抽出するとともに、その外接矩形の所定点（例えば左上頂点）のｘｙ座標、並びに、その外接矩形の幅（Ｗ）および高さ（ｈ）を算出する。そして、これらの算出結果から、中心ｘ座標＝ｘ＋ｗ／２、中心ｙ座標＝ｙ＋ｈ／２を算出し、その算出結果を連続画素群の位置、すなわち正誤判定記入位置の認識結果とする。このような処理を、カウント数ｋの値をデクリメントしつつ（Ｓ５０５）、教育用教材２０上に存在する全ての正誤判定について認識するまで繰り返して行う（Ｓ５０３〜Ｓ５０５）。

〔接触図形分離処理の説明〕
続いて、上述した図形情報取得処理における接触図形分離処理（Ｓ５０２）について詳しく説明する。図８は、接触図形分離処理の一例を示すフローチャートである。

接触図形分離処理にあたって、接触図形分離部１０は、正誤判定抽出部８による抽出結果で途切れ補正部９による途切れ補正処理後の連続画素群に対するラベリング処理の結果を利用して、それぞれの連続画素群を一つの纏まりとして取り扱う。このとき、一つの纏まりには、「○」または「×」といった一つの図形の他に、複数の図形が重複または接触して記入されてなる接触図形群が含まれ得る。そして、その一つの纏まりについてのカウント数ｋが「０」になるまで、すなわち当該纏まりの全てについて、一つ目から順に接触図形分離処理が行われることとなる（Ｓ６０１，６０２）。

具体的には、処理対象となる一つの纏まり（連続画素群）に対して、先ず、接触図形数判定処理を行って、その纏まりを構成する図形数を判定する（Ｓ６０３）。この接触図形数判定処理については、その詳細を後述する。この判定の結果、図形数が２以上、すなわち処理対象となる一つの纏まりが接触図形群である場合には（Ｓ６０４）、当該纏まりにおける図形カウント数ｍを判定結果に係る図形数に設定する（Ｓ６０５）。そして、接触図形群を構成する各図形について、一つ目のから順に、図形中心推定処理（Ｓ６０６）およびペイント処理（Ｓ６０７）を経て図形抽出を行い（Ｓ６０８）、これをカウント数ｍの値をデクリメントしつつ（Ｓ６０９）そのカウント数ｍが「０」になるまで繰り返して行う（Ｓ６０６〜Ｓ６１０）。なお、図形中心推定処理およびペイント処理についても、その詳細を後述する。このような一連の処理を、カウント数ｋの値をデクリメントしつつ（Ｓ６１１）、抽出された纏まりの全てについて終了するまで繰り返して行う（Ｓ６０２〜Ｓ６１１）。

〔接触図形数判定処理の説明〕
ここで、上述した接触図形分離処理における接触図形数判定処理（Ｓ６０３）について詳しく説明する。接触図形数判定処理は、接触図形分離部１０が行う処理で、複数の手書き図形が重複または接触して記入されてなる接触図形群の有無および当該接触図形群を構成する手書き図形の数を判定する処理である。

図９は、接触図形数判定処理の概要を模式的に示す説明図である。接触図形数判定処理にあたっては、先ず、図９（ａ）に示すような正誤判定抽出部８による抽出結果で途切れ補正部９による途切れ補正処理後の連続画素群の中から、図９（ｂ）に示すように注目画素群となる一つの纏まりを取り出して、その一つの纏まりについて図９（ｃ）に示すような外接矩形を設定する。その一方で、図９（ｄ）に示すように、データベース部１にて保持蓄積された電子データ（特に、教育用教材２０上における記入欄２１に関する属性情報）に基づいて、各記入欄２１のレイアウト（配置位置や大きさ等）を特定しておく。そして、図９（ｅ）に示すように、注目画素群についての外接矩形と特定した各記入欄２１とを重ね合わせ、その外接矩形に重なる記入欄２１の数をカウントし、これにより当該注目画素群における正誤判定の図形数を判定する。一般に、正誤判定の図形は一つの記入欄２１に対して一つのみが記入されるものであるため、記入欄２１の数をカウントすることで、重複または接触して記入された図形の有無およびその数を判定するのである。具体的には、例えば外接矩形と重なり合う記入欄２１が二つであれば、二つの正誤判定の図形が重複または接触して記入されていると判定する。また、例えば外接矩形と重なり合う記入欄２１が一つのみであれば、正誤判定の図形の重複記入または接触記入が無いと判定する。

図１０は、上述した接触図形数判定処理の手順の一例を示すフローチャートである。図例のように、接触図形数判定処理にあたって、接触図形分離部１０は、先ず、教育用教材２０上に存在する記入欄２１の総数をカウント数ｍとして設定するとともに、重なり合う記入欄２１についてのカウント数ｎを「０」に設定する（Ｓ７０１）。そして、外接矩形と記入欄２１との重なり合いを判定し（Ｓ７０２）、重なり合う記入欄２１があれば（Ｓ７０３）、カウント数ｎをインクリメントする（Ｓ７０４）。そして、カウント数ｍをデクリメントしつつ（Ｓ７０５）、このような処理をカウント数ｍが「０」になるまで、すなわち教育用教材２０上に存在する全ての記入欄２１について判定するまで、繰り返して行う（Ｓ７０６）。その結果、カウント数ｎの値を接触図形数とすることで、注目画素群における正誤判定の図形数を判定することができる。

なお、接触図形数判定処理は、接触図形群の有無および構成図形数が判定できれば、他の手法を用いて行ってもよい。他の手法としては、例えば、手書き図形として記入される標準的な面積を予め設定しておき、その設定された標準図形面積を用いて接触図形群の有無および構成図形数を判定することが考えられる。

〔図形中心推定処理の説明〕
次いで、上述した接触図形分離処理における図形中心推定処理（Ｓ６０６）について詳しく説明する。図形中心推定処理は、接触図形分離部１０が行う処理で、複数の手書き図形が重複または接触して記入されてなる接触図形群を構成する各手書き図形についての記入位置中心を推定する処理である。ただし、図形中心推定処理としては、当該接触図形群における図形主軸を特定する処理を含むことも考えられる。

図形中心推定処理としては、各手書き図形についての記入位置中心を推定する場合であれば、上述した接触図形数判定処理において、接触図形群（注目画素群）を構成する複数の手書き図形と、これに対応する各記入欄２１との関係が特定されているので、その対応する記入欄２１の位置に基づいて各手書き図形の記入位置中心を推定することが考えられる。すなわち、各手書き図形に対応する記入欄２１の中心位置を、当該手書き図形ついての記入位置中心とする。このようにして、記入位置中心を推定すれば、図形中心推定処理を少ない処理負荷で高速に行うことが可能となる。

ただし、正誤判定の手書き図形は、手書きで記入されるものゆえに、その記入位置中心が必ずしも記入欄２１の中心位置と合致するとは限らず、その中心位置からずれて記入されることもあり得る。したがって、各手書き図形についての記入位置中心を推定する場合の他の手法としては、手書き図形と記入欄２１との位置関係を特定し、当該位置関係から所定規則に基づいて導き出される位置を、当該手書き図形ついての記入位置中心とすることも考えられる。すなわち、記入欄２１の枠と記入図形との間の距離を測定し、その測定した距離から手書き図形についての記入位置中心を推定することで、その推定精度の向上を図るようにする。

図１１は、記入位置中心を推定する図形中心推定処理の概要を模式的に示す説明図である。記入位置中心を推定する場合には、先ず、図１１（ａ）に示すような複数の手書き図形が重複または接触して記入されてなる接触図形群（注目画素群）について、接触図形数判定処理の結果を基に、図１１（ｂ）に示すような各手書き図形に対応する記入欄２１について情報を取得する。そして、図１１（ｃ）に示すように、注目画素群と各記入欄２１の枠との位置関係から、それぞれの間の距離を取得する。このときに取得する距離は、少なくとも一方向のもの（例えば記入欄２１の長手方向に沿ったもの）とするが、互いに直交する二方向（水平方向および垂直方向）について取得しても構わない。図形分布状況を取得した後は、図１１（ｄ）に示すように、記入欄２１の両端からの距離の和が最も小さい箇所、すなわち図形内で最も距離の大きい箇所を算出する。ただし、図形形状が「○」ではなく「×」の場合には、和が最も大きい箇所を算出する。このような所定規則に基づいて導き出される箇所を算出したら、図１１（ｅ）に示すように、その距離の中心位置を算出し、その位置を手書き図形についての記入位置中心として推定する。なお、二方向の距離を取得した場合であれば、各方向について所定規則に基づいて導き出される箇所の交点を、記入位置中心として推定することが考えられる。

図１２は、上述した図形中心推定処理の手順の一例を示すフローチャートである。図例のように、図形中心推定処理にあたって、接触図形分離部１０は、先ず、接触図形数判定処理の結果から、接触図形群（注目画素群）と重なり合う記入欄２１について情報を取得する（Ｓ８０１）。そして、その重なり合う記入欄２１の全てについての処理が終了するまで（Ｓ８０２）、各記入欄２１の枠の位置情報を基に（Ｓ８０３）、図形との距離取得を行い（Ｓ８０４）、所定規則に基づいて導き出される箇所を算出し（Ｓ８０５）、その結果から各図形の記入位置中心の推定を行う（Ｓ８０６）。これにより、接触図形群（注目画素群）における各手書き図形の中心座標位置を精度よく特定することができる。

ところで、図形中心推定処理では、上述したような手順で記入位置中心を推定する場合の他に、接触図形群（注目画素群）における図形主軸を特定する処理を含むことも考えられる。

図１３は図形主軸を特定する処理を含む図形中心推定処理の概要を模式的に示す説明図であり、図１４は当該図形中心推定処理の手順の一例を示すフローチャートである。図形主軸を特定する処理を含む場合には、先ず、図１３（ａ）に示すような複数の手書き図形が重複または接触して記入されてなる接触図形群（注目画素群）について、図１３（ｂ）に示すように、その図形主軸を算出する（図１４におけるＳ９０１）。図形主軸の算出は、例えばモーメント特徴を用いて行うことが考えられる。「モーメント特徴（moment feature）」とは、図形を構成するがその位置に重み付けをして合計した数値である。このモーメント特徴によって、図形の面積、重心が定義でき、また主軸（principal axis）方向を導くことができる。なお、モーメント特徴の算出の詳細については、公知技術を利用して行えばよいため、ここではその説明を省略する。図形主軸を算出した後は、その図形主軸における分割点を算出する（図１４におけるＳ９０２）。すなわち、図１３（ｃ）に示すように、図形主軸を、接触図形群（注目画素群）を構成する図形数×２で均等に分割する。そして、主軸分割点を一箇所おきに取り出すことで、図１３（ｄ）に示すように、その取り出した箇所（分割点）を各図形の記入位置中心とする（図１４におけるＳ９０３）。

つまり、図形中心推定処理は、接触図形群における図形主軸を特定し、その接触図形群を構成する手書き図形の数に基づいて特定した図形主軸を分割し、その分割で得られる位置を当該手書き図形ついての記入位置中心とすることによっても行うことができる。このように、図形主軸を特定する処理を経て、各図形の記入位置中心の推定を行えば、手書き図形が記入欄２１からずれて記入されている場合であっても、その手書き図形の記入位置中心を精度よく特定することができる。

また、図形主軸を特定する処理を含む図形中心推定処理としては、各図形の記入位置中心の推定を、上述したような図形主軸の分割によって行うのではなく、図形主軸周辺の図形分布状況に基づいて行うようにすることも考えられる。図１５は、図形主軸を特定する処理を含む図形中心推定処理の他の例の概要を模式的に示す説明図である。具体的には、図１５（ａ）に示すような接触図形群（注目画素群）について、図１５（ｂ）に示すように図形主軸を算出した後、図１５（ｃ）に示すように、その図形主軸と直交する方向における当該図形主軸と図形構成画素との間の距離を取得する。そして、全ての距離を取得したら、図１５（ｄ）に示すように、その中で最も距離の大きい箇所を各図形別に算出するとともに、それぞれの中点を算出し、このような所定規則に基づいて導き出される位置を各手書き図形における記入位置中心として推定する。

つまり、図形中心推定処理は、接触図形群における図形主軸を特定するとともに、当該接触図形群を構成する手書き図形と図形主軸との位置関係を特定し、その位置関係から所定規則に基づいて導き出される位置を、当該手書き図形ついての記入位置中心とすることによっても行うことができる。このように、図形主軸との位置関係を用いて各図形の記入位置中心の推定を行えば、図形中心推定処理の更なる精度向上が期待できるようになる。

〔ペイント処理の説明〕
次いで、上述した接触図形分離処理におけるペイント処理（Ｓ６０７）について詳しく説明する。ペイント処理は、接触図形分離部１０が行う処理で、図形中心推定処理にて推定した記入位置中心または図形主軸のいずれかを用いて、接触図形群を構成する各手書き図形の分離抽出を行うための処理である。

接触図形群を構成する各手書き図形の分離抽出を行うための処理としては、ペイント処理を経ることなく、単純抽出方法によって行うことも考えられる。すなわち、図形中心推定処理にて各手書き図形の記入位置中心が推定されているので、その記入位置中心を基準位置とする所定サイズの領域を切り出し、一つの領域に属する図形を一つの手書き図形とみなすことで、接触図形群を構成する各手書き図形の分離抽出を行うようにする。このとき、切り出し領域のサイズとしては、記入欄２１の大きさに応じて予め設定されたサイズとしたり、あるいは教育用教材２０上に記入された手書き図形をサンプリングし、そのサンプリングの結果から特定可能なサイズ（例えば代表的な図形サイズ）とすることが考えられる。このような方法によって各手書き図形の分離抽出を行えば、その分離抽出を行うための処理を、少ない処理負荷で高速に行うことが可能となる。また、各手書き図形の形状に影響されることなく、その分離抽出を行うことが可能である。

ただし、正誤判定の手書き図形は、手書きで記入されるものゆえに、その大きさ等が必ずしも一律ではない。その場合であっても、各手書き図形の分離抽出については、各手書き図形の途切れ等が生じることなく、精度よく行い得ることが望まれる。このことから、各手書き図形の分離抽出にあたっては、以下に述べるようなペイント処理を行うことが考えられる。

図１６は図形分離抽出のためのペイント処理の第一例の概要を模式的に示す説明図であり、図１７は当該ペイント処理の手順を示すフローチャートである。ペイント処理としては、図１６（ａ）に示すような複数の手書き図形が重複または接触して記入されてなる接触図形群（注目画素群）について、図１６（ｂ）に示すように図形中心推定処理にて各手書き図形の記入位置中心が推定されているので、その記入位置中心についての座標値を取得し（図１７におけるＳ１００１）、図１６（ｃ）に示すようにその座標値で特定される記入位置中心を含む閉じた図形領域に対する塗りつぶしを行うことが考えられる（図１７におけるＳ１００２）。このときの塗りつぶしは、公知の画像処理技術を用いて行えばよいため、ここではその説明を省略する。

つまり、ペイント処理の第一例では、図形中心推定処理で推定した記入位置中心を含む閉じた図形領域を塗りつぶし、その塗りつぶされた領域に接する接触図形群の画素を抽出して一つの手書き図形とすることで、接触図形群を構成する各手書き図形の分離抽出を可能とするのである。このようなペイント処理を経て各手書き図形の分離抽出を行えば、大きさ等の影響を受けることなく、確実かつ精度よく各手書き図形の分離抽出を行うことが可能となる。

ただし、上述したペイント処理の第一例では、各手書き図形が閉じた図形領域を構成していることが前提となる。したがって、処理自体の単純化や高速化等は望めるが、どのような図形形状にも柔軟に対応できるという汎用性を確保することは困難である。具体的には、例えば、本来は閉じた図形領域を構成するはずである「○」の正誤判定であっても、手書きゆえに途切れた部分が存在していると塗りつぶしを行うことができない。そこで、ペイント処理としては、以下に述べるような第二例または第三例を行うことも考えられる。

図１８は図形分離抽出のためのペイント処理の第二例の概要を模式的に示す説明図であり、図１９は当該ペイント処理の手順を示すフローチャートである。ペイント処理の第二例では、図１８（ａ）に示すような複数の手書き図形が重複または接触して記入されてなる接触図形群（注目画素群）について、図１８（ｂ）に示すように、その接触図形群の全体を囲む最小の外接矩形を描画する（図１９におけるＳ１１０１）。そして、図形中心推定処理にて各手書き図形の記入位置中心が推定されているので、図１８（ｃ）に示すように、その記入位置中心についての座標値を取得し（図１９におけるＳ１１０２）、図１８（ｄ）に示すようにその座標値で特定される記入位置中心を含む領域として、その記入位置を中心とする図形および外接矩形で囲まれる領域を特定し、その特定した領域に対する塗りつぶしを行う（図１９におけるＳ１１０３）。つまり、閉じた領域に対する塗りつぶしを行うのにあたり、接触図形群の外接矩形を用いるのである。このようにすれば、手書きゆえに途切れた部分が存在している場合であっても、塗りつぶしを行うことができるので、どのような図形形状にも柔軟に対応できるという汎用性を確保し得るようになる。

図２０は図形分離抽出のためのペイント処理の第三例の概要を模式的に示す説明図であり、図２１は当該ペイント処理の手順を示すフローチャートである。ペイント処理の第三例では、上述した第二例における外接矩形に代わって、凸包を用いる点で、当該第二例の場合とは異なる。「凸包（convex hull）」とは、任意の図形に対し、これを含む最小の凸図形のことをいうが、その詳細については公知であるため説明を省略する。このような凸包を用いた場合であっても、上述した第二例の場合と全く同様に、汎用性を確保し得るようになる。

ところで、上述した第二例または第三例の場合のように、接触図形群の外接矩形または凸包のいずれか一方を用いたペイント処理では、外接矩形または凸包を描画するためのメモリ領域が必要となるため、結果として装置構成の複雑化や高コスト化等を招いてしまうおそれがある。そこで、ペイント処理としては、以下に述べるような第四例を行うことも考えられる。

図２２は図形分離抽出のためのペイント処理の第四例の概要を模式的に示す説明図であり、図２３は当該ペイント処理の手順を示すフローチャートである。ペイント処理の第四例では、図形中心推定処理で特定した接触図形群における図形主軸を用いる。

具体的には、図２２（ａ）に示すような複数の手書き図形が重複または接触して記入されてなる接触図形群（注目画素群）について、図２２（ｂ）に示すような図形中心推定処理で特定した図形主軸と記入位置中心の座標値を取得する（図２３におけるＳ１３０１）。次に、先ず一つの手書き図形に関する図形主軸上での始点位置を取得する。始点位置の取得は、当該一つの手書き図形の構成画素と図形主軸との交点を特定することによって行えばよい。そして、始点位置を取得したら、これに対応する終点位置についても同様の手法で取得し、これにより図２２（ｃ）に示すような図形主軸上のペイント範囲（始点位置および終点位置から特定される範囲）を設定する（図２３におけるＳ１３０２）。図形主軸上のペイント範囲の設定後は、続いて、そのペイント範囲について、図形主軸から所定の一方向（例えば、図形主軸と直交する方向）に向けて、当該一つの手書き図形の構成画素が存在する箇所まで、図２２（ｄ）に示すように、第一の塗りつぶしを行う（図２３におけるＳ１３０３）。なお、第一の塗りつぶしは、図形主軸を中心にして、その両側に向けて行うものとする。第一の塗りつぶしを行った後は、続いて、塗りつぶされた領域から、第一の塗りつぶし方向と直交する方向（例えば、図形主軸と平行な方向）に向けて、当該一つの手書き図形の構成画素が存在する箇所まで、図２２（ｅ）に示すように、第二の塗りつぶしを行う（図２３におけるＳ１３０４）。そして、これら第一および第二の塗りつぶしを経て得られた塗りつぶし領域に接する、接触図形群の画素を抽出して一つの手書き図形とすることで、接触図形群を構成する各手書き図形の分離抽出を可能とするのである。

つまり、ペイント処理の第四例では、図形中心推定処理で特定した図形主軸と、差分抽出部６による差分抽出結果である手書き図形の構成画素とを用い、これらから図形主軸上での塗りつぶし範囲を特定し、当該塗りつぶし範囲から所定方向に手書き図形の構成画素により特定される箇所まで第一の塗りつぶしを行い、当該第一の塗りつぶし処理で塗りつぶされた領域から第一の塗りつぶし方向と直交する方向に手書き図形の構成画素により特定される箇所まで第二の塗りつぶし行い、第一および第二の塗りつぶしで塗りつぶされた領域に接する接触図形群の画素を抽出して一つの手書き図形とすることで、接触図形群を構成する各手書き図形の分離抽出を行うのである。このようにすれば、手書きゆえに途切れた部分が存在している場合であっても、外接矩形または凸包を描画することなく塗りつぶしを行うことができるので、どのような図形形状にも柔軟に対応できるという汎用性を確保することが可能となり、しかもそのために装置構成の複雑化や高コスト化等を招いてしまうこともない。さらに、ペイント処理の第四例では、接触図形群の図形主軸を特定すれば、その図形主軸を用いて当該接触図形群における各手書き図形の分離抽出を行うことも可能である。すなわち、図形中心推定処理において図形主軸を特定すれば、各手書き図形の記入位置中心の推定を行わなくても構わないため、その分だけ処理負荷の軽減を図ることも実現可能となる。もちろん、図形主軸と記入位置中心との両方に基づいて、各手書き図形の分離抽出を行ってもよいことは言うまでもない。

以上のようなペイント処理を経て接触図形群を構成する各手書き図形が分離抽出されると、その分離抽出の結果については、図形形状認識部１１が形状認識を行って、その正誤判定の記入内容を認識することになる。そして、その後に、採点集計部１３が正誤判定の採点集計を行うのである。

〔正誤判定の採点集計処理の説明〕
ここで、採点集計部１３による正誤判定の採点集計について説明する。図２４は、正誤判定の採点集計の処理手順の一例を示すフローチャートである。
正誤判定の採点集計にあたっては、教育用教材２０上に複数の正誤判定が記入されていることから、先ず、その正誤判定についてのカウント数Ｋを「１」に設定する（Ｓ１４０１）。これにより、カウント数Ｋが教育用教材２０上に存在し得る正誤判定の数、すなわち記入欄２１の数を超えるまでは（Ｓ１４０２）、予め定められた走査順で検出される正誤判定（「○」または「×」の図形）について、一つ目から順に採点集計のための処理が行われることになる。
すなわち、Ｋ番目の「○」または「×」の図形についてその外接矩形の面積を算出して、これを「Ｌ」とする（Ｓ１４０３）。また、記入欄２１の数（＝問題数）についてのカウント数Ｐを「１」に設定し（Ｓ１４０４）、そのカウント数Ｐが教育用教材２０上に存在する問題数以下であれば（Ｓ１４０５）、その記入欄２１についての解答欄位置領域情報と取り出す。そして、Ｋ番目の外接矩形とＰ番目の領域との重なり面積を算出し、その算出結果を「Ｓ（Ｐ）」とする（Ｓ１４０６）。さらには、その重なり面積Ｓ（Ｐ）と外接矩形面積Ｌとの比を算出し、これを「Ｒ（Ｐ）」とする（Ｓ１４０７）。このような処理を、カウント数Ｐの値をインクリメントしつつ（Ｓ１４０８）、全ての解答欄位置領域情報について終了するまで繰り返して行う（Ｓ１４０５〜Ｓ１４０８）。
その後は、比Ｒ（Ｐ）の最大値を求め、これを「Ｍａｘ」とするとともに（Ｓ１４０９）、重なり面積Ｓ（Ｐ）が最大となるカウント数Ｐの値を求め、これを「Ｐmax」とする（Ｓ１４１０）。そして、最大値Ｍａｘの値が所定閾値Ｔｈ未満の場合には（Ｓ１４１１）、正誤判定図形と記入欄２１との対応付けが不能であり、その正誤判定図形に対応する問題番号が不明であると判断する（Ｓ１４１２）。これに対して、最大値Ｍａｘの値が所定閾値Ｔｈ以上であれば（Ｓ１４１１）、続いて、Ｋ番目の正誤判定図形が「○」であるか、あるいは「×」であるかを判定する（Ｓ１４１３）。その結果、「○」であれば、後述する「問題別採点結果」において、カウント数Ｐmaxの問題の解答に対する配点を加算する（Ｓ１４１４）。また、「×」であれば、カウント数Ｐmaxの問題の解答に対する配点加算を行わずに、「０点」とする（Ｓ１４１５）。
そして、このような処理を、カウント数Ｋの値をインクリメントしつつ（Ｓ１４１６）、教育用教材２０上における全ての正誤判定について終了するまで繰り返して行う（Ｓ１４０２〜Ｓ１４１５）。

以上に説明したように、本実施形態における画像処理装置、画像処理プログラムおよび画像処理方法によれば、正誤判定が記入された教育用教材２０に対する画像読み取りを行えば、その記入された正誤判定について、採点結果の自動集計が行われるので、結果として教育用教材２０についての採点処理が省力化されることとなる。しかも、教育用教材２０上に正誤判定として複数の手書き図形が重複または接触して記入されてなる接触図形群が存在する場合であっても、その接触図形群を構成する各手書き図形についての記入位置中心を推定し、または当該接触図形群における図形主軸を特定し、その推定結果または特定結果のいずれかを用いて接触図形群を構成する各手書き図形の分離抽出を行うようになっているので、採点結果の自動集計の適切化が図れる。つまり、手書きゆえに形状にばらつきのある複数の手書き図形同士が、同じく手書きゆえに重複または接触して記入されることがあっても、正しく個々の手書き図形を分離抽出して認識することができるので、正誤判定として記入される各手書き図形の意味や重複または接触の態様（方向や度合）等に拘らず、各手書き図形を分離抽出し得るようになり、結果としてその後に行う正誤判定の採点集計も適切に行えるようになる。また、手書き図形同士が重複または接触して記入されても各手書きの図形を正しく認識し得るので、教育用教材２０等といった原稿に対する図形記入時の制約を少なくすることができ、結果として採点者（正誤判定記入者）の負担を減らすことができる。さらには、重複または接触を避けるために記入欄同士を離すといったことも不要となり、教育用教材２０上のレイアウト作成時の自由度を十分に確保し得るようになる。

なお、本実施形態では、本発明の好適な実施具体例を説明したが、本発明はその内容に限定されるものではない。例えば、本実施形態では、教育用教材についての自動採点集計を行う場合を例に挙げて説明したが、アンケート集計を行う場合についても全く同様に本発明を適用することが考えられる。したがって、手書き図形が記入された原稿は、教育用教材２０ではなく、アンケート用紙等であっても構わない。また、認識対象となる手書き図形も、「○」や「×」等といった正誤判定ではなく、その他の所定マーク（例えば「チェックマーク」）であっても構わない。
このように、本発明は、本実施形態での説明に対し、その要旨を逸脱しない範囲で適宜変更することが可能である。

本発明に係る画像処理装置の概略構成例を示すブロック図である。 教育用教材の一具体例を示す説明図である。 本発明に係る画像処理装置における処理動作例の概要を示す説明図である。 自動採点処理の概要を示す説明図である。 途切れ補正処理の一例を示す説明図である。 途切れ補正処理の他の例を示す説明図である。 図形情報取得処理の一例を示すフローチャートである。 接触図形分離処理の一例を示すフローチャートである。 接触図形数判定処理の概要を模式的に示す説明図である。 接触図形数判定処理の手順の一例を示すフローチャートである。 記入位置中心を推定する図形中心推定処理の概要を模式的に示す説明図である。 記入位置中心を推定する図形中心推定処理の手順の一例を示すフローチャートである。 図形主軸を特定する処理を含む図形中心推定処理の概要を模式的に示す説明図である。 図形主軸を特定する処理を含む図形中心推定処理の手順の一例を示すフローチャートである。 図形主軸を特定する処理を含む図形中心推定処理の他の例の概要を模式的に示す説明図である。 図形分離抽出のためのペイント処理の第一例の概要を模式的に示す説明図である。 図形分離抽出のためのペイント処理の第一例の手順を示すフローチャートである。 図形分離抽出のためのペイント処理の第二例の概要を模式的に示す説明図である。 図形分離抽出のためのペイント処理の第二例の手順を示すフローチャートである。 図形分離抽出のためのペイント処理の第三例の概要を模式的に示す説明図である。 図形分離抽出のためのペイント処理の第三例の手順を示すフローチャートである。 図形分離抽出のためのペイント処理の第四例の概要を模式的に示す説明図である。 図形分離抽出のためのペイント処理の第四例の手順を示すフローチャートである。 正誤判定の採点集計の処理手順の一例を示すフローチャートである。

符号の説明

１…データベース部、２…画像読み取り部、３…画像データ解析部、４…教材判別部、５…歪み補正部、６…差分抽出部、７…解答者抽出部、８…正誤判定抽出部、９…途切れ補正部、１０…接触図形分離部、１１…図形形状認識部、１２…記入位置認識部、１３…採点集計部、１４…集計結果出力部、２０…教育用教材、２１…記入欄、２２…識別情報欄、２３…解答者情報欄、３１…データベース装置、３２…ファイルサーバ装置

Claims (11)

1. 複数の記入欄のそれぞれに対応して手書き図形が記入された原稿から得た画像データを、当該原稿についての画像データで前記手書き図形が未記入のものと比較して、両者の差分を抽出する差分抽出手段と、
   前記差分抽出手段による差分抽出結果に基づいて、複数の手書き図形が重複または接触して記入されてなる接触図形群の有無および当該接触図形群を構成する手書き図形の数を判定する接触判定手段と、
   前記接触図形群を構成する各手書き図形についての記入位置中心を推定し、または当該接触図形群における図形主軸を特定する中心推定手段と、
   前記中心推定手段が推定した記入位置中心または当該中心推定手段が特定した図形主軸の少なくとも一方を用いて前記接触図形群を構成する各手書き図形の分離抽出を行う図形分離手段と、
   前記差分抽出手段による差分抽出結果または前記図形分離手段による図形分離抽出結果の少なくとも一方に対する図形認識処理を行う図形認識手段と
   を備えることを特徴とする画像処理装置。
2. 前記中心推定手段は、前記接触図形群を構成する手書き図形に対応する前記記入欄の中心位置を、当該手書き図形についての記入位置中心とする
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記中心推定手段は、前記接触図形群を構成する手書き図形と当該手書き図形に対応する前記記入欄との位置関係を特定し、当該位置関係から所定規則に基づいて導き出される位置を、当該手書き図形についての記入位置中心とする
   ことを特徴とする請求項１記載の画像処理装置。
4. 前記中心推定手段は、前記接触図形群における図形主軸を特定し、当該接触図形群を構成する手書き図形の数に基づいて前記図形主軸を分割して得られる位置を、当該手書き図形についての記入位置中心とする
   ことを特徴とする請求項１記載の画像処理装置。
5. 前記中心推定手段は、前記接触図形群における図形主軸を特定するとともに、当該接触図形群を構成する手書き図形と前記図形主軸との位置関係を特定し、当該位置関係から所定規則に基づいて導き出される位置を、当該手書き図形についての記入位置中心とする
   ことを特徴とする請求項１記載の画像処理装置。
6. 前記図形分離手段は、前記中心推定手段が推定した記入位置中心を基準位置とする所定サイズの領域を切り出し、一つの領域に属する図形を一つの手書き図形とみなすことで、前記接触図形群を構成する各手書き図形の分離抽出を行う
   ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記図形分離手段は、前記中心推定手段が推定した記入位置中心を含む閉じた図形領域に対する塗りつぶし処理を行い、当該塗りつぶし処理された領域と前記接触図形群との位置関係から、前記接触図形群を構成する各手書き図形の分離抽出を行う
   ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
8. 前記図形分離手段は、前記閉じた図形領域に対する塗りつぶし処理を行うのにあたり、前記接触図形群の外接矩形または凸包のいずれか一方を用いる
   ことを特徴とする請求項７記載の画像処理装置。
9. 前記図形分離手段は、前記中心推定手段が特定した図形主軸と前記差分抽出手段による差分抽出結果とから前記図形主軸上での塗りつぶし範囲を特定し、当該塗りつぶし範囲から所定方向に前記差分抽出手段での差分抽出結果により特定される箇所まで第一の塗りつぶし処理を行い、当該第一の塗りつぶし処理で塗りつぶされた領域から前記所定方向と直交する方向に前記差分抽出手段での差分抽出結果により特定される箇所まで第二の塗りつぶし処理を行い、前記第一の塗りつぶし処理および前記第二の塗りつぶし処理で塗りつぶされた領域と前記接触図形群との位置関係から、前記接触図形群を構成する各手書き図形の分離抽出を行う
   ことを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
10. コンピュータを、
    複数の記入欄のそれぞれに対応して手書き図形が記入された原稿から得た画像データを、当該原稿についての画像データで前記手書き図形が未記入のものと比較して、両者の差分を抽出する差分抽出手段と、
    前記差分抽出手段による差分抽出結果に基づいて、複数の手書き図形が重複または接触して記入されてなる接触図形群の有無および当該接触図形群を構成する手書き図形の数を判定する接触判定手段と、
    前記接触図形群を構成する各手書き図形についての記入位置中心を推定し、または当該接触図形群における図形主軸を特定する中心推定手段と、
    前記中心推定手段が推定した記入位置中心または当該中心推定手段が特定した図形主軸の少なくとも一方を用いて前記接触図形群を構成する各手書き図形の分離抽出を行う図形分離手段と、
    前記差分抽出手段による差分抽出結果または前記図形分離手段による図形分離抽出結果の少なくとも一方に対する図形認識処理を行う図形認識手段
    として機能させることを特徴とする画像処理プログラム。
11. 複数の記入欄のそれぞれに対応して手書き図形が記入された原稿から得た画像データを、当該原稿についての画像データで前記手書き図形が未記入のものと比較して、両者の差分を抽出する差分抽出ステップと、
    前記差分抽出ステップによる差分抽出結果に基づいて、複数の手書き図形が重複または接触して記入されてなる接触図形群の有無および当該接触図形群を構成する手書き図形の数を判定する接触判定ステップと、
    前記接触図形群を構成する各手書き図形についての記入位置中心を推定し、または当該接触図形群における図形主軸を特定する中心推定ステップと、
    前記中心推定ステップで推定した記入位置中心または当該中心推定ステップで特定した図形主軸の少なくとも一方を用いて前記接触図形群を構成する各手書き図形の分離抽出を行う図形分離ステップと、
    前記差分抽出ステップによる差分抽出結果または前記図形分離ステップによる図形分離抽出結果の少なくとも一方に対する図形認識処理を行う図形認識ステップと
    を含むことを特徴とする画像処理方法。
    

Images