JP2007241357A - 画像処理装置、画像処理プログラムおよび画像処理方法 - Google Patents

画像処理装置、画像処理プログラムおよび画像処理方法 Download PDF

Info

Publication number
JP2007241357A
JP2007241357A JP2006058999A JP2006058999A JP2007241357A JP 2007241357 A JP2007241357 A JP 2007241357A JP 2006058999 A JP2006058999 A JP 2006058999A JP 2006058999 A JP2006058999 A JP 2006058999A JP 2007241357 A JP2007241357 A JP 2007241357A
Authority
JP
Japan
Prior art keywords
handwritten
contact
graphic
group
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006058999A
Other languages
English (en)
Other versions
JP4863057B2 (ja
Inventor
Teruka Saito
照花 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2006058999A priority Critical patent/JP4863057B2/ja
Publication of JP2007241357A publication Critical patent/JP2007241357A/ja
Application granted granted Critical
Publication of JP4863057B2 publication Critical patent/JP4863057B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Electrically Operated Instructional Devices (AREA)
  • Character Input (AREA)

Abstract

【課題】手書き図形を認識対象とする場合に、互いに重複部分または接触部分を有して記入された複数の図形があっても、これらを正しく分離して適切に認識できるようにする。
【解決手段】複数の手書き図形が重複または接触して記入されてなる接触図形群の有無および当該接触図形群を構成する手書き図形の数を判定し、前記接触図形群があれば当該接触図形群を構成する各手書き図形についての記入位置中心を推定し、推定した記入位置中心を用いて前記接触図形群を構成する各手書き図形の分離抽出を行い、その分離抽出の後に前記手書き図形に対する図形認識処理を行うように、画像処理装置を構成する。
【選択図】図1

Description

本発明は、手書き図形に対する図形認識処理を行う機能を有した画像処理装置、画像処理プログラムおよび画像処理方法に関する。
近年、教育用教材(ペーパーテストや練習問題シート等)についての自動採点集計や、アンケート用紙への記入内容の自動集計等が、OCR(Optical Character Reader)技術等を利用することによって実現されている。ただし、OCR技術では、手書きの文字または記号を認識対象とする。すなわち、手書きゆえに隣り合う文字または記号が重複部分または接触部分を有して記入されることも考えられるが、その場合であってもそれぞれの文字または記号について正しく認識する必要がある。このことから、従来、OCR技術に関しては、接触文字を含む文字列についても正確に認識できるようにすることが提案されている(例えば、特許文献1,2参照)。
特開平5−233877号公報 特開平6−150062号公報
しかしながら、従来におけるOCR技術では、認識対象が文字列である場合には有効であるが、例えば「○」や「×」といった手書き図形が認識対象となる場合には、互いに重複部分または接触部分を有して記入された複数の図形について、必ずしもこれらを正確に認識し得るとは限らない。認識対象が手書き図形であると、文字の場合とは異なり、その意味に基づく判断が困難だからである。また、文字であれば各文字が縦書きまたは横書きといった一定の規則に従って並ぶことになるが、手書き図形の場合には斜め方向といったように様々な態様で並んで重複または接触し得るからである。さらには、手書き図形については、重複度合いの変化が大きいことも多いからである。したがって、教育用教材の自動採点集計やアンケート用紙の自動集計等を行う場合には、「○」、「△」、「×」等といった手書きの図形についての認識が必要となるため、その自動採点集計や自動集計等が正しく行えないおそれがある。
そこで、本発明は、手書き図形を認識対象とする場合に、互いに重複部分または接触部分を有して記入された複数の図形があっても、これらを正しく分離して適切に認識することのできる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。
本発明は、上記目的を達成するために案出された画像処理装置で、複数の記入欄のそれぞれに対応して手書き図形が記入された原稿から得た画像データを、当該原稿についての画像データで前記手書き図形が未記入のものと比較して、両者の差分を抽出する差分抽出手段と、前記差分抽出手段による差分抽出結果に基づいて、複数の手書き図形が重複または接触して記入されてなる接触図形群の有無および当該接触図形群を構成する手書き図形の数を判定する接触判定手段と、前記接触図形群を構成する各手書き図形についての記入位置中心を推定し、または当該接触図形群における図形主軸を特定する中心推定手段と、前記中心推定手段が推定した記入位置中心または当該中心推定手段が特定した図形主軸のを用いて前記接触図形群を構成する各手書き図形の分離抽出を行う図形分離手段と、前記差分抽出手段による差分抽出結果または前記図形分離手段による図形分離抽出結果の少なくとも一方に対する図形認識処理を行う図形認識手段とを備えることを特徴とする。
また、本発明は、上記目的を達成するために案出された画像処理プログラムで、コンピュータを、複数の記入欄のそれぞれに対応して手書き図形が記入された原稿から得た画像データを、当該原稿についての画像データで前記手書き図形が未記入のものと比較して、両者の差分を抽出する差分抽出手段と、前記差分抽出手段による差分抽出結果に基づいて、複数の手書き図形が重複または接触して記入されてなる接触図形群の有無および当該接触図形群を構成する手書き図形の数を判定する接触判定手段と、前記接触図形群を構成する各手書き図形についての記入位置中心を推定し、または当該接触図形群における図形主軸を特定する中心推定手段と、前記中心推定手段が推定した記入位置中心または当該中心推定手段が特定した図形主軸の少なくとも一方を用いて前記接触図形群を構成する各手書き図形の分離抽出を行う図形分離手段と、前記差分抽出手段による差分抽出結果または前記図形分離手段による図形分離抽出結果の少なくとも一方に対する図形認識処理を行う図形認識手段として機能させることを特徴とする。
また、本発明は、上記目的を達成するために案出された画像処理方法で、複数の記入欄のそれぞれに対応して手書き図形が記入された原稿から得た画像データを、当該原稿についての画像データで前記手書き図形が未記入のものと比較して、両者の差分を抽出する差分抽出ステップと、前記差分抽出ステップによる差分抽出結果に基づいて、複数の手書き図形が重複または接触して記入されてなる接触図形群の有無および当該接触図形群を構成する手書き図形の数を判定する接触判定ステップと、前記接触図形群を構成する各手書き図形についての記入位置中心を推定し、または当該接触図形群における図形主軸を特定する中心推定ステップと、前記中心推定ステップで推定した記入位置中心または当該中心推定ステップで特定した図形主軸の少なくとも一方を用いて前記接触図形群を構成する各手書き図形の分離抽出を行う図形分離ステップと、前記差分抽出ステップによる差分抽出結果または前記図形分離ステップによる図形分離抽出結果の少なくとも一方に対する図形認識処理を行う図形認識ステップとを含むことを特徴とする。
上記構成の画像処理装置および画像処理プログラム並びに上記手順の画像処理方法によれば、複数の手書き図形が重複または接触して記入されてなる接触図形群が存在する場合に、その接触図形群を構成する各手書き図形についての記入位置中心を推定し、または当該接触図形群における図形主軸を特定し、その推定結果または特定結果のいずれかを用いて接触図形群を構成する各手書き図形の分離抽出を行うようになっている。つまり、各手書き図形の記入位置に基づいてそれぞれの分離抽出を行うことになるので、各手書き図形の意味や重複または接触の態様(方向や度合)等に拘らず、各手書き図形を分離抽出し得るようになる。したがって、その後に行う図形認識処理を適切に行い得るようになる。
以上のように、本発明の画像処理装置、画像処理プログラムおよび画像処理方法では、手書きゆえに形状にばらつきのある複数の手書き図形同士が、同じく手書きゆえに重複または接触して記入されることがあっても、正しく個々の手書き図形を分離抽出して認識することができる。したがって、手書きの図形についての認識を正しく行えることから、教育用教材の自動採点集計やアンケート用紙の自動集計等に適用して非常に好適なものとなる。しかも、手書き図形同士が重複または接触して記入されても各手書きの図形を正しく認識し得るので、教育用教材やアンケート用紙等といった原稿に対する図形記入時の制約を少なくすることができ、結果として記入者の負担を減らすことができる。さらには、重複または接触を避けるために記入欄同士を離すといったことも不要となり、原稿上のレイアウト作成時の自由度を十分に確保し得るようになる。すなわち、例えば葉書のような小さなスペースのものを認識対象原稿として、その原稿に記入された手書き図形についての自動集計を行うといったことも実現可能となる。
以下、図面に基づき本発明に係る画像処理装置、画像処理方法および画像処理プログラムについて説明する。
〔装置概略構成の説明〕
先ず、画像処理装置の概略構成について説明する。ここでは、教育用教材についての自動採点集計を行うものを例に挙げて説明する。
図1は、本発明に係る画像処理装置の概略構成例を示すブロック図である。図例のように、ここで説明する画像処理装置(教育用教材自動採点システム)は、データベース部1と、画像読み取り部2と、画像データ解析部3と、教材判別部4と、歪み補正部5と、差分抽出部6と、解答者抽出部7と、正誤判定抽出部8と、途切れ補正部9と、接触図形分離部10と、図形形状認識部11と、記入位置認識部12と、採点集計部13と、集計結果出力部14と、を備えて構成されている。
データベース部1は、教育用教材についての電子データを保持蓄積するものである。
ここで、教育用教材について簡単に説明する。図2は、教育用教材の一具体例を示す説明図である。図例のように、教育用教材20は、問題およびその解答の記入欄21を有したもので、具体的には教育機関で用いられるペーパーテストや練習問題シート等がこれに相当する。ただし、教育用教材20は、少なくとも記入欄21を有していればよく、問題文については必ずしも記載されていなくともよい。また、教育用教材20には、その教育用教材20を識別特定するための識別情報欄22と、記入欄21への解答記入者に関する解答者情報欄23と、を有している。識別情報欄22には、例えば教育用教材20の科目、タイトル、適用学年等が予め記載されるものとする。ただし、これらの記載に加えて、またはこれらの記載とは別に、教育用教材20を識別するためのコード情報が埋め込まれていてもよい。コード情報の埋め込みは、公知技術を利用して実現すればよいが、その一つの具体例として、例えば「iTone(登録商標)」と呼ばれるもののように、階調表現としての万線スクリーンまたはドットスクリーンを構成する画素の形態(位置、形状等)を変化させることで、ハーフトーン画像の中にデジタル情報を埋め込むようにする、といった技術を用いることが考えられる。一方、解答者情報欄23には、解答記入者の学級、出席番号、氏名等が記入され得るようになっている。
このような教育用教材20についての電子データは、その教育用教材20における記入欄21や識別情報欄22等のレイアウトを特定し得るものであり、かつ、データベース部1にて保持蓄積可能なものであれば、そのデータ形式を問わない。例えば、画像データ(イメージデータ)であっても、文書作成ソフトウェアで作成したアプリケーション文書データであってもよい。ただし、教育用教材20についての電子データは、その教育用教材20の原本についてのもの、すなわち記入欄21等が全て未記入の教育用教材20についてのものとする。また、教育用教材20の電子データは、その教育用教材20における各記入欄21についての配点情報を含んでいるものとする。配点情報とは、教育用教材20上における各記入欄21について、どの位置に存在する記入欄21への配点が何点であるかを特定するための情報である。なお、配点は、各記入欄21毎に異なっていても、あるいは一律であっても構わない。
また図1において、画像読み取り部2は、記入欄21への解答記入、解答者情報欄23への氏名等の記入および当該解答に対する正誤判定(具体的には、例えば「○」または「×」の手書き図形)の記入がされた教育用教材20に対して、公知の光学的画像読み取り技術を用いた画像読み取りを行って、その教育用教材20から画像データを得るものである。すなわち、画像読み取り部2は、手書き図形(正誤判定)が記入された原稿(教育用教材)から画像データを得るためのものである。
画像データ解析部3は、画像読み取り部2で得られた画像データについて、その解析処理を行うものである。解析処理としては、レイアウト解析、文字図形分離、文字認識、コード情報認識、図形処理、色成分認識等が挙げられるが、いずれも公知の画像処理技術を利用して実現すればよいため、ここではその詳細な説明を省略する。
教材判別部4は、タイトル解析部とコード情報解析部との少なくとも一方からなるもので、画像データ解析部3での解析処理の結果、特に識別情報欄22についてのタイトル解析部によるタイトル解析またはコード情報解析部によるコード解析の少なくとも一方の結果を基にして、画像読み取り部2で得られた画像データの元となった教育用教材20を識別特定するものである。このとき、教材判別部4では、データベース部1が電子データを保持蓄積している教育用教材20と照らし合わせ、該当する電子データがデータベース部1に保持蓄積されていなければ、教育用教材の識別特定エラーと判定するようになっている。すなわち、教材判別部4は、画像データ解析部3での解析結果から、画像読み取り部2で得られた画像データとの比較対象となる電子データを特定するものである。
歪み補正部5は、画像読み取り部2で得られた画像データに対して、その画像データにおける画像歪みの補正を行うものである。画像歪みの補正としては、傾き補正や主走査方向または副走査方向の拡縮補正等が挙げられるが、いずれも公知の画像処理技術を利用して実現すればよいため、ここではその詳細な説明を省略する。
あるいは、画像読み取り部2で得られた画像データと、比較対象となるデータベース部1内の電子データとを比較照合し、その画像歪み(傾き、拡縮など)を補正しても良い。
差分抽出部6は、教材判別部4での教育用教材20の識別特定の結果に基づいて、画像読み取り部2で得られた画像データで、歪み補正部5での画像歪みの補正処理後のものと、その比較対象となるデータベース部1内の電子データとを比較して、それぞれの間の差分を抽出するものである。なお、差分抽出処理の手法自体については、公知の画像処理技術を利用して実現すればよいため、ここではその詳細な説明を省略する。
解答者抽出部7は、出席番号情報切り出し部と手書きOCR部との少なくとも一方、好ましくは両方からなるもので、画像データ解析部3での解析処理の結果を基にしつつ、差分抽出部6で抽出された差分のうち、解答者情報欄23についての差分に対し、その差分からの出席番号情報切り出し部による文字情報抽出や手書きOCR部による文字認識処理等を通じて、画像読み取り部2で読み取り対象となった教育用教材における解答者情報を抽出するものである。解答者情報としては、解答記入者の学級、出席番号、氏名等といった、解答記入者を識別するための情報が挙げられる。
正誤判定抽出部8は、画像データ解析部3での解析処理の結果を基にしつつ、差分抽出部6で抽出された差分から、さらに正誤判定の記入内容を抽出するものである。正誤判定の記入内容の抽出は、例えば差分抽出部6での抽出結果に対する色成分認識処理を通じて、所定色成分についてのものを抽出することによって行えばよい。一般に、正誤判定の記入は、赤色で行われるからである。
途切れ補正部9は、正誤判定抽出部8での抽出結果に対して途切れ補正処理を行うものである。途切れ補正処理とは、抽出された線分同士を接続して、その抽出線分間の途切れを解消するための処理である。
接触図形分離部10は、複数の正誤判定が重複または接触して記入されてなる接触図形群が有る場合に、その接触図形群を構成する各正誤判定の分離抽出を行うものである。すなわち、接触図形分離部10は、接触図形群を構成する各手書き図形をそれぞれ個別に分割するものである。なお、接触図形分離部10では、正誤判定の分離抽出を、詳細を後述するように、接触判定処理、中心推定処理および図形分離処理を経て行うようになっている。
図形形状認識部11は、正誤判定抽出部8で抽出され、途切れ補正部9で途切れ補正がされ、接触図形分離部10で分離抽出された正誤判定の記入内容に対して、その形状認識を行って、その正誤判定の記入内容を認識するものである。形状認識は、例えば「○」または「×」の図形形状とのパターンマッチングによって行えばよい。あるいは、認識対象図形の特徴量を算出し、その特徴量から形状を認識してもよい。特徴量としては、例えば、穴の個数、外接矩形に占める対象図形の面積率等が挙げられる。すなわち、図形形状認識部11は、正誤判定の記入内容が「正解(○)」または「不正解(×)」であるかを認識するものである。
記入位置認識部12は、図形形状認識部11で形状が認識された正誤判定の記入内容について、その教育用教材20上における記入位置を認識するものである。記入位置の認識は、例えば教育用教材20上における座標解析によって行えばよい。
採点集計部13は、図形形状認識部11による正誤判定の記入内容の認識結果と、記入位置認識部12による正誤判定の記入位置の認識結果と、データベース部1が保持蓄積している教育用教材20の電子データに含まれる当該教育用教材20の各記入欄21についての配点情報とを基にして、画像読み取り部2が画像読み取りを行った教育用教材20について、その教育用教材20に記入された正誤判定の採点集計を行うものである。
集計結果出力部14は、採点集計部13による採点集計の結果を、解答者抽出部7が抽出した解答者情報と関連付けて出力するものである。なお、集計結果出力部14による出力先としては、画像処理装置と接続するデータベース装置31またはファイルサーバ装置32で、教育用教材20についての採点集計結果を管理するものが挙げられる。
なお、以上に説明した各部1〜14のうち、画像読み取り部2については、画像読み取り装置としての機能を有した複写機、複合機またはスキャナ装置を利用して実現することが考えられる。その場合に、自動原稿搬送装置(Automatic Document Feeder;ADF)が付設されていると、複数の教育用教材に対する画像読み取りを連続的に行うことができる。
また、画像読み取り部2を除く他の各部1,3〜14については、例えばパーソナルコンピュータ(PC)のように、所定プログラムを実行することによって情報記憶処理機能、画像処理機能、演算処理機能等を実現するコンピュータ機器を利用して実現することが考えられる。その場合に、各部1,3〜14の実現に必要となる所定プログラムは、予めPC内にインストールしておくことが考えられるが、予めインストールされているのではなく、コンピュータ読み取り可能な記憶媒体に格納されて提供されるものであっても、または有線若しくは無線による通信手段を介して配信されるものであってもよい。つまり、上述した構成の画像処理装置は、画像読み取り装置と接続するコンピュータを画像処理装置として機能させる画像処理プログラムによっても実現可能である。
〔処理動作例の概要の説明〕
次に、以上のように構成された画像処理装置(画像処理プログラムによっても実現される場合を含む)における処理動作例、すなわち本発明に係る画像処理方法の手順について説明する。
図3は、本発明に係る画像処理装置における処理動作例の概要を示す説明図である。図例のように、画像処理装置を利用する場合には、先ず、生徒等によって解答者情報欄23への氏名等の記入および記入欄21への解答記入がされ、さらに教師等によって各記入欄21に記入された解答に対する「○」や「×」等の正誤判定の図形記入がされた教育用教材20について、画像読み取り部2が画像読み取りを行って、その教育用教材20からの画像データを得る(ステップ101、以下ステップを「S」と略す)。このとき、ADFを用いれば、例えば同一学級のような一つのグループに纏めて処理すべき複数の教育用教材20について、一括して画像読み取りを行って、各教育用教材20から連続的に画像データを得ることができる。そして、画像読み取りによって得られた画像データについては、一旦ワークエリアとして用いられるメモリ等に保持しておく。
その後は、各教育用教材20から得られたそれぞれの画像データに対して、詳細を後述するような自動採点処理が行われる(S102)。そして、その自動採点処理による採点集計の結果が採点集計部13から出力されると、その採点集計の結果とこれに対応する解答者情報とを互いに関連付けて、画像処理装置と接続するデータベース装置31またはファイルサーバ装置32に対して出力する(S103)。これにより、データベース装置31またはファイルサーバ装置32では、教育用教材20についての採点集計結果を、例えば一覧形式で、管理または利用することが可能となる。
〔自動採点処理の説明〕
続いて、画像処理装置が行う自動採点処理(S102)について、さらに詳しく説明する。図4は、自動採点処理の概要を示す説明図である。
自動採点処理にあたっては、ある一つの教育用教材20から得られた画像データについて(S201)、画像データ解析部3がその解析処理を行い、その解析処理の結果に基づいて教材判別部4が教育用教材20の識別特定を行う。この識別特定は、例えば「理科」「5年」「1.天気と気温の変化」といったタイトル解析または識別情報欄22に埋め込まれたコード情報についてのコード解析を通じて行えばよい。この識別特定を経ることで、教材判別部4では、画像読み取り部2で得られた画像データとの比較対象となる電子データを特定することが可能となる。なお、この識別特定は、画像読み取り部2が画像読み取りを行った複数の教育用教材20のそれぞれについて順次行うことも考えられるが、一般に一つのグループに纏めて処理される教育用教材20は全て同一のものであるため、その纏めて処理される中で最初に処理される教育用教材20についてのみ行えばよい。
教材判別部4が電子データを特定すると、データベース部1は、その特定結果に従いつつ、保持蓄積している中から該当する電子データを取り出して、これを差分抽出部6へ受け渡す。
また、ある一つの教育用教材20から得られた画像データについては、歪み補正部5がその画像データにおける画像歪みの補正を行う。この画像歪みの補正は、画像読み取り部2での画像読み取りの際に生じ得る画像歪みを補正するために行うものであり、その後に行う電子データとの比較や差分抽出等の精度向上を図るためのものである(S202)。
そして、差分抽出部6は、データベース部1から受け渡された電子データと、画像読み取り部2で得られ、歪み補正部5で画像歪みが補正された後の画像データとについて、その差分を抽出する(S203)。この差分抽出によって、解答者情報欄23および各記入欄21への記入内容並びに各記入欄21に対する正誤判定の記入内容が抽出されることになる。
差分抽出部6が差分を抽出すると、その後は、解答者抽出部7が、その差分に対する文字認識処理等を通じて、画像読み取り部2で読み取り対象となった教育用教材における解答者情報を抽出する。これにより、ある一つの教育用教材20に解答を記入した解答記入者の学級、出席番号、氏名等を特定することが可能となる。
また、差分抽出部6による差分抽出結果に対しては、各記入欄21への正誤判定の記入内容を抽出するために、その差分抽出結果から正誤判定抽出部8がさらに所定色成分についてのもの、具体的には例えば赤色成分のものを抽出する(S204)。所定色成分の抽出は、例えば差分抽出結果が画素データからなる場合であれば、その画素データを構成する色成分データに着目することで行うことができる。
ただし、一般に、教育用教材20上での「○」や「×」等の正誤判定の図形記入は、問題文、各記入欄21を特定する枠、各記入欄21への解答記入内容等に重ねて行われることが多い。そのため、正誤判定抽出部8による所定色成分の抽出結果は、その重なり部分が除かれたもの、すなわち「○」や「×」等の図形に途切れ部分が生じたものとなるおそれがある。このことから、正誤判定抽出部8による所定色成分の抽出結果に対しては、途切れ補正部9が詳細を後述する途切れ補正処理を行って、途切れ部分についての補間を行う(S205)。
途切れ補正処理の後は、図形形状認識部11が正誤判定の記入内容に対する形状認識、すなわち「○」または「×」の図形形状とのパターンマッチングを行って、その正誤判定の記入内容が「正解」であるか、あるいは「不正解」であるかを認識する(S206)。このときに行うパターンマッチングは、公知技術を利用して実現すればよいため、ここではその説明を省略する。あるいは、認識対象図形の特徴量を算出し、その特徴量から形状を認識してもよい。特徴量についても、穴の個数、外接矩形に占める対象図形の面積率等といった公知のものを使用すればよいため、ここではその説明を省略する。
また、教育用教材20上では、複数の正誤判定が重複または接触して記入されることもあり得る。したがって、パターンマッチングによる○×判定にあたっては、重複または接触して記入された正誤判定の各手書き図形についても「正解」であるか、あるいは「不正解」であるかを正しく認識すべく、接触図形分離部10が必要に応じて詳細を後述するような各正誤判定の分離抽出処理を行う(S206)。
そして、図形形状認識部11が正誤判定の記入内容に対する形状認識を行うと、続いて、記入位置認識部12は、正誤判定の記入内容について、その教育用教材20上における記入位置を認識する。なお、図形形状認識部11による形状認識の際には、「○」または「×」の図形を構成する連続画素群を一つに纏めて取り扱うために、その連続画素群に対して識別子を付与すべく、一般的な画像処理技術であるラベリング処理が行われている。このことから、記入位置認識部12による位置認識の際にも、そのラベリング処理の結果を利用して、「○」または「×」の図形を構成する連続画素群を一つの纏まりとして取り扱う。
記入位置認識部12が正誤判定記入位置を認識した後は、採点集計部13が正誤判定の採点集計を行う(S207)。このとき、採点集計部13は、その採点集計を、図形形状認識部11による正誤判定の記入内容の認識結果と、記入位置認識部12による正誤判定の記入位置の認識結果と、データベース部1が保持蓄積している教育用教材20の電子データに含まれる当該教育用教材20の各記入欄21についての配点情報と、を基にして行う。
ただし、正誤判定の記入は、一般に教育用教材20上の各記入欄21に対応して行われるが、教師等によって手書きでされるため、各記入欄21に対する記入位置が必ずしも一義的に定まっている訳ではない。その一方で、正誤判定の採点集計にあたっては、各記入欄21と正誤判定の記入位置との対応を明確にする必要がある。正誤判定の採点集計は、各記入欄21に対応する正誤判定の記入結果を明確にした上で、正誤判定の内容(正解か不正解か)および各記入欄21についての配点に基づいて行われるからである。
このことから、採点集計部13では、以下に述べるような手順で、正誤判定の採点集計を行う。すなわち、採点集計部13は、「○」または「×」といった正誤判定図形の外接矩形と、教育用教材20上で記入欄21となる領域との重なり面積を求め、その面積(外接矩形に対する面積比でも同様)が最も大きくなる正誤判定図形と記入欄21とを互いに対応付け、その正誤判定図形を当該記入欄21対して記入された正誤判定結果とする。ただし、重なり面積の外接矩形に対する比が所定閾値未満の場合には、重なる部分が小さいことから、対応付けについての判定が不能であると判断する。そして、対応付けを行った後は、正誤判定図形が「○」であれば、これに対応する記入欄21についての配点情報から特定される配点を加算し、また正誤判定図形が「×」であれば、これに対応する記入欄21についての配点加算を行わず、このような採点集計を教育用教材20上の全ての記入欄21について行う。
教育用教材20上で記入欄21となる領域は、各記入欄21についての配点情報として、または当該配点情報と同様に、教育用教材20の電子データに含まれる解答欄位置領域情報によって特定されるものとする。解答欄位置領域情報としては、教育用教材20上に存在する問題の番号と、その問題の解答に対する配点と、その問題の解答を記入する記入欄21として扱われる領域の所定点(例えば左上頂点)のxy座標、並びに、その外接矩形の幅(W)および高さ(h)からなる情報で、これらを互いに関連付けるテーブル形式で、データベース部1内に予め保持蓄積されているものが挙げられる。
以上のような処理を経ることで、採点集計部13からは、教育用教材20上に記入された正誤判定の採点集計の結果が、問題別採点結果として出力されるのである。問題別採点結果としては、教育用教材20上に存在する問題の番号と、その問題の解答に対する正誤判定と、その正誤判定に基づく得点とからなる情報で、これらを互いに関連付けるテーブル形式で、採点集計部13から出力されるものが挙げられる。
採点集計部13から問題別採点結果が出力されると、その後は、集計結果出力部14が、その問題別採点結果、すなわち採点集計部13による採点集計の結果を、解答者抽出部7が抽出した解答者情報と関連付けて、画像処理装置と接続するデータベース装置31またはファイルサーバ装置32に対して出力する(S207)。これにより、データベース装置31またはファイルサーバ装置32では、教育用教材20についての採点集計結果を、例えば一覧形式で、管理または利用することが可能となる。
〔途切れ補正処理の説明〕
ここで、上述した自動採点処理における途切れ補正処理(S205)について詳しく説明する。図5は、途切れ補正処理の一例を示す説明図である。
途切れ補正処理にあたっては、図5(a)に示すように、正誤判定抽出部8による所定色成分の抽出結果、すなわち「○」や「×」等の図形であるはずの抽出結果に対して、細線化処理を実行し(S301)、さらに端点抽出処理を実行する(S302)。これにより、「○」や「×」等の図形に途切れ部分が生じている場合に、その途切れ部分における端点が抽出されることになる。なお、このときに行う細線化処理および端点抽出処理は、公知技術を利用して行えばよいため、ここではその詳細な説明を省略する。
そして、端点を抽出したら、その抽出した全ての端点に対して、以下のような処理を実行する(S303)。すなわち、先ず、未処理の端点を一つ選択し(S304)、その選択した端点(以下「第一端点」という)から、予め設定されている所定距離内にあって、かつ、最も近傍にある未処理の端点(以下「第二端点」という)をさらに選択する(S305)。そして、第二端点があれば(S306)、第一端点と第二端点とを互いに接続するとともに(S307)、第一端点および第二端点をいずれも処理済みにする(S308)。一方、第二端点が存在しない場合には(S306)、端点間の接続は行わずに、第一端点を処理済みにする(S309)。このような処理を、未処理の端点がなくなるまで、全ての端点に対して行う(S303〜S309)。
これにより、例えば図5(b)に示す図形が抽出された場合には、端点Aに対して、所定距離内に端点B,Cが存在していても、その中で最も近傍の端点Bが端点Aと接続されることとなり、「○」の図形における途切れ部分が補正されることになる。
図6は、途切れ補正処理の他の例を示す説明図である。
途切れ補正処理の他の例では、正誤判定抽出部8による所定色成分の抽出結果の他に、歪み補正部5による画像歪み補正後の画像データをも用いて、途切れ補正処理の精度向上を図っている。すなわち、途切れ補正処理の他の例では、図6(a)に示すように、歪み補正部5による画像歪み補正後の画像データに対して二値化処理を行う(S401)。ただし、差分抽出部6による差分抽出または正誤判定抽出部8による所定色成分の抽出の際に二値化処理をしていれば、その二値化処理後の画像データを使用しても構わない。
また、正誤判定抽出部8による所定色成分の抽出結果に対しては、細線化処理を実行し(S402)、さらに端点抽出処理を実行する(S403)。そして、端点を抽出したら、その抽出した全ての端点に対して、以下のような処理を実行する(S404)。
先ず、未処理の端点を一つ選択し(S405)、その選択した第一端点から、予め設定されている所定距離内にあって、かつ、最も近傍にある未処理の端点を第二端点として選択する(S406)。そして、第二端点があれば(S407)、第一端点と第二端点とを連結するような画素群が、二値化処理後の画像データ中にあるか否かを判断する(S408)。つまり、途切れの発生要因となった画像の重なり部分があるか否かを判断するのである。その結果、重なり部分があれば、第一端点と第二端点とを互いに接続するとともに(S409)、第一端点および第二端点をいずれも処理済みにする(S410)。一方、重なり部分がなければ、上述したステップ(S406)に戻り、第一端点から所定距離内にあって、かつ、最も近傍の端点の次に近距離にある端点を第二端点として選択する。このとき、選択すべき端点がなければ、端点間の接続は行わずに、第一端点を処理済みにする(S411)。このような処理を、未処理の端点がなくなるまで、全ての端点に対して行う(S404〜S411)。
これにより、例えば図6(b)に示す図形が抽出された場合に、端点Aに対して、所定距離内に端点B,Cが存在していると、その中で最も近傍の端点Cが選択されるが、二値化処理後の画像データ中に端点A,C間を連結する画素群がないので、端点A,C間は接続しない。そして、端点Cの次に距離の近い端点Bを選択されるが、その端点Bと端点Aとの間には二値化処理後の画像データ中に画素群が存在するので、端点Bが端点Aと接続されることになる。つまり、「○」と「×」とが誤って接続されてしまうことなく、「○」の図形における途切れ部分が補正されるのである。
〔図形情報取得処理の説明〕
次いで、上述した自動採点処理における正誤判定の分離抽出処理(S206)および記入位置認識処理(以下、これらの処理を「図形情報取得処理」という)について詳しく説明する。図7は、図形情報取得処理の一例を示すフローチャートである。
図形情報取得処理にあたっては、先ず、接触図形分離部10が正誤判定の分離抽出処理を行う(S501)。すなわち、接触図形分離部10は、「○」または「×」といった複数の手書き図形が重複または接触して記入されてなる接触図形群について、その接触図形群を構成する各手書き図形を分離抽出する、接触図形分離処理を行うのである。この接触図形分離処理については、その詳細を後述する。
そして、接触図形分離処理の後は、教育用教材20上に複数の正誤判定が記入されていることから、その正誤判定についてのカウント数kを図形数(正誤判定が記入された数)に設定する(S502)。これにより、カウント数kが「0」になるまで、すなわち図形数の全てについて、一つ目から順にその記入位置が認識されることとなる(S503)。位置認識は、例えば「○」または「×」の図形の外接矩形情報を算出し、さらにその外接矩形の中心座標を算出することによって行うことが考えられる(S504)。具体的には、認識対象となる図形(連続画素群)に対して外接矩形を抽出するとともに、その外接矩形の所定点(例えば左上頂点)のxy座標、並びに、その外接矩形の幅(W)および高さ(h)を算出する。そして、これらの算出結果から、中心x座標=x+w/2、中心y座標=y+h/2を算出し、その算出結果を連続画素群の位置、すなわち正誤判定記入位置の認識結果とする。このような処理を、カウント数kの値をデクリメントしつつ(S505)、教育用教材20上に存在する全ての正誤判定について認識するまで繰り返して行う(S503〜S505)。
〔接触図形分離処理の説明〕
続いて、上述した図形情報取得処理における接触図形分離処理(S502)について詳しく説明する。図8は、接触図形分離処理の一例を示すフローチャートである。
接触図形分離処理にあたって、接触図形分離部10は、正誤判定抽出部8による抽出結果で途切れ補正部9による途切れ補正処理後の連続画素群に対するラベリング処理の結果を利用して、それぞれの連続画素群を一つの纏まりとして取り扱う。このとき、一つの纏まりには、「○」または「×」といった一つの図形の他に、複数の図形が重複または接触して記入されてなる接触図形群が含まれ得る。そして、その一つの纏まりについてのカウント数kが「0」になるまで、すなわち当該纏まりの全てについて、一つ目から順に接触図形分離処理が行われることとなる(S601,602)。
具体的には、処理対象となる一つの纏まり(連続画素群)に対して、先ず、接触図形数判定処理を行って、その纏まりを構成する図形数を判定する(S603)。この接触図形数判定処理については、その詳細を後述する。この判定の結果、図形数が2以上、すなわち処理対象となる一つの纏まりが接触図形群である場合には(S604)、当該纏まりにおける図形カウント数mを判定結果に係る図形数に設定する(S605)。そして、接触図形群を構成する各図形について、一つ目のから順に、図形中心推定処理(S606)およびペイント処理(S607)を経て図形抽出を行い(S608)、これをカウント数mの値をデクリメントしつつ(S609)そのカウント数mが「0」になるまで繰り返して行う(S606〜S610)。なお、図形中心推定処理およびペイント処理についても、その詳細を後述する。このような一連の処理を、カウント数kの値をデクリメントしつつ(S611)、抽出された纏まりの全てについて終了するまで繰り返して行う(S602〜S611)。
〔接触図形数判定処理の説明〕
ここで、上述した接触図形分離処理における接触図形数判定処理(S603)について詳しく説明する。接触図形数判定処理は、接触図形分離部10が行う処理で、複数の手書き図形が重複または接触して記入されてなる接触図形群の有無および当該接触図形群を構成する手書き図形の数を判定する処理である。
図9は、接触図形数判定処理の概要を模式的に示す説明図である。接触図形数判定処理にあたっては、先ず、図9(a)に示すような正誤判定抽出部8による抽出結果で途切れ補正部9による途切れ補正処理後の連続画素群の中から、図9(b)に示すように注目画素群となる一つの纏まりを取り出して、その一つの纏まりについて図9(c)に示すような外接矩形を設定する。その一方で、図9(d)に示すように、データベース部1にて保持蓄積された電子データ(特に、教育用教材20上における記入欄21に関する属性情報)に基づいて、各記入欄21のレイアウト(配置位置や大きさ等)を特定しておく。そして、図9(e)に示すように、注目画素群についての外接矩形と特定した各記入欄21とを重ね合わせ、その外接矩形に重なる記入欄21の数をカウントし、これにより当該注目画素群における正誤判定の図形数を判定する。一般に、正誤判定の図形は一つの記入欄21に対して一つのみが記入されるものであるため、記入欄21の数をカウントすることで、重複または接触して記入された図形の有無およびその数を判定するのである。具体的には、例えば外接矩形と重なり合う記入欄21が二つであれば、二つの正誤判定の図形が重複または接触して記入されていると判定する。また、例えば外接矩形と重なり合う記入欄21が一つのみであれば、正誤判定の図形の重複記入または接触記入が無いと判定する。
図10は、上述した接触図形数判定処理の手順の一例を示すフローチャートである。図例のように、接触図形数判定処理にあたって、接触図形分離部10は、先ず、教育用教材20上に存在する記入欄21の総数をカウント数mとして設定するとともに、重なり合う記入欄21についてのカウント数nを「0」に設定する(S701)。そして、外接矩形と記入欄21との重なり合いを判定し(S702)、重なり合う記入欄21があれば(S703)、カウント数nをインクリメントする(S704)。そして、カウント数mをデクリメントしつつ(S705)、このような処理をカウント数mが「0」になるまで、すなわち教育用教材20上に存在する全ての記入欄21について判定するまで、繰り返して行う(S706)。その結果、カウント数nの値を接触図形数とすることで、注目画素群における正誤判定の図形数を判定することができる。
なお、接触図形数判定処理は、接触図形群の有無および構成図形数が判定できれば、他の手法を用いて行ってもよい。他の手法としては、例えば、手書き図形として記入される標準的な面積を予め設定しておき、その設定された標準図形面積を用いて接触図形群の有無および構成図形数を判定することが考えられる。
〔図形中心推定処理の説明〕
次いで、上述した接触図形分離処理における図形中心推定処理(S606)について詳しく説明する。図形中心推定処理は、接触図形分離部10が行う処理で、複数の手書き図形が重複または接触して記入されてなる接触図形群を構成する各手書き図形についての記入位置中心を推定する処理である。ただし、図形中心推定処理としては、当該接触図形群における図形主軸を特定する処理を含むことも考えられる。
図形中心推定処理としては、各手書き図形についての記入位置中心を推定する場合であれば、上述した接触図形数判定処理において、接触図形群(注目画素群)を構成する複数の手書き図形と、これに対応する各記入欄21との関係が特定されているので、その対応する記入欄21の位置に基づいて各手書き図形の記入位置中心を推定することが考えられる。すなわち、各手書き図形に対応する記入欄21の中心位置を、当該手書き図形ついての記入位置中心とする。このようにして、記入位置中心を推定すれば、図形中心推定処理を少ない処理負荷で高速に行うことが可能となる。
ただし、正誤判定の手書き図形は、手書きで記入されるものゆえに、その記入位置中心が必ずしも記入欄21の中心位置と合致するとは限らず、その中心位置からずれて記入されることもあり得る。したがって、各手書き図形についての記入位置中心を推定する場合の他の手法としては、手書き図形と記入欄21との位置関係を特定し、当該位置関係から所定規則に基づいて導き出される位置を、当該手書き図形ついての記入位置中心とすることも考えられる。すなわち、記入欄21の枠と記入図形との間の距離を測定し、その測定した距離から手書き図形についての記入位置中心を推定することで、その推定精度の向上を図るようにする。
図11は、記入位置中心を推定する図形中心推定処理の概要を模式的に示す説明図である。記入位置中心を推定する場合には、先ず、図11(a)に示すような複数の手書き図形が重複または接触して記入されてなる接触図形群(注目画素群)について、接触図形数判定処理の結果を基に、図11(b)に示すような各手書き図形に対応する記入欄21について情報を取得する。そして、図11(c)に示すように、注目画素群と各記入欄21の枠との位置関係から、それぞれの間の距離を取得する。このときに取得する距離は、少なくとも一方向のもの(例えば記入欄21の長手方向に沿ったもの)とするが、互いに直交する二方向(水平方向および垂直方向)について取得しても構わない。図形分布状況を取得した後は、図11(d)に示すように、記入欄21の両端からの距離の和が最も小さい箇所、すなわち図形内で最も距離の大きい箇所を算出する。ただし、図形形状が「○」ではなく「×」の場合には、和が最も大きい箇所を算出する。このような所定規則に基づいて導き出される箇所を算出したら、図11(e)に示すように、その距離の中心位置を算出し、その位置を手書き図形についての記入位置中心として推定する。なお、二方向の距離を取得した場合であれば、各方向について所定規則に基づいて導き出される箇所の交点を、記入位置中心として推定することが考えられる。
図12は、上述した図形中心推定処理の手順の一例を示すフローチャートである。図例のように、図形中心推定処理にあたって、接触図形分離部10は、先ず、接触図形数判定処理の結果から、接触図形群(注目画素群)と重なり合う記入欄21について情報を取得する(S801)。そして、その重なり合う記入欄21の全てについての処理が終了するまで(S802)、各記入欄21の枠の位置情報を基に(S803)、図形との距離取得を行い(S804)、所定規則に基づいて導き出される箇所を算出し(S805)、その結果から各図形の記入位置中心の推定を行う(S806)。これにより、接触図形群(注目画素群)における各手書き図形の中心座標位置を精度よく特定することができる。
ところで、図形中心推定処理では、上述したような手順で記入位置中心を推定する場合の他に、接触図形群(注目画素群)における図形主軸を特定する処理を含むことも考えられる。
図13は図形主軸を特定する処理を含む図形中心推定処理の概要を模式的に示す説明図であり、図14は当該図形中心推定処理の手順の一例を示すフローチャートである。図形主軸を特定する処理を含む場合には、先ず、図13(a)に示すような複数の手書き図形が重複または接触して記入されてなる接触図形群(注目画素群)について、図13(b)に示すように、その図形主軸を算出する(図14におけるS901)。図形主軸の算出は、例えばモーメント特徴を用いて行うことが考えられる。「モーメント特徴(moment feature)」とは、図形を構成するがその位置に重み付けをして合計した数値である。このモーメント特徴によって、図形の面積、重心が定義でき、また主軸(principal axis)方向を導くことができる。なお、モーメント特徴の算出の詳細については、公知技術を利用して行えばよいため、ここではその説明を省略する。図形主軸を算出した後は、その図形主軸における分割点を算出する(図14におけるS902)。すなわち、図13(c)に示すように、図形主軸を、接触図形群(注目画素群)を構成する図形数×2で均等に分割する。そして、主軸分割点を一箇所おきに取り出すことで、図13(d)に示すように、その取り出した箇所(分割点)を各図形の記入位置中心とする(図14におけるS903)。
つまり、図形中心推定処理は、接触図形群における図形主軸を特定し、その接触図形群を構成する手書き図形の数に基づいて特定した図形主軸を分割し、その分割で得られる位置を当該手書き図形ついての記入位置中心とすることによっても行うことができる。このように、図形主軸を特定する処理を経て、各図形の記入位置中心の推定を行えば、手書き図形が記入欄21からずれて記入されている場合であっても、その手書き図形の記入位置中心を精度よく特定することができる。
また、図形主軸を特定する処理を含む図形中心推定処理としては、各図形の記入位置中心の推定を、上述したような図形主軸の分割によって行うのではなく、図形主軸周辺の図形分布状況に基づいて行うようにすることも考えられる。図15は、図形主軸を特定する処理を含む図形中心推定処理の他の例の概要を模式的に示す説明図である。具体的には、図15(a)に示すような接触図形群(注目画素群)について、図15(b)に示すように図形主軸を算出した後、図15(c)に示すように、その図形主軸と直交する方向における当該図形主軸と図形構成画素との間の距離を取得する。そして、全ての距離を取得したら、図15(d)に示すように、その中で最も距離の大きい箇所を各図形別に算出するとともに、それぞれの中点を算出し、このような所定規則に基づいて導き出される位置を各手書き図形における記入位置中心として推定する。
つまり、図形中心推定処理は、接触図形群における図形主軸を特定するとともに、当該接触図形群を構成する手書き図形と図形主軸との位置関係を特定し、その位置関係から所定規則に基づいて導き出される位置を、当該手書き図形ついての記入位置中心とすることによっても行うことができる。このように、図形主軸との位置関係を用いて各図形の記入位置中心の推定を行えば、図形中心推定処理の更なる精度向上が期待できるようになる。
〔ペイント処理の説明〕
次いで、上述した接触図形分離処理におけるペイント処理(S607)について詳しく説明する。ペイント処理は、接触図形分離部10が行う処理で、図形中心推定処理にて推定した記入位置中心または図形主軸のいずれかを用いて、接触図形群を構成する各手書き図形の分離抽出を行うための処理である。
接触図形群を構成する各手書き図形の分離抽出を行うための処理としては、ペイント処理を経ることなく、単純抽出方法によって行うことも考えられる。すなわち、図形中心推定処理にて各手書き図形の記入位置中心が推定されているので、その記入位置中心を基準位置とする所定サイズの領域を切り出し、一つの領域に属する図形を一つの手書き図形とみなすことで、接触図形群を構成する各手書き図形の分離抽出を行うようにする。このとき、切り出し領域のサイズとしては、記入欄21の大きさに応じて予め設定されたサイズとしたり、あるいは教育用教材20上に記入された手書き図形をサンプリングし、そのサンプリングの結果から特定可能なサイズ(例えば代表的な図形サイズ)とすることが考えられる。このような方法によって各手書き図形の分離抽出を行えば、その分離抽出を行うための処理を、少ない処理負荷で高速に行うことが可能となる。また、各手書き図形の形状に影響されることなく、その分離抽出を行うことが可能である。
ただし、正誤判定の手書き図形は、手書きで記入されるものゆえに、その大きさ等が必ずしも一律ではない。その場合であっても、各手書き図形の分離抽出については、各手書き図形の途切れ等が生じることなく、精度よく行い得ることが望まれる。このことから、各手書き図形の分離抽出にあたっては、以下に述べるようなペイント処理を行うことが考えられる。
図16は図形分離抽出のためのペイント処理の第一例の概要を模式的に示す説明図であり、図17は当該ペイント処理の手順を示すフローチャートである。ペイント処理としては、図16(a)に示すような複数の手書き図形が重複または接触して記入されてなる接触図形群(注目画素群)について、図16(b)に示すように図形中心推定処理にて各手書き図形の記入位置中心が推定されているので、その記入位置中心についての座標値を取得し(図17におけるS1001)、図16(c)に示すようにその座標値で特定される記入位置中心を含む閉じた図形領域に対する塗りつぶしを行うことが考えられる(図17におけるS1002)。このときの塗りつぶしは、公知の画像処理技術を用いて行えばよいため、ここではその説明を省略する。
つまり、ペイント処理の第一例では、図形中心推定処理で推定した記入位置中心を含む閉じた図形領域を塗りつぶし、その塗りつぶされた領域に接する接触図形群の画素を抽出して一つの手書き図形とすることで、接触図形群を構成する各手書き図形の分離抽出を可能とするのである。このようなペイント処理を経て各手書き図形の分離抽出を行えば、大きさ等の影響を受けることなく、確実かつ精度よく各手書き図形の分離抽出を行うことが可能となる。
ただし、上述したペイント処理の第一例では、各手書き図形が閉じた図形領域を構成していることが前提となる。したがって、処理自体の単純化や高速化等は望めるが、どのような図形形状にも柔軟に対応できるという汎用性を確保することは困難である。具体的には、例えば、本来は閉じた図形領域を構成するはずである「○」の正誤判定であっても、手書きゆえに途切れた部分が存在していると塗りつぶしを行うことができない。そこで、ペイント処理としては、以下に述べるような第二例または第三例を行うことも考えられる。
図18は図形分離抽出のためのペイント処理の第二例の概要を模式的に示す説明図であり、図19は当該ペイント処理の手順を示すフローチャートである。ペイント処理の第二例では、図18(a)に示すような複数の手書き図形が重複または接触して記入されてなる接触図形群(注目画素群)について、図18(b)に示すように、その接触図形群の全体を囲む最小の外接矩形を描画する(図19におけるS1101)。そして、図形中心推定処理にて各手書き図形の記入位置中心が推定されているので、図18(c)に示すように、その記入位置中心についての座標値を取得し(図19におけるS1102)、図18(d)に示すようにその座標値で特定される記入位置中心を含む領域として、その記入位置を中心とする図形および外接矩形で囲まれる領域を特定し、その特定した領域に対する塗りつぶしを行う(図19におけるS1103)。つまり、閉じた領域に対する塗りつぶしを行うのにあたり、接触図形群の外接矩形を用いるのである。このようにすれば、手書きゆえに途切れた部分が存在している場合であっても、塗りつぶしを行うことができるので、どのような図形形状にも柔軟に対応できるという汎用性を確保し得るようになる。
図20は図形分離抽出のためのペイント処理の第三例の概要を模式的に示す説明図であり、図21は当該ペイント処理の手順を示すフローチャートである。ペイント処理の第三例では、上述した第二例における外接矩形に代わって、凸包を用いる点で、当該第二例の場合とは異なる。「凸包(convex hull)」とは、任意の図形に対し、これを含む最小の凸図形のことをいうが、その詳細については公知であるため説明を省略する。このような凸包を用いた場合であっても、上述した第二例の場合と全く同様に、汎用性を確保し得るようになる。
ところで、上述した第二例または第三例の場合のように、接触図形群の外接矩形または凸包のいずれか一方を用いたペイント処理では、外接矩形または凸包を描画するためのメモリ領域が必要となるため、結果として装置構成の複雑化や高コスト化等を招いてしまうおそれがある。そこで、ペイント処理としては、以下に述べるような第四例を行うことも考えられる。
図22は図形分離抽出のためのペイント処理の第四例の概要を模式的に示す説明図であり、図23は当該ペイント処理の手順を示すフローチャートである。ペイント処理の第四例では、図形中心推定処理で特定した接触図形群における図形主軸を用いる。
具体的には、図22(a)に示すような複数の手書き図形が重複または接触して記入されてなる接触図形群(注目画素群)について、図22(b)に示すような図形中心推定処理で特定した図形主軸と記入位置中心の座標値を取得する(図23におけるS1301)。次に、先ず一つの手書き図形に関する図形主軸上での始点位置を取得する。始点位置の取得は、当該一つの手書き図形の構成画素と図形主軸との交点を特定することによって行えばよい。そして、始点位置を取得したら、これに対応する終点位置についても同様の手法で取得し、これにより図22(c)に示すような図形主軸上のペイント範囲(始点位置および終点位置から特定される範囲)を設定する(図23におけるS1302)。図形主軸上のペイント範囲の設定後は、続いて、そのペイント範囲について、図形主軸から所定の一方向(例えば、図形主軸と直交する方向)に向けて、当該一つの手書き図形の構成画素が存在する箇所まで、図22(d)に示すように、第一の塗りつぶしを行う(図23におけるS1303)。なお、第一の塗りつぶしは、図形主軸を中心にして、その両側に向けて行うものとする。第一の塗りつぶしを行った後は、続いて、塗りつぶされた領域から、第一の塗りつぶし方向と直交する方向(例えば、図形主軸と平行な方向)に向けて、当該一つの手書き図形の構成画素が存在する箇所まで、図22(e)に示すように、第二の塗りつぶしを行う(図23におけるS1304)。そして、これら第一および第二の塗りつぶしを経て得られた塗りつぶし領域に接する、接触図形群の画素を抽出して一つの手書き図形とすることで、接触図形群を構成する各手書き図形の分離抽出を可能とするのである。
つまり、ペイント処理の第四例では、図形中心推定処理で特定した図形主軸と、差分抽出部6による差分抽出結果である手書き図形の構成画素とを用い、これらから図形主軸上での塗りつぶし範囲を特定し、当該塗りつぶし範囲から所定方向に手書き図形の構成画素により特定される箇所まで第一の塗りつぶしを行い、当該第一の塗りつぶし処理で塗りつぶされた領域から第一の塗りつぶし方向と直交する方向に手書き図形の構成画素により特定される箇所まで第二の塗りつぶし行い、第一および第二の塗りつぶしで塗りつぶされた領域に接する接触図形群の画素を抽出して一つの手書き図形とすることで、接触図形群を構成する各手書き図形の分離抽出を行うのである。このようにすれば、手書きゆえに途切れた部分が存在している場合であっても、外接矩形または凸包を描画することなく塗りつぶしを行うことができるので、どのような図形形状にも柔軟に対応できるという汎用性を確保することが可能となり、しかもそのために装置構成の複雑化や高コスト化等を招いてしまうこともない。さらに、ペイント処理の第四例では、接触図形群の図形主軸を特定すれば、その図形主軸を用いて当該接触図形群における各手書き図形の分離抽出を行うことも可能である。すなわち、図形中心推定処理において図形主軸を特定すれば、各手書き図形の記入位置中心の推定を行わなくても構わないため、その分だけ処理負荷の軽減を図ることも実現可能となる。もちろん、図形主軸と記入位置中心との両方に基づいて、各手書き図形の分離抽出を行ってもよいことは言うまでもない。
以上のようなペイント処理を経て接触図形群を構成する各手書き図形が分離抽出されると、その分離抽出の結果については、図形形状認識部11が形状認識を行って、その正誤判定の記入内容を認識することになる。そして、その後に、採点集計部13が正誤判定の採点集計を行うのである。
〔正誤判定の採点集計処理の説明〕
ここで、採点集計部13による正誤判定の採点集計について説明する。図24は、正誤判定の採点集計の処理手順の一例を示すフローチャートである。
正誤判定の採点集計にあたっては、教育用教材20上に複数の正誤判定が記入されていることから、先ず、その正誤判定についてのカウント数Kを「1」に設定する(S1401)。これにより、カウント数Kが教育用教材20上に存在し得る正誤判定の数、すなわち記入欄21の数を超えるまでは(S1402)、予め定められた走査順で検出される正誤判定(「○」または「×」の図形)について、一つ目から順に採点集計のための処理が行われることになる。
すなわち、K番目の「○」または「×」の図形についてその外接矩形の面積を算出して、これを「L」とする(S1403)。また、記入欄21の数(=問題数)についてのカウント数Pを「1」に設定し(S1404)、そのカウント数Pが教育用教材20上に存在する問題数以下であれば(S1405)、その記入欄21についての解答欄位置領域情報と取り出す。そして、K番目の外接矩形とP番目の領域との重なり面積を算出し、その算出結果を「S(P)」とする(S1406)。さらには、その重なり面積S(P)と外接矩形面積Lとの比を算出し、これを「R(P)」とする(S1407)。このような処理を、カウント数Pの値をインクリメントしつつ(S1408)、全ての解答欄位置領域情報について終了するまで繰り返して行う(S1405〜S1408)。
その後は、比R(P)の最大値を求め、これを「Max」とするとともに(S1409)、重なり面積S(P)が最大となるカウント数Pの値を求め、これを「Pmax」とする(S1410)。そして、最大値Maxの値が所定閾値Th未満の場合には(S1411)、正誤判定図形と記入欄21との対応付けが不能であり、その正誤判定図形に対応する問題番号が不明であると判断する(S1412)。これに対して、最大値Maxの値が所定閾値Th以上であれば(S1411)、続いて、K番目の正誤判定図形が「○」であるか、あるいは「×」であるかを判定する(S1413)。その結果、「○」であれば、後述する「問題別採点結果」において、カウント数Pmaxの問題の解答に対する配点を加算する(S1414)。また、「×」であれば、カウント数Pmaxの問題の解答に対する配点加算を行わずに、「0点」とする(S1415)。
そして、このような処理を、カウント数Kの値をインクリメントしつつ(S1416)、教育用教材20上における全ての正誤判定について終了するまで繰り返して行う(S1402〜S1415)。
以上に説明したように、本実施形態における画像処理装置、画像処理プログラムおよび画像処理方法によれば、正誤判定が記入された教育用教材20に対する画像読み取りを行えば、その記入された正誤判定について、採点結果の自動集計が行われるので、結果として教育用教材20についての採点処理が省力化されることとなる。しかも、教育用教材20上に正誤判定として複数の手書き図形が重複または接触して記入されてなる接触図形群が存在する場合であっても、その接触図形群を構成する各手書き図形についての記入位置中心を推定し、または当該接触図形群における図形主軸を特定し、その推定結果または特定結果のいずれかを用いて接触図形群を構成する各手書き図形の分離抽出を行うようになっているので、採点結果の自動集計の適切化が図れる。つまり、手書きゆえに形状にばらつきのある複数の手書き図形同士が、同じく手書きゆえに重複または接触して記入されることがあっても、正しく個々の手書き図形を分離抽出して認識することができるので、正誤判定として記入される各手書き図形の意味や重複または接触の態様(方向や度合)等に拘らず、各手書き図形を分離抽出し得るようになり、結果としてその後に行う正誤判定の採点集計も適切に行えるようになる。また、手書き図形同士が重複または接触して記入されても各手書きの図形を正しく認識し得るので、教育用教材20等といった原稿に対する図形記入時の制約を少なくすることができ、結果として採点者(正誤判定記入者)の負担を減らすことができる。さらには、重複または接触を避けるために記入欄同士を離すといったことも不要となり、教育用教材20上のレイアウト作成時の自由度を十分に確保し得るようになる。
なお、本実施形態では、本発明の好適な実施具体例を説明したが、本発明はその内容に限定されるものではない。例えば、本実施形態では、教育用教材についての自動採点集計を行う場合を例に挙げて説明したが、アンケート集計を行う場合についても全く同様に本発明を適用することが考えられる。したがって、手書き図形が記入された原稿は、教育用教材20ではなく、アンケート用紙等であっても構わない。また、認識対象となる手書き図形も、「○」や「×」等といった正誤判定ではなく、その他の所定マーク(例えば「チェックマーク」)であっても構わない。
このように、本発明は、本実施形態での説明に対し、その要旨を逸脱しない範囲で適宜変更することが可能である。
本発明に係る画像処理装置の概略構成例を示すブロック図である。 教育用教材の一具体例を示す説明図である。 本発明に係る画像処理装置における処理動作例の概要を示す説明図である。 自動採点処理の概要を示す説明図である。 途切れ補正処理の一例を示す説明図である。 途切れ補正処理の他の例を示す説明図である。 図形情報取得処理の一例を示すフローチャートである。 接触図形分離処理の一例を示すフローチャートである。 接触図形数判定処理の概要を模式的に示す説明図である。 接触図形数判定処理の手順の一例を示すフローチャートである。 記入位置中心を推定する図形中心推定処理の概要を模式的に示す説明図である。 記入位置中心を推定する図形中心推定処理の手順の一例を示すフローチャートである。 図形主軸を特定する処理を含む図形中心推定処理の概要を模式的に示す説明図である。 図形主軸を特定する処理を含む図形中心推定処理の手順の一例を示すフローチャートである。 図形主軸を特定する処理を含む図形中心推定処理の他の例の概要を模式的に示す説明図である。 図形分離抽出のためのペイント処理の第一例の概要を模式的に示す説明図である。 図形分離抽出のためのペイント処理の第一例の手順を示すフローチャートである。 図形分離抽出のためのペイント処理の第二例の概要を模式的に示す説明図である。 図形分離抽出のためのペイント処理の第二例の手順を示すフローチャートである。 図形分離抽出のためのペイント処理の第三例の概要を模式的に示す説明図である。 図形分離抽出のためのペイント処理の第三例の手順を示すフローチャートである。 図形分離抽出のためのペイント処理の第四例の概要を模式的に示す説明図である。 図形分離抽出のためのペイント処理の第四例の手順を示すフローチャートである。 正誤判定の採点集計の処理手順の一例を示すフローチャートである。
符号の説明
1…データベース部、2…画像読み取り部、3…画像データ解析部、4…教材判別部、5…歪み補正部、6…差分抽出部、7…解答者抽出部、8…正誤判定抽出部、9…途切れ補正部、10…接触図形分離部、11…図形形状認識部、12…記入位置認識部、13…採点集計部、14…集計結果出力部、20…教育用教材、21…記入欄、22…識別情報欄、23…解答者情報欄、31…データベース装置、32…ファイルサーバ装置

Claims (11)

  1. 複数の記入欄のそれぞれに対応して手書き図形が記入された原稿から得た画像データを、当該原稿についての画像データで前記手書き図形が未記入のものと比較して、両者の差分を抽出する差分抽出手段と、
    前記差分抽出手段による差分抽出結果に基づいて、複数の手書き図形が重複または接触して記入されてなる接触図形群の有無および当該接触図形群を構成する手書き図形の数を判定する接触判定手段と、
    前記接触図形群を構成する各手書き図形についての記入位置中心を推定し、または当該接触図形群における図形主軸を特定する中心推定手段と、
    前記中心推定手段が推定した記入位置中心または当該中心推定手段が特定した図形主軸の少なくとも一方を用いて前記接触図形群を構成する各手書き図形の分離抽出を行う図形分離手段と、
    前記差分抽出手段による差分抽出結果または前記図形分離手段による図形分離抽出結果の少なくとも一方に対する図形認識処理を行う図形認識手段と
    を備えることを特徴とする画像処理装置。
  2. 前記中心推定手段は、前記接触図形群を構成する手書き図形に対応する前記記入欄の中心位置を、当該手書き図形についての記入位置中心とする
    ことを特徴とする請求項1記載の画像処理装置。
  3. 前記中心推定手段は、前記接触図形群を構成する手書き図形と当該手書き図形に対応する前記記入欄との位置関係を特定し、当該位置関係から所定規則に基づいて導き出される位置を、当該手書き図形についての記入位置中心とする
    ことを特徴とする請求項1記載の画像処理装置。
  4. 前記中心推定手段は、前記接触図形群における図形主軸を特定し、当該接触図形群を構成する手書き図形の数に基づいて前記図形主軸を分割して得られる位置を、当該手書き図形についての記入位置中心とする
    ことを特徴とする請求項1記載の画像処理装置。
  5. 前記中心推定手段は、前記接触図形群における図形主軸を特定するとともに、当該接触図形群を構成する手書き図形と前記図形主軸との位置関係を特定し、当該位置関係から所定規則に基づいて導き出される位置を、当該手書き図形についての記入位置中心とする
    ことを特徴とする請求項1記載の画像処理装置。
  6. 前記図形分離手段は、前記中心推定手段が推定した記入位置中心を基準位置とする所定サイズの領域を切り出し、一つの領域に属する図形を一つの手書き図形とみなすことで、前記接触図形群を構成する各手書き図形の分離抽出を行う
    ことを特徴とする請求項1〜5のいずれか1項に記載の画像処理装置。
  7. 前記図形分離手段は、前記中心推定手段が推定した記入位置中心を含む閉じた図形領域に対する塗りつぶし処理を行い、当該塗りつぶし処理された領域と前記接触図形群との位置関係から、前記接触図形群を構成する各手書き図形の分離抽出を行う
    ことを特徴とする請求項1〜5のいずれか1項に記載の画像処理装置。
  8. 前記図形分離手段は、前記閉じた図形領域に対する塗りつぶし処理を行うのにあたり、前記接触図形群の外接矩形または凸包のいずれか一方を用いる
    ことを特徴とする請求項7記載の画像処理装置。
  9. 前記図形分離手段は、前記中心推定手段が特定した図形主軸と前記差分抽出手段による差分抽出結果とから前記図形主軸上での塗りつぶし範囲を特定し、当該塗りつぶし範囲から所定方向に前記差分抽出手段での差分抽出結果により特定される箇所まで第一の塗りつぶし処理を行い、当該第一の塗りつぶし処理で塗りつぶされた領域から前記所定方向と直交する方向に前記差分抽出手段での差分抽出結果により特定される箇所まで第二の塗りつぶし処理を行い、前記第一の塗りつぶし処理および前記第二の塗りつぶし処理で塗りつぶされた領域と前記接触図形群との位置関係から、前記接触図形群を構成する各手書き図形の分離抽出を行う
    ことを特徴とする請求項1〜5のいずれか1項に記載の画像処理装置。
  10. コンピュータを、
    複数の記入欄のそれぞれに対応して手書き図形が記入された原稿から得た画像データを、当該原稿についての画像データで前記手書き図形が未記入のものと比較して、両者の差分を抽出する差分抽出手段と、
    前記差分抽出手段による差分抽出結果に基づいて、複数の手書き図形が重複または接触して記入されてなる接触図形群の有無および当該接触図形群を構成する手書き図形の数を判定する接触判定手段と、
    前記接触図形群を構成する各手書き図形についての記入位置中心を推定し、または当該接触図形群における図形主軸を特定する中心推定手段と、
    前記中心推定手段が推定した記入位置中心または当該中心推定手段が特定した図形主軸の少なくとも一方を用いて前記接触図形群を構成する各手書き図形の分離抽出を行う図形分離手段と、
    前記差分抽出手段による差分抽出結果または前記図形分離手段による図形分離抽出結果の少なくとも一方に対する図形認識処理を行う図形認識手段
    として機能させることを特徴とする画像処理プログラム。
  11. 複数の記入欄のそれぞれに対応して手書き図形が記入された原稿から得た画像データを、当該原稿についての画像データで前記手書き図形が未記入のものと比較して、両者の差分を抽出する差分抽出ステップと、
    前記差分抽出ステップによる差分抽出結果に基づいて、複数の手書き図形が重複または接触して記入されてなる接触図形群の有無および当該接触図形群を構成する手書き図形の数を判定する接触判定ステップと、
    前記接触図形群を構成する各手書き図形についての記入位置中心を推定し、または当該接触図形群における図形主軸を特定する中心推定ステップと、
    前記中心推定ステップで推定した記入位置中心または当該中心推定ステップで特定した図形主軸の少なくとも一方を用いて前記接触図形群を構成する各手書き図形の分離抽出を行う図形分離ステップと、
    前記差分抽出ステップによる差分抽出結果または前記図形分離ステップによる図形分離抽出結果の少なくとも一方に対する図形認識処理を行う図形認識ステップと
    を含むことを特徴とする画像処理方法。
JP2006058999A 2006-03-06 2006-03-06 画像処理装置、画像処理プログラムおよび画像処理方法 Expired - Fee Related JP4863057B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006058999A JP4863057B2 (ja) 2006-03-06 2006-03-06 画像処理装置、画像処理プログラムおよび画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006058999A JP4863057B2 (ja) 2006-03-06 2006-03-06 画像処理装置、画像処理プログラムおよび画像処理方法

Publications (2)

Publication Number Publication Date
JP2007241357A true JP2007241357A (ja) 2007-09-20
JP4863057B2 JP4863057B2 (ja) 2012-01-25

Family

ID=38586878

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006058999A Expired - Fee Related JP4863057B2 (ja) 2006-03-06 2006-03-06 画像処理装置、画像処理プログラムおよび画像処理方法

Country Status (1)

Country Link
JP (1) JP4863057B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018109866A (ja) * 2017-01-04 2018-07-12 富士ゼロックス株式会社 画像処理装置および画像処理プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11203405A (ja) * 1998-01-08 1999-07-30 Fujitsu Ltd 文字認識装置及び方法並びにプログラム記憶媒体
JPH11265422A (ja) * 1998-03-18 1999-09-28 Ricoh Co Ltd マーク認識方法及び装置並びに記録媒体
JP2006350878A (ja) * 2005-06-20 2006-12-28 Fuji Xerox Co Ltd 教材処理装置、教材処理方法および教材処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11203405A (ja) * 1998-01-08 1999-07-30 Fujitsu Ltd 文字認識装置及び方法並びにプログラム記憶媒体
JPH11265422A (ja) * 1998-03-18 1999-09-28 Ricoh Co Ltd マーク認識方法及び装置並びに記録媒体
JP2006350878A (ja) * 2005-06-20 2006-12-28 Fuji Xerox Co Ltd 教材処理装置、教材処理方法および教材処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018109866A (ja) * 2017-01-04 2018-07-12 富士ゼロックス株式会社 画像処理装置および画像処理プログラム

Also Published As

Publication number Publication date
JP4863057B2 (ja) 2012-01-25

Similar Documents

Publication Publication Date Title
US8693790B2 (en) Form template definition method and form template definition apparatus
CN109740515B (zh) 一种评阅方法及装置
JP4807489B2 (ja) 教材処理装置、教材処理方法および教材処理プログラム
JP4655824B2 (ja) 画像認識装置、画像認識方法および画像認識プログラム
CN112446259A (zh) 图像处理方法、装置、终端和计算机可读存储介质
JP4756447B2 (ja) 教材処理装置、教材処理方法および教材処理プログラム
JP2008020506A (ja) 画像処理装置および画像処理プログラム
JP4807487B2 (ja) 教材処理装置、教材処理方法および教材処理プログラム
JP2007003636A (ja) 教材処理装置、教材処理方法および教材処理プログラム
JP4863057B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
JP2008309961A (ja) 採点システム及び採点プログラム
JP2007233888A (ja) 画像処理装置および画像処理プログラム
JP4807486B2 (ja) 教材処理装置、教材処理方法および教材処理プログラム
JP4894195B2 (ja) 教材処理装置、教材処理方法および教材処理プログラム
JP4756456B2 (ja) 教材処理装置、教材処理方法および教材処理プログラム
JP4894184B2 (ja) 教材処理装置、教材処理方法および教材処理プログラム
US7865130B2 (en) Material processing apparatus, material processing method, and material processing program product
JP2018005801A (ja) 画像処理装置
JP4736595B2 (ja) 教材処理装置、教材処理方法および教材処理プログラム
JP4701918B2 (ja) 教材処理装置、教材処理方法および教材処理プログラム
JP4807488B2 (ja) 教材処理装置、教材処理方法および教材処理プログラム
JP2007057882A (ja) 教材処理装置、教材処理方法および教材処理プログラム
JP4710707B2 (ja) 追記情報処理方法、追記情報処理装置、およびプログラム
JP5054284B2 (ja) 教材処理装置、教材処理方法および教材処理プログラム
JP2007004319A (ja) 教材処理装置、教材処理方法および教材処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090210

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20091009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110804

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111013

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111026

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141118

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4863057

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees
S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370