JP2009193145A - 手書きデータ生成装置、方法およびプログラム - Google Patents

Abstract

【課題】特殊な入力デバイスを不要としながらも、対話的な入力を効果的に行うこと。
【解決手段】情報処理装置１００において、手書き筆記の筆記過程を時系列で連続的かつ離散的に撮像した複数の連続静止画像を入力する画像入力部１１１と、入力した連続静止画像から、連続静止画像に含まれる手書き筆記の画像である筆記画像を構成する画素のうち代表的な画素の連続静止画像における位置座標を示す座標点を抽出する座標点抽出部１１３と、抽出された全ての座標点のそれぞれが複数の連続静止画像における筆記画像に含まれるか否かを、複数の連続静止画像のそれぞれについて判断し、座標点を、筆記画像に含まれたと判断された順に並び替える座標並替え部１１４とを備えた。
【選択図】 図１

Description

本発明は、手書き筆記の画像から手書きデータを生成する手書きデータ生成装置、方法およびプログラムに関する。

従来から、情報処理装置等に手書き文字等の手書き筆記を入力して文字認識を行うオンライン文字認識あるいは入力技術が一般的に知られている（特許文献１〜１３参照）。このようなオンライン文字認識あるいは入力技術では、手書き筆記された線を連続的に入力された点座標とみなしたストローク情報を完全に取得し、取得したストローク情報に対して文字認識処理または文字推定処理を施すものであり、例えば、文字においては筆順を推定することで文字としての認識や入力を行っている。

一方、予め手書き筆記された書面や紙面あるいは印刷された書面や紙面をスキャナで読み取ったり、カメラ等で撮像して、取得した画像の幾何学的あるいは図形的な特徴を認識または推定し、例えば、テンプレートを用いた類型マッチングによる文字あるいは図形としての認識や入力を行うオフライン文字認識あるいは入力技術も従来から一般的に知られている（特許文献１４〜２４参照）。このようなオフライン文字認識あるいは入力技術として代表的なものは、光学式文字読み取り装置（ＯＣＲ）等である。

さらに、手書き筆記された入力を文字として認識する技術としては、上記のオンライン入力技術とオフライン入力技術を相補的に組み合わせて、文字図形認識の性能を向上する技術も提案されている（特許文献２５〜２７参照）。

特公平０４−０３７４６８号公報 特許第２８２０２２１号公報 特開平０９−０３４９９８号公報 特許第３０４６４７２号公報 特許第３１９８２１８号公報 特許第３５９５９００号公報 特開平０９−３１９８２６号公報 特開平０７−０１４００１号公報 特開平０９−２３１３１４号公報 特開２００４−１３９２８１号公報 特開平０９−１７９９３８号公報 特許第２６８６２３１号公報 特開２００１−２５６４３６号公報 特開２００６−０９２２０５号公報 特開平１０−１０５６５０号公報 特開２００１−２６６０７３号公報 特開２００２−１０９４７１号公報 特開平０６−０４４４０９号公報 特許第２９９１７６８号公報 特開昭６２−０２７８８３号公報 特開昭６２−０２７８７９号公報 特開昭６０−２５４３８３号公報 特許第３１４０９８９号公報 特開昭６２−０３７７８６号公報 特開昭５５−１０４０９７０号公報 特開平９−２８８７１７号公報 特開平９−１７９９３８号公報

しかしながら、上記の従来技術では以下のような問題点がある。すなわち、オフライン文字認識あるいは入力技術では、予め手書き筆記の画像を取得する必要があるため、文字認識等を行う装置と対話的に手書き筆記を入力する用途には不向きであるという問題がある。

これに対して、ペン入力に代表されるオフライン文字認識あるいは入力技術は、筆記のストローク情報をリアルタイムに取得するために認識装置との対話的な入力に適しているものとされている。

しかしながら、オフライン文字認識あるいは入力技術では、筆記中の完全なストローク情報が取得できることが条件となっているために、この条件を満たすような特殊な入力デバイス類、例えば、ペン入力タブレットや電子ペン類を必要とする問題がある。

また、特許文献２５〜２７の技術のように、オフライン入力技術とオンライン入力技術を併用した技術では、オンライン入力技術とオフライン入力技術を組み合わせては、いるが、必要に応じていずれかの技術に切り替えるだけであり、上記の問題が解決されるわけではない。

本発明は、上記に鑑みてなされたものであって、特殊な入力デバイスを不要としながらも、対話的な入力を効果的に行うことができる手書きデータ生成装置、方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる手書きデータ生成装置は、手書き筆記の筆記過程を時系列で連続的かつ離散的に撮像した複数の連続静止画像を入力する入力手段と、入力した前記連続静止画像から、前記連続静止画像に含まれる前記手書き筆記の画像である筆記画像を構成する画素のうち代表的な画素の前記連続静止画像における位置座標を示す座標点を抽出する座標点抽出手段と、抽出された全ての前記座標点のそれぞれが前記複数の連続静止画像における前記筆記画像に含まれるか否かを、前記複数の連続静止画像のそれぞれについて判断し、前記座標点を、前記筆記画像に含まれたと判断された順に並び替える座標並び替え手段と、並び替えられた全ての前記座標点と前記複数の連続静止画像における前記筆記画像とに基づいて、前記複数の連続静止画像から手書きデータを生成する制御手段と、を備えたことを特徴とする。

また、本発明は、上記手書きデータ生成装置で実行される方法、プログラムである。

本発明によれば、特殊な入力デバイスを不要としつつ、対話的な入力を効果的に行うことができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる手書きデータ生成装置、方法およびプログラムの最良な実施の形態を詳細に説明する。以下の実施の形態では、本発明の手書きデータ生成装置、方法およびプログラムを、手書き文字データを生成した後、文字認識を行う情報処理装置に適用した例を示す。ただし、これに限定されるものではなく、手書きデータを生成する装置であれば、いずれの装置にも本発明を適用することができる。

（実施の形態１）
実施の形態１の投影システムは、筆記を行う面であるスクリーン面に照射光を照射して、スクリーン面を撮像して、スクリーン面に筆記された筆記画像を抽出し、手書きデータを生成して、文字認識を行うものである。図１は、実施の形態１にかかる投影システムの構成および情報処理装置の機能的構成を示す説明図である。本実施の形態にかかる投影システムは、投影装置１４０と、撮像カメラ１３０と、情報処理装置１００とを備えた構成となっている。

本実施の形態の投影システムは、筆記を行う板面であるスクリーン面１５０に手書き筆記された手書き文字等（手書き筆記）の筆記の過程を撮影した複数枚の画像を撮像して、手書き筆記の画像である筆記画像から、ストローク情報である筆記順序を有した座標点列であるオンライン手書きデータを抽出し、文字認識等を行うものである。本発明では、手書き入力の過程を一定間隔で連続的に撮影した複数枚の静止画像（以下、連続静止画像という。）の時間的に最終画像から座標点を抽出し、抽出した座標点を最初の連続静止画像から順番に比較することにより、座標点を筆記された順に並び替えることで、従来のオンライン手書き入力技術とは異なる方法で、オンライン手書きデータを生成する。

従来のオンライン手書き入力技術では、筆記中の完全なストローク情報が取得できることが条件となるために、この条件を満たすような特殊な入力デバイス類、例えば、ペン入力タブレットや電子ペンを必要としているが、本実施の形態では、このような特殊な入力デバイスを必要とせず、日常的な筆記用具である油性や水性のペンなどのマーカペン１５１でスクリーン面１５０に筆記している過程からオンライン手書きデータを生成して、より自然な情報処理装置１００への入力を可能としている。

投影装置１４０は、背面投影型の大型ディスプレイ装置のスクリーン面１５０に照射光を照射するものである。スクリーン面１５０は、通常のマーカペン１５１により利用者が手書き文字や手書き図形の手書き筆記を行う筆記面となる。

撮像カメラ１３０は、背面投影型のディスプレイ装置の内部に設けられ、内部からスクリーン面１５０を一定間隔で撮像して、時系列で連続的かつ離散的な複数の静止画、すなわち認識対象の連続静止画像を取得するものである。なお、撮像カメラによって動画を撮像するように構成してもよく、この場合には、図２に示すように、動画を構成するフレームが連続静止画像となる。

情報処理装置１００は、撮像カメラ１３０で撮像された連続静止画像を入力して手書きデータを生成して、文字認識処理を行うものである。情報処理装置１００は、図１に示すように、画像入力部１１１と、膨張・細線化処理部１１２と、座標点抽出部１１３と、座標点並替え部１１４と、補正部１１５と、制御部１１６と、認識部１１７と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２１と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１２２とを主に備えている。

画像入力部１１１は、スクリーン面１４１に筆記された手書き筆記（手書き文字、手書き図形）の筆記過程を時系列で連続的かつ離散的に撮像した複数の連続静止画像を撮像カメラ１１１から入力するものである。撮像カメラ１１１からアナログデータが入力される場合には、画像入力部１１１さらに、入力されたアナログデータをデジタルデータの複数の連続静止画像に変換するＡ／Ｄ変換を行う。

膨張・細線化処理部１１２は、入力した複数の連続静止画像のそれぞれに対し、手書き筆記の画像である筆記画像を膨張させる処理を施して、膨張させた筆記画像を細線化する処理を行うものである。

座標点抽出部１１３は、複数の連続静止画像のそれぞれから、連続静止画像に含まれる手書き筆記の画像である筆記画像を構成する画素のうち代表的な画素の連続静止画像における位置座標である座標点を抽出するものである。具体的には、座標点抽出部１１３は、複数の連続静止画像のうち時間的に最終の前記連続静止画像から最初の前記連続静止画像までの順にそれぞれから、筆記画像の端点および特徴点を座標点として抽出する。

座標点並替え部１１４は、 抽出された全ての座標点のそれぞれが複数の連続静止画像における筆記画像に含まれるか否かを、複数の連続静止画像のそれぞれについて判断し、座標点を筆記画像に含まれたと判断された順に並び替えるものである。

補正部１１５は、並び替えられた前記座標点に対し補正を行うものである。制御部１１６は、座標点抽出部１１３，座標点並び替え部１１４を制御して、補正された座標点を含む並び替えられた全ての座標点と複数の連続静止画像における筆記画像から連続静止画像全体の手書きデータを生成するものである。上記各部の詳細については後述する。

認識部１１７は、生成された手書きデータに対して、公知の手法のオンライン文字認識技術やオンライン図形認識処理を施して、手書きデータを、コンピュータで処理可能なる文字コードや図形情報として出力するものである。

ＲＡＭ１２１は、上記各部のおける処理で使用される各種データを一時的に記憶する記憶媒体である。ＨＤＤ１２２は、連続静止画像を保存したり、各種データを記憶する記憶媒体である。

次に、膨張・細線化処理部１１２の詳細について説明する。膨張・細線化処理部１１２は、座標点抽出部１１３による座標点抽出処理の前処理として、筆記画像の膨張処理と細線化処理とを実行する。

連続静止画像の筆記画像にかすれがある場合には、筆記画像の字形の推定を行う際の細線化処理が適切に行えなくなる。このため、膨張・細線化処理部１１２は、複数の連続静止画像の中の最終の静止画像に対して、図３に示すように、静止画像内の線素（筆記画像の画素）を画素周辺に膨張させる膨張処理を行う。連続静止画像の画像のかすれや途切れを低減することができる。膨張化処理としては、公知の技術を用いることができ、一例としては，連続静止画像の手書き筆記されていない部分である背景画素に注目し、その注目画素を中心とする８近傍中に1つでも手書き筆記された筆記画像の画素、すなわち図形画素が存在する場合に、当該背景画素を図形画素に置換する処理を行う。

膨張化処理が完了した場合には、膨張・細線化処理部１１２は、膨張化処理が施された最終の連続静止画像の筆記画像に対して、図４に示すような細線化処理を行う。細線化処理としては、特開平４−３５９３８７号公報、特開平５−２３３７９８号公報、特開平１１−２８４８４号公報、特開２００６−２６８８０４号公報他に開示されている公知の技術を用いることができる。また、細線化処理の一例としては、Ｈｉｌｄｉｔｃｈの手法（安居院，長尾：画像の処理と認識，ｐｐ．６８−７２，昭晃堂，１９９２）による細線化を施し、この後、上記注目画素とその８近傍の画素と図５に示す左側の１２パターンのマスクパターンとを比較し、いずれかのパターンに一致した場合に、注目画素とその８近傍の画素を、図５の右側のパターンの画素に置換し、余計な図形画素を削除する処理を行う。

次に、座標点抽出部１１３の詳細について説明する。座標点抽出部１１３は、認識部１１７による手書きデータからの手書き情報の認識や推定を行うのに必要十分な座標点を連続静止画像の筆記画像から抽出する。座標点は、筆記画像を構成する画素の中で、代表的な画素の連続静止画像中の位置座標であり、座標点抽出部１１３として、筆記画像から端点と端点以外の筆記画像における代表的な点である特徴点を抽出する。座標点の抽出処理は、特開平３−２８２８９６号公報等に記載の公知の技術を用いることができ、本実施の形態の座標点抽出部１１３は、以下のように座標点の抽出を行っている。また、座標点抽出部１１３は、座標点を複数の連続静止画像のうち時間的に最終の連続静止画像から抽出している。

まず、座標点抽出部１１３は、端点を抽出する。すなわち、座標点抽出部１１３は、筆記画像を構成する図形画素に注目し、当該図形画素の８近傍画素の中に図形画素が存在する数を検出し、検出された図形画素が１画素のみで有る場合に、注目画素を端点として抽出し、その座標をＲＡＭ１２１に保存する。図６は、筆記画像「あ」から抽出された端点を示す模式図である。図６において丸印の画素が端点の画素を示している。

次に、座標点抽出部１１３は、端点以外の画素で代表的な画素として、筆跡の中で、曲率が大きく変化している部分の画素を特徴点として抽出する。図７は、筆記画像「あ」から抽出された特徴点を示す模式図である。図７において丸印の画素が特徴点の画素を示している。より具体的には、座標点抽出部１１３は、注目画素とその８近傍画素のパターンが、図８に示す特徴点判定パターン、およびこの特徴点判定パターンを９０度、１８０度、２７０度にそれぞれ回転したパターン、さらに、これらのパターンの中央にある直線部分を伸長させたパターンに一致する場合に、注目画素を特徴点として抽出し、その座標をＲＡＭ１２１に保存する。図９は、このようにして抽出された筆記画像「あ」の座標点（端点、特徴点）を示す模式図である。

次に、座標点並替え部１１４の詳細について説明する。座標点並替え部１１４は、複数の連続静止画像の中で最初の連続静止画像から最後の連続静止画像まで順にそれぞれの連続静止画像に対し、座標抽出部１１３で抽出した座標点が、その連続静止画像内の筆記画像を構成する図形画素に含まれるか否かを調べる。そして、座標並替え部１１４は、新たに筆記画像に含まれると判断された座標点に対して筆記された順番を付与し、ＲＡＭ１２１に記憶された座標点に対応させて付与した順番を保存することにより、座標点の並び替えをおこなっている。

図１０は、座標点の並び替えを説明するための模式図である。図１０では、端点が２つ、特徴点が１つ存在する筆記画像を例にあげている。図１０では、上方の筆記画像から下方の筆記画像に順に、筆記画像における図形画素の筆記の過程と特徴点の画素を示している。図１０の最上位の筆記画像では、左端の端点が筆記画像を構成する図形画素に含まれるためこの端点に順位１を付与している。また、図１０において、最上位から３番目の筆記画像では、中央の特徴点が、さらに筆記の過程が進行した筆記画像を構成する図形画素に含まれるため、この特徴点に順位２を付与している。さらに、図１０において、最下位の筆記画像では、右側の端点が、筆記の過程が終了した筆記画像を構成する図形画素に含まれるため、この端点に順位３を付与している。このようにして、座標点並び替え部１１４は、各座標点に対して順位を付与し、ＲＡＭ１２１に座標点と順位とを対応づけて保存する。

なお、座標点並び替え処理の際に、一つの連続静止画像に複数の特徴点が新規に検出された場合には、最後に順番を付与された座標点からの距離が小さい順に順番を付与するように構成すればよい。

座標点並替え部１１４による座標点並替え処理は、日常的な筆記用具で筆記された筆記画像を含む連続静止画像から、オンライン手書きデータを抽出するために必要な処理であり、座標点並替え処理を行うことにより、座標点からオンライン手書きデータを抽出することが可能となる。

次に、補正部１１５の詳細について説明する。座標点抽出部１１３による座標点抽出処理を行った場合、例えば、筆記画像「は」や「ほ」等ハネ部分がある筆記画像において、ハネ分の曲率が大きく変化している部分は、単なる特徴点ではなく端点として抽出されてしまう場合がある。図１１は、特徴点が端点として検出されてしまう例とその補正の例を示す説明図である。図１１の左側の画像は最下端の画素は、ハネ部分であるが曲率が大きいため、端点として抽出されてしまっている。補正部１１５は、このような誤った検出を補正する。

具体的には、補正部１１５は、座標点並び替え部１１４による座標点の並び替えが完了した後、端点（ｘ₁，ｙ₁）と端点（ｘ₂，ｙ₂）の間にその他の座標点が存在しない場合に、（１）式、（２）式から算出される直線分と図形画素との交点を新たに特徴点として抽出することにより、補正を行う。

この補正処理により、端点と端点の間に少なくとも１つは端点以外の特徴点が存在することになる。このため、再度、座標点並替え部１１４により座標点の並び替え処理を実行し、端点が端点以外の座標点に挟まれたときには、端点ではない特徴点であると判断する。

制御部１１６は、連続静止画像の全体に対して、座標点抽出部１１３による座標点抽出処理、座標点並替え部１１４による座標点並替え処理を実行するように制御し、連続静止画像の全体からオンライン手書きデータを抽出し生成する。

次に、以上のように構成された本実施の形態の情報処理装置１００による手書きデータ生成処理について説明する。図１２は、手書きデータ生成の全体処理の手順を示すフローチャートである。

まず、画像入力部１１１により、撮像カメラ１３０から複数の連続静止画像を取得する（ステップＳ１１）。そして、膨張・細線化処理部１１２により、最終の連続静止画像に対し筆記画像の膨張化処理を行う（ステップＳ１２）。次いで、膨張・細線化処理部１１２により、最終の連続静止画像に対し膨張した筆記画像の細線化処理を行う（ステップＳ１３）。

次に、座標点抽出部１１３により最終の連続静止画像の筆記画像から端点を抽出する（ステップＳ１４）。そして、座標点抽出部１１３により最終の連続静止画像の筆記画像から特徴点を抽出する（ステップＳ１５）。

次に、座標点並替え部１１５により、抽出した端点および特徴点からなる座標点を筆記順に並び替え処理を行う（ステップＳ１６）。その後、補正部１１６により、座標点の補正処理を行う（ステップＳ１７）。
そして、制御部１１６は、ステップＳ１４からＳ１７の処理を連続静止画像に含まれる全ての筆記画像に対して行うように各部を制御し、これにより得られた座標点とその順番からなる手書きデータを生成する。この手書きデータは、認識部１１７に公知の文字認識処理などが施されることになる。

次に、ステップ１６の座標点並替え処理の詳細について説明する。図１３は、座標点並替え処理の手順を示すフローチャートである。

まず、座標点並替え部１１４は、変数ｎｏを１に設定して初期化する（ステップＳ２１）。そして、Ｎ枚の連続静止画像のうち、ｎ（ｎ＝１〜Ｎの整数）枚目の連続静止画像Ｉｎについて、以下のステップＳ２３からＳ２９までの処理を繰り返し実行する（ステップＳ２２）。

ステップ２３では、Ｋ個の座標点のうち、ｋ（ｋ＝１〜Ｋの整数）点目の座標点Ｐｋに対して以下のステップＳ２４からＳ２６の処理を繰り返し実行する。すなわち、座標点ｐｋが連続静止画像Ｉｎの筆記画像の図形画素に含まれるか否かを判断する（ステップＳ２４）。そして、含まれる場合には（ステップＳ２４：Ｙｅｓ）、Ｆ（Ｐｋ）に１を設定する（ステップＳ２５）。一方、含まれない場合には（ステップＳ２４：Ｎｏ）、Ｆ（Ｐｋ）に０を設定する（ステップＳ２６）。

これらのステップＳ２４からＳ２６の処理を全ての座標点について完了したら、ｋ＝１〜ＫについてのＦ（Ｐｋ）の値を合算し、合算値を調べる（ステップＳ２７）。

そして、Ｆ（Ｐｋ）の合算値が１である場合には（ステップＳ２７：１）、Ｆ（Ｐｋ）＝１となる座標点Ｐｋに対して、現在の変数ｎｏの値を、座標点Ｐｋに付与する順番Ｎｏ（Ｐｋ）に設定することにより、座標点に順番を付与し、変数ｎｏを１だけインクリメントする（ステップＳ２９）。

一方、ステップＳ２７において、Ｆ（Ｐｋ）の合算値が２以上の場合には（ステップＳ２７：２以上）、全てのＦ（Ｐｋ）＝１の座標点Ｐｋについて，座標点Ｐｎｏ−１と座標点Ｐｋの距離（Ｌｅｎｇｔｈ）が小さい順に、順番Ｎｏ（Ｐｋ）に現在のｎｏの値を設定して座標点に順番を付与し、変数ｎｏを１だけインクリメントする（ステップＳ２８）。

一方、ステップＳ２７において、Ｆ（Ｐｋ）の合算値が０の場合には（ステップＳ２７：０）、このような座標点への順番の付与は行われない。このようにして、座標点に順番が付与されることにより、座標点の並び替えが行われる。

このように実施の形態１の投影システムでは、撮像カメラ１３０から取得した筆記画像を含む複数の連続静止画像のうち最終の連続静止画像の筆記画像から端点や特徴点等の座標点を抽出し、これらの座標点を筆記順に並び替えて、手書きデータを生成しているので、特殊な入力デバイスを不要としつつ、対話的な入力を効果的に行うことができる。

（実施の形態２）
実施の形態２は、オフィスや学校等で一般的に用いられている白板と白板記入用の通常のマーカペンを筆記用具として、このマーカペンを用いて筆記された手書き筆記を撮像した複数の連続静止画像から手書きデータを生成するものである。

図１４は、実施の形態２の手書きデータ生成システムと情報処理装置の機能的構成を示す説明図である。

図１４に示すように、筆記面としては、オフィスや学校等で一般的に用いられている白板１３５０を用い、この利用者はこの白板１３５０にマーカペン１３５０で筆記する。これにより筆記画像を撮像カメラ１３０で一定時間ごとに連続的かつ離散的に撮影して、撮像により得られる複数の連続静止画像を情報処理装置１００に出力する。

情報処理装置１００の機能および構成、手書きデータの生成処理については実施の形態１と同様に行われる。

このため、実施の形態２の手書きデータ生成システムでは、撮像カメラ１３０から取得した筆記画像を含む複数の連続静止画像のうち最終の連続静止画像の筆記画像から端点や特徴点等の座標点を抽出し、これらの座標点を筆記順に並び替えて、手書きデータを生成しているので、特殊な入力デバイスを不要としつつ、対話的な入力を効果的に行うことができる。

実施の形態１および２の情報処理装置１００は、ＣＰＵなどの制御装置と、ＲＯＭ（Read Only Memory）やＲＡＭ１２１などの記憶装置と、ＨＤＤ１２２、ＣＤドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。

実施の形態１および２の情報処理装置１００で実行される手書きデータ生成プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、実施の形態１および２の情報処理装置１００で実行される手書きデータ生成プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、実施の形態１および２の情報処理装置１００で実行される手書きデータ生成プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。

また、実施の形態１および２の情報処理装置１００で実行される手書きデータ生成プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

実施の形態１および２の情報処理装置１００で実行される手書きデータ生成プログラムは、上述した各部（画像入力部１１１、膨張・細線化処理１１２、座標点抽出部１１３、座標点並替え部１１４、補正部１１５、制御部１１６、認識部１１７）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体から手書きデータ生成プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、画像入力部１１１、膨張・細線化処理１１２、座標点抽出部１１３、座標点並替え部１１４、補正部１１５、制御部１１６、認識部１１７が主記憶装置上に生成されるようになっている。

なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

実施の形態１にかかる投影システムの構成および情報処理装置の機能的構成を示す説明図である。 連続静止画像の模式図である。 膨張処理の説明図である。 細線化処理の説明図である。 細線化処理で使用されるパターンを示す説明図である。 筆記画像「あ」から抽出された端点を示す模式図である。 筆記画像「あ」から抽出された特徴点を示す模式図である。 特徴点判定パターンの説明図である。 筆記画像「あ」の座標点（端点、特徴点）を示す模式図である。 座標点の並び替えを説明するための模式図である。 特徴点が端点として検出されてしまう例とその補正の例を示す説明図である。 手書きデータ生成の全体処理の手順を示すフローチャートである。 座標点並替え処理の手順を示すフローチャートである。 実施の形態２の手書きデータ生成システムと情報処理装置の機能的構成を示す説明図である。

符号の説明

１００ 情報処理装置
１３０ 撮像カメラ
１４０ 投影装置
１１１ 画像入力部
１１２ 膨張・細線化処理部
１１３ 座標点抽出部
１１４ 座標点並替え部
１１５ 補正部
１１６ 制御部
１１７ 認識部
１２１ ＲＡＭ
１２２ ＨＤＤ
１５１ マーカペン
１５０ スクリーン面
１３５０ 白板

Claims (7)

1. 手書き筆記の筆記過程を時系列で連続的かつ離散的に撮像した複数の連続静止画像を入力する入力手段と、
   入力した前記連続静止画像から、前記連続静止画像に含まれる前記手書き筆記の画像である筆記画像を構成する画素のうち代表的な画素の前記連続静止画像における位置座標を示す座標点を抽出する座標点抽出手段と、
   抽出された全ての前記座標点のそれぞれが前記複数の連続静止画像における前記筆記画像に含まれるか否かを、前記複数の連続静止画像のそれぞれについて判断し、前記座標点を、前記筆記画像に含まれたと判断された順に並び替える座標並び替え手段と、
   並び替えられた全ての前記座標点と前記複数の連続静止画像における前記筆記画像とに基づいて、前記複数の連続静止画像から手書きデータを生成する制御手段と、
   を備えたことを特徴とする手書きデータ生成装置。
2. 前記座標点抽出手段は、前記複数の連続静止画像のうち時間的に最終の前記連続静止画像について前記座標点の抽出を行うことを特徴とする請求項１に記載の手書きデータ生成装置。
3. 前記座標点抽出手段は、前記筆記画像の端点と、前記端点以外の前記筆記画像の特徴的な点である特徴点とを、前記座標点として抽出することを特徴とする請求項１または２に記載の手書きデータ生成装置。
4. 入力した前記連続静止画像に対し、前記筆記画像を膨張させる処理を施し、膨張させた前記筆記画像を細線化する処理を施す膨張・細線化処理手段をさらに備えたことを特徴とする請求項１〜３のいずれか一つに記載の手書きデータ生成装置。
5. 並び替えられた前記座標点に対し補正を行う補正手段をさらに備え、
   前記制御手段は、補正された前記座標点と前記複数の連続静止画像における前記筆記画像とに基づいて、前記複数の連続静止画像から手書きデータを生成することを特徴とする請求項１〜４のいずれか一つに記載の手書きデータ生成装置。
6. 手書きデータ生成装置で実行される手書きデータ生成方法であって、
   入力手段が、手書き筆記の筆記過程を時系列で連続的かつ離散的に撮像した複数の連続静止画像を入力するステップと、
   座標点抽出手段が、入力した前記連続静止画像から、前記連続静止画像に含まれる前記手書き筆記の画像である筆記画像を構成する画素のうち代表的な画素の前記連続静止画像における位置座標を示す座標点を抽出するステップと、
   座標並び替え手段が、抽出された全ての前記座標点のそれぞれが前記複数の連続静止画像における前記筆記画像に含まれるか否かを、前記複数の連続静止画像のそれぞれについて判断し、前記座標点を、前記筆記画像に含まれたと判断された順に並び替えるステップと、
   制御手段が、並び替えられた全ての前記座標点と前記複数の連続静止画像における前記筆記画像とに基づいて、前記複数の連続静止画像から手書きデータを生成するステップと、
   を含むことを特徴とする手書きデータ生成方法。
7. コンピュータを、
   手書き筆記の筆記過程を時系列で連続的かつ離散的に撮像した複数の連続静止画像を入力する入力手段と、
   入力した前記連続静止画像から、前記連続静止画像に含まれる前記手書き筆記の画像である筆記画像を構成する画素のうち代表的な画素の前記連続静止画像における位置座標を示す座標点を抽出する座標点抽出手段と、
   抽出された全ての前記座標点のそれぞれが前記複数の連続静止画像における前記筆記画像に含まれるか否かを、前記複数の連続静止画像のそれぞれについて判断し、前記座標点を、前記筆記画像に含まれたと判断された順に並び替える座標並び替え手段と、
   並び替えられた全ての前記座標点と前記複数の連続静止画像における前記筆記画像とに基づいて、前記複数の連続静止画像から手書きデータを生成する制御手段と、
   して機能させる手書きデータ生成プログラム。

Images