JP2010055585A - 電子ペン装置 - Google Patents

Abstract

【課題】実際の筆記位置と、撮像素子によって検出された位置情報との差を補正することが可能な電子ぺンに関するものであり、表示画像と筆記画像を合成する電子黒板装置に利用可能とすることを目的としている。
【解決手段】本発明は、請求項１に記載するように位置情報パターンの印刷された筆記媒体に筆記する筆記部と前記位置情報パターンを検出する光学読取手段と、この位置情報から筆記軌跡データを算出する演算手段と、この筆記軌跡データを保存する記憶装置とを有する電子ペンにおいて、前記光学読取手段は、前記位置情報パターンと筆記部とを撮像することにより、位置情報パターンと撮像筆記部との位置関係によって読取筆記位置の補正を行うことを特徴としている。
【選択図】図２

Description

本発明は、電子ペンに関するものであり、例えば電子黒板装置に用いることが可能であり、電子ペンに設けられた筆記部による筆記動作を妨げることなく、外部記憶媒体あるいはパーソナルコンピュータに、筆記情報を記録することが可能な電子ペン装置に関するものである。

従来、電子ペンを利用するインタラクティブボードが知られている。
これは、例えば、リアプロジェクション表示装置の表面に電子ペンを走らせることにより、その電子ペンの移動軌跡を演算し、その演算結果を表示装置に表示するものである。
また、通常の電子黒板装置に位置検出装置を取り付け、電子黒板装置に筆記したときのマーカ装置の走行軌跡を、三角測量の原理で位置演算して、データとして記録するものが知られている。

特開２００１−２４３００６号には、インタラクティブボードにおいて、位置パターンを用いた電子ペンの座標検出の技術が示されている。
また、特開２００３−２５６１２２号には、筆記面に筆記しながら筆記軌跡を読み取る技術が示されている。

特開２００１−２４３００６号 特開２００３−２５６１２２号

上記特許文献１では、筆記は、筆記軌跡の演算後に表示装置において表示するため、表示にタイムラグが生じ、使いづらいという問題がある。
特許文献２には、位置パターンの形成された紙を用いて、その紙に筆記しながら、その筆記データを読み取り、パソコンに表示する技術が示されている。そして、この文献２には更に、透明なシートに位置情報パターンを形成して、パーソナルコンピュータの表示面に、この透明シートを配置する例が示されているが、本文献の００６９欄に示されているように、この場合はインクを備えない電子ペンを用いる必要がある。
したがって、上記特許文献２でも、筆記画像の表示は、筆記軌跡データの演算後であり、表示にタイムラグが生じる。

前述の位置情報パターンを読み取る電子ペンを用いた装置においては、筆記位置と読み取る座標とは同位置ではなく、誤差がある。
この誤差は、単に筆記するだけの利用においては、特に問題は生じない。しかしながら、プロジェクタの投影画像や液晶表示装置の表示画像に重ねて筆記画像を記録する場合、このずれが問題となる。
また、電子ペンを斜めに傾けて筆記した場合、撮像した画像が傾斜し、位置の判別が困難となる。特に、電子黒板装置の場合、筆記面が地面に垂直であるため、電子ペンが斜めの状態となることが多い。

上記課題を解決するため、本発明は、請求項１に記載するように、位置情報パターンの印刷された筆記媒体に筆記する筆記部と前記位置情報パターンを検出する光学読取手段と、この位置情報から筆記軌跡データを算出する演算手段と、この筆記軌跡データを保存する記憶装置とを有する電子ペンにおいて、前記光学読取手段は、前記位置情報パターンと筆記部とを撮像することにより、位置情報パターンと撮像筆記部との位置関係によって読取筆記位置の補正を行うことを特徴としている。

また、請求項３項に示すように、撮像された位置情報パターンの歪みを台形補正することを特徴としている。

本発明によれば、電子黒板装置に用いる電子ペンにおいて、筆記位置と読取位置の差を補正することが可能となり、表示画像と筆記画像との合成画像を正しく記録することが可能となり、電子黒板装置の利便性が向上する。

以下、本発明を実施するための最良の形態について、図面を参照して詳細に説明する。

以下、図に沿って本発明の一実施例を説明する。

図１に、電子黒板装置に用いる電子ペンであるマーカ装置１の構成を示す概念図を示す。
マーカ装置１は、フェルトのペン先を有する筆記具２と、赤外線撮像装置３、照明装置としての赤外線発光ＬＥＤ４及び、前記撮像装置３で検出された位置情報パターン１２から筆記軌跡を算出する演算装置５、メモリ６、無線通信装置７、バッテリ８、及び位置情報の読取り動作のオン、オフを行うスイッチ９とで構成されている。
筆記具２は、筆記具保持部１０によって、マーカ装置１の本体に着脱可能に配置される。
したがって、黒色、赤色、緑色、或いは青色の筆記具夫々に、演算装置などを内蔵したマーカ装置を用意する必要はなく、筆記したい色の筆記具２を、マーカ装置１に装着して利用できる。

このマーカ装置１の筆記具２によって、筆記シート１１の表面に文字などが筆記されると、赤外線撮像装置３によって、筆記シート１１の裏面に形成された位置情報パターン１２が読み取られる。

この赤外線撮像装置３によって撮像された撮像範囲２４の概念図を図２に示す。
点線２１は仮想線、２２は仮想線上に設けられたドットであり、仮想線の交差点から上下、左右のどちらかに配置されており、この交点からの配置位置によって２ビットの情報が表されている。
読取位置は、矩形２３の範囲内の４＊４の合計１６ドットで表される。
筆記具の先端は筆記具２で表されている。
したがって、筆記位置は、読取位置よりも仮想線約２線分上にずれていることになる。

本装置においては、撮像範囲２４は、従来の読取位置の範囲２３より広くとられており、その範囲２４内には筆記具２の先端が含まれている。
この筆記具２の撮像との位置関係によって、筆記位置と読取位置との差を補正可能となる。
また、この筆記具の撮像形状によって、どの程度マーカ装置が傾斜しているのかが判定可能となり、撮影画像の台形補正も可能となる。
電子黒板装置においては、筆記時にマーカ装置が、筆記面に対して大きく傾斜することが多い。この場合、位置情報パターンの撮像画像は、大きく歪んでしまう。
このとき、撮像された筆記部も歪む。
この筆記部の歪みパターンに対応して、位置情報パターンの撮像画像を台形補正するデータが記録されており、この台形補正データを元に、位置情報パターンの撮像画像は補正され、位置検出が可能となる。

図３は本発明の一実施例の電子黒板本体３１を示す正面図である。
３１は電子黒板本体、３２は電子黒板本体の表面において、マーカ装置１によって筆記を行う透明筆記シートであり、３３はこの透明筆記シートの裏面に対向配置された液晶表示装置、３４は電源のオン、オフや、前記筆記シート２の移送指示や、表示装置３の表示、或いはプリンタで印刷する指示などを行う操作パネル、１は前記筆記シート３２に筆記するマーカ装置、３６は前記筆記シート３２上の筆記画像を消去するイレイサ、３７は筆記面を印刷するプリンタである。

筆記シート３２は、図示しない１対のローラで移送可能に、電子黒板本体３１に配置されており、またこの筆記シート３２の裏面には、例えば特許第３８８１３６５号に示されるような位置パターンが、赤外線反射型インクで形成されている。
通常のこのような印刷パターンは、紙の表面に設けられているが、電子黒板装置のような、書き込みと消去を繰り返すような媒体では、すぐに印刷パターンが磨り減ってしまい利用できない。

このため、本実施例装置では、筆記媒体の裏面に、透明インクを用いて位置情報パターンを形成している。
特に、筆記シートの裏面に位置情報パターンを形成することによって、マーカ装置１による筆記及び、イレイサ３６による消去を行っても位置情報パターンが磨耗することがなくなる。

また、先の特許３８８１３６５号に示された装置では、通常、ペンに内蔵された、消去ができないボールペンのインクで筆記しながら、紙の位置情報を読み取る。したがって、筆記、消去を繰り返すような使用を特に考慮していない。

これに対して、電子黒板装置では、イレイサ３６で筆記面を消去した場合、原則的には、マーカ装置で読み取った筆記データを消去しなければならない。
尚、原則的としたのは、例えば、電子黒板装置の場合、最終の筆記データは、記憶装置に記録しておく必要があることを示している。
つまり、会議途中でのイレイサでの筆記面の消去は筆記を修正するために行われるものであり、記憶装置の筆記データを消去、修正する必要があり、会議が終了して筆記面をイレイサで消去する場合は、別の面として新たに筆記をするために行われるものであり、記憶装置の筆記データを残して、筆記シートの筆記面の筆記のみ消去する必要がある。

これを、イレイサ３６にスイッチを設けて、記憶装置の筆記データを消去するモードと、記憶装置の筆記データを消去しないモードを切替える方法も考えられるが、使用者のミスを誘発してしまい、消去してはいけないにもかかわらず記憶装置に記録された筆記データを消去してしまうことが生じる。

そこで、本実施例では、筆記シートの筆記面表面の読取、記録、又は印刷操作を検知し、読取、記録又は印刷が行われた後の、筆記面についてのイレイサによる筆記面消去の場合は、記憶装置に記録された筆記データの消去を行わないこととしている。
また、記憶装置内の筆記データを消去するモードの場合、インジケータである赤色のＬＥＤランプを点滅させて、利用者に知らせるデータ消去インジケータを設けている。
赤のインジケータが点滅している状態で、筆記データを消去したくない場合は、筆記データの記録を行うこととなる。

表示装置３３には、例えば、罫線や、議事録のフォーマットなど、操作パネル３４で選択した背景画像が表示される。
尚、電子黒板装置３１に図示しないパソコンが接続された場合は、そのパソコンの表示面を表示することも可能である。
また、テレビ会議システムに接続した場合は、遠隔地のカメラで撮像された映像も表示可能である。

操作パネル３４には、筆記面記録用スイッチ、及び印刷用スイッチが設けられているが、これらのスイッチを押した場合、前述の表示装置に表示された背景画像と筆記画像の合成された画像が，内部メモリや、図示しないパソコンや外部メモリに記録され、或いはプリンタによって印刷される。
尚、背景データと筆記データは、夫々別々に記録されているため、合成しないで夫々記録するモードを設けることも可能である。

同様に、図示しないが、筆記消去部を有するイレイサにも、赤外線撮像装置、赤外線発光ＬＥＤ及び、前記撮像装置で検出された位置情報パターンから消去軌跡を算出する演算装置、メモリ、無線通信装置、バッテリ、及びスイッチが設けられている。
尚、このイレイサの無線通信装置は、マーカ装置の無線通信装置に、消去信号を送信し、マーカ装置の演算装置は、内部メモリから筆記データを消去する。
また、電子黒板装置から、筆記面の状態データを受信し、筆記面が読取、印刷、或いは記録がされている状態を表す信号を受信した場合は、赤色ＬＥＤを点灯せず、或いは緑色ＬＥＤの点灯を行うと共に、消去軌跡の演算、及び送信動作は行われない。

続いて、図４を用いて、本実施例の電子黒板装置の制御部の構成、及び動作について説明する。
４１は筆記シートの移送を行うモータ、４２は筆記シート３２に書き込まれた文字や絵を、表示装置３３の裏側で読み込めるように、筆記シート３２の表面を照明するための光源部、４３は筆記シート３２の記載内容を読み込むレンズと撮像素子で構成された読取装置（イメージスキャナ）である。
４４は電子黒板装置の動作を制御するＣＰＵであり、４５は読取り装置によって読取られた画像情報を記録する内部メモリ、４６は外部機器からの操作信号を受信し、或いは画像データの送受信を行う無線通信装置、４７は外部機器、例えばプリンタ、パソコン、外部メモリなどを接続する外部機器接続端子である。

操作パネル３４によって、印刷を指示するボタンが押されると、ＣＰＵ４４の制御信号によりモータ４１は駆動され、筆記シート３２は、モータ４１によって、移送される。
その移送動作に連動して、ＣＰＵ４４の制御信号により光源４２及び読取り装置４３は駆動され、光源部４２付近で筆記シート３２は、この光源部４２によって照明され、読取装置４３で画像が順次、縦長のライン状に取込まれる。
本実施例では、撮像素子として、ＣＣＤラインセンサが用いられている。また、光源部４２では、複数の半導体発光素子（ＬＥＤ）が縦長のライン状に配置されたものが用いられている。

読取り装置４３によって、ライン毎に読取られた画像データは、内部メモリ４５で、合成されて１枚の画像データに構成される。
このとき、画像データ毎に、データ番号（ページ番号）、及び読取完了を示す値が、筆記面の状態データとして記録される。
パソコン或いは外部メモリが、外部接続端子４７に接続されると、内部メモリ４５に記録された画像データは、ＣＰＵ４４の制御信号により、図示しないパソコン或いは外部メモリに出力され、記録される。
尚、マーカ装置から出力される電子黒板の制御信号を無線通信装置４６で受信した場合も、上述の電子黒板装置の動作が行われる。

マーカ装置では、マーカ装置による筆記の際、筆記具の筆記シートから得る筆記圧をスイッチ９で検出すると、赤外線発光ＬＥＤと赤外線撮像装置がオンとなり、筆記面の位置パターンの読取動作が開始される。
筆記動作により、順次筆記位置データが検出され、その筆記軌跡データがマーカ装置内のメモリに記録される。
尚、図示しないイレイサからの消去信号を無線通信装置４６で受信した場合は、メモリ４５から、その消去位置に対応した筆記軌跡データが消去される。

上述の説明で明らかなように、筆記画像を印刷するための筆記データは、電子黒板側のメモリに有し、筆記軌跡データはマーカ装置側のメモリに記録することにより、電子黒板装置は、マーカ装置での筆記軌跡データの演算時間、演算結果の送受信時間など、筆記データを受信する場合に発生するタイムラグが発生しない状態で筆記動作、及び印刷動作が行われる。
また、筆記軌跡データは、順次マーカ装置のメモリに記録するため、筆記軌跡データの演算時間を待つことはなく、リアルタイムに筆記を行うことができる。

上述の例では、表示装置３３を省略して説明したが、本実施例装置では、筆記シート３２の裏面に対向して、液晶表示装置３３が配置されている。
尚、透明筆記シート３２は、エンドレスに帯状に形成され、液晶表示装置の表面及び裏面を囲むように、図示しない左右のシリンダによって保持される。
液晶表示装置３３は、ＣＰＵ４４に接続され、このＣＰＵ４４によって表示動作が制御される。

また、会議タイトル欄、会議日時欄、出席者欄、枠線などで構成された会議用のテンプレート画像や、単に枠線のみで構成されたテンプレートなど複数のテンプレート画像が、メモリ４５に内蔵されている。

操作パネル３４で、表示面のテンプレートを選択した場合、ＣＰＵ４４によって、内部メモリ４５に記録されたテンプレート画像が液晶表示装置３３に出力され、透明な筆記シート３２を介して表示される。

また、外部機器接続端子４７にパソコンが接続された場合、このパソコンの表示画像が、液晶表示装置３３に表示される。
このとき、筆記シート３２の読み取り動作の際、筆記画像と、表示画像を合成した画像がメモリ４５に展開され、或いは合成した画像がプリンタに出力される。

この合成画像は、ページ単位に、ページ状態データと共に、電子黒板本体側の内部メモリ４５に記録される。
マーカ装置側では、筆記中の筆記面の筆記軌跡データのみメモリに記録されている。
したがって、メモリに記録された所望のページを表示装置に表示する場合、マーカ装置から筆記軌跡データを受信することなく、内部メモリの筆記面データにより表示されるため、高速に表示される。
また、マーカ装置側では、１ページ分の筆記軌跡データのみ記録すればよいため、メモリ容量が少なくて済み、マーカ装置を小型化できる。
尚、マーカ装置側のメモリも、複数ページの筆記軌跡データを記録できるようにしてもよい。

図５に、第２の実施例の電子黒板装置を示す。
この実施例２においては、位置情報パターンを、透明なアクリル性のパネル３２の裏面に設けている。この場合は、上述の実施例１のような、筆記シートのシート送り機構は不要となる。

また、この実施例２では、マーカ装置１による特定のマークの記入により、外部制御装置３８に接続された装置の各種制御を行うことも可能である。
筆記パネル３２のどこか、例えば、右下隅に四角形を記入して、その中に英文字のＰと記入し、これをマーカ装置１でクリックすると、マーカ装置１はこのパターンを、記録されている複数の制御用パターンと照合し、印刷制御信号が選択される。
外付制御装置３８に、筆記画像データ、及び印刷動作信号が出力され、マーカ装置１でそれまで描いた筆記データと、表示装置に表示された画像との合成データが、プリンタ３７に出力され、印刷が行われる。
尚、例えば、先の四角形の中に、Ｐ４と記入して、これをマーカ装置１でクリックすると、４枚の印刷が行われる。

また、筆記パネル２のどこかに四角形を記入して、この四角形状の中に、英文字のＭを記入して、これをマーカ装置１でクリックすると、印刷は行われず、筆記データの送信、記録のみ行われる。
具体的には、マーカ装置１のメモリに記録されている筆記データが外部制御装置３８を介して、パソコン３９に記録される。

また、筆記パネル３２のどこかに四角形を記入して、この四角形状の中に、Ｔ１と記入して、これをマーカ装置でクリックすると、表示装置２に、外部制御装置１６に内蔵された第１番目のテンプレートが表示される。

以上のように、マーカ装置１によって、所定の筆記が行われた場合、その筆記画像パターンと制御信号用記録パターンとのパターンマッチングによって、所定のパターンに対応した動作の制御信号を作成、或いは選択して、この制御信号を出力することにより、電子黒板装置には操作パネルが不要となる。

図６に第３の実施例装置を示す。
この実施例装置では、筆記パネル３２に電子黒板操作用アイコン（操作用マーク）４０が設けられている。
この操作用アイコン４０を、マーカ装置１によって、ダブルクリックすると、そのアイコン４０の示す動作が行われる。
例えば、プリンタアイコンをダブルクリックすると筆記面が印刷され、矢印アイコンをダブルクリックすると表示面が切り替わり、更に、パソコンアイコンをダブルクリックするとマーカ装置１に読込まれた筆記データがパソコン３９に送信され記録される。
尚、筆記パネル３２の筆記画像を印刷する場合、操作用アイコン４０は、印刷されることはない。また、このアイコン上に筆記しても、その筆記は印刷される。

また、この実施例では、外部制御装置３８は、電子黒板装置本体３１、マーカ装置１及び、イレイサ３６と無線によって通信を行っている。
尚、パソコン３９、プリンタ３７とも無線によって通信を行っても良い。

この第３の実施例装置で使用するマーカ装置を図６に示す。
このマーカ装置においては、筆記具２にその筆記具２の種類を示すマーク６１が設けら、マーカ装置本体には筆記具認識手段（筆記具センサ）６２が設けられている。
このマーク６１は、帯状のマークであり、その帯の色で筆記具の色が表され、その帯の本数で筆記太さが表されている。
例えば、筆記具の筆記の太さを３段階に分け、１本が細い、２本が中間、３本が太いを表し、従って図６に示されたものは太いを表している。

また、このマーカ装置は、筆記面に接触した位置を絶対位置として検出した後、パソコンにおけるマウスのように、移動量検出手段によって、ドラック動作における移動量を算出して筆記軌跡を算出している。
尚、この絶対位置検出と、移動量検出手段は、マーカ装置の演算装置によって実現されている。
第１の実施例のマーカ装置では、連続的に検出される絶対位置によって筆記軌跡を算出するが、この第３の実施例におけるマーカ装置では、筆記面に筆記具が接触したときだけ絶対位置を算出し、その後は移動量だけ算出するため、演算負荷を低減することが可能となる。

尚、セキュリティー機能として、マーカ装置及び外部制御装置内のメモリに記憶されている筆記画像（軌跡）データを、電源スイッチのオフ時に消去するようにしてもよい。
また、登録したパスワードを最初に筆記した場合のみ、通信機能が動作するようにしてもよい。

また、筆記面の印刷、記録を複数回行った後、筆記パネルのどこかに四角形を記入して、この四角形状の中に、矢印或いは矢印と保存したページの数値を記入して、これをマーカ装置でクリックすると、表示装置に、そのページの記録画像（表示装置の表示画像と筆記画像との合成画像）が表示されるようにしてもよい。

また筆記ボードとしては、金属プレート或いは樹脂性のプレートに白色の塗装を施し、その上に、裏面に位置情報パターンを形成した樹脂性透明プレートを配置しただけのホワイトボードであってもよい。
この場合、電子黒板装置としての機能は、マーカ装置及び、外部演算装置、及びこれに接続される周辺機器で達成される。

この場合は、上述の外部制御装置は、ホワイトボードと接続する必要はなく、マーカ装置と外部制御装置、プリンタ、或いはパソコンなどの外部機器、及びイレイサだけの構成で、電子黒板装置の機能を実現することが可能となる。
また、筆記ボードとしての、小型、軽量化を図ることが可能となる。

本発明は、上述の実施例に限定されるものではなく、例えば、筆記シート上の書込み画像を読取る方式は、筆記シート表面をスキャナーが移動して読取る方式でもよい。

また、マーカ装置の動作スイッチを、圧力センサで代用してもよい。
この場合は、筆記圧力に応じて、筆記軌跡データの太さを変更することが可能となる。

また、マーカ装置内に加速度センサを設け、例えば、マーカ装置を振る動作によって、電子黒板装置の操作を行っても良い。
例えば、マーカ装置を１度振ると、１ページ前の記録された筆記面データが表示装置に表示され、マーカ装置を複数回振ると、その振った数前のページの記録された筆記面データが表示装置に表示されるようにしてもよい。

更に、マーカ装置の筆記具の種類の検出は、上記実施例に限定されるものではなく、筆記具に設けられた切りかきなどの凹凸によるマークを用い、これによって検出するものであってもよい。

本発明は、筆記具の先端付近を撮像し、この筆記具と撮像された位置パターンとの位置関係によって、筆記位置の補正を行うことを可能とする電子ペンであり、高精度に筆記位置を検出することが可能となり、電子黒板装置に用いることが利用可能となる。

図１は、本発明の実施例の形態に係る主要な構成を示す概念構成図である。 図２は、本発明の実施例の撮像状態を示す平面図である。 図３は、本発明の第１の実施例の電子黒板装置に係る構成図である。 図４は、本発明の第１の実施例の電子黒板装置に係る動作を説明するための構成図である。 図５は、本発明の第２の実施例の電子黒板装置に係る構成図である。 図６は、本発明の第３の実施例の電子黒板装置に係る構成図である。 図７は、本発明の第３の実施例の電子ペンに係る構成図である。

符号の説明

１：電子ペン（マーカ装置）
２：筆記具
３：撮像装置
４：照明装置
５：演算装置
１２：位置情報パターン
２４：撮像範囲
５８：読取位置

Claims (3)

1. 位置情報パターンの印刷された筆記媒体に筆記する筆記部と前記位置情報パターンを検出する光学読取手段と、この位置情報から筆記軌跡データを算出する演算手段と、この筆記軌跡データを保存する記憶装置とを有する電子ペンにおいて、前記光学読取手段は、前記位置情報パターンと筆記部とを撮像することにより、位置情報パターンと撮像筆記部との位置関係によって読取筆記位置の補正を行うことを特徴とする電子ペン。
2. 前記撮像された筆記部と撮像された位置情報との差分により、筆記位置の補正を行うことを特徴とする請求項１項記載の電子ペン。
3. 前記撮像された筆記部の形状によって、筆記面に対する電子ペンの傾斜を検出し、撮像された位置情報パターンの台形補正を行うことを特徴とする請求項１項記載の電子ペン。

Images