JP2010079458A - 筆跡表示システム - Google Patents

Abstract

【課題】 筆跡を表示する対象物の高さによらず、指示具でその対象物に筆跡を表示することができる筆跡表示システムを提供する。
【解決手段】 本筆跡表示システムは、互いの位置関係が既知の４つ以上の光源ａ１，ａ２，ａ３，ａ４をもつ光源セットおよびペン先が物体６上にあることを伝達するための光源ｂを設置した筆跡表示ペン２と、光源を撮像するカメラ３０と、撮像した画像から求めた筆跡表示ペン２の位置と角度および筆跡表示ペン２のペン先が物体６上にあるときの高さに基づいて筆跡表示ペン２の筆跡表示位置を演算する演算装置４と、演算した筆跡表示位置を筆跡表示ペン２の筆跡として物体６に表示する表示装置５とを備える。
【選択図】 図３

Description

本発明は、筆跡表示システムに関する。

筆跡表示システムは、指示具（例えば、ペン型の筆跡表示ペン、以下「筆跡表示ペン」と記載する）の３次元位置や角度を計算で求め、その計算値に基づいて筆跡表示ペンのペン先の移動経路を筆跡として表示するシステムである。筆跡表示ペンの３次元位置や角度は、例えば特許文献１に記載の位置計測システムにより求めることができる。この技術は、互いの位置関係が判明している４個以上の光源と、各光源からの光を透過して球面収差により光リング像を形成する光学レンズ系と、光学レンズ系により形成された光リング像を検出する撮像素子と、撮像素子により検出された光リング像の検出情報および各光源の位置関係に基づいて各光源の位置を計測する演算装置とを備えて構成される。このような技術を用いて、上記のような光源を設置した筆跡表示ペンで、通常のペンと同じような感覚で筆跡を対象物上に表示することができる。
特開２００８−５８２０４号公報

本発明の目的は、筆跡を表示する対象物の高さによらず、指示具でその対象物に筆跡を表示することができる筆跡表示システムを提供することにある。

本発明は、上記目的を達成するために、以下の筆跡表示システムおよび指示具を提供する。
（１）指示具の位置と角度を求めるための信号および指示具の先端が対象物上にあることを伝達するための信号を送信する指示具と、前記指示具からの信号を受信する受信器と、前記受信した信号から求めた前記指示具の位置と角度および前記指示具の先端が前記対象物上にあるときの高さに基づいて前記指示具の筆跡表示位置を演算する演算装置と、前記演算した筆跡表示位置を前記指示具の筆跡として前記対象物に表示する表示装置とを備えた筆跡表示システム。
（２）前記指示具の位置と角度を求めるための信号が、前記指示具に設けられた互いの位置関係が既知の４つ以上の光源をもつ光源セットから発生される上記（１）記載の筆跡表示システム。
（３）前記指示具の先端が対象物上にあることを伝達するための信号が、前記指示具に設けられた前記光源セットとは別の位置関係が既知の光源から発生される上記（１）または（２）記載の筆跡表示システム。
（４）前記指示具の先端が対象物上にあることを伝達するための信号が、前記指示具に設けられた無線送信器から発生される上記（１）記載の筆跡表示システム。
（５）前記表示装置が、前記指示具の先端の延長線と交差する対象物上にカーソルを表示する上記（１）〜（４）のいずれかに記載の筆跡表示システム。
（６）互いの位置関係が既知の４つ以上の光源をもつ光源セットおよび指示具の先端が対象物上にあることを伝達するための光源を設置した指示具と、前記光源を撮像するカメラと、前記撮像した画像から求めた前記指示具の位置と角度および前記指示具の先端が前記対象物上にあるときの高さに基づいて前記指示具の筆跡表示位置を演算する演算装置と、前記演算した筆跡表示位置を前記指示具の筆跡として前記対象物に表示する表示装置とを備えた筆跡表示システム。
（７）指示具の先端が対象物上にあることを検出する検出素子と、互いの位置関係が既知の４つ以上の光源をもつ光源セットと、前記検出素子からの信号に基づいて指示具の先端が対象物上にあることを伝達するための光源とを備えた、上記（６）記載の筆跡表示システムに用いられる指示具。
（８）前記４つ以上の光源のうち、少なくとも３つ以上の光源が同一平面上にあり、少なくとも１つ以上の光源がその平面上から離隔した地点にある上記（７）記載の指示具。
（９）他の指示具との識別用の光源を備える上記（７）または（８）記載の指示具。

請求項１に係る筆跡表示システムによれば、筆跡を表示する対象物の高さによらず、指示具でその対象物に筆跡を表示することができる。
請求項２に係る筆跡表示システムによれば、本構成を有しないものに比べ、指示具の位置検出を高精度で行うことができる。
請求項３に係る筆跡表示システムによれば、本構成を有しないものに比べ、指示具の先端が対象物上にあることを簡易に伝達することができる。
請求項４に係る筆跡表示システムによれば、本構成を有しないものに比べ、指示具の先端が対象物上にあることを簡易に伝達することができる。
請求項５に係る筆跡表示システムによれば、筆跡として書かれる位置を準備段階でカーソル表示することができる。
請求項６に係る筆跡表示システムによれば、筆跡を表示する対象物の高さによらず、指示具でその対象物に筆跡を表示することができる。
請求項７に係る指示具によれば、筆跡を表示する対象物の高さによらず、その対象物に筆跡を表示することができる。
請求項８に係る指示具によれば、複数の光源の配置の自由度を確保することができる。
請求項９に係る指示具によれば、筆跡表示システム内で複数の指示具を同時に使用可能となる。

以下、本発明の実施例を説明するが、その前に本発明を用いないシステムにおいて生ずる現象について説明する。

図１は、指示具として例えば筆跡表示ペンを用いてテーブル上に手書きをする場合の一例を示す図である。図において、テーブル１、受信器３および表示装置５の位置関係がわかっているものとして、テーブル１上を筆跡表示ペン２で手書きをすると、その筆跡が概略次のようにしてテーブル１上に表示される。まず、筆跡表示ペン２の動きに応じてその位置と角度を求めるための信号が順次受信器３により受信される。演算装置４は、受信器３で受信した信号から求めた筆跡表示ペンの位置と角度に基づいて筆跡表示ペンの筆跡表示位置を演算する。プロジェクタ等の表示装置５は、演算装置４で演算した筆跡表示位置を筆跡表示ペン２の筆跡としてテーブル１上に表示する。この場合は問題なくテーブル１上に筆跡表示ペン２の筆跡を表示することができるが、次のような場合は問題がある。

図２は、筆跡表示ペンを用いてテーブルに置かれた物体上に手書きをする場合の一例を示す図である。本例のシステム構成は図１のものと同様である。この場合、テーブル１より高い位置にある物体６上を筆跡表示ペン２で手書きをすると、物体６上でなく物体６を透過して筆跡表示ペン２が指し示す方向とテーブル面上の交点に筆跡が表示されてしまう。これは、演算装置４において計算でペン先がテーブル１上のどの位置に来るのか求めているため、本例のように筆跡表示ペン２とテーブル１間に物体６がある場合でも、物体６を突き抜けてテーブル１上に筆跡が表示されることになるからである。筆跡表示システムとしては、このような現象を排除する必要がある。

図３は、本発明に係る筆跡表示システムの一実施例を示す図である。本実施例は、ペンの位置と角度を求めるための信号およびペン先が対象物上にあることを伝達するための信号を送信する筆跡表示ペン２と、筆跡表示ペン２からの信号を受信する受信器３（カメラ３０）と、受信した信号から求めた筆跡表示ペン２の位置と角度および筆跡表示ペン２のペン先が対象物上にあるときの高さに基づいて筆跡表示ペン２の筆跡表示位置を演算する演算装置４と、演算した筆跡表示位置を筆跡表示ペン２の筆跡として対象物に表示するプロジェクタ等の表示装置５とを備える。すなわち、段差のある対象物に手書きを行う際に、ペン先が対象物上にあるときの位置を計測し、その位置を用いて、表示装置５で表示される筆跡表示位置を補正して、段差のある対象物に対しても円滑に手書きを行うことができるように構成される。目印表示手段として、ペン先の延長線と交差する対象物上に表示装置５によりカーソルを表示させることもできる。

図３の実施例では、筆跡表示ペン２の位置と角度を求めるための信号は、筆跡表示ペン２に設けられた互いの位置関係が既知の４つ以上の光源をもつ光源セットから発生される。また、筆跡表示ペン２のペン先が対象物上にあることを伝達するための信号は、筆跡表示ペン２に設けられた光源セットとは別の位置関係が既知の光源から発生される。この場合、受信器３としては、筆跡表示ペン２に設けられた光源を撮像するための例えばＣＣＤやＣＭＯＳセンサ等の２次元撮像素子を搭載したデジタルカメラ等のカメラ３０を用いることができる。以下、筆跡表示ペン２の構成例および筆跡表示ペン２の位置と角度の算出方法等について説明する。

図４は、本実施例で使用可能な筆跡表示ペンの一構成例を示す図である。本例の指示具としての筆跡表示ペン２は、ペン先（指示具の先端）が対象物上にあることを検出する検出素子４１と、互いの位置関係が既知の４つの光源ａ１，ａ２，ａ３，ａ４をもつ光源セットａと、検出素子４１からの信号に基づいてペン先が対象物上にあることを伝達するための位置関係が既知の光源ｂと、光源の発光を制御する発光制御装置４２（配線は図示省略）とを有する。ペン先が対象物上にあるときとは、例えばペン先が対象物に触れたとき、あるいはペン先を対象物に押してペン先に圧力がかかったときを含む。検出素子４１は、例えばペン先を対象物に当てて筆跡表示ペン２で筆記しようとするときオン状態となるオンオフスイッチで構成することができる。

筆跡表示ペン２において、光源セット（各光源）の位置関係は既知であり、またペン先の位置関係も既知なので、光源セットの位置と角度（向き）が分かれば、ペン先の位置と角度が特定される。また、光源ｂの位置関係も既知なので、光源ｂの発光または消光を検出することで、ペン先が対象物上にあるかどうかを知ることができる。これらの光源としては、例えば発光ダイオード（ＬＥＤ）を用いることができるが、これに限定されない。また、筆跡表示ペン２の位置と角度は、それに設置された光源セットの位置と角度を算出することで得られる。以下、その算出方法の一例を説明する。

図５は、３つの光源を有する光源セットの３次元位置の演算方法の一例を示す図である。本例では、４つの光源を例えば正方形の角に配置し、そのうちの３つの光源の組み合わせを２つ考える。そして、各々の３点を用いて、以下の計算から２つの解を導出する。その２つの解の内一つは光源位置が全く同じ値を示すので、それを正解とする。これにより、光源セットの位置と角度を決定することができる。

まず、図５において、光源ａ１，ａ２，ａ３の画像面５１上の画像位置ｃ１，ｃ２，ｃ３とカメラの光学中心５２との関係から、カメラ座標系における光源位置の方向ベクトルｄｉ（ｉ＝１，２，３）を算出する。ｄｉは規格化した単位ベクトルとする。
光源ａ１，ａ２，ａ３の空間の位置ベクトルをｐ１，ｐ２，ｐ３とすると、これらはｄｉの延長線上に存在するので、その係数をｔ１，ｔ２，ｔ３として、
p1=t1・d1
p2=t2・d2 式１
p3=t3・d3
で表すことができる。

三角形の形状は最初からわかっており、その長さを各々
p1p2=L1
p2p3=L2 式２
p3p1=L3
とすると次式が得られる。式中「^」は累乗を表す。
(t1x1-t2x2)^2+(t1y1-t2y2)^2+(t1z1-t2z2)^2=L1^2
(t2x2-t3x3)^2+(t2y2-t3y3)^2+(t2z2-t3z3)^2=L2^2 式３
(t3x3-t1x1)^2+(t3y3-t1y1)^2+(t3z3-t1z1)^2=L3^2

整理すると
t1^2-2t1t2(x1x2+y1y2+z1z2)+t2^2-L1^2=0
t2^2-2t2t3(x2x3+y2y3+z2z3)+t3^2-L2^2=0 式４
t3^2-2t3t1(x3x1+y3y1+z3z1)+t1^2-L3^2=0
が得られ、次式となる。式中「sqrt」は平方根を表す。
t1=A1・t2±sqrt((A1^2-1)・t2^2+L1^2)
t2=A2・t3±sqrt((A2^2-1)・t3^2+L2^2) 式５
t3=A3・t1±sqrt((A3^2-1)・t1^2+L3^2)
ここで、A1,A2,A3は次式のとおりである。
A1=x1x2+y1y2+z1z2
A2=x2x3+y2y3+z2z3 式６
A3=x3x1+y3y1+z3z1

実数解を持つために、式５の平方根の中が正になる。
t1≦ sqrt(L3^2/(1-A3^2))
t2≦ sqrt(L1^2/(1-A1^2)) 式７
t3≦ sqrt(L2^2/(1-A2^2))

この条件を満たす実数ｔ１、ｔ２、ｔ３を順次、式５に代入し、式５が成立するすべてのｔ１，ｔ２，ｔ３を算出する。次に上記の式１からｐ１，ｐ２，ｐ３を、即ち、光源の３次元位置を算出する。光源が３つの場合には二つの解ができるが、本例の場合は光源が４つあるので、他の３つの光源、例えばａ１，ａ３，ａ４について上記と同様の計算を行い別の２つの解を導出する。その２つの解の内一つは光源位置が全く同じ値を示すので、それを正解とする。このように、光源が４点以上ある場合には、答えを一つに同定することができるので、４つの光源ａ１，ａ２，ａ３，ａ４を有する光源セットの位置と角度を決定することができる。

図６は、本実施例で使用可能な筆跡表示ペンの他の構成例を示す図である。上記説明は４つ以上の光源が同一平面上にある場合であるが、４つ以上の光源のうち、少なくとも３つ以上の光源が同一平面上にあり、少なくとも１つ以上の光源がその平面上から離隔した地点にある場合も同様に演算することができる。本例の筆跡表示ペン２は、３つの光源ａ１，ａ２，ａ３が同一平面上にあり、１つの光源ａ４’がその平面上から離隔した地点にある。光源ａ４’は、例えば光源セットａの平面上から突出する突出部６０の先端に設けられる。この突出部６０の位置と高さは既知で、例えば３つの光源ａ１，ａ２，ａ３の重心に置くことができるが、これに限定されない。この場合も、同一平面上の３つの光源ａ１，ａ２，ａ３を用いて、前述と同様の計算を行い２つの解を導出する。そして、この２つの解の光源ａ１，ａ２，ａ３の位置から光源ａ４’のそれぞれの位置を計算する。この計算値とカメラで撮影した光源ａ４’の画像面上の位置の実際値とを比較し、この計算値と実際値とが対応する解を正解とする。このような方法を用いても、光源セットの位置と角度を決定することができる。光源セットの位置と角度の算出方法は上記方法に限定されるものではなく、例えば前述の特許文献１に記載の方法あるいはそれ以外の方法を用いてもよい。

演算装置４は、以上のようにして光源セット（筆跡表示ペン）の位置と角度を求めるとともに、筆跡表示ペン２のペン先が対象物上にあるときの高さを求める。ペン先と光源セットとの位置関係は既知なので、光源ｂの発光または消光を検出したときのペン先の高さを光源セットの位置と角度から求めることができる。演算装置４における筆跡表示ペン２の筆跡表示位置は次のようにして演算される。まず、光源セット（筆跡表示ペン）の位置と角度を求めることにより、筆跡表示ペンのペン先の向く方向とテーブル１の交点を算出し、これを別途求めたペン先の高さ（物体６の上面）における位置に補正する。この補正で得られた筆跡表示位置を、プロジェクタ等の表示装置５により、物体６上に筆跡表示ペン２の筆跡として表示する。

図７は、本実施例で使用可能な筆跡表示ペンのさらに他の構成例を示す図である。本例の筆跡表示ペンは、他の筆跡表示ペンと識別するための識別（ＩＤ）用光源ｃを備えるものである。すなわち、特定のＩＤ用光源ｃを有する筆跡表示ペンの動きに応じて当該筆跡表示ペンのペン先に表示装置５により筆跡を表示する。複数の筆跡表示ペンに対して異なる位置にＩＤ用光源ｃを取り付けることにより、筆跡表示システム内で複数の筆跡表示ペンを同時に使用可能となる。

このように本発明では、ペンの位置と角度を測定するための信号を計測器（受信器、演算装置）に送信する位置と角度の送信手段（筆跡表示ペン）、ペンの位置と角度と対象物の位置からペン先の延長線と対象物との交点を求める延長線の計算手段（演算装置）、ペン先の延長線上にカーソルを表示する目印表示手段、ペン先に設けてペン先が物体上にあることを認識するスイッチ（検出素子）、ペン先が物体上にあることを測定するための信号を計測器に送信する送信手段（筆跡表示ペン）、ペン先が対象物上にあるときの高さに応じて筆跡を表示すべき位置を求める筆跡の計算手段（演算装置）、対象物上にペン先の移動経路を筆跡として表示する筆跡の表示手段（表示装置）、ペンの位置と角度に係る信号を計測器に送信し、またペン先が押されたことを計測器に送信するＬＥＤ発光手段（筆跡表示ペン）等を備えることができる。

以上の実施例において、演算装置４としてはパーソナルコンピュータ（ＰＣ）等のコンピュータを用いることができる。また、ペン先が対象物上にあることを伝達するための光源ｂに代えて、筆跡表示ペン２に無線マウスと同様の信号送信を行う無線送信器を設けることができる。

筆跡表示ペンを用いてテーブル上に手書きをする場合の一例を示す図である。 筆跡表示ペンを用いてテーブルに置かれた物体上に手書きをする場合の一例を示す図である。 本発明に係る筆跡表示システムの一実施例を示す図である。 本実施例で使用可能な筆跡表示ペンの一構成例を示す図である。 ３つの光源を有する光源セットの３次元位置の演算方法の一例を示す図である。 本実施例で使用可能な筆跡表示ペンの他の構成例を示す図である。 本実施例で使用可能な筆跡表示ペンのさらに他の構成例を示す図である。

符号の説明

１ テーブル
２ 筆跡表示ペン
３ 受信器
４ 演算装置
５ 表示装置
６ 物体
３０ カメラ

Claims (9)

1. 指示具の位置と角度を求めるための信号および指示具の先端が対象物上にあることを伝達するための信号を送信する指示具と、前記指示具からの信号を受信する受信器と、前記受信した信号から求めた前記指示具の位置と角度および前記指示具の先端が前記対象物上にあるときの高さに基づいて前記指示具の筆跡表示位置を演算する演算装置と、前記演算した筆跡表示位置を前記指示具の筆跡として前記対象物に表示する表示装置とを備えた筆跡表示システム。
2. 前記指示具の位置と角度を求めるための信号が、前記指示具に設けられた互いの位置関係が既知の４つ以上の光源をもつ光源セットから発生される請求項１記載の筆跡表示システム。
3. 前記指示具の先端が対象物上にあることを伝達するための信号が、前記指示具に設けられた前記光源セットとは別の位置関係が既知の光源から発生される請求項１または２記載の筆跡表示システム。
4. 前記指示具の先端が対象物上にあることを伝達するための信号が、前記指示具に設けられた無線送信器から発生される請求項１記載の筆跡表示システム。
5. 前記表示装置が、前記指示具の先端の延長線と交差する対象物上にカーソルを表示する請求項１〜４のいずれかに記載の筆跡表示システム。
6. 互いの位置関係が既知の４つ以上の光源をもつ光源セットおよび指示具の先端が対象物上にあることを伝達するための光源を設置した指示具と、前記光源を撮像するカメラと、前記撮像した画像から求めた前記指示具の位置と角度および前記指示具の先端が前記対象物上にあるときの高さに基づいて前記指示具の筆跡表示位置を演算する演算装置と、前記演算した筆跡表示位置を前記指示具の筆跡として前記対象物に表示する表示装置とを備えた筆跡表示システム。
7. 指示具の先端が対象物上にあることを検出する検出素子と、互いの位置関係が既知の４つ以上の光源をもつ光源セットと、前記検出素子からの信号に基づいて指示具の先端が対象物上にあることを伝達するための光源とを備えた、請求項６記載の筆跡表示システムに用いられる指示具。
8. 前記４つ以上の光源のうち、少なくとも３つ以上の光源が同一平面上にあり、少なくとも１つ以上の光源がその平面上から離隔した地点にある請求項７記載の指示具。
9. 他の指示具との識別用の光源を備える請求項７または８記載の指示具。

Images