JP2006154900A - 手書き画像表示システム及び空間手書き用携帯情報端末 - Google Patents

Abstract

【課題】所望の空間に仮想的な書き込みを行うとともに、その書き込み内容を書き込み位置に関する情報とともに記録できる手書き画像表示システムを提供すること。
【解決手段】仮想面に手書きで書き込む様子を撮像した書き込み画像を入力する画像入力部１と、書き込み画像から画像処理により手書きの軌跡を抽出して手書き画像を得る手書き抽出部２と、手書き画像の書き込み位置に関する相対座標を検出する相対座標検出部３と、手書き画像を相対座標とともに記録する画像記録部４と、手書き画像を表示する画像表示部２０及び画像表示部２０からの光を反射するとともに使用者の視線方向の実視野からの光を透過するコンバイナーを有する手書き画表示装置とを備え、コンバイナーを通すことで画像表示部２０に表示した手書き画像の虚像を重畳して表示する。
【選択図】図１

Description

本発明は、所望の空間上に書き込んだ仮想的な書き込みの内容を位置情報とともに記録して読み出すことができる手書き画像表示システムに関する。

従来より、平面的な実体（たとえば手書き入力パネル等）のない状況でも、空間上に手書き等の方法で仮想的に文字や図形をなぞることにより、その経路から文字パターンや図形パターンを入力することができる空間手書き図形入力装置が提案されている。この装置では、手書きにより文字や図形をなぞる指先にセンサを装着し、同センサの移動に伴う空間位置の空間座標から移動速度や加速度を測定してトレース像を抽出するように構成されている。（たとえば、特許文献１参照）
特開平６−２８０９６号公報（〔図１〕及び〔図２〕を参照）

しかしながら、上述した従来技術の空間手書き図形入力装置は、指先と一体に移動するセンサの移動速度や加速度を測定して指先の軌跡を抽出し、センサと一体に移動する指先をトレースしてその軌跡を入力（記録）するものであるから、実際に手書き入力を行った位置に関する情報を得ることはできなかった。
そこで、装置保持者が指先等による仮想的な手書き入力（書き込み）を所望の空間上で行うとともに、その書き込み位置に関する情報も得ることができる手書き画像表示システムの開発が望まれる。

本発明は、上記の事情に鑑みてなされたものであり、その目的とするところは、所望の空間に仮想的な書き込みを行うとともに、その書き込み内容を書き込み位置に関する情報とともに記録することができる手書き画像表示システムを提供することにある。

本発明は、上記の課題を解決するため、下記の手段を採用した。
本発明に係る手書き画像表示システムは、所望の空間に設定した仮想面に手書きで書き込む様子を撮像した書き込み画像を入力する画像入力手段と、前記書き込み画像から画像処理により手書きの軌跡を抽出して手書き画像を得る手書き抽出手段と、前記手書き画像の書き込み位置に関する相対座標を検出する相対座標検出手段と、前記手書き画像を前記相対座標とともに記録する画像記録手段と、前記手書き画像を表示する画像表示手段及び該画像表示手段からの光を反射するとともに使用者の視線方向の実視野からの光を透過する半透過型光学素子を少なくとも有する手書き画像表示装置とを備え、前記手書き画像表示装置の使用者から見て前記半透過型光学素子よりも前方の実視野に前記画像表示手段が表示する手書き画像の虚像を重畳して表示することを特徴とするものである。
なお、この場合の相対座標とは、空間手書き用端末装置を基準とする仮想面の相対的な位置を示すものである。

このような手書き画像表示システムによれば、所望の空間に設定した仮想面に手書きで書き込む様子（背景上で指先や筆記具先端等が移動する様子）を画像入力手段で撮像した書き込み画像を入力し、この書き込み画像から手書き抽出手段の画像処理により手書きの軌跡を抽出して手書き画像を得るとともに、この手書き画像を画像表示手段に表示する。また、手書き画像を画像表示手段に表示することにより、半透過型光学素子が画像表示手段からの光を反射するとともに使用者の視線方向の実視野からの光を透過し、使用者から見て半透過型光学素子よりも前方の実視野に、画像表示手段に表示した手書き画像の虚像が重畳して表示される。さらに、手書き画像を書き込んだ位置（端末装置を基準とする仮想面の位置）について、相対座標検出手段が相対座標検出した後、手書き画像及び相対座標を画像記録部に記録して手書き画像表示システムの書き込みモードが完了する。

また、表示モードにおいては、画像記録部に記録されている手書き画像及び相対座標を呼び出した後、相対座標に基づいて手書き画像を画像表示部に表示すれば、半透過型光学素子が画像表示手段からの光を反射するとともに使用者の視線方向の実視野からの光を透過し、使用者から見て半透過型光学素子よりも前方の実視野に、画像表示手段に表示した手書き画像の虚像が重畳して表示される。

上述した手書き画像表示システムにおいては、前記手書き画像及び前記相対座標を送受信する通信手段を備えていることが好ましく、これにより、手書き画像の情報を複数のシステム所有者で共有することができる。

また、上述した手書き画像表示システムは、たとえば携帯電話機、デジタルカメラ及びＰＤＡ（Personal Digital Assistance ）等のように、常時持ち歩くことが容易な携帯情報端末に一体化して組み込んだ空間手書き用携帯情報端末とすることが好ましい。

上述した本発明によれば、手書き画像表示システムの使用者が所望の空間上に設定した仮想面に対して指先等による仮想的な手書き入力（書き込み）を行い、この手書き入力による書き込み内容を相対座標とともに記録するようにしたので、読み出し時においては、手書き画像表示装置の周辺に手書き内容の虚像を表示して読み出すことができる。
すなわち、実体がなく相対座標で規定される仮想面（たとえば、仮想メモ用紙や仮想のり付き付箋紙等）に手書きで仮想の書き込みを行うと、この書き込みを手書き画像表示装置と相対的な位置関係が常に一定の実視野空間上に表示して、すなわち、この書き込みを使用者周辺の実視野空間に設定した仮想面上に虚像として表示して読み出すことが可能になる。従って、手書き画像表示装置の使用者が移動すると、仮想付箋紙等の仮想面も一緒に移動して同じ位置関係が維持されるため、使用者の場所に関係なく必要な時にすぐ書き込み及び読み出しを行うことができる。

また、通信機能を持たせて複数のシステム間で手書き入力画像及び相対座標を送受信すれば、手書き入力画像の情報を複数のシステム保有者で共有することができる。

以下、本発明に係る手書き画像表示システムの一実施形態を図面に基づいて説明する。
手書き画像表示システムは、たとえば仮想メモ用紙や仮想のり付き付箋紙（以下、「仮想付箋紙」と呼ぶ）のように、使用者周辺の実視野空間に設定した仮想面上に手書きで仮想的な書き込みを行い、その書き込み内容を記録するとともに、必要に応じて手書き画像表示装置との相対位置を一定とした仮想面上に重畳表示される書き込み内容を読み出すことができるように構成されている。

図３及び図４は、本発明による空間手書き用携帯情報端末及び手書き画像表示システムの具体的な使用状況を示す図であり、この場合の空間手書き用携帯情報端末（以下、「端末装置」と呼ぶ）１０は、たとえば携帯電話機、デジタルカメラ及びＰＤＡ等の小型で携帯性に優れている携帯情報端末機器類の本体１１内に手書き画像表示システム（以下、「表示システム」と呼ぶ）Ｗを一体的に組み込んだ構成とされる。端末装置１０の本体１１には、画像入力手段となる撮影レンズ１２、図示しない電源等の各種操作スイッチ類、各種制御機構及び制御基板等の他、本体１１を貫通させた開口部１１ａから取り出して使用する開閉式の手書き画像表示装置が設けられている。この手書き画像装置は、画像表示部２０及び半透過型光学素子のコンバイナー３０を有している。
上述した構成の端末装置１０は、表示システムＷを使用する際、画像表示部２０及びコンバイナー３０を開き、本体適所を使用者の側頭部に押し当てた状態にして、コンバイナー３０を通して実視界に見える所望の空間に設定した仮想面を見ながら、手書きの書き込みまたは読み出しを行うように構成されている。

ここで、表示システムＷの構成を図１のブロック図に基づいて説明する。
この表示システムＷは、所望の空間に設定した仮想付箋紙等の仮想面に指先等による手書きで書き込む様子を背景とともに撮像した書き込み画像を入力する画像入力部（画像入力手段）１と、書き込み画像から画像処理により背景の画像を取り除き、手書きの軌跡のみを抽出することで手書き画像を得る手書き抽出部（手書き抽出手段）２と、手書き画像の書き込み位置に関する相対座標、すなわち端末装置１０を基準として手書き画像を書き込んだ仮想面の相対座標を検出する相対座標検出部（相対座標検出手段）３と、手書き画像を相対座標の情報とともに互いに関連づけして記録する画像記録部（画像記録手段）４と、手書き画像を表示する画像表示部（画像表示手段）２０と、画像表示部２０からの光を反射するとともに使用者の視線方向の実視野からの光を透過するコンバイナー３０とを備えており、使用者から見てコンバイナー３０よりも前方の実視野に、画像表示部２０が表示した手書き画像の虚像を仮想面に重畳表示するように構成されている。

画像入力部１は、撮影レンズ１２を含む各種レンズ等を組み合わせた撮影光学系を介して撮像する画像をＣＣＤやＭＯＳ等の半導体素子によりデジタルデータの画像情報に変換し、この画像情報（書き込み画像）を手書き抽出部２に送る機能を有している。ここで撮像する書き込み画像は、たとえば仮想付箋紙や仮想のり付きメモ用紙等のように、所望の空間上に設定された実体のない仮想面上に仮想で手書きする様子、すなわち図３に示すように、使用者の指先Ｆ等を移動させることで仮想付箋紙４０に仮想の書き込みをしている動作を背景とともに撮像する。なお、手書きにより仮想の書き込みをする仮想面は、後述する相対座標により規定されるため、手書き画像表示装置と一体の端末装置１０を基準とする相対位置が移動するようなことはない。

手書き抽出部２は、画像入力部１で撮像した書き込み画像の入力を受け、画像処理により手書きの軌跡を抽出する機能を有している。この場合の画像処理は、書き込み画像に含まれる移動または変化しない背景画像と、手書きで移動する指先Ｆ等の軌跡画像とに分けて区別し、書き込み画像から手書きで入力した文字等の軌跡画像のみを手書き画像として抽出する。すなわち、手書き抽出部２は、入力された書き込み画像の画像処理を行うことにより、手書きの軌跡を抽出して書き込み内容の手書き画像を得るものである。

相対座標検出部３は、手書き画像を書き込んだ位置に関する相対座標の情報を検出する機能を有している。この相対座標は、手書き画像表示装置を有する端末装置１０の位置を基準として、画像処理により３次元の位置座表を検出したものである。
この結果、端末装置１０で書き込んだ手書き画像に関して、端末装置１０を基準とする相対座標の位置情報を得ることができる。

画像記録部４は、たとえばフラッシュメモリ等の記憶媒体が用いられ、手書き抽出部２で抽出した手書き画像を相対座標検出部３で検出した相対座標と関連づけして記憶する機能を有している。すなわち、手書きの内容を抽出した手書き画像は、書き込みモードで新たに手書き入力を行うたびに、実際に手書きした書き込み位置の相対座標と関連づけした一対の書き込み情報として画像記録部４に記憶される。

画像表示部２０は、書き込みモードにおいて手書き抽出部２で抽出した手書き中の書き込み画像を表示し、さらに、表示モードにおいて画像記録部４に記録した書き込み画像を表示する機能を有している。この画像表示部２０は、たとえば液晶表示パネル（ＬＣＤ）や有機ＥＬ表示パネル等のいわゆる薄型ディスプレイが用いられる。なお、画像表示部２０は、図示しないヒンジ等を用い、本体１１に対して揺動自在に軸支されている。

コンバイナー３０は、画像表示部２０からの光、すなわち画像表示部２０の表示面２１（図４参照）に表示される画像の光を反射するとともに、使用者の視線方向の実視野からの光を透過する半透過型光学素子である。換言すれば、コンバイナー３０は、少なくとも１面に自由曲面（３次元非球面）を有し、実視野となる外界像（実像）を透過するとともに、画像表示部２０の表示面２１に表示された手書き軌跡画像の電子画像を光学的に虚像として投影し、外界像の実像に電子画像の虚像を重畳的に表示する半透過型光学素子である。

ここで、図４に基づいてコンバイナー３０の構成を具体的に説明する。
このコンバイナー３０は、格納状態で表示面２１と対向する面に凹曲面状の反射面３１を有する部材であって、使用時には、この反射面３１と表示面２１とが略対向し、かつ、本体１１とともに略Ｚ字状を形成するように開かれている。この使用状態では、本体１１を貫通する開口部１１ａを通じて画像表示部２０の表示面２１から斜め前方へ向けて手書き画像（電子画像）の光が出され、この光（手書き画像の電子画像）は、反射面３１によって本体１１の後端部側（使用者の頭部側）へ向けて反射される。

この反射面３１は凹面鏡として機能するため、本体１１の後端部側となる側面を使用者の頭側部に押し当てた使用状態では、コンバイナー３０の前方に、すなわち、使用者から見てコンバイナー３０よりも遠方に、手書き画像の虚像が結像して表示される。
また、コンバイナー３０において、反射面３１が形成される領域は、使用者の実視界からの光を透過させる構成とされるため、使用者は、コンバイナー３０を通して視線方向遠方に背景を実像として視認できるようになっている。

本実施形態では、コンバイナー３０は、アクリルやポリカーボネート等の透明な材質からなる略長方形の曲面板状部材であって、その片面側に形成された金属膜等の反射層がハーフミラーとして機能する。この反射層の表面が、画像表示部２０の表示面２１から入射した手書き軌跡画像等の光線を表面で反射させる反射面３１となる。
なお、コンバイナー３０は、図示しないヒンジ等を用い、本体１１に対して揺動自在に軸支されている。

次に、上述した構成の空間手書き用携帯情報端末１０について、その作用と、操作及び動作の手順を図２のフローチャートに基づいて説明する。
ステップＳ１で端末装置１０の操作を開始すると、続くステップＳ２では図示しないスイッチ操作により操作モードの選択を実施する。最初の使用では、書き込みモードを選択するため、ステップＳ３では「ＹＥＳ」に進んだ後、ステップＳ４で書き込み画像の入力を実施する。

書き込み画像の入力は、たとえば図３（ａ）に示すように、指先Ｆや適当な筆記具等による手書きで仮想の書き込みを行う様子が、画像入力部１で背景とともに撮像されることにより実施される。図示の例では、選択した仮想付箋紙４０に「ＡＢＣ」のような仮想の文字を指先Ｆで手書きしているが、この動作による指先Ｆの移動が手書きの軌跡として、背景ととともに撮像される。
このような文字を書き込む手書きの軌跡及び背景は、コンバイナー３０を通して使用者の目により実像として見ることができる。なお、上述した書き込みの文字は、実際には全く存在しない仮想の文字（指先Ｆの軌跡）である。

続くステップＳ５では、手書き抽出部２で画像処理により手書きの抽出を実施する。すなわち、ステップＳ４で入力した書き込み画像について、所定の画像処理により背景画像から手書きの軌跡を抽出する。この場合の画像処理は、たとえば書き込み画像に含まれる移動または変化しない背景画像と、手書きの動作で移動する軌跡画像とに分けて区別し、一方の軌跡画像が手書きで入力した文字等の手書き画像として抽出され、同時に画像表示部２０に表示される。
画像表示部２０に表示された手書き画像は、端末装置１０の使用者がコンバイナー３０を通して、仮想付箋紙４０に重畳された虚像として見ることができる。すなわち、端末装置１０の使用者は、たとえば図３（ｂ）に示すように、仮想付箋紙４０に書き込まれていく文字「ＡＢＣ」の虚像を見て、実際に入力される書き込み内容を確認しながら書き込みを継続して行うことができる。なお、図中に示す書き込み「ＶＷＸＹＺ」は、先に書き込みされた手書き画像の表示例を示している。

ステップＳ５で抽出及び表示された手書き画像は、次のステップＳ６において、相対座標検出部３で書き込み位置の相対座標が検出される。この相対座標は、手書き画像表示装置を有する端末装置１０を基準点として得られる書き込み位置に関する３次元の座標である。このとき、相対座標により仮想付箋紙４０を配置する領域を分割し、たとえば図５に示すように、手書き画像の内容を仕事やプライベート等のカテゴリー毎にまとめて配置するようにしてもよい。図５に示す配置例では、使用者の顔面前方に配置した仮想付箋群Ａ、左肩付近の仮想付箋群Ｂ、胸部前方の仮想付箋群Ｃ、腰部右側の仮想付箋群Ｄ及び腰部左側の仮想付箋群Ｅに配置領域を分散させている。
ステップＳ５及びステップＳ６で検出された手書き画像及び書き込み位置の相対座標に関する情報は、次のステップＳ７において、互いを関連づけした一対の書き込み情報として画像記録部４に記録して保存される。
この結果、仮想付箋紙４０に書き込みをして記録するという書き込みモードは終了する（ステップＳ８）が、同様に他の仮想付箋紙等に書き込みを続ける場合は上述したステップＳ２に戻り、以下同様の操作を繰り返して書き込み情報（手書き画像及び相対座標）を順次画像記録部４に記録する。

一方、上述した操作で記録した手書き画像を表示して読み出す場合には、任意の場所において、ステップＳ３で「ＮＯ」に進んだ後、ステップＳ１１に進んで画像記録部４から手書き画像及び相対座標の情報を呼び出す。
次のステップＳ１２では、呼び出した手書き画像が、相対座標に基づいて画像表示部２０に表示される。
従って、端末装置１０の使用者は、コンバイナー３０を通して、画像表示部２０に表示された手書き画像を仮想付箋紙４０に重畳された虚像を見て読み出すことができる。すなわち、書き込みモードで書き込んだ書き込み内容の虚像が、端末装置１０を基準とし相対座標の一致する位置で仮想付箋紙４０に重畳して表示されるので、同様の書き込みをどこでも読み出すことが可能になる。なお、この虚像は端末装置１０の使用者だけに見えるものであるから、他人に情報を知られることはない。

この結果、仮想付箋紙４０の書き込みを読み出すという表示モードは終了する（ステップＳ１３）が、同様に他のカテゴリーに分類した仮想付箋紙等の読み出しを続ける場合は上述したステップＳ２に戻り、以下同様の操作を繰り返すことにより、各仮想付箋紙に書き込まれた書き込み画像を読み出すことができる。
また、書き込み画像を読み出した後、同じ仮想付箋紙４０に新たな書き込みを追加する場合には、やはり上述したステップＳ２に戻って操作モードの切替操作を行い、以下上述した書き込みモードを実施すればよい。

上述したように、本発明の手書き画像表示システムによれば、端末装置１０の使用者が所望の空間上に設定した仮想付箋紙４０等の仮想面に対して指先Ｆ等による仮想的な手書き入力の書き込みを行い、読み出し時においては、端末装置１０の手書き画像表示装置を基準とする相対座標が一致する空間上の仮想面に書き込み内容を表示して読み出しをしたり、あるいは、同じ仮想面に新たな書き込みを追加して行うことも可能になる。従って、実像として見える実体がなく、相対座標で規定されて移動しない仮想面に手書きで仮想の書き込みを行い、同仮想面の書き込み情報を端末装置１０の所有者が常に携帯して移動することが可能になる。

また、上述した端末装置１０は、通信機能を持たせて複数の端末装置間で手書き情報及び相対座標の情報を送受信できるようにすれば、端末装置１０の保有者間で情報を共有することが可能になる。この場合、各端末装置１０毎に個別の認証番号を付与し、たとえば認証番号毎に読み出し許可を与えるような管理をすれば、仮想面に対する書き込みの内容に応じて、特定の個人やグループ内だけで情報を共有することも可能になる。
また、このような手書き画像表示システムは、携帯電話機、デジタルカメラ及びＰＤＡ等の携帯情報端末に組み込んで一体化すれば、使用者は端末装置１０を常時携帯して必要時に書き込み及び読み出しを容易に行うことができるようになり、多機能で利便性の高い装置を提供することができる。特に、広範な通信網に接続可能な通信機能を予め備えている携帯電話機等に組み込めば、多様な用途が期待できる。

また、上述した実施形態では、仮想の枠で囲った仮想付箋紙４０としたが、仮想枠のない仮想面に書き込むようにしてもよい。
なお、本発明は上述した実施形態に限定されるものではなく、たとえば手書き画像表示システムを携帯情報端末に組み込まないでシステム単独の機能を有する装置とするなど、本発明の要旨を逸脱しない範囲内において適宜変更することができる。

本発明に係る手書き画像表示システムの一実施形態として、構成例を示すブロック図である。 図１の手書き画像表示システムについて、操作及び動作の手順を示すフローチャートである。 本発明に係る空間手書き用携帯情報端末の使用例を示す図で、（ａ）は書き込み状況を示す斜視図、（ｂ）は使用者がコンバイナーを通して見ることができる書き込みの状態例である。 本発明に係る空間手書き用携帯情報端末の使用状況とともにコンバイナーの構成例を示す平面図である。 仮想付箋紙群をカテゴリー毎に分けて配置した例を示す図である。

符号の説明

１ 画像入力部
２ 手書き抽出部
３ 相対座標検出部
４ 画像記録部
１０ 空間手書き用携帯情報端末（端末装置）
１１ 本体
１２ 撮影レンズ
２０ 画像表示部
２１ 表示面
３０ コンバイナー
３１ 反射面
４０ 仮想付箋紙（仮想面）
Ｗ 手書き画像表示システム

Claims (3)

1. 所望の空間に設定した仮想面に手書きで書き込む様子を撮像した書き込み画像を入力する画像入力手段と、
   前記書き込み画像から画像処理により手書きの軌跡を抽出して手書き画像を得る手書き抽出手段と、
   前記手書き画像の書き込み位置に関する相対座標を検出する相対座標検出手段と、
   前記手書き画像を前記相対座標とともに記録する画像記録手段と、
   前記手書き画像を表示する画像表示手段及び該画像表示手段からの光を反射するとともに使用者の視線方向の実視野からの光を透過する半透過型光学素子を少なくとも有する手書き画像表示装置とを備え、
   前記手書き画像表示装置の使用者から見て前記半透過型光学素子よりも前方の実視野に前記画像表示手段が表示する手書き画像の虚像を重畳して表示することを特徴とする手書き画像表示システム。
2. 前記手書き画像及び前記相対座標を送受信する通信手段を備えていることを特徴とする請求項１に記載の手書き画像表示システム。
3. 請求項１または２に記載の手書き画像システムが一体化して組み込まれていることを特徴とする空間手書き用携帯情報端末。

Images