JP2019219965A - 共有端末、筆記方法、プログラム - Google Patents

Abstract

【課題】ディスプレイの広い範囲で描画が容易な共有端末を提供する。【解決手段】ディスプレイ３を有する共有端末（電子黒板２）であって、ディスプレイに対する指示物体の接触位置１７を取得する接触位置取得手段と、接触位置に基づいて描画像をディスプレイに描画する描画手段と、指示物体を操作するユーザのディスプレイに対する視線位置１３を検出する視線位置検出手段と、接触位置取得手段が取得した接触位置と、視線位置検出手段が検出した視線位置とに応じて、ディスプレイに対する視線位置の周囲の描画像１４、１５を決定する描画像決定手段と、描画像決定手段が決定した視線位置の周囲の描画像を複製してディスプレイにおける接触位置の周囲に表示させる複製手段と、描画手段が接触位置に描画した描画像を、視線位置の周囲に移動してディスプレイに表示させる描画像移動手段と、を有する。【選択図】図２

Description

本発明は、共有端末、筆記方法、及びプログラムに関する。

液晶パネル等のディスプレイにユーザが電子ペンなどの指示物体を用いて指示したディスプレイ上の座標を検出するタッチパネルと、タッチパネルから出力される座標データに基づいて筆記されたストロークなどを描画して表示させる制御装置と、を備えた電子黒板が広く使用されている。

タッチパネルは電子黒板に限らず広く使用されており、タッチパネルへの筆記を支援する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、タッチパネルへの筆記位置を正確に調整するため、ユーザによる筆記位置と視線位置に差がある場合、描画像の表示位置を補正するスマートフォンが開示されている。

しかしながら、従来の技術では、電子黒板のようにサイズが大きいディスプレイをユーザが広く活用して筆記することが容易でないという問題があった。図１を参照して説明する。

図１は、電子黒板にユーザが筆記する１シーンを示す。図１（ａ）に示すように、電子黒板には大きなサイズのディスプレイを搭載したモデルもあり、ディスプレイ３の端から端までユーザが筆記しようとすると、ユーザはディスプレイサイズに応じた距離を移動しなければならない。

また、図１（ｂ）に示すように、ユーザの位置によってはユーザの体でディスプレイ３が隠れてしまうこと、又は、他のユーザが画面を見ようとする視線を筆記者であるユーザが遮ってしまうことが生じやすい。

これらのため、従来は、ディスプレイ３を広く活用してユーザが筆記すること（端から端まで容易に筆記すること）が容易ではなかった。端から端まで筆記し、視線を遮らないようにするためには、ユーザがディスプレイ３の端から端まで移動したり頻繁に立ち位置を変えたりする必要があった。

本発明は、上記課題に鑑み、ディスプレイの広い範囲で描画が容易な共有端末を提供することを目的とする。

上記課題に鑑み、本発明は、ディスプレイを有する共有端末であって、前記ディスプレイに対する指示物体の接触位置を取得する接触位置取得手段と、前記接触位置に基づいて描画像を前記ディスプレイに描画する描画手段と、前記指示物体を操作するユーザの前記ディスプレイに対する視線位置を検出する視線位置検出手段と、前記接触位置取得手段が取得した前記接触位置と、前記視線位置検出手段が検出した前記視線位置とに応じて、前記ディスプレイに対する前記視線位置の周囲の描画像を決定する描画像決定手段と、前記描画像決定手段が決定した前記視線位置の周囲の描画像を複製して前記ディスプレイにおける前記接触位置の周囲に表示させる複製手段と、前記描画手段が前記接触位置に描画した描画像を、前記視線位置の周囲に移動して前記ディスプレイに表示させる描画像移動手段と、を有することを特徴とする。

ディスプレイの広い範囲で描画が容易な共有端末を提供することができる。

電子黒板にユーザが筆記するシーンの一例を示す図である。 ユーザがディスプレイの遠方に筆記する際の支援の概略を説明する図の一例である。 電子黒板の概略斜視図の一例である。 電子黒板のハードウェア構成図の一例である。 電子黒板が有する機能をブロック状に示す機能ブロック図の一例である。 １つのストロークデータの一例を示す図である。 従来技術と本実施形態の技術とを比較して説明する図の一例である。 遠方筆記モードへの遷移と遠方筆記モードにおける電子黒板の動作手順を示すフローチャート図の一例である。 視線領域の描画像のコピー位置、及び、接触位置の描画像の移動先の位置について説明する図である。 電子黒板の設定画面の一例を示す図である。 接触位置にすでに筆記されている描画像の表示例を説明する図の一例である。 コピーされた視線領域の描画像及び接触位置における新たな描画像の表示例を説明する図の一例である。 接触位置にすでに筆記されている描画像の表示例を説明する図の一例である。 視線領域に描画されている描画像と接触位置の周囲にコピーして表示される描画像の一例を示す図である。 ユーザが視線領域の大きさと形状を任意に設定する視線領域設定画面の一例である。 ユーザが視線領域の大きさと形状を任意に設定する視線領域設定画面の一例である。 視線領域の視覚効果の一例を示す図である。 遠方筆記モードを終了し、視線領域に描画像を反映させる際の視覚効果の一例を示す図である。 電子黒板の他の構成例を示す図である。 電子黒板の他の構成例を示す図である。 電子黒板の他の構成例を示す図である。 電子黒板の他の構成例を示す図である。

以下、本発明を実施するための形態の一例として電子黒板と電子黒板が行う筆記方法について図面を参照しながら説明する。

＜本実施形態の電子黒板の動作の概略＞
図２を用いて、本実施形態の電子黒板２の動作の概略を説明する。図２は、ユーザがディスプレイ３の遠方に筆記する際の支援の概略を説明する図の一例である。筆記者であるユーザから見てディスプレイ３の遠方領域に筆記する際に支援が行われる動作モードを「遠方筆記モード」と称する。

図２（ａ）に示すように、電子黒板２の右上にはすでに「ＡＢＣ」と筆記されており、ユーザは「ＡＢＣ」という描画像１４を見ている。ユーザの視線方向１６とディスプレイ３の交点を視線位置１３と称する。また、電子黒板２は視線位置１３に基づいて予め決まった大きさ及び形状の視線領域１１を決定する。

一方、ユーザは電子ペン１００で電子黒板２の左下に接触し、電子黒板２は電子ペン１００の接触位置１７を検出する。電子黒板２は視線位置１３と接触位置１７に応じて、視線領域１１の描画像１４を決定する。図２に示す接触領域１２は視線領域１１の描画像１４がコピー（複製すること）して表示される範囲を示すためのものであり、電子黒板２は接触領域１２を決定しなくてもよい。

図２（ｂ）に示すように、ユーザは視線方向１６を接触領域１２に移動する。ユーザの視線方向１６が視線領域１１から接触位置１７（又はその周囲）に移動したことを検出した電子黒板２は、視線領域１１の描画像１４を接触位置１７の周囲にコピーする。これにより、ユーザは手元にコピーされた描画像１４の近くに新たに描画像１５を筆記できる。図２（ｂ）では「ＤＥＦ」という描画像１５が筆記されている。

図２（ｃ）に示すように、筆記が終わると電子ペン１００をディスプレイ３から離して、ユーザは再度、視線方向１６を視線領域１１に移動する（視線領域１１に移動しなくても接触位置１７から外せばよい）。ユーザの視線方向１６が接触位置１７から外れたことを検出した電子黒板２は、接触位置１７の周囲に筆記された新たな描画像１５を視線領域１１に反映させる。したがって、視線領域１１には描画像１４の下方に描画像１５が表示される。

このように、ユーザは筆記したい位置（視線領域１１）を見ながら、電子ペン１００でディスプレイ３に触り、接触位置１７から筆記を開始して、筆記後は電子ペン１００をディスプレイ３から離して視線方向１６を視線領域１１に戻すことで、移動しなければ筆記できない遠方に筆記することができる。また、ユーザは手元を見ながら筆記できるので筆記しやすい。また、手元に遠方の描画像１４を表示できるので、描画像１４との関係を考慮しながら筆記できる。また、視線領域１１に移動された描画像１５に対する他のユーザの視線を筆記者であるユーザが遮ることがほとんどない。したがって、本実施形態の電子黒板２は、ディスプレイ３の端から端までユーザが移動しなくても、タッチパネルを広く活用してユーザが筆記することを支援することができる。

＜用語について＞
視線位置の周囲とは、視線位置１３から所定距離内をいい、本実施形態では視線領域１１が視線位置１３の周囲に相当する。

また、距離はディスプレイ３の表面における２点間のユークリッド距離により算出される。検出される位置の単位がドット単位であれば、画面上の座標により算出してもよいし、１インチあたりのドット数（ｄｐｉ）により算出してもよい。

接触位置の周囲とは接触位置１７から所定距離内をいい、本実施形態では接触領域１２が接触位置１７の周囲に相当する。

接触位置と視線位置とに応じてとは、接触位置と視線位置が所定の距離以上か否かが考慮されることをいう。あるいは、接触位置と視線位置が少なくとも一致しないと判断できる程度に離れている場合をいう。どの程度の距離の場合に離れていると判断されるかは視線位置１３の精度を考慮して、明らかに接触位置と視線位置とが異なる状態であればよい。

共有端末とは複数のユーザに共有されるという端末又は装置をいう。本実施形態では電子黒板という用語で説明する。電子黒板とは、表示している画面に対する文字、図、画像、手書き画像、スタンプ等の情報の追加をユーザから受付可能な機能を持つものである。電子黒板は情報処理装置の機能も有している。電子黒板は電子情報ボード、電子ホワイトボード、コピーボード又は電子ボード等と呼ばれる場合がある。なお、ホワイトボードはタッチパネルにより手書きされたストロークを取り込むタイプの他、プロジェクタとホワイトボード（ディスプレイを有さない通常の黒板タイプ）により実現してもよい。電子黒板以外ではデジタルサイネージを共有端末とすることができる。

タッチパネルを備えたディスプレイを有する情報処理装置が電子黒板となる場合がある。このような情報処理装置としてタブレット端末がある。タブレット端末ではユーザが筆記のために移動するほど大きなものはないが、本実施形態を好適に適用することができる。

＜構成例＞
図３は、電子黒板２の概略斜視図の一例である。電子黒板２は、ディスプレイ３を有している。電子黒板２は、電子ペン１００又はユーザの手によって生じたイベントにより筆記された描画像を、ディスプレイ３に表示させることができる。なお、ユーザの手によって生じるイベントには描画像の拡大、縮小、ページめくり等のジェスチャもあり、これらのイベントに対して電子黒板２はディスプレイ３上に表示されている画像の大きさやページを変更させることもできる。

図３に示すように、電子黒板２は視線検出用カメラ１９を有している。図３では、ディスプレイ３の左上と右上にそれぞれ視線検出用カメラ１９が配置されているが、視線検出用カメラ１９は１つでもよく、また、配置場所も図示された位置には限られない。視線検出の仕組みについては後述する。視線検出用カメラ１９が２つあるのは、ユーザに近い方の視線検出用カメラ１９を選択的に使用するためである。

図３には示されていないが、電子黒板２は通信ネットワークに接続されており、任意の他の電子黒板２に対し通信ネットワークを介して通信可能に接続されている。一方の拠点の電子黒板２に生じたイベントは、他方の電子黒板２に送信される。したがって、ユーザが電子ペン１００又は手で生じさせたイベントに基づいて、一方の拠点の電子黒板２のディスプレイ３が表示する画像を変更すると、イベントが他方の拠点の電子黒板２に送信され該電子黒板２のディスプレイ３の画像も変更される。

更に、電子黒板２には、所定のケーブルを介してテレビ会議端末が接続される場合がある。テレビ会議端末は、遠隔地にある他拠点のテレビ会議端末との間で、画像と音声を相互に送受信して、画像を表示装置に表示し音声をスピーカから出力することで、遠隔地のユーザが会議などの遠隔コミュニケーションを行うことを可能とする。したがって、テレビ会議端末と接続された（又はテレビ会議端末が内蔵された）電子黒板２は、ディスプレイ３に描画像だけでなく自拠点と他拠点の画像を表示し、スピーカから音声を出力できる。

また、電子黒板２には、Display Port（登録商標）、DVI、HDMI（登録商標）及びVGA等の規格による通信が可能なケーブルを介してＰＣ（Personal Computer）を接続することも可能であり、ＰＣの映像をディスプレイ３に表示したり、キャプチャしたりすることができる。また、電子黒板２は、電子ペン１００又は手によるイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、ＰＣに送信してＰＣを操作することができる。

＜＜ハードウェア構成例＞＞
続いて、図４を用いて電子黒板２のハードウェア構成を説明する。図４は、電子黒板２のハードウェア構成図の一例である。図４に示されているように、電子黒板２は、電子黒板２全体の動作を制御するＣＰＵ１０１、ＩＰＬ等のＣＰＵの駆動に用いられるプログラムを記憶したＲＯＭ１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ１０３、通信ネットワークとの通信を制御するネットワークコントローラ１０５、及び、ＵＳＢメモリ５との通信を制御する外部記憶コントローラ１０６を備えている。

また、電子黒板２は、ＰＣ６がＰＣ６のディスプレイ３に表示している静止画又は動画を取り込むキャプチャデバイス１１８を有する。また、テレビ会議端末７からの映像を取り込む外部ビデオインタフェース１１１を有する。また、グラフィクス（ディスプレイ３に表示する画面の画像処理）を専門に扱うＧＰＵ１１２、及び、ＧＰＵ１１２からの映像をディスプレイ３やテレビ会議端末７へ出力するために画面表示の制御及び管理を行うディスプレイコントローラ１１３を備えている。

更に、電子黒板２は、タッチパネルの処理を制御するセンサコントローラ１１４、ディスプレイ３に電子ペン１００が接触したことを検出するタッチパネル１１５を備えている。また、電子黒板２は、電子ペンコントローラ１１６を備えている。電子ペンコントローラ１１６は、電子ペン１００と通信することで、ディスプレイ３への電子ペン１００のペン先のタッチやペン尻のタッチの有無を判断する。なお、電子ペンコントローラ１１６が、ペン先及びペン尻だけでなく、電子ペン１００のユーザが握る部分や、電子ペン１００のその他の部分のタッチの有無や圧力を判断するようにしてもよい。

また、電子黒板２は、視線検出用カメラコントローラ１１７に接続された２つの視線検出用カメラ１９を有している。視線検出用カメラコントローラ１１７は視線検出用カメラ１９を制御して撮像した画像データを処理することで、視線位置１３を検出する。

更に、電子黒板２は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ネットワークコントローラ１０５、外部記憶コントローラ１０６、外部ビデオインタフェース１１１、キャプチャデバイス１１８、ＧＰＵ１１２、センサコントローラ１１４、電子ペンコントローラ１１６、及び、視線検出用カメラコントローラ１１７を図２に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１２０を備えている。

＜機能について＞
図５は、電子黒板２が有する機能をブロック状に示す機能ブロック図の一例である。電子黒板２は、入力検出部２１、視線位置検出部２２、描画制御部２３、描画像決定部２４、描画像コピー部２５、ストローク描画部２６、描画像移動部２７、視覚効果部２８、ＵＩ画像生成部２９、背景生成部３０、映像重畳部３１、レイアウト管理部３２、及び、表示制御部３３を有する。電子黒板２が有するこれらの機能は、図２に示された各構成要素のいずれかが、ＳＳＤ２０４からＲＡＭ２０３に展開されたプログラムに従ったＣＰＵ２０１からの命令により動作することで実現される機能又は手段である。

また、電子黒板２は、図２に示されたＲＯＭ２０２、ＲＡＭ２０３、及びＳＳＤ２０４等に構築されるストロークデータＤＢ３５を有する。ストロークデータＤＢ３５には、ユーザが筆記した各ストロークの座標等の情報が格納されている。１つ以上のストロークのまとまり（例えば、文字のように１つ以上のストロークで意味をなすもの）を描画像という。ストロークデータの詳細について図６にて説明する。

入力検出部２１はタッチパネル１１５により実現され、指示物体である電子ペン１００又は手Ｈがディスプレイ３を指示したこと及び指示した位置（座標）を検出する。すなわち、タッチパネルにユーザが筆記を行ったことと接触位置１７を検出する。接触位置１７はタッチパネルにおいて接触された位置の座標である。座標の基準点はどこでもよい。電子黒板２は手Ｈによる筆記も可能だが以下では説明のため電子ペン１００で描画するとして説明する。また、上記のジェスチャ入力（例えば、描画像・画面の拡大又は縮小、ページ送り、長押し、など）は直接の筆記ではないが、このうち、描画像の拡大又は縮小は遠方筆記モードでも可能である。しかし、本実施形態では主に筆記時の処理について説明するものとし、描画像の拡大・縮小については後述する。入力検出部２１が検出したタッチパネル上の接触位置１７は描画制御部２３に通知される。

視線位置検出部２２はユーザの視線方向１６及び視線位置１３を検出する。視線方向１６の検出は視線位置１３の検出の前提として行われるので以下では、単に視線位置１３を検出するという。電子黒板２の前方には複数のユーザが存在する可能性があるが、その場合は、最も近いユーザの視線を検出する。例えば、顔認識を行い、顔の外接矩形が最も大きいユーザを特定し、このユーザの視線位置１３を検出する。あるいは、ディスプレイ３に描画するユーザの姿勢などを画像認識して筆記するユーザを特定してもよい。あるいは、超音波センサなどの距離センサで最も近いユーザが電子黒板２から見てどの方向にいるかを特定し、この方向のユーザの顔から視線位置１３を検出してもよい。

描画制御部２３は、タッチパネルへの筆記に関する全体的な制御を行う。描画制御部２３は、遠方筆記モードを行うか否かの判断を行う。遠方筆記モードを行うか否かの判断の基準は、視線位置１３と電子ペン１００の接触位置１７とが同じでないこと（所定値以上離れていること）である。遠方筆記モードで動作すると判断された場合、描画制御部２３は描画像決定部２４に視線領域１１を決定させ、視線領域１１内の描画像１４を決定させる。また、描画像コピー部２５に視線領域１１の描画像１４を接触位置１７の周囲にコピーさせる（複製させる）。また、遠方筆記モードにおいて、ストローク描画部２６が接触位置１７に描画像１５を描画し、ユーザの視線位置が接触位置１７から外れた場合、描画像移動部２７に、接触位置１７の描画像１５を視線領域１１に反映させる。反映とは、描画像１５を視線領域１１に移動することをいう。

描画像決定部２４は、視線位置１３に基づいて視線位置１３の周囲に視線領域１１を決定し、この視線領域１１内の描画像１４を決定する。描画像決定部２４は予め大きさと形状が定められている視線領域１１を視線位置１３に基づいて求める。視線領域１１は上記のように円や矩形である。視線位置１３を中心にしてこの定められている視線領域１１を決定する。そして、視線領域１１に含まれている描画像（複数の場合は全て）を、視線位置１３の周囲にある描画像として決定する。なお、遠方筆記モードでは接触領域１２を決定する必要はないが、説明の便宜上、接触領域１２と視線領域１１の大きさは同じとする。例えば一例として接触位置１７の中心を基準に視線領域１１と同じ広さが接触領域１２である。

描画像コピー部２５は、視線領域１１の描画像１４を接触位置１７の周囲にコピーする。コピーする位置は接触位置１７の上方などであるが、詳細は図９にて説明する。

ストローク描画部２６は入力検出部２１が検出する電子ペン１００の接触位置１７を連結して得られるストロークをディスプレイ３に描画する。ストロークとは電子ペン１００のタッチダウンからタッチアップまでの一連の座標が連結された線状のオブジェクトである。遠方筆記モードが行われても行われなくても、ストローク描画部２６が描画する位置に変更はない。なお、筆記には、ストロークを描画するだけでなく、既にあるストロークを削除するイベントも含まれる。

ストローク描画部２６が描画した各ストロークのストロークデータはストロークデータＤＢ３５に記憶される。描画像移動部２７は、接触位置１７に筆記された描画像１５を視線領域１１に移動する。移動時には、接触位置１７の周囲の描画像１４に対する描画像１５の相対位置が、視線領域１１でも維持されるように、描画像１５を視線領域１１に移動する。なお、描画像移動部２７は、接触位置１７の周囲にコピーされた描画像１４を消去する。

視覚効果部２８は、各種の視覚効果を描画像１４等に付加して表示する。例えば、視線位置１３又は視線領域１１がどこにあるかを、視線領域１１を囲む枠で示す視覚効果を描画したり、視線領域１１の付近（視線領域１１から所定距離内）にマークを表示する視覚効果を用いたりする。また、描画像移動部２７が描画像１５を視線領域１１に移動する際は、アニメーションや視線領域１１を枠で示す視覚効果を描画する。

ＵＩ画像生成部２９は、電子黒板２に予め設定されているメニューボタンなどが配置されたＵＩ（ユーザインターフェース）画像を生成する。背景生成部３０は、タッチパネルの背景となる無地、又は、グリッド表示などの画像を生成する。また、過去にキャプチャされた画像も背景画像となりうる。

レイアウト管理部３２は、映像重畳部３１に対して、描画像コピー部２５、ストローク描画部２６、描画像移動部２７又は視覚効果部２８が描画した描画像又は視覚効果、ＵＩ画像生成部２９が生成するＵＩ画像、及び、背景生成部３０が生成する背景画像、のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部３２は、映像重畳部３１に対して、描画像及び視覚効果、ＵＩ画像、並びに、背景画像をどの順番で重畳させるか、又は、非表示にさせるかを指示することができる。

映像重畳部３１は、レイアウト管理部３２から出力されたレイアウト情報に基づき、描画像及び視覚効果、ＵＩ画像、並びに、背景画像のレイアウト（重ね合わせ）を行う。重ね合わされた画像を重畳画像という。

表示制御部３３は、映像重畳部３１が作成した重畳画像をディスプレイ３に表示する。ただし、以下では、説明を簡単にするため、描画像コピー部２５、ストローク描画部２６、描画像移動部２７又は視覚効果部２８が描画したことで表示まで行われるものとする。

＜ストロークデータについて＞
図６を用いてストロークデータについて説明する。図６は１つのストロークデータの一例を示す。図６では１つのストロークがＪＳＯＮ形式で記載されている。ストロークデータの形式はＸＭＬ，ＣＳＶ又はその他の形式でもよい。
・idはオブジェクト（ストローク）を識別する識別情報である。
・typeはオブジェクトのタイプを示す。ストロークの場合は「stroke」となる。
・parentはストロークが描画されたページ番号（ページの識別情報）である。
・meetingは会議（１回の電源オンからオフまで）の識別情報である。
・ownerは、ストロークの作成者である。例えばログインしているユーザのＩＤ等である。
・widthはストローク作成時の線の幅（座標１つ分の幅）である。
・heightはストローク作成時の線の高さ（座標１つ分の高さ）である。
・attrはストロークの属性（ストロークの幅、高さ、色、ベジェの有無、形状）である。
・pointsはストロークを構成する座標である。
・positionはpointsの座標の取り方（絶対座標、相対座標、差分座標）を指定する。「絶対座標」は、タッチパネルの所定の原点に対する座標である。「相対座標」は、先頭要素の座標は絶対座標であるが他の点は先頭要素を基準点とする相対座標である。「差分座標」は、先頭要素の座標は絶対座標であるが他の点は直前の点からの差分値を示す。

このようにストロークごとにストロークデータが記憶される。遠方筆記モードでは、視線領域１１の描画像１４を構成する１つ以上のストロークデータが接触位置１７の周囲にコピーされ、遠方筆記モードが終了すると接触位置１７に筆記されたストロークデータは視線領域１１に移動される。

＜従来技術との比較＞
次に、図７を用いて従来技術と本実施形態の技術とを比較して説明する。図７は、従来技術と本実施形態の技術とを比較して説明する図の一例である。

まず、図７（ａ）（ｂ）は従来技術を説明する図である。図７（ａ）の視線領域１１と接触領域１２は説明のために図示されているに過ぎず、従来技術では視線領域１１と接触領域１２という概念はない。図７（ｂ）に示すように、ユーザは視線領域１１を見ながら接触位置１７にストロークを筆記するが、描画像は接触位置１７に表示されず、視線の先に筆記した内容が表示されるだけである。

図７（ｃ）〜（ｅ）は本実施形態の遠方筆記モードを説明する図である。本実施形態では、電子ペン１００がディスプレイ３に接触した際のユーザの視線位置１３を電子黒板２が検出し、図７（ｃ）に示すように、電子ペン１００の接触位置１７と視線位置１３が同じかどうかを判断する（比較する）。接触位置１７と視線位置１３が所定の距離以上の場合、図７（ｄ）に示すように、電子黒板２は視線領域１１の描画像１４を接触領域１２にコピーして表示する。

また、図７（ｄ）に示すように、ユーザは接触位置１７を見ながら手元で筆記する。筆記が終わり、ユーザの視線位置１３が接触位置１７から外すと（図７（ｅ））、電子黒板２は新たな描画像１５を視線領域１１に反映させる（移動させる）。

したがって、従来技術ではユーザは遠方を見ながら筆記しなければならず、手元で筆記することは困難である。つまり容易には筆記できない。本実施形態では、容易に手元での筆記を実現できる。また、手元に視線位置１３の描画像１４を表示できるので、描画像１４との関係を考慮しながら筆記できる。

＜電子黒板の動作＞
図８を用いて、遠方筆記モードにおける電子黒板２の動作手順を説明する。図８は、遠方筆記モードへの遷移と遠方筆記モードにおける電子黒板２の動作手順を示すフローチャート図の一例である。図８の処理は例えば電子黒板２の電源オンによりスタートする。

ユーザが電子ペン１００でストロークの筆記を開始すると、電子ペン１００が接触した接触位置１７を入力検出部２１が検出する（ステップＳ１）。

複数の視線検出用カメラ１９が搭載されている場合、視線位置検出部２２はユーザに近い方の視線検出用カメラ１９の画像データを採用するため、電子ペン１００の接触位置１７がディスプレイ３（画面）の左半分に含まれるか否かを判断する（ステップＳ２）。すなわち、図３のように電子黒板２の左右に視線検出用カメラ１９が搭載されている場合（Ｓ２のＹｅｓ）、電子ペン１００の接触位置１７が左半分の場合は左側の視線検出用カメラ１９の画像データを使い（ステップＳ３）、右半分の場合は（Ｓ２のＮｏ）右側の視線検出用カメラ１９の画像データを使うようにする（ステップＳ４）。

次に、視線位置検出部２２は、左側又は右側の視線検出用カメラ１９が撮像した画像データから視線位置１３を検出する（ステップＳ５）。

そして、電子ペン１００の接触位置１７と視線位置１３を比較して動作モードの切り替えを行う。動作モードには、通常の動作モード（以下、通常筆記モードという）と遠方筆記モードがあり、遠方筆記モードでなければ通常筆記モードである。

描画制御部２３は、電子ペン１００の接触位置１７と視線位置１３が同じか否かを判断する（ステップＳ６）。

電子ペン１００の接触位置１７と視線位置１３が同じだった場合（ステップＳ６のＹｅｓ）、描画制御部２３は通常筆記モードで動作すると判断する（ステップＳ７）。

ストローク描画部２６は通常通り接触位置１７にストロークを描画して表示する（ステップＳ８）。ストローク描画部２６は、電子ペン１００がディスプレイ３から離れるまでストロークデータを取り込みながらストロークの描画と表示を繰り返す（ステップＳ９）。

電子ペン１００の接触位置１７と視線位置１３が所定の距離以上の場合（ステップＳ６のＮｏ）、描画制御部２３は遠方筆記モードで動作すると判断する（ステップＳ１０）。

描画制御部２３は描画像決定部２４に、視線領域１１を決定させ視線領域１１内の描画像１４を決定させる。更に、描画像コピー部２５に対し視線領域１１内の描画像１４を接触位置１７の周囲に表示させる（ステップＳ１１）。接触位置１７の周囲とは、接触位置１７と重ならないが、接触位置１７の近くが好ましい。ただし、後述するように、描画像１４の色等を調整することによって接触位置１７と描画像１４が重なっても視認性を維持できる。通常、ストロークは左から右、上から下に筆記されるので、一例として、電子ペン１００の接触位置１７の上側に、視線領域１１の描画像１４を表示させる。描画像コピー部２５は、描画像１４の外接矩形の高さとマージンを考慮して接触位置１７の上方に描画像１４の外接矩形の左上コーナーを配置する。描画像コピー部２５は描画像１４の移動量に応じてストロークデータの座標を変更する。詳細は図９にて説明する。

視線領域１１の描画像１４が、視線領域１１と接触位置１７の周囲の２つの場所に表示される。このためには、描画像移動部２７は、ストロークの座標を変更後、視線領域１１の描画像１４を構成するストロークデータをコピーしてストロークデータＤＢ３５に記憶させる。この場合、視線領域１１の描画像１４のストロークデータであることが分かるように（後で消去するため）、例えばコピーされたストロークデータのidを、視線領域１１の描画像１４を構成するストロークデータの「id＋枝番」のように付与する。
視線方向１６のストロークデータのid : b518dfe9−10c0−4d05−aff4−5755dbb11d30
コピーされたストロークデータのid: b518dfe9−10c0−4d05−aff4−5755dbb11d30α
したがって、描画像移動部２７は、遠方筆記モードが終了した際は、枝番（α）が付与されているストロークデータを消去すればよいことが分かる。消去することで、描画像１４が残ったままになり、同じ描画像が２箇所に表示されたままになることを防止できる。

ユーザがストロークを筆記すると、ストローク描画部２６は接触位置１７にストロークを描画する（ステップＳ１２）。ストローク描画部２６は、電子ペン１００がディスプレイ３から離れるまでストロークデータを取り込みながらストロークを描画して表示することを繰り返す（ステップＳ１３）。遠方筆記モードで筆記されたストロークデータは、ユーザが接触位置１７から視線を外すと（接触位置１７から所定距離内に視線位置１３が検出されなくなると）、視線領域１１の描画像１４の周囲に移動される。このため、後に移動するストロークデータであることが分かるように、例えばストロークデータのidを、視線領域１１の描画像１４を構成するいずれかのストロークデータのid＋枝番のように付与する。
視線領域１１の描画像１４のストロークデータのid : b518dfe9−10c0−4d05−aff4−5755dbb11d30
新たに描画されたストロークデータのid: b518dfe9−10c0−4d05−aff4−5755dbb11d30β
したがって、描画像移動部２７は、遠方筆記モードが終了した際は、枝番（β）が付与されているストロークデータを移動すればよいことが分かる。

遠方筆記モードでは、視線位置検出部２２がユーザの視線を検出している。描画制御部２３は電子ペン１００がディスプレイ３から離れている状態で、最後の電子ペン１００の接触位置１７から視線が外れたか否かを判断する（ステップＳ１４）。

最後の電子ペン１００の接触位置１７から視線が外れるまでは（ステップＳ１４のＹｅｓ）、ストローク描画部２６が視線位置１３の周囲へのストロークの描画と表示を繰り返す（ステップＳ１５）。

最後の電子ペン１００の接触位置１７から視線が離れた場合（ステップＳ１４のＮｏ）、描画制御部２３は、「遠方筆記モード」が終了したと判断し、描画像移動部２７が接触位置１７に筆記されたストロークデータを視線領域１１の描画像１４の周囲に移動させて表示する（Ｓ１６）。描画像移動部２７は、例えばβという枝番で移動対象のストロークデータを特定し、視線領域１１の描画像１４の外接矩形の左上コーナーを基準に、描画像１４の外接矩形の高さとマージンを考慮して、接触位置１７の周囲に描画された描画像１５のストロークデータの座標を変更する。詳細は図９にて説明する。こうすることで、接触領域１２における描画像１４と描画像１５の相対位置を維持して、視線位置１３の描画像１４の周囲に描画像１５を表示できる。

また、描画像移動部２７はαという枝番で特定されるストロークデータを消去する。これにより、接触位置１７にコピーされた描画像を消去できる。

＜視線領域の描画像のコピー位置、及び、接触位置の描画像の移動先の位置＞
図９を用いて、視線領域１１の描画像１４のコピー位置、及び、接触位置１７の描画像１５の移動先の位置について説明する。図９は視線領域１１の描画像１４のコピー位置、及び、接触位置１７の描画像１５の移動先の位置について説明する図である。

図９（ａ）は視線領域１１の描画像１４のコピー位置を説明する図である。すでに視線領域１１は決まっているものとする。また、電子ペン１００の接触位置１７が検出される。視線領域１１の描画像１４をコピーして表示するため、描画像コピー部２５は視線領域１１の描画像１４の外接矩形の左上コーナーＰ１と外接矩形の高さｈを検出する。そして、電子ペン１００の接触位置１７から上方に、高さｈとマージンＭだけ離れた位置を、視線領域１１の描画像１４の外接矩形の左上コーナーＰ２に決定する。

描画像コピー部２５は、視線領域１１の描画像１４の外接矩形の左上コーナーＰ１と、接触領域１２の外接矩形の左上コーナーＰ２の座標の差（ΔＸ、ΔＹ）を算出できる。したがって、描画像コピー部２５は、描画像１４のストロークデータを差（ΔＸ、ΔＹ）だけ変更すればよい。

図９（ｂ）は接触位置１７に新たに描画された描画像１５を示す。この後、ユーザは新たに描画された描画像１５から視線を外す。視線を外すとは、新たに描画された描画像１５の中心又は電子ペンが最後に接触した位置から所定距離以上に視線位置が離れること（所定距離内で視線位置が検出されなくなること）をいう。

図９（ｃ）は視線領域１１の描画像１４の下方に移動された、接触位置１７で筆記された描画像１５を示す。描画像移動部２７は視線領域１１の描画像１４の外接矩形の左上コーナーＰ１から下方に、高さｈとマージンＭだけ離れた位置を、描画像１５の外接矩形の左上コーナーＰ３に決定する。

こうすることで、接触領域１２における描画像１４と描画像１５の相対位置を、視線領域１１においても維持することができる。高さｈとマージンＭが一定である場合、接触位置１７と描画像１５の外接矩形の左上コーナーＰ３の座標の差（ΔＸ、ΔＹ）は、図９（ａ）の座標の差（ΔＸ、ΔＹ）と同様になる。当然ながら、図９（ｃ）からも算出可能である。描画像移動部２７は描画像１５のストロークデータを座標の差（ΔＸ、ΔＹ）だけ変更すればよい。

なお、図９（ａ）で接触位置１７の上方にスペースがない場合、又は、図９（ｃ）で視線領域１１の描画像１４の下方にスペースがない場合もある。図９から明らかなように、接触位置１７の上方向を描画像１４の移動先に採用する場合は、視線領域１１の描画像１４の下方向にスペースが必要になり、接触位置１７の右方向を描画像１４の移動先に採用する場合は、視線領域１１の描画像１４の左方向にスペースが必要になり、接触位置１７の左方向を描画像１４の移動先に採用する場合は、視線領域１１の描画像１４の右方向にスペースが必要になり、接触位置１７の下方向を描画像１４の移動先に採用する場合は、視線領域１１の描画像１４の上方向にスペースが必要になる。

このため、描画像コピー部２５は、接触位置１７の周囲の、上方向、右方向、左方向、及び、下方向の優先順位にしたがってスペースがある方向を採用してよい。

ただし、図１１〜図１３で説明するように、接触位置１７の周囲スペースがなくても、遠方筆記モードは実行可能である。

＜視線位置の検出方法＞
視線位置１３の検出方法としては公知の手法を利用できる。例えば以下のような従来技術がある。

視線位置検出部２２はディスプレイ３に対するユーザの視線位置１３を検出する。なお、視線位置１３は、ユーザの眼球内にある瞳孔の中心位置を起点として直線的に延伸する視線がディスプレイ３と交差するときのディスプレイ３上の位置に該当する。

視線位置検出部２２は、例えば、ユーザの画像に対して角膜反射法に基づくアルゴリズムを適用することにより、上記視線位置１３を検出する。具体的には、視線位置検出部２２は、ユーザの画像を取得する際に、赤外線照射部から赤外線を照射させる。視線位置検出部２２は、取得したユーザの画像から、瞳孔の位置と赤外線の角膜反射の位置をそれぞれ特定する。視線位置検出部２２は、瞳孔の位置と赤外線の角膜反射の位置の位置関係に基づいて、ユーザの視線の方向を特定する。視線位置検出部２２は、瞳孔の位置が角膜反射の位置よりも目尻側にあれば、視線の方向は目尻側であると判断し、瞳孔の位置が角膜反射の位置よりも目頭側にあれば、視線の方向は目頭側であると判断する。視線位置検出部２２は、例えば、虹彩の大きさに基づいて、ユーザの眼球とディスプレイ３との距離を算出する。視線位置検出部２２は、ユーザの視線の方向と、ユーザの眼球とディスプレイ３との距離とに基づいて、ユーザの眼球内にある瞳孔の中心位置から、瞳孔を起点とする視線がディスプレイ３と交差するときのディスプレイ３上の位置である視線位置１３を検出する。

上記の例では、視線位置検出部２２が、角膜反射法を利用した処理を実行することにより、ユーザの視線位置１３を検出する場合を説明したが、この例には限られない。例えば、視線位置検出部２２が、ユーザの画像について画像認識処理を実行することにより、上記視線位置１３を検出するようにしてもよい。例えば、視線位置検出部２２は、ユーザの画像から、ユーザの眼球を含む所定の領域を抽出し、目頭と虹彩との位置関係に基づいて視線方向１６を特定し、特定した視線方向１６と、ユーザの眼球からディスプレイ３までの距離とに基づいて上記視線位置１３を検出する。あるいは、視線位置検出部２２は、ユーザがディスプレイ３の表示領域各所を閲覧しているときの複数の眼球の画像を参照画像としてそれぞれ蓄積しておき、参照画像と、判断対象として取得されるユーザの眼球の画像とを照合することにより、上記視線位置１３を検出する。

＜電子黒板の設定画面＞
次に、図１０を用いて、電子黒板２に関する設定について説明する。電子黒板２は、ユーザが電子黒板２を使いやすいようにカスタマイズするための設定画面を表示することができる。視覚効果や視線領域１１の大きさと形状はこの設定画面から設定可能である。

図１０は、電子黒板２の設定画面の一例を示す。電子黒板２の設定画面とは、ネットワークに関する設定や認証（アカウント）に関する設定等、電子黒板２の動作を設定するための画面である。

図１０（ａ）は設定画面を表示させるアイコン４０２が表示されるアイコン画面４０１を示す。このアイコン４０２が電子ペン１００で選択されるとＵＩ画像生成部２９が図１０（ｂ）の設定画面４１０を表示する。図１０（ｂ）のような設定画面４１０から、ユーザは電子ペン１００による描画に関するパラメータ（幅、高さなど）及び視覚効果や視線領域１１の大きさと形状等を設定することができる。設定情報はＲＯＭに記憶される。

＜接触位置１７の周囲にスペースがない場合の処理＞
図１１〜図１３を用いて、遠方筆記モードにおいて接触位置１７の周囲にスペースがなく、すでに描画像がある場合の処理につい説明する。

＜＜すでに筆記されている描画像の色を変更する＞＞
図１１は、接触位置１７にすでに筆記されている描画像の表示例を説明する図の一例である。遠方筆記モードで描画像コピー部２５が視線領域１１の描画像１４を電子ペン１００の接触位置１７の周囲に表示する際、描画像コピー部２５は、接触位置１７の周囲に元々、描画されていた描画像１８の色を変えてよい。

図１１（ａ）では、電子ペン１００の接触位置１７の周囲に「ＧＨＩ」という描画像１８がすでに存在している。この周囲とは接触位置１７から所定距離内であり例えば接触領域１２である。視線領域１１の描画像１４を電子ペン１００の接触位置１７の周囲にコピーして表示すると、「ＧＨＩ」という描画像１８、描画像１４、又は、新たに描画する「ＤＥＦ」という描画像１５をユーザが見づらくなるおそれがある。

そこで、図１１（ｂ）に示すように、描画像コピー部２５は「ＧＨＩ」という描画像１８の輝度を下げるなどして、新たに描画する「ＤＥＦ」という描画像１５及び描画像１４と異なる色に変更する。例えば、半透明、黄色、薄いグレーなど、目立たない色に変更する。色の変更はストロークデータの属性(attr)を変更すればよい。

こうすることで、電子ペン１００の接触位置１７の近くの描画像１８を消すことなく、視線領域１１の描画像１４と新たな描画像１５を接触位置１７の周囲に表示することができる。

＜＜視線領域１１の描画像１４及び新たな描画像１５の色を変更する＞＞
図１２に示すように、逆に、コピーされた視線領域１１の描画像１４及び接触位置１７における新たな描画像１５の色を変更してもよい。図１２は、コピーされた視線領域１１の描画像１４及び接触位置１７における新たな描画像１５の表示例を説明する図の一例である。図１２（ａ）は図１１（ａ）と同様である。

図１２（ｂ）に示すように、描画像コピー部２５は視線領域１１にある「ＡＢＣ」という描画像１４と新たに描画される「ＤＥＦ」という描画像１５の輝度を下げるなどして、元から描画されている「ＧＨＩ」という描画像１８と異なる色に変更する。「ＡＢＣ」という描画像１４と「ＤＥＦ」という描画像１５を例えば、半透明、黄色、薄いグレーなど、目立たない色に変更する。色の変更はストロークデータの属性(attr)を変更すればよい。

こうすることで、電子ペン１００の接触位置１７の近くの描画像１８を消すことなく、視線領域の描画像１４と新たな描画像１５を接触位置１７の周囲に表示することができる。

なお、視線領域の描画像１４と新たな描画像１５は同じ色でなくてよく、異なる色とすることでユーザは両者を見分けることができる。

＜＜すでに筆記されている描画像を一時的に非表示にする＞＞
図１３に示すように、接触位置１７に元々描画されていた描画像１８を一時的に非表示にしてもよい。一時的にとは遠方筆記モードの間である。図１３は、接触位置１７にすでに筆記されている描画像の表示例を説明する図の一例である。図１３（ａ）は図１１（ａ）と同様である。

図１３（ｂ）に示すように、描画像コピー部２５は遠方筆記モードが開始されると「ＧＨＩ」という描画像１８を非表示にする。消去するわけではないので、ストロークデータＤＢ３５にストロークデータを残したまま、色を透明にすればよい。あるいは、背景と同じ色に設定する。

遠方筆記モードの終了後は、描画像コピー部２５が描画像１８の色を元の色に戻すことで一時的にだけ「ＧＨＩ」という描画像を非表示にすることができる。

こうすることで、視線領域の描画像１４と新たな描画像１５を接触位置１７の周囲に表示することができる。

＜視線領域のユーザ指定＞
視線領域１１の描画像１４は、描画像決定部２４が視線位置１３に基づいて決定するが、ユーザにとって適切な描画像を決定することができない場合がある。図１４を用いて説明する。

図１４は、視線領域１１に描画されている描画像１４と接触位置１７の周囲にコピーして表示される描画像１４を示す。図１４（ａ）に示すように、視線領域１１には「ＡＢＣ」という描画像１４と、「ＤＥＦ」という描画像１４−２があるが、接触位置１７の周囲には「ＡＢＣ」という描画像１４しか表示されていない。しかし、ユーザとしては「ＤＥＦ」という描画像１４−２も接触位置１７の周囲に表示させて新たな描画像１５を描画したい場合がある。

このような場合、図１４（ｂ）に示すように、電子黒板２は、ユーザが視線領域１１の大きさ及び形状を任意に設定できる仕組みを提供することができる。設定方法はどのような方法でもよい。例えば、メニューの一覧から視線領域１１の大きさ及び形状を選択するボタンをユーザが選択し、大・中・小の中から大きさを選択したり、丸又は矩形から形状を選択したりする。あるいは、メニューの一覧から視線領域１１の大きさ及び形状を任意に指定するボタンを選択し、ユーザが所望の大きさ及び形状を電子ペン１００で任意に描画してもよい。視線領域１１の大きさ及び形状を任意に指定する方法について図１５，図１６にて説明する。

図１４（ｂ）では、視線領域１１の大きさが大きくなったため、接触位置１７の周囲に「ＡＢＣ」という描画像１４と、「ＤＥＦ」という描画像１４−２がコピーして表示されている。

また、図１４（ｂ）のように、接触位置１７の周囲に「ＡＢＣ」という描画像１４と、「ＤＥＦ」という描画像１４−２がコピーして表示されたが、ユーザとしては「ＤＥＦ」という描画像１４−２は接触位置１７に表示したくない場合もある。

このような場合も、図１４（ｃ）に示すように、ユーザは視線領域１１の大きさ及び形状を選択又は任意に設定できる。図１４（ｃ）では視線領域１１の形状が矩形になっており、接触位置１７に「ＡＢＣ」という描画像１４だけが表示されている。

＜＜視線領域の大きさと形状の設定方法＞＞
図１５，図１６を用いて視線領域１１の大きさと形状の具体的な設定方法を説明する。図１５は、ユーザが視線領域１１の大きさと形状を任意に設定する視線領域設定画面４２０の一例である。図１４にて説明したように、ユーザが視線領域１１の大きさや形状を調整したいと考えた場合、ユーザは上記のようにメニューなどから視線領域１１の大きさ及び形状を任意に指定するボタンを選択する。これにより、ＵＩ画像生成部２９は図１５（ａ）の視線領域設定画面４２０を表示する。視線領域設定画面４２０には「領域を設定してください」というメッセージ４２１が表示されている。図１５（ａ）では、ユーザが矩形の視線領域１１の形状を選択した。ユーザは、例えば閉塞枠４２２を描画する。閉塞枠４２２を描画することで描画像決定部２４は矩形の視線領域１１の指定を受け付ける。

図１５（ｂ）に示すように、ユーザは閉塞枠４２２の頂点を外側にドラッグ操作することで、閉塞枠４２２を拡大できる。逆に、中央に向けてドラッグ操作すれば閉塞枠４２２を縮小できる。このように、ユーザは電子ペン１００でドラッグ操作することにより、視線領域１１の大きさを変更できるので、直感的に筆記に最適な視線領域１１の大きさを設定することができる。

図１６も同様に、ユーザが視線領域１１の大きさと形状を任意に指定する別の方法を説明する図である。閉塞枠４２２の形状が異なる以外は図１５と同様である。図１６（ａ）では、ユーザが円形の視線領域１１の形状を選択した。ユーザが閉塞枠４２３を描画することで描画像決定部２４は円の視線領域１１の設定を受け付ける。図１６（ｂ）に示すように、閉塞枠４２３の一部を外側にドラッグ操作することで、視線領域１１となる円を拡大でき、逆に、中央に向けてドラッグ操作すれば視線領域１１となる円を縮小できる。

なお、図１５，図１６で説明した視線領域１１の大きさと形状の調整は、遠方筆記モードだけでなく、図１０の設定画面４１０からもユーザがメニューを選択して実行できる。したがって、初期状態の視線領域１１の大きさと形状をユーザが予め調整しておくことができる。

＜視線領域の視覚効果＞
続いて、図１７，図１８を用いて視線領域１１の視覚効果について説明する。図１７は、視線領域１１に施される視覚効果の一例を示す図である。視覚効果部２８は、描画像決定部２４が決定した描画像１４又は視線領域１１を強調する。

図１７（ａ）では視線領域１１を囲む枠４３１とマーク４３０が表示されている。図１７（ｂ）では視線領域１１を囲む枠４３１が点滅している。マーク４３０を点滅させてもよい。これらにより、ユーザは接触位置１７に筆記しながらディスプレイ３のどこに筆記しているか、視覚的に把握することができる。

視覚効果部２８は、描画制御部２３から遠方筆記モードの開始が通知されると、視線領域１１の位置に関する情報を描画像決定部２４から取得して、視線領域１１を囲む枠４３１を表示する。マーク４３０の位置は、視線領域１１の外縁よりもやや外側であり、例えば、視線位置１３を中心に２時などの方向であるが、マーク４３０は描画像１４の近くであればよい。

図１８は遠方筆記モードを終了し、視線領域１１に描画像１５を反映させる際の視覚効果の一例を示す。図１８（ａ）では、接触位置１７から視線領域１１に向けて矢印のアニメーション４３２が表示されている。アニメーション４３２は、矢印が徐々に伸びる様子を示すものであり、予めいくつかの長さの矢印が用意されている。視覚効果部２８は、徐々に長い矢印を切り替えて表示することで（矢印の最大の長さは、接触位置１７を起点に視線領域１１に到達する長さ）アニメーション４３２を実現する。

また、図１８（ｂ）では視線領域１１に枠４３１を表示すると共に点滅させている。枠４３１の表示方法は図１７と同様でよい。

視覚効果部２８は、描画制御部２３から遠方筆記モードの終了を通知されると、接触位置１７から視線領域１１に向けて矢印のアニメーション４３２を表示したり、視線領域１１に枠４３１を表示したりすると共に点滅させる。

これによりユーザは、どのタイミングで接触位置１７の描画像が反映されたか、及び、どこに反映されたかを視覚的に把握できる。

＜まとめ＞
以上説明したように、本実施形態の電子黒板２によれば、ユーザは手元を見ながら筆記できるので筆記しやすい。また、手元に視線位置１３の描画像１４を表示できるので、描画像１４との関係を考慮しながら筆記できる。また、接触位置１７から視線を外すと、描画像１４と筆記した描画像１５との相対位置を維持したまま、描画像１５を視線領域１１に移動できる。また、視線領域１１に移動された描画像１５に対する他のユーザの視線を筆記者であるユーザが遮ることがほとんどない。したがって、移動しなければ筆記できない遠方にも容易に筆記することができ、タッチパネルを広く活用してユーザが筆記することを支援することができる。

実施例１の電子黒板２は大型のタッチパネルを有するものとして説明されているが、電子黒板２はタッチパネルを有するものに限られない。

＜＜電子黒板の構成の別の例１＞＞
図１９は、電子黒板２の他の構成例を示す図である。図１９では、通常のホワイトボード４１３の上辺にプロジェクタ４１１が設置されている。このプロジェクタ４１１が電子黒板２に相当する。通常のホワイトボード４１３とは、タッチパネルと一体のフラットパネルディスプレイではなく、ユーザがマーカで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。

プロジェクタ４１１は超短焦点の光学系を有しており、１０ｃｍ程度から歪みの少ない映像をホワイトボード４１３に投影できる。この映像は、無線又は有線で接続されたＰＣから送信されてもよいし、プロジェクタ４１１が記憶していてもよい。

ユーザは専用の電子ペン１００を使ってホワイトボード４１３に手書きする。電子ペン１００は、ユーザが手書きのためにホワイトボード４１３に押しつけるとスイッチがＯＮになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザの目には見えない。プロジェクタ４１１はカメラを有しており、発光部を撮像して画像を解析し電子ペン１００の方向を特定する。また、電子ペン１００は発光と共に超音波を発信しており、プロジェクタ４１１は超音波の到達時間により距離を算出する。方向と距離により電子ペン１００の位置を特定できる。電子ペン１００の位置にはストロークが描画（投影）される。

プロジェクタ４１１はメニュー４４０を投影するので、ユーザが電子ペン１００でボタンを押下すると、プロジェクタ４１１が電子ペン１００の位置とスイッチのＯＮ信号により押下されたボタンを特定する。例えば、保存ボタン４４１が押下されると、ユーザが手書きしたストローク（座標の集合）がプロジェクタ４１１で保存される。プロジェクタ４１１は、予め定められたサーバ４１２又はＵＳＢメモリ２６００等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザが再編集することができる。

ホワイトボード４１３には視線検出用カメラ１９が配置されているため、実施例１と同様に遠方筆記モードを実行できる。

＜＜電子黒板の構成の別の例２＞＞
図２０は、電子黒板２の他の構成例を示す図である。図２０の例では、電子黒板２として、端末装置６００、画像投影装置７００Ａ、及び、ペン動作検出装置８１０を有する。

端末装置６００は、画像投影装置７００Ａ及びペン動作検出装置８１０と有線で接続されている。画像投影装置７００Ａは、端末装置６００により入力された画像データをスクリーン８００に投影させる。

ペン動作検出装置８１０は、電子ペン１００と通信を行っており、スクリーン８００の近傍における電子ペン１００の動作を検出する。具体的には、電子ペン１００は、スクリーン８００上において、電子ペン１００が示している点を示す座標情報を検出し、端末装置６００へ送信する。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン１００によって入力されるストローク画像の画像データを生成し、画像投影装置７００Ａによってストローク画像をスクリーン８００に描画させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン１００によって入力されたストローク画像とを合成した重畳画像を示す重畳画像データを生成する。

スクリーン８００には視線検出用カメラ１９が配置されているため、実施例１と同様に遠方筆記モードを実行できる。

＜＜電子黒板の構成の別の例３＞＞
図２１は、電子黒板２の構成例を示す図である。図２１の例では、電子黒板２として、端末装置６００とディスプレイ８００Ａと、ペン動作検出装置８１０Ａとを有する。

ペン動作検出装置８１０Ａは、ディスプレイ８００Ａの近傍に配置され、ディスプレイ８００Ａ上に、電子ペン１００が示している点を示す座標情報を検出し、端末装置６００へ送信する。なお、図２１の例では、電子ペン１００は、端末装置６００によってＵＳＢコネクタを介して充電されても良い。

端末装置６００は、ペン動作検出装置８１０Ａから受信した座標情報に基づき、電子ペン１００によって入力されるストローク画像の画像データを生成し、ディスプレイ８００Ａに表示させる。

ディスプレイ８００Ａには視線検出用カメラ１９が配置されているため、実施例１と同様に遠方筆記モードを実行できる。

＜＜電子黒板の構成の別の例４＞＞
図２２は、電子黒板２の構成例を示す図である。図２２の例では、電子黒板２として、端末装置６００と、画像投影装置７００Ａとを有する。

端末装置６００は、電子ペン１００と無線通信（Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を行って、スクリーン８００上において電子ペン１００が示す点の座標情報を受信する。そして、端末装置６００は、受信した座標情報に基づき、電子ペン１００により入力されるストローク画像の画像データを生成し、画像投影装置７００Ａにストローク画像を投影させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン１００によって入力されたストローク画像とを合成した重畳画像を示す重畳画像データを生成する。

スクリーン８００には視線検出用カメラ１９が配置されているため、実施例１と同様に遠方筆記モードを実行できる。

以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態ではユーザが新たに描画像を筆記する際の支援を説明したが、すでに描画されている描画像を編集（拡大、縮小、色の変更など）にも遠方筆記モードを利用できる。ユーザは編集したい描画像１４を見ながら、電子ペン１００でディスプレイ３に触り、描画像１４を手元にコピーさせる。接触位置１７から電子ペン１００を離すが視線方向１６はコピー後の描画像１４を見たままにする。ユーザがジェスチャ入力して描画像１４を編集し、視線方向１６を描画像１４から外すと、電子黒板２はコピーして編集された描画像１４を視線領域１１に反映させる。この場合、元々、視線領域１１にあった描画像１４を削除し、手元で編集された描画像１４と置き換えてもよいし、ユーザの編集内容を視線領域１１にあった描画像１４に反映させてもよい。

また、図５などの構成例は、電子黒板２の処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。また、電子黒板２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPU（Graphics Processing Unit）や従来の回路モジュール等のデバイスを含むものとする。

なお、入力検出部２１は接触位置取得手段の一例であり、ストローク描画部２６は描画手段の一例であり、視線位置検出部２２は視線位置検出手段の一例であり、描画像決定部２４は描画像決定手段の一例であり、描画像コピー部２５は複製手段の一例であり、描画像移動部２７は描画像移動手段の一例であり、視覚効果部２８は視覚効果手段の一例である。

２ 電子黒板
３ ディスプレイ
１１ 視線領域
１３ 視線位置
１４、１５，１８ 描画像
１７ 接触位置
１９ 視線検出用カメラ
１００ 電子ペン

特許２０１６−０９２４４０号公報

Claims (11)

1. ディスプレイを有する共有端末であって、
   前記ディスプレイに対する指示物体の接触位置を取得する接触位置取得手段と、
   前記接触位置に基づいて描画像を前記ディスプレイに描画する描画手段と、
   前記指示物体を操作するユーザの前記ディスプレイに対する視線位置を検出する視線位置検出手段と、
   前記接触位置取得手段が取得した前記接触位置と、前記視線位置検出手段が検出した前記視線位置とに応じて、前記ディスプレイに対する前記視線位置の周囲の描画像を決定する描画像決定手段と、
   前記描画像決定手段が決定した前記視線位置の周囲の描画像を複製して前記ディスプレイにおける前記接触位置の周囲に表示させる複製手段と、
   前記描画手段が前記接触位置に描画した描画像を、前記視線位置の周囲に移動して前記ディスプレイに表示させる描画像移動手段と、
   を有することを特徴とする共有端末。
2. 前記描画手段は、前記視線位置検出手段が前記ディスプレイに対するユーザの視線位置を前記接触位置から所定距離内で検出している間、前記描画手段は前記接触位置に描画像を前記ディスプレイに表示し、
   前記視線位置検出手段が前記ディスプレイに対するユーザの視線位置を前記接触位置から所定距離内で検出しなくなった場合、前記描画像移動手段は、前記描画手段が前記接触位置に表示した描画像を前記視線位置の周囲に移動して前記ディスプレイに表示させることを特徴とする請求項１に記載の共有端末。
3. 前記描画像移動手段は、前記描画手段が前記ディスプレイにおける前記接触位置に描画した描画像を前記視線位置の周囲に移動して表示させ、前記ディスプレイにおける前記接触位置に表示されていた描画像を消去することを特徴とする請求項１又は２に記載の共有端末。
4. 前記複製手段が前記ディスプレイにおける前記視線位置の周囲の描画像を前記接触位置の周囲に複製して表示させる場合、前記ディスプレイにおける前記接触位置から所定距離内にすでに描画されていた描画像の色を変更するか、又は、非表示にすることを特徴とする請求項１〜３のいずれか１項に記載の共有端末。
5. 前記複製手段が前記ディスプレイにおける前記視線位置の周囲の描画像を前記接触位置の周囲に複製して表示させる場合、前記ディスプレイにおける前記接触位置から所定距離内にすでに描画されていた描画像の色を変更することなく、
   前記描画手段は、前記描画手段が前記ディスプレイにおける前記接触位置に表示した描画像の色を前記接触位置から所定距離内にすでに描画されていた描画像の色と異ならせ、
   前記複製手段は、前記複製手段が複製して前記ディスプレイに表示させる前記視線位置の周囲の描画像の色を前記接触位置から所定距離内にすでに描画されていた描画像の色と異ならせることを特徴とする請求項４に記載の共有端末。
6. 前記複製手段が前記ディスプレイにおける前記視線位置の周囲の描画像を前記接触位置の周囲に複製して表示させる場合、前記ディスプレイにおける前記視線位置を強調する視覚効果を施す視覚効果手段を有することを特徴とする請求項１〜５のいずれか１項に記載の共有端末。
7. 前記描画像移動手段が、前記ディスプレイにおける前記接触位置に描画されている描画像を、前記ディスプレイにおける前記視線位置の周囲に移動して表示させる場合、
   前記視覚効果手段は、前記描画手段が前記ディスプレイにおける前記接触位置に表示させている描画像が前記視線位置に反映されたことを示すアニメーション又は前記視線位置を囲む枠を前記ディスプレイに表示する視覚効果を表示することを特徴とする請求項６に記載の共有端末。
8. 前記描画像決定手段は、前記描画像決定手段が前記ディスプレイにおける前記視線位置の周囲であると判断する、前記ディスプレイにおける前記視線位置の周囲に相当する視線領域の大きさ及び形状の設定を受け付けることを特徴とする請求項１〜７のいずれか１項に記載の共有端末。
9. 前記描画像決定手段は、前記指示物体のドラッグ操作により、前記ディスプレイにおける前記視線位置の周囲に相当する視線領域の大きさ及び形状の設定を受け付けることを特徴とする請求項８に記載の共有端末。
10. ディスプレイを有する共有端末が行う筆記方法であって、
    接触位置取得手段が、前記ディスプレイに対する指示物体の接触位置を取得するステップと、
    描画手段が、前記接触位置に基づいて描画像を前記ディスプレイに描画するステップと、
    視線位置検出手段が、前記指示物体を操作するユーザの前記ディスプレイに対する視線位置を検出するステップと、
    前記接触位置取得手段が取得した前記接触位置と、前記視線位置検出手段が検出した前記視線位置とに応じて、前記ディスプレイに対する描画像決定手段が前記視線位置の周囲の描画像を決定するステップと、
    複製手段が、前記描画像決定手段が決定した前記視線位置の周囲の描画像を複製して前記ディスプレイにおける前記接触位置の周囲に表示させるステップと、
    描画像移動手段が、前記描画手段が前記接触位置に描画した描画像を、前記視線位置の周囲に移動して前記ディスプレイに表示させるステップと、
    を有することを特徴とする筆記方法。
11. ディスプレイを有する共有端末を、
    前記ディスプレイに対する指示物体の接触位置を取得する接触位置取得手段と、
    前記接触位置に基づいて描画像を前記ディスプレイに描画する描画手段と、
    前記指示物体を操作するユーザの前記ディスプレイに対する視線位置を検出する視線位置検出手段と、
    前記接触位置取得手段が取得した前記接触位置と、前記視線位置検出手段が検出した前記視線位置とに応じて、前記ディスプレイに対する前記視線位置の周囲の描画像を決定する描画像決定手段と、
    前記描画像決定手段が決定した前記視線位置の周囲の描画像を複製して前記ディスプレイにおける前記接触位置の周囲に表示させる複製手段と、
    前記描画手段が前記接触位置に描画した描画像を、前記視線位置の周囲に移動して前記ディスプレイに表示させる描画像移動手段、として機能させるためのプログラム。

Images