JP2022013424A - 表示装置、表示方法、プログラム - Google Patents

Abstract

【課題】ユーザーが色変更操作を行うことなく、すでに表示されている手書きされた第一のデータと異なる色で、ユーザーが手書きする第二のデータの色を変更して表示することができる表示装置を提供すること。
【解決手段】手書きに基づいた第一のデータを表示する表示装置２であって、入力手段2500による入力を受け付ける受付手段２１と、前記第一のデータを含む領域に、第二のデータを受け付けた場合であって、前記第一のデータと前記第二のデータとに同じ色が設定されている場合に、前記手書きされた第二のデータの色を、前記第一のデータとは異なる色に変更して表示する表示制御手段２６を有する、ことを特徴とする。
【選択図】図１

Description

本発明は、表示装置、表示方法、及び、プログラムに関する。

タッチパネル式のディスプレーにユーザーが専用の電子ペンや指などで描画した手書きデータを表示する電子黒板などの表示装置が知られている。従来のホワイトボードと異なり手書きデータを電子データで保存したり、ＰＣ（Personal Computer）の映像を表示したりすることができる。表示装置によっては、手書き認識技術を利用し、手書きデータを文字に変換して、ディスプレーに表示することも可能である。

表示装置に関して手書きされるデータの色を自動で変える技術が考案されている（例えば、特許文献１参照。）。特許文献１には、ユーザーが手書きする場合に背景と近い色が選択されていると見にくくなることを防ぐため、書き込む領域の背景カラーと異なる色相の色を自動で選択する装置が開示されている。

ここで、ユーザーとしては、例えば、重要な手書きデータや目立たせたい手書きデータ（第二のデータ）を他の手書きデータ（第一のデータ）とは異なる色で表示したい場合がある。しかし、従来は、目立たせたい手書きデータを手書きする前にユーザーが色変更操作（手書きデータの色を変更させるためにユーザーが行う表示装置に対する操作）を行う必要があった。

本発明は、上記課題に鑑み、ユーザーが色変更操作を行うことなく、すでに表示されている手書きされた第一のデータと異なる色で、ユーザーが手書きする第二のデータの色を変更して表示することができる表示装置を提供することを目的とする。

上記課題に鑑み、本発明は、手書きに基づいた第一のデータを表示する表示装置であって、入力手段による入力を受け付ける受付手段と、前記受付手段により、前記第一のデータを含む領域に、第二のデータを受け付けた場合であって、前記第一のデータと前記第二のデータとに同じ色が設定されている場合に、前記手書きされた前記第二のデータの色を、前記第一のデータとは異なる色に変更して表示する表示制御手段を有する、ことを特徴とする。

ユーザーが色変更操作を行うことなく、すでに表示されている手書きされた第一のデータと異なる色で、ユーザーが手書きする第二のデータの色を変更して表示することができる表示装置を提供することができる。

本実施形態の表示装置による手書きデータの色の変更方法を説明する図である。 ペンの斜視図の一例を示す図である。 本実施形態に係る表示装置の全体構成を説明する図の一例である。 表示装置のハードウェア構成図の一例である。 表示装置が有する機能をブロック状に分けて説明する機能ブロック図の一例である。 手書き認識による変換候補を表示する操作ガイドの一例を示す図である。 ストロークデータのブロック化の方法を模式的に説明する図である。 ユーザーが手書きしたストロークデータの時間的な遷移の一例を示す図である。 ブロックへ追記された手書きデータの一例を示す図である。 １色目と２色目の色の設定を受け付ける色設定受付画面の一例を示す図である。 色相環を用いた３色目以降の色の決定方法を説明する図の一例である。 表示装置がブロック内の手書きデータの色を変更して表示する処理又は動作の説明するフローチャート図の一例である。 実施例１の方法でブロック化されたブロックの領域を示す図である。 ブロック化の方法を説明する図である（実施例２）。 ブロック化の方法によるブロック化の一例を示す図である。 ブロック化の方法を説明する図である（実施例３）。 表示装置の動作手順を示すフローチャート図の一例である。 ブロック化の方法によるブロック化の一例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。

以下、本発明を実施するための形態の一例として表示装置と、表示装置が行う表示方法について図面を参照しながら説明する。

＜手書きデータの色変更の概略＞
図１は、本実施形態の表示装置による手書きデータの色の変更方法を説明する図である。図１（ａ）は手書きによりすでに表示されている手書きデータの一例を示す。図１（ａ）では３行の文字列１０１が黒で手書きされている。文字列１０１に対し、ユーザーが「□月◎日」という文字を追記したいと考えた。「□月◎日」が重要なので目立たせるために赤色で表示したい場合、従来は、カラーパレットから赤をユーザーが選択する必要があった。

本実施形態の表示装置は、既に書き込みが行われた領域を内部的にブロックとして扱い、表示装置にはブロック内の手書きデータの色で追記する手書きデータを表示することが設定されている状態で、ブロック内に追記された手書きデータの色を、ブロック内に既にある手書きデータの色とは自動で変更して表示する。つまり、入力手段の色が黒と設定されている状態で手書きされても、表示装置は黒ではない色で手書きデータを表示する。

図１（ｂ）では３行の文字列１０１の外接矩形が１つのブロック１０４と判断されている。したがって、ブロック１０４に追記された「□月◎日」という文字列１０２が赤で表示されている（作図の制限のため図面では黒色になっている）。文字列１０２が文字認識された場合も赤で表示される。

ブロック化の方法の詳細は後述されるが、例えば、最後のペンアップから次のペンダウンまでの時間が閾値以上又は閾値超過かどうかを表示装置が判断し、閾値以上又は閾値超過の時間間隔がある場合、最後のペンアップまでのストロークデータが１つのブロックであると判断される。ブロック１０４は原則的に非表示であるが、ユーザー操作に応じて表示することができる。

表示装置は、２色目の手書きデータも３行の文字列１０１で生成されたブロック１０４に所属すると判断する。図１（ｃ）に示すように２色目の手書きデータが元のブロック１０４をはみ出した場合、ブロック１０４は拡張される。図１（ｃ）では「厳守」という文字列１０３によりブロック１０４が拡張された。

２色目の手書きデータを含むブロック１０４に対し閾値以上又は閾値超過の時間間隔をあけて、更に別のデータが手書きされた場合、表示装置は、再度、同じ２色目で手書きデータを表示してもよいし、対象のブロック１０４にない３色目、４色目の色で手書きデータを表示してもよい。

ただし、直前にユーザーがカラーパレット等で明示的に色を変更した場合、表示装置はユーザーによる色の選択を優先する。また、直前の操作が手書きデータの削除の場合、次に手書きされるデータは削除された手書きデータの修正後のデータと考えられるため、色変更は行わない（削除された手書きデータと同じ色で表示される）。

このように、本実施形態の表示装置は、手書きに基づいた第一のデータを含む領域に、更に、手書きされる第二のデータの色を、第一のデータとは異なる色に変更して表示することで、追加された第二のデータをユーザーが容易に判断できるようにすることができる。

＜用語について＞
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材などがある。ユーザーがディスプレーに入力手段を押しつけてから連続的に移動させた後、ディスプレーから離すという一連の操作をストロークという。ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレーに表示される情報である。ストロークデータは適宜、補間されてよい。ストロークにより手書きされたデータをストロークデータという。手書きデータは１つ以上のストロークデータを有する。ストロークデータに基づいてディスプレーに表示される表示物をオブジェクトという。

ブロックとは１つ以上のストロークデータの集まりである。また、ストロークデータを包含する領域をブロックの領域という。例えば、１つ以上のストロークデータの外接矩形がブロックの領域である。

手書きに基づく第一のデータとは、手書きされたストロークデータの他、文字認識された文字列を含む。文字列（日本語だけでなく英語などの多国語）だけでなく、数字、記号（％、＄、＆など）、図形（線、丸、三角など）等を含む。第二のデータも同様である。

第一のデータと同じ色が設定された状態とは、第一のデータの入力の後、第二のデータの色に第一のデータと同じ色が設定されている状態をいう。換言すると、第一のデータの入力の後、第二のデータの色が第一のデータとは別の色に変更されていない状態になっている。

＜ペンの外観の一例＞
図２は、ペン２５００の斜視図の一例を示す。図２は多機能なペン２５００の一例を示す。電源を内蔵して表示装置２に命令を送信できるペン２５００をアクティブペンという（電源を内蔵しないペンをパッシブペンという）。図２のペン２５００は、物理的なスイッチがペン先に一つ、ペン尻に一つ、ペン側面に二つあり、ペン先が筆記用、ペン尻が消去用、ペン側面はユーザー機能割り当て用である。本実施形態のペン２５００は不揮発性のメモリーを有しており、他のペンと重複しないペンＩＤを記憶している。

なお、スイッチ付きのペンであれば、ユーザーの表示装置２の操作手順を減らすことも可能である。スイッチ付きのペンとは主にアクティブペンを言うが、電磁誘導方式では電源を内蔵しないパッシブペンでもＬＣ回路だけで電力を発生できるため、アクティブペンだけでなく電磁誘導方式のパッシブペンを含む。電磁誘導方式以外の光学方式、赤外線方式、及び、静電容量方式のスイッチのあるペンはアクティブペンである。

なお、ペン２５００のハードウェア構成は、通信機能とマイコンを備えた一般的な制御方式と同様であるとする。ペン２５００の座標の入力方式には、電磁誘導方式、アクティブ静電結合方式などがある。また、ペン２５００は、筆圧検知、傾き検知、ホバー機能（ペンが触れる前にカーソルを表示）、などの機能を有していてよい。

＜装置の全体構成＞
図３を用いて、本実施形態に係る表示装置２の全体構成を説明する。図３は、表示装置２の全体構成図を示した図である。図３（ａ）では、表示装置２の一例として、壁につり下げられた横長の電子黒板として使用される表示装置２を示している。

図３（ａ）に示されているように、表示装置２の上部には表示装置の一例としてのディスプレー２２０が設置されている。ユーザーＵは、ペン２５００を用いて、ディスプレー２２０に文字等を手書きする（入力、描画ともいう）ことができる。

図３（ｂ）は壁につり下げられた縦長の電子黒板として使用される表示装置２を示している。表示装置２は加速度センサーを有しており、重力方向から設置方向を検出できる。これにより、設置方向に関係なく文字認識が可能になる。

図３（ｃ）は机２３０に平置きされた表示装置２を示す。表示装置２は厚みが１ｃｍ程度なので、一般の机に平置きしても机の高さを調整する必要がない。また、容易に移動できる。

＜装置のハードウェア構成＞
続いて、図４を用いて、表示装置２のハードウェア構成を説明する。表示装置２は図示するように情報処理装置又はコンピュータの構成を有している。図４は、表示装置２のハードウェア構成図の一例である。図４に示されているように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、及び、ＳＳＤ(Solid State Drive)２０４を備えている。

これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は、表示装置２用のプログラム等の各種データを記憶する。なお、プログラムは、プログラム配信サーバーから表示装置２がダウンロードしてもよいし、記憶媒体からインストールされてもよい。このプログラムはアプリケーションソフトと呼ばれる場合がある。

また、表示装置２は、ディスプレーコントローラー２１３、タッチセンサーコントローラー２１５、タッチセンサー２１６、ディスプレー２２０、電源スイッチ２２７、チルトセンサー２１７、シリアルインタフェース２１８、スピーカー２１９、マイク２２１、無線通信装置２２２、赤外線Ｉ／Ｆ２２３、電源制御回路２２４、ＡＣアダプター２２５、及びバッテリー２２６を備えている。

ディスプレーコントローラー２１３は、出力画像をディスプレー２２０等へ出力するために画面表示の制御及び管理を行う。タッチセンサー２１６は、ディスプレー２２０上にペン２５００やユーザーの手等（ペンやユーザーの手は入力手段となる）が接触したことを検知する。また、タッチセンサー２１６はペンＩＤを受信する。

タッチセンサーコントローラー２１５は、タッチセンサー２１６の処理を制御する。タッチセンサー２１６は、座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、例えば、光学式の場合、ディスプレー２２０の上側両端部に設置された２つ受発光装置が、ディスプレー２２０に平行して複数の赤外線を放射し、ディスプレー２２０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。タッチセンサー２１６は、物体によって遮断された２つの受発光装置が放射した赤外線の位置情報をタッチセンサーコントローラー２１５に出力し、タッチセンサーコントローラー２１５が、物体の接触位置である座標位置を特定する。また、タッチセンサーコントローラー２１５は通信ユニット２１５ａを有しており、ペン２５００と無線で通信することができる。例えば、Bluetooth（登録商標）などの規格で通信している場合は、市販されているペンを使用することができる。通信ユニット２１５ａに予め１つ以上のペン２５００を登録しておくと、ユーザーはペン２５００を表示装置２と通信させる接続設定を行わなくても通信できる。

電源スイッチ２２７は、表示装置２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。チルトセンサー２１７は、表示装置２の傾き角度を検出するセンサーである。主に、表示装置２が図３（ａ）、図３（ｂ）、又は、図３（ｃ）のいずれかの設置状態で使用されているかを検出するために使用され、設置状態に応じて文字等の太さを自動で変更することができる。

シリアルインタフェース２１８はＵＳＢなどの外部との通信インタフェースである。外部からの情報の入力などに使用される。スピーカー２１９は音声の出力に使用され、マイク２２１は音声の入力に使用される。無線通信装置２２２は、ユーザーが携帯する端末と通信し、例えばインターネットへの接続を中継する。無線通信装置２２２はWi－FiやBluetooth（登録商標）などで通信するが、通信規格は問われない。無線通信装置２２２はアクセスポイントを形成しており、ユーザーが入手したＳＳＩＤ（Service Set Identifier）とパスワードをユーザーが携帯する端末に設定すると、アクセスポイントに接続できる。

なお、無線通信装置２２２には２つのアクセスポイントが用意されているとよい。
a. アクセスポイント→インターネット
b. アクセスポイント→社内ネットワーク→インターネット
ａのアクセスポイントは社外のユーザー用で、ユーザーは社内ネットワークにはアクセスできないが、インターネットを利用できる。ｂのアクセスポイントは社内のユーザー用で、ユーザーは社内ネットワーク及びインターネットを利用できる。

赤外線Ｉ／Ｆ２２３は隣に配置された表示装置２を検出する。赤外線の直進性を利用して、隣に配置された表示装置２のみを検出できる。赤外線Ｉ／Ｆ２２３は各辺に１つずつ設けられることが好ましく、表示装置２のどの方向に他の表示装置２が配置されたのかを検出できる。これにより画面が広がり、隣の表示装置２に過去に手書きされた手書き情報（１つのディスプレー２２０の広さを１ページとして別のページの手書き情報）等を表示できる。

電源制御回路２２４は表示装置２の電源であるＡＣアダプター２２５とバッテリー２２６を制御する。ＡＣアダプター２２５は商用電源が共有する交流を直流に変換する。

ディスプレー２２０がいわゆる電子ペーパーの場合、画像の表示を維持するためにほとんど又は一切電力を消費しないので、バッテリー２２６による駆動も可能である。これにより、屋外など電源を接続しにくい場所でもデジタルサイネージなどの用途で表示装置２を使用することが可能になる。

更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図４に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、タッチセンサー２１６は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなど種々の検出手段を用いてもよい。タッチセンサー２１６は、ペン先のタッチの有無を検知するのに電子ペンが必要ない方式であってよい。この場合はタッチ操作をするのに指先やペン型の棒を使用できる。なお、ペン２５００は、細長いペン型である必要はない。

＜機能について＞
次に、図５を用いて表示装置２の機能について説明する。図５は、表示装置２が有する機能をブロック状に分けて説明する機能ブロック図の一例である。表示装置２は、接触位置検出部２１、描画データ生成部２２、文字認識部２３、ブロック生成部２４、色決定部２５、表示制御部２６、データ記録部２７、ネットワーク通信部２８、及び、操作受付部２９を有している。表示装置２が有する各機能は、図４に示されている各構成要素のいずれかが、ＳＳＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。

接触位置検出部２１はタッチセンサー２１６に対しペン２５００が接触した位置の座標を検出する。描画データ生成部２２はペン２５００のペン先が接触した座標を接触位置検出部２１から取得する。この座標点列を補間することで接続してストロークデータを生成する。接触位置検出部２１はタッチセンサーコントローラー２１５とタッチセンサー２１６により実現される。

文字認識部２３はユーザーが手書きした１つ以上のストロークデータ（手書きデータ）に対し文字認識処理を行い、文字コードに変換する。文字認識部２３は、ユーザーのペン操作と並行して文字（日本語だけでなく英語などの多国語）、数字、記号（％、＄、＆など）、図形（線、丸、三角など）等を認識していく。認識方法については様々なアルゴリズムが考案されているが、本実施形態では公知の技術を利用できるとして詳細を割愛する。文字認識部２３はＣＰＵ２０１がプログラムを実行することで実現される。なお、文字認識部２３の機能はユーザーがオン/オフできる。

ブロック生成部２４は、ストロークデータのペンアップからペンダウンまでの時間間隔に基づいてブロックを生成する。ブロック生成部２４はＣＰＵ２０１がプログラムを実行することで実現される。

色決定部２５は、ブロックに追記される手書きデータの色を決定する。詳細は後述されるが、ブロックに追記される手書きデータの色は２色目まで予めユーザーが設定しておく。３色目以降は自動的に選択される。色決定部２５はＣＰＵ２０１がプログラムを実行することで実現される。

表示制御部２６は手書きデータ、手書きデータから変換された文字列、及び、ユーザーが操作するための操作メニューなどをディスプレーに表示する。表示制御部２６はディスプレーコントローラー２１３とディスプレー２２０により実現される。

データ記録部２７は、表示装置２に手書きされた手書きデータ、又は、変換された文字列等をページデータ記憶部３０に記憶する。また、ブロックに関する情報をブロックデータ記憶部３１に登録する。データ記録部２７はＣＰＵ２０１がプログラムを実行することで実現される。なお、データ記録部２７には、表示装置２が取り込んだＰＣの画面、表示したファイル等が記録されてよい。

ネットワーク通信部２８はＬＡＮ等のネットワークに接続して、他の機器とネットワークを介したデータの送受信を行う。ネットワーク通信部２８は無線通信装置２２２により実現される。

操作受付部２９は表示装置２に対する操作を受け付ける。初期状態ではストロークデータの入力が操作内容である。ユーザーはペン尻でストロークデータを削除できる。また、ユーザーはメニューから線の太さ、線種、色の設定などを行うことができる。操作受付部２９は、色決定部２５が色を変更するかどうかを判断できるように、最後の操作内容を保存しておく。

なお、ページデータ記憶部３０及びブロックデータ記憶部３１は、図４に示されているＳＳＤ２０４やＲＡＭ２０３などに構築され、データ記録部２７が記録する上記の情報を記憶する。

ページデータ記憶部３０は、表１に示されているようなデータを記憶する。表１（ａ）は、ページデータを概念的に示す。ページデータは、ディスプレーに表示される１ページ分の手書きデータである。

ページデータは、表１（ａ）に示されているように、任意の１ページを識別するためのページデータＩＤ、このページの表示を開始した時刻を示す開始時刻、このページの内容の書き換えが行われなくなった時刻を示す終了時刻、ペン２５００やユーザーの手又は指によるストロークによって生じたストローク配列データを識別するためのストローク配列データＩＤ、及び画像データなどのメディアデータを識別するためのメディアデータＩＤが関連付けて記憶されている。

このようなページデータにより、例えば、ユーザーがペン２５００によってアルファベット「Ｓ」を描く場合は一筆書きとなるため、ストロークデータＩＤが１つで一文字のアルファベット［Ｓ］が示される。ユーザーがペン２５００によってアルファベット「Ｔ」を描く場合、二筆書きとなるため、ストロークデータＩＤが２つで一文字のアルファベット「Ｔ」が示されることになる。

また、ストローク配列データは、表１（ｂ）に示されているように詳細な情報を示している。表１（ｂ）は、ストローク配列データを示す。１つのストローク配列データは、複数のストロークデータによって表される。そして、１つのストロークデータは、このストロークデータを識別するためのストロークデータＩＤ、１つのストロークデータの書き始め（ペンダウン）の時刻を示す開始時刻、１つのストロークデータの書き終わり（ペンアップ）の時刻を示す終了時刻、ストロークデータの色、ストロークデータの幅、ストロークデータの通過点の配列を識別するための座標配列データＩＤ、及び、ストロークデータが所属するブロックを識別するためのブロックＩＤを示している。

ペンダウンとは、ディスプレー２２０上に入力手段（ペン、ユーザの手、指等）が接触することをいう。ただし、完全に接触しなくても、入力手段の先端とディスプレー２２０との間の距離が閾値以下又は閾値未満に接近した場合を含む。ペンアップとはディスプレー２２０に接触していた入力手段がディスプレー２２０から離れることをいう。上記の距離が閾値超過又は閾値以上になることを含む。また、ペンムーブとは、ディスプレー２２０に入力手段が接触した状態でユーザーが入力手段を動かし、ディスプレー２２０との接触位置を移動させることをいう。

表１（ｃ）は、座標配列データを示す。表１（ｃ）に示されているように、座標配列データは、ディスプレー上の１点（Ｘ座標値、Ｙ座標値）、この１点を通過したときのストロークデータの開始時刻からの差分の時刻（ｍｓ）、及び、この１点におけるペン２５００の筆圧の各情報を示している。即ち、表１（ｃ）に示されている１点の集まりが、表１（ｂ）に示されている１つの座標配列データで示されている。例えば、ユーザーがペン２５００によってアルファベット「Ｓ」を描く場合、一筆書きとなるが、「Ｓ」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。

表１（ｂ）に示すように、表示装置はストロークデータごとに色情報を有している。また、各ストロークデータはブロックに所属する。表１（ｂ）では、s001、s002、s003のストロークデータは色が黒で、BLC001というブロックに所属する。例えば図１では３行の文字列１０１がこれらのストロークデータで構成されている。また、s123のストロークデータは色が赤で、BLC001というブロックに所属する。例えば図１では追記された「□月◎日」という文字列１０２がこのストロークデータで構成されている。

なお、表１は文字認識されていないストロークデータのデータ例を示すが、文字認識された場合は、手書き認識の単位で、１つ以上の文字列ごとに、文字コード、フォント、色、位置情報（外接矩形の左上コーナー、外接矩形の右下コーナー）、開始時刻、終了時刻が登録される。開始時刻と終了時刻に基づいてブロック化される点はストロークデータと同様である。

ブロックデータ記憶部３１は、表２に示されているようなデータを記憶する。表２はブロックデータの一例を示す。ブロックデータは、各ブロックのブロックＩＤに対応づけて、位置データ、及び、２色目以降の色を有している。位置データは、ブロックの左上コーナーと右下コーナーの座標である。１つのブロックへの追記のたびに色を変更する設定の場合は、３色目以降が登録される。１つのブロックへの追記の回数に関係なく同じ色で手書きデータを表示する設定の場合は、３色目以降が登録されない。

＜文字認識について＞
図６を参照して、手書きデータの文字認識について説明する。図６は手書き認識による変換候補を表示する操作ガイド５００の一例である。文字認識部２３の機能がオンの場合、ユーザーが例えば「ぎ」などの手書きデータ５０４を手書きすると一定時間の経過の上で、操作ガイド５００が表示される。操作ガイド５００は、操作ヘッダー５２０、操作コマンドの候補５１０、手書き認識文字列候補５０６、変換文字列候補５０７、文字列/予測変換の候補５０８、及び、手書きデータ矩形領域表示５０３を有している。選択可能候補５３０は、操作コマンドの候補５１０、手書き認識文字列候補５０６、変換文字列候補５０７、文字列/予測変換の候補５０８である。また、操作コマンドの候補５１０を除く選択可能候補５３０を文字列候補５３９という。

操作ヘッダー５２０はボタン５０１、５０９、５０２、５０５を有する。ボタン５０１は予測変換とカナ変換の切り替え操作を受け付ける。図６の例ではユーザーが「予測」と表示されているボタン５０１を押下すると操作受付部２９がそれを受け付けて、表示制御部２６が「かな」というボタン５０１に表示を変更する。変更後は、文字列候補５３９が「カナ変換」の確率降順で並ぶ。

ボタン５０２は候補表示のページ操作をする。図６の例では候補表示ページは３ページあり、現在は１ページ目を表示している。ボタン５０５は操作ガイド５００の消去を受け付ける。ユーザーがボタン５０５を押下すると操作受付部２９が受け付けて、表示制御部２６が手書きデータ以外の表示を消去する。ボタン５０９は一括表示消去を受け付ける。ユーザーがボタン５０９を押下すると操作受付部２９が受け付けて、表示制御部２６が手書きデータを含め、図６に示されているすべての表示を消去して、ユーザーが最初から手書きをしなおすことを可能にする。

手書きデータ５０４はユーザーが手書きした「ぎ」という文字である。手書きデータ５０４を囲む手書きデータ矩形領域表示５０３が表示される。図６では一文字の入力で操作ガイド５００が表示されているが、操作ガイド５００が表示されるタイミングは、ユーザーが手書きを中断したタイミングである。したがって、手書きデータ５０４の文字数は任意である。

手書き認識文字列候補５０６、変換文字列候補５０７、文字列/予測変換の候補５０８にはそれぞれの文字列候補が確率降順で並んでいる。手書き認識文字列候補５０６の「ぎ」は認識結果の候補である。この例では正しく「ぎ」を認識している。

変換文字列候補５０７は「ぎ」のカナ漢字変換の結果（例えば「技」）から変換された変換文字列候補（例えば技を含む熟語）である。この例の「技量試」とは「技術量産試作」の略名である。文字列/予測変換の候補５０８は変換文字列候補５０７から変換された予測文字列候補である。この例では「技量試を決裁」と「議事録の送付先」が表示されている。

操作コマンドの候補５１０は認識された文字に応じて表示される、予め定義されている操作コマンド（ファイル操作、文字の編集などのコマンド）の候補である。図６の例では行頭文字の「》」５１１が操作コマンドの候補であることを示している。図６では「ぎ」の文字列候補である「議事録」が、定義データと部分一致したため、操作コマンドの候補５１０として表示されている。

ユーザーが「議事録テンプレートを読み込む」を選択すると、定義データで定義された操作コマンドが実行される。このように操作コマンドの候補は、変換された文字列を含む操作コマンド定義データが見つかる場合に表示されるため、常に表示されるとは限らない。

図６に示すように、文字列候補と操作コマンドの候補が同時に（共に）表示されるため、ユーザーは自分が入力しようとした文字列候補と操作コマンドのどちらも任意に選択できる。

＜ブロックの生成方法＞
図７、図８を参照して、ブロックの生成方法を説明する。図７は、ストロークデータのブロック化の方法を模式的に説明する図である。本実施例のブロック生成部２４はユーザーがペンアップしてからペンダウンするまでの時間間隔のみでストロークデータのブロック化を行う。図７では、１つ以上のストロークデータのペンダウンからペンアップまでを１つの矩形１１０で表している。矩形１１０と矩形１１０の間にある時間間隔１１１はストロークデータがペンアップしてからペンダウンするまでの時間間隔である。時間間隔１１１はいずれも閾値未満又は閾値以下である。なお、閾値は例えば数秒であるが、ユーザーが好みの閾値を設定できるとよい。

ブロック生成部２４は矩形１１０と矩形１１０の間の時間間隔が閾値以上又は閾値超過の場合に、ブロックを生成する。図７では、時間間隔Ａの検出によりブロックＡを生成し、時間間隔Ｂの検出によりブロックＢを生成する。ブロック生成部２４は表１（ｂ）のストロークデータに対応づけてブロックＩＤを登録する。

図８はユーザーが手書きしたストロークデータの時間的な遷移を示す。
・まず、図８（ａ）ではディスプレー２２０の左上に四角形１２１が手書きされた。
・次に、図８（ｂ）に示すように閾値未満又は閾値以下の時間間隔で右下に四角形１２２が手書きされた。
・次に、図８（ｃ）に示すように閾値未満又は閾値以下の時間間隔で下中央に四角形１２３が手書きされた。
・次に、図８（ｄ）に示すように閾値未満又は閾値以下の時間間隔で左下に四角形１２４が手書きされた。
・次に、図８（ｅ）に示すように閾値未満又は閾値以下の時間間隔で４つの四角形１２１～１２４を結ぶ矢印１２５が手書きされた。

矢印１２５の手書き後、閾値以上又は閾値超過の時間間隔が生じた。このため、ブロック生成部２４は４つの四角形１２１～１２４と矢印１２５が有する全てのストロークデータを１つのブロック１２６と判断する（図８（ｆ））。ブロック生成部２４は４つの四角形１２１～１２４と矢印１２５が有する全てのストロークデータの外接矩形をブロック１２６の領域に決定する。すなわち、全てのストロークデータのうち左端の座標、全てのストロークデータのうち右端の座標、全てのストロークデータのうち上端の座標、全てのストロークデータのうち下端の座標、を通過する四角形をブロック１２６の領域とする。

また、ブロック生成部２４は、閾値未満又は閾値以下の時間間隔で手書きされた四角形１２２のように、四角形１２１の領域でない領域に手書きされた手書きデータを同じブロックであると判断できる。

本実施例の表示装置２は、ペンアップからペンダウンまでの時間間隔のみでブロック化するので、空間的に離れた手書きデータを手書きしても、時間間隔が閾値未満又は閾値以下であれば、ブロック化することができる。

図９は、ブロックへ追記された手書きデータの一例を示す。右下の四角形１２２と矢印を囲む自由曲線１２７と「必要なときのみ」という文字列１２８が手書きされている。これらはブロック１２６内への追記なので、色決定部２５は設定されている２色目の色（例えば赤）で表示制御部２６が表示する。自由曲線１２７と文字列１２８はブロック１２６に所属する。

なお、ブロック内への追記は、最初のペンダウンがブロックの領域内であれば、閾値未満又は閾値以下の時間間隔で続けて追記されるストロークがブロックの領域外でも、同じブロック内への追記とみなされる。したがって、自由曲線１２７のうちの一部１２９は、ブロック１２６外であるが、最初のペンダウンによるストロークデータと同じ色で表示される。また、追記されるストロークデータがブロックの領域外になるとブロック１２６が拡張される（点線のブロック１３５）。これにより、更に追記されるストロークデータも同じブロックへの追記と判断されやすくなる。

＜色の決定方法＞
次に、図１０，図１１を参照して２色目以降の色の決定方法を説明する。図１０は、１色目と２色目の色の設定を受け付ける色設定受付画面（色の設定を受け付けるための設定画面）１３０の一例を示す。図１０の色設定受付画面１３０は１色目の設定欄１３２と２色目の設定欄１３３を有している。３色目以降の色の設定欄があってもよい。なお、１色目の色とはブロックの領域でない場所に手書きされるストロークデータの表示色であり、初期設定の表示色に相当する。２色目の色とは、ブロック生成後にブロックの領域に手書きされるストロークデータの表示色である。１色目の設定欄１３２と２色目の設定欄１３３はそれぞれプルダウンメニューであり、ユーザーの操作に応じてカラーパレットを表示する。ユーザーはカラーパレットから、１色目と２色目を好みの色に予め設定しておくことができる。

図１１は、色相環を用いた３色目以降の色の決定方法を説明する図である。１つのブロックへの追記のたびに色を変更する設定の場合であっても、図１０のように予め色を設定しておく方法を採用することができる。しかし、３色目以降の色の全てをユーザーが設定しておくのは手間がかかる。そこで、３色目以降の色を自動で色決定部２５が決定することが好ましい。

図１１（ａ）では、図１０で選択された２色目の色が「２」で示されている。色としては紫である。色決定部２５は、色相環上で２色目の色と一定以上の角度の差を乱数で決定し３色目を決定する。一定以上の角度は例えば３０度など、２色目の色と似ていない色となるように設定されている。図１１（ａ）では色相環上で２色目の色と９０度の差を有する３色目が決定されている。色としては赤である。このように、２色目と異なる３色目の色を決定できる。

図１１（ｂ）は４色目の色の決定方法を示す。４色目以降は、色決定部２５が、直前の２色（４色目の色の場合は２色目と３色目）の色相環上の角度の差（大きいほう）を等分する点を選ぶ。図１１（ｂ）では緑が選択されている。こうすることで、直前の２色とは異なり判別しやすい色を決定できる。

＜動作手順＞
図１２は、表示装置２がブロック内の手書きデータの色を変更して表示する処理又は動作の説明するフローチャート図の一例である。図１２の処理は、表示装置２がペンダウンを検出するとスタートする。なお、図１２の説明は、１つのブロックへの追記のたびに色を変更する設定の場合、又は、１つのブロックへの追記の回数に関係なく同じ色で手書きデータを表示する設定の場合のいずれにも対応している。

色決定部２５は、ペン２５００が接触した座標がブロックの領域内か否かを判断する（Ｓ１）。ブロックデータ記憶部３１の各ブロックの位置データとペン２５００が接触した座標を比較すればよい。

ステップＳ１の判断がＹｅｓの場合、色決定部２５は一つ前の操作が削除又は色変更操作かどうかを判断する（Ｓ２）。色決定部２５は、操作受付部２９に最後の操作内容を問い合わせることで判断する。

ステップＳ２の判断がＮｏの場合、ブロック内への追記なので、初期設定の色が設定された状態でも、色決定部２５は追記される手書きデータの色を変更する（Ｓ３）。１つのブロックへの追記の回数に関係なく同じ色で手書きデータ（第四のデータの一例）を表示する設定の場合、ユーザーがカラーパレットで設定している２色目の色が採用される。１つのブロックへの追記のたびに手書きデータ（第三のデータの一例）の色を変更する設定の場合、２色目の場合は、ユーザーがカラーパレットで設定している２色目の色が採用される。３色目の場合は、図１１で説明したように、色決定部２５は色相関で２色目の色から離れた３色目を決定する。４色目以降の場合は、色決定部２５は表２を参照して最後の２色から追記される手書きデータの色を決定する。

ステップＳ２の判断がＹｅｓの場合、ブロック内の手書きデータへの修正又はユーザーが色を設定したので、表示制御部２６は色を変更しないか、又は、ユーザーが設定した色でストロークデータを表示する（Ｓ４）。この場合の色は、一つ前の操作が削除の場合は、削除されたストロークデータと同じ色である。一つ前の操作が色変更操作であった場合は、ユーザーが変更した色である。なお、表示とは、座標点をつなげて描画されるストロークデータを表示することである。

次に、ブロック生成部２４は、ペンアップからの時間間隔が閾値未満（又は閾値以下）の間に次のペンダウンが検出されたか否かを判断する（Ｓ５）。

ステップＳ５の判断がＹｅｓの場合、ユーザーがブロック内に次々に手書きしているので、表示制御部２６は色決定部２５が決定した色でストロークデータの表示を継続する。

ステップＳ５の判断がＮｏの場合、ユーザーがブロックへの追記を終了したので、ブロック生成部２４はステップＳ１でペンダウンが検出された以降のストロークデータをブロックに加える（Ｓ６）。つまり、ステップＳ１でペンダウンが検出された以降のストロークデータにステップＳ１で判断されたブロックのブロックＩＤを付与する（ページデータ記憶部３０にブロックＩＤが登録される）。追加されるストロークデータはブロックの領域外に手書きされたものでもよく、この場合、ブロック生成部２４は追加されるストロークデータの座標に基づいて、ブロックデータ記憶部３１の位置データを拡張する。

ステップＳ１の判断がＮｏの場合、表示制御部２６はストロークデータを表示する（Ｓ７）。この場合の色はユーザーが設定した１色目の色である。

次に、ブロック生成部２４は、ペンアップからの時間間隔が閾値未満（又は閾値以下）の間に次のペンダウンが検出されたか否かを判断する（Ｓ８）。

ステップＳ８の判断がＹｅｓの場合、ユーザーが次々に手書きしているので、描画データ生成部は１色目の色でストロークデータの表示を継続する。

ステップＳ８の判断がＮｏの場合、ユーザーが手書きを終了したので、ブロック生成部２４はステップＳ１でペンダウンが検出された以降のストロークデータが１つのブロックであると判断する（Ｓ９）。ブロック生成部２４は、ステップＳ１でペンダウンが検出された以降のストロークデータに同じブロックＩＤを付与する。ブロックＩＤをページデータ記憶部３０に登録する。また、ブロック生成部２４は、同じブロックＩＤを付与したストロークデータの外接矩形に基づいてブロックデータをブロックデータ記憶部３１に登録する。

＜主な効果＞
以上説明したように、本実施形態の表示装置２は、手書きに基づいた第一のデータを含む領域に、更に、手書きされる第二のデータの色を、ユーザーが手書きする第二のデータの色を変更する操作を行うことを必要とせずに、第一のデータとは異なる色に変更して表示することで、追加された第二のデータを容易に判断できるようにすることができる。

本実施例では、実施例１とは異なる方法でブロック生成部２４がブロックを生成する方法を説明する。

図１３は、実施例１の方法でブロック化されたブロック１２６の領域を示す。図１３ではブロック１２６の右上にユーザーがストロークデータ１４１を追記した場合、周囲に書き込みがないにもかかわらずブロック１２６内への書き込みと判断される。しかし、このような場合、ユーザーはすでにあるブロック１２６とは関係なく手書きしたと考える方が自然である。

そこで、本実施例では、１つのストロークデータを包含する最小の外接矩形を生成し、外接矩形が重なっている場合、全ての外接矩形を合成して１つのブロックとみなす。

図１４は、本実施例のブロック化の方法を説明する図である。図１４では４つの四角形のそれぞれについての矩形１５１～１５４、及び、３つの矢印のそれぞれについて矩形１５５～１５７が形成されている。ブロック生成部２４はこの７つの矩形１５１～１５７の全体（論理和）を１つのブロック１６０の領域に決定する。すなわち、ブロック生成部２４はペンアップからペンダウンまでの時間間隔が閾値未満又は閾値以下の１つ１つのストロークデータの外接矩形を求め、一部でも重なっている複数の外接矩形の範囲をブロック１６０に決定する。

図１４のブロック化方法では、ブロック１６０の右上にユーザーがストロークデータ１４１を追記した場合でも、ブロック１６０内への書き込みと判断されない。すなわち、表示装置２は、より手書きデータの形状にフィットしたブロックを生成することができる。

＜機能について＞
なお、本実施例においては、上記の実施例１にて説明した図４のハードウェア構成図、及び、図５に示した機能ブロック図を援用できるものとし、主に相違について説明する。

表３は、本実施例のブロックデータ記憶部３１に記憶されるブロックデータを示す。本実施例ではブロック生成部２４がストロークデータごとに矩形を形成するため、ブロックデータ記憶部３１の位置データの構造が表２とは異なっている。すなわち、位置データの項目にはブロック１６０が有するストロークデータごとに外接矩形の位置データが登録される。追記されるストロークデータが１つでも外接矩形に含まれれば、該ストロークデータはブロック内への追記と判断される。

＜動作手順＞
本実施例の表示装置２の動作手順は図１２のフローチャート図と同様でよい。ただし、ステップ内の処理が異なるため、主に相違点を説明する。

Ｓ１…色決定部２５は、ペン２５００が接触した座標がブロックの領域内か否かを判断する（Ｓ１）。色決定部２５は、ブロックデータ記憶部３１の１つのブロックの全ての外接矩形の位置データとペン２５００が接触した座標を比較する。

Ｓ６…ユーザーがブロックへの手書きを終了したので、ブロック生成部２４はステップＳ１でペンダウンが検出された以降の全てのストロークデータの外接矩形を求め、外接矩形が一部でも重なっているストロークデータをステップＳ１で判断したブロックに加える。すなわち、このストロークデータにステップＳ１で判断されたブロックＩＤを付与してページデータ記憶部３０に登録する。また、ブロック生成部２４は、各ストロークデータの外接矩形の位置データを、ステップＳ１で判断されたブロックの位置データに追加する。

Ｓ９…ユーザーが手書きを終了したので、ブロック生成部２４はステップＳ１でペンダウンが検出された以降のストロークデータの外接矩形を求め、外接矩形が一部でも重なっているストロークデータが１つのブロックであると判断する。ブロック生成部２４は、このストロークデータに同じブロックＩＤを付与する（ページデータ記憶部３０に登録する）。また、ブロック生成部２４は、同じブロックＩＤを付与した各ストロークデータの外接矩形の位置データをブロックデータ記憶部３１に登録する。

＜ブロック化の例＞
このように、本実施例では、ペンアップからペンダウンまでの時間間隔が閾値未満又は閾値以下、かつ、ストロークデータの外接矩形が重なっている場合に、それらのストロークデータが同じブロックであると判断する。したがって、時間間隔が閾値未満又は閾値以下でも、別のブロックと判断される場合がある。

図１５は、本実施例のブロック化の方法によるブロック化の一例を示す。図１５は、当日のスケジュール１６１と、発表者テーブル１６２を示す。司会は左側にスケジュール１６１を手書きしながら、右側の発表者テーブル１６２に発表者を手書きしていく。したがって、ブロック化の判断に時間間隔だけが使用されると、当日のスケジュール１６１と発表者テーブル１６２が１つのブロックと判断される場合がある。この場合、当日のスケジュール１６１と発表者テーブル１６２の間に追記される手書きデータは全て同じブロックに所属すると判断されてしまう。しかし、司会が例えば右上に手書きした連絡先１６３はあまり重要でないため、色を変える必要性が低い。

これに対し、本実施例の表示装置２では、当日のスケジュール１６１と発表者テーブル１６２の外接矩形が重なっていないので、別々のブロックとして扱うことができる。

＜主な効果＞
以上説明したように、本実施例の表示装置は、実施例１の効果に加え、ブロックの領域を手書きデータの形状によりフィットさせることができる。また、離れた場所の手書きデータを別々のブロックとして扱うことができる。

本実施例では、実施例１とは異なる方法でブロック生成部２４がブロックを生成する方法を説明する。本実施例では、改行に応じてブロックを生成する表示装置２について説明する。

図１６は、本実施例のブロック化方法を説明する図である。図１６（ａ）に示すように、本実施例では、ディスプレー２２０において上端領域１７１、右端領域１７２、下端領域１７３、及び、左端領域１７４が設定されている。図１６（ｂ）に示すように、ユーザーが右端領域１７２で書き込みを終えた後、反対側の左端領域１７４で書き込みを開始した場合、ブロック生成部２４は改行前の一連のストロークデータ（時間間隔が閾値未満又は閾値以下）を１つのブロックと判断する。図１６（ｂ）では「あいうえお」が１つのブロック１７５となる。こうすることで、改行前の最後の１文字「お」が手書きされてから、改行後の最初の１文字「か」が手書きされるまでの時間間隔が閾値未満又は閾値以下でも、ブロック生成部２４は別々のブロックを生成できる。

＜機能について＞
なお、本実施例においては、上記の実施例１にて説明した図４のハードウェア構成図、及び、図５に示した機能ブロック図を援用できるものとし、主に相違について説明する。また、ブロックデータ記憶部３１の構成は実施例１の表２と同様でよい。

＜動作手順＞
図１７は、本実施例の表示装置２の動作手順を示すフローチャート図の一例である。図１７の説明では主に図１２との相違点を説明する。図１７ではステップＳ２０，Ｓ２１が追加されている。

Ｓ２０…ステップＳ１５の判断がＹｅｓの場合、ブロック生成部２４はストロークデータが一方の端領域から反対側の他方の端領域に移動したか否かを判断する。以下の形態がある。
・右端領域１７２から左端領域１７４への移動（又はこの逆）
・下端領域１７３から上端領域１７１への移動（又はこの逆）
ステップＳ２０の判断がＹｅｓの場合、ユーザーが改行したので、処理はステップＳ１６に進む。ステップＳ１６の処理は図１２のステップ６と同様でよい。ブロック生成部２４は一方の端領域の最後のストロークデータまでを１つのブロックと判断する。

Ｓ２１…ステップＳ１８の判断がＹｅｓの場合、ブロック生成部２４はストロークデータが一方の端領域から反対側の他方の端領域に移動したか否かを判断する。以下の形態がある。
・右端領域１７２から左端領域１７４への移動（又はこの逆）
・下端領域１７３から上端領域１７１への移動（又はこの逆）
ステップＳ２１の判断がＹｅｓの場合、ユーザーが改行したので、処理はステップＳ１９に進む。ステップＳ１９の処理は図１２のステップＳ９と同様でよい。ブロック生成部２４は一方の端領域の最後のストロークデータまでを１つのブロックと判断する。

＜ブロック化の例＞
本実施例では、ペンアップからペンダウンまでの時間間隔が閾値未満又は閾値以下であっても、改行された場合は、別々のブロックであると判断する。したがって、時間間隔が閾値未満又は閾値以下でも、別のブロックと判断される場合がある。

図１８は、本実施例のブロック化の方法によるブロック化の一例を示す。図１８（ａ）では「東京スカイフラワー」の後に「浅草神社」「富士山」と手書きされている。ユーザーは「東京スカイフラワー」と「浅草神社」の間に、後に追記したい内容があるが、説明のため、先に「浅草神社」を手書きした。

次に、ユーザーは図１８（ｂ）に示すように、「東京スカイフラワー」と「浅草神社」の間に「関東タワー」と手書きした。「東京スカイフラワー」と「浅草神社」が同じブロックであると判断された場合、「関東タワー」だけ色が変わってしまう。しかし、本実施例では、「東京スカイフラワー」と「浅草神社」が別のブロックであると判断されているので、「関東タワー」の色を「東京スカイフラワー」と「浅草神社」と同じにすることができる。

なお、右端領域１７２まで文字列が達しない場合でも、ブロック化したいユーザーは右端領域１７２に点を打つなどすれば、任意にブロック化できる。上端領域１７１、下端領域１７３、及び、左端領域１７４についても同様である。

＜主な効果＞
以上説明したように、本実施例の表示装置は、実施例１の効果に加え、１行ごとにブロック化することができる。また、離れた場所の手書きデータを別々のブロックとして扱うことができる。

以下の実施例では表示装置２の別の構成例について説明する。

＜＜表示装置の別の構成例１＞＞
本実施形態の表示装置２は大型のタッチパネルを有するものとして説明されているが、表示装置２はタッチパネルを有するものに限られない。

図１９は、表示装置２の他の構成例を示す図である。図１９では、通常のホワイトボード４１３の上辺にプロジェクター４１１が設置されている。このプロジェクター４１１が表示装置２に相当する。通常のホワイトボード４１３とは、タッチパネルと一体のフラットパネルディスプレーではなく、ユーザーがマーカーで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。

プロジェクター４１１は超短焦点の光学系を有しており、１０ｃｍ程度から歪みの少ない映像をホワイトボード４１３に投影できる。この映像は、無線又は有線で接続されたＰＣ４００－１から送信されてもよいし、プロジェクター４１１が記憶していてもよい。

ユーザーは専用の電子ペン２５０１を使ってホワイトボード４１３に手書きする。電子ペン２５０１は、ユーザーが手書きのためにホワイトボード４１３に押しつけるとスイッチがＯＮになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザーの目には見えない。プロジェクター４１１はカメラを有しており、発光部を撮像して画像を解析し電子ペン２５０１の方向を特定する。また、電子ペン２５０１は発光と共に音波を発信しており、プロジェクター４１１は音波の到達時間により距離を算出する。方向と距離により電子ペン２５０１の位置を特定できる。電子ペン２５０１の位置には手書きされたデータが描画（投影）される。

プロジェクター４１１はメニュー４３０を投影するので、ユーザーが電子ペン２５０１でボタンを押下すると、プロジェクター４１１が電子ペン２５０１の位置とスイッチのＯＮ信号により押下されたボタンを特定する。例えば、保存ボタン４３１が押下されると、ユーザーが手書きした手書きされたデータ（座標点列）がプロジェクター４１１で保存される。プロジェクター４１１は、予め定められたサーバー４１２又はＵＳＢメモリー２６００等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザーが再編集することができる。ただし、本実施形態では操作コマンドを手書きで呼び出せるのでメニュー４３０は表示されなくてもよい。

＜＜表示装置の別の構成例２＞＞
図２０は、表示装置２の他の構成例を示す図である。図２０の例では、表示装置２として、端末装置６００、画像投影装置７００Ａ、及び、ペン動作検出装置８１０を有する。

端末装置６００は、画像投影装置７００Ａ及びペン動作検出装置８１０と有線で接続されている。画像投影装置７００Ａは、端末装置６００により入力された画像データをスクリーン８００に投影させる。

ペン動作検出装置８１０は、電子ペン８２０と通信を行っており、スクリーン８００の近傍における電子ペン８２０の動作を検出する。具体的には、電子ペン８２０は、スクリーン８００上において、電子ペン８２０が示している点を示す座標情報を検出し（検出方法は図１９と同様でよい）、端末装置６００へ送信する。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０によって入力される手書きデータの画像データを生成し、画像投影装置７００Ａによって手書きデータの画像をスクリーン８００に描画させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。

＜＜表示装置の別の構成例３＞＞
図２１は、表示装置２の構成例を示す図である。図２１の例では、表示装置２として、端末装置６００と、ディスプレー８００Ａと、ペン動作検出装置８１０とを有する。

ペン動作検出装置８１０は、ディスプレー８００Ａの近傍に配置され、ディスプレー８００Ａ上に、電子ペン８２０Ａが示している点を示す座標情報を検出し（検出方法は図１９と同様でよい）、端末装置６００へ送信する。なお、図２１の例では、電子ペン８２０Ａは、端末装置６００によってＵＳＢコネクタを介して充電されても良い。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０Ａによって入力される手書データの画像の画像データを生成し、ディスプレー８００Ａに表示させる。

＜＜表示装置の別の構成例４＞＞
図２２は、表示装置２の構成例を示す図である。図２２の例では、表示装置２として、端末装置６００と、画像投影装置７００Ａとを有する。

端末装置６００は、電子ペン８２０Ｂと無線通信（Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を行って、スクリーン８００上において電子ペン８２０Ｂが示す点の座標情報を受信する。座標情報は、スクリーン８００に形成された微小な位置情報を電子ペン８２０Ｂが読み取ってもよいし、スクリーン８００から座標情報を受信してもよい。

そして、端末装置６００は、受信した座標情報に基づき、電子ペン８２０Ｂにより入力される手書データの画像の画像データを生成し、画像投影装置７００Ａに手書データの画像を投影させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。

以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では電子黒板を一例として説明したが、電子黒板は、電子ホワイトボード、電子情報ボード、手書き入力装置、などと呼ばれてよい。また、本実施形態は、タッチパネルを有する情報処理装置であれば好適に適用できる。タッチパネルを搭載した情報処理装置としては、例えば、ＰＪ（Projector：プロジェクター）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。

また、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、ペン先の座標を超音波により検出してもよい。また、ペンは発光と共に超音波を発信しており、表示装置２は超音波の到達時間により距離を算出する。方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークデータとしてプロジェクターが描画（投影）する。

また、図５などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、表示装置２が行う処理の一部を、表示装置２とネットワークを介して接続されたサーバーが行ってもよい。

また、本実施形態において、比較の対象として閾値が例示されていたとしても閾値は例示された値には限定されない。このため、本実施形態では、全ての閾値に関し、閾値未満と閾値以下という記載は同等の意味を持ち、閾値超過と閾値以上という記載は同等の意味を持つ。例えば、閾値を１１とした場合の閾値未満という記載は閾値が１０である場合の閾値以下と同等の意味を持つ。また、閾値を１０とした場合の閾値超過という記載は閾値が１１である場合の閾値以上と同等の意味を持つ。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

ブロック生成部２４は領域生成手段の一例である。表示制御部２６は表示制御手段の一例である。操作受付部２９は操作受付手段の一例である。接触位置検出部２１は受付手段の一例である。色決定部２５は色決定手段の一例である。

２ 表示装置

特開平11－327789号公報

Claims (12)

1. 手書きに基づいた第一のデータを表示する表示装置であって、
   入力手段によるディスプレーへの手書きを受け付ける受付手段と、
   前記受付手段により、前記第一のデータを含む領域に、第二のデータを受け付けた場合であって、前記第一のデータと前記第二のデータとに同じ色が設定されている場合に、前記手書きされた前記第二のデータの色を、前記第一のデータとは異なる色に変更して表示する表示制御手段と、
   を有することを特徴とする表示装置。
2. 前記第一のデータを含むディスプレーの領域に前記入力手段が接触し、前記受付手段が第二のデータを受け付けた場合、前記入力手段が前記ディスプレーから離れて次に前記ディスプレーに接触するまでの時間間隔が閾値未満又は閾値以下であれば、前記表示制御手段は前記第一のデータを含む領域でない領域に手書きされたデータの色を前記第二のデータと同じ色で表示することを特徴とする請求項１に記載の表示装置。
3. 前記第一のデータを含むディスプレーの領域に前記入力手段が接触し、前記受付手段が前記第二のデータを受け付け前記入力手段がディスプレーから離れた場合、次に前記第一のデータを含む前記ディスプレーの領域に前記入力手段が接触するまでの時間間隔が閾値以上又は閾値超過になるごとに、前記受付手段により受付した第三のデータを前記表示制御手段は異なる色で表示することを特徴とする請求項１に記載の表示装置。
4. 前記第一のデータを含むディスプレーの領域に前記入力手段が接触し、前記受付手段が第二のデータを受け付け前記入力手段が前記ディスプレーから離れた場合、次に前記第一のデータを含む前記ディスプレーの領域に前記入力手段が接触することで前記受付手段により受付した全ての第四のデータを前記表示制御手段は前記第二のデータと同じ色で表示することを特徴とする請求項１又は２に記載の表示装置。
5. 前記表示装置に対する操作を受け付け、最後の操作内容を保存する操作受付手段を有し、
   前記最後の操作内容が、前記第一のデータが有するストロークデータの削除である場合、前記表示制御手段は、前記第一のデータと同じ色が設定された状態で手書きされる前記第二のデータの色を、前記第一のデータと同じ色で表示し、
   前記最後の操作内容が、前記第二のデータの色変更操作である場合、
   前記表示制御手段は、前記色変更操作で設定された色で前記第二のデータを表示することを特徴とする請求項１～４のいずれか１項に記載の表示装置。
6. 前記表示制御手段は、前記第一のデータの色と前記第二のデータの色の設定を受け付ける色設定受付画面を表示し、
   前記第一のデータの色と前記第二のデータの色の設定を受け付ける操作受付手段を有することを特徴とする請求項１～５のいずれか１項に記載の表示装置。
7. 前記表示制御手段は、前記第一のデータの色と前記第二のデータの色の設定を受け付ける色設定受付画面を表示し、
   前記第一のデータの色と前記第二のデータの色の設定を受け付ける操作受付手段を有し、
   前記入力手段が前記ディスプレーから離れてから前記ディスプレーに接触するまでの時間間隔が閾値以上又は閾値超過のために前記第二のデータを前記第一のデータとは異なる色で表示する場合、色相環を使って前記第二のデータの２色目以降の色を決定する色決定手段を有することを特徴とする請求項３に記載の表示装置。
8. 前記入力手段が前記ディスプレーから離れてから前記ディスプレーに接触するまでの時間間隔が閾値未満又は閾値以下の全てのストロークデータの外接矩形を前記第一のデータの領域と判断する領域生成手段を有することを特徴とする請求項１～７のいずれか１項に記載の表示装置。
9. 前記入力手段が前記ディスプレーから離れてから前記ディスプレーに接触するまでの時間間隔が閾値未満又は閾値以下の１つ１つのストロークデータの外接矩形を求め、一部でも重なっている複数の前記外接矩形の範囲を前記第一のデータの領域と判断する領域生成手段を有することを特徴とする請求項１～７のいずれか１項に記載の表示装置。
10. 前記表示装置が有する前記ディスプレーの左端領域、右端領域、上端領域、及び、下端領域が定められており、
    前記入力手段が、一方の端領域から離れ、反対側の他方の端領域に接触した場合、一方の端領域から離れ、反対側の他方の端領域に接触するまでの時間間隔が閾値未満又は閾値以下であっても、前記一方の端領域から離れるまでのストロークデータの外接矩形を前記第一のデータの領域と判断する領域生成手段を有することを特徴とする請求項８又は９に記載の表示装置。
11. 手書きに基づいた第一のデータを表示する表示装置が行う表示方法であって、
    受付手段が、入力手段による入力を受け付けるステップと、
    前記受付手段により、前記第一のデータを含む領域に、第二のデータを受け付けた場合であって、前記第一のデータと前記第二のデータとに同じ色が設定されている場合に、表示制御手段が前記手書きされる前記第二のデータの色を、前記第一のデータとは異なる色に変更して表示するステップと、
    を有することを特徴とする表示方法。
12. 手書きに基づいた第一のデータを表示する情報処理装置を、
    入力手段による入力を受け付ける受付手段と、
    前記受付手段により、前記第一のデータを含む領域に、第二のデータを受け付けた場合であって、前記第一のデータと前記第二のデータとに同じ色が設定されている場合に、前記手書きされた前記第二のデータの色を、前記第一のデータとは異なる色に変更して表示する表示制御手段、
    として機能させるためのプログラム。
    

Images