JP2021149662A - 表示装置、表示方法、プログラム - Google Patents

Abstract

【課題】ユーザーが文字等の修正に１つ以上の文字の移動が不要な表示装置、表示方法及びプログラムを提供する。【解決手段】１つ以上の文字を表示する表示装置２において、手書きデータから校正記号を認識する校正記号認識部と、１つ以上の文字における校正記号で指定される位置に、校正記号に応じて定まる１つ以上の第一の文字を配置する校正処理部と、を有する。【選択図】図７

Description

本発明は、表示装置、表示方法、及び、プログラムに関する。

手書き認識技術を利用し、手書きデータを文字に変換して、ディスプレーに表示する技術が知られている。また、ユーザーは予め定められた操作方法によりディスプレーに表示された文字を修正することができる。

一方、ワープロソフトなどで作成された文字を簡単に修正する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、指定された文字列を対象テキスト内の任意の場所にマウスでドラッグ＆ドロップして、文字列を挿入する技術が開示されている。

しかしながら、従来の技術は、ユーザーが文字等の修正に１つ以上の文字の移動が必要であるという問題がある。例えば、ユーザーは差し替えや入れ替え等に使用する１つ以上の文字を移動させないと、元の文字等を修正できない。

本発明は、上記課題に鑑み、文字等の修正に１つ以上の文字の移動が不要な表示装置を提供することを目的とする。

上記課題に鑑み、本発明は、１つ以上の文字を表示する表示装置であって、手書きデータから校正記号を認識する校正記号認識手段と、前記１つ以上の文字における前記校正記号で指定される位置に、前記校正記号に応じて定まる１つ以上の第一の文字を配置する校正処理手段と、を有することを特徴とする。

ユーザーが文字等の修正に１つ以上の文字の移動が不要な表示装置を提供することができる。

文字列内の前後を入れ替える修正の修正方法を説明する図の一例である。 修正対象文字列の一部を違う文字で差し替える修正の修正方法を説明する図である。 文字列内の一部を違う文字で差し替える修正の修正方法を説明する図である。 ペンの斜視図の一例を示す図である。 表示装置の全体構成図を示す図の一例である。 表示装置のハードウェア構成図の一例である。 表示装置が有する機能をブロック状に分けて説明する機能ブロック図の一例である。 よく使用される校正記号のリストの一例である。 ユーザーの手書き入力が検出された場合に表示装置が行う動作の全体的な流れを示すフローチャート図の一例である。 操作ガイドと操作ガイドが表示する選択可能候補の一例を示す図である。 文字列内における各文字の位置の特定方法を説明する図の一例である。 文字の差し替え方法を模式的に説明する図である。 文字の差し替え方法の手順を示すフローチャート図の一例である。 文字の差し替え方法を模式的に説明する図である（半輝度表示）。 文字の差し替え方法の手順を示すフローチャート図の一例である。 文字の差し替え方法を模式的に説明する図である（テキストボックスを表示）。 文字の差し替え方法の手順を示すフローチャート図の一例である。 文字の差し替えと校正履歴の記録を模式的に説明する図である。 文字の差し替えと校正履歴の記録の手順を示すフローチャート図の一例である。 指示の取消による文字列の復帰を説明する図の一例である。 文字の差し替えの途中で指示が取り消された場合の文字列の復帰を説明するフローチャート図の一例である。 文字列の修正のやり直し方法を説明する図の一例である。 文字列の修正のやり直しに関する処理を説明するフローチャート図の一例である。 入れ替えの校正記号が検出された場合に、表示装置が行う処理を説明するフローチャート図の一例である。 入れ替えの校正記号が指定する文字を説明する図の一例である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。

以下、本発明を実施するための形態の一例として表示装置と、表示装置が行う表示方法について図面を参照しながら説明する。

＜文字列の修正の概略＞
まず、本実施形態を説明するにあたって、参考になる比較例と共に本実施形態を説明する。なお、比較例は従来技術や公知技術とは限らないことに注意されたい。

図１は、文字列内の前後を入れ替える修正の修正方法を説明する図である。図１（ａ）は比較例を示し、図１（ｂ）は本実施形態の修正方法を示す。まず、比較例について説明する。
(1)ユーザーが文字列の修正したい範囲（図では「小さい」）に横線を手書きする。
(2)消去した文字列（図では「小さい」）を改めてユーザーが手書きする。
(3)ユーザーが新たに手書きした修正用文字３０１を選択し、修正用文字３０１をドラッグする。ユーザーが修正対象文字列３０２の任意の場所（図では先頭）までドラッグすると、修正用文字３０１をドロップする。これにより、表示装置は修正用文字３０１に続けて「赤い花」を表示する。修正用文字３０１の開始位置はユーザーがドロップした位置である。

次に、本実施形態の修正方法を説明する。
(1)修正対象文字列３０２の入れ替え部分に、ユーザーは入れ替え用の校正記号３０３を手書きする。表示装置は、校正記号３０３で指定されている入れ替え対象文字３０４ａ（第三の文字の一例）と、校正記号３０３に応じて定まる入れ替え対象文字３０４ｂ（第四の文字の一例）の配置を入れ替える。

図１（ａ）（ｂ）のどちらの処理でも修正対象文字列３０２の文字の前後を入れ替える修正は可能だが、本実施形態では１つ以上の文字をユーザーが移動しなくても（ドラッグ＆ドロップが不要）で文字の前後を入れ替える修正が可能である。

なお、修正対象文字列３０２は、手書きにより入力された文字列に限らず、ファイルなどから読み取られた文字列、又は、ネットワークからダウンロードされた文字列等でもよい。図２で後述する差し替え用文字３０５についても同様である。

図２は、修正対象文字列３０２の一部を違う文字で差し替える修正の修正方法を説明する図である。図２（ａ）は比較例を示し、図２（ｂ）は本実施形態の修正方法を示す。まず、比較例について説明する。
(1)ユーザーが修正対象文字列３０２の差し替え対象文字３０７（第二の文字の一例。図では「小さい」）に横線を手書きする。
(2)差し替え用文字３０５（図では「大きい」）をユーザーが手書きする。
(3)ユーザーが認識された差し替え用文字３０５（第一の文字の一例）を選択し、差し替え用文字３０５をドラッグする。ユーザーが修正対象文字列３０２の任意の場所（図では「赤い」の後）までドラッグすると、差し替え用文字３０５をドロップする。

次に、本実施形態の修正方法を説明する。
(1)修正対象文字列３０２の差し替えたい文字に、ユーザーは差し替え用の校正記号３０６を手書きする。
(2)ユーザーは差し替え用の校正記号３０６の上部に差し替え用文字３０５を手書きする。表示装置は、校正記号３０６で指定されている差し替え対象文字３０７を、校正記号３０６に応じて定まる差し替え用文字３０５（後述する修正モードで手書きされた文字）に変更する。

図２（ａ）（ｂ）のどちらの処理でも文字列の一部の差し替えは可能だが、本実施形態では１つ以上の文字をユーザーが移動しなくても（ドラッグ＆ドロップが不要）で文字の前後を入れ替える修正が可能である。

図３は、文字列内の一部を違う文字で差し替える修正の修正方法を説明する図である。図３では図２と異なる方法を説明する。図３（ａ）は比較例を示し、図３（ｂ）は本実施形態の修正方法を示す。まず、比較例について説明する。比較例は図２（ａ）と同様である。
(1)ユーザーが修正対象文字列３０２の差し替え対象文字３０７（図では「小さい」）に横線を手書きする。
(2)差し替え用文字３０５（図では「大きい」）をユーザーが手書きする。
(3)ユーザーが認識された差し替え用文字３０５を選択し、差し替え用文字３０５をドラッグする。ユーザーが修正対象文字列３０２の任意の場所（図では「赤い」の後）までドラッグすると、差し替え用文字３０５をドロップする。

次に、本実施形態の修正方法を説明する。
(1)ユーザーは修正対象文字列３０２の差し替え対象文字３０７に、差し替え用の校正記号３０６を手書きする。差し替え対象文字３０７が半輝度になりテキストボックス３０９で囲まれる。
(2)ユーザーは任意の位置に差し替え用文字３０５を手書きする。表示装置は、校正記号３０６で指定されている差し替え対象文字３０７を、校正記号３０６に応じて定まる差し替え用文字３０５に変更する。

以上のどちらの処理でも文字列の一部の差し替えは可能だが、本実施形態では１つ以上の文字をユーザーが移動しなくても（ドラッグ＆ドロップが不要）で文字の前後を入れ替える修正が可能である。

このように、本実施形態では、文字列の差し替え又は入れ替え時に、ユーザーが文字列をドラッグ＆ドロップで挿入する操作が不要なので、１つ以上の文字の修正に要する工数を少なくすることができる。

＜用語について＞
手書きデータとは、ディスプレー上でユーザーが入力手段を連続的に移動させた座標点列を軌跡として表示したデータである。また、ユーザーがディスプレーに入力手段を押しつけてから連続的に移動させた後、ディスプレーから離すという一連の操作をストロークといい、ストロークにより手書きされたデータをストロークデータという。手書きデータは１つ以上のストロークデータを有する。

差し替えとは、１つ以上の文字を別の１つ以上の文字に変更することをいう。入れ替えとは、２つ以上の文字を有する文字列内の文字と文字を入れ替えることをいう。

ドラッグとはマウスのボタンを押したまま動かす操作であり、ドロップとは、目的の場所でマウスのボタンを放す操作である。ドラッグにより文字は移動される。ドロップにより文字の位置が決定される。

校正とは文字の不備や誤りを正すことをいう。校正記号とは、誤りの修正指示を簡便かつ正確に記述できる記号である。校正記号はJISZ 8208に規定されている。本実施形態では日本の校正記号を説明するが、使用者の国に応じた校正記号が使用されるとよい。どの国の校正記号を使用するかをユーザーが選択できてよい。また、標準化で規格化された校正記号とは別の校正記号が使用されてもよい。

文字を配置するとは、一方の場所にあった文字を別の文字があった場所や別の文字の周囲に移動することをいう。例えば、差し替え、入れ替え、挿入、ルビ付けなどがある。ただし、移動中の文字は表示されても表示されなくてもよい。

校正記号に応じて定まる文字は、校正記号で位置が特定されるもの、校正記号の検出により後述する修正モードになり、決まった場所又は任意の場所に手書きされた文字がある。校正記号に応じて定まるとは、手書きデータから校正記号を認識するモードから、手書きデータから文字又は文字列を認識するモードに移行したことで文字が特定されることである。

＜ペンの外観の一例＞
図４は、ペン２５００の斜視図の一例を示す。図４は多機能なペン２５００の一例を示す。電源を内蔵して表示装置２に命令を送信できるペン２５００をアクティブペンという（電源を内蔵しないペンをパッシブペンという）。図４のペン２５００は、物理的なスイッチがペン先に一つ、ペン尻に一つ、ペン側面に二つあり、ペン先が筆記用、ペン尻が消去用、ペン側面はユーザー機能割り当て用である。本実施形態のペン２５００は不揮発性のメモリーを有しており、他のペンと重複しないペンＩＤを記憶している。

なお、スイッチ付きのペンであれば、ユーザーの表示装置２の操作手順を減らすことも可能である。スイッチ付きのペンとは主にアクティブペンを言うが、電磁誘導方式では電源を内蔵しないパッシブペンでもＬＣ回路だけで電力を発生できるため、アクティブペンだけでなく電磁誘導方式のパッシブペンを含む。電磁誘導方式以外の光学方式、赤外線方式、及び、静電容量方式のスイッチのあるペンはアクティブペンである。

なお、ペン２５００のハードウェア構成は、通信機能とマイコンを備えた一般的な制御方式と同様であるとする。ペン２５００の座標の入力方式には、電磁誘導方式、アクティブ静電結合方式などがある。また、ペン２５００は、筆圧検知、傾き検知、ホバー機能（ペンが触れる前にカーソルを表示）、などの機能を有していてよい。

＜装置の全体構成＞
図５を用いて、本実施形態に係る表示装置２の全体構成を説明する。図５は、表示装置２の全体構成図を示した図である。図５（ａ）では、表示装置２の一例として、壁につり下げられた横長の電子黒板として使用される表示装置２を示している。

図５（ａ）に示されているように、表示装置２の上部には表示装置の一例としてのディスプレー２２０が設置されている。ユーザーＵは、ペン２５００を用いて、ディスプレー２２０に文字等を手書きする（入力、描画ともいう）ことができる。

図５（ｂ）は壁につり下げられた縦長の電子黒板として使用される表示装置２を示している。

図５（ｃ）は机２３０に平置きされた表示装置２を示す。表示装置２は厚みが１ｃｍ程度なので、一般の机に平置きしても机の高さを調整する必要がない。また、容易に移動できる。

＜装置のハードウェア構成＞
続いて、図６を用いて、表示装置２のハードウェア構成を説明する。表示装置２は図示するように情報処理装置又はコンピュータの構成を有している。図６は、表示装置２のハードウェア構成図の一例である。図６に示されているように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、及び、ＳＳＤ(Solid State Drive)２０４を備えている。

これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は、表示装置２用のプログラム等の各種データを記憶する。

また、表示装置２は、ディスプレーコントローラー２１３、タッチセンサーコントローラー２１５、タッチセンサー２１６、ディスプレー２２０、電源スイッチ２２７、チルトセンサー２１７、シリアルインタフェース２１８、スピーカー２１９、マイク２２１、無線通信装置２２２、赤外線Ｉ／Ｆ２２３、電源制御回路２２４、ＡＣアダプター２２５、及びバッテリー２２６を備えている。

ディスプレーコントローラー２１３は、出力画像をディスプレー２２０等へ出力するために画面表示の制御及び管理を行う。タッチセンサー２１６は、ディスプレー２２０上にペン２５００やユーザーの手等（ペンやユーザーの手は入力手段となる）が接触したことを検知する。また、タッチセンサー２１６はペンＩＤを受信する。

タッチセンサーコントローラー２１５は、タッチセンサー２１６の処理を制御する。タッチセンサー２１６は、座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、例えば、光学式の場合、ディスプレー２２０の上側両端部に設置された２つ受発光装置が、ディスプレー２２０に平行して複数の赤外線を放射し、ディスプレー２２０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。タッチセンサー２１６は、物体によって遮断された２つの受発光装置が放射した赤外線の位置情報をタッチセンサーコントローラー２１５に出力し、タッチセンサーコントローラー２１５が、物体の接触位置である座標位置を特定する。また、タッチセンサーコントローラー２１５は通信ユニット２１５ａを有しており、ペン２５００と無線で通信することができる。例えば、Bluetooth（登録商標）などの規格で通信している場合は、市販されているペンを使用することができる。通信ユニット２１５ａに予め１つ以上のペン２５００を登録しておくと、ユーザーはペン２５００を表示装置２と通信させる接続設定を行わなくても通信できる。

電源スイッチ２２７は、表示装置２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。チルトセンサー２１７は、表示装置２の傾き角度を検出するセンサーである。主に、表示装置２が図５（ａ）、図５（ｂ）、又は、図５（ｃ）のいずれかの設置状態で使用されているかを検出するために使用され、設置状態に応じて文字等の太さを自動で変更することができる。

シリアルインタフェース２１８はＵＳＢなどの外部との通信インタフェースである。外部からの情報の入力などに使用される。スピーカー２１９は音声の出力に使用され、マイク２２１は音声の入力に使用される。無線通信装置２２２は、ユーザーが携帯する端末と通信し、例えばインターネットへの接続を中継する。無線通信装置２２２はWi−FiやBluetooth（登録商標）などで通信するが、通信規格は問われない。無線通信装置２２２はアクセスポイントを形成しており、ユーザーが入手したＳＳＩＤ（Service Set Identifier）とパスワードをユーザーが携帯する端末に設定すると、アクセスポイントに接続できる。

なお、無線通信装置２２２には２つのアクセスポイントが用意されているとよい。
a. アクセスポイント→インターネット
b. アクセスポイント→社内ネットワーク→インターネット
ａのアクセスポイントは社外のユーザー用で、ユーザーは社内ネットワークにはアクセスできないが、インターネットを利用できる。ｂのアクセスポイントは社内のユーザー用で、ユーザーは社内ネットワーク及びインターネットを利用できる。

赤外線Ｉ／Ｆ２２３は隣に配置された表示装置２を検出する。赤外線の直進性を利用して、隣に配置された表示装置２のみを検出できる。赤外線Ｉ／Ｆ２２３は各辺に１つずつ設けられることが好ましく、表示装置２のどの方向に他の表示装置２が配置されたのかを検出できる。これにより画面が広がり、隣の表示装置２に過去に手書きされた手書き情報（１つのディスプレー２２０の広さを１ページとして別のページの手書き情報）等を表示できる。

電源制御回路２２４は表示装置２の電源であるＡＣアダプター２２５とバッテリー２２６を制御する。ＡＣアダプター２２５は商用電源が共有する交流を直流に変換する。

ディスプレー２２０がいわゆる電子ペーパーの場合、画像の表示を維持するためにほとんど又は一切電力を消費しないので、バッテリー２２６による駆動も可能である。これにより、屋外など電源を接続しにくい場所でもデジタルサイネージなどの用途で表示装置２を使用することが可能になる。

更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図６に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、タッチセンサー２１６は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなど種々の検出手段を用いてもよい。タッチセンサー２１６は、ペン先のタッチの有無を検知するのに電子ペンが必要ない方式であってよい。この場合はタッチ操作をするのに指先やペン型の棒を使用できる。なお、ペン２５００は、細長いペン型である必要はない。

＜機能について＞
次に、図７を用いて表示装置２の機能について説明する。図７は、表示装置２が有する機能をブロック状に分けて説明する機能ブロック図の一例である。表示装置２は、接触位置検出部２１、描画データ生成部２２、文字認識部２３、校正記号認識部２４、校正処理部２５、表示制御部２６、データ記録部２７、ネットワーク通信部２８、及び、操作受付部２９を有している。表示装置２が有する各機能は、図６に示されている各構成要素のいずれかが、ＳＳＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。

接触位置検出部２１はタッチセンサー２１６に対しペン２５００が接触した位置の座標を検出する。描画データ生成部２２はペン２５００のペン先が接触した座標を接触位置検出部２１から取得する。この座標点列を補間することで接続してストロークデータを生成する。接触位置検出部２１はタッチセンサーコントローラー２１５とタッチセンサー２１６により実現される。

文字認識部２３はユーザーが手書きした１つ以上のストロークデータ（手書きデータ）に対し文字認識処理を行い、文字コードに変換する。文字認識部２３は、ユーザーのペン操作と並行して文字（日本語だけでなく英語などの多国語）、数字、記号（％、＄、＆など）、図形（線、丸、三角など）等を認識していく。認識方法については様々なアルゴリズムが考案されているが、本実施形態では公知の技術を利用できるとして詳細を割愛する。文字認識部２３はＣＰＵ２０１がプログラムを実行することで実現される。

校正記号認識部２４はユーザーの手書きデータから校正記号を検出する。コンピュータから見ると校正記号も文字等と同じストロークの形状なので、例えば、機械学習の教師データとして校正記号の座標などを開発者が与えれば、文字等と同様に校正記号も検出できる。校正記号認識部２４はＣＰＵ２０１がプログラムを実行することで実現される。

校正処理部２５は、検出された校正記号に基づいて、文字の差し替え、入れ替え又は挿入等の校正内容を判断し、校正記号で指定された文字列の位置に１つ以上の文字（手書き後に認識されたものでも、文字列内にあるものでもよい）を配置する。詳細は後述される。校正処理部２５はＣＰＵ２０１がプログラムを実行することで実現される。

表示制御部２６は手書きデータ、手書きデータから変換された文字列、及び、ユーザーが操作するための操作メニューなどをディスプレーに表示する。表示制御部２６はディスプレーコントローラー２１３とディスプレー２２０により実現される。

データ記録部２７は、表示装置２に手書きされた手書きデータ、変換された文字列、校正履歴（後述する画像データ）、及び、ＰＣの画面、ファイル等を記憶部３０に記憶する。データ記録部２７はＣＰＵ２０１がプログラムを実行することで実現される。

ネットワーク通信部２８はＬＡＮ等のネットワークに接続して、他の機器とネットワークを介したデータの送受信を行う。ネットワーク通信部２８は無線通信装置２２２により実現される。

なお、記憶部３０は、図６に示されているＳＳＤ２０４やＲＡＭ２０３などに構築され、データ記録部２７が記録する上記の情報を記憶する。

表１は記憶部３０が記憶する文字列情報を模式的に示す。文字列情報は、識別情報、修正対象の文字列、校正記号、差し替え用文字、差し替え対象文字、修正された文字列、画像データ１、画像データ２、及び、画像データ３の各項目を有している。
識別情報…例えば、変換単位（１回の変換で変換された文字列）で各文字列を識別する識別情報である。
修正対象の文字列…修正される文字列である。修正対象の文字列の左上コーナーと右下コーナーの座標も保存されている。
校正記号…ユーザーが手書きした校正記号の内容や識別情報である。
差し替え用文字…差し替えに使用される文字である。少なくとも修正対象の文字列における位置が保存されている。
差し替え対象文字…差し替えられる文字である。少なくとも修正対象の文字列における位置が保存されている。
修正された文字列…差し替え用文字で差し替えられた文字列である。修正された文字列の左上コーナーと右下コーナーの座標も保存されている。
画像データ１、画像データ２、及び、画像データ３…後述するように校正履歴として保存される文字列の画像データである。

＜校正記号の一例＞
図８はよく使用される校正記号のリストである。先頭に振った符号を使って説明する。
１〜３…文字の差し替えの校正記号である。ユーザーは校正記号を手書きして、修正用文字を手書きする。
４…校正記号による修正を取り消すための校正記号である。ユーザーは差し替え用文字３０５に斜めの線を手書きし、差し替え対象文字３０７の近くに「イキ」と手書きする。
５…文字の削除の校正記号である。ユーザーは削除対象の文字に斜め線を手書きし、削除対象の文字の近くに「トル」と手書きする。
６、７…文字の挿入の校正記号である。ユーザーは挿入場所に「Ｖ」形状の校正記号を手書きして、「Ｖ」形状の校正記号の近くに挿入用文字を手書きする。

なお、上記のように１〜７のいずれの校正においてもユーザーは差し替え用文字３０５のドラッグ＆ドロップが不要である。
８，９…文字列内の文字と文字を入れ替えるための校正記号である。ユーザーは図示する校正記号を手書きする。

同様に、入れ替えの校正記号においてもユーザーは入れ替え対象文字３０４ａ、３０４ｂのドラッグ＆ドロップが不要である。
１０…段落改行するための校正記号である。ユーザーは図示する校正記号を手書きする。
１１…改行をやめるための校正記号である。ユーザーは図示する校正記号を手書きする。
１２…次の行に移動するための校正記号である。ユーザーは図示する校正記号を手書きする。
１３…小文字に修正するための校正記号である。ユーザーは小文字にしたい文字を囲み、小文字にしたい文字の上側に横線を手書きして「小」という文字を手書きする。
１４…大文字に修正するための校正記号である。ユーザーは大文字にしたい文字を囲み、大文字にしたい文字の上側に横線を手書きして「大」という文字を手書きする。
１５…字下げするための校正記号である。ユーザーは図示する校正記号を手書きする。
１６…字上げするための校正記号である。ユーザーは図示する校正記号を手書きする。
１７〜２０…それぞれ、文字間隔を空ける、文字間隔を詰める、行間を広げる、行間を詰めるための校正記号である。ユーザーは図示する校正記号を手書きする。
２１…拗音を修正するための校正記号である（拗音を止める）。ユーザーは図示する校正記号を手書きする。
２２…撥音を修正するための校正記号である（撥音を止める）。ユーザーは図示する校正記号を手書きする。
２３…上付き下付きを修正するための校正記号である。ユーザーは図示する校正記号を手書きする。
２４…ルビを付けるための校正記号である。ユーザーはルビを付けたい文字に図示する校正記号を手書きしてルビを手書きする。
２５…書体を修正するための校正記号である。ユーザーは書体を変更したい文字に図示する校正記号を手書きして修正後の書体を手書きする。

なお、図示する校正記号は一例であり、他にも校正記号が存在しうる。また、構成の内容を指示する校正記号は別の形状でもよい。

＜表示装置の動作の流れ＞
図９を参照して、ユーザーの手書き入力に対する表示装置２の動作の流れを説明する。図９はユーザーの手書き入力が検出された場合に表示装置２が行う動作の全体的な流れを示すフローチャート図の一例である。このフローチャート図は、校正記号の種類に関係なく共通である。

まず、ユーザーがペン２５００で手書きデータを入力する。これにより、接触位置検出部２１が接触位置を検出し、描画データ生成部２２が手書きデータを生成する。表示制御部２６は手書きデータをディスプレー２２０に表示する（Ｓ１００１）。

次に、文字認識部２３又は校正記号認識部２４が手書きデータに対し文字認識又は校正記号の認識を行う（Ｓ１００２）。文字だけでなく、数字、記号、又は、アルファベットに変換される場合もある。

認識結果が校正記号の場合（Ｓ１００３）、校正処理部２５は文字列が必要かどうかを校正記号の種別に基づいて判断する（Ｓ１００４）。文字列が必要な校正記号かどうかは、図８のように校正記号によって決まっている。例えば、差し替え、挿入、及び、ルビ付けは文字列が必要である。それ以外は、不要である。

文字列が必要な場合、校正処理部２５は文字列の入力待ち状態となる（Ｓ１００５）。したがって、処理はステップＳ１００１に戻る。

文字列が不要な場合、校正処理部２５は校正処理を実行する（Ｓ１００６）。詳細は後述されるが、修正対象文字列３０２のうち校正記号で特定される文字列の１つ以上の文字に、校正記号で特定された処理を行う。処理には校正記号に応じて定まる修正対象文字列３０２内の文字が使用される。表示制御部２６は校正後の文字列を表示する。

認識結果が文字列の場合（Ｓ１００３）、校正処理部２５は文字列待ち状態か否かを判断する（Ｓ１００７）。すなわち、ステップＳ１００５を通過したか否かを判断する。

文字列待ち状態の場合、校正処理部２５は校正処理を実行する（Ｓ１００６）。詳細は後述されるが、修正対象文字列３０２のうち校正記号で特定される１つ以上の文字を、新たに手書きされた文字列に変更する。あるいは、校正記号で特定される文字列の場所に新たに手書きされた文字を挿入する。あるいは、校正記号で特定される文字列に手書きされた文字をルビとして追加する。表示制御部２６は校正後の文字列を表示する。

文字列待ち状態でない場合、表示制御部２６は手書きデータから変換された文字列を表示する（Ｓ１００８）。

＜選択可能候補の表示例＞
続いて、図１０を参照して、手書きデータの変換時に表示される操作ガイド５００について説明する。図１０は操作ガイド５００と操作ガイドが表示する選択可能候補５３０の一例である。ユーザーが手書きデータ５０４を手書きすることで、操作ガイド５００が表示される。操作ガイド５００は、操作ヘッダー５２０、操作コマンドの候補５１０、手書き認識文字列候補５０６、変換文字列候補５０７、文字列/予測変換の候補５０８、及び、手書きデータ矩形領域表示５０３を有している。選択可能候補５３０は、操作コマンドの候補５１０、手書き認識文字列候補５０６、変換文字列候補５０７、文字列/予測変換の候補５０８である。また、操作コマンドの候補５１０を除く選択可能候補５３０を文字列候補５３９という。

操作ヘッダー５２０はボタン５０１、５０９、５０２、５０５を有する。ボタン５０１は予測変換とカナ変換の切り替え操作を受け付ける。図１０の例ではユーザーが「予測」と表示されているボタン５０９を押下すると操作受付部２９がそれを受け付けて、表示制御部２６が「かな」というボタン５０９に表示を変更する。変更後は、文字列候補５３９が「カナ変換」の確率降順で並ぶ。

ボタン５０２は候補表示のページ操作をする。図１０の例では候補表示ページは３ページあり、現在は１ページ目を表示している。ボタン５０５は操作ガイド５００の消去を受け付ける。ユーザーがボタン５０５を押下すると操作受付部２９が受け付けて、表示制御部２６が手書きデータ以外の表示を消去する。ボタン５０９は一括表示消去を受け付ける。ユーザーがボタン５０９を押下すると操作受付部２９が受け付けて、表示制御部２６が手書きデータを含め、図１０に示されているすべての表示を消去して、ユーザーが最初から手書きをしなおすことを可能にする。

手書きデータ５０４はユーザーが手書きした「ぎ」という文字である。手書きデータ５０４を囲む手書きデータ矩形領域表示５０３が表示される。図１０では一文字の入力で操作ガイド５００が表示されているが、操作ガイド５００が表示されるタイミングは、ユーザーが手書きを中断したタイミングである。したがって、手書きデータ５０４の文字数は任意である。図１０の例では点線枠で手書きデータ矩形領域表示５０３が表示されている。

手書き認識文字列候補５０６、変換文字列候補５０７、文字列/予測変換の候補５０８にはそれぞれの文字列候補が確率降順で並んでいる。手書き認識文字列候補５０６の「ぎ」は認識結果の候補である。この例では正しく「ぎ」を認識している。

変換文字列候補５０７は「ぎ」のカナ漢字変換の結果（例えば「技」）から変換された変換文字列候補（例えば技を含む熟語）である。この例の「技量試」とは「技術量産試作」の略名である。文字列/予測変換の候補５０８は変換文字列候補５０７から変換された予測文字列候補である。この例では「技量試を決裁」と「議事録の送付先」が表示されている。

操作コマンドの候補５１０は認識された文字に応じて表示される、予め定義されている操作コマンド（ファイル操作、文字の編集などのコマンド）の候補である。図１０の例では行頭文字の「》」５１１が操作コマンドの候補であることを示している。図１０では「ぎ」の文字列候補である「議事録」が、定義データと部分一致したため、操作コマンドの候補５１０として表示されている。

ユーザーが「議事録テンプレートを読み込む」を選択すると、定義データで定義された操作コマンドが実行される。このように操作コマンドの候補は、変換された文字列を含む操作コマンド定義データが見つかる場合に表示されるため、常に表示されるとは限らない。

図１０に示すように、文字列候補と操作コマンドの候補が同時に（共に）表示されるため、ユーザーは自分が入力しようとした文字列候補と操作コマンドのどちらも任意に選択できる。

図１０には含まれていないが、校正記号が選択可能候補５３０に含まれる場合もある。校正記号の確率が一定以上ならば校正記号認識部は校正記号であると認識して操作ガイド５００は表示されない。校正記号の確率が一定未満ならば操作ガイド５００に校正記号の候補が表示される。確率に関係なく校正記号を含む操作ガイド５００が表示されてもよい。校正記号の確率が一定未満ならば操作ガイド５００に校正記号の候補が表示される。例えば、ディープラーニングやＣＮＮなどのニューラルネットワーク型の識別器では、出力層のノードがノードに対応する校正記号の確率を出力する。この確率が高いものほどユーザーが手書きした可能性が高い。

＜文字列内における各文字の位置の特定方法＞
図１１を用いて文字列における各文字の位置の特定方法を説明する。図１１は文字列における各文字の位置の特定方法を説明する図の一例である。図１１には「赤い小さい花」３１０という文字列が表示されている。記憶部３０には、文字列の左上コーナーの座標Ｐ１と右下コーナーの座標Ｐ２が保存されている。また、使用しているフォント及び文字サイズも既知である。また、フォントが分かれば各文字の文字サイズも既知となる。例えば、一般の漢字、ひらがな、数字、などに対応付けて縦横のサイズが登録されているテーブルを記憶部３０が記憶している。したがって、校正処理部２５はこれらの情報を使って、各文字の座標（例えば１文字文のマスの左上コーナーと右下コーナーの座標）を算出できる。

図１１では各文字のｘ座標をＡ〜Ｅで示している（ｙ座標はｙ１又はｙ２）。校正処理部２５は座標Ａ〜Ｅを容易に算出できる。したがって、校正処理部２５は座標Ａ〜Ｅと校正記号の座標を比較して、校正記号で指定される位置を決定できる。また、入れ替え対象文字３０４ａ、３０４ｂ、又は、差し替え対象文字３０７等を決定できる。

＜修正の例＞
以下では、校正記号を使用した文字列のいくつかの修正例を説明する。

＜＜文字の差し替え＞＞
図１２は、文字の差し替え方法を模式的に説明する図である。図１３は文字の差し替え方法の手順を示すフローチャート図である。

S1：ユーザーがディスプレー２２０に「赤い小さい花」と手書き入力すると、表示制御部２６が上記の操作ガイド５００を表示する。ユーザーが文字列候補５３９から文字列を選択すると、表示制御部２６が手書きデータを消去して、変換後の文字列（修正対象文字列３０２）をディスプレーに表示する。

S2：ユーザーは、「小さい」を「大きい」に変更するため、文字の差し替えの校正記号３２０を（JIS Z 8208の、2字以上の修正の記号を描く）手書きする。校正記号認識部２４はこの校正記号を検出する。なお、校正記号が検出された場合（確率が一定以上の場合）、操作ガイド５００は表示されない。操作ガイド５００が表示された場合は校正記号が選択肢に表示されるのでユーザーが選択すればよい。確率に関係なく常に操作ガイド５００が表示されてもよい。校正記号の検出により表示装置２は修正モードになる。

S3：校正記号認識部２４はこの校正記号３２０を検出すると、校正記号３２０で特定される位置の差し替え対象文字３０７をスペース（スペースの文字コード）に変更する処理を校正処理部２５へ送信する。すなわち、校正記号３２０の左端と右端の座標を検出し、校正処理部２５へ送信する。校正処理部２５は２つの座標で指定される差し替え対象文字３０７をスペース（スペースの文字コード）に変更する。したがって図１２の例では「小さい」の各文字が空欄になる。このスペースを置き換え領域と呼ぶ。なお、校正処理部２５は修正対象文字列３０２、及び、差し替え対象文字３０７を識別情報に対応付けて記憶部３０に保存しておく。

S4：次に、ユーザーは任意の位置に「大きい」という文字を手書きする。修正モードなのでユーザーは任意の場所に手書きしてよい。表示制御部２６が操作ガイド５００を表示する。ユーザーが文字列候補５３９から文字列を選択すると、表示制御部２６が手書きデータを消去して、変換後の差し替え用文字３０５である「大きい」をディスプレー２２０に表示する。校正処理部２５は修正モードで手書きされた差し替え用文字３０５、修正対象文字列３０２、及び、差し替え対象文字３０７と同じ識別情報に対応付けて保存しておく。

S5：修正モードであるため、校正処理部２５は差し替え用文字３０５（校正記号に応じて検出された１つ以上の文字）を置き換え領域に配置する。すなわち、１つ以上の文字における校正記号で指定される位置に 、校正記号に応じて定まる１つ以上の文字を配置する。したがって、表示制御部２６は「赤い」と「花」の間に「大きい」を表示する。

このように、校正記号を用いた差し替え処理により、ドラッグ＆ドロップ操作がなくても「赤い小さい花」は「赤い大きい花」という修正された文字列３３０に修正される。修正により、修正モードが終了する。修正された文字列３３０は上記の識別情報に対応付けて記憶部３０に保存される。

なお、差し替え用文字３０５の文字数が差し替え対象文字３０７の文字数よりも小さい場合、校正処理部２５がスペースを削除して（詰めて）、差し替え用文字３０５の後にスペースが残らないようにする。差し替え用文字３０５の文字数が差し替え対象文字３０７の文字数よりも大きい場合は、校正処理部２５が差し替え用文字３０５の後に続く文字列を上書きされないようにシフトする。なお、このようにスペースの削除やシフトするのでなく、校正処理部２５はステップS4で「赤い」と「花」の全てを削除し、「赤い大きい花」の全体を表示してもよい。

また、図１２では、ユーザーが校正記号３２０を手書きしてから差し替え用文字３０５を手書きしているが、差し替え用文字３０５を手書きしてから校正記号３２０を手書きしてもよい。この場合、校正処理部２５は
・校正記号３２０の直前に変換された文字
・校正記号３２０から所定距離内で最も近い文字
を差し替え用文字３０５と見なす。

＜＜文字の差し替え 差し替え対象文字を半輝度で表示＞＞
図１４は、文字の差し替え方法を模式的に説明する図である。図１５は文字の差し替え方法の手順を示すフローチャート図である。なお、図１４、図１５の説明では主に図１２、図１３との相違を説明する。ステップS11,ステップS12は図１２のステップS1、S2と同様でよい。

S13：校正記号認識部２４はこの校正記号３２０を検出すると、校正記号３２０に指定される差し替え対象文字３０７を半輝度で表示する処理を校正処理部２５へ送信する。すなわち、校正記号３２０の左端と右端の座標を検出し、校正処理部２５へ送信する。校正処理部２５は２つの座標で指定される差し替え対象文字３０７を同じ文字のまま半輝度で表示する（いったん削除し、半輝度で再表示する）。したがって図１４の例では「小さい」の各文字が半輝度になる。半輝度で表示される文字がある領域を置き換え領域と呼ぶ。半輝度とは輝度を低減した状態を言うが（明度が低くなった状態）、色を変えてもよいし、彩度を変えてもよい。

ステップS14,ステップS15は図１２のステップS4、S5と同様でよい。

このように、差し替え対象の文字を半輝度で表示することで、ユーザーは差し替え対象文字３０７が何かを見ながら差し替え用文字３０５を手書きできる。

＜＜文字の差し替え テキストボックスに文字を手書き＞＞
図１６は、文字の差し替え方法を模式的に説明する図である。図１７は文字の差し替え方法の手順を示すフローチャート図である。なお、図１６、図１７の説明では主に図１２、図１３との相違を説明する。ステップS21,ステップS22は図１２、図１３のステップS1、S2と同様でよい。

S23：校正記号認識部２４はこの校正記号３２０を検出すると、校正記号３２０で指定される差し替え対象文字３０７をテキストボックスに変更する処理を校正処理部２５へ送信する。すなわち、校正記号３２０の左端と右端の座標を検出し、校正処理部２５へ送信する。校正処理部２５は２つの座標で指定される差し替え対象文字３０７をテキストボックス３２１に変更する。したがって図１６の例では「小さい」の各文字がテキストボックス３２１になる。テキストボックス３２１がある領域を置き換え領域と呼ぶ。

S24ａ、S24ｂ：ユーザーはテキストボックス３２１内に「大きい」又は「大きいきれいな」という差し替え用文字３０５を手書きする。テキストボックス３２１内に手書きされた文字は校正記号３２０に応じて検出された１つ以上の文字である。表示制御部２６は操作ガイド５００を表示する。ユーザーが文字列候補５３９から差し替え用文字３０５を選択する。操作受付部２９が操作を受け付ける。

S25a：表示制御部２６が手書きデータを消去して、変換後の差し替え用文字３０５である「大きい」をテキストボックス３２１に表示する。差し替え用文字３０５の文字数がテキストボックス３２１の数と合わない場合、図１２と同様に校正処理部２５がテキストボックス３２１の数を調整する。

S26：ユーザーがテキストボックス３２１に入力する文字数がテキストボックス３２１の数よりも多い場合がある。

S27この場合、校正処理部２５は最後のテキストボックス３２１に文字が手書きされた場合に、テキストボックス３２１を１つずつ追加する。

S25ｂ：表示制御部２６が手書きデータを消去して、変換後の差し替え用文字３０５である「大きいきれいな」をテキストボックス３２１に表示する。差し替え用文字３０５の文字数がテキストボックス３２１の数と合わない場合、図１２と同様に校正処理部２５がテキストボックス３２１の数を調整する。

このように、差し替え対象にテキストボックス３２１を表示することで、ユーザーは元の文字に続けて差し替え用文字３０５を手書きできる。

＜＜校正履歴の記録＞＞
図１８は、文字の差し替えと校正履歴の記録を模式的に説明する図である。図１９は文字の差し替えと校正履歴の記録の手順を示すフローチャート図である。なお、図１８、図１９の説明では主に図１２、図１３との相違を説明する。まず、ステップS31〜S35はステップS1〜S5と同じでよい。

S36：ステップS2で校正記号認識部２４が校正記号を検出すると、データ記録部２７は「jesture1 2020−0109−1530」という名前で記憶部３０にディレクトリ（又はフォルダー）を作成する。「2020−0109−1530」は日時を表している。更に、データ記録部２７はディレクトリ「jesture1 2020−0109−1530」に、差し替え対象文字である「赤い小さい花」に校正記号が手書きされている画像データ３２４を例えばimg1.bmpというファイル名で保存する。なお、ファイルのフォーマットはビットマップでなく、Jpeg、Pngなどでもよい。

S37：ステップS34でユーザーが差し替え用文字３０５を手書きすると、データ記録部２７はディレクトリ「jesture1 2020−0109−1530」に、手書き状態の差し替え用文字３０５の画像データ３２５をimg2.bmpというファイル名で保存する。

S38：また、ステップS35で「赤い大きい花」が表示されると、データ記録部２７は「赤い大きい花」をimg3.bmpというファイル名の画像データ３２６として記憶部３０のディレクトリ「jesture1 2020−0109−1530」に保存する。

したがって、記憶部３０にはimg1.bmp〜img3.bmpが同じディレクトリに保存される。このディレクトリは、表１に示した各文字列の識別情報と対応付けられている。ユーザーが修正された文字列３３０をペン２５００で選択すると、表示装置２がimg1.bmp〜img3.bmpを表示できる。紙を使用した校正では校正履歴が自然に残るが、本実施形態の表示装置２でも校正履歴を残すことができる。

＜＜修正の取消＞＞
次に、図２０を参照して修正の取消について説明する。図２０は指示の取消による文字列の復帰を説明する図である。図２１は文字の差し替えの途中で指示が取り消された場合の文字列の復帰を説明するフローチャート図である。なお、図２０、図２１の説明では主に図１２、図１３との相違を説明する。まず、ステップS41〜S43、S45はステップS1〜S3,S5と同じでよい。

S44：次に、ユーザーは任意の位置に「大きい」という差し替え用文字３０５を手書きする。差し替え用文字３０５は文字認識される。

S44−2：しかし、その直後にユーザーは取消線３３１を手書きした。修正モードなので、取消線３３１は校正記号（第二の校正記号の一例）であると認識される。例えば、修正モードで差し替え用文字３０５に手書きデータが重なり、取消線３３１と類似している場合、手書きデータは取り消しの校正記号と判断される。したがって、操作ガイド５００は表示されない。ユーザーが取消線３３１を手書きする前に、差し替え用文字３０５が差し替え対象文字３０７と差し替えられてもよい。この場合、差し替え用文字３０５が表示されていた場所から校正記号認識部２４が取消線３３１を認識すると、校正処理部２５は元の修正対象文字列３０２を表示する。

一方、修正モードでも操作ガイド５００が表示されてもよい。この場合、取消線３３１の認識結果として取り消しの操作コマンドが選択可能に表示される。操作ガイド５００が表示された際、修正された文字列３３０は「赤い大きい花」に校正されているが、取り消しの操作コマンドの選択により、元の修正対象文字列３０２に戻る。

S46：校正処理部２５は差し替えの取消が指示されたので、ステップS43で削除した差し替え対象文字３０７を記憶部３０から取得して、再度、置き換え領域に配置する。したがって、表示制御部２６は「赤い」と「花」の間に「小さい」を表示する。

このように、校正記号を用いた指示の取消処理により、「赤い小さい花」を「赤い小さい花」に戻すことができる。

＜＜修正後のやり直し＞＞
次に、図２２を参照して、ユーザーが文字列の修正後に修正をやり直す場合を説明する。図２２は、文字列の修正のやり直し方法を説明する図である。図２３は、文字列の修正のやり直しに関する処理を説明するフローチャート図である。

S51：これまで説明したように、「赤い小さい花」が「赤い大きい花」という修正された文字列３３０に修正された。修正された文字列３３０の周囲に、表示制御部２６は、常時、又は、ホバー等によりやり直しボタン３３２を表示する。例えば、記憶部３０に校正履歴が記憶されているので、校正履歴がある、修正された文字列３３０について表示制御部２６がやり直しボタン３３２を表示する。

S52：ユーザーはやり直しボタン３３２をペン２５００で押下すると、操作受付部２９はタッチされたペン先の座標に基づいてやり直しボタン３３２の押下を検出する。これにより表示装置２は修正モードになる。

S53：校正処理部２５は、記憶部３０に記憶されている差し替え用文字３０５の座標に基づいて、修正された文字列３３０から差し替え用文字３０５を削除する（スペースに変更する）。

S54〜S55：こうすることで、ステップS4の状態に戻るので、ステップS4〜S5と同様に再度、ユーザーが文字を修正できる。

＜文字の入れ替え＞
図１にて説明した文字の入れ替えについて図２４を参照して説明する。図２４は、入れ替えの校正記号３０３が検出された場合に、表示装置２が行う処理を説明するフローチャート図の一例である。図２５は、入れ替えの校正記号３０３が指定する文字を説明する図である。

S61：ステップS61の処理はステップS1と同様でよい。

S62：ユーザーは、「赤い」と「小さい」を入れ替えるため、文字の入れ替えの校正記号３０３を手書きする。校正記号認識部２４はこの校正記号を検出する。なお、校正記号３０３が検出された場合（確率が一定以上の場合）、操作ガイド５００は表示されない。操作ガイド５００が表示された場合、ユーザーが入れ替えの操作コマンドを選択する。校正記号３０３の検出又は選択により表示装置２は修正モードになる。

S63：校正記号認識部２４がこの校正記号３０３を検出すると、校正処理部２５は校正記号３０３で特定される入れ替え対象文字３０４ａ、３０４ｂを交換して配置する。すなわち、１つ以上の文字における校正記号で指定される位置に 、校正記号に応じて定まる１つ以上の文字を配置する。例えば、図２５に示す校正記号３０３の始点の座標Ｓから、座標Ｓと同じ（又は同程度の）ｙ座標に校正記号３０３が達する中点Ｍまでが、入れ替え対象文字３０４ａである。後半の入れ替え対象文字３０４ｂは、中点Ｍ以降かつ終点Ｅまでの文字である。校正処理部２５は入れ替え対象文字３０４ａの先頭の座標を保存しておき、入れ替え後も先頭の位置から入れ替え対象文字３０４ｂを配置する。

S64：表示制御部２６は校正処理部２５が入れ替えた文字列をディスプレー２２０に表示する。

このように、修正にユーザーが手書きした文字列が必要ない校正記号でも、表示装置２は校正記号に基づいて文字列を修正できる。

＜主な効果＞
以上説明したように、本実施形態の表示装置２は、文字列の差し替え又は入れ替え時に、ユーザーが文字列をドラッグ＆ドロップで挿入する操作が不要なので、１つ以上の文字の修正に要する工数を少なくすることができる。

以下の実施例では表示装置２の別の構成例について説明する。

＜＜表示装置の別の構成例１＞＞
本実施形態の表示装置２は大型のタッチパネルを有するものとして説明されているが、表示装置２はタッチパネルを有するものに限られない。

図２６は、表示装置２の他の構成例を示す図である。図２６では、通常のホワイトボード４１３の上辺にプロジェクター４１１が設置されている。このプロジェクター４１１が表示装置２に相当する。通常のホワイトボード４１３とは、タッチパネルと一体のフラットパネルディスプレーではなく、ユーザーがマーカーで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。

プロジェクター４１１は超短焦点の光学系を有しており、１０ｃｍ程度から歪みの少ない映像をホワイトボード４１３に投影できる。この映像は、無線又は有線で接続されたＰＣ４００−１から送信されてもよいし、プロジェクター４１１が記憶していてもよい。

ユーザーは専用の電子ペン２５０１を使ってホワイトボード４１３に手書きする。電子ペン２５０１は、ユーザーが手書きのためにホワイトボード４１３に押しつけるとスイッチがＯＮになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザーの目には見えない。プロジェクター４１１はカメラを有しており、発光部を撮像して画像を解析し電子ペン２５０１の方向を特定する。また、電子ペン２５０１は発光と共に音波を発信しており、プロジェクター４１１は音波の到達時間により距離を算出する。方向と距離により電子ペン２５０１の位置を特定できる。電子ペン２５０１の位置には手書きされたデータが描画（投影）される。

プロジェクター４１１はメニュー４３０を投影するので、ユーザーが電子ペン２５０１でボタンを押下すると、プロジェクター４１１が電子ペン２５０１の位置とスイッチのＯＮ信号により押下されたボタンを特定する。例えば、保存ボタン４３１が押下されると、ユーザーが手書きした手書きされたデータ（座標点列）がプロジェクター４１１で保存される。プロジェクター４１１は、予め定められたサーバー４１２又はＵＳＢメモリー２６００等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザーが再編集することができる。ただし、本実施形態では操作コマンドを手書きで呼び出せるのでメニュー４３０は表示されなくてもよい。

＜＜表示装置の別の構成例２＞＞
図２７は、表示装置２の他の構成例を示す図である。図２７の例では、表示装置２として、端末装置６００、画像投影装置７００Ａ、及び、ペン動作検出装置８１０を有する。

端末装置６００は、画像投影装置７００Ａ及びペン動作検出装置８１０と有線で接続されている。画像投影装置７００Ａは、端末装置６００により入力された画像データをスクリーン８００に投影させる。

ペン動作検出装置８１０は、電子ペン８２０と通信を行っており、スクリーン８００の近傍における電子ペン８２０の動作を検出する。具体的には、電子ペン８２０は、スクリーン８００上において、電子ペン８２０が示している点を示す座標情報を検出し（検出方法は図２６と同様でよい）、端末装置６００へ送信する。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０によって入力される手書きデータの画像データを生成し、画像投影装置７００Ａによって手書きデータの画像をスクリーン８００に描画させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。

＜＜表示装置の別の構成例３＞＞
図２８は、表示装置２の構成例を示す図である。図２８の例では、表示装置２として、端末装置６００と、ディスプレー８００Ａと、ペン動作検出装置８１０とを有する。

ペン動作検出装置８１０は、ディスプレー８００Ａの近傍に配置され、ディスプレー８００Ａ上に、電子ペン８２０Ａが示している点を示す座標情報を検出し（検出方法は図２６と同様でよい）、端末装置６００へ送信する。なお、図２８の例では、電子ペン８２０Ａは、端末装置６００によってＵＳＢコネクタを介して充電されても良い。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０Ａによって入力される手書データの画像の画像データを生成し、ディスプレー８００Ａに表示させる。

＜＜表示装置の別の構成例４＞＞
図２９は、表示装置２の構成例を示す図である。図２９の例では、表示装置２として、端末装置６００と、画像投影装置７００Ａとを有する。

端末装置６００は、電子ペン８２０Ｂと無線通信（Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を行って、スクリーン８００上において電子ペン８２０Ｂが示す点の座標情報を受信する。座標情報は、スクリーン８００に形成された微小な位置情報を電子ペン８２０Ｂが読み取ってもよいし、スクリーン８００から座標情報を受信してもよい。

そして、端末装置６００は、受信した座標情報に基づき、電子ペン８２０Ｂにより入力される手書データの画像の画像データを生成し、画像投影装置７００Ａに手書データの画像を投影させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。

以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

文字列は文字コードとして、手書きデータは座標点データとして表示装置２に保存される。また、各種の記憶媒体に保存したり、ネットワーク上の記憶装置に保存したりしておいて、後で、表示装置２からダウンロードして再使用することができる。再使用する表示装置２はどの表示装置でもよく、一般的な情報処理装置でもよい。したがって、ユーザーは手書きした内容を異なる表示装置２で再現して会議などを継続することができる。

例えば、本実施形態では電子黒板を一例として説明したが、電子黒板は、電子ホワイトボード、電子情報ボード、などと呼ばれてよい。また、本実施形態は、タッチパネルを有する情報処理装置であれば好適に適用できる。タッチパネルを搭載した情報処理装置としては、例えば、ＰＪ（Projector：プロジェクター）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。

また、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、ペン先の座標を超音波により検出してもよい。また、ペンは発光と共に超音波を発信しており、表示装置２は超音波の到達時間により距離を算出する。方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークデータとしてプロジェクターが描画（投影）する。

また、図７などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、表示装置２が行う処理の一部を、表示装置２とネットワークを介して接続されたサーバーが行ってもよい。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

校正記号認識部２４は校正記号認識手段の一例である。校正処理部２５は校正処理手段の一例である。文字認識部２３は文字認識手段の一例である。データ記録部２７はデータ記録手段の一例である。

２ 表示装置

特開平０７−０４４５５９号公報

Claims (16)

1. １つ以上の文字を表示する表示装置であって、
   手書きデータから校正記号を認識する校正記号認識手段と、
   前記１つ以上の文字における前記校正記号で指定される位置に、前記校正記号に応じて定まる１つ以上の第一の文字を配置する校正処理手段と、
   を有することを特徴とする表示装置。
2. 前記校正記号に応じて定まる１つ以上の第一の文字は、前記校正記号で位置が特定される文字、前記校正記号の検出により修正モードになった後に決まった場所又は任意の場所に手書きされた文字であることを特徴とする請求項１に記載の表示装置。
3. 前記校正記号に応じて定まるとは、前記手書きデータから前記校正記号を認識するモードから、前記手書きデータから文字又は文字列を認識するモードに移行したことで文字が特定されることであることを特徴とする請求項１又は２に記載の表示装置。
4. 手書きデータを前記１つ以上の第一の文字に変換する文字認識手段を有し、
   前記校正処理手段は、前記１つ以上の文字における前記校正記号で指定される位置に、前記文字認識手段が変換した前記第一の文字を配置することを特徴とする請求項１〜３のいずれか１項に記載の表示装置。
5. 前記校正記号は、前記１つ以上の文字の校正に、前記文字認識手段が変換した前記第一の文字を必要とし、
   前記校正記号認識手段が前記校正記号を認識した後、前記文字認識手段が変換した前記第一の文字を、前記１つ以上の文字における前記校正記号で指定される位置に配置することを特徴とする請求項４に記載の表示装置。
6. 前記校正記号は、前記１つ以上の文字の一部又は全てを差し替える記号であり、
   前記校正処理手段は、前記１つ以上の文字において前記校正記号で指定される第二の文字を削除し、削除した位置に、前記文字認識手段が変換した前記１つ以上の第一の文字を配置することを特徴とする請求項４又は５に記載の表示装置。
7. 前記校正記号は、前記１つ以上の文字の一部又は全てを差し替える記号であり、
   前記校正処理手段は、前記１つ以上の文字において前記校正記号で指定される前記第二の文字を半輝度で表示し、半輝度で表示された前記第二の文字を、前記文字認識手段が変換した前記第一の文字に変更することを特徴とする請求項６に記載の表示装置。
8. 前記校正記号は、前記１つ以上の文字の一部又は全てを差し替える記号であり、
   前記校正処理手段は、前記１つ以上の文字において前記校正記号で指定される前記第二の文字をテキストボックスで表示し、前記文字認識手段は前記テキストボックスに入力された手書きデータを前記第一の文字に変換することを特徴とする請求項６に記載の表示装置。
9. 前記文字認識手段が手書きデータを前記第一の文字に変換した後、差し替えを取り消す第二の校正記号が検出された場合、
   前記校正処理手段は、前記１つ以上の文字において前記校正記号で指定される前記第二の文字を、前記第一の文字に変更しないことを特徴とする請求項６に記載の表示装置。
10. 前記校正処理手段が前記１つ以上の文字における前記校正記号で指定される位置に、前記文字認識手段が変換した前記第一の文字を配置した後、
    前記第一の文字の周囲にやり直しボタンを表示し、
    前記やり直しボタンが押下された場合、前記校正処理手段は前記１つ以上の文字から前記第一の文字を削除することを特徴とする請求項４〜８のいずれか１項に記載の表示装置。
11. 前記校正記号認識手段が前記校正記号を認識した後、前記文字認識手段は任意の場所に手書きされた手書きデータを前記第一の文字に変換し、前記１つ以上の文字における前記校正記号で指定される位置に前記第一の文字を配置することを特徴とする請求項４〜１０のいずれか１項に記載の表示装置。
12. 前記校正記号が手書きされた前記１つ以上の文字の画像データ、
    前記文字認識手段が前記第一の文字に変換する前の手書きデータの画像データ、
    及び、前記校正処理手段が、前記１つ以上の文字に前記第一の文字を配置した画像データ、を保存するデータ記録手段を有することを特徴とする請求項４〜１１のいずれか１項に記載の表示装置。
13. 前記校正記号は、前記１つ以上の文字が有する１つ以上の第三の文字と第四の文字を入れ替える記号であり、
    前記校正処理手段は、前記校正記号で指定される前記第三の文字及び前記第四の文字を削除し、前記第三の文字を削除した位置に前記第一の文字として前記第四の文字を配置し、前記第四の文字を削除した位置に前記第三の文字を配置することを特徴とする請求項１に記載の表示装置。
14. 前記校正記号は、差し替え、入れ替え、挿入、又は、ルビ付けのうちのいずれか一つを含むことを特徴とする請求項１〜１３のいずれか１項に記載の表示装置。
15. １つ以上の文字を表示する表示装置が行う表示方法であって、
    校正記号認識手段が、手書きデータから校正記号を認識するステップと、
    校正処理手段が、前記１つ以上の文字における前記校正記号で指定される位置に、前記校正記号に応じて定まる１つ以上の第一の文字を配置するステップと、
    を有することを特徴とする表示方法。
16. １つ以上の文字を表示する表示装置を、
    手書きデータから校正記号を認識する校正記号認識手段と、
    前記１つ以上の文字における前記校正記号で指定される位置に 、前記校正記号に応じて定まる１つ以上の第一の文字を配置する校正処理手段、
    として機能させるためのプログラム。
    

Images