JP2022057931A - 表示装置、表示方法、プログラム - Google Patents

Abstract

【課題】一方のテキストデータの位置に基づいて他方のテキストデータの表示位置を制御する表示装置を提供すること。【解決手段】入力手段によって手書きデータの入力を受け付ける受付部２１と、前記手書きデータをテキストデータに変換する変換手段２３と、表示されている第一のテキストデータと前記受付手段が受け付けた手書きデータとが所定条件を満たす場合、前記第一のテキストデータの位置に基づいて、前記変換手段によって変換された第二のテキストデータの表示位置を制御する表示位置制御手段２５と、を有することを特徴とする表示装置を提供する。【選択図】図２

Description

本発明は、表示装置、表示方法、及び、プログラムに関する。

手書き認識技術を利用し、手書きデータをテキストデータに変換して、ディスプレーに表示する表示装置が知られている。比較的大型のタッチパネルを備えた表示装置は会議室などに配置され、複数のユーザーにより電子黒板などとして利用される。

従来、罫線上にユーザーが手書きすることで、システムが罫線上の手書きデータをテキストデータに変換する技術が存在した。これに対し、罫線を不要とする技術が考案されている（例えば、特許文献１参照。）。特許文献１には、ユーザーが任意の位置に手書きしてもテキストデータに変換できるシステムが開示されている。

しかしながら、従来の表示装置は、一方のテキストデータの位置に基づいて他方のテキストデータの表示位置を制御できないという問題があった。例えば、ユーザーがテキストデータを入力してから時間を置くか、又は、場所を離して、手書きデータを入力した場合、この手書きデータから変換されたテキストデータは、手書きした位置に表示される。このため、すでに表示されているテキストデータに対し、ユーザーが意味的につながった内容を手書きしても、表示装置は１つの文としてつなげて表示しなかった。また、ユーザーが行頭をそろえて複数のテキストデータを表示したい場合も、複数のテキストデータの行頭をそろえて表示することができなかった。

本発明は、上記課題に鑑み、一方のテキストデータの位置に基づいて他方のテキストデータの表示位置を制御する表示装置を提供することを目的とする。

上記課題に鑑み、本発明は、入力手段によって手書きデータの入力を受け付ける受付手段と、前記手書きデータをテキストデータに変換する変換手段と、表示されている第一のテキストデータと、前記受付手段が受け付けた手書きデータとが所定条件を満たす場合、前記第一のテキストデータの位置に基づいて、前記変換手段によって変換された第二のテキストデータの表示位置を制御する表示位置制御手段と、を有することを特徴とする表示装置を提供する。

一方のテキストデータの位置に基づいて他方のテキストデータの表示位置を制御する表示装置を提供することができる。

手書きデータから変換されたテキストデータを整列しない表示装置を説明する図である。 ２つのテキストデータの整列例を説明する図である。 ペンの斜視図の一例である。 表示装置の全体構成図を示した図の一例である。 表示装置のハードウェア構成図の一例である。 表示装置が有する機能をブロック状に分けて説明する機能ブロック図の一例である。 操作ガイドと操作ガイドが表示する選択可能候補の一例を示す図である。 所定条件を説明する図の一例である。 垂直方向に重なる場合の整列を説明する図の一例である。 テキストデータが縦書き、かつ、テキストデータと垂直方向に手書きデータが重なる場合の整列方法を説明する図である。 テキストデータが縦書き、かつ、テキストデータと水平方向に手書きデータが重なる場合の整列方法を説明する図である。 箇条書き用の行頭文字が第一のテキストデータである場合の整列方法を説明する図である。 英語の場合の整列方法を説明する図の一例である。 表示装置が第一のテキストデータに第二のテキストデータを整列させる処理を説明するフローチャート図の一例である。 分かち書き言語の場合に、第二のテキストデータを第一のテキストデータに対し整列させる処理を説明するフローチャート図の一例である。 丸によるテキストデータの選択方法を説明する図である。 横線によるテキストデータの選択方法を説明する図である。 表示装置がテキストデータから分離された選択範囲文字列を整列させる処理を説明するフローチャート図の一例である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。

以下、本発明を実施するための形態の一例として表示装置と、表示装置が行う表示方法について図面を参照しながら説明する。

＜文字列の修正の概略＞
まず、本実施形態を説明するにあたって、参考になる比較例を説明する。なお、比較例は従来技術や公知技術とは限らないことに注意されたい。

図１は、すでに表示されているテキストデータの位置に基づいて、手書きデータから変換されたテキストデータを表示しない表示装置を説明する図である。なお、一方のテキストデータの位置に基づいて他方のテキストデータを表示しないことを単に「整列」しないという。

図１（ａ）に示すように、「本日は」という第一のテキストデータ１０１が表示されている。この状態で、ユーザーが「晴れ」という手書きデータ０３を入力した。後述するように、表示装置は手書きデータ０３がテキストデータに変換された１つ以上の文字列候補（変換結果の候補）を表示し、ユーザーが「晴れ」を選択した。

図１（ｂ）はユーザーが「晴れ」を選択した後に、表示装置が表示するテキストデータを示す。図１（ｂ）に示すように、第一のテキストデータ１０１に対し一定以上の距離又は時間を置いてユーザーが入力した第二のテキストデータ１０２は、ユーザーが手書きした位置に表示される。

しかし、「本日は」と「晴れ」は意味的につながっており、ユーザーとしては「本日は」と「晴れ」を整列させて表示したい場合がある。この場合、ユーザーは「本日は」に対し間隔を開けずに、かつ、上下の位置が合うように、「晴れ」と手書きすればよい。しかし、「本日は」と「晴れ」がずれないように手書きすることは容易でない。

なお、「本日は」が表示されてから、一定時間が経過する前に、ユーザーが「晴れ」を手書きした場合、「本日は」と「晴れ」が一定の距離内であることを条件に、表示装置が「本日は」と「晴れ」を整列することができる。これは、ユーザーが手書きした文の体裁を表示装置が自動で整えるための機能である。しかし、「本日は」が表示されてから一定時間が経過した場合、又は、「本日は」と「晴れ」の距離が一定以上の場合、上記のように、ユーザーが「本日は」と「晴れ」を整列させて表示させることが困難であった。

＜本実施形態のテキストデータの整列方法＞
そこで、本実施形態の表示装置は、「本日は」が表示されてから一定時間が経過した場合、又は、「本日は」と「晴れ」の距離が一定以上の場合であっても、所定条件を満たすことを条件に、表示装置が「本日は」と「晴れ」を整列させる。

図２は、２つのテキストデータの整列例を説明する図である。所定条件は、例えば、以下のようになる。
(i) 第一のテキストデータと手書きデータの最近接部の距離が閾値未満（又は閾値以下）
(ii) 第一のテキストデータと手書きデータが水平方向又は垂直方向に重なっている
図２（ａ）では、第一のテキストデータ１０１と手書きデータ０３の最近接部の距離Ｌが閾値未満（閾値は当然ながら距離と比較される上記の一定より大きい）である。また、第一のテキストデータ１０１と手書きデータ０３が水平方向に重複部分１１０を有する。このため、図２（ｂ）に示すように、表示装置は、「本日は」という第一のテキストデータ１０１に対し、「晴れ」という第二のテキストデータ１０２を水平方向に整列させる。

このように、本実施形態の表示装置は、所定条件を満たす場合、一方のテキストデータの位置に基づいて他方のテキストデータの表示位置を制御できる。すなわち、２つのテキストデータを整列させることができる。例えば、意味的につながった２つのテキストデータが整列して表示されるので、ユーザーが文字を読みやすくなる。

＜用語について＞
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材などがある。ユーザーがディスプレーに入力手段を押しつけてから連続的に移動させた後、ディスプレーから離すという一連の操作をストロークという。ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレーに表示される情報である。ストロークデータは適宜、補間されてよい。ストロークにより手書きされたデータをストロークデータという。手書きデータは１つ以上のストロークデータを有する。ストロークデータに基づいてディスプレーに表示される表示物をオブジェクトという。

テキストデータとは、コンピュータで扱われる文字である。テキストデータの実態は文字コードである。文字には、数字、アルファベット、及び、記号等が含まれる。

第一のテキストデータとは、第二のテキストデータに変換される手書きデータが手書きされる前に表示されているテキストデータである。図２の例では、第一のテキストデータは「本日は」である。第二のテキストデータは第一のテキストデータが表示されている状態で手書きされた手書きデータから変換されたテキストデータである。図２の例では、第二のテキストデータは「晴れ」である。

第一のテキストデータは、ユーザーが入力した手書きデータが変換されたテキストデータでもよいし、ファイルなどから表示装置が読み取ったページが有するテキストデータでもよい。また、第一のテキストデータは、文字に限らず、数字、アルファベット、・、◎、！、＃、＄、％、＆、（、）、＝などの記号でもよい。また、「済」「秘」などのスタンプなどでもよい。また、第一のテキストデータの言語は日本語には限られない。

一方のテキストデータの位置に基づいて他方のテキストデータの表示位置を制御するとは、他方のテキストデータの位置が一方のテキストデータの位置に基づいて決定されることをいう。したがって、他方のテキストデータが手書きされた位置でない位置に移動する。本実施形態では説明を簡単にするために、単に「整列」という用語で説明する。

＜ペンの外観の一例＞
図３は、ペン２５００の斜視図の一例を示す。図３は多機能なペン２５００の一例を示す。電源を内蔵して表示装置２に命令を送信できるペン２５００をアクティブペンという（電源を内蔵しないペンをパッシブペンという）。図３のペン２５００は、物理的なスイッチがペン先に一つ、ペン尻に一つ、ペン側面に二つあり、ペン先が筆記用、ペン尻が消去用、ペン側面はユーザー機能割り当て用である。本実施形態のペン２５００は不揮発性のメモリーを有しており、他のペンと重複しないペンＩＤを記憶している。

なお、スイッチ付きのペンであれば、ユーザーの表示装置２の操作手順を減らすことも可能である。スイッチ付きのペンとは主にアクティブペンを言うが、電磁誘導方式では電源を内蔵しないパッシブペンでもＬＣ回路だけで電力を発生できるため、アクティブペンだけでなく電磁誘導方式のパッシブペンを含む。電磁誘導方式以外の光学方式、赤外線方式、及び、静電容量方式のスイッチのあるペンはアクティブペンである。

なお、ペン２５００のハードウェア構成は、通信機能とマイコンを備えた一般的な制御方式と同様であるとする。ペン２５００の座標の入力方式には、電磁誘導方式、アクティブ静電結合方式などがある。また、ペン２５００は、筆圧検知、傾き検知、ホバー機能（ペンが触れる前にカーソルを表示）、などの機能を有していてよい。

＜装置の全体構成＞
図４を用いて、本実施形態に係る表示装置２の全体構成を説明する。図４は、表示装置２の全体構成図を示した図である。図４（ａ）では、表示装置２の一例として、壁につり下げられた横長の電子黒板として使用される表示装置２を示している。

図４（ａ）に示されているように、表示装置２の上部には表示装置の一例としてのディスプレー２２０が設置されている。ユーザーＵは、ペン２５００を用いて、ディスプレー２２０に文字等を手書きする（入力、描画ともいう）ことができる。

図４（ｂ）は壁につり下げられた縦長の電子黒板として使用される表示装置２を示している。

図４（ｃ）は机２３０に平置きされた表示装置２を示す。表示装置２は厚みが１ｃｍ程度なので、一般の机に平置きしても机の高さを調整する必要がない。また、容易に移動できる。

＜装置のハードウェア構成＞
続いて、図５を用いて、表示装置２のハードウェア構成を説明する。表示装置２は図示するように情報処理装置又はコンピュータの構成を有している。図５は、表示装置２のハードウェア構成図の一例である。図５に示されているように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、及び、ＳＳＤ(Solid State Drive)２０４を備えている。

これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は、表示装置２用のプログラム等の各種データを記憶する。ＳＳＤ２０４は、ＯＳや表示装置２用のプログラム等の各種データを記憶する。なお、このプログラムは汎用的なＯＳ(Windows（登録商標）、Mac OS（登録商標）、Android（登録商標）、iOS（登録商標）等)を搭載した情報処理装置で動作するアプリケーションプログラムでもよい。

また、表示装置２は、ディスプレーコントローラー２１３、タッチセンサーコントローラー２１５、タッチセンサー２１６、ディスプレー２２０、電源スイッチ２２７、チルトセンサー２１７、シリアルインタフェース２１８、スピーカー２１９、マイク２２１、無線通信装置２２２、赤外線Ｉ／Ｆ２２３、電源制御回路２２４、ＡＣアダプター２２５、及びバッテリー２２６を備えている。

ディスプレーコントローラー２１３は、出力画像をディスプレー２２０等へ出力するために画面表示の制御及び管理を行う。タッチセンサー２１６は、ディスプレー２２０上にペン２５００やユーザーの手等（ペンやユーザーの手は入力手段となる）が接触したことを検知する。また、タッチセンサー２１６はペンＩＤを受信する。

タッチセンサーコントローラー２１５は、タッチセンサー２１６の処理を制御する。タッチセンサー２１６は、座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、例えば、光学式の場合、ディスプレー２２０の上側両端部に設置された２つ受発光装置が、ディスプレー２２０に平行して複数の赤外線を放射し、ディスプレー２２０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。タッチセンサー２１６は、物体によって遮断された２つの受発光装置が放射した赤外線の位置情報をタッチセンサーコントローラー２１５に出力し、タッチセンサーコントローラー２１５が、物体の接触位置である座標位置を特定する。また、タッチセンサーコントローラー２１５は通信ユニット２１５ａを有しており、ペン２５００と無線で通信することができる。例えば、Bluetooth（登録商標）などの規格で通信している場合は、市販されているペンを使用することができる。通信ユニット２１５ａに予め１つ以上のペン２５００を登録しておくと、ユーザーはペン２５００を表示装置２と通信させる接続設定を行わなくても通信できる。

電源スイッチ２２７は、表示装置２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。チルトセンサー２１７は、表示装置２の傾き角度を検出するセンサーである。主に、表示装置２が図４（ａ）、図４（ｂ）、又は、図４（ｃ）のいずれかの設置状態で使用されているかを検出するために使用され、設置状態に応じて文字等の太さを自動で変更することができる。

シリアルインタフェース２１８はＵＳＢなどの外部との通信インタフェースである。外部からの情報の入力などに使用される。スピーカー２１９は音声の出力に使用され、マイク２２１は音声の入力に使用される。無線通信装置２２２は、ユーザーが携帯する端末と通信し、例えばインターネットへの接続を中継する。無線通信装置２２２はWi－FiやBluetooth（登録商標）などで通信するが、通信規格は問われない。無線通信装置２２２はアクセスポイントを形成しており、ユーザーが入手したＳＳＩＤ（Service Set Identifier）とパスワードをユーザーが携帯する端末に設定すると、アクセスポイントに接続できる。

なお、無線通信装置２２２には２つのアクセスポイントが用意されているとよい。
（a）アクセスポイント→インターネット
（b）アクセスポイント→社内ネットワーク→インターネット
(a)のアクセスポイントは社外のユーザー用で、ユーザーは社内ネットワークにはアクセスできないが、インターネットを利用できる。(b)のアクセスポイントは社内のユーザー用で、ユーザーは社内ネットワーク及びインターネットを利用できる。

赤外線Ｉ／Ｆ２２３は隣に配置された表示装置２を検出する。赤外線の直進性を利用して、隣に配置された表示装置２のみを検出できる。赤外線Ｉ／Ｆ２２３は各辺に１つずつ設けられることが好ましく、表示装置２のどの方向に他の表示装置２が配置されたのかを検出できる。これにより画面が広がり、隣の表示装置２に過去に手書きされた手書き情報（１つのディスプレー２２０の広さを１ページとして別のページの手書き情報）等を表示できる。

電源制御回路２２４は表示装置２の電源であるＡＣアダプター２２５とバッテリー２２６を制御する。ＡＣアダプター２２５は商用電源が共有する交流を直流に変換する。

ディスプレー２２０がいわゆる電子ペーパーの場合、画像の表示を維持するためにほとんど又は一切電力を消費しないので、バッテリー２２６による駆動も可能である。これにより、屋外など電源を接続しにくい場所でもデジタルサイネージなどの用途で表示装置２を使用することが可能になる。

更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図５に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、タッチセンサー２１６は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなど種々の検出手段を用いてもよい。タッチセンサー２１６は、ペン先のタッチの有無を検知するのに電子ペンが必要ない方式であってよい。この場合はタッチ操作をするのに指先やペン型の棒を使用できる。なお、ペン２５００は、細長いペン型である必要はない。

＜機能について＞
次に、図６を用いて表示装置２の機能について説明する。図６は、表示装置２が有する機能をブロック状に分けて説明する機能ブロック図の一例である。表示装置２は、受付部２１、描画データ生成部２２、変換部２３、選択受付部２４、表示位置制御部２５、表示制御部２６、データ記録部２７、ネットワーク通信部２８、及び、操作受付部２９を有している。表示装置２が有する各機能は、図５に示されている各構成要素のいずれかが、ＳＳＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。

受付部２１はタッチセンサー２１６に対しペン２５００が接触した位置の座標を検出する。受付部２１は位置の座標に基づいて手書きデータの入力を受け付ける。

描画データ生成部２２はペン２５００のペン先が接触した座標を受付部２１から取得する。描画データ生成部２２はこの座標点列を補間することで接続してストロークデータを生成する。

変換部２３はユーザーが手書きした１つ以上のストロークデータ（手書きデータ）に対し文字認識処理を行い、テキストデータ（文字コード）に変換する。文字認識の際は文字認識辞書３１に登録されてる言語の種類に対応した辞書を使用する。文字認識辞書３１は手書きデータの変換先の言語ごとに対応する辞書を有している。一つの実施例として、表示装置２がどの辞書を使用するかはユーザーが画面から設定する。図６では、日本語辞書３１ａ、中国語辞書３１ｂ、英語辞書３１ｃ、フランス語辞書３１ｄ、及び、韓国語辞書３１ｅが示されているが、一例に過ぎない。

変換部２３は、ユーザーのペン操作と並行して文字（日本語だけでなく英語などの多国語）、数字、記号（％、＄、＆など）、図形（線、丸、三角など）等を認識していく。認識方法については様々なアルゴリズムが考案されているが、本実施形態では公知の技術を利用できるとして詳細を割愛する。

図６では辞書という形態で示しているが、各辞書は、例えば、ディープラーニングやＣＮＮ（Convolution Neural Network）などのニューラルネットワーク型の識別器でもよい。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、更に、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。

また、機械学習の手法には、パーセプトロン、ディープラーニング、サポートベクターマシン、ロジスティック回帰、ナイーブベイズ、決定木、ランダムフォレストなどがあり、本実施形態で説明する手法には限られない。

選択受付部２４は、第一のテキストデータの一部又は全体の文字列の選択を受け付ける。選択された文字列は選択範囲文字列と称される。選択範囲文字列はバウンディングボックスで囲まれる。ユーザーがペン２５００を使ってバウンディングボックスにタッチしながらペン先を移動させると（ペンムーブ又はドラッグ操作ともいう）、バウンディングボックスを移動することができる。

表示位置制御部２５は、第一のテキストデータと手書きデータが所定条件を満たす場合、描画データ生成部２２が生成した手書きデータの位置に基づいて、第一のテキストデータに対し第二のテキストデータを整列させる。所定条件は整列条件記憶部３２に記憶されている。詳細は後述される。

表示制御部２６は手書きデータ、手書きデータから変換された文字列、及び、ユーザーが操作するための操作メニューなどをディスプレーに表示する。

データ記録部２７は、表示装置２に手書きされた手書きデータ、又は、変換されたテキストデータ等を記憶手段３０に記憶する。データ記録部２７には、表示装置２が取り込んだＰＣ（Personal Computer）の画面、表示したファイル等が記録されてよい。

ネットワーク通信部２８はＬＡＮ等のネットワークに接続して、他の機器とネットワークを介したデータの送受信を行う。

なお、記憶手段３０は、図５に示されているＳＳＤ２０４やＲＡＭ２０３などに構築され、データ記録部２７が記録する上記の情報を記憶する。

記憶手段３０は、表１に示されているようなデータを記憶する。表１（ａ）は、ページデータを概念的に示す。ページデータは、ディスプレーに表示される１ページ分の手書きデータである。

ページデータは、表１（ａ）に示されているように、任意の１ページを識別するためのページデータＩＤ、このページの表示を開始した時刻を示す開始時刻、このページの内容の書き換えが行われなくなった時刻を示す終了時刻、ペン２５００やユーザーの手又は指によるストロークによって生じたストローク配列データを識別するためのストローク配列データＩＤ、及び画像データなどのメディアデータを識別するためのメディアデータＩＤが関連付けて記憶されている。

このようなページデータにより、例えば、ユーザーがペン２５００によってアルファベット「Ｓ」を描く場合は一筆書きとなるため、ストロークデータＩＤが１つで一文字のアルファベット［Ｓ］が示される。ユーザーがペン２５００によってアルファベット「Ｔ」を描く場合、二筆書きとなるため、ストロークデータＩＤが２つで一文字のアルファベット「Ｔ」が示されることになる。

また、ストローク配列データは、表１（ｂ）に示されているように詳細な情報を示している。表１（ｂ）は、ストローク配列データを示す。１つのストローク配列データは、複数のストロークデータによって表される。そして、１つのストロークデータは、このストロークデータを識別するためのストロークデータＩＤ、１つのストロークデータが書き始められた時刻（ペンダウンの時刻）を示す開始時刻、１つのストロークデータの書き終わり（ペンアップ）の時刻を示す終了時刻、ストロークデータの色、ストロークデータの幅、ストロークデータの通過点の配列を識別するための座標配列データＩＤ、及び、ストロークデータが変換されたテキストデータを識別するためのテキストＩＤを示している。

ペンダウンとは、ディスプレー２２０上に入力手段（ペン、ユーザーの手、指等）が接触することをいう。ただし、完全に接触しなくても、入力手段の先端とディスプレー２２０との間の距離が閾値以下又は閾値未満に接近した場合を含む。ペンアップとはディスプレー２２０に接触していた入力手段がディスプレー２２０から離れることをいう。入力手段の先端とディスプレー２２０との間の距離が閾値超過又は閾値以上になることを含む。また、ペンムーブとは、ディスプレー２２０に入力手段が接触した状態でユーザーが入力手段を動かし、ディスプレー２２０との接触位置を移動させることをいう。

複数のストロークデータが１つのテキストデータに変換され得るため、表１（ｂ）では複数のストロークデータＩＤに同じテキストＩＤが対応付けられている。この各テキストデータに関する情報を表１（ｄ）に示す。文字認識されなかったストロークデータのテキストＩＤの項目は空欄である。テキストＩＤが付与されたストロークデータは少なくとも表示されない。テキストＩＤが付与されたストロークデータは削除されてもよい。

表１（ｃ）は、座標配列データを示す。表１（ｃ）に示されているように、座標配列データは、ディスプレー上の１点（Ｘ座標値、Ｙ座標値）、この１点を通過したときのストロークデータの開始時刻に対する差分の時刻（ｍｓ）、及び、この１点におけるペン２５００の筆圧の各情報を示している。即ち、表１（ｃ）に示されている１点の集まりが、表１（ｂ）に示されている１つの座標配列データで示されている。例えば、ユーザーがペン２５００によってアルファベット「Ｓ」を描く場合、一筆書きとなるが、「Ｓ」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。

表１（ｄ）はテキストデータ情報を示す。変換部２３がストロークデータを文字認識してテキストデータに変換する。後述する文字列候補からユーザーが選択したテキストデータ、又は、表示装置２が強制的に決定したテキストデータがテキストデータ情報に保存される。テキストデータ情報には、テキストＩＤに対応付けて、テキストデータ（文字コード）、座標（外接矩形の左上の隅、外接矩形の右下の隅）、フォント、サイズ、及び、色が保持される。「隅」とは矩形で囲まれた区域のかど又は頂点の部分をいう。テキストデータの保存単位は、文字の認識単位又は文字単位のどちらでもよい。表１（ｄ）では文字の認識単位となっている。文字の認識単位は、ユーザーがペンダウンしてからペンアップする（ペンアップした状態が一定時間以上経過する）までに何文字を手書きしたかによって変わる。

表２は整列条件記憶部３２に記憶されている整列のための所定条件を示す。所定条件は以下である。
(i) 第一のテキストデータと手書きデータの最近接部の距離が閾値未満（又は閾値以下）
(ii) 第一のテキストデータと手書きデータが水平方向又は垂直方向に重なっている
なお、２つの所定条件はAND条件であるが、表示装置２が２つのテキストデータを整列するか否かの判断に所定条件がOR条件として使用されてもよい。また、(i)(ii)以外の条件が加わってもよい。

＜選択可能候補の表示例＞
続いて、図７を参照して、手書きデータの変換時に表示される操作ガイド５００について説明する。図７は操作ガイド５００と操作ガイドが表示する選択可能候補５３０の一例である。ユーザーが手書きデータ５０４の手書きを行ってからペンアップし、一定時間、ペンダウンしないと、操作ガイド５００が表示される。

操作ガイド５００は、操作ヘッダー５２０、操作コマンドの候補５１０、手書き認識文字列候補５０６、変換文字列候補５０７、文字列/予測変換の候補５０８、及び、手書きデータ矩形領域表示５０３を有している。選択可能候補５３０は、操作コマンドの候補５１０、手書き認識文字列候補５０６、変換文字列候補５０７、文字列/予測変換の候補５０８である。また、操作コマンドの候補５１０を除く選択可能候補５３０を文字列候補５３９という。

操作ヘッダー５２０はボタン５０１、５０９、５０２、５０５を有する。ボタン５０１は予測変換とカナ変換の切り替え操作を受け付ける。図７の例ではユーザーが「予測」と表示されているボタン５０１を押下すると操作受付部２９がそれを受け付けて、表示制御部２６が「かな」というボタンに表示を変更する。変更後は、文字列候補５３９が「カナ変換」の確率降順で並ぶ。

ボタン５０２は候補表示のページ操作をする。図７の例では候補表示ページは３ページあり、現在は１ページ目を表示している。ボタン５０５は操作ガイド５００の消去を受け付ける。ユーザーがボタン５０５を押下すると操作受付部２９が受け付けて、表示制御部２６が手書きデータ以外の表示を消去する。ボタン５０９は一括表示消去を受け付ける。ユーザーがボタン５０９を押下すると操作受付部２９が受け付けて、表示制御部２６が手書きデータを含め、図７に示されているすべての表示を消去して、ユーザーが最初から手書きをしなおすことを可能にする。

手書きデータ５０４はユーザーが手書きした「ぎ」という文字である。手書きデータ５０４を囲む手書きデータ矩形領域表示５０３が表示される。図７では一文字の入力で操作ガイド５００が表示されているが、操作ガイド５００が表示されるタイミングは、ユーザーが手書きを中断したタイミングである。したがって、手書きデータ５０４の文字数は任意である。

手書き認識文字列候補５０６、変換文字列候補５０７、文字列/予測変換の候補５０８にはそれぞれの文字列候補が確率降順で並んでいる。手書き認識文字列候補５０６の「ぎ」は認識結果の候補である。この例では正しく「ぎ」を認識している。

変換文字列候補５０７は「ぎ」のカナ漢字変換の結果（例えば「技」）から変換された変換文字列候補（例えば技を含む熟語）である。この例の「技量試」とは「技術量産試作」の略名である。文字列/予測変換の候補５０８は変換文字列候補５０７から変換された予測文字列候補である。この例では「技量試を決裁」と「議事録の送付先」が表示されている。

操作コマンドの候補５１０は認識された文字に応じて表示される、予め定義されている操作コマンド（ファイル操作、文字の編集などのコマンド）の候補である。図７の例では行頭文字の「》」５１１が操作コマンドの候補であることを示している。図７では「ぎ」の文字列候補である「議事録」が、定義データと部分一致したため、操作コマンドの候補５１０として表示されている。なお、行頭文字とは、段落の先頭やテキストの行頭に付く文字又は記号のことである。

ユーザーが「議事録テンプレートを読み込む」を選択すると、定義データで定義された操作コマンドが実行される。このように操作コマンドの候補は、変換された文字列を含む操作コマンド定義データが見つかる場合に表示されるため、常に表示されるとは限らない。

図７に示すように、文字列候補と操作コマンドの候補が同時に（共に）表示されるため、ユーザーは自分が入力しようとした文字列候補と操作コマンドのどちらも任意に選択できる。

＜所定条件の例＞
次に、図８を参照して、表示装置２が第一のテキストデータに対し第二のテキストデータを整列させる所定条件を説明する。図８は所定条件を説明する図の一例である。なお、以下では、特に断らない限り、ユーザーが文字列候補５３９を選択した後の処理を説明する。あるいは、操作ガイド５００が表示されずに、最も確率が高いテキストデータが自動的に表示された場合を説明する。数字などが変換対象に制限されている場合、表示装置２は誤変換をほとんど生じないで変換できる。操作ガイド５００が表示されないので、例えば数字が入力されると決まっている場合は入力効率を向上できる。

図８（ａ）では、２つの第一のテキストデータ１０１Ａ、１０１Ｂ及び手書きデータ０３が表示されている。手書きデータ０３は第二のテキストデータに変換される。

表示位置制御部２５は全ての第一のテキストデータ１０１Ａ、１０１Ｂのうち、手書きデータ０３との距離が最も小さい第一のテキストデータ１０１Ａを特定する。このため、表示位置制御部２５はテキストデータ０１の外接矩形と手書きデータ０３を囲む外接矩形の最近接部までの距離を検出する。図８（ａ）では第一のテキストデータ１０１Ａ（本日は）が決定される。あるいは、表示位置制御部２５は手書きデータ０３に着目して手書きデータ０３に最も近い第一のテキストデータ１０１Ａを特定してもよい。

次に、表示位置制御部２５は第一のテキストデータ１０１Ａと手書きデータ０３との距離Ｌ１が閾値未満（又は閾値以下）であるか否かを判断する。距離Ｌ１が閾値未満（又は閾値以下）である場合、表示位置制御部２５は第一のテキストデータ１０１と手書きデータ０３が水平方向又は垂直方向に重なっているか否かを判断する。図８（ａ）では、第一のテキストデータ１０１Ａにおける外接矩形の左上の隅の座標が（ｘ１，ｙ１）、右下の隅の座標が（ｘ２,ｙ２）である。したがって、ｙ１又はｙ２が手書きデータ０３の外接矩形の高さであるｙ４以上ｙ３以下の場合に、水平方向に重なっていると判断される。

なお、表示位置制御部２５は、第一のテキストデータ１０１Ａと手書きデータ０３が一部でも重なっているかどうかだけを判断するのでなく、重複率を所定条件に加えてもよい。水平方向の重複率は｛（ｙ１－ｙ３）＋（ｙ４－ｙ２）｝/（ｙ１－ｙ２）で計算される。表示位置制御部２５は、水平方向に重なっており、かつ、重複率が閾値以上（又は閾値超過）の場合に、所定条件を満たすと判断する。

図８（ａ）では、表示位置制御部２５は、第一のテキストデータ１０１Ａと手書きデータ０３が水平方向に重複していると判断した。表示位置制御部２５が水平方向に重複していると判断した場合、表１（ｄ）のテキストデータ情報を使って、第一のテキストデータ１０１Ａの右端部にスペース（スペースとは、語と語の区切りを表すために空ける空白、また、その他の字間の空白である。）を空けずに手書きデータ０３から変換された第二のテキストデータ１０２を続けて表示する。より詳細には、表示位置制御部２５は、第一のテキストデータ１０１Ａの外接矩形における右上の隅と第二のテキストデータ１０２の外接矩形における左上の隅とを一致させ、第一のテキストデータ１０１Ａの外接矩形における右下の隅と第二のテキストデータ１０２の外接矩形における左下の隅を一致させて第二のテキストデータ１０２を表示する。図８（ｂ）は、第一のテキストデータ１０１Ａに対し整列された第二のテキストデータ１０２を示す。このように、表示位置制御部２５は、第一のテキストデータ１０１Ａの位置に基づいて第二のテキストデータ１０２の表示位置を制御する。

ここで、テキストデータの文字サイズは手書きデータの外接矩形のサイズに応じて、自動的に決定される。このため、第一のテキストデータ１０１Ａと、第二のテキストデータ１０２のサイズが一致するとは限らない。そこで、表示位置制御部２５は第二のテキストデータ１０２の文字サイズを第一のテキストデータ１０１Ａの文字サイズと同じにすることが好ましい。したがって、表示位置制御部２５は表１（ｄ）のテキストデータ情報から第一のテキストデータ１０１Ａの文字サイズを取得し、第二のテキストデータ１０２の文字サイズに適用する。こうすることで、ユーザーが読みやすい整列後のテキストデータを表示装置２が表示できる。

フォントに関しても、表示位置制御部２５は、第二のテキストデータ１０２のフォントを第一のテキストデータ１０１Ａのフォントと同じにすることが好ましい。補足すると、表示装置２ではデフォルト（初期設定）のフォントが決まっている。ユーザーがフォントを選択しない場合、このデフォルトのフォントが使用される。しかし、ユーザーが第一のテキストデータ１０１Ａのフォントを任意に選択した場合、第二のテキストデータ１０２のフォント（デフォルト）と異なる場合がある。このため、表示位置制御部２５は表１（ｄ）のテキストデータ情報から第一のテキストデータ１０１Ａのフォントを取得し、第二のテキストデータ１０２のフォントに設定する。こうすることで、整列後のテキストデータのフォントを一致させることができる。表示位置制御部２５は色についても同様に処理できる。

ただし、表示装置２は、第二のテキストデータのサイズ、フォント、及び、色を第一のテキストデータと同じにしなくてもよい。例えば、サイズを同じにしない場合、表示位置制御部２５は第一のテキストデータの下端と第二のテキストデータの下端を一致させて表示する。あるいは、表示位置制御部２５は第一のテキストデータの中心と第二のテキストデータの中心（高さ方向）を一致させて表示する。

また、図８では第一のテキストデータ１０１Ａに対し第二のテキストデータ１０２を表示位置制御部２５が左寄せする態様で整列させた。しかし、第一のテキストデータ１０１Ａが手書きデータ０３の右側に存在する場合、第一のテキストデータ１０１Ａに対し第二のテキストデータ１０２を表示位置制御部２５が右寄せする。横書きの場合、第一のテキストデータ１０１Ａに右から第二のテキストデータ１０２が接続すると文の意味がおかしくなる可能性もある。このため、ユーザーが設定により、左寄せのみ、右寄せのみ、又は、両方を選択できてよい。

図９に示すように、垂直方向に重なる場合も表示位置制御部２５は同様に処理できる。図９は垂直方向に重なる場合の整列を説明する図の一例である。表示位置制御部２５は第一のテキストデータ１０３の外接矩形と手書きデータ０５の外接矩形との距離Ｌ２を決定する。そして、距離Ｌ２が閾値未満（又は閾値以下）であるか否かを判断する。

距離Ｌ２が閾値未満（又は閾値以下）である場合、表示位置制御部２５は第一のテキストデータ１０３と手書きデータ０５が水平方向又は垂直方向に重なっているか否かを判断する。図９（ａ）では、第一のテキストデータ１０３における外接矩形の左上の隅の座標が（ｘ１，ｙ１）、右下の隅の座標が（ｘ２,ｙ２）である。したがって、表示位置制御部２５は、ｘ１又はｘ２が手書きデータ０５の外接矩形の幅であるｘ５以上ｘ６以下の場合に、垂直方向に重なっていると判断する。図９（ａ）では、垂直方向に重なっていると判断された。

表示位置制御部２５は、垂直方向に重複していると判断した場合、表１（ｄ）のテキストデータ情報を使って、第一のテキストデータ１０３の下側に、第一のテキストデータ１０３に対し第二のテキストデータ１０４を改行して表示する。第二のテキストデータ１０４は手書きデータ０５から変換されている。改行とは、行を改めること、前の行から次の行へ移動すること、又は、行を新しくすることをいう。改行された場合、第二のテキストデータは、第一のテキストデータが記載されている行に対する次の行の先頭から表示される。ただし、本実施形態の表示装置２は行という概念を採用していないため（ユーザーは任意の位置に横書きできる）、整列により、第一のテキストデータの下側に第二のテキストデータが表示されればよい。

より詳細には、表示位置制御部２５は、第一のテキストデータ１０３の下側に行間（間隔）を空けずに、第二のテキストデータ１０４の左端を第一のテキストデータ１０３の左端と一致させて表示する。したがって、表示位置制御部２５は、第一のテキストデータ１０３の左下の隅と第二のテキストデータ１０４の左上の隅を一致させる。図９（ｂ）は、第一のテキストデータ１０３に対し、下側に整列された第二のテキストデータ１０４を示す。

なお、表示位置制御部２５は、第一のテキストデータ１０３と第二のテキストデータ１０４の間隔を空けてもよい。整列後のテキストデータが見やすくなる。また、この間隔をユーザーが設定できてもよい。

また、図９では第一のテキストデータ１０３の下側に第二のテキストデータ１０４を表示位置制御部２５が整列させた。しかし、第一のテキストデータ１０３が手書きデータ０５の下側に存在する場合、第一のテキストデータ１０３の上側に第二のテキストデータ１０４を表示位置制御部２５が表示する。あるいは、ユーザーが設定により、整列先を下側のみ、上側のみ、又は、両方を選択できてよい。

＜＜縦書きの場合の補足＞＞
図８，図９の整列方法は、テキストデータが横書きであるという前提で、表示位置制御部２５は第二のテキストデータを左寄せしている。しかし、縦書きの場合、整列方法が異なる。

図１０は、第一のテキストデータ１０５が縦書き、かつ、第一のテキストデータ１０５と垂直方向に手書きデータ０７が重なる場合の整列方法を説明する図である。所定条件は横書きの場合と同じである。ただし、表示位置制御部２５が所定条件を満たすと判断した場合の整列方法が異なっている。図１０（ａ）では、第一のテキストデータ１０５と手書きデータ０７とが垂直方向に重なっていると判断された。この場合、表示位置制御部２５は、表１（ｄ）のテキストデータ情報を使って、第一のテキストデータ１０５の下端にスペースを空けずに、手書きデータ０７から変換された第二のテキストデータ１０６を続けて表示する。

より詳細には、表示位置制御部２５は、第一のテキストデータ１０５の左下の隅に手書きデータ０７から変換された第二のテキストデータ１０６の左上の隅を一致させ、第一のテキストデータ１０５の右下の隅に第二のテキストデータ１０６の右上の隅を一致させる。図１０（ｂ）は、第一のテキストデータ１０５に対し縦方向に整列された第二のテキストデータ１０６を示す。

第一のテキストデータ１０５の上側に手書きデータ０７がある場合、表示位置制御部２５は、第一のテキストデータ１０５の上端にスペースを空けずに、手書きデータ０７から変換された第二のテキストデータ１０６を続けて表示する。ユーザーが設定により、整列先を上側のみ、下側のみ、又は、両方を選択できてよい。

図１１は、第一のテキストデータ１０５が縦書き、かつ、第一のテキストデータ１０５と水平方向に手書きデータ０９が重なる場合の整列方法を説明する図である。所定条件は横書きの場合と同じである。図１１（ａ）では第一のテキストデータ１０５と手書きデータ０９とが水平方向に重なっていると判断された。この場合、表示位置制御部２５は、表１（ｄ）のテキストデータ情報を使って、第一のテキストデータ１０５の左側に、第一のテキストデータ１０５に対し手書きデータ０９から変換された第二のテキストデータ１０７を改行して表示する。

より詳細には、表示位置制御部２５は、第一のテキストデータ１０５の左側に行間（間隔）を空けずに、第二のテキストデータ１０７の上端を第一のテキストデータ１０５の上端と一致させて表示する。したがって、表示位置制御部２５は、第一のテキストデータ１０５の左上の隅と手書きデータ０９から変換された第二のテキストデータ１０７の右上の隅を一致させる。図１１（ｂ）は、第一のテキストデータ１０５の左側に整列された第二のテキストデータ１０７を示す。

第一のテキストデータ１０５の右側に手書きデータ０７がある場合、表示位置制御部２５は、第一のテキストデータ１０５の右側にスペースを空けずに、手書きデータ０７から変換された第二のテキストデータ１０７を表示する。第二のテキストデータ１０７に対し第一のテキストデータ１０５が改行された状態となる。ユーザーが設定により、整列先を右側のみ、左側のみ、又は、両方を選択できてよい。

このように、表示装置２は、横書きでも縦書きでも第一のテキストデータに対し第二のテキストデータを整列できる。

なお、ユーザーが縦書きしているか、又は、横書きしているかは、ユーザーがメニューから設定できる。あるいは、手書きデータに基づいて（手書き方向が縦長か横長か）、表示装置２が自動で判断することもできる。表示装置２は、手書き方向が縦長か横長かに応じて整列方法を制御する（切り替える）。

＜第一のテキストデータの変形例＞
第一のテキストデータは文字に限られない。第一のテキストデータは、ディスプレーに表示される表示物であればよい。

図１２は、箇条書き用の行頭文字が第一のテキストデータである場合の整列方法を説明する図である。ユーザーは行頭文字１２０を表示する操作を行う。これにより、図１２（ａ）に示すように、表示装置２は行頭文字１２０を表示する。行頭文字１２０の表示方法には例えば以下の方法がある。
・ユーザーが行頭文字を手書きで入力する。
・ユーザーが行頭文字用のテンプレートを表示させる。
・ユーザーがメニューから箇条書きモードを選択する。

図１２（ａ）では「○」と「●」の行頭文字１２０が表示されている。表示位置制御部２５は行頭文字１２０を第一のテキストデータとみなす。行頭文字も、第二のテキストデータに変換される手書きデータが入力される前に表示されているテキストデータである。

ユーザーは箇条書きしたいので、行頭文字１２０の右側に手書きする。図１２（ｂ）では、「文字サイズを」という手書きデータ１２１が表示されている。表示位置制御部２５は、全ての行頭文字１２０のうち手書きデータ１２１と最も近い行頭文字を決定する。行頭文字においても行頭文字の外接矩形は行頭文字のサイズに応じたサイズを有する。図１２（ａ）では行頭文字の１つ１つにサイズに応じた外接矩形１２９が示されている。この外接矩形１２９は実際には表示されない。このため、行頭文字がテキストデータである場合と同様に、表示位置制御部２５が、行頭文字に対し手書きデータ１２１が変換された第二のテキストデータ１２２を整列できる。

図１２（ｃ）は、図１２（ｂ）の手書きデータ１２１が第二のテキストデータ１２２に変換され、行頭文字１２０に対し整列された状態を示す。このように、ユーザーは行頭文字１２０の右側に手書きすることで、第二のテキストデータ１２２を行頭文字の右側に表示できる。

なお、図１２（ｂ）において、手書きデータ１２１は、行頭文字１２０と水平方向に重なり、かつ、手書きデータ１２１の上側のテキストデータ１２４とも垂直方向に重なっている。このような場合は、表示位置制御部２５が第一のテキストデータとして行頭文字を他の文字よりも優先する。

また、図１２（ｃ）に示すように、ユーザーが「固定」という手書きデータ１２３を手書きした場合について説明する。この場合、手書きデータ１２３から閾値未満（又は閾値以内）に行頭文字１２０がないので、表示位置制御部２５は、第二のテキストデータ１２２が第一のテキストデータであると判断する。表示位置制御部２５は第二のテキストデータ１２２に対し手書きデータ１２３から変換された第二のテキストデータを整列する。

＜英語の場合の整列＞
日本語は単語と単語の間を空けない「ベタ書き」で記述される場合が多いが、英語などの言語では単語と単語にスペースを含む「分かち書き」が一般的である。ベタ書きとは、文においてある単位ごとの間に空白がない書き方を示している。分かち書きとは、文がある単位ごとに区切られ、ある単位ごとの間に空白がある書き方を示している。このため、言語によっては、整列の際に表示位置制御部２５がスペースを入力する必要がある。一方、分かち書きの言語でも、単語内の文字と文字の間には表示位置制御部２５がスペースを入力する必要がない。このため、分かち書きの言語が手書きされている場合、表示位置制御部２５は第二のテキストデータが単語か文字かを判断して、スペースを入力するか否かを判断する。換言すると、表示位置制御部２５は手書きデータにより変換されたテキストデータの言語が何言語であるかにより判断してもよい。言語とは、音声や文字によって、人の意志、思想、感情などの情報を表現、伝達、受け入れ、又は、理解するための約束及び規則である。

図１３は、英語の場合の整列方法を説明する図である。図１３（ａ）では、「It is」という第一のテキストデータ１３０と「fine」という手書きデータ１３１が水平方向に重なっていると、表示位置制御部２５が判断する。表示位置制御部２５は、「fine」という手書きデータ１３１から変換された第二のテキストデータ１３２である「fine」を単語用辞書で検索する。単語用辞書は一般的な単語が登録された辞書であり、表示装置２は単語用辞書として汎用的な辞書を使用できる。単語用辞書はネットワーク上に存在してもよい。

「fine」は単語用辞書に登録されているので、表示位置制御部２５は第一のテキストデータ１３０と第二のテキストデータ１３２の間にスペースを入力すると判断する。図１３（ｂ）は第一のテキストデータ１３０に対しスペースを空けて整列された第二のテキストデータ１３２を示す。

なお、スペースを入力するとは、表示位置制御部２５が、第一のテキストデータ１３０の後に１文字分を空けて第二のテキストデータ１３２を配置することをいう。したがって、表示位置制御部２５は、第一のテキストデータ１３０の「右上の隅のｘ座標＋α」を、第二のテキストデータ１３２における左上の隅のｘ座標に決定する。同様に、表示位置制御部２５は、第一のテキストデータ１３０の「右下の隅のｘ座標＋α」を、第二のテキストデータ１３２における左下の隅のｘ座標に決定する。第二のテキストデータ１３２のｙ座標は第一のテキストデータ１３０と同じでよい。

これに対し、図１３（ｃ）では、「It i」という第一のテキストデータ１３３と「s」という手書きデータ１３４が水平方向に重なっていると、表示位置制御部２５が判断する。表示位置制御部２５は、「s」という手書きデータ１３４から変換された第二のテキストデータ１３５である「s」を単語用辞書で検索する。「s」は単語用辞書に登録されていない（文字）なので、表示位置制御部２５は第一のテキストデータ１３３と第二のテキストデータ１３５の間にスペースを入力しないと判断する。この場合の整列方法は「ベタ書き」の日本語と同じでよい。図１３(ｄ)は第一のテキストデータ１３３に対しスペースを空けずに整列された第二のテキストデータ１３５を示す。

このように、表示位置制御部２５は単語用辞書を使用して単語かそうでないかを判断することで、分かち書きの言語を整列できる。

＜動作手順＞
図１４は、表示装置２が第一のテキストデータに第二のテキストデータを整列させる処理を説明するフローチャート図の一例である。図１４の処理は、ユーザーが１つ以上のストロークを手書きすることでスタートする。

まず、変換部２３が手書きデータの認識を開始する（Ｓ１）。これにより、変換部２３が第二のテキストデータの文字コードを生成する。ここで、ユーザーがペンアップし一定時間が経過したものとする。

表示制御部２６が操作ガイド５００を表示し、操作受付部２９が選択された文字列候補５３９を受け付ける（Ｓ２）。

次に、表示位置制御部２５は、整列が必要かどうかを判断するため、手書きデータの外接矩形を求める（Ｓ３）。

次に、表示位置制御部２５は第一のテキストデータが存在するか否かを判断する（Ｓ４）。すなわち、表示装置２が起動した直後など、ステップＳ１の手書きデータがページに手書きされた初めての手書きデータかどうかを判断する。なお、判断には、表示位置制御部２５が表示１（ｄ）のテキストデータ情報を参照すればよい。

ステップＳ４の判断がＮｏの場合、表示位置制御部２５が第二のテキストデータを整列させることができないので、表示制御部２６が手書きデータの外接矩形に第二のテキストデータを表示する（Ｓ１０）。

ステップＳ４の判断がＹｅｓの場合、表示位置制御部２５は優先文字が存在し、所定条件を満たすか否か判断する（Ｓ５）。優先文字とは行頭文字など、優先的に整列の対象となる第一のテキストデータである。優先文字は予め表示位置制御部２５に設定されている。また、優先文字とは逆に所定条件を満たしても整列の対象とならない、第一のテキストデータ及び第二のテキストデータが設定されていてもよい。

ステップＳ５の判断がＹｅｓの場合、表示位置制御部２５は優先文字に対し第二のテキストデータを整列させる（Ｓ９）。

ステップＳ５の判断がＮｏの場合、表示位置制御部２５は第一のテキストデータと手書きデータが所定条件を満たすか否かを判断する（Ｓ６）。表示位置制御部２５は手書きデータに最も近い第一のテキストデータを決定する。そして、表示位置制御部２５は、第一のテキストデータと手書きデータの外接矩形の距離が閾値未満（又は閾値以下）で、水平方向又は垂直方向に重なっているか否かを判断する。ステップＳ６の判断がＮｏの場合、処理はステップＳ１０に進む。

ステップＳ６の判断がＹｅｓの場合、表示位置制御部２５が第一のテキストデータの座標、フォント、及び、サイズを表１（ｄ）のテキストデータ情報から取得する。表示位置制御部２５は、第二のテキストデータの文字コードにテキストデータ情報から取得したフォント、及び、サイズを適用して第二のテキストデータを生成する（Ｓ７）。

次に、表示位置制御部２５は、第一のテキストデータに対し第二のテキストデータを整列させる（Ｓ８）。すなわち、表示位置制御部２５は、第一のテキストデータの座標を使って、第一のテキストデータの右端部にスペースを空けずに手書きデータから変換された第二のテキストデータを続けて表示する。あるいは、表示位置制御部２５は、第一のテキストデータの座標を使って、第一のテキストデータの下側に、第一のテキストデータに対し第二のテキストデータを改行して表示する。すなわち、表示位置制御部２５は、第一のテキストデータの位置に基づいて第二のテキストデータの表示位置を制御する。

ステップＳ８の処理が分かち書き言語に対応するためには、図１５の処理を表示位置制御部２５が行う。図１５は、分かち書き言語の場合に、第二のテキストデータを第一のテキストデータに対し整列させる処理を説明するフローチャート図の一例である。

表示位置制御部２５は、第一のテキストデータと第二のテキストデータが分かち書き言語で、かつ、水平方向に重なっているかどうかを判断する（Ｓ８１）。垂直方向に重なっている場合、表示位置制御部２５はスペースを空ける必要がない。

ステップＳ８１の判断がＹｅｓの場合、表示位置制御部２５は更に単語用辞書を参照して第二のテキストデータが単語か否かを判断する（Ｓ８２）。

そして、ステップＳ８２の判断がＹｅｓの場合、表示位置制御部２５は第一のテキストデータの右端にスペースを空けて第二のテキストデータを表示する（Ｓ８３）。

ステップＳ８３の判断がＮｏの場合、表示位置制御部２５は第一のテキストデータの右端にスペースを空けずに第二のテキストデータを続けて表示する（Ｓ８４）。

このように、表示装置２は分かち書きの言語の場合も、第一のテキストデータに対し第二のテキストデータを整列させることができる。

＜主な効果＞
以上説明したように、本実施形態の表示装置２は、所定条件を満たす場合、一方のテキストデータの位置に基づいて他方のテキストデータを表示できる。すなわち、２つのテキストデータを整列させることができる。意味的につながった２つのテキストデータが整列して表示されるので、ユーザーがテキストデータを読みやすくなる。また、表示装置２はワープロソフトなどの改行と同じ処理を実現できる。

＜整列されたテキストデータをユーザーが分離する場合＞
ユーザーは整列されたテキストデータを分離することができる。まず、ユーザーはテキストデータの全体又は一部をペン２５００で長押しするか、横線を引く、又は、手書きの丸で囲むことで選択できる。

図１６Ａ、図１６Ｂは、テキストデータの選択方法を説明する図である。図１６Ａでは丸１４１でテキストデータ１４０の一部が囲まれている。テキストデータ１４０は整列された結果、第一のテキストデータと第二のテキストデータを有している（第三のテキストデータの一例）。

選択受付部２４は、手書きデータの外接矩形の座標が一部でも重なる外接矩形を有するテキストデータをテキストデータ情報において検出する。そして、選択受付部２４は丸１４１の外接矩形と検出したテキストデータ１４０の外接矩形が一定以上、重なる場合、テキストデータ１４０の重なった範囲が選択されたと判断する。

これにより表示制御部２６はテキストデータ１４０が選択された場合の操作ガイド５００を表示する。図１６Ａでは「編集/移動」１４２、「ページ名に設定」１４３、「文書名に設定」１４４の各操作コマンドが表示されている。また、丸１４１の認識結果として「○」１４４が表示されている（図１６Ａ（ａ））。

同様に、図１６Ｂでは横線１４６がテキストデータ１４０上に手書きされている。選択受付部２４は横線１４６の外接矩形とテキストデータ１４０が一定以上、重なる場合、重なる範囲のテキストデータ１４０が選択されたと判断する。操作ガイド５００については図１６Ａと同様であるが、横線１４６の認識結果として「―」１４７が表示されている（図１６Ｂ（ａ））。

ユーザーが「編集/移動」１４２の操作コマンドをペン２５００で押下すると、操作受付部２９が受け付ける。表示制御部２６はテキストデータ１４０のうち、選択された選択範囲文字列１４８にバウンディングボックス１５０を表示する（図１６Ａ（ｂ）、図１６Ｂ（ｂ））。

バウンディングボックス１５０とは、画像、シェイプ、テキストを囲む長方形の枠線をしめす。ユーザーが、ドラッグ等の操作を行うことで移動、変形、回転、拡大・縮小を行うことができる。ユーザーはバウンディングボックス１５０をドラッグして選択範囲文字列１４８を移動、変形、回転、拡大又は縮小することができる（図１６Ａ（ｃ）、図１６Ｂ（ｃ））。

移動後の選択範囲文字列１４８は第二のテキストデータと同様に扱われる。すなわち、表示位置制御部２５は、バウンディングボックス１５０をドラッグしていたユーザーがペン２５００をディスプレー２２０から離すと（ペンアップ）、その時に選択範囲文字列１４８と所定条件を満たす第一のテキストデータがあるか否かを判断する。所定条件を満たす第一のテキストデータがある場合、表示位置制御部２５は第一のテキストデータに対し、選択範囲文字列１４８を整列させる。図１６Ａ、図１６Ｂではテキストデータ１５１が所定条件を満たすと第一のテキストデータとなる（第四のテキストデータの一例）。このため、テキストデータ１５１の位置に基づいて選択範囲文字列１４８が表示されている（図１６Ａ（ｄ）、図１６Ｂ（ｄ））。

したがって、ユーザーは整列されたテキストデータの全体又は一部を分離して、別のテキストデータに対し整列させることができる。

図１７は、表示装置２がテキストデータから分離された選択範囲文字列１４８を整列させる処理を説明するフローチャート図の一例である。図１７の処理は、ユーザーが１つ以上のストロークを手書きすることでスタートする。なお、図１７の説明では主に図１４との相違を説明する。

まず、変換部２３が手書きデータの認識を開始する（Ｓ２１）。これにより、変換部２３が第二のテキストデータの文字コードを生成する。また、選択受付部２４がすでに表示されているテキストデータの一部又は全体が選択されたか否かを判断する。

次に、表示制御部２６が操作ガイド５００を表示し、操作受付部２９が選択された操作コマンドの候補５１０又は文字列候補５３９を受け付ける（Ｓ２２）。選択受付部２４がテキストデータの一部又は全体が選択されたと判断するので、操作ガイド５００は「編集/移動」１４２の操作コマンドを表示する。

次に、ユーザーが選択範囲文字列を移動させるため、「編集/移動」１４２の操作コマンドを選択する。操作受付部２９は操作コマンドの選択を受け付け、表示制御部２６はバウンディングボックスを表示する。ユーザーがバウンディングボックスを移動させると、操作受付部２９が選択範囲文字列１４８の移動を受け付ける（Ｓ２３）。表示制御部２６は移動先にバウンディングボックス１５０を表示する。表示位置制御部２５は選択範囲文字列１４８も同時に表示してよい。

続くステップＳ２４及びＳ２５の判断方法は図１４のステップＳ４及びＳ５と同様でよい。

ステップＳ２４の判断がＮｏの場合、表示制御部２６は移動先に選択範囲文字列１４８を表示する（Ｓ３０）。

ステップＳ２５の判断がＹｅｓの場合、表示位置制御部２５は優先文字に対し選択範囲文字列１４８を整列させる（Ｓ２９）。

ステップＳ２５の判断がＮｏの場合、表示位置制御部２５は第一のテキストデータと選択範囲文字列１４８が所定条件を満たすか否かを判断する（Ｓ２６）。表示位置制御部２５は選択範囲文字列に最も近い第一のテキストデータを決定する。そして、表示位置制御部２５は、第一のテキストデータと選択範囲文字列１４８の外接矩形の距離が閾値未満（又は閾値以下）で、水平方向又は垂直方向に重なっているか否かを判断する。

ステップＳ２６の判断がＹｅｓの場合、表示位置制御部２５が第一のテキストデータの座標、フォント、及び、サイズを表１（ｄ）のテキストデータ情報から取得する。表示位置制御部２５は、選択範囲文字列１４８の文字コードにフォント、及び、サイズを適用して第二のテキストデータを生成する（Ｓ２７）。したがって、選択範囲文字列１４８のフォントとサイズが変更される場合がある。

次に、表示位置制御部２５は、第一のテキストデータに対し第二のテキストデータを整列させる（Ｓ２８）。整列方法は図１４と同様でよい。

このように、ユーザーは整列させた２つ以上のテキストデータから任意の文字列を選択し、移動させることができる。そして、表示装置２は移動先にある第一のテキストデータに対し選択範囲文字列１４８を整列させることができる。

なお、移動されるテキストデータは、本実施形態で説明した整列方法で整列されたテキストデータには限られない。ユーザーは任意のテキストデータの全体又は一部を移動させ、第一のテキストデータに対し整列させることができる。

＜主な効果＞
以上説明したように、本実施形態の表示装置２は、整列されたテキストデータ又は任意のテキストデータの全体又は一部を移動させ、第一のテキストデータに対し整列させることができる。

実施例１では表示装置２が大型のタッチパネルを有するものとして説明されているが、表示装置はタッチパネルを有するものに限られない。本実施例ではプロジェクター型の表示装置について説明する。

＜＜表示装置の構成の別の例１＞＞
図１８は、表示装置の他の構成例を示す図である。図１８では、通常のホワイトボード４１３の上辺にプロジェクター４１１が設置されている。このプロジェクター４１１が表示装置に相当する。通常のホワイトボード４１３とは、タッチパネルと一体のフラットパネルディスプレーではなく、ユーザーがマーカーで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。

プロジェクター４１１は超短焦点の光学系を有しており、１０ｃｍ程度から歪みの少ない映像をホワイトボード４１３に投影できる。この映像は、無線又は有線で接続されたＰＣ４００ー１から送信されてもよいし、プロジェクター４１１が記憶していてもよい。

ユーザーは専用の電子ペン2700を使ってホワイトボード４１３に手書きする。電子ペン2700は、ユーザーが手書きのためにホワイトボード４１３に押しつけるとスイッチがＯＮになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザーの目には見えない。プロジェクター４１１はカメラを有しており、発光部を撮像して画像を解析し電子ペン2700の方向を特定する。また、電子ペン2700は発光と共に音波を発信しており、プロジェクター４１１は音波の到達時間により距離を算出する。方向と距離により電子ペン2700の位置を特定できる。電子ペン2700の位置にはストロークが描画（投影）される。

プロジェクター４１１はメニュー４３０を投影するので、ユーザーが電子ペン2700でボタンを押下すると、プロジェクター４１１が電子ペン2700の位置とスイッチのＯＮ信号により押下されたボタンを特定する。例えば、保存ボタン４３１が押下されると、ユーザーが手書きしたストローク（座標の集合）がプロジェクター４１１で保存される。プロジェクター４１１は、予め定められたサーバー４１２又はＵＳＢメモリー2600等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザーが再編集することができる。ただし、本実施形態では操作コマンドを手書きで呼び出せるのでメニュー４３０は表示されなくてもよい。

＜＜表示装置の構成の別の例２＞＞
図１９は、表示装置２の他の構成例を示す図である。図１９の例では、表示装置２として、端末装置６００、画像投影装置７００Ａ、及び、ペン動作検出装置８１０を有する。

端末装置６００は、画像投影装置７００Ａ及びペン動作検出装置８１０と有線で接続されている。画像投影装置７００Ａは、端末装置６００により入力された画像データをスクリーン８００に投影させる。

ペン動作検出装置８１０は、電子ペン８２０と通信を行っており、スクリーン８００の近傍における電子ペン８２０の動作を検出する。具体的には、電子ペン８２０は、スクリーン８００上において、電子ペン８２０が示している点を示す座標情報を検出し、端末装置６００へ送信する。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０によって入力されるストローク画像の画像データを生成する。端末装置６００は画像投影装置７００Ａによってストローク画像をスクリーン８００に描画させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力されたストローク画像とを合成した重畳画像を示す重畳画像データを生成する。

＜＜表示装置の構成の別の例３＞＞
図２０は、表示装置の構成例を示す図である。図２０の例では、表示装置として、端末装置６００とディスプレー８００Ａと、ペン動作検出装置８１０とを有する。

ペン動作検出装置８１０は、ディスプレー８００Ａの近傍に配置される。ペン動作検出装置８１０は、ディスプレー８００Ａ上に、電子ペン８２０Ａが示している点を示す座標情報を検出し、端末装置６００へ送信する。なお、図２０の例では、電子ペン８２０Ａは、端末装置６００によってＵＳＢコネクタを介して充電されても良い。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０Ａによって入力されるストローク画像の画像データを生成する。端末装置６００はストローク画像の画像データをディスプレー８００Ａに表示させる。

＜＜表示装置の構成の別の例４＞＞
図２１は、表示装置の構成例を示す図である。図２１の例では、表示装置として、端末装置６００と、画像投影装置７００Ａとを有する。

端末装置６００は、電子ペン８２０Ｂと無線通信（Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を行って、スクリーン８００上において電子ペン８２０Ｂが示す点の座標情報を受信する。そして、端末装置６００は、受信した座標情報に基づき、電子ペン８２０Ｂにより入力されるストローク画像の画像データを生成する。端末装置６００は画像投影装置７００Ａにストローク画像を投影させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力されたストローク画像とを合成した重畳画像を示す重畳画像データを生成する。

以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では、第一のテキストデータ及び第二のテキストデータのいずれも手書きデータから変換されているが、第一のテキストデータ及び第二のテキストデータのどちらか一方が手書きデータでもよい。この場合、表示位置制御部２５が文字サイズとフォントを使用できないので第一の手書きデータの外接矩形が有する高さに第二の手書きデータの外接矩形が有する高さを一致させる。

また、本実施形態の表示装置２は、第一のテキストデータに対し、第二のテキストデータを整列させたが、第二のテキストデータに対し第一のテキストデータを整列させてもよい。表示装置２が第一のテキストデータと第二のテキストデータのどちらに基づいて整列させるかを、ユーザーが選択できてもよい。

また、本実施形態の表示方法は、タッチパネルを有する情報処理装置であれば好適に適用できる。また、表示装置と同様の機能を有する装置を、電子黒板、電子ホワイトボード、電子情報ボード、インタラクティブボードなどともいう。タッチパネルを搭載した情報処理装置としては、例えば、ＰＪ（Projector：プロジェクター）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。

また、本実施形態では、表示装置２が行う処理の一部をサーバーが行ってもよい。例えば、表示装置はストローク情報をサーバーに送信し、サーバーから操作ガイド５００に表示する情報を取得して表示する。

また、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、ペン先の座標を超音波により検出してもよい。また、ペンは発光と共に超音波を発信しており、表示装置２は超音波の到達時間により距離を算出する。方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークとしてプロジェクターが描画（投影）する。

また、図６などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、本実施形態において、比較の対象として閾値が例示されていたとしても閾値は例示された値には限定されない。このため、本実施形態では、全ての閾値に関し、閾値未満と閾値以下という記載は同等の意味を持ち、閾値超過と閾値以上という記載は同等の意味を持つ。例えば、閾値を１１とした場合の閾値未満という記載は閾値が１０である場合の閾値以下と同等の意味を持つ。また、閾値を１０とした場合の閾値超過という記載は閾値が１１である場合の閾値以上と同等の意味を持つ。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

なお、受付部２１は受付手段の一例である。変換部２３は変換手段の一例である。選択受付部２４は選択受付手段の一例である。表示位置制御部２５は表示位置制御手段の一例である。

２ 表示装置

特開2016－15099号公報

Claims (14)

1. 入力手段によって手書きデータの入力を受け付ける受付手段と、
   前記手書きデータをテキストデータに変換する変換手段と、
   表示されている第一のテキストデータと前記受付手段が受け付けた手書きデータとが所定条件を満たす場合、前記第一のテキストデータの位置に基づいて前記変換手段によって変換された第二のテキストデータの表示位置を制御する表示位置制御手段と、
   を有することを特徴とする表示装置。
2. 前記第一のテキストデータと前記手書きデータとが前記所定条件を満たし、前記表示位置制御手段が、前記第一のテキストデータの位置に基づいて、前記第二のテキストデータの表示位置を制御する場合、
   前記表示位置制御手段は、前記第一のテキストデータのフォント、サイズ、及び、色の少なくとも１つを前記第二のテキストデータに適用して前記第二のテキストデータを表示することを特徴とする請求項１に記載の表示装置。
3. 前記所定条件は、前記第一のテキストデータと前記手書きデータとの最近接部の距離が閾値未満又は閾値以下であること、及び、前記第一のテキストデータと前記手書きデータが水平方向又は垂直方向に閾値以上又は閾値を超過して重なっていること、の少なくとも一方であることを特徴とする請求項１又は２に記載の表示装置。
4. 前記第一のテキストデータと前記第二のテキストデータが横書きされる場合であって、前記第一のテキストデータと前記手書きデータが水平方向に重なる状態で前記所定条件を満たす場合、
   前記表示位置制御手段は、前記第一のテキストデータの右端部にスペースを空けずに前記第二のテキストデータを続けて表示することを特徴とする請求項３に記載の表示装置。
5. 前記第一のテキストデータと前記第二のテキストデータが横書きされる場合であって、前記第一のテキストデータと前記手書きデータが水平方向に重なる状態で前記所定条件を満たす場合、
   前記表示位置制御手段は、前記第一のテキストデータの外接矩形における右上の隅と前記第二のテキストデータの外接矩形における左上の隅を一致させ、前記第一のテキストデータの外接矩形における右下の隅と前記第二のテキストデータの外接矩形における左下の隅を一致させて前記第二のテキストデータを表示することを特徴とする請求項４に記載の表示装置。
6. 前記第一のテキストデータと前記第二のテキストデータが横書きされる場合であって、前記第一のテキストデータと前記手書きデータが垂直方向に重なる状態で前記所定条件を満たす場合、
   前記表示位置制御手段は、前記第一のテキストデータの下側に、前記第一のテキストデータに対し前記第二のテキストデータを改行して表示することを特徴とする請求項３に記載の表示装置。
7. 前記第一のテキストデータと前記第二のテキストデータが横書きされる場合であって、前記第一のテキストデータと前記手書きデータが垂直方向に重なる状態で前記所定条件を満たす場合、
   前記表示位置制御手段は、前記第一のテキストデータの下側に行間を空けずに、前記第二のテキストデータの左端を前記第一のテキストデータと一致させて表示することを特徴とする請求項６に記載の表示装置。
8. 前記第一のテキストデータと前記第二のテキストデータが縦書きされる場合であって、前記第一のテキストデータと前記手書きデータが垂直方向に重なる状態で前記所定条件を満たす場合、
   前記表示位置制御手段は、前記第一のテキストデータの下端にスペースを空けずに前記第二のテキストデータを続けて表示することを特徴とする請求項３に記載の表示装置。
9. 前記第一のテキストデータと前記第二のテキストデータが縦書きされる場合であって、前記第一のテキストデータと前記手書きデータが水平方向に重なる状態で前記所定条件を満たす場合、
   前記表示位置制御手段は、前記第一のテキストデータの左側に、前記第一のテキストデータに対し前記第二のテキストデータを改行して表示することを特徴とする請求項３に記載の表示装置。
10. 前記第一のテキストデータは行頭文字であることを特徴とする請求項１～９のいずれか１項に記載の表示装置。
11. 前記第一のテキストデータと前記第二のテキストデータが分かち書きされる言語の場合、かつ、
    前記第一のテキストデータと前記第二のテキストデータが横書きされる場合、かつ、
    前記第一のテキストデータと前記手書きデータが水平方向に重なる状態で前記所定条件を満たす場合、
    前記表示位置制御手段は、前記第二のテキストデータが単語か否かに応じて、前記第一のテキストデータの右端部にスペースを空けて前記第二のテキストデータを表示するか、スペースを空けずに前記第二のテキストデータを表示することを制御することを特徴とする請求項３に記載の表示装置。
12. 前記第一のテキストデータ、及び、前記第一のテキストデータの位置に基づいて表示された前記第二のテキストデータを有する第三のテキストデータについて一部のテキストの選択を受け付ける選択受付手段を有し、
    前記選択受付手段が選択を受け付けた前記第三のテキストデータの一部が移動された場合であって、
    表示されている第四のテキストデータと前記第三のテキストデータの一部とが、前記所定条件を満たす場合、
    前記表示位置制御手段は、前記第四のテキストデータの位置に基づいて、前記第三のテキストデータの一部の表示位置を制御することを特徴とする請求項１～１１のいずれか１項に記載の表示装置。
13. 受付手段が、入力手段によって手書きデータの入力を受け付けるステップと、
    変換手段が、前記手書きデータをテキストデータに変換するステップと、
    表示されている第一のテキストデータと前記受付手段が受け付けた手書きデータとが所定条件を満たす場合、表示位置制御手段が、前記第一のテキストデータの位置に基づいて前記変換手段によって変換された第二のテキストデータの表示位置を制御するステップと、
    を有することを特徴とする表示方法。
14. 情報処理装置に実行させるプログラムであって、
    入力手段によって手書きデータの入力を受け付けるステップと、
    前記手書きデータをテキストデータに変換するステップと、
    表示されている第一のテキストデータと前記受け付けるステップで受け付けられた手書きデータとが所定条件を満たす場合、前記第一のテキストデータの位置に基づいて前記変換するステップによって変換された第二のテキストデータの表示位置を制御するステップと、
    を有することを特徴とするプログラム。

Images