JP2023140704A - 表示装置、表示方法、プログラム、情報共有システム - Google Patents

Abstract

【課題】ユーザーによる手間が掛からない表示装置を提供すること。【解決手段】本発明は、入力エリアへのストロークデータの入力を受け付ける入力受付部と、前記ストロークデータに対応するオブジェクトを前記入力エリアに表示させると共に、前記オブジェクトが前記入力エリアに表示できない場合に前記オブジェクトの少なくとも一部を新たなオブジェクトとして表示部品内に表示させる制御を行う表示制御部と、を有する表示装置を提供する。【選択図】図１

Description

本発明は、表示装置、表示方法、プログラム、及び、情報共有システムに関する。

手書き認識技術を利用し、手書きデータを文字に変換して、ディスプレーに表示する表示装置が知られている。比較的大型のタッチパネルを備えた表示装置は会議室や公共施設などに配置され、複数のユーザーにより電子黒板などとして利用される。表示装置は手書き入力される情報を表などの形式で表示することもできる。

手書きデータを縮小する技術が知られている（例えば、特許文献１参照。）。特許文献１には、手書き入力エリアを拡張できない場合、手書きデータを縮小することで画数の多い文字等の手書き入力を容易にする技術が開示されている。

しかしながら、従来の技術では、ユーザーが縮小ボタンを操作することで手書き内容を縮小表示させており、ユーザーによる指示が必要となり、手間が掛かってしまうという課題がある。
本発明は、上記課題に鑑み、ユーザーによる手間が掛からない表示装置を提供することを目的とする。

上記課題に鑑み、本発明は、入力エリアへのストロークデータの入力を受け付ける入力受付部と、前記ストロークデータに対応するオブジェクトを前記入力エリアに表示させると共に、前記オブジェクトが前記入力エリアに表示できない場合に前記オブジェクトの少なくとも一部を新たなオブジェクトとして表示部品内に表示させる制御を行う表示制御部と、を有する表示装置を提供する。

ユーザーによる手間が掛からない表示装置を提供することができる。

表示可能文字数を超えた入力テキストに関する表示部品の表示の一例である。 表示装置の配置例を示した図である。 表示装置のハードウェア構成図の一例である。 表示装置が有する機能をブロック状に分けて説明する機能ブロック図の一例である。 入力エリア情報記憶部に記憶されている入力エリア情報の一例を示す図である。 入力エリアに入力された入力テキストの一例を示す図である。 操作ガイドを説明する図である。 全文ポップアップ表示の一例を示す図である。 入力エリアの下側に表示された全文ポップアップ表示の一例を示す図である。 一部ポップアップ表示の一例を示す図である。 入力エリアの下側に表示された一部ポップアップ表示の一例を示す図である。 手書きデータのポップアップ表示例を示す図である。 入力エリアの内部に表示されたマークの一例を示す図である。 マークの押下で表示された全文ポップアップの一例を示す図である。 ユーザー操作で入力エリアに余白が用意される入力方法を示す図の一例である。 図１５で説明した、入力エリアの余白が少なくなった場合に表示装置が余白を作成する処理を説明するフローチャート図の一例である。 入力エリアに余白が用意される入力方法の一例を示す図である。 ユーザーが左側の入力エリアの右側にストロークを手書きする入力方法を説明する図である。 図１８で説明した、入力エリアの右側に手書きされたストロークの入力を表示装置が受け付ける処理を説明するフローチャート図の一例である。 ポップアップ表示の更新タイミングを説明する遷移図である。 全文ポップアップ表示の場合に、表示装置がポップアップ表示する処理を説明するフローチャート図の一例である。 一部ポップアップ表示の場合に、表示装置がポップアップ表示する処理を説明するフローチャート図の一例である。 表示装置がマークを表示する処理を説明するフローチャート図の一例である。 手書きでのクロノロジーの例を示す図である。 従来のクロノロジーの表示例を示す図である。 本実施形態のポップアップ表示が適用されたクロノロジーの表示例を示す図である。 災害現場におけるトリアージ情報の共有を説明する図である。 表示装置が表示するトリアージテーブルの一例を示す図である。 情報共有システムのシステム構成例を示す図である。 情報管理サーバーの機能ブロック図の一例である。 現場の表示装置が表示するクロノロジーと本部の表示装置が表示するクロノロジーの一例を示す図である。 現場の表示装置と本部の表示装置が表示データとメタデータを共有する処理を説明するシーケンス図の一例である。 表示システムの概略構成図の一例である。

以下、本発明を実施するための形態の一例として表示装置と、表示装置が行う表示方法について図面を参照しながら説明する。

＜表示可能文字数を超えた入力テキストに関する表示部品の表示＞
本実施形態の表示装置は、入力エリアが表示可能な文字数（以下、表示可能文字数という）よりも入力テキストの文字数の方が多い場合、テキストの入力中に、入力テキストをポップアップ表示する。以下、概略を説明する。

従来の技術では、ユーザーが縮小ボタンを操作することで手書き内容を縮小表示させており、ユーザーの手間がかかってしまうという課題がある。手書きでテキスト等のストロークデータを入力する際、ユーザーは意図した変換や手書きデータになって表示されているかどうか確認したい場合がある。しかし、特許文献１記載の技術では、縮小ボタンを操作することで手書き内容を縮小表示させており、ユーザーによる指示が必要となるため、ユーザーの手間がかかってしまう。更に、変換後のテキストが縮小されてしまい見えにくく、ユーザーは意図した変換や手書きデータであるかどうかを確認しにくい。また、入力エリアに変換後の全てのテキストや手書きデータが表示しきれない場合もあり、ユーザーが確認しにくい。
図１（ａ）は、入力エリアに入力された入力テキスト１０と入力エリアに対応付けて表示されたポップアップ３０１の一例である。入力エリア９の表示可能文字数と入力テキスト１０は以下のとおりである。
表示可能文字数：１０文字
入力テキスト：給水車をＡ避難所とＢ避難所に配備依頼
入力テキスト１０の文字数が表示可能文字数よりも大きいので、入力エリア９には入力テキスト１０の一部である「給水車をＡ避難所とＢ」しか表示されない。そこで、表示装置２は、表示可能文字数よりも大きい数の入力テキスト１０が入力されたことを契機に、入力エリア９の周囲に入力テキスト１０を含むポップアップ３０１を表示する。こうすることで、ユーザーは入力エリア９に表示しきれていない入力テキスト１０を確認できる。

なお、以下では、ポップアップ３０１を表示することを単に「ポップアップ表示」という。また、入力テキスト１０の文字数が表示可能文字数よりも大きいことを、全ての入力テキスト１０を表示しきれない、という場合がある。

また、表示可能文字数よりも入力テキスト１０の文字数の方が多い場合、表示可能文字数よりも大きい数の入力テキスト１０が入力されたことを契機に、本実施形態の表示装置２は、入力エリア９の中又は周囲にマーク３０２を表示することができる。

図１（ｂ）は、入力エリア９に表示されたマーク３０２を示す。入力テキスト１０は図１（ａ）と同様である。入力エリア９に全ての入力テキスト１０を表示しきれない場合、表示装置２は、入力エリア９にマーク３０２を表示する。マーク３０２の表示方法の詳細は後述するが、図１（ｂ）では、入力エリア９の右下に吹き出し状のマーク３０２が表示されている。

ユーザーはマーク３０２を見ることで、入力エリア９に全ての入力テキスト１０を表示しきれないと判断できる。ユーザーがマーク３０２をペン２５００で押下すると、図１（ａ）と同様に、表示装置２は全ての入力テキスト１０をポップアップ表示する。

このように、本実施形態の表示装置２は、入力エリア９に表示しきれない入力テキスト１０に関する表示部品（ポップアップ３０１、マーク３０２）を表示するので、ユーザーは、入力エリア９に表示しきれない入力テキスト１０が存在しても、それを読むことができ、誤認識を減らすことができる。表示装置２はテキストの入力中にポップアップ３０１を表示できるので、ユーザーは入力テキスト１０を確認しながら残りのテキストを入力できる。

＜用語について＞
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材などがある。
ユーザーがディスプレーに入力手段を押しつけてから連続的に移動させた後、ディスプレーから離すという一連の操作をストロークという。ストロークは、ディスプレーに接触することなく、ユーザーの動きを追跡することを含む。この場合、ユーザーは、例えばマウスやポインティングデバイスを使用して、ユーザーのジェスチャー、ユーザーの手又は足によるボタンの押下、又は他の方法で、ストロークを開始させてもよい。更に、ユーザーは、同じ又は異なるジェスチャー、ボタンを離す、又はマウスやポインティングデバイスを使用して、ストロークを終了させてもよい。ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレーに表示される情報である。ストロークデータは適宜、補間されてよい。手書きデータとは、１つ以上のストロークデータを有するデータである。手書き入力とは、ユーザーによって、手書きデータが入力されることを示している。手書き入力は、タッチインターフェース、ペンやスタイラスなどの触覚オブジェクト、又はユーザーの体を使って実行されてもよい。また、手書き入力は、ジェスチャーベースの入力、手の動きの追跡入力、又はユーザーによる他のタッチフリー入力など、他のタイプの入力を介して実行されてもよい。本発明の実施形態では、手書き入力及び手書き入力データに言及するが、他の形態の手書き入力が利用されてもよい。
ストロークデータに基づいてディスプレーに表示される表示物をオブジェクトという。オブジェクトとは対象という意味であるが、本実施形態では表示対象などの意味である。ストロークデータが手書き認識して変換されたオブジェクトには、文字が含まれる。文字には、漢字、平仮名、片仮名、ローマ字、アルファベット、数字、絵文字、顔文字、古代エジプト文字、象形文字が含まれる。また、オブジェクトには、文字が１以上集まった文字列の他、「済」などの決まった文字やマークとして表示されるスタンプ、円、星又は矢印などの図形、直線、数学記号（＋、－、×、÷、＝など）等も含まれてよい。
文字列オブジェクトとは、オブジェクトのうち文字列（テキスト）を対象とする。
なお実施例の説明では、文字列を手書きした場合が記載されているが、手書きの対象は文字列に限らない。手書きの内容としては「Ａ避難所→Ｂ避難所へ１０人移動させる」といった、文字に加えて矢印等を手書きして、そのうちの少なくとも一部を表示部品内に表示させても良い。また円や星や直前や数学記号等を手書きして、そのうちの少なくとも一部を表示部品内に表示させても良い。

入力エリアとは、テキストや手書きデータなどが入力されるために用意された領域である。入力エリアには表示可能オブジェクト量が設定されていてよい。入力エリアは、例えば矩形の枠で囲まれているが、単なる下線でもよいし、上下の罫線のみでもよい。また、入力エリアは、１つだけが単独で存在するものに限らず、表のセルのように縦又は横の少なくとも一方に隣接していてもよい。表示可能オブジェクト量は表示可能なテキスト数、表示可能な手書きデータの幅（入力エリアの幅）などである。

入力エリアにオブジェクトが入力されたことを契機に表示部品を表示するとは、手書きデータの文字認識により変換されたテキストが確定したことを言う。確定は、ユーザーが選択する場合と、確度の最も高いテキストが自動で確定する場合がある。

ポップアップとは、コンピュータの操作画面で、飛び出すように現れるウィンドウなどの表示部品をいう。ポップアップは必ずしも吹き出しの形状を有していなくてよく、形状は任意である。
表示部品とは、画面の構成要素となる各種の部品である。表示部品の一例として、ポップアップが挙げられる。ポップアップには、ユーザーが手書きした内容やテキスト（文字列）が表示される。なお表示しきれない内容があることを示す場合（インジケーターの役割を有する場合）にマークが使われてもよい。マークには手書きした内容やテキストが表示されない。そのため、ポップアップについては第１の表示部品（ユーザーが手書きした内容やテキストが表示されるもの）と表現し、マークについては第２の表示部品（ユーザーが手書きした内容やテキストが表示されないもの）と表現しても良い。

＜装置の構成例＞
図２を用いて、本実施形態に係る表示装置２の配置例を説明する。図２は、表示装置２の配置例を示した図である。図２（ａ）は、表示装置２の一例として、壁につり下げられた横長の電子黒板として使用される表示装置２を示している。

図２（ａ）に示されているように、表示装置２の上部には表示装置２の一例としてのディスプレー２２０が設置されている。ユーザーＵは、ペン２５００を用いて、ディスプレー２２０に文字等を手書きする（入力、描画ともいう）ことができる。

図２（ｂ）は壁につり下げられた縦長の電子黒板として使用される表示装置２を示している。

図２（ｃ）は机２３０に平置きされた表示装置２を示す。表示装置２は厚みが１ｃｍ程度なので、一般の机に平置きしても机の高さを調整する必要がない。また、ユーザーは表示装置２を容易に移動できる。

なお、ペン２５００の座標の入力方式には、電磁誘導方式、アクティブ静電結合方式などがある。また、ペン２５００は、筆圧検知、傾き検知、ホバー機能（ペンが触れる前にカーソルを表示）、などの機能を有していてよい。

＜装置のハードウェア構成＞
続いて、図３を用いて、表示装置２のハードウェア構成を説明する。表示装置２は図示するように情報処理装置又はコンピュータの構成を有している。図３は、表示装置２のハードウェア構成図の一例である。図３に示されているように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、及び、ＳＳＤ(Solid State Drive)２０４を備えている。

これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。

ＳＳＤ２０４は、ＯＳや表示装置２用のプログラム等の各種データを記憶する。このプログラムは汎用的なＯＳ(Windows（登録商標）、Mac OS（登録商標）、Android（登録商標）、iOS（登録商標）等)を搭載した情報処理装置で動作するアプリケーションプログラムでもよい。この場合、普段は汎用的な情報処理装置として利用されるが、ユーザーがアプリケーションプログラムを実行すると、表示装置２の専用機と同様、ユーザーが手書きすることができる。

また、表示装置２は、ディスプレーコントローラー２１３、タッチセンサーコントローラー２１５、タッチセンサー２１６、ディスプレー２２０、電源スイッチ２２７、チルトセンサー２１７、シリアルインタフェース２１８、スピーカー２１９、マイク２２１、無線通信装置２２２、赤外線Ｉ／Ｆ２２３、電源制御回路２２４、ＡＣアダプター２２５、及びバッテリー２２６を備えている。

ディスプレーコントローラー２１３は、出力画像をディスプレー２２０等へ出力するために画面表示の制御及び管理を行う。タッチセンサー２１６は、ディスプレー２２０上にペン２５００やユーザーの手等（ペンやユーザーの手は入力手段となる）が接触したことを検知する。また、タッチセンサー２１６はペンＩＤを受信する。

タッチセンサーコントローラー２１５は、タッチセンサー２１６の処理を制御する。タッチセンサー２１６は、座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法について説明する。例えば、光学式の場合、ディスプレー２２０の上側両端部に設置された２つ受発光装置が、ディスプレー２２０に平行して複数の赤外線を放射する。ディスプレー２２０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。タッチセンサー２１６は、物体によって遮断された２つの受発光装置が放射した赤外線の位置情報をタッチセンサーコントローラー２１５に出力し、タッチセンサーコントローラー２１５が、物体の接触位置である座標位置を特定する。また、タッチセンサーコントローラー２１５は通信ユニット２１５ａを有しており、ペン２５００と無線で通信することができる。例えば、Bluetooth（登録商標）などの規格で通信している場合は、市販されているペンを使用することができる。通信ユニット２１５ａに予め１つ以上のペン２５００を登録しておくと、ユーザーはペン２５００を表示装置２と通信させる接続設定を行わなくても通信できる。

電源スイッチ２２７は、表示装置２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。チルトセンサー２１７は、表示装置２の傾き角度を検出するセンサーである。主に、表示装置２が図２（ａ）、図２（ｂ）、又は、図２（ｃ）のいずれかの設置状態で使用されているかを検出するために使用され、設置状態に応じて文字等の太さを自動で変更することができる。

シリアルインタフェース２１８はＵＳＢなどの外部との通信インタフェースである。シリアルインタフェース２１８は、外部からの情報の入力などに使用される。スピーカー２１９は音声の出力に使用され、マイク２２１は音声の入力に使用される。無線通信装置２２２は、ユーザーが携帯する端末と通信し、例えばインターネットへの接続を中継する。無線通信装置２２２はWi－FiやBluetooth（登録商標）などで通信するが、通信規格は問われない。無線通信装置２２２はアクセスポイントを形成しており、ユーザーが入手したＳＳＩＤ（Service Set Identifier）とパスワードをユーザーが携帯する端末に設定すると、アクセスポイントに接続できる。

なお、無線通信装置２２２には２つのアクセスポイントが用意されているとよい。
a. アクセスポイント→インターネット
b. アクセスポイント→社内ネットワーク→インターネット
ａのアクセスポイントは社外のユーザー用で、ユーザーは社内ネットワークにはアクセスできないが、インターネットを利用できる。ｂのアクセスポイントは社内のユーザー用で、ユーザーは社内ネットワーク及びインターネットを利用できる。

赤外線Ｉ／Ｆ２２３は隣に配置された表示装置２を検出する。赤外線Ｉ／Ｆ２２３は、赤外線の直進性を利用して、隣に配置された表示装置２のみを検出できる。赤外線Ｉ／Ｆ２２３は各辺に１つずつ設けられることが好ましく、表示装置２のどの方向に他の表示装置２が配置されたのかを検出できる。これにより画面が広がり、隣の表示装置２に過去に手書きされた手書き情報（１つのディスプレー２２０の広さを１ページとして別のページの手書き情報）等を表示できる。

電源制御回路２２４は表示装置２の電源であるＡＣアダプター２２５とバッテリー２２６を制御する。ＡＣアダプター２２５は商用電源が共有する交流を直流に変換する。

ディスプレー２２０がいわゆる電子ペーパーの場合、画像の表示を維持するためにほとんど又は一切電力を消費しないので、バッテリー２２６による駆動も可能である。これにより、屋外など電源を接続しにくい場所でもデジタルサイネージなどの用途で表示装置２を使用することが可能になる。

更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図３に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、タッチセンサー２１６は、光学式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネルでもよい。タッチセンサー２１６は、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネルでもよい。タッチセンサー２１６は、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどよく、種々の検出手段を用いてもよい。タッチセンサー２１６は、ペン先のタッチの有無を検知するのに電子ペンが必要ない方式であってよい。この場合はタッチ操作をするのに指先やペン型の棒を使用できる。なお、ペン２５００は、細長いペン型である必要はない。

＜機能について＞
次に、図４を用いて表示装置２の機能について説明する。図４は、表示装置２が有する機能をブロック状に分けて説明する機能ブロック図の一例である。表示装置２は、入力受付部２１、描画データ生成部２２、変換部２３、表示制御部２４、データ記録部２５、ネットワーク通信部２６、操作受付部２７、入力内容表示部２８、ポップアップ表示部２９、マーク表示部３０、を有している。表示装置２が有する各機能は、図３に示されている各構成要素のいずれかが、ＳＳＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。

入力受付部２１はタッチセンサー２１６に対しペン２５００等の入力手段が接触した位置の座標を検出することで、ストロークデータ（座標点列）の入力を受け付ける。描画データ生成部２２はペン２５００のペン先が接触した座標を入力受付部２１から取得する。描画データ生成部２２は、この座標点列を補間することで接続してストロークデータを生成する。

変換部２３はユーザーが手書きした１つ以上のストロークデータ（手書きデータ）に対し文字認識処理を行い、テキストに変換する。テキストの実体は文字コードである。変換部２３は、ユーザーのペン操作と並行して文字（日本語だけでなく英語などの多国語）、数字、記号（％、＄、＆など）、図形（線、丸、三角など）等を認識していく。認識方法については様々なアルゴリズムが考案されているが、本実施形態では公知の技術を利用できるとして詳細を割愛する。

データ記録部２５は、表示装置２に手書きされた手書きデータ、変換された文字列、及び、ＰＣ（Personal Computer）の画面、ファイル等を記憶部４０に記憶する。ネットワーク通信部２６はＬＡＮ等のネットワークに接続して、他の機器とネットワークを介したデータの送受信を行う。

操作受付部２７は、ペン２５００等が接触した座標に基づいて、文字認識された複数の変換候補から任意の文字の選択を受け付けたり、メニューの押下を受け付けたりする。

表示制御部２４は入力内容表示部２８、ポップアップ表示部２９、及び、マーク表示部３０を有している。表示制御部２４は、手書きデータ、手書きデータから変換された文字列、及び、ユーザーが操作するための操作メニューなどをディスプレー２２０に表示する。
入力内容表示部２８は、入力エリア９に設定された表示可能文字数の範囲で、入力エリア９に入力テキスト１０を表示する。また、入力内容表示部２８は、入力エリア９に余白を作成する処理なども行う。

ポップアップ表示部２９は、入力エリア９に表示しきれない入力テキスト１０がある場合、入力テキスト１０の全文又は一部をポップアップ表示する。

マーク表示部３０は、入力エリア９に表示しきれない入力テキスト１０がある場合、入力エリア９の内部又は周囲等にマーク３０２を表示する。

なお、表示制御部２４は、ストロークデータから変換されたテキストを入力エリアに表示させると共に、テキストが入力エリアに表示できない場合にテキストの一部をテキストに関する表示部品内に表示させる制御を行う。

また、表示装置２は、図３に示されているＳＳＤ２０４やＲＡＭ２０３などに構築される記憶部４０を有し、記憶部４０には入力エリア情報記憶部４１が構築されている。

図５は、入力エリア情報記憶部４１に記憶されている入力エリア情報の一例である。入力エリア情報は、入力エリア９に設定された情報である。

・入力エリアＩＤの項目は、入力エリア９の識別情報である。

・座標の項目は、表示装置２のディスプレーにおける入力エリア９の左上頂点のｘ座標とｙ座標を示す。

・サイズの項目は、入力エリア９の縦横の長さである。

・フォントの項目は、入力エリア９に入力された入力テキスト１０のフォントを指定する。

・フォントサイズの項目は、入力エリア９に入力された入力テキスト１０のフォントを指定する。

・フォント色の項目は、入力エリア９に入力された入力テキスト１０の色を指定する。

・フォント配置の項目は、入力エリア９に入力された入力テキスト１０の配置を、水平方向（左寄り、中央、右寄り）、及び、上下方向（上寄り、中央、下寄り）で指定する。

・入力エリア９の余白の項目は、入力テキスト１０から入力エリア９の枠までの余白を大、中、小で指定する。

・指定辞書の項目は、入力エリア９に入力されたストロークの変換に使用される変換辞書を指定する。表示装置２は、入力エリア９ごとに辞書を登録しておくことで認識精度を向上できる。また、入力エリア９に対し操作ガイドを非表示する旨が設定されてもよい。操作ガイドの詳細は図７にて説明する。

・表示可能文字数の項目は、入力エリア９が表示できる最大の文字数である。

・入力テキスト１０の項目は、入力エリア９に入力されたテキストである。

・重要度の項目は、該入力エリア９に対する入力テキスト１０の重要度を低、中、高で示す。ポップアップ表示部２９は、重要度に応じてポップアップの表継続時間を変更できる。重要度が高では、表示装置２が継続してポップアップ表示してもよい。また、マーク表示部３０は重要度に応じてマークの色や輝度などの態様を変更できる。

＜入力エリアへのテキスト入力＞
次に、図６を参照して、入力エリア９への入力テキスト１０の入力例を説明する。図６は、入力エリア９に入力された入力テキスト１０を示す。入力受付部２１は予め座標が設定されている入力エリア９と、ペン２５００の入力座標で入力された手書きデータの外接矩形が一定以上、重なる場合に、入力エリア９への入力であると判断する。

入力エリア９の表示可能文字数と入力テキスト１０の文字数は以下のとおりである。

表示可能文字数：１０文字
入力テキストの文字数：１８文字
図６（ａ）は入力途中の入力テキスト１０である。その後、ユーザーが入力テキスト１０の全文を入力しても、入力エリア９は全文を表示できない（図６（ｂ））。

図６に示したテキスト入力は、操作ガイド５００を介して行われる場合がある。図７は、操作ガイド５００を説明する図である。図７（ａ）は、ユーザーが「給水車をＡ避難所と」までを入力した状態である。そこに、ユーザーが「Ｂ」という手書きデータ３０４を手書きした。変換部２３はペンアップ後からペンダウンまでに一定以上の時間があると、操作ガイド５００を手書きデータ３０４の周囲に表示する。

図７（ｂ）は操作ガイド５００の一例である。変換部２３は、認識処理の結果、確度が大きい上位の変換候補（複数のテキスト）を操作ガイド５００に表示する。図７（ｂ）では「Ｂ」が手書きデータ３０４の認識結果であり、正しく認識されている。また、変換部２３は、予測変換することができ、「Ｂ」を含む単語や熟語を操作ガイド５００に表示できる。

ユーザーが任意の変換候補をペン２５００で選択すると、選択されたテキスト３０５が手書きデータ３０４に代わって表示される。図７（ｃ）では「Ｂ」というテキスト３０５が表示されている。なお、表示制御部２４は、変換候補の選択により操作ガイド５００を消去する。

上記の図６（ｂ）は図７（ｃ）と同じものであるが、図６では操作ガイド５００が表示されてない。操作ガイド５００が表示されるかどうかは入力エリア９への設定により切り替えられる。以降、特に言及しなければ、入力テキスト１０の入力に操作ガイド５００が表示されても表示されなくてもよい。例えば、数字や性別が入力される入力エリア９では、誤変換がほとんどないので操作ガイド５００が表示されない設定の場合がある。

なお、操作ガイド５００は、ユーザーが一定時間以上ペンアップした場合に表示されるので、一文字の手書きデータが手書きされるごとに表示されるとは限らない。

＜ポップアップの表示例＞
本実施形態の表示装置２は全文ポップアップ表示と一部ポップアップ表示が可能である。全文ポップアップ表示又は一部ポップアップ表示のどちらが行われるかは予め設定されている。まず、全文ポップアップ表示について説明する。

図８は、全文ポップアップ表示の一例を示す。ポップアップ表示部２９は、入力エリア９に入力された入力テキスト１０を取得し、入力エリア９の上部に、ポップアップ３０１の文字サイズで入力テキスト１０を新たな入力テキストとして表示する。なお、ポップアップ３０１の文字サイズは予め設定されていてもよいしユーザーが設定してもよい。図８に示すように、ポップアップ３０１は原則的に入力エリア９の上側である。しかし、入力エリア９の上側にスペースがない場合、下側に表示される。

図８のポップアップ３０１は、操作ガイド５００から候補が選択される度に更新される。つまり、ユーザーが手書きデータを入力中にリアルタイムに表示されるので、ユーザーは入力テキスト１０を見ながら入力できる。

図９は、入力エリア９の下側に表示された全文ポップアップ表示の一例を示す。ポップアップ表示部２９は、入力エリア９の上端からディスプレーの上端までの長さＡと、ポップアップの高さＢを比較し、ポップアップの高さＢの方が大きい場合は、ポップアップを入力エリア９の下部に表示する。ポップアップの高さＢはポップアップ表示の文字サイズとポップアップ内の余白により決定される。こうすることで、入力エリア９が上端に近くても、ポップアップ表示部２９が入力テキスト１０をポップアップ表示できる。

次に、図１０，図１１を参照し一部ポップアップ表示について説明する。図１０は、一部ポップアップ表示の一例を示す。ポップアップ表示部２９は以下のような処理で一部ポップアップ表示を行う。
「表示装置は、現在の入力テキスト１０の文字数から表示可能文字数を引いた文字数分、入力テキスト１０の末尾から取得する。」
例えば、表示可能文字数と入力された文字数が以下のとおりであるとする。
表示可能文字数：１０文字
入力された文字数：１８文字（「給水車をＡ避難所とＢ避難所に配備依頼」）
この場合、入力テキスト１０の文字数から表示可能文字数を引いた文字数は、「避難所に配備依頼」の８文字である。

ポップアップ表示部２９は、入力エリア９の上部に、ポップアップ表示の文字サイズで、入力テキスト１０の末尾から取得した一部の入力テキスト１０のみ有するポップアップ３０９を新たな入力テキストとして表示する。図１０では、「避難所に配備依頼」の８文字のみがポップアップ３０９に表示されている。したがって、ユーザーは入力エリア９のテキストに続いて、ポップアップ表示されたテキストを読めばよく、テキストの重複を少なくできる。

図１１は、入力エリア９の下側に表示された一部ポップアップ表示の一例を示す。全文ポップアップ表示の場合と同様に、ポップアップ表示部２９は、入力エリア９の上端からディスプレーの上端までの長さＡと、ポップアップの高さＢを比較し、ポップアップの高さＢの方が大きい場合は、ポップアップ３０９を入力エリア９の下部に表示する。ポップアップの高さＢはポップアップ表示の文字サイズとポップアップ内の余白により決定される。こうすることで、入力エリア９が上端に近くても、ポップアップ表示部２９が、入力テキスト１０をポップアップ表示できる。

なお、ポップアップ表示はテキスト変換されていない手書きデータに対しても可能である。図１２は、手書きデータのポップアップ表示例を示す。入力エリア９に入力された全ての手書きデータ３０６は「I have a pen and I have an apple.」であるが、入力エリア９にはその一部である「I have a pen」という手書きデータ３０７のみが表示されている。手書きデータ３０７には文字数の概念がないか、又は、概念があっても文字サイズはユーザーが変更できる。そこで、ポップアップ表示部２９は、手書きデータ３０７の横幅が入力エリア９の幅より大きい場合、全ての手書きデータ３０６をポップアップ表示する。このように、手書きデータの場合も同様の条件でポップアップ表示可能である。

図１２は全文ポップアップ表示の例であるが、ポップアップ表示部２９は一部ポップアップ表示してもよい。この場合、ポップアップ表示部２９は、「現在まで入力した手書きデータの幅から入力エリアの幅を引いた長さの手書きデータを、手書きデータの末尾から取得する。」を行う。ポップアップ表示部２９は、手書きデータの末尾から取得して一部の手書きデータをポップアップ表示する。

＜入力後のポップアップ表示について＞
図９～図１２のように表示されたポップアップ３０１，３０９は、ユーザーが入力エリア９に入力テキスト１０を入力した後、ポップアップ表示部２９が消去する。なお、ユーザーが入力エリア９に入力テキスト１０を入力した後とは、ユーザーが入力エリア９からペンアップして一定時間が経過することをいう。

また、入力中に表示されていたポップアップ３０１、３０９が消去された後は、ユーザーが入力エリア９をペン２５００で押下したり、ホバリングしたりすることで入力テキスト１０の全文又は一部がポップアップ表示される。ホバリングとは、タッチパネルから所定以下の高さの位置にてペンや指を一定時間、静止する状態を表す。ポップアップ表示された入力テキスト１０は、表示から一定時間後に消去される。ユーザーがポップアップ３０１、３０９をペン２５００で操作した場合はポップアップ表示が継続されてよい。

＜マークの表示＞
ユーザーが入力エリア９に入力テキスト１０を入力した後は、ユーザー操作によりポップアップ表示される。このため、ユーザーは入力エリア９が全ての入力テキスト１０を表示しているか判断しにくい場合がある。

そこで、図１３に示すように、マーク表示部３０が入力エリア９にマーク３０２を表示する。図１３は、入力エリア９の内部に表示されたマーク３０２の一例である。マーク３０２は、入力エリア９に表示しきれていない入力テキスト１０があることを表す。マーク表示部３０は、「表示可能文字数＜入力テキスト１０の文字数」となったタイミングでマーク３０２を表示することが好ましいが、ユーザーが入力エリア９に入力テキスト１０を入力した後にマーク３０２を表示してもよい。

ユーザーがペン２５００でマーク３０２を押下すると、入力テキスト１０が全文ポップアップ表示又は一部ポップアップ表示される。全文ポップアップ表示又は一部ポップアップ表示のどちらが行われるかは予め設定されている。

図１４は、マーク３０２の押下で表示された全文ポップアップの一例である。図１４では、入力エリア９の上部に全文のポップアップ３０１が表示されている。ポップアップ表示部２９は、一部ポップアップ表示してもよいし、下側にポップアップ表示してもよい。

なお、図示するマーク３０２の形状は一例である。マーク３０２は、入力エリア９の角に三角形を表示したり、入力エリア９の枠の角を丸くしたりしたものでもよい。マーク３０２は、入力エリア９の背景色を変更したものでもよい。マーク３０２は入力エリア９の外に表示されてもよい。マーク３０２は、ペン２５００が入力エリア９に触れた際に数秒間だけ表示されたり、ペン２５００のホバリングを検知している間や検知から数秒だけ表示されたりしてもよい。

＜入力エリアの余白が少なくなった場合の入力方法＞
次に、図１５，図１６を参照して、入力エリア９の余白が少なくなった場合の入力方法について説明する。図１５は、ユーザー操作で入力エリア９に余白が用意される入力方法を示す。図１５では、ポップアップ表示を省略した。

図１５（ａ）は、入力エリア９に入力された入力テキスト１０である。入力エリア９には表示しきれていない入力テキスト１０がある。余白を作りたいユーザーが入力エリア９内で右から左にストローク３１０を手書きする。入力内容表示部２８は、決定した文字数だけ入力テキスト１０を左にずらす。

図１５（ｂ）は、ずらす文字数を説明する図である。入力内容表示部２８は、ストローク３１０の長さを文字サイズで割った値をずらす文字数に決定する。ストローク３１０の長さが１３ｃｍ、文字サイズが２ｃｍの場合、「１３÷２＝６……１」なので、６文字がずらす文字数である。

図１５（ｃ）は、入力テキスト１０が６文字、左にずらされた入力エリア９を示す。図１５（ｃ）では、図１５（ｂ）の入力テキスト１０の先頭から６文字が取りのぞかれた「難所とＢ」という入力テキスト１０が左詰で表示されている。これにより、入力エリア９には余白３１１が生じた。

図１６は、図１５で説明した、入力エリア９の余白が少なくなった場合に表示装置２が余白を作成する処理を説明するフローチャート図である。

入力内容表示部２８は、入力エリア９に入力テキスト１０が存在するか判断する（Ｓ１０１）。

ステップＳ１０１の判断がＹｅｓの場合、入力内容表示部２８は、入力エリア９内に、右から左方向へのストローク３１０が手書きされたか否かを判断する（Ｓ１０２）。ステップＳ１０２では、ストローク３１０の始点と終点によりストロークの向きが判断され、ストローク３１０の座標点列が入力エリア９内か否か判断される。

ステップＳ１０２の判断がＹｅｓの場合、入力内容表示部２８は、ストローク３１０の長さを文字サイズで割り、ずらす文字数を決定する（Ｓ１０３）。

そして、入力内容表示部２８は、入力エリア９に表示中の入力テキスト１０の先頭からステップＳ１０３で決定した文字数を消去し、残りの入力テキスト１０を入力エリア９に左詰めして表示する（Ｓ１０４）。

ステップＳ１０１，又はＳ１０２の判断がＮｏの場合、余白３１１は作成されない。

以上で、入力エリア９に余白３１１が作成され、ユーザーは入力テキスト１０の入力のために、余白３１１に次の手書きデータを手書きできる。

なお、入力内容表示部２８は、ユーザー操作なしに自動的に余白を作成してもよい。例えば、入力内容表示部２８は、入力エリア９に入力された入力テキスト１０と右端の枠までの距離が閾値未満になると、例えば表示中の入力テキスト１０の左半分を消去し、右半分を左に詰める。

図１７は、自動的な余白の作成方法を説明する図である。図１７では、ポップアップ表示を省略した。図１７（ａ）では、入力テキスト１０と右端の枠までの距離が閾値未満である。入力内容表示部２８は、表示中の入力テキスト１０の左半分を消去し、右半分を左に詰める。図１７（ｂ）では１０文字の入力テキスト１０（「給水車をＡ避難所とＢ」）の左半分の「給水車をＡ」が消去され、右半分の「避難所とＢ」が左に詰められ、余白３１１が生じている。

この結果、図１７（ｃ）に示すように、ユーザーは余白３１１に引き続きに手書きデータ３１２を手書きできる。

また、図１８、図１９に示すように、入力エリア９に入りきらない入力テキスト１０を入力する方法として、ユーザーは余白でなく入力エリア９の右側に、ストロークを手書きしてもよい。

図１８は、ユーザーが右側の入力エリア９Ｂの右側にストロークを手書きする入力方法を説明する図である。図１８では、ポップアップ表示を省略した。図１８（ａ）では、隣接した２つの入力エリア９Ａ、９Ｂがある。ユーザーは左側の入力エリア９Ａに入力しているが、余白がないので右の入力エリア９Ｂに手書きした。図１８（ａ）の右の入力エリア９Ｂの「避難所に配備依頼」は手書きデータ（ストロークデータのまま）である。

入力エリア９Ａに入力テキスト１０が入力されてから一定時間内に右の入力エリア９Ｂにストローク３１３が手書きされた場合、入力受付部２１は左の入力エリア９Ａへの入力と判断する。換言すると、入力受付部２１は、左の入力エリア９Ａ以外への入力を制限する。こうすることで、ユーザーは、入力エリア９Ａの外に手書きされても、入力エリア９Ａに入力テキスト１０を入力できる。

なお、入力受付部２１は、左の入力エリア９Ａと右の入力エリア９Ｂの境界（右の入力エリア９Ｂの左端の枠）をストロークがまたいでいるか否か判断してもよい。

図１８（ｂ）は、図１８（ａ）の右の入力エリア９Ｂに手書きされた「避難所に配備依頼」が、文字認識された後の入力エリア９Ａ，９Ｂを示す。表示可能文字数より入力テキスト１０の文字数の方が大きいので、入力エリア９Ａにマーク３０２が表示されている。また、右の入力エリア９Ｂから手書きデータが削除されるので、ユーザーが更に手書きできる。なお、マーク３０２でなく、又は、マーク３０２と共に、ポップアップ表示部２９が入力テキスト１０の全文又は一部をポップアップ表示してもよい。この場合、ユーザーは入力済みのテキストを見ながら手書きできる。

図１９は、図１８で説明した、入力エリア９の右側に手書きされたストロークの入力を表示装置２が受け付ける処理を説明するフローチャート図である。

入力内容表示部２８は、現在入力中の入力エリア９の表示可能文字数を取得する（Ｓ２０１）。

入力内容表示部２８は、入力エリア９に入力テキスト１０が入力されてから一定時間内にストロークが入力されたか判断する（Ｓ２０２）。

ステップＳ２０２の判断がＹｅｓの場合、入力内容表示部２８は、ストロークが入力エリア９の右側の領域と重なっているか否か判断する（Ｓ２０３）。入力エリア９の右側の領域は別の入力エリア９でもそうでなくてもよい。

ステップＳ２０３の判断がＹｅｓの場合、入力受付部２１は、入力エリア９以外へストロークが入力されても入力を受け付けない（Ｓ２０４）。

ステップＳ２０２，又はＳ２０３の判断がＮｏの場合、ストロークが入力された位置に応じた処理が行われる。例えば別の入力される入力エリア９に入力テキスト１０が入力される。

＜ポップアップの更新＞
次に、図２０を参照してポップアップ３０１，３０９の更新タイミングについて説明する。図２０はポップアップ表示の更新タイミングを説明する遷移図である。なお、図２０では、入力エリア９に余白が用意される入力方法を用いて説明する。

図２０（ａ）に示すように、入力エリア９に表示可能文字数と同じ文字数の入力テキスト１０が入力された。

図２０（ｂ）に示すように、入力内容表示部２８は、上記の方法で、入力エリア９に余白３２１を作成する。また、入力エリア９に表示しきれない入力テキスト１０が発生したので、ポップアップ表示部２９が、入力テキスト１０をポップアップ表示する。図２０（ｂ）では全文のポップアップ３０１が表示されているが、一部のポップアップ３０９が表示でもよい。この場合、入力内容表示部２８は、現在の入力テキスト１０の文字数から余白分を引いた文字数分、入力テキスト１０の先頭から取得し、一部ポップアップ表示する。

図２０（ｃ）に示すように、ユーザーが「ひなんじょ」という手書きデータ３２２を入力した。変換部２３が文字認識を行って、表示制御部２４が操作ガイド５００を表示する。ユーザーが操作ガイド５００から「避難所」を選択した。

図２０（ｄ）に示すように、入力エリア９に「避難所」という変換後のテキスト３２３が表示される。また、入力エリア９にテキスト３２３が追加されたので、ポップアップ表示部２９がポップアップ表示を更新する。ポップアップ表示部２９は、一度ポップアップを消去して再表示してもよいし、表示中のポップアップにテキスト３２３を追加で表示してもよい。

図２０（ｅ）に示すように、入力内容表示部２８は、上記の方法で入力エリア９に余白を作成する。なお、「に」の入力については説明を省略したが、同様に、操作ガイド５００を介して入力された。

図２０（ｆ）に示すように、ユーザーが「はいびいらい」という手書きデータ３２５を入力した。変換部２３が文字認識を行って、表示制御部２４が操作ガイド５００を表示する。ユーザーが操作ガイド５００から「配備依頼」を選択した。

図２０（ｇ）に示すように、入力エリア９に「配備依頼」という変換後のテキスト３２６が表示される。また、入力エリア９にテキスト３２６が追加されたので、ポップアップ表示部２９がポップアップ表示を更新する。

このように、操作ガイド５００から候補が選択され、入力エリア９に確定した入力テキスト１０が入力されると、ポップアップ表示が更新される。なお、操作ガイド５００は数字などの変換では表示されない場合があるので（数字の変換精度が高いため入力エリアに対しユーザーは操作ガイド５００が表示されないように設定できる）、この場合、変換されたタイミングでポップアップ表示が更新される。

図２０では、入力テキスト１０の入力に連動したポップアップ表示を説明したが、入力エリア９への入力が終了した後（入力エリア９への入力が一定時間以上行われない）、ユーザーの操作で入力テキスト１０がポップアップ表示される。ユーザーは、ポップアップ表示のために、マーク３０２を押下したり、マーク３０２が表示されない場合は入力エリア９を押下したりする。ペン２５００のホバリングでポップアップが表示されてもよい。

＜ポップアップ表示の処理又は動作＞
次に、図２１、図２２を参照して、表示装置２がポップアップ表示する処理又は動作を説明する。図２１は、全文ポップアップ表示の場合に、表示装置２がポップアップ表示する処理を説明するフローチャート図である。図２１の処理は、例えば操作ガイド５００からのテキストの選択又は変換の確定によりスタートする。

ポップアップ表示部２９は、表示可能文字数よりも入力テキスト１０の文字数の方が大きいか否か判断する（Ｓ１）。

ステップＳ１の判断がＹｅｓの場合、ポップアップ表示部２９は、入力エリア９に入力された入力テキスト１０を取得する（Ｓ２）。

次に、ポップアップ表示部２９は、入力エリア９の上端からディスプレーの上端までの長さより、ポップアップの高さの方が小さいか判断する（Ｓ３）。

ステップＳ３の判断がＹｅｓの場合、ポップアップ表示部２９は、入力エリア９の上側に全文ポップアップ表示する（Ｓ４）。

ステップＳ３の判断がＮｏの場合、ポップアップ表示部２９は、入力エリア９の下側に全文ポップアップ表示する（Ｓ５）。

また、ステップＳ１の判断がＮｏの場合、入力テキスト１０が全て表示されているので、ポップアップ表示部２９はポップアップ３０１を表示しない（Ｓ６）。

ポップアップ表示部２９は、ポップアップ表示から一定時間が経過すると、ポップアップ３０１を消去する（Ｓ７、Ｓ８）。なお、入力エリア９への入力中は手書きデータの変換が確定する度にポップアップ３０１が新しく表示されるか、又は、表示中のポップアップにテキストが追記されたりする。

図２２は、一部ポップアップ表示の場合に、表示装置２がポップアップ表示する処理を説明するフローチャート図である。図２２の処理は、例えば操作ガイド５００からのテキストの選択又は変換の確定によりスタートする。

ポップアップ表示部２９は、表示可能文字数よりも入力テキスト１０の文字数の方が大きいか否か判断する（Ｓ１１）。

ステップＳ１１の判断がＹｅｓの場合、ポップアップ表示部２９は、入力テキスト１０の文字数から表示可能文字数を引いた文字数分、入力テキスト１０の末尾から取得する（Ｓ１２）。

次に、ポップアップ表示部２９は、入力エリア９の上端からディスプレーの上端までの長さより、ポップアップの高さの方が小さいか判断する（Ｓ１３）。

ステップＳ１３の判断がＹｅｓの場合、ポップアップ表示部２９は、入力エリア９の上側に一部ポップアップ表示する（Ｓ１４）。

ステップＳ１３の判断がＮｏの場合、ポップアップ表示部２９は、入力エリア９の下側に一部ポップアップ表示する（Ｓ１５）。

また、ステップＳ１１の判断がＮｏの場合、入力テキスト１０が全て表示されているので、ポップアップ表示部２９はポップアップを表示しない（Ｓ１６）。

ポップアップ表示部２９は、ポップアップ表示から一定時間が経過すると、ポップアップ３０９を消去する（Ｓ１７、Ｓ１８）。

＜＜マークの表示＞＞
図２３は、表示装置２がマーク３０２を表示する処理を説明するフローチャート図である。図２３の処理は、例えば操作ガイド５００からのテキストの選択又は変換の確定によりスタートする。

マーク表示部３０は、表示可能文字数よりも入力テキスト１０の文字数の方が大きいか否か判断する（Ｓ２１）。

ステップＳ２１の判断がＹｅｓの場合、マーク表示部３０は、入力エリア９の右下などにマーク３０２を表示する（Ｓ２２）。

マーク３０２が表示されると、操作受付部はマーク３０２がペン２５００で押下されたか否か判断する（Ｓ２３）。

マーク３０２がペン２５００で押下された場合、ポップアップ表示部２９は、入力テキスト１０を全文ポップアップ表示又は一部ポップアップ表示する（Ｓ２４）。

マーク３０２がペン２５００で押下されない場合、ポップアップ表示部２９は、入力テキスト１０をポップアップ表示しない（Ｓ２５）。

ポップアップ表示部２９は、ポップアップ表示から一定時間が経過すると、ポップアップ３０１を消去する（Ｓ２６、Ｓ２７）。

＜主な効果＞
以上説明したように、本実施形態の表示装置２は、入力エリア９に表示しきれない入力テキスト１０に関する表示部品（ポップアップ３０１、マーク３０２）を表示するので、ユーザーは、入力エリア９に表示しきれない入力テキスト１０が存在しても、それを読むことができ、誤認識を減らすことができる。表示装置２はテキストの入力中にポップアップ３０１を表示できるので、ユーザーは入力テキスト１０を確認しながら残りのテキストを入力できる。

本実施例では、表示装置２の使用例について説明する。表示装置２は、紙やアナログホワイトボードへの手書き作業が頻繁におこなわれている現場で使用される場合がある。このような現場の１つとして、災害現場におけるクロノロジーの作成及び表示を例に説明する。

大きな災害や事故が起こった際には、医療ニーズや医療資源、危険情報など様々な種類の膨大な情報が本部などに報告されたり、また発信したりする状況になる。情報を管理する手法として「クロノロジー」と呼ばれる経時活動記録が作成される。具体的には、本部や各チームなどが、起こった出来事、収集した情報、発信した情報について「誰が発信し」「誰が受け」「どのような内容であったか」を時系列に記録していく。従来、クロノロジーは、例えばアナログホワイトボード、ライティングシート又は模造紙などに、手書きで書き込まれている。

クロノロジーは速やかに電子化される必要があるが、電子化の際に転記ミスがあったり、判別が困難な箇所があったりし、正確な記録を残すことができない可能性がなる。また、電子化の作業自体も発生してしまう。

そこで、本実施形態の表示装置２のような手書き入力システムを用いることにより、クロノロジーの作成と共に電子化を行うことが可能となる。表示装置２は、入力エリア９ごとの入力規則の定義を有しており、ユーザーが急いで書いた文字も精度よくテキスト変換し自動でレイアウト合わせを行ったり、テキストデータを後のワークフローに用いたりすることも可能となる。

図２４は、手書きでのクロノロジーの例を示す図である。手書きの場合、わずかに文字を小さくかいたり文字間を詰めたりすることで枠内に収めたり、許容されるのであれば２行に渡って記載したりと、柔軟にボードを使うことができる。入力規則を定義しておくと手早く記入が可能である一方、このような柔軟な文字の調整を行うことができない。
従来の表示装置では、想定の文字数を超えた場合は手書き入力ができなかったり、表示がされなかったりという不具合が生じる。データが入力されていればコンピュータ経由等で内容を確認することも可能だが、クロノロジー上で情報を確認することができない状況が生じてしまう。また、全体を縮小して表示する方法もあるが、文字サイズが小さくなることにより視認性が悪くなってしまう。

図２５は、従来の表示装置でのクロノロジーの表示例であり、図２６は、本実施形態のポップアップ表示が適用されたクロノロジーの表示例を示す。図２５の５つのセル３３０～３３４に、表示可能文字数より多くの入力テキスト１０が入力されているが、図２５からは表示可能文字数より多くの入力テキスト１０が入力されていることが分からない。

これに対し、図２６では、１つのセル３３０にポップアップが表示され、２つのセル３３１，３３２にマーク３０２が表示されている。セル３３０では、ユーザーが入力テキスト１０の全文を見ることができる。セル３３１，３３２では、表示可能文字数より多くの入力テキスト１０が入力されていること（入りきらない入力テキスト１０があること）にユーザーが気づくことができる。ユーザーがマーク３０２をペン２５００で押下すれば、入力テキスト１０の全文を見ることができる。

なお、ユーザーは、最優先で対応すべき事項や現在対応中の事項等、表示を優先させたい場合は、例えば長押し等の操作によって、ペン２５００が離れた後も当該ポップアップ表示を継続させるようにしてもよい。再度の操作（例えば長押し）が検出された際、表示装置２は、ポップアップを閉じて再びマーク３０２を表示する。また、表示装置２は、一定時間経過後にポップアップを閉じてもよい。

また、ユーザーが入力規則を定義する際、隣の枠にはみ出ても支障がないような場合（例えば、オーバーする文字数が一定数以下の場合や、隣の枠が空白の場合）、表示装置２は、ポップアップを表示せず、隣の枠にはみ出して表示させるように設定したりしても良い（図２６の符号３８１，３８２）。
表内の第１のセルとは異なる第２のセルに表示部品（ポップアップ）を表示させることで、例えば手書きを行うセルに隣接するセル内に表示部品が表示されるため、第１のセルに表示しきれない場合であっても近傍のセルにポップアップが表示されるため、手書き内容を容易に把握できる。

本実施例では、表示装置２の使用例について説明する。表示装置２は、紙やアナログホワイトボードへの手書き作業が頻繁におこなわれている現場で使用される場合がある。このような現場の１つとして、災害現場におけるトリアージ情報の共有を例に説明する。トリアージとは、大事故、災害などで同時に多数の患者が出た場合に、医療関係者が手当ての緊急度にしたがって優先順をつけることをいう。

図２７は、災害現場におけるトリアージ情報の共有を説明する図である。災害現場３５０において又は搬送先の病院３５１において、患者のトリアージが行われる。患者や災害に対し迅速かつ的確な対応を可能にするため本部３５２が設置される。従来、本部３５２には、アナログホワイトボードなどが用意され、状況の発生状況などが適宜、書き込まれていく。トリアージに関して、アナログホワイトボードには各患者の情報が書き込まれるが、頻繁に書き換えが発生するため、アナログホワイトボードの代わりに表示装置２のようなデジタル化された装置が望まれている。

図２８は、表示装置２が表示するトリアージテーブルの一例である。表示装置２はネットワークを介して他の拠点の表示装置２と通信することができる。図２８（ａ）は病院に設置された表示装置２が表示するトリアージテーブル３５４Ａを、図２８（ｂ）が本部に設置された表示装置２が表示するトリアージテーブル３５４Ｂを示す。

表示装置２はＰＤＦファイルなどで予め用意されているトリアージテーブル３５４Ａ、３５４Ｂを表示する。図２８では、「Ｎｏ、年齢、性別、名前、傷病名、処置・状態、二次トリアージ、転帰、本部からの連絡事項」の各項目が表示されている。表示装置２は手書きデータをテキストに変換するので、乱雑な手書きデータ等による見間違いなどを低減できる。

また、各項目に対応する列の入力エリア９には、入力エリア情報記憶部４１と同様の入力エリア情報が設定されてよい。このため、入力エリア９では変換辞書が決まっており、例えば年齢の項目には数字のみが表示され、性別の項目には「男又は女」のみが表示される。この場合、変換の確度が高いので、項目によっては操作ガイド５００も表示されず、効率のよい入力が可能になっている。

表示装置２は、入力テキスト１０を互いにリアルタイムに共有することができる。したがって、病院で入力された年齢などのオブジェクトは本部で共有され、本部の担当者が手書きした本部からの連絡事項を病院の表示装置２が表示できる。

このような病院と本部とのやりとりが電話などの音声でなくテキストデータで行われ、リアルタイムに互いの表示装置２が表示するので、迅速かつ正確な対応が可能になる。

＜現場と本部におけるトリアージ情報の共有＞
図２９は、情報共有システム４００のシステム構成例を示す。情報共有システム４００は、現場の表示装置２Ａと本部の表示装置２Ｘを有し、更に、情報管理サーバー８を有していてもよい。表示装置２Ａと表示装置２Ｘは、インターネットなどの広域なネットワークを期して相互に通信可能に接続されている。

表示装置２Ａと表示装置２Ｘは、情報管理サーバー８が発行したＵＲＬに接続することで、同じセッション（同じ災害に関する会議といえる）に接続する。情報管理サーバー８は、同じセッションに接続している複数の表示装置２の間で手書きデータなどの表示データを共有する。

なお、データの送受信は、情報管理サーバー８を介さずに、例えばＷｅｂＲＴＣ（Web Real Time Communication）等の通信方法を用いて表示装置２Ａ，２Ｘの間で行われてもよい。

本文には他の現場の表示装置２Ｂ～２Ｄも接続される場合があり、本部の表示装置２Ｘは並行して複数の現場の表示装置２Ｂ～２Ｄとトリアージ情報を共有できる。

図３０は、情報管理サーバー８の機能ブロック図の一例である。なお、情報管理サーバー８のハードウェアブロック図は汎用的なコンピュータと同様でよい。情報管理サーバー８は、通信部４０１、共有部４０２、及び、表示データ記憶部４０３を有している。通信部４０１は、現場の表示装置２Ａ～２Ｄと通信し、一方の表示装置２からの後述するメタデータや表示データを、他方の表示装置２に送信する。

共有部４０２は同じセッションに接続する表示装置２を管理し、メタデータや表示データを同じセッションに接続する表示装置２の間で共有する処理を行う。

表示データ記憶部４０３は、手書きデータやテキストなどの表示データを、ディスプレー２２０における位置情報と共に記憶している。表示データはセッションＩＤに対応付けられている。セッションＩＤは、表示データが共有されるセッションの識別情報である。

次に、図３１、図３２を参照して、現場と本部における表示装置２がクロノロジーを共有する処理について説明する。図３１は、現場の表示装置２Ａが表示するクロノロジーと本部の表示装置２Ｘが表示するクロノロジーを示す。クロノロジーとは情報を時系列に並べたものである。図３１（ａ）は、現場の表示装置２が表示するトリアージ情報３６０のクロノロジーであり、図３１（ｂ）は本部の表示装置２Ｘが表示するトリアージ情報３６１～３６４のクロノロジーを示す。

一例として、現場の複数拠点（拠点A、B、C、D）と本部（拠点X）の間にて、各表示装置２Ａ、２Ｘがトリアージ情報を共有している。現場の複数拠点のうちの１の拠点（拠点Ａ）のユーザーが、負傷した患者の情報を表示装置２Ａに手書きにて記入する場合、表示装置２Ａの入力エリア９にポップアップ等を併せて表示する。入力テキスト１０は表示装置２Ａから本部の表示装置２Ｘに送信され、本部の表示装置２Ａ、２Ｘが表示する。したがって、本部は情報把握や対策指示を迅速に行うことが可能となる。

その際、他の拠点（拠点B、C、D）からも、入力テキスト１０が本部の表示装置２Ｘに送信される。他の拠点（拠点B、C、D）は、拠点Ａとは別の災害現場である。表示装置２Ｘは複数拠点の画面を表示する。この場合、本部の表示装置２Ｘは４つのトリアージ情報３６１～３６４を表示する。このうちトリアージ情報３６１は表示装置２Ａが表示するトリアージ情報３６０である。つまり、本部の表示装置２Ｘは、４つの異なる現場の表示装置２と通信しており、ディスプレーを四分割している。本部の表示装置２Ｘのユーザーは、現場の表示装置２Ａから送付される表示データを編集可能である。

本部の表示装置２Ｘに４つのトリアージ情報３６１～３６４が同時に表示されると画面が縮小されて表示されてしまう。本部では画面に記入される内容が見えにくくなってしまう。

そこで、本部の表示装置２Ｘは、災害現場の端末から送付される表示データを変更可能である。具体的には、現場の表示装置２Ａから送付される表示データについて、本部の表示装置２Ｘは表示データにてマーク３０２や各種のボタンを表示する。表示装置２Ｘは、マーク３０２やボタンの選択を受け付けることで非表示となっている部分を表示させる。

本部の表示装置２Ｘは本実施形態のマーク３０２、拡大ボタン３７１、編集ボタン３７２を表示する。例えば拡大ボタン３７１の選択を受け付けると、表示装置２Ｘは、四分割された表示データを拡大表示する。また、本部の表示装置２は枠の編集ボタン３７２を受け付けると、ユーザーは枠や罫線を編集可能になる。本部の表示装置２Ｘが編集を受け付けることで、トリアージ情報の枠や罫線を移動編集して、ポップアップとなっている非表示部分に書かれている内容を枠内に表示させる。

なお、表示装置２Ｘで受け付けた操作内容などのメタデータは情報管理サーバー８に送信されて記憶される。本部のユーザーは、表示装置２Ａから送信される表示データの内容を拡大表示したり編集したりすることが可能となり、本部にいるユーザーが表示装置２Ａから送信される内容をより確実に把握することが可能となる。

表示データを表示装置２Ａから本部の表示装置２Ｘに送信する際に、図表や手書き内容の操作に関するメタデータも併せて送信することで、本部の表示装置２Ｘにて、表示内容を変更することが可能となる。

図３２は、現場の表示装置２Ａと本部の表示装置２Ｘが表示データとメタデータを共有する処理を説明するシーケンス図である。

S301、S302：表示装置２Ａの入力受付部２１が手書きデータの入力を受け付ける。表示可能文字数より多くの入力テキスト１０が入力された場合、ポップアップ表示部２９がポップアップ表示する。例えばポップアップ表示されたというメタデータが入力される。

S303：表示装置２Ａのネットワーク通信部２６は、表示データとメタデータを情報管理サーバー８に送信する。

S304：情報管理サーバー８の通信部４０１は表示データとメタデータを受信し、共有部４０２が表示データ記憶部４０３に記憶する。

S305：情報管理サーバー８は表示データとメタデータを拠点Ｘの表示装置２Ｘに送信する。なお、拠点Ａの表示装置２Ａと本部の表示装置２Ｘは同じセッションに接続している。

S306：表示装置２Ｘのネットワーク通信部２６は表示データとメタデータを受信し、表示制御部２４が表示データを表示する。また、ポップアップ表示部２９がメタデータに応じてポップアップ表示する。

S307、S308：表示装置２Ｘの入力受付部２１が手書きデータの入力を受け付ける。表示制御部２４は画面を更新する。例えば、表示装置２Ｘのユーザーがトリアージ情報を拡大したり、拡大したトリアージ情報の枠を編集したりする。

S309：表示装置２Ｘのネットワーク通信部２６は、表示データとメタデータ（枠の編集）を情報管理サーバー８に送信する。

S310：情報管理サーバー８の通信部４０１は、表示データとメタデータを受信し、共有部４０２が表示データ記憶部４０３に記憶する。情報管理サーバー８が表示データや本部の表示装置２Ｘでの受付内容や表示変更内容を記憶することで、本部の表示装置２Ｘでの受付内容や表示変更内容を、災害現場の端末（端末A、B、C、D）に送信して表示内容を更新させてもよい。

＜主な効果＞
本実施例によれば、紙やアナログホワイトボードなどでの行われている頻繁な書き換え作業を好適に置き換えることができる。表示装置２は手書きデータをテキストに変換するので、乱雑な手書きデータ等による見間違いなどを低減できる。現場と本部とのやりとりが電話などの音声でなくテキストデータで行われ、リアルタイムに互いの表示装置２が表示するので、迅速かつ正確な対応が可能になる。

表示装置２は、スタンドアロン型で処理が可能であるが、サーバー・クライアントシステムへの適用も可能である。

＜サーバー・クライアントシステムへの適用＞
図３３は、表示システム１９の概略構成図の一例である。表示装置２の機能は、図３３のような、サーバー・クライアントシステムの形態でも実現できる。インターネット等のネットワークを介して表示装置２とサーバー装置１２とが接続されている。

このような表示システム１９の場合、表示装置２は、図４に示した、入力受付部２１、描画データ生成部２２、表示制御部２４、ネットワーク通信部２６、操作受付部２７、入力内容表示部２８、ポップアップ表示部２９，及び、マーク表示部３０を有する。

一方、サーバー装置１２は、変換部２３、データ記録部２５、ネットワーク通信部２６を有する。なお、サーバー装置１２が入力内容表示部２８、ポップアップ表示部２９，マーク表示部３０、を有し、ポップアップなどディスプレーに表示する画面データを表示装置２に送信してもよい。

表示装置２のネットワーク通信部２６はサーバー装置１２に、ストロークデータを送信する。サーバー装置１２は、手書きデータの認識結果を表示装置２に送信する。

このように、表示システム１９によれば、表示装置２とサーバー装置１２がインタラクティブにテキストデータを表示できる。また、オブジェクトデータがサーバー装置１２に保存されているので、遠隔地にある表示装置２やＰＣがサーバー装置１２に接続してオブジェクトデータをリアルタイムに共有できる。

＜主な効果＞
このように、本実施形態の表示装置２は、実施例１，２の効果に加え、サーバー・クライアントシステムにおいても同様の効果を奏することができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では、テキストが横書きされる場合を説明したが、入力エリアが縦長の場合、テキストも縦書きされてよい。

また、本実施形態の表示装置２は、表示可能文字数より入力された入力テキスト１０の方が大きい場合にポップアップ表示したが、入力された入力テキスト１０が表示可能文字数以下の状態からポップアップ表示を開始してもよい。

また、本実施形態では電子黒板を一例として説明したが、電子黒板は、電子ホワイトボード、電子情報ボード、などと呼ばれてよい。また、本実施形態は、タッチパネルを有する情報処理装置であれば好適に適用できる。タッチパネルを搭載した情報処理装置としては、例えば、ＰＪ（Projector：プロジェクター）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。

また、本実施形態の表示装置２は、ペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、ペン先の座標を超音波により検出してもよい。また、ペンは発光と共に超音波を発信しており、表示装置２は超音波の到達時間により距離を算出する。表示装置２は、方向と距離によりペンの位置を特定でき、ペンの軌跡をストロークデータとしてプロジェクターが描画（投影）する。

また、図４などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。
本発明の実施形態は、コンピュータの能力及び機能性に大きな改善をもたらす。これらの改善により、ユーザーは、情報処理装置において情報を格納し提示する方法であるテーブルとの、より効率的で堅牢な対話を提供するコンピュータを利用することができる。更に、本発明の実施形態は、より効率的で強力かつ堅牢なユーザーインタフェースの使用を通じて、より良いユーザー体験を提供する。このようなユーザーインタフェースは、人間と機械との間のより良い相互作用を提供する。

２ 表示装置
２１ 入力受付部
２３ 変換部
２４ 表示制御部
２８ 入力内容表示部
２９ ポップアップ表示部
３０ マーク表示部

特開２０１６‐１７７５２９号公報

Claims (18)

1. 入力エリアへのストロークデータの入力を受け付ける入力受付部と、
   前記ストロークデータに対応するオブジェクトを前記入力エリアに表示させると共に、前記オブジェクトが前記入力エリアに表示できない場合に前記オブジェクトの少なくとも一部を新たなオブジェクトとして表示部品内に表示させる制御を行う表示制御部と、
   を有する表示装置。
2. 前記入力エリアでは表示可能オブジェクト量に制限が設定されており、
   前記表示制御部は、前記入力エリアに表示される前記オブジェクトが前記表示可能オブジェクト量を超えた場合、前記オブジェクトの少なくとも一部を前記表示部品内に表示させる制御を行うことを特徴とする請求項１に記載の表示装置。
3. 前記表示部品は、前記ストロークデータに対応する前記オブジェクトの全体を表示するポップアップであることを特徴とする請求項１又は２に記載の表示装置。
4. 前記表示部品は、前記ストロークデータに対応する前記オブジェクトのうち、前記入力エリアに表示されていない前記オブジェクトを表示するポップアップであることを特徴とする請求項１又は２に記載の表示装置。
5. 前記表示部品は、前記表示可能オブジェクト量を超えた前記オブジェクトが存在する旨のマークであることを特徴とする請求項２に記載の表示装置。
6. 前記表示制御部は、前記マークに対する操作に応じて、前記ストロークデータに対応する前記オブジェクトの全体をポップアップ表示することを特徴とする請求項５に記載の表示装置。
7. 前記表示制御部は、前記マークに対する操作に応じて、前記ストロークデータに対応する前記オブジェクトのうち、前記入力エリアに表示されていない前記オブジェクトをポップアップ表示することを特徴とする請求項５に記載の表示装置。
8. 前記入力受付部が受け付けた前記ストロークデータをテキストに変換する変換部を有し、
   前記表示制御部は、前記変換部が変換した複数のテキストを表示し、
   前記複数のテキストのうち任意のテキストの選択を受け付ける操作受付部、を有し、
   前記操作受付部が前記任意のテキストの選択を受け付けることを契機として、前記表示制御部は、前記オブジェクトの少なくとも一部を前記表示部品内に表示させる制御を行うことを特徴とする請求項１～７のいずれか１項に記載の表示装置。
9. 前記入力受付部が受け付けた前記ストロークデータをテキストに変換する変換部、有し、
   前記変換部が前記ストロークデータをテキストに変換することを契機として、前記表示制御部は、前記オブジェクトの少なくとも一部を前記表示部品内に表示させる制御を行うことを特徴とする請求項１～７のいずれか１項に記載の表示装置。
10. 前記表示制御部は、前記入力エリアの上端とディスプレーの端までの距離と、前記ポップアップの高さの関係に応じて、前記表示部品を表示する位置を決定することを特徴とする請求項３に記載の表示装置。
11. 前記入力エリアに対する余白を作成するためのストロークデータの入力を前記入力受付部が受け付けた場合、
    前記表示制御部は、前記入力エリアに表示されている前記オブジェクトのうち先頭から前記ストロークデータの長さに応じた数の前記オブジェクトを消去し、前記入力エリアに表示されている前記オブジェクトのうち残りの前記オブジェクトを左に詰めることを特徴とする請求項１～１０のいずれか１項に記載の表示装置。
12. 前記入力エリアにストロークデータが入力されてから一定時間内に隣接する入力エリアに対するストロークデータの入力を前記入力受付部が受け付けた場合、
    前記入力受付部は、隣接する入力エリアへの入力を制限し、前記入力エリアに対する前記ストロークデータの入力を受け付けることを特徴とする請求項１～１０のいずれか１項に記載の表示装置。
13. 前記表示制御部は、前記入力エリアに前記ストロークデータが入力されるごとに、前記ストロークデータに対応する前記オブジェクトを用いて前記ポップアップを更新することを特徴とする請求項３又は４に記載の表示装置。
14. 前記表示制御部は、前記入力エリアに前記ストロークデータが入力されたことを契機に、前記オブジェクトの少なくとも一部を前記表示部品内に表示させる請求項１記載の表示装置。
15. 前記入力エリアは、画面に表示される表内の第１のセルであり、
    前記表示制御部は、前記ストロークデータに対応するオブジェクトを前記第１のセルに表示させると共に、前記オブジェクトが前記第１のセルに表示できない場合に前記オブジェクトの少なくとも一部を前記第１のセルとは異なる第２のセルにある前記表示部品内に表示させる制御を行う
    請求項１乃至１４のいずれか１項に記載の表示装置。
16. 入力受付部が、入力エリアへのストロークデータの入力を受け付けるステップと
    表示制御部が、前記ストロークデータに対応するオブジェクトを前記入力エリアに表示させると共に、前記オブジェクトが前記入力エリアに表示できない場合に前記オブジェクトの少なくとも一部を新たなオブジェクトとして表示部品内に表示させる制御を行うステップと、
    を有する表示方法。
17. 表示装置を、
    入力エリアへのストロークデータの入力を受け付ける入力受付部と、
    前記ストロークデータに対応するオブジェクトを前記入力エリアに表示させると共に、前記オブジェクトが前記入力エリアに表示できない場合に前記オブジェクトの少なくとも一部を新たなオブジェクトとして表示部品内に表示させる制御を行う表示制御部、
    として機能させるためのプログラム。
18. 少なくとも２つの表示装置がネットワークを介して通信する情報共有システムであって、
    前記表示装置は、
    入力エリアへのストロークデータの入力を受け付ける入力受付部と、
    前記ストロークデータに対応するオブジェクトを前記入力エリアに表示させると共に、前記オブジェクトが前記入力エリアに表示できない場合に前記オブジェクトの少なくとも一部を新たなオブジェクトとして表示部品内に表示させる制御を行う表示制御部と、を有し、
    一方の表示装置が前記表示部品内に前記新たなオブジェクトを表示した場合、他方の表示装置は前記一方の表示装置から前記表示部品内に前記新たなオブジェクトを表示した旨を受信し、前記表示部品内に前記新たなオブジェクトを表示することを特徴とする情報共有システム。

Images