JP2022143788A - 表示装置、表示方法、プログラム - Google Patents

Abstract

【課題】手書きデータに対応した表示部品を表示する表示装置、表示方法及びプログラムを提供する。
【解決手段】表示装置２は、手書きデータの入力を受け付ける第一受付手段（受付手段２１）と、手書きデータの形状に対応する１つ以上の表示部品を記憶する記憶手段（記憶部３９）と、第一受付手段が受け付けた手書きデータに対応する表示部品を１つ以上、表示する表示制御手段（表示制御部２４）と、を有する。これにより、ユーザーが手書きデータで予め定まっている形状を手書きした場合、手書きデータの形状に関連する機能のガイダンスを表示するので、ユーザーが存在に気づいていない機能があっても、機能を使用できる。
【選択図】図６

Description

本発明は、表示装置、表示方法、及び、プログラムに関する。

手書き認識技術を利用し、手書きデータを文字に変換して、ディスプレーに表示する表示装置が知られている。比較的大型のタッチパネルを備えた表示装置は会議室や公共施設などに配置され、複数のユーザーにより電子黒板などとして利用される。

このような表示装置は高機能化が進んでおり、操作手順が分からない場合が生じる。従来から操作手順を案内するガイダンスを表示する技術が知られている（例えば、特許文献１参照。）。特許文献１には、ユーザーの習熟度などに応じた適切な内容のガイダンス情報を表示して、個々のユーザーに適した作業環境を実現する情報処理装置が開示されている。

しかしながら、従来の技術は、手書きデータに対応した表示部品を表示することができないという問題があった。ここで、表示部品とは、ユーザーの操作を受け付けることで所定の処理を実行するアイコン等を示す。なお、表示部品の定義については、発明を実施するための形態にて記載している。
例えば、特許文献１では、手書き文字をストロークデータで囲むことによりコマンドメニューを表示させることができる。しかし、機能があることに気づいていないユーザーは、手書き文字をストロークデータで囲むことでコマンドメニューを表示できることを知らないので、コマンドメニューを表示させることさえできない。

本発明は、上記課題に鑑み、手書きデータに対応した表示部品を表示することができる表示装置を提供することを目的とする。

上記課題に鑑み、本発明は、手書きデータの入力を受け付ける第一受付手段と、前記手書きデータの形状に対応する１つ以上の表示部品を記憶する記憶手段と、前記第一受付手段が受け付けた前記手書きデータに対応する前記表示部品を１つ以上、表示する表示制御手段と、を有する表示装置を提供する。

手書きデータに対応した表示部品を表示することができる表示装置を提供できる。

四角に対し表示されるガイダンスの一例を示す図である。 付箋アイコンの押下で表示される付箋の一例を示す図である。 表アイコンの押下で表示される表の一例を示す図である。 表示装置の全体構成図の一例である。 表示装置のハードウェア構成図の一例である。 表示装置が有する機能をブロック状に分けて説明する機能ブロック図の一例である。 四角の図形に基づいて表示された付箋アイコンの操作に応じて、付箋が表示されるまでを説明する図である。 四角の図形に基づいて表示された表アイコンの操作に応じて、表が表示されるまでを説明する図である。 直線の図形に基づいて表示された定規アイコンの操作に応じて、定規が表示されるまでを説明する図である。 丸の図形に基づいて表示されたスタンプアイコンの操作に応じて、スタンプが表示されるまでを説明する図である。 ユーザーが手描きした手書きデータの形状に対応する機能のガイダンスを表示装置が表示する手順を説明するフローチャート図の一例である。 ユーザーが手描きした手書きデータの形状に対応する機能のガイダンスを表示装置が表示する手順を説明するフローチャート図の一例である。 関連機能アイコンを表示するか否かの設定を受け付ける設定画面の一例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。 表示装置の他の構成例を示す図である。

以下、本発明を実施するための形態の一例として表示装置２と、表示装置２が行う表示方法について図面を参照しながら説明する。

＜表示装置の動作の概略＞
ユーザーが表示装置２の操作手順が分からない場合、表示装置２はユーザーのボタン操作等に応じて、ユーザーが望む機能のガイダンスを表示することができる。しかし、表示装置２の機能の存在に気づいていないユーザーの場合、ガイダンスを表示しようとすることもできない。

そこで、本実施形態では、ユーザーが予め定まっている形状を手書きした場合に、その形状に関連する機能のガイダンスを表示する。

表示装置２の機能として、図形変換機能、表機能、及び、付箋機能等がある。
・図形変換機能とは、ユーザーが画面に図形を手書きした場合、表示装置２が清書する機能である。清書とは、手描きで生じるブレなどがない直線や曲線の図形に変換することをいう。図形変換機能は、ユーザーが図形変換機能をオンにした場合に実行される。手書きデータの状態を維持したい場合があるためである。
・表機能とは、図形に変換された四角の中に縦又は横にユーザーが手書きで線を書き足すと、表示装置２が表に変換する機能である。更に、表機能は、行と列の数の指定を受け付けて、表を作成できる。
・付箋機能とは、図形に変換された四角にユーザーが斜めに手書きで線を書き足すことで、付箋を作成する機能である。
・スタンプ作成機能とはユーザーがスタンプを作成する機能である。スタンプとは、画像（イラスト）の一種であり、文字を使わずに何らかの意味を表すために使用される。
・定規機能とは、ユーザーが直接、手描きで生じるブレのない直線を手書きするための機能である。

したがって、図形変換機能で表示装置２が四角を表示した後、そのまま四角を表示する場合、そこから更にユーザーが表又は付箋を作成する場合がある。マニュアルを読んでいないユーザーは表機能又は付箋機能があることに気づいていない場合がある。

そこで、本実施形態の表示装置２は、ユーザーが図形変換機能で四角を表示させた場合に、表又は付箋も作成できることをユーザーに知らせるガイダンスを表示する。

図１～図３は、ガイダンス６０の表示例を説明する図である。図１（ａ）では、ユーザーが四角を手書きしたことで、表示装置２が図形変換機能により清書された四角３０１を表示した。

図１（ａ）の状態では、図形変換機能が四角３０１を表示した場合、表示装置２が表又は付箋を作成できる状態であるため、表機能及び付箋機能の存在を知らせるガイダンス６０を表示する。図１（ｂ）では、ガイダンス６０として、四角３０１の右上に表機能の表アイコン５０と付箋機能の付箋アイコン５１が表示されている。

ユーザーは表アイコン５０と付箋機能の付箋アイコン５１に気づくことで、四角３０１の図形から表又は付箋を作成できることを知ることができた。まず、ユーザーが付箋アイコン５１を押下した場合を説明する。

図２（ａ）は、ユーザーが付箋アイコン５１を押下した状態を示す。付箋アイコン５１は選択により色や輝度が変わり、押下を受け付けた旨をユーザーに知らせる。表示装置２は四角を付箋３０２に変換して表示する。図２（ｂ）は付箋３０２の表示例である。付箋３０２の大きさは、四角３０１の大きさと同じでよい。付箋３０２の色は最後に作成した付箋３０２の色と同じである。ユーザーが過去に付箋３０２を作成していない場合、付箋３０２の色はデフォルトの色でよい。

なお、ユーザーは付箋３０２にメモ書きなどを手書きできる。そして、ユーザーは付箋３０２を任意の場所に移動できる。

次に、ユーザーが表アイコン５０を押下した場合を説明する。

図３（ａ）は、図１（ｂ）でユーザーが表アイコン５０を押下した状態を示す。表アイコン５０は選択により色や輝度が変わり、押下を受け付けた旨をユーザーに知らせる。表示装置２は表の行と列を指定するダイアログボックス３０３を表示する。

図３（ｂ）は表の行と列の指定例である。ユーザーは電子ペン２９０などの入力手段でストロークデータを描く要領で行と列を指定する。ユーザーは、入力手段で任意のセルを指定する。指定されたセルの色が例えばオレンジに変わる。ユーザーが入力手段をディスプレーに押しつけた状態でスライドさせることで自由に行と列を選択できる。ユーザーがディスプレーから入力手段を離すと、表の行と列の数が決定する。表示装置２は四角３０１を削除し、表３０４を表示する。図３（ｃ）は表示された表３０４を示す。

このように、本実施形態の表示装置２は、ユーザーが手書きデータで予め定まっている形状を手書きした場合（より詳細には図形変換機能が手書きデータをある図形に変換した場合）、手書きデータの形状に関連する機能のガイダンス６０を表示するので、ユーザーが存在に気づいていない機能があっても、機能を使用できる。また、新しい機能を使用する場合も、ユーザーがマニュアルを探す又は調べる手間を低減できる。

＜用語について＞
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、ペン、人の指や手、棒状部材などがある。

ユーザーがディスプレーに入力手段を押しつけてから連続的に移動させた後、ディスプレーから離すという一連の操作をストロークという。ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレーに表示される情報である。ストロークデータは適宜、補間されてよい。手書きデータとは、１つ以上のストロークデータを有するデータである。手書き入力とは、ユーザーによって、手書きデータが入力されることを示している。

ストロークデータに基づいてディスプレーに表示される表示物をオブジェクトという。オブジェクトとは対象という意味であるが、本実施形態では表示対象などの意味である。
手書きデータが文字認識して変換された文字列には、テキストデータの他、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等、ユーザーの操作に基づいて表示されたデータも含まれてよい。

文字列とは手書きデータから文字認識により変換された１つ以上の文字コード（フォント）である。文字列は、コンピュータで扱われる1つ以上の文字でよい。文字には、数字、アルファベット、及び、記号等が含まれる。文字列はテキストデータとも言われる。

ガイダンス６０とは入門的説明をいう。ヘルプ機能と呼ばれる場合もある。本実施形態では、ガイダンス６０の一例として、手書きデータの形状に対応したアイコンが表示される。アイコンで表示することでユーザーが一目で機能を判断できる。ガイダンス６０は機能を表す文字や音声などでもよい。

表示部品とは、画面を構成する表示用の要素の１つであり、直接又は間接的にユーザーの操作を受け付けることで所定の処理を実行するものである。
本実施形態では、上記のアイコンが表示部品であるが、表示部品は操作を提示する文字、チェックボックス、テキストエントリ、ボタン等でもよい。また、表示部品は、ユーザーが入力手段を使う場合に押下の対象になってもよく、押下によって所定の処理が実行されるように実装されていてもよい。

手書きデータの形状に関連する機能とは、手書きデータの形状に対しユーザーが使用することができる機能である。

＜装置の構成例＞
図４を用いて、本実施形態に係る表示装置２の全体構成を説明する。図４は、表示装置２の全体構成図を示した図である。図４（ａ）は、表示装置２の一例として、横置きされることで横長の電子黒板として使用される表示装置２を示している。

図４（ａ）に示されているように、表示装置２の上部には表示装置２の一例としてのディスプレー２８０が設置されている。ユーザーＵは、入力手段を用いて、ディスプレー２８０に文字等を手書きする（入力、描画ともいう）ことができる。

図４（ｂ）は縦置きされることで縦長の電子黒板として使用される表示装置２を示している。

図４（ｃ）は机２３０に平置きされた表示装置２を示す。表示装置２は厚みが薄いので、一般の机に平置きしても机の高さを調整する必要がない。また、ユーザーが表示装置２を容易に移動できる。

なお、入力手段が接触する座標の入力方式には、電磁誘導方式、アクティブ静電結合方式などがある。また、電子ペン２９０は、筆圧検知、傾き検知、ホバー機能（ペンが触れる前にカーソルを表示）、などの機能を有していてよい。

＜装置のハードウェア構成＞
続いて、図５を用いて、表示装置２のハードウェア構成を説明する。表示装置２は図示するように情報処理装置又はコンピュータの構成を有している。図５は、表示装置２のハードウェア構成図の一例である。図５に示されているように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、ＳＳＤ(Solid State Drive)２０４、ネットワークＩ/Ｆ２０５、及び、外部機器接続Ｉ/Ｆ(Interface)２０６を備えている。

これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。

ＳＳＤ２０４は、表示装置２用のプログラム等の各種データを記憶する。このプログラムは汎用的なＯＳ(Windows（登録商標）、Mac OS（登録商標）、Android（登録商標）、iOS（登録商標）等)を搭載した情報処理装置で動作するアプリケーションプログラムでもよい。

ネットワークＩ/Ｆ２０５は、通信ネットワーク１００との通信を制御する。外部機器接続Ｉ/Ｆ２０６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリ２２４、外付け機器（マイク２４０、スピーカ２５０、カメラ２６０）である。

また、表示装置２は、キャプチャデバイス２１１、ＧＰＵ２１２、ディスプレイコントローラ２１３、接触センサ２１４、センサコントローラ２１５、電子ペンコントローラ２１６、近距離通信回路２１９、及び近距離通信回路２１９のアンテナ２１９ａ、電源スイッチ２２２及び選択スイッチ類２２３を備えている。

これらのうち、キャプチャデバイス２１１は、外付けのＰＣ(Personal Computer))２７０のディスプレーに対して映像情報を静止画又は動画として表示させる。ＧＰＵ(Graphics Processing Unit)２１２は、グラフィクスを専門に扱う半導体チップである。

ディスプレイコントローラ２１３は、ＧＰＵ２１２からの出力画像をディスプレー２８０等へ出力するために画面表示の制御及び管理を行う。

接触センサ２１４は、ディスプレー２８０上に電子ペン２９０やユーザーの手Ｈ等が接触したことを検知する。電子ペン２９０とユーザーの手Ｈを区別しない場合は、入力手段２９１という。

センサコントローラ２１５は、接触センサ２１４の処理を制御する。接触センサ２１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレー２８０の上側両端部に設置された２つ受発光装置が、ディスプレー２８０に平行して複数の赤外線を放射し、ディスプレー２８０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ２１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ２１５に出力し、センサコントローラ２１５が、物体の接触位置である座標位置を特定する。

電子ペンコントローラ２１６は、電子ペン２９０と通信することで、ディスプレー２８０へのペン先のタッチやペン尻のタッチの有無を判断する。

近距離通信回路２１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。

電源スイッチ２２２は、表示装置２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。

選択スイッチ類２２３は、例えば、ディスプレー２８０の表示の明暗や色合い等を調整するためのスイッチ群である。

更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図５に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、接触センサ２１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ２１６が、電子ペン２９０のペン先及びペン尻だけでなく、電子ペン２９０のユーザーが握る部分や、その他の電子ペン２９０の部分がディスプレー２８０にタッチしたか否かを判断してもよい。

＜機能について＞
次に、図６を用いて表示装置２の機能について説明する。図６は、表示装置２が有する機能をブロック状に分けて説明する機能ブロック図の一例である。表示装置２は、受付部２１、描画データ生成部２２、文字認識部２３、表示制御部２４、図形認識部２５、データ記録部２６、操作受付部２７、表機能部２８、付箋機能部２９、スタンプ作成機能部３０、及び、定規機能部３１、を有している。表示装置２が有する各機能は、図５に示されている各構成要素のいずれかが、ＳＳＤ２０４からＲＡＭ２０３上に展開されたプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。

受付部２１は接触センサ２１４に対し入力手段２９１が接触した位置の座標を検出する。描画データ生成部２２は入力手段２９１の先端が接触した座標を受付部２１から取得する。描画データ生成部２２は、この座標点列を補間することで接続してストロークデータを生成する。

表示制御部２４は手書きデータ、手書きデータから変換された文字列、図形、及び、ユーザーが操作するための操作メニューなどをディスプレーに表示する。

文字認識部２３はユーザーが手書きした１つ以上のストロークデータ（手書きデータ）に対し、文字認識処理を行い、文字コードに変換する。文字認識部２３は、ユーザーの入力手段２９１の操作と並行して文字（日本語だけでなく英語などの多国語）、数字、記号（％、＄、＆など）、図形（線、丸、三角など）等を認識していく。認識方法については様々なアルゴリズムが考案されているが、本実施形態では公知の技術を利用できるとして詳細を割愛する。

図形認識部２５は、ユーザーが手書きしたストロークデータに対し図形認識（線、丸、三角、四角など）を行い、図形に変換する。認識方法については様々なアルゴリズムが考案されているが、本実施形態では公知の技術を利用できるとして詳細を割愛する。

データ記録部２６は、表示装置２に手書きされた手書きデータ、手書きデータから変換された文字列、又は、図形データ等を記憶部３９の表示データ記憶部３９３に記憶する。表示データについては後述する。

操作受付部２７は、受付部２１が受け付ける入力手段２９１が接触した位置の座標に基づいて、表示制御部２４がディスプレーに表示した、ユーザーが操作するためのメニューの操作を受け付ける。

表機能部２８は、図形に変換された四角３０１の中に、ユーザーがストロークデータを縦又は横に手描きした場合に、表の作成として受け付ける。後述する「関連機能アイコンを設定する」がオンになっている場合は、図形認識部２５がストロークデータを四角３０１に変換し、表示制御部２４が表アイコンを表示する。表機能部２８は表アイコンの押下に応じて、表の作成等を行う。

付箋機能部２９は、付箋の作成を行う。後述する「関連機能アイコンを設定する」がオンになっている場合は、図形認識部２５がストロークデータを四角３０１に変換し、表示制御部２４が付箋アイコンを表示する。付箋機能部２９はまた、付箋アイコンの押下に応じて付箋の作成等を行う。

スタンプ作成機能部３０は、スタンプの作成を行う。後述する「関連機能アイコンを設定する」がオンになっている場合は、図形認識部２５がストロークデータを四角３０１に変換し、表示制御部２４がスタンプアイコンを表示する。スタンプ作成機能部３０はまた、スタンプアイコンの押下に応じて、スタンプの作成等を行う。

定規機能部３１は、定規の作成等を行う。後述する「関連機能アイコンを設定する」がオンになっている場合は、図形認識部２５がストロークデータを直線に変換し、表示制御部２４が定規アイコンを表示する。定規機能部３１はまた、定規アイコンの押下に応じて定規の作成等を行う。

表１は、記憶部３９が有する関連機能記憶部３９１に記憶されている関連機能情報を模式的に示す。関連機能記憶部３９１は、図形の種類と関連する関連機能を記憶している。図形認識部２５がストロークデータを図形に変換すると、この図形に表1で関連づけられる機能のガイダンス６０を表示制御部２４が表示する。

例えば表１などの明細書中の対応テーブル（表）は、機械学習の学習効果によって生成されたものでもよい。また、ユーザーが手書きした図形の種類とユーザーが選択した関連機能とを機械学習にて分類付けすることで、対応テーブルを使用しなくてもよい。

ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが，データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し、新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。

表２は、記憶部３９が有するアイコン記憶部３９２に記憶されているアイコン情報を模式的に示す。アイコン記憶部３９２は、関連機能に対応するアイコン画像を記憶する。表示制御部２４は、関連機能のガイダンス６０を表示する場合、表２のアイコン画像を表示する。

表３は、記憶部３９が有する表示データ記憶部３９３に記憶されている表示データを模式的に示す。表示データ記憶部３９３は、表示装置２に手書きされた手書きデータ、変換された文字列、画像（ＰＣから取り込んだ画面）、及び、ファイル等を記憶する。表３ではストロークデータのみを示した。また、ストロークデータが図形に変換された場合、図形の種類が保持される。ストロークデータや図形の元データ（座標点列、図形の位置、色、太さなど）は別途、記録されている。

＜ガイダンスの表示例＞
以下では、いくつかの機能のガイダンス６０の表示例を説明する。

＜＜付箋機能のガイダンス＞＞
図７は、四角３０１の図形に基づいて表示された付箋アイコン５１の操作に応じて、付箋が表示されるまでを説明する図である。なお、後述する図１１Ａ,図１１Ｂのフローチャート図との対応を明確にするため、フローチャート図のステップ番号を付記する。

図７（ａ）は、ユーザーが手描きした手描きデータの一例を示す（図１１：ステップＳ１）である。ユーザーは四角３００を手描きした。表示データ記憶部３９３には表３に示すように、ストロークＩＤが記憶される。

図７（ｂ）は、手書きデータが図形認識部２５よって変換された四角３０１の一例を示す（図１１：ステップＳ２、Ｓ３）。表示データ記憶部３９３には表３に示すように、ストロークＩＤに対応付けて図形が記憶される。

図７（ｃ）は、関連機能アイコン表示設定がオンの場合、図形が四角３０１であるため表示される付箋アイコン５１と表アイコン５０を示す（付箋アイコン又は表アイコンの少なくとも一方を表示する）。表示制御部２４は、表示データの四角３０１の図形に対応する付箋機能と表機能を表１の関連機能記憶部から取得する。表示制御部２４は、付箋機能と表機能に対応するアイコン画像を表２のアイコン記憶部３９２から取得する。表示制御部２４は、付箋アイコン５１、及び、表アイコン５０をボタンとして四角３０１の右上等に表示する（図１１：ステップＳ４、Ｓ５、Ｓ６）。付箋アイコン５１、及び、表アイコン５０の位置は四角３０１の周囲であればよい。付箋アイコン５１及び表アイコン５０の表示により、ユーザーが四角３０１から付箋機能又は表機能を利用できることを把握できる。

図７（ｄ）は、一定時間が経過する前に、ユーザーが付箋アイコン５１を押下したため、選択された付箋アイコン５１を示す（図１１：ステップＳ７、Ｓ９）。表示制御部２４は付箋アイコン５１の色や輝度を変えて、選択された旨をユーザーに知らせる。一定時間が経過した場合は、図７（ｂ）に示すように、付箋アイコン５１と表アイコン５０が非表示になる（図１１：ステップＳ８）。

図７（ｅ）は、付箋アイコン５１が押下された場合に表示される付箋３０２の一例を示す。操作受付部２７は付箋アイコン５１の押下を受け付けて、付箋機能部２９が四角３０１を付箋３０２に変更し、表示制御部２４が付箋３０２を表示する（図１１：ステップＳ１０）。

＜＜表機能のガイダンス＞＞
図８は、四角３０１の図形に基づいて表示された表アイコン５０の操作に応じて、表が表示されるまでを説明する図である。まず、図７（ａ）～図７（ｃ）までの処理がすでに終了している。

図８（ａ）は、一定時間が経過する前に、ユーザーが表アイコン５０を押下したため、選択された表アイコン５０を示す（図１１：ステップＳ７、Ｓ１１）。操作受付部２７が表アイコン５０の押下を受け付けて、表機能部２８が表作成のダイアログボックス３０３を作成し、表示制御部２４がダイアログボックス３０３を表示する（図１１：ステップＳ１２）。

図８（ｂ）は、ユーザーが表作成のダイアログボックス３０３において、行と列を指定した状態のダイアログボックス３０３を示す（図１１：ステップＳ１５）。操作受付部２７は入力手段２９１が検出する入力手段２９１の座標に応じて、行と列の範囲を検出する。表示制御部２４はこの範囲の色を変えて選択範囲を表示する。

図８（ｃ）は、表機能部２８が作成した表の一例を示す。ユーザーが作成する表の行と列を指定した後、入力手段２９１をディスプレーから離すと、操作受付部２７が行と列を受け付ける。表機能部２８は指定された行と列の表３０４を四角３０１から表３０４に変換し、表示制御部２４が表３０４を表示する（図１１：ステップＳ１６）。

表３０４の各セルに対し、ユーザーは手書きデータを手書きできる。手書きデータはセルに対応付けて保持される。表機能部２８は、行単位、列単位、又は、セル単位に、コピー、移動、削除など、手書きデータを操作できる。手書きデータは文字認識されることも可能である。この他、表機能部２８は行ごと、列ごとの合計の算出など、表計算ソフトで可能な一般的な処理を行うことができる。

＜＜定規機能のガイダンス＞＞
続いて、図９と表１，２，４を参照して、手書きデータが図形認識部２５によって直線に図形変換された場合に表示される定規アイコン５２について説明する。

図９（ａ）は、ユーザーが手書きした直線３１０の手書きデータを示す（図１１：ステップＳ１）。これにより、表示データ記憶部３９３にはストロークID（s010）が記憶される（表４）。

図９（ｂ）は、手書きデータが図形認識部２５よって変換された直線３１１の一例を示す（図１１：ステップＳ１７、Ｓ１８）。これにより、表示データ記憶部３９３にはストロークID（s010）に対応付けて、直線が記憶される。

表４は、記憶部３９が有する表示データ記憶部３９３に記憶されている表示データを模式的に示す。定規機能の説明のため、表４では、ストロークデータと直線が対応付けられている。

図９（ｃ）は、関連機能アイコン表示設定がオンの場合、図形が直線３１１であるため表示される定規アイコン５２を示す。表示制御部２４は、表示データの直線の図形に対応する定規機能を表１の関連機能記憶部から取得する。表示制御部２４は、定規機能に対応するアイコン画像を表２のアイコン記憶部３９２から取得する。表示制御部２４は、定規アイコン５２をボタンとして直線３１１の右上に表示する（図１１：ステップＳ４、Ｓ１９、Ｓ２０）。定規アイコン５２の位置は直線３１１の周囲であればよい。定規アイコン５２の表示により、ユーザーが直線３１１から定規機能を利用できることを把握できる。

図９（ｄ）は、一定時間が経過する前に、ユーザーが押下した状態の定規アイコン５２を示す（図１１：ステップＳ２１、Ｓ２３）。表示制御部２４は定規アイコン５２の色や輝度を変えて、選択された旨をユーザーに知らせる。一定時間が経過した場合、図９（ｂ）に示すように、定規アイコン５２が非表示になる（図１１：ステップＳ２２）。

図９（ｅ）は、定規アイコン５２の押下により表示された定規を示す。定規アイコン５２の押下を操作受付部２７が受け付ける。定規機能部３１は直線３１１を定規３１２に変更し、表示制御部２４が図９（ｅ）に示すように定規３１２を表示する（図１１：ステップＳ２４）。

定規機能は、定規に沿ってユーザーが手書きすると、手書きデータが直線に清書される機能である。ユーザーは手書きデータを直線に変換する操作をしなくても、所望の場所に、直接、直線を手描きできる。

＜＜スタンプ作成機能のガイダンス＞＞
続いて、図１０と表１，２，５を参照して、手書きデータが図形認識部２５によって丸に図形変換された場合に表示されるスタンプアイコン５３について説明する。

図１０（ａ）は、ユーザーが手書きした丸３２０の手書きデータを示す（図１１：ステップＳ１）。これにより、表示データ記憶部３９３にはストロークID（s100）が記憶される（表５）。

図１０（ｂ）は、手書きデータが図形認識部２５よって変換された丸３２１の一例を示す（図１１：ステップＳ２５、Ｓ２６）。これにより、表示データ記憶部３９３にはストロークID（s100）に対応付けて、丸が記憶される。

表５は、記憶部３９が有する表示データ記憶部３９３に記憶されている表示データを模式的に示す。スタンプ作成機能の説明のため、表５では、ストロークデータと丸が対応付けられている。

図１０（ｃ）は、関連機能アイコン表示設定がオンの場合、図形が丸３２１であるため表示されるスタンプアイコン５３を示す。表示制御部２４は、表示データの丸の図形に対応するスタンプ作成機能を表１の関連機能記憶部から取得する。表示制御部２４は、スタンプ作成機能に対応するアイコン画像を表２のアイコン記憶部３９２から取得する。表示制御部２４は、スタンプアイコン５３を丸３２１の右上に表示する（図１１：ステップＳ４、Ｓ２７、Ｓ２８）。スタンプアイコン５３の位置は丸３２１の周囲であればよい。スタンプアイコン５３の表示により、ユーザーが丸３２１からスタンプ作成機能を利用できることを把握できる。

図１０（ｄ）は、一定時間が経過する前に、ユーザーが押下した状態のスタンプアイコン５３を示す（図１１：ステップＳ２９、Ｓ３１）。表示制御部２４はスタンプアイコン５３の色や輝度を変えて、選択された旨をユーザーに知らせる。一定時間が経過した場合、図１０（ｂ）に示すように、定規アイコン５２が非表示になる（図１１：ステップＳ３０）。

図１０（ｅ）は、スタンプアイコン５３の押下により表示されたスタンプ作成画面３２２を示す。スタンプアイコン５３の押下を操作受付部２７が受け付ける。スタンプ作成機能部３０はスタンプ作成画面３２２を表示し、表示制御部２４が丸３２１の右上にスタンプ作成画面３２２を表示する（図１１：ステップＳ３２）。スタンプ作成画面３２２の位置は丸３２１の周囲であればよい。

図１０（ｆ）は、作成されたスタンプ３２４を示す。ユーザーがスタンプ作成画面３２２の円内に任意の文字又は図形（図では！３２３）を手描きし（図１１：ステップＳ３３）、登録ボタン３２５を押下する。これにより、スタンプ作成機能部３０はスタンプ３２４を登録する（図１１：ステップＳ３４）。ユーザーは作成したスタンプを、ボタン等を押下することで呼び出して、任意の場所に表示させることができる。

スタンプ作成画面３２２に手書きされた手書きデータは、文字認識部２３により文字認識されても、図形認識部２５により図形認識されてもよい。

＜動作手順＞
図１１は、ユーザーが手描きした手書きデータの形状に対応する機能のガイダンス６０を表示装置２が表示する手順を説明するフローチャート図の一例である。

ユーザーがストロークデータを手書きすると、受付部２１が受け付ける。描画データ生成部２２は座標点を連結して手書きデータを表示する（Ｓ１）。

図形認識機能がオンの場合、図形認識部２５は手書きデータを図形に変換する。四角３０１が手書きされたと図形認識部２５が判断した場合（Ｓ２のＹｅｓ）、図形認識部２５は四角３０１を生成して、表示制御部２４が四角３０１を表示する（Ｓ３）。なお、表示制御部２４は四角３０１に変換された手書きデータを消去する。

四角３０１が手書きされていない場合（Ｓ２のＮｏ）、図形認識部２５は直線が手描きされたかを判断する（Ｓ１７）。

直線が手描きされた場合（Ｓ１７のＹｅｓ）、図形認識部２５は直線を生成して、表示制御部２４が直線を表示する（Ｓ１８）。なお、表示制御部２４は直線に変換された手書きデータを消去する。

直線が手書きされていない場合（Ｓ１７のＮｏ）、図形認識部２５は丸が手描きされたかを判断する（Ｓ２５）。

丸が手描きされた場合（Ｓ２５のＹｅｓ）、図形認識部２５は丸を生成して、表示制御部２４が丸を表示する（Ｓ２６）。なお、表示制御部２４は丸に変換された手書きデータを消去する。なお、丸が手描きされていない場合（Ｓ２５のＮｏ）、図１１の処理は終了する。

次に、表示制御部２４は関連機能アイコンを表示する設定がオンか否かを判断する（Ｓ４）。

関連機能アイコンを表示する設定がオンの場合（Ｓ４のＹｅｓ）、表示制御部２４は手書きデータが四角３０１に変換されたか否かを判断する（Ｓ５）。

手書きデータが四角３０１に変換された場合（Ｓ５のＹｅｓ）、表示制御部２４は表１の四角３０１に対応付けられている付箋機能と表機能を関連機能記憶部３９１から取得し、表２のアイコン記憶部３９２から付箋アイコン５１の画像と表アイコン５０の画像を取得する。表示制御部２４は付箋アイコン５１と表アイコン５０を四角３０１の右上等に表示する（Ｓ６）。

表示制御部２４は付箋アイコン５１と表アイコン５０の表示から一定時間（例えば数秒）が経過したか否かを判断する（Ｓ７）。表示制御部２４が付箋アイコン５１と表アイコン５０を消去するためである。

一定時間が経過した場合（Ｓ７のＹｅｓ）、表示制御部２４は付箋アイコン５１と表アイコン５０を消去する（Ｓ８）。

一定時間が経過するまでの間（Ｓ７のＮｏ）、操作受付部２７は受付部２１が受け付ける入力手段２９１のディスプレーへの接触座標に基づいて、付箋アイコン５１が押下されたか否かを判断する（Ｓ９）。

付箋アイコン５１が押下された場合（Ｓ９のＹｅｓ）、付箋機能部２９は四角３０１を付箋に変換して、表示制御部２４が付箋を表示する（Ｓ１０）。

付箋アイコン５１が押下されない場合（Ｓ９のＮｏ）、操作受付部２７は受付部２１が受け付ける入力手段２９１のディスプレーへの接触座標に基づいて、表アイコン５０が押下されたか否かを判断する（Ｓ１１）。

表アイコン５０が押下された場合（Ｓ１１のＹｅｓ）、表機能部２８は表作成のダイアログボックス３０３を作成し、表示制御部２４がダイアログボックス３０３を表示する（Ｓ１２）。

表示制御部２４は表作成のダイアログボックス３０３の表示から一定時間（例えば数秒）が経過したか否かを判断する（Ｓ１３）。表示制御部２４が表作成のダイアログボックス３０３を消去するためである。

一定時間が経過した場合（Ｓ１３のＹｅｓ）、表示制御部２４は表作成のダイアログボックスを消去する（Ｓ１４）。

一定時間が経過するまでの間（Ｓ１３のＮｏ）、操作受付部２７は受付部２１が受け付ける入力手段２９１のディスプレーへの接触座標に基づいて、表の行と列が選択及び決定されたか否かを判断する（Ｓ１５）。

表の行と列が選択及び決定された場合（Ｓ１５のＹｅｓ）、表機能部２８は四角３０１を表に変換して、表示制御部２４が表を表示する（Ｓ１６）。

ステップＳ５に戻り、手書きデータが四角３０１に変換されていない場合（Ｓ５のＮｏ）、表示制御部２４は手書きデータが直線に変換されたか否かを判断する（Ｓ１９）。

手書きデータが直線に変換された場合（Ｓ１９のＹｅｓ）、表示制御部２４は表１の直線に対応付けられている定規機能を関連機能記憶部３９１から取得し、表２のアイコン記憶部３９２から定規アイコン５２の画像を取得する。表示制御部２４は定規アイコン５２を直線の右上等に表示する（Ｓ２０）。

表示制御部２４は定規アイコン５２の表示から一定時間（例えば数秒）が経過したか否かを判断する（Ｓ２１）。表示制御部２４が定規アイコン５２を消去するためである。

一定時間が経過した場合（Ｓ２１のＹｅｓ）、表示制御部２４は定規アイコン５２を消去する（Ｓ２２）。

一定時間が経過するまでの間（Ｓ２１のＮｏ）、操作受付部２７は受付部２１が受け付ける入力手段２９１のディスプレーへの接触座標に基づいて、定規アイコン５２が押下されたか否かを判断する（Ｓ２３）。

定規アイコン５２が押下された場合（Ｓ２３のＹｅｓ）、定規機能部３１は直線を定規に変換して、表示制御部２４が定規を表示する（Ｓ２４）。

手書きデータが直線に変換されていない場合（Ｓ１９のＮｏ）、表示制御部２４は手書きデータが丸に変換されたか否かを判断する（Ｓ２７）。

手書きデータが丸に変換された場合（Ｓ２７のＹｅｓ）、表示制御部２４は表１の丸に対応付けられているスタンプ作成機能を関連機能記憶部３９１から取得し、表２のアイコン記憶部３９２からスタンプアイコン５３の画像を取得する。表示制御部２４はスタンプアイコン５３を丸の右上等に表示する（Ｓ２８）。

表示制御部２４はスタンプアイコン５３の表示から一定時間（例えば数秒）が経過したか否かを判断する（Ｓ２９）。表示制御部２４がスタンプアイコン５３を消去するためである。

一定時間が経過した場合（Ｓ２９のＹｅｓ）、表示制御部２４はスタンプアイコン５３を消去する（Ｓ３０）。

一定時間が経過するまでの間（Ｓ２９のＮｏ）、操作受付部２７は受付部２１が受け付ける入力手段２９１のディスプレーへの接触座標に基づいて、スタンプアイコン５３が押下されたか否かを判断する（Ｓ３１）。

スタンプアイコン５３が押下された場合（Ｓ３１のＹｅｓ）、表示制御部２４はスタンプ作成画面３２２を表示する（Ｓ３２）。

ユーザーがスタンプ作成画面３２２に任意の手書きデータを手書きすると、受付部２１が受け付ける（Ｓ３３）。

スタンプ作成機能部３０は、受付部２１が受け付けた手書きデータと操作受付部２７が受け付けた登録ボタン３２５の押下に基づいて、スタンプを作成する（Ｓ３４）。

＜関連機能アイコンを表示する設定について＞
図１２に示すように、ユーザーは関連機能アイコンを表示するか否かを設定できる。図１２は、関連機能アイコンを表示するか否かの設定を受け付ける設定画面３５０の一例である。ユーザーは所定のボタン等を押下して、表示装置２に設定画面３５０を表示させる。

設定画面３５０は、関連機能アイコンの表示機能に対し「利用する」というメッセージ３５１とラジオボタン３５２を表示する。

操作受付部２７は受付部２１が受け付ける入力手段２９１のディスプレーへの接触座標に基づいて、ラジオボタン３５２が押下されたか否かを判断する。押下された場合、表示制御部２４は、関連機能アイコンを表示する設定がオンであることを保持する。

このように、関連機能アイコンを表示する設定をユーザーがオン又はオフに設定できるので、表示装置２の機能をよく知っているユーザーが操作する場合は関連機能アイコンを表示しないように設定できる。したがって、ユーザーが煩わしく感じることを抑制できる。

＜主な効果＞
以上説明したように、本実施形態の表示装置２は、ユーザーが手書きデータで予め定まっている形状を手書きした場合（より詳細には図形変換機能が手書きデータをある図形に変換した場合）、手書きデータの形状に関連する機能のガイダンス６０を表示するので、ユーザーが存在に気づいていない機能があっても、機能を使用できる。また、新しい機能を使用する場合も、ユーザーがマニュアルを探す又は調べる手間を低減できる。

以下の実施例では表示装置２の別の構成例について説明する。

＜＜表示装置の別の構成例１＞＞
本実施形態の表示装置２は大型のタッチパネルを有するものとして説明されているが、表示装置２はタッチパネルを有するものに限られない。

図１３は、表示装置２の他の構成例を示す図である。図１３では、通常のホワイトボード４１３の上辺にプロジェクター４１１が設置されている。このプロジェクター４１１が表示装置２に相当する。通常のホワイトボード４１３とは、タッチパネルと一体のフラットパネルディスプレーではなく、ユーザーがマーカーで直接、手書きするホワイトボードである。なお、ホワイトボードは黒板でもよく、映像を投影するだけの広さの平面であればよい。

プロジェクター４１１は超短焦点の光学系を有しており、１０ｃｍ程度から歪みの少ない映像をホワイトボード４１３に投影できる。この映像は、無線又は有線で接続されたＰＣから送信されてもよいし、プロジェクター４１１が記憶していてもよい。

ユーザーは専用の電子ペン２５０１を使ってホワイトボード４１３に手書きする。電子ペン２５０１は、ユーザーが手書きのためにホワイトボード４１３に押しつけるとスイッチがＯＮになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザーの目には見えない。プロジェクター４１１はカメラを有しており、発光部を撮像して画像を解析し電子ペン２５０１の方向を特定する。また、電子ペン２５０１は発光と共に音波を発信しており、プロジェクター４１１は音波の到達時間により距離を算出する。プロジェクター４１１は、方向と距離により電子ペン２５０１の位置を特定できる。電子ペン２５０１の位置には手書きされたデータが描画（投影）される。

プロジェクター４１１はメニュー４３０を投影するので、ユーザーが電子ペン２５０１でボタンを押下すると、プロジェクター４１１が電子ペン２５０１の位置とスイッチのＯＮ信号により押下されたボタンを特定する。例えば、保存ボタン４３１が押下されると、ユーザーが手書きした手書きされたデータ（座標点列）がプロジェクター４１１で保存される。プロジェクター４１１は、予め定められたサーバー４１２又はＵＳＢメモリ２６００等に手書き情報を保存する。手書き情報はページごとに保存されている。画像データではなく座標のまま保存されるので、ユーザーが再編集することができる。ただし、本実施形態では操作コマンドを手書きで呼び出せるのでメニュー４３０は表示されなくてもよい。

＜＜表示装置の別の構成例２＞＞
図１４は、表示装置２の他の構成例を示す図である。図１４の例では、表示装置２が、端末装置６００、画像投影装置７００Ａ、及び、ペン動作検出装置８１０を有する。

端末装置６００は、画像投影装置７００Ａ及びペン動作検出装置８１０と有線で接続されている。画像投影装置７００Ａは、端末装置６００により入力された画像データをスクリーン８００に投影させる。

ペン動作検出装置８１０は、電子ペン８２０と通信を行っており、スクリーン８００の近傍における電子ペン８２０の動作を検出する。具体的には、電子ペン８２０は、スクリーン８００上において、電子ペン８２０が示している点を示す座標情報を検出し（検出方法は図１３と同様でよい）、端末装置６００へ送信する。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０によって入力される手書きデータの画像データを生成する。端末装置６００は、画像投影装置７００Ａによって手書きデータの画像をスクリーン８００に描画させる。
また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。

＜＜表示装置の別の構成例３＞＞
図１５は、表示装置２の構成例を示す図である。図１５の例では、表示装置２が、端末装置６００と、ディスプレー８００Ａと、ペン動作検出装置８１０Ａとを有する。

ペン動作検出装置８１０Ａは、ディスプレー８００Ａの近傍に配置され、ディスプレー８００Ａ上に、電子ペン８２０Ａが示している点を示す座標情報を検出し（検出方法は図１３と同様でよい）、端末装置６００へ送信する。なお、図１５の例では、電子ペン８２０Ａは、端末装置６００によってＵＳＢコネクタを介して充電されても良い。

端末装置６００は、ペン動作検出装置８１０Ａから受信した座標情報に基づき、電子ペン８２０Ａによって入力される手書データの画像の画像データを生成する。端末装置６００は手書データの画像をディスプレー８００Ａに表示させる。

＜＜表示装置の別の構成例４＞＞
図１６は、表示装置２の構成例を示す図である。図１６の例では、表示装置２が、端末装置６００と、画像投影装置７００Ａとを有する。

端末装置６００は、電子ペン８２０Ｂと無線通信（Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を行って、スクリーン８００上において電子ペン８２０Ｂが示す点の座標情報を受信する。座標情報は、スクリーン８００に形成された微小な位置情報を電子ペン８２０Ｂが読み取ってもよいし、スクリーン８００から座標情報を受信してもよい。

そして、端末装置６００は、受信した座標情報に基づき、電子ペン８２０Ｂにより入力される手書データの画像の画像データを生成する。端末装置６００は、画像投影装置７００Ａに手書データの画像を投影させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０Ｂによって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。

以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では、手書きデータの入力を主に説明したが、文字認識部２３が手書きデータを文字認識することができる。例えば、付箋内に手書きされた手書きデータ、表のセルに手書きされた手書きデータ、又は、スタンプ作成画面に手書きされた手書きデータ、を文字認識部２３が文字認識できる。

また、本実施形態では、電子黒板として使用できる表示装置を説明したが、表示装置は画像を表示できればよく、例えばデジタルサイネージなどでもよい。また、ディスプレーでなくプロジェクターが表示データを表示してもよい。この場合、本実施形態ではペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、表示装置２は、ペン先の座標を超音波により検出してもよい。ペンは発光と共に超音波を発信しており、表示装置２は超音波の到達時間により距離を算出する。方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークとしてプロジェクターが描画（投影）する。

また、本実施形態では電子黒板を一例として説明したが、タッチパネルを有する情報処理装置であれば好適に適用できる。電子黒板と同様の機能を有する装置を、電子ホワイトボード、電子情報ボード、インタラクティブボードなどともいう。タッチパネルを搭載した情報処理装置としては、例えば、ＰＪ（Projector：プロジェクター）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。

また、図６などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、表示装置２が単体で本実施形態の機能を有する場合を説明したが、表示装置２の機能をサーバーが提供してもよい。この場合、表示装置２とサーバーがネットワークを介して通信する。表示装置２は手書きデータを表示すると共にサーバーに送信し、サーバーが文字認識や表機能などを提供する。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

なお、受付部２１は第一受付手段の一例である。記憶部３９は記憶手段の一例である。表示制御部２４は表示制御手段の一例である。図形認識部２５は図形認識手段の一例である。操作受付部２７は第二受付手段の一例である。表機能部２８、付箋機能部２９，スタンプ作成機能部３０及び定規機能部３１の少なくとも１つは制御手段の一例である。

２ 表示装置

特開2018－026117号公報

Claims (10)

1. 手書きデータの入力を受け付ける第一受付手段と、
   前記手書きデータの形状に対応する１つ以上の表示部品を記憶する記憶手段と、
   前記第一受付手段が受け付けた前記手書きデータの形状に対応する前記表示部品を１つ以上、表示する表示制御手段と、
   を有する表示装置。
2. 更に、前記表示制御手段が表示した前記表示部品に対する操作を受け付ける第二受付手段と、
   前記第二受付手段が操作を受け付けた前記表示部品に対応する処理を実行する制御手段と、
   を有することを特徴とする請求項１に記載の表示装置。
3. 前記第一受付手段が受け付けた前記手書きデータを図形に変換する図形認識手段を有し、
   前記表示制御手段は、前記図形認識手段が変換した前記図形に対応する前記表示部品を１つ以上、表示することを特徴とする請求項１又は２に記載の表示装置。
4. 前記図形認識手段が変換した前記図形が四角である場合、前記表示制御手段は前記四角に対応する前記表示部品として、付箋アイコン又は表アイコンの少なくとも一方を表示することを特徴とする請求項３に記載の表示装置。
5. 前記図形認識手段が変換した前記図形が直線である場合、前記表示制御手段は前記直線に対応する前記表示部品として、定規機能のアイコンを表示することを特徴とする請求項３に記載の表示装置。
6. 前記図形認識手段が変換した前記図形が丸である場合、前記表示制御手段は前記丸に対応する前記表示部品として、スタンプ作成機能のアイコンを表示することを特徴とする請求項３に記載の表示装置。
7. 前記表示制御手段は、前記表示部品を表示するか否かの設定を受け付ける設定画面を表示し、
   前記設定画面において前記表示部品を表示するという設定を受け付けた場合、前記表示制御手段が、前記手書きデータに対応する前記表示部品を１つ以上、表示することを特徴とする請求項１～６のいずれか１項に記載の表示装置。
8. 前記表示制御手段は、前記表示部品を表示した後、前記表示部品が操作されずに、一定時間が経過した場合、消去することを特徴とする請求項１～７のいずれか１項に記載の表示装置。
9. 第一受付手段が、手書きデータの入力を受け付けるステップと、
   表示制御手段が、前記第一受付手段が受け付けた前記手書きデータの形状に対応する表示部品を、記憶手段から取得して１つ以上、表示するステップと、
   を有する表示方法。
10. 表示装置を、
    手書きデータの入力を受け付ける第一受付手段と、
    前記手書きデータの形状に対応する１つ以上の表示部品を記憶する記憶手段と、
    前記第一受付手段が受け付けた前記手書きデータの形状に対応する前記表示部品を１つ以上、表示する表示制御手段、
    として機能させるためのプログラム。

Images