JP2022146853A

JP2022146853A - 表示装置、プログラム、表示方法、表示システム

Info

Publication number: JP2022146853A
Application number: JP2021161931A
Authority: JP
Inventors: 佳苗五十嵐; Kanae Igarashi; 進藤岡; Susumu Fujioka
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2021-03-22
Filing date: 2021-09-30
Publication date: 2022-10-05

Abstract

【課題】表示領域が移動された場合に特定のオブジェクトを表示領域に残して表示できる表示装置を提供すること。【解決手段】本発明は、手書き入力可能な入力可能領域の一部の表示領域を表示する表示装置であって、前記表示領域に表示されているオブジェクトの選択を受け付ける選択受付手段と、前記表示領域を移動する操作に応じて、前記オブジェクトを移動するオブジェクト管理手段と、移動された前記オブジェクトを移動された前記表示領域に表示する表示制御手段と、を有する。【選択図】図３

Description

本発明は、表示装置、プログラム、表示方法、及び、表示システムに関する。

タッチパネル式のディスプレイにユーザーが専用の電子ペンや指などの入力手段でストロークを描画し、いくつかのストロークで形成される手書きデータを表示する電子黒板などの表示装置が知られている。比較的大型のタッチパネルを備えた表示装置は会議室や公共施設などに配置され、複数のユーザーにより電子黒板などとして利用される。

表示装置の限られた表示領域を有効に活用する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、操作メニューを表示領域に表示した状態で、表示領域に表示するオブジェクトをユーザーが移動させることができるナビゲーション装置が開示されている。

しかしながら、従来の技術では、表示領域が移動された場合に特定のオブジェクトを表示領域に残して表示できないという問題がある。例えば、表示領域よりも広い入力可能領域を有する表示装置の場合、ユーザーは表示領域を移動させ、移動先にできたスペースに手書きできる。しかし、議題のような手書きデータがある領域と、議題の詳細内容がある領域が離れて存在しているような場合、表示領域には手書きデータ又は議題の詳細内容のいずれかしか表示できず、ユーザーは２つの領域を交互に表示させなければならない。

本発明は、上記課題に鑑み、表示領域が移動された場合に特定のオブジェクトを表示領域に残して表示できる表示装置を提供することを目的とする。

上記課題に鑑み、本発明は、手書き入力可能な入力可能領域の一部の表示領域を表示する表示装置であって、前記表示領域に表示されているオブジェクトの選択を受け付ける選択受付手段と、前記表示領域を移動する操作に応じて、前記オブジェクトを移動するオブジェクト管理手段と、移動された前記オブジェクトを移動された前記表示領域に表示する表示制御手段と、を有する表示装置を提供する。

表示領域が移動された場合に特定のオブジェクトを表示領域に残して表示できる表示装置を提供できる。

入力可能領域と表示領域の関係を説明する図である。レイヤーの関係を説明する図である。ピン留めレイヤーにピン留めされたオブジェクトの表示例を示す図である。表示装置の概略斜視図の一例である。表示装置のハードウェア構成の一例を示す図である。表示装置の機能をブロック状に分けて説明する機能ブロック図の一例を示す図である。描画オブジェクト管理部が管理するオブジェクトの座標について説明する図である。表示制御部が表示に用いるレイヤーを説明する図である。ピン留めレイヤーに固定されたオブジェクトの表示例を示す図である。表示装置が表示領域に固定されたオブジェクトを表示する手順を示すフローチャート図の一例である（実施例１）。ピン留めレイヤーに固定されたオブジェクトの表示例を示す図である。表示装置が表示領域に固定されたオブジェクトを表示する手順を示すフローチャート図の一例である（実施例２）。ピン留めレイヤーに固定されたオブジェクトの表示例を示す図である。表示装置が表示領域に固定されたオブジェクトを表示する手順を示すフローチャート図の一例である（実施例３）。メニューレイヤーについて説明する図である。ピン留めボタンの押下によりピン留めレイヤーに固定されたオブジェクトの表示例を示す図である。表示装置が表示領域に固定されたオブジェクトを表示する手順を示すフローチャート図の一例である（実施例４）。ストロークで囲まれることでピン留めレイヤーに固定されたオブジェクトの表示例を示す図である。表示装置が表示領域に固定されたオブジェクトを表示する手順を示すフローチャート図の一例である（実施例５）。ピン留めの終了時のオブジェクトの表示例について説明する図である。表示装置が表示領域に固定されたオブジェクトを解除する手順を示すフローチャート図の一例である（実施例６）。ピン留めレイヤーに固定されたオブジェクトの表示例を示す図である（実施例７）。表示装置が表示領域に固定されたオブジェクトを表示する手順を示すフローチャート図の一例である（実施例７）。ピン留めレイヤーに固定されたオブジェクトの表示例を示す図である（実施例８）。表示装置が表示領域に固定されたオブジェクトを表示する手順を示すフローチャート図の一例である（実施例８）。ピン留めレイヤーに固定されたオブジェクトの表示例を示す図である（実施例９）。表示装置が表示領域に固定されたオブジェクトを表示する手順を示すフローチャート図の一例である（実施例９）。表示システムのシステム構成図の一例である。表示装置の機能をブロック状に示す機能ブロック図の一例である。拠点Ａのユーザーが表示装置に手書きしたオブジェクトの一例である。ピン留めボタンが表示された表示領域を示す図である。ユーザーが「議題の一覧表」を移動することでスペースができた表示領域を示す図である。表示装置２Ａ、２Ｂの間でオブジェクトのピン留め操作を共有する手順を示すシーケンス図の一例である。タイムテーブルに関する文字列（オブジェクトＤ）が手書きされた表示領域を示す図である。表示システムのシステム構成図の一例である。サーバー装置の一例のハードウェア構成を示す図である。表示装置の機能をブロック状に分けて説明する機能ブロック図の一例である。サーバー装置の機能をブロック状に分けて説明する機能ブロック図の一例である。表示装置２Ａ、２Ｂがサーバー装置を介して遠隔会議する手順を説明するシーケンス図の一例である。表示装置２Ａ、２Ｂがサーバー装置を介して遠隔会議する手順を説明するシーケンス図の一例である。表示装置のディスプレイに表示されるメッセージの一例を示す図である。表示装置の他の構成例を示す図である。表示装置の他の構成例を示す図である。表示装置の他の構成例を示す図である。表示装置の他の構成例を示す図である。

以下、本発明を実施するための形態の一例として、表示装置と表示装置における表示方法について実施例を挙げながら説明する。

＜比較技術について＞
まず、本実施例の表示装置を説明するにあたって、参考となる比較技術を説明する。表示領域よりも広い手書き入力可能な入力可能領域を有する表示装置は、ユーザーの操作に応じて入力可能領域の一部を表示領域に表示する。

図１は、入力可能領域５２と表示領域５１の関係を説明する図である。図１（ａ）は表示装置の入力可能領域５２の一例を示す。入力可能領域５２とは、ユーザーがオブジェクトを手書きしたり配置したりできる全範囲である。無限の入力可能領域５２を有する表示装置も存在する。表示領域５１は、現在、表示装置がディスプレイに表示している入力可能領域５２の一部の範囲である。ディスプレイの全画面が表示領域５１の場合、表示領域５１はディスプレイの広さと同じである。

図１（ｃ）は、図１（ａ）の表示領域５１が、実際に、ディスプレイに表示された表示領域５１を示す。

ユーザーがスワイプ操作で表示領域５１を図１（ａ）の状態から図１（ｂ）のように移動した場合、ディスプレイには図１（ｄ）のように表示される。スワイプとは、タッチパネルを指で押した状態のまま、上下左右にスライドさせる動作をいう。

このように、表示領域５１には入力可能領域５２の一部しか表示されないので、ユーザーが参照したいオブジェクトを表示させる場合、スワイプ操作が議論の中断につながってしまう場合がある。

＜本実施形態の表示装置の概略＞
そこで、本実施形態では、オブジェクトをピン留めするための透明なレイヤー（ピン留めレイヤー）を採用する。

図２は、レイヤーの関係を説明する図である。表示装置は、視線方向の奥から、描画レイヤー５４、及び、ピン留めレイヤー５３を有している。
・描画レイヤー５４は全てのオブジェクトを含むレイヤーである。
・ピン留めレイヤー５３は、常に描画レイヤー５４よりも視線の手前側に位置している。ピン留めレイヤー５３は表示領域５１に固定されるレイヤーである。つまり、表示領域５１が移動してもピン留めレイヤー５３にピン留めされたオブジェクトは常に表示される。

描画レイヤー５４は１画素をＲＧＢで表現する。ピン留めレイヤー５３は描画レイヤー５４のオブジェクトが一時的に記録され、オブジェクト以外の画素は透明（値がゼロ）である。ピン留めレイヤー５３にあるオブジェクトは描画レイヤー５４の画素を上書きして表示領域５１に表示される。

例えば以下の操作により、ユーザーがオブジェクトをピン留めできる。
(i) ユーザーが入力手段でピン留めしたいオブジェクトを長押し、表示されたピン留めボタンを押下する。
(ii) ユーザーが所定のマークを手書きし、更に、手書きデータで領域を囲むと、囲んだ領域をピン留めすることができる。

なお、ユーザーはピン留めしたオブジェクトや領域を解除することができる。

図３を参照して、オブジェクトのピン留めについて説明する。図３は、ピン留めレイヤー５３にピン留めされたオブジェクトの表示例を示す。

図３（ａ）は、入力可能領域５２のオブジェクトＡとオブジェクトＢを示す。点線で示す領域が表示領域５１である。表示領域５１の左上の角の座標を原点(0,0)とし、オブジェクトの左上の座標を起点座標、右下の座標を終点座標とする。

ユーザーがオブジェクトＢを長押しすると表示装置は、表を選択状態にすると共に、ピン留めをするためのピン留めボタン９を表示する（図３（ｂ））。

ユーザーがピン留めボタン９を押下すると、表示装置は描画レイヤー５４からオブジェクトＢを削除し、ピン留めレイヤー５３にオブジェクトＢを追加する。

次に、ユーザーは議題の「機材の予約」についての議事メモを書くために、スペースにオブジェクトＣを手書きで追加する(図３（ｃ）)。

ユーザーが議題の「タイムテーブル決め」についての議事メモを書こうとするが、スペースがないため、表示領域５１を左上にスワイプする。オブジェクトＢは表示領域５１に対し座標の変化がないため表示位置は変わらない。すなわち、移動後の表示領域５１において、オブジェクトＢの選択を受け付けた時の表示領域５１におけるオブジェクトＢの位置と同じ位置にオブジェクトＢが表示される。

表示領域５１が入力可能領域５２の移動先に移動されると、オブジェクトＢの右側にスペースが得られる（図３（ｄ））。よって、ユーザーは議題の「タイムテーブル決め」についての議事メモを手書きできる。

このように、本実施形態の表示装置はピン留めされたオブジェクトを表示領域５１に常に表示することができる。

＜用語について＞
入力手段とはタッチパネルに座標を指定して手書きが可能な手段であればよい。例えば、電子ペン、人の指や手、棒状部材などがある。

ユーザーがディスプレイに入力手段を押しつけてから連続的に移動させた後、ディスプレイから離すという一連の操作をストロークという。ストロークデータとは、入力手段により入力される座標の軌跡に基づいてディスプレイに表示される情報である。ストロークデータは適宜、補間されてよい。手書きデータとは、１つ以上のストロークデータを有するデータである。手書き入力とは、ユーザーによって、手書きデータが入力されることを示している。

手書きデータが文字認識して変換された文字列には、テキストデータの他、「済」などの決まった文字やマークとして表示されるスタンプ、円、矩形、直線、星などの図形、吹き出し、及び、付箋など、ユーザーの操作に基づいて表示されたデータも含まれてよい。文字列とは、コンピュータで扱われる１つ以上の文字である。文字列の実態は文字コードである。文字には、数字、アルファベット、及び、記号等が含まれる。文字列はテキストデータとも言われる。

ディスプレイに表示される表示物をオブジェクトという。オブジェクトとは対象という意味であるが、本実施形態では表示対象などの意味である。本実施形態では、手書きデータ、文字列、図形（円、矩形、矢印等）、スタンプ、吹き出し、付箋、及び、画像などもオブジェクトである。

表示部品とは、画面に表示されるボタンやアイコンである。例えば、ピン留めボタン９は表示部品である。

＜構成例＞
図４は、表示装置２の概略斜視図の一例を示す。表示装置２をユーザー（利用者）が利用している。本実施形態の表示装置２は、ユーザーが手又は電子ペン２５００などの入力手段２９１でディスプレイ２２０上に手書きを行うことができる。

図４の表示装置２は横置きされているが、縦置きすることも可能である。ユーザーは表示装置２をディスプレイ２２０の中心を軸に回転させて、横置きと縦置きを切り替えることができる。

＜ハードウェア構成例＞
図５は、表示装置２のハードウェア構成の一例を示す図である。本実施形態の表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、ＳＳＤ(Solid State Drive)２０４、ネットワークコントローラ２０５、及び、外部機器接続Ｉ／Ｆ２０６(Interface)を備えており、複数のユーザーにより情報を共有するための共有端末である。

これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。

ＳＳＤ２０４は、表示装置２用のプログラム等の各種データを記憶する。このプログラムは汎用的なＯＳ(Windows（登録商標）、Mac OS（登録商標）、Android（登録商標）、iOS（登録商標）等)を搭載した情報処理装置で動作するアプリケーションでもよい。この場合、表示装置２は、普段は汎用的な情報処理端末として利用されるが、ユーザーがインストールされたアプリケーションプログラムを実行すると、表示装置としての専用機と同様、ユーザーが手書き等することができる。

ネットワークコントローラ２０５は、ネットワークとの通信を制御する。外部機器接続Ｉ／Ｆ２０６は、ＵＳＢ(Universal Serial Bus)メモリー２６００、外付け機器（カメラ２４００、スピーカ２３００、マイク２２００）との通信を制御する。

また、表示装置２は、キャプチャデバイス２１１、ＧＰＵ２１２、ディスプレイコントローラ２１３、接触センサ２１４、センサコントローラ２１５、電子ペンコントローラ２１６、近距離通信部２１９、及び近距離通信部２１９のアンテナ２１９ａを備えている。

これらのうち、キャプチャデバイス２１１は、ＰＣ１０のディスプレイに対して映像情報を静止画又は動画として表示させる。ＧＰＵ(Graphics Processing Unit)２１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ２１３は、ＧＰＵ２１２からの出力画像をディスプレイ２２０等へ出力するために画面表示の制御及び管理を行う。

接触センサ２１４は、ディスプレイ２２０上に電子ペン２５００やユーザーの手Ｈ等が接触したことを検知する。電子ペン２５００と手Ｈを区別しない場合、入力手段２９１という。

センサコントローラ２１５は、接触センサ２１４の処理を制御する。接触センサ２１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ２２０の上側両端部に設置された２つ受発光装置が、ディスプレイ２２０に平行して複数の赤外線を放射し、ディスプレイ２２０の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法であっても良い。

接触センサ２１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ２１５に出力し、センサコントローラ２１５が、物体の接触位置である座標位置を特定する。電子ペンコントローラ２１６は、電子ペン２５００と通信することで、ディスプレイ２２０へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信部２１９は、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。

更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、ＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、接触センサ２１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネルでもよい。接触センサ２１４は、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネルでもよい。接触センサ２１４は、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルでもよい。接触センサ２１４は、これら種々の検出手段を用いて良い。また、電子ペンコントローラ２１６が、電子ペン２５００のペン先及びペン尻だけでなく、電子ペン２５００のユーザーが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしても良い。

＜機能について＞
図６は、表示装置２の機能をブロック状に分けて説明する機能ブロック図の一例を示す図である。図６に示す表示装置２は、描画オブジェクト管理部１１、接触位置検出部１２、描画データ生成部１３、表示制御部１４、スワイプ操作検出部１５、ネットワーク通信部１６、記号認識部１７、及び、会議データ記憶部３９を有する。

表示装置２が有する各機能は、図５に示されている各構成要素のいずれかが、ＲＡＭ２０３上に展開されたアプリケーションに従ったＣＰＵ２０１からの命令によって動作することで実現される機能又は手段である。

接触位置検出部１２は、入力手段２９１（指や電子ペン等）がタッチパネルに接触した位置の座標を検出する。接触位置検出部１２は、ＬＥＤ等の発光素子からの光を検知できないフォトトランジスタの数（光が遮断された幅）が所定の数以下の場合は、電子ペン２５００が接触したと判断し、所定の数より大きい場合はそれ以外の物体（例えば指）が接触したと判断する。

描画データ生成部１３はユーザーが手書きすることで接触位置検出部１２が検出した座標点列からストロークを生成する。また、描画データ生成部１３は、ストロークの形状などから、円や矩形等の図形を生成する。

描画オブジェクト管理部１１は、描画データ生成部１３が生成したストロークの領域、文字列の領域、円や矩形等の図形の領域、又は、表オブジェクトの領域等をオブジェクトとして管理する。描画オブジェクト管理部１１は、これらの各領域に対してオブジェクトＩＤを付与し、各描画オブジェクトの表示位置（ディスプレイ２２０の画素位置）も管理する。

表示制御部１４は、これらオブジェクトやメニュー等をディスプレイ２２０に表示するための制御を行う。

記号認識部１７は、ユーザーが手書きした「＋」等の記号を、予め登録された記号データと照合して認識する。記号認識部１７は、パターンマッチングを用いても、機械学習の結果を用いてもよい。

スワイプ操作検出部１５は、接触位置検出部１２が検出する入力手段２９１が電子ペン以外の場合に、接触位置検出部１２が検出する座標点列を元にスワイプ操作を検出する。なお、電子ペン２５００によるスワイプが可能でもよく、本実施形態では、ユーザーは入力手段２９１でスワイプすると説明する。

会議データ記憶部３９は、会議で使用された資料やオブジェクト等をＳＳＤ２０４に記憶する。

ネットワーク通信部１６は、ＬＡＮやインターネット等のネットワークに接続して、他の機器とネットワークを介したデータの送受信を行う。

＜オブジェクトの座標＞
図７を参照して、描画オブジェクト管理部１１が管理するオブジェクトの座標について説明する。画面など表示領域５１におけるオブジェクトの座標は、表示装置２が有するディスプレイ２２０の表示領域５１の左上の角にある画素位置を原点として、右方向をＸ軸の正の方向、下方向をＹ軸の正の方向とした表示座標で表現する。すなわち、
位置（座標）＝（原点の画素からのＸ軸方向の画素数，原点の画素からのＹ軸方向の画素数）
である。

表示領域５１は、表示装置２が扱う入力可能領域５２のうち、現在、ディスプレイ２２０に表示される領域である。表示領域５１自体の入力可能領域５２における座標は、初期状態の表示領域５１（ディスプレイ２２０の一部）の左上の角にある画素位置を原点とする。また、右方向をＸ軸の正の方向、左方向をＸ軸の負の方向、下方向をＹ軸の正の方向、上方向をＹ軸の負の方向とした座標で表現する。

また、描画オブジェクト管理部１１はオブジェクトの領域をオブジェクトに外接する矩形で管理し、この矩形領域の左上の角にある画素位置を起点座標、矩形領域の右下の角にある画素位置を終点座標とする。

タッチパネルの座標の間隔はディスプレイ２２０の座標の間隔と同じであり、両者の座標は一致しているものとする。

＜レイヤー構造と表示制御部との関係＞
図８を参照して、レイヤー構造と表示制御部１４との関係について説明する。図８は、表示制御部１４が表示に用いるレイヤーを説明する図である。表示制御部１４は２つのレイヤーに用いてオブジェクトを表示できる。
１．描画レイヤー５４
２．ピン留めレイヤー５３
どちらのレイヤーも１画素をＲＧＢで表現するデータから構成されている。オブジェクトが生成されるとまず描画レイヤー５４に追加される。

ピン留めレイヤー５３はオブジェクトがピン留めされる透明なレイヤーで、常に、描画レイヤー５４の上層に位置している。ピン留めレイヤー５３には描画レイヤー５４のオブジェクトが一時的にコピーされるが、オブジェクト以外の画素は透明である。

表示制御部１４は描画レイヤー５４とピン留めレイヤー５３の画素をＯＲ演算してディスプレイ２２０に表示する。つまり、表示制御部１４は描画レイヤー５４とピン留めレイヤー５３の画素を合成して表示する。表示制御部１４は、単に手前にあるピン留めレイヤー５３の画素を優先して表示してもよい。なお、描画レイヤー５４の大きさは表示装置が扱う入力可能領域５２と一致している。

＜ピン留めレイヤーを用いた表示例＞
図９を参照して、ピン留めレイヤー５３を用いたオブジェクトの表示方法を説明する。図９は、ピン留めレイヤー５３に固定されたオブジェクトの表示例を示す図である。

図９（ａ）に示すように、ユーザーは「〇×セミナー」（オブジェクトＡ）、議題の一覧表（オブジェクトＢ）を手書きした。また、ユーザーは「機材の予約」の議題についての議事メモとして「機材予約」と機材リスト（「・マイク」「・ケーブル」「・モニター」「・レーザーポインター」）を手書きした。この議事メモをオブジェクトＣとする。

オブジェクトＣの「機材予約」「マイク」「ケーブル」「モニター」「レーザーポインター」は、本来、それぞれが１つのオブジェクトである。しかし、本実施形態では、説明上まとめて１つのオブジェクトＣと表現する。

本実施形態では、描画オブジェクト管理部１１が、所定の時間、ストロークの入力がなくなった場合、又は、所定以上離れた座標にストロークが入力された場合、１つのオブジェクトの入力が完了したと判断する。このほか、オブジェクトの種類に応じてオブジェクトが区分されてもよく、本実施形態では、所定の方法でオブジェクトが区分されるものとする。

表示領域５１の左上を原点(0,0)とし、オブジェクトの左上の座標を起点座標、右下の座標を終点座標とした場合、オブジェクトＡ，Ｂ，Ｃの起点座標と終点座標とレイヤー属性を表１（ａ）に示す。

表１はオブジェクトの情報が登録されたオブジェクトテーブルの一例である。オブジェクトテーブルは表示装置２により保持される。オブジェクトテーブルはネットワーク上に存在してもよい。オブジェクトＩＤはオブジェクトを識別する識別情報である。起点座標と終点座標は図７の通りである。レイヤー属性は、各オブジェクトがどのレイヤーにあるかを示す。

ユーザーがストロークを書いてから所定の時間が経過せずに次のストロークを書いた場合、描画オブジェクト管理部１１はそれらのストロークを1つのオブジェクトとして管理する。ユーザーがストロークを書いてから所定の時間が経過した後に書かれたストロークは、別のオブジェクトとして管理される。なお、表のオブジェクトの場合、描画オブジェクト管理部１１は外枠の領域内のストロークを１つのオブジェクトとみなしてもよい。

「議題の一覧表」（オブジェクトＢ）の次の議題が議論される場合、この議題のメモを書くスペースが必要なため、ユーザーは「議題の一覧表」（オブジェクトＢ）の右側を空ける操作を行う。まず、ユーザーは「議題の一覧表」（オブジェクトＢ）を長押しする。描画オブジェクト管理部１１は、接触位置がどのオブジェクトと重なっているか判断する。接触位置が「議題の一覧表」（オブジェクトＢ）の内側であったため、描画オブジェクト管理部１１は「議題の一覧表」（オブジェクトＢ）を選択状態にし、ピン留めをするためのピン留めボタン９（第一の表示部品の一例）を表示する。

図９（ｂ）はピン留めボタン９が表示された表のオブジェクトＢを示す。ユーザーが入力手段２９１でピン留めボタン９を押下すると、描画オブジェクト管理部１１は、描画レイヤー５４にある「議題の一覧表」（オブジェクトＢ）に該当する画素データをピン留めレイヤー５３にコピーし、描画レイヤー５４にある「議題の一覧表」（オブジェクトＢ）に該当する画素データを削除する。この状態のオブジェクトＡ～Ｃの起点座標・終点座標を表１（ｂ）に示す。

ユーザーは続いて、ディスプレイ２２０の任意の位置から任意の位置まで入力手段２９１でスワイプする。スワイプ操作検出部１５がスワイプしていることを検出すると、表示制御部１４は、所定の時間ごとに、描画レイヤー５４のオブジェクトＡ,Ｃのｘ座標からスワイプしているｘ軸方向の移動量、y座標からスワイプしているy軸方向の移動量を差し引く処理を繰り返す。

表示制御部１４は所定の時間ごとにオブジェクトの表示を更新する。ユーザーがスワイプをやめると描画レイヤー５４のオブジェクトＡ,Ｃの起点座標はそれぞれ、(Sxa－dx, Sya－dy)と(Sxc－dx, Syc－dy)になる。

表示制御部１４は表示領域５１に該当するピン留めレイヤー５３と描画レイヤー５４の各画素についてＯＲ演算を行ってディスプレイ２２０に表示する。オブジェクトＢはピン留めレイヤー５３にあるので、オブジェクトＢの座標の変化がない（表示位置は変わらない）まま、新しい表示領域５１が表示される。

図９（ｃ）はオブジェクトＡ，Ｃが移動されてできた新しい表示領域５１を示す。このように、ユーザーは「議題の一覧表」（オブジェクトＢ）の次の議題のメモを書くスペースを、「議題の一覧表」（オブジェクトＢ）の右側に生成できた。図９（ｃ）の状態のオブジェクトＡ～Ｃの起点座標・終点座標を表１（ｃ）に示す。

なお、オブジェクトＢのピン留めの終了方法については後述する。

＜動作手順＞
図１０は、表示装置２が表示領域に固定されたオブジェクトを表示する手順を示すフローチャート図の一例である。

接触位置検出部１２はストロークが手書きされたか否かを判断する（Ｓ１）。

ストロークが手書きされた場合（Ｓ１のＹｅｓ）、ストロークの入力が終わってから所定の時間が経過したか否かを判断する（Ｓ２）。

所定の時間が経過するまで、描画オブジェクト管理部１１は仮のオブジェクトにストロークを追加していく（Ｓ３）。

所定の時間が経過すると、描画オブジェクト管理部１１は仮のオブジェクトに入っている複数のストロークを１つのオブジェクトとして決定し、オブジェクトテーブルに登録する（Ｓ４）。

次に、オブジェクトが長押しされたことを接触位置検出部１２が検出したかどうかを描画オブジェクト管理部１１が判断する（Ｓ５）。

オブジェクトが長押しされたことを接触位置検出部１２が検出した場合（Ｓ５のＹｅｓ）、表示制御部１４がピン留めボタン９を、長押しされたオブジェクトの周囲に表示する（Ｓ６）。

次に、ピン留めボタン９が押下されたことを接触位置検出部１２が検出したかどうかを描画オブジェクト管理部１１が判断する（Ｓ７）。

描画オブジェクト管理部１１はピン留めレイヤー５３に長押しされたオブジェクトの画素データをコピーし、描画レイヤー５４から該画素データを削除する（Ｓ８）。なお、描画レイヤー５４の画素データの削除は行わなくてもよいし、描画オブジェクト管理部１１は描画レイヤー５４の画素データを半輝度にしてコピーされたことを示してもよい。

次に、表示領域がスワイプされていることを接触位置検出部１２が検出したかどうかを描画オブジェクト管理部１１が判断する（Ｓ９）。なお、表示領域上の任意の位置でスワイプされていることを検出されればよく、表示領域上のオブジェクトがスワイプされていることを検出してもよい。

スワイプされてる場合、所定の時間ごとに（Ｓ１０）、表示制御部１４は描画レイヤー５４のオブジェクトのｘ座標からスワイプしているｘ軸方向の移動量、y座標からスワイプしているy軸方向の移動量を差し引く処理を繰り返す（Ｓ１１）。こうすることで、表示領域５１を移動する操作を受け付けている間、表示制御部１４は、オブジェクトの選択を受け付けた時の表示領域５１におけるオブジェクトの位置を維持することができる。

また、表示制御部１４は、描画レイヤー５４の画素データとピン留めレイヤー５３の画素データをＯＲ演算して、ディスプレイ２２０に表示する（Ｓ１２）。

スワイプが終了すると（入力手段２９１がディスプレイ２２０から離れると）、図１０の処理は終了する。なお、ユーザーが入力手段２９１をディスプレイ２２０から離して再度スワイプする、ことを可能にするため、入力手段２９１がディスプレイ２２０から離れてから一定時間、入力手段２９１の接触が検出されない場合、接触位置検出部１２がスワイプの終了を検出するとよい。

以上のように、本実施例によれば、表示装置２はピン留めされたオブジェクトを表示領域５１に常に表示することができ、ユーザーがオブジェクトの周囲の新しいスペースに手書きすることができる。

本実施例では、ユーザーがオブジェクトをストロークで囲むことで選択できる表示装置２について説明する。

本実施例においては、上記の実施例にて説明した図５のハードウェア構成図、及び、図６に示した機能ブロック図を援用できるものとして説明する。

＜ピン留めレイヤーを用いた表示例＞
図１１を参照して、ピン留めレイヤー５３を用いたオブジェクトの表示方法を説明する。図１１は、ピン留めレイヤー５３に固定されたオブジェクトの表示例を示す図である。

図１１（ａ）に示すように、ユーザーが「〇×セミナー」（オブジェクトＡ）、議題の一覧表（オブジェクトＢ）、及び、機材の予約リスト（オブジェクトＣ）を手書きした。この状態のオブジェクトテーブルを表２（ａ）に示す。

オブジェクトテーブルの構成（項目名）は表１と同様である。

次に、図１１（ｂ）に示すように、ユーザーがピン留め用の所定のマーク３０１を描いたのちに（ここでは＋を丸で囲むマーク）、ピン留めしたい領域をストローク３０２で囲む。マーク３０１は一例であり、どのようなマークでもよい。

記号認識部１７はユーザーが手書きしたマーク３０１が「＋を丸で囲むマーク」だと判断した場合、描画オブジェクト管理部１１はストローク３０２により囲まれる範囲を監視する。

描画オブジェクト管理部１１はストロークで囲まれた領域に存在するオブジェクトＢをピン留めレイヤー５３にピン留めする。すなわち、描画オブジェクト管理部１１は、描画レイヤー５４にあるオブジェクトＢの画素データをピン留めレイヤー５３にコピーし、描画レイヤー５４にあるオブジェクトＢに該当する画素データを削除する。オブジェクトＢが囲まれた際のオブジェクトＡ、Ｂ、Ｃの状態を表２（ｂ）のオブジェクトテーブルに示す。

そして、ユーザーは表示領域（任意のオブジェクト又は任意の位置）のスワイプを行う。スワイプ時の表示装置２の処理は実施例１と同様でよい。表示領域（任意のオブジェクト又は任意の位置）の移動後のオブジェクトＡ、Ｂ、Ｃの状態を表２（ｃ）のオブジェクトテーブルに示す。

図１１（ｃ）はスワイプ後の表示領域５１を示す。オブジェクトＢは座標の変化がないため表示位置は変わらないまま、表示装置２は新しい表示領域５１を表示できる。スワイプされた後のオブジェクトＡ、Ｂ、Ｃの状態を表２（ｃ）のオブジェクトテーブルに示す。

＜動作手順＞
図１２は、表示装置２が表示領域に固定されたオブジェクトを表示する手順を示すフローチャート図の一例である。なお、図１２の説明では主に図１０との相違を説明する。

記号認識部１７は、ユーザーがピン留め用の所定のマーク３０１を手書きしたかを描画データ生成部１３が生成したストロークに基づいて判断する（Ｓ２１）。

ピン留め用の所定のマーク３０１が手書きされた場合（Ｓ２１のＹｅｓ）、描画オブジェクト管理部１１は描画データ生成部１３が生成したストローク３０２に基づいて、ストローク３０２の矩形の内側に全体が含まれるオブジェクトがあるか否かを判断する（Ｓ２２，Ｓ２３）。この判断において、オブジェクトの一部分がストローク３０２の矩形からはみ出ていてもよい。描画オブジェクト管理部１１はストローク３０２内のオブジェクトを移動対象のオブジェクトと判断する。

ステップＳ２４～Ｓ２８の処理は図１０のステップＳ８～Ｓ１２と同様でよい。

本実施例によれば、ユーザーは、所定のマーク３０１とオブジェクトＢを囲むストロークを手書きすることでオブジェクトＢをピン留めしてその他のオブジェクトを移動させ、新しいスペースを作成できる。マーク３０１は一例であり、どのようなマークでもよい。また、マーク３０１なしに、オブジェクトＢがストロークで囲まれた場合にオブジェクトＢをピン留めするようにしてもよい。

本実施例では、ユーザーがオブジェクトの横で所定のマークを手書きすることでオブジェクトを選択できる表示装置２について説明する。

＜ピン留めレイヤーを用いた表示例＞
図１３を参照して、ピン留めレイヤー５３を用いたオブジェクトの表示方法を説明する。図１３は、ピン留めレイヤー５３に固定されたオブジェクトの表示例を示す図である。

図１３（ａ）に示すように、ユーザーが「〇×セミナー」（オブジェクトＡ）、議題である「・スケジュール周知」（オブジェクトＢ）、及び、「・機材の予約」（オブジェクトＣ）を手書きした。

次に、図１３（ｂ）に示すように、ユーザーは「機材の予約」の議題についての議事メモとして機材リスト（「・マイク」「・ケーブル」「・モニター」「・レーザーポインター」）を手書きした。機材リスト（「・マイク」「・ケーブル」「・モニター」「・レーザーポインター」）のそれぞれが１つのオブジェクトであるが、説明の便宜上、まとめてオブジェクトＤとする。オブジェクトＡ～Ｄが手書きされた際のオブジェクトＡ～Ｄのオブジェクトテーブルを表３（ａ）に示す。

表３のオブジェクトテーブルの構成（項目名）は表１、２と同様でよい。

次に、図１３（ｃ）に示すように、ユーザーが所定のマーク３０５（ここでは＋マーク）をピン留めしたい「・スケジュール周知」（オブジェクトＢ）の隣に手書きする。マーク３０５は一例であり、どのようなマークでもよい。

描画オブジェクト管理部１１は、マーク３０５から距離ｍの範囲（閾値以内）に他のオブジェクトがあるか否かを判断する。仮に、マーク３０５と「・スケジュール周知」（オブジェクトＢ）、「機材予約」（オブジェクトＣ）が距離ｍの範囲にある場合、「・スケジュール周知」（オブジェクトＢ）と「機材予約」（オブジェクトＣ）を選択状態にし、ユーザーがオブジェクトＢ又はＣを入力手段２９１で押下することでピン留めしたいオブジェクトを指定することができる。

あるいは、水平方向にのみマーク３０５から距離ｍの範囲にあるオブジェクトＢを描画オブジェクト管理部１１が特定してもよい。

記号認識部１７はユーザーが手書きしたマーク３０５が「＋マーク」だと判断すると、描画オブジェクト管理部１１は描画レイヤー５４にある「・スケジュール周知」（オブジェクトＢ）に該当する画素データをピン留めレイヤー５３にコピーし、描画レイヤー５４にある「・スケジュール周知」（オブジェクトＢ）に該当する画素データを削除する。手書きしたマーク３０５が「＋マーク」だと判断された際のオブジェクトＡ～Ｄの状態を表３（ｂ）のオブジェクトテーブルに示す。

そして、ユーザーは表示領域（任意のオブジェクト又は任意の位置）のスワイプを行う。スワイプ時の表示装置２の処理は実施例１と同様でよい。表示領域（任意のオブジェクト又は任意の位置）の移動後のオブジェクトＡ～Ｄの状態を表３（ｃ）のオブジェクトテーブルに示す。

図１３（ｄ）はスワイプ後の表示領域５１を示す。オブジェクトＢは座標の変化がないため表示位置は変わらないまま、表示装置２は新しい表示領域５１を表示できる。

＜動作手順＞
図１４は、表示装置２が表示領域に固定されたオブジェクトを表示する手順を示すフローチャート図の一例である。なお、図１４の説明では主に図１０との相違を説明する。

記号認識部１７は、ユーザーがピン留め用の所定のマーク３０５を手書きしたかを描画データ生成部１３が生成したストロークに基づいて判断する（Ｓ３１）。

マーク３０５が手書きされた場合、描画オブジェクト管理部１１は、マーク３０５から距離ｍ以内にオブジェクトが存在するか否かを判断する（Ｓ３２）。描画オブジェクト管理部１１はマーク３０５の外接矩形とオブジェクトの外接矩形の最も近い部分の距離を比較する。描画オブジェクト管理部１１はマーク３０５から距離ｍ以内のオブジェクトを固定対象のオブジェクトと判断する。

ステップＳ３３～Ｓ３７の処理は図１０のステップＳ８～Ｓ１２と同様でよい。

本実施例によれば、ユーザーは、所定のマーク３０５を手書きすることでオブジェクトＢをピン留めして他のオブジェクトを移動させ、新しいスペースを作成できる。

本実施例では、操作メニューを操作することでユーザーがオブジェクトをピン留めすることができる表示装置２について説明する。

＜メニューレイヤーについて＞
本実施例では操作メニューにピン留めボタン９があり、ユーザーはピン留めボタン９を押下することでオブジェクトをピン留めできる。

このため、図１５を参照して、メニューレイヤー５５について説明する。メニューレイヤー５５は他のレイヤーと同じく１画素をＲＧＢで表現する。メニューレイヤー５５は機能を選択するためのボタンやアイコン等が表示されるレイヤーで、常にピン留めレイヤー５３の上層に位置している。また、メニューレイヤー５５の大きさは表示領域５１と一致している。

表示制御部１４は描画レイヤー５４とピン留めレイヤー５３の画素をＯＲ演算して、更に、メニューレイヤー５５で透明でない画素については、前記のＯＲ演算した画素の値をこのメニューレイヤー５５の画素の値に置き換えてディスプレイ２２０に表示する。つまり、表示制御部１４は、メニューレイヤー５５を最も手前に表示する。

＜ピン留めレイヤーを用いた表示例＞
図１６を参照して、ピン留めレイヤー５３を用いたオブジェクトの表示方法を説明する。図１６は、ピン留めアイコン３０７の押下によりピン留めレイヤー５３に固定されたオブジェクトの表示例を示す図である。

図１６（ａ）に示すように、ユーザーが「〇×セミナー」（オブジェクトＡ）と「議題の一覧表」（オブジェクトＢ）を手書きした。表示領域５１の右側には各種の機能の選択を受け付ける操作メニュー３０６が表示されている。この操作メニュー３０６がメニューレイヤー５５に形成されている。操作メニュー３０６は、ペン入力、消しゴム、戻る、進む、及び、ピン留めアイコン３０７を有している（これらは一例に過ぎない）。ピン留めアイコン３０７は、オブジェクトをピン留めするためのアイコンである。オブジェクトＡ、Ｂが手書きされた際のオブジェクトＡ，Ｂの状態を表４（ａ）に示す。

表４のオブジェクトテーブルの構成（項目名）は表１～３と同様でよい。

次に、図１６（ｂ）に示すように、ユーザーが操作メニュー３０６からピン留めアイコン３０７を押下する。描画オブジェクト管理部１１はオブジェクトの選択を待ち受ける状態になる。ユーザーが例えば「議題の一覧表」（オブジェクトＢ）を入力手段２９１で押下すると、描画オブジェクト管理部１１は「議題の一覧表」（オブジェクトＢ）がピン留め対象であると判断する。

描画オブジェクト管理部１１は「議題の一覧表」（オブジェクトＢ）に該当する画素データを描画レイヤー５４からピン留めレイヤー５３にコピーし、描画レイヤー５４の「議題の一覧表」（オブジェクトＢ）に該当する画素データを削除する。「議題の一覧表」（オブジェクトＢ）がユーザーにより選択された状態のオブジェクトＡ，Ｂの状態を表４（ｂ）のオブジェクトテーブルに示す。

そして、ユーザーは表示領域（任意のオブジェクト又は任意の位置）のスワイプを行う。スワイプ時の表示装置２の処理は実施例１と同様でよい。表示領域（任意のオブジェクト又は任意の位置）の移動後のオブジェクトＡ、Ｂの状態を表４（ｃ）のオブジェクトテーブルに示す。

図１６（ｃ）はスワイプ後の表示領域５１を示す。オブジェクトＢは座標の変化がないため表示位置は変わらないまま、表示装置２は新しい表示領域５１を表示できる。また、操作メニュー３０６は表示領域５１に固定されるので、同じ位置に表示される。

＜動作手順＞
図１７は、表示装置２が表示領域５１に固定されたオブジェクトを表示する手順を示すフローチャート図の一例である。なお、図１７の説明では主に図１０との相違を説明する。

接触位置検出部１２は、ユーザーがピン留めアイコン３０７を押下したか否かを入力手段２９１の接触位置に基づいて判断する（Ｓ４１）。

次に、描画オブジェクト管理部１１は、接触位置検出部１２が検出する入力手段２９１の接触位置に基づいて、オブジェクトが押下されたか否かを判断する（Ｓ４２）。描画オブジェクト管理部１１は押下されたオブジェクトを移動対象のオブジェクトと判断する。

ステップＳ４３～Ｓ４７の処理は図１０のステップＳ８～Ｓ１２と同様でよい。

本実施例によれば、ユーザーは、ピン留めアイコン３０７を押下し、オブジェクトを選択することでオブジェクトＢをピン留めして他のオブジェクトを移動させ、新しいスペースを作成できる。

本実施例では、操作メニュー３０６を操作し、オブジェクトをストロークで囲むことでユーザーがオブジェクトをピン留めすることができる表示装置２について説明する。

本実施例においては、上記の実施例にて説明した図５のハードウェア構成図、及び、図６に示した機能ブロック図を援用できるものとして説明する。また、メニューレイヤー５５についても実施例４と同様である。

＜ピン留めレイヤーを用いた表示例＞
図１８を参照して、ピン留めレイヤー５３を用いたオブジェクトの表示方法を説明する。図１８は、ストローク３０８で囲まれることでピン留めレイヤー５３に固定されるオブジェクトの表示例を示す図である。

図１８（ａ）に示すように、ユーザーが「〇×セミナー」（オブジェクトＡ）と「議題の一覧表」（オブジェクトＢ）を手書きした。表示領域５１の右側には各種の機能の選択を受け付ける操作メニュー３０６が表示されている。操作メニュー３０６は、ペン入力、消しゴム、戻る、進む、ピン留めアイコン３０７を有している（これらは一例に過ぎない）。ピン留めアイコン３０７は、オブジェクトをピン留めするためのアイコンである。オブジェクトＡ、Ｂが手書きされた際のオブジェクトＡ，Ｂの状態を表５（ａ）に示す。

表５のオブジェクトテーブルの構成（項目名）は表１～４と同様でよい。

次に、図１８（ｂ）に示すように、ユーザーが操作メニュー３０６からピン留めアイコン３０７を押下する。描画オブジェクト管理部１１はオブジェクトの選択を待ち受ける状態になる。ユーザーが例えば「議題の一覧表」（オブジェクトＢ）をストローク３０８で囲むと、描画オブジェクト管理部１１は「議題の一覧表」（オブジェクトＢ）がピン留め対象であると判断する。

描画オブジェクト管理部１１は「議題の一覧表」（オブジェクトＢ）に該当する画素データを描画レイヤー５４からピン留めレイヤー５３にコピーし、描画レイヤー５４の「議題の一覧表」（オブジェクトＢ）に該当する画素データを削除する。「議題の一覧表」（オブジェクトＢ）がユーザーにより選択された状態のオブジェクトＡ，Ｂの状態を表５（ｂ）のオブジェクトテーブルに示す。

そして、ユーザーは表示領域（任意のオブジェクト又は任意の位置）のスワイプを行う。スワイプ時の表示装置２の処理は実施例１と同様でよい。表示領域（任意のオブジェクト又は任意の位置）の移動後のオブジェクトＡ、Ｂの状態を表５（ｃ）のオブジェクトテーブルに示す。

図１８（ｃ）はスワイプ後の表示領域５１を示す。オブジェクトＢは座標の変化がないため表示位置は変わらないまま、表示装置２は新しい表示領域５１を表示できる。また、操作メニュー３０６は表示領域５１に固定されるので、同じ位置に表示される。

＜動作手順＞
図１９は、表示装置２が表示領域５１に固定されたオブジェクトを表示する手順を示すフローチャート図の一例である。なお、図１９の説明では主に図１０との相違を説明する。

接触位置検出部１２は、ユーザーがピン留めアイコン３０７を押下したか否かを入力手段２９１の接触位置に基づいて判断する（Ｓ５１）。

ピン留めアイコン３０７が押下された場合（Ｓ５１のＹｅｓ）、描画オブジェクト管理部１１は描画データ生成部１３が生成したストローク３０８に基づいて、ストローク３０８の外接矩形の内側に全体が含まれるオブジェクトがあるか否かを判断する（Ｓ５２，Ｓ５３）。この判断ではオブジェクトの一部分がストローク３０８の矩形からはみ出ていてもよい。

ステップＳ５４～Ｓ５８の処理は図１０のステップＳ８～Ｓ１２と同様でよい。

本実施例によれば、ユーザーは、ピン留めアイコン３０７を押下し、ストローク３０８でオブジェクトを囲むことでオブジェクトＢをピン留めして他のオブジェクトを移動させ、新しいスペースを作成できる。

本実施例では、オブジェクトのピン留めの終了について説明する。

＜ピン留めの終了時の表示例＞
図２０は、ピン留めの終了時のオブジェクトの表示例について説明する図である。図２０（ａ）は、図９（ｃ）のオブジェクトＡ～Ｃの配置の状態で、ユーザーがスペースに「タイムテーブル」（オブジェクトＤ）を手書きした状態である。オブジェクトＤの「10:00～12:00 講師Ａ」「13:00～15:00 講師Ｂ」「15:30～17:30 講師Ｃ」は、本来、それぞれが１つのオブジェクトである。しかし、本実施形態では、説明上まとめて１つのオブジェクトＤと表現する。オブジェクトＤが追加された際のオブジェクトＡ～Ｄの状態を表６（ａ）のオブジェクトテーブルに示す。

表６のオブジェクトテーブルの構成（項目名）は表１～５と同様でよい。

「議題の一覧表」（オブジェクトＢ）の次の議題が議論される場合、この議題では会場のレイアウト図をユーザーが記載することになった。現在の表示領域５１の空きスペースでは足りないため、ユーザーが「議題の一覧表」（オブジェクトＢ）を表示領域５１から非表示領域へ移動させる。
このため、ユーザーが「議題の一覧表」（オブジェクトＢ）の任意の位置を長押しすると、図２０（ｂ）に示すように、描画オブジェクト管理部１１は、ピン留めを解除するためのピン留め解除ボタン８（（第二の表示部品の一例）を表示する。ユーザーがピン留め解除ボタン８を入力手段２９１で押下すると、描画オブジェクト管理部１１は、ピン留めレイヤー５３にある「議題の一覧表」（オブジェクトＢ）に該当する画素データを描画レイヤー５４にコピーして、ピン留めレイヤー５３にある「議題の一覧表」（オブジェクトＢ）に該当する画素データを削除する。

続いて、ユーザーが表示領域５１を左にdx、上にdyの距離だけスワイプすると、オブジェクトＡ～Ｄはx座標からdx、y座標からdy差し引かれ、図２０（ｃ）に示すように、表示領域５１からなくなる。表示領域５１が移動された際のオブジェクトＡ～Ｄの状態を表６（ｂ）のオブジェクトテーブルに示す。

＜動作手順＞
図２１は、表示装置２が表示領域５１に固定されたオブジェクトを解除する手順を示すフローチャート図の一例である。なお、図２１の説明では主に図１０との相違を説明する。

描画オブジェクト管理部１１は、接触位置検出部１２が検出する入力手段２９１の接触位置に基づいて、ピン留めレイヤーのオブジェクトが長押しされたか否かを判断する（Ｓ６１）。

ピン留めレイヤーのオブジェクトが長押しされた場合、表示制御部１４は、ピン留め解除ボタン８を選択されたオブジェクトの周囲に表示する（Ｓ６２）。

描画オブジェクト管理部１１は、接触位置検出部１２が検出する入力手段２９１の接触位置に基づいて、ピン留め解除ボタン８が押下されたか否かを判断する（Ｓ６３）。

ピン留め解除ボタン８が押下された場合（Ｓ６３のＹｅｓ）、描画オブジェクト管理部１１はピン留めレイヤー５３のオブジェクトを描画レイヤー５４に移動する（Ｓ６４）。描画オブジェクト管理部１１は、ピン留めレイヤー５３からオブジェクトの画素データを削除する。

ステップＳ６５～Ｓ６７の処理は図１０のステップＳ９～Ｓ１１と同様でよい。

本実施例によれば、ユーザーは、オブジェクトのピン留めを解除し、オブジェクトがない表示領域５１を表示できる。

本実施例では、ユーザーがピン留めするオブジェクトを簡単な操作で移動させてから表示領域５１を移動する表示装置２について説明する。

＜ピン留めレイヤーを用いた表示例＞
図２２を参照して、ピン留めレイヤー５３を用いたオブジェクトの表示方法を説明する。図２２は、ピン留めレイヤー５３に固定されたオブジェクトの表示例を示す図である。

図２２（ａ）に示すように、ユーザーが「〇×セミナー」（オブジェクトＡ）、及び、「議題の一覧表」（オブジェクトＢ）を手書きした。ディスプレイ２２０の右側には機能を選択する操作メニュー３０６が表示されている。

表示領域５１の左上を原点(0,0)とし、オブジェクトの左上の座標を起点座標、右下の座標を終点座標とした場合、オブジェクトＡ，Ｂの起点座標と終点座標とレイヤー属性を表７（ａ）に示す。

ユーザーが操作メニュー３０６からオブジェクトをピン留めするためのピン留めアイコン３０７を押下すると、表示装置２はピン留めモードへ遷移する。ピン留めモードとは、オブジェクトをピン留めレイヤー５３にピン留めして、移動可能にする動作モードである。続いて、図２２（ｂ）に示すように、ユーザーが入力手段２９１でディスプレイ２２０の任意の位置(Px, Py)を押下する。表示制御部１４は、押下された箇所にピン留めボタン９を表示する（図２２（ｃ））。

続いて、図２２（ｃ）に示すように、ユーザーが入力手段２９１で「議題の一覧表」（オブジェクトＢ）の任意の位置を押下する。描画オブジェクト管理部１１は、「議題の一覧表」（オブジェクトＢ）の中心座標がピン留めボタン９の位置となるように「議題の一覧表」（オブジェクトＢ）に該当する画素データを描画レイヤー５４からピン留めレイヤー５３にコピーし、描画レイヤー５４の「議題の一覧表」（オブジェクトＢ）に該当する画素データを削除する（図２２（ｄ））。この処理後のオブジェクトＡ，Ｂの起点座標と終点座標を表７（ｂ）に示す。なお、描画オブジェクト管理部１１は、「議題の一覧表」（オブジェクトＢ）の左上がピン留めボタン９の位置となるように「議題の一覧表」（オブジェクトＢ）を移動してもよい。

次の議題に移り、この議題のメモを書くスペースが必要なため、ユーザーが左にdx、上にdy動くようにディスプレイ（任意のオブジェクト又は任意の位置）のスワイプを行う。スワイプ操作検出部１５がスワイプしていることを検出し、所定の時間ごとに描画レイヤー５４のオブジェクトＡのx座標からスワイプしているx軸方向の移動量、y座標からスワイプしているy軸方向の移動量を差し引く処理を繰り返す。表示制御部１４は所定の時間ごとに表示データを更新する。ユーザーがスワイプをやめると描画レイヤー５４のオブジェクトＡの起点座標は (Sxa-dx, Sya-dy)になる。そして、表示制御部１４は表示領域５１に該当する描画レイヤー５４とピン留めレイヤー５３の画素をＯＲ演算して、ディスプレイ２２０に表示する。なお、表示制御部１４は、メニューレイヤーを最も手前に表示するが、図２２では消去されている。

以上により、図２２（ｅ）に示すように、オブジェクトＢのみが座標の変化がないためスワイプされずに同じ位置に表示される。この処理後のオブジェクトＡ，Ｂの起点座標と終点座標を表７（ｃ）に示す。

＜動作手順＞
図２３は、表示装置２が表示領域に固定されたオブジェクトを表示する手順を示すフローチャート図の一例である。

接触位置検出部１２は、ピン留めアイコン３０７に対する入力手段２９１の押下の有無を判断する（Ｓ７１）。

ピン留めアイコン３０７が押下された場合（Ｓ７１のＹｅｓ）、描画オブジェクト管理部１１はピン留めモードにて動作する。続いて、接触位置検出部１２は、ディスプレイ２２０の任意の位置(Px, Py)に対する入力手段２９１の押下を検出したか否かを判断する（Ｓ７２）。

接触位置検出部１２が、ディスプレイ２２０の任意の位置(Px, Py)の押下を検出した場合（Ｓ７２のＹｅｓ）、表示制御部１４は、押下された箇所にピン留めボタン９を表示する（Ｓ７３）。

続いて、接触位置検出部１２は、ユーザーによる任意のオブジェクトの選択（押下）を検出したか否かを判断する（Ｓ７４）。オブジェクトの外接矩形内のどの位置が押下されてもよい。

接触位置検出部１２が任意のオブジェクトの選択（押下）を検出した場合（Ｓ７４のＹｅｓ）、描画オブジェクト管理部１１は、選択されたオブジェクトの中心座標がピン留めボタン９の位置となるように「議題の一覧表」（オブジェクトＢ）に該当する画素データを描画レイヤー５４からピン留めレイヤー５３にコピーし、描画レイヤー５４の「議題の一覧表」（オブジェクトＢ）に該当する画素データを削除する（Ｓ７５）。

ステップＳ７６～Ｓ７９の処理は図１０のステップＳ９～Ｓ１２と同様でよい。また、オブジェクトのピン留めの終了方法は実施例６と同様でよい。

＜主な効果＞
本実施例によれば、ユーザーがピン留めするオブジェクトを簡単な操作で移動させてから表示領域５１を移動できるので、余白の位置を考慮して予めオブジェクトを移動しておくことができる。

本実施例では、ユーザーがピン留めする１つまたは複数のオブジェクトを移動して整列させてから表示領域５１を移動できる表示装置２について説明する。

＜ピン留めレイヤーを用いた表示例＞
図２４を参照して、ピン留めレイヤー５３を用いたオブジェクトの表示方法を説明する。図２４は、ピン留めレイヤー５３に固定されたオブジェクトの表示例を示す図である。

図２４（ａ）に示すように、ユーザーが「〇×セミナー」（オブジェクトＡ）、及び、「議題の一覧表」（オブジェクトＢ）を手書きした。次に、ユーザーが表示装置２を選択モードに操作する。選択モードとは、入力手段２９１によるオブジェクトの選択が可能な動作モードである。表示装置２は、ユーザーが入力手段２９１で矩形領域を指定すると、オブジェクトをピン留めするためのピン留めボタン９を表示する。ピン留めボタン９の位置は図示する位置に限られず任意でよい。

ユーザーがピン留めボタン９を押下すると、表示装置２はユーザーが指定した矩形領域の２点を対角頂点とするピン留め領域３２０を表示する（図２４（ｂ））。表示領域５１の左上を原点(0,0)とし、オブジェクトの左上の座標を起点座標、右下の座標を終点座標としたとき、オブジェクトＡ，Ｂ及びピン留め領域の起点座標と終点座標とレイヤー属性を表８（ａ）に示す。

次に、図２４（ｃ）に示すように、「議題の一覧表」（オブジェクトＢ）をユーザーがドラッグ＆ドロップしてピン留め領域３２０にピン留めする。描画オブジェクト管理部１１は、「議題の一覧表」（オブジェクトＢ）の始点（例えば左上頂点）がピン留め領域３２０の始点となるように、描画レイヤー５４にある「議題の一覧表」（オブジェクトＢ）に該当する画素データをピン留めレイヤー５３へコピーする。コピーされたオブジェクトＢを「オブジェクトＢ'」とする。そして、描画オブジェクト管理部１１は、描画レイヤー５４にある「議題の一覧表」（オブジェクトＢ）に該当する画素データを削除する（図２４（ｄ））。このように、ユーザーはピン留め領域３２０にオブジェクトを配置してから表示領域５１を移動できる。

ユーザーがピン留め領域３２０に移動できるオブジェクトは１つに限らない。描画オブジェクト管理部１１は、ユーザーがピン留め領域３２０に移動した全てのオブジェクトがピン留め領域３２０に入るように、オブジェクトを縮小する。描画オブジェクト管理部１１は各オブジェクトをサムネイルやオブジェクトを表すアイコンで表示してもよい。

なお、図２４（ｃ）の例では、オブジェクトＢの幅がピン留め領域３２０の幅より大きいため、描画オブジェクト管理部１１はピン留め領域３２０に収まるようにオブジェクトＢを縮小してからピン留め領域３２０に移動する。縮小率αは「ピン留め領域の幅/オブジェクトＢの幅」である。オブジェクトＢの高さがピン留め領域３２０の高さより大きい場合、縮小率αは高さの比となる。描画オブジェクト管理部１１は縮小率αをオブジェクトＢ'の高さ・幅にそれぞれかける。オブジェクトＡ，Ｂ'を表８（ｂ）に示す。

ユーザーは続いて、ディスプレイ２２０の任意の位置で入力手段２９１を使ってスワイプする。スワイプ操作検出部１５がスワイプしていることを検出すると、所定の時間毎に、描画レイヤー５４のオブジェクトＡ,Ｂのx座標からスワイプしているx軸方向の移動量、y座標からスワイプしているy軸方向の移動量を差し引く処理を繰り返す。表示制御部１４は所定の時間ごとに表示データを更新する。ユーザーがスワイプをやめると描画レイヤー５４のオブジェクトＡ,Ｂの起点座標はそれぞれ、(Sxa-dx, Sya-dy)と(Sxb-dx, Syb-dy)になる。

そして、表示制御部１４は、ピン留めレイヤー５３と描画レイヤー５４の各画素についてＯＲ演算を行ってディスプレイ２２０に表示する。するとオブジェクトＢ' のみが座標の変化がないためスワイプされずに同じ位置に表示される(図２４（ｅ）)。この処理後のオブジェクトＡ、Ｂ'の起点座標・終点座標を表８（ｃ）に示す。

オブジェクトＢ'はピン留め領域３２０で縮小されたままでもよいし、ユーザーの操作で、又は、スワイプが終了すると自動で、表示制御部１４が表示領域５１の元の位置に戻してもよい（図２４（ｆ））。

オブジェクトＢ'がピン留め領域３２０で縮小されたままの場合、ユーザーがオブジェクトＢ'を押下すると、表示制御部１４は縮小前の大きさでオブジェクトＢ'のプレビュー３２１を表示することができる（図２４（ｇ））。プレビュー３２１は元のオブジェクトＢと同じサイズかそれよりも大きく、ユーザーがオブジェクトＢの内容を確認できる。プレビュー３２１は一定時間の経過又はユーザー操作で消去される。プレビュー３２１の状態から、ユーザーが表示領域５１の元の位置にオブジェクトＢを戻してもよい。

ユーザー操作又は自動的に表示領域５１の元の位置にオブジェクトＢが戻る場合、描画オブジェクト管理部１１はピン留めレイヤー５３のオブジェクトを描画レイヤー５４にコピーする。描画オブジェクト管理部１１は、ピン留めレイヤー５３からオブジェクトの画素データを削除する。

＜動作手順＞
図２５は、表示装置２が表示領域５１に固定されたオブジェクトを表示する手順を示すフローチャート図の一例である。

接触位置検出部１２は、選択モードで矩形が手書きされたか否かを判断する（Ｓ８１）。例えば、矩形が直線の始点と終点を対角頂点とする場合は、接触位置検出部１２が直線（ストローク）の入力を検出することで、矩形が手書きされたことが検出される。接触位置検出部１２は、矩形かどうかをパターン認識してもよい。

選択モードで矩形が手書きされると（Ｓ８１のＹｅｓ）、表示制御部１４が矩形内や矩形上にピン留めボタン９を表示する（Ｓ８２）。

接触位置検出部１２は、入力手段２９１によりピン留めボタン９が押下されたか否かを判断する（Ｓ８３）。

ピン留めボタン９の押下が検出されない場合（Ｓ８３のＮｏ）、表示制御部１４は所定の時間が経過したか否かを判断する（Ｓ８４）。所定の時間が経過すると（Ｓ８４のＹｅｓ）、表示制御部１４は矩形とピン留めボタン９を消去する（Ｓ８５）。

所定時間内にピン留めボタン９の押下が検出された場合（Ｓ８３のＹｅｓ）、描画オブジェクト管理部１１は矩形により特定される領域をピン留め領域３２０に決定する（Ｓ８６）。矩形により特定される領域とは矩形と同じ領域でもよいし、矩形に元々存在した他のオブジェクトを含まないように調整された領域でもよい。

接触位置検出部１２は、任意のオブジェクトがピン留め領域３２０にドラッグ＆ドロップされたか否かを判断する（Ｓ８７）。すなわち、接触位置検出部１２は、入力手段２９１のドラッグの始点がオブジェクトであり、ドロップされた終点がピン留め領域３２０内か否かを判断する。

ステップＳ８７の判断がＹｅｓの場合、描画オブジェクト管理部１１は、オブジェクトの始点がピン留め領域３２０の始点となるように、描画レイヤー５４にあるオブジェクトに該当する画素データをピン留めレイヤー５３にコピーして、描画レイヤー５４からオブジェクトの画素データを削除する（Ｓ８８）。この始点は、オブジェクトとピン留め領域３２０の左上頂点であるが、右上頂点、右下頂点、又は左下頂点でもよい。

ステップＳ８９～Ｓ９２の処理は図１０のステップＳ９～Ｓ１２と同様でよい。

＜主な効果＞
本実施例によれば、ユーザーがピン留めする１つまたは複数のオブジェクトをピン留め領域３２０に移動して整列させてから表示領域５１を移動できる。また、オブジェクトはピン留め領域３２０に縮小されるので、大きなオブジェクトを表示領域５１と共に移動したい場合も余白を作りやすい。

本実施例では、ユーザーがオブジェクトを長押した状態で、表示領域５１を移動できる表示装置２について説明する。

＜ピン留めレイヤーを用いた表示例＞
図２６を参照して、ピン留めレイヤー５３を用いたオブジェクトの表示方法を説明する。図２６は、ピン留めレイヤー５３に固定されたオブジェクトの表示例を示す図である。

図２６（ａ）に示すように、ユーザーはディスプレイ２２０に、「〇×セミナー」（オブジェクトＡ）、「議題の一覧表」（オブジェクトＢ）を手書きする。また、ユーザーは、「機材の予約」の議題についての議事メモとして「機材予約」と機材リスト（「・マイク」「・ケーブル」「・モニター」「・レーザーポインター」）を手書きする。このメモの文字列をオブジェクトＣとする（オブジェクトＣという用語は説明上使用するものでこれらのメモはグループ化されたオブジェクトではない。）。表示領域５１の左上を原点(0,0)とし、オブジェクトの左上の座標を起点座標、右下の座標を終点座標としたとき、オブジェクトＡ，Ｂ，Ｃの起点座標と終点座標とレイヤー属性を表９（ａ）に示す。

次の議題に移り、この議題のメモを書くスペースが必要なため、ユーザーは「議題の一覧表」（オブジェクトＢ）の右側を空ける操作を行う。まず、ユーザーは「議題の一覧表」（オブジェクトＢの一部のどこでもよい）を手Ｈ（第一の入力手段の一例）で長押しする。描画オブジェクト管理部１１は、手Ｈが接触した座標がどのオブジェクトに該当しているか判断する。この座標が「議題の一覧表」（オブジェクトＢ）の外接矩形の領域にあるため、描画オブジェクト管理部１１は描画レイヤー５４にある「議題の一覧表」（オブジェクトＢ）に該当する画素データをピン留めレイヤー５３にコピーし、描画レイヤー５４にある「議題の一覧表」（オブジェクトＢ）に該当する画素データを削除する。

更に、「議題の一覧表」（オブジェクトＢ）が一時的に固定されていることをユーザーに通知するために、表示制御部１４は、「議題の一覧表」（オブジェクトＢ）の枠３２３を縁取る（図２６（ｂ））。縁取るとは、オブジェクトＢの外縁に太枠を表示することをいう。点線枠、点滅枠など、縁取りにより、オブジェクトＢが強調されればよい。

ユーザーは手Ｈをディスプレイ２２０に接触させたまま、ディスプレイ２２０の任意の位置で電子ペン２５００（第二の入力手段の一例）を使ってスワイプする。

スワイプ操作検出部１５がスワイプを検出すると、表示制御部１４は、所定の時間毎に、描画レイヤー５４のオブジェクトＡ,Ｃのx座標からスワイプしているx軸方向の移動量、y座標からスワイプしているy軸方向の移動量を差し引く処理を繰り返す。表示制御部１４は所定の時間ごとに表示データを更新する。ユーザーがスワイプをやめると描画レイヤー５４のオブジェクトＡ，Ｃの起点座標はそれぞれ、(Sxa-dx, Sya-dy)と(Sxc-dx, Syc-dy)になる。

ユーザーが手Ｈによる「議題の一覧表」（オブジェクトＢ）の長押しをやめると（ディスプレイ２２０から手Ｈを離すと）、描画オブジェクト管理部１１はピン留めレイヤー５３にある「議題の一覧表」（オブジェクトＢ）に該当する画素データを描画レイヤー５４にコピーして、ピン留めレイヤー５３にある「議題の一覧表」（オブジェクトＢ）に該当する画素データを削除する。そして表示制御部１４は表示領域５１に該当する描画レイヤー５４の各画素をディスプレイ２２０に表示する。するとオブジェクトＢは座標の変化がないため表示位置は変わらないまま、新しい領域が表示される(図２６（ｃ）)。この処理後のオブジェクトＡ～Ｃの起点座標・終点座標を表９（ｃ）に示す。

なお、ユーザーは電子ペン２５００でオブジェクトＢを長押しして、手Ｈでスワイプしてもよいし、電子ペン２５００でオブジェクトＢを長押しして、電子ペン２５００でスワイプしてもよいし、手ＨでオブジェクトＢを長押しして、手Ｈでスワイプしてもよい。

また、図２６では、固定されているオブジェクトＢが１つだが、ユーザーは複数の指を使用するなどして複数のオブジェクトをピン留めレイヤー５３に固定できる。

＜動作手順＞
図２７は、表示装置２が表示領域５１に固定されたオブジェクトを表示する手順を示すフローチャート図の一例である。

接触位置検出部１２は、任意のオブジェクトが手Ｈにより長押しされたか否かを判断する（Ｓ２０１）。接触位置検出部１２は、入力手段２９１が接触する座標がオブジェクトに重なり、一定時間以上、接触しているかどうかを判断する。

オブジェクトが長押しされている場合（Ｓ２０１のＹｅｓ）、描画オブジェクト管理部１１は描画レイヤー５４にある「議題の一覧表」（オブジェクトＢ）に該当する画素データをピン留めレイヤー５３にコピーし、描画レイヤー５４にある「議題の一覧表」（オブジェクトＢ）に該当する画素データを削除する。また、表示制御部１４は、「議題の一覧表」（オブジェクトＢ）の枠を縁取る（Ｓ２０２）。

スワイプ操作検出部１５は、手Ｈがディスプレイ２２０に接触したことを検出した状態で、ディスプレイ２２０の任意の位置で電子ペン２５００によるスワイプが検出されたか否かを判断する（Ｓ２０３）。

スワイプされている場合、所定の時間ごとに（Ｓ２０４）、表示制御部１４は描画レイヤー５４のオブジェクトのｘ座標からスワイプしているｘ軸方向の移動量、y座標からスワイプしているy軸方向の移動量を差し引く処理を繰り返す（Ｓ２０５）。こうすることで、表示領域５１を移動する操作を受け付けている間、表示制御部１４は、選択されたオブジェクトの表示領域５１における位置を維持することができる。

表示制御部１４は、表示領域５１に該当するピン留めレイヤー５３と描画レイヤー５４の各画素についてＯＲ演算を行ってディスプレイ２２０に表示する（Ｓ２０６）。

次に、接触位置検出部１２は、手Ｈによる長押しが継続して検出されているか否かを判断する（Ｓ２０７）。

長押しが終了する場合（Ｓ２０７のＹｅｓ）、描画オブジェクト管理部１１はピン留めレイヤー５３にある「議題の一覧表」（オブジェクトＢ）に該当する画素データを描画レイヤー５４にコピーして、ピン留めレイヤー５３にある「議題の一覧表」（オブジェクトＢ）に該当する画素データを削除する。そして表示制御部１４は表示領域５１に該当する描画レイヤー５４の各画素をディスプレイ２２０に表示する（Ｓ２０８）。

＜主な効果＞
本実施例によれば、ユーザーが２つの入力手段２９１を使うことで、オブジェクトを長押した状態で、表示領域５１を移動できる。所定のボタンやアイコンを押下する必要がないので、直感的な操作が可能になる。

本実施例では、２つの拠点に設置された表示装置同士が通信することで、オブジェクトのピン留めを共有する表示システムについて説明する。

＜システム構成例＞
図２８は、表示システム９００のシステム構成図の一例である。図２８では、拠点Ａに表示装置２Ａ（第一の表示装置の一例）、拠点Ｂに表示装置２Ｂ（第二の表示装置の一例）が設置されており、表示装置２Ａと表示装置２Ｂはインターネット等のネットワークＮを介して通信可能に接続されている。

表示装置２Ａと表示装置２Ｂは互いに操作内容を共有して、同じオブジェクトをそれぞれが表示できる。

＜機能について＞
図２９は、表示装置２Ａ、２Ｂの機能をブロック状に示す機能ブロック図の一例である。なお、図２９の説明では主に図６との相違を説明する。

本実施例の表示装置２Ａ、２Ｂは新たに遠隔会議制御部１８を有している。拠点Ａのユーザーが表示装置２Ａに対し、拠点Ｂの表示装置２Ｂと遠隔会議を行うという操作を入力すると（例えば、表示装置２Ｂをリストから選択して、ＩＤやパスワードを入力する）、表示装置２Ａの遠隔会議制御部１８が、拠点Ｂの表示装置２Ｂと会議用のセッションを確立する。遠隔会議制御部１８はセッションを介して、操作内容を相互に送受信する。

例えば、図３０に示すオブジェクトを拠点Ａのユーザーが表示装置２Ａに手書きした。表示装置２Ａの表示領域５１には「○×セミナー」（オブジェクトＡ）、「議題の一覧表」（オブジェクトＢ）、及び、「機材予約に関する文字列」（オブジェクトＣ）が手書きされている。

表示装置２Ａの描画データ生成部１３は、これらの手書きデータ（座標点列、線の太さや色等の線の属性データ）を、表示制御部１４を介してディスプレイ２２０に表示すると共に、遠隔会議制御部１８へ渡す。遠隔会議制御部１８はネットワーク通信部１６を介して、これらの手書きデータを表示装置２Ｂへ送信する。

表示装置２Ｂの遠隔会議制御部１８はネットワーク通信部１６を介してこれらの手書きデータを受信すると、表示制御部１４がディスプレイ２２０に表示する。このようにして、表示装置２Ａのディスプレイ２２０と表示装置２Ｂのディスプレイ２２０には同じオブジェクトが表示される。

＜遠隔会議におけるオブジェクトのピン留め＞
続いて、実施例１と同様に、ユーザーが「議題の一覧表」（オブジェクトＢ）の任意の位置を長押ししたことを描画オブジェクト管理部１１が検出すると、描画オブジェクト管理部１１は、「議題の一覧表」（オブジェクトＢ）をピン留めするためのピン留めボタン９を表示する。

図３１に、ピン留めボタン９が表示された表示領域５１を示す図である。図３１は図９（ｂ）と同じである。

ユーザーがピン留めボタン９を入力手段２９１で押下すると、描画オブジェクト管理部は「議題の一覧表」（オブジェクトＢ）の画素データを描画レイヤー５４からピン留めレイヤー５３にコピーして、描画レイヤー５４の画素データを削除する。

そして、描画オブジェクト管理部１１は「議題の一覧表」（オブジェクトＢ）の画素データと起点座標を遠隔会議制御部１８へ渡し、遠隔会議制御部１８はこれらのデータをピン留めコマンドに含めてネットワーク通信部１６を介して、表示装置２Ｂへ送信する。

表示装置２Ｂの遠隔会議制御部１８がネットワーク通信部１６を介してピン留めコマンドを受信すると、描画オブジェクト管理部１１が、受信した「議題の一覧表」（オブジェクトＢ）の画素データをピン留めレイヤー５３の受信した起点座標の位置から記憶する。そして、表示装置２Ｂの描画オブジェクト管理部１１は、描画レイヤー５４について受信した起点座標の位置から「議題の一覧表」（オブジェクトＢ）の画素データを削除する。このようにして、表示装置２Ｂにおいても「議題の一覧表」がピン留めレイヤー５３にピン留めされる。なお、表示装置２Ａと表示装置２Ｂがお互いにオブジェクトＩＤを共有している場合、遠隔会議制御部１８は「議題の一覧表」（オブジェクトＢ）の画素データそのものを送信するのでなく、「議題の一覧表」（オブジェクトＢ）のオブジェクトＩＤを送信してもよい。

「議題の一覧表」（オブジェクトＢ）の次の議題（タイムテーブル決め）が議論される場合、表示装置２Ａのユーザーはこの議題のメモをとるために、スワイプ操作によりピン留めした「議題の一覧表」（オブジェクトＢ）以外のオブジェクトを移動する。

図３２は、ユーザーが「議題の一覧表」（オブジェクトＢ）以外のオブジェクトを移動することでスペースができた表示領域５１を示す。図３２は図９（ｃ）と同じである。

表示装置２Ａのスワイプ操作検出部１５はこのスワイプ操作の始点座標（Ssx,Ssy）と終点座標（Sex,Sey）を遠隔会議制御部１８へ渡し、遠隔会議制御部１８はこれらのデータをスワイプコマンドに含めてネットワーク通信部１６を介して表示装置２Ｂへ送信する。

表示装置２Ｂの遠隔会議制御部１８がネットワーク通信部１６を介してスワイプコマンドを受信すると、描画オブジェクト管理部１１が描画レイヤー５４にあるオブジェクトをＸ軸方向へ（Sex － Ssx）、Ｙ軸方向へ（Sey － Ssy）だけ移動する。

そして、表示装置２Ｂの表示制御部１４は描画レイヤー５４にある画素データとピン留めレイヤー５３にある画素データとをＯＲ演算してディスプレイ２２０に表示する。したがって、表示装置２Ｂは図３２と同様の表示領域５１（オブジェクト）をディスプレイ２２０に表示される。

＜動作手順＞
図３３は、表示装置２Ａ、２Ｂの間でオブジェクトのピン留め操作を共有する手順を示すシーケンス図の一例である。

S101：表示装置２Ａの遠隔会議制御部１８はネットワーク通信部１６を介して、表示装置２Ｂに接続要求（ＩＤ，パスワード等）を送信する。

S102：表示装置２Ｂの遠隔会議制御部１８は、接続要求に対し認証が成功すると、接続応答（接続ＯＫ）を表示装置２Ａに送信する。

S103：表示装置２Ａのユーザーが入力手段２９１で手書きする。描画データ生成部１３は手書きデータ等を生成し、描画レイヤー５４に書き込む。手書きデータの他、文字認識された文字列、図形、画像などもある。以下、これらを単に手書きデータという。

S104：描画レイヤー５４に書き込まれた手書きデータは、遠隔会議制御部１８がネットワーク通信部１６を介して、所定の時間ごとに表示装置２Ｂに送信する。

S105：表示装置２Ｂの遠隔会議制御部１８はネットワーク通信部１６を介して手書きデータを受信し、描画データ生成部１３が描画レイヤー５４に書き込む。表示制御部１４は描画レイヤー５４に書き込まれた手書きデータを使ってオブジェクトをディスプレイ２２０に表示する。

S106～S111：会議の間、表示装置２Ａと２ＢはステップS103～S105の処理を繰り返す。なお、表示装置２Ｂから表示装置２Ａに手書きデータを送信することもできる。

S112：ユーザーが「議題の一覧表」（オブジェクトＢ）を長押ししてピン留めボタン９を表示させ、ピン留めボタン９を入力手段２９１で押下した。描画オブジェクト管理部１１は接触位置検出部１２が検出する入力手段２９１の接触位置に基づいてピン留めボタン９の押下を検出する。

S113：描画オブジェクト管理部１１は「議題の一覧表」（オブジェクトＢ）の画素データを描画レイヤー５４からピン留めレイヤー５３にコピーして、描画レイヤー５４の画素データを削除する。

S114：遠隔会議制御部１８はネットワーク通信部１６を介して、「議題の一覧表」（オブジェクトＢ）の画素データと起点座標をピン留めコマンドに含めて表示装置２Ｂへ送信する。

S115：表示装置２Ｂの遠隔会議制御部１８がネットワーク通信部１６を介してピン留めコマンドを受信すると、描画オブジェクト管理部１１が、受信した「議題の一覧表」（オブジェクトＢ）の画素データを、ピン留めレイヤー５３の受信した起点座標の位置から書き込む。また、表示装置２Ｂの描画オブジェクト管理部１１は、描画レイヤー５４について受信した起点座標の位置から「議題の一覧表」（オブジェクトＢ）の画素データを削除する。

S116：次に、表示装置２Ａのユーザーはスワイプ操作によりピン留めした「議題の一覧表」（オブジェクトＢ）以外のオブジェクトを移動する。

S117：表示装置２Ａのスワイプ操作検出部１５はこのスワイプ操作の始点座標（Ssx,Ssy）と終点座標（Sex,Sey）を遠隔会議制御部１８へ渡し、遠隔会議制御部１８はネットワーク通信部１６を介して、始点座標（Ssx,Ssy）と終点座標（Sex,Sey）をスワイプコマンドに含めて表示装置２Ｂへ送信する。

S118：表示装置２Ｂの遠隔会議制御部１８がネットワーク通信部１６を介してスワイプコマンドを受信すると、描画オブジェクト管理部１１が描画レイヤー５４にあるオブジェクトをＸ軸方向へ（Sex － Ssx）、Ｙ軸方向へ（Sey － Ssy）だけ移動する。表示装置２Ｂの表示制御部１４は描画レイヤー５４にある画素データとピン留めレイヤー５３にある画素データとをＯＲ演算してディスプレイ２２０に表示する。

＜スペースへのオブジェクトの追加＞
次に、表示装置２Ａのユーザーは「議題の一覧表」（オブジェクトＢ）の右側にできたスペースに「タイムテーブル」（オブジェクトＤ）に関する文字列を手書きする。

図３４は、「タイムテーブル」（オブジェクトＤ）が手書きされた表示領域５１を示す。表示装置２Ａの描画データ生成部１３は、これらの手書きデータ（座標点列、線の太さや色等の線の属性データ）を、表示制御部１４を介してディスプレイ２２０に表示すると共に、遠隔会議制御部１８へ渡す。遠隔会議制御部１８はネットワーク通信部１６を介してこれらの手書きデータを表示装置２Ｂへ送信する。表示装置２Ｂはこれらの手書きデータを受信すると、表示制御部１４を介してディスプレイ２２０に表示する。

＜主な効果＞
以上説明したように、本実施例の表示システム９００は、遠隔会議する２つ以上の表示装置２において、オブジェクトのピン留めやスペースの作成を共有できる。

本実施例では、サーバー装置６０を介して２つの拠点に設置された表示装置同士が通信することで、オブジェクトのピン留めを共有する表示システム９００について説明する。

＜システム構成例＞
図３５は、表示システム９００のシステム構成図の一例である。図３５の説明では主に図２８との相違を説明する。図３５ではネットワークにサーバー装置６０が接続されている。表示装置２Ａと表示装置２Ｂの操作内容はサーバー装置６０が一元管理し、表示装置２Ａと表示装置２Ｂはサーバー装置６０から画像を受信することで同じオブジェクトをそれぞれが表示できる。

＜サーバー装置のハードウェア構成例＞
図３６は、本実施形態に係るサーバー装置６０の一例のハードウェア構成を示す図である。図３６に示されているように、サーバー装置６０はコンピュータによって構築されており、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ５０４、ＨＤＤ(Hard Disk Drive)コントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ(Interface)５０８、ネットワークＩ／Ｆ５０９、バスライン５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ５１４、メディアＩ／Ｆ５１６を備えている。

これらのうち、ＣＰＵ５０１は、サーバー装置６０全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリーやプリンタ等である。ネットワークＩ／Ｆ５０９は、ネットワークＮを利用してデータ通信をするためのインターフェースである。バスライン５１０は、図３６に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷは、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

＜機能について＞
図３７は、本実施例の表示装置２の機能をブロック状に分けて説明する機能ブロック図の一例である。表示装置２Ａ、２Ｂの機能は同じでよい。図３７の説明では主に図２９との相違を説明する。図３７の表示装置は画像復号部１９を有している。画像復号部１９は、サーバー装置６０から受信した画像データを復号する。なお、本実施例では表示装置２がピン留めレイヤー５３を有さない。表示領域５１の画像の生成はサーバー装置６０が行うためである。

図３８は、サーバー装置６０の機能をブロック状に分けて説明する機能ブロック図の一例である。サーバー装置６０は、描画オブジェクト管理部２１、会議データ記憶部２２、描画データ生成部２３、ネットワーク通信部２６、遠隔会議制御部２８、画像符号化部２９、及び、認証制御部３０、を有している。サーバー装置６０が有する各機能は、図３６に示されている各構成要素のいずれかが、ＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

描画オブジェクト管理部２１、会議データ記憶部２２、描画データ生成部２３、ネットワーク通信部２６、及び、遠隔会議制御部２８については表示装置２の機能と同じでよい。

認証制御部３０は、同じ会議に参加する表示装置２Ａ、２Ｂを認証する。画像符号化部２９はサーバー装置６０が表示装置２に送信する画像データを符号化する。

＜動作手順＞
図３９Ａ、図３９Ｂは、表示装置２Ａ、２Ｂがサーバー装置６０を介して遠隔会議する手順を説明するシーケンス図の一例である。

S121：遠隔会議を行う前に、拠点Ａの表示装置２Ａと拠点Ｂの表示装置２Ｂには同じ会議ＩＤが設定されている。この会議ＩＤはユーザーが表示装置２Ａ、２Ｂを操作して設定してもよいし、機器予約システムを利用して、機器予約システムから会議ＩＤを表示装置２Ａ、２Ｂに送信して設定してもよい。

拠点Ａのユーザーが表示装置２Ａにて、会議参加の操作を行うと、表示装置２Ａはサーバー装置６０にアクセスして、表示装置２Ａのアカウント情報（機器ＩＤとパスワード）と会議ＩＤを送信する。サーバー装置６０はアカウント情報と会議ＩＤを受信すると、認証制御部３０が会議データ記憶部２２に記憶された機器ＩＤとパスワードを照合して、表示装置２Ａの接続を許可する。そして、遠隔会議制御部２８は、表示装置２Ａから受信した会議ＩＤの会議アプリケーションプロセスが起動していない場合は、この会議ＩＤの会議アプリケーションプロセスを起動する。

拠点Ｂのユーザーが表示装置２Ｂにて、会議参加の操作を行った場合も同様である。ただし、表示装置２Ｂから受信した会議ＩＤの会議アプリケーションプロセスが既に起動されているため、遠隔会議制御部２８は表示装置２Ｂをこの会議ＩＤの会議に参加させる。サーバー装置６０の遠隔会議制御部２８はネットワーク通信部２６を介して、表示装置２Ａ、２Ｂへ会議開始メッセージを送信する。

S122、S123：表示装置２Ａ、２Ｂがこのメッセージを受信すると、表示制御部１４がホワイトボード（表示領域５１の画面）をディスプレイ２２０に表示する。

S124：拠点Ａのユーザーは表示装置２Ａの表示領域５１に図３０のように「○×セミナー」（オブジェクトＡ）、「議題の一覧表」（オブジェクトＢ）、及び、「機材予約リスト」（オブジェクトＣ）を手書きした。表示装置２Ａの描画データ生成部１３は、これらの手書きデータ（座標点列、線の太さや色等の線の属性データ）を表示用の画素データに変換して、描画レイヤー５４に書き込み、表示制御部１４がディスプレイ２２０に表示する。

S125：表示装置２Ａの遠隔会議制御部１８はまた、これらの手書きデータ（座標点列、線の太さや色等の線の属性データ）を、ネットワーク通信部１６を介してサーバー装置６０へ送信する。なお、表示装置２Ａの描画データ生成部１３は手書きデータが所定のデータ量になる度に、ネットワーク通信部１６を介して、手書きデータをサーバー装置６０へ送信する。

S126：サーバー装置６０のネットワーク通信部２６は手書きデータを受信し、描画データ生成部２３は、受信した手書きデータを表示用の画素データに変換して、この画素データを描画レイヤー５４に記憶する。

S127：そして、サーバー装置６０の遠隔会議制御部２８はネットワーク通信部２６を介して、画素データと矩形領域（手書きデータの外接矩形）の起点座標を表示装置２Ｂへ送信する。

S128：表示装置２Ｂの遠隔会議制御部１８がネットワーク通信部１６を介して画素データと矩形領域の起点座標を受信すると、描画データ生成部１３が受信した画素データを受信した起点座標の位置から描画レイヤー５４に書き込む。表示制御部１４は、描画レイヤー５４の手書きデータをディスプレイ２２０に表示する。このようにして、表示装置２Ａ、２Ｂのディスプレイ２２０には同じ手書きデータが表示される。

以降は同様にステップS129～S138の処理により、表示装置２Ａ、２Ｂが、各ストロークを共有する。したがって、オブジェクトＡ～Ｃが表示装置２Ａ、２Ｂのディスプレイ２２０に表示される。

S139：表示装置２Ａの遠隔会議制御部１８はネットワーク通信部１６を介して、オブジェクトＡ～Ｃの起点座標と終点座標をサーバー装置６０に送信する。なお、ステップS139の処理（オブジェクトの区分）は、サーバー装置６０が行ってもよい。

S140：サーバー装置６０の遠隔会議制御部２８はネットワーク通信部２６を介して起点座標と終点座標を受信し、描画オブジェクト管理部２１が、受信したこれらの座標データをオブジェクトテーブルに登録する。

次に、ピン留め操作について説明する。本実施例では、ピン留めの操作と画面のスワイプ操作は表示装置２Ｂにて行われる場合について説明する。表示装置２Ａにおいて行われてもよい。

S141：表示装置２Ｂにおいて、ユーザーが「議題の一覧表」（オブジェクトＢ）の任意の位置を入力手段２９１で長押ししたことを、接触位置検出部１２が検出する。

S142：表示装置２Ｂの描画オブジェクト管理部１１は、表示装置２Ｂが管理しているオブジェクトテーブルを参照して、この長押しされた座標がオブジェクトの領域にあるか否かを判断する。この座標は表示装置２Ｂが管理しているオブジェクトの領域にないため、表示装置２Ｂの遠隔会議制御部１８はネットワーク通信部１６を介して、長押しされた座標データをピン留め依頼コマンドに含めてサーバー装置６０へ送信する。この座標データによりユーザーが選択したオブジェクトが特定される。

S143：サーバー装置６０の遠隔会議制御部２８がネットワーク通信部２６を介してピン留め依頼コマンドを受信すると、描画オブジェクト管理部２１はオブジェクトテーブルを参照して、この座標がオブジェクトの領域にあるか否かを判断する。この座標は「議題の一覧表」（オブジェクトＢ）の領域にあるため、サーバー装置６０の描画データ生成部２３は、「議題の一覧表」をピン留めするためのピン留めボタン９のグラフィックデータをＨＤ５０４から読み出して、これを表示用の画素データに変換して、この画素データを描画レイヤー５４の「議題の一覧表」（オブジェクトＢ）の右上の位置に上書きする。

S144：そして、遠隔会議制御部２８はネットワーク通信部２６を介して、このピン留めボタン９の画素データと、ピン留めボタン９に外接する矩形領域の起点座標を表示装置２Ｂへ送信する。

S145：表示装置２Ｂの遠隔会議制御部１８がネットワーク通信部１６を介して、ピン留めボタン９を含む画素データを受信すると、描画データ生成部１３が画素データを描画レイヤー５４の受信した起点座標から上書きして、表示制御部１４がディスプレイ２２０に表示する。これにより表示装置２Ｂは図３１の状態になる。

S146：サーバー装置６０の遠隔会議制御部２８はネットワーク通信部２６を介して、ピン留め準備完了メッセージを表示装置２Ｂへ送信する。

S147：表示装置２Ｂの遠隔会議制御部１８がネットワーク通信部１６を介して、このメッセージを受信すると、描画オブジェクト管理部１１がピン留め動作モードになる。

S148、S149：表示装置２Ｂのユーザーがピン留めボタン９を入力手段２９１で押下すると、遠隔会議制御部１８がネットワーク通信部１６を介して、ピン留め実行コマンドをサーバー装置６０へ送信する。

S150：サーバー装置６０の遠隔会議制御部２８がネットワーク通信部２６を介してこのメッセージを受信すると、描画オブジェクト管理部２１が「議題の一覧表」（オブジェクトＢ）の画素データを描画レイヤー５４からピン留めレイヤー５３にコピーして、描画レイヤー５４の画素データを削除する。サーバー装置６０の描画オブジェクト管理部２１はまた、ピン留めボタン９に外接する矩形領域の画素データも削除する。

S151：続いて、サーバー装置６０の遠隔会議制御部２８がネットワーク通信部２６を介して、ステップS142で受信したピン留め依頼コマンドに含まれていた、表示装置２Ｂにて長押しされた座標データを、ピン留め通知メッセージに含めて表示装置２Ａに送信する。

S152：表示装置２Ａの遠隔会議制御部１８がネットワーク通信部１６を介して、メッセージを受信すると、表示制御部１４がこのメッセージに含まれた座標の位置にピン留めボタン９（図３１に示したものと同じ）を所定の時間、ディスプレイ２２０に表示させる。表示装置２Ａの表示制御部１４はまた、「遠隔拠点にてピン留めされました」というメッセージも所定の時間、ディスプレイ２２０に表示させる。

図４０は、表示装置２Ａのディスプレイ２２０に表示されるメッセージ３０９の一例である。オブジェクトＢにピンマーク３１０が表示されている。これにより、表示装置２Ａのユーザーが他拠点でピン留めされたことを把握できる。

S153：図３９に戻る。「議題の一覧表」（オブジェクトＢ）の次の議題（タイムテーブル決め）が議論される場合、表示装置２Ｂのユーザーはこの議題のメモをとるために、スワイプ操作によりピン留めした「議題の一覧表」（オブジェクトＢ）以外のオブジェクトを移動する。したがって、表示領域５１は図３２と同じ状態になる。

S154：表示装置２Ｂのスワイプ操作検出部１５はこのスワイプ操作の開始を検出して、入力手段２９１の接触位置の移動距離が所定の値になると、遠隔会議制御部１８がネットワーク通信部１６を介して、スワイプ操作の開始座標（Sx0,Sy0）と現在の接触位置（Sx1,Sy1）をスワイプコマンドに含めてサーバー装置６０へ送信する。

S155：サーバー装置６０の遠隔会議制御部２８がネットワーク通信部２６を介してこのコマンドを受信すると、描画オブジェクト管理部２１が描画レイヤー５４にあるオブジェクトをＸ軸方向へ（Sx1 － Sx0）、Ｙ軸方向へ（Sy1 － Sy0）だけ移動する。そして、サーバー装置６０の描画データ生成部２３は表示領域５１に該当する描画レイヤー５４にある画素データとピン留めレイヤー５３にある画素データとをＯＲ演算する。

S156：サーバー装置６０の画像符号化部２９はこの画素データを例えばPNG形式に圧縮し、ネットワーク通信部２６が表示装置２Ａ、２Ｂへ送信する。

S157,158：表示装置２Ａ、２Ｂの遠隔会議制御部１８がネットワーク通信部１６を介してPNGデータを受信し、画像復号部１９が表示用の画素データに変換する。表示制御部１４はディスプレイ２２０に画素データを表示する。

S159～S164：表示装置２Ｂのユーザーがスワイプ操作を行っている間、ステップS153～S158の処理と同様の処理が実行される。

S165、S166：表示装置２Ｂのユーザーがスワイプ操作を終了すると、ネットワーク通信部１６がスワイプコマンドをサーバー装置６０に送信する。これは、最後に送信した接触位置と現在の接触位置を送信するためである。

S167～S170：表示装置２Ｂのユーザーがスワイプ操作を終了して、スワイプコマンドをサーバー装置６０に送信すると、ステップS155～S158の処理と同様の処理が実行される。

このようにして、表示装置２Ａ、２Ｂのディスプレイ２２０には図３２の表示領域５１にあるオブジェクトが表示される。

＜主な効果＞
以上説明したように、本実施例の表示システム９００は、サーバー装置６０が存在する場合でも、遠隔会議する２つ以上の表示装置２において、オブジェクトのピン留めやスペースの作成を共有できる。

以下の実施例では表示装置２の別の構成例について説明する。

＜＜表示装置の別の構成例１＞＞
本実施形態の表示装置２は大型のタッチパネルを有するものとして説明されているが、表示装置２はタッチパネルを有するものに限られない。

図４１は、表示装置２の他の構成例を示す図である。図４１では、スクリーン４１３の上辺にプロジェクター４１１が設置されている。このプロジェクター４１１が表示装置２に相当する。なお、スクリーンは黒板でもよく、映像を投影するだけの広さの平面であればよい。

プロジェクター４１１は超短焦点の光学系を有しており、１０ｃｍ程度から歪みの少ない映像をスクリーン４１３に投影できる。この映像は、無線又は有線で接続されたＰＣから送信されてもよいし、プロジェクター４１１が記憶していてもよい。

ユーザーは専用の電子ペン２５０１を使ってスクリーン４１３に手書きする。電子ペン２５０１は、ユーザーが手書きのためにスクリーン４１３に押しつけるとスイッチがＯＮになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザーの目には見えない。プロジェクター４１１はカメラを有しており、発光部を撮像して画像を解析し電子ペン２５０１の方向を特定する。また、電子ペン２５０１は発光と共に音波を発信しており、プロジェクター４１１は音波の到達時間により距離を算出する。プロジェクター４１１は方向と距離により電子ペン２５０１の位置を特定できる。電子ペン２５０１の位置には手書きされたデータが描画（投影）される。

プロジェクター４１１はメニュー４３０を投影するので、ユーザーが電子ペン２５０１でボタンを押下すると、プロジェクター４１１が電子ペン２５０１の位置とスイッチのＯＮ信号により押下されたボタンを特定する。例えば、保存ボタン４３１が押下されると、ユーザーが手書きしたデータ（座標点列）がプロジェクター４１１で保存される。プロジェクター４１１は、予め定められたサーバー４１２又はＵＳＢメモリー２６００等に手書き情報を保存する。

＜＜表示装置の別の構成例２＞＞
図４２は、表示装置２の他の構成例を示す図である。図４２の例では、表示装置２が、端末装置６００、画像投影装置７００Ａ、及び、ペン動作検出装置８１０を有する。

端末装置６００は、画像投影装置７００Ａ及びペン動作検出装置８１０と有線で接続されている。画像投影装置７００Ａは、端末装置６００により入力された画像データをスクリーン８００に投影させる。

ペン動作検出装置８１０は、電子ペン８２０と通信を行っており、スクリーン８００の近傍における電子ペン８２０の動作を検出する。具体的には、ペン動作検出装置８１０は、スクリーン８００上において、電子ペン８２０が示している点を示す座標情報を検出し（検出方法は図４１と同様でよい）、端末装置６００へ送信する。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０によって入力される手書きデータの画像データを生成し、画像投影装置７００Ａによって手書きデータの画像をスクリーン８００に描画させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０によって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。

＜＜表示装置の別の構成例３＞＞
図４３は、表示装置２の構成例を示す図である。図４３の例では、表示装置２が、端末装置６００と、ディスプレイ８００Ａと、ペン動作検出装置８１０Ａとを有する。

ペン動作検出装置８１０Ａは、ディスプレイ８００Ａの近傍に配置され、ディスプレイ８００Ａ上に、電子ペン８２０Ａが示している点を示す座標情報を検出し（検出方法は図４１と同様でよい）、端末装置６００へ送信する。なお、図４３の例では、電子ペン８２０Ａは、端末装置６００によってＵＳＢコネクタを介して充電されても良い。

端末装置６００は、ペン動作検出装置８１０から受信した座標情報に基づき、電子ペン８２０Ａによって入力される手書データの画像の画像データを生成し、ディスプレイ８００Ａに表示させる。

＜＜表示装置の別の構成例４＞＞
図４４は、表示装置２の構成例を示す図である。図４４の例では、表示装置２が、端末装置６００と、画像投影装置７００Ａとを有する。

端末装置６００は、電子ペン８２０Ｂと無線通信（Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を行って、スクリーン８００上において電子ペン８２０Ｂが示す点の座標情報を受信する。座標情報は、スクリーン８００に形成された微小な位置情報を電子ペン８２０Ｂが読み取ってもよいし、スクリーン８００から座標情報を受信してもよい。

そして、端末装置６００は、受信した座標情報に基づき、電子ペン８２０Ｂにより入力される手書データの画像の画像データを生成し、画像投影装置７００Ａに手書データの画像を投影させる。

また、端末装置６００は、画像投影装置７００Ａに投影させている背景画像と、電子ペン８２０Ｂによって入力された手書データの画像とを合成した重畳画像を示す重畳画像データを生成する。

以上のように、上記した各実施形態は、様々なシステム構成において適用することができる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

文字列は文字コードとして、手書きデータは座標データとして表示装置２に保存される。また、各種の記憶媒体に保存したり、ネットワーク上の記憶装置に保存したりしておいて、後で、表示装置２からダウンロードして再使用することができる。再使用する表示装置２はどの表示装置でもよく、一般的な情報処理装置でもよい。したがって、ユーザーは手書きした内容を異なる表示装置２で再現して会議などを継続することができる。

例えば、本実施形態では電子黒板を一例として説明したが、電子黒板は、電子ホワイトボード、電子情報ボード、などと呼ばれてよい。また、本実施形態は、タッチパネルを有する情報処理装置であれば好適に適用できる。タッチパネルを搭載した情報処理装置としては、例えば、ＰＪ（Projector：プロジェクター）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、ノートＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Personal Digital Assistant）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。

また、本実施形態の表示装置２は、ペン先の座標をタッチパネルで検知する方法でペンの座標を検出したが、ペン先の座標を超音波により検出してもよい。また、ペンは発光と共に超音波を発信しており、表示装置２は超音波の到達時間により距離を算出する。表示装置２は方向と距離によりペンの位置を特定できる。ペンの軌跡をストロークデータとしてプロジェクターが描画（投影）する。

また、図６などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、表示装置２が行う処理の一部を、表示装置２とネットワークを介して接続されたサーバーが行ってもよい。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

描画オブジェクト管理部１１は選択受付手段の一例である。表示制御部１４は表示制御手段の一例である。描画データ生成部２３は画像生成手段の一例である。描画オブジェクト管理部１１はオブジェクト管理手段の一例である。また、表示装置２Ａ、２Ｂが有する表示制御部１４は第一の表示制御手段又は第二の表示制御手段の一例である。ネットワーク通信部１６は送信手段の一例である。表示装置２Ａ、２Ｂが有するネットワーク通信部１６は第一の送信手段の一例であり、サーバー装置６０が有するネットワーク通信部２６は第二の送信手段の一例である。

２表示装置

特開2001－108475号公報

Claims

手書き入力可能な入力可能領域の一部の表示領域を表示する表示装置であって、
前記表示領域に表示されているオブジェクトの選択を受け付ける選択受付手段と、
前記表示領域を移動する操作に応じて、前記オブジェクトを移動するオブジェクト管理手段と、
移動された前記オブジェクトを移動された前記表示領域に表示する表示制御手段と、
を有する表示装置。
前記表示制御手段は、前記選択受付手段が前記オブジェクトの選択を受け付けた時の前記表示領域における前記オブジェクトと同じ位置に、移動された前記オブジェクトを表示する請求項１に記載の表示装置。
前記表示制御手段は、前記表示領域を移動する操作を受け付けている間、前記選択受付手段が前記オブジェクトの選択を受け付けた時の前記表示領域における前記オブジェクトの位置を維持する請求項１又は２に記載の表示装置。
前記選択受付手段は、入力手段で長押しされた前記オブジェクトの選択を受け付ける請求項１～３のいずれか１項に記載の表示装置。
前記選択受付手段は、所定のマークが手書きされた後、ストロークで囲まれた前記オブジェクトの選択を受け付ける請求項１～３のいずれか１項に記載の表示装置。
前記選択受付手段は、前記オブジェクトから閾値以内に処理のマークが手書きされた場合、前記オブジェクトの選択を受け付ける請求項１～３のいずれか１項に記載の表示装置。
前記表示制御手段は、操作メニューを表示し、
前記選択受付手段は、前記操作メニューの所定のボタンが押下された後、入力手段で押下された前記オブジェクトの選択を受け付ける請求項１～３のいずれか１項に記載の表示装置。
前記表示制御手段は、操作メニューを表示し、
前記選択受付手段は、前記操作メニューの所定のボタンが押下された後、ストロークで囲まれた前記オブジェクトの選択を受け付ける請求項１～３のいずれか１項に記載の表示装置。
前記表示制御手段は、前記入力手段で長押しされた前記オブジェクトの周囲に第一の表示部品を表示し、
前記選択受付手段は、前記第一の表示部品が押下された場合に前記オブジェクトの選択を受け付ける請求項４に記載の表示装置。
前記表示制御手段は、操作メニューを表示し、
前記表示制御手段は、前記操作メニューの所定のボタンが押下された後、入力手段が接触した位置に、前記入力手段で選択された前記オブジェクトを移動し、
前記選択受付手段は移動した前記オブジェクトの選択を受け付ける請求項１～３のいずれか１項に記載の表示装置。
入力手段によるオブジェクトの選択が可能な選択モードにおいて、
前記選択受付手段が、前記入力手段による矩形の入力を受け付けた場合、
前記表示制御手段は、前記入力手段で選択された前記オブジェクトを前記矩形の領域に移動し、前記選択受付手段は移動した前記オブジェクトの選択を受け付ける請求項１～３のいずれか１項に記載の表示装置。
前記選択受付手段は、第一の入力手段で長押しされた前記オブジェクトの選択を受け付け、
前記オブジェクト管理手段は、前記第一の入力手段で前記オブジェクトが長押しされた状態の場合、第二の入力手段による前記表示領域を移動する操作に応じて、前記オブジェクトを移動する請求項１～３のいずれか１項に記載の表示装置。
前記オブジェクトが移動された後、
移動された前記オブジェクトが入力手段で長押しされた場合、前記オブジェクトの周囲に第二の表示部品を表示し、
前記選択受付手段は、前記第二の表示部品が押下された場合に前記オブジェクトの選択を解除し、
前記表示領域が移動された移動量に応じて、前記表示領域に対する前記オブジェクトの位置を変化させる請求項１～９のいずれか１項に記載の表示装置。
ネットワークを介して複数の表示装置が通信する表示システムであって、
第一の表示装置は、
手書き入力可能な入力可能領域の一部の表示領域に表示されているオブジェクトの選択を受け付ける選択受付手段と、
前記表示領域を移動する操作に応じて、前記オブジェクトを移動するオブジェクト管理手段と、
移動された前記オブジェクトを移動された前記表示領域に表示する表示制御手段と、
前記選択受付手段が受け付けた前記オブジェクトに関するデータ、前記表示領域における前記オブジェクトの座標、及び、前記オブジェクトの前記移動に関するデータを第二の表示装置に送信する送信手段と、を有し、
前記第二の表示装置は、
前記オブジェクトの移動に関するデータに基づいて移動した前記表示領域に、前記表示領域における前記オブジェクトの座標に基づいて前記オブジェクトを表示する第二の表示制御手段、
を有する表示システム。
ネットワークに接続された情報処理装置を介して複数の表示装置が通信する表示システムであって、
前記情報処理装置は、
前記複数の表示装置から送信されたオブジェクトに関するデータを保持しており、
第一の表示装置は、
手書き入力可能な入力可能領域の一部の表示領域に前記オブジェクトを表示する表示制御手段と、
前記表示領域に表示されている前記オブジェクトの選択を受け付ける選択受付手段と、
前記表示領域を移動する操作に応じて、前記選択受付手段が受け付けた前記オブジェクトに関するデータ、及び、前記表示領域の前記移動に関するデータを前記情報処理装置に送信する第一の送信手段と、を有し、
前記情報処理装置は、
前記移動に関するデータに基づいて、前記表示領域を前記オブジェクトと共に移動するオブジェクト管理手段と、
前記表示領域の前記オブジェクトを表示する画像を生成する画像生成手段と、
前記画像生成手段が生成した前記画像を前記第一の表示装置及び第二の表示装置に送信する第二の送信手段と、を有し、
前記第一の表示装置及び前記第二の表示装置は、前記情報処理装置から受信した前記画像を表示する表示システム。
手書き入力可能な入力可能領域の一部の表示領域を表示する表示装置を、
前記表示領域に表示されているオブジェクトの選択を受け付ける選択受付手段と、
前記表示領域を移動する操作に応じて、前記オブジェクトを移動するオブジェクト管理手段と、
移動された前記オブジェクトを移動された前記表示領域に表示する表示制御手段、
として機能させるためのプログラム。
手書き入力可能な入力可能領域の一部の表示領域を表示する表示方法であって、
選択受付手段が、前記表示領域に表示されているオブジェクトの選択を受け付けるステップと、
前記表示領域を移動する操作に応じて、オブジェクト管理手段が、前記オブジェクトを移動するステップと、
表示制御手段が、移動された前記オブジェクトを移動された前記表示領域に表示するステップと、
を有する表示方法。