JP2021165964A - 表示装置、負荷制御方法、プログラム - Google Patents

Abstract

【課題】自装置の機能を利用可能とすると共に、負荷を制御することができる表示装置を提供すること。【解決手段】表示装置２であって、表示装置の負荷を監視する負荷監視部２０１と、負荷監視部が監視する負荷に応じて、予め設定されている性能値の優先度の順に表示装置の性能値を変更する性能値制御部２０２と、性能値制御部が性能値を変更した旨を出力する出力部２０３と、を有する。【選択図】図１

Description

本発明は、表示装置、負荷制御方法、及びプログラムに関する。

タッチパネルにペンや指で手書きしたデータを表示する表示装置が知られている。比較的大型のタッチパネル型ディスプレイを備えた表示装置は会議室などに配置され、複数のユーザにより電子黒板などとして共有される。また、このような表示装置はＰＣ（Personal Computer）などが送信する画面をディスプレイに表示する機能を有する場合がある。また、他の拠点の表示装置とネットワークを介して通信し、ディスプレイが表示している手書きデータや画面を共有することもできる。

このような表示装置において、高負荷になった場合に負荷を低減する技術が知られている（例えば、特許文献１参照。）。特許文献１には、ユーザーアクセスやファイルアクセスのレスポンスの悪化を抑制するために、ＣＰＵ使用率が閾値を超えた場合に指定のプロセスを停止し、ＣＰＵ使用率が閾値以下になった場合にプロセスを再開する電子黒板が開示されている。また、指定のプロセスを削除して、制御対象となるプロセスの個数を一定にする構成が開示されている。

しかしながら、プロセスを停止してしまうとそのプロセスに関する機能が一時的に利用できなくなってしまう問題があった。また、プロセスを削除してしまうとプロセスに関する機能が今後利用できなくなってしまうという問題があった。

本発明は、上記課題に鑑み、自装置の機能を利用可能とすると共に、負荷を制御することができる表示装置を提供することを目的とする。

本発明は、上記課題に鑑み、表示装置であって、前記表示装置の負荷を監視する負荷監視部と、前記負荷監視部が監視する前記負荷に応じて、予め設定されている性能値の優先度の順に前記表示装置の前記性能値を変更する性能値制御部と、前記性能値制御部が前記性能値を変更した旨を出力する出力部と、を有する。

自装置の機能を利用可能とすると共に、負荷を制御することができる表示装置を提供することができる。

表示装置が有するコントローラーがキャプチャーボードのＥＤＩＤを変更する処理を説明する図の一例である。 本実施形態の画像処理システムの全体構成図である。 電子黒板のハードウェア構成図である。 電子黒板の機能ブロック図である。 ファイル処理部の機能ブロック図である。 サーバ部及び送信制御部の機能ブロック図である。 ページデータを示す概念図である。 ストロークデータを示す概念図である。 座標配列データを示す概念図である。 メディアデータを示す概念図である。 遠隔ライセンス管理テーブルを示す概念図である。 アドレス帳管理テーブルを示す概念図である。 バックアップデータを示す概念図である。 接続先管理テーブルを示す概念図である。 参加拠点管理テーブルを示す概念図である。 操作データを示す概念図である。 各画像レイヤの構成図である。 各表示装置の処理を示したシーケンス図である。 各表示装置の処理を示したシーケンス図である。 表示装置の機能をブロックに分けて説明する機能ブロック図の一例である。 負荷監視部がＣＰＵ使用率を監視する手順を示すフローチャート図の一例である。 負荷監視部がＣＰＵ使用率を監視する手順を示すフローチャート図の一例である。 ＣＰＵ使用率のレベルの通知方法を説明する図である。 ＣＰＵ使用率のレベルに基づいて性能値制御部が性能値を変更する手順を示すフローチャート図の一例である。 出力部が性能値の変化をユーザに通知する処理を説明するフローチャート図の一例である。 出力部が表示するメッセージの出力例を示す図である。

以下、本発明を実施するための形態の一例として、表示装置と表示装置が行う負荷制御方法について図面を参照しながら説明する。

＜動作の概略＞
４Ｋ（3840x2160）などの高解像度の外部入力映像が表示装置２に入力される場合が増えている。しかし、高解像度の映像はリソースを消費するため、表示装置２の負荷が大きく増大する。そこで、表示装置は以下のように性能値（フレームレート）を制御する。

図１は、表示装置が自機の負荷を制御する手順を示すフローチャート図の一例である。図１の処理を簡単に説明すると、
・ＣＰＵ使用率が閾値を超えた場合、外部入力映像のフレームレートを段階的に下げる。
・ＣＰＵ使用率が閾値以下の場合、外部入力映像のフレームレートを段階的に上げる。
というものである。

表示装置はＣＰＵ使用率を繰り返し測定している（Ｓ１）。ＣＰＵ使用率が閾値を超えた場合（Ｓ２のＹｅｓ）、フレームレート（ＦＰＳ：frames per second）が最低値でなければ（Ｓ３のＮｏ）、表示装置は外部入力映像のＦＰＳを１段階下げる（Ｓ４）。

ＣＰＵ使用率が閾値以下の場合（Ｓ２のＮｏ）、フレームレートが最高値でなければ（Ｓ５のＮｏ）、表示装置は外部入力映像のフレームレートを１段階上げる（Ｓ６）。

このように、ＣＰＵ使用率に応じて外部入力映像のフレームレートを制御できる。フレームレートは表示装置の負荷に影響するので、表示装置の負荷を制御できる。また、プロセスを停止する必要もない。

＜用語について＞
負荷とは、処理すべき単位時間あたりの仕事量のことをいう。表示装置の負荷としては、映像の表示、通信、手書きデータの表示、アプリの実行などがある。これらは、ＣＰＵ使用率、メモリ使用率、又は、通信速度などで測定される。

表示装置の性能値とは表示装置の能力を指定する値である。例えば、外部入力のフレームレート、映像サイズ、アプリのプロセス優先度などがある。パフォーマンスと称することもできる。

ＣＰＵ使用率とはある単位時間のうち、オペレーティングシステム（OS）やアプリケーションソフトが何らかの処理を実行している時間の割合である。０〜１００％の値を取る。

監視とは、監視タイミング時に、監視対象の情報の値を取得し、他の情報の値との整合性を確認することを指す。例えば、定期的にＣＰＵ使用率を取得して、予め設定した閾値より高いか否かを確認する。

＜システム構成例＞
図２は、本実施形態の通信システム１の全体構成図である。なお、図２では、説明を簡略化するために、２台の表示装置２ａ，２ｂ及びこれに付随する電子ペン４ａ，４ｂ等を示しているだけであって、３台以上の表示装置２や電子ペン等を利用してもよい。

図２に示されているように、通信システム１は、複数の表示装置２ａ，２ｂ、複数の電子ペン４ａ，４ｂ、ＵＳＢメモリ５ａ，５ｂ、ノートＰＣ６(Personal Computer)６ａ，６ｂ、テレビ（ビデオ）会議端末７ａ，７ｂ、及びＰＣ８を有する。また、表示装置２ａ，２ｂ、及びＰＣ８は、通信ネットワーク９を介して通信可能に接続されている。更に、複数の表示装置２ａ，２ｂには、それぞれディスプレイ３ａ，３ｂが設けられている。

また、表示装置２ａには、電子ペン４ａによって生じたイベント（ディスプレイ３ａに電子ペン４ａのペン先、又は、電子ペン４ａのペン尻のタッチ）による描画された画像を、ディスプレイ３ａに表示させることができる。なお、電子ペン４ａだけでなく、ユーザの手Ｈａ等によって生じたイベント（拡大、縮小、ページめくり等のジェスチャ）に基づいて、ディスプレイ３ａ上に表示されている画像を変更させることもできる。

また、表示装置２ａには、ＵＳＢメモリ５ａが接続可能であり、表示装置２ａはＵＳＢメモリ５ａからＰＤＦ等の電子ファイルを読み出したり、表示装置２ａはＵＳＢメモリ５ａに電子ファイルを記録したりすることができる。また、表示装置２ａには、Display Port（登録商標）、DVI(Digital Visual Interface)、HDMI(High−Definition Multimedia Interface。登録商標)及びVGA(Video Graphics Array)等の規格による通信が可能なケーブル１０ａ１を介して、ノートＰＣ６ａが接続されている。そして、表示装置２ａは、ディスプレイ３ａに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、ノートＰＣ６ａに送信する。同じく、表示装置２ａには、上記規格による通信が可能なケーブル１０ａ２を介して、テレビ（ビデオ）会議端末７ａが接続されている。なお、ノートＰＣ６ａ、及びテレビ会議端末７ａは、Bluetooth（登録商標）等の各種無線通信プロトコルに準拠した無線通信により、表示装置２ａと通信してもよい。なお、テレビ（ビデオ）会議端末７ａはその機能が表示装置２ａに内蔵される場合もある。この場合、表示装置２ａは、マイク、スピーカ、及びカメラを有する。

一方、表示装置２ｂが設置されている他の拠点では、上記と同様に、ディスプレイ３ｂを備えた表示装置２ｂ、電子ペン４ｂ、ＵＳＢメモリ５ｂ、ノートＰＣ６ｂ、テレビ会議端末７ｂ、ケーブル１０ｂ１、ケーブル１０ｂ２が利用される。更に、ユーザの手Ｈｂ等によって生じたイベントに基づいて、ディスプレイ３ｂ上に表示されている画像を変更させることもできる。

これにより、一の拠点で表示装置２ａのディスプレイ３ａ上に描画された画像は、他の拠点で表示装置２ｂのディスプレイ３ｂ上にも表示され、逆に他の拠点で表示装置２ｂのディスプレイ３ｂ上に描画された画像は、一の拠点で表示装置２ａのディスプレイ３ａ上に表示される。このように、通信システム１では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。ただし、本実施形態の説明に関して、表示装置２ａは他拠点の表示装置２ｂと通信することは必須でない。

なお、以下では、複数の表示装置２のうち任意の表示装置２を示す場合には「表示装置２」と示す。複数のディスプレイ３のうち任意のディスプレイ３を示す場合には「ディスプレイ３」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン４」と示す。複数のＵＳＢメモリのうち任意のＵＳＢメモリを示す場合には「ＵＳＢメモリ５」と示す。複数のノートＰＣ６のうち任意のノートＰＣ６を示す場合には「ノートＰＣ６」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末７」と示す。また、複数のユーザの手のうち任意の手を示す場合には「手Ｈ」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル１０」と示す。

また、本実施形態では、表示装置の一例として、表示装置２を説明するが、これに限るものではなく、表示装置の他の例として、電子看板（デジタルサイネージ）、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像（映像）診断装置等であってもよい。また、情報処理端末の一例として、ノートＰＣ６を説明するが、これに限るものではなく、情報処理端末の他の例として、デスクトップ型ＰＣやタブレット型ＰＣ、スマートフォン、ＰＤＡ（Personal Digital Assistant）、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。更に、通信ネットワークには、インターネット、ＬＡＮ(Local Area Network)、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、ＵＳＢメモリを説明するが、これに限るものではなく、記録媒体の他の例として、ＳＤカード等の各種記録メディアであってもよい。

＜表示装置のハードウェア構成＞
続いて、図３を用いて、本実施形態の表示装置２のハードウェア構成を説明する。なお、図３は、表示装置２のハードウェア構成図である。図３では表示装置２の一例として電子黒板が想定されている。

表示装置２はコントローラー１１０、及び、ディスプレイ３を有している。また、使用時には、コントローラー１１０にキャプチャーデバイス１１１が装着される。キャプチャーデバイス１１１はコントローラー１１０と一体でもよい。コントローラー１１０は、コントローラー１１０全体の動作を制御するＣＰＵ１０１、ＩＰＬ等のＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ１０３、表示装置２用のプログラム等の各種データを記憶するＳＳＤ１０４、通信ネットワーク９との通信を制御するネットワークコントローラー１０５、及び、ＵＳＢメモリ５との通信を制御する外部記憶コントローラー１０６を備えている。

コントローラー１１０はグラフィクスを専門に扱うＧＰＵ(Graphics Processing Unit)１１２、及び、ＧＰＵからの出力画像をディスプレイ３やテレビ会議端末７へ出力するために画面表示の制御及び管理を行うディスプレイコントローラー１１３を備えている。

更に、コントローラー１１０は、接触センサ１１５の処理を制御するセンサコントローラー１１４、ディスプレイ３上に電子ペン４やユーザの手Ｈ等が接触したことを検知する接触センサ１１５を備えている。この接触センサ１１５は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ３の上側両端部に設置された２つ受発光装置が、ディスプレイ３に平行して複数の赤外線を放射し、ディスプレイ３の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。接触センサ１１５は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤ(Identification)をセンサコントローラー１１４に出力し、センサコントローラー１１４が、物体の接触位置である座標位置を特定する。なお、以下に示す全ての各ＩＤは、識別情報の一例である。

また、接触センサ１１５としては、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２の抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。

また、コントローラー１１０は、電子ペンコントローラー１１６を備えている。この電子ペンコントローラー１１６は、電子ペン４と通信することで、ディスプレイ３へのペン先のタッチやペン尻のタッチの有無を判断する。なお、電子ペンコントローラー１１６が、電子ペン４のペン先及びペン尻だけでなく、電子ペン４のユーザが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。

更に、コントローラー１１０は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＳＳＤ１０４、ネットワークコントローラー１０５、外部記憶コントローラー１０６、キャプチャーデバイス１１１、ＧＰＵ１１２、センサコントローラー１１４、及び電子ペンコントローラー１１６を、図３に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン１２０を備えている。

なお、コントローラー１１０用のプログラムは、ＣＤ−ＲＯＭ等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにして配布されてもよいし、プログラム配信サーバ（サーバの形態は、クラウドでもオンプレミスでも良い）からダウンロードされてもよい。

キャプチャーデバイス１１１はコントローラー１１０と例えばＵＳＢ３．０等のシリアルケーブルを介して接続することができる（受付装置の一例）。なお、ＨＤＭＩ（登録商標）、Display Port（登録商標）、又は、ＶＧＡ等のディスプレイケーブルを介して接続してもよい。また、無線で通信してもよい。キャプチャーデバイス１１１は、ノートＰＣ６が出力するコンテンツデータ（映像又は音声）を静止画又は動画（及び音声）として受け付ける。キャプチャーデバイス１１１は受け付けた静止画又は動画をコントローラー１１０に送信する。なお、静止画又は動画の送信は、コントローラー１１０からの要求に応じて行ってもよいし、要求がなくても送信してよい。

キャプチャーデバイス１１１はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）やＰＲＯＭ(Programmable ROM)などにＥＤＩＤを保持しており、コントローラー１１０だけでなく、ノートＰＣ６からも取得できるようになっている。

なお、ノートＰＣ６とキャプチャーデバイス１１１は、ＨＤＭＩ（登録商標）、Display Port（登録商標）、又は、ＶＧＡ等のディスプレイケーブルを介して接続することができる。また、キャプチャーデバイス１１１とノートＰＣ６は無線で映像信号を送信してもよい。

ディスプレイ３は、コントローラー１１０と例えばＯＰＳ Ｉ/Ｆ（Open Pluggable Specification)等のケーブルを介して接続することができる。なお、ＨＤＭＩ（登録商標）、Display Port（登録商標）、又は、ＶＧＡ等のディスプレイケーブルを介して接続してもよい。また、無線で通信してもよい。ディスプレイ３は、ノートＰＣ６が出力した静止画又は動画を表示する。また、手書きデータを表示することができる。また、他の拠点や自拠点の画像を表示することもできる。

なお、ディスプレイ３はいわゆる液晶や有機ＥＬなどのフラットパネルディスプレイのほか、プロジェクタ、ＨＵＤ（Head Up Display）などでもよい。

ディスプレイ３はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）やＰＲＯＭ(Programmable ROM)などにＥＤＩＤを保持しており、コントローラー１１０から取得できるようになっている。

続いて、図４乃至図１７を用いて、表示装置２の機能構成について説明する。なお、先ずは、図４を用いて、表示装置２の全体的な機能構成について説明する。図４は、表示装置２の機能ブロック図である。

表示装置２は、図３に示されているハードウェア構成及びプログラムによって、図４にされている各機能構成を有する。表示装置２は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。また、表示装置２は、大きく分けて、クライアント部２０及びサーバ部９０の両方によって構成されている。クライアント部２０及びサーバ部９０は、表示装置２の１台の筐体内で実現される機能である。そして、表示装置２が主催装置となる場合には、この表示装置２では、クライアント部２０とサーバ部９０が実現される。また、表示装置２が参加装置となる場合には、この表示装置２では、クライアント部２０は実現されるが、サーバ部９０は実現されない。即ち、図２において、表示装置２ａが主催装置で、表示装置２ｂが参加装置となる場合、表示装置２ａのクライアント部２０は、同じ表示装置２ａ内に実現されたサーバ部９０を介して、他の表示装置２ｂのクライアント部２０と通信を行う。一方、表示装置２ｂのクライアント部２０は、他の表示装置２ａ内に実現されたサーバ部９０を介して、他の表示装置２ａのクライアント部と通信を行う。

＜＜クライアント部の機能構成＞＞
続いて、主に図４乃至図６を用いて、クライアント部２０の機能構成について説明する。クライアント部２０は、映像取得部２１、座標検知部２２、自動調整部２３、接触検知部２４、イベント振分部２５、操作処理部２６、ジェスチャ処理部２７、映像重畳部２８、画像処理部３０、及び通信制御部６０を有する。

このうち、映像取得部２１は、ケーブル１０に接続されたノートＰＣ６の出力映像を取得する（図４ではキャプチャーデバイス１１１が省略されているがキャプチャーデバイス１１１から取得する）。映像取得部２１は、ノートＰＣ６から画像信号を受信すると、この画像信号を解析して、この画像信号によって形成されるノートＰＣ６の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、画像取得部３１に出力する。

座標検知部２２は、ディスプレイ３上でユーザによって生じたイベント（ディスプレイ３上にユーザの手Ｈがタッチされた動作等）の座標位置を検出する。また、座標検知部２２は、タッチされた面積も検出する。

自動調整部２３は、表示装置２の起動時に起動され、接触センサ１１５が座標検知部２２に適切な値を出力できるように、接触センサ１１５の光センサ方式におけるセンサーカメラの画像処理のパラメータを調整する。

接触検知部２４は、ユーザによって生じたイベント（ディスプレイ３上に電子ペン４のペン先又は電子ペン４のペン尻が押下（タッチ）された動作等）を検出する。

イベント振分部２５は、座標検知部２２によって検知されたイベントの座標位置と接触検知部２４によって検出された検出結果を、ストローク描画、ＵＩ操作、及びジェスチャ操作の各イベントに振り分ける。

ここで、「ストローク描画」は、ディスプレイ３上に図１７に示されている後述のストローク画像（Ｂ）が表示されている場合に、ユーザがディスプレイ３上で電子ペン４を押下し、この押下した状態で電子ペン４を移動させ、最終的にディスプレイ３上から電子ペン４を離すまでのイベントである。このストローク描画により、例えば、アルファベット「Ｓ」や「Ｔ」等がディスプレイ３上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集したりするイベントも含まれる。

「ＵＩ操作」は、ディスプレイ３上に図１７に示されている後述のＵＩ画像（Ａ）が表示されている場合に、ユーザが電子ペン４又は手Ｈによって所定の位置を押下したイベントである。このＵＩ操作により、例えば、電子ペン４により描画される線の色や幅等が設定される。

「ジェスチャ操作」は、ディスプレイ３上に図１７に示されている後述のストローク画像（Ｂ）が表示されている場合に、ユーザが手Ｈでディスプレイ３上をタッチしたり移動したりさせるイベントである。このジェスチャ操作により、例えば、ユーザがディスプレイ３に手Ｈをタッチさせた状態で手Ｈを移動させることで、画像の拡大（若しくは縮小）、表示領域の変更、又は、ページ切り換え等を行うことができる。

操作処理部２６は、イベント振分部２５によってＵＩ操作と判断されたものから、イベントが発生されたＵＩの要素にしたがって、各種操作を実行する。このＵＩの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。
ジェスチャ処理部２７は、イベント振分部２５によってジェスチャ操作と判断されたものに対応した操作を実行する。

イベント振分部２５、操作処理部２６、ジェスチャ処理部２７、及び、ストローク処理部３２は、ユーザの操作を受け付ける操作受付部９９となる。

映像重畳部２８は、後述の表示重畳部３６で重畳された画像を映像としてディスプレイ３等に対して表示する。また、映像重畳部２８は、ノートＰＣ６等からの映像に対して、テレビ会議端末７等から送られて来た映像をピクチャ・イン・ピクチャする。更に、映像重畳部２８は、ピクチャ・イン・ピクチャされてディスプレイ３の一部に表示された映像を、ディスプレイ３の全体に表示させるための切り替えを行う。

画像処理部３０は、図１７に示されているような各画像レイヤの重畳処理等を行う。この画像処理部３０は、画像取得部３１、ストローク処理部３２、ＵＩ画像生成部３３、背景生成部３４、レイアウト管理部３５、表示重畳部３６、ページ処理部３７、ファイル処理部４０、ページデータ記憶部３００、及び遠隔ライセンス管理テーブル３１０を有している。

このうち、画像取得部３１は、映像取得部２１で取得された映像から、各フレームを画像として取得する。画像取得部３１は、この画像のデータを、ページ処理部３７に出力する。この画像は、図１７に示されているノートＰＣ６等からの出力画像（Ｃ）に相当する。

ストローク処理部３２は、イベント振分部２５によって割り振られたストローク描画に係るイベントに基づいて、画像を描画したり、描画された画像を削除したり、描画された画像を編集する。このストローク描画による画像は、図１７に示されているストローク画像（Ｂ）に相当する。また、このストローク描画に基づいた画像の描画、削除、編集の各結果は、後述の操作データとして、操作データ記憶部８４０に記憶される。

ＵＩ画像生成部３３は、表示装置２に予め設定されているＵＩ（ユーザインターフェース）画像を生成する。このＵＩ画像は、図１７に示されているＵＩ画像（Ａ）に相当する。

背景生成部３４は、ページ処理部３７がページデータ記憶部３００から読み出したページデータのうちのメディアデータを、ページ処理部３７から受信する。背景生成部３４は、この受信したメディアデータを表示重畳部３６に出力する。また、このメディアデータによる画像は、図１７に示されている背景画像（Ｄ）に相当する。背景画像（Ｄ）のパターンは、無地、グリッド表示等である。

レイアウト管理部３５は、表示重畳部３６に対して、画像取得部３１、ストローク処理部３２、及びＵＩ画像生成部３３（又は背景生成部３４）から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部３５は、表示重畳部３６に対して、出力画像（Ｃ）及びストローク画像（Ｂ）を、ＵＩ画像（Ａ）及び背景画像（Ｄ）中のどの位置に表示させるか又は非表示にさせるかを指示することができる。

表示重畳部３６は、レイアウト管理部３５から出力されたレイアウト情報に基づき、画像取得部３１、ストローク処理部３２、及びＵＩ画像生成部３３（背景生成部３４）から出力された各画像のレイアウトを行う。

ページ処理部３７は、ストローク画像（Ｂ）のデータと出力画像（Ｃ）のデータを、１つのページデータにまとめてページデータ記憶部３００に記憶する。ストローク画像（Ｂ）のデータは、図７に示されているストローク配列データＩＤで示されるストローク配列データ（各ストロークデータ）として、ページデータの一部を成す。出力画像（Ｃ）のデータは、図７に示されているメディアデータＩＤで示されているメディアデータとして、ページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部３００から読み出されると、背景画像（Ｄ）のデータとして取り扱われる。

また、ページ処理部３７は、一旦記憶されたページデータのうちのメディアデータを、背景生成部３４を介して表示重畳部３６に送信することで、映像重畳部２８が背景画像（Ｄ）をディスプレイ３に再表示させることができる。また、ページ処理部３７は、ページデータのうちのストローク配列データ（各ストロークデータ）を、ストローク処理部３２に戻すことで、ストロークの再編集ができる状態にすることができる。更に、ページ処理部３７は、ページデータを削除したり複製したりすることもできる。

即ち、ページ処理部３７がページデータ記憶部３００にページデータを記憶する時点でディスプレイ３上に表示されている出力画像（Ｃ）のデータは、一旦、ページデータ記憶部３００に記憶され、その後にページデータ記憶部３００から読み出される際には、背景画像（Ｄ）を示すメディアデータとして読みされる。そして、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、ストローク画像（Ｂ）を示すストローク配列データを、ストローク処理部３２に出力する。また、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、背景画像（Ｄ）を示すメディアデータを、背景生成部３４に出力する。

表示重畳部３６は、 画像取得部３１からの出力画像（Ｃ）、ストローク処理部３２からのストローク画像（Ｂ）、ＵＩ画像生成部３３からのＵＩ画像（Ａ）、及び、背景生成部３４からの背景画像（Ｄ）を、レイアウト管理部３５によって指定されたレイアウトにしたがって重畳する。これにより、図１７に示されているように、各画像が重なってもユーザが見える順に、ＵＩ画像（Ａ）、ストローク画像（Ｂ）、出力画像（Ｃ）、及び背景画像（Ｄ）の各レイアの構成となっている。

また、表示重畳部３６は、図１７に示されている画像（Ｃ）と画像（Ｄ）を切り替えて、画像（Ａ）及び画像（Ｂ）に対して排他的に重畳することも可能である。例えば、当初、画像（Ａ）、画像（Ｂ）及び画像（Ｃ）が表示されている状態で、表示装置２とノートＰＣ６等との間のケーブル１０が抜かれた場合には、レイアウト管理部３５の指定によって、画像（Ｃ）を重畳対象から外し、画像（Ｄ）を表示させることができる。この場合に、また、表示重畳部３６は、表示の拡大、表示の縮小、表示領域の移動処理も行う。

ページデータ記憶部３００は、図７に示されているようなページデータを記憶する。図７は、ページデータを示す概念図である。ページデータは、ディスプレイ３に表示される１ページ分のデータ（ストローク配列データ（各ストロークデータ）及びメディアデータ）である。なお、ページデータに含まれるパラメータの種類が多いため、ここでは、図７乃至図１０に分けて、ページデータの内容を説明する。

ページデータは、図７に示されているように、任意の１ページを識別するためのページデータＩＤ、このページの表示を開始した時刻を示す開始時刻、ストロークやジェスチャ等によるページの内容の書き換えが行われなくなった時刻を示す終了時刻、電子ペン４やユーザの手Ｈによるストロークによって生じたストローク配列データを識別するためのストローク配列データＩＤ、及びメディアデータを識別するためのメディアデータＩＤが関連付けて記憶されている。ストローク配列データは、後述の図１７に示されているストローク画像（Ｂ）がディスプレイ３上に表示されるためのデータである。メディアデータは、後述の１６に示されている背景画像（Ｄ）がディスプレイ３上に表示されるためのデータである。

このようなページデータにより、例えば、ユーザが電子ペン４によってアルファベット「Ｓ」を描く場合は一筆書きとなるため、ストロークデータＩＤが１つで一文字のアルファベット［Ｓ］が示される。ところが、ユーザが電子ペン４によってアルファベット「Ｔ」を描く場合、二筆書きとなるため、ストロークデータＩＤが２つで一文字のアルファベット「Ｔ」が示されることになる。

また、ストローク配列データは、図８に示されているように詳細な情報を示している。図８は、ストローク配列データを示す概念図である。図８に示されているように、１つのストローク配列データは、複数のストロークデータによって表される。そして、１つのストロークデータは、このストロークデータを識別するためのストロークデータＩＤ、１つのストロークの書き始めの時刻を示す開始時刻、１つのストロークの書き終わりの時刻を示す終了時刻、ストロークの色、ストロークの幅、及び、ストロークの通過点の配列を識別するための座標配列データＩＤを示している。

更に、この座標配列データは、図９に示されているように詳細な情報を示している。図９は、座標配列データを示す概念図である。図９に示されているように、座標配列データは、ディスプレイ３上の１点（Ｘ座標値、Ｙ座標値）、この１点を通過したときのストロークの開始時刻からの差分の時刻（ｍｓ）、及び、この１点における電子ペン４の筆圧の各情報を示している。即ち、図９に示されている１点の集まりが、図８に示されている１つの座標配列データで示されている。例えば、ユーザが電子ペン４によってアルファベット「Ｓ」を描く場合、一筆書きとなるが、「Ｓ」を描き終えるまでに、複数の通過点を通過するため、座標配列データは、これら複数の通過点の情報を示している。

また、図７に示されているページデータのうちのメディアデータは、図１０に示されているように詳細な情報を示している。図１０は、メディアデータを示す概念図である。図１０に示されているように、メディアデータは、図７に示されているページデータにおけるメディアデータＩＤ、メディアデータのデータ種類、ページ処理部３７からページデータ記憶部３００にページデータが記憶された記録時刻、ページデータによってディスプレイ３上に表示される画像の位置（Ｘ座標値、Ｙ座標値）及び画像のサイズ（幅、高さ）、並びにメディアデータの内容を示すデータが関連付けられて示されている。このうち、ページデータによってディスプレイ３上に表示される画像の位置は、ディスプレイ３の左上端の座標を（Ｘ座標値，Ｙ座標値）＝（０，０）とした場合に、ページデータによって表示される画像の左上端の位置を示している。

また、図４に戻り、遠隔ライセンス管理テーブル３１０は、遠隔共有処理を実行するために必要なライセンスデータを管理する。この遠隔ライセンス管理テーブル３１０では、図１１に示されているように、表示装置２のプロダクトＩＤ、認証に用いられるライセンスＩＤ、及びライセンスの有効期限が関連付けて管理されている。

＜＜ファイル処理部の機能構成＞＞
続いて、図５を用いて、図４に示されているファイル処理部４０の機能構成を説明する。なお、図５は、ファイル処理部の機能ブロック図である。

ファイル処理部４０は、リカバリ処理部４１、ファイル入力部４２ａ、ファイル出力部４２ｂ、ファイル変換部４３、ファイル送信部４４、アドレス帳入力部４５、バックアップ処理部４６、バックアップ出力部４７、設定管理部４８、設定ファイル入力部４９ａ、及び設定ファイル出力部４９ｂを有している。更に、ファイル処理部４０は、アドレス帳管理テーブル４１０、バックアップデータ記憶部４２０、設定ファイル記憶部４３０、及び接続先管理テーブル４４０を有している。

このうち、リカバリ処理部４１は、表示装置２が異常終了した後に、異常終了を検知し、未保存のページデータを復旧する。例えば、正常終了の場合は、ページデータがＰＤＦファイルとしてファイル処理部４０を介してＵＳＢ５に記録されるが、電源がダウンした等の異常終了の場合は、ページデータがページデータ記憶部３００に記録されたままになっている。そのため、再び、電源オンになった際に、リカバリ処理部４１は、ページデータ記憶部３００からページデータを読み出すことで復旧させる。

ファイル入力部４２ａは、ＵＳＢメモリ５から、ＰＤＦファイルを読み込み、各ページをページデータとしてページデータ記憶部３００に記憶する。

ファイル変換部４３は、ページデータ記憶部３００に記憶されているページデータを、ＰＤＦ形式のファイルに変換する。

ファイル出力部４２ｂは、ファイル変換部４２によって出力されたＰＤＦファイルをＵＳＢメモリ５に記録する。

ファイル送信部４４は、ファイル変換部４３によって生成されたＰＤＦファイルを、電子メールに添付して送信する。このファイルの送信先は、表示重畳部３６によってディスプレイ３上にアドレス帳管理テーブル４１０の内容を表示し、ファイル送信部４４がユーザによるタッチパネル等の入力装置の操作により、宛先の選択を受け付けることによって決定される。アドレス帳管理テーブル４１０には、図１２に示されているように、宛先の名前及び宛先の電子メールのメールアドレスが関連付けて管理されている。また、ファイル送信部４４が、ユーザによるタッチパネル等の入力装置の操作により、宛先としてのメールアドレスの入力を受け付けることもできる。

アドレス帳入力部４５は、ＵＳＢメモリ５から電子メールアドレスの一覧ファイルを読み込み、アドレス帳管理テーブル４１０で管理する。

バックアップ処理部４６は、ファイル出力部４２ｂによって出力されたファイルや、ファイル送信部４４によって送信されたファイルを、バックアップデータ記憶部４２０に記憶することでバックアップする。なお、ユーザがバックアップ設定しない場合は、バックアップの処理は行われない。バックアップデータは、図１３に示されているように、ＰＤＦ形式で記憶される。

バックアップ出力部４７は、バックアップされたファイルをＵＳＢメモリ５に記憶する。この記憶の際には、ユーザによるタッチパネル等の入力装置の操作により、セキュリティーのためにパスワードが入力される。

設定管理部４８は、表示装置２の各種設定情報を設定ファイル記憶部４３０に記憶したり読み出したりして管理する。この各種設定情報としては、例えば、ネットワーク設定、日付や時刻の設定、地域や言語の設定、メールの設定、アドレス帳の設定、接続先リストの設定、バックアップに関する設定が挙げられる。なお、ネットワーク設定は、例えば、表示装置２のＩＰアドレスの設定、ネットマスクの設定、デフォルトゲートウェイの設定、又はＤＮＳ(Domain Name System)の設定等である。

設定ファイル出力部４９ｂは、表示装置２の各種設定情報を、設定ファイルとしてＵＳＢメモリ５に記録させる。なお、設定ファイルはセキュリティーによって、ユーザは中身を見ることができない。

設定ファイル入力部４９ａは、ＵＳＢメモリ５に記憶されている設定ファイルを読み込み、各種設定情報を表示装置２の各種設定に反映させる。

接続先リスト入力部５０は、ＵＳＢメモリ５から遠隔共有処理の接続先ＩＰアドレスの一覧ファイルを読み込み、接続先管理テーブル４４０で管理する。なお、図１４に示されているように、接続先管理テーブル４４０は、表示装置２が遠隔共有処理に参加しようとする参加装置である場合、この参加装置のユーザが主催装置としての役割を果たす表示装置２のＩＰアドレスを入力する手間を削減するために、予め管理しておくためのテーブルである。この接続先管理テーブル４４０では、参加されることが可能な主催装置としての表示装置２が設置されている拠点の名称、及び主催装置としての表示装置２のＩＰアドレスが関連付けて管理されている。

なお、接続先管理テーブル４４０は無くてもよい。但し、この場合には、参加装置のユーザは、主催装置との間で遠隔要求処理の開始するために、タッチパネル等の入力装置によって、主催装置のＩＰアドレスを入力する必要がある。そのため、参加装置のユーザは、電話や電子メール等によって、主催装置のユーザから、主催装置のＩＰアドレスを知得する。

＜＜通信制御部の機能構成＞＞
次に、図６を用いて、通信制御部６０の機能構成について説明する。通信制御部６０は、通信ネットワーク９を介して、他の表示装置２と行う通信や、サーバ部９０における後述の通信制御部７０と行う通信を制御する。そのため、通信制御部６０は、遠隔開始処理部６１、遠隔参加処理部６２、遠隔画像送信部６３、遠隔画像受信部６４、遠隔操作送信部６５、遠隔操作受信部６６、及び参加拠点管理テーブル６１０を有している。

このうち、遠隔開始処理部６１は、同じ表示装置２のサーバ部９０に対して、新たに遠隔共有処理を開始する要求を行い、サーバ部９０から要求の結果を受信する。この場合、遠隔開始処理部６１は、遠隔ライセンス管理テーブル３１０を参照し、ライセンス情報（プロダクトＩＤ、ライセンスＩＤ、及び有効期限）が管理されている場合には、遠隔共有処理を開始する要求を行うことができる。但し、ライセンス情報が管理されていない場合には遠隔共有処理を開始する要求を行うことができない。

参加拠点管理テーブル６１０は、表示装置２が主催装置である場合、現在、遠隔共有処理に参加している参加装置としての表示装置２を管理するテーブルである。この参加拠点管理テーブル６１０では、図１５に示されているように、参加中の表示装置２が設置されている拠点の名称及び当該表示装置２のＩＰアドレスが関連付けて管理されている。

遠隔参加処理部６２は、通信ネットワーク９を介して、既に遠隔共有処理を開始している主催装置としての表示装置２のサーバ部９０における遠隔接続要求受信部７１に対して、遠隔共有処理への参加要求を行う。この場合も、遠隔参加処理部６２は、遠隔ライセンス管理テーブル３１０を参照する。また、遠隔参加処理部６２が、既に開始されている遠隔共有処理に参加する場合には、接続先管理テーブル４４０を参照して、参加先の表示装置２のＩＰアドレスを取得する。なお、遠隔参加処理部６２によって接続先管理テーブルが参照されず、ユーザによるタッチパネル等の入力装置の操作により参加先の表示装置２のＩＰアドレスが入力されてもよい。

遠隔画像送信部６３は、映像取得部２１から画像取得部３１を介して送られて来た出力画像（Ｃ）を、サーバ部９０に送信する。

遠隔画像受信部６４は、サーバ部９０から、他の表示装置２に接続されたノートＰＣ６からの画像データを受信し、表示重畳部３６に出力することで、遠隔共有処理を可能にする。

遠隔操作送信部６５は、遠隔共有処理に必要な各種操作データをサーバ部９０に送信する。この各種操作データとしては、例えば、ストロークの追加、ストロークの削除、ストロークの編集（拡大、縮小、移動）、ページデータの記憶、ページデータの作成、ページデータの複製、ページデータの削除、表示されているページの切り替え等に関するデータが挙げられる。また、遠隔操作受信部６６は、サーバ部９０から、他の表示装置２で入力された操作データを受信し、画像処理部３０に出力することで、遠隔共有処理を行う。

＜サーバ部の機能構成＞
続いて、図６を用いて、サーバ部９０の機能構成について説明する。サーバ部９０は、各表示装置２に設けられており、いずれの表示装置２であっても、サーバ部９０としての役割を果たすことができる。そのため、サーバ部９０は、通信制御部７０、及びデータ管理部８０を有している。

＜＜通信制御部の機能構成＞＞
通信制御部７０の機能構成について説明する。通信制御部７０は、同じ表示装置２内のクライアント部２０における通信制御部６０、及び通信ネットワーク９を介して他の表示装置２内のクライアント部２０における通信制御部６０との通信を制御する。データ管理部８０は、操作データや画像データ等を管理する。

更に詳細に説明すると、通信制御部７０は、遠隔接続要求受信部７１、遠隔接続結果送信部７２、遠隔画像受信部７３、遠隔画像送信部７４、遠隔操作受信部７５、及び遠隔操作送信部７６を有している。

このうち、遠隔接続要求受信部７１は、遠隔開始処理部６１からの遠隔共有処理の開始要求を受信し、遠隔参加処理部６２からの遠隔共有処理に対する参加要求を受信する。遠隔接続結果送信部７２は、遠隔開始処理部６１へ遠隔共有処理の開始要求の結果を送信し、遠隔参加処理部６２へ遠隔共有処理に対する参加要求の結果を送信する。

遠隔画像受信部７３は、遠隔画像送信部６３からの画像データ（出力画像（Ｃ）のデータ）を受信し、後述の遠隔画像処理部８２に送信する。遠隔画像送信部７４は、遠隔画像処理部８２から画像データを受信し、遠隔画像受信部６４に対して、この画像データを送信する。

遠隔操作受信部７５は、遠隔操作送信部６５からの操作データ（ストローク画像（Ｂ）等のデータ）を受信し、後述の遠隔操作処理部８３に送信する。遠隔操作送信部７６は、遠隔操作処理部８３から操作データを受信し、遠隔操作受信部６６に対して、この操作データを送信する。

＜＜データ管理部の機能構成＞＞
次に、図６を用いて、データ管理部８０の機能構成について説明する。データ管理部８０は、遠隔接続処理部８１、遠隔画像処理部８２、遠隔操作処理部８３、操作合成処理部８４、及びページ処理部８５を有している。更に、サーバ部９０は、パスコード管理部８１０、参加拠点管理テーブル８２０、画像データ記憶部８３０、操作データ記憶部８４０、及びページデータ記憶部８５０を有している。

このうち、遠隔接続処理部８１は、遠隔共有処理の開始、及び遠隔共有処理の終了を行う。また、遠隔接続処理部８１は、遠隔接続要求受信部７１が、遠隔開始処理部６１から遠隔共有処理の開始要求と共に受信したライセンス情報、又は、遠隔参加処理部６２から遠隔共有処理の参加要求と共に受信したライセンス情報に基づいて、ライセンスの有無やライセンスの期間内であるかを確認する。更に、遠隔接続処理部８１は、クライアント部としての他の表示装置２からの参加要求が予め定められた参加可能数を超えていないかを確認する。

更に、遠隔接続処理部８１は、他の表示装置２から遠隔共有処理に対する参加要求があった際に送られて来たパスコードが、パスコード管理部８１０で管理されているパスコードと同じであるか否かを判断し、同じである場合には、遠隔共有処理の参加を許可する。なお、このパスコードは、新たに遠隔共有処理を開始する際に、遠隔接続処理部８１によって発行され、遠隔共有処理に参加しようとする参加装置としての表示装置２のユーザが、主催装置としての表示装置２のユーザから、電話や電子メール等により伝えられる。これにより、遠隔共有処理に参加しようとする参加装置のユーザが、タッチパネル等の入力装置によって参加装置にパスコードを入力して参加要求することで、参加が許可されることになる。なお、セキュリティーよりもユーザの使い勝手を優先して、ライセンス状況の確認だけで、パスコードの確認を省略してもよい。

また、表示装置２が主催装置の場合、遠隔接続処理部８１は、参加装置の遠隔参加処理部６２から通信ネットワーク９を介して送られて来た参加要求に含まれる参加拠点情報を、サーバ部９０の参加拠点管理テーブル８２０に記憶する。そして、遠隔接続処理部８１は、参加拠点管理テーブル８２０に記憶されている遠隔拠点情報を読み出し、遠隔接続結果送信部７２に送信する。遠隔接続結果送信部７２は、同じ主催装置のクライアント部２０における遠隔開始処理部６１に遠隔拠点情報を送信する。遠隔開始処理部６１は、参加拠点管理テーブルに６１０に、遠隔拠点情報を記憶する。これにより、主催装置では、クライアント部２０及びサーバ部９０の両方で、遠隔拠点情報を管理することになる。

遠隔画像処理部８２は、遠隔共有処理中の各表示装置２のクライアント部（主催装置である自己の表示装置２のクライアント部を含む）に接続されたノートＰＣ６等からの画像データ（出力画像（Ｃ））を受信して画像データ記憶部８３０に記憶すると共に、主催装置である自己の表示装置２のサーバ部９０に届いた時間順で遠隔共有処理すべき画像データの表示順を判断する。また、遠隔画像処理部８２は、参加拠点管理テーブル８２０を参照し、遠隔共有処理に参加中の全ての表示装置２のクライアント部２０（主催装置である自己の表示装置２のクライアント部を含む）に、通信制御部７０（遠隔画像送信部７４）を介して、上記判断した順番で画像データを送信する。

遠隔操作処理部８３は、遠隔共有処理中の各表示装置２のクライアント部（主催装置である自己の表示装置２のクライアント部を含む）で描画されたストローク画像等の各種操作データ（ストローク画像（Ｂ）等）を受信し、主催装置である自己の表示装置２のサーバ部９０に届いた時間順で遠隔共有処理すべき画像の表示順を判断する。なお、各種操作データは、上記の各種操作データと同じである。また、遠隔操作処理部８３は、参加拠点管理テーブル８２０を参照し、遠隔共有処理中の全ての表示装置２のクライアント部２０（主催装置である自己の表示装置２のクライアント部を含む）に操作データを送信する。

操作合成処理部８４は、遠隔操作処理部８３から出力された各表示装置２の操作データにグローバルシーケンスを付与し、操作データを操作データ記憶部８４０に記憶すると共に遠隔操作処理部８３に戻す。この操作データは、遠隔操作送信部７６から、主催装置である表示装置２のクライアント部、及び参加装置である表示装置２のクライアント部のそれぞれに送信されることで、各表示装置２で同じ操作データに係る画像が表示される。したがって、操作データ記憶部８４０は各表示装置２のクライアント部も共有する。

ページ処理部８５は、クライアント部２０の画像処理部３０におけるページ処理部３７と同様の機能を有し、サーバ部９０でも、図７乃至図１０に示されているページデータを、ページデータ記憶部８５０に記憶する。なお、ページデータ記憶部８５０は、画像処理部３０におけるページデータ記憶部３００と同じ内容であるため、その説明を省略する。

図１６は、実施形態に係る操作データ記憶部８４０に記憶される操作データ管理テーブルの一例を示す概念図である。操作データ管理テーブルには、同じ会議に参加している各表示装置２の間で相互通信を行うためのセッションを識別するためのセッションＩＤ毎に、表示装置２の間で共有される操作データと画像データに情報が記憶されて管理されている。

操作データ管理テーブルに示されているデータには、各データを識別するためのＩＤ、各データの発生順序を示すシーケンス番号（グローバルシーケンス番号）、データの内容を示す情報（ｂｏｄｙ）、並びに親となるデータを特定するための情報（ｐａｒｅｎｔ）が含まれている。例えば、複数の表示装置２によって実行されている遠隔会議を示す会議情報の場合、操作データ管理テーブルには、実行されている会議を識別するための会議ＩＤ（セッションＩＤ）、会議によって生成されたページを示す情報（ｃｈｉｌｄｒｅｎ）並びに表示装置２に現在表示されている画面を構成するページを示す情報（Current Page）が含まれている。また、例えば、ページデータの場合、操作データ管理テーブルには、ページ（ページデータ）を識別するためのページＩＤ、該当するページを構成する背景画像データの保存位置を示すＵＲＬ(Uniform Resource Locator)が含まれている。

更に、例えば、ストロークデータの場合、操作データ管理テーブルには、「ストローク描画」イベントによって生成されたストロークデータを識別するためのストロークＩＤ、ストロークデータの内容を示す情報、及び、親となるページ（ページデータ）を特定するための情報（ｐａｒｅｎｔ）が含まれている。この場合、ストロークデータの内容を示す情報（ｂｏｄｙ）には、描画されたストロークの色、描画されたストロークの線の太さを示す幅、及び、描画されたストロークの頂点（ｘ,ｙ）の情報が含まれている。この操作データ管理テーブルにより、表示装置２は、特定の通信セッションを用いたビデオ会議等によって発生したストロークデータを含む共有画面に関する各種データを管理することができる。

＜実施形態の処理又は動作＞
続いて、図１８及び図１９を用いて、本実施形態の処理又は動作について説明する。なお、図１８及び図１９は、各表示装置２の処理を示したシーケンス図である。

図１８及び図１９に示す実施形態では、表示装置２ａが遠隔共有処理を主催する主催装置（サーバ部及びクライアント部）としての役割を果たしており、表示装置２ｂ，２ｃが遠隔共有処理に参加する参加装置（クライアント部）としての役割を果たす場合について説明する。また、ここでは、表示装置２ａ，２ｂ，２ｃには、それぞれディスプレイ３ａ，３ｂ，３ｃが接続され、更に、それぞれノートＰＣ６ａ，６ｂ，６ｃが接続されている。また、表示装置２ａ，２ｂ，２ｃでは、それぞれ電子ペン４ａ，４ｂ，４ｃが使用される。

（参加の処理）
まずは、図１８を用いて、表示装置２ｂ，２ｃが遠隔共有処理に参加するための処理について説明する。

ユーザが表示装置２ａの電源スイッチをオンにすると、表示装置２ａのクライアント部２０が起動する。そして、ユーザがタッチパネル等の入力装置によってサーバ部９０を起動させる操作をすると、クライアント部２０の遠隔開始処理部６１から同じ表示装置２ａのサーバ部９０における遠隔接続要求受信部７１に、サーバ部９０の処理を開始させる指示を出力する。これにより、表示装置２ａでは、クライアント部２０だけでなくサーバ部９０も各種処理を開始可能となる（ステップＳ２１）。

次に、表示装置２ａのクライアント部２０におけるＵＩ画像生成部３３が表示装置２ａとの接続を確立するための接続情報を生成し、映像重畳部２８が、ＵＩ画像生成部３３から表示重畳部３６を介して得た接続情報をディスプレイ３ａに表示させる（ステップＳ２２）。この接続情報には、主催装置のＩＰアドレス、及び今回の遠隔共有処理のために生成されたパスコードが含まれている。この場合、パスコード管理部８１０に記憶されているパスコードは、図６に示されている遠隔接続処理部８１によって読み出され、遠隔接続結果送信部７２、遠隔開始処理部６１の順に送信される。更に、パスコードは、遠隔開始処理部６１を含む通信制御部６０から、図４に示されている画像処理部３０に送信され、最終的にＵＩ画像生成部３３に入力される。これにより、接続情報には、パスコードが含まれる。そして、接続情報は、表示装置２ａのユーザによって、電話や電子メールにより、表示装置２ｂ，２ｃのユーザに伝えられる。なお、接続先管理テーブル４４０があれば、接続情報には、主催装置のＩＰアドレスが含まれていなくても、参加装置は参加要求を行うことができる。

次に、表示装置２ｂ，２ｃでは、各ユーザによるタッチパネル等の入力装置の操作によって接続情報の入力を受け付けると、各表示装置２ａ，２ｂのクライアント部２０における遠隔参加処理部６２が、接続情報のＩＰアドレスに基づき、通信ネットワーク９を介して、表示装置２ａのサーバ部９０における通信制御部７０に対してパスコードを送信して参加要求を行う（ステップＳ２３，Ｓ２４）。これにより、通信制御部７０の遠隔接続要求受信部７１は、各表示装置２ｂ，２ｃから、参加要求（パスコードを含む）を受信し、このパスコードを遠隔接続処理部８１に出力する。

次に、遠隔接続処理部８１は、各表示装置２ｂ，２ｃから受信したパスコードに対し、パスコード管理部８１０で管理されているパスコードを用いて認証する（ステップＳ２５）。そして、遠隔接続結果送信部７２が、各表示装置２ｂ，２ｃのクライアント部２０に認証結果を通知する（ステップＳ２６，Ｓ２７）。ステップＳ２５の認証により、各表示装置２ｂ，２ｃが正当な表示装置２であると判断されていた場合には、主催装置である表示装置２ａと、参加装置である表示装置２ｂ，２ｃとの遠隔共有処理の通信が確立され、各表示装置２ｂ，２ｃのクライアント部２０における遠隔参加処理部６２が、それぞれ他の表示装置２との間の遠隔共有処理の開始を可能にする（ステップＳ２８，Ｓ２９）。

（出力画像の表示）
続いて、図１８を用いて、遠隔共有処理における出力画像（Ｃ）が表示される処理について説明する。

まず、表示装置２ｂは、ディスプレイ３ｂに出力画像（Ｃ）を表示する（ステップＳ３０）。具体的には、表示装置２ｂの画像取得部３１が、ノートＰＣ６ｂから映像取得部２１を介して、ノートＰＣ６ｂで表示されている出力画像（Ｃ）のデータを受信し、表示重畳部３６及び映像重畳部２８を介してディスプレイ３ｂに送信することで、ディスプレイ３ｂは出力画像（Ｃ）を表示する。

次に、表示装置２ｂの画像取得部３１を含む画像処理部３０が、遠隔画像送信部６３に出力画像（Ｃ）のデータを送信することで、遠隔画像送信部６３を含む通信制御部６０が通信ネットワーク９を介して、主催装置である表示装置２ａの通信制御部７０に出力画像（Ｃ）のデータを送信する（ステップＳ３１）。これにより、表示装置２ａの遠隔画像受信部７３は、出力画像（Ｃ）のデータを受信し、遠隔画像処理部８２に出力することで、遠隔画像処理部８２が画像データ記憶部８３０に出力画像（Ｃ）のデータを記憶する。

次に、主催装置である表示装置２ａは、ディスプレイ３ａに出力画像（Ｃ）を表示する（ステップＳ３２）。具体的には、表示装置２ａの遠隔画像処理部８２は、遠隔画像受信部７３から受信した出力画像（Ｃ）のデータを、遠隔画像送信部７４に出力する。遠隔画像送信部７４は、同じ主催装置である表示装置２ａのクライアント部２０における遠隔画像受信部６４に、出力画像（Ｃ）のデータを出力する。遠隔画像受信部６４は、表示重畳部３６に出力画像（Ｃ）のデータを出力する。表示重畳部３６は、映像重畳部２８に出力画像（Ｃ）のデータを出力する。映像重畳部２８はディスプレイ３ａに出力画像（Ｃ）のデータを出力する。これにより、ディスプレイ３ａは、出力画像（Ｃ）を表示する。

次に、主催装置としての表示装置２ａのサーバ部９０における遠隔画像送信部７４を含む通信制御部７０は、通信ネットワーク９を介して、出力画像（Ｃ）のデータの送信元である表示装置２ｂ以外の表示装置２ｃの通信制御部６０に出力画像（Ｃ）のデータを送信する（ステップＳ３３）。これにより、参加装置である表示装置２ｃの遠隔画像受信部６４は、出力画像（Ｃ）のデータを受信する。

次に、表示装置２ｃは、ディスプレイ３ｃに出力画像（Ｃ）を表示する（ステップＳ３４）。具体的には、表示装置２ｃの遠隔画像受信部６４が、上記ステップＳ３３によって受信された出力画像（Ｃ）のデータを、表示装置２ｃの表示重畳部３６に出力する。表示重畳部３６は、映像重畳部２８に出力画像（Ｃ）のデータを出力する。映像重畳部２８はディスプレイ３ｃに出力画像（Ｃ）のデータを出力する。これにより、ディスプレイ３ｃは、出力画像（Ｃ）を表示する。

なお、出力画像（Ｃ）のデータだけでなく、ＵＩ画像（Ａ）、及びストローク画像（Ｂ）の各データが、表示重畳部３６に入力されている場合には、表示重畳部３６により、重畳画像（Ａ，Ｂ，Ｃ）が生成され、映像重畳部２８はディスプレイ３ｃに重畳画像（Ａ，Ｂ，Ｃ）のデータを出力する。また、テレビ会議端末７から映像重畳部２８に、テレビ会議用の映像（Ｅ）のデータが送られて来ている場合には、映像重畳部２８は、重畳画像（Ａ，Ｂ，Ｃ）にピクチャ・イン・ピクチャによりテレビ会議用の映像（Ｅ）のデータを重畳して、ディスプレイ３ｃに出力する。

（重畳画像の表示）
続いて、図１９を用いて、共有処理における重畳画像が表示される処理について説明する。

まず、表示装置２ｂは、ユーザが電子ペン４ｂを用いて表示装置２ｂにストローク画像（Ｂ）を描画する（ステップＳ４１）。

次に、表示装置２ｂの表示重畳部３６は、図１７に示されているように、ＵＩ画像（Ａ）、及び出力画像（Ｃ）に対して、ストローク画像（Ｂ）を重畳し、映像重畳部２８が表示装置２ｂのディスプレイ３ｂ上に、重畳された重畳画像（Ａ，Ｂ，Ｃ）を表示させる（ステップＳ４２）。具体的には、表示装置２ｂのストローク処理部３２が座標検知部２２及び接触検知部２４からイベント振分部２５を介して、操作データとしてのストローク画像（Ｂ）のデータを受信し、表示重畳部３６に送信する。これにより、表示重畳部３６は、ＵＩ画像（Ａ）、及び出力画像（Ｃ）に対して、ストローク画像（Ｂ）を重畳することができ、映像重畳部２８が表示装置２ｂのディスプレイ３ｂ上に重畳画像（Ａ，Ｂ，Ｃ）を表示させることができる。

次に、表示装置２ｂのストローク処理部３２を含む画像処理部３０が、遠隔操作送信部６５にストローク画像（Ｂ）のデータを送信することで、表示装置２ｂの遠隔操作送信部６５は、通信ネットワーク９を介して、主催装置である表示装置２ａの通信制御部７０にストローク画像（Ｂ）のデータを送信する（ステップＳ４３）。これにより、表示装置２ａの遠隔操作受信部７５は、ストローク画像（Ｂ）のデータを受信し、遠隔操作処理部８３に出力することで、遠隔操作処理部８３が操作合成処理部８４にストローク画像（Ｂ）のデータを出力する。このようにして、表示装置２ｂで描画されたストローク画像（Ｂ）のデータは、描画される度に、主催装置である表示装置２ａの遠隔操作処理部８３に順次送信される。このストローク画像（Ｂ）のデータは、図８に示されているストロークデータＩＤ毎に示されるデータである。よって、例えば、上記したように、ユーザが電子ペン４によってアルファベット「Ｔ」を描く場合は二筆書きとなるため、２つのストロークデータＩＤのそれぞれで示されるストローク画像（Ｂ）のデータが順次送信される。

次に、主催装置である表示装置２ａは、ディスプレイ３ａに、表示装置２ｂから送られて来たストローク画像（Ｂ）のデータが含まれた重畳画像（Ａ，Ｂ，Ｃ）を表示する（ステップＳ４４）。具体的には、表示装置２ａの操作合成処理部８４は、遠隔操作処理部８３を介して順次送られて来た複数のストローク画像（Ｂ）のデータを合成して、操作データ記憶部８４０に記憶すると共に遠隔操作処理部８３に戻す。これにより、遠隔操作処理部８３は、操作合成処理部８４から受信した、合成後のストローク画像（Ｂ）のデータを、遠隔操作送信部７６に出力する。遠隔操作送信部７６は、同じ主催装置である表示装置２ａのクライアント部２０における遠隔操作受信部６６に、合成後のストローク画像（Ｂ）のデータを出力する。遠隔操作受信部６６は、画像処理部３０における表示重畳部３６に、合成後のストローク画像（Ｂ）のデータを出力する。よって、表示重畳部３６は、ＵＩ画像（Ａ）、及び出力画像（Ｃ）に対して、合成後のストローク画像（Ｂ）を重畳する。最後に、映像重畳部２８が、表示重畳部３６によって重畳された重畳画像（Ａ，Ｂ，Ｃ）をディスプレイ３ａ上に表示させる。

次に、主催装置としての表示装置２ａのサーバ部９０における遠隔操作送信部７６を含む通信制御部７０は、通信ネットワーク９を介して、ストローク画像（Ｂ）のデータの送信元である表示装置２ｂ以外の表示装置２ｃの通信制御部６０に、合成後のストローク画像（Ｂ）のデータを送信する（ステップＳ４５）。これにより、参加装置である表示装置２ｃの遠隔操作受信部６６は、合成後のストローク画像（Ｂ）のデータを受信する。

次に、表示装置２ｃは、ディスプレイ３ｃに重畳画像（Ａ，Ｂ，Ｃ）を表示する（ステップＳ３４）。具体的には、表示装置２ｃの遠隔操作受信部６６が、上記ステップＳ４５によって受信された合成後のストローク画像（Ｂ）のデータを、表示装置２ｃの画像処理部３０に出力する。画像処理部３０の表示重畳部３６は、ＵＩ画像（Ａ）、及び出力画像（Ｃ）の各データと、合成後のストローク画像（Ｂ）のデータを重畳し、映像重畳部２８に重畳画像（Ａ，Ｂ，Ｃ）のデータを出力する。映像重畳部２８は、ディスプレイ３ｃに重畳画像（Ａ，Ｂ，Ｃ）のデータを出力する。これにより、ディスプレイ３ｃは、重畳画像（Ａ，Ｂ，Ｃ）を表示する。

なお、上記処理では、ディスプレイ３上に出力画像（Ｃ）が表示されているが、この出力画像（Ｃ）に代えて、背景画像（Ｄ）を表示してもよい。また、出力画像（Ｃ）と背景画像（Ｄ）との排他的な関係をやめて、出力画像（Ｃ）と背景画像（Ｄ）との両方を同時にディスプレイ３上に表示させてもよい。

（参加の終了）
続いて、図１９を用いて、参加装置が遠隔共有処理への参加を終了する処理について説明する。図１９に示す実施形態では、表示装置２ｃが参加を終了する処理が示されている。

まず、表示装置２ｃでは、ユーザによるタッチパネル等の入力装置の操作によって参加の終了要求を受け付けると、遠隔参加処理部６２は、主催装置としての表示装置２ａのサーバ部９０における通信制御部７０に、参加の終了要求を行う（ステップＳ４７）。これにより、通信制御部７０の遠隔接続要求受信部７１は、表示装置２ｃから、参加の終了要求を受信し、遠隔接続処理部８１に、表示装置２ｃのＩＰアドレスと共に参加の終了要求を出力する。そして、表示装置２ａの遠隔接続処理部８１は、遠隔接続要求受信部７１から送られて来たＩＰアドレスに基づいて、参加拠点管理テーブル８２０から、参加の終了要求を行った表示装置２ｃのＩＰアドレス及び表示装置２ｃが設置されている拠点の名称を削除し、遠隔接続結果送信部７２に、表示装置２ｃのＩＰアドレス及び削除した旨の通知を出力する。

次に、遠隔接続結果送信部７２を含んだ通信制御部７０が、通信ネットワーク９を介して、表示装置２ｃのクライアント部２０における通信制御部６０に、参加の終了を指示する（ステップＳ４８）。これにより、表示装置２ｃにおける通信制御部６０の遠隔参加処理部６２が、遠隔共有処理の通信を切断することで、参加の終了処理を行うことで、参加が終了する（ステップＳ４９）。

＜負荷の制御に関する表示装置の機能＞
次に、図２０を用いて負荷の制御に関する表示装置２の機能を説明する。図２０は、表示装置２の機能をブロックに分けて説明する機能ブロック図の一例である。表示装置２は、負荷監視部２０１、性能値制御部２０２、出力部２０３、外部入力部２０４、遠隔コミュニケーション制御部２０５、アプリ制御部２０６、外部入力共有部２０７、及び、表示制御部２０８を有している。表示装置２が有する各機能は、図３に示されている各構成要素のいずれかが、ＳＳＤ１０４からＲＡＭ１０３上に展開されたプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は手段である。

まず機能の全体を説明する。負荷監視部２０１はＣＰＵ使用率を監視してＣＰＵ使用率のレベル（高・低、又は、高・中・低）を性能値制御部２０２に通知する。性能値制御部２０２は、表示装置２に搭載されている各種の機能に関して性能値を設定できる。外部入力部２０４、遠隔コミュニケーション制御部２０５、アプリ制御部２０６、及び、外部入力共有部２０７は性能値が設定される機能の一例である。性能値制御部２０２は、負荷監視部２０１からＣＰＵ使用率のレベルを受信し、レベル高であれば性能値を小さくして性能を低下させる、レベル低であれば性能値を大きくして性能を増大させる。一例として、ＣＰＵ使用率が０％〜３３％であればレベル低、３４％〜６７％であればレベル中、６８％〜１００％であればレベル高、が挙げられる。ただレベルの閾値はこの例に限られずに０％〜１００％の中にて複数段階で設定してよい。

以下、詳細に各機能ブロックを説明する。負荷監視部２０１は、例えば、ＣＰＵ使用率を定期的に、又は、手書きデータなどに関するイベントの発生ごとに監視する。不定期に監視してもよい。なお、ＣＰＵ使用率はオペレーティングシステムから取得できる。負荷監視部２０１はＣＰＵ使用率が閾値を超えた場合、ＣＰＵ使用率のレベル高を性能値制御部２０２に通知する。閾値以下の場合にＣＰＵ使用率のレベル低を性能値制御部２０２に通知する。なお、負荷監視部２０１は、メモリ使用率、ネットワーク通信速度など表示装置２の負荷に影響しやすい情報を監視してもよい。

性能値制御部２０２は制御対象機能２１０とその機能に関する性能値を指定して、性能値を制御する。制御対象機能２１０は性能値により表示装置２の負荷に影響を与える機能である。性能値制御部２０２は、ＣＰＵ使用率がレベル高かつ制御対象機能２１０の性能が最低値以外であれば、性能値を一段階下げる。ＣＰＵ使用率がレベル低かつ制御対象機能２１０の性能値が最高値以外であれば、性能値を一段階上げる。

性能値制御部２０２は性能値を変更する優先度に関する性能値変更優先度を保持している。性能値変更優先度は性能値変更優先度記憶部２１１に予め記憶されている。性能値変更優先度については表１で説明する。

外部入力部２０４はノートＰＣ６などの情報端末とＨＤＭＩ（登録商標）などのケーブルで接続され、情報端末のデスクトップ映像をディスプレイ３に表示する。外部入力部２０４はその映像のフレームレートを変更できる。フレームレートが外部入力部２０４の性能値である。フレームレートの変更方法には、一例として、キャプチャーデバイス１１１のＥＤＩＤ（Extended Display Identification DATA）のリフレッシュレートを外部入力部２０４が書き換える方法、キャプチャーデバイス１１１が取得する映像をキャプチャーデバイス１１１が間引く方法、などがある。

遠隔コミュニケーション制御部２０５は、いわゆるテレビ会議のアプリケーションである。サーバに接続して、ユーザが指定した宛先端末を呼び出し、宛先端末とセッションを確立することで、映像音声通話が可能なビデオ会議を実現する。遠隔地にある各端末装置はカメラ、マイク、ディスプレイ、及び、スピーカを有している情報処理装置か又はテレビ会議端末７である。自拠点のテレビ会議端末７又は内蔵するカメラによって撮像された画像が他の拠点の端末装置のディスプレイに表示され、自拠点のテレビ会議端末７又は内蔵するマイクによって取得された音声が他の拠点の端末装置のスピーカから出力される。他の拠点についても同様である。したがって、遠隔地のユーザ同士が遠隔でコミュニケーションすることができる。遠隔コミュニケーション制御部２０５が他の拠点から受信した映像及び自拠点の映像は表示装置２がディスプレイ３に表示するビデオ会議の画面となる。この画面の画面サイズが性能値である。

表示制御部２０８は、外部入力部２０４に入力された映像をディスプレイ３に表示する。また、遠隔コミュニケーション制御部２０５が受信した映像及び自拠点のカメラが撮像した映像をディスプレイ３に表示する。

アプリ制御部２０６は表示装置２にインストールされた任意のアプリケーションを起動したり終了したりできる。また、そのアプリケーションのプロセス優先度を変更できる。起動、終了、及び、プロセス優先度の変更にはオペレーティングシステムのＡＰＩ（Application Interface）を使用する。なお、プロセス優先度は、オペレーティングシステムが参照して各アプリケーションに割り当てるリソース（ＣＰＵ、メモリ）を調整するための制御値となる。例えば、プロセス優先度が高いほど、ＣＰＵが割り当てられる時間が長くなり、多くのメモリが割り当てられる。したがって、プロセス優先度が性能値である。

外部入力共有部２０７は、外部入力部２０４が受け付けた映像を、ネットワーク接続された他の拠点の表示装置２に送信することで、多拠点で映像を共有する。外部入力共有部２０７は他の拠点の表示装置２に転送する場合のフレームレートを変更できる。したがって、フレームレートが性能値である。外部入力部２０４が上記のようにフレームレートを変更する。外部入力部２０４が変更した後、又は、変更していない場合に、外部入力共有部２０７がフレームレートを変更する方法としては、映像を間引くなどの方法がある。

出力部２０３は、性能値が変更された旨をユーザに通知する。ユーザは表示装置２の性能値が低下したことや元に戻ったことなどを把握できる。なお、通知は表示又は音声出力のいずれで行われてもよい。なお、出力部２０３は性能値制御部２０２が兼ねてもよい。

表１は、性能値変更優先度記憶部２１１に記憶されている性能値変更優先度の一例を示す。まず表１（ａ）は、各機能の性能値の一例を示す。性能値の変更が可能な各機能べつに最高の性能値から最低の性能値までの一例が設定されている。例えば、外部入力部２０４では、フレームレートが高いほど性能値が高く、遠隔コミュニケーション制御部２０５では映像サイズが大きいほど性能値が高い。また、アプリ制御部２０６では、アプリＡ，アプリＢのプロセス優先度が高いほど性能値が高い。表示装置２に必要なアプリケーション（図４〜図６で説明した機能を実現するアプリ）でない他のアプリケーションがアプリＡ，アプリＢである。したがって、アプリＡ、アプリＢのプロセス優先度を低にすることで負荷を低減できる。

表１（ａ）の性能値は一例であり、例えば外部入力部２０４の性能値として解像度を変更してもよい。また、各機能の性能値はより多段階に分けられていてもよい。

表１（ｂ）は表１（ａ）の性能値に基づいて、開発者等が決定した性能値変更優先度の一例である。優先度に対応づけて、各機能の変更前及び変更後の性能値が登録されている。表示装置２は表１（ａ）の性能値が最も高い状態で起動する。この状態で、ＣＰＵ使用率のレベルが悪化すると、性能値制御部２０２が優先度の順に一段階ずつ性能値を変更する。例えば、外部入力30fps→外部入力20fps、外部入力20fps→外部入力10fps、ビデオ映像サイズ大→ビデオ映像サイズ中、アプリＡ優先度高→アプリＡ優先度低、外部入力10fps→外部入力1fps、ビデオ映像サイズ中→ビデオ映像サイズ小、アプリＢ優先度高→アプリＢ優先度低の順に変更する。

ＣＰＵ使用率のレベルが好転すると、性能値制御部２０２が優先度の逆順に一段階ずつ性能値を変更する。つまり、性能値制御部２０２は表１（ｂ）の矢印の向きを逆方向にして性能値を変化させる。

表１（ｂ）に示すように、同じ機能の性能値を続けて変更するのでなく、いろいろな機能の性能値に分散させて性能値を変更できる。性能値制御部２０２は１つの機能の性能値を最高から最低まで変化させる前に、他の機能の性能値を変更する。したがって、例えば、フレームレートだけが最低になる前に、映像サイズやアプリのプロセス優先度を変更できる。

また、表１（ｂ）の優先度は機能間の依存関係が考慮されている。例えば、機能Ａの設定値がαでないと機能Ｂの設定値をβに変更できない場合は、機能Ａの設定値をαに変更してから機能Ｂの設定値をβに変更する。

＜ＣＰＵ使用率の測定方法＞
次に、図２１，図２２を用いてＣＰＵ使用率を監視する方法を説明する。図２１と図２２はどちらもＣＰＵ使用率の監視方法であるが、図２２ではＣＰＵ使用率を多段階に監視する。

図２１は、負荷監視部２０１がＣＰＵ使用率を監視する手順を示すフローチャート図の一例である。図２１の処理は、表示装置２の起動中、例えば一定間隔（1秒など）で実行される。図２２ではＣＰＵ使用率の細かな変動でＣＰＵ使用率のレベルが変化し、性能値の乱高下が発生しないように、一定回数以上（例えば５回程度）連続してＣＰＵ使用率が閾値を超えていた（又は閾値以下になった）場合に、負荷監視部２０１がＣＰＵ使用率のレベルを性能値制御部２０２に通知する。

負荷監視部２０１はＣＰＵ使用率を測定する（Ｓ１１）。例えばオペレーティングシステムからＣＰＵ使用率を取得する。

負荷監視部２０１はＣＰＵ使用率を保存しておく（Ｓ１２）。一定回数のＣＰＵ使用率を監視するためである。

そして、負荷監視部２０１は直近の一定回数以上（例えば５回程度）連続してＣＰＵ使用率が閾値より大きいか否かを判断する（Ｓ１３）。なお、５回は一例であり、５回未満又は６回以上でもよい。

ステップＳ１３の判断がＮｏの場合、負荷監視部２０１はＣＰＵ使用率のレベル低を性能値制御部２０２に通知する（Ｓ１４）。

ステップＳ１３の判断がＹｅｓの場合、負荷監視部２０１はＣＰＵ使用率のレベル高を性能値制御部２０２に通知する（Ｓ１５）。

図２２は、負荷監視部２０１がＣＰＵ使用率を監視する手順を示すフローチャート図の一例である。図２１との違いは、図２２ではＣＰＵ使用率のレベルに中が追加されている点である。なお、図２２の説明では主に図２１との相違を説明する。また、図２２におけるＣＰＵ使用率の監視方法の考え方を、図２３を用いて説明する。

まず、ステップＳ２１、Ｓ２２は図２１のステップＳ１１、Ｓ１２と同様でよい。

次に、負荷監視部２０１は現在のＣＰＵ使用率のレベルが高、中、低のいずれであるかを判断する（Ｓ２３）。現在のＣＰＵ使用率のレベルはＣＰＵ使用率そのものでなく、最後に、性能値制御部２０２に通知したＣＰＵ使用率のレベルである。表示装置２の起動直後は、ＣＰＵ使用率のレベルは低（デフォルト値）である。また、レベルを３段階に分けるためには２つの閾値が使用される。以下、閾値高（第一の閾値の一例）、閾値低（第二の閾値の一例）とする。なお、レベルはより多段階に分けてもよい。

・現在のＣＰＵ使用率のレベルが高の場合
負荷監視部２０１は、直近の一定回数（例えば５回程度）連続してＣＰＵ使用率が閾値高以下か否かを判断する（Ｓ２４）。

ステップＳ２４の判断がＮｏの場合、負荷監視部２０１はＣＰＵ使用率のレベル高を性能値制御部２０２に通知する（Ｓ２６）。

ステップＳ２４の判断がＹｅｓの場合、負荷監視部２０１は直近の一定回数（例えば５回程度）連続してＣＰＵ使用率が閾値低以下か否かを判断する（Ｓ２５）。

ステップＳ２５の判断がＮｏの場合、負荷監視部２０１はＣＰＵ使用率のレベル中を性能値制御部２０２に通知する（Ｓ２７）。

ステップＳ２５の判断がＹｅｓの場合、負荷監視部２０１はＣＰＵ使用率のレベル低を性能値制御部２０２に通知する（Ｓ２８）。

・現在のＣＰＵ使用率のレベルが中の場合
負荷監視部２０１は、直近の一定回数（例えば５回程度）連続してＣＰＵ使用率が閾値高より大きいか否かを判断する（Ｓ２９）。

ステップＳ２９の判断がＹｅｓの場合、負荷監視部２０１はＣＰＵ使用率のレベル高を性能値制御部２０２に通知する（Ｓ３１）。

ステップＳ２９の判断がＮｏの場合、負荷監視部２０１は直近の一定回数（例えば５回程度）連続してＣＰＵ使用率が閾値低以下か否かを判断する（Ｓ３０）。

ステップＳ３０の判断がＮｏの場合、負荷監視部２０１はＣＰＵ使用率のレベル中を性能値制御部２０２に通知する（Ｓ３２）。

ステップＳ３０の判断がＹｅｓの場合、負荷監視部２０１はＣＰＵ使用率のレベル低を性能値制御部２０２に通知する（Ｓ３３）。

・現在のＣＰＵ使用率のレベルが低の場合
負荷監視部２０１は、直近の一定回数（例えば５回程度）連続してＣＰＵ使用率が閾値低より大きいか否かを判断する（Ｓ３４）。

ステップＳ３４の判断がＹｅｓの場合、負荷監視部２０１は直近の一定回数（例えば５回程度）連続してＣＰＵ使用率が閾値高より大きいか否かを判断する（Ｓ３５）。

ステップＳ３５の判断がＹｅｓの場合、負荷監視部２０１はＣＰＵ使用率のレベル高を性能値制御部２０２に通知する（Ｓ３６）。

ステップＳ３５の判断がＮｏの場合、負荷監視部２０１はＣＰＵ使用率のレベル中を性能値制御部２０２に通知する（Ｓ３７）。

ステップＳ３４の判断がＮｏの場合、負荷監視部２０１はＣＰＵ使用率のレベル低を性能値制御部２０２に通知する（Ｓ３８）。

図２３は、ＣＰＵ使用率のレベルの通知方法を説明する図である。図２２で説明したように、負荷監視部２０１は例えば５回程度連続してＣＰＵ使用率が低、中、又は高である場合に、低、中、又は高と判断する。１回でもＣＰＵ使用率が低、中、又は高でない場合は現在のＣＰＵ使用率のレベルを維持する。なお、図２３では現在のＣＰＵ使用率のレベルは低であるとする。
・期間ＡのＣＰＵ使用率は全てが中でも高でもないので、ＣＰＵ使用率のレベルは低であると判断される。
・期間Ｂ〜Ｄにおいても、ＣＰＵ使用率は全てが中でも高でもないので、ＣＰＵ使用率のレベルは低であると判断される。
・期間ＥのＣＰＵ使用率は全てが中なので、ＣＰＵ使用率のレベルは中であると判断される。

このように、１回でもＣＰＵ使用率が中又は高でないなら、ＣＰＵ使用率のレベルは低を維持すると判断され、全てのＣＰＵ使用率が中又は高なら、ＣＰＵ使用率のレベルが中又は高と判断される。この制御により、ＣＰＵ使用率のレベルが頻繁に変わることを防止できる。

＜性能値の変更＞
図２４は、ＣＰＵ使用率のレベルに基づいて性能値制御部２０２が性能値を変更する手順を示すフローチャート図の一例である。

まず、性能値制御部２０２は負荷監視部２０１からＣＰＵ使用率のレベルを受信する（Ｓ４１）。性能値制御部２０２はＣＰＵ使用率のレベルが高、中、低のいずれであるかを判断する（Ｓ４２）。なお、図２１のフローチャート図が実行される場合、中というＣＰＵ使用率のレベルは存在しないが、中というＣＰＵ使用率のレベルが受信されなくても図２４の処理で対応できる。

通知されたＣＰＵ使用率のレベルが高の場合、性能値制御部２０２は現在設定されている性能値の優先度が最低か否かを判断する（Ｓ４３）。すなわち、表１では優先度７の性能値で表示装置２が動作しているか判断する。

ステップＳ４３の判断がＹｅｓの場合、それ以上性能値を下げられないので、図２４の処理は終了する。

ステップＳ４３の判断がＮｏの場合、性能値制御部２０２は優先度に基づいて性能値を一段階下げる（Ｓ４４）。

通知されたＣＰＵ使用率のレベルが中の場合、性能値を変更しないでよいので、図２４の処理は終了する。

通知されたＣＰＵ使用率のレベルが低の場合、性能値制御部２０２は現在設定されている性能値の優先度が最高か否かを判断する（Ｓ４５）。すなわち、表１では優先度１の性能値で表示装置２が動作しているかを判断する。

ステップＳ４５の判断がＹｅｓの場合、それ以上性能値を上げられないので、図２４の処理は終了する。

ステップＳ４５の判断がＮｏの場合、性能値制御部２０２は優先度に基づいて性能値を一段階上げる（Ｓ４６）。

このように、性能値制御部２０２はＣＰＵ使用率のレベルだけ見て性能値を制御すればよく、ＣＰＵ使用率のレベルの監視方法とは独立して性能値を制御できる。

＜ユーザへの通知例＞
性能値が変更された場合、ユーザの使用感に影響するので、表示装置２がユーザに通知することが好ましい。一方、性能値が変化するごとに通知すると、ユーザが煩わしく感じるおそれがある。そこで、出力部２０３は各機能の性能値が最高から下がったタイミングと、最高に戻ったタイミングでユーザに通知する。

図２５は、出力部２０３が性能値の変化をユーザに通知する処理を説明するフローチャート図の一例である。

まず、出力部２０３は性能値制御部２０２から変更により変わった現在の性能値を受信する（Ｓ５１）。例えば、表１（ｂ）に規定される優先度と性能値（変更前又は変更後）を受信する。

出力部２０３は性能値が最高から下がったか否かを判断する（Ｓ５２）。表１（ｂ）では、優先度１、３、４の性能値の制御において変更後の性能値（矢印方向）に変更された場合、該当する機能において性能値が最高から下がったと判断する。

ステップＳ５２の判断がＹｅｓの場合、出力部２０３は該当する機能が最高でないことを通知する（Ｓ５３）。

ステップＳ５２の判断がＮｏの場合、出力部２０３は性能値が最高に戻ったか否かを判断する（Ｓ５４）。表１（ｂ）では、優先度１、３、４の性能値の制御において変更前の性能値（矢印と逆方向）に変更された場合、性能値が最高に戻ったと判断する。

ステップＳ５４の判断がＹｅｓの場合、出力部２０３は該当する機能が最高に戻ったことを通知する（Ｓ５５）。

こうすることで、ユーザが煩わしく感じないように、性能値の変更をユーザに通知することができる。

図２６は、出力部が表示するメッセージの出力例を示す図である。図２６では画面の左上にメッセージが表示される。図２６（ａ）は性能値が最高でなくなった場合に表示されるメッセージを示す。図２６（ａ）では、「ビデオ会議又は遠隔ホワイトボードによりパフォーマンスが低下しているため、外部入力映像のフレームレートを落とします」と表示されている。

図２６（ｂ）は性能値が最高に戻った場合に表示されるメッセージを示す。図２６（ｂ）では、「外部入力映像のフレームレートが元に戻りました」と表示されている。この様に、性能値であるフレームレートが最高の状態から下がる場合に「フレームレートを落とします」との表示を行い、性能値であるフレームレートが最高の状態に戻る場合に「フレームレートが元に戻りました」との表示を行うことで、性能値の変更全ては通知されることがなくなり、ユーザに煩わしさを感じさせない。もちろん性能値が最高の状態から下がる場合のみを通知したり、性能値が最高の状態に戻る場合のみを通知したりしてもよい。

なお、画面上のメッセージの表示スペース９０１には制限があるので、メッセージはティッカーで表示してよい。ティッカーとは特定範囲内に文字列を移動させて全体を表示させる表示方式のことである。出力部２０３は音声でメッセージを読み上げてもよいし、性能値が最高でなくなった場合又は性能値が最高に戻った場合に対応する警告音で通知してもよい。

また、出力部２０３は、性能値の変更履歴をログとして保存するとよい。後日、管理者がログを確認できる。また、出力部２０３は、性能値が最高でなくなった場合又は性能値が最高に戻った場合に電子メールで管理者に通知してもよい。

＜主な効果＞
以上説明したように、本実施形態の表示装置２は、表示装置２の負荷に応じて負荷に影響する性能値を制御するので、表示装置２の負荷を制御できる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では、ＣＰＵ使用率に応じて性能値が変更されているが、表示装置の負荷としてメモリ使用率を使用してもよい。メモリ使用率を単体で使用してもよいし、ＣＰＵ使用率とメモリ使用率に重み付けして合計した値を使用してもよい。

また、本実施形態では表示装置２の一例として電子黒板を用いて説明したが、電子黒板と同様の機能を有する装置は、電子ホワイトボード、電子情報ボード、インタラクティブボードなどともいう。

また、表示装置２は、ＰＣなどの汎用的な情報処理装置がアプリを実行することでも実現できる。したがって、表示装置２は、ＰＣ、タブレット型ＰＣ、ウェアラブルＰＣ、スマートフォン、ＰＤＡ（Personal Digital Assistant）、カーナビ、ゲーム機、ＰＪ（Projector：プロジェクタ）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、自動車（Connected Car）、携帯電話、デジタルカメラなどでもよい。

また、図２０などの構成例は、表示装置２による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

２ 表示装置
３ ディスプレイ
６ ノートＰＣ
１１０ コントローラー
１１１ キャプチャーボード

特許4367856号公報

Claims (11)

1. 表示装置であって、
   前記表示装置の負荷を監視する負荷監視部と、
   前記負荷監視部が監視する前記負荷に応じて、予め設定されている性能値の優先度の順に前記表示装置の前記性能値を変更する性能値制御部と、
   前記性能値制御部が前記性能値を変更した旨を出力する出力部と、
   を有することを特徴とする表示装置。
2. 前記負荷監視部は、前記表示装置の負荷を繰り返し監視しており、
   前記負荷監視部は、連続して一定回数以上、前記表示装置の負荷が閾値を超えるか、又は、閾値以下になった場合に前記表示装置の負荷のレベルを変更し、
   前記性能値制御部は前記負荷のレベルに応じて前記表示装置の性能値を変更することを特徴とする請求項１に記載の表示装置。
3. 前記負荷監視部は、前記表示装置の負荷のレベルを高、中、又は低のいずれかで判断し、
   前記負荷監視部は現在の前記表示装置の負荷のレベルが高の場合、
   連続して一定回数以上、前記表示装置の負荷が第一の閾値以下でない場合、前記表示装置の負荷のレベルを高と判断し、
   連続して一定回数以上、前記表示装置の負荷が第一の閾値以下で、前記表示装置の負荷が当該第一の閾値よりも低い値を有する第二の閾値以下の場合、前記表示装置の負荷のレベルを低と判断し、
   連続して一定回数以上、前記表示装置の負荷が第一の閾値以下で、前記表示装置の負荷が第二の閾値より大きい場合、前記表示装置の負荷のレベルを中と判断することを特徴とする請求項２に記載の表示装置。
4. 前記負荷監視部は、前記表示装置の負荷のレベルを高、中、又は低のいずれかで判断し、
   前記負荷監視部は現在の前記表示装置の負荷のレベルが中の場合、
   連続して一定回数以上、前記表示装置の負荷が第一の閾値より大きい場合、前記表示装置の負荷のレベルを高と判断し、
   連続して一定回数以上、前記表示装置の負荷が第一の閾値以下でなく、前記表示装置の負荷が当該第一の閾値よりも低い値を有する第二の閾値以下の場合、前記表示装置の負荷のレベルを低と判断し、
   連続して一定回数以上、前記表示装置の負荷が第一の閾値以下でなく、前記表示装置の負荷が第二の閾値より大きい場合、前記表示装置の負荷のレベルを中と判断することを特徴とする請求項２又は３に記載の表示装置。
5. 前記負荷監視部は、前記表示装置の負荷のレベルを高、中、又は低のいずれかで判断し、
   前記負荷監視部は現在の前記表示装置の負荷のレベルが低の場合、
   連続して一定回数以上、前記表示装置の負荷が当該第一の閾値よりも低い値を有する第二の閾値以下の場合、前記表示装置の負荷のレベルを低と判断し、
   連続して一定回数以上、前記表示装置の負荷が第二の閾値より大きく、前記表示装置の負荷が第一の閾値より大きい場合、前記表示装置の負荷のレベルを高と判断し、
   連続して一定回数以上、前記表示装置の負荷が第二の閾値より大きく、前記表示装置の負荷が前記第一の閾値以下の場合、前記表示装置の負荷のレベルを中と判断することを特徴とする請求項３又は４に記載の表示装置。
6. 優先度に対応づけて機能べつに変更後の前記性能値が設定されている性能値変更優先度に基づいて、
   前記性能値制御部は前記表示装置の負荷のレベルが変化するごとに、前記優先度の順に前記表示装置の性能値を変更することを特徴とする請求項２乃至５のいずれか１項に記載の表示装置。
7. 前記性能値制御部は、１つの機能の前記性能値を最高から最低まで変化させる前に、他の機能の前記性能値を変更することを特徴とする請求項６に記載の表示装置。
8. 前記負荷監視部は、前記表示装置の負荷としてＣＰＵ使用率を監視し、
   前記性能値制御部は、前記性能値として外部から入力される映像のフレームレート、遠隔地から受信した映像のサイズ、及び、前記表示装置が実行するアプリケーションのプロセス優先度のうちの少なくとも１つを変更することを特徴とする請求項１乃至７のいずれか１項に記載の表示装置。
9. 前記出力部は、前記性能値が最高の状態から下がる場合、又は、前記性能値が最高の状態になる場合、に前記性能値を変更した旨を出力する請求項１乃至８のいずれか１項に記載の表示装置。
10. 表示装置が行う負荷制御方法であって、
    負荷監視部が、前記表示装置の負荷を監視するステップと、
    前記負荷監視部が監視する前記負荷に応じて、性能値制御部が予め設定されている性能値の優先度の順に前記表示装置の前記性能値を変更するステップと、
    出力部が、前記性能値制御部が前記性能値を変更した旨を出力するステップと、
    を有することを特徴とする負荷制御方法。
11. 表示装置を、
    前記表示装置の負荷を監視する負荷監視部と、
    前記負荷監視部が監視する前記負荷に応じて、予め設定されている性能値の優先度の順に前記表示装置の前記性能値を変更する性能値制御部と、
    前記性能値制御部が前記性能値を変更した旨を出力する出力部、
    として機能させるためのプログラム。

Images