JP2013175048A - 情報表示装置、及び情報表示方法 - Google Patents

Abstract

【課題】端末同士のコミュニケーションのミスを低減できる情報表示装置、及び情報表示方法を提供することを目的とする。
【解決手段】画像を表示する表示部と、ユーザーの操作を検出する入力部と、入力部で操作が行われた場合、表示部に表示されている画像を一時停止し、一時停止させた画像に入力部での操作に基づく画像を重畳する画像合成部と、を備える。
【選択図】図７

Description

本発明は、情報表示装置、及び情報表示方法に関する。

配信する映像に手書きの書き込みができるテレビ会議システムが知られている。このようなテレビ会議システムでは、パソコンから出力された画像、またはカメラで撮像された画像を表示装置に表示し、表示装置上に入力ペンなどで書き込みを行う。

また、特許文献１では、２台の電子カメラを、通信回線を介して相互に接続して、テレビ会議に用いることが開示されている。送信者側の電子カメラは、撮像した画像を受信者側の電子カメラに送信する。送信者側の電子カメラは、タッチタブレット上に送信者が描いたメモ画像（線画）を、自電子カメラの表示部に表示するとともに、受信者側の電子カメラにも送信する。受信者側の電子カメラは、受信した画像に、メモ画像を重ねて表示する。

特許第４３４９３７１号公報

しかしながら、特許文献１の技術では、カメラの撮影方向が移動した場合、表示装置に表示される映像と重畳された線画との関係がずれてしまうため、画像が指し示すものが何であるかが判らなくなくなるという問題があった。このように、特許文献１の技術では、コミュニケーションのミスが発生するという課題があった。

本発明は、上記の事情に鑑み成されたものであって、端末同士のコミュニケーションのミスを低減できる情報表示装置、及び情報表示方法を提供することを目的とする。

上記目的を達成するため、本発明の一態様に係る情報表示装置は、画像を表示する表示部と、ユーザーの操作を検出する入力部と、前記入力部で操作が行われた場合、前記表示部に表示されている画像を一時停止し、一時停止させた前記画像に、前記入力部での操作に基づく画像を重畳する画像合成部と、を備えることを特徴としている。

上記目的を達成するため、本発明の一態様に係る情報表示方法は、情報表示装置における情報表示方法であって、表示部が、画像を表示する表示手順と、入力部が、ユーザーの操作を検出する入力手順と、前記入力手順で操作が行われた場合、前記表示部に表示されている画像を一時停止し、一時停止させた前記画像に、前記入力手順での操作に基づく画像を重畳する画像合成手順と、を含むことを特徴としている。

本実施形態に係る情報表示装置は、画像を一時停止させ静止画としてから、一時停止させた画像に対して線画などを重畳する。この結果、本実施形態によれば、たとえ撮影者が撮影する方向が変わったとしても、正確に画面の画像と線画とを重ねることが可能となるため、端末同士のコミュニケーションのミスを低減できる。

本実施形態に係るヘッドマウントディスプレイの斜視図である。 本実施形態に係るヘッドマウントディスプレイを背面側から見た斜視図である。 本実施形態に係るヘッドマウントディスプレイの装着形態を示す図である。 本実施形態に係るディスプレイ本体の水平断面図である。 本実施形態に係るリモコンを示す斜視図である。 本実施形態に係るヘッドマウントディスプレイの機能ブロック図である。 本実施形態に係る処理部の機能ブロック図である。 本実施形態に係るヘッドマウントディスプレイを含む通信システムのシステム構成図である。 本実施形態に係る処理手順の一例を示すフローチャートである。 本実施形態に係る処理手順の一例を示すフローチャートである。 本実施形態に係る処理手順の一例を示すフローチャートである。 本実施形態に係る処理手順の一例を示すフローチャートである。 本実施形態に係る処理手順の一例を示すフローチャートである。 本実施形態に係る処理手順の一例を示すフローチャートである。 本実施形態に係る処理手順の一例を示すフローチャートである。 本実施形態に係る処理手順の一例を示すフローチャートである。 本実施形態に係る処理手順の一例を示すフローチャートである。 本実施形態に係る処理手順の一例を示すフローチャートである。 本実施形態に係る処理手順の一例を示すフローチャートである。 本実施形態に係るアバターの表示例を示す図である。 本実施形態に係るＬＣＤまたは表示部に表示される画像の構成の一例を説明する図である。 本実施形態に係るカーソルが表示された画像の一例である。 本実施形態に係る線画の一例である。 本実施形態に係るグリッドの一例を示す図である。 本実施形態に係るグリッドの他の例を示す図である。

本実施形態の情報表示装置は、複数の装置間で映像に対して画面に基づくコミュニケーションを行う場合、映像を一時停止させ静止画としてから、その画像に対して線画などを重畳する。
また、本情報表示装置は、最初に静止画を要求した端末がキャプチャーした画像が全端末に配信する。
以下、情報出力装置をヘッドマウントディスプレイに適用した例について説明するが、本発明はこれに限られない。

以下、本発明の実施形態について図面を参照しながら説明するが、本発明はこれに限定されない。以下の説明においては、必要に応じてＸＹＺ直交座標系を設定し、このＸＹＺ直交座標系を参照しつつ各部の位置関係について説明する。水平面内の所定方向をＸ軸方向、水平面内においてＸ軸方向と直交する方向をＹ軸方向、Ｘ軸方向及びＹ軸方向のそれぞれと直交する方向（すなわち鉛直方向）をＺ軸方向とする。また、Ｘ軸、Ｙ軸、及びＺ軸まわりの回転（傾斜）方向をそれぞれ、θＸ、θＹ、及びθＺ方向とする。

図１は、本実施形態のヘッドマウントディスプレイの斜視図である。図２は、本実施形態のヘッドマウントディスプレイを背面側から見た斜視図である。図３は、本実施形態のヘッドマウントディスプレイの装着形態を示す図である。

ヘッドマウントディスプレイ（頭部装着装置）１は、ディスプレイ本体２０と、ユーザーの頭部に装着されディスプレイ本体２０を支持するヘッドバンド４０と、を備えた単眼式のヘッドマウントディスプレイである。本実施形態のヘッドマウントディスプレイ１は、図３に示すように、両眼どちらでも使用可能である。図３（Ａ）には、ユーザーが右眼で表示部６０を見ている状態、図３（Ｂ）には左眼で見ている状態が示されている。また図２に示すように、ディスプレイ本体２０とヘッドバンド４０とは、連結ピン４１を介して着脱可能に構成されている。
なお、図１及び図２では、ディスプレイ本体２０の長手方向をＹ軸方向、ヘッドバンド４０がユーザーの頭部を挟持する方向をＸ軸方向としている。

以下、ヘッドマウントディスプレイ１の各部の構成について詳細に説明する。
ディスプレイ本体２０は、主要回路を内蔵するとともに操作部や各種インターフェースを備えた装置本体部２１と、装置本体部２１の先端に連結された表示部６０とを有する。

装置本体部２１は、図４に示す概略板状の筐体２１Ａを有する。本実施形態では、装置本体部２１においてヘッドバンド４０との接続部が設けられている側の端部（＋Ｙ側の端部）を基端部とし、この基端部と反対側の端部（−Ｙ側の端部）を先端部とする。また、装置本体部２１をヘッドバンド４０に装着した状態で、装置本体部２１のヘッドバンド４０側（＋Ｘ側）を内側、ヘッドバンド４０と反対側（−Ｘ側）を外側とする。

装置本体部２１の外面には、図１に示すように、メインスイッチ２８と、タッチスイッチ３４（入力部）と、集音マイク２４とが、筐体２１Ａの長手方向に沿って配置されている。
メインスイッチ２８はディスプレイ本体２０の電源のオンオフ操作を行うスイッチである。タッチスイッチ３４は、表面に手指等で触れることによりヘッドマウントディスプレイ１の各種操作を行うことができるタッチパネルである。集音マイク２４は、環境音を収集する外部マイクである。

装置本体部２１内面の基端部側に、図２に示すように、耳元スピーカー２３と、オーディオコネクター２６と、連結孔３１を有するヘッドバンドヒンジ３２とが設けられている。装置本体部２１内面の中央部に心拍数センサー１３７が設けられている。装置本体部２１の内側面の先端部には通話マイク３７が設けられている。

耳元スピーカー２３は、ユーザーの耳の近傍に配置される。耳元スピーカー２３からユーザーに音声情報が伝えられる。オーディオコネクター２６は、例えば図示しないイヤホンが接続される音声入出力端子である。ヘッドバンドヒンジ３２はヘッドバンド４０とのジョイント部である。通話マイク３７にはユーザーの音声が入力される。

心拍数センサー１３７は、ユーザーの顔の表面に接触させることでユーザーの心拍数を測定するセンサーである。心拍数センサー１３７は、発光ダイオード等を備えた発光部と、ユーザーの皮膚内部で反射した光を検知する受光部とを有する。心拍数センサー１３７は、血流の変化による反射光量の変化を検出することで心拍数をカウントする。心拍数センサー１３７はユーザーの目の近くに配置されるが、発光部から赤外域の光を射出させる構成とすればユーザーにまぶしさを感じさせることはない。

装置本体部２１の基端部側の側端面には、ＵＳＢコネクター２５と、操作スイッチ３０と、ビデオコネクター２７とが設けられている。
ＵＳＢコネクター２５はＵＳＢ（Universal Serial Bus）デバイスの接続端子である。本実施形態では、例えば図５に示すリモコン（リモートコントローラー）１４０が接続される。
操作スイッチ３０は、例えばトラックボールやスティックなどのポインティングデバイスである。操作スイッチ３０は表示部６０に表示される画面に正対するように設けられている。これにより、操作スイッチ３０における操作の左右方向と、上記画面の左右方向とが一致するので、ユーザーは画面を見ながら直感的に操作スイッチ３０を操作することが可能である。
ビデオコネクター２７は映像入出力端子である。

図４は、本実施形態のディスプレイ本体２０の水平断面図である。
図４に示すように、装置本体部２１には、筐体２１Ａの長手方向に沿って延びる板状の回路基板２９と、バッテリー３３とが内蔵されている。回路基板２９には、図示略の制御回路、電源回路等が実装されており、図示略の配線を介してディスプレイ本体２０の各部と電気的に接続されている。

装置本体部２１の外面に露出するタッチスイッチ３４の内側には、液晶パネルからなる表示パネル３６と、バックライト３５とが配置されている。本実施形態では、表示パネル３６の表示画像がタッチスイッチ３４を透過して表示される。表示パネル３６及びバックライト３５を、有機ＥＬパネルや電気泳動パネルとしてもよい。

ヘッドバンドヒンジ３２は、筐体２１Ａに設けられた凹曲面状の収容部３２ａと、収容部３２ａに嵌合された球状部３２ｂとからなるボールジョイントである。球状部３２ｂは、球面状の側面部と、この側面部を挟むように互いに平行に形成された２つの平面部を有する。２つの平面部を垂直に貫くように連結孔３１が形成されている。連結孔３１は軸方向視で六角形状に形成されている。連結孔３１にヘッドバンド４０の連結ピン４１が挿入されることによりディスプレイ本体２０とヘッドバンド４０とが連結される。

ヘッドバンドヒンジ３２を備えていることで、ディスプレイ本体２０は、図１に示したＡ方向（ヘッドバンドヒンジ３２を中心とするＸ軸回り）に回動させることができる。本実施形態において、ディスプレイ本体２０の回転可能範囲は２７０°程度とされる。このＸ軸回りの回転動作により、図３（Ａ）に示す右眼で画像を観察する形態と、図３（Ｂ）に示す左眼で画像を観察する形態との切替機能が実現される。

またヘッドバンドヒンジ３２はボールジョイントであるため、ディスプレイ本体２０は図１に示すＢ方向（ヘッドバンドヒンジ３２を中心とするＺ軸回り）に揺動させることもできる。この揺動操作により、ディスプレイ本体２０のユーザーの目や耳に対する位置を調整することができる。

ヘッドバンドヒンジ３２近傍の心拍数センサー１３７は、装置本体部２１の内面から突出するように設けられ、ヘッドマウントディスプレイ１の装着時にユーザーの顔の表面に当接可能とされている。バッテリー３３は一次電池、二次電池のいずれであってもよい。

表示部６０は、図１及び図２に示すように、装置本体部２１の先端部に連結されている。本実施形態において、表示部６０のヘッドバンド４０側を内側、ヘッドバンド４０と反対側を外側とする。表示部６０は、上面視（Ｚ軸視）において湾曲した形状を有するアーム部材であり、装置本体部２１との連結部から先端側へ向かうに従って内側へ湾曲する形状を有する。表示部６０の内面に、ファインダー開口部６７が設けられている。表示部６０の外面には、カメラ６４（撮像部）が設けられている。

図４に示すように、表示部６０は、ディスプレイヒンジ６１を介して装置本体部２１と連結されている。ディスプレイヒンジ６１は、表示部６０の筐体６０Ａに形成された凹曲面状の収容部６１ａと、装置本体部２１に形成され収容部６１ａに嵌合された球状部６１ｂとからなるボールジョイントである。

装置本体部２１の球状部６１ｂは、装置本体部２１の外面先端部に形成された筐体２１Ａの長手方向に対して斜めに延びる傾斜面に、この傾斜面の法線方向（図４のＹ’軸方向）に突出するようにして設けられている。

表示部６０は、ディスプレイヒンジ６１の球状部６１ｂに対してＹ’軸回りに自由に回転させることができる。本実施形態では、ディスプレイヒンジ６１が装置本体部２１の上記傾斜面に設けられており、表示部６０が内側に湾曲した形状を有している。

また、ディスプレイヒンジ６１がボールジョイントであることから、表示部６０は、Ｙ’軸回りの回転面に対して直交する方向（概ねＸ’軸に沿う方向）の揺動も可能である。この揺動動作により、ユーザーによるファインダー開口部６７の位置調整が容易になる。表示部６０と装置本体部２１との間隔を大きくすれば、表示部６０の揺動幅を大きくすることができる。
すなわち、本実施形態によれば、保持部であるディスプレイヒンジ６１は、表示部６０を、少なくとも１つ以上の軸周りに揺動が可能である。

ディスプレイヒンジ６１の球状部６１ｂには、球状部６１ｂを高さ方向（Ｙ’軸方向）に貫通する貫通孔６１ｃが形成されている。貫通孔６１ｃを介して、表示部６０の内部と装置本体部２１の内部とが連通されている。貫通孔６１ｃには不図示のケーブルが挿通される。挿通されたケーブルを介して回路基板２９と表示部６０の各部とが電気的に接続される。

表示部６０の内部には、バックライト６２と、表示パネル６３（表示部）と、カメラ６４（撮像部）と、プリズム６５と、反射ミラー６６と、前方ライト６８と、前方スピーカー７０と、結像レンズ７１と、撮像素子７２とが設けられている。

プリズム６５は、上面視（Ｚ軸視）で略三角形状の第１プリズム６５ａと第２プリズム６５ｂとを互いの面で貼り合わせた構成を有する。この貼り合わせ面以外の第１プリズム６５ａの他の二面のうち、一方の面に対向する位置に、液晶パネルからなる表示パネル６３が設けられている。表示パネル６３の背面に表示パネル６３を透過照明するバックライト６２が配置されている。第１プリズム６５ａの他方の面に対向する位置に反射ミラー６６が配置されている。反射ミラー６６は、ファインダー開口部６７のほぼ正面に位置する。

第２プリズム６５ｂの貼り合わせ面以外の他の二面のうち、一方の面はファインダー開口部６７に配置されたファインダー接眼面である。第２プリズム６５ｂの他方の面に対向する位置には結像レンズ７１を介して撮像素子７２が対向配置されている。

表示部６０において、表示パネル６３に表示された画像は、第１プリズム６５ａ、反射ミラー６６、第２プリズム６５ｂを介してファインダー開口部６７から射出され、ユーザーに観察される。また、ファインダー開口部６７を見ているユーザーの目元は、第２プリズム６５ｂ及び結像レンズ７１を介して撮像素子７２上に結像される。撮像素子７２を介して取得された目元の画像は、ユーザーの視線の方向や瞬き、表情の解析に用いられる。バックライト６２は、撮像素子７２による目元撮影の照明装置としても利用される。

カメラ６４は、例えば５００万画素〜１０００万画素の撮像素子を有し、オートフォーカス動作が可能に構成される。
本実施形態の場合、カメラ６４の撮影方向は、ユーザーの視線方向と一致するように設定される。撮影方向と視線方向との調整は、機械的に行ってもよく、画像処理により行ってもよい。例えば、カメラ６４を広角の映像を取得可能に構成し、ユーザーの目元画像から取得した視線方向の情報に基づいて、電気的に捕らえた映像の一部を、視線方向の映像として抜き出して表示パネル６３に表示させる。これにより、カメラ６４に調整機構を設けることなくユーザー正面の映像の撮影、表示が可能となる。

前方ライト６８は、例えばＬＥＤライトである。前方ライト６８は、赤、緑、青の各色の発光素子を有し、任意の色を任意のタイミングで発光させることが可能に構成してもよい。前方ライト６８は、発光色や発光タイミングにより外部に対して情報を表示する装置として用いてもよく、カメラ６４で撮影する際の照明装置として用いてもよい。

また、図４では図示を省略したが、本実施形態に係る表示部６０にはレーザー発信器が設けられている。レーザー発信器は、例えば前方ライト６８の近傍に設けることができる。レーザー発信器から射出される例えば赤色レーザー光を前方に照射することで、レーザー光によるポインティング（指標の表示）が可能である。

次に、ヘッドバンド４０について、図２を参照しつつ説明する。
ヘッドバンド４０は、図２に示すように、ユーザーの頭部を挟持する一対のヘッドパット（装着部材）４６、４７と、第１ヘッドバンド４３と、第２ヘッドバンド４４と、回動機構５６、５７とを備えている。

第１ヘッドバンド４３は、全体として円弧状を成す弾性部材である。第１ヘッドバンド４３の頂部に、第１ヘッドバンド４３を折り曲げるためのジョイント部４３ａが設けられている。第１ヘッドバンド４３の両端には、回動機構５６、５７を構成する軸受部４３ｂ、４３ｃがそれぞれ設けられている。軸受部４３ｂ、４３ｃよりもさらにバンド先端側に、ヘッドパット４６、４７が接続される軸受部４３ｄ、４３ｅが設けられている。

第２ヘッドバンド４４は、全体として円弧状を成す弾性部材である。第２ヘッドバンド４４の頂部には、第２ヘッドバンド４４を折り曲げるためのジョイント部４４ａが設けられている。第２ヘッドバンド４４の両端には、それぞれ回動機構５６、５７を構成する軸部材４４ｂ、４４ｃが設けられている。

また本実施形態において、第２ヘッドバンド４４は、ステンレス等の金属からなるバネ部材４８の表面を樹脂等の柔軟な材料で被覆した構成を有する。この第２ヘッドバンド４４のバネ部材４８においてユーザーの頭部を挟持するバネ力を発生させる。また第２ヘッドバンド４４は第１ヘッドバンド４３と比較して広い幅に形成されている。ジョイント部４４ａの形成部分は他のバンド部分よりもさらに広く形成された標章表示部４９とされている。標章表示部４９には、シールや印刷により製品タグ等が付される。なお、第２ヘッドバンド４４の全体を金属で形成してもよい。

ヘッドパット４６は、板状の支持板４６ａと、支持板４６ａの一面側に設けられた断面アーチ状の弾性部材４６ｂとを有する。支持板４６ａの弾性部材４６ｂと反対側の面に、当該面に垂直な姿勢で概略六角柱状の連結ピン４１が立設されている。連結ピン４１は、第１ヘッドバンド４３の一方の先端に設けられた軸受部４３ｄに軸支されている。これにより、ヘッドパット４６は連結ピン４１回りに回転可能である。

ヘッドパット４７は、板状の支持板４７ａと、支持板４７ａの一方の面に設けられた断面アーチ状の弾性部材４７ｂとを有する。支持板４７ａの弾性部材４７ｂと反対側の面には、軸部材４７ｃが設けられている。軸部材４７ｃは、第１ヘッドバンド４３の先端に設けられた軸受部４３ｅに軸支されている。これにより、ヘッドパット４７は、軸部材４７ｃ回りに回転可能である。

この構成により、第２ヘッドバンド４４は、回動機構５６によって第１ヘッドバンド４３から離れる方向に回動付勢される一方、回動機構５７によって第１ヘッドバンド４３に対して所定角度以内の範囲に回動規制される。これにより、第２ヘッドバンド４４は第１ヘッドバンド４３に対して所定の角度となるように保持される。したがって、回動機構５６、５７は、ヘッドバンド４０における角度保持機構として機能する。

図５は、本実施形態のリモコンを示す斜視図である。
リモコン１４０は、筐体１４０Ａと、タッチパッド１４１と、操作スイッチ１４７と、ＵＳＢコネクター１４２と、インジケーター１４３ａ、１４３ｂ、１４３ｃと、取付クリップ１４４と、インジケータースイッチ１５０と、を備えている。

リモコン１４０は、ＵＳＢケーブル１４８の一方の端子をＵＳＢコネクター１４２に接続し、他方の端子を装置本体部２１のＵＳＢコネクター２５に接続することで、装置本体部２１と電気的に接続される。ＵＳＢケーブル１４８としては市販のＵＳＢケーブルを用いることができる。本実施形態の場合、ＵＳＢケーブル１４８の途中に複数のクリップ１４９が設けられている。複数のクリップ１４９は、例えばＵＳＢケーブル１４８を第２ヘッドバンド４４に沿わせた状態で固定するために用いることができる。

リモコン１４０には、ディスプレイ本体２０や他の電子機器と無線通信を行うための通信回路が内蔵されている。通信回路の通信方式としては、例えば、Bluetooth（登録商標）、無線ＬＡＮ、赤外線通信、ＵＷＢ（Ultra Wide Band）、Transfer Jetなどを用いることができる。かかる通信回路により、ＵＳＢケーブル１４８を接続していなくてもディスプレイ本体２０との通信が可能である。

リモコン１４０には、Ｇセンサーや加速度センサー、方位センサーが内蔵されていてもよい。これらのセンサーで検出した情報についても、上記した通信回路を介してディスプレイ本体２０へ通信可能である。

タッチパッド１４１は筐体１４０Ａの一方の主面に設けられている。タッチパッド１４１は、ユーザーがタッチすることによりディスプレイ本体２０を操作するための操作部である。タッチパッド１４１の背面側の筐体１４０Ａ内部には、装置本体部２１のタッチスイッチ３４と同様に表示パネルやバックライトが設けられていてもよい。

操作スイッチ１４７は、リモコン１４０やディスプレイ本体２０を手動操作するためのスイッチである。操作スイッチ１４７は、必要に応じて設けられていればよい。筐体１４０Ａの側面に設けられたインジケータースイッチ１５０は、インジケーター１４３ａ〜１４３ｃを利用した所定動作を行わせるためのスイッチである。

ＵＳＢコネクター１４２は、装置本体部２１との接続のほか、リモコン１４０が充電式のバッテリーを内蔵している場合にはリモコン１４０の充電端子や、ＰＣとの接続にも用いられる。
またリモコン１４０がバッテリーを内蔵している場合には、装置本体部２１への給電端子として用いることもできる。リモコン１４０のバッテリーを補助電源として使用可能にすることで、装置本体部２１のバッテリー容量を小さくでき、装置本体部２１を小型軽量化することができる。

インジケーター１４３ａ、１４３ｂ、１４３ｃは、タッチパッド１４１の周囲に配置されている。本実施形態では、タッチパッド１４１の一辺に沿う位置にインジケーター１４３ａが配置され、インジケーター１４３ａに対してタッチパッド１４１を挟んだ反対側にインジケーター１４３ｂとインジケーター１４３ｃとが配置されている。

インジケーター１４３ａ〜１４３ｃはＬＥＤ等の発光素子を備えている。本実施形態では、インジケーター１４３ａは緑色の発光素子、インジケーター１４３ｂはオレンジ色の発光素子、インジケーター１４３ｃは青色の発光素子をそれぞれ備えている。これらの発光素子は制御されたタイミングでパターン発光可能に構成されている。インジケーター１４３ａ〜１４３ｃの上記パターン発光は、筐体１４０Ａ側面のインジケータースイッチ１５０を操作することでオンオフすることができる。

インジケーター１４３ａ〜１４３ｃのパターン発光は、例えばリモコン１４０の状態（例えばリモコン１４０の上下左右の傾き状態）を示すものである。かかるパターン発光を装置本体部２１のカメラ６４で撮影し、取得した画像を解析することにより、リモコン１４０の状態を装置本体部２１に伝達することが可能である。インジケーター１４３ａ〜１４３ｃを利用した情報伝達方式は、Bluetooth（登録商標）などの無線通信を用いた場合と比較して電力消費を抑えることができる。

取付クリップ１４４は、筐体１４０Ａのタッチパッド１４１と反対側の面に設けられている。本実施形態の場合、取付クリップ１４４は、一端を筐体１４０Ａに固定された側面視Ｓ形のバネ板部材である。取付クリップ１４４により、リモコン１４０をユーザーの衣服やベルト等に装着することができる。

図６は、本実施形態のヘッドマウントディスプレイ（以下、ＨＭＤと称す）１の機能ブロック図である。
ＨＭＤ１には、処理部１２３を中心として種々の電気回路が備えられている。処理部１２３は、ＣＰＵ（Central Processing Unit）であり、ＨＭＤ１の各種回路と接続されるとともに、ＨＭＤ１を総合的に制御する。

バッテリー３３は、電力を電源回路１２０に供給する。
電源回路１２０は、バッテリー３３から供給された電力を、処理部１２３の制御によりＨＭＤ１の各部に供給する。

本実施形態の場合、処理部１２３には、エンコーダー１２９及びデコーダー１２１、電源回路１２０、ＢＬドライバ１２６、操作スイッチ３０、フラッシュメモリー１２２、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、加速度センサー１３２、地磁気センサー１３３、前方ライト６８、３Ｇ／ＬＴＥ通信回路１３８、レーザー発信器７３、角速度センサー１３４、ＧＰＳセンサー１３５、温湿度センサー１３６、心拍数センサー１３７、メモリー１２７、メインスイッチ２８、タッチスイッチ３４が接続されている。

エンコーダー１２９は音声信号及び映像信号を所定方式の音声データ及び映像データにエンコード（符号化）する。エンコーダー１２９には、カメラ６４、撮像素子７２、集音マイク２４、通話マイク３７、オーディオコネクター２６、ビデオコネクター２７が接続されている。

エンコーダー１２９には、集音マイク２４及び通話マイク３７から入力される音声信号、カメラ６４から入力される映像信号、オーディオコネクター２６から入力される音声信号、ビデオコネクター２７から入力される映像信号、及び、ユーザーの目元を撮影する撮像素子７２の映像信号が入力される。エンコーダー１２９に入力された音声信号及び映像信号は音声データ及び映像データにエンコードされた後、処理部１２３に入力される。入力された音声データ及び映像データは、処理部１２３による再生動作に用いられたり、フラッシュメモリー１２２に記録される。

デコーダー１２１は、音声データ及び映像データを音声信号及び映像信号にデコード（復号化）する。デコーダー１２１には、ＬＣＤドライバ１２５、スピーカーアンプ１６２、オーディオコネクター２６、及びビデオコネクター２７が接続されている。ＬＣＤドライバ１２５は液晶パネル用の駆動制御装置であり、表示パネル３６及び表示パネル６３に接続されている。スピーカーアンプ１６２は音声信号を増幅してスピーカーに出力する装置であり、耳元スピーカー２３及び前方スピーカー７０に接続されている。

映像データを再生する場合、フラッシュメモリー１２２に記録された映像データ、あるいはエンコーダー１２９から入力される映像データは、処理部１２３を介してデコーダー１２１に入力される。デコーダー１２１に入力された映像データは、映像信号にデコードされた後、ＬＣＤドライバ１２５を介して表示パネル３６、６３に供給される。そして、映像信号が入力された表示パネル３６又は表示パネル６３に映像データに基づく映像が表示される。また、デコーダー１２１からビデオコネクター２７に出力される映像信号は、ビデオコネクター２７を介して外部機器に出力される。

また映像の表示に際して、処理部１２３は、必要に応じて表示パネル３６用のバックライト３５、及び表示パネル６３用のバックライト６２を点灯させる。ＢＬドライバ１２６は、バックライト用の駆動制御装置であり、バックライト３５及びバックライト６２に接続されている。処理部１２３は、ＢＬドライバ１２６に駆動信号を送信し、ＢＬドライバ１２６はバックライト３５、６２を個々に点灯させる。

音声データを再生する場合、フラッシュメモリー１２２に記録された音声データ、あるいはエンコーダー１２９から入力される音声データは、処理部１２３を介してデコーダー１２１に入力される。デコーダー１２１に入力された音声データは、音声信号にデコードされた後、スピーカーアンプ１６２を介して耳元スピーカー２３及び前方スピーカー７０のいずれか一方、又は両方に出力される。そして、音声信号を入力された耳元スピーカー２３又は前方スピーカー７０から音声が出力される。また、デコーダー１２１からオーディオコネクター２６に出力される音声信号は、オーディオコネクター２６を介して不図示のステレオイヤホンに出力される。

本実施形態の場合、耳元スピーカー２３及び前方スピーカー７０は、モノラル音声の使用を想定しており、耳元スピーカー２３及び前方スピーカー７０からは左右の音声信号が合成された音が発せられる。
一方、図示しないステレオイヤホンに音声信号が出力される場合、左右のスピーカーに、それぞれ左チャンネル又は右チャンネルの音が出力される。

メモリー１２７には、処理部１２３によって実行される制御プログラムが記憶されている。
全体の電源のオンオフを行うメインスイッチ２８や、画面内でのポインティング操作を行うための操作スイッチ３０、あるいはタッチ操作により各種操作を行うタッチスイッチ３４がユーザーに操作されると、これらのスイッチから操作に基づく制御信号が処理部１２３へ出力される。処理部１２３は、制御信号により操作を検出し、上記の制御プログラムに規定された動作を実行する。

ＢＴ通信回路１３０は、他の機器とのBluetooth（登録商標）通信を行うための通信回路である。ＷｉＦｉ通信回路１３１は、他の機器との無線ＬＡＮ通信（IEEE 802.11）を行うための通信回路である。３Ｇ／ＬＴＥ通信回路１３８は、他の機器との移動通信を行うための通信回路である。

加速度センサー１３２はＨＭＤ１の傾き検出に用いられる。地磁気センサー１３３はＨＭＤ１の方角検出に用いられる。角速度センサー（ジャイロセンサー）１３４はＨＭＤ１の回転検出に用いられる。ＧＰＳセンサー１３５はＧＰＳ（Global Positioning System）を利用した測位検出に用いられる。温湿度センサー１３６は環境の温度、湿度の検出に用いられる。心拍数センサー１３７はユーザーの頬に接触し、ユーザーの心拍数を検出する。

図７は、本実施形態の処理部１２３の機能ブロック図である。
図７に示すように、処理部１２３は、入力検出部３０１（入力部）、画像切替部３０２、送受信部３０３、線画生成部３０４、カーソル生成部３０５、アバター選択部３０６、アバター記憶部３０７、及び画像合成部３０８を備えている。なお、図７において、ＷｉＦｉ通信回路１３１、及び３Ｇ／ＬＴＥ通信回路を総称して、通信インタフェース（１３１、１３８）を称する。

入力検出部３０１は、タッチスイッチ３４上で行われた操作の種類を判別し、判別した結果に基づく制御信号を、画像切替部３０２、送受信部３０３、アバター選択部３０６、及び画像合成部３０８に出力する。タッチスイッチ３４上で行われた操作の種類とは、発信の指示、受信の指示、カーソル表示の指示、線画表示の指示等である。入力検出部３０１は、タッチスイッチ３４上の所定の領域がタッチされた場合、タッチされた領域に基づいて、これらの操作の種類を判別する。また、入力検出部３０１は、カーソル表示時、または線画表示時には、タッチスイッチ３４上での指の動きを検出する。
入力検出部３０１は、カーソル表示の場合、指の動きに応じた位置を示す情報を、カーソル生成部３０５に出力する。入力検出部３０１は、線画表示の場合、指の動きに応じた位置を示す情報を、線画生成部３０４に出力する。

画像切替部３０２は、入力検出部３０１が出力した制御信号に基づき、フラッシュメモリー１２２から読み出した画像データ、またはエンコーダー１２９が出力した画像データを画像合成部３０８に出力する。画像切替部３０２は、送受信部３０３が出力した受信信号から画像切替信号を抽出する。画像切替部３０２は、抽出した画像切替信号に基づき、フラッシュメモリー１２２から読み出した画像データ、またはエンコーダー１２９が出力した画像データを画像合成部３０８に出力する。また、画像切替部３０２は、入力検出部３０１が出力した制御信号に基づき、エンコーダー１２９から出力された画像データ、またはフラッシュメモリー１２２から読み出した画像データの解像度を変換し、変換した画像データを画像合成部３０８に出力する。

送受信部３０３は、入力検出部３０１が出力した制御信号に基づき、画像合成部３０８が出力した画像データを、通信インタフェース（１３１、１３８）を介して送信する。送受信部３０３は、通信インタフェース（１３１、１３８）を介して受信した受信信号を、画像切替部３０２、線画生成部３０４、及びカーソル生成部３０５に出力する。

線画生成部３０４は、入力検出部３０１が出力した指の動きに応じた位置を示す情報に基づき、指の動きに応じた軌跡を伴う線画データを生成する。線画生成部３０４は、生成した線画データを、画像合成部３０８に出力する。線画生成部３０４は、送受信部３０３が出力した受信信号から線画データを抽出し、抽出した線画データを、画像合成部３０８に出力する。

カーソル生成部３０５は、入力検出部３０１が出力した指の動きに応じた位置を示す情報に基づき、指の動きに応じた軌跡を伴わないカーソル画像データを生成する。カーソル生成部３０５は、生成したカーソル画像データを、画像合成部３０８に出力する。カーソル生成部３０５は、送受信部３０３が出力した受信信号から位置情報を伴うカーソル画像データを抽出し、抽出したカーソル画像データを、画像合成部３０８に出力する。

アバター選択部３０６は、入力検出部３０１が出力した制御信号に基づき、ＨＭＤ１のユーザーに対して予め設定されているアバター画像データを、アバター記憶部３０７から読み出す。アバター選択部３０６は、送受信部３０３が出力する受信信号から他のユーザーのアバターを示す情報を抽出する。アバター選択部３０６は、抽出した他のユーザーのアバターを示す情報に基づき、そのユーザーに対応するアバター画像データを、アバター記憶部３０７から読み出す。
なお、アバターとは、例えば、ＨＭＤ１のユーザー、及びＨＭＤ１と送受信を行っているユーザーの顔等をイラスト化したものである。アバター選択部３０６は、読み出したアバターを示す画像データを、画像合成部３０８に出力する。アバター選択部３０６は、各種センサー（加速度センサー１３２、地磁気センサー１３３、角速度センサー１３４、ＧＰＳセンサー１３５、温湿度センサー１３６、心拍数センサー１３７など）の出力に基づき、ＨＭＤ１が使用されている環境に関する情報である環境情報を、画像合成部３０８に出力する。
また、アバター選択部３０６は、送受信部３０３が出力する受信信号に基づき、各端末を呼び出し中であることを示す各画像情報（以下、呼び出し中の画像情報ともいう）を生成し、生成した呼び出し中の画像情報を、画像合成部３０８に出力する。

アバター記憶部３０７には、例えば、予め複数のアバター画像データが記憶されている。

画像合成部３０８は、画像切替部３０２が出力した画像データと、線画生成部３０４が出力した線画データと、カーソル生成部３０５が出力した位置情報を伴うカーソル画像データと、アバター選択部３０６が出力したアバターを示す画像データとに基づき、画像を合成する。
画像合成部３０８は、入力検出部３０１が出力する制御信号が線画表示の指示（第２モード）の場合、表示パネル６３に表示されている映像を一時停止して静止画を生成する。画像切替部３０２は、生成した静止画の画像データ、アバター選択部３０６から入力された環境情報を、送受信部３０３、ビデオコネクター２７、及びＬＣＤドライバ１２５に出力する。
なお、表示パネル６３に表示される映像とは、フラッシュメモリー１２２から読み出した画像データ、またはエンコーダー１２９が出力した画像データ、送受信部３０３が出力した受信信号に含まれる他端末からの映像データである。
一時停止して生成する画像の解像度は、映像を送信しているときの解像度より高解像度である。静止画の解像度とは、例えば、横が２５００画素、縦が１８７５画素の画像である。なお、画像合成部３０８は、一時停止の代わりに、ユーザーが線画を描写している期間、または、線画を用いて説明を行っている期間以上のコマ送りをするようにしてもよい。
画像合成部３０８は、入力検出部３０１が出力する制御信号がカーソル表示の指示（第１モード）の場合、表示パネルに表示されている映像を一時停止せず、合成した画像データ、及びアバター選択部３０６から入力された環境情報を、送受信部３０３、ビデオコネクター２７、及びＬＣＤドライバ１２５に出力する。

次に、ＨＭＤ１が、他のユーザーが使用しているヘッドマウントディスプレイ５００（以下、ＨＭＤ５００という）、ＰＣ２１０、及びＰＣ２２０と通信を行う場合の手順について説明する。
図８は、本実施形態に係るヘッドマウントディスプレイ１を含む通信システムのシステム構成図である。図９から図１９は、本実施形態に係る処理手順の一例を示すフローチャートである。

図８に示すように、通信システムは、ＨＭＤ１、ＨＭＤ５００、ＰＣ２１０、ＰＣ２２０、及びサーバー２００から構成される。ＨＭＤ１、ＨＭＤ５００、ＰＣ２１０、ＰＣ２２０、及びサーバー２００は、ネットワーク２３０に接続されている。ネットワーク２３０は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、３Ｇ回線、ＬＴＥ回線等を介して接続されているインターネットなどのネットワークである。

図８において、ＨＭＤ１は、図６で説明した構成であるが、処理手順を説明する上で必要な機能部のみを示している。なお、ＨＭＤ１の表示パネル６３を、以後、ＬＣＤ６３という。
ＨＭＤ５００は、図８に示すように、主にフラッシュメモリー５２２、処理部５２３、通信インタフェース（５３１、５３８）、地磁気センサー５３３、タッチスイッチ５３４、表示パネル（表示部）５６３（以後、ＬＣＤ５６３という）、カメラ５６４を備えている。ＨＭＤ５００の各機能部は、ＨＭＤ１の各機能部と同等である。

次に、サーバー２００の構成について説明する。
図８に示すように、サーバー２００は、処理部２０１、記憶部２０２、及び通信インタフェース２０３を備えている。

サーバー２００の処理部２０１は、各端末（ＨＭＤ１、ＨＭＤ５００、ＰＣ２１０、及びＰＣ２２０）から通信インタフェース２０３を介して受信した画像データ（動画、静止画、線画等）、音声データ、各端末の環境情報、及び各端末からの要求等の通信記録を、記憶部２０２に記録する。処理部２０１は、各端末の要求に応じて、記憶部２０２に記録してある画像データを読み出し、読み出した画像データを、各端末に送信する。

記憶部２０２には、各端末から受信した画像データ（動画、静止画）、音声データ、各端末の環境情報、及び各端末からの要求等の通信記録が記録されている。
通信インタフェース２０３は、例えば、ＷｉＦｉ通信回路、３Ｇ通信回路、ＬＴＥ通信回路、有線ＬＡＮ回路等を備えている。

次に、ＰＣ２１０及びＰＣ２２０の構成について説明する。ＰＣ２１０及びＰＣ２２０は、例えば、パーソナルコンピュータである。
ＰＣ２１０は、処理部２１１、記憶部２１２、通信インタフェース２１３、入力部２１４、表示部２１５、及びカメラ２１６を備えている。
ＰＣ２２０は、処理部２２１、記憶部２２２、通信インタフェース２２３、入力部２２４、表示部２２５、及びカメラ２２６を備えている。ＰＣ２２０の各機能部は、ＰＣ２１０の各機能部と同等である。

ＰＣ２１０の処理部２１１は、ＣＰＵ（中央演算装置）及びＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等である。処理部２１１は、通信インタフェース２１３、入力部２１４、表示部２１５、及びカメラ２１６を制御する。処理部２１１は、記憶部２１２に記憶されている画像データ、通信インタフェース２１３を介して取得した画像データ、カメラ２１６で撮像された画像データを、後述するように通信インタフェース２１３介して取得した画像切替信号に基づいて切り替える。処理部２１１は、切り替えた画像データを通信インタフェース２１３及びネットワーク２３０に出力する。処理部２１１は、記憶部２１２に記憶されているＰＣ２１０に対応付けて記憶されているアバター画像データと、通信インタフェース２２３を介して取得した他の装置のアバター画像データ、および画像切替信号に基づいて切り替えた画像データを合成する。処理部２１１は、合成した画像データを表示部２１５に出力する。処理部２１１は、入力部２１４の操作に基づき、表示部２１５上に、カーソル画像、または線画画像を表示するように制御する。処理部２１１は、通信インタフェース２１３を介して取得した受信情報に基づき、表示部２１５上に、カーソル画像、または線画画像を表示するように制御する。
なお、以下、各装置に対応したアバターを、例えば、ＰＣ２１０のアバターという。

記憶部２１２は、例えば、メモリー、ＨＤＤ（ハードディスク）である。記憶部２１２には、ＰＣ２１０のＯＳ（オペレーション・システム）、ＨＭＤ１、ＨＭＤ５００及びＰＣ２２０と通信を行うためのアプリケーション、ＰＣ２１０のユーザーに対して予め設定されているアバター画像データ等が記憶されている。

通信インタフェース２１３は、例えば、無線ＬＡＮ、または有線ＬＡＮ、３Ｇ回線、ＬＴＥ回線等の通信を行うインタフェースである。通信インタフェース２１３は、ネットワーク２３０を介して受信した情報を処理部２１１に出力する。通信インタフェース２１３は、処理部２１１が出力した情報を、ネットワーク２３０を介して、ＨＭＤ１、ＨＭＤ５００、ＰＣ２２０、及びサーバー２００に送信する。

入力部２１４は、例えば、キーボード、マウス、タブレットと操作ペン等である。入力部２１４は、入力された情報を、処理部２１１に出力する。なお、表示部２１５がタッチパネル機能を有する場合、表示部２１５は入力部２１４の機能を兼ねるようにしてもよい。

表示部２１５は、処理部２１１が出力した画像データに基づく画像を表示する。
一例として、表示部２１５には、ＨＭＤ１が撮像した画像、ＨＭＤ１のアバター、ＨＭＤ５００のアバター、ＰＣ２２０のアバター、ＰＣ２１０の入力部２１４の操作に応じた線画画像が合成されて表示される。

カメラ２１６は、例えば５００万画素〜１０００万画素の撮像素子を有するＣＭＯＳ（相補型金属酸化膜半導体）、またはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）である。

次にＨＭＤ１、ＨＭＤ５００、ＰＣ２１０、及びＰＣ２２０間で行う通信手順について説明する。なお、図９〜図１９の処理において、各端末（ＨＭＤ１、ＨＭＤ５００、ＰＣ２１０、ＰＣ２２０、及びサーバー２００）は、各々の通信インタフェース（１３１、１３８、５３１、５３８、２１３、２２３、及び２０３）とネットワーク２３０を介して、通信を行う。

まず、ＨＭＤ１から他の端末に発信する手順について説明する。
（ステップＳ１）図９に示すように、ＨＭＤ１のユーザーは、ＨＭＤ５００、ＰＣ２１０、ＰＣ２２０と通信を行うため、ＨＭＤ１のタッチスイッチ３４を操作する。ＨＭＤ１の処理部１２３は、タッチスイッチ３４が出力した制御信号に基づき、ＨＭＤ５００、ＰＣ２１０、ＰＣ２２０に通信を開始することを示す発信操作を行う。

（ステップＳ２）ＨＭＤ１の処理部１２３は、ＨＭＤ１のアバター、ＨＭＤ５００のアバター、ＰＣ２１０のアバター、及びＰＣ２２０のアバターに、アバター付加情報を付加して、ＬＣＤ６３に表示する。
なお、ＨＭＤ１のＬＣＤ６３に表示される画像は、受信した映像と、アバター（含むアバター付加情報）とが、別のレイヤー（層）に表示される。

具体的には、処理部１２３のアバター選択部３０６は、ＨＭＤ１のアバター画像データ、ＨＭＤ５００のアバター画像データ、ＰＣ２１０のアバター画像データ、及びＰＣ２２０のアバター画像データを、アバター記憶部３０７から読み出す。次に、アバター選択部３０６は、送受信部３０３が出力する受信信号に基づき、ＨＭＤ５００、ＰＣ２１０、及びＰＣ２２０の各端末に対する呼び出し中の画像情報を生成する。次に、アバター選択部３０６は、読み出した各アバター画像データ、及び生成した呼び出し中の画像情報を関連付けて画像合成部３０８に出力する。次に、画像合成部３０８は、アバター選択部３０６が出力した画像データを、ＬＣＤドライバ１２５を介して、ＬＣＤ６３に表示する。すなわち、ＨＭＤ１のＬＣＤ６３には、ＨＭＤ１のアバター、ＨＭＤ５００のアバターと呼び出し中の画像、ＰＣ２１０のアバターと呼び出し中の画像、及びＰＣ２２０のアバターと呼び出し中の画像が表示される。
なお、表示されるアバターは、予めＨＭＤ１のユーザーが設定されたもの、もしくはデフォルトであらかじめ設定されたものである。
以下の処理においても、アバター及び、アバター付加情報の表示を処理部１２３の各部が行う。

次に、ＨＭＤ５００の処理部５２３は、受信した受信信号から、呼び出し情報を抽出する。次に、処理部５２３は、抽出した呼び出し情報に基づき、処理部５２３の記憶部からＨＭＤ１のアバター画像データを読み出す。次に、処理部２２１は、抽出した呼び出し情報に基づき、呼び出し中の画像情報を生成する。次に、処理部５２３は、読み出したＨＭＤ１のアバター画像データ、及び生成した呼び出し中の画像情報に基づく画像を、ＬＣＤ５６３に表示する。

次に、ＰＣ２１０の処理部２１１は、受信した受信信号から、呼び出し情報を抽出する。次に、処理部２１１は、抽出した呼び出し情報に基づき、記憶部２１２からＨＭＤ１のアバター画像データを読み出す。次に、処理部２１１は、抽出した呼び出し情報に基づき、呼び出し中を示す画像情報を生成する。次に、処理部２１１は、読み出したＨＭＤ１のアバター画像データ、及び生成した呼び出し中を示す画像情報に基づく画像を、表示部２１５に表示する。
次に、ＰＣ２２０の処理部２２１は、ＰＣ２１０と同様の処理を行い、記憶部２２２から読み出たＨＭＤ１のアバター画像データ、及び生成した呼び出し中を示す画像情報に基づく画像を、表示部２２５に表示する。

次に、サーバー２００の処理部２０１は、受信した受信信号から、呼び出し情報を抽出する。次に、処理部２０１は、抽出した呼び出し情報に基づき、ＨＭＤ１からの呼び出しがあったことを示す呼び出し情報を、例えば時刻情報と関連付けて、記憶部２０２に記録する。

（ステップＳ３）ＨＭＤ１の処理部１２３は、カメラ６４が撮像した映像（動画）をＬＣＤ６３に表示するように制御する。

（ステップＳ４）ＰＣ２１０のユーザーは、表示部２１５に表示された呼び出し中を示す画像を確認し、入力部２１４を操作して、通話に参加する。ＰＣ２１０の処理部２１１は、入力部２１４から入力された情報に基づき、通話に参加することを示す情報（以下、通話参加情報という）を、ＨＭＤ１、ＨＭＤ５００、ＰＣ２２０、及びサーバー２００に送信する。次に、処理部２１１は、表示部２１５上に、ＨＭＤ１のアバター、及びＰＣ２１０のアバターを表示する。

（ステップＳ５）ＨＭＤ１の処理部１２３は、ＰＣ２１０から受信した通話参加情報に基づき、ＰＣ２１０に対する呼び出し中であることを示す画像情報を、ＬＣＤ６３から消去する。
次に、サーバー２００の処理部２０１は、ＰＣ２１０から受信した通話参加情報に基づき、ＰＣ２１０が通話に参加していることを示す情報を記憶部２０２に記録する。

（ステップＳ６）ＨＭＤ５００のユーザーは、ＬＣＤ５６３に表示された呼び出し中を示す画像を確認し、タッチスイッチ５３４を操作して、通話に参加する。なお、この状態において、ＬＣＤ５６３上には、ＨＭＤ１のアバター、及びＨＭＤ５００のアバターが表示されている。次に、ＨＭＤ５００の処理部５２３は、タッチスイッチ５３４から出力された制御信号に基づき、通話参加情報を、ＨＭＤ１、ＰＣ２１０、及びサーバー２００に送信する。

（ステップＳ７）ＨＭＤ５００の処理部５２３は、ＬＣＤ５６３にＰＣ２１０のアバターを追加して表示する。
次に、ＨＭＤ１の処理部１２３は、ＨＭＤ５００から受信した通話参加情報に基づき、ＨＭＤ５００に対する呼び出し中であることを示す画像情報を、ＬＣＤ６３から消去する。
次に、ＰＣ２１０の処理部２１１は、ＨＭＤ５００から受信した通話参加情報に基づき、ＨＭＤ５００のアバターを表示部２１５に表示する。
次に、サーバー２００の処理部２０１は、ＨＭＤ５００から受信した通話参加情報に基づき、ＨＭＤ５００が通話に参加していることを示す情報を記憶部２０２に記録する。

ここで、各端末（ＨＭＤ１、ＨＭＤ５００、ＰＣ２１０、及びＰＣ２２０）のＬＣＤ（６３、５６３）、表示部（２１５、２２５）に２つ以上のアバターが表示される場合、各端末の処理部（１２３、５２３、２１１、及び２２１）は、アバターの表示を、環境情報から経度を算出する。そして、各端末の処理部は、最も東に位置する端末のアバターより右側から順に横に表示するようにしてもよい。
図２０は、本実施形態に係るアバターの表示例を示す図である。図２０に示した例は、３者が通話に参加している例である。図２０に示すように、例えば、ＨＭＤ１のＬＣＤ６３上には、画像４００が表示される。画像４００は、左から順番に、ＰＣ２２０のアバター４０１、ＰＣ２１０のアバター４０２、ＨＭＤ５００のアバター４０３が、画像４００の下に表示された例である。図２０に示した画像４００の例では、ＨＭＤ５００の位置情報が一番、東であったため、ＨＭＤ５００のアバター４０３が、一番右に表示されている。

されに３者で会話がなされた場合、各端末の各処理部は、右のアバターに対応する発話者の音声が、右から聞こえるように制御してもよい。すなわち右耳用のスピーカーの方が、左用のスピーカーよりも大きな音が聞こえる。また、各端末の各処理部は、左のアバターの音声が、逆に左側から聞こえるように、左耳用のスピーカーの方がより大きな音を再生するようにしてもよい。このことで、視覚的にも聴覚的にも会話をしている相手の位置を把握できることで、コミュニケーションのしやすい環境を提供している。

なお、本実施形態では、アバターを横に並べて表示する例を説明したが、アバターを縦に並べて表示するようにしてもよい。アバターを上下に表示する場合には、各端末の各処理部は、緯度に従って、北に位置する端末のアバターより上から順に縦に、表示するようにしてもよい。
この場合、各端末の各処理部は、上に配置されたアバターからの音声は右側から、下側のアバターからの音声は左側から聞こえるように制御するようにしてもよい。または、各端末の各処理部は、上に配置されたアバターに対応する発話者の音声が上から、下に配置されたアバターに対応する発話者の音声が、下から聞こえるように、音響特性を変えてもよい。

また、各端末に位置情報の取得手段がない場合、各端末の各処理部は、相手端末のＩＰアドレスや電話の局番に応じた位置情報を代用するようにしてもよい。相手端末のＩＰアドレスや電話の局番に応じた位置情報を代用できない場合、各端末の各処理部は、通話に参加した時間順に、各アバターの位置を設定するようにしてもよい。
さらに、各端末の各処理部は、各端末の使用者が発話すると、対応するアバターの口も動くように制御してもよい。
このことで、視覚的にも発話者の認識ができるので、各端末のユーザーは、情報が理解しやすくなるとともに、似た声質の発話者をご認識することも無くなる。

次に、ＨＭＤ１によって撮影された映像を、他の端末に送信する手順を説明する。
（ステップＳ８）図８に戻って、ＨＭＤ１のユーザーは、カメラ６４が撮像した映像を他の端末に送信するために、タッチスイッチ３４の所定の領域をタッチする。なお、送信される映像は、初期状態において低解像度に予め設定されている。低解像度とは、例えば、横が３２０画素、縦が２４０画素、１秒あたり３０フレームである。なお、低解像度の映像を送信する理由は、限られた、通信インフラの整わない、転送速度の遅いネットワーク環境においても、ＨＭＤ１のユーザーの首の動きによる映像のブレ等があっても、ある程度追従する画像を送信するためである。

（ステップＳ９）図１０に移って、ＨＭＤ１の処理部１２３の画像切替部３０２は、タッチスイッチ３４から入力された制御信号に基づき、カメラ６４が撮像した画像を低解像度に変換する。処理部１２３は、変換した低解像度の映像信号、及びＨＭＤ１の環境情報を、通話に参加しているＨＭＤ５００、ＰＣ２１０、及びサーバー２００に送信する。

（ステップＳ１０）各端末（ＨＭＤ５００、及びＰＣ２１０）の各処理部（５２３、及び２１１）は、ＨＭＤ１から受信した環境情報に基づき、ＨＭＤ１のカメラ６４が向いている方向（方位）を算出する。各処理部は、算出した方位と、ＨＭＤ１から受信した映像信号を、ＬＣＤ５６３、表示部２１５に表示する。
サーバー２００の処理部２０１は、ＨＭＤ１から受信した環境情報に基づき、ＨＭＤ１のカメラ６４が向いている方向（方位）を算出する。処理部２０１は、算出した方位と、ＨＭＤ１から受信した映像データを記憶部２０２に記録する。

（ステップＳ１１）端末ＨＭＤ１の処理部１２３は、ステップＳ４及びＳ６の通話参加情報に基づき、ＰＣ２１０、及びＨＭＤ５００との３者通話を開始する。
次に、ＨＭＤ５００の処理部５２３は、ステップＳ１、及びＳ４に基づき、ＨＭＤ１、及びＰＣ２１０との３者通話を開始する。
次に、ＰＣ２１０の処理部２１１は、ステップＳ１、及びＳ６に基づき、ＨＭＤ１、及びＨＭＤ５００との３者通話を開始する。
次に、サーバー２００の処理部２０１は、ステップＳ１、Ｓ４、及びＳ６に基づき、３者通話の内容（音声データ、映像データ）の記録を開始する。

（ステップＳ１２）ＨＭＤ１のユーザーは、カメラ６４で撮像された映像の特定の箇所を、通話に参加しているユーザーに示すために、タッチスイッチ３４上で予め定められている指の動作を行う。なお、タッチスイッチ３４を操作する代わりに、ＨＭＤ１のユーザーは、例えば２回続けて瞬ききをしても良い。このことはＨＭＤ１の撮像素子７２によって検出され、タッチスイッチ３４への操作と同等として処理される。

（ステップＳ１３）ＨＭＤ１の処理部１２３の画像切替部３０２は、タッチスイッチ３４から入力された制御信号に基づき、カメラ６４が撮像した映像信号を中解像度に変換する。
次に、処理部１２３は、変換した中解像度の映像データ、及び環境情報を通話に参加しているＨＭＤ５００、ＰＣ２１０、及びサーバー２００に送信する。なお、中解像度の映像とは、例えば、横が８００画素、縦が６００画素である。中解像度の映像を送信する場合、ＨＭＤ１のユーザーは、他の端末のユーザーに対して、映像を送信することを目的としているため、ＨＭＤを装着しているユーザーの首の動きが少なく、すなわち、カメラ６４のブレが少ない。このため、処理部１２３は、ステップＳ９で設定した低解像度から解像度を中解像度に上げて、他のユーザーが見やすい映像を送信することを目的として、中解像度の映像に切り替える。

なお、通信インフラの環境が悪く、解像度を横が８００画素、縦が６００画素、３０フレーム／秒で送信するだけの通信速度の確保が難しい場合、処理部１２３は、カメラのブレが少ないと判断されるこの状況において、フレームレートを落とし、例えば８フレーム／秒としてもよい。
また、ＨＭＤ１の角速度センサー１３４によって使用者の首の回転が大きいと判断される場合、処理部１２３は、首の回転による映像の流れに追従するためにフレームレートを３０フレーム／秒に保持すると共に、解像度を横が３２０画素、縦が２４０画素として送信するようにしてもよい。

（ステップＳ１４）ＨＭＤ１の処理部１２３は、タッチスイッチ３４から入力された制御信号に基づいて、ユーザーの指の動きに合わせて、図２２に示すような水色のカーソル４１０の画像を、ＬＣＤ６３に表示する。なお、各端末（ＨＭＤ１、ＨＭＤ５００、及びＰＣ２１０）のＬＣＤ（６３、５６３）、表示部２１５に表示される画像は、受信した映像と、カーソル画像とが、別のレイヤー（層）に表示、及び記録される。

具体的には、処理部１２３のカーソル生成部３０５は、入力検出部３０１から出力された制御信号に基づいて、カーソル画像データ、及びカーソル位置情報を生成する。カーソル生成部３０５は、生成したカーソル画像データ、及びカーソル位置情報を、画像合成部３０８に出力する。画像合成部３０８は、入力されたカーソル画像データ、及びカーソル位置情報に基づいて、カメラ６４が撮像した画像、または通信インタフェース（１３１、１３８）を介して他の端末から受信した画像に、カーソルの画像を重畳して、重畳した画像をＬＣＤ６３に表示する。
以下の処理においても、カーソル画像の表示を処理部１２３の各部が行う。

図２１は、本実施形態に係るＬＣＤまたは表示部に表示される画像の構成の一例を説明する図である。図２１に示した例では、レイヤー１（８００Ａ）には、受信または送信している画像（映像、または静止画）が表示される。レイヤー２（８００Ｂ）には、アバターが表示される。レイヤー３（８００Ｃ）には、ＨＭＤ１によるカーソル画像が表示され、レイヤー４（８００Ｄ）には、ＨＭＤ５００による線画が表示され、レイヤー５（８００Ｅ）には、ＰＣ２１０による線画が表示される。また、各端末（含むサーバー）のフラッシュメモリー（１２２、５２２）、記憶部（２１２、２２１、及び２０２）にも、画像は、図２１に示したレイヤー構成の画像が、記録される。なお、図２１に示したレイヤーの例は一例であり、レイヤーの順番は、この順でなくてもよく、例えば、操作された順にレイヤーに表示するようにしてもよい。

図２２は、本実施形態に係るカーソルが表示された画像の一例である。図２２に示すように、例えば、各端末（ＨＭＤ１、ＨＭＤ５００、ＰＣ２１０、及びＰＣ２２０）のＬＣＤ（６３、５６３）、表示部（２１５、２２５）には、画像４００ａにおいて、指が指し示している形状のカーソル４１０が表示される。なお、カーソルの形状は、一例であり、他の形状であってもよい。図２２に示した例では、ＨＭＤ１のユーザーは、画像４００ａ中、値札４１１を、カーソル４１０で、指し示している状態である。
なお、ＨＭＤ１から送信されている画像が動画であるため、ＨＭＤ１のユーザーが首を動かしてしまうと、送信している映像もずれる。このため、ＨＭＤ１のユーザーは、カーソルの指し示す位置を変えるために、カーソルの位置を変える場合もある。このため、各装置のＬＣＤ、及び表示部に、軌跡の残らないカーソルを表示する。
なお、カーソルの色は、端末毎に、予め定めておくようにしてもよい。本実施例では、ＨＭＤ１のカーソルが水色、ＰＣ２１０のカーソルが緑、ＨＭＤ５００のカーソルが青に定められている。このように各端末に応じて、カーソルが色分けされるので、コミュニケーションにおけるミスが発生しにくいようになっている。

次に、処理部１２３は、カーソルを表示する位置情報、カーソルの色情報を、ＨＭＤ５００、ＰＣ２１０、及びサーバー２００に送信する。
次に、ＨＭＤ５００の処理部５２３は、受信したカーソルを表示する位置情報、カーソルの色情報に基づき、ＬＣＤ５６３上に水色のカーソルの画像を表示する。なお、処理部５２３は、予め端末毎にカーソルの表示色を定めておくようにしてもよい。この場合、処理部５２３は、カーソルを表示する位置情報のみを取得し、送信元がＨＭＤ１であるため水色のカーソルを表示するようにしてもよい。
次に、ＰＣ２１０の処理部２１１は、受信したカーソルを表示する位置情報、カーソルの色情報に基づき、表示部２２５上に水色のカーソルの画像を表示する。
次に、サーバー２００の処理部２０１は、受信したカーソルを表示する位置情報に基づき、ＨＭＤ１のカーソルの位置情報を記憶部２０２に記録する。

次に、ＰＣ２１０が、受信した映像を一時停止させ、一時停止させた画像上に線画を描く手順について説明する。
（ステップＳ１５）図１１に移って、ＰＣ２１０ユーザーは、表示部２１５上にＰＣ２１０のカーソル画像が表示されるように、入力部２１４のマウスを操作する。次に、ＰＣ２１０のユーザーは、静止画を見たいとき、マウスをクリックする。

（ステップＳ１６）ＰＣ２１０の処理部２１１は、入力部２１４から入力された情報に基づき、受信している映像を一時停止する。次に、処理部２１１は、一時停止した静止画を、記憶部２１２に記録し、さらにＨＭＤ１、ＨＭＤ５００、及びサーバー２００に送信する。
映像を一時停止する理由は、通信環境によってはＨＭＤ１から配信される映像が特定の端末では遅延して表示されていることも想定されるためである。このため、静止画を重畳するには、すべての端末で同じ静止画が表示される必要がある。一時停止した画像を送信することにより、全ての端末で同じ静止画を観察することが可能となる。また、各端末は、静止画に各々線画を重畳しても、線画と静止画との関係が全ての端末で同じになるので、コミュニケーションのミスを減らすことが可能である。
通信速度が十分に早いことが判っている環境においては、ステップＳ１５におけるＰＣ２１０の操作に対応して、各端末が映像を、一時停止して静止画として表示してもよい。
また、一時停止の操作は、ＰＣ２１０によって行われている例を示しているが、映像の発信元であるＨＭＤ１からでも、ＨＭＤ１と同じ構成要素を有し受信を行っているＨＭＤ５００からでも可能である。例えば、ＨＭＤ１から静止画が配信される場合、ＨＭＤ１のＬＣＤ６３に表示されている映像の一コマが配信される。

（ステップＳ１７）ＨＭＤ１の処理部１２３は、ＰＣ２１０から送信された静止画データを受信し、受信した静止画データをＨＭＤ１のフラッシュメモリー１２２に記録する。
次に、ＨＭＤ５００の処理部５２３は、ＰＣ２１０から送信された静止画データを受信し、受信した静止画データをＨＭＤ５００のフラッシュメモリー５２２に記録する。
次に、サーバー２００の処理部２０１は、ＰＣ２１０から送信された静止画データを受信し、受信した静止画データを記憶部２０２に記録する。

（ステップＳ１８）ＰＣ２１０のユーザーは、静止画上に線画を表示させるために、例えば、マウスをクリックしたまま、カーソルを表示部２２５内で移動させることで線画を描く。このとき、表示部２２５には、例えば、鉛筆のような形状のカーソルが表示されているようにしてもよい。
次に、ＰＣ２１０の処理部２１１は、入力部２１４から入力された情報に基づき、緑色の軌跡を伴った線画を、表示部２２５上に表示する。次に、処理部２１１は、カーソルの位置情報を、順次、記憶部２１２に記録する。次に、処理部２１１は、カーソルの位置情報を、順次、ＨＭＤ１、ＨＭＤ５００、及びサーバー２００に送信する。
なお、ＰＣ２１０による線画の色は、端末毎に予め定めておいてもよく、あるいは、色情報をＰＣ２１０から他の端末へ送信するようにしてもよい。

具体的には、処理部１２３の線画生成部３０４は、入力検出部３０１から出力された制御信号に基づいて、線画データを生成する。線画生成部３０４は、生成した線画データを、画像合成部３０８に出力する。画像合成部３０８は、カメラ６４が撮像した画像データ、または通信インタフェース（１３１、１３８）を介して他の端末から受信した画像データに、入力された線画データを重畳して、重畳した画像データに基づく画像を、ＬＣＤ６３に表示する。
以下の処理においても、線画の表示を処理部１２３の各部が行う。

（ステップＳ１９）ＨＭＤ１の処理部１２３は、受信したカーソルの位置情報に基づき、ＬＣＤ６３上に、緑色の線画を表示する。次に、処理部１２３は、カーソルの位置情報に基づき線画データを生成し、生成した線画データを、フラッシュメモリー１２２に記録する。
次に、ＨＭＤ５００の処理部５２３は、通受信したカーソルの位置情報に基づき、ＬＣＤ５６３上に、緑色の線画を表示する。次に、処理部５２３は、カーソルの位置情報に基づき線画データを生成し、生成した線画データを、フラッシュメモリー５２２に記録する。
次に、サーバー２００の処理部２０１は、受信したカーソルの位置情報に基づき、線画データを生成し、生成した線画データを、記憶部２０２に記録する。

図２３は、本実施形態に係る線画の一例である。図２３に示した例では、画像４００ｂに、矢印４２１ａ、及び文字「ＯＫ！」４２１ｂが表示されている。この矢印４２１ａ、及び文字４２１ｂは、ＰＣ２１０のユーザーが、マウスを用いて描写した線画である。また、図２３は、例えば、図２２において、ＨＭＤ１のユーザーが、他の端末のユーザーに対して値札４１１をカーソル４１０で指し示したが、ＰＣ２１０のユーザーが話題にしたいのは、矢印４２１ａが指し示す先の値札４２２であることを示している。
このように、線画をカメラ映像に重畳して描画する際には、カメラ映像は静止画であることが望ましい。すなわち、ＰＣ２１０のユーザーの意図に反して、ＨＭＤ１のユーザーが首を動かしてしまうと、画像が動いてしまい、線画で指し示す被写体の位置が画面上で相対的にずれてしまうからである。しかしながら、静止画が表示されていれば、画像に線画を重畳していっても画像と線画が相対的にずれることはない。このため、ＨＭＤ１のユーザーが首を動かないように、静止している必要はなく、使いやすいシステムが提供できる。
なお、線画と静止画とは別のレイヤーに記録されており、いつでも線画のみ消去することは可能である。
また、ＰＣ２１０のみではなく、全ての端末は、線画の描画と同時に動画が静止画することが可能である。

次に、画像に重畳されるグリッドを変更する手順を説明する。
（ステップＳ２０）図１１に戻って、ＰＣ２１０のユーザーは、入力部２１４を用いてグリッドの種類を選択する。ＰＣ２１０の処理部２１１は、入力部２１４から入力された信号に基づき、選択されたグリッドの種類を示す情報を、ＨＭＤ１、ＨＭＤ５、及びサーバー２００に送信する。グリッドを表示している理由は、例えば、ＰＣ２１０のユーザーは、画像中の特定の領域について説明を行うためである。
図２４は、本実施形態に係るグリッドの一例を示す図である。図２５は、本実施形態に係るグリッドの他の例を示す図である。
図２４に示した例では、画像４００ｃにおいて、縦線と横線による升目状のグリッド４３１が表示されている例である。図２５に示した例では、画像４００ｄにおいて、縦線と横線、及び同心円によるグリッド４４１が表示されている例である。なお、図２４及び図２５において、グリッドを実線で示したが、グリッドは、点線、破線等であってもよい。
このように、ＰＣ２１０のユーザーが、グリッドを変更した場合、他の端末に変更したグリッドの情報を送信する理由は、ユーザーの端末毎にグリッドが異なってしまうとコミュニケーションミスを防ぐためである。
なお、図２４、及び図２５に示したグリッドは１例であって、他のグリッドを表示するようにしてもよい。また、各端末のＬＣＤ、または表示部に表示されるグリッドは、動画や静止画とは別のレイヤーに表示される。

（ステップＳ２１）ＰＣ２１０の処理部２１１は、選択されたグリッドに表示を変更する。
次に、ＨＭＤ１の処理部１２３は、受信した信号に基づいて、選択されたグリッドに表示を変更する。
次に、ＨＭＤ５の処理部５２３は、受信した信号に基づいて、選択されたグリッドに表示を変更する。
次に、サーバー２００の処理部２０１は、受信した信号に基づいて、グリッドの変更を記録する。

次に、途中からＰＣ２２０が通話に参加した場合の処理手順について説明する。
（ステップＳ２２）図１２に移って、ＰＣ２２０のユーザーは、表示部２２５に表示された呼び出し中を示す画像を確認し、入力部２２４を操作して、通話に参加する。ＰＣ２２０の処理部２２１は、入力部２２４から入力された情報に基づき、通話参加情報を、サーバー２００に送信する。
次に、処理部２２１は、表示部２２５にＰＣ２２０のアバターを表示するように制御する。

（ステップＳ２３）サーバー２００の処理部２０１は、ＰＣ２２０から受信した通話参加情報に基づいて、ＨＭＤ１、ＨＭＤ５００、ＰＣ２１０、及びＰＣ２２０に対して、ＰＣ２２０の通話参加処理を行う。具体的には、処理部２０１は、ＰＣ２２０に他のＬＣＤ及び表示部に表示されている画像（含む線画、カーソル、グリッド）と同じ画像データを送信する。処理部２２１は、ＨＭＤ１、ＨＭＤ５００、及びＰＣ２１０に、ＰＣ２２０が通話参加したことを示す情報と、ＰＣ２２０のアバターを表示する指示を送信する。処理部２０１は、ＰＣ２２０に、ＨＭＤ１、ＨＭＤ５００、及びＰＣ２１０のアバターを表示する指示を送信する。
次に、処理部２０１は、ＰＣ２２０が通話に参加したことを示す情報を、記憶部２０２に記録する。

（ステップＳ２４）ＰＣ２２０の処理部２２１は、サーバー２００から受信した画像データに基づく画像を、表示部２２５に表示する。

（ステップＳ２５）ＨＭＤ１の処理部１２３は、サーバー２００から受信したＰＣ２２０のアバターを表示する指示に基づいて、ＬＣＤ６３上にＰＣ２２０のアバターを追加して表示し、ＰＣ２２０に対する呼び出し中であることを示す画像情報を消去する。
次に、ＨＭＤ５００の処理部５２３は、サーバー２００から受信したＰＣ２２０のアバターを表示する指示に基づいて、ＬＣＤ５６３上にＰＣ２２０のアバターを追加して表示する。
次に、ＰＣ２１０の処理部２１１は、サーバー２００から受信したＰＣ２２０のアバターを表示する指示に基づいて、表示部２１５上にＰＣ２２０のアバターを追加して表示する。
次に、ＰＣ２２０の処理部２２１は、サーバー２００から受信したＨＭＤ１、ＨＭＤ５００、及びＰＣ２１０のアバターを表示する指示に基づいて、表示部２２５上にＨＭＤ１、ＨＭＤ５００、及びＰＣ２１０のアバターを追加して表示する。
なお、ここで各端末のＬＣＤ、表示部に表示されるアバターの表示は、ＰＣ２２０の参加に伴い、各端末の所在地に応じて、右から東経に応じて東に位置する端末より右よりに再度表示し直されるようにしてもよい。

次に、異なる端末がカーソルや線画を共通の画像上に表示する手順について説明する。
（ステップＳ２６）ＨＭＤ５００のユーザーは、線画を描写するために、タッチスイッチ５３４上で予め定められている指の動作を行う。ＨＭＤ５００の処理部５２３は、タッチスイッチ５３４から入力された制御信号に基づいて、ＨＭＤ５００による線画を表示する指示を、ＨＭＤ１、ＰＣ２１０、ＰＣ２２０、及びサーバー２００に送信する。

（ステップＳ２７）各端末（ＨＭＤ１、ＰＣ２１０、及びＰＣ２２０）の処理部（１２３、２１１、及び２２１）は、ＨＭＤ５００から受信した受信信号に基づいて、ＬＣＤ６３、表示部（２１５、２２５）上に、赤色の線画を表示する。ＨＭＤ５００の処理部５２３は、タッチスイッチ５３４から入力された制御信号に基づいて、ＬＣＤ５６３上に、赤色の線画を表示する。すなわち、ＰＣ２１０の線画（緑色）とは、異なる色で表示する。
次に、各端末の処理部は、ＨＭＤ５００から受信した受信信号に基づいて、カーソルの位置情報を、順次、フラッシュメモリー１２２、記憶部（２１２、２２２、２０２）に記録する。ＨＤＭ５００の処理部５２３は、タッチスイッチ５３４から入力された制御信号に基づいて、カーソルの位置情報を、順次、フラッシュメモリー５２２、記憶部（２１２、２２２、２０２）に記録する。
または、各処理部（１２３、５２３、２１１、２２１、及び２０１）は、ＨＭＤ５００のユーザーが描写した線画の画像データをフラッシュメモリー（１２２、５２２）、記憶部（２１２、２２２、２０２）に記録する。
なお、各端末のＬＣＤ（６３、５６３）、表示部（２１５、２２５）には、ステップＳ１６で、ＰＣ２１０により一時停止された画像に、ＨＭＤ５００のユーザーが、タッチスイッチ５３４で指を動かして描写した線画が重畳されて表示される。
また、ＨＭＤ５００による線画は、送信された画像、及び他の端末が描写した線画と異なるレイヤー情報として、各端末、サーバーに記憶される。

（ステップＳ２８）ＨＭＤ１のユーザーは、線画を描写するために、タッチスイッチ３４上で予め定められている指の動作を行う。ＨＭＤ１の処理部１２３は、ＨＭＤ１による線画を表示する指示を、ＨＭＤ５００、ＰＣ２１０、ＰＣ２２０、及びサーバー２００に送信する。

（ステップＳ２９）各端末の処理部（５２３，２１１、及び２２１）は、ＨＭＤ１から受信した受信信号に基づいて、ＬＣＤ５６３、表示部（２１５、２２５）上に、青色の線画を表示する。ＨＭＤ１の処理部１２３は、タッチスイッチ３４から入力された制御信号に基づいて、ＬＣＤ６３上に、青色の線画を表示する。
次に、各端末の処理部（５２３、２１１、２２１、及び２０１）は、ＨＭＤ１から受信した受信信号に基づいて、カーソルの位置情報を、順次、フラッシュメモリー５２２、記憶部（２１２、２２２、２０２）に記録する。ＨＭＤ１の処理部１２３は、タッチスイッチ３４から入力された制御信号に基づいて、カーソルの位置情報を、順次、フラッシュメモリー１２２に記録する。または、処理部（１２３、５２３、２１１、２２１、及び２０１）は、ＨＭＤ１のユーザーが描写した線画の画像データをフラッシュメモリー（１２２、５２２）、記憶部（２１２、２２２、２０２）に記録する。
なお、各端末のＬＣＤ（６３、５６３）、表示部（２１５、２２５）には、ステップＳ１６で、ＰＣ２１０により一時停止された画像に、ステップＳ１８でＰＣ２１０が描写した緑色の線画、並びにステップＳ２６でＨＭＤ５００が描画した赤色の線画が、重畳されて表示される。
ＨＭＤ１による線画を青色（Ｒ：０、Ｇ：０、Ｂ：２５５）にする理由は、カーソルを水色（Ｒ：１００、Ｇ：１００、Ｂ：２５５）で表示したため、同系色で表示することで、どのユーザーが捜査しているかを視覚的にわかりやすくするためである。

次に、他の端末のユーザーの要望によって別の端末の映像を要望された場合、映像が静止画として撮影されて画像情報が共有される場合の処理手順について説明する。
（ステップＳ３０）図１３に移って、例えば、ＨＭＤ５００のユーザーが、ＨＭＤ５００の通話マイクを介して、ＨＭＤ１のカメラ６４で撮像された映像の送信を要求する。
次に、ＨＭＤ１のユーザーは、ＨＭＤ５００のユーザーの要求に応じて、カメラ６４が撮像した映像を低解像度で、他の端末に送信するために、タッチスイッチ３４の所定の領域をタッチする。なお、初期設定では、映像の送信時の解像度が、低解像度に設定されているが、タッチスイッチ３４の操作により、解像度を変更することも可能である。

（ステップＳ３１）ＨＭＤ１の処理部１２３は、ステップＳ２９まで表示されていた画像を消去し、ＬＣＤ６３にカメラ６４が撮像した画像を表示する。

（ステップＳ３２）ＨＭＤ１の処理部１２３は、タッチスイッチ３４から出力された制御信号に基づき、カメラ６４が撮像した映像を低解像度に変換する。処理部１２３は、変換した低解像度の映像データ、及びＨＭＤ１の環境情報を、通話に参加しているＨＭＤ５００、ＰＣ２１０、ＰＣ２２０及びサーバー２００に送信する。

（ステップＳ３３）各端末（ＨＭＤ５００、ＰＣ２１０、及びＰＣ２２０）の処理部（５２３、２１１、及び２２１）は、ＨＭＤ１から受信した受信信号に基づいて、ＬＣＤ５６３、表示部（２１５、２２５）に表示されていた画像と線画の表示を消す。

（ステップＳ３４）各端末（ＨＭＤ５００、ＰＣ２１０、及びＰＣ２２０）の処理部（５２３、２１１、及び２２１）は、ＨＭＤ１から受信した受信信号に基づいて、ＬＣＤ５６３、表示部（２１５、２２５）にＨＭＤ１から受信した低解像度の映像データに基づく映像を表示する。
次に、サーバー２００の処理部２０１は、ＨＭＤ１から受信した受信信号に基づいて、ＨＭＤ１から受信した低解像度の映像データを、記憶部２０２に記録する。

（ステップＳ３５）ＨＭＤ５００のユーザーは、ＨＭＤ１に詳細な画像を見るために高解像度の静止画を送信する要求を行うために、タッチスイッチ５３４の所定の領域をタッチする。次に、ＨＭＤ５００の処理部５２３は、タッチスイッチ５３４から入力された制御信号に基づいて、高解像度の静止画を送信する要求を、ＨＭＤ１に送信する。

（ステップＳ３６）ＨＭＤ１の処理部１２３は、ＨＭＤ５００から受信した高解像度の静止画を送信する要求を示す情報を、ＬＣＤ６３に表示する。なお、高解像度の静止画とは、例えば、横が２５００画素、縦が１８７５画素の画像である。

（ステップＳ３７）ＨＭＤ１の処理部１２３は、ＨＭＤ５００からの受信信号に基づいて、例えば、ＨＭＤ１の前方が暗い場合、照明のため前方ライト６８を点灯する。

（ステップＳ３８）図１５に移って、ＨＭＤ１の処理部１２３は、ＨＭＤ５００からの受信信号に基づいて自動的にカメラ６４が撮像した高解像度の静止画データを環境情報と合わせて、ＨＭＤ５００、ＰＣ２１０、ＰＣ２２０、及びサーバー２００に送信する。

（ステップＳ３９）各端末（ＨＭＤ５００、ＰＣ２１０、及びＰＣ２２０）の処理部（５２３、２１１、及び２２１）は、ＨＭＤ１から受信した受信信号に基づいて、ＬＣＤ５６３、表示部（２１５、２２５）にＨＭＤ１から受信した高解像度の静止画と環境情報に基づいた情報を表示する。
次に、サーバー２００の処理部２０１は、ＨＭＤ１から受信した受信信号に基づいて、ＨＭＤ１から受信した高解像度の静止画を、記憶部２０２に記録する。
このように、動画での配信が難しい高解像度の映像は、他の端末からの操作に応じて高精細に撮影され、静止画として各端末に配信される。このことで、ＨＭＤ１が使用されている環境の分析が他者より容易に行うことが可能である。

（ステップＳ４０）ＰＣ２１０のユーザーは、入力部２１４を操作して、ＨＭＤ１から受信した静止画を表示部２１５で拡大表示する。ＰＣ２１０の処理部２１１は、入力部２１４から入力された制御信号に基づいて、表示画像を拡大する指示を、ＨＭＤ１、ＨＭＤ５００、ＰＣ２２０、及びサーバー２００に送信する。

（ステップＳ４１）各端末（ＨＭＤ１、ＨＭＤ５００、及びＰＣ２２０）の処理部（１２３、５２３、及び２２１）は、ＰＣ２１０から受信した受信信号に基づいて、ＬＣＤ（６３、５６３）、表示部２２５上の画像を拡大表示する。
次に、サーバー２００の処理部２０１は、ＰＣ２１０から受信した受信信号に基づいて、拡大された画像データと、画像が拡大されたことを示す情報を記憶部２０２に記録する。
このように、ＨＭＤ１から高解像度の静止画データが送られているので、拡大しても画質が劣化することのない画像が各端末に表示される。そして、この高解像度の静止画を一台の端末の操作だけで各端末の画像が自動的に拡大でき、この画像に対して詳細なコミュニケーションを行うことが可能である。

次に、中解像度の映像を送信する処理について説明する。
（ステップＳ４２）ＨＭＤ５００のユーザーは、ＨＭＤ１に中解像度の映像を送信してもらう要求を行うために、タッチスイッチ５３４の所定の領域をタッチする。次に、ＨＭＤ５００の処理部５２３は、タッチスイッチ５３４から入力された制御信号に基づいて、中解像度の映像を送信する要求を、ＨＭＤ１に送信する。

この場合、ＨＭＤ１のＬＣＤ６３には、中解像度の映像を要望されている旨の表示がなされる。または、音声通話により要求が送信されるようにしてもよい。この要求に応じる場合、ＨＭＤ１のユーザーは、画像がブレないようにする必要がある。すなわち、ＨＭＤ１のユーザーは、あまり首を動かさないように、安定して被写体に対してカメラを向けることが要望されていることが分かる。
このように、各端末のユーザーは、各端末からの映像の要求のレベル（静止画か動画か）が判る。このため、各端末のユーザーは、どのようにしてカメラ６４を被写体に対して向ければ良いかがユーザーが分かるため、使いやすいシステムとなっている。

このように、中解像度の映像を送信できるのは、ＨＭＤ１のユーザーが、比較的安定して被写体に対してカメラ６４を向けていられる状態に限られる。このため、中解像度の映像の送信が好ましくないと判断した場合、ＨＭＤ１のユーザーは、別途音声などによってこれを断ってもよい。このように、ＨＭＤ１のユーザーの了解を得ることで、ＨＭＤ１のユーザーがいる環境の画像をそのまま送信することを防ぐこともできる。すなわち、ＨＭＤ１のユーザーの了解を得ることで、ＨＭＤ１のユーザーのプライバシーを保護することもできる。
なお、ＨＭＤ１のユーザーが中解像度の映像の送信を承認したとしても、実際に同ユーザーが移動している最中などで、カメラ６４のブレが激しい場合もあるため、ＨＭＤ１の処理部１２３は、角速度センサー１３４によって送信する映像の解像度を設定するようにしてもよい。例えば、角速度センサー１３４の出力が予め定められている値より大きい場合、ＨＭＤ１の処理部１２３は、中解像度の要望が来ても、低解像度かつ高フレームレートで送信を行ってもよい。

（ステップＳ４３）ＨＭＤ１の処理部１２３は、ＨＭＤ５００から受信した中解像度の映像を送信する要求を示す情報を、ＬＣＤ６３に表示する。次に、ＨＭＤ１のユーザーは、ＬＣＤ６３の表示を確認し、ＨＭＤ５００からの要求を承諾するために、タッチスイッチ３４の所定の領域をタッチする。

（ステップＳ４４）ＨＭＤ１の処理部１２３は、カメラ６４が撮像した中解像度の映像データを環境情報と合わせて、ＨＭＤ５００、ＰＣ２１０、ＰＣ２２０、及びサーバー２００に送信する。

次に、一つの端末が、別の端末からの画像に対して情報を付加して、完成した状態で他の端末に配信する手順を説明する。
（ステップＳ４５）各端末（ＨＭＤ５００、ＰＣ２１０、及びＰＣ２２０）の処理部（５２３、２１１、及び２２１）は、ＨＭＤ１から受信した受信信号に基づいて、ＬＣＤ５６３、表示部（２１５、２２５）にＨＭＤ１から受信した中解像度の映像を表示する。
次に、サーバー２００の処理部２０１は、ＨＭＤ１から受信した受信信号に基づいて、ＨＭＤ１から受信した中解像度の映像データを、記憶部２０２に記録する。

（ステップＳ４６）図１５に移って、ＨＭＤ５００のユーザーは、ＨＭＤ１から受信している映像の静止画を記録するために、タッチスイッチ３４の所定の領域をタッチする。

（ステップＳ４７）ＨＭＤ５００の処理部５２３は、タッチスイッチ５３４から入力された制御信号に基づいて、ＨＭＤ１から受信している映像の静止画の画像データを、フラッシュメモリー５２２に記録する。

（ステップＳ４８）ＨＭＤ５００のユーザーは、静止画に線画を重畳して表示するために、タッチスイッチ５３４の所定の領域をタッチする。次に、ＨＭＤ５００のユーザーは、タッチスイッチ５３４上で、指を動かして、線画を描写する。処理部５２３は、描写された線画を静止画に重畳して、ＬＣＤ５６３上に表示する。処理部５２３は、線画を静止画に重畳した画像データを、フラッシュメモリー５２２に記録する。

（ステップＳ４９）ＨＭＤ５００のユーザーは、フラッシュメモリー５２２に記録した静止画に線画を重畳した画像データを、ＨＭＤ１、ＰＣ２１０、ＰＣ２２０、及びサーバー２００に送信するために、タッチスイッチ５３４の所定の領域をタッチする。

（ステップＳ５０）ＨＭＤ５００の処理部５２３は、タッチスイッチ５３４から入力された制御信号に基づいて、フラッシュメモリー５２２に記録させた静止画に線画を重畳した画像データを、ＨＭＤ１、ＰＣ２１０、ＰＣ２２０、及びサーバー２００に送信する。

（ステップＳ５１）各端末（ＨＭＤ１、ＰＣ２１０、及びＰＣ２２０）の処理部（１２３、２１１、及び２２１）は、受信したＨＭＤ５００から受信した受信信号に基づいて、ＬＣＤ６３、表示部（２１５、２２５）にＨＭＤ５００から受信した静止画に線画が重畳された画像データに基づく画像を表示する。
次に、サーバー２００の処理部２０１は、受信したＨＭＤ５００から受信した受信信号に基づいて、ＨＭＤ５００から受信した静止画に線画が重畳された画像データを、記憶部２０２に記録する。

次に、別の端末からの映像も切り替える処理、その場合に低解像度の映像をデフォルトで送信する処理について説明する。
（ステップＳ５２）ＨＭＤ１のユーザーは、ＨＭＤ５００のカメラ５６４が撮像した映像を閲覧するために、タッチスイッチ３４の所定の領域をタッチする。次に、ＨＭＤ１の処理部１２３は、ＨＭＤ５００に映像の閲覧要求を送信する。

（ステップＳ５３）ＨＭＤ５００の処理部５２３は、ＨＭＤ１から受信した映像を送信する要求を示す情報を、ＬＣＤ５６３に表示する。次に、ＨＭＤ５００のユーザーは、ＬＣＤ５６３の表示を確認し、ＨＭＤ１からの要求を承諾するために、タッチスイッチ５３４の所定の領域をタッチする。

（ステップＳ５４）図１６に移って、ＨＭＤ５００の処理部５２３は、カメラ５６４が撮像した映像を低解像度に変換する。処理部５２３は、変換した低解像度の映像信号とＨＭＤ５００の環境情報とを合わせて、ＨＭＤ１、ＰＣ２１０、ＰＣ２２０、及びサーバー２００に送信する。すなわち、他の端末から、カメラで撮像した画像の送信要求があった場合、各端末の処理部は、まず低解像度の映像を送信する。その後、各端末のユーザーの要求に応じて、解像度を切り替える。

（ステップＳ５５）各端末（ＨＭＤ１、ＰＣ２１０、及びＰＣ２２０）の処理部（１２３、２１１、及び２２１）は、受信したＨＭＤ５００からの受信信号に基づいて、ＬＣＤ６３、表示部（２１５、２２５）に、ＨＭＤ５００から受信した低解像度の映像データに基づく映像を表示する。次に、各端末（ＨＭＤ１、ＰＣ２１０、及びＰＣ２２０）の処理部（１２３、２１１、及び２２１）は、ＨＭＤ５００からの受信信号に基づいて、ＨＭＤ５００から受信した環境情報に基づいて撮像した方向を算出し、算出した撮像した方向を、ＬＣＤ６３、表示部（２１５、２２５）に表示する。
次に、サーバー２００の処理部２０１は、受信したＨＭＤ５００からの受信信号に基づいて、ＨＭＤ５００から受信した静止画に低解像度の映像データと環境情報とを、記憶部２０２に記録する。

次に、特定の端末が通話を終了する手順を説明する。
（ステップＳ５６）ＰＣ２１０のユーザーは、接続を終了するために、入力部２１４を操作する。次に、ＰＣ２１０の処理部２１１は、入力部２１４から入力された制御信号に基づいて、接続の終了を示す情報を、ＨＭＤ１、ＨＭＤ５００、ＰＣ２２０、及びサーバー２００に送信する。

（ステップＳ５７）各端末（ＨＭＤ１、ＨＭＤ５００、及びＰＣ２２０）の処理部（１２３、５２３、及び２２１）は、ＰＣ２１０から受信した受信信号に基づいて、ＬＣＤ（６３、５６３）、表示部２２５に表示されていたＰＣ２１０のアバターを消去する。
次に、サーバー２００の処理部２０１は、ＰＣ２１０から受信した受信信号に基づいて、ＰＣ２１０の接続終了を記憶部２０２に記録する。

（ステップＳ５８）ＨＭＤ５００のユーザーは、接続を終了するために、タッチスイッチ５３４を操作する。次に、ＨＭＤ５００の処理部５２３は、入力部２１４から入力された制御信号に基づいて、接続の終了を示す情報を、ＨＭＤ１、ＨＭＤ５００、ＰＣ２２０、及びサーバー２００に送信する。

（ステップＳ５９）各端末（ＨＭＤ１、及びＨＭＤ５００）の処理部（１２３、及び５２３）は、ＨＭＤ５００から受信した受信信号に基づいて、ＬＣＤ６３、表示部２２５に表示されていたＨＭＤ５００のアバターを消去する。
次に、サーバー２００の処理部２０１は、ＨＭＤ５００から受信した受信信号に基づいて、ＨＭＤ５００の接続終了を記憶部２０２に記録する。

次に、各端末のユーザーが、サーバー２００に記録された画像（映像、静止画）を呼び出して利用する処理の手順を説明する。
（ステップＳ６０）ＰＣ２２０のユーザーは、サーバー２００に記録されている画像を選択するために、入力部２２４を操作、例えば、キーボードの所定のキーを押す。

（ステップＳ６１）図１７に移って、ＰＣ２２０の表示部２２５には、サーバー２００に記録されている画像の縮小された画像であるサムネイルの一覧表が表示されているとする。ＰＣ２２０のユーザーは、サーバー２００に記録されている画像を選択するために、入力部２２４を操作、例えば、キーボードの所定のキーを押す。なお、サムネイルの一覧表は、ＰＣ２２０のユーザーが、キーボードの所定のキー、マウスの操作により、サーバー２００から読み込んで表示するようにしてもよい。

（ステップＳ６２）ＰＣ２２０の処理部２２１は、入力部２２４から入力された制御信号に基づいて、選択した画像を示す情報を、サーバー２００に送信する。

（ステップＳ６３）サーバー２００の処理部２０１は、ＰＣ２２０から受信した受信信号に基づいて、選択された映像とその映像に関連付けられて記憶部２０２に記録されている環境情報を読み出す。処理部２０１は、読み出した環境情報に基づいて、方位を算出する。処理部２０１は、読み出した映像データと算出した方位情報とを、ＨＭＤ１、及びＰＣ２２０に送信する。

（ステップＳ６４）サーバー２００の処理部２０１は、ＨＭＤ１、及びＰＣ２２０に映像データを送信したことを、記憶部２０２に記録する。
次に、ＨＭＤ１及びＰＣ２２０の各処理部（１２３、及び２２１）は、サーバー２００から受信した映像データと方位情報とに基づく画像を、各々、ＬＣＤ６３、及び表示部２２５に表示する。

（ステップＳ６５）ＨＭＤ１のユーザーは、サーバー２００から送信されている映像に線画を描写するために、タッチスイッチ３４の所定の領域をタッチ（第１操作）する。次に、ＨＭＤ１の処理部１２３は、タッチスイッチ３４から入力された制御信号に基づいて、送信されている映像を一時停止する要求を、サーバー２００に送信する。すなわち、サーバー２００から読み出した映像に対して、線画を描写する場合においても、映像を一時停止して静止画を得る。そして、各端末は、この静止画に線画を重畳することができる。

（ステップＳ６６）サーバー２００の処理部２０１は、ＨＭＤ１から受信した受信信号に基づいて、送信中の映像データを一時停止する。次に、処理部２０１は、送信中の映像データを一時停止したことを示す情報を、ＨＭＤ１、及びＰＣ２２０に送信する。

（ステップＳ６７）ＨＭＤ１、及びＰＣ２２０の各処理部（１２３、及び２２１）は、サーバー２００から受信した受信信号に基づいて、一時停止した静止画を、各々、フラッシュメモリー１２２、記憶部２２２に記録する。なお、ＨＭＤ１の処理部１２３は、ステップＳ６５において、ユーザーがタッチスイッチ３４をタッチしたことに基づいて、一時停止した静止画を、フラッシュメモリー１２２に記録するようにしてもよい。

（ステップＳ６８）図１８に移って、ＨＭＤ１のユーザーは、静止画に線画を重畳して表示するために、タッチスイッチ３４の所定の領域をタッチする。次に、ＨＭＤ１のユーザーは、タッチスイッチ３４上で、指を動かして、線画を描写する。次に、ＨＭＤ１の処理部１２３は、タッチスイッチ３４の指の動きに応じて、カーソルの位置を、順次、ＰＣ２００、及びサーバー２００に送信する。

（ステップＳ６９）ＨＭＤ１、及びＰＣ２２０の各処理部（１２３、及び２２１）は、描写された青色の線画を静止画に重畳して、各々、ＬＣＤ６３、表示部２２５上に表示する。次に、各処理部（１２３、及び２２１）は、青色の線画を静止画に重畳した画像データを、各々、フラッシュメモリー１２２、記憶部２２２に記録する。

（ステップＳ７０）ＨＭＤ１のユーザーは、一時停止を解除して、映像の送信を再開するために、タッチスイッチ３４の所定の領域をタッチする。次に、ＨＭＤ１の処理部１２３は、一時停止を解除して、映像の送信を再開する要求を、サーバー２００に送信する。

（ステップＳ７１）サーバー２００の処理部２０１は、ＨＭＤ１から受信した受信信号に基づいて、一時停止を解除し、映像データの送信を再開する。次に、処理部２０１は、ステップＳ６９で描写された線画の表示を消去する指示を、ＨＭＤ１、及びＰＣ２２０に送信する。

（ステップＳ７２）ＨＭＤ１、及びＰＣ２２０の各処理部（１２３、及び２２１）は、サーバー２００から受信した受信信号に基づいて、各々、ＬＣＤ６３、表示部２２５に表示されていた青色の線画を消去する。次に、ＨＭＤ１、及びＰＣ２２０の各処理部（１２３、及び２２１）は、サーバー２００から受信した受信信号に基づいて、各々、ＬＣＤ６３、表示部２２５に送信が再開された映像データと方位情報に基づく画像を表示する。

次に、ＨＭＤ１のユーザーの指示により、ＨＭＤ１自ら撮影した映像に対して自らが線画を重畳する手順を説明する。
（ステップＳ７３）ＨＭＤ１のユーザーは、線画を描写して送信するために、タッチスイッチ３４上の所定の位置で指を動かす。この場合、線画を送信するため、ＨＭＤ１の処理部１２３は、カメラ６４が撮像した映像を、低解像度から中解像度に切り替える。

（ステップＳ７４）図１９に移って、ＨＭＤ１の処理部１２３は、カメラ６４が撮像した動画を中解像度の映像に変換し、変換した中解像度の映像データを、ＰＣ２２０、及びサーバー２００に送信する。

（ステップＳ７５）ＨＭＤ１のユーザーは、送信中の映像を一時停止するために、タッチスイッチ３４の所定の位置をタッチする。次に、ＨＭＤ１のユーザーは、一時停止させた静止画上に線画を描写するために、タッチスイッチ３４上で指を動かす。
次に、ＨＭＤ１の処理部１２３は、タッチスイッチ３４がタッチされたことに基づいて、送信中の映像を一時停止する指示を、ＰＣ２２０、及びサーバー２００に送信する。
次に、処理部１２３は、タッチスイッチ３４上の指の動きに応じて、順次、カーソルの位置を示す情報を、ＰＣ２２０、及びサーバー２００に送信する。

（ステップＳ７６）ＨＭＤ１の処理部１２３は、タッチスイッチ３４上の指の動きに応じて、静止画上に青色の線画を重畳して表示する。
次に、ＰＣ２２０の処理部２２１は、ＨＭＤ１から受信した受信信号に基づいて、映像を一時停止する。次に、処理部２２１は、ＨＭＤ１から受信した受信信号に基づいて、一時停止した静止画に青色の線画を重畳して、表示部２２５に表示する。
次に、サーバー２００の処理部２０１は、ＨＭＤ１から受信した受信信号に基づいて、映像データを一時停止し、停止したときの静止画を記憶部２０２に記録する。次に、処理部２０１は、ＨＭＤ１から受信した受信信号に基づいて、青色の線画を、記憶部２０２に記録する。

次に、ステップＳ１で通話を開始したＨＭＤ１により、全ての通話相手との通話を終了する処理について説明する。
（ステップＳ７７）ＨＭＤ１のユーザーは、全ての端末との通話を完了するため、タッチスイッチ３４の所定の位置をタッチする。次に、ＨＭＤ１の処理部１２３は、タッチスイッチ３４から入力された制御信号に基づいて、通話を完了する指示を、ステップＳ７７で通話に参加しているＰＣ２２０、及びサーバー２００に送信する。次に、処理部１２３は、ＰＣ２２０、及びサーバー２００との通話を終了する。

（ステップＳ７８）ＰＣ２２０の処理部２２１は、ＨＭＤ１から受信した受信信号に基づいて、ＨＭＤ１からの通話処理を終了する。
次に、サーバー２００の処理部２０１は、ＨＭＤ１から受信した受信信号に基づいて、ＨＭＤ１及びＰＣ２２０との接続が終了したことを示す情報を、記憶部２０２に記録する。

なお、図９〜図１９に示した例において、各端末からの画像データの送信、線画の描写等の順序は、一例であり、各端末のユーザーの指示に応じた順序で行われる。

以上のように、複数の端末間で動画に対して画面に基づくコミュニケーションを行いたい場合、各端末の各処理部は、映像を一時停止させ静止画としてから、その画像に対して線画などを重畳する。この結果、本実施形態によれば、たとえ撮影者が撮影する方向が変わったとしても、正確に画面の画像と線画とを重ねることが可能となる。
また、本実施形態によれば、最初に静止画を要求した端末がキャプチャーした画像が全端末に配信されるので、その後に線画を重畳しても線画と静止画とが各端末でズレが発生することがないので、コミュニケーションでのミスが削減できる。

また、本実施形態では、各端末の各処理部は、映像を一時停止させ静止画としてから、その画像に対して線画などを重畳することで、例えば、映像中を移動している物体や人についても静止した画像を用いることができる。このため、説明したい画像中の対象物と線画とのズレを防ぐ効果もある。

また、本実施形態では、通信環境の厳しい場合にそなえて、画面の解像度を落としてもフレームレートの高い画像を送る第１のモードと、画像の解像度は高くてもフレームレートの低い第２のモードを用意する。そして、本実施形態によれば、線画を重畳する場合、第二のモードで画像を送るようにすることで、観察者にとっても見やすい画像を送信できて、状況をより正確に伝えることが可能となっている。

なお、本実施形態では、アバター記憶部３０７に予め複数のアバターを示す情報が記憶されている例を説明したが、これに限られない。例えば、ＨＭＤ１の処理部１２３は、ＨＭＤ１と通話を行っているユーザーのアバターを示す情報を、通信インタフェース（１３１、１３８）を介して受信するようにしてもよい。

なお、本実施形態では、カーソルの色と、線画の色とを同系色にする例を説明したが、さらにアバターの色も同系色にするようにしてもよい。例えば、ＨＭＤ５００のＬＣＤ５６３に表示されるＨＤＭ１によるカーソルが水色、線画が青色の場合、ＨＭＤ１のアバターの服の色、及び髪の毛の色を、青色系にするようにしてもよい。これにより、どのユーザーが、カーソルの操作や線画を描写しているのかを、さらに視覚的に認識しやすくなる。

なお、本実施形態では、ユーザー毎に、カーソルの表示色、線画の表示色を変える例を説明したが、これに限られない。例えば、ユーザー毎にカーソルの形状、線画に用いる線の種類（実線、点線、破線）、及び線画に用いる線の太さを変えるようにしてもよい。

なお、本実施形態では、ＨＭＤ１、及びＨＭＤ５００のユーザーが、タッチスイッチ（３４、５３４）を操作して、各種の操作を行う例を示したが、これに限られない。例えば、リモコン１４０を介して操作を行うようにしてもよい。あるいは、切り替えや選択等の操作においては、各端末（ＨＭＤ１、及びＨＭＤ５００）の処理部（１２２、及び５２２）は、ユーザーの瞬きの回数を検出し、検出した瞬きの回数に基づいて、例えば、カーソル表示、線画の描写等を切り替えるように制御してもよい。

なお、本実施形態では、各端末が画像に線画を描写する例を示したが、これに限られない。例えば、ＰＣ２１０の入力部２１４のキーボードから入力されたコメントを、受信している画像に重畳するようにしてもよい。この場合においても、コメントは、各端末、及びサーバーにおいて、受信している画像と異なるレイヤーに表示、及び記憶される。このため、コメントのみの表示、削除を行うことができる。

なお、本実施形態では、映像（動画）を、初期状態では、低解像度で送信し、ユーザーからの要求に応じて、中解像度等に切り替える例を示したが、これに限られない。解像度の種類は、さらに多くてもよい。また、ユーザーがタッチスイッチ３４を用いて、解像度及びフレームレートを設定するようにしてもよい。具体的には、低解像度における解像度及び第１フレームレートの第１設定、低解像度における解像度及び第２フレームレートの第２設定、中解像度における解像度及び第３フレームレートの第３設定、等である。
ただし、ユーザーが解像度を設定した場合、他の端末のユーザーの端末においても同じ解像度で、通話のやりとりを行う必要があるため、通話開始時等に、用いる解像度を示す情報を送信しておくようにしてもよい。
また、送信する画像は、利用する用途に応じて、白黒であっても、カラーであってもよく、カラーの場合、用途に応じて８ビットカラー、１６ビットカラー等であってもよい。

なお、本実施形態の図９〜図１９の例では、ＨＭＤ１のユーザーを含めて４者で通話を行い、全てのユーザー間で同じ画像を共有する例を説明したが、これに限られない。例えば、画像をリクエストされた端末は、リクエストした端末のみに画像情報を、送信するようにしてもよい。または、送信元で、送信先を限定したり、グループ化してあるメンバーのみに画像情報を、送信するようにしてもよい。
また、画像に限らず、音声信号についても、リクエストされた端末は、リクエストした端末のみに音声信号を送信するようにしてもよい。または、送信元で、送信先を限定したり、グループ化してあるメンバーのみに、音声信号を送信するようにしてもよい。

また、ユーザーが使用している端末の表示解像度、カメラの撮影解像度が異なっている場合もある。この場合、通話開始時に、各端末の表示解像度、カメラの撮影解像度を、他の端末、およびサーバー２００に送信する。そして、これらの情報に基づいて、例えば、サーバー２００が、通話に使用する共通の解像度を設定して、設定した共通の解像度を、各端末に送信するようにしてもよい。共通の解像度を設置した後に、さらに別の端末が通話に参加した場合においても、後から通話に参加した端末からの情報に基づいて、例えば、サーバー２００が、共通の解像度を再設定して、再設定した共通の解像度を、各端末に送信するようにしてもよい。

なお、複数の通話相手と通話を行う場合、１人のユーザーが使用している端末（ＨＭＤ）のＬＣＤまたは表示部が白黒表示であり、カメラ６４が白黒撮像しかできない場合、他の端末の処理部は、この端末に合わせて、白黒の画像を送信するようにしてもよい。この場合、送信するデータを軽減できる効果もある。あるいは、カラーで撮像した画像を送信し、端末側で、白黒に変換して表示するようにしてもよい。

なお、本実施形態では、ＰＣ２１０のユーザーが、入力部２１４を操作して、ＨＭＤ１から受信した静止画を表示部２１５で拡大表示（図１４、ステップＳ４０）する例を説明したが、画像の拡大は、ＨＭＤ１側で行うようにしてもよい。例えば、ＨＭＤ１が備えるカメラ６４にズーム機能を有する場合、ＰＣ２１０のユーザーは、拡大表示の要求を、ＨＭＤ１に送信する。そして、ＨＭＤ１の処理部１２３は、受信した拡大要求に応じて、ズーム機能を用いて撮像した画像を、通話中の端末に送信するようにしてもよい。

なお、本実施形態では、画像を送信する例を説明したが、動画には音声信号が含まれているようにしてもよく、環境によって周囲雑音が多い場合、画像のみを送信するようにしてもよい。
また、画像の送信時、処理部１２３は、例えば、撮影日時、端末の機種情報、撮影条件（シャッタースピード、感度、絞り値、レンズの焦点距離）等の情報を付加、もしくは埋め込んで送信するようにしてもよい。
また、送信する画像のフォーマットは、予め端末が再生可能なフォーマットをサーバー２００に登録しておき、サーバー２００が登録されている情報に基づいて決定するようにしてもよい。この結果、端末側で、フォーマット変換を行う必要がないので、通話を行っているユーザー同士が、ほぼ同時刻に同じ画像を観測することができるので、コミュニケーションのミスを軽減できる効果がある。

なお、処理部１２３は、送信する画像を、通話に参加していない人に搾取されてしまうことを防ぐため、例えば、公知の技術を用いて、暗号化して送信するようにしてもよい。また、処理部１２３は、送信する画像に、公知の技術を用いて、例えば「すかし」を埋めこんで送信するようにしてもよい。

なお、本実施形態では、各端末のユーザーを示す情報として、アバターを用いる例を示したが、例えば、ユーザーの顔写真であってもよい。この場合、例えば、各端末のカメラ（６４、５６４、２１６、及び２２６）が撮像した顔写真を、予めサーバー２００の記憶部２０２に記録しておくようにしてもよい。そして、通話を行うとき、通話に参加しているユーザーの顔写真を、サーバー２００が、各端末に送信するようにしてもよい。または、各端末から、他の端末に顔写真を送信するようにしてもよい。ＰＣ２１０のカメラ２１６のように、通話中、顔全体を撮像できる場合、顔写真ではなく、ユーザーの顔を撮像した映像を、他の端末に送信するようにしてもよい。この場合、送信される顔の映像は、ユーザーを特定できる程度の解像度であればよい。

なお、ＨＭＤ１のＬＣＤ６３は、裸眼による３次元表示が可能な表示部であってもよい。
また、カメラ６４は、３次元撮像が可能なものを備えるようにしてもよい。カメラ６４が、３次元撮影が可能な場合、他の端末に送信する画像情報は、他の端末が全て３次元表示可能な表示部を備えていることが予め分かっていれば、３次元の画像情報を、送信するようにしてもよい。

なお、本実施形態では、ディスプレイ本体２０をヘッドバンド４０に装着して使用する例を説明したが、これに限られない。ユーザーは、ディスプレイ本体２０をヘッドバンド４０に装着せずに、単体で使用してもよい。

なお、本実施形態では、情報表示装置が、入出力検出部（入力部）と、画像合成部部とを備える例を説明したが、これに限られない。例えば、各部を備える装置を有するシステムであってもよい。

なお、本発明の技術範囲は上記の実施形態に限定されるものではない。上記の実施形態で説明した要件のうち少なくとも１つの要件は、省略される場合がある。上記の実施形態で説明した各要件は、適宜、組み合わせることができる。

なお、上述のＨＭＤ１（含む５００）は、内部にコンピュータシステム（例えば、処理部１２３、５２３）を有している。そして、各機能部の動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリーやＯＳ、周辺機器等のハードウェアを含むものである。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピュータシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

１…ヘッドマウントディスプレイ、２０…ディスプレイ本体、３４…タッチスイッチ、６０…表示部、６３…表示パネル（表示部）、６４…カメラ、７２…撮像素子、１２３…処理部、１３０…ＢＴ通信回路、１３１…ＷｉＦｉ通信回路、１３２…加速度センサー、１３３…地磁気センサー、１３７…心拍数センサー、１３８…３Ｇ／ＬＴＥ通信回路、１４０…リモコン、３０１…入力検出部、３０２…画像切替部、３０３…送受信部、３０４…線画生成部、３０５…カーソル生成部、３０６…アバター選択部、３０７…アバター記憶部、３０８…画像合成部

Claims (9)

1. 画像を表示する表示部と、
   ユーザーの操作を検出する入力部と、
   前記入力部で操作が行われた場合、前記表示部に表示されている画像を一時停止し、一時停止させた前記画像に、前記入力部での操作に基づく画像を重畳する画像合成部と、
   を備えることを特徴とする情報表示装置。
2. 前記入力部で操作が行われた場合、一時停止させた前記画像を、他の端末へ送信する送受信部
   を備えることを特徴とする請求項１に記載の情報表示装置。
3. 画像を撮像する撮像部
   を備え、
   前記画像合成部は、前記入力部で操作が行われた場合、前記撮像部が撮像して表示部に表示された前記画像を一時停止させる
   ことを特徴とする請求項１または請求項２に記載の情報表示装置。
4. 前記画像合成部は、軌跡が残らないカーソルを重畳する第１モードの場合、前記表示部に表示されている画像を一時停止せずに、当該画像に前記入力部での操作に基づく画像を重畳する
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の情報表示装置。
5. 前記画像合成部は、
   軌跡を残す線画を重畳する第２モードの場合、前記表示部に表示される画像を一時停止し、一時停止させた当該画像に前記入力部での操作に基づく画像を重畳する
   ことを特徴とする請求項１から請求項３のいずれか１項に記載の情報表示装置。
6. 前記画像合成部は、
   前記入力部から出力されたユーザーの操作に基づいて、他の端末に送信する画像の解像度、フレームレートのいずれか１つを切り替えて、切り替え後の画像を前記他の端末に送信する
   ことを特徴とする請求項２から請求項５のいずれか１項に記載の情報表示装置。
7. 前記画像合成部は、前記表示部に表示されている画像を一時停止し、一時停止させた前記画像に、他の端末の入力部での操作に基づく画像を重畳する
   ことを特徴とする請求項２から請求項５のいずれか１項に記載の情報表示装置。
8. 前記画像合成部は、軌跡を残す線画を表示する色と、軌跡を残さないカーソルを表示する色とを同系色にする
   ことを特徴とする請求項１から請求項７のいずれか１項に記載の情報表示装置。
9. 情報表示装置における情報表示方法であって、
   表示部が、画像を表示する表示手順と、
   入力部が、ユーザーの操作を検出する入力手順と、
   前記入力手順で操作が行われた場合、前記表示部に表示されている画像を一時停止し、一時停止させた前記画像に、前記入力手順での操作に基づく画像を重畳する画像合成手順と、
   を含むことを特徴とする情報表示方法。