JP2015194880A - 表示システム及びプログラム - Google Patents

Abstract

【課題】 現実空間に重ね合わせる電子情報を第三者に閲覧されることなく、複数のユーザ間で共有することができない。【解決手段】 第１表示装置及び第２表示装置を備える表示システムにおいて、第１表示装置は、第１表示部において実空間の像及び画像の少なくとも一方に重畳させて描画される情報を入力する第１入力部が入力した情報に基づいて、画像を更新する第１画像更新部と、第１画像更新部が更新した画像を変換する第１画像変換部とを有する。【選択図】図１

Description

本発明は、表示システム及びプログラムに関する。

現実空間に電子情報を重ね合わせる拡張現実技術が知られている（例えば、特許文献１を参照。）。
［先行技術文献］
［特許文献］
［特許文献１］特表２０００−５１２７８１号公報

しかし、従来の拡張現実技術においては、現実空間に重ね合わせる電子情報を第三者に閲覧されることなく、複数のユーザ間で共有することができない。

本発明の第１の態様においては、第１表示装置及び第２表示装置を備える表示システムが提供される。上記の表示システムにおいて、第１表示装置は、実空間の像に重畳させて、第１閲覧者に画像を表示する第１表示部と、第１閲覧者から指示された情報であって、第１表示部において実空間の像及び画像の少なくとも一方に重畳させて描画される情報を入力する第１入力部が入力した情報に基づいて、画像を更新する第１画像更新部と、実空間上の第１基準領域と、第１表示部との位置関係に基づいて、第１画像更新部が更新した画像を変換する第１画像変換部と、第１画像変換部が変換した画像を、第１基準領域に重畳させて、又は第１基準領域とともに、第１表示部に表示させる第１表示制御部とを有してよい。上記の表示システムにおいて、第２表示装置は、実空間の像に重畳させて、第２閲覧者に画像を表示する第２表示部と、第１基準領域又は実空間上の第２基準領域と、第２表示部との位置関係に基づいて、第１画像更新部が更新した画像又は第１画像変換部が変換した画像を変換する第２画像変換部と、第１画像更新部が更新した画像、第１画像変換部が変換した画像又は第２画像変換部が変換した画像を、第１基準領域若しくは第２基準領域に重畳させて、又は第１基準領域若しくは第２基準領域とともに、第２表示部に表示させる第２表示制御部とを有してよい。

上記の表示システムにおいて、第１表示装置は、少なくとも第２表示装置の動作モードを変更させる命令を生成する動作モード変更部をさらに備えてよい。上記の表示システムにおいて、第２表示装置は、第２閲覧者から指示された情報であって、第２表示部において実空間の像及び画像の少なくとも一方に重畳させて描画される情報を入力する第２入力部が入力した情報に基づいて、画像を更新する第２画像更新部をさらに備えてよい。上記の表示システムにおいて、第１表示装置は、実空間の像を撮像する第１撮像部と、第１撮像部により撮像された実空間の像の映像を解析して、映像の中に第１基準領域が含まれているか否か判断する画像解析部とをさらに備えてよい。上記の表示システムにおいて、画像解析部が、実空間の像の中に第１基準領域が含まれていないと判断した場合、動作モード変更部は、第２画像更新部に、画像を更新させ、第２画像変換部に、第２基準領域と、第２表示部との位置関係に基づいて、第２画像更新部が更新した画像を変換させ、第２表示制御部に、第２画像更新部が更新した画像又は第２画像変換部が変換した画像を、第２基準領域に重畳させて、又は第２基準領域とともに、第２表示部に表示させるための命令を生成してよい。

上記の表示システムにおいて、第１表示装置は、第１画像変換部が変換した画像及び第１画像更新部が更新した画像のうち、第１表示部に表示させるべき画像を決定する画像決定部をさらに備えてよい。上記の表示システムにおいて、第１表示制御部は、画像決定部により決定された画像を、第１基準領域に重畳させて、又は第１基準領域とともに、第１表示部に表示させてよい。上記の表示システムにおいて、第１表示装置は、第２表示装置を認証する認証部と、第２表示装置が認証部により認証されている場合に、第１画像更新部が更新した画像を、第２表示装置に送信する画像送信部とをさらに備えてよい。

上記の表示システムにおいて、第１画像更新部は、複数の画像を更新してよい。上記の表示システムにおいて、第１表示装置は、複数の画像のそれぞれを識別する画像識別情報と、画像識別情報により識別される画像の第２表示装置への送信の可否に関する情報とが対応付けられた送信制御情報を格納する制御情報格納部と、送信制御情報を参照して、複数の画像のそれぞれについて、第２表示装置への送信の可否を決定する送信制御部とをさらに備えてよい。上記の表示システムにおいて、画像送信部は、複数の画像のうち、送信制御部により送信を許可された画像を第２表示装置に送信してよい。

本発明の第２の態様においては、実空間の像に重畳させて、閲覧者に画像を表示する表示部と、閲覧者から指示された、表示部において実空間の像及び画像の少なくとも一方に重畳させて描画される情報を入力する入力部が入力した情報に基づいて、画像を更新する画像更新部と、実空間上の基準領域と、表示部との位置関係に基づいて、画像更新部が更新した画像を変換する画像変換部と、画像変換部が変換した画像を、基準領域に重畳させて、又は基準領域とともに、表示部に表示させる表示制御部と、画像更新部が更新した画像又は画像変換部が変換した画像を、他の表示装置に送信する画像送信部とを備える表示システムが提供される。

本発明の第３の態様においては、他の表示装置から、画像のデータを受信する画像受信部と、実空間の像に重畳させて、閲覧者に画像を表示する表示部と、画像に含まれる実空間上の第１基準領域の画像、又は実空間上の第２基準領域と、表示部との位置関係に基づいて、画像を変換する画像変換部と、画像変換部が変換した画像を、第１基準領域若しくは第２基準領域に重畳させて、又は第１基準領域若しくは第２基準領域とともに、表示部に表示させる表示制御部とを備える表示システムが提供される。

本発明の第４の態様においては、コンピュータを、上記の何れかの表示システムとして機能させるためのプログラムが提供される。表示システム用のプログラムを記憶するコンピュータ読み取り可能な媒体であって、プログラムは、コンピュータを、上記の何れかの表示システムとして機能させるコンピュータ読み取り可能な媒体が提供されてもよい。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

表示システム１００の一例を概略的に示す。 表示端末１２２を通して視認される映像２００の一例を概略的に示す。 表示端末１４２を通して視認される映像３００の一例を概略的に示す。 画像変換処理の一例を概略的に示す。 画像変換処理の他の例を概略的に示す。 ユーザ端末１１２のシステム構成の一例を概略的に示す。 画面生成部６５０のシステム構成の一例を概略的に示す。 表示制御部７５８のシステム構成の一例を概略的に示す。 共有制御部６６０のシステム構成の一例を概略的に示す。 データテーブル１０００の一例を概略的に示す。 表示端末１２２を通して視認される映像１１００の一例を概略的に示す。 表示システム１２００の一例を概略的に示す。 表示システム１３００の一例を概略的に示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、図面において、同一または類似の部分には同一の参照番号を付して、重複する説明を省く場合がある。

図１は、表示システム１００の一例を概略的に示す。図１を用いて、基準マーカ１０４が付されたホワイトボード１０２上に描画される画像の電子情報を、ユーザ端末１１２及びユーザ端末１１４の間で共有する場合を例として、表示システム１００について説明する。

本実施形態において、表示システム１００は、ユーザ１２に情報を提示するユーザ端末１１２と、ユーザ１４に情報を提示するユーザ端末１１４とを備える。ユーザ端末１１２は、表示端末１２２と、通信端末１２４とを備える。ユーザ端末１１４は、表示端末１４２と、通信端末１４４とを備える。ユーザ１２は、第１閲覧者の一例であってよい。また、ユーザ１４は、第２閲覧者の一例であってよい。ユーザ端末１１２は、第１表示装置の一例であってよい。ユーザ端末１１４は、第２表示装置の一例であってよい。

ホワイトボード１０２及び基準マーカ１０４の少なくとも一方は、ユーザ端末１１２及びユーザ端末１１４が電子的な画像（単に、画像と称する場合がある。）を実空間の像に重畳させて表示する場合において、当該電子的な画像の表示位置を決定するための基準点又は基準領域として利用される。ホワイトボード１０２及び基準マーカ１０４の少なくとも一方は、ユーザ端末１１２及びユーザ端末１１４が電子的な画像を実空間の像に重畳させて表示する場合において、当該電子的な画像の形状、又は形状及び大きさを決定するための基準領域として利用されてもよい。

ホワイトボード１０２及び基準マーカ１０４は、少なくとも実空間における形状が、予め定められている。ホワイトボード１０２及び基準マーカ１０４は、大きさ及び形状が予め定められていてもよい。ホワイトボード１０２及び基準マーカ１０４は、模様、色彩及びこれらの組み合わせが施されていてもよい。ホワイトボード１０２及び基準マーカ１０４の少なくとも一方は、第１基準領域の一例であってよい。

説明を簡単にする目的で、本実施形態においては、基準マーカ１０４を、第１基準領域の一例として利用する場合を例として、表示システム１００について説明する。しかし、第１基準領域は、本実施形態に限定されない。他の実施形態において、複数の基準マーカ１０４が、第１基準領域として利用される。例えば、第１基準領域として利用される２つの基準マーカ１０４が、ホワイトボード１０２の４つの角のうち、対向する２つの角に配される。２つの基準マーカ１０４が、ホワイトボード１０２に対角線上に配されてもよい。また、基準マーカ１０４及びホワイトボード１０２が第１基準領域として利用される。これにより、電子的な画像の表示位置を精度よく決定することができる。

なお、画像を実空間の像に重畳させて表示するとは、（ｉ）光を透過して実空間の像を閲覧者に提供するとともに、閲覧者に対して電子的な画像を表示する透過型ディスプレイにおいて、閲覧者が透過型ディスプレイを通して実空間の像を見た場合に、当該閲覧者により、電子的な画像及び実空間の像が重畳しているように視認される位置に、当該電子的な画像を表示することだけでなく、（ｉｉ）実空間の像を撮像して得られた電子的な映像と、電子的な画像とを合成して得られた画像を表示することを示す。電子的な映像は、動画像であってもよく、静止画像であってもよい。また、画像又は映像には、音声情報が含まれてもよく、画像の表示又は映像の再生とともに、音声が再生されてもよい。

次に、ユーザ端末１１２及びユーザ端末１１４における情報処理の概要を説明する。本実施形態において、ユーザ端末１１２及びユーザ端末１１４は、マスター／スレーブ方式により、実空間の像に重畳させて表示される画像の電子情報を共有する。説明を簡単にする目的で、本実施形態においては、ユーザ端末１１２がマスター端末として機能し、ユーザ端末１１４がスレーブ端末として機能する場合を例として、ユーザ端末１１２及びユーザ端末１１４について説明する。

本実施形態において、ユーザ端末１１２は、ユーザ端末１１４との間で共有する画像を管理する。ユーザ端末１１２は、例えば、ユーザ１２の指示に基づいて、画像を更新する。例えば、ユーザ端末１１２及びユーザ端末１１４の間で「ＡＢ」という文字列の画像が共有されている場合において、ユーザ端末１１２が、ユーザ１２から、「ＡＢ」という文字列の後ろに「ＣＤ」という文字列を入力するための指示を受け取った場合、ユーザ端末１１２は、現在、共有されている「ＡＢ」という文字列の画像の内容を更新して、「ＡＢＣＤ」という文字列の画像を生成する。ユーザ端末１１２は、更新された画像を、ユーザ端末１１４に送信する。これにより、ユーザ端末１１２及びユーザ端末１１４は、ユーザ１２及びユーザ１４に対して表示される画像を共有することができる。

ユーザ端末１１２及びユーザ端末１１４は、実空間の像に重畳させて、それぞれのユーザに画像を表示する。ユーザ端末１１２及びユーザ端末１１４は、必要に応じて画像を変換し、変換後の画像をそれぞれのユーザに表示する。例えば、ユーザ端末１１２及びユーザ端末１１４は、それぞれのユーザと、基準マーカ１０４との位置関係に応じて、画像の形状、又は画像の形状及び大きさを変換する。これにより、あたかも、画像が実空間上の特定の位置に固定されているかのように、当該画像を表示することができる。

一実施形態によれば、ユーザ端末１１２は、画像を更新した後、変換処理前の画像をユーザ端末１１４に送信する。この場合、ユーザ端末１１４は、受信した画像を変換して、変換処理後の画像をユーザ１４に表示してよい。他の実施形態によれば、ユーザ端末１１２は、画像を更新した後、更新された画像をユーザ１４に表示するために変換する。例えば、ユーザ端末１１２は、ユーザ端末１１４から、ユーザ１４の近傍において撮像された基準マーカ１０４の形状に関する情報を取得する。ユーザ端末１１２は、変換前の画像中の基準マーカ１０４の形状と、ユーザ１４の近傍において撮像された基準マーカ１０４の形状とを比較して、両者が同一となる又は相似するように、画像の形状を変換する。ユーザ端末１１２は、変換後の画像をユーザ端末１１４に送信する。この場合、ユーザ端末１１４は、ユーザ端末１１２から受信した画像をユーザ１４に表示してもよい。

なお、マスター／スレーブ方式におけるマスター端末及びスレーブ端末の区別は絶対的なものではなく、マスター端末において予め定められたイベントが発生した場合、マスター端末は、１以上のスレーブ端末のうちの１つに対して、当該スレーブ端末をマスター端末として機能させるための命令を送信してよい。これにより、マスター端末を切り替えることができる。予め定められたイベントとしては、ユーザから、マスター端末を切り替えるための指示が入力されたこと、ユーザ端末１１２が基準マーカ１０４を認識できなくなったことなどを例示することができる。

このように、本実施形態の表示システム１００によれば、実空間の像に重畳される画像を複数のユーザ端末間で共有しながら、リアルタイムに画像を更新することができる。また、ユーザ端末の位置に応じて、画像を変換することができる。これにより、臨場感が増加する。さらに、実空間上で情報を描画することなく、当該情報を共有することができるので、情報漏洩のリスクを低減することができる。

本実施形態の表示システム１００によれば、現実のホワイトボードでは不可能な要求に対応することができる。例えば、本実施形態の表示システム１００によれば、画像の表示範囲又は描画範囲を自由に指定することもできる。これにより、例えば、壁面全体をホワイトボードとして利用することができる。また、画像を表示させるとともに、画像に関連付けられた音声を再生することもできる。

次に、ユーザ端末１１２の各部の概要について説明する。なお、ユーザ端末１１４は、ユーザ端末１１２と同様の構成を有してよい。そのため、ユーザ端末１１４の各部については、説明を省略する場合がある。

本実施形態において、ユーザ端末１１２は、ユーザ１２に情報を提示し、ユーザ端末１１４と情報を送受することができる装置であればよく、詳細については特に限定されない。ユーザ端末１１２は、パーソナルコンピュータ、携帯端末、無線端末、及びこれらの組み合わせであってよい。携帯端末としては、携帯電話若しくはスマートフォン、ノートブック・コンピュータ若しくはラップトップ・コンピュータ、ＰＤＡ、タブレット端末、ウェアラブル・コンピュータなどを例示することができる。ウェアラブル・コンピュータとしては、アイウエア型、腕輪型又は指輪型のウェアラブル・コンピュータを例示することができる。

表示端末１２２は、実空間の像に重畳させて、ユーザ１２に画像を表示する。本実施形態において、表示端末１２２は、通信端末１２４から、ユーザ１２に提示すべき画像を受信して、当該画像を表示する。

表示端末１２２は、ウェアラブル・コンピュータであることが好ましく、アイウエア型の表示デバイスであることが好ましい。アイウエア型の表示デバイスとしては、ヘッドマウントディスプレイ、メガネ型の表示デバイス、コンタクトレンズ型の表示デバイスなどを例示することができる。表示端末１２２は、透過型ディスプレイを有してもよい。

本実施形態において、表示端末１２２は、基準マーカ１０４が含まれるように、ホワイトボード１０２の少なくとも一部を撮像する。表示端末１２２は、ユーザ１２の頭部に装着されているので、ユーザ１２の視線に近い映像を取得することができる。撮像された映像を解析することで、ユーザ１２及び基準マーカ１０４の位置関係に関する情報を取得することができる。表示端末１２２は、ユーザ１２又は第三者のジェスチャを撮像してもよい。撮像された映像を解析することで、ユーザ１２又は第三者のジェスチャを検出することができる。これにより、いわゆるジェスチャ入力（ジェスチャ認識と称される場合がある。）を実現することができる。本実施形態において、表示端末１２２は、撮像された映像を通信端末１２４に送信する。

ユーザ又は第三者（ユーザなどと称する場合がある。）のジェスチャとしては、ユーザなどの動作、ユーザなどが装着又は所持しているデバイスの動き、ユーザなどの視線の動きなどを例示することができる。ユーザなどの動作としては、ユーザなどの指先の動き、ユーザなどの手の形、ユーザなどの腕の形などを例示することができる。なお、ユーザなどのジェスチャの検出方法は、撮像された映像から検出する方法に限定されない。例えば、ユーザなどが、加速度センサ、ジャイロセンサなどを備えたウェアラブル・コンピュータ又は携帯端末を装着又は所持している場合、当該ウェアラブル・コンピュータ又は携帯端末を利用することにより、ユーザなどのジェスチャを検出することができる。通信端末１２４は、ユーザ１２の指示により、ユーザなどのジェスチャを検出してよい。

本実施形態において、通信端末１２４は、表示端末１２２に表示される画像を生成する。例えば、通信端末１２４は、ユーザ１２により入力された、表示端末１２２に表示されるべき情報に基づいて、表示端末１２２に表示される画像を更新する。通信端末１２４は、ユーザ１４により入力された、表示端末１２２に表示されるべき情報に基づいて、表示端末１２２に表示される画像を更新してもよい。

通信端末１２４は、表示端末１２２から受信した映像の中から、ユーザ１２のジェスチャを検出して、ユーザ１２からの入力を検出してよい。一実施形態において、通信端末１２４は、表示端末１２２から受信した映像の中から、基準マーカ１０４の形状を検出する。通信端末１２４は、検出された基準マーカ１０４の形状と、基準マーカ１０４を正面から見た場合の形状（基準マーカ１０４の基本形状と称する場合がある。）とを比較する。通信端末１２４は、上記の比較結果と、ユーザ１２のジェスチャに基づいて検出されたユーザ１２からの入力とに基づいて、基準マーカ１０４を正面から見る位置において、ユーザ１２のジェスチャを見ていた場合に検出されたであろう、ユーザ１２からの入力（基本入力と称する場合がある。）を生成する。

通信端末１２４は、同様にして、ユーザ端末１１４から映像を取得して、当該映像に基づいて、ユーザ１４からの入力を検出してもよい。また、基準マーカ１０４を正面から見る位置において、ユーザ１４のジェスチャを見ていた場合に検出されたであろう、ユーザ１４からの入力を生成してもよい。通信端末１２４は、ユーザ端末１１４において同様にして検出又は生成されたユーザ１４からの入力に関する情報を、ユーザ端末１１４から取得してもよい。これにより、通信端末１２４は、ユーザ１４からの入力に基づいて、画像を更新することができる。

一実施形態において、通信端末１２４は、基準マーカ１０４を正面から見ているかのように、画像を表示する（相対位置表示と称する場合がある。）。この場合、表示端末１２２と基準マーカ１０４との位置関係が変わった場合であっても、当該位置関係によらず、同一の画像が表示される。

他の実施形態において、通信端末１２４は、表示端末１２２と基準マーカ１０４との位置関係に応じて、画像の形状、又は画像の形状及び大きさが変化するように、画像を表示する（絶対位置表示と称する場合がある。）。通信端末１２４が、基準マーカ１０４の大きさに関する情報を取得できる場合、通信端末１２４は、表示端末１２２と基準マーカ１０４との位置関係に応じて、画像の形状及び大きさを変化させてもよい。この場合、画像が、実空間上の特定の位置に固定されているかのように表示される。

通信端末１２４は、ユーザ端末１１４との間で情報を送受する。例えば、通信端末１２４は、ユーザ端末１１４に対して、共有する画像に関する情報を送信する。通信端末１２４は、表示端末と基準マーカとの位置関係によらない画像（基本画像と称する場合がある。）を送信してもよく、表示端末１２２と基準マーカ１０４との位置関係に応じて変換された画像を送信してもよい。通信端末１２４は、表示端末１４２と基準マーカ１０４との位置関係に応じて変換された画像を送信してもよい。

一実施形態において、通信端末１２４は、有線通信方式又は近距離無線通信方式により、ユーザ端末１１４との間で情報を送受する。近距離無線通信方式としては、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）、ＷｉＭＡＸ（登録商標）などを例示することができる。

他の実施形態において、通信端末１２４は、通信回線を介して、ユーザ端末１１４との間で情報を送受する。通信回線は、無線通信の伝送路であってもよく、有線通信の伝送路であってもよく、無線通信の伝送路及び有線通信の伝送路の組み合わせであってもよい。通信回線としては、移動体通信網、無線パケット通信網、インターネット、専用回線及びこれらの組み合わせを例示することができる。

ユーザ端末１１４は、ユーザ１４に情報を提示する。表示端末１４２は、実空間の像に重畳させて、ユーザ１４に画像を表示する。通信端末１４４は、ユーザ端末１１２との間で情報を送受する。本実施形態において、通信端末１４４は、通信端末１２４から、更新された画像に関する情報を受信する。通信端末１４４は、受信した画像に基づいて、表示端末１４２に表示させる画像を生成してよい。その他の点については、ユーザ端末１１４、表示端末１４２及び通信端末１４４は、ユーザ端末１１２、表示端末１２２及び通信端末１２４と同様の構成を有してもよい。

表示システム１００の各部は、ハードウエアにより実現されてもよく、ソフトウエアにより実現されてもよく、ハードウエアとソフトウエアとの組み合わせにより実現されてもよい。例えば、プログラムが実行されることにより、コンピュータが、表示システム１００の各部として機能する。

上記のソフトウエア又はプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリ、ハードディスクなどのコンピュータ読み取り可能な媒体に記憶されていてもよく、ネットワークに接続された記憶装置に記憶されていてもよい。ソフトウエア又はプログラムは、コンピュータ読み取り可能な媒体又はネットワークに接続された記憶装置から、ユーザ端末１１２及びユーザ端末１１４のそれぞれのコンピュータにインストールされてよい。

コンピュータを、表示システム１００の各部として機能させるプログラムは、表示システム１００の各部の動作を規定したモジュールを備えてよい。これらのプログラム又はモジュールは、プロセッサ、通信インターフェース等に働きかけて、表示システム１００の各部として機能させたり、表示システム１００の各部における情報処理方法を実行させたりする。

これらのプログラムに記述された情報処理は、コンピュータに読込まれることにより、ソフトウエアと、ユーザ端末１１２及びユーザ端末１１４のハードウエア資源とが協働した具体的手段として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータの使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた表示システム１００を構築することができる。

表示システム１００の各部は、一般的な構成の情報処理装置において、表示システム１００の各部の動作を規定したソフトウエア又はプログラムを起動することにより実現されてよい。表示システム１００又はその一部として用いられる情報処理装置は、ＣＰＵ等のプロセッサ、ＲＯＭ、ＲＡＭ、通信インターフェースなどを有するデータ処理装置と、キーボード、タッチパネル、マイクなどの入力装置と、液晶ディスプレイ、透過型ディスプレイ、プロジェクタなどの表示装置と、スピーカなどの出力装置と、メモリ、ＨＤＤなどの記憶装置とを備えてよい。上記のデータ処理装置又は記憶装置は、上記のソフトウエア又はプログラムを記憶してよい。

本実施形態において、基準マーカ１０４がホワイトボード１０２に付されている場合について説明した。しかし、基準マーカ１０４の付される場所はホワイトボード１０２に限定されない。他の実施形態において、基準マーカ１０４は、壁、机、手のひらなどに付されてよい。これにより、基準マーカ１０４の付された実空間上の位置を基準として、電子的な画像を実空間の像に重畳させて表示することができる。基準マーカ１０４が配される場所は、平坦であることが好ましいが、湾曲していてもよい。

本実施形態において、特定の画像を、実空間のホワイトボード１０２に重畳させて表示する場合について説明した。しかし、画像の表示方法は、実施形態に限定されない。他の実施形態において、ホワイトボードの電子的な画像を生成して、特定の画像を、当該ホワイトボードの電子的な画像に重畳させて表示してもよい。

本実施形態において、基準マーカ１０４が第１基準領域として利用され、画像が基準マーカ１０４とともに表示される場合について説明した。しかし、第１基準領域は、本実施形態に限定されない。他の実施形態において、ユーザ端末１１２及びユーザ端末１１４が、ホワイトボード１０２の形状に関する情報を記憶している、又は通信回線を介して当該情報を取得することができる場合には、ホワイトボード１０２が第１基準領域として利用され、画像がホワイトボード１０２に重畳して表示されてもよい。なお、この場合、基準マーカ１０４はなくてもよい。

本実施形態において、ユーザ端末１１２及びユーザ端末１１４のそれぞれが、同一の基準マーカ１０４を利用して、それぞれの表示部に表示させる画像を変換する場合について説明した。しかし、ユーザ端末１１２及びユーザ端末１１４は、本実施形態に限定されない。他の実施形態において、ユーザ端末１１２が画像の変換に利用する基準領域と、ユーザ端末１１４が画像の変換に利用する基準領域とが異なってもよい。例えば、種類の異なる基準マーカが利用される場合であっても、それぞれの基準マーカの基本形状が既知であれば、同一の種類の基準マーカを利用する場合又は同一の基準マーカを利用する場合と同様に、情報を共有することができる。ユーザ端末１１４が画像の変換に利用する基準領域は、第２基準領域の一例であってよい。第２基準領域は、第１基準領域と物理的に異なる位置に配されるものであればよく、その他の構成については、第１基準領域と同様の構成を有してよい。

本実施形態において、第１基準領域及び第２基準領域が、物理的な形状を有する場合について説明した。しかし、第１基準領域及び第２基準領域は、本実施形態に限定されない。他の実施形態において、第１基準領域及び第２基準領域の少なくとも一方は、点滅のリズムやパターンなどが予め定められた光点又は光点群であってもよく、複数のレーザー光線により示されてもよい。第１基準領域及び第２基準領域の少なくとも一方は、液晶ディスプレイ、プロジェクタなどの表示装置により表示される映像であってもよい。

本実施形態において、画像がホワイトボード１０２に重畳するように描画される場合について説明した。しかし、画像が描画される領域（描画領域と称する場合がある。）は、本実施形態に限定されない。他の実施形態において、電子的な画像が描画される領域の大きさは、ユーザ１２により指定される。ユーザ１２は、基準マーカ１０４及び描画領域の位置関係、描画領域の大きさ若しくは範囲、並びに、描画領域の形状、模様、色彩及びこれらの組み合わせの少なくとも１つについて指定してもよい。

図２及び図３を用いて、表示端末１２２及び表示端末１４２における画像の表示方法の一例について説明する。図２及び図３においては、表示端末１２２及び表示端末１４２が、透過型ディスプレイを有する場合について説明する。

図２は、ユーザ１２が、表示端末１２２を通して視認する映像２００の一例を概略的に示す。図３は、ユーザ１４が、表示端末１４２を通して視認する映像３００の一例を概略的に示す。

映像２００は、ユーザ１４、ユーザ１２の手２８の一部、ホワイトボード１０２及び基準マーカ１０４の像を含む。ユーザ１４、ユーザ１２の手２８の一部、ホワイトボード１０２及び基準マーカ１０４の像は、表示端末１４２を透過してユーザ１２に視認される実空間の像である。

映像２００は、ウィンドウ２１０、ウィンドウ２２０及びウィンドウ２３０を含む。ウィンドウ２１０、ウィンドウ２２０及びウィンドウ２３０は、表示端末１４２に表示される画像である。本実施形態において、ウィンドウ２１０、ウィンドウ２２０及びウィンドウ２３０は、表示端末１４２を透過してユーザ１２に視認される実空間の像に重畳するように表示される。また、ウィンドウ２２０及びウィンドウ２３０は、ウィンドウ２１０に重畳して表示され、ウィンドウ２２０は、ウィンドウ２３０に重畳して表示される。

ウィンドウ２１０は、コマンド表示部２１２と、複数のアイコン２１４とを含む。コマンド表示部２１２は、ウィンドウ２１０又はウィンドウ２１０内に表示される画像を操作するための１以上のコマンドを表示する。複数のアイコン２１４のそれぞれは、上記の1以上のコマンドの１つに対応付けられる。

上記のコマンドとしては、ウィンドウ２１０のサイズの変更、ウィンドウ２１０の画面表示の可否、ウィンドウ２１０に表示される画像の共有に関する設定などを例示することができる。画像の共有に関する設定としては、共有の開始又は終了、他の端末からの共有の申し出に対する応答などを例示することができる。共有の申し出に対する応答としては、共有の許可、共有の拒否、判断の保留などを例示することができる。

ウィンドウ２１０は、画像２１６を含む。本実施形態において、画像２１６は、ユーザ端末１１４と共有されている。また、画像２１６は、表示端末１２２及び基準マーカ１０４の位置関係に応じて変換されている。ユーザ端末１１２及びユーザ端末１１４は、画像２１６の内容だけでなく、画像２１６及び基準マーカ１０４の位置関係についても共有する。そのため、例えば、ユーザ１２が移動して、ユーザ１２及び基準マーカ１０４の位置関係が変化すると、画像２１６の形状又は画像２１６の形状及び大きさも変化する。一方、ユーザ１２及び基準マーカ１０４の位置関係が変化しても、画像２１６は、ホワイトボード１０２上の特定の位置に重畳するように表示される。

ウィンドウ２２０は、コマンド表示部２２２と、複数のアイコン２２４とを含む。コマンド表示部２２２及びアイコン２２４は、それぞれ、コマンド表示部２１２及びアイコン２１４と同様の構成を有してよい。ウィンドウ２２０は、画像２２６を含む。本実施形態において、画像２２６は、ユーザ端末１１４と共有されていない。

本実施形態において、画像２２６は、画像２１６の内容のうち、ユーザ１２により指定された範囲に含まれる内容を拡大して表示するための画像である。本実施形態において、画像２１６及び画像２２６は、同一の基本画像に基づいて生成される。画像２１６及び画像２２６は、表示される範囲、並びに、表示される内容の大きさ及び形状が異なる。本実施形態において、ユーザ端末１１２は、画像２１６上の位置と、画像２２６上の位置との対応関係を記憶しており、ユーザ１２が、画像２２６上で入力した事項は、画像２１６に反映される。

これにより、例えば、ユーザ１２は、画像２２６の特定の位置を指定し、当該指定した位置に、キーボード、タッチパネル、マイクなどの入力デバイスを用いて文字、図形などを入力することができる。入力された情報は、画像２１６に反映され、ユーザ端末１１４に表示される画像にも反映される。また、ユーザ１２が、ホワイトボード１０２から離れた位置にいる場合、ジェスチャ入力により、ホワイトボード１０２上に文字などを入力することが難しい場合がある。ウィンドウ２２０内に画像２１６の一部を拡大して表示することで、例えば、ユーザ１２がホワイトボード１０２から離れた位置にいる場合であっても、ホワイトボード１０２上に文字などを容易に入力することができる。

ウィンドウ２３０は、コマンド表示部２３２と、複数のアイコン２３４とを含む。コマンド表示部２３２及びアイコン２３４は、それぞれ、コマンド表示部２１２及びアイコン２１４と同様の構成を有してよい。ウィンドウ２３０は、スプレッドシート２３６を含む。本実施形態において、スプレッドシート２３６は、ユーザ端末１１４と共有されていない。これにより、ユーザ１２は、スプレッドシート２３６の情報を閲覧しながら、画像２１６上で情報を入力することができる。

映像３００は、ユーザ１２、ユーザ１４の手３８の一部、ホワイトボード１０２及び基準マーカ１０４の像を含む。ユーザ１２、ユーザ１４の手３８の一部、ホワイトボード１０２及び基準マーカ１０４の像は、表示端末１４２を透過してユーザ１４に視認される実空間の像である。

映像３００は、ウィンドウ３１０を含む。ウィンドウ３１０は、表示端末１４２に表示される画像である。本実施形態において、ウィンドウ３１０は、表示端末１４２を透過してユーザ１４に視認される実空間の像に重畳するように表示される。

ウィンドウ３１０は、コマンド表示部３１２と、複数のアイコン３１４とを含む。コマンド表示部３１２及びアイコン３１４は、それぞれ、コマンド表示部２１２及びアイコン２１４と同様の構成を有してよい。ウィンドウ３１０は、画像３１６を含む。本実施形態において、画像３１６は、ユーザ端末１１２と共有されている。画像３１６は、画像２１６に対応する。画像３１６は、表示端末１４２及び基準マーカ１０４の位置関係に応じて変換されている。そのため、画像２１６及び画像３１６は、表示される内容は同一であるが、形状又は形状及び大きさが異なる場合がある。

図４は、画像変換処理の一例を概略的に示す。本実施形態においては、ユーザ端末１１２は、各画像の基本画像を管理しており、ユーザ１２、又はユーザ１２及びユーザ１４からの指示に基づいて、基本画像を更新する。

例えば、ユーザ端末１１２は、画像２１６及び画像３１６に対応する基本画像４１６と、スプレッドシート２３６のデータ４３６とを記憶装置に記憶している。基本画像４１６は、ユーザ端末１１２において変換され、基本画像４１６とは形状又は形状及び大きさの異なる画像２１６が生成される。また、基本画像４１６の特定の領域が切り取られて、画像２２６が生成される。さらに、データ４３６のうち、画面上に表示させる領域が決定され、スプレッドシート２３６の画像が生成される。その後、生成された画像が、それぞれのウィンドウ内の特定の位置に配される。

一方、基本画像４１６は、ユーザ端末１１２及びユーザ端末１１４の少なくとも一方において変換され、画像３１６が生成される。基本画像４１６がユーザ端末１１２において変換される場合、変換後の画像３１６がユーザ端末１１４に送信される。基本画像４１６がユーザ端末１１４において変換される場合、変換前の基本画像４１６がユーザ端末１１４に送信される。その後、画像３１６が、ウィンドウ３１０内の特定の位置に配される。

図５は、画像変換処理の他の例を概略的に示す。本実施形態においては、ユーザ端末１１２は、表示端末１２２に表示されている画像を管理しており、ユーザ１２、又はユーザ１２及びユーザ１４からの指示に基づいて、当該画像を更新する。

例えば、ユーザ端末１１２は、例えば、現在、表示端末１２２に表示されている画像５１６と、スプレッドシート２３６のデータ４３６とを記憶装置に記憶している。画像５１６は、ユーザ端末１１２において変換され、画像５１６とは形状又は形状及び大きさの異なる画像２１６が生成される。なお、ユーザ１２及び基準マーカ１０４の位置関係の変動が小さく、画像の内容に変更がない場合、画像５１６及び画像２１６の形状及び大きさは、ほぼ同一である。

また、画像５１６が基本画像４１６に変換され、変換された基本画像４１６の特定の領域が切り取られて、画像２２６が生成される。さらに、データ４３６のうち、画面上に表示させる領域が決定され、スプレッドシート２３６の画像が生成される。その後、生成された画像が、それぞれのウィンドウ内の特定の位置に配される。

一方、画像５１６は、ユーザ端末１１２及びユーザ端末１１４の少なくとも一方において変換され、画像３１６が生成される。画像５１６がユーザ端末１１２において変換される場合、変換後の画像３１６がユーザ端末１１４に送信される。画像５１６がユーザ端末１１４において変換される場合、変換前の画像５１６がユーザ端末１１４に送信される。また、ユーザ端末１１２において、一旦、画像５１６が基本画像４１６に変換され、基本画像４１６がユーザ端末１１４に送信されてもよい。この場合、ユーザ端末１１４において、基本画像４１６が変換されて、画像３１６が生成される。その後、画像３１６が、ウィンドウ３１０内の特定の位置に配される。

図６は、ユーザ端末１１２のシステム構成の一例を概略的に示す。本実施形態において、ユーザ端末１１２は、入力部６１０と、校正部６３２と、動作モード決定部６３４と、基準マーカ検出部６３６と、画面生成部６５０と、表示部６５２と、共有制御部６６０と、送信部６６２と、通信制御部６７２と、通信制御部６７４とを備える。入力部６１０は、撮像部６１２と、マイク６１４と、ジェスチャ検出部６１６と、受信部６１８とを有する。ユーザ端末１１２の各部は、互いに情報を送受してよい。動作モード決定部６３４は動作モード変更部の一例であってよい。基準マーカ検出部６３６は、画像解析部の一例であってよい。送信部６６２は、画像送信部の一例であってよい。

本実施形態において、撮像部６１２、マイク６１４、表示部６５２及び通信制御部６７２が、表示端末１２２に配され、その他の部材が、通信端末１２４に配される場合について説明する。しかし、ユーザ端末１１２は、本実施形態に限定されない。他の実施形態において、全ての部材が表示端末１２２に配されてもよく、画面生成部６５０が表示端末１２２に配されてもよい。ユーザ端末１１４は、ユーザ端末１１２と同様のシステム構成を有してよい。

入力部６１０は、ユーザ１２の指示に基づく情報であって、表示端末１２２において実空間の像及び電子的な画像の少なくとも一方に重畳させて描画される情報を入力する。入力部６１０の各部は、入力された情報を通信端末１２４に送信してよい。なお、入力部６１０は、キーボード、タッチパネル、マウスなどのその他の入力デバイスを有してもよい。

撮像部６１２は、実空間の像を撮像する。撮像部６１２は、複数のカメラを有してよい。例えば、撮像部６１２は、基準マーカ１０４を撮像するためのカメラと、ユーザ１２のジェスチャを撮像するためのカメラとを備える。ユーザ１２のジェスチャを撮像するためのカメラは、ユーザ１２の手又は指を撮像するためのカメラと、ユーザ１２の目を撮像するためのカメラとを含んでもよい。なお、撮像される映像は、静止画像であってもよく、動画像であってもよい。撮像される映像は動画像であることが好ましい。

マイク６１４は、音声を入力する。これにより、ユーザ１２は、音声によりユーザ端末１１２に対する指示を入力することができる。

ジェスチャ検出部６１６は、撮像部６１２により撮像された映像を解析して、ユーザ１２などのジェスチャを検出する。ジェスチャ検出部６１６は、検出されたジェスチャを解析して、ユーザ１２などからの入力を検出してよい。

受信部６１８は、ユーザ端末１１４を介して、ユーザ１４からの指示又は入力を受信する。受信部６１８は、ユーザ端末１１４から、ユーザ端末１１４の撮像部６１２により撮像された映像を受信してもよい。

校正部６３２は、表示端末１２２に表示される画像の位置を校正する。表示端末１２２が、ユーザ１２の頭部に装着されるデバイスである場合、撮像部６１２及びユーザ１２の目の距離は、比較的、個人差が小さい。そこで、ユーザ端末１１２は、撮像部６１２及びユーザ１２の目のおおよその距離に基づいて、表示端末１２２に表示される画像の位置を調整することができる。校正部６３２は、表示端末１２２に表示される画像の位置をさらに微調整する。例えば、表示端末１２２が透過型ディスプレイを有する場合、ユーザ１２は、校正部６３２を起動して、撮像部６１２により撮像された映像を表示端末１２２に表示しながら、表示端末１２２に表示される映像と、表示端末１２２を介して視認される実空間の像とが一致するように、画像の表示位置を調整する。

これにより、校正部６３２は、撮像部６１２により撮像された映像中の位置と、表示部６５２上の位置との関係を取得することができる。校正部６３２は、撮像部６１２により撮像された映像中の位置ごとに、上記の関係を取得してもよい。撮像部６１２により撮像された映像中の位置と、表示部６５２上の位置との関係を利用することで、表示部６５２上で、画像と、実空間の像とを、より正確に重畳させることができる。校正部６３２は、上記の関係を示す情報を表示制御部７５８に送信してよい。校正部６３２は、上記の関係を示す情報を記憶してもよい。なお、ユーザ１２は、表示端末１２２が非透過型ディスプレイを有する場合にも、校正部６３２を起動して画像の表示位置を調整してよい。

動作モード決定部６３４は、ユーザ端末１１２及びユーザ端末１１４の少なくとも一方の動作モードを決定する。動作モードとしては、マスター端末として動作するモードと、スレーブ端末として動作するモードとを例示することができる。動作モード決定部６３４は、例えば、ユーザ端末１１２の動作モードを、マスター端末として動作するモードから、スレーブ端末として動作するモードに変更することを決定した場合に、少なくともユーザ端末１１４の動作モードを変更させる命令を生成する。動作モード決定部６３４は、生成された命令をユーザ端末１１４に送信する。これにより、ユーザ端末１１４の動作モードを、例えば、マスター端末として動作するモードに変更させることができる。動作モード決定部６３４は、ユーザ端末１１２及びユーザ端末１１４の動作モードを変更させる命令を生成してもよい。

例えば、動作モード決定部６３４は、基準マーカ検出部６３６が、ユーザ端末１１２の撮像部６１２により撮像された実空間の像の中に基準マーカ１０４が含まれていないと判断した場合に、上記の命令を生成する。ユーザ端末１１４の動作モードを、マスター端末として動作するモードに変更させるための命令は、例えば、ユーザ端末１１４の画面生成部６５０に、画像を更新させるための手順と、ユーザ端末１１４の画面生成部６５０に、基準マーカ１０４と、ユーザ端末１１４の表示部６５２との位置関係に基づいて、画面生成部６５０が更新した画像を変換させるための手順と、ユーザ端末１１４の画面生成部６５０に、画面生成部６５０が変換した画像を、基準マーカ１０４に重畳させて、又は基準マーカ１０４とともに、ユーザ端末１１４の表示部６５２に表示させるための手順とを含む。ユーザ端末１１４の共有制御部６６０又は送信部６６２に、ユーザ端末１１４の画面生成部６５０が更新した画像又は変換した画像を、ユーザ端末１１２に送信させるための手順を含んでもよい。

基準マーカ検出部６３６は、撮像部６１２により撮像された実空間の像の映像を解析して、当該映像の中に基準マーカ１０４が含まれているか否かを判断する。上記映像の中に基準マーカ１０４が含まれている場合、基準マーカ検出部６３６は、基準マーカ１０４の形状を検出してよい。基準マーカ検出部６３６は、基準マーカ１０４の形状とともに、基準マーカ１０４の位置及び大きさの少なくとも一方を検出してもよい。基準マーカ検出部６３６は、検出された情報を画面生成部６５０に送信してよい。上記の情報は、基準マーカ１０４が検出されたことを示す情報の一例であってよい。上記映像の中に基準マーカ１０４が含まれていなかった場合、基準マーカ検出部６３６は、基準マーカ１０４が検出されなかったことを示す情報を、動作モード決定部６３４に送信してよい。

画面生成部６５０は、表示部６５２に表示させる画面を生成する。例えば、画面生成部６５０は、表示部６５２に表示する画像を更新する。画面生成部６５０は、ユーザ１２及びユーザ１４の少なくとも一方から入力された情報に基づいて、画像の内容を更新してよい。画面生成部６５０は、実空間上の基準マーカ１０４と、表示部６５２との位置関係に基づいて、更新された画像を変換してよい。画面生成部６５０は、更新された画像又は変換された画像を、基準マーカ１０４に重畳させて、又は基準マーカ１０４とともに、表示部６５２に表示させてよい。

表示部６５２に表示される画面の少なくとも一部の領域に表示される情報を、ユーザ端末１１４と共有する場合、画面生成部６５０は、当該領域に表示される画像をキャプチャしてよい。画面生成部６５０は、キャプチャした画像を、ユーザ端末１１４にストリーミング配信してよい。これにより、表示部６５２に表示される画面の少なくとも一部の領域に表示される情報を、ユーザ端末１１４と共有することができる。画像とともに、音声情報がストリーミング配信されてもよい。

表示部６５２は、実空間の像に重畳させて、ユーザ１２に画像を表示する。表示部６５２は、液晶ディスプレイ、有機ＥＬディスプレイ、プロジェクタなどの表示デバイスであってよい。表示部６５２は、透過型ディスプレイを有してよい。透過型ディスプレイには、プロジェクタにより映像が投影されてもよい。表示部６５２は、ユーザ１２の目の一部に映像を投影するプロジェクタであってもよい。目の一部は、網膜であってよい。

共有制御部６６０は、ユーザ端末１１４などの他の端末との間で画像を共有するための処理を制御する。例えば、共有制御部６６０は、ユーザ端末１１４などの他の端末を認証する。共有制御部６６０は、複数の画像の共有に関する設定を管理してよい。共有制御部６６０は、複数の画像のそれぞれについて、共有を許可された端末又は共有を禁止された端末を識別する端末識別情報（端末ＩＤと称する場合がある。）を対応付けて格納してよい。

送信部６６２は、ユーザ端末１１４などの他の端末に画像を送信する。送信部６６２は、共有制御部６６０の制御に従って、ユーザ端末１１４などの他の端末に画像を送信してよい。一実施形態において、送信部６６２は、ユーザ端末１１４が、共有制御部６６０により認証されている場合に、画面生成部６５０により更新又は変換された画像をユーザ端末１１４に送信する。他の実施形態において、送信部６６２は、複数の画像のうち、共有制御部６６０により、ユーザ端末１１４に対して送信することを許可された画像を、ユーザ端末１１４に送信する。

ユーザ端末１１２がスレーブ端末として機能している場合、送信部６６２は、ユーザ端末１１２において検出されたユーザ１２からの指示又は入力に関する情報を、マスター端末に送信してよい。送信部６６２は、撮像部６１２により撮像された映像を、マスター端末に送信してもよい。

通信制御部６７２及び通信制御部６７４は、表示端末１２２及び通信端末１２４における通信を制御する。表示端末１２２及び通信端末１２４は、例えば、有線通信方式又は近距離無線通信方式により情報を送受する。近距離無線通信方式としては、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（登録商標）、ＷｉＭＡＸ（登録商標）などを例示することができる。通信制御部６７２及び通信制御部６７４は、通信インターフェースであってもよい。通信制御部６７２及び通信制御部６７４は、複数の通信方式に対応していてもよい。

本実施形態において、ユーザ端末１１４は、ユーザ１４により利用され、スレーブ端末として動作する。そのため、例えば、下記の点で、ユーザ端末１１２と相違する。ユーザ端末１１４において、撮像部６１２は、実空間の像に重畳させて、ユーザ１４に画像を表示する。入力部６１０は、ユーザ１４からの入力を受け付ける。

ユーザ端末１１４において、画面生成部６５０は、基準マーカ１０４と、表示部６５２との位置関係に基づいて、ユーザ端末１１２の画面生成部６５０が更新又は変換した画像を変換してよい。なお、ユーザ１４が、基準マーカ１０４とは異なる第２の基準マーカを利用している場合、画面生成部６５０は、ユーザ端末１１２の画面生成部６５０が更新した画像、ユーザ端末１１２の画面生成部６５０が変換した画像又はユーザ端末１１４の画面生成部６５０が変換した画像を、第２の基準マーカに重畳させて、又は第２の基準マーカとともに、表示部６５２に表示させてもよい。

図７は、画面生成部６５０のシステム構成の一例を概略的に示す。本実施形態において、画面生成部６５０は、差分検出部７５２と、画像更新部７５４と、画像変換部７５６と、表示制御部７５８とを備える。

差分検出部７５２は、ユーザ１４からの指示又は入力を検出する。例えば、差分検出部７５２は、受信部６１８から、ユーザ１４からの指示又は入力を受信する。差分検出部７５２は、受信部６１８から、ユーザ端末１１４の撮像部６１２により撮像された映像を受信してもよい。差分検出部７５２は、受信部６１８から受信した情報と、現在、表示部６５２に表示されている画像の情報とを比較して、両者の差分を検出する。これにより、ユーザ１４からの指示又は入力を検出することができる。差分検出部７５２は、検出されたユーザ１４からの指示又は入力を、画像更新部７５４に送信する。

画像更新部７５４は、入力部６１０が入力した情報に基づいて、画像を更新する。例えば、画像更新部７５４は、差分検出部７５２から、受信部６１８が入力した情報に基づいて検出された、ユーザ１４からの指示又は入力に関する情報を取得する。画像更新部７５４は、ジェスチャ検出部６１６から、ユーザ１２又は第三者のジェスチャに基づいて検出された、ユーザ１２又は第三者からの指示又は入力に関する情報を取得する。画像更新部７５４は、マイク６１４から、ユーザ１２の音声に基づいて検出された、ユーザ１２からの指示又は入力に関する情報を取得する。画像更新部７５４は、上記の指示又は入力に関する情報に基づいて、画像を更新する。

画像更新部７５４は、現在、表示部６５２に表示されている画像の内容を更新してもよく、現在、表示部６５２に表示されている画像の基本画像の内容を更新してもよい。画像更新部７５４は、複数の画像のそれぞれを更新してもよい。なお、画像を更新するとは、既に存在する画像の内容を更新する場合だけでなく、画像が存在しない場合に、新たに画像を作成する場合をも含む。

画像更新部７５４は、更新された画像を画像変換部７５６に送信してよい。画像更新部７５４は、更新された画像を表示制御部７５８に送信してもよい。画像更新部７５４は、更新された画像を共有制御部６６０に送信してもよい。

画像変換部７５６は、実空間上の基準マーカ１０４と、表示部６５２との位置関係に基づいて、画像更新部７５４が更新した画像を変換する。画像変換部７５６は、変換した画像を表示制御部７５８に送信してよい。

例えば、画像変換部７５６は、基準マーカ検出部６３６から、撮像部６１２により撮像された映像中の基準マーカ１０４の形状、又は形状及び大きさに関する情報を取得する。画像変換部７５６は、取得した映像中の基準マーカ１０４の形状は、実空間上の基準マーカ１０４と、表示部６５２との位置関係を表す。

図４を用いて説明したように、画像更新部７５４が、基本画像４１６の内容を更新する場合、画像変換部７５６は、例えば、撮像部６１２により撮像された映像中の基準マーカ１０４の形状と、基準マーカ１０４の基本形状とを比較して、両者が同一となる又は相似するように、基本画像４１６の形状を変換する。これにより、新たに表示端末１２２に表示されることになる画像２１６を生成する。

また、図５を用いて説明したように、画像更新部７５４が、現在、表示端末１２２に表示されている画像５１６の内容を更新する場合、画像変換部７５６は、例えば、撮像部６１２により撮像された映像中の基準マーカ１０４の形状と、画像５１６が生成されたときの基準マーカ１０４の形状とを比較して、両者が同一となる又は相似するように、画像５１６の形状を変換する。これにより、新たに表示端末１２２に表示されることになる画像２１６を生成する。

表示制御部７５８は、画像更新部７５４が更新した画像又は画像変換部７５６が変換した画像を、基準マーカ１０４に重畳させて、又は基準マーカ１０４にとともに、表示部６５２に表示させる。表示制御部７５８は、撮像部６１２により実空間の像を撮像して得られた電子的な映像と、電子的な画像とを合成して得られた画像を表示部６５２に表示させてもよい。表示制御部７５８は、表示端末１２２が、ユーザ１２の頭部に装着される透過型ディスプレイを有する場合、校正部６３２の校正結果に基づいて、画像を表示させる位置を微調整してよい。

本実施形態において、ユーザ端末１１２又は表示端末１２２がマスター端末として機能する場合における、画面生成部６５０の処理の一例について説明した。ユーザ端末１１２又は表示端末１２２がスレーブ端末として機能する場合、画面生成部６５０は、ユーザ端末１１２又は表示端末１２２がマスター端末として機能する場合とは異なる処理を実行してもよい。例えば、画面生成部６５０は、マスター端末から、基準マーカ１０４と表示端末１２２との位置関係に応じて変換された画像を受信した場合には、マスター端末から受信した画像を表示部６５２に表示させる。一方、マスター端末から、変換前の画像を受信した場合には、マスター端末から受信した画像を、基準マーカ１０４と表示端末１２２との位置関係に応じて変換した後、変換された画像を表示部６５２に表示させる。

図８は、表示制御部７５８のシステム構成の一例を概略的に示す。本実施形態において、表示制御部７５８は、画像決定部８５２と、合成部８５４とを備える。

本実施形態において、画像決定部８５２は、画像更新部７５４が更新した画像及び画像変換部７５６が変換した画像のうち、表示部６５２に表示させるべき画像を決定する。例えば、図４を用いて説明した例においては、画像２１６について、画像決定部８５２は、画像更新部７５４が内容を更新した基本画像４１６と、画像変換部７５６が変換した画像２１６とのうち、画像変換部７５６が変換した画像２１６を、表示部６５２に表示させるべき画像として決定する。画像決定部８５２は、１以上の画像のそれぞれについて、絶対位置表示により表示するか、相対位置表示により表示するかを決定してよい。

合成部８５４は、１以上の画像を合成して、表示部６５２に表示させる画面を生成する。例えば、合成部８５４は、画像決定部８５２により選択された画像を、基準マーカ１０４に重畳させて、又は基準マーカ１０４とともに、表示部６５２に表示させる。

合成部８５４は、例えば、画像決定部８５２が、特定の画像について、絶対位置表示により表示することを決定した場合、ユーザ１２及びユーザ１４から入力された情報に基づいて、当該特定の画像を表示させる位置を決定する。例えば、合成部８５４は、撮像部６１２により撮像された映像を解析して、上記の入力がなされた実空間上の位置と、基準マーカ１０４の実空間上の位置との関係に関する情報を取得する。合成部８５４は、上記の情報を入力部６１０から取得してもよい。

合成部８５４は、撮像部６１２により撮像された映像を解析して、基準マーカ１０４の形状の変化に関する情報を取得する。合成部８５４は、上記の情報を基準マーカ検出部６３６から取得してもよい。合成部８５４は、校正部６３２から、撮像部６１２により撮像された映像中の位置と、表示部６５２上の位置との関係に関する情報を取得する。

合成部８５４は、入力がなされた実空間上の位置と、基準マーカ１０４の実空間上の位置との関係を、撮像部６１２により撮像された映像中の位置及び表示部６５２上の位置の関係に関する情報、並びに、基準マーカ１０４の形状の変化に関する情報に基づいて、補正する。これにより、合成部８５４は、上記の特定の画像が、実空間上の特定の位置に固定されているように、表示部６５２に表示させる画面を生成することができる。

図９は、共有制御部６６０のシステム構成の一例を概略的に示す。本実施形態において、共有制御部６６０は、端末認証部９６２と、送信制御部９６４と、制御情報格納部９６６とを備える。

端末認証部９６２は、ユーザ端末１１４などの他の端末を認証する。認証方法は、特に限定されない。送信制御部９６４は、単一又は複数の画像（１以上の画像と称する場合がある。）のそれぞれについて、他の端末への送信を制御する。送信制御部９６４は、制御情報格納部９６６に格納された情報を参照して、１以上の画像のそれぞれについて、他の端末への送信の可否を決定してよい。

制御情報格納部９６６は、１以上の画像のそれぞれを識別する画像識別情報（画像ＩＤと称する場合がある。）と、画像識別情報により識別される画像の他の端末への送信の可否に関する情報とが対応付けられた送信制御情報を格納する。上記の他の端末は、単一の端末であってもよく、複数の端末であってもよい。画像の送信の可否に関する情報は、画像の送信を許可される端末の端末識別情報であってもよく、画像の送信を禁止される端末の端末識別情報であってもよい。これにより、共有する画像を管理することができる。

図１０は、データテーブル１０００の一例を概略的に示す。データテーブル１０００は、制御情報格納部９６６に格納される情報の一例であってよい。データテーブル１０００は、送信制御情報の一例であってもよい。

本実施形態において、データテーブル１０００は、画像ＩＤ１００２と、画像の表示位置１００４と、画像の大きさ１００６と、画像の送信を許可された端末の端末ＩＤ１００８とを対応づけて格納する。画像の表示位置１００４は、基準マーカ１０４の位置を基準とした実空間上の位置であってもよく、表示部６５２上の特定の点又は特定の領域を基準とした表示部６５２上の位置であってもよい。画像の大きさ１００６は、実空間上の大きさであってもよく、表示部６５２上の特定の領域を基準とした大きさであってもよい。画像の大きさ１００６は、基準マーカ１０４の大きさに基づいて推測された大きさであってもよい。画像の大きさ１００６は、撮像部６１２により撮像された映像を用いて推測されてよい。

図１１は、ユーザ１２が、表示端末１２２を通して視認する映像１１００の一例を概略的に示す。図２においては、表示端末１２２が透過型ディスプレイを有する場合に、ユーザ１２が、表示端末１２２を通して視認する映像２００の一例について説明した。一方、本実施形態に係る映像１１００は、例えば、通常の液晶ディスプレイ上に表示される。

本実施形態によれば、ウィンドウ２１０において、画像２１６が、撮像部６１２により撮像された実空間の像の映像中の特定の位置に重畳するように表示される。また、ウィンドウ２１０は、表示部６５２上において全画面表示されておらず、画面の一部の領域に表示されている。本実施形態によれば、ウィンドウ２２０及びウィンドウ２３０は、ウィンドウ２１０に重畳しないように表示されている。なお、ウィンドウ２１０、ウィンドウ２２０及びウィンドウ２３０は、表示部６５２上で自由に移動させることができる。

図１２は、表示システム１２００の一例を概略的に示す。本実施形態において、表示システム１２００は、表示端末１２２と、表示端末１４２と、ユーザ端末１２１２を備える。ユーザ端末１２１２には、撮像部１２２２が接続されている。ユーザ端末１２１２と、撮像部１２２２との接続方法は特に限定されないが、例えば、両者は、有線通信方式又は近距離無線通信方式により接続される。撮像部１２２２は、基準マーカ１０４及びホワイトボード１０２を撮像できる位置に配置される。

下記の点を除いて、ユーザ端末１２１２は、ユーザ端末１１２又は通信端末１２４と同様の構成を有してよい。また、撮像部１２２２は、撮像部６１２と同様の構成を有してよい。

表示システム１００においては、ユーザ１２のユーザ端末１１２をマスター端末として利用した。ユーザ端末１１２においては、表示端末１２２がユーザ１２の頭部に装着されるので、ユーザ１２の動作によっては、マスター端末及びスレーブ端末の切り替えが頻繁に発生する可能性がある。表示システム１２００においては、ユーザ端末１２１２がマスター端末として機能し、撮像部１２２２が基準マーカ１０４の周囲の像を常に撮像する。これにより、マスター端末及びスレーブ端末の切替頻度が大幅に減少する。

表示システム１２００においては、表示端末１２２及び表示端末１４２は、通信端末１２４又は通信端末１４４を介することなく、ユーザ端末１２１２との間で情報を送受する。本実施形態において、ユーザ端末１２１２の画面生成部６５０は、表示端末１２２の位置に応じた画像と、表示端末１４２の位置に応じた画像とを生成する。他の実施形態において、ユーザ端末１２１２は、複数の表示端末のそれぞれに対応する複数の画面生成部６５０を有してもよい。なお、表示システム１２００においても、表示システム１００と同様に、複数の表示端末のそれぞれが、対応する通信端末を介して、ユーザ端末１２１２との間で情報を送受してもよい。

図１３は、表示システム１３００の一例を概略的に示す。表示システム１３００においては、種類の異なる２種類の基準マーカを利用する点において、表示システム１００と相違する。また、１台の通信端末により、複数の表示端末に表示する画像を管理する点において、表示システム１００と相違する。

本実施形態において、表示システム１３００は、ユーザ端末１１２と、表示端末１４２と、表示端末１３２２と、表示端末１３４２と、通信端末１３４４とを備える。ユーザ端末１１２は、表示端末１２２と、通信端末１２４とを備える。

本実施形態において、ユーザ１２のユーザ端末１１２が、マスター端末として利用される。通信端末１３４４は、通信回線１０を介して、通信端末１２４と情報を送受する。通信回線１０は、無線通信の伝送路であってもよく、有線通信の伝送路であってもよく、無線通信の伝送路及び有線通信の伝送路の組み合わせであってもよい。通信回線としては、移動体通信網、無線パケット通信網、インターネット、専用回線及びこれらの組み合わせを例示することができる。

表示端末１２２はユーザ１２の頭部に装着されており、表示端末１４は、ユーザ１４の頭部に装着されている。表示端末１３２２はユーザ４２の頭部に装着されており、表示端末１３４２は、ユーザ４４の頭部に装着されている。表示端末１２２及び表示端末１４２は、通信端末１２４を介して、通信端末１３４４との間で情報を送受する。同様に、表示端末１３２２及び表示端末１３４２は、通信端末１３４４を介して、通信端末１２４との間で情報を送受する。

本実施形態において、ユーザ１２及びユーザ１４は、会議室Ａに設けられたホワイトボード１０２の前に位置する。ユーザ４２及びユーザ４４は、会議室Ａとは異なる会議室Ｂに設けられたホワイトボード１３０２の前に位置する。ホワイトボード１０２には、基準マーカ１０４が付されており、ホワイトボード１３０２には、基準マーカ１３０４が付されている。基準マーカ１３０４は、基準マーカ１０４と種類が異なる以外は、基準マーカ１０４と同様の構成を有してよい。基準マーカ１０４は第１基準領域の一例であってよく、基準マーカ１３０４は第２基準領域の一例であってよい。

基準マーカ１０４及び基準マーカ１３０４は、種類の異なる基準マーカではあるが、本実施形態において、通信端末１２４及び通信端末１３４４は、基準マーカ１０４及び基準マーカ１３０４の形状、又は形状及び大きさに関する情報を記憶している。これにより、通信端末１２４は、通信端末１３４４から受信した映像中の基準マーカ１３０４と、表示端末１２２又は表示端末１４２の撮像部６１２により撮像された映像中の基準マーカ１０４とを比較することで、画像を適切に変換することができる。

同様に、通信端末１３４４は、通信端末１２４から受信した映像中の基準マーカ１０４と、表示端末１３２２又は表示端末１３４２の撮像部６１２により撮像された映像中の基準マーカ１３０４とを比較することで、画像を適切に変換することができる。つまり、通信端末１３４４の画像変換部７５６は、基準マーカ１３０４と、表示端末１３２２の表示部６５２との位置関係に基づいて、表示端末１３２２の表示部６５２に表示させる画像を変換する。基準マーカ１３０４と、表示端末１３４２の表示部６５２との位置関係に基づいて、表示端末１３４２の表示部６５２に表示させる画像を変換する。

本実施形態において、基準マーカ１０４及び基準マーカ１３０４が、種類の異なる基準マーカである場合について説明した。しかし、基準マーカ１０４及び基準マーカ１３０４は本実施形態に限定されない。基準マーカ１０４及び基準マーカ１３０４は、同一の種類の基準マーカであってもよい。

本実施形態において、通信端末１２４は、上記の相違点を除いて、表示システム１００における通信端末１２４と同様の構成を有してよい。また、通信端末１３４４は、上記の相違点を除いて、表示システム１００における通信端末１４４と同様の構成を有してよい。表示端末１３２２及び表示端末１３４２は、上記の相違点を除いて、表示システム１００における表示端末１２２又は表示端末１４２と同様の構成を有してよい。なお、表示システム１３００においても、表示システム１００と同様に、複数の表示端末のそれぞれが、対応する通信端末を介して、他の端末との間で情報を送受してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。また、技術的に矛盾しない範囲において、特定の実施形態について説明した事項を、他の実施形態に適用することができる。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 通信回線、１２ ユーザ、１４ ユーザ、２８ 手、３８ 手、４２ ユーザ、４４ ユーザ、１００ 表示システム、１０２ ホワイトボード、１０４ 基準マーカ、１１２ ユーザ端末、１１４ ユーザ端末、１２２ 表示端末、１２４ 通信端末、１３０ 表示システム、１４２ 表示端末、１４４ 通信端末、２００ 映像、２１０ ウィンドウ、２１２ コマンド表示部、２１４ アイコン、２１６ 画像、２２０ ウィンドウ、２２２ コマンド表示部、２２４ アイコン、２２６ 画像、２３０ ウィンドウ、２３２ コマンド表示部、２３４ アイコン、２３６ スプレッドシート、３００ 映像、３１０ ウィンドウ、３１２ コマンド表示部、３１４ アイコン、３１６ 画像、４１６ 基本画像、４３６ データ、５１６ 画像、６１０ 入力部、６１２ 撮像部、６１４ マイク、６１６ ジェスチャ検出部、６１８ 受信部、６３２ 校正部、６３４ 動作モード決定部、６３６ 基準マーカ検出部、６５０ 画面生成部、６５２ 表示部、６６０ 共有制御部、６６２ 送信部、６７２ 通信制御部、６７４ 通信制御部、７５２ 差分検出部、７５４ 画像更新部、７５６ 画像変換部、７５８ 表示制御部、８５２ 画像決定部、８５４ 合成部、９６２ 端末認証部、９６４ 送信制御部、９６６ 制御情報格納部、１０００ データテーブル、１００２ 画像ＩＤ、１００４ 表示位置、１００８ 端末ＩＤ、１１００ 映像、１２００ 表示システム、１２１２ ユーザ端末、１２２２ 撮像部、１３００ 表示システム、１３０２ ホワイトボード、１３０４ 基準マーカ、１３２２ 表示端末、１３４２ 表示端末、１３４４ 通信端末

Claims (9)

1. 第１表示装置及び第２表示装置を備える表示システムであって、
   前記第１表示装置は、
   実空間の像に重畳させて、第１閲覧者に画像を表示する第１表示部と、
   前記第１閲覧者から指示された情報であって、前記第１表示部において実空間の像及び前記画像の少なくとも一方に重畳させて描画される情報を入力する第１入力部が入力した情報に基づいて、前記画像を更新する第１画像更新部と、
   実空間上の第１基準領域と、前記第１表示部との位置関係に基づいて、前記第１画像更新部が更新した画像を変換する第１画像変換部と、
   前記第１画像変換部が変換した画像を、前記第１基準領域に重畳させて、又は前記第１基準領域とともに、前記第１表示部に表示させる第１表示制御部と、
   を有し、
   前記第２表示装置は、
   実空間の像に重畳させて、第２閲覧者に画像を表示する第２表示部と、
   前記第１基準領域又は実空間上の第２基準領域と、前記第２表示部との位置関係に基づいて、前記第１画像更新部が更新した画像又は前記第１画像変換部が変換した画像を変換する第２画像変換部と、
   前記第１画像更新部が更新した画像、前記第１画像変換部が変換した画像又は前記第２画像変換部が変換した画像を、前記第１基準領域若しくは前記第２基準領域に重畳させて、又は前記第１基準領域若しくは前記第２基準領域とともに、前記第２表示部に表示させる第２表示制御部と、
   を有する表示システム。
2. 前記第１表示装置は、
   少なくとも前記第２表示装置の動作モードを変更させる命令を生成する動作モード変更部をさらに備える、
   請求項１に記載の表示システム。
3. 前記第２表示装置は、
   前記第２閲覧者から指示された情報であって、前記第２表示部において実空間の像及び前記画像の少なくとも一方に重畳させて描画される情報を入力する第２入力部が入力した情報に基づいて、前記画像を更新する第２画像更新部をさらに備え、
   前記第１表示装置は、
   前記実空間の像を撮像する第１撮像部と、
   前記第１撮像部により撮像された前記実空間の像の映像を解析して、前記映像の中に前記第１基準領域が含まれているか否か判断する画像解析部と、
   をさらに備え、
   前記画像解析部が、前記実空間の像の中に前記第１基準領域が含まれていないと判断した場合、前記動作モード変更部は、
   前記第２画像更新部に、前記画像を更新させ、
   前記第２画像変換部に、前記第２基準領域と、前記第２表示部との位置関係に基づいて、前記第２画像更新部が更新した前記画像を変換させ、
   第２表示制御部に、前記第２画像更新部が更新した画像又は前記第２画像変換部が変換した画像を、前記第２基準領域に重畳させて、又は前記第２基準領域とともに、前記第２表示部に表示させるための命令を生成する、
   請求項２に記載の表示システム。
4. 前記第１表示装置は、
   前記第１画像変換部が変換した画像及び前記第１画像更新部が更新した前記画像のうち、前記第１表示部に表示させるべき画像を決定する画像決定部をさらに備え、
   前記第１表示制御部は、前記画像決定部により決定された画像を、前記第１基準領域に重畳させて、又は前記第１基準領域とともに、前記第１表示部に表示させる、
   請求項１から請求項３までの何れか一項に記載の表示システム。
5. 前記第１表示装置は、
   前記第２表示装置を認証する認証部と、
   前記第２表示装置が前記認証部により認証されている場合に、前記第１画像更新部が更新した前記画像を、前記第２表示装置に送信する画像送信部と、
   をさらに備える、
   請求項１から請求項４までの何れか一項に記載の表示システム。
6. 前記第１画像更新部は、複数の前記画像を更新し、
   前記第１表示装置は、
   前記複数の画像のそれぞれを識別する画像識別情報と、前記画像識別情報により識別される画像の前記第２表示装置への送信の可否に関する情報とが対応付けられた送信制御情報を格納する制御情報格納部と、
   前記送信制御情報を参照して、前記複数の画像のそれぞれについて、前記第２表示装置への送信の可否を決定する送信制御部と、
   をさらに備え、
   前記画像送信部は、前記複数の画像のうち、前記送信制御部により送信を許可された画像を前記第２表示装置に送信する、
   請求項５に記載の表示システム。
7. 実空間の像に重畳させて、閲覧者に画像を表示する表示部と、
   前記閲覧者から指示された、前記表示部において実空間の像及び前記画像の少なくとも一方に重畳させて描画される情報を入力する入力部が入力した情報に基づいて、前記画像を更新する画像更新部と、
   実空間上の基準領域と、前記表示部との位置関係に基づいて、前記画像更新部が更新した前記画像を変換する画像変換部と、
   前記画像変換部が変換した画像を、前記基準領域に重畳させて、又は前記基準領域とともに、前記表示部に表示させる表示制御部と、
   前記画像更新部が更新した画像又は前記画像変換部が変換した画像を、他の表示装置に送信する画像送信部と、
   を備える、
   表示システム。
8. 他の表示装置から、画像のデータを受信する画像受信部と、
   実空間の像に重畳させて、閲覧者に前記画像を表示する表示部と、
   前記画像に含まれる実空間上の第１基準領域の画像、又は実空間上の第２基準領域と、前記表示部との位置関係に基づいて、前記画像を変換する画像変換部と、
   前記画像変換部が変換した画像を、前記第１基準領域若しくは前記第２基準領域に重畳させて、又は前記第１基準領域若しくは前記第２基準領域とともに、前記表示部に表示させる表示制御部と、
   を備える、
   表示システム。
9. コンピュータを、請求項１から請求項８までの何れか一項に記載の表示システムとして機能させるためのプログラム。