JP2019153205A - 投影システムとその制御方法及びプログラム - Google Patents

Abstract

【課題】複数の参加者が集まる活動において所定の役割が割り当てられた参加者を簡単に判別することができる投影システムを提供する。【解決手段】投影システムは、複数の参加者（１３Ａ〜１３Ｆ）が集まる場所で各参加者が視認可能な映像を投影する投影部と、参加者に所定の役割を割り当てる割り当て指示を入力した場合、役割が割り当てられた参加者を明示する標識映像７を投影するように投影部を制御する制御装置とを有する。割り当て指示によって任意の参加者に役割が与えられる場合でも、各参加者の視認可能な標識映像７が投影部によって投影され、この標識映像７によって役割を割り当てられた参加者が明示される。そのため、役割が与えられた参加者を判別し易い。【選択図】図１５

Description

本開示は、複数人が視認可能な映像を投影する投影システムとその制御方法及びプログラムに関する。

複数人で画面に映し出された画像を見ながらプレゼンテーションを行う場合、通常はプレゼンターが画面の操作を行う。ところが、プレゼンテーションの後で行われる討議では聴衆が質問者として発言するため、画面の操作者をプレゼンターから質問者へ変更できると便利である。下記の特許文献には、ジェスチャーによって画面の操作が可能であるとともに、プレゼンテーションの発言者が聴衆を対象者として指し示すジェスチャーを行うことにより、その対象者に画面の操作権限を与えることができるプレゼンテーション管理装置が記載されている。

特開２０１５−１８７８１３号公報

ところが、上述した特許文献１の方法では、画面の操作権限を人から人へ簡単に移行できるようにしたため、誰が権限を持っているかを判別し難くなるという不利益がある。すなわち、プレゼンテーションや会議、集会のように複数の参加者が集まる活動において、所定の役割（上述の例では、画面の操作権限を持つ操作者としての役割）を任意の参加者に割り当てた場合や、参加者に対する役割の割り当てを任意に変更した場合に、誰がその役割を担っているかが判別し難くなるという不利益がある。

そこで、本開示は、複数の参加者が集まる活動において所定の役割が割り当てられた参加者を簡単に判別することができる投影システムとその制御方法及びプログラムを提供することを目的とする。

本開示の第１の側面に係る投影システムは、複数の参加者が集まる場所で各参加者が視認可能な映像を投影する投影部と、参加者に所定の役割を割り当てる割り当て指示を入力した場合、役割が割り当てられた参加者を明示する標識映像を投影するように投影部を制御する制御部とを有する。

第１の側面に係る投影システムによれば、割り当て指示によって任意の参加者に役割が与えられる場合でも、各参加者の視認可能な標識映像が投影部によって投影され、この標識映像によって役割を割り当てられた参加者が明示される。そのため、役割が与えられた参加者を判別し易い。

好適に、制御部は、割り当て指示を入力した場合、役割を割り当てられた参加者と他の参加者との判別が可能となる位置を標識映像の投影対象位置として設定し、投影対象位置に標識映像を投影するように投影部を制御してよい。

この構成によれば、標識映像が投影された位置によって、役割を割り当てられた参加者と他の参加者との判別が可能であるため、複数の参加者の中から、役割を割り当てられた参加者を直観的に見分け易い。

好適に、第１の側面に係る投影システムは、複数の参加者が集まる場所に設定された検知対象領域における物体の各部分の位置を検知する物体検知部を有してよい。制御部は、割り当て指示を入力した場合、物体検知部の検知結果に基づいて投影対象位置を設定してよい。

この構成によれば、検知対象領域に存在する参加者を含んだ物体の各部分の位置が物体検知部によって検知され、その検知結果に基づいて、役割を割り当てられた参加者と他の参加者との判別が可能となる投影対象位置が設定される。

好適に、制御部は、物体検知部の検知結果に基づいて、ジェスチャーによる参加者の指示を入力してよい。

この構成によれば、参加者の体（手など）の位置が物体検知部によって検知され、その検知結果に基づいてジェスチャーによる指示が入力される。

好適に、制御部は、割り当て指示において役割を割り当てる参加者の変更を指示された場合、変更元の参加者について設定した第１投影対象位置から変更先の参加者について設定した第２投影対象位置へ標識映像が移動するように投影部を制御してよい。

この構成によれば、第１投影対象位置から第２投影対象位置への標識映像が移動することによって、参加者に対する役割の割り当ての変更を直観的に理解し易い。

好適に、制御部は、第１投影対象位置から第２投影対象位置へ標識映像が漸次的に移動するように投影部を制御してよい。

この構成によれば、第１投影対象位置から第２投影対象位置に向かって進む標識映像が表示されることにより、割り当ての変更元及び変更先を直観的に把握し易い。

好適に、投影部は、それぞれ異なる参加者によって使用される複数のスクリーンに個別の映像を投影可能であってよく、制御部は、役割を割り当てられた参加者のスクリーンと他の参加者のスクリーンとの判別が可能となる位置を投影対象位置として設定してよい。

この構成によれば、標識映像が投影された位置によって、役割を割り当てられた参加者が使用するスクリーンと他の参加者が使用するスクリーンとの判別が可能であるため、役割を割り当てられた参加者が使用するスクリーンを直観的に見分け易い。

好適に、制御部は、役割が割り当てられた参加者の体に投影対象位置を設定してよい。

この構成によれば、役割が割り当てられた参加者の体に標識映像が投影されるため、役割が割り当てられた参加者を見分け易い。

好適に、制御部は、役割が割り当てられた参加者の近傍の空中に投影対象位置を設定してよく、投影部は、設定された空中の投影対象位置に標識映像を結像させてよい。

この構成によれば、役割が割り当てられた参加者の近傍の空中に標識映像が結像されるため、役割が割り当てられた参加者を見分け易い。

好適に、制御部は、割り当て指示を入力した場合、割り当て指示において役割の割り当て対象とされた対象参加者から当該割り当てを許諾する第１許諾指示を入力するまでの間、標識映像の投影を保留するか、又は、当該投影の保留に加えて、第１許諾指示が未入力であることを示す映像を投影するように投影部を制御してよい。

この構成によれば、割り当て指示により役割の割り当て対象とされた対象参加者によって第１許諾指示が入力されるまでの間、標識映像の投影が保留される。これにより、対象参加者が役割の割り当てを許諾していない状態では、標識映像が投影されない。そのため、対象参加者の意に反した標識映像の投影が防止される。また、第１許諾指示が未入力であることを示す映像が投影されることにより、割り当て指示に対する対象参加者の許諾の有無を明確に把握し易くなる。

好適に、制御部は、対象参加者が明示される投影対象位置において、第１許諾指示が未入力であることを示す映像を投影するように投影部を制御してよい。

この構成によれば、第１許諾指示が未入力であることを示す映像の位置によって対象参加者が明示されるため、複数の参加者の中から対象参加者を直観的に見分け易い。

好適に、制御部は、割り当て指示を入力した後、対象参加者から当該割り当てを拒否する第１拒否指示を入力した場合、標識映像の投影を中止し、第１拒否指示の入力を示す映像を投影するように投影部を制御してよい。

この構成によれば、対象参加者が役割の割り当てを拒否した場合は、標識映像の投影が中止される。そのため、対象参加者の意に反した標識映像の投影が防止される。また、第１拒否指示の入力を示す映像が投影されることにより、割り当て指示に対して対象参加者が拒否したことを明確に把握し易くなる。

好適に、制御部は、割り当て指示において役割を割り当てる参加者の変更を指示された場合、割り当て指示において変更元とされた変更元参加者から当該変更を許諾する第２許諾指示を入力するまでの間、割り当て指示において変更先とされた変更先参加者への役割の割り当てを明示する標識映像の投影を保留するか、又は、当該投影の保留に加えて、第２許諾指示が未入力であることを示す映像を投影するように投影部を制御してよい。

この構成によれば、変更元参加者から役割の変更を許諾する第２許諾指示を入力するまでの間、変更先参加者への役割の割り当てを明示する標識映像の投影が保留される。これにより、変更元参加者が役割の割り当ての変更を許諾していない状態では、変更先参加者への役割の割り当てを明示する標識映像が投影されない。そのため、変更元参加者の意に反した標識映像の投影が防止される。また、第２許諾指示が未入力であることを示す映像が投影されることにより、割り当て指示に対する変更元参加者の許諾の有無を明確に把握し易くなる。

好適に、制御部は、変更先参加者が明示される投影対象位置において、第２許諾指示が未入力であることを示す映像を投影するように投影部を制御してよい。

この構成によれば、第２許諾指示が未入力であることを示す映像の位置によって変更先参加者が明示されるため、複数の参加者の中から変更先参加者を直観的に見分け易い。

好適に、制御部は、割り当て指示において役割を割り当てる参加者の変更を指示された後、変更元参加者から当該変更を拒否する第２拒否指示を入力した場合、変更先参加者への役割の割り当てを明示する標識映像の投影を中止し、第２拒否指示の入力を示す映像を投影するように投影部を制御してよい。

この構成によれば、変更元参加者が役割の割り当てを拒否した場合は、変更先参加者への役割の割り当てを明示する標識映像の投影が中止される。そのため、変更元参加者の意に反した標識映像の投影が防止される。また、第２拒否指示の入力を示す映像が投影されることにより、割り当て指示に対して変更元参加者が拒否したことを明確に把握し易くなる。

好適に、投影部は、それぞれ異なる参加者によって使用される複数のスクリーンに個別の映像を投影可能であってよく、制御部は、複数のスクリーンの各々に投影する映像を、複数のスクリーンの各々を使用する参加者の識別情報によって識別可能であってよい。そして、制御部は、複数のスクリーンに共通の映像を投影する権限を持つ役割が一の参加者に割り当てられた場合、一の参加者の識別情報によって識別される映像と同一の映像を、他の参加者によって使用されるスクリーンにもそれぞれ投影するように投影部を制御してよい。

この構成によれば、複数のスクリーンに共通の映像を投影する権限を持つ役割が一の参加者に割り当てられた場合、一の参加者によって使用されるスクリーンに投影される映像と同一の映像が、他の参加者によって使用されるスクリーンにもそれぞれ投影される。これにより、一の参加者が見る個別の映像を複数の参加者において共有し易くなる。

好適に、制御部は、共通の映像を投影する権限を持つ役割が一の参加者に割り当てられた場合、複数のスクリーンに投影する共通の映像の編集に関する参加者からの指示は、一の参加者から入力した指示のみ許容してよい。

この構成によれば、共通の映像を投影する権限を持つ役割を割り当てられた一の参加者のみが、共通の映像を編集可能となる。

好適に、投影部は、それぞれ異なる参加者によって使用される複数のスクリーンに個別の映像を投影可能であるとともに、共用スクリーンに映像を投影可能であってよく、制御部は、複数のスクリーンの各々に投影する映像を、複数のスクリーンの各々を使用する参加者の識別情報によって識別可能であってよい。そして、制御部は、共用スクリーンに映像を投影する共用スクリーン権限を持つ役割が一の参加者に割り当てられた場合、一の参加者の識別情報によって識別される映像と同一の映像を共用スクリーンにも投影するように投影部を制御してよい。

この構成によれば、共用スクリーンに映像を投影する共用スクリーン権限を持つ役割が一の参加者に割り当てられた場合、一の参加者によって使用されるスクリーンに投影される映像と同一の映像が共通スクリーンにも投影される。これにより、一の参加者が見る個別の映像を複数の参加者において共有し易くなる。

好適に、投影部は、複数の共有スクリーンに映像を投影可能であってよく、制御部は、共用スクリーン権限を持つ役割が一の参加者に割り当てられた場合、少なくとも他の参加者の位置及び視野範囲に基づいて、少なくとも他の参加者がそれぞれ視認可能な一の共有スクリーンを選択し、一の参加者の識別情報によって識別される映像と同一の映像を一の共用スクリーンにも投影するように投影部を制御してよい。

この構成によれば、共用スクリーン権限を持つ役割が一の参加者に割り当てられた場合、少なくとも他の参加者の位置及び視野範囲に基づいて、少なくとも他の参加者がそれぞれ視認可能な一の共有スクリーンが選択され、一の参加者によって使用されるスクリーンに投影される映像と同一の映像が一の共有スクリーンにも投影される。これにより、少なくとも他の参加者が、一の共有スクリーンに投影される映像を視認し易くなる。

本開示の第２の側面は、複数の参加者が集まる場所で各参加者が視認可能な映像を投影する投影部を備えた投影システムの制御方法に関する。この第２の側面に係る制御方法は、参加者に所定の役割を割り当てる割り当て指示を入力した場合、役割を割り当てられた参加者と他の参加者との判別が可能となる位置を標識映像の投影対象位置として設定することと、投影対象位置に標識映像を投影するように投影部を制御することとを有する。

好適に、投影システムは、複数の参加者が集まる場所に設定された検知対象領域における物体の各部分の位置を検知する物体検知部を有してよい。この場合、第２の側面に係る制御方法において、投影対象位置を設定することは、物体検知部の検知結果に基づいて投影対象位置を設定することを含んでよい。

本開示の第３の側面は、第２の側面に係る投影システムの制御方法をコンピュータに実行させるためのプログラムに関する。

本開示によれば、複数の参加者が集まる活動において所定の役割が割り当てられた参加者を簡単に判別することができる投影システムとその制御方法及びプログラムを提供できる。

図１Ａは、本実施形態に係る投影システムの一例を示す図であり、卓上型スクリーンを用いた投影システムを示す。図１Ｂは、卓上型スクリーンの一例を示す図である。 図２Ａは、本実施形態に係る投影システムの一例を示す図であり、携帯型スクリーンを用いた投影システムを示す。図２Ｂ〜図２Ｃは、携帯型スクリーンの一例を示す図である。 図３は、本実施形態に係る投影システムの構成の一例を示す図である。 図４は、多機能プロジェクタの構成の一例を示す図である。 図５は、卓上型スクリーンの構成の一例を示す図である。 図６は、携帯型スクリーンの構成の一例を示す図である。 図７は、制御装置の構成の一例を示す図である。 図８は、スクリーンにおける映像の投影状態が一定に保たれることを説明するための図である。 図９Ａ〜図９Ｄは、複数のスクリーンに映像を投影する方法を説明するための図である。 図１０Ａ〜図１０Ｂは、スクリーンに表示される映像の例を示す図であり、ページの切り替えに用いられる仮想的なタブの例を示す。 図１１Ａは、手書き操作に応じて映像を更新する例を示す図である。図１１Ｂは、手書き操作の有無の判定に接触センサの検出結果を利用する例を示す図である。 図１２Ａ〜図１２Ｃは、携帯型スクリーンの一例を示す図である。 図１３Ａ〜図１３Ｄは、携帯型スクリーンの他の例を示す図である。 図１４は、参加者に新規の役割を割り当てる動作を説明するためのフローチャートである。 図１５は、標識映像の一例を示す図である。 図１６Ａ〜図１６Ｂは、標識映像の一例を示す図である。 図１７は、役割の割り当てを変更する動作を説明するためのフローチャートである。 図１８Ａは、役割の割り当ての変更を表すジェスチャーの一例を示す図である。図１８Ｂは、保留状態の映像の一例を示す図である。 図１９Ａは、保留状態の映像の一例を示す図である。図１９Ｂは、第１投影対象位置から第２投影対象位置へ標識映像が移動する例を示す図である。 図２０は、役割の割り当てを変更する動作を説明するためのフローチャートである。 図２１Ａは、第１投影対象位置から第２投影対象位置へ標識映像が移動する例を示す図である。図２１Ｂは、役割の割り当て変更の拒否を表すジェスチャーの一例を示す図である。図２１Ｃは、役割の割り当て変更が拒否された場合に、標識映像７が元の第１投影対象位置に戻る例を示す図である。 図２２Ａ〜図２２Ｂは、複数の参加者の携帯型スクリーンに共通の映像を表示する例を示す図である。 図２３は、一人の参加者の携帯型スクリーンに投影される映像と同じ映像を共用スクリーンに投影する例を示す図である。 図２４は、一人の参加者の携帯型スクリーンに投影される映像と同じ映像を共用スクリーンに投影する例を示す図である。

以下、本実施形態に係る投影システムについて図面を参照して説明する。本実施形態に係る投影システムは、単に映像を投影するだけでなく、使用者のジェスチャーやスクリーンの移動などをセンサにより検知して、映像の投影を双方向的に制御する機能を持つ。この投影システムは、例えば会議や研修、授業などにおいて資料等の映像をスクリーンに投影する機能のほか、使用者ごとに閲覧可能な資料等を制限する機能、議事録を自動的に生成する機能などを備える。

図１Ａは、本実施形態に係る投影システムの一例を示す図であり、卓上型スクリーン３を用いた投影システムを示す。また図２Ａは、本実施形態に係る投影システムの他の一例を示す図であり、携帯型スクリーン４を用いた投影システムを示す。これらの例に示す投影システムは、会議室の天井などに設置された多機能プロジェクタ２と、映像が投影される卓上型スクリーン３若しくは携帯型スクリーン４とを有する。図の例では、多機能プロジェクタ２の下方に机１２が配置され、机１２の上に置かれた卓上型スクリーン３や携帯型スクリーン４に向けて多機能プロジェクタ２から映像が投影される。使用者は、机１２の周囲に配置された座席１１に着座して、これらのスクリーン（３，４）に投影される映像を見ながら会議等を行う。

なお、図１Ａ及び図２Ａの例では、卓上型スクリーン３のみ又は携帯型スクリーン４のみが使用されているが、これらのスクリーン（３，４）は机１２の上で両方同時に使用されてもよい。この場合、多機能プロジェクタ２は、各スクリーン（３，４）への映像の投影を並行して行う。

図１Ｂは、卓上型スクリーン３の一例を示す図である。図１Ｂに示す卓上型スクリーン３は、ほぼ矩形の平らな投影面３１１を持った平板状の部材である。投影面３１１には、例えば汎用のプロジェクタ用スクリーンや、反射効率が高いディンプル反射板による高効率スクリーンなどが用いられる。

卓上型スクリーン３の投影面３１１の対角の隅には、星形のマーク３０１及び３０２が設けられている。マーク３０１及び３０２は、後述する物体検知部２２によって検知され、卓上型スクリーン３の位置及び姿勢の判定に使用される。マーク３０１及び３０２は、例えば、特定の波長の光（不可視の赤外線や紫外線など）を受けて蛍光を発生する不可視インクで印刷されたマークでもよいし、一般的な可視のインクで印刷されたマークでもよい。また、マーク３０１及び３０２は、投影光を反射する反射板や、発光素子（発光ダイオード等）でもよい。なお、マーク３０１および３０２は、感熱性インクや電子ペーパー等を用いて書き換え可能に構成されても良い。

卓上型スクリーン３は、四辺の縁の近くに複数のマイク３１とスピーカ３２を備える。複数のマイク３１は、発話者の位置を特定する処理のために異なる場所で発話者の音声を集音する。また、一部のマイク３１は、ノイズ除去処理のために音声以外の環境音を集音する。スピーカ３２は、投影面３１１における使用者の所定のジェスチャーに対応した操作音（クリック音など）や、任意のオーディオデータによる音を発生する。なお、マイク３１やスピーカ３２は、卓上スクリーン３の外縁の端面（卓上スクリーン３の厚みの範囲内）に収容されていても良い。これにより、投影面３１１に対して多機能プロジェクタ２から映像が投影された際に、マイク３１やスピーカ３２に映像が重なることを防止できる。

図２Ｂ〜図２Ｃは、携帯型スクリーン４の一例を示す図である。この図の例において、携帯型スクリーン４はノートのように開閉（変形）可能である。図２Ｂは、閉じた状態における携帯型スクリーン４の表紙４５０を示す。図２Ｂの例において、携帯型スクリーン４の表紙４５０には、使用者の識別情報を含んだ２次元コード４５１と、使用者の顔の写真４５２とが印刷若しくは貼り付けられている。なお、使用者の識別情報を含んだ２次元コード４５１や、使用者の顔の写真４５２は、感熱性インクや電子ペーパー等を用いて書き換え可能に構成されても良い。

図２Ｃは、開いた状態における携帯型スクリーン４の投影面４１１−1，４１１−２を示す。図２Ｃの例において、携帯型スクリーン４は、折り畳み可能な２つの投影面４１１−1及び４１１−２を含む。投影面４１１−1及び４１１−２（以下、区別せずに「投影面４１１」と記す場合がある。）には、例えば汎用のプロジェクタ用スクリーンやディンプル反射板による高効率スクリーンなどが用いられる。

携帯型スクリーン４の２つの投影面４１１には、それぞれ３つのマーク４０１〜４０３が設けられている。マーク４０１〜４０３は、後述する物体検知部２２によって検知され、各投影面４１１の位置及び姿勢の判定や、携帯型スクリーン４の変形状態（開閉状態）の判定に使用される。マーク４０１〜４０３は、インク（不可視インクなど）で印刷されたマークでもよいし、反射板や発光素子でもよい。なお、マーク４０１〜４０３は、感熱性インクや電子ペーパー等を用いて書き換え可能に構成されても良い。

また２つの投影面４１１の端部には、複数のマイク４３とスピーカ４４が設けられている。複数のマイク４３は、発話者の音声やノイズ除去用の環境音を集音する。スピーカ４４は、２つの投影面４１１における使用者の所定のジェスチャーに対応した操作音や、任意のオーディオデータによる音を発生する。マイク４３やスピーカ４４は、投影面４１１−１，４１１−２の外縁の端面における厚みの範囲内に収容されていても良い。これにより、投影面４１１−１，４１１−２に対して多機能プロジェクタ２から映像が投影された際に、マイク４３やスピーカ４４に映像が重なることを防止できる。

図３は、本実施形態に係る投影システムの構成の一例を示す図である。本実施形態に係る投影システムは、全体的な動作を統括的に制御する制御装置５を有する。多機能プロジェクタ２、卓上型スクリーン３及び携帯型スクリーン４は、例えば図３に示すように、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮなどの無線通信方式によって制御装置５とそれぞれ通信する。なお、制御装置５との通信は無線通信に限らず、有線の通信でもよい。また、制御装置５を構成する１以上のブロックの少なくとも一部が、他の１以上の装置（例えば多機能プロジェクタ２）に組み込まれていてもよい。

更に制御装置５は、ＬＡＮやその他のネットワークに接続されたサーバ６と通信を行う。制御装置５は、多機能プロジェクタ２が投影する映像のデータや、スクリーン（３，４）のスピーカ（３２，４４）が出力する音のデータ、使用者の識別情報を認証するための情報などをサーバ６から取得する。

図４は、多機能プロジェクタ２の構成の一例を示す図である。図４に示す多機能プロジェクタ２は、投影部２１と、物体検知部２２と、撮像部２３と、通信部２４と、制御部２５とを有する。

投影部２１は、映像を投影する装置である。例えば、投影部２１は、ＬＣＤパネルに光源からの光を通して、ピクセルごとに光を透過させるか遮断するかの制御を行ない、映像を表示させる液晶プロジェクタや、レーザー光源からのレーザー光をＭＥＭＳミラーで反射させ所定領域で走査させることで映像を表示させるレーザープロジェクタ等を含む。

本実施形態において、投影部２１は、制御部２５の制御に応じて投影方向を可変する機能や、投影先における光学像の歪みを補正する機能を備える。例えば投影部２１は、光学系をアクチュエータなどで駆動し、光軸の方向や光学像の形状を調節する。

物体検知部２２は、検知対象領域における物体の各部分の位置を検知する。検知対象領域は、例えば投影部２１の投影範囲を含む３次元の空間であり、物体検知部２２はこの３次元の空間に存在する物体の各部分の位置、すなわち、奥行きを持った３次元の形状を検知する。例えば物体検知部２２は、所定の位置から所定のパターンを持つ赤外光線を検知対象の空間に照射し、空間に存在する物体（携帯型スクリーン４や他の検知対象物１４）で反射された赤外光線の画像を別の位置のカメラで撮像する。物体検知部２２は、撮像した画像における赤外光線のパターンの歪みに基づいて、物体の３次元の形状に関する情報を取得する。あるいは、物体検知部２２は、レーザーから照射した赤外光線が物体で反射されて光学センサで受光されるまでの時間を検知する方式や、異なる位置で撮像された画像のずれを検知する方式など、既に知られている種々の方式によって物体の３次元の情報を取得してもよい。

なお、検知対象領域が２次元の平面（例えば机１２の上の平面）であり、物体（例えば携帯型スクリーン４）の奥行の情報を無視しても物体の位置と姿勢（平面上での回転方向）を検知できる場合、物体検知部２２は２次元画像を撮像するカメラなどでもよい。

撮像部２３は、投影部２１が映像を投影可能な投影範囲と、その周囲を撮像する。撮像部２３が撮像した画像は、投影部２１の投影範囲に接近する使用者１３の検知や、投影範囲の周囲における使用者１３の位置の判定、使用者１３の顔の表情やしぐさなどに関する情報の取得などに用いられる。

通信部２４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮなどの無線通信方式によって制御装置５と通信を行う装置であり、所定のベースバンド処理を行う回路や送受信回路を含む。

制御部２５は、多機能プロジェクタ２の各構成要素を制御する装置であり、例えばメモリに記憶されるプログラムの命令コードに従って処理を実行するコンピュータを含む。制御部２５は、制御装置５から送られてくるコマンドに応じて、投影部２１における投影方向の制御や光学像の形状の補正を行うとともに、制御装置５から受信した映像データを投影部２１に入力して、映像データに応じた映像を投影する処理を行う。また制御部２５は、物体検知部２２における物体の検知結果や撮像部２３における撮像画像を取得し、制御装置５へ送信する処理を行う。

なお、図４の例では多機能プロジェクタ２の中に物体検知部２２と撮像部２３が含まれているが、これらの装置はそれぞれ独立に設けられていてもよい。

図５は、卓上型スクリーン３の構成の一例を示す図である。図５に示す卓上型スクリーン３は、複数のマイク３１と、複数のスピーカ３２と、入力部３３と、通信部３４と、制御部３５とを有する。また卓上型スクリーン３は、内部の電子回路に電源を供給するためのバッテリ（不図示）を搭載する。

複数のマイク３１（図１Ｂの例では６個）は、発話者の音声やノイズ除去用の環境音をそれぞれ集音する。

複数のスピーカ３２（図１Ｂの例では２個）は、使用者の所定のジェスチャーに応じた操作音や、任意のオーディオデータによる音をそれぞれ発生する。

入力部３３は、使用者の指示を入力するための装置であり、図１Ｂの例では、投影面３１１の側縁部に設けられた回転式のダイヤルを含む。入力部３３は、このダイヤルの回転に応じた信号を制御部３５に入力する。入力部３３から入力された信号は、使用者の指示を表す情報として通信部３４から制御装置５に送信され、映像中の文書のページを送る処理などに使用される。

通信部３４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮなどの無線通信方式によって制御装置５と通信を行う装置であり、所定のベースバンド処理を行う回路や送受信回路を含む。

制御部３５は、卓上型スクリーン３の各構成要素を制御する装置であり、例えばメモリに記憶されるプログラムの命令コードに従って処理を実行するコンピュータを含む。制御部３５は、複数のマイク３１で集音された音のデータを制御装置５へ送信する処理や、制御装置５から受信したオーディオデータに基づいてスピーカ３２から音を出力する処理、入力部３３で得られた使用者の指示に関する情報を制御装置５へ送信する処理などを行う。

図６は、携帯型スクリーン４の構成の一例を示す図である。図６に示す携帯型スクリーン４は、接触センサ４１と、振動発生器４２と、複数のマイク４３と、スピーカ４４と、入力部４５及び４６と、通信部４７と、制御部４８とを有する。また携帯型スクリーン４は、内部の電子回路に電源を供給するためのバッテリ（不図示）を搭載する。

接触センサ４１は、投影面４１１における指などの物体の接触を検知するセンサであり、例えば物体の接触に伴う圧力の変化を検知する圧電素子を含む。あるいは接触センサ４１は、物体の接触に伴う種々の物理量（静電容量、抵抗、温度など）の変化を検知するセンサを含んでもよい。

振動発生器４２は、投影面４１１に接触する指などへ振動を伝える装置であり、例えば圧電振動子やモーターなど、振動を発生可能な種々のアクチュエータを含む。

なお、接触センサ４１や振動発生器４２と同様なセンサやアクチュエータは、上述した卓上型スクリーン３にも搭載可能である。

複数のマイク４３（図２Ｂの例では２個）は、それぞれ発話者の音声やノイズ除去用の環境音を集音する。

スピーカ４４は、使用者の所定のジェスチャーに応じた操作音や、任意のオーディオデータによる音を発生する。

入力部４５及び４６は、使用者の指示を入力するための装置である。図２Ｂの例において、入力部４５及び４６はそれぞれ回転式のダイヤルを含む。入力部４５のダイヤルは２つの投影面４１１の折り畳み位置に近い側縁部に設けられており、入力部４６のダイヤルは折り畳み位置から離れた投影面４１１の側縁部の中央付近に設けられている。入力部４５及び４６は、ダイヤルの回転に応じた信号をそれぞれ制御部４８に入力する。入力部４５及び４６から入力された信号は、使用者の指示を表す情報として通信部４７から制御装置５に送信され、映像中の文書のページを送る処理などに使用される。

通信部４７は、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮなどの無線通信方式によって制御装置５と通信を行う装置であり、所定のベースバンド処理を行う回路や送受信回路を含む。

制御部４８は、携帯型スクリーン４の各構成要素を制御する装置であり、例えばメモリに記憶されるプログラムの命令コードに従って処理を実行するコンピュータを含む。制御部４８は、投影面４１１への接触を検知する接触センサ４１の検知結果を制御装置５へ送信する処理や、制御装置５から送られてきたコマンドに応じて振動発生器４２を振動させ、投影面４１１に触れた指等に振動を触知させる処理を行う。また、制御部４８は、複数のマイク４３で集音された音のデータを制御装置５へ送信する処理や、制御装置５から受信したオーディオデータに基づいてスピーカ４４から音を出力する処理、入力部４５及び４６で得られた使用者の指示に関する情報を制御装置５へ送信する処理なども行う。

図７は、制御装置５の構成の一例を示す図である。図７に示す制御装置５は、表示部５１と、入力部５２と、通信部５３及び５４と、制御部５５とを有する。

表示部５１は、画像を表示する装置であり、例えば液晶ディスプレイや有機ＥＬディスプレイなどを含む。

入力部５２は、投影システムの管理者が指示を入力するための装置であり、例えばキーボードやマウス、タッチパッドなどを含む。

通信部５３は、投影システムにおける各構成要素（多機能プロジェクタ２、卓上型スクリーン３、携帯型スクリーン４）と無線通信を行う装置であり、例えばＢｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮなどの所定の無線通信方式により通信を行う。通信部５３は、所定の無線通信方式に適合したベースバンド処理回路や送受信回路を含む。

通信部５４は、ＬＡＮやその他のネットワークに接続されたサーバ６と通信を行う装置であり、例えばイーサネット（登録商標）などの所定の通信方式に適合したベースバンド処理回路や送受信回路を含む。

制御部５５は、制御装置５による投影システムの全体的な制御を司る装置であり、図７の例では、処理部５６と記憶部５７を含む。処理部５６は、記憶部５７に格納されたプログラムの命令コードに従って処理を実行するコンピュータを含む。記憶部５７は、例えばＲＡＭやフラッシュＲＯＭ、ハードディスク、光ディスクなどの記憶装置を含む。処理部５６における全ての処理は、コンピュータにおいてプログラムに従って実行させてもよいし、少なくとも一部を専用のハードウェア（ロジック回路）で実行させてもよい。処理部５６のコンピュータが実行するプログラムは、記憶部５７に全て記憶されていてもよいし、少なくとも一部をサーバ６や他の外部の装置から適宜ダウンロードしてもよい。

次に、上述した構成を有する投影システムの動作を説明する。

＜開始時の動作＞
制御装置５は、投影部２１の投影範囲の周囲を撮像した撮像部２３の画像に基づいて、投影範囲への使用者の接近を監視する。例えば制御装置５は、サーバ６に予め登録されたミーティングに関する情報（ミーティング情報）を参照し、ミーティング情報に含まれるミーティングの開始時刻の情報に基づいて、開始時刻の所定時間前から使用者の接近を監視する。制御装置５は、投影範囲へ使用者が接近したことを判定すると（例えば会議室の入り口付近の画像で人物の動きを捉えると）、投影部２１を起動させる。

制御装置５は、投影部２１の投影範囲へ使用者が接近したことを判定した場合、使用者が投影範囲を容易に認識できるようにするため、投影範囲を光学像や照明光で指示するように投影部２１を制御する。この場合、制御装置５は、上述したミーティング情報に登録されている席次の情報を参照して、各使用者を決められた座席１１に誘導してもよい。例えば、制御装置５は、各座席１１に着席する使用者の情報をミーティング情報から取得し、この取得した情報に基づいて、着席する使用者の氏名等を各座席１１の近くに表示させてもよい。

＜携帯型スクリーン４を所有する使用者の認証＞
制御装置５は、物体検知部２２の検知結果に基づいて、投影部２１の投影範囲に位置する物体から携帯型スクリーン４を特定する。投影部２１の投影範囲内で新たな携帯型スクリーン４が特定され、その表紙４５０が物体検知部２２の検知可能な方向（図２Ａの例では上側）に向けられている場合、制御装置５は、物体検知部２２により得られた表紙４５０の画像から２次元コード４５１を特定し、２次元コード４５１に含まれる使用者の識別情報を抽出する。制御装置５は、２次元コード４５１から抽出した識別情報とサーバ６に予め登録された情報とを照合することにより、この携帯型スクリーン４が正規の使用者のものであることを認証する。

なお、携帯型スクリーン４の使用者を認証する場合、制御装置５は、２次元コード４５１などから得られる識別情報に加えて、この識別情報に関連付けられたパスワードや署名などの認証情報の入力を使用者に要求してもよい。例えば制御装置５は、パスワードや署名などの認証情報の入力を促す映像を投影部２１から携帯型スクリーン４に投影し、所定のジェスチャー（数字キーによるパスワードの入力操作、署名の記入操作など）を使用者に実施させる。制御装置５は、物体検知部２２により所定のジェスチャーを検知し、所定のジェスチャーが表す認証情報を取得する。制御装置５は、使用者の所定のジェスチャーにより入力された認証情報と、予め識別情報に関連付けてサーバ６等に記憶された認証情報とを照合することにより、使用者が入力した認証情報が正規のものであるか否かを判定する。認証情報が正規のものであると判定した場合、制御装置５は、投影部２１の投影範囲に置かれた携帯型スクリーン４が正規の使用者のものであることを認証する。

携帯型スクリーン４が正規の使用者のものであることを認証すると、制御装置５は、この携帯型スクリーン４との間で無線通信を確立する。制御装置５は、マイク４３で集音された音のデータを携帯型スクリーン４から受信する処理や、スピーカ４４で音を出力させるためのオーディオデータを携帯型スクリーン４へ送信する処理を開始する。

また制御装置５は、携帯型スクリーン４へ投影する映像の内容を、その携帯型スクリーン４の所有者として認証した使用者の識別情報に応じて制限する。例えば、制御装置５は、閲覧権限が設定された機密文書等を携帯型スクリーン４へ投影するように使用者がジェスチャー等で指示した場合、携帯型スクリーン４の所有者として認証した使用者の識別情報に基づいて、閲覧の可否を判定する。制御装置５は、例えば使用者の識別情報に基づいて、その使用者の閲覧権限に関する情報をサーバ６から取得し、使用者が機密文書等の閲覧権限を持つか否か判定する。使用者が閲覧権限を持たないと判定した場合、制御装置５は、その使用者が所有する携帯型スクリーン４への機密文書等の投影を制限する。

＜スクリーンに映像を投影する動作＞
認証された携帯型スクリーン４が投影範囲に置かれると、制御装置５は、物体検知部２２で検知される物体の中から、携帯型スクリーン４の各投影面４１１に設けられたマーク４０１〜４０３を特定する。制御装置５は、携帯型スクリーン４のマーク４０１〜４０３を特定すると、特定したマーク４０１〜４０３が存在する３次元の空間での位置に基づいて、携帯型スクリーン４の投影面４１１の位置及び姿勢を判定する。

仮に、検知対象物が存在する空間の基準となる３次元の直交座標系を「基準座標系」とし、検知対象物（投影面４１１など）に対して固定される３次元の直交座標系を「対象物座標系」とする。この場合、制御装置５は、基準座標系からみた対象物座標系の原点の位置を、検知対象物の位置として判定してもよい。また、制御装置５は、基準座標系の各座標軸を基準とした対象物座標系の各座標軸の回転角を、検知対象物の姿勢として判定してもよい。

制御装置５は、物体検知部２２の検知結果に基づいて投影面４１１の位置及び姿勢を判定すると、この判定結果に応じて、投影面４１１における映像の投影状態が一定に保たれるように投影部２１を制御する。例えば制御装置５は、映像の投影状態として、投影面４１１において映像が投影される範囲や、投影面４１１に対する映像の向きを一定に保つ。

図８は、携帯型スクリーン４における映像の投影状態が一定に保たれることを説明するための図である。図８では、携帯型スクリーン４が１つの投影面４１１に簡略化されている。投影面４１１の形状は、平面視において矩形であり、矩形の３つの角にマーク４０１，４０２，４０３がこの順番で左回りに配置されている。投影面４１１において映像が投影される範囲は、投影面４１１の形状と概ね相似な矩形の範囲である。投影面４１１に対する映像の向きは、マーク４０１及び４０２が設けられた側縁部を下側、マーク４０２及び４０３が設けられた側縁部を右側とする向きである。図８では、投影面４１１（携帯型スクリーン４）の３つの状態が示されており、それぞれの状態で投影面４１１の位置や姿勢は異なっている。しかしながら、投影面４１１において映像が投影される矩形の範囲と、投影面４１１に対する映像の向きは、３つの状態において全て同じである。この図８に示すように、制御装置５は、携帯型スクリーン４の位置や姿勢が様々に変化する場合でも、映像の投影状態（映像の範囲、映像の向き等）が一定に保たれるように投影部２１を制御する。

なお制御装置５は、卓上型スクリーン３についても、上述した携帯型スクリーン４の場合と同様の制御を行う。すなわち、制御装置５は、物体検知部２２が検知したマーク３０１及び３０２の位置に基づいて投影面３１１の位置及び姿勢を判定し、その判定結果に基づいて、投影面３１１における映像の投影状態が所定の状態となるように投影部２１を制御する。

また制御装置５は、変形可能な携帯型スクリーン４については、物体検知部２２の検知結果に基づいて、変形の状態を判定する。例えば制御装置５は、携帯型スクリーン４において各投影面４１１のマーク４０１〜４０３が特定された場合、携帯型スクリーン４が図２Ｃに示す開いた状態になっていることを判定する。

＜複数のスクリーンが存在する場合の動作＞
制御装置５は、投影部２１の投影範囲に複数のスクリーン（卓上型スクリーン３、携帯型スクリーン４）が存在する場合、各々のスクリーンに対する映像の投影を並行に行う。

図９Ａ〜図９Ｄは、複数のスクリーンに映像を投影する方法を説明するための図であり、ここでは例として、４つの携帯型スクリーン４−１〜４−４に並行して映像を投影する場合を説明する。
図９Ａの例では、４つの携帯型スクリーン４−１〜４−４を含む１つの範囲が、１つの映像を投影する範囲となっている。この１つの映像には、４つのスクリーン（４−１〜４−４）に対応した４つの描画部分が含まれている。４つの描画部分は、それぞれ対応するスクリーン（４−１〜４−４）が置かれた場所と重なるように、１つの映像の中に配置されている。４つの描画部分以外の部分（目の細かい斜線の部分）は、例えば輝度の低い影の部分であり、４つの描画部分はこの影の部分によって互いに分離されている。このように、制御部５は、投影部２１の投影範囲内に複数のスクリーンが存在する場合、複数のスクリーンと重なる場所にそれぞれ描画部分が配置された映像を生成し、複数のスクリーンが存在する範囲に向けてこの映像を投影する。

図９Ｂの例では、４つの携帯型スクリーン４−１〜４−４の各々へ順次に映像が投影される。図９Ｂにおいて目の粗い斜線が施された部分は、映像が投影されていない状態のスクリーン表面を示す。４つの携帯型スクリーン４−１〜４−４の各々は、一時的に映像が投影されない状態となるが、順次の映像の投影が短い周期で繰り返されることにより、使用者には連続的に映像が表示されているように見える。このように、制御部５は、投影部２１の投影範囲内に存在する複数のスクリーンの各々へ順次に映像を投影する処理を反復してもよい。

図９Ｃの例では、多機能プロジェクタ２に４つの投影部２１−１〜２１−４が搭載されており、４つの携帯型スクリーン４−１〜４−４に向けて４つの投影部２１−１〜２１−４から個別に映像が投影される。このように、制御装置５は、複数の投影部２１の各々に映像の投影先として１つのスクリーンを割り当ててもよい。これにより、複数のスクリーンが存在する場合には、その各々に向けて個別に映像が投影される。

図９Ｄの例では、多機能プロジェクタ２に２つの投影部２１−１及び２１−２が搭載されており、投影部２１−１から２つの携帯型スクリーン４−１及び４−２に向けて１つの映像が投影され、投影部２１−２から２つの携帯型スクリーン４−３及び４−４に向けて別の１つの映像が投影される。このように、制御部５は、複数の投影部２１の各々に映像の投影先として１つ又は複数のスクリーンを割り当ててもよい。そして、制御装置５は、１つの投影部２１に複数のスクリーンを割り当てた場合には、当該複数のスクリーンと重なる場所にそれぞれ描画部分が配置された映像を生成し、当該複数のスクリーンが存在する範囲に向けて当該１つの投影部２１から当該生成した映像を投影してもよい。

なお、制御装置５は、複数の投影部２１における１つの投影部２１に複数のスクリーンを割り当てた場合、図９Ｂに示す例のように、当該１つの投影部２１から当該複数のスクリーンの各々に向けて順次に映像を投影する処理を反復してもよい。

＜スクリーン以外への映像の投影＞
制御装置５は、ジェスチャーなどによって使用者から与えられる指示に応じて、投影範囲内のスクリーン（卓上型スクリーン３、携帯型スクリーン４）以外の場所にも映像を投影するように投影部２１を制御する。これにより、例えばスクリーン以外の場所に置かれた物品に関する詳細情報を、その物品の近くに投影することが可能である。

なお、制御装置５は、スクリーン以外の場所に映像を投影する場合、障害物によって遮られない場所を映像の投影先として自動的に選択してもよい。例えば、制御装置５は、物体検知部２２の検知結果に基づいて、障害物により映像の投影を遮られる範囲を特定し、映像の投影先の候補として選択した場所が当該特定した範囲と重なる場合は、当該特定した範囲の外側へ映像の投影先を移動させる。

また、投影部２１は、映像の投影だけでなく、照明光の照射にも使用可能である。制御装置５は、ジェスチャーなどによって使用者から与えられる指示に応じて、投影範囲内の特定の場所（若しくは投影範囲の全体）に照明光を照射してもよい。

＜使用者の操作の認識＞
制御装置５は、物体検知部２２において検知される物体の中から、使用者の手や指、使用者が持つペンなどの物体（以下、「操作体」と記す場合がある。）を特定し、特定した操作体の運動が所定のジェスチャーであるか否かを判定する。制御装置５は、操作体（指など）の運動が所定のジェスチャーであると判定した場合、そのジェスチャーに対応した処理を行う。例えば、制御装置５は、使用者の指やペンなどによるジェスチャーに応じて、映像の拡大や縮小、回転、移動を行ったり、映像の色合いの変更、映像に含まれる線の太さの変更などを行う。

また制御装置５は、上述したジェスチャーによる操作を案内して、使用者が目的の操作を容易に行えるようにするためのユーザインターフェース映像を生成する。図１０Ａ〜図１０Ｂは、そのようなユーザインターフェース映像の例を示す図であり、ページの切り替えに用いられる仮想的なタブの例を示す。この図の例において、制御装置５は、文書の端部に複数の仮想タブ１１０−１〜１１０−７（以下、区別せずに「仮想タブ１１０」と記す場合がある。）が配置された映像を生成する。使用者がこれらの仮想タブ１１０の１つを指示するジェスチャー（例えば指で仮想タブ１１０に触れるジェスチャー）を行うと、制御装置５は、映像に含まれる文書のページを、ジェスチャーにより指示された仮想タブ１１０に対応するページへ切り替える（図１０Ｂ）。仮想タブ１１０に対応しないページへ移動する操作には、例えば卓上型スクリーン３の入力部３３のダイヤル（図１Ｂ）や、携帯型スクリーン４の入力部４５，４６のダイヤル（図２Ｃ）が用いられる。制御装置５は、これらの入力部の操作に応じて、映像に含まれる文書のページを前後へ順番に切り替える。

更に制御装置５は、物体検知部２２において検知される操作体の運動に基づいて、手書き操作により筆記された線の軌跡を特定する。制御装置５は、手書き操作による線の軌跡を特定した場合、例えば図１１Ａに示すように、特定した線の軌跡が現在の映像と重なって表示されるように、投影する映像を更新する。また制御装置５は、手書き操作の有無を判定するにあたり、例えば図１１Ｂに示すように、接触センサ４１の検出結果を利用してもよい。これにより、投影面４１１へ操作体（指、ペンなど）が接触した状態での操作体の動きを正確に捕捉できるため、手書き操作による線の軌跡の特定を正確に行うことができる。

制御装置５は、手書き操作による線の軌跡を特定した場合、特定した線の軌跡から文字や図形を認識してもよい。例えば、制御装置５は、線の軌跡から認識した文字や図形を現在の映像に重ねて表示してもよいし、この認識した文字や図形を現在の映像に対応する文書等のデータファイルに追加してもよい。

＜３次元イメージの取得＞
制御装置５は、ジェスチャーなどによって使用者から与えられる指示に応じて、物体検知部２２の検知対象領域に位置する物体の３次元イメージを取得する。例えば、制御装置５は、スクリーン（卓上型スクリーン３、携帯型スクリーン４）の上に物体が置かれたことを物体検知部２２の検知結果に基づいて判定した場合、その物体の３次元イメージを取得する。この場合、制御装置５は、物体が置かれたスクリーンにおいて投影中の映像に関わるデータファイルに、この３次元イメージのデータを追加してもよい。また、制御装置５は、物体の３次元イメージを取得した場合、取得した３次元イメージを新たな映像としてスクリーンや別の場所に投影してもよい。

＜議事録データの作成＞
制御装置５は、卓上型スクリーン３のマイク３１や携帯型スクリーン４のマイク４３で集音された音のデータを記録（録音）する。卓上型スクリーン３の複数のマイク３１で音を集音する場合、例えば制御装置５は、複数のマイク３１で集音された音にそれぞれ遅延を与えて合成した合成音を生成し、合成音に含まれる発話の音声の感度が最も高くなるように（発話者の方向へ指向性を持つように）、複数のマイク３１で集音された音にそれぞれ与える遅延の設定を調節する。これにより、発話者の音声が明瞭化される。

また、制御装置５は、合成音に含まれる発話の音声の感度が最も高くなるように調節した遅延の設定から、発話者の方向を推定する。制御装置５は、発話者の方向を推定すると、この推定した方向と異なる方向から到来する音（環境音）をノイズとして除去する。例えば制御装置５は、複数のマイク３１の一部で集音された音の成分を用いて、上述した合成音に含まれたノイズを除去する処理を行う。これにより、発話者の音声がより明瞭化される。

更に、制御装置５は、発話者の方向を推定する場合、撮像部２３において撮像された画像を用いてもよい。例えば、制御装置５は、撮像部２３において撮像された画像に基づいて、投影部２１の投影範囲の周囲における人物の位置を特定する。制御装置５は、画像から特定した人物の位置に基づいて、発話者が存在し得る方向の範囲を特定し、この特定した範囲の中で、合成音に含まれる音声の感度が最も高くなる遅延の設定を探索する。これにより、発話者の方向が正確に推定され易くなる。

制御装置５は、音のデータから発話者の方向を推定した場合、その推定した方向に基づいて、発話者を特定する。例えば、制御装置５は、ミーティング情報に含まれる各使用者の席次の情報と、音のデータから推定した発話者の方向とに基づいて、発話者がどの使用者であるかを特定する。

なお、複数の携帯型スクリーン４の各々に搭載されたマイク４３から音声を集音する場合、例えば制御装置５は、同一の発話について複数の携帯型スクリーン４で集音された音声を比較する。制御装置５は、この比較の結果に基づいて、同一の発話について最も大きな音声が集音された携帯型スクリーン４の使用者を、その発話の発話者として特定する。

制御装置５は、録音された音声のデータにおいて発話が記録された時間と、その発話の発話者として特定された使用者の情報（例えば使用者の識別情報）とを関連付けて記録する。また制御装置５は、上述した処理によって明瞭化された音声のデータに基づいて音声認識処理を行い、発話の内容をテキストに変換する。制御装置５は、音声認識処理による音声からテキストへの変換を、例えばリアルタイムで実行する。

制御装置５は、音声認識処理によってテキストに変換された発話内容のデータと、その発話者として特定された使用者の情報とが、発話の時間に従って時系列化された議事録データを生成する。なお、制御装置５は、発話内容だけでなく、スクリーンに投影された映像の内容に関する情報を時系列化して議事録データに含めてもよい。また、制御装置５は、撮像部２３において撮像された各参加者の表情の画像に基づいて、会話の状況に関する指標（盛り上がりの度合い、和みの度合い、反発の度合い、活発性の度合いなど）を算出し、算出した指標を時系列化して議事録データに含めてもよい。

＜終了時の動作＞
制御装置５は、ジェスチャーなどによって使用者から与えられる指示に応じて、使用者のミーティングへの参加を終了させる。

図１２Ａ〜図１２Ｃは、携帯型スクリーン４の一例を示す図であり、図１２Ａは表紙側、図１２Ｂは内側、図１２Ｃは裏表紙側を示す。図１２Ｃに示すように、携帯型スクリーン４の裏表紙４６０には、ミーティングからの離脱の意図を表す２次元コード４６１が印刷若しくは貼り付けられている。２次元コード４６１には、例えば、特定の識別情報の使用者がミーティングから離脱することを示す情報が含まれる。制御装置５は、物体検知部２２において携帯型スクリーン４の裏表紙側の２次元コード４６１が検知されると、この２次元コード４６１に含まれる識別情報に対応した携帯型スクリーン４を、映像の投影対象から除外する。また、制御装置５は、２次元コード４６１に含まれる識別情報と、この２次元コード４６１が検知された時刻とを関連づけて、上述した議事録データに記録してもよい。これにより、特定の使用者がミーティングから離脱した時刻が議事録に記録される。

＜携帯型スクリーン４の他の例＞
図１３Ａ〜図１３Ｄは、携帯型スクリーン４の他の例を示す図であり、図１２Ａ〜図１２Ｃに示す開閉可能な携帯型スクリーン４に板状の中間部材４１０を追加したものである。ただし、２つのマイク４３とスピーカ４４は、裏表紙４６０の側縁部にそれぞれ配置されている。

中間部材４１０は、一方の面に投影面４１１−３を持ち、他方の面に投影面４１１−４を持つ。図１３Ｂ及び図１３Ｃの例において、投影面４１１−１，４１１−２，４１１−３及び４１１−４はそれぞれ矩形の形状を持ち、互いに略合同である。中間部材４１０の１つの側縁部が、投影面４１１−１及び４１１−２の境界部分に接続されている。携帯型スクリーン４を閉じた場合、中間部材４１０は、投影面４１１−１及び４１１−２の間に挟まれた状態となる。携帯型スクリーン４を開いた場合、中間部材４１０は、ノートのページのようにめくることができる。図１３Ｂは投影面４１１−３を表側に向けて開いた状態を示し、図１３Ｂは投影面４１１−４を表側に向けて開いた状態を示す。

図１３Ａ〜図１３Ｄに示す携帯型スクリーン４では、図１３Ｂの展開状態と図１３Ｃの展開状態とで投影面全体のサイズと形状がほぼ同じとなる。そのため、投影面４１１−１及び４１１−２と同一のマーク（４０１〜４０３）が投影面４１１−３及び４１１−４の両方に設けられていると、図１３Ｂの展開状態と図１３Ｃの展開状態との区別がつかなくなる。そこで、複数の投影面を持つ携帯型スクリーン４の場合、各展開状態において投影面全体に設けられた１以上のマークの外見が、他の展開状態と異なるように、個々の投影面におけるマークの数や配置、形状、サイズなどが設定される。図１３Ｂ及び図１３Ｃの例では、図１３Ｂの展開状態と図１３Ｃの展開状態との区別がつくように、投影面４１１−３と投影面４１１−４とでマークの一部が異なっている。すなわち、投影面４１１−３は、投影面４１１−１及び４１１−２と同じ３つのマーク（４０１，４０２，４０３）を持つ一方、投影面４１１−４は、投影面４１１−１及び４１１−２と同じ２つのマーク（４０２，４０３）に十字型のマーク４０１Ａを加えた３つのマーク（４０１Ａ、４０２，４０３）を持つ。制御装置５は、物体検知部２２において検知されるマーク４０１とマーク４０１Ａとの形状の違いから、図１３Ｂの展開状態と図１３Ｃの展開状態とを判別する。

次に、上述した投影システムを用いて複数の参加者が会議などを行う場合において、参加者に所定の役割を割り当てる場合の動作について説明する。なお、以下の説明では、ここまでの説明における「使用者１３」を、会議などに参加する人という意味で「参加者１３」と言い換える場合がある。

＜会議などの参加者に所定の役割を割り当てる動作＞
参加者１３に割り当てられる「役割」は、一例において、各参加者１３の携帯型スクリーン４に投影する映像を選択したり編集したりする権限を持った役割であり、プレゼンテーションの場合にはプレゼンターに割り当てられ、自由討議の場合は画面操作の権限を希望する発言者に対して適宜割り当てられる。なお、「役割」はこの例に限定されるものではなく、特段の権限を持たないような役割であってもよい。

制御装置５は、参加者１３に対して所定の役割を割り当てる指示（以下「割り当て指示」と呼ぶ）が入力された場合、この役割を割り当てられた参加者１３を明示する映像（以下、「標識映像」と呼ぶ）を投影するように投影部２１を制御する。すなわち、制御装置５は、割り当て指示を入力した場合、役割を割り当てられた参加者１３と他の参加者１３との判別が可能となる位置を標識映像の投影対象位置として設定し、投影対象位置に標識映像を投影するように投影部２１を制御する。具体的には、制御装置５は、複数の参加者１３が集まる場所に設定された検知対象領域における物体の各部分の位置を物体検知部２２によって検知し、その物体検知部２２の検知結果に基づいて、標識映像の投影対象位置を設定する。

このように、割り当て指示によって任意の参加者１３に役割が与えられる場合でも、各参加者１３の視認可能な標識映像が投影部２１によって投影され、この標識映像によって役割を割り当てられた参加者１３が明示される。そのため、役割が与えられた参加者を容易に判別できる。

また、標識映像が投影された位置によって、役割を割り当てられた参加者１３と他の参加者１３との判別が可能であるため、複数の参加者１３の中から、役割を割り当てられた参加者１３を直観的に見分けることができる。

図１４は、参加者１３に新規の役割を割り当てる動作を説明するためのフローチャートである。図１４に示すフローチャートの動作は、反復的に実行される。

まず制御装置５は、投影システムに対する指示を入力する（ＳＴ１００）。例えば制御装置５は、物体検知部２２の検知結果に基づいて、ジェスチャーによる参加者１３の指示を入力する。また制御装置５は、ジェスチャー以外の方法で指示を入力してもよい。

投影システムに対する指示の１つとして、参加者１３に所定の役割を割り当てるための指示（以下、「割り当て指示」と呼ぶ。）がある。制御装置５は、例えばジェスチャーによる参加者１３の指示として、この割り当て指示を入力する。

ステップＳＴ１００において入力した指示が上述した割り当て指示である場合（ＳＴ１０５のＹｅｓ）、制御装置５は、割り当て指示において割り当て対象とされた参加者１３（以下、「対象参加者１３」と呼ぶ場合がある。）について投影対象位置を設定する（ＳＴ１１０）。投影対象位置は、標識映像を投影した場合に対象参加者１３と他の参加者１３とを判別することが可能となる位置である。例えば制御装置５は、対象参加者１３によって使用される携帯型スクリーン４の近傍や、対象参加者１３の体の近傍など、標識映像と対象参加者１３との視覚的な結びつきが強くなる位置を投影対象位置として設定する。具体的には、制御装置５は、物体検知部２２の検知結果に基づいて、各参加者１３が使用する携帯型スクリーン４の位置や、各参加者１３の身体の位置を特定し、特定した位置の近傍に投影対象位置を設定する。投影対象位置は、例えば、標識映像を代表する基準点が配置される位置座標の情報を含む。

対象参加者１３の投影対象位置を設定すると、次に制御装置５は、この投影対象位置に「保留状態の映像」を投影するように投影部２１を制御する（ＳＴ１１５）。保留状態の映像は、割り当て指示による役割の割り当てが未だ完了していない状態を示す映像であり、具体的には、後述する第１許諾指示が未入力であることを示す。保留状態の映像は、役割の割り当てが完了した場合に投影される標識映像と比較して見た目が異なっており、例えば色や形、大きさ、輝度、動的な態様（明滅など）などに関して標識映像と明確に異なる。例えば、会議の司会者によって割り当て指示が入力された場合、この指示において役割の割り当て対象とされた対象参加者１３は、上述した保留状態の映像を見ることによって、自らが役割の割り当て対象となっていることや、この指示を許諾するか拒否するかについて返答が求められていることを認識する。保留状態の映像を表示するとき、制御装置５は、対象参加者１３からの指示を待つ保留状態となる（ＳＴ１２０〜ＳＴ１３０）。以下、対象参加者１３が割り当て指示に対する許諾を表す指示を第１許諾指示と呼び、割り当て指示に対する拒否を表す指示を第１拒否指示と呼ぶ。

制御装置５は、対象参加者１３からの指示を入力し（ＳＴ１２０）、入力した指示が割り当ての拒否を表す第１拒否指示でない場合や（ＳＴ１２５のＮｏ）、割り当ての許諾を表す第１許諾指示でない場合（ＳＴ１３０のＮｏ）、再びステップＳＴ１２０に戻って対象参加者１３の指示を待つ。この間、制御装置５は標識映像の投影を保留し、その代わりに保留状態の映像を投影する。

対象参加者１３から第１許諾指示を入力した場合（ＳＴ１３０のＹｅｓ）、制御装置５は、ステップＳＴ１１０で設定した投影対象位置に標識映像を投影する（ＳＴ１３５）。また制御装置５は、対象参加者１３に対して新規に役割が割り当てられたことを登録する（ＳＴ１４０）。例えば制御装置５は、対象参加者１３の識別情報と割り当てられた役割に関する情報とを関連付けて記憶部５７に記憶する。

一方、対象参加者１３から第１拒否指示を入力した場合（ＳＴ１２５のＹｅｓ）、制御装置５は、第１拒否指示の入力を示す所定の映像を投影するように投影部２１を制御する。この映像は、例えば保留状態の映像が徐々に消える映像や、分解される映像などであり、第１拒否指示の入力を視覚的に表現する。この場合、制御装置５は、対象参加者１３に対する役割の割り当てを登録しない。

図１５及び図１６Ａ〜図１６Ｂは、それぞれ標識映像の一例を示す図である。これらの図において、「１３Ａ」〜「１３Ｆ」はそれぞれ参加者を示し、「４Ａ」〜「４Ｆ」はそれぞれ携帯型スクリーンを示す。符号の末尾に付された英文字は、参加者とその参加者が使用する携帯型スクリーンとの対応関係を表す（例えば、参加者１３Ａは携帯型スクリーン４Ａを使用する）。図１５における「８０」は、物体検知部２２の検知対象領域を示す。

図１５の例において、標識映像７は、携帯型スクリーン４の周囲を囲む枠線である。図１５の例では、役割が割り当てられた参加者１３Ｆの携帯型スクリーン４Ｆの周囲に標識映像７としての枠線が投影されている。他方、図１６Ａの例において、標識映像７は、役割が割り当てられた参加者１３Ｆの体（頭頂部と両肩）に直接投影されている。また図１６Ｂの例において、標識映像７は、役割が割り当てられた参加者１３Ｆの近傍の空中に結像されている。図１６Ｂの例において、投影部２１は、スクリーンのない空中に任意の映像を結像することができるものである。

なお制御装置５は、参加者１３Ａ〜１３Ｆの位置や携帯型スクリーン４Ａ〜４Ｆの位置などに応じて、図１５、図１６Ａ、図１６Ｂの各例に示した標識映像７の何れかを、投影対象位置に投影する映像として選択するようにしてもよい。例えば、参加者１３とその携帯型スクリーン４との距離を算出し、距離が短い場合には図１５に示す標識映像７を選択し、距離が長い場合は図１６Ａや図１６Ｂに示す標識映像７を選択するようにしてもよい。これにより、役割を割り当てられた参加者１３が携帯型スクリーン４から離れた場合でも、この参加者１３に対して役割が割り当てられていることを判別し易くなる。

次に、役割の割り当てを変更する動作について、図１７のフローチャートを参照して説明する。図１７に示すフローチャートの動作も、図１４と同様、反復的に実行される。

まず制御装置５は、投影システムに対する指示を入力し（ＳＴ２００）、入力した指示が役割の割り当ての変更を求める割り当て指示（以下、「割り当て変更指示」と呼ぶ場合がある。）であるか判定する（ＳＴ２０５）。割り当て変更指示である場合（ＳＴ２０５のＹｅｓ）、制御装置５は、割り当て変更指示において変更元とされた参加者１３（以下、変更元参加者１３と呼ぶ場合がある。）、及び、割り当て変更指示において変更先とされた参加者１３（以下、変更先参加者１３と呼ぶ場合がある。）のそれぞれについて、投影対象位置を設定する（ＳＴ２１０）。変更元参加者１３の投影対象位置は、標識映像を投影した場合に変更元参加者１３と他の参加者１３とを判別することが可能となる位置である。変更先参加者１３の投影対象位置は、標識映像を投影した場合に変更先参加者１３と他の参加者１３とを判別することが可能となる位置である。なお、変更元参加者１３の投影対象位置において既に標識映像７を投影中である場合、制御装置５は変更元参加者１３の投影対象位置の設定を省略してもよい。

変更先参加者１３の投影対象位置を設定すると、次に制御装置５は、設定した投影対象位置に「保留状態の映像」を投影するように投影部２１を制御する（ＳＴ２１５）。保留状態の映像は、割り当て変更指示による役割の割り当ての変更が未だ完了していない状態を示す映像であり、具体的には、変更元参加者１３及び変更先参加者１３から許諾が得られていない状態を示す。保留状態の映像は、役割の割り当ての変更が完了した場合に投影される標識映像と比較して、見た目が異なっている。変更元参加者１３及び変更先参加者１３は、保留状態の映像を見ることによって、自らが変更元や変更先となっていることや、割り当て変更指示を許諾するか拒否するかについて返答が求められていることを認識することができる。保留状態の映像を表示するとき、制御装置５は、変更元参加者１３及び変更先参加者１３のそれぞれからの指示を待つ保留状態となる（ＳＴ２２０〜ＳＴ２３０）。

ここでは、変更元参加者１３が割り当て変更指示に対する許諾を表す指示を第２許諾指示と呼び、割り当て変更指示に対する拒否を表す指示を第２拒否指示と呼ぶ。なお、変更先参加者１３からみると、割り当て変更指示は新規の役割の割り当てと同じである。そのため、変更先参加者１３が割り当て変更を許諾する指示は上述した第１許諾指示であり、変更先参加者１３が割り当て変更を拒否する指示は上述した第１拒否指示である。

制御装置５は、変更元参加者１３及び変更先参加者１３の両方から許諾の指示（第１許諾指示及び第２許諾指示）を入力するまで、変更先参加者１３への役割の割り当てを明示する標識映像の投影を保留し、その代わりに保留状態の映像を投影する。制御装置５は、変更元参加者１３及び変更先参加者１３の少なくとも一方からの指示を入力し（ＳＴ２２０）、入力した指示が割り当て変更の拒否を表す指示（第１拒否指示、第２拒否指示）でない場合や（ＳＴ２２５のＮｏ）、第１許諾指示及び第２許諾指示の何れか一方を未だ入力していない場合（ＳＴ２３０のＮｏ）、再びステップＳＴ２２０に戻って、変更元参加者１３及び変更先参加者１３の指示を待つ。第１許諾指示及び第２許諾指示の両方を入力した場合（ＳＴ２３０のＹｅｓ）、制御装置５は、ステップＳＴ２３５及びＳＴ２４０の処理に移行する。

なお、変更元参加者１３から割り当て変更指示を入力した場合（変更元参加者１３が変更先参加者１３へ役割を渡す場合）、変更元参加者１３がこの指示を許諾していることは明白であるため、制御装置５は、ステップＳＴ２３０における第２許諾指示の入力判定を省略してもよい。逆に、変更先参加者１３から割り当て変更指示を入力した場合（変更先参加者１３が変更元参加者１３から役割を奪う場合）、変更先参加者１３がこの指示を許諾していることは明白であるため、制御装置５はステップＳＴ２３０における第１許諾指示の入力判定を省略してもよい。

ステップＳＴ２３５において、制御装置５は、変更元参加者１３の投影対象位置（第１投影対象位置）から変更先参加者１３の投影対象位置（第２投影対象位置）へ標識映像が漸次的に移動するように投影部２１を制御する。この漸次的な移動において、標識映像は、第１投影対象位置と第２投影対象位置との間を連続的に進んでもよいし、非連続的に（例えば一旦消滅してまた現れるように）進んでもよい。

ステップＳＴ２４０において、制御装置５は、変更元参加者１３から変更先参加者１３へ役割の割り当てが変更されたことを登録する（ＳＴ２４０）。例えば制御装置５は、記憶部５７において記憶されている変更元参加者１３の識別情報と役割に関する情報とを関連付けを解消するとともに、変更先参加者１３の識別情報と役割に関する情報とを新たに関連付けて記憶部５７に記憶する。

一方、ステップＳＴ２２５において変更元参加者１３及び変更先参加者１３の少なくとも一方から割り当て変更指示に対する拒否を表す指示（第１拒否指示、第２拒否指示）を入力した場合（ＳＴ２２５のＹｅｓ）、制御装置５は、割り当て変更指示が拒否されたことを示す所定の映像を投影するように投影部２１を制御する。この映像は、例えば保留状態の映像が徐々に消える映像や、分解される映像などであり、割り当て変更指示が拒否されたことを視覚的に表現する。この場合、制御装置５は、変更元参加者１３に対する役割の割り当ての変更や、変更先参加者１３に対する役割の割り当ての新規登録を行わない。

図１８Ａは、役割の割り当ての変更を表す参加者１３のジェスチャーの一例を示す図である。この図の例では、変更元参加者１３の携帯型スクリーン４の上で手１３１をスライドさせるジェスチャーにより、そのスライドの方向（矢印）に位置する変更先参加者１３へ役割を渡すことを表す。

図１８Ｂは、ステップＳＴ２１５（図１７）における保留状態の映像の一例を示す図である。この図１８Ｂの例において、変更元参加者１３Ｆの携帯型スクリーン４Ｆの周囲には標識映像７が投影される一方、変更先参加者１３Ｂの携帯型スクリーン４Ｂの周囲には、見た目において標識映像７とは異なる保留映像８が表示される。

また、図１９Ａは、保留状態の映像の別の一例を示す図である。この図１９Ａの例では、標識映像７と保留映像８との間において、両者を視覚的に関連付けるための中間映像８Ａが投影部２１により投影されている。中間映像９Ａは、例えば図１９Ａに示すように、標識映像７から保留映像８に向かって進行する矢印の映像であり、変更元参加者１３Ｆから変更先参加者１３Ｂへの割り当て変更であることを表現する。

図１９Ｂは、ステップＳＴ２３０（図１７）において割り当て変更指示が許諾された後、変更元参加者１３Ｆの第１投影対象位置から変更先参加者１３Ｂの第２投影対象位置へ標識映像７が移動する例（ＳＴ２３５）を示す図である。このように、第１投影対象位置から第２投影対象位置に向かって標識映像が移動することにより、割り当ての変更元及び変更先を直観的に把握し易くすることができる。また、割り当て変更指示が許諾されたことを明確に把握できる。

次に、役割の割り当てを変更する動作の他の例について、図２０のフローチャートを参照して説明する。図２０に示すフローチャートの動作も、図１４、図１７と同様、反復的に実行される。

まず制御装置５は、投影システムに対する指示を入力し（ＳＴ３００）、入力した指示が役割の割り当て変更指示であるか判定する（ＳＴ３０５）。割り当て変更指示である場合（ＳＴ３０５のＹｅｓ）、制御装置５は、変更元参加者１３及び変更先参加者１３のそれぞれについて、投影対象位置を設定する（ＳＴ３１０）。なお、変更元参加者１３の投影対象位置において既に標識映像７を投影中である場合、制御装置５は変更元参加者１３の投影対象位置の設定を省略してもよい。

次に制御装置５は、図２１Ａにおいて示すように、変更元参加者１３の第１投影対象位置から変更先参加者１３の第２投影対象位置へ標識映像７が漸次的に移動するように投影部２１を制御する（ＳＴ３１５）。

標識映像７の移動が開始すると、制御装置５は、標識映像７の移動が完了するまで（標識映像７が第２投影対象位置に到着するまで）、変更元参加者１３及び変更先参加者１３からの指示の入力を監視する（ＳＴ３２０〜ＳＴ３３０）。すなわち、制御装置５は、標識映像７の移動が完了するまでの間に、変更元参加者１３及び変更先参加者１３の少なくとも一方から割り当て変更指示に対する拒否を表す指示（第１拒否指示、第２拒否指示）を入力した場合（ＳＴ３２５のＹｅｓ）、標識映像７が元の第１投影対象位置へ戻る映像を投影するように投影部２１を制御する（ＳＴ３４０）。例えば図２１Ｂに示すように、標識映像７の進行方向の先に手１３１を位置させて標識映像７の移動を阻止するジェスチャーにより、割り当て変更指示への拒否を表す。このようなジェスチャーによって割り当て変更指示が拒否されると、図２１Ｃに示すように、標識映像７が第２投影対象位置への移動を中止して、元の第１投影対象位置に戻る。これにより、割り当て変更指示が拒否されたことを直観的に把握できる。割り当て変更指示が拒否された場合、制御装置５は、割り当て変更指示により指示された役割の変更の登録を行わない。

一方、標識映像７の移動が完了するまでの間に第１拒否指示及び第２拒否指の何れも入力しなかった場合（ＳＴ３３０のＹｅｓ）、制御装置５は、変更元参加者１３から変更先参加者１３へ役割の割り当てが変更されたことを登録する（ＳＴ３３５）。すなわち、標識映像７の移動中に変更元参加者１３及び変更先参加者１３が何も指示を入力しない場合、制御装置５は、割り当て変更指示を承諾したと見なして自動的に割り当て変更の登録を行う。これにより、変更元参加者１３及び変更先参加者１３の承諾指示を省略できるため、割り当て変更の操作が簡単になる。

次に、参加者１３に対して割り当てる役割の具体例について説明する。

（携帯型スクリーン権限）
図２２Ａ〜図２２Ｂは、複数の参加者１３の携帯型スクリーン４に共通の映像を表示する例を示す図である。この図の例では、複数の携帯型スクリーン４に共通の映像を投影する権限（以下、「携帯型スクリーン権限」と呼ぶ場合がある。）を持った役割が、一人の参加者１３に対して割り当てられる。

制御装置５は、複数の携帯型スクリーン４の各々に投影する映像を、複数の携帯型スクリーン４の各々を使用する参加者１３の識別情報によって識別することができる。例えば図２２Ａにおいて、制御装置５は、参加者１３Ｆの携帯型スクリーン４Ｆに投影している映像「Ｆ」を、参加者１３Ｆの識別情報によって識別することができる。従って、制御装置５は、参加者１３Ｆに携帯型スクリーン権限を持つ役割が割り当てられた場合、参加者Ｆの識別情報に基づいて、参加者１３Ｆの携帯型スクリーン４Ｆに投影している映像「Ｆ」を特定することができる。

制御装置５は、携帯型スクリーン権限を持つ役割が一人の参加者１３に割り当てられた場合、この参加者の識別情報によって識別される映像と同一の映像を、他の参加者１３によって使用される携帯型スクリーン４にもそれぞれ投影するように投影部２１を制御する。例えば図２２Ｂにおいて、参加者１３Ｆに携帯型スクリーン権限を持つ役割が割り当てられため、制御装置５は、参加者１３Ｆの携帯型スクリーン４Ｆに投影している映像「Ｆ」を他の参加者１３Ａ〜１３Ｅの携帯型スクリーン４Ａ〜４Ｅにも投影するように投影部２１を制御する。

このように、携帯型スクリーン権限を持つ役割を持った参加者１３の携帯型スクリーン４の映像と同一の映像が他の参加者１３の携帯型スクリーン４にも投影されるため、一人の参加者１３が見る個別の映像を複数の参加者１３において共有し易くなる。

なお、制御装置５は、携帯型スクリーン権限を持った役割を一人の参加者１３に割り当てている場合（図２２Ｂの例では参加者１３Ｆ）、複数の携帯型スクリーン４に投影する共通の映像の編集に関する参加者１３からの指示を、この一人の参加者１３から入力した指示に限って許容する。すなわち、制御装置５は、携帯型スクリーン権限を持った役割を割り当てた参加者１３以外の参加者１３については、複数の携帯型スクリーン４に投影する共通の映像の編集を禁止する。これにより、複数人が同時に共通の映像の編集を行うことによる混乱を防止できる。

（共用スクリーン権限）
図２３及び図２４は、一人の参加者１３の携帯型スクリーン４に投影される映像と同じ映像を共用スクリーン（９０１〜９０４）に投影する例を示す図である。この図の例では、会議室９などに設置された共有スクリーンに映像を投影する権限（以下、「共用スクリーン権限」と呼ぶ場合がある。）を持った役割が、一人の参加者１３に対して割り当てられる。

図２３及び図２４では、会議室９が４つの壁９１〜９４に囲まれており、壁９１〜９４にそれぞれ共用スクリーン９０１〜９０４（各々を区別せずにスクリーン９００と呼ぶ場合がある。）が設置されている。投影部２１は、各共用スクリーン９００に映像を投影することができる。

制御装置５は、共用スクリーン権限を持つ役割が一人の参加者１３に割り当てられた場合、この参加者１３の識別情報によって識別される映像と同一の映像を、共用スクリーン９００にも投影するように投影部２１を制御する。例えば図２３では、参加者１３Ｆに共用スクリーン権限を持つ役割が割り当てられているため、制御装置５は、参加者１３Ｆの携帯型スクリーン４Ｆに投影している映像と同一の映像を共用スクリーン９０１にも投影するように投影部２１を制御する。

このように、共有スクリーン権限を持つ役割を持った参加者１３の携帯型スクリーン４の映像と同一の映像が共用スクリーン９００にも投影されるため、一人の参加者１３が見る個別の映像を複数の参加者１３において共有し易くなる。

また、制御装置５は、共用スクリーン権限を持つ役割が一人の参加者１３に割り当てられた場合、少なくとも他の参加者１３の位置及び視野範囲に基づいて、少なくとも他の参加者１３がそれぞれ視認可能な１つの共有スクリーン９００を複数の共有スクリーン９００から選択する。そして、制御装置５は、共用スクリーン権限を持つ役割を割り当てられた一人の参加者１３の識別情報によって識別される映像と同一の映像を、選択した１つの共有スクリーン９００にも投影するように投影部２１を制御する。

例えば図２３では、共用スクリーン権限を持つ役割が参加者１３Ｆに割り当てられている。そのため、制御装置５は、他の参加者１３Ａ〜１３Ｅの位置及び視野範囲に基づいて、他の参加者１３Ａ〜１３Ｅがそれぞれ視認可能な共有スクリーン９０１を選択し、この共有スクリーン９０１に携帯型スクリーン４Ｆと同じ映像を投影するように投影部２１を制御する。参加者１３Ｆは、共有スクリーン９０１と同じ映像を自分の携帯型スクリーン４Ｆで見ることができるため、共有スクリーン９０１を選択する際に、参加者１３Ｆの位置及び視野範囲については考慮しないようにすることができる。

図２３において、各参加者１３の頭部に描かれた矢印は、視野範囲の中心において正面側に向かう方向（以下、中心方向と呼ぶ。）を示す。各参加者１３の中心方向は、例えば、平面視における机１２の輪郭線の法線と平行な方向であって、机１２の内側に向かう方向である。この中心方向は、机１２の周りに着席する各参加者１３の顔が向かうと推定される方向である。制御装置５は、この中心方向を顔の中心に置いた場合の各参加者１３の視野範囲において、無理なく目を向けることができる所定の角度範囲（例えば左右のそれぞれにおいて９０度以内の範囲）に共用スクリーン９００が含まれるように、複数の共有スクリーン９００から１つの共有スクリーン９００を選択する。例えば、制御装置５は、共用スクリーン権限を持つ役割を割り当てられた参加者１３を除く他の参加者１３の中で、視野の所定の角度範囲に共有スクリーン９００が含まれる参加者１３の数（以下、適正視野人数と呼ぶ。）を計数し、この適正視野人数が最も多くなる共用スクリーン９００を、映像投影対象の共用スクリーン９００として選択する。

図２３の例において、共用スクリーン権限を持たない参加者１３Ａ〜１３Ｅの中で適正視野人数（左右９０度以内の視野範囲の条件を満たす人数）を数えると、共用スクリーン９０１は４名、共用スクリーン９０２は２名、共用スクリーン９０３は３名、共用スクリーン９０４は３名である。そのため、制御装置５は共用スクリーン９０１を選択する。
また、図２４の例において、共用スクリーン権限を持たない参加者１３Ｄ〜１３Ｆの中で上記と同じ視野範囲の条件の適正視野人数を数えると、共用スクリーン９０１は２名、共用スクリーン９０２は３名、共用スクリーン９０３は２名、共用スクリーン９０４は０名である。従ってこの場合、制御装置５は共用スクリーン９０２を選択する。

なお、本実施形態は上述した例にのみ限定されるものではなく、当業者にとって自明な種々のバリエーションも本実施形態に含まれる。

本開示に係る投影システムの適用は、上述のような会議やプレゼンテーション、集会などに限定されない。例えば、複数人による運動競技やゲーム、コンサート、娯楽や趣味に関するイベントなど、複数の参加者が関与する様々な活動に対して本開示に係る投影システムは広く適用可能である。

２…多機能プロジェクタ、２１…投影部、２２…物体検知部、２３…撮像部、２４…通信部、２５…制御部、３…卓上型スクリーン、３１，４３…マイク、３２，４４…スピーカ、３３…入力部、３４…通信部、３５…制御部、３０１，３０２，４０１〜４０３…マーク、３１１，４１１…投影面、４…携帯型スクリーン、４１…接触センサ、４２…振動発生器、４５…入力部、４６…入力部、４７…通信部、４８…制御部、４０９，４５１，４６１…２次元コード、４５０…表紙、４５２…写真、４６０…裏表紙、５…制御装置、５１…表示部、５２…入力部、５３…通信部、５４…通信部、５５…制御部、５６…処理部、５７…記憶部、６…サーバ、７…標識映像、８…保留映像、８Ａ…中間映像、９…会議室、９１〜９４…壁、９０１〜９０４…共有スクリーン、１１…座席、１２…机、１３…参加者（使用者）、１１０…仮想タブ

Claims (22)

1. 複数の参加者が集まる場所で各参加者が視認可能な映像を投影する投影部と、
   前記参加者に所定の役割を割り当てる割り当て指示を入力した場合、前記役割が割り当てられた前記参加者を明示する標識映像を投影するように前記投影部を制御する制御部とを有する、
   投影システム。
2. 前記制御部は、前記割り当て指示を入力した場合、前記役割を割り当てられた前記参加者と他の前記参加者との判別が可能となる位置を前記標識映像の投影対象位置として設定し、前記投影対象位置に前記標識映像を投影するように前記投影部を制御する、
   請求項１に記載の投影システム。
3. 前記複数の参加者が集まる場所に設定された検知対象領域における物体の各部分の位置を検知する物体検知部を有し、
   前記制御部は、前記割り当て指示を入力した場合、前記物体検知部の検知結果に基づいて前記投影対象位置を設定する、
   請求項２に記載の投影システム。
4. 前記制御部は、前記物体検知部の検知結果に基づいて、ジェスチャーによる前記参加者の指示を入力する、
   請求項３に記載の投影システム。
5. 前記制御部は、前記割り当て指示において前記役割を割り当てる前記参加者の変更を指示された場合、変更元の前記参加者について設定した第１投影対象位置から変更先の前記参加者について設定した第２投影対象位置へ前記標識映像が移動するように前記投影部を制御する、
   請求項２〜請求項４の何れか一項に記載の投影システム。
6. 前記制御部は、前記第１投影対象位置から前記第２投影対象位置へ前記標識映像が漸次的に移動するように前記投影部を制御する、
   請求項５に記載の投影システム。
7. 前記投影部は、それぞれ異なる前記参加者によって使用される複数のスクリーンに個別の映像を投影可能であり、
   前記制御部は、前記役割を割り当てられた前記参加者の前記スクリーンと他の前記参加者の前記スクリーンとの判別が可能となる位置を前記投影対象位置として設定する、
   請求項２〜請求項６の何れか一項に記載の投影システム。
8. 前記制御部は、前記役割が割り当てられた前記参加者の体に前記投影対象位置を設定する、
   請求項２〜請求項６の何れか一項に記載の投影システム。
9. 前記制御部は、前記役割が割り当てられた前記参加者の近傍の空中に前記投影対象位置を設定し、
   前記投影部は、前記設定された空中の投影対象位置に前記標識映像を結像させる、
   請求項２〜請求項６の何れか一項に記載の投影システム。
10. 前記制御部は、前記割り当て指示を入力した場合、前記割り当て指示において前記役割の割り当て対象とされた対象参加者から当該割り当てを許諾する第１許諾指示を入力するまでの間、前記標識映像の投影を保留する、又は、当該投影の保留に加えて、前記第１許諾指示が未入力であることを示す映像を投影するように前記投影部を制御する、
    請求項２〜請求項９の何れか一項に記載の投影システム。
11. 前記制御部は、前記対象参加者が明示される前記投影対象位置において、前記第１許諾指示が未入力であることを示す映像を投影するように前記投影部を制御する、
    請求項１０に記載の投影システム。
12. 前記制御部は、前記割り当て指示を入力した後、前記対象参加者から当該割り当てを拒否する第１拒否指示を入力した場合、前記標識映像の投影を中止し、前記第１拒否指示の入力を示す映像を投影するように前記投影部を制御する、
    請求項１０又は１１に記載の投影システム。
13. 前記制御部は、前記割り当て指示において前記役割を割り当てる前記参加者の変更を指示された場合、前記割り当て指示において変更元とされた変更元参加者から当該変更を許諾する第２許諾指示を入力するまでの間、前記割り当て指示において変更先とされた変更先参加者への前記役割の割り当てを明示する前記標識映像の投影を保留する、又は、当該投影の保留に加えて、前記第２許諾指示が未入力であることを示す映像を投影するように前記投影部を制御する、
    請求項２〜請求項１２の何れか一項に記載の投影システム。
14. 前記制御部は、前記変更先参加者が明示される前記投影対象位置において、前記第２許諾指示が未入力であることを示す映像を投影するように前記投影部を制御する、
    請求項１３に記載の投影システム。
15. 前記制御部は、前記割り当て指示において前記役割を割り当てる前記参加者の変更を指示された後、前記変更元参加者から当該変更を拒否する第２拒否指示を入力した場合、前記変更先参加者への前記役割の割り当てを明示する前記標識映像の投影を中止し、前記第２拒否指示の入力を示す映像を投影するように前記投影部を制御する、
    請求項１４に記載の投影システム。
16. 前記投影部は、それぞれ異なる前記参加者によって使用される複数のスクリーンに個別の映像を投影可能であり、
    前記制御部は、
    前記複数のスクリーンの各々に投影する映像を、前記複数のスクリーンの各々を使用する前記参加者の識別情報によって識別可能であり、
    前記複数のスクリーンに共通の映像を投影する権限を持つ役割が一の前記参加者に割り当てられた場合、当該一の参加者の前記識別情報によって識別される映像と同一の映像を、他の前記参加者によって使用される前記スクリーンにもそれぞれ投影するように前記投影部を制御する、
    請求項１〜請求項１５の何れか一項に記載の投影システム。
17. 前記制御部は、前記共通の映像を投影する権限を持つ役割が前記一の参加者に割り当てられた場合、前記複数のスクリーンに投影する共通の映像の編集に関する前記参加者からの指示は、前記一の参加者から入力した指示のみ許容する、
    請求項１６に記載の投影システム。
18. 前記投影部は、それぞれ異なる前記参加者によって使用される複数のスクリーンに個別の映像を投影可能であるとともに、共用スクリーンに映像を投影可能であり、
    前記制御部は、
    前記複数のスクリーンの各々に投影する映像を、前記複数のスクリーンの各々を使用する前記参加者の識別情報によって識別可能であり、
    前記共用スクリーンに映像を投影する共用スクリーン権限を持つ役割が一の前記参加者に割り当てられた場合、当該一の参加者の前記識別情報によって識別される映像と同一の映像を前記共用スクリーンにも投影するように前記投影部を制御する、
    請求項１〜請求項１７の何れか一項に記載の投影システム。
19. 前記投影部は、複数の前記共有スクリーンに映像を投影可能であり、
    前記制御部は、前記共用スクリーン権限を持つ役割が前記一の参加者に割り当てられた場合、少なくとも他の前記参加者の位置及び視野範囲に基づいて、少なくとも前記他の参加者がそれぞれ視認可能な一の前記共有スクリーンを選択し、前記一の参加者の前記識別情報によって識別される映像と同一の映像を前記一の共用スクリーンにも投影するように前記投影部を制御する、
    請求項１８に記載の投影システム。
20. 複数の参加者が集まる場所で各参加者が視認可能な映像を投影する投影部を備えた投影システムの制御方法であって、
    前記参加者に所定の役割を割り当てる割り当て指示を入力した場合、前記役割を割り当てられた前記参加者と他の前記参加者との判別が可能となる位置を前記標識映像の投影対象位置として設定することと、
    前記投影対象位置に前記標識映像を投影するように前記投影部を制御することと
    を有する投影システムの制御方法。
21. 前記投影システムは、前記複数の参加者が集まる場所に設定された検知対象領域における物体の各部分の位置を検知する物体検知部を有しており、
    前記投影対象位置を設定することは、前記物体検知部の検知結果に基づいて前記投影対象位置を設定することを含む、
    請求項２０に記載の投影システム。
22. 請求項２０又は請求項２１に記載の投影システムの制御方法をコンピュータに実行させるためのプログラム。
    

Images