JP2017032757A - 表示制御装置、表示制御方法、表示制御システム、及び、プログラム - Google Patents

Abstract

【課題】 人物画像と資料画像を重畳表示すると、人物画像によって資料画像が隠れてしまう部分が発生する。資料画像の一部が隠れてしまうと、資料画像に対する操作をユーザが行いづらくなる。【解決手段】 第１の地点において撮像された被写体の画像を受信する受信部と、第２の地点における表示部と所定の移動物体との距離を取得する取得部と、表示部に表示される所定の画像のうち受信部が受信した被写体の画像が重畳される部分の画像が被写体の画像を透過して表示部に表示される程度を、取得部が取得した距離に基づいて決定する決定部と、決定部が決定した程度に基づいて被写体の画像及び所定の画像を表示部に表示させる表示制御部とを有する。【選択図】 図４

Description

第１の地点で撮像された画像を第２の地点に設置された表示手段に表示させるための表示制御技術に関する。

従来、離れた場所にいる相手とコミュニケーションを取るためのシステムが知られている。特許文献１には、離れた場所にいる相手と会議を行うための遠隔会議システムが開示されている。特許文献１のシステムには、人物を撮像するためのカメラと、画像を表示するための表示装置が含まれる。特許文献１のシステムでは、会議時に使用する資料画像とカメラが撮影した人物画像とを同時に表示する機能を有し、資料をより大きく表示するために資料画像は表示装置全体を使って表示し、人物画像は顔部分だけを切り出して資料画像に重畳して表示する。

特開２０１３−１１５５２７号公報

特許文献１に記載のシステムは、資料画像が顔画像によって隠れてしまう。相手との対話を優先するためには、たとえ資料画像と顔画像の重複部分において資料画像が隠れてしまうとしても、相手の顔画像の視認性を高めることが望ましい。一方、自身が資料画像を指し示す等の動作を行う場合には、資料画像が顔画像によって隠れてしまうと、自身の資料画像に対する操作がしづらくなるという課題がある。

上述した課題を解決するために、本発明にかかる表示制御装置の一実施形態は以下の構成を有する。すなわち、第１の地点における表示手段と所定の移動物体との距離を取得する取得手段と、第２の地点において撮像された被写体の画像を受信する受信手段と、前記表示手段に表示される所定の画像のうち前記受信手段が受信した前記被写体の画像が重畳される部分の画像が前記被写体の画像を透過して前記表示手段に表示される程度を、前記取得手段が取得した前記距離に基づいて決定する決定手段と、前記決定手段が決定した前記程度に基づいて前記被写体の画像及び前記所定の画像を前記表示手段に表示させる表示制御手段とを有する。

上記の構成によれば、第１の画像を第２の画像に重畳してスクリーンに表示させる場合に、第２の画像のうち前記第１の画像と第２の画像の重複部分の画像をユーザが視認できるようにすることができる。また上記の構成によれば、スクリーンとユーザとの位置関係に応じて、第２の画像のうち重複部分の画像を視認できるようにするかを切り替えることができる。

実施形態１に係るシステムの構成を示す図である。 実施形態１に係るシステムの構成を示す図である。 実施形態１に係るシステムのハードウェア構成を示す図である。 人物画像の透過処理の切り替えを示す図である。 実施形態１の制御サーバ３０１が行う処理を示すフローチャートである。 実施形態１の制御サーバ３０２が行う処理を示すフローチャートである。 実施形態２の制御サーバ３０１が行う処理を示すフローチャートである。 実施形態２の制御サーバ３０２が行う処理を示すフローチャートである。 制御サーバ３０２が行う処理を示すフローチャートである。

以下、本発明を実施するための形態について図面を用いて説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

（実施形態１）
本実施形態に係る表示制御システムは、第１の地点にいる第１の人物と第２の地点にいる第２の人物とが互いに相手の撮像画像を確認しながらコミュニケーションを行うためのシステムに関する。例えば第１の人物は、第１の地点に設置された表示手段に表示された第２の人物の撮像画像を確認しながら第２の人物とのコミュニケーションを行う。同様に、第２の人物は、第２の地点に設置された表示手段に表示された第１の人物の撮像画像を確認しながら第１の人物とのコミュニケーションを行う。表示手段は例えば、画像を投影するためのスクリーンや、表示装置のディスプレイ等とすることができる。以下、表示手段としてスクリーンを用いる例について説明する。

また第１の地点及び第２の地点のそれぞれのスクリーンには共通の資料画像が表示され、第１の人物及び第２の人物が確認することができる。第２の人物は第２の地点のスクリーンに表示された画像を確認することにより、第１の人物の撮像画像、及び、資料画像を確認することができる。例えば、第２の人物は第１の人物が資料画像を指し示している様子等を確認できる。

本実施形態に係る表示制御システムは、第１の地点において撮像された被写体（例えば、第１の人物）の画像を所定の画像（例えば、資料画像）に重畳して第２の地点におけるスクリーンに表示させる。第１の人物の撮像画像の表示領域と資料画像の表示領域とが重複する場合には、人物画像が資料画像よりも上の表示レイヤに表示されるようにする。第１の地点にいる被写体の画像は、例えば、第１の地点にある撮像装置が撮像した撮像画像から人物に対応する部分の画像を切り出して生成することができる。

また本実施形態に係る表示制御システムは、第２の地点におけるスクリーンと第２の地点にいる所定の移動物体（例えば、第２の人物）との距離を測定する。そして、測定した距離が所定の条件を満たす場合、スクリーンに表示する資料画像が第１の人物の撮像画像を透過して表示されるようにする。すなわち、資料画像のうち受信した第１の人物の撮像画像が重畳される部分の画像が第１の人物の画像を透過してスクリーンに表示される程度を、測定した距離に基づいて決定する。

例えば第２の地点において第２の人物とスクリーンとの距離が所定値以下となった場合に、資料画像が第１の人物の撮像画像を透過するようにして表示させる。第２の地点において第２の人物とスクリーンとの距離が所定値よりも長い場合には、第２の地点におけるスクリーンには資料画像に重畳して第１の人物の撮像画像が表示される。第１の人物の撮像画像が表示された領域に対応する部分の資料画像をユーザが視認することはできない。このようにして、第２の人物は第１の人物の撮像画像を資料画像に邪魔されずに確認しながら第１の人物とのコミュニケーションを行うことができる。

一方、第２の地点において第２の人物が資料画像を指し示すためにスクリーンに近づいた場合には、資料画像のうち第１の人物の撮像画像と重複する部分の画像が第１の人物の撮像画像を透過するようにして表示する。このようにして、第２の人物は資料画像の全体を確認しながら資料画像を指し示すことができる。

本実施形態では、第１の画像を表示する表示レイヤよりも下の表示レイヤに表示される第２の画像が、第１の画像と第２の画像との重複領域において視認されるように表示されることを、第２の画像が第１の画像を透過して表示されると表現する。第２の画像が第１の画像を透過して表示されるようにするための処理として、例えば、重複領域において第１の画像の画素と第２の画像の画素とをブレンディング処理して表示させることができる。各画像の画素のブレンド比率を変更することにより、透過の程度を変更することができる。このように第１の画像及び第２の画像に対して画像処理を行うことにより第２の画像を第１の画像を透過して表示させることができる。ただし、重複領域において第２の画像が視認されるようにするための透過処理はブレンディング処理に限らない。また本実施形態では、重複領域において第１の画像及び第２の画像が視認できるようにして透過処理を行う場合について説明するが、透過処理を行った場合に重複領域において第１の画像を透明にして第２の画像のみが視認できるようにしてもよい。また以下の説明では単に第１の画像に対する透過処理を行うと表現する場合があるが、上述のように第１の画像のみならず第２の画像に対しても画像処理を行うことにより、第２の画像を第１の画像を透過して表示させることとしてもよい。

本実施形態に係るシステム構成について図１から図３を用いて説明する。本実施形態では、第１の地点（オフィス１）と第２の地点（オフィス２）とがネットワークで接続され、各オフィスにいる人物が本実施形態に係るシステムを用いてコミュニケーションを行う例について説明する。ただし、３以上のオフィス間でコミュニケーションを取ることが可能な構成であってもよい。また、ここで説明する各オフィスは、移動に数時間を要するほど離れたものであっても良いし、同一のビルに設けられた別の会議室であっても良い。即ち第１の地点と第２との地点とは、物理的な空間が別であればよく、物理的な距離や移動にかかる時間の長さは特に限定しない。

図１（ａ）及び（ｂ）は、各オフィスの断面図である。図１（ａ）に示すオフィス１には、プロジェクタ１０１、スクリーン１０２、ＲＧＢカメラ１０３、距離センサ１０４が備えられている。プロジェクタ１０１は、他のオフィスで撮像された画像をスクリーン１０２に投影する投影装置である。本実施形態の場合、ＲＧＢカメラ１０３が撮像する画像、及び、スクリーン１０２に投影される画像は動画を想定しているが、静止画であってもよい。

また、本実施形態のプロジェクタ１０１は後述する会議資料もスクリーン１０２に投影するが、会議資料を投影するプロジェクタとして別のプロジェクタを用意してもよい。また、プロジェクタ１０１は、投影する画像から人物画像を抽出して、抽出した人物画像と背景画像を合成した合成画像をスクリーン１０２に投影してもよい。背景画像として、予め用意されている固定の背景画像を利用してもよいし、オフィス１の背景を撮像するための背景カメラを別途用意することでリアルタイムの背景画像を取得してもよい。

スクリーン１０２は、プロジェクタ１０１によって投影される画像を映し出す投影面である。なお、スクリーン１０２は、他のオフィスとのコミュニケーションを取るときに一時的に設置するものであっても良いし、オフィスの壁がスクリーン１０２の役割を兼ねても良い。また、本実施形態では画像を表示する手段としてプロジェクタとスクリーンを使用する例を示すが、ディスプレイを用いて画像を表示するようにしても良い。

ＲＧＢカメラ１０３は、人物１０５を撮像するための撮像装置であり、スクリーン１０２に埋め込まれている。ＲＧＢカメラ１０３は、スクリーン１０２の前に立つ人物１０５の前面を、投影面側であるスクリーン１０２側から撮像するためのカメラである。本実施形態では、人物１０５がスクリーン１０２の方を向いている場合に人物１０５の前面を撮像できるように、ＲＧＢカメラ１０３は図１（ａ）に示す位置に設置される。ＲＧＢカメラ１０３は、スクリーン１０２に複数埋め込まれることとしてもよい。この場合、複数のＲＧＢカメラ１０３は人物１０５の一部の画像を撮像する。そして複数のＲＧＢカメラ１０３が撮像した撮像画像を合成して、人物１０５の画像を生成することとしてもよい。複数のＲＧＢカメラ１０３を用いることにより、１台のＲＧＢカメラ１０３を用いる場合と比べて、より広い画角の画像を撮像することができる。したがって、１台のＲＧＢカメラ１０３を用いる場合に比べて、人物１０５がスクリーンにより近づいた場合でも人物１０５の全体像を撮像することが可能となる。

本実施形態では人物よりもスクリーン側から人物の画像を撮影する場合について説明するが、人物に対してスクリーンが有る方向と反対側にもＲＧＢカメラ（以下、背面カメラ）を設置することとしてもよい。すなわち、スクリーン及び人物を同時に撮影可能な位置に背面を設定してもよい。この場合、ＲＧＢカメラ１０３が撮影した撮像画像と背面カメラが撮影した撮像画像を状況により切り替えてオフィス２に送信するようにすることができる。図１及び図４を用いて後述する例では、ＲＧＢカメラ１０３が撮影した画像がオフィス２のスクリーンに表示される場合について説明する。しかし、背面カメラが撮影した画像がオフィス２のスクリーンに表示される場合には、例えばオフィス１にいる人物の背中側の画像が表示される場合がある。

距離センサ１０４は、スクリーン１０２から人物１０５までの距離を測定するための装置であり、スクリーン１０２に埋め込まれている。距離センサ１０４は、測定対象までの距離を数値で出力する。人物１０５がスクリーン１０２からどのくらい離れた位置に立っているかを測定できるように、距離センサ１０４は図１（ａ）に示す位置に設置される。ＣＰＵ３０２は、距離センサ１０４が取得した距離を表す数値を距離センサ１０４から取得する。このようにして、ＣＰＵ３０２は第２の地点（例えば、オフィス２）におけるスクリーンと所定の移動物体（例えば、人物１０５）との距離を取得することができる。

本実施形態では、距離センサ１０４がスクリーン１０２に埋め込まれている例について説明するがこれに限らない。例えば、人物１０５の背後に距離センサ１０４を設置してもよい。この場合、距離センサ１０４は、距離センサ１０４と人物１０５との距離を計測する。そして、予め保持されている距離センサ１０４とスクリーン１０２との距離から、計測した距離を引くことによって、スクリーン１０２と人物１０５との距離を取得することができる。すなわち、距離センサ１０４とスクリーン１０２との距離と計測した距離との差を、スクリーン１０２と人物１０５との距離とすることができる。距離センサの種類によっては、対象物との距離が所定距離以下となった場合に当該対象物との距離を正確に計測できなくなってしまう場合がある。しかし、人物１０５の背後に設置する構成によれば、人物１０５がスクリーン１０２に近づいた場合でもスクリーン１０２と人物１０５との距離を正確に計測することができる。

人物１１５が居るオフィス２（図１（ｂ））にも、オフィス１と同様の設備（プロジェクタ１１１、スクリーン１１２、ＲＧＢカメラ１１３、距離センサ１１４）が備えられている。

図２（ａ）は、本実施形態にかかる表示制御システムの外観図であり、オフィス１の人物１０５がオフィス２の人物１１５とコミュニケーションを取っている様子を示している。スクリーン１０２には、オフィス２のＲＧＢカメラ１１３によって撮像された人物１１５の撮像画像が投影されている。

オフィス１には、送信器２０１ａと受信器２０１ｂから成るデジタイザが備えられている。デジタイザは、スクリーン１０２に対してなされるユーザの動作を検知するための検知装置である。本実施形態にかかるデジタイザは、送信器２０１ａが投射した赤外光が人物１０５の体の一部、或いは人物１０５が持っている指示棒等によって遮られた場合に、その位置を示す座標を出力する。なお、ここでは送信器２０１ａと受信器２０１ｂをそれぞれスクリーン１０２の左右に配置する例を示したが、スクリーン１０２の上下に配置しても良い。また、ユーザの動作を検知する方法は上述のような遮光式のデジタイザに限らず、スクリーン１０２にタッチパネル機能を備えるようにし、スクリーン１０２が押圧された位置を検知するようにしても良い。

図２（ｂ）は、オフィス２の様子を示している。オフィス２のスクリーン１１２には、オフィス１のＲＧＢカメラ１０３によって撮像された人物１０５が投影されている。また、オフィス２も、オフィス１と同様に送信器２１１ａと受信器２１１ｂから成るデジタイザが備えられている。

次に図３を用いて、表示制御システムのハードウェア構成を説明する。図１及び２には示していないが、オフィス１には制御サーバ３０１が備えられている。制御サーバ３０１に含まれるＣＰＵ３０２は、ＲＯＭ３０４に記憶された制御プログラムを読み出して、オフィス１内に備えられた各装置を制御する。ＲＡＭ３０３は、ＣＰＵ３０２の主メモリ、ワークエリア等の一時記憶領域として用いられる。なお、オフィス１では、１つのＣＰＵ３０２が１つのメモリ（ＲＡＭ３０３）を用いて後述するフローチャートに示す各処理を実行するものとするが、他の態様であっても構わない。例えば、各カメラやプロジェクタ、デジタイザのそれぞれに対して個別にＣＰＵを備えるようにするなど、複数のＣＰＵや複数のＲＡＭ、或いはＨＤＤやＳＳＤを協働させて各処理を実行するようにすることもできる。また、後述する処理の一部をＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェア回路を用いて実行するようにしてもよい。ＨＤＤ３０５は、各種データを記憶する記憶媒体として使用される。

画像処理部３１３は、ＣＰＵ３０２の制御に従って画像処理を行う。画像処理部３１３は、ＲＧＢカメラ１０３が撮像した撮像画像から人物に対応する部分の人物画像を切り出す切り出し処理を行う。人物画像の切り出し方法は特に限定しない。画像処理部３１３が切り出した人物画像は、ネットワーク３００を介してオフィス２に送信される。また画像処理部３１３は、オフィス２のＲＧＢカメラ１１３が撮像し、ネットワーク３００を介してネットワークＩ／Ｆ３１０が受信した撮像画像から、人物に対応する部分の人物画像を切り出すこととしてもよい。切り出した人物画像は資料画像と合成されプロジェクタＩ／Ｆ３０８を介してプロジェクタ１０１に出力される。

また画像処理部３１３は、プロジェクタ１０１に出力する画像を生成する。また画像処理部３１３は、画像処理部３１３は、オフィス２から受信した人物画像と資料画像とを合成した画像をプロジェクタＩ／Ｆ３０８に出力する。プロジェクタＩ／Ｆ３０８は、ＣＰＵ３０２の制御に従った指示をプロジェクタ１０１に送り、画像処理部３１３が画像処理を行った画像をスクリーン１０２に投影させる。

画像処理部３１３は、人物画像と資料画像を合成する際に、ＣＰＵ３０２によって決定された透過度に応じて人物画像を透過させる処理を行う。透過度とは、人物画像の表示レイヤよりも下の表示レイヤに表示される画像を、人物画像を透過させて表示させる程度である。本実施形態では透過度が高いほど透明に近づき、人物画像よりも下の表示レイヤに表示される画像が視認できる度合いが高くなるものとする。このように画像処理部３１３は、被写体の画像を透過させて所定の画像をスクリーンに表示させるための画像処理を、ＣＰＵ３０２が決定した程度に基づいて行う。

ネットワーク３００は、各オフィスを繋ぐネットワークである。ネットワーク３００の種類は、有線、無線、ＷＡＮ、ＬＡＮ、公衆回線、専用回線など、環境に合わせて適宜選択すればよい。ネットワークＩ／Ｆ３１０は、オフィス１をネットワーク３００に接続するためのインターフェースである。ネットワークＩ／Ｆ３１０は、ＲＧＢカメラ１０３が撮像した撮像画像や、マイク３１１が取得した音声情報を、ネットワーク３００を介してオフィス２に送信する。また、ネットワークＩ／Ｆ３１０は、オフィス２のＲＧＢカメラ１１３が撮像した撮像画像や、マイク３３１が取得した音声情報を、ネットワーク３００を介してオフィス２から受信する。

図１及び２には示していないが、各オフィスにはマイクとスピーカーが設置されている。オフィス内の人物が発する言葉はマイクによって音声信号に変換され、遠隔地のスピーカーから出力される。オフィス１には、マイク３１１とスピーカー３１２が備えられており、音声Ｉ／Ｆ３０７は、マイク３１１による音声の入力及びスピーカー３１２による音声の出力を制御するためのインターフェースである。

プロジェクタＩ／Ｆ３０８は、プロジェクタ１０１による画像の投影を制御するためのインターフェースである。本実施形態では、１つのプロジェクタを用いてスクリーンへの画像の投影を行っているが、スクリーンの幅が大きい場合等、複数のプロジェクタを用いてスクリーンへの投影を行ってもよい。ＣＰＵ３０２は、プロジェクタＩ／Ｆ３０８を介してプロジェクタ１０１を制御して、スクリーン１０２に資料画像及びオフィス２から受信した被写体の画像を投影させる制御を行う。

デジタイザＩ／Ｆ３０９は、送信器２０１ａと受信器２０１ｂから成るデジタイザによるユーザの動作の検知を制御するためのインターフェースである。カメラＩ／Ｆ３０６は、ＲＧＢカメラ１０３、距離センサ１０４を制御するためのインターフェースである。

また、オフィス２には、オフィス１と同様に制御サーバ３２１が備えられている。制御サーバ３２１が備える各構成はオフィス１の制御サーバ３０１と同様であるため、詳細な説明は省略する。

また、図３で説明した各インターフェースには、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）が適宜適用できる。また、有線ＬＡＮ、無線ＬＡＮなどが適宜適用できる。

次に図４（ａ）及び（ｂ）を用いて、スクリーンに投影する人物画像を、スクリーンの前に立っている人のスクリーンからの距離に応じて透過処理を変更する構成を説明する。図４（ａ）は、オフィス２の様子を示す図であり、図２（ｂ）と同様である。オフィス２の人物１１５とオフィス１の人物１０５が向かい合って話す場合、図４（ａ）のように、オフィス１のＲＧＢカメラ１０３で人物１０５を撮像し、ＲＧＢカメラ１０３で撮像した画像をオフィス２のスクリーン１１２に投影する。

コミュニケーションの例として会議を想定すると、スクリーンに会議資料を投影して、その会議資料を確認しながら複数のオフィスの人物がコミュニケーションを取ることが考えられる。４０１は会議資料（資料画像）であり、オフィス２の人物１１５が会議資料４０１を指差ししたり、会議資料４０１に書き込みをしたりしながらコミュニケーションを取ることができる。しかし、人物１０５の撮像画像によって会議資料４０１の映像が隠れてしまい、指差ししたり書き込みをしたりしたい箇所が見えなくなってしまう場合がある。そこで本実施形態では、会議資料４０１を指さしたり会議資料４０１に書き込みをしたりするために、人物１１５がスクリーン１１２に近づいた場合、スクリーン１１２に投影している人物１０５の撮像画像を透過処理して表示する。なお、会議資料は、オフィス１のＨＤＤ３０５やオフィス２のＨＤＤ３２５に蓄積されていて、ユーザ操作に応じてプロジェクタによってスクリーンに投影される。また、会議資料の蓄積場所は上述のＨＤＤに限らず、ネットワーク３００上の蓄積サーバであってもよい。

図４（ｂ）は、オフィス２において、スクリーン１１２に透過処理を行った人物１０５の撮像画像を投影した様子を示している。図４（ｂ）ではスクリーン１１２に透過処理を行った人物１０５の撮像画像が投影されている。オフィス２のスクリーン１１２の前に立つ人物１１５は、人物１０５の撮像画像と会議資料４０１が重なって表示されていても、意図した位置を正確に指差ししたり意図した位置に正確に書き込みしたりすることができる。このような構成によれば、人物１０５の撮像画像が会議資料に重なってしまい会議資料が見えないため、人物１０５に移動してもらう必要が無くなる。また、人物１１５が資料における正確な位置の指し示し、書き込みが可能となる。したがって、人物１１５と人物１０５との意思疎通が促進される。

以上図４を用いて、スクリーンの前に立っている人物がスクリーンに近づいた場合に、スクリーンに投影する人物画像の透過処理を変更する構成を説明した。本実施形態の場合、人物画像を表示する側のオフィスに設置された制御サーバで距離の測定を行い、その距離に応じて透過処理を変更し、人物画像を投影する。例えば図４の場合、人物画像の透過処理を行うか否かをオフィス２の制御サーバ３２１が判定することで、オフィス２のスクリーン１１２に投影される人物画像の透過度が変更される。

図５は、オフィス１の制御サーバ３０１が実行する処理を示すフローチャートである。図５のフローチャートに示す各ステップは、ＣＰＵ３０２がＲＯＭ３０４等のメモリに格納された制御プログラムをＲＡＭ３０３に展開して実行することによって処理される。

まずステップＳ５０１において、ＣＰＵ３０２は、ＲＧＢカメラ１０３に画像を撮像させる。ステップＳ５０１の処理によって、ＣＰＵ３０２はＲＧＢ画像を得ることができる。

次にステップＳ５０２において、ＣＰＵ３０２は、ＲＧＢカメラ１０３によって撮像された画像をオフィス２に送信するようにネットワークＩ／Ｆ３１０を制御する。ここで本実施形態では、オフィス２に送信される画像は、ＲＧＢカメラ１０３が撮像した撮像画像のうち人物に対応する部分の画像をＣＰＵ３０２が切り出した切出し画像であるものとする。切り出し処理の方法は特に限定しない。また、オフィス１からはＲＧＢカメラ１０３が撮像した撮像画像の全体をオフィス２に送信し、オフィス２において受信した撮像画像のうち人物に対応する部分の画像をＣＰＵ３２２が切り出して用いることとしてもよい。

次にステップＳ５０３において、ＣＰＵ３０２は、オフィス１とオフィス２との間のコミュニケーションを終了するか否かを判定する。例えば所定の終了操作がユーザになされた場合に、コミュニケーションを終了するとＣＰＵ３０２が判定し、図５のフローチャートで示す処理を終了する。一方、コミュニケーションを終了しないとＣＰＵ３０２が判定すると、処理はステップＳ５０１に戻る。

図６は、オフィス２の制御サーバ３２１が実行する処理を示すフローチャートである。図６のフローチャートに示す各ステップは、ＣＰＵ３２２がＲＯＭ３２４等のメモリに格納された制御プログラムをＲＡＭ３２３に展開して実行することによって処理される。

まずステップＳ６０１において、ＣＰＵ３２２は、オフィス１のＲＧＢカメラ１０３によって撮像されたＲＧＢ画像を、ネットワークＩ／Ｆ３３０を介してオフィス１から受信する。このようにしてネットワークＩ／Ｆ３３０は、第１の地点（例えば、オフィス１）において撮像された被写体の画像（第１の人物の画像）を受信する。

次にステップＳ６０２において、ＣＰＵ３２２は、オフィス２の距離センサ１１４によってスクリーン１１２から人物１１５までの距離を測定する。

次にステップＳ６０３において、ＣＰＵ３２２は、測定した距離がしきい値以下であるかを判定する。しきい値の値は特に限定しない。しきい値は例えば、人物１１５が腕を前に出してスクリーン１１２に触れられる距離、すなわち腕の長さに応じた長さ等とすることができる。

距離がしきい値以下である場合、処理はステップＳ６０４に進む。そしてステップＳ６０４において、ＣＰＵ３２２は、受信したＲＧＢ画像に対して透過処理を行ったうえで、処理後の画像を投影するようプロジェクタ１１１を制御する。このようにして、ＣＰＵ３２２は、スクリーン１１２と人物１１５との距離が所定のしきい値以下である場合に、資料画像を人物１０５の画像（ＲＧＢ画像）を透過してスクリーンに表示させる。

一方、距離がしきい値を超えている場合、処理はステップＳ６０５に進む。そしてステップＳ６０５において、ＣＰＵ３２２は、受信したＲＧＢ画像に対して透過処理を行わずに投影するようプロジェクタ１１１を制御する。このようにして、プロジェクタ１１１がスクリーン１１２に画像を表示させる表示領域のうち、資料画像に人物画像を重畳する重畳領域において、資料画像を表示するか否かを、スクリーン１１２と人物１１５との距離に基づいて決定する。

ステップＳ６０５では、ステップＳ６０４において人物画像を透過させる程度よりも画像を透過させる程度が低くなるようにして、人物画像に対する透過処理を行うこととしてもよい。

ステップＳ６０６において、ＣＰＵ３２２は、オフィス１とオフィス２との間のコミュニケーションを終了するか否かを判定する。ステップＳ６０６の処理は図５のステップＳ５０３と同様であるため、説明は省略する。

以上の説明の通り、本実施形態は、スクリーンに投影する人物画像を、スクリーンの前に立っている人のスクリーンからの距離に応じて透過処理を変更する。本実施形態の場合、人物画像を表示する側のオフィスに設置された制御サーバで距離の測定を行い、その距離に応じて透過処理を変更した人物画像を投影する。このようにして、スクリーンに表示される所定の画像（例えば、資料画像）のうち受信した被写体の画像（例えば、人物画像）が重畳される部分の画像が被写体の画像を透過してスクリーンに表示される程度を、測定した距離に基づいて決定することができる。ＣＰＵ３２２は、決定した程度に基づいて被写体の画像及び所定の画像をスクリーンに表示させる表示制御を行う。

このような構成によれば、第１の画像を第２の画像に重畳してスクリーンに表示させる場合に、第２の画像のうち前記第１の画像と第２の画像の重複部分の画像をユーザが視認できるようにすることができる。またこのような構成によれば、スクリーンとユーザとの位置関係に応じて、第２の画像のうち重複部分の画像を視認できるようにするかを切り替えることができる。

また、例えばスクリーンの前に立っている人物が会議資料を指差し示すためにスクリーンに近づいた場合、会議資料が見えないままであることを防ぐことができる。またこれにより、人物画像の透過処理の切り替え操作をユーザが意識することなく、スムーズに遠隔地の他のユーザとコミュニケーションを取ることができる。

（実施形態２）
実施形態１では、人物画像を受信する側のオフィスに設置された制御サーバで人物画像の透過処理を行う。一方受信側の処理とは無関係に、人物画像を送信する側のオフィスに設置された制御サーバでも人物画像の透過処理を行うことが考えられる。この場合、人物画像を送信する側、受信する側双方で透過処理が行われることになる。その結果、人物画像が必要以上に薄く表示され、見難くなってしまう可能性がある。

そこで本実施形態では、被写体（例えば、人物）の画像の送信側において被写体の画像に対する透過処理が行われているかを、被写体の画像の受信側において判定して、判定結果に基づいて透過処理を行うか否かを決定する。

本実施形態では、送信側において被写体の画像に対する透過処理が行われていないと判定した場合には、実施形態１と同様に受信側のスクリーンと人物との距離が所定のしきい値以下となった場合に被写体の画像の透過処理を行う。一方、送信側において被写体の画像に対する透過処理が行われていないと判定した場合であっても、受信側のスクリーンと人物との距離が所定のしきい値よりも長い場合には、受信側においても被写体の画像に対する透過処理を行わない。

さらに本実施形態では、送信側において被写体の画像に対する透過処理が行われていると判定した場合には、受信側のスクリーンと人物との距離に関わらず、受信した被写体の画像に対する透過処理を行わない。

送信側で実行される透過処理について、例えば画像の送信側であるオフィス１のスクリーン１０２の前に立つ人物１０５までの距離に応じて、制御サーバ３０１があらかじめ人物画像を透過処理して送信する。また画像の受信側であるオフィス２の制御サーバ３２１はオフィス１から送られてきた人物画像が透過処理済みであるかを判定し、以降の透過処理を行うか否かを切り替えて人物画像をスクリーン１１２に投影する場合を説明する。

本実施形態における表示制御システムのハードウェア構成は実施形態１と同様であるため、説明は省略する。

図７は、オフィス１（画像の送信側）の制御サーバ３０１が実行する処理を示すフローチャートである。図７のフローチャートに示す各ステップは、ＣＰＵ３０２がＲＯＭ３０４等のメモリに格納された制御プログラムをＲＡＭ３０３に展開して実行することによって処理される。

まずステップＳ７０１において、ＣＰＵ３０２は、ＲＧＢカメラ１０３に画像を撮像させる。ステップＳ７０１の処理によって、ＣＰＵ３０２はＲＧＢ画像を得ることができる。

次にステップＳ７０２において、ＣＰＵ３０２は、オフィス１の距離センサ１０４によってスクリーン１０２から人物１０５までの距離を測定する。次にステップＳ７０３において、ＣＰＵ３０２は、測定した距離がしきい値以下であるかを判定する。

ステップＳ７０２で測定した距離がしきい値以下である場合（Ｓ７０３でＹｅｓ）、ステップＳ７０４に進む。ステップＳ７０４では、ＣＰＵ３０２は、ＲＧＢカメラ１０３によって撮像された人物画像に対して透過処理を行ってオフィス２に送信するようにネットワークＩ／Ｆ３１０を制御する。このようにして、送信側において人物１０５がスクリーン１０２に近づいて会議資料４０１に対して指し示す動作を行った場合、受信側のスクリーン１１２において人物画像よりも会議資料４０１の表示を優先させることができる。このようにして、人物１０５及び人物１１５は互いに会議資料４０１に注目して会議を行うことができる。

一方ステップＳ７０２で測定した距離がしきい値を超える場合（Ｓ７０３でＮｏ）はステップＳ７０５に進む。ステップＳ７０５においてＣＰＵ３０２は、ＲＧＢカメラ１０３が撮像した人物画像に対して透過処理を行わずオフィス２に送信するようにネットワークＩ／Ｆ３１０を制御する。ステップＳ７０５で人物画像を透過処理しないのは、送信側の人物１０５が会議資料４０１の表示されているスクリーン１０２から離れている場合であり、対面コミュニケーションを優先させるためである。

次にステップＳ７０６において、ＣＰＵ３０２は、オフィス１とオフィス２との間のコミュニケーションを終了するか否かを判定する。例えば所定の終了操作がユーザになされた場合に、コミュニケーションを終了するとＣＰＵ３０２が判定し、図７のフローチャートで示す処理を終了する。一方、コミュニケーションを終了しないとＣＰＵ３０２が判定すると、処理はステップＳ７０１に戻る。

図８は、オフィス２（受信側）の制御サーバ３２１が実行する処理を示すフローチャートである。図８のフローチャートに示す各ステップは、ＣＰＵ３２２がＲＯＭ３２４等のメモリに格納された制御プログラムをＲＡＭ３２３に展開して実行することによって処理される。

まずステップＳ８０１において、ＣＰＵ３２２は、オフィス１のＲＧＢカメラ１０３によって撮像される。さらに距離センサ１０４で測定した距離に応じて透過処理された人物画像もしくは透過処理されていない人物画像を、ネットワークＩ／Ｆ３３０を介してオフィス１から受信する。

次にステップＳ８０２において、ＣＰＵ３２２は、受信した画像が透過処理されているかの判定を行う。すなわち、スクリーン１１２において人物１０５の画像よりも下の表示レイヤに表示される画像が人物１０５の画像を透過するようにするための画像処理が施された画像であるか判定する。

ステップＳ８０２では、例えば、画像データのアルファチャンネル格納部分に全透過を示す値、もしくは非透過を示す値以外の中間的な値が格納されているか、受信した画像が透過処理されているか判定することができる。格納されている場合は透過処理がなされていると判定し、格納されていない場合は透過処理がなされていないと判定することができる。その他にも画像データのヘッダ部分に透過処理の有無を格納するフラグ領域を設け、人物画像を送信する側でセットもしくはリセットし、受信する側でそのフラグの状態を確認するといった方法を用いても良い。

ステップＳ８０２で人物画像が透過処理されていないと判定した場合、ＣＰＵ３２２は、オフィス２の距離センサ１１４によってスクリーン１１２から人物１１５までの距離を測定する。以降、ステップＳ８０４からステップＳ８０６までの処理は、図６のステップＳ６０３からステップＳ６０５までと同様であるため、説明は省略する。

ステップＳ８０２で人物画像が透過処理されていると判定した場合、ＣＰＵ３２２は、受信したＲＧＢ画像に対して透過処理を行わずに投影するようプロジェクタ１１１に依頼する（Ｓ８０７）。

ステップＳ８０８において、ＣＰＵ３２２は、オフィス１とオフィス２との間のコミュニケーションを終了するか否かを判定する。ステップＳ８０８の処理は図５のステップＳ５０３と同様であるため、説明は省略する。

このようにして、受信した画像が、透過処理が施された画像である場合には、人物１０５の画像を透過させて資料画像をスクリーン１１２に表示させるための画像処理を行わないようにすることができる。

上記の実施形態では、送信側で被写体の撮像画像に対する透過処理が行われている場合には、受信側では受信した撮像画像の透過処理を行わない例について説明したがこれに限らない。送信側で透過処理が行われている場合には、送信側で透過処理が行われていない場合よりも資料画像が被写体画像を透過する度合いを低下させて透過処理を行うことしてもよい。

本実施形態によれば、送信側で被写体の撮像画像に対する透過処理が行われている場合には、受信側でのスクリーンと人物との距離に関わらず、受信側では透過処理の実行を制限する。このようにして、被写体の撮像画像に対して透過処理が重ねて実行されてしまい、被写体の撮像画像が必要以上に薄く表示されてしまうことを防ぐことができる。

（その他の実施形態）
資料画像を表示していない場合は、スクリーンからその前に立つ人物までの距離がしきい値以下であっても人物画像の透過処理を行わないようにしてもよい。すなわち、資料画像をスクリーンに表示させない場合には、人物画像を透過させるための画像処理を行わないようにしてもよい。人物画像を透過して表示すべき資料画像が存在しないため、人物画像の透過処理を実施する必要がないためである。

人物画像の受信側で行う透過処理では、受信側におけるスクリーンと人物との距離が短くなることに応じて、人物画像を透過させる程度を次第に高くすることとしてもよい。人物画像を透過させる程度が高くなると、人物画像の表示レイヤよりも下の表示レイヤにある資料画像がより視認しやすくなるものとする。

また他の形態として、人物画像を受信する側で人物画像と資料画像の重なりの有無を判定し、その結果によって透過処理を切り替えて表示してもよい。

重なりの有無に応じて透過処理を切り替える例について、図９を用いて説明する。図９は人物画像を受信する側であるオフィス２の制御サーバ３２１が実行する処理を示すフローチャートである。図９のフローチャートに示す各ステップは、ＣＰＵ３２２がＲＯＭ３２４等のメモリに格納された制御プログラムをＲＡＭ３２３に展開して実行することによって処理される。

ステップＳ９０１においてＣＰＵ３２２は、オフィス１のＲＧＢカメラ１０３によって撮像された撮像画像をネットワークＩ／Ｆ３３０を介してオフィス１から受信する。この撮像画像は、実施形態２において説明したように送信側で透過処理がなされた画像であってもよいし、透過処理がなされていない画像であってもよい。

次にステップＳ９０２で資料画像を表示すべき領域と人物画像を表示すべき領域とが重なりあうかの判定を行う。資料画像の表示領域と人物画像の表示領域とが重なりあうかの判定処理は例えば、資料画像の画素と人物画像の画素とが重複するかを画素ごとに判定してもよい。また例えば、プロジェクタ１１１の投影範囲に対応する座標系における資料画像の投影領域を示す座標の値と、人物画像の投影領域を示す座標の値を比較することによって判定することとしてもよい。

例えばプロジェクタ１１１の投影範囲が矩形である場合、当該投影範囲の左下の頂点を原点とする座標系を設定することができる。例えば、資料画像の投影領域として資料画像を含む矩形の領域を設定する場合には、資料画像を含む矩形の領域の向かい合う２つの頂点の座標の値を特定することにより、投影範囲における資料画像の位置を特定することができる。同様に、人物画像の投影領域として人物画像を含む矩形の領域を設定して、投影範囲における人物画像の位置を特定することができる。または、人物画像の所定の点の座標と人物画像の大きさとに基づいて人物画像の投影領域を特定することとしてもよい。そして投影範囲における資料画像の位置と人物画像の位置を比較することにより、資料画像と人物画像とが重なりあうかを判定することができる。人物画像の少なくとも一部が資料画像に重なる場合には、人物画像と資料画像とが重複すると判定することができる。

資料画像と人物画像とが重複するかの判定処理は上述の方法に限られない。上述の例では、人物画像や資料画像を含む矩形の領域を用いて判定を行う場合について説明したが、資料画像や人物画像のエッジ部分を検出して、投影範囲における資料画像や人物画像の位置を特定することとしてもよい。あるいは、スクリーン１１２に投影された資料画像及び人物画像を不図示の撮像装置で撮像し、撮像した撮像画像に基づいて、資料画像と人物画像の重複を判定してもよい。

ステップＳ９０２で重なり合っていると判定された場合には、以降ステップＳ９０３からステップＳ９０６までの処理は、図６のステップＳ６０２からステップＳ６０５までと同様であるため、説明は省略する。

ステップＳ９０２で重なり合っていないと判定された場合には、ステップＳ９０６において、ＣＰＵ３２２は、受信した撮像画像（人物画像）に対して透過処理を行わずに投影するようプロジェクタ１１１に依頼する。このようにして、資料画像を表示すべき領域と人物画像を表示すべき領域とが重複しない場合には、人物画像を透過させるための画像処理を行わずに人物画像をスクリーンに表示させることができる。ステップＳ９０６では、ステップＳ９０５において人物画像を透過させる程度よりも画像を透過させる程度が低くなるようにして、人物画像に対する透過処理を行うこととしてもよい。ステップＳ８０７の処理は図５のステップＳ５０３と同様であるため、説明は省略する。

以上の処理により、資料画像を表示すべき領域と人物画像を表示すべき領域とが重なりあっていないと判定された場合には、スクリーンからその前に立つ人物までの距離がしきい値以下であっても透過処理を行わないようにすることができる。

また、更なる他の形態として、図９のステップＳ９０２において資料画像と人物画像の重なりの判定だけでなく重なりあう領域を特定し、ステップＳ９０５で人物画像と資料画像が重なり合っている部分だけを透過処理して表示してもよい。

本発明は、上述の各実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ プロジェクタ
１０１ スクリーン
１０３ ＲＧＢカメラ
１０４ 距離センサ
３０１ 制御サーバ
３０２ ＣＰＵ
３１０ ネットワークＩ／Ｆ

Claims (15)

1. 第１の地点において撮像された被写体の画像を受信する受信手段と、
   第２の地点における表示手段と所定の移動物体との距離を取得する取得手段と、
   前記表示手段に表示される所定の画像のうち前記受信手段が受信した前記被写体の画像が重畳される部分の画像が前記被写体の画像を透過して前記表示手段に表示される程度を、前記取得手段が取得した前記距離に基づいて決定する決定手段と、
   前記決定手段が決定した前記程度に基づいて前記被写体の画像及び前記所定の画像を前記表示手段に表示させる表示制御手段と
   を有することを特徴とする表示制御装置。
2. 前記決定手段は、前記表示手段の表示領域のうち前記所定の画像に前記被写体の画像を重畳する重畳領域において前記所定の画像を表示するか否かを、前記表示手段と前記所定の移動物体との距離に基づいて決定することを特徴とする請求項１に記載の表示制御装置。
3. 前記表示制御手段は、前記表示手段と前記所定の移動物体との距離が所定のしきい値以下である場合に、前記所定の画像を前記被写体の画像を透過して前記表示手段に表示させることを特徴とする請求項１に記載の表示制御装置。
4. 前記被写体の画像を透過させて前記所定の画像を前記表示手段に表示させるための画像処理を、前記決定手段が決定した前記程度に基づいて行う画像処理手段と、
   前記受信手段が受信した前記被写体の画像は、前記表示手段において該被写体の画像よりも下の表示レイヤに表示される画像を透過させるための画像処理が施された画像であるか判定する判定手段を有し、
   前記表示制御手段は、前記画像処理手段が前記画像処理を行った画像を前記表示手段に表示させ、
   前記受信手段が受信した画像が、被写体の画像よりも下の表示レイヤに表示される画像を透過させるための画像処理が施された画像である場合には、前記画像処理手段は、前記被写体の画像を透過させて前記所定の画像を前記表示手段に表示させるための画像処理を行わないことを特徴とする請求項１に記載の表示制御装置。
5. 前記被写体の画像を透過させて前記所定の画像を前記表示手段に表示させるための画像処理を、前記決定手段が決定した前記程度に基づいて行う画像処理手段を有し、
   前記表示制御手段が前記所定の画像を前記表示手段に表示させない場合には、前記画像処理手段は、前記被写体の画像を透過させるための画像処理を行わないことを特徴とする請求項１に記載の表示制御装置。
6. 前記所定の画像を表示すべき領域と前記被写体の画像を表示すべき領域の少なくとも一部とが重複するかを判定する判定手段を有し、
   前記表示制御手段は、前記所定の画像を表示すべき領域と前記被写体の画像を表示すべき領域とが重複しない場合には、前記被写体の画像を透過させるための画像処理を行わずに前記被写体の画像を前記表示手段に表示させることを特徴とする請求項１に記載の表示制御装置。
7. 前記表示制御手段は、前記被写体の画像に透過処理を行うことにより、前記被写体の画像が重畳される部分の画像が前記被写体の画像を透過して前記表示手段に表示されるようにすることを特徴とする請求項１に記載の表示制御装置。
8. 前記表示手段はスクリーンであり、
   前記表示制御手段はプロジェクタを制御して前記スクリーンに前記所定の画像及び前記被写体の画像を投影させる制御を行うことを特徴とする請求項１に記載の表示制御装置。
9. 第１の地点において撮像された被写体の画像を送信する送信手段と、
   第２の地点における表示手段と所定の移動物体との距離を取得する取得手段と、
   前記送信手段が送信した前記被写体の画像を受信する受信手段と、
   前記第２の地点における前記表示手段に表示される所定の画像のうち前記受信手段が受信した前記被写体の画像が重畳される部分の画像が前記被写体の画像を透過して前記表示手段に表示される程度を、前記取得手段が取得した前記距離に基づいて決定する決定手段と、
   前記決定手段が決定した前記程度に基づいて前記被写体の画像及び前記所定の画像を前記表示手段に表示させる表示制御手段と
   を有することを特徴とする表示制御システム。
10. 第１の地点において撮像された被写体の画像を受信する受信ステップと、
    第２の地点における表示手段と所定の移動物体との距離を取得する取得ステップと、
    前記表示手段に表示される所定の画像のうち前記受信ステップにおいて受信した前記被写体の画像が重畳される部分の画像が前記被写体の画像を透過して前記表示手段に表示される程度を、前記取得ステップにおいて取得した前記距離に基づいて決定する決定ステップと、
    前記決定ステップにおいて決定した前記程度に基づいて前記被写体の画像及び前記所定の画像を前記表示手段に表示させる表示制御ステップと
    を有することを特徴とする表示制御方法。
11. 前記決定ステップにおいて、前記表示手段の表示領域のうち前記所定の画像に前記被写体の画像を重畳する重畳領域において前記所定の画像を表示するか否かを、前記表示手段と前記所定の移動物体との距離に基づいて決定することを特徴とする請求項１０に記載の表示制御方法。
12. 前記表示制御ステップにおいて、前記表示手段と前記所定の移動物体との距離が所定のしきい値以下である場合に、前記所定の画像を前記被写体の画像を透過して前記表示手段に表示させることを特徴とする請求項１０に記載の表示制御方法。
13. 前記被写体の画像を透過させて前記所定の画像を前記表示手段に表示させるための画像処理を、前記決定ステップにおいて決定した前記程度に基づいて行う画像処理ステップを有し、
    前記表示制御ステップにおいて前記所定の画像を前記表示手段に表示させない場合には、前記画像処理ステップにおいて、前記被写体の画像を透過させるための画像処理を行わないことを特徴とする請求項１０に記載の表示制御方法。
14. 前記所定の画像を表示すべき領域と前記被写体の画像を表示すべき領域の少なくとも一部とが重複するかを判定する判定ステップを有し、
    前記表示制御ステップにおいて、前記所定の画像を表示すべき領域と前記被写体の画像を表示すべき領域とが重複しない場合には、前記被写体の画像を透過させるための画像処理を行わずに前記被写体の画像を前記表示手段に表示させることを特徴とする請求項１０に記載の表示制御方法。
15. コンピュータに、
    第１の地点において撮像された被写体の画像を受信する受信手順と、
    第２の地点における表示手段と所定の移動物体との距離を取得する取得手順と、
    前記表示手段に表示される所定の画像のうち前記受信手順において受信した前記被写体の画像が重畳される部分の画像が前記被写体の画像を透過して前記表示手段に表示される程度を、前記取得手順において取得した前記距離に基づいて決定する決定手順と、
    前記決定手順において決定した前記程度に基づいて前記被写体の画像及び前記所定の画像を前記表示手段に表示させる表示制御手順と
    を実行させるためのプログラム。

Images