JP2016213674A - 表示制御システム、表示制御装置、表示制御方法、及びプログラム - Google Patents

Abstract

【課題】ユーザにとってより利便性の高い表示制御システム、表示制御装置、表示制御方法及びプログラムを提供する。
【解決手段】第１の拠点には、第１の撮像部１１５と第２の撮像部１１４が設置される。第２の拠点に設置されたスクリーン１０３には、第１の撮像部が撮像した撮像画像と第２の撮像部が撮像した撮像画像とが切り替えて表示される。第１の撮像部が撮像した撮像画像に基づいて生成される第１の画像をスクリーン１０３に表示させる場合には第１の画像における所定の被写体の位置に関わらず第１の画像をスクリーン１１３に表示させる。第２の撮像部が撮像した撮像画像に基づいて生成される第２の画像をスクリーン１１３に表示させる場合には第２の画像に含まれる所定の被写体の画像がスクリーン１０３における所定の位置に表示されるように制御する。
【選択図】図１２

Description

本発明は、表示制御システム、表示制御装置、表示制御方法、及びプログラムに関する。

従来、離れた場所（遠隔地）にいる相手とコミュニケーションを取るためのシステムが知られている。たとえば特許文献１には、離れた場所にいる相手と会議を行うための遠隔会議システムが開示されている。特許文献１に開示されたシステムには、人物を撮像するためのカメラと、画像を投影するためのプロジェクタと、プロジェクタによって投影された画像を映し出すスクリーンが含まれる。

特許文献１に開示されたシステムでは、ある会議室に備えられたカメラで撮像した人物画像が相手側（遠隔地）のプロジェクタによってスクリーンに投影される一方で、相手側のカメラで撮像された人物が会議室のプロジェクタによってスクリーンに投影される。また、特許文献１には、人物を等身大のサイズで映し出すことによって会議の臨場感を高めることが示されている。

また特許文献２には、対話者同士の視線を合わせるための通信システムが開示されている。特許文献２に開示されたシステムでは、ユーザを撮影するためのカメラの設置位置と相手画像の表示位置との相対位置が所定の位置関係になるように、相手画像の表示位置をスクリーン上で移動させることにより、対話者同士の視線を一致させる。

特開２００８−１９１６１３号公報 特開平１１−７５１７４号公報

特許文献２に記載のシステムは、例えばカウンセリング等、対話者同士が常に相手の顔を見ながら対話する状態の再現を目的としている。特許文献２に記載のシステムは、対話者の互いの視線を一致させるため、相手の画像が常にスクリーンの中央（カメラ設置位置）に表示されるように制御する。

しかし、例えば会議等においては、人物の画像よりも会議資料の画像をスクリーンの中央に表示させた方が会議を円滑に進めることができる場合がある。このような場合には、対話者同士の視線の一致よりも、ユーザの任意のレイアウトで会議資料の画像を表示することを優先した方がユーザにとって利便性が高い。

従来のシステムでは、ユーザが相手の画像に注目しているか否かに関わらず、相手画像の表示位置の補正を行うため、ユーザの利便性を低減させる場合があった。

そこで本発明は、ユーザにとって利便性のより高い表示制御システムを提供することを目的とする。

上記の目的を達成するために本発明の表示制御システムは、以下の構成を備える。すなわち、第１の拠点に設置され、第１の地点から第１のスクリーンに向かって被写体を撮影する第１の撮像手段と、前記第１の拠点に設置され、前記被写体に対して前記第１のスクリーンの方向にある第２の地点から前記被写体の少なくとも一部を撮影する第２の撮像手段と、前記第１の撮像手段が撮影した画像に基づいて生成される第１の画像と前記第２の撮像手段が撮影した画像に基づいて生成される第２の画像とを、第２の拠点に設置された第２のスクリーンに切り替えて表示させる表示制御手段とを有し、前記表示制御手段は、前記第２のスクリーンに前記第１の画像を表示させる場合には、前記第１の画像における前記被写体の画像の位置に関わらず、前記第１の画像を前記第２のスクリーンに表示させる制御をし、前記第２の画像を前記スクリーンに表示させる場合には前記第２の画像に含まれる前記被写体の画像が前記第２のスクリーンにおける所定の位置に表示されるように制御する。

本発明によれば、相手と視線を合わせるための処理を行うか否かを、スクリーンに表示される画像に応じて切り替えることができる。このようにして、本発明によれば、ユーザにとってより利便性の高い表示制御システムを提供することができる。

本発明の実施形態におけるシステムの断面図 本発明の実施形態におけるシステムの外観図 本発明の実施形態におけるシステムのハードウェア構成図 本発明の実施形態における前面カメラの撮像範囲の説明図 本発明の実施形態における前面カメラの撮像範囲とトリミング処理の説明図 本発明の実施形態における前面カメラの撮像範囲とトリミング処理の説明図 本発明の実施形態における人物の撮像に関する動作のフローチャート 本発明の実施形態における人物の撮像処理に関するフローチャート 本発明の実施形態における画像の投影処理に関するフローチャート 本発明の実施形態における前面画像の表示処理に関するフローチャート 本発明の実施形態における人物画像の表示位置の特定処理の説明図 本発明の実施形態における表示処理の切り替え処理の説明図

以下、図面を参照して本発明の実施の形態を詳しく説明する。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

図１は、本発明が適用される遠隔コミュニケーションシステム（表示制御システム）の断面図である。この遠隔コミュニケーションシステムにより、本社内に設けられたオフィス１（第１の拠点）と支社Ａに設けられたオフィス２（第２の拠点）の間、或いはオフィス１と支社Ｂに設けられたオフィス３の間でコミュニケーションを取ることが可能となっている。なお、ここでは３箇所のオフィスを例にしているが、オフィス１とオフィス２の２箇所のみであっても良い。また、複数のオフィスの全体を遠隔コミュニケーションシステムと称しても良いし、１つのオフィスに含まれる構成のみを遠隔コミュニケーションシステムと称しても良い。

また、ここで説明する各オフィスは、移動に数時間を要するほど離れたものであっても良いし、同一のビルに設けられた別の会議室であっても良い。即ち、「遠隔」という表現は、物理的な空間が別であることを示すものであり、物理的な距離や移動にかかる時間の長さを定義するものではない。

図１（ａ）に示すオフィス１には、プロジェクタ１０１、背景カメラ１０２、スクリーン１０３、前面カメラ１０４、背面カメラ１０５が備えられている。プロジェクタ１０１は、他のオフィスで撮像された画像をスクリーン１０３に投影する投影装置である。本実施例では、プロジェクタ１０１は複数の静止画（フレーム画像）によって構成される動画像をスクリーン１０３に投影する場合について説明する。スクリーン１０３は、プロジェクタ１０１によって投影される画像を映し出す投影面である。なお、スクリーン１０３は、他のオフィスとのコミュニケーションを取るときに一時的に設置するものであっても良いし、オフィスの壁がスクリーン１０３の役割を兼ねても良い。また、本実施形態では画像を表示する手段としてプロジェクタとスクリーンを使用する例を示すが、大型の液晶ディスプレイを用いて画像を表示するようにしても良い。

前面カメラ１０４は、人物１０６を撮像するための撮像装置である。前面カメラ１０４は、被写体に対してスクリーンがある方向にある第２の地点から、被写体の少なくとも一部を撮影する。ここでは人物１０６の全身を撮像するために３つ（ａ、ｂ、ｃ）の前面カメラ１０４を用いる例を示すが、前面カメラの数は２つまたは４つ以上であっても良い。前面カメラ１０４による人物１０６の撮像に関する処理の詳細については後述する。

背景カメラ１０２は、人物１０６の背景（即ち、図１（ａ）の右方向）を撮像するための撮像装置である。オフィス１は、遠隔コミュニケーションを行うための専用の部屋ではなく、日常の業務を行う一般的な事務室であるものとする。背景カメラ１０２によって撮像される背景には、社員の座席やキャビネット、他の業務を行っている人物などが含まれる。このような背景を、前面カメラ１０４で撮像した人物とともに投影することによって、あたかもオフィスの片隅で立ち話をしているような雰囲気を作り出すことができる。なお、背景カメラ１０２は、被写体である背景が人物１０６によって遮られないようにするために、鉛直方向の上方（天井付近）に配置されることが望ましい。

背面カメラ１０５は、人物１０６或いはスクリーン１０３（第２のスクリーン）に映し出された画像を、図１（ａ）の右から左に向かって撮像するための撮像装置である。背面カメラ１０５は、第１の地点から第１のスクリーン１０３に向かって被写体（例えば、人物）を撮影する。

なお、前面カメラ１０４と人物１０６の間の距離に比べて、背面カメラ１０５と人物１０６の間の距離は長いため、１つの背面カメラ１０５で人物１０６の全身を撮像することが可能となっている。

前面カメラ１０４には、被写体までの距離を検知するための距離センサが含まれる。前面カメラ１０４によって得られる画像には、ＲＧＢで８ビット３チャネルの情報からなるカラー画像と、８ビット１チャネルの情報からなる距離画像が含まれる。一方、背景カメラ１０２及び背面カメラ１０５には距離センサは含まれない。従って、背景カメラ１０２及び背面カメラ１０５によって得られる画像には、ＲＧＢで８ビット３チャネルの情報からなるカラー画像は含まれるが、距離画像は含まれない。

人物１１６が居るオフィス２（図１（ｂ））にも、オフィス１と同様の設備（プロジェクタ１１１、背景カメラ１１２、スクリーン１１３（第１のスクリーン）、前面カメラ１１４（第２の撮像手段）、背面カメラ１１５（第１の撮像手段））が備えられている。また、人物１２６が居るオフィス３（図１（ｃ））にも、オフィス１または２と同様の設備（プロジェクタ１２１、背景カメラ１２２、スクリーン１２３、前面カメラ１２４、背面カメラ１２５）が備えられている。但し、スクリーン１０３及び１１３は、縦２．３メートル、横４メートルのサイズであるのに対し、スクリーン１２３は、縦１メートル、横２メートルの比較的小さいサイズとなっている。互いの全身が投影された状態でコミュニケーションを取りたい場合は大きなスクリーンが備えられたオフィス１及びオフィス２を使用する必要があるが、スペースに限りがある場合にはオフィス３のように小さなサイズのスクリーンを使用しても良い。但し、スクリーン１２３には遠隔地の人物の全身を映し出すことはできず、例えば人物の上半身のみの投影となる。

図２は、遠隔コミュニケーションシステムの外観図であり、オフィス１の人物１０６がオフィス２の人物１１６とコミュニケーションを取っている様子を、図１（ａ）の右から左に向かって見た様子を示している。上述したようにスクリーン１０３は横に長いため、プロジェクタ１０１は２つ（ａ、ｂ）備えられているが、１つのプロジェクタで投影するようにしても良い。背景カメラ１０２は、スクリーン１０３の中央上部に備えられている。前面カメラ１０４ａ、ｂ、ｃは、スクリーン１０３に埋め込まれており、スクリーン１０３の中央部において鉛直方向に一列に並べて配置されている。

デジタイザ２０１は、スクリーン１０３に対してなされるユーザの動作を検知するための検知装置である。デジタイザ２０１は、送信器２０１ａと受信器２０１ｂを含み、送信器２０１ａが投射した赤外光が人物１０６の体の一部、或いは人物１０６が持っている指示棒等によって遮られた場合に、その位置を示す座標を出力する。なお、ここでは送信器２０１ａと受信器２０１ｂをそれぞれスクリーン１０３の左右に配置する例を示したが、スクリーン１０３の上下に配置しても良い。また、ユーザの動作を検知する方法はデジタイザに限らず、スクリーン１０３にタッチパネル機能を備えるようにし、スクリーン１０３が押圧された位置を検知するようにしても良い。

スクリーン１０３には、オフィス２の前面カメラ１１４（第２の撮像手段）によって得られた人物１１６の人物画像が投影されている。また、図２では、人物１１６の背景として、後述する文書管理サーバ３４０に格納されている文書（例えば、会議資料）が映し出されている。文書管理サーバ３４０に格納されている文書等の画像は、ネットワークＩ／Ｆ３１１によって制御装置３１０に入力される。人物１１６の背景として、文書管理サーバ３４０に格納されている文書を投影するか、背景カメラ１１２によって得られたオフィス２の背景画像を投影するかは、デジタイザ２０１が検知する人物１１６の動作に応じて切り替え可能である。

図３は、遠隔コミュニケーションシステムのハードウェア構成図である。制御装置３１０に含まれるＣＰＵ３１６は、ＲＯＭ３１８に記憶された制御プログラムを読み出して、オフィス１内に備えられた各装置を制御する。ＲＡＭ３１７は、ＣＰＵ３１６の主メモリ、ワークエリア等の一時記憶領域として用いられる。なお、オフィス１では、１つのＣＰＵ３１６が１つのメモリ（ＲＡＭ３１７）を用いて後述するフローチャートに示す各処理を実行するものとするが、他の態様であっても構わない。例えば、各カメラやプロジェクタ、デジタイザのそれぞれに対して個別に制御装置３１０を備えるようにするなど、複数のＣＰＵや複数のＲＡＭ、或いはＨＤＤやＳＳＤを協働させて各処理を実行するようにすることもできる。また、後述する処理の一部をＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｓｕｉｔ）等のハードウェア回路を用いて実行するようにしても良い。

ネットワーク３００は、各オフィスを繋ぐネットワークである。ネットワーク３００の種類は、有線、無線、ＷＡＮ、ＬＡＮ、公衆回線、専用回線など、環境に合わせて適宜選択すれば良い。ネットワークＩ／Ｆ３１１は、オフィス１をネットワーク３００に接続するためのインターフェースである。

図１及び２には示していないが、各オフィスにはマイクとスピーカーが設置されている。オフィス内の人物が発する言葉はマイクによって音声信号に変換され、遠隔地のスピーカーから出力される。オフィス１には、マイク３１９とスピーカー３２０が備えられており、音声Ｉ／Ｆ３１２は、マイク３１９による音声の入力及びスピーカー３２０による音声の出力を制御するためのインターフェースである。

プロジェクタＩ／Ｆ３１３は、プロジェクタ１０１による画像の投影を制御するためのインターフェースである。デジタイザＩ／Ｆ３１４は、デジタイザ２０１によるユーザの動作の検知を制御するためのインターフェースである。カメラＩ／Ｆ３１５は、前面カメラ１０４、背面カメラ１０５、背景カメラ１０２による撮像を制御するためのインターフェースである。

プロジェクタＩ／Ｆ３１３は、プロジェクタ１０１を制御して、カメラ１１５が撮影した画像に基づいて生成される第１の画像をスクリーン１０３に表示させる。第１の画像の詳細は図１２（ｂ）を用いて後述する。

またプロジェクタＩ／Ｆ３１３は、プロジェクタ１０１を制御して、カメラ１１４が撮影した画像に基づいて生成される第２の画像をスクリーン１０３に表示させる。第２の画像の詳細は、図６及び図１２（ａ）を用いて後述する。

プロジェクタＩ／Ｆ３１３は、プロジェクタ１０１を制御して、第１の画像と第２の画像とを切り替えてスクリーン１０３に表示させる。

さらにプロジェクタＩ／Ｆ３１３は、スクリーン１０３に第１の画像を表示させる場合には、第１の画像における被写体の画像の位置に関わらず、第１の画像をスクリーン１０３に表示させる制御を行う。またプロジェクタＩ／Ｆ３１３は、第２の画像をスクリーン１０３に表示させる場合には、第２の画像に含まれる被写体の画像が第２のスクリーンにおける所定の位置に表示されるように制御する。

なお、ここでは図示しないが、オフィス２及び３には、オフィス１と同様の構成が備えられている。また、上述した各インターフェースには、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、有線ＬＡＮ、無線ＬＡＮなどが適宜採用される。

中継サーバ３５０は、各オフィスで撮像された画像や入力された音声が他のオフィスに送信される場合に、その画像を中継する役割を担う。文書管理サーバ３４０は、各オフィスのプロジェクタによってスクリーンに投影される文書（例えば、会議資料）を記憶する。図２に示すように、人物とともに文書を投影させることが指示されると、ＣＰＵ３１６は文書管理サーバ３４０から文書を取得し、プロジェクタ１０１に投影させる。なお、文書の投影は、遠隔コミュニケーションを行っているオフィスのどちらからでも指示することができる。

オブジェクト管理サーバ３３０は、遠隔コミュニケーションシステムの操作部としてスクリーン１０３を使用する場合にプロジェクタ１０１によってスクリーン１０３に投影させるオブジェクトを記憶する。オブジェクトの例としては、例えば接続先のオフィスを選択するための操作ボタンが挙げられる。オフィス１において遠隔コミュニケーションシステムが起動されると、ＣＰＵ３１６は、オブジェクト管理サーバ３３０から各オフィスに対応する選択ボタンを取得し、スクリーン１０３に投影させる。人物１０６がスクリーン１０３にタッチすると、タッチされた座標をデジタイザ２０１が検知し、検知された座標に対応する選択ボタンをＣＰＵ３１６が特定する。そして、ＣＰＵ３１６は、特定した選択ボタンに対応するオフィスとの間で遠隔コミュニケーションを開始する。

図４は、前面カメラ１０４撮像範囲を説明する図である。前面カメラ１０４ａ、１０４ｂ、１０４ｃは、それぞれ床面から高さａ（１８００ｍｍ）、高さｂ（１３００ｍｍ）、高さｃ（５００ｍｍ）の位置に設置されている。即ち、前面カメラ１０４ａと前面カメラ１０４ｂの配置間隔（５００ｍｍ）は、前面カメラ１０４ｂと前面カメラ１０４ｃの配置間隔（８００ｍｍ）よりも小さくなっている。また、前面カメラ１０４ｂと前面カメラ１０４ｃの配置間隔（８００ｍｍ）は、前面カメラ１０４ｃから床面までの距離よりも大きくなっている。このように配置しているのは、後述する人物画像の合成（図５、図６）を行うときに、画像間の境界が人物の目立たない位置（胸のあたりと腰のあたり）になるようにするためである。

前面カメラ１０４ａ、ｂ、ｃは、それぞれ鉛直方向の画角がθ（シータ）ａ、θｂ、θｃとなっている。前面カメラ１０４から人物１０６までの距離ｄは、前面カメラ１０４によって得られる距離画像に基づいて算出される。高さｈ１は、前面カメラ１０４ｂと前面カメラ１０４ｃの中間に位置する高さであり、前面カメラ１０４ｂと前面カメラ１０４ｃの高さの差を２で割ることによって得られる長さｆに、前面カメラ１０４ｃの高さｃを加えることによって算出される。同様に、高さｈ２は、前面カメラ１０４ａと前面カメラ１０４ｂの中間に位置する高さであり、前面カメラ１０４ａと前面カメラ１０４ｂの高さの差を２で割ることによって得られる長さに、前面カメラ１０４ｂの高さｂを加えることによって算出される。

長さｅは、前面カメラ１０４ｃによって撮像される人物１０６の最も上部の高さと前面カメラｃの高さｃの差に相当する長さである。長さｅは、θｃを２で割ることによって得られる角度と、前面カメラ１０４から人物１０６までの距離ｄに基づいて得られる。

本実施形態では、カメラ１０４ａ、ｂ、ｃは人物１０６の像の水平方向の幅が所定のサイズになるように撮像するものとする。あるいはカメラ１０４ａ、ｂ、ｃ撮像する人物１０６の像の水平方向の幅が異なることとしてもよい。この場合、後述の合成処理において、各カメラが撮像した画像における人物１０６の水平方向の幅を一致させた後に、変換後の画像を合成することにより、人物１０６の全身画像を生成することができる。

次に、図５及び図６を用いて、前面カメラ１０４によって撮像された画像の合成について説明する。図５の長さ５０１、５０２、５０３は、前面カメラ１０４ａ、ｂ、ｃによって撮像される人物１０６の範囲を示す。図示するように、前面カメラ１０４ａによって撮像される範囲５０１と前面カメラ１０４ｂによって撮像される範囲５０２は一部が重複している。また、前面カメラ１０４ｂによって撮像される範囲５０２と前面カメラ１０４ｃによって撮像される範囲５０３は一部が重複している。

本実施形態においては、各前面カメラ１０４によって得られた画像を合成するにあたって重複部分を削除する処理を行うが、その際に高さｈ１及び高さｈ２が画像の境界となるように処理する。この結果、５０４の範囲は前面カメラ１０４ａによって得られた画像を使用し、５０５の範囲は前面カメラ１０４ｂによって得られた画像を使用し、５０６の範囲は前面カメラ１０４ｃによって得られた画像を使用することになる。

図６（ａ）（ｂ）（ｃ）は、前面カメラ１０４ａ、ｂ、ｃによって得られる画像を示す。図６（ａ）（ｂ）（ｃ）は、被写体に対してスクリーン１０３が存在する方向に位置する複数のカメラ１０４が撮像した複数の撮像画像である。図５を参照すると、図６（ａ）の画像は５０１の範囲に対応しているが、遠隔地での投影に使用されるのは５０４で示す範囲であるため、範囲５０１と範囲５０４の差分に相当する範囲が除去されて、図６（ｄ）に示す画像となる。同様に、図６（ｂ）の画像は５０２の範囲に対応しているが、遠隔地での投影に使用されるのは５０５で示す範囲であるため、範囲５０２と範囲５０５の差分に相当する範囲が除去されて、図６（ｅ）に示す画像となる。同様に、図６（ｃ）の画像は５０３の範囲に対応しているが、遠隔地での投影に使用されるのは５０６で示す範囲であるため、範囲５０３と範囲５０６の差分に相当する範囲が除去されて、図６（ｆ）に示す画像となる。このような処理を経て得られる図６（ｄ）（ｅ）（ｆ）の画像を合成する（結合する）と、人物１０６の全身画像が得られる。このようにして、カメラ１０４が撮像した複数の撮像画像から抽出した画像を合成して、人物部分の画像（第２の画像）を生成する。

ここで、図６（ｃ）の画像から図６（ｆ）の画像を生成する処理について更に詳しく説明する。図６（ｃ）における画像の中心位置が、前面カメラ１０４ｃが設置されている高さｃに相当する。そして、中心位置よりも上側に含まれる画像は、図４の長さｅの範囲に対応する。この長さｅの範囲の画像のうち、長さｇの範囲に対応する画像を除去し、長さｆの範囲に対応する画像を残すために、前面カメラ１０４ｃの縦の画素数（１０８０画素）の半分のうち、長さｅに占める長さｇの割合に相当する画素数を除去対象として決定する。図６（ａ）及び図６（ｂ）の画像についても、同様の方法で除去対象が決定される。

次に、図７及び８は、前面カメラ１０４による人物１０６の撮像と、前面カメラ１０４によって得られる人物画像の合成の処理を説明するフローチャートである。図７及び８のフローチャートに示す各動作（ステップ）は、オフィス１のＣＰＵ３１６がＲＯＭ３１８に記憶された制御プログラムを実行することにより実現される。

ステップＳ７０１では、変数Ｎの値を１に初期化する。ステップＳ７０２では、ＣＰＵ３１６が、前面カメラ１０４ａ、ｂ、ｃのうち変数Ｎに対応する前面カメラ１０４に人物１０６を撮像させる。ステップＳ７０３では、前面カメラ１０４によって得られた撮像画像から人物画像を生成する。

図８は、ステップＳ７０３の処理を詳細に説明するフローチャートである。ステップＳ８０１では、ステップＳ７０２で得られた撮像画像に含まれる距離画像を二値化する。本実施形態では、人物１０６は、スクリーン１０３（前面カメラ１０４）から１メートル以上且つ２メートル以内の距離に立つことを想定している。そこで、前面カメラ１０４から被写体までの距離の最小値を１メートルと設定し、最大値を２メートルと設定する。そして、距離画像の各画素に対して、値が上記範囲内に含まれる画素の値を２５５に変更し、それ以外の画素の値を０に変更する。

ステップＳ８０２では、注目画素の周辺に１画素でも値が０の画素があれば値を０に変更する収縮処理、または、注目画素の周辺に１画素でも値が２５５の画素があれば値を２５５に変更する膨張処理を実行する。これにより、孤立点ノイズが除去される。ステップＳ８０３では、平滑化フィルタ（例えば、ガウシアンフィルタ）の処理を実行することにより、値が２５５となっている画素が連続している領域の輪郭を平滑化する。

ステップＳ８０４では、マスク処理を実行することにより、値が２５５である距離画像の画素に対応するカラー画像の画素を非透明とし、値が０である距離画像の画素に対応するカラー画像の画素を全透明とする。この処理により、前面カメラ１０４によって得られた撮像画像から人物部分が抽出される。なお、ここでの「人物部分」とは、人物のみならず、人物が手に持っている指示棒や、商品サンプルなども含まれる。このようにして、被写体に対してスクリーン１０３が存在する方向に位置する複数のカメラ１０４が撮像した複数の撮像画像から、被写体の少なくとも一部の画像を抽出する。

ステップＳ８０５では、図５及び図６を用いて既述したように、図６（ａ）（ｂ）（ｃ）の人物画像に対して上端または下端のトリミング処理を行い、図６（ｄ）（ｅ）（ｆ）の人物画像を生成する。図６（ａ）（ｂ）（ｃ）の人物画像に対して行われるトリミング処理は、図（ａ）（ｂ）（ｃ）の人物画像のそれぞれを撮影した撮像装置に応じて異なる。

図７の説明に戻り、ステップＳ７０４では、変数Ｎの値が前面カメラ１０４の数（本実施形態では３）よりも小さいか否かを判定する。変数Ｎの値が前面カメラ１０４の数よりも小さい場合はステップＳ７０５に進み、変数Ｎに１を加えてステップＳ７０１に戻る。変数Ｎの値が前面カメラ１０４の数よりも小さくない場合（変数Ｎの値が前面カメラ１０４の数と等しい場合）はステップＳ７０６に進む。

ステップＳ７０６では、図６（ｄ）（ｅ）（ｆ）の人物画像を合成する。具体的には、図６（ｄ）の画像の下に図６（ｅ）の画像を結合し、更にその下に図６（ｆ）の画像を結合する。また更に、結合後の画像には周囲（頭の上側、右手の左側、左手の右側、足の下側）に余白が残っているため、値が２５５である画素を全て含む矩形でトリミング処理を行う。

ステップＳ７０７では、ステップＳ７０６の処理で得られた画像を接続先のオフィス２に送信する。ステップＳ７０８では、遠隔コミュニケーションの終了が指示されたか否かを判定し、終了が指示されたと判定すると処理を終了する。一方、終了が指示されなかったと判定するとステップＳ７０１に戻り、ステップＳ７０１以降の処理を再び実行する。

なお、ここではステップＳ７０３やステップＳ７０６の処理を撮像側（被写体である人物が居る方のオフィス）で実行する例を示したが、投影側（撮像された画像を投影する方のオフィス）で実行するようにしても良い。また、ステップＳ７０３で説明した人物部分の抽出処理を、ステップ７０６で説明した合成処理の後に実行しても良い。更に、ここでは説明を省略したが、背景カメラ１０２によって得られた画像や背面カメラ１０５によって得られた画像も、ステップＳ７０７における画像の送信と同期させて、または非同期で接続先のオフィス２に送信される。

図９は、接続先のオフィスから送信された画像を投影する処理を説明するフローチャートである。図９のフローチャートに示す各動作（ステップ）は、オフィス１のＣＰＵ３１６がＲＯＭ３１８に記憶された制御プログラムを実行することにより実現される。なお、ここではオフィス２に備えられたＣＰＵ等によって図７及び図８で説明した処理がオフィス２側でも同様に実行され、その結果としてオフィス２から送信されてきた画像をオフィス１側で投影する処理について説明する。

ステップＳ９０１では、前面カメラ１１４によって得られた前面の人物画像を受信する。ステップＳ９０２では、背面カメラ１１５によって得られた背面画像を受信する。ステップＳ９０３では、背景カメラ１１２によって得られた背景画像を受信する。

ステップＳ９０４では、人物の前面を表示させることが指示されているか、人物の背面を表示させることが指示されているかを判定する。これらの指示は、デジタイザ２０１が検知する人物１０６の動作に応じて受け付けられる。人物の前面を表示させることが指示されていると判定すると、ステップＳ９０５に進み、ステップＳ９０１で受信した前面の人物画像とステップＳ９０３で受信した背景画像とをスクリーン１０３に投影させる。一方、人物の背面を表示させることが指示されていると判定すると、ステップＳ９０６に進み、ステップＳ９０２で受信した背面画像をスクリーン１０３に投影させる。

ステップＳ９０５の表示制御処理の詳細については、図１０及び図１１を用いて詳細を後述する。また、ステップＳ９０６の表示制御処理の詳細については、図１２を用いて詳細を後述する。

ステップＳ９０７では、遠隔コミュニケーションの終了が指示されたか否かを判定し、終了が指示されたと判定すると処理を終了する。一方、終了が指示されなかったと判定するとステップＳ９０１に戻り、ステップＳ９０１以降の処理を再び実行する。なお、図７に示したフローチャートと図９に示したフローチャートは、遠隔コミュニケーションが行われている間、継続的に並行して実行される。

以上説明した通り、本実施形態の遠隔コミュニケーションシステムは、遠隔地であるオフィス２から送信された画像をスクリーン１０３に投影するプロジェクタ１０１を備える。また、スクリーン１０３には、複数の前面カメラ１０４が配置される。ＣＰＵ３１６は、複数の前面カメラ１０４によって得られた各画像から人物部分を抽出する抽出処理（Ｓ７０３）と、複数の前面カメラ１０４によって得られた複数の画像を合成する合成処理（Ｓ７０６）を実行する。更に、抽出処理及び合成処理がなされた画像を、オフィス２に備えられたスクリーン１１３に投影するプロジェクタ１１１を備える。

このような構成を備えることにより、近い距離で向かい合っているような感覚で遠隔地とコミュニケーションを取ることを可能としている。

次にステップＳ９０５における、前面画像の表示制御処理の詳細について図１０及び１１を用いて説明する。図１０のフローチャートに示す各動作（ステップ）は、オフィス１のＣＰＵ３１６がＲＯＭ３１８に記憶された制御プログラムを実行することにより実現される。図１０に示したフローは、所定時間ごとに繰り返し実行される。あるいは、前面カメラ１１４から所定数のフレーム画像を受信する度に図１０に示したフローを実行することとしてもよい。ここでフレーム画像とは、前面カメラ１１４から受信される映像に含まれるフレーム画像を示す。

前面画像の表示処理においては、ＣＰＵ３１６は、前面画像（第２の画像）に含まれる被写体（人物）の画像がスクリーン１０３における所定の位置に表示されるように制御する。

まず、ステップＳ７０３において生成した人物部分の画像（以下、人物画像）から顔画像を検出する（Ｓ１００１）。図１１（Ａ）は、ステップＳ７０３において生成した人物画像し、外接矩形１１０２は顔の外接矩形を表す。

人物画像の中から顔画像を検出する技術としては、例えばＶｉｏｌａ−Ｊｏｎｅｓの手法を用いることができる。この手法によれば、画像から顔部分の外接矩形１１０２を得ることができる。顔画像の検出はこれに限られない。画像から所定の特徴量（形状、大きさ、位置の値など）を有する画像を検出する方法で有ればよい。例えば、人物の顔画像を表すパターン画像と人物画像とを比較して、パターン画像に対応する特徴を有する部分を抽出するパターンマッチング法により顔画像を検出することとしてもよい。これらの方法によれば、画像から所定の形状を有する部分の画像を検出することができる。

本実施形態では人物画像から顔画像を検出する場合について説明するが、これに限らない。人物画像の基準となる位置を特定することができればよく、目、眉間、鼻、口、肩、又は、手足等を検出してしてもよい。

つぎに、顔画像において基準となる点の座標を取得する（Ｓ１１０２）。本実施形態では、顔画像の外接矩形１１０２の中心１１０３を基準点として特定する。外接矩形１１０２の中心とは、例えば、外接矩形１１０２の対角線の交点とすることができる。あるいは、外接矩形１１０２の中心とは、外接矩形１１０２の長辺の垂直二等分線と外接矩形１１０２の短辺の垂直二等分線との交点としてもよい。

基準点は外接矩形１１０２の中心に限定しない。例えば、右目と左目の間としたり、両肩や両手足の中間としたり、鼻や口の位置としたりするなど、適宜設定することができる。あるいはユーザが人物画像の基準点を指定することとしてもよい。スクリーンの１０３の任意の位置に表示された人物画像の一部をユーザがタッチ操作等により指示することにより、指示された位置が基準点として決定されることとしてもよい。基準点は人物画像の外部に設定されることとしてもよい。

本実施形態では、人物画像の外接矩形１１０１の左上の頂点を原点として、顔画像の外接矩形９０２の中心の座標（Ｘ１、Ｙ１）を取得する。原点の位置はこれに限られず、任意の位置に設定することができる。このようにして、検出結果に基づいて人物画像における基準位置を特定することができる。

次に、人物画像をスクリーン１０３の所定の位置に表示させる（Ｓ１１０３）。本実施形態では、ステップＳ１１０２において取得した基準点が、スクリーン上の所定の位置に対応するようにして人物画像を表示させる制御を行う。

図１１（ｂ）に示すように、プロジェクタ１０１が画像を投影することができる領域１１１０の左上を原点とし、前面カメラ１０４ａまでのオフセット座標を（Ｘ２、Ｙ２）とする。図１１（Ｃ）は、スクリーン１０３におけるカメラ１０４ａの位置に顔画像の中心１１０３が来るように、前面人物画像を表示した様子である。このようにして、特定した基準位置とスクリーン１０３における所定の位置とが対応するようにして、人物画像を表示させることができる。人物画像の表示座標（Ｘ３、Ｙ３）は、以下のようにして計算することができる。
（Ｘ３、Ｙ３）＝（Ｘ２―Ｘ１、Ｙ２―Ｙ１）
以上の処理により、スクリーン１０３の所定位置に顔画像の中心を表示することが可能になる。このようにして、スクリーン１０３に投影された相手の顔画像を見ることで、ユーザは意識しなくてもカメラを見るようになる。その結果、カメラ１０４ａに対して視線を合わせた画像が撮影できるようになり、これを他拠点で投影することで通信相手と目線を合わせることが可能になる。

上記の例では、受信した人物画像の顔の中心とカメラ１０４ａが一致するようにして、人物画像をスクリーン１０３に表示させる場合について説明したがこれに限られない。カメラ１０４ａと人物画像の基準点との相対位置は任意の位置関係とすることができる。なお、顔画像の検出はオフィス１の制御装置３１０が行ってもよいし、オフィス２に設置された制御装置が、人物画像から顔画像を検出することとしてもよい。同様に、人物画像の基準点（例えば、顔の中心）がカメラ１０４ａの位置と対応するように人物画像の表示位置を移動させる処理は、オフィス１の制御装置３１０が行ってもよいし、オフィス２に設置された制御装置が行うこととしてもよい。

このようにして、前面カメラ１１４が撮影した撮像画像に基づいて生成される画像（人物画像）をスクリーン１０３表示させる場合には、図１２（ａ）に示すように、人物画像がカメラ１０４の位置と対応する位置に表示される。このようにしてユーザは互いに視線を一致させて対話を行うことができる。

一方、背面カメラ１１５が撮影した撮像画像に基づいて生成される画像をスクリーン１０３に表示させる場合には、図１２（ｂ）に示すように、画像中の人物画像の位置に関わらず、撮像画像を表示させる。例えばプロジェクタＩ／Ｆ３１３は、カメラ１１５の撮像画像から生成した画像（第１の画像）をスクリーン１０３に表示させる場合には、第１の画像に含まれる人物部分の画像及びスクリーン１１３に表示された画像をスクリーン１０３に表示させる。

このようにして、オフィス２の人物、及び、スクリーンに表示された画像１２０１を含む全体像を表示させる場合には、視線を一致させるための処理を行わないようにすることができる。このようにして、背面カメラ１１５が撮影した画像の人物画像の位置がカメラ１０４ａの位置に一致するように制御して表示した場合よりも、ユーザにとって見やすい表示態様で画像を表示させることができる。

このように、プロジェクタＩ／Ｆ３１３は、スクリーン１０３にカメラ１１５の撮像画像から生成した画像（第１の画像）を表示させる場合には、第１の画像における被写体の画像の位置に関わらず、第１の画像をスクリーン１０３に表示させる制御を行う。またプロジェクタＩ／Ｆ３１３は、カメラ１１４の撮像画像から生成した画像（第２の画像）をスクリーン１０３に表示させる場合には、第２の画像に含まれる被写体の画像が第２のスクリーンにおける所定の位置に表示されるように制御する。

このようにして、本実施形態によれば、相手と視線を合わせるための処理を行うか否かを、スクリーンに表示される画像に応じて切り替えることができる。したがって、ユーザにとってより利便性の高い表示制御システムを提供することができる。

なお、背面カメラ１１５が撮影した画像をオフィス１のスクリーン１０３に表示させている間は、オフィス２では、スクリーン１１３の所定の位置（例えば、中央）に会議資料などの画像を投影させるようにプロジェクタ１１１を制御することとしてもよい。

オフィス２に設置された制御装置は、オフィス１のスクリーン１０３に、カメラ１１４の撮像画像に基づく画像が表示されるか、カメラ１１５の撮像画像に基づく画像が表示されるかを判定する。たとえばオフィス１の制御装置３１０からオフィス２の制御装置に対して、スクリーン１０３に表示する画像を示す情報を送信する。そしてオフィス２の制御装置は、オフィス１の制御装置３１０から受信した情報に基づいて上記の判定を行うことができる。

オフィス２の制御装置は、オフィス１のスクリーン１０３にカメラ１１５の撮像画像に基づく画像が表示されると判定した場合に、スクリーン１０３における所定の位置に対応するスクリーン１１３における位置に、会議資料などの画像を表示させる制御を行う。

オフィス１では図１１（ｂ）に示すように、カメラ１０４の設置位置に対応する位置に会議資料が表示されるように、スクリーン１１３における会議資料の画像の表示位置を制御する。このようにすれば、オフィス１にいるユーザは会議資料に注目することにより、自然とカメラ１０４に視線を向けることとなる。従って、カメラ１０４はオフィス１にいる人物がカメラの方向を向いた画像を撮影して、オフィス２に送信することができる。従って、オフィス２では、オフィス１の人物が視線を向けた画像を表示させることができる。

このようにして、オフィス２においてカメラ１０４が撮影した画像を見ているユーザにとって、オフィス１にいる人物の表情等が確認し易い態様で、オフィス１にいる人物の画像を表示させることができる。以上のようにして、ユーザにとってより利便性の高い表示制御システムを提供することができる。

＜他の実施形態＞
本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

１０２ スクリーン
１１３ スクリーン
１１１ プロジェクタ
１１４ａからｃ 前面カメラ
１１５ 背面カメラ
３１０ 制御装置
３１３ プロジェクタＩ／Ｆ
３１６ ＣＰＵ

Claims (15)

1. 第１の拠点に設置され、第１の地点から第１のスクリーンに向かって被写体を撮影する第１の撮像手段と、
   前記第１の拠点に設置され、前記被写体に対して前記第１のスクリーンの方向にある第２の地点から前記被写体の少なくとも一部を撮影する第２の撮像手段と、
   前記第１の撮像手段が撮影した画像に基づいて生成される第１の画像と前記第２の撮像手段が撮影した画像に基づいて生成される第２の画像とを、第２の拠点に設置された第２のスクリーンに切り替えて表示させる表示制御手段とを有し、
   前記表示制御手段は、前記第２のスクリーンに前記第１の画像を表示させる場合には、前記第１の画像における前記被写体の画像の位置に関わらず、前記第１の画像を前記第２のスクリーンに表示させる制御をし、前記第２の画像を前記スクリーンに表示させる場合には前記第２の画像に含まれる前記被写体の画像が前記第２のスクリーンにおける所定の位置に表示されるように制御することを特徴とする表示制御システム。
2. 前記被写体に対して前記第１のスクリーンが存在する方向に位置する複数の撮像手段が撮像した複数の撮像画像から前記被写体の少なくとも一部の画像を抽出する抽出手段と、
   前記抽出手段が切り出した画像を合成して、前記第２の画像を生成する生成手段とを有することを特徴とする請求項１に記載の表示制御システム。
3. 前記表示制御手段は、前記第１の画像を前記第２のスクリーンに表示させる場合には、前記第１の画像に含まれる前記被写体の画像及び前記第１のスクリーンに表示された画像を前記第２のスクリーンに表示させる制御を行うことを特徴とする請求項１に記載の表示制御システム。
4. 前記第１の画像から所定の形状を有する部分を検出する検出手段と、
   前記検出手段の検出結果に基づいて、前記第１の画像における基準位置を特定する特定手段とを有し、
   前記表示制御手段は、前記特定手段が特定した前記基準位置と前記第２のスクリーンにおける前記所定の位置とが対応するようにして、前記第２のスクリーン上に前記第１の画像を表示させることを特徴とする請求項１に記載の表示制御システム。
5. 画像を入力する入力手段と、
   前記第２のスクリーンに前記第１の画像が表示されるか、前記第２の画像が表示されるかを判定する判定手段と、
   前記判定手段が前記第２のスクリーンに前記第１の画像が表示されると判定した場合に、前記第２のスクリーンにおける前記所定の位置に対応する前記第１のスクリーンにおける位置に前記入力手段が入力した画像を表示させる制御を行う第２の表示制御手段を有することを特徴とする請求項１に記載の表示制御システム。
6. 第１の拠点に設置され、第１の地点から第１のスクリーンに向かって被写体を撮影する第１の撮像手段と、前記第１の拠点に設置され、前記被写体に対して前記第１のスクリーンの方向にある第２の地点から前記被写体の少なくとも一部を撮影する第２の撮像手段とから撮像画像を受信する受信手段と、
   前記第１の撮像手段が撮影した画像に基づいて生成される第１の画像と前記第２の撮像手段が撮影した画像に基づいて生成される第２の画像とを、第２の拠点に設置された第２のスクリーンに切り替えて表示させる表示制御手段とを有し、
   前記表示制御手段は、前記第２のスクリーンに前記第１の画像を表示させる場合には、前記第１の画像における前記被写体の画像の位置に関わらず、前記第１の画像を前記第２のスクリーンに表示させる制御をし、前記第２の画像を前記スクリーンに表示させる場合には前記第２の画像に含まれる前記被写体の画像が前記第２のスクリーンにおける所定の位置に表示されるように制御することを特徴とする表示制御装置。
7. 前記被写体に対して前記第１のスクリーンが存在する方向に位置する複数の撮像手段が撮像した複数の撮像画像から前記被写体の少なくとも一部の画像を抽出する抽出手段と、
   前記抽出手段が切り出した画像を合成して、前記第２の画像を生成する生成手段とを有することを特徴とする請求項６に記載の表示制御装置。
8. 第１の拠点に設置された第１の撮像手段が、第１の地点から第１のスクリーンに向かって被写体を撮影する第１の撮像ステップと、
   前記第１の拠点に設置された第２の撮像手段が、前記被写体に対して前記第１のスクリーンの方向にある第２の地点から前記被写体の少なくとも一部を撮影する第２の撮像ステップと、
   表示制御手段が、前記第１の撮像手段が撮影した画像に基づいて生成される第１の画像と前記第２の撮像手段が撮影した画像に基づいて生成される第２の画像とを、第２の拠点に設置された第２のスクリーンに切り替えて表示させる表示制御ステップとを有し、
   前記表示制御ステップにおいて、前記第２のスクリーンに前記第１の画像を表示させる場合には、前記第１の画像における前記被写体の画像の位置に関わらず、前記第１の画像を前記第２のスクリーンに表示させる制御をし、前記第２の画像を前記スクリーンに表示させる場合には前記第２の画像に含まれる前記被写体の画像が前記第２のスクリーンにおける所定の位置に表示されるように制御することを特徴とする表示制御方法。
9. 抽出手段が、前記所定の被写体に対して前記第１のスクリーンが存在する方向に位置する複数の撮像手段が撮像した複数の撮像画像から前記被写体の少なくとも一部の画像を抽出する抽出ステップと、
   生成手段が、前記抽出手段が切り出した画像を合成して、前記第２の画像を生成する生成ステップとを有することを特徴とする請求項８に記載の表示制御方法。
10. 前記表示制御ステップにおいて、前記第１の画像を前記第２のスクリーンに表示させる場合には、前記第１の画像に含まれる前記被写体の画像及び前記第１のスクリーンに表示された画像を前記第２のスクリーンに表示させる制御を行うことを特徴とする請求項８に記載の表示制御方法。
11. 検出手段が、前記第１の画像から所定の形状を有する部分を検出する検出ステップと、
    特定手段が、前記検出ステップにおける検出結果に基づいて、前記第１の画像における基準位置を特定する特定ステップとを有し、
    前記表示制御ステップにおいて、前記特定手段が特定した前記基準位置と前記第２のスクリーンにおける前記所定の位置とが対応するようにして、前記第２のスクリーン上に前記第１の画像を表示させることを特徴とする請求項８に記載の表示制御方法。
12. 入力手段が、画像を入力する入力ステップと、
    判定手段が、前記第２のスクリーンに前記第１の画像が表示されるか、前記第２の画像が表示されるかを判定する判定ステップと、
    前記判定ステップにおいて前記第２のスクリーンに前記第１の画像が表示されると判定した場合に、前記第２のスクリーンにおける前記所定の位置に対応する前記第１のスクリーンにおける位置に前記入力手段が入力した画像を表示させる制御を行う第２の表示制御ステップを有することを特徴とする請求項８に記載の表示制御方法。
13. コンピュータに、
    第１の拠点に設置され、第１の地点から第１のスクリーンに向かって被写体を撮影する第１の撮像手段と、前記第１の拠点に設置され、前記被写体に対して前記第１のスクリーンの方向にある第２の地点から前記被写体の少なくとも一部を撮影する第２の撮像手段とから撮像画像を取得する取得手順と、
    前記第１の撮像手段が撮影した画像に基づいて生成される第１の画像と前記第２の撮像手段が撮影した画像に基づいて生成される第２の画像とを、第２の拠点に設置された第２のスクリーンに切り替えて表示させる表示制御手順とを実行させ、
    前記表示制御手順において、前記第２のスクリーンに前記第１の画像を表示させる場合には、前記第１の画像における前記被写体の画像の位置に関わらず、前記第１の画像を前記第２のスクリーンに表示させる制御をし、前記第２の画像を前記スクリーンに表示させる場合には前記第２の画像に含まれる前記被写体の画像が前記第２のスクリーンにおける所定の位置に表示されるように制御する処理を前記コンピュータに実行させるためのプログラム。
14. 前記コンピュータに、
    前記被写体に対して前記第１のスクリーンが存在する方向に位置する複数の撮像手段が撮像した複数の撮像画像から前記被写体の少なくとも一部の画像を抽出する抽出手順と、
    前記抽出手順において切り出した画像を合成して、前記第２の画像を生成する生成手順と実行させるための請求項１３に記載のプログラム。
15. 前記コンピュータに、
    前記表示制御手順において、前記第１の画像を前記第２のスクリーンに表示させる場合には、前記第１の画像に含まれる前記被写体の画像及び前記第１のスクリーンに表示された画像を前記第２のスクリーンに表示させる制御を実行させるための請求項１３に記載のプログラム。

Images