JP2015023369A - 撮像装置付き表示装置 - Google Patents

Abstract

【課題】会話を行っている人同士は視線が合致し、会話を行っていない人とは視線が合致しないようにして、より臨場感を高められる撮像装置付き表示装置を提供することである。【解決手段】撮像装置付き表示装置１は、異なる画像を表示可能な表示手段２、表示画像信号を生成する表示制御手段、表示手段背面の異なる位置にある撮像手段１１、１２、画像演算手段、音声検出手段２１〜２４、画像、音声及び利用者情報を送受信する手段を有する。音声検出手段は、話者検出手段を兼ね、画像演算手段は、別の撮像装置付き表示装置より受信した画像の話者の顔が撮像手段の１つの近傍に表示されるように変更し、表示制御手段は音声検出手段で検出された話者の方向に、変更された画像を表示する。【選択図】図１−１

Description

本発明は、有機ＥＬ、液晶、プラズマ方式など比較的薄型の表示機器等の表示装置に撮像機器が備えられた撮像装置付き表示装置、それを用いた通信システム、通信方法などに関する。さらに詳しくは、テレビ会議などのリアルタイム双方向通信などの通信に好適に使用可能な撮像装置付き表示装置などに関する。

近年、通信網の目覚しい発展によりテレビ会議などのリアルタイム双方向通信が可能となった。テレビ会議は、被写体像を電気的な画像信号に変換する撮像手段、電気的な画像信号を光信号に変換して表示する表示手段などを用いて行われる。テレビ会議の利用者は、表示手段の画面に映された相手の顔を見ながら会話をし、同時にこの利用者の顔は、撮像手段により撮影されて電気信号に変換されたのち相手側へ送られる。しかし、従来のテレビ会議などの双方向通信に用いられる機器では、撮像手段は表示手段の付近に別の独立した装置として設けられており、表示手段を見ている利用者を斜め方向から撮影することになる。そのため、表示手段に映った相手の顔は視線が別のところを向いており、相互に話していてもぎこちなく、面と向かって話をする場合と比較して違和感が生まれやすい。また、撮像装置と表示装置とを別々に製造して組み立てたり、別個の装置としたりしなければならず、製造コストが高くなりやすい。

こうした技術について、特許文献１は、次のような撮像装置付き表示装置を開示している。すなわち、複数の表示画素の各表示画素間に遮光部材が配置された表示手段と、表示手段の背部に配置された撮像手段が具備され、遮光部材は撮像手段に光を導くための開口部を備え、撮像手段は開口部に対応した位置に結像手段を備えている。この撮像装置付き表示装置は、表示手段を見ている利用者を前方から撮像でき、かつ表示手段に表示される相手と視線を一致させることが可能となる。その結果、テレビ会議等で対話する利用者同士は、互いに相手が自分を見て話しているように認識できるようになり、コミュニケーション力が向上する。ところで、少なくとも一方の空間にＴＶ会議に参加する利用者が複数人いる場合、会話を行っている人同士は視線が合致し、会話を行っていない人とは視線が合致していない方がより臨場感が得られる。

特開２００５−１７６１５１号公報

しかしながら、従来の撮像装置付き表示装置では、複数の利用者に対して同じ画像を表示しているため、会話していない人に対しても視線が合致しているようにみえ、話者に違和感を起こさせてしまうことがある。そこで本発明の目的は、会話を行っている人同士は視線が合致し、会話を行っていない人とは視線が合致しないようにして、より臨場感を高められる撮像装置付き表示装置などを提供することである。

上記目的を達成するために本発明の撮像装置付き表示装置は、複数の方向に対して異なる画像を表示可能な表示手段と、前記表示手段に表示する画像の信号を生成する表示制御手段と、前記表示手段の背面の異なる位置に配設された複数の撮像手段と、画像演算手段と、音声検出手段と、別の撮像装置付き表示装置との間で画像、音声及び利用者情報を送受信する送受信手段と、を有する。前記音声検出手段は、話者を検出する話者検出手段を兼ね、前記画像演算手段は、別の撮像装置付き表示装置より受信した画像の話者の顔が前記撮像手段の１つの近傍に表示されるように変更し、前記表示制御手段は前記音声検出手段で検出された話者の方向に前記変更された画像を表示する。

本発明によれば、会話を行っている人同士は視線が合致し、会話を行っていない人とは視線が合致しないようにして、より臨場感を高められる撮像装置付き表示装置等を提供することができる。

撮像装置付き表示装置の例の正面図と上面図。 撮像装置付き表示装置の例の側面図。 表示パネルの例の正面図と断面図。 撮像装置付き表示装置の例のブロック図。 空間１の撮像装置付き表示装置の例の説明図。 空間１の撮像装置付き表示装置の例の説明図 空間１の撮像装置付き表示装置の動作フロー説明図。 空間１の撮像装置付き表示装置の動作フロー説明図。 空間２の撮像装置付き表示装置の例の説明図。 空間２の撮像装置付き表示装置の例の説明図。 空間２の撮像装置付き表示装置の動作フロー説明図。 空間２の撮像装置付き表示装置の動作フロー説明図。 空間２の撮像装置付き表示装置の例の説明図。 空間２の非話者に対する画像の説明図。 空間１の非話者と話者に対する画像の説明図。

本発明では、自空間の撮像装置付き表示装置が、相手側空間から異なる画像、話者の音声及び利用者情報を受信し、相手側空間の画像の話者の顔が自空間の表示装置の複数の撮像手段の１つの近傍に表示されるように変更した画像を自空間の話者の方向に表示する。相手側空間の撮像装置付き表示装置も同様なことを行う。こうすれば、話者は、相手の話者が表示された前記１つの撮像手段の方向に顔を向けるので、この撮像手段による画像は話者の視線を捉えた画像となる。一方、非話者は、前記１つの撮像手段の方向に顔を向けることは少ないので、この撮像手段で撮る画像は非話者の視線は捉えていない画像となり、相手側空間の話者にこの画像を表示すれば、話者同士は視線が合致し非話者とは視線が合致しないようにできる。こうした状況をより確実に作るためには、前記１つの撮像手段は、話者に最も近い撮像手段とするのがよい。以上のようにして、少なくとも一方の空間に複数人がいるテレビ会議などの通信において、会話を行っている人同士は視線が合致し、会話を行っていない人とは視線が合致しないように、容易にできる。こうした通信が容易にできるように、撮像装置付き表示装置は、複数方向に異画像を表示できる表示手段、表示画像の信号を生成する表示制御手段、表示手段背面の異位置に配された複数の撮像手段、画像、音声及び利用者情報を送受信する送受信手段を有する。また、画像演算手段と音声検出手段も備える。音声検出手段は、話者を検出する話者検出手段を兼ね、画像演算手段は、受信画像の話者の顔が前記撮像手段の１つの近傍に表示されるように変更し、表示制御手段は音声検出手段で検出された話者の方向に前記変更された画像を表示する。この際、非話者については、相手側空間の誰とも視線が合致しないことが好ましい。その為には、両方の空間に２人以上いる場合、非話者に対しては、該非話者を撮像する撮像手段からずらした領域に、相手側空間から受信した話者の画像を表示すれば、両空間の非話者に対して、誰とも視線が合致しない画像を容易に表示できるようになる。なぜなら、通常、非話者は話者の画像の方に視線を向けるので、こうすれば、非話者は非話者を撮像する撮像手段の方向には視線を向けず、この撮像手段は、誰も視線を向けていない画像を撮ることができて、この画像を相手側空間の非話者に表示すればよいからである。

以下、図面を用いて本発明の実施例を説明する。
（実施例）
図１−１〜図１０は、撮像装置付き表示装置（以下、単に表示装置と言う場合もある）の実施例、及びこれを用いて異なる空間でテレビ会議を行う通信システムないし方法の実施例を説明する図である。図１−１はテレビ会議システム等で使用される撮像装置付き表示装置１の説明図で、図１−１（a）はその正面図、図１−１（ｂ）はその上面図、図１−２（ｃ）はその側面図である。

２は、光を透過可能な表示手段である表示パネルで、表示パネル２の背面（図中＋ｚ方向）には、表示パネル２を観察する利用者を撮影するための撮像手段である複数のカメラ１１、１２が配設されている。各カメラは、レンズ、撮像素子及び撮像素子駆動回路から構成されている。またカメラ１１、１２は、表示パネル２の画面中央より上方（図中＋ｙ方向）に、水平方向（図中ｘ方向）に離間して配設され、表示パネル２の一部の表示画素部を通して利用者を撮影するようになっている。こうすれば、話者の視線を捉えた画像が得やすくなる。表示パネル２の周囲には、利用者の音声を拾う音声検出手段であるマイク２１、２２、２３、２４と、相手側の音声を伝えるスピーカー３１、３２が配設されている。４０は、操作スイッチである。

図２は表示パネル２の説明図で、表示パネル２は、光を透過可能な有機ＥＬで構成されている。図２（a）は表示パネル２を一部拡大した正面図、図２（ｂ）は図２（a）に示した表示パネル２のＡ−Ａ′部の断面図である。図中−ｚ方向が表示面方向である。６は有機ＥＬの発光層で、透明な共通電極７と画素電極８により発光制御される。また、９はスイッチング及び駆動用のＴＦＴ部で、模式的に記載している。有機ＥＬ発光層６と電極７、８、ＴＦＴ部９は透明基板３、４で保護されている。有機ＥＬの発光層６は、赤色を発光する発光層Ｒ、緑色を発光する発光層Ｇ、青色を発光する発光層Ｂを有し、図中ｘ方向（表示パネル２の長辺方向）に３画素周期で配列されている。有機ＥＬ発光層６の構成自体は本発明に直接関係しないので詳細な説明は省略する。その詳細は、例えば特開２００９−１８７６９７号公報に開示されている。

また、表示パネル２の光出射方向（図中−ｚ方向）の透明基板４上には図中ｘ方向に曲率を有するレンチキュラーレンズ５が形成されている。本実施例の表示パネル２では、９画素周期に１つのレンチキュラーレンズが形成され、領域９a、９ｂ及び９ｃの有機ＥＬ発光層６はそれぞれ独立して発光制御される。図２（ｂ）の表示パネル２の断面図において、レンチキュラーレンズ５の光軸に対して図中−ｘ方向に位置する領域９aの有機ＥＬ発光層６から発光した光は、レンチキュラーレンズ５で集光しながら図中＋ｘ方向に屈折する。そのため、図中＋ｘ方向にいる利用者は領域９aの有機ＥＬ発光層６で表示される画像を視認する。また、レンチキュラーレンズ５の光軸近傍に位置する領域９ｂの有機ＥＬ発光層６から発光した光は、レンチキュラーレンズ５で集光しながら直進する。そのため、表示パネル２の正面にいる利用者は領域９ｂの有機ＥＬ発光層６で表示される画像を視認する。同様に、レンチキュラーレンズ５の光軸に対して図中＋ｘ方向に位置する領域９ｃの有機ＥＬ発光層６から発光した光は、レンチキュラーレンズ５で集光しながら図中−ｘ方向に屈折する。そのため、図中−ｘ方向にいる利用者は領域９ｃの有機ＥＬ発光層６で表示される画像を視認する。以上のように、本実施例の表示パネル２は、３つの方向に対して異なる画像を表示することが可能なように構成されている。

次に、本実施例の表示装置を空間１及び空間２に配置して、その間のテレビ会議用として使用する場合の制御動作を説明する。図４は空間１にある表示装置１０１の説明図である。１０２は、光を透過可能な表示手段である表示パネルである。表示パネル１０２の背面（図中＋ｚ方向）には、表示パネル１０２を観察する利用者を撮影するための撮像手段であるカメラ１１１、１１２が配設され、表示パネル１０２の一部の表示画素部を通して利用者を撮影するようになっている。また表示パネル１０２の周囲には、利用者の音声を拾う音声検出手段であるマイク１２１、１２２、１２３、１２４と相手側の音声を伝えるスピーカー１３１、１３２が配設されている。空間１では２人の利用者β、利用者γがテレビ会議に参加している。

以下、図３の表示装置のブロック図、図５の表示装置の説明図、図６−１と図６−２の表示装置の動作フロー説明図を用いて、空間１での表示装置の制御動作を説明する。図６−１の動作フロー説明図において、テレビ会議の利用者がテレビ会議システムを構成する撮像装置付き表示装置１０１の操作スイッチ１４０を操作するとテレビ会議システムが起動する（ｓ１００）。表示装置１０１の制御手段であるシステム制御回路５０は、送受信回路５６を通して相手側である空間２の撮像装置付き表示装置２０１との通信状態を設定する（ｓ１０１）。空間２の表示装置２０１との通信状態が設定されると、システム制御回路５０はテレビ会議の相手側である空間２の表示装置２０１のシステムを確認する（ｓ１０２）。ここで確認されるシステム情報とは、相手側である空間２の表示装置２０１が有するカメラの数、カメラの焦点距離、カメラの位置情報、送信される信号の形態等である。送信される信号の形態とは、例えば、送信されるカメラの画像信号のフレーム周期で、所定時間に複数の画像を送受信する場合に利用される。さらに、システム制御回路５０は空間１の利用者情報を初期設定する（ｓ１０３）。本実施例での利用者情報は、利用者の人数、会話を行っている話者の目の位置（話者の位置情報）、話者以外の利用者の目の位置で、記憶回路５８に記憶される。

次に、カメラ１１１、１１２で空間１の利用者を撮影する（ｓ１０４）。このときシステム制御回路５０は、駆動回路５１を介して撮像素子１０に撮影の指示を行う。同時に、音声処理回路５３は、マイク２０（１２１、１２２、１２３、１２４）にて検出された音声信号を相手側に送信可能な所定の信号形態に処理する。空間１の撮影が行われると、制御回路５０は送受信回路５６を介してカメラ１１１、１１２で撮影した画像信号、音声処理回路５３で処理された音声信号、及び記憶回路５８に記憶された空間１の利用者情報を、空間２の表示装置２０１に送信する（ｓ１０５）。このとき画像信号は、カメラ１１１及びカメラ１１２で撮影された画像が順次送信される。本実施例では、カメラ１１１で撮影された画像が送信されたあとに、カメラ１１２で撮影された画像が送信される。

次に画像演算手段である画像演算回路５７は、カメラ１１１、１１２で撮影された空間１の画像から空間１の利用者の顔認識を行う（ｓ１０６）。このとき、画像演算回路５７は顔領域の目の位置を検出して（ｓ１０７）、システム制御回路５０は検出結果を利用者情報として記憶回路５８に記憶する（ｓ１０８）。画像から利用者の顔を認識する方法自体は本発明に直接関係しないので詳細な説明は省略する。その詳細は、例えば特開２０００−４８１８４号公報に開示されている。

次にシステム制御回路５０は、送受信回路５６を介してテレビ会議の相手側である空間２から送信されてきた画像信号、音声信号及び利用者情報を受信する（ｓ１０９）。空間２から送られてきた画像信号は、空間１の利用者β及び利用者γに対して表示する画像に設定される（ｓ１１０）。空間２から送られてきた画像の設定方法のフローを図６−２に示す。

まずシステム制御回路５０は空間２の利用者情報を確認し、空間２のテレビ会議で会話を行っている話者の目の位置を認識する（ｓ１１１）。本実施例では、空間２のテレビ会議の利用者は１人である。そして空間２の話者の目の位置と先に確認した空間２の表示装置２０１のシステム情報より、受信した画像信号の特性を判定する。即ち、空間２の表示装置２０１が２つのカメラを有していて、２つの画像を送信してきた場合、どちらの画像が会話を行っている話者の視線を捉えた画像かを判定する（ｓ１１２）。会話を行っている話者の視線を捉えた画像か否かは、空間２の話者の目の位置（話者の位置情報）と空間２の表示装置２０１のカメラの位置から判定される。なぜならば、本実施例の撮像装置付き表示装置においては、話者に最も近いカメラの表示パネル上の位置に相手側の話者の顔を表示するように制御しているからである。ところで、空間２の利用者情報のなかにテレビ会議で会話を行っている話者の情報が含まれていない場合は、例えば、空間２の利用者の目の位置に最も近いカメラで撮影した画像を話者の視線を捉えた画像として設定する。

次にシステム制御回路５０は、記憶回路５８より空間１の利用者情報を確認する（ｓ１１３）。空間１の利用者が２人の場合（ｓ１１４）、会話を行っている利用者（話者）と会話を行っていない利用者（非話者）に対して表示するそれぞれの画像を設定する。本実施例では、空間１でテレビ会議に参加している２人の利用者の内、会話を行っている利用者は利用者βである。次に表示処理手段である表示処理回路５２は、空間１で会話を行っていない利用者γに対して表示する画像を、空間２の表示装置２０１より受信した空間２の話者αの視線を捉えていない画像に設定する。さらに、利用者γに最も近いカメラ１１２近傍に空間２の利用者の顔が表示されるように画像を移動制御する（ｓ１１５）。次に表示処理回路５２は、カメラ１１２近傍に空間２の利用者の顔が表示されるように移動した空間２の話者の視線を捉えていない画像を、利用者γに対して表示するように表示パネル１０２の画素内表示領域を９aに設定する（ｓ１１６）。図５（ｂ）は、会話を行っていない利用者γに対して表示パネル１０２にて表示される本実施例における画像１０２_Ａを示している。このように利用者γに対しては、空間２の利用者αは自分とは対話していないことを認識することができる。

一方、表示処理回路５２は、空間１で会話を行っている利用者βに対して表示する画像を、空間２の表示装置２０１より受信した空間２の話者αの視線を捉えている画像に設定する。さらに、利用者βに最も近いカメラ１１１近傍に空間２の利用者の顔が表示されるように画像を移動制御する（ｓ１１７）。次に表示処理回路５２は、カメラ１１１近傍に空間２の利用者の顔が表示されるように移動した空間２の話者の視線を捉えた画像を、利用者βに対して表示するように表示パネル１０２の画素内表示領域を９ｃに設定する（ｓ１１８）。図５（a）は、会話を行っている利用者βに対して表示パネル１０２にて表示される画像１０２_Ｃを示している。このように利用者βに対しては、空間２の利用者αは自分を見ながら対話していることを認識することができる。

ところで、会話を行っている利用者と会話を行っていない利用者に対してそれぞれ表示する画像を設定する際、空間１で会話を行っている話者が検出されていない場合は、空間２の話者の視線を捉えた画像を２人の利用者β及び利用者γに対して表示設定する。

空間２から送られてきた画像の表示方法が設定されると（ｓ１１９）、システム制御回路５０は表示処理回路５２を介して表示パネル１０２に、利用者β及び利用者γに対する空間２の利用者αの画像を表示する（ｓ１２０）。表示パネル１０２に表示される画像は、前述のように、利用者βには図５（a）に示す空間２の利用者αの視線を捉えた画像で、利用者γには図５（ｂ）に示す空間２の利用者αの視線を捉えていない画像である。このとき、空間１の利用者β、利用者γが表示パネル１０２上に表示された空間２の利用者αを見ると、カメラ１１１で撮影された画像は利用者βの視線を捉えた画像となり、同様にカメラ１１２で撮影された画像は利用者γの視線を捉えた画像となる。それとは逆に、カメラ１１１で撮影された画像は利用者γの視線を捉えていない画像となり、同様にカメラ１１２で撮影された画像は利用者βの視線を捉えていない画像となる。

また、表示パネル１０２に空間２の利用者の画像が表示されるとともに、システム制御回路５０は、空間２の音声信号を駆動回路５４を介してスピーカー３０（１３１及び１３２）から出力する。表示パネル１０２に空間２の利用者の画像が表示されると、音声処理回路５３はマイク１２１、１２２、１２３、１２４にて検出された音声信号から、空間１で会話を行っている話者βを検出する（ｓ１２１）。複数の音声信号から話者を検出する方法は、例えば遅延和方式等で公知である。会話を行っている話者の位置が検出されると、記憶回路５８に記憶された利用者の目の位置が話者の目の位置として更新される（ｓ１２２）。引き続きシステム制御回路５０は操作スイッチ１４０の状態を確認し（ｓ１２３）、テレビ会議が使用中のままであれば、撮影画像等の送受信を続行する。

一方、利用者によって操作スイッチ１４０がoffされたことをシステム制御回路５０が確認すると（ｓ１２３）、システム制御回路５０は相手側のテレビ会議との送受信を終了する（ｓ１２４）。さらに、システム制御回路５０はカメラ１１１、１１２による利用者の撮影を終了するとともに、表示パネル１０２の画像の表示を終了する（ｓ１２５）。

次に、本実施例の撮像装置付き表示装置を空間２のテレビ会議で使用する場合の制御動作を説明する。図７は空間２にある撮像装置付き表示装置２０１の説明図である。２０２は、光を透過可能な表示手段である表示パネルである。表示パネル２０２の背面（図中＋ｚ方向）には、表示パネル２０２を観察する利用者を撮影するための撮像手段であるカメラ２１１、２１２が配設され、表示パネル２０２の一部の表示画素部を通して利用者を撮影するようになっている。表示パネル２０２の周囲には、利用者の音声を拾う音声検出手段であるマイク２２１、２２２、２２３、２２４と相手側の音声を伝えるスピーカー２３１、２３２が配設されている。空間２では１人の利用者αがテレビ会議に参加している。

以下、図８の表示装置の説明図、図９−１と図９−２の表示装置の動作フロー説明図を用いて、空間２での撮像装置付き表示装置の制御動作を説明する。図９−１と図９−２の表示装置の動作フローは、基本的には上述の図６−１と図６−２の動作フローと同じである。図９−１の動作フロー説明図において、テレビ会議の利用者がテレビ会議システムを構成する表示装置２０１の操作スイッチ２４０を操作するとシステムが起動する（ｓ２００）。表示装置２０１のシステム制御回路５０は、送受信回路５６を通して相手側の空間１の表示装置１０１との通信状態を設定する（ｓ２０１）。空間１の表示装置１０１との通信状態が設定されると、システム制御回路５０は相手側の空間１の表示装置１０１のシステムを確認する（ｓ２０２）。さらに、制御回路５０は空間２の利用者情報を初期設定する（ｓ２０３）。

次に、カメラ２１１、２１２で空間２の利用者を撮影する（ｓ２０４）。このとき制御回路５０は駆動回路５１を介して撮像素子１０に撮影の指示を行う。同時に、音声処理回路５３はマイク２２１、２２２、２２３、２２４にて検出された音声信号を相手側に送信可能な所定の信号形態に処理する。空間２の撮影が行われると、制御回路５０は、送受信回路５６を介して、カメラ２１１、２１２で撮影した画像信号、音声処理回路５３で処理した音声信号、記憶回路５８に記憶された空間２の利用者情報を、空間１の表示装置１０１に送信する（ｓ２０５）。このとき画像信号は、カメラ２１１及びカメラ２１２で撮影された画像が順次送信される。本実施例では、カメラ２１１で撮影された画像が送信されたあとに、カメラ２１２で撮影された画像が送信される。

次に画像演算回路５７は、カメラ２１１、２１２で撮影された空間２の画像から空間２の利用者の顔認識を行う（ｓ２０６）。このとき、画像演算回路５７は顔領域の目の位置を検出して（ｓ２０７）、制御回路５０は検出結果を利用者情報として記憶回路５８に記憶する（ｓ２０８）。次にシステム制御回路５０は、送受信回路５６を介して相手側の空間１から送信されてきた画像信号、音声信号、及び利用者情報を受信する（ｓ２０９）。空間１から送られてきた画像信号は、空間２の利用者αに対して表示する画像に設定される（ｓ２１０）。

空間１から送られてきた画像の設定方法のフローを図９−２に示す。制御回路５０は空間１の利用者情報を確認し、空間１で会話を行っている話者の目の位置を認識する（ｓ２１１）。本実施例では、空間１の利用者は２人である。そして空間１の話者の目の位置と先に確認した空間１の表示装置１０１のシステム情報より、受信した画像信号の特性を判定する。即ち、空間１の表示装置１０１が２つのカメラを有していて、２つの画像を送信してきた場合、どちらの画像が話者の視線を捉えた画像かを判定する（ｓ２１２）。会話を行っている話者の視線を捉えた画像か否かは、空間１の話者の目の位置と空間１の表示装置のカメラの位置から判定される。空間１の利用者情報のなかに話者の情報が含まれていない場合は、例えば空間１の利用者の目の位置に最も近いカメラで撮影した画像を話者の視線を捉えた画像として設定する。

次にシステム制御回路５０は、記憶回路５８より空間２の利用者情報を確認する（ｓ２１３）。空間２の利用者が１人の場合（ｓ２１４）、会話を行っている利用者αに対して表示する画像を設定する。表示処理回路５２は、空間２で会話を行っている利用者αに対して表示する画像を、空間１の表示装置１０１より受信した空間１の話者βの視線を捉えている画像に設定する。さらに空間１での利用者は２人のため、２人の利用者の顔が表示パネル２０２に表示されるとともに、話者βがカメラ近傍に表示されるように画像を移動制御する（ｓ２１７）。本実施例では、話者βの顔がカメラ２１２の位置に重畳されるように移動制御される。ここでは、空間２の利用者は１人のため、ステップｓ２１５とｓ２１６は実行されない。

次に表示処理回路５２は、カメラ２１２近傍に空間１の利用者βの顔が表示されるように移動した空間１の話者の視線を捉えた画像を、利用者αに対して表示するように表示パネル２０２の画素内表示領域を９ｂに設定する（ｓ２１８）。このとき、表示パネル２０２の画素内表示領域を９ｂに設定されるのは、図７（ｂ）の説明図に示すように利用者αは表示パネル２０２の正面にいるからである。図８は、会話を行っている利用者αに対して表示パネル２０２にて表示される画像２０２_Ｂを示している。このように利用者αに対しては、空間１の利用者βは自分を見ながら対話していることを認識することができる。

空間１から送られてきた画像の表示方法が設定されると（ｓ２１９）、システム制御回路５０は、表示処理回路５２を介して表示パネル２０２に、利用者αに対する空間１の利用者β及び利用者γの画像を表示する（ｓ２２０）。表示パネル２０２に表示される画像は、前述のように利用者αに対して図８に示す空間１の利用者βの視線を捉えた画像である。このとき、空間２の利用者αが表示パネル２０２上に表示された空間１の利用者βを見ると、カメラ２１２で撮影された画像は利用者αの視線を捉えた画像となり、同様にカメラ２１１で撮影された画像は利用者αの視線を捉えていない画像となる。また、表示パネル２０２に空間１の利用者の画像が表示されるとともに、システム制御回路５０は、空間１の音声信号を駆動回路５４を介してスピーカー２３１、２３２から出力する。

表示パネル２０２に空間１の利用者の画像が表示されると、音声処理回路５３はマイク２２１、２２２、２２３、２２４にて検出された音声信号から、空間２で会話を行っている話者αを検出する（ｓ２２１）。会話を行っている話者の位置が検出されると、記憶回路５８に記憶された利用者の目の位置が話者の目の位置として更新される（ｓ２２２）。引き続きシステム制御回路５０は操作スイッチ２４０の状態を確認し（ｓ２２３）、テレビ会議が使用中のままであれば、撮影画像等の送受信を続行する。一方、利用者によって操作スイッチ２４０がoffされたことを制御回路５０が確認すると（ｓ２２３）、制御回路５０は相手側のテレビ会議との送受信を終了する（ｓ２２４）。さらに、制御回路５０はカメラ２１１、２１２による利用者の撮影を終了するとともに、表示パネル２０２の画像の表示を終了する（ｓ２２５）。

本実施例では、空間１の利用者の画像を設定する場合、会話を行っている利用者βの顔が表示パネル２０２上のカメラ２１２の位置に重畳されるように移動制御される例を示した。しかしながら、図１０の説明図に示すように、会話を行っている利用者βと会話を行っていない利用者γの顔が、表示パネル２０２上のカメラ２１２及びカメラ２１１の位置に重畳されるように移動制御しても構わない。そうすれば、空間１での話者が変わっても空間２での表示制御を変更する必要がなく、制御の負荷が低減される。以上の如く、本実施例によれば、会話を行っている人同士は視線が合致し、会話を行っていない人とは視線が合致しないようにして、より臨場感を高められる撮像装置付き表示装置などを提供することができる。

以上は、空間１に２人の利用者、空間２に１人の利用者がいる場合の説明であったが、空間１、２にそれぞれ複数（以下の例では２人であるが、その他の例でも原理は同じ）の利用者がいる場合は少し事情が異なるので、それを説明する。この場合、話者に対する画像の表示は前述とほぼ同じでよい。他方、非話者に対しては、該非話者を撮像する撮像手段から或る程度右または左側にずらした領域に、別の撮像装置付き表示装置より受信した話者の画像を表示する。空間２の非話者に対するこうした画像を図１１に示す。こうすれば、非話者は話者の画像の方に視線を向けるので、非話者は撮像手段２１１の方向には視線を向けず、撮像手段２１１は、誰も視線を向けていない画像を撮ることができて、この画像を空間１の非話者である利用者γに表示できることになる。図１２(ａ)は空間１の非話者である利用者γに表示する画像を示したものである。空間１の非話者γに対しても、非話者γを撮像する撮像手段１１１から右側にずらした領域に、空間２からの上記話者の画像を表示する。これにより、空間１の撮像手段１１１は、誰も視線を向けていない画像を撮ることができて、この画像が図１１に示す画像となる。また、図１２（ｂ）は、空間１の話者βに表示する画像である。

（他の実施形態）
本発明の目的は、以下の実施形態によって達成することもできる。即ち、前述した実施例の機能（システム制御回路などの機能）を実現するソフトウェアのプログラムコードを格納した記憶媒体を、撮像装置付き表示装置に供給する。そして、その装置のコンピュータ（またはＣＰＵ、ＭＰＵなど）が記憶媒体に格納されたプログラムコードを読み出し上記機能を実行する。この場合、記憶媒体から読み出されたプログラムコード自体が上記実施例の機能を実現することになり、テレビ会議などの双方向通信を行うためのプログラム、これを格納した記憶媒体は本発明を構成することになる。もちろん、プログラムは通信回線を介して撮像装置付き表示装置に供給されてもよい。詳細には、通信方法は次のステップを有する。相手側の空間から、相手側の空間の異なる画像、話者の音声及び利用者情報を受信するステップ。相手側に送信する自空間の複数の画像、話者の音声及び利用者情報の信号を生成するステップ。相手側に、自空間の画像、話者の音声及び利用者情報を送信するステップ。自空間の話者を検出するステップ。自空間の複数の撮像手段を備える表示手段で、前記受信ステップで受信した相手側の空間の異なる画像を複数の方向に対して表示するステップ。そして、前記表示ステップでは、相手側の空間の画像の話者の顔が前記複数の撮像手段の１つの近傍に表示されるように変更し、変更された画像を前記検出ステップで検出された話者の方向に表示する。

本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１・・撮像装置付き表示装置、２・・表示パネル（表示手段）、１０、１１、１２・・カメラ（撮像素子、撮像手段）、２０、２１、２２、２３、２４・・マイク（音声検出手段、話者検出手段）、３０、３１、３２・・スピーカー、５０・・システム制御回路、５２・・表示処理回路（表示制御手段）、５６・・送受信回路（送受信手段）、５７・・画像演算回路（画像演算手段）

Claims (11)

1. 複数の方向に対して異なる画像を表示できる表示手段と、前記表示手段に表示する画像の信号を生成する表示制御手段と、前記表示手段の背面の異なる位置に配設された複数の撮像手段と、画像演算手段と、音声検出手段と、別の撮像装置付き表示装置との間で画像、音声及び利用者情報を送受信する送受信手段と、を有し、
   前記音声検出手段は、話者を検出する話者検出手段を兼ね、
   前記画像演算手段は、別の撮像装置付き表示装置より受信した画像の話者の顔が前記撮像手段の１つの近傍に表示されるように変更し、
   前記表示制御手段は前記音声検出手段で検出された話者の方向に前記変更された画像を表示することを特徴とする撮像装置付き表示装置。
2. 前記撮像手段の１つは、前記音声検出手段で検出された話者に最も近い撮像手段であることを特徴とする請求項１に記載の撮像装置付き表示装置。
3. 前記送受信手段で送受信する利用者情報は、話者の位置情報を含むことを特徴とする請求項１または２に記載の撮像装置付き表示装置。
4. 前記表示制御手段は、非話者に対して、該非話者を撮像する前記撮像手段からずらした領域に、別の撮像装置付き表示装置より受信した誰とも視線が合致していない話者の画像を表示することを特徴とする請求項１から３の何れか１項に記載の撮像装置付き表示装置。
5. 相手側の空間から、相手側の空間の異なる画像、話者の音声及び利用者情報を受信するステップと、
   相手側に送信する自空間の複数の画像、話者の音声及び利用者情報の信号を生成するステップと、
   相手側に、自空間の画像、話者の音声及び利用者情報を送信するステップと、
   自空間の話者を検出するステップと、
   自空間の複数の撮像手段を備える表示手段で、前記受信ステップで受信した相手側の空間の異なる画像を複数の方向に対して表示するステップと、
   を有し、
   前記表示ステップでは、相手側の空間の画像の話者の顔が前記撮像手段の１つの近傍に表示されるように変更し、前記変更された画像を前記検出ステップで検出された話者の方向に表示することを特徴とする通信方法。
6. 相手側の空間の画像の話者の顔は、相手側の空間の表示手段の複数の撮像手段のうちの１つの撮像手段に向いた顔であることを特徴とする請求項５に記載の通信方法。
7. 前記撮像手段の１つは、前記音声検出手段で検出された話者に最も近い撮像手段であることを特徴とする請求項５または６に記載の通信方法。
8. 前記送受信する利用者情報は、話者の位置情報を含むことを特徴とする請求項５から７の何れか１項に記載の通信方法。
9. 前記表示ステップでは、非話者に対して、該非話者を撮像する撮像手段からずらした領域に、相手側の空間より受信した誰とも視線が合致していない話者の画像を表示することを特徴とする請求項５から８の何れか１項に記載の通信方法。
10. １つの空間に配置された請求項１から４の何れか１項に記載の撮像装置付き表示装置と、他の空間に配置された請求項１から４の何れか１項に記載の撮像装置付き表示装置と、を有し、
    請求項５から９の何れか１項に記載の通信方法を実行することを特徴とする通信システム。
11. 通信を行うためのプログラムであって、
    請求項５から９の何れか１項に記載の通信方法をコンピュータに実行させることを特徴とするプログラム。

Images