JP2014135573A

JP2014135573A - 会議用表示システム及び同システムにおけるカメラ映像の表示方法並びに表示制御プログラム

Info

Publication number: JP2014135573A
Application number: JP2013001427A
Authority: JP
Inventors: Yugo Ito; 祐吾伊藤
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2013-01-08
Filing date: 2013-01-08
Publication date: 2014-07-24
Anticipated expiration: 2033-01-08
Also published as: JP5987694B2

Abstract

【課題】画面をめまぐるしく変化させたり、一人に対して複数のカメラを用意しなくても、発言者が誰に視線を向けているかを再現できる会議用表示システム等を提供する。
【解決手段】複数のカメラ３について、その位置と向きを検出し、同一空間に存在する複数のカメラを検出する。取得した同一空間に存在する複数のカメラの向きについて、任意の分類数に分類し、分類ごとに含まれる複数のカメラの向きの代表的な向きを算出する。複数のカメラの位置を参照し、実際の配置を模した表示位置を決定する。前記算出された分類毎の代表的なカメラの向きに応じて、カメラ映像に加える画像処理の種類もしくは有無を決定し、同一空間に存在すると確認された複数のカメラ映像を、決定された表示位置に、決定された種類の画像処理を施してあるいは施すことなく表示する。
【選択図】図８

Description

この発明は、テレビ会議システム等に好適に用いることができる会議用表示システム及び同システムにおけるカメラ映像の表示方法、並びにカメラ映像の表示制御プログラム関する。

複数人が同一室内であるいは異なる場所で会議を行っているときの会議参加者の映像をテレビなどの表示装置の表示画面に表示する会議用表示システムが、従来より知られている。

この場合、発言者が会議参加者の誰に話しかけているかが画面から認識できれば、会議場所から離れている他の会議参加者や視聴者に対して、臨場感を持って伝えることができる。

このためには、発言者が話しかける相手が切り替わるたびに、画像のレイアウトや画像処理を変化させる方法が考えられるが、判断を行うための仕組みが必要であり、複雑な構成となってしまう。また、発言者が話しかける相手が切り替わるたびに、画像のレイアウトや画像処理が変化するため、頻繁に画面の表示が変更されて、視聴者にとっては認識が困難になってしまう。

しかも、話しかけている発言者のみが注目されている状況しか再現することが出来ず、話しかけていない会議参加者が注目されている状況が再現できないという問題もある。

さらに、会議参加者１人に対して、複数のカメラを用意しなくてはならないとか、会議参加者同士が同一空間にいる場合、表示部などを介さずに、直接注目している相手を目視している情報に関しては検知が困難であり、その注目している状況を再現することが困難であるという問題もある。

つまり、画像の位置の変化だけで会議出席者の視線を再現しようとすると、誰が誰に話しかけているかを検知して、画面をめまぐるしく変化させる必要があり、また目線を一致させるためには、一人に対して複数のカメラを用意しなければならず、装置が大がかりになるというような問題があった。

なお、特許文献１には、左右から話者を撮影し、話す相手に応じて、適切な画像を選択し、画像処理を行って表示することで、向き合って話をしているように表示させる技術が開示されている。

また、特許文献２には、話している二人の視線を一致させて第三者に提供するために、話している相手の表示位置を左右のいずれかに動かし、目線を左右に偏らせた上で、二人の目線が合うように画像を配置して表示する技術が開示されている。

特開平０７−１５４７６３号公報特開２００５−１１００４５号公報

ところが、特許文献１に記載の技術では、話す相手に応じて画面のレイアウトが変化するものであり、また一人当たりに複数のカメラを必要とするという欠点があった。

また、特許文献２に記載の技術も、やはり話す相手に応じて画面のレイアウトが変化するものであり、また話者を決定する手段が必要であるとか、二人の視線しか対応できないという問題があった。

このように、特許文献１及び２のいずれも、画面をめまぐるしく変化させたり、一人に対して複数のカメラを用意することにより装置が大がかりになるというような問題に対して、解決策を提供しうるものではなかった。

この発明は、上記実情に鑑みてなされたものであり、画面をめまぐるしく変化させたり、一人に対して複数のカメラを用意しなくても、発言者が誰に視線を向けているかを再現することができる会議用表示システム及び同システムにおけるカメラ映像の表示方法を提供し、さらにカメラ映像の表示制御プログラムを提供することを課題とする。

上記課題は、以下の手段によって解決される。
（１）複数のカメラについて、その位置と向きを検出する位置・向き検出手段と、同一空間に存在する複数のカメラを検出するカメラ検出手段と、前記２つの検出手段から取得した同一空間に存在する複数のカメラの向きについて、任意の分類数に分類する分類手段と、前記分類手段により分類された分類ごとに含まれる複数のカメラの向きの代表的な向きを算出する算出手段と、前記位置・向き検出手段から取得された複数のカメラの位置を参照し、実際の配置を模した表示位置を決定する表示位置決定手段と、前記算出手段により算出された分類毎の代表的なカメラの向きに応じて、カメラ映像に加える画像処理の種類もしくは有無を決定する画像処理決定手段と、前記カメラ検出手段により同一空間に存在すると確認された複数のカメラ映像を、前記表示位置決定手段により決定された表示位置に、前記画像処理決定手段により決定された種類の画像処理を施してあるいは施すことなく表示する表示手段と、を備えたことを特徴とする会議用表示システム。
（２）前記カメラ映像に加える画像処理は、鏡像反転処理、回転処理、画面の一方向を軸として回転させた三次元的な歪みを、平行四辺形や台形に変形することで画面上に立体的に再現する処理の少なくともいずれかである前項１に記載の会議用表示システム。
（３）前記カメラ映像に加える画像処理は、一つまたは複数の画像処理方法の中から一つまたは複数が選択される前項１または２に記載の会議用表示システム。
（４）前記実際の配置を模した表示位置とは、基準となる一直線に対し、各カメラの位置から垂直に引いた直線との交点の並び順に基づいた横一列の位置か、カメラの位置同士の相対的な位置関係を保ちつつ、各画像が表示画面内に収まるような縮尺に合わせた位置か、カメラの位置同士の相対的な位置関係の変化を小さく抑えて、画像同士の辺または角を強制的に隣接させた表示位置の少なくともいずれかである前項１〜３のいずれかに記載の会議用表示システム。
（５）複数のカメラについて、その位置と向きを検出する位置・向き検出ステップと、同一空間に存在する複数のカメラを検出するカメラ検出ステップと、前記２つの検出ステップで取得した同一空間に存在する複数のカメラの向きについて、任意の分類数に分類する分類ステップと、前記分類ステップにおいて分類された分類ごとに含まれる複数のカメラの向きの代表的な向きを算出する算出ステップと、前記位置・向き検出ステップにおいて取得された複数のカメラの位置を参照し、実際の配置を模した表示位置を決定する表示位置決定ステップと、前記算出ステップにおいて算出された分類毎の代表的なカメラの向きに応じて、カメラ映像に加える画像処理の種類もしくは有無を決定する画像処理決定ステップと、前記カメラ検出ステップにおいて同一空間に存在すると確認された複数のカメラ映像を、前記表示位置決定ステップにおいて決定された表示位置に、前記画像処理決定ステップにおいて決定された種類の画像処理を施してあるいは施すことなく表示手段に表示する表示ステップと、を備えたことを特徴とする会議用表示システムにおけるカメラ映像の表示方法。
（６）複数のカメラについて、その位置と向きを検出する位置・向き検出ステップと、同一空間に存在する複数のカメラを検出するカメラ検出ステップと、前記２つの検出ステップで取得した同一空間に存在する複数のカメラの向きについて、任意の分類数に分類する分類ステップと、前記分類ステップにおいて分類された分類ごとに含まれる複数のカメラの向きの代表的な向きを算出する算出ステップと、前記位置・向き検出ステップにおいて取得された複数のカメラの位置を参照し、実際の配置を模した表示位置を決定する表示位置決定ステップと、前記算出ステップにおいて算出された分類毎の代表的なカメラの向きに応じて、カメラ映像に加える画像処理の種類もしくは有無を決定する画像処理決定ステップと、前記カメラ検出ステップにおいて同一空間に存在すると確認された複数のカメラ映像を、前記表示位置決定ステップにおいて決定された表示位置に、前記画像処理決定ステップにおいて決定された種類の画像処理を施してあるいは施すことなく表示手段に表示する表示ステップと、を、コンピュータに実行させるための会議用表示システムにおけるカメラ映像の表示制御プログラム。

前項（１）に記載の発明によれば、発言者が誰に話しかけているか検知を行う必要がなく、従って会議参加者人一人に対してカメラはひとつで足り、簡易な構成でシステムを実現できると共に、同一空間に存在する会議参加者の位置が変わらない限り、画面のレイアウトや画像処理を一定に保ったまま、会議参加者同士が誰に視線を向けているかを再現することが可能となり、会議場から離れている他の会議場の会議参加者や視聴者等に臨場感を持って伝えることが可能となる。

前項（２）に記載の発明によれば、カメラ映像に加える画像処理は、鏡像反転処理、回転処理、画面の一方向を軸として回転させた三次元的な歪みを、平行四辺形や台形に変形することで画面上に立体的に再現する処理の少なくともいずれかであるから、より確実に前項（１）の効果を実現することができる。

前項（３）に記載の発明によれば、カメラ映像に加える画像処理は、一つまたは複数の画像処理方法の中から一つまたは複数が選択されるから、前記向きに応じて適切な画像処理を加えることができる。

前項（４）に記載の発明によれば、実際の配置を模した表示位置を、基準となる一直線に対し、各カメラの位置から垂直に引いた直線との交点の並び順に基づいた横一列の位置か、カメラの位置同士の相対的な位置関係を保ちつつ、各画像が表示画面内に収まるような縮尺に合わせた位置か、カメラの位置同士の相対的な位置関係の変化を小さく抑えて、画像同士の辺または角を強制的に隣接させた表示位置の少なくともいずれかとすることで、より確実に前項（１）の効果を実現することができる。

前項（５）に記載の発明によれば、発言者が誰に話しかけているか検知を行う必要がなく、従って会議参加者一人に対してカメラはひとつで足り、簡易な構成で会議参加者同士が誰に視線を向けているかを再現することが可能となる。

前項（６）に記載の発明によれば、会議参加者が誰に話しかけているか検知を行うことなく、会議参加者同士が誰に視線を向けているかを再現する処理を、コンピュータに実行させることができる。

この発明の一実施形態に係る会議用表示システムの全体構成を示す図である。サーバの構成を示すブロック図である。同一空間（同一会議場所）に存在する各ユーザＡ、Ｂ、Ｃ、Ｄ、Ｅに対するカメラ３の位置と向きを示す図である。カメラの向きを２つに分類した状態を示す図である。基準直線Ｐ１を作成した状態を示す図である。基準直線Ｐ１に対し各カメラの位置から垂直に線を引き、交点を求めた状態を示す図である。基準直線Ｐ１に対して、属する分類の向きの角度差を示す図である。表示装置２の画面上に分割表示される各ユーザの顔画像の並び順を示す図である。ユーザＤがユーザＢを見た場合の画像を示す図である。ユーザＤがユーザＣを見た場合の画像を示す図である。ユーザＢがユーザＤを見た場合の画像を示す図である。ユーザＢがユーザＥを見た場合の画像を示す図である。ユーザＢが他ユーザを見た場合の画像を示す図である。第１実施形態においてサーバが行う動作を示すフローチャートである。一つの同一空間内に４人のユーザＡ〜Ｄが環状に存在している場合のカメラの位置と向きと、画像の位置を示す図である。 −９０度＜基準の向きとの角度差＜９０度の場合に、画像施す画像処理を説明するための図である。 −９０度≦基準の向きとの角度差≦９０度の場合に、画像施す画像処理を説明するための図である。９０度＜基準の向きとの角度差＜２７０度の場合に、画像施す画像処理を説明するための図である。角度差と画像に施す回転角度の関係の一例を示す図である。表示装置２の画面上に分割表示される各ユーザの顔画像の並び順を示す図である。ユーザＤがユーザＡを見た場合の画像を示す図である。ユーザＤがユーザＣを見た場合の画像を示す図である。ユーザＡがユーザＤを見た場合の画像を示す図である。ユーザＡがユーザＢを見た場合の画像を示す図である。第２実施形態においてサーバが行う動作を示すフローチャートである。

以下、この発明の一実施形態を図面に基づいて説明する。

図１は、この発明の一実施形態に係る会議用表示システムの全体構成を示す図である。

この会議用表示システムは、サーバ１と１台または複数台の表示装置２と複数のカメラ３とを備えており、表示装置２と各カメラ３はネットワーク等を介してサーバ１と接続されている。

前記サーバ１はパーソナルコンピュータからなり、システム全体を制御するものである。サーバ１は、図２に示すように、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、記憶部１４、表示部１５、入力装置１６、ネットワークインターフェース部（ネットワークＩ/F部）１７等を備え、システムバス１８を介して互いに接続されている。

ＣＰＵ１１は、ＲＯＭ１２に保存されているプログラムを実行することにより、サーバ１の全体を統括的に制御する。特に、この実施形態では、前記複数のカメラについて、その位置と向きを検出したり、複数のカメラ同士が同一空間に存在するか検出したり、同一空間に存在する複数のカメラの向きについて、任意の分類数に分類したり、分類された分類ごとに含まれる複数のカメラの向きの代表的な向きを算出したり、前記複数のカメラの位置を参照し、実際の配置を模した表示位置を決定したり、算出された分類毎の代表的なカメラの向きに応じて画面に加える画像処理の種類もしくは有無を決定したり、同一空間に存在すると確認された複数のカメラ映像を、前記決定された表示位置と決定された画像処理の種類と有無に従い表示手段に表示させる処理等を実行するが、詳細な説明は後述する。

ＲＯＭ１２は、ＣＰＵ１１が実行するためのプログラムやその他のデータを保存する記憶媒体である。

ＲＡＭ１３は、ＣＰＵ１１が動作用プログラムに従って動作する際の作業領域を提供する記憶媒体である。

記憶部１４は、ハードディスク等の記憶媒体からなり、各カメラで得られた映像に対して実施する画像処理の種類矢、その他のデータが記憶されている。

表示部１５は、ＣＲＴや液晶表示装置等からなり、各種のメッセージ及びユーザに対する入力受付画面、選択画面等を表示する。

入力装置１６は、ユーザによる入力操作に用いられるもので、キーボードやマウス等からなる。

ネットワークインターフェース部１７は、表示装置２やカメラ等の外部機器との間で、ネットワークを介して、データの送受信を行う通信手段として機能する。

前記表示装置２は例えばテレビからなり、カメラ１で撮影されサーバ１で画像処理が施された各会議参加者の画像が画面分割で同時に表示する。

前記カメラは、会議参加者一人に対して一つが割り当てられ、各会議参加者の顔を動画撮影できる向きで配置されている。この実施形態では、カメラとしてカメラ付き携帯端末装置のカメラが用いられているが、これに限定されることはない。以下、会議参加者をユーザともいう。

次に、第１実施形態として、図３に示すように、同一空間（同一会議場所）２０に存在する各ユーザＡ、Ｂ、Ｃ、Ｄ、Ｅの５人について、カメラ３で撮影された各ユーザの画像が表示装置２に表示されるまでの流れを示す。

まず、各ユーザは、テレビ会議開始時に、カメラ３の位置情報とカメラ３の向きの情報をサーバに入力する。カメラ３の位置は携帯端末装置に内蔵されたＧＰＳ機能により取得され、カメラ３の向きは同じく携帯端末装置に内蔵された電子コンパス機能により取得され、取得された位置データ及び向きデータがサーバ１に送信される。

なお、ユーザが手入力によりカメラ３の位置情報や向き情報を携帯端末装置に入力し、携帯端末装置からサーバ１にそれらの情報が送信されても良い。

サーバ１は携帯端末装置から送信された位置情報及び向き情報に基づいて、各カメラ３の位置や向きを検出すると共に、位置情報に基づいて同一空間（同一会議場）２０に存在するユーザを抽出し、同一空間毎のグループに分類する。なお、同一空間２０に存在するユーザの抽出は、予めユーザが参加する会議が行われる部屋番号等の入力に基づいて行われても良い。

次に、サーバ１は同一空間２０に存在する複数のカメラ３を相関性の高い２つの分類に分ける。

例えば、図３の例のように、一つの同一空間２０内において、対面式の２つの長机２１に沿ってユーザが３人と２人に分かれて座っている場合を例示する。白三角印がユーザの位置を示し、黒丸印がカメラ３の位置を示し、矢印がカメラ３の向きを示す。

ここでは、図面上側に位置する２人のユーザを紙面左からユーザＡ及びユーザＢとし、下側に位置する３人のユーザを、ユーザＣ、ユーザＤ及びユーザＥとする。

そして、分類ごとに向きの平均を算出し、その分類の向きとする。例えばユーザＡ及びユーザＢに対応するカメラ３の向きは、図４に示すように、平均すると紙面上向きであり、これを分類１とする。一方、ユーザＣ、ユーザＤ及びユーザＥに対応するカメラの向きは、平均すると紙面下向きであり、これを分類２とする。

次に、上記２つの分類と相関性の低い、基準直線を作成する。図５の例では、２つの長机２１と並行な右向き横線が基準直線Ｐ１として作成されている。

次に、図６に示すように、基準直線Ｐ１に対し各カメラ３の位置から垂直に線を引き、交点を求める。基準直線正Ｐ１の方向（図６の右方向）において前方の交点に対応するカメラ３の映像ほど、表示装置２の画面上でより右に表示される。従って、この例では、左からユーザＡ、ユーザＣ、ユーザＤ、ユーザＢ、ユーザＥの順番で各ユーザの顔が表示装置２に表示される。

ここで、図７に示すように、基準直線Ｐ１に対して、属する分類の向きの角度差が、時計回りに１８０度未満の場合は、画像処理として画像（カメラ映像）を１８０度反転する（鏡像反転処理）。図７の例では、ユーザＣ、ユーザＤ及びユーザＥに対応するカメラに関して、基準直線Ｐ１に対する角度差が時計回りに１８０度未満であるから、ユーザＣ、ユーザＤ及びユーザＥの顔画像を反転して表示する。

このような方法により、図８に示すように、表示装置２の画面上に分割表示される各ユーザの顔画像は、左からＡ、Ｃ、Ｄ、Ｂ、Ｅの順となり、ユーザＣ、Ｄ、Ｅに関しては常に鏡像反転を行う画像処理が適用される。

このような画像表示方式によれば、図９に示すように、例えばユーザＤがユーザＢを見た場合、ユーザＤの元画像は左を向くが、鏡像反転により表示装置２での表示時には右を向き、ユーザＤの視線がユーザＢに対して向く。

また、ユーザＤがユーザＣを見た場合、図１０に示すように、ユーザＤの元画像は右を向くが、鏡像反転により表示時には左を向き、ユーザＤの視線がユーザＣに対して向く。

また、ユーザＢがユーザＤを見た場合、図１１に示すように、ユーザＢの元画像及び表示時ともにユーザＢは左を向き、ユーザＢの視線がユーザＤに対して向く。

また、ユーザＢがユーザＥを見た場合は、図１２に示すように、ユーザＢの元画像及び表示時ともに右を向き、ユーザＢの視線がユーザＥに対して向く。

このことから理解されるように、各ユーザの位置に応じて一定の表示位置に画像処理を加えて表示することで、ユーザの視線の変化を検知することなく、ユーザの視線の向きを再現することが可能となる。しかも、ユーザが話しかける相手に応じて画面のレイアウトを変化させる必要もなく、しかも一人当たりに複数のカメラを必要とすることもなく、簡単な構成でこれを実現することができる。

なお、ユーザＢが他ユーザを見た時の画像を図１３に示す。同図から理解されるように、各ユーザとの距離の大きさに従い、顔の向き（視線の向き）は正面からの角度差が大きくなっている。視線を向けるユーザによって異なる画像が表示され、各ユーザの画像が位置及び距離に応じた順で表示されているため、仮に同じ左右のどちらかを向いていても誰に向いているか区別することが可能である。

従って、このような表示により、会議場から離れている他の会議場の会議参加者や視聴者等に臨場感を持って伝えることが可能となる。

図１４は、上述した第１実施形態において、サーバ１が行う動作を示すフローチャートである。この動作は、サーバ１のＣＰＵ１１が記憶部１４等に記録された動作プログラムに従って動作することにより実行される。

ステップＳ０１では、ユーザの総数だけステップＳ０２及びＳ０３の処理を繰り返すために、カウンタの初期値に０を、終値にユーザ総数をセットする。

そして、ステップＳ０２では各カメラ３の位置情報を取得し、ステップＳ０３では各カメラ３の向きの情報を取得し、ユーザ総数だけこれを繰り返す（ステップＳ０４）。

ステップＳ０５で同一空間（同一会議場）２０毎にユーザを分け、ステップＳ０６で、空間の総数だけステップＳ０７〜Ｓ２０の処理を繰り返すために、カウンタの初期値に０を、終値に空間総数をセットする。

ステップＳ０７では、１つの空間において、空間２０内のユーザ数が１より大きいかどうかを判断する。空間内のユーザ数が１より大きくない場合は（ステップＳ０７でＮＯ）、ステップＳ０８に進み、カメラ３で撮影されたユーザの画像をそのまま表示装置２に表示する。

空間２０内のユーザ数が１より大きい場合は（ステップＳ０７でＹＥＳ）、ステップＳ０９に進み、カメラ３の向きを２つに分類し、ステップＳ１０では分類毎に向きの平均を算出し、ステップＳ１１で基準直線Ｐ１を作成する。

次に、ステップＳ１２で、空間内のユーザ総数だけステップＳ１３〜Ｓ１７の処理を繰り返すために、カウンタの初期値に０を、終値にユーザ総数をセットした後、ステップＳ１３で、基準直線Ｐ１に対してカメラ３の位置から垂線を引いて交点を求め、ステップＳ１４で、基準直線せ１に対し、属する分類の向きの角度差を求める。

そして、ステップＳ１５で、角度差が時計回りで１８０度より小さいかどうかを判断する。小さくなければ（ステップＳ１５でＮＯ）、ステップＳ１６で、ユーザ画像に対する鏡像反転は行わない設定にして、ステップＳ１８に進む。角度差が時計回りで１８０度より小さい場合は（ステップＳ１５でＹＥＳ）、ステップＳ１７で、ユーザ画像に対する鏡像反転を行う設定にする。そして、これらの処理を同一空間２０内のユーザ総数だけ繰り返す（ステップＳ１８）。

ステップＳ１９では、ステップＳ１３において求めた交点から各ユーザの画像の表示画面上の表示位置を決定する。そして、ステップＳ２０で、各カメラ３で撮影された同一空間内の各ユーザの画像（カメラ映像）を、決定された表示位置に鏡像反転しあるいは反転することなく一列配置にて、表示装置２に表示する。

以上の処理を空間の総数だけ繰り返す（ステップＳ２１）。

次に、この発明の他の実施形態を説明する。

この実施形態では、環状に向き合ったユーザの視線のやりとりを、二次元方向に広がる画像配置により再現するものである。

この実施形態においては、図１５に示すように、一つの同一空間２０内に４人のユーザＡ〜Ｄがこの順番で丸机２２の周りに座っている。図１４の左図は実際の配置であり、白三角印がユーザの位置を示し、黒丸印がカメラ３の位置を示し、矢印がカメラ３の向きを示す。各カメラ３の位置は、正面の相手を見た場合にやや上方向を向くような画像が撮影される角度で各端末装置に取り付けられている。

同一空間（同一会議場所）２０に存在する各ユーザＡ、Ｂ、Ｃ、Ｄの４人について、一定の表示位置と一定の画像処理を行い表示する例を用いながら、カメラで撮影された各ユーザの画像が表示装置２に表示されるまでの流れを説明する。

まず、各カメラ３の位置情報と向きの情報をサーバ１に入力する。サーバ１は携帯端末装置から送信された位置情報及び向き情報に基づいて、各カメラ３の位置や向きを検出すると共に、位置情報に基づいて同一空間（同一会議場）２０に存在するユーザを抽出し、同一空間毎のグループに分類する。

次いで、複数のカメラ３の向きのうちの一つを基準の向きとして決定する。この例では、ユーザＡのカメラの向き（紙面上向き）を基準の向きとしている。

次に、図１５の右図に示すように、同一空間にいる複数のユーザに対応するカメラ３の相対的な位置関係を保ちながら、各画像が表示装置２の表示画面内に収まるような縮尺に合わせた位置を表示位置として決定する。なお、カメラ３の位置同士の相対的な位置関係の変化を小さく抑えて、画像同士の辺または角を強制的に隣接させた位置、つまり各画像を極力密接させた位置を表示位置として決定しても良い。

次に、同一空間２０にいる各ユーザに対応するカメラ３の向きの、前記決定した基準の向きに対する角度差（時計回り正）を求めて、以下の条件に応じて、次の画像処理を与えるかどうかを判断する。複数の条件に当てはまる場合は、同時に複数の処理を加えても良い。
（ａ）−９０度＜基準の向きとの角度差＜９０度の場合
図１６に示すように、ユーザの画像の下辺Ｐ２を回転軸として、画像が前のめりに倒れる方向に回転した時の立体的な歪みを再現した画像処理を与える。基準の向きとの角度差が０度の場合、つまりユーザＡの画像については、図１６に示すように、画像上辺が下辺より長い台形となる。ただし、回転角度は条件の範囲で一定の回転を与えるものとする。
（ｂ）−９０度≦基準の向きとの角度差≦９０度の場合
図１７に示すように、ユーザ画像の横方向の中心を通る縦線Ｐ３を軸として回転した時の立体的な歪みを再現した画像処理を与える。ただし、与える回転角度は、角度に応じ−４５度以下、４５度未満の間で変化をする。基準の向きとの角度差９０度の場合、つまりユーザＢの画像については、図１７に示すように、ユーザ画像の横方向の中心を通る縦線Ｐ３を軸として４５度回転した画像となっている。
（ｃ）９０度＜基準の向きとの角度差＜２７０度の場合
図１８に示すように、ユーザ画像の横方向の中心を通る縦線Ｐ３を軸として回転した時の立体的な歪みを再現した画像処理を与える。ただし、与える回転角度は、角度に応じて１３５度より大きく、２２５度未満の間で変化をする。この際、９０度を超える回転を行うため、画像は左右反転することになる。基準の向きとの角度差１３５度の場合、つまりユーザＣの画像については、図１８に示すように、ユーザ画像の横方向の中心を通る縦線Ｐ３を軸として１５７．５度回転した画像となっている。

前記（ｂ）及び（ｃ）の場合における、角度差と画像に施す回転角度の関係の一例を図１９に示す。このような関係に基づいて、角度差に応じて画像を回転処理する。これは回転角度が９０度付近においては画像の表示面積が極端に小さくなること、もしくはなくなることを避けるための処置である。図１７の例では回転角度が４５度になるように、図１８の例では回転角度が１５７．５度となるように、角度差に対する回転角度が設定されている。

このような処理の結果、図２０に示すような位置関係で、各ユーザの画像（カメラ映像）が画像処理を施されて表示装置２に表示される。

この第２の実施形態によれば、ユーザＤがユーザＡを見た場合、図２１に示すように、ユーザＤの元画像は左上を向くが、回転により表示装置２での表示時には右上を向き、ユーザＤの視線がユーザＡに対して向く。

また、ユーザＤがユーザＣを見た場合、図２２のように、ユーザＤの元画像は左を向くが、回転により表示時には右を向き、ユーザＤの視線がユーザＣに対して向く。

また、ユーザＡがユーザＤを見た場合、図２３のように、ユーザＡの元画像は左上を向くが、回転により表示時には左下を向き、ユーザＡの視線がユーザＤに対して向く。

また、ユーザＡがユーザＢを見た場合、図２４のように、ユーザＡの元画像は右を向くが、回転により表示時には右下を向き、ユーザＡの視線がユーザＢに対して向く。

このように、ユーザの位置に応じて一定の表示位置に画像処理を加えて表示することで、ユーザの視線の変化を検知することなく、簡素な構成でユーザの視線の向きを再現することが可能となる。従って、会議場から離れている他の会議場の会議参加者や視聴者等に臨場感を持って伝えることが可能となる。

図２５は、上述した第２実施形態において、サーバ１が行う動作を示すフローチャートである。この動作は、サーバ１のＣＰＵ１１が記憶部１４等に記録された動作プログラムに従って動作することにより実行される。

ステップＳ３１では、ユーザの総数だけステップＳ３２及びＳ３３の処理を繰り返すために、カウンタの初期値に０を、終値にユーザ総数をセットする。

そして、ステップＳ３２では各カメラ３の位置情報を取得し、ステップＳ３３では各カメラ３の向きの情報を取得し、ユーザ総数だけこれを繰り返す（ステップＳ３４）。

ステップＳ３５で同一空間（同一会議場）２０毎にユーザを分け、ステップＳ３６で、空間の総数だけステップＳ３７〜Ｓ５０の処理を繰り返すために、カウンタの初期値に０を、終値に空間総数をセットする。

ステップＳ３７では、１つの空間において、空間内のユーザ数が１より大きいかどうかを判断する。空間内のユーザ数が１より大きくない場合は（ステップＳ３７でＮＯ）、ステップＳ３８に進み、カメラで撮影されたユーザの画像をそのまま表示装置２に表示する。

空間内のユーザ数が１より大きい場合は（ステップＳ３７でＹＥＳ）、ステップＳ３９で基準の向きを決定し、ステップＳ４０では、空間内のユーザ総数だけステップＳ４１〜Ｓ４８の処理を繰り返すために、カウンタの初期値に０を、終値にユーザ総数をセットした後、ステップＳ４１で、各ユーザの画像の表示装置２の画面上での配置位置を決定する。

次に、ステップＳ４２で、基準の向きに対するユーザの角度差を算出し、ステップＳ４３で、−９０度＜基準の向きとの角度差＜９０度であるかどうかを判断する。−９０度＜基準の向きとの角度差＜９０度でなければ（ステップＳ４３でＮＯ）、ステップＳ４５に進み、−９０度＜基準の向きとの角度差＜９０度であれば（ステップＳ４３でＹＥＳ）、ステップＳ４４で、画像の下辺軸Ｐ２を中心とした回転表示を行う設定にして、ステップＳ４５に進む。

ステップＳ４５では、−９０度≦基準の向きとの角度差≦９０度であるかどうかを判断する。−９０度≦基準の向きとの角度差≦９０度でなければ（ステップＳ４５でＮＯ）、ステップＳ４７に進み、−９０度≦基準の向きとの角度差≦９０度であれば（ステップＳ４５でＹＥＳ）、ステップＳ４６で、画像の縦軸Ｐ３を中心とした回転表示を行う設定にして、ステップＳ４７に進む。

ステップＳ４７では、９０度＜基準の向きとの角度差＜２７０度であるかどうかを判断する。９０度＜基準の向きとの角度差＜２７０度でなければ（ステップＳ４７でＮＯ）、ステップＳ４９に進み、９０度＜基準の向きとの角度差＜２７０度であれば（ステップＳ４７でＹＥＳ）、ステップＳ４８で、画像の縦軸Ｐ３を中心とした回転表示を行う設定にして、ステップＳ４９に進む。そして、これらの処理を空間内のユーザ総数だけ繰り返す（ステップＳ４９）。

ステップＳ５０では、各カメラで撮影された同一空間内の各ユーザの画像を、決定された表示位置にて設定された画像処理を加えて、表示装置２に表示する。

以上の処理を空間の総数だけ繰り返す（ステップＳ５１）。

１サーバ
１１ＣＰＵ
１４記憶部
１７ネットワークインターフェース部
２表示装置
３カメラ
２０空間

Claims

複数のカメラについて、その位置と向きを検出する位置・向き検出手段と、
同一空間に存在する複数のカメラを検出するカメラ検出手段と、
前記２つの検出手段から取得した同一空間に存在する複数のカメラの向きについて、任意の分類数に分類する分類手段と、
前記分類手段により分類された分類ごとに含まれる複数のカメラの向きの代表的な向きを算出する算出手段と、
前記位置・向き検出手段から取得された複数のカメラの位置を参照し、実際の配置を模した表示位置を決定する表示位置決定手段と、
前記算出手段により算出された分類毎の代表的なカメラの向きに応じて、カメラ映像に加える画像処理の種類もしくは有無を決定する画像処理決定手段と、
前記カメラ検出手段により同一空間に存在すると確認された複数のカメラ映像を、前記表示位置決定手段により決定された表示位置に、前記画像処理決定手段により決定された種類の画像処理を施してあるいは施すことなく表示する表示手段と、
を備えたことを特徴とする会議用表示システム。
前記カメラ映像に加える画像処理は、鏡像反転処理、回転処理、画面の一方向を軸として回転させた三次元的な歪みを、平行四辺形や台形に変形することで画面上に立体的に再現する処理の少なくともいずれかである請求項１に記載の会議用表示システム。
前記カメラ映像に加える画像処理は、一つまたは複数の画像処理方法の中から一つまたは複数が選択される請求項１または２に記載の会議用表示システム。
前記実際の配置を模した表示位置とは、基準となる一直線に対し、各カメラの位置から垂直に引いた直線との交点の並び順に基づいた横一列の位置か、カメラの位置同士の相対的な位置関係を保ちつつ、各画像が表示画面内に収まるような縮尺に合わせた位置か、カメラの位置同士の相対的な位置関係の変化を小さく抑えて、画像同士の辺または角を強制的に隣接させた表示位置の少なくともいずれかである請求項１〜３のいずれかに記載の会議用表示システム。
複数のカメラについて、その位置と向きを検出する位置・向き検出ステップと、
同一空間に存在する複数のカメラを検出するカメラ検出ステップと、
前記２つの検出ステップで取得した同一空間に存在する複数のカメラの向きについて、任意の分類数に分類する分類ステップと、
前記分類ステップにおいて分類された分類ごとに含まれる複数のカメラの向きの代表的な向きを算出する算出ステップと、
前記位置・向き検出ステップにおいて取得された複数のカメラの位置を参照し、実際の配置を模した表示位置を決定する表示位置決定ステップと、
前記算出ステップにおいて算出された分類毎の代表的なカメラの向きに応じて、カメラ映像に加える画像処理の種類もしくは有無を決定する画像処理決定ステップと、
前記カメラ検出ステップにおいて同一空間に存在すると確認された複数のカメラ映像を、前記表示位置決定ステップにおいて決定された表示位置に、前記画像処理決定ステップにおいて決定された種類の画像処理を施してあるいは施すことなく表示手段に表示する表示ステップと、
を備えたことを特徴とする会議用表示システムにおけるカメラ映像の表示方法。
複数のカメラについて、その位置と向きを検出する位置・向き検出ステップと、
同一空間に存在する複数のカメラを検出するカメラ検出ステップと、
前記２つの検出ステップで取得した同一空間に存在する複数のカメラの向きについて、任意の分類数に分類する分類ステップと、
前記分類ステップにおいて分類された分類ごとに含まれる複数のカメラの向きの代表的な向きを算出する算出ステップと、
前記位置・向き検出ステップにおいて取得された複数のカメラの位置を参照し、実際の配置を模した表示位置を決定する表示位置決定ステップと、
前記算出ステップにおいて算出された分類毎の代表的なカメラの向きに応じて、カメラ映像に加える画像処理の種類もしくは有無を決定する画像処理決定ステップと、
前記カメラ検出ステップにおいて同一空間に存在すると確認された複数のカメラ映像を、前記表示位置決定ステップにおいて決定された表示位置に、前記画像処理決定ステップにおいて決定された種類の画像処理を施してあるいは施すことなく表示手段に表示する表示ステップと、
を、コンピュータに実行させるための会議用表示システムにおけるカメラ映像の表示制御プログラム。