JP2021087163A - 撮影表示装置、撮影表示システムおよび撮影表示装置の制御方法 - Google Patents

Abstract

【課題】視線のずれが少なく、観察者の顔が適切な位置に表示される撮影表示装置を提供する。【解決手段】本発明の撮影表示装置は、垂直面内において光軸が傾斜可能に設置され、観察者の顔と背景とを含む領域を撮影する撮影装置と、垂直面内において撮影装置を所定の角度傾斜させる回転駆動部と、撮影装置により撮影された撮影像を表示する表示部を有する表示装置と、回転駆動部を制御する制御部と、を備え、制御部は、撮影像から観察者の顔部画像を検出する顔検出部と、顔検出部によって検出された顔部画像の垂直方向寸法に基づいて撮影装置の回転角度を算出し、回転角度に基づく制御信号を回転駆動部に送信する角度制御部と、を備える。【選択図】図１

Description

本発明は、撮影表示装置、撮影表示システムおよび撮影表示装置の制御方法に関する。

物理的に離れた複数の地点に居る参加者の映像を画面に表示し、表示された映像と音声とを用いて会議を行うシステム、いわゆるテレビ会議システムが従来から知られている。

下記の特許文献１に、テレビ会議システムに用いられる情報処理装置であって、使用者に対して表示情報を表示する表示手段と、表示手段の前方を撮像する撮像手段と、筐体の設置角度を検出する角度検出手段と、角度検出手段が検出した設置角度に基づいて撮影画像の一部を切り出す切り出し範囲を決定する決定手段と、撮影画像から切り出し範囲の画像を切り出す切り出し手段と、を備えた情報処理装置が開示されている。

特開２０１６−１１１５２１号公報

特許文献１の情報処理装置によれば、ディスプレイ等の表示手段を使用者が見やすい角度に調整した結果、例えばカメラが使用者の頭部よりも上方を向いた場合、頭部の上方に表示される余分な領域を画面から削除することができる。ところが、カメラが使用者の頭部よりも上方を向いていると、視線が下向きの人物がディスプレイに表示されるため、使用者がディスプレイを見たとき、使用者の視線とディスプレイに表示された人物の視線とがずれる。その結果、使用者に違和感が生じる、という問題がある。

上記の課題を解決するために、本発明の一つの態様の撮影表示装置は、垂直面内において光軸が傾斜可能に設置され、観察者の顔と背景とを含む領域を撮影する撮影装置と、垂直面内において前記撮影装置を所定の角度回転させる回転駆動部と、前記撮影装置により撮影された撮影像を表示する表示部を有する表示装置と、前記回転駆動部を制御する制御部と、を備え、前記制御部は、前記撮影像から前記観察者の顔部画像を検出する顔検出部と、前記顔検出部によって検出された前記顔部画像の垂直方向寸法に基づいて前記撮影装置の回転角度を算出し、前記回転角度に基づく制御信号を前記回転駆動部に送信する角度制御部と、を備える。

本発明の一つの態様の撮影表示装置において、前記角度制御部は、前記撮影像の垂直方向寸法と、前記撮影像のうちの前記顔部画像の上端と前記撮影像の全体の上端との間の寸法と、前記撮影装置の垂直方向画角と、に基づいて前記回転角度を算出してもよい。

本発明の一つの態様の撮影表示装置において、前記撮影装置が複数の観察者の顔を撮影した場合に、前記顔検出部は、複数の前記顔部画像のうち、前記顔部画像の垂直方向寸法が最も大きい顔部画像を検出してもよい。

本発明の一つの態様の撮影表示装置において、前記撮影装置が複数の観察者の顔を撮影した場合に、前記顔検出部は、複数の前記顔部画像のうち、前記顔部画像の上端と撮影像全体の上端との間隔が最も小さい顔部画像を検出してもよい。

本発明の一つの態様の撮影表示装置において、前記撮影装置が複数の観察者の顔を撮影した場合に、前記顔検出部は、複数の前記顔部画像のうち、撮影像全体の水平方向の中心に最も近い顔部画像を検出してもよい。

本発明の一つの態様の撮影表示装置は、観察者の声を含む音声を検出する音声検出装置をさらに備えていてもよく、前記撮影装置が複数の観察者の顔を撮影した場合に、前記顔検出部は、複数の前記顔部画像のうち、前記音声検出装置により検出された音量が最も大きい音源方向に位置する顔部画像を検出してもよい。

本発明の一つの態様の撮影表示装置において、前記撮影装置は、前記表示装置の前記表示部の上方に設けられていてもよい。

本発明の一つの態様の撮影表示装置は、前記撮影像に基づく画像信号を生成する信号生成部をさらに備えていてもよい。

本発明の一つの態様の撮影表示システムは、第１観察者が存在する第１地点に設けられた第１端末装置と、第２観察者が存在する第２地点に設けられた第２端末装置と、前記第１端末装置と前記第２端末装置との間で前記画像信号の通信を行う通信部と、を備え、前記第１端末装置および前記第２端末装置のうちの少なくとも一つは、本発明の一つの態様の撮影表示装置で構成され、前記第１端末装置において生成された第１画像信号が前記第２端末装置に送信されることにより、前記第１端末装置による撮影像が前記第２端末装置において表示され、前記第２端末装置において生成された第２画像信号が前記第１端末装置に送信されることにより、前記第２端末装置による撮影像が前記第１端末装置において表示される。

本発明の一つの態様の撮影表示装置の制御方法は、垂直面内において光軸が傾斜可能に設置され、観察者の顔と背景とを含む領域を撮影する撮影装置と、垂直面内において前記撮影装置を所定の角度回転させる回転駆動部と、前記撮影装置により撮影された撮影像を表示する表示部を有する表示装置と、前記回転駆動部を制御する制御部と、を備えた撮影表示装置の制御方法であって、前記制御部は、前記撮影像から前記観察者の顔部画像を検出し、前記顔部画像の垂直方向寸法に基づいて前記撮影装置の回転角度を算出し、前記回転角度に基づいて前記回転駆動部を制御する。

第１実施形態の撮影表示装置の概略構成図である。 表示画像の一例を示す図である。 傾斜角度が大きい場合の表示画像の一例を示す図である。 傾斜角度が小さい場合の表示画像の一例を示す図である。 顔検出部による検出結果を示す図である。 撮影像と撮影装置との相対的な位置関係を説明するための図である。 第２実施形態の撮影表示システムの概略構成図である。 第３実施形態の撮影表示装置における撮影像の一例を示す図である。 複数の観察者が撮影された場合に複数の顔部画像から一つの顔部画像を検出する第１の方法を示す図である。 複数の観察者が撮影された場合に複数の顔部画像から一つの顔部画像を検出する第２の方法を示す図である。 複数の観察者が撮影された場合に複数の顔部画像から一つの顔部画像を検出する第３の方法を示す図である。 第４実施形態の撮影表示装置の概略構成図である。 複数の観察者が撮影された場合に複数の顔部画像から一つの顔部画像を検出する方法を示す図である。

［第１実施形態］
以下、本発明の第１実施形態について、図１〜図６を用いて説明する。
図１は、第１実施形態の撮影表示装置の概略構成図である。
なお、以下の各図面においては各構成要素を見やすくするため、構成要素によって寸法の縮尺を異ならせて示すことがある。

本実施形態の撮影表示装置は、テレビ会議システムの一方の地点で用いられる端末装置の構成を有しているが、他方の地点との間で通信を行う通信部を備えていない。そこで、本実施形態では、使用形態として、テレビ会議ではなく、使用者が表示装置によって自分自身の顔を見る場合を想定して説明する。

図１に示すように、第１実施形態の撮影表示装置１０は、表示装置１１と、撮影装置１２と、回転駆動部１３と、制御部１４と、を備えている。

表示装置１１は、例えば液晶ディスプレイ等の画像表示装置から構成されている。表示装置１１は、表示部１６と、表示部１６を収容する枠部１７と、を有する。表示部１６は、撮影装置１２によって撮影された撮影像を表示する。表示部１６は、例えば５０〜６０インチ程度の大きさを有する。

撮影装置１２は、例えばカメラから構成されている。撮影装置１２は、表示装置１１の枠部１７のうち、表示部１６の上方に位置する個所に設けられている。撮影装置１２は、後述する回転駆動部１３を介して、垂直面内において撮影装置１２の光軸ａｘ１が傾斜可能に設置されている。撮影装置１２は、観察者Ｍの顔と背景とを含む領域を撮影する。撮影装置１２の光軸ａｘ１は、撮影装置１２の撮像レンズの光軸である。なお、撮影装置１２は、表示装置１１の枠部１７のうち、表示部１６の下方に位置する個所に設けられていてもよい。ただし、一般に、人の視線のずれの許容角度は、上側が１１度程度、下側が９度程度と言われている。したがって、撮影装置１２は、表示部１６の上方に設けられることが望ましい。

回転駆動部１３は、例えばモーター（図示略）と回転伝達機構（図示略）とから構成されている。回転駆動部１３は、後述する角度制御部２２からの制御信号を受信し、制御信号に基づいて、撮影装置１２を垂直面内において所定の回転角度で回転させる。

制御部１４は、回転駆動部１３を制御する。制御部１４は、顔検出部２１と、角度制御部２２と、映像出力部２３と、を備えている。

顔検出部２１は、撮影装置１２によって撮影された撮影像から、観察者Ｍの顔部画像を検出する。角度制御部２２は、顔検出部２１によって検出された顔部画像の垂直方向寸法に基づいて撮影装置１２の回転角度を算出し、回転角度に基づく制御信号を回転駆動部１３に送信する。映像出力部２３は、撮影装置１２によって撮影された撮影像に対応する画像信号を表示装置１１に向けて出力する。

制御部１４において、顔検出部２１は、撮影装置１２によって撮影された撮影像に基づいて顔部画像を検出し、検出された顔部画像の位置と大きさとの情報が角度制御部２２に入力される。角度制御部２２は、顔部画像の位置と大きさとの情報に基づいて撮影装置１２の回転角度を算出し、制御信号を回転駆動部１３に出力する。このように、撮影表示装置１０は、検出した顔部画像の位置と大きさの情報に基づいて、撮影装置１２の傾斜角度βが制御できるように構成されている。
撮影装置１２の傾斜角度βは、水平軸ａｘ０と撮影装置１２の光軸ａｘ１とのなす角度と定義する。

図２は、表示装置１１に表示された表示画像Ｇ１の一例を示す図である。
図２に示すように、表示装置１１の表示部１６には、表示画像Ｇ１として、観察者Ｍの顔と背景とが表示される。

ここで、観察者Ｍが表示部１６に表示された画像上の目Ｅ１を観察したとする。図１の例では、例えば観察者Ｍは表示装置１１の前に立っており、観察者Ｍの目Ｅ０の位置が画像上の目Ｅ１の位置よりも高い。そのため、観察者Ｍは、表示部１６に表示された画像上の目Ｅ１を見下ろすことになる。なお、観察者Ｍが表示装置１１の前方に着座しており、観察者Ｍの目Ｅ０の位置が画像上の目Ｅ１の位置よりも低く、観察者Ｍが画像上の目Ｅ１を見上げる位置関係であってもよい。

また、図１の例では、撮影装置１２の設置位置は、観察者Ｍの頭部よりも高い。この場合、撮影装置１２は、表示装置１１の上側から斜めに見下ろす形態で観察者Ｍを撮影する一方、観察者Ｍが画像上の目Ｅ１を見る視線は斜め下向きに向かう。そのため、視線が合わないことになる。ここで、観察者Ｍの目Ｅ０と画像上の目Ｅ１とを結ぶ直線Ｌ１と、観察者Ｍの目Ｅ０と撮影装置１２のレンズの中心とを結ぶ直線Ｌ２と、のなす角度を差異角度αと定義する。差異角度αを小さくする程、すなわち、画像上の目Ｅ１の位置と撮影装置１２の位置とを近くする程、視線のずれを小さくすることができる。

図４は、撮影装置１２の傾斜角度βが大きい場合の表示画像Ｇ２の一例を示す図である。
図４に示すように、撮影装置１２の傾斜角度βが大きい場合、画像上の目Ｅ１が表示部１６の比較的上部に表示される。そのため、差異角度αが小さくなり、視線のずれは非常に小さくなる。ところが、撮影装置１２の傾斜角度βが大きいことにより、観察者Ｍの全体が表示されず、例えば頭部の一部が表示装置１１の枠部１７によって切れる場合がある。

これに対して、図３は、撮影装置１２の傾斜角度βが小さい場合の表示画像Ｇ３の一例を示す図である。
図３に示すように、撮影装置１２の傾斜角度βが小さい場合、画像上の頭部の上方に背景が大きく写り、図３のように頭部の一部が表示装置１１の枠部１７によって切れることはない。ところが、画像上の目Ｅ１が表示部１６の比較的下部に表示されるため、差異角度αが大きくなり、視線のずれは非常に大きくなる。

先に示した図２は、本実施形態の撮影表示装置１０における表示画像であって、撮影装置１２の傾斜角度βが適切に設定されたことにより、図３および図４に比べて、表示部１６内の頭部の位置と視線のずれとのバランスが良い。すなわち、視線はわずかにずれるものの、視線のずれに大きな違和感を生じることはなく、顔部を自然な位置で観察することができる。

なお、本実施形態の場合、表示装置１１は部屋に設置された状態で固定されており、図１における観察者Ｍの目Ｅ０の高さと表示装置１１の高さとの相対関係は、観察者Ｍの身長、着座した椅子の高さおよび座高等のパラメーターによる固定値となる。したがって、最適な傾斜角度βは、観察者Ｍと表示装置１１との間の距離、いわゆる観察距離によっても異なるが、個人ごとに異なる。

以下、制御部１４における表示装置１１の傾斜角度βの算出方法について説明する。
図５は、顔検出部２１による検出結果を示す図である。
図５に示すように、顔検出部２１は、公知の顔検出アルゴリズムを用いて、撮影像Ｉ１の中から顔部画像Ｉ２を検出し、顔部画像Ｉ２に相当する顔検出枠２５を設定する。

ここで、撮影像Ｉ１の垂直方向寸法をｈとし、顔検出枠２５の垂直方向寸法をｆとし、顔検出枠２５の上端から撮影像Ｉ１の上端までの寸法をｓとする。また、寸法ｓのうち、表示領域Ｒ１の垂直方向寸法をｒとし、不要領域Ｒ２の垂直方向寸法をｕとする。すなわち、表示領域Ｒ１は、顔検出枠２５の上端から撮影像Ｉ１の上端までの領域のうち、表示部１６に表示させる領域であり、不要領域Ｒ２は、顔検出枠２５の上端から撮影像Ｉ１の上端までの領域のうち、表示部１６に表示させない領域である。上記のｈ，ｆ，ｓ，ｒ，ｕの各パラメーターは、画素数単位で表現されており、顔検出部２１から角度制御部２２に出力される。なお、顔検出枠２５は、画像処理上の顔部画像Ｉ２の位置を示すものであるから、表示部１６に表示される必要はない。

図６は、撮影像Ｉ１と撮影装置１２との相対的な位置関係を説明するための図である。
図６では、撮影像Ｉ１のうち、顔部画像Ｉ２に相当する部分を太い直線で簡易的に示している。また、太い直線の上端および下端は、顔検出枠２５の位置に相当する。大文字で示した符号Ｈ，Ｆ，Ｓ，Ｒ，Ｕは、図５における小文字の符号を実寸単位で表している。すなわち、撮影像Ｉ１の垂直方向寸法はＨであり、顔検出枠２５、すなわち、顔部画像Ｉ２の垂直方向寸法はＦであり、顔検出枠２５の上端から撮影像Ｉ１の上端までの距離はＳである。また、距離Ｓのうち、表示領域Ｒ１の垂直方向寸法はＲであり、不要領域Ｒ２の垂直方向寸法はＵである。観察者Ｍから撮影装置１２までの水平方向距離はＤである。撮影装置１２の垂直方向画角はθである。

次に、角度制御部２２は、図６に示した検出結果に基づいて、以下の手順によって撮影装置１２の回転角度γを算出する。
ここで、顔部画像Ｉ２が表示部１６内で最適な位置に表示されるように、上述の不要領域Ｒ２を削除して、表示部１６の上端が顔検出枠２５の上端からｒ（Ｒ）の距離に位置するように、撮影装置１２を回転角度γだけ下向きに回転させることを考える。

ここで、表示領域Ｒ１の垂直方向寸法ｒの値は、例えば顔検出枠２５の垂直方向寸法ｆのｋ倍というように、予め決めておけばよい。この例では、ｋ＝１．１とし、ｒ＝１．１×ｆとする。このようにして、顔部画像Ｉ２の大きさに対応させて、顔部画像Ｉ２の上方の表示範囲を設定することができる。なお、定数ｋの値は任意に決定することができ、顔部画像Ｉ２の上方の表示範囲を広く取りたければ、定数ｋを相対的に大きくし、顔部画像Ｉ２の上方の表示範囲をあまり広く取りたくなければ、定数ｋを相対的に小さくすればよい。

撮影装置１２の回転角度γは、不要領域Ｒ２の垂直方向寸法ｕに対応する。図５に示すように、不要領域Ｒ２の垂直方向寸法ｕは、ｕ＝ｓ−ｒ で算出することができる。したがって、本例では、ｕ＝ｓ−ｒ＝ｓ−１．１×ｆとなる。

次に、不要領域Ｒ２の垂直方向寸法ｕに対応する回転角度γを求める。
ここでは、計算を簡単にするために、撮影装置１２の光軸ａｘ１と観察者Ｍの顔部画像Ｉ２を示す直線とが直交しているものとみなして、近似値を求める。
図５および図６から、下記の（１）式が導出される。

（１）式をｕについて解くと、下記の（２）式が導出される。

ここで、タンジェントの加法定理から、下記の（３）式が導出される。

（３）式を用いて（２）式を変形すると、下記の（４）式が導出される。

（４）式をtanγについて解くと、下記の（５）式が導出される。

（５）式をγについて解くと、下記の（６）式が導出される。

角度制御部２２は、予め決められた固定値であるパラメーターｈ，θと、顔検出枠２５の上端から撮影像Ｉ１の上端までの寸法ｓと顔検出枠２５の垂直方向寸法ｆとで決まるパラメーターｕの値を（６）式に代入することにより、撮影装置１２の回転角度γを算出することができる。次いで、角度制御部２２は、回転角度γに基づく制御信号を回転駆動部１３に送信する。すなわち、角度制御部２２は、撮影像Ｉ１の垂直方向寸法ｈと、撮影装置１２の垂直方向画角θと、顔部画像Ｉ２の上方に位置し、顔検出枠２５の位置にあたる寸法ｓと垂直方向寸法ｆにより算出できる不要領域Ｒ２の垂直方向寸法ｕと、に基づいて回転角度γを算出する。

本実施形態の撮影表示装置１０の制御方法は、制御部１４が、撮影像Ｉ１から観察者Ｍの顔部画像Ｉ２を検出し、顔部画像Ｉ２の垂直方向寸法ｆに基づいて撮影装置１２の回転角度γを算出し、回転角度γに基づいて回転駆動部１３を制御するものである。

このように、本実施形態の撮影表示装置１０によれば、観察者Ｍの身長や座高が異なったり、観察距離Ｄが異なったりした場合であっても、表示部１６上の最適な位置で視線のずれが大きくならないように顔を表示することができる。すなわち、視線のずれのみを改善するのであれば、撮影装置１２の傾斜角度βを大きくすればよいが、その場合、図３に示すように、観察者Ｍの顔が適切な位置に表示されない場合がある。また、観察者Ｍの顔の上方に広く余裕を取って表示するのであれば、撮影装置１２の傾斜角度βを小さくすればよいが、その場合、図４に示すように、視線のずれは非常に大きくなる。これに対して、本実施形態の撮影表示装置１０によれば、視線のずれの問題と顔の表示位置の問題とがバランス良く改善され、違和感の少ない画像を得ることができる。

［第２実施形態］
以下、本発明の第２実施形態について、図７を用いて説明する。
第２実施形態では、第１実施形態で説明した撮影表示装置を２つの地点のそれぞれに設置し、テレビ会議を行うことが可能な撮影表示システムについて説明する。
本実施形態で用いる撮影表示装置の基本構成は第１実施形態の撮影表示装置と同様であるため、詳細な説明は省略する。
図７は、第２実施形態の撮影表示システムの概略構成図である。
図７において、第１実施形態で用いた図面と共通の構成要素には同一の符号を付す。

図７に示すように、第２実施形態の撮影表示システム３０は、第１観察者Ｍ１が存在する第１地点に設けられた第１端末装置３１と、第２観察者Ｍ２が存在する第２地点に設けられた第２端末装置３２と、第１端末装置３１と第２端末装置３２との間で画像信号の通信を行う通信部３３と、を備えている。第１端末装置３１および第２端末装置３２のそれぞれは、同一の構成を有する撮影表示装置３５から構成されている。

本実施形態の撮影表示装置３５は、表示装置１１と、撮影装置１２と、回転駆動部１３と、制御部３６と、を備えている。制御部３６は、顔検出部２１と、角度制御部２２と、映像出力部２３と、信号生成部３７と、を備えている。

信号生成部３７は、撮影装置１２によって撮影された撮影像に基づく画像信号を生成する。信号生成部３７は、例えば撮影像をコード化して画像信号を生成するコーデックから構成されている。

通信部３３は、第１端末装置３１と第２端末装置３２との間を接続する。通信部３３は、ＷＡＮ（Wide Area Network）／ＬＡＮ（Local Area Network）回線から構成されている。第１端末装置３１の信号生成部３７において生成された第１画像信号が通信部３３を介して第２端末装置３２に送信されることにより、第１端末装置３１による撮影像が映像出力部２３を介して第２端末装置３２において表示される。また、第２端末装置３２の信号生成部３７において生成された第２画像信号が通信部３３を介して第１端末装置３１に送信されることにより、第２端末装置３２による撮影像が映像出力部２３を介して第１端末装置３１において表示される。なお、通信部３３において、ＷＡＮ／ＬＡＮ回線の間にサーバー等の機器が介在していてもよい。

第１地点の第１端末装置３１において撮影装置１２の傾斜角度βが最適に設定されることにより、第１観察者Ｍ１の視線のずれが少なく、第１観察者Ｍ１の顔の表示位置が適切に設定された画像が第２端末装置３２に表示される。同様に、第２地点の第２端末装置３２において撮影装置１２の傾斜角度βが最適に設定されることにより、第２観察者Ｍ２の視線のずれが少なく、第２観察者Ｍ２の顔の表示位置が適切に設定された画像が第１端末装置３１に表示される。これにより、第１観察者Ｍ１と第２観察者Ｍ２との互いの視線のずれが少なくなり、かつ、双方の観察者Ｍ１，Ｍ２の顔が各表示部１６上の適切な位置に表示される。

本実施形態の撮影表示システム３０によれば、各参加者が違和感を持つことが少なく、最適な撮影画像を見ながらテレビ会議を円滑に進めることができる。

［第３実施形態］
以下、本発明の第３実施形態について、図８〜図１１を用いて説明する。
第３実施形態の撮影表示装置の基本構成は第１実施形態の撮影表示装置と同様であり、複数の観察者が撮影された場合の検出手段を備える点が異なる。
図８は、第３実施形態の撮影表示装置において、撮影装置が撮影した撮影像Ｉ４の一例を示す図である。

図８に示すように、本実施形態の撮影表示装置において、撮影装置１２が複数の観察者Ｍ５，Ｍ６，Ｍ７，Ｍ８を撮影した場合、制御部１４は、複数の観察者Ｍ５，Ｍ６，Ｍ７，Ｍ８のうち、いずれか１名の参加者の顔部画像を検出する機能を有する。本実施形態の場合、第１実施形態のように、観察者が自分自身とその周囲に居る複数の観察者を見る構成であってもよいし、第２実施形態のように、観察者が他の地点に居る複数の観察者を見る構成であってもよい。

以下、複数の顔部画像Ｉ５，Ｉ６，Ｉ７，Ｉ８から一つの顔部画像を検出する３つの方法について説明する。

（第１の方法）
図９は、複数の観察者Ｍ５，Ｍ６，Ｍ７，Ｍ８が撮影された場合に複数の顔部画像Ｉ５，Ｉ６，Ｉ７，Ｉ８から一つの顔部画像を検出する第１の方法を示す図である。
図９に示すように、最初に、顔検出部２１は、撮影像Ｉ４内の複数の顔部画像Ｉ５，Ｉ６，Ｉ７，Ｉ８を検出し、複数の顔部画像Ｉ５，Ｉ６，Ｉ７，Ｉ８にラベル付けを行う（ステップＳ１）。

次に、顔検出部２１は、複数の顔部画像Ｉ５，Ｉ６，Ｉ７，Ｉ８のうち、顔部画像、すなわち顔検出枠２５の垂直方向寸法ｆ（図５参照）が最も大きい顔部画像を検出する（ステップＳ２）。
次に、角度制御部２２は、検出された顔検出枠２５の垂直方向寸法ｆが最も大きい顔部画像に対して、上記の（４）式を用いて不要領域Ｒ２の垂直方向寸法ｕを算出する（ステップＳ３）。
次に、角度制御部２２は、顔検出枠２５の上端から撮影像Ｉ４の上端までの寸法ｓとｆとから算出された不要領域Ｒ２の垂直方向寸法ｕ、および（６）式を用いて撮影装置１２の回転角度γを算出する（ステップＳ４）。

（第２の方法）
図１０は、複数の観察者Ｍ５，Ｍ６，Ｍ７，Ｍ８が撮影された場合に複数の顔部画像Ｉ５，Ｉ６，Ｉ７，Ｉ８から一つの顔部画像を検出する第２の方法を示す図である。
図１０に示すように、最初に、顔検出部２１は、撮影像Ｉ４内の複数の顔部画像Ｉ５，Ｉ６，Ｉ７，Ｉ８を検出し、複数の顔部画像Ｉ５，Ｉ６，Ｉ７，Ｉ８にラベル付けを行う（ステップＳ１）。

次に、顔検出部２１は、複数の顔部画像Ｉ５，Ｉ６，Ｉ７，Ｉ８のうち、顔検出枠２５の上端から撮影像Ｉ４の上端までの距離ｓ（図５参照）が最も小さい顔部画像を検出する（ステップＳ２）。
次に、角度制御部２２は、検出された顔検出枠２５の上端から撮影像Ｉ４の上端までの距離ｓが最も小さい顔部画像に対して、上記の（４）式を用いて不要領域Ｒ２の垂直方向寸法ｕを算出する（ステップＳ３）。
次に、角度制御部２２は、顔検出枠２５の上端から撮影像Ｉ４の上端までの寸法ｓとｆとから算出された不要領域Ｒ２の垂直方向寸法ｕ、および（６）式を用いて撮影装置１２の回転角度γを算出する（ステップＳ４）。

（第３の方法）
図１１は、複数の観察者Ｍ５，Ｍ６，Ｍ７，Ｍ８が撮影された場合に複数の顔部画像Ｉ５，Ｉ６，Ｉ７，Ｉ８から一つの顔部画像を検出する第３の方法を示す図である。
図１１に示すように、最初に、顔検出部２１は、撮影像Ｉ４内の複数の顔部画像Ｉ５，Ｉ６，Ｉ７，Ｉ８を検出し、複数の顔部画像Ｉ５，Ｉ６，Ｉ７，Ｉ８にラベル付けを行う（ステップＳ１）。

次に、顔検出部２１は、複数の顔部画像Ｉ５，Ｉ６，Ｉ７，Ｉ８のうち、撮影像Ｉ４の水平方向の中心に最も近い位置にある顔部画像を検出する（ステップＳ２）。
次に、角度制御部２２は、検出された撮影像Ｉ４の水平方向の中心に最も近い位置にある顔部画像に対して、上記の（４）式を用いて不要領域Ｒ２の垂直方向寸法ｕを算出する（ステップＳ３）。
次に、角度制御部２２は、顔検出枠２５の上端から撮影像Ｉ４の上端までの寸法ｓとｆとから算出された不要領域Ｒ２の垂直方向寸法ｕ、および（６）式を用いて撮影装置１２の回転角度γを算出する（ステップＳ４）。

本実施形態の撮影表示装置によれば、複数の観察者が撮影された場合であっても、第１実施形態と同様、視線のずれが少なく、顔が適切な位置に表示された画像を得ることができる。

複数の顔部画像から一つの顔部画像を検出する第１の方法を用いた場合、顔部画像の寸法が最も大きい観察者、すなわち、撮影装置１２に最も近くに居ると思われる観察者、例えば図８の観察者Ｍ５に対して、視線のずれが少なく、顔が適切な位置に表示された画像を得ることができる。

複数の顔部画像から一つの顔部画像を検出する第２の方法を用いた場合、表示部１６内の最も上方に表示される観察者、例えば図８の観察者Ｍ６の顔部画像が切れないように表示されるため、全ての観察者Ｍ５，Ｍ６，Ｍ７，Ｍ８の顔部画像が切れないように表示される。

複数の顔部画像から一つの顔部画像を検出する第３の方法を用いた場合、表示部１６の水平方向の中央に最も近い位置に居る観察者、例えば図８の観察者Ｍ７を最も重要な観察者とみなし、その観察者に対して、視線のずれが少なく、顔が適切な位置に表示された画像を得ることができる。

［第４実施形態］
以下、本発明の第４実施形態について、図１２および図１３を用いて説明する。
第４実施形態の撮影表示装置の基本構成は第１実施形態の撮影表示装置と同様であり、音源の方向を検出する手段を備える点が異なる。
図１２は、第４実施形態の撮影表示装置の概略構成図である。
図１２において、第１実施形態で用いた図１と共通の構成要素には同一の符号を付し、説明を省略する。

本実施形態の撮影表示装置４０は、表示装置１１と、撮影装置１２と、回転駆動部１３と、制御部４１と、音声検出装置４２と、を備えている。制御部４１は、顔検出部２１と、角度制御部２２と、映像出力部２３と、音源方向検出部４３と、を備えている。

音声検出装置４２は、例えば表示装置１１の前方の任意の位置に設置されている。音声検出装置４２は、表示装置１１の前方に居る複数の観察者Ｍ５，Ｍ６，Ｍ７，Ｍ８の声を含む音声を検出する。音声検出装置４２は、例えばステレオマイクロフォンから構成されている。

制御部４１は、撮影装置１２が複数の観察者Ｍ５，Ｍ６，Ｍ７，Ｍ８を撮影した場合、音声検出装置４２が検出した音声データから、音量が最も大きい音源の方向を検出する音源方向検出部４３を有する。

図１３は、図８に示したように複数の観察者Ｍ５，Ｍ６，Ｍ７，Ｍ８が撮影された場合に複数の顔部画像Ｉ５，Ｉ６，Ｉ７，Ｉ８から一つの顔部画像を検出する方法を示す図である。

図１３に示すように、最初に、顔検出部２１は、撮影像Ｉ４内の複数の顔部画像Ｉ５，Ｉ６，Ｉ７，Ｉ８を検出し、複数の顔部画像Ｉ５，Ｉ６，Ｉ７，Ｉ８にラベル付けを行う（ステップＳ１）。

次に、音源方向検出部４３は、複数の顔部画像のうち、音声検出装置によって検出された音量が最も大きい音源の方向を検出し、検出結果を顔検出部２１に出力する。
次に、顔検出部２１は、音源方向検出部４３の検出結果に基づいて、音量が最も大きい音源方向に対応する顔部画像を選択する（ステップＳ２）。

次に、角度制御部２２は、検出された音量が最も大きい音源方向に位置する顔部画像に対して、上記の（４）式を用いて不要領域Ｒ２の垂直方向寸法ｕを算出する（ステップＳ３）。
次に、角度制御部２２は、顔検出枠２５の上端から撮影像Ｉ４の上端までの寸法ｓとｆとから算出された不要領域Ｒ２の垂直方向寸法ｕ、および（６）式を用いて撮影装置１２の回転角度γを算出する（ステップＳ４）。

本実施形態の撮影表示装置４０によれば、第３実施形態と同様、複数の観察者が撮影された場合であっても、視線のずれが少なく、顔が適切な位置に表示された画像を得ることができる。

特に本実施形態の場合、例えばテレビ会議の席上で最も大きい声で話をしている人をその場面で最も注目すべき人とみなし、その人に対して、視線のずれが少なく、適切な位置に顔が表示された画像を得ることができる。

なお、本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
例えば上記実施形態の撮影表示装置では、複数の観察者が撮影された場合に、制御部が図９〜図１１，図１３等で示される特定の条件を満たす一つの顔部画像を自動的に選択する構成を有する例を挙げた。この構成に代えて、複数の観察者が撮影された場合に、観察者が複数の顔部画像の中から一つの顔部画像を自由に選択できる構成としてもよい。例えば顔部画像の大きさが小さい参加者であっても、観察者がこの参加者が最も重要な観察者であると判断した場合には、観察者がその参加者の顔部画像を選択できる構成であってもよい。

また、表示装置として液晶ディスプレイの例を挙げたが、例えばプロジェクターとスクリーンとを有する表示装置が用いられてもよい。スクリーンはフロント、リアのいずれの方式であってもよい。また、有機ＥＬディスプレイ等のフラットパネルであってもよい。また、裸眼方式、眼鏡方式等による立体画像が視認可能な表示装置が用いられてもよい。

その他、撮影表示装置および撮影表示システムを構成する各種構成要素の形状、数、配置等に関しては、上記実施形態に限らず、適宜変更が可能である。

また、本発明の一つの形態の撮影表示システムは、テレビ会議に限らず、例えば複数の地点に居る参加者によるゲームなどのアミューズメント用途で使うこともできる。

１０，３５，４０…撮影表示装置、１１…表示装置、１２…撮影装置、１３…回転駆動部、１４，３６，４１…制御部、１６…表示部、２１…顔検出部、２２…角度制御部、３０…撮影表示システム、３１…第１端末装置、３２…第２端末装置、３３…通信部、３７…信号生成部、４２…音声検出装置、ａｘ１…光軸、Ｉ１，Ｉ４…撮影像、Ｉ２，Ｉ５，Ｉ６，Ｉ７，Ｉ８…顔部画像、Ｍ，Ｍ５，Ｍ６，Ｍ７，Ｍ８…観察者、Ｍ１…第１観察者、Ｍ２…第２観察者、γ…回転角度。

Claims (10)

1. 垂直面内において光軸が傾斜可能に設置され、観察者の顔と背景とを含む領域を撮影する撮影装置と、
   垂直面内において前記撮影装置を所定の角度回転させる回転駆動部と、
   前記撮影装置により撮影された撮影像を表示する表示部を有する表示装置と、
   前記回転駆動部を制御する制御部と、を備え、
   前記制御部は、
   前記撮影像から前記観察者の顔部画像を検出する顔検出部と、
   前記顔検出部によって検出された前記顔部画像の垂直方向寸法に基づいて前記撮影装置の回転角度を算出し、前記回転角度に基づく制御信号を前記回転駆動部に送信する角度制御部と、
   を備える、撮影表示装置。
2. 前記角度制御部は、前記撮影像の垂直方向寸法と、前記撮影像のうちの前記顔部画像の上端と前記撮影像の全体の上端との間の寸法と、前記撮影装置の垂直方向画角と、に基づいて前記回転角度を算出する、請求項１に記載の撮影表示装置。
3. 前記撮影装置が複数の観察者の顔を撮影した場合に、
   前記顔検出部は、複数の前記顔部画像のうち、前記顔部画像の垂直方向寸法が最も大きい顔部画像を検出する、請求項１または請求項２に記載の撮影表示装置。
4. 前記撮影装置が複数の観察者の顔を撮影した場合に、
   前記顔検出部は、複数の前記顔部画像のうち、前記顔部画像の上端と撮影像全体の上端との間隔が最も小さい顔部画像を検出する、請求項１または請求項２に記載の撮影表示装置。
5. 前記撮影装置が複数の観察者の顔を撮影した場合に、
   前記顔検出部は、複数の前記顔部画像のうち、撮影像全体の水平方向の中心に最も近い顔部画像を検出する、請求項１または請求項２に記載の撮影表示装置。
6. 観察者の声を含む音声を検出する音声検出装置をさらに備え、
   前記撮影装置が複数の観察者の顔を撮影した場合に、
   前記顔検出部は、複数の前記顔部画像のうち、前記音声検出装置により検出された音量が最も大きい音源方向に位置する顔部画像を検出する、請求項１または請求項２に記載の撮影表示装置。
7. 前記撮影装置は、前記表示装置の前記表示部の上方に設けられた、請求項１から請求項６までのいずれか一項に記載の撮影表示装置。
8. 前記撮影像に基づく画像信号を生成する信号生成部をさらに備える、請求項１から請求項７までのいずれか一項に記載の撮影表示装置。
9. 第１観察者が存在する第１地点に設けられた第１端末装置と、
   第２観察者が存在する第２地点に設けられた第２端末装置と、
   前記第１端末装置と前記第２端末装置との間で前記画像信号の通信を行う通信部と、
   を備え、
   前記第１端末装置および前記第２端末装置のうちの少なくとも一つは、請求項８に記載の撮影表示装置で構成され、
   前記第１端末装置において生成された第１画像信号が前記第２端末装置に送信されることにより、前記第１端末装置による撮影像が前記第２端末装置において表示され、
   前記第２端末装置において生成された第２画像信号が前記第１端末装置に送信されることにより、前記第２端末装置による撮影像が前記第１端末装置において表示される、撮影表示システム。
10. 垂直面内において光軸が傾斜可能に設置され、観察者の顔と背景とを含む領域を撮影する撮影装置と、
    垂直面内において前記撮影装置を所定の角度回転させる回転駆動部と、
    前記撮影装置により撮影された撮影像を表示する表示部を有する表示装置と、
    前記回転駆動部を制御する制御部と、を備える撮影表示装置の制御方法であって、
    前記制御部は、前記撮影像から前記観察者の顔部画像を検出し、前記顔部画像の垂直方向寸法に基づいて前記撮影装置の回転角度を算出し、前記回転角度に基づいて前記回転駆動部を制御する、撮影表示装置の制御方法。

Images