JP2011023886A - テレビ会議装置及び映像表示処理方法 - Google Patents

Abstract

【課題】各拠点のディスプレイの画面サイズによらず、相手拠点の各カメラが撮影した被写体を、自拠点の各ディスプレイに等身大で表示可能なテレビ会議装置を提供すること。
【解決手段】自拠点と少なくとも１つの相手拠点との間で映像を送受信するテレビ会議システムで用いられるテレビ会議装置は、相手拠点からの映像を受信する映像受信部と、相手拠点のカメラのズーム倍率設定情報を受信するズーム倍率設定受信部と、ズーム倍率設定情報、及び自拠点のディスプレイの画面サイズ情報に基づいて、相手拠点の各カメラによって撮影された映像中の各被写体が自拠点のディスプレイに等身大で表示される拡大縮小率を導出する映像拡大縮小率導出部と、相手拠点から送信された映像を、拡大縮小率に基づいて、拡大又は縮小する映像拡大縮小部と、拡大又は縮小された相手拠点毎の映像を、自拠点のディスプレイにそれぞれ表示する制御を行う映像表示制御部とを備える。
【選択図】図２

Description

本発明は、カメラが撮影した映像を互いに送受信して表示することによって、遠隔地に居る者と通信を行うためのテレビ会議装置及び映像表示処理方法に関する。

近年、ＩＰネットワークのインフラストラクチャーが整備されてきたことに伴い、映像や音声等のデータをＩＰネットワーク経由で遠隔拠点に伝送して表示するテレビ会議装置の導入が進んでいる。さらに、プラズマディスプレイ等の大画面テレビの普及により、カメラのズーム倍率を調整して、相手拠点の画面に被写体の像が等身大で映るよう設定可能なテレビ会議システムも考えられている。当該テレビ会議システムによれば、テレビ会議の相手があたかも自分の目の前にいるような臨場感が得られる。

特許文献１に開示されたテレビ会議システムでは、プロジェクタ、カメラ及び被写体である人物の着座位置をそれぞれ固定し、カメラのズーム倍率とプロジェクタの表示倍率を設定している。これにより、特許文献１に開示されたテレビ会議システムでは、テレビ会議の相手拠点側のプロジェクタが照射するスクリーンに、被写体である人物を等身大で表示することができる。

特開平８−３２９４８号公報 特開平１０−３０２０４６号公報

テレビ会議システムを行う各拠点で、画面サイズが異なるディスプレイ等の表示機器が用いられる場合がある。このような場合は、自拠点（第１拠点）側での被写体の映像を相手拠点（第２拠点）に設置された表示機器の画面に等身大で表示するためには、次に示す操作が行われる必要がある。すなわち、第２拠点側のユーザが、第１拠点に設置されたカメラのズーム倍率を遠隔操作によって設定する必要がある。または、第１拠点側のユーザが、テレビ会議又は電話等の遠隔コミュニケーション手段を介した第２拠点側からの指示に応じて、第１拠点に設置されたカメラのズーム倍率を調節する必要がある。

なお、上記説明した特許文献１に記載のテレビ会議システムを実現するためには、テレビ会議を行う各拠点に、全く同じ機器によって構成されたシステムを設置する必要がある。

本発明の目的は、各拠点に設置されたディスプレイの画面サイズによらず、相手拠点の各カメラが撮影した被写体を、自拠点に設置された各ディスプレイに等身大で表示可能なテレビ会議装置及び映像表示処理方法を提供することである。

本発明は、自拠点と少なくとも１つの相手拠点との間で、カメラで撮影した映像を互いに送受信してディスプレイに表示するテレビ会議システムで用いられるテレビ会議装置であって、前記相手拠点から送信された映像を受信する映像受信部と、前記相手拠点に設置された各カメラのズーム倍率設定情報をそれぞれ受信するズーム倍率設定受信部と、前記ズーム倍率設定受信部が受信したズーム倍率設定情報、及び前記自拠点に設置されたディスプレイの画面サイズ情報に基づいて、前記前記相手拠点の各カメラによって撮影された映像中の各被写体が前記自拠点に設置されたディスプレイに等身大で表示される拡大縮小率を、前記相手拠点毎に導出する映像拡大縮小率導出部と、前記相手拠点から送信された映像を、前記拡大縮小率に基づいて、それぞれ拡大又は縮小する映像拡大縮小部と、前記映像拡大縮小部によって拡大又は縮小された前記相手拠点毎の映像を、前記自拠点のディスプレイにそれぞれ表示する制御を行う映像表示制御部と、を備えたテレビ会議装置を提供する。

また、本発明は、自拠点と少なくとも１つの相手拠点との間で、カメラで撮影した映像を互いに送受信してディスプレイに表示するテレビ会議システムで用いられるテレビ会議装置が行う映像表示処理方法であって、前記相手拠点から送信された映像を受信し、前記相手拠点に設置された各カメラのズーム倍率設定情報をそれぞれ受信し、前記ズーム倍率設定情報、及び前記自拠点に設置されたディスプレイの画面サイズ情報に基づいて、前記前記相手拠点の各カメラによって撮影された映像中の各被写体が前記自拠点に設置されたディスプレイに等身大で表示される拡大縮小率を、前記相手拠点毎に導出し、前記相手拠点から送信された映像を、前記拡大縮小率に基づいて、それぞれ拡大又は縮小し、前記拡大又は縮小された前記相手拠点毎の映像を、前記自拠点のディスプレイにそれぞれ表示する制御を行うことを特徴とする映像表示処理方法を提供する。

本発明に係るテレビ会議装置及び映像表示処理方法によれば、各拠点に設置されたディスプレイの画面サイズがそれぞれ異なっても、相手拠点のカメラが撮影した被写体の映像を自拠点に設置されたディスプレイに等身大で表示できる。すなわち、相手拠点に設置された各カメラが撮影した被写体を、自拠点に設置されたディスプレイに等身大で表示できる。したがって、当該テレビ会議装置のユーザは、あたかも自拠点側に存在するような、臨場感のあるテレビ会議を行うことができる。なお、拠点数は２つに限らず、３つ以上の拠点数であっても同様の効果を奏する。

一実施形態のテレビ会議装置を含むテレビ会議システムの構成の一例を示すブロック図 一実施形態のテレビ会議装置の内部構成を示すブロック図 （ａ）拡大された映像とディスプレイの画面との大きさの関係を示す図、及び（ｂ）拡大された映像と、加工された映像と、ディスプレイの画面との大きさの関係を示す図 拡大映像中の被写体の顔の位置と映像データの切り捨て領域の関係の例を示す図 （ａ）縮小された映像とディスプレイの画面との大きさの関係を示す図、及び（ｂ）縮小された映像と、加工された映像と、ディスプレイの画面との大きさの関係を示す図 縮小映像中の被写体の顔の位置と映像データの追加領域の関係の例を示す図 図２に示したテレビ会議装置１００がディスプレイ１３０に映像を表示する際の動作を示すフローチャート ３つの拠点Ａ〜Ｂのテレビ会議装置１００がネットワーク１２０を介して接続されたテレビ会議システムを示すブロック図 （ａ）映像加工部１３１が縮小映像の外周に黒色の映像データを追加した映像をディスプレイ１３０に表示した例を示す図、及び（ｂ）映像加工部１３１が縮小映像の外周の映像データを処理した映像をディスプレイ１３０に表示した例を示す図 （ａ）映像の一例を示す図、及び（ｂ）映像をセグメンテーションした各領域を示す図 セグメント拡張した映像の一例を示す図 図９〜図１１を参照して説明した映像加工部１３１の動作を示すフローチャート

以下、本発明の実施形態について、図面を参照して説明する。

図１は、一実施形態のテレビ会議装置を含むテレビ会議システムの構成の一例を示すブロック図である。図１に示すテレビ会議システムでは、３つの拠点Ａ〜Ｃに設置されたテレビ会議装置１００がそれぞれネットワーク１２０を介して接続されている。なお、拠点数は、３つに限定されず、２つ以上であれば良い。

各拠点のテレビ会議装置１００には、カメラ１１０、ディスプレイ１３０及び入力装置１４０が接続されている。カメラ１１０は、各拠点に居る人物を撮影する。なお、カメラ１１０は、ズーム倍率設定情報を記憶している。テレビ会議装置１００は、カメラ１１０が撮影した映像のデータを、ネットワーク１２０を介して相手拠点のテレビ会議装置に送信する。また、テレビ会議装置１００は、ネットワーク１２０を介して相手拠点のテレビ会議装置から送信されたデータを受信する。ディスプレイ１３０は、テレビ会議装置１００が受信したデータの映像を表示する。入力装置１４０は、ユーザがテレビ会議装置１００に設定する条件等を入力するための、マウスやリモコン等の入力インターフェイスである。

図２は、一実施形態のテレビ会議装置の内部構成を示すブロック図である。図２に示すように、第１の実施形態のテレビ会議装置は、映像取得部１１１と、映像符号化部１１３と、映像送信部１１５と、映像受信部１１７と、映像復号部１１９と、ズーム倍率設定取得部１２１と、ズーム倍率設定送信部１２３と、ズーム倍率設定受信部１２５と、映像拡大縮小率導出部１２７と、映像拡大縮小部１２９と、映像加工部１３１と、映像表示制御部１３３とを備える。

映像取得部１１１は、カメラ１１０が撮影した自拠点に居る被写体の映像のデータを取得する。映像符号化部１１３は、映像取得部１１１が取得した映像データをネットワークに伝送可能な形式に符号化する。なお、映像符号化部１１３は、ネットワーク１２０の伝送帯域状況に応じて映像の解像度を変更して符号化しても良い。例えば、ネットワーク１２０の伝送帯域が狭いとき、映像符号化部１１３は、カメラ１１０が撮影した映像を低い解像度の映像に変換した上で符号化を行う。

映像送信部１１５は、映像符号化部１１３が符号化した映像データ（符号化映像データ）を、ネットワーク１２０を介して相手拠点のテレビ会議装置に送信する。なお、映像送信部１１５が送信する符号化映像データには、映像の解像度を示す情報（映像解像度情報）が含まれていても良い。この場合、映像符号化部１１３は、映像データを符号化する際に、映像解像度情報を符号化映像データに含める。

映像受信部１１７は、ネットワーク１２０を介して他の拠点のテレビ会議装置から送信された符号化映像データを受信する。映像復号部１１９は、符号化映像データを復号して、ディスプレイ１３０に表示可能な形式の映像データを映像拡大縮小部１２９に送る。なお、映像受信部１１７が受信した符号化映像データに映像解像度情報が含まれていた場合、映像復号部１１９は、映像解像度情報を映像拡大縮小率導出部１２７に送る。

ズーム倍率設定取得部１２１は、カメラ１１０のズーム倍率設定情報を取得する。なお、本実施形態では、カメラ１１０がズーム倍率設定情報を記憶するが、テレビ会議装置１００が、図示しないメモリに当該ズーム倍率設定情報を記憶しても良い。この場合、各拠点のユーザがテレビ会議装置１００及びカメラ１１０を設置するとき、又はユーザがカメラ１１０のズーム倍率を設定するときに、ユーザが入力装置１４０を用いてズーム倍率を設定する。

ズーム倍率設定情報とは、３５ｍｍ換算で５０ｍｍなどといった一般的なカメラのズーム倍率表記とは異なり、ディスプレイの大きさに対する被写体の大きさを示す情報である。例えば、ズーム倍率設定情報は、「５０インチサイズのディスプレイで等身大」、「４２インチサイズのディスプレイで等身大の半分」などと表される。

なお、ズーム倍率設定情報に示される被写体の大きさは、等身大に対する割合でなく、具体的な身体の部位の大きさで示してもよい。例えば、ズーム倍率設定情報は、「５０インチサイズのディスプレイで顔の縦方向の大きさが１０ｃｍ」、「４２インチサイズのディスプレイで肩幅が３０ｃｍ」などと表しても良い。この場合、映像拡大縮小率導出部１２７は、ズーム倍率設定情報が示す身体部位の平均サイズデータに基づき、等身大の割合を算出する。

ズーム倍率設定送信部１２３は、ズーム倍率設定取得部１２１が取得したズーム倍率設定情報を、ネットワーク１２０を介して相手拠点のテレビ会議装置に送る。ズーム倍率設定送信部１２３は、例えば、テレビ会議を開始するテレビ会議装置１００が相手拠点のテレビ会議端末との接続を確立する呼制御時に、映像データの圧縮形式及び伝送レート等を含む接続情報と共に、ズーム倍率設定情報を送る。

ズーム倍率設定受信部１２５は、ネットワーク１２０を介して他の拠点のテレビ会議装置から送信されたズーム倍率設定情報を受信する。ズーム倍率設定受信部１２５は、ズーム倍率設定情報を遅延なく映像拡大縮小率導出部１２７に送る。

映像拡大縮小率導出部１２７は、ズーム倍率設定受信部１２５が受信したズーム倍率設定情報、及びディスプレイ１３０の画面サイズ情報に基づいて、映像拡大縮小部１２９が映像を拡大又は縮小する率（拡大縮小率）を導出する。なお、映像拡大縮小率導出部１２７は、相手拠点のカメラ１１０が撮影した被写体を自拠点のディスプレイ１３０に等身大で表示可能な拡大縮小率を導出する。拡大縮小率の導出方法の詳細については後述する。

ディスプレイ１３０の画面サイズ情報は、映像拡大縮小率導出部１２７がディスプレイ１３０から取得するか、ユーザが入力装置１４０を用いて映像拡大縮小率導出部１２７に入力する。なお、ディスプレイ１３０の画面サイズ情報には、ディスプレイ１３０の画面１３２の大きさを示す「インチ」を示す情報と、画面１３２の縦横の各ピクセル数（縦ピクセル数×横ピクセル数）を示す解像度情報とが含まれる。

映像拡大縮小部１２９は、映像拡大縮小率導出部１２７が導出した拡大縮小率で、映像復号部１１９から送られた映像データの映像の大きさを拡大又は縮小するデータ処理を行う。映像拡大縮小部１２９は、拡大又は縮小した映像のデータを映像加工部１３１に送る。

映像加工部１３１は、映像拡大縮小部１２９が映像の拡大又は縮小を行ったことにより必要とされる映像データの加工を行う。映像加工部１３１が行う映像加工の詳細については後述する。映像表示制御部１３３は、映像加工部１３１によって加工された映像をディスプレイ１３０に表示する制御を行う。

以下、映像拡大縮小率導出部１２７による拡大縮小率の導出方法について詳細に説明する。なお、以下の説明では、映像受信部１１７が受信した映像の解像度（映像解像度）とディスプレイ１３０の解像度（表示解像度）は同じとする。

ディスプレイ１３０の画面サイズ情報が「ｘインチ」を示し、ズーム倍率設定情報が「ｙインチサイズのディスプレイで等身大」を示す場合、映像拡大縮小率導出部１２７は、以下に示す式（１）より拡大縮小率ｐを導出する。

したがって、ディスプレイ１３０の画面サイズが「５０インチ」であり、ズーム倍率設定情報が「４２インチサイズのディスプレイで等身大」の場合、映像拡大縮小率導出部１２７は、０．８４（＝４２／５０）倍の拡大縮小率ｐを導出する。この場合、拡大縮小率ｐは１未満であるため、映像拡大縮小部１２９は映像の縮小を行う。なお、拡大縮小率ｐが１より大きいとき、映像拡大縮小部１２９は映像の拡大を行う。

なお、設定された解像度とは異なる解像度の映像を拡大又は縮小して表示する機能が、ディスプレイ１３０に設定されている場合がある。この場合は、当該映像を上記拡大縮小率ｐで拡大又は縮小した映像をディスプレイ１３０に表示しても、相手拠点側の被写体を等身大で表示できない。したがって、映像受信部１１７が受信した映像の解像度（映像解像度）とディスプレイ１３０の解像度（表示解像度）が異なる場合は、解像度も参照して拡大縮小率を導出する。具体的には、映像拡大縮小率導出部１２７は、ズーム倍率設定情報とディスプレイ１３０の画面サイズ情報に加えて、映像解像度及び表示解像度も参照して、拡大縮小率を導出する。

映像拡大縮小率導出部１２７は、前述の画面サイズｘ，ｙを使って、以下に示す式（２）より拡大縮小率ｐ’を導出する。ただし、式（２）において、映像解像度と表示解像度のアスペクト比（画面の縦横比）が等しいとして、映像解像度の縦方向の解像度をｍ、表示解像度の縦方向の解像度をｎとする。例えば、ｘ＝５０，ｙ＝４２であり、ｍ＝１０８０，ｎ＝７２０とすると、拡大縮小率ｐ’は、０．５６となる。

以下、映像加工部１３１が行う映像加工について詳細に説明する。なお、以下の説明では、映像受信部１１７が受信した映像の解像度（映像解像度）とディスプレイ１３０の解像度（表示解像度）が同じである。

まず、映像拡大縮小部１２９が映像を拡大した際の映像加工について説明する。図３（ａ）は、拡大された映像とディスプレイの画面との大きさの関係を示す図である。図３（ｂ）は、拡大された映像と、加工された映像と、ディスプレイの画面との大きさの関係を示す図である。

映像拡大縮小部１２９によって拡大された映像は、そのままではディスプレイ１３０に表示できない。すなわち、図３（ａ）に示すように、拡大映像３０１がディスプレイ１３０の画面１３２からはみ出てしまう。したがって、映像加工部は、拡大映像３０１の外周部分を切り捨てて、映像をディスプレイ１３０の画面１３２の大きさに合わせる。例えば、図３（ｂ）に示すように、映像加工部１３１は、拡大映像３０１の上下からそれぞれｈｅピクセル分の映像データを切り捨て、拡大映像３０１の左右からそれぞれｌｅピクセル分の映像データを切り捨てる。

ディスプレイ１３０の画面１３２の大きさが「縦Ｈピクセル×横Ｌピクセル」であるとき、ｈｅは式（３）によって表され、ｌｅは式（４）によって表される。なお、ｐは、上記説明した拡大縮小率である。

なお、被写体は映像の中央に居るとは限らないため、上記説明したように上下均等又は左右均等に映像データを切り捨てると、被写体の顔がディスプレイ１３０に表示されない等の状況が生じ得る。したがって、映像加工部１３１は、顔検出機能を用いて検出した拡大映像中の顔の位置に応じて、映像データを切り捨てる領域を決定しても良い。

図４（ａ）〜図４（ｃ）は、拡大映像３０１中の被写体の顔の位置と映像データの切り捨て領域の関係の例を示す図である。図４（ａ）に示すように、映像加工部１３１は、拡大映像３０１中に１人の被写体の顔を検出すると、その顔の中心点５０２が画面１３２の中央５０１に近くなるよう、拡大映像３０１中の映像データを切り捨てる領域を決定する。図４（ａ）に示した例では、映像加工部１３１が、拡大映像３０１の右側及び下側の斜線領域５０３の映像データを切り捨てる。

また、図４（ｂ）に示すように、映像加工部１３１は、拡大映像中に２人の被写体の顔を検出する。次に、映像加工部１３１は、それらの顔の中心点５１２ａ，５１２ｂを結ぶ線の中点５１２が画面１３２の中央５０１に近くなるよう、拡大映像３０１中の映像データを切り捨てる領域を決定する。図４（ｂ）に示した例では、映像加工部１３１が、拡大映像３０１の右側及び下側の斜線領域５１３の映像データを切り捨てる。

また、図４（ｃ）に示すように、映像加工部１３１は、拡大映像中に３人以上の被写体の顔を検出する。次に、映像加工部１３１は、左右両端に位置する２つの顔の中心点５２２ａ，５２２ｂを結ぶ線の中点５２２が画面１３２の中央５０１に近くなるよう、拡大映像３０１中の映像データを切り捨てる領域を決定する。図４（ｃ）に示した例では、映像加工部１３１が、拡大映像３０１の右側及び下側の斜線領域５２３の映像データを切り捨てる。

このように、映像加工部１３１は、顔検出機能を用いて検出した被写体の顔が、ディスプレイ１３０の画面１３２の中央に近くなるよう映像データの切り捨て領域を決定する。このことによって、映像加工部１３１は、ディスプレイ１３０の中央近くに被写体の顔を表示することができる。

次に、映像拡大縮小部１２９が映像を縮小した際の映像加工について説明する。図５（ａ）は、縮小された映像とディスプレイの画面との大きさの関係を示す図である。図５（ｂ）は、縮小された映像と、加工された映像と、ディスプレイの画面との大きさの関係を示す図である。

映像拡大縮小部１２９によって縮小された映像をディスプレイ１３０に表示すると、図５（ａ）に示すように、ディスプレイ１３０の画面１３２には、映像データが欠落した領域が存在する。このとき、本実施形態では、映像加工部１３１は、縮小映像３０２の外周に空白（null）又は単色（例えば、黒）の映像データを追加して、映像をディスプレイ１３０の画面１３２の大きさに合わせる。例えば、図５（ｂ）に示すように、映像加工部１３１は、縮小映像３０２の上下にそれぞれｈｒピクセル分の映像データを追加し、縮小映像３０２の左右にそれぞれｌｒピクセル分の映像データを追加する。その結果、縮小映像３０２は、ディスプレイ１３０の画面１３２の中央に位置する。

ディスプレイ１３０の画面１３２の大きさが「縦Ｈピクセル×横Ｌピクセル」であるとき、ｈｒは式（５）によって表され、ｌｒは式（６）によって表される。なお、ｐは、上記説明した拡大縮小率である。

なお、被写体は、映像の中央に居るとは限らないため、上記説明したように上下均等又は左右均等に映像データを追加すると、ディスプレイ１３０の中央からずれて被写体が表示される場合が生じ得る。したがって、映像加工部１３１は、顔検出機能を用いて検出した拡大映像中の顔の位置に応じて、縮小映像３０２に映像データを追加する領域を決定しても良い。

図６（ａ）〜図６（ｃ）は、縮小映像３０２中の被写体の顔の位置と映像データの追加領域の関係の例を示す図である。図６（ａ）に示すように、映像加工部１３１は、縮小映像３０２中に１人の被写体の顔を検出すると、その顔の中心点６０２が画面１３２の中央６０１に近くなるよう、縮小映像３０２に映像データを追加する領域を決定する。図６（ａ）に示した例では、映像加工部１３１が、縮小映像３０２の右側及び下側の斜線領域６０３に映像データを追加する。

また、図６（ｂ）に示すように、映像加工部１３１は、縮小映像中に２人の被写体の顔を検出する。次に、映像加工部１３１は、それらの顔の中心点６１２ａ，６１２ｂを結ぶ線の中点６１２が画面１３２の中央６０１に近くなるよう、縮小映像３０２に映像データを追加する領域を決定する。図６（ｂ）に示した例では、映像加工部１３１が、縮小映像３０２の右側及び下側の斜線領域６１３に映像データを追加する。

また、図６（ｃ）に示すように、映像加工部１３１は、縮小映像中に３人以上の被写体の顔を検出する。次に、映像加工部１３１は、左右両端に位置する２つの顔の中心点６２２ａ，６２２ｂを結ぶ線の中点６２２が画面１３２の中央６０１に近くなるよう、縮小映像３０２に映像データを追加する領域を決定する。図６（ｃ）に示した例では、映像加工部１３１が、縮小映像３０２の右側及び下側の斜線領域６２３に映像データを追加する。

このように、映像加工部１３１は、顔検出機能を用いて検出した被写体の顔がディスプレイ１３０の画面１３２の中央に近くなるよう映像データの追加領域を決定する。このことによって、映像加工部１３１は、ディスプレイ１３０の中央近くに被写体の顔を表示することができる。

図７は、図２に示したテレビ会議装置１００がディスプレイ１３０に映像を表示する際の動作を示すフローチャートである。図７に示すように、映像拡大縮小率導出部１２７は、ディスプレイ１３０の画面サイズ情報と、ズーム倍率設定受信部１２５が受信したズーム倍率設定情報とを取得する（ステップＳ１０１）。次に、映像拡大縮小率導出部１２７は、映像復号部１１９から送られた映像データの被写体が、自拠点のディスプレイ１３０に等身大で表示されるサイズに変換するための拡大縮小率を導出する（ステップＳ１０３）。

映像拡大縮小部１２９は、ステップＳ１０３で導出された拡大縮小率を１と比較して、映像を拡大するか縮小するかを判断する（Ｓ１０５）。映像拡大縮小部１２９は、拡大縮小率が１より大きいときはステップＳ１０７に進み、映像復号部１１９から送られた映像データの映像を当該拡大縮小率で拡大する（Ｓ１０７）。次に、映像加工部１３１は、拡大映像の外周の少なくとも一部を切り捨てて、映像をディスプレイ１３０の画面１３２の大きさに合わせる（Ｓ１０９）。

一方、映像拡大縮小部１２９は、拡大縮小率が１未満のときはステップＳ１１１に進み、映像復号部１１９から送られた映像データの映像を当該拡大縮小率で縮小する（Ｓ１１１）。次に、映像加工部１３１は、縮小映像の外周の少なくとも一部に映像データを追加して、映像をディスプレイ１３０の画面１３２の大きさに合わせる（Ｓ１１３）。

以上説明したように、本実施形態のテレビ会議システムを構成する各拠点に設置されたディスプレイの大きさがそれぞれ異なっても、相手拠点から送られたズーム倍率設定情報及び自拠点における画面サイズ情報を利用して、相手拠点のカメラが撮影した被写体の映像を自拠点のディスプレイに等身大で表示できる。すなわち、自拠点のテレビ会議装置は、相手拠点のズーム倍率設定情報を受信できれば、相手拠点のカメラが撮影した被写体を、自拠点のディスプレイに等身大で表示できる。したがって、ユーザは、あたかも自拠点側に存在するような、臨場感のあるテレビ会議を行うことができる。

図８は、３つの拠点Ａ〜Ｂのテレビ会議装置１００がネットワーク１２０を介して接続されたテレビ会議システムを示す。図８に示すテレビ会議システムは、拠点Ｂに設置されたディスプレイ１３０Ｂの画面サイズと拠点Ｃに設置されたディスプレイ１３０Ｃの画面サイズがそれぞれ異なる。図８に示したテレビ会議システムであっても、本実施形態のテレビ会議装置１００によれば、拠点Ａのカメラ１１０Ａで撮影された被写体１５０は、拠点Ｂ，Ｃの各ディスプレイに等身大で表示される。

近年では、１０３インチ、１５０インチといった大画面のディスプレイが市販されている。したがって、これらのディスプレイやさらに大画面のディスプレイがテレビ会議システムに使用されることが予想される。このような大画面のディスプレイが用いられても、他の拠点から送られたズーム倍率設定情報が「４２インチサイズのディスプレイで等身大」であると、図９（ａ）に示すように、何も表示されない領域が画面の大部分を占める。このため、大画面のディスプレイを使うことで得られるはずの臨場感が得られない。

一般的に、人間の視野角は１００度といわれており、１００度の視野角すべてが映像で埋まると、画面の中のものがあたかも自分の目の前にあるような臨場感を得ることが可能となる。したがって、映像加工部１３１は、図９（ｂ）に示す映像となるよう、映像の外周に追加する映像データを処理しても良い。この場合、映像加工部１３１は、映像中の物体や人物、背景等を領域分割（セグメンテーション）する機能、及びセグメントを拡張する機能を有する。なお、セグメンテーション方法の一例が、特許文献２（特開平１０−３０２０４６号公報）に記載されている。

図１０（ａ）は、映像の一例を示す図である。また、図１０（ｂ）は、図１０（ａ）の映像をセグメンテーションした各領域を示す図である。映像加工部１３１が、背景９１１、人物９１２及び机９１３を含む図１０（ａ）に示す映像９００をセグメンテーションする。次に、当該映像９００は、例えば図１０（ｂ）に示すように、背景９２１、頭部９２２、胴体９２３、机９２４といった領域（セグメント）に分割される。なお、セグメンテーションの結果は、アルゴリズムや各種設定によって異なる。すなわち、頭部９２２は、さらに目、口、髪の毛といった細かい領域にセグメンテーションされることもある。また、背景９２１では、色が異なったり、光や照明の当たり具合が異なったりすることによって違う領域と認識される場合もある。

図１０（ｂ）に示すように、映像９００の外周に位置するセグメントは、背景部９２１及び机部９２４の２つである。映像加工部１３１は、これらのセグメントをディスプレイ１３０の画面端部まで拡張する。このとき、映像加工部１３１は、映像拡大縮小部１２９が縮小した映像の解像度（映像解像度）及びディスプレイ１３０の解像度（表示解像度）を参照して、ピクセル位置を認識した上で、セグメントを拡張する。したがって、図１０に示した例では、映像加工部１３１は、図１１に示すように、背景部９２１から拡張した拡張背景部１００１と、机部９２４から拡張した拡張机部１００２とを設定する。このとき、背景部９２１と拡張背景部１００１、並びに、机部９２４と机拡張部１００２は、それぞれ同じセグメントになる。

最後に、映像加工部１３１は、背景部９２１のテクスチャ情報を含む映像データを拡張背景部１００１に追加し、机部９２４のテクスチャ情報を含む映像データを机拡張部１００２に追加する。

図１２は、図９〜図１１を参照して説明した映像加工部１３１の動作を示すフローチャートである。まず、映像加工部１３１は、図７のステップＳ１１１で得られた縮小映像をセグメンテーションする（Ｓ２０１）。次に、映像加工部１３１は、縮小映像の外周のセグメントをディスプレイ１３０の画面端部まで拡張する（Ｓ２０３）。最後に、映像加工部１３１は、縮小映像の外周のセグメントのテクスチャ情報を含む映像データを、拡張したセグメントに追加する（Ｓ２０５）。なお、映像加工部１３１によるこの動作は、図７に示したステップＳ１１３内で行われる。

縮小映像を大画面のディスプレイ１３０に表示する際に映像加工部１３１が上記処理を行うことによって、ユーザは、人間の視野角に対して違和感のない、より高い臨場感のあるテレビ会議を行うことができる。

本発明に係るテレビ会議装置は、相手拠点のカメラが撮影した被写体を自拠点のディスプレイに等身大で表示するテレビ会議装置等として有用である。

１００ テレビ会議装置
１１０ カメラ
１２０ ネットワーク
１３０ ディスプレイ
１４０ 入力装置
１１１ 映像取得部
１１３ 映像符号化部
１１５ 映像送信部
１１７ 映像受信部
１１９ 映像復号部
１２１ ズーム倍率設定取得部
１２３ ズーム倍率設定送信部
１２５ ズーム倍率設定受信部
１２７ 映像拡大縮小率導出部
１２９ 映像拡大縮小部
１３１ 映像加工部
１３３ 映像表示制御部

Claims (8)

1. 自拠点と少なくとも１つの相手拠点との間で、カメラで撮影した映像を互いに送受信してディスプレイに表示するテレビ会議システムで用いられるテレビ会議装置であって、
   前記相手拠点から送信された映像を受信する映像受信部と、
   前記相手拠点に設置された各カメラのズーム倍率設定情報をそれぞれ受信するズーム倍率設定受信部と、
   前記ズーム倍率設定受信部が受信したズーム倍率設定情報、及び前記自拠点に設置されたディスプレイの画面サイズ情報に基づいて、前記前記相手拠点の各カメラによって撮影された映像中の各被写体が前記自拠点に設置されたディスプレイに等身大で表示される拡大縮小率を、前記相手拠点毎に導出する映像拡大縮小率導出部と、
   前記相手拠点から送信された映像を、前記拡大縮小率に基づいて、それぞれ拡大又は縮小する映像拡大縮小部と、
   前記映像拡大縮小部によって拡大又は縮小された前記相手拠点毎の映像を、前記自拠点のディスプレイにそれぞれ表示する制御を行う映像表示制御部と、
   を備えたことを特徴とするテレビ会議装置。
2. 請求項１に記載のテレビ会議装置であって、
   前記ズーム倍率設定情報は、ディスプレイの大きさに対する被写体の大きさを示す情報であることを特徴とするテレビ会議装置。
3. 請求項１に記載のテレビ会議装置であって、
   前記映像拡大縮小率導出部は、前記ズーム倍率設定受信部が受信したズーム倍率設定情報、及び前記自拠点のディスプレイの画面サイズ情報、並びに、前記映像受信部が受信した映像の解像度及び前記自拠点のディスプレイの解像度に基づいて、前記拡大縮小率を導出することを特徴とするテレビ会議装置。
4. 請求項１に記載のテレビ会議装置であって、
   前記映像拡大縮小部が拡大した映像中の被写体の顔の位置を検出し、当該顔が前記自拠点のディスプレイの画面の中央に近づくよう、前記拡大映像の一部領域の映像データを切り捨てる映像加工部を備えたことを特徴とするテレビ会議装置。
5. 請求項１に記載のテレビ会議装置であって、
   前記映像拡大縮小部が縮小した映像中の被写体の顔の位置を検出し、当該顔が前記自拠点のディスプレイの画面の中央に近づくよう、前記縮小映像の周囲に映像データを追加する映像加工部を備えたことを特徴とするテレビ会議装置。
6. 請求項１に記載のテレビ会議装置であって、
   前記映像拡大縮小部が縮小した映像をセグメンテーションし、前記縮小映像の外周に位置する外周セグメントを前記自拠点のディスプレイの画面端部まで拡張し、当該拡張した領域に前記外周セグメントのテクスチャ情報を含む映像データを追加する映像加工部を備えたことを特徴とするテレビ会議装置。
7. 請求項６に記載のテレビ会議装置であって、
   前記映像加工部は、前記縮小映像の解像度及び前記自拠点のディスプレイの解像度を参照して、前記外周セグメントを拡張することを特徴とするテレビ会議装置。
8. 自拠点と少なくとも１つの相手拠点との間で、カメラで撮影した映像を互いに送受信してディスプレイに表示するテレビ会議システムで用いられるテレビ会議装置が行う映像表示処理方法であって、
   前記相手拠点から送信された映像を受信し、
   前記相手拠点に設置された各カメラのズーム倍率設定情報をそれぞれ受信し、
   前記ズーム倍率設定情報、及び前記自拠点に設置されたディスプレイの画面サイズ情報に基づいて、前記前記相手拠点の各カメラによって撮影された映像中の各被写体が前記自拠点に設置されたディスプレイに等身大で表示される拡大縮小率を、前記相手拠点毎に導出し、
   前記相手拠点から送信された映像を、前記拡大縮小率に基づいて、それぞれ拡大又は縮小し、
   前記拡大又は縮小された前記相手拠点毎の映像を、前記自拠点のディスプレイにそれぞれ表示する制御を行うことを特徴とする映像表示処理方法。

Images