JP2008258779A - テレビ会議装置、制御方法、およびプログラム - Google Patents

Abstract

【課題】ユーザに操作の煩わしさを感じさせることなく、親画面内の適切な位置に子画面を重畳する。
【解決手段】顔検出部１０４は、送受信の対象の画像のうちの１の画像から、顔が投影された領域である顔領域を重要性の高い領域として検出し、スコア計算部１０５は、１の画像の領域において、送受信の対象の画像のうちの、他の１の画像を重畳する領域であるPinP領域を、顔領域に基づいて決定する。また、PinP画像生成部１０６は、１の画像のPinP領域に、他の１の画像を重畳することにより、１の画像を親画面とするとともに、他の１の画像を子画面としたPinP画像を生成し、表示制御部１０８は、そのPinP画像を、モニタ１４aに表示させる。本発明は、例えば、テレビ会議装置に適用することができる。
【選択図】図３

Description

本発明は、テレビ会議装置、制御方法、およびプログラムに関し、特に、例えば、ユーザに操作の煩わしさを感じさせることなく、親画面内の適切な位置に子画面を重畳することができるようにしたテレビ会議装置、制御方法、およびプログラムに関する。

例えば、２以上のテレビ会議装置を通信回線を介して接続し、各テレビ会議装置間でテレビ会議を行うテレビ会議システムでは、各テレビ会議装置において、カメラにより会議室などの様子が撮像され、その撮像により得られた撮像画像を相互に送受信することで、テレビ会議が行われる。

例えば、２以上のテレビ会議装置のうちの１のテレビ会議装置においては、ユーザが、１のテレビ会議装置の操作に用いるリモートコマンダを操作することにより、他のテレビ会議装置から受信した第１の撮像画像内のある領域（位置）を、PinP（picture in picture）用のPinP領域に決定すると、そのPinP領域に、１のテレビ会議装置のカメラで撮像され、他のテレビ会議装置に送信される第２の撮像画像が重畳（合成）されることにより、第１の撮像画像を親画面とするとともに、第２の撮像画像を子画面とするPinP画像が生成され、１のテレビ会議装置のモニタに表示される。

これにより、１のテレビ会議装置のユーザは、他のテレビ会議装置側の様子を、親画面によって確認し、かつ、他のテレビ会議装置に送信される、１のテレビ会議装置側の様子を、子画面によって確認することができる。

なお、特許文献１には、親画面に表示する画像の種類と、親画面内の子画面に表示する画像の種類とが選択されると、その選択に基づいて、親画面に対する子画面の画面表示構成を切り替える技術が開示されている（特に、特許文献１の[００２０]および[００２７]段落を参照）。

また、複数の画像から１の画像を生成する方法として、例えば、特許文献２には、各端末からの画像の中から、いくつかの画像を選択して合成することにより１の合成画面を生成する方法が開示されている（特に、特許文献１の[０００９]段落を参照）。
特開２０００−３５０１７５号公報 特開平０８−１４９４４０号公報

ところで、例えば、上述したように、他のテレビ会議装置側の様子が映った第１の撮像画像を親画面とし、かつ、１のテレビ会議装置側の様子が映った第２の撮像画像を子画面とするPinP画像を表示する場合において、子画面を重畳する親画面のPinP領域は、子画面を重畳する領域として、適切な領域であることが望ましい。

即ち、例えば、親画面の、テレビ会議の相手の顔が映っている領域がPinP領域となっている場合には、相手の表情を確認することができないため、そのような領域は、子画面を重畳する領域（PinP領域）として、適切な領域であるとは言い難い。

そして、親画面の、テレビ会議の相手の顔が映っている領域などの、PinP領域とすることが不適切な領域がPinP領域となっている場合には、ユーザは、例えば、背景のみが映っている領域などの、PinP領域とすることが適切な領域を、PinP領域とするように、リモートコマンダを操作する必要があった。

また、特許文献１では、上述したように、親画面に表示する画像の種類と子画面に表示する画像の種類とが選択されると、その選択に基づいて、親画面に対する子画面の画面表示構成が切り替えられるが、その画面表示構成が、親画面内の適切な領域以外の領域に子画面が重畳される画面表示構成である場合には、ユーザは、親画面内の適切な領域に子画面が重畳されるように、リモートコマンダを操作する必要があった。

本発明は、このような状況に鑑みてなされたものであり、ユーザに操作の煩わしさを感じさせることなく、親画面内の適切な位置に子画面を重畳することができるようにするものである。

本発明の一側面のテレビ会議装置、またはプログラムは、画像を送受信することにより行われるテレビ会議に使用されるテレビ会議装置、または画像を送受信することにより行われるテレビ会議に使用されるテレビ会議装置として、コンピュータを機能させるプログラムであり、送受信の対象の画像のうちの１の画像から、重要性の高い領域である重要領域、または重要性の低い領域である非重要領域を検出する検出手段と、前記１の画像の領域において、送受信の対象の画像のうちの、他の１の画像を重畳する領域であるPinP(picture in picture)領域を、前記重要領域または前記非重要領域に基づいて決定する決定手段と、前記１の画像の前記PinP領域に、前記他の１の画像を重畳することにより、前記１の画像を親画面とするとともに、前記他の１の画像を子画面としたPinP画像を生成するPinP画像生成手段と、前記PinP画像を、画像を表示する表示手段に表示させる表示制御手段とを備えるテレビ会議装置、またはテレビ会議装置として、コンピュータに機能させるプログラムである。

前記検出手段では、顔を含む領域である顔領域、動きがある領域である動き領域、または、エッジを含む領域であるエッジ領域を、前記重要領域として検出することができる。

前記決定手段では、前記１の画像内の、前記PinP領域の候補である複数の候補領域それぞれに対して、重要性の度合いを表すスコアを、前記重要領域または前記非重要領域に基づいて算出し、そのスコアに基づいて、複数の候補領域のうちの１の候補領域を、前記PinP領域に決定することができる。

前記検出手段では、明るさが暗い領域である暗領域、またはアクティビティが低い領域である単調領域を、前記非重要領域として検出することができる。

前記検出手段では、他のテレビ会議装置から受信した前記１の画像から、前記重要領域または前記非重要領域を検出することができ、前記PinP画像生成手段では、前記１の画像の前記PinP領域に、前記他のテレビ会議装置に送信する前記他の１の画像を重畳することにより、前記１の画像を親画面とするとともに、前記他の１の画像を子画面としたPinP画像を生成することができる。

本発明の一側面の制御方法は、画像を送受信することにより行われるテレビ会議に使用されるテレビ会議装置を制御する制御方法であり、送受信の対象の画像のうちの１の画像から、重要性の高い領域である重要領域、または重要性の低い領域である非重要領域を検出し、前記１の画像の領域において、送受信の対象の画像のうちの、他の１の画像を重畳する領域であるPinP領域を、前記重要領域または前記非重要領域に基づいて決定し、前記１の画像の前記PinP領域に、前記他の１の画像を重畳することにより、前記１の画像を親画面とするとともに、前記他の１の画像を子画面としたPinP画像を生成し、前記PinP画像を、画像を表示する表示手段に表示させるステップを含む。

本発明の一側面においては、送受信の対象の画像のうちの１の画像から、重要性の高い領域である重要領域、または重要性の低い領域である非重要領域が検出され、前記１の画像の領域において、送受信の対象の画像のうちの、他の１の画像を重畳する領域であるPinP領域が、前記重要領域または前記非重要領域に基づいて決定される。また、前記１の画像の前記PinP領域に、前記他の１の画像を重畳することにより、前記１の画像を親画面とするとともに、前記他の１の画像を子画面としたPinP画像が生成されて表示される。

本発明によれば、ユーザに操作の煩わしさを感じさせることなく、親画面内の適切な位置に子画面を重畳することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面のテレビ会議装置、またはプログラムは、
画像を送受信することにより行われるテレビ会議に使用されるテレビ会議装置（例えば、図３のテレビ会議装置１１a）、または画像を送受信することにより行われるテレビ会議に使用されるテレビ会議装置として、コンピュータを機能させるプログラムであり、
送受信の対象の画像のうちの１の画像（例えば、図２の受信画像４２）から、重要性の高い領域である重要領域、または重要性の低い領域である非重要領域を検出する検出手段（例えば、図３の顔検出部１０４）と、
前記１の画像の領域において、送受信の対象の画像のうちの、他の１の画像（例えば、図２の送信画像４１）を重畳する領域であるPinP(picture in picture)領域を、前記重要領域または前記非重要領域に基づいて決定する決定手段（例えば、図３のスコア計算部１０５）と、
前記１の画像の前記PinP領域に、前記他の１の画像を重畳することにより、前記１の画像を親画面とするとともに、前記他の１の画像を子画面としたPinP画像（例えば、図２のPinP画像４３）を生成するPinP画像生成手段（例えば、図３のPinP画像生成部１０６）と、
前記PinP画像を、画像を表示する表示手段（例えば、図３のモニタ１４a）に表示させる表示制御手段（例えば、図３の表示制御部１０８）と
を備えるテレビ会議装置、またはテレビ会議装置として、コンピュータを機能させるプログラムである。

本発明の一側面の制御方法は、
画像を送受信することにより行われるテレビ会議に使用されるテレビ会議装置（例えば、図３のテレビ会議装置１１a）を制御する制御方法であり、
送受信の対象の画像のうちの１の画像（例えば、図２の受信画像４２）から、重要性の高い領域である重要領域、または重要性の低い領域である非重要領域を検出し（例えば、図５のステップＳ３４）、
前記１の画像の領域において、送受信の対象の画像のうちの、他の１の画像（例えば、図２の送信画像４１）を重畳する領域であるPinP領域を、前記重要領域または前記非重要領域に基づいて決定し（例えば、図５のステップＳ３５）、
前記１の画像の前記PinP領域に、前記他の１の画像を重畳することにより、前記１の画像を親画面とするとともに、前記他の１の画像を子画面としたPinP画像（例えば、図２のPinP画像４３）を生成し（例えば、図５のステップＳ３６）、
前記PinP画像を、画像を表示する表示手段（例えば、図３のモニタ１４a）に表示させる（例えば、図５のステップＳ３７）
ステップを含む。

以下、図面を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用したテレビ会議システムの一実施の形態の構成例を示す図である。

図１のテレビ会議システムは、マイクロホン１２a、カメラ１３a、モニタ１４a、およびスピーカ１５aが接続されたテレビ会議装置１１aと、マイクロホン１２b、カメラ１３b、モニタ１４b、およびスピーカ１５bが接続されたテレビ会議装置１１bとにより構成される。

テレビ会議装置１１aは、マイクロホン１２aから供給される音声と、カメラ１３aから供給される画像を、テレビ会議装置１１bに送信する。また、テレビ会議装置１１aは、テレビ会議装置１１bから送信されてくる音声や画像を受信し、音声を、スピーカ１５aに供給するとともに、画像を、モニタ１４aに供給する。

マイクロホン１２aは、テレビ会議装置１１a側のユーザの発話などによる音声を集音し、テレビ会議装置１１aに供給する。

カメラ１３aは、テレビ会議装置１１a側のユーザなどを撮像し、その撮像により得られる画像を、テレビ会議装置１１aに供給する。

モニタ１４aは、テレビ会議装置１１aから供給される画像を表示する。

スピーカ１５aは、テレビ会議装置１１aから供給される音声を出力する。

リモートコマンダ１６aは、テレビ会議装置１１a側のユーザなどによって操作され、その操作に対応した操作信号を、赤外線等によって、テレビ会議装置１１aに送信する。

テレビ会議装置１１b乃至リモートコマンダ１６bは、テレビ会議装置１１a乃至リモートコマンダ１６aそれぞれと同様に構成される。

以上のように構成されるテレビ会議システムでは、テレビ会議装置１１ａと１１ｂは、例えば、インターネット網やLAN（local area network）などのネットワークを介して接続され、テレビ会議装置１１ａと１１ｂとの間で、画像および音声をやりとりすることでテレビ会議が行われる。

即ち、例えば、テレビ会議装置１１ａは、テレビ会議装置１１a側のユーザの発話などによる音声をマイクロホン１２aにより集音、またはテレビ会議装置１１a側のユーザなどをカメラ１３aにより撮像することで得られる音声または画像を、通信相手のテレビ会議装置１１bに送信する。また、テレビ会議装置１１ａは、通信相手のテレビ会議装置１１bから送信されてくる画像や音声を受信し、画像をモニタ１４aに表示するとともに、音声をスピーカ１５aから出力する。

なお、テレビ会議装置１１bも、テレビ会議装置１１aと同様の処理を行う。

図２は、図１のテレビ会議装置１１aが行う処理の概略を説明する図である。

テレビ会議装置１１aのカメラ１３aでは、テレビ会議装置１１a側のユーザなどが撮像され、テレビ会議装置１１aは、カメラ１３aにより撮像された画像を、送信画像４１として、テレビ会議装置１１bに送信する。一方、テレビ会議装置１１bのカメラ１３bでも、テレビ会議装置１１b側のユーザなどが撮像され、テレビ会議装置１１bは、カメラ１３bにより撮像された画像を、テレビ会議装置１１aに送信する。テレビ会議装置１１aは、テレビ会議装置１１bからの画像を、受信画像４２として受信する。

テレビ会議装置１１aは、通信相手のテレビ会議装置１１bから受信した受信画像４２から、例えば、顔が投影されている領域を、重要性の高い領域である重要領域として検出し、その重要領域に基づいて、受信画像４２において、カメラ１３aにより撮像された送信画像４１を重畳（合成）するPinP領域を決定する。さらに、テレビ会議装置１１aは、受信画像４２のPinP領域に、カメラ１３aにより撮像された送信画像４１を重畳することにより、受信画像４２を親画面とするとともに、送信画像４１を子画面としたPinP画像４３を生成してモニタ１４aに表示する。

図３は、テレビ会議装置１１aの第１実施の形態の構成例を示すブロック図である。

なお、テレビ会議装置１１bは、テレビ会議装置１１aと同様に構成され、同様の処理を行うので、以下では、テレビ会議装置１１bについての説明は省略する。

図３のテレビ会議装置１１aは、デコーダ１０３、顔検出部１０４、スコア計算部１０５、PinP画像生成部１０６、縮小部１０７、表示制御部１０８、エンコーダ１０９、受光部１１０、および制御部１１１により構成される。

デコーダ１０３は、テレビ会議装置１１bから送信されてくる、テレビ会議装置１１bが所定の符号化方式で画像と音声を符号化したデータを受信し、所定の符号化方式に対応する復号方式で画像と音声に復号する。

そして、デコーダ１０３は、画像を、受信画像として、顔検出部１０４およびPinP画像生成部１０６に供給し、音声をスピーカ１５aに供給する。

顔検出部１０４は、デコーダ１０３から供給された受信画像から、重要性の高い領域である重要領域として、顔が投影された領域である顔領域を検出する。

即ち、顔検出部１０４は、受信画像から、肌色の領域や、目、眉、鼻などが投影された領域を検出し、その検出により得られる、受信画像内の、肌色の領域や、目、眉、鼻などの位置に基づいて、人の顔である確率が大である領域を、顔領域とみなして検出する。

また、顔検出部１０４は、顔領域を検出することで得られる、受信画像内の顔領域の位置（領域）を表す顔領域情報を、スコア計算部１０５に供給する。

スコア計算部１０５は、顔検出部１０４からの顔領域情報に基づいて、PinP領域を決定する。

即ち、例えば、スコア計算部１０５は、顔検出部１０４からの顔領域情報に基づいて、受信画像の領域において、PinP領域の候補である複数の候補領域のうちの、１の候補領域をPinP領域に決定する。具体的には、スコア計算部１０５は、顔検出部１０４からの顔領域情報に基づいて、候補領域が重要領域としての顔領域を含む度合いを表すスコアを、複数の候補領域それぞれに対して算出し、スコアが最小である候補領域、つまり、重要領域をなるべく含まない候補領域をPinP領域に決定する。

また、スコア計算部１０５は、PinP領域に決定された候補領域、つまり、PinP領域の位置を表すPinP領域情報を、PinP画像生成部１０６に供給する。

さらに、スコア計算部１０５は、送信画像の大きさをPinP領域の大きさに一致させるように、送信画像を縮小するときの縮小率を求め、縮小部１０７に供給する。

PinP画像生成部１０６には、上述したように、デコーダ１０３から受信画像が供給されるとともに、スコア計算部１０５からPinP領域情報が供給される他、縮小部１０７から所定の縮小率で縮小された縮小後の送信画像が供給される。

PinP画像生成部１０６は、スコア計算部１０５からのPinP領域情報に基づいて、デコーダ１０３からの受信画像内のPinP領域を認識し、そのPinP領域に縮小部１０７からの送信画像を重畳することによりPinP画像を生成して、表示制御部１０８に供給する。

縮小部１０７には、カメラ１３aにより撮像されてテレビ会議装置１１bに送信される画像が、送信画像として、カメラ１３aから供給される。

縮小部１０７は、カメラ１３aから供給された送信画像を、スコア計算部１０５から供給された縮小率で縮小し、縮小後の送信画像を、PinP画像生成部１０６に供給する。

表示制御部１０８は、PinP画像生成部１０６から供給されたPinP画像をモニタ１４aに供給して表示させる。

エンコーダ１０９には、マイクロホン１２aから、マイクロホン１２aにより集音された音声が供給され、カメラ１３aから、カメラ１３aにより撮像された画像が送信画像として供給される。エンコーダ１０９は、カメラ１３aからの送信画像と、マイクロホン１２aからの音声とを、所定の符号化方式により符号化し、テレビ会議装置１１bに送信する。

受光部１１０は、赤外線などの無線を介して送信されてくる、リモートコマンダ１６aの操作に応じた操作信号を受信（受光）し、制御部１１１に供給する。

制御部１１１は、テレビ会議装置１１aを構成するデコーダ１０３や、顔検出部１０４、スコア計算部１０５，PinP画像生成部１０６、縮小部１０７、表示制御部１０８、エンコーダ１０９、受光部１１０の各ブロックを制御する。

また、例えば、制御部１１１は、受光部１１０からの操作信号に応じて、各ブロックを制御する。

図４は、図３のスコア計算部１０５が、複数の候補領域のうちの１の候補領域をPinP領域に決定する第１のPinP領域決定処理を説明する図である。

図４上側は、親画面となる受信画像４２を示している。

図４上側において、受信画像４２には、２人の人物（顔）と机とが映っている。また、図４上側では、受信画像４２内の、左上、右上、左下、右下の４つの矩形の領域が、候補領域２０１Ａ，２０１Ｂ，２０１Ｃ，２０１Ｄとなっている。

図４下側は、スコア計算部１０５が、候補領域２０１Ａ乃至２０１Ｄそれぞれに対して算出するスコアの一覧であるスコアテーブルを示している。

図４下側では、候補領域２０１Ａ，２０１Ｂ，２０１Ｃ，２０１Ｄそれぞれに対しての、候補領域が重要領域としての顔領域を含む度合いを表すスコアが「４５」、「２０」、「０」、「０」になっている。

スコア計算部１０５は、例えば、候補領域において、重要領域としての顔領域が占める割合（パーセンテージ）を、その候補領域のスコアとして算出する。従って、例えば、候補領域すべてが顔領域になっている場合、その候補領域のスコアは最大のスコア「１００」となり、候補領域に顔領域が含まれない場合、その候補領域のスコアは最小のスコア「０」となる。

図４では、候補領域２０１Ａのうちの４５パーセントの領域が顔領域になっており、このため、候補領域２０１Ａのスコアは、「４５」になっている。

また、候補領域２０１Ｂについては、２０パーセントの領域が顔領域になっており、このため、候補領域２０１Ｂのスコアは「２０」になっている。

さらに、候補領域２０１Ｃと２０１Ｄには、顔領域が含まれないため、候補領域２０１Ｃおよび２０１Ｄのスコアは、いずれも「０」になっている。

以上のように、候補領域２０１Ａ乃至２０１Ｄのスコアが、それぞれ「４５」、「２０」、「０」、「０」である場合、最小のスコア「０」の候補領域２０１Ｃまたは２０１Ｄが、PinP領域に決定される。

なお、スコア計算部１０５では、例えば、候補領域２０１Ａ，２０１Ｂ，２０１Ｃ，２０１Ｄの順番で優先順位をつけておき、最小のスコアの候補領域が複数存在する場合には、その最小のスコアの複数の候補領域のうちの、優先順位がより高い候補領域を、PinP領域として決定することができる。この場合、図４では、最小のスコア「０」の候補領域２０１Ｃまたは２０１Ｄのうちの、優先順位が高い候補領域２０１Ｃが、PinP領域に決定される。

次に、図５のフローチャートを参照して、受信画像内のPinP領域に送信画像を重畳したPinP画像を生成するPinP画像生成処理を説明する。

ステップＳ３１において、マイクロホン１２aは、テレビ会議装置１１a側のユーザの発話などによる音声を集音し、エンコーダ１０９に供給する。また、ステップＳ３１において、カメラ１３aは、テレビ会議装置１１a側のユーザなどを撮像し、その撮像により得られる画像を、送信画像として、縮小部１０７およびエンコーダ１０９に供給する。

ステップＳ３１の処理の終了後、処理は、ステップＳ３２に進み、エンコーダ１０９は、カメラ１３aからの送信画像と、マイクロホン１２aからの音声とを、所定の符号化方式により符号化し、テレビ会議装置１１bに送信して、処理は、ステップＳ３３に進む。

ステップＳ３３において、デコーダ１０３は、テレビ会議装置１１bから送信されてくる、テレビ会議装置１１bが所定の符号化方式で画像と音声を符号化したデータを受信し、所定の符号化方式に対応する復号方式で画像と音声に復号する。また、ステップＳ３３において、デコーダ１０３は、画像を、受信画像として、顔検出部１０４およびPinP画像生成部１０６に供給し、音声をスピーカ１５aに供給する。

スピーカ１５aは、デコーダ１０３から供給される音声を出力する。

その後、処理は、ステップＳ３３からステップＳ３４に進み、顔検出部１０４は、デコーダ１０３から供給された受信画像から、重要領域としての顔領域を検出する。また、ステップＳ３４において、顔検出部１０４は、受信画像から検出した顔領域の顔領域情報を、スコア計算部１０５に供給する。

ステップＳ３４の処理の終了後、処理は、ステップＳ３５に進み、スコア計算部１０５は、顔検出部１０４からの顔領域情報に基づいて、受信画像内の、例えば、図４に示した４つの候補領域２０１Ａ乃至２０１Ｄのうちの、１の候補領域をPinP領域に決定する。また、ステップＳ３５において、スコア計算部１０５は、PinP領域に決定された候補領域、つまり、PinP領域の位置を表すPinP領域情報を、PinP画像生成部１０６に供給する。

さらに、スコア計算部１０５は、送信画像の大きさをPinP領域の大きさに一致させるように、送信画像を縮小するときの縮小率を求め、縮小部１０７に供給する。

縮小部１０７は、カメラ１３aからステップＳ３１で供給された送信画像を、スコア計算部１０５から供給された縮小率で縮小し、縮小後の送信画像を、PinP画像生成部１０６に供給する。

その後、処理は、ステップＳ３５からステップＳ３６に進み、PinP画像生成部１０６は、スコア計算部１０５からのPinP領域情報に基づいて、デコーダ１０３からの受信画像内のPinP領域を認識し、そのPinP領域に縮小部１０７からの送信画像を重畳することによりPinP画像を生成する。さらに、ステップＳ３６では、PinP画像生成部１０６は、PinP画像を表示制御部１０８に供給して、処理は、ステップＳ３７に進む。

ステップＳ３７において、表示制御部１０８は、PinP画像生成部１０６から供給されたPinP画像をモニタ１４aに供給して表示させて、処理は、終了される。

以上のように、図５のPinP画像生成処理では、テレビ会議装置１１aの送受信の対象の画像のうちの、例えば、テレビ会議装置１１bから送信されてくる受信画像から、重要領域としての顔領域を検出し、その顔領域に基づいて、受信画像の領域におけるPinP領域を決定する。そして、PinP領域に、テレビ会議装置１１aの送受信の対象の画像のうちの、例えば、テレビ会議装置１１bに送信する送信画像を重畳することにより、受信画像を親画面とするとともに、送信画像を子画面としたPinP画像を生成し、モニタ１４aに表示させる。

従って、ユーザが、リモートコマンダ１６aを操作して、送信画像が重畳されるPinP領域を決定しなくても、受信画像の、顔がなるべく映っていない、画像の重畳に適切な領域に、送信画像を重畳することができる。

ここで、図３のテレビ会議装置１１aにおいては、顔領域を重要領域として、通信相手のテレビ会議装置１１bから供給された受信画像内の顔領域に基づいて、複数の候補領域それぞれのスコアを算出し、そのスコアに基づいて、複数の候補領域のうちの１の候補領域をPinP領域に決定したが、その他、例えば、受信画像内の顔領域の他、受信画像内の動きがある領域である動き領域や、受信画像内のエッジがある領域であるエッジ領域を重要領域として、その重要領域に基づいて、複数の候補領域それぞれのスコアを算出し、そのスコアに基づいて、複数の候補領域のうちの１の候補領域をPinP領域に決定することができる。

そこで、図６を参照して、顔領域、動き領域、およびエッジ領域を重要領域として検出し、その重要領域に基づいて、複数の候補領域それぞれのスコアを算出して、それらのスコアに基づいて、複数の候補領域のうちの１の候補領域をPinP領域に決定することでPinP画像を生成するテレビ会議装置１１aを説明する。

図６は、テレビ会議装置１１aの第２実施の形態の構成例を示すブロック図である。

なお、図中、図３の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。

即ち、図６のテレビ会議装置１１aは、動き検出部３０１およびエッジ検出部３０２が新たに設けられている他は、図３の場合と同様に構成される。

動き検出部３０１には、デコーダ１０３から受信画像が供給される。動き検出部３０１は、デコーダ１０３から供給された受信画像内の、重要領域としての動き領域を検出する。

即ち、動き検出部３０１は、例えば、デコーダ１０３から供給された所定のフレームの受信画像と、その所定のフレームの１フレーム前の前フレームの受信画像との、同一の位置の画素同士の画素値の差分をとり、差分値を得る。また、動き検出部３０１は、差分値が、所定のフレームの受信画像のノイズレベルよりも大である所定のフレームの受信画像の画素の領域を、動き領域として検出し、その動き領域の位置を表す動き領域情報を、スコア計算部１０５に供給する。

なお、所定のフレームの受信画像のノイズレベルは、デコーダ１０３から供給された所定のフレームの受信画像に基づいて、動き検出部３０１により算出される。

エッジ検出部３０２には、デコーダ１０３から受信画像が供給される。エッジ検出部３０２は、デコーダ１０３から供給された受信画像から、重要領域としての、顔や机の輪郭などのエッジがある領域であるエッジ領域を検出し、そのエッジ領域の位置を表すエッジ領域情報を、スコア計算部１０５に供給する。

なお、図６の実施の形態では、スコア計算部１０５には、顔検出部１０４から顔領域情報が供給される他、動き検出部３０１から動き領域情報が供給されるとともに、エッジ検出部３０２からエッジ領域情報が供給される。

スコア計算部１０５は、顔領域情報、動き領域情報、およびエッジ領域情報に基づいて、複数の候補領域それぞれに対して、候補領域が顔領域を含む度合いを表すスコアである顔領域スコア、候補領域が動き領域を含む度合いを表すスコアである動き領域スコア、および候補領域がエッジ領域を含む度合いを表すスコアであるエッジ領域スコアを算出する。

さらに、スコア計算部１０５は、顔領域スコア、動き領域スコア、およびエッジ領域スコアすべてを加算し、その加算結果により得られるトータルスコアのうちの、トータルスコアが最小の候補領域をPinP領域に決定する。

次に、図７は、図６のスコア計算部１０５が、複数の候補領域のうちの１の候補領域をPinP領域に決定する第２のPinP領域決定処理を説明する図である。

図７上側は、図４上側の場合と同様に、親画面となる受信画像４２を示しており、図４上側の受信画像４２と同一の符号を付してある。なお、図７上側の受信画像４２は、上述した図４上側の受信画像４２と同一の画像であるため、説明は省略する。

また、図７下側は、図６のスコア計算部１０５が、受信画像４２内の４つの候補領域２０１Ａ乃至２０１Ｄそれぞれに対して算出するスコアの一覧であるスコアテーブルを示している。

図７下側では、候補領域２０１Ａ，２０１Ｂ，２０１Ｃ，２０１Ｄそれぞれに対しての顔領域スコアが「４５」、「２０」、「０」、「０」になっている。

また、図７下側では、候補領域２０１Ａ，２０１Ｂ，２０１Ｃ，２０１Ｄそれぞれに対しての動き領域スコアが「５０」、「４０」、「５」、「２０」になっており、候補領域２０１Ａ，２０１Ｂ，２０１Ｃ，２０１Ｄそれぞれに対してのエッジ領域スコアが「２５」、「１５」、「２」、「１５」になっている。

スコア計算部１０５は、例えば、候補領域において、重要領域としての顔領域が占める割合を、その候補領域の顔領域スコアとして算出し、重要領域としての動き領域が占める割合を、その候補領域の動き領域スコアとして算出する。さらに、スコア計算部１０５は、例えば、候補領域において、重要領域としてのエッジ領域が占める割合を、その候補領域のエッジ領域スコアとして算出する。

そして、スコア計算部１０５は、候補領域の顔領域スコア、動き領域スコア、およびエッジ領域スコアすべてを加算し、トータルスコアを求める。

図７では、候補領域２０１Ａのうちの４５パーセントの領域が顔領域に、候補領域２０１Ａのうちの５０パーセントの領域が動き領域に、候補領域２０１Ａのうちの２５パーセントの領域がエッジ領域に、それぞれなっている。

このため、候補領域２０１Ａの顔領域スコア、動き領域スコア、およびエッジ領域スコアは、それぞれ、「４５」、「５０」、「２５」になっており、その結果、候補領域２０１Ａのトータルスコアは、「１２０」（＝４５＋５０＋２５）になっている。

なお、複数の候補領域２０１Ａ乃至２０１Ｄにおいて、顔領域、動き領域、エッジ領域それぞれが同一の領域となることを妨げない。従って、例えば、ある候補領域内の１０パーセントの所定の領域が、顔領域、動き領域、およびエッジ領域である場合が存在し、この場合、ある候補領域の顔領域スコア、動き領域スコア、およびエッジ領域スコアは、それぞれ、「１０」、「１０」、「１０」になり、その結果、候補領域のトータルスコアは、「３０」（＝１０＋１０＋１０）になる。

また、図７では、候補領域２０１Ｂのうちの２０パーセントの領域が顔領域に、候補領域２０１Ｂのうちの４０パーセントの領域が動き領域に、候補領域２０１Ｂのうちの１５パーセントの領域がエッジ領域に、それぞれなっている。

このため、候補領域２０１Ｂの顔領域スコア、動き領域スコア、およびエッジ領域スコアは、それぞれ、「２０」、「４０」、「１５」になっており、その結果、候補領域２０１Ｂのトータルスコアは「７５」（＝２０＋４０＋１５）になっている。

さらに、候補領域２０１Ｃのうちの０パーセントの領域が顔領域に、候補領域２０１Ｃのうちの５パーセントの領域が動き領域に、候補領域２０１Ｃのうちの２パーセントの領域がエッジ領域に、それぞれなっている。

このため、候補領域２０１Ｃの顔領域スコア、動き領域スコア、およびエッジ領域スコアは、それぞれ、「０」、「５」、「２」になっており、その結果、候補領域２０１Ｃのトータルスコアは「７」（＝０＋５＋２）になっている。

また、候補領域２０１Ｄのうちの０パーセントの領域が顔領域に、候補領域２０１Ｄのうちの２０パーセントの領域が動き領域に、候補領域２０１Ｄのうちの１５パーセントの領域がエッジ領域に、それぞれなっている。

このため、候補領域２０１Ｄの顔領域スコア、動き領域スコア、およびエッジ領域スコアは、それぞれ、「０」、「２０」、「１５」になっており、その結果、候補領域２０１Ｄのトータルスコアは「３５」（＝０＋２０＋１５）になっている。

上述したように、スコア計算部１０５は、トータルスコアが最小である候補領域をPinP領域に決定するので、図７に示したように、候補領域２０１Ａ乃至２０１Ｄのトータルスコアが、それぞれ「１２０」、「７５」、「７」、「３５」である場合、最小のトータルスコア「７」の候補領域２０１Ｃが、PinP領域に決定される。

次に、図８は、図７で説明した第２のPinP領域決定処理により決定された、受信画像４２におけるPinP領域としての候補領域２０１Ｃに、送信画像４１を重畳したPinP画像４３を示す図である。

以上のように、第２のPinP領域決定処理では、テレビ会議装置１１aの送受信の対象の画像のうちの、例えば、テレビ会議装置１１bから送信されてくる受信画像４２から検出された重要領域としての、顔領域、動き領域、およびエッジ領域に基づいて、候補領域２０１Ａ乃至２０１Ｄそれぞれに対して、顔領域スコア、動き領域スコア、およびエッジ領域スコアを算出し、それらのスコアすべてを加算することで得られるトータルスコアに基づいて、候補領域２０１Ａ乃至２０１Ｄのうちの１の候補領域を、PinP領域に決定する。

そして、テレビ会議装置１１aでは、第２のPinP領域決定処理により決定されたPinP領域に、テレビ会議装置１１aの送受信の対象の画像のうちの、例えば、テレビ会議装置１１bに送信する送信画像４１を重畳することにより、受信画像４２を親画面とするとともに、送信画像４１を子画面としたPinP画像４３を生成し、モニタ１４aに表示させる。

従って、ユーザが、リモートコマンダ１６aを操作して、送信画像が重畳されるPinP領域を決定しなくても、受信画像の、顔、動きおよびエッジのある部分がなるべく映ってない、画像の重畳に適切な領域に、送信画像を重畳することができる。

また、第２のPinP領域決定処理では、重要領域の種類を、顔領域の１種類から、顔領域、動き領域、およびエッジ領域の３種類に増やしたので、複数の候補領域のうちの、より適切な１の候補領域がPinP領域として決定される。

ここで、例えば、受信画像に映っている人物などが頻繁に移動する場合には、複数の候補領域それぞれのトータルスコアが頻繁に変化し、そのトータルスコアの変化により、PinP領域として決定される候補領域が頻繁に変化してしまう。

この場合、PinP領域が頻繁に変化するPinP画像が生成されてしまい、ユーザにとって非常に見にくいPinP画像となってしまう。

従って、スコア計算部１０５では、一旦、複数の候補領域のうちの、１つの候補領域がPinP領域に決定された後は、PinP領域が、その１つの候補領域から他の候補領域に変化しにくくなるようにすることができる。

なお、テレビ会議装置１１aにおいて、PinP領域が、他の候補領域に変化しにくくなるようにするかどうかは、例えば、ユーザがリモートコマンダ１６aを操作することにより設定することができる。

PinP領域を変化しにくくする方法としては、例えば、PinP領域に決定された候補領域や、その候補領域以外の候補領域のトータルスコアを操作し、その後、トータルスコアが最小の候補領域を、PinP領域に決定する方法がある。

図９は、そのようにしてPinP領域を決定する第３のPinP領域決定処理を説明する図である。

図９上側は、親画面となる受信画像３４２を示している。

図９上側において、受信画像３４２には、１人の人物（顔）と机とが映っている。また、図９上側では、受診画像３４２内の、左上、右上、左下、右下の４つの矩形の領域が、候補領域４０１Ａ，４０１Ｂ，４０１Ｃ，４０１Ｄとなっている。

図９中央は、スコア計算部１０５が、上述した第２のPinP領域決定処理により、候補領域４０１Ａ乃至４０１Ｄそれぞれに対して算出するスコアの一覧であるスコアテーブルを示している。

図９中央では、候補領域４０１Ａ，４０１Ｂ，４０１Ｃ，４０１Ｄそれぞれに対しての顔領域スコアが「４５」、「０」、「０」、「０」になっている。

また、図９中央では、候補領域４０１Ａ，４０１Ｂ，４０１Ｃ，４０１Ｄそれぞれに対しての動き領域スコアが「５０」、「０」、「５」、「０」になっており、候補領域４０１Ａ，４０１Ｂ，４０１Ｃ，４０１Ｄそれぞれに対してのエッジ領域スコアが「２５」、「０」、「２」、「１０」になっている。

さらに、図９中央では、候補領域４０１Ａ，４０１Ｂ，４０１Ｃ，４０１Ｄそれぞれに対しての、顔領域スコア、動き領域スコア、およびエッジ領域スコアすべてを加算することで得られるトータルスコアが「１２０」、「０」、「７」、「１０」になっている。

従って、第２のPinP領域決定処理では、トータルスコアが、それぞれ「１２０」、「０」、「７」、「１０」の候補領域４０１Ａ乃至４０１Ｄのうちの、最小のトータルスコア「０」の候補領域４０１Ｂが、PinP領域に決定される。

一方、第３のPinP領域決定処理では、例えば、PinP領域に決定された候補領域のトータルスコアが、最小のトータルスコアでなくなった場合に、PinP領域が他の候補領域に変化しにくくなるように、PinP領域に決定された候補領域を除く候補領域すべてのトータルスコアが操作される。

即ち、前回の第３のPinP領域決定処理において、候補領域４０１Ａ乃至４０１Ｄのうちの、例えば、候補領域４０１Ｃのトータルスコアが最小になり、候補領域４０１ＣがPinP領域に決定された場合、今回の第３のPinP領域決定処理において、図９中央に示したスコアテーブルが得られ、従って、前回の第３のPinP領域決定処理でPinP領域に決定された候補領域４０１Ｃのトータルスコアが最小でなくなったとき、今回の第３のPinP領域決定処理では、図９下側のスコアテーブルに示すように、前回の第３のPinP領域決定処理でPinP領域に決定された候補領域４０１Ｃ以外の候補領域４０１Ａ，４０１Ｂ，４０１Ｄのそれぞれに対して、PinP領域を変化しにくくするためのスコア（以下、適宜、領域移動スコアという）として、例えば、「２０」が加算される。

ここで、領域移動スコアの値は、例えば、ユーザが、リモートコマンダ１６aを操作することにより設定することができる。

以上のように、第３のPinP領域決定処理では、トータルスコアに領域移動スコアが加算された後、トータルスコアが最小の候補領域がPinP領域に決定される。

従って、今回の第３のPinP領域決定処理において、顔領域スコア、動き領域スコア、およびエッジ領域スコアとして、図９中央に示したスコアテーブルの値が得られた場合でも、最終的に得られる候補領域４０１Ａ乃至４０１Ｄのトータルスコアは、図９下側のスコアテーブルに示すように、それぞれ、「１４０」、「２０」、「７」、「３０」となり、候補領域４０１Ｃのトータルスコア「７」が最小となる。

その結果、今回の第３のPinP領域決定処理では、前回の第３のPinP領域決定処理でPinP領域に決定された候補領域４０１Ｃが、再び、PinP領域に決定される。

次に、図１０は、図９で説明した第３のPinP領域決定処理により決定された、受信画像３４２におけるPinP領域としての候補領域４０１Ｃに、送信画像４１を重畳したPinP画像３４３を示す図である。

第２のPinP領域決定処理では、PinP領域が、例えば、候補領域４０１Ｃから候補領域４０１Ｂに変化するような、PinP領域の変化が生じやすい。

一方、第３のPinP領域決定処理では、PinP領域が、例えば、候補領域４０１Ｃから候補領域４０１Ｂに変化するような、PinP領域の変化が抑制される。

従って、PinP領域が頻繁に変化する、ユーザにとって見にくいPinP画像が生成されることを防止することができる。

上述したPinP画像生成処理（図５）や第１乃至３のPinP領域決定処理（図４、図７、または図９）は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。PinP画像生成処理や第１乃至３のPinP領域決定処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１１は、プログラムを実行することにより上述したPinP画像生成処理や第１乃至３のPinP領域決定処理を行うコンピュータの構成例を示すブロック図である。

CPU(Central Processing Unit)９０１は、ROM(Read Only Memory)９０２、または記憶部９０８に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)９０３には、CPU９０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU９０１、ROM９０２、およびRAM９０３は、バス９０４により相互に接続されている。

CPU９０１にはまた、バス９０４を介して入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、キーボード、マウス、マイクロホンなどよりなる入力部９０６、モニタ、スピーカなどよりなる出力部９０７が接続されている。CPU９０１は、入力部９０６から入力される指令に対応して各種の処理を実行する。そして、CPU９０１は、処理の結果を出力部９０７に出力する。

入出力インタフェース９０５に接続されている記憶部９０８は、例えばハードディスクからなり、CPU９０１が実行するプログラムや各種のデータを記憶する。通信部９０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。

入出力インタフェース９０５に接続されているドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部９０８に転送され、記憶される。

コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図１１に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)を含む）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア９１１、または、プログラムが一時的もしくは永続的に格納されるROM９０２や、記憶部９０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部９０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。

入出力インタフェース９０５に接続されている撮像部９１２は、撮像を行い、その結果得られる画像を、入出力インタフェース９０５およびバス９０４を介して、CPU９０１に供給する。また、撮像部９１２は、撮像により得られる画像を、入出力インタフェース９０５を介して、通信部９０９に供給し、他のコンピュータに送信させる。

なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本実施の形態において、スコア計算部１０５により、PinP領域とされることをユーザが望まない所定の候補領域がPinP領域に決定されたときには、ユーザは、リモートコマンダ１６aを操作することにより、PinP領域とされることをユーザが所望する他の候補領域をPinP領域に変更することができる。

このとき、テレビ会議装置１１aでは、PinP領域に決定された所定の候補領域と、PinP領域に変更された他の候補領域とが、どのような領域であるかを検出し、PinP領域とされることをユーザが望まない領域と、PinP領域とされることをユーザが所望する領域とを学習することで、その学習結果に基づいて、PinP領域を決定するようにすることができる。

また、本実施の形態においては、例えば、テレビ会議装置１１aが、通信相手のテレビ会議装置１１bから送信されてくる受信画像内のPinP領域に、テレビ会議装置１１aがテレビ会議装置１１bに送信する送信画像を重畳することによりPinP画像を生成したが、テレビ会議装置１１aに複数のカメラが設けられている場合には、複数のカメラのうちの１のカメラから出力される第１の送信画像内のPinP領域に、複数のカメラのうちの他のカメラから出力される第２の送信画像を重畳することによりPinP画像を生成することもできる。

さらに、例えば、テレビ会議装置１１bから複数の受信画像が送信されてくる場合には、テレビ会議装置１１aは、複数の受信画像のうちの１の受信画像内のPinP領域に、他の受信画像を重畳することによりPinP画像を生成することができる。

即ち、例えば、テレビ会議装置１１aにおいては、送受信の対象の画像を対象としてPinP画像を生成することができる。

また、本実施の形態において、２つのテレビ会議装置１１aと１１bとにより構成されるテレビ会議システムについて説明したが、３以上のテレビ会議装置により構成されるテレビ会議システムについても本発明を適用することができ、例えば、３以上のテレビ会議装置のうちの１のテレビ会議装置は、その１のテレビ会議装置を除く２以上のテレビ会議装置からの受信画像や、１のテレビ会議装置が送信する送信画像を対象としてPinP画像を生成することができる。

さらに、本実施の形態においては、PinP画像において、１の子画面を表示させることとしたが、複数の子画面を表示させるようにしてもよい。

また、本実施の形態では、候補領域として、４つの候補領域を採用したが、候補領域の個数は、４つに限定されるものではなく、複数であればいくつであってもよい。候補領域の個数をどのようにするかは、例えば、ユーザがリモートコマンダ１６aを操作することにより設定することができる。

さらに、上述した本実施の形態では言及しなかったが、例えば、カメラ１３aが、予め設定された撮像方向の位置であるプリセットポジションとなるように回転駆動された場合には、PinP画像において、予め設定された位置に、子画面を表示させるようにすることができる。

また、受信画像からの重要領域の検出は、受信画像の各フレームを対象に行っても良いし、一部のフレームだけを対象に行っても良い。

重要領域の検出の対象とする一部のフレームとしては、例えば、一定のフレーム数ごとのフレームを採用することができる。

一定のフレーム数ごとのフレームのみを、重要領域の検出の対象とする場合には、重要領域の検出の対象としないフレームについては、そのフレームの間近の、重要領域を検出済みのフレームと同一の位置に重要領域が存在するとみなして、重要領域を検出することができる。この場合、受信画像の各フレームを重要領域の検出の対象とする場合と比較して、処理量を軽減させることができる。

また、本実施の形態においては、受信画像から、顔領域や、動き領域、エッジ領域などの重要領域を検出することにより、複数の候補領域それぞれに対して、候補領域が重要領域を含む度合いを表すスコアを算出し、そのスコアが最小の候補領域をPinP領域としてPinP画像を生成したが、例えば、受信画像から、重要性の低い非重要領域を検出することにより、複数の候補領域それぞれに対して、候補領域が非重要領域を含まない度合いを表すスコアを算出し、そのスコアが最小の候補領域、つまり、非重要領域をなるべく多く含む候補領域をPinP領域としてPinP画像を生成することもできる。

なお、非重要領域としては、例えば、画素の画素値のばらつきの度合いを表すアクティビティが低い領域である単調領域や、明るさが暗い領域である暗領域などを採用することができる。

ここで、アクティビティが、単調領域であると判定されるための単調領域閾値以下である領域が、単調領域として検出され、例えば、模様が単調な壁や机などが単調領域となる。

また、画素の輝度値が、明るさが暗いと判定されるための暗領域閾値以下である領域が、暗領域として検出され、例えば、机などの遮蔽物の陰となる部分が暗領域となる。

さらに、その他、例えば、受信画像から、重要領域および非重要領域を検出することにより、複数の候補領域それぞれに対して、候補領域が重要領域を含む度合いを表すスコアと、候補領域が非重要領域を含まない度合いを表すスコアとを算出し、その２つのスコアを加算することで得られるトータルスコアが最小の候補領域、つまり、重要領域をなるべく含まないで、非重要領域をなるべく多く含む候補領域をPinP領域としてPinP画像を生成するようにしてもよい。

また、本実施の形態では、PinP領域を決定する方法として、複数の候補領域のうちの、１の候補領域をPinP領域に決定する方法を説明したが、その他の方法として、例えば、受信画像における所定の領域をPinP領域に決定する方法を採用することができる。

受信画像における所定の領域をPinP領域に決定する方法としては、例えば、重要領域以外の領域や非重要領域をなるべく多く含む領域をPinP領域に決定したり、重要領域以外の領域や非重要領域内の領域をPinP領域に決定する方法が考えられる。

ここで、重要領域以外の領域や非重要領域内の領域をPinP領域に決定する場合、PinP画像では、重要領域以外の領域や非重要領域内の領域にのみ子画面が表示されるため、重要領域が子画面によって隠れることがないPinP画像を表示することができる。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用したテレビ会議システムの一実施の形態の構成例を示す図である。 図１のテレビ会議装置１１aが行う処理の概略を説明する図である。 テレビ会議装置１１aの第１の実施の形態の構成例を示すブロック図である。 第１のPinP領域決定処理を説明する図である。 PinP画像を生成するPinP画像生成処理を説明するフローチャートである。 テレビ会議装置１１aの第２の実施の形態の構成例を示すブロック図である。 第２のPinP領域決定処理を説明する図である。 第２のPinP領域決定処理により決定されたPinP領域に、送信画像が重畳されたPinP画像４３を示す図である。 第３のPinP領域決定処理を説明する図である。 第３のPinP領域決定処理により決定されたPinP領域に、送信画像が重畳されたPinP画像３４３を示す図である。 コンピュータの構成例を示すブロック図である。

符号の説明

１１a，１１b テレビ会議装置， １０３ デコーダ， １０４ 顔検出部， １０５ スコア計算部， １０６ PinP画像生成部， １０７ 縮小部， １０８ 表示制御部， １０９ エンコーダ， ３０１ 動き検出部， ３０２ エッジ検出部

Claims (7)

1. 画像を送受信することにより行われるテレビ会議に使用されるテレビ会議装置において、
   送受信の対象の画像のうちの１の画像から、重要性の高い領域である重要領域、または重要性の低い領域である非重要領域を検出する検出手段と、
   前記１の画像の領域において、送受信の対象の画像のうちの、他の１の画像を重畳する領域であるPinP(picture in picture)領域を、前記重要領域または前記非重要領域に基づいて決定する決定手段と、
   前記１の画像の前記PinP領域に、前記他の１の画像を重畳することにより、前記１の画像を親画面とするとともに、前記他の１の画像を子画面としたPinP画像を生成するPinP画像生成手段と、
   前記PinP画像を、画像を表示する表示手段に表示させる表示制御手段と
   を備えるテレビ会議装置。
2. 前記検出手段は、顔を含む領域である顔領域、動きがある領域である動き領域、または、エッジを含む領域であるエッジ領域を、前記重要領域として検出する
   請求項１に記載のテレビ会議装置。
3. 前記決定手段は、前記１の画像内の、前記PinP領域の候補である複数の候補領域それぞれに対して、重要性の度合いを表すスコアを、前記重要領域または前記非重要領域に基づいて算出し、そのスコアに基づいて、複数の候補領域のうちの１の候補領域を、前記PinP領域に決定する
   請求項１に記載のテレビ会議装置。
4. 前記検出手段は、明るさが暗い領域である暗領域、またはアクティビティが低い領域である単調領域を、前記非重要領域として検出する
   請求項１に記載のテレビ会議装置。
5. 前記検出手段は、他のテレビ会議装置から受信した前記１の画像から、前記重要領域または前記非重要領域を検出し、
   前記PinP画像生成手段は、前記１の画像の前記PinP領域に、前記他のテレビ会議装置に送信する前記他の１の画像を重畳することにより、前記１の画像を親画面とするとともに、前記他の１の画像を子画面としたPinP画像を生成する
   請求項１に記載のテレビ会議装置。
6. 画像を送受信することにより行われるテレビ会議に使用されるテレビ会議装置を制御する制御方法において、
   送受信の対象の画像のうちの１の画像から、重要性の高い領域である重要領域、または重要性の低い領域である非重要領域を検出し、
   前記１の画像の領域において、送受信の対象の画像のうちの、他の１の画像を重畳する領域であるPinP領域を、前記重要領域または前記非重要領域に基づいて決定し、
   前記１の画像の前記PinP領域に、前記他の１の画像を重畳することにより、前記１の画像を親画面とするとともに、前記他の１の画像を子画面としたPinP画像を生成し、
   前記PinP画像を、画像を表示する表示手段に表示させる
   ステップを含む制御方法。
7. 画像を送受信することにより行われるテレビ会議に使用されるテレビ会議装置として、コンピュータを機能させるプログラムにおいて、
   送受信の対象の画像のうちの１の画像から、重要性の高い領域である重要領域、または重要性の低い領域である非重要領域を検出する検出手段と、
   前記１の画像の領域において、送受信の対象の画像のうちの、他の１の画像を重畳する領域であるPinP領域を、前記重要領域または前記非重要領域に基づいて決定する決定手段と、
   前記１の画像の前記PinP領域に、前記他の１の画像を重畳することにより、前記１の画像を親画面とするとともに、前記他の１の画像を子画面としたPinP画像を生成するPinP画像生成手段と、
   前記PinP画像を、画像を表示する表示手段に表示させる表示制御手段と
   して、コンピュータを機能させるプログラム。

Images