JP2011176827A - テレビ会議システムの処理方法、テレビ会議システム、プログラム及び記録媒体 - Google Patents

Abstract

【課題】テレビ会議システムの両端末の特徴検出に応じた適切な会議モードの設定によるテレビ会議の質向上のみならず、特徴検出と会議モードとに応じたビットの最適な再割り当てによるテレビ会議システムの性能向上を図る。
【解決手段】ローカル端末装置と、少なくとも１つのリモート端末装置とを有するテレビ会議システムの処理方法は、前記テレビ会議システムによりテレビ会議を行う場合、前記テレビ会議システムにおける前記ローカル端末装置及び前記リモート端末装置でそれぞれの特徴検出を行い、前記ローカル端末装置及び前記リモート端末装置の特徴検出の結果に応じて、前記テレビ会議システムの実行中の会議場面への会議モードの設定を行い、前記会議モードに基づき、前記テレビ会議システムにおける前記ローカル端末装置及び前記リモート端末装置で映像フレームの分割を行い、分割後の領域に前処理を施して映像の符号化を行う。
【選択図】図２

Description

本発明は、テレビ会議システム及び該テレビ会議システムに用いられる処理方法に関し、特に、テレビ会議システム及びテレビ会議システムにおける関心領域を処理する処理方法に関する。

インターネットによるテレビ会議は、会議主催者の時間とコストを大幅に削減することができるため、近年、技術の発展に伴い、インターネットによるテレビ会議が、普及しつつある（特に、ビジネス分野で普及しつつある）。このため、テレビ会議の音声、画質等を改善するための様々な改善案が提案されている。

例えば、特許文献１（米国特許出願公開第2008/0259154号）には、キャプチャした画像または映像への処理を行うことで短い被写界深度の効果をシミュレーション可能な方法が開示されている。該方法においては、画像の背景を分離し、かつぼかし処理を施して焦点（例えば、話者）を目立たせている。なお、空間領域で畳み込みフィルタ（例えば、中央値フィルタ、平均値フィルタ、ガウスフィルタ等）により背景のほかしを行ってもよく、周波数領域で周波数フィルタ（例えば、ローパスフィルタ）によりぼかしを行ってもよい。

また、特許文献２（国際公開第WO2007/007257号）には、関心領域には非関心領域よりも高いフレームレートを用い、拡張関心領域にはぼかしフィルタを施すビデオタイミング上の変換機能を有する方法及び装置が開示されている。

また、特許文献３（米国特許出願公開第2006/0215753号）には、テレビ電話における関心領域への処理技術が開示されている。該技術においては、ローカル端末装置の受信装置からリモート端末装置の送信装置へ関心領域の情報の転送を行い、リモート端末装置の送信装置は、ローカル端末装置の受信装置からの関心領域の情報を用いて、ビデオ画面における関心領域に対して高優先順位の符号化を施している。このため、ローカル端末装置の受信装置は、リモート端末装置の送信装置の映像における関心領域の符号化を遠隔制御できるようになっている。

しかし、前述の技術には、依然として様々な問題が存在している。例えば、特許文献１は、ぼかし処理により、カメラ付き携帯電話におけるプライバシー保護の実現を目的としており、テレビ会議場面を対象としたものではない。このため、テレビ会議場面の特徴への適切な処理がなされていない。例えば、該技術は、テレビ会議の参加者や、任意のタイミングにおけるテレビ会議参加者の共通の焦点や、ネットワークのバンド幅の最適な割り当て利用等は、考慮されていない。

さらに、例えば、特許文献２における技術は、その方法をテレビ会議システムの一方の端末で用いることしか考慮されておらず、テレビ会議の両端末に用いる場合や、ネットワークのバンド幅の最適な割り当て利用に用いることは考慮されておらず、しかも関心領域への定義も、映像中の人を関心領域とするといった、１つの規則しか適用されていない。

なお、特許文献３の技術は、テレビ会議への関心領域の設定は行われていないとともに、関心領域と非関心領域の分割時にも、一方の端末の映像しか考慮されておらず、テレビ会議の両端末の場合は考慮されていない。

従来技術における前述の技術は、テレビ会議システムの一方の端末の映像のみ独立的に考慮しており、テレビ会議システムにおける両端末の映像の特徴及びネットワークのバンド幅の最適割り当ては、総合的に考慮していない。また、関心領域の定義規則においても、単一の規則しか考慮していない（通常、場面の人を関心領域とする）。

本発明は、テレビ会議システムの両端末の特徴検出に応じた適切な会議モードの設定によるテレビ会議の質向上のみならず、特徴検出と会議モードとに応じたビットの最適な再割り当てによるテレビ会議システムの性能向上を図ることを目的とする。

このため、本発明は、従来技術における技術課題を解決するためになされたもので、ローカル端末装置と、少なくとも１つのリモート端末装置とを有するテレビ会議システムの処理方法であって、テレビ会議システムによりテレビ会議を行う場合、テレビ会議システムにおけるローカル端末装置及びリモート端末装置でそれぞれの特徴検出を行い；ローカル端末装置及びリモート端末装置の特徴検出の結果に応じて、テレビ会議システムの実行中の会議場面への会議モードの設定を行い；会議モードに基づき、テレビ会議システムにおけるローカル端末装置及びリモート端末装置で映像フレームの分割を行い、分割後の領域に前処理を施して映像の符号化を行うことを特徴とする処理方法を提供する。

また、本発明の他の態様によると、ローカル端末装置と、少なくとも１つのリモート端末装置を有するテレビ会議システムであって、テレビ会議の期間中に、前記ローカル端末装置と前記リモート端末装置とが、それぞれの特徴検出を行い；前記ローカル端末装置と前記リモート端末装置との間で、特徴検出に関わる情報の交換を行い、前記ローカル端末装置と前記リモート端末装置との特徴検出の結果に応じて、前記テレビ会議システムの実行中の会議場面への会議モードの設定を行い；前記会議モードに基づき、前記ローカル端末装置と前記リモート端末装置とで映像フレームの分割を行い、分割後の領域に前処理を施して映像の符号化を行うことを特徴とするテレビ会議システムを提供する。

なお、本発明のさらに他の態様によると、ローカル端末装置と、少なくとも１つのリモート端末装置と、テレビ会議制御装置と、を有するテレビ会議システムであって、テレビ会議の期間中に、前記ローカル端末装置と前記リモート端末装置とが、それぞれの特徴検出を行い；前記ローカル端末装置と前記リモート端末装置とが、特徴検出に関わる情報を前記テレビ会議制御装置へ送信し、前記テレビ会議制御装置が、前記ローカル端末装置と前記リモート端末装置との特徴検出の結果に応じて、前記テレビ会議システムの実行中の会議場面への会議モードの設定を行い；前記テレビ会議制御装置は、前記ローカル端末装置と前記リモート端末装置とへ、設定した会議モードに関わる情報を送信し、前記ローカル端末装置と前記リモート端末装置は、前記会議モードに基づき、映像フレームの分割を行うとともに、分割後の領域に前処理を施して映像の符号化を行うことを特徴とするテレビ会議システムを提供する。

なお、本発明のさらに他の態様によると、ローカル端末装置と、少なくとも１つのリモート端末装置とを有するテレビ会議システムの各端末装置に対して、前記テレビ会議システムによりテレビ会議を行う場合、前記テレビ会議システムにおける前記ローカル端末装置及び前記リモート端末装置でそれぞれの特徴検出を行う手順、前記ローカル端末装置及び前記リモート端末装置の特徴検出の結果に応じて、前記テレビ会議システムの実行中の会議場面への会議モードの設定を行う手順、及び、前記会議モードに基づき、前記テレビ会議システムにおける前記ローカル端末装置及び前記リモート端末装置で映像フレームの分割を行い、分割後の領域に前処理を施して映像の符号化を行う手順を実行させることを特徴とするプログラムを提供する。

なお、本発明のさらに他の態様によると、上記のプログラムを記録したコンピュータ読取可能な記録媒体を提供する。

本発明の実施例においては、テレビ会議システムの両端末（ローカル端末装置とリモート端末装置）を一体として考えており、テレビ会議システムの両端末の映像の特徴の検出結果に応じて、映像フレームの分割や、分割後の映像の前処理のような処理が施される。なお、２つのレベル（１つは、フレームレベルで、もう一つのレベルは、会議システムの参加者（ローカル端末装置とリモート端末装置レベル））におけるビットの再割り当てが行われ、システムリソースの最適化が行われる。

なお、テレビ会議の全実施期間において、異なる会議場面は、異なる特徴（例えば、プレゼンテーション、討論等）を有するため、ローカル端末装置とリモート端末装置との特徴の検出結果に応じて、テレビ会議を様々な会議モードに分けている。その後、会議モードに応じて、システム両端末で関心領域の分割を行う。本発明の実施例においては、関心領域の定義及び選択は会議モードと緊密に関連付けられているため、本発明の実施例は、従来技術における単一の規則の関心領域の定義に比べて、会議の異なる場面で一貫してより明確かつ正確な焦点をテレビ会議参加者に提示することができる。

本発明の実施例によると、テレビ会議システムの両端末の特徴検出に応じた適切な会議モードの設定によるテレビ会議の質向上のみならず、特徴検出と会議モードとに応じたビットの最適な再割り当てによるテレビ会議システムの性能向上を実現することができる。

さらに、本発明の実施例では、例えばユーザの相互作用がシステム全体に取り入れられることで、パラメータの調整により映像の画質を調節することができる。

本発明の実施例によるテレビ会議システムのブロック図である。 本発明の実施列によるテレビ会議システムの処理方法のフローチャートである。 テレビ会議システムの特徴検出を示したフローチャートである。 端末装置における映像フレームの分割を例示的に示した図である。 図４の映像フレームへのぼかし処理を例示的に示した図である。 空間領域フィルタを例示的に示した図である。 空間領域フィルタを例示的に示した図である。 時間領域フィルタを例示的に示した図である。 本発明の他の実施例によるテレビ会議システムのブロック図である。

以下、本発明の各実施例について説明する。図面において、同一または類似の構成要素には、同一の参照符号を付し、重複する記載は割愛する。

図１は、本発明の実施例によるテレビ会議システムのブロック図である。

図１において、本発明の実施例によるテレビ会議システムは、複数の端末装置１００と、複数の端末装置１００に接続されたテレビ会議制御装置１０１が備えられている。図１に示されたように、端末装置１００は、ユーザの位置に応じて、ローカル端末装置１００Ａとリモート端末装置１００Ｂに分けられる。以下、ローカル端末装置１００Ａとリモート端末装置１００Ｂとは、区別する必要がない限り、端末装置１００と総称する。端末装置１００は、テレビ会議をサポート可能な任意の端末から構成され、端末の例として、パソコン、移動端末（例えば、携帯電話等）、ＰＤＡ等があげられる。また、テレビ会議制御装置１０１は、例えば、サーバ、汎用パソコン等から構成される。なお、図１においては、１つのローカル端末装置１００Ａと２つのリモート端末装置１００Ｂが図示されているが、ローカル端末装置１００Ａとリモート端末装置１００Ｂの数は、図１に示された端末装置の数に限らないことは言うまでもない。

また、端末装置１００は、テレビ会議の構築（開始）或いは加入の動作が可能となるように、内蔵或いは外付けの映像キャプチャ装置（例えば、撮像ヘッド又はカメラ）が設けられていてもよい。

以下、図２を参照しながら、本発明の実施例によるテレビ会議システムにおける処理工程を簡単に説明する。先ず、テレビ会議制御装置１０１により、ローカル端末装置１００Ａとリモート端末装置１００Ｂとの間にテレビ会議を構築する。ローカル端末装置１００Ａとリモート端末装置１００Ｂと間にテレビ会議を構築する工程は、当業者に知られているため、ここでは、ローカル端末装置１００Ａとリモート端末装置１００Ｂと間にテレビ会議を構築する工程の詳細な記載は割愛する。ここで、テレビ会議システムにおける端末装置１００間の接続は、有線接続又は無線接続のような如何なる接続方式でもよい。

ローカル端末装置１００Ａとリモート端末装置１００Ｂと間にテレビ会議を構築した後、ステップＳ１０１において、テレビ会議システムにおけるローカル端末装置１００Ａとリモート端末装置１００Ｂとでそれぞれ映像フレームの特徴検出を行う。

次に、ステップＳ１０２において、ローカル端末装置１００Ａとリモート端末装置１００Ｂとは、それぞれ特徴検出に関する情報をテレビ会議制御装置１０１へ送信し、テレビ会議制御装置１０１は、ローカル端末装置１００Ａとリモート端末装置１００Ｂとからの特徴検出結果に一体的に基づいて（換言すると、ローカル端末装置１００Ａとリモート端末装置１００Ｂとからの特徴検出結果を一体として考慮して）、テレビ会議システムにおける各端末装置１００の実行中の会議場面への会議モードを設定する。ここで、注意すべきことは、ローカル端末装置およびリモート端末装置という用語は、ユーザと端末装置との位置関係から決まる。例えば、図１に示された１つのリモート端末装置１００Ｂ側のユーザからすると、該リモート端末装置１００Ｂは、ローカル端末装置に該当し、ローカル端末装置１００Ａ及び他のリモート端末装置１００Ｂは、リモート端末装置に該当する。

その後、ステップＳ１０３において、テレビ会議システムにおける各端末装置１００は、設定された会議モードに応じて、テレビ会議システムにおける各端末装置１００（即ち、ローカル端末装置１００Ａとリモート端末装置１００Ｂ）で映像フレームの分割を行う。

各端末装置１００における映像フレームの分割後、ステップＳ１０４において、端末装置１００は、分割後の領域に前処理を施し、処理後の領域の映像符号化を行い、他の端末装置１００へ転送する。

以下、本発明の実施例によるテレビ会議システムにおける処理方法の各工程について、詳細に説明する。

先ず、テレビ会議システムにおける端末装置１００での特徴検出工程について詳細に説明する。

図３は、テレビ会議システムの特徴検出を示したフローチャートであり、テレビ会議システムの各端末装置１００で行う特徴検出は、以下の工程が含まれる。

例えば、テレビ会議構築後、ステップＳ１０１１において、端末装置１００は、内蔵或いは外付けの映像キャプチャ装置（例えば、撮像ヘッド又はカメラ）或いは他の類似の設備により映像キャプチャを行う。

その後、ステップＳ１０１２において、端末装置１００は、先ず、実行中の生成された映像フレームから、ホワイトボードがあるか否かを検出し、ホワイトボード有無の検出結果に基づいて、ホワイトボードの全映像フレームにおけるサイズの比率を算出する。端末装置１００は、実行中の映像フレームから少なくとも１つのホワイトボードを検出し、少なくとも１つのホワイトボードの全映像フレームにおけるサイズの比率が所定の閾値を超えた場合は、ステップＳ１０１３へ処理を進め、実行中の映像フレームからホワイトボードが検出されない場合や、検出された全てのホワイトボードの全映像フレームにおけるサイズの比率が所定の閾値未満である場合は、ステップＳ１０１４へ処理を進める。

ステップＳ１０１３において、端末装置１００は、該ホワイトボードを実行中のフレームから検出した特徴と認識し、「ホワイトボード」特徴を「真」とする。これは、テレビ会議の参加者が、現在ホワイトボードを用いてプレゼンテーションや説明を行っていることを示している。

端末装置１００が実行中のフレームから全くホワイトボードが検出できなかった場合や、いずれのホワイトボードも全映像フレームにおけるサイズの比率が所定の閾値未満である場合は、ステップＳ１０１４において、実行中の映像フレームからの他の特徴の検出を続ける。本実施例においては、この時、映像フレームに話者があるか否かを検出する。端末装置が話者の存在を検出した場合は、ステップＳ１０１５へ処理を進め、話者の存在が検出されなかった場合は、ステップＳ１０１６へ処理を進める。

端末装置１００は、実行中のフレームから話者を検出した場合は、ステップＳ１０１５において、実行中の映像フレームにおける「話者」特徴を「真」とする。これは、端末装置１００から話者を検出したことを示している。

端末装置１００は、実行中のフレームから話者を検出できなかった場合は、ステップＳ１０１６において、実行中の映像フレームにおける「特徴未検出」を「真」とする。これは、端末装置１００から特徴を検出できなかったことを示している。

ここで、注意すべきことは、会議システムの各端末装置１００でそれぞれ前述の特徴検出を行った後、各端末装置１００で検出された特徴に応じて、会議モードを設定する。

以下、各端末装置１００で検出された特徴に基づいて会議モードを設定する動作について詳細に説明する。

テレビ会議システムの各端末装置１００で特徴の検出を行った後、端末装置１００は、データ転送用のプロトコル（例えば、ＴＣＰ/ＩＰ、ＵＤＰ等のプロトコル）に基づき、テレビ会議制御装置１０１へ映像フレームの特徴に関する情報を送信する。

テレビ会議制御装置１０１は、各端末装置１００からの映像フレームの特徴に関する情報を受信後、各端末装置１００の映像フレームの特徴に関する情報の組み合わせを行うともに、組み合わせ後の結果に応じて、端末装置１００の実行中のテレビ会議場面の会議モードを設定する。

例えば、ローカル端末装置１００Ａにおいて、「ホワイトボード」特徴が「真」と設定され、リモート端末装置１００Ｂにおいて、「特徴未検出」が「真」と設定された場合は、テレビ会議制御装置１０１が、これらの情報から実行中のテレビ会議場面を「ホワイトボードモード」に設定する。なお、予め設定した時間範囲（該予め設定した時間範囲は具体的な状況に応じて変更可能）内で、ローカル端末装置１００Ａで持続的に話者が検出され、リモート端末装置１００Ｂではいずれの特徴も検出されなかった場合は、テレビ会議制御装置１０１がこれらの情報から実行中の会議場面を「プレゼンテーションモード（講演モード）」に設定する。また、予め設定した時間範囲内で、テレビ会議システムの両側（例えば、ローカル端末装置１００Ａとリモート端末装置１００Ｂ）から同時に或いは交互に「話者」特徴が検出された場合は、テレビ会議制御装置１０１がこれらの情報から実行中の会議場面を「討議モード」に設定する。

前述の各端末装置１００（ローカル端末装置１００Ａとリモート端末装置１００Ｂ）における映像フレームの特徴の組み合わせによる各端末装置の会議モードの設定は、これらの場合に限るものではない。例えば、より具体的な状況に応じてより多くの会議モードを臨機応変に設定することができる。なお、ユーザやテレビ会議参加者が、具体的状況に応じて、テレビ会議制御装置に設けられた入出力インタフェース（未図示）により、テレビ会議のモードを任意に制限してもよい。例えば、テレビ会議制御装置１０１は、ローカル端末装置１００Ａで「ホワイトボード」特徴が「真」と設定され、予め設定した時間範囲内で、リモート端末装置１００Ｂで持続的に話者が検出された場合は、ユーザ設定に応じて、実行中のテレビ会議場面のモードを「ホワイトボードモード」、若しくは「プレゼンテーションモード」に設定してもよく、ローカル端末装置１００Ａで「ホワイトボード」特徴が「真」と設定され、予め設定した時間範囲内で、複数のリモート端末装置１００Ｂで持続的に話者が検出された場合は、実行中のテレビ会議場面のモードを「討議モード」に設定してもよい。

次に、テレビ会議制御装置１０１は、端末装置１００（ローカル端末装置１００Ａとリモート端末装置１００Ｂ）における映像フレームの特徴の組み合わせに応じて会議モードを設定後、設定した会議モードの情報を、各端末装置１００へ送信することで、設定された会議モードに応じた各端末装置１００における映像フレームの分割を可能とする。

ここで、注意すべきことは、異なる会議モードにおいては、テレビ会議の参加者（ユーザ）の焦点が互いに異なるため、映像フレームの分割は会議モードと関連付けられている。テレビ会議の参加者の焦点は、「ホワイトボード」、「話者」等の特徴が含まれる。

以下、各会議モードにおける、映像フレーム分割の細部について詳細に説明する。

例えば、「プレゼンテーションモード」において、話者がローカル端末装置１００Ａ側にいる場合は、テレビ会議の両端末（ローカル端末装置１００Ａとリモート端末装置１００Ｂ）にいる参加者からみて、該話者は、テレビ会議の両端末の参加者の共通焦点となる。この場合、例えば、ローカル端末装置１００Ａ側の映像フレームに対しては、「プレゼンテーションモード」に基づいて映像フレームを３つの部分に分割する。即ち、話者や話者の顔部は「関心領域」（ＲＯＩ、region of interest）に分割され、映像フレームにおける「関心領域」のエッジから外側へ所定距離分拡張した領域は「拡張関心領域」（extended ROI, x-ROIともいう）に分割され、映像フレームにおける残りの領域は「非関心領域」（non-ROI）に分割される。例えば、図４は、映像フレームの分割結果を例示した図である。リモート端末装置１００Ｂ側の映像フレームにおいては、前述の場合、他端末（即ち、ローカル端末装置１００Ａ）に話者が存在し、かつリモート端末装置１００Ｂで特徴が未検出の場合は、リモート端末装置１００Ｂ側の映像フレームにおけるすべての内容は、テレビ会議の実行中の会議場面の焦点（即ち、他端末（ローカル端末装置１００Ａ）における話者）よりも重要性が低くなる。このため、リモート端末装置１００Ｂは、ここでは、「プレゼンテーションモード」に基づき、リモート端末装置１００Ｂ側の全映像フレームを「非関心領域」に分割する。

同様に、例えば、リモート端末装置１００Ｂは、話者がリモート端末装置１００Ｂ側にいて、ローカル端末装置１００Ａで特徴を検出できなかった場合は、「プレゼンテーションモード」に基づいてリモート端末装置１００Ｂの映像フレームの分割（関心領域、拡張関心領域、及び非関心領域の分割）を行う。この場合、ローカル端末装置１００Ａ側の全映像フレームは「非関心領域」に分割される。

なお、「ホワイトボードモード」において、ローカル端末装置１００Ａ側の参加者がホワイトボードに何かを書いている場合は、テレビ会議の全ての参加者にとって、ホワイトボードに書かれている内容は、参加者全員の共通焦点となる。このため、該モードにおいて、ローカル端末装置１００Ａ側の映像フレームについては、該映像フレームが３つの部分に分割される。即ち、ホワイトボードに現在書いている内容が「関心領域」に分割され、映像フレームにおける「関心領域」のエッジから外側へ所定距離分拡張した領域が「拡張関心領域」に分割され、映像フレームにおける残りの領域が「非関心領域」に分割される。この場合、リモート端末装置１００Ｂの映像フレームについては、他端末（即ち、ローカル端末装置１００Ａ）で参加者がホワイトボードに何かを書いている場合、ホワイトボードの内容が参加者の焦点であるため、リモート端末装置１００Ｂ側の映像フレームにおけるすべての内容は、テレビ会議の実行中の会議場面の焦点（即ち、ホワイトボード）よりも重要性が低くなる。このため、リモート端末装置１００Ｂは、ここでは、「ホワイトボードモード」に基づき、リモート端末装置１００Ｂの全映像フレームを「非関心領域」に分割する。

同様に、例えば、リモート端末装置１００Ｂ側の参加者がホワイトボードに何かを書いている場合、該リモート端末装置１００Ｂは、「ホワイトボードモード」に基づき、リモート端末装置１００Ｂの映像フレームの分割（即ち、関心領域、拡張関心領域、及び非関心領域の分割）を行う。この場合、ローカル端末装置１００Ａ側の全映像フレームは「非関心領域」に分割される。

なお、「討議モード」において、テレビ会議システムの対応の端末装置で多数の参加者（話者）が討議に参加している場合は、テレビ会議の参加者からみて、討議に参加している人が全ての参加者の焦点となる。このため、例えば、該モードにおいて、ローカル端末装置１００Ａの映像フレームについては、該映像フレームを３つの部分に分割する。即ち、討議に参加中の人が「関心領域」に分割され、映像フレームにおける「関心領域」のエッジから外側へ所定距離分拡張した領域が「拡張関心領域」に分割され、映像フレームにおける残りの領域が「非関心領域」に分割される。リモート端末装置１００Ｂ側でも討議に参加中の人が存在する場合は、リモート端末装置１００Ｂの映像フレームについても、同様の分割操作（即ち、関心領域、拡張関心領域、及び非関心領域の分割）を行う。あるリモート端末装置１００Ｂで討議に参加中の人が存在しない場合は、該リモート端末装置１００Ｂは、そのリモート端末装置１００Ｂ側の全映像フレームを「非関心領域」に分割する。

ここまで、テレビ会議システムの各端末装置１００上の映像フレームは、テレビ会議システムの両端末（ローカル端末装置１００Ａとリモート端末装置１００Ｂ）で検出された特徴及び会議モードに基づいて、「関心領域」、「拡張関心領域」及び「非関心領域」の３種類に分割される。「関心領域」、「拡張関心領域」及び「非関心領域」のそれぞれには、少なくとも１つの端末装置１００の映像フレームにおける分割された領域が含まれている。ここで、映像フレームを３種類に分割する目的は、異なる部分間のエッジ効果を減らすためであり、後述のフィルタを施した後の、異なる部分間の映像の平滑な遷移（トランジション）を可能とするためである。

以下、端末装置１００の映像フレームの分割後、端末装置１００で映像符号化の前に行う前処理操作について詳細に説明する。

映像フレーム分割の操作後、テレビ会議システムにおける各端末装置１００は、映像フレームの分割領域の優先順位付け（設定）を行う。関心領域は、通常、テレビ会議の参加者の共通の焦点が含まれているため、該部分領域に最高優先順位が与えられる。拡張関心領域は、前述の関心領域の外延長の拡張となるため、その優先順位は、前述の関心領域よりも低くなる。また、非関心領域は、通常、含まれる内容の重要性が最も低いため、最低の優先順位が与えられる。

次に、優先順位に基づいて、前述のテレビ会議システムにおける各端末装置１００のネットワークのバンド幅の再割り当てを行う。例えば、テレビ会議システムにおける各端末装置１００間で優先順位に関する情報の交換を行うことにより、ネットワークバンド幅の再割り当て動作を行うことができる。具体的に、優先順位の設定に基づき、最高優先順位の映像フレームを有する端末装置１００は、広いバンド幅を保有し、比較的に優先順位の低い映像フレームを有する端末装置１００は、狭いバンド幅を保有するようにしてもよい。なお、テレビ会議制御装置１０１は、各端末装置１００の優先順位の設定結果に関する情報を収集し、各端末装置１００の保有するバンド幅の割り当てを行う。注意すべきことは、本発明はこれに限るものではなく、優先順位に基づいて、任意の動的なネットワークのバンド幅の設定技術を用いて、端末装置１００のバンド幅の再割り当て動作を行ってもよい。

なお、端末装置１００は、端末装置１００における優先順位の設定を行った後、拡張関心領域と非関心領域に対して、空間領域でのぼかしフィルタを施し、これらの２つの領域に含まれている高周波数情報の容量を低減させている。その後、拡張関心領域と非関心領域に対し、時間領域でのフィルタを施し、隣り合う２つの映像フレーム間の変化を低減させている。

前記領域に対して空間領域でのぼかしフィルタを施すことにより、次の符号化段階において、例えば、離散コサイン変換（ＤＣＴ）後の、前記領域における符号化が必要となる画像情報の量を少なくすることができる。同様に、前記領域に対して時間領域でのフィルタを施すことにより、次の符号化段階において、動き推定後の、これらの２つの領域における符号化が必要となる動きベクトルの量を少なくすることができる。

具体的に、例えば、加重平均値フィルタを用いて、拡張関心領域と非関心領域に対して空間領域でのぼかしフィルタを施すことができる。下記の式（１）は、加重平均値フィルタの一例である。

ここで、g(x,y)は、(2n+1)×(2n+1)個の画素を有する窓の中心画素であり、w(i,j)は、加重値であり、f(x+i,y+j)は、該窓における画素の画素値である。

この式から、窓における(2n+1)×(2n+1)個の画素の加重平均値を用いて、中心画素の元の値の置換を行い、加重平均値フィルタ（ぼかしフィルタ）を行う。

なお、拡張関心領域と非関心領域に用いられる加重平均値フィルタは、異なる種類のものでもよく、異なるパラメータを有してもよい。例えば、図６Ａに示された加重平均値ぼかしフィルタは、拡張関心領域に用いられ、図６Ｂに示された加重平均値ぼかしフィルタは、非関心領域に用いられてもよい。なお、図６Ａと図６Ｂとに示された行列は、加重値w(i,j)行列形式である。

加重平均値フィルタを用いて空間領域でのぼかしフィルタを行った後の、原映像フレームを図４とすると、そのフィルタ結果は、図５に示されるようになる。前述の加重平均値フィルタ以外にも、中央値フィルタとガウスフィルタとを用いて、拡張関心領域と非関心領域とのぼかしを行ってもよい。

なお、時間領域のフィルタについて、拡張関心領域のフィルタは、隣り合う２つの映像フレームの対応の拡張関心領域の線形補間により得ることができ、非関心領域フィルタは、前のフレームの対応領域の内容のコピーにより得ることができ、換言すると、２つ以上のフレーム毎に、そのうちの１つ或いは複数のフレームの非関心領域をスキップすることになる。この時間領域のフィルタ方法は、図６Ｃに示したようになる。

映像フレームの分割領域（拡張関心領域と非関心領域）への空間領域及び時間領域でのフィルタにより、各端末装置１００上の映像フレームの情報量を著しく低減することができ、テレビ会議を構築するネットワークにおけるデータ転送量を低減することができる。このため、空間領域と時間領域とでのフィルタにより、ネットワークのバンド幅をさらに節約することができる。このため、本発明の実施例におけるテレビ会議システム及び処理方法によれば、転送速度が低いネットワークにおいても、安定かつスムーズなテレビ会議を構築することが可能となる。

以下、映像フレームの分割領域への前処理（例えば、優先順位付け、フィルタ等）を施した後の処理の詳細について説明する。

テレビ会議システムにおける端末装置１００は、前処理された映像への符号化を行う。優先順位付け、フィルタ等の操作は、前処理段階で終わるため、本発明は如何なる符号器やＣＯＤＥＣ（コーダ・デコーダ）にも適用することができ、従来の符号器への変更は不要となる。このため、符号器やＣＯＤＥＣの構成、及びその動作への詳細説明は割愛する。

以下、本発明の他の実施例によるテレビ会議システムについて説明する。

図７は、本発明の他の実施例によるテレビ会議システムを示したブロック図である。

図７に示されたテレビ会議システムは、テレビ会議制御装置１０１は含まれていない。本実施例においては、各端末装置１００間の情報の相互作用（双方向通信）（テレビ会議制御装置を介する必要なし）により、各端末装置１００の特徴検出に応じた会議モードの設定が行われるとともに、必要な前処理が行われる。各端末装置１００間の情報の相互作用による会議モード設定のステップ以外は、各端末装置１００により行われる処理は、前述の実施例における処理と略同じであるため、ここでは不要な重複記載は割愛する。

本実施例によると、端末装置１００（ローカル端末装置１００Ａとする）は、テレビ会議システムの各端末装置１００で特徴の検出を行った後、データ転送用のプロトコル（例えば、ＴＣＰ/ＩＰ、ＵＤＰ等のプロトコル）に基づき、他の端末装置１００（リモート端末装置１００Ｂとする）へ他の端末装置１００の映像フレームの特徴を得るための要求を送信し、他の端末装置１００からの応答情報（即ち、他の端末装置１００の映像フレームの特徴に関する情報）を受信する。

その後、テレビ会議システムにおける各端末装置１００（ローカル端末装置１００Ａとする）は、ローカルの映像フレームの特徴に関する情報と、他の端末装置１００（リモート端末装置１００Ｂとする）からの映像フレームの特徴に関する情報とを組み合わせるとともに、組み合わせ後の結果に基づいて、実行中のテレビ会議場面への会議モードを設定し、設定した会議モードに応じた前処理を施す。

なお、本発明のさらに他の実施例によると、ユーザは、端末装置１００に設けられた入出力インタフェース（未図示）により、端末装置１００と相互作用を行い、実行中の映像の画質の調整を行うこともできる。

例えば、ユーザが映像の画質の調整を希望する場合は、ユーザにより空間領域と時間領域とでのフィルタに用いられるフィルタのパラメータの調整を行い、その後、端末装置１００により、調整後のパラメータに基づいたフィルタ操作を行ってもよい。例えば、n×n行列（ｎ²は行列の行列要素数）の加重平均値ぼかしフィルタ（図６Ｂに示されたように、nの値は5で、分母はn²=25である）においては、ｎの値が大きくなるほど、ぼかし効果がはっきりしている。図６Ａに示された加重平均値フィルタも、同様の属性がある。このため、フィルタのパラメータｎの値を大きくすることで、さらに非関心領域と拡張関心領域の画質を低下させ、符号化後のデータ量の削減とバンド幅の節約が可能となる。同様に、関心領域の画質を向上させることで、ユーザにより鮮明な焦点内容を見せることができる。

以上のように本発明の各種の例示的実施例について詳細に説明してきたが、本発明の実施例によるテレビ会議システム及びテレビ会議システムにおける関心領域の処理方法により、テレビ会議システムの両端末の映像の特徴の検出結果に応じて、端末装置の実行中の会議場面への会議モードの設定を行うことができる。テレビ会議の全実施期間において、会議場面の変化に伴い、実行中の焦点もそれに応じて変化するため、それぞれの会議モードに対し、実行中の焦点の分割を行い、かつ最高順位を与える操作により、自動的にかつ円滑に鮮明な高品質の焦点内容を会議参加者に提供することができる。

なお、映像フレームの分割により２つのレベルでのビットの再割り当てを行うため、換言すれば、先ずテレビ会議システムのローカル端末装置とリモート端末装置でバンド幅の再割り当てを行ってから、フレームレベルにおけるビットの再割り当てを行うため、このような操作により、使用可能なネットワークのバンド幅を十分に利用することができ、会議参加者に、鮮明な高品質の映像を提供することができる。

本発明の実施例は、ハードウェアによる実施方法や、ソフトウェアによる実施方法、或いはハードウェアとソフトウェアとの組み合わせによる実施方法を用いてもよい。一部の実施例においては、ファームウェア、内蔵ソフトウェアや、マイクロコード等（ただし、これに限るものではない）のソフトウェアを用いて本発明の実施例を実現することができる。なお、本発明は、コンピュータや、任意のコマンド実行システムの使用により、本発明の実施例による処理方法を実行可能なコンピュータプログラムの形式で実現されてもよい。コンピュータプログラム、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な記録媒体の例として、半導体や、固体状のメモリ、磁気テープ、アンインストール可能なコンピュータ磁気ディスク、ＲＡＭ、ＲＯＭ、ハードディスク、光ディスク等があげられる。

以上のように、本発明の実施例について具体的に説明してきたが、本発明がこれに限定されることはない。当業者は、設計需要や他の要素に応じて、様々な変更や、組み合わせや、部分的な組み合わせや、代替を行うことができ、これらは、本発明の特許請求の範囲及び均等の範囲内に含まれる。

１００Ａ ローカル端末装置
１００Ｂ リモート端末装置
１０１ テレビ会議制御装置

米国特許出願公開第2008/0259154号 国際公開第WO2007/007257号 米国特許出願公開第2006/0215753号

Claims (15)

1. ローカル端末装置と、少なくとも１つのリモート端末装置とを有するテレビ会議システムの処理方法であって、
   前記テレビ会議システムによりテレビ会議を行う場合、前記テレビ会議システムにおける前記ローカル端末装置及び前記リモート端末装置でそれぞれの特徴検出を行い、
   前記ローカル端末装置及び前記リモート端末装置の特徴検出の結果に応じて、前記テレビ会議システムの実行中の会議場面への会議モードの設定を行い、
   前記会議モードに基づき、前記テレビ会議システムにおける前記ローカル端末装置及び前記リモート端末装置で映像フレームの分割を行い、分割後の領域に前処理を施して映像の符号化を行うことを特徴とする処理方法。
2. 前記テレビ会議システムにおける前記ローカル端末装置及び前記リモート端末装置で検出された特徴は、ホワイトボード及び話者のうち少なくとも１つを含む焦点を有することを特徴とする、請求項１に記載の処理方法。
3. 前記映像フレームへの分割後、分割された前記映像フレームの領域への優先順位の設定を行うことを特徴とする、請求項２に記載の処理方法。
4. 前記映像フレームに焦点が含まれている場合は、該映像フレームを「関心領域」と、「拡張関心領域」と、「非関心領域」とに分割し、
   前記映像フレームに焦点が含まれていない場合は、該映像フレーム全体を「非関心領域」とすることを特徴とする、請求項３に記載の処理方法。
5. 前記優先順位の設定として、関心領域を最高優先順位とし、拡張関心領域を第２優先順位とし、非関心領域を最低優先順位とすることを特徴とする、請求項４に記載の処理方法。
6. 優先順位の設定に基づき、前記テレビ会議システムのネットワークのバンド幅の再割り当てを行うことを特徴とする、請求項３乃至５のうちいずれか１項に記載の処理方法。
7. 前記テレビ会議システムのネットワークのバンド幅の再割り当ては、前記テレビ会議システムのローカル端末装置及びリモート端末装置間のバンド幅の割り当てと、映像フレームのビットの再割り当てとを含むことを特徴とする、請求項６に記載の処理方法。
8. 前記拡張関心領域と前記非関心領域には、空間領域におけるぼかしフィルタを施し、映像フレーム内のビットの再割り当てを行うことを特徴とする、請求項７に記載の処理方法。
9. 前記空間領域におけるぼかしフィルタは、平均値フィルタ、中央値フィルタ、及びガウスフィルタのうちの少なくとも１つであることを特徴とする、請求項８に記載の処理方法。
10. 前記拡張関心領域と前記非関心領域には、時間領域のフィルタを施し、映像フレーム内のビットの再割り当てを行うことを特徴とする、請求項７に記載の処理方法。
11. 前記時間領域のフィルタは、少なくとも隣り合う映像フレーム同士の対応領域に加重値を有する線形補間を行うことであることを特徴とする、請求項１０に記載の処理方法。
12. ローカル端末装置と、少なくとも１つのリモート端末装置とを有するテレビ会議システムであって、
    テレビ会議の期間中に、前記ローカル端末装置と前記リモート端末装置とが、それぞれの特徴検出を行い、
    前記ローカル端末装置と前記リモート端末装置との間で、特徴検出に関わる情報の交換を行い、前記ローカル端末装置と前記リモート端末装置との特徴検出の結果に応じて、前記テレビ会議システムの実行中の会議場面への会議モードの設定を行い、
    前記会議モードに基づき、前記ローカル端末装置と前記リモート端末装置とで映像フレームの分割を行い、分割後の領域に前処理を施して映像の符号化を行うことを特徴とするテレビ会議システム。
13. ローカル端末装置と、少なくとも１つのリモート端末装置と、テレビ会議制御装置と、を有するテレビ会議システムにおいて、
    テレビ会議の期間中に、前記ローカル端末装置と前記リモート端末装置とが、それぞれの特徴検出を行い、
    前記ローカル端末装置と前記リモート端末装置とが、特徴検出に関わる情報を前記テレビ会議制御装置へ送信し、前記テレビ会議制御装置が、前記ローカル端末装置と前記リモート端末装置との特徴検出の結果に応じて、前記テレビ会議システムの実行中の会議場面への会議モードの設定を行い、
    前記テレビ会議制御装置は、前記ローカル端末装置と前記リモート端末装置とへ、設定した会議モードに関わる情報を送信し、前記ローカル端末装置と前記リモート端末装置とは、前記会議モードに基づき、映像フレームの分割を行うとともに、分割後の領域に前処理を施して映像の符号化を行うことを特徴とするテレビ会議システム。
14. ローカル端末装置と、少なくとも１つのリモート端末装置とを有するテレビ会議システムの各端末装置に対して、
    前記テレビ会議システムによりテレビ会議を行う場合、前記テレビ会議システムにおける前記ローカル端末装置及び前記リモート端末装置でそれぞれの特徴検出を行う手順、
    前記ローカル端末装置及び前記リモート端末装置の特徴検出の結果に応じて、前記テレビ会議システムの実行中の会議場面への会議モードの設定を行う手順、及び、
    前記会議モードに基づき、前記テレビ会議システムにおける前記ローカル端末装置及び前記リモート端末装置で映像フレームの分割を行い、分割後の領域に前処理を施して映像の符号化を行う手順を実行させることを特徴とするプログラム。
15. 請求項１４に記載のプログラムを記録したコンピュータ読取可能な記録媒体。

Images