JP2012134874A

JP2012134874A - Ｔｖ会議システム

Info

Publication number: JP2012134874A
Application number: JP2010286559A
Authority: JP
Inventors: Tetsuo Yamashita; 哲生山下
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2010-12-22
Filing date: 2010-12-22
Publication date: 2012-07-12
Anticipated expiration: 2030-12-22
Also published as: JP5740969B2

Abstract

【課題】映像の種類にとって最適な解像度／フレームレートにより映像データを送信することが可能なＴＶ会議システムを提供する。
【解決手段】従来の構成に、夫々の端末Ａにカメラ１０４により撮影した映像の種類を検知して、この映像の種類に係る情報をサーバー１０６に送信する映像種類検知部（映像種類検知手段）２００を更に備え、サーバー１０６に映像種類検知部２００により検知された映像の種類に基づいて解像度・画質とフレームレートのどちらを優先するかをレイヤー切り出し部１０２に指示する優先レイヤー指定部（優先レイヤー指定手段）２０１を更に備えて構成されている。
【選択図】図１

Description

本発明は、ＴＶ会議システムに関して、さらに詳しくは、ＴＶ会議システムのようなリアルタイムで映像を送受信するシステムにおいて、端末と端末間を中継するサーバーが行う送信映像の調整技術に関するものである。

ＴＶ会議システムでは、映像データと音声データをリアルタイムに送受信する必要があるため、使用するネットワークの品質が保証されていない場合であっても送受信を中断することができず、そのときは十分な性能を発揮できないことがある。そこで、端末と端末間の通信を中継するサーバーが、通信パケットの損失や通信遅延時間などの情報を交換し、使用しているネットワークの状態を検知して、そのネットワークの状態に合わせて、端末が送受信する映像の解像度やフレームレートを調整するといったことが行われている。尚、スケーラブル映像符号化技術を用いて送信先である各端末とネットワークの状態に合わせて、映像データ量をサーバーで調節する技術は既に知られている。

図３は、従来のＴＶ会議システムにおける端末とサーバーの構成について説明する図である。図３では、従来のＨ．２６４／ＳＶＣ（スケーラブル映像符号化）を用いたＴＶ会議システムにおける端末Ａと端末Ｂ間を中継するサーバーの構成を表している。ＴＶ会議システム１１０は、カメラ１０４、ディスプレイ１０５、端末Ａ、Ｂ及びサーバー１０６により構成されている。カメラ１０４は、ＴＶ会議をしている際の映像を撮影する。ディスプレイ１０５は他拠点の映像を表示する。端末Ａ、Ｂは、画像データ等の通信を行う。サーバー１０６は映像データの中継と送信データ量の調整を行う。端末Ａ、Ｂには、カメラ１０４とディスプレイ１０５が接続されており、Ｈ．２６４／ＳＶＣエンコーダー１００、Ｈ．２６４デコーダー１０１を備えている。サーバー１０６にはネットワーク状態、受信端末状態検知部１０３とレイヤー切り出し部１０２を備えている。
端末Ａ、ＢのＨ．２６４／ＳＶＣエンコーダー１００は、カメラ１０４で撮影された自拠点の映像をスケーラブル圧縮符号化し、サーバー１０６に送信する。Ｈ．２６４／ＳＶＣを用いた映像符号化は解像度、フレームレート、画質の情報を粗い情報から細かい情報へと階層化（レイヤー化）して符号化することにより、解像度、フレームレート、画質のスケーラビリティを実現することが知られている。サーバー１０６はネットワーク状態、受信端末状態検知部１０３で、受信側のネットワークの状態（使用可能な通信帯域、パケット損失率など）、端末状態（処理性能、現在の稼働率など）を端末Ａ、Ｂと情報をやりとりし、受信した映像データの調整をする。この調整の際には、レイヤー切り出し部１０２を用いて、受信した映像データからレイヤーを切り出し、受信側端末Ｂ（Ａ）に送信する。端末Ｂ（Ａ）は受信した映像データをデコーダー１０１によって復号化する。これを双方向に行うことにより、互いの映像を送受信している。

図４は、従来のＴＶ会議システムでの映像データに対する処理を説明するフローチャートである。従来のＨ．２６４／ＳＶＣを用いたＴＶ会議システム１１０では、端末Ａは撮影した映像をＨ．２６４／ＳＶＣで符号化する（Ｓ１００）。次に端末Ａは符号化された映像データをサーバー１０６に送信する（Ｓ１０１）。サーバー１０６は受信側端末の状態、ネットワークの状態から送信可能なデータ量を検知する（Ｓ１０２）。そして、サーバー１０６は受信した映像データをレイヤー切り出しにより、ステップＳ１０２で検知した送信可能なデータ量に調整する（Ｓ１０３）。そしてサーバー１０６は各端末に映像データを送信する（Ｓ１０４）。端末Ｂは受信した映像データを復号化して（Ｓ１０５）、端末Ａは復号化した映像データをディスプレイ１０５に表示する（Ｓ１０６）。
このような構成においては、サーバー１０６でのレイヤー切り出しによる映像データ量の調整は、その映像データの種類を考慮しないため、解像度や画質が重要な映像において、時間レイヤーよりも空間レイヤー、ＳＮＲレイヤーを切り出して解像度、画質を下げることで、利用するネットワーク帯域を減らす方法をとるため、その結果、必ずしも最適ではない調整が行われてしまうという問題がある。

特許文献１には、音声品質の劣化や遅延を抑える目的で、映像音声制御装置がネットワークの状態や各クライアントのＣＰＵの状態の変化によって、クライアントまたは各サーバーに対してビットレート、フレームレート、解像度およびフレーム間引きの少なくとも１つを含む映像の品質を調整するように制御する構成が開示されている。

しかし、特許文献１に開示されている従来技術は、本発明とは確かに映像の品質を調整させる点では類似しているが、最適でない映像により調整が行われるという問題については解消されていない。
本発明は、かかる課題に鑑みてなされたものであり、スケーラブルに符号化された映像データの特徴を用いて行われる送信データ量の調整によるネットワーク帯域制御技術と、送信する映像の種類を検知する画像認識技術を組み合わせることにより、映像の種類にとって最適な解像度／フレームレートにより映像データを送信することが可能なＴＶ会議システムを提供することを目的とする。

本発明はかかる課題を解決するために、請求項１は、少なくとも２箇所の拠点間の画像データを双方向通信して会議を行うＴＶ会議システムであって、前記各拠点で撮影された映像の種類を検知して、該検知された映像の種類に基づいて解像度・画質とフレームレートの何れが重要かを判断すると共に、受信端末のネットワーク状態を検知し、前記解像度・画質又はフレームレートを優先的に残して送信可能なデータ量に調整して送信することを特徴とする。
本発明の最も大きな特徴は、撮影された映像の種類を検知して、検知された映像の種類に基づいて、解像度・画質とフレームレートのどちらが重要かを判断して、重要である方を残すようにして、ネットワーク状態に基づいた送信可能なデータ量に調整することである。これにより、映像の種類にとって最適な解像度／フレームレートで映像データを送信することができる。

請求項２は、前記拠点に夫々備えられて映像を撮影する撮像手段と、前記拠点に夫々備えられて復号化された映像を表示する表示手段と、前記拠点に夫々備えられて前記撮像手段により撮影された自拠点の映像をスケーラブル圧縮符号化するエンコーダー、及び前記表示手段に表示するための映像データを復号化するデコーダーを有する端末と、前記エンコーダーから受信した映像データからレイヤーを切り出して受信端末に送信するレイヤー切り出し手段、及び前記受信端末の状態及び使用するネットワークの状態を検知する状態検知手段を有し、夫々の前記端末から受信した前記映像データの中継及び送信データ量の調整を行うサーバーと、を備えたＴＶ会議システムであって、夫々の前記端末に前記撮像手段により撮影した映像の種類を検知して、該映像の種類に係る情報を前記サーバーに送信する映像種類検知手段を備え、前記サーバーに前記映像種類検知手段により検知された映像の種類に基づいて解像度・画質とフレームレートのどちらを優先するかを前記レイヤー切り出し手段に指示する優先レイヤー指定手段を備えたことを特徴とする。
本発明の具体的な構成要件は、従来の端末に撮像手段により撮影した映像の種類を検知して、この映像の種類に係る情報をサーバーに送信する映像種類検知手段を備え、また、サーバーに映像種類検知手段により検知された映像の種類に基づいて解像度・画質とフレームレートのどちらを優先するかをレイヤー切り出し手段に指示する優先レイヤー指定手段を備えたことである。これにより、スケーラブルに符号化された映像データの特徴を用いて行われる送信データ調整によるネットワーク帯域制御技術と、送信する映像の種類を検知する画像認識技術を組み合わせることにより、映像の種類にとって最適な解像度／フレームレートで映像データを送信することができる。

請求項３は、前記映像種類検知手段に画像認識手段を備え、前記撮像手段により撮影された映像を前記画像認識手段により人物画像であると認識した場合、前記優先レイヤー指定手段はフレームレートが重要であると判断して、優先的に時間レイヤーを残すように前記レイヤー切り出し手段に指示し、前記状態検知手段により得られた送信可能データ量に基づいて、前記レイヤー切り出し手段により指示されたレイヤーを切り出して送信データ量の調整を行うことを特徴とする。
映像種類検知手段では、既存の顔検出技術などの画像認識技術を用いて、撮影した画像の種類を検知する。例えば、顔認識技術を用いて、顔が認識されれば、映像内に人物がいると判断できるため、動きのある映像だということが分かる。このときには、優先レイヤー指定手段はフレームレートが重要であると判断し、優先的に時間レイヤーを残すようにレイヤー切り出し手段に指示する。これにより、画像が人物の場合に、解像度と画質を犠牲にして、その人物の動きを忠実に送信することができる。

請求項４は、前記撮像手段により撮影された映像を前記画像認識手段により人物画像でないと認識した場合、前記優先レイヤー指定手段は解像度、画質が重要であると判断して、優先的に空間、及びＳＮＲレイヤーを残すように前記レイヤー切り出し手段に指示し、前記状態検知手段により得られた送信可能データ量に基づいて、前記レイヤー切り出し手段により指示されたレイヤーを切り出して送信データ量の調整を行うことを特徴とする。
映像種類検知手段では、既存の顔検出技術などの画像認識技術を用いて、撮影した画像の種類を検知する。例えば、顔認識技術を用いて、顔が検出されなければ、ＴＶ会議の場合、フレームレートよりも解像度、画質の方が重要であると判断し、優先的に空間、ＳＮＲレイヤーを残すようにレイヤー切り出し手段に指示する。これにより、画像が人物でない場合に、フレームレートを犠牲にして、解像度、画質が良い画像を忠実に送信することができる。

本発明によれば、スケーラブルに符号化された映像データの特徴を用いて行われる送信データ調整によるネットワーク帯域制御技術と、送信する映像の種類を検知する画像認識技術を組み合わせることにより、映像の種類にとって最適な解像度／フレームレートで映像データを送信することができる。

本発明の実施形態に係るＴＶ会議システムにおける端末とサーバーの構成について説明する図である。図１の実施形態に係るＴＶ会議システムにおける映像データに対する処理を説明するフローチャートである。従来のＴＶ会議システムにおける端末とサーバーの構成について説明する図である。従来のＴＶ会議システムでの映像データに対する処理を説明するフローチャートである。

以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。

図１は、本発明の実施形態に係るＴＶ会議システムにおける端末とサーバーの構成について説明する図である。同じ構成要素には図３と同じ参照番号を付して説明する。
会議の拠点に夫々備えられて映像を撮影するカメラ（撮像手段）１０４と、会議の拠点に夫々備えられて復号化された映像を表示するディスプレイ（表示手段）１０５と、会議の拠点に夫々備えられてカメラ１０４により撮影された自拠点の映像をスケーラブル圧縮符号化するＨ．２６４／ＳＶＣエンコーダー（以下、単にエンコーダーと呼ぶ）（エンコーダー）１００、及びディスプレイ１０５に表示するための映像データを復号化するＨ．２６４／ＳＶＣデコーダー（以下、単にデコーダーと呼ぶ）（デコーダー）１０１を有する端末Ａ、Ｂと、エンコーダー１００から受信した映像データからレイヤーを切り出して受信端末に送信するレイヤー切り出し部（レイヤー切り出し手段）１０２、及び受信端末の状態及び使用するネットワークの状態を検知するネットワーク状態、受信端末状態検知部（以下、単に状態検知部と呼ぶ）（状態検知手段）１０３を有し、夫々の端末Ａ、Ｂから受信した映像データの中継及び送信データ量の調整を行うサーバー１０６と、を備えたＴＶ会議システムであって、夫々の端末Ａ、Ｂにカメラ１０４により撮影した映像の種類を検知して、この映像の種類に係る情報をサーバー１０６に送信する映像種類検知部（映像種類検知手段）２００を備え、サーバー１０６に映像種類検知部２００により検知された映像の種類に基づいて解像度・画質とフレームレートのどちらを優先するかをレイヤー切り出し部１０２に指示する優先レイヤー指定部（優先レイヤー指定手段）２０１を備えて構成されている。

端末Ａ、Ｂのエンコーダー１００は、カメラ１０４で撮影された自拠点の映像をスケーラブル圧縮符号化し、サーバー１０６に送信する。Ｈ．２６４／ＳＶＣを用いた映像符号化は解像度、フレームレート、画質の情報を粗い情報から細かい情報へと階層化（レイヤー化）して符号化することにより、解像度、フレームレート、画質のスケーラビリティを実現することが知られている。以降、各レイヤーはそれぞれ、空間レイヤー（解像度）、時間レイヤー（フレームレート）、ＳＮＲレイヤー（画質）とする。
本発明のＴＶ会議における端末と端末間を中継するサーバーの構成の特徴は、従来の構成（図３参照）に加え、端末Ａ、Ｂに映像種類検知部２００を、サーバー１０６に優先レイヤー指定部２０１を備えていることである。カメラ１０４で撮影された映像は、エンコーダー１００と映像種類検知部２００に入力される。ここで、映像種類検知部２００は映像の種類を検知し、解像度と画質またはフレームレートのどちらが映像にとって重要であるものかを特定し、優先的にレイヤーを残すようにサーバーの優先レイヤー指定部２０１に伝える。優先レイヤー指定部２０１は送られてきた映像の種類から、この映像コンテンツにとって解像度・画質とフレームレートのどちらが重要であるかを判断し、レイヤー切り出し部１０２に優先レイヤーを指示する。指示された優先レイヤーを前提に、状態検知部１０３で得た送信可能データ量から、レイヤー切り出し部１０２にてレイヤーの切り出しによる送信データ量調整を行う。

尚、映像種類検知部２００では、既存の顔検出技術などの画像認識技術を用いて、撮影した画像の種類を検知する。例えば、顔認識技術を用いて、顔が認識されれば、映像内に人物がいると判断できるため、動きのある映像だということが分かる。このときには、優先レイヤー指定部２０１はフレームレートが重要であると判断し、優先的に時間レイヤーを残すようにレイヤー切り出し部１０２に指示する。逆に、顔が検出されなければ、ＴＶ会議の場合、フレームレートよりも解像度、画質の方が重要であると判断し、優先的に空間、ＳＮＲレイヤーを残すようにレイヤー切り出し部１０２に指示する。
即ち、本実施形態の具体的な構成要件は、従来の端末にカメラ１０４により撮影した映像の種類を検知して、この映像の種類に係る情報をサーバー１０６に送信する映像種類検知部２００を備え、また、サーバー１０６に映像種類検知部２００により検知された映像の種類に基づいて解像度・画質とフレームレートのどちらを優先するかをレイヤー切り出し部１０２に指示する優先レイヤー指定部２０１を備えたことである。これにより、スケーラブルに符号化された映像データの特徴を用いて行われる送信データ調整によるネットワーク帯域制御技術と、送信する映像の種類を検知する画像認識技術を組み合わせることにより、映像の種類にとって最適な解像度／フレームレートで映像データを送信することができる。

図２は、図１の実施形態に係るＴＶ会議システムにおける映像データに対する処理を説明するフローチャートである。ここでは、送信端末を端末Ａ，受信端末を端末Ｂとして説明する。尚、双方向通信であるため、端末Ａ，Ｂは夫々受信端末、及び送信端末の機能を有する。
まず、端末Ａは映像種類検知部２００により、撮影した映像内に人がいるかどうかを検出する（Ｓ１）。映像内に人がいる場合は（Ｓ１でＹｅｓ）、端末Ａは撮影した映像をエンコーダー１００によりＨ．２６４／ＳＶＣで符号化する（Ｓ２）。そして、端末Ａは符号化された映像データと人物検出結果をサーバー１０６に送信する（Ｓ３）。サーバー１０６の状態検知部１０３により、受信側端末Ｂの状態、ネットワークの状態から送信可能なデータ量を検知する（Ｓ４）。サーバー１０６は受信した映像データをレイヤー切り出し部１０２により、ステップＳ４で検知した送信可能なデータ量に調整する。そして、フレームレート優先と判断し、空間、ＳＮＲレイヤーを切り出して、送信データ量の調整を行う（Ｓ５）。サーバー１０６は端末Ｂに映像データを送信する（Ｓ６）。端末Ｂは受信した映像データを復号化して（Ｓ７）、端末Ｂは復号化した映像データをディスプレイ１０５に表示する（Ｓ８）。

一方、ステップＳ１において、映像内に人がいない場合は（Ｓ１でＮｏ）、端末Ａは撮影した映像をエンコーダー１００によりＨ．２６４／ＳＶＣで符号化する（Ｓ９）。そして、端末Ａは符号化された映像データと人物検出結果をサーバー１０６に送信する（Ｓ１０）。サーバー１０６の状態検知部１０３により、受信側端末の状態、ネットワークの状態から送信可能なデータ量を検知する（Ｓ１１）。サーバー１０６は受信した映像データをレイヤー切り出し部１０２により、ステップＳ１１で検知した送信可能なデータ量に調整する。そして、解像度、画質優先と判断し、時間レイヤーを切り出して、送信データ量の調整を行う（Ｓ１２）。以降、ステップＳ６に進む。

本実施形態では、映像内の人物を認識する画像認識技術を用いて映像の種類を検知しているが、撮影する状況、目的に合わせて他の画像認識技術に組み替えることで、様々な映像の種類を検知することが可能である。このような構成においては、映像データはネットワークの状態だけではなく、撮影した映像の種類を考慮することができるので、撮影している映像の目的に合った最適な映像データの調整を行うことができる。また、端末側においてエンコーダー１００は、映像の種類に合わせてエンコードパラメータの調整を行う必要がなく、送信可能で高品質に映像を符号化しておけばよい。あとはサーバー１０６側が最適にデータ量の調整を行うことができるので、端末Ａに追加するのは画像認識技術だけでよい。また、スケーラブル映像符号化を用いることにより、デコード、再エンコードを行わずに送信データ量の調整が行えるため、サーバー１０６の負荷は小さく、サーバー１０６で生じる遅延も短縮でき、さらに様々なネットワーク、構成を持つ端末への最適な送信データ量調整も可能になる。
即ち、映像種類検知部２００では、既存の顔検出技術などの画像認識技術を用いて、撮影した画像の種類を検知する。例えば、顔認識技術を用いて、顔が認識されれば、映像内に人物がいると判断できるため、動きのある映像だということが分かる。このときには、優先レイヤー指定部２０１はフレームレートが重要であると判断し、優先的に時間レイヤーを残すようにレイヤー切り出し部１０２に指示する。これにより、画像が人物の場合に、解像度と画質を犠牲にして、その人物の動きを忠実に送信することができる。
また、顔認識技術を用いて、顔が検出されなければ、ＴＶ会議の場合、フレームレートよりも解像度、画質の方が重要であると判断し、優先的に空間、ＳＮＲレイヤーを残すようにレイヤー切り出し部１０２に指示する。これにより、画像が人物でない場合に、フレームレートを犠牲にして、解像度、画質が良い画像を忠実に送信することができる。

５０本発明のＴＶ会議システム、１００Ｈ．２６４／ＳＶＣエンコーダー、１０１Ｈ．２６４／ＳＶＣデコーダー、１０２レイヤー切り出し部、１０３ネットワーク状態、受信端末状態検知部、１０４カメラ、１０５ディスプレイ、１０６サーバー、１１０従来のＴＶ会議システム、２００映像種類検知部、２０１優先レイヤー指定部

特開２００７−１９４８２３公報

Claims

少なくとも２箇所の拠点間の画像データを双方向通信して会議を行うＴＶ会議システムであって、
前記各拠点で撮影された映像の種類を検知して、該検知された映像の種類に基づいて解像度・画質とフレームレートの何れが重要かを判断すると共に、受信端末のネットワーク状態を検知し、前記解像度・画質又はフレームレートを優先的に残して送信可能なデータ量に調整して送信することを特徴とするＴＶ会議システム。
前記拠点に夫々備えられて映像を撮影する撮像手段と、
前記拠点に夫々備えられて復号化された映像を表示する表示手段と、
前記拠点に夫々備えられて前記撮像手段により撮影された自拠点の映像をスケーラブル圧縮符号化するエンコーダー、及び前記表示手段に表示するための映像データを復号化するデコーダーを有する端末と、
前記エンコーダーから受信した映像データからレイヤーを切り出して受信端末に送信するレイヤー切り出し手段、及び前記受信端末の状態及び使用するネットワークの状態を検知する状態検知手段を有し、夫々の前記端末から受信した前記映像データの中継及び送信データ量の調整を行うサーバーと、を備えたＴＶ会議システムであって、
夫々の前記端末に前記撮像手段により撮影した映像の種類を検知して、該映像の種類に係る情報を前記サーバーに送信する映像種類検知手段を備え、
前記サーバーに前記映像種類検知手段により検知された映像の種類に基づいて解像度・画質とフレームレートのどちらを優先するかを前記レイヤー切り出し手段に指示する優先レイヤー指定手段を備えたことを特徴とする請求項１に記載のＴＶ会議システム。
前記映像種類検知手段に画像認識手段を備え、前記撮像手段により撮影された映像を前記画像認識手段により人物画像であると認識した場合、前記優先レイヤー指定手段はフレームレートが重要であると判断して、優先的に時間レイヤーを残すように前記レイヤー切り出し手段に指示し、前記状態検知手段により得られた送信可能データ量に基づいて、前記レイヤー切り出し手段により指示されたレイヤーを切り出して送信データ量の調整を行うことを特徴とする請求項２に記載のＴＶ会議システム。
前記撮像手段により撮影された映像を前記画像認識手段により人物画像でないと認識した場合、前記優先レイヤー指定手段は解像度、画質が重要であると判断して、優先的に空間、及びＳＮＲレイヤーを残すように前記レイヤー切り出し手段に指示し、前記状態検知手段により得られた送信可能データ量に基づいて、前記レイヤー切り出し手段により指示されたレイヤーを切り出して送信データ量の調整を行うことを特徴とする請求項２又は３に記載のＴＶ会議システム。