JP2018157282A - 端末、プログラム、データ送信方法 - Google Patents

Abstract

【課題】ネットワーク環境が変化してもデータの遅延等を抑制しうる端末を提供すること。【解決手段】ネットワークを介して他の端末とデータと通信する端末１０であって、前記データを取得するデータ取得手段１４，１５と、前記データを符号化するための設定情報に基づいて前記データを符号化する符号化手段３３と、前記他の端末に符号化された前記データを送信する通信手段１２と、現在の設定情報では前記データの送信に遅延が発生すると予測される場合、前記設定情報を段階的に変更する段階的符号化方針情報を参照し、前記設定情報を段階的に変更する設定情報変更手段３２と、を有する。【選択図】図１０

Description

本発明は、端末、プログラム、及びデータ送信方法に関する。

通信ネットワークを利用して遠隔会議等のコミュニケーションを実現する通信システムが知られている。通信システムにおいては、画面データの共有中に共有している画面のウィンドウサイズ（画素数）を変更すること、又は、カメラ等の撮像装置のパラメータ（解像度、フレームレート等）を画面の共有中に変更することなどが行われる場合がある。これらの場合、送受信される映像データのデータ量が変化する。

しかしながら、通信システムが例えばインターネットを介して通信する場合、帯域が保証されているとは限らないため、映像データのデータ量の変化により映像データの遅延や途絶などが発生する場合がある。このため、従来から映像データのデータ量を低減する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、撮像装置に設定するパラメータを調整することによって、フレーム（映像データ）間の差分データを小さくし、映像データのデータ量を抑制する通信システムが開示されている。

しかしながら、従来の技術では、パラメータの変更後にさらネットワーク環境が変化するような場合に対応できないという問題がある。例えば、解像度やフレームレートなどのパラメータが変更されデータ量が増えた後に、ネットワーク環境が悪化するような場合でも通信システムは変更後のパラメータで符号化するため、映像データの遅延や途絶が発生してしまうおそれがある。

本発明は上記課題に鑑み、ネットワーク環境が変化してもデータの遅延等を抑制しうる端末を提供することを目的とする。

上記課題に鑑み、本発明は、ネットワークを介して他の端末とデータと通信する端末であって、前記データを取得するデータ取得手段と、前記データを符号化するための設定情報に基づいて前記データを符号化する符号化手段と、前記他の端末に符号化された前記データを送信する通信手段と、現在の設定情報では前記データの送信に遅延が発生すると予測される場合、前記設定情報を段階的に変更する段階的符号化方針情報を参照し、前記設定情報を段階的に変更する設定情報変更手段と、を有する。

ネットワーク環境が変化してもデータの遅延等を抑制しうる端末を提供することができる。

テレビ会議システムの概略構成図である。 テレビ会議システムにおける通信の概要を示す概念図である。 端末のハードウェア構成の一例を示す図である。 管理サーバのハードウェア構成の一例を示す図である。 端末の機能的な構成の一例を示すブロック図である。 映像符号化部の機能をブロック状に示すブロック図の一例である。 映像復号部の機能をブロック状に示すブロック図の一例である。 送信側の端末の動作を説明するシーケンス図の一例である。 映像符号化部の符号化設定部が受け付けた映像データのパラメータの一例を示す図である。 符号化設定部が符号化設定を決定する手順を示すフローチャート図の一例である。 受信側の端末の動作を説明するシーケンス図の一例である。 映像復号部の復号設定部が取得した映像データのパラメータの一例を示す図である。 帯域情報の一例を示す図である。 端末が帯域情報に基づいて符号化設定を決定する手順を示すシーケンス図の一例である。 端末の映像符号化部が帯域情報に基づいて符号化設定を決定する手順を示すフローチャート図の一例である。

以下に本発明に係る端末、データ送信方法及びプログラムの実施形態を詳細に説明する。以下では、本発明を適用した通信システムの一例として、複数のテレビ会議端末（「端末」に相当）間で映像データ及び音声データを送受信して複数拠点での遠隔会議を実現するテレビ会議システム（「ビデオ会議システム」ともいう。）を例示する。このテレビ会議システムでは、通信している映像データのウィンドウの解像度又はフレームレートが増加するような場合、目標の解像度やフレームレートに向けて段階的に増加するような値にパラメータを調整する。また、調整後のパラメータでも遅延や途切れが生じた場合、送信設定の再調整を行い、映像データの品質の低下を抑制して、映像データの遅延や途切れを抑える。

＜用語について＞
特許請求の範囲の設定情報とは、端末がデータを送信するための設定に関する情報である。あるいは、送信されるデータのデータ量に影響する設定ということができる。本実施形態では符号化設定という用語で説明する。具体的には、解像度、フレームレート、及び、ビットレートの少なくとも１つが例として挙げられる。

段階的に変更するとは、値Ａから値Ｂに変更する場合に、値Ａを値Ａと値Ｂの間の値に少なくとも１回以上変更することをいう。最終的に値Ｂまで到達しなくてもよい。

符号化とは信号やデータを一定の規則に従ってデータ化することをいう。また、遅延とは、本来、データが到達する予定のタイミングよりも遅れることをいう。

＜システム構成例＞
図１は、本実施形態のテレビ会議システム１の概略構成図であり、図２は、本実施形態のテレビ会議システム１における通信の概要を示す概念図である。

本実施形態のテレビ会議システム１は、図１に示すように、各拠点に設置された複数のテレビ会議端末１０（以下、単に「端末１０」という。）及びディスプレイ１１と、複数の中継装置３０と、管理サーバ４０と、プログラム提供サーバ５０と、メンテナンスサーバ６０と、を備える。

ディスプレイ１１は、有線又は無線により端末１０に接続されている。なお、ディスプレイ１１は、端末１０と一体化された構成であってもよい。

端末１０及び中継装置３０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）のノードとしてルータに接続される。ルータは、データ伝送の経路選択を行うネットワーク機器であり、図１に示す例では、ＬＡＮ２ａ内のルータ７０ａと、ＬＡＮ２ｂ内のルータ７０ｂと、ＬＡＮ２ｃ内のルータ７０ｃと、ＬＡＮ２ｄ内のルータ７０ｄと、ルータ７０ａ及びルータ７０ｂと専用回線２ｅで接続されてインターネット２ｉに繋がるルータ７０ｅと、ルータ７０ｃ及びルータ７０ｄと専用回線２ｆで接続されてインターネット２ｉに繋がるルータ７０ｆとを例示している。

なお、ＬＡＮ２ａ及びＬＡＮ２ｂは地域Ｘ内の別の場所に構築され、ＬＡＮ２ｃ及びＬＡＮ２ｄは地域Ｙ内の別の場所に構築されていることを想定している。例えば、地域Ｘは日本、地域Ｙはアメリカ合衆国であり、ＬＡＮ２ａは東京の事業所内で構築され、ＬＡＮ２ｂは大阪の事業所内で構築され、ＬＡＮ２ｃはニューヨークの事業所内で構築され、ＬＡＮ２ｄはワシントンＤ．Ｃ．の事業所内で構築されている。本実施形態では、ＬＡＮ２ａ、ＬＡＮ２ｂ、専用回線２ｅ、インターネット２ｉ、専用回線２ｆ、ＬＡＮ２ｃ、及びＬＡＮ２ｄによって、通信ネットワーク２が構築されている。この通信ネットワーク２には、有線だけでなく、ＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）やＢｌｕｅｔｏｏｔｈ（登録商標）などの無線による通信が行われる箇所が含まれていてもよい。

本実施形態のテレビ会議システム１では、複数の端末１０間で中継装置３０を介した映像データ及び音声データの送受信を行う。この際、図２に示すように、複数の端末１０間には、管理サーバ４０を介して、各種の管理情報を送受信するための管理情報用セッションＳｅｉが確立される。また、複数の端末１０間には、中継装置３０を介して、映像データ及び音声データの送受信を行うためのデータ用セッションＳｅｄが確立される。ここで、特に、データ用セッションＳｅｄで送受信される映像データは、スケーラブルに符号化された符号化データであり、例えば、高品質映像の符号化データ、中品質映像の符号化データ、低品質映像の符号化データが、それぞれ別々のチャンネルで送受信される。なお、複数の端末１０間で管理情報用セッションＳｅｉやデータ用セッションＳｅｄを確立する処理は、公知の技術を適用できるため本実施形態では詳細な説明を省略する。必要であれば、例えば特開２０１２−１３８８９３号公報に記載の技術を利用することができるが、この技術に限られるものではない。

管理サーバ４０は、本実施形態のテレビ会議システム１の全体を管理するコンピュータ（情報処理装置）である。例えば、管理サーバ４０は、登録された各端末１０の状態管理、中継装置３０の状態管理、端末１０を使用するユーザのログイン管理、複数の端末１０間で確立されたデータ用セッションＳｅｄの管理などを行う。

プログラム提供サーバ５０は、各種のプログラムを端末１０、中継装置３０、管理サーバ４０、メンテナンスサーバ６０などに提供するコンピュータである。例えば、プログラム提供サーバ５０は、端末１０に各種機能を実現させるための端末用プログラムを格納しており、この端末用プログラムを端末１０に送信することができる。また、プログラム提供サーバ５０は、中継装置３０に各種機能を実現させるための中継装置用プログラムを格納しており、この中継装置用プログラムを中継装置３０に送信することができる。また、プログラム提供サーバ５０は、管理サーバ４０に各種機能を実現させるための管理サーバ用プログラムを格納しており、この管理サーバ用プログラムを管理サーバ４０に送信することができる。また、プログラム提供サーバ５０は、メンテナンスサーバ６０に各種機能を実現させるためのメンテナンスサーバ用プログラムを格納しており、このメンテナンスサーバ用プログラムをメンテナンスサーバ６０に送信することができる。

メンテナンスサーバ６０は、端末１０、中継装置３０、管理サーバ４０、及びプログラム提供サーバ５０のうちの少なくとも１つの維持、管理、又は保守を行うためのコンピュータである。例えば、メンテナンスサーバ６０が国内に設置され、端末１０、中継装置３０、管理サーバ４０、又はプログラム提供サーバ５０が国外に設置されている場合、メンテナンスサーバ６０は、通信ネットワーク２を介して遠隔的に、端末１０、中継装置３０、管理サーバ４０、及びプログラム提供サーバ５０のうちの少なくとも１つの維持、管理、保守等のメンテナンスを行う。

次に、本実施形態のテレビ会議システム１における端末１０、中継装置３０、管理サーバ４０、プログラム提供サーバ５０、及びメンテナンスサーバ６０のハードウェア構成について説明する。

図３は、端末１０のハードウェア構成の一例を示し、図４は、管理サーバ４０のハードウェア構成の一例を示している。なお、中継装置３０、プログラム提供サーバ５０、及びメンテナンスサーバ６０は、中継装置３０と同様のハードウェア構成を採用できるため、説明を省略する。

端末１０は、図３に示すように、端末１０全体の動作を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、ＩＰＬ（Ｉｎｉｔｉａｌ Ｐｒｏｇｒａｍ Ｌｏａｄｅｒ）等のＣＰＵ１０１の駆動に用いられるプログラムを記憶したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２を備える。また、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、端末用プログラム、映像データ、及び音声データ等の各種データを記憶するフラッシュメモリ１０４を備える。また、ＣＰＵ１０１の制御に従ってフラッシュメモリ１０４に対する各種データの読み出しや書き込みを制御するＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）１０５、フラッシュメモリ等の記録メディア１０６に対するデータの読み出しや書き込み（記憶）を制御するメディアドライブ１０７を備える。また、通信相手となる他の端末１０を選択する場合などに操作される操作ボタン１０８、端末１０の電源のオン／オフを切り換えるための電源スイッチ１０９、通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１１１を備えている。

また、端末１０は、ＣＰＵ１０１の制御に従って被写体を撮像して映像データを得る内蔵型のカメラ１１２、このカメラ１１２の駆動を制御する撮像素子Ｉ／Ｆ１１３、音声を入力する内蔵型のマイク１１４、音声を出力する内蔵型のスピーカ１１５を備える。また、ＣＰＵ１０１の制御に従ってマイク１１４及びスピーカ１１５との間で音声信号の入出力を処理する音声入出力Ｉ／Ｆ１１６を備える。また、ＣＰＵ１０１の制御に従ってディスプレイ１１に表示映像のデータを伝送するディスプレイＩ／Ｆ１１７、各種の外部機器を接続するための外部機器接続Ｉ／Ｆ１１８、端末１０の各種機能の異常を知らせるアラームランプ１１９、及び上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。

なお、カメラ１１２、マイク１１４、スピーカ１１５は、必ずしも端末１０に内蔵されている必要はなく、外付けされる構成であってもよい。また、ディスプレイ１１は、端末１０に内蔵された構成であってもよい。また、ディスプレイ１１は、液晶パネル等の表示装置を想定するが、これに限らず、プロジェクタ等の投影装置であってもよい。図３に示す端末１０のハードウェア構成はあくまで一例であり、上記以外の他のハードウェアが追加されていてもよい。

上記したプログラム提供サーバ５０から提供される端末用プログラムは、例えばフラッシュメモリ１０４に格納され、ＣＰＵ１０１の制御によりＲＡＭ１０３上に読み出されて実行される。なお、端末用プログラムを格納するメモリは不揮発性メモリであればよく、フラッシュメモリ１０４に限らず、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）等を用いてもよい。また、端末用プログラムは、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録メディア１０６等の記録媒体に記録されて提供されるようにしてもよい。また、端末用プログラムは、ＲＯＭ１０２等に予め格納された組み込みプログラムとして提供されるようにしてもよい。

管理サーバ４０は、図４に示すように、管理サーバ４０全体の動作を制御するＣＰＵ２０１、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶したＲＯＭ２０２、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３、中継装置用プログラム等の各種データを記憶するＨＤ（Ｈａｒｄ Ｄｉｓｋ）２０４を備える。また、ＣＰＵ２０１の制御に従ってＨＤ２０４に対する各種データの読み出し又は書き込みを制御するＨＤＤ（ＨＤ Ｄｒｉｖｅ）２０５、フラッシュメモリ等の記録メディア２０６に対するデータの読み出しや書き込み（記憶）を制御するメディアドライブ２０７を備える。また、各種情報を表示するディスプレイ２０８、通信ネットワーク２を利用してデータ伝送をするためのネットワークＩ／Ｆ２０９、キーボード２１１、マウス２１２、を備える。また、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２１３に対する各種データの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ２１４、及び上記各構成要素を電気的に接続するためのアドレスバスやデータバス等のバスライン２１０を備えている。

上記したプログラム提供サーバ５０から提供される管理サーバ用プログラムは、例えばＨＤ２０４に格納され、ＣＰＵ２０１の制御によりＲＡＭ２０３上に読み出されて実行される。また、管理サーバ用プログラムは、インストール可能な形式又は実行可能な形式のファイルによって、記録メディア２０６やＣＤ−ＲＯＭ２１３等のコンピュータで読み取り可能な記録媒体に記録されて提供されるようにしてもよい。また、管理サーバ用プログラムは、ＲＯＭ２０２等に予め格納された組み込みプログラムとして提供されるようにしてもよい。

＜機能について＞
図５は、端末１０の機能的な構成の一例を示すブロック図である。端末１０は、図５に示すように、送受信部１２、操作入力受付部１３、撮像部１４、音声入力部１５、音声出力部１６、映像符号化部１７、映像復号部１８、ログイン要求部１９、表示制御部２０、記憶・読出処理部２１、揮発性記憶部２２、不揮発性記憶部２３、及び、帯域情報処理部２５を備える。

送受信部１２は、通信ネットワーク２を介して、他の端末１０、中継装置３０、管理サーバ４０等との間で各種データ（又は情報）の送受信を行う。送受信部１２は、例えば、図３に示したネットワークＩ／Ｆ１１１及びＣＰＵ１０１によって実現される。

操作入力受付部１３は、端末１０を使用するユーザによる各種の入力操作を受け付ける。操作入力受付部１３は、例えば、図３に示した操作ボタン１０８、電源スイッチ１０９、及びＣＰＵ１０１によって実現される。

撮像部１４は、端末１０が設置されている拠点の映像を撮像して映像データを出力する。撮像部１４は、例えば、図３に示したカメラ１１２、撮像素子Ｉ／Ｆ１１３、及びＣＰＵ１０１によって実現される。

音声入力部１５は、端末１０が設置されている拠点の音声を入力して音声データを出力する。音声入力部１５は、例えば、図３に示したマイク１１４、音声入出力Ｉ／Ｆ１１６、及びＣＰＵ１０１によって実現される。

音声出力部１６は、音声データを再生出力する。音声出力部１６は、例えば、図３に示したスピーカ１１５、音声入出力Ｉ／Ｆ１１６、及びＣＰＵ１０１によって実現される。

映像符号化部１７は、撮像部１４から出力される映像データや、音声入力部１５から出力される音声データを符号化して、符号化データを生成する。映像符号化部１７は、例えば映像データの符号化については、Ｈ．２６４／ＳＶＣ符号化フォーマットに従って映像データをスケーラブルに符号化する。映像符号化部１７は、例えば、図３に示したＣＰＵ１０１が、上記した端末用プログラムに含まれる符号化／復号プログラム（映像・音声コーデック）を実行することにより実現される。映像符号化部１７の詳細を図６にて説明する。

映像復号部１８は、他の端末１０から中継装置３０を介して送信された符号化データを復号し、符号化前の映像データや音声データを出力する。映像復号部１８は、例えば、図３に示したＣＰＵ１０１が上記した端末用プログラムに含まれる符号化／復号プログラム（映像・音声コーデック）を実行することにより実現される。映像復号部１８の詳細を図７にて説明する。

ログイン要求部１９は、端末１０が管理サーバ４０にログインするため端末ＩＤとパスワードなどと共にログイン情報を管理サーバ４０に送信する。ログイン要求部１９は例えば、図３に示したＣＰＵ１０１が端末用プログラムを実行することにより実現される。

表示制御部２０は、映像復号部１８が復号した映像データを適宜、表示映像に変換してディスプレイ１１に表示させる（再生出力する）ための制御を行う。映像復号部１８で復号された映像データが複数の拠点の複数の端末１０から送信された映像データを含む場合、予め定められたレイアウトの設定、あるいはユーザにより指定されたレイアウトの設定に従って、それぞれの映像データを１画面内に含む表示映像を生成する。表示制御部２０は、例えば、図３に示したディスプレイＩ／Ｆ１１７及びＣＰＵ１０１によって実現される。

記憶・読出処理部２１は、揮発性記憶部２２や不揮発性記憶部２３に対して各種データを記憶したり、読み出したりする処理を行う。記憶・読出処理部２１は、例えば、図３に示したＳＳＤ１０５及びＣＰＵ１０１によって実現される。揮発性記憶部２２は、例えば、図３に示したＲＡＭ１０３によって実現される。不揮発性記憶部２３は、例えば、図３に示したフラッシュメモリ１０４によって実現される。不揮発性記憶部２３には符号化設定管理部２３０１が記憶されている。符号化設定管理部２３０１が記憶する情報については表１にて説明する。

帯域情報処理部２５は、現在の通信ネットワーク２の帯域に関する情報を取得する。帯域に関する情報は、例えば符号化データの送信速度、受信速度、及び遅延時間（遅延情報）などである。帯域情報処理部２５は、例えば、図３に示したネットワークＩ／Ｆ１１１及びＣＰＵ１０１によって実現される。

<<映像符号化部１７>>
図６は、映像符号化部１７の機能をブロック状に示すブロック図の一例である。図６に示すように、映像符号化部１７はデータ受付部３１、符号化設定部３２、符号化部３３、符号化設定取得部３４、及び帯域情報受付部３５を有する。

データ受付部３１は符号化の対象となる映像データ及び音声データを撮像部１４や音声入力部１５から取得する。また、端末１０間で共有される会議資料がある場合は資料データなどを受け付ける。

符号化設定取得部３４は、符号化設定管理部２３０１に記憶されている符号化設定情報を取得する。帯域情報受付部３５は帯域情報処理部２５から帯域情報を取得する。符号化設定部３２は、映像データ及び音声データから取得した情報と、符号化設定管理部２３０１に記憶されている符号化設定情報と、帯域情報とに基づき符号化設定を決定する。必ずしもこの３つの情報を使用しなくてもよい。符号化設定とは符号化のパラメータであり、例えば解像度とフレームレートである。

符号化部３３は、符号化設定部３２が決定した符号化設定に基づき映像データと音声データを符号化する。

<<映像復号部１８>>
図７は、映像復号部１８の機能をブロック状に示すブロック図の一例である。図７に示すように、映像復号部１８はデータ受付部３６、復号設定部３７、及び復号部３８を有する。

データ受付部３６は、復号の対象となる符号化データ（映像データ、音声データ、資料データ）を送受信部１２から取得する。復号設定部３７は、符号化データから取得した情報に基づき、復号のための復号設定を決定する。復号部３８は、復号設定に基づき符号化データを復号する。復号設定とは復号のパラメータであり、例えば解像度とフレームレートである。

＜符号化設定管理部＞
表１に基づいて符号化設定管理部２３０１が管理する符号化設定情報について説明する。

表１（ａ）は、符号化設定情報の一例を示す。符号化設定情報は符号化設定をどのように決定するかの方針（ポリシー）が登録された情報である。符号化設定情報は、パラメータが増加した際の符号化設定の方針を定めた「段階的符号化方針」と、段階的な符号化を実施した際に、データの遅延や途絶等が発生した場合に映像符号化部１７が参照する「符号化調整方針」とを有する。これらは、映像データと資料データのそれぞれに対して設定されている。段階的符号化方針は、情報処理装置が参照する情報であるため、より正確には段階的符号化方針情報と称すべきであるが、説明を容易にするため「段階的符号化方針」という用語で説明する。

段階的符号化方針は、現在のパラメータ（解像度やフレームレート）の値を増加させる必要がある場合に、目標値に到達するまでの符号化の対応方針（符号化設定の決め方）を定めた情報である。

符号化調整方針は、段階的な符号化を実施したが、映像データ又は資料データに遅延や途絶などが発生した場合の対応方針（符号化設定をどのように決定するか）を定めた情報である。

符号化設定情報は、端末１０に出荷時から設定されていても管理サーバ４０から配信されてもよい。また、ユーザが設定することも可能である。

表１（ｂ）は、段階的符号化方針の一例を示す。段階的符号化方針は、一例として４つの設定（段階なし、品質重視、中間、ネットワーク重視）を有する。それぞれの設定の内容は表１（ｂ）に示したとおりであるが、現状の符号化設定（パラメータ）と好ましい目標のパラメータとの差のうちどこにパラメータを設定するかが定められている。すなわち、どのように段階的にパラメータを変更させるかが定められている。段階的なので、必要な変更量のうち一部だけを前回の符号化設定に加えることで変更することが定められている。

具体例を用いて説明する。
例：パラメータのうち解像度を640x360から1280x720（目標値）に変更する場合
段階無し ：640x360→1280x720
（現在の解像度から目標値まで途中の値を経ずに変更する）
品質重視 ：640x360→1120x630→1280x720
（現在の解像度から目標値まで途中の値を経るが中央よりも目標値に近い値を経て変更するので映像の品質が重視される）
中間 ：640x360→960x540→1280x720
（現在の解像度と目標値の間の中央値を経て変更する）
ネットワーク重視 ：640x360→800x450→960x540→1120x630→1280x720
（現在の解像度から目標値まで途中の値を経るが中央よりも現在値に近い値を経て変更するのでネットワークの帯域が重視される）
段階的符号化方針は「追従性とリスク」という項目を有する。この項目は、目標のパラメータとのどの程度一致するか、及び、帯域不足や急激な変化が生じた場合のリスクの大きさを示す。例えば、段階なしでは、符号化設定として目標のパラメータが設定されるので、一致性は高いがネットワークの帯域が急激に悪化した場合のリスクも高い。逆に、ネットワーク重視では、現在と目標のパラメータの差の１／４ずつしか符号化設定が増えないので、一致性は低いがネットワークの帯域が急激に悪化した場合のリスクは低い。

表１（ｃ）は、符号化調整方針の一例を示す。符号化調整方針は、段階的符号化方針に基づいて端末が符号化設定を調整したが、ネットワークの帯域が急激に悪化したため遅延や途絶や生じた場合に採用される設定である。段階的符号化方針は、一例として４つの設定（強制設定、再調整、変換無し、ビットレート依存）を有する。これらの設定には段階的符号化方針に基づく調整で遅延や途絶や生じた場合に、映像符号化部１７が具体的にどのようにパラメータを再調整するかが定められている。

＜符号化設定の決定までの動作手順＞
図８は、送信側の端末１０の動作を説明するシーケンス図の一例である。なお、すでに端末１０間でセッションが接続されており、端末１０は中継装置３０を介して、映像データ、音声データ、及び、資料データを送受信することができる。図８では３つの端末１０が図示されているが説明の便宜上、端末Ａ、Ｂ、Ｃという。

図８のシーケンス図は、図９にて説明するように符号化対象（映像データ）のデータ量が増加する場合の処理である。図８では、映像データを取得してから符号化設定情報を利用して符号化を実施するまでの処理を示す。

S1：端末Ａの映像符号化部１７のデータ受付部３１は、端末Ａの撮像部１４から映像データを受け付ける。

S2：映像符号化部１７の符号化設定部３２は、受け付けた映像データのパラメータ（解像度とフレームレート）を取得する。詳細を図９に示す。

S3：映像符号化部１７の符号化設定取得部３４は、端末Ａの符号化設定管理部２３０１から符号化設定情報を取得する。

S4：映像符号化部１７の符号化設定部３２は、取得した符号化設定情報と、映像データのパラメータから符号化設定を決定する。詳細を図１０に示す。

S5：映像符号化部１７の符号化部３３は、決定された符号化設定に基づき符号化を実行する。

S6：端末Ａの送受信部１２は、符号化された映像データ（符号化データ）を中継装置３０に送信する。

S7：端末Ｂ及び端末Ｃの送受信部１２は、符号化された映像データ（符号化データ）を受信する。ステップＳ７−１についは説明の便宜上、帯域情報の算出の際に説明する。

図９は、映像符号化部１７の符号化設定部３２が受け付けた映像データのパラメータの一例を示す。図９では、現在の符号化設定と映像データのパラメータが示されている。まず、現在の符号化設定が対応するデータ量よりも映像データのパラメータが必要とするデータ量の方が大きい場合、遅延や途絶が生じるおそれがある。

このため、現在の符号化設定よりも映像データのパラメータの方が大きい場合、符号化設定部３２は段階的符号化方針を取得してそれを元に符号化設定を決定する。現在の符号化設定と映像データのパラメータが同じか又は後者の方がより小さい場合、必要十分な符号化設定として、符号化設定部３２は映像データのパラメータを符号化設定に決定する。

すなわち、符号化設定部３２は、現在の符号化設定を保持しており、映像データのパラメータと比較して、必要な場合に（遅延や途絶が生じると予測される場合）、段階的符号化方針を取得し、符号化設定を決定する。

図１０は、符号化設定部３２が符号化設定を決定する手順を示すフローチャート図の一例である。

符号化設定部３２が処理を開始する（Ｓ１）。まず、符号化設定部３２は、現在の符号化設定を前回の符号化設定として保存する。遅延や途絶の有無によって符号化設定を戻す可能性があり、現在の符号化設定を保持しておくためである。

符号化設定部３２は段階的符号化方針を取得しているか否かを判断する（Ｓ２）。段階的符号化方針を取得している場合とは、現在の符号化設定よりも映像データのパラメータの方が大きい場合である。

ステップＳ２の判断がＮｏの場合、遅延や途絶のおそれがないと判断し、符号化設定部３２は符号化設定（解像度とフレームレート）に映像データのパラメータを使用する（Ｓ３）。この後、処理はステップＳ８に進む。

ステップＳ２の判断がＹｅｓの場合、符号化設定部３２は段階的符号化方針の設定を確認する（Ｓ４）。従って、段階無し、品質重視、中間、又はネットワーク重視のいずれであるかを判断する。

段階なしの場合、段階的符号化方針を取得していない場合と同様なので処理はステップＳ３に進む。

品質重視の場合、符号化設定部３２は、現在の符号化設定から取得した映像データのパラメータへの変更量の３／４を現在の符号化設定（解像度、フレームレート）に加えた値を符号化設定に決定する（Ｓ５）。

中間の場合、符号化設定部３２は、現在の符号化設定から取得した映像データのパラメータへの変更量の１／２を現在の符号化設定（解像度、フレームレート）に加えた値を符号化設定に決定する（Ｓ６）。

ネットワーク重視の場合、符号化設定部３２は、現在の符号化設定から取得した映像データのパラメータへの変更量の１／４を現在の符号化設定（解像度、フレームレート）に加えた値を符号化設定に決定する（Ｓ７）。

次に、ステップＳ８で、符号化設定部３２は決定した符号化設定を「現在の符号化設定」として不揮発性記憶部２３に記憶する（Ｓ８）。

符号化設定部３２は処理を終了する（Ｓ９）。ステップＳ５〜Ｓ７に示すように、映像データのパラメータに必要な符号化設定にすぐに変更するのでなく段階的に大きくすることで、ネットワーク環境が急に変化した際のリスクを低減できる。例えば、映像データのパラメータに必要な符号化設定に決定した後に、急に、ネットワーク環境が悪化した場合、大きな遅延や途絶が発生するおそれがあるが、本実施形態ではデータ量が急には大きくならないので遅延や途絶を抑制できる。

＜受信側の端末Ｂ，Ｃが帯域情報を送信するまでの動作手順＞
図１１は、受信側の端末１０の動作を説明するシーケンス図の一例である。図１１の処理は図８に続いて実行される。ステップＳ７−１は説明の便宜上、帯域情報の算出の際に説明する。

S11：端末Ｂ及び端末Ｃの映像復号部１８のデータ受付部３６は、送受信部１２から符号化された映像データを受け付ける。

S12：端末Ｂ及び端末Ｃの映像復号部１８の復号設定部３７は、映像データのパラメータを取得する。詳細を図１２に示す。映像データのパラメータは、例えば解像度とフレームレートである。復号の場合、映像データのパラメータのまま復号することで画質の低下を抑制できるため、映像データのパラメータのまま復号する。

S13：端末Ｂ及び端末Ｃの映像復号部１８の復号部３８は映像データを復号する。

図１２は、映像復号部１８の復号設定部３７が取得した映像データのパラメータの一例を示す。図１２では、現在の復号設定と映像データのパラメータが示されている。このように、復号設定部３７が映像データのパラメータを取得することで、画質の低下を抑制して復号できる。

＜帯域情報について＞
図１１のステップＳ７−１で受信時刻を受信した端末Ａの帯域情報処理部２５は図１４にて説明するように帯域情報を取得する。まず、図１３を用いて帯域情報について説明する。

図１３は、帯域情報の一例を示す図である。図１３（ａ）は２つの端末１０間で送信及び受信されるデータの種類を示す。映像データ、音声データ及び資料データが送受信される。帯域などによって中継装置は映像データの画質を決定しており、図１３では高画質と低画質の映像データが送受信される。資料データに関しても画質の違いがある。常に送信されるものではないので、１つの回線が送信と受信に使用される（図１３（ａ）では端末Ａから端末Ｂに送信されている）。

図１３（ｂ）は１つの端末１０の帯域情報の一例を示す。帯域情報処理部２５は、各種のデータの実際の通信結果から、映像データ、音声データ、資料データ、及び合計の帯域を測定し、これらをまとめて帯域情報を作成する。遅延時間については後述する。

図１３（ｂ）の受信の帯域情報を例に取ると、受信の帯域情報は大きいので、映像データの受信を適切に行えると判断できる。しかしながら、急激なネットワーク環境の悪化があればこの限りではない。これに対し、送信の帯域情報は小さいので、映像データの送信に適切な符号化設定が必要となる可能性がある。

また、図１３（ｂ）の帯域情報は、実際の通信速度をそのまま利用できる帯域として扱っているが、例えばある一定期間内の最大の通信速度を求め、その値を利用できる帯域として扱ってもよい。

帯域情報処理部２５は遅延時間を算出する。端末１０から見た遅延時間は、端末１０が映像データを送信し、中継装置３０が受信して、その旨を端末１０が受信するまでの時間とする。図１１のステップＳ７−１を用いて説明する。

S7-1：端末Ａの送受信部１２は中継装置３０から受信時刻を受信する。端末Ａの帯域情報処理部２５は、端末Ａが映像データを送信した時刻（タイムスタンプ）を保持しておき、中継装置３０から受信時刻を受信すると、送信した時刻と受信時刻の第一の差を算出する。また、帯域情報処理部２５は端末Ａが受信時刻を受信した時刻と受信時刻の第二の差を算出する。端末Ａから見た遅延時間は第一の差と第二の差の合計である。帯域情報はネットワーク環境の悪化の指標となる。

このような遅延時間は、ＲＴＴ（Round Trip Time）値と呼ばれる。ＲＴＴ値は、通信相手に信号やデータを発信してから、応答が帰ってくるまでにかかる時間である。従って、ＲＴＴは受信と送信の遅延時間を合わせたものとなる。一方。第一の差を送信側の遅延時間、第二の差を受信側の遅延時間として区別して扱うこともできる。

また、遅延時間そのものではないが、遅延時間に相関する指標を使ってもよい。例えば、ＴＣＰ通信をしている場合には一定時間のＮＡＣＫの数を遅延のパラメータとして使用してもよい。ＴＣＰのＮＡＣＫは通信が否定的な結果に終わったことを意味する。帯域が狭い場合にＮＡＣＫの数が増えるため、ＮＡＣＫの数が遅延時間と同等の情報を持つ場合がある。

＜帯域情報に基づく符号化設定の決定＞
図１４は、端末１０が帯域情報に基づいて符号化設定を決定する手順を示すシーケンス図の一例である。図１４の処理は図１１に続いて実行される。図１４のシーケンス図は、符号化に必要な符号化設定を端末Ａが再調整する場合の処理を示す。

S21：端末Ａの帯域情報処理部２５は、ステップＳ７−１の受信時刻を使って、端末Ａの帯域情報を受信する。なお、データ受付部３１は撮像部１４から映像データを取得している。

S22：端末Ａの映像符号化部１７は、端末Ａの帯域情報処理部２５から端末Ａの帯域情報を取得する。

S23：端末Ａの映像符号化部１７の符号化設定取得部３４は、端末Ａの符号化設定管理部２３０１から符号化設定情報（段階的符号化方針）を取得する。

S24：端末Ａの映像符号化部１７の符号化設定部３２は、取得した符号化設定情報と帯域情報から符号化設定を決定する。詳細を図１５にて説明する。

S25：端末Ａの映像符号化部１７は、決定された符号化設定に基づき符号化する。

S26：端末Ａの送受信部１２は、符号化された映像データ（符号化データ）を送信する。

図１５は、端末Ａの映像符号化部１７が帯域情報に基づいて符号化設定を決定する手順を示すフローチャート図の一例である。

まず、映像符号化部１７の符号化設定部３２が符号化設定の処理を開始する(Ｓ１)。

符号化設定部３２は、遅延時間と閾値を比較して、遅延の有無を判断する（Ｓ２）。この閾値は実験的に決定されているものとする。遅延時間の他、ＮＡＣＫの数が閾値を超えたかどうかで判断してもよい。段階的に符号化設定した後、ネットワーク環境の悪化があったとしても、自機の帯域情報から遅延を判断するので、変更した符号化設定が適切かどうかを判断できる。

遅延がない場合（Ｓ２のＮｏ）、符号化設定部３２は符号化設定を、現在の符号化設定の値に決定する（Ｓ３）。すなわち、遅延がないので現在のパラメータのまま変更しない。現在の符号化設定は、例えば、図１０で符号化設定部３２が決定した符号化設定である。ただし、図１０で符号化設定部３２が決定した符号化設定は、映像データのパラメータが要請する値よりも小さいので、遅延がなければ、再度、図１０の処理が実行されることで、符号化設定は段階的に映像データのパラメータが要請する値に近づいていく。従って、映像データのパラメータに対し徐々に符号化設定を最適化できる。

遅延がある場合（Ｓ２のＹｅｓ）、段階的に決定された符号化設定でも遅延のない通信に不十分なので、符号化設定部３２は符号化調整方針を確認する（Ｓ４）。すなわち、段階的符号化方針に従って符号化しても遅延があったため、再調整を行う。符号化調整方針は、例えば強制設定、再調整、前回値、又はビットレート依存である。

符号化調整方針が強制設定の場合、変更無しなので処理はステップＳ３に進む。従って、現在のパラメータのまま変更しない。

符号化調整方針が再調整の場合、段階的符号化方針に従って再度、符号化設定が決定される（Ｓ５）。従って、例えば、段階的符号化方針として中間が採用される。この場合、前回の符号化設定から現在の符号化設定までの変更量の１／２を前回の符号化設定に加算して符号化設定を決定する。つまり、現在の符号化設定よりも小さくなるため、データ量が小さくなり遅延が抑制される。図１０では映像データのパラメータが要請する符号化設定よりも小さい値に符号化設定を決定したが、それでも遅延する場合に段階的に符号化設定を小さくできる。つまり、符号化設定を小さくする時も段階的に小さくできる。このように符号化設定を大きくする場合も小さくする場合もネットワーク環境の変化に過剰に追従しないので、符号化設定の変動を小さくできる。従って、符号化設定の増大時は、端末１０のネットワーク環境が急に悪化しても送信されるデータ量が急に大きくならないので、遅延や途絶のリスクを低減でき、符号化設定の低減時は、端末１０のネットワーク環境の悪化が一時的であることも考慮してデータ量を急に小さくすることがない。このように、本実施形態の端末１０は、端末１０のネットワーク環境の定常的な状態に基づく符号化設定を決定しやすくなる。

符号化調整方針が前回値の場合、符号化設定部３２は符号化設定を前回の符号化設定に決定する（Ｓ６）。すなわち、図１０で変更する前の符号化設定に戻す。

符号化調整方針がビットレート依存の場合、符号化設定部３２は解像度とフレームレートを現在の符号化設定のままにして、ビットレートのみを前回の値に設定する（Ｓ７）。すなわち、前回のビットレートで送信できる範囲で映像データを送信する。従って、現在の帯域で最大限のデータ量の映像データを送信できる。

符号化設定部３２は符号化設定の処理を終了する(Ｓ８)。端末１０は、図８，図１１及び図１４の処理を繰り返し実行する。まず、端末Ａは図８を行い、帯域情報に基づき図１４を行う。端末Ａは図８、図１４を繰り返し行う。段階的符号化方針が段階無しでない限り、符号化設定が段階的に決定される。

＜まとめ＞
以上のように、本実施形態の端末１０は、段階的符号化方針に基づいて符号化設定を決定するので、ネットワーク環境が悪化する際にデータ量が増加するような場合でも、通信の遅延や途絶を抑止しやすい。また、符号化設定の変更後、遅延が生じるかどうか判断するので、遅延が生じていた場合、段階的な調整が可能になる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

また、上記実施形態では、テレビ会議システム１はＩＰ（Internet Protocol）電話や、インターネット電話等の電話システムであってもよい。また、テレビ会議システム１は、移動体に搭載されたカーナビゲーション装置を含むシステムであってもよい。

また、上記実施形態では、コンテンツデータの一例として、画像データ及び音声データについて説明したが、これに限るものではなく、触覚（touch）データであってもよい。この場合、一方の端末側で参加者が接触した感覚が、他方の端末側に伝達される。更に、コンテンツデータは、嗅覚（smell）データであってもよい。

また、図５，図６、図７などの構成例は、端末による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。端末の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

なお、撮像部１４及び音声入力部１５の少なくとも一方はデータ取得手段の一例であり、送受信部１２は通信手段の一例であり、符号化部３３は符号化手段の一例であり、符号化設定部３２は設定情報変更手段の一例である。

１ テレビ会議システム
１０ テレビ会議端末
１７ 映像符号化部
１８ 映像復号部
２５ 帯域情報処理部
３０ 中継装置
３１ データ受付部
３２ 符号化設定部
３３ 符号化部
３４ 符号化設定取得部
３７ 復号設定部
３８ 復号部
４０ 管理サーバ

特開２０１３‐０３１０３８号公報

Claims (9)

1. ネットワークを介して他の端末とデータと通信する端末であって、
   前記データを取得するデータ取得手段と、
   前記データを符号化するための設定情報に基づいて前記データを符号化する符号化手段と、
   前記他の端末に符号化された前記データを送信する通信手段と、
   現在の設定情報では前記データの送信に遅延が発生すると予測される場合、前記設定情報を段階的に変更する段階的符号化方針情報を参照し、前記設定情報を段階的に変更する設定情報変更手段と、
   を有する端末。
2. 前記段階的符号化方針情報には、現在の設定情報から目標の設定情報に変更するための変更量のうち一部だけを変更する方針が設定されており、
   前記設定情報変更手段は、前記現在の設定情報に前記一部を加えた値を、前記設定情報に決定する請求項１に記載の端末。
3. 前記設定情報変更手段は、前記データ取得手段が取得した前記データのデータ量と、現在の設定情報が対応するデータ量を比較して、
   前記データ取得手段が取得した前記データのデータ量の方が前記現在の設定情報が対応するデータ量よりも大きい場合、前記設定情報を変更する請求項１又は２に記載の端末。
4. 前記設定情報の変更後、前記設定情報変更手段は帯域情報に基づいて遅延があるか否かを判断し、
   遅延がある場合、前記設定情報変更手段は、段階的に変更された前記設定情報の調整方針を参照し、変更後の設定情報を段階的に調整する請求項１〜３のいずれか１項に記載の端末。
5. 前記設定情報の調整方針には、現在の前記設定情報のままにする強制設定、前記段階的符号化方針情報に従って再度、前記設定情報を調整する再調整、又は、前記設定情報を前記設定情報変更手段が変更する前の値に戻す前回値のいずれかが設定されている請求項４に記載の端末。
6. 前記設定情報の調整方針に前記再調整が設定されている場合、前記設定情報変更手段は、前記段階的符号化方針情報に従って、前回の前記設定情報から前記設定情報変更手段が変更した前記設定情報に変更するための変更量のうち一部だけを前回の前記設定情報に加えることで、前記設定情報を調整する請求項５に記載の端末。
7. 前記設定情報の調整方針に、前記設定情報変更手段が変更した前記設定情報を維持すると共にビットレートを前回の設定情報の値に設定するビットレート依存が設定されている場合、
   前記設定情報変更手段は、前記設定情報変更手段が変更した前記設定情報を維持すると共にビットレートを前回の設定情報の値に設定する請求項４〜６のいずれか１項に記載の端末。
8. ネットワークを介して他の端末とデータと通信する端末を、
   前記データを取得するデータ取得手段と、
   前記データを符号化するための設定情報に基づいて前記データを符号化する符号化手段と、
   前記他の端末に符号化された前記データを送信する通信手段と、
   現在の設定情報では前記データの送信に遅延が発生すると予測される場合、前記設定情報を段階的に変更する段階的符号化方針情報を参照し、前記設定情報を段階的に変更する設定情報変更手段、
   として機能させるためのプログラム。
9. ネットワークを介して他の端末とデータと通信する端末のデータ送信方法であって、
   データ取得手段が、前記データを取得するステップと、
   符号化手段が、前記データを符号化するための設定情報に基づいて前記データを符号化するステップと、
   通信手段が、前記他の端末に符号化された前記データを送信するステップと、
   設定情報変更手段が、現在の設定情報では前記データの送信に遅延が発生すると予測される場合、前記設定情報を段階的に変更する段階的符号化方針情報を参照し、前記設定情報を段階的に変更するステップと、
   を有するデータ送信方法。

Images