JP2014187448A

JP2014187448A - 映像配信システム及びデコーダ並びに映像配信方法

Info

Publication number: JP2014187448A
Application number: JP2013059366A
Authority: JP
Inventors: Mari Kawahara; 麻里川原; Shigeki Nakada; 茂樹中田; Yasutaka Umemoto; 泰孝梅元; Shotaro Ishikawa; 将太郎石川
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2013-03-22
Filing date: 2013-03-22
Publication date: 2014-10-02
Anticipated expiration: 2033-03-22
Also published as: JP6089846B2

Abstract

【課題】画質の低下を抑制しながら映像配信の遅延時間を小さくする
【解決手段】映像配信システムのデコーダ５は、パラメータ変更判定部２３を有する。パラメータ変更判定部２３は、符号化モード判定部３１において映像配信に許容される時間遅延である遅延許容時間に基づいて、映像データを符号化するときの符号化モードを選択する。さらに、遅延許容時間分配部３２において遅延が許容される時間内で映像データを符号化するときに画質が向上するようなパラメータを設定する。これによって、映像配信時に、許容された遅延時間の範囲内で画質を向上させることが可能になる。
【選択図】図３

Description

本発明は、映像配信システム及びデコーダ並びに映像配信方法に関する。

従来のリアルタイム映像配信は、ＤＶＢ−ＡＳＩ（Digital Video Broadcasting − Asynchronous Serial Interface）を利用して衛星回線や無線を使用し、画像データの伝送はＩＰ（Internet protocol）ネットワークを利用していた。近年では、ＩＰネットワークが大容量かつ高速化されてきたことにより、ＩＰネットワークを利用してリアルタイム映像配信も行われるようになってきた。画像データを離れた場所に送信する場合には、撮像装置で取得した映像データをエンコーダで符号化した後、ＩＰネットワークを利用してデコーダに送信し、デコーダで復号化した後にモニタに表示させることがある。

このような映像配信システムにおいては、符号化処理や復号化処理に時間を要するので、撮像装置の実際の画像と、モニタの表示画像との間に遅延時間が生じることが知られている。このような遅延時間を減少させることは、リアルタイムの映像伝送を行う場合に重要になってくる。例えば、撮像装置のアングルをユーザがリアルタイムで遠隔操作するときには、実際の画像と、表示画像の間のタイムラグの分だけ遅れた画像を見ながらアングル操作をすることになる。このために、撮像装置のアングルを所望する角度に操作することが困難であった。そこで、従来では、解像度の異なる符号化フォーマットを予め用意しておき、撮像装置のアングルを調整するときには解像度が低くなるような符号化フォーマットを選択することによって、符号処理及び復号化処理による遅延時間を減少させていた。

また、別の従来例では、撮像装置とモニタとの間の遅延時間がデコーダからエンコーダに送信される許容値以内になるように瞬間最大出力ビットレートを決定している。例えば、遅延時間を少なくしたい場合には、ビットストリームを小さくして符号化量を少なくして映像を配信する。

特開平７−１１１１６４３号公報特開２００７−３３６２６０号公報

しかしながら、解像度が低くなるように符号化フォーマットを選択すると、遅延時間は小さくなるのが、画質が荒くなって大幅に劣化してしまう。同様に、ビットレートを変更してデータ量を少なくしただけでは、遅延時間は小さくなるが、画質が大幅に低下する。
この発明は、このような事情に鑑みてなされたものであり、画質の低下を抑制しながら映像配信の遅延時間を小さくすることを目的とする。

実施形態の一観点によれば、映像データを符号化するエンコード部と、前記エンコード部で符号化された後に配信された映像データを復号化するデコード部と、映像データの配信処理に許容される遅延時間として設定された遅延許容時間内で最も画質が良くなる符号化モードを選択する符号化モード判定部と、遅延許容時間から、符号化モードによって定まる遅延時間と、映像データの配信に伴う遅延時間とを引いた残りの遅延許容時間内で、前記符号化モードで符号化される映像データの画質の向上と引き換えに遅延時間を増大させるパラメータに割り当てる遅延許容時間分配部と、を含むことを特徴とする映像配信システムが提供される。

また、実施形態の別の観点によれば、符号化された映像データを復号化するデコード部と、映像データの配信処理に許容される遅延時間として設定された遅延許容時間内で最も画質が良くなる符号化モードを選択する符号化モード判定部と、遅延許容時間から、符号化モードによって定まる遅延時間と、映像データの配信に伴う遅延時間とを引いた残りの遅延許容時間内で、前記符号化モードで符号化される映像データの画質の向上と引き換えに遅延時間を増大させるパラメータに割り当てる遅延許容時間分配部と、を含むことを特徴とするデコーダが提供される。

さらに、実施形態の別の観点によれば、映像データを符号化して配信するにあたり、映像データの配信処理に許容される遅延時間として設定された遅延許容時間内で最も画質が良くなる符号化モードを選択する工程と、遅延許容時間から、符号化モードによって定まる遅延時間と、映像データの配信に伴う遅延時間とを引いて残りの遅延許容時間を算出する工程と、残りの遅延許容時間を前記符号化モードで符号化される映像データの画質の向上と引き換えに遅延時間を増大させるパラメータに割り当てる工程と、設定したパラメータをエンコーダに通知する工程と、通知されたパラメータを用いて前記エンコーダが映像データを符号化する工程と、符号化された映像データをデコーダで復号化する工程と、を含むことを特徴とする映像配信方法が提供される。

遅延時間として許容される範囲内でも最も画質が良くなる符号化モードを選択し、さらに符号化モードによって定める遅延時間を引いた残りの遅延許容時間を画質向上のためのパラメータに割り当てるようにした。これによって、映像配信に許容される遅延時間の範囲内で画質を自動的に向上させることが可能になる。

図１は、本発明の実施の形態に係る映像配信システムの概略構成の一例を示す図である。図２は、本発明の実施の形態に係る映像配信システムのエンコーダの概略構成の一例を示すブロック図である。図３は、本発明の実施の形態に係る映像配信システムのデコーダの概略構成の一例を示すブロック図である。図４は、本発明の実施の形態に係る映像配信システムにおける符号化モードの画質と、時間遅延と、ＣＰＢのサイズの関係の一例を示す図である。図５は、本発明の実施の形態に係る映像配信システムにおける符号化モードと遅延時間の関係の一例を示す図である。図６は、本発明の実施の形態に係る映像配信システムにおけるエンコーダの処理の一例を示すフローチャートである。図７は、本発明の実施の形態に係る映像配信システムにおけるデコーダの処理の一例を示すフローチャートである。図８は、本発明の実施の形態に係る映像配信システムにおけるデコーダのパラメータ判定処理の一例を示すフローチャートである。図９は、本発明の実施の形態に係る映像配信システムにおける符号化解像度と、ビデオレートと、レートレベルの関係の一例を示す図である。図１０は、本発明の実施の形態に係る映像配信システムにおけるパラメータ変更時の優先度の一例を示す図である。図１１は、本発明の実施の形態に係る映像配信システムにおけるパラメータ変更処理の具体例を示す図である（その１）。図１２は、本発明の実施の形態に係る映像配信システムにおけるパラメータ変更処理の具体例を示す図である（その２）。

発明の目的及び利点は、請求の範囲に具体的に記載された構成要素及び組み合わせによって実現され達成される。
前述の一般的な説明及び以下の詳細な説明は、典型例及び説明のためのものであって、本発明を限定するためのものではない。

図１に映像配信システム１の概略構成を示す。映像配信システム１は、映像を撮影可能な撮像装置２と、撮像装置２で撮影した映像が入力されるエンコーダ３と、エンコーダ３で符号化した映像のデータを伝送するＩＰネットワーク４と、映像のデータを受信して復号化するデコーダ５と、復号した映像を表示するモニタ６とを含んで構成されている。

ここで、映像配信システム１における映像配信の遅延時間ＴＴは、エンコーダ３における符号化遅延時間ＥＴと、ＩＰネットワーク４の負荷に応じて変化するネットワーク遅延時間ＮＴと、復号化処理に要する復号化遅延時間ＤＴとからなる。ここで、符号化遅延時間は、符号化処理に伴う遅延時間と、ＣＰＢ（Coded Picture Buffer）に起因する遅延時間とからなる。ＣＰＢは、エンコーダ３がデコーダ５のストリームバッファをオーバーフロー又はアンダーフローさせないようにビットストリームを符号化するために使用される。ＣＰＢは、符号化モードによってバッファサイズが異なっており、バッファサイズの大小によって遅延時間が変化する。

次に、図２を参照してエンコーダ３の構成について説明する。エンコーダ３は、映像信号入力部１１と、エンコード部１２と、ストリーム送信部１３と、ＩＰパケット送信部１４と、ＲＴＴ（Round-Trip Time）計測部１５と、ＩＰパケット受信部１６と、パラメータ変更通知受信部１７と、パラメータ設定部１８とを有する。なお、デコーダ５は、専用の装置でも良いし、コンピュータにプログラムを実行させることによって実現される装置でも良い。

映像信号入力部１１は、撮像装置２で撮影した映像データがそのまま入力され、エンコード部１２に受け渡す。
エンコード部１２は、公知の符号化アルゴリズムを用いて映像データを符号化する。符号化のパラメータは、符号化解像度と、ビデオレートと、符号化モードと、追加ＣＰＢと、可変ＧＯＰ機能の有無と、参照ピクチャ枚数とがある。これらのパラメータは、映像配信システム１の映像配信の遅延時間を増やすが、映像データの画質を向上させることが可能なもので、パラメータ設定部１８によって変更することが可能である。
ストリーム送信部１３は、符号化した映像データからデコーダ５に送信可能なパケット、例えばＩＰパケットを作成する。
ＩＰパケット送信部１４は、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）に則ってＩＰパケットを順次、ＩＰネットワーク４に送信する。

ＲＴＴ計測部１５は、ＩＰパケット受信部１６がデコーダ５からネットワーク遅延時間ＮＴを計測するためのパケットを受け取ったときに、ＩＰパケット送信部１４から返信用のパケットを送信させる処理を実行する。
ＩＰパケット受信部１６は、デコーダ５から送信されるＩＰパケットを受信する。ＩＰパケット受信部１６で受信するＩＰパケットは、例えば、ＲＴＴ計測用のパケットと、パラメータの変更を通知するパケットとがある。
パラメータ変更通知受信部１７は、デコーダ５から受信したＩＰパケットがパラメータの変更通知であった場合に、変更するパラメータの種類と内容を通知するデータが入力される。
パラメータ設定部１８は、パラメータの変更通知を受信したときに、符号化のパラメータを変更する。変更したパラメータは、エンコード部１２における符号化処理に適用される。

さらに、図３を参照してデコーダ５の構成について説明する。デコーダ５は、ＩＰパケット受信部２１と、ストリーム解析部２２と、パラメータ変更判定部２３と、遅延基準値テーブル２４と、ＲＴＴ計測部２５と、ＩＰパケット送信部２６と、デコード部２７と、映像信号出力部２８とを含んで構成されている。

ＩＰパケット受信部２１は、ＩＰネットワーク４を介してエンコーダ３から送信されるＩＰパケットを受け取る。ＩＰパケット受信部２１で受け取るＩＰパケットは、符号化された映像のパケットと、ＲＴＴ計測用のパケットとがある。
ストリーム解析部２２は、映像のＩＰパケットから符号化モードを判定する。符号化モードは、パラメータ変更判定部２３に出力する。映像のＩＰパケットは、デコード部２７に受け渡す。

パラメータ変更判定部２３は、符号化モードの情報と、ネットワーク遅延時間ＮＴとを受け取り、遅延基準テーブル２４に予め格納されている遅延基準値とを参照してパラメータの変更通知用のＩＰパケットを作成する。さらに、パラメータ変更判定部２３は、符号化モードを判定する符号化モード判定部３１と、遅延許容時間を画質向上のためのパラメータに分配する遅延許容時間分配部３２とに機能分割される。
遅延基準値テーブル２４は、遅延基準値が検索可能にテーブルに格納されている。

ＲＴＴ計測部２５は、ＲＴＴ計測用のパケットの作成及び送信を指示し、エンコーダ３からＲＴＴ計測用のパケットが返信されてくるまでの往復時間を計測し、この往復時間を２で除した時間をネットワーク遅延時間ＮＴとする。
ＩＰパケット送信部２６は、ＲＴＴ計測用のＩＰパケットや、パラメータ変更通知用のＩＰパケットをエンコーダ３に送信する処理を実行する。
デコード部２７は、エンコーダ３の符号化アルゴリズムに対応した復号化アルゴリズムを用いて映像データを復号化する。
映像信号出力部２８は、復号化した映像信号を時系列に従ってモニタ６に出力する。

ここで、符号化モードは、Ｉピクチャと、Ｐピクチャと、Ｂピクチャの３種類のピクチャの組み合わせによって決定される。この実施の形態で選択可能な符号化モードは、ＩＢＢＰと、ＩＰＰＰと、ＰＰＰＰの３種類とする。ＩＢＢＰは、ＩとＰの間に２つＢピクチャが入る構成を有する。ＩＰＰＰは、ＩとＰの間に２つＰピクチャが入る構成を有する。ＰＰＰＰは、ＰとＰの間に２つＰピクチャが入る構成を有する。なお、Ｉピクチャは、予測を用いないフレーム内符号化画像である。Ｉピクチャのみで１つのフレームの画像を復元できる。しかしながら、データ量が多くなる。また、Ｐピクチャは、下降のフレームから一方向のフレーム予測を行い、差分を符号化した画像である。データ量は、Ｉピクチャより少ない。さらに、Ｂピクチャは、過去と未来の２つのフレームから二方向のフレーム間予測を行い、差分を符号化した画像である。データ量は、３つのうちで最も少ない。なお、符号化モードは、前記の３つに限定されない。

さらに、図４に、３つの符号化モードの画質と、時間遅延と、ＣＰＢのサイズの関係を示す。画質は、ＩＢＢＰモードが最も高く、ＩＰＰＰモード、ＰＰＰＰモードの順番に画質が低下する。遅延時間は、ＩＢＰモードが最も大きく、ＩＰＰＰモード、ＰＰＰＰモードの順番に小さくなる。ＣＰＢは、ＩＢＰモードが最も大きく、ＩＰＰＰモード、ＰＰＰＰモードの順番に小さくなる。この表から、画質と遅延時間は相反することがわかる。即ち、高画質を優先すると、遅延時間が大きくなる。一方、遅延時間を少なくしようとすると、画質が低下する。そして、エンコードの遅延が少ないＩＰＰＰモードやＰＰＰＰモードは、ＣＰＢの容量を少なくできることから遅延時間を低下させることができるが、画質はＩＢＢＰモードに比べて劣る。

また、ユーザがエンコーダ３に対して設定可能なパラメータには、ビデオレート（ｂｐｓ）と、符号化解像度がある。ビデオレートは、１秒間に送受信できるデータ量であり、例えば、１Ｍｂｐｓや、２０Ｍｂｐｓなどが選択できる。符号化解像度は、ＳＤ（Standard Definition：７２０×４８０）や、ＨＤ（High Definition：１９２０×１０８０）などが選択できる。

一方、ユーザがデコーダ５に対して設定可能なパラメータは、遅延時間の変化要因と、要因毎の遅延許容時間（ｍ秒）とがある。遅延時間の変化要因とは、例えば、撮像装置２を遠隔操作する場合には、「パン・チルト制御なし」と、「パン・チルト制御有り」とがある。また、要因毎の遅延許容時間は、例えば、「パン・チルト制御なし」の場合に２０００ｍ秒、「パン・チルト制御有り」の場合に５００ｍ秒などが設定される。「パン・チルト制御有り」の場合の遅延許容時間が短いのは、撮像装置２を遠隔操作によってパン操作やチルト操作するときに映像の遅延時間が大きいと、撮像装置２を所望の位置に止めることが困難になるからである。ここで、遅延時間の変化要因と、要因毎の遅延許容時間は、ユーザがデコーダ５を操作することによって設定しても良いし、デコーダ５のパラメータ変更判定部２３が自動処理によって決定しても良い。また、遅延時間の変化要因に、ネットワーク遅延時間ＮＴを追加しても良い。この場合には、ネットワーク遅延時間ＮＴが大きいときには要因毎の遅延許容時間を少なく設定し、ネットワーク遅延時間ＮＴが小さいときには要因毎の遅延許容時間を大きく設定する。

また、図５に、各符号化モードにおける符号化処理時間ＰＴと、ＣＰＢ遅延時間ＢＴと、復号化遅延時間ＤＴと、遅延基準値ＳＴの具体例を示す。符号化処理時間ＰＴは、符号化処理に要する時間である。ＣＰＢ遅延時間ＢＴは、ＣＰＢの容量に応じて変化する時間遅延である。復号化遅延時間ＤＴは、復号化処理に要する時間である。なお、図１に示す符号化遅延時間ＥＴは、符号化処理時間ＰＴと、ＣＰＢ遅延時間ＢＴの合計に相当する。

遅延基準時間ＳＴは、符号化遅延時間ＥＴと、復号化遅延時間ＤＴの合計である。例えば、ＩＢＢＰモードでは、符号化遅延時間ＥＴは、２００ｍ秒、ＣＰＢ遅延時間ＢＴは、５００ｍ秒、復号化遅延時間ＤＴは１００ｍ秒であった。そして、これらの合計である遅延基準値ＳＴは、８００ｍ秒である。ＩＰＰＰモードの遅延基準値ＳＴが３９０ｍ秒であり、ＰＰＰＰモードの遅延基準値ＳＴは１５０ｍ秒である。このように、画質が高いＩＢＢＰモードが最も遅延基準値ＳＴが大きく、最も画質が低いＰＰＰＰモードの遅延基準値ＳＴが最も小さくなる。ここで、遅延基準値ＳＴは、デコーダ５の遅延基準値テーブル２４に登録されている。

次に、図１に示す映像配信システム１における処理について説明する。
まず、図６のフローチャートを参照してエンコーダ３の処理について説明する。
ステップＳ１０１で、パラメータ設定部１８が、エンコード部１２に対して初期パラメータを設定する。初期パラメータには、例えば、符号化モードや、追加するＣＰＢの容量、可変ＧＯＰ（Group of Picture）機能の有無、参照ピクチャ枚数、ビデオレート、符号化解像度がある。ＧＯＰは、最小単位である１フレームを効率良く管理するためのまとまりであり、１つ以上のＩフレームと，複数のＰ，Ｂフレームから構成されている。可変ＧＯＰ機能を有りにすると、フレーム単位での編集が可能になる。

各パラメータの初期値は、例えば、符号化モードが「ＩＢＢＰ」、追加ＣＰＢが「０」、可変ＧＯＰ機能が「なし」、参照ピクチャ枚数が「０」、ビデオレートが「２０Ｍｂｐｓ」、符号化解像度が「ＨＤ」である。パラメータの初期値は、ここに記載した以外の値を設定しても良い。

ステップＳ１０２で映像の復号化処理の開始が許可されたら、ステップＳ１０３に進む。符号化処理の開始は、撮像装置２からの映像が映像信号入力部１１に入力された場合に許可しても良いし、デコーダ５側からの映像配信の要求に従って許可しても良い。符号化処理の開始が許可されない場合には、ここでの処理を一旦終了する。

続くステップＳ１０３では、パラメータ変更通知受信部１７が、デコーダ５からパラメータの変更通知を受信しているか調べる。パラメータの変更を通知するＩＰパケットをＩＰパケット受信部１６が受信している場合には、ステップＳ１０４に進んで、パラメータ設定部１８がデコーダ５からの通知に従ってエンコード部１２のパラメータを変更し、その後ステップＳ１０５に進む。一方、ステップＳ１０３でパラメータの変更通知を受信していない場合には、直接にステップＳ１０５に進む。

ステップＳ１０５では、エンコード部１２が撮像装置２から入力された映像データをパラメータ設定部１８で設定されたパラメータに従って符号化する。さらに、ステップＳ１０６で、ストリーム送信部１３が符号化した映像データからＩＰパケットを作成し、ＩＰパケット送信部１４がＩＰパケットをデコーダ５に向けてＩＰネットワーク４に順次送信する。この後、ステップＳ１０２に戻り、符号化処理の終了が指令されるまで、前記の処理を繰り返す。

次に、図７のフローチャートを参照してデコーダ５の処理について説明する。
ステップＳ２０１に示すように、デコーダ５は、復号化処理の開始が許可されたら偉功のステップを繰り返して実行する。まず、ステップＳ２０２において、ＩＰパケット受信部２１がエンコーダ３から送信された映像のＩＰパケットを受信する。続いて、ステップＳ２０３では、ＩＰパケット受信部２１で受信した映像のＩＰパケットをストリーム解析部２２で受け取って符号化モードを解析する。
続いて、ステップＳ２０４で、デコード部２７が、ＩＰパケットに含まれる映像データを復号化する。さらに、ステップＳ２０５で、復号化した映像の信号をモニタ６に出力する。

さらに、ステップＳ２０６では、ＲＴＴ計測部２５がネットワーク遅延時間ＮＴを測定する。ネットワーク遅延時間ＮＴは、デコーダから送信されるＲＴＴ計測用のＩＰパケットがＩＰネットワーク４を経由してエンコーダ３に伝送され、さらにエンコーダ３からＩＰネットワーク４を経由して返信されるまでに要する往復時間を２で除算することによって得られる。

続くステップＳ２０７では、パラメータ変更判定部２３が遅延時間の変化要因の有無を検出する。例えば、初期状態で「パン・チルト制御なし」であった場合に、ユーザの操作によって「パン・チルト制御有り」に変更されたら、遅延時間の変化要因が検出されたと判定する。この場合には、ステップＳ２０８に進んでパラメータの判定処理を実行する。一方、遅延時間の変化要因を検出しなかったら、ステップＳ２０１に戻る。

ステップＳ２０８のパラメータ判定処理は、符号化モードと、可変ＧＯＰと、参照ピクチャ枚数と、追加ＣＰＢサイズを決定する処理である。パラメータ判定処理の詳細は、後に説明する。パラメータに変更があった場合には、ステップＳ２０９からステップＳ２１０に進んで、パラメータ変更判定部２３がパラメータ変更通知を作成し、ＩＰパケット送信部２６からエンコーダ３に送信する。ここで、パラメータ変更通知には、符号化モードと、可変ＧＯＰと、参照ピクチャ枚数と、追加ＣＰＢサイズの情報が含まれる。これらパラメータは、映像配信の遅延時間と引き換えに画質を向上させるために用いられる。一方、ステップＳ２０９でパラメータに変更がなかった場合には、ステップＳ２０１に戻る。

次に、ステップＳ２０８のパラメータの変更通知の判定処理の詳細について、図８のフローチャートを参照して説明する。
最初に、ステップＳ３０１に示すように、パラメータ変更判定部２３が、遅延許容時間を取得する。遅延許容時間は、置換時間の変化要因によって決定されるもので、例えば、撮像装置２の「パン・チルト制御有り」の場合には５００ｍ秒に設定される。遅延許容時間は、遅延要因毎に予め登録されている時間が自動的に設定される。また、ユーザが遅延許容時間を入力しても良い。

ここで、ステップＳ３０２で、符号化モードの変更が必要であれば、ステップＳ３０３で符号化モード判定部３１が選択した符号化モードに応じて処理を分岐させる。符号化モードの決定には、遅延許容時間と、遅延基準値ＳＴを用いる。具体的には、[遅延許容時間]＞（[遅延基準値ＳＴ]＋[ネットワーク遅延時間ＮＴ]）を満たした上で、最も高画質の符号化モードを選択する。

例えば、符号化モードがＩＢＢＰであれば、ステップＳ３０７に進む。これに対して、符号化モードがＩＰＰＰ又はＰＰＰＰであれば、ステップＳ３０４に進んで、レートモードを選択する。レートモードは、受信ストリームの符号化解像度とビデオレートから判定する。図９に、レートレベル判定基準の例を示す。符号化解像度がＨＤで、ビデオレートが１０Ｍｂｐｓ以下の場合は、レートレベルを「低」に設定する。符号化解像度がＨＤで、ビデオレートが１０Ｍｂｐｓより大きい場合は、レートレベルを「高」に設定する。同様に、符号化解像度がＳＤで、ビデオレートが３Ｍｂｐｓ以下の場合は、レートレベルを「低」に設定する。符号化解像度がＳＤで、ビデオレートが３Ｍｂｐｓより大きい場合は、レートレベルを「高」に設定する。

図８のステップＳ３０４で、レートモードが低いと判定された場合には、ステップＳ３０５に進んで、遅延許容時間分配部３２が画質向上パラメータに遅延許容時間を０．３倍した値を割り当てる。画質向上パラメータは、可変ＧＯＰ機能の有無と、参照ピクチャ枚数とからなる。一方、ステップＳ３０４でレートモードが高い場合には、ステップＳ３０６に進んで、遅延許容時間分配部３２が画質向上パラメータに遅延許容時間を０．５倍した値を割り当てる。そして、ステップＳ３０５又はステップＳ３０６で画質向上パラメータの設定を行ったら、ステップＳ３０７に進む。

ステップＳ３０７では、遅延許容時間分配部３２が残りの遅延許容時間を調べる。残りの遅延許容時間が例えば１００ｍ秒以上あれば、ステップＳ３０８で、遅延許容時間分配部３２が可変ＧＯＰ機能ありに設定した後、ステップＳ３０９に進む。一方、ステップＳ３０７で残りの遅延許容時間が例えば１００ｍ秒未満であれば、遅延許容時間分配部３２は可変ＧＯＰ機能の設定を変更せずに、即ち可変ＧＯＰなしのまま、ステップＳ３０９に進む。

ステップＳ３０９では、遅延許容時間分配部３２が再び残り遅延許容時間を調べる。残りの遅延許容時間が例えば３０ｍ秒以上あれば、ステップＳ３１０で、遅延許容時間分配部３２が参照ピクチャ枚数を算出した後、ステップＳ３１１に進む。一方、ステップＳ３０９で残りの遅延許容時間が例えば３０ｍ秒未満であれば、参照ピクチャ枚数の設定を変更せずにステップＳ３１１に進む。
ステップＳ３１１では、遅延許容時間分配部３２が追加ＣＰＢを算出する。ここでの処理には、ＣＰＢのメモリを増加しないことを決定することも含まれる。そして、この後、ここでの処理を終了する。なお、ステップＳ３０２で符号化モードの変更が不要と判定された場合も、ステップＳ３０３〜ステップＳ３１１の処理を実行せずに、処理を終了する。

ここで、画質向上パラメータと遅延時間の関係の一例を示す。画質向上機能として可変ＧＯＰが「あり」に設定されたときには、遅延時間が１００ｍ秒増加する。また、参照ピクチャ数が１枚増える毎に遅延時間は３０ｍ秒増加する。

また、図８のステップＳ３０３からステップＳ３１１で実施される残りの遅延許容時間の割り当てにおける優先度の一例について説明する。
図１０に示すように、時間割り当ての優先度は、符号化レベル及びレートレベルによって異なる。例えば、符号化モードがＩＢＢＰで、レートレベルが低い場合には、優先度が１番目のパラメータは、可変ＧＯＰ機能になる。優先度が２番目のパラメータは、参照ピクチャ数であり、優先度が３番目のパラメータは、ＣＰＢである。符号化モードがＩＢＢＰのときは、レートレベルが高い場合でも同様の優先度になる。即ち、ＩＢＢＰモードでは、可変ＧＯＰ機能及び参照ピクチャ枚数の画質向上パラメータを優先して追加する。さらに、画質向上パラメータは、遅延時間に収まる範囲内で優先度の高い機能を選択する。

一方、符号化モードがＩＰＰＰやＰＰＰＰでは、レートレベルが低いときには、ＣＰＢの優先度が最も高くなる。さらに、ＣＰＢには、残りの遅延許容時間の７０％を割り当てる。これは、レートレベルが低い程、ＣＰＢに配分する遅延時間を多くとれば、画質の向上が図れるからである。そして、優先度の２番目は、可変ＧＯＰ機能であり、３番目に参照ピクチャ数が選択される。
また、符号化モードがＩＰＰＰやＰＰＰＰで、レートレベルが高いときには、画質向上パラメータとＣＰＢに残りの遅延許容時間を５０％ずつ割り当てる。そして、画質向上パラメータ内では、可変ＧＯＰ機能を優先的に選択し、２番目に参照ピクチャ数を選択する。

次に、パラメータ判定の具体例について説明する。
まず、図１１に示すように、第１のケースとして、遅延許容時間が１５００ｍ秒で、ビデオレートが６Ｍｂｐｓ、符号化解像度がＨＤ（１９２０×１０８０）、ネットワーク遅延時間ＲＴＴが４００ｍ秒であった場合を例にして説明する。

最初に、[遅延許容時間]＞（[遅延基準値ＳＴ]＋[ネットワーク遅延時間ＮＴ]）を満たす符号化モードを高画質のＩＢＢＰモードから順番に検討する。ＩＢＢＰモードの遅延基準値は、８００ｍ秒なので、１５００＞（８００＋４００）となり、この条件を満たす。同様に、ＩＰＰＰモードやＰＰＰＰモードにおいても、遅延許容時間の条件を満たす。従って、デコーダ５の符号化モード判定部３１は、第１のケースの符号化モードとして、最も画質が良くなるＩＢＢＰモードを選択する。

ＩＢＢＰモードを選択した場合、残りの遅延許容時間は、１５００−８００−４００＝３００ｍ秒なので、３００ｍ秒分を画質向上パラメータ又はＣＰＢに割り当てることができる。また、符号化モード判定部３１は、ビデオレートが６Ｍｂｐｓ、符号化解像度がＨＤであることから、レートレベル「低」に選択する。

符号化モードがＩＢＢＰであるので、符号化モード判定部３１は、残りの遅延許容時間を図１０に示す優先度に従って画質向上パラメータ、特に可変ＧＯＰ機能に優先的に割り当てる。可変ＧＯＰ機能をありに設定するには、遅延時間が１００ｍ秒必要なので、残りの遅延許容時間は３００−１００＝２００ｍ秒になる。次に優先度が高いのは、参照ピクチャ枚数なので、残りの遅延許容時間に収まる範囲内で参照ピクチャ枚数を増加させる。この場合は、参照ピクチャ枚数が１枚増加毎に遅延時間が３０ｍ秒増加するので、６枚まで増加させることができる。この結果、残りの遅延許容時間は、２００−３０×６＝２０ｍ秒になる。２０ｍ秒は、画質向上パラメータに使用できないので、ＣＰＢのメモリ増加に分配する。

この結果、この例における変更通知パラメータは、符号化モードがＩＢＢＰ、追加ＣＰＢを２０ｍ秒、可変ＧＯＰ機能があり、参照ピクチャ枚数が６枚増加、になる。

次に、図１２に示すように、第２のケースとして、遅延許容時間が３６０ｍ秒で、ビデオレートが２０Ｍｂｐｓ、符号化解像度がＨＤ（１９２０×１０８０）、ネットワーク遅延時間ＲＴＴが１２０ｍ秒であった場合を説明する。

最初に、[遅延許容時間]＞（[遅延基準値ＳＴ]＋[ネットワーク遅延時間ＮＴ]）を満たす符号化モードを高画質のＩＢＢＰモードから順番に検討する。ＩＢＢＰモードは、遅延基準値が８００ｍ秒であるため、上の式を満たすことはできない。次に画質の高いＩＰＰＰモードは、遅延時間が３９０ｍ秒である。このために、ＩＰＰＰモードも上の式を満たすことができない。一方、ＰＰＰＰモードは、遅延基準時間が１５０ｍ秒であり、上記の式を満たす。このために、デコーダ５の符号化モード判定部３１は、実施可能な範囲内で最も画質が良くなる符号化モードとして、ＰＰＰＰモードを選択する。

符号化モードをＰＰＰＰにしたときの残りの遅延許容時間は、３６０−１５０−１２０＝９０ｍ秒である。さらに、ビデオレートが２０Ｍｂｐｓ、符号化解像度がＨＤであるので、符号化モード判定部３１は、レートレベル「高」に選択する。以上のことから、符号化モード判定部３１は、図１０のレートレベルが「高」の場合の優先度に従って残りの遅延許容時間を画質向上パラメータとＣＰＢに割り当てる。

最初に画質向上パラメータと、ＣＰＢに５０％ずつ残りの遅延許容時間を割り当てる。画質向上パラメータにおける１番目の優先度は、可変ＧＯＰ機能である。しかしながら、可変ＧＯＰ機能を有効にするには、残りの遅延許容時間が１００ｍ秒必要である。従って、このケースでは、可変ＧＯＰ機能はなしとする。そこで、２番目の優先度の参照ピクチャ枚数に残りの遅延許容時間を割り当てる。ここで、参照ピクチャ枚数を１枚増やすと、画質向上パラメータに割り当てられる遅延時間は、３０ｍ秒になる。この値は、残りの遅延許容時間の３３％（＝３０／９０）である。一方、参照ピクチャ枚数を２枚増やすと、画質向上パラメータに割り当てられる遅延時間は、６０ｍ秒になる。この値は、残りの遅延許容時間の６６％（＝６０／９０）である。従って、参照ピクチャ枚数を２枚増やすと、画質向上パラメータとＣＰＢの割り当てが５０％ずつに近づく。このために、ＣＰＢには、９０−２×３０＝３０ｍ秒が割り当てられる。

この結果、この例における変更通知パラメータは、符号化モードがＩＰＰＰ、追加ＣＰＢを３０ｍ秒、可変ＧＯＰ機能がなし、参照ピクチャ枚数が２枚増加、になる。

以上、説明したように、この映像配信システム１では、符号化モード判定部３１において遅延時間として許容される範囲内でも最も画質が良くなる符号化モードを選択し、遅延許容時間分配部３２で残りの遅延許容時間を画質向上のためのパラメータに割り当てるようにした。これによって、映像配信に許容される遅延時間の範囲内で画質を自動的に向上させることが可能になる。例えば、撮像装置２をパン又はチルトさせるときは、撮像装置２を静止させている場合に比べて映像のリアルタイム性を高める必要があるので遅延許容時間が少なくなる。映像配信システム１では、符号化モードを低画質に切り換えた場合であっても、画質向上パラメータの設定や、ＣＰＢのサイズを遅延許容時間の範囲内で変更することによって、画質の劣化を最小限に留めたリアルタイム配信が可能になる。
また、パラメータ変更判定部２３が符号化のパラメータを設定するので、ユーザによる操作を簡略化できる。

ここで、コンピュータをエンコーダ３として機能させる符号化プログラムや、コンピュータをデコーダ５として機能させる復号化プログラムをコンピュータに読み取り可能に保存した記録媒体や、コンピュータに読み取り可能に記憶媒体に保存することや、インターネットからダウンロード可能な状態におくことも、この実施の形態に含まれる。

ここで挙げた全ての例及び条件的表現は、発明者が技術促進に貢献した発明及び概念を読者が理解するのを助けるためのものであり、ここで具体的に挙げたそのような例及び条件に限定することなく解釈するものであり、また、明細書におけるそのような例の編成は本発明の優劣を示すこととは関係ない。本発明の実施形態を詳細に説明したが、本発明の精神及び範囲から逸脱することなく、それに対して種々の変更、置換及び変形を施すことができる。

以下に、前記の実施の形態の特徴を付記する。
（付記１）映像データを符号化するエンコード部と、前記エンコード部で符号化された後に配信された映像データを復号化するデコード部と、映像データの配信処理に許容される遅延時間として設定された遅延許容時間内で最も画質が良くなる符号化モードを選択する符号化モード判定部と、遅延許容時間から、符号化モードによって定まる遅延時間と、映像データの配信に伴う遅延時間とを引いた残りの遅延許容時間内で、前記符号化モードで符号化される映像データの画質の向上と引き換えに遅延時間を増大させるパラメータに割り当てる遅延許容時間分配部と、を含むことを特徴とする映像配信システム。
（付記２）前記変更パラメータは、可変ＧＯＰ（Group of Picture）機能の有無と、参照ピクチャ枚数の増加を設定する画質向上パラメータと、ＣＰＢ（Coded Picture Buffer）の容量の増加とを含み、前記遅延許容時間分配部は、高画質の符号化モードでは前記画質向上パラメータに前記ＣＰＢの容量の増加より優先的に遅延時間を割り当てるように構成したことを特徴とする付記１に記載の映像配信システム。
（付記３）前記遅延許容時間分配部、前記可変ＧＯＰ機能の有無を前記参照ピクチャ枚数の増加より優先的に遅延時間を割り当てるように構成したことを特徴とする付記２に記載の映像配信システム。
（付記４）前記変更パラメータは、可変ＧＯＰ（Group of Picture）機能の有無と、参照ピクチャ枚数の増加を設定する画質向上パラメータと、ＣＰＢ（Coded Picture Buffer）の容量の増加とを含み、前記遅延許容時間分配部は、低画質の符号化モードでは前記ＣＰＢの容量増加に伴う遅延時間が、前記画質向上パラメータの変更に伴う遅延時間以上になるように構成したことを特徴とする付記１に記載の映像配信システム。
（付記５）前記遅延許容時間分配部は、ビデオレートが低い場合、前記ＣＰＢの容量増加を最も優先し、前記可変ＧＯＰ機能の有無と前記参照ピクチャ枚数の増加とをこの順番に設定するように構成したことを特徴とする付記４に記載の映像配信システム。
（付記６）前記遅延許容時間分配部は、ビデオレートが高い場合、前記ＣＰＢの容量増加に伴う遅延時間と、画質向上パラメータの設定変更に伴う遅延時間とが約１対１になるように設定し、かつ画質向上パラメータは、前記可変ＧＯＰ機能を優先的に有りに設定するように構成したことを特徴とする付記４又は付記５に記載の映像配信システム。
（付記７）符号化された映像データを復号化するデコード部と、映像データの配信処理に許容される遅延時間として設定された遅延許容時間内で最も画質が良くなる符号化モードを選択する符号化モード判定部と、遅延許容時間から、符号化モードによって定まる遅延時間と、映像データの配信に伴う遅延時間とを引いた残りの遅延許容時間内で、前記符号化モードで符号化される映像データの画質の向上と引き換えに遅延時間を増大させるパラメータに割り当てる遅延許容時間分配部と、を含むことを特徴とするデコーダ。
（付記８）符号化された映像データを復号化する復号化処理と、映像データの配信処理に許容される遅延時間として設定された遅延許容時間内で最も画質が良くなる符号化モードを選択する符号化モード判定処理と、遅延許容時間から、符号化モードによって定まる遅延時間と、映像データの配信に伴う遅延時間とを引いた残りの遅延許容時間を、内で、前記符号化モードで符号化される映像データの画質の向上と引き換えに遅延時間を増大させるパラメータに割り当てる遅延許容時間分配処理と、をコンピュータに実行させることを特徴とするデコーダのプログラム。
（付記９）映像データを符号化して配信するにあたり、映像データの配信処理に許容される遅延時間として設定された遅延許容時間内で最も画質が良くなる符号化モードを選択する工程と、遅延許容時間から、符号化モードによって定まる遅延時間と、映像データの配信に伴う遅延時間とを引いて残りの遅延許容時間を算出する工程と、残りの遅延許容時間を前記符号化モードで符号化される映像データの画質の向上と引き換えに遅延時間を増大させるパラメータに割り当てる工程と、設定したパラメータをエンコーダに通知する工程と、通知されたパラメータを用いて前記エンコーダが映像データを符号化する工程と、符号化された映像データをデコーダで復号化する工程と、を含むことを特徴とする映像配信方法。

１映像配信システム
３エンコーダ
４ネットワーク
５デコーダ
１２エンコード部
２７デコード部
３１符号化モード判定部
３２遅延許容時間分配部
ＥＴ符号化遅延時間（符号化モードによって定まる遅延時間）
ＤＴ復号化遅延時間（符号化モードによって定まる遅延時間）
ＮＴネットワーク遅延時間（映像データの配信に伴う遅延時間）

Claims

映像データを符号化するエンコード部と、
前記エンコード部で符号化された後に配信された映像データを復号化するデコード部と、
映像データの配信処理に許容される遅延時間として設定された遅延許容時間内で最も画質が良くなる符号化モードを選択する符号化モード判定部と、
遅延許容時間から、符号化モードによって定まる遅延時間と、映像データの配信に伴う遅延時間とを引いた残りの遅延許容時間内で、前記符号化モードで符号化される映像データの画質の向上と引き換えに遅延時間を増大させるパラメータに割り当てる遅延許容時間分配部と、
を含むことを特徴とする映像配信システム。
前記変更パラメータは、可変ＧＯＰ（Group of Picture）機能の有無と、参照ピクチャ枚数の増加を設定する画質向上パラメータと、ＣＰＢ（Coded Picture Buffer）の容量の増加とを含み、前記遅延許容時間分配部は、高画質の符号化モードでは前記画質向上パラメータに前記ＣＰＢの容量の増加より優先的に遅延時間を割り当てるように構成したことを特徴とする請求項１に記載の映像配信システム。
前記変更パラメータは、可変ＧＯＰ（Group of Picture）機能の有無と、参照ピクチャ枚数の増加を設定する画質向上パラメータと、ＣＰＢ（Coded Picture Buffer）の容量の増加とを含み、前記遅延許容時間分配部は、低画質の符号化モードでは前記ＣＰＢの容量増加に伴う遅延時間が、前記画質向上パラメータの変更に伴う遅延時間以上になるように構成したことを特徴とする請求項１に記載の映像配信システム。
符号化された映像データを復号化するデコード部と、
映像データの配信処理に許容される遅延時間として設定された遅延許容時間内で最も画質が良くなる符号化モードを選択する符号化モード判定部と、
遅延許容時間から、符号化モードによって定まる遅延時間と、映像データの配信に伴う遅延時間とを引いた残りの遅延許容時間内で、前記符号化モードで符号化される映像データの画質の向上と引き換えに遅延時間を増大させるパラメータに割り当てる遅延許容時間分配部と、を含むことを特徴とするデコーダ。
映像データを符号化して配信するにあたり、映像データの配信処理に許容される遅延時間として設定された遅延許容時間内で最も画質が良くなる符号化モードを選択する工程と、
遅延許容時間から、符号化モードによって定まる遅延時間と、映像データの配信に伴う遅延時間とを引いて残りの遅延許容時間を算出する工程と、
残りの遅延許容時間を前記符号化モードで符号化される映像データの画質の向上と引き換えに遅延時間を増大させるパラメータに割り当てる工程と、
設定したパラメータをエンコーダに通知する工程と、
通知されたパラメータを用いて前記エンコーダが映像データを符号化する工程と、
符号化された映像データをデコーダで復号化する工程と、
を含むことを特徴とする映像配信方法。