JP2015019329A - ストリーム配信システム、ストリーム作成装置、ストリーム配信方法およびストリーム作成方法 - Google Patents

Abstract

【課題】 ストリーム切り替え時の画質の変化を抑制する。【解決手段】 ストリーム配信システムは、配信する第１ストリームを、コンテンツのストリームを時間方向に分割したストリーム毎に作成されたビットレートの異なる複数の第１ストリームから選択する第１選択部と、第１ストリームのビットレートの切り替え点毎に作成された複数の置換ストリームを保持する第１保持部と、第１選択部で選択された第１ストリームに切り替わる前の第１ストリームのピクチャを前方向の参照画像とし、第１選択部で選択された第１ストリームのピクチャを後方向の参照画像として、双方向予測で符号化された置換ピクチャを含む置換ストリームを、複数の置換ストリームから選択する第２選択部と、第１選択部で選択された第１ストリームの一部を第２選択部で選択された置換ストリームに置換し、配信用のストリームを作成する置換部とを有している。【選択図】 図１

Description

本発明は、ストリーム配信システム、ストリーム作成装置、ストリーム配信方法およびストリーム作成方法に関する。

近年、インターネットを介した映像配信が普及してきている。例えば、ネットワークの帯域が変化した場合でも、映像を途切れることなく配信するための標準規格として、ＭＰＥＧ−ＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）が知られている。例えば、ＭＰＥＧ−ＤＡＳＨに準拠したストリーム配信システムは、１つのコンテンツに対して複数のビットレートで符号化したストリームを予め用意している。そして、ストリーム配信システムは、ネットワークの帯域の変化に応じて、適切なビットレートのストリームを選択して配信する。これにより、ストリーム配信の遅延が低減する。この結果、配信された映像が途切れる現象が低減する。

なお、異なるビットレートの複数のストリームから適切なストリームを選択して配信するストリーム配信システムでは、配信するストリームのビットレートを切り替えたときに、画像が乱れるおそれがある。例えば、切り替え前後のストリームでビットレートが異なる場合、切り替え後のストリームの先頭のＢピクチャの参照画像が符号化時と復号化時とで異なるため、復号画像が劣化するおそれがある。Ｂピクチャは、例えば、双方向予測で符号化されたピクチャである。

ストリームの切り替え時の画質劣化を抑制する方法として、ストリームの切り替え点においてクローズドＧＯＰ（Group of Picture）となるように、ストリームを作成する方法が知られている（例えば、特許文献１、２参照）。また、切り替え後のストリームの先頭のＢピクチャを、切り替え前のストリームの最後の参照画像と切り替え後のストリームの最初の参照画像とをブレンドした交換ピクチャに置換する方法が提案されている（例えば、特許文献３参照）。

特開２００４−５６２３４号公報 特開２０１１−４０８７９号公報 特開２００９−１４７９３０号公報

クローズドＧＯＰでは、最初のＩピクチャより前のＢピクチャが後方向予測のみとなるため、前方向予測や双方向予測を使用できるオープンＧＯＰに比べて、圧縮効率が低くなる。このため、クローズドＧＯＰでは、オープンＧＯＰに比べて、画質が低下するおそれがある。また、クローズドＧＯＰでは、ストリームの切り替え前後で参照関係が分断されるため、切り替え点で画質の連続性が失われる。このため、クローズドＧＯＰでは、双方向予測を使用できるオープンＧＯＰに比べて、ストリームの切り替え点における画質の変化が大きくなるおそれがある。

また、切り替え後のストリームの先頭のＢピクチャを、切り替え前のストリームの最後の参照画像と切り替え後のストリームの最初の参照画像とをブレンドした交換ピクチャに置換する方法では、入力画像（コンテンツの画像）と異なる画像を配信するおそれがある。例えば、交換ピクチャは、置換対象のＢピクチャ（入力画像）の内容に拘わらず、前後の参照画像から作成される。このため、動きが大きい場合などに、入力画像と異なる交換ピクチャが作成されるおそれがある。

１つの側面では、本件開示のストリーム配信システム、ストリーム作成装置、ストリーム配信方法およびストリーム作成方法は、ストリーム切り替え時の画質の変化を抑制することを目的とする。

一観点によれば、ストリーム配信システムは、配信する第１ストリームを、コンテンツのストリームを時間方向に分割したストリーム毎に作成されたビットレートの異なる複数の第１ストリームから選択する第１選択部と、第１ストリームのビットレートの切り替え点毎に作成された複数の置換ストリームを保持する第１保持部と、第１選択部で選択された第１ストリームに切り替わる前の第１ストリームのピクチャを前方向の参照画像とし、第１選択部で選択された第１ストリームのピクチャを後方向の参照画像として、双方向予測で符号化された置換ピクチャを含む置換ストリームを、複数の置換ストリームから選択する第２選択部と、第１選択部で選択された第１ストリームの一部を第２選択部で選択された置換ストリームに置換し、配信用のストリームを作成する置換部とを有している。

別の観点によれば、ストリーム作成装置は、コンテンツのストリームを時間方向に分割したストリーム毎に作成されたビットレートの異なる複数の第１ストリームを受け、第１ストリームのビットレートの各切り替え点における切り替え点の前後の第１ストリームの組み合わせ毎に、切り替え点の前後の第１ストリームのピクチャを双方向予測の参照画像として符号化した置換ピクチャを含む置換ストリームを作成する作成部を有している。

別の観点によれば、ストリーム配信方法は、配信する第１ストリームを、コンテンツのストリームを時間方向に分割したストリーム毎に作成されたビットレートの異なる複数の第１ストリームから選択し、第１ストリームのビットレートの切り替え点毎に作成された複数の置換ストリームを保持し、選択された第１ストリームに切り替わる前の第１ストリームのピクチャを前方向の参照画像とし、選択された第１ストリームのピクチャを後方向の参照画像として、双方向予測で符号化された置換ピクチャを含む置換ストリームを、複数の置換ストリームから選択し、選択された第１ストリームの一部を選択された置換ストリームに置換し、配信用のストリームを作成する。

別の観点によれば、ストリーム作成方法は、コンテンツのストリームを時間方向に分割したストリーム毎に作成されたビットレートの異なる複数の第１ストリームを受け、第１ストリームのビットレートの各切り替え点における切り替え点の前後の第１ストリームの組み合わせ毎に、切り替え点の前後の第１ストリームのピクチャを双方向予測の参照画像として符号化した置換ピクチャを含む置換ストリームを作成する。

本件開示のストリーム配信システム、ストリーム作成装置、ストリーム配信方法およびストリーム作成方法は、ストリーム切り替え時の画質の変化を抑制できる。

ストリーム配信システムおよびストリーム作成装置の一実施形態を示す図である。 図１に示したストリーム作成装置で作成される分割ストリームおよび置換ストリームの一例を示す図である。 分割ストリームのピクチャの参照関係の一例を示す図である。 置換ストリームのピクチャの参照関係の一例を示す図である。 置換ストリームのデータ配置の一例を示す図である。 図１に示したストリーム配信システムによるストリーム配信の一例を示す図である。 ストリーム配信時のピクチャ置換の一例を示す図である。 図１に示したストリーム作成装置の動作の一例を示す図である。 図１に示したストリーム配信システムの動作の一例を示す図である。 ストリーム配信システムの別の実施形態を示す図である。

以下、実施形態を図面を用いて説明する。

図１は、ストリーム配信システムおよびストリーム作成装置の一実施形態を示している。図１の破線の矢印は、信号等の流れを示している。この実施形態のストリーム配信システムＤＳＹＳおよびストリーム作成装置ＤＧＥＮは、例えば、インターネットを介して、映像等のコンテンツを配信する。例えば、ストリーム配信システムＤＳＹＳおよびストリーム作成装置ＤＧＥＮは、ＭＰＥＧ−ＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）等の映像配信規格に対応している。

ストリーム作成装置ＤＧＥＮは、例えば、コンテンツのストリームＳＴＩＮを受け、ストリーム配信システムＤＳＹＳで使用される第１ストリームＳＴＤ（以下、分割ストリームＳＴＤとも称する）および置換ストリームＲＳＴを作成する。ストリームＳＴＩＮは、例えば、Ｈ．２６４／ＭＰＥＧ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（以下、Ｈ．２６４とも称する）に準拠した符号化方式で符号化されている。なお、ストリームＳＴＩＮは、Ｈ．２６４以外の符号化方式で符号化されていてもよい。

例えば、ストリーム作成装置ＤＧＥＮは、分割部ＤＩＶおよび置換ストリーム作成部ＲＳＧＥＮを有している。

分割部ＤＩＶは、コンテンツのストリームＳＴＩＮを時間方向に分割したストリーム毎に、ビットレートの異なる複数の分割ストリームＳＴＤを作成する。例えば、分割部ＤＩＶは、ビットレートを変更する際の切り替え点を境界にして、ストリームＳＴＩＮを時間方向に分割する。さらに、分割部ＤＩＶは、時間方向に分割した各ストリームを、配信時に選択される可能性のある全てのビットレート（図２の例では、１０Ｍｂｐｓ、６Ｍｂｐｓ、２Ｍｂｐｓ）に変換する。これにより、複数の分割ストリームＳＴＤが作成される。

なお、分割ストリームＳＴＤは、例えば、複数のＧＯＰ（Group of Picture）を跨いだ参照が許容されるオープンＧＯＰで符号化されている。ＧＯＰは、複数のピクチャを有するデータ単位であり、少なくとも１つのＩピクチャを有している。Ｉピクチャは、例えば、フレーム内予測のみを使用するピクチャである。

また、分割ストリームＳＴＤは、例えば、置換ストリーム作成部ＲＳＧＥＮおよびストリーム配信システムＤＳＹＳに出力される。なお、分割ストリームＳＴＤは、ネットワーク等を介してストリーム配信システムＤＳＹＳに転送されてもよいし、記憶媒体等を介してストリーム配信システムＤＳＹＳに転送されてもよい。

置換ストリーム作成部ＲＳＧＥＮは、置換ストリームＲＳＴを作成する作成部の一例である。例えば、置換ストリーム作成部ＲＳＧＥＮは、分割ストリームＳＴＤを分割部ＤＩＶから受ける。そして、置換ストリーム作成部ＲＳＧＥＮは、分割ストリームＳＴＤのビットレートの各切り替え点における切り替え点の前後の分割ストリームＳＴＤの組み合わせ毎に、置換ストリームＲＳＴを作成する。例えば、置換ストリームＲＳＴは、切り替え点の前後の分割ストリームＳＴＤのピクチャを双方向予測の参照画像として符号化した置換ピクチャを有している。

すなわち、置換ストリーム作成部ＲＳＧＥＮは、切り替え点の前後の分割ストリームＳＴＤの組み合わせ毎に、切り替え点の前後の分割ストリームＳＴＤのピクチャを双方向予測の参照画像として符号化した置換ピクチャを含む置換ストリームＲＳＴを作成する。したがって、置換ストリームＲＳＴは、切り替え点の前後の分割ストリームＳＴＤの組み合わせ数に応じた数だけ作成される。例えば、分割ストリームＳＴＤのビットレートがｎ個の場合、各切り替え点における置換ストリームＲＳＴの数は、ｎ×（ｎ−１）個である。以下、分割ストリームＳＴＤのビットレートの切り替え点を分割ストリームＳＴＤの切り替え点とも称する。

置換ストリームＲＳＴは、例えば、ストリーム配信システムＤＳＹＳに出力される。なお、置換ストリームＲＳＴは、ネットワーク等を介してストリーム配信システムＤＳＹＳに転送されてもよいし、記憶媒体等を介してストリーム配信システムＤＳＹＳに転送されてもよい。

ストリーム配信システムＤＳＹＳは、例えば、１つのコンテンツに対して複数のビットレートで符号化された分割ストリームＳＴＤと、置換ストリームＲＳＴと、ネットワークの帯域を示す帯域情報ＢＩＮＦとを受ける。そして、ストリーム配信システムＤＳＹＳは、分割ストリームＳＴＤおよび置換ストリームＲＳＴを使用して、ネットワークの帯域に応じた適切なビットレートのストリームＳＴＯを配信する。これにより、例えば、ストリーム作成装置ＤＧＥＮで受けたコンテンツのストリームＳＴＩＮは、ネットワークの帯域に応じたビットレートのストリームＳＴＯで配信される。

例えば、ストリーム配信システムＤＳＹＳは、分割ストリーム蓄積部ＭＥＭＤ、置換ストリーム蓄積部ＭＥＭＲ、分割ストリーム選択部ＳＥＬＤ、置換ストリーム選択部ＳＥＬＲ、置換部ＲＥＰおよび配信部ＯＰＴを有している。分割ストリーム蓄積部ＭＥＭＤは、例えば、ストリーム作成装置ＤＧＥＮの分割部ＤＩＶで作成された分割ストリームＳＴＤを蓄積する。また、分割ストリーム蓄積部ＭＥＭＤは、分割ストリーム選択部ＳＥＬＤで選択された分割ストリームＳＴＤを置換部ＲＥＰに出力する。

置換ストリーム蓄積部ＭＥＭＲは、分割ストリームＳＴＤのビットレートの切り替え点毎に作成された複数の置換ストリームＲＳＴを保持する第１保持部の一例である。例えば、置換ストリーム蓄積部ＭＥＭＲは、ストリーム作成装置ＤＧＥＮの置換ストリーム作成部ＲＳＧＥＮで作成された置換ストリームＲＳＴを蓄積する。また、置換ストリーム蓄積部ＭＥＭＲは、置換ストリーム選択部ＳＥＬＲで選択された置換ストリームＲＳＴを置換部ＲＥＰに出力する。

分割ストリーム選択部ＳＥＬＤは、配信する分割ストリームＳＴＤを、コンテンツのストリームＳＴＩＮを時間方向に分割したストリーム毎に作成されたビットレートの異なる複数の分割ストリームＳＴＤから選択する第１選択部の一例である。例えば、分割ストリーム選択部ＳＥＬＤは、ネットワークの帯域を示す帯域情報ＢＩＮＦを受ける。そして、分割ストリーム選択部ＳＥＬＤは、分割ストリームＳＴＤの切り替え点毎に、切り替え点後に配信する分割ストリームＳＴＤを、帯域情報ＢＩＮＦの示す帯域に基づいて選択する。

分割ストリーム選択部ＳＥＬＤの選択結果は、分割ストリーム蓄積部ＭＥＭＤおよび置換ストリーム選択部ＳＥＬＲに通知される。なお、分割ストリームＳＴＤの切り替え点前後で分割ストリームＳＴＤのビットレートが変化しない場合、分割ストリーム選択部ＳＥＬＤは、分割ストリームＳＴＤの一部を置換ストリームＲＳＴに置換する必要がない旨を、置換部ＲＥＰに通知する。

置換ストリーム選択部ＳＥＬＲは、分割ストリーム選択部ＳＥＬＤで選択された分割ストリームＳＴＤの一部を置換する置換ストリームＲＳＴを、複数の置換ストリームＲＳＴから選択する第２選択部の一例である。例えば、置換ストリーム選択部ＳＥＬＲは、分割ストリーム選択部ＳＥＬＤから受けた選択結果に基づいて、置換ストリームＲＳＴを選択する。

置換ストリーム選択部ＳＥＬＲで選択される置換ストリームＲＳＴの置換ピクチャは、例えば、切り替え前の分割ストリームＳＴＤのピクチャを前方向の参照画像とし、切り替え後の分割ストリームＳＴＤのピクチャを後方向の参照画像として、双方向予測で符号化されている。すなわち、置換ストリーム選択部ＳＥＬＲで選択される置換ストリームＲＳＴは、切り替え前の分割ストリームＳＴＤのピクチャおよび切り替え後の分割ストリームＳＴＤのピクチャを双方向予測の参照画像として符号化された置換ピクチャを有している。

なお、例えば、分割ストリーム選択部ＳＥＬＤで選択された分割ストリームＳＴＤは、切り替え後の分割ストリームＳＴＤに対応している。したがって、切り替え前の分割ストリームＳＴＤは、分割ストリーム選択部ＳＥＬＤで選択された分割ストリームＳＴＤに切り替わる前の分割ストリームＳＴＤに対応している。置換ストリーム選択部ＳＥＬＲの選択結果は、例えば、置換ストリーム蓄積部ＭＥＭＲに通知される。

このように、置換ストリーム選択部ＳＥＬＲは、切り替え前後の分割ストリームＳＴＤの組み合わせ情報を分割ストリーム選択部ＳＥＬＤから受ける。そして、置換ストリーム選択部ＳＥＬＲは、切り替え前後の分割ストリームＳＴＤの組み合わせ情報に基づいて、切り替え後の分割ストリームＳＴＤの一部（置換対象の部分）を置換する置換ストリームＲＳＴを選択する。また、置換ストリーム選択部ＳＥＬＲは、選択した置換ストリームＲＳＴの情報を置換ストリーム蓄積部ＭＥＭＲに出力する。

ここで、置換対象の部分は、分割ストリームＳＴＤの最初のＩピクチャより前のピクチャである。例えば、ＧＯＰがＩＢＢＰ構造の場合、置換対象の部分は、先頭および２番目のＢピクチャである。Ｂピクチャは、例えば、フレーム内予測や双方向のフレーム間予測（時間方向予測）を使用できるピクチャである。以下、置換ストリームＲＳＴの置換ピクチャを、他のＢピクチャと区別することなく、Ｂピクチャとも称する。

置換部ＲＥＰは、配信用のストリームＳＴＯを作成する置換部の一例である。例えば、置換部ＲＥＰは、分割ストリーム選択部ＳＥＬＤで選択された分割ストリームＳＴＤの一部を、置換ストリーム選択部ＳＥＬＲで選択された置換ストリームＲＳＴに置換する。これにより、ネットワークの帯域に応じた配信用のストリームＳＴＯが作成される。

すなわち、置換部ＲＥＰは、分割ストリーム蓄積部ＭＥＭＤから受けた分割ストリームＳＴＤの一部（例えば、最初のＩピクチャより前のＢピクチャ）を置換ストリーム蓄積部ＭＥＭＲから受けた置換ストリームＲＳＴで置換し、配信用のストリームＳＴＯを作成する。そして、置換部ＲＥＰは、分割ストリームＳＴＤの一部を置換ストリームＲＳＴで置換して作成したストリームＳＴＯを、配信部ＯＰＴに出力する。

なお、分割ストリームＳＴＤの切り替え点前後で分割ストリームＳＴＤのビットレートが変化しない場合、置換部ＲＥＰは、分割ストリーム蓄積部ＭＥＭＤから受けた分割ストリームＳＴＤを、配信用のストリームＳＴＯとして配信部ＯＰＴに出力する。この場合、例えば、置換部ＲＥＰは、分割ストリームＳＴＤに対する置換処理を実行しない。

配信部ＯＰＴは、置換部ＲＥＰから受けるストリームＳＴＯを配信する。このように、ストリーム配信システムＤＳＹＳは、ネットワークの帯域の変化に応じて、適切なビットレートのストリームＳＴＯを選択して配信する。

なお、ストリーム配信システムＤＳＹＳの構成は、この例に限定されない。例えば、分割ストリーム蓄積部ＭＥＭＤは、分割ストリーム選択部ＳＥＬＤに含まれてもよいし、置換部ＲＥＰに含まれてもよい。また、置換ストリーム蓄積部ＭＥＭＲは、置換ストリーム選択部ＳＥＬＲに含まれてもよいし、置換部ＲＥＰに含まれてもよい。

図２は、図１に示したストリーム作成装置ＤＧＥＮで作成される分割ストリームＳＴＤおよび置換ストリームＲＳＴの一例を示している。なお、図２は、配信する可能性のあるストリームＳＴＯのビットレートが１０Ｍｂｐｓ、６Ｍｂｐｓ、２Ｍｂｐｓの３つのときの分割ストリームＳＴＤおよび置換ストリームＲＳＴの一例を示している。また、図２の例では、配信するストリームのビットレートを変更する際の切り替え点ＳＷＰの数は、３つである。

例えば、分割部ＤＩＶは、配信する１つのコンテンツのストリームＳＴＩＮを時間方向に４つに分割し、分割した各ストリームを１０Ｍｂｐｓ、６Ｍｂｐｓ、２Ｍｂｐｓの３つのビットレートに変換する。これにより、１０Ｍｂｐｓの分割ストリームＳＴＤａ（ＳＴＤａ１−ＳＴＤａ４）、６Ｍｂｐｓの分割ストリームＳＴＤｂ（ＳＴＤｂ１−ＳＴＤａ４）および２Ｍｂｐｓの分割ストリームＳＴＤｃ（ＳＴＤｃ１−ＳＴＤｃ４）が作成される。

また、置換ストリーム作成部ＲＳＧＥＮは、分割ストリームＳＴＤの切り替え点ＳＷＰ（ＳＷＰ１−ＳＷＰ３）毎に、双方向予測で符号化されたＢピクチャ（置換ピクチャＢ）を含む６個の置換ストリームＲＳＴを作成する。例えば、置換ストリームＲＳＴａｂ（ＲＳＴａｂ２−ＲＳＴａｂ４）は、分割ストリームＳＴＤａから分割ストリームＳＴＤｂに切り替わる際に使用される。また、置換ストリームＲＳＴａｃ（ＲＳＴａｃ２−ＲＳＴａｃ４）は、分割ストリームＳＴＤａから分割ストリームＳＴＤｃに切り替わる際に使用される。

置換ストリームＲＳＴｂａ（ＲＳＴｂａ２−ＲＳＴｂａ４）は、分割ストリームＳＴＤｂから分割ストリームＳＴＤａに切り替わる際に使用される。置換ストリームＲＳＴｂｃ（ＲＳＴｂｃ２−ＲＳＴｂｃ４）は、分割ストリームＳＴＤｂから分割ストリームＳＴＤｃに切り替わる際に使用される。置換ストリームＲＳＴｃａ（ＲＳＴｃａ２−ＲＳＴｃａ４）は、分割ストリームＳＴＤｃから分割ストリームＳＴＤａに切り替わる際に使用される。また、置換ストリームＲＳＴｃｂ（ＲＳＴｃｂ２−ＲＳＴｃｂ４）は、分割ストリームＳＴＤｃから分割ストリームＳＴＤｂに切り替わる際に使用される。

なお、図２は、ＧＯＰがＩＢＢＰ構造のときの置換ストリームＲＳＴを示している。したがって、各置換ストリームＲＳＴは、２つのＢピクチャ（置換ピクチャＢ）を有している。例えば、ＢピクチャＢａｂ等の符号の末尾の２文字の最初の文字は、前方向の参照画像を含む分割ストリームＳＴＤの符号ＳＴＤの次の文字に対応している。また、ＢピクチャＢａｂ等の符号の末尾の２文字の最後の文字は、後方向の参照画像を含む分割ストリームＳＴＤの符号ＳＴＤの次の文字に対応している。

また、各置換ストリームＲＳＴ（ＲＳＴａｃ２等）の符号の末尾の数字は、置換対象の分割ストリームＳＴＤ（ＳＴＤａ２等）の符号の末尾の数字に対応している。例えば、置換ストリームＲＳＴａｂ２のＢピクチャＢａｂは、分割ストリームＳＴＤａ１のピクチャを前方向の参照画像とし、分割ストリームＳＴＤｂ２のピクチャを後方向の参照画像として、双方向予測で符号化されたＢピクチャである。また、例えば、置換ストリームＲＳＴｃａ４のＢピクチャＢｃａは、分割ストリームＳＴＤｃ３のピクチャを前方向の参照画像とし、分割ストリームＳＴＤａ４のピクチャを後方向の参照画像として、双方向予測で符号化されたＢピクチャである。

なお、ＧＯＰはＩＢＢＰ構造に限定されない。例えば、ＧＯＰはＩＢＰ構造でもよい。ＧＯＰがＩＢＰ構造の場合、各置換ストリームＲＳＴは、例えば、１つのＢピクチャを有する。

図３は、分割ストリームＳＴＤのピクチャの参照関係の一例を示している。なお、図３は、ＧＯＰがＩＢＢＰ構造のときのピクチャの参照関係の一例を示している。また、図３の括弧内に比較例を示している。比較例では、分割ストリームＳＴＤの境界は、クローズドＧＯＰで符号化されている。これに対し、この実施形態では、分割ストリームＳＴＤの境界は、オープンドＧＯＰで符号化されている。図３の各ピクチャの並び順は、画像の表示順に対応している。

図の符号Ｉは、フレーム内予測のみを使用するＩピクチャを示している。以下、ＩピクチャＩをＩピクチャとも称する。また、図の符号Ｐａは、フレーム内予測や前方向のフレーム間予測（時間方向予測）を使用できるＰピクチャを示している。図の符号Ｂａａは、フレーム内予測や双方向のフレーム間予測（時間方向予測）を使用できるＢピクチャを示している。図の符号Ｂ＿ａは、フレーム間予測（時間方向予測）が後方向のみに制限されたＢピクチャを示している。

１０Ｍｂｐｓの分割ストリームＳＴＤａでは、例えば、分割ストリームＳＴＤａ２の先頭の２枚のＢピクチャＢａａ（図の太線で示したＢピクチャＢａａ）は、分割ストリームＳＴＤａ１の最後のＰピクチャＰａを前方向の参照画像としている。そして、分割ストリームＳＴＤａ２の先頭の２枚のＢピクチャＢａａは、例えば、分割ストリームＳＴＤａ２の最初のＩピクチャを後方向の参照画像としている。

なお、分割ストリームＳＴＤａ２のＩピクチャの後のＢピクチャＢａａ（図では、Ｉピクチャの右側のＢピクチャＢａａ）は、例えば、分割ストリームＳＴＤａ２の最初のＩピクチャを前方向の参照画像としている。このように、切り替え点ＳＷＰ後の分割ストリームＳＴＤでは、最初のＩピクチャより後のピクチャは、切り替え点ＳＷＰ前の分割ストリームＳＴＤのピクチャを参照しない。また、切り替え点ＳＷＰ前の分割ストリームＳＴＤのピクチャは、切り替え点ＳＷＰ後の分割ストリームＳＴＤのピクチャを参照しない。例えば、分割ストリームＳＴＤａ１の最後のＢピクチャＢａａは、分割ストリームＳＴＤａ１の最後のＰピクチャＰａを後方向の参照画像としている。

他のビットレートの分割ストリームＳＴＤ（例えば、６Ｍｂｐｓの分割ストリームＳＴＤｂ）のピクチャの参照関係も、分割ストリームＳＴＤａと同様である。

分割ストリームＳＴＤの境界がクローズドＧＯＰで符号化されている比較例では、例えば、分割ストリームＳＴＤａ２の先頭の２枚のＢピクチャＢ＿ａ（図の太線で示したＢピクチャＢ＿ａ）は、分割ストリームＳＴＤａ１のピクチャを参照しない。例えば、分割ストリームＳＴＤａ２の先頭の２枚のＢピクチャＢ＿ａは、分割ストリームＳＴＤａ２の最初のＩピクチャを後方向の参照画像としている。すなわち、分割ストリームＳＴＤａ２の先頭の２枚のＢピクチャＢ＿ａは、前方向予測を使用せずに符号化される。

ここで、フレーム内予測のみ使用するＩピクチャと、フレーム内予測や時間方向予測を使用できるＰピクチャとでは、復号画像の質の差が大きくなる傾向にある。例えば、クローズドＧＯＰでは、分割ストリームＳＴＤａ２の先頭の２枚のＢピクチャＢ＿ａは、分割ストリームＳＴＤａ１のＰピクチャＰａを参照しない。このため、分割ストリームＳＴＤａ２の先頭の２枚のＢピクチャＢ＿ａの画質は、双方向予測で符号化されるＢピクチャ（例えば、オープンＧＯＰの分割ストリームＳＴＤａ２の先頭の２枚のＢピクチャＢａａ）の画質に比べて、Ｉピクチャの画質に近づく。このため、比較例では、分割ストリームＳＴＤの境界（例えば、切り替え点ＳＷＰ１）における画質の変化が大きくなるおそれがある。

これに対し、この実施形態では、分割ストリームＳＴＤの境界は、オープンドＧＯＰで符号化されている。例えば、この実施形態では、分割ストリームＳＴＤａ２の先頭の２枚のＢピクチャＢａａは、分割ストリームＳＴＤａ１のＰピクチャＰａおよび分割ストリームＳＴＤａ２のＩピクチャを参照している。このため、分割ストリームＳＴＤａ２の先頭の２枚のＢピクチャＢａａの画質は、Ｉピクチャのみを参照画像として後方向予測で符号化されたＢピクチャＢ＿ａの画質に比べて、ＰピクチャＰａの画質とＩピクチャの画質とを平均した画質に近づく。この結果、分割ストリームＳＴＤａの境界（例えば、切り替え点ＳＷＰ１）における画質は、分割ストリームＳＴＤａ１の最後のＰピクチャＰａから分割ストリームＳＴＤａ２の最初のＩピクチャまで滑らかに変化する。すなわち、この実施形態では、分割ストリームＳＴＤの境界における画質の変化を抑制できる。

図４は、置換ストリームＲＳＴのピクチャの参照関係の一例を示している。なお、図４は、図２に示した置換ストリームＲＳＴａｂ２、ＲＳＴａｃ２のピクチャの参照関係の一例を示している。各ピクチャの符号の意味は、図２や図３と同じである。例えば、図の符号Ｂａａ、Ｂｂｂ、Ｂｃｃ、Ｂａｂ、Ｂａｃは、フレーム内予測や双方向のフレーム間予測（時間方向予測）を使用できるＢピクチャを示している。

分割ストリームＳＴＤａ１から分割ストリームＳＴＤｂ２に切り替わる際に使用される置換ストリームＲＳＴａｂ２では、２枚のＢピクチャＢａｂは、分割ストリームＳＴＤａ１の最後のＰピクチャＰａを前方向の参照画像としている。そして、置換ストリームＲＳＴａｂ２の２枚のＢピクチャＢａｂは、分割ストリームＳＴＤｂ２の最初のＩピクチャを後方向の参照画像としている。

分割ストリームＳＴＤａ１から分割ストリームＳＴＤｃ２に切り替わる際に使用される置換ストリームＲＳＴａｃ２では、２枚のＢピクチャＢａｃは、分割ストリームＳＴＤａ１の最後のＰピクチャＰａを前方向の参照画像としている。そして、置換ストリームＲＳＴａｃ２の２枚のＢピクチャＢａｃは、分割ストリームＳＴＤｃ２の最初のＩピクチャを後方向の参照画像としている。

他の置換ストリームＲＳＴのピクチャの参照関係も、分割ストリームＳＴＤａと同様である。例えば、図２に示した各置換ストリームＲＳＴのＢピクチャは、Ｂピクチャの符号（Ｂａｂ等）の末尾の２文字の最初の文字に対応する分割ストリームＳＴＤの最後のＰピクチャを前方向の参照画像としている。また、各置換ストリームＲＳＴのＢピクチャは、Ｂピクチャの符号（Ｂａｂ等）の末尾の２文字の最後の文字に対応する分割ストリームＳＴＤの最初のＩピクチャを後方向の参照画像としている。

このように、置換ストリームＲＳＴのＢピクチャは、ビットレートの異なる２つの分割ストリームＳＴＤのそれぞれのピクチャを双方向予測の参照画像として符号化されている。したがって、図１に示した置換ストリーム作成部ＲＳＧＥＮは、例えば、分割部ＤＩＶから受けた分割ストリームＳＴＤを復号してから置換ストリームＲＳＴのＢピクチャを符号化する。

図５は、置換ストリームＲＳＴのデータ配置の一例を示している。なお、図５は、５つのビットレートの分割ストリームＳＴＤが作成されているときの置換ストリームＲＳＴのデータ配置の一例を示している。例えば、分割ストリームＳＴＤｅと異なるビットレートの分割ストリームＳＴＤから分割ストリームＳＴＤｅに切り替わる際に使用される置換ストリームＲＳＴは、置換ストリームＲＳＴａｅ、ＲＳＴｂｅ、ＲＳＴｃｅ、ＲＳＴｄｅから選択される。

図の斜線部分は、Ｂピクチャのデータを示し、黒塗り部分は、多重化データおよび音声データを示している。また、網掛け部分は、スタッフィングデータを示している。多重化データは、例えば、ヘッダデータ、字幕データ、用途を問わないプライベートデータ等である。以下、多重化データおよび音声データのいずれでもないデータ（ピクチャのデータおよびスタッフィングデータ）をビデオデータとも称する。

例えば、置換ストリームＲＳＴは、Ｂピクチャ（置換ピクチャ）のデータ、多重化データ、音声データおよびスタッフィングデータを有している。各置換ストリームＲＳＴでは、ビデオデータ部分の情報量（データ量）が置換対象のビデオデータ部分の情報量（データ量）と同じになるようにスタッフィングデータが挿入される。例えば、分割ストリームＳＴＤｅ、置換ストリームＲＳＴａｅ、ＲＳＴｂｅ、ＲＳＴｃｅ、ＲＳＴｄｅの先頭のＢピクチャのストリームは、ビデオデータ部分の情報量が互いに同じになるように作成される。また、例えば、分割ストリームＳＴＤｅ、置換ストリームＲＳＴａｅ、ＲＳＴｂｅ、ＲＳＴｃｅ、ＲＳＴｄｅの２番目のＢピクチャのストリームは、ビデオデータ部分の情報量が互いに同じになるように作成される。

すなわち、置換ストリーム作成部ＲＳＧＥＮは、置換ストリームＲＳＴａｅ、ＲＳＴｂｅ、ＲＳＴｃｅ、ＲＳＴｄｅの先頭のＢピクチャのストリームのビデオデータ部分の情報量を、分割ストリームＳＴＤｅの先頭のＢピクチャのストリームのビデオデータ部分の情報量と同じになるように調整する。同様に、置換ストリーム作成部ＲＳＧＥＮは、置換ストリームＲＳＴａｅ、ＲＳＴｂｅ、ＲＳＴｃｅ、ＲＳＴｄｅの２番目のＢピクチャのストリームのビデオデータ部分の情報量を、分割ストリームＳＴＤｅの２番目のＢピクチャのストリームのビデオデータ部分の情報量と同じになるように調整する。

このように、置換ストリーム作成部ＲＳＧＥＮは、置換ストリームＲＳＴの情報量を、切り替え点ＳＷＰの後の分割ストリームＳＴＤのうちの置換対象の部分の情報量と同じにする。また、各置換ストリームＲＳＴの多重化データおよび音声データは、置換対象のＢピクチャのストリームの多重化データおよび音声データと同じ位置関係になるように、配置される。これにより、この実施形態では、再多重化の処理を実行することなく、分割ストリームＳＴＤｅの先頭および２番目のＢピクチャのストリームを置換ストリームＲＳＴに置換してストリームＳＴＯを作成できる。

なお、置換ストリームＲＳＴのデータ配置は、この例に限定されない。例えば、置換ストリームＲＳＴは、多重化データおよび音声データが省かれて作成されてもよい。すなわち、置換ストリームＲＳＴは、ビデオデータ（ピクチャのデータおよびスタッフィングデータ）のみを有してもよい。この場合、例えば、図１に示した置換部ＲＥＰは、分割ストリームＳＴＤのビデオデータを、分割ストリームＳＴＤの多重化データおよび音声データの位置を変えずに、置換ストリームＲＳＴのビデオデータに置換する。

あるいは、置換ストリームＲＳＴは、多重化データ、音声データおよびＢピクチャ（置換ピクチャ）のデータのうち、Ｂピクチャ（置換ピクチャ）のデータのみを有してもよい。この場合、例えば、置換部ＲＥＰは、分割ストリームＳＴＤの多重化データおよび音声データの位置を変えずに、分割ストリームＳＴＤのビデオデータを置換ストリームＲＳＴのピクチャのデータに置換する。なお、置換ストリームＲＳＴのピクチャのデータの情報量より分割ストリームＳＴＤのビデオデータの情報量が多い部分には、例えば、置換部ＲＥＰは、スタッフィングデータを挿入する。

多重化データおよび音声データが省かれた置換ストリームＲＳＴを使用する場合、多重化データおよび音声データを含む置換ストリームＲＳＴを使用する場合に比べて、置換ストリーム蓄積部ＭＥＭＲの容量を低減できる。なお、多重化データおよび音声データを含む置換ストリームＲＳＴを使用する場合、多重化データおよび音声データが省かれた置換ストリームＲＳＴを使用する場合に比べて、置換処理を簡易にできる。

また、置換ストリームＲＳＴのビデオデータ部分の情報量は、分割ストリームＳＴＤのうちの置換対象の部分と異なる情報量でもよい。この場合、例えば、置換部ＲＥＰは、分割ストリームＳＴＤｅの先頭および２番目のＢピクチャのストリームを置換ストリームＲＳＴに置換したときに、再多重化の処理を実行してストリームＳＴＯを作成する。

図６は、図１に示したストリーム配信システムＤＳＹＳによるストリーム配信の一例を示している。なお、図６の例では、配信するコンテンツに基づいて作成された分割ストリームＳＴＤおよび置換ストリームＲＳＴは、図２に示した分割ストリームＳＴＤおよび置換ストリームＲＳＴである。ストリームＳＴＯの括弧内の分割ストリームＳＴＤおよび置換ストリームＲＳＴは、ストリームＳＴＯを配信するために選択された分割ストリームＳＴＤおよび置換ストリームＲＳＴを示している。

例えば、ストリーム配信システムＤＳＹＳは、ネットワークの帯域が１０ＭｂｐｓのストリームＳＴＯを配信するのに十分な帯域であることを示す帯域情報ＢＩＮＦを配信開始前に受ける。これにより、ストリーム配信システムＤＳＹＳは、先ず、１０Ｍｂｐｓの分割ストリームＳＴＤａ１を、ストリームＳＴＯａ１として配信する。

時刻ｔ１０（図２に示した切り替え点ＳＷＰ１に対応する時刻）では、ストリーム配信システムＤＳＹＳは、ネットワークの帯域の低下に応じて、配信するストリームＳＴＯを６ＭｂｐｓのストリームＳＴＯｂ２に切り替える。これにより、例えば、時刻ｔ１０では、ストリームＳＴＯのビットレートが１０Ｍｂｐｓから６Ｍｂｐｓに切り替わる。なお、ストリームＳＴＯｂ２は、例えば、６Ｍｂｐｓの分割ストリームＳＴＤｂ２の先頭の２枚のＢピクチャが置換ストリームＲＳＴａｂ２に置換されたストリームである。

時刻ｔ２０（図２に示した切り替え点ＳＷＰ２に対応する時刻）では、ストリーム配信システムＤＳＹＳは、ネットワークの帯域のさらなる低下に応じて、配信するストリームＳＴＯを２ＭｂｐｓのストリームＳＴＯｃ３に切り替える。これにより、例えば、時刻ｔ２０では、ストリームＳＴＯのビットレートが６Ｍｂｐｓから２Ｍｂｐｓに切り替わる。なお、ストリームＳＴＯｃ３は、例えば、２Ｍｂｐｓの分割ストリームＳＴＤｃ３の先頭の２枚のＢピクチャが置換ストリームＲＳＴｂｃ３に置換されたストリームである。

時刻ｔ３０（図２に示した切り替え点ＳＷＰ３に対応する時刻）では、ストリーム配信システムＤＳＹＳは、ネットワークの帯域の上昇に応じて、配信するストリームＳＴＯを６ＭｂｐｓのストリームＳＴＯｂ４に切り替える。これにより、例えば、時刻ｔ３０では、ストリームＳＴＯのビットレートが２Ｍｂｐｓから６Ｍｂｐｓに切り替わる。なお、ストリームＳＴＯｂ４は、例えば、６Ｍｂｐｓの分割ストリームＳＴＤｂ４の先頭の２枚のＢピクチャが置換ストリームＲＳＴｃｂ４に置換されたストリームである。

このように、ストリーム配信システムＤＳＹＳは、配信するストリームＳＴＯのビットレートを、ネットワークの帯域の変化に応じて、１０Ｍｂｐｓ、６Ｍｂｐｓ、２Ｍｂｐｓの３つのビットレートから選択する。これにより、この実施形態では、ネットワークの帯域に応じた適切なビットレートのストリームＳＴＯを配信できる。また、ストリーム配信システムＤＳＹＳは、配信するストリームＳＴＯのビットレートを切り替える際に、切り替え後の分割ストリームＳＴＤの先頭の２枚のＢピクチャを置換ストリームＲＳＴに置換する。これにより、この実施形態では、ストリーム切り替え時の画質の変化を抑制できる。

図７は、ストリーム配信時のピクチャ置換の一例を示している。なお、図７は、ストリームＳＴＯのビットレートが１０Ｍｂｐｓから６Ｍｂｐｓに切り替わる際のピクチャ置換の一例を示している。図７の各ピクチャの並び順は、画像の表示順に対応している。

ピクチャ置換前の６Ｍｂｐｓの分割ストリームＳＴＤｂ２では、先頭の２枚のＢピクチャＢｂｂ（図の太線で示したＢピクチャＢｂｂ）は、分割ストリームＳＴＤｂ１のピクチャを前方向の参照画像として符号化されている。したがって、ピクチャ置換を実行せずに分割ストリームＳＴＤｂ２を配信した場合、分割ストリームＳＴＤｂ２の先頭の２枚のＢピクチャＢｂｂの参照画像が符号化時と復号化時とで異なる。この場合、復号画像が劣化するおそれがある。

このため、ストリーム配信システムＤＳＹＳは、分割ストリームＳＴＤｂ２において、先頭の２枚のＢピクチャＢｂｂを含む部分のストリームＲＳＴｂｂ２を、切り替え前後の分割ストリームＳＴＤの組み合わせから決定される置換ストリームＲＳＴａｂ２で置換する。これにより、配信用のストリームＳＴＯｂ２が作成される。すなわち、ストリーム配信システムＤＳＹＳは、分割ストリームＳＴＤｂ２の先頭の２枚のＢピクチャＢｂｂのストリームＲＳＴｂｂ２を置換ストリームＲＳＴａｂ２に置換して、ストリームＳＴＯｂ２を作成する。

例えば、ピクチャ置換後の６ＭｂｐｓのストリームＳＴＯｂ２では、先頭の２枚のＢピクチャＢａｂ（図の太線で示したＢピクチャＢａｂ）は、ストリームＳＴＯａ１の最後のＰピクチャＰａを前方向の参照画像としている。そして、ストリームＳＴＯｂ２の先頭の２枚のＢピクチャＢａｂは、例えば、ストリームＳＴＯｂ２の最初のＩピクチャを後方向の参照画像としている。

このように、ピクチャ置換が実行されたストリームＳＴＯｂ２では、先頭の２枚のＢピクチャＢａｂの参照画像は、符号化時と復号化時とで同じになる。このため、この実施形態では、ストリームＳＴＯのビットレートを切り替えたときに復号画像が劣化することを防止できる。また、この実施形態では、ストリームＳＴＯｂ２の先頭の２枚のＢピクチャＢａｂが双方向予測で符号化されているため、ストリームＳＴＯａ１の最後のＰピクチャＰａからストリームＳＴＯｂ２の最初のＩピクチャまで画質が滑らかに変化する。すなわち、この実施形態では、ストリーム切り替え時の画質の変化を抑制できる。

図８は、図１に示したストリーム作成装置ＤＧＥＮの動作の一例を示している。なお、図８に示した動作は、ストリーム作成装置の動作方法の一実施形態である。

ステップＳ１００では、分割部ＤＩＶは、コンテンツを分割して、分割ストリームＳＴＤを作成する。例えば、分割部ＤＩＶは、配信するコンテンツのストリームＳＴＩＮを、ストリーム作成装置ＤＧＥＮの外部から受ける。そして、分割部ＤＩＶは、ストリームのビットレートの切り替え点ＳＷＰを境界にして、コンテンツのストリームＳＴＩＮを分割する。そして、分割部ＤＩＶは、分割した各ストリームを、配信時のビットレートを選択する際の選択候補に含まれる全てのビットレートに変換する。これにより、ストリームのビットレートの切り替え点ＳＷＰ毎に、複数の分割ストリームＳＴＤが作成される。

なお、分割ストリームＳＴＤの境界は、オープンＧＯＰで符号化される。ステップＳ１００で作成された分割ストリームＳＴＤは、例えば、置換ストリーム作成部ＲＳＧＥＮおよびストリーム配信システムＤＳＹＳの分割ストリーム蓄積部ＭＥＭＤに転送される。例えば、置換ストリーム作成部ＲＳＧＥＮは、分割部ＤＩＶから転送される分割ストリームＳＴＤを、置換ストリームＲＳＴの作成に使用している間保持する。また、例えば、分割ストリーム蓄積部ＭＥＭＤは、分割部ＤＩＶから転送される全ての分割ストリームＳＴＤを蓄積する。

ステップＳ１１０では、置換ストリーム作成部ＲＳＧＥＮは、切り替え点ＳＷＰの前後の分割ストリームＳＴＤのピクチャを双方向予測の参照画像として符号化した置換ピクチャを含む置換ストリームＲＳＴを作成する。例えば、置換ストリーム作成部ＲＳＧＥＮは、ストリームのビットレートの切り替え点ＳＷＰ毎に、切り替え点ＳＷＰの前後の分割ストリームＳＴＤの組み合わせ数に応じた数の置換ストリームＲＳＴを作成する。

すなわち、置換ストリーム作成部ＲＳＧＥＮは、配信する可能性のある全ての分割ストリームＳＴＤの組み合わせに対応する置換ストリームＲＳＴを作成する。ステップＳ１１０で作成された置換ストリームＲＳＴは、例えば、ストリーム配信システムＤＳＹＳの置換ストリーム蓄積部ＭＥＭＲに転送される。

このように、オープンＧＯＰで符号化された分割ストリームＳＴＤと、分割ストリームＳＴＤの最初のＩピクチャより前のピクチャを置換するための置換ストリームＲＳＴとが作成される。分割ストリームＳＴＤおよび置換ストリームＲＳＴを使用して配信用のストリームＳＴＯを作成することにより、ストリーム切り替え時の画質の変化が抑制される。したがって、この実施形態では、ストリーム切り替え時の画質の変化を抑制できる。

図９は、図１に示したストリーム配信システムＤＳＹＳの動作の一例を示している。なお、図９に示した動作は、ストリーム配信システムの動作方法の一実施形態である。

ステップＳ２００では、分割ストリーム選択部ＳＥＬＤは、配信する分割ストリームＳＴＤを帯域情報ＢＩＮＦに基づいて選択する。選択結果は、例えば、分割ストリーム蓄積部ＭＥＭＤおよび置換ストリーム選択部ＳＥＬＲに通知される。例えば、分割ストリーム蓄積部ＭＥＭＤは、分割ストリーム選択部ＳＥＬＤから受ける選択結果に従って、分割ストリームＳＴＤを選択する。そして、分割ストリーム蓄積部ＭＥＭＤは、選択した分割ストリームＳＴＤを置換部ＲＥＰに出力する。すなわち、分割ストリーム蓄積部ＭＥＭＤは、分割ストリーム選択部ＳＥＬＤで決定した分割ストリームＳＴＤを、置換部ＲＥＰに出力する。

ステップＳ２１０では、分割ストリーム選択部ＳＥＬＤは、置換が必要か否かを判定する。例えば、分割ストリーム選択部ＳＥＬＤは、分割ストリームＳＴＤの切り替え点ＳＷＰの前後でストリームＳＴＯのビットレートを切り替えるか否かを判定する。ストリームＳＴＯのビットレートを切り替える場合、置換が必要であると判定される。また、ストリームＳＴＯのビットレートが切り替え点ＳＷＰの前後で変化しない場合、置換は必要でないと判定される。

置換が必要のとき（ステップＳ２１０のＹｅｓ）、ストリーム配信システムＤＳＹＳの動作は、処理Ｓ２２０に移る。一方、置換が必要でないとき（ステップＳ２１０のＮｏ）、ストリーム配信システムＤＳＹＳの動作は、処理Ｓ２３０に移る。なお、置換が必要でない旨は、例えば、置換ストリーム選択部ＳＥＬＲおよび置換部ＲＥＰに通知される。

ステップＳ２２０では、置換部ＲＥＰは、ステップＳ２００で選択された分割ストリームＳＴＤの一部（置換対象の部分）を置換ストリームＲＳＴに置換する。例えば、置換ストリーム選択部ＳＥＬＲは、分割ストリーム選択部ＳＥＬＤから受ける選択結果に基づいて、置換ストリームＲＳＴを選択する。選択結果は、例えば、置換ストリーム蓄積部ＭＥＭＲに通知される。

例えば、置換ストリーム蓄積部ＭＥＭＲは、置換ストリーム選択部ＳＥＬＲから受ける選択結果に従って、置換ストリームＲＳＴを選択する。そして、置換ストリーム蓄積部ＭＥＭＲは、選択した置換ストリームＲＳＴを置換部ＲＥＰに出力する。また、置換部ＲＥＰは、分割ストリーム蓄積部ＭＥＭＤから転送された分割ストリームＳＴＤの一部（置換対象の部分）を、置換ストリーム蓄積部ＭＥＭＲから転送された置換ストリームＲＳＴに置換する。

すなわち、置換が必要な場合、置換ストリーム選択部ＳＥＬＲは、切り替え点ＳＷＰの前後の分割ストリームＳＴＤの組み合わせに基づいて、置換ストリームＲＳＴを選択する。そして、置換部ＲＥＰは、分割ストリーム選択部ＳＥＬＤで選択された分割ストリームＳＴＤの一部（置換対象の部分）を、置換ストリーム選択部ＳＥＬＲで選択された置換ストリームＲＳＴに置換する。これにより、配信用のストリームＳＴＯが作成される。そして、置換部ＲＳＴは、作成したストリームＳＴＯを配信部ＯＰＴに出力する。

ステップＳ２３０では、配信部ＯＰＴは、置換部ＲＥＰから受けるストリームＳＴＯを配信する。例えば、置換が必要な場合、配信部ＯＰＴは、ステップＳ２２０で作成されたストリームＳＴＯを配信する。また、置換が必要でない場合、置換部ＲＥＰは、ステップＳ２００で選択された分割ストリームＳＴＤを、ストリームＳＴＯとして配信部ＯＰＴに出力する。すなわち、置換が必要でない場合、配信部ＯＰＴは、ステップＳ２００で選択された分割ストリームＳＴＤを、置換部ＲＥＰを介して受ける。したがって、置換が必要でない場合、配信部ＯＰＴは、ステップＳ２００で選択された分割ストリームＳＴＤをストリームＳＴＯとして配信する。

ステップＳ２４０では、ストリーム配信システムＤＳＹＳは、コンテンツの配信が完了したか否かを判定する。コンテンツの配信が完了していないとき（ステップＳ２４０のＮｏ）、ストリーム配信システムＤＳＹＳの動作は、ステップＳ２００に戻る。一方、コンテンツの配信が完了したとき（ステップＳ２４０のＹｅｓ）、ストリーム配信システムＤＳＹＳによるストリーム配信は終了する。

このように、ストリーム配信システムＤＳＹＳは、ストリームＳＴＯのビットレートを切り替える場合、分割ストリームＳＴＤの一部を置換ストリームＲＳＴで置換して、切り替え後のストリームＳＴＯを作成する。これにより、この実施形態では、ストリームＳＴＯのビットレートを切り替えたときにも、符号化時と復号化時とで参照画像を同じにできる。このため、この実施形態では、ストリームＳＴＯのビットレートを切り替えたときに復号画像が劣化することを防止できる。

以上、図１から図９に示した実施形態では、ストリーム作成部ＤＧＥＮは、分割部ＤＩＶおよび置換ストリーム作成部ＲＳＧＥＮを有している。置換ストリーム作成部ＲＳＧＥＮは、ストリームＳＴＯのビットレートの切り替え点ＳＷＰ毎に、切り替え点ＳＷＰの前後の分割ストリームＳＴＤのピクチャを双方向予測の参照画像として符号化した置換ピクチャを含む置換ストリームＲＳＴを作成する。例えば、置換ストリームＲＳＴは、切り替え点ＳＷＰの前後の分割ストリームＳＴＤの組み合わせ数に応じた数だけ作成される。

また、この実施形態のストリーム配信システムＤＳＹＳは、分割ストリーム選択部ＳＥＬＤ、分割ストリーム蓄積部ＭＥＭＤ、置換ストリーム選択部ＳＥＬＲ、置換ストリーム蓄積部ＭＥＭＲ、置換部ＲＥＰおよび配信部ＯＰＴを有している。分割ストリーム選択部ＳＥＬＤは、互いに異なるビットレートの分割ストリームＳＴＤから配信する分割ストリームＳＴＤを選択する。また、置換ストリーム蓄積部ＭＥＭＲは、ストリームＳＴＯのビットレートの切り替え点ＳＷＰ毎に作成された複数の置換ストリームＲＳＴを保持する。置換ストリーム選択部ＳＥＬＲは、ストリームＳＴＯのビットレートを切り替える場合、切り替え点ＳＷＰの前後の分割ストリームＳＴＤのピクチャを双方向予測の参照画像として符号化された置換ピクチャを含む置換ストリームを選択する。置換部ＲＥＰは、分割ストリーム選択部ＳＥＬＤで選択された分割ストリームＳＴＤの一部を置換ストリーム選択部ＳＥＬＲで選択された置換ストリームＲＳＴに置換し、配信用のストリームＳＴＯを作成する。

これにより、この実施形態では、配信用のストリームＳＴＯのピクチャの参照画像を、符号化時と復号化時とで同じにできる。したがって、この実施形態では、ストリームＳＴＯのビットレートを切り替えたときに復号画像が劣化することを防止できる。また、この実施形態では、ストリームＳＴＯの最初のＩピクチャより前のピクチャが双方向予測で符号化されている。このため、この実施形態では、切り替え点ＳＷＰの前後において、切り替え点ＳＷＰ前のストリームＳＴＯの最後のＰピクチャから切り替え点ＳＷＰ後のストリームＳＴＯの最初のＩピクチャまで画質が滑らかに変化する。すなわち、この実施形態では、ストリーム切り替え時の画質の変化を抑制できる。

図１０は、ストリーム配信システムの別の実施形態を示す図である。図１０の破線の矢印は、信号等の流れを示している。この実施形態のストリーム配信システムＤＳＹＳ２では、図１に示したストリーム配信システムＤＳＹＳに分割部ＤＩＶおよび置換ストリーム作成部ＲＳＧＥＮ２が追加されている。ストリーム配信システムＤＳＹＳ２のその他の構成は、図１に示したストリーム配信システムＤＳＹＳと同様である。図１から図９で説明した要素と同様の要素については、同様の符号を付し、これ等については、詳細な説明を省略する。

ストリーム配信システムＤＳＹＳ２は、例えば、分割部ＤＩＶ、置換ストリーム作成部ＲＳＧＥＮ２、分割ストリーム蓄積部ＭＥＭＤ、置換ストリーム蓄積部ＭＥＭＲ、分割ストリーム選択部ＳＥＬＤ、置換ストリーム選択部ＳＥＬＲ、置換部ＲＥＰおよび配信部ＯＰＴを有している。

分割部ＤＩＶは、分割ストリームＳＴＤの出力先を除いて、図１に示した分割部ＤＩＶと同様である。例えば、分割部ＤＩＶは、配信するコンテンツのストリームＳＴＩＮを受け、分割ストリームＳＴＤを分割ストリーム蓄積部ＭＥＭＤに出力する。分割部ＤＩＶで作成される分割ストリームＳＴＤは、図１から図９で説明した実施形態の分割ストリームＳＴＤと同様である。

置換ストリーム作成部ＲＳＧＥＮ２は、分割ストリーム蓄積部ＭＥＭＤから分割ストリームＳＴＤを受けることを除いて、図１に示した置換ストリーム作成部ＲＳＧＥＮと同様である。例えば、置換ストリーム作成部ＲＳＧＥＮ２は、分割ストリーム蓄積部ＭＥＭＤから分割ストリームＳＴＤを受け、分割ストリームＳＴＤの切り替え点ＳＷＰ毎に置換ストリームＲＳＴを作成する。

置換ストリーム作成部ＲＳＧＥＮ２で作成される置換ストリームＲＳＴは、図１から図９で説明した実施形態の置換ストリームＲＳＴと同様である。例えば、置換ストリームＲＳＴは、切り替え点ＳＷＰの前後の分割ストリームＳＴＤのピクチャを双方向予測の参照画像として符号化した置換ピクチャを有している。また、置換ストリームＲＳＴは、例えば、切り替え点ＳＷＰの前後の分割ストリームＳＴＤの組み合わせ数に応じた数だけ作成される。

ストリーム配信システムＤＳＹＳ２の動作は、例えば、図８および図９で説明した動作と同様である。例えば、分割部ＤＩＶおよび置換ストリーム作成部ＲＳＧＥＮ２の動作は、置換ストリーム作成部ＲＳＧＥＮを置換ストリーム作成部ＲＳＧＥＮ２に読み替えることにより図８で説明される。また、分割ストリーム蓄積部ＭＥＭＤ、置換ストリーム蓄積部ＭＥＭＲ、分割ストリーム選択部ＳＥＬＤ、置換ストリーム選択部ＳＥＬＲ、置換部ＲＥＰおよび配信部ＯＰＴの動作は、例えば、図９で説明される。

なお、ストリーム配信システムＤＳＹＳ２の構成は、この例に限定されない。例えば、ストリーム配信システムＤＳＹＳ２は、置換ストリーム作成部ＲＳＧＥＮ２の変わりに図１に示した置換ストリーム作成部ＲＳＧＥＮを有してもよい。すなわち、図１に示したストリーム配信システムＤＳＹＳにストリーム作成装置ＤＧＥＮが含まれてもよい。

以上、図１０で説明した実施形態においても、図１から図９で説明した実施形態と同様の効果を得ることができる。例えば、この実施形態では、ストリーム切り替え時の画質の変化を抑制できる。さらに、この実施形態では、ストリーム配信システムＤＳＹＳ２は、置換ストリーム作成部ＲＳＧＥＮ２を有している。これにより、置換ストリーム作成部ＲＳＧＥＮ２は、置換ストリームＲＳＴを作成する際に、分割ストリーム蓄積部ＭＥＭＤに保持されている分割ストリームＳＴＤを使用できる。したがって、この実施形態では、置換ストリーム作成部ＲＳＧＥＮ２内の記憶部の容量を削減できる。

以上の実施形態において説明した発明を整理して、付記として開示する。
（付記１）
配信する第１ストリームを、コンテンツのストリームを時間方向に分割したストリーム毎に作成されたビットレートの異なる複数の第１ストリームから選択する第１選択部と、
前記第１ストリームのビットレートの切り替え点毎に作成された複数の置換ストリームを保持する第１保持部と、
前記第１選択部で選択された前記第１ストリームに切り替わる前の前記第１ストリームのピクチャを前方向の参照画像とし、前記第１選択部で選択された前記第１ストリームのピクチャを後方向の参照画像として、双方向予測で符号化された置換ピクチャを含む置換ストリームを、前記複数の置換ストリームから選択する第２選択部と、
前記第１選択部で選択された前記第１ストリームの一部を前記第２選択部で選択された前記置換ストリームに置換し、配信用のストリームを作成する置換部と
を備えていることを特徴とするストリーム配信システム。
（付記２）
付記１記載のストリーム配信システムにおいて、
前記切り替え点の前後の前記第１ストリームの組み合わせ毎に、前記切り替え点の前後の前記第１ストリームのピクチャを双方向予測の参照画像として符号化した前記置換ピクチャを含む前記置換ストリームを作成する作成部を備えていることを特徴とするストリーム配信システム。
（付記３）
付記１または付記２に記載のストリーム配信システムにおいて、
前記置換ストリームの情報量は、前記第１ストリームの前記一部の情報量と同じであることを特徴とするストリーム配信システム。
（付記４）
付記１または付記２に記載のストリーム配信システムにおいて、
前記置換ストリームは、多重化データ、音声データおよび前記置換ピクチャのうち、前記置換ピクチャのみを含んでいることを特徴とするストリーム配信システム。
（付記５）
付記１ないし付記３のいずれか１項に記載のストリーム配信システムにおいて、
前記置換ストリームは、多重化データ、音声データおよび前記置換ピクチャを含んでいることを特徴とするストリーム配信システム。
（付記６）
コンテンツのストリームを時間方向に分割したストリーム毎に作成されたビットレートの異なる複数の第１ストリームを受け、前記第１ストリームのビットレートの各切り替え点における前記切り替え点の前後の前記第１ストリームの組み合わせ毎に、前記切り替え点の前後の前記第１ストリームのピクチャを双方向予測の参照画像として符号化した置換ピクチャを含む置換ストリームを作成する作成部を備えていることを特徴とするストリーム作成装置。
（付記７）
付記６記載のストリーム作成装置において、
前記作成部は、前記置換ストリームの情報量を、前記切り替え点の後の前記第１ストリームのうちの置換対象の部分の情報量と同じにすることを特徴とするストリーム作成装置。
（付記８）
付記６に記載のストリーム作成装置において、
前記置換ストリームは、多重化データ、音声データおよび前記置換ピクチャのうち、前記置換ピクチャのみを含んでいることを特徴とするストリーム作成装置。
（付記９）
付記６または付記７に記載のストリーム作成装置において、
前記置換ストリームは、多重化データ、音声データおよび前記置換ピクチャを含んでいることを特徴とするストリーム作成装置。
（付記１０）
配信する第１ストリームを、コンテンツのストリームを時間方向に分割したストリーム毎に作成されたビットレートの異なる複数の第１ストリームから選択し、
前記第１ストリームのビットレートの切り替え点毎に作成された複数の置換ストリームを保持し、
選択された前記第１ストリームに切り替わる前の前記第１ストリームのピクチャを前方向の参照画像とし、前記選択された前記第１ストリームのピクチャを後方向の参照画像として、双方向予測で符号化された置換ピクチャを含む置換ストリームを、前記複数の置換ストリームから選択し、
前記選択された前記第１ストリームの一部を選択された前記置換ストリームに置換し、配信用のストリームを作成すること
を特徴とするストリーム配信方法。
（付記１１）
付記１０記載のストリーム配信方法において、
前記切り替え点の前後の前記第１ストリームの組み合わせ毎に、前記切り替え点の前後の前記第１ストリームのピクチャを双方向予測の参照画像として符号化した前記置換ピクチャを含む前記置換ストリームを作成することを特徴とするストリーム配信方法。
（付記１２）
付記１０または付記１１に記載のストリーム配信方法において、
前記置換ストリームの情報量は、前記第１ストリームの前記一部の情報量と同じであることを特徴とするストリーム配信方法。
（付記１３）
付記１０または付記１１に記載のストリーム配信方法において、
前記置換ストリームは、多重化データ、音声データおよび前記置換ピクチャのうち、前記置換ピクチャのみを含んでいることを特徴とするストリーム配信方法。
（付記１４）
付記１０ないし付記１２のいずれか１項に記載のストリーム配信方法において、
前記置換ストリームは、多重化データ、音声データおよび前記置換ピクチャを含んでいることを特徴とするストリーム配信方法。
（付記１５）
コンテンツのストリームを時間方向に分割したストリーム毎に作成されたビットレートの異なる複数の第１ストリームを受け、前記第１ストリームのビットレートの各切り替え点における前記切り替え点の前後の前記第１ストリームの組み合わせ毎に、前記切り替え点の前後の前記第１ストリームのピクチャを双方向予測の参照画像として符号化した置換ピクチャを含む置換ストリームを作成することを特徴とするストリーム作成方法。
（付記１６）
付記１５記載のストリーム作成方法において、
前記置換ストリームの情報量を、前記切り替え点の後の前記第１ストリームのうちの置換対象の部分の情報量と同じにすることを特徴とするストリーム作成方法。
（付記１７）
付記１５記載のストリーム作成方法において、
前記置換ストリームは、多重化データ、音声データおよび前記置換ピクチャのうち、前記置換ピクチャのみを含んでいることを特徴とするストリーム作成方法。
（付記１８）
付記１５または付記１６に記載のストリーム作成方法において、
前記置換ストリームは、多重化データ、音声データおよび前記置換ピクチャを含んでいることを特徴とするストリーム作成方法。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。

ＤＩＶ‥分割部；ＤＳＹＳ、ＤＳＹＳ２‥ストリーム配信システム；ＭＥＭＤ‥分割ストリーム蓄積部；ＭＥＭＲ‥置換ストリーム蓄積部；ＯＰＴ‥配信部；ＲＥＰ‥置換部；ＲＳＧＥＮ、ＲＳＧＥＮ２‥置換ストリーム作成部；ＳＥＬＤ‥分割ストリーム選択部；ＳＥＬＲ‥置換ストリーム選択部

Claims (8)

1. 配信する第１ストリームを、コンテンツのストリームを時間方向に分割したストリーム毎に作成されたビットレートの異なる複数の第１ストリームから選択する第１選択部と、
   前記第１ストリームのビットレートの切り替え点毎に作成された複数の置換ストリームを保持する第１保持部と、
   前記第１選択部で選択された前記第１ストリームに切り替わる前の前記第１ストリームのピクチャを前方向の参照画像とし、前記第１選択部で選択された前記第１ストリームのピクチャを後方向の参照画像として、双方向予測で符号化された置換ピクチャを含む置換ストリームを、前記複数の置換ストリームから選択する第２選択部と、
   前記第１選択部で選択された前記第１ストリームの一部を前記第２選択部で選択された前記置換ストリームに置換し、配信用のストリームを作成する置換部と
   を備えていることを特徴とするストリーム配信システム。
2. 請求項１記載のストリーム配信システムにおいて、
   前記切り替え点の前後の前記第１ストリームの組み合わせ毎に、前記切り替え点の前後の前記第１ストリームのピクチャを双方向予測の参照画像として符号化した前記置換ピクチャを含む前記置換ストリームを作成する作成部を備えていることを特徴とするストリーム配信システム。
3. 請求項１または請求項２に記載のストリーム配信システムにおいて、
   前記置換ストリームの情報量は、前記第１ストリームの前記一部の情報量と同じであることを特徴とするストリーム配信システム。
4. 請求項１または請求項２に記載のストリーム配信システムにおいて、
   前記置換ストリームは、多重化データ、音声データおよび前記置換ピクチャのうち、前記置換ピクチャのみを含んでいることを特徴とするストリーム配信システム。
5. 請求項１ないし請求項３のいずれか１項に記載のストリーム配信システムにおいて、
   前記置換ストリームは、多重化データ、音声データおよび前記置換ピクチャを含んでいることを特徴とするストリーム配信システム。
6. コンテンツのストリームを時間方向に分割したストリーム毎に作成されたビットレートの異なる複数の第１ストリームを受け、前記第１ストリームのビットレートの各切り替え点における前記切り替え点の前後の前記第１ストリームの組み合わせ毎に、前記切り替え点の前後の前記第１ストリームのピクチャを双方向予測の参照画像として符号化した置換ピクチャを含む置換ストリームを作成する作成部を備えていることを特徴とするストリーム作成装置。
7. 配信する第１ストリームを、コンテンツのストリームを時間方向に分割したストリーム毎に作成されたビットレートの異なる複数の第１ストリームから選択し、
   前記第１ストリームのビットレートの切り替え点毎に作成された複数の置換ストリームを保持し、
   選択された前記第１ストリームに切り替わる前の前記第１ストリームのピクチャを前方向の参照画像とし、前記選択された前記第１ストリームのピクチャを後方向の参照画像として、双方向予測で符号化された置換ピクチャを含む置換ストリームを、前記複数の置換ストリームから選択し、
   前記選択された前記第１ストリームの一部を選択された前記置換ストリームに置換し、配信用のストリームを作成すること
   を特徴とするストリーム配信方法。
8. コンテンツのストリームを時間方向に分割したストリーム毎に作成されたビットレートの異なる複数の第１ストリームを受け、前記第１ストリームのビットレートの各切り替え点における前記切り替え点の前後の前記第１ストリームの組み合わせ毎に、前記切り替え点の前後の前記第１ストリームのピクチャを双方向予測の参照画像として符号化した置換ピクチャを含む置換ストリームを作成することを特徴とするストリーム作成方法。

Images