JP2013219514A

JP2013219514A - 画像パケット送信装置、画像パケット受信装置、画像伝送システム、画像伝送方法および画像伝送プログラム

Info

Publication number: JP2013219514A
Application number: JP2012087753A
Authority: JP
Inventors: Toshihiro Takashima; 稔弘高島
Original assignee: Sumitomo Electric Industries Ltd; Sumitomo Electric Networks Inc
Current assignee: Sumitomo Electric Industries Ltd; Sumitomo Electric Networks Inc
Priority date: 2012-04-06
Filing date: 2012-04-06
Publication date: 2013-10-24

Abstract

【課題】画像データを含む複数のパケットを伝送する構成において、受信側の装置が、画像データを詳細に解析することなく、当該複数のパケット間の対応関係を取得する。
【解決手段】局側装置２０は、基本画像を示す基本画像データを含む基本パケットを生成し、また、基本画像との相関を有し、かつ基本画像と同じタイミングで再生すべき関連画像を、基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを生成するためのＲＴＰパケット作成部２５と、基本パケットおよび関連パケットを送信するための送信部２６とを備える。そして、ＲＴＰパケット作成部２５は、それぞれ基本パケットおよび関連パケットにおける基本画像データおよび関連画像データ用以外のフィールドに、基本パケットおよび関連パケットを互いに対応付けるための対応情報を挿入する。
【選択図】図３

Description

本発明は、画像パケット送信装置、画像パケット受信装置、画像伝送システム、画像伝送方法および画像伝送プログラムに関し、特に、画像データを含む複数のパケットを伝送する構成において、受信側の装置が、画像データを詳細に解析することなく、当該複数のパケット間の対応関係を取得することが可能な画像パケット送信装置、画像パケット受信装置、画像伝送システム、画像伝送方法および画像伝送プログラムに関する。

非特許文献１では、同じタイミングで表示すべき複数の番組画像を扱う、Ｈ．２６４／ＡＶＣにおけるＭＶＣ（Multi Video Coding）規格およびＳＶＣ（Scalable Video Coding）規格について記載されている。ＭＶＣ規格は、たとえば、高い臨場感を得られる３Ｄ（Three Dimensions）映像における左目用の番組画像および右目用の番組画像のように、同じタイミングで表示すべき複数の番組画像の符号化およびフォーマットを定めている。

また、ＳＶＣ規格は、解像度または品質が異なるが、同じタイミングで表示すべき複数の番組画像、および隣接するフレームにおける複数の番組画像の符号化およびフォーマットを定めている。この規格により、デコードした番組画像を再符号化することなく、当該番組画像の品質または解像度を向上させたり、低下させたりすることが可能となる。

ＭＶＣ規格およびＳＶＣ規格において扱われる、同じタイミングで表示すべき複数の番組画像は、互いによく似ている。たとえば、同じタイミングで表示すべき２枚の番組画像において、２枚目の番組画像を符号化する際に、１枚目の番組画像をベースとして予測符号化等の符号化処理を行うことにより、高い圧縮率で当該２枚目の番組画像を符号化することができる。これにより、２枚目の番組画像は、１枚目の番組画像を符号化したデータに、差分のデータを追加することにより復号することができる。Ｈ．２６４／ＡＶＣでは、上記１枚目の番組画像を符号化したデータおよび上記差分のデータは、それぞれＮＡＬ（Network Abstraction Layer）ユニットに含められる。また、上記各データ用の複数のＮＡＬユニットは、同じタイミングで処理されるべきであるので、同じＡＵ（Access Unit）に含められる。

また、送信側の装置は、ＭＶＣ規格またはＳＶＣ規格における、同じタイミングで表示すべき複数の番組画像、すなわち同じＡＵに含まれる番組画像をたとえばネットワーク経由で送信する場合、上記複数の番組画像を別々のセッションで受信側の装置へ送信する。

たとえば、送信側の装置は、３Ｄの番組画像を受信側の装置へ送信する場合、同じＡＵに含まれる左目用の番組画像および右目用の番組画像を、別々のセッションＩＤ、すなわちポート番号で受信側の装置へ送信する。受信側の装置は、３Ｄの番組画像の再生を行わない場合、たとえば上記左目用の番組画像に対応するポート番号で送られてくる番組画像のみを受信する。これにより、受信側の装置は、必要の無い上記右目用の番組画像の受信処理を行わなくてもよい。一方、受信側の装置は、３Ｄの番組画像の再生を行う場合、上記左目用の番組画像に対応するポート番号で送られてくる番組画像に加えて、上記右目用の番組画像に対応するポート番号で送られてくる番組画像も受信する。これにより、受信側の装置は、３Ｄの番組画像を再生することができる。

Ｈ．２６４／ＡＶＣ教科書、インプレスＲ＆Ｄ、改訂三版、２００８年１２月２６日

非特許文献１に記載の技術において、たとえば同じＡＵに含まれる複数のＮＡＬユニットは、同じタイミングでデコードすることが好ましい。一方、送信側の装置は、たとえばインターネット等のネットワーク経由で同じＡＵに含まれる複数のＮＡＬユニットを受信側の装置へ送信する場合、別々のセッションで受信側の装置へ上記複数のＮＡＬユニットを送信する場合がある。また、上記複数のＮＡＬユニットは、番組画像の情報を伝送するためのユニットであるので、ネットワーク経由で上記複数のＮＡＬユニットを送信する際には、ネットワークにおいて情報の伝送が可能なパケットに上記複数のＮＡＬユニットを含める必要がある。

従って、送信側の装置は、セッション毎に、ＮＡＬユニットを含むパケットを更に他のパケットに含めたり、上記ＮＡＬユニットを含むパケットを複数の部分に分割して複数のパケットに含めたりして、上記ＮＡＬユニットを含む複数のパケットを受信側の装置へ送信することになる。

これらの場合、受信側の装置は、ネットワーク経由で複数のＮＡＬユニットを含む複数のパケットを受信する際に、セッション毎に受信した複数のパケットに含まれる上記複数のＮＡＬユニットの一部または全部を、どのＡＵに含めるべきであるかが分からなくなってしまう。このため、上記複数のパケットから上記複数のＮＡＬユニットの一部または全部を取り出すことにより、上記複数のＮＡＬユニットの一部または全部に対応するＡＵを詳細に解析する必要があった。

この発明は、上述の課題を解決するためになされたもので、その目的は、画像データを含む複数のパケットを伝送する構成において、受信側の装置が、画像データを詳細に解析することなく、当該複数のパケット間の対応関係を取得することが可能な画像パケット送信装置、画像パケット受信装置、画像伝送システム、画像伝送方法および画像伝送プログラムを提供することである。

（１）上記課題を解決するために、この発明のある局面に係わる画像パケット送信装置は、基本画像を示す基本画像データを含む基本パケットを生成するための基本パケット生成部と、上記基本パケットを送信するための基本パケット送信部と、上記基本画像との相関を有し、かつ上記基本画像と同じタイミングで再生すべき関連画像を、上記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを生成するための関連パケット生成部と、上記関連パケットを送信するための関連パケット送信部とを備え、上記基本パケット生成部および上記関連パケット生成部は、それぞれ上記基本パケットおよび上記関連パケットにおける上記基本画像データおよび上記関連画像データ用以外のフィールドに、上記基本パケットおよび上記関連パケットを互いに対応付けるための対応情報を挿入する。

このような構成により、受信側の装置は、受信した基本パケットまたは関連パケットに含まれる基本画像データまたは関連画像データを詳細に解析することなく、対応情報に基づいて、当該基本パケットまたは関連パケット間の対応関係を取得することができる。

たとえば、画像パケット送信装置が、同じタイミングで処理すべき基本画像データおよび関連画像データを、それぞれ基本パケットおよび関連パケットに含めて、基本画像用のセッションおよび関連画像用のセッションにより送信する。そして、受信側の装置は、当該基本パケットおよび当該関連パケットを、画像パケット送信装置から、それぞれ基本画像用のセッションおよび関連画像用のセッションにより受信する。この場合においても、受信側の装置は、当該基本パケットおよび当該関連パケットに含まれる対応情報を参照することにより、当該基本パケットおよび当該関連パケットにおいて、どれが同じタイミングで処理すべき画像データを含むパケットであるかを選別することができる。

（２）好ましくは、上記基本パケット生成部は、上記基本画像データをペイロードに含む基本パケットを生成し、上記関連パケット生成部は、上記関連画像データをペイロードに含む関連パケットを生成し、上記基本パケット生成部および上記関連パケット生成部は、それぞれ上記基本パケットおよび上記関連パケットのヘッダに上記対応情報を挿入する。

このように、基本パケットおよび関連パケットのヘッダに挿入された対応情報を参照することにより、上記各パケットのペイロードに含まれる画像データを詳細に解析することなく、上記各パケット間の対応関係を取得することができる。

（３）より好ましくは、上記基本パケット生成部および上記関連パケット生成部は、それぞれ上記基本パケットおよび上記関連パケットのヘッダにおけるシーケンス番号フィールドに、同じシーケンス番号を上記対応情報として挿入する。

このように、基本パケットおよび関連パケットのヘッダにおけるシーケンス番号を参照し、当該シーケンス番号が同じであることを確認することにより、同じタイミングで処理されるべき画像データを含む基本パケットおよび関連パケットを、容易に対応付けることができる。

また、シーケンス番号フィールドを利用するので、画像パケット送信装置および受信側の装置は、既存のフォーマットを用いて、対応情報が含まれる基本パケットおよび関連パケットを送受信することができる。

（４）より好ましくは、上記基本パケット生成部は、上記基本画像データを分割してペイロードに含めた複数の基本パケットを生成し、上記関連パケット生成部は、上記関連画像データを分割してペイロードに含めた複数の関連パケットを生成し、上記基本パケット生成部および上記関連パケット生成部は、それぞれ上記基本パケットおよび上記関連パケットのヘッダにおけるシーケンス番号フィールドの上位ビット部分に、同じシーケンス番号を上記対応情報として挿入する。

このような構成により、同じタイミングで処理されるべき画像データを含む基本パケットおよび関連パケットを、容易に対応付けることができる。

また、たとえば、画像パケット送信装置が１つのパケットを複数のパケットに分割して受信側の装置へ送信する際に、シーケンス番号フィールドにおいて対応情報に用いない下位ビットを、当該複数のパケットの順序を特定するために利用することができる。

（５）より好ましくは、上記基本パケット生成部および上記関連パケット生成部は、それぞれ上記基本パケットおよび上記関連パケットのヘッダにおける時刻情報フィールドに、同じ値の時刻情報を上記対応情報として挿入する。

このように、基本パケットおよび関連パケットのヘッダにおける時刻情報を参照し、当該時刻情報が同じであることを確認することにより、同じタイミングで処理されるべき画像データを含む基本パケットおよび関連パケットを、容易に対応付けることができる。

また、時刻情報フィールドを利用するので、画像パケット送信装置および受信側の装置は、既存のフォーマットを用いて、対応情報が含まれる基本パケットおよび関連パケットを送受信することができる。

（６）好ましくは、上記基本パケット生成部および上記関連パケット生成部は、それぞれ上記基本パケットおよび上記関連パケットのペイロードにおける先頭部分に上記対応情報を挿入する。

このように、基本パケットおよび関連パケットのペイロードにおける先頭部分に挿入された対応情報を参照することにより、上記各パケットのペイロードに含まれる画像データを詳細に解析することなく、上記各パケット間の対応関係を取得することができる。

（７）また、この発明の別の局面に係わる画像パケット受信装置は、基本画像を示す基本画像データを含む基本パケットを受信するための基本パケット受信部と、上記基本画像との相関を有し、かつ上記基本画像と同じタイミングで再生すべき関連画像を、上記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを受信するための関連パケット受信部と、上記基本パケットおよび対応の上記関連パケットに基づいて再生処理を行うための再生処理部とを備え、上記再生処理部は、それぞれ上記基本パケットおよび上記関連パケットにおける上記基本画像データおよび上記関連画像データ用以外のフィールドに含まれる、上記基本パケットおよび上記関連パケットを互いに対応付けるための対応情報に基づいて、上記基本パケットおよび上記関連パケットを対応付ける。

このような構成により、画像パケット受信装置は、受信した基本パケットまたは関連パケットに含まれる基本画像データまたは関連画像データを詳細に解析することなく、対応情報に基づいて、当該基本パケットまたは関連パケット間の対応関係を取得することができる。

たとえば、送信側の装置が、同じタイミングで処理すべき基本画像データおよび関連画像データを、それぞれ基本パケットおよび関連パケットに含めて、基本画像用のセッションおよび関連画像用のセッションにより送信する。そして、画像パケット受信装置は、当該基本パケットおよび当該関連パケットを、送信側の装置から、それぞれ基本画像用のセッションおよび関連画像用のセッションにより受信する。この場合においても、画像パケット受信装置は、当該基本パケットおよび当該関連パケットに含まれる対応情報を参照することにより、当該基本パケットおよび当該関連パケットにおいて、どれが同じタイミングで処理すべき画像データを含むパケットであるかを選別することができる。

これにより、画像パケット受信装置は、基本パケットまたは関連パケットから同じタイミングで処理すべき基本画像データおよび関連画像データを取得できる。そして、画像パケット受信装置は、取得した基本画像データおよび関連画像データを、それぞれデコーダにおいてデコードすることにより、基本画像または関連画像を同じタイミングで適切に再生することができる。

（８）また、この発明のある局面に係わる画像伝送システムは、画像パケット送信装置と、画像パケット受信装置とを備える画像伝送システムであって、上記画像パケット送信装置は、基本画像を示す基本画像データを含む基本パケットを生成して送信し、かつ、上記基本画像との相関を有し、かつ上記基本画像と同じタイミングで再生すべき関連画像を、上記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを生成して送信し、上記画像パケット送信装置は、それぞれ上記基本パケットおよび上記関連パケットにおける上記基本画像データおよび上記関連画像データ用以外のフィールドに、上記基本パケットおよび上記関連パケットを互いに対応付けるための対応情報を挿入し、画像パケット受信装置は、上記基本パケットおよび上記関連パケットを受信し、上記基本画像データおよび上記関連画像データに含まれる上記対応情報に基づいて、上記基本パケットおよび上記関連パケットを対応付け、上記基本パケットおよび対応の上記関連パケットに基づいて再生処理を行なう。

たとえば、画像パケット送信装置が、同じタイミングで処理すべき基本画像データおよび関連画像データを、それぞれ基本パケットおよび関連パケットに含めて、基本画像用のセッションおよび関連画像用のセッションにより送信する。そして、画像パケット受信装置は、当該基本パケットおよび当該関連パケットを、画像パケット送信装置から、それぞれ基本画像用のセッションおよび関連画像用のセッションにより受信する。この場合においても、画像パケット受信装置は、当該基本パケットおよび当該関連パケットに含まれる対応情報を参照することにより、当該基本パケットおよび当該関連パケットにおいて、どれが同じタイミングで処理すべき画像データを含むパケットであるかを選別することができる。

（９）また、この発明のある局面に係わる画像伝送方法は、基本画像を示す基本画像データを含む基本パケットを生成するステップと、上記基本画像との相関を有し、かつ上記基本画像と同じタイミングで再生すべき関連画像を、上記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを生成するステップと、それぞれ上記基本パケットおよび上記関連パケットにおける上記基本画像データおよび上記関連画像データ用以外のフィールドに、上記基本パケットおよび上記関連パケットを互いに対応付けるための対応情報を挿入するステップと、上記基本パケットを送信するステップと、上記関連パケットを送信するステップとを含む。

（１０）また、この発明の別の局面に係わる画像伝送方法は、基本画像を示す基本画像データを含む基本パケットを受信するステップと、上記基本画像との相関を有し、かつ上記基本画像と同じタイミングで再生すべき関連画像を、上記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを受信するステップと、上記基本パケットおよび対応の上記関連パケットに基づいて再生処理を行うステップと、それぞれ上記基本パケットおよび上記関連パケットにおける上記基本画像データおよび上記関連画像データ用以外のフィールドに含まれる、上記基本パケットおよび上記関連パケットを互いに対応付けるための対応情報に基づいて、上記基本パケットおよび上記関連パケットを対応付けるステップとを含む。

（１１）また、この発明のある局面に係わる画像伝送プログラムは、画像パケット送信装置において用いられる画像伝送プログラムであって、コンピュータに、基本画像を示す基本画像データを含む基本パケットを生成するステップと、上記基本画像との相関を有し、かつ上記基本画像と同じタイミングで再生すべき関連画像を、上記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを生成するステップと、それぞれ上記基本パケットおよび上記関連パケットにおける上記基本画像データおよび上記関連画像データ用以外のフィールドに、上記基本パケットおよび上記関連パケットを互いに対応付けるための対応情報を挿入するステップと、上記基本パケットを送信するステップと、上記関連パケットを送信するステップとを実行させるためのプログラムである。

（１２）また、この発明の別の局面に係わる画像伝送プログラムは、画像パケット受信装置において用いられる画像伝送プログラムであって、コンピュータに、基本画像を示す基本画像データを含む基本パケットを受信するステップと、上記基本画像との相関を有し、かつ上記基本画像と同じタイミングで再生すべき関連画像を、上記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを受信するステップと、上記基本パケットおよび対応の上記関連パケットに基づいて再生処理を行うステップと、それぞれ上記基本パケットおよび上記関連パケットにおける上記基本画像データおよび上記関連画像データ用以外のフィールドに含まれる、上記基本パケットおよび上記関連パケットを互いに対応付けるための対応情報に基づいて、上記基本パケットおよび上記関連パケットを対応付けるステップとを実行させるためのプログラムである。

本発明によれば、画像データを含む複数のパケットを伝送する構成において、受信側の装置が、画像データを詳細に解析することなく、当該複数のパケット間の対応関係を取得することが可能な画像パケット送信装置、画像パケット受信装置、画像伝送システム、画像伝送方法および画像伝送プログラムを提供することである。

本発明の実施の形態に係る画像伝送システムの構成を示す図である。本発明の実施の形態に係る局側装置および画像パケット受信装置において処理されるパケットまたはユニットの一例を示す図である。本発明の実施の形態に係る局側装置の構成を示す図である。本発明の実施の形態に係る局側装置から画像パケット受信装置へ送信されるパケットが作成される過程の一例を示す図である。本発明の実施の形態に係るＲＴＰパケットのＲＴＰヘッダおよびＲＴＰ拡張ヘッダの構造の一例を示す図である。本発明の実施の形態に係る画像パケット受信装置の構成を示す図である。本発明の実施の形態に係る局側装置において各レイヤの番組画像の送信処理を行う際の動作手順を定めたフローチャートである。本発明の実施の形態に係る画像パケット受信装置において各レイヤの番組画像の受信処理を行う際の動作手順を定めたフローチャートである。本発明の実施の形態に係る局側装置においてＲＴＰパケットのタイムスタンプのフィールドにＡＵ情報が含まれるＲＴＰパケットの作成処理を行う際の動作手順を定めたフローチャートである。本発明の実施の形態に係る局側装置においてＲＴＰパケットのシーケンス番号のフィールドにＡＵ情報が含まれるＲＴＰパケットの作成処理を行う際の動作手順を定めたフローチャートである。本発明の実施の形態に係る局側装置においてＲＴＰパケットのＲＴＰ拡張ヘッダにＡＵ情報が含まれるＲＴＰパケットの作成処理を行う際の動作手順を定めたフローチャートである。本発明の実施の形態に係る局側装置においてＲＴＰパケットのＲＴＰペイロードの先頭部分にＡＵ情報が含まれるＲＴＰパケットの作成処理を行う際の動作手順を定めたフローチャートである。

以下、本発明の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。

［画像伝送システムの構成］
図１は、本発明の実施の形態に係る画像伝送システムの構成を示す図である。

図１を参照して、画像伝送システム１０は、局側装置（画像パケット送信装置）２０と、画像パケット受信装置４０とを備える。画像パケット受信装置４０は、ネットワーク１１を介して局側装置２０と接続される。

ネットワーク１１は、たとえばインターネットであり、局側装置２０は、たとえば画像の情報を含むパケットを、ＩＰ（Internet Protocol）によりネットワーク１１経由で画像パケット受信装置４０へ送信することにより、画像の情報を伝送する。

また、画像パケット受信装置４０は、たとえば画像の情報を含むパケットを、ＩＰによりネットワーク１１経由で局側装置２０から受信し、受信した上記パケットを処理することにより、画像の情報を取得する。

局側装置２０による画像の情報の送信処理、および画像パケット受信装置４０による画像の情報の受信処理の詳細については、後述する。

［ＭＶＣ規格またはＳＶＣ規格により符号化された画像の情報］
たとえば、局側装置２０により送信される番組画像の情報は、Ｈ．２６４／ＡＶＣにおける、ＭＶＣ規格またはＳＶＣ規格により符号化された番組画像の情報である。

ＭＶＣ規格により符号化された番組画像の情報は、たとえば３Ｄ（Three Dimensions）の番組画像の情報であり、具体的には、視聴者が視聴時において立体感を体感できるように用意した右目用の番組画像および左目用の番組画像である。

符号化された右目用の番組画像および左目用の番組画像は、たとえばビューＩＤ（view_id）により識別され、また、撮影を行ったカメラの位置は異なるが同じ時刻において撮影されたのでよく似ており、相関が高い。

番組画像を符号化するためのエンコーダは、たとえば右目用の番組画像および左目用の番組画像を符号化する際には、まず左目用の番組画像を、ビューＩＤが０の基本レイヤにおけるベースビュー、すなわち基本画像として符号化する。以下、この符号化後のデータを、基本画像データと称する。

そして、エンコーダは、右目用の番組画像を、左目用の番組画像に基づいた予測符号化により、ビューＩＤが１の拡張レイヤにおけるエンハンスビュー、すなわち関連画像として符号化する。以下、この符号化後のデータを、関連画像データと称する。

すなわち、右目用の番組画像を符号化した関連画像データは、差分のデータであり、左目用の番組画像を符号化した基本画像データに当該差分のデータを追加することにより、右目用の番組画像を作成することができる。

これにより、エンコーダは、左目用の番組画像および右目用の番組画像を高い圧縮率により符号化することができる。なお、ベースビュー１枚に対するエンハンスビューの枚数は、１枚とは限らず、２枚以上でも構わない。

また、ＳＶＣ規格は、空間スケーラビリティ、ＳＮＲ（Signal to Noise Ratio）スケーラビリティまたは時間スケーラビリティに応じて、粗い情報から細かい情報へと、番組画像を階層的に符号化する際のフォーマットを定める。

空間スケーラビリティの例として、エンコーダは、たとえば、ある番組画像を符号化する際に、上記番組画像を異なる解像度または異なるＳＮＲを持つ複数の番組画像に符号化する。解像度が異なる複数の番組画像は、たとえばディペンデンシーＩＤ（depandency_id）であるＤＩＤにより識別される。

また、ＳＮＲスケーラビリティの例として、ＳＮＲが異なる複数の番組画像は、たとえばクオリティＩＤ（quality_id）であるＱＩＤにより識別される。

また、時間スケーラビリティの例として、エンコーダは、たとえば同じカメラで異なる時刻に撮影された複数の番組画像を符号化する。上記複数の番組画像は、たとえばテンポラルＩＤ（temporal_id）であるＴＩＤにより識別される。

符号化された番組画像は、たとえば（ＤＩＤ，ＱＩＤ，ＴＩＤ）により特定することができる。

たとえば、エンコーダは、基本レイヤにおけるベースビュー、すなわち基本画像として、所定の時刻において撮影された番組画像を、モバイル用の３２０×１８０の解像度を持つ画像に符号化する。この場合、基本画像は、（０，０，０）の番組画像と表現される。

また、たとえば、エンコーダは、拡張レイヤにおけるエンハンスビュー、すなわち関連画像として、上記番組画像を、ＳＤ（Standard Definition）用の７２０×４８０の解像度を持つ画像に符号化する。

この際、エンコーダは、ＳＮＲが異なる複数のＳＤの画像を作成してもよい。たとえば、エンコーダは、拡張レイヤにおけるエンハンスビュー１として、上記番組画像を、（０，０，０）の番組画像をベースとする予測符号化等の符号化処理により、ＳＮＲが悪く、かつＳＤ用の解像度を持つ画像に符号化する。この場合、エンハンスビュー１は、（１，０，０）の番組画像と表現される。

また、たとえば、エンコーダは、拡張レイヤにおけるエンハンスビュー２として、上記番組画像を、（１，０，０）の番組画像をベースとする予測符号化等の符号化処理により、ＳＮＲがよく、かつＳＤ用の解像度を持つ画像に符号化する。この場合、エンハンスビュー２は、（１，１，０）の番組画像と表現される。

更に、たとえば、エンコーダは、拡張レイヤにおけるエンハンスビュー３として、上記番組画像を、（１，１，０）の番組画像をベースとする予測符号化等の符号化処理により、ＨＤ（High Definition）用の１９２０×１０８０の解像度を持つ画像に符号化する。この場合、エンハンスビュー３は、（２，０，０）の番組画像と表現される。

すなわち、ベースビューの番組画像を基に、階層的に予測符号化を繰り返すことによって、エンハンスビュー１、エンハンスビュー２およびエンハンスビュー３が作成される。また、ベースビュー、エンハンスビュー１、エンハンスビュー２およびエンハンスビュー３は、元は同じ画像であるので互いによく似ているため、高い圧縮率により符号化することができる。なお、ベースビュー１枚に対するエンハンスビューの枚数は、３枚とは限らず、何枚でも構わない。

［局側装置および画像パケット受信装置において処理されるパケットまたはユニット］
図２は、本発明の実施の形態に係る局側装置および画像パケット受信装置において処理されるパケットまたはユニットの一例を示す図である。

図２を参照して、局側装置２０および画像パケット受信装置４０において、たとえば（Ａ）に示すＮＡＬユニット、（Ｂ）に示すＰＥＳ（Packetized Elementary Stream）パケット、（Ｃ）に示すＴＳ（Transport Stream）パケット、（Ｄ）に示すＲＴＰ（Realtime Transport Protocol）パケット、（Ｅ）に示すＲＴＰ拡張ヘッダを含むＲＴＰパケット、（Ｆ）に示すＵＤＰ（User Datagram Protocol）／ＲＴＰパケット、（Ｇ）に示すＩＰ／ＵＤＰ／ＲＴＰパケットが処理される。

図２の（Ａ）に示すＮＡＬユニットは、ＮＡＬヘッダおよびＮＡＬペイロードを含む。ＮＡＬペイロードは、たとえばベースビューまたはエンハンスビューを符号化した基本画像データまたは関連画像データであるＲＢＳＰ（Raw Byte Sequence Payload）を含む。

たとえば、ＮＡＬペイロードにおいてＭＶＣ規格により符号化された番組画像の情報が含まれる場合、図２の（Ａ）に示すように、ＮＡＬヘッダはビューＩＤを含む。また、たとえば、ＮＡＬペイロードにおいてＳＶＣ規格により符号化された番組画像の情報が含まれる場合、ＮＡＬヘッダは、ディペンデンシーＩＤ、クオリティＩＤおよびテンポラルＩＤを含む。

図２の（Ｂ）に示すＰＥＳパケットは、ＰＥＳヘッダおよびＰＥＳペイロードを含む。ＰＥＳペイロードは、たとえば１または複数のＮＡＬユニットを含む。当該ＮＡＬユニットは、たとえば同じ時刻において表示すべき同一レイヤの番組画像の情報を含む。すなわち、レイヤの異なる番組画像を含むＮＡＬユニットは、異なるＰＥＳに含まれる。

また、ＰＥＳヘッダは、たとえばペイロードに含まれるＮＡＬユニットの番組画像を表示するタイミングを示すＰＴＳ（Presentation Time Stamp）、当該ＮＡＬユニットのＲＢＳＰをデコードするタイミングを示すＤＴＳ（Decode Time Stamp）およびストリームＩＤを含む。

図２の（Ｃ）に示すＴＳパケットは、１８８バイトの大きさを持ち、ＴＳヘッダおよびＴＳペイロードを含む。ＴＳペイロードは、たとえばＰＥＳを分割した一部を含む。また、ＴＳヘッダは、たとえばペイロードに含まれる一部のＰＥＳに対応したＰＩＤ（Packet Identifier）を含む。

図２の（Ｄ）に示すＲＴＰパケットは、ＲＴＰヘッダおよびＲＴＰペイロードを含む。ＲＴＰペイロードは、たとえば複数のＴＳパケットを含む。また、ＲＴＰヘッダは、シーケンス番号およびタイムスタンプを含む。

また、図２の（Ｅ）に示すように、ＲＴＰヘッダおよびＲＴＰペイロードの間においてＲＴＰ拡張ヘッダを設定してもよい。また、ＲＴＰパケットにおけるＲＴＰ拡張ヘッダは、ＲＴＰヘッダに含められてもよい。

図２の（Ｆ）に示すＵＤＰパケットは、ＵＤＰヘッダおよびＵＤＰペイロードを含む。ＵＤＰペイロードは、たとえばＲＴＰパケットを含む。また、ＵＤＰヘッダは、ポート番号を含む。なお、上記のように、ＵＤＰパケットのペイロードにおいてＲＴＰパケットを含むパケットを、以下ＵＤＰ／ＲＴＰパケットと称する。

図２の（Ｇ）に示すＩＰパケットは、ＩＰヘッダおよびＩＰペイロードを含む。ＩＰペイロードは、たとえばＵＤＰ／ＲＴＰパケットを含む。また、ＩＰヘッダは、ＩＰアドレスを含む。なお、上記のように、ＩＰパケットのペイロードにおいてＵＤＰ／ＲＴＰパケットを含むパケットを、以下ＩＰ／ＵＤＰ／ＲＴＰパケットと称する。

［ＩＰ／ＵＤＰ／ＲＴＰパケットにより画像の情報を送信する際の問題点］
ところで、局側装置２０は、たとえば画像の情報含むＩＰ／ＵＤＰ／ＲＴＰパケットを、ネットワーク１１経由で画像パケット受信装置４０へ送信する。画像パケット受信装置４０は、上記ＩＰ／ＵＤＰ／ＲＴＰパケットを受信すると、受信したＩＰ／ＵＤＰ／ＲＴＰパケットから画像の情報を取得する。

そして、画像パケット受信装置４０は、取得した画像の情報を、デコードするためのデコーダへ出力する。この際、画像パケット受信装置４０は、同一時刻において処理されるべきＡＵ単位で、取得した画像の情報をデコーダへ出力することが好ましい。

しかしながら、ネットワーク１１経由で局側装置２０から画像パケット受信装置４０へＩＰ／ＵＤＰ／ＲＴＰパケットを送信するために必要な時間は、ＩＰ／ＵＤＰ／ＲＴＰパケット毎に異なる。従って、たとえば局側装置２０が、ＡＵ単位毎にＩＰ／ＵＤＰ／ＲＴＰパケットを送信しても、画像パケット受信装置４０は、ＡＵ単位毎にＩＰ／ＵＤＰ／ＲＴＰパケットを受信できるとは限らない。

このため、画像パケット受信装置４０は、どのＩＰ／ＵＤＰ／ＲＴＰパケットに含まれる画像の情報が同じＡＵに含まれるのかを確かめる為に、受信したＩＰ／ＵＤＰ／ＲＴＰパケットに含まれる画像の情報が処理されるべき時刻を取得する必要があり、そのためには、以下の処理を行う必要がある。

すなわち、画像パケット受信装置４０は、受信したＩＰ／ＵＤＰ／ＲＴＰパケットのＲＴＰペイロードから複数のＴＳパケットを取得し、取得した複数のＴＳパケットからＰＩＤが同一であるＴＳパケットを選別し、選別したＴＳパケットからＰＥＳを取得する。そして、画像パケット受信装置４０は、取得したＰＥＳのＰＥＳヘッダにおけるＰＴＳまたはＤＴＳを取得することにより、画像の情報が処理されるべき時刻を取得することができる。

画像パケット受信装置４０は、複数のＩＰ／ＵＤＰ／ＲＴＰパケットにおいて、当該複数のＩＰ／ＵＤＰ／ＲＴＰパケットに対応する、画像の情報が処理されるべき時刻を取得し、取得した時刻を比較する。これにより、画像パケット受信装置４０は、どのＩＰ／ＵＤＰ／ＲＴＰパケットに含まれる画像の情報が同じＡＵに含まれるのかを認識することができる。

従って、画像パケット受信装置４０は、画像の情報が処理されるべき時刻を取得するためにパケットの分解処理を繰り返す必要があり、処理の負荷が大きくなるという問題が発生してしまう。

そこで、本発明の実施の形態における局側装置２０および画像パケット受信装置４０は、以下に示すように、パケットに含まれる画像の情報が、どのＡＵに含まれるのかを対応付けるためＡＵ情報を、ＲＴＰパケットに含めることにより上記問題を解決する。

［局側装置の構成］
図３は、本発明の実施の形態に係る局側装置の構成を示す図である。

図３を参照して、局側装置２０は、基本レイヤ番組画像作成部２１と、拡張レイヤ番組画像作成部２２と、ＰＥＳ作成部２３と、ＴＳパケット作成部２４と、ＲＴＰパケット作成部（基本パケット生成部および関連パケット生成部）２５と、送信部（基本パケット送信部および関連パケット送信部）２６とを備える。

図４は、本発明の実施の形態に係る局側装置から画像パケット受信装置へ送信されるパケットが作成される過程の一例を示す図である。

図３および図４を参照して、基本レイヤ番組画像作成部２１は、基本レイヤにおけるベースビューである基本画像を作成する。たとえば、基本レイヤ番組画像作成部２１は、３Ｄの番組情報における左目用の番組画像をＨ．２６４／ＡＶＣのフォーマットで符号化し、基本レイヤにおけるベースビューである基本画像を作成する。

そして、基本レイヤ番組画像作成部２１は、当該基本レイヤにおけるベースビューに対応する基本画像データを、拡張レイヤ番組画像作成部２２へ出力する。また、基本レイヤ番組画像作成部２１は、１または複数のＮＡＬユニットに当該ベースビューを含め、当該ＮＡＬユニットをＰＥＳ作成部２３へ出力する。

具体的には、基本レイヤ番組画像作成部２１は、図４の（Ａ）に示すように、たとえばＮＵ４、ＮＵ５およびＮＵ６で示されるＮＡＬユニットに時刻（ｔ＝ｎ）において表示すべきベースビューを含め、当該ＮＡＬユニットをＰＥＳ作成部２３へ出力する。

また、基本レイヤ番組画像作成部２１は、たとえば当該ＮＡＬユニットに含まれるベースビューが、画像シーケンスの先頭のピクチャであるＩＤＲ（Instantaneous Decoder Refresh）ピクチャである場合、その旨をＰＥＳ作成部２３へ通知してもよい。

拡張レイヤ番組画像作成部２２は、基本レイヤにおけるベースビューに対応する基本画像データを基本レイヤ番組画像作成部２１から受けると、受けた基本画像データに基づいて、たとえばＨ．２６４／ＡＶＣのフォーマットにおける予測符号化により、拡張レイヤにおけるエンハンスビュー１である関連画像を作成する。

そして、拡張レイヤ番組画像作成部２２は、予測符号化により生成した、基本画像データとの差分である関連画像データを、１または複数のＮＡＬユニットに含め、当該ＮＡＬユニットをＰＥＳ作成部２３へ出力する。

具体的には、拡張レイヤ番組画像作成部２２は、図４の（Ａ）に示すように、たとえばＮＵ７、ＮＵ８およびＮＵ９で示されるＮＡＬユニットに時刻（ｔ＝ｎ）において表示すべきエンハンスビュー１を含め、当該ＮＡＬユニットをＰＥＳ作成部２３へ出力する。

なお、拡張レイヤにおける関連画像の枚数はエンハンスビュー１に限定するものではない。拡張レイヤ番組画像作成部２２は、更に多くの枚数のエンハンスビューを作成してもよい。

ＰＥＳ作成部２３は、基本レイヤ番組画像作成部２１からベースビューを含むＮＡＬユニットおよびエンハンスビュー１を含むＮＡＬユニットを受けると、当該ＮＡＬユニットを含むアクセスユニットを作成する。

具体的には、ＰＥＳ作成部２３は、図４の（Ａ）に示すように、時刻（ｔ＝ｎ）において表示すべきベースビューおよびエンハンスビュー１を含むアクセスユニットＡＵ（ｔ＝ｎ）を作成する。なお、デリミタは、ベースビューおよびエンハンスビュー１間の区切りを示し、また、ＡＵデリミタは、アクセスユニット間の区切りを示す。

ＰＥＳ作成部２３は、時刻（ｔ＝ｎ）と異なる時刻において表示すべきベースビューおよびエンハンスビュー１を含むアクセスユニットＡＵ（ｔ＝ｎ−１），ＡＵ（ｔ＝ｎ＋１）についても同様に作成することにより、たとえば図４の（Ａ）に示すストリームを作成する。

ＰＥＳ作成部２３は、上記ストリームにおけるアクセスユニットの一部または全部を含めるためのＰＥＳを作成する。この際、ＰＥＳ作成部２３は、たとえば同じ時刻において表示すべき同一レイヤの画像データを１つのＰＥＳに含めるようにＰＥＳを作成する。

具体的には、ＰＥＳ作成部２３は、図４の（Ｂ）に示すように、ＡＵデリミタ、ＮＵ４、ＮＵ５およびＮＵ６にＰＥＳヘッダを付加することにより、ベースビューを含むＰＥＳ１を作成する。

この際、ＰＥＳ作成部２３は、当該ベースビューを表示すべき時刻を示すＰＴＳ、当該ベースビューをデコードすべき時刻を示すＤＴＳおよび当該ベースビューが含まれるストリームを識別するためのストリームＩＤを、ＰＥＳ１におけるＰＥＳヘッダに書込む。

また、ＰＥＳ作成部２３は、図４の（Ｂ）に示すように、デリミタ、ＮＵ７、ＮＵ８およびＮＵ９にＰＥＳヘッダを付加することにより、エンハンスビュー１を含むＰＥＳ２を作成する。

この際、ＰＥＳ作成部２３は、当該エンハンスビュー１に対応するＰＴＳ，ＤＴＳおよびストリームＩＤを、ＰＥＳ２におけるＰＥＳヘッダに書込む。

そして、ＰＥＳ作成部２３は、作成したＰＥＳを、ＴＳパケット作成部２４へ出力する。また、ＰＥＳ作成部２３は、たとえば当該ＰＥＳに含まれる番組画像が、ＩＤＲピクチャである場合、その旨をＴＳパケット作成部２４へ通知してもよい。

なお、たとえば上記ベースビューに対応するストリームＩＤおよび上記エンハンスビュー１に対応するストリームＩＤは、同じ値に設定してもよい。この場合、同じ時刻において表示すべきベースビューまたはエンハンスビュー１を含むＰＥＳのＰＴＳ、ＤＴＳおよびストリームＩＤは、同じ値となる。

ＴＳパケット作成部２４は、ＰＥＳ作成部２３からＰＥＳを受けると、受けたＰＥＳを分割し、分割したＰＥＳを複数のＴＳパケットにおけるＴＳペイロードに含める。この際、ＴＳパケット作成部２４は、上記複数のＴＳパケットにおいて、同じレイヤの番組画像をＴＳペイロードに含む場合、上記複数のＴＳパケットに同一のＰＩＤを付与する。

具体的には、図４の（Ｃ）に示すように、ＴＳパケット１は、図４の（Ｂ）に示すＰＥＳ１を分割した一部をＴＳペイロードに含む。また、ＴＳパケット１のＴＳヘッダは、ＰＥＳ１に含まれるベースビューに対応したＰＩＤ＝ａを含む。たとえば、ＰＥＳ１が、ＴＳパケット１からＴＳパケット４におけるＴＳペイロードに含められる場合、ＴＳパケット１からＴＳパケット４のＰＩＤは、「ａ」となる。

また、図４の（Ｃ）に示すＴＳパケット５は、図４の（Ｂ）に示すＰＥＳ２を分割した一部をＴＳペイロードに含む。また、ＴＳパケット５のＴＳヘッダは、ＰＥＳ２に含まれるエンハンスビュー１に対応したＰＩＤ＝ｂを含む。たとえば、ＰＥＳ２が、ＴＳパケット５からＴＳパケット８におけるＴＳペイロードに含められる場合、ＴＳパケット５からＴＳパケット８のＰＩＤは、「ｂ」となる。

ＴＳパケット作成部２４は、作成した複数のＴＳパケットをＲＴＰパケット作成部２５へ出力する。また、ＴＳパケット作成部２４は、たとえば当該複数のＴＳパケットに含まれる番組画像が、ＩＤＲピクチャである場合、その旨をＲＴＰパケット作成部２５へ通知してもよい。

ＲＴＰパケット作成部２５は、ＴＳパケット作成部２４から複数のＴＳパケットを受けると、受けた複数のＴＳパケットを含めるためのＩＰ／ＵＤＰ／ＲＴＰパケットを作成する。より詳細には、ＲＴＰパケット作成部２５は、受けた複数のＴＳパケットのＰＩＤに基づいて、ＰＩＤ毎に選別した複数のＴＳパケットにＲＴＰヘッダを付加することにより、ＲＴＰパケットを作成する。

ＲＴＰパケット作成部２５は、図４の（Ｄ）に示すように、たとえばベースビューを含む、ＰＩＤ＝ａの複数のＴＳパケットをＴＳパケット作成部２４から受けると、受けた複数のＴＳパケットの先頭にＲＴＰヘッダを付加することにより、ＲＴＰパケット１を作成する。

また、ＲＴＰパケット作成部２５は、たとえばエンハンスビュー１を含む、ＰＩＤ＝ｂの複数のＴＳパケットをＴＳパケット作成部２４から受けると、受けた複数のＴＳパケットの先頭にＲＴＰヘッダを付加することにより、ＲＴＰパケット２を作成する。

上記のＲＴＰパケット１およびＲＴＰパケット２は、同じアクセスユニットに含まれる画像データの一部を含むという対応関係がある。この際、ＲＴＰパケット作成部２５は、上記対応関係を示す対応情報として、ＲＴＰパケット１およびＲＴＰパケット２のＲＴＰヘッダに、同じアクセスユニットに含まれていたことを示すために同じＡＵ情報を書込む。

この際、ＲＴＰパケット作成部２５は、同じＡＵ情報を、たとえばＲＴＰヘッダ、ＲＴＰ拡張ヘッダまたはＲＴＰペイロードの先頭部分等の番組画像のデータに使用しないフィールドに書込む。

図５は、本発明の実施の形態に係るＲＴＰパケットのＲＴＰヘッダおよびＲＴＰ拡張ヘッダの構造の一例を示す図である。

具体的には、ＲＴＰパケット作成部２５は、たとえば図５に示すＲＴＰヘッダにおける「シーケンス番号」で示されるシーケンス番号フィールドに、同じＡＵ情報として同じ値のシーケンス番号を書込む。

また、ＲＴＰパケット作成部２５は、たとえば図５に示すＲＴＰヘッダにおける「タイムスタンプ」で示される時刻情報フィールドに、同じＡＵ情報として同じ値の時刻情報を書込む。

また、ＲＴＰパケット作成部２５は、たとえば図５に示すＲＴＰ拡張ヘッダにおける「長さ」で示されるフィールドに続くフィールドに同じＡＵ情報を書込む。

また、ＲＴＰパケット作成部２５は、たとえば図２の（Ｄ）または（Ｅ）に示すＲＴＰパケットの、ＲＴＰペイロードの先頭のフィールドに同じＡＵ情報を書込む。

また、ＲＴＰパケット作成部２５は、たとえばＴＳパケット作成部２４から受けたＴＳパケットがＩＤＲピクチャである場合、ＲＴＰパケットのＲＴＰヘッダのシーケンス番号をリセットしてもよい。

なお、ＲＴＰパケット作成部２５は、たとえば１つのＲＴＰパケットのＲＴＰペイロードに、１ピクチャ分の情報を含む複数のＴＳパケットを含めた、大容量のＲＴＰパケットであるジャンボＲＴＰパケットを作成してもよいし、上記複数のＴＳパケットを１キロバイト程度の複数の領域に分割し、分割した領域をＲＴＰペイロードに含めるように複数のＲＴＰパケットを作成してもよい。

たとえば、局側装置２０が、ジャンボＲＴＰパケットをネットワーク１１経由で画像パケット受信装置４０へ送信する場合、ネットワーク１１におけるルータが伝送経路に合わせて上記ジャンボＲＴＰパケットを分割して送信することがある。すなわち、伝送過程でジャンボＲＴＰパケットのフラグメントが発生してしまう。

この際、上記ルータにとっても処理負担が大きく、また、画像パケット受信装置４０が、分割されたジャンボＲＴＰパケットを元のジャンボＲＴＰパケットに再生する処理の負担も大きい。従って、局側装置２０は、たとえば１キロバイト程度の大きさの複数のＲＴＰパケットを送信することが好ましい。

そして、ＲＴＰパケット作成部２５は、作成したＲＴＰパケットにＵＤＰヘッダを付加することにより、ＵＤＰ／ＲＴＰパケットを作成する。この際、ＲＴＰパケット作成部２５は、当該ＲＴＰパケットに含まれる番組画像のレイヤに対応したポート番号を、ＵＤＰヘッダに書込む。これにより、局側装置２０は、異なるレイヤにおける番組画像を、異なるセッションで画像パケット受信装置４０へ送信する。

これにより、画像パケット受信装置４０は、局側装置２０から受信したＵＤＰ／ＲＴＰパケットのポート番号に基づいて、当該ＵＤＰ／ＲＴＰパケットに含まれる画像のレイヤを識別することができる。

そして、ＲＴＰパケット作成部２５は、作成したＵＤＰ／ＲＴＰパケットにＩＰヘッダを付加することにより、ＩＰ／ＵＤＰ／ＲＴＰパケットを作成する。この際、ＲＴＰパケット作成部２５は、送信先である画像パケット受信装置４０のＩＰアドレスをＩＰヘッダに書込む。ＲＴＰパケット作成部２５は、作成したＩＰ／ＵＤＰ／ＲＴＰパケットを送信部２６へ出力する。

たとえば、図４の（Ｄ）に示すＩＰ／ＵＤＰ／ＲＴＰパケット１は、ペイロードにおいて、基本画像であるベースビューを含むＴＳパケット１からＴＳパケット４までを含む基本パケットである。

たとえば、図４の（Ｄ）に示すＩＰ／ＵＤＰ／ＲＴＰパケット２は、ペイロードにおいて、関連画像であるエンハンスビュー１を含むＴＳパケット５からＴＳパケット８までを含む関連パケットである。

送信部２６は、ＲＴＰパケット作成部２５からＩＰ／ＵＤＰ／ＲＴＰパケットを受けると、受けたＩＰ／ＵＤＰ／ＲＴＰパケットをＩＰによりネットワーク１１経由で画像パケット受信装置４０へ送信する。

［画像パケット受信装置の構成］
図６は、本発明の実施の形態に係る画像パケット受信装置の構成を示す図である。

図６を参照して、画像パケット受信装置４０は、受信部（基本パケット受信部および関連パケット受信部）４１と、ＲＴＰパケット分析部（再生処理部）４２と、ＴＳパケット再生部４３と、ＰＥＳ再生部４４と、基本レイヤデコーダ部４５と、拡張レイヤデコーダ部４６とを備える。

受信部４１は、局側装置２０がネットワーク１１経由で送信した番組の情報を含むＩＰ／ＵＤＰ／ＲＴＰパケットを受けると、受けたＩＰ／ＵＤＰ／ＲＴＰパケットをＲＴＰパケット分析部４２へ出力する。

ＲＴＰパケット分析部４２は、受信部４１からＩＰ／ＵＤＰ／ＲＴＰパケットを受けると、受けたＩＰ／ＵＤＰ／ＲＴＰパケットに基づいて、当該ＩＰ／ＵＤＰ／ＲＴＰパケットに含まれる番組画像のレイヤおよびＡＵ情報を分析する。より詳細には、ＲＴＰパケット分析部４２は、当該ＩＰ／ＵＤＰ／ＲＴＰパケットにおけるＵＤＰヘッダのポート番号に基づいて、受信部４１から受けたパケットが、基本レイヤのベースビューである基本画像を含む基本パケット、または拡張レイヤのエンハンスビュー１である関連画像を含む関連パケットであるかどうかを判断する。

そして、ＲＴＰパケット分析部４２は、どのＩＰ／ＵＤＰ／ＲＴＰパケットを同じＡＵに含めるかどうかを判断するための対応情報であるＡＵ情報を、たとえばＲＴＰヘッダ、ＲＴＰ拡張ヘッダまたはＲＴＰペイロードの先頭部分等の番組画像のデータに使用しない領域から取得する。

そして、ＲＴＰパケット分析部４２は、取得したＡＵ情報に基づいて、同じＡＵに含めるべきＩＰ／ＵＤＰ／ＲＴＰパケットを選別する。具体的には、ＲＴＰパケット分析部４２は、同じＡＵ情報を持つ基本パケットおよび関連パケットをグループ化し、グループ化した基本パケットおよび関連パケットをＴＳパケット再生部４３へ出力する。

ＴＳパケット再生部４３は、ＲＴＰパケット分析部４２からグループ化した基本パケットおよび関連パケットを受けると、受けた基本パケットおよび関連パケットからＲＴＰペイロードを取り出し、取り出したＲＴＰペイロードからレイヤ毎の複数のＴＳパケットを再生する。そして、ＴＳパケット再生部４３は、再生したレイヤ毎の複数のＴＳパケットをＰＥＳ再生部４４へ出力する。

ＰＥＳ再生部４４は、ＴＳパケット再生部４３から複数のＴＳパケットをレイヤ毎に受けると、受けた複数のＴＳパケットのＴＳペイロードからレイヤ毎にＰＥＳを再生する。そして、ＰＥＳ再生部４４は、当該ＰＥＳのＰＥＳヘッダにおけるＰＴＳまたはＤＴＳを参照することにより、当該ＰＥＳが処理されるべき時刻を取得する。

また、ＰＥＳ再生部４４は、当該ＰＥＳのＰＥＳペイロードに含まれるＮＡＬユニットのＮＡＬヘッダにおける、たとえばビューＩＤ、ディペンデンシーＩＤまたはクオリティＩＤを参照する。これにより、ＰＥＳ再生部４４は、当該ＰＥＳのＰＥＳペイロードに含まれるＮＡＬユニットのレイヤが基本レイヤであるか拡張レイヤであるかを判断できる。

ＰＥＳ再生部４４は、基本レイヤのＮＡＬユニットを含むＰＥＳから、当該ＮＡＬユニットを取得する。また、ＰＥＳ再生部４４は、拡張レイヤのＮＡＬユニットを含むＰＥＳから、当該ＮＡＬユニットを取得する。そして、ＰＥＳ再生部４４は、ＰＴＳまたはＤＴＳに基づいて、基本レイヤのＮＡＬユニットを基本レイヤデコーダ部４５へ出力し、また、拡張レイヤのＮＡＬユニットを拡張レイヤデコーダ部４６へ出力する。

基本レイヤデコーダ部４５は、ＰＥＳ再生部４４から基本レイヤのＮＡＬユニットを受けると、受けたＮＡＬユニットにおけるＲＢＳＰをデコードすることによりベースビューである基本画像を作成し、作成した基本画像の基本画像データを拡張レイヤデコーダ部４６へ出力する。この際、基本レイヤデコーダ部４５は、たとえばＳＶＣ規格における基本画像のみを再生する場合、デコードした番組画像を表示装置１２へ出力してもよい。また、基本レイヤデコーダ部４５は、たとえばＭＶＣ規格における３Ｄ映像の基本画像として左目用の番組画像を再生する場合、デコードした左目用の番組画像を表示装置１２へ出力してもよい。

拡張レイヤデコーダ部４６は、ＰＥＳ再生部４４から拡張レイヤのＮＡＬユニット、および基本レイヤデコーダ部４５から基本画像の基本画像データを受けると、受けた基本画像の基本画像データおよび拡張レイヤのＮＡＬユニットに含まれる関連画像データであるＲＢＳＰに基づいてデコードすることにより、エンハンスビュー１である関連画像を作成する。この際、拡張レイヤデコーダ部４６は、たとえばＳＶＣ規格における関連画像を再生する場合、作成したエンハンスビュー１を表示装置１２へ出力する。また、拡張レイヤデコーダ部４６は、たとえばＭＶＣ規格における３Ｄ映像の関連画像として右目用の番組画像を再生する場合、デコードした右目用の番組画像を表示装置１２へ出力してもよい。

［局側装置における各レイヤの番組画像の送信動作］
局側装置２０および画像パケット受信装置４０は、以下に示す各フローチャートの各ステップを図示しないメモリから読み出して実行する。このプログラムは、外部からインストールすることができる。このインストールされるプログラムは、たとえば記録媒体に格納された状態で流通する。

図７は、本発明の実施の形態に係る局側装置において各レイヤの番組画像の送信処理を行う際の動作手順を定めたフローチャートである。

図７を参照して、まず、局側装置２０は、所定の番組画像の基本レイヤにおけるベースビューおよび拡張レイヤにおけるエンハンスビュー１を、所定のＩＰアドレスにより特定される画像パケット受信装置４０へ送信する。なお、局側装置２０および画像パケット受信装置４０間において、ベースビューを含むパケットおよびエンハンスビュー１を含むパケットは、それぞれ所定のポート番号で送信することが取り決められている。

図３、図４および図７を参照して、局側装置２０における基本レイヤ番組画像作成部２１は、たとえば図４の（Ａ）に示すアクセスユニットＡＵ（ｔ＝ｎ）に含めるベースビューを作成する。そして、基本レイヤ番組画像作成部２１は、作成したベースビューをＰＥＳ作成部２３および拡張レイヤ番組画像作成部２２へ出力する。また、拡張レイヤ番組画像作成部２２は、基本レイヤ番組画像作成部２１から受けたベースビューに基づいて、たとえば図４の（Ａ）に示すアクセスユニットＡＵ（ｔ＝ｎ）に含めるエンハンスビュー１を作成する。そして、拡張レイヤ番組画像作成部２２は、作成したエンハンスビュー１をＰＥＳ作成部２３へ出力する（ステップＳ１０２）。

次に、ＰＥＳ作成部２３は、基本レイヤ番組画像作成部２１から受けたベースビューを基に、たとえば図４の（Ｂ）に示すＰＥＳ１を作成する。また、ＰＥＳ作成部２３は、拡張レイヤ番組画像作成部２２から受けたエンハンスビュー１を基に、たとえば図４の（Ｂ）に示すＰＥＳ２を作成する。そして、ＰＥＳ作成部２３は、作成したＰＥＳ１およびＰＥＳ２を、ＴＳパケット作成部２４へ出力する。（ステップＳ１０４）。

次に、ＴＳパケット作成部２４は、ＰＥＳ作成部２３からＰＥＳ１およびＰＥＳ２を受けると、受けたＰＥＳ１およびＰＥＳ２を基に、たとえば図４の（Ｃ）に示す複数のＴＳパケットを作成する。この際、ＴＳパケット作成部２４は、たとえばＰＥＳ１を含む複数のＴＳパケットには、ＰＩＤ＝ａを付与する。また、たとえばＰＥＳ２を含む複数のＴＳパケットには、ＰＩＤ＝ｂを付与する。次に、ＴＳパケット作成部２４は、作成した複数のＴＳパケットをＲＴＰパケット作成部２５へ出力する（ステップＳ１０６）。

次に、ＲＴＰパケット作成部２５は、ＴＳパケット作成部２４から複数のＴＳパケットを受けると、受けた複数のＴＳパケットを基に、ＡＵ情報が含まれるＲＴＰパケットをレイヤ毎に作成する（ステップＳ１０８）。この際、ＲＴＰパケット作成部２５は、同じＡＵに対応する複数のＴＳパケットを含むＲＴＰパケットには、同じＡＵ情報を含める。また、ＲＴＰパケットの作成の詳細については後述する。

次に、ＲＴＰパケット作成部２５は、レイヤに対応したポート番号を含むＵＤＰヘッダを作成し、作成したＵＤＰヘッダを上記ＲＴＰパケットに付加することによりＵＤＰ／ＲＴＰパケットを作成する（ステップＳ１１０）。

次に、ＲＴＰパケット作成部２５は、送信先に対応したＩＰアドレスを含むＩＰヘッダを作成し、作成したＩＰヘッダを上記ＵＤＰ／ＲＴＰパケットに付加することにより、たとえば図４の（Ｄ）に示すＩＰ／ＵＤＰ／ＲＴＰパケットを作成する。次に、ＲＴＰパケット作成部２５は、作成したＩＰ／ＵＤＰ／ＲＴＰパケットを送信部２６へ出力する（ステップＳ１１２）。

次に、送信部２６は、ＩＰ／ＵＤＰ／ＲＴＰパケットをＲＴＰパケット作成部２５から受けると、受けたＩＰ／ＵＤＰ／ＲＴＰパケットをネットワーク１１経由で画像パケット受信装置４０へ送信する（ステップＳ１１４）。

以上の動作により、局側装置２０は、作成した各レイヤの番組画像を画像パケット受信装置４０へ送信する。

なお、上記のステップＳ１０８において、ＲＴＰパケット作成部２５は、ＡＵ情報をＲＴＰパケットに含める。これにより、複数のＩＰ／ＵＤＰ／ＲＴＰパケットにおけるＲＴＰペイロードに含まれる画像の情報を詳細に解析することなく、ＡＵ情報に基づいて、同じタイミングで処理すべきＩＰ／ＵＤＰ／ＲＴＰパケットを選別することができる。

また、上記のステップＳ１１０において、ＲＴＰパケット作成部２５は、レイヤに対応したポート番号をＩＰ／ＵＤＰ／ＲＴＰパケットに含める。これにより、局側装置２０は、複数のＩＰ／ＵＤＰ／ＲＴＰパケットをセッション毎に画像パケット受信装置４０へ送信する。そして、画像パケット受信装置４０は、セッション毎に当該複数のＩＰ／ＵＤＰ／ＲＴＰパケットを局側装置２０から受信する。この場合においても、画像パケット受信装置４０は、受信した複数のＩＰ／ＵＤＰ／ＲＴＰパケットに含まれるＡＵ情報を参照することにより、当該複数のＩＰ／ＵＤＰ／ＲＴＰパケットにおいて、どれが同じタイミングで処理すべき画像データを含むＩＰ／ＵＤＰ／ＲＴＰパケットであるかを選別することができる。

また、画像パケット受信装置４０は、以下の動作手順により、ネットワーク１１経由でＩＰ／ＵＤＰ／ＲＴＰパケットに含まれる番組画像の情報を局側装置２０から受信する。

［画像パケット受信装置における各レイヤの番組画像の受信動作］
図８は、本発明の実施の形態に係る画像パケット受信装置において各レイヤの番組画像の受信処理を行う際の動作手順を定めたフローチャートである。

図４、図６および図８を参照して、まず、画像パケット受信装置４０は、所定の番組画像の基本レイヤにおけるベースビューおよび拡張レイヤにおけるエンハンスビュー１を、局側装置２０から受信する。なお、局側装置２０および画像パケット受信装置４０間において、ベースビューを含むパケットおよびエンハンスビュー１を含むパケットは、所定のポート番号で送信することが取り決められている。

画像パケット受信装置４０における受信部４１は、まず、たとえば図４の（Ｄ）に示すＩＰ／ＵＤＰ／ＲＴＰパケットをネットワーク１１経由で局側装置２０から受けると、受けたＩＰ／ＵＤＰ／ＲＴＰパケットをＲＴＰパケット分析部４２へ出力する（ステップＳ２０２）。

次に、ＲＴＰパケット分析部４２は、受信部４１からＩＰ／ＵＤＰ／ＲＴＰパケットを受けると、受けたＩＰ／ＵＤＰ／ＲＴＰパケットにおけるＵＤＰヘッダからポート番号を取得した後、ＩＰヘッダおよびＵＤＰヘッダを削除することによりＲＴＰパケットを作成する。そして、ＲＴＰパケット分析部４２は、上記ポート番号に基づいて、作成したＲＴＰパケットをレイヤ毎に選別する（ステップＳ２０４）。

次に、ＲＴＰパケット分析部４２は、レイヤ毎に選別したＲＴＰパケットを分析することにより、ＲＴＰパケットに含まれるＡＵ情報を取得する。次に、ＲＴＰパケット分析部４２は、同じＡＵ情報を持つＲＴＰパケットをグループ化し、グループ化したＲＴＰパケットをＴＳパケット再生部４３へ出力する（ステップＳ２０６）。

次に、ＴＳパケット再生部４４は、同じＡＵ情報を持つグループ化したＲＴＰパケットをＲＴＰパケット分析部４２から受けると、受けたＲＴＰパケットからＲＴＰヘッダを削除することにより、たとえば図４の（Ｃ）に示すレイヤ毎の複数のＴＳパケットを再生する。次に、ＴＳパケット再生部４４は、再生したレイヤ毎の複数のＴＳパケットをＰＥＳ再生部４４へ出力する（ステップＳ２０８）。

次に、ＰＥＳ再生部４４は、ＴＳパケット再生部４４からレイヤ毎に複数のＴＳパケットを受けると、受けた複数のＴＳパケットから、たとえば図４の（Ｂ）に示すレイヤ毎のＰＥＳ１およびＰＥＳ２を再生する（ステップＳ２１０）。次に、ＰＥＳ再生部４４は、ＰＥＳ１のＰＥＳペイロードにおけるＮＡＬユニットのＮＡＬヘッダを参照することにより、当該ＮＡＬユニットにベースビューが含まれていることを認識すると、ＰＥＳヘッダにおけるＰＴＳまたはＤＴＳで指定されるタイミングにおいて、当該ＮＡＬユニットを基本レイヤデコード部４５へ出力する。

また、ＰＥＳ再生部４４は、上記ＰＥＳ１に対応するＰＥＳ２のＰＥＳペイロードにおけるＮＡＬユニットのＮＡＬヘッダを参照することにより、当該ＮＡＬユニットにエンハンスビュー１が含まれていることを認識すると、ＰＥＳヘッダにおけるＰＴＳまたはＤＴＳで指定されるタイミングにおいて、当該ＮＡＬユニットを拡張レイヤデコード部４６へ出力する。

次に、基本レイヤデコード部４５は、ＰＥＳ再生部４４からベースビューを含むＮＡＬユニット受けると、受けたＮＡＬユニットをデコードすることにより、ベースビューを作成する。そして、基本レイヤデコード部４５は、作成したベースビューを拡張レイヤデコード部４６へ出力する。次に、拡張レイヤデコード部４６は、基本レイヤデコード部４５から受けたベースビューを基に、ＰＥＳ再生部４４から受けたエンハンスビュー１を含むＮＡＬユニットをデコードすることによりエンハンスビュー１を作成する（ステップＳ２１２）。

次に、基本レイヤデコード部４５または拡張レイヤデコード部４６は、作成したベースビューまたはエンハンスビュー１を、たとえば表示装置１２において再生する（ステップＳ２１４）。

以上の動作により、画像パケット受信装置４０は、受信したＩＰ／ＵＤＰ／ＲＴＰパケットから作成した各レイヤの番組画像を表示装置１２において再生する。

上記のステップＳ２０６において、ＲＴＰパケット分析部４２は、ＡＵ情報をＲＴＰパケットから取得する。これにより、受信した複数のＩＰ／ＵＤＰ／ＲＴＰパケットにおけるＲＴＰペイロードに含まれる画像の情報を詳細に解析することなく、ＡＵ情報に基づいて、同じタイミングで処理すべきＩＰ／ＵＤＰ／ＲＴＰパケットを選別することができる。

また、上記のステップＳ２１０において、ＰＥＳ再生部４４は、選別したＩＰ／ＵＤＰ／ＲＴＰパケットから取得した、ベースビューを含むＮＡＬユニットまたはエンハンスビュー１を含むＮＡＬユニットを、それぞれ基本レイヤデコーダ部４５または拡張レイヤデコーダ部４６へ出力する。これにより、ベースビューまたはエンハンスビュー１を同じタイミングで表示装置１２において適切に再生することができる。

［ＲＴＰパケットのタイムスタンプのフィールドにＡＵ情報を含める場合］
図９は、本発明の実施の形態に係る局側装置においてＲＴＰパケットのタイムスタンプのフィールドにＡＵ情報が含まれるＲＴＰパケットの作成処理を行う際の動作手順を定めたフローチャートである。

図９を参照して、まず、ＲＴＰパケット作成部２５は、ＴＳパケット作成部２４から所定のＰＥＳを含む複数のＴＳパケットを受ける。また、ＲＴＰパケット作成部２５は、上記複数のＴＳパケットに含まれる所定のＰＥＳに対応する番組画像が、ＩＤＲピクチャである旨の通知を受ける場合がある。

次に、ＲＴＰパケット作成部２５は、たとえばユーザによりＩＤＲピクチャ毎にシーケンス番号をリセットする設定がなされているかどうか確認する（ステップＳ３０２）。

次に、ＲＴＰパケット作成部２５は、たとえばユーザによりＩＤＲピクチャ毎にシーケンス番号をリセットする設定がなされている場合（ステップＳ３０２でＹＥＳ）、以下の処理を行う。

すなわち、ＲＴＰパケット作成部２５は、上記複数のＴＳパケットに含まれる所定のＰＥＳに対応する番組画像が、ＩＤＲピクチャである旨の通知を受けている場合（ステップＳ３０４でＹＥＳ）、以下において作成するＲＴＰパケットのＲＴＰヘッダにおける、たとえば図５に示す「シーケンス番号」のフィールドに付与するシーケンス番号を０にリセットする（ステップＳ３０６）。

また、ＲＴＰパケット作成部２５は、上記複数のＴＳパケットに含まれる所定のＰＥＳに対応する番組画像が、ＩＤＲピクチャである旨の通知を受けていない場合（ステップＳ３０４でＮＯ）、シーケンス番号をリセットしない。

次に、ＲＴＰパケット作成部２５は、たとえばＲＴＰパケットの大きさが１キロバイト程度の大きさになるように上記複数のＴＳパケットを分割し、分割した上記複数のＴＳパケットを複数のＲＴＰパケットのＲＴＰペイロードに含めることにより、伝送経路でのフラグメントの発生を許可しない場合（ステップＳ３０８でＮＯ）、以下の動作を行う。

すなわち、ＲＴＰパケット作成部２５は、上記複数のＴＳパケットをたとえば１キロバイト程度の大きさに分割し、分割した上記複数のＴＳパケットにＲＴＰヘッダを付加することにより、複数のＲＴＰパケットを作成する（ステップＳ３１０）。

次に、ＲＴＰパケット作成部２５は、上記複数のＲＴＰパケットにおける先頭のＲＴＰパケットを取得し、取得したＲＴＰパケットの、たとえば図５に示すＲＴＰヘッダにおける「タイムスタンプ」のフィールドにＡＵ情報を書込む。この際、ＲＴＰパケット作成部２５は、同じＡＵに対応する上記複数のＴＳパケットを含むＲＴＰパケットには、同じＡＵ情報として同じ値の時刻情報を書込む（ステップＳ３１２）。

次に、ＲＴＰパケット作成部２５は、上記ＲＴＰパケットの、図５に示すＲＴＰヘッダにおける「シーケンス番号」のフィールドに、上記シーケンス番号を書込んだ後、上記シーケンス番号をインクリメントする（ステップＳ３１４）。

次に、ＲＴＰパケット作成部２５は、上記ＲＴＰパケットが上記複数のＲＴＰパケットにおける先頭パケットである場合（ステップＳ３１６でＹＥＳ）、上記「タイムスタンプ」のフィールドのＭＳＢ（Most Significant Bit）を１に設定する（ステップＳ３１８）。

また、ＲＴＰパケット作成部２５は、上記ＲＴＰパケットが上記複数のＲＴＰパケットにおける先頭パケットでない場合（ステップＳ３１６でＮＯ）、上記「タイムスタンプ」のフィールドのＭＳＢを０に設定する（ステップＳ３２０）。

次に、ＲＴＰパケット作成部２５は、上記ＲＴＰパケットが上記複数のＲＴＰパケットにおける最終パケットでない場合（ステップＳ３２６でＮＯ）、以下の処理を行う。すなわち、ＲＴＰパケット作成部２５は、次のＲＴＰパケットを取得し、取得したＲＴＰパケットのＲＴＰヘッダにおける「タイムスタンプ」のフィールドにＡＵ情報を書込む。この際、ＲＴＰパケット作成部２５は、同じＡＵに対応する上記複数のＴＳパケットを含むＲＴＰパケットには、同じＡＵ情報として同じ値の時刻情報を書込む（ステップＳ３１２）。

また、ＲＴＰパケット作成部２５は、たとえば１つのジャンボＲＴＰパケットに１つのアクセスユニットに含まれる番組画像を含めるために、伝送経路でのフラグメントの発生を許可する場合（ステップＳ３０８でＹＥＳ）、以下の動作を行う。

すなわち、ＲＴＰパケット作成部２５は、上記ジャンボＲＴＰパケットのＲＴＰヘッダにおける「タイムスタンプ」のフィールドにＡＵ情報を書込む。この際、ＲＴＰパケット作成部２５は、同じＡＵに対応する上記複数のＴＳパケットを含むＲＴＰパケットには、同じＡＵ情報として同じ値の時刻情報を書込む（ステップＳ３２２）。

次に、ＲＴＰパケット作成部２５は、上記ジャンボＲＴＰパケットのＲＴＰヘッダにおける「シーケンス番号」のフィールドに、上記シーケンス番号を書込んだ後、上記シーケンス番号をインクリメントする（ステップＳ３２４）。

以上の動作により、ＲＴＰパケット作成部２５は、上記複数のＴＳパケットを含むＲＴＰパケットのＲＴＰヘッダにおける「タイムスタンプ」のフィールドにＡＵ情報が含まれるＲＴＰパケットを作成する。

上記のように、ＲＴＰパケット作成部２５は、ステップＳ３１２およびステップＳ３２２において、ＲＴＰパケットのＲＴＰヘッダにおける「タイムスタンプ」のフィールドにＡＵ情報を書込む。画像パケット受信装置４０は、たとえば局側装置２０から複数のＩＰ／ＵＤＰ／ＲＴＰパケットを受けても、当該複数のＩＰ／ＵＤＰ／ＲＴＰパケットの「タイムスタンプ」のフィールドを参照することにより、同じＡＵ情報を含むＩＰ／ＵＤＰ／ＲＴＰパケットを選別することができる。これにより、画像パケット受信装置４０は、当該複数のＩＰ／ＵＤＰ／ＲＴＰパケットに含まれる画像の情報を詳細に解析することなく、同じタイミングで処理すべき画像の情報を取得することができる。

また、ＲＴＰパケット作成部２５は、ステップＳ３０６において、ＲＴＰペイロードにおいてＩＤＲピクチャを含むＲＴＰパケットの「シーケンス番号」のフィールドに付与するシーケンス番号を０にリセットする。

上記処理を行うことにより、画像パケット受信装置４０は、たとえば局側装置２０からＲＴＰパケットを受信し、受信したＲＴＰパケットのシーケンス番号が０である場合、当該ＲＴＰパケットに含まれる番組画像がＩＤＲピクチャの一部または全部であることを認識することができる。

また、シーケンス番号のリセットは、レイヤに関係なく、たとえば基本レイヤの番組画像を含むＲＴＰパケットおよび拡張レイヤの番組画像を含むＲＴＰパケットにおいてなされる。これにより、画像パケット受信装置４０は、シーケンス番号がリセットされたＲＴＰパケットに基づいて、たとえば基本レイヤの番組画像を含むＲＴＰパケットおよび拡張レイヤの番組画像を含むＲＴＰパケット間の同期をとることができる。

また、ＲＴＰパケット作成部２５は、ステップＳ３１８において、先頭のＲＴＰパケットの「タイムスタンプ」のフィールドのＭＳＢを１に設定する。これにより、画像パケット受信装置４０は、たとえば局側装置２０から複数に分割されたＲＴＰパケットを受信すると、受信した複数のＲＴＰパケットにおいて、ＲＴＰヘッダの「タイムスタンプ」のフィールドのＭＳＢが１であるパケットが先頭のＲＴＰパケットであると認識することができる。

また、ＲＴＰパケット作成部２５は、ステップＳ３１４およびステップＳ３２４において、ＲＴＰパケットにシーケンス番号を付与する。これにより、画像パケット受信装置４０は、たとえば局側装置２０から複数のＲＴＰパケットを受信すると、受信した複数のＲＴＰパケットにおいて、シーケンス番号を参照することにより、当該複数のＲＴＰパケットの順序を特定することができる。

［ＲＴＰパケットのシーケンス番号のフィールドにＡＵ情報を含める場合］
図１０は、本発明の実施の形態に係る局側装置においてＲＴＰパケットのシーケンス番号のフィールドにＡＵ情報が含まれるＲＴＰパケットの作成処理を行う際の動作手順を定めたフローチャートである。

図１０を参照して、まず、ＲＴＰパケット作成部２５は、ＴＳパケット作成部２４から所定のＰＥＳを含む複数のＴＳパケットを受ける。また、ＲＴＰパケット作成部２５は、上記複数のＴＳパケットに含まれる所定のＰＥＳに対応する番組画像が、ＩＤＲピクチャである旨の通知を受ける場合がある。

ＩＤＲピクチャ毎に行うシーケンス番号のリセット処理（ステップＳ４０２〜ステップＳ４０６）は、図９に示すフローチャートにおける動作（ステップＳ３０２〜ステップＳ３０６）と同様であるため、ここでは詳細な説明を繰り返さない。

次に、ＲＴＰパケット作成部２５は、たとえばＲＴＰパケットの大きさが１キロバイト程度の大きさになるように上記複数のＴＳパケットを分割し、分割した上記複数のＴＳパケットを複数のＲＴＰパケットのＲＴＰペイロードに含めることにより、伝送経路でのフラグメントの発生を許可しない場合（ステップＳ４０８でＮＯ）、以下の動作を行う。

すなわち、ＲＴＰパケット作成部２５は、上記複数のＴＳパケットをたとえば１キロバイト程度の大きさに分割し、分割した上記複数のＴＳパケットにＲＴＰヘッダを付加することにより、複数のＲＴＰパケットを作成する（ステップＳ４１０）。

次に、ＲＴＰパケット作成部２５は、上記複数のＲＴＰパケットにおける先頭のＲＴＰパケットを取得し、取得したＲＴＰパケットの、たとえば図５に示すＲＴＰヘッダにおける「シーケンス番号」のフィールドにシーケンス番号を書込んだ後、当該シーケンス番号をインクリメントする（ステップＳ４１２）。

次に、ＲＴＰパケット作成部２５は、上記ＲＴＰパケットの「シーケンス番号」のフィールドの上位ビットにＡＵ情報を書込む。この際、ＲＴＰパケット作成部２５は、同じＡＵに対応する上記複数のＴＳパケットを含むＲＴＰパケットには、同じＡＵ情報を書込む（ステップＳ４１４）。

次に、ＲＴＰパケット作成部２５は、上記ＲＴＰパケットが上記複数のＲＴＰパケットにおける最終パケットでない場合（ステップＳ４１６でＮＯ）、以下の処理を行う。すなわち、ＲＴＰパケット作成部２５は、次のＲＴＰパケットを取得し、取得したＲＴＰパケットのＲＴＰヘッダにおける「シーケンス番号」のフィールドにシーケンス番号を書込んだ後、当該シーケンス番号をインクリメントする（ステップＳ４１２）。

また、ＲＴＰパケット作成部２５は、たとえば１つのジャンボＲＴＰパケットに１つのアクセスユニットに含まれる番組画像を含めるために、伝送経路でのフラグメントの発生を許可する場合（ステップＳ４０８でＹＥＳ）、以下の動作を行う。

すなわち、ＲＴＰパケット作成部２５は、上記ジャンボＲＴＰパケットのＲＴＰヘッダにおける「シーケンス番号」のフィールドに、シーケンス番号を書込んだ後、当該シーケンス番号をインクリメントする（ステップＳ４１８）。

次に、ＲＴＰパケット作成部２５は、上記ジャンボＲＴＰパケットの「シーケンス番号」のフィールドの上位ビットにＡＵ情報を書込む。この際、ＲＴＰパケット作成部２５は、同じＡＵに対応する上記複数のＴＳパケットを含むＲＴＰパケットには、同じＡＵ情報を書込む（ステップＳ４２０）。

以上の動作により、ＲＴＰパケット作成部２５は、上記複数のＴＳパケットを含むＲＴＰパケットのＲＴＰヘッダにおける「シーケンス番号」のフィールドにＡＵ情報が含まれるＲＴＰパケットを作成する。

上記のように、ＲＴＰパケット作成部２５は、ステップＳ４１４およびステップＳ４２０において、ＲＴＰパケットのＲＴＰヘッダにおける「シーケンス番号」のフィールドにＡＵ情報を書込む。画像パケット受信装置４０は、たとえば局側装置２０から複数のＩＰ／ＵＤＰ／ＲＴＰパケットを受けても、当該複数のＩＰ／ＵＤＰ／ＲＴＰパケットの「シーケンス番号」のフィールドを参照することにより、同じＡＵ情報を含むＩＰ／ＵＤＰ／ＲＴＰパケットを選別することができる。これにより、画像パケット受信装置４０は、当該複数のＩＰ／ＵＤＰ／ＲＴＰパケットに含まれる画像の情報を詳細に解析することなく、同じタイミングで処理すべき画像の情報を取得することができる。

また、ＲＴＰパケット作成部２５は、ステップＳ４１４およびステップＳ４２０において、「シーケンス番号」のフィールドの上位ビットに、ＡＵ情報を書込む。この際、ＲＴＰパケット作成部２５は、１６ビットある「シーケンス番号」のフィールドに、上位４ビットをＡＵ情報に割当ててもよいし、上位８ビットをＡＵ情報に割当ててもよい。

たとえば、ＲＴＰパケット作成部２５は、ステップＳ４１０において複数のＲＴＰパケットを作成する際に、作成するＲＴＰパケット数が多い場合、「シーケンス番号」のフィールドにおいてＡＵ情報に割当てない下位ビットがオーバーフローしてしまう恐れがある。従って、ＲＴＰパケット作成部２５は、作成するＲＴＰパケット数が多い場合、１６ビットある「シーケンス番号」のフィールドにおける上位４ビットにＡＵ情報を割当てるとよい。

また、ＲＴＰパケット作成部２５は、ステップＳ４０６において、ＲＴＰペイロードにおいてＩＤＲピクチャを含むＲＴＰパケットの「シーケンス番号」のフィールドに付与するシーケンス番号を０にリセットする。

また、ＲＴＰパケット作成部２５は、ステップＳ４１２およびステップＳ４１８において、ＲＴＰパケットにシーケンス番号を付与する。これにより、画像パケット受信装置４０は、たとえば局側装置２０から複数のＲＴＰパケットを受信すると、受信した複数のＲＴＰパケットにおいて、シーケンス番号を参照することにより、当該複数のＲＴＰパケットの順序を特定することができる。

［ＲＴＰパケットのＲＴＰ拡張ヘッダにＡＵ情報を含める場合］
図１１は、本発明の実施の形態に係る局側装置においてＲＴＰパケットのＲＴＰ拡張ヘッダにＡＵ情報が含まれるＲＴＰパケットの作成処理を行う際の動作手順を定めたフローチャートである。

図１１を参照して、まず、ＲＴＰパケット作成部２５は、ＴＳパケット作成部２４から所定のＰＥＳを含む複数のＴＳパケットを受ける。また、ＲＴＰパケット作成部２５は、上記複数のＴＳパケットに含まれる所定のＰＥＳに対応する番組画像が、ＩＤＲピクチャである旨の通知を受ける場合がある。

ＩＤＲピクチャ毎に行うシーケンス番号のリセット処理（ステップＳ５０２〜ステップＳ５０６）は、図９に示すフローチャートにおける動作（ステップＳ３０２〜ステップＳ３０６）と同様であるため、ここでは詳細な説明を繰り返さない。

次に、ＲＴＰパケット作成部２５は、たとえばＲＴＰパケットの大きさが１キロバイト程度の大きさになるように上記複数のＴＳパケットを分割し、分割した上記複数のＴＳパケットを複数のＲＴＰパケットのＲＴＰペイロードに含めることにより、伝送経路でのフラグメントの発生を許可しない場合（ステップＳ５０８でＮＯ）、以下の動作を行う。

すなわち、ＲＴＰパケット作成部２５は、上記複数のＴＳパケットをたとえば１キロバイト程度の大きさに分割し、分割した上記複数のＴＳパケットにＲＴＰヘッダを付加することにより、複数のＲＴＰパケットを作成する（ステップＳ５１０）。

次に、ＲＴＰパケット作成部２５は、上記複数のＲＴＰパケットにおける先頭のＲＴＰパケットを取得し、取得したＲＴＰパケットの、たとえば図５に示すＲＴＰ拡張ヘッダにおける「長さ」に続く３２ビットのフィールドにＡＵ情報を書込む。この際、ＲＴＰパケット作成部２５は、同じＡＵに対応する上記複数のＴＳパケットを含むＲＴＰパケットには、同じＡＵ情報を書込む（ステップＳ５１２）。

次に、ＲＴＰパケット作成部２５は、上記ＲＴＰパケットのＲＴＰヘッダにおける「シーケンス番号」のフィールドに、シーケンス番号を書込んだ後、当該シーケンス番号をインクリメントする（ステップＳ５１４）。

次に、ＲＴＰパケット作成部２５は、上記ＲＴＰパケットが上記複数のＲＴＰパケットにおける最終パケットでない場合（ステップＳ５１６でＮＯ）、以下の処理を行う。すなわち、ＲＴＰパケット作成部２５は、次のＲＴＰパケットを取得し、取得したＲＴＰパケットのＲＴＰ拡張ヘッダにおける「長さ」に続く３２ビットのフィールドにＡＵ情報を書込む。この際、ＲＴＰパケット作成部２５は、同じＡＵに対応する上記複数のＴＳパケットを含むＲＴＰパケットには、同じＡＵ情報を書込む（ステップＳ５１２）。

また、ＲＴＰパケット作成部２５は、たとえば１つのジャンボＲＴＰパケットに１つのアクセスユニットに含まれる番組画像を含めるために、伝送経路でのフラグメントの発生を許可する場合（ステップＳ５０８でＹＥＳ）、以下の動作を行う。

すなわち、ＲＴＰパケット作成部２５は、たとえば上記ジャンボＲＴＰパケットのＲＴＰ拡張ヘッダにおける「長さ」に続く３２ビットのフィールドにＡＵ情報を書込む。この際、ＲＴＰパケット作成部２５は、同じＡＵに対応する上記複数のＴＳパケットを含むＲＴＰパケットには、同じＡＵ情報を書込む（ステップＳ５１８）。

次に、ＲＴＰパケット作成部２５は、上記ジャンボＲＴＰパケットのＲＴＰヘッダにおける「シーケンス番号」のフィールドに、シーケンス番号を書込んだ後、当該シーケンス番号をインクリメントする（ステップＳ５２０）。

以上の動作により、ＲＴＰパケット作成部２５は、上記複数のＴＳパケットを含むＲＴＰパケットのＲＴＰ拡張ヘッダにおいてＡＵ情報が含まれるＲＴＰパケットを作成する。

上記のように、ＲＴＰパケット作成部２５は、ステップＳ５１２およびステップＳ５１８において、ＲＴＰパケットのＲＴＰ拡張ヘッダにＡＵ情報を書込む。画像パケット受信装置４０は、たとえば局側装置２０から複数のＩＰ／ＵＤＰ／ＲＴＰパケットを受けても、当該複数のＩＰ／ＵＤＰ／ＲＴＰパケットのＲＴＰ拡張ヘッダを参照することにより、同じＡＵ情報を含むＩＰ／ＵＤＰ／ＲＴＰパケットを選別することができる。これにより、画像パケット受信装置４０は、当該複数のＩＰ／ＵＤＰ／ＲＴＰパケットに含まれる画像の情報を詳細に解析することなく、同じタイミングで処理すべき画像の情報を取得することができる。

また、ＲＴＰパケット作成部２５は、ステップＳ５０６において、ＲＴＰペイロードにおいてＩＤＲピクチャを含むＲＴＰパケットの「シーケンス番号」のフィールドに付与するシーケンス番号を０にリセットする。

また、ＲＴＰパケット作成部２５は、ステップＳ５１４およびステップＳ５２０において、ＲＴＰパケットにシーケンス番号を付与する。これにより、画像パケット受信装置４０は、たとえば局側装置２０から複数のＲＴＰパケットを受信すると、受信した複数のＲＴＰパケットにおいて、シーケンス番号を参照することにより、当該複数のＲＴＰパケットの順序を特定することができる。

なお、ＲＴＰパケット作成部２５は、ステップＳ５１２およびステップＳ５１８において、ＲＴＰパケットのＲＴＰ拡張ヘッダにおける「長さ」に続く３２ビットのフィールドに、たとえば３ビットのピクチャタイプおよび２９ビットのＡＵ情報を書込んでもよい。ピクチャタイプは、たとえば基本レイヤにおける番組画像であるか、拡張レイヤにおける番組画像であるかを示す。

また、ＲＴＰパケットにおけるＲＴＰ拡張ヘッダは、ＲＴＰヘッダに含められてもよい。

［ＲＴＰパケットのＲＴＰペイロードの先頭部分にＡＵ情報を含める場合］
図１２は、本発明の実施の形態に係る局側装置においてＲＴＰパケットのＲＴＰペイロードの先頭部分にＡＵ情報が含まれるＲＴＰパケットの作成処理を行う際の動作手順を定めたフローチャートである。

図１２を参照して、まず、ＲＴＰパケット作成部２５は、ＴＳパケット作成部２４から所定のＰＥＳを含む複数のＴＳパケットを受ける。また、ＲＴＰパケット作成部２５は、上記複数のＴＳパケットに含まれる所定のＰＥＳに対応する番組画像が、ＩＤＲピクチャである旨の通知を受ける場合がある。

ＩＤＲピクチャ毎に行うシーケンス番号のリセット処理（ステップＳ６０２〜ステップＳ６０６）は、図９に示すフローチャートにおける動作（ステップＳ３０２〜ステップＳ３０６）と同様であるため、ここでは詳細な説明を繰り返さない。

次に、ＲＴＰパケット作成部２５は、たとえばＲＴＰパケットの大きさが１キロバイト程度の大きさになるように上記複数のＴＳパケットを分割し、分割した上記複数のＴＳパケットを複数のＲＴＰパケットのＲＴＰペイロードに含めることにより、伝送経路でのフラグメントの発生を許可しない場合（ステップＳ６０８でＮＯ）、以下の動作を行う。

すなわち、ＲＴＰパケット作成部２５は、上記複数のＴＳパケットをたとえば１キロバイト程度の大きさに分割し、分割した上記複数のＴＳパケットにＲＴＰヘッダを付加することにより、複数のＲＴＰパケットを作成する（ステップＳ６１０）。

次に、ＲＴＰパケット作成部２５は、上記複数のＲＴＰパケットにおける先頭のＲＴＰパケットを取得し、取得したＲＴＰパケットの、たとえば図２の（Ｄ）または（Ｅ）に示すＲＴＰペイロードの先頭部分にＡＵ情報を書込む。この際、ＲＴＰパケット作成部２５は、同じＡＵに対応する上記複数のＴＳパケットを含むＲＴＰパケットには、同じＡＵ情報を書込む（ステップＳ６１２）。

次に、ＲＴＰパケット作成部２５は、上記ＲＴＰパケットのＲＴＰヘッダにおける「シーケンス番号」のフィールドに、シーケンス番号を書込んだ後、当該シーケンス番号をインクリメントする（ステップＳ６１４）。

次に、ＲＴＰパケット作成部２５は、上記ＲＴＰパケットが上記複数のＲＴＰパケットにおける最終パケットでない場合（ステップＳ６１６でＮＯ）、以下の処理を行う。すなわち、ＲＴＰパケット作成部２５は、次のＲＴＰパケットを取得し、取得したＲＴＰパケットのＲＴＰペイロードの先頭部分にＡＵ情報を書込む。この際、ＲＴＰパケット作成部２５は、同じＡＵに対応する上記複数のＴＳパケットを含むＲＴＰパケットには、同じＡＵ情報を書込む（ステップＳ６１２）。

また、ＲＴＰパケット作成部２５は、たとえば１つのジャンボＲＴＰパケットに１つのアクセスユニットに含まれる番組画像を含めるために、伝送経路でのフラグメントの発生を許可する場合（ステップＳ６０８でＹＥＳ）、以下の動作を行う。

すなわち、ＲＴＰパケット作成部２５は、上記ジャンボＲＴＰパケットの、たとえば図２の（Ｄ）または（Ｅ）に示すＲＴＰペイロードの先頭部分にＡＵ情報を書込む。この際、ＲＴＰパケット作成部２５は、同じＡＵに対応する上記複数のＴＳパケットを含むＲＴＰパケットには、同じＡＵ情報を書込む（ステップＳ６１８）。

次に、ＲＴＰパケット作成部２５は、上記ジャンボＲＴＰパケットのＲＴＰヘッダにおける「シーケンス番号」のフィールドに、シーケンス番号を書込んだ後、当該シーケンス番号をインクリメントする（ステップＳ６２０）。

以上の動作により、ＲＴＰパケット作成部２５は、上記複数のＴＳパケットを含むＲＴＰパケットのＲＴＰペイロードの先頭部分において、ＡＵ情報が含まれるＲＴＰパケットを作成する。

上記のように、ＲＴＰパケット作成部２５は、ステップＳ６１２およびステップＳ６１８において、ＲＴＰパケットのＲＴＰペイロードの先頭部分にＡＵ情報を書込む。画像パケット受信装置４０は、たとえば局側装置２０から複数のＩＰ／ＵＤＰ／ＲＴＰパケットを受けても、当該複数のＩＰ／ＵＤＰ／ＲＴＰパケットのＲＴＰペイロードの先頭部分を参照することにより、同じＡＵ情報を含むＩＰ／ＵＤＰ／ＲＴＰパケットを選別することができる。これにより、画像パケット受信装置４０は、当該複数のＩＰ／ＵＤＰ／ＲＴＰパケットに含まれる画像の情報を詳細に解析することなく、同じタイミングで処理すべき画像の情報を取得することができる。

また、ＲＴＰパケット作成部２５は、ステップＳ６０６において、ＲＴＰペイロードにおいてＩＤＲピクチャを含むＲＴＰパケットの「シーケンス番号」のフィールドに付与するシーケンス番号を０にリセットする。

また、ＲＴＰパケット作成部２５は、ステップＳ６１４およびステップＳ６２０において、ＲＴＰパケットにシーケンス番号を付与する。これにより、画像パケット受信装置４０は、たとえば局側装置２０から複数のＲＴＰパケットを受信すると、受信した複数のＲＴＰパケットにおいて、シーケンス番号を参照することにより、当該複数のＲＴＰパケットの順序を特定することができる。

なお、ＲＴＰパケット作成部２５は、ステップＳ６１２およびステップＳ６１８において、たとえばジャンボＲＴＰパケットのＲＴＰペイロードの先頭部分に、３ビットのピクチャタイプおよび５ビットのＡＵ情報を書込んでもよい。

すなわち、ＡＵ情報およびピクチャタイプは、ＲＴＰパケットにおいて、ＲＴＰヘッダまたはＲＴＰ拡張ヘッダの次に配置される。そして、上記複数のＴＳパケットが、ＡＵ情報およびピクチャタイプの次に配置される。

ところで、たとえば同じＡＵに含まれる複数のＮＡＬユニットは、同じタイミングでデコードすることが好ましい。一方、局側装置２０は、たとえばインターネット等のネットワーク１１経由で同じＡＵに含まれる複数のＮＡＬユニットを、別々のセッションで画像パケット受信装置４０へ送信する場合がある。また、上記複数のＮＡＬユニットは、番組画像の情報を伝送するためのユニットであるので、ネットワーク１１経由で上記複数のＮＡＬユニットを送信する際には、ネットワークにおいて情報の伝送が可能なパケットに上記複数のＮＡＬユニットを含める必要がある。

従って、局側装置２０は、セッション毎に、ＮＡＬユニットを含むパケットを更に他のパケットに含めたり、上記ＮＡＬユニットを含むパケットを複数の部分に分割して複数のパケットに含めたりして、上記ＮＡＬユニットを含む複数のパケットを画像パケット受信装置４０へ送信することになる。

これらの場合、画像パケット受信装置４０は、ネットワーク１１経由で複数のＮＡＬユニットを含む複数のパケットを受信する際に、セッション毎に受信した複数のパケットに含まれる上記複数のＮＡＬユニットの一部または全部が、どのＡＵに含めるべきであるかが分からなくなってしまう。このため、上記複数のパケットから上記複数のＮＡＬユニットの一部または全部を取り出すことにより、上記複数のＮＡＬユニットの一部または全部に対応するＡＵを詳細に解析する必要があった。

これに対して、本発明の実施の形態に係る局側装置では、ＲＴＰパケット作成部２５は、基本画像を示す基本画像データを含む基本パケットを生成し、また、基本画像との相関を有し、かつ基本画像と同じタイミングで再生すべき関連画像を、基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを生成する。また、パケット送信部２６は、基本パケットおよび関連パケットを送信する。そして、ＲＴＰパケット作成部２５は、それぞれ基本パケットおよび関連パケットにおける基本画像データおよび関連画像データ用以外のフィールドに、基本パケットおよび関連パケットを互いに対応付けるためのＡＵ情報を挿入する。

このような構成により、受信側の装置は、受信した複数のＩＰ／ＵＤＰ／ＲＴＰパケットにおけるＲＴＰペイロードに含まれる画像データを詳細に解析することなく、ＡＵ情報に基づいて、当該複数のＩＰ／ＵＤＰ／ＲＴＰパケット間の対応関係を取得することができる。

たとえば、局側装置２０が、同じタイミングで処理すべき基本画像データおよび関連画像データを、それぞれ基本画像用のＩＰ／ＵＤＰ／ＲＴＰパケットおよび関連画像用のＩＰ／ＵＤＰ／ＲＴＰパケットに含めて、基本画像用のセッションおよび関連画像用のセッションにより送信する。そして、画像パケット受信装置４０は、当該基本画像用のＩＰ／ＵＤＰ／ＲＴＰパケットおよび当該関連画像用のＩＰ／ＵＤＰ／ＲＴＰパケットを、局側装置２０から、それぞれ基本画像用のセッションおよび関連画像用のセッションにより受信する。この場合においても、画像パケット受信装置４０は、当該基本画像用のＩＰ／ＵＤＰ／ＲＴＰパケットおよび当該関連画像用のＩＰ／ＵＤＰ／ＲＴＰパケットに含まれるＡＵ情報を参照することにより、当該基本画像用のＩＰ／ＵＤＰ／ＲＴＰパケットおよび当該関連画像用のＩＰ／ＵＤＰ／ＲＴＰパケットにおいて、どれが同じタイミングで処理すべき画像データを含むＩＰ／ＵＤＰ／ＲＴＰパケットであるかを選別することができる。

また、本発明の実施の形態に係る局側装置では、ＲＴＰパケット作成部２５は、基本画像データをＲＴＰペイロードに含む基本パケットを生成し、かつ関連画像データをペイロードに含む関連パケットを生成する。そして、ＲＴＰパケット作成部２５は、それぞれ基本パケットおよび関連パケットのＲＴＰヘッダにＡＵ情報を挿入する。

このように、基本パケットおよび関連パケットのＲＴＰヘッダに挿入されたＡＵ情報を参照することにより、上記各パケットのＲＴＰペイロードに含まれる画像データを詳細に解析することなく、上記各パケット間の対応関係を取得することができる。

また、本発明の実施の形態に係る局側装置では、ＲＴＰパケット作成部２５は、それぞれ基本パケットおよび関連パケットのＲＴＰヘッダにおける「シーケンス番号」のフィールドに、同じシーケンス番号をＡＵ情報として挿入する。

このように、基本パケットおよび関連パケットのＲＴＰヘッダにおけるシーケンス番号を参照し、当該シーケンス番号が同じであることを確認することにより、同じタイミングで処理されるべき画像データを含む基本パケットおよび関連パケットを、容易に対応付けることができる。

また、「シーケンス番号」のフィールドを利用するので、局側装置２０および画像パケット受信装置４０は、既存のフォーマットを用いて、ＡＵ情報が含まれる基本パケットおよび関連パケットを送受信することができる。

また、本発明の実施の形態に係る局側装置では、ＲＴＰパケット作成部２５は、基本画像データを分割してＲＴＰペイロードに含めた複数の基本パケットを生成し、かつ関連画像データを分割してＲＴＰペイロードに含めた複数の関連パケットを生成する。そして、ＲＴＰパケット作成部２５は、それぞれ基本パケットおよび関連パケットのＲＴＰヘッダにおける「シーケンス番号」のフィールドの上位ビット部分に、同じシーケンス番号をＡＵ情報として挿入する。

また、たとえば、局側装置２０が１つのパケットを複数のパケットに分割して画像パケット受信装置４０へ送信する際に、「シーケンス番号」のフィールドにおいてＡＵ情報に用いない下位ビットを、当該複数のパケットの順序を特定するために利用することができる。

また、本発明の実施の形態に係る局側装置では、ＲＴＰパケット作成部２５は、それぞれ基本パケットおよび関連パケットのＲＴＰヘッダにおける「タイムスタンプ」のフィールドに、同じ値のタイムスタンプをＡＵ情報として挿入する。

このように、基本パケットおよび関連パケットのＲＴＰヘッダにおけるタイムスタンプを参照し、当該タイムスタンプが同じであることを確認することにより、同じタイミングで処理されるべき画像データを含む基本パケットおよび関連パケットを、容易に対応付けることができる。

また、「タイムスタンプ」のフィールドを利用するので、局側装置２０および画像パケット受信装置４０は、既存のフォーマットを用いて、ＡＵ情報が含まれる基本パケットおよび関連パケットを送受信することができる。

また、本発明の実施の形態に係る局側装置では、ＲＴＰパケット作成部２５は、それぞれ基本パケットおよび関連パケットのＲＴＰペイロードにおける先頭部分にＡＵ情報を挿入する。

このように、基本パケットおよび関連パケットのＲＴＰペイロードにおける先頭部分に挿入されたＡＵ情報を参照することにより、上記各パケットのＲＴＰペイロードに含まれる画像データを詳細に解析することなく、上記各パケット間の対応関係を取得することができる。

また、本発明の実施の形態に係る画像パケット受信装置では、基本画像を示す基本画像データを含む基本パケット、および基本画像との相関を有し、かつ基本画像と同じタイミングで再生すべき関連画像を、基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを受信するための受信部４１と、基本パケットおよび対応の関連パケットに基づいて再生処理を行うためのＲＴＰパケット分析部４２とを備える。そして、ＲＴＰパケット分析部４２は、それぞれ基本パケットおよび関連パケットにおける基本画像データおよび関連画像データ用以外のフィールドに含まれる、基本パケットおよび関連パケットを互いに対応付けるためのＡＵ情報に基づいて、基本パケットおよび関連パケットを対応付ける。

このような構成により、画像パケット受信装置４０は、受信した複数のＩＰ／ＵＤＰ／ＲＴＰパケットにおけるＲＴＰペイロードに含まれる画像データを詳細に解析することなく、ＡＵ情報に基づいて、当該複数のＩＰ／ＵＤＰ／ＲＴＰパケット間の対応関係を取得することができる。

これにより、画像パケット受信装置４０は、複数のＩＰ／ＵＤＰ／ＲＴＰパケットから同じタイミングで処理すべき基本画像データおよび関連画像データを取得できる。そして、画像パケット受信装置４０は、取得した基本画像データおよび関連画像データを、それぞれ基本レイヤデコーダ部４５および拡張レイヤデコーダ部４６においてデコードすることにより、基本画像または関連画像を同じタイミングで適切に再生することができる。

また、本発明の実施の形態に係る画像伝送システムでは、局側装置２０と、画像パケット受信装置４０とを備える。そして、局側装置２０は、基本画像を示す基本画像データを含む基本パケットを生成して送信し、かつ、基本画像との相関を有し、かつ基本画像と同じタイミングで再生すべき関連画像を、基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを生成して送信する。そして、局側装置２０は、それぞれ基本パケットおよび関連パケットにおける基本画像データおよび関連画像データ用以外のフィールドに、基本パケットおよび関連パケットを互いに対応付けるためのＡＵ情報を挿入する。また、画像パケット受信装置４０は、基本パケットおよび関連パケットを受信し、基本画像データおよび関連画像データに含まれるＡＵ情報に基づいて、基本パケットおよび関連パケットを対応付け、基本パケットおよび対応の関連パケットに基づいて再生処理を行なう。

なお、本発明の実施の形態に係る局側装置２０および画像パケット受信装置４０は、Ｈ．２６４／ＡＶＣにおけるＭＶＣ規格およびＳＶＣ規格に従う画像データの処理を行なう構成であるとしたが、これに限定するものではない。他の規格に従う画像データの処理を行なう構成であってもよい。

また、本発明の実施の形態に係る局側装置２０は、ある複数のＲＴＰパケットにおける番組画像のデータが同じＡＵに含まれる場合、各ＲＴＰパケットのＲＴＰヘッダ、ＲＴＰ拡張ヘッダまたはＲＴＰペイロードの先頭部分等の番組画像のデータに使用しないフィールドに同じＡＵ情報を書込む構成であるとしたが、これに限定するものではない。局側装置２０は、ある複数のＲＴＰパケットの番組画像のデータが同じＡＵに含まれる場合でも、各ＲＴＰパケットに異なるＡＵ情報を書込む構成にしてもよい。

局側装置２０は、たとえばＡＵ情報の書き込むために１６ビットのフィールドが使用可能である場合、上位４ビットのフィールドをセッションの区別に利用し、また、下位１２ビットのフィールドをＡＵの特定に利用してもよい。これにより、画像パケット受信装置４０は、ポート番号を取得しなくても、ＡＵ情報を参照することにより、ＲＴＰパケットに含まれる番組画像のデータに対応するＡＵおよびセッションを識別することができる。

また、局側装置２０および画像パケット受信装置４０は、所定の取り決めをすることにより、ＡＵ情報を識別してもよい。具体的には、局側装置２０および画像パケット受信装置４０は、たとえばＡＵ情報を書き込むために８ビットのフィールドが使用可能である場合、１６進数表記における当該８ビットのとる値が、０ｘ００から０ｘＦＦまでのように、１桁目および２桁目が同じ値であると同じＡＵに対応すると判断する。

また、所定の取り決めの他の一例として、局側装置２０および画像パケット受信装置４０は、たとえば当該８ビットのとる値が、０ｘ０１から０ｘＦ０までのように、２桁目の値が１桁目の値より１だけ小さい場合、同じＡＵに対応すると判断する。これにより、局側装置２０および画像パケット受信装置４０は、ＲＴＰパケットに異なるＡＵ情報が含まれる場合においても、当該複数のＲＴＰパケット間の対応関係を取得することができる。

上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１０画像伝送システム
１１ネットワーク
１２表示装置
２０局側装置（画像パケット送信装置）
２１基本レイヤ番組画像作成部
２２拡張レイヤ番組画像作成部
２３ＰＥＳ作成部
２４ＴＳパケット作成部
２５ＲＴＰパケット作成部（基本パケット生成部および関連パケット生成部）
２６送信部（基本パケット送信部および関連パケット送信部）
４０画像パケット受信装置
４１受信部（基本パケット受信部および関連パケット受信部）
４２ＲＴＰパケット分析部（再生処理部）
４３ＴＳパケット再生部
４４ＰＥＳ再生部
４５基本レイヤデコーダ部
４６拡張レイヤデコーダ部

Claims

基本画像を示す基本画像データを含む基本パケットを生成するための基本パケット生成部と、
前記基本パケットを送信するための基本パケット送信部と、
前記基本画像との相関を有し、かつ前記基本画像と同じタイミングで再生すべき関連画像を、前記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを生成するための関連パケット生成部と、
前記関連パケットを送信するための関連パケット送信部とを備え、
前記基本パケット生成部および前記関連パケット生成部は、それぞれ前記基本パケットおよび前記関連パケットにおける前記基本画像データおよび前記関連画像データ用以外のフィールドに、前記基本パケットおよび前記関連パケットを互いに対応付けるための対応情報を挿入する、画像パケット送信装置。
前記基本パケット生成部は、前記基本画像データをペイロードに含む基本パケットを生成し、
前記関連パケット生成部は、前記関連画像データをペイロードに含む関連パケットを生成し、
前記基本パケット生成部および前記関連パケット生成部は、それぞれ前記基本パケットおよび前記関連パケットのヘッダに前記対応情報を挿入する、請求項１に記載の画像パケット送信装置。
前記基本パケット生成部および前記関連パケット生成部は、それぞれ前記基本パケットおよび前記関連パケットのヘッダにおけるシーケンス番号フィールドに、同じシーケンス番号を前記対応情報として挿入する、請求項２に記載の画像パケット送信装置。
前記基本パケット生成部は、前記基本画像データを分割してペイロードに含めた複数の基本パケットを生成し、
前記関連パケット生成部は、前記関連画像データを分割してペイロードに含めた複数の関連パケットを生成し、
前記基本パケット生成部および前記関連パケット生成部は、それぞれ前記基本パケットおよび前記関連パケットのヘッダにおけるシーケンス番号フィールドの上位ビット部分に、同じシーケンス番号を前記対応情報として挿入する、請求項３に記載の画像パケット送信装置。
前記基本パケット生成部および前記関連パケット生成部は、それぞれ前記基本パケットおよび前記関連パケットのヘッダにおける時刻情報フィールドに、同じ値の時刻情報を前記対応情報として挿入する、請求項２に記載の画像パケット送信装置。
前記基本パケット生成部および前記関連パケット生成部は、それぞれ前記基本パケットおよび前記関連パケットのペイロードにおける先頭部分に前記対応情報を挿入する、請求項１に記載の画像パケット送信装置。
基本画像を示す基本画像データを含む基本パケットを受信するための基本パケット受信部と、
前記基本画像との相関を有し、かつ前記基本画像と同じタイミングで再生すべき関連画像を、前記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを受信するための関連パケット受信部と、
前記基本パケットおよび対応の前記関連パケットに基づいて再生処理を行うための再生処理部とを備え、
前記再生処理部は、それぞれ前記基本パケットおよび前記関連パケットにおける前記基本画像データおよび前記関連画像データ用以外のフィールドに含まれる、前記基本パケットおよび前記関連パケットを互いに対応付けるための対応情報に基づいて、前記基本パケットおよび前記関連パケットを対応付ける、画像パケット受信装置。
画像パケット送信装置と、画像パケット受信装置とを備える画像伝送システムであって、
前記画像パケット送信装置は、基本画像を示す基本画像データを含む基本パケットを生成して送信し、かつ、前記基本画像との相関を有し、かつ前記基本画像と同じタイミングで再生すべき関連画像を、前記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを生成して送信し、
前記画像パケット送信装置は、それぞれ前記基本パケットおよび前記関連パケットにおける前記基本画像データおよび前記関連画像データ用以外のフィールドに、前記基本パケットおよび前記関連パケットを互いに対応付けるための対応情報を挿入し、
画像パケット受信装置は、前記基本パケットおよび前記関連パケットを受信し、前記基本画像データおよび前記関連画像データに含まれる前記対応情報に基づいて、前記基本パケットおよび前記関連パケットを対応付け、前記基本パケットおよび対応の前記関連パケットに基づいて再生処理を行なう、画像伝送システム。
基本画像を示す基本画像データを含む基本パケットを生成するステップと、
前記基本画像との相関を有し、かつ前記基本画像と同じタイミングで再生すべき関連画像を、前記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを生成するステップと、
それぞれ前記基本パケットおよび前記関連パケットにおける前記基本画像データおよび前記関連画像データ用以外のフィールドに、前記基本パケットおよび前記関連パケットを互いに対応付けるための対応情報を挿入するステップと、
前記基本パケットを送信するステップと、
前記関連パケットを送信するステップとを含む、画像伝送方法。
基本画像を示す基本画像データを含む基本パケットを受信するステップと、
前記基本画像との相関を有し、かつ前記基本画像と同じタイミングで再生すべき関連画像を、前記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを受信するステップと、
前記基本パケットおよび対応の前記関連パケットに基づいて再生処理を行うステップと、
それぞれ前記基本パケットおよび前記関連パケットにおける前記基本画像データおよび前記関連画像データ用以外のフィールドに含まれる、前記基本パケットおよび前記関連パケットを互いに対応付けるための対応情報に基づいて、前記基本パケットおよび前記関連パケットを対応付けるステップとを含む、画像伝送方法。
画像パケット送信装置において用いられる画像伝送プログラムであって、コンピュータに、
基本画像を示す基本画像データを含む基本パケットを生成するステップと、
前記基本画像との相関を有し、かつ前記基本画像と同じタイミングで再生すべき関連画像を、前記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを生成するステップと、
それぞれ前記基本パケットおよび前記関連パケットにおける前記基本画像データおよび前記関連画像データ用以外のフィールドに、前記基本パケットおよび前記関連パケットを互いに対応付けるための対応情報を挿入するステップと、
前記基本パケットを送信するステップと、
前記関連パケットを送信するステップとを実行させるための、画像伝送プログラム。
画像パケット受信装置において用いられる画像伝送プログラムであって、コンピュータに、
基本画像を示す基本画像データを含む基本パケットを受信するステップと、
前記基本画像との相関を有し、かつ前記基本画像と同じタイミングで再生すべき関連画像を、前記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを受信するステップと、
前記基本パケットおよび対応の前記関連パケットに基づいて再生処理を行うステップと、
それぞれ前記基本パケットおよび前記関連パケットにおける前記基本画像データおよび前記関連画像データ用以外のフィールドに含まれる、前記基本パケットおよび前記関連パケットを互いに対応付けるための対応情報に基づいて、前記基本パケットおよび前記関連パケットを対応付けるステップとを実行させるための、画像伝送プログラム。