JP2013219514A - 画像パケット送信装置、画像パケット受信装置、画像伝送システム、画像伝送方法および画像伝送プログラム - Google Patents

画像パケット送信装置、画像パケット受信装置、画像伝送システム、画像伝送方法および画像伝送プログラム Download PDF

Info

Publication number
JP2013219514A
JP2013219514A JP2012087753A JP2012087753A JP2013219514A JP 2013219514 A JP2013219514 A JP 2013219514A JP 2012087753 A JP2012087753 A JP 2012087753A JP 2012087753 A JP2012087753 A JP 2012087753A JP 2013219514 A JP2013219514 A JP 2013219514A
Authority
JP
Japan
Prior art keywords
packet
basic
image
rtp
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012087753A
Other languages
English (en)
Inventor
Toshihiro Takashima
稔弘 高島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Sumitomo Electric Networks Inc
Original Assignee
Sumitomo Electric Industries Ltd
Sumitomo Electric Networks Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd, Sumitomo Electric Networks Inc filed Critical Sumitomo Electric Industries Ltd
Priority to JP2012087753A priority Critical patent/JP2013219514A/ja
Publication of JP2013219514A publication Critical patent/JP2013219514A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】画像データを含む複数のパケットを伝送する構成において、受信側の装置が、画像データを詳細に解析することなく、当該複数のパケット間の対応関係を取得する。
【解決手段】局側装置20は、基本画像を示す基本画像データを含む基本パケットを生成し、また、基本画像との相関を有し、かつ基本画像と同じタイミングで再生すべき関連画像を、基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを生成するためのRTPパケット作成部25と、基本パケットおよび関連パケットを送信するための送信部26とを備える。そして、RTPパケット作成部25は、それぞれ基本パケットおよび関連パケットにおける基本画像データおよび関連画像データ用以外のフィールドに、基本パケットおよび関連パケットを互いに対応付けるための対応情報を挿入する。
【選択図】図3

Description

本発明は、画像パケット送信装置、画像パケット受信装置、画像伝送システム、画像伝送方法および画像伝送プログラムに関し、特に、画像データを含む複数のパケットを伝送する構成において、受信側の装置が、画像データを詳細に解析することなく、当該複数のパケット間の対応関係を取得することが可能な画像パケット送信装置、画像パケット受信装置、画像伝送システム、画像伝送方法および画像伝送プログラムに関する。
非特許文献1では、同じタイミングで表示すべき複数の番組画像を扱う、H.264/AVCにおけるMVC(Multi Video Coding)規格およびSVC(Scalable Video Coding)規格について記載されている。MVC規格は、たとえば、高い臨場感を得られる3D(Three Dimensions)映像における左目用の番組画像および右目用の番組画像のように、同じタイミングで表示すべき複数の番組画像の符号化およびフォーマットを定めている。
また、SVC規格は、解像度または品質が異なるが、同じタイミングで表示すべき複数の番組画像、および隣接するフレームにおける複数の番組画像の符号化およびフォーマットを定めている。この規格により、デコードした番組画像を再符号化することなく、当該番組画像の品質または解像度を向上させたり、低下させたりすることが可能となる。
MVC規格およびSVC規格において扱われる、同じタイミングで表示すべき複数の番組画像は、互いによく似ている。たとえば、同じタイミングで表示すべき2枚の番組画像において、2枚目の番組画像を符号化する際に、1枚目の番組画像をベースとして予測符号化等の符号化処理を行うことにより、高い圧縮率で当該2枚目の番組画像を符号化することができる。これにより、2枚目の番組画像は、1枚目の番組画像を符号化したデータに、差分のデータを追加することにより復号することができる。H.264/AVCでは、上記1枚目の番組画像を符号化したデータおよび上記差分のデータは、それぞれNAL(Network Abstraction Layer)ユニットに含められる。また、上記各データ用の複数のNALユニットは、同じタイミングで処理されるべきであるので、同じAU(Access Unit)に含められる。
また、送信側の装置は、MVC規格またはSVC規格における、同じタイミングで表示すべき複数の番組画像、すなわち同じAUに含まれる番組画像をたとえばネットワーク経由で送信する場合、上記複数の番組画像を別々のセッションで受信側の装置へ送信する。
たとえば、送信側の装置は、3Dの番組画像を受信側の装置へ送信する場合、同じAUに含まれる左目用の番組画像および右目用の番組画像を、別々のセッションID、すなわちポート番号で受信側の装置へ送信する。受信側の装置は、3Dの番組画像の再生を行わない場合、たとえば上記左目用の番組画像に対応するポート番号で送られてくる番組画像のみを受信する。これにより、受信側の装置は、必要の無い上記右目用の番組画像の受信処理を行わなくてもよい。一方、受信側の装置は、3Dの番組画像の再生を行う場合、上記左目用の番組画像に対応するポート番号で送られてくる番組画像に加えて、上記右目用の番組画像に対応するポート番号で送られてくる番組画像も受信する。これにより、受信側の装置は、3Dの番組画像を再生することができる。
H.264/AVC教科書、インプレスR&D、改訂三版、2008年12月26日
非特許文献1に記載の技術において、たとえば同じAUに含まれる複数のNALユニットは、同じタイミングでデコードすることが好ましい。一方、送信側の装置は、たとえばインターネット等のネットワーク経由で同じAUに含まれる複数のNALユニットを受信側の装置へ送信する場合、別々のセッションで受信側の装置へ上記複数のNALユニットを送信する場合がある。また、上記複数のNALユニットは、番組画像の情報を伝送するためのユニットであるので、ネットワーク経由で上記複数のNALユニットを送信する際には、ネットワークにおいて情報の伝送が可能なパケットに上記複数のNALユニットを含める必要がある。
従って、送信側の装置は、セッション毎に、NALユニットを含むパケットを更に他のパケットに含めたり、上記NALユニットを含むパケットを複数の部分に分割して複数のパケットに含めたりして、上記NALユニットを含む複数のパケットを受信側の装置へ送信することになる。
これらの場合、受信側の装置は、ネットワーク経由で複数のNALユニットを含む複数のパケットを受信する際に、セッション毎に受信した複数のパケットに含まれる上記複数のNALユニットの一部または全部を、どのAUに含めるべきであるかが分からなくなってしまう。このため、上記複数のパケットから上記複数のNALユニットの一部または全部を取り出すことにより、上記複数のNALユニットの一部または全部に対応するAUを詳細に解析する必要があった。
この発明は、上述の課題を解決するためになされたもので、その目的は、画像データを含む複数のパケットを伝送する構成において、受信側の装置が、画像データを詳細に解析することなく、当該複数のパケット間の対応関係を取得することが可能な画像パケット送信装置、画像パケット受信装置、画像伝送システム、画像伝送方法および画像伝送プログラムを提供することである。
(1)上記課題を解決するために、この発明のある局面に係わる画像パケット送信装置は、基本画像を示す基本画像データを含む基本パケットを生成するための基本パケット生成部と、上記基本パケットを送信するための基本パケット送信部と、上記基本画像との相関を有し、かつ上記基本画像と同じタイミングで再生すべき関連画像を、上記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを生成するための関連パケット生成部と、上記関連パケットを送信するための関連パケット送信部とを備え、上記基本パケット生成部および上記関連パケット生成部は、それぞれ上記基本パケットおよび上記関連パケットにおける上記基本画像データおよび上記関連画像データ用以外のフィールドに、上記基本パケットおよび上記関連パケットを互いに対応付けるための対応情報を挿入する。
このような構成により、受信側の装置は、受信した基本パケットまたは関連パケットに含まれる基本画像データまたは関連画像データを詳細に解析することなく、対応情報に基づいて、当該基本パケットまたは関連パケット間の対応関係を取得することができる。
たとえば、画像パケット送信装置が、同じタイミングで処理すべき基本画像データおよび関連画像データを、それぞれ基本パケットおよび関連パケットに含めて、基本画像用のセッションおよび関連画像用のセッションにより送信する。そして、受信側の装置は、当該基本パケットおよび当該関連パケットを、画像パケット送信装置から、それぞれ基本画像用のセッションおよび関連画像用のセッションにより受信する。この場合においても、受信側の装置は、当該基本パケットおよび当該関連パケットに含まれる対応情報を参照することにより、当該基本パケットおよび当該関連パケットにおいて、どれが同じタイミングで処理すべき画像データを含むパケットであるかを選別することができる。
(2)好ましくは、上記基本パケット生成部は、上記基本画像データをペイロードに含む基本パケットを生成し、上記関連パケット生成部は、上記関連画像データをペイロードに含む関連パケットを生成し、上記基本パケット生成部および上記関連パケット生成部は、それぞれ上記基本パケットおよび上記関連パケットのヘッダに上記対応情報を挿入する。
このように、基本パケットおよび関連パケットのヘッダに挿入された対応情報を参照することにより、上記各パケットのペイロードに含まれる画像データを詳細に解析することなく、上記各パケット間の対応関係を取得することができる。
(3)より好ましくは、上記基本パケット生成部および上記関連パケット生成部は、それぞれ上記基本パケットおよび上記関連パケットのヘッダにおけるシーケンス番号フィールドに、同じシーケンス番号を上記対応情報として挿入する。
このように、基本パケットおよび関連パケットのヘッダにおけるシーケンス番号を参照し、当該シーケンス番号が同じであることを確認することにより、同じタイミングで処理されるべき画像データを含む基本パケットおよび関連パケットを、容易に対応付けることができる。
また、シーケンス番号フィールドを利用するので、画像パケット送信装置および受信側の装置は、既存のフォーマットを用いて、対応情報が含まれる基本パケットおよび関連パケットを送受信することができる。
(4)より好ましくは、上記基本パケット生成部は、上記基本画像データを分割してペイロードに含めた複数の基本パケットを生成し、上記関連パケット生成部は、上記関連画像データを分割してペイロードに含めた複数の関連パケットを生成し、上記基本パケット生成部および上記関連パケット生成部は、それぞれ上記基本パケットおよび上記関連パケットのヘッダにおけるシーケンス番号フィールドの上位ビット部分に、同じシーケンス番号を上記対応情報として挿入する。
このような構成により、同じタイミングで処理されるべき画像データを含む基本パケットおよび関連パケットを、容易に対応付けることができる。
また、たとえば、画像パケット送信装置が1つのパケットを複数のパケットに分割して受信側の装置へ送信する際に、シーケンス番号フィールドにおいて対応情報に用いない下位ビットを、当該複数のパケットの順序を特定するために利用することができる。
(5)より好ましくは、上記基本パケット生成部および上記関連パケット生成部は、それぞれ上記基本パケットおよび上記関連パケットのヘッダにおける時刻情報フィールドに、同じ値の時刻情報を上記対応情報として挿入する。
このように、基本パケットおよび関連パケットのヘッダにおける時刻情報を参照し、当該時刻情報が同じであることを確認することにより、同じタイミングで処理されるべき画像データを含む基本パケットおよび関連パケットを、容易に対応付けることができる。
また、時刻情報フィールドを利用するので、画像パケット送信装置および受信側の装置は、既存のフォーマットを用いて、対応情報が含まれる基本パケットおよび関連パケットを送受信することができる。
(6)好ましくは、上記基本パケット生成部および上記関連パケット生成部は、それぞれ上記基本パケットおよび上記関連パケットのペイロードにおける先頭部分に上記対応情報を挿入する。
このように、基本パケットおよび関連パケットのペイロードにおける先頭部分に挿入された対応情報を参照することにより、上記各パケットのペイロードに含まれる画像データを詳細に解析することなく、上記各パケット間の対応関係を取得することができる。
(7)また、この発明の別の局面に係わる画像パケット受信装置は、基本画像を示す基本画像データを含む基本パケットを受信するための基本パケット受信部と、上記基本画像との相関を有し、かつ上記基本画像と同じタイミングで再生すべき関連画像を、上記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを受信するための関連パケット受信部と、上記基本パケットおよび対応の上記関連パケットに基づいて再生処理を行うための再生処理部とを備え、上記再生処理部は、それぞれ上記基本パケットおよび上記関連パケットにおける上記基本画像データおよび上記関連画像データ用以外のフィールドに含まれる、上記基本パケットおよび上記関連パケットを互いに対応付けるための対応情報に基づいて、上記基本パケットおよび上記関連パケットを対応付ける。
このような構成により、画像パケット受信装置は、受信した基本パケットまたは関連パケットに含まれる基本画像データまたは関連画像データを詳細に解析することなく、対応情報に基づいて、当該基本パケットまたは関連パケット間の対応関係を取得することができる。
たとえば、送信側の装置が、同じタイミングで処理すべき基本画像データおよび関連画像データを、それぞれ基本パケットおよび関連パケットに含めて、基本画像用のセッションおよび関連画像用のセッションにより送信する。そして、画像パケット受信装置は、当該基本パケットおよび当該関連パケットを、送信側の装置から、それぞれ基本画像用のセッションおよび関連画像用のセッションにより受信する。この場合においても、画像パケット受信装置は、当該基本パケットおよび当該関連パケットに含まれる対応情報を参照することにより、当該基本パケットおよび当該関連パケットにおいて、どれが同じタイミングで処理すべき画像データを含むパケットであるかを選別することができる。
これにより、画像パケット受信装置は、基本パケットまたは関連パケットから同じタイミングで処理すべき基本画像データおよび関連画像データを取得できる。そして、画像パケット受信装置は、取得した基本画像データおよび関連画像データを、それぞれデコーダにおいてデコードすることにより、基本画像または関連画像を同じタイミングで適切に再生することができる。
(8)また、この発明のある局面に係わる画像伝送システムは、画像パケット送信装置と、画像パケット受信装置とを備える画像伝送システムであって、上記画像パケット送信装置は、基本画像を示す基本画像データを含む基本パケットを生成して送信し、かつ、上記基本画像との相関を有し、かつ上記基本画像と同じタイミングで再生すべき関連画像を、上記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを生成して送信し、上記画像パケット送信装置は、それぞれ上記基本パケットおよび上記関連パケットにおける上記基本画像データおよび上記関連画像データ用以外のフィールドに、上記基本パケットおよび上記関連パケットを互いに対応付けるための対応情報を挿入し、画像パケット受信装置は、上記基本パケットおよび上記関連パケットを受信し、上記基本画像データおよび上記関連画像データに含まれる上記対応情報に基づいて、上記基本パケットおよび上記関連パケットを対応付け、上記基本パケットおよび対応の上記関連パケットに基づいて再生処理を行なう。
このような構成により、画像パケット受信装置は、受信した基本パケットまたは関連パケットに含まれる基本画像データまたは関連画像データを詳細に解析することなく、対応情報に基づいて、当該基本パケットまたは関連パケット間の対応関係を取得することができる。
たとえば、画像パケット送信装置が、同じタイミングで処理すべき基本画像データおよび関連画像データを、それぞれ基本パケットおよび関連パケットに含めて、基本画像用のセッションおよび関連画像用のセッションにより送信する。そして、画像パケット受信装置は、当該基本パケットおよび当該関連パケットを、画像パケット送信装置から、それぞれ基本画像用のセッションおよび関連画像用のセッションにより受信する。この場合においても、画像パケット受信装置は、当該基本パケットおよび当該関連パケットに含まれる対応情報を参照することにより、当該基本パケットおよび当該関連パケットにおいて、どれが同じタイミングで処理すべき画像データを含むパケットであるかを選別することができる。
これにより、画像パケット受信装置は、基本パケットまたは関連パケットから同じタイミングで処理すべき基本画像データおよび関連画像データを取得できる。そして、画像パケット受信装置は、取得した基本画像データおよび関連画像データを、それぞれデコーダにおいてデコードすることにより、基本画像または関連画像を同じタイミングで適切に再生することができる。
(9)また、この発明のある局面に係わる画像伝送方法は、基本画像を示す基本画像データを含む基本パケットを生成するステップと、上記基本画像との相関を有し、かつ上記基本画像と同じタイミングで再生すべき関連画像を、上記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを生成するステップと、それぞれ上記基本パケットおよび上記関連パケットにおける上記基本画像データおよび上記関連画像データ用以外のフィールドに、上記基本パケットおよび上記関連パケットを互いに対応付けるための対応情報を挿入するステップと、上記基本パケットを送信するステップと、上記関連パケットを送信するステップとを含む。
このような構成により、受信側の装置は、受信した基本パケットまたは関連パケットに含まれる基本画像データまたは関連画像データを詳細に解析することなく、対応情報に基づいて、当該基本パケットまたは関連パケット間の対応関係を取得することができる。
たとえば、画像パケット送信装置が、同じタイミングで処理すべき基本画像データおよび関連画像データを、それぞれ基本パケットおよび関連パケットに含めて、基本画像用のセッションおよび関連画像用のセッションにより送信する。そして、受信側の装置は、当該基本パケットおよび当該関連パケットを、画像パケット送信装置から、それぞれ基本画像用のセッションおよび関連画像用のセッションにより受信する。この場合においても、受信側の装置は、当該基本パケットおよび当該関連パケットに含まれる対応情報を参照することにより、当該基本パケットおよび当該関連パケットにおいて、どれが同じタイミングで処理すべき画像データを含むパケットであるかを選別することができる。
(10)また、この発明の別の局面に係わる画像伝送方法は、基本画像を示す基本画像データを含む基本パケットを受信するステップと、上記基本画像との相関を有し、かつ上記基本画像と同じタイミングで再生すべき関連画像を、上記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを受信するステップと、上記基本パケットおよび対応の上記関連パケットに基づいて再生処理を行うステップと、それぞれ上記基本パケットおよび上記関連パケットにおける上記基本画像データおよび上記関連画像データ用以外のフィールドに含まれる、上記基本パケットおよび上記関連パケットを互いに対応付けるための対応情報に基づいて、上記基本パケットおよび上記関連パケットを対応付けるステップとを含む。
このような構成により、画像パケット受信装置は、受信した基本パケットまたは関連パケットに含まれる基本画像データまたは関連画像データを詳細に解析することなく、対応情報に基づいて、当該基本パケットまたは関連パケット間の対応関係を取得することができる。
たとえば、送信側の装置が、同じタイミングで処理すべき基本画像データおよび関連画像データを、それぞれ基本パケットおよび関連パケットに含めて、基本画像用のセッションおよび関連画像用のセッションにより送信する。そして、画像パケット受信装置は、当該基本パケットおよび当該関連パケットを、送信側の装置から、それぞれ基本画像用のセッションおよび関連画像用のセッションにより受信する。この場合においても、画像パケット受信装置は、当該基本パケットおよび当該関連パケットに含まれる対応情報を参照することにより、当該基本パケットおよび当該関連パケットにおいて、どれが同じタイミングで処理すべき画像データを含むパケットであるかを選別することができる。
これにより、画像パケット受信装置は、基本パケットまたは関連パケットから同じタイミングで処理すべき基本画像データおよび関連画像データを取得できる。そして、画像パケット受信装置は、取得した基本画像データおよび関連画像データを、それぞれデコーダにおいてデコードすることにより、基本画像または関連画像を同じタイミングで適切に再生することができる。
(11)また、この発明のある局面に係わる画像伝送プログラムは、画像パケット送信装置において用いられる画像伝送プログラムであって、コンピュータに、基本画像を示す基本画像データを含む基本パケットを生成するステップと、上記基本画像との相関を有し、かつ上記基本画像と同じタイミングで再生すべき関連画像を、上記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを生成するステップと、それぞれ上記基本パケットおよび上記関連パケットにおける上記基本画像データおよび上記関連画像データ用以外のフィールドに、上記基本パケットおよび上記関連パケットを互いに対応付けるための対応情報を挿入するステップと、上記基本パケットを送信するステップと、上記関連パケットを送信するステップとを実行させるためのプログラムである。
このような構成により、受信側の装置は、受信した基本パケットまたは関連パケットに含まれる基本画像データまたは関連画像データを詳細に解析することなく、対応情報に基づいて、当該基本パケットまたは関連パケット間の対応関係を取得することができる。
たとえば、画像パケット送信装置が、同じタイミングで処理すべき基本画像データおよび関連画像データを、それぞれ基本パケットおよび関連パケットに含めて、基本画像用のセッションおよび関連画像用のセッションにより送信する。そして、受信側の装置は、当該基本パケットおよび当該関連パケットを、画像パケット送信装置から、それぞれ基本画像用のセッションおよび関連画像用のセッションにより受信する。この場合においても、受信側の装置は、当該基本パケットおよび当該関連パケットに含まれる対応情報を参照することにより、当該基本パケットおよび当該関連パケットにおいて、どれが同じタイミングで処理すべき画像データを含むパケットであるかを選別することができる。
(12)また、この発明の別の局面に係わる画像伝送プログラムは、画像パケット受信装置において用いられる画像伝送プログラムであって、コンピュータに、基本画像を示す基本画像データを含む基本パケットを受信するステップと、上記基本画像との相関を有し、かつ上記基本画像と同じタイミングで再生すべき関連画像を、上記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを受信するステップと、上記基本パケットおよび対応の上記関連パケットに基づいて再生処理を行うステップと、それぞれ上記基本パケットおよび上記関連パケットにおける上記基本画像データおよび上記関連画像データ用以外のフィールドに含まれる、上記基本パケットおよび上記関連パケットを互いに対応付けるための対応情報に基づいて、上記基本パケットおよび上記関連パケットを対応付けるステップとを実行させるためのプログラムである。
このような構成により、画像パケット受信装置は、受信した基本パケットまたは関連パケットに含まれる基本画像データまたは関連画像データを詳細に解析することなく、対応情報に基づいて、当該基本パケットまたは関連パケット間の対応関係を取得することができる。
たとえば、送信側の装置が、同じタイミングで処理すべき基本画像データおよび関連画像データを、それぞれ基本パケットおよび関連パケットに含めて、基本画像用のセッションおよび関連画像用のセッションにより送信する。そして、画像パケット受信装置は、当該基本パケットおよび当該関連パケットを、送信側の装置から、それぞれ基本画像用のセッションおよび関連画像用のセッションにより受信する。この場合においても、画像パケット受信装置は、当該基本パケットおよび当該関連パケットに含まれる対応情報を参照することにより、当該基本パケットおよび当該関連パケットにおいて、どれが同じタイミングで処理すべき画像データを含むパケットであるかを選別することができる。
これにより、画像パケット受信装置は、基本パケットまたは関連パケットから同じタイミングで処理すべき基本画像データおよび関連画像データを取得できる。そして、画像パケット受信装置は、取得した基本画像データおよび関連画像データを、それぞれデコーダにおいてデコードすることにより、基本画像または関連画像を同じタイミングで適切に再生することができる。
本発明によれば、画像データを含む複数のパケットを伝送する構成において、受信側の装置が、画像データを詳細に解析することなく、当該複数のパケット間の対応関係を取得することが可能な画像パケット送信装置、画像パケット受信装置、画像伝送システム、画像伝送方法および画像伝送プログラムを提供することである。
本発明の実施の形態に係る画像伝送システムの構成を示す図である。 本発明の実施の形態に係る局側装置および画像パケット受信装置において処理されるパケットまたはユニットの一例を示す図である。 本発明の実施の形態に係る局側装置の構成を示す図である。 本発明の実施の形態に係る局側装置から画像パケット受信装置へ送信されるパケットが作成される過程の一例を示す図である。 本発明の実施の形態に係るRTPパケットのRTPヘッダおよびRTP拡張ヘッダの構造の一例を示す図である。 本発明の実施の形態に係る画像パケット受信装置の構成を示す図である。 本発明の実施の形態に係る局側装置において各レイヤの番組画像の送信処理を行う際の動作手順を定めたフローチャートである。 本発明の実施の形態に係る画像パケット受信装置において各レイヤの番組画像の受信処理を行う際の動作手順を定めたフローチャートである。 本発明の実施の形態に係る局側装置においてRTPパケットのタイムスタンプのフィールドにAU情報が含まれるRTPパケットの作成処理を行う際の動作手順を定めたフローチャートである。 本発明の実施の形態に係る局側装置においてRTPパケットのシーケンス番号のフィールドにAU情報が含まれるRTPパケットの作成処理を行う際の動作手順を定めたフローチャートである。 本発明の実施の形態に係る局側装置においてRTPパケットのRTP拡張ヘッダにAU情報が含まれるRTPパケットの作成処理を行う際の動作手順を定めたフローチャートである。 本発明の実施の形態に係る局側装置においてRTPパケットのRTPペイロードの先頭部分にAU情報が含まれるRTPパケットの作成処理を行う際の動作手順を定めたフローチャートである。
以下、本発明の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。
[画像伝送システムの構成]
図1は、本発明の実施の形態に係る画像伝送システムの構成を示す図である。
図1を参照して、画像伝送システム10は、局側装置(画像パケット送信装置)20と、画像パケット受信装置40とを備える。画像パケット受信装置40は、ネットワーク11を介して局側装置20と接続される。
ネットワーク11は、たとえばインターネットであり、局側装置20は、たとえば画像の情報を含むパケットを、IP(Internet Protocol)によりネットワーク11経由で画像パケット受信装置40へ送信することにより、画像の情報を伝送する。
また、画像パケット受信装置40は、たとえば画像の情報を含むパケットを、IPによりネットワーク11経由で局側装置20から受信し、受信した上記パケットを処理することにより、画像の情報を取得する。
局側装置20による画像の情報の送信処理、および画像パケット受信装置40による画像の情報の受信処理の詳細については、後述する。
[MVC規格またはSVC規格により符号化された画像の情報]
たとえば、局側装置20により送信される番組画像の情報は、H.264/AVCにおける、MVC規格またはSVC規格により符号化された番組画像の情報である。
MVC規格により符号化された番組画像の情報は、たとえば3D(Three Dimensions)の番組画像の情報であり、具体的には、視聴者が視聴時において立体感を体感できるように用意した右目用の番組画像および左目用の番組画像である。
符号化された右目用の番組画像および左目用の番組画像は、たとえばビューID(view_id)により識別され、また、撮影を行ったカメラの位置は異なるが同じ時刻において撮影されたのでよく似ており、相関が高い。
番組画像を符号化するためのエンコーダは、たとえば右目用の番組画像および左目用の番組画像を符号化する際には、まず左目用の番組画像を、ビューIDが0の基本レイヤにおけるベースビュー、すなわち基本画像として符号化する。以下、この符号化後のデータを、基本画像データと称する。
そして、エンコーダは、右目用の番組画像を、左目用の番組画像に基づいた予測符号化により、ビューIDが1の拡張レイヤにおけるエンハンスビュー、すなわち関連画像として符号化する。以下、この符号化後のデータを、関連画像データと称する。
すなわち、右目用の番組画像を符号化した関連画像データは、差分のデータであり、左目用の番組画像を符号化した基本画像データに当該差分のデータを追加することにより、右目用の番組画像を作成することができる。
これにより、エンコーダは、左目用の番組画像および右目用の番組画像を高い圧縮率により符号化することができる。なお、ベースビュー1枚に対するエンハンスビューの枚数は、1枚とは限らず、2枚以上でも構わない。
また、SVC規格は、空間スケーラビリティ、SNR(Signal to Noise Ratio)スケーラビリティまたは時間スケーラビリティに応じて、粗い情報から細かい情報へと、番組画像を階層的に符号化する際のフォーマットを定める。
空間スケーラビリティの例として、エンコーダは、たとえば、ある番組画像を符号化する際に、上記番組画像を異なる解像度または異なるSNRを持つ複数の番組画像に符号化する。解像度が異なる複数の番組画像は、たとえばディペンデンシーID(depandency_id)であるDIDにより識別される。
また、SNRスケーラビリティの例として、SNRが異なる複数の番組画像は、たとえばクオリティID(quality_id)であるQIDにより識別される。
また、時間スケーラビリティの例として、エンコーダは、たとえば同じカメラで異なる時刻に撮影された複数の番組画像を符号化する。上記複数の番組画像は、たとえばテンポラルID(temporal_id)であるTIDにより識別される。
符号化された番組画像は、たとえば(DID,QID,TID)により特定することができる。
たとえば、エンコーダは、基本レイヤにおけるベースビュー、すなわち基本画像として、所定の時刻において撮影された番組画像を、モバイル用の320×180の解像度を持つ画像に符号化する。この場合、基本画像は、(0,0,0)の番組画像と表現される。
また、たとえば、エンコーダは、拡張レイヤにおけるエンハンスビュー、すなわち関連画像として、上記番組画像を、SD(Standard Definition)用の720×480の解像度を持つ画像に符号化する。
この際、エンコーダは、SNRが異なる複数のSDの画像を作成してもよい。たとえば、エンコーダは、拡張レイヤにおけるエンハンスビュー1として、上記番組画像を、(0,0,0)の番組画像をベースとする予測符号化等の符号化処理により、SNRが悪く、かつSD用の解像度を持つ画像に符号化する。この場合、エンハンスビュー1は、(1,0,0)の番組画像と表現される。
また、たとえば、エンコーダは、拡張レイヤにおけるエンハンスビュー2として、上記番組画像を、(1,0,0)の番組画像をベースとする予測符号化等の符号化処理により、SNRがよく、かつSD用の解像度を持つ画像に符号化する。この場合、エンハンスビュー2は、(1,1,0)の番組画像と表現される。
更に、たとえば、エンコーダは、拡張レイヤにおけるエンハンスビュー3として、上記番組画像を、(1,1,0)の番組画像をベースとする予測符号化等の符号化処理により、HD(High Definition)用の1920×1080の解像度を持つ画像に符号化する。この場合、エンハンスビュー3は、(2,0,0)の番組画像と表現される。
すなわち、ベースビューの番組画像を基に、階層的に予測符号化を繰り返すことによって、エンハンスビュー1、エンハンスビュー2およびエンハンスビュー3が作成される。また、ベースビュー、エンハンスビュー1、エンハンスビュー2およびエンハンスビュー3は、元は同じ画像であるので互いによく似ているため、高い圧縮率により符号化することができる。なお、ベースビュー1枚に対するエンハンスビューの枚数は、3枚とは限らず、何枚でも構わない。
[局側装置および画像パケット受信装置において処理されるパケットまたはユニット]
図2は、本発明の実施の形態に係る局側装置および画像パケット受信装置において処理されるパケットまたはユニットの一例を示す図である。
図2を参照して、局側装置20および画像パケット受信装置40において、たとえば(A)に示すNALユニット、(B)に示すPES(Packetized Elementary Stream)パケット、(C)に示すTS(Transport Stream)パケット、(D)に示すRTP(Realtime Transport Protocol)パケット、(E)に示すRTP拡張ヘッダを含むRTPパケット、(F)に示すUDP(User Datagram Protocol)/RTPパケット、(G)に示すIP/UDP/RTPパケットが処理される。
図2の(A)に示すNALユニットは、NALヘッダおよびNALペイロードを含む。NALペイロードは、たとえばベースビューまたはエンハンスビューを符号化した基本画像データまたは関連画像データであるRBSP(Raw Byte Sequence Payload)を含む。
たとえば、NALペイロードにおいてMVC規格により符号化された番組画像の情報が含まれる場合、図2の(A)に示すように、NALヘッダはビューIDを含む。また、たとえば、NALペイロードにおいてSVC規格により符号化された番組画像の情報が含まれる場合、NALヘッダは、ディペンデンシーID、クオリティIDおよびテンポラルIDを含む。
図2の(B)に示すPESパケットは、PESヘッダおよびPESペイロードを含む。PESペイロードは、たとえば1または複数のNALユニットを含む。当該NALユニットは、たとえば同じ時刻において表示すべき同一レイヤの番組画像の情報を含む。すなわち、レイヤの異なる番組画像を含むNALユニットは、異なるPESに含まれる。
また、PESヘッダは、たとえばペイロードに含まれるNALユニットの番組画像を表示するタイミングを示すPTS(Presentation Time Stamp)、当該NALユニットのRBSPをデコードするタイミングを示すDTS(Decode Time Stamp)およびストリームIDを含む。
図2の(C)に示すTSパケットは、188バイトの大きさを持ち、TSヘッダおよびTSペイロードを含む。TSペイロードは、たとえばPESを分割した一部を含む。また、TSヘッダは、たとえばペイロードに含まれる一部のPESに対応したPID(Packet Identifier)を含む。
図2の(D)に示すRTPパケットは、RTPヘッダおよびRTPペイロードを含む。RTPペイロードは、たとえば複数のTSパケットを含む。また、RTPヘッダは、シーケンス番号およびタイムスタンプを含む。
また、図2の(E)に示すように、RTPヘッダおよびRTPペイロードの間においてRTP拡張ヘッダを設定してもよい。また、RTPパケットにおけるRTP拡張ヘッダは、RTPヘッダに含められてもよい。
図2の(F)に示すUDPパケットは、UDPヘッダおよびUDPペイロードを含む。UDPペイロードは、たとえばRTPパケットを含む。また、UDPヘッダは、ポート番号を含む。なお、上記のように、UDPパケットのペイロードにおいてRTPパケットを含むパケットを、以下UDP/RTPパケットと称する。
図2の(G)に示すIPパケットは、IPヘッダおよびIPペイロードを含む。IPペイロードは、たとえばUDP/RTPパケットを含む。また、IPヘッダは、IPアドレスを含む。なお、上記のように、IPパケットのペイロードにおいてUDP/RTPパケットを含むパケットを、以下IP/UDP/RTPパケットと称する。
[IP/UDP/RTPパケットにより画像の情報を送信する際の問題点]
ところで、局側装置20は、たとえば画像の情報含むIP/UDP/RTPパケットを、ネットワーク11経由で画像パケット受信装置40へ送信する。画像パケット受信装置40は、上記IP/UDP/RTPパケットを受信すると、受信したIP/UDP/RTPパケットから画像の情報を取得する。
そして、画像パケット受信装置40は、取得した画像の情報を、デコードするためのデコーダへ出力する。この際、画像パケット受信装置40は、同一時刻において処理されるべきAU単位で、取得した画像の情報をデコーダへ出力することが好ましい。
しかしながら、ネットワーク11経由で局側装置20から画像パケット受信装置40へIP/UDP/RTPパケットを送信するために必要な時間は、IP/UDP/RTPパケット毎に異なる。従って、たとえば局側装置20が、AU単位毎にIP/UDP/RTPパケットを送信しても、画像パケット受信装置40は、AU単位毎にIP/UDP/RTPパケットを受信できるとは限らない。
このため、画像パケット受信装置40は、どのIP/UDP/RTPパケットに含まれる画像の情報が同じAUに含まれるのかを確かめる為に、受信したIP/UDP/RTPパケットに含まれる画像の情報が処理されるべき時刻を取得する必要があり、そのためには、以下の処理を行う必要がある。
すなわち、画像パケット受信装置40は、受信したIP/UDP/RTPパケットのRTPペイロードから複数のTSパケットを取得し、取得した複数のTSパケットからPIDが同一であるTSパケットを選別し、選別したTSパケットからPESを取得する。そして、画像パケット受信装置40は、取得したPESのPESヘッダにおけるPTSまたはDTSを取得することにより、画像の情報が処理されるべき時刻を取得することができる。
画像パケット受信装置40は、複数のIP/UDP/RTPパケットにおいて、当該複数のIP/UDP/RTPパケットに対応する、画像の情報が処理されるべき時刻を取得し、取得した時刻を比較する。これにより、画像パケット受信装置40は、どのIP/UDP/RTPパケットに含まれる画像の情報が同じAUに含まれるのかを認識することができる。
従って、画像パケット受信装置40は、画像の情報が処理されるべき時刻を取得するためにパケットの分解処理を繰り返す必要があり、処理の負荷が大きくなるという問題が発生してしまう。
そこで、本発明の実施の形態における局側装置20および画像パケット受信装置40は、以下に示すように、パケットに含まれる画像の情報が、どのAUに含まれるのかを対応付けるためAU情報を、RTPパケットに含めることにより上記問題を解決する。
[局側装置の構成]
図3は、本発明の実施の形態に係る局側装置の構成を示す図である。
図3を参照して、局側装置20は、基本レイヤ番組画像作成部21と、拡張レイヤ番組画像作成部22と、PES作成部23と、TSパケット作成部24と、RTPパケット作成部(基本パケット生成部および関連パケット生成部)25と、送信部(基本パケット送信部および関連パケット送信部)26とを備える。
図4は、本発明の実施の形態に係る局側装置から画像パケット受信装置へ送信されるパケットが作成される過程の一例を示す図である。
図3および図4を参照して、基本レイヤ番組画像作成部21は、基本レイヤにおけるベースビューである基本画像を作成する。たとえば、基本レイヤ番組画像作成部21は、3Dの番組情報における左目用の番組画像をH.264/AVCのフォーマットで符号化し、基本レイヤにおけるベースビューである基本画像を作成する。
そして、基本レイヤ番組画像作成部21は、当該基本レイヤにおけるベースビューに対応する基本画像データを、拡張レイヤ番組画像作成部22へ出力する。また、基本レイヤ番組画像作成部21は、1または複数のNALユニットに当該ベースビューを含め、当該NALユニットをPES作成部23へ出力する。
具体的には、基本レイヤ番組画像作成部21は、図4の(A)に示すように、たとえばNU4、NU5およびNU6で示されるNALユニットに時刻(t=n)において表示すべきベースビューを含め、当該NALユニットをPES作成部23へ出力する。
また、基本レイヤ番組画像作成部21は、たとえば当該NALユニットに含まれるベースビューが、画像シーケンスの先頭のピクチャであるIDR(Instantaneous Decoder Refresh)ピクチャである場合、その旨をPES作成部23へ通知してもよい。
拡張レイヤ番組画像作成部22は、基本レイヤにおけるベースビューに対応する基本画像データを基本レイヤ番組画像作成部21から受けると、受けた基本画像データに基づいて、たとえばH.264/AVCのフォーマットにおける予測符号化により、拡張レイヤにおけるエンハンスビュー1である関連画像を作成する。
そして、拡張レイヤ番組画像作成部22は、予測符号化により生成した、基本画像データとの差分である関連画像データを、1または複数のNALユニットに含め、当該NALユニットをPES作成部23へ出力する。
具体的には、拡張レイヤ番組画像作成部22は、図4の(A)に示すように、たとえばNU7、NU8およびNU9で示されるNALユニットに時刻(t=n)において表示すべきエンハンスビュー1を含め、当該NALユニットをPES作成部23へ出力する。
なお、拡張レイヤにおける関連画像の枚数はエンハンスビュー1に限定するものではない。拡張レイヤ番組画像作成部22は、更に多くの枚数のエンハンスビューを作成してもよい。
PES作成部23は、基本レイヤ番組画像作成部21からベースビューを含むNALユニットおよびエンハンスビュー1を含むNALユニットを受けると、当該NALユニットを含むアクセスユニットを作成する。
具体的には、PES作成部23は、図4の(A)に示すように、時刻(t=n)において表示すべきベースビューおよびエンハンスビュー1を含むアクセスユニットAU(t=n)を作成する。なお、デリミタは、ベースビューおよびエンハンスビュー1間の区切りを示し、また、AUデリミタは、アクセスユニット間の区切りを示す。
PES作成部23は、時刻(t=n)と異なる時刻において表示すべきベースビューおよびエンハンスビュー1を含むアクセスユニットAU(t=n−1),AU(t=n+1)についても同様に作成することにより、たとえば図4の(A)に示すストリームを作成する。
PES作成部23は、上記ストリームにおけるアクセスユニットの一部または全部を含めるためのPESを作成する。この際、PES作成部23は、たとえば同じ時刻において表示すべき同一レイヤの画像データを1つのPESに含めるようにPESを作成する。
具体的には、PES作成部23は、図4の(B)に示すように、AUデリミタ、NU4、NU5およびNU6にPESヘッダを付加することにより、ベースビューを含むPES1を作成する。
この際、PES作成部23は、当該ベースビューを表示すべき時刻を示すPTS、当該ベースビューをデコードすべき時刻を示すDTSおよび当該ベースビューが含まれるストリームを識別するためのストリームIDを、PES1におけるPESヘッダに書込む。
また、PES作成部23は、図4の(B)に示すように、デリミタ、NU7、NU8およびNU9にPESヘッダを付加することにより、エンハンスビュー1を含むPES2を作成する。
この際、PES作成部23は、当該エンハンスビュー1に対応するPTS,DTSおよびストリームIDを、PES2におけるPESヘッダに書込む。
そして、PES作成部23は、作成したPESを、TSパケット作成部24へ出力する。また、PES作成部23は、たとえば当該PESに含まれる番組画像が、IDRピクチャである場合、その旨をTSパケット作成部24へ通知してもよい。
なお、たとえば上記ベースビューに対応するストリームIDおよび上記エンハンスビュー1に対応するストリームIDは、同じ値に設定してもよい。この場合、同じ時刻において表示すべきベースビューまたはエンハンスビュー1を含むPESのPTS、DTSおよびストリームIDは、同じ値となる。
TSパケット作成部24は、PES作成部23からPESを受けると、受けたPESを分割し、分割したPESを複数のTSパケットにおけるTSペイロードに含める。この際、TSパケット作成部24は、上記複数のTSパケットにおいて、同じレイヤの番組画像をTSペイロードに含む場合、上記複数のTSパケットに同一のPIDを付与する。
具体的には、図4の(C)に示すように、TSパケット1は、図4の(B)に示すPES1を分割した一部をTSペイロードに含む。また、TSパケット1のTSヘッダは、PES1に含まれるベースビューに対応したPID=aを含む。たとえば、PES1が、TSパケット1からTSパケット4におけるTSペイロードに含められる場合、TSパケット1からTSパケット4のPIDは、「a」となる。
また、図4の(C)に示すTSパケット5は、図4の(B)に示すPES2を分割した一部をTSペイロードに含む。また、TSパケット5のTSヘッダは、PES2に含まれるエンハンスビュー1に対応したPID=bを含む。たとえば、PES2が、TSパケット5からTSパケット8におけるTSペイロードに含められる場合、TSパケット5からTSパケット8のPIDは、「b」となる。
TSパケット作成部24は、作成した複数のTSパケットをRTPパケット作成部25へ出力する。また、TSパケット作成部24は、たとえば当該複数のTSパケットに含まれる番組画像が、IDRピクチャである場合、その旨をRTPパケット作成部25へ通知してもよい。
RTPパケット作成部25は、TSパケット作成部24から複数のTSパケットを受けると、受けた複数のTSパケットを含めるためのIP/UDP/RTPパケットを作成する。より詳細には、RTPパケット作成部25は、受けた複数のTSパケットのPIDに基づいて、PID毎に選別した複数のTSパケットにRTPヘッダを付加することにより、RTPパケットを作成する。
RTPパケット作成部25は、図4の(D)に示すように、たとえばベースビューを含む、PID=aの複数のTSパケットをTSパケット作成部24から受けると、受けた複数のTSパケットの先頭にRTPヘッダを付加することにより、RTPパケット1を作成する。
また、RTPパケット作成部25は、たとえばエンハンスビュー1を含む、PID=bの複数のTSパケットをTSパケット作成部24から受けると、受けた複数のTSパケットの先頭にRTPヘッダを付加することにより、RTPパケット2を作成する。
上記のRTPパケット1およびRTPパケット2は、同じアクセスユニットに含まれる画像データの一部を含むという対応関係がある。この際、RTPパケット作成部25は、上記対応関係を示す対応情報として、RTPパケット1およびRTPパケット2のRTPヘッダに、同じアクセスユニットに含まれていたことを示すために同じAU情報を書込む。
この際、RTPパケット作成部25は、同じAU情報を、たとえばRTPヘッダ、RTP拡張ヘッダまたはRTPペイロードの先頭部分等の番組画像のデータに使用しないフィールドに書込む。
図5は、本発明の実施の形態に係るRTPパケットのRTPヘッダおよびRTP拡張ヘッダの構造の一例を示す図である。
具体的には、RTPパケット作成部25は、たとえば図5に示すRTPヘッダにおける「シーケンス番号」で示されるシーケンス番号フィールドに、同じAU情報として同じ値のシーケンス番号を書込む。
また、RTPパケット作成部25は、たとえば図5に示すRTPヘッダにおける「タイムスタンプ」で示される時刻情報フィールドに、同じAU情報として同じ値の時刻情報を書込む。
また、RTPパケット作成部25は、たとえば図5に示すRTP拡張ヘッダにおける「長さ」で示されるフィールドに続くフィールドに同じAU情報を書込む。
また、RTPパケット作成部25は、たとえば図2の(D)または(E)に示すRTPパケットの、RTPペイロードの先頭のフィールドに同じAU情報を書込む。
また、RTPパケット作成部25は、たとえばTSパケット作成部24から受けたTSパケットがIDRピクチャである場合、RTPパケットのRTPヘッダのシーケンス番号をリセットしてもよい。
なお、RTPパケット作成部25は、たとえば1つのRTPパケットのRTPペイロードに、1ピクチャ分の情報を含む複数のTSパケットを含めた、大容量のRTPパケットであるジャンボRTPパケットを作成してもよいし、上記複数のTSパケットを1キロバイト程度の複数の領域に分割し、分割した領域をRTPペイロードに含めるように複数のRTPパケットを作成してもよい。
たとえば、局側装置20が、ジャンボRTPパケットをネットワーク11経由で画像パケット受信装置40へ送信する場合、ネットワーク11におけるルータが伝送経路に合わせて上記ジャンボRTPパケットを分割して送信することがある。すなわち、伝送過程でジャンボRTPパケットのフラグメントが発生してしまう。
この際、上記ルータにとっても処理負担が大きく、また、画像パケット受信装置40が、分割されたジャンボRTPパケットを元のジャンボRTPパケットに再生する処理の負担も大きい。従って、局側装置20は、たとえば1キロバイト程度の大きさの複数のRTPパケットを送信することが好ましい。
そして、RTPパケット作成部25は、作成したRTPパケットにUDPヘッダを付加することにより、UDP/RTPパケットを作成する。この際、RTPパケット作成部25は、当該RTPパケットに含まれる番組画像のレイヤに対応したポート番号を、UDPヘッダに書込む。これにより、局側装置20は、異なるレイヤにおける番組画像を、異なるセッションで画像パケット受信装置40へ送信する。
これにより、画像パケット受信装置40は、局側装置20から受信したUDP/RTPパケットのポート番号に基づいて、当該UDP/RTPパケットに含まれる画像のレイヤを識別することができる。
そして、RTPパケット作成部25は、作成したUDP/RTPパケットにIPヘッダを付加することにより、IP/UDP/RTPパケットを作成する。この際、RTPパケット作成部25は、送信先である画像パケット受信装置40のIPアドレスをIPヘッダに書込む。RTPパケット作成部25は、作成したIP/UDP/RTPパケットを送信部26へ出力する。
たとえば、図4の(D)に示すIP/UDP/RTPパケット1は、ペイロードにおいて、基本画像であるベースビューを含むTSパケット1からTSパケット4までを含む基本パケットである。
たとえば、図4の(D)に示すIP/UDP/RTPパケット2は、ペイロードにおいて、関連画像であるエンハンスビュー1を含むTSパケット5からTSパケット8までを含む関連パケットである。
送信部26は、RTPパケット作成部25からIP/UDP/RTPパケットを受けると、受けたIP/UDP/RTPパケットをIPによりネットワーク11経由で画像パケット受信装置40へ送信する。
[画像パケット受信装置の構成]
図6は、本発明の実施の形態に係る画像パケット受信装置の構成を示す図である。
図6を参照して、画像パケット受信装置40は、受信部(基本パケット受信部および関連パケット受信部)41と、RTPパケット分析部(再生処理部)42と、TSパケット再生部43と、PES再生部44と、基本レイヤデコーダ部45と、拡張レイヤデコーダ部46とを備える。
受信部41は、局側装置20がネットワーク11経由で送信した番組の情報を含むIP/UDP/RTPパケットを受けると、受けたIP/UDP/RTPパケットをRTPパケット分析部42へ出力する。
RTPパケット分析部42は、受信部41からIP/UDP/RTPパケットを受けると、受けたIP/UDP/RTPパケットに基づいて、当該IP/UDP/RTPパケットに含まれる番組画像のレイヤおよびAU情報を分析する。より詳細には、RTPパケット分析部42は、当該IP/UDP/RTPパケットにおけるUDPヘッダのポート番号に基づいて、受信部41から受けたパケットが、基本レイヤのベースビューである基本画像を含む基本パケット、または拡張レイヤのエンハンスビュー1である関連画像を含む関連パケットであるかどうかを判断する。
そして、RTPパケット分析部42は、どのIP/UDP/RTPパケットを同じAUに含めるかどうかを判断するための対応情報であるAU情報を、たとえばRTPヘッダ、RTP拡張ヘッダまたはRTPペイロードの先頭部分等の番組画像のデータに使用しない領域から取得する。
そして、RTPパケット分析部42は、取得したAU情報に基づいて、同じAUに含めるべきIP/UDP/RTPパケットを選別する。具体的には、RTPパケット分析部42は、同じAU情報を持つ基本パケットおよび関連パケットをグループ化し、グループ化した基本パケットおよび関連パケットをTSパケット再生部43へ出力する。
TSパケット再生部43は、RTPパケット分析部42からグループ化した基本パケットおよび関連パケットを受けると、受けた基本パケットおよび関連パケットからRTPペイロードを取り出し、取り出したRTPペイロードからレイヤ毎の複数のTSパケットを再生する。そして、TSパケット再生部43は、再生したレイヤ毎の複数のTSパケットをPES再生部44へ出力する。
PES再生部44は、TSパケット再生部43から複数のTSパケットをレイヤ毎に受けると、受けた複数のTSパケットのTSペイロードからレイヤ毎にPESを再生する。そして、PES再生部44は、当該PESのPESヘッダにおけるPTSまたはDTSを参照することにより、当該PESが処理されるべき時刻を取得する。
また、PES再生部44は、当該PESのPESペイロードに含まれるNALユニットのNALヘッダにおける、たとえばビューID、ディペンデンシーIDまたはクオリティIDを参照する。これにより、PES再生部44は、当該PESのPESペイロードに含まれるNALユニットのレイヤが基本レイヤであるか拡張レイヤであるかを判断できる。
PES再生部44は、基本レイヤのNALユニットを含むPESから、当該NALユニットを取得する。また、PES再生部44は、拡張レイヤのNALユニットを含むPESから、当該NALユニットを取得する。そして、PES再生部44は、PTSまたはDTSに基づいて、基本レイヤのNALユニットを基本レイヤデコーダ部45へ出力し、また、拡張レイヤのNALユニットを拡張レイヤデコーダ部46へ出力する。
基本レイヤデコーダ部45は、PES再生部44から基本レイヤのNALユニットを受けると、受けたNALユニットにおけるRBSPをデコードすることによりベースビューである基本画像を作成し、作成した基本画像の基本画像データを拡張レイヤデコーダ部46へ出力する。この際、基本レイヤデコーダ部45は、たとえばSVC規格における基本画像のみを再生する場合、デコードした番組画像を表示装置12へ出力してもよい。また、基本レイヤデコーダ部45は、たとえばMVC規格における3D映像の基本画像として左目用の番組画像を再生する場合、デコードした左目用の番組画像を表示装置12へ出力してもよい。
拡張レイヤデコーダ部46は、PES再生部44から拡張レイヤのNALユニット、および基本レイヤデコーダ部45から基本画像の基本画像データを受けると、受けた基本画像の基本画像データおよび拡張レイヤのNALユニットに含まれる関連画像データであるRBSPに基づいてデコードすることにより、エンハンスビュー1である関連画像を作成する。この際、拡張レイヤデコーダ部46は、たとえばSVC規格における関連画像を再生する場合、作成したエンハンスビュー1を表示装置12へ出力する。また、拡張レイヤデコーダ部46は、たとえばMVC規格における3D映像の関連画像として右目用の番組画像を再生する場合、デコードした右目用の番組画像を表示装置12へ出力してもよい。
[局側装置における各レイヤの番組画像の送信動作]
局側装置20および画像パケット受信装置40は、以下に示す各フローチャートの各ステップを図示しないメモリから読み出して実行する。このプログラムは、外部からインストールすることができる。このインストールされるプログラムは、たとえば記録媒体に格納された状態で流通する。
図7は、本発明の実施の形態に係る局側装置において各レイヤの番組画像の送信処理を行う際の動作手順を定めたフローチャートである。
図7を参照して、まず、局側装置20は、所定の番組画像の基本レイヤにおけるベースビューおよび拡張レイヤにおけるエンハンスビュー1を、所定のIPアドレスにより特定される画像パケット受信装置40へ送信する。なお、局側装置20および画像パケット受信装置40間において、ベースビューを含むパケットおよびエンハンスビュー1を含むパケットは、それぞれ所定のポート番号で送信することが取り決められている。
図3、図4および図7を参照して、局側装置20における基本レイヤ番組画像作成部21は、たとえば図4の(A)に示すアクセスユニットAU(t=n)に含めるベースビューを作成する。そして、基本レイヤ番組画像作成部21は、作成したベースビューをPES作成部23および拡張レイヤ番組画像作成部22へ出力する。また、拡張レイヤ番組画像作成部22は、基本レイヤ番組画像作成部21から受けたベースビューに基づいて、たとえば図4の(A)に示すアクセスユニットAU(t=n)に含めるエンハンスビュー1を作成する。そして、拡張レイヤ番組画像作成部22は、作成したエンハンスビュー1をPES作成部23へ出力する(ステップS102)。
次に、PES作成部23は、基本レイヤ番組画像作成部21から受けたベースビューを基に、たとえば図4の(B)に示すPES1を作成する。また、PES作成部23は、拡張レイヤ番組画像作成部22から受けたエンハンスビュー1を基に、たとえば図4の(B)に示すPES2を作成する。そして、PES作成部23は、作成したPES1およびPES2を、TSパケット作成部24へ出力する。(ステップS104)。
次に、TSパケット作成部24は、PES作成部23からPES1およびPES2を受けると、受けたPES1およびPES2を基に、たとえば図4の(C)に示す複数のTSパケットを作成する。この際、TSパケット作成部24は、たとえばPES1を含む複数のTSパケットには、PID=aを付与する。また、たとえばPES2を含む複数のTSパケットには、PID=bを付与する。次に、TSパケット作成部24は、作成した複数のTSパケットをRTPパケット作成部25へ出力する(ステップS106)。
次に、RTPパケット作成部25は、TSパケット作成部24から複数のTSパケットを受けると、受けた複数のTSパケットを基に、AU情報が含まれるRTPパケットをレイヤ毎に作成する(ステップS108)。この際、RTPパケット作成部25は、同じAUに対応する複数のTSパケットを含むRTPパケットには、同じAU情報を含める。また、RTPパケットの作成の詳細については後述する。
次に、RTPパケット作成部25は、レイヤに対応したポート番号を含むUDPヘッダを作成し、作成したUDPヘッダを上記RTPパケットに付加することによりUDP/RTPパケットを作成する(ステップS110)。
次に、RTPパケット作成部25は、送信先に対応したIPアドレスを含むIPヘッダを作成し、作成したIPヘッダを上記UDP/RTPパケットに付加することにより、たとえば図4の(D)に示すIP/UDP/RTPパケットを作成する。次に、RTPパケット作成部25は、作成したIP/UDP/RTPパケットを送信部26へ出力する(ステップS112)。
次に、送信部26は、IP/UDP/RTPパケットをRTPパケット作成部25から受けると、受けたIP/UDP/RTPパケットをネットワーク11経由で画像パケット受信装置40へ送信する(ステップS114)。
以上の動作により、局側装置20は、作成した各レイヤの番組画像を画像パケット受信装置40へ送信する。
なお、上記のステップS108において、RTPパケット作成部25は、AU情報をRTPパケットに含める。これにより、複数のIP/UDP/RTPパケットにおけるRTPペイロードに含まれる画像の情報を詳細に解析することなく、AU情報に基づいて、同じタイミングで処理すべきIP/UDP/RTPパケットを選別することができる。
また、上記のステップS110において、RTPパケット作成部25は、レイヤに対応したポート番号をIP/UDP/RTPパケットに含める。これにより、局側装置20は、複数のIP/UDP/RTPパケットをセッション毎に画像パケット受信装置40へ送信する。そして、画像パケット受信装置40は、セッション毎に当該複数のIP/UDP/RTPパケットを局側装置20から受信する。この場合においても、画像パケット受信装置40は、受信した複数のIP/UDP/RTPパケットに含まれるAU情報を参照することにより、当該複数のIP/UDP/RTPパケットにおいて、どれが同じタイミングで処理すべき画像データを含むIP/UDP/RTPパケットであるかを選別することができる。
また、画像パケット受信装置40は、以下の動作手順により、ネットワーク11経由でIP/UDP/RTPパケットに含まれる番組画像の情報を局側装置20から受信する。
[画像パケット受信装置における各レイヤの番組画像の受信動作]
図8は、本発明の実施の形態に係る画像パケット受信装置において各レイヤの番組画像の受信処理を行う際の動作手順を定めたフローチャートである。
図4、図6および図8を参照して、まず、画像パケット受信装置40は、所定の番組画像の基本レイヤにおけるベースビューおよび拡張レイヤにおけるエンハンスビュー1を、局側装置20から受信する。なお、局側装置20および画像パケット受信装置40間において、ベースビューを含むパケットおよびエンハンスビュー1を含むパケットは、所定のポート番号で送信することが取り決められている。
画像パケット受信装置40における受信部41は、まず、たとえば図4の(D)に示すIP/UDP/RTPパケットをネットワーク11経由で局側装置20から受けると、受けたIP/UDP/RTPパケットをRTPパケット分析部42へ出力する(ステップS202)。
次に、RTPパケット分析部42は、受信部41からIP/UDP/RTPパケットを受けると、受けたIP/UDP/RTPパケットにおけるUDPヘッダからポート番号を取得した後、IPヘッダおよびUDPヘッダを削除することによりRTPパケットを作成する。そして、RTPパケット分析部42は、上記ポート番号に基づいて、作成したRTPパケットをレイヤ毎に選別する(ステップS204)。
次に、RTPパケット分析部42は、レイヤ毎に選別したRTPパケットを分析することにより、RTPパケットに含まれるAU情報を取得する。次に、RTPパケット分析部42は、同じAU情報を持つRTPパケットをグループ化し、グループ化したRTPパケットをTSパケット再生部43へ出力する(ステップS206)。
次に、TSパケット再生部44は、同じAU情報を持つグループ化したRTPパケットをRTPパケット分析部42から受けると、受けたRTPパケットからRTPヘッダを削除することにより、たとえば図4の(C)に示すレイヤ毎の複数のTSパケットを再生する。次に、TSパケット再生部44は、再生したレイヤ毎の複数のTSパケットをPES再生部44へ出力する(ステップS208)。
次に、PES再生部44は、TSパケット再生部44からレイヤ毎に複数のTSパケットを受けると、受けた複数のTSパケットから、たとえば図4の(B)に示すレイヤ毎のPES1およびPES2を再生する(ステップS210)。次に、PES再生部44は、PES1のPESペイロードにおけるNALユニットのNALヘッダを参照することにより、当該NALユニットにベースビューが含まれていることを認識すると、PESヘッダにおけるPTSまたはDTSで指定されるタイミングにおいて、当該NALユニットを基本レイヤデコード部45へ出力する。
また、PES再生部44は、上記PES1に対応するPES2のPESペイロードにおけるNALユニットのNALヘッダを参照することにより、当該NALユニットにエンハンスビュー1が含まれていることを認識すると、PESヘッダにおけるPTSまたはDTSで指定されるタイミングにおいて、当該NALユニットを拡張レイヤデコード部46へ出力する。
次に、基本レイヤデコード部45は、PES再生部44からベースビューを含むNALユニット受けると、受けたNALユニットをデコードすることにより、ベースビューを作成する。そして、基本レイヤデコード部45は、作成したベースビューを拡張レイヤデコード部46へ出力する。次に、拡張レイヤデコード部46は、基本レイヤデコード部45から受けたベースビューを基に、PES再生部44から受けたエンハンスビュー1を含むNALユニットをデコードすることによりエンハンスビュー1を作成する(ステップS212)。
次に、基本レイヤデコード部45または拡張レイヤデコード部46は、作成したベースビューまたはエンハンスビュー1を、たとえば表示装置12において再生する(ステップS214)。
以上の動作により、画像パケット受信装置40は、受信したIP/UDP/RTPパケットから作成した各レイヤの番組画像を表示装置12において再生する。
上記のステップS206において、RTPパケット分析部42は、AU情報をRTPパケットから取得する。これにより、受信した複数のIP/UDP/RTPパケットにおけるRTPペイロードに含まれる画像の情報を詳細に解析することなく、AU情報に基づいて、同じタイミングで処理すべきIP/UDP/RTPパケットを選別することができる。
また、上記のステップS210において、PES再生部44は、選別したIP/UDP/RTPパケットから取得した、ベースビューを含むNALユニットまたはエンハンスビュー1を含むNALユニットを、それぞれ基本レイヤデコーダ部45または拡張レイヤデコーダ部46へ出力する。これにより、ベースビューまたはエンハンスビュー1を同じタイミングで表示装置12において適切に再生することができる。
[RTPパケットのタイムスタンプのフィールドにAU情報を含める場合]
図9は、本発明の実施の形態に係る局側装置においてRTPパケットのタイムスタンプのフィールドにAU情報が含まれるRTPパケットの作成処理を行う際の動作手順を定めたフローチャートである。
図9を参照して、まず、RTPパケット作成部25は、TSパケット作成部24から所定のPESを含む複数のTSパケットを受ける。また、RTPパケット作成部25は、上記複数のTSパケットに含まれる所定のPESに対応する番組画像が、IDRピクチャである旨の通知を受ける場合がある。
次に、RTPパケット作成部25は、たとえばユーザによりIDRピクチャ毎にシーケンス番号をリセットする設定がなされているかどうか確認する(ステップS302)。
次に、RTPパケット作成部25は、たとえばユーザによりIDRピクチャ毎にシーケンス番号をリセットする設定がなされている場合(ステップS302でYES)、以下の処理を行う。
すなわち、RTPパケット作成部25は、上記複数のTSパケットに含まれる所定のPESに対応する番組画像が、IDRピクチャである旨の通知を受けている場合(ステップS304でYES)、以下において作成するRTPパケットのRTPヘッダにおける、たとえば図5に示す「シーケンス番号」のフィールドに付与するシーケンス番号を0にリセットする(ステップS306)。
また、RTPパケット作成部25は、上記複数のTSパケットに含まれる所定のPESに対応する番組画像が、IDRピクチャである旨の通知を受けていない場合(ステップS304でNO)、シーケンス番号をリセットしない。
次に、RTPパケット作成部25は、たとえばRTPパケットの大きさが1キロバイト程度の大きさになるように上記複数のTSパケットを分割し、分割した上記複数のTSパケットを複数のRTPパケットのRTPペイロードに含めることにより、伝送経路でのフラグメントの発生を許可しない場合(ステップS308でNO)、以下の動作を行う。
すなわち、RTPパケット作成部25は、上記複数のTSパケットをたとえば1キロバイト程度の大きさに分割し、分割した上記複数のTSパケットにRTPヘッダを付加することにより、複数のRTPパケットを作成する(ステップS310)。
次に、RTPパケット作成部25は、上記複数のRTPパケットにおける先頭のRTPパケットを取得し、取得したRTPパケットの、たとえば図5に示すRTPヘッダにおける「タイムスタンプ」のフィールドにAU情報を書込む。この際、RTPパケット作成部25は、同じAUに対応する上記複数のTSパケットを含むRTPパケットには、同じAU情報として同じ値の時刻情報を書込む(ステップS312)。
次に、RTPパケット作成部25は、上記RTPパケットの、図5に示すRTPヘッダにおける「シーケンス番号」のフィールドに、上記シーケンス番号を書込んだ後、上記シーケンス番号をインクリメントする(ステップS314)。
次に、RTPパケット作成部25は、上記RTPパケットが上記複数のRTPパケットにおける先頭パケットである場合(ステップS316でYES)、上記「タイムスタンプ」のフィールドのMSB(Most Significant Bit)を1に設定する(ステップS318)。
また、RTPパケット作成部25は、上記RTPパケットが上記複数のRTPパケットにおける先頭パケットでない場合(ステップS316でNO)、上記「タイムスタンプ」のフィールドのMSBを0に設定する(ステップS320)。
次に、RTPパケット作成部25は、上記RTPパケットが上記複数のRTPパケットにおける最終パケットでない場合(ステップS326でNO)、以下の処理を行う。すなわち、RTPパケット作成部25は、次のRTPパケットを取得し、取得したRTPパケットのRTPヘッダにおける「タイムスタンプ」のフィールドにAU情報を書込む。この際、RTPパケット作成部25は、同じAUに対応する上記複数のTSパケットを含むRTPパケットには、同じAU情報として同じ値の時刻情報を書込む(ステップS312)。
また、RTPパケット作成部25は、たとえば1つのジャンボRTPパケットに1つのアクセスユニットに含まれる番組画像を含めるために、伝送経路でのフラグメントの発生を許可する場合(ステップS308でYES)、以下の動作を行う。
すなわち、RTPパケット作成部25は、上記ジャンボRTPパケットのRTPヘッダにおける「タイムスタンプ」のフィールドにAU情報を書込む。この際、RTPパケット作成部25は、同じAUに対応する上記複数のTSパケットを含むRTPパケットには、同じAU情報として同じ値の時刻情報を書込む(ステップS322)。
次に、RTPパケット作成部25は、上記ジャンボRTPパケットのRTPヘッダにおける「シーケンス番号」のフィールドに、上記シーケンス番号を書込んだ後、上記シーケンス番号をインクリメントする(ステップS324)。
以上の動作により、RTPパケット作成部25は、上記複数のTSパケットを含むRTPパケットのRTPヘッダにおける「タイムスタンプ」のフィールドにAU情報が含まれるRTPパケットを作成する。
上記のように、RTPパケット作成部25は、ステップS312およびステップS322において、RTPパケットのRTPヘッダにおける「タイムスタンプ」のフィールドにAU情報を書込む。画像パケット受信装置40は、たとえば局側装置20から複数のIP/UDP/RTPパケットを受けても、当該複数のIP/UDP/RTPパケットの「タイムスタンプ」のフィールドを参照することにより、同じAU情報を含むIP/UDP/RTPパケットを選別することができる。これにより、画像パケット受信装置40は、当該複数のIP/UDP/RTPパケットに含まれる画像の情報を詳細に解析することなく、同じタイミングで処理すべき画像の情報を取得することができる。
また、RTPパケット作成部25は、ステップS306において、RTPペイロードにおいてIDRピクチャを含むRTPパケットの「シーケンス番号」のフィールドに付与するシーケンス番号を0にリセットする。
上記処理を行うことにより、画像パケット受信装置40は、たとえば局側装置20からRTPパケットを受信し、受信したRTPパケットのシーケンス番号が0である場合、当該RTPパケットに含まれる番組画像がIDRピクチャの一部または全部であることを認識することができる。
また、シーケンス番号のリセットは、レイヤに関係なく、たとえば基本レイヤの番組画像を含むRTPパケットおよび拡張レイヤの番組画像を含むRTPパケットにおいてなされる。これにより、画像パケット受信装置40は、シーケンス番号がリセットされたRTPパケットに基づいて、たとえば基本レイヤの番組画像を含むRTPパケットおよび拡張レイヤの番組画像を含むRTPパケット間の同期をとることができる。
また、RTPパケット作成部25は、ステップS318において、先頭のRTPパケットの「タイムスタンプ」のフィールドのMSBを1に設定する。これにより、画像パケット受信装置40は、たとえば局側装置20から複数に分割されたRTPパケットを受信すると、受信した複数のRTPパケットにおいて、RTPヘッダの「タイムスタンプ」のフィールドのMSBが1であるパケットが先頭のRTPパケットであると認識することができる。
また、RTPパケット作成部25は、ステップS314およびステップS324において、RTPパケットにシーケンス番号を付与する。これにより、画像パケット受信装置40は、たとえば局側装置20から複数のRTPパケットを受信すると、受信した複数のRTPパケットにおいて、シーケンス番号を参照することにより、当該複数のRTPパケットの順序を特定することができる。
[RTPパケットのシーケンス番号のフィールドにAU情報を含める場合]
図10は、本発明の実施の形態に係る局側装置においてRTPパケットのシーケンス番号のフィールドにAU情報が含まれるRTPパケットの作成処理を行う際の動作手順を定めたフローチャートである。
図10を参照して、まず、RTPパケット作成部25は、TSパケット作成部24から所定のPESを含む複数のTSパケットを受ける。また、RTPパケット作成部25は、上記複数のTSパケットに含まれる所定のPESに対応する番組画像が、IDRピクチャである旨の通知を受ける場合がある。
IDRピクチャ毎に行うシーケンス番号のリセット処理(ステップS402〜ステップS406)は、図9に示すフローチャートにおける動作(ステップS302〜ステップS306)と同様であるため、ここでは詳細な説明を繰り返さない。
次に、RTPパケット作成部25は、たとえばRTPパケットの大きさが1キロバイト程度の大きさになるように上記複数のTSパケットを分割し、分割した上記複数のTSパケットを複数のRTPパケットのRTPペイロードに含めることにより、伝送経路でのフラグメントの発生を許可しない場合(ステップS408でNO)、以下の動作を行う。
すなわち、RTPパケット作成部25は、上記複数のTSパケットをたとえば1キロバイト程度の大きさに分割し、分割した上記複数のTSパケットにRTPヘッダを付加することにより、複数のRTPパケットを作成する(ステップS410)。
次に、RTPパケット作成部25は、上記複数のRTPパケットにおける先頭のRTPパケットを取得し、取得したRTPパケットの、たとえば図5に示すRTPヘッダにおける「シーケンス番号」のフィールドにシーケンス番号を書込んだ後、当該シーケンス番号をインクリメントする(ステップS412)。
次に、RTPパケット作成部25は、上記RTPパケットの「シーケンス番号」のフィールドの上位ビットにAU情報を書込む。この際、RTPパケット作成部25は、同じAUに対応する上記複数のTSパケットを含むRTPパケットには、同じAU情報を書込む(ステップS414)。
次に、RTPパケット作成部25は、上記RTPパケットが上記複数のRTPパケットにおける最終パケットでない場合(ステップS416でNO)、以下の処理を行う。すなわち、RTPパケット作成部25は、次のRTPパケットを取得し、取得したRTPパケットのRTPヘッダにおける「シーケンス番号」のフィールドにシーケンス番号を書込んだ後、当該シーケンス番号をインクリメントする(ステップS412)。
また、RTPパケット作成部25は、たとえば1つのジャンボRTPパケットに1つのアクセスユニットに含まれる番組画像を含めるために、伝送経路でのフラグメントの発生を許可する場合(ステップS408でYES)、以下の動作を行う。
すなわち、RTPパケット作成部25は、上記ジャンボRTPパケットのRTPヘッダにおける「シーケンス番号」のフィールドに、シーケンス番号を書込んだ後、当該シーケンス番号をインクリメントする(ステップS418)。
次に、RTPパケット作成部25は、上記ジャンボRTPパケットの「シーケンス番号」のフィールドの上位ビットにAU情報を書込む。この際、RTPパケット作成部25は、同じAUに対応する上記複数のTSパケットを含むRTPパケットには、同じAU情報を書込む(ステップS420)。
以上の動作により、RTPパケット作成部25は、上記複数のTSパケットを含むRTPパケットのRTPヘッダにおける「シーケンス番号」のフィールドにAU情報が含まれるRTPパケットを作成する。
上記のように、RTPパケット作成部25は、ステップS414およびステップS420において、RTPパケットのRTPヘッダにおける「シーケンス番号」のフィールドにAU情報を書込む。画像パケット受信装置40は、たとえば局側装置20から複数のIP/UDP/RTPパケットを受けても、当該複数のIP/UDP/RTPパケットの「シーケンス番号」のフィールドを参照することにより、同じAU情報を含むIP/UDP/RTPパケットを選別することができる。これにより、画像パケット受信装置40は、当該複数のIP/UDP/RTPパケットに含まれる画像の情報を詳細に解析することなく、同じタイミングで処理すべき画像の情報を取得することができる。
また、RTPパケット作成部25は、ステップS414およびステップS420において、「シーケンス番号」のフィールドの上位ビットに、AU情報を書込む。この際、RTPパケット作成部25は、16ビットある「シーケンス番号」のフィールドに、上位4ビットをAU情報に割当ててもよいし、上位8ビットをAU情報に割当ててもよい。
たとえば、RTPパケット作成部25は、ステップS410において複数のRTPパケットを作成する際に、作成するRTPパケット数が多い場合、「シーケンス番号」のフィールドにおいてAU情報に割当てない下位ビットがオーバーフローしてしまう恐れがある。従って、RTPパケット作成部25は、作成するRTPパケット数が多い場合、16ビットある「シーケンス番号」のフィールドにおける上位4ビットにAU情報を割当てるとよい。
また、RTPパケット作成部25は、ステップS406において、RTPペイロードにおいてIDRピクチャを含むRTPパケットの「シーケンス番号」のフィールドに付与するシーケンス番号を0にリセットする。
上記処理を行うことにより、画像パケット受信装置40は、たとえば局側装置20からRTPパケットを受信し、受信したRTPパケットのシーケンス番号が0である場合、当該RTPパケットに含まれる番組画像がIDRピクチャの一部または全部であることを認識することができる。
また、シーケンス番号のリセットは、レイヤに関係なく、たとえば基本レイヤの番組画像を含むRTPパケットおよび拡張レイヤの番組画像を含むRTPパケットにおいてなされる。これにより、画像パケット受信装置40は、シーケンス番号がリセットされたRTPパケットに基づいて、たとえば基本レイヤの番組画像を含むRTPパケットおよび拡張レイヤの番組画像を含むRTPパケット間の同期をとることができる。
また、RTPパケット作成部25は、ステップS412およびステップS418において、RTPパケットにシーケンス番号を付与する。これにより、画像パケット受信装置40は、たとえば局側装置20から複数のRTPパケットを受信すると、受信した複数のRTPパケットにおいて、シーケンス番号を参照することにより、当該複数のRTPパケットの順序を特定することができる。
[RTPパケットのRTP拡張ヘッダにAU情報を含める場合]
図11は、本発明の実施の形態に係る局側装置においてRTPパケットのRTP拡張ヘッダにAU情報が含まれるRTPパケットの作成処理を行う際の動作手順を定めたフローチャートである。
図11を参照して、まず、RTPパケット作成部25は、TSパケット作成部24から所定のPESを含む複数のTSパケットを受ける。また、RTPパケット作成部25は、上記複数のTSパケットに含まれる所定のPESに対応する番組画像が、IDRピクチャである旨の通知を受ける場合がある。
IDRピクチャ毎に行うシーケンス番号のリセット処理(ステップS502〜ステップS506)は、図9に示すフローチャートにおける動作(ステップS302〜ステップS306)と同様であるため、ここでは詳細な説明を繰り返さない。
次に、RTPパケット作成部25は、たとえばRTPパケットの大きさが1キロバイト程度の大きさになるように上記複数のTSパケットを分割し、分割した上記複数のTSパケットを複数のRTPパケットのRTPペイロードに含めることにより、伝送経路でのフラグメントの発生を許可しない場合(ステップS508でNO)、以下の動作を行う。
すなわち、RTPパケット作成部25は、上記複数のTSパケットをたとえば1キロバイト程度の大きさに分割し、分割した上記複数のTSパケットにRTPヘッダを付加することにより、複数のRTPパケットを作成する(ステップS510)。
次に、RTPパケット作成部25は、上記複数のRTPパケットにおける先頭のRTPパケットを取得し、取得したRTPパケットの、たとえば図5に示すRTP拡張ヘッダにおける「長さ」に続く32ビットのフィールドにAU情報を書込む。この際、RTPパケット作成部25は、同じAUに対応する上記複数のTSパケットを含むRTPパケットには、同じAU情報を書込む(ステップS512)。
次に、RTPパケット作成部25は、上記RTPパケットのRTPヘッダにおける「シーケンス番号」のフィールドに、シーケンス番号を書込んだ後、当該シーケンス番号をインクリメントする(ステップS514)。
次に、RTPパケット作成部25は、上記RTPパケットが上記複数のRTPパケットにおける最終パケットでない場合(ステップS516でNO)、以下の処理を行う。すなわち、RTPパケット作成部25は、次のRTPパケットを取得し、取得したRTPパケットのRTP拡張ヘッダにおける「長さ」に続く32ビットのフィールドにAU情報を書込む。この際、RTPパケット作成部25は、同じAUに対応する上記複数のTSパケットを含むRTPパケットには、同じAU情報を書込む(ステップS512)。
また、RTPパケット作成部25は、たとえば1つのジャンボRTPパケットに1つのアクセスユニットに含まれる番組画像を含めるために、伝送経路でのフラグメントの発生を許可する場合(ステップS508でYES)、以下の動作を行う。
すなわち、RTPパケット作成部25は、たとえば上記ジャンボRTPパケットのRTP拡張ヘッダにおける「長さ」に続く32ビットのフィールドにAU情報を書込む。この際、RTPパケット作成部25は、同じAUに対応する上記複数のTSパケットを含むRTPパケットには、同じAU情報を書込む(ステップS518)。
次に、RTPパケット作成部25は、上記ジャンボRTPパケットのRTPヘッダにおける「シーケンス番号」のフィールドに、シーケンス番号を書込んだ後、当該シーケンス番号をインクリメントする(ステップS520)。
以上の動作により、RTPパケット作成部25は、上記複数のTSパケットを含むRTPパケットのRTP拡張ヘッダにおいてAU情報が含まれるRTPパケットを作成する。
上記のように、RTPパケット作成部25は、ステップS512およびステップS518において、RTPパケットのRTP拡張ヘッダにAU情報を書込む。画像パケット受信装置40は、たとえば局側装置20から複数のIP/UDP/RTPパケットを受けても、当該複数のIP/UDP/RTPパケットのRTP拡張ヘッダを参照することにより、同じAU情報を含むIP/UDP/RTPパケットを選別することができる。これにより、画像パケット受信装置40は、当該複数のIP/UDP/RTPパケットに含まれる画像の情報を詳細に解析することなく、同じタイミングで処理すべき画像の情報を取得することができる。
また、RTPパケット作成部25は、ステップS506において、RTPペイロードにおいてIDRピクチャを含むRTPパケットの「シーケンス番号」のフィールドに付与するシーケンス番号を0にリセットする。
上記処理を行うことにより、画像パケット受信装置40は、たとえば局側装置20からRTPパケットを受信し、受信したRTPパケットのシーケンス番号が0である場合、当該RTPパケットに含まれる番組画像がIDRピクチャの一部または全部であることを認識することができる。
また、シーケンス番号のリセットは、レイヤに関係なく、たとえば基本レイヤの番組画像を含むRTPパケットおよび拡張レイヤの番組画像を含むRTPパケットにおいてなされる。これにより、画像パケット受信装置40は、シーケンス番号がリセットされたRTPパケットに基づいて、たとえば基本レイヤの番組画像を含むRTPパケットおよび拡張レイヤの番組画像を含むRTPパケット間の同期をとることができる。
また、RTPパケット作成部25は、ステップS514およびステップS520において、RTPパケットにシーケンス番号を付与する。これにより、画像パケット受信装置40は、たとえば局側装置20から複数のRTPパケットを受信すると、受信した複数のRTPパケットにおいて、シーケンス番号を参照することにより、当該複数のRTPパケットの順序を特定することができる。
なお、RTPパケット作成部25は、ステップS512およびステップS518において、RTPパケットのRTP拡張ヘッダにおける「長さ」に続く32ビットのフィールドに、たとえば3ビットのピクチャタイプおよび29ビットのAU情報を書込んでもよい。ピクチャタイプは、たとえば基本レイヤにおける番組画像であるか、拡張レイヤにおける番組画像であるかを示す。
また、RTPパケットにおけるRTP拡張ヘッダは、RTPヘッダに含められてもよい。
[RTPパケットのRTPペイロードの先頭部分にAU情報を含める場合]
図12は、本発明の実施の形態に係る局側装置においてRTPパケットのRTPペイロードの先頭部分にAU情報が含まれるRTPパケットの作成処理を行う際の動作手順を定めたフローチャートである。
図12を参照して、まず、RTPパケット作成部25は、TSパケット作成部24から所定のPESを含む複数のTSパケットを受ける。また、RTPパケット作成部25は、上記複数のTSパケットに含まれる所定のPESに対応する番組画像が、IDRピクチャである旨の通知を受ける場合がある。
IDRピクチャ毎に行うシーケンス番号のリセット処理(ステップS602〜ステップS606)は、図9に示すフローチャートにおける動作(ステップS302〜ステップS306)と同様であるため、ここでは詳細な説明を繰り返さない。
次に、RTPパケット作成部25は、たとえばRTPパケットの大きさが1キロバイト程度の大きさになるように上記複数のTSパケットを分割し、分割した上記複数のTSパケットを複数のRTPパケットのRTPペイロードに含めることにより、伝送経路でのフラグメントの発生を許可しない場合(ステップS608でNO)、以下の動作を行う。
すなわち、RTPパケット作成部25は、上記複数のTSパケットをたとえば1キロバイト程度の大きさに分割し、分割した上記複数のTSパケットにRTPヘッダを付加することにより、複数のRTPパケットを作成する(ステップS610)。
次に、RTPパケット作成部25は、上記複数のRTPパケットにおける先頭のRTPパケットを取得し、取得したRTPパケットの、たとえば図2の(D)または(E)に示すRTPペイロードの先頭部分にAU情報を書込む。この際、RTPパケット作成部25は、同じAUに対応する上記複数のTSパケットを含むRTPパケットには、同じAU情報を書込む(ステップS612)。
次に、RTPパケット作成部25は、上記RTPパケットのRTPヘッダにおける「シーケンス番号」のフィールドに、シーケンス番号を書込んだ後、当該シーケンス番号をインクリメントする(ステップS614)。
次に、RTPパケット作成部25は、上記RTPパケットが上記複数のRTPパケットにおける最終パケットでない場合(ステップS616でNO)、以下の処理を行う。すなわち、RTPパケット作成部25は、次のRTPパケットを取得し、取得したRTPパケットのRTPペイロードの先頭部分にAU情報を書込む。この際、RTPパケット作成部25は、同じAUに対応する上記複数のTSパケットを含むRTPパケットには、同じAU情報を書込む(ステップS612)。
また、RTPパケット作成部25は、たとえば1つのジャンボRTPパケットに1つのアクセスユニットに含まれる番組画像を含めるために、伝送経路でのフラグメントの発生を許可する場合(ステップS608でYES)、以下の動作を行う。
すなわち、RTPパケット作成部25は、上記ジャンボRTPパケットの、たとえば図2の(D)または(E)に示すRTPペイロードの先頭部分にAU情報を書込む。この際、RTPパケット作成部25は、同じAUに対応する上記複数のTSパケットを含むRTPパケットには、同じAU情報を書込む(ステップS618)。
次に、RTPパケット作成部25は、上記ジャンボRTPパケットのRTPヘッダにおける「シーケンス番号」のフィールドに、シーケンス番号を書込んだ後、当該シーケンス番号をインクリメントする(ステップS620)。
以上の動作により、RTPパケット作成部25は、上記複数のTSパケットを含むRTPパケットのRTPペイロードの先頭部分において、AU情報が含まれるRTPパケットを作成する。
上記のように、RTPパケット作成部25は、ステップS612およびステップS618において、RTPパケットのRTPペイロードの先頭部分にAU情報を書込む。画像パケット受信装置40は、たとえば局側装置20から複数のIP/UDP/RTPパケットを受けても、当該複数のIP/UDP/RTPパケットのRTPペイロードの先頭部分を参照することにより、同じAU情報を含むIP/UDP/RTPパケットを選別することができる。これにより、画像パケット受信装置40は、当該複数のIP/UDP/RTPパケットに含まれる画像の情報を詳細に解析することなく、同じタイミングで処理すべき画像の情報を取得することができる。
また、RTPパケット作成部25は、ステップS606において、RTPペイロードにおいてIDRピクチャを含むRTPパケットの「シーケンス番号」のフィールドに付与するシーケンス番号を0にリセットする。
上記処理を行うことにより、画像パケット受信装置40は、たとえば局側装置20からRTPパケットを受信し、受信したRTPパケットのシーケンス番号が0である場合、当該RTPパケットに含まれる番組画像がIDRピクチャの一部または全部であることを認識することができる。
また、シーケンス番号のリセットは、レイヤに関係なく、たとえば基本レイヤの番組画像を含むRTPパケットおよび拡張レイヤの番組画像を含むRTPパケットにおいてなされる。これにより、画像パケット受信装置40は、シーケンス番号がリセットされたRTPパケットに基づいて、たとえば基本レイヤの番組画像を含むRTPパケットおよび拡張レイヤの番組画像を含むRTPパケット間の同期をとることができる。
また、RTPパケット作成部25は、ステップS614およびステップS620において、RTPパケットにシーケンス番号を付与する。これにより、画像パケット受信装置40は、たとえば局側装置20から複数のRTPパケットを受信すると、受信した複数のRTPパケットにおいて、シーケンス番号を参照することにより、当該複数のRTPパケットの順序を特定することができる。
なお、RTPパケット作成部25は、ステップS612およびステップS618において、たとえばジャンボRTPパケットのRTPペイロードの先頭部分に、3ビットのピクチャタイプおよび5ビットのAU情報を書込んでもよい。
すなわち、AU情報およびピクチャタイプは、RTPパケットにおいて、RTPヘッダまたはRTP拡張ヘッダの次に配置される。そして、上記複数のTSパケットが、AU情報およびピクチャタイプの次に配置される。
ところで、たとえば同じAUに含まれる複数のNALユニットは、同じタイミングでデコードすることが好ましい。一方、局側装置20は、たとえばインターネット等のネットワーク11経由で同じAUに含まれる複数のNALユニットを、別々のセッションで画像パケット受信装置40へ送信する場合がある。また、上記複数のNALユニットは、番組画像の情報を伝送するためのユニットであるので、ネットワーク11経由で上記複数のNALユニットを送信する際には、ネットワークにおいて情報の伝送が可能なパケットに上記複数のNALユニットを含める必要がある。
従って、局側装置20は、セッション毎に、NALユニットを含むパケットを更に他のパケットに含めたり、上記NALユニットを含むパケットを複数の部分に分割して複数のパケットに含めたりして、上記NALユニットを含む複数のパケットを画像パケット受信装置40へ送信することになる。
これらの場合、画像パケット受信装置40は、ネットワーク11経由で複数のNALユニットを含む複数のパケットを受信する際に、セッション毎に受信した複数のパケットに含まれる上記複数のNALユニットの一部または全部が、どのAUに含めるべきであるかが分からなくなってしまう。このため、上記複数のパケットから上記複数のNALユニットの一部または全部を取り出すことにより、上記複数のNALユニットの一部または全部に対応するAUを詳細に解析する必要があった。
これに対して、本発明の実施の形態に係る局側装置では、RTPパケット作成部25は、基本画像を示す基本画像データを含む基本パケットを生成し、また、基本画像との相関を有し、かつ基本画像と同じタイミングで再生すべき関連画像を、基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを生成する。また、パケット送信部26は、基本パケットおよび関連パケットを送信する。そして、RTPパケット作成部25は、それぞれ基本パケットおよび関連パケットにおける基本画像データおよび関連画像データ用以外のフィールドに、基本パケットおよび関連パケットを互いに対応付けるためのAU情報を挿入する。
このような構成により、受信側の装置は、受信した複数のIP/UDP/RTPパケットにおけるRTPペイロードに含まれる画像データを詳細に解析することなく、AU情報に基づいて、当該複数のIP/UDP/RTPパケット間の対応関係を取得することができる。
たとえば、局側装置20が、同じタイミングで処理すべき基本画像データおよび関連画像データを、それぞれ基本画像用のIP/UDP/RTPパケットおよび関連画像用のIP/UDP/RTPパケットに含めて、基本画像用のセッションおよび関連画像用のセッションにより送信する。そして、画像パケット受信装置40は、当該基本画像用のIP/UDP/RTPパケットおよび当該関連画像用のIP/UDP/RTPパケットを、局側装置20から、それぞれ基本画像用のセッションおよび関連画像用のセッションにより受信する。この場合においても、画像パケット受信装置40は、当該基本画像用のIP/UDP/RTPパケットおよび当該関連画像用のIP/UDP/RTPパケットに含まれるAU情報を参照することにより、当該基本画像用のIP/UDP/RTPパケットおよび当該関連画像用のIP/UDP/RTPパケットにおいて、どれが同じタイミングで処理すべき画像データを含むIP/UDP/RTPパケットであるかを選別することができる。
また、本発明の実施の形態に係る局側装置では、RTPパケット作成部25は、基本画像データをRTPペイロードに含む基本パケットを生成し、かつ関連画像データをペイロードに含む関連パケットを生成する。そして、RTPパケット作成部25は、それぞれ基本パケットおよび関連パケットのRTPヘッダにAU情報を挿入する。
このように、基本パケットおよび関連パケットのRTPヘッダに挿入されたAU情報を参照することにより、上記各パケットのRTPペイロードに含まれる画像データを詳細に解析することなく、上記各パケット間の対応関係を取得することができる。
また、本発明の実施の形態に係る局側装置では、RTPパケット作成部25は、それぞれ基本パケットおよび関連パケットのRTPヘッダにおける「シーケンス番号」のフィールドに、同じシーケンス番号をAU情報として挿入する。
このように、基本パケットおよび関連パケットのRTPヘッダにおけるシーケンス番号を参照し、当該シーケンス番号が同じであることを確認することにより、同じタイミングで処理されるべき画像データを含む基本パケットおよび関連パケットを、容易に対応付けることができる。
また、「シーケンス番号」のフィールドを利用するので、局側装置20および画像パケット受信装置40は、既存のフォーマットを用いて、AU情報が含まれる基本パケットおよび関連パケットを送受信することができる。
また、本発明の実施の形態に係る局側装置では、RTPパケット作成部25は、基本画像データを分割してRTPペイロードに含めた複数の基本パケットを生成し、かつ関連画像データを分割してRTPペイロードに含めた複数の関連パケットを生成する。そして、RTPパケット作成部25は、それぞれ基本パケットおよび関連パケットのRTPヘッダにおける「シーケンス番号」のフィールドの上位ビット部分に、同じシーケンス番号をAU情報として挿入する。
このような構成により、同じタイミングで処理されるべき画像データを含む基本パケットおよび関連パケットを、容易に対応付けることができる。
また、たとえば、局側装置20が1つのパケットを複数のパケットに分割して画像パケット受信装置40へ送信する際に、「シーケンス番号」のフィールドにおいてAU情報に用いない下位ビットを、当該複数のパケットの順序を特定するために利用することができる。
また、本発明の実施の形態に係る局側装置では、RTPパケット作成部25は、それぞれ基本パケットおよび関連パケットのRTPヘッダにおける「タイムスタンプ」のフィールドに、同じ値のタイムスタンプをAU情報として挿入する。
このように、基本パケットおよび関連パケットのRTPヘッダにおけるタイムスタンプを参照し、当該タイムスタンプが同じであることを確認することにより、同じタイミングで処理されるべき画像データを含む基本パケットおよび関連パケットを、容易に対応付けることができる。
また、「タイムスタンプ」のフィールドを利用するので、局側装置20および画像パケット受信装置40は、既存のフォーマットを用いて、AU情報が含まれる基本パケットおよび関連パケットを送受信することができる。
また、本発明の実施の形態に係る局側装置では、RTPパケット作成部25は、それぞれ基本パケットおよび関連パケットのRTPペイロードにおける先頭部分にAU情報を挿入する。
このように、基本パケットおよび関連パケットのRTPペイロードにおける先頭部分に挿入されたAU情報を参照することにより、上記各パケットのRTPペイロードに含まれる画像データを詳細に解析することなく、上記各パケット間の対応関係を取得することができる。
また、本発明の実施の形態に係る画像パケット受信装置では、基本画像を示す基本画像データを含む基本パケット、および基本画像との相関を有し、かつ基本画像と同じタイミングで再生すべき関連画像を、基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを受信するための受信部41と、基本パケットおよび対応の関連パケットに基づいて再生処理を行うためのRTPパケット分析部42とを備える。そして、RTPパケット分析部42は、それぞれ基本パケットおよび関連パケットにおける基本画像データおよび関連画像データ用以外のフィールドに含まれる、基本パケットおよび関連パケットを互いに対応付けるためのAU情報に基づいて、基本パケットおよび関連パケットを対応付ける。
このような構成により、画像パケット受信装置40は、受信した複数のIP/UDP/RTPパケットにおけるRTPペイロードに含まれる画像データを詳細に解析することなく、AU情報に基づいて、当該複数のIP/UDP/RTPパケット間の対応関係を取得することができる。
たとえば、局側装置20が、同じタイミングで処理すべき基本画像データおよび関連画像データを、それぞれ基本画像用のIP/UDP/RTPパケットおよび関連画像用のIP/UDP/RTPパケットに含めて、基本画像用のセッションおよび関連画像用のセッションにより送信する。そして、画像パケット受信装置40は、当該基本画像用のIP/UDP/RTPパケットおよび当該関連画像用のIP/UDP/RTPパケットを、局側装置20から、それぞれ基本画像用のセッションおよび関連画像用のセッションにより受信する。この場合においても、画像パケット受信装置40は、当該基本画像用のIP/UDP/RTPパケットおよび当該関連画像用のIP/UDP/RTPパケットに含まれるAU情報を参照することにより、当該基本画像用のIP/UDP/RTPパケットおよび当該関連画像用のIP/UDP/RTPパケットにおいて、どれが同じタイミングで処理すべき画像データを含むIP/UDP/RTPパケットであるかを選別することができる。
これにより、画像パケット受信装置40は、複数のIP/UDP/RTPパケットから同じタイミングで処理すべき基本画像データおよび関連画像データを取得できる。そして、画像パケット受信装置40は、取得した基本画像データおよび関連画像データを、それぞれ基本レイヤデコーダ部45および拡張レイヤデコーダ部46においてデコードすることにより、基本画像または関連画像を同じタイミングで適切に再生することができる。
また、本発明の実施の形態に係る画像伝送システムでは、局側装置20と、画像パケット受信装置40とを備える。そして、局側装置20は、基本画像を示す基本画像データを含む基本パケットを生成して送信し、かつ、基本画像との相関を有し、かつ基本画像と同じタイミングで再生すべき関連画像を、基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを生成して送信する。そして、局側装置20は、それぞれ基本パケットおよび関連パケットにおける基本画像データおよび関連画像データ用以外のフィールドに、基本パケットおよび関連パケットを互いに対応付けるためのAU情報を挿入する。また、画像パケット受信装置40は、基本パケットおよび関連パケットを受信し、基本画像データおよび関連画像データに含まれるAU情報に基づいて、基本パケットおよび関連パケットを対応付け、基本パケットおよび対応の関連パケットに基づいて再生処理を行なう。
このような構成により、画像パケット受信装置40は、受信した複数のIP/UDP/RTPパケットにおけるRTPペイロードに含まれる画像データを詳細に解析することなく、AU情報に基づいて、当該複数のIP/UDP/RTPパケット間の対応関係を取得することができる。
たとえば、局側装置20が、同じタイミングで処理すべき基本画像データおよび関連画像データを、それぞれ基本画像用のIP/UDP/RTPパケットおよび関連画像用のIP/UDP/RTPパケットに含めて、基本画像用のセッションおよび関連画像用のセッションにより送信する。そして、画像パケット受信装置40は、当該基本画像用のIP/UDP/RTPパケットおよび当該関連画像用のIP/UDP/RTPパケットを、局側装置20から、それぞれ基本画像用のセッションおよび関連画像用のセッションにより受信する。この場合においても、画像パケット受信装置40は、当該基本画像用のIP/UDP/RTPパケットおよび当該関連画像用のIP/UDP/RTPパケットに含まれるAU情報を参照することにより、当該基本画像用のIP/UDP/RTPパケットおよび当該関連画像用のIP/UDP/RTPパケットにおいて、どれが同じタイミングで処理すべき画像データを含むIP/UDP/RTPパケットであるかを選別することができる。
これにより、画像パケット受信装置40は、複数のIP/UDP/RTPパケットから同じタイミングで処理すべき基本画像データおよび関連画像データを取得できる。そして、画像パケット受信装置40は、取得した基本画像データおよび関連画像データを、それぞれ基本レイヤデコーダ部45および拡張レイヤデコーダ部46においてデコードすることにより、基本画像または関連画像を同じタイミングで適切に再生することができる。
なお、本発明の実施の形態に係る局側装置20および画像パケット受信装置40は、H.264/AVCにおけるMVC規格およびSVC規格に従う画像データの処理を行なう構成であるとしたが、これに限定するものではない。他の規格に従う画像データの処理を行なう構成であってもよい。
また、本発明の実施の形態に係る局側装置20は、ある複数のRTPパケットにおける番組画像のデータが同じAUに含まれる場合、各RTPパケットのRTPヘッダ、RTP拡張ヘッダまたはRTPペイロードの先頭部分等の番組画像のデータに使用しないフィールドに同じAU情報を書込む構成であるとしたが、これに限定するものではない。局側装置20は、ある複数のRTPパケットの番組画像のデータが同じAUに含まれる場合でも、各RTPパケットに異なるAU情報を書込む構成にしてもよい。
局側装置20は、たとえばAU情報の書き込むために16ビットのフィールドが使用可能である場合、上位4ビットのフィールドをセッションの区別に利用し、また、下位12ビットのフィールドをAUの特定に利用してもよい。これにより、画像パケット受信装置40は、ポート番号を取得しなくても、AU情報を参照することにより、RTPパケットに含まれる番組画像のデータに対応するAUおよびセッションを識別することができる。
また、局側装置20および画像パケット受信装置40は、所定の取り決めをすることにより、AU情報を識別してもよい。具体的には、局側装置20および画像パケット受信装置40は、たとえばAU情報を書き込むために8ビットのフィールドが使用可能である場合、16進数表記における当該8ビットのとる値が、0x00から0xFFまでのように、1桁目および2桁目が同じ値であると同じAUに対応すると判断する。
また、所定の取り決めの他の一例として、局側装置20および画像パケット受信装置40は、たとえば当該8ビットのとる値が、0x01から0xF0までのように、2桁目の値が1桁目の値より1だけ小さい場合、同じAUに対応すると判断する。これにより、局側装置20および画像パケット受信装置40は、RTPパケットに異なるAU情報が含まれる場合においても、当該複数のRTPパケット間の対応関係を取得することができる。
上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
10 画像伝送システム
11 ネットワーク
12 表示装置
20 局側装置(画像パケット送信装置)
21 基本レイヤ番組画像作成部
22 拡張レイヤ番組画像作成部
23 PES作成部
24 TSパケット作成部
25 RTPパケット作成部(基本パケット生成部および関連パケット生成部)
26 送信部(基本パケット送信部および関連パケット送信部)
40 画像パケット受信装置
41 受信部(基本パケット受信部および関連パケット受信部)
42 RTPパケット分析部(再生処理部)
43 TSパケット再生部
44 PES再生部
45 基本レイヤデコーダ部
46 拡張レイヤデコーダ部

Claims (12)

  1. 基本画像を示す基本画像データを含む基本パケットを生成するための基本パケット生成部と、
    前記基本パケットを送信するための基本パケット送信部と、
    前記基本画像との相関を有し、かつ前記基本画像と同じタイミングで再生すべき関連画像を、前記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを生成するための関連パケット生成部と、
    前記関連パケットを送信するための関連パケット送信部とを備え、
    前記基本パケット生成部および前記関連パケット生成部は、それぞれ前記基本パケットおよび前記関連パケットにおける前記基本画像データおよび前記関連画像データ用以外のフィールドに、前記基本パケットおよび前記関連パケットを互いに対応付けるための対応情報を挿入する、画像パケット送信装置。
  2. 前記基本パケット生成部は、前記基本画像データをペイロードに含む基本パケットを生成し、
    前記関連パケット生成部は、前記関連画像データをペイロードに含む関連パケットを生成し、
    前記基本パケット生成部および前記関連パケット生成部は、それぞれ前記基本パケットおよび前記関連パケットのヘッダに前記対応情報を挿入する、請求項1に記載の画像パケット送信装置。
  3. 前記基本パケット生成部および前記関連パケット生成部は、それぞれ前記基本パケットおよび前記関連パケットのヘッダにおけるシーケンス番号フィールドに、同じシーケンス番号を前記対応情報として挿入する、請求項2に記載の画像パケット送信装置。
  4. 前記基本パケット生成部は、前記基本画像データを分割してペイロードに含めた複数の基本パケットを生成し、
    前記関連パケット生成部は、前記関連画像データを分割してペイロードに含めた複数の関連パケットを生成し、
    前記基本パケット生成部および前記関連パケット生成部は、それぞれ前記基本パケットおよび前記関連パケットのヘッダにおけるシーケンス番号フィールドの上位ビット部分に、同じシーケンス番号を前記対応情報として挿入する、請求項3に記載の画像パケット送信装置。
  5. 前記基本パケット生成部および前記関連パケット生成部は、それぞれ前記基本パケットおよび前記関連パケットのヘッダにおける時刻情報フィールドに、同じ値の時刻情報を前記対応情報として挿入する、請求項2に記載の画像パケット送信装置。
  6. 前記基本パケット生成部および前記関連パケット生成部は、それぞれ前記基本パケットおよび前記関連パケットのペイロードにおける先頭部分に前記対応情報を挿入する、請求項1に記載の画像パケット送信装置。
  7. 基本画像を示す基本画像データを含む基本パケットを受信するための基本パケット受信部と、
    前記基本画像との相関を有し、かつ前記基本画像と同じタイミングで再生すべき関連画像を、前記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを受信するための関連パケット受信部と、
    前記基本パケットおよび対応の前記関連パケットに基づいて再生処理を行うための再生処理部とを備え、
    前記再生処理部は、それぞれ前記基本パケットおよび前記関連パケットにおける前記基本画像データおよび前記関連画像データ用以外のフィールドに含まれる、前記基本パケットおよび前記関連パケットを互いに対応付けるための対応情報に基づいて、前記基本パケットおよび前記関連パケットを対応付ける、画像パケット受信装置。
  8. 画像パケット送信装置と、画像パケット受信装置とを備える画像伝送システムであって、
    前記画像パケット送信装置は、基本画像を示す基本画像データを含む基本パケットを生成して送信し、かつ、前記基本画像との相関を有し、かつ前記基本画像と同じタイミングで再生すべき関連画像を、前記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを生成して送信し、
    前記画像パケット送信装置は、それぞれ前記基本パケットおよび前記関連パケットにおける前記基本画像データおよび前記関連画像データ用以外のフィールドに、前記基本パケットおよび前記関連パケットを互いに対応付けるための対応情報を挿入し、
    画像パケット受信装置は、前記基本パケットおよび前記関連パケットを受信し、前記基本画像データおよび前記関連画像データに含まれる前記対応情報に基づいて、前記基本パケットおよび前記関連パケットを対応付け、前記基本パケットおよび対応の前記関連パケットに基づいて再生処理を行なう、画像伝送システム。
  9. 基本画像を示す基本画像データを含む基本パケットを生成するステップと、
    前記基本画像との相関を有し、かつ前記基本画像と同じタイミングで再生すべき関連画像を、前記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを生成するステップと、
    それぞれ前記基本パケットおよび前記関連パケットにおける前記基本画像データおよび前記関連画像データ用以外のフィールドに、前記基本パケットおよび前記関連パケットを互いに対応付けるための対応情報を挿入するステップと、
    前記基本パケットを送信するステップと、
    前記関連パケットを送信するステップとを含む、画像伝送方法。
  10. 基本画像を示す基本画像データを含む基本パケットを受信するステップと、
    前記基本画像との相関を有し、かつ前記基本画像と同じタイミングで再生すべき関連画像を、前記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを受信するステップと、
    前記基本パケットおよび対応の前記関連パケットに基づいて再生処理を行うステップと、
    それぞれ前記基本パケットおよび前記関連パケットにおける前記基本画像データおよび前記関連画像データ用以外のフィールドに含まれる、前記基本パケットおよび前記関連パケットを互いに対応付けるための対応情報に基づいて、前記基本パケットおよび前記関連パケットを対応付けるステップとを含む、画像伝送方法。
  11. 画像パケット送信装置において用いられる画像伝送プログラムであって、コンピュータに、
    基本画像を示す基本画像データを含む基本パケットを生成するステップと、
    前記基本画像との相関を有し、かつ前記基本画像と同じタイミングで再生すべき関連画像を、前記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを生成するステップと、
    それぞれ前記基本パケットおよび前記関連パケットにおける前記基本画像データおよび前記関連画像データ用以外のフィールドに、前記基本パケットおよび前記関連パケットを互いに対応付けるための対応情報を挿入するステップと、
    前記基本パケットを送信するステップと、
    前記関連パケットを送信するステップとを実行させるための、画像伝送プログラム。
  12. 画像パケット受信装置において用いられる画像伝送プログラムであって、コンピュータに、
    基本画像を示す基本画像データを含む基本パケットを受信するステップと、
    前記基本画像との相関を有し、かつ前記基本画像と同じタイミングで再生すべき関連画像を、前記基本画像との差分に基づいて圧縮した関連画像データを含む関連パケットを受信するステップと、
    前記基本パケットおよび対応の前記関連パケットに基づいて再生処理を行うステップと、
    それぞれ前記基本パケットおよび前記関連パケットにおける前記基本画像データおよび前記関連画像データ用以外のフィールドに含まれる、前記基本パケットおよび前記関連パケットを互いに対応付けるための対応情報に基づいて、前記基本パケットおよび前記関連パケットを対応付けるステップとを実行させるための、画像伝送プログラム。




JP2012087753A 2012-04-06 2012-04-06 画像パケット送信装置、画像パケット受信装置、画像伝送システム、画像伝送方法および画像伝送プログラム Pending JP2013219514A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012087753A JP2013219514A (ja) 2012-04-06 2012-04-06 画像パケット送信装置、画像パケット受信装置、画像伝送システム、画像伝送方法および画像伝送プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012087753A JP2013219514A (ja) 2012-04-06 2012-04-06 画像パケット送信装置、画像パケット受信装置、画像伝送システム、画像伝送方法および画像伝送プログラム

Publications (1)

Publication Number Publication Date
JP2013219514A true JP2013219514A (ja) 2013-10-24

Family

ID=49591172

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012087753A Pending JP2013219514A (ja) 2012-04-06 2012-04-06 画像パケット送信装置、画像パケット受信装置、画像伝送システム、画像伝送方法および画像伝送プログラム

Country Status (1)

Country Link
JP (1) JP2013219514A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017179592A1 (ja) * 2016-04-12 2019-02-21 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN116668602A (zh) * 2023-06-27 2023-08-29 小米汽车科技有限公司 相机图像同步方法、装置、车辆及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017179592A1 (ja) * 2016-04-12 2019-02-21 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN116668602A (zh) * 2023-06-27 2023-08-29 小米汽车科技有限公司 相机图像同步方法、装置、车辆及存储介质
CN116668602B (zh) * 2023-06-27 2024-03-19 小米汽车科技有限公司 相机图像同步方法、装置、车辆及存储介质

Similar Documents

Publication Publication Date Title
JP5575949B2 (ja) 放送データ送信方法およびその装置
TWI774744B (zh) 在使用mime類型參數之網路視頻串流中發信重要視頻資訊
US20220078491A1 (en) Transmitting method
KR101472332B1 (ko) 3차원 디지털 컨텐츠의 제공 방법, 수신 방법 및 그 장치
US11678022B2 (en) Transmission device, transmission method, reception device, and reception method
KR100585966B1 (ko) 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
TWI437887B (zh) Mpeg-2系統上多視角視訊編碼
JP5462259B2 (ja) トラックおよびトラックサブセットグループ化の方法および装置
US11638066B2 (en) Method, device and computer program for encapsulating media data into a media file
JP2012507968A (ja) ステレオスコピック画像を同期化する装置及び方法と、これを利用したステレオスコピック画像提供装置及び方法
AU2012270417A1 (en) Method and apparatus for transmitting/receiving media contents in multimedia system
JP6344392B2 (ja) 符号化装置、符号化方法、送信装置、復号化装置、復号化方法および受信装置
TW201909007A (zh) 使用用於檔案格式邏輯框之一通用描述符處理媒體資料
JP2016534621A (ja) デジタル放送システムにおける高画質uhd放送コンテンツの送受信方法及び装置
US10848837B2 (en) Device and method for processing high-definition 360-degree VR image
JP7067653B2 (ja) 復号装置
KR20120065943A (ko) 스테레오스코픽 비디오 서비스 위한 시그널링 방법 및 이러한 방법을 사용하는 장치
TW201813411A (zh) 用於媒體資料串流之補充增強資訊軌跡之系統級發信
US20230188767A1 (en) Transmission device, transmission method, reception device, and reception method
JP2013219514A (ja) 画像パケット送信装置、画像パケット受信装置、画像伝送システム、画像伝送方法および画像伝送プログラム
KR102117805B1 (ko) 전방향성 미디어 포맷을 이용한 미디어 데이터 프로세싱
WO2017199743A1 (ja) 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP7306527B2 (ja) 復号装置
KR101191498B1 (ko) 실시간 방송과 비실시간 부가 방송 데이터의 연동을 통한 입체영상 방송서비스를 위한 동기 신호 생성 방법 및 시스템
JP2015226305A (ja) 符号化装置