JP2008125045A - 送信方法および受信方法ならびにそれらを利用した送信装置および受信装置 - Google Patents

Abstract

【課題】画像フレームの再送処理の負荷を軽減したい。
【解決手段】符号化部１０は、少なくともひとつの画像フレームを入力する。また、符号化部１０は、入力した少なくともひとつの画像フレームを複数の部分に分割し、パケット信号生成部１２は、分割した複数の部分のそれぞれをパケット信号に格納して送信する。その際、パケット信号生成部１２は、パケット信号に格納した部分と関連づけられた他の部分が格納された他のパケット信号の識別情報を当該パケット信号に含める。
【選択図】図１

Description

本発明は、送信技術および受信技術に関し、特に画像フレームを伝送する送信方法および受信方法ならびにそれらを利用した送信装置および受信装置に関する。

動画像データを伝送する際、一般的にＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）やＨ．２６４等の動画像符号化方式によって、動画像データが符号化される。受信側は、符号化された動画像データに対して復号を実行するが、動画像データに対する処理の負荷は、通常のデータ通信や音声通信に対する処理の負荷と比較して高くなる傾向にある。このような負荷を低減するために、画像データの種類、ビデオフレームやビデオパケットの個数等が、パケット信号のヘッダに含められる（例えば、特許文献１参照。）。
特開２００１−７８１８１号公報

動画像データは、複数の画像フレームによって形成される。また、動画像符号化方式による符号化がなされる場合、ひとつの画像フレームが複数のマクロブロックに分割され、マクロブロック単位に処理がなされる。例えば、動きベクトルの導出によって、所定のマクロブロックと別のマクロブロックとが関連づけられる。その結果、所定のマクロブロックが復号される際には、別のマクロブロックが参照される（以下、別のマクロブロックを「参照元マクロブロック」という）。そのため、受信側において、所定のマクロブロックを復号する際に、参照元マクロブロックが必要になるが、参照元マクロブロックを受信していない場合、受信側は送信側に参照元マクロブロックの再送を要求する。なお、参照元マクロブロックの特定は、復号後になされる。このような再送の制御についての負荷も低い方が好ましい。一方、背景技術によれば、復号処理の負荷を軽減できるが、再送処理の負荷は軽減されない。

本発明はこうした状況に鑑みてなされたものであり、その目的は、画像フレームの再送処理の負荷を軽減するための送信技術および受信技術を提供することにある。

上記課題を解決するために、本発明のある態様の送信装置は、少なくともひとつの画像フレームを入力する入力部と、入力部において入力した少なくともひとつの画像フレームを複数の部分に分割し、分割した複数の部分のそれぞれをパケット信号に格納して送信する送信部とを備える。送信部は、パケット信号に格納した部分と関連づけられた他の部分が格納された他のパケット信号の識別情報を当該パケット信号に含める。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、画像フレームの再送処理の負荷を軽減できる。

まず、本発明の代表的な実施態様について説明する。本発明のある態様の送信装置は、少なくともひとつの画像フレームを入力する入力部と、入力部において入力した少なくともひとつの画像フレームを複数の部分に分割し、分割した複数の部分のそれぞれをパケット信号に格納して送信する送信部とを備える。送信部は、パケット信号に格納した部分と関連づけられた他の部分が格納された他のパケット信号の識別情報を当該パケット信号に含める。

この態様によると、他のパケット信号の識別情報をパケット信号に含めるので、部分のレベルではなくパケット信号のレベルにて、当該パケット信号に関連した他のパケット信号を通知でき、受信装置における再送処理の負荷を軽減できる。

送信部は、少なくともひとつの画像フレームに対して動画像符号化を実行することによって、複数の部分を生成しながら、動画像復号の際に所定の部分が参照すべき他の部分を特定する画像符号化部と、所定の部分を格納すべきパケット信号に、特定した他の部分が格納された他のパケット信号の識別情報を含める生成部とを備えてもよい。この場合、パケット信号によって参照される他のパケット信号の識別情報を含めるので、受信装置における再送処理の負荷を軽減できる。

ひとつの部分は、複数のマクロブロックにて構成されており、画像符号化部は、特定をマクロブロック単位に実行し、生成部は、ひとつの部分を構成した複数のマクロブロックのそれぞれによって参照される他のマクロブロックが複数存在し、かつ複数の他のマクロブロックが複数の他のパケット信号に格納される場合に、複数の他のパケット信号の識別番号をパケット信号に含める。この場合、ひとつのパケット信号に複数のマクロブロックが含まれ、かつ複数の他のパケット信号が存在する場合であっても、それらの識別情報をパケット信号に含めることができる。

画像符号化部は、所定のマクロブロックと、当該マクロブロックが参照すべき他のマクロブロックとの間における一致の程度を重み係数として導出し、生成部は、複数の他のパケット信号の識別番号を含める場合に、参照すべき他のマクロブロックが格納される他のパケット信号ごとに重み係数を積算し、積算値もパケット信号に含める。この場合、積算値もパケット信号に含めるので、他のパケット信号に対する重要性を受信装置に通知できる。

画像符号化部は、所定の部分を含む画像フレームからその最後の参照元とすべき画像フレームに向かって複数回の予測符号化により所定の部分を生成した場合、その予測符号化の参照画像フレームとして使用した複数の画像フレームのうち、最初に参照すべき画像フレームを含む少なくとも二つの画像フレームについて、所定の部分が直接および間接に参照すべき他の部分を特定し、生成部は、所定の部分を格納すべきパケット信号に、複数の他の部分がそれぞれ格納された複数のパケット信号の識別情報を含める。この場合、二次的に参照すべきパケット信号を受信装置に、さらに早期に認識させることができる。

画像符号化部は、予測符号化に使用したすべての画像フレームについて、所定の部分が直接および間接に参照すべき他の部分を特定する。この場合、復号に必要なすべてのパケット信号を受信装置に、早期に認識させることができる。

本発明の別の態様もまた、送信装置である。この装置は、少なくともひとつの画像フレームを入力する入力部と、入力部において入力した少なくともひとつの画像フレームを複数の部分に分割し、分割した複数の部分のそれぞれをパケット信号に格納して送信する送信部とを備える。送信部は、パケット信号に格納した部分と関連づけられた他の部分が格納された他のパケット信号の識別情報を含めた制御信号も送信する。

この態様によると、他のパケット信号の識別情報を含めた制御信号を送信するので、部分のレベルではなくパケット信号のレベルにて、当該パケット信号に関連した他のパケット信号を通知でき、受信装置における再送処理の負荷を軽減できる。

送信部は、パケット信号と制御信号とをそれぞれ異なる伝送路で特定の受信装置に送信する。この場合、より最適なタイミングで制御信号を受信装置に送信することが可能となる。

本発明のさらに別の態様は、受信装置である。この装置は、少なくともひとつの画像フレームを複数の部分に分割し、分割した複数の部分のそれぞれが格納されたパケット信号であって、かつパケット信号に格納した部分と関連づけられた他の部分が格納された他のパケット信号の識別情報を含んだパケット信号を受信する受信部と、受信部において受信したパケット信号に格納された複数の部分から、少なくともひとつの画像フレームを復号する復号部とを備える。受信部は、パケット信号に含まれた識別情報を確認し、他のパケット信号が受信されていなければ、当該他のパケット信号の再送を要求する。

この態様によると、他のパケット信号の識別情報がパケット信号に含められているので、部分のレベルではなくパケット信号のレベルにて、当該パケット信号に関連した他のパケット信号を認識でき、再送処理の負荷を軽減できる。

受信部において受信したパケット信号には、他のパケット信号に対する重要度が含まれており、重要度がしきい値よりも高い場合に、再送を要求してもよい。この場合、他のパケット信号に対する重要性を認識できるので、重要性に応じた再送処理を実行できる。

パケット信号に格納した部分と関連づけられた他の部分は、複数回の予測符号化により生成された部分に対して、その予測符号化の参照画像フレームとして使用された複数の画像フレームのうち、最初に参照すべき画像フレームを含む少なくとも二つの画像フレームについてそれぞれ特定された複数のものであり、受信部は、最初に参照すべき画像フレーム以外の参照画像フレームにおける他の部分を格納したパケット信号が受信されていなければ、当該パケット信号の再送をあらかじめ要求する。この場合、再送要求処理をより効率化することができる。

本発明のさらに別の態様は、送信方法である。この方法は、少なくともひとつの画像フレームを複数の部分に分割するステップと、分割した複数の部分のそれぞれをパケット信号に格納するステップと、パケット信号に格納した部分と関連づけられた他の部分が格納された他のパケット信号の識別情報を当該パケット信号に含めるステップと、パケット信号を送信するステップと、を備える。

本発明のさらに別の態様は、受信方法である。この方法は、少なくともひとつの画像フレームを複数の部分に分割し、分割した複数の部分のそれぞれが格納されたパケット信号であって、かつパケット信号に格納した部分と関連づけられた他の部分が格納された他のパケット信号の識別情報を含んだパケット信号を受信するステップと、受信したパケット信号に格納された複数の部分から、少なくともひとつの画像フレームを復号するステップとを備える。受信するステップは、パケット信号に含まれた識別情報を確認し、他のパケット信号が受信されていなければ、当該他のパケット信号の再送を要求する。

本発明を具体的に説明する前に、概要を述べる。本発明の実施例は、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワークを介して接続された送信装置と受信装置とに関する。また、送信装置は、複数の画像フレームによって構成される動画像データを受信装置に送信し、受信装置は、受信した動画像データを復号する。送信装置は、複数の画像フレームに対してＭＰＥＧ４による符号化を実行し、ひとつの画像フレームを複数のマクロブロックに分割する。また、少なくともひとつのマクロブロックはひとつのＩＰパケットに格納され、送信装置は、ＩＰパケットを順次送信する。さらに、複数のマクロブロックは、動きベクトルによって互いに関連づけられている。

つまり、所定の画像フレームの中のマクロブロックは、当該画像フレームよりも時間的に前に配置される画像フレーム中の参照元マクロブロックを参照する。一方、受信装置は、複数のマクロブロックに対して復号を実行するが、所定のマクロブロックを復号する際に、当該マクロブロックによって参照される参照元マクロブロックが必要になる。参照元マクロブロックが受信されていなければ、受信装置は、送信装置に対して参照元マクロブロックの再送を要求する。再送の処理を簡易にするために、本実施例に係る送信装置と受信装置とは、以下の処理を実行する。

送信装置は、所定のＩＰパケットに格納されるマクロブロックに対する参照元マクロブロックを特定する。また、送信装置は、特定した参照元マクロブロックが格納されるＩＰパケット（以下、「参照元パケット信号」という）の識別番号をＩＰパケットに付加する。受信装置は、ＩＰパケットを受信すると、参照元パケット信号の識別番号を確認し、参照元パケット信号を受信していなければ、再送を要求する。その結果、ＩＰパケットに格納されたマクロブロックに対する復号処理を実行しなくても、再送を要求できるので、再送の処理が簡易になる。

図１は、本発明の実施例に係る送信装置１００の構成を示す。送信装置１００は、符号化部１０、パケット信号生成部１２、参照元検索部１４、記憶部１６を含む。符号化部１０には、複数の画像フレームにて形成された動画像データが入力される。符号化部１０は、入力された複数の画像フレームに対してＭＰＥＧ４による動画像符号化を実行する。その結果、ひとつの画像フレームが複数のマクロブロックに分割される。ここで、ひとつの画像フレームは、６行×６列のマクロブロックにて構成されるものとする。なお、後述するパケット信号生成部１２において、少なくともひとつのマクロブロックがひとつのＩＰパケットに格納されるが、ひとつのＩＰパケットに格納されるマクロブロックのまとまりを部分という。つまり、符号化部１０は、ひとつの画像フレームを複数の部分に分割するともいえる。

また、符号化部１０は、マクロブロックに対する動きベクトルを演算する。図２（ａ）−（ｂ）は、符号化部１０における処理の概要を示す。図２（ａ）は、所定のタイミングに配置される画像フレームＦｎを示し、図２（ｂ）は、図２（ａ）よりも後に再生されるべき画像フレームＦｎ＋１を示す。符号化部１０は、画像フレームＦｎ上における参照画像要素Ｒの位置と、画像フレームＦｎ＋１上において参照画像要素Ｒを含むマクロブロックＭＢ（ｎ＋１，ｋ）の位置とをもとに、マクロブロック（ｎ＋１，ｋ）の動きベクトルＶ（ｎ＋１，ｋ）を演算する。このような動きベクトルＶ（ｎ＋１，ｋ）は、画像フレーム上でのマクロブロックＭＢ（ｎ＋１，ｋ）の移動方向と移動量に相当する。

具体的に説明すると、符号化部１０は、マクロブロックＭＢ（ｎ＋１，ｋ）を構成する輝度信号および色差信号を使用しながら動きベクトルＶ（ｎ＋１，ｋ）を演算する。図１に戻る。画像フレームＦｎは、画像フレームＦｎ＋１に対する参照元フレームと呼ばれるものとする。以上の処理の結果、符号化部１０は、符号化した画像フレーム、つまり複数のマクロブロックをパケット信号生成部１２に出力し、参照元フレームの識別番号および動きベクトルを参照元検索部１４に出力する。

参照元検索部１４は、符号化部１０によって演算された動きベクトルＶ（ｎ＋１，ｋ）をもとに、画像フレームＦｎ上において、参照画像要素Ｒが含まれた参照画像ブロックを特定する。参照画像ブロックは、図２（ａ）においてＳＢ（ｎ＋１，ｋ）と示される。つまり、参照元検索部１４は、動きベクトルＶ（ｎ＋１，ｋ）をもとに、マクロブロックと同一サイズの参照画像ブロックを特定する。なお、参照元検索部１４は、参照画像ブロックを特定するかわりに、あるいは参照画像ブロックを特定するとともに、参照元マクロブロックを特定してもよい。参照元マクロブロックは、参照画像ブロックを含んだマクロブロックであり、図２（ａ）では、参照画像ブロック（ｎ＋１，ｋ）と重なった４つのマクロブロックに相当する。以上の処理は、動画像復号の際に所定の部分が参照すべき他の部分を特定することに相当し、このような特定は、マクロブロック単位に実行される。

参照元検索部１４は、後述のパケット信号生成部１２においてひとつのＩＰパケットに格納される複数のマクロブロックのそれぞれに対して、参照元マクロブロックを特定する。なお、記憶部１６には、パケット信号生成部１２によって既に生成されたＩＰパケットに関する情報、例えばＩＰパケットの識別番号やＩＰパケットに格納されたマクロブロックについての情報が格納されている。参照元検索部１４は、記憶部１６を参照しながら参照元マクロブロックを格納した参照元パケット信号の識別番号を特定する。なお、ひとつの部分を構成した複数のマクロブロックのそれぞれに対する参照元マクロブロックが複数存在し、かつ複数の参照元マクロブロックが複数の参照元パケット信号に格納される場合に、参照元検索部１４は、複数の参照元パケット信号の識別番号を特定する。

図３（ａ）−（ｃ）は、参照元検索部１４において検索される参照元パケット信号の概要を示す。図３（ａ）は、画像フレームＦｎに配置される複数のマクロブロックを示す。図示のごとく、ひとつの画像フレームには、６行６列のマクロブロックが配置される。また、実線にて囲まれた少なくともひとつのマクロブロックが部分に相当し、実線にて囲まれた部分の中に示された「１０１」等の数字が、ＩＰパケットの識別番号に相当する。図示のごとく、画像フレームＦｎに配置される複数のマクロブロックは、識別番号「１０１」から「１１１」のＩＰパケットにそれぞれ格納される。図３（ｂ）は、画像フレームＦｎ＋１に配置される複数のマクロブロックを示す。図３（ｂ）の説明は、図３（ａ）と同様であり、画像フレームＦｎ＋１に配置される複数のマクロブロックは、識別番号「１１２」から「１２１」のＩＰパケットにそれぞれ格納される。

図３（ｃ）は、参照元検索部１４において関連づけられたＩＰパケットと参照元パケット信号との関係を示す。参照番号「１１２」のＩＰパケットは、参照番号「１０１」、「１０２」、「１０３」、「１０４」の参照元パケット信号を参照する。これは、参照番号「１１２」のＩＰパケットに格納された複数のマクロブロックが、参照番号「１０１」、「１０２」、「１０３」、「１０４」の参照元パケット信号に格納された参照元マクロブロックを参照することに相当する。そのため、参照番号「１１２」のＩＰパケットを復号する際には、参照番号「１０１」、「１０２」、「１０３」、「１０４」の参照元パケット信号が必要になる。他のＩＰパケットについても同様である。図１に戻る。参照元検索部１４は、参照元パケット信号の識別番号をパケット信号生成部１２に出力する。

パケット信号生成部１２は、少なくともひとつのマクロブロック、つまりひとつの部分を符号化部１０から受けつけ、受けつけた部分を格納するようにＩＰパケットを生成する。また、パケット信号生成部１２は、動画像データから複数のパケット信号を生成する。パケット信号生成部１２は、参照元検索部１４から、パケット信号に格納した部分と関連づけられた他の部分が格納された他のパケット信号、つまり参照元パケット信号の識別番号を受けつけ、受けつけた識別情報を当該パケット信号に含める。

図４は、パケット信号生成部１２において生成されるパケット信号の構成を示す。パケット信号は、ヘッダ、パケット信号情報、マクロブロックを含む。ヘッダは、所定のレイヤにおける制御信号に相当する。例えば、ＩＰパケットでは、ＩＰヘッダ、ＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）ヘッダ、ＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）ヘッダによって、ヘッダが構成される。パケット信号情報には、当該パケット信号の識別番号が含まれる。また、パケット信号情報には、参照元検索部１４から受けつけた参照元パケット信号の識別番号が含まれ、複数の識別番号が含まれる場合もある。

さらに、参照元パケット信号情報マクロブロックは、符号化部１０から受けつけたマクロブロックであり、複数のマクロブロックが含まれる場合もある。図１に戻る。パケット信号生成部１２は、図示しないＩＰネットワークに、生成したＩＰパケットを送信する。その際、ＩＰレイヤよりも下位のレイヤ、例えばＭＡＣ（Ｍｅｄｉａ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌ）レイヤ、ＰＨＹ（Ｐｈｙｓｉｃａｌ）レイヤのヘッダが付加されてもよい。また、前述のごとく、パケット信号生成部１２は、生成したＩＰパケットに関する情報を記憶部１６に記憶させる。

この構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた通信機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

図５は、本発明の実施例に係る受信装置１１０の構成を示す。受信装置１１０は、通信部５０、参照元検索部５２、判定部５４、記憶部５６、再生部５８を含む。通信部５０は、図示しない送信装置１００からＩＰネットワークを介して、図４に示されたＩＰパケットを受信する。通信部５０は、受信したＩＰパケットの内容を解析する。その結果、通信部５０は、ＩＰパケットに含まれたマクロブロックを判定部５４に出力し、参照元パケット信号の識別番号を参照元検索部５２に出力し、受信したＩＰパケットの識別番号を記憶部５６に出力する。

記憶部５６は、通信部５０からの入力したがって、既に受信したＩＰパケットの識別番号を記憶する。なお、受信したＩＰパケットに誤りがある場合、後述の判定部５４からの指示にしたがって、記憶部５６は、記憶した識別番号を削除する。参照元検索部５２は、通信部５０から入力された参照元パケット信号の識別番号が、記憶部５６に記憶されているかを確認する。参照元検索部５２は、確認結果を判定部５４に出力する。つまり、記憶されている場合、参照元検索部５２は、当該ＩＰパケットに対する復号処理の実行を判定部５４に指示する。一方、記憶されていない場合、参照元検索部５２は、記憶されていない参照元パケット信号の識別番号を判定部５４に通知する。

判定部５４は、参照元検索部５２からの確認結果をもとに、処理の内容を決定する。参照元検索部５２から復号処理の実行を指示された場合、判定部５４は、通信部５０からのマクロブロックを再生部５８に出力する。一方、参照元パケット信号の識別番号を受けつけた場合、判定部５４は、通信部５０を介して図示しない送信装置１００に対して、当該識別番号が付与されたＩＰパケットの再送を要求する。つまり、参照元パケット信号が受信されていなければ、判定部５４は、当該参照元パケット信号の再送を要求する。再生部５８は、判定部５４からのマクロブロックに対して動画像復号を実行することによって、複数の画像フレームを再生する。再生された複数の画像フレームが図示しない表示装置に動画像として表示されてもよい。

以上の構成による送信装置１００の動作を説明する。図６は、送信装置１００による送信処理の手順を示すフローチャートである。符号化部１０は、画像フレームを入力し（Ｓ１０）、画像フレームを符号化する（Ｓ１２）。参照元検索部１４は、参照元マクロブロックを検出し（Ｓ１４）、参照元パケット信号を検索する（Ｓ１６）。パケット信号生成部１２は、マクロブロックを集約してパケット信号を生成し（Ｓ１８）、情報をパケット信号に付加する（Ｓ２０）。

以上の構成による受信装置１１０の動作を説明する。図７は、受信装置１１０による受信処理の手順を示すフローチャートである。通信部５０は、パケット信号を受信し（Ｓ５０）、付加された情報を抽出する（Ｓ５２）。参照元パケット信号を受信していることを参照元検索部５２が確認できれば（Ｓ５４のＹ）、再生部５８は、再生を実行する（Ｓ５８）。一方、参照元パケット信号を受信していることを参照元検索部５２が確認できなければ（Ｓ５４のＮ）、判定部５４は、通信部５０を介して再送要求を送信した（Ｓ５６）後に、再生部５８は、再生を実行する（Ｓ５８）。

以下、本発明に係る変形例を説明する。実施例では、送信装置が参照元パケット信号の参照番号をＩＰパケットに付加して送信し、受信装置が参照元パケット信号の受信を確認する。受信されていなければ、受信装置は、送信装置に対して参照元パケット信号の再送を要求する。

まず、変形例１について説明する。変形例１での送信装置は、参照元パケット信号の参照番号に加えて、参照元パケット信号の重要性に関する情報もＩＰパケットに付加する。参照元パケット信号の重要性に関する情報とは、例えば、ＩＰパケットに格納されたマクロブロックと、参照元パケット信号に格納された参照元マクロブロックとの一致の程度を示す指標であり、これは、参照元パケット信号が受信されていないことに対するＩＰパケットが受ける影響の大きさに相当する。受信装置では、重要性の大きい参照元パケット信号に対して、優先的に再送を要求する。

変形例１に係る送信装置１００は、図１と同一のタイプであり、変形例に係る受信装置１１０は、図５と同一のタイプである。ここでは、実施例との異なった部分を中心に説明する。符号化部１０は、所定のマクロブロックと、参照元マクロブロックとの間における一致の程度を重み係数として導出する。符号化部１０は、画像フレームＦｎ上でのマクロブロックＭＢ（ｎ，ｍ）と参照画像ブロックＳＢ（ｎ＋１，ｋ）とが重複する領域の割合に応じて、マクロブロックＭＢ（ｎ＋１，ｍ）に対する重み係数を計算する。具体的には、マクロブロックＭＢ（ｎ，ｍ）と参照画像ブロックＳＢ（ｎ＋１，ｋ）とが重なる領域と、マクロブロックＭＢ（ｎ，ｍ）が占める領域との比率が重み係数として導出される。このような重み係数Ｗｓは、以下のように示される。

各マクロブロックが１６画素×１６ラインにて構成され、マクロブロックＭＢ（ｎ＋１，ｋ）の動きベクトルＶ（ｎ＋１，ｍ）＝（ａ，ｂ）とすると、マクロブロックＭＢ（ｎ，ｍ）の重み係数は以下のように示される。

ひとつのマクロブロックに対する参照元マクロブロックが複数存在する場合、符号化部１０は、複数の参照元マクロブロックのそれぞれに対して重み係数を計算する。また、符号化部１０は、ひとつのＩＰパケットに含まれる複数のマクロブロックに対して同一の処理を実行する。さらに、符号化部１０は、参照元マクロブロックが格納される参照元パケット信号ごとに重み係数を積算し、積算値を参照元パケット信号に対する重み係数とする。

図８は、本発明の変形例１に係る重み係数の概要を示す図である。ＩＰパケットＡからＩＰパケットＤが図示されているが、ＩＰパケットＡが処理対象のパケット信号に相当し、ＩＰパケットＢからＩＰパケットＤが参照元パケット信号に相当する。また、ＩＰパケットＡには、３つのマクロブロックＭＢ（Ａ１）からＭＢ（Ａ３）が含まれており、他のＩＰパケットについても同様に３つのマクロブロックが含まれている。ここで、ＭＢ（Ａ１）からＭＢ（Ａ３）と実線で結ばれたマクロブロックが、参照元マクロブロックに相当する。

例えば、マクロブロックＭＢ（Ｂ１）は、ＭＢ（Ａ１）の参照元マクロブロックのひとつである。また、マクロブロックＭＢ（Ｂ１）の近傍に示した値「０．２５」が、参照元マクロブロックＭＢ（Ｂ１）に対する重み係数に相当する。他のマクロブロックについても同様の説明が成立する。マクロブロックＭＢ（Ｂ１）からＭＢ（Ｂ３）のそれぞれの重み係数を積算した値「１．５」が、ＩＰパケットＢに対する重み係数に相当する。図１に戻る。パケット信号生成部１２は、ＩＰパケットＢからＩＰパケットＤのそれぞれに対する重み係数「１．５」、「１．０」、「０．５」をＩＰパケットＡに付加する。

図５の通信部５０は、受信したＩＰパケットに付加された重み係数に関する情報を判定部５４に出力する。判定部５４は、受信していない参照元パケット信号のうち、重要度がしきい値よりも高い場合に、通信部５０を介して再送要求を送信する。図８の場合、しきい値を「０．８」とすれば、ＩＰパケットＢおよびＩＰパケットＣは再送の対象となるが、ＩＰパケットＤは、再送の対象とならない。そのため、判定部５４は、ＩＰパケットＤよりもＩＰパケットＢおよびＩＰパケットＣの方が重要であると判定している。

次に、変形例２について説明する。変形例２での送信装置は、ひとつのマクロブロックの参照元マクロブロックが複数の画像フレームにわたって存在する場合、すなわち複数回の予測符号化により生成されたマクロブロックである場合、そのマクロブロックを格納するパケット信号に、その複数の参照元マクロブロックをそれぞれ格納した複数の参照元パケット信号の識別情報を付加する。ここで、フレーム間符号化される対象マクロブロックから、その参照元となる複数のマクロブロックを格納するパケット信号のうち、そのすべての識別情報を付加してもよいし、その一部を付加してもよい。

一部を付加する場合、対象マクロブロックが一次的に参照すべきマクロブロックを格納するパケット信号の識別情報を付加する他に、そのマクロブロックが参照すべき二次的なマクロブロックを格納するパケット信号の識別情報を付加してもよいし、最後に参照すべきフレーム内符号化されたマクロブロックを格納するＩＰパケットの識別情報を付加してもよい。また、一次的に参照すべきマクロブロックから最後に参照すべきマクロブロックに向かう過程において、その途中までのマクロブロックをそれぞれ格納するパケット信号の識別情報を付加してもよい。

変形例２に係る送信装置１００は、図１と同一のタイプであり、変形例２に係る受信装置１１０は、図５と同一のタイプである。ここでは、実施例との異なった部分を中心に説明する。参照元検索部１４は、複数回の予測符号化により生成されたマクロブロックに対して以下のように処理する。ひとつのパケット信号に格納される複数のマクロブロックのそれぞれに対して、複数の参照元マクロブロックを特定する。パケット信号生成部１２は、それぞれのマクロブロックごとに、参照元検索部１４から複数の参照元パケット信号の識別情報を受けつける。パケット信号生成部１２は、少なくともひとつのマクロブロックを格納したパケット信号を生成する際、受けつけた識別情報を付加する。

図９は、本発明の変形例２に係る識別情報の付加態様を示す図である。図９では説明の簡単のため、それぞれの画像フレームは三つの部分に分割され、三つのパケット信号に格納されるものとする。画像フレームＦｍは、ＩＰパケットＥ１、ＩＰパケットＥ２およびＩＰパケットＥ３に分割されて格納される。その次の画像フレームＦｍ＋１は、ＩＰパケットＦ１、ＩＰパケットＦ２およびＩＰパケットＦ３に分割されて格納される。さらにその次の画像フレームＦｍ＋２は、ＩＰパケットＧ１、ＩＰパケットＧ２およびＩＰパケットＧ３に分割されて格納される。

画像フレームＦｍは、Ｉピクチャでありフレーム内符号化されるため、参照元マクロブロックを格納した参照元パケット信号の識別情報は付加されない。画像フレームＦｍ＋１は、Ｂピクチャでありフレーム間符号化されるため、参照元パケット信号の識別情報を付加する必要がある。同様に、画像フレームＦｍ＋２は、Ｐピクチャでありフレーム間符号化されるため、参照元パケット信号の識別情報を付加する必要がある。

図９では、ＩＰパケットＦ３に識別情報を付加する様子を示している。ＩＰパケットＦ３は、ひとつ未来のＰピクチャを参照元フレームとし、ＩＰパケットＧ３に格納されるマクロブロックを参照元マクロブロックとするため、ＩＰパケットＧ３の識別情報が付加される。ＩＰパケットＧ３は、二つ過去のＩピクチャを参照元フレームとし、ＩＰパケットＥ２に格納されるマクロブロックを参照元マクロブロックとするため、ＩＰパケットＥ２の識別情報が付加される。これに加えて、変形例２ではＩＰパケットＦ３に、ＩＰパケットＧ３の参照元パケット信号であるＩＰパケットＥ２の識別情報も付加される。したがって、受信装置は、ＩＰパケットＧ３の受信前に、ＩＰパケットＦ３の復号に必要なＩＰパケットＧ３以外のＩＰパケット信号を認識することが可能である。

ここで、図９に示した例を請求項５に記載した構成にあてはめた場合について説明する。図９のＩＰパケットＦ３は、請求項５の「所定の部分」にあてはまる。図９のＩＰパケットＥ２を含む画像フレームは、請求項５の「最後の参照元とすべき画像フレーム」にあてはまる。図９のＩＰパケットＧ３を含む画像フレームは、請求項５の「最初に参照すべき画像フレーム」にあてはまる。図９のＩＰパケットＥ２を含む画像フレームおよびＩＰパケットＧ３を含む画像フレームは、請求項５の「予測符号化の参照画像フレームとして使用した複数の画像フレーム」にあてはまる。なお、この「予測符号化の参照画像フレームとして使用した複数の画像フレーム」は、図９の例では二枚であるが、三枚以上も可能である。

図９に示した例を請求項１１に記載した構成にあてはめた場合についても説明する。図９のＩＰパケットＦ３は、請求項１１の「複数回の予測符号化により生成された部分」にあてはまる。図９のＩＰパケットＥ２を含む画像フレームは、請求項１１の「最初に参照すべき画像フレーム以外の画像フレーム」にあてはまる。図９のＩＰパケットＧ３を含む画像フレームは、請求項１１の「最初に参照すべき画像フレーム」にあてはまる。図９のＩＰパケットＥ２を含む画像フレームおよびＩＰパケットＧ３を含む画像フレームは、請求項１１の「予測符号化の参照画像フレームとして使用された複数の画像フレーム」にあてはまる。

図５の参照元検索部５２は、通信部５０から入力された、ひとつのマクロブロックに対する複数の参照元パケット信号の識別情報が、記憶部５６に記憶されているかを確認する。参照元検索部５２は、欠けている参照元パケット信号がある場合、その参照元パケット信号の識別情報を判定部５４に通知する。

判定部５４は、欠けている参照元パケット信号の識別情報を受けつけた場合、通信部５０を介して図示しない送信装置１００に対して、当該識別情報が付与されたＩＰパケットの再送を要求する。このとき、最初に参照すべき一次参照元パケット信号に限らず、一次参照元パケット信号に格納された参照元マクロブロックより後の順番に参照すべき二次参照元パケット信号についても、あからじめ再送を要求する。また、判定部５４は、予測符号化されたマクロブロックにもかかわらず、参照元パケット信号の識別情報が付加されていない場合、エラーと判定する。再生部５８は、判定部５４がエラーと判定したパケット信号を復号せずに破棄する。

図１０は、変形例２に係る受信装置１１０による受信処理の手順を示すフローチャートである。通信部５０は、パケット信号を受信し（Ｓ６０）、付加された情報を抽出する（Ｓ６２）。参照元検索部５２は、一次参照元パケット信号を受信していることを確認でき（Ｓ６４のＹ）、かつ二次参照元パケット信号を受信していることを確認できた場合（Ｓ６６のＹ）、判定部５４は、通信部５０を介して二次参照元パケット信号の再送要求を送信しつつ（Ｓ６８）、再生部５８は、再生を実行する（Ｓ７６）。一次参照元パケット信号を受信していることを確認できたが（Ｓ６４のＹ）、二次参照元パケット信号を受信していることを確認できない場合（Ｓ６６のＮ）、再生部５８は、再生を実行する（Ｓ７６）。

参照元検索部５２は、一次参照元パケット信号を受信していることを確認できないが（Ｓ６４のＮ）、二次参照元パケット信号を受信していることを確認できた場合（Ｓ７０のＹ）、判定部５４は、通信部５０を介して一次参照元パケット信号の再送要求を送信した（Ｓ７２）後に、再生部５８は、再生を実行する（Ｓ７６）。一次参照元パケット信号を受信していることを確認できず（Ｓ６４のＮ）、かつ二次参照元パケット信号を受信していることも確認できない場合（Ｓ７０のＮ）、判定部５４は、受信したパケット信号をエラーとみなし、再生部５８はそのパケット信号を破棄する（Ｓ７４）。なお、図９の例に当てはめると、受信したパケット信号がＩＰパケットＦ３、一次参照元パケット信号がＩＰパケットＧ３、および二次参照元パケット信号がＩＰパケットＥ２に相当する。

本発明の実施例によれば、参照元パケット信号の識別情報をＩＰパケットに含めるので、部分やマクロブロックのレベルではなくＩＰパケットのレベルにて、ＩＰパケットに関連した参照元パケットを通知でき、受信装置における再送処理の負荷を軽減できる。また、ＩＰパケットによって参照される参照元パケット信号の識別情報をＩＰパケットに含めるので、受信装置に参照元パケット信号を通知できる。また、ひとつのＩＰパケットに複数のマクロブロックが含まれ、かつ複数の参照元パケット信号が存在する場合であっても、それらの識別情報をＩＰパケットに含めることができる。また、複数の参照元パケット信号の識別番号をひとつのＩＰパケットに含めることができるので、参照元となるパケット信号の情報を正確に通知できる。

また、参照元パケット信号の識別情報がＩＰパケットに含められているので、部分やマクロブロックのレベルではなくＩＰパケットのレベルにて、ＩＰパケットに関連した参照元パケット信号を認識でき、再送処理の負荷を軽減できる。また、ＩＰパケットレベルにて参照すべきパケット信号を認識するので、ＩＰパケットの復号前に不足している参照元パケット信号を認識できる。また、重み係数もＩＰパケットに含めるので、参照元パケット信号に対する重要性を受信装置に通知できる。また、参照元パケット信号に対する重要度を認識できるので、重要度に応じた再送処理を実行できる。重要度の高い参照元パケット信号に対して再送要求を実行するので、トラヒックの増加を抑制できる。

さらに変形例２によれば、受信装置は、複数回の予測符号化により生成された対象マクロブロックを復号するために必要な複数のパケット信号をあらかじめ認識することができる。したがって、一次参照元パケット信号を受信および復号が実行される前に、二次参照元のパケット信号を特定することができ、必要な再送要求を実施例より早期に送信することができる。再送要求処理および復号処理がスムーズになるため、受信装置の負荷も軽減される。また、二次的に参照すべきマクロブロックの画像フレーム内における位置をあらかじめ認識することができるため、復号処理の効率化に活かすことができる。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

本発明の実施例において、参照元パケット信号の識別番号が、マクロブロックが格納されたＩＰパケットに付加される。しかしながらこれに限らず例えば、参照元パケット信号の識別番号だけが送信されてもよい。その際、パケット信号生成部１２は、参照元パケット信号の識別情報を含めた制御信号を送信する。本変形例によれば、参照元パケット信号の識別情報を含めた制御信号を送信するので、部分やマクロブロックのレベルではなくＩＰパケットのレベルにて、ＩＰパケットに関連した参照元パケット信号を通知でき、受信装置における再送処理の負荷を軽減できる。また、パケット信号と、その参照元パケット信号の識別情報とを異なる伝送路で受信装置に送信してもよい。パケット信号を送信する伝送路より高速な伝送路で、参照元パケット信号の識別情報を送信してもよい。これによれば、受信装置はより早期に復号に必要な参照元パケット信号を認識することができ、負荷をさらに軽減することができる。

本発明の実施例において、動画像符号化方式がＭＰＥＧ４であるとし、パケット信号がＩＰパケットであるとしている。しかしながらこれに限らず例えば、ＭＰＥＧ４以外の動画像符号化方式やＩＰパケット以外のパケット信号が使用されてもよい。ＭＰＥＧ４以外の動画像符号化方式の一例は、Ｈ．２６４である。Ｈ．２６４の場合、所定のマクロブロックと同一フレーム内のマクロブロックが、当該所定のマクロブロックに対する参照元マクロブロックにされる場合がある。本変形例によれば、さまざまなシステムに本発明を適用できる。

その他の変形例を列挙する。
（１）送信装置１００が再送要求を受けつけた場合、再送要求に対応したＩＰパケットが記憶部１６に参照元パケット信号として記憶されていなければ、送信装置１００は、当該再送要求に応じなくてもよい。本変形例によれば、トラヒックの増加を抑制できる。
（２）送信装置１００は、参照回数の多い参照元パケット信号を予め複数回数送信してもよい。本変形例によれば、再送処理の発生回数を低減できる。

（３）送信装置１００は、ひとつのＩＰパケットに複数のマクロブロックが格納される場合、参照回数の多い参照元パケット信号や重み係数の大きい参照元パケット信号に対する識別番号をＩＰパケットに付加してもよい。本変形例によれば、ＩＰパケットに付加する情報を低減できる。
（４）送信装置１００は、記憶部１６にスライス情報を格納してもよい。本変形例によれば、スライス単位で再送制御を実行できる。
（５）受信装置１１０は、パケット信号間の関連性を利用して、受信したＩＰパケットの復号順番を入れかえてもよい。本変形例によれば、復号処理の負荷を低減できる。

本発明の実施例に係る送信装置の構成を示す図である。 図２（ａ）−（ｂ）は、図１の符号化部における処理の概要を示す図である。 図３（ａ）−（ｃ）は、図１の参照元検索部において検索される参照元パケット信号の概要を示す図である。 図１のパケット信号生成部において生成されるパケット信号の構成を示す図である。 本発明の実施例に係る受信装置の構成を示す図である。 図１の送信装置による送信処理の手順を示すフローチャートである。 図５の受信装置による受信処理の手順を示すフローチャートである。 本発明の変形例１に係る重み係数の概要を示す図である。 本発明の変形例２に係る識別情報の付加態様を示す図である。 本発明の変形例２に係る受信装置による受信処理の手順を示すフローチャートである。

符号の説明

１０ 符号化部、 １２ パケット信号生成部、 １４ 参照元検索部、 １６ 記憶部、 ５０ 通信部、 ５２ 参照元検索部、 ５４ 判定部、 ５６ 記憶部、 ５８ 再生部、 １００ 送信装置、 １１０ 受信装置。

Claims (13)

1. 少なくともひとつの画像フレームを入力する入力部と、
   前記入力部において入力した少なくともひとつの画像フレームを複数の部分に分割し、分割した複数の部分のそれぞれをパケット信号に格納して送信する送信部とを備え、
   前記送信部は、パケット信号に格納した部分と関連づけられた他の部分が格納された他のパケット信号の識別情報を当該パケット信号に含めることを特徴とする送信装置。
2. 前記送信部は、
   少なくともひとつの画像フレームに対して動画像符号化を実行することによって、複数の部分を生成しながら、動画像復号の際に所定の部分が参照すべき他の部分を特定する画像符号化部と、
   所定の部分を格納すべきパケット信号に、特定した他の部分が格納された他のパケット信号の識別情報を含める生成部とを備えることを特徴とする請求項１に記載の送信装置。
3. ひとつの部分は、複数のマクロブロックにて構成されており、
   前記画像符号化部は、特定のマクロブロック単位に実行し、
   前記生成部は、ひとつの部分を構成した複数のマクロブロックのそれぞれによって参照される他のマクロブロックが複数存在し、かつ複数の他のマクロブロックが複数の他のパケット信号に格納される場合に、複数の他のパケット信号の識別番号をパケット信号に含めることを特徴とする請求項２に記載の送信装置。
4. 前記画像符号化部は、所定のマクロブロックと、当該マクロブロックが参照すべき他のマクロブロックとの間における一致の程度を重み係数として導出し、
   前記生成部は、複数の他のパケット信号の識別番号を含める場合に、参照すべき他のマクロブロックが格納される他のパケット信号ごとに重み係数を積算し、積算値もパケット信号に含めることを特徴とする請求項３に記載の送信装置。
5. 前記画像符号化部は、前記所定の部分を含む画像フレームからその最後の参照元とすべき画像フレームに向かって複数回の予測符号化により所定の部分を生成した場合、その予測符号化の参照画像フレームとして使用した複数の画像フレームのうち、最初に参照すべき画像フレームを含む少なくとも二つの画像フレームについて、所定の部分が直接および間接に参照すべき他の部分を特定し、
   前記生成部は、前記所定の部分を格納すべきパケット信号に、前記複数の他の部分がそれぞれ格納された複数のパケット信号の識別情報を含めることを特徴とする請求項２に記載の送信装置。
6. 前記画像符号化部は、前記予測符号化に使用したすべての画像フレームについて、所定の部分が直接および間接に参照すべき他の部分を特定することを特徴とする請求項５に記載の送信装置。
7. 少なくともひとつの画像フレームを入力する入力部と、
   前記入力部において入力した少なくともひとつの画像フレームを複数の部分に分割し、分割した複数の部分のそれぞれをパケット信号に格納して送信する送信部とを備え、
   前記送信部は、パケット信号に格納した部分と関連づけられた他の部分が格納された他のパケット信号の識別情報を含めた制御信号も送信することを特徴とする送信装置。
8. 前記送信部は、前記パケット信号と前記制御信号とをそれぞれ異なる伝送路で特定の受信装置に送信することを特徴とする請求項７に記載の送信装置。
9. 少なくともひとつの画像フレームを複数の部分に分割し、分割した複数の部分のそれぞれが格納されたパケット信号であって、かつパケット信号に格納した部分と関連づけられた他の部分が格納された他のパケット信号の識別情報を含んだパケット信号を受信する受信部と、
   前記受信部において受信したパケット信号に格納された複数の部分から、少なくともひとつの画像フレームを復号する復号部とを備え、
   前記受信部は、パケット信号に含まれた識別情報を確認し、他のパケット信号が受信されていなければ、当該他のパケット信号の再送を要求することを特徴とする受信装置。
10. 前記受信部において受信したパケット信号には、他のパケット信号に対する重要度が含まれており、重要度がしきい値よりも高い場合に、再送を要求することを特徴とする請求項９に記載の受信装置。
11. 前記パケット信号に格納した部分と関連づけられた他の部分は、複数回の予測符号化により生成された部分に対して、その予測符号化の参照画像フレームとして使用された複数の画像フレームのうち、最初に参照すべき画像フレームを含む少なくとも二つの画像フレームについてそれぞれ特定された複数のものであり、
    前記受信部は、最初に参照すべき画像フレーム以外の参照画像フレームにおける他の部分を格納したパケット信号が受信されていなければ、当該パケット信号の再送をあらかじめ要求することを特徴とする請求項９に記載の受信装置。
12. 少なくともひとつの画像フレームを複数の部分に分割するステップと、
    分割した複数の部分のそれぞれをパケット信号に格納するステップと、
    パケット信号に格納した部分と関連づけられた他の部分が格納された他のパケット信号の識別情報を当該パケット信号に含めるステップと、
    パケット信号を送信するステップと、
    を備えることを特徴とする送信方法。
13. 少なくともひとつの画像フレームを複数の部分に分割し、分割した複数の部分のそれぞれが格納されたパケット信号であって、かつパケット信号に格納した部分と関連づけられた他の部分が格納された他のパケット信号の識別情報を含んだパケット信号を受信するステップと、
    受信したパケット信号に格納された複数の部分から、少なくともひとつの画像フレームを復号するステップとを備え、
    前記受信するステップは、パケット信号に含まれた識別情報を確認し、他のパケット信号が受信されていなければ、当該他のパケット信号の再送を要求することを特徴とする受信方法。

Images