JP2004158929A - 動画像処理方法および動画像処理装置ならびに動画像伝送装置 - Google Patents

Abstract

【課題】フレームの削除による動画像データの画像品質の低下が少なくしてフレームを削除して、伝送速度に応じた動画像データを得ることができる動画像処理方法および動画像処理装置ならびに動画像伝送装置を提供する。
【解決手段】削除処理部５５は、可変長ビットレートのＭＰＥＧ２符号化方式で符号化されている動画像データにおけるＧＯＰの容量と、予め定めるＧＯＰパラメータとを比較する。また削除処理部５５は、前記ＧＯＰパラメータを越える容量となるＧＯＰに対して、前記ＧＯＰパラメータと前記ＧＯＰの容量との差に基づいた枚数のＢフレームおよびＰフレームを前記ＧＯＰから削除して、前記ＧＯＰの容量を前記ＧＯＰパラメータ以下にする。このときフレームの削除による動画像データの画像品質の低下が少ないＢフレームを優先的に削除する。このようにフレームが削除された動画像データを、通信回線１００を介して端末装置６０に送信する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、フレーム内符号化方式で可変長符号化されるフレーム内符号化フレームと、時間的に過去および未来の少なくともいずれか一方のフレームを参照して可変長符号化される参照フレームとを含むフレーム群を有する動画像データを処理する動画像処理方法および動画像処理装置、ならびに動画像データを伝送する動画像伝送装置に関する。
【０００２】
【従来の技術】
たとえばＭＰＥＧ２（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ２ ）符号化方式で符号化されている動画像（以後、このような動画像を単に「動画像」と表記することがある。）を、パーソナルコンピュータなどの通信端末装置から、前記通信端末装置にローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ；略称：ＬＡＮ）などの通信回線を介して接続される他の通信端末装置へ送信するために、通信回線の通信速度にあわせて動画像に対して行う動画像処理がある。
【０００３】
ＭＰＥＧ２符号化方式で符号化されている動画像は、フレーム内符号化フレーム（Ｉｎｔｒａ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ ；略称：Ｉフレーム）と、フレーム間符号化フレーム（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ；略称：Ｐフレーム）と、フレーム内挿符号化フレーム（Ｂｉｄｒｅｃｔｉｏｎａｌｌｙ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ；略称：Ｂフレーム）との３種類の静止画像であるフレームを有する。Ｉフレームは、そのフレームが圧縮符号化されるフレームである。Ｐフレームは、直前のＩフレームおよびＰフレームのうち、最も時間的に近いフレームを参照して差分をとり、圧縮符号化されるフレームである。Ｂフレームは、直前のＩフレームおよびＰフレームのうち、最も時間的に近いフレームと、直後のＩフレームおよびＰフレームのうち、最も時間的に近いフレームとを参照して差分をとり、圧縮符号化されるフレームである。
【０００４】
第１の従来技術として、動画像を送信する場合、動画像の符号化ビットレートと通信回線の通信速度とを比較して、符号化ビットレートの方が高いときに、前記動画像のＢフレームを間引く方法がある（たとえば特許文献１参照）。この従来技術では、間引かれたＢフレームの代わりに、前記Ｂフレームよりも前に送信したフレームのコピーを生成するように指示するデータを送信する。
【０００５】
第２の従来技術として、可変ビットレートの動画像から、ビットレートに応じてデータ長が変化する係数データを切出してビットレート変換処理を施し、前記動画像の係数データを変換処理したデータに置換する方法がある（たとえば特許文献２参照）。
【０００６】
第３の従来技術として、動画像からＢフレームおよびＰフレームを間引いて、間引いたフレームの代わりに、周期的に前後のフレームをコピーすることを指示するビットストリームを挿入して送信する方法がある（たとえば特許文献３参照）。
【０００７】
第４の従来技術として、動きベクトルから動物体を検出して、その検出結果に基づいて、ＢフレームおよびＰフレームを間引く方法がある（たとえば特許文献４参照）。
【０００８】
第５の従来技術として、Ｂフレームを周期的に間引いた動画像を、受信側の端末の復号能力に応じて、コピーするためのフレームの保管を指示する信号を挿入するかしないかを判断する（たとえば特許文献５参照）。
【０００９】
さらに他の従来技術として、動画像の送信時に、動画像を一旦復号化してから、通信回線の通信帯域に応じた符号化ビットレートで再び符号化する装置もある。
【００１０】
【特許文献１】
特開平１０−３３６６７０号公報
【特許文献２】
特開平７−３１２７５６号公報
【特許文献３】
特開平１０−４２２９５号公報
【特許文献４】
特開２０００−１６５８１５号公報
【特許文献５】
特開２００１−８２１２号公報
【００１１】
【発明が解決しようとする課題】
前述の従来技術において、動画像処理をする対象となる動画像の符号化ビットレートは、固定ビットレートである。このような従来技術では、表示装置の表示画面において高速に動く物体が表示されるシーンでは符号化ビットレートを高くし、動きの少ない物体を表示するシーンでは符号化ビットレートを低くして、画質を可及的に劣化させないようにして動画像の容量を小さくする可変ビットレートで符号化される動画像には適用できない。
【００１２】
前述の第２の従来技術は、処理対象とする動画像は可変ビットレートで符号化されているけれども、符号化ビットレートを低くするために置換する係数データは、符号化ビットレートに関係なく一定であり、動画像において符号化ビットレートの低い部分で置換する係数データを、符号化ビットレートの高い部分と同様にして置換すると、符号化ビットレートが不必要に低くなりすぎて、画質が劣化してしまう。またこのような係数データの置換は非常に複雑な処理であるので、専用のハードウェアが必要となる。
【００１３】
前述のさらに他の従来技術のように動画像の送信時に、動画像を一旦復号化してから再び符号化する場合、復号化処理と符号化処理とを同時に行うときは、装置の処理に対する負荷が非常に大きくなる。また動画像を全て復号化してから符号化する場合には、処理時間が長くなる。
【００１４】
また符号化ビットレートを低くするために、動画像のＢフレームおよびＰフレームを間引くことは、固定ビットレートおよび可変ビットレートに係らず、一般的である。しかしながら前述のように、フレームの間引きが動画像全般にわたってパターン化すると、可変ビットレートの動画像の場合、符号化ビットレートの高い部分の符号化ビットレートを、所定の符号化ビットレートに低くするようにして、符号化ビットレートの低い部分と高い部分とで同じパターンでフレームを間引くと、符号化ビットレートの低い部分で、不必要にフレームが間引かれて、画質が劣化してしまう。
【００１５】
また符号化ビットレートの高い部分の符号化ビットレートを低くする場合にも、通信速度よりも低い符号化ビットレートにするだけでは、このように動画像処理された動画像を再生するときに、動画像処理前の動画像の符号化ビットレートが高かった部分は、残余の部分に比べて画質の劣化が目立ってしまう。
【００１６】
したがって本発明の目的は、フレームの削除による動画像データの画像品質の低下が少なくしてフレームを削除して、伝送速度に応じた動画像データを得ることができる動画像処理方法および動画像処理装置ならびに動画像伝送装置を提供することである。
【００１７】
【課題を解決するための手段】
本発明は、フレーム内符号化方式で可変長符号化されるフレーム内符号化フレームと、時間的に過去および未来の少なくともいずれか一方のフレームを参照して可変長符号化される参照フレームとを含むフレーム群を有する動画像データにおけるフレーム群の容量と、予め定める閾値とを比較する比較工程と、
前記閾値を越える容量となるフレーム群に対して、前記閾値と前記フレーム群の容量との差に基づいた枚数のフレームを前記フレーム群から削除して、前記フレーム群の容量を前記閾値以下にする工程であって、フレームの削除による動画像データの画像品質の低下が少ないフレームを優先的に削除する削除工程とを含むことを特徴とする動画像処理方法である。
【００１８】
本発明に従えば、比較工程では、フレーム内符号化方式で可変長符号化されるフレーム内符号化フレームと、時間的に過去および未来の少なくともいずれか一方のフレームを参照して可変長符号化される参照フレームとを含むフレーム群を有する動画像データにおけるフレーム群の容量と、予め定める閾値とが比較される。削除工程では、前記閾値を越える容量となるフレーム群に対して、前記閾値と前記フレーム群の容量との差に基づいた枚数のフレームを前記フレーム群から削除されて、前記フレーム群の容量を前記閾値以下になる。このように前記閾値を越える容量となるフレーム群の容量を前記閾値以下にすることによって、動画像データの容量を小さくすることができる。また前記閾値以下の容量となるフレーム群に対しては、当該フレーム群に含まれるフレームを削除しないで、前記閾値を越える容量となるフレーム群に対してだけ、フレームの削除による動画像データの画像品質の低下が少ないフレームを優先的に削除するので、動画像データの画像品質の低下を、可及的に少なくすることができる。このように動画像データの画像品質の低下を可及的に少なくして、各フレーム群の容量を前記閾値以下にして、動画像データの容量を小さくすることができる。このような処理が施された動画像データにおいて、全てのフレーム群の容量は、前記閾値以下になるので、たとえば前記動画像データを伝送元から伝送先に伝送するとき、伝送路の伝送速度に対応させて閾値を設定して、容量が前記閾値を超えるフレーム群のフレームを削除した動画像データを円滑に伝送することができる。
【００１９】
また本発明は、前記削除工程において、他のフレームからの参照度合いが低いフレームから順次削除することを特徴とする。
【００２０】
本発明に従えば、削除工程では、他のフレームからの参照度合いの低いフレームから順次削除される。他のフレームからの参照度合いの低いフレームは、削除されても、他のフレームの復号化における影響の度合いも低いので、動画像データの画像品質の低下を少なくすることができる。
【００２１】
また本発明は、前記削除工程において、削除されるべきフレームの枚数に基づいて、削除するフレームを決定することを特徴とする。
【００２２】
本発明に従えば、削除工程では、削除されるべきフレームの枚数に基づいて、削除するフレームが決定される。たとえば削除されるべきフレームの枚数にかかわらず、予め定めるフレームが削除される場合、フレーム群において削除されるフレームの位置が偏ってしまい、動画像データの画像品質が低下してしまう。削除されるべきフレームの枚数に基づいて、削除するフレームを決定することによって、このようなフレーム群において削除されるフレームの位置が偏よることを防止して、動画像データの画像品質の低下を少なくすることができる。
【００２３】
また本発明は、フレーム群に含まれる全フレームの枚数を、削除されるべきフレームの枚数で除したときの商よりも１枚少ない最小削除フレーム間枚数以上のフレームが、削除されるフレームの間に残存するように、削除するフレームを決定することを特徴とする。
【００２４】
本発明に従えば、削除されるフレームの間に、フレーム群に含まれる全フレームの枚数を、削除されるべきフレームの枚数で除したときの商よりも１枚少ない最小削除フレーム間枚数以上のフレームが残存する。これによって、フレーム群において削除されるフレームの位置が偏よることを防止して、動画像データの画像品質の低下を少なくすることができる。
【００２５】
また本発明は、閾値は、伝送元から伝送先への伝送路の伝送速度に基づいて設定され、
比較工程では、フレーム群の容量を前記フレーム群の瞬間符号化ビットレートに基づいて算出し、前記閾値とフレーム群の容量とを比較することを特徴とする。
【００２６】
本発明に従えば、比較工程において、伝送元から伝送先への伝送路の伝送速度に基づいて設定される閾値と、前記フレーム群の瞬間符号化ビットレートに基づいて算出されたフレーム群の容量とが比較されるので、比較処理を円滑に行うことができる。
【００２７】
また本発明は、閾値は、伝送元から伝送先への伝送路の伝送速度に基づいて設定され、
比較工程では、フレーム群の容量を動画像の平均符号化ビットレートに基づいて算出し、前記閾値とフレーム群の容量とを比較することを特徴とする。
【００２８】
本発明に従えば、比較工程において、伝送元から伝送先への伝送路の伝送速度に基づいて設定される閾値と、動画像の平均符号化ビットレートに基づいて算出されたフレーム群の容量とが比較されるので、比較処理を円滑に行うことができる。
【００２９】
また本発明は、動画像データを伝送元から、バッファを有する伝送先に伝送する場合に、閾値は前記バッファの空き容量に基づいて設定されることを特徴とする。
【００３０】
本発明に従えば、動画像データを伝送元から、バッファを有する伝送先に伝送する場合に、閾値は前記バッファの空き容量に基づいて設定される。これによって動画像データを伝送元から伝送先に伝送するときに、伝送先の伝送された動画像データを処理する速度が、動画像データの伝送速度よりも遅く、バッファが動画像データで満たされてしまって、バッファがさらに伝送されてくる動画像データを蓄積できなくなるバッファオーバーラン、および伝送先の動画像データを処理する速度が、動画像データの伝送速度よりも速く、バッファに動画像データが蓄積されなくなって、伝送先が動画像データを処理できなくなるバッファアンダーランが起こることを確実に防止することができる。
【００３１】
また本発明は、上述の動画像処理方法をコンピュータに実行させるためのプログラムである。
【００３２】
本発明に従えば、コンピュータに読取らせて、記録されるプログラムを実行させて、上述の動画像処理方法を実行させることができる。また記録媒体を介して、複数のコンピュータにプログラムを容易に供給することができる。
【００３３】
また本発明は、フレーム内符号化方式で可変長符号化されるフレーム内符号化フレームと、時間的に過去および未来の少なくともいずれか一方のフレームを参照して可変長符号化される参照フレームとを含むフレーム群を有する動画像データにおけるフレーム群の容量と、予め定める閾値とを比較する比較手段と、
前記閾値を越える容量となるフレーム群に対して、前記閾値と前記フレーム群の容量との差に基づいた枚数のフレームを前記フレーム群から削除して、前記フレーム群の容量を前記閾値以下にする手段であって、フレームの削除による動画像データの画像品質の低下が少ないフレームを優先的に削除する削除手段とを含むことを特徴とする動画像処理装置である。
【００３４】
本発明に従えば、比較手段によって、フレーム内符号化方式で可変長符号化されるフレーム内符号化フレームと、時間的に過去および未来の少なくともいずれか一方のフレームを参照して可変長符号化される参照フレームとを含むフレーム群を有する動画像データにおけるフレーム群の容量と、予め定める閾値とが比較される。削除手段によって、前記閾値を越える容量となるフレーム群に対して、前記閾値と前記フレーム群の容量との差に基づいた枚数のフレームを前記フレーム群から削除されて、前記フレーム群の容量を前記閾値以下になる。このように前記閾値を越える容量となるフレーム群の容量を前記閾値以下にすることによって、動画像データの容量を小さくすることができる。また前記閾値以下の容量となるフレーム群に対しては、当該フレーム群に含まれるフレームを削除しないで、前記閾値を越える容量となるフレーム群に対してだけ、フレームの削除による動画像データの画像品質の低下が少ないフレームを優先的に削除するので、動画像データの画像品質の低下を、可及的に少なくすることができる。このように動画像データの画像品質の低下を可及的に少なくして、各フレーム群の容量を前記閾値以下にして、動画像データの容量を小さくすることができる。このような処理が施された動画像データにおいて、全てのフレーム群の容量は、前記閾値以下になるので、たとえば前記動画像データを伝送元から伝送先に伝送するとき、伝送路の伝送速度に対応させて閾値を設定して、容量が前記閾値を超えるフレーム群のフレームを削除した動画像データを円滑に伝送することができる。
【００３５】
また本発明は、フレーム内符号化方式で可変長符号化されるフレーム内符号化フレームと、時間的に過去および未来の少なくともいずれか一方のフレームを参照して可変長符号化される参照フレームとを含むフレーム群を有する動画像データを、伝送路を介して接続される端末装置に伝送する動画像伝送装置であって、前記動画像データにおけるフレーム群の容量と、予め定める閾値とを比較する比較手段と、
前記閾値を越える容量となるフレーム群に対して、前記閾値と前記フレーム群の容量との差に基づいた枚数のフレームを前記フレーム群から削除して、前記フレーム群の容量を前記閾値以下にする手段であって、フレームの削除による動画像データの画像品質の低下が少ないフレームを優先的に削除する削除手段と、
前記動画像データを伝送路を介して伝送する伝送手段とを含むことを特徴とする動画像伝送装置である。
【００３６】
本発明に従えば、比較手段によって、フレーム内符号化方式で可変長符号化されるフレーム内符号化フレームと、時間的に過去および未来の少なくともいずれか一方のフレームを参照して可変長符号化される参照フレームとを含むフレーム群を有する動画像データにおけるフレーム群の容量と、予め定める閾値とが比較される。削除手段によって、前記閾値を越える容量となるフレーム群に対して、前記閾値と前記フレーム群の容量との差に基づいた枚数のフレームを前記フレーム群から削除されて、前記フレーム群の容量を前記閾値以下になる。このように前記閾値を越える容量となるフレーム群の容量を前記閾値以下にすることによって、動画像データの容量を小さくすることができる。また前記閾値以下の容量となるフレーム群に対しては、当該フレーム群に含まれるフレームを削除しないで、前記閾値を越える容量となるフレーム群に対してだけ、フレームの削除による動画像データの画像品質の低下が少ないフレームを優先的に削除するので、動画像データの画像品質の低下を、可及的に少なくすることができる。このように動画像データの画像品質の低下を可及的に少なくして、各フレーム群の容量を前記閾値以下にして、動画像データの容量を小さくすることができる。伝送手段によって、前記動画像データが伝送路を介して接続される端末装置に伝送される。このように伝送手段によって伝送される動画像データにおいて、全てのフレーム群の容量は、前記閾値以下になるので、動画像データを前記端末装置に円滑に伝送することができる。
【００３７】
【発明の実施の形態】
図１は、本発明の実施の一形態の動画像伝送装置５０の構成を示すブロック図である。図２は、動画像伝送装置５０に通信回線１００を介して接続される端末装置６０の構成を示すブロック図である。動画像伝送装置５０は、フレーム内符号化方式で可変長符号化されるフレーム内符号化フレームと、時間的に過去および未来の少なくともいずれか一方のフレームを参照して可変長符号化される参照フレームとを含むフレーム群を有する動画像データを、伝送路である通信回線１００を介して接続される端末装置６０に伝送する装置である。伝送元でもある動画像伝送装置５０は、たとえばパーソナルコンピュータおよびワークステーションなどの計算装置で実現されてもよい。
【００３８】
動画像伝送装置５０は、動画像記録部５１、読出部５２、伝送部５３、削除制御部５４、削除処理部５５、作業メモリ５６および送信待ちバッファ５７を含んで構成される。動画像記録部５１は、たとえばハードディスクドライブで実現され、動画像データを記録している。読出部５２は、動画像記録部５１に記録されている動画像データを読み出して、削除処理部５５に与える。
【００３９】
伝送手段である伝送部５３は、通信回線１００を介して接続される端末装置６０と通信可能である。伝送部５３は、送信待ちバッファ５７に蓄積されている動画像データなどのデータを前記端末装置６０に送信する送信部５３ａと、前記端末装置６０からのデータを受信する受信部５３ｂとを備える。受信部５３ｂは、通信回線１００の伝送速度を検出可能である。送信部５３ａは、受信部５３ｂによって検出された伝送速度に基づいて、端末装置６０へのデータの伝送速度を変更可能である。
【００４０】
削除制御部５４は、伝送部５３からの伝送速度および予め定められるパラメータに基づいて、動画像データの動画像処理に用いられる閾値を設定する。削除処理部５４は、後述する動画像処理方法に従って、動画像データに動画像処理を施す。作業メモリ５６は、たとえばランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ
Ｍｅｍｏｒｙ；略称：ＲＡＭ）などの揮発性メモリで実現され、削除制御部５３および削除処理部５４による動画像処理において一時的に生成されるデータを蓄積する。送信待ちバッファ５７は、たとえばＲＡＭなどの揮発性メモリで実現され、削除処理部５５によって動画像処理が施された動画像データを一時的に蓄積する。
【００４１】
本実施の形態において、比較手段は削除制御部５４および削除処理部５５で実現され、削除手段は、削除処理部５５で実現される。読出部５２、削除制御部５４および削除処理部５５は、１つの中央演算処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ
Ｕｎｉｔ ；略称：ＣＰＵ）で実現されてもよい。伝送路である通信回線１００は、たとえばローカルエリアネットワークおよびインターネットなどのコンピュータネットワークで実現される。
【００４２】
伝送先でもある端末装置６０は、たとえばパーソナルコンピュータおよびワークステーションなどの計算装置で実現されてもよい。端末装置６０は、通信部６１、バッファ６２、デマルチプレクサ６３、ビデオバッファ６４、音声バッファ６５、端末計時部６６、ビデオデコーダ６７、音声デコーダ６８、表示装置６９およびスピーカ７０を含んで構成される。
【００４３】
通信部６１は、通信回線１００を介して接続される動画像伝送装置５０および他の端末装置と通信可能である。通信部６１は、受信部６１ａおよび送信部６２ｂを備える。受信部６１ａは、動画像伝送装置５０および他の端末装置からの動画像データなどのデータを受信して、バッファ６２に与える。送信部６１ｂは、バッファ６２に蓄積されているデータを、動画像伝送装置５０および他の端末装置に送信する。バッファ６２は、ＲＡＭなどの揮発性メモリで実現され、通信部６１から与えられる動画像データなどのデータを蓄積する。
【００４４】
デマルチプレクサ（Ｄｅｍｕｌｔｉｐｌｅｘｅｒ ）６９は、動画像データに含まれる、画像を表すビデオデータと、音声を表す音声データとに分離して、ビデオデータをビデオバッファ６４に与え、音声データを音声バッファ６５に与える。ビデオバッファ６４は、ＲＡＭなどの揮発性メモリで実現され、デマルチプレクサ６９からのビデオデータを一時的に蓄積する。音声バッファ６４は、ＲＡＭなどの揮発性メモリで実現され、デマルチプレクサ６９からの音声データを一時的に蓄積する。
【００４５】
端末計時部６６は、たとえばリアルタイムクロック（Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ ；略称：ＲＴＣ）で実現される。端末計時部６６は、ビデオデコーダ６７および音声デコーダ６８の動作の基準となるシステムクロック、ならびに現在時刻などを含むの計時情報をビデオデコーダ６７および音声デコーダ６８に与える。ビデオデコーダ６７は、端末計時部６６からの計時情報に基づいて、ビデオバッファ６４に蓄積されているビデオデータを復号化して、表示装置６９に与える。音声デコーダ６８は、端末計時部６６からの計時情報に基づいて、音声バッファ６５に蓄積されている音声データを復号化して、スピーカ７０に与える。
【００４６】
表示装置６９は、たとえば陰極線管および液晶パネルを備える表示装置で実現され、ビデオデコーダ６７からの復号化されたビデオデータに基づく動画像を表示する。スピーカ７０は、音声デコーダ６８からの復号化された音声データに基づく音声を出力する。
【００４７】
本実施の形態において、デマルチプレクサ６９、ビデオデコーダ６７および音声デコーダ６８は、１つのＣＰＵで実現されてもよい。またビデオバッファ６４および音声バッファ６５は、１つのＲＡＭで実現されてもよい。
【００４８】
本実施の形態において、動画像データは、国際標準化機構（Ｉｎｔｅｒｎａｔｉｏｎａｌ
Ｏｒｇａｎｉｚａｔｉｏｎ Ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ；略称：ＩＳＯ）の下部組織にあたる標準化団体である符号化専門家集団（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ；略称：ＭＰＥＧ）による勧告に基づくＭＰＥＧ２符号化方式によって可変長符号化されている。動画像データには、画像を表すビデオデータと、音声を表す音声データとが含まれる。
【００４９】
図３は、ＭＰＥＧ２符号化方式によって符号化される動画像データのプログラムストリームＰＳの構造を模式的に示す図である。ＭＰＥＧ２システムにおいて、動画像データのプログラムストリームＰＳは、図３（１）に示すように、パック（ｐａｃｋ）Ｐｃと呼ばれる単位に分割されている。このようにプログラムストリームＰＳがパックＰｃに分割されていることによって、プログラムストリームＰＳのランダムアクセス性と、伝送の途中でデータが欠落したときに欠落したデータの復旧可能な障害復旧性とを有する。パックＰｃは、図３（１）に示すように、パケット（ｐａｃｋｅｔ）Ｐｔと呼ばれる、パックよりも小さな単位に分割されている。このようにパックＰｃがパケットＰｔに分割されていることによって、パックＰｃと同様のランダムアクセス性および障害復旧性を有する。
【００５０】
またパックＰｃは、パックヘッダＰｈおよびシステムヘッダＳｈを備える。パックヘッダＰｈは、動画像データを再生するときに用いられる基準時間情報（
Ｓｙｓｔｅｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ；略称：ＳＣＲ）を有する。システムヘッダＳｈは、図３（２）に示すように、システムヘッダ開始コード、映像解像度、音声チャンネル数および音声ビットレートなどの情報を有する。
【００５１】
パケットＰｔは、図３（３）に示すように、パック開始コード、パケット種類、再生時刻、サイズおよびパケットデータなどの情報を有する。前記パケット種類には、Ｉフレーム、Ｐフレーム、Ｂフレーム、音声データおよびシステムデータなどがあり、これによって当該パケットＰｔがどのような種類であるかを区別可能である。また再生時刻（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ ；略称：ＰＴＳ）は、動画像データを再生するときに、ビデオデータと音声データとの同期を取るために用いられる。
【００５２】
図４は、ＭＰＥＧ２符号化方式によって符号化される動画像データにおけるビデオデータＶＤのデータ構造を模式的に示す図である。動画像データにおけるビデオデータＶＤは、図４（１）に示すように、シーケンスヘッダＳＨとピクチャグループ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ ；略称：ＧＯＰ）ＧＯＰ（ピクチャグループに関しては、略称ＧＯＰを参照符号としても用いる。）とが、交互に配置されるデータ構造となっている。
【００５３】
シーケンスヘッダＳＨは、図４（２）に示すように、シーケンス開始コード、水平画素数、垂直画素数、フレームレートおよびビットレートなどの情報を有する。フレームレートは、動画像データを再生するときに、後に続くＧＯＰに含まれるフレームを、１秒間に何枚表示させるかを示す。ビットレートは、ＧＯＰを符号化したときの、１秒当たりのデータ容量を表す瞬間符号化ビットレートである。
【００５４】
フレーム群であるＧＯＰには、図４（３）に示すように、論理的構成と物理的構成とがある。ＧＯＰは、フレーム内符号化フレーム（Ｉｎｔｒａ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ ；略称：Ｉフレーム）と、フレーム間符号化フレーム（Ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｅｄ ｐｉｃｔｕｒｅ；略称：Ｐフレーム）と、フレーム内挿符号化フレーム（Ｂｉｄｒｅｃｔｉｏｎａｌｌｙ−ｃｏｄｅｄ
ｐｉｃｔｕｒｅ；略称：Ｂフレーム）との３種類の静止画像であるフレームを有する。Ｉフレームは、他のフレームを参照することなく、自分自身の画像情報だけを参照して圧縮符号化されるフレームである。
【００５５】
Ｐフレームは、時間的に過去のＩフレームおよびＰフレームのうち、最も時間的に近いフレームを参照して差分をとり、その差分情報を用いて圧縮符号化されるフレームである。Ｂフレームは、時間的に過去のＩフレームおよびＰフレームのうち、最も時間的に近いフレームと、時間的に未来のＩフレームおよびＰフレームのうち、最も時間的に近いフレームとを参照して差分をとり、その差分情報を用いて圧縮符号化されるフレームである。本実施の形態において、参照フレームは、ＰフレームおよびＢフレームである。Ｂフレームは、ＩフレームおよびＰフレームに比べて、他のフレームからの参照度合いが低い。またＰフレームは、Ｉフレームに比べて、他のフレームからの参照度合いが低い。
【００５６】
このようにＢフレームは、時間的に過去および未来のＩフレームおよびＰフレームを参照するので、符号化前および復号化後の動画像データにおけるＧＯＰが図４（３）に示すような論理的構成であっても、実際に動画像記録部５１に記録されている状態、およびプログラムストリームとなって伝送されている状態では、動画像データは図４（４）に示すような物理的構成となっている。
【００５７】
図５は、作業メモリ５６のメモリ空間を模式的に示す図である。作業メモリ５６には、ＧＯＰバッファ領域５６ａ、１ｓｔＢフラグ記憶領域５６ｂ、フレームデータサイズ記憶領域５６ｃおよびその他データサイズ記憶領域５６ｄが設けられる。ＧＯＰバッファ５６ａには、フレームが削除される前の動画像データの１つの物理的構成のＧＯＰが記憶可能である。１ｓｔＢフラグ記憶領域５６ｂは、ＧＯＰバッファ領域５６ａに記憶されている物理的構成のＧＯＰに対応する論理的構成のＧＯＰにおける先頭の２個のＢフレームを削除するか否かを示す１ｓｔＢフラグ情報が記憶される。フレームデータサイズ記憶領域５６ｃは、ＧＯＰバッファ５６ａに記憶されている、先頭のＩフレームを除いた各Ｂフレームおよび各Ｐフレームを削除したときに減少するデータ容量が、各Ｂフレームおよび各Ｐフレームに対応して記憶される。その他データサイズ記憶領域５６ｄは、Ｉフレーム、音声データおよびシステムデータなどの削除されないデータの容量が記憶される。
【００５８】
図６は、作業メモリ５６の各領域５６ａ〜５６ｄの記憶状態の一例を模式的に示す図である。ＧＯＰバッファ５６ａに記憶されているＧＯＰにおいて、Ｓ０、Ｓ２、Ｓ７、ＳｊおよびＳｌは、制御用のシステムデータを示し、Ａ３およびＡｋは、音声データを示す。また前記ＧＯＰにおいてＩ１は、Ｉフレームを示し、Ｐ６、Ｐａ、ＰｄおよびＰｇは、Ｐフレームを示し、Ｂ４、Ｂ５、Ｂ８、Ｂ９、Ｂｂ、Ｂｃ、Ｂｅ、Ｂｆ、ＢｈおよびＢｉは、Ｂフレームを示す。ここでＧＯＰの容量を減らすために、たとえばシステムデータを削除すると、動画像の再生が全くできなくなる。また音声データを削除すると、音飛びと呼ばれる、一時的な音声の途切れが発生する。このような音飛びは、動画像データの視聴者にとって、画像品質の劣化よりも不快な気分にさせる。したがってＧＯＰの容量を減らすために、システムデータおよび音声データを削除しない。
【００５９】
１ｓｔＢフラグ記憶領域５６ｂに記憶されている「１ｓｔＢ：ｎｏｒｍａｌ」は、ＧＯＰバッファ領域５６ａに記憶されている物理的構成のＧＯＰに対応する論理的構成のＧＯＰにおける先頭の２個のＢフレームを削除しないことを示す。また１ｓｔＢフラグ記憶領域５６ｂに「１ｓｔＢ：削除」が記憶されている場合、ＧＯＰバッファ領域５６ａに記憶されている物理的構成のＧＯＰに対応する論理的構成のＧＯＰにおける先頭の２個のＢフレームを削除することを示す。
【００６０】
フレームデータサイズ記憶領域５６ｃには、各Ｂフレームおよび各Ｐフレームの容量が、バイト単位で記憶されている。その他データサイズ記憶領域５６ｄには、ＧＯＰバッファ領域５６ａに記憶されている物理的構成のＧＯＰからすべてのＢフレームおよびＰフレームを削除した場合の容量が記憶されている。また作業メモリ５６には、ＧＯＰバッファ領域５６ａに記憶されている物理的構成のＧＯＰの容量が記憶される。
【００６１】
図７は、動画像伝送装置５０における動画像処理方法の手順を示すフローチャートである。ステップｓ０で動画像処理方法の手順が開始されて、ステップｓ１に進む。
【００６２】
ステップｓ１では、動画像伝送装置５０の削除処理部５５は、読出部５２を制御して、動画像記録部５１に記録されている動画像データのＧＯＰを１つ読込んで、ステップｓ２に進む。
【００６３】
ステップｓ２では、削除処理部５５は、ステップｓ１で読込んだＧＯＰのデータ構造と、作業メモリ５６のＧＯＰバッファ５６ａに記憶されている前回読込んだＧＯＰのデータ構成とを比較して、２つのＧＯＰのデータ構成が同じであるか否かを判断する。削除処理部５５が、前記２つのデータ構成が同じであると判断するとステップｓ４に進み、同じでないと判断するとステップｓ３に進む。またステップｓ２において、ステップｓ１で読込んだＧＯＰが動画像データにおいて第１番目のＧＯＰである場合は、ステップｓ３に進む。ここでデータ構成が同じであるとは、Ｉフレーム、ＰフレームおよびＢフレームの個数および並び方が、２つのＧＯＰにおいて同じであることを表す。
【００６４】
またステップｓ２では、削除処理部５５は、前述の判断の後に、作業メモリ５６のＧＯＰバッファ５６ａに記憶されている前回読込んだＧＯＰを消去して、ステップｓ１で読込んだＧＯＰを前記ＧＯＰバッファ５６ａに記憶する。このとき前記ＧＯＰバッファ５６ａは、たとえば図６に示すような記憶状態であるとする。また前回読込んだＧＯＰに基づいて、１ｓｔＢフラグ情報が作成されており、作業メモリ５６の１ｓｔＢフラグ記憶領域５６ｂに記憶される。またステップｓ１で読込んだＧＯＰの各Ｂフレームおよび各Ｐフレームを削除したときに減少するデータ容量が、各Ｂフレームおよび各Ｐフレームに対応して、作業メモリ５６のフレームデータサイズ記憶領域５６ｃに記憶される。さらにステップｓ１で読込んだＧＯＰのＩフレーム、音声データおよびシステムデータなどの削除されないデータの容量が、作業メモリ５６のその他データサイズ記憶領域５６ｄ記憶される。
【００６５】
図８は、図７に示す動画像処理方法のステップｓ３の削除パターン作成の手順を示すフローチャートである。図７に示す動画像処理方法のステップｓ２において、ステップｓ１で読込んだＧＯＰのデータ構造と、作業メモリ５６のＧＯＰバッファ５６ａに記憶されている前回読込んだＧＯＰのデータ構造とが同じでないと判断されてステップｓ３に進むと、図８に示す削除パターン作成ｔ０の手順が開始されて、ステップｔ１に進む。
【００６６】
ステップｔ１では、削除処理部５５は、作業メモリ５６のＧＯＰバッファ５６ａに記憶されているＧＯＰにおいて、削除するフレームの枚数ｍを１に設定して、ステップｔ２に進む。
【００６７】
ステップｔ２では、削除処理部５５は、作業メモリ５６のＧＯＰバッファ５６ａに記憶されているＧＯＰからフレームがｍ枚削除される場合の削除パターンを全て算出して、ステップｔ３に進む。
【００６８】
ステップｔ３では、削除処理部５５は、ステップｔ２で算出した各削除パターンに関して、それぞれの分散値Ｓを求めて、ステップｔ４に進む。分散値Ｓは、式（１）で表される。また式（１）におけるＣ（ｋ）は、式（２）で表される。
【００６９】
【数１】

【００７０】
前式（２）において、Ｎは、作業メモリ５６のＧＯＰバッファ５６ａに記憶されているＧＯＰに含まれるＩフレームの枚数とＰフレームの枚数とＢフレームの枚数とを合計した枚数である。したがって削除するフレームの枚数ｍは、１以上、Ｎ以下の自然数である。ｎ（ｋ）は、先頭から数えてｋ番目に削除するフレームの、先頭からのフレーム位置を表す。すなわち式（１）および式（２）は、理想位置と削除位置との差の２乗の和を示している。
【００７１】
ステップｔ４では、削除処理部５５は、ステップｔ３で求めた分散値Ｓのうち、最も小さい値になる削除パターンを抽出して、ステップｔ５に進む。
【００７２】
図９は、フレーム数Ｎ＝６のＧＯＰにおいて、２つのＢフレームを削除するときの削除パターンを模式的に示す図である。前記ＧＯＰは、フレーム数Ｎ＝６であって、Ｉフレーム、Ｂフレーム、Ｂフレーム、Ｐフレーム、Ｂフレーム、Ｂフレームの順番で並んで構成される。このようなＧＯＰから２つのＢフレームを削除する場合、すなわち削除フレーム数ｍ＝２の場合の削除パターンは、図９に示すように６パターン存在する。図９において、「Ｉ」はＩフレームを示し、「Ｐ」はＰフレームを示し、「Ｂ」はＢフレームを示し、「＊」は削除されるＢフレームを示す。
【００７３】
第１削除パターンにおいて、ｋ＝１番目に削除されるフレームの位置ｎ（１）は５であり、ｋ＝２番目に削除されるフレームの位置ｎ（２）＝６である。式（１）および式（２）に代入して計算すると、第１削除パターンの分散値Ｓは、
Ｓ＝（１／２−５／６）^２＋（２／２−６／６）^２＝０．１１１１１１
となる。
【００７４】
同様にして第２〜第６削除パターンについても計算すると、
第２削除パターンの分散値Ｓ＝０
第３削除パターンの分散値Ｓ＝０．０２７７７７８
第４削除パターンの分散値Ｓ＝０．０２７７７７８
第５削除パターンの分散値Ｓ＝０．０５５５５５６
第６削除パターンの分散値Ｓ＝０．２７７７８
となる。このような計算が前述のステップｔ３で行われる。このとき第２削除パターンの分散値Ｓ＝０が、６つの削除パターンのうちで最も小さい。したがって前述のステップｔ４では、第２削除パターンが抽出される。
【００７５】
ステップｔ５では、削除処理部５５は、削除するフレームの枚数ｍに１を加算した（ｍ＋１）を、新たな削除するフレームの枚数ｍに設定して、ステップｔ６に進む。
【００７６】
ステップｔ６では、削除処理部５５は、ステップｔ５で設定された削除するフレームの枚数ｍが、作業メモリ５６のＧＯＰバッファ５６ａに記憶されているＧＯＰに含まれるＩフレームの枚数とＰフレームの枚数とＢフレームの枚数とを合計した枚数Ｎに等しいか否かを判断する。ステップｔ６において、等しくないと判断されると、ステップｔ２に戻る。またステップｔ６において、等しいと判断されると、ステップｔ７に進み、図７に示す動画像処理方法の手順に復帰して、ステップｓ４に進む。このようにして各削除枚数ｍに対応する削除パターンが作成される。作成された削除パターンは、たとえば作業メモリ５６に記憶され、ＧＯＰの構成が変る度に更新される。
【００７７】
図８に示す削除パターン作成の手順において、削除するフレームは、フレームの削除による動画像データの画像品質の低下が少ないフレームが優先的に削除されるように選択される。さらに他のフレームからの参照度合いが低いフレームから順次削除されるように、削除すべきフレームが選択される。したがって作業メモリ５６のＧＯＰバッファ５６ａに記憶されているＧＯＰにおいて、先にＢフレームが順次削除され、全てのＢフレームが削除された後にＰフレームが順次削除される。またＢフレームのうち、たとえば図６のＧＯＰバッファ５６ａに記憶されているＧＯＰにおいて、フレームＢｈおよびフレームＢｉのような、時間的に後方のＢフレームから優先的に削除していく。
【００７８】
フレームの削除による動画像データの画像品質の低下が少ないフレームを選択するとき、他のフレームからの参照度合いの低い、ここでは、他のフレームから参照されないＢフレームの間の距離のばらつきが最小になるように、削除するＢフレームを選択する。このような選択は、具体的には、ステップｔ３およびステップｔ４において、削除するフレームの位置の理想位置に対する分散値Ｓが最小となる削除パターンが選択されることによって行われる。
【００７９】
またＰフレームは、時間的に過去のＩフレームまたはＰフレームの差分であるので、ＧＯＰにおいて時間的に後方のＰフレームの方が、パケットロスなどの影響を受け易い。したがって、ステップｔ４において、分散値Ｓが似通った削除パターンが複数存在する場合、出来るだけ時間的に後方のＢフレームが削除される削除パターンを選択することが好ましい。このような考え方は、どのようなＧＯＰ構成にも適用することができる。
【００８０】
またＧＯＰに含まれる全フレームの枚数Ｎを、削除されるべきフレームの枚数ｍで除したときの商よりも１枚少ない最小削除フレーム間枚数以上のフレームが、削除されるフレームの間に残存するように、削除するフレームを決定するようにしてもよい。これによって、ＧＯＰにおいて削除されるフレームの位置が偏よることを防止して、動画像データの画像品質の低下を少なくすることができる。
【００８１】
図１０および図１１は、図８に示す削除パターン作成の手順にしたがって求めた削除パターンの一例を模式的に示す図である。図１０および図１１において、フレームが削除される前のＧＯＰは、図６に示す作業メモリ５６のＧＯＰバッファ５６ａに記憶されているＧＯＰと同様である。詳細に述べると、削除される前のＧＯＰは、５個のシステムデータＳ０，Ｓ２，Ｓ７，Ｓｊ，Ｓｌと、２個の音声データＡ３，Ａｋと、１枚のＩフレームであるフレームＩ１と、４枚のＰフレームであるフレームＰ６，Ｐａ，Ｐｄ，Ｐｇと、１０枚のＢフレームであるフレームＢ４，Ｂ５，Ｂ８，Ｂ９，Ｂｂ，Ｂｃ，Ｂｅ，Ｂｆ，Ｂｈ，Ｂｉとを含んで構成される。このときＧＯＰに含まれるＩフレームの枚数とＰフレームの枚数とＢフレームの枚数とを合計した枚数Ｎは、１５である。
【００８２】
図１０（１）は、削除するフレームの枚数ｍが１のときの削除パターンの一例を示す図である。図１０（２）は、削除するフレームの枚数ｍが２のときの削除パターンの一例を示す図である。図１０（３）は、削除するフレームの枚数ｍが３のときの削除パターンの一例を示す図である。図１０（４）は、削除するフレームの枚数ｍが４のときの削除パターンの一例を示す図である。図１０（５）は、削除するフレームの枚数ｍが５のときの削除パターンの一例を示す図である。図１０（６）は、削除するフレームの枚数ｍが６のときの削除パターンの一例を示す図である。図１０（７）は、削除するフレームの枚数ｍが７のときの削除パターンの一例を示す図である。図１０（８）は、削除するフレームの枚数ｍが８のときの削除パターンの一例を示す図である。図１０（９）は、削除するフレームの枚数ｍが９のときの削除パターンの一例を示す図である。
【００８３】
図１１（１）は、削除するフレームの枚数ｍが１０のときの削除パターンの一例を示す図である。図１１（２）は、削除するフレームの枚数ｍが１１のときの削除パターンの一例を示す図である。図１１（３）は、削除するフレームの枚数ｍが１２のときの削除パターンの一例を示す図である。図１１（４）は、削除するフレームの枚数ｍが１３のときの削除パターンの一例を示す図である。図１１（５）は、削除するフレームの枚数ｍが１４のときの削除パターンの一例を示す図である。図１１（２）〜図１１（５）に示す削除パターンにおいては、最後のＰフレームであるフレームＰｇが削除されている。次のＧＯＰの初めの２つのＢフレームは、このＰフレームを参照しているので、同時にこれら２つのＢフレームも削除しなければならない。このとき作業メモリ５６の１ｓｔＢフラグ記憶領域５６ｂに、「１ｓｔＢ：削除」が記憶される。
【００８４】
たとえば図１０（６）に示すような削除パターンでは、Ｂフレームの１つであるフレームＢｆおよびＰフレームの１つであるフレームＰｇが連続しているにもかかわらず、それらよりも時間的に後方のＢフレームが２つ連続で削除されている。これは前述したように、Ｂフレームよりも先にＰフレームを削除してはならないことが原因である。このとき前記フレームＰｇに関して、本来フレームＢｈが再生されるべき時間に再生されるように再生時刻を書き換えることによって、この部分のフレームの間隔が平均化され、滑らかに再生できるようになる。このような処理を端末装置６０が行ってもよい。
【００８５】
図１１（２）〜図１１（５）に示すような、Ｐフレームが削除される削除パターンでは、ＧＯＰに含まれるＰフレームのうち、最も時間的に後方のＰフレームは、次に読込まれるＧＯＰに含まれるＢフレームのうち、最も時間的に前方の２つのＢフレームによって参照される。このような削除パターンとなる場合、削除処理部５５は、前述の次に読込まれるＧＯＰの削除パターンを作成するときに、当該ＧＯＰに含まれるＢフレームのうち、最も時間的に前方の２つのＢフレームを削除することを示す「１ｓｔＢ：削除」となる１ｓｔＢフラグ情報を、作業メモリ５６の１ｓｔＢフラグ記憶領域５６ｂに記憶する。
【００８６】
図１２は、Ｎ＝６のときの各削除枚数ｍに関する削除パターンの一例を模式的に示す図である。図１３は、「１ｓｔＢ：削除」が１ｓｔＢフラグ記憶領域５６ｂに記憶されている、すなわち、直前のＧＯＰに含まれる直前のＰフレームが削除されており、参照関係に基づいて初めの２つのＢフレームが復元できない場合の、Ｎ＝６のときの各削除枚数ｍに関する削除パターンの他の例を模式的に示す図である。図１２および図１３では、ＧＯＰにおいて、Ｉフレーム、ＰフレームおよびＢフレームだけを示している。このようにＧＯＰの構成によらず、図８に示す削除パターン作成の手順に従って、削除パターンを作成することができる。
【００８７】
図７に示す動画像処理方法の手順における比較工程であるステップｓ４では、削除処理部５５は、予め定める閾値であるＧＯＰパラメータｓと、作業メモリ５６のＧＯＰバッファ５６ａに記憶されているフレームが削除される前のＧＯＰの容量とを比較して、削除するフレームの枚数ｍを決定する。ステップｓ４において、前記ＧＯＰの容量が前記ＧＯＰパラメータｓ以下である場合、削除するフレームの枚数ｍは０（零）とする。またステップｓ４において、前記ＧＯＰの容量が前記ＧＯＰパラメータｓを超えている場合、前記ＧＯＰの容量が前記ＧＯＰパラメータｓ以下となるように、削除するフレームの枚数ｍを決定する。ＧＯＰパラメータの設定に関しては、後述する。
【００８８】
削除工程であるステップｓ５では、ステップｓ４で決定した削除するフレームの枚数ｍに対応する削除パターンに従って、作業メモリ５６のＧＯＰバッファ５６ａに記憶されているＧＯＰからフレームを削除して、ステップｓ６に進む。すなわち削除されるべきフレームの枚数に基づいて、削除するフレームが決定されて、決定されたフレームが削除される。
【００８９】
ステップｓ６では、削除処理部５５は、ＧＯＰの容量が前記ＧＯＰパラメータｓ以下となったＧＯＰを送信待ちバッファ５７に与えて、適宜、端末装置６０に送信するように伝送部５３を制御して、ステップｓ７に進む。
【００９０】
ステップｓ７では、削除処理部５５は、ステップｓ１において読込んだＧＯＰが、動画像データにおける最後のＧＯＰであるか否かを判断し、最後のＧＯＰでないと判断するとステップｓ１に戻り、最後のＧＯＰであると判断するとステップｓ８に進み、全ての手順を終了する。
【００９１】
このように本実施の形態では、図７に示す動画像処理方法の手順において、ステップｓ１において読込んだＧＯＰが、前回読込んだＧＯＰとデータ構成が同じ場合には、新たに削除パターンを作成することなく、前回読込んだＧＯＰの削除パターンをそのまま適用して、フレームの削除を行う。これによって削除パターン作成による削除処理部５５の負荷を大幅に軽減し、動画像処理を高速に行うことができる。また削除処理部５５の処理性能が極めて高い場合には、ＧＯＰを読込む毎に削除パターンを作成するようにしてもよい。
【００９２】
またＧＯＰのフレームを削除するとき、Ｂフレームだけを削除することと、ＢフレームおよびＰフレームを削除することとを、利用者によって選択させるようにしてもよい。ＧＯＰのＰフレームまで削除すると、動画像の画像品質が不必要に劣化してしまう恐れがある。
【００９３】
Ｂフレームだけを削除することが選択される場合、削除するフレームの枚数ｍに対応する削除パターンは、たとえば図１０および図１１（１）に示される削除パターンとなる。ＧＯＰにおいてＢフレームを全て削除すると、たとえば図４（２）および図１１（１）に示すように、１秒間に再生されるフレームの枚数は１０となる。さらにＰピクチャを全て削除すると、たとえば図４（２）および図１１（５）に示すように、１秒間に再生されるフレームの枚数は２となる。一時的に符号化ビットレートが高くなっても、端末装置６０のバッファ６２によって、前記ビットレートが高くなった分を吸収するようにすれば、Ｂピクチャだけを削除することによって、画像品質をある程度確保することが出来る。
【００９４】
ＧＯＰパラメータｓは、削除制御部５４によって、伝送元である動画像処理装置５０から伝送先である端末装置６０への伝送路である通信回線１００の伝送速度、および前記端末装置６０のバッファ６２の空き容量の少なくともいずれか一方に基づいて設定される。一般に動画像データの再生するときのビットレートは可変である。特にＭＰＥＧ２のプログラムストリームは、平均符号化ビットレートが４メガビット毎秒（以後、単位「メガビット毎秒」を［Ｍｂｐｓ］と表記する。）の動画像データでも、一般的に、動画像データを再生するときのビットレートが２［Ｍｂｐｓ］〜６［Ｍｂｐｓ］程度の範囲で変化する。このように動画像データにおいて、表示される物体の動きの激しいところでは、符号化ビットレートを高くすることによって、滑らかに再生でき、また物体の動きの静かなところでは、符号化ビットレートを低くすることによって、動画像データの容量を小さくできる。
【００９５】
したがって動画像伝送装置５０が常に一定速度で動画像データを端末装置６０に送信していると、端末装置６０のバッファ６２の空き容量が無くなって動画像データをバッファ６２に記憶できなくなるバッファオーバーラン、およびバッファ６２に再生に必要な動画像データを記憶できなくなるバッファアンダーランが発生する危険性がある。このような危険性を回避するために、端末装置６０から動画像処理装置６０に、バッファ６２の空き容量をフィードバックして、バッファ６２の空き容量に基づいて、動画像伝送装置５０の送信速度を制御して、変化させる。
【００９６】
ここで送信速度の制御を行わない場合について考える。動画像伝送装置５０の伝送部５３は、常に一定の送信速度４［Ｍｂｐｓ］で動画像データを送信する。端末装置６０は、常に一定の速度４［Ｍｂｐｓ］で動画像データを受信し、その速度でバッファ６２に動画像データを記憶する。
【００９７】
端末装置６０の動画像データを再生するときのビットレートが、たとえば４［Ｍｂｐｓ］であれば、動画像データを再生する速度は、動画像データがバッファ６２に記憶される速度と等しく、バッファオーバーランおよびバッファアンダーランは発生しない。
【００９８】
端末装置６０の動画像データを再生するときのビットレートが、たとえば２［Ｍｂｐｓ］である場合、動画像データを再生する速度は、動画像データがバッファ６２に記憶される速度よりも遅くなり、この状態がある期間続くと、バッファオーバーランが発生する。このような場合、動画像伝送装置５０の伝送部５３による動画像データの送信速度を、下げる必要がある。
【００９９】
端末装置６０の動画像データを再生するときのビットレートが、たとえば６［Ｍｂｐｓ］である場合、動画像データを再生する速度は、動画像データがバッファ６２に記憶される速度より速くなり、この状態がある期間続くと、バッファアンダーランが発生する。このような場合、動画像伝送装置５０の伝送部５３による動画像データの送信速度を、上げる必要がある。
【０１００】
表１は、端末装置６０から動画像伝送装置６０に送信されるフィードバック情報を示す表である。
【０１０１】
【表１】

【０１０２】
フィードバック情報には、バッファ空き容量、バッファサイズ、最終受信パケット番号およびパケット欠落割合が含まれる。バッファ空き容量は、端末装置６０のバッファ６２の空き容量を表す。バッファサイズは、前記バッファ６２の全記憶容量を表す。最終受信パケット番号は、前記フィードバック情報を動画像伝送装置５０に送信するときに受信したパケットの番号を表す。パケット欠落割合は、前記フィードバック情報を動画像伝送装置５０に送信するまでに受信した動画像データのパケット総数に対する欠落したパケットの割合を表す。このようなフィードバック情報は、端末装置６０から動画像伝送装置５０に送信される。フィードバック情報を送信するときの通信プロトコルとして、たとえばリアルタイム転送中にネットワークの状態を監視するときに一般的に用いられるＲＴＣＰ（Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）を用いてもよい。
【０１０３】
ここでは、通信回線の通信帯域が２［Ｍｂｐｓ］であるとし、端末装置６０の動画像を再生するときのビットレートは、４［Ｍｂｐｓ］であるとする。また動画像データのフレームレートは、図４（１）に示すような、３０フレーム毎秒であるとする。また動画像データのＧＯＰに含まれるＩフレーム、ＰフレームおよびＢフレームの総枚数Ｎは、図６に示すような、１５であるとする。この場合、ＧＯＰ１個分を再生するとき、０．５秒が経過することになる。したがって、この場合、ＧＯＰの容量が、ＧＯＰパラメータｓに等しくなるときには、ＧＯＰの送信速度は、
ｓ［ｂｙｔｅ／ＧＯＰ］ × ８［ｂｉｔ／ｂｙｔｅ］ × ２［ＧＯＰ／ｓｅｃ］ ＝ １６・ｓ［ｂｐｓ］
となる。前式において、［ｂｙｔｅ／ＧＯＰ］は、ＧＯＰ１個当たりの容量（バイト）を示し、［ｂｉｔ／ｂｙｔｅ］は、１バイト当たりのビット数を示し、［ＧＯ Ｐ／ｓｅｃ］ は、１秒当たりに再生されるＧＯＰの数を示す。また前式において、演算記号「×」および「・」は積の演算記号である。したがって、送信速度を２［Ｍｂｐｓ］に下げるときには、ＧＯＰパラメータｓを１２８キロバイトにすればよい。このようにＧＯＰパラメータｓを１２８キロバイトに設定にして、前述の図７に示す動画像処理方法の手順を実行することによって、動画像データの各ＧＯＰの容量を１２８キロバイト以下にすることができる。
【０１０４】
また動画像伝送装置５０の動画像データの送信速度は、表１に示すフィードバック情報に含まれるバッファ空き容量およびバッファサイズに基づいて、動画像処理装置５０の伝送部５３は、送信速度を変化させる。たとえばバッファ空き容量がバッファサイズの５分の１未満であるときは、バッファオーバーラン直前の状態であると推測されるので、動画像処理装置５０の伝送部５３は、送信速度を２０パーセント低くする。またバッファ空き容量がバッファサイズの５分の１以上、５分の２未満であるときは、バッファオーバーランに近い状態であると推測されるので、動画像処理装置５０の伝送部５３は、送信速度を１０パーセント低くする。
【０１０５】
バッファ空き容量がバッファサイズの５分の２以上、５分の３未満であるときは、端末装置６０の動画像データの再生のビットレートと、送信速度とが釣合っていて良好な状態であると推測されるので、動画像処理装置５０の伝送部５３は、送信速度を変化させない。バッファ空き容量がバッファサイズの５分の３以上、５分の４未満であるときは、バッファアンダーランに近い状態であると推測されるので、動画像処理装置５０の伝送部５３は、送信速度を１０パーセント高くする。バッファ空き容量がバッファサイズの５分の４以上であるときは、バッファアンダーラン直前であると推測されるので、動画像処理装置５０の伝送部５３は、送信速度を２０パーセント高くする。
【０１０６】
前述の送信速度を高くしたり低くしたりするときの値は、あくまで一例であって、動画像データの符号化ビットレートの可変幅およびバッファサイズなどに基づいて調整してもよい。またバッファ空き容量に基づいて送信速度を変化させているけれども、バッファ空き容量の増減幅に基づいて送信速度を変化させてもよい。さらにＮ次予測に基づいて、送信速度を変化させてもよいけれども、動画像データの符号化ビットレートの変化は、一般的には数学的に連続でないので、予測が難しい。したがって前述のようにバッファ空き容量およびバッファサイズに基づいて、送信速度を変化させるような単純な方法の方が、計算量も少なくて効果的である。
【０１０７】
表２は、通信回線の通信帯域が２［Ｍｂｐｓ］であるときの、送信速度およびバッファ空き容量に対応して設定されるＧＯＰパラメータｓの一例を示す表である。
【０１０８】
【表２】

【０１０９】
送信速度が高く、換言すれば再生するときのビットレートが高く、かつバッファ６２の空き容量が少ないときは、単位時間当たりに送信可能な動画像データの再生時間を長くする必要があるので、ＧＯＰパラメータｓを小さめ、たとえばｓ＝１２８キロバイトに設定する。ただしバッファ６２の空き容量が少ないということは、送信速度を制御した結果、送信速度が低くなっている可能性が高いので、送信速度だけでＧＯＰパラメータｓを設定してもよい。
【０１１０】
送信速度は低いけれども、バッファ６２の空き容量が少なくないときは、バッファ６２の空き容量および通信回線１００の通信帯域ともに余裕があるので、ＧＯＰパラメータｓは、バッファ６２の空き容量に比例して増やすようにしてもよい。この場合のＧＯＰパラメータｓの設定例として、たとえば「ｓ＝１２８＋バッファ空き容量÷２」としてもよい。また表１に示すようなフィードバック情報にパケット欠落割合が含まれる場合、前記パケット欠落割合に基づいて、ＧＯＰパラメータｓを小さくしてもよい。
【０１１１】
このようにＧＯＰパラメータｓを、伝送元である動画像処理装置５０から伝送先である端末装置６０への伝送路である通信回線１００の伝送速度、および前記端末装置６０のバッファ６２の空き容量の少なくともいずれか一方に基づいて設定することによって、動画像を再生するときのビットレートが低い状態から高い状態に変化する瞬間の動画像データの画像品質を向上することができる。
【０１１２】
表３は、動画像記録部５１に記録されている動画像データの一覧を示す表である。
【０１１３】
【表３】

【０１１４】
表３において、記録開始日時は、動画像データの記録を開始した年月日および時刻を示し、記録終了日時は、前記動画像データの記録を終了した年月日および日時を示し、チャンネルは、前記動画像データを提供した提供元に対応するチャンネル番号を示し、記録内容は、動画像データのタイトルを示す。記録時間は、記録終了日時から記録開始日時を減算した値であり、動画像データを再生開始したから再生終了するまでの時間を示す。使用容量は、動画像記録部５１における動画像データの記憶容量を示す。
【０１１５】
平均符号化ビットレートは、記録時間に対する使用容量に基づいて算出される。たとえば表１に示すような、記録時間３６００秒の使用容量が３６００メガバイトの動画像データは、１メガバイト毎秒、換言すれば８［Ｍｂｐｓ］の平均符号化ビットレートとなる。また記録中の動画像データに関しては、符号化するときに指定する記録ビットレートを、平均符号化ビットレートとする。
【０１１６】
このようにして求めた平均符号化ビットレートに基づいて、フレームが削除される前の動画像データのＧＯＰの容量を算出してもよい。またフレームが削除される前の動画像データのＧＯＰは、図４（２）に示す、瞬間符号化ビットレートに基づいて算出してもよい。前述の図７に示す動画像処理方法の手順のステップｓ４では、このようにして算出したフレームが削除される前のＧＯＰの容量とＧＯＰパラメータｓをと比較して、削除するフレームの枚数ｍを決定する。
【０１１７】
以上のようにしてフレームが削除されたＧＯＰを有する動画像データを、端末装置６０が再生するときの処理について、以下に述べる。たとえばフレームが削除される前のフレームレートが３０であるＧＯＰを、フレームを削除した結果、フレームレートが２０になってしまったＧＯＰを有する動画像データを再生する場合を考える。図３（３）に示すように、それぞれのフレームを構成するパケットは、再生時刻を有しているので、Ｉフレーム、ＰフレームおよびＢフレームの各フレームの再生時刻と、音声データを構成するパケットの再生時刻とを、端末装置６０の計時部６６に同期させることによって、削除したフレームによって生じるずれを修正して動画像データを再生することができる。
【０１１８】
また、たとえば図１０（６）で示されるようなＧＯＰは、Ｂフレームの１つであるフレームＢｆおよびＰフレームの１つであるフレームＰｇが連続しているにもかかわらず、それらよりも時間的に後方のＢフレームが２つ連続で削除されている。このような場合、前述したようにフレームＰｇの再生時刻を書き換えて、本来フレームＢｈが再生されるべき時間に再生されるようにすることによって、この部分のフレームの間隔が平均化されて、滑らかに再生できるようになる。このような処理を動画像伝送装置５０が行ってもよい。
【０１１９】
以上のように本実施の形態の動画像伝送装置６０および動画像処理方法によれば、可変長ビットレートのＭＰＥＧ２符号化方式で符号化される動画像に含まれるＧＯＰパラメータｓを越える容量となるＧＯＰの容量を前記ＧＯＰパラメータｓ以下にすることによって、動画像データの容量を小さくすることができる。また前記ＧＯＰパラメータｓ以下の容量となるＧＯＰに対しては、当該ＧＯＰに含まれるＢフレームおよびＰフレームを削除しないで、前記ＧＯＰパラメータｓを越える容量となるＧＯＰに対してだけ、フレームの削除による動画像データの画像品質の低下が少ないフレームを優先的に削除するので、動画像データの画像品質の低下を、可及的に少なくすることができる。このように動画像データの画像品質の低下を可及的に少なくして、各ＧＯＰの容量を前記閾値以下にして、動画像データの容量を小さくすることができる。このような処理が施された動画像データにおいて、全てのＧＯＰの容量は、前記閾値以下になるので、たとえば前記動画像データを動画像伝送装置５０から端末装置６０に送信するとき、通信回線１００の通信速度に対応させてＧＯＰパラメータｓを設定して、容量が前記ＧＯＰパラメータｓを超えるＧＯＰのＢフレームおよびＰフレームを削除した動画像データを円滑に送信することができる。
【０１２０】
また前述の図７および図８に示す動画像処理方法をコンピュータに実行させるためのプログラムを、コンピュータに読取らせて、記録されるプログラムを実行させて、前述の動画像処理方法を実行させることができる。またフレキシブルディスク（略称：ＦＤ）およびコンパクトディスク（略称：ＣＤ）などの記録媒体を介して、複数のコンピュータにプログラムを容易に供給することができる。またＬＡＮおよびインターネットなどの通信回線を介して、複数のコンピュータにプログラムを容易に供給することができる。
【０１２１】
また本実施の形態の動画像伝送装置５０の構成から、伝送部５３を省略することで、動画像処理装置とすることができる。
【０１２２】
本実施の形態において、動画像データの符号化方式は、ＭＰＥＧ２符号化方式であるとしたけれども、これに限ることはない。たとえばＭＰＥＧ１符号化方式およびＭＰＥＧ４符号化方式においても、ＭＰＥＧ２符号化方式と同様のＩフレーム、ＰフレームおよびＢフレームを用いているので、ＭＰＥＧ１符号化方式およびＭＰＥＧ４符号化方式で符号化される動画像データに、前述の動画像処理を施すことができる。また他の符号化方式であっても、前述のＩフレーム、ＰフレームおよびＢフレームを用いている符号化方式であれば、前述の動画像処理を施すことが可能である。
【０１２３】
図１４は、動画像処理方法を実行可能な画像記録再生装置１の構成を示すブロック図である。画像記録再生装置１は、たとえば動画像および音声が含まれる動画像などの経時的に変化するコンテンツを、予め設定される提供時間枠に区切られる提供予定に従って提供する複数の放送局２０からのコンテンツを取得し、取得したコンテンツを、画像記録再生装置１に接続される表示装置２１に表示させる。また画像記録再生装置１は、取得したコンテンツを記録し、記録されたコンテンツを再生して表示装置２１に表示させる。画像記録再生装置１は、画像入出力部２、オンスクリーンディスプレイ生成部３、記録部４、プログラムメモリ５、データメモリ６、指示入力部７、計時部８、通信部９、メモリカード接続部１０および中央制御部１１を含んで構成される。
【０１２４】
画像入出力部２は、アナログテレビチューナ２ａ、ＡＤコンバータ２ｂ、ＭＰＥＧ２エンコーダ２ｃ、ＭＰＥＧ２デコーダ２ｄおよびＤＡコンバータ２ｅを備える。画像入出力部２には、放送局２０からのアナログテレビジョン放送電波を受信するためのアンテナ２ｆが接続される。また画像入出力部２には、たとえばテレビジョン受像装置などで実現される表示装置２１および図示しないアナログ方式のビデオテープレコーダ（Ｖｉｄｅｏ Ｔａｐｅ Ｒｅｃｏｒｄｅｒ ；略称：ＶＴＲ）などに接続可能なアナログ画像出力端子およびアナログ音声出力端子ならびにアナログ画像入力端子およびアナログ音声入力端子が備えられる。以後これらの入力端子および出力端子をまとめて、アナログ入出力端子と表記することがある。
【０１２５】
各放送局２０からのコンテンツは、各放送局２０に割り振られたチャンネルに対応する搬送波周波数のアナログテレビジョン放送電波によって提供され、アナログテレビチューナ２ａは、選局される放送局２０からのアナログテレビジョン放送電波、換言すれば選択されるチャンネルに対応する搬送波周波数のアナログテレビジョン放送電波を、アンテナ２ｆを介して受信して増幅する。さらにアナログテレビチューナ２ａは、受信したアナログテレビジョン放送電波に含まれ、コンテンツを表すアナログコンテンツ信号を抽出する検波を行う。前記アナログテレビチューナ２ａによって検波されたアナログコンテンツ信号は、ＡＤコンバータ２ａおよびアナログ入出力端子に接続される表示装置２１およびＶＴＲに与えられてもよい。コンテンツは、アナログテレビチューナ２ａによって、アナログデータとして取得される。
【０１２６】
ＡＤコンバータ２ｂは、アナログコンテンツ信号をデジタルコンテンツ信号に変換するアナログ・デジタル（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ ；略称：ＡＤ）変換を行う。前記アナログコンテンツ信号は、アナログテレビチューナ２ａおよびアナログ入出力端子に接続されるＶＴＲから与えられてもよい。前記デジタルコンテンツ信号は、ＭＰＥＧ２エンコーダ２ｃおよび中央制御部１１に与える。コンテンツは、このＡＤコンバータ２ｂでＡＤ変換されてデジタルデータ化される。
【０１２７】
ＭＰＥＧ２エンコーダ２ｃは、ＭＰＥＧ２規格に基づいて、デジタルコンテンツ信号を符号化して、符号化コンテンツ信号を生成する。前記デジタルコンテンツ信号は、ＡＤコンバータ２ｂから与えられてもよい。前記符号化コンテンツ信号は、中央制御部１１を介して、記録部４、通信部９およびメモリカード接続部１０に与えられてもよい。コンテンツは、このＭＰＥＧ２エンコーダ２ｃで符号化される。
【０１２８】
ＭＰＥＧ２デコーダ２ｄは、ＭＰＥＧ２規格で符号化される符号化コンテンツ信号を復号化して、デジタルコンテンツ信号を生成する。前記符号化コンテンツ信号は、記録部４、通信部９およびメモリカード接続部１０から与えられてもよい。前記デジタルコンテンツ信号は、ＤＡコンバータ２ｅに与えられてもよい。コンテンツは、このＭＰＥＧ２デコーダ２ｄで複合化され、デジタルデータ化される。
【０１２９】
ＤＡコンバータ２ｅは、デジタルコンテンツ信号をアナログコンテンツ信号に変換するデジタル・アナログ（Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ ；略称：ＤＡ）変換を行う。前記デジタルコンテンツ信号は、ＭＰＥＧ２デコーダ２ｄから与えられてもよい。前記アナログコンテンツ信号は、アナログ入出力端子に接続される表示装置２１およびＶＴＲに与えられてもよい。コンテンツは、このＤＡコンバータ２ａでＤＡ変換されてアナログデータ化される。
【０１３０】
表示装置２１は、画像記録装置１からアナログコンテンツ信号によってコンテンツが与えられ、コンテンツである動画像を表示したり、音声を出力したりする。
【０１３１】
画像入出力部２は、アンテナ２ｆを介して受信される、放送局２０からのデジタルテレビジョン放送電波に含まれ、コンテンツを表すデジタルコンテンツ信号を抽出する検波を行うデジタルテレビチューナを、さらに備えるようにしてもよい。この場合、デジタルコンテンツ信号は、ＭＰＥＧ２規格に基づいて符号化される符号化コンテンツ信号である。前記符号化コンテンツ信号は、ＭＰＥＧ２デコーダ２ｄに与えられたり、中央制御部１１を介して記録部４に与えられるようにしてもよい。このようにデジタルデータとしてコンテンツを取得するようにしてもよい。
【０１３２】
また画像入出力部２は、たとえばデジタル方式でコンテンツを記録可能なハードディスクレコーダ（Ｈａｒｄ Ｄｉｓｋ Ｒｅｃｏｒｄｅｒ）、パーソナルビデオレコーダ（
Ｐｅｒｓｏｎａｌ Ｖｉｄｅｏ Ｒｅｃｏｒｄｅｒ ；略称：ＰＶＲ）およびＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）レコーダなどに接続可能なデジタル画像入出力端子およびデジタル音声入出力端子（以後これらの端子をまとめて「デジタル入出力端子」と表記することがある。）を備えるようにしてもよい。この場合、コンテンツは、デジタルコンテンツ信号によって、デジタル入出力端子に接続されるデジタル方式のビデオレコーダに与えられてもよい。
【０１３３】
オンスクリーンディスプレイ（Ｏｎ−Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ ；略称：ＯＳＤ）生成部３は、中央制御部１１によって制御され、画像入出力部２から表示装置２１に出力されるアナログデータ形式のコンテンツに合成して、表示装置２１に表示させるための合成データを生成する。
【０１３４】
記録部４は、たとえばハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ ；略称：ＨＤＤ）などの固定型の磁気記録媒体用いた手段およびデジタル多機能ディスク（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ；略称：ＤＶＤ）などの着脱可能な光記録媒体を用いた手段によって実現される。記録部４は、画像データ記録部４ａおよびインデックスデータ記録部４ｂを有する。画像データ記録部４ａには、符号化されたコンテンツが記録される。前記符号化されたコンテンツは、画像入出力部２およびメモリカード接続部１０から与えられてもよい。インデックスデータ記録部４ｂには、前記符号化されたコンテンツの、記録部４における記録アドレス、記録日時、チャンネルおよび符号化ビットレートなどの記録情報、ならびにコンテンツのタイトルなどを含むインデックスが記録される。記録部４は、後述する中央制御部１１によって制御される。
【０１３５】
指示入力部７は、キーボードおよびリモートコントローラ（略称：リモコン）２２からのリモコン信号を受信するリモコン受信部などで実現される。指示入力部７は、利用者の入力操作によって、各種入力指令が入力される。
【０１３６】
プログラムメモリ５は、たとえばＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ ）およびフラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などの書換え可能な不揮発性メモリで実現される。プログラムメモリ５には、中央制御部１１が実行可能な、記録再生制御プログラム５ａ、画像変換プログラム５ｂ、ＥＰＧ取得プログラム５ｃ、記録予約制御プログラム５ｄ、キーワード予約制御プログラム５ｅ、おすすめ予約制御プログラム５ｆ、フォトアルバム制御プログラム５ｇ、嗜好データ抽出プログラム５ｈおよびＥＰＧ表示プログラム５ｉが記憶されている。各プログラム５ａ〜５ｉの詳細な説明は後述する。
【０１３７】
データメモリ６は、たとえばランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ；略称：ＲＡＭ）などの揮発性メモリで実現される。データメモリ６は、記録再生予約データ記憶部６ａ、ＥＰＧデータ記憶部６ｂ、キーワードデータ記憶部６ｃおよび嗜好データ記憶部６ｄを有する。
【０１３８】
記録再生予約データ記憶部６ａは、放送局２０からのコンテンツを記録部４に記録することを予約する記録予約に必要な予約情報を記憶する。キーワードデータ記憶部６ｃは、指示入力部７から入力された利用者に関する嗜好キーワードを記憶する。嗜好データ記憶部６ｄは、利用者の利用状況に基づく嗜好データを記憶する。
【０１３９】
ＥＰＧデータ記憶部６ｂは、インターネット２５を介して接続されるＥＰＧサーバ２７に蓄積される電子番組案内（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ；略称：ＥＰＧ）を記憶する。放送局２０は、前記ＥＰＧで表され、予め設定される提供時間枠に区切られる提供予定に従って、アナログテレビジョン放送電波を送信することによって、コンテンツを提供する。ＥＰＧは、詳細に述べると、搬送波周波数に対応する各チャンネル毎に、各提供時間枠で提供されるコンテンツのタイトル、ジャンル、出演者名などのキーワードを含むインデックスを有する。ＥＰＧは、放送局２０からのデジタルコンテンツ信号に重畳して画像記録再生装置１に与えるようにしてもよい。この場合、画像入出力部２によって、デジタルコンテンツ信号からＥＰＧが抽出され、抽出されたＥＰＧは、ＥＰＧデータ記憶部６ｂに記憶される。また、ＥＰＧは、放送局２０からのアナログテレビジョン放送電波における映像信号の垂直帰線区間（Ｖｅｒｔｉｃａｌ Ｂｌａｎｋｉｎｇ Ｉｎｔｅｒｖａｌ ；略称：ＶＢＩ）に重畳して画像記録再生装置１に与えるようにしてもよい。この場合、画像入出力部２によって、映像信号のＶＢＩからＥＰＧが抽出され、抽出されたＥＰＧは、ＥＰＧデータ記憶部６ｂに記憶される。
【０１４０】
キーワードデータ記憶部６ｃは、指示入力部７から入力される嗜好キーワードを記憶する。嗜好データ記憶部６ｄは、嗜好データを記憶する。前記嗜好データは、利用者の利用状況に基づいて設定される。また嗜好データは、指示入力部７から入力されてもよい。嗜好データは、たとえば利用者の興味のあるジャンル、高頻度で記録されるコンテンツのタイトルなどである。
【０１４１】
計時部８は、たとえばリアルタイムクロック（Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ ；略称：ＲＴＣ）で実現される。計時部８は、中央制御部１１、プログラムメモリ５およびデータメモリ６の動作の基準となるシステムクロック、ならびに現在時刻などを含むの計時情報を中央制御部１１に与える。
【０１４２】
通信部９は、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ；略称：ＬＡＮ）２３を介して第１パーソナルコンピュータ（以後「第１ＰＣ」と略して表記する。）２４に接続して通信可能である。また通信部９は、インターネット２５を介して、第２パーソナルコンピュータ（以後「第２ＰＣ」を略して表記する。）２６、ＥＰＧサーバ２７および携帯電話装置２８に接続して通信可能である。また通信部９は、ＬＡＮ２３を介して接続される第１ＰＣ２４が、インターネット２５を介して、第２ＰＣ２６、ＥＰＧサーバ２７および携帯電話装置２８に接続して通信できるようにするゲートウェイ機能およびルーティング機能を有する。第１および第２ＰＣ２４，２５は、それぞれ１つであってもよいし、複数であってもよい。
【０１４３】
また通信部９は、インターネット２５を介して接続されるパーソナルコンピュータなどの通信端末装置から、不正なデータが入って来ないようにするファイアウォール機能を有するようにしてもよい。またＬＡＮ２３は、有線であっても無線であってもよい。
【０１４４】
メモリカード接続部１０は、たとえばフラッシュメモリなどの書換え可能な不揮発性メモリを備えるメモリカードを着脱自在にして接続可能である。メモリカード接続部１０にメモリカードを装着することによって接続され、中央制御部１１による制御によって、メモリカードに記憶されている情報を読出したり、メモリカードに情報を記憶させたりする。メモリカードには、たとえばデジタルスチルカメラによって撮影された静止画像を表すフォトデータが記憶されてもよい。
【０１４５】
中央制御部１１は、たとえば中央演算処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ ；略称：ＣＰＵ）で実現され、計時部８からの計時情報に基づいて駆動し、プログラムメモリ５に記憶されている各プログラム５ａ〜５ｉを実行して、各種処理を行う。
【０１４６】
中央制御部１１は、記録再生制御プログラム５ａを実行することによって、指示入力部７からの入力指令およびデータメモリ６の記録再生予約データ記憶部６ａに記憶される予約情報に従って、予約されるコンテンツを取得して画像データ記録部４ａに記録するように、画像入出力部２および記録部４を制御する。またこのとき、中央制御部１１は、画像データ記録部４ａに記録されるコンテンツに関連するインデックスを、インデックスデータ記録部４ｂに記録するように、記録部４を制御する。また中央制御部１１は、記録再生制御プログラム５ａを実行することによって、指示入力部７からの、画像データ記録部４ａに記録されているコンテンツを再生することを示す入力指令に従って、画像データ記録部４ａに記録されているコンテンツを表示装置２１に表示および出力させるように、画像入出力部２および記録部４を制御する。このとき記録部４に記録されているコンテンツは、ＭＰＥＧ２デコーダ２ｄに与えられて復号化され、さらにＤＡコンバータ２ｅに与えられてＤＡ変換されて、アナログ入出力端子から表示装置２１に与えられる。
【０１４７】
画像入出力部２がデジタル入出力端子を備えている場合、中央制御部１１は、記録再生制御プログラム５ａを実行することによって、記録部４に記録されているコンテンツを、ＤＡコンバータ２ｅを介さずに、デジタル入出力端子に接続されているデジタル方式のビデオレコーダなどに与えるようにしてもよい。
【０１４８】
中央制御部１１は、画像変換プログラム５ｂを実行することによって、記録部４に記録されているコンテンツに対して、たとえば符号化ビットレートを変更したり、符号化方式をＭＰＥＧ２からＭＰＥＧ４に変換したりする画像変換処理を行う。さらに中央制御部１１は、記録再生制御プログラム５ａを実行することによって、前述のような画像変換処理が施されたコンテンツを記録するように記録部４を制御したり、ＬＡＮ２３を介して接続される第１ＰＣ２４およびインターネット２５を介して接続される第２ＰＣ２６に与えるように通信部９を制御してもよい。
【０１４９】
中央制御部１１は、ＥＰＧ取得プログラム５ｃを実行することによって、インターネット２５を介して接続されるＥＰＧサーバ２７に蓄積されるＥＰＧを取得するように通信部９を制御するとともに、取得したＥＰＧをデータメモリ６のＥＰＧデータ記憶部６ｂに記憶する。またＥＰＧが放送局２０からのデジタルコンテンツ信号に重畳して画像記録再生装置１に与えられる場合、中央制御部１１は、ＥＰＧ取得プログラム５ｃを実行することによって、デジタルコンテンツ信号からＥＰＧを抽出するように画像入出力部２を制御するとともに、抽出されたＥＰＧをＥＰＧデータ記憶部６ｂに記憶する。
【０１５０】
中央制御部１１は、ＥＰＧ表示プログラム５ｉを実行することによって、ＥＰＧデータ記憶部６ｂに記憶されているＥＰＧを、利用者が容易に理解できるような一覧表形式に加工して、画像入出力部２から表示装置２１に与えられるコンテンツに重畳するようにＯＳＤ生成部３を制御する。これによって表示装置２１には、ＥＰＧの一覧表が重畳されるコンテンツが表示される。
【０１５１】
利用者がリモコン２２および指示入力部７を入力操作して入力指令が入力されると、中央制御部１１は、記録予約制御プログラム５ｄを実行して、表示装置２１に表示されている一覧表上にカーソルを形成し、入力指令に応じてカーソルを移動させるようにＯＳＤ生成部３を制御する。利用者の入力操作によって所望のコンテンツが指定されると、中央制御部１１は、記録予約制御プログラム５ｄを実行して、ＥＰＧデータ記憶部６ｂに記憶されているＥＰＧに基づいて、指定されたコンテンツの記録開始日時、記録終了日時およびチャンネルなどを含む予約情報を、記録再生予約データ記憶部６ａに記憶する。
【０１５２】
利用者がリモコン２２および指示入力部７を入力操作して、コンテンツの記録開始日時、記録終了日時、チャンネル、記録予定画質および記録または視聴の区別などを含む予約情報が入力されると、中央制御部１１は、記録予約制御プログラム５ｄを実行して、前記予約情報を記録再生予約データ記憶部６ａに記憶する。利用者が第１ＰＣ２４、第２ＰＣ２６および携帯電話装置２８を操作して、予約情報を入力して、前記記録予約がＬＡＮ２３およびインターネット２５を介して通信部９に与えられると、中央制御部１１は、記録予約制御プログラム５ｄを実行して、前記記録予約を記録再生予約データ記憶部６ａに記憶する。このようにして手動予約が行われる。
【０１５３】
中央制御部１１は、キーワード予約制御プログラム５ｅを実行することによって、データメモリ６のキーワードデータ記憶部６ｃに記憶されている嗜好キーワードに基づいて、ＥＰＧデータ記憶部６ｂに記憶されているＥＰＧを検索して、前記嗜好キーワードを含むインデックスに対応するコンテンツを抽出し、前記コンテンツの提供時間枠およびチャンネルなどを含む予約情報を、記録再生予約データ記憶部６ａに記憶する。このようにしてキーワード予約が行われる。このとき記録開始日時は、提供時間枠におけるコンテンツの提供開始日時であり、記録終了日時は、提供時間枠におけるコンテンツの提供終了日時である。
【０１５４】
中央制御部１１は、おすすめ予約制御プログラム５ｆを実行することによって、データメモリ６の嗜好データ記憶部６ｄに記憶されている嗜好データに基づいて、ＥＰＧデータ記憶部６ｂを検索して、前記嗜好データを含むインデックスに対応するコンテンツを抽出し、前記コンテンツの提供時間枠およびチャンネルなどを含む予約情報を記録再生予約データ記憶部６ａに記憶する。このようにして、おすすめ予約が行われる。このとき記録開始日時は、コンテンツの提供時間枠におけるコンテンツの提供開始日時であり、記録終了日時は、提供時間枠におけるコンテンツの提供終了日時である。
【０１５５】
中央制御部１１は、フォトアルバム制御プログラム５ｇを実行することによって、メモリカード接続部１０によって読取られたメモリカードに記憶されているフォトデータを記録部４に記録する。また中央制御部１１は、フォトアルバム制御プログラム５ｇを実行することによって、表示装置２１、第１ＰＣ２４、第２ＰＣ２６および携帯電話装置２８に、記録部４に記録されているフォトデータを一覧表形式で表示できるようなフォトアルバムデータを生成する。このように生成されたフォトアルバムデータは、ＬＡＮ２３を介して接続される第１ＰＣ２４、ならびにインターネット２５を介して接続される第２ＰＣ２６および携帯電話装置２８に与えることができる。
【０１５６】
中央制御部１１は、嗜好データ抽出プログラム５ｈを実行することによって、利用者の利用状況に基づいて嗜好データを生成して、データメモリ６の嗜好データ記憶部６ｄに記憶する。この嗜好データは、おすすめ予約が行われるときに用いられる。
【０１５７】
比較手段および削除手段である中央制御部１１は、動画像伝送プログラム５ｊを実行することによって、前述の図７および図８に示す動画像処理方法を実行することができる。
【０１５８】
【発明の効果】
以上のように本発明によれば、動画像データの画像品質の低下を可及的に少なくして、各フレーム群の容量を前記閾値以下にして、動画像データの容量を小さくすることができる。このような処理が施された動画像データにおいて、全てのフレーム群の容量は、前記閾値以下になるので、たとえば前記動画像データを伝送元から伝送先に伝送するとき、伝送路の伝送速度に対応させて閾値を設定して、容量が前記閾値を超えるフレーム群のフレームを削除した動画像データを円滑に伝送することができる。
【０１５９】
また本発明によれば、削除されるフレームは、他のフレームからの参照度合いの低いフレームであるので、このようなフレームは、削除されても、他のフレームの復号化における影響の度合いも低いので、動画像データの画像品質の低下を少なくすることができる。
【０１６０】
また本発明によれば、削除されるべきフレームの枚数に基づいて、削除するフレームを決定することによって、このようなフレーム群において削除されるフレームの位置が偏よることを防止して、動画像データの画像品質の低下を少なくすることができる。
【０１６１】
また本発明によれば、フレーム群において削除されるフレームの位置が偏よることを防止して、動画像データの画像品質の低下を少なくすることができる。
【０１６２】
また本発明によれば、伝送元から伝送先への伝送路の伝送速度に基づいて設定される閾値と、前記フレーム群の瞬間符号化ビットレートに基づいて算出されたフレーム群の容量とが比較されるので、比較処理を円滑に行うことができる。
【０１６３】
また本発明によれば、伝送元から伝送先への伝送路の伝送速度に基づいて設定される閾値と、動画像の平均符号化ビットレートに基づいて算出されたフレーム群の容量とが比較されるので、比較処理を円滑に行うことができる。
【０１６４】
また本発明によれば、動画像データを伝送元から伝送先に伝送するときに、伝送先の伝送された動画像データを処理する速度が、動画像データの伝送速度よりも遅く、バッファが動画像データで満たされてしまって、バッファがさらに伝送されてくる動画像データを蓄積できなくなるバッファオーバーラン、および伝送先の動画像データを処理する速度が、動画像データの伝送速度よりも速く、バッファに動画像データが蓄積されなくなって、伝送先が動画像データを処理できなくなるバッファアンダーランが起こることを確実に防止することができる。
【０１６５】
また本発明によれば、コンピュータに読取らせて、記録されるプログラムを実行させて、上述の動画像処理方法を実行させることができる。また記録媒体を介して、複数のコンピュータにプログラムを容易に供給することができる。
【０１６６】
また本発明によれば、動画像データの画像品質の低下を可及的に少なくして、各フレーム群の容量を前記閾値以下にして、動画像データの容量を小さくすることができる。このような処理が施された動画像データにおいて、全てのフレーム群の容量は、前記閾値以下になるので、たとえば前記動画像データを伝送元から伝送先に伝送するとき、伝送路の伝送速度に対応させて閾値を設定して、容量が前記閾値を超えるフレーム群のフレームを削除した動画像データを円滑に伝送することができる。
【０１６７】
また本発明によれば、動画像データの画像品質の低下を可及的に少なくして、各フレーム群の容量を前記閾値以下にして、動画像データの容量を小さくすることができる。このような処理が施された動画像データにおいて、全てのフレーム群の容量は、前記閾値以下になるので、たとえば前記動画像データを伝送元から伝送先に伝送するとき、伝送路の伝送速度に対応させて閾値を設定して、容量が前記閾値を超えるフレーム群のフレームを削除した動画像データを円滑に伝送することができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態の動画像伝送装置５０の構成を示すブロック図である。
【図２】動画像伝送装置５０に通信回線１００を介して接続される端末装置６０の構成を示すブロック図である。
【図３】ＭＰＥＧ２符号化方式によって符号化される動画像データのプログラムストリームＰＳの構造を模式的に示す図である。
【図４】ＭＰＥＧ２符号化方式によって符号化される動画像データにおけるビデオデータＶＤのデータ構造を模式的に示す図である。
【図５】作業メモリ５６のメモリ空間を模式的に示す図である。
【図６】作業メモリ５６の各領域５６ａ〜５６ｄの記憶状態の一例を模式的に示す図である。
【図７】動画像伝送装置５０における動画像処理方法の手順を示すフローチャートである。
【図８】図７に示す動画像処理方法のステップｓ３の削除パターン作成の手順を示すフローチャートである。
【図９】フレーム数Ｎ＝６のＧＯＰにおいて、２つのＢフレームを削除するときの削除パターンを模式的に示す図である。
【図１０】図８に示す削除パターン作成の手順にしたがって求めた削除パターンの一例を模式的に示す図である。
【図１１】図８に示す削除パターン作成の手順にしたがって求めた削除パターンの一例を模式的に示す図である。
【図１２】Ｎ＝６のときの各削除枚数ｍに関する削除パターンの一例を模式的に示す図である。
【図１３】「１ｓｔＢ：削除」が１ｓｔＢフラグ記憶領域５６ｂに記憶されている、すなわち、直前のＧＯＰに含まれる直前のＰフレームが削除されており、参照関係に基づいて初めの２つのＢフレームが復元できない場合の、Ｎ＝６のときの各削除枚数ｍに関する削除パターンの他の例を模式的に示す図である。
【図１４】動画像処理方法を実行可能な画像記録再生装置１の構成を示すブロック図である。
【符号の説明】
５０ 動画像伝送装置
５３ 伝送部
５４ 削除制御部
５５ 削除処理部
６０ 端末装置
１００ 通信回線

Claims (10)

1. フレーム内符号化方式で可変長符号化されるフレーム内符号化フレームと、時間的に過去および未来の少なくともいずれか一方のフレームを参照して可変長符号化される参照フレームとを含むフレーム群を有する動画像データにおけるフレーム群の容量と、予め定める閾値とを比較する比較工程と、
   前記閾値を越える容量となるフレーム群に対して、前記閾値と前記フレーム群の容量との差に基づいた枚数のフレームを前記フレーム群から削除して、前記フレーム群の容量を前記閾値以下にする工程であって、フレームの削除による動画像データの画像品質の低下が少ないフレームを優先的に削除する削除工程とを含むことを特徴とする動画像処理方法。
2. 前記削除工程において、他のフレームからの参照度合いが低いフレームから順次削除することを特徴とする請求項１記載の動画像処理方法。
3. 前記削除工程において、削除されるべきフレームの枚数に基づいて、削除するフレームを決定することを特徴とする請求項１または２記載の動画像処理方法。
4. フレーム群に含まれる全フレームの枚数を、削除されるべきフレームの枚数で除したときの商よりも１枚少ない最小削除フレーム間枚数以上のフレームが、削除されるフレームの間に残存するように、削除するフレームを決定することを特徴とする請求項３記載の動画像処理方法。
5. 閾値は、伝送元から伝送先への伝送路の伝送速度に基づいて設定され、
   比較工程では、フレーム群の容量を前記フレーム群の瞬間符号化ビットレートに基づいて算出し、前記閾値とフレーム群の容量とを比較することを特徴とする請求項１〜４のいずれかに記載の動画像処理方法。
6. 閾値は、伝送元から伝送先への伝送路の伝送速度に基づいて設定され、
   比較工程では、フレーム群の容量を動画像の平均符号化ビットレートに基づいて算出し、前記閾値とフレーム群の容量とを比較することを特徴とする請求項１〜４のいずれかに記載の動画像処理方法。
7. 動画像データを伝送元から、バッファを有する伝送先に伝送する場合に、閾値は前記バッファの空き容量に基づいて設定されることを特徴とする請求項１〜４のいずれかに記載の動画像処理方法。
8. 請求項１〜７のいずれかに記載の動画像処理方法をコンピュータに実行させるためのプログラム。
9. フレーム内符号化方式で可変長符号化されるフレーム内符号化フレームと、時間的に過去および未来の少なくともいずれか一方のフレームを参照して可変長符号化される参照フレームとを含むフレーム群を有する動画像データにおけるフレーム群の容量と、予め定める閾値とを比較する比較手段と、
   前記閾値を越える容量となるフレーム群に対して、前記閾値と前記フレーム群の容量との差に基づいた枚数のフレームを前記フレーム群から削除して、前記フレーム群の容量を前記閾値以下にする手段であって、フレームの削除による動画像データの画像品質の低下が少ないフレームを優先的に削除する削除手段とを含むことを特徴とする動画像処理装置。
10. フレーム内符号化方式で可変長符号化されるフレーム内符号化フレームと、時間的に過去および未来の少なくともいずれか一方のフレームを参照して可変長符号化される参照フレームとを含むフレーム群を有する動画像データを、伝送路を介して接続される端末装置に伝送する動画像伝送装置であって、
    前記動画像データにおけるフレーム群の容量と、予め定める閾値とを比較する比較手段と、
    前記閾値を越える容量となるフレーム群に対して、前記閾値と前記フレーム群の容量との差に基づいた枚数のフレームを前記フレーム群から削除して、前記フレーム群の容量を前記閾値以下にする手段であって、フレームの削除による動画像データの画像品質の低下が少ないフレームを優先的に削除する削除手段と、
    前記動画像データを伝送路を介して伝送する伝送手段とを含むことを特徴とする動画像伝送装置。

Images