JP2004112472A - 動画像処理システム - Google Patents

Abstract

【課題】伝送過程で混入された伝送誤りによって高解像度画像の再生が影響されるのを防ぐようにする。
【解決手段】動画像受信復号化端末３は、高解像度画像符号化データの復号処理に際して、参照すべき低解像度画像符号化データに伝送誤りが混入されていた場合、復号処理を中止し、該伝送誤りが混入された低解像度画像符号化データを参照せずに復号可能なデータから復号処理を再開する。また、動画像受信復号化端末３は、高解像度画像符号化データの復号処理に際して、該高解像度画像符号化データに伝送誤りが混入されていた場合、復号処理を中止し、該伝送誤りが混入された高解像度画像符号化データを参照せずに復号可能なデータから復号処理を再開する。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧ−４ビデオ等の動画像の処理を行う動画像処理システムに関し、特に、伝送過程で混入された伝送誤りによって高解像度画像の再生が影響されるのを防ぐことを可能にした動画像処理システムに関するものである。
【０００２】
【従来の技術】
通常、この種のＭＰＥＧ−４ビデオ等の動画像処理システムにおいては、符号化データの一部を復元しても画像を復元可能にするスケーラビリティ機能が知られている。
【０００３】
このスケーラビリティ機能は、インターネットや狭帯域無線網によるビデオ配信、ビデオデータベースブラウジングにとって重要な機能である。
【０００４】
特に、現在のインターネットでは、伝送帯域に関するネットワークサービス品質が保証されていないため、高い符号化速度で動画像を安定に伝送することが難しい。
【０００５】
また、動画像復号をソフトウェア処理で実現することが一般的になりつつあり、処理機能が低い端末では受信した符号化データを全て復号できない場合も危惧される。
【０００６】
そこで、低解像度と高解像度の２種類のデータを用意しておき、ネットワークや端末の状態が良いときは高解像度の動画像を復号し、状態が悪くなった場合は画質を破綻させることなく低解像度画像の品質を保証することが考えられる。
【０００７】
ＭＰＥＧ−４ビデオは、このような状況を想定して時空間スケーラビリティの機能を提供している。
【０００８】
ところで、ＭＰＥＧ−４では低解像度画像の符号化にはエラー耐性機能を持たせることが可能であるが、高解像度画像の符号化ではエラー耐性機能を持たせていない。
【０００９】
従って、例えば、低解像度画像の復号結果を用いて高解像度画像を予測符号化された場合、受信復号化側では、受信した低解像度画像の符号化データ中に伝送誤りが挿入されていると、その伝送誤りで劣化した低解像度画像の補完を行うエラーコンシールメント処理を施している。
【００１０】
ところが、他方、高解像度画像に対しては、そのエラーコンシールメント処理が施された低解像度画像を参照して高解像度画像の復号化処理を行っているため、高解像度画像に、上記コンシールメント処理された低解像度画像の影響が発生し、画像品質が低下してしまう。
【００１１】
また、従来では、受信復号側で、受信した高解像度画像の符号化データ中に伝送誤りが挿入されている場合の上記伝送誤りに対する対処方法については何等規定されていない。
【００１２】
このため、高解像度の符号化画像データに伝送誤りが挿入されていると、高解像度画像として表示しているにもかかわらず、画像品質が悪くなってしまう。
【００１３】
【発明が解決しようとする課題】
上述の如く、従来では、低解像度画像の復号結果を用いて高解像度画像を予測符号化された場合、受信復号化側で、受信した低解像度画像の符号化データ中に伝送誤りが挿入されていると、その伝送誤りで劣化した低解像度画像の補完を行うエラーコンシールメント処理を施し、他方、高解像度画像に対しては、そのエラーコンシールメント処理が施された低解像度画像を用いて高解像度画像の復号化処理を行っているため、高解像度画像に、上記コンシールメント処理された低解像度画像の影響が発生し、画像品質が低下してしまうという不都合があった。
【００１４】
また、従来では、受信復号側で、受信した高解像度画像の符号化データ中に伝送誤りが挿入されている場合の上記伝送誤りに対する対処方法については何等規定されていないため、高解像度の符号化画像データに伝送誤りが挿入されていると、高解像度画像として表示しているにもかかわらず、画像品質が悪くなってしまうという不都合があった。
【００１５】
そこで、本発明は上記実状を鑑み、伝送過程で混入された伝送誤りによって高解像度画像の再生が影響されるのを防ぐことが可能な動画像処理システムの提供を目的とするものである。
【００１６】
【課題を解決するための手段】
上記目的を達成するために、請求項１の発明は、入力画像から低解像度画像符号化データと高解像度画像符号化データとを生成し、それら符号化データを多重化して送信する動画像符号化送信端末と、前記動画像符号化送信端末からの多重化データを受信して前記低解像度画像符号化データと前記高解像度符号化データとを分離し、前記低解像度画像符号化データを復号すると共に、前記高解像度画像の復号処理に際しては前記低解像度符号化データを参照する動画像受信復号化端末とを具える動画像処理システムであって、前記動画像受信復号化端末は、前記高解像度画像符号化データの復号処理に際して、参照すべき前記低解像度画像符号化データに伝送誤りが混入されていた場合、復号処理を中止し、該伝送誤りが混入された低解像度画像符号化データを参照せずに復号可能なデータから復号処理を再開することを特徴とする。
【００１７】
また、請求項２の発明は、請求項１の発明において、前記動画像受信復号化端末は、前記高解像度画像符号化データの復号処理に際して、該高解像度画像符号化データに伝送誤りが混入されていた場合、復号処理を中止し、該伝送誤りが混入された高解像度画像符号化データを参照せずに復号化可能なデータから復号処理を再開することを特徴とする。
【００１８】
また、請求項３の発明は、請求項１の発明において、前記動画像受信復号化端末は、前記低解像度画像符号化データに伝送誤りが混入されていた場合、エラーコンシールメント処理中フラグをオンにし、前記高解像度画像符号化データの復号処理を中止することを特徴とする。
【００１９】
また、請求項４の発明は、請求項１又は３の発明において、前記動画像受信復号化端末は、前記エラーコンシールメント処理が完了した後、前記フラグをオフにし、前記高解像度画像符号化データの復号処理を再開することを特徴とする。
【００２０】
【発明の実施の形態】
以下、本発明の実施形態について添付図面を参照して詳細に説明する。
【００２１】
図１は、本発明に係わる動画像処理システムを適用した動画像処理システム１００の一構成例を示す図である。尚、この動画像処理システムは、符号化データの一部を復元しても画像を復元可能にするスケーラビリティ機能を具えている。
【００２２】
図１に示すように、この動画像処理システム１００は、大きくは、動画像符号送信端末１と、無線通信網２と、動画像受信復号化端末３とを具えて構成される。
【００２３】
ここで、動画像符号化送信端末１は、ＭＰＥＧ−４ビデオ等の動画像データを上記無線通信網２を介して上記動画像受信復号化端末３に送信する。尚、この送信端末１は、例えば、動画像を提供するサービス業者に設置されるサーバ装置などである。
【００２４】
また、無線通信網２は、無線基地局、交換局、通信回線等から構成される。
【００２５】
動画像受信復号端末３は、上記動画像符号送信端末１から上記無線通信網２を介して送信されてきたＭＰＥＧ−４等の動画像データを受信して再生する端末である。尚、この受信端末３は、例えば、上記サービス業者が提供するサービスを利用する利用者が所持する携帯電話機や携帯情報端末であり、この場合、ＭＰＥＧ−４ビデオ等の動画像を処理する機能を有する。
【００２６】
図２は、上記図１に示した動画像処理システム１００の詳細な構成を示す図であり、この場合、動画像符号化送信端末１と動画像受信復号化端末３の内部構成を詳しく示している。尚、この図２の実施例では、ＭＰＥＧ−４ビデオ等の動画像処理に係わる機能ブロックのみを示し、他の構成は省略している。また、この実施例では、スケーラビリティ機能として、時間当たりの画面数すなわち時間解像度に差をつける時間スケーラビリティ機能を具えている場合を例にしている。
【００２７】
図２に示すように、動画像符号化送信端末１は、ＭＰＥＧ−４等の動画像処理に係わる構成として、画像入力インタフェース部１０１と、前処理部１０２と、下位レイヤ符号化部１０３と、中間処理部１０４と、上位レイヤ符号化部１０５と、多重化処理部１０６と、通信部１０７とを具えて構成される。
【００２８】
ここで、画像入力インタフェース部１０１は、符号化送信対象となる動画像を入力するインタフェース部である。
【００２９】
前処理部１０２は、上記画像入力インタフェース部１０１からの入力画像を高フレームレート画像（高解像度画像）用と、低フレームレート画像（低解像度画像）用とに分ける。
【００３０】
下位レイヤ符号化部１０３は、上記前処理部１０２からの低フレームレート画像用の画像を入力し、通常の符号化アルゴリズムで符号化処理を施し、ＶＯＬ（Ｖｉｄｅｏ　Ｏｂｊｅｃｔ　Ｌａｙｅｒ：複数のフレームから構成されるデータ）０のビットストリームを形成して後述の多重化処理部１０６に出力すると共に、該符号化処理した後の低フレームレート画像の再生画像を中間処理部１０４に出力する。
【００３１】
中間処理部１０４は、フレームバッファを有し、下位レイヤ符号化部１０３から入力した再生画像（符号化された低解像度画像を復号した復号画像）をバッファリングし、この再生画像から予測画像を生成し、後述の上位レイヤ符号化部１０５に入力する。
【００３２】
上位レイヤ符号化部１０５は、上記中間処理部１０４から入力した予測画像と、上述の前処理部１０２から入力された高フレームレート画像用の画像とから高フレームレート画像の符号化処理を施し、ＶＯＬ１のビットストリームを形成して多重化処理部１０６に出力する。
【００３３】
多重化処理部１０６は、上記下位レイヤ符号化１０２からのＶＯＬ０のビットストリームと、上記上位レイヤ符号化部１０５からのＶＯＬ１のビットストリームを入力し、これら２つのビットストリームを多重化して通信部１０７に出力する。
【００３４】
通信部１０７は、上記多重化処理部１０６から入力した多重化データを所定の通信プロトコルに応じて変換処理を施して通信網２へ送信する。
【００３５】
また、他方、動画像受信復号化端末３は、無線通信部３０１と、分離化処理部３０２と、下位レイヤ復号化部３０３と、中間処理部３０４と、上位レイヤ復号化部３０５と、後処理部３０６と、表示部３０７とを具えて構成される。
【００３６】
ここで、無線通信部３０１は、無線通信網２及びアンテナを介して上記動画像符号化送信端末１から多重送信されてきた多重化データを受信する。
【００３７】
分離化処理部３０２は、上記無線通信部３０１にて受信した多重化データから低フレームレート画像のＶＯＬ０ビットストリームと、高フレームレート画像のＶＯＬ１ビットストリームとに分離して後段の下位レイヤ復号化部３０３及び上位レイヤ復号化部３０５に出力する。
【００３８】
下位レイヤ復号化部３０３は、上記分離化処理部３０２からの低フレームレート画像のＶＯＬ０ビットストリームデータに通常の復号化処理を施し、中間処理部３０４と後処理部３０６の両方に出力する。
【００３９】
尚、本実施例では、この下位レイヤ復号化部３０３は、エラーコンシールメント処理オン／オフ通知制御手段３０３ａを具える。
【００４０】
具体的に、エラーコンシールメント処理オン／オフ通知制御手段３０３ａは、下位レイヤの低フレームレート画像に伝送誤りが混入されていた場合、該伝送誤りで劣化した低解像度画像の補完を行うエラーコンシールメント処理を行うが、この時、エラーコンシールメント処理中である事を上位レイヤ復号化部３０５に通知する為のフラグを「オン」とし、上位レイヤ復号化部３０５の下位レイヤエラー対処制御手段３０５ｂに通知する。
【００４１】
また、このエラーコンシールメント処理オン／オフ通知制御手段３０３ａは、当該エラーコンシールメント処理が完了した時点で上位レイヤ復号化部３０５に対してエラーコンシールメント処理が完了した旨を通知するフラグを「オフ」とし、上記上位レイヤ復号化部３０５の下位レイヤエラー対処制御手段３０５ｂに通知する。
【００４２】
中間処理部３０４は、フレームバッファを有し、上記下位レイヤ復号化部３０３から入力される低フレームレート画像をバッファリングすると共に、この低フレームレート画像から予測画像（低解像度の復号画像）を生成し、後述の上位レイヤ復号化部３０５に出力する。
【００４３】
上位レイヤ復号化部３０５は、上記分離化処理部３０２から出力される高フレームレート画像のＶＯＬ１ビットストリームデータと、上記中間処理部３０４から入力される予測画像から高フレームレート画像の復号化処理を行う。
【００４４】
尚、本発明では、この上位レイヤ復号化部３０５は、上位レイヤエラー対処制御手段３０５ａと、下位レイヤエラー対処制御手段３０５ｂとを具える。
【００４５】
具体的に、上位レイヤエラー対処制御手段３０５ａは、高フレームレート画像中に伝送誤りがあった場合に該伝送誤りのあったフレーム画像の復号処理を中止し、該伝送誤りのあったフレーム画像を参照しないフレーム画像［例えば、次のＩ−ＶＯＰ（Ｉｎｔｒａ　Ｖｉｄｅｏ　Ｏｂｊｅｃｔ　Ｐｌａｎｅ）又は下位レイヤの再生画像を参照画像とするＶＯＰ］までスキップしてから復号処理を開始する。
【００４６】
また、下位レイヤエラー対処制御手段３０５ｂは、上述の下位レイヤ復号化部３０３のエラーコンシールメント処理オン／オフ通知制御手段３０３ａから通知されるフラグ「オン」、またはフラグ「オン」及び「オフ」情報に基づいて高解像度画像の復号処理の中止及び復号処理の再開処理を制御する。
【００４７】
後処理部３０６は、ネットワークや端末の状態に応じて、後段の表示部３０７を用いて高解像度画像の再生表示か、低解像度画像の再生表示を行う。また、低解像度画像の再生にあっては、フレームレートをあげて後段のディスプレイ３０７にて表示を行う。尚、上述のように、高解像度画像の復号処理を中止している間には、下位レイヤのみとする。即ち、低解像度画像の再生のみを行なうようにする。
【００４８】
尚、上記図１に示した例では、送信側の動画像符号送信端末１には、ＭＰＥＧ−４ビデオ等の動画像を符号化して送信する為の送信側の機能のみを示し、受信側の動画像受信復号端末３には、ＭＰＥＧ−４ビデオの動画像を受信して復号化する為の受信側の機能のみを示しているが、本発明は、これに限らず、両者共に、送信側と受信側の両方の機能を具え、相互に動画像データを送受信するようにしても良い。
【００４９】
尚、相互に動画像データを送受信する形態では、動画像符号化送信端末１側も携帯電話機等にし、更に、両者側にディジタルカメラ等を具え、該ディジタルカメラにて撮影した映像を送受信するようにしても良い。
【００５０】
図３は、下位レイヤのビットストリームにエラー（伝送誤り）が挿入されていた場合の下位レイヤ復号化部３０３のエラーコンシールメント処理オン／オフ通知制御手段の３０３ａにおけるフラグ「オン」または「オフ」通知処理のイメージを示す図である。
【００５１】
図３に示すように、下位レイヤ復号化部３０３では、通常、低フレームレート画像のビットストリーム中にエラー（伝送誤り）が挿入されていた場合、該伝送誤りで劣化した低解像度画像の補完を行うエラーコンシールメント処理を行って復号化処理を行う。
【００５２】
これにより、該下位レイヤ復号化部３０３の後段側、即ち、後処理部３０６及び表示部３０７（図２参照）で、低解像度画像の画像表示処理が行われる。
【００５３】
ところで、本発明では、下位レイヤ復号化部３０３のエラーコンシールメント処理フラグオン／オフ通知制御手段３０３ａでは、低フレームレート画像のビットストリーム中にエラー（伝送誤り）が挿入されていると、該伝送誤りで劣化した画像の補完を行うエラーコンシールメント処理実行中であることを上位レイヤ復号化部３０５に通知すべく、該エラーコンシールメント処理中を示すフラグを「オン」とし、上位レイヤ復号化部３０５の下位レイヤ対処制御手段３０５ｂに通知する。
【００５４】
また、下位レイヤ復号化部３０３では、エラーコンシールメント処理が完了して当該エラーフレームが正常に復号された後、該エラーコンシールメント処理が完了したことを上位レイヤ処理側に通知すべく、上記エラーコンシールメント処理中フラグを「オフ」とし、上位レイヤ復号化部３０５の下位レイヤエラー対処制御手段３０５ｂに通知する。
【００５５】
図４は、上記図３に示した下位レイヤ復号化部３０３のエラーコンシールメント処理オン／オフ通知制御手段３０３ａにおける処理手順を示すフローチャートである。
【００５６】
図４に示すように、下位レイヤ復号化部３０３では、復号化処理対象の下位レイヤのビットストリームフレーム中にエラー（伝送誤り）が挿入されているかどうかが判定される（ステップＳ１０１）。
【００５７】
ここで、エラー（伝送誤り）が挿入されていると（ステップＳ１０１ＹＥＳ）、下位レイヤ復号化部３０３では、エラーコンシールメント処理が実行されると共に（ステップＳ１０２）、エラーコンシールメント処理オン／オフ通知制御手段３０３ａにて、エラーコンシールメント処理中フラグが「オン」とされ、上位レイヤ復号化部３０５の下位レイヤエラー対処制御手段３０５ｂに対して処理中フラグ「オン」が通知される（ステップＳ１０３）。
【００５８】
その後、該エラーコンシールメント処理が終了し、該エラーフレームが正常に復号完了すると（ステップＳ１０４）、エラーコンシールメント処理中フラグが「オフ」とされ、上位レイヤ復号化部３０５の下位レイヤエラー対処制御手段３０５ｂに対して処理中フラグ「オフ」が通知される（ステップＳ１０５）。
【００５９】
その後、上述のステップＳ１０１の処理に移行して以下同様の処理が行われる。
【００６０】
また、上述のステップＳ１０１の判定の結果、復号化処理対象の下位レイヤのビットストリームフレームにエラーが挿入されていない場合（ステップＳ１０１ＮＯ）、該フレーム、即ち現在復号化処理対象フレームの通常の復号化処理が行われ（ステップＳ１０６）、その後、上述のステップＳ１０１の処理に戻って以下同様の処理が行われる。
【００６１】
尚、上記フローでは、ステップＳ１０３における処理中フラグの「オン」通知は、１回だけ通知するように説明しているが、これに限らず、連続的に「オン」通知を行うようにしても良い。
【００６２】
図５は、上記図３及び図４に示した下位レイヤ復号化部３０３のエラーコンシールメント処理オン／オフ通知制御手段３０３ａから処理中フラグの「オン」または「オフ」通知を受けた場合の上位レイヤ復号化部３０５の下位レイヤエラー対処制御手段３０５ｂにおける処理手順を示すフローチャートである。
【００６３】
図５に示すように、上位レイヤ復号化部３０５では、下位レイヤエラー対処制御手段３０５ｂが、下位レイヤ復号化部３０３のエラーコンシールメント処理オン／オフ通知制御手段３０３ａから処理中フラグ「オン」の通知を受け取ると（ステップＳ２０１ＹＥＳ）、当該エラー（伝送誤り）を含む低解像度画像を参照して復号化処理を行うフレーム画像（Ｐ−ＶＯＰ）の復号化処理が中止される（ステップＳ２０２）。
【００６４】
その後、エラーコンシールメント処理オン／オフ通知制御手段３０３ａから処理中フラグ「オフ」の通知を受け取ると（ステップＳ２０３ＹＥＳ）、復号化処理が再開され（ステップＳ２０４）、該フレームに対する通常の復号処理が行われる（ステップＳ２０５）。即ち、この場合、上記エラーの波及がなくなるＩ−ＶＯＰ或いは下位レイヤを参照するＰ−ＶＯＰのことである。
【００６５】
その後、上述のステップＳ２０１に戻って、以下同様の処理が行われる。
【００６６】
また、他方、上述のステップＳ２０１の判定処理の結果、処理中フラグ「オン」の通知が無ければ（ステップＳ２０１ＮＯ）、上述のステップＳ２０５の処理に移行して該フレームに対する通常の復号処理が行われる。即ち、この場合、現在復号化処理対象となっている高フレームレート符号化画像のフレーム（Ｉ−ＶＯＰ又はＰ−ＶＯＰ）に対する通常の復号処理が行われる。
【００６７】
また、上述のステップＳ２０３の判定処理の結果、処理中フラグ「オフ」の通知が無ければ（ステップＳ２０３ＮＯ）、上述のステップＳ２０２の処理が継続される。
【００６８】
図６は、上位レイヤ側の上位レイヤ復号化部３０５で、下位レイヤの低フレームレート画像の復号画像を参照する必要のあるＰ−ＶＯＰフレームで下位レイヤ側の下位レイヤ復号化部３０３がエラーコンシールメント処理を実行中である場合のイメージを示す図である。尚、この場合、下位レイヤ復号化部３０３は、エラーコンシールメント処理を完了した後にフラグオフ通知を行わない場合を示している。
【００６９】
図６において、上位レイヤ復号化部３０５では、下位レイヤの低フレームレート画像の復号結果を参照するＰ−ＶＯＰで下位レイヤがエラーコンシールメント処理中である場合、復号処理を中止する。
【００７０】
そして、次の下位レイヤの低フレームレート画像を参照しないＩ−ＶＯＰ又は次の下位レイヤの低フレームレート画像を参照するＰ−ＶＯＰまで復号処理をスキップする。
【００７１】
これは、上位レイヤが下位レイヤの再生画像を参照画像として復号する場合に、当該参照画像がエラーコンシールメント処理されていると、高解像度画像の復号に悪影響を及ぼし、画像品質が低下してしまうからである。
【００７２】
この場合、画像再生は、下位レイヤの低解像度画像のみとし、エラーの波及がなくなるＩ−ＶＯＰ或いは下位レイヤを参照するＰ−ＶＯＰまでスキップする。
【００７３】
図７は、上記図６に示した上位レイヤ復号化部３０５の処理手順を示すフローチャートである。
【００７４】
図７に示すように、上位レイヤ復号化部３０５では、下位レイヤエラー対処制御手段３０５ｂにて、下位レイヤからエラーコンシールメント処理フラグ「オン」の通知があるかどうかが判定される（ステップＳ３０１）。
【００７５】
この判定の結果、エラーコンシールメント処理フラグ「オン」の通知があると（ステップＳ３０１ＹＥＳ）、当該エラー（伝送誤り）を含む低解像度画像を参照して復号化処理を行うフレーム画像（Ｐ−ＶＯＰ）の復号化処理が中止される（ステップＳ３０２）。
【００７６】
その後、下位レイヤエラー対処制御手段３０５ｂでは、次にくる下位レイヤの低フレームレート画像を参照しないＩ−ＶＯＰ又は次の下位レイヤの低フレームレート画像を参照するＰ−ＶＯＰの検出監視が行われる（ステップＳ３０３）。
【００７７】
この監視の結果、次のＩ−ＶＯＰ若しくは下位レイヤ参照Ｐ−ＶＯＰが検出されると（ステップＳ３０３ＮＯ）、復号化処理が再開される（ステップＳ３０４）。
【００７８】
そして、該フレームに対する通常の復号化処理が行われる（ステップＳ３０５）。即ち、この場合、上記検出されたＩ−ＶＯＰ或いは下位レイヤを参照するＰ−ＶＯＰのことである。
【００７９】
その後、上述のステップＳ３０１に戻って、以下同様の処理が行われる。
【００８０】
また、他方、上述のステップＳ３０１の判定処理の結果、処理中フラグ「オン」の通知が無ければ（ステップＳ３０１ＮＯ）、上述のステップＳ３０５の処理に移行して該フレームに対する通常の復号処理が行われる。即ち、この場合、現在復号化処理対象となっている高フレームレート符号化画像のフレーム（Ｉ−ＶＯＰ又はＰ−ＶＯＰ）に対する通常の復号処理が行われる。
【００８１】
図８は、上位レイヤのビットストリーム中にエラーが挿入されていた場合の上位レイヤ復号化部３０５の処理のイメージを示す図である。
【００８２】
図８において、上位レイヤ復号化部３０５では、上位レイヤの高フレームレート画像中にエラー（伝送誤り）が挿入されていた場合、該エラーのフレーム画像の復号化処理を中止する。
【００８３】
そして、次にくる該エラーフレームを参照せずに復号可能なＩ−ＶＯＰ又は次にくる下位レイヤの再生画像を参照画像とするＰ−ＶＯＰまで復号化処理をスキップする。
【００８４】
これは、上位レイヤの符号化には、エラー耐性機能がなく、高フレームレート画像の符号化データ中にエラーが挿入されると、高解像度画像の再生時に画像品質が低下してしまう虞があるからである。
【００８５】
この場合、受信復号化装置では、上位レイヤの復号は行わず、低レイヤの復号を行って、低解像度画像の再生のみを行うようにする。そして、上記エラー（伝送誤り）が高フレームレート画像の復号再生に影響を及ぼさないフレーム、即ち、次のＩ−ＶＯＰまたは下位レイヤの再生画像を参照するＩ−ＶＯＰになったら高フレームレート画像の復号処理を再開する。
【００８６】
この構成によれば、エラーが影響を及ぼす間は、高フレームレート画像の復号化処理をスキップし、下位レイヤの復号のみを行うことで、高フレームレート画像の再生品質が低下することを未然に防止することができる。
【００８７】
図９は、上記図８に示した上位例や復号化部３０５における上位レイヤエラー対処生後手段３０５ａにおける処理手順を示すフローチャートである。
【００８８】
図９に示すように、上位レイヤ復号化部３０５では、上位レイヤエラー対処制御手段３０５ａにて、復号化処理対象の上位レイヤのビットストリームのフレームエラーがあるかどうかが判定される（ステップＳ４０１）。
【００８９】
この判定の結果、上位レイヤのビットストリーム中にフレームエラーがあると（ステップＳ４０１ＹＥＳ）、上位レイヤ復号化部３０５では、該エラーのフレーム画像の復号化処理が中止される（ステップＳ４０２）。
【００９０】
その後、上位レイヤエラー対処制御手段３０５ａでは、次にくる上記エラーフレームを参照せずに復号可能なＩ−ＶＯＰ又は次にくる下位レイヤの再生画像を参照画像とするＰ−ＶＯＰの検出が監視される（ステップＳ４０３）。
【００９１】
この監視の結果、次のＩ−ＶＯＰ若しくは下位レイヤ参照Ｐ−ＶＯＰが検出されると（ステップＳ４０３ＹＥＳ）、復号化処理が再開され（ステップＳ４０４）、該フレームに対する通常の復号処理が行われる（ステップＳ４０５）。即ち、この場合、上記検出されたＩ−ＶＯＰ或いは下位レイヤを参照するＰ−ＶＯＰに対する通常の復号処理が行われる。
【００９２】
その後、上述のステップＳ４０１に戻って、以下同様の処理が行われる。
【００９３】
また、他方、上述のステップＳ４０１の判定処理の結果、上位レイヤのビットストリーム中にフレームエラーが無ければ（ステップＳ４０１ＮＯ）、上述のステップＳ４０５の処理に移行して該フレームに対する通常の復号処理が行われる。即ち、この場合、現在復号化処理対象となっている高フレームレート符号化画像のフレーム（Ｉ−ＶＯＰ又はＰ−ＶＯＰ）に対する通常の復号処理が行われる。
【００９４】
この構成によると、高解像度のビットストリームに誤りが混入した場合、高解像度画像の復号処理を中止し、誤りの影響がなくなるフレーム内予測符号化されたフレーム又は低解像度画像を参照して符号化されたフレームまで、復号処理をスキップさせることにより、画像品質の低下を防ぐことができるようになる。
【００９５】
尚、上記実施例では、時間スケーラビティを採用した装置に適用した場合を例にして説明したが、本発明は、これに限らず、空間スケーラビリティ或いは時空間スケーラビリティを採用した装置に適用しても良いものとする。
【００９６】
【発明の効果】
以上説明したように、本発明によれば、高解像度画像符号化データの復号処理に際して、参照すべき前記低解像度画像符号化データに伝送誤りが混入されていた場合、復号処理を中止し、該伝送誤りが混入された低解像度画像符号化データを参照せずに復号可能なデータから復号処理を再開するようにしたため、伝送過程で混入された伝送誤りによって高解像度画像の再生が影響されるのを未然に防ぐことができる。
【図面の簡単な説明】
【図１】本発明に係わる動画像処理システム及びその動画像受信復号化装置を適用した動画像処理システムの一構成例を示す図。
【図２】図１に示した動画像処理システムの詳細な構成を示す図。
【図３】下位レイヤのビットストリームにエラーが挿入されていた場合の下位レイヤ復号化部のエラーコンシールメント処理オン／オフ通知制御手段におけるフラグ「オン」または「オフ」通知処理のイメージを示す図。
【図４】図３に示した下位レイヤ復号化部のエラーコンシールメント処理オン／オフ通知制御手段における処理手順を示すフローチャート。
【図５】図３及び図４に示した下位レイヤ復号化部のエラーコンシールメント処理オン／オフ通知制御手段から処理中フラグの「オン」または「オフ」通知を受けた場合の上位レイヤ復号化部の下位レイヤエラー対処制御手段における処理手順を示すフローチャート。
【図６】上位レイヤ側の上位レイヤ復号化部で、下位レイヤの低フレームレート画像の復号画像を参照する必要のあるＰ−ＶＯＰフレームで下位レイヤ側の下位レイヤ復号化部がエラーコンシールメント処理を実行中である場合のイメージ図。
【図７】図６に示した上位レイヤ復号化部の処理手順を示すフローチャート。
【図８】上位レイヤのビットストリーム中にエラーが挿入されていた場合の上位レイヤ復号化部の処理のイメージを示す図。
【図９】図８に示した上位例や復号化部における上位レイヤエラー対処生後手段における処理手順を示すフローチャート。
【符号の説明】
１００　動画像伝送処理システム
１　動画像符号化送信端末
１１　アンテナ
１２　ビデオカメラ
１３　ディスプレイ
１４　操作ボタン
２　無線通信網
３　動画像受信復号化端末
３１　アンテナ
３２　ビデオカメラ
３３　ディスプレイ
３４　操作ボタン
１０１　前処理部
１０２　下位レイヤ符号化部
１０３　中間処理部
１０４　上位レイヤ符号化部
１０５　多重化処理部
１０６　無線処理部
３０１　無線処理部
３０２　分離化処理部
３０３　下位レイヤ復号化部
３０３ａ　エラーコンシールメント処理オン／オフ通知制御手段
３０４　中間処理部
３０５　上位レイヤ復号化部
３０５ａ　上位レイヤエラー対処制御手段
３０５ｂ　下位レイヤエラー対処制御手段
３０６　後処理部

Claims (4)

1. 入力画像から低解像度画像符号化データと高解像度画像符号化データとを生成し、それら符号化データを多重化して送信する動画像符号化送信端末と、前記動画像符号化送信端末からの多重化データを受信して前記低解像度画像符号化データと前記高解像度符号化データとを分離し、前記低解像度画像符号化データを復号すると共に、前記高解像度画像の復号処理に際しては前記低解像度符号化データを参照する動画像受信復号化端末とを具える動画像処理システムであって、
   前記動画像受信復号化端末は、
   前記高解像度画像符号化データの復号処理に際して、参照すべき前記低解像度画像符号化データに伝送誤りが混入されていた場合、復号処理を中止し、該伝送誤りが混入された低解像度画像符号化データを参照せずに復号可能なデータから復号処理を再開する
   ことを特徴とする動画像処理システム。
2. 前記動画像受信復号化端末は、
   前記高解像度画像符号化データの復号処理に際して、該高解像度画像符号化データに伝送誤りが混入されていた場合、復号処理を中止し、該伝送誤りが混入された高解像度画像符号化データを参照せずに復号可能なデータから復号処理を再開することを特徴とする請求項１記載の動画像処理システム。
3. 前記動画像受信復号化端末は、
   前記低解像度画像符号化データに伝送誤りが混入されていた場合、エラーコンシールメント処理中フラグをオンにし、前記高解像度画像符号化データの復号処理を中止することを特徴とする請求項１記載の動画像処理システム。
4. 前記動画像受信復号化端末は、
   前記エラーコンシールメント処理が完了した後、前記フラグをオフにし、前記高解像度画像符号化データの復号処理を再開することを特徴とする請求項１又は３記載の動画像処理システム。

Images