JP2011193354A - ストリーム変換装置及びストリーム変換方法 - Google Patents

Abstract

【課題】ＩＤＲのエラーコンシールメント処理をより適切に行うストリーム変換装置及びストリーム変換方法を提供する。
【解決手段】周期的に到来するＩＤＲを含む圧縮符号化された動画像ストリームを入力し所定単位で前記動画像ストリームを出力する第１工程と、前記第１工程の出力を受け前記動画像ストリームのシンタックスを解析する第２工程と、前記第２工程の解析結果に基づき前記動画像ストリームのコンシールメント処理を行なう第３工程と、前記コンシールメント処理の結果を蓄積し出力する第４工程と、前記第４工程の出力を受け前記所定単位の前記コンシールメント処理の結果を蓄積し出力する第５工程とを含み、前記第３工程は、周期的に到来するＩＤＲを前記第２工程の解析結果に基づきエラーがあった場合にシーンチェンジが無いと判定すればｎｏｎ−ＩＤＲに変更することを特徴とするストリーム変換方法。
【選択図】 図７

Description

本発明は、エラーコンシールメント処理を行うストリーム変換装置及びストリーム変換方法に関する。

現在、携帯型マルチメディアプレーヤや携帯電話等にチューナが搭載され、携帯電話・移動体端末向けの１セグメント部分受信サービス（以下、ワンセグ放送と記す）を視聴できる機器が増えてきている。

ワンセグ放送は、移動しながら視聴されることがあるが、移動時には電波状況が刻々と変化する。特に弱電界領域にはいると、受信して復調されたデータに誤りが混じることがある。データに誤りが混入した場合、動画像の復号時にエラーコンシールメント処理が行われる。

例えば特許文献１には、ＭＰＥＧ−４ ＡＶＣ（ A d v a n c e d V i d e o C o d i n g） 符号化規格において誤りが混入したＢ−Ｓｌｉｃｅを対話的メニューからＰ−Ｓｌｉｃｅへ変換するエラーコンシールメント処理を実行し、エラーによる画質の劣化を低減する技術が開示されている。しかしながらＩＤＲ(Instantaneous Decoder Refresh)のエラーコンシールメントといったより一般的なエラーコンシールメントの技術は開示されていなかった。

対して特願２００９−２７０６６４号明細書には、ＩＤＲのエラーコンシールメントにおいて定期的なＩＤＲのエラー以降のマクロブロックをＰ−Ｓｌｉｃｅへ変換するエラーコンシールメント処理を実行し、エラーによる画質の劣化を低減する技術が記載されている。しかしながら定期的なＩＤＲの中にもシーンチェンジのためのＩＤＲがあり、即ち過去のフレームを参照するＰ−Ｓｌｉｃｅへ変換するエラーコンシールメントが不適切な場合があった。

特開２００７−１６６１２９号公報

本発明は、ＩＤＲのエラーコンシールメントをより適切に実行する技術を提供することを目的とする。

上記課題を解決するために、本発明のストリーム変換装置は、周期的に到来するＩＤＲ(Instantaneous Decoder Refresh)を含む圧縮符号化された動画像ストリームを入力し所定単位で前記動画像ストリームを出力する入力バッファと、前記入力バッファの出力を受け前記動画像ストリームのシンタックスを解析しエラーの有無を判定するシンタックス解析部と、前記シンタックス解析部の解析結果に基づき前記動画像ストリームのコンシールメント処理を行なうコンシールメント処理部と、周期的に到来するＩＤＲか否かを判定する周期性判定部と、ＩＤＲのシーンチェンジの有無を判定するシーンチェンジ判定部と、前記コンシールメント処理された前記動画像ストリームを前記所定単位で出力する出力バッファとを備え、前記コンシールメント処理部は、前記シンタックス解析部の解析結果と周期性判定部の判定結果に基づき周期的に到来するＩＤＲにエラーがあった場合に、周期性判定部の判定結果に基づきこのＩＤＲにシーンチェンジが無ければ、この周期的に到来するＩＤＲをｎｏｎ−ＩＤＲに変更することを特徴とする。

本発明によれば、ＩＤＲのエラーコンシールメント処理をより適切に行うストリーム変換装置及びストリーム変換方法が得られる。

本発明の一実施形態に係わる動画像復号装置の外観を示す図。 図１に示す動画像復号装置のシステム構成を示すブロック図。 エラーが混入したＨ．２６４ ストリームのストリーム変換の流れを説明するために示す図。 ストリーム上でのコンシールメントの例を示すブロック図。 ＩＤＲのエラーコンシールメントの方法を示す図。 ＩＤＲのエラーコンシールメントを示す図。 実施形態に用いられるストリーム変換ブロック図。 実施形態に用いられるストリーム変換処理部を示すブロック構成図。 実施形態に用いられるＩＤＲのエラーコンシールメントの方法を示す図。 実施形態に用いられるスタートコード挿入フローチャート。

本発明による実施形態を図１乃至図１０を参照して説明する。
まず、図１を参照して、本発明の一実施形態に係わる動画像復号装置の構成を説明する。
この動画像復号装置は、例えば、パーソナルコンピュータ、ＰＤＡ、ＡＶ（オーディオ・ビデオ）プレーヤ、のような携帯型電子機器であり、内蔵バッテリによって駆動可能に構成されている。以下では、電子機器がオーディオデータおよびビデオデータを再生するためのマルチメディアプレーヤ１１として実現されている場合を想定する。

マルチメディアプレーヤ１１の本体表面上には、表示デバイスとしてのＬＣＤ１２と、入力デバイスとしての各種操作ボタン（バックボタン１３、スタートボタン１４、ＯＫボタン１５、上下左右ボタン１６、ワンセグボタン）とが設けられている。

次に、図２を参照して、マルチメディアプレーヤ１１のシステム構成を説明する。
図２に示すように、マルチメディアプレーヤ１１は、ＣＰＵ１０１、メモリ１０２、表示コントローラ１０３、ハードディスクドライブ（ＨＤＤ）１０４、入力インタフェース部１０５、ＵＳＢコントローラ１０６、オーディオコントローラ１０７、ワンセグチューナ１０８、電源回路１１０、およびバッテリ１１１等を備えている。

ＣＰＵ１０１はマルチメディアプレーヤ１１の動作を制御するプロセッサであり、メモリ１０２にロードされた各種プログラム（オペレーティングシステム、およびアプリケーションプログラム等）を実行する。アプリケーションプログラムは、オーディオデータおよびビデオデータの再生、およびワンセグ放送の再生の実行等を行うためのプログラムである。

表示コントローラ１０３はＬＣＤ１２を制御し、各種操作メニュー、およびアプリケーションプログラムによって再生されたビデオデータに対応する画像等を、ＬＣＤ１２の表示画面上に表示する。ＨＤＤ１０４は、オーディオデータおよびビデオデータ等の各種データを格納するためのストレージデバイスとして機能する。ＵＳＢコントローラ１０６はマルチメディアプレーヤ１１の本体に設けられたＵＳＢ端子１２１に接続されており、ＵＳＢ端子１２１に接続された他の各種デバイスとの通信を実行する。オーディオコントローラ１０７は音源デバイスであり、アプリケーションプログラムによって再生されたオーディオデータに対応するサウンド信号を生成し、このサウンド信号をヘッドホン端子１２２に出力する。

ワンセグチューナ１０８はモバイル端末向けのワンセグ放送を受信するために設けられている。ワンセグチューナ１０８は図示せぬチューナ回路、ＯＦＤＭ復調器、およびエラー訂正器等を備えている。チューナ回路はアンテナから入力されるデジタル放送信号（高周波信号）の中から、所望の受信チャンネルに対応する周波数の信号成分を、ミキサを用いて中間周波数信号に変換するとともに、アンプを用いてそれぞれのＯＦＤＭ復調器に入力するための所定の電力レベルに増幅する。

ＯＦＤＭ復調器では、チューナ回路からのアナログの中間周波数信号をそれぞれＡ／Ｄ変換してデジタル信号に変換し、それぞれ直交復調を行って複素デジタル信号に変換し、それぞれＦＦＴ（高速フーリエ変換）を行って周波数軸上のサブキャリア信号に分解した上でからワンセグ放送を再生するための復調信号を出力する。

ワンセグ放送では、リードソロモンと畳み込み符号によって、エラー訂正のための符号化が行われている。エラー訂正器は、復調信号のエラーを検出し、この検出したエラーを訂正した誤り訂正信号であるトランスポートストリーム（ＴＳ）を出力する。

まとめるとワンセグチューナ１０８は放送信号を受信して動画像ストリームを含むトランスポートストリームを出力する受信部である。
詳しくはこのトランスポートストリームは、圧縮符号化された放送番組データを多重化したデータストリームである。地上波デジタルＴＶ放送においては、各チャネルの放送番組データに対応するトランスポートストリーム（ＴＳ）は、圧縮符号化された動画像データと、圧縮符号化されたオーディオデータと、グラフィクスデータとを含む。グラフィクスデータも圧縮符号化されている。

ＣＰＵ１０１で実行されるワンセグ放送再生アプリケーションは、復号されたトランスポートストリーム（ＴＳ）を映像データ、音声データに分離する。ワンセグ放送再生アプリケーションのソフトウェア・ビデオデコードモジュールは、Ｈ．２６４／ＡＶＣ規格でエンコードされている映像のストリームをデコードし、表示コントローラ１０３に送る。

表示コントローラ１０３は、デコードされたデータに応じたビデオ信号を生成する。ビデオ信号がＬＣＤ１２に入力されることによって、ＬＣＤ１２はワンセグ放送の動画像を表示する。

また、ワンセグ放送再生アプリケーションは、ＡＡＣ方式でエンコードされている音声データをオーディオコントローラ１０７に送る。オーディオコントローラ１０７は、音声データを復号し、オーディオ信号を生成する。オーディオ信号はヘッドホン端子１２２を介してヘッドホンに入力され、ヘッドホンからワンセグ放送の音声を出力する。

電源回路１１０は、マルチメディアプレーヤ１１の本体内に設けられたバッテリ１１１からの電力、または外部のＡＣアダプタ１１２からの電力を用いて、各コンポーネントに動作電源を供給する。

図３にストリーム上でエラーコンシールメント（修復）を行う場合のストリームデータの流れを示す。ストリームデータの作成元ではエラーが無かったストリームデータは、受信されるまでのエラー環境によってはエラーが混入したストリームデータとなる。このストリームデータに対しストリーム変換（次の図４参照）を行なうことによってエラー無しのストリームデータに戻しておけば、後段のＨ．２６４デコーダにおけるデコード処理において関連する問題が発生することを防ぐことができる。

図４は、ストリーム上でのコンシールメントの例を示す図である。ＮＡＬ(network abstraction layer)の一部でエラーがあったとき、上記ストリーム変換によってこのエラー以後のエラーコンシールメントをしておけばよい。

ワンセグのような放送サービスでは、受信環境によっては、受信ストリームに誤りが混入し、誤りが混入したままの受信ストリームを一般に誤り耐性のないＨ．２６４デコーダでデコードすると場合によっては著しい画質劣化が起きてしまう。このため図４のように、Ｈ．２６４デコーダへ受信ストリームを入力する前にストリーム上でエラーコンシールメントを行う機能を持つＨ．２６４ストリーム変換器でＨ．２６４ストリーム変換を行い、変換されたエラーの無いＨ．２６４ストリームをＨ．２６４デコーダに入力する方法がある。

図５はＩＤＲにエラーが混入した場合のエラーコンシールメントの様子を示す。
まず従来のストリーム上でのコンシールメントの方法は、ＩＤＲ(Instantaneous Decoder Refresh)が過去のフレーム画像の情報を使わず、シンタックス上、イントラ予測しか使用できないので、エラー混入以降のマクロブロックの予測モードをイントラ４×４予測モードのＤＣ予測を行うようにストリームを変換する方法を採っている。本実施形態でもシーンチェンジのためのＩＤＲでは同じ方法を採っている。

しかしこの方法では、画面の早い段階でエラーが混入した場合、コンシールメントされた部分は正常部分からの画素が単にグラデーションされたような画像にしかならなく、この部分が以降のＰ−ｐｉｃｔｕｒｅにも伝播し、ある程度画質劣化を招くものであった。

そこで、本実施形態では、ＩＤＲにエラーが混入した場合、このフレームをシンタックス上で、図６のようにＩＤＲからｎｏｎ−ＩＤＲ（ＩＤＲでない、即ち過去のフレーム画像の情報を使うインター予測も行なえるＡＵ(Access Unit)）にし、エラー混入以降のこのフレーム内のマクロブロックをＰ−Ｓｌｉｃｅとし、デコード時に過去のフレームの画素を参照できるように、元の符号化画像に近いコンシールメントを行い、画質劣化を防ぐという構成をとり以下に述べるようにＩＤＲによってはこのコンシールメントを行う。

図７は実施形態に用いられるストリーム変換装置のブロック図である。入力バッファ７１とストリーム変換部７２と出力バッファ７３とから構成され、更にストリーム変換部７２は、シンタックス解析部７２ａとコンシールメント処理部７２ｂと（シンタックス生成用）内部バッファ７２ｃとから構成されている。動作は図８と関係付けて説明する。

図８はアプリケーションプログラムによるストリーム変換処理を詳細に表した機能ブロック図である。ストリーム変換モジュール８２がストリーム変換部７２に相当している。ストリーム変換モジュール８２のＲＢＳＰ取出し処理と変換前ＲＢＳＰバッファはシンタックス解析部７２ａに含まれ、また変換後ＲＢＳＰバッファとＮＡＬ生成処理とは内部バッファ７２ｃに含まれる構成である。

ストリーム変換は例えば、画像フレームに相当するＡＵを一般には複数まとめたＰＥＳ(Packetized Elementary Stream)単位で行う。ＰＥＳにはｎｏｎ−ＩＤＲのみから成るものもあるが、ＩＤＲ１つを先頭にしたものもある。入力バッファ８１に１本のＰＥＳ単位で入力され、エラーが混入している場合コンシールメントされたＰＥＳが出力バッファ８３に出力される。エラーが混入していない場合は、入力されたＰＥＳと同じＰＥＳが出力バッファ８３に出力される。

ストリーム変換モジュール８２の内部では、ＰＥＳはさらに小さい単位であるＮＡＬ(network abstraction layer)に分解されてコンシールメント処理が行われる。

ＮＡＬごとにシンタックス解析が行われ、エラーが検出された場合コンシールメントされたＮＡＬを新たに生成する。
エラーが検出されなかった場合は、そのままＮＡＬの内容がコピーされる。
次にＩＤＲでエラー検出した場合を説明する。ＩＤＲには、基本的には周期的なＩＤＲとシーンチェンジのためのＩＤＲの２種類がある。
シンタックス解析部のシンタックスパース処理において、あるマクロブロックでエラーが検出されると、このマクロブロックを含む一枚の画像フレームが周期的なＩＤＲなのか、シーンチェンジのためのＩＤＲなのかを判断する。

まず、ＩＤＲのストリーム変換処理において、シンタックス解析部７２ａのシンタックスパース処理で、あるマクロブロックでエラーが検出されると、まず、このマクロブロックを含むフレームが周期的なＩＤＲかシーンチェンジのためのＩＤＲを判断する。次に、ＩＤＲの挿入周期が一定の値と異なる場合はシーンチェンジのためのＩＤＲと判断し、過去のフレームからのコンシールメントをあきらめ、エラー以降のマクロブロックをイントラ４×４予測モードにしたシンタックスを生成し、エラー検出前のシンタックスと結合して出力する。定期的なＩＤＲと判断した場合は、過去のフレームからのコンシールメントが可能なため、エラー以降のマクロブロックをＰ−Ｓｌｉｃｅとしてシンタックスを生成してコンシールメントを行っていた。対して本実施形態では、ＩＤＲでエラーが検出された場合、以下のようにしてシーンが変わったかどうかの判断を定期的なＩＤＲと判断した場合にも加味する。

ストリーム変換処理の過程でＩＤＲのシンタックスから得られる符号化情報より、ある指標を求める。たとえば、ＩＤＲフレームの符号量ＳとＩＤＲ一フレームの平均の量子化パラメータＱＰから、以下の式のような指標Ｘを求める。

Ｘ＝Ｓ×Ｑ （式１）
Ｑは平均の量子化スケールであり、量子化パラメータＱＰから次の式２のように求められる。
Ｑ＝２^{（QP−４）／６} （式２）
上の２つの式で算出された指標ＸはそのＩＤＲの符号化複雑さを表す１指標である。符号量はＩＤＲのサイズでありストリーム変換処理を行えば分かる。量子化パラメータはシンタックスを解析すれば簡単に求められる。上の指標Ｘは同じようなシーンでは大体同じ値になるが、シーンが変わった場合、大きく変わった値になる可能性が高くなる。このことからＩＤＲの複雑さ指標Ｘが大きく変化したときは、シーンが大きく変わったと判断することができる。

具体的には図９に示すとおり、過去数枚（本例では３枚、但しエラーやシーンチェンジがあればその後のものから、更に１枚もなければイントラ予測とする）のＩＤＲの複雑さ指標Ｘの平均を求めておく。ＩＤＲでエラーが検出された場合、エラーが検出されたマクロブロックまでの符号量と量子化パラメータからそのＩＤＲの全体の大よその複雑さ指標を推定する。フレーム全体を推定する方法としてはブロック数による比例計算を行なうなどすればよい。この推定したＩＤＲの複雑さ指標と過去数枚のＩＤＲの複雑さ指標の平均と比べ、値が大きく変化していた場合は上記のようにシーンチェンジがあったとみなし、エラー以降のマクロブロックをイントラ４×４予測モードにしたシンタックスを生成するようにする。あまり変化していない場合に限り、直前のフレームを参照するようにＩＤＲをｎｏｎ−ＩＤＲに変更し、エラー以降のマクロブロックをＰ−Ｓｌｉｃｅとしてシンタックスを生成するようにする。変化の判定としては相対値（比率）や絶対値において適当な閾値を定めるなどする。

この判定により、シーンの内容があまり変化の無いものは、過去のフレームを参照するようなコンシールメントを行い、シーンの内容が大きく変化した場合は、過去のフレームを参照せず、フレーム内の情報だけコンシールメントを行うように、シーンの変化の違いによってコンシールメントの方法を変えることができる。

このように、ＩＤＲの複雑さを求めて、その変化量を使ってシーンチェンジを判断することにより、デコード画像の復号をせずに、そのＩＤＲに適したコンシールメントを行うことができ、画質劣化を抑えることができる。

ＩＤＲの挿入周期が一定の値と異なる場合はシーンチェンジのためのＩＤＲと判断し、過去のフレームからのコンシールメントをあきらめ、従来同様エラー以降のマクロブロックをイントラ４×４予測モードにしたシンタックスを生成し、エラー検出前のシンタックスと結合して出力する。定期的なＩＤＲと判断された場合は、過去のフレームからのコンシールメントが可能なため、図５に示したようにエラー以降のマクロブロックをＰ−Ｓｌｉｃｅ（Ｉ−Ｓｌｉｃｅ、Ｐ−ＳｌｉｃｅなどのうちＩ−Ｓｌｉｃｅとは異なり他のマクロブロックを参照可能なブロックからなるＳｌｉｃｅ）としてシンタックスを生成する。更にＰ−Ｓｌｉｃｅの先頭マクロブロックから画面最後のマクロブロックをスキップマクロブロックとなるようにする。生成されたＰ−Ｓｌｉｃｅはエラー検出前のシンタックスと結合され出力される。

また、このときＰ−Ｓｌｉｃｅを含んでよいようにAccess Unit Delimiterのprimary_pic_typeを0から1に書き換え、ＩＤＲからｎｏｎ−ＩＤＲのフレームとしてデコードできるようＩ−Ｓｌｉｃｅのnal_unit_typeを１にする。なお、Ｈ．２６４規格書では、primary_pic_typeが０のとき一フレーム内にＩ−Ｓｌｉｃｅのみ含んでよく、またprimary_pic_typeが１のとき一フレーム内にＩ−ＳｌｉｃｅとＰ−Ｓｌｉｃｅを含んでよい、と定められている。

図１０は、上記のＩＤＲの処理を表すフローチャートである。図１０（ａ）が全体図であり、図１０（ｂ）がその一部を詳細にしたものである。
まずシンタックス解析部７２ａがマクロブロックのシンタックスをパースする（ステップＳ１１０）。このパース動作においてシンタックス解析部７２ａはエラーを検出し（ステップＳ１２０）、エラーが無いと判定されれば次にコンシールメント処理部７２ｂが内部バッファ７２ｃを用いてシンタックスをコピーする（ステップＳ１３０）。次にシンタックス解析部７２ａは一画面分の処理が終了したか判定し（ステップＳ１４０）、終了していなければステップＳ１１０に戻り、終了していれば一連の処理を終える。

他方ステップＳ１２０でエラーが有ると判定されれば、シーンチェンジのためのＩＤＲかシンタックス解析部７２ａは判定する（ステップＳ１５０）。ステップＳ１５０でＹｅｓと判定された場合は、コンシールメント処理部７２ｂが（シンタックス生成用）内部バッファ７２ｃを用いて従来同様に残りのマクロブロックをイントラ予測にする（ステップＳ１６０）。またステップＳ１５０でＮｏと判定された場合は、残りのマクロブロックをＰ−ＳｌｉｃｅとしてＳＣ（start code）を付加して上記のようにシンタックスを生成する（ステップＳ１７０）。ステップＳ１５０の判定がいずれの場合も一連の処理を終える。

ここでステップＳ１５０の判定は、図１０（ｂ）のように次の２段階で行なわれ、共にＹｅｓであればステップＳ１７０へ移り、それ以外であればステップＳ１６０へ移る。判定の確実さや処理の頻度と時間等により、更にデータに依存して（エラーが多くなっている等）ダイナミックに、（１）と（２）は順番を入れ換えてもよい。また並列処理が可能ならば行ってもよい。

（１）周期的なＩＤＲか
（２）シーンチェンジのＩＤＲではないか（前述の複雑さ指標Ｘの変化が少ないか）
前術のコンシールメント処理部は、この（１）周期的なＩＤＲかを判定する周期性判定部と、この（２）シーンチェンジのＩＤＲではないかを判定するシーンチェンジ判定部とから成っているということができる。あるいはこれらの判定部はシンタックス解析部の中やその他の場所に存在していても良い。

上記のように、エラーが混入した部分をＰ−Ｓｌｉｃｅに、そのフレームをｎｏｎ−ＩＤＲにシンタックスを書き換えることにより、デコード時により符号化時の画像に近い画像でコンシールメントを行うことができ、画質劣化を抑えることができる。

実施形態の効果として、シンタックス上でＩＤＲをｎｏｎ−ＩＤＲに変更し、エラー混入マクロブロック以降をＰ−Ｓｌｉｃｅにすることにより、デコーダ画像を復号することなく、符号化した画像に近い画像でコンシールメントを行うことができ、ＩＤＲのエラー時の画質劣化の拡大を防ぐことができる。

換言すると、ＩＤＲにエラーが混入した場合、過去のフレームでコンシールメントできるＰ−ＳｌｉｃｅにＩＤＲのシンタックスを変更することにより、ＩＤＲにおいてエラー混入した場合のコンシールメントの画質劣化を軽減することができる。

即ち、エラーの混入したＨ．２６４ストリームを、デコード画像を復号することなくストリーム上でコンシールメントを行うＨ．２６４ストリーム変換において、ＩＤＲピクチャのあるマクロブロックでエラー混入を検出した場合、エラー混入前までのマクロブロックをＩ−Ｓｌｉｃｅ、エラー混入したマクロブロックから画面最後のマクロブロックまでをＰ−Ｓｌｉｃｅとし、エラー混入以降のマクロブロックを過去のフレームの情報を使用してコンシールメントを行うようにし、ＩＤＲでエラーにより欠落する部分の画質劣化を防ぐ。また、以降のフレームの画質劣化の伝播も軽減できる。

ＩＤＲでエラーを検出した場合、デコード画像を復号することなくストリームの情報のみでシーンチェンジを判断することにより、処理量を増加させることなく、そのＩＤＲに適したコンシールメント方法を選択できるようなり、エラーによる画質劣化をより軽減することができる。

以上、ＩＤＲにエラーが混入した場合、このフレームをシンタックス上で、ＩＤＲからｎｏｎ−ＩＤＲにし、エラー混入以降のマクロブロックをＰ−Ｓｌｉｃｅとし、デコード時に過去のフレームの画素を参照できるように、コンシールメントを行うべきは、シーンチェンジが起きていないＩＤＲのみであった。

従来の実施形態では、シーンチェンジによるＩＤＲかどうかの判断は、ある一定間隔で挿入されているＩＤＲは定期的に強制的に挿入されているＩＤＲで、そうでない場合はシーンチェンジによるＩＤＲと判断し、シーンチェンジによるＩＤＲの場合は、過去のフレームを参照せずにイントラ予測を使うコンシールメントにすることにより、シーンが変わったフレームからの参照を防ぎ、画質劣化がおこらないようにしていた。

しかしながら、定期的に挿入されているＩＤＲの中にもシーンチェンジによるものが含まれていることがあり、このＩＤＲでエラーが検出された場合、直前のシーンが変わる前のフレームを参照してコンシールメントを行って画質劣化を起こしてしまう可能性があった。

そのため、上記実施形態では、過去のＩＤＲとエラーが検出されたＩＤＲフレームの例えば、符号量と量子化パラメータから求められるフレームの画像の指標（複雑さ指標）を比較し、その指標が過去何フレームかのＩＤＲから大きく変化している場合は、シーンが変わったと判断し過去のフレームの参照を行わないコンシールメントを行うようにした。

この効果としてデコード画像を復号しないで、ストリームのシンタックス情報だけで、シーンチェンジを判断することにより、処理量を増やすことなくシーンチェンジ検出をおこない、そのＩＤＲに適したコンシールメントを行わせ、画質劣化を削減できる。

即ち、エラーの混入したＨ．２６４ストリームを、デコード画像を復号することなくストリーム上でコンシールメントを行うＨ．２６４ストリーム変換において、ＩＤＲピクチャでエラーを検出した場合、過去のフレームを参照してコンシールメントを行うようシンタックスを修正するか、過去のフレームを参照せずにコンシールメントを行うようシンタックスを修正するかを、過去数枚のＩＤＲとエラーが検出されたＩＤＲのストリームを解析して得られる符号化情報から求められる指標を用い判断することにより、シーンが大きく変わっているＩＤＲで、シーンが変わる前の過去のフレームを参照してしまう誤ったコンシールメントをなくし、画質劣化を低減することができる。

なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。

７１…入力バッファ、７２…ストリーム変換部、７２ａ…シンタックス解析部、７２ｂ…コンシールメント処理部、７２ｃ…内部バッファ、７３…出力バッファ、１０８…ワンセグチューナ。

Claims (8)

1. 周期的に到来するＩＤＲ(Instantaneous Decoder Refresh)を含む圧縮符号化された動画像ストリームを入力し所定単位で前記動画像ストリームを出力する入力バッファと、
   前記入力バッファの出力を受け前記動画像ストリームのシンタックスを解析しエラーの有無を判定するシンタックス解析部と、
   前記シンタックス解析部の解析結果に基づき前記動画像ストリームのコンシールメント処理を行なうコンシールメント処理部と、
   周期的に到来するＩＤＲか否かを判定する周期性判定部と、
   ＩＤＲのシーンチェンジの有無を判定するシーンチェンジ判定部と、
   前記コンシールメント処理された前記動画像ストリームを前記所定単位で出力する出力バッファとを備え、
   前記コンシールメント処理部は、前記シンタックス解析部の解析結果と周期性判定部の判定結果に基づき周期的に到来するＩＤＲにエラーがあった場合に、周期性判定部の判定結果に基づきこのＩＤＲにシーンチェンジが無ければ、この周期的に到来するＩＤＲをｎｏｎ−ＩＤＲに変更することを特徴とするストリーム変換装置。
2. 前記コンシールメント処理部は、前記ｎｏｎ−ＩＤＲがＰ−Ｓｌｉｃｅを含んでよいようにAccess Unit Delimiterのprimary_pic_typeを0から1に書き換えることを特徴とする請求項１に記載のストリーム変換装置。
3. 前記コンシールメント処理部は、エラー検出以降のマクロブロックをＰ−Ｓｌｉｃｅとしてシンタックスを生成することを特徴とする請求項２に記載のストリーム変換装置。
4. 前記コンシールメント処理部は、更にＰ−Ｓｌｉｃｅの先頭マクロブロックから画面最後のマクロブロックをスキップマクロブロックとなるようにシンタックスを生成することを特徴とする請求項３に記載のストリーム変換装置。
5. 更に放送信号を受信してトランスポートストリームを前記入力バッファへ向け出力する受信部を備えたことを特徴とする請求項１に記載のストリーム変換装置。
6. 前記シーンチェンジ判定部は、量子化パラメータの指数関数である量子化スケールとＩＤＲフレームの符号量との積として計算される複雑さ指標の変化によって判定することを特徴とする請求項１に記載のストリーム変換装置。
7. 更にデコード処理を行なうデコーダを備え、このデコーダは前記出力バッファの出力を入力としてデコード処理を行なうことを特徴とする請求項１に記載のストリーム変換装置。
8. 周期的に到来するＩＤＲ(Instantaneous Decoder Refresh)を含む圧縮符号化された動画像ストリームを入力し所定単位で前記動画像ストリームを出力する第１工程と、
   前記第１工程の出力を受け前記動画像ストリームのシンタックスを解析する第２工程と、
   前記第２工程の解析結果に基づき前記動画像ストリームのコンシールメント処理を行なう第３工程と、
   前記コンシールメント処理の結果を蓄積し出力する第４工程と、
   前記第４工程の出力を受け前記所定単位の前記コンシールメント処理の結果を蓄積し出力する第５工程とを含み、
   前記第３工程は、周期的に到来するＩＤＲを前記第２工程の解析結果に基づきエラーがあった場合にシーンチェンジが無いと判定すればｎｏｎ−ＩＤＲに変更することを特徴とするストリーム変換方法。

Images