JP2008278210A - 動画像復号装置、放送受信装置、動画像復号方法 - Google Patents

動画像復号装置、放送受信装置、動画像復号方法 Download PDF

Info

Publication number
JP2008278210A
JP2008278210A JP2007119476A JP2007119476A JP2008278210A JP 2008278210 A JP2008278210 A JP 2008278210A JP 2007119476 A JP2007119476 A JP 2007119476A JP 2007119476 A JP2007119476 A JP 2007119476A JP 2008278210 A JP2008278210 A JP 2008278210A
Authority
JP
Japan
Prior art keywords
macroblock
slice
error
unit
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007119476A
Other languages
English (en)
Other versions
JP4792001B2 (ja
Inventor
Michiyo Morimoto
美智代 森本
Yutaka Yonekubo
裕 米久保
Masakazu Suzuki
正和 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2007119476A priority Critical patent/JP4792001B2/ja
Priority to US12/046,569 priority patent/US20080267298A1/en
Priority to CN2008101092876A priority patent/CN101296379B/zh
Publication of JP2008278210A publication Critical patent/JP2008278210A/ja
Application granted granted Critical
Publication of JP4792001B2 publication Critical patent/JP4792001B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

【課題】 マクロブロックのデータの誤解釈による画質劣化を低減させる動画像復号装置を提供する。
【解決手段】 複数のマクロブロック(MB)をもつ複数のスライス(SL)からなるストリーム信号から、マクロブロックの誤りを検出する検出部(14)と、検出部が誤りを検出したマクロブロックを含んでいるスライスについて、このスライス中にスキップマクロブロックが存在し、スライス中のマクロブロックのCBP値がしきい値を越えている場合は、CBP値がしきい値を越えたマクロブロック(M1)以降の各マクロブロックを破棄する制御部(11)と、復号制御部により誤りのあるマクロブロック列が破棄されたストリーム信号を補間し復号して動画像信号を出力する復号部(2)をもつ動画像復号装置。
【選択図】図1

Description

この発明は、例えば地上波ディジタル放送やモバイル放送を受信する端末に設けられる動画像復号装置、放送受信装置、動画像復号方法に関する。
映像メディアの符号化・復号化技術は、近年ますます進化しつつある。これは、動画像及び音声の高品質化が進み、情報量が多くなったこと、又、有線或いは無線によるネットワークが発展し、これらネットワークを通じて画像情報を伝送する要望が高くなったことに起因している。
このような動画像等を扱う動画圧縮技術は多くのものが知られており、各種ディジタル機器に利用されている。これらの動画圧縮技術の多くは、複数のマクロブロック(MB)をもつ複数のスライス(SL)からなるストリーム信号を用いるものである。
このような動画圧縮技術が受信端末が携帯端末や車載端末に代表される移動体端末の場合、受信端末は移動するため、常に安定した電波環境にてストリームデータを受信することは期待できない。特に、受信端末がビル陰等により隠蔽されるような環境では、ストリームデータ中に高頻度で誤りが混入する。従って、移動体端末に搭載される動画像復号装置には誤り耐性機能が必須となり、様々な検討が行われている。
特許文献1は、各マクロブロックの先頭に挿入されているスキップランの長さ、つまりスキップするマクロブロック数を表す制御データ(mb_skip_run)が画像の横サイズ等より任意に設定される上限長を超えるような著しく大きなmb_skip_runが検出されれば、これを誤りが混入したマクロブロックと見なし、このマクロブロック以降のマクロブロックの復号情報を破棄することで、誤解釈区間を短縮している。
特開2006−295569号公報。
しかし、特許文献1に記載した従来技術は、mb_skip_runがこの上限長をこえない場合、つまり、差分情報が少ない絵であるにもかかわらず、CBP数(Coded Block Pattern)が突如大きな値になっていてもこれをチェックすることが行なわれていない。従って、CBP数が突如大きな値になるような誤りをもつ動画像信号については、誤解釈区間が長くなるため、例えばワンセグメントのモバイル放送受信機では、画面の一部が異常な色に表示される等の不具合が生じる。
本発明は、マクロブロックのデータの誤解釈による画質劣化を低減するようにした動画像復号装置を提供することを目的とする。
課題を解決するための一実施形態は、
複数のマクロブロック(MB)をもつ複数のスライス(SL)からなるストリーム信号から、マクロブロックの誤りを検出する検出部(14)と、
前記検出部が誤りを検出したマクロブロックを含んでいるスライスについて、このスライス中にスキップマクロブロックが存在し、このスライス中のマクロブロックのCBP値がしきい値を越えている場合は、CBP値がしきい値を越えたマクロブロック(M1)以降の各マクロブロックを破棄する制御部(11)と、
前記復号制御部により誤りのあるマクロブロック列が破棄された前記ストリーム信号を補間し復号して動画像信号を出力する復号部(2)と、
を具備することを特徴とする動画像復号装置である。
差分情報が少ない画像であるにもかかわらずマクロブロック内のCBP(Coded Block Pattern)数が突如大きな値になった場合、そのマクロブロックを誤りが混入したものと推定し破棄して補間することで、マクロブロックの誤解釈による画質劣化を低減させる。
以下、この発明の実施の形態について図面を参照して詳細に説明する。
<本発明の一実施形態である動画像復号装置の構成の一例>
本発明の一実施形態である動画像復号装置は、後述するように、一例として、マクロブロックのCBP(Coded Block Pattern)数を判断する機能をもった復号制御部11を有し、これにより、CBP値が突如大きな値になった場合、そのマクロブロックを誤りが混入したものと推定し破棄して補間することで、マクロブロックの誤解釈による画質劣化を低減させるものである。
なお、以下に本発明に係る動画像復号装置の説明の一実施形態においては、動画像復号方法は、一例として、ITU−T勧告H.264/AVC(Advanced video coding)と称せられる方法を例にとって説明する。しかしながら、本発明に係る動画像復号装置及び方法は、H.264/AVCに限定されるものではなく、マクロブロックが用いられる動画像復号方法であれば、同様に適用することが可能となる。
(構成)
初めに、本発明の一実施形態である動画像復号装置の構成の一例を図面を用いて説明する。図1は、この発明に係わる動画像復号装置の一実施形態を示す機能ブロック図である。この実施形態の動画像復号装置は、制御ユニット1と、信号処理ユニット2とを備える。制御ユニット1は、マイクロプロセッサを主構成要素とするもので、CBP(Coded Block Pattern)数を判断する復号制御部11と、復号部12と、復号情報メモリ13と、誤り検出部14とを備えている。これらのうちCBP数を判断する復号制御部11、復号部12及び誤り検出部14は一例としてプログラムをマイクロプロセッサに実行させることにより実現される。又、復号情報メモリ13は、一例として、RAM(Random Access Memory)により構成される。
復号部12は、CBP数を判断する復号制御部11から転送されたストリームデータをマクロブロックごとに復号し、シンタックスごとの復号情報を復号制御部11に返す。復号情報メモリ13は、復号制御部11の制御の下、復号部12により得られた各マクロブロックの復号情報を順次記憶する。誤り検出部14は、復号制御部11からシンタックスの復号情報が与えられるごとに当該復号情報について誤りの有無を判定し、その判定結果をCBP数を判断する復号制御部11に返す。
CBP数を判断する復号制御部11は、ストリームデータをマクロブロックごとに取り込んで復号部12に復号させると共に、その復号情報を復号情報メモリ13に記憶させる。そして、1スライスデータの復号が終了すると、復号情報メモリ13に記憶された各マクロブロックを、その種類に応じて後述する信号処理ユニット2のInter予測部21、Intra予測部22、及び逆量子化・逆周波数変換部23のいずれかに供給し、画像データの再生処理を行わせる。
又、CBP数を判断する復号制御部11は、復号部12により得られたシンタックスの復号情報を誤り検出部14に与えて誤りの有無を判定させ、その判定結果をもとに誤りが検出されたマクロブロックを特定する。判定の結果、あるマクロブロックにおいて誤りが検出されると、当該マクロブロックより先行する各マクロブロックの復号情報を復号情報メモリ13から順次読み出す。そして、これらの復号情報についてそれぞれ規則に適合しないシンタックスを含む復号情報の有無を判定し、その判定結果をもとに誤りが混入したマクロブロックを推定する。
さらにCBP数を判断する復号制御部11は、推定結果に従い、誤りが混入したマクロブロック以降のマクロブロックの復号情報を復号情報メモリ13から破棄する。そして、この破棄したマクロブロックの復元指示を後述する信号処理ユニット2のコンシールメント部27に対し指示する。
一方、信号処理ユニット2は、Inter予測部21と、Intra予測部22と、逆量子化・逆周波数変換部23と、データ合成部24と、デブロック(Deblock)部25と、フレームメモリ26と、コンシールメント部27とを備える。これらのうちInter予測部21、Intra予測部22、逆量子化・逆周波数変換部23、データ合成部24、デブロック(Deblock)部25及びコンシールメント部27は、一例として、DSP(Digital Signal Processor)の信号処理により実現される。
フレームメモリ26はRAM(Random Access Memory)により構成され、再生されたフレーム画像データが参照画像データとして蓄積される。
Inter予測部21は、フレームメモリ26に蓄積された参照画像データを用いて、Interマクロブロックの予測信号を算出する。又、Intra予測部22は、復号中のフレームの参照画素を用いてIntraマクロブロックの予測信号を算出する。
逆量子化・逆周波数変換部23は、入力されたマクロブロックに対し逆量子化・逆周波数変換処理を行い、これにより残差信号を算出する。
データ合成部24は、Inter予測部21、Intra予測部22及び逆量子化・逆周波数変換部23により算出された信号を合成して、マクロブロックを再生する。
デブロック(Deblock)部25は、データ合成部24により再生されたマクロブロックに対し適応的にデブロッキング・フィルタ処理を行い、これにより画像の符号化時に発生するブロック歪みを除去する。
コンシールメント部27は、誤り等により欠落した情報を補間(Concealment)するもので、CBP数を判断する復号制御部11からの指示に従い、欠落したマクロブロックの画像データを関連する他のマクロブロックの画像データをもとに復元する。補間処理に使用する関連情報としては、例えば補間対象のマクロブロックの周辺に位置するマクロブロックの画像データや、前後のフレームの同一位置にあるマクロブロックの画像データが使用される。
(CBP数を用いる復号制御)
次に、以上のように構成された動画像復号装置10のCBP数を判断する復号処理の動作を、CBP数を判断する復号制御部11の制御手順を示す図2のフローチャートを用いて説明する。図2は、本発明の一実施形態に係る復号回路のマクロブロック復号処理の一例を示すフローチャートである。図3は、本発明の一実施形態に係る復号回路のマクロブロック復号処理の他の一例を示すフローチャートである。図4は、本発明の一実施形態に係る一スライスのデータ構成の一例を示す説明図である。図5は、本発明の一実施形態に係る復号回路が復号処理の対象とするピクチャ中の一スライス中のデータ破棄の開始箇所の一例を示す説明図である。図6は、本発明の一実施形態に係る復号回路が復号処理の対象とするマクロブロックの一例を示す説明図である。図7は、本発明の一実施形態に係る復号回路が復号処理の対象とするピクチャ中の一スライス中のデータ破棄の開始箇所の一例を示す説明図。
本発明に係る動画像復号装置10は、図2のフローチャートに示すように、初めに、ストリームデータが制御ユニット1に入力されると、CBP数を判断する復号制御部11はストリームデータをマクロブロックごとに取り込んで復号部12に復号させる。そして、その復号情報を復号情報メモリ13に記憶させる(ステップS10)。
このとき、一つのピクチャ画面Pを構成するストリーム信号は、一実施形態として、図5に示すように複数のスライスSLに分割して転送されてくる。又、一つのマクロブロックMは、図6に示すように、例えば16個のブロックに分割されており、ここでは、16個のブロックの中の一つのブロックだけがCBPデータαを有している。
ここで、後述するように、一つのフレーム中にスキップマクロブロックが存在する場合は、動画の変化が非常に少ない場合であるので、スライスSL中の各マクロブロックMの各ブロックは、CBPデータαを多く有している場合は少なく例えば0個乃至数個である。従って、しきい値を“6”等と設定して、各マクロブロックMのCBPデータをもつブロックの数をカウントして、このしきい値と比較して異常を検出することが可能となる。
つまり、スライスSL中のマクロブロックMのCBPデータをもつブロックの数が“3”でありしきい値“6”以下であるから正常であると判断したり、スライスSL中のマクロブロックMのCBPデータをもつブロックの数が“9”でありしきい値“6”以上であるから誤りがあると判断するというものである。
次に、復号部12により得られたシンタックスの復号情報を誤り検出部14に供給し、誤りの有無を判定させる(ステップS11)。誤り検出部14は、先行するマクロブロックの復号情報を復号情報メモリ13から読み出して、規則に適合しないシンタックスを含む復号情報の有無を判定する。この判定の結果、シンタックスに誤りが検出されなければ、ステップS11からステップS12に移行して1スライスデータの全てのマクロブロックについて復号が終了したか否かを判定する。そして、未復号のマクロブロックが残っていればステップS13で次のマクロブロックを選択し、復号制御を実行する。以後、1スライスデータのすべてのマクロブロックに対する復号処理が終了するまで、復号制御を繰り返す。
次に、1スライスデータのすべてのマクロブロックに対する復号制御が終了すると、各信号処理ユニット2を用いて、マクロブロックの画像信号生成を行なう(ステップS19)。すなわち、CBP数を判断する復号制御部11は復号情報メモリ13に記憶された1スライスデータ分のマクロブロックを順次読み出し、その種類に応じてInter予測部21、Intra予測部22及び逆量子化・逆周波数変換部23のいずれかに供給する。
この結果、Inter予測部21、Intra予測部22及び逆量子化・逆周波数変換部23ではそれぞれ各予測信号及び残差信号が算出され、この算出された各予測信号及び残差信号はデータ合成部24で合成されてマクロブロックの再生画像データとなる。そして、この再生画像データはデブロック部25によりデブロッキング・フィルタ処理が行われ、これにより画像の符号化時に発生するブロック歪みが除去される。デブロッキング・フィルタ処理された再生画像データは、参照画像データとしてフレームメモリ26に蓄積される。
さて、ステップS11において、マクロブロック復号処理を行い、誤り検出部14が先行するマクロブロックの復号情報に規則に適合しないシンタックスを含んでおり、誤りだると判定すると、一般的には誤りを検出したマクロブロックからコンシールメントを行う。しかし、実際には誤りを検出したマクロブロックより以前のマクロブロックのデータが誤っている場合が多く、実際にデータが誤ってから検出するまでの間に誤解釈する区間が存在する。
ここでは、CBP数を判断する復号制御部11により、スライスマクロブロックのCBP数に着目して、誤りが混入しているマクロブロックを検出するものである。
すなわち、スキップマクロブロックは、本来、差分情報が少ないために設けられるマクロブロックであるので、差分を示す値であるCBP数は少ない(しきい値以下)となるはずである。ところが、通信等の過程でノイズがのる等の理由からマクロブロックのデータが破壊されていると、CBP数が突然大きくなってしまっている場合がある。
本発明の一実施形態は、本来が小さい値をとるはずであるスキップマクロブロックの直後等のマクロブロックのCBP数に着目しこれを監視して、スキップマクロブロックの直後等のマクロブロックのCBP数が所定値を超えたら、異常とみなして、以降のマクロブロックを破棄するものである。
つまり、CBP数を判断する復号制御部11は、図4に示すように、スライスSL中に誤りを検出したマクロブロックM4から先のマクロブロック中にスキップマクロブロックを探す(ステップS14)。そして、スキップマクロブロックが存在すれば、CBP数を判断する復号制御部11は、例えば、図4において、そのスキップマクロブロックの直後のマクロブロックM1のCBP数がしきい値を超えたかどうかを判断する(ステップS15)。
すなわち、特にスキップマクロブロックの直後のマクロブロックは、通常、差分情報が少ないため、CBP数が少なくなるため、一定のしきい値を設けて比較することで異常を検出できる。
そして、スキップマクロブロックの直後のマクロブロックのCBP数がしきい値を越えていなければ、先に誤りが検出されたマクロブロックM4以降のマクロブロックのデータを破棄する(ステップS17)。
しかし、CBP数を判断する復号制御部11は、図4におけるスキップマクロブロックの直後のマクロブロックM1のCBP数がしきい値を超えたと判断すると(ステップS15)、このCBP数がしきい値を超えたマクロブロックM1以降のマクロブロックM2,M3,M4,M5を破棄する(ステップS16)。これは、図7においては、ピクチャPの中のスライスSLにおいて、初めの誤りが検出されたマクロブロックMAと、後に検出されたCBP数がしきい値を越えたマクロブロックMBとして示すことも可能である。
これにより、誤り検出部14がシンタックスに基づいて検出した誤りだけでなく、CBP数(Coded Block Pattern)が既に復号したマクロブロック内での平均値等の任意に設定したしきい値を超えたかどうかを判定することにより、誤解釈区間を短くすることが可能となり、誤解釈による画質劣化をさらに低減する動画像復号装置を提供できる。
又、一般にスライス内のマクロブロックのCBP数もほぼ同じ程度になる。従って、スキップマクロブロックを含むスライスについて、スキップマクロブロック直後のマクロブロックだけでなく、スキップマクロブロックの直後のマクロブロックとその後のマクロブロック、又は、N個後までのマクロブロックについてもCBP数を検出し、予め用意したしきい値と比較して判断することが好適である。そして、CBP数のしきい値を越えたマクロブロック以降のマクロブロックを破棄して、コンシールメント処理をする。
同様に、スキップマクロブロックを含むスライスについて、スキップマクロブロック直後のマクロブロックだけでなく、スライス中の全てのマクロブロックについてもCBP数を検出し、予め用意したしきい値と比較して判断する。そして、スライス中の全てのマクロブロックの内のCBP数のしきい値を越えたマクロブロック以降のマクロブロックを破棄して、コンシールメント処理をすることが好適である。
(その他の復号処理)
次に、上述した『スキップマクロブロックを含むスライス中のマクロブロックのCBP数に基づいて誤りを検出する』以外にも、同時に行なうことが有効と思われる誤り検出方法を、図3のフローチャートを用いて説明する。
すなわち、その具体的な誤り検出方法とは、
『同一スライス中にPCMマクロブロックが存在する』際に誤りと判断し、
『同一スライス中にスキップ長がしきい値を越えたスキップマクロブロックが存在する』際に誤りと判断するものである。
すなわち、PCMマクロブロック(Pulse Code Modulation Macro Block)のような非圧縮マクロブロックは、ストリームデータ中に存在することは考えにくい。従って、ストリームデータ中に非圧縮マクロブロックであるPCMマクロブロックが見つかった場合にはこれを誤りが混入したマクロブロックと見なすことができる。
又、H.264では、各マクロブロックの先頭にスキップランの長さ、つまりスキップするマクロブロック数を表す制御データ(mb_skip_run)が挿入されており、このスキップラン長は一般に画像の横サイズ等により決まる。このため、任意に設定される上限長を超えるような著しく大きなmb_skip_runが検出されれば、これを誤りが混入したマクロブロックと見なすことができる。そして、このマクロブロック以降のマクロブロックの復号情報を破棄することで、誤解釈区間を短縮できる。
また、H.264では、輝度(Luma)成分と色差(Chroma)成分のそれぞれについて独立して画面内(Intra)予測モードが符号化される。ここで、一般に上記輝度(Luma)成分と色差(Chroma)成分との間には相関があり、これらに対応する予測モード間にも相関がある。そこで、ストリームデータ中のフレーム内予測マクロブロックに、上記輝度(Luma)成分と色差(Chroma)成分に対応する予測モード間の相関がないフレーム内予測マクロブロックが検出されれば、これを誤りが混入したマクロブロックと見なすことができる。そして、このマクロブロック以降のマクロブロックの復号情報を破棄することで、誤解釈区間を短縮できる。
すなわち、本発明に係る動画像復号装置10は、図3のフローチャートに示すように、各スライスのマクロブロックについて復号処理を行なう。ここで、図2のフローチャートと共通の事項であるステップS11乃至ステップS20についてはその記載を省略する。
図3のフローチャートは、上述した3つの誤り検出方法を、ステップS15の『スキップマクロブロックを含むスライス中のマクロブロックのCBP数に基づいて誤りを検出する』と同時に行なう場合の一例を示している。
ステップS11で誤り検出があった場合、復号制御部11は、誤り検出のあったスライスにPCMマクロブロックが存在するかどうかを判断する(ステップS21)。そして、存在すると判断すれば、スライス中のPCMマクロブロック以降のマクロブロックのデータを破棄して、上述したコンシールメント処理を施すものである(ステップS22)。
又、復号制御部11は、ステップS14で誤り検出のあったスライスにスキップマクロブロックが存在すると判断すれば、このスキップマクロブロックの長さがしきい値を越えたかどうかを判断する(ステップS23)。そして、このスキップマクロブロックの長さがしきい値を越えたと判断すれば、最大スキップ長の始点となるマクロブロック以降のデータを破棄して、上述したコンシールメント処理を施すものである(ステップS24)。
更に、復号制御部11は、ステップS14にて、誤り検出のあったスライスにスキップマクロブロックが存在しないと判断すれば、同一スライス内にIntraマクロブロクが存在するかどうかを判断する(ステップS25)。復号制御部11は、誤り検出のあったスライスにスキップマクロブロックが存在しないと判断すれば、誤り検出のあったマクロブロック以降のデータを破棄する(ステップS17)。
しかし、復号制御部11は、ステップS25にて、誤り検出のあったスライスにIntraマクロブロクが存在し、輝度(Luma)成分と色差(Chroma)成分との間に相関があると判断すればステップS17に進んで、誤り検出のあったマクロブロック以降のデータを破棄する(ステップS17)。
しかし、復号制御部11は、ステップS26にて、輝度(Luma)成分と色差(Chroma)成分との間に相関がないと判断すれば、異常と
このIntraマクロブロック以降のデータを破棄する(ステップS27)。
これによって、『スキップマクロブロックを含むスライス中のマクロブロックのCBP数に基づいて誤りを検出する』以外にも、『同一スライス中にPCMマクロブロックが存在する』際や『同一スライス中にスキップ長がしきい値を越えたスキップマクロブロックが存在する』際や『同一スライス中にこのIntraマクロブロックの輝度成分の予測情報と色差成分の予測情報のIntra予測モードの間に相関を持たないIntraマクロブロクが存在する』際についても誤りと判断することができる。これにより、多くの場合について、マクロブロックのデータの誤解釈による画質劣化を低減することができる動画像復号装置を提供することが可能となる。
<本発明に係る動画像復号装置を用いた移動型通信装置>
次に、本発明に係る動画像復号装置10を適用した移動型通信装置の一例を図8及び図9を用いて説明する。図8は、本発明の一実施形態に係る復号回路を用いたモバイル機器の一例を示す外観図である。図9は、同じく復号回路を用いたモバイル機器の一例の構成を示すブロック図である。
移動型通信装置(携帯電話装置)Mは、図8に示す外観を一例として有しており、構成としては図9に示すように、通信部100と、アンテナ101と、デュプレクサ102と、RF受信利得可変増幅器103と、RF帯域制限フィルタ104と、周波数変換器105と、IF帯域制限フィルタ106と、IF受信利得可変増幅器107と、変調・復調部108と、IF送信利得可変増幅器111と、周波数変換器112と、RF帯域制限フィルタ113と、RF送信利得可変増幅器114と、電力増幅器115と、アイソレータ116と、ボコーダ123と、スピーカ124を有している。
又、更に、移動型通信装置Mは、全体の動作を制御する制御部131と、ワンセグ(ワンセグメントの略)のテレビ放送信号を受信するワンセグチューナ部132と、複数のスイッチ等を有している操作部133と、操作情報や写真画像等を表示する表示部134と、動画コンテンツや番組予約情報等を記憶する記憶部135と、上述した本発明の一実施形態である動画像復号装置10を用いたH.264デコーダ音声映像処理部と、メール処理部137とが制御部131に接続されている。又、H.264デコーダ音声映像処理部136の出力は、それぞれ表示部134とスピーカ124とに接続されている。
又、変調・復調部108は、例えば直交復調部181と、A/D変換部182と、情報信号復調部183と、復号化部192とからなり、更に、ボコーダ123からの信号を暗号化する暗号化部189と、情報信号変調部184と、D/A変換部185と、直交変調部186とにより構成される。この構成において、直交復調部181で直交復調された信号はA/D変換部182でA/D変換され、情報信号復調部183で情報信号復調されて、復号化部192により復号されて出力される。
この移動型通信装置Mはこのような構成において、受信処理について説明すると、基地局から送信されるフォワードリンク信号はアンテナ101で受信、デュプレクサ102で受信機側回路へ供給され、RF受信利得可変増幅器103で増幅あるいは減衰され、RF帯域制限フィルタ104で不要成分をフィルタリングされ、周波数変換器105でRF帯からIF帯へ周波数変換され、IF帯域制限フィルタ106で不要成分をフィルタリングされ、IF受信利得可変増幅器107で増幅あるいは減衰され、変調・復調部108へ入力する。
変調・復調部108は、例えば直交復調部181と、A/D変換部182と、情報信号復調部183と、情報信号変調部184と、D/A変換部185と、直交変調部186で構成される。
ここで、暗号化部189と復号化部192とは、共通の暗号鍵情報で暗号化され復号されることが好適であり、暗号化処理により通話される音声情報の不当な傍聴を防止するものである。しかし、厳密には、送信側の移動型通話部からの暗号化のための暗号鍵情報と受信側の復号化部192との鍵情報が共通であればよい。
この構成を有する移動型通信装置Mの受信処理について以下に説明すると、表示部134の操作情報の表示に応じて、ユーザの操作部133から与えられる操作情報に応じ、制御部131の動作制御に従って、以下のような動作が行われる。すなわち、直交復調部181で直交復調された信号は、A/D変換部182でA/D変換され情報信号復調部183で情報信号復調され、更に復号化部192で復号されて音声としてスピーカ124に出力される。
又、更にこの移動型通信装置Mのワンセグ(ワンセグメント)のテレビ放送信号の受信処理ついて以下に説明する。移動型通信装置Mは、ワンセグチューナ部132により、アンテナ101を介してワンセグ(ワンセグメント)のテレビ放送信号を受信する。ワンセグチューナ部132は、操作部133から与えられるチャンネル情報に応じて選局された一つの放送信号を制御部131に出力される。
次に、ワンセグチューナ部132から供給された放送信号を、H.264デコーダ音声映像処理部136で上述した手順を一例として、復号し再生可能な映像信号に変換するべく制御する。ここで、制御部131は、更に液晶画面等の表示部134に表示可能なようにスケール処理や映像処理等を行なうことも好適である。
このように本発明に係る動画像復号装置及び方法は、一例として、モバイル装置である携帯型移動電話等のワンセグメントテレビ信号の再生処理等に用いることが好適である。
以上記載した様々な実施形態により、当業者は本発明を実現することができるが、更にこれらの実施形態の様々な変形例を思いつくことが当業者によって容易であり、発明的な能力をもたなくとも様々な実施形態へと適用することが可能である。従って、本発明は、開示された原理と新規な特徴に矛盾しない広範な範囲に及ぶものであり、上述した実施形態に限定されるものではない。
本発明の一実施形態に係る復号回路の構成の一例を示すブロック図。 本発明の一実施形態に係る復号回路のマクロブロック復号処理の一例を示すフローチャート。 本発明の一実施形態に係る復号回路のマクロブロック復号処理の他の一例を示すフローチャート。 本発明の一実施形態に係る一スライスのデータ構成の一例を示す説明図。 本発明の一実施形態に係る復号回路が復号処理の対象とするピクチャ中の一スライス中のデータ破棄の開始箇所の一例を示す説明図。 本発明の一実施形態に係る復号回路が復号処理の対象とするマクロブロックの一例を示す説明図。 本発明の一実施形態に係る復号回路が復号処理の対象とするピクチャ中の一スライス中のデータ破棄の開始箇所の他の一例を示す説明図。 本発明の一実施形態に係る復号回路を用いたモバイル機器の一例を示す外観図。 本発明の一実施形態に係る復号回路を用いたモバイル機器の一例の構成を示すブロック図。
符号の説明
1…制御ユニット、2…信号処理ユニット、11…CBP数を判断する復号制御部、12…復号部、13…復号情報メモリ、14…誤り検出部、21…Inter予測部、22…Intra予測部、23…逆量子化・逆周波数変換部、24…データ合成部、25…デブロック部、26…フレームメモリ、27…コンシールメント部。

Claims (10)

  1. 複数のマクロブロックをもつ複数のスライスからなるストリーム信号から、マクロブロックの誤りを検出する検出部と、
    前記検出部が誤りを検出したマクロブロックを含んでいるスライスについて、このスライス中にスキップマクロブロックが存在し、このスライス中のマクロブロックのCBP値がしきい値を越えている場合は、CBP値がしきい値を越えたマクロブロック以降の各マクロブロックを破棄する制御部と、
    前記復号制御部により誤りのあるマクロブロック列が破棄された前記ストリーム信号を補間し復号して動画像信号を出力する復号部と、
    を具備することを特徴とする動画像復号装置。
  2. 前記制御部は、前記検出部が誤りを検出したマクロブロックを含んでいるスライスについて、このスライス中にスキップマクロブロックが存在し、スキップマクロブロックの直後のマクロブロックのCBP値がしきい値を越えている場合は、CBP値がしきい値を越えたマクロブロック以降の各マクロブロックを破棄することを特徴とする請求項1記載の動画像復号装置。
  3. 前記動画像復号装置で用いられる復号部の復号処理は、H.264/AVCであることを特徴とする請求項1記載の動画像復号装置。
  4. 前記制御部は、前記検出部が誤りを検出したマクロブロックを含んでいるスライスについて、このスライス内にスキップマクロブロックがなければ、このスライス中の前記検出部が誤りを検出したマクロブロック以降のマクロブロックを破棄するべく制御することを特徴とする請求項1記載の動画像復号装置。
  5. 前記制御部は、前記検出部が誤りを検出したマクロブロックを含んでいるスライスについて、このスライス内にPCMマクロブロックがあれば、このスライス中の前記PCMマクロブロック以降の各マクロブロックを破棄するべく制御することを特徴とする請求項1記載の動画像復号装置。
  6. 前記制御部は、前記検出部が誤りを検出したマクロブロックを含んでいるスライスについて、このスライス内にスキップ長がしきい値を越えるスキップマクロブロックがあれば、最大のスキップ長をもつスキップマクロブロック以降の各マクロブロックを破棄するべく制御することを特徴とする請求項1記載の動画像復号装置。
  7. 前記制御部は、前記検出部が誤りを検出したマクロブロックを含んでいるスライスについて、このスライス内にIntraマクロブロックがあり、このIntraマクロブロックの輝度成分の予測情報と色差成分の予測情報のIntra予測モードの間に相関がしきい値より小さいマクロブロックを検出すると、このIntraマクロブロック以降の各マクロブロックを破棄するべく制御することを特徴とする請求項1記載の動画像復号装置。
  8. ワンセグのテレビ放送信号を選局して受信するチューナ部と、
    前記チューナ部が受信したワンセグのテレビ放送信号のストリーム信号について、複数のマクロブロックをもつ複数のスライスからなるストリーム信号から、マクロブロックの誤りを検出し、この誤りを検出したマクロブロックを含んでいるスライスについて、このスライス中にスキップマクロブロックが存在し、このスライス中のマクロブロックのCBP値がしきい値を越えている場合は、CBP値がしきい値を越えたマクロブロック以降の各マクロブロックを破棄し、この破棄された前記ストリーム信号を補間し復号して動画像信号を出力する復号部と、
    前記復号部が復号した動画像信号に応じた動画を画面に表示する表示部と、
    を具備することを特徴とする放送受信装置。
  9. 前記制御部は、前記検出部が誤りを検出したマクロブロックを含んでいるスライスについて、このスライス中にスキップマクロブロックが存在し、スキップマクロブロックの直後のマクロブロックのCBP値がしきい値を越えている場合は、CBP値がしきい値を越えたマクロブロック以降の各マクロブロックを破棄することを特徴とする請求項8記載の放送受信装置。
  10. 複数のマクロブロックをもつ複数のスライスからなるストリーム信号から、マクロブロックの誤りを検出し、
    前記マクロブロックを含んでいるスライスについて、このスライス中にスキップマクロブロックが存在し、このスライス中のマクロブロックのCBP値がしきい値を越えている場合は、CBP値がしきい値を越えたマクロブロック以降の各マクロブロックを破棄し、
    前記誤りのあるマクロブロック列が破棄された前記ストリーム信号を補間し復号して動画像信号を出力することを特徴とする動画像復号方法。
JP2007119476A 2007-04-27 2007-04-27 動画像復号装置、放送受信装置、動画像復号方法 Expired - Fee Related JP4792001B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007119476A JP4792001B2 (ja) 2007-04-27 2007-04-27 動画像復号装置、放送受信装置、動画像復号方法
US12/046,569 US20080267298A1 (en) 2007-04-27 2008-03-12 Moving image decoding device, broadcasting reception device, and moving image decoding method
CN2008101092876A CN101296379B (zh) 2007-04-27 2008-03-14 运动图像解码装置、广播接收装置、以及运动图像解码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007119476A JP4792001B2 (ja) 2007-04-27 2007-04-27 動画像復号装置、放送受信装置、動画像復号方法

Publications (2)

Publication Number Publication Date
JP2008278210A true JP2008278210A (ja) 2008-11-13
JP4792001B2 JP4792001B2 (ja) 2011-10-12

Family

ID=39886951

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007119476A Expired - Fee Related JP4792001B2 (ja) 2007-04-27 2007-04-27 動画像復号装置、放送受信装置、動画像復号方法

Country Status (3)

Country Link
US (1) US20080267298A1 (ja)
JP (1) JP4792001B2 (ja)
CN (1) CN101296379B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8107536B2 (en) 2009-06-11 2012-01-31 Kabushiki Kaisha Toshiba Video decoder
JP2012119735A (ja) * 2010-11-29 2012-06-21 Mitsubishi Electric Corp 映像品質管理システム、映像受信端末、および映像品質管理装置
JP2018509791A (ja) * 2015-01-31 2018-04-05 インテル コーポレイション 無線リンク状態に基づくビデオ復号化待ち時間調整、並びにビデオ復号化誤りの隠蔽のための、古いパケットのリプレイ

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1816871A4 (en) * 2004-10-29 2010-06-16 Sharp Kk DECODING DEVICE FOR MOVABLE IMAGES AND DECODING METHOD FOR MOVABLE IMAGES
JP2010226376A (ja) * 2009-03-23 2010-10-07 Toshiba Corp 画像復号装置およびコンピュータが実行可能なプログラム
KR20110063004A (ko) * 2009-12-04 2011-06-10 삼성전자주식회사 키 프레임 추출 장치 및 방법과 이를 이용한 방송 녹화 장치 및 방법
US9749636B2 (en) * 2014-10-24 2017-08-29 Intel Corporation Dynamic on screen display using a compressed video stream
CN106534859B (zh) * 2015-09-11 2021-01-15 中兴通讯股份有限公司 基于spice协议的图像传输方法及装置
JP7082994B2 (ja) * 2018-01-31 2022-06-09 ソフトバンク株式会社 光通信を利用した大容量のサプリメンタルダウンリンクを可能とする通信システム、表示制御装置、通信端末及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005295054A (ja) * 2004-03-31 2005-10-20 Mitsubishi Electric Corp 動画像情報復元装置、動画像情報復元方法、動画像情報復元プログラム
JP2006295569A (ja) * 2005-04-11 2006-10-26 Toshiba Corp 動画像復号装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1922657B (zh) * 2004-02-19 2012-04-25 Nxp股份有限公司 用于可变块尺寸信号的解码方案
US7664176B2 (en) * 2004-07-09 2010-02-16 Nokia Corporation Method and system for entropy decoding for scalable video bit stream
CN100584025C (zh) * 2005-08-04 2010-01-20 华为技术有限公司 一种基于内容自适应的算术解码系统及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005295054A (ja) * 2004-03-31 2005-10-20 Mitsubishi Electric Corp 動画像情報復元装置、動画像情報復元方法、動画像情報復元プログラム
JP2006295569A (ja) * 2005-04-11 2006-10-26 Toshiba Corp 動画像復号装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8107536B2 (en) 2009-06-11 2012-01-31 Kabushiki Kaisha Toshiba Video decoder
JP2012119735A (ja) * 2010-11-29 2012-06-21 Mitsubishi Electric Corp 映像品質管理システム、映像受信端末、および映像品質管理装置
JP2018509791A (ja) * 2015-01-31 2018-04-05 インテル コーポレイション 無線リンク状態に基づくビデオ復号化待ち時間調整、並びにビデオ復号化誤りの隠蔽のための、古いパケットのリプレイ

Also Published As

Publication number Publication date
US20080267298A1 (en) 2008-10-30
CN101296379B (zh) 2011-05-04
JP4792001B2 (ja) 2011-10-12
CN101296379A (zh) 2008-10-29

Similar Documents

Publication Publication Date Title
JP4792001B2 (ja) 動画像復号装置、放送受信装置、動画像復号方法
US11328452B2 (en) Image processing device and method
US9900614B2 (en) Picture decoding method for decoding coded picture data and performing distortion removal by comparing pixel difference values with threshold
KR100768058B1 (ko) 부호화 스트림 재생 장치
US8861848B2 (en) Image processor and image processing method
CN101409847B (zh) 视频解码设备和视频解码方法
JP5464435B2 (ja) 画像復号装置および方法
US11297354B2 (en) Encoding apparatus, decoding apparatus and transmission control method
US20080008250A1 (en) Video encoder
US20110164684A1 (en) Image processing apparatus and method
US8705627B2 (en) Image processing apparatus and method
JP5556996B2 (ja) 画像処理装置および方法
WO2012098790A1 (ja) 画像処理装置及び画像処理方法
JP4203036B2 (ja) 動画像復号装置とこの装置を備えた移動体端末
JP2011151431A (ja) 画像処理装置および方法
JP2009081579A (ja) 動画像復号装置、および動画像復号方法
JP2006060358A (ja) デジタル放送受信機
JPH07274176A (ja) 動画像伝送装置
JP2001045490A (ja) 動画像信号の符号化装置及び符号化方法
JP2002142162A (ja) ディジタル放送受信機の復調処理装置
JP2010172003A (ja) 復号再生方法及び復号再生装置
JP4735558B2 (ja) 情報処理装置および情報処理方法
JPH07322243A (ja) 画像伝送装置
WO2012124406A1 (ja) 画像処理装置及び画像処理方法
JP2004328022A (ja) 無線伝送システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110118

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110419

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110628

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110722

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140729

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees