JP2005311603A - 動画像復号装置及び動画像復号方法 - Google Patents

動画像復号装置及び動画像復号方法 Download PDF

Info

Publication number
JP2005311603A
JP2005311603A JP2004124429A JP2004124429A JP2005311603A JP 2005311603 A JP2005311603 A JP 2005311603A JP 2004124429 A JP2004124429 A JP 2004124429A JP 2004124429 A JP2004124429 A JP 2004124429A JP 2005311603 A JP2005311603 A JP 2005311603A
Authority
JP
Japan
Prior art keywords
frame
encoded
refresh
decoding
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004124429A
Other languages
English (en)
Other versions
JP4020883B2 (ja
Inventor
Hiroshi Mori
弘史 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2004124429A priority Critical patent/JP4020883B2/ja
Priority to EP20040255859 priority patent/EP1589770A3/en
Publication of JP2005311603A publication Critical patent/JP2005311603A/ja
Application granted granted Critical
Publication of JP4020883B2 publication Critical patent/JP4020883B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61PSPECIFIC THERAPEUTIC ACTIVITY OF CHEMICAL COMPOUNDS OR MEDICINAL PREPARATIONS
    • A61P13/00Drugs for disorders of the urinary system
    • A61P13/08Drugs for disorders of the urinary system of the prostate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61PSPECIFIC THERAPEUTIC ACTIVITY OF CHEMICAL COMPOUNDS OR MEDICINAL PREPARATIONS
    • A61P3/00Drugs for disorders of the metabolism
    • A61P3/06Antihyperlipidemics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61PSPECIFIC THERAPEUTIC ACTIVITY OF CHEMICAL COMPOUNDS OR MEDICINAL PREPARATIONS
    • A61P35/00Antineoplastic agents
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61PSPECIFIC THERAPEUTIC ACTIVITY OF CHEMICAL COMPOUNDS OR MEDICINAL PREPARATIONS
    • A61P9/00Drugs for disorders of the cardiovascular system
    • A61P9/10Drugs for disorders of the cardiovascular system for treating ischaemic or atherosclerotic diseases, e.g. antianginal drugs, coronary vasodilators, drugs for myocardial infarction, retinopathy, cerebrovascula insufficiency, renal arteriosclerosis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142Detection of scene cut or scene change
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Organic Chemistry (AREA)
  • Pharmacology & Pharmacy (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Medicinal Chemistry (AREA)
  • General Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Chemical & Material Sciences (AREA)
  • Urology & Nephrology (AREA)
  • Diabetes (AREA)
  • Vascular Medicine (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Obesity (AREA)
  • Hematology (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】 動画像のフレームにエラーが混入した場合、簡易的なコンシールメント処理(修復処理)により、再生画質を向上することができる動画像復号装置及び動画像復号方法を提供する。
【解決手段】 フレームF5は、リフレッシュ用に周期的に挿入されるフレーム内符号化されたフレームである。このフレームF5においてエラーが発生した場合、フレーム内符号化されたフレームであっても、前フレームF4との相関が強いことを利用して、フレームF4の同一場所のマクロブロックを利用して、フレームF5のエラーが発生したマクロブロックをコンシールメント処理(符合5a)する。
【選択図】 図3

Description

本発明は、符号化された動画像情報を入力し、復号する動画像復号装置及び動画像復号方法に係り、特に、符号化された動画像情報にエラーが含まれる際の処理に関する。
動画像の符号化方式として、MPEG−4や、それを発展させたH.264/MPEG−4 AVC(以下、H.264と称する)がある(例えば、非特許文献1参照。)。H.264は、移動体向け地上波デジタル放送に採用が検討されている。
図8は、これらの符号化方式における動画像のフレーム構成を説明する図である。動画像は、動画を構成する画面1枚分のフレームをコマ送り表示することにより、動画像として人間の目に認識される。この例では、フレームF1、F2、F3、F4、F5、F6の順序で切り替わって表示される。
動画像のデータは、情報量が多いために、符号化が行われて、符号化データとして、記憶媒体に記憶されたり、また、通信サービスに提供される。この符号化の方法としては、フレーム間符号化とフレーム内符号化がある。例として、フレームF1、F3、F4、F6はフレーム間符号化されたフレームである。フレームF2、F5はフレーム内符号化されたフレームである。
動画像は、一般的な特性として時間方向の相関が高く、従ってフレーム間の相関が高いという特性を有する。これを利用したものがフレーム間符号化であり、前フレームとの差分を用いた符号化方法であり、情報量を大変小さくできる。しかし、画像内容が大きく切り替わるときには、前フレームとの差分が大きくなり、情報量の削減効果が期待できない。また、差分を用いているので、起点となるフレームが必要である。また、フレーム間符号化データにエラーが混入すると、復号側で、フレーム間にエラーが伝搬してしまうという特性を有する。
一方、フレーム内符号化は、フレーム内で完結した符号化方法であり、フレーム内の近隣の画像の相関性を利用した符号化方法であるが、連続するシーケンスではフレーム間符号化ほどの圧縮効果はない。フレーム内符号化のフレームを設ける目的として、シーンチェンジとリフレッシュの2通りがある。
シーンチェンジは、フレーム間符号化の欠点である画像内容が大きく切り替わる時、すなわちシーンチェンジの時には情報量の削減効果が期待できないため、フレーム内符号化のフレームが使用される。
リフレッシュは、フレーム間符号化の欠点であるフレーム間のエラー伝搬を防ぐために、周期的にフレーム内符号化のフレームが挿入され、それがフレーム間符号化の起点となる。それ以前のフレーム間符号化のフレームは差分参照用としてはクリアされる。また、放送サービスのように、受信側が任意のタイミングで受信開始する場合、フレーム間符号化のフレームから開始しても差分の起点となるフレームが存在しないと復号できないので、フレーム内符号化のフレームを起点として、以降のフレーム間符号化のフレームを復号することができる。地上波デジタル放送において、このリフレッシュの周期は、MPEG−2では、500ミリ秒が推奨されている。H.264では、2秒(1.5〜5秒)が推奨されている。
復号装置側では、復号処理として、符号化データを受信して、フレーム間符号化とフレーム内符号化の識別データを認識し、それぞれに対応する復号処理を行う。H.264では、複数枚の参照フレームを利用することができ、これらの参照フレームは、復号画像バッファ(DPD:Decoded Picture Buffer)内にused for short term reference(参照)または、used for long term reference(参照)と称するピクチャ情報のいずれかを持ち蓄積される。そして、これらの参照フレームを参照して、フレーム間符号化のフレームを復号する。I−SLICE IDR(リフレッシュ用フレーム内符号化のフレーム)を復号する際は、復号画像バッファ内に蓄積される全ての参照フレームのピクチャ情報をunused for reference(非参照)と設定し、これらのフレームは以後の復号には使用されない。
また、復号装置側では、符号化データにエラーが混入した時の修復処理として、フレーム間符号化のフレームの場合は、フレーム間の相関を利用したコンシールメント処理(修復処理)が行われる。フレーム内符号化のフレームの場合は、フレーム内の近隣の画像の相関を利用したコンシールメント処理(修復処理)が行われる。
「Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification 」、ITU-T Rec.H.264 ISO/IEC 14496-10 AVC、2003年5月
移動体向け地上波デジタル放送にH.264の採用が検討されている。しかし、携帯電話等の移動体通信端末にて、放送サービスを利用する場合、ビルの陰等では良好な電波の受信が期待できず、高頻度でエラーが混入することがある。本発明は、H.264等に規定されているエラー発生時のコンシールメント処理(修復処理)に加えて、更に、携帯電話等の小型の機器でも利用可能な簡易的なコンシールメント処理(修復処理)を行い、再生画質を更に向上することができる動画像復号装置及び動画像復号方法を提供することを目的とする。
上記目的を達成するために、本発明の動画像復号装置は、符号化された動画像フレームを受信する受信手段と、前記動画像フレームにエラーが含まれているか検出するエラー検出手段と、前記動画像フレームの復号および復号画像の修復を行う復号手段と、前記動画像フレームがシーンチェンジ用フレーム内符号化されたフレームであるか、リフレッシュ用フレーム内符号化されたフレームであるかを検出する符号化種別検出手段とを備え、前記復号手段は、前記リフレッシュ用フレーム内符号化されたフレームを復号再生する時に、前記復号画像バッファに蓄積された当該フレーム以前の参照フレームを修復用に設定し、当該リフレッシュ用フレーム内符号化されたフレームにエラーがあれば前記修復用に設定された参照フレームを参照して当該リフレッシュ用フレーム内符号化されたフレームの復号画像情報の修復を行うことを特徴とする。
また、本発明の動画像復号装置は、前記復号手段は、前記リフレッシュ用フレーム内符号化されたフレーム以降のフレーム間符号化されたフレームを復号再生する時に、前記修復用に設定された参照フレームを破棄し、当該フレーム間符号化されたフレームを復号することを特徴とする。
本発明によれば、エラー発生時に、簡易的なコンシールメント処理(修復処理)を行い、再生画質を更に向上することができる。
図1は、一般的な動画像データの構成を説明する図である。フレームは、1〜複数のスライスから構成される。1フレーム=1スライスや、1フレーム=複数スライスがあり、図1は、1フレーム=4スライスの場合を示す。
フレームのデータ構成として、各スライスの先頭のスタートコードSCとスライスとから構成される。スライスは、更に、当該スライスの符号化方法を示すスライスヘッダー(符号化識別データ)と、当該スライスの画像符号化データを持つスライスデータとから構成される。スライスデータは、更に、マクロブロックMBの集合により構成される。なお、フレームの表示タイミングは、PTS(Presentation Time Stamp)により行われる。
スライスヘッダーは、当該スライスの符号化方法を示し、同一フレーム内のスライスは同じ符号化方法である。この符号化識別データの種類として、H.264 Baseline Profileの場合は、フレーム間符号化を示すP−SLICE、又はリフレッシュ用フレーム内符号化を示すI−SLICE IDR、又はシーンチェンジ用フレーム内符号化を示すI−SLICE Non−IDRの3種類がある。
MPEG−4 Simple Profileの場合は、フレーム間符号化を示すP−VOP(Video Object Plane)、又はフレーム内符号化を示すI−VOPの2種類である。MPEG−4では、送信機側は、このフレーム内符号化を示すI−VOPをシーンチェンジ目的およびリフレッシュ目的の両方で使用するが、受信機側でそれを判別できる符号化識別データ構成にはなっていない。
図2は、実施例の動画像復号装置の主要部の構成を示すブロック図である。動画像復号装置の主要部は、エラー検出部1、符号化種別検出部2、復号部3、コンシールメント部4、復号画像バッファ5、フレームメモリ6、画像出力部7などにより構成されている。符号化ストリーム1aは、図1に示したデータ構造の動画像符号化データである。
エラー検出部1は、符号化ストリーム1aにエラーが含まれているかを検出する。符号化種別検出部2は、スライスヘッダー(符号化識別データ)をチェックして、当該スライスの符号化種別を認識する。復号部3は、符号化種別に則り、スライスデータを復号画像バッファ5(DPB:Decoded Picture Buffer)に蓄積されている画像等を参照して復号し、再び復号画像バッファ5に蓄積する。
また、エラーが含まれている場合、コンシールメント部4は、符号化種別に則り、復号画像バッファ5に蓄積されている画像を参照してコンシールメント処理(修復処理)を行い、画像を再生して、再び復号画像バッファ5に蓄積する。
フレームメモリ6は、再生した画像をフレーム単位で記憶する。画像出力部7は、フレーム画像データをコマ送りで連続して表示を行い、使用者はこれを動画像として認識する。
図3は、実施例のコンシールメント処理(修復処理)を説明する図である。例として、フレームF1、F3、F4、F6は、フレーム間符号化されたフレーム(以降、P−フレームと称する)であり、P−SLICEから構成される。フレームF2、F5は、フレーム内符号化されたフレーム(以降、I−フレームと称する)であり、I−SLICEから構成される。
今、フレームF2、F5のハッチングで図示したI−SLICEにおいて、エラーが発生したとする。
フレームF2は、シーンチェンジ用のI−フレームであり、すなわち、フレームF1とフレームF2とは画像内容が大きく切り替わっており、フレーム間の相関は小さい。従って、フレームF2内のエラーが発生したマクロブロックの近隣のマクロブロックを利用して、エラーが発生したマクロブロックをコンシールメント処理(符合F2a)する。
フレームF5は、リフレッシュ用に周期的に挿入されるI−フレームである。I−フレームの場合、従来は、エラーが発生したフレームF5内で近隣のマクロブロックを利用して、コンシールメント処理が行われる。本実施例では、I−フレームであっても、リフレッシュ用の場合には、前フレームのフレームF4とフレームF5とは相関が強いことを利用して、フレームF4の同一場所のマクロブロックを利用して、フレームF5のエラーが発生したマクロブロックをコンシールメント処理(符合5a)する。
図4は、復号画像バッファに蓄積された参照フレームを説明する図である。例として、5フレーム分のバッファBUF1〜BUF5について説明する。復号画像バッファ5のバッファBUF1〜BUF5には、復号されて表示に供されたフレームの復号画像データが記憶される。また、この復号画像データを次のフレームの復号用に参照するかどうかを示すピクチャ情報も合わせて記憶される。この状態を以下に説明する。
フレームF4を復号開始する前(タイミングT4)には、フレームF4以前のフレームであるフレームF1〜F3の復号画像データがそれぞれバッファBUF1〜BUF3に記憶されている(B41〜B43)。そして、フレームF4がP−フレーム、つまりフレーム間符号化であることが認識されると、フレームF1〜F3の復号画像データはフレームF4の復号で参照されるべきであるため、「used for short term referenceまたは、used for long term reference」(参照)がフレームF1〜F3の復号画像データと共に記憶される(B41〜B43)。
フレームF5を復号開始する前(タイミングT5)には、フレームF4で復号された復号画像データが新たにバッファBUF4に記憶されている(B54)。そして、フレームF5がリフレッシュ用I−フレーム(H.264ではIDR)であることが認識されると、従来は、フレーム内符号化であることから、フレームF1〜F4のすべての復号画像データはフレームF4の復号で非参照の情報であるため、「unused for reference」(非参照)がクリア用に設定されて記憶されていた(B51〜B54)。
しかし、本実施例では、フレームF5の直前のフレームF4の復号画像データに対して、フレームF5でエラーが発生した時のコンシールメント処理(修復処理)用に、修復用情報であることを示す「used for IDR concealment」(IDR修復用)を設定する。そして、フレームF4の復号画像データと共に記憶して残しておく(B54)。なお、この「used for IDR concealment」の設定は、直前のフレームF4のピ復号画像データに限らず、復号画像バッファ5に記憶されているフレームならば、いずれのフレームの復号画像データに対して設定してもよい。
フレームF6を復号開始する前(タイミングT6)には、フレームF5で復号された復号画像データが新たにバッファBUF5に記憶されている(B65)。また、フレームF6がP−フレームであることが認識されると、これは、リフレッシュ用フレームF5の直後のP−フレームであることから、リフレッシュ用フレームF5を起点として参照して復号することを意味する。つまり、フレームF1〜F4の復号画像データは、「unused for reference」が設定され(B61〜B64)、フレームF5の復号画像データは、「used for short term referenceまたは、used for long term reference」が設定される(B65)。この時の処理として、従来は、タイミングT5時のB54の情報は「unused for reference」であり、タイミングT6時にはB64の情報は同じ「unused for reference」にするため何も処理を行っていなかった。
しかし、本実施例では、タイミングT5時のB54の情報は「used for IDR concealment」であり、これを、タイミングT6時にはB64の情報「unused for reference」に戻す処理を行う。
図5は、エラー検出部1、符号化種別検出部2、復号部3、コンシールメント部4等(図2)による復号画像バッファ(図4)の制御フローチャートであり、リフレッシュ用I−フレームのF5とその直後のP−フレームのF6に関連する箇所を説明する。
フレームの復号を開始するにあたって、まず、当該フレームの符号化種別をチェックする(ステップS1)。これがリフレッシュ用I−フレーム(H.264ではIDR)であれば(図4のF5。タイミングT5)、直前のフレーム(F4)の復号画像データを「used for IDR concealment」(IDR修復用)に設定する(ステップS2。図4のB54)。
そして、「used for short term referenceまたは、used for long term reference」(参照)を持つフレームの復号画像データ(図4のB41、B42、B43)に対しては、「unused for reference」(非参照)を設定して(図4のB51、B52、B53)、非参照(クリア)とする(ステップS3)。
そして、リフレッシュ用I−フレームにエラーがある場合の復号処理において、復号画像バッファ内に「used for IDR concealment」(IDR修復用)の情報を持つ参照フレームがあれば、当該参照フレームを用いて修復処理を行う。エラーがない場合の復号処理においては、I−フレームの復号であるため、前フレームを参照しないので、復号画像バッファ内に「used for IDR concealment」(IDR修復用)の情報を持つ参照フレームが残っていても影響はない。
ステップS1において復号開始するフレームがリフレッシュ用I−フレームの直後のP−フレームであれば(図4のF6。タイミングT6)、復号画像バッファ内にある「used for IDR concealment」(IDR修復用)情報を持つピクチャ情報(図4のB54)を、「unused for reference」(非参照)に設定する(図4のB64。ステップS4)。これにより、リフレッシュ用I−フレームF5以前のフレームF4の復号画像データをクリアすることができる。
以上の処理の後、規格に従った処理を行う(ステップS5)。この詳細説明は省略する。
動画像は、一般に、時間方向の相関すなわちフレーム間の相関の方が、フレーム内の相関よりも、より強い特徴を有する。これにより、リフレッシュ用のI−フレームにおいてエラーが発生した時のコンシールメント処理がより的確に行うことができて、再生画質を更に向上することができる。
特に移動体向けの放送では、エラーの混入頻度が高く、またリフレッシュ用のI−フレームが2秒に1枚程度しか挿入されない。そのため、リフレッシュ用のI−フレームのコンシールメント処理の精度が悪いと、リフレッシュ用のI−フレームを起点としてそれに続くフレーム間符号化のP−フレームすべてが影響を受ける。このリフレッシュ用のI−フレームのコンシールメント処理の精度がより的確に行うことができて、再生画質を向上することができる。
しかも、この処理は、図5に示した簡易な処理により実施することができて、携帯電話機等の小型の機器において、容易に実施することができる。
図6は、実施例1の動画像復号装置の動作を説明するフローチャートであり、図1に示したH.264のデータ構成における動作説明である。図5に示した復号画像バッファの制御動作を行った後に行う復号修復処理に関する。
復号修復処理では、マクロブロック単位で、復号化処理を行い(ステップS11)、並行してエラー検出を行う(ステップS12)。エラー無しの場合、復号化処理(ステップS11)を継続し、復号した画像データを復号画像バッファ5に蓄積する。
エラー有りの場合、当該マクロブロックが存在するスライスの符号化識別データをチェックする(ステップS13)。そして、符号化識別データがI−SLICE IDR(図4のタイミングT5)であれば、フレーム内符号化ではあるが、これはリフレッシュ用であるので、前フレームとの相関が強いと判断して、前フレームよりコンシールメント処理を行う(ステップS14)。これは、図4で説明した復号画像バッファ内に「used for IDR concealment」(IDR参照用)の情報を持つ参照フレーム(図4のB54)があれば、当該参照フレームを用いることにより修復処理が行われる。
符号化識別データがI−SLICE Non−IDRであれば(ステップS15でI−SLICE Non−IDR)、これはシーンチェンジ用であるので、前フレームとの相関は弱いため、現フレームよりコンシールメント処理を行う(ステップS16)。
符号化識別データがP−SLICEであれば(ステップS15でP−SLICE)、これはフレーム間符号化用であるので、前フレームとの相関が強いため、前フレームよりコンシールメント処理を行う(ステップS17)。
これにより、リフレッシュ用のI−SLICE IDRにおいてエラーが発生した時のコンシールメント処理をより的確に行うことができて、再生画質を向上することができる。
図7は、実施例2の動画像復号装置の動作を説明するフローチャートであり、図1に示したMPEG−4のデータ構成における動作説明である。図5に示した復号画像バッファの制御動作を行った後に行う復号修復処理に関する。
MPEG−4では、送信(符号化装置)側は、I−VOPについては、リフレッシュ用かシーンチェンジ用かを認識して送信しているが、符号化識別データにこの区別がないため、復号装置側では直接判別することはできない。この判別方法について、以下に説明する。
まず、符号化識別データをチェックして、I−VOPかP−VOPかを判断する。そして、I−VOPであれば、そのI−VOPが属するI−フレームに付随するPTS(Presentation Time Stamp)の間隔を複数回測定する。例えば10回分の平均値を算出し、これがI−フレームの平均的な周期であり、これを記憶する(ステップS21)。I−フレームは、リフレッシュ用とシーンチェンジ用が混在しているが、動画像の特性上、リフレッシュ用の方がシーンチェンジ用に比べると頻度が多い。そのため、例えば10周期の平均値をとれば、周期的に送信されるリフレッシュ用のI−フレームの周期が略、得られる。
これと並行して、通常の復号処理(ステップS22)とエラー検出(ステップS23)を行う。
エラー検出(ステップS23)でエラー有りとなった時、I−VOPであるかP−VOPであるかをチェックする(ステップS24)。そして、I−VOPであれば、当該I−VOPが属する当該I−フレームと前I−フレームとの時間差を測定し、この時間差がステップS21で算出した平均値と略同じであるかを判断する(ステップS25)。略同じであれば規則的、すなわちリフレッシュ用のI-VOPであると見なす(ステップS26。図4のタイミングT5)。そして、前フレームとの相関が強いと判断して、前フレームよりコンシールメント処理を行う(ステップS27)。これは、図4で説明した復号画像バッファ内に「used for IDR concealment」(IDR参照用)の情報を持つ参照フレーム(図4のB54)があれば、当該参照フレームを用いることにより修復処理が行われる。 ステップS25で、当該I−フレームと前I−フレームとの時間差が、ステップS21で算出した平均値と大きく異なっている場合は、シーンチェンジ用のI-VOPであると見なす(ステップS28)。これは、前フレームとの相関は弱いため、現フレームよりコンシールメント処理を行う(ステップS29)。
ステップS24で、P−VOPの場合、これはフレーム間符号化用であるので、前フレームとの相関が強いため、前フレームよりコンシールメント処理を行う(ステップS30)。
これにより、リフレッシュ用のI−VOPにおいてエラーが発生した時のコンシールメント処理をより的確に行うことができて、再生画質を向上することができる。
なお、ステップS21において、別の方法として、I−フレームの周期を複数回算出し、その周期の統計処理を行って、最多出現の周期をリフレッシュ用のI−フレームの周期と認識してもよい。また、リフレッシュ用のI- フレームの周期が予め定義されてわかっている場合は、規定値として記憶しておいてもよい。
一般的な動画像データの構成を説明する図。 本発明の実施形態に係る動画像復号装置の主要部の構成を示すブロック図。 本発明の実施形態に係るコンシールメント処理(修復処理)を説明する図。 本発明の実施形態に係る復号画像バッファに蓄積された参照フレームを説明する図。 本発明の実施形態に係る復号画像バッファの制御フローチャート。 本発明の実施例1に係る動画像復号装置の動作を説明するフローチャート。 本発明の実施例2に係る動画像復号装置の動作を説明するフローチャート。 従来の動画像のフレーム構成を説明する図。
符号の説明
1 エラー検出部
2 符号化種別検出部
3 復号部
4 コンシールメント部
5 復号画像バッファ
6 フレームメモリ
7 画像出力部

Claims (8)

  1. 符号化された動画像フレームを受信する受信手段と、
    前記動画像フレームにエラーが含まれているか検出するエラー検出手段と、
    前記動画像フレームの復号および復号画像の修復を行う復号手段と、
    前記動画像フレームがシーンチェンジ用フレーム内符号化されたフレームであるか、リフレッシュ用フレーム内符号化されたフレームであるかを検出する符号化種別検出手段とを備え、
    前記復号手段は、
    前記リフレッシュ用フレーム内符号化されたフレームを復号再生する時に、前記復号画像バッファに蓄積された当該フレーム以前の参照フレームを修復用に設定し、当該リフレッシュ用フレーム内符号化されたフレームにエラーがあれば前記修復用に設定された参照フレームを参照して当該リフレッシュ用フレーム内符号化されたフレームの復号画像情報の修復を行うことを特徴とする動画像復号装置。
  2. 前記復号手段は、
    前記リフレッシュ用フレーム内符号化されたフレーム以降のフレーム間符号化されたフレームを復号再生する時に、前記修復用に設定された参照フレームを破棄し、当該フレーム間符号化されたフレームを復号することを特徴とする請求項1に記載の動画像復号装置。
  3. 前記符号化種別検出手段は、
    前記動画像情報に含まれるシーンチェンジ用かリフレッシュ用かを示す符号化識別データにより、リフレッシュ用フレーム内符号化されたフレームであることを検出することを特徴とする請求項1に記載の動画像復号装置。
  4. 前記符号化種別検出手段は、
    前記フレーム内符号化されたフレームの周期を測定し、当該周期がリフレッシュ用フレームの予め定義された周期と略同じであればリフレッシュ用と判定することを特徴とする請求項1に記載の動画像復号装置。
  5. 前記符号化種別検出手段は、
    前記フレーム内符号化されたフレームの周期を任意回数測定して平均値を算出し、当該平均値と略同じ周期のフレーム内符号化されたフレームをリフレッシュ用と判定することを特徴とする請求項1に記載の動画像復号装置。
  6. 前記符号化種別検出手段は、
    前記フレーム内符号化されたフレームの周期を任意回数測定して最多発生の周期を算出し、当該最多発生の周期と略同じ周期のフレーム内符号化されたフレームをリフレッシュ用と判定することを特徴とする請求項1に記載の動画像復号装置。
  7. 符号化された動画像フレームの復号および復号画像の修復を行う動画像復号方法であって、
    前記復号した動画像フレームを参照フレームとして復号画像バッファに蓄積し、
    前記動画像フレームがシーンチェンジ用フレーム内符号化されたフレームであるか、リフレッシュ用フレーム内符号化されたフレームであるかを検出し、
    前記リフレッシュ用フレーム内符号化されたフレームを復号する時に、前記復号画像バッファに蓄積された当該フレーム以前の参照フレームを修復用に設定し、当該リフレッシュ用フレーム内符号化されたフレームにエラーがあれば前記修復用に設定された参照フレームを参照して当該リフレッシュ用フレーム内符号化されたフレームの復号画像情報の修復を行うことを特徴とする動画像復号方法。
  8. 前記リフレッシュ用フレーム内符号化されたフレーム以降のフレーム間符号化されたフレームを復号する時に、前記修復用に設定された参照フレームを破棄し、当該フレーム間符号化されたフレームを復号することを特徴とする請求項7に記載の動画像復号方法。
JP2004124429A 2004-04-20 2004-04-20 動画像復号装置 Expired - Fee Related JP4020883B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004124429A JP4020883B2 (ja) 2004-04-20 2004-04-20 動画像復号装置
EP20040255859 EP1589770A3 (en) 2004-04-20 2004-09-24 Apparatus and method for decoding a moving picture sequence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004124429A JP4020883B2 (ja) 2004-04-20 2004-04-20 動画像復号装置

Publications (2)

Publication Number Publication Date
JP2005311603A true JP2005311603A (ja) 2005-11-04
JP4020883B2 JP4020883B2 (ja) 2007-12-12

Family

ID=34930692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004124429A Expired - Fee Related JP4020883B2 (ja) 2004-04-20 2004-04-20 動画像復号装置

Country Status (2)

Country Link
EP (1) EP1589770A3 (ja)
JP (1) JP4020883B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008047967A (ja) * 2006-08-10 2008-02-28 Canon Inc 再生装置
JP2008545297A (ja) * 2005-05-11 2008-12-11 クゥアルコム・インコーポレイテッド 統一された誤り隠蔽フレームワークのための方法及び装置
JP2010503266A (ja) * 2006-08-29 2010-01-28 トムソン ライセンシング 喪失パケットを有するコンテナファイルに含まれるサンプルを修復するための方法及び装置
JP2010226376A (ja) * 2009-03-23 2010-10-07 Toshiba Corp 画像復号装置およびコンピュータが実行可能なプログラム
JP2011193354A (ja) * 2010-03-16 2011-09-29 Toshiba Corp ストリーム変換装置及びストリーム変換方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100544436C (zh) * 2005-11-11 2009-09-23 北京微视讯通数字技术有限公司 用于视频编码处理的快速刷新方法和装置
CN101072344B (zh) * 2007-03-30 2011-11-23 腾讯科技(深圳)有限公司 一种视频编码方法、解码方法及装置
CN101321284B (zh) * 2007-06-10 2012-01-04 华为技术有限公司 一种编解码方法、设备及系统
GB2475739A (en) * 2009-11-30 2011-06-01 Nokia Corp Video decoding with error concealment dependent upon video scene change.
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Nttドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
CN103167283B (zh) * 2011-12-19 2016-03-02 华为技术有限公司 一种视频编码方法及设备
CN103929682B (zh) * 2014-03-27 2017-03-22 广州华多网络科技有限公司 一种在视频直播系统中设置关键帧的方法及装置
CN105898373A (zh) * 2015-12-17 2016-08-24 乐视云计算有限公司 视频切片方法和装置
CN105898319A (zh) * 2015-12-22 2016-08-24 乐视云计算有限公司 视频转码方法和装置
CN113542744A (zh) * 2021-07-09 2021-10-22 杭州当虹科技股份有限公司 基于动态hdr场景切换的编码方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3630590B2 (ja) * 1999-08-25 2005-03-16 沖電気工業株式会社 復号化装置及び伝送システム
US6697126B2 (en) * 2001-02-09 2004-02-24 Webtv Networks, Inc. Intra-frame video error concealment
US6970506B2 (en) * 2001-03-05 2005-11-29 Intervideo, Inc. Systems and methods for reducing frame rates in a video data stream

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008545297A (ja) * 2005-05-11 2008-12-11 クゥアルコム・インコーポレイテッド 統一された誤り隠蔽フレームワークのための方法及び装置
US9749655B2 (en) 2005-05-11 2017-08-29 Qualcomm Incorporated Method and apparatus for unified error concealment framework
US10944988B2 (en) 2005-05-11 2021-03-09 Qualcomm Incorporated Method and apparatus for unified error concealment framework
JP2008047967A (ja) * 2006-08-10 2008-02-28 Canon Inc 再生装置
JP2010503266A (ja) * 2006-08-29 2010-01-28 トムソン ライセンシング 喪失パケットを有するコンテナファイルに含まれるサンプルを修復するための方法及び装置
JP2010226376A (ja) * 2009-03-23 2010-10-07 Toshiba Corp 画像復号装置およびコンピュータが実行可能なプログラム
JP2011193354A (ja) * 2010-03-16 2011-09-29 Toshiba Corp ストリーム変換装置及びストリーム変換方法

Also Published As

Publication number Publication date
EP1589770A3 (en) 2005-12-21
EP1589770A2 (en) 2005-10-26
JP4020883B2 (ja) 2007-12-12

Similar Documents

Publication Publication Date Title
KR100931873B1 (ko) 비디오 신호 부호화/복호화 방법 및 비디오 신호 부호기/복호기
US11902567B2 (en) Method, system and apparatus for intra-refresh in video signal processing
US7116714B2 (en) Video coding
US8107539B2 (en) Method for error concealment in video sequences
KR101012149B1 (ko) 비디오 부호화
JP4020883B2 (ja) 動画像復号装置
US8743970B2 (en) Video decoding with error detection and concealment
JP6348188B2 (ja) ビデオにおけるピクチャのロバストな符号化および復号化
US8811483B2 (en) Video processing apparatus and method
JP2008182730A (ja) 送信装置
US9031127B2 (en) Video coding
KR100967731B1 (ko) 채널 스위치 프레임
Ducla-Soares et al. Error resilience and concealment performance for MPEG-4 frame-based video coding
JP2008311784A (ja) 動画像復号装置および動画像復号方法
US20150071341A1 (en) Arrangements and methods thereof for processing video
US20110299591A1 (en) Video processing apparatus and method
Carreira et al. A robust video encoding scheme to enhance error concealment of intra frames
JP2008042769A (ja) 動画像復号装置及び動画像復号方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060901

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061031

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070612

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070727

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070921

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070925

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101005

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101005

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111005

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111005

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121005

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131005

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees