JP2007235456A - 動画像復号装置及び動画像復号方法 - Google Patents

動画像復号装置及び動画像復号方法 Download PDF

Info

Publication number
JP2007235456A
JP2007235456A JP2006053838A JP2006053838A JP2007235456A JP 2007235456 A JP2007235456 A JP 2007235456A JP 2006053838 A JP2006053838 A JP 2006053838A JP 2006053838 A JP2006053838 A JP 2006053838A JP 2007235456 A JP2007235456 A JP 2007235456A
Authority
JP
Japan
Prior art keywords
processing
image
decoding
moving picture
inter prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006053838A
Other languages
English (en)
Other versions
JP4987322B2 (ja
Inventor
Tatsuro Fujisawa
達朗 藤澤
Yoshihiro Kikuchi
義浩 菊池
Yuji Kawashima
裕司 川島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2006053838A priority Critical patent/JP4987322B2/ja
Priority to US11/711,024 priority patent/US8630347B2/en
Publication of JP2007235456A publication Critical patent/JP2007235456A/ja
Application granted granted Critical
Publication of JP4987322B2 publication Critical patent/JP4987322B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Abstract

【課題】 インター予測の処理を効果的に簡易化し、これによって負荷を軽減して消費電力を低減し、リアルタイムでの復号処理を良好に行う。
【解決手段】 動画像復号装置において、圧縮符号化された動画像ストリームを復号する際に、インター予測省略判定部110において、符号化モード情報に基づいてインター予測部106の処理を簡略化するかどうかを判定する。ピクチャ、スライス、マクロブロックの符号化モード情報に応じて、インター予測部106の処理量が特に多くなるBピクチャ(Bスライス,双予測部分)のみ優先的に簡略化する等、処理量の特に多い箇所だけを削減するようにして、画質の劣化を最低限に抑えながら処理量の削減を図る。
【選択図】 図1

Description

本発明は、圧縮符号化された動画像ストリームを復号する動画像復号装置及びその動画像復号方法に関する。
動画像符号化の標準技術として、ITU−T(国際電気通信連合・電気通信標準化部門)のH.261やH.263、ISO(国際標準化機構)のMPEG(Moving Picture Experts Group)−1、MPEG−2、MPEG−4などが開発されている。このH.261〜3、MPEG−1〜4などの技術を承継し、更に発展させた次世代動画像符号化方式として、ISOとITUが共同で標準化を行ったH.264がある(非特許文献1,2参照)。ところが、このH.264は、高い圧縮率を実現している反面、処理量の多さが課題となっている。特に、HD−DVDのように、高解像度の動画像を再生する場合には、高い演算処理能力が要求されるため、深刻な問題となる。
ITU-T Recommendation H.264 (2003), "Advanced Video Coding for generic audiovisual services" | ISO/IEC 14496-10: 2003, "Information technology, Coding of audio-visual objects - Part 10: Advanced video coding" H.264/AVC教科書(株式会社インプレスコミュニケーションズ)
ところが、上記H.264に基づく標準化仕様等の動画像復号装置では、復号処理全体に占めるインター予測の動き補償の処理量が多いため、装置全体の負荷が高い場合にはリアルタイムでの復号処理が間に合わなくなり、コマ落ちやオブジェクトの動きが極端に遅くなるなどの不具合が発生する可能性がある。
本発明は上記の問題を解決するためになされたもので、インター予測の処理を効果的に簡易化し、これによって負荷を軽減してリアルタイムでの復号処理を良好に行うことのできる動画像復号装置及びその動画像復号方法を提供することを目的とする。
上記問題を解決するために、本発明に係る動画像復号装置及びその動画像復号方法は、圧縮符号化された動画像ストリームを復号する場合に、前記動画像ストリーム及びその既復号画像から、復号対象の符号化モードに基づいてイントラ予測画像及びインター予測画像のいずれか一方を選択的に生成し、前記動画像ストリームから、復号対象の量子化パラメータに基づいて残差復号画像を生成し、前記予測復号手段で選択的に生成されるイントラ予測画像及びインター予測画像と前記残差復号部によって生成される残差復号画像とを加算して復号画像を生成し、前記残差加算で生成された復号画像に対してブロック歪みを低減するためのデブロッキングフィルタ処理を施し、前記動画像ストリームから符号化モードに関する情報を抽出し、その抽出情報及び前記負荷情報に基づいて、前記インター予測処理を簡略化するか否かを判定し、前記判定結果に基づいて前記インター予測処理を段階的に簡略化するようにしたことを特徴とする。
以上のように、本発明によれば、インター予測の処理を効果的に簡易化し、これによって負荷を軽減してリアルタイムでの復号処理を良好に行うことのできる動画像復号装置及びその動画像復号方法を提供することができる。
以下、図面を参照して本発明の実施の形態について説明する。
図1は本発明に係る動画像復号装置の一実施形態として、本発明をH.264に基づく標準化仕様のデコーダに適用した場合の構成を示すブロック図である。図4において、入力ストリームはH.264規格に沿って圧縮符号化された動画像ストリームであり、可変長変換部(エントロピー復号部とも称される)101に送られる。この可変長変換部101は、入力ストリームを可変長復号し、シンタックスを生成する。逆量子化部102、逆変換部103は、生成されたシンタックスに基づいて、動画像符号化ストリーム復号結果から残差画像を生成する。
一方、符号化モード制御部104は可変長変換部101の入力ストリームから符号化モードを判別し、その判別結果に基づいてイントラ(画面内)予測部105、インター(画面間)予測部106を選択的に駆動制御する。イントラ予測部105、インター予測部106は、それぞれ符号化モード制御部104で指定される符号化モードに従って画面内、画面間の予測画像を生成する。生成された予測画像は選択的に残差加算部107に送られる。この残差加算部107はイントラ予測部105またはインター予測部106からの予測画像と逆変換部103からの残差画像とを加算し、復号画像を生成する。生成された復号画像はイントラ予測部105において参照される。残差加算部107で得られた復号画像はデブロッキングフィルタ部108に送られ、ここでフィルタ処理による再構成画像が生成される。この再構成画像はピクチャメモリ(フレームメモリ)109に一時記憶され、デコード結果として順次表示系に出力される。
また、インター予測省略判定部110は、メイン制御部(図示せず)からの制御情報に基づき、可変長変換部101からピクチャ、スライス、マクロブロックの符号化モードに関する情報を抽出し、インター予測部106における予測処理を省略するか否かを判定する。判定方法については後述する。ここで、デブロッキングフィルタ処理を行う場合は、デブロッキングフィルタ部108に復号画像が入力され、フィルタ処理を行って再構成画像を生成し、ピクチャメモリ109に記憶される。デブロッキングフィルタ処理を行わない場合は、復号画像が再構成画像として直接ピクチャメモリ109に記憶される。ピクチャメモリ109に記憶された再構成画像は出力画像として出力される他、インター予測部106において参照される。
図2は、図1に示した動画像復号装置を動画像復号部201として含むコンテンツ情報処理装置の構成例を示している。この装置は、さらに処理負荷検出部202を備える。この処理負荷検出部202は、動画像復号部201から動画像復号処理の処理負荷情報を取得する他、音声・オーディオ信号の復号処理、レンダリング処理等、システムの他の処理負荷情報を取得し、入力された負荷情報より全体の負荷を算出し、その負荷情報を動画像復号部201に通知する。
上記負荷情報は、動画像復号部201の中で、図1におけるインター予測省略判定部110に入力される。
ここで、本実施形態では、装置全体で行う各種処理の負荷を検出し、負荷が高い場合にインター予測部306の処理を適応的に省略することによりデコード処理量を削減するものとする。しかし、インター予測処理を無条件に省略、簡略化すると画像が著しく劣化してしまう。そこで、ピクチャ、スライス、マクロブロックの符号化モード情報に応じて、インター予測部306の処理量が特に多くなるBピクチャ(Bスライス,双予測部分)のみ優先的に簡略化して処理量の特に多い箇所だけを削減することで、画質の劣化を最低限に抑えながら処理量の削減を図る。
以下、上記の処理を実現するインター予測省略判定部110の具体的な処理動作を図3乃至図8を参照して説明する。
図3は省略判定を簡単に実現する場合の処理手順を示すフローチャートである。図3において、復号対象(ピクチャ、スライス、マクロブロック)のループ処理が開始されると、省略条件に適合するか否かを判断する(S101)。適合しない場合にはそのままループ処理を継続させ、適合する場合には復号対象(ピクチャ、スライス、マクロブロック)のインター予測処理を省略するように指示を出す(S102)。
図4は、図3に示した処理手順に手を加えてより適切に省略判定を行う処理手順を示すフローチャートである。このため、図4において、図3と同一部分には同一符号を付して示し、ここでは特徴となる部分について説明する。
図4において、復号対象(ピクチャ、スライス、マクロブロック)のループ処理が開始されると、処理負荷検出部202からの制御情報に基づいて負荷の程度に応じた条件判定用の閾値を設定し(S103)、この閾値を使用して省略条件に適合するか否かを判断する(S104)。
図5は、スライス単位のループ処理が行われる場合に、インター予測部の処理量が特に多くなるBピクチャのBスライスのみ優先的に簡略化を行う場合の処理手順を示すフローチャートである。尚、図5においても図3と同一部分には同一符号を付して示し、ここではその説明を省略する。
図5において、スライス単位のループ処理が開始された場合、Bスライスか否かを判断する(S105)。Bスライスでなければそのままループ処理を継続させる。Bスライスの場合には、復号対象スライスのインター予測処理を簡略化する(S106)。簡略化の方法としては、1/4画素精度の輝度の補間フィルタリングを1/2画素精度、整数画素精度に丸める(近似する)、1/8画素精度の色差の補間フィルタリングを整数画素精度に丸める(近似する)等がある。
図6は、ピクチャ単位のループ処理が行われる場合に、図5に示した処理手順に手を加えてより的確に簡略化可能とした処理手順を示すフローチャートである。このため、図6において、図3及び図7と同一部分には同一符号を付して示し、ここでは特徴となる部分について説明する。
図6において、ピクチャ単位のループ処理が開始されると、負荷の程度から閾値=定数またはそれまでのピクチャにおけるBスライスの割合の平均値(必要に応じて+定数)を設定し(S107)、この閾値をBスライスの割合が越えるか否かを判定し(S108)、越えた場合にのみ、復号対象のピクチャのインター予測処理を簡略化する(S106)。
図7は、マクロブロック単位でループ処理が行われる場合に、インター予測部の処理量が特に多くなるBピクチャの双予測部分のみ優先的に簡略化を行う場合の処理手順を示すフローチャートである。尚、図7においても図3と同一部分には同一符号を付して示し、ここではその説明を省略する。
図7において、マクロブロック単位のループ処理が開始された場合、双予測マクロブロックか否かを判断する(S110)。双予測マクロブロックでなければそのままループ処理を継続させる。双予測マクロブロックの場合には、復号対象マクロブロックのインター予測処理を簡略化させる(S111)。簡略化の方法としては、1/4画素精度の輝度の補間フィルタリングを1/2画素精度、整数画素精度に丸める(近似する)、1/8画素精度の色差の補間フィルタリングを整数画素精度に丸める(近似する)等がある。
図8は、ピクチャ(スライス)単位でループ処理が行われる場合に、図7に示した処理手順に手を加えてより的確に簡略化可能とした処理手順を示すフローチャートである。このため、図8において、図3及び図7と同一部分には同一符号を付して示し、ここでは特徴となる部分について説明する。
図8において、ピクチャ(スライス)単位のループ処理が開始されると、負荷の程度から閾値=定数またはそれまでのピクチャ(スライス)における双予測マクロブロックの割合の平均値(必要に応じて+定数)を設定し(S112)、この閾値を双予測マクロブロックの割合が越えるか否かを判定し(S113)、越えた場合にのみ、復号対象のピクチャ(スライス)のインター予測処理を簡略化する(S114)。
以上述べた処理によれば、高負荷状態でインター予測の処理軽減が要求される場合に、ピクチャ、スライス、マクロブロックの符号化モード情報に応じて、インター予測部106の処理量が特に多くなるBピクチャ(Bスライス,双予測部分)のみ優先的に簡略化する等、処理量の特に多い箇所だけを削減するようにしているので、画質の劣化を最低限に抑えながら処理量の削減を図ることができる。
(実施例)
以下、具体的に段階的な簡略化の手法について説明する。
簡略化の種類として、輝度の補間フィルタリングに対する処理と色差の補間フィルタリングに対する処理に大別される。輝度の補間フィルタリングについては、
(1)補間フィルタリングの段数を制限する。
(2)フィルタのタップ数を減らす。
(3)水平方向、垂直方向の補間のうち片方だけにする。
色差の補間フィルタリングに対しては、細かく制御しても効果が少ないので、オン・オフのみの制御で十分と考えられる。
特に、インター予測の輝度の補間画像生成は、6タップのフィルタ処理を用いて補間画像を生成するため処理量が多く、デコード処理全体の1/3程度を占めることがある。そこで、負荷が高い場合にインター予測を簡易的に行うことによりデコード処理量を軽減するものとし、負荷の度合いにより、フィルタ処理無し、1/2画素フィルタのみ、少ないタップ数のフィルタ処理などを段階的に切り替えて処理を軽減する。以下、具体例をあげて説明する。
図9はインター予測信号生成におけるフィルタリング処理の様子を示すものである。水平または垂直のいずれかが1/2画素の位置にある画素b,h,m,sは、整数画素(A,B,C,…)から直接1/2画素フィルタリングを行って生成する。水平と垂直の両方が1/2画素の位置にある画素jは、整数画素から1/2画素フィルタリングを行ってaa,bb,cc,…を生成し、さらに1/2画素フィルタリングを行って生成する。1/4画素の位置にあるa,c,e,f,g,…は整数画素及び1/2画素に対して1/4画素フィルタリングを行って生成する。すなわち、代表値b,h,j,a,f,rは以下のようにして求められる。
b=(E−5F+20G+20H−5I+J)/32 (1)
h=(A−5C+20G+20M−5R+T)/32 (2)
j=(aa−5bb+20b+20s−5gg+hh)/32 (3)
a=(G+b)/2 (4)
f=(b+j)/2 (5)
r=(m+s)/2 (6)
図10は、図12に示す処理内容に対する通常デコード処理として、整数画素の判断処理(S201)と1/2画素フィルタリング処理S301と1/4画素フィルタリング処理S401の処理手順を示すフローチャートである。図10において、まず整数画素の判断(S201)で整数でないと判断された場合、1/2画素フィルタリング処理S301により、画素位置がb,sの場合には1/2画素水平6タップフィルタを用い、画素位置がh,mの場合には1/2画素垂直6タップフィルタを用い、画素位置がjの場合には1/2画素水平6タップフィルタ及び1/2画素垂直6タップフィルタの両方を用いて処理する。
続いて1/4画素フィルタリング処理S401では、画素位置がb,h,iのときはそのまま、画素位置がa,c,i,kの場合には1/4画素水平2タップフィルタを用い、画素位置がd,n,f,qの場合には1/4画素垂直2タップフィルタを用い、画素位置がe,g,p,rの場合には1/4画素斜め2タップフィルタを用いて処理する。
図11は、上記の通常デコード処理に対し、負荷レベルに応じてフィルタリング処理、タップ数を減らす場合の第1の実施例を示すフローチャートである。
図11において、ステップS501で通常デコードと判定された場合には、1/2画素6タップフィルタ、1/4画素2タップフィルタを用いて1/2フィルタリング処理、1/4フィルタリング処理を行う。ステップS502において、負荷レベル1と判定された場合には、1/2画素6タップフィルタのみを用いて1/4画素フィルタリング処理のみを省略(1/2画素と同じ処理)する。ステップS503において、負荷レベル2と判定された場合には、1/2画素2タップフィルタを用いてタップ数を削減する。さらに、ステップS503において、負荷レベル3と判定された場合には、フィルタリング処理を省略する(整数画素と同じ処理)。
図12は、上記の通常デコード処理に対し、負荷レベルに応じてフィルタリング処理、タップ数を減らす場合の第2の実施例を示すフローチャートである。この実施例において、第1の実施例と異なる点は、ステップS502の判定で負荷レベル1と判定された場合に、1/2画素2タップフィルタを用いてタップ数を削減し、1/4画素2タップフィルタを用いて1/4フィルタリング処理を実行するようにした点にある。
図13は、上記の通常デコード処理に対し、負荷レベルに応じてフィルタリング処理、タップ数を減らす場合の第3の実施例を示すフローチャートである。この実施例では、負荷レベル1で、1/2画素補間で水平・垂直方向に6タップフィルタリング処理を2回行う画素位置jのみ垂直方向のフィルタリング処理を省略する処理手順を示している。他は第1の実施例と同じであるので、ここではその説明を省略する。以上説明した実施例では、インター予測部に動きベクトルと共に負荷レベルを入力し、インター予測部の中で負荷レベル応じて簡略化する補間フィルタリング処理を決定する構成例を示したが、インター予測省略判定部において、インター予測に入力する動きベクトルの精度を丸めることによって同様の簡略化を実現することも出来る。
例えば負荷レベル1と判定された場合、動きベクトルの精度を1/2画素精度に丸めることによって、図11のステップS502で負荷レベル1と判定された場合と同様に1/4画素フィルタリング処理を省略することが出来る。また負荷レベル3と判定された場合には、動きベクトルの精度を整数画素精度に丸めることによって、図11のステップS503で負荷レベル3と判定された場合と同様にフィルタリング処理を省略することが出来る。
動きベクトルの精度が水平、垂直成分ともに1/2画素精度の場合に、垂直成分の精度を整数画素精度に丸めることによって、図12において負荷レベル1と判定された場合と同様に、画素位置jのみ垂直方向のフィルタリング処理を省略することが出来る。
また色差の動きベクトルを整数画素精度に丸めることによって、色差の補間フィルタリングを省略することが出来る。
これによって、インター予測の補間フィルタリング処理の構成を変更することなく、補間フィルタリングの簡略化を実現することが出来る。例えばハードウェアで補間フィルタリング処理を行う場合にも、あらかじめ補間フィルタリングに必要な動きベクトルの精度を丸めることによって、ハードウェアの内容を変更せずに補間フィルタリングの簡略化を実現することが出来る。
以上の処理手順を適用すれば、負荷レベルに応じてインター予測処理におけるフィルタリング処理、タップ数を適切に削減可能となり、画質劣化を抑制しつつ効果的に演算量を減らし、これによって負荷軽減に寄与することができる。
尚、本発明は、上記のような動画像復号方法として実現することができるだけでなく、このような動画像復号方法が含む特徴的なステップを手段として備える動画像復号方法として実現することもできる。また、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM等の記録媒体やインターネット等の伝送媒体を介して配信することもできる。
このように、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
本発明の一実施形態とする、H.264に基づく標準化仕様の動画像復号装置の構成を示すブロック図。 図1に示した動画像復号装置を動画像復号部として含むコンテンツ情報処理装置の構成例を示すブロック図。 図1におけるインター予測省略判定部において、省略判定を簡単に実現する場合の処理例を示すフローチャート。 図1におけるインター予測省略判定部において、図3に示した処理手順に手を加えてより適切に省略判定を行う処理手順を示すフローチャート。 図1におけるインター予測省略判定部において、スライス単位のループ処理が行われる場合に、インター予測部の処理量が特に多くなるBピクチャのBスライスのみ優先的に簡略化を行う場合の処理手順を示すフローチャート。 図1におけるインター予測省略判定部において、ピクチャ単位のループ処理が行われる場合に、図5に示した処理手順に手を加えてより的確に簡略化可能とした処理手順を示すフローチャート。 図1におけるインター予測省略判定部において、マクロブロック単位でループ処理が行われる場合に、インター予測部の処理量が特に多くなるBピクチャの双予測部分のみ優先的に簡略化を行う場合の処理手順を示すフローチャート。 図1におけるインター予測省略判定部において、ピクチャ(スライス)単位でループ処理が行われる場合に、図7に示した処理手順に手を加えてより的確に簡略化可能とした処理手順を示すフローチャート。 インター予測信号生成におけるフィルタリング処理の様子を示す概念図。 図9に示す処理内容に対する通常デコード処理として、整数画素の判断処理(S301)と1/2画素フィルタリング処理と1/4画素フィルタリング処理の処理手順を示すフローチャート。 図10の通常デコード処理に対し、負荷レベルに応じてフィルタリング処理、タップ数を減らす場合の第1の実施例を示すフローチャート。 図10の通常デコード処理に対し、負荷レベルに応じてフィルタリング処理、タップ数を減らす場合の第2の実施例を示すフローチャート。 図10の通常デコード処理に対し、負荷レベルに応じてフィルタリング処理、タップ数を減らす場合の第3の実施例を示すフローチャート。
符号の説明
101…可変長変換部(エントロピー復号部)、102…逆量子化部、103…逆変換部、104…符号化モード制御部、105…イントラ内予測部、106…インター間予測部、107…残差加算部、108…デブロッキングフィルタ部、109…ピクチャメモリ、110…インター予測省略判定部。

Claims (13)

  1. 圧縮符号化された動画像ストリームを復号する動画像復号装置において、
    前記動画像ストリーム及びその既復号画像から、復号対象の符号化モードに基づいてイントラ予測画像及びインター予測画像のいずれか一方を選択的に生成する予測復号手段と、
    前記動画像ストリームから、復号対象の量子化パラメータに基づいて残差復号画像を生成する残差復号手段と、
    前記予測復号手段で選択的に生成されるイントラ予測画像及びインター予測画像と前記残差復号部によって生成される残差復号画像とを加算して復号画像を生成する残差加算手段と、
    前記残差加算手段で生成された復号画像に対してブロック歪みを低減するためのデブロッキングフィルタ処理を施すフィルタ処理手段と、
    前記動画像ストリームから符号化モードに関する情報を抽出し、その抽出情報及び前記負荷情報に基づいて、前記インター予測処理を簡略化するか否かを判定する判定手段と、
    前記判定手段の判定結果に基づいて前記インター予測処理を段階的に簡略化する簡略化手段と、
    を具備することを特徴とする動画像復号装置。
  2. 前記判定手段は、前記符号化モード情報から復号対象がピクチャ、スライス、マクロブロックいずれかであり、高負荷状態であるとき、インター予測処理の簡略化すべきと判定することを特徴とする請求項1記載の動画像復号装置。
  3. 前記復号対象には、スライス単位のループ処理時におけるBスライス、ピクチャ単位のループ処理時におけるBスライスの割合、マクロブロック単位のループ処理時における双予測マクロブロック、ピクチャまたはスライス単位のループ処理時における双予測マクロブロックの割合を用いることを特徴とする請求項1記載の動画像復号装置。
  4. 前記判定手段は、前記負荷の程度から判定の基準となる閾値を設定し、この閾値との比較結果に基づいて前記簡略化の判定を行うことを特徴とする請求項1記載の動画像復号装置。
  5. 前記判定の基準となる閾値には、定数値、または復号された過去のピクチャあるいはスライスにおける前記復号対象の平均値、またはその平均値にオフセット値を加算した値を用いることを特徴とする請求項4記載の動画像復号装置。
  6. 前記簡略化手段は、フィルタリング処理を段階的に省略することを特徴とする請求項1記載の動画像復号装置。
  7. 前記簡略化手段は、動きベクトルの精度を段階的に近似することによって、フィルタリング処理を段階的に省略することを特徴とする請求項6記載の動画像復号装置。
  8. 前記簡略化手段は、画素フィルタのタップ数を段階的に省略することを特徴とする請求項1記載の動画像復号装置。
  9. 前記簡略化手段は、垂直画素フィルタリング処理、水平画素フィルタリング処理のいずれか一方を省略することを特徴とする請求項1記載の動画像復号装置。
  10. 前記簡略化手段は、動きベクトルの垂直、水平成分のいずれか一方の精度を近似することによって、垂直画素フィルタリング処理、水平画素フィルタリング処理のいずれか一方を省略することを特徴とする請求項9記載の動画像復号装置。
  11. 前記簡略化手段は、色差情報のフィルタリング処理をオン・オフ処理することを特徴とする請求項1記載の動画像復号装置。
  12. 前記簡略化手段は、色差情報の動きベクトルの精度を近似することによって、色差情報のフィルタリング処理をオン・オフすることを特徴とする請求項11記載の動画像復号装置。
  13. 情報処理装置に用いられ、圧縮符号化された動画像ストリームを復号する動画像復号方法において、
    前記動画像ストリーム及びその既復号画像から、復号対象の符号化モードに基づいてイントラ予測画像及びインター予測画像のいずれか一方を選択的に生成し、
    前記動画像ストリームから、復号対象の量子化パラメータに基づいて残差復号画像を生成し、
    前記予測復号手段で選択的に生成されるイントラ予測画像及びインター予測画像と前記残差復号部によって生成される残差復号画像とを加算して復号画像を生成し、
    前記残差加算で生成された復号画像に対してブロック歪みを低減するためのデブロッキングフィルタ処理を施し、
    前記動画像ストリームから符号化モードに関する情報を抽出し、その抽出情報及び前記負荷情報に基づいて、前記インター予測処理を簡略化するか否かを判定し、
    前記判定結果に基づいて前記インター予測処理を段階的に簡略化することを特徴とする動画像復号装置。
JP2006053838A 2006-02-28 2006-02-28 動画像復号装置及び動画像復号方法 Expired - Fee Related JP4987322B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006053838A JP4987322B2 (ja) 2006-02-28 2006-02-28 動画像復号装置及び動画像復号方法
US11/711,024 US8630347B2 (en) 2006-02-28 2007-02-27 Video decoding apparatus and video decoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006053838A JP4987322B2 (ja) 2006-02-28 2006-02-28 動画像復号装置及び動画像復号方法

Publications (2)

Publication Number Publication Date
JP2007235456A true JP2007235456A (ja) 2007-09-13
JP4987322B2 JP4987322B2 (ja) 2012-07-25

Family

ID=38533379

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006053838A Expired - Fee Related JP4987322B2 (ja) 2006-02-28 2006-02-28 動画像復号装置及び動画像復号方法

Country Status (2)

Country Link
US (1) US8630347B2 (ja)
JP (1) JP4987322B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009035022A1 (ja) 2007-09-11 2009-03-19 Autoliv Development Ab シートベルトのバックル装置及びその製造方法
WO2010143583A1 (ja) * 2009-06-09 2010-12-16 ソニー株式会社 画像処理装置および方法
JP2012129951A (ja) * 2010-12-17 2012-07-05 Toshiba Corp 動画像復号装置及び動画像復号方法
WO2012172659A1 (ja) * 2011-06-15 2012-12-20 株式会社東芝 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
JP2013243743A (ja) * 2013-07-17 2013-12-05 Toshiba Corp 動画像符号化方法、復号化方法、符号化装置および復号化装置
JP2014200108A (ja) * 2014-06-26 2014-10-23 ソニー株式会社 画像復号装置および方法、記録媒体、並びにプログラム
JP2015188257A (ja) * 2015-06-17 2015-10-29 ソニー株式会社 画像復号装置および方法、記録媒体、並びにプログラム
CN105357534A (zh) * 2009-01-29 2016-02-24 杜比实验室特许公司 视频编码方法及解码视频信号的方法
US9712821B2 (en) 2009-07-31 2017-07-18 Sony Corporation Image processing apparatus and method
US9918108B2 (en) 2009-07-31 2018-03-13 Velos Media, Llc Image processing device and method

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4643437B2 (ja) * 2005-12-27 2011-03-02 株式会社東芝 情報処理装置
JP4643453B2 (ja) * 2006-01-10 2011-03-02 株式会社東芝 情報処理装置及び情報処理装置の動画像復号方法
WO2009110160A1 (ja) * 2008-03-07 2009-09-11 株式会社 東芝 動画像符号化/復号化方法及び装置
US8917769B2 (en) 2009-07-03 2014-12-23 Intel Corporation Methods and systems to estimate motion based on reconstructed reference frames at a video decoder
US9654792B2 (en) 2009-07-03 2017-05-16 Intel Corporation Methods and systems for motion vector derivation at a video decoder
US20120294370A1 (en) * 2010-10-06 2012-11-22 Yi-Jen Chiu System and method for low complexity motion vector derivation
CN102986224B (zh) 2010-12-21 2017-05-24 英特尔公司 用于增强的解码器侧运动向量导出处理的系统及方法
JP5850214B2 (ja) 2011-01-11 2016-02-03 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
CN106658014B (zh) 2011-06-30 2021-01-08 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
AR092786A1 (es) * 2012-01-09 2015-05-06 Jang Min Metodos para eliminar artefactos de bloque
KR102290420B1 (ko) 2013-04-05 2021-08-17 삼성전자주식회사 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
CN104244008B (zh) * 2014-09-12 2017-05-03 宁波大学 一种深度视频编码方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11239352A (ja) * 1997-12-10 1999-08-31 Matsushita Electric Ind Co Ltd 画像処理方法及び画像処理装置、並びにデータ記憶媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995013682A1 (en) * 1993-11-08 1995-05-18 Sony Corporation Animation encoding method, animation decoding method, animation recording medium and animation encoder
JPH11122624A (ja) * 1997-10-16 1999-04-30 Matsushita Electric Ind Co Ltd ビデオデコーダ処理量を低減する方法および装置
KR100548891B1 (ko) * 1998-06-15 2006-02-02 마츠시타 덴끼 산교 가부시키가이샤 음성 부호화 장치 및 음성 부호화 방법
US7319415B2 (en) * 2002-05-01 2008-01-15 Thomson Licensing Chroma deblocking filter
US7310371B2 (en) * 2003-05-30 2007-12-18 Lsi Corporation Method and/or apparatus for reducing the complexity of H.264 B-frame encoding using selective reconstruction
JP4369318B2 (ja) 2003-07-24 2009-11-18 パナソニック株式会社 符号化モード決定装置、画像符号化装置、符号化モード決定方法、および符号化モード決定プログラム
JP2005020771A (ja) 2004-08-09 2005-01-20 Toshiba Corp 動画像復号化装置および動画像復号化方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11239352A (ja) * 1997-12-10 1999-08-31 Matsushita Electric Ind Co Ltd 画像処理方法及び画像処理装置、並びにデータ記憶媒体

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009035022A1 (ja) 2007-09-11 2009-03-19 Autoliv Development Ab シートベルトのバックル装置及びその製造方法
US10362334B2 (en) 2009-01-29 2019-07-23 Dolby Laboratories Licensing Corporation Coding and decoding of interleaved image data
US11973980B2 (en) 2009-01-29 2024-04-30 Dolby Laboratories Licensing Corporation Coding and decoding of interleaved image data
US11622130B2 (en) 2009-01-29 2023-04-04 Dolby Laboratories Licensing Corporation Coding and decoding of interleaved image data
US11284110B2 (en) 2009-01-29 2022-03-22 Dolby Laboratories Licensing Corporation Coding and decoding of interleaved image data
US10701397B2 (en) 2009-01-29 2020-06-30 Dolby Laboratories Licensing Corporation Coding and decoding of interleaved image data
US10382788B2 (en) 2009-01-29 2019-08-13 Dolby Laboratories Licensing Corporation Coding and decoding of interleaved image data
CN105357534A (zh) * 2009-01-29 2016-02-24 杜比实验室特许公司 视频编码方法及解码视频信号的方法
WO2010143583A1 (ja) * 2009-06-09 2010-12-16 ソニー株式会社 画像処理装置および方法
US10491894B2 (en) 2009-07-31 2019-11-26 Sony Corporation Image processing apparatus and method
US10721494B2 (en) 2009-07-31 2020-07-21 Velos Media, Llc Image processing device and method
US9918108B2 (en) 2009-07-31 2018-03-13 Velos Media, Llc Image processing device and method
US10182231B2 (en) 2009-07-31 2019-01-15 Sony Corporation Image processing apparatus and method
US9712821B2 (en) 2009-07-31 2017-07-18 Sony Corporation Image processing apparatus and method
US11405652B2 (en) 2009-07-31 2022-08-02 Velos Media, Llc Image processing device and method
US10855984B2 (en) 2009-07-31 2020-12-01 Sony Corporation Image processing apparatus and method
US9872023B2 (en) 2009-07-31 2018-01-16 Sony Corporation Image processing apparatus and method
US8711942B2 (en) 2010-12-17 2014-04-29 Kabushiki Kaisha Toshiba Moving picture decoding device and moving picture decoding method
JP2012129951A (ja) * 2010-12-17 2012-07-05 Toshiba Corp 動画像復号装置及び動画像復号方法
WO2012172659A1 (ja) * 2011-06-15 2012-12-20 株式会社東芝 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
JP2013243743A (ja) * 2013-07-17 2013-12-05 Toshiba Corp 動画像符号化方法、復号化方法、符号化装置および復号化装置
JP2014200108A (ja) * 2014-06-26 2014-10-23 ソニー株式会社 画像復号装置および方法、記録媒体、並びにプログラム
JP2015188257A (ja) * 2015-06-17 2015-10-29 ソニー株式会社 画像復号装置および方法、記録媒体、並びにプログラム

Also Published As

Publication number Publication date
US8630347B2 (en) 2014-01-14
JP4987322B2 (ja) 2012-07-25
US20070223585A1 (en) 2007-09-27

Similar Documents

Publication Publication Date Title
JP4987322B2 (ja) 動画像復号装置及び動画像復号方法
JP4643454B2 (ja) 動画像復号装置及び動画像復号方法
TWI400960B (zh) Image processing apparatus and method
JP4908180B2 (ja) 動画像符号化装置
US9800869B2 (en) Method and apparatus for efficient slice header processing
KR101502611B1 (ko) 공유된 비디오 코딩 정보에 기반된 다수의 프로파일 및 표준들 그리고 다수의 시간적으로 스케일된 비디오를 갖는 실시간 비디오 코딩 시스템
KR20160106617A (ko) 비디오 코딩을 위한 적응 모션 벡터 해상도 시그널링
KR20120140592A (ko) 움직임 보상의 계산 복잡도 감소 및 부호화 효율을 증가시키는 방법 및 장치
KR20120079180A (ko) 동화상 복호화 방법 및 장치
JP2009021908A (ja) 動画像符号化装置及びプログラム
JP2006518568A (ja) ビデオ符号化
WO2012098845A1 (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
JP2009290463A (ja) 符号化装置/復号化装置、符号化方法/復号化方法及びプログラム
JP2007013298A (ja) 画像符号化装置
JP4643437B2 (ja) 情報処理装置
JP2007235447A (ja) 情報処理装置及び情報処理装置の動画像復号方法
JP2011193363A (ja) 符号化装置、復号装置及びプログラム
JP2011010197A (ja) 画像符号化装置及び画像復号装置
JP4357560B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2007251815A (ja) 再符号化装置及び再符号化用プログラム
JP5513333B2 (ja) 動画像符号化装置、動画像符号化方法、およびプログラム
AU2015255215B2 (en) Image processing apparatus and method
CN113243107A (zh) 图像编码设备、图像编码方法、图像解码设备和图像解码方法
JP2007221202A (ja) 動画像符号化装置及び動画像符号化プログラム
JP5750191B2 (ja) 画像復号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080716

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120425

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120529

A072 Dismissal of procedure [no reply to invitation to correct request for examination]

Free format text: JAPANESE INTERMEDIATE CODE: A072

Effective date: 20121009

LAPS Cancellation because of no payment of annual fees