JP2018164296A - 映像符号化装置及び映像復号装置 - Google Patents

映像符号化装置及び映像復号装置 Download PDF

Info

Publication number
JP2018164296A
JP2018164296A JP2018117212A JP2018117212A JP2018164296A JP 2018164296 A JP2018164296 A JP 2018164296A JP 2018117212 A JP2018117212 A JP 2018117212A JP 2018117212 A JP2018117212 A JP 2018117212A JP 2018164296 A JP2018164296 A JP 2018164296A
Authority
JP
Japan
Prior art keywords
step size
quantization step
image
prediction
quantization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018117212A
Other languages
English (en)
Other versions
JP6558477B2 (ja
Inventor
啓史 青木
Hirofumi Aoki
啓史 青木
慶一 蝶野
Keiichi Chono
慶一 蝶野
裕三 仙田
Yuzo Senda
裕三 仙田
健太 先崎
Kenta Senzaki
健太 先崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=46797859&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP2018164296(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2018164296A publication Critical patent/JP2018164296A/ja
Application granted granted Critical
Publication of JP6558477B2 publication Critical patent/JP6558477B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

【課題】高画質な動画像符号化を実現可能な映像符号化装置を提供する。
【解決手段】映像符号化装置は、入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して圧縮符号化処理を行い、量子化の粒度を制御する量子化ステップサイズを符号化する量子化ステップサイズ符号化手段を備え、量子化ステップサイズ符号化手段は、既に符号化済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて量子化の粒度を制御する量子化ステップサイズを予測する。
【選択図】図４

Description

本発明は、映像符号化技術、特に、再構築画像を参照しての予測と量子化によるデータ圧縮とを行う映像符号化技術に関する。
一般的な映像符号化装置は、入力映像の各フレームに対し、所定の映像符号化方式に準拠した符号化処理を行うことによって、符号化データすなわちビットストリームを生成する。所定の映像符号化方式の代表例である、非特許文献１に記載されたISO/IEC 14496-10 Advanced Video Coding （ＡＶＣ）では、各フレームがＭＢ（Macro Block）とよばれる１６×１６画素サイズのブロックに分割され、さらに、ＭＢが４×４画素サイズのブロックに分割され、ＭＢを符号化の最小構成単位とする。図２３に、フレームのカラーフォーマットがYCbCr 4:2:0フォーマットであり、空間解像度がＱＣＩＦ（Quarter Common Intermediate Format）の場合におけるブロック分割の例を示す。
分割された各画像ブロックは、順次、映像符号化装置に入力され、符号化される。図２４は、ＡＶＣに準拠したビットストリームを生成する一般的な映像符号化装置の構成の一例を示すブロック図である。以下、図２４を参照して、一般的な映像符号化装置の構成と動作を説明する。
図２４に示す映像符号化装置は、周波数変換器１０１と、量子化器１０２と、可変長符号化器１０３と、量子化制御器１０４と、逆量子化器１０５と、逆周波数変換器１０６と、フレームメモリ１０７と、フレーム内予測器１０８と、フレーム間予測器１０９と、予測選択器１１０とを備える。
映像符号化装置に入力された画像は、予測選択器１１０を介してフレーム内予測器１０８又はフレーム間予測器１０９より供給される予測画像を減じられた後、予測誤差画像として周波数変換器１０１に入力される。
周波数変換器１０１は、入力された予測誤差画像を空間領域から周波数領域に変換し、係数画像として出力する。
量子化器１０２は、周波数変換器１０１より供給された係数画像を、量子化制御器１０４より供給される、量子化の粒度を制御するための量子化ステップサイズを用いて量子化し、量子化係数画像として出力する。
可変長符号化器１０３は、量子化器１０２より供給される量子化係数画像をエントロピー符号化する。また、量子化制御器１０４から供給される前記量子化ステップサイズと、予測選択器１１０から供給される画像予測パラメータとを併せて符号化する。これらの符号化データは多重化され、ビットストリームとして映像符号化装置から出力される。
ここで、図２５を用いて、可変長符号化器１０３における量子化ステップサイズの符号化処理を説明する。可変長符号化器１０３において量子化ステップサイズの符号化を行う量子化ステップサイズ符号化器は、図２５に示されるように、量子化ステップサイズバッファ１０３１１と、エントロピー符号化器１０３１２とを含む。
量子化ステップサイズバッファ１０３１１は、直前に符号化した画像ブロックに対して割り当てた量子化ステップサイズQ(i-1)を保持する。
入力された量子化ステップサイズQ(i)は、以下の（１）式に示すように、量子化ステップサイズバッファ１０３１１から供給される直前の量子化ステップサイズQ(i-1)を減じられた後、差分量子化ステップサイズdQ(i) として、エントロピー符号化器１０３１２に入力される。
dQ(i) = Q(i) − Q(i-1) ・・・（１）
エントロピー符号化器１０３１２は、入力された差分量子化ステップサイズdQ(i) をエントロピー符号化し、量子化ステップサイズに対応する符号として出力する。
以上で、量子化ステップサイズ符号化処理の説明を終了する。
量子化制御器１０４は、現在の入力画像ブロックに対する量子化ステップサイズを決定する。一般には、量子化制御器１０４は、可変長符号化器１０３の出力符号量を監視し、当該画像ブロックに対する出力符号量が小さくなるように量子化ステップサイズを大きくしたり、逆に、当該画像ブロックに対する出力符号量が大きくなるように量子化ステップサイズを小さくしたりする。量子化ステップサイズを増減することによって、映像符号化装置が入力動画像を目標符号量で符号化できるようにする。決定された量子化ステップサイズは、量子化器１０２及び可変長符号化器１０３に供給される。
量子化器１０２より出力された量子化係数画像は、以降の画像ブロックの符号化において予測に用いるために、逆量子化器１０５によって逆量子化されて、係数画像となる。逆量子化器１０５より出力された係数画像は、逆周波数変換器１０６によって空間領域に戻されて、予測誤差画像となる。予測誤差画像は、予測画像を加えられた後、再構築画像としてフレームメモリ１０７及びフレーム内予測器１０８に入力される。
フレームメモリ１０７は、過去に入力され符号化された画像フレームの再構築画像を蓄積する。フレームメモリ１０７に蓄積される画像フレームを、参照フレームと呼ぶ。
フレーム内予測器１０８は、現在符号化中の画像フレーム内において過去に符号化された画像ブロックの再構築画像を参照して、予測画像を生成する。
フレーム間予測器１０９は、フレームメモリ１０７より供給される参照フレームを参照して、予測画像を生成する。
予測選択器１１０は、フレーム内予測器１０８から供給される予測画像とフレーム間予測器１０９から供給される予測画像とを比較して、入力画像に近い側の予測画像を選択して出力する。また、フレーム内予測器１０８又はフレーム間予測器１０９が行った予測方法に関する情報（画像予測パラメータと呼ぶ）を出力し、可変長符号化器１０３に供給する。
一般的な映像符号化装置は、以上の処理によって入力動画像を圧縮符号化し、ビットストリームを生成する。
出力されたビットストリームは、映像復号装置に伝達され、映像復号装置によって復号処理が行われて、動画像として復元される。図２６は、一般的な映像符号化装置が出力したビットストリームを復号し復号映像を得る一般的な映像復号装置の構成の一例を示す。以下、図２６を参照して、一般的な映像復号装置の構成と動作を説明する。
図２６に示す映像復号装置は、可変長復号器２０１と、逆量子化器２０２と、逆周波数変換器２０３と、フレームメモリ２０４と、フレーム内予測器２０５と、フレーム間予測器２０６と、予測選択器２０７とを備える。
可変長復号器２０１は、入力されたビットストリームを可変長復号し、逆量子化の粒度を制御するための量子化ステップサイズと、量子化係数画像と、画像予測パラメータとを得る。前記量子化ステップサイズと量子化係数画像は、逆量子化器２０２に供給される。画像予測パラメータは、予測選択器２０７に供給される。
逆量子化器２０２は、入力された量子化係数画像を、入力された量子化ステップサイズに基づいて逆量子化して、係数画像として出力する。
逆周波数変換器２０３は、逆量子化器２０２から供給される係数画像を周波数領域から空間領域に変換し、予測誤差画像として出力する。予測誤差画像は、予測選択器２０７から供給される予測画像と加算されて、復号画像となる。復号画像は、出力画像として映像復号装置から出力されると同時に、フレームメモリ２０４及びフレーム内予測器２０５に入力される。
フレームメモリ２０４は、過去に復号された画像フレームを蓄積する。フレームメモリ２０４に蓄積される画像フレームを、参照フレームと呼ぶ。
フレーム内予測器２０５は、現在復号中の画像フレーム内において過去に復号された画像ブロックの再構築画像を、可変長復号器２０１より供給される画像予測パラメータに基づいて参照して、予測画像を生成する。
フレーム間予測器２０６は、フレームメモリ２０４より供給される参照フレームを、可変長復号器２０１より供給される画像予測パラメータに基づいて参照して、予測画像を生成する。
予測選択器２０７は、フレーム内予測器２０５とフレーム間予測器２０６から供給される予測画像を、可変長復号器２０１から供給される画像予測パラメータに基づいて選択する。
ここで、図２７を用いて、可変長復号器２０１における量子化ステップサイズの復号処理を説明する。可変長復号器２０１において、量子化ステップサイズの復号を行う量子化ステップサイズ復号器は、図２７に示されるように、エントロピー復号器２０１１１と、量子化ステップサイズバッファ２０１１２とを含む。
エントロピー復号器２０１１１は、入力された符号をエントロピー復号し、差分量子化ステップサイズdQ(i) を出力する。
量子化ステップサイズバッファ２０１１２は、直前の量子化ステップサイズQ(i-1)を保持する。
以下の（２）式に示すように、エントロピー復号器２０１１１により生成された差分量子化ステップサイズdQ(i) に、量子化ステップサイズバッファ２０１１２から供給されるQ(i-1)が加算される。加算値は、量子化ステップサイズQ(i)として出力されると同時に、量子化ステップサイズバッファ２０１１２に入力される。
Q(i) = Q(i-1) + dQ(i) ・・・（２）
以上で、量子化ステップサイズ復号処理の説明を終了する。
一般的な映像復号装置は、以上の処理によって入力ビットストリームを復号し、動画像を生成する。
ところで、符号化処理によって圧縮される動画像の主観品質を保つために、一般的な映像符号化装置における量子化制御器１０４は、一般に、出力符号量を解析するだけでなく、入力画像と予測誤差画像の一方又は双方を解析して、人間の視覚感度に応じた量子化ステップサイズを決定する。すなわち、量子化制御器１０４は、視覚感度適応量子化を行う。具体的には、現符号化対象画像に対する人間の視覚感度が高いと判定された場合量子化ステップサイズを小さく、逆に、視覚感度が低いと判定された場合量子化ステップサイズを大きく設定する。そのような制御が行われることによって、視覚感度の低い領域に対して、より多くの符号量を割り当てることが可能になるので、主観画質が向上する。
視覚感度適応量子化技術として、例えば、MPEG-2 Test Model 5（TM5)で採用された、入力画像のテクスチャの複雑度に基づく適応量子化が知られている。テクスチャの複雑度は、一般に、アクティビティと呼ばれる。また、特許文献１では、入力画像のアクティビティに併せて予測画像のアクティビティを用いる適応量子化方式が提案されている。また、特許文献２では、エッジ部を考慮したアクティビティに基づく適応量子化方式が提案されている。
視覚感度適応量子化技術を用いるときに、画像フレーム内で、頻繁に量子化ステップサイズの変動が発生することが問題になる。ＡＶＣに従うビットストリームを生成する一般的な映像符号化装置では、量子化ステップサイズを符号化するにあたって、直前に符号化した画像ブロックに対する量子化ステップサイズとの差分をエントロピー符号化する。従って、符号化順序方向に対する量子化ステップサイズの変動が大きくなると、量子化ステップサイズの符号化に要する符号量が増加する。その結果、相対的に係数画像の符号化に割り当てられる符号量が減少して、画質が劣化してしまう。
符号化順序方向は画面上の視覚感度の連続性とは無関係であるため、視覚感度適応量子化技術は、必然的に量子化ステップサイズの符号化に要する符号量を増加させる。ゆえに、一般的な映像符号化装置では、視覚感度適応量子化技術を用いても、量子化ステップサイズの符号量増加に伴う画質劣化が、適応量子化技術による主観画質向上分を打ち消してしまう場合がある。すなわち、十分な画質向上を達成できないという問題がある。
この問題に対して、特許文献３には、視覚感度に応じて量子化ステップサイズを適応設定する代わりに、空間領域及び周波数領域での視覚感度に応じて、ゼロに量子化する範囲すなわちデッドゾーンを適応設定する技術が開示されている。特許文献３に記載された方式は、視覚感度が低いと判定された変換係数に対するデッドゾーンを、視覚感度が高いと判定された変換係数に対するデッドゾーンよりも広くする。そのような制御が行われることによって、量子化ステップサイズを変動させることなく、視覚感度適応量子化を行うことができる。
特許２６４６９２１号公報 特許４５２９９１９号公報 特許４６１３９０９号公報
ISO/IEC 14496-10 Advanced Video Coding "WD1: Working Draft 1 of High-Efficiency Video Coding", Document JCTVC-C403, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 3rd Meeting at Guangzhou, China, October 2010.
しかし、特許文献３に記載された技術を用いると、デッドゾーンの範囲に収まらない変換係数に対しては、視覚感度に適応した量子化を行うことができない。すなわち、視覚感度が低いと判定されても、デッドゾーンの範囲に収まらない変換係数に対しては係数符号量を削減することができない。また、量子化ステップサイズを拡大した場合には、量子化後の変換係数値はゼロ付近に集中するが、デッドゾーンを拡大した場合には、デッドゾーンの範囲に収まらない変換係数は量子化してもゼロ付近に集中しなくなる。すなわち、デッドゾーンを拡大した場合には、量子化ステップサイズを拡大した場合と比較して、エントロピー符号化による符号化効率が不十分となる。こうした理由により、一般的な符号化技術には、視覚感度が高い領域に対する符号量割当てを十分に増加させることができないという問題があるといえる。
本発明は上記の課題に鑑みてなされた発明であって、本発明の目的は、高画質な動画像の再生が可能な映像符号化装置及び映像復号装置を提供することである。
本発明による映像符号化装置は、入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化装置であって、量子化の粒度を制御する量子化ステップサイズを符号化する量子化ステップサイズ符号化手段を備え、量子化ステップサイズ符号化手段は、既に符号化済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて量子化の粒度を制御する量子化ステップサイズを予測し、過去に符号化済みの画像と所定のパラメータとを用いて符号化対象画像ブロックの予測画像を生成する予測画像生成手段をさらに備え、量子化ステップサイズ符号化手段は、予測画像の生成に用いられるパラメータを用いて量子化の粒度を制御する量子化ステップサイズを予測することを特徴とする。
本発明による映像復号装置は、入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、画像ブロックの集合として画像データの生成処理を行う映像復号装置であって、逆量子化の粒度を制御する量子化ステップサイズを復号する量子化ステップサイズ復号手段を備え、量子化ステップサイズ復号手段は、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて逆量子化の粒度を制御する量子化ステップサイズを予測するように構成され、量子化ステップサイズ復号手段は、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて逆量子化の粒度を制御する量子化ステップサイズを予測することを特徴とする。
本発明によれば、映像符号化装置において、高画質な動画像符号化が実現できる。本発明によれば、映像復号装置において、少量の符号を受信するだけで頻繁に変動する量子化ステップサイズを復号することができるので、少ない符号量で高画質な動画像の再生を行える。
本発明の第１の実施形態の映像符号化装置における量子化ステップサイズ符号化器を示すブロック図である。 符号化対象の画像ブロックと近傍画像ブロックとの一例を示す説明図である。 本発明の第２の実施形態の映像復号装置における量子化ステップサイズ復号器を示すブロック図である。 本発明の第３の実施形態の映像符号化装置における量子化ステップサイズ符号化器を示すブロック図である。 本発明の第４の実施形態の映像復号装置における量子化ステップサイズ復号器を示すブロック図である。 フレーム内予測の予測方向を示す説明図である。 フレーム間予測の例を示す説明図である。 本発明の第３の実施形態の映像符号化装置におけるフレーム間予測の動きベクトルを用いた量子化ステップサイズ予測の例を示す説明図である。 本発明による他の映像符号化装置の構成を示すブロック図である。 本発明による他の映像符号化装置における特徴的な構成要素を示すブロック図である。 量子化ステップサイズ予測パラメータの多重化の例を示したリストを示す説明図である。 本発明による他の映像復号装置の構成を示すブロック図である。 本発明による他の映像復号装置における特徴的な構成要素を示すブロック図である。 本発明の第７の実施形態の量子化ステップサイズ符号化器を示すブロック図である。 本発明の第８の実施形態の映像復号装置における量子化ステップサイズ復号器を示すブロック図である。 本発明による映像符号化装置および映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。 本発明による映像符号化装置における特徴的な構成要素を示すブロック図である。 本発明による他の映像符号化装置における特徴的な構成要素を示すブロック図である。 本発明による映像復号装置における特徴的な構成要素を示すブロック図である。 本発明による他の映像復号装置における特徴的な構成要素を示すブロック図である。 本発明による映像符号化方法における特徴的なステップを示すフローチャートである。 本発明による映像復号方法における特徴的なステップを示すフローチャートである。 ブロック分割の例を示す説明図である。 映像符号化装置の構成の一例を示すブロック図である。 一般的な映像符号化装置における量子化ステップサイズ符号化器を示すブロック図である。 映像復号装置の構成の一例を示すブロック図である。 一般的な映像復号装置における量子化ステップサイズ符号化器を示すブロック図である。
以下、本発明の実施形態について、図面を参照して説明する。
実施形態１．
本発明の第１の実施形態の映像符号化装置は、図２４に示された映像符号化装置と同様に、周波数変換器１０１と、量子化器１０２と、可変長符号化器１０３と、量子化制御器１０４と、逆量子化器１０５と、逆周波数変換器１０６と、フレームメモリ１０７と、フレーム内予測器１０８と、フレーム間予測器１０９と、予測選択器１１０とを備える。しかし、可変長符号化器１０３に含まれている量子化ステップサイズ符号化器の構成は、図２５に示された構成とは異なる。
図１は、本発明の第１の実施形態の映像符号化装置における量子化ステップサイズ符号化器を示すブロック図である。図１に示すように、本実施形態における量子化ステップサイズ符号化器は、図２５に示された量子化ステップサイズ符号化器と比較すると、予測量子化ステップサイズ生成器１０３１３を含む点が異なる。
量子化ステップサイズバッファ１０３１１は、過去に符号化した画像ブロックに対して割り当てた量子化ステップサイズを蓄積し、保持する。
予測量子化ステップサイズ生成器１０３１３は、過去に符号化済みの近傍画像ブロックに割り当てられた量子化ステップサイズを量子化ステップサイズバッファから取り出し、予測量子化ステップサイズを生成する。
入力量子化ステップサイズは、予測量子化ステップサイズ生成器１０３１３から供給される予測量子化ステップサイズを減じられた後、差分量子化ステップサイズとして、エントロピー符号化器１０３１２に入力される。
エントロピー符号化器１０３１２は、入力された差分量子化ステップサイズをエントロピー符号化し、量子化ステップサイズに対応した符号として出力する。
このように構成することによって、量子化ステップサイズの符号化に要する符号量を削減することができ、その結果、高画質な動画像符号化を実現できる。その理由は、予測量子化ステップサイズ生成器１０３１３が、符号化順序に依存しない近傍画像ブロックの量子化ステップサイズを用いて予測量子化ステップサイズを生成するので、エントロピー符号化器１０３１２に入力される差分量子化ステップサイズの絶対量を小さくすることができるからである。近傍画像ブロックの量子化ステップサイズを用いて予測量子化ステップサイズを生成するとエントロピー符号化器１０３１２に入力される差分量子化ステップサイズの絶対量を小さくすることができる理由は、動画像には一般に近傍画素間の相関性があるために、視覚感度適応量子化を用いた場合には、相関性の高い近傍画像ブロックに対しては割り当てられる量子化ステップサイズの類似度が高くなるからである。
第１の実施形態の映像符号化装置における量子化ステップサイズ符号化器の具体的な動作を、具体例を用いて以下で説明する。
本例では、符号化単位となる画像ブロックは固定サイズであるとする。量子化ステップサイズの予測に用いる近傍画像ブロックとして、同一画像フレーム内の左、上、右斜め上にそれぞれ隣接する３つの画像ブロックを用いることとする。
現在符号化対象の画像ブロックをＸとし、３つの近傍画像ブロックＡ，Ｂ，Ｃがそれぞれ、図２に示すように、画像ブロックＸに対して左、上、右斜め上に隣接する位置にあるとする。任意のブロックＺにおける量子化ステップサイズをQ(Z)、予測量子化ステップサイズをpQ(Z) とするとき、予測量子化ステップサイズ生成器１０３１３は、予測量子化ステップサイズpQ(X) を、以下の（３）式により求める。
pQ(X) = Median(Q(A),Q(B),Q(C)) ・・・（３）
ただし、Median(x, y, z) は、x, y, z の３つの値から中間値を求める関数である。
エントロピー符号化器１０３１２は、以下の（４）式により得られた差分量子化ステップサイズdQ(X) を、エントロピー符号の１つである符号付きExp-Golomb（Exponential-Golomb）符号を用いて符号化し、当該画像ブロックに対する量子化ステップサイズに対応する符号として出力する。
dQ(X) = Q(X) − pQ(X) ・・・（４）
本例では、量子化ステップサイズの予測に利用する近傍画像ブロックとして、同一画像フレーム内の左、上、右斜め上にそれぞれ隣接する３つの画像ブロックを用いた。しかし、近傍画像ブロックはそれに限定されず、例えば、左、上、左斜め上にそれぞれ隣接する画像ブロックを用い、以下の（５）式によって予測量子化ステップサイズを求めてもよい。
pQ(X) = Median(Q(A), Q(B), Q(D)) ・・・（５）
なお、予測に用いる画像ブロックは、３つではなく任意の個数であってよく、また、予測に用いる演算として、中間値ではなく例えば平均値などを用いてもよい。さらに、予測に用いる画像ブロックは、必ずしも現符号化対象画像ブロックに隣接している必要はなく、現符号化対象画像ブロックから所定の距離分離れていてもよい。また、さらに、予測に用いる画像ブロックは、空間近傍すなわち同一画像フレーム内の画像ブロックに限定されず、時間近傍すなわち既に符号化された他の画像フレーム内の画像ブロックであってもよい。
また、本例では、符号化対象画像ブロックと近傍画像ブロックとが同じ固定サイズである場合を仮定したが、本発明は固定サイズである場合に限定されず、符号化の単位となるブロックは可変サイズであってもよい。
また、本例では、符号化対象画像ブロックの量子化ステップサイズと予測量子化ステップサイズとの差分を符号化する際に、Exp-Golomb符号に基づいて符号化する例を示したが、本発明はExp-Golomb符号の使用に限定されず、他のエントロピー符号に基づいて符号化してもよい。例えば、ハフマン符号や算術符号などに基づく符号化を行ってもよい。
以上で、本発明の第１の実施形態の映像符号化装置の説明を終了する。
実施形態２．
本発明の第２の実施形態の映像復号装置は、図２６に示された映像復号装置と同様に、可変長復号器２０１と、逆量子化器２０２と、逆周波数変換器２０３と、フレームメモリ２０４と、フレーム内予測器２０５と、フレーム間予測器２０６と、予測選択器２０７とを備える。しかし、可変長復号器２０１に含まれている量子化ステップサイズ復号器の構成は、図２７に示された構成とは異なる。
図３は、本発明の第２の実施形態の映像復号装置における量子化ステップサイズ復号器を示すブロック図である。図３に示すように、本実施形態における量子化ステップサイズ復号器は、図２７に示された量子化ステップサイズ復号器と比較すると、予測量子化ステップサイズ生成器２０１１３を含む点が異なる。
エントロピー復号器２０１１１は、入力された符号をエントロピー復号し、差分量子化ステップサイズを出力する。
量子化ステップサイズバッファ２０１１２は、過去に復号した量子化ステップサイズを蓄積し、保持する。
予測量子化ステップサイズ生成器２０１１３は、過去に復号済みの量子化ステップサイズのうち、現在の復号対象画像ブロックの近傍画素ブロックに対応する量子化ステップサイズを量子化ステップサイズバッファから取り出し、予測量子化ステップサイズを生成する。具体的には、例えば、第１の実施形態の映像符号化装置の具体例における予測量子化ステップサイズ生成器１０３１３と同じ動作を行う。
エントロピー復号器２０１１１により生成された差分量子化ステップサイズは、予測量子化ステップサイズ生成器２０１１３から供給される予測量子化ステップサイズを加算された後、量子化ステップサイズとして出力されるとともに、量子化ステップサイズバッファ２０１１２に入力される。
このように量子化ステップサイズ復号器を構成することによって、映像復号装置はより少ない符号量を受信するだけで量子化ステップサイズを復号できる。その結果、高画質な動画像を復号し再生できる。その理由は、予測量子化ステップサイズ生成器２０１１３が、復号順序に依存しない近傍画像ブロックの量子化ステップサイズを用いて予測量子化ステップサイズを生成することによって、予測量子化ステップサイズは実際に割り当てられる量子化ステップサイズに近くなるので、エントロピー復号器２０１１１はゼロに近い差分量子化ステップサイズを復号すればよいからである。近傍画像ブロックの量子化ステップサイズを用いて予測量子化ステップサイズを生成することによって実際に割り当てられる量子化ステップサイズに近い予測量子化ステップサイズが得られる理由は、動画像には一般に近傍画素間の相関性があり、視覚感度適応量子化を用いた場合には、相関性の高い近傍画像ブロックに対しては割り当てられる量子化ステップサイズの類似度が高くなるからである。
以上で、本発明の第２の実施形態の映像復号装置の説明を終了する。
実施形態３．
本発明の第３の実施形態の映像符号化装置は、本発明の第１の実施形態の映像符号化装置と同様に、図２４に図示されるように、周波数変換器１０１と、量子化器１０２と、可変長符号化器１０３と、量子化制御器１０４と、逆量子化器１０５と、逆周波数変換器１０６と、フレームメモリ１０７と、フレーム内予測器１０８と、フレーム間予測器１０９と、予測選択器１１０とを備える。しかし、可変長符号化器１０３に含まれている量子化ステップサイズ符号化器の構成は、図２５に示された構成とは異なる。
図４は、本発明の第３の実施形態の映像符号化装置における量子化ステップサイズ符号化器を示すブロック図である。図４に示すように、本発明の第３の実施形態の映像符号化装置における量子化ステップサイズ符号化器の構成は、図１に示した量子化ステップサイズ符号化器の構成と同じである。しかし第３の実施形態では、予測量子化ステップサイズ生成器１０３１３に対して、図２４に示される予測選択器１１０から、画像予測に用いたパラメータが供給される点と、予測量子化ステップサイズ生成器１０３１３の動作とが第１の実施形態とは異なる。
量子化ステップサイズバッファ１０３１１及びエントロピー符号化器１０３１２の動作は、第１の実施形態の映像符号化装置における量子化ステップサイズ符号化器の場合と同じであるため、ここでは説明を省略する。
予測量子化ステップサイズ生成器１０３１３は、過去に符号化済みの画像ブロックの中から、量子化ステップサイズの予測に用いる画像ブロックを、画像予測パラメータを用いて選択する。予測量子化ステップサイズ生成器１０３１３は、選択された画像ブロックに対応する量子化ステップサイズから、予測量子化ステップサイズを生成する。
このように構成することによって、映像符号化装置は、第１の実施形態の映像符号化装置に比べて、量子化ステップサイズの符号化に要する符号量をさらに削減することができる。その結果、高画質な動画像符号化を実現できる。その理由は、予測量子化ステップサイズ生成器１０３１３が、画像予測パラメータを用いて量子化ステップサイズの予測を行うので、該画像ブロックに対してより相関性の高い近傍画像ブロックから量子化ステップサイズを予測できるからである。
実施形態４．
本発明の第４の実施形態の映像復号装置は、本発明の第２の実施形態の映像復号装置と同様に、図２６に図示されるように、可変長復号器２０１と、逆量子化器２０２と、逆周波数変換器２０３と、フレームメモリ２０４と、フレーム内予測器２０５と、フレーム間予測器２０６と、予測選択器２０７とを備える。しかし、可変長復号器２０１に含まれている量子化ステップサイズ復号器の構成は、図２７に示された構成とは異なる。
図５は、本発明の第４の実施形態の映像復号装置における量子化ステップサイズ復号器を示すブロック図である。図５に示すように、本発明の第４の実施形態の映像復号装置における量子化ステップサイズ復号器の構成は、図３に示された量子化ステップサイズ復号器の構成と同じである。しかし、第４の実施形態では、予測量子化ステップサイズ生成器２０３１３に対して、図２６に示される予測選択器２０７から、画像予測に用いたパラメータが供給される点と、予測量子化ステップサイズ生成器２０１１３の動作とが第２の実施形態とは異なる。
エントロピー復号器２０１１１及び量子化ステップサイズバッファ２０１１２の動作は、第２の実施形態の映像復号装置における量子化ステップサイズ復号器の場合との動作と同じであるため、ここでは説明を省略する。
予測量子化ステップサイズ生成器２０１１３は、過去に復号済みの画像ブロックの中から、量子化ステップサイズの予測に用いる画像ブロックを、画像予測パラメータを用いて選択する。予測量子化ステップサイズ生成器２０１１３は、選択された画像ブロックに対応する量子化ステップサイズから、予測量子化ステップサイズを生成する。生成された予測量子化ステップサイズは、エントロピー復号器２０１１１より出力される差分量子化ステップサイズが加算された後、量子化ステップサイズとして出力されるとともに、量子化ステップサイズバッファ２０１１２に入力される。
予測量子化ステップサイズ生成器２０１１３における予測量子化ステップサイズの導出方法は、上述した第３の実施形態の映像符号化装置における予測量子化ステップサイズ生成器１０３１３での予測量子化ステップサイズの生成方法と同じであるので、ここでは説明を省略する。
このように構成することによって、映像復号装置は、第２の実施形態の映像復号装置と比べて、さらに少ない符号量を受信するだけで量子化ステップサイズを復号できる。その結果、高画質な動画像を復号し再生できる。その理由は、予測量子化ステップサイズ生成器２０１１３が、画像予測パラメータを用いて量子化ステップサイズの予測を行うので、該画像ブロックに対してより相関性の高い近傍画像ブロックから量子化ステップサイズを予測できるからである。
［実施例１］
上述した第３の実施形態の映像符号化装置における量子化ステップサイズ符号化器の具体的な動作を、実施例を用いて以下で説明する。
本実施例では、量子化ステップサイズの予測に用いる画像予測パラメータとして、フレーム内予測の予測方向を利用する。また、フレーム内予測として、非特許文献１に記載されているＡＶＣにおいて４×４画素ブロック及び８×８画素ブロックで用いられている８方向の方向予測と平均予測（図６に図示される）を用いる。
符号化単位となる画像ブロックは固定サイズであると仮定する。また、量子化ステップサイズを決定する単位となるブロック（量子化ステップサイズ伝送ブロックと呼ぶ）と、フレーム内予測の単位となるブロック（予測ブロックと呼ぶ）は同じサイズであると仮定する。現在符号化対象の現在符号化対象の画像ブロックをＸとする。４つの近傍ブロックＡ，Ｂ，Ｃ，Ｄが図２に示される位置関係にあるとする。予測量子化ステップサイズ生成器１０３１３は、予測量子化ステップサイズpQ(X) を、以下の（６）により求める。
pQ(X) = pQ(B); if m=０
pQ(X) = pQ(A); if m=１
pQ(X) = (pQ(A)+pQ(B)+1)/2; if m=２
pQ(X) = pQ(C); if m=３
pQ(X) = pQ(D); if m=４
pQ(X) = (pQ(C)+pQ(D)+1)/2; if m=５
pQ(X) = (pQ(A)+pQ(D)+1)/2; if m=６
pQ(X) = (pQ(B)+pQ(D)+1)/2; if m=７
pQ(X) = pQ(A); if m=８
・・・（６）
ただし、mは、図６に示されるフレーム内予測方向インデックスである。
エントロピー符号化器１０３１２は、量子化ステップサイズQ(X)と予測量子化ステップサイズpQ(X) とを（４）式に適用して差分量子化ステップサイズdQ(X) をえる。エントロピー符号化器１０３１２は、得られた差分量子化ステップサイズdQ(X) を、エントロピー符号の１つである符号付きExp-Golomb符号を用いて符号化した後、当該画像ブロックに対する量子化ステップサイズに対応する符号として出力する。
なお、本実施例では、フレーム内予測として、８方向の方向予測と平均予測とを用いたが、本発明はそれらに限定されない。例えば、非特許文献２に記載されている３３方向の方向予測と平均予測などを用いてもよいし、また別の任意のフレーム内予測を用いてもよい。
また、予測に用いる画像ブロックは、４つではなく任意であってよい。さらに、本実施例では、予測量子化ステップサイズとして、前記（６）式に示したように、いずれか１つの画像ブロックにおける量子化ステップサイズ又は２つの画像ブロックにおける量子化ステップサイズの平均値のいずれかを用いた。しかし、本発明は前記（６）式に限定されるものではなく、他の演算結果を予測量子化ステップサイズとしてもよい。例えば、以下の（７）式に示すようにいずれか１つの画像ブロックにおける量子化ステップサイズ又は３つの量子化ステップサイズの中間値のいずれかを用いてもよいし、また別の任意の演算を用いて予測量子化ステップサイズを求めてもよい。さらに、予測に用いる画像ブロックは、必ずしも現符号化対象画像ブロックに隣接している必要はなく、現符号化対象画像ブロックから所定の距離分離れていてもよい。
pQ(X) = pQ(B); if m=０, ５ or ７
pQ(X) = pQ(A); if m=１, ６ or ８
pQ(X) = pQ(C); if m=３
pQ(X) = pQ(D); if m=４
pQ(X) = Median(pQ(A), pQ(B), Q(C)); if m=２
・・・（７）
また、本実施例では、符号化対象画像ブロックと近傍画像ブロックとが同じ固定サイズである場合を仮定したが、本発明は固定サイズに限定されず、符号化の単位となるブロックは可変サイズであってもよい。
また、本実施例では、量子化ステップサイズ伝送ブロックと、予測ブロックとが同じサイズであると仮定したが、本発明は同じサイズである場合に限定されず、量子化ステップサイズ伝送ブロックと予測ブロックとが異なるサイズであってもよい。例えば、量子化ステップサイズ伝送ブロックに複数の予測ブロックが含まれる場合には、該複数の予測ブロックのうちいずれか１つの予測ブロックにおける予測方向を、量子化ステップサイズの予測に用いてもよい。又は、複数の予測ブロックの予測方向に対して中間値演算や平均値演算などの任意の演算を加えた結果を、量子化ステップサイズの予測に用いてもよい。
また、本実施例では、符号化対象画像ブロックの量子化ステップサイズと予測量子化ステップサイズとの差分を符号化するにあたって、Exp-Golomb符号に基づいて符号化する例を示したが、本発明はExp-Golomb符号の使用に限定されず、他のエントロピー符号に基づいて符号化してもよい。例えば、ハフマン符号や算術符号などに基づく符号化を行ってもよい。
［実施例２］
上述した第３の実施形態の映像符号化装置における量子化ステップサイズ符号化器の具体的な動作を、他の実施例を用いて以下に説明する。
本実施例では、量子化ステップサイズの予測に用いる画像予測パラメータとして、フレーム間予測の動きベクトルを利用する。フレーム間予測として、図７に示されるようにブロック単位の平行移動によって定義される予測を仮定する。参照フレーム内で、符号化対象ブロックと同一の空間位置から動きベクトル分の変位を加えた位置にある画像ブロックから、予測画像が生成されるものとする。また、フレーム間予測として、図７に図示されるように、単一参照フレームからの予測すなわち片方向予測を仮定する。また、本実施例では、量子化ステップサイズ伝送ブロックと、予測ブロックとは同じサイズであると仮定する。
ここで、符号化対象ブロックをＸ、ブロックＸの中心位置をcent(X) 、Ｘのフレーム間予測における動きベクトルをV(X)、フレーム間予測で参照する参照フレームをRefPic(X) とする。そして、図８に示すように、フレームRefPic(X) において位置cent(X)+V(X)が属するブロックをBlock(RefPic(X),cent(X)+V(X)) と表記する。予測量子化ステップサイズ生成器１０３１３は、予測量子化ステップサイズpQ(X) を、以下の（８）式により求める。
pQ(X) = Q(Block(RefPic(X), cent(X)+V(X)) ・・・（８）
dQ(X) の導出とエントロピー符号化器１０３１２による符号化処理は、第１の実施例と同じである。
なお、本実施例では、片方向予測を仮定したが、本発明は片方向予測の使用に限定されない。例えば、２枚の参照フレームにおける参照画像ブロックの重みづけ平均によって予測画像を生成する双方向予測の場合には、１枚目の参照フレームをRefPic0(X)、RefPic0(X)に対する動きベクトルをV0(X) 、もう１枚の参照フレームをRefPic1(X)、RefPic1(X)に対する動きベクトルをV1(X) とし、予測画像生成時のRefPic0(X)に対する重みをw0、RefPic1(X)に対する重みをw1として、予測量子化ステップサイズ生成器１０３１３は、予測量子化ステップサイズpQ(X) を、以下の（９）式により求めてもよい。
pQ(X) = w0 Q(Block(RefPic0(X)， cent(X)+V0(X)) + w1 Q(Block(RefPic1(X), cent(X)+V1(X)) ・・・（９）
また、本実施例では、参照画像ブロックの中心位置が属するブロックの量子化ステップサイズを予測量子化ステップサイズとして用いたが、予測量子化ステップサイズは、それに限定されない。例えば、参照画像ブロックの左上位置が属するブロックの量子化ステップサイズを予測量子化ステップサイズとして用いてもよい。また、参照画像ブロックの全画素が属するブロックの量子化ステップサイズをそれぞれ参照し、それらの量子化ステップサイズの平均値を予測量子化ステップサイズとして用いてもよい。
また、本実施例では、フレーム間予測としてブロック間の平行移動によって表される予測を仮定したが、参照画像ブロックは、それに限定されず、任意の形状であってよい。
また、本実施例では、量子化ステップサイズ伝送ブロックと、予測ブロックとは同じサイズであると仮定したが、上述した第３の実施形態の映像符号化装置における第１の実施例と同様に、量子化ステップサイズ伝送ブロックと予測ブロックは互いに異なるサイズであってもよい。
［実施例３］
上述した第３の実施形態の映像符号化装置における量子化ステップサイズ符号化器の具体的な動作を、別の実施例を用いて以下に説明する。
本実施例では、量子化ステップサイズの予測に用いる画像予測パラメータとして、フレーム間予測の動きベクトルの予測、すなわち予測動きベクトルを利用する。予測動きベクトルが該符号化対象ブロックの近傍画像ブロックより導出される場合に、予測動きベクトルの導出に用いた近傍画像ブロックの量子化ステップサイズを用いて、該符号化対象ブロックの動きベクトルを予測する。
本実施例では、量子化ステップサイズ伝送ブロックと、予測ブロックとは同じサイズであると仮定する。また、フレーム間予測として、上述した第３の実施形態の映像符号化装置における第２の実施例と同様に、動きベクトルによって表される片方向予測を仮定する。また、本実施例では、図７に示される動きベクトルから、所定の方法により導出される予測動きベクトルが減じられ、その差分がエントロピー符号化される。所定の予測動きベクトル導出方法として、非特許文献２の”8.4.2.1.4 Derivation process for luma motion vector prediction”に記載の予測動きベクトル導出方法を用いる。
ここで、本実施例で用いる予測動きベクトル導出方法について簡単に説明する。符号化対象ブロックをＸとし、図２に示されるように、左、上、右上、左上、左下に隣接するブロックをそれぞれＡ， Ｂ， Ｃ， Ｄ， Ｅと表記する。ブロックＡの動きベクトルをmvA 、ブロックＢの動きベクトルをmvB とする。また、ブロックＣが画像内に存在し既に符号化済みである場合ブロックＣの動きベクトルをmvC とし、それ以外の場合でブロックＤが画像内に存在し既に符号化済みである場合ブロックＤの動きベクトルをmvC とし、さらにそれ以外の場合はブロックＥの動きベクトルをmvC とする。
また、以下の（１０）式によって求められる動きベクトルをmvMed とし、該符号化対象画像フレームに割り当てられた参照フレーム上で該符号化対象ブロックと同一空間位置にあるブロック（図８に、符号化対象ブロックＸに対する同位相ブロックXColとして図示される。）の動きベクトルをmvCol とする。割り当てられた参照フレームとは、例えば、該符号化対象画像フレームの直前に符号化された画像フレームを指す。
mvMed = (mvMedx, mvMedy)
mvMedx = Median(mvAx, mvBx, mvCx)
mvMedy = Median(mvAy, mvBy, mvCy)
・・・（１０）
上述したように求められるmvMed ，mvA ，mvB ，mvC ，mvCol の５つが、符号化対象ブロックＸにおける予測動きベクトルの候補となる。この中から、所定の優先順位に従って、いずれか１つの動きベクトルが選ばれ、該符号化対象ブロックの予測動きベクトルpMV(X)とされる。所定の優先順位の一例が、非特許文献２の”8.4.2.1.4 Derivation process for luma motion vector prediction”ならびに”8.4.2.1.8 Removal process for motion vector prediction”に記載されている。
上記のように予測動きベクトルpMV(X)が求められるとき、予測量子化ステップサイズ生成器１０３１３は、符号化対象ブロックＸの予測量子化ステップサイズpQ(X) を、以下の（１１）式により求める。
pQ(X) = Q(A); if pMV(X) = mvA
pQ(X) = Q(B); otherwise if pMV(X) = mvB
pQ(X) = Q(Ｃ); otherwise if pMV(X) = mvＣ かつ mvＣはブロックＣの動きベクトル
pQ(X) = Q(D); otherwise if pMV(X) = mvC かつ mvCはブロックＤの動きベクトル
pQ(X) = Q(E); otherwise if pMV(X) = mvC かつ mvCはブロックＥの動きベクトル
pQ(X) = Q(XCol); otherwise if pMV(X) = mvCol
pQ(X) = Median(Q(A), Q(B), Q(C)); otherwise
・・・（１１）
なお、本実施例では、片方向予測を仮定したが、本発明は片方向予測の使用に限定されず、上述した第３の実施形態の映像符号化装置における第２の実施例と同様に、双方向予測に対しても適用可能である。
また、本実施例では、予測動きベクトルの導出方法として、非特許文献２の”8.4.2.1.4 Derivation process for luma motion vector prediction”に記載の予測動きベクトル導出方法を用いたが、本発明はそれに限定されない。例えば、非特許文献２の”8.4.2.1.3 Derivation process for luma motion vectors for merge mode” に記載されているように、符号化対象ブロックＸの動きベクトルがブロックＡとブロックＢのいずれかの動きベクトルによって予測されるとき、予測量子化ステップサイズ生成器１０３１３は、該符号化対象ブロックＸの予測量子化ステップサイズpQ(X) を、以下の（１２）式により求めてもよい。また、他の任意の予測動きベクトル導出方法を用いてもよい。
pQ(X) = Q(A); if pMV(X) = mvA
pQ(X) = Q(B); otherwise
・・・（１２）
また、本実施例では、（１１）式に示したように、ブロックＡ，Ｂ，Ｃ，Ｄ， Ｅ，XColの順で量子化ステップサイズの予測に用いる画像ブロックを参照したが、本発明はその順序に限定されず、任意の順序を用いてよい。また、量子化ステップサイズの予測に用いる画像ブロックの数や位置に関しても任意の画像ブロックの数や位置を用いてよい。さらに、本実施例では、pMV(X)がmvＡ ，mvB ，mvC ，mvCol のいずれにも一致しない場合には（３）式と同様に中間値演算を用いたが、中間値演算の使用に限定されず、第１の実施形態と同様に、平均値演算など任意の演算を用いてもよい。
また、本実施例では、量子化ステップサイズ伝送ブロックと、予測ブロックとは同じサイズであると仮定したが、上述した第３の実施形態の映像符号化装置における第１の実施例および第２の実施例と同様に、量子化ステップサイズ伝送ブロックと予測ブロックは互いに異なるサイズであってもよい。
実施形態５．
図９は、本発明の第５の実施形態の映像符号化装置の構成を示すブロック図である。また、図１０は、本実施形態の映像符号化装置における量子化ステップサイズ符号化器の構成を示すブロック図である。
図９に示されるように、本実施形態の映像符号化装置は、図２４に示された映像符号化装置と比較すると、量子化ステップサイズ予測制御器１１１及び多重化器１１２を含む点が異なる。なお、上述したように、図２４に示された映像符号化装置は、第３の実施形態の映像符号化装置でもある。
さらに、図１０に示されるように、本実施形態の映像符号化装置の可変長符号化器１０３において量子化ステップサイズの符号化を行う量子化ステップサイズ符号化器は、図４に示した量子化ステップサイズ符号化器と比較すると、予測量子化ステップサイズ生成器１０３１３に対して、図９に示される量子化ステップサイズ予測制御器１１１から量子化ステップサイズ予測パラメータが供給される点と、予測量子化ステップサイズ生成器１０３１３の動作とが、第３の実施形態とは異なる。
量子化ステップサイズ予測制御器１１１は、予測量子化ステップサイズ生成器１０３１３における量子化ステップサイズ予測動作を規定する制御情報を、可変長符号化器１０３及び多重化器１１２に供給する。量子化ステップサイズ予測動作を規定する制御情報を、量子化ステップサイズ予測パラメータと呼ぶ。
多重化器１１２は、可変長符号化器１０３より供給される映像ビットストリームに、上記量子化ステップサイズ予測パラメータを多重化して、ビットストリームとして出力する。
予測量子化ステップサイズ生成器１０３１３は、過去に符号化済みの画像ブロックの中から、量子化ステップサイズの予測に用いる画像ブロックを、画像予測パラメータと量子化ステップサイズ予測パラメータとを用いて選択する。予測量子化ステップサイズ１０３１３は、さらに、選択された画像ブロックに対応する量子化ステップサイズから、予測量子化ステップサイズを生成する。
このように構成することによって、第３の実施形態の映像符号化装置と比較すると、本実施形態の映像符号化装置は、量子化ステップサイズの符号化に要する符号量をさらに削減することができる。その結果、高画質な動画像符号化を実現できる。その理由は、予測量子化ステップサイズ生成器１０３１３が、画像予測パラメータに加えて量子化ステップサイズ予測パラメータを用いることにより、画像予測パラメータを用いた量子化ステップサイズの予測値の切替え又は補正を行うので、該画像ブロックに対してより高い精度で量子化ステップサイズを予測できるからである。量子化ステップサイズ予測パラメータによる切替えまたは補正によってさらに高い精度で量子化ステップサイズを予測できる理由は、図９に示された量子化制御器１０４が、人間の視覚感度だけによらず、可変長符号化器１０３の出力符号量を監視して、量子化ステップサイズを増減させることがあるので、同じ視覚感度を持つ画像ブロックに対しても、与えるべき量子化ステップサイズが変化しうるからである。
上述した第５の実施形態の映像符号化装置における量子化ステップサイズ符号化器の具体的な動作を、具体例を用いて以下で説明する。
本例では、量子化ステップサイズの予測に用いる画像予測パラメータとして、上述した第３の実施形態の映像符号化装置における第２の実施例と同様に、フレーム間予測の動きベクトルを利用する。フレーム間予測として、図７に示されるように、ブロック単位の平行移動によって定義される予測を仮定する。そして、参照フレーム内で、符号化対象ブロックと同一の空間位置から動きベクトル分の変位を加えた位置にある画像ブロックから、予測画像が生成されるものとする。また、フレーム間予測として、図７に示されるように、単一参照フレームからの予測すなわち片方向予測を仮定する。また、本実施例では、量子化ステップサイズ伝送ブロックと、予測ブロックとは同じサイズであると仮定する。
ここで、符号化対象ブロックをＸ、符号化対象フレームをPic(X)、ブロックＸの中心位置をcent(X)、Ｘのフレーム間予測における動きベクトルをV(X)、フレーム間予測で参照する参照フレームをRefPic(X)とする。そして、図８に示すように、フレームRefPic(X)において位置cent(X)+V(X)が属するブロックをBlock(RefPic(X), cent(X)+V(X))と表記する。さらに、３つの近傍画像ブロックＡ，Ｂ，Ｃがそれぞれ、図２に示すように、ブロックＸに対して左、上、右斜め上に隣接する位置にあるとする。このとき、予測量子化ステップサイズ生成器１０３１３は、予測量子化ステップサイズpQ(X)を、以下の（１３）式により求める。
pQ(X) = Q(Block(RefPic(X), cent(X)+V(X)); if temporal_qp_pred_flag = １
pQ(X) = Median(pQ(A), pQ(B), Q(C)); otherwise
・・・（１３）
ここで、temporal_qp_pred_flag は、量子化ステップサイズの予測においてフレーム間の動きベクトルの利用可否を切り替えるフラグを表す。量子化ステップサイズ予測制御器１１１によって、予測量子化ステップサイズ１０３１３に供給される。
また、予測量子化ステップサイズ生成器１０３１３は、符号化対象フレームPic(X)と参照フレームRefPic(X)との間の量子化ステップサイズの変化を補償するためのオフセット値、すなわち量子化ステップサイズオフセットQofs(Pic(X), RefPic(X)) を用いて、予測量子化ステップサイズpQ(X) を、以下の（１４）式によって求めてもよい。
pQ(X) = Q(Block(RefPic(X), cent(X)+V(X)) + Qofs(Pic(X), RefPic(X)) ・・・（１４）
さらに、予測量子化ステップサイズ生成器１０３１３は、上述したtemporal_qp_pred_flag と量子化ステップサイズオフセットの双方を用いて、予測量子化ステップサイズpQ(X) を、以下の（１５）式によって求めてもよい。
pQ(X) = Q(Block(RefPic(X), cent(X)+V(X)) + Qofs(Pic(X), RefPic(X)); if temporal_qp_pred_flag = １
pQ(X) = Median(pQ(A), pQ(B), Q(C)); otherwise
・・・（１５）
上記の（１４）式および（１５）式における量子化ステップサイズオフセットQofs(Pic(X), RefPic(X)) を、例えば、任意のフレームＺの初期量子化ステップサイズをQinit(Z)と表すとき、以下の（１６）式により求めてもよい。
Qofs(Pic(X), RefPic(X)) = Qinit(Pic(X)) − Qinit(RefPic(X)) ・・・（１６）
初期量子化ステップサイズとは、各フレームに対する量子化ステップサイズの初期値として与えられる値であり、例えば、非特許文献１の”7.4.3 Slice header semantics”に記載のSliceQPYを用いてもよい。
上述したtemporal_qp_pred_flag およびQofs(Pic(X), RefPic(X)) のいずれか又は双方の値を、例えば、非特許文献１の” Specification of syntax functions, categories, and descriptors” の記述に準じた図１１に示すリストに例示するように、ヘッダ情報の一部としてビットストリームに多重化してもよい。
図１１に示すリストにおいて、qp_pred_offsetは、上記の（１４）式におけるQofsの値を表す。図１１に示すように、それぞれの参照フレームに対応するQofsの値としてqp_pred_offsetを複数多重化してもよいし、全ての参照フレームに対する共通のQofsの値として１つのqp_pred_offsetを多重化してもよい。
なお、本実施例では、画像予測パラメータとしてフレーム間予測の動きベクトルを仮定した。しかし、本発明はフレーム間予測の動きベクトルの利用に限定されず、上述した第３の実施形態の映像符号化装置における第１の実施例と同様にイントラ予測の予測方向を利用して、量子化ステップサイズ予測においてイントラ予測の予測方向を利用するか否かを、上述したフラグにより切り替えてもよい。さらに、上述した第３の実施形態の映像符号化装置における第３の実施例と同様に、予測動きベクトルの予測方向を利用してもよいし、他の画像予測パラメータを用いてもよい。
また、本実施例では、フレーム間予測として片方向予測を仮定した。しかし、上述した第３の実施形態の映像符号化装置における第２の実施例と同様に、本発明は片方向予測の使用に限定されず、双方向予測に対しても適用可能である。
また、本実施例では、参照画像ブロックの中心位置が属するブロックの量子化ステップサイズを予測量子化ステップサイズとして用いた。しかし、本発明における予測量子化ステップサイズの導出は、それに限定されない。例えば、参照画像ブロックの左上位置が属するブロックの量子化ステップサイズを予測量子化ステップサイズとして用いてもよい。また、参照画像ブロックの全画素が属するブロックの量子化ステップサイズをそれぞれ参照し、それらの量子化ステップサイズの平均値を予測量子化ステップサイズとして用いてもよい。
また、本実施例では、フレーム間予測として同一形状ブロック間の平行移動によって表される予測を仮定したが、本発明における参照画像ブロックは、それに限定されず、任意の形状であってよい。
また、本実施例では、（１３）式及び（１５）式に示されるように、フレーム間予測情報を利用しない場合には３つの空間近傍画像ブロックから中間値演算に基づいて量子化ステップサイズを予測したが、本発明はそれらに限定されない。第１の実施の形態における具体例と同様に、予測に用いる画像ブロックの数は３つでなく任意の個数であってよいし、中間値演算の代わりに例えば平均値演算などを用いてもよい。さらに、予測に用いる画像ブロックは、必ずしも現符号化対象画像ブロックに隣接している必要はなく、現符号化対象画像ブロックから所定の距離分離れていてもよい。
また、本実施例では、量子化ステップサイズ伝送ブロックと、予測ブロックとは同じサイズであると仮定したが、上述した第３の実施形態の映像符号化装置における第１の実施例と同様に、量子化ステップサイズ伝送ブロックと予測ブロックは互いに異なるサイズであってもよい。
実施形態６．
図１２は、本発明の第６の実施形態の映像復号装置の構成を示すブロック図である。また、図１３は、本実施形態の映像復号装置における量子化ステップサイズ復号器の構成を示すブロック図である。
図１２に示されるように、本実施形態の映像復号装置は、図２６に示された映像復号装置と比較すると、多重化解除器２０８及び量子化ステップサイズ予測制御器２０９を含む点が異なる。なお、上述したように、図２６に示された映像復号装置は、第４の実施形態の映像復号装置でもある。
さらに、図１３に示されるように、本実施形態の映像復号装置の可変長復号器２０１において量子化ステップサイズの復号を行う量子化ステップサイズ復号器は、図５に示された量子化ステップサイズ復号器と比較すると、予測量子化ステップサイズ生成器２０１１３に対して、図１２に示される量子化ステップサイズ予測制御器２０９から量子化ステップサイズ予測パラメータが供給される点と、予測量子化ステップサイズ生成器２０１１３の動作とが、第４の実施形態とは異なる。
多重化解除器２０８は、ビットストリームの多重化を解除して、映像ビットストリームと、量子化ステップサイズ予測の動作を規定する制御情報とを抽出する。また、多重化解除器２０８は、抽出した制御情報を量子化ステップサイズ予測制御器２０９に、抽出した映像ビットストリームを可変長復号器２０１に、それぞれ供給する。
量子化ステップサイズ予測制御器２０９は、供給される制御情報に基づいて、予測量子化ステップサイズ生成器２０１１３の動作を設定する。
予測量子化ステップサイズ生成器２０１１３は、過去に復号済みの画像ブロックの中から、量子化ステップサイズの予測に用いる画像ブロックを、画像予測パラメータと量子化ステップサイズ予測パラメータとを用いて選択する。予測量子化ステップサイズ生成器２０１１３は、さらに、選択された画像ブロックに対応する量子化ステップサイズから、予測量子化ステップサイズを生成する。生成された予測量子化ステップサイズは、エントロピー復号器２０１１１より出力される差分量子化ステップサイズを加算された後、量子化ステップサイズとして出力されるとともに、量子化ステップサイズバッファ２０１１２に入力される。
予測量子化ステップサイズ生成器２０１１３における予測量子化ステップサイズの導出方法は、上述した第５の実施形態の映像符号化装置における予測量子化ステップサイズ生成器１０３１３での予測量子化ステップサイズの生成方法と同じであるので、ここでは説明を省略する。
このように構成することによって、映像復号装置は、第４の実施形態の映像復号装置と比較して、さらに少ない符号量を受信するだけで量子化ステップサイズを復号できる。その結果、高画質な動画像を復号し再生できる。その理由は、予測量子化ステップサイズ生成器２０１１３が、画像予測パラメータに加えて量子化ステップサイズ予測パラメータを用いることにより、画像予測パラメータを用いた量子化ステップサイズの予測値の切替え又は補正を行うので、該画像ブロックに対してより高い精度で量子化ステップサイズを予測できるからである。
実施形態７．
本発明の第７の実施形態の映像符号化装置は、第３の実施形態の映像符号化装置と同様に、図２４に示されるように、周波数変換器１０１と、量子化器１０２と、可変長符号化器１０３と、量子化制御器１０４と、逆量子化器１０５と、逆周波数変換器１０６と、フレームメモリ１０７と、フレーム内予測器１０８と、フレーム間予測器１０９と、予測選択器１１０とを備える。しかし、可変長符号化器１０３における量子化ステップサイズ符号化器の構成は、図４に示された第３の実施形態の映像符号化装置における構成とは異なる。
図１４は、本発明の第７の実施形態の映像符号化装置における量子化ステップサイズ符号化器の構成を示すブロック図である。図１４に示すように、本実施形態における量子化ステップサイズ符号化器の構成は、図４に示された量子化ステップサイズ符号化器の構成と比較すると、量子化ステップサイズ選択器１０３１４を含む点が異なる。
量子化ステップサイズバッファ１０３１１、エントロピー符号化器１０３１２及び予測量子化ステップサイズ生成器１０３１３の動作は、第３の実施形態の映像符号化装置における量子化ステップサイズ符号化器の動作と同じであるため、ここでは説明を省略する。
量子化ステップサイズ選択器１０３１４は、直前に符号化した画像ブロックに対して割り当てた量子化ステップサイズと、予測量子化ステップサイズ生成器１０３１３から出力される予測量子化ステップサイズとのいずれかを、画像予測パラメータに従って選択して、選択的予測量子化ステップサイズとして出力する。なお、直前に符号化した画像ブロックに対して割り当てた量子化ステップサイズは、量子化ステップサイズバッファ１０３１１に保存されている。量子化ステップサイズ符号化器に入力された現符号化対象量子化ステップサイズは、量子化ステップサイズ選択器１０３１４から出力された選択的予測量子化ステップサイズが減算された後、エントロピー符号化器１０３１２に入力される。
このように構成することによって、本実施形態の映像符号化装置は、第３の実施形態の映像符号化装置と比較すると、量子化ステップサイズの符号化に要する符号量をさらに削減することができる。その結果、高画質な動画像符号化を実現できる。その理由は、量子化ステップサイズ選択器１０３１４の動作により、画像予測パラメータから導かれた予測量子化ステップサイズと、直前に符号化した量子化ステップサイズとを選択的に用いて量子化ステップサイズを符号化できるからである。画像予測パラメータから導かれた予測量子化ステップサイズと、直前に符号化した量子化ステップサイズとを選択的に用いることによって量子化ステップサイズの符号化に要する符号量をさらに削減することができる理由は、映像符号化装置における量子化制御器１０４は、上述したように、視覚感度適応量子化を行うだけでなく、出力符号量を監視しての量子化ステップサイズ増減をも行うからである。
第７の実施形態の映像符号化装置における量子化ステップサイズ符号化器の具体的な動作を、具体例を用いて以下で説明する。
ここでは、量子化ステップサイズの予測に用いる画像予測パラメータとして、フレーム内予測の予測方向を利用する。また、フレーム内予測として、非特許文献１に記載されているＡＶＣ方式において４×４画素ブロック及び８×８画素ブロックで用いられている８方向の方向予測と平均予測（図６参照）を用いる。
符号化単位となる画像ブロックは固定サイズであるとする。また、量子化ステップサイズを決定する単位となるブロック（量子化ステップサイズ伝送ブロックと呼ぶ）と、フレーム内予測の単位となるブロック（予測ブロックと呼ぶ）は同じサイズであるとする。現在符号化対象の画像ブロックをＸとする。４つの近傍ブロックＡ，Ｂ，Ｃ，Ｄが図２に示される位置関係にあるとする。予測量子化ステップサイズ生成器１０３１３は、予測量子化ステップサイズpQ(X) を、（６）式により求める。
量子化ステップサイズ選択器１０３１４は、（６）式により得られた予測量子化ステップサイズpQ(X) と、直前に符号化した量子化ステップサイズQ(Xprev)のいずれかを、下記の（１７）式に従って選択し、選択的予測量子化ステップサイズsQ(X)を生成する。つまり、方向予測に対しては（６）式によって求められる予測量子化ステップサイズを選択的予測量子化ステップサイズとして用い、平均値予測に対しては直前の量子化ステップサイズを選択的予測量子化ステップサイズとして用いる。
sQ(X) = Q(Xprev); if m=2
sQ(X) = pQ(X); if m=0, 1, 3, 4, 5, 6, 7 or 8
・・・（１７）
ただし、mは、図６に示されるフレーム内予測方向インデックスである。
エントロピー符号化器１０３１２は、下記の（１８）式により得られた差分量子化ステップサイズdQ(X) を、エントロピー符号の１つである符号付きExp-Golomb （(Exponential-Golomb）符号を用いて符号化し、当該画像ブロックに対する量子化ステップサイズに対応する符号として出力する。
dQ(X) ＝ Q(X) − sQ(X) ・・・（１８）
なお、本実施形態では、フレーム内予測として、８方向の方向予測と平均予測とを用いたが、本発明はそれらに限定されない。例えば、非特許文献２に記載されている３３方向の方向予測と平均予測などを用いてもよいし、また別の任意のフレーム内予測を用いてもよい。
また、本実施形態では、フレーム内予測のパラメータに基づいて予測量子化ステップサイズと直前に符号化した量子化ステップサイズとの間の選択を行ったが、本発明はフレーム内予測情報の利用に限定されない。例えば、フレーム内予測ブロックでは予測量子化ステップサイズを、フレーム間予測ブロックでは直前に符号化した量子化ステップサイズを用いるよう選択を行ってもよいし、その逆でもよい。さらに、フレーム間予測のパラメータがある特定条件を満たす場合に直前に符号化した量子化ステップサイズを用いるよう選択を行ってもよい。
また、予測に用いる画像ブロックは、４つではなく任意であってよい。さらに、本実施形態では、予測量子化ステップサイズとして、（６）式に示したように、いずれか１つの画像ブロックにおける量子化ステップサイズと２つの画像ブロックにおける量子化ステップサイズの平均値とのいずれかを用いた。しかし、予測量子化ステップサイズは（６）式によるものに限定されない。他の演算結果を予測量子化ステップサイズとしてもよい。例えば、（７）式に示すようにいずれか１つの画像ブロックにおける量子化ステップサイズ又は３つの量子化ステップサイズの中間値のいずれかを用いてもよいし、また別の任意の演算を用いて予測量子化ステップサイズを求めてもよい。さらに、予測に用いる画像ブロックは、必ずしも現符号化対象画像ブロックに隣接している必要はなく、現符号化対象画像ブロックから所定の距離分離れていてもよい。
また、本実施形態では、符号化対象画像ブロックと予測に用いる画像ブロックとが同じ固定サイズであると仮定した。しかし、本発明は、符号化の単位となる画像ブロックが固定サイズである場合に限定されず、符号化の単位となる画像ブロックが可変サイズであり、符号化対象画像ブロックと予測に用いる画像ブロックとが互いに異なるサイズであってもよい。
また、本実施形態では、量子化ステップサイズ伝送ブロックと、予測ブロックとが同じサイズであると仮定した。しかし、本発明は、同じサイズである場合に限定されず、量子化ステップサイズ伝送ブロックと予測ブロックとが異なるサイズであってもよい。例えば、量子化ステップサイズ伝送ブロックに複数の予測ブロックが含まれる場合には、該複数の予測ブロックのうちいずれか１つの予測ブロックにおける予測方向を、量子化ステップサイズの予測に用いてもよい。又は、複数の予測ブロックの予測方向に対して中間値演算や平均値演算などの任意の演算を加えた結果を、量子化ステップサイズの予測に用いてもよい。
また、本実施形態では、符号化対象画像ブロックの量子化ステップサイズと予測量子化ステップサイズとの差分を符号化するにあたって、Exp-Golomb符号に基づいて符号化した。しかし、本発明はExp-Golomb符号の使用に限定されず、他のエントロピー符号に基づいて符号化してもよい。例えば、ハフマン符号や算術符号などに基づく符号化を行ってもよい。
実施形態８．
本発明の第８の実施形態の映像復号装置は、本発明の第４の実施形態の映像復号装置と同様に、図２６に示されるように、可変長復号器２０１と、逆量子化器２０２と、逆周波数変換器２０３と、フレームメモリ２０４と、フレーム内予測器２０５と、フレーム間予測器２０６と、予測選択器２０７とを備える。しかし、可変長復号器２０１に含まれている量子化ステップサイズ復号器の構成は、図５に示された構成とは異なる。
図１５は、本発明の第８の実施形態の映像復号装置における量子化ステップサイズ復号器の構成を示すブロック図である。図１５に示すように、本実施形態における量子化ステップサイズ復号器の構成は、図５に示された量子化ステップサイズ復号器の構成と比較すると、量子化ステップサイズ選択器２０１１４を含む点が異なる。
エントロピー復号器２０１１１、量子化ステップサイズバッファ２０１１２及び予測量子化ステップサイズ生成器２０１１３の動作は、第４の実施形態の映像復号装置における量子化ステップサイズ復号器の動作と同じであるため、ここでは説明を省略する。
量子化ステップサイズ選択器２０１１４は、直前に復号した画像ブロックに対して割り当てた量子化ステップサイズと、予測量子化ステップサイズ生成器２０１１３から出力される予測量子化ステップサイズとのいずれかを、画像予測パラメータに従って選択して、選択的予測量子化ステップサイズとして出力する。なお、直前に復号した画像ブロックに対して割り当てた量子化ステップサイズは、量子化ステップサイズバッファ２０１１２に保存されている。出力された選択的予測量子化ステップサイズは、エントロピー復号器２０１１１により生成された差分量子化ステップサイズが加算された後、量子化ステップサイズとして出力されるとともに、量子化ステップサイズバッファ２０１１２に蓄積される。
このように構成することによって、映像復号装置は、第４の実施形態の映像復号装置と比較して、さらに少ない符号量を受信するだけで量子化ステップサイズを復号できる。その結果、高画質な動画像を復号し再生できる。その理由は、量子化ステップサイズ選択器２０１１４の動作により、画像予測パラメータから導かれた予測量子化ステップサイズと、直前に符号化した量子化ステップサイズとを選択的に用いて量子化ステップサイズを復号できるので、視覚感度適応量子化と出力符号量を監視しての量子化ステップサイズ増減との双方を適用して生成されたビットストリームに対して、より少ない符号量で量子化ステップサイズを復号でき、ひいてはより少ない符号量で動画像を復号し再生できるからである。
また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
図１６に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３及びビットストリームを格納するための記憶媒体１００４を備える。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
図１６に示された情報処理システムにおいて、プログラムメモリ１００２には、図２４、図２６のそれぞれに示された各ブロック（図１、図３、図４、図５に示された各ブロックを含む。また、バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図２４、図２６および図１、図３、図４、図５のそれぞれに示された映像符号化装置又は映像復号装置の機能を実現する。
図１７は、本発明による映像符号化装置における特徴的な構成要素を示すブロック図である。図１７に示すように、本発明による映像符号化装置は、量子化の粒度を制御する量子化ステップサイズを符号化する量子化ステップサイズ符号化部１０を備え、量子化ステップサイズ符号化部１０は、既に符号化済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて該量子化ステップサイズを予測するステップサイズ予測部１１を含む。
図１８は、本発明による他の映像符号化装置における特徴的な構成要素を示すブロック図である。図１８に示すように、本発明による他の映像符号化装置は、図１７に示す構成に加えて、過去に符号化済みの画像と所定のパラメータとを用いて符号化対象画像ブロックの予測画像を生成する予測画像生成部２０を備え、量子化ステップサイズ符号化部１０は、予測画像の生成に用いられるパラメータを用いて量子化ステップサイズを予測する。また、既に符号化済みの近傍画像ブロックに割り当てられた動きベクトルを用いてフレーム間予測に用いる動きベクトルを予測する予測動きベクトル生成部３０を備え、量子化ステップサイズ符号化部１０は、量子化ステップサイズを予測するために予測動きベクトルの予測方向を用いてもよい。
図１９は、本発明による映像復号装置における特徴的な構成要素を示すブロック図である。図１９に示すように、本発明による映像復号装置は、逆量子化の粒度を制御する量子化ステップサイズを復号する量子化ステップサイズ復号部５０を備え、量子化ステップサイズ復号部５０は、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて量子化ステップサイズを予測するステップサイズ予測部５１を含む。
図２０は、本発明による他の映像復号装置における特徴的な構成要素を示すブロック図である。図２０に示すように、本発明による他の映像復号装置は、図１９に示す構成に加えて、過去に復号済みの画像と所定のパラメータとを用いて復号対象画像ブロックの予測画像を生成する予測画像生成部６０を備え、量子化ステップサイズ復号部５０は、予測画像の生成に用いられるパラメータを用いて量子化ステップサイズを予測する。また、既に符号化済みの近傍画像ブロックに割り当てられた動きベクトルを用いてフレーム間予測に用いる動きベクトルを予測する予測動きベクトル生成部７０を備え、量子化ステップサイズ復号部５０は、量子化ステップサイズを予測するために予測動きベクトルの予測方向を用いてもよい。
図２１は、本発明による映像符号化方法における特徴的なステップを示すフローチャートである。図２１に示すように、映像符号化方法は、フレーム内予測の予測方向を決定するステップＳ１１と、フレーム内予測を用いて予測画像を生成するステップＳ１２と、フレーム内予測の予測方向を用いて量子化ステップサイズを予測するステップＳ１３とを含む。
図２２は、本発明による映像復号方法における特徴的なステップを示すフローチャートである。図２２に示すように、映像復号方法は、フレーム内予測の予測方向を決定するステップＳ２１と、フレーム内予測を用いて予測画像を生成するステップＳ２２と、フレーム内予測の予測方向を用いて量子化ステップサイズを予測するステップＳ２３とを含む。
上記の実施形態の一部又は全部は以下の付記のようにも記載されうるが、本発明の構成は以下の構成に限定されない。
（付記１）入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化装置であり、前記量子化の粒度を制御する量子化ステップサイズを符号化する量子化ステップサイズ符号化手段と、過去に符号化済みの画像と所定のパラメータとを用いて符号化対象画像ブロックの予測画像を生成する予測画像生成手段とを備え、前記量子化ステップサイズ符号化手段は、前記予測画像生成手段が用いるパラメータを用いて量子化ステップサイズを予測する映像符号化装置であって、前記予測画像生成手段は、少なくともフレーム間予測を用いて予測画像を生成し、前記量子化ステップサイズ符号化手段は、量子化ステップサイズを予測するために前記フレーム間予測の動きベクトルを用いる映像符号化装置。
（付記２）入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化装置であり、前記量子化の粒度を制御する量子化ステップサイズを符号化する量子化ステップサイズ符号化手段と、過去に符号化済みの画像と所定のパラメータとを用いて符号化対象画像ブロックの予測画像を生成する予測画像生成手段とを備え、前記量子化ステップサイズ符号化手段は、前記予測画像生成手段が用いるパラメータを用いて量子化ステップサイズを予測する映像符号化装置であって、前記量子化ステップサイズ符号化手段は、既に符号化済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて該量子化ステップサイズを予測し、前記予測画像生成手段は、少なくともフレーム間予測を用いて予測画像を生成し、既に符号化済みの近傍画像ブロックに割り当てられた動きベクトルを用いてフレーム間予測に用いる動きベクトルを予測する予測動きベクトル生成手段をさらに備え、前記量子化ステップサイズ符号化手段は、量子化ステップサイズを予測するために前記予測動きベクトルの予測方向を用いる映像符号化装置。
（付記３）入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号装置であり、前記逆量子化の粒度を制御する量子化ステップサイズを復号する量子化ステップサイズ復号手段と、過去に復号済みの画像と所定のパラメータとを用いて復号対象画像ブロックの予測画像を生成する予測画像生成手段とを備え、前記量子化ステップサイズ復号手段は、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて該量子化ステップサイズを予測する映像復号装置であって、前記量子化ステップサイズ復号手段は、前記予測画像生成に用いるパラメータを用いて該量子化ステップサイズを予測し、前記予測画像生成手段は、少なくともフレーム間予測を用いて予測画像を生成し、前記量子化ステップサイズ復号手段は、量子化ステップサイズを予測するために前記フレーム間予測の動きベクトルを用いる映像復号装置。
（付記４）入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号装置であり、前記逆量子化の粒度を制御する量子化ステップサイズを復号する量子化ステップサイズ復号手段と、過去に復号済みの画像と所定のパラメータとを用いて復号対象画像ブロックの予測画像を生成する予測画像生成手段とを備え、前記量子化ステップサイズ復号手段は、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて該量子化ステップサイズを予測する映像復号装置であって、前記量子化ステップサイズ復号手段は、前記予測画像生成に用いるパラメータを用いて該量子化ステップサイズを予測し、前記予測画像生成手段は、少なくともフレーム間予測を用いて予測画像を生成し、既に符号化済みの近傍画像ブロックに割り当てられた動きベクトルを用いてフレーム間予測に用いる動きベクトルを予測する予測動きベクトル生成手段をさらに備え、前記量子化ステップサイズ復号手段は、量子化ステップサイズを予測するために前記予測動きベクトルの予測方向を用いる映像復号装置。
（付記５）入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化方法であって、前記量子化の粒度を制御する量子化ステップサイズを、既に符号化済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて予測し、過去に符号化済みの画像と所定のパラメータとを用いて符号化対象画像ブロックの予測画像を生成する工程を含み、前記予測画像の生成に用いられるパラメータを用いて量子化ステップサイズを予測する映像符号化方法。
（付記６）付記５の映像符号化方法であって、予測画像を生成する工程では、少なくともフレーム内予測を用いて予測画像を生成し、量子化ステップサイズを予測するために前記フレーム内予測の予測方向を用いる映像符号化方法。
（付記７）付記５の映像符号化方法であって、予測画像を生成する工程では、少なくともフレーム間予測を用いて予測画像を生成し、量子化ステップサイズを予測するために前記フレーム間予測の動きベクトルを用いる映像符号化方法。
（付記８）付記５の映像符号化方法であって、予測画像を生成する工程では、少なくともフレーム間予測を用いて予測画像を生成し、既に符号化済みの近傍画像ブロックに割り当てられた動きベクトルを用いてフレーム間予測に用いる動きベクトルを予測する工程を含み、量子化ステップサイズを予測するために前記予測動きベクトルの予測方向を用いる映像符号化方法。
（付記９）入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号方法であって、前記逆量子化の粒度を制御する量子化ステップサイズを、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて予測し、少なくともフレーム間予測を用いて予測画像を生成する工程を含み、量子化ステップサイズを予測するために前記フレーム間予測の動きベクトルを用いる映像復号方法。
（付記１０）入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号方法であって、前記逆量子化の粒度を制御する量子化ステップサイズを、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて予測し、少なくともフレーム間予測を用いて予測画像を生成する工程を含み、既に符号化済みの近傍画像ブロックに割り当てられた動きベクトルを用いてフレーム間予測に用いる動きベクトルを予測し、量子化ステップサイズを予測するために前記予測動きベクトルの予測方向を用いる映像符号化方法。
（付記１１）入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化装置におけるプログラムであって、コンピュータに、前記量子化の粒度を制御する量子化ステップサイズを、既に符号化済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて予測させるための映像符号化プログラム。
（付記１２）付記（１１）の映像符号化プログラムであって、コンピュータに、過去に符号化済みの画像と所定のパラメータとを用いて符号化対象画像ブロックの予測画像を生成する処理を実行させ、前記予測画像の生成に用いられるパラメータを用いて量子化ステップサイズを予測させる映像符号化プログラム。
（付記１３）付記（１２）の映像符号化プログラムであって、コンピュータに、少なくともフレーム内予測を用いて予測画像を生成する処理を実行させ、前記フレーム内予測の予測方向を用いて量子化ステップサイズを予測させる映像符号化プログラム。
（付記１４）付記（１２）の映像符号化プログラムであって、コンピュータに、少なくともフレーム間予測を用いて予測画像を生成する処理を実行させ、前記フレーム間予測の動きベクトルを用いて量子化ステップサイズを予測させる映像符号化プログラム。
（付記１５）付記（１２）の映像符号化プログラムであって、コンピュータに、少なくともフレーム間予測を用いて予測画像を生成する処理を実行させ、既に符号化済みの近傍画像ブロックに割り当てられた動きベクトルを用いてフレーム間予測に用いる動きベクトルを予測する処理を実行させ、前記予測動きベクトルの予測方向を用いて量子化ステップサイズを予測させる映像符号化プログラム。
（付記１６）入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号装置におけるプログラムであって、コンピュータに、前記逆量子化の粒度を制御する量子化ステップサイズを、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて予測させるための映像復号プログラム。
（付記１７）付記（１６）の映像復号プログラムであって、コンピュータに、過去に復号済みの画像と所定のパラメータとを用いて復号対象画像ブロックの予測画像を生成する処理を実行させ、前記予測画像の生成に用いられるパラメータを用いて該量子化ステップサイズを予測させる映像復号プログラム。
（付記１８）付記（１７）の映像復号プログラムであって、コンピュータに、少なくともフレーム内予測を用いて予測画像を生成する処理を実行させ、前記フレーム内予測の予測方向を用いて量子化ステップサイズを予測させる映像復号プログラム
（付記１９）付記（１７）の映像復号プログラムであって、コンピュータに、少なくともフレーム間予測を用いて予測画像を生成する処理を実行させ、前記フレーム間予測の動きベクトルを用いて量子化ステップサイズを予測させる映像復号プログラム。
（付記２０）付記（１７）の映像復号プログラムであって、コンピュータに、少なくともフレーム間予測を用いて予測画像を生成する処理を実行させ、既に符号化済みの近傍画像ブロックに割り当てられた動きベクトルを用いてフレーム間予測に用いる動きベクトルを予測する処理を実行させ、前記予測動きベクトルの予測方向を用いて量子化ステップサイズを予測させる映像復号プログラム。
（付記２１）入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化装置であって、前記量子化の粒度を制御する量子化ステップサイズを符号化する量子化ステップサイズ符号化手段と、過去に符号化済みの画像と所定のパラメータとを用いて符号化対象画像ブロックの予測画像を生成する予測画像生成手段とを備え、前記量子化ステップサイズ符号化手段は、前記予測画像生成手段が用いるパラメータを用いて量子化ステップサイズを予測し、さらに、所定のパラメータに基づいて前記量子化ステップサイズ符号化手段の動作を制御する量子化ステップサイズ予測制御手段と、圧縮符号化処理結果に前記量子化ステップサイズ符号化手段の動作パラメータを多重化する多重化手段とを有する映像符号化装置。
（付記２２）付記２１の映像符号化装置であって、前記量子化ステップサイズ符号化手段の動作パラメータは、少なくとも、前記予測画像生成手段が用いるパラメータの利用可否を表すフラグを含み、前記量子化ステップサイズ予測制御手段は、前記フラグに基づいて、前記量子化ステップサイズ符号化手段の動作を制御する映像符号化装置。
（付記２３）付記２１の映像符号化装置であって、前記量子化ステップサイズ符号化手段の動作パラメータは、少なくとも、量子化ステップサイズの変調パラメータを含み、前記量子化ステップサイズ符号化手段は、前記予測画像生成手段が用いるパラメータに基づいて求められた量子化ステップサイズに対して、前記変調パラメータによる変調を加えることによって量子化ステップサイズを予測する映像符号化装置。
（付記２４）付記２３の映像符号化装置であって、前記量子化ステップサイズ符号化手段は、前記予測画像生成手段が用いるパラメータに基づいて求められた量子化ステップサイズに所定のオフセットを加えることによって量子化ステップサイズを予測する映像符号化装置。
（付記２５）入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号装置であって、前記逆量子化の粒度を制御する量子化ステップサイズを復号する量子化ステップサイズ復号手段と、過去に復号済みの画像と所定のパラメータとを用いて復号対象画像ブロックの予測画像を生成する予測画像生成手段とを備え、前記量子化ステップサイズ復号手段は、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて該量子化ステップサイズを予測し、さらに、前記量子化ステップサイズ復号手段の動作パラメータを含むビットストリームの多重化を解除する多重化解除手段と、多重化解除された量子化ステップサイズ復号手段の動作パラメータに基づいて前記量子化ステップサイズ復号手段の動作を制御する量子化ステップサイズ予測制御手段とを有する映像復号装置。
（付記２６）付記２５の映像復号装置であって、前記多重化解除手段は、量子化ステップサイズ復号手段の動作パラメータとして、少なくとも、前記予測画像生成手段が用いるパラメータの利用可否を表すフラグを抽出し、前記量子化ステップサイズ予測制御手段は、前記フラグに基づいて、前記量子化ステップサイズ復号手段の動作を制御する映像復号装置。
（付記２７）付記２５の映像復号装置であって、前記多重化解除手段は、量子化ステップサイズ復号手段の動作パラメータとして、少なくとも、量子化ステップサイズの変調パラメータを抽出し、前記量子化ステップサイズ復号手段は、前記予測画像生成手段が用いるパラメータに基づいて求められた量子化ステップサイズに対して、前記変調パラメータによる変調を加えることによって量子化ステップサイズを予測する映像復号装置。
（付記２８）付記２７の映像復号装置であって、前記量子化ステップサイズ復号手段は、前記予測画像生成手段が用いるパラメータに基づいて求められた量子化ステップサイズに所定のオフセットを加えることによって量子化ステップサイズを予測する映像復号装置。
（付記２９）入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化方法であって、前記量子化の粒度を制御する量子化ステップサイズを符号化し、過去に符号化済みの画像と所定のパラメータとを用いて符号化対象画像ブロックの予測画像を生成し、予測画像を生成するときに用いるパラメータを用いて前記量子化ステップサイズを予測し、圧縮符号化処理結果に前記量子化ステップサイズを符号化する際の動作パラメータを多重化する映像符号化方法。
（付記３０）付記２９の映像符号化方法であって、前記量子化ステップサイズを符号化する際の動作パラメータは、少なくとも、予測画像を生成するときにパラメータの利用可否を表すフラグを含み、前記フラグに基づいて、前記量子化ステップサイズを符号化する際の動作を制御する映像符号化方法。
（付記３１）付記２９の映像符号化方法であって、前記量子化ステップサイズを符号化する際の動作パラメータは、少なくとも、量子化ステップサイズの変調パラメータを含み、前記量子化ステップサイズを符号化するときに、予測画像を生成するときに用いるパラメータに基づいて求められた量子化ステップサイズに対して、前記変調パラメータによる変調を加えることによって量子化ステップサイズを予測する映像符号化方法。
（付記３２）付記３１の映像符号化方法であって、予測画像を生成するときに用いるパラメータに基づいて求められた量子化ステップサイズに所定のオフセットを加えることによって量子化ステップサイズを予測する映像符号化方法。
（付記３３）入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号方法であって、前記逆量子化の粒度を制御する量子化ステップサイズを復号し、過去に復号済みの画像と所定のパラメータとを用いて復号対象画像ブロックの予測画像を生成し、前記量子化ステップサイズを復号するときに、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて該量子化ステップサイズを予測し、さらに、前記量子化ステップサイズを復号するときの動作パラメータを含むビットストリームの多重化を解除し、多重化解除された前記動作パラメータに基づいて前記量子化ステップサイズを復号するときの動作を制御する映像復号方法。
（付記３４）付記３３の映像復号方法であって、量子化ステップサイズを復号するときの動作パラメータとして、少なくとも、前記復号対象画像ブロックの予測画像を生成するときに用いるパラメータの利用可否を表すフラグを抽出し、前記フラグに基づいて、前記量子化ステップサイズを復号するときの動作を制御する映像復号方法。
（付記３５）付記３３の映像復号方法であって、量子化ステップサイズを復号するときの動作パラメータとして、少なくとも、量子化ステップサイズの変調パラメータを抽出し、前記復号対象画像ブロックの予測画像を生成するときに用いるパラメータに基づいて求められた量子化ステップサイズに対して、前記変調パラメータによる変調を加えることによって量子化ステップサイズを予測する映像復号方法。
（付記３６）付記３５の映像復号方法であって、前記量子化ステップサイズを復号するときに、前記復号対象画像ブロックの予測画像を生成するときに用いるパラメータに基づいて求められた量子化ステップサイズに所定のオフセットを加えることによって量子化ステップサイズを予測する映像復号方法。
（付記３７）入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化装置におけるプログラムであって、コンピュータに、前記量子化の粒度を制御する量子化ステップサイズを符号化する処理と、過去に符号化済みの画像と所定のパラメータとを用いて符号化対象画像ブロックの予測画像を生成する処理と、予測画像を生成するときに用いるパラメータを用いて前記量子化ステップサイズを予測する処理と、圧縮符号化処理結果に前記量子化ステップサイズを符号化する際の動作パラメータを多重化する処理とを実行させるための映像符号化プログラム。
（付記３８）付記３７の映像符号化プログラムであって、前記量子化ステップサイズを符号化する際の動作パラメータは、少なくとも、予測画像を生成するときにパラメータの利用可否を表すフラグを含み、コンピュータに、前記フラグに基づいて、前記量子化ステップサイズを符号化する際の動作を制御させる映像符号化プログラム。
（付記３９）付記３７の映像符号化プログラムであって、前記量子化ステップサイズを符号化する際の動作パラメータは、少なくとも、量子化ステップサイズの変調パラメータを含み、コンピュータに、前記量子化ステップサイズを符号化するときに、予測画像を生成するときに用いるパラメータに基づいて求められた量子化ステップサイズに対して、前記変調パラメータによる変調を加えることによって量子化ステップサイズを予測させる映像符号化プログラム。
（付記４０）付記３９の映像符号化プログラムであって、コンピュータに、予測画像を生成するときに用いるパラメータに基づいて求められた量子化ステップサイズに所定のオフセットを加えることによって量子化ステップサイズを予測させる映像符号化プログラム。
（付記４１）入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号装置のプログラムであって、コンピュータに、前記逆量子化の粒度を制御する量子化ステップサイズを復号する処理と、過去に復号済みの画像と所定のパラメータとを用いて復号対象画像ブロックの予測画像を生成する処理と、前記量子化ステップサイズを復号するときに、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて該量子化ステップサイズを予測する処理と、前記量子化ステップサイズを復号するときの動作パラメータを含むビットストリームの多重化を解除する処理と、多重化解除された前記動作パラメータに基づいて前記量子化ステップサイズを復号するときの動作を制御させるための映像復号プログラム。
（付記４２）付記４１の映像復号プログラムであって、コンピュータに、量子化ステップサイズを復号するときの動作パラメータとして、少なくとも、前記復号対象画像ブロックの予測画像を生成するときに用いるパラメータの利用可否を表すフラグを抽出する処理と、前記フラグに基づいて、前記量子化ステップサイズを復号するときの動作を制御させる処理とを実行させる映像復号プログラム。
（付記４３）付記４１の映像復号プログラムであって、コンピュータに、量子化ステップサイズを復号するときの動作パラメータとして、少なくとも、量子化ステップサイズの変調パラメータを抽出する処理と、前記復号対象画像ブロックの予測画像を生成するときに用いるパラメータに基づいて求められた量子化ステップサイズに対して、前記変調パラメータによる変調を加えることによって量子化ステップサイズを予測する処理とを実行させる映像復号プログラム。
（付記４４）付記４３の映像復号プログラムであって、コンピュータに、前記量子化ステップサイズを復号するときに、前記復号対象画像ブロックの予測画像を生成するときに用いるパラメータに基づいて求められた量子化ステップサイズに所定のオフセットを加えることによって量子化ステップサイズを予測させる映像復号プログラム。
（付記４５）
入力画像データを所定の大きさのブロックに分割し、分割された画像ブロック毎に量子化を適用して圧縮符号化処理を行う映像符号化装置であって、前記量子化の粒度を制御する量子化ステップサイズを符号化する量子化ステップサイズ符号化手段を備え、前記量子化ステップサイズ符号化手段は、既に符号化済みの複数の近傍画像ブロックに割り当てられた量子化ステップサイズの平均値を用いて前記量子化の粒度を制御する量子化ステップサイズを予測する映像符号化装置。
（付記４６）
入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号装置であって、前記逆量子化の粒度を制御する量子化ステップサイズを復号する量子化ステップサイズ復号手段を備え、前記量子化ステップサイズ復号手段は、既に復号済みの複数の近傍画像ブロックサイズに割り当てられた量子化ステップサイズの平均値を用いて前記逆量子化の粒度を制御する量子化ステップサイズを予測する映像復号装置。
（付記４７）
入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化方法であって、前記量子化の粒度を制御する量子化ステップサイズを、既に符号化済みの複数の近傍画像ブロックに割り当てられた量子化ステップサイズの平均値を用いて予測することを特徴とする映像符号化方法。
（付記４８）
入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号方法であって、前記逆量子化の粒度を制御する量子化ステップサイズを、既に復号済みの複数の近傍画像ブロックに割り当てられた量子化ステップサイズの平均値を用いて予測することを特徴とする映像復号方法。
（付記４９）
入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化装置におけるプログラムであって、コンピュータに、前記量子化の粒度を制御する量子化ステップサイズを符号化する処理と、前記量子化の粒度を制御する量子化ステップサイズを、既に復号済みの複数の近傍画像ブロックに割り当てられた量子化ステップサイズの平均値を用いて予測する処理とを実行させる映像符号化プログラム。
（付記５０）
入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号装置のプログラムであって、コンピュータに、前記逆量子化の粒度を制御する量子化ステップサイズを復号する処理と、前記量子化ステップサイズを復号するときに、既に復号済みの複数の近傍画像ブロックに割り当てられた量子化ステップサイズの平均値を用いて前記逆量子化の粒度を制御する量子化ステップサイズを予測する処理とを実行させる映像復号プログラム。
以上、実施形態および実施例を参照して本発明を説明したが、本発明は上記実施形態および実施例に限定されない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１１年３月９日に出願された日本特許出願２０１１−５１２９１および２０１１年４月２１日に出願された日本特許出願２０１１−９５３９５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１０ 量子化ステップサイズ符号化部
１１ ステップサイズ予測部
２０ 予測画像生成部
３０ 予測動きベクトル生成部
５０ 量子化ステップサイズ復号部
５１ ステップサイズ予測部
６０ 予測画像生成部
７０ 予測動きベクトル生成部
１０１ 周波数変換器
１０２ 量子化器
１０３ 可変長符号化器
１０４ 量子化制御器
１０５ 逆量子化器
１０６ 逆周波数変換器
１０７ フレームメモリ
１０８ フレーム内予測器
１０９ フレーム間予測器
１１０ 予測選択器
１１１ 量子化ステップサイズ予測制御器
１１２ 多重化器
２０１ 可変長復号器
２０２ 逆量子化器
２０３ 逆周波数変換器
２０４ フレームメモリ
２０５ フレーム内予測器
２０６ フレーム間予測器
２０７ 予測選択器
２０８ 多重化解除器
２０９ 量子化ステップサイズ予測制御器
１００１ プロセッサ
１００２ プログラムメモリ
１００３ 記憶媒体
１００４ 記憶媒体
１０３１１ 量子化ステップサイズバッファ
１０３１２ エントロピー符号化器
１０３１３ 予測量子化ステップサイズ生成器
２０１１１ エントロピー復号器
２０１１２ 量子化ステップサイズバッファ
２０１１３ 予測量子化ステップサイズ生成器

Claims (6)

  1. 入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化装置であって、
    前記量子化の粒度を制御する量子化ステップサイズを符号化する量子化ステップサイズ符号化手段を備え、
    前記量子化ステップサイズ符号化手段は、既に符号化済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて前記量子化の粒度を制御する量子化ステップサイズを予測し、
    過去に符号化済みの画像と所定のパラメータとを用いて符号化対象画像ブロックの予測画像を生成する予測画像生成手段をさらに備え、
    前記量子化ステップサイズ符号化手段は、前記予測画像の生成に用いられるパラメータを用いて前記量子化の粒度を制御する量子化ステップサイズを予測する
    ことを特徴とする映像符号化装置。
  2. 入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化装置であって、
    前記量子化の粒度を制御する量子化ステップサイズを符号化する量子化ステップサイズ符号化手段と、
    過去に符号化済みの画像と所定のパラメータとを用いて符号化対象画像ブロックの予測画像を生成する予測画像生成手段とを備え、
    前記量子化ステップサイズ符号化手段は、前記予測画像生成手段が用いるパラメータを用いて量子化ステップサイズを予測し、
    前記予測画像生成手段は、少なくともフレーム間予測を用いて予測画像を生成し、
    前記量子化ステップサイズ符号化手段は、量子化ステップサイズを予測するために前記フレーム間予測の動きベクトルを用いる
    ことを特徴とする映像符号化装置。
  3. 入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化装置であって、
    前記量子化の粒度を制御する量子化ステップサイズを符号化する量子化ステップサイズ符号化手段を備え、
    前記量子化ステップサイズ符号化手段は、既に符号化済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて前記量子化の粒度を制御する量子化ステップサイズを予測し、
    過去に符号化済みの画像と所定のパラメータとを用いて符号化対象画像ブロックの予測画像を生成する予測画像生成手段をさらに備え、
    前記量子化ステップサイズ符号化手段は、前記予測画像生成手段が用いるパラメータを用いて量子化ステップサイズを予測し、
    前記予測画像生成手段は、少なくともフレーム間予測を用いて予測画像を生成し、
    既に符号化済みの近傍画像ブロックに割り当てられた動きベクトルを用いてフレーム間予測に用いる動きベクトルを予測する予測動きベクトル生成手段をさらに備え、
    前記量子化ステップサイズ符号化手段は、量子化ステップサイズを予測するために前記予測動きベクトルの予測方向を用いる
    ことを特徴とする映像符号化装置。
  4. 入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号装置であって、
    前記逆量子化の粒度を制御する量子化ステップサイズを復号する量子化ステップサイズ復号手段を備え、
    前記量子化ステップサイズ復号手段は、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて前記逆量子化の粒度を制御する量子化ステップサイズを予測するように構成され、
    前記量子化ステップサイズ復号手段は、既に復号済みの複数の近傍画像ブロックに割り当てられた量子化ステップサイズの平均値を用いて前記逆量子化の粒度を制御する量子化ステップサイズを予測する
    ことを特徴とする映像復号装置。
  5. 入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号装置であって、
    前記逆量子化の粒度を制御する量子化ステップサイズを復号する量子化ステップサイズ復号手段と、
    過去に復号済みの画像と所定のパラメータとを用いて復号対象画像ブロックの予測画像を生成する予測画像生成手段とを備え、
    前記量子化ステップサイズ復号手段は、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて前記量子化の粒度を制御する量子化ステップサイズを予測し、
    前記量子化ステップサイズ復号手段は、前記予測画像生成に用いるパラメータを用いて前記量子化の粒度を制御する量子化ステップサイズを予測し、
    前記予測画像生成手段は、少なくともフレーム間予測を用いて予測画像を生成し、
    前記量子化ステップサイズ復号手段は、量子化ステップサイズを予測するために前記フレーム間予測の動きベクトルを用いる
    ことを特徴とする映像復号装置。
  6. 入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号装置であって、
    前記逆量子化の粒度を制御する量子化ステップサイズを復号する量子化ステップサイズ復号手段と、
    過去に復号済みの画像と所定のパラメータとを用いて復号対象画像ブロックの予測画像を生成する予測画像生成手段とを備え、
    前記量子化ステップサイズ復号手段は、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて前記量子化の粒度を制御する量子化ステップサイズを予測し、
    前記量子化ステップサイズ復号手段は、前記予測画像生成に用いるパラメータを用いて前記量子化の粒度を制御する量子化ステップサイズを予測し、
    前記予測画像生成手段は、少なくともフレーム間予測を用いて予測画像を生成し、
    既に符号化済みの近傍画像ブロックに割り当てられた動きベクトルを用いてフレーム間予測に用いる動きベクトルを予測する予測動きベクトル生成手段をさらに備え、
    前記量子化ステップサイズ復号手段は、量子化ステップサイズを予測するために前記予測動きベクトルの予測方向を用いる
    ことを特徴とする映像復号装置。
JP2018117212A 2011-03-09 2018-06-20 映像符号化装置及び映像復号装置 Active JP6558477B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011051291 2011-03-09
JP2011051291 2011-03-09
JP2011095395 2011-04-21
JP2011095395 2011-04-21

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017073515A Division JP6358353B2 (ja) 2011-03-09 2017-04-03 映像復号装置及び映像復号方法

Publications (2)

Publication Number Publication Date
JP2018164296A true JP2018164296A (ja) 2018-10-18
JP6558477B2 JP6558477B2 (ja) 2019-08-14

Family

ID=46797859

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2013503397A Active JP6024654B2 (ja) 2011-03-09 2012-03-08 映像符号化装置、映像復号装置、映像符号化方法及び映像復号方法
JP2016005962A Active JP6128239B2 (ja) 2011-03-09 2016-01-15 映像符号化装置、映像復号装置、映像符号化方法及び映像復号方法
JP2017073515A Active JP6358353B2 (ja) 2011-03-09 2017-04-03 映像復号装置及び映像復号方法
JP2018117212A Active JP6558477B2 (ja) 2011-03-09 2018-06-20 映像符号化装置及び映像復号装置
JP2018117865A Pending JP2018164301A (ja) 2011-03-09 2018-06-21 映像符号化装置及び映像復号装置

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2013503397A Active JP6024654B2 (ja) 2011-03-09 2012-03-08 映像符号化装置、映像復号装置、映像符号化方法及び映像復号方法
JP2016005962A Active JP6128239B2 (ja) 2011-03-09 2016-01-15 映像符号化装置、映像復号装置、映像符号化方法及び映像復号方法
JP2017073515A Active JP6358353B2 (ja) 2011-03-09 2017-04-03 映像復号装置及び映像復号方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018117865A Pending JP2018164301A (ja) 2011-03-09 2018-06-21 映像符号化装置及び映像復号装置

Country Status (13)

Country Link
US (5) US10284859B2 (ja)
EP (3) EP2863637B1 (ja)
JP (5) JP6024654B2 (ja)
KR (5) KR101814258B1 (ja)
CN (7) CN107277523B (ja)
AU (1) AU2012226120B2 (ja)
BR (5) BR112013022386B1 (ja)
CA (3) CA2909242C (ja)
ES (3) ES2715704T3 (ja)
MX (4) MX355979B (ja)
PL (2) PL2863637T3 (ja)
RU (6) RU2608446C2 (ja)
WO (1) WO2012120888A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6336058B2 (ja) 2013-10-14 2018-06-06 マイクロソフト テクノロジー ライセンシング，エルエルシー ビデオ及び画像符号化及び復号のためのベースカラーインデックスマップモードの機能
US10750198B2 (en) * 2014-05-22 2020-08-18 Qualcomm Incorporated Maximum palette parameters in palette-based video coding
US10264285B2 (en) 2014-05-22 2019-04-16 Qualcomm Incorporated Coding runs in palette-based video coding
CN105338352B (zh) * 2014-07-24 2019-04-19 华为技术有限公司 一种视频编码中自适应反量化方法及装置
EP3917146A1 (en) 2014-09-30 2021-12-01 Microsoft Technology Licensing, LLC Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US10659783B2 (en) * 2015-06-09 2020-05-19 Microsoft Technology Licensing, Llc Robust encoding/decoding of escape-coded pixels in palette mode
US20180048907A1 (en) * 2016-08-11 2018-02-15 Qualcomm Incorporated Video coding tools for in-loop sample processing
CN107094251B (zh) * 2017-03-31 2021-07-23 浙江大学 一种基于空间位置自适应质量调整的视频、图像编解码方法及装置
US10506196B2 (en) * 2017-04-01 2019-12-10 Intel Corporation 360 neighbor-based quality selector, range adjuster, viewport manager, and motion estimator for graphics
US20200322606A1 (en) * 2017-10-24 2020-10-08 Sharp Kabushiki Kaisha Systems and methods for determining quantization parameter predictive values
CN110771167A (zh) * 2018-07-27 2020-02-07 深圳市大疆创新科技有限公司 视频压缩的方法、装置、计算机系统和可移动设备
JP2022508245A (ja) 2018-11-27 2022-01-19 オーピー ソリューションズ， エルエルシー 文脈的区分化および処理のためのブロックベースのピクチャ融合
JP2020098986A (ja) * 2018-12-17 2020-06-25 キヤノン株式会社 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
WO2020248099A1 (en) * 2019-06-10 2020-12-17 Realnetworks, Inc. Perceptual adaptive quantization and rounding offset with piece-wise mapping function
CN111325000B (zh) * 2020-01-23 2021-01-26 北京百度网讯科技有限公司 语言生成方法、装置及电子设备
CN114222169B (zh) * 2021-12-14 2023-10-20 咪咕互动娱乐有限公司 一种视频流传输方法、通信设备及计算机可读存储介质
KR20240061218A (ko) 2022-10-31 2024-05-08 주식회사 이보드 복합 단열재 및 제조방법
CN116506665A (zh) * 2023-06-27 2023-07-28 北京蔚领时代科技有限公司 自适应码率控制的vr串流方法、系统、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006099229A1 (en) * 2005-03-10 2006-09-21 Qualcomm Incorporated Improved encoding of multimedia data
WO2009105732A1 (en) * 2008-02-22 2009-08-27 Qualcomm Incorporated Fast macroblock delta qp decision
WO2009158113A2 (en) * 2008-06-03 2009-12-30 Microsoft Corporation Adaptive quantization for enhancement layer video coding
WO2011156458A1 (en) * 2010-06-10 2011-12-15 Technicolor Usa, Inc. Methods and apparatus for determining quantization parameter predictors from a plurality of neighboring quantization parameters
WO2012023806A2 (ko) * 2010-08-17 2012-02-23 한국전자통신연구원 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1333420C (en) * 1988-02-29 1994-12-06 Tokumichi Murakami Vector quantizer
JP3012698B2 (ja) 1991-01-29 2000-02-28 オリンパス光学工業株式会社 画像データの符号化装置および符号化方法
JP2646921B2 (ja) 1991-11-15 1997-08-27 日本ビクター株式会社 適応量子化装置
KR0148130B1 (ko) 1992-05-18 1998-09-15 강진구 블럭킹아티팩트를 억제시키는 부호화/복호화 방법 및 그 장치
JP3268512B2 (ja) * 1993-03-03 2002-03-25 セイコーエプソン株式会社 画像処理装置および画像処理方法
KR0174453B1 (ko) 1995-02-28 1999-03-20 배순훈 디지털 영상 복호화 방법
KR0174452B1 (ko) 1995-02-28 1999-03-20 배순훈 디지털 영상 복호화장치
US6061401A (en) 1995-03-20 2000-05-09 Daewoo Electronics Co., Ltd. Method and apparatus for selectively encoding/decoding a video signal
JPH08331567A (ja) 1995-06-02 1996-12-13 Sony Corp 画像情報符号化装置、画像情報復号化装置及び画像情報記録再生システム
JP3408924B2 (ja) 1995-06-28 2003-05-19 シャープ株式会社 画像圧縮装置
DE69738787D1 (de) * 1996-05-14 2008-07-31 Daewoo Electronics Corp Reduzierung von Blockeffekten in einem Bewegtbilddekoder
US6795501B1 (en) * 1997-11-05 2004-09-21 Intel Corporation Multi-layer coder/decoder for producing quantization error signal samples
JPH11196262A (ja) * 1997-11-07 1999-07-21 Matsushita Electric Ind Co Ltd デジタル情報埋込み・抽出装置および方法並びに当該方法を実行するためのプログラムを記録した媒体
JP4099682B2 (ja) * 1998-09-18 2008-06-11 ソニー株式会社 画像処理装置および方法、並びに記録媒体
JP2000269821A (ja) 1999-03-18 2000-09-29 Oki Micro Design Co Ltd 予測符号化信号復号化装置及び雑音除去方法
EP1045590A3 (en) * 1999-04-13 2005-03-09 Matsushita Electric Industrial Co., Ltd. Transcoder and transcoding method with bit rate regulation
US6363113B1 (en) 1999-06-07 2002-03-26 Lucent Technologies Inc. Methods and apparatus for context-based perceptual quantization
US6570764B2 (en) * 1999-12-29 2003-05-27 Intel Corporation Low thermal resistance interface for attachment of thermal materials to a processor die
US6782135B1 (en) 2000-02-18 2004-08-24 Conexant Systems, Inc. Apparatus and methods for adaptive digital video quantization
US7251060B2 (en) 2000-12-12 2007-07-31 Ricoh Company, Ltd. Image-processing device using quantization threshold values produced according to a dither threshold matrix and arranging dot-on pixels in a plural-pixel field according to the dither threshold matrix
US6831947B2 (en) * 2001-03-23 2004-12-14 Sharp Laboratories Of America, Inc. Adaptive quantization based on bit rate prediction and prediction error energy
JP3807342B2 (ja) * 2002-04-25 2006-08-09 三菱電機株式会社 デジタル信号符号化装置、デジタル信号復号装置、デジタル信号算術符号化方法、およびデジタル信号算術復号方法
US8218624B2 (en) 2003-07-18 2012-07-10 Microsoft Corporation Fractional quantization step sizes for high bit rates
KR100594056B1 (ko) 2003-09-01 2006-07-03 삼성전자주식회사 효율적인 비트율 제어를 위한 ｈ．263/ｍｐｅｇ 비디오인코더 및 그 제어 방법
US7369709B2 (en) * 2003-09-07 2008-05-06 Microsoft Corporation Conditional lapped transform
US7817731B2 (en) 2003-09-22 2010-10-19 Infineon Technologies Ag Amplitude compression of signals in a multicarrier system
EP1718080A4 (en) 2004-02-20 2011-01-12 Nec Corp BILDCODE PROCESS, DEVICE AND CONTROL PROGRAM THEREFOR
JP4747494B2 (ja) * 2004-03-03 2011-08-17 ソニー株式会社 データ処理装置およびその方法と符号化装置
US20050201629A1 (en) * 2004-03-09 2005-09-15 Nokia Corporation Method and system for scalable binarization of video data
US7606427B2 (en) 2004-07-08 2009-10-20 Qualcomm Incorporated Efficient rate control techniques for video encoding
US20080187042A1 (en) 2005-01-07 2008-08-07 Koninklijke Philips Electronics, N.V. Method of Processing a Video Signal Using Quantization Step Sizes Dynamically Based on Normal Flow
EP1727371A1 (en) 2005-05-27 2006-11-29 Thomson Licensing Method for controlling the encoder output bit rate in a block-based video encoder, and corresponding video encoder apparatus
JP5043856B2 (ja) * 2005-12-05 2012-10-10 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー 映像品質測定
JP4529919B2 (ja) 2006-02-28 2010-08-25 日本ビクター株式会社 適応量子化装置及び適応量子化プログラム
CN101039432A (zh) * 2006-03-16 2007-09-19 华为技术有限公司 在编码过程中实现自适应量化的方法及装置
EP1995967A4 (en) * 2006-03-16 2009-11-11 Huawei Tech Co Ltd METHOD AND APPARATUS FOR ADAPTIVE QUANTIFICATION IN AN ENCODING PROCEDURE
KR101040160B1 (ko) * 2006-08-15 2011-06-09 브로드콤 코포레이션 패킷 손실 후의 제한되고 제어된 디코딩
RU2407221C1 (ru) 2006-10-10 2010-12-20 Ниппон Телеграф Энд Телефон Корпорейшн Способ и устройство управления кодированием с внутренним предсказанием, программа для них и запоминающий носитель, который хранит программу
US8774269B2 (en) * 2006-10-25 2014-07-08 Franuhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Quality scalable coding with mapping different ranges of bit depths
EP2123047A2 (en) * 2007-01-04 2009-11-25 BRITISH TELECOMMUNICATIONS public limited company Video signal encoding
JP5365518B2 (ja) * 2007-09-12 2013-12-11 ソニー株式会社 画像処理装置及び方法
CN101252689B (zh) * 2008-02-29 2010-08-25 杭州爱威芯科技有限公司 一种自适应的码率控制方法
CN101605250A (zh) * 2008-06-13 2009-12-16 三星电子株式会社 码率控制中确定初始量化步长的方法
US8295346B2 (en) 2009-04-08 2012-10-23 Samsung Electronics Co., Ltd. Small detail reservation in content-adaptive quantization
EP2362656B1 (en) 2010-02-18 2017-11-15 BlackBerry Limited Method and encoder for constrained soft-decision quantization in data compression
EP2559238B1 (en) * 2010-04-13 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Adaptive image filtering method and apparatus
JP5871906B2 (ja) 2010-04-26 2016-03-01 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 復号方法、プログラムおよび復号装置
EP2490355A1 (en) 2011-02-18 2012-08-22 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Digital receiver and digital transmitter having a variable interleaver functionality
JP2013034037A (ja) 2011-03-09 2013-02-14 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US9854275B2 (en) 2011-06-25 2017-12-26 Qualcomm Incorporated Quantization in video coding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006099229A1 (en) * 2005-03-10 2006-09-21 Qualcomm Incorporated Improved encoding of multimedia data
WO2009105732A1 (en) * 2008-02-22 2009-08-27 Qualcomm Incorporated Fast macroblock delta qp decision
WO2009158113A2 (en) * 2008-06-03 2009-12-30 Microsoft Corporation Adaptive quantization for enhancement layer video coding
WO2011156458A1 (en) * 2010-06-10 2011-12-15 Technicolor Usa, Inc. Methods and apparatus for determining quantization parameter predictors from a plurality of neighboring quantization parameters
JP2013531942A (ja) * 2010-06-10 2013-08-08 トムソン ライセンシング 複数の隣接する量子化パラメータから量子化パラメータ予測子を決定する方法及び装置
WO2012023806A2 (ko) * 2010-08-17 2012-02-23 한국전자통신연구원 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HIROFUMI AOKI ET AL.: "CE4 Subtest 2: QP prediction based on intra/inter prediction (test 2.4.b)", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-F103, JPN6019011964, July 2011 (2011-07-01), pages 1 - 19, ISSN: 0004010013 *
HIROFUMI AOKI ET AL.: "Prediction-based QP derivation", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-E215_r2, JPN6018005883, March 2011 (2011-03-01), pages 1 - 11, ISSN: 0004010012 *
MADHUKAR BUDAGAVI AND MINHUA ZHOU: "Delta QP signaling at sub-LCU level", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-D038_r1, JPN6018005880, January 2011 (2011-01-01), pages 1 - 5, ISSN: 0004010010 *
MASAAKI KOBAYASHI AND MASATO SHIMA: "Sub-LCU level delta QP signaling", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-E198, JPN6018005881, March 2011 (2011-03-01), pages 1 - 9, ISSN: 0004010011 *

Also Published As

Publication number Publication date
US20130322526A1 (en) 2013-12-05
CN107257467B (zh) 2020-01-03
KR20150028822A (ko) 2015-03-16
JP2016086440A (ja) 2016-05-19
AU2012226120B2 (en) 2015-07-23
KR101814259B1 (ko) 2018-01-02
CA2909259C (en) 2020-01-14
CN103444180A (zh) 2013-12-11
CN107197277A (zh) 2017-09-22
CN107197277B (zh) 2020-05-05
RU2628212C1 (ru) 2017-08-15
US11509909B2 (en) 2022-11-22
KR20160103560A (ko) 2016-09-01
ES2715703T3 (es) 2019-06-05
CN107181947A (zh) 2017-09-19
CN107181951A (zh) 2017-09-19
CN107277523A (zh) 2017-10-20
KR20130108457A (ko) 2013-10-02
EP2863637A3 (en) 2015-05-06
EP2866449A1 (en) 2015-04-29
KR101689997B1 (ko) 2016-12-26
US20200366903A1 (en) 2020-11-19
EP2685720B1 (en) 2016-09-14
CA2829034C (en) 2017-04-25
PL2863637T3 (pl) 2019-08-30
US20200366905A1 (en) 2020-11-19
KR20150028823A (ko) 2015-03-16
BR122020015656B1 (pt) 2023-04-11
CA2909259A1 (en) 2012-09-13
CN107277524B (zh) 2019-05-17
BR122020015657B1 (pt) 2023-04-11
JP2018164301A (ja) 2018-10-18
EP2866449B1 (en) 2018-12-12
ES2604336T3 (es) 2017-03-06
CA2909242A1 (en) 2012-09-13
BR122020015658B1 (pt) 2023-03-28
KR20160041052A (ko) 2016-04-15
BR122020015659B1 (pt) 2023-03-28
CN107257467A (zh) 2017-10-17
US20200366904A1 (en) 2020-11-19
JPWO2012120888A1 (ja) 2014-07-17
WO2012120888A1 (ja) 2012-09-13
JP6358353B2 (ja) 2018-07-18
CA2909242C (en) 2020-03-24
JP2017139795A (ja) 2017-08-10
BR112013022386A2 (pt) 2016-12-06
MX2013010216A (es) 2013-10-30
MX339436B (es) 2016-05-26
US20190230366A1 (en) 2019-07-25
MX355979B (es) 2018-05-07
BR112013022386B1 (pt) 2022-04-05
EP2863637B1 (en) 2018-12-12
EP2685720A1 (en) 2014-01-15
EP2685720A4 (en) 2014-09-10
CN107181951B (zh) 2019-12-24
PL2866449T3 (pl) 2019-05-31
KR101769726B1 (ko) 2017-08-18
CN107277524A (zh) 2017-10-20
RU2013145077A (ru) 2015-04-20
CN103444180B (zh) 2017-08-08
AU2012226120A1 (en) 2013-08-01
RU2679116C1 (ru) 2019-02-06
US10284859B2 (en) 2019-05-07
KR101814258B1 (ko) 2018-01-02
EP2863637A2 (en) 2015-04-22
US10771790B2 (en) 2020-09-08
MX2018005721A (es) 2023-03-06
ES2715704T3 (es) 2019-06-05
CN107181947B (zh) 2019-06-07
US11483571B2 (en) 2022-10-25
JP6558477B2 (ja) 2019-08-14
RU2608446C2 (ru) 2017-01-18
RU2654149C1 (ru) 2018-05-16
RU2695641C1 (ru) 2019-07-25
JP6128239B2 (ja) 2017-05-17
RU2015121760A (ru) 2015-10-10
RU2566334C2 (ru) 2015-10-20
JP6024654B2 (ja) 2016-11-16
US11496749B2 (en) 2022-11-08
CA2829034A1 (en) 2012-09-13
CN107277523B (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
JP6558477B2 (ja) 映像符号化装置及び映像復号装置
AU2017251808B2 (en) Video encoding device, video decoding device, video encoding method, and video decoding method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190701

R150 Certificate of patent or registration of utility model

Ref document number: 6558477

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150