JP2020028044A - 符号化装置および符号化方法 - Google Patents

符号化装置および符号化方法 Download PDF

Info

Publication number
JP2020028044A
JP2020028044A JP2018152392A JP2018152392A JP2020028044A JP 2020028044 A JP2020028044 A JP 2020028044A JP 2018152392 A JP2018152392 A JP 2018152392A JP 2018152392 A JP2018152392 A JP 2018152392A JP 2020028044 A JP2020028044 A JP 2020028044A
Authority
JP
Japan
Prior art keywords
block
encoding
slice
unit
reduced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2018152392A
Other languages
English (en)
Inventor
旭穎 雷
Xu Ying Lei
旭穎 雷
三好 秀誠
Hidemasa Miyoshi
秀誠 三好
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2018152392A priority Critical patent/JP2020028044A/ja
Priority to US16/516,468 priority patent/US20200053357A1/en
Publication of JP2020028044A publication Critical patent/JP2020028044A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】空間並列処理における境界劣化を改善すること。【解決手段】符号化装置100は、画像情報を分割することで得られる複数のスライスをそれぞれ符号化する符号化部170a〜170dを有する。符号化装置100は、画像情報を縮小した縮小画像情報を分割することで得られる複数の縮小スライスを基にして優遇対象ブロックを判定する。符号化装置は、縮小スライスに対応するスライスを符号化する符号化部170a〜170dに対して、優遇対象ブロックに対応するブロックを符号化する場合の量子化パラメータを小さくする制御を行う。【選択図】図2

Description

本発明は、符号化装置等に関する。
最新の動画像符号化方式HEVC(High Efficiency Video Coding)は、現在一般に普及しているH.264の2倍の圧縮性能を達成している。ネットワークトラフィックの削減や、膨大なデータ量を有する超高精細映像(4K/8K)を効率的に圧縮することができる技術として放送業界を中心にHEVCの導入が始まっている。すでに4K/8K放送にはHEVCが採用されており、2016年に4K/8K試験放送を開始、2018年には実用放送に入る予定である。国内の放送用途では、ARIB(Association of Radio Industries and Businesses:電波産業会)において、ARIB STD-B32として規定されている。
8Kは、HD(High Definition)に比べて16倍の高解像度となる。また、8Kは、自然界の色が実物に限りなく近く表現できる広色域性、速い動きもスムーズに捉える高フレームレート、明暗をくっきりと表現できる高ダイナミックレンジといった特徴を規格として備えている。これらの特徴により、4K/8Kの超高精細技術は、放送分野以外での活用も期待されている。例えば広告分野や、設計、デザインの現場での活用、防犯、監視分野での超高精細システムの実装、会議、プレゼンテーションでの効果的な活用が想定される。また、映画やエンタテイメント分野、教育、学術分野などが想定されているが、これらと並んで、医療分野への応用にも強い期待が寄せられている。したがって、8K映像を実用的なレートに圧縮するニーズが増えている。
8K映像のデータ量は膨大のため、一つのデバイスでエンコードすることが難しい。このため、8Kの場合の処理負荷を低減するための方法として、時空間並列処理技術がある。時空間並列処理技術は、符号化対象となる映像を、時間方向及び空間方向に分割して、複数のデバイスで並列処理を行う技術である。時空間並列処理の一例として、非特許文献1がある。
図32は、時空間並列処理の一例を説明するための図である。図32に示すように、非特許文献1は、1つのピクチャ10を4つのスライス0〜3に分割する。たとえば、ピクチャ10の横幅は7680画素であり、縦幅は、4320ラインとなる。各スライス0〜3の縦幅は、1088ラインとなる。非特許文献1は、各スライス0〜3を、4つのデバイス(図示略)に入力して並列に8K画像を符号化する。
非特許文献1のように複数のデバイスで符号化を行う場合に、データ転送量の観点で、デバイス間の参照ピクチャを共有しない。このため、スライス境界付近のブロックにおいて、インター予測やイントラ予測が行われる場合に、スライスを跨いだ参照を行うことが不可になり、スライス境界で画質が劣化する。
図33は、スライス境界で画質が劣化する課題を説明するための図である。図33に示す例では、符号化対象のピクチャをピクチャ11aとし、ピクチャ11aの参照ピクチャをピクチャ11bとする。図示を省略するが、デバイスD0がスライス0を格納して符号化し、デバイスD1がスライス1を格納して符号化するものとする。
ここでは、ピクチャ11aのブロック12aをデバイスD0が符号化する場合について説明する。たとえば、ブロック12aを符号化する場合に参照するブロックが、ブロック13aである場合には、ブロック13aがスライス0に含まれる。このため、デバイスD0は、ブロック12aを符号化する場合に、ブロック13aを参照可能であり、スライス境界で画質が劣化することはない。
これに対して、ブロック12aを符号化する場合に参照するブロックが、ブロック13bまたはブロック13cである場合には、スライス1がデバイスD0に格納されていないため、デバイスD0は、ブロック13b,13cを参照することができない。このように、デバイスD0が、ブロック13b,13cを参照することができないと、ブロック12aの符号化を最適に実行できないため、ブロック12aを含むピクチャを復号して再生した際の画質が劣化してしまう。
図34は、スライス境界で画質が劣化したピクチャの一例を説明するための図である。図34に示す例では、ピクチャ15のスライス境界15a,15bにおいて、複数の横線が出現し、画質が劣化している。たとえば、スライス境界15aの横線は、図33のブロック12aが、ブロック13aまたは13bを参照できないことにより出現する横線である。スライス境界15bの横線は、ピクチャ11bで既に出現していた横線である。時間階層符号化において、L4階層の各ピクチャが次々と縦にずれた位置を参照して符号化を行うため、境界の劣化が伝搬して、複数の横線が出現する。
図33および図34で説明したスライス境界における画質劣化を軽減する従来技術として、従来技術1と従来技術2がある。従来技術1では、スライス境界に位置するマクロブロックの量子化をより細かく行うために、より小さくした量子化パラメータを新たに設定する処理を行う。量子化パラメータを小さくすることで、スライス境界の画質を改善することができる。従来技術2では、動きの速さに応じてM値(1SOP内のピクチャの枚数)が適応的に切り替えることで、動きベクトル制限によってスライス境界付近で最適な動きベクトルを選択できない状態になることをでるだけ回避でき、分割境界での画質劣化が生ずる可能性を低減できる。
特開2004−235683号公報 特開2018−14750号公報
ARIB STD-B32 3.9版(平成28年12月9日改定)
しかしながら、上述した従来技術では、空間並列処理における境界劣化を改善することができないという問題がある。
ピクチャを符号化する場合には、データ転送量の観点で、1つのピクチャに割り当てるデータ量の上限が決まっているため、ピクチャの領域のうち、複雑な部分に対して割り当てるデータ量をより大きくすることが望ましい。これに対して、上述した従来技術1では、シーンに限らず、スライス境界における量子化パラメータを小さくして、スライス境界のブロックに割り当てるデータ量を大きくしているため、ピクチャ全体として、画像が劣化してしまう。たとえば、図33において、ブロック12aが参照するブロックが13aである場合には、ブロック12aの符号化に多くのデータ量を割り当てることは適切な対応ではない。
1つの側面では、本発明は、空間並列処理における分割境界劣化を改善することができる符号化装置および符号化方法を提供することを目的とする。
第1の案では、符号化装置は、符号化部と、生成部と、判定部と、制御部とを有する。符号化部は、画像情報を分割することで得られる複数のスライスのうち、一つのスライスを符号化する。生成部は、画像情報を縮小した縮小画像情報を生成する。判定部は、縮小画像情報を分割することで得られる複数の縮小スライスのうち、第1縮小スライスに含まれる第1ブロックの動きベクトルの方向を基にして、第1ブロックが、第1縮小スライスに隣接する第2縮小スライスに含まれる第2ブロックを参照して符号化するブロックである場合に、第1ブロックを優遇対象ブロックとして判定する。制御部は、第1ブロックが、優遇対象ブロックであると判定された場合には、第1縮小スライスに対応する第1スライスを符号化する符号化部に対して、第1スライスに含まれる複数のブロックのうち、第1ブロックに対応するブロックを符号化する場合の量子化パラメータを小さくする制御を行う。
空間並列処理における分割境界劣化を改善することができる。
図1は、本実施例1に係るシステムの構成を示す図である。 図2は、本実施例1に係る符号化装置の構成を示す機能ブロック図である。 図3は、本実施例1に係る分割部の処理を説明するための図である。 図4は、本実施例1に係る縮小画像符号化部の処理を説明するための図である。 図5は、統計情報を説明するための図である。 図6は、縮小スライスの下端に位置するブロックに対する処理を説明する図(1)である。 図7は、縮小スライスの下端に位置するブロックに対する処理を説明する図(2)である。 図8は、縮小スライスの上端に位置するブロックに対する処理を説明する図(1)である。 図9は、縮小スライスの上端に位置するブロックに対する処理を説明する図(2)である。 図10は、画像劣化の範囲を判定する処理を説明するための図である。 図11は、イントラ予測による符号化の順番を説明するための図である。 図12は、2つのイントラ予測モードを用いて、符号化対象ブロックの予測画像を生成する例を示す図である。 図13は、符号化モードがイントラ予測である場合の判定部の処理を説明するための図である。 図14は、縮小画像情報上のブロックと画像情報上のブロックとの対応関係を示す図である。 図15は、本実施例1に係る縮小画像符号化部の構成を示す機能ブロック図である。 図16は、本実施例1に係る符号化部の構成を示す機能ブロック図である。 図17は、本実施例1に係る符号化装置の処理手順を示すフローチャートである。 図18は、本実施例1に係る縮小画像情報の符号化処理を示すフローチャートである。 図19は、本実施例1に係るスライスの符号化処理を示すフローチャートである。 図20は、イントラ予測方向の分類を示す図である。 図21は、本実施例2に係る符号化装置の処理を説明するための図(1)である。 図22は、本実施例2に係る符号化装置の処理を説明するための図(2)である。 図23は、本実施例2に係る符号化装置の構成を示す機能ブロック図である。 図24は、各スライスの各ラインを定義する図である。 図25は、本実施例2に係る符号化装置の処理手順を示すフローチャートである。 図26は、本実施例3に係る符号化装置の処理を説明するための図(1)である。 図27は、本実施例3に係る符号化装置の処理を説明するための図(2)である。 図28は、本実施例3に係る符号化装置の構成を示す機能ブロック図である。 図29は、本実施例3に係る符号化装置の処理手順を示すフローチャートである。 図30は、縮小画像符号化部のその他の処理を説明するための図である。 図31は、符号化装置のその他の処理を説明するための図である。 図32は、時空間並列処理の一例を説明するための図である。 図33は、スライス境界で画質が劣化する課題を説明するための図である。 図34は、スライス境界で画質が劣化したピクチャの一例を説明するための図である。
以下に、本願の開示する符号化装置および符号化方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図1は、本実施例1に係るシステムの構成を示す図である。図1に示すように、このシステムは、カメラ91と、符号化装置100と、復号装置92と、表示装置93とを有する。カメラ91と、符号化装置100とは相互に接続される。符号化装置100と、復号装置92とは、相互に接続される。復号装置92と、表示装置93とは、相互に接続される。
カメラ91は、映像を撮影するカメラである。カメラ91は、撮影した映像の情報を、符号化装置100に送信する。映像の情報には、複数のピクチャ(画像情報)が含まれているものとする。
符号化装置100は、カメラ10から受け付ける映像の情報をエントロピ(Entropy)符号化することで、ストリーム情報を生成する装置である。符号化装置100は、ストリーム情報を、復号装置92に送信する。
ここで、符号化装置100は、複数の符号化部を有する。符号化装置100は、画像情報を縦方向に複数のスライスに分割し、1つのスライスを一つの符号化部に割り当てて並列的に符号化処理を行う。また、符号化装置100は、画像情報を縮小した縮小画像情報を生成する。
符号化装置100は、縮小画像情報をスライスに分割することで得られる複数の縮小スライスのうち、第1縮小スライスに含まれる第1ブロックの動きベクトルの方向を基にして、第1ブロックが、第1縮小スライスに隣接する第2縮小スライスに含まれる第2ブロックを参照して符号化するブロックである場合に、第1ブロックを優遇対象ブロックとして判定する。
符号化装置100は、第1ブロックを優遇対象ブロックとして判定した場合には、第1縮小スライスに対応するスライスを符号化する符号化部に、スライスに含まれる複数のブロックのうち、第1ブロック(優遇対象ブロック)に対応するブロックを符号化する場合の量子化パラメータを小さくする制御を行う。
このように、符号化装置100は、縮小画像情報をスライスした複数の縮小スライスを基にして、画像情報のスライスに含まれるブロックのうち、量子化パラメータを小さくするブロックを特定する。これにより、空間並列処理における境界劣化を改善することができる。また、スライスの境界に位置する全てのブロックに対して量子化パラメータを小さくする制御を行わず、特定したブロックを対象として、量子化パラメータを小さくする制御を行うため、スライスの境界に割り当てるデータ量を節約することができ、ピクチャ全体として、画像が劣化することを抑止することができる。
復号装置92は、符号化装置100からストリーム情報を受信し、受信したストリーム情報を復号することで、映像を生成する装置である。復号装置92は、映像の情報を表示装置93に出力する。
表示装置93は、復号装置92から映像の情報を受け付け、映像を表示する表示装置である。たとえば、表示装置93は、液晶ディスプレイ、タッチパネル、テレビモニタ等に対応する。
次に、本実施例1に係る符号化装置100の処理の一例について説明する。図2は、本実施例1に係る符号化装置の構成を示す機能ブロック図である。図2に示すように、この符号化装置100は、受信部110、分割部120、生成部130、縮小画像符号化部140、判定部150、制御部160を有する。また、符号化装置100は、符号部170a,170b,170c,170d、送信部180を有する。
受信部110は、カメラ91から映像の情報を受信する処理部である。受信部は、映像の情報に含まれる各画像情報(ピクチャ)を、分割部120および生成部130に出力する。
分割部120は、画像情報を複数のスライスに分割し、分割したスライスを、符号化部170a,170b,170c,170dに出力する処理部である。図3は、本実施例1に係る分割部の処理を説明するための図である。図3に示すように、分割部120は、ピクチャ10を、4つのスライス0〜3に分割する。分割部120は、スライス0を、符号化部170aに出力する。分割部120は、スライス1を、符号化部170bに出力する。分割部120は、スライス2を、符号化部170cに出力する。分割部120は、スライス3を、符号化部170dに出力する。分割部120は、各画像情報に対して、上記処理を繰り返し実行する。
生成部130は、画像情報を一つのエンコーダ(たとえば、縮小画像符号化部140)で処理できる画像サイズに縮小することで、縮小画像情報を生成する処理部である。画像情報のサイズを、水平方向にn画素、垂直方向にm画素とする。水平方向の縮小率をd1とし、垂直方向の縮小率をd2とする。この場合には、生成部130は、水平方向にn×d1画素、垂直方向にm×d2画素の縮小画像情報を生成する。縮小率d1、d2は、1以下の正の値である。たとえば、縮小率d1、d2の値を1/2とする。
たとえば、生成部130は、受信部110から受信した画像情報の各画素に対して、ガウシアンフィルタまたは平均化フィルタといった平滑化フィルタを適用して画像情報を平滑化する。生成部130は、水平方向及び垂直方向の縮小率に応じて、平滑化された画像情報をサブサンプリングすることで、縮小画像情報を生成する。生成部130は、縮小画像情報を、縮小画像符号化部140に出力する。
縮小画像符号化部140は、分割部120と同じ分割方法で縮小画像情報を複数のスライスに分割し、各スライスを符号化する処理部である。なお、縮小画像情報は、生成部130により予め複数のスライスに分割されていてもよい。以下の説明では、縮小画像情報をスライスしたものを、「縮小スライス」と表記し、画像情報をスライスしたものを、「スライス」と表記する。
図4は、本実施例1に係る縮小画像符号化部の処理を説明するための図である。図4に示すように、縮小画像符号化部140は、縮小画像情報20を、4つの縮小スライス0〜3に分割し、縮小スライス0〜3を符号化する。
縮小画像符号化部140は、縮小スライス0〜3を符号化する場合に、統計情報を生成し、統計情報を判定部150の記憶領域に格納する。統計情報は、縮小スライスの境界に位置するブロックの動きベクトル等の情報を含む。
図5は、統計情報を説明するための図である。図5に示すように、縮小画像情報20に含まれる縮小スライスが4つの場合には、ラインが6つ含まれる。たとえば、縮小スライス0には、縮小スライス0の境界に位置するラインl0が含まれる。縮小スライス1には、縮小スライス0の境界に位置するラインl1と、縮小スライス2の境界に位置するラインl2が含まれる。縮小スライス2には、縮小スライス1の境界に位置するラインl3と、縮小スライス3の境界に位置するラインl4とが含まれる。縮小スライス3には、縮小スライス2の境界に位置するラインl5が含まれる。
画像20aは、縮小スライス0に含まれるラインl0をより具体的に示すものである。たとえば、縮小スライス0には複数のブロック0−0〜0−7を有する。なお、ブロック0−0〜0−7は便宜的に示すものであり、縮小スライス0は、他のブロックを含んでいてもよい。たとえば、本実施例におけるブロックは、CTBに対応するものである。
縮小画像符号化部140は、ブロックにインター(Inter)予測ブロックが含まれている場合、動きベクトル情報1A、1Bを生成して判定部150の記憶領域に格納する。動きベクトル情報1Aは、予測方向が前方向である場合における、ブロックの動きベクトルの縦成分の値が格納される。ブロックに複数のインター予測ブロックが含まれている場合には、動きベクトルの縦方向の平均値が格納される。動きベクトル情報1Bは、予測方向が後方向である場合における、ブロックの動きベクトルの縦成分の値が格納される。ブロックに複数のインター予測ブロックが含まれている場合には、動きベクトルの縦方向の平均値が格納される。
MV_Ver_L0[i][j][k]・・・(1A)
MV_Ver_L1[i][j][k]・・・(1B)
動きベクトル情報1A、1Bに示す「i」は、ブロックが含まれるラインの位置を示す。たとえば、ブロックのラインが、図5に示したラインl0である場合、iには「0」が設定される。ブロックのラインが、ラインl1〜l5である場合、iには「1〜5」が設定される。「j」は、動きベクトルの縦成分の方向を示す。動きベクトルの縦成分が0より大きい場合、jには「0」が設定される。動きベクトルの縦成分が0より小さい場合、jには「1」が設定される。「k」は、横方向に何番目のブロックであるかを示すものであり、先頭を0番目とする。たとえば、対象のブロックが、ブロック0−0である場合には、kには「0」が設定され、対象のブロックがブロック0−1である場合には、kには「1」が設定される。
縮小画像符号化部140は、ブロックにイントラ(Intra)予測ブロックが含まれている場合、動きベクトル情報1Cを生成して判定部150の記憶領域に格納する。縮小画像符号化部140は、1つのブロックに含まれる全てのCUがイントラ予測である場合には、予測方向の平均値を格納する。
IntraPredMode[i][k]・・・(1C)
動きベクトル情報1Cに示す「i」は、ブロックが含まれるラインの位置を示す。たとえば、ブロックのラインが、図5に示したラインl0である場合、iには「0」が設定される。動きベクトル情報1Cに示す「k」は、横方向に何番目のブロックであるかを示すものであり、先頭を0番目とする。たとえば、対象のブロックが、ブロック0−0である場合には、kには「0」が設定され、対象のブロックがブロック0−1である場合には、kには「1」が設定される。
判定部150は、記憶領域に記憶された統計情報を基にして、優遇対象となるブロックを判定する処理部である。判定部150は、統計情報に含まれるブロックの動きベクトルの方向によって、スライス境界に画質劣化が起こるか否かを判定し、動きベクトルの大きさによって、画質劣化の範囲を判定する。画質劣化の範囲に含まれるブロックが優遇対象のブロックとなる。判定部150は、判定結果を、制御部160に出力する。
判定部150は、ブロック単位で処理を行う。処理対象のブロックの符号化モードが「インター予測」か「イントラ予測」かに応じて、判定部150の処理が異なる。
処理対象のブロックの符号化モードがインター予測である場合の判定部150の処理について説明する。まず、判定部150は、動きベクトルの方向によって、スライス境界に画質劣化が起こるか否かを判定する。
図6及び図7は、縮小スライスの下端に位置するブロックに対する処理を説明する図である。図6では、縮小スライスの下端に位置するブロックが優遇対象とならない場合の例を示す。図6のピクチャ16を符号化対象のピクチャとし、ピクチャ17をピクチャ16の参照ピクチャとする。ブロック16aが縮小スライス0の下端に位置している場合において、動きベクトルの縦成分が0未満である場合には、ブロック16aは、ブロック17a,17bを参照して符号化されるため、縮小スライスの境界を跨いだ参照が行われていないことを示す。
たとえば、ブロック16aを、横方向にk番目のブロックとすると、ブロック16aの動きベクトル情報は、MV_Ver_L0[0][1][k]、MV_Ver_L1[0][1][k]となる。判定部150は、MV_Ver_L0[0][1][k]およびMV_Ver_L1[0][1][k]が0未満であるため(jの値が1であるため)、ブロック16aが、縮小スライスの境界を跨いだ参照を行わないとし、ブロック16aを、優遇対象のブロックではないと判定する。
図7では、縮小スライスの下端にブロックが優遇対象となる場合の例を示す。図7のピクチャ18を符号化対象のピクチャとし、ピクチャ19をピクチャ18の参照ピクチャとする。ブロック18aが縮小スライス0の下端に位置している場合において、動きベクトルの縦成分が0以上となる場合には、ブロック18aは、ブロック19a,19bを参照して符号化されるため、縮小スライスの境界を跨いだ参照が行われる。
たとえば、ブロック18aを、横方向にk番目のブロックとすると、ブロック18aの動きベクトル情報は、MV_Ver_L0[0][0][k]、MV_Ver_L1[0][0][k]となる。判定部150は、MV_Ver_L0[0][0][k]およびMV_Ver_L1[0][0][k]が0以上であるため(jの値が0であるため)、ブロック18aが、縮小スライスの境界を跨いだ参照を行うとし、ブロック18aを、優遇対象のブロックであると判定する。
図8及び図9は、縮小スライスの上端に位置するブロックに対する処理を説明する図である。図8では、縮小スライスの上端に位置するブロックが優遇対象とならない場合の例を示す。図8のピクチャ21を符号化対象のピクチャとし、ピクチャ22をピクチャ21の参照ピクチャとする。ブロック21aが縮小スライス1の上端に位置している場合において、動きベクトルの縦成分が0以上である場合には、ブロック21aは、ブロック22a,22bを参照して符号化されるため、縮小スライスの境界を跨いだ参照が行われないことを示す。
たとえば、ブロック21aを、横方向にk番目のブロックとすると、ブロック21aの動きベクトル情報は、MV_Ver_L0[1][0][k]、MV_Ver_L1[1][0][k]となる。判定部150は、MV_Ver_L0[1][0][k]およびMV_Ver_L1[1][0][k]が0以上であるため(jの値が0であるため)、ブロック21aが、縮小スライスの境界を跨いだ参照を行わないとし、ブロック21aを、優遇対象のブロックではないと判定する。
図9では、縮小スライスの上端に位置するブロックが優遇対象となる場合の例を示す。図9のピクチャ23を符号化対象のピクチャとし、ピクチャ24をピクチャ23の参照ピクチャとする。ブロック23aが縮小スライス1の上端に位置している場合において、動きベクトルの縦成分が0未満となる場合には、ブロック23aは、ブロック24a,24bを参照して符号化されるため、縮小スライスの境界を跨いだ参照が行われる。
たとえば、ブロック23aを、横方向にk番目のブロックとすると、ブロック23aの動きベクトル情報は、MV_Ver_L0[1][1][k]、MV_Ver_L1[1][1][k]となる。判定部150は、MV_Ver_L0[1][1][k]およびMV_Ver_L1[1][1][k]が0未満であるため(jの値が1であるため)、ブロック23aが、縮小スライスの境界を跨いだ参照を行うとし、ブロック23aを、優遇対象のブロックであると判定する。
判定部150は、処理対象のブロックの符号化モードが「インター予測」である場合には、各ラインl0〜l3に含まれる各ブロックについて、上記処理を繰り返し実行することで、優遇対象のブロックを判定する。
続いて、判定部150は、各ラインl0〜l5に含まれる、優遇対象となるブロックを判定した後に、画像劣化の範囲を判定する。図10は、画像劣化の範囲を判定する処理を説明するための図である。図10において、ピクチャ25を符号化対象のピクチャとする。ピクチャ26,27を、ピクチャ25が参照するピクチャとする。
縮小スライス1の上端に位置するブロック25aの動きベクトル情報が0未満である場合には、縮小スライスの上端の境界から離れるNU個のブロックまで画質が劣化する。このため、判定部150は、縮小スライスの上端の境界から離れるNU個のブロックを、優遇対象のブロックと判定する。たとえば、縮小スライスの上端の境界から離れるNU個のブロックに、ブロック25b,25cが含まれ、ブロック25dが含まれないものとする。この場合、判定部130は、ブロック25b,25cを優遇対象のブロックと判定する。判定部130は、ブロック25dを優遇対象のブロックと判定しない。
判定部150は、式(1)を基にして、NUの値を算出する。式(1)の「MV_Ver」は、縮小スライスの上端に位置する、優遇対象のブロックの動きベクトル情報の値である。「CTBSize」は、ブロックのサイズであり、予め設定される。式(1)のceil関数により、小数点以下が切り上げられる。
NU=ceil(-MV_Ver/CTBSize)・・・(1)
一方、縮小スライス1の下端に位置するブロック25eの動きベクトルの情報が0以上である場合には、縮小スライスの下端の境界から離れるND個のブロックまで画質が劣化する。このため、判定部150は、縮小スライスの下端の境界から離れるND個のブロックを、優遇対象のブロックと判定する。たとえば、縮小スライスの下端の境界から離れるND個のブロックに、ブロック25f,25gが含まれ、ブロック25hが含まれないものとする。この場合、判定部130は、ブロック25f,25gを優遇対象のブロックと判定する。判定部130は、ブロック25hを優遇対象のブロックと判定しない。
判定部150は、式(2)を基にして、NDの値を算出する。式(2)の「MV_Ver」は、縮小スライスの下端に位置する、優遇対象のブロックの動きベクトル情報の値である。「CTBSize」は、ブロックのサイズであり、予め設定される。式(2)のceil関数により、小数点以下が切り上げられる。
ND=ceil(MV_Ver/CTBSize)・・・(2)
判定部150は、処理対象のブロックの符号化モードが「インター予測」である場合には、各ラインl0〜l3に含まれる各ブロックのうち、優遇対象と判定したブロックの動きベクトル情報を基にして、画像劣化の範囲を特定する。判定部150は、画像劣化の範囲に含まれる、各ブロックを優遇対象のブロックとして判定する。
次に、処理対象のブロックの符号化モードがイントラ予測である場合の判定部150の処理について説明する。
まず、イントラ予測について説明を行う。画像情報(動画像)の符号化は、1ピクチャを複数のブロックに分割して、符号化処理を行う。図11は、イントラ予測による符号化の順番を説明するための図である。ピクチャ30内の符号化順番は、矢印30aに示すように、左から右、上から下のZスキャンの順番で、各ブロックの符号化処理を行う。
図12は、2つのイントラ予測モードを用いて、符号化対象ブロックの予測画像を生成する例を示す図である。図12の左側の予測モードは水平予測を示し、右側の予測モードは垂直予測を示す。水平予測は、対象ブロックの左ブロックの隣接1列の画素値を水平方向にコピーして、対象ブロックの画素値を予測する。垂直予測は、対象ブロックの上ブロックの隣接1行の画素値を垂直方向にコピーして、対象ブロックの画素値を予測する。
続いて、判定部150は、縮小スライスの上端に位置するブロックが、優遇対象のブロックであるか否かを判定する処理について説明する。図13は、符号化モードがイントラ予測である場合の判定部の処理を説明するための図である。
図13のピクチャ31を用いて説明する。縮小スライス1の上端に位置するブロック31aを符号化する場合、本来参照できるブロック31d,31e,31fが、縮小スライス0に位置しており、縮小スライスの境界を跨いだ参照が行われる。このため、判定部130は、ブロック31aに対する符号化モードがイントラ予測である場合には、ブロック31aを、優遇対象のブロックとして判定する。
図13のピクチャ32を用いて説明する。縮小スライス2の下端に位置するブロック32aを符号化する場合、左下のブロック32bが縮小スライス1に位置している。ここで、図10で説明したような符号化順番では、ブロック32aは、ブロック32bを参照することなく、符号化が行われる。このため、判定部130は、ブロック32aに対する符号化モードがイントラ予測である場合には、ブロック32aを、優遇対象のブロックではないと判定する。
判定部150は、処理対象のブロックの符号化モードが「イントラ予測」である場合には、各ラインl0〜l5に含まれる各ブロックについて、上記処理を繰り返し実行することで、優遇対象のブロックを判定する。
図2の説明に戻る。制御部160は、判定部150により優遇対象と判定された縮小画像情報上のブロックに対応する画像情報上のブロックに対して、符号化部170a〜170dが量子化を行う際の量子化パラメータを、優遇対象外のブロックより小さく設定する処理部である。
ここで、判定部150により優遇対象と判定されたブロックは、縮小画像情報のブロックであるため、制御部160は、縮小画像情報上の優遇対象と判定されたブロックに対応する、画像情報上のブロックを特定し、特定したブロックを、優遇対象のブロックとして判定する。
図14は、縮小画像情報上のブロックと画像情報上のブロックとの対応関係を示す図である。図14に示す例では、画像情報10と、この画像情報を縮小した縮小画像情報20とを示す。たとえば、縮小率が「1/2」である場合には、縮小画像情報20の一つのブロックが、画像情報10の4つのブロックに対応する。制御部160は、縮小スライス0のブロック20−0が、優遇対象と判定されたブロックである場合には、スライス0のブロック10a,10b,10c,10dを、優遇対象のブロックとして判定する。
制御部160は、優遇対象のブロックの量子化パラメータQP’を式(3)に基づいて算出する。式(3)において、QPは、優遇対象外のブロックの量子化パラメータを示す。「QP_Offset」は、情報量を優遇するための補正値であり、0以上の値が設定される。たとえば、「QP_Offset=6」と設定される。
QP'=QP-QP_Offset・・・(3)
制御部160は、上記処理を実行することで、画像情報上の優遇対象のブロックの位置と、優遇対象のブロックに対する量子化パラメータの情報を、符号化部170a〜170bに出力する。
より具体的には、制御部160は、画像情報上のスライス0に関する優遇対象のブロックの位置と、優遇対象のブロックに対する量子化パラメータの情報を、符号化部170aに出力する。制御部160は、画像情報上のスライス1に関する優遇対象のブロックの位置と、優遇対象のブロックに対する量子化パラメータの情報を、符号化部170bに出力する。制御部160は、画像情報上のスライス2に関する優遇対象のブロックの位置と、優遇対象のブロックに対する量子化パラメータの情報を、符号化部170cに出力する。制御部160は、画像情報上のスライス3に関する優遇対象のブロックの位置と、優遇対象のブロックに対する量子化パラメータの情報を、符号化部170dに出力する。
符号化部170a〜170dは、分割部120から入力されるスライスを符号化する処理部である。符号化部170a〜170dは、スライスに含まれる優遇対象のブロックについては、量子化パラメータQP’により符号化を行う。符号化部170a〜170dは、スライスに含まれる優遇対象外のブロックについては、量子化パラメータQPにより符号化を行う。ブロックを量子化する場合に、量子化パラメータが小さいほど、多くの情報が、符号化後のブロックに含まれることになる。量子化パラメータQP’は、量子化パラメータQPよりも小さい値であるため、優遇対象のブロックを符号化したものは、優遇対象外のブロックを符号化したものよりも多くの情報を含む。
符号化部170aは、スライス0の符号化結果を送信部180に出力する。符号化部170bは、スライス1の符号化結果を送信部180に出力する。符号化部170cは、スライス2の符号化結果を送信部180に出力する。符号化部170dは、スライス3の符号化結果を送信部180に出力する。符号化部170a〜170dは、スライス0〜3を受け付ける度に、上記処理を繰り返し実行する。
送信部180は、符号化部170a〜170dからスライス0〜3の符号化結果を受付、各符号化結果を合成して、ストリーム情報を生成する処理部である。送信部180は、生成したストリーム情報を、復号装置92に送信する。
次に、図2に示した縮小画像符号化部140の構成の一例について説明する。図15は、本実施例1に係る縮小画像符号化部の構成を示す機能ブロック図である。図15に示すように、縮小画像符号化部140は、差分画像生成部141、予測画像生成部142、直交変換/量子化部143、エントロピ符号化部144を有する。縮小画像符号化部140は、逆直交変換/逆量子化部145、復号画像生成部146、動きベクトル探索部147を有する。
縮小画像符号化部140が符号化する縮小画像情報は、4つの縮小スライスに分割されているが、縮小画像符号化部140は、各縮小スライスを一括して符号化するものとする。
差分画像生成部141は、生成部130から入力される縮小画像情報と、予測画像生成部142から入力される予測画像情報との差分画像情報を生成する処理部である。差分画像生成部141は、差分画像情報を、直交変換/量子化部143に出力する。
予測画像生成部142は、動きベクトル探索部147から取得する動きベクトル情報を基にして、復号画像生成部146から取得する復号画像情報を参照し、予測画像情報を生成する処理部である。予測画像情報には、符号化対象となるブロックが含まれる。
直交変換/量子化部143は、差分画像情報を直交変換処理することで周波数信号をえる。直交変換/量子化部143は、周波数信号の量子化を行うことで、量子化信号を生成する。直交変換/量子化部143は、量子化信号を、エントロピ符号化部144および逆直交変換/逆量子化部145に出力する。
エントロピ符号化部144は、量子化信号をエントロピ符号化(可変長符号化)する処理部である。エントロピ符号化部144は、符号化結果を、符号化部170a〜170dに出力する。エントロピ符号化とは、シンボルの出現頻度に応じて可変長に符号を割り当てる方式であり、出現頻度が多いシンボルほど、短い符号を割り当てる。
逆直交変換/逆量子化部145は、量子化信号に対して逆量子化を行うことで、周波数信号を取り出す。逆直交変換/逆量子化部145は、周波数信号を逆直交変換することで、画像情報(差分画像情報)を生成する。逆直交変換/逆量子化部145は、差分画像情報を、復号画像生成部146に出力する。
復号画像生成部146は、予測画像生成部142から入力される予測画像情報と、逆直交変換/逆量子化部145から入力される差分画像情報とを加算することで、復号画像情報を生成する処理部である。復号画像生成部146は、生成した復号画像情報を、予測画像生成部142および動きベクトル探索部147に出力する。
動きベクトル探索部147は、生成部130から入力される縮小画像情報と、復号画像情報から入力される復号画像情報とを基にして、動きベクトル情報を生成する処理部である。動きベクトル探索部147は、生成した動きベクトル情報を、予測画像生成部142に出力する。
また、動きベクトル探索部147は、縮小画像情報の縮小スライス0〜3に対する統計情報を生成し、統計情報を判定部150の記憶領域に格納する。動きベクトル探索部147が、統計情報を生成する処理は、図4、図5で説明した処理に対応する。
動きベクトル探索部147は、縮小スライス0〜3を複数のブロック(CTB)に分割し、ブロックにインター予測ブロックが含まれている場合には、動きベクトル情報1A,1Bを生成して、判定部150の記憶領域に格納する。動きベクトル探索部147は、ブロックにイントラ予測ブロックが含まれている場合には、動きベクトル情報1Cを生成して、判定部150の記憶領域に格納する。
次に、図2に示した符号化部170aの構成の一例について説明する。なお、符号化部170b〜170dの構成は、符号化部170aと同様であるため、説明を省略する。図16は、本実施例1に係る符号化部の構成を示す機能ブロック図である。図16に示すように、この符号化部170aは、差分画像生成部171、予測画像生成部172、直交変換/量子化部173、エントロピ符号化部174を有する。符号化部170aは、逆直交変換/逆量子化部175、復号画像生成部176、動きベクトル探索部177、レート制御部178を有する。
差分画像生成部171は、分割部120から入力されるスライス0と、予測画像生成部172から入力される予測画像情報との差分画像情報を生成する処理部である。差分画像生成部171は、差分画像情報を、直交変換/量子化部173に出力する。
なお、符号化部170bの差分画像生成部171は、分割部120からスライス1が入力される。符号化部170cの差分画像生成部171は、分割部120からスライス2が入力される。符号化部170dの差分画像生成部171は、分割部120からスライス3が入力される。
予測画像生成部172は、動きベクトル探索部177から取得する動きベクトル情報を基にして、復号画像生成部176から取得する復号画像情報を参照し、予測画像情報を生成する処理部である。予測画像情報には、符号化対象となるブロックが含まれる。
直交変換/量子化部173は、差分画像情報を直交変換処理することで周波数信号をえる。直交変換/量子化部173は、周波数信号の量子化を行うことで、量子化信号を生成する。直交変換/量子化部173は、量子化信号を、エントロピ符号化部174および逆直交変換/逆量子化部175に出力する。
ここで、直交変換/量子化部173が量子化を行う場合には、ブロック毎の量子化パラメータが、レート制御部178により通知される。直交変換/量子化部173は、通知された量子化パラメータによって、ブロック毎に量子化を行う。具体的には、直交変換/量子化部173は、優遇対象のブロックを量子化する場合には、量子化パラメータQPにより、量子化を行う。直交変換/量子化部173は、優遇対象外のブロックを量子化する場合には、量子化パラメータQPにより、量子化を行う。
エントロピ符号化部174は、量子化信号をエントロピ符号化(可変長符号化)する処理部である。エントロピ符号化部174は、符号化結果を、送信部180に出力する。
逆直交変換/逆量子化部175は、量子化信号に対して逆量子化を行うことで、周波数信号を取り出す。逆直交変換/逆量子化部175は、周波数信号を逆直交変換することで、画像情報(差分画像情報)を生成する。逆直交変換/逆量子化部175は、差分画像情報を、復号画像生成部176に出力する。
復号画像生成部176は、予測画像生成部172から入力される予測画像情報と、逆直交変換/逆量子化部175から入力される差分画像情報とを加算することで、復号画像情報を生成する処理部である。復号画像生成部176は、生成した復号画像情報を、予測画像生成部172および動きベクトル探索部177に出力する。
動きベクトル探索部177は、分割部120から入力されるスライス0と、復号画像情報から入力される復号画像情報とを基にして、動きベクトル情報を生成する処理部である。動きベクトル探索部177は、生成した動きベクトル情報を、予測画像生成部172に出力する。
なお、符号化部170bの動きベクトル探索部177は、分割部120からスライス1が入力される。符号化部170cの動きベクトル探索部177は、分割部120からスライス2が入力される。符号化部170dの動きベクトル探索部177は、分割部120からスライス3が入力される。
レート制御部178は、各ブロックを量子化する場合の量子化パラメータを、直交変換/量子化部173に通知する処理部である。レート制御部178は、制御部160から、優遇対象のブロックの位置と、優遇対象の量子化パラメータの情報を取得する。
また、レート制御部178は、縮小画像符号化部140から、縮小画像情報の符号化結果を取得し、縮小スライス0〜3に割り当てられたデータ量を比較して、縮小スライス0〜3の画像の複雑さを特定する。たとえば、縮小スライス0のデータ量が、縮小スライス1〜3のデータ量よりも大きい場合、スライス0には複雑な画像が含まれている。この場合には、レート制御部178は、エントロピ符号化部174の符号化レートを基準レートよりも上げる。
一方、縮小スライス0のデータ量が、縮小スライス1〜3のデータ量よりも小さい場合、スライス0には複雑な画像が含まれていない。この場合には、レート制御部178は、エントロピ符号化部174の符号化レートを基準レートより下げる。
次に、本実施例1に係る符号化装置100の処理手順の一例について説明する。図17は、本実施例1に係る符号化装置の処理手順を示すフローチャートである。図17に示すように、符号化装置100の受信部110は、カメラ91から映像の情報を受信する(ステップS101)。
符号化装置100の生成部130は、縮小画像情報を生成する(ステップS102)。符号化装置100の縮小画像符号化部140は、縮小画像情報の符号化処理を実行する(ステップS103)。符号化装置100の判定部150は、統計情報を基にして、優遇対象のブロックを判定する(ステップS104)。
符号化装置100の制御部160は、優遇対象のブロックの量子化パラメータを特定する(ステップS105)。符号化装置100の符号化部170a〜170dは、スライスの符号化処理を実行する(ステップS106)。符号化装置100の送信部180は、ストリーム情報を復号装置92に送信する(ステップS107)。
次に、図17のステップS103で示した縮小画像情報の符号化処理について説明する。図18は、本実施例1に係る縮小画像情報の符号化処理を示すフローチャートである。図18に示すように、縮小画像符号化部140は、縮小画像情報を複数の縮小スライスに分割する(ステップS201)。
縮小画像符号化部140は、ブロックを選択する(ステップS202)。縮小画像符号化部140の動きベクトル探索部147は、動きベクトルを探索する(ステップS203)。縮小画像符号化部140の差分画像生成部141は、差分画像情報を生成する(ステップS204)。
動きベクトル探索部147は、選択したブロックが、縮小スライス境界のブロックであるか否かを判定する(ステップS205)。動きベクトル探索部147は、選択したブロックが、縮小スライス境界のブロックである場合には(ステップS205,Yes)、ステップS206に移行する。一方、動きベクトル探索部147は、選択したブロックが、縮小スライス境界のブロックでない場合には(ステップS205,No)、ステップS207に移行する。
動きベクトル探索部147は、動きベクトル情報(統計情報)を生成し、判定部150の記憶領域に格納する(ステップS206)。縮小画像符号化部140の直交変換/量子化部143は、差分画像情報に対して直交変換処理を行い、周波数信号を生成する(ステップS207)。直交変換/量子化部143は、周波数信号に対して量子化処理を実行する(ステップS208)。
縮小画像符号化部140のエントロピ符号化部144は、エントロピ符号化を行う(ステップS209)。縮小画像符号化部140は、選択したブロックが、最後のブロックであるか否かを判定する(ステップS210)。縮小画像符号化部140は、選択したブロックが最後のブロックである場合には(ステップS210,Yes)、処理を終了する。
一方、縮小画像符号化部140は、選択したブロックが、最後のブロックでない場合には(ステップS210,No)、次のブロックを選択し(ステップS211)、ステップS203に移行する。
次に、図17のステップS106で示したスライスの符号化処理について説明する。図19は、本実施例1に係るスライスの符号化処理を示すフローチャートである。図19では一例として、符号化部170aの処理手順を説明するが、符号化部170b〜170dの処理は、符号化対象のスライスが異なるのみで、符号化部170aの処理手順と同様である。
図19に示すように、符号化部170aは、分割された複数のスライスのうち、一つのスライスを受け付ける(ステップS301)。符号化部170aは、ブロックを選択する(ステップS302)。
符号化部170aの動きベクトル探索部177は、動きベクトルを探索する(ステップS303)。符号化部170aの差分画像生成部171は、差分画像情報を生成する(ステップS304)。符号化部170aのレート制御部178は、選択したブロックが、優遇対象のブロックである場合には(ステップS305,Yes)、優遇対象のブロックの量子化パラメータを取得する(ステップS306)。
一方、レート制御部178は、選択したブロックが、優遇対象のブロックでない場合には(ステップS305,No)、優遇対象外のブロックの量子化パラメータを取得する(ステップS307)。
符号化部170aの直交変換/量子化部173は、差分画像情報に対して直交変換処理を行い、周波数信号を生成する(ステップS308)。直交変換/量子化部173は、通知された量子化パラメータにより、量子化処理を実行する(ステップS309)。
符号化部170aのエントロピ符号化部174は、エントロピ符号化を行う(ステップS310)。符号化部170aは、選択したブロックが、最後のブロックであるか否かを判定する(ステップS311)。符号化部170aは、選択したブロックが最後のブロックである場合には(ステップS311,Yes)、処理を終了する。
一方、符号化部170aは、選択したブロックが、最後のブロックでない場合には(ステップS311,No)、次のブロックを選択し(ステップS312)、ステップS303に移行する。
次に、本実施例1に係る符号化装置100の効果について説明する。符号化装置100は、縮小画像情報をスライスした複数の縮小スライスを基にして、画像情報のスライスに含まれるブロックのうち、量子化パラメータを小さくするブロックを特定する。これにより、空間並列処理における境界劣化を改善することができる。また、スライスの境界に位置する全てのブロックに対して量子化パラメータを小さくする制御を行わず、特定したブロックを対象として、量子化パラメータを小さくする制御を行うため、スライスの境界に割り当てるデータ量を節約することができ、ピクチャ全体として、画像が劣化することを抑止することができる。
ここで、実施例1で説明した制御部160が量子化パラメータを算出する処理は一例である。制御部160は、その他の処理を行って、量子化パラメータを算出してもよい。
制御部160が量子化パラメータを算出するその他の処理(1)について説明する。制御部160は、優遇対象のブロックが「BiPred予測」である場合、2つの参照方向(前方向、後方向)のうち、双方向とも参照先のブロックが、優遇対象のブロックと異なるスライスに位置するか否かに応じて、量子化パラメータを調整してもよい。
たとえば、制御部160は、2つの参照方向(双方向)とも、参照先のブロックが優遇対象のブロックと異なるスライスに位置している場合には、式(3)で用いるオフセットを「QP_Offset=6」に設定する。一方、制御部160は、少なくとも1つの参照先のブロックが優遇対象のブロックと同じスライスに位置している場合には、式(3)で用いるオフセットを「QP_Offset=3」に設定する。
制御部160は、上記のようにオフセットを切り替えることで、双方向とも参照不可の場合の量子化パラメータを、片方向のみ参照不可の場合の量子化パラメータよりも小さくすることができる。片方向のみ参照不可の場合と比較して、双方向とも参照不可の場合の方が、画像劣化が大きくなるため、より量子化パラメータを小さくする。
続いて、制御部160が量子化パラメータを算出するその他の処理(2)について説明する。制御部160は、符号化対象のブロックがイントラ予測である場合、イントラ予測方向によって、量子化パラメータを調整してもよい。
図20は、イントラ予測方向の分類を示す図である。たとえば、符号化対象となるブロックをブロック35とする。ブロック35の左下のブロックをブロック35Aとする。ブロック35の左のブロックをブロック35Bとする。ブロック35の左上のブロックをブロック35Cとする。ブロック35の上のブロックをブロック35Dとする。ブロック35の右上のブロックをブロック35Eとする。
制御部160は、ブロック35の予測画像を生成する場合に使用する周辺画素の位置に基づいて、予測方向をグループG1〜G3に分類する。グループG1には、予測モードm2〜m9が含まれる。グループG2には、予測モードm10〜m26が含まれる。グループG3には、予測モードm27〜m34が含まれる。
制御部160は、ブロック35A,35Bだけの画素を用いて、ブロック35の予測画像が生成される場合には、ブロック35のイントラ予測方向を、グループG1に分類する。ブロック35がスライスの上端に位置する場合、ブロック35A,35Bは、同じスライスに位置するため、参照可能なブロックであると言える。このため、制御部160は、ブロック35が、グループG1に分類される場合には、式(3)のオフセットを「QP_Offset=0」とし、量子化パラメータQP’を算出する。「QP_Offset=0」であるため、量子化パラメータQP’は、優遇対象外のブロックの量子化パラメータQPと同じ値となる。
制御部160は、ブロック35B,35C,35Dだけの画素を用いて、ブロック35の予測画像が生成される場合には、ブロック35のイントラ予測方向を、グループG2に分類する。ブロック35がスライスの上端に位置する場合、ブロック35C、35Dが異なるスライスに位置するため、一部のブロックが参照不能なブロックとなる。このため、制御部160は、ブロック35が、グループG2に分類される場合には、式(3)のオフセットを「QP_Offset=3」とし、量子化パラメータQP’を算出する。
制御部160は、ブロック35D,35Eだけの画素を用いて、ブロック35の予測画像が生成される場合には、ブロック35のイントラ予測方向を、グループG3に分類する。ブロック35がスライスの上端に位置する場合、ブロック35D,35Eが異なるスライスに位置するため、すべてのブロックが参照不能なブロックとなる。このため、制御部160は、ブロック35が、グループG2に分類される場合には、式(3)のオフセットを「QP_Offset=6」とし、量子化パラメータQP’を算出する。
制御部160は、上記のように、符号化対象のブロックが、イントラ予測である場合に、イントラ予測の方向に応じて、量子化パラメータを調整することで、ブロックを量子化する際に適切なデータ量を割り当てることができる。
次に、本実施例2に係る符号化装置について説明する。本実施例2に係る符号化装置は、縮小画像情報の予測誤差および画像情報の予測誤差を基にして、優遇対象と判定されたブロックの量子化パラメータを調整する。符号化装置は、各予測誤差のずれが大きくなると、画質の劣化が大きいと推定でき、量子化パラメータをより小さくする。
図21および図22は、本実施例2に係る符号化装置の処理を説明するための図である。図21では、縮小画像情報の予測誤差および画像情報の予測誤差が小さくなる場合について説明する。この場合は、各予測誤差のずれが小さいため、画像の劣化が小さいと推定される。
図21において、ピクチャ40は、符号化対象となる縮小画像情報である。ピクチャ41は、ピクチャ40の参照ピクチャである。ピクチャ40の縮小スライス0のブロック40aと最も似ているブロックを、ピクチャ41の縮小スライス0のブロック41aとする。縮小スライス0、1は、一つの符号化部(後述の縮小画像符号化部)により処理されるため、動きベクトル探索(ME:Motion Estimation)があたり、予測誤差が小さくなる。ブロック40aと最も似ているブロックは41bの場合も同じである。
ピクチャ42は、符号化対象となる画像情報である。ピクチャ43は、ピクチャ42の参照ピクチャである。ピクチャ42のスライス0のブロック42aと最も似ているブロックを、ピクチャ43のスライス0のブロック43aとする。ブロック42a,43a,43bは、スライス0に位置しており、一つの符号化部により処理されるため、動きベクトル探索があたり、予測誤差が小さくなる。ブロック42aと最も似ているブロックは43bの場合も同じである。
図21で説明したように、縮小画像情報の予測誤差が小さくなり、画像情報の予測誤差が小さくなるため、各予測誤差のずれが小さい。これにより、画像の劣化が小さいと推定される。
図22では、縮小画像情報の予測誤差が小さくなり、画像情報の予測誤差が大きくなる場合について説明する。この場合は、各予測誤差のずれが大きいため、画像の劣化が大きいと推定される。
図22において、ピクチャ40は、符号化対象となる縮小画像情報である。ピクチャ41は、ピクチャ40の参照ピクチャである。ピクチャ40の縮小スライス0のブロック40aと最も似ているブロックを、ピクチャ41の縮小スライス0のブロック41cと、縮小スライス1のブロック41dとする。縮小スライス0、1は、一つの符号化部(後述の縮小画像符号化部)により処理されるため、動きベクトル探索があたり、予測誤差が小さくなる。
ピクチャ42は、符号化対象となる画像情報である。ピクチャ43は、ピクチャ42の参照ピクチャである。ピクチャ42のスライス0のブロック42aと最も似ているブロックを、ピクチャ43のスライス0、1のブロック43cと、スライス1のブロック43dとする。ブロック42aは、スライス0に位置しており、ブロック43cの一部およびブロック43dは、スライス1に位置しているため、スライス0を符号化する符号化部は、ブロック43cの一部およびブロック43dを参照することができず、動きベクトル探索がはずれ、予測誤差が大きくなる。
図22で説明したように、縮小画像情報の予測誤差が小さくなり、画像情報の予測誤差が大きくなるため、各予測誤差のずれが大きい。これにより、画像の劣化が小さいと推定される。符号化装置は、図22のブロック42aの量子化パラメータを、図21のブロック42aの量子化パラメータよりも小さくする制御を行う。
本実施例2では、適宜、画像情報のスライス境界に位置するブロックの予測誤差をSAD(Sum of Absolute Difference)1と表記する。縮小画像情報の縮小スライス境界に位置するブロックの予測誤差をSAD2と表記する。
次に、本実施例2に係る符号化装置の構成について説明する。図23は、本実施例2に係る符号化装置の構成を示す機能ブロック図である。図23に示すように、符号化装置200は、受信部210、分割部220、生成部230、縮小画像符号化部240、判定部250、制御部260を有する。また、符号化装置200は、符号部270a,270b,270c,270d、送信部280を有する。符号化装置200は、符号化装置100と同様にして、カメラ91および復号装置92に接続される。
受信部210は、カメラ91から映像の情報を受信する処理部である。受信部210は、映像の情報に含まれる各画像情報(ピクチャ)を、分割部220および生成部230に出力する。
分割部220は、画像情報を複数のスライスに分割し、分割したスライスを、符号化部270a,270b,270c,270dに出力する処理部である。たとえば、分割部220は、図3で説明したように、ピクチャ10を、4つのスライス0〜3に分割する。分割部220は、スライス0を、符号化部270aに出力する。分割部220は、スライス1を、符号化部270bに出力する。分割部220は、スライス2を、符号化部270cに出力する。分割部220は、スライス3を、符号化部270dに出力する。分割部220は、各画像情報に対して、上記処理を繰り返し実行する。
生成部230は、画像情報を一つのエンコーダ(たとえば、縮小画像符号化部240)で処理できる画像サイズに縮小することで、縮小画像情報を生成する処理部である。生成部230が縮小画像情報を生成する処理は、生成部130が縮小画像情報を生成する処理と同様である。生成部230は、縮小画像情報を、縮小画像符号化部240に出力する。
縮小画像符号化部240は、縮小画像情報を複数の縮小スライスに分割し、各縮小スライスを符号化する処理部である。たとえば、縮小画像符号化部240は、図4で説明したように、縮小画像情報20を、4つの縮小スライス0〜3に分割し、縮小スライス0〜3を符号化する。
縮小画像符号化部240は、縮小スライス0〜3を符号化する場合に、統計情報を生成し、統計情報を判定部250の記憶領域に格納する。縮小画像符号化部240が統計情報を生成する処理は、実施例1で説明した縮小画像符号化部140が統計情報を生成する処理と同様である。
また、縮小画像符号化部240は、統計情報に加えて、「SAD2」を算出し、判定部250の記憶領域に格納する。
SAD2は、縮小スライスの各ラインl0〜l5に位置するブロックの予測誤差を示すものである。たとえば、SAD2は、下記の「1D」のように定義される。SAD2の「i」は、ブロックが含まれるラインの位置を示す。たとえば、ブロックのラインが、図5に示したラインl0である場合、iには「0」が設定される。iには「1〜5」が設定される。SAD2の「k」は、横方向に何番目のブロックであるかを示すものであり、先頭を0番目とする。たとえば、対象のブロックが、図5のブロック0−0である場合には、kには「0」が設定され、対象のブロックがブロック0−1である場合には、kには「1」が設定される。
SAD2[i][k]・・・(1D)
本実施例2に係る縮小画像符号化部240の構成は、図15で説明した縮小画像符号化部140に対応する構成となる。ここで、縮小画像符号化部240が、縮小画像符号化部140と異なる点は、差分画像生成部141が、SAD2を算出することである。
たとえば、縮小画像符号化部240の差分画像生成部141は、縮小画像情報のブロックと、予測画像情報のブロックとの差分の絶対値和を、SAD2として算出する。差分画像生成部141は、算出したSAD2の情報を、判定部250の記憶領域に格納する。
判定部250は、記憶領域に記憶された統計情報を基にして、優遇対象となるブロックを判定する処理部である。判定部250は、優遇対象となるブロックを判定する処理は、実施例1で説明した判定部150が優遇対象となるブロックを判定する処理と同様である。判定部250は、判定結果と、記憶領域に格納されたSAD1およびSAD2の情報を、制御部160に出力する。
制御部260は、判定部250により優遇対象と判定された縮小画像情報上のブロックに対応する画像情報上のブロックに対して、符号化部270a〜270dが量子化を行う際の量子化パラメータを、優遇対象外のブロックより小さく設定する処理部である。
制御部260が、優遇対象のブロックの量子化パラメータQP’を式(3)に基づいて算出する。ここで、制御部260は、式(3)で用いる「QP_Offset」を、式(4)に基づいて算出する。たとえば、式(4)に含まれる「MaxVal」の値は、12が設定されるが、適宜変更してもよい。式(4)に含まれる「SAD1」は、画像情報のスライス境界に位置するブロックの予測誤差を示し、後述する1Eにより定義される。式(4)に含まれる「SAD2」は、縮小画像情報の縮小スライス境界に位置するブロックの予測誤差を示し、上記の1Dにより定義される。また、ここで、縮小率=1/2(横、縦)で縮小画像を生成する時の計算式の例である。縮小率が変わると、計算式の中の「2*2」を「1/(縮小率*縮小率)」に変更してもよい。
式(4)を用いることで、量子化パラメータQP’は、SAD1に対して、SAD2が大きくなるにしたがって、より小さな値となる。
制御部260は、上記処理を実行することで、画像情報上の優遇対象のブロックの位置と、優遇対象のブロックに対する量子化パラメータの情報を、符号化部270a〜270dに出力する。制御部260が、画像情報上の優遇対象のブロックの位置を特定する処理は、図14等で説明した、制御部160の処理と同様である。
符号化部270a〜270dは、分割部220から入力されるスライスを符号化する処理部である。符号化部270a〜270dは、スライスに含まれる優遇対象のブロックについては、量子化パラメータQP’により符号化を行う。符号化部270a〜270dは、スライスに含まれる優遇対象外のブロックについては、量子化パラメータQPにより符号化を行う。
符号化部270aは、スライス0の符号化結果を送信部280に出力する。符号化部270bは、スライス1の符号化結果を送信部280に出力する。符号化部270cは、スライス2の符号化結果を送信部280に出力する。符号化部270dは、スライス3の符号化結果を送信部280に出力する。
また、符号化部270a〜270dは、「SAD1」を算出し、判定部250の記憶領域に格納する。図24は、各スライスの各ラインを定義する図である。符号化部270aが符号化するスライス0には、ラインL0がある。符号化部270bが符号化するスライス1には、ラインL1,L2がある。符号化部270cが符号化するスライス2には、ラインL3,L4がある。符号化部270dが符号化するスライス3には、ラインL5がある。
符号化部270a〜270dが算出するSAD1は、スライスの境界ラインに位置するブロックの予測誤差を示すものである。たとえば、SAD1は、下記の「1E」のように定義される。SAD1の「i」は、ブロックが含まれるラインの位置を示す。たとえば、ブロックのラインが、ラインL0である場合、iには「0」が設定される。iには「1〜5」が設定される。SAD1の「k」は、横方向に何番目のブロックであるかを示すものであり、先頭を0番目とする。たとえば、対象のブロックが、図24のブロック1−0である場合には、kには「0」が設定され、対象のブロックがブロック1−1である場合には、kには「1」が設定される。
SAD1[i][k]・・・(1E)
符号化部270aは、ラインL0のSAD1を算出し、判定部250の記憶領域に格納する。符号化部270bは、ラインL1,L2のSAD1を算出し、判定部250の記憶領域に格納する。符号化部270cは、ラインL3,L4のSAD1を算出し、判定部250の記憶領域に格納する。符号化部270dは、ラインL5のSAD1を算出し、判定部250の記憶領域に格納する。
本実施例2に係る符号化部270aの構成は、図16で説明した符号化部170aに対応する構成となる。ここで、符号化部270aが、符号化部170aと異なる点は、差分画像生成部171が、SAD1を算出することである。
たとえば、符号化部270aの差分画像生成部171は、スライス0のブロックと、予測画像情報のブロックとの差分の絶対値和を、SAD1として算出する。差分画像生成部171は、算出したSAD1の情報を、判定部250の記憶領域に格納する。
同様にして、符号化部270b〜270dの差分画像生成部171は、スライス1〜3のブロックと、予測画像情報のブロックとの差分の絶対値和を、SAD1として算出し、算出したSAD1の情報を、判定部250の記憶領域に格納する。
送信部280は、符号化部270a〜270dからスライス0〜3の符号化結果を受付、各符号化結果を合成して、ストリーム情報を生成する処理部である。送信部280は、生成したストリーム情報を、復号装置92に送信する。
次に、本実施例2に係る符号化装置200の処理手順の一例について説明する。図25は、本実施例2に係る符号化装置の処理手順を示すフローチャートである。図25に示すように、符号化装置200の受信部210は、カメラ91から映像の情報を受信する(ステップS401)。
符号化装置200の生成部230は、縮小画像情報を生成する(ステップS402)。符号化装置200の縮小画像符号化部240は、縮小画像情報の符号化処理を実行する(ステップS403)。ステップS403において、縮小画像符号化部240が、縮小画像の符号化処理を実行する場合、動きベクトル情報を生成して、判定部250の記憶領域に格納する。また、SAD2を算出して、判定部250に格納する。
符号化装置200の判定部250は、統計情報を基にして、優遇対象のブロックを判定する(ステップS404)。符号化装置200は、スライスの動き探索を行い、SAD1を計算する(ステップS405)。符号化装置200の制御部260は、SAD1およびSAD2を基にして、優遇対象のブロックの量子化パラメータを特定する(ステップS406)。
符号化装置200の符号化部270a〜270dは、スライスの残りの符号化処理を実行する(ステップS407)。符号化装置200の送信部280は、ストリーム情報を復号装置92に送信する(ステップS408)。
次に、本実施例2に係る符号化装置200の効果について説明する。符号化装置200は、縮小画像情報の予測誤差SAD2および画像情報の予測誤差SAD1を基にして、優遇対象と判定されたブロックの量子化パラメータを調整する。符号化装置は、各予測誤差のずれが大きくなると、画質の劣化が大きいと推定でき、量子化パラメータをより小さくする。これによって、量子化パラメータが最適化され、スライス境界では必要十分な画質改善を実現できる。また、スライス境界の情報量優遇が必要最小限に限っているため、スライス境界以外の領域の情報量奪いが少なくなり、無駄な画質劣化が発生することを抑止できる。
次に、本実施例3に係る符号化装置について説明する。本実施例3に係る符号化装置は、縮小スライスのライン単位に統計情報(動きベクトル情報)を生成し、ライン毎に優遇対象とするか否かを判定する。符号化装置は、優遇対象とするラインに含まれる各ブロックの量子化パラメータをより小さくする制御を行う。
図26および図27は、本実施例3に係る符号化装置の処理を説明するための図である。図26に示すように、符号化装置は、縮小画像情報20を複数の縮小スライス0〜3に分割し、各縮小スライスの境界に位置するライン毎に統計情報を生成する。
符号化装置は、ラインl0に含まれる各ブロックについて、動きベクトル情報をそれぞれ算出する。符号化装置は、各ブロックの動きベクトル情報の平均値を、ラインl0の動きベクトル情報として記録する。また、符号化装置は、ラインl0に含まれる各ブロックについて、SAD2の累積値を算出する。
符号化装置は、ラインl1〜l5に含まれる各ブロックについても同様にして、各ブロックの動きベクトル情報の平均値を算出し、ラインl1〜l5の動きベクトル情報として記録する。また、符号化装置は、ラインl1〜l5に含まれる各ブロックについて、SAD2の累積値をそれぞれ算出する。
符号化装置は、縮小スライスの上端のラインl1については、動きベクトルの平均値が0未満である場合に、ラインl1の各ブロックが、優遇対象のブロックであると判定する。符号化装置は、縮小スライスの上端のラインl3については、動きベクトルの平均値が0未満である場合に、ラインl3の各ブロックが、優遇対象のブロックであると判定する。符号化装置は、縮小スライスの上端のラインl5については、動きベクトルの平均値が0未満である場合に、ラインl5の各ブロックが、優遇対象のブロックであると判定する。
符号化装置は、縮小スライスの下端のラインl0については、動きベクトルの平均値が0以上である場合に、ラインl0の各ブロックが、優遇対象のラインであると判定する。符号化装置は、縮小スライスの下端のラインl2については、動きベクトルの平均値が0以上である場合に、ラインl2の各ブロックが、優遇対象のラインであると判定する。符号化装置は、縮小スライスの下端のラインl4については、動きベクトルの平均値が0以上である場合に、ラインl4の各ブロックが、優遇対象のラインであると判定する。
符号化装置は、優遇対象となるライン(ラインに含まれる各ブロック)を判定すると、判定した縮小画像情報上のラインに対応する、画像情報上のライン(優遇対象となるライン)を判定する。図27において、縮小画像情報20aのラインl0を、優遇対象のラインとする。縮小率を1/2とすると、ラインl0に対応する画像情報上のラインは、ラインL0,L0−1となる。ラインL0,L0−1の縦幅は、一つのブロック(CTB)の縦幅に対応する。また、符号化装置は、ラインL0,L0−1に含まれるSAD1の累積値をそれぞれ算出する。
符号化装置は、画像情報上の優遇対象となるラインに含まれる各ブロックに対して、優遇対象外のブロックに対する量子化パラメータよりも、小さい量子化パラメータによって、符号化を行う。なお、符号化部は、SAD1の累積値およびSAD2の累積値を基にして、量子化パラメータを調整する。
上記のように、本実施例3に係る符号化装置は、ライン毎に優遇対象とするか否かを判定するため、優遇対象の各ブロックをライン単位で一括して判定することができる。
次に、本実施例3に係る符号化装置の構成について説明する。図28は、本実施例3に係る符号化装置の構成を示す機能ブロック図である。図28に示すように、符号化装置300は、受信部310、分割部320、生成部330、縮小画像符号化部340、判定部350、制御部360を有する。また、符号化装置300は、符号部370a,370b,370c,370d、送信部380を有する。符号化装置300は、符号化装置100と同様にして、カメラ91および復号装置92に接続される。
受信部310は、カメラ91から映像の情報を受信する処理部である。受信部310は、映像の情報に含まれる各画像情報(ピクチャ)を、分割部320および生成部330に出力する。
分割部320は、画像情報を複数のスライスに分割し、分割したスライスを、符号化部370a,370b,370c,370dに出力する処理部である。たとえば、分割部320は、図3で説明したように、ピクチャ(画像情報)10を、4つのスライス0〜3に分割する。分割部320は、スライス0を、符号化部370aに出力する。分割部320は、スライス1を、符号化部370bに出力する。分割部320は、スライス2を、符号化部370cに出力する。分割部320は、スライス3を、符号化部370dに出力する。分割部320は、各画像情報に対して、上記処理を繰り返し実行する。
生成部330は、画像情報を一つのエンコーダ(たとえば、縮小画像符号化部340)で処理できる画像サイズに縮小することで、縮小画像情報を生成する処理部である。生成部330が縮小画像情報を生成する処理は、生成部130が縮小画像情報を生成する処理と同様である。生成部330は、縮小画像情報を、縮小画像符号化部340に出力する。
縮小画像符号化部340は、縮小画像情報を複数の縮小スライスに分割し、各縮小スライスを符号化する処理部である。たとえば、縮小画像符号化部340は、図4で説明したように、縮小画像情報20を、4つの縮小スライス0〜3に分割し、縮小スライス0〜3を符号化する。
縮小画像符号化部340は、縮小スライス0〜3を符号化する場合に、ライン毎の統計情報を生成し、統計情報を判定部350の記憶領域に格納する。まず、縮小画像符号化部340は、ラインに含まれる各ブロックについて、実施例1で説明した縮小画像符号化部140と同様にして、動きベクトル情報1Aおよび動きベクトル情報1Bを算出する。縮小画像符号化部340は、ラインに含まれる各ブロックの平均値を、ラインに対応する統計情報として算出する。
たとえば、縮小画像符号化部340は、式(5)及び式(6)を基にして、ラインの統計情報を算出する。式(5)は、予測方向が前方向である場合における、各ブロックの動きベクトルの縦成分の平均値である。式(6)は、予測方向が後方向である場合における、各ブロックの動きベクトルの縦成分の平均値である。式(5)、(6)において、「i」は、ブロックが含まれるラインの位置を示す。たとえば、ブロックのラインが、図5に示したラインl0である場合、iには「0」が設定される。「CTBNum」は、ラインに含まれるブロックの数を示す。「ΣMV_Ver_L0(L1)_CTB[i][j][CTBNum]」は、ラインに含まれる各ブロックの動きベクトルの縦成分の合計値を示す。
MV_Ver_L0[i]=ΣMV_Ver_L0_CTB[i][CTBNum]/CTBNum・・・(5)
MV_Ver_L1[i]=ΣMV_Ver_L1_CTB[i][CTBNum]/CTBNum・・・(6)
また、縮小画像符号化部340は、式(7)を基にして、各ラインに含まれるSAD2の合計値「SAD_Sum2」をそれぞれ算出する。縮小画像符号化部340は、判定部350の記憶領域に「SAD_Sum2」を格納する。
SAD_Sum2[i]=ΣSAD2[i][CTBNum]・・・(7)
判定部350は、記憶領域に記憶された統計情報を基にして、優遇対象となるラインを判定する処理部である。判定部150は、統計情報に含まれるラインの動きベクトル情報の方向によって、ラインに画質劣化が起こるか否かを判定する。
判定部350は、縮小スライスの上端のラインl1については、動きベクトル情報の平均値が0未満である場合に、ラインl1の各ブロックが、優遇対象のブロックであると判定する。判定部350は、縮小スライスの上端のラインl3については、動きベクトルの平均値が0未満である場合に、ラインl3の各ブロックが、優遇対象のブロックであると判定する。判定部350は、縮小スライスの上端のラインl5については、動きベクトルの平均値が0未満である場合に、ラインl5の各ブロックが、優遇対象のブロックであると判定する。
判定部350は、縮小スライスの下端のラインl0については、動きベクトルの平均値が0以上である場合に、ラインl0の各ブロックが、優遇対象のラインであると判定する。判定部350は、縮小スライスの下端のラインl2については、動きベクトルの平均値が0以上である場合に、ラインl2の各ブロックが、優遇対象のラインであると判定する。判定部350は、縮小スライスの下端のラインl4については、動きベクトルの平均値が0以上である場合に、ラインl4の各ブロックが、優遇対象のラインであると判定する。
判定部350は、優遇対象と判定したラインの情報を、制御部360に出力する。また、判定部350は、記憶領域に格納されたSAD1の合計値「SAD_Sum1」と、SAD2の合計値「SAD_Sum2」とを、制御部360に出力する。SAD1の合計値「SAD_Sum1」は、後述する符号化部370a〜370dにより算出される。
制御部360は、判定部350により優遇対象と判定された縮小画像情報上のラインに対応する画像情報上のラインに対して、符号化部370a〜370dが量子化を行う際の量子化パラメータを、優遇対象外のブロックより小さく設定する処理部である。
制御部360は、優遇対象のラインに含まれる各ブロックの量子化パラメータQP’を式(3)に基づいて算出する。ここで、制御部360は、式(3)で用いる「QP_Offset」を、式(8)に基づいて算出する。ここで、縮小率=1/2(横、縦)で縮小画像を生成する時の計算式の例である。縮小率が変わると、計算式の中の「2*2」を「1/(縮小率*縮小率)」に変更してもよい。
式(8)において、「SAD_Sum1」は、画像情報上の優遇対象のラインに含まれる各ブロックのSAD1の合計値である。「SAD_Sum2」は、縮小画像情報上の優遇対象のラインに含まれる各ブロックのSAD2の合計値である。「MaxVal」の値は、12が設定される。
制御部360は、上記処理を実行することで、画像情報上の優遇対象のラインの位置と、優遇対象のライン(ラインの各ブロック)に対する量子化パラメータの情報を、符号化部370a〜370dに出力する。制御部360が、画像情報上の優遇対象のラインの位置を特定する処理は、図27等で説明した処理と同様である。
符号化部370a〜370dは、分割部320から入力されるスライスを符号化する処理部である。符号化部370a〜370dは、スライスに含まれる優遇対象のラインに含まれる各ブロックについては、量子化パラメータQP’により符号化を行う。符号化部370a〜370dは、スライスに含まれる優遇対象外のブロックについては、量子化パラメータQPにより符号化を行う。
符号化部370aは、スライス0の符号化結果を送信部380に出力する。符号化部370bは、スライス1の符号化結果を送信部380に出力する。符号化部370cは、スライス2の符号化結果を送信部380に出力する。符号化部370dは、スライス3の符号化結果を送信部380に出力する。
また、符号化部370a〜370dは、符号化部270a〜270dと同様にして、ラインに含まれる各ブロック「SAD1」を算出する。符号化部370a〜370dは、式(9)を基にして、ライン毎にブロックのSAD1の合計値「SAD_Sum1」をそれぞれ算出する。符号化部370a〜370dは、ライン毎の「SAD_Sum1」を、判定部350の記憶領域に格納する。式(9)において、「i」はブロックが含まれるラインの位置を示す。
SAD_Sum1[i]=ΣSAD1[i][CTBNum]・・・(9)
送信部380は、符号化部370a〜370dからスライス0〜3の符号化結果を受付、各符号化結果を合成して、ストリーム情報を生成する処理部である。送信部380は、生成したストリーム情報を、復号装置92に送信する。
次に、本実施例3に係る符号化装置300の処理手順の一例について説明する。図29は、本実施例3に係る符号化装置の処理手順を示すフローチャートである。図29に示すように、符号化装置300の受信部310は、カメラ91から映像の情報を受信する(ステップS501)。
符号化装置300の生成部330は、縮小画像情報を生成する(ステップS502)。符号化装置300の縮小画像符号化部340は、縮小画像情報の符号化処理を実行する(ステップS503)。ステップS503において、縮小画像符号化部340が、縮小画像の符号化処理を実行する場合、各ラインの動きベクトル情報を生成して、判定部350の記憶領域に格納する。また、SAD_Sum2を算出して、判定部350の記憶領域に格納する。
符号化装置300の判定部350は、統計情報を基にして、優遇対象のラインを判定する(ステップS504)。符号化装置300は、スライスの動き探索を行い、SAD_Sum1を計算する(ステップS505)。符号化装置300の制御部360は、SAD_Sum1およびSAD_Sum2を基にして、優遇対象のラインに含まれる各ブロックの量子化パラメータを特定する(ステップS506)。
符号化装置300の符号化部370a〜370dは、スライスの残りの符号化処理を実行する(ステップS507)。符号化装置300の送信部380は、ストリーム情報を復号装置92に送信する(ステップS508)。
次に、本実施例3に係る符号化装置300の効果について説明する。符号化装置300は、縮小スライスのライン単位に統計情報(動きベクトル情報)を生成し、ライン毎に優遇対象とするか否かを判定する。符号化装置300は、優遇対象とするラインに含まれる各ブロックの量子化パラメータをより小さくする制御を行う。このように、符号化装置300は、ライン毎に優遇対象とするか否かを判定するため、優遇対象の各ブロックをライン単位で一括して特定することができ、処理量を削減しながら境界の画質劣化が改善できる。
ここで、実施例3で説明した縮小画像符号化部340が、ラインの統計情報(動きベクトル情報)を算出する処理は一例である。縮小画像符号化部340は、その他の処理を行って、ラインの統計情報を算出してもよい。
図30は、縮小画像符号化部のその他の処理を説明するための図である。たとえば、縮小画像符号化部340がラインの動きベクトル情報を算出する場合、ラインに含まれるブロックのうち、縮小スライスの境界を跨ぐ参照を行っているブロックを用いて、ラインの統計情報を算出する。たとえば、下端に位置するラインl0,l2,l4に含まれるブロックでは、動きベクトル情報の縦成分が、0以上である場合に、縮小スライスの境界を跨ぐ参照を行っているブロックである。一方、上端に位置するラインl1,l3,l5に含まれるブロックは、動きベクトル情報の縦成分が0未満である場合に、縮小スライスの境界を跨ぐ参照を行っているブロックである。
図30において、ラインl0にブロック0−0〜0−7が含まれており、ブロック0−0、0−2〜0−4、0−7のブロックが、縮小スライスの境界を跨ぐ参照を行っているものとする。この場合には、縮小画像符号化部340は、ブロック0−0、0−2〜0−4、0−7の動きベクトル情報の平均値を、ラインl0の動きベクトル情報として算出する。
たとえば、縮小画像符号化部340は、式(10)及び式(11)を基にして、ラインの動きベクトル情報を算出する。式(10)は、予測方向が前方向である場合における、各ブロック(縮小スライスの境界を跨ぐ参照を行っているブロック)の動きベクトルの縦成分の平均値である。式(11)は、予測方向が後方向である場合における、各ブロック(縮小スライスの境界を跨ぐ参照を行っているブロック)の動きベクトルの縦成分の平均値である。式(10)、(11)において、「i」は、ブロックが含まれるラインの位置を示す。たとえば、ブロックのラインが、図30に示したラインl0である場合、iには「0」が設定される。「CTBNum'」は、ラインに含まれるブロックのうち、縮小スライスの境界を跨ぐ参照を行っているブロックの数を示す。「ΣMV_Ver_L0(L1)_CTB[i][CTBNum']」は、ラインに含まれる各ブロック(縮小スライスの境界を跨ぐ参照を行っているブロック)の動きベクトルの縦成分の合計値を示す。
MV_Ver_L0[i]=ΣMV_Ver_L0_CTB[i][CTBNum']/CTBNum'・・・(10)
MV_Ver_L1[i]=ΣMV_Ver_L1_CTB[i][CTBNum']/CTBNum'・・・(11)
続いて、制御部360のその他の処理について説明する。制御部360は、上述した「CTBNum'」を用いて、量子化パラメータQP’を算出してもよい。たとえば、制御部360は、式(3)に基づいて量子化パラメータQP’を算出する場合に、「QP_Offset」を、式(12)に基づいて算出する。式(12)に含まれる「CTBNum」は、ラインに含まれるブロックの数を示す。式(12)の「QP_Offset」を用いることで、ラインに含まれる「縮小スライスの境界を跨ぐ参照を行っているブロック」の数が多いほど、より小さな量子化パラメータQP’により、量子化が行われることになる。
QP_Offset=Min(MaxVal,6*(SAD_Sum1)/(SAD_sum2*2*2))*CTBNum'/CTBNum・・・(12)
式(12)において、「SAD_Sum1」は、画像情報上の優遇対象のラインに含まれる各ブロック(縮小スライスの境界を跨ぐ参照を行っているブロック)のSAD1の合計値である。「SAD_Sum2」は、縮小画像情報上の優遇対象のラインに含まれる各ブロック(縮小スライスの境界を跨ぐ参照を行っているブロック)のSAD2の合計値である。それぞれは、式(12a)、(12b)によって算出する。
SAD_Sum2[i]=ΣSAD2[i][CTBNum’]・・・(12a)
SAD_Sum1[i]=ΣSAD1[i][CTBNum’]・・・(12b)
実施例1〜3において、符号化装置100〜300について説明を行ったが、符号化装置の処理は、符号化装置100〜300の処理に限定されるものではない。以下では、符号化装置のその他の処理について説明する。説明の便宜上、図28で説明した機能ブロック図を用いて説明する。
たとえば、時間方向階層符号化を行っている符号化装置300の処理負荷を更に低減する場合には、判定部350および制御部360は、SOP単位で優遇対象か否かを判定する。
図31は、符号化装置のその他の処理を説明するための図である。図31では、ARIB STD-B32で規定される時間方向階層符号化のSOP(Structure Of Pictures)の一例を示す。SOPは、HEVC に導入されている時間方向階層符号化を行う場合に、各AUの符号化順番及び参照関係を記述する単位となる。図31では、縦軸はTID(Temporary Identification)、横軸は表示順序を表す。Bピクチャに示す添え字は、符号化(または復号)の順番を表す。また、矢印は参照関係を示す。例えば、「B3」ピクチャには、2つの矢印が示され、「I」(又は「P」、或いは「B0」)ピクチャ又は「B2」ピクチャのいずれかのピクチャを参照して符号化される、ことを表している。同様に、「B5」ピクチャは、「B4」ピクチャ又は「B2」ピクチャのいずれかを参照して符号化される。
図31から分かるように、上位階層のピクチャは参照距離が長く、広範囲に大きな歪みが発生する可能性が高い。TID番号が大きくなると、参照ピクチャとの距離が近くなり、スライス跨ぐ参照が少なくなると推定できる。また、上位階層のピクチャ(例えば、TID0のB0ピクチャ)は、階層参照構造の根源である。これらのピクチャの画質劣化を改善できれば、他のピクチャへの境界劣化の伝搬も抑制できる。
このため、符号化装置300の縮小画像符号化部340は、SOP単位にTID0のピクチャB0を基にして、縮小スライスの境界の統計情報を算出し、判定部350の記憶領域に格納する。判定部350は、記憶領域に格納された統計情報を基にして、ピクチャB0の各ブロックが優遇対象のピクチャであるか否かを判定し、制御部360が、各ブロックの量子化パラメータを特定する。
符号化装置300は、ピクチャB0以外のピクチャを符号化する場合には、ピクチャB0の各ブロックの量子化パラメータに、TID番号を考慮した重み付けをした量子化パラメータを算出し、ブロックを量子化する。
たとえば、ピクチャB0の優遇対象となる「あるブロックX」の量子化パラメータを量子化パラメータQPB0とする。この場合には、他のピクチャにおける、ブロックXと同じ位置のブロックの量子化パラメータQPを、式(13)により算出する。式(13)に含まれるWは、TID番号を考慮した重みであり、TID番号が小さいほど、Kの値はより小さくなる。なお、Kは1より小さい数値である。
QP=QPB0×W・・・(13)
すなわち、ピクチャB0の各ブロックに対する量子化パラメータが決定されると、他のピクチャの各ピクチャの量子化パラメータも決まることになる。これによって、符号化装置300の処理負荷をより軽減することが可能となる。
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)画像情報を分割することで得られる複数のスライスのうち、一つのスライスを符号化する符号化部と、
前記画像情報を縮小した縮小画像情報を生成する生成部と、
前記縮小画像情報を分割することで得られる複数の縮小スライスのうち、第1縮小スライスに含まれる第1ブロックの動きベクトルの方向を基にして、前記第1ブロックが、前記第1縮小スライスに隣接する第2縮小スライスに含まれる第2ブロックを参照して符号化するブロックである場合に、前記第1ブロックを優遇対象ブロックとして判定する判定部と、
前記第1ブロックが、優遇対象ブロックであると判定された場合には、前記第1縮小スライスに対応する第1スライスを符号化する前記符号化部に対して、前記第1スライスに含まれる複数のブロックのうち、前記第1ブロックに対応するブロックを符号化する場合の量子化パラメータを小さくする制御を行う制御部と
を有することを特徴とする符号化装置。
(付記2)前記判定部は、前記第1ブロックがインター予測によって符号化されるブロックであり、かつ、前記第1ブロックが前記第1縮小スライスの上端の境界に位置するブロックであり、かつ、前記第1ブロックの動きベクトルの縦成分の大きさが0未満の場合に、前記第1ブロックを優遇対象ブロックであると判定することを特徴とする付記1に記載の符号化装置。
(付記3)前記判定部は、前記第1ブロックがインター予測によって符号化されるブロックであり、かつ、前記第1ブロックが前記第1縮小スライスの下端の境界に位置するブロックであり、かつ、前記第1ブロックの動きベクトルの縦成分の大きさが0より大きい場合に、前記第1ブロックが、優遇対象ブロックであると判定することを特徴とする付記1または2に記載の符号化装置。
(付記4)前記判定部は、前記第1ブロックがイントラ予測によって符号化されるブロックであり、かつ、前記第1ブロックが前記第1縮小スライスの上端に属するブロックである場合に、前記第1ブロックが、優遇対象ブロックであると判定することを特徴とする付記1、2または3に記載の符号化装置。
(付記5)前記制御部は、前記第1ブロックが前方向の第2ブロックおよび後方向の第2ブロックを参照して符号化される双方向予測のブロックであり、前記前方向の第2ブロックおよび後方向の第2ブロックが前記優遇対象ブロックである場合には、前記第1ブロックに対応するブロックを符号化する場合の量子化パラメータを、前記前方向の第2ブロックまたは後方向の第2ブロックの一方が前記優遇対象ブロックである場合の量子化パラメータと比較して、小さくする制御を行うことを特徴とする付記1〜4のいずれか一つに記載の符号化装置。
(付記6)前記制御部は、前記第1ブロックがイントラ予測によって符号化されるブロックである場合には、前記第1ブロックのイントラ予測の方向を基にして、前記第1ブロックに対応するブロックを符号化する場合の量子化パラメータを変更することを特徴とする付記4に記載の符号化装置。
(付記7)前記制御部は、前記第1ブロックの予測誤差と、前記第1スライスに含まれる複数のブロックのうち、前記第1ブロックに対応するブロックの予測誤差とを基にして、前記第1ブロックに対応するブロックを符号化する場合の量子化パラメータを変更することを特徴とする付記1〜6のいずれか一つに記載の符号化装置。
(付記8)前記判定部は、前記第1縮小スライスの境界のラインに含まれる複数の第1ブロックの動きベクトルの方向を基にして、前記複数の第1ブロックが優遇対象ブロックであるか否かを判定することを特徴とする付記1〜7のいずれか一つに記載の符号化装置。
(付記9)前記制御部は、前記第1縮小スライスの境界のラインに含まれる複数の第1ブロックのうち、優遇対象ブロックであると判定された第1ブロックの数を基にして、前記第1ブロックに対応するブロックを符号化する場合の量子化パラメータを変更することを特徴とする付記8に記載の符号化装置。
(付記10)前記制御部は、前記符号化部が時間方向階層符号化を行う場合に、前記第1ブロックを有する画像情報の階層を基にして、前記第1ブロックに対応するブロックを符号化する場合の量子化パラメータを変更することを特徴とする付記1に記載の符号化装置。
(付記11)コンピュータが実行する符号化方法であって、
画像情報を縮小した縮小画像情報を生成し、
前記縮小画像情報を分割することで得られる複数の縮小スライスのうち、第1縮小スライスに含まれる第1ブロックの動きベクトルの方向を基にして、前記第1ブロックが、前記第1縮小スライスに隣接する第2縮小スライスに含まれる第2ブロックを参照して符号化するブロックである場合に、前記第1ブロックを優遇対象ブロックとして判定し、
前記第1ブロックが、優遇対象ブロックであると判定された場合には、前記第1縮小スライスに対応するスライスを符号化する符号化装置に対して、前記スライスに含まれる複数のブロックのうち、前記第1ブロックに対応するブロックを符号化する場合の量子化パラメータを小さくする制御を行う
処理を実行することを特徴とする符号化方法。
(付記12)前記判定する処理は、前記第1ブロックがインター予測によって符号化されるブロックであり、かつ、前記第1ブロックが前記第1縮小スライスの上端の境界に位置するブロックであり、かつ、前記第1ブロックの動きベクトルの縦成分の大きさが0未満の場合に、前記第1ブロックを優遇対象ブロックであると判定することを特徴とする付記11に記載の符号化方法。
(付記13)前記判定する処理は、前記第1ブロックがインター予測によって符号化されるブロックであり、かつ、前記第1ブロックが前記第1縮小スライスの下端の境界に位置するブロックであり、かつ、前記第1ブロックの動きベクトルの縦成分の大きさが0より大きい場合に、前記第1ブロックが、優遇対象ブロックであると判定することを特徴とする付記11または12に記載の符号化方法。
(付記14)前記判定する処理は、前記第1ブロックがイントラ予測によって符号化されるブロックであり、かつ、前記第1ブロックが前記第1縮小スライスの上端に属するブロックである場合に、前記第1ブロックが、優遇対象ブロックであると判定することを特徴とする付記11、12または13に記載の符号化方法。
(付記15)前記制御する処理は、前記第1ブロックが前方向の第2ブロックおよび後方向の第2ブロックを参照して符号化される双方向予測のブロックであり、前記前方向の第2ブロックおよび後方向の第2ブロックが前記優遇対象ブロックである場合には、前記第1ブロックに対応するブロックを符号化する場合の量子化パラメータを、前記前方向の第2ブロックまたは後方向の第2ブロックの一方が前記優遇対象ブロックである場合の量子化パラメータと比較して、小さくする制御を行うことを特徴とする付記11〜14のいずれか一つに記載の符号化方法。
(付記16)前記制御する処理は、前記第1ブロックがイントラ予測によって符号化されるブロックである場合には、前記第1ブロックのイントラ予測の方向を基にして、前記第1ブロックに対応するブロックを符号化する場合の量子化パラメータを変更することを特徴とする付記14に記載の符号化方法。
(付記17)前記制御する処理は、前記第1ブロックの予測誤差と、前記第1スライスに含まれる複数のブロックのうち、前記第1ブロックに対応するブロックの予測誤差とを基にして、前記第1ブロックに対応するブロックを符号化する場合の量子化パラメータを変更することを特徴とする付記11〜16のいずれか一つに記載の符号化方法。
(付記18)前記判定する処理は、前記第1縮小スライスの境界のラインに含まれる複数の第1ブロックの動きベクトルの方向を基にして、前記複数の第1ブロックが優遇対象ブロックであるか否かを判定することを特徴とする付記11〜17のいずれか一つに記載の符号化方法。
(付記19)前記制御する処理は、前記第1縮小スライスの境界のラインに含まれる複数の第1ブロックのうち、優遇対象ブロックであると判定された第1ブロックの数を基にして、前記第1ブロックに対応するブロックを符号化する場合の量子化パラメータを変更することを特徴とする付記18に記載の符号化方法。
(付記20)前記制御する処理は、前記符号化装置が時間方向階層符号化を行う場合に、前記第1ブロックを有する画像情報の階層を基にして、前記第1ブロックに対応するブロックを符号化する場合の量子化パラメータを変更することを特徴とする付記11に記載の符号化方法。
91 カメラ
92 復号装置
93 表示装置
100,200,300 符号化装置
110,210,310 受信部
120,220,320 分割部
130,230,330 生成部
140,240,340 縮小画像符号化部
141 差分画像生成部
142 予測画像生成部
143 直交変換/量子化部
144 エントロピ符号化部
145 逆直交変換/逆量子化部
146 復号画像生成部
147 動きベクトル探索部
150,250,350 判定部
160,260,360 制御部
170a,170b,170c,170d,270a,270b,270c,270d,370a,370b,370c,370d 符号化部
180,280,380 送信部

Claims (11)

  1. 画像情報を分割することで得られる複数のスライスのうち、一つのスライスを符号化する符号化部と、
    前記画像情報を縮小した縮小画像情報を生成する生成部と、
    前記縮小画像情報を分割することで得られる複数の縮小スライスのうち、第1縮小スライスに含まれる第1ブロックの動きベクトルの方向を基にして、前記第1ブロックが、前記第1縮小スライスに隣接する第2縮小スライスに含まれる第2ブロックを参照して符号化するブロックである場合に、前記第1ブロックを優遇対象ブロックとして判定する判定部と、
    前記第1ブロックが、優遇対象ブロックであると判定された場合には、前記第1縮小スライスに対応する第1スライスを符号化する前記符号化部に対して、前記第1スライスに含まれる複数のブロックのうち、前記第1ブロックに対応するブロックを符号化する場合の量子化パラメータを小さくする制御を行う制御部と
    を有することを特徴とする符号化装置。
  2. 前記判定部は、前記第1ブロックがインター予測によって符号化されるブロックであり、かつ、前記第1ブロックが前記第1縮小スライスの上端の境界に位置するブロックであり、かつ、前記第1ブロックの動きベクトルの縦成分の大きさが0未満の場合に、前記第1ブロックを優遇対象ブロックであると判定することを特徴とする請求項1に記載の符号化装置。
  3. 前記判定部は、前記第1ブロックがインター予測によって符号化されるブロックであり、かつ、前記第1ブロックが前記第1縮小スライスの下端の境界に位置するブロックであり、かつ、前記第1ブロックの動きベクトルの縦成分の大きさが0より大きい場合に、前記第1ブロックが、優遇対象ブロックであると判定することを特徴とする請求項1または2に記載の符号化装置。
  4. 前記判定部は、前記第1ブロックがイントラ予測によって符号化されるブロックであり、かつ、前記第1ブロックが前記第1縮小スライスの上端に属するブロックである場合に、前記第1ブロックが、優遇対象ブロックであると判定することを特徴とする請求項1、2または3に記載の符号化装置。
  5. 前記制御部は、前記第1ブロックが前方向の第2ブロックおよび後方向の第2ブロックを参照して符号化される双方向予測のブロックであり、前記前方向の第2ブロックおよび後方向の第2ブロックが前記優遇対象ブロックである場合には、前記第1ブロックに対応するブロックを符号化する場合の量子化パラメータを、前記前方向の第2ブロックまたは後方向の第2ブロックの一方が前記優遇対象ブロックである場合の量子化パラメータと比較して、小さくする制御を行うことを特徴とする請求項1〜4のいずれか一つに記載の符号化装置。
  6. 前記制御部は、前記第1ブロックがイントラ予測によって符号化されるブロックである場合には、前記第1ブロックのイントラ予測の方向を基にして、前記第1ブロックに対応するブロックを符号化する場合の量子化パラメータを変更することを特徴とする請求項4に記載の符号化装置。
  7. 前記制御部は、前記第1ブロックの予測誤差と、前記第1スライスに含まれる複数のブロックのうち、前記第1ブロックに対応するブロックの予測誤差とを基にして、前記第1ブロックに対応するブロックを符号化する場合の量子化パラメータを変更することを特徴とする請求項1〜6のいずれか一つに記載の符号化装置。
  8. 前記判定部は、前記第1縮小スライスの境界のラインに含まれる複数の第1ブロックの動きベクトルの方向を基にして、前記複数の第1ブロックが優遇対象ブロックであるか否かを判定することを特徴とする請求項1〜7のいずれか一つに記載の符号化装置。
  9. 前記制御部は、前記第1縮小スライスの境界のラインに含まれる複数の第1ブロックのうち、優遇対象ブロックであると判定された第1ブロックの数を基にして、前記第1ブロックに対応するブロックを符号化する場合の量子化パラメータを変更することを特徴とする請求項8に記載の符号化装置。
  10. 前記制御部は、前記符号化部が時間方向階層符号化を行う場合に、前記第1ブロックを有する画像情報の階層を基にして、前記第1ブロックに対応するブロックを符号化する場合の量子化パラメータを変更することを特徴とする請求項1に記載の符号化装置。
  11. コンピュータが実行する符号化方法であって、
    画像情報を縮小した縮小画像情報を生成し、
    前記縮小画像情報を分割することで得られる複数の縮小スライスのうち、第1縮小スライスに含まれる第1ブロックの動きベクトルの方向を基にして、前記第1ブロックが、前記第1縮小スライスに隣接する第2縮小スライスに含まれる第2ブロックを参照して符号化するブロックである場合に、前記第1ブロックを優遇対象ブロックとして判定し、
    前記第1ブロックが、優遇対象ブロックであると判定された場合には、前記第1縮小スライスに対応するスライスを符号化する符号化装置に対して、前記スライスに含まれる複数のブロックのうち、前記第1ブロックに対応するブロックを符号化する場合の量子化パラメータを小さくする制御を行う
    処理を実行することを特徴とする符号化方法。
JP2018152392A 2018-08-13 2018-08-13 符号化装置および符号化方法 Withdrawn JP2020028044A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018152392A JP2020028044A (ja) 2018-08-13 2018-08-13 符号化装置および符号化方法
US16/516,468 US20200053357A1 (en) 2018-08-13 2019-07-19 Encoder and method for encoding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018152392A JP2020028044A (ja) 2018-08-13 2018-08-13 符号化装置および符号化方法

Publications (1)

Publication Number Publication Date
JP2020028044A true JP2020028044A (ja) 2020-02-20

Family

ID=69406753

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018152392A Withdrawn JP2020028044A (ja) 2018-08-13 2018-08-13 符号化装置および符号化方法

Country Status (2)

Country Link
US (1) US20200053357A1 (ja)
JP (1) JP2020028044A (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2286595A1 (en) * 2008-06-16 2011-02-23 Dolby Laboratories Licensing Corporation Rate control model adaptation based on slice dependencies for video coding
JP4519933B2 (ja) * 2008-11-28 2010-08-04 株式会社東芝 動画像符号化装置および動画像符号化方法
WO2012120840A1 (ja) * 2011-03-07 2012-09-13 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置および画像符号化装置
TWI726579B (zh) * 2011-12-21 2021-05-01 日商Jvc建伍股份有限公司 動態影像編碼裝置、動態影像編碼方法、動態影像解碼裝置、及動態影像解碼方法

Also Published As

Publication number Publication date
US20200053357A1 (en) 2020-02-13

Similar Documents

Publication Publication Date Title
US11196989B2 (en) Video encoding method, device and storage medium using resolution information
KR102319987B1 (ko) 비디오 코딩/디코딩 시스템들을 위한 다차원 양자화 기법들
JP7366901B2 (ja) 映像コーディングシステムにおけるインター予測による映像デコーディング方法及び装置
KR102132410B1 (ko) 오차 보상을 이용한 영상 부호화/복호화 방법 및 장치
JP3836559B2 (ja) ディジタルビデオ符号化器における動き推定方法
JP2019500766A (ja) 直前のフレームの動きベクトルパーティショニング
CN110741641B (zh) 用于视频压缩的方法和装置
KR20110083567A (ko) 모션 추정을 위한 기법들
CN110692241A (zh) 使用多种全局运动模型的多样化运动
USRE48074E1 (en) Image encoding device and image decoding device
US20160065958A1 (en) Method for encoding a plurality of input images, and storage medium having program stored thereon and apparatus
KR102553665B1 (ko) 비디오 코딩 시스템에서 인터 예측 방법 및 장치
CN108259902B (zh) 视频数据编码和被配置为执行视频数据编码的视频编码器
Shilpa et al. Deep learning based optimised data transmission over 5G networks with Lagrangian encoder
KR20150095604A (ko) 적응적인 인트라 예측을 이용한 영상 부호화/복호화 장치 및 방법
JP2020028044A (ja) 符号化装置および符号化方法
WO2012044118A2 (ko) 오차 보상을 이용한 영상 부호화/복호화 방법 및 장치
JP2019102861A (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
Kanger et al. Video Image Compression Using Absolute Moment Block Truncation Method with Orthogonal Search Motion Estimation Technique

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210513

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20210903