JP2011029962A - スケーラブル動画像符号化方法、スケーラブル動画像符号化装置およびスケーラブル動画像符号化プログラム - Google Patents
スケーラブル動画像符号化方法、スケーラブル動画像符号化装置およびスケーラブル動画像符号化プログラム Download PDFInfo
- Publication number
- JP2011029962A JP2011029962A JP2009173956A JP2009173956A JP2011029962A JP 2011029962 A JP2011029962 A JP 2011029962A JP 2009173956 A JP2009173956 A JP 2009173956A JP 2009173956 A JP2009173956 A JP 2009173956A JP 2011029962 A JP2011029962 A JP 2011029962A
- Authority
- JP
- Japan
- Prior art keywords
- prediction mode
- optimum
- correspondence
- combination
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【解決手段】従来の符号化で選択された最適予測モードに基づいて、上位レイヤのブロックとその直下の下位レイヤの画像領域で選択された最適予測モードの組み合わせの発生率を求め、それらの関係について記述する対応表を生成する。続いて、発生率に基づいて対応表に記述される最適予測モードの組み合わせを絞り込むことで、予測モード対応情報を生成する。そして、上位レイヤのブロックを符号化する場合に、その直下の下位レイヤの画像領域で選択された最適予測モードを取得して、その中から処理対象の最適予測モードを選択し、その選択した最適予測モードを組み合わせに持つ予測モード対応情報を参照することで、上位レイヤのブロックの符号化で探索する予測モード探索候補を絞り込む。
【選択図】図2
Description
・Skip モード(Skip )
・Direct モード(Direct )
・16×16ブロックサイズ動き予測モード(P16×16)
・16×8ブロックサイズ動き予測モード(P16×8)
・8×16ブロックサイズ動き予測モード(P8×16)
・8×8ブロックサイズ動き予測モード(P8×8)
〔Intra予測〕
・16×16ブロックサイズIntra予測モード(I16×16)
・8×8ブロックサイズIntra予測モード(I8×8)
・4×4ブロックサイズIntra予測モード(I4×4)
〔レイヤ間予測〕
・BLSkip モード(BLSkip )
・IntraBLモード(IntraBL)
P8×8を行う場合の各8×8ブロックは、さらに8×4、4×4、4×4のブロックサイズに分割可能である。SVCでは、マクロブロックごとに、これらの予測モード探索候補の中から1つを最適予測モードとして選択する。
この目的を達成するために、本発明では、レイヤ構造によってスケーラビリティを実現するスケーラブル動画像符号化において、
(i)予測モード対応率表(レイヤ間の最適予測モードの相関性について記述する
表)の生成
(ii)予測モード対応率表を使った予測モード探索候補の絞り込み
という2つの処理によって予測モード探索の高速化を実現する。
次に、ステップS107で実行する予測モード対応率表の生成処理について説明する。以降の説明は、レイヤL−1がレイヤLの映像の切り出し処理によって生成される任意倍率の空間スケーラブル符号化を行う場合の例である。
次に、ステップS111で実行する予測モード対応率表を使った予測モード探索候補の絞り込み処理について説明する。
BLK1L-1 〜BLK4L-1 の内で、累積の面積が最大となるブロックの予測モードを同定し、それを予測モード対応率表の参照予測モードとする。このとき、累積面積が同じになる予測モードがある場合には、あらかじめ決められた手法に従って決定する。例えば、後述の(b)や(c)の手法などが考えられる。累積面積の対象となるブロックは、BLK1L-1 〜BLK4L-1 にとどまる必要はない。あらかじめ決められた範囲にある当該領域の周囲のブロックを含めてもよい。さらに、距離情報などを参考に、それらの面積に重み付けをして累積を求めてもよい。
あらかじめ初期の予測モード間で優先順位付けを行っておき、BLK1L-1 〜BLK4L-1 がとりうる各予測モードの中で、最も優先順位の高い予測モードを同定し、それを予測モード対応率表の参照予測モードとする。この優先順位のつけ方として例としては、高速性を重視して絞り込みが厳しく行われる順に優先順位を高くする方法や、反対に、符号化性能を重視して絞り込みが少ない順に優先順位を高くする方法などが考えられる。
レイヤ間で参照する予測モードを調査し、それを予測モード対応率表の参照予測モードとする。
絞り込み手法1は、予測モード探索候補絞り込み閾値を用いて予測モード探索候補を絞り込む手法である。
絞り込み手法2は、予測モード対応率が最大となる予測モードのみを探索候補と設定する手法である。
次に、本発明の構成について説明する。
(1)1920×1080画素サイズと1280×720画素サイズとの空間スケーラ ビリティを持つスケーラブル動画像符号化では9/4倍
(2)1920×1080画素サイズと720×480画素サイズとの空間スケーラビ リティを持つスケーラブル動画像符号化では2倍
(3)1920×1080画素サイズと640×480画素サイズとの空間スケーラビ リティを持つスケーラブル動画像符号化では3/2倍
というように増加することになる。
102 予測モード探索候補決定部
103 最適予測モード決定部
104 最適予測モード記憶部
105 予測残差信号生成部
106 予測残差信号符号化部
107 全MB完了判定部
108 符号化対象MB更新部
201 予測モード探索候補絞り込み対象MB指定情報記憶部
202 予測モード探索候補絞り込み対象MB判定部
203 予測モード対応率計算対象フレーム指定情報記憶部
204 対象フレーム拡張レイヤ最適予測モード記憶部
205 対象フレーム直下レイヤ最適予測モード記憶部
206 予測モード対応率表生成部
207 予測モード対応率表記憶部
208 参照予測モード決定部
209 参照予測モード記憶部
210 予測モード対応率絞り込み閾値記憶部
211 予測モード対応率閾値比較部
301 予測モード探索候補絞り込み対象MB指定情報記憶部
302 予測モード探索候補絞り込み対象MB判定部
303 予測モード対応率計算対象フレーム指定情報記憶部
304 対象フレーム拡張レイヤ最適予測モード記憶部
305 対象フレーム直下レイヤ最適予測モード記憶部
306 予測モード対応率表生成部
307 予測モード対応率表記憶部
308 参照予測モード決定部
309 参照予測モード記憶部
310 発生率最大予測モード特定部
Claims (12)
- 動画像をスケーラブルに符号化するスケーラブル動画像符号化方法であって、
予測モードの使用に制限を設けることなく行ったスケーラブル符号化で選択された最適予測モードに基づいて、上位レイヤのブロックとその直下の下位レイヤの画像領域で選択された最適予測モードの組み合わせの発生率を求めて、その最適予測モードの組み合わせとその発生率との対応関係について記述する対応表を生成する過程と、
上位レイヤのブロックを符号化する場合に、その直下の下位レイヤの画像領域で選択された最適予測モードの情報を取得する過程と、
前記取得した最適予測モードの中から処理対象の最適予測モードを選択する過程と、
前記選択した最適予測モードと前記対応表に記述される発生率とに基づいて、前記対応表に記述される最適予測モードの組み合わせの中から有効な組み合わせを抽出して、その抽出した組み合わせの持つ上位レイヤの最適予測モードを、上位レイヤのブロックの符号化で探索する予測モード探索候補として決定する過程とを備えることを、
特徴とするスケーラブル動画像符号化方法。 - 動画像をスケーラブルに符号化するスケーラブル動画像符号化方法であって、
予測モードの使用に制限を設けることなく行ったスケーラブル符号化で選択された最適予測モードに基づいて、上位レイヤのブロックとその直下の下位レイヤの画像領域で選択された最適予測モードの組み合わせの発生率を求めて、その最適予測モードの組み合わせとその発生率との対応関係について記述する対応表を生成する過程と、
前記発生率の値に基づいて、前記対応表に記述される最適予測モードの組み合わせを絞り込むことで有効な最適予測モードの組み合わせを抽出して、その抽出した有効な最適予測モードの組み合わせについて記述する予測モード対応情報を生成する過程と、
上位レイヤのブロックを符号化する場合に、その直下の下位レイヤの画像領域で選択された最適予測モードの情報を取得する過程と、
前記取得した最適予測モードの中から処理対象の最適予測モードを選択する過程と、
前記選択した最適予測モードを組み合わせに持つ前記予測モード対応情報を参照することで、上位レイヤのブロックの符号化で探索する予測モード探索候補を決定する過程とを備えることを、
特徴とするスケーラブル動画像符号化方法。 - 請求項2に記載のスケーラブル動画像符号化方法において、
前記予測モード対応情報を生成する過程では、所定の閾値よりも大きな値を示す発生率を持つ最適予測モードの組み合わせを有効なものとして抽出することを、
特徴とするスケーラブル動画像符号化方法。 - 請求項2に記載のスケーラブル動画像符号化方法において、
前記予測モード対応情報を生成する過程では、下位レイヤについて同一の最適予測モードを持つ最適予測モードの組み合わせの中から、最も大きな値を示す発生率を持つ最適予測モードの組み合わせを有効なものとして抽出するか、あるいは、大きな値を示す発生率の順に選択される所定の個数の最適予測モードの組み合わせを有効なものとして抽出することを、
特徴とするスケーラブル動画像符号化方法。 - 請求項1ないし4のいずれか1項に記載のスケーラブル動画像符号化方法において、
前記最適予測モードを選択する過程では、上位レイヤのブロックと下位レイヤの画像領域との重なりの大きさに基づいて、処理対象の最適予測モードを選択することを、
特徴とするスケーラブル動画像符号化方法。 - 請求項1ないし4のいずれか1項に記載のスケーラブル動画像符号化方法において、
前記最適予測モードを選択する過程では、あらかじめ設定された予測モードの優先順位に基づいて、処理対象の最適予測モードを選択することを、
特徴とするスケーラブル動画像符号化方法。 - 請求項1ないし6のいずれか1項に記載のスケーラブル動画像符号化方法において、
前記最適予測モードを選択する過程では、前記取得した最適予測モードの中にレイヤ間予測で参照する予測モードがある場合には、その予測モードを処理対象の最適予測モードとして選択することを、
特徴とするスケーラブル動画像符号化方法。 - 請求項1ないし7のいずれか1項に記載のスケーラブル動画像符号化方法において、
前記対応表を生成する過程では、上位レイヤのブロックで選択された最適予測モードのそれぞれについて、そのブロックの直下の下位レイヤの画像領域の画素数をその画像領域で選択された最適予測モード毎に集計して、その集計結果に基づいて前記対応表を生成することを、
特徴とするスケーラブル動画像符号化方法。 - 請求項1ないし8のいずれか1項に記載のスケーラブル動画像符号化方法において、
前記対応表を用いて実行される予測モードの使用に制限を設けるスケーラブル符号化と、前記対応表を用いないで実行される予測モードの使用に制限を設けないスケーラブル符号化とを交互に繰り返すように制御する過程を備えることを、
特徴とするスケーラブル動画像符号化方法。 - 動画像をスケーラブルに符号化するスケーラブル動画像符号化装置であって、
予測モードの使用に制限を設けることなく行ったスケーラブル符号化で選択された最適予測モードに基づいて、上位レイヤのブロックとその直下の下位レイヤの画像領域で選択された最適予測モードの組み合わせの発生率を求めて、その最適予測モードの組み合わせとその発生率との対応関係について記述する対応表を生成する手段と、
上位レイヤのブロックを符号化する場合に、その直下の下位レイヤの画像領域で選択された最適予測モードの情報を取得する手段と、
前記取得した最適予測モードの中から処理対象の最適予測モードを選択する手段と、
前記選択した最適予測モードと前記対応表に記述される発生率とに基づいて、前記対応表に記述される最適予測モードの組み合わせの中から有効な組み合わせを抽出して、その抽出した組み合わせの持つ上位レイヤの最適予測モードを、上位レイヤのブロックの符号化で探索する予測モード探索候補として決定する手段とを備えることを、
特徴とするスケーラブル動画像符号化装置。 - 動画像をスケーラブルに符号化するスケーラブル動画像符号化装置であって、
予測モードの使用に制限を設けることなく行ったスケーラブル符号化で選択された最適予測モードに基づいて、上位レイヤのブロックとその直下の下位レイヤの画像領域で選択された最適予測モードの組み合わせの発生率を求めて、その最適予測モードの組み合わせとその発生率との対応関係について記述する対応表を生成する手段と、
前記発生率の値に基づいて、前記対応表に記述される最適予測モードの組み合わせを絞り込むことで有効な最適予測モードの組み合わせを抽出して、その抽出した有効な最適予測モードの組み合わせについて記述する予測モード対応情報を生成する手段と、
上位レイヤのブロックを符号化する場合に、その直下の下位レイヤの画像領域で選択された最適予測モードの情報を取得する手段と、
前記取得した最適予測モードの中から処理対象の最適予測モードを選択する手段と、
前記選択した最適予測モードを組み合わせに持つ前記予測モード対応情報を参照することで、上位レイヤのブロックの符号化で探索する予測モード探索候補を決定する手段とを備えることを、
特徴とするスケーラブル動画像符号化装置。 - 請求項1ないし9のいずれか1項に記載のスケーラブル動画像符号化方法をコンピュータに実行させるためのスケーラブル動画像符号化プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009173956A JP5038367B2 (ja) | 2009-07-27 | 2009-07-27 | スケーラブル動画像符号化方法、スケーラブル動画像符号化装置およびスケーラブル動画像符号化プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009173956A JP5038367B2 (ja) | 2009-07-27 | 2009-07-27 | スケーラブル動画像符号化方法、スケーラブル動画像符号化装置およびスケーラブル動画像符号化プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011029962A true JP2011029962A (ja) | 2011-02-10 |
JP5038367B2 JP5038367B2 (ja) | 2012-10-03 |
Family
ID=43638165
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009173956A Expired - Fee Related JP5038367B2 (ja) | 2009-07-27 | 2009-07-27 | スケーラブル動画像符号化方法、スケーラブル動画像符号化装置およびスケーラブル動画像符号化プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5038367B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014003519A1 (ko) * | 2012-06-29 | 2014-01-03 | 삼성전자 주식회사 | 스케일러블 비디오 부호화 방법 및 그 장치, 스케일러블 비디오 복호화 방법 및 장치 |
US9420279B2 (en) | 2012-06-01 | 2016-08-16 | Samsung Electronics Co., Ltd. | Rate control method for multi-layered video coding, and video encoding apparatus and video signal processing apparatus using the rate control method |
JP2016526336A (ja) * | 2013-05-24 | 2016-09-01 | ソニック アイピー, インコーポレイテッド | 適応ビットレートストリーミングのための適応量子化を用いて複数のビデオストリームをエンコードするシステムおよび方法 |
WO2016140090A1 (ja) * | 2015-03-04 | 2016-09-09 | ソニー株式会社 | 画像符号化装置および方法 |
US10148989B2 (en) | 2016-06-15 | 2018-12-04 | Divx, Llc | Systems and methods for encoding video content |
US10178399B2 (en) | 2013-02-28 | 2019-01-08 | Sonic Ip, Inc. | Systems and methods of encoding multiple video streams for adaptive bitrate streaming |
US11025902B2 (en) | 2012-05-31 | 2021-06-01 | Nld Holdings I, Llc | Systems and methods for the reuse of encoding information in encoding alternative streams of video data |
US11611785B2 (en) | 2011-08-30 | 2023-03-21 | Divx, Llc | Systems and methods for encoding and streaming video encoded using a plurality of maximum bitrate levels |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006148419A (ja) * | 2004-11-18 | 2006-06-08 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化装置,画像符号化方法,画像符号化プログラムおよびコンピュータ読み取り可能な記録媒体 |
JP2008205864A (ja) * | 2007-02-21 | 2008-09-04 | Nippon Telegr & Teleph Corp <Ntt> | スケーラブル動画像符号化方法,装置,そのプログラムおよびその記録媒体 |
WO2010047099A1 (ja) * | 2008-10-22 | 2010-04-29 | 日本電信電話株式会社 | スケーラブル動画像符号化方法、スケーラブル動画像符号化装置、スケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
-
2009
- 2009-07-27 JP JP2009173956A patent/JP5038367B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006148419A (ja) * | 2004-11-18 | 2006-06-08 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化装置,画像符号化方法,画像符号化プログラムおよびコンピュータ読み取り可能な記録媒体 |
JP2008205864A (ja) * | 2007-02-21 | 2008-09-04 | Nippon Telegr & Teleph Corp <Ntt> | スケーラブル動画像符号化方法,装置,そのプログラムおよびその記録媒体 |
WO2010047099A1 (ja) * | 2008-10-22 | 2010-04-29 | 日本電信電話株式会社 | スケーラブル動画像符号化方法、スケーラブル動画像符号化装置、スケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11611785B2 (en) | 2011-08-30 | 2023-03-21 | Divx, Llc | Systems and methods for encoding and streaming video encoded using a plurality of maximum bitrate levels |
US11025902B2 (en) | 2012-05-31 | 2021-06-01 | Nld Holdings I, Llc | Systems and methods for the reuse of encoding information in encoding alternative streams of video data |
US9420279B2 (en) | 2012-06-01 | 2016-08-16 | Samsung Electronics Co., Ltd. | Rate control method for multi-layered video coding, and video encoding apparatus and video signal processing apparatus using the rate control method |
WO2014003519A1 (ko) * | 2012-06-29 | 2014-01-03 | 삼성전자 주식회사 | 스케일러블 비디오 부호화 방법 및 그 장치, 스케일러블 비디오 복호화 방법 및 장치 |
US10728564B2 (en) | 2013-02-28 | 2020-07-28 | Sonic Ip, Llc | Systems and methods of encoding multiple video streams for adaptive bitrate streaming |
US10178399B2 (en) | 2013-02-28 | 2019-01-08 | Sonic Ip, Inc. | Systems and methods of encoding multiple video streams for adaptive bitrate streaming |
JP2016526336A (ja) * | 2013-05-24 | 2016-09-01 | ソニック アイピー, インコーポレイテッド | 適応ビットレートストリーミングのための適応量子化を用いて複数のビデオストリームをエンコードするシステムおよび方法 |
WO2016140090A1 (ja) * | 2015-03-04 | 2016-09-09 | ソニー株式会社 | 画像符号化装置および方法 |
US10893276B2 (en) | 2015-03-04 | 2021-01-12 | Sony Corporation | Image encoding device and method |
US10595070B2 (en) | 2016-06-15 | 2020-03-17 | Divx, Llc | Systems and methods for encoding video content |
US11483609B2 (en) | 2016-06-15 | 2022-10-25 | Divx, Llc | Systems and methods for encoding video content |
US10148989B2 (en) | 2016-06-15 | 2018-12-04 | Divx, Llc | Systems and methods for encoding video content |
US11729451B2 (en) | 2016-06-15 | 2023-08-15 | Divx, Llc | Systems and methods for encoding video content |
Also Published As
Publication number | Publication date |
---|---|
JP5038367B2 (ja) | 2012-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7071453B2 (ja) | 動き情報の復号化方法、符号化方法及び記録媒体 | |
JP5038367B2 (ja) | スケーラブル動画像符号化方法、スケーラブル動画像符号化装置およびスケーラブル動画像符号化プログラム | |
JP5225388B2 (ja) | スケーラブル動画像符号化方法、スケーラブル動画像符号化装置、スケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP5937717B2 (ja) | 映像復号化方法及び装置 | |
US8811488B2 (en) | Method and apparatus for encoding/decoding motion vector | |
JP4357590B2 (ja) | 画像符号化システム及び画像復号システム | |
RU2696237C2 (ru) | Способ декодирования видеосигнала | |
TW202013967A (zh) | 改進的模式匹配的運動向量推導 | |
CN113163211B (zh) | 基于合并模式的帧间预测方法及装置 | |
KR20210016054A (ko) | 영상 부호화/복호화 방법 및 장치 | |
JP5118075B2 (ja) | スケーラブル画像符号化方法、スケーラブル画像符号化装置、スケーラブル画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2008153907A (ja) | 画像符号化装置及びそれらを含む情報端末ならびに画像符号化方法 | |
KR20140031974A (ko) | 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램 및 화상 복호 프로그램 | |
JP6728870B2 (ja) | 画像圧縮装置、画像圧縮方法、及び画像圧縮プログラム | |
JP6935553B2 (ja) | 縮小された予測動きベクトルの候補に基づいて、動きベクトルを符号化/復号化する方法及び装置 | |
CN116325735A (zh) | 用于针对参考帧进行自适应重新排序的方法和装置 | |
JP2013517733A (ja) | 以前ブロックの動きベクトルを現在ブロックの動きベクトルとして用いる映像符号化/復号化方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111018 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120618 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120703 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120705 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150713 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5038367 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |