JP2013009303A - 動画像復号装置、動画像復号方法及び動画像復号プログラム - Google Patents

動画像復号装置、動画像復号方法及び動画像復号プログラム Download PDF

Info

Publication number
JP2013009303A
JP2013009303A JP2012043273A JP2012043273A JP2013009303A JP 2013009303 A JP2013009303 A JP 2013009303A JP 2012043273 A JP2012043273 A JP 2012043273A JP 2012043273 A JP2012043273 A JP 2012043273A JP 2013009303 A JP2013009303 A JP 2013009303A
Authority
JP
Japan
Prior art keywords
motion vector
prediction
block
vector candidate
candidate list
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012043273A
Other languages
English (en)
Other versions
JP5682582B2 (ja
JP2013009303A5 (ja
Inventor
Hideki Takehara
英樹 竹原
Motoharu Ueda
基晴 上田
Katsuyoshi Nishitani
勝義 西谷
Hiroya Nakamura
博哉 中村
Satoshi Sakazume
智 坂爪
Kazumi Arakage
和美 荒蔭
Shigeru Fukushima
茂 福島
Toru Kumakura
徹 熊倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2012043273A priority Critical patent/JP5682582B2/ja
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to CN201610526282.8A priority patent/CN106028030B/zh
Priority to KR1020177014024A priority patent/KR101832682B1/ko
Priority to KR1020157032881A priority patent/KR101637142B1/ko
Priority to KR1020137026250A priority patent/KR101571947B1/ko
Priority to PCT/JP2012/001503 priority patent/WO2012120870A1/ja
Priority to CN201610525866.3A priority patent/CN105915902B/zh
Priority to CN201610524480.0A priority patent/CN105915901B/zh
Priority to CN201710169180.XA priority patent/CN106851271B/zh
Priority to KR1020157012956A priority patent/KR101640357B1/ko
Priority to CN201280012382.9A priority patent/CN103430547B/zh
Priority to KR1020167018431A priority patent/KR101742449B1/ko
Priority to CN201610526281.3A priority patent/CN105915903B/zh
Publication of JP2013009303A publication Critical patent/JP2013009303A/ja
Priority to US14/020,644 priority patent/US9204147B2/en
Publication of JP2013009303A5 publication Critical patent/JP2013009303A5/ja
Application granted granted Critical
Publication of JP5682582B2 publication Critical patent/JP5682582B2/ja
Priority to US14/927,173 priority patent/US9516318B2/en
Priority to US15/332,142 priority patent/US9667973B2/en
Priority to US15/454,449 priority patent/US9800890B2/en
Priority to US15/455,521 priority patent/US9781444B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】予測ベクトル候補のインデックスの符号量が増える。
【解決手段】第1予測ベクトル候補リスト生成部130は復号対象ブロックに隣接する復号済みブロックの動きベクトルから第1予測動きベクトル候補リストを生成する。第2予測ベクトル候補リスト生成部132は復号済み画像における復号対象ブロックと同一位置のブロック及び同一位置のブロックに隣接するブロックの動きベクトルから第2予測動きベクトル候補リストを生成する。結合判定部131は復号対象ブロックのブロックサイズと閾サイズの比較により、第1および第2予測ベクトル候補リストを結合した第3予測ベクトル候補リストを生成するか否かを判定する。予測ベクトル候補リスト決定部133は復号対象ブロックのブロックサイズが閾サイズよりも小さい場合、第2予測ベクトル候補リストを結合せずに第1予測ベクトル候補リストから第3予測ベクトル候補リストを生成する。
【選択図】図6

Description

本発明は、動き補償予測を用いた動画像復号技術に関し、特に動き補償予測で利用する動きベクトルの復号技術に関する。
一般的な動画像圧縮符号化では動き補償予測が利用される。動き補償予測は、対象画像を細かいブロックに分割し、復号済みの画像を参照画像として、動きベクトルで示される動き方向に動き量だけ、対象画像の対象ブロックと同一の位置から移動した位置の参照画像を予測信号として生成する技術である。動き補償予測には1本の動きベクトルを利用して単方向に行うものと、2本の動きベクトルを利用して双方向に行うものがある。
また、動きベクトルについても、処理対象ブロックに隣接する符号化済みのブロックの動きベクトルを予測動きベクトル(単に「予測ベクトル」ともいう)とし、処理対象ブロックの動きベクトルと予測ベクトルとの差分を求め、差分ベクトルを符号化ベクトルとして伝送することで圧縮効率を向上させている。
MPEG−4AVCでは、MPEG−2よりも動き補償予測のブロックサイズを細かく且つ多様にすることで動き補償予測の効率を向上させている。一方、ブロックサイズを細かくしたことで動きベクトル数が増加するため、符号化ベクトルの符号量が問題となった。
そのため、MPEG−2では単純に処理対象ブロックの左に隣接するブロックの動きベクトルを予測ベクトルとしていた(非特許文献1)が、MPEG−4AVCでは複数の隣接ブロックの動きベクトルの中央値を予測ベクトルとすることで予測ベクトルの精度を向上させ、符号化ベクトルの符号量の増加を抑制している(非特許文献2)。更に、MPEG−4AVCにおいて、符号化済みの別の画像の動きベクトルを利用して、符号化ベクトルの符号化効率を向上させる技術が知られている。
ISO/IEC 13818-2 Information technology -- Generic coding of moving pictures and associated audio information: Video ISO/IEC 14496-10 Information technology -- Coding of audio-visual objects -- Part 10: Advanced Video Coding
非特許文献1および2のいずれに記載された方法においても、予測ベクトルは一つしか得られないため、予測精度が悪く、符号化効率が良くならないという問題がある。本発明者らは予測ベクトルの候補を複数用いる方法を取ることを考えたが、その場合、予測ベクトルの候補を識別するためのインデックスを符号化することが必要になり、インデックスの符号量が増えるという課題があることを認識するに至った。
本発明はこうした状況に鑑みてなされたものであり、その目的は、動きベクトルの予測精度と符号化効率を向上させることのできる動画像復号技術を提供することにある。
上記課題を解決するために、本発明のある態様の動画像復号装置は、ブロック単位で動き補償予測を行う動画像復号装置であって、復号対象ブロックのブロックサイズが所定の閾サイズより大きい場合、復号済み画像にあるブロックから予測動きベクトル候補を導出し、前記復号対象ブロックのブロックサイズが前記所定の閾サイズ以下の場合、前記予測動きベクトル候補を導出しない予測動きベクトル候補生成部(133)を備える。
本発明の別の態様もまた、動画像復号装置である。この装置は、ブロック単位で動き補償予測を行う動画像復号装置であって、復号対象ブロックのブロックサイズが所定の閾サイズより大きい場合、復号済み画像にあるブロックから得られる予測動きベクトル候補を予測動きベクトル候補リストに含め、前記復号対象ブロックのブロックサイズが前記所定の閾サイズ以下の場合、前記予測動きベクトル候補を前記予測動きベクトル候補リストに含めない予測動きベクトル候補リスト生成部(133)と、前記予測動きベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報を復号する復号部(201)と、前記予測動きベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報に基づいて前記予測動きベクトル候補リストから前記復号対象ブロックの予測動きベクトルを選択する予測動きベクトル選択部(221)とを備える。
本発明のさらに別の態様もまた、動画像復号装置である。この装置は、ブロック単位で動き補償予測を行う動画像復号装置であって、予測動きベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報を復号する復号部(201)と、復号対象ブロックに隣接するブロックから空間予測動きベクトル候補を導出する空間予測動きベクトル候補生成部(130)と、復号済み画像にあるブロックから時間予測動きベクトル候補を導出する時間予測動きベクトル候補生成部(132)と、時間予測動きベクトルの利用を許可するか否かを示す利用許可情報が許可するを示す場合、前記空間予測動きベクトル候補と前記時間予測動きベクトル候補から予測動きベクトル候補リストを生成し、前記利用許可情報が許可しないを示す場合、前記空間予測動きベクトル候補から予測動きベクトル候補リストを生成する予測動きベクトル候補リスト生成部(133)と、前記予測動きベクトルの位置を示す情報に基づいて前記予測動きベクトル候補リストから前記復号対象ブロックの予測動きベクトルを選択する予測動きベクトル選択部(221)とを備える。
本発明のさらに別の態様もまた、動画像復号装置である。この装置は、複数のブロックサイズで動き補償予測を行う動画像復号装置であって、予測ベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報を復号する復号部(201)と、復号対象ブロックに隣接する復号済みの1個以上のブロックの動きベクトルから第1の予測動きベクトルの候補を含む第1予測ベクトル候補リストを生成する第1予測ベクトル候補リスト生成部(130)と、復号済み画像における前記復号対象ブロックと同一位置のブロック及び前記同一位置のブロックに隣接する1個以上のブロックの動きベクトルから第2の予測動きベクトルの候補を含む第2予測ベクトル候補リストを生成する第2予測ベクトル候補リスト生成部(132)と、前記復号対象ブロックのブロックサイズと所定の閾サイズとの比較結果により、前記第1予測ベクトル候補リストと前記第2予測ベクトル候補リストを結合した第3予測ベクトル候補リストを生成するか否かを判定する結合判定部(131)と、前記復号対象ブロックのブロックサイズが前記所定の閾サイズよりも小さい場合、前記第2予測ベクトル候補リストを結合せずに、前記第1予測ベクトル候補リストから前記第3予測ベクトル候補リストを生成する第3予測ベクトル候補リスト生成部(133)と、前記参照すべき予測動きベクトルの位置を示す情報にもとづいて前記第3予測ベクトル候補リストから前記復号対象ブロックの予測動きベクトルを選択する予測ベクトル選択部(221)とを備える。
本発明のさらに別の態様もまた、動画像復号装置である。この装置は、複数のブロックサイズで動き補償予測を行う動画像復号装置であって、予測ベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報を復号する復号部(201)と、復号済みのブロックの動きベクトルを最小ブロックサイズ単位で割り当てられたメモリエリアに格納して管理する第1動きベクトル記憶部(207)と、前記第1動きベクトル記憶部(207)を参照して、復号対象ブロックに隣接する復号済みの1個以上のブロックの動きベクトルから第1の予測動きベクトルの候補を含む第1予測ベクトル候補リストを生成する第1予測ベクトル候補リスト生成部(130)と、復号済み画像の最小ブロックサイズ単位の動きベクトルを所定の圧縮サイズでまとめて1つの代表動きベクトルに置き換え、圧縮サイズ単位で割り当てられたメモリエリアに格納して管理する第2動きベクトル記憶部(402)と、前記第2動きベクトル記憶部(402)を参照して、復号済み画像における前記復号対象ブロックと同一位置のブロック及び前記同一位置のブロックに隣接する1個以上のブロックの動きベクトルから第2の予測動きベクトルの候補を含む第2予測ベクトル候補リストを生成する第2予測ベクトル候補リスト生成部(132)と、前記復号対象ブロックのブロックサイズと所定の閾サイズとの比較結果により、前記第1予測ベクトル候補リストと前記第2予測ベクトル候補リストを結合した第3予測ベクトル候補リストを生成するか否かを判定する結合判定部(131)と、前記復号対象ブロックのブロックサイズが前記所定の閾サイズよりも小さい場合、前記第2予測ベクトル候補リストを結合せずに、前記第1予測ベクトル候補リストから前記第3予測ベクトル候補リストを生成する第3予測ベクトル候補リスト生成部(133)と、前記参照すべき予測動きベクトルの位置を示す情報にもとづいて前記第3予測ベクトル候補リストから前記復号対象ブロックの予測動きベクトルを選択する予測ベクトル選択部(221)とを備える。
本発明のさらに別の態様は、動画像復号方法である。この方法は、ブロック単位で動き補償予測を行う動画像復号方法であって、復号対象ブロックのブロックサイズが所定の閾サイズより大きい場合、復号済み画像にあるブロックから予測動きベクトル候補を導出し、前記復号対象ブロックのブロックサイズが前記所定の閾サイズ以下の場合、前記予測動きベクトル候補を導出しない予測動きベクトル候補生成ステップを備える。
本発明のさらに別の態様もまた、動画像復号方法である。この方法は、ブロック単位で動き補償予測を行う動画像復号方法であって、復号対象ブロックのブロックサイズが所定の閾サイズより大きい場合、復号済み画像にあるブロックから得られる予測動きベクトル候補を予測動きベクトル候補リストに含め、前記復号対象ブロックのブロックサイズが前記所定の閾サイズ以下の場合、前記予測動きベクトル候補を前記予測動きベクトル候補リストに含めない予測動きベクトル候補リスト生成ステップと、前記予測動きベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報を復号する復号ステップと、前記予測動きベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報に基づいて前記予測動きベクトル候補リストから前記復号対象ブロックの予測動きベクトルを選択する予測動きベクトル選択ステップとを備える。
本発明のさらに別の態様もまた、動画像復号方法である。この方法は、ブロック単位で動き補償予測を行う動画像復号方法であって、予測動きベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報を復号する復号ステップと、復号対象ブロックに隣接するブロックから空間予測動きベクトル候補を導出する空間予測動きベクトル候補生成ステップと、復号済み画像にあるブロックから時間予測動きベクトル候補を導出する時間予測動きベクトル候補生成ステップと、時間予測動きベクトルの利用を許可するか否かを示す利用許可情報が許可するを示す場合、前記空間予測動きベクトル候補と前記時間予測動きベクトル候補から予測動きベクトル候補リストを生成し、前記利用許可情報が許可しないを示す場合、前記空間予測動きベクトル候補から予測動きベクトル候補リストを生成する予測動きベクトル候補リスト生成ステップと、前記予測動きベクトルの位置を示す情報に基づいて前記予測動きベクトル候補リストから前記復号対象ブロックの予測動きベクトルを選択する予測動きベクトル選択ステップとを備える。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、動きベクトルの予測精度と符号化効率を向上させることができる。
第1の実施の形態の動画像符号化装置の構成を説明する図である。 図1の第1動き情報メモリと第2動き情報メモリにおける動きベクトルと参照画像インデックスの管理方法を説明する図である。 図1の動き情報生成部の構成を説明する図である。 第1の候補ブロック群を説明する図である。 第2の候補ブロック群を説明する図である。 図3の予測ベクトル候補リスト生成部の構成を説明する図である。 第1の実施の形態の動画像符号化装置の符号化の動作を説明するフローチャートである。 図1の動き情報生成部の動作を説明するフローチャートである。 図6の予測ベクトル候補リスト生成部の動作を説明するフローチャートである。 図6の第1予測ベクトル候補リスト生成部と第2予測ベクトル候補リスト生成部の動作を説明するフローチャートである。 第1の候補ブロック群に対しての各方向の検査を説明する図である。 第2の候補ブロック群に対しての各方向の検査を説明する図である。 第1の実施の形態の動画像復号装置を説明する図である。 図13の動き情報再生部の構成を説明する図である。 第1の実施の形態の動画像復号装置の復号の動作を説明するフローチャートである。 図14の動き情報再生部の動作を説明するフローチャートである。 第1の実施の形態の拡張例による予測ベクトル候補リスト生成部の構成を説明する図である。 第1の実施の形態の拡張例による予測ベクトル候補リスト生成部の動作を説明するフローチャートである。 第1の実施の形態の拡張例によるPOC差による所定閾サイズを説明する図である。 第1の実施の形態の拡張例による予測ベクトル候補リスト生成部の動作を説明するフローチャートである。 第2の実施の形態の動画像符号化装置の構成を説明する図である。 図21の動き情報圧縮部と動き情報伸張部による動き情報の圧縮と伸張を説明する図である。 第2の実施の形態のSPSのシンタックスの一部を説明する図である。 第2の実施の形態の動画像符号化装置の符号化の動作を説明するフローチャートである。 第2の実施の形態の予測ベクトル候補リスト生成部の動作を説明するフローチャートである。 第2の実施の形態の動画像復号装置を説明する図である。 第2の実施の形態の動画像復号装置の復号の動作を説明するフローチャートである。 予測符号化モードを説明する図である。 画像を最大符号化ブロックに分割する例を説明する図である。 符号化ブロックを説明する図である。 予測ブロックを説明する図である。 予測ブロックサイズを説明する図である。 予測ブロックのシンタックスの一例を説明する図である。 Truncated Unary符号列を説明する図である。
まず、本発明の実施の形態の前提となる技術を説明する。
現在、MPEG(Moving Picture Experts Group)などの符号化方式に準拠した装置およびシステムが普及している。そのような符号化方式では、時間軸上に連続する複数の画像をデジタル信号の情報として取り扱う。その際、効率の高い情報の放送、伝送または蓄積などを目的とし、時間方向の冗長性を利用した動き補償予測、および空間方向の冗長性を利用した離散コサイン変換などの直交変換を用いて圧縮符号化する。
1995年にはMPEG−2ビデオ(ISO/IEC 13818−2)符号化方式が、汎用の映像圧縮符号化方式として制定され、DVD(Digital Versatile Disk)およびD−VHS(登録商標)規格のデジタルVTRによる磁気テープなどの蓄積メディア、ならびにデジタル放送などのアプリケーションとして広く用いられている。
さらに、2003年に、国際標準化機構(ISO)と国際電気標準会議(IEC)のジョイント技術委員会(ISO/IEC)と、国際電気通信連合電気通信標準化部門(ITU−T)の共同作業によってMPEG−4 AVC/H.264と呼ばれる符号化方式(ISO/IECでは14496−10、ITU−TではH.264の規格番号がつけられている。以下、これをMPEG−4AVCと呼ぶ)が国際標準として制定された。
現在、国際標準化機構(ISO)と国際電気標準会議(IEC)のジョイント技術委員会(ISO/IEC)と、国際電気通信連合電気通信標準化部門(ITU−T)の共同作業によってHEVCと呼ばれる符号化方式の標準化が検討されている。
(予測符号化モード)
本発明の実施の形態では、動き補償予測の方向や符号化ベクトル数を様々なブロックサイズで切り替えることが可能となっている。
ここで、動き補償予測の方向と符号化ベクトル数を関連付けた予測符号化モードの一例について図28を用いて簡単に説明する。
動き補償予測の方向が単方向であって符号化ベクトル数が1である単方向モード(UniPred)、動き補償予測の方向が双方向であって符号化ベクトル数が2である双方向モード(BiPred)、動き補償予測の方向が双方向であって符号化ベクトル数が0である時間ダイレクトモード(Temporal Direct)と空間ダイレクトモード(Spatial Dierct)がある。また、動き補償予測を実施しない予測符号化モードであるイントラモード(Intra)もある。
(参照画像インデックス)
本発明の実施の形態では、動き補償予測の精度向上のために、動き補償予測において複数の参照画像の中から最適な参照画像を選択することを可能とする。そのため、動き補償予測で利用した参照画像を参照画像インデックスとして符号化ベクトルとともに符号化ストリーム中に符号化する。動き補償予測で利用する参照画像インデックスは0以上の数値となる。
(符号化ブロック)
本発明の実施の形態では、入力された画像信号を図29のように最大符号化ブロック単位に分割し、分割した符号化ブロックをラスタースキャン順序で処理する。
符号化ブロックは階層構造となっており、符号化効率などを考慮して順次均等に4分割することでより小さい符号化ブロックにすることができる。なお、4分割された符号化ブロックはジグザグスキャン順で符号化される。これ以上小さくすることのできない符号化ブロックを最小符号化ブロックと呼ぶ。符号化ブロックは符号化の単位となり、最大符号化ブロックも分割数が0である場合は符号化ブロックとなる。
本実施の形態では、最大符号化ブロックを64画素×64画素、最小符号化ブロックを8画素×8画素とする。
図30に最大符号化ブロックの分割の一例を示す。図30の例では、符号化ブロックが10個に分割されている。CU0、CU1、CU9は32画素×32画素の符号化ブロック、CU2、CU3、CU8は16画素x16画素の符号化ブロック、CU4、CU5、CU6は8画素×8画素の符号化ブロックとなっている。
(予測ブロック)
本発明の実施の形態では、符号化ブロックはさらに予測ブロックに分割される。予測ブロックの分割のパターンを図31に示す。符号化ブロックを分割しない2N×2N、水平方向に分割する2N×N、垂直方向に分割するN×2N、水平と垂直に分割するN×Nがある。つまり、予測ブロックサイズは図32に示すように、CU分割数が0であって最大の予測ブロックサイズである64画素×64画素からCU分割数が3であって最小の予測ブロックサイズである4画素×4画素までの13の予測ブロックサイズが存在することになる。
本発明の実施の形態では、最大符号化ブロックを64画素×64画素、最小符号化ブロックを8画素×垂直8とするが、この組み合わせに限定されない。また、予測ブロックの分割のパターンを図31としたが、1以上に分割されればよくこれに限定されない。
(予測ベクトルインデックス)
HEVCでは、更に予測ベクトルの精度を向上させるために、複数の予測ベクトルの候補の中から最適な予測ベクトルを選択し、選択した予測ベクトルを示すための予測ベクトルインデックスを符号化することが検討されている。また、予測ベクトルの候補として別の画像の動きベクトルを利用することも検討されている。従来の動画像圧縮符号化では、別の画像の動きベクトルは動き補償予測において利用されることはあっても、予測ベクトルとして利用されることはなかった。
本発明の実施の形態では、上記の予測ベクトルインデックスを導入し、また予測ベクトルの候補として別の画像の動きベクトルを利用する。
(引き継ぎ方向インデックス)
HEVCでは、更に符号化効率を向上させるために、複数の隣接ブロックの候補の中から最適な隣接ブロックを選択し、選択した隣接ブロックを示すための引き継ぎ方向インデックス(マージインデックス)を符号化及び復号することが検討されている。これは、選択されたマージインデックスの示すブロックの動き情報(動きベクトル、参照画像インデックス及び動き補償予測の方向)を処理対象ブロックでそのまま利用する方法である。この方法でも、予測ベクトルインデックスと同様に別の画像の処理済みのブロックを利用することが検討されている。
(シンタックス)
本実施の形態による予測ブロックのシンタックスの一例を図33を用いて説明する。予測ブロックがイントラであるかインターであるかは上位の符号化ブロックによって指定されており、図33は予測ブロックがインターの場合のシンタックスを示す。引き継ぎ方向フラグ(merge_flag)、引き継ぎ方向インデックス(merge_idx)、動き補償予測の方向(bipred_flag)、参照インデックス(ref_idx_l0とref_idx_l1)、差分動きベクトル(mvd_l0[0]、mvd_l0[1]、mvd_l1[0]、mvd_l1[1])、予測ベクトルインデックス(mvp_idx_l0及びmvp_idx_l1)が設置されている。
図33では予測ベクトルインデックスの復号(符号化)の前段に予測ベクトルの候補数を算出する関数であるNumMvpCands()が設置されている。これは周辺ブロックの状況によって、予測ベクトルの候補数が予測ブロック毎に変化するためである。
なお、予測ベクトルの候補数が1である場合は予測ベクトルインデックスを復号(符号化)しない。予測ベクトルの候補数が1である場合は指定しなくとも一意に決定できるためである。NumMvpCands()の詳細については後述する。
また、予測ベクトルインデックスの符号列について図34を用いて説明する。本実施の形態では、予測ベクトルインデックスの符号列としてTruncated Unary符号列を用いる。図34(a)は予測ベクトルの候補数が2個の場合のTruncated Unary符号列による予測ベクトルインデックスの符号列を、図34(b)は予測ベクトルの候補数が3個の場合のTruncated Unary符号列による予測ベクトルインデックスの符号列を、図34(c)は予測ベクトルの候補数が4個の場合のTruncated Unary符号列による予測ベクトルインデックスの符号列を示す。
図34から同じ予測ベクトルインデックスの値を符号化する場合でも予測ベクトルの候補数が少ないほど予測ベクトルインデックスに割り当てられる符号ビットが小さくなることがわかる。例えば、予測ベクトルインデックスが1である場合、予測ベクトルの候補数が2個であれば‘1’の1ビットであるが、予測ベクトルの候補数が3個であれば‘10’の2ビットとなる。
以上のように、予測ベクトルの候補数は少ないほど予測ベクトルインデックスの符号化効率は向上する。反面、予測ベクトルの候補数が予測ブロック毎に変化するため、予測ベクトルインデックスを復号するためには予測ベクトルの候補数を事前に算出しておく必要がある。
従来の動画像符号化では別の画像の動きベクトルへのメモリアクセスは動き補償予測を行う場合のみであったが、本発明の実施の形態では上述のように予測ベクトルインデックスの算出においても事前に予測ベクトルの候補数を算出しておく必要があるため動きベクトルメモリへのアクセス量が大きく増加する。
(POC)
本発明の実施の形態では、画像の時間情報(距離情報)としてPOC(Picture Order Count)を用いる。POCはMPEG−4AVCで定義された画像の表示順序を示すカウンタである。画像の表示順序が1増加するとPOCも1増加する。したがって、画像間のPOC差から画像間の時間差(距離)を取得できる。
(隣接ブロックの動きベクトルの特性)
一般的に処理対象ブロックの動きベクトルと処理対象ブロックに隣接するブロックの動きベクトルの相関度が高いのは、処理対象ブロックと処理対象ブロックに隣接するブロックが同じ動きをしている場合、例えば、処理対象ブロックと処理対象ブロックに隣接するブロックを含めた領域が平行移動している場合である。
(別の画像の動きベクトルの特性)
一方、一般的に時間ダイレクトモードや空間ダイレクトモードで利用されている復号済みの別の画像上で処理対象ブロックと同一位置にあるブロック(同一位置ブロック)と処理対象ブロックの相関度が高いのは、同一位置ブロックと処理対象ブロックが静止状態にあるか、同一位置ブロックと処理対象ブロックが平行移動している場合である。
(小ブロックの動きベクトルの特性)
また、一般的にブロックの大きさが小さくなるのは、処理対象ブロックの動き(動きベクトル)と隣接ブロックの動き(動きベクトル)の相関度が低い場合、つまり動きが複雑であると考えられ、この場合はまた処理対象ブロックと別画像の動きベクトルの同一位置ブロックが静止状態にあるか、処理対象ブロックと同一位置ブロックが平行移動している可能性は低い。
以下、図面とともに本発明に係る動画像符号化装置、動画像符号化方法、動画像符号化プログラムの好適な実施の形態について詳細に説明する。なお、図面の説明には同一要素には同一符号を付与して重複する説明を省略する。
[第1の実施の形態]
(動画像符号化装置100の構成)
図1は本発明の第1の実施の形態の動画像符号化装置100の構成を示す。動画像符号化装置100は、動画像信号を動き補償予測を実施する予測ブロック単位で符号化する装置である。符号化ブロックの分割、予測ブロックサイズの決定、予測符号化モードの決定は上位の符号化制御部で決定されているものとする。動画像符号化装置100は、CPU(Central Processing Unit)、フレームメモリ、ハードディスクなどを備える情報処理装置等のハードウェアにより実現される。動画像符号化装置100は、上記の構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。
なお、処理対象の予測ブロックの位置情報、予測ブロックサイズ、参照画像インデックス、動き補償予測の方向に関しては動画像符号化装置100内で共有していることとし、図示しない。
本実施の形態の動画像符号化装置100は、予測ブロック画像取得部101、減算部102、予測誤差符号化部103、符号列生成部104、予測誤差復号部105、動き補償部106、加算部107、動きベクトル検出部108、動き情報生成部109、フレームメモリ110、第1動き情報メモリ111、および第2動き情報メモリ112を含む。
(動画像符号化装置100の機能)
以下、各部の機能について説明する。
予測ブロック画像取得部101は、予測ブロックの位置情報と予測ブロックサイズに基づいて、端子10より供給される画像信号から処理対象の予測ブロックの画像信号を取得し、予測ブロックの画像信号を減算部102と動きベクトル検出部108に供給する。
減算部102は、予測ブロック画像取得部101より供給される画像信号と動き補償部106より供給される予測信号を減算して予測誤差信号を算出し、予測誤差信号を予測誤差符号化部103に供給する。
予測誤差符号化部103は、減算部102より供給される予測誤差信号を量子化や直交変換などの処理を行って予測誤差符号化データを生成し、予測誤差符号化データを符号列生成部104及び予測誤差復号部105に供給する。
符号列生成部104は、予測誤差符号化部103より供給される予測誤差符号化データ、および動き情報生成部109より供給される差分ベクトルと予測ベクトルインデックスを、動き補償予測の方向、参照インデックスとともにシンタックスに従ってエントロピー符号化して符号列を生成し、符号列を端子11に供給する。
なお、本実施の形態では上記のように予測ベクトルインデックスの符号化にTruncated Unary符号列を利用したが、予測ベクトルインデックスが予測ベクトルの候補数が小さいほど少ないビットで符号化できる符号列であればこれに限定されない。
予測誤差復号部105は、予測誤差符号化部103より供給される予測誤差符号化データを逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、予測誤差信号を加算部107に供給する。
動き補償部106は、フレームメモリ110内の参照画像を、動きベクトル検出部108より供給される動きベクトルだけ動き補償して予測信号を生成する。動き補償予測の方向が双方向であれば、それぞれの方向の予測信号を平均したものを予測信号とし、予測信号を加算部107に供給する。
加算部107は、予測誤差復号部105より供給される予測誤差信号と動き補償部106より供給される予測信号を加算して復号画像信号を生成し、復号画像信号をフレームメモリ110に供給する。
動きベクトル検出部108は、予測ブロック画像取得部101より供給される画像信号と時間の異なる画像信号から動きベクトルを検出し、動きベクトルを動き補償部106に供給する。なお、動き補償予測の方向が双方向であれば、それぞれの方向の動きベクトルを検出し、動きベクトルを動き補償部106に供給する。
一般的な動きベクトルの検出方法は、画像信号と同一位置より所定の移動量だけ移動させた位置の異なる画像信号について誤差評価値を算出し、誤差評価値が最小となる移動量を動きベクトルとする。誤差評価値としては、絶対差分和を示すSAD(Sum of Absolute Difference)や自乗誤差平均を示すMSE(Mean Square Error)等を利用することが可能である。
動き情報生成部109は、動きベクトル検出部108より供給される動きベクトルと、第1動き情報メモリ111より供給される第1の候補ブロック群と、第2動き情報メモリ112より供給される第2の候補ブロック群から差分ベクトルと予測ベクトルインデックスを生成し、差分ベクトルと予測ベクトルインデックスを符号列生成部104に供給する。
動き情報生成部109の詳細な構成については後述する。
フレームメモリ110は、加算部107より供給される復号画像信号を記憶する。また、画像全体の復号が完了した復号画像については参照画像として1以上の所定画像数記憶し、参照画像信号を動き補償部106に供給する。参照画像を記憶する記憶領域はFIFO(First In First Out)方式で制御される。
第1動き情報メモリ111は、動きベクトル検出部108より供給される動きベクトルと参照画像インデックスを最小の予測ブロックサイズ単位で1画像分記憶し、処理対象の予測ブロックの隣接ブロックの情報を第1の候補ブロック群として動き情報生成部109に供給する。また、第1動き情報メモリ111は、画像全体の処理が終了すると、記憶している動きベクトルと参照画像インデックスを第2動き情報メモリ112に移動させる。
第2動き情報メモリ112は、第1動き情報メモリ111より供給される動きベクトルと参照画像インデックスを所定画像数だけ記憶し、処理対象の予測ブロックと同一位置のColPic上のブロックとその周辺ブロックを第2の候補ブロック群として動き情報生成部109に供給する。動きベクトルと参照画像インデックスを記憶する記憶領域はフレームメモリ110と同期しており、FIFO(First In First Out)方式で制御される。ColPicとは、処理対象の予測ブロックとは別の復号済みの画像であって、フレームメモリ110に参照画像として記憶されている。本実施の形態では、ColPicは直前に復号した参照画像とする。なお、本実施の形態では、ColPicは直前に復号した参照画像としたが、表示順で直前の参照画像や表示順で直後の参照画像としたり、符号化ストリーム中で任意の参照画像を指定することも可能である。
ここで、第1動き情報メモリ111と第2動き情報メモリ112における動きベクトルと参照画像インデックスの管理方法について図2を用いて説明する。動きベクトルと参照画像インデックスは最小の予測ブロック単位で各メモリエリアに記憶される。図2は処理対象の予測ブロックサイズが16画素×16画素である場合の様子を示している。この場合、この予測ブロックの動きベクトルと参照画像インデックスは図2の斜線部の16個のメモリエリアに格納される。
なお、予測符号化モードがイントラモードである場合、動きベクトルとして(0,0)が記憶され、参照画像インデックスとして−1が記憶される。なお、参照画像インデックスの−1は動き補償予測を実施しないモードであることが判定できればどのような値でもよい。
これ以降は特に断らない限り単にブロックと表現する場合には、最小の予測ブロック単位のことを示すこととする。
続いて、本実施の形態の特徴となる動き情報生成部109の詳細な構成について図3を用いて説明する。図3は動き情報生成部109の構成を示す。
動き情報生成部109は、予測ベクトル候補リスト生成部120と予測ベクトル選択部121と減算部122とを含む。端子12は第1動き情報メモリ111に、端子13は第2動き情報メモリ112に、端子14は動きベクトル検出部108に、端子15は符号列生成部104に接続されている。
予測ベクトル候補リスト生成部120は、本実施の形態による動画像符号化装置により生成された符号列を復号する動画像復号装置にも同様に設置されて動画像符号化装置と動画像復号装置にて矛盾のない予測ベクトル候補リストが生成される。
なお、シンタックスで説明したNumMvpCands()は予測ベクトル候補リスト生成部120により生成された予測ベクトル候補リストに含まれる予測ベクトル候補数を返す。
以下、各部の機能について説明する。
予測ベクトル候補リスト生成部120は、端子12より供給される第1の候補ブロック群と端子13より供給される第2の候補ブロック群から予測ベクトル候補リストを生成し、予測ベクトル候補リストを予測ベクトル選択部121に供給する。
(候補ブロック群)
ここで、第1の候補ブロック群について図4を用いて説明する。図4は処理対象の予測ブロックサイズが16画素×16画素である場合の様子を示している。図4に示すように処理対象の予測ブロックの隣接ブロックを、左に位置するブロックA1、ブロックA2、A3、A4、上に位置するブロックB1、ブロックB2、ブロックB3、ブロックB4、右上に位置するブロックC、左上に位置するブロックD、左下に位置するブロックEとし、これらを第1の候補ブロック群とする。
本実施の形態では第1の候補ブロック群を図4としたが、本発明の実施の形態では、第1の候補ブロック群は、処理対象の予測ブロックに隣接する少なくとも1以上の処理済みのブロックであればよく、図4に限定されない。例えば、各方向から1つずつ選択してブロックA1、ブロックC、ブロックD及びブロックB1、ブロックEなどとしてもよい。
次に、第2の候補ブロック群について図5を用いて説明する。図5は処理対象の予測ブロックサイズが16画素×16画素である場合の様子を示している。図5に示すように処理対象の予測ブロックと同一位置にあるColPic上の予測ブロック内のブロックとその周辺ブロックを第2の候補ブロック群とする。具体的には、処理対象の予測ブロックと同一位置にあるColPic上の予測ブロック内のブロックI1からブロックI16、左に位置するブロックA1からブロックA4、上に位置するブロックB1からブロックB4、右上に位置するブロックC、左上に位置するブロックD、左下に位置するブロックE、右に位置するブロックF1からブロックF4、下に位置するG1からG4、右下に位置するHとし、これらのブロックを第2の候補ブロック群とする。
本実施の形態では第2の候補ブロック群をColPic上のブロックI1からブロックI16、ブロックA1からブロックA4、ブロックB1からブロックB4、ブロックC、ブロックD、ブロックE、ブロックF1からブロックF4、ブロックG1からブロックG4、ブロックHとしたが、本発明の実施の形態では、第2の候補ブロック群は、処理対象の予測ブロックとは別の復号済みの画像上の少なくとも1以上のブロックであればよく、上記に限定されない。第2の候補ブロック群を1ブロックとしてもよく、例えば、ブロックI1の1ブロックだけ、ブロックHの1ブロックだけ、などとしてもよい。
予測ベクトル選択部121は、予測ベクトル候補リスト生成部120より供給される予測ベクトル候補リストの中から、端子14より供給される動きベクトルに対応する予測ベクトルを選択し、予測ベクトルを減算部122に供給するとともに、選択された予測ベクトルを示す情報である予測ベクトルインデックスを端子15に出力する。
減算部122は、端子14より供給される動きベクトルから予測ベクトル選択部121より供給される予測ベクトルを減算して差分ベクトルを算出し、差分ベクトルを端子15に供給する。
図6は予測ベクトル候補リスト生成部120の構成を示す。
予測ベクトル候補リスト生成部120は、第1予測ベクトル候補リスト生成部130と結合判定部131と第2予測ベクトル候補リスト生成部132と予測ベクトル候補リスト決定部133とを含む。端子16は予測ベクトル選択部121に接続されている。
以下、各部の機能について説明する。
第1予測ベクトル候補リスト生成部130は、端子12より供給される第1の候補ブロック群から1以上の動きベクトルを含む第1の予測ベクトル候補リストを生成し、第1の予測ベクトル候補リストを予測ベクトル候補リスト決定部133に供給する。
結合判定部131は、処理対象の予測ブロックの予測ブロックのサイズから結合判定結果を導出し、結合判定結果を予測ベクトル候補リスト決定部133に供給する。
第2予測ベクトル候補リスト生成部132は、端子13より供給される第2の候補ブロック群から0以上の動きベクトルを含む第2の予測ベクトル候補リストを生成し、第2の予測ベクトル候補リストを予測ベクトル候補リスト決定部133に供給する。
予測ベクトル候補リスト決定部133は、結合判定部131より供給される結合判定結果に基づいて、第1予測ベクトル候補リスト生成部130より供給される第1の予測ベクトル候補リストと第2予測ベクトル候補リスト生成部132より供給される第2の予測ベクトル候補リストから第3の予測ベクトル候補リストを決定し、第3の予測ベクトル候補リストを端子16に供給する。
(動画像符号化装置100の動作)
続いて、図7のフローチャートを用いて、本実施の形態の動画像符号化装置100における符号化の動作を説明する。
予測ブロック画像取得部101は、予測ブロックの位置情報と予測ブロックサイズに基づいて、端子10より供給される画像信号から処理対象の予測ブロックの画像信号を取得する(ステップS100)。
動きベクトル検出部108は、予測ブロック画像取得部101より供給される画像信号とフレームメモリ110より供給される参照画像信号から動きベクトルを検出する(ステップS101)。
動き情報生成部109は、動きベクトル検出部108より供給される動きベクトルと、第1動き情報メモリ111より供給される第1の候補ブロック群と、第2動き情報メモリ112より供給される第2の候補ブロック群とから、差分ベクトルと予測ベクトルインデックスを生成する(ステップS102)。
動き補償部106は、フレームメモリ110内の参照画像を動きベクトル検出部108より供給される動きベクトルにもとづいて動き補償して予測信号を生成する(ステップS103)。
減算部102は、予測ブロック画像取得部101より供給される画像信号と動き補償部106より供給される予測信号を減算して予測誤差信号を算出する(ステップS104)。
予測誤差符号化部103は、減算部102より供給される予測誤差信号を量子化や直交変換などの処理を行って予測誤差符号化データを生成する(ステップS105)。
符号列生成部104は、予測誤差符号化部103より供給される予測誤差符号化データ、および動き情報生成部109より供給される差分ベクトルと予測ベクトルインデックスを、動き補償予測の方向、参照インデックスとともにシンタックスに従ってエントロピー符号化して符号列を生成する(ステップS106)。
加算部107は、予測誤差復号部105より供給される予測誤差信号と動き補償部106より供給される予測信号を加算して復号画像信号を生成する(ステップS107)。
フレームメモリ110は、加算部107より供給される復号画像信号を記憶する(ステップS108)。
第1動き情報メモリ111は、動きベクトル検出部108より供給される動きベクトルを最小の予測ブロックサイズ単位で1画像分記憶する(ステップS109)。
画像全体の処理が終了すると(ステップS110のYES)、第1動き情報メモリ207は第2動き情報メモリ208に記憶されている1画面分の動きベクトルを移動させ、第2動き情報メモリ112は、第1動き情報メモリ111より供給される動きベクトルを所定画像数だけ記憶する(ステップS111)。なお、本実施の形態ではステップS111を画像全体の処理が終了した時としたが、処理対象の予測ブロック毎に行うこともできる。
引き続いて、図8のフローチャートを用いて、動き情報生成部109の動作を説明する。
予測ベクトル候補リスト生成部120は、端子12より供給される第1の候補ブロック群と端子13より供給される第2の候補ブロック群から予測ベクトル候補リストを生成する(ステップS120)。
予測ベクトル選択部121は、予測ベクトル候補リスト生成部120より供給される予測ベクトル候補リストの中から、端子14より供給される動きベクトルに対応する予測ベクトルを決定する(ステップS121)。ここで、予測ベクトルの決定方法について説明する。動きベクトルと予測ベクトル候補リストに含まれる各予測ベクトル候補の水平成分と垂直成分の絶対差分和を求め、絶対差分和が最小となる予測ベクトル候補を予測ベクトルとして決定する。これは符号化ベクトルの符号量が最小になることが期待できるからである。なお、符号化ベクトルの符号量が最小になる方法であれば、この方法に限定されない。
減算部122は、端子14より供給される動きベクトルから予測ベクトル選択部121より供給される予測ベクトルを減算して差分ベクトルを算出する(ステップS122)。
引き続いて、図9のフローチャートを用いて、予測ベクトル候補リスト生成部120の動作を説明する。
第1予測ベクトル候補リスト生成部130は、端子12より供給される第1の候補ブロック群から1以上の動きベクトルを含む第1の予測ベクトル候補リストを生成する(ステップS130)。
第2予測ベクトル候補リスト生成部132は、端子13より供給される第2の候補ブロック群から0以上の動きベクトルを含む第2の予測ベクトル候補リストを生成する(ステップS131)する。
結合判定部131は、処理対象の予測ブロックの予測ブロックのサイズと所定閾サイズから結合判定結果を導出する(ステップS132)。
結合判定結果の導出は、処理対象ブロックの予測ブロックサイズを予め定められた所定閾サイズと比較することによって行われる。処理対象ブロックの予測ブロックサイズが所定閾サイズ以上であれば結合判定結果を1とし、それ以外では0とする。なお、本実施の形態の結合判定は、処理対象ブロックの予測ブロックサイズを予め定められた所定閾サイズと比較することによって行われるため、処理対象ブロックの予測ブロックサイズが所定閾サイズより大きければ結合判定結果を1とし、それ以外では0としてもよい。
本実施の形態では、予め定められた所定閾サイズを最大の予測ブロックサイズの1/4である16画素×16画素に設定する。予め定められた所定閾サイズはこれに限定されず、ハードウェアの制約などによって設定されてもよい。
予測ベクトル候補リスト決定部133は、結合判定部131より供給される結合判定結果が1であれば(ステップS132のYES)、第1予測ベクトル候補リスト生成部130より供給される第1の予測ベクトル候補リストと第2予測ベクトル候補リスト生成部132より供給される第2の予測ベクトル候補リストを結合して予測ベクトル候補リストとする(ステップS133)。
予測ベクトル候補リスト決定部133は、結合判定部131より供給される結合判定結果が0であれば(ステップS132のNO)、第1予測ベクトル候補リスト生成部130より供給される第1の予測ベクトル候補リストを予測ベクトル候補リストとする(ステップS134)。つまり、結合判定部131より供給される結合判定結果が0であれば、第2予測ベクトル候補リスト生成部132より供給される第2の予測ベクトル候補リストに含まれる予測ベクトル候補は予測ベクトル候補リストには含まれない。
予測ベクトル候補リスト決定部133は、予測ベクトル候補リストに含まれる予測ベクトル候補を順次検査して同一の動きベクトルを検出し、同一と検出された一方の予測ベクトル候補を予測ベクトル候補リストから削除して、予測ベクトル候補が重複しないようにし、予測ベクトル候補リストを更新して冗長な予測ベクトル候補を削除する(ステップS135)。
本実施の形態では、予測ベクトルインデックスの符号化効率を向上させるためにステップS135を実施したが、ステップS135を省略することもできる。
また、本実施の形態では、説明を容易にするためにステップS131をステップS132よりも先に実施するとしたが、ステップS132を先に行い、結合判定結果が0の場合にはステップS131を省略することもできる。
引き続いて、図10のフローチャートを用いて、第1予測ベクトル候補リスト生成部130の動作を説明する。図10内の第Nは第1となる。
最初に、第1予測ベクトル候補リストの登録数を0として第1予測ベクトル候補リストが初期化される(ステップS140)。
次に、第1の候補ブロック群に対して検査方向として水平方向(方向1)と垂直方向(方向2)の2方向を定義して、以下の処理が行われる(ステップS141)。第1の候補ブロック群に対しての各方向の検査については図11を用いて説明する。
水平方向の検査はブロックCからブロックB1、ブロックB2、ブロックB3、ブロックB4、ブロックDまで順次行われる。垂直方向の検査は、ブロックEからブロックA1、ブロックA2、ブロックA3、ブロックA4まで順次行われる。
次に、第1予測ベクトル候補リストに追加するかどうかを検査する検査個数が決定される(ステップS142)。
本実施の形態では、水平方向に検査する最大数を最大の予測ブロックサイズの半分である8個にブロックCとブロックDを加えた10個とし、垂直方向に検査する最大数を最大の予測ブロックサイズの半分である8個にブロックEを加えた9個とする。ところが、ブロックC、ブロックD、及びブロックEは処理対象の予測ブロックの位置によっては存在しない可能性がある。ブロックC、ブロックD、及びブロックEが存在しない場合は検査する最大数から存在しないブロック数を減じておく。そして、第1の候補ブロック群に含まれる各方向の候補ブロック数が検査する最大数を超える場合には検査個数を最大数に制限する。
次に、第1の候補ブロック群の各方向に含まれる各候補ブロックに対して検査個数だけ以下の処理が繰り返し実施される(ステップS143)。
候補ブロックの参照インデックスが−1でないこと、すなわちイントラモードでないかが判定される(ステップS144)。
候補ブロックがイントラモードでなければ(ステップS114のYES)、候補ブロックの参照インデックスが処理対象の予測ブロックの参照画像インデックスと同一であるかが判定される(ステップS145)。
候補ブロックの参照インデックスが処理対象の予測ブロックの参照画像インデックスと同一であれば(ステップS145のYES)、第1予測ベクトル候補リストに候補ブロックの動きベクトルが追加される(ステップS146)。
候補ブロックの参照インデックスが−1であるか(ステップS114のNO)、候補ブロックの参照インデックスが処理対象の予測ブロックの参照画像インデックスと同一でなければ(ステップS145のNO)、次の候補ブロックが検査される(ステップS147)。
候補ブロックの参照インデックスが処理対象の予測ブロックの参照画像インデックスと同一であるか、各方向の検査個数だけ処理されるまで上記の処理が繰り返される(ステップS148)。
次に、第1予測ベクトル候補リストの登録数が0であるかが検査される(ステップS149)。
第1予測ベクトル候補リストの登録数が0であれば(ステップS149のYES)、第1予測ベクトル候補リストに動きベクトル(0,0)が追加され(ステップS150)、処理を終了する。
第1予測ベクトル候補リストの登録数が0でなければ(ステップS149のNO)、処理を終了する。以上のように、第1予測ベクトル候補リストに追加される動きベクトルが導出される。
引き続いて、図10のフローチャートを用いて、第2予測ベクトル候補リスト生成部132の動作を説明する。図10内の第Nは第2となる。
第2の候補ブロック群に対しての各方向の検査順を図12に示す。
第1予測ベクトル候補リスト生成部130の動作との第1の相違点は、検査方向として同一位置方向(方向0)を有することであり、検査方向は同一位置方向、水平方向、垂直方向の順で実施される。同一位置方向の候補ブロックは図12のI1からI16に相当し、同一位置方向の検査はラスタースキャン順序で実施される。
第1予測ベクトル候補リスト生成部130の動作との第2の相違点は、ステップS149とステップS150が実施されないことである。これは第1予測ベクトル候補リストと第2予測ベクトル候補リストのいずれか、または予測ベクトル候補リストに1以上の予測ベクトル候補を追加するためになされるため、第1予測ベクトル候補リスト生成部130または第2予測ベクトル候補リスト生成部132のいずれで行われてもよく、また予測ベクトルリスト決定部133で行われてもよい。
本実施例では、メモリアクセス量を低減するため、検査する最大数を9個に制限したが、特に制限を設けなくてもよい。
本実施の形態では、処理速度を優先し、ステップS146で候補ブロックの参照インデックスが処理対象の予測ブロックの参照画像インデックスと同一であれば次の方向の検査としたが、各方向の検査個数だけ処理されるまで繰り返してもよい。
本実施例では、第1の候補ブロック群に対しての各方向の検査方法を図11としたが、全方向の合計の検査数が1以上であればよく、この検査方法に限定されない。例えば、方向1をブロックC、ブロックB1、ブロックD、方向2をブロックE、ブロックA1だけとしてもよい。
本実施例では、第2の候補ブロック群に対しての各方向の検査方法を図12としたが、全方向の合計の検査数が1以上であればよく、この検査方法に限定されない。例えば、方向2のブロックHだけとしてもよいし、ブロックHとブロックIの2ブロックとしてもよい。
(動画像復号装置200の構成)
次に、本実施の形態の動画像復号装置を説明する。図13に本実施の形態の動画像復号装置200を示す。動画像復号装置200は、動画像符号化装置100により符号化された符号列を復号して再生画像を生成する装置である。
動画像復号装置200は、CPU(Central Processing Unit)、フレームメモリ、ハードディスクなどを備える情報処理装置等のハードウェアにより実現される。動画像復号装置200は、上記の構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。
なお、復号対象の予測ブロックの位置情報、予測ブロックサイズ、参照画像インデックス、動き補償予測の方向に関しては動画像復号装置200内で共有していることとし、図示しない。
本実施の形態の動画像復号装置200は、符号列解析部201、予測誤差復号部202、加算部203、動き情報再生部204、動き補償部205、フレームメモリ206、第1動き情報メモリ207、第2動き情報メモリ208で構成される。
(動画像復号装置200の機能)
以下、各部の機能について説明する。
符号列解析部201は、端子20より供給された符号列を復号して予測誤差符号化データ、動き補償予測の方向、参照画像インデックス、差分ベクトル、および予測ベクトルインデックスをシンタックスに従って復号し、予測誤差符号化データを予測誤差復号部202に、差分ベクトルおよび予測ベクトルインデックスを動き情報再生部204に供給する。
予測誤差復号部202は、符号列解析部201より供給される予測誤差符号化データを逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、予測誤差信号を加算部203に供給する。
加算部203は、予測誤差復号部202より供給される予測誤差信号と動き補償部205より供給される予測信号を加算して復号画像信号を生成し、復号画像信号をフレームメモリ206に供給する。
動き情報再生部204は、符号列解析部201より供給される差分ベクトルと予測ベクトルインデックスと、第1動き情報メモリ207より供給される第1の候補ブロック群と、第2動き情報メモリ208より供給される第2の候補ブロック群とから動きベクトルを再生し、動きベクトルを動き補償部205に供給する。
動き情報再生部204の詳細な構成については後述する。
動き補償部205は、フレームメモリ206内の参照画像を、動き情報再生部204より供給される動きベクトルだけ動き補償して予測信号を生成する。動き補償予測の方向が双方向であれば、それぞれの方向の予測信号を平均したものを予測信号とし、予測信号を加算部203に供給する。
フレームメモリ206、第1動き情報メモリ207、第2動き情報メモリ208は、それぞれフレームメモリ110、第1動き情報メモリ111、第2動き情報メモリ112と同一の機能を有する。
続いて、本実施の形態の特徴となる動き情報再生部204の詳細な構成について図14を用いて説明する。図14は動き情報再生部204の構成を示す。
動き情報再生部204は、予測ベクトル候補リスト生成部220と予測ベクトル決定部221と加算部222とを含む。端子22は第1動き情報メモリ207に、端子23は第2動き情報メモリ208に、端子24は符号列解析部201に、端子25は動き補償部205に接続されている。
以下、各部の機能について説明する。
予測ベクトル候補リスト生成部220は予測ベクトル候補リスト生成部120と同一の機能を有する。
予測ベクトル決定部221は、予測ベクトル候補リスト生成部220より供給される予測ベクトル候補リストと、端子24より供給される予測ベクトルインデックスとから予測ベクトルを決定して加算部222に供給する。
加算部222は、端子24より供給される差分ベクトルと予測ベクトル決定部221より供給される予測ベクトルを加算して動きベクトルを算出し、動きベクトルを端子25に供給する。
(復号装置の動作)
続いて、図15のフローチャートを用いて、本実施の形態の動画像復号装置200における復号の動作を説明する。
符号列解析部201は、端子20より供給された符号列を復号して予測誤差符号化データ、動き補償予測の方向、参照画像インデックス、差分ベクトル、および予測ベクトルインデックスをシンタックスに従って復号する(ステップS200)。
動き情報再生部204は、符号列解析部201より供給される差分ベクトルと予測ベクトルインデックスと、第1動き情報メモリ207より供給される第1の候補ブロック群と、第2動き情報メモリ208より供給される第2の候補ブロック群とから動きベクトルを再生する(ステップS201)。
動き補償部205は、フレームメモリ206内の参照画像を動き情報再生部204より供給される動きベクトルにもとづいて動き補償して予測信号を生成する(ステップS202)。
予測誤差復号部202は、符号列解析部201より供給される予測誤差符号化データを逆量子化や逆直交変換などの処理を行って予測誤差信号を生成する(ステップS203)。
加算部203は、予測誤差復号部202より供給される予測誤差信号と動き補償部205より供給される予測信号を加算して復号画像信号を生成する(ステップS204)。
フレームメモリ206は、加算部203より供給される復号画像信号を記憶する(ステップS206)。
第1動き情報メモリ207は、動き情報再生部204より供給される動きベクトルを最小の予測ブロックサイズ単位で1画像分記憶する(ステップS207)。
画像全体の処理が終了すると(ステップS208のYES)、第1動き情報メモリ207は第2動き情報メモリ208に記憶している1画面分の動きベクトルを移動させ、第2動き情報メモリ208は、第1動き情報メモリ207より供給される動きベクトルを所定画像数だけ記憶する(ステップS209)。
引き続いて、図16のフローチャートを用いて、動き情報再生部204の動作を説明する。
予測ベクトル候補リスト生成部220は、端子22より供給される第1の候補ブロック群と端子23より供給される第2の候補ブロック群から予測ベクトル候補リストを生成する(ステップS220)。
予測ベクトル決定部221は、予測ベクトル候補リスト生成部220より供給される予測ベクトル候補リストの予測ベクトル候補数が1より大きいかを判定する(ステップS221)。
予測ベクトル決定部221は、予測ベクトル候補数が1より大きければ(ステップS221のYES)、符号列解析部201より供給される予測ベクトルインデックスを取得する(ステップS222)。そして予測ベクトル候補リストの中から予測ベクトルインデックスで示される予測ベクトル候補を予測ベクトルとして選択する(ステップS223)。
予測ベクトル決定部221は、予測ベクトル候補数が1であれば(ステップS221のNO)、予測ベクトル候補リストに含まれる唯一の予測ベクトル候補を予測ベクトルとして選択する(ステップS224)。
加算部222は、端子24より供給される差分ベクトルと予測ベクトル決定部221より供給される予測ベクトルを加算して動きベクトルを算出する(ステップS225)。
(第1の実施の形態の拡張例)
なお、本実施の形態は以下のように拡張できる。
(所定閾サイズ)
本実施の形態では、予め定められた所定閾サイズを最大の予測ブロックサイズの1/4である16画素×16画素に設定したが、所定閾サイズは最小の予測ブロックサイズ以上で最大の予測ブロックサイズ以下であれば、例えば、32×16や4×8などの非対称ブロックでもよい。また、所定閾サイズが最大の予測ブロックサイズである場合に、全ての予測ブロックサイズで結合判定結果が0となるようにしてもよい。この場合、全ての予測ブロックサイズで結合判定結果が0であるため、結果的に第2の予測ベクトル候補リストに含まれるColPic上の動きベクトルは予測ベクトルとして利用されないことになる。
なお、本実施の形態では、所定閾サイズを予め定義したが、所定閾サイズを符号列に符号化して復号することで符号化装置において動画像の特性などに応じて適応的に設定することもできる。例えば、画面サイズが大きくなる程大きくし、動きが大きい程大きくなるように適応的に設定することもできる。
ここでは、所定閾サイズを符号列に符号化して復号するとしたが、所定閾サイズが符号化側と復号側で共有できればよく、これに限定されない。例えば、固定の所定閾サイズ(4×4、8×8など)を示すフラグを符号列に符号化して復号し、符号化側と復号側において、所定閾サイズを示すフラグが0であれば固定の所定閾サイズが設定されて、所定閾サイズを示すフラグが1であれば所定閾サイズが設定されないようすることでも実現できる。なお、所定閾サイズが設定されない場合には、第1の予測ベクトル候補リストと第2の予測ベクトル候補リストが結合されて予測ベクトル候補リストは生成されるようにしてもよい。
また、所定閾サイズを最大の予測ブロックサイズに設定して動画像の特性などに応じて適応的に設定することは、所定閾サイズが最大の予測ブロックサイズであることを示す情報(以下、時間候補利用フラグ)をシーケンス毎やピクチャ毎に符号列に符号化して復号し、時間候補利用フラグが0であれば、符号化側と復号側において第2の予測ベクトル候補リストに含まれるColPic上の動きベクトルを予測ベクトルとして利用しないようにし、時間候補利用フラグが1であれば、符号化側と復号側において第2の予測ベクトル候補リストに含まれるColPic上の動きベクトルを予測ベクトルとして利用するようにすることでも実現できる。
また、無線伝送などのように伝送エラーなどが生じ易い場合には、所定閾サイズを最大の予測ブロックサイズに設定し、常に第2の予測ベクトル候補リストに含まれるColPic上の動きベクトルを予測ベクトルとして利用しないようにすることで、ColPicが損失した場合であっても予測動きベクトルが取得できるようにし、符号化ストリームを復号できないような深刻なエラーを回避することができる。
(距離依存)
本実施の形態では、所定閾サイズを予め定義したが、処理対象の予測ブロックが存在する処理対象画像と第2の候補ブロック群が存在する別の復号済みの画像との距離(時間差)によって、画像間の距離が大きくなるほど上記所定閾サイズが大きくなるように制御することも可能である。これは画像間の距離が大きくなるほど画像間の動き情報の相関性が減少するために行われる。
この場合の予測ベクトル候補リスト生成部120の構成と動作をそれぞれ図17と図18に示す。本実施の形態の拡張例による予測ベクトル候補リスト生成部120では、結合判定部131に端子17及び端子18が接続されている。端子17からは処理対象画像の時間情報が、端子18からは別の復号済みの画像の時間情報が供給される。結合判定部131は、端子17より供給される処理対象画像の時間情報と端子18より供給される別の復号済みの画像の時間情報によって、画像間の距離が大きくなるほど上記所定閾サイズが大きくなるように所定閾サイズを設定する(ステップS136)。本実施例では、時間情報としてPOCを用いる。図19にPOC差が大きくなるほど所定閾サイズが大きくなるように制御した一例を示す。また、POC差が所定値以上であれば、所定閾サイズが常に最大の予測ブロックサイズとして作用するようにすることもできる。
(予測ベクトルの優先順位)
本実施の形態では、結合判定結果が1であれば、第1の予測ベクトル候補リストと第2の予測ベクトル候補リストを結合して予測ベクトル候補リストを生成するとした。一般的に処理対象の予測ブロックサイズを含めた周辺領域が平行移動や静止している場合、すなわち処理対象の予測ブロックサイズが大きい場合は、処理対象の予測ブロックとは別の画像の動きベクトルは有効となるため、第2の予測ベクトル候補リストを優先し、その後に第1の予測ベクトル候補リストを追加することもできる。第1の予測ベクトル候補リストと第2の予測ベクトル候補リストを結合した予測ベクトル候補リストにおいて優先する位置にあるものほどインデックスに短い符号長の符号を割り当てて符号化するため、インデックスの符号化効率を向上させることができる。
また、本実施の形態では、結合判定結果が1であれば、第1の予測ベクトル候補リストと第2の予測ベクトル候補リストを結合して予測ベクトル候補リストを生成し、結合判定結果が0であれば、第1の予測ベクトル候補リストから予測ベクトル候補リストを生成するとした。本実施の形態によれば、処理対象ブロックが所定閾サイズ以上である場合に別の復号済みの画像の動きベクトルを優先すればよく、結合判定結果が1であれば、第2の予測ベクトル候補リストと第1の予測ベクトル候補リストを順次結合して予測ベクトル候補リストを生成し、結合判定結果が0であれば、第1の予測ベクトル候補リストと第2の予測ベクトル候補リストを順次結合して予測ベクトル候補リストを生成することもできる。
本実施の形態の拡張例による予測ベクトル候補リスト生成部120の動作を説明するフローチャートを図20に示す。第1の実施の形態との違いは、ステップS133の代わりに、第2の予測ベクトル候補リストと第1の予測ベクトル候補リストを順次結合して予測ベクトル候補リストとし(ステップS136)、ステップS134の代わりに、第1の予測ベクトル候補リストと第2の予測ベクトル候補リストを順次結合して予測ベクトル候補リストとすることである(ステップS136)。
(符号化制御)
本実施の形態では、結合判定結果が1であれば、第1の予測ベクトル候補リストと第2の予測ベクトル候補リストを結合して予測ベクトル候補リストを生成し、結合判定結果が0であれば、第1の予測ベクトル候補リストだけから予測ベクトル候補リストを生成するとした。これは符号化と復号において共通動作を定義することで予測ベクトルインデックスの符号量を削減するためにおこなった処理である。
演算量を削減する目的だけであれば、結合判定結果によらず、第1の予測ベクトル候補リストと第2の予測ベクトル候補リストを結合して予測ベクトル候補リストを生成して、符号化装置において予測ベクトルインデックスの選択時に、結合判定結果が0であれば、第2の予測ベクトル候補リストに含まれる動きベクトルを予測ベクトルとして選択しないように制御することもできる。この場合の動画像符号化装置は以下のような特徴を有する。
複数のブロックサイズで動き補償予測を行う動画像符号化装置であって、
符号化対象ブロックに隣接する符号化済みの1個以上のブロックの動きベクトルから第1の予測動きベクトルの候補を含む第1予測ベクトル候補リストを生成する第1予測ベクトル候補リスト生成部と、
符号化済み画像における前記符号化対象ブロックと同一位置のブロック及び前記同一位置のブロックに隣接する1個以上のブロックの動きベクトルから第2の予測動きベクトルの候補を含む第2予測ベクトル候補リストを生成する第2予測ベクトル候補リスト生成部と、
前記第1予測ベクトル候補リストと前記第2予測ベクトル候補リストを結合した第3予測ベクトル候補リストを生成する第3予測ベクトル候補リスト生成部と、
前記符号化対象ブロックのブロックサイズと所定の閾サイズの比較結果により、前記第2予測ベクトル候補リストを利用するか否かを判定する結合判定部と、
前記符号化対象ブロックのブロックサイズが前記所定の閾サイズよりも小さい場合、前記第3予測ベクトル候補リスト中の前記第2予測ベクトル候補リストを選択対象とせずに、前記第3予測ベクトル候補リスト中の前記第1予測ベクトル候補リストから予測動きベクトルを選択する予測ベクトル選択部と、
前記第3予測ベクトル候補リストにおける前記選択された予測動きベクトルの位置を示す情報を符号化する符号化部とを備える。
(候補リスト生成の拡張)
本実施の形態では、候補リストの生成対象を動きベクトルとして予測ベクトルインデックスの符号化及び復号について説明した。本実施の形態によれば、候補リストの生成対象は動きベクトルに限定されず、処理対象ブロックに隣接する処理済みのブロックの情報から第1の候補リストを生成し、既に処理済み画像の処理対象ブロックと同一位置に隣接するブロックの情報から第2の候補リストを生成し、第1の候補リストと第2の候補リストから生成した第3の候補リストを生成して、第3の候補リストから符号化及び復号するインデックスを決定する方法であればよい。例えば、本実施の形態は、動き情報を引き継ぐ方向を示す引き継ぎ方向インデックス(マージインデックス)に適用できる。
この場合、第1の候補リスト、第2の候補リスト、第3の候補リストでは動きベクトルに加えて参照画像インデックス及び動き補償予測の方向が同様に管理されて、引き継ぎ方向インデックスによって示されたブロックの動き情報として動きベクトル、参照画像インデックス及び動き補償予測の方向が処理対象ブロックの動き情報として利用される。すなわち、本実施の形態で説明した予測ベクトルがそのまま動きベクトルとして利用される。なお、シンタックスで説明したNumMergeCands()はNumMvpCands()と同様に候補リストに含まれる候補数を返す。また、引き継ぎ方向インデックスの符号列には予測ベクトルインデックスの符号列と同様にTruncated Unary符号列が用いられる。
(第1の実施の形態の効果)
以上のように、処理対象の予測ブロックサイズを含めた周辺領域が平行移動しているか静止している可能性が低い場合、すなわち、処理対象の予測ブロックサイズが小さい場合に、処理対象の予測ブロックとは別の画像の動きベクトルを予測動きベクトル候補に加えないように制御することで、予測ベクトル候補数が削減され、予測ベクトルインデックスの符号量を削減でき、動き補償予測の効率の低下を抑制する動画像符号化装置を実現できる。一方、処理対象の予測ブロックサイズが大きい場合に、処理対象の予測ブロックとは別の画像の動きベクトルを予測動きベクトル候補に加えることで、予測ベクトルの精度を向上させることができる。
予測ベクトル候補数が削減されることで、動きベクトルメモリへのアクセス量が抑制され、処理量が削減される効果もある。例えば、別の画像の動きベクトルが外部メモリなどに所在する場合に、動きベクトルメモリへのアクセス量を抑制する効果は大きい。
また、処理対象の予測ブロックが存在する処理対象画像と第2の候補ブロック群が存在する対象処理画像とは別の復号済みの画像との距離(時間差)が大きくなる、つまり、動き情報の相関度は小さくなる場合に、別の画像の動きベクトルを予測動きベクトル候補に加えないように制御することで、上記と同様な効果を実現できる。
以上のような効果は画面サイズが大きいほど顕著となる。
[第2の実施の形態]
図21は本発明の第2の実施の形態の動画像符号化装置300の構成を示す。本発明の第2の実施の形態の動画像符号化装置300の構成は、端子30の設定と、動き情報圧縮部301、第2動き情報メモリ302、動き情報伸張部303、および動き情報生成部109をいて、第1の実施の形態の動画像符号化装置100の構成と同一である。
以下、本実施の形態における端子30の設定と、動き情報圧縮部301、第2動き情報メモリ302、動き情報伸張部303、動き情報生成部109の機能について第1の実施の形態との相違を説明する。
端子30より動き情報メモリ圧縮率αと時間ベクトル利用制限レベルβが供給され、動き情報メモリ圧縮率αは、動き情報生成部109、動き情報圧縮部301、および動き情報伸張部303に供給され、時間ベクトル利用制限レベルβは動き情報生成部109に供給される。
動き情報圧縮部301は、第1動き情報メモリ111より供給される動きベクトルと参照画像インデックスを、動き情報メモリ圧縮率αに基づいて、1/2αのメモリエリアに圧縮して、第2動き情報メモリ302に供給する。
第2動き情報メモリ302は、第1の実施の形態の第2動き情報メモリ112の1/2αのメモリ容量を持ち、動き情報圧縮部301より供給される動きベクトルと参照画像インデックスを所定画像数だけ記憶する。
動き情報伸張部303は、動き情報メモリ圧縮率αに基づいて、第2動き情報メモリ302より供給される動きベクトルと参照画像インデックスを伸張して、動き情報生成部109に供給する。
動き情報メモリ圧縮率αについて説明する。動き情報メモリ圧縮率αは、第2動き情報メモリ302のメモリ容量を削減するために設定されるもので、水平・垂直方向それぞれについて2αのサイズ(「圧縮サイズ」という)の動き情報のメモリエリアが1つのメモリエリアに圧縮される。このとき、2αのサイズのメモリエリアに格納されていた動き情報をまとめられて1つの代表値に置き換えられ、代表値は1/2αに圧縮されたブロックサイズ単位で割り当てられたメモリエリアに格納される。たとえば、2αのサイズのメモリエリアに格納されていた動きベクトルは平均値を取るなどにより、1つの代表動きベクトルに置き換えられ、1/2αに圧縮されたメモリエリアに格納される。本実施の形態ではαを5とする。
図22を用いて動き情報の圧縮と伸張について説明する。図22(a)は圧縮前の第1動き情報メモリ111のメモリエリア0からメモリエリア63までの64個のメモリエリアを示す。本実施例では64個のメモリエリアの代表値をメモリエリア0に格納された値とする。図22(b)は圧縮後の第2動き情報メモリ302の1個のメモリエリアに第1動き情報メモリ111のメモリエリア0の値が記憶されている様子を示す。図22(c)は伸張後の動き情報生成部109に供給に供給される64個のメモリエリアに第2動き情報メモリ302の1個のメモリエリアの値が複製されて記憶されている様子を示す。
本実施の形態では動き情報メモリ圧縮率αを5としたが、動き情報メモリ圧縮率αは0以上であればよい。また、メモリエリアの代表値をメモリエリア0としたが、中央に位置するメモリエリア27やその隣接ブロックエリアとしてもよいし、メモリエリア0からメモリエリア63の平均値や中央値でもよい。
動き情報生成部109には、動き情報メモリ圧縮率αと時間ベクトル利用制限レベルβが供給され、予測ベクトル候補リスト生成部120内の結合判定部131の機能だけが第1の実施の形態とは異なる。
以下、結合判定部131について説明する。本実施例における結合判定結果の導出は、第1の実施の形態の結合判定結果の導出とは基準値となる所定閾サイズを以下の結合許可サイズに置き換えたものに等しい。
本実施例における結合判定結果の導出は、処理対象ブロックの予測ブロックサイズが動き情報メモリ圧縮率αと時間ベクトル利用制限レベルβにより導出される結合許可サイズと比較することによって行われる。処理対象ブロックの予測ブロックサイズが動き情報メモリ圧縮率αと時間ベクトル利用制限レベルβにより決定される結合許可サイズ以上であれば結合判定結果を1とし、それ以外では0とする。
結合許可サイズは水平方向、垂直方向とも2α−β(β≦α)とする。β=0とすれば、結合許可サイズは動き情報メモリ圧縮率により決まるメモリエリアサイズ(すなわち上述の圧縮サイズ)に等しくなり、β=αとすれば、結合許可サイズは1となるから、全ての予測ブロックサイズについて結合を許可することになる。本実施の形態ではβ=0とする。つまり、結合許可サイズは32画素×32画素となる。
本実施の形態による動画像符号化装置100では、上位のSPSにおいて図23のシンタックスに従って動き情報メモリ圧縮率αと時間ベクトル利用制限レベルβが符号化されて符号列となる。図23のシンタックスでは、動き情報メモリ圧縮率α(mv_compression_ratio)と時間ベクトル利用制限レベルβ(temporal_mv_restrict_idc)をSPS(Sequence Parameter Set)の一部に設定しているが、SPSよりも下位階層のPPS(Picture Parameter Set)やスライスヘッダなどに設置することもできる。なお、動き情報メモリ圧縮率αと時間ベクトル利用制限レベルβは、メモリエリアサイズと結合許可サイズが導出できればよく、図23の形式には限定されない。例えば、動き情報メモリ圧縮率αや時間ベクトル利用制限レベルβを図32で示されるCU分割数で示すこともできる。また、水平方向と垂直方向に分けて動き情報メモリ圧縮率αと時間ベクトル利用制限レベルβを設定することもできる。
(符号化装置の動作)
続いて、図24のフローチャートを用いて、本実施の形態の動画像符号化装置300における符号化の動作を説明する。第1の実施の形態との相違について説明する。
最初に、上位のSPSにおいて動き情報メモリ圧縮率αと時間ベクトル利用制限レベルβが符号化される。
そして、全ての予測ブロックの処理の終了後(ステップS110のYES)、動き情報圧縮部301は、第1動き情報メモリ111より供給される動きベクトルと参照画像インデックスを、動き情報メモリ圧縮率αに基づいて、1/2αのメモリエリアに圧縮する(ステップS300)。
また、ステップS101の後に、動き情報伸張部303は、動き情報メモリ圧縮率αに基づいて、第2動き情報メモリ302より供給される動きベクトルと参照画像インデックスを伸張して、動き情報生成部109に供給する(ステップS301)。
続いて、図25のフローチャートを用いて、本実施の形態の予測ベクトル候補リスト生成部120内の結合判定部131の動作について第1の実施の形態との相違点について説明する。図25は予測ベクトル候補リスト生成部120の動作を示す。
最初に、結合判定部131は、動き情報メモリ圧縮率αと時間ベクトル利用制限レベルβにより結合許可サイズを導出する(ステップS330)。
結合判定部131は、処理対象の予測ブロックの予測ブロックのサイズと結合許可サイズから結合判定結果を導出する(ステップS132)。
(復号装置の構成と機能)
次に、本実施の形態の動画像復号装置を説明する。図26に本実施の形態の動画像復号装置400を示す。動画像復号装置400は、動画像符号化装置300により符号化された符号列を復号して再生画像を生成する装置である。
本発明の第2の実施の形態の動画像復号装置400の構成は、動き情報圧縮部401、第2動き情報メモリ402、動き情報伸張部403、動き情報再生部204を除いて第1の実施の形態の動画像復号装置200の構成と同一である。
以下、本実施の形態における動き情報圧縮部401、第2動き情報メモリ402、動き情報伸張部403、動き情報再生部204の機能について第1の実施の形態との相違を説明する。
本実施の形態による動画像復号装置400では、上位のSPSにおいて図23のシンタックスに従って動き情報メモリ圧縮率αと時間ベクトル利用制限レベルβが符号列から復号されて、端子40より供給される。端子40より動き情報メモリ圧縮率αが動き情報圧縮部401、動き情報伸張部403、動き情報再生部204に供給され、時間ベクトル利用制限レベルβが動き情報再生部204に供給される。
動き情報圧縮部401、第2動き情報メモリ402、動き情報伸張部403の機能は、本実施例の動画像符号化装置300の動き情報圧縮部301、第2動き情報メモリ302、動き情報伸張部303と同一である。
動き情報再生部204には、動き情報メモリ圧縮率αと時間ベクトル利用制限レベルβが供給され、予測ベクトル候補リスト生成部120内の結合判定部131の機能だけが異なる。予測ベクトル候補リスト生成部120内の結合判定部131の機能は、本実施例の動画像符号化装置300と同一である。
(復号装置の動作)
続いて、図27のフローチャートを用いて、本実施の形態の動画像復号装置400における復号の動作を説明する。第1の実施の形態との相違について説明する。
最初に、上位のSPSにおいて動き情報メモリ圧縮率αと時間ベクトル利用制限レベルβが復号される。
そして、全ての予測ブロックの処理の終了後(ステップS205のYES)、動き情報圧縮部401は、第1動き情報メモリ207より供給される動きベクトルと参照画像インデックスを、動き情報メモリ圧縮率αに基づいて、1/2αのメモリエリアに圧縮する(ステップS400)。
また、ステップS201の前に、動き情報伸張部403は、動き情報メモリ圧縮率αに基づいて、第2動き情報メモリ402より供給される動きベクトルと参照画像インデックスを伸張して、動き情報再生部204に供給する(ステップS401)。
(第2の実施の形態の変形例)
なお、本実施の形態は以下の変形例を適用できる。
本実施の形態では、第2動き情報メモリに記憶された圧縮された動きベクトルと参照インデックスを動き情報伸張部にて伸張し、伸張した動きベクトルと参照インデックスを動き情報生成部や動き情報再生部に供給しているが、本実施の形態は、圧縮された動きベクトルと参照インデックスを圧縮や伸張をしなくとも同様に実施できる。
例えば、動き情報伸張部の代わりにメモリアドレス変換部を設置し、伸張されたメモリエリアにおいて参照されるメモリアドレスを圧縮されたメモリエリアのメモリアドレスに変換することで、伸張せずに動き情報にアクセスすることもできる。
例えば、図22のように水平8ブロック、垂直8ブロックの64個のメモリエリアの代表値をメモリエリア0に格納された値とする場合には、伸張されたメモリエリアにおいて参照されるメモリアドレスの水平位置と垂直位置をそれぞれblkX、blkY、圧縮されたメモリエリアのメモリアドレスの水平位置と垂直位置をそれぞれrblkX、rblkYとすると、式1と式2によって算出することができる。ここで、Floor関数は入力値を切り捨てて整数とする関数とする。
rblkX= Floor(blkX*8); (式1)
rblkY= Floor(blkY*8); (式2)
また、動き情報圧縮部301を省略し、動き情報伸張部の代わりにメモリアドレス変換部を設置して、参照されるメモリアドレスを動き情報の代表値が格納されているメモリアドレスに変換することでも実現できる。例えば、図22のように水平8ブロック、垂直8ブロックの64個のメモリエリアの代表値をメモリエリア0に格納された値とする場合には、参照されるメモリアドレスの水平位置と垂直位置をそれぞれblkX、blkY、代表値が格納されているメモリアドレスの水平位置と垂直位置をそれぞれrblkX、rblkYとすると、式3と式4によって算出することができる。
rblkX= Floor(blkX/8)*8; (式3)
rblkY= Floor(blkY/8)*8; (式4)
メモリアドレス変換することで、メモリ容量を削減することはできないが、圧縮や伸張する処理を削減することができる。
(第2の実施の形態の効果)
以上のように、処理対象の予測ブロックサイズが小さい場合、圧縮された別の画像の動きベクトルを予測動きベクトル候補に加えないように制御することで、本来の動き情報とは異なる動き情報の利用を制限して動き補償予測の精度の低下を抑制しながら演算量を削減し、予測ベクトル候補数を削減し、予測ベクトルインデックスの符号量を削減することのできる動画像符号化装置を実現できる。
また、例えば圧縮された別の画像の動きベクトルが外部メモリなどに所在する場合には、動きベクトルメモリへのアクセス量を抑制する効果もある。
また、予測ベクトルとして別の画像の動きベクトルの利用を制限する条件を示す情報を復号する場合には、動き情報メモリ圧縮率の定義も合わせて復号することで、別の画像の動きベクトルの利用が制限された場合には動き情報メモリの圧縮を促し、効率的な動き情報メモリの利用が実現できる。また、フラグを共用することで、より低位階層で別の画像の動きベクトルの利用の制限や動き情報メモリ圧縮率の定義において、フラグの符号量の増加を抑制できる。
以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。
動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。
動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。
以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ROM(リード・オンリ・メモリ)やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
100 動画像符号化装置、 101 予測ブロック画像取得部、 102 減算部、 103 予測誤差符号化部、 104 符号列生成部、 105 予測誤差復号部、 106 動き補償部、 107 加算部、 108 動きベクトル検出部、 109 動き情報生成部、 110 フレームメモリ、 111 第1動き情報メモリ、 112 第2動き情報メモリ、 120 予測ベクトル候補リスト生成部、 121 予測ベクトル選択部、 122 減算部、 130 第1予測ベクトル候補リスト生成部、 131 結合判定部、 132 第2予測ベクトル候補リスト生成部、 133 予測ベクトル候補リスト決定部、 200 動画像復号装置、 201 符号列解析部、 202 予測誤差復号部、 203 加算部、 204 動き情報再生部、 205 動き補償部、 206 フレームメモリ、 207 第1動き情報メモリ、 208 第2動き情報メモリ、 220 予測ベクトル候補リスト生成部、 221 予測ベクトル決定部、 222 加算部、 300 動画像符号化装置、 301 動き情報圧縮部、 302 第2動き情報メモリ、 303 動き情報伸張部、 400 動画像復号装置、 401 動き情報圧縮部、 402 第2動き情報メモリ、 403 動き情報伸張部。

Claims (19)

  1. ブロック単位で動き補償予測を行う動画像復号装置であって、
    復号対象ブロックのブロックサイズが所定の閾サイズより大きい場合、復号済み画像にあるブロックから予測動きベクトル候補を導出し、前記復号対象ブロックのブロックサイズが前記所定の閾サイズ以下の場合、前記予測動きベクトル候補を導出しない予測動きベクトル候補生成部を備えることを特徴とする動画像復号装置。
  2. ブロック単位で動き補償予測を行う動画像復号装置であって、
    復号対象ブロックのブロックサイズが所定の閾サイズより大きい場合、復号済み画像にあるブロックから得られる予測動きベクトル候補を予測動きベクトル候補リストに含め、前記復号対象ブロックのブロックサイズが前記所定の閾サイズ以下の場合、前記予測動きベクトル候補を前記予測動きベクトル候補リストに含めない予測動きベクトル候補リスト生成部と、
    前記予測動きベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報を復号する復号部と、
    前記予測動きベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報に基づいて前記予測動きベクトル候補リストから前記復号対象ブロックの予測動きベクトルを選択する予測動きベクトル選択部とを備えることを特徴とする動画像復号装置。
  3. 前記復号済み画像にあるブロックは前記復号対象ブロックと同一位置のブロックまたは前記同一位置のブロックの周辺にあるブロックであることを特徴とする請求項1または2に記載の動画像復号装置。
  4. 前記復号部は、前記所定の閾サイズを示す情報を復号して、前記所定の閾サイズを得ることを特徴とする請求項1から3のいずれかに記載の動画像復号装置。
  5. 前記復号済み画像にあるブロックの動きベクトルは、所定領域毎に、所定領域内のいずれか1つのブロックの動きベクトルに設定されることを特徴とする請求項1から4のいずれかに記載の動画像復号装置。
  6. 前記所定の閾サイズは前記所定領域よりも小さくなるように設定されることを特徴とする請求項5に記載の動画像復号装置。
  7. 前記復号対象ブロックを含む画像と前記復号済み画像との時間差が長くなると前記所定の閾サイズが大きくなるよう制御することを特徴とする請求項1から6のいずれかに記載の動画像復号装置。
  8. ブロック単位で動き補償予測を行う動画像復号装置であって、
    予測動きベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報を復号する復号部と、
    復号対象ブロックに隣接するブロックから空間予測動きベクトル候補を導出する空間予測動きベクトル候補生成部と、
    復号済み画像にあるブロックから時間予測動きベクトル候補を導出する時間予測動きベクトル候補生成部と、
    時間予測動きベクトルの利用を許可するか否かを示す利用許可情報が許可するを示す場合、前記空間予測動きベクトル候補と前記時間予測動きベクトル候補から予測動きベクトル候補リストを生成し、前記利用許可情報が許可しないを示す場合、前記空間予測動きベクトル候補から予測動きベクトル候補リストを生成する予測動きベクトル候補リスト生成部と、
    前記予測動きベクトルの位置を示す情報に基づいて前記予測動きベクトル候補リストから前記復号対象ブロックの予測動きベクトルを選択する予測動きベクトル選択部とを備えることを特徴とする動画像復号装置。
  9. 前記復号済み画像にあるブロックは前記復号対象ブロックと同一位置のブロックまたは前記同一位置のブロックの周辺にあるブロックであることを特徴とする請求項8に記載の動画像復号装置。
  10. 前記復号部は前記利用許可情報を復号することを特徴とする請求項8または9に記載の動画像復号装置。
  11. 前記復号済み画像にあるブロックの動きベクトルは、所定領域毎に、所定領域内のいずれか1つのブロックの動きベクトルに設定されることを特徴とする請求項8から10のいずれかに記載の動画像復号装置。
  12. 複数のブロックサイズで動き補償予測を行う動画像復号装置であって、
    予測ベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報を復号する復号部と、
    復号対象ブロックに隣接する復号済みの1個以上のブロックの動きベクトルから第1の予測動きベクトルの候補を含む第1予測ベクトル候補リストを生成する第1予測ベクトル候補リスト生成部と、
    復号済み画像における前記復号対象ブロックと同一位置のブロック及び前記同一位置のブロックに隣接する1個以上のブロックの動きベクトルから第2の予測動きベクトルの候補を含む第2予測ベクトル候補リストを生成する第2予測ベクトル候補リスト生成部と、
    前記復号対象ブロックのブロックサイズと所定の閾サイズとの比較結果により、前記第1予測ベクトル候補リストと前記第2予測ベクトル候補リストを結合した第3予測ベクトル候補リストを生成するか否かを判定する結合判定部と、
    前記復号対象ブロックのブロックサイズが前記所定の閾サイズよりも小さい場合、前記第2予測ベクトル候補リストを結合せずに、前記第1予測ベクトル候補リストから前記第3予測ベクトル候補リストを生成する第3予測ベクトル候補リスト生成部と、
    前記参照すべき予測動きベクトルの位置を示す情報にもとづいて前記第3予測ベクトル候補リストから前記復号対象ブロックの予測動きベクトルを選択する予測ベクトル選択部とを備えることを特徴とする動画像復号装置。
  13. 複数のブロックサイズで動き補償予測を行う動画像復号装置であって、
    予測ベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報を復号する復号部と、
    復号済みのブロックの動きベクトルを最小ブロックサイズ単位で割り当てられたメモリエリアに格納して管理する第1動きベクトル記憶部と、
    前記第1動きベクトル記憶部を参照して、復号対象ブロックに隣接する復号済みの1個以上のブロックの動きベクトルから第1の予測動きベクトルの候補を含む第1予測ベクトル候補リストを生成する第1予測ベクトル候補リスト生成部と、
    復号済み画像の最小ブロックサイズ単位の動きベクトルを所定の圧縮サイズでまとめて1つの代表動きベクトルに置き換え、圧縮サイズ単位で割り当てられたメモリエリアに格納して管理する第2動きベクトル記憶部と、
    前記第2動きベクトル記憶部を参照して、復号済み画像における前記復号対象ブロックと同一位置のブロック及び前記同一位置のブロックに隣接する1個以上のブロックの動きベクトルから第2の予測動きベクトルの候補を含む第2予測ベクトル候補リストを生成する第2予測ベクトル候補リスト生成部と、
    前記復号対象ブロックのブロックサイズと所定の閾サイズとの比較結果により、前記第1予測ベクトル候補リストと前記第2予測ベクトル候補リストを結合した第3予測ベクトル候補リストを生成するか否かを判定する結合判定部と、
    前記復号対象ブロックのブロックサイズが前記所定の閾サイズよりも小さい場合、前記第2予測ベクトル候補リストを結合せずに、前記第1予測ベクトル候補リストから前記第3予測ベクトル候補リストを生成する第3予測ベクトル候補リスト生成部と、
    前記参照すべき予測動きベクトルの位置を示す情報にもとづいて前記第3予測ベクトル候補リストから前記復号対象ブロックの予測動きベクトルを選択する予測ベクトル選択部とを備えることを特徴とする動画像復号装置。
  14. ブロック単位で動き補償予測を行う動画像復号方法であって、
    復号対象ブロックのブロックサイズが所定の閾サイズより大きい場合、復号済み画像にあるブロックから予測動きベクトル候補を導出し、前記復号対象ブロックのブロックサイズが前記所定の閾サイズ以下の場合、前記予測動きベクトル候補を導出しない予測動きベクトル候補生成ステップを備えることを特徴とする動画像復号方法。
  15. ブロック単位で動き補償予測を行う動画像復号方法であって、
    復号対象ブロックのブロックサイズが所定の閾サイズより大きい場合、復号済み画像にあるブロックから得られる予測動きベクトル候補を予測動きベクトル候補リストに含め、前記復号対象ブロックのブロックサイズが前記所定の閾サイズ以下の場合、前記予測動きベクトル候補を前記予測動きベクトル候補リストに含めない予測動きベクトル候補リスト生成ステップと、
    前記予測動きベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報を復号する復号ステップと、
    前記予測動きベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報に基づいて前記予測動きベクトル候補リストから前記復号対象ブロックの予測動きベクトルを選択する予測動きベクトル選択ステップとを備えることを特徴とする動画像復号方法。
  16. ブロック単位で動き補償予測を行う動画像復号方法であって、
    予測動きベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報を復号する復号ステップと、
    復号対象ブロックに隣接するブロックから空間予測動きベクトル候補を導出する空間予測動きベクトル候補生成ステップと、
    復号済み画像にあるブロックから時間予測動きベクトル候補を導出する時間予測動きベクトル候補生成ステップと、
    時間予測動きベクトルの利用を許可するか否かを示す利用許可情報が許可するを示す場合、前記空間予測動きベクトル候補と前記時間予測動きベクトル候補から予測動きベクトル候補リストを生成し、前記利用許可情報が許可しないを示す場合、前記空間予測動きベクトル候補から予測動きベクトル候補リストを生成する予測動きベクトル候補リスト生成ステップと、
    前記予測動きベクトルの位置を示す情報に基づいて前記予測動きベクトル候補リストから前記復号対象ブロックの予測動きベクトルを選択する予測動きベクトル選択ステップとを備えることを特徴とする動画像復号方法。
  17. ブロック単位で動き補償予測を行う動画像復号プログラムであって、
    復号対象ブロックのブロックサイズが所定の閾サイズより大きい場合、復号済み画像にあるブロックから予測動きベクトル候補を導出し、前記復号対象ブロックのブロックサイズが前記所定の閾サイズ以下の場合、前記予測動きベクトル候補を導出しない予測動きベクトル候補生成ステップをコンピュータに実行させることを特徴とする動画像復号プログラム。
  18. ブロック単位で動き補償予測を行う動画像復号プログラムであって、
    復号対象ブロックのブロックサイズが所定の閾サイズより大きい場合、復号済み画像にあるブロックから得られる予測動きベクトル候補を予測動きベクトル候補リストに含め、前記復号対象ブロックのブロックサイズが前記所定の閾サイズ以下の場合、前記予測動きベクトル候補を前記予測動きベクトル候補リストに含めない予測動きベクトル候補リスト生成ステップと、
    前記予測動きベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報を復号する復号ステップと、
    前記予測動きベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報に基づいて前記予測動きベクトル候補リストから前記復号対象ブロックの予測動きベクトルを選択する予測動きベクトル選択ステップとをコンピュータに実行させることを特徴とする動画像復号プログラム。
  19. ブロック単位で動き補償予測を行う動画像復号プログラムであって、
    予測動きベクトル候補リストにおける参照すべき予測動きベクトルの位置を示す情報を復号する復号ステップと、
    復号対象ブロックに隣接するブロックから空間予測動きベクトル候補を導出する空間予測動きベクトル候補生成ステップと、
    復号済み画像にあるブロックから時間予測動きベクトル候補を導出する時間予測動きベクトル候補生成ステップと、
    時間予測動きベクトルの利用を許可するか否かを示す利用許可情報が許可するを示す場合、前記空間予測動きベクトル候補と前記時間予測動きベクトル候補から予測動きベクトル候補リストを生成し、前記利用許可情報が許可しないを示す場合、前記空間予測動きベクトル候補から予測動きベクトル候補リストを生成する予測動きベクトル候補リスト生成ステップと、
    前記予測動きベクトルの位置を示す情報に基づいて前記予測動きベクトル候補リストから前記復号対象ブロックの予測動きベクトルを選択する予測動きベクトル選択ステップとをコンピュータに実行させることを特徴とする動画像復号プログラム。
JP2012043273A 2011-03-08 2012-02-29 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法及び受信プログラム Active JP5682582B2 (ja)

Priority Applications (18)

Application Number Priority Date Filing Date Title
JP2012043273A JP5682582B2 (ja) 2011-03-08 2012-02-29 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法及び受信プログラム
KR1020157032881A KR101637142B1 (ko) 2011-03-08 2012-03-05 동화상 부호화 장치, 동화상 부호화방법 및 동화상 부호화 프로그램, 및 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램
KR1020167018431A KR101742449B1 (ko) 2011-03-08 2012-03-05 동화상 부호화 장치, 동화상 부호화방법 및 동화상 부호화 프로그램, 및 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램
KR1020137026250A KR101571947B1 (ko) 2011-03-08 2012-03-05 동화상 부호화 장치, 동화상 부호화방법 및 동화상 부호화 프로그램, 및 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램
PCT/JP2012/001503 WO2012120870A1 (ja) 2011-03-08 2012-03-05 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
CN201610525866.3A CN105915902B (zh) 2011-03-08 2012-03-05 动图像编码装置以及动图像编码方法
CN201610524480.0A CN105915901B (zh) 2011-03-08 2012-03-05 动图像解码装置以及动图像解码方法
CN201710169180.XA CN106851271B (zh) 2011-03-08 2012-03-05 动图像编码装置以及动图像编码方法
KR1020157012956A KR101640357B1 (ko) 2011-03-08 2012-03-05 동화상 부호화 장치, 동화상 부호화방법 및 동화상 부호화 프로그램, 및 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램
CN201280012382.9A CN103430547B (zh) 2011-03-08 2012-03-05 动图像解码装置、动图像解码方法
CN201610526282.8A CN106028030B (zh) 2011-03-08 2012-03-05 动图像解码装置以及动图像解码方法
CN201610526281.3A CN105915903B (zh) 2011-03-08 2012-03-05 动图像编码装置以及动图像编码方法
KR1020177014024A KR101832682B1 (ko) 2011-03-08 2012-03-05 동화상 부호화 장치, 동화상 부호화방법 및 동화상 부호화 프로그램, 및 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램
US14/020,644 US9204147B2 (en) 2011-03-08 2013-09-06 Moving picture encoding device, moving picture encoding method and moving picture encoding program as well as moving picture decoding device, moving picture decoding method and moving picture decoding program
US14/927,173 US9516318B2 (en) 2011-03-08 2015-10-29 Moving picture encoding device, moving picture encoding method and moving picture encoding program as well as moving picture decoding device, moving picture decoding method and moving picture decoding program
US15/332,142 US9667973B2 (en) 2011-03-08 2016-10-24 Moving picture encoding device, moving picture encoding method and moving picture encoding program as well as moving picture decoding device, moving picture decoding method and moving picture decoding program
US15/454,449 US9800890B2 (en) 2011-03-08 2017-03-09 Moving picture encoding device, moving picture encoding method and moving picture encoding program as well as moving picture decoding device, moving picture decoding method and moving picture decoding program
US15/455,521 US9781444B2 (en) 2011-03-08 2017-03-10 Moving picture encoding device, moving picture encoding method and moving picture encoding program as well as moving picture decoding device, moving picture decoding method and moving picture decoding program

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011050119 2011-03-08
JP2011050119 2011-03-08
JP2011118340 2011-05-26
JP2011118340 2011-05-26
JP2012043273A JP5682582B2 (ja) 2011-03-08 2012-02-29 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法及び受信プログラム

Related Child Applications (5)

Application Number Title Priority Date Filing Date
JP2013158704A Division JP5682672B2 (ja) 2011-03-08 2013-07-31 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2013158703A Division JP5682671B2 (ja) 2011-03-08 2013-07-31 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2013158702A Division JP5682670B2 (ja) 2011-03-08 2013-07-31 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2013158705A Division JP5682673B2 (ja) 2011-03-08 2013-07-31 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2015003053A Division JP5880742B2 (ja) 2011-03-08 2015-01-09 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法及び受信プログラム

Publications (3)

Publication Number Publication Date
JP2013009303A true JP2013009303A (ja) 2013-01-10
JP2013009303A5 JP2013009303A5 (ja) 2014-01-16
JP5682582B2 JP5682582B2 (ja) 2015-03-11

Family

ID=47676250

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2012043273A Active JP5682582B2 (ja) 2011-03-08 2012-02-29 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法及び受信プログラム
JP2013158705A Active JP5682673B2 (ja) 2011-03-08 2013-07-31 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2013158704A Active JP5682672B2 (ja) 2011-03-08 2013-07-31 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2013158702A Active JP5682670B2 (ja) 2011-03-08 2013-07-31 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2013158703A Active JP5682671B2 (ja) 2011-03-08 2013-07-31 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2015003053A Active JP5880742B2 (ja) 2011-03-08 2015-01-09 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法及び受信プログラム

Family Applications After (5)

Application Number Title Priority Date Filing Date
JP2013158705A Active JP5682673B2 (ja) 2011-03-08 2013-07-31 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2013158704A Active JP5682672B2 (ja) 2011-03-08 2013-07-31 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2013158702A Active JP5682670B2 (ja) 2011-03-08 2013-07-31 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2013158703A Active JP5682671B2 (ja) 2011-03-08 2013-07-31 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2015003053A Active JP5880742B2 (ja) 2011-03-08 2015-01-09 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法及び受信プログラム

Country Status (1)

Country Link
JP (6) JP5682582B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5682582B2 (ja) * 2011-03-08 2015-03-11 株式会社Jvcケンウッド 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法及び受信プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009051419A2 (en) * 2007-10-16 2009-04-23 Lg Electronics Inc. A method and an apparatus for processing a video signal
WO2011125256A1 (ja) * 2010-04-08 2011-10-13 株式会社 東芝 画像符号化方法及び画像復号化方法
JP2011259204A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号装置およびその方法とプログラム
WO2012042719A1 (ja) * 2010-09-30 2012-04-05 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5682582B2 (ja) * 2011-03-08 2015-03-11 株式会社Jvcケンウッド 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法及び受信プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009051419A2 (en) * 2007-10-16 2009-04-23 Lg Electronics Inc. A method and an apparatus for processing a video signal
WO2011125256A1 (ja) * 2010-04-08 2011-10-13 株式会社 東芝 画像符号化方法及び画像復号化方法
JP2011259204A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号装置およびその方法とプログラム
WO2012042719A1 (ja) * 2010-09-30 2012-04-05 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
"Test Model under Consideration, Output Document (draft007)", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-B205, JPN6012026209, October 2010 (2010-10-01), pages 1 - 6, ISSN: 0002874725 *
AKIRA FUJIBAYASHI AND FRANK BOSSEN: "CE9 3.2d Simplified Motion vector prediction", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-D231, JPN6014052479, January 2011 (2011-01-01), pages 1 - 5, ISSN: 0002962352 *
HIDEKI TAKEHARA AND SHIGERU FUKUSHIMA: "CE9: Results of temporal MVP restriction for small blocks (SP08, SP10, SP11)", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-F338, JPN6014052477, July 2011 (2011-07-01), pages 1 - 5, ISSN: 0002962349 *
HIDEKI TAKEHARA AND SHIGERU FUKUSHIMA: "Temporal predictor restriction harmonized with motion vector compression", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-E097, JPN6014033907, March 2011 (2011-03-01), pages 1 - 5, ISSN: 0002962351 *
JOEL JUNG AND GUILLAUME LAROCHE: "Competition-Based Scheme for Motion Vector Selection and Coding", ITU - TELECOMMUNICATIONS STANDARDIZATION SECTOR STUDY GROUP 16 QUESTION 6 VIDEO CODING EXPERTS GROUP, vol. VCEG-AC06, JPN6012014727, July 2006 (2006-07-01), pages 1 - 7, ISSN: 0002874726 *
YEPING SU AND ANDREW SEGALL: "CE9: Reduced resolution storage of motion vector data", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-D072, JPN6014033908, January 2011 (2011-01-01), pages 1 - 3, ISSN: 0002962353 *
YUSUKE ITANI ET AL.: "Improvement to AMVP/Merge process", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, vol. JCTVC-E064_r1, JPN6014033906, March 2011 (2011-03-01), pages 1 - 8, ISSN: 0002962350 *

Also Published As

Publication number Publication date
JP5682673B2 (ja) 2015-03-11
JP2013258741A (ja) 2013-12-26
JP2015109682A (ja) 2015-06-11
JP5682670B2 (ja) 2015-03-11
JP5682582B2 (ja) 2015-03-11
JP2014003639A (ja) 2014-01-09
JP2014003640A (ja) 2014-01-09
JP2014003638A (ja) 2014-01-09
JP5880742B2 (ja) 2016-03-09
JP5682671B2 (ja) 2015-03-11
JP5682672B2 (ja) 2015-03-11

Similar Documents

Publication Publication Date Title
JP6079860B2 (ja) 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
KR101832682B1 (ko) 동화상 부호화 장치, 동화상 부호화방법 및 동화상 부호화 프로그램, 및 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램
WO2013099285A1 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
WO2013099283A1 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
WO2013001803A1 (ja) 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法および画像復号プログラム
JP6065088B2 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、並びに、送信装置、送信方法、及び送信プログラム
WO2012120870A1 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
JP5880742B2 (ja) 動画像復号装置、動画像復号方法及び動画像復号プログラム、並びに、受信装置、受信方法及び受信プログラム
JP5725009B2 (ja) 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
JP2013153430A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2013021613A (ja) 画像復号装置、画像復号方法及び画像復号プログラム
JP2013021505A (ja) 動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2013021504A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2013021612A (ja) 画像符号化装置、画像符号化方法及び画像符号化プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141229

R150 Certificate of patent or registration of utility model

Ref document number: 5682582

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150