JP2017123542A - 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム - Google Patents

映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム Download PDF

Info

Publication number
JP2017123542A
JP2017123542A JP2016001176A JP2016001176A JP2017123542A JP 2017123542 A JP2017123542 A JP 2017123542A JP 2016001176 A JP2016001176 A JP 2016001176A JP 2016001176 A JP2016001176 A JP 2016001176A JP 2017123542 A JP2017123542 A JP 2017123542A
Authority
JP
Japan
Prior art keywords
motion vector
unit
vector predictor
candidate
candidates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016001176A
Other languages
English (en)
Other versions
JP6495835B2 (ja
Inventor
忍 工藤
Shinobu Kudo
忍 工藤
正樹 北原
Masaki Kitahara
正樹 北原
淳 清水
Atsushi Shimizu
淳 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2016001176A priority Critical patent/JP6495835B2/ja
Publication of JP2017123542A publication Critical patent/JP2017123542A/ja
Application granted granted Critical
Publication of JP6495835B2 publication Critical patent/JP6495835B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】冗長な符号化を削除して、符号化効率を向上させる。【解決手段】符号化対象ブロックの周囲のブロックまたは符号化済みフレームの符号化済みブロックから1つ以上の予測動きベクトル候補を取得するする予測動きベクトル取得部と、取得された予測動きベクトル候補を互いに比較して、重複している予測動きベクトル候補を検出する重複予測動きベクトル検出部と、重複している予測動きベクトルが検出された場合に、符号化すべき対象を選択して符号化を行う符号化部とを備える。【選択図】図1

Description

本発明は、映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラムに関する。
映像符号化の標準規格としてH.264/AVCやH.265/HEVCと呼ばれる映像符号化方式が策定されている。以下ではHEVC(非特許文献1参照、以降従来技術と称する)を例に説明する。HEVCでは符号化対象ピクチャがLCU(Largest Coding Unit)と呼ばれるブロックに分割され、LCUごとに符号化が行われる。LCUは更に四分木で最大3回まで分割することができる。LCUは、最大64画素×64画素から8画素×8画素までのCU(Coding Unit)と呼ばれるブロックで構成される。以下、n画素×n画素をnxn(nは8,16,32,64のいずれか)と記載する。
HEVCでは、CUごとに異なる予測モードの符号化を行うことができ、符号化対象ブロックの隣接符号化済み画素から予測するイントラ予測モード、符号化済みフレームから予測するインター予測モードが規定されている。インター予測モードでは差分動きベクトルを伝送する適応動きベクトル予測符号化と差分動きベクトルを伝送しないマージ符号化の2種類の動き情報符号化モードが採用されている。以下、2つの符号化モードについて説明する。
はじめに、適応動きベクトル予測符号化について説明する。適応動きベクトル予測符号化では参照画像リストと、参照画像インデックスと、2つの予測動きベクトル候補リストを使用する。参照画像リストは、予測方向を特定するものである。参照画像インデックスは、参照先フレームを特定するものである。2つの予測動きベクトル候補リストは符号化対象ブロックの周囲または符号化済みフレームの符号化済みブロックから導出するものである。これらの中から使用する予測動きベクトル候補を特定する予測動きベクトルインデックス、予測動きベクトルとの差分である差分動きベクトルを参照画像リスト(L0/L1)ごとにそれぞれ符号化する。
図23は、符号化対象ブロックに隣接する空間予測動きベクトル候補を示す説明図である。図24は、符号化済みフレームの時間予測動きベクトル候補を示す説明図である。予測動きベクトル候補リストは図23に示す符号化対象ブロックに隣接する空間予測動きベクトル候補と図24に示す符号化済みフレームの時間予測動きベクトル候補、ゼロ予測動きベクトル候補の優先順位でそれぞれ導出される。空間予測動きベクトル候補はブロック群A(A0,A1)、ブロック群B(B0,B1,B2)からそれぞれ1つずつ導出され、A0⇒A1、B0⇒B1⇒B2の優先順位でそれぞれスキャンされる。
また、候補ブロックがインター予測モードであるか否かを判定し、インター予測モードの場合にのみ導出される。更に符号化対象ブロックの参照画像と同一の参照画像を持つ候補が優先され、参照画像が異なる場合は参照画像間距離によってスケーリングされる。ただし、スケーリングが必要となる候補は予測動きベクトル候補リストに追加される最初の1つのみに限定される。また、各ブロック群の中で同一の動きベクトルが導出された場合は優先順位の高い候補のみを追加し、優先順位の低い候補は追加しない。空間予測動きベクトル候補の合計数が2に満たない場合は時間予測動きベクトル候補が導出される。
時間予測動きベクトル候補はスライスヘッダで指定された符号化済みフレーム(ColPic)上から導出され、H⇒C3の優先順位でスキャンされる(図24参照)。ここでも同様に候補ブロックがインター予測モードである場合にのみ導出され、動きベクトルは参照画像間距離に応じてスケーリングされる。空間予測動きベクトル候補、時間予測動きベクトル候補の合計数が2に満たない場合はゼロ予測動きベクトル(水平成分、垂直成分が0のベクトル)が2つに満たすまで追加される。
次に、マージ符号化について説明する。マージ符号化では符号化対象ブロックの周囲または符号化済みフレームの符号化済みブロックから導出される最大5つのマージ候補リストの中から使用する候補のインデックスのみを符号化する。マージ候補リストは空間マージ候補、時間マージ候補、結合双予測候補、ゼロマージ候補の優先順位で導出される。空間マージ候補、時間マージ候補の候補ブロックは図23及び図24と同一である。空間マージ候補はA1⇒B1⇒B0⇒A0⇒B2の優先順位でスキャンされ、候補ブロックがインター予測モードの場合にのみ導出される。ただし、マージ候補リストへの追加において、重複して追加されにくくするために以下の場合には優先順位の高い候補のみを追加し、優先順位の低い候補は追加しない。
・B1の動き情報=A1の動き情報
・B0の動き情報=B1の動き情報
・A0の動き情報=A1の動き情報
・B2の動き情報=A1又はB1の動き情報
時間マージ候補は適応動きベクトル予測符号化と同一で、参照画像インデックスは0となる。結合双予測候補はL0/L1それぞれの動き情報を異なるマージインデックスの組み合わせで最大2つ導出される。空間マージ候補、予測マージ候補、結合双予測候補の合計が5に満たない場合にはゼロマージ候補(双方向でそれぞれ参照画像インデックスが0で水平成分、垂直成分が0のベクトル)が5つに満たすまで追加される。また、マージインデックスはトランケーテッド・ユーナリー・バイナライゼーションで符号化される。図25は、マージ候補リスト数を5に設定した場合の符号化される状態を示す説明図である。マージ候補リスト数を5に設定した場合は図25のように符号化される。すなわち、マージインデックスが「0」である場合、符号化ビット列は「0」となる。以下、同様に、「1」は、「10」、「2」は、「110」、「3」は、「1110」、「4」は、「1111」となる。
株式会社インプレスジャパン,"インプレス標準教科書シリーズ H.265/HEVC教科書,"2013年.
前述したように、従来技術では予測動きベクトル候補リストまたはマージ候補リストに追加される動きベクトル候補が全て同じ動きベクトルになる場合がある。例えば適応動きベクトル予測符号化においてブロック群A及びブロック群Bそれぞれの中で動きベクトル候補が重複する場合には動きベクトル候補はリストに追加されない。しかし、ブロック群Aとブロック群Bとの間では追加された動きベクトルが重複するか否かを判定していないため、同じベクトルが追加される可能性がある。また、マージ符号化でも空間マージ候補または時間マージ候補と結合双予測候補との間では同じ動きベクトルが追加されたか否かを判定していないため、同じ動きベクトルが追加される可能性がある。
特に、候補ブロックから予測動きベクトルが参照できない場合、リストには全てゼロベクトルまたはゼロマージ候補が追加されるため、同じ動きベクトルのみが追加されてしまう。同じ動きベクトルが追加されたにも関わらず、リストの中からどの予測動きベクトルを用いるかを表すインデックス情報を冗長に符号化するため、符号化効率が低下してしまうという問題がある。また、一部の動きベクトルが重複した場合も同様で、インデックス情報を冗長に伝送してしまい、符号化効率が低下する。また、従来技術では予測動きベクトル候補が所定の数に満たない場合に、予測動きベクトル候補にゼロベクトルがあったとしてもゼロベクトルが追加される点も冗長となり問題である。
本発明は、このような事情に鑑みてなされたもので、冗長な符号化を削除して、符号化効率を向上させることができる映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラムを提供することを目的とする。
本発明の一態様は、映像をブロック単位で符号化する映像符号化装置であって、符号化対象ブロックの周囲のブロックまたは符号化済みフレームの符号化済みブロックから1つ以上の予測動きベクトル候補を取得する予測動きベクトル取得部と、前記取得された予測動きベクトル候補を互いに比較して、重複している前記予測動きベクトル候補を検出する重複予測動きベクトル検出部と、重複している前記予測動きベクトルが検出された場合に、符号化すべき対象を選択して符号化を行う符号化部とを備える映像符号化装置である。
本発明の一態様は、前記映像符号化装置であって、前記符号化部は、前記予測動きベクトル候補が全て同じである場合には、予測動きベクトルを特定するインデックス情報を符号化せず、前記予測動きベクトル候補が全て重複していない場合には、予測動きベクトルを特定するインデックス情報を符号化する。
本発明の一態様は、前記映像符号化装置であって、前記符号化部は、前記予測動きベクトル候補が重複している場合に重複が無くなるように予測動きベクトル候補を削除する予測動きベクトル候補削除部と、削除後の前記予測動きベクトル候補の候補数に基づいて予測動きベクトルインデックスを符号化するインデックス符号化部とを備える。
本発明の一態様は、前記映像符号化装置であって、前記予測動きベクトル候補の中にゼロベクトルが無い場合に予測動きベクトル候補にゼロベクトルを追加するベクトル追加部をさらに備える。
本発明の一態様は、前記映像符号化装置であって、前記予測動きベクトル候補の信頼度を算出する信頼度算出部をさらに備え、前記予測動きベクトル取得部は、前記信頼度が所定の条件を満たす前記予測動きベクトル候補のみを取得する。
本発明の一態様は、前記映像符号化装置であって、前記信頼度と前記所定の条件は、前記予測動きベクトル候補のブロックの予測モードまたは符号量に基づいて決定される。
本発明の一態様は、映像をブロック単位で復号する映像復号装置であって、復号対象ブロックの周囲のブロックまたは復号済みフレームの復号済みブロックから1つ以上の予測動きベクトル候補を取得する予測動きベクトル取得部と、前記取得された予測動きベクトル候補を互いに比較して、重複している前記予測動きベクトル候補を検出する重複予測動きベクトル検出部と、重複している前記予測動きベクトルが検出された場合に、復号すべき対象を選択して復号を行う復号部とを備える映像復号装置である。
本発明の一態様は、前記映像復号装置であって、前記復号部は、前記予測動きベクトル候補が全て同じである場合には、予測動きベクトルを特定するインデックス情報を復号せずに、前記予測動きベクトル候補が全て重複していない場合には、予測動きベクトルを特定するインデックス情報を復号する。
本発明の一態様は、前記映像復号装置であって、前記復号部は、前記予測動きベクトル候補が重複している場合に重複が無くなるように予測動きベクトル候補を削除する予測動きベクトル候補削除部と、削除後の前記予測動きベクトル候補の候補数に基づいて予測動きベクトルインデックスを復号するインデックス復号部とを備える。
本発明の一態様は、前記映像復号装置であって、前記予測動きベクトル候補の中にゼロベクトルが無い場合に予測動きベクトル候補にゼロベクトルを追加するベクトル追加部をさらに備える。
本発明の一態様は、前記映像復号装置であって、前記予測動きベクトル候補の信頼度を算出する信頼度算出部をさらに備え、前記予測動きベクトル導出部は、前記信頼度が所定の条件を満たす前記予測動きベクトル候補のみを取得する。
本発明の一態様は、前記映像復号装置であって、前記信頼度と前記所定の条件は、前記予測動きベクトル候補のブロックの予測モードまたは符号量に基づいて決定される。
本発明の一態様は、映像をブロック単位で符号化する映像符号化装置が行う映像符号化方法であって、符号化対象ブロックの周囲のブロックまたは符号化済みフレームの符号化済みブロックから1つ以上の予測動きベクトル候補を取得する予測動きベクトル取得ステップと、前記取得された予測動きベクトル候補を互いに比較して、重複している前記予測動きベクトル候補を検出する重複予測動きベクトル検出ステップと、重複している前記予測動きベクトルが検出された場合に、符号化すべき対象を選択して符号化を行う符号化ステップとを有する映像符号化方法である。
本発明の一態様は、映像をブロック単位で復号する映像復号装置が行う映像復号方法であって、復号対象ブロックの周囲のブロックまたは復号済みフレームの復号済みブロックから1つ以上の予測動きベクトル候補を取得する予測動きベクトル取得ステップと、前記取得された予測動きベクトル候補を互いに比較して、重複している前記予測動きベクトル候補を検出する重複予測動きベクトル検出ステップと、重複している前記予測動きベクトルが検出された場合に、復号すべき対象を選択して復号を行う復号ステップとを有する映像復号方法である。
本発明の一態様は、コンピュータを、前記映像符号化装置として機能させるための映像符号化プログラムである。
本発明の一態様は、コンピュータを、前記映像復号装置として機能させるための映像復号プログラムである。
本発明によれば、冗長な符号化を削除して、符号化効率を向上させることができるという効果が得られる。
第1の実施形態における映像符号化装置の構成を示すブロック図である。 第1の実施形態における映像復号装置の構成を示すブロック図である。 第1の実施形態による映像符号化装置1におけるインター動き情報生成部8の構成を示すブロック図である。 第1の実施形態による映像復号装置31におけるインター動き情報生成部35の構成を示すブロック図である。 第1の実施形態における予測動きベクトル候補リスト生成部802の動作を示すフローチャートである。 第1の実施形態の映像符号化装置1におけるマージ情報生成部16の構成を示すブロック図である。 第1の実施形態の映像復号装置31におけるマージ情報生成部36の構成を示すブロック図である。 第1の実施形態におけるマージ候補リスト生成部162の動作を示すフローチャートである。 第1の実施形態におけるインデックス情報生成判定部161の動作を示すフローチャートである。 第2の実施形態の映像符号化装置1におけるマージ情報生成部16の構成を示すブロック図である。 第2の実施形態の映像復号装置31におけるマージ情報生成部36の構成を示すブロック図である。 第2の実施形態のマージ情報生成部16、36の動作例を示す説明図である。 第3の実施形態における映像符号化装置1のインター動き情報生成部8の構成を示すブロック図である。 第3の実施形態における映像復号装置1のインター動き情報生成部35の構成を示すブロック図である。 第3の実施形態における映像符号化装置1のマージ情報生成部16の構成を示すブロック図である。 第3の実施形態における映像復号装置31のマージ情報生成部36の構成を示すブロック図である。 第3の実施形態における予測動きベクトル候補リスト生成部802の動作を示すフローチャートである。 第1の実施形態におけるマージ候補リスト生成部162の動作を示すフローチャートである。 第4の実施形態の映像符号化装置1におけるインター動き情報生成部8の構成を示すブロック図である。 第4の実施形態の映像復号装置31におけるインター動き情報生成部35の構成を示すブロック図である。 第4の実施形態の映像符号化装置1におけるマージ情報生成部16の構成を示すブロック図である。 第4の実施形態の映像復号装置31におけるマージ情報生成部36の構成を示すブロック図である。 符号化対象ブロックに隣接する空間予測動きベクトル候補を示す説明図である。 符号化済みフレームの時間予測動きベクトル候補を示す説明図である。 マージ候補リスト数を5に設定した場合の符号化される状態を示す説明図である。
以下、図面を参照して、本発明の一実施形態による映像符号化装置及び映像復号装置を説明する。以下では一例としてHEVCに準拠した映像符号化装置及び映像復号装置に本発明を適用した場合の実施形態を説明する。なお、説明を簡単にするため、LCU及びCUサイズは固定(例えば64x64)として記載するが、ブロック分割した場合においても各CUに対して同様の処理を行うことで本発明を適用可能である。
<第1の実施形態>
図1を参照して、第1の実施形態における映像符号化装置を説明する。図1は第1の実施形態における映像符号化装置の構成を示すブロック図である。映像符号化装置1には符号化対象入力映像の符号化対象ピクチャについてCUブロックごとに入力され、当該ブロックに対応する符号化データが出力される。これが符号化対象ピクチャの各ブロックについてラスタスキャン順に繰り返し実行されることで、符号化対象ピクチャが符号化される。
減算器2は映像符号化装置1に入力された入力映像とイントラ予測部3またはインター予測部4から出力される予測画像との差分を直交変換/量子化部5へ出力する。直交変換/量子化部5は減算器2から出力された差分に対して直交変換と量子化を施し、可変長符号化部6と逆量子化/逆直交変換部7へ出力する。可変長符号化部6は直交変換/量子化部5から出力された量子化係数及びインター動き情報生成部8またはマージ情報生成部16から出力された動き情報を可変長符号化し、符号化データとして映像符号化装置1から出力する。
逆量子化/逆直交変換部7は直交変換/量子化部5から出力された量子化係数に対して逆量子化と逆直交変換を施し、加算器10へ出力する。加算器10は逆量子化/逆直交変換部7から出力された画像と予測画像との和をイントラ予測部3及びループフィルタ部11へ出力する。ループフィルタ部11は逆量子化/逆直交変換部7から出力された画像とイントラ予測部3またはインター予測部4から出力される予測画像との和にループフィルタを適用し、復号ピクチャメモリ12へ出力する。
復号ピクチャメモリ12はループフィルタ部11の出力を格納し、インター予測部4と動きベクトル検出部13に入力され、後の符号化対象ブロックのインター予測及び動きベクトル検出時に参照画像として利用される。イントラ予測部3は逆量子化/逆直交変換部7から出力された画像とイントラ予測部3またはインター予測部4から出力される予測画像との和を参照画像として符号化対象ブロックのイントラ予測画像を生成する。
インター予測部4は復号ピクチャメモリ12の参照画像を用いて符号化対象ブロックのインター予測画像を生成する。イントラ/インター切り替えスイッチ14は符号化対象ブロックの予測モードに応じてイントラ予測部3またはインター予測部3を切り替え、予測画像を減算器2と加算器10へ出力する。
動きベクトル検出部13は入力画像と復号ピクチャメモリ12から出力される参照画像を用いて動きベクトルを検出し、動きベクトルメモリ15及びインター動き情報生成部8へ出力する。動きベクトルメモリ15は動きベクトル検出部13からの出力を格納し、予測動きベクトル導出時にインター動き情報生成部8とマージ情報生成部16から参照される。
インター動き情報生成部8は動きベクトル検出部13と動きベクトルメモリ15から入力されたデータを基にインター動き情報を生成する。マージ情報生成部16は動きベクトルメモリ15から入力されたデータを基にマージ情報を生成する。インター/マージ切り替えスイッチ17は符号化対象ブロックの予測モードに応じてインター動き情報生成部8またはマージ情報生成部16を切り替え、インター動き情報またはマージ情報を可変長符号化部6へ出力する。
次に、図2を参照して、第1の実施形態における映像復号装置を説明する。この映像復号装置は図1に示す映像符号化装置1により符号化された符号化データを復号する。図2は第1の実施形態における映像復号装置の構成を示すブロック図である。映像復号装置31には復号対象入力符号化データが入力され、復号対象ブロック毎に繰り返し復号され、復号信号が出力される。
可変長復号部32は入力された符号化データを可変長復号し、変換量子化係数及び動き情報を含む復号パラメータを得て、変換量子化係数は逆量子化/逆直交変換部33へ、動き情報はインター/マージ切替スイッチ34へ出力される。また、動き情報のインデックス情報はインター動き情報生成部35またはマージ情報生成部36から通知されるインデックス情報の判定結果がインデックス情報を復号すると判定された場合のみ復号される。
逆量子化/逆量子化部33は可変長復号部32から出力された変換量子化係数を逆量子化/逆直交変換し、復号残差画像を加算器37に出力する。加算器37は逆量子化/逆直交変換部33から出力された復号残差画像とイントラ予測部38又はインター予測部39から得られる予測画像との和から復号画像を得て、復号映像として出力すると同時に、ループフィルタ部及びイントラ予測部38へ出力する。
ループフィルタ部40は加算器37から得られる復号画像にループフィルタを適用し、復号ピクチャメモリ41へ出力する。復号ピクチャメモリ41はループフィルタ部40の出力を格納し、インター予測部39に入力され、後の復号対象ブロックのインター予測時に参照画像として利用される。イントラ予測部38は加算器37から出力される復号画像を参照画像として後の復号対象ブロックのイントラ予測画像を生成する。
インター予測部39は復号ピクチャメモリ41の参照画像と動きベクトルメモリ42から得られる動きベクトルを用いて復号対象ブロックのインター予測画像を生成する。イントラ/インター切り替えスイッチ43は復号対象ブロックの予測モードに応じてイントラ予測部38またはインター予測部39を切り替え、予測画像を加算器37へ出力する。
動きベクトルメモリ42はインター動き情報生成部35またはマージ情報生成部36からの出力を格納し、インター予測部39での予測及び予測動きベクトル導出時にインター動き情報生成部35またはマージ情報生成部36から参照される。インター/マージ切替スイッチ34は復号対象ブロックの予測モードに応じてインター動き情報生成部35又はマージ情報生成部36を切り替え、復号パラメータを各部へ出力する。
インター動き情報生成部35は可変長復号部32から入力される動き情報を基にインター予測モードの動き情報を生成し、動きベクトルメモリ42へ出力する。また、インデックス情報を生成するか否かの判定結果を可変長復号部32へ通知する。マージ情報生成部36は動きベクトルメモリ42から入力される動き情報を基にマージ情報を生成し、動きベクトルメモリ42へ出力する。また、インデックス情報を生成するか否かの判定結果を可変長復号部32へ通知する。
次に、図3及び図4を参照して、第1の実施形態におけるインター動き情報生成部8、35について説明する。図3は第1の実施形態による映像符号化装置1におけるインター動き情報生成部8の構成を示すブロック図である。図3に示す構成が従来技術と比較して異なる点は、インデックス情報生成判定部801が追加されている点である。
予測動きベクトル候補リスト生成部802は動きベクトルメモリ15から入力された符号化対象ブロックの周囲または符号化済みフレームの候補ブロックの動きベクトルから予測動きベクトル候補リストを生成し、予測動きベクトル決定部803とインデックス情報生成判定部801へ出力する。インデックス情報生成判定部801は入力された予測動きベクトル候補リストを基に予測動きベクトルインデックスを生成するかを判定し、判定結果を動き情報生成部804へ出力する。
予測動きベクトル決定部803は予測動きベクトル候補リスト生成部802から入力された予測動きベクトル候補リストの中から予測動きベクトルを決定する。予測動きベクトルの決定では対象ブロックの動きベクトルと予測動きベクトル候補リストの各候補との差分動きベクトルを算出し、差分動きベクトルの各成分の符号量の和が最も小さくなる予測動きベクトルインデックス及び予測動きベクトルを決定する。
減算器805は動きベクトル検出部13から入力された動きベクトルと予測動きベクトル決定部803で決定された予測動きベクトルの差分動きベクトルを算出し、動き情報生成部804へ出力する。動き情報生成部804は参照画像リスト、参照画像インデックス、予測動きベクトルインデックス、差分動きベクトルから成る動き情報を生成し、可変長符号化部6へ出力する。ただし、予測動きベクトルインデックスはインデックス情報生成判定部801でインデックス情報を生成すると判定された場合のみ生成する。
図4は第1の実施形態による映像復号装置31におけるインター動き情報生成部35の構成を示すブロック図である。予測動きベクトル候補リスト生成部351は動きベクトルメモリ42から入力された復号対象ブロックの周囲または復号済みフレームの候補ブロックの動きベクトルから予測動きベクトル候補リストを生成し、予測動きベクトル出力部352とインデックス情報生成判定部353へ出力する。インデックス情報生成判定部353は入力された予測動きベクトル候補リストを基に予測動きベクトルインデックスを復号するか否かを判定し、判定結果を可変長復号部21及び予測動きベクトル出力部352へ通知する。
予測動きベクトル出力部352はインデックス情報生成判定部353からインデックス情報を復号すると判定された場合は予測動きベクトル候補リスト生成部351から入力された予測動きベクトル候補リストの中から可変長復号部32で復号された予測動きベクトルインデックスに対応する予測動きベクトルを出力する。一方、そうでない場合は可変長復号部32では予測動きベクトルインデックスは復号せず、予測動きベクトル候補リストの任意の予測動きベクトルを出力する。
ここで、任意というのは予測動きベクトルリストの全ての動きベクトル候補が同一であるためである。加算器354は可変長復号部32から入力された差分動きベクトルと予測動きベクトル出力部352から出力された予測動きベクトルの和となる動きベクトルを算出し、動きベクトルメモリ42へ出力する。
次に、図5を参照して、第1の実施形態における予測動きベクトル候補リスト生成部802、351の動作を説明する。図5は第1の実施形態における予測動きベクトル候補リスト生成部802の動作を示すフローチャートである。予測動きベクトル候補リスト生成部351の動作についても同様であるため、ここでは詳細な説明を省略する。
まず、予測動きベクトル候補リスト生成部802は、候補ブロックに対して所定の優先順序でスキャンを行う(ステップS1)。この処理はステップS7までの繰り返し処理となる。候補ブロックは図23及び図24に示すブロック群である。また、優先順位は以下の通りとなる。
・A0⇒A1⇒B0⇒B1⇒B2⇒H(またはC3)の優先順位
・対象ブロックの参照画像と同一の参照画像を持つ動きベクトルを優先
次に、予測動きベクトル候補リスト生成部802は、予測動きベクトル候補リストの合計数が2に満たないか否かを判定する(ステップS2)。この判定の結果、合計数が2以上である場合は処理を終了する。一方、合計数が2に満たない場合、予測動きベクトル候補リスト生成部802は、候補ブロックの参照画像が対象ブロックの参照画像と同じか否かを判定し(ステップS3)、異なる場合には参照画像間距離に応じてスケーリング処理を行う(ステップS4)。
そして、予測動きベクトル候補リスト生成部802は、各ブロック群(A0,A1をブロック群A、B0,B1,B2をブロック群Bとする)の中で同じ動きベクトルが既にリストに追加されているか否かの重複判定を行い(ステップS5)、重複しない場合にのみに候補ブロックの動きベクトルをリストに追加する(ステップS6)。
そして、全ての候補ブロックに対してスキャンが終了したら(ステップS7)、予測動きベクトル候補リスト生成部802は、予測動きベクトル候補リストの合計数が2に満たないか否かを判定し(ステップS8)、満たない場合にはリストの残りにゼロベクトルを追加する(ステップS9)。
次に、図6及び図7を参照して、第1の実施形態におけるマージ情報生成部16、36について説明する。図6は第1の実施形態の映像符号化装置1におけるマージ情報生成部16の構成を示すブロック図である。図6に示す構成が従来技術と異なる点は、インデックス情報生成判定部161が追加されている点である。マージ候補リスト生成部162は動きベクトルメモリ15から入力された符号化対象ブロックの周囲または符号化済みフレームの候補ブロックの動きベクトルからマージ候補リストを生成し、マージベクトル決定部163とインデックス情報生成判定部161へ出力する。
インデックス情報生成判定部161は入力されたマージ候補リストを基にマージインデックスを生成するかを判定し、判定結果をマージインデックス生成部164へ出力する。マージベクトル決定部163はマージ候補リスト生成部162から入力されたマージ候補リストの中からマージベクトルを決定する。マージインデックス生成部はマージインデックスを生成し、可変長符号化部6へ出力する。ただし、マージインデックスはインデックス情報生成判定部161でインデックス情報を生成すると判定された場合のみ生成する。
図7は第1の実施形態の映像復号装置31におけるマージ情報生成部36の構成を示すブロック図である。マージ候補リスト生成部361は動きベクトルメモリ42から入力された復号対象ブロックの周囲または復号済みフレームの候補ブロックの動きベクトルからマージ候補リストを生成し、マージベクトル出力部362とインデックス情報生成判定部363に出力する。インデックス情報生成判定部363は入力されたマージ候補リストを基にマージインデックスを復号するかを判定し、判定結果を可変長復号部32及びマージベクトル出力部362へ通知する。
マージベクトル出力部362はインデックス情報生成判定部363からインデックス情報を復号すると判定された場合はマージ候補リスト生成部361から入力されたマージ候補リストの中から可変長復号部32で復号されたマージインデックスに対応するマージベクトルを出力する。一方、そうでない場合は可変長復号部32ではマージインデックスは復号せず、マージ候補リストの任意のマージベクトルを出力する。ここで、任意というのはマージ候補リストの全てのマージ候補が同一であるためである。
次に、図8を参照して、第1の実施形態におけるマージ候補リスト生成部162、361の動作を説明する。図8は第1の実施形態におけるマージ候補リスト生成部162の動作を示すフローチャートである。マージ候補リスト生成部361の動作についても同様であるため、ここでは詳細な説明を省略する。
まず、マージ候補リスト生成部162は、空間マージ候補をリストに追加する(ステップS11)。空間マージ候補の候補ブロックは図23に示すブロック群である。そして、マージ候補リスト生成部162は、空間マージ候補を追加してもマージ候補リストの合計数が所定数に満たないか否かを判定する(ステップS12)。この判定の結果、満たない場合、マージ候補リスト生成部162は時間マージ候補をリストに追加する(ステップS13)。時間マージ候補の候補ブロックは図24に示すブロック群である。
次に、マージ候補リスト生成部162は、時間マージ候補を追加してもマージ候補リストの合計数が所定数に満たないか否かを判定する(ステップS14)。この判定の結果、満たない場合、マージ候補リスト生成部162は結合双予測候補をリストに追加する(ステップS15)。そして、マージ候補リスト生成部162は、それでもマージ候補リストの合計数が所定数に満たないか否かを判定する(ステップS16)。この判定の結果、満たない場合、マージ候補リスト生成部162は所定数になるまでゼロマージ候補をリストに追加して(ステップS17)、終了する。
次に、図9を参照して、第1の実施形態におけるインデックス情報生成判定部161、363の動作を説明する。図9は第1の実施形態におけるインデックス情報生成判定部161の動作を示すフローチャートである。インデックス情報生成判定部363の動作についても同様であるので、ここでは詳細な説明を省略する。
インデックス情報には予測動きベクトル候補リスト又はマージ候補リストが入力される。まず、インデックス情報生成判定部161は、リスト中の全ての候補が同じか否かを判定する(ステップS21)。この判定の結果、全ての候補が同じ場合、インデックス情報生成判定部161は映像符号化装置1ではインデックス情報を生成しないと判定し、映像復号装置31ではインデックス情報を復号しないと判定する(ステップS22)。一方、そうでない場合、インデックス情報生成判定部161は、映像符号化装置1ではインデックス情報を生成すると判定するとともに、映像復号装置31ではインデックス情報を復号すると判定する(ステップS23)。
次に、本実施形態と従来技術との違いと本実施形態によって得られる効果について説明する。従来技術では予測動きベクトル候補リストまたはマージ候補リストの中の全ての候補が同じ場合でもインデックス情報を符号化するため、符号量が増大する。特に、予測動きベクトル候補リストまたはマージ候補リストを導出する際に参照できる候補ブロックが1つもない場合にはリストには全てゼロベクトルまたはゼロマージ候補が追加されるため、全ての候補が同じになるケースが発生する。
本実施形態が従来技術と異なるのは、導出されたリストの中の候補が全て同じか否かを判定する点である。判定の結果、インデックス情報を生成しないと判定された場合には符号化する動き情報にインデックス情報を含まないため、符号量を削減することができる。
<第2の実施形態>
次に、第2の実施形態における映像符号化装置及び映像復号装置を説明する。本実施形態では第1の実施形態に変更を加えた構成について説明する。第2の実施形態による映像符号化装置または映像復号装置は、図1または図2においてマージ情報生成部の構成及び動作と、可変長符号化部と、可変長復号部の動作を除いて同一である。以下、第1の実施形態と異なる点のみを中心に説明する。
次に、図10及び図11を参照して、第2の実施形態におけるマージ情報生成部16、36について説明する。図10は第2の実施形態の映像符号化装置1におけるマージ情報生成部16の構成を示すブロック図である。第1の実施形態(図6)と異なる点は重複候補除外部165と候補数カウント部166が新たに追加されている点である。
重複候補除外部165はマージ候補リスト生成部162で生成されたマージ候補リストの中で、重複するマージベクトル候補があった場合には重複が無くなるようにリストから除外し、再度インデックスを割り当てる。除外されたリストはインデックス情報生成判定部161、マージベクトル決定部163、候補数カウント部166へ出力される。候補数カウント部166は除外されたマージ候補リストの候補数をカウントし、可変長符号化部6へ出力する。可変長符号化部6はインデックスを符号化する際、候補数カウント部166から出力された候補数に基づいて符号化を行う。
図11は第2の実施形態の映像復号装置31におけるマージ情報生成部36の構成を示すブロック図である。重複候補除外部364は図10に示す重複候補除外部165と同様である。候補数カウント部365は除外されたマージ候補リストの候補数をカウントし、可変長復号部32へ候補数を通知する。可変長復号部32は候補数カウント部365から通知される候補数に基づいてマージインデックスを復号する。
ここで、図12を参照して、第2の実施形態のマージ情報生成部16、36の動作例を説明する。図12は、第2の実施形態のマージ情報生成部16、36の動作例を示す説明図である。まず映像符号化装置1での動作を説明する。マージ候補リスト生成部162で図12の左に示すようなマージ候補リストが生成された場合は以下のような動作をとる。マージベクトル候補に示すL0及びL1はそれぞれL0方向及びL1方向の動きベクトルをx,y方向についてそれぞれ2次元ベクトルで表現したものである。参照画像番号については全て同一とし、省略する。この例ではマージインデックスの0番と3番が重複するため、重複候補除外部165で重複する候補(この例では3番)がリストから除外される。
そして、インデックスを振り直し、インデックスが4番のマージベクトル候補は新たに3番が割り当てられる。この時、候補数カウント部166でカウントされる候補数は4つになる。可変長符号化部6ではこの候補数に基づいて符号化ビット列を変更する。この例の場合では候補数が4つなので、符号化ビット列を図12の右に示すように変更する。これは、トランケーテッド・ユーナリー・バイナライゼーションで最大数をカウントした候補数に変更したことによる。マージインデックスの符号化時はこれらの符号化ビット列で可変長符号化を行う。
映像復号装置31では、同様にマージ候補リストから重複する候補を除外した後、候補数をカウントし、映像符号化装置1と同様にインデックスに対応するビット列を導出する。可変長復号部32ではこのビット列に対応するようにインデックスを復号することで、映像符号化装置1と同じインデックスを得ることができる。
次に、本実施形態と従来技術との違いと本実施形態によって得られる効果について説明する。従来技術では予めマージベクトルの候補数が決められているため、リスト中に重複する候補が入っていたとしても符号化ビット列が長くなってしまう。
本実施形態ではマージベクトル候補が重複する場合にマージインデックスの大きい方を削除し、インデックスを再度割り当てて、更にマージ候補リストの候補数に応じて符号化及び復号を行う。こうすることで、例えば図12の例では、従来技術ではインデックスが4番のマージベクトル候補を符号化する場合には「1111」とビット長4つを符号化する必要があるが、本実施形態を用いた場合は「111」とビット長3つを符号化すれば良いため、符号量を削減することができる。
<第3の実施形態>
次に、第3の実施形態における映像符号化装置及び映像復号装置を説明する。本実施形態では第1の実施形態に変更を加えた構成について説明する。第3の実施形態による映像符号化装置または映像復号装置は図1または図2においてインター動き情報生成部とマージ情報生成部の構成及び動作を除いて同一である。以下、第1の実施形態と異なる点を中心に説明する。
次に、図13を参照して、第3の実施形態における映像符号化装置1のインター動き情報生成部の構成を説明する。図13は、第3の実施形態における映像符号化装置1のインター動き情報生成部8の構成を示すブロック図である。第1の実施形態(図3)と異なる点は予測動きベクトル候補リスト生成部802の動作が変更されている点と、ゼロベクトル追加部806が新たに設けられている点である。動作については、後述する。
次に、図14を参照して、第3の実施形態における映像復号装置31のインター動き情報生成部の構成を説明する。図14は、第3の実施形態における映像復号装置1のインター動き情報生成部35の構成を示すブロック図である。第1の実施形態(図4)と異なる点は予測動きベクトル候補リスト生成部351の動作が変更されている点と、ゼロベクトル追加部355が新たに設けられている点である。動作については、後述する。
次に、図15を参照して、第3の実施形態における映像符号化装置1のマージ情報生成部の構成を説明する。図15は、第3の実施形態における映像符号化装置1のマージ情報生成部16の構成を示すブロック図である。第1の実施形態(図6)と異なる点はマージ候補リスト生成部162の動作が変更されている点と、ゼロマージ候補追加部167が新たに設けられている点である。動作については、後述する。
次に、図16を参照して、第3の実施形態における映像復号装置31のマージ情報生成部の構成を説明する。図16は、第3の実施形態における映像復号装置31のマージ情報生成部36の構成を示すブロック図である。第1の実施形態(図7)と異なる点はマージ候補リスト生成部162の動作が変更されている点と、ゼロマージ候補追加部366が新たに設けられている点である。動作については、後述する。
次に、図17を参照して、第3の実施形態における予測動きベクトル候補リスト生成部802、351の動作を説明する。図17は、第3の実施形態における予測動きベクトル候補リスト生成部802の動作を示すフローチャートである。予測動きベクトル候補リスト生成部351の動作についても同様であるため、ここでは詳細な説明を省略する。
まず、予測動きベクトル候補リスト生成部802は、候補ブロックに対して所定の優先順序でスキャンを行う(ステップS31)。この処理はステップS37までの繰り返し処理となる。候補ブロックは図23及び図24に示すブロック群である。また、優先順位は以下の通りとなる。
・A0⇒A1⇒B0⇒B1⇒B2⇒H(またはC3)の優先順位
・対象ブロックの参照画像と同一の参照画像を持つ動きベクトルを優先
次に、予測動きベクトル候補リスト生成部802は、予測動きベクトル候補リストの合計数が2に満たないか否かを判定する(ステップS32)。この判定の結果、合計数が2以上である場合は処理を終了する。一方、合計数が2に満たない場合、予測動きベクトル候補リスト生成部802は、候補ブロックの参照画像が対象ブロックの参照画像と同じか否かを判定し(ステップS33)、異なる場合には参照画像間距離に応じてスケーリング処理を行う(ステップS34)。
そして、予測動きベクトル候補リスト生成部802は、各ブロック群(A0,A1をブロック群A、B0,B1,B2をブロック群Bとする)の中で同じ動きベクトルが既にリストに追加されているか否かの重複判定を行い(ステップS35)、重複しない場合にのみに候補ブロックの動きベクトルをリストに追加する(ステップS36)。
そして、全ての候補ブロックに対してスキャンが終了するまで繰り返す(ステップS7)。すなわち、図17に示す動作では、処理の最後にゼロベクトルを追加しないように構成されている。そして、ゼロベクトル追加部806は予測動きベクトル候補リスト生成部802から出力されたリストについて、候補数が所定の値に満たない場合で且つリストの中にゼロベクトルがない場合にのみゼロベクトルをリストに1つ追加する。
次に、図18を参照して、第3の実施形態におけるマージ候補リスト生成部162、361の動作を説明する。図18は第1の実施形態におけるマージ候補リスト生成部162の動作を示すフローチャートである。マージ候補リスト生成部361の動作についても同様であるため、ここでは詳細な説明を省略する。
まず、マージ候補リスト生成部162は、空間マージ候補をリストに追加する(ステップS41)。空間マージ候補の候補ブロックは図23に示すブロック群である。そして、マージ候補リスト生成部162は、空間マージ候補を追加してもマージ候補リストの合計数が所定数に満たないか否かを判定する(ステップS42)。この判定の結果、満たない場合、マージ候補リスト生成部162は時間マージ候補をリストに追加する(ステップS43)。時間マージ候補の候補ブロックは図24に示すブロック群である。
次に、マージ候補リスト生成部162は、時間マージ候補を追加してもマージ候補リストの合計数が所定数に満たないか否かを判定する(ステップS44)。この判定の結果、満たない場合、マージ候補リスト生成部162は結合双予測候補をリストに追加する(ステップS45)。すなわち、図18に示す動作では、処理の最後にゼロマージ候補を追加しない構成になっている。そして、ゼロマージ候補追加部167はマージ候補リスト生成部162から出力されたリストについて、候補数が所定の値に満たない場合で且つリストの中にゼロマージ候補がない場合にのみゼロマージ候補をリストに1つ追加する。
次に、本実施形態と従来技術との違いと本実施形態によって得られる効果について説明する。従来技術においても予測動きベクトル候補リスト生成部またはマージ候補リスト生成部の中で候補数が所定の値に満たない場合にはゼロベクトルまたはゼロマージ候補がリストに追加されるが、これは候補数が所定の値になるように満たすためであり、既にリストの中にゼロベクトルまたはゼロマージ候補が入っていても追加される。
本実施形態の場合は候補リストの中にゼロベクトルまたはゼロマージ候補がない場合にのみ追加するため、冗長にならずにゼロベクトルまたはゼロマージ候補を追加することができるため、符号量を削減することができる。
<第4の実施形態>
次に、第4の実施形態における映像符号化装置及び映像復号装置を説明する。本実施形態では第1の実施形態に変更を加えた場合について説明する。第4の実施形態による映像符号化装置または映像復号装置は図1または図2においてインター動き情報生成部とマージ情報生成部の構成及び動作を除いて同一である。以下、第1の実施形態と異なる点のみを説明する。
次に、図19を参照して、第4の実施形態におけるインター動き情報生成部の構成を説明する。図19は、第4の実施形態の映像符号化装置1におけるインター動き情報生成部8の構成を示すブロック図である。第1の実施形態(図3)と異なる点は候補ブロック判定部807が追加されている点である。候補ブロック判定部807は予測動きベクトル候補リスト生成部802で参照する各候補ブロックに対して、予測動きベクトル候補リスト生成部802で各候補ブロックの動き情報をリストの生成に利用するか否かを判定し、利用しないと判定した候補ブロックは予測動きベクトル候補リスト生成部802で利用しない。
次に、図20を参照して、第4の実施形態におけるインター動き情報生成部の構成を説明する。図20は、第4の実施形態の映像復号装置31におけるインター動き情報生成部35の構成を示すブロック図である。第1の実施形態(図4)と異なる点は候補ブロック判定部356が追加されている点である。候補ブロック判定部356は予測動きベクトル候補リスト生成部351で参照する各候補ブロックに対して、予測動きベクトル候補リスト生成部351で各候補ブロックの動き情報をリストの生成に利用するか否かを判定し、利用しないと判定した候補ブロックは予測動きベクトル候補リスト生成部351で利用しない。
次に、図21を参照して、第4の実施形態におけるマージ情報生成部の構成を説明する。図21は第4の実施形態の映像符号化装置1におけるマージ情報生成部16の構成を示すブロック図である。第1の実施形態(図6)と異なる点は候補ブロック判定部168が追加されている点である。候補ブロック判定部168はマージ候補リスト生成部162で参照する各候補ブロックに対して、マージ候補リスト生成部162で各候補ブロックの動き情報をリストの生成に利用するか否かを判定し、利用しないと判定した候補ブロックはマージ候補リスト生成部162で利用しない。
次に、図22を参照して、第4の実施形態におけるマージ情報生成部の構成を説明する。図22は第4の実施形態の映像復号装置31におけるマージ情報生成部36の構成を示すブロック図である。第1の実施形態(図7)と異なる点は候補ブロック判定部367が追加されている点である。候補ブロック判定部367はマージ候補リスト生成部361で参照する各候補ブロックに対して、マージ候補リスト生成部361で各候補ブロックの動き情報をリストの生成に利用するか否かを判定し、利用しないと判定した候補ブロックはマージ候補リスト生成部361で利用しない。
ここで、候補ブロック判定部における候補ブロックの判定方法について説明する。
始めに、候補ブロックの予測モードによる候補ブロックの判定について説明する。候補ブロックの予測モードがスキップモードの場合のみ候補として利用する。ただし、候補ブロックの中にスキップモードが1つも含まれない場合は除く。スキップモードとなる候補ブロックは変換係数を伝送しない予測モードであるため、変換係数を伝送しなくてもそのブロックを再現できていると考えることができ、隣接するブロックの動き情報に対する信頼度が高いと考えられるため、信頼度の高い候補ブロックのみを用いてリストを生成することで不要な動き情報を削減することができる。
次に、候補ブロックの符号量による候補ブロックの判定について説明する。候補ブロックの変換係数の符号量が所定の値以下である場合に候補として利用する。候補ブロックの予測モードによる候補ブロックの判定では量子化パラメータが小さい場合など、スキップモードの選択率が小さくなる場合には有効に作用しない可能性がある。そこで、変換係数を符号化する予測モードの場合でも符号量が所定の値よりも小さければ、予測画像が適切である可能性が高く、動き情報の信頼度が高いと考えられるので、この条件を満たす候補ブロックを利用する。
なお、前述した説明においては、マージ候補として利用することを説明したが、適応ベクトル予測とマージのいずれかを利用することができる。
次に、本実施形態と従来技術との違いと本実施形態によって得られる効果について説明する。従来技術では候補ブロックの動き情報に対する信頼度を考慮に入れていないため、マージ候補リストに追加される候補が適切でない可能性が高い。
本実施形態ではリストを作成する際に候補ブロックの信頼度を基にリストとして利用するか否かを判定するため、信頼度の高い候補ブロックのみを用いてリストを作成することができるため、符号化効率を向上させることができる。
以上説明したように、従来は動き予測を行う際に同一のブロック群内においては動きベクトル候補の重複判断を行っていたが、異なるブロック群間においては重複判断を行っていなかった。このため、同一の動きベクトル候補が重複する場合が発生する。特に動き予測が参照できない場合はゼロベクトルが動きベクトル候補として設定されるため、参照する意義が薄い情報を冗長に符号化してしまうという問題がある。本実施形態ではそのような問題を解決するために、候補リストの比較を行い、候補が同一の場合はインデックスを送らず、重複するものを1 つのみ残す処理を行うようにした。この構成によれば、インター符号化の符号量削減することができる。
具体的には、予測動きベクトル候補リストの中から重複する予測動きベクトル候補を検出し、全ての予測動きベクトル候補が同一の場合には予測動きベクトルインデックスを伝送しないように構成した。また、予測動きベクトル候補リストの中から重複する予測動きベクトル候補を検出し、重複が無くなるように予測動きベクトル候補を削除し、予測動きベクトル候補の候補数に基づいて予測動きベクトルインデックスを符号化するように構成した。また、予測動きベクトル候補リストの中からゼロベクトルがあるか否かを検出し、ゼロベクトルが無い場合にのみゼロベクトルを追加するように構成した。さらに予測動きベクトル候補のブロックの予測モードまたは符号量に基づく条件を満たす動きベクトル候補のみを予測動きベクトルの導出時に用いるように構成した。
前述した実施形態における映像符号化装置1及び映像復号装置31の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、PLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されるものであってもよい。
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
冗長な符号化を削除して、符号化効率を向上させることが不可欠な用途に適用できる。
1・・・映像符号化装置、2・・・減算器、3・・・イントラ予測部、4・・・インター予測部、5・・・直交変換/量子化部、6・・・可変長符号化部、7・・・逆量子化/逆直交変換部、8・・・インター動き情報生成部、10・・・加算器、11・・・ループフィルタ部、12・・・復号ピクチャメモリ、13・・・動きベクトル検出部、14・・・イントラ/インター切替スイッチ、15・・・動きベクトルメモリ、16・・・マージ情報生成部、17・・・インター/マージ切替スイッチ、31・・・映像復号装置、32・・・可変長復号部、33・・・逆量子化/逆直交変換部、34・・・インター/マージ切替スイッチ、35・・・インター動き情報生成部、36・・・マージ情報生成部、37・・・加算器、38・・・イントラ予測部、39・・・インター予測部、40・・・ループフィルタ部、41・・・復号ピクチャメモリ、42・・・動きベクトルメモリ、43・・・イントラ/インター切替スイッチ、801・・・インデックス情報生成判定部、802・・・予測動きベクトル候補リスト生成部、803・・・予測動きベクトル決定部、804・・・動き情報生成部、805・・・減算器、351・・・予測動きベクトル候補リスト生成部、352・・・予測動きベクトル出力部、353・・・インデックス情報生成判定部、354・・・加算器、161・・・インデックス情報生成判定部、162・・・マージ候補リスト生成部、163・・・マージベクトル決定部、164・・・マージインデックス生成部、361・・・マージ候補リスト生成部、362・・・マージベクトル出力部、363・・・インデックス情報生成判定部、165・・・重複候補除外部、166・・・候補数カウント部、364・・・重複候補除外部、365・・・候補数カウント部、806・・・ゼロベクトル追加部、355・・・ゼロベクトル追加部、167・・・ゼロマージ候補追加部、366・・・ゼロマージ候補追加部、807・・・候補ブロック判定部、356・・・候補ブロック判定部、168・・・候補ブロック判定部、367・・・候補ブロック判定部

Claims (16)

  1. 映像をブロック単位で符号化する映像符号化装置であって、
    符号化対象ブロックの周囲のブロックまたは符号化済みフレームの符号化済みブロックから1つ以上の予測動きベクトル候補を取得する予測動きベクトル取得部と、
    前記取得された予測動きベクトル候補を互いに比較して、重複している前記予測動きベクトル候補を検出する重複予測動きベクトル検出部と、
    重複している前記予測動きベクトルが検出された場合に、符号化すべき対象を選択して符号化を行う符号化部と
    を備える映像符号化装置。
  2. 前記符号化部は、
    前記予測動きベクトル候補が全て同じである場合には、予測動きベクトルを特定するインデックス情報を符号化せず、
    前記予測動きベクトル候補が全て重複していない場合には、予測動きベクトルを特定するインデックス情報を符号化する請求項1に記載の映像符号化装置。
  3. 前記符号化部は、
    前記予測動きベクトル候補が重複している場合に重複が無くなるように予測動きベクトル候補を削除する予測動きベクトル候補削除部と、
    削除後の前記予測動きベクトル候補の候補数に基づいて予測動きベクトルインデックスを符号化するインデックス符号化部と
    を備える請求項1に記載の映像符号化装置。
  4. 前記予測動きベクトル候補の中にゼロベクトルが無い場合に予測動きベクトル候補にゼロベクトルを追加するベクトル追加部を
    さらに備える請求項1から3のいずれか一項に記載の映像符号化装置。
  5. 前記予測動きベクトル候補の信頼度を算出する信頼度算出部をさらに備え、
    前記予測動きベクトル取得部は、前記信頼度が所定の条件を満たす前記予測動きベクトル候補のみを取得する請求項1から4のいずれか一項に記載の映像符号化装置。
  6. 前記信頼度と前記所定の条件は、前記予測動きベクトル候補のブロックの予測モードまたは符号量に基づいて決定される請求項5に記載の映像符号化装置。
  7. 映像をブロック単位で復号する映像復号装置であって、
    復号対象ブロックの周囲のブロックまたは復号済みフレームの復号済みブロックから1つ以上の予測動きベクトル候補を取得する予測動きベクトル取得部と、
    前記取得された予測動きベクトル候補を互いに比較して、重複している前記予測動きベクトル候補を検出する重複予測動きベクトル検出部と、
    重複している前記予測動きベクトルが検出された場合に、復号すべき対象を選択して復号を行う復号部と
    を備える映像復号装置。
  8. 前記復号部は、
    前記予測動きベクトル候補が全て同じである場合には、予測動きベクトルを特定するインデックス情報を復号せずに、
    前記予測動きベクトル候補が全て重複していない場合には、予測動きベクトルを特定するインデックス情報を復号する請求項7に記載の映像復号装置。
  9. 前記復号部は、
    前記予測動きベクトル候補が重複している場合に重複が無くなるように予測動きベクトル候補を削除する予測動きベクトル候補削除部と、
    削除後の前記予測動きベクトル候補の候補数に基づいて予測動きベクトルインデックスを復号するインデックス復号部と
    を備える請求項7に記載の映像復号装置。
  10. 前記予測動きベクトル候補の中にゼロベクトルが無い場合に予測動きベクトル候補にゼロベクトルを追加するベクトル追加部を
    さらに備える請求項7から9のいずれか一項に記載の映像復号装置。
  11. 前記予測動きベクトル候補の信頼度を算出する信頼度算出部をさらに備え、
    前記予測動きベクトル取得部は、前記信頼度が所定の条件を満たす前記予測動きベクトル候補のみを取得する請求項7から10のいずれか一項に記載の映像復号装置。
  12. 前記信頼度と前記所定の条件は、前記予測動きベクトル候補のブロックの予測モードまたは符号量に基づいて決定される請求項11に記載の映像復号装置。
  13. 映像をブロック単位で符号化する映像符号化装置が行う映像符号化方法であって、
    符号化対象ブロックの周囲のブロックまたは符号化済みフレームの符号化済みブロックから1つ以上の予測動きベクトル候補を取得する予測動きベクトル取得ステップと、
    前記取得された予測動きベクトル候補を互いに比較して、重複している前記予測動きベクトル候補を検出する重複予測動きベクトル検出ステップと、
    重複している前記予測動きベクトルが検出された場合に、符号化すべき対象を選択して符号化を行う符号化ステップと
    を有する映像符号化方法。
  14. 映像をブロック単位で復号する映像復号装置が行う映像復号方法であって、
    復号対象ブロックの周囲のブロックまたは復号済みフレームの復号済みブロックから1つ以上の予測動きベクトル候補を取得する予測動きベクトル取得ステップと、
    前記取得された予測動きベクトル候補を互いに比較して、重複している前記予測動きベクトル候補を検出する重複予測動きベクトル検出ステップと、
    重複している前記予測動きベクトルが検出された場合に、復号すべき対象を選択して復号を行う復号ステップと
    を有する映像復号方法。
  15. コンピュータを、請求項1から6のいずれか一項に記載の映像符号化装置として機能させるための映像符号化プログラム。
  16. コンピュータを、請求項7から12のいずれか一項に記載の映像復号装置として機能させるための映像復号プログラム。
JP2016001176A 2016-01-06 2016-01-06 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム Active JP6495835B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016001176A JP6495835B2 (ja) 2016-01-06 2016-01-06 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016001176A JP6495835B2 (ja) 2016-01-06 2016-01-06 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム

Publications (2)

Publication Number Publication Date
JP2017123542A true JP2017123542A (ja) 2017-07-13
JP6495835B2 JP6495835B2 (ja) 2019-04-03

Family

ID=59305982

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016001176A Active JP6495835B2 (ja) 2016-01-06 2016-01-06 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム

Country Status (1)

Country Link
JP (1) JP6495835B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210025536A (ko) * 2018-06-29 2021-03-09 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut들을 업데이트하기 위한 조건들
US20210297659A1 (en) 2018-09-12 2021-09-23 Beijing Bytedance Network Technology Co., Ltd. Conditions for starting checking hmvp candidates depend on total number minus k
CN114071159A (zh) * 2020-07-29 2022-02-18 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器及计算机可读存储介质
US11589071B2 (en) 2019-01-10 2023-02-21 Beijing Bytedance Network Technology Co., Ltd. Invoke of LUT updating
US11641483B2 (en) 2019-03-22 2023-05-02 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
US11695921B2 (en) 2018-06-29 2023-07-04 Beijing Bytedance Network Technology Co., Ltd Selection of coded motion information for LUT updating
US11877002B2 (en) 2018-06-29 2024-01-16 Beijing Bytedance Network Technology Co., Ltd Update of look up table: FIFO, constrained FIFO
US11895318B2 (en) 2018-06-29 2024-02-06 Beijing Bytedance Network Technology Co., Ltd Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
US11909989B2 (en) 2018-06-29 2024-02-20 Beijing Bytedance Network Technology Co., Ltd Number of motion candidates in a look up table to be checked according to mode
US11909951B2 (en) 2019-01-13 2024-02-20 Beijing Bytedance Network Technology Co., Ltd Interaction between lut and shared merge list
US11956464B2 (en) 2019-01-16 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Inserting order of motion candidates in LUT

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009212667A (ja) * 2008-03-03 2009-09-17 Kddi Corp 動画像符号化装置および復号装置
JP2011166207A (ja) * 2010-02-04 2011-08-25 Nippon Telegr & Teleph Corp <Ntt> 動きベクトル予測方法,動きベクトル予測装置および動きベクトル予測プログラム
US20120320984A1 (en) * 2011-06-14 2012-12-20 Minhua Zhou Inter-Prediction Candidate Index Coding Independent of Inter-Prediction Candidate List Construction in Video Coding
JP2013038747A (ja) * 2011-08-11 2013-02-21 Jvc Kenwood Corp 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2013042235A (ja) * 2011-08-11 2013-02-28 Jvc Kenwood Corp 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2015510358A (ja) * 2012-02-08 2015-04-02 クゥアルコム・インコーポレイテッドQualcomm Incorporated Bスライス中の予測単位の単方向インター予測への制限
JP2015222980A (ja) * 2015-07-27 2015-12-10 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009212667A (ja) * 2008-03-03 2009-09-17 Kddi Corp 動画像符号化装置および復号装置
JP2011166207A (ja) * 2010-02-04 2011-08-25 Nippon Telegr & Teleph Corp <Ntt> 動きベクトル予測方法,動きベクトル予測装置および動きベクトル予測プログラム
US20120320984A1 (en) * 2011-06-14 2012-12-20 Minhua Zhou Inter-Prediction Candidate Index Coding Independent of Inter-Prediction Candidate List Construction in Video Coding
JP2013038747A (ja) * 2011-08-11 2013-02-21 Jvc Kenwood Corp 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2013042235A (ja) * 2011-08-11 2013-02-28 Jvc Kenwood Corp 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP2015510358A (ja) * 2012-02-08 2015-04-02 クゥアルコム・インコーポレイテッドQualcomm Incorporated Bスライス中の予測単位の単方向インター予測への制限
JP2015222980A (ja) * 2015-07-27 2015-12-10 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GUILLAUME LAROCHE, ET AL.: "Robust solution for the AMVP parsing issue", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) 5TH MEETING: GENEVA, vol. JCTVC-E219_r5.doc, JPN6018050167, 18 March 2011 (2011-03-18), ISSN: 0003943141 *
KEN MCCANN ET AL.: "Samsung's Response to the Call for Proposals on Video Compression Technology", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 1ST M, vol. JCTVC-A124_r2.doc, JPN6018050168, 23 April 2010 (2010-04-23), ISSN: 0003943142 *
TOSHIYASU SUGIO ET AL.: "Non-CE9/Non-CE13: Simplification on AMVP/Merge", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) 7TH MEETING: GENEVA, vol. JCTVC-G542_r2.doc, JPN6018050171, 28 November 2011 (2011-11-28), ISSN: 0003943143 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7460617B2 (ja) 2018-06-29 2024-04-02 北京字節跳動網絡技術有限公司 Lut更新条件
US11877002B2 (en) 2018-06-29 2024-01-16 Beijing Bytedance Network Technology Co., Ltd Update of look up table: FIFO, constrained FIFO
US11973971B2 (en) 2018-06-29 2024-04-30 Beijing Bytedance Network Technology Co., Ltd Conditions for updating LUTs
US11895318B2 (en) 2018-06-29 2024-02-06 Beijing Bytedance Network Technology Co., Ltd Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
KR102660666B1 (ko) * 2018-06-29 2024-04-26 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut들을 업데이트하기 위한 조건들
US11695921B2 (en) 2018-06-29 2023-07-04 Beijing Bytedance Network Technology Co., Ltd Selection of coded motion information for LUT updating
US11909989B2 (en) 2018-06-29 2024-02-20 Beijing Bytedance Network Technology Co., Ltd Number of motion candidates in a look up table to be checked according to mode
JP2021530939A (ja) * 2018-06-29 2021-11-11 北京字節跳動網絡技術有限公司Beijing Bytedance Network Technology Co., Ltd. Lut更新条件
US11706406B2 (en) 2018-06-29 2023-07-18 Beijing Bytedance Network Technology Co., Ltd Selection of coded motion information for LUT updating
KR20210025536A (ko) * 2018-06-29 2021-03-09 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut들을 업데이트하기 위한 조건들
US20210297659A1 (en) 2018-09-12 2021-09-23 Beijing Bytedance Network Technology Co., Ltd. Conditions for starting checking hmvp candidates depend on total number minus k
US11589071B2 (en) 2019-01-10 2023-02-21 Beijing Bytedance Network Technology Co., Ltd. Invoke of LUT updating
US11909951B2 (en) 2019-01-13 2024-02-20 Beijing Bytedance Network Technology Co., Ltd Interaction between lut and shared merge list
US11956464B2 (en) 2019-01-16 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Inserting order of motion candidates in LUT
US11962799B2 (en) 2019-01-16 2024-04-16 Beijing Bytedance Network Technology Co., Ltd Motion candidates derivation
US11641483B2 (en) 2019-03-22 2023-05-02 Beijing Bytedance Network Technology Co., Ltd. Interaction between merge list construction and other tools
CN114071159A (zh) * 2020-07-29 2022-02-18 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器及计算机可读存储介质

Also Published As

Publication number Publication date
JP6495835B2 (ja) 2019-04-03

Similar Documents

Publication Publication Date Title
JP6495835B2 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム
JP7225381B2 (ja) インター予測に基づいて、ビデオ信号を処理するための方法及び装置
JP7000565B2 (ja) ビデオコーディングのためのアフィン予測動き情報をコーディングすること
JP6378433B2 (ja) イントラbcとインター予測の統合のためのamvpおよびマージ候補リスト導出
JP6746620B2 (ja) ビデオコーディングのための照明補償ステータスを決定するシステムおよび方法
JP7358464B2 (ja) ビデオ符号化のための方法及び機器
JP2020205627A (ja) インタ予測方法及びその装置
KR102004836B1 (ko) 비디오 신호의 처리 방법 및 장치
JP7372327B2 (ja) ビデオ復号の方法及び機器、及びコンピュータプログラム
JP2020523853A (ja) 動きベクトル予測
JP2018530249A (ja) イントラブロックコピーマージモードおよび利用できないibc参照領域のパディング
KR20200054934A (ko) 변환 계수 스캔 방법 및 그 장치
JP7337166B2 (ja) アフィン履歴ベース動きベクトル予測子バッファにアクセスする方法及び装置並びにコンピュータプログラム
KR20210045387A (ko) 변형 행렬 선택의 계수에 따른 코딩
KR102550530B1 (ko) 서브블록 기반의 모션 보상을 이용한 비디오 신호 처리 방법 및 장치
KR102094436B1 (ko) 인터 예측 방법 및 그 장치
WO2013009104A2 (ko) 인터 예측 방법 및 그 장치
US20140044181A1 (en) Method and a system for video signal encoding and decoding with motion estimation
CN110832862B (zh) 解码端运动矢量导出的容错与并行处理
CN113383545A (zh) 视频编解码的方法和装置
CN112840645A (zh) 视频编码系统中组合多个预测子用于块预测的方法及装置
KR20220016266A (ko) 글로벌 모션 벡터에 기초한 병합 후보 재정렬기
TWI729497B (zh) 在視頻編解碼系統中組合多個預測子進行塊預測的方法和裝置
CN113170174B (zh) 视频编码系统中用于决定储存用运动向量的视频处理方法和装置
JP6694086B2 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190307

R150 Certificate of patent or registration of utility model

Ref document number: 6495835

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150