JP2014147129A - 奥行き信号の符号化 - Google Patents

奥行き信号の符号化 Download PDF

Info

Publication number
JP2014147129A
JP2014147129A JP2014100744A JP2014100744A JP2014147129A JP 2014147129 A JP2014147129 A JP 2014147129A JP 2014100744 A JP2014100744 A JP 2014100744A JP 2014100744 A JP2014100744 A JP 2014100744A JP 2014147129 A JP2014147129 A JP 2014147129A
Authority
JP
Japan
Prior art keywords
depth
image
partial
depth value
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2014100744A
Other languages
English (en)
Inventor
Pervin Bivas Panduit
パンディット,パーヴィン,ビバス
Peng Yin
イン,ペン
Dong Tian
ティアン,ドン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2014147129A publication Critical patent/JP2014147129A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/001Model-based coding, e.g. wire frame
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/543Motion estimation other than block-based using regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】奥行き信号の符号化を課題とする。
【解決手段】
一部の実施形態は、符号化パーティション全体の奥行き値代表の決定、供給、使用に関する。一般的な態様によると、画像の第1部分と関連し他の部分とは関連しない第1部分動きベクトルを用いて画像の第1部分を符号化する。第1部分動きベクトルは第1部分の符号化に用いられる基準画像中の対応部分を示す。第1部分は第1サイズを有する。第1部分全体の、他の部分のではない奥行き情報を供給する第1部分奥行き値を決定する。画像の第2部分と関連し他の部分とは関連しない第2部分動きベクトルを用いて画像の第2部分を符号化する。第2部分動きベクトルは第2部分の符号化に用いられる基準画像中の対応部分を示す。第2部分は第1サイズとは異なる第2サイズを有する。第2部分全体の、他の部分のではない奥行き情報を供給する第2部分奥行き値を決定する。
【選択図】図7

Description

符号化システムに関する実施形態を説明する。いろいろな具体的な実施形態は奥行き信号の符号化に関する。
マルチビュービデオ符号化(例えば、H.264/MPEG−4AVCその他の標準規格、及び非標準的アプローチのMVC拡張)は、自由視点及び3Dビデオアプリケーション、ホームエンターテイメント、及び監視を含む幅広いアプリケーションで使われるキーテクノロジである。奥行きデータは各ビューと関連付けられ例えば、ビュー合成に用いられる。これらのマルチビューアプリケーションでは、必要となるビデオと奥行きデータの量が一般的には膨大になる。よって、カレントビデオ符号化ソリューションの符号化効率を向上する役に立つフレームワークが望まれている。
[関連出願との相互参照]
本出願は、2008年4月25日に出願した米国仮出願第61/125,674号(発明の名称「奥行き信号の符号化」)の利益を主張するものである。前記出願の内容はその全体をここに参照援用する。
一般的な態様によると、画像の符号化した第1部分に関連し、前記画像の他の部分には関連しない第1部分動きベクトルを用いて、前記画像の第1部分を復号する。前記第1部分動きベクトルは前記第1部分の復号に用いる基準画像中の対応部分を示す。前記第1部分は第1サイズを有する。前記第1部分全体の、他の部分のではない奥行き情報を与える第1部分奥行き値を処理する。画像の符号化した第2部分に関連し、前記画像の他の部分には関連しない第2部分動きベクトルを用いて、前記画像の第2部分を復号する。前記第2部分動きベクトルは前記第2部分の復号に用いる基準画像中の対応部分を示す。前記第2部分は前記第1サイズとは異なる第2サイズを有する。前記第2部分全体の、他の部分のではない奥行き情報を与える第2部分奥行き値を処理する。
他の一般的な態様によると、ビデオ信号またはビデオ信号構造は次のセクションを含む。画像の符号化した第1部分の第1画像セクションであって、前記第1部分は第1サイズを有する第1画像セクション。第1部分奥行き値の第1奥行きセクションであって、前記第1部分奥行き値は前記第1部分全体の、他の部分のではない奥行き情報を与える第1奥行きセクション。前記画像の第1部分の符号化に用いる第1部分動きベクトルの第1動きベクトルセクションであって、前記第1部分動きベクトルは前記第1部分に関連し、前記画像の他の部分には関連しない、前記第1部分動きベクトルは前記第1部分の復号に用いる基準画像中の対応部分を示す、第1動きベクトルセクション。画像の符号化した第2部分の第2画像セクションであって、前記第2部分は前記第1サイズとは異なる第2サイズを有する第2画像セクション。第2部分奥行き値の第2奥行きセクションであって、前記第2部分奥行き値は前記第2部分全体の、他の部分のではない奥行き情報を与える第2奥行きセクション。前記画像の第2部分の符号化に用いる第2部分動きベクトルの第2動きベクトルセクションであって、前記第2部分動きベクトルは前記第2部分に関連し、前記画像の他の部分には関連しない、前記第2部分動きベクトルは前記第2部分の復号に用いる基準画像の対応部分を示す、第2動きベクトルセクション。
他の一般的な態様によると、前記画像の前記第1部分と関連し他の部分とは関連しない第1部分動きベクトルを用いて画像の第1部分を符号化する。前記第1部分動きベクトルは前記第1部分の符号化に用いられる基準画像中の対応部分を示す。前記第1部分は第1サイズを有する。前記第1部分全体の、他の部分のではない奥行き情報を供給する第1部分奥行き値を決定する。前記画像の前記第2部分と関連し他の部分とは関連しない第2部分動きベクトルを用いて画像の第2部分を符号化する。前記第2部分動きベクトルは前記第2部分の符号化に用いられる基準画像中の対応部分を示す。前記第2部分は前記第1サイズとは異なる第2サイズを有する。前記第2部分全体の、他の部分のではない奥行き情報を供給する第2部分奥行き値を決定する。前記符号化第1部分と前記第1部分奥行き値と前記符号化第2部分と前記第2部分奥行き値とを構造化フォーマットにアセンブルする。
1つ以上の実施形態の詳細を、添付した図面と以下の説明に示した。具体的に説明したが、言うまでもなく、実施形態はいろいろな態様で構成したり実施したりできる。例えば、一実施形態では、方法として実行したり、装置として実施したり(例えば、一組の動作を実行するように構成された装置や、一組の動作を実行する命令を格納した装置)、または信号として実施したりすることができる。その他の態様や特徴は、添付した図面と特許請求の範囲を参照して以下の詳細な説明を読めば明らかになるであろう。
符号化器の実施形態を示す図である。 復号器の実施形態を示す図である。 ビデオ送信システムの実施形態を示す図である。 ビデオ受信システムの実施形態を示す図である。 ビデオ処理デバイスの実施形態を示す図である。 時間的推定及びビュー間推定用の階層的B画像を有するマルチビュー符号化構成の実施形態を示す図である。 奥行き情報を有するマルチビュービデオを送受信するシステムの実施形態を示す図である。 奥行き(K=3)の3入力ビューから9出力ビュー(N=9)を生成するフレームワークの実施形態を示す図である。 奥行きマップの一例である。 1/4解像度と同等な奥行き信号の一例を示す図である。 1/8解像度と同等な奥行き信号の一例を示す図である。 1/16解像度と同等な奥行き信号の一例を示す図である。 第1の符号化プロセスの実施形態を示す図である。 第1の符号化プロセスの実施形態を示す図(図13Aの続き)である。 第1の復号プロセスの実施形態を示す図である。 第2の符号化プロセスの実施形態を示す図である。 第2の符号化プロセスの実施形態を示す図(図15Aの続き)である。 第2の復号プロセスの実施形態を示す図である。 第2の復号プロセスの実施形態を示す図(図16Bの続き)である。 第3の符号化プロセスの実施形態を示す図である。 第3の符号化プロセスの実施形態を示す図(図17Aの続き)である。 第3の復号プロセスの実施形態を示す図である。 第3の復号プロセスの実施形態を示す図(図18Aの続き)である。
少なくとも一実施形態では、奥行き信号を符号化するフレームワークを提案する。少なくとも一実施形態では、ビデオ信号の一部としてシーンの奥行き値を符号化することを提案する。ここに説明する少なくとも一実施形態では、奥行き信号をインター予測したマクロブロックの動きベクトルの追加コンポーネントとして扱う。少なくとも一実施形態では、イントラ予測したマクロブロックの場合、奥行き値を、イントラモードでの信号値として送信する。
このように、少なくとも幾つかの実施形態により解決される少なくとも1つの問題は、マルチビュービデオシーケンス(または、シングルビュービデオシーケンス)の奥行き信号の効率的符号化である。マルチビュービデオシーケンスは、異なる視点から同じシーンを撮影する、2つ以上のビデオシーケンスのセットである。ビュー合成を用いて中間ビューの生成をするために、シーンに加えて、各ビューの奥行き信号がある。
図1は、本発明の一実施形態による、本発明を適用できる符号化器100を示す。符号化器100は、変換器110の入力と信号通信できるように接続された出力を有する合成器105を含む。変換器110の出力は、量子化器115の入力と信号通信できるように接続されている。量子化器115の出力は、エントロピ符号化器120の入力及び逆量子化器125の入力と信号通信できるように接続されている。逆量子化器125の出力は、逆変換器130の入力と信号通信できるように接続されている。逆変換器130の出力は、合成器135の第1の非反転入力と信号通信できるように接続されている。合成器135の出力は、イントラ推定器145の入力及びデブロッキングフィルタ150の入力と信号通信できるように接続されている。デブロッキングフィルタ150例えば、マクロブロックの境界のアーティファクトを除去する。デブロッキングフィルタ150の第1の出力は、(時間的推定用)基準画像記憶部155の入力、及び(ビュー間推定用)基準画像記憶部160の第1の入力と信号通信できるように接続されている。基準画像記憶部155の出力は、動き補償器175の第1の入力及び動き推定器180の第1の入力と信号通信できるように接続されている。動き推定器180の出力は、動き補償器175の第2の入力と信号通信できるように接続されている。基準画像記憶部160の第1の出力は、不一致推定器170の第1の入力と信号通信できるように接続されている。基準画像記憶部160の第2の出力は、不一致補償器165の第1の入力と信号通信できるように接続されている。不一致推定器170の出力は、不一致補償器165の第2の入力と信号通信できるように接続されている。
エントロピ復号器120の出力と、モード決定モジュール122の第1の出力と、奥行き推定・符号化器163の出力とは、それぞれ符号化器100の出力として、ビットストリームの出力に利用できる。画像/奥行きパーティショナの入力は、符号化器への入力として、ビューiの画像及び奥行きデータの受信に利用できる。
動き補償器175の出力は、スイッチ185の第1の入力と信号通信できるように接続されている。不一致補償器165の出力は、スイッチ185の第2の入力と信号通信できるように接続されている。イントラ推定器145の出力は、スイッチ185の第3の入力と信号通信できるように接続されている。スイッチ185の出力は、合成器105の反転入力、及び合成器135の第2の非反転入力と信号通信できるように接続されている。モード決定モジュール122の第1の出力は、スイッチ185にどの入力が供給されているか判断する。モード決定モジュール122の第2の出力は、奥行き推定・符号化器163の第2の入力と信号通信できるように接続されている。
画像/奥行きパーティショナ161の第1の出力は、奥行き代表計算器162の入力と信号通信できるように接続されている。奥行き代表計算器162の出力は、奥行き推定・符号化器163の第1の入力と信号通信できるように接続されている。画像/奥行きパーティショナ161の第2の出力は、合成器105の非反転入力と、動き補償器175の第3の入力と、動き推定器180の第2の入力と、不一致推定器170の第2の入力と信号通信できるように接続されている。
図1は、部分的に、符号化器、符号化部、またはアクセス部(例えば、ブロック110、115、120)として、個別的に、または集合的に参照される。同様に、ブロック125、130、135、150は、例えば、復号器または復号部として、個別的に、または集合的に参照される。
図2は、本発明の一実施形態による、本発明を適用できる復号器200を示す。復号器200は、逆量子化器210の入力と信号通信できるように接続された出力を有するエントロピ復号器205を含む。逆量子化器の出力は、逆変換器215の入力と信号通信できるように接続されている。逆変換器215の出力は、合成器220の第1の非反転入力と信号通信できるように接続されている。合成器220の出力は、デブロッキングフィルタ225の入力及びイントラ推定器230の入力と信号通信できるように接続されている。デブロッキングフィルタ225の第1の出力は、(時間的推定用)基準画像記憶部240の入力、及び(ビュー間推定用)基準画像記憶部245の第1の入力と信号通信できるように接続されている。基準画像記憶部240の出力は、動き補償器235の第1の入力と信号通信できるように接続されている。基準画像記憶部245の出力は、不一致補償器250の第1の入力と信号通信できるように接続されている。
ビットストリーム受信器201の出力は、ビットストリームパーサ202の入力と信号通信できるように接続されている。ビットストリームパーサ202の第1の出力(残差ビットストリーム出力用)は、エントロピ復号器205の入力と信号通信できるように接続されている。ビットストリームパーサ202の第2の出力(スイッチ255がどの入力を選択するか制御する制御シンタックス出力用)は、モード選択器222の入力と信号通信できるように接続されている。ビットストリームパーサ202の第3の出力(動きベクトル出力用)は、動き補償器235の第2の入力と信号通信できるように接続されている。ビットストリームパーサ202の第4の出力(不一致ベクトル及び/または照明オフセット出力用)は、不一致補償器250の第2の入力と信号通信できるように接続されている。ビットストリームパーサ202の第5の出力(奥行き情報出力用)は、奥行き代表計算器211の入力と信号通信できるように接続されている。言うまでもなく、照明オフセットは任意的入力であり、実施形態によって使ったり使わなかったりする。
スイッチ255の出力は、合成器220の第2の非反転入力と信号通信できるように接続されている。スイッチ255の第1の入力は、不一致補償器250の出力と信号通信できるように接続されている。スイッチ255の第2の入力は、動き補償器235の出力と信号通信できるように接続されている。スイッチ255の第3の入力は、イントラ推定器230の出力と信号通信できるように接続されている。モードモジュール222の出力は、スイッチ255と信号通信できるように接続され、スイッチ255がどの入力を選択するか制御する。デブロッキングフィルタ225の第2の出力は、復号器200の出力として利用可能である。
奥行き代表計算器211の出力は、奥行きマップ再構成器212の入力と信号通信できるように接続されている。奥行きマップ再構成器212の出力は、復号器200の出力として利用できる。
図2は、部分的に、例えば、データまたは情報へのアクセスを提供するビットストリームパーサ202及びその他のブロックなどのアクセス部として、個別的に、または集合的に参照できる。同様に、ブロック205、210、215、220、225は、例えば、復号器または復号部として個別的に、または集合的に、参照できる。
図3は、本発明の一実施形態による、本発明を適用できるビデオ送信システム300を示す。ビデオ送信システム300は、例えば、衛星、ケーブル、電話線、地上波放送などのいろいろな媒体を用いて信号を送信する、例えば、ヘッドエンドや送信システムである。送信はインターネットその他のネットワークにより行うことができる。
ビデオ送信システム300は、いろいろなモードを用いて符号化したビデオコンテンツを生成して配信できる。これは、例えば、奥行き情報を含む、または、例えば、復号器を有する受信側で奥行き情報の合成に用いることができる情報を含む符号化信号を生成することにより実現できる。
ビデオ送信システム300は、符号化器310と、符号化信号を送信できる送信器320とを含む。符号化器310は、ビデオ情報を受信し、それから符号化信号を生成する。符号化器310は、例えば、上記の符号化器300である。符号化器310は、例えば、いろいろな情報を受信して記憶または送信用の構造化フォーマットにアセンブルするアセンブリ部を含むサブモジュールを含む。いろいろな情報は、例えば、符号化または非符号化ビデオ、符号化または非符号化奥行き情報、符号化または非符号化要素(例えば、動きベクトル、符号化モードインジケータ、シンタックス要素)を含む。
送信器320は、例えば、符号化画像を表す1つ以上のビットストリーム、及び/またはそれに関する情報を有する番組信号を送信するように構成される。典型的な送信器は、エラー訂正符号化、信号中のデータのインターリーブ、信号中のエネルギーのランダム化、信号のキャリアへの変調などの機能を実行する。送信器は、アンテナ(図示せず)を含むか、インタフェースしていてもよい。したがって、送信器320の実施形態は、変調器を含むか、それに限定されてもよい。
図4は、本発明の一実施形態による、本発明を適用できるビデオ受信システム400を示す。ビデオ受信システム400は、例えば、衛星、ケーブル、電話線、地上波放送などのいろいろな媒体で信号を受信するように構成される。信号は、インターネットその他のネットワークで受信してもよい。
ビデオ受信システム400は、例えば、携帯電話、コンピュータ、セットトップボックス、テレビジョン、その他の符号化ビデオを受信して、例えば、ユーザに表示するか記憶する復号ビデオを出力するデバイスである。このように、ビデオ受信システム400は、その出力を、例えば、テレビジョン画面、コンピュータモニタ、コンピュータ(記憶、処理、または表示のため)、またはその他の記憶、処理、または表示デバイスに出力する。
ビデオ受信システム400は、ビデオ情報を含むビデオコンテンツを受信して処理できる。ビデオ受信システム600は、本願の実施形態に説明した信号などの符号化信号を受信する受信器410と、受信信号を復号する復号器420とを含む。
受信器410は、例えば、符号化画像を表す複数のビットストリームを有する番組信号を受信するように構成される。典型的な受信器は、例えば、1つ以上の符号化され変調されたデータ信号の受信、キャリアからのデータ信号の復調、信号中のエネルギーの逆ランダム化、信号中のデータの逆インターリーブ、信号のエラー訂正復号などの機能を実行する。受信器410アンテナ(図示せず)を含む、またはインタフェースする。受信器410の実施形態は、復調器を含む、またはそれに限定される。
復号器420は、ビデオ情報と奥行き情報とを含むビデオ信号を出力する。復号器420は、例えば、上記の復号器400である。
図5は、本発明の一実施形態による、本発明を適用できるビデオ処理装置500を示す。ビデオ処理装置500例えば、符号化ビデオを受信し、例えば、ユーザへの表示や記憶用の復号ビデオを供給するセットトップボックスその他の装置である。このように、ビデオ処理装置500は、その出力を、テレビジョン、コンピュータモニタ、コンピュータ、その他の処理装置に供給する。
ビデオ処理装置500フロントエンド(FE)装置505と復号器510とを含む。フロントエンド装置505は、例えば、符号化画像を表す複数のビットストリームを有する番組信号を受信し、複数のビットストリームから復号する1つ以上のビットストリームを選択するように構成された受信器である。典型的な受信器例えば、符号化され変調されたデータ信号の受信、データ信号の復号、データ信号の符号化の復号(例えば、チャンネル符号化及び/またはソース符号化)、及び/またはデータ信号のエラー訂正のうち1つ以上などの機能を実行する。フロントエンド装置505は、例えば、アンテナ(図示せず)から番組信号を受信する。フロントエンド装置505は、受信データ信号を復号器510に供給する。
復号器510は、データ信号520を受信する。データ信号520は、例えば、アドバンスビデオ符号化(AVC)、スケーラブルビデオ符号化(SVC)、またはマルチビュービデオ符号化(MVC)互換ストリームのうち1つ以上を含む。復号器510受信信号520の全部または一部を復号し、出力として復号ビデオ信号530を供給する。復号ビデオ530は、選択器550に供給される。装置500は、ユーザ入力570を受信するユーザインタフェース560も含む。ユーザインタフェース560は、ユーザ入力570に基づいて、画像選択信号580を選択器550に供給する。画像選択信号580とユーザ入力570とは、複数の画像、シーケンス、スケーラブルバージョン、ビュー、その他の利用可能復号データの選択のうちどれをユーザが表示したいか示す。選択器550は、選択した画像を出力590として供給する。選択器550は、画像選択情報580を用いて、復号ビデオ530中のどの画像を出力590として供給するか選択する。
いろいろな実施形態において、選択器550は、ユーザインタフェース560を含み、他の実施形態において、ユーザインタフェース560は必要ない。選択器550別にインタフェース機能を実行せずに、ユーザ入力570を直接受信するからである。選択器550は、例えば、ソフトウェアで、または集積回路として実施できる。一実施形態において、選択器550は復号器510に組み込まれ、他の一実施形態において、復号器510と選択器550とユーザインタフェース560とはすべて一体となっている。
一アプリケーションにおいて、フロントエンド505は、いろいろなテレビジョン番組の放送を受信し、処理するものを選択する。番組選択は、視聴したチャンネルのユーザ入力に基づく。フロントエンド装置505へのユーザ入力は図5には図示しないが、フロントエンド装置505はユーザ入力570を受信する。フロントエンド505は、放送を受信し、放送スペクトルの関連部分を復調し、復調した番組の外部符号化(outer encoding)を復号して、所望の番組を処理する。フロントエンド505は、復号器510で復号した番組を供給する。復号器510は、装置560と550を含む一体ユニット(integrated unit)である。復号器510は、このように、ユーザ入力を受信する。ユーザ入力は、ユーザが供給した、番組中の視聴したいビューの表示である。復号器510は、選択したビューと、他のビューからの要求した参照画像とを復号し、テレビジョン(図示せず)に表示する復号したビュー590を供給する。
上記のアプリケーションについて、ユーザは、表示されるビューの切り替えを望み、復号器510に新しい入力を供給する。ユーザから「ビュー変更」を受け取ると、復号器510は、古いビューと新しいビューを両方とも、及び古いビューと新しいビューの間にある任意のビューを復号する。すなわち、復号器510は、物理的に、古いビューを撮っているカメラと新しいビューを撮っているカメラとの間にあるカメラで撮られた任意のビューを復号する。フロントエンド装置505は、古いビュー、新しいビュー、及びその間のビューを識別する情報も受信する。かかる情報は、例えば、ビューのロケーションに関する情報を有するコントローラ(図5には図示せず)、または復号器510により供給される。他の実施形態では、フロントエンド装置と一体のコントローラを有するフロントエンド装置を用いてもよい。
復号器510は、出力590としてすべての復号したビューを供給する。後処理器(図5には図示せず)は、ビューを補間し、古いビューから新しいビューに滑らかに移行させ、この移行をユーザに表示する。新しいビューへの移行後、後処理器は、(図示しない通信リンクにより)復号器510とフロントエンド装置505に、新しいビューのみが必要であることを通知する。その後、復号器510は、新しいビューのみを出力590として供給する。
システム500を用いて、画像シーケンスの複数のビューを受信し、表示用の単一ビューを表示し、いろいろなビューを滑らかに切り替える。滑らかな切り替えには、ビューを補間して、他のビューに移ることを含む。また、システム500により、ユーザは、オブジェクトまたはシーンを回転し、またはオブジェクトまたはシーンの3次元表示を見る。オブジェクトの回転は、例えば、ビューからビューへの移動と、ビュー間を滑らかに移行するための、または単に3次元表示を得るためのビュー間の補間に相当する。すなわち、ユーザは、補間したビューを、表示する「ビュー」として「選択」できる。
マルチビュービデオ符号化(例えば、H.264/MPEG−4 AVC、その他の標準規格、及び非標準アプローチへのMVC拡張)は、自由視点・3次元ビデオアプリケーション、ホームエンターテイメント、及び監視など幅広いアプリケーションに係わるキーテクノロジである。また、奥行きデータは一般的には各ビューに付随している。奥行きデータは、例えば、ビュー合成に用いられる。これらのマルチビューアプリケーションでは、一般的に、関係するビデオと奥行きデータの量は膨大である。そのため、例えば、独立したビューのサイマルキャストを実行する現在のビデオ符号化ソリューションの符号化効率を向上する役に立つフレームワークが望まれている。
マルチビュービデオソースは、同じシーンの複数のビューを含むので、複数のビュー画像の間には高い相関がある。それゆえ、ビューの冗長性は、時間的冗長性に加えて利用でき、異なるビューにわたるビュー予測を行うことにより、実現する。
実際的なシナリオでは、マルチビュービデオシステムは、まばらに配置したカメラを用いてシーンを撮影し、これらのカメラ間のビューは、利用可能な奥行きデータとビュー合成/補間により取得したビューとを用いて生成できる。
また、一部のビューは奥行き情報のみを有し、これらのビューの画素値は後で関連する奥行きデータを用いて復号器で合成される。奥行きデータを用いて中間仮想ビューを生成することもできる。奥行きデータはビデオ信号と送信されるので、データ量は増大する。そのため、奥行きデータを効率的に圧縮することが望ましい。
奥行き圧縮にはいろいろな方法を用いることができる。例えば、一方法では、奥行きが異なればその重要度も異なることを反映するため、関心領域(ROI)ベースの符号化と奥行きのダイナミックレンジのリシェーピングを用いる。他の一方法では、奥行き信号の三角メッシュ表示を用いる。他の一方法では、層状(レイヤ)奥行き画像の圧縮方法を用いる。他の一方法では、ウェーブレット領域における奥行きマップの符号化方法を用いる。カラービデオでは、階層予測構造とビュー間推定が有用であることは周知である。図6に示したように、階層予測構造を伴うビュー間推定を、奥行きマップシーケンスの符号化に追加的に適用できる。具体的に、図6は、時間的及びビュー間推定の両方に対する階層的Bピクチャを伴うマルチビュー符号化構造を示す図である。図6において、左から右、あるいは右から左に行く矢印は時間的推定を示し、上から下、あるいは下から上に行く矢印はビュー間推定を示す。
奥行きシーケンスをカラービデオとは独立に符号化するよりも、実施形態では、対応するカラービデオからの動き情報を再利用することができる。奥行きシーケンスは同じ時間的動きをすることが多いので、これは有用である。
FTV(自由視点TV)は、マルチビュービデオと奥行き情報の符号化表示を含み、受信器における高画質中間ビューの生成をターゲットとするフレームワークである。これにより、自由視点機能と自動マルチスコーピックディスプレイ用のビュー生成が可能になる。
図7は、本発明の一実施形態による、本発明を適用できる、奥行き情報を有するマルチビュービデオを送受信するシステム700を示す。図7において、ビデオデータは実線で示し、奥行きデータは破線で示し、メタデータは点線で示した。システム700は、例えば、自由視点テレビジョンシステムであるが、これに限定はされない。送信器側710において、システム700は、複数のソースのそれぞれから1つ以上のビデオ、奥行き、及びメタデータを受信する複数の入力を有する、3次元(3D)コンテンツプロデューサ720を含む。かかるソースは、ステレオカメラ111、奥行きカメラ712、マルチカメラセットアップ713、及び2次元/3次元(2D/3D)変換プロセス714を含むが、これに限定されない。1つ以上のネットワーク730を用いて、マルチビュービデオ符号化(MVC)とデジタルビデオ放送(DVB)に関する1つ以上のビデオ、奥行き、及びメタデータを送信する。
受信器側740では、奥行き画像ベースのレンダラ750が、奥行き画像ベースのレンダリングを実行し、その信号をいろいろなタイプのディスプレイに投影する。このアプリケーションシナリオは、狭角撮影(<20度)などの具体的な制約を加えてもよい。奥行き画像ベースのレンダラ750は、ディスプレイ設定情報とユーザ嗜好を受け取ることができる。奥行き画像ベースのレンダラ750の出力は、2Dディスプレイ761、マルチビュー3Dディスプレイ762、及び/またはヘッドトラック型ステレオディスプレイ763の1つ以上に供給し得る。
送信されるデータ量の低減を目的として、カメラ(V1、V2、...、V9)の密なアレイをサブサンプリングして、実際にはカメラの粗なセットのみがシーンを撮影する。図8は、本発明の一実施形態による、本発明を適用できる、奥行き(K=3)の3入力ビューから9出力ビュー(N=9)を生成するフレームワーク800を示す。フレームワーク800は、自動ステレオスコーピック3Dディスプレイ810を含み、これは、複数のビューの出力、第1の奥行き画像ベースのレンダラ820、第2の奥行き画像ベースのレンダラ830、及び復号データ用バッファ840をサポートする。復号データは、マルチプルビュー・プラス・奥行き(MVD)データとして知られた表示である。9つのカメラはV1からV9で表す。3入力ビューの対応する奥行きマップは、D1、D5、及びD9で表す。撮影したカメラ位置(例えば、Pos1、Pos2、Pos3)の間にあるどの仮想的カメラ位置も、図8に示したように、利用可能な奥行きマップ(D1、D5、D9)を用いて生成できる。
ここで説明する少なくとも一実施形態では、奥行き信号の符号化効率を向上する問題の解決を提案する。
図9は、本発明の一実施形態による、本発明を適用できる奥行きマップ900を示す。具体的に、奥行きマップ900はビュー0のものである。図9から分かるように、奥行き信号は、多くの領域で比較的平坦であり(グレーシェードは奥行きを表し、一定のシェードは一定の奥行きを表す)。これは、多くの領域の奥行き値が大幅には変化しないことを意味している。画像には多くの滑らかなエリアがある。結果として、奥行き信号は、異なる領域では異なる解像度で符号化できる。
奥行き画像を生成するため、一方法では、最初に不一致画像を計算し、投影行列に基づいて奥行き画像に変換する。一実施形態において、不一致の不一致画像への単純な線形写像は次式で表される:
Figure 2014147129
ここでdは不一致であり、dminとdmaxは不一致範囲であり、Yは不一致画像の画素値である。この実施形態では、不一致画像の画素値は、0と255の間(両端を含む)に入る。
奥行きと不一致との関係は、以下の仮定をおくことにより、次の数式に単純化できる。(1)カメラは1Dで平行に配置する;(2)マルチビューシーケンス十分対角化されている、すなわち、すべてのビューで回転行列が同じであり、すべてのビューで焦点距離が同じであり、すべてのビューの主点がベースラインに平行な線に沿っている;(3)すべてのカメラ座標のx軸はベースラインに沿っている。次式により3D点とカメラ座標との間の奥行き値を計算する:
Figure 2014147129
ここで、fは焦点距離、lはベースラインに沿った並進、duはベースラインに沿った主点間の差である。
数式(2)から、不一致画像はその奥行き画像と同じであることが分かり、真の奥行き値を次式で求めることができる:
Figure 2014147129
ここで、Yは不一致/奥行き画像の画素値であり、ZnearとZfarは奥行きレンジであり、次式で計算できる:
Figure 2014147129
数式(1)に基づく奥行き画像は、各画素の奥行きレベルと真の奥行き値を数式(3)を用いて求めることができる。真の奥行き値を再構成するため、復号器は奥行き画像自体に加えてZnearとZfarとを用いる。この奥行き値は3D再構成に用いることができる。
従来のビデオ符号化では、画像は複数のマクロブロック(MB)により構成されている。各MBは特定の符号化モードで符号化される。モードはインターモードまたはイントラモードである。また、マクロブロックサブマクロブロックモードに分離することもできる。AVC標準を考えると、イントラ16×16、イントラ4×4、イントラ8×8、インター16×16からインター4×4まで、複数のマクロブロックモードがある。一般的に、平坦な領域や大きなオブジェクトには大きなパーティションが使われる。オブジェクト境界や細かいテクスチャには小さなパーティションが多く使われる。各イントラマクロブロックは関連するイントラ予測モードを有し、インターマクロブロックは動きベクトルを有する。各動きベクトルは、2つの成分xとyを有し、これは基準画像におけるカレントマクロブロックの偏移を表す。この動きベクトルは一画像から他の画像へのカレントマクロブロックの動きを表す。基準画像がインタービュー画像であるとき、動きベクトルは不一致を表す。
少なくとも一実施形態では、(インターマクロブロックの場合)動きベクトルの2成分(mvx, mvy)に加えて、カレントマクロブロックまたはサブマクロブロックの奥行きを表す追加的成分(奥行き)を送信することを提案する。イントラマクロブロックの場合、イントラ予測モードに加えて、追加的奥行き信号を送信する。送信する奥行き信号の量は、マクロブロックタイプ(16×16、16×8、8×16、...、4×4)に応じて決まる。その背景にある理由は、一般的に、平坦な領域には解像度が非常に低い奥行きでよく、オブジェクト境界には解像度が高い奥行きが必要となる。これは動きパーティションの特性と一致する。奥行き信号中のオブジェクト境界は、(特に低い奥行きレンジでは)ビデオ信号中のオブジェクト境界と相関を有する。このように、ビデオ信号のこれらのオブジェクト境界を符号化するために選択されたマクロブロックモード対応する奥行き信号にとっても適当であることが期待できる。ここに説明する少なくとも1つの実施形態により、特にオブジェクト境界においてはビデオ信号の特徴に密接に結びついた奥行き信号の特徴に基づいて、奥行きの解像度を適応的に符号化できる。奥行き信号を復号してから、奥行き信号をフル解像度に補間して戻す。
奥行き信号が、低い解像度にサブサンプリングされ、次にアップサンプリングされた時に、どう見えるかの例を図10、11、及び12に示した。具体的に、図10は、1/4解像度と同等な奥行き信号1000を示す図である。図11は、1/8解像度と同等な奥行き信号1100を示す図である。図12は、1/16解像度と同等な奥行き信号1200を示す図である。
図13(図13A、B)と図14は、奥行き信号を含むビデオデータをそれぞれ符号化と復号する方法の例を示す。
具体的に、図13は、本発明の一実施形態による、奥行き信号を含むビデオデータを符号化する方法1300を示すフロー図である。ステップ1303において、符号化器設定ファイルを読み、各ビューの奥行きデータが利用可能になる。ステップ1306において、アンカー及び非アンカー画像基準SPS拡張に設定する。ステップ1309において、Nをビューの数に設定し、変数iとjを0の初期化する。ステップ1312において、i<Nであるかどうか判断する。そうであれば、制御をブロック1315に渡す。そうでなければ、制御をブロック1339に渡す。
ステップ1315において、j<ビューi中の画像数(num)であるかどうか判断する。そうであれば、制御をブロック1318に渡す。そうでなければ、制御をブロック1351に渡す。
ステップ1318において、カレントマクロブロックの符号化を開始する。ステップ1321において、マクロブロックモードをチェックする。ステップ1324において、カレントマクロブロックを符号化する。ステップ1327において、画素複製または複素フィルタリングのどちらかを用いて、奥行き信号を再構成する。ステップ1330において、すべてのマクロブロックが符号化されたかどうか判断する。そうであれば、制御をブロック1333に渡す。そうでなければ、制御をステップ1315に返す。
ステップ1333において、変数jをインクリメントする。ステップ1336において、frame_numとPOCをインクリメントする。
ステップ1339において、SPS1 PPS1及び/またはVPSをインバンド(in-band)でシグナリングするかどうか判断する。そうであれば、制御をブロック1342に渡す。そうでなければ、制御をブロック1345に渡す。
ステップ1342において、SPS1 PPS及び/またはVPSをインバンド(in-band)でシグナリングする。
ステップ1345において、SPS、PPS、及び/またはVPSをアウトオブバンド(out-of-band)でシグナリングする。
ステップ1348において、ビットストリームをファイルに書き込むか、ネットワークを介してストリーミングする。符号化器310のところで説明したようなアセンブリ部を用いてビットストリームをアセンブル及び書き込みしてもよい。
ステップ1351において、変数iをインクリメントし、frame_numとPOCをリセットする。
図14は、本発明の一実施形態による、奥行き信号を含むビデオデータを復号する方法1400を示すフロー図である。ステップ1403において、view_idを、SPS、PPS、VPS、スライスヘッダ及び/またはネットワークアブストラクションレイヤ(NAL)ユニットヘッダから解析する。ステップ1406において、他のSPSパラメータを解析する。ステップ1409において、カレント画像の復号が必要か判断する。そうであれば、制御をブロック1412に渡す。そうでなければ、制御をブロック1448に渡す。
ステップ1412において、POC(curr)!=POC(prev)であるかどうか判断する。そうであれば、制御をブロック1415に渡す。そうでなければ、制御をブロック1418に渡す。
ステップ1415において、view_numを0に設定する。
ステップ1418において、viewjd情報を高レベルでインデックスして、ビュー符号化順序を決定し、view_numをインクリメントする。
ステップ1421において、カレント画像(pic)が期待した符号化順序であるかどうか判断する。そうであれば、制御をブロック1424に渡す。そうでなければ、制御をブロック1251に渡す。
ステップ1424において、スライスヘッダを解析する。ステップ1427において、マクロブロック(MB)モード、動きベクトル(mv)、refjdx、及びdepthdを解析する。ステップ1430において、カレントブロックの奥行き値を、depthdに基づき再構成する。ステップ1433において、カレントマクロブロックを復号する。ステップ1436において、再構成した奥行きを、画素複製または複素フィルタリングで場合によってはフィルタする。ステップ1436で、再構成した奥行き値を用いて、任意的に画素ごとの奥行きマップを求める。ステップ1436例えば、その奥行き値をそれに関連するすべての画素に対して繰り返したり、既知の方法で奥行き値をフィルタ(外挿と補間を含む)したりする演算を用いる。
ステップ1439において、すべてのマクロブロックを処理した(復号した)かどうか判断する。そうであれば、制御をブロック1442に渡す。そうでなければ、制御をステップ1427に返す。
ステップ1442において、カレント画像と再構成した奥行きを復号画像バッファ(DPB)に挿入する。ステップ1445において、すべての画像を復号したかどうか判断する。そうであれば、復号を終了する。そうでなければ、制御をステップ1424に返す。
ステップ1448において、次の画像を取得する。
ステップ1451において、カレント画像を隠す。
実施形態1:
第1の実施形態では、復号器のスライスレイヤ、マクロブロックレイヤ、及びサブマクロブロックシンタックスに対する修正を表1、表2、及び表3にそれぞれ示した。表から分かるように、各マクロブロックタイプには関連する奥行き値がある。表1-3の一部を斜体字で強調した。ここで、どのように奥行きをマクロブロックタイプに送るか説明する。
Figure 2014147129
Figure 2014147129
Figure 2014147129
大まかに言って、AVCには2つのマクロブロックタイプがある。1つのマクロブロックタイプはイントラマクロブロックであり、他のマクロブロックタイプはインターマクロブロックである。これら2つはそれぞれ、複数の異なるサブマクロブロックモードにさらに分割される。
イントラマクロブロック
イントラマクロブロックの符号化を考える。イントラマクロブロックはイントラ4×4、イントラ8×8、またはイントラ16×16タイプであり得る。
イントラ4×4
マクロブロックタイプがイントラ4×4である場合、イントラ4×4予測モードの符号化に用いたのと同様の方法を用いる。表2から分かるように、各4×4ブロックの奥行きをシグナリングする2つの値を送信する。2シンタックスのセマンティックスは次のように規定される:
prev_depth4×4_pred_mode_flag[luma4×4Blkldx]とrem_depth4×4[luma4×4Blkldx]は、インデックスluma4×4Blkldx = 0..15である4×4ブロックの奥行き予測を規定する。
Depth4×4[luma4×4Blkldx]は次の手順の適用により求める。
predDepth4×4=Min(depthA, depthB)、
mbAがなければ、predDepth4×4 = depthB
mbBがなければ、predDepth4×4 = depthA
mbAとmbBがなければ、predDepth4×4 = 128
if(prev_depth4×4_pred_mode_flag[luma4×4Blkldx])
Depth4×4[luma4×4Blkldx] = predDepth4×4
else
Depth4×4[luma4×4Blkldx] = predDepth4×4 + rem_depth4×4[luma4×4Blkldx]
ここで、depthAは左隣のMBの再構成した奥行き信号であり、depthBは上となりのMBの再構成した奥行き信号である。
イントラ8×8
イントラ8×8予測モードのマクロブロックに、4×4を8×8で置き換えて、同様のプロセスを適用する。
イントラ16×16
イントラ16×16イントラ予測モードの場合、1つのオプションは、カレントマクロブロックの奥行き信号を明示的に送信することである。これを表2に示す。
この場合、表2のシンタックスは、次のセマンティックスを有する:
depthd[0][0]は、カレントマクロブロックに用いる奥行き値を規定する。
他の一オプションは、イントラ4×4予測モードと同様に隣接する奥行き値を比較した差分値を送信することである。
イントラ16×16予測モードでマクロブロックの奥行き値を求めるプロセスは次のようになる:
predDepth16×16 = Min(depthA, depthB)
mbAが無ければ、predDepth16×16 = depthB
mbBが無ければ、predDepth 16×16 = depthA
mbAとmbBが無ければ、predDepth16×16 = 128
depth 16×16 = predDepth16×16 + depthd[0][0]
この場合、表2のシンタックスのセマンティックスは、次のように規定される:
depthd[0][0]は、カレントマクロブロックの、使用する奥行き値とその予測の間の差を規定する。
インターマクロブロック
AVC仕様において規定されたインターマクロブロック及びサブマクロブロックモードには複数のタイプがある。そこで、各場合に奥行きがどう送信されるか規定する。
ダイレクトMBまたはスキップMB
スキップマクロブロックの場合、マクロブロックに関連するデータは他にないから、1つのフラグのみを送信する。すべての情報は空間的近傍から求める(ただし、使用しない残差は除く)。ダイレクトマクロブロックの場合、残差情報のみを送信し、他のデータは空間的または時間的近傍のいずれかから求める。これら2つのモードでは、奥行き信号の回復に2つのオプションがある。
オプション1
奥行き差を明示的に送信できる。これを表1に示した。奥行きは、予測イントラ16×16モードと同様に予測を用いて近傍から回復する。
奥行き値の予測(predDepthSkip)は、AVC仕様において動きベクトル予測のために規定されたプロセスと同様のプロセスを次のようにたどる:
DepthSkip = predDepthSkip + depthd[0][0]
この場合、表2のシンタックスのセマンティックスは次のように規定する:
depthd[0][0]は、カレントマクロブロックについて使用する奥行き値とその予測との間の差である。
オプション2
あるいは、マクロブロックの奥行きとして、予測信号を使ってもよい。そうすれば、奥行き差を送信しなくて済む。例えば、表1のdepthd[0][0]の明示的シンタックス要素を回避できる。
よって、次の通りとなる:
DepthSkip = predDepthSkip
インター16×16、16×8、8×16MB
これらのインター予測モードの場合、各パーティションの奥行き値を送信する。これは表2に示した。シンタックスdepthd[mbPartldx][0]をシグナリングする。
パーティションの最後の奥行きは次式で求める:
DepthSkip = predDepthSkip + depthd[mbPartldx][0]
ここで、奥行き値の予測(predDepthSkip)は、AVC仕様において動きベクトル予測に対して規定したプロセスと同様のプロセスに従う。
depthd[mbPartldx][0]のセマンティックスは次のように規定される:
depthd[mbPartldx][0]は、使用する奥行き値とその予測との間の差を規定する。インデックスmbPartldxは、どのマクロブロックパーティションにdepthdを割り当てるか規定する。マクロブロックのパーティショニングはmb_typeにより規定される。
サブMBモード(8×8、8×4、4×8、4×4)
これらのインター予測モードの場合、各パーティションの奥行き値を送信する。これは表3に示した。シンタックスdepthd[mbPartldx][subMbPartldx]をシグナリングする。
パーティションの最後の奥行きは次式で求める:
DepthSkip = predDepthSkip + depthd[mbPartldx][subMbPartldx]
ここで、奥行き値の予測(predDepthSkip)は、AVC仕様において、動きベクトル予測に対して規定されたプロセスと同様のプロセスに従う。
depthd[mbPartldx][subMbPartldx]のセマンティックスは、次のように規定される:
depthd[mbPartldx][subMbPartldx]は、使用する奥行き値とその予測との間の差を規定する。subMbPartldxを有するサブマクロブロックパーティションインデックスに適用される。インデックスmbPartldxとsubMbPartldxは、depthdがマクロブロックパーティションとサブマクロブロックパーティションのどちらに割り当てられたか規定する。
図15(図15A、B)と16(図16A、B)は、実施形態1による、奥行き信号を含むビデオデータを符号化と復号する方法の例を示す。
具体的に、図15は、第1の実施形態による奥行き信号を含むビデオデータの符号化方法1500を示すフロー図である(実施形態1)。ステップ1503において、マクロブロックモードをチェックする。ステップ1506において、イントラ4×4、イントラ16×16、及びイントラ8×8モードをチェックする。ステップ1509において、カレントスライスがIスライスであるかどうか判断する。そうであれば、制御をブロック1512に渡す。そうでなければ、制御をブロック1524に渡す。
ステップ1512において、best mode == イントラ16×16であるかどうか判断する。そうであれば、制御をブロック1515に渡す。そうでなければ、制御をブロック1533に渡す。
ステップ1515において、奥行き予測子をMin(depthA, depthB)、depthA、depthBまたは128に設定する。ステップ1518において、depthd[0][0]を、そのロケーションの奥行きの絶対値、または奥行き値と予測子との差に設定する。ステップ1521において、リターンする。
ステップ1524において、カレントスライスがPスライスであるかどうか判断する。そうであれば、制御をブロック1527に渡す。そうでなければ、制御をブロック1530に渡す。
ステップ1527において、Pスライスに関係するすべてのインターモードをチェックする。
ステップ1530において、Bスライスに関係するすべてのインターモードをチェックする。
ステップ1533において、best mode==イントラ4×4であるかどうか判断する。そうであれば、制御をブロック1548に渡す。そうでなければ、制御をブロック1536に渡す。
ステップ1548において、predDepth4×4を、Min(depthA, depthB)、depthA、depthB、または128に設定する。ステップ1551において、depth of 4×4 block == predDepth4×4であれば、prev_depth4×4_pred_mode_flag[luma4×4Blkldx]=1を設定する;そうでなければ、prev_depth4×4_pred_mode_flag[luma4×4Blkldx] = 0を設定し、rem_depth4×4[luma4×4Blkldx]をdepth4×4とpredDepth4×4との間の差として送信する。
ステップ1536において、best mode == イントラ8×8であるかどうか判断する。そうであれば、制御をブロック1542に渡す。そうでなければ、制御をブロック1539に渡す。
ステップ1542において、predDepth8×8 = Min(depthA, depthB)またはdepthAまたはdepthBまたは128。ステップ1545において、depth of 8×8 block == predDepth8×8であれば、prev_depth8×8_pred_mode_flag[luma8×8Blkldx]=1を設定する;そうでなければ、prev_depth8×8_pred_mode_flag[luma8×8Blkldx]=0を設定し、rem_depth8×8[luma8×8Blkldx]を、depth8×8とpredDepth8×8との間の差として送信する。
ステップ1539において、best mode==DirectまたはSKIPであるかどうか判断する。そうであれば、制御をブロック1554に渡す。そうでなければ、制御をブロック1560に渡す。
ステップ1554において、奥行き予測子を、Min(depthA, depthB)またはdepthAまたはdepthBまたは128に設定する。ステップ1557において、depthd[0][0]を、奥行き予測子、または奥行き値と予測子との差に設定する。
ステップ1560において、best mode==インター16×16またはインター16×8またはインター8×16であるかどうか判断する。そうであれば、制御をブロック1563に渡す。そうでなければ、制御をブロック1569に渡す。
ステップ1563において、奥行き予測子を、Min(depthA, depthB)またはdepthAまたはdepthBまたは126に設定する。ステップ1566において、depthd[mbPartIdx][0]を、M×Nブロックの奥行き値と予測子との間の差に設定する。
ステップ1569において、best mode==インター8×8またはインター8×4またはインター4×8またはインター4×4であるかどうか判断する。そうであれば、制御をブロック1572に渡す。そうでなければ、制御をブロック1576に渡す。
ステップ1572において、奥行き予測子を、Min(depthA, depthB)またはdepthAまたはdepthBまたは126に設定する。ステップ1575において、depthd[mbPartldx][subMBPartldx]を、M×Nブロックの奥行き値と予測子との間の差に設定する。
ステップ157において、エラーを表示する。
図16は、第1の実施形態による、奥行き信号を含むビデオデータを復号する方法1600を示すフロー図である(実施形態1)。ステップ1603において、奥行き情報を含むブロックヘッダを解析する。ステップ1606において、current (curr) mode==イントラ16×16であるかどうか判断する。そうであれば、制御をブロック1609に渡す。そうでなければ、制御をブロック1618に渡す。
ステップ1609において、奥行き予測子をMin(depthA, depthB)またはdepthAまたはdepthBまたは128に設定する。ステップ1612において、16×16ブロックの奥行きを、depthd[0][0]または解析したdepthd[0][0] + depth predictorに設定する。ステップ1615において、リターンする。
ステップ1618において、curr mode==イントラ4×4であるかどうか判断する。そうであれば、制御をブロック1621に渡す。そうでなければ、制御をブロック1627に渡す。
ステップ1621において、predDepth4×4を、Min(depthA, depthB)またはdepthAまたはdepthBまたは128に設定する。ステップ1624において、prev_depth4×4_pred_mode_flag[luma4×4Blkldx]==1であれば、4×4ブロックの奥行きを、predDepth4×4に設定する;そうでなければ、4×4ブロックの奥行きをrem_depth4×4[luma4×4Blkldx] + predDepth4×4に設定する。
ステップ1627において、curr mode==イントラ8×8であるかどうか判断する。そうであれば、制御をブロック1630に渡す。そうでなければ、制御をブロック1636に渡す。
ステップ1630において、predDepth8×8を、Min(depthA, depthB)またはdepthAまたはdepthBまたは128に設定する。ステップ1633において、prev_depth8×8_pred_rnode_flag[luma8×8Blkldx]==1であれば、8×8ブロックの奥行きを、predDepth8×8に設定する;そうでなければ、8×8ブロックの奥行きを、rem_depth8×8[luma8×8Blkldx] + predDepth8×8に設定する。
ステップ1636において、curr mode==DirectまたはSKIPであるかどうか判断する。そうであれば、制御をブロック1639に渡す。そうでなければ、制御をブロック1645に渡す。
ステップ1639において、奥行き予測子を、Min(depthA, depthB)またはdepthAまたはdepthBまたは128に設定する。ステップ1642において、16×16ブロックの奥行きを、奥行き予測子、または解析したdepthd[0][0] + depth predictorに設定する。
ステップ1645において、curr mode==インター16×16またはインター16×8またはインター8×16であるかどうか判断する。そうであれば、制御をブロック1648に渡す。そうでなければ、制御をブロック1654に渡す。
ステップ1648において、奥行き予測子を、Min(depthA, depthB)またはdepthAまたはdepthBまたは128に設定する。ステップ1651において、カレントM×Nブロックの奥行きを、解析したdepthd[mbPartldx][0] + depth predictorに設定する。
ステップ1654において、curr mode==インター8×8またはインター8×4またはインター4×8またはインター4×4であるかどうか判断する。そうであれば、制御をブロック1659に渡す。そうでなければ、制御をブロック1663に渡す。
ステップ1659において、奥行き予測子を、Min(depthA, depthB)またはdepthAまたはdepthBまたは128に設定する。ステップ1660において、カレントM×Nブロックの奥行きを、解析したdepthd[mbPartIdx][subMBPartldx] + depth predictorに設定する。
ステップ1663において、エラーを表示する。
実施形態2
この実施形態では、インターブロックの動き情報により奥行き信号を予測することを提案する。動き情報はビデオ信号に関連するものと同じである。イントラブロックの奥行きは実施形態1と同じである。動きベクトル情報を用いてpredDepthSkipを求めることを提案する。したがって、フル解像度奥行き信号を記憶する追加的参照バッファを設ける。インターブロックのシンタックスと導出は実施形態1と同じである。
一実施形態では、predDepthSkip = DepthRef(x+mvx, y+mvy)と設定する。xとyはターゲットブロックの左上画素の座標である。mvxとmvyビデオ信号からのカレントマクロブロックに関連する動きベクトルのx、y成分である。DepthRefは復号画像バッファ(DPB)に格納される再構成した基準奥行き信号である。
他の一実施形態では、predDepthSkipを、ターゲットブロックの動きベクトルによりポイントされたすべての画素の基準奥行きの平均に設定する。
他の一実施形態では、mvx = mvy = 0と仮定できるので、予測には、コロケートした(collocated)ブロック奥行き値を用いる、すなわち、predDepthSkip = DepthRef(x, y)。
図17(図17A、B)と図18(図18A、B)は、実施形態2による奥行き信号を含むビデオデータを符号化と復号する方法の例を示す。
図17は、第2の実施形態による、奥行き信号を含むビデオデータを符号化する方法1700を示すフロー図である(実施形態2)。ステップ1703において、マクロブロックモードをチェックする。ステップ1706において、イントラ4×4、イントラ16×16、及びイントラ8×8モードをチェックする。ステップ1709において、カレントスライスがIスライスであるかどうか判断する。そうであれば、制御をブロック1712に渡す。そうでなければ、制御をブロック1724に渡す。
ステップ1712において、best mode == イントラ16×16であるかどうか判断する。そうであれば、制御をブロック1715に渡す。そうでなければ、制御をブロック1733に渡す。
ステップ1715において、奥行き予測子を、Min(depthA, depthB)またはdepthAまたはdepthBまたは128に設定する。ステップ1718において、depthd[0][0]を、そのロケーションにおける奥行きの絶対値、または奥行き値予測子との間の差に設定する。ステップ1721において、リターンする。
ステップ1724において、カレントスライスがPスライスであるかどうか判断する。そうであれば、制御をブロック1727に渡す。そうでなければ、制御をブロック1730に渡す。
ステップ1727において、Pスライスに関係するすべてのインターモードをチェックする。
ステップ1730において、Bスライスに関係するすべてのインターモードをチェックする。
ステップ1733において、best mode==イントラ4×4であるかどうか判断する。そうであれば、制御をブロック1748に渡す。そうでなければ、制御をブロック1736に渡す。
ステップ1748において、predDepth4×4を、Min(depthA, depthB)またはdepthAまたはdepthBまたは128に設定する。ステップ1751において、depth of 4×4 block == predDepth4×4であれば、prev_depth4×4_pred_mode_flag[luma4×4Blkldx]=1に設定する;そうでなければ、prev_depth4×4_pred_mode_flag[luma4×4Blkldx]=0に設定して、rem_depth4×4[luma4×4Blkldx]をdepth4×4とpredDepth4×4との差として送信する。
ステップ1736において、best mode==イントラ8×8であるかどうか判断する。そうであれば、制御をブロック1742に渡す。そうでなければ、制御をブロック1739に渡す。
ステップ1742において、predDepth8×8=Min(depthA, depthB)またはdepthAまたはdepthBまたは128とする。ステップ1745において、depth of 8×8 block == predDepth8×8であれば、prev_depth8×8_pred_mode_flag[luma8×8Blkldx]=1と設定する;そうでなければ、prev_depth8×8_pred_mode_flag[luma8×8Blkldx]=0と設定し、rem_depth8×8[luma8×8Blkldx]をdepth8×8とpredDepth8×8との間の差として送信する。
ステップ1739において、best mode==DirectまたはSKIPであるかどうか判断する。そうであれば、制御をブロック1754に渡す。そうでなければ、制御をブロック1760に渡す。
ステップ1754において、カレントマクロブロック(MB)に対応する動きベクトル(MV)を用いて奥行き予測子を求める。ステップ1757において、depthd[0][0]を、奥行き予測子、または奥行き値と予測子との間の差に設定する。
ステップ1760において、best mode==インター16×16またはインター16×8またはインター8×16であるかどうか判断する。そうであれば、制御をブロック1763に渡す。そうでなければ、制御をブロック1769に渡す。
ステップ1763において、カレントマクロブロック(MB)に対応する動きベクトル(MV)を用いて奥行き予測子を求める。ステップ1766において、depthd[mbPartIdx]0]を、M×Nブロックの奥行き値と予測子との差に設定する。
ステップ1769において、best mode==インター8×8またはインター8×4またはインター4×8またはインター4×4であるかどうか判断する。そうであれば、制御をブロック1772に渡す。そうでなければ、制御をブロック1778に渡す。
ステップ1772において、カレントマクロブロック(MB)に対応する動きベクトル(MV)を用いて奥行き予測子を求める。ステップ1775において、depthd[mbPartldx][subMBPartldx]を、M×Nブロックの奥行き値と予測子との差に設定する。
ステップ1778において、エラーを表示する。
図18は、第2の実施形態による、奥行き信号を含むビデオデータを復号する方法1800を示すフロー図である(実施形態2)。ステップ1803において、奥行き情報を含むブロックヘッダを解析する。ステップ1806において、current (curr) mode==イントラ16×16かどうか判断する。そうであれば、制御をブロック1809に渡す。そうでなければ、制御をブロック1818に渡す。
ステップ1809において、奥行き予測子をMin(depthA, depthB)、depthA、depthB、または128に設定する。ステップ1812において、16×16ブロックの奥行きをdepthd[0][0]、または解析したdepthd[0][0] + depth predictorに設定する。ステップ1815において、リターンする。
ステップ1818において、curr mode==イントラ4×4であるかどうか判断する。そうであれば、制御をブロック1821に渡す。そうでなければ、制御をブロック1827に渡す。
ステップ1821において、predDepth4×4をMin(depthA, depthB)またはdepthAまたはdepthBまたは128に設定する。ステップ1824において、prev_depth4×4_pred_mode_flag[luma4×4Blkldx]==1であれば、4×4ブロックの奥行きをpredDepth4×4に設定する;そうでなければ、rem_depth4×4[luma4×4Blkldx] + predDepth4×4に設定する。
ステップ1827において、curr mode==イントラ8×8であるかどうか判断する。そうであれば、制御をブロック1830に渡す。そうでなければ、制御をブロック1836に渡す。
ステップ1830において、predDepth8×8をMin(depthA, depthB)またはdepthAまたはdepthBまたは128に設定する。ステップ1833において、prev_depth8×8_pred_mode_flag[luma8×8Blkldx]==1であれば、8×8 ブロックの奥行きをpredDepth8×8に設定する;そうでなければ、8×8ブロックの奥行きをrem_depth8×8[luma8×8Blkldx] + predDepth8×8に設定する。
ステップ1836において、curr mode==DirectまたはSKIPであるかどうか判断する。そうであれば、制御をブロック1839に渡す。そうでなければ、制御をブロック1645に渡す。
ステップ1839において、カレントマクロブロック(MB)に対応する動きベクトル(MV)を用いて奥行き予測子を求める。ステップ1842において、16×16ブロックの奥行きを奥行き予測子または解析したdepthd[0][0] + depth predictorに設定する。
ステップ1845において、curr mode==インター16×16またはインター16×8またはインター8×16であるかどうか判断する。そうであれば、制御をブロック1848に渡す。そうでなければ、制御をブロック1854に渡す。
ステップ1848において、カレントマクロブロック(MB)に対応する動きベクトル(MV)を用いて奥行き予測子を求める。ステップ1851において、カレントM×Nブロックの奥行きを、解析したdepthd[mbPartldx][0] + depth predictorに設定する。
ステップ1854において、curr mode==インター8×8またはインター8×4またはインター4×8またはインター4×4であるかどうか判断する。そうであれば、制御をブロック1659に渡す。そうでなければ、制御をブロック1863に渡す。
ステップ1859において、カレントマクロブロック(MB)に対応する動きベクトル(MV)を用いて奥行き予測子を求める。ステップ1860において、カレントM×Nブロックの奥行きを解析したdepthd[mbPartIdx][subMBPartldx] + depth predictorに設定する。
ステップ1863において、エラーを表示する。
図13、15、17の実施形態は、奥行き信号を含むビデオデータを符号化できる。奥行き信号は符号化の必要はないが、例えば、差分符号化、及び/またはエントロピ符号化を用いて符号化してもよい。同様に、図14、16、18の実施形態は、奥行き信号を含むビデオデータを復号できる。図14、16、18により受信及び復号されるデータは、例えば、図13、15、17の実施形態の1つにより供給されるデータであってもよい。図14、16、18の実施形態は、いろいろな方法で奥行き値を処理することができる。かかる処理には、例えば、実施形態に応じて、受信した奥行き値の解析、奥行き値の復号(奥行き値が符号化されていると仮定して)、及び奥行き値に基づく奥行きマップの全部または一部の生成を含む。奥行き値を処理する処理部は、例えば、(1)ビットストリームパーサ202(2)奥行き値が予測値からの差である実施形態で予測子への値の加算などのいろいろな演算を実行する奥行き代表計算器211(3)奥行きマップ再構成器212、及び(4)一部の実施形態において、エントロピ符号化された奥行き値を復号に用いられるエントロピ復号器205を含み得ることに留意せよ。
奥行きデータ補間
いろいろな実施形態において、奥行きデータをそのフル解像度まで補間する。すなわち、復号器は、奥行きデータ(1つの奥行き値をつくるために復号される1つの奥行き符号化値など)を受信し、関連する領域(マクロブロックやサブマクロブロック)の画素ごとのフル奥行きマップを生成する。単純なコピー(ゼロ次オーダーの補間)をできる、すなわち、ブロックを同じ値のdepthM×N(M,N=16,8,4)ので満たす。もっと高度な補間方法を適用することもできる。例えば、バイリニア、バイキュービック補間などである。すなわち、本発明は具体的な補間方法には限定されず、それゆえ、本発明の精神に沿うものであれば、どんな補間方法を用いてもよい。フィルタの適用は補間の前でも後でもよい。
以下の点は上記のコンセプトを少なくとも部分的にさらに説明するものであり、いろいろな実施形態の詳細を提供する。以下の実施形態は、上記の実施形態、またはそのバリエーション、及び/または新しい実施形態に対応する。
いろいろな実施形態は3D動きベクトル(MV)を提供するものである。動きベクトルは通常は2Dであり、(x, y)を有する。いろいろな実施形態において、奥行き(「D」)を示す値を付け加えて、奥行き値を動きベクトルの第3の次元であると考える。奥行きは符号化されても、あるいは、別の画像とされてもよい。その場合、AVC符号化法を用いてその後に符号化できる。
上述の通り、マクロブロックのパーティションは、奥行きに対しても十分なサイズであることが多い。例えば、平坦なエリアは、1つの動きベクトルで十分なので、一般的に大きなパーティションの影響を受けやすく、そうした平坦なエリアは奥行き符号化の場合も大きなパーティションの影響を受けやすい。平坦であり、平坦なパーティション値に対して1つの奥行き値を使うので、一般的に符号化がよくなる。さらに、動きベクトルにより、奥行き(D)値を決定または推定するのに使えるパーティションを指し示す。このように、奥行きは推定的に符号化できる。
実施形態では、パーティション(サブマクロブロック)全体の奥行き値に1つの値を用いてもよい。他の実施形態では、複数の値を用いてもよいし、各画素に対して別の値を用いてもよい。奥行きに用いる値は、上記の例に示したように、例えば、メジアン、平均、またはサブマクロブロックの奥行き値に対する他のフィルタリング演算の結果など、いろいろな方法で決めることができる。奥行き値は、他のパーティション/ブロックの奥行き値に基づくものであってもよい。他のパーティション/ブロックは、(空間的に隣接していようがいまいが)同じ画像のものであっても、他のビューの画像のものであっても、他の時間における同じビューからの画像のものであってもよい。奥行きが他のパーティション/ブロックからの奥行きに基づく場合、外挿を用いてもよい。そして、そのパーティション/ブロックから再構成した奥行き値、符号化した奥行き値、または符号化前の実際の奥行き値に基づくものであってもよい。
奥行き値予測子(depth predictor)はいろいろな情報に基づいて求められる。かかる情報には、例えば、(隣接していてもいなくても)近くのマクロブロックまたはサブマクロブロックに対して決定した奥行き値、及び/または動きベクトルにより指し示された対応するマクロブロックまたはサブマクロブロックに対して決定した奥行き値を含む。実施形態によっては、一部のモードにおいて、マクロブロック全体に対して1つの奥行き値をつくるが、他のモードにおいて、マクロブロックの各パーティションに対して1つの奥行き値をつくる。
言うまでもなく、本発明のコンセプトは、必要なら1つのマクロブロックのみに対して適用できるが、画像のいかなる部分にも適用できる。さらに、ここで、「画像」という用語は、例えばフレームまたはフィールドを指す。
AVCは、より具体的には、既存のInternational Organization for Standardization/International Electrotechnical Commission (ISO/IEC) Moving Picture Experts Group-4(MPEG−4)パート10アドバンスビデオ符号化(AVC)標準/International Telecommunication Union, Telecommunication Sector(ITU−T)H.264 Recommendation(以下、「H.264/MPEG−4 AVC標準」またはそのバリエーションである「AVC標準」、または単に「AVC」)を指す。MVCは、一般的に、より具体的に、AVC標準のマルチビュービデオ符号化(「MVC」)拡張(Annex H)を指し、H.264/MPEG−4 AVC、MVC拡張(「MVC拡張」または簡単に「MVC」)と呼ばれる。SVCは、一般的に、より具体的に、AVC標準のスケーラブルビデオ符号化(「SVC」)拡張(Annex G)を指し、H.264/MPEG−4 AVC、SVC拡張(「SVC拡張」または簡単に「SVC」)と呼ばれる。
この出願で説明した実施形態や特徴は、H.264/MPEG−4 AVC(AVC)標準、またはMVC拡張を伴うAVC標準、またはSVC拡張を伴うAVC標準で用いることができる。しかし、これらの実施形態や特徴は、(既存または将来の)他の標準のコンテキストで用いてもよいし、標準化を伴わないコンテキストで用いられてもよい。
また、実施形態では、情報を、例えば、SEIメッセージ、スライスヘッダ、その他の高レベルシンタックス、非高レベルシンタックス、アウトオブバンド(out-of-band)情報、データストリームデータ、及び黙示的シグナリングなど、いろいろな技術を用いてシグナリングしてもよい。シグナリング方法は、標準を使うか、標準を使う場合はどの標準を使うかに応じて決まる。
明細書において、本発明の「一実施形態」、またはそのバリエーションと言う場合、本発明の少なくとも1つの実施形態に含まれるその実施形態に関して説明する具体的な特徴、構造、特性などを意味する。それゆえ、本明細書を通していろいろなところに記載した「一実施形態において」またはそのバリエーションは、必ずしもすべてが同じ実施形態を参照するものではない。
言うまでもなく、「/」、「及び/または」、及び「少なくとも1つ」の使用は、例えば、「A/B」、「A及び/またはB」、及び「AとBのうち少なくとも1つ」の場合、リストした第1のオプション(A)のみの選択、またはリストした第2のオプション(B)のみ選択、両方のオプション(A及びB)の選択を含むものとする。さらに別の例として、「A、B、及び/またはC」及び「A、B、及びCのうち少なくとも1つ」の場合、リストした第1のオプション(A)のみの選択、またはリストした第2のオプション(B)のみの選択、またはリストした第3のオプション(C)のみの選択、または、リストした第1及び第2のオプション(AとB)のみの選択、またはリストした第1及び第3のオプション(AとC)のみの選択、またはリストした第2及び第3のオプション(BとC)のみの選択、または3つのオプション(AとBとC)すべての選択を含むものとする。本技術分野及び関連技術分野の当業者には言うまでもないが、これはより多くのオプションがリストされている場合にも拡張できる。
ここに説明した実施形態は、例えば、方法、プロセス、装置、ソフトウェアプログラム、データストリーム、または信号として実施することができる。1つの形式の実施形態の場合で説明した(例えば、方法としてのみ説明した)場合であっても、説明した機能の実施形態は他の形式(例えば、装置やプログラム)でも実施できる。装置は、例えば、適当なハードウェア、ソフトウェア、及びファームウェアとして実施することができる。装置は、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブル論理装置を含む、処理装置一般を指す、例えばプロセッサなどの装置として実施できる。プロセッサは、例えば、コンピュータ、携帯電話、ポータブル/パーソナルデジタルアシスタント(「PDA」)、その他のエンドユーザ間の情報通信を行う装置などの通信装置も含む。
ここに説明したプロセスの実施形態や機能は、異なる機器やアプリケーション、具体的には例えばデータ符号化と復号を伴う機器やアプリケーションとして実施することができる。かかる機器の例としては、符号化器、復号器、復号器からの出力を処理する後処理器、符号化器に入力を供給するプリプロセッサ、ビデオコーダ、ビデオ復号器、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、PDA、その他の通信装置が含まれる。言うまでもなく、上記の機器は可動なものであってもよいし、移動体に組み込まれていてもよい。
また、方法は、プロセッサで実行される命令により実施することができ、かかる命令(及び/または実施形態で生成されるデータ値)はプロセッサ読み取り可能な媒体に格納してもよい。媒体には、例えば、集積回路、ソフトウェアキャリア、またはその他の例えば、ハードディスク、コンパクトディスケット、ランダムアクセスメモリ(RAM)、またはリードオンリメモリ(ROM)などがある。命令は、プロセッサ読み取り可能な媒体に化体したアプリケーションプログラムを形成する。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、またはこれらの組み合わせであってもよい。命令は、例えば、オペレーティングシステム、別のアプリケーション、またはこれらの組み合わせに含まれてもよい。プロセッサは、例えば、プロセスを実行するように構成された装置、及びプロセスを実行する命令を有するプロセッサ読み取り可能な媒体(記憶装置など)を含む装置の両方を含む。さらに、プロセッサ読み取り可能な媒体は、命令に加えて、実施形態により生成されたデータ値を記憶する。
当業者には明らかなように、実施形態により、例えば記憶または送信する情報を担うようにフォーマットされた信号が生成される。この情報は、例えば、方法を実行する命令上記の実施形態の1つにより生成されたデータを含む。例えば、信号は、データとして、上記の実施形態のシンタックスを読み書きするルールを担うようにフォーマットされ、またはデータとして、上記の実施形態により書き込まれた実際のシンタックス値を担うようにフォーマットされる。かかる信号は、例えば、(例えば、スペクトルの無線周波数部分を用いる)電磁波として、またはベースバンド信号としてフォーマットされる。フォーマットは、例えば、データストリームの符号化と、符号化したデータストリームによるキャリアの変調とを含む。信号が担う情報は、例えば、アナログまたはデジタル情報である。信号は、既知の通り、異なるいろいろな有線または無線のリンクを解して送信される。その信号はプロセッサ読み取り可能な媒体に格納してもよい。
このように、具体的な特徴と態様を有する1つ以上の実施形態を提供する。しかし、上記の実施形態の特徴と態様は、他の実施形態に適用することもできる。したがって、ここに説明した実施形態は具体的なコンテキストで説明したが、かかる説明を、その特徴とコンセプトをかかる実施形態やコンテキストに限定するものと解釈してはならない。
言うまでもなく様々な修正を行うことができる。例えば、別の実施形態の要素を組み合わせ、補充し、修正し、または削除して、他の実施形態を形成してもよい。また、当業者には言うまでもないが、開示した構成やプロセスを他の構成やプロセスで置き換えてもよく、その結果の実施形態が少なくとも実質的に同じ機能を果たし、少なくとも実質的に同じように、開示した実施形態と実質的に同じ結果を達成する。したがって、これらの実施形態やその他の実施形態が本出願では想定されており、特許請求の範囲に入る。
なお、以下の付記を記載する。
(付記1) 画像の符号化した第1部分に関連し、前記画像の他の部分には関連しない第1部分動きベクトルを用いて、前記画像の第1部分を復号する段階であって、前記第1部分動きベクトルは前記第1部分の復号に用いる基準画像中の対応部分を示し、前記第1部分は第1サイズを有する段階と、
前記第1部分全体の、他の部分のではない奥行き情報を与える第1部分奥行き値を処理する段階と、
画像の符号化した第2部分に関連し、前記画像の他の部分には関連しない第2部分動きベクトルを用いて、前記画像の第2部分を復号する段階であって、前記第2部分動きベクトルは前記第2部分の復号に用いる基準画像中の対応部分を示し、前記第2部分は前記第1サイズとは異なる第2サイズを有する段階と、
前記第2部分全体の、他の部分のではない奥行き情報を与える第2部分奥行き値を処理する段階と
を有する方法。
(付記2) 前記第1部分奥行き値は符号化され、前記第1部分奥行き値を処理する段階は、前記第1部分奥行き値を復号する段階を有する、付記1に記載の方法。
(付記3) 前記第1部分奥行き値を処理する段階は、前記第1部分奥行き値を解析する段階、前記第1部分奥行き値を復号する段階、または、前記第1部分奥行き値に基づき奥行きマップの少なくとも一部を生成する段階のうち1つ以上を有する、付記1に記載の方法。
(付記4) 前記第1部分奥行き値を処理する段階は、前記第1部分奥行き値に基づき、奥行きマップの第1部分を生成する段階を有し、前記奥行きマップの前記第1部分は、前記画像の前記第1部分の各画素の奥行き値を有する、付記1に記載の方法。
(付記5) 前記第1部分奥行き値は符号化器における奥行き予測子から決定される残余であり、
前記奥行きマップの前記第1部分を生成する段階は、
前記第1部分全体の実際の奥行きを表す代表奥行き値の予測を生成する段階と、
前記予測を前記第1部分奥行き値と結合して、前記画像の前記第1部分の再構成した代表奥行き値を決定する段階と、
前記再構成した代表奥行き値に基づき、前記奥行きマップの前記第1部分をポピュレートする段階と、を有する、付記4に記載の方法。
(付記6) ポピュレートする段階は、前記再構成した代表奥行き値を、前記奥行きマップの前記第1部分全体にコピーする段階を有する、付記5に記載の方法。
(付記7) 前記第1部分はマクロブロックまたはサブマクロブロックであり、前記第2部分はマクロブロックまたはサブマクロブロックである、付記1に記載の方法。
(付記8) 表示のために、前記復号第1部分と復号第2部分とを供給する段階をさらに有する、付記1に記載の方法。
(付記9) 前記第1部分奥行き値と前記第1部分動きベクトルを含む構造にアクセスする段階をさらに有する、付記1に記載の方法。
(付記10) 前記第1部分奥行き値は、前記第1部分の奥行きの平均、前記第1部分の奥行きのメジアン、前記画像中の近傍部分の奥行き情報、または対応する時間的またはインタービュー部分中の部分の奥行き情報のうち1つ以上に基づく、付記1に記載の方法。
(付記11) 前記第1部分奥行き値は符号化器における奥行き予測子から決定される残余であり、
前記方法は、前記第1部分全体の実際の奥行きを表す代表奥行き値の予測を生成する段階をさらに有し、
前記予測は、前記第1部分の奥行きの平均、前記第1部分の奥行きのメジアン、前記画像中の近傍部分の奥行き情報、または対応する時間的またはインタービュー部分中の部分の奥行き情報のうち1つ以上に基づく、
付記1に記載の方法。
(付記12) 前記第1部分奥行き値は、前記第1部分全体の実際の奥行きを表す代表奥行き値である、付記1に記載の方法。
(付記13) 前記方法は復号器で実行される、付記1に記載の方法。
(付記14) 前記方法は符号化器で実行される、付記1に記載の方法。
(付記15) 画像の符号化した第1部分に関連し、前記画像の他の部分には関連しない第1部分動きベクトルを用いて、前記画像の第1部分を復号する手段であって、前記第1部分動きベクトルは前記第1部分の復号に用いる基準画像中の対応部分を示し、前記第1部分は第1サイズを有する手段と、
前記第1部分全体の、他の部分のではない奥行き情報を与える第1部分奥行き値を処理する手段と、
画像の符号化した第2部分に関連し、前記画像の他の部分には関連しない第2部分動きベクトルを用いて、前記画像の第2部分を復号する手段であって、前記第2部分動きベクトルは前記第2部分の復号に用いる基準画像中の対応部分を示し、前記第2部分は前記第1サイズとは異なる第2サイズを有する手段と、
前記第2部分全体の、他の部分のではない奥行き情報を与える第2部分奥行き値を処理する手段とを有する装置。
(付記16) プロセッサに、少なくとも、
画像の符号化した第1部分に関連し、前記画像の他の部分には関連しない第1部分動きベクトルを用いて、前記画像の第1部分を復号する段階であって、前記第1部分動きベクトルは前記第1部分の復号に用いる基準画像中の対応部分を示し、前記第1部分は第1サイズを有する段階と、
前記第1部分全体の、他の部分のではない奥行き情報を与える第1部分奥行き値を処理する段階と、
画像の符号化した第2部分に関連し、前記画像の他の部分には関連しない第2部分動きベクトルを用いて、前記画像の第2部分を復号する段階であって、前記第2部分動きベクトルは前記第2部分の復号に用いる基準画像中の対応部分を示し、前記第2部分は前記第1サイズとは異なる第2サイズを有する段階と、
前記第2部分全体の、他の部分のではない奥行き情報を与える第2部分奥行き値を処理する段階と
を実行させる命令を記憶したプロセッサ読み取り可能媒体。
(付記17) 少なくとも、
画像の符号化した第1部分に関連し、前記画像の他の部分には関連しない第1部分動きベクトルを用いて、前記画像の第1部分を復号する段階であって、前記第1部分動きベクトルは前記第1部分の復号に用いる基準画像中の対応部分を示し、前記第1部分は第1サイズを有する段階と、
前記第1部分全体の、他の部分のではない奥行き情報を与える第1部分奥行き値を処理する段階と、
画像の符号化した第2部分に関連し、前記画像の他の部分には関連しない第2部分動きベクトルを用いて、前記画像の第2部分を復号する段階であって、前記第2部分動きベクトルは前記第2部分の復号に用いる基準画像中の対応部分を示し、前記第2部分は前記第1サイズとは異なる第2サイズを有する段階と、
前記第2部分全体の、他の部分のではない奥行き情報を与える第2部分奥行き値を処理する段階と
を実行するように構成されたプロセッサを有する装置。
(付記18) 画像の符号化した第1部分に関連し、前記画像の他の部分には関連しない第1部分動きベクトルを用いて、前記画像の第1部分を復号する段階であって、前記第1部分動きベクトルは前記第1部分の復号に用いる基準画像中の対応部分を示し、前記第1部分は第1サイズを有する段階と、
前記第1部分全体の、他の部分のではない奥行き情報を与える第1部分奥行き値を処理する段階と、
画像の符号化した第2部分に関連し、前記画像の他の部分には関連しない第2部分動きベクトルを用いて、前記画像の第2部分を復号する段階であって、前記第2部分動きベクトルは前記第2部分の復号に用いる基準画像中の対応部分を示し、前記第2部分は前記第1サイズとは異なる第2サイズを有する段階と、
前記第2部分全体の、他の部分のではない奥行き情報を与える第2部分奥行き値を処理する段階と
を実行する復号部を有する装置。
(付記19) 前記装置は符号化器を有する、付記18に記載の装置。
(付記20) 信号を受信して復調する復調器であって、前記信号は画像の符号化された第1部分と奥行き情報の第1部分を表す奥行き値とを含み、前記奥行き情報の第1部分は前記画像の第1部分に対応する復調器と、
復号部であって
画像の符号化した第1部分に関連し、前記画像の他の部分には関連しない第1部分動きベクトルを用いて、前記画像の第1部分を復号する段階であって、前記第1部分動きベクトルは前記第1部分の復号に用いる基準画像中の対応部分を示し、前記第1部分は第1サイズを有する段階と、
画像の符号化した第2部分に関連し、前記画像の他の部分には関連しない第2部分動きベクトルを用いて、前記画像の第2部分を復号する段階であって、前記第2部分動きベクトルは前記第2部分の復号に用いる基準画像中の対応部分を示し、前記第2部分は前記第1サイズとは異なる第2サイズを有する段階とを実行する復号部と、
処理部であって、
前記第1部分全体の、他の部分のではない奥行き情報を与える第1部分奥行き値を処理する段階と、
前記第2部分全体の、他の部分のではない奥行き情報を与える第2部分奥行き値を処理する段階とを実行する処理部と
を有する復号器。
(付記21) 画像の符号化した第1部分の第1画像セクションであって、前記第1部分は第1サイズを有する第1画像セクションと、
第1部分奥行き値の第1奥行きセクションであって、前記第1部分奥行き値は前記第1部分全体の、他の部分のではない奥行き情報を与える第1奥行きセクションと、
前記画像の第1部分の符号化に用いる第1部分動きベクトルの第1動きベクトルセクションであって、前記第1部分動きベクトルは前記第1部分に関連し、前記画像の他の部分には関連しない、前記第1部分動きベクトルは前記第1部分の復号に用いる基準画像中の対応部分を示す、第1動きベクトルセクションと、
画像の符号化した第2部分の第2画像セクションであって、前記第2部分は前記第1サイズとは異なる第2サイズを有する第2画像セクションと、
第2部分奥行き値の第2奥行きセクションであって、前記第2部分奥行き値は前記第2部分全体の、他の部分のではない奥行き情報を与える第2奥行きセクションと、
前記画像の第2部分の符号化に用いる第2部分動きベクトルの第2動きベクトルセクションであって、前記第2部分動きベクトルは前記第2部分に関連し、前記画像の他の部分には関連しない、前記第2部分動きベクトルは前記第2部分の復号に用いる基準画像の対応部分を示す、第2動きベクトルセクションと、を有するビデオ信号構造。
(付記22) 情報を含むようにフォーマットされ、
画像の符号化した第1部分の第1画像セクションであって、前記第1部分は第1サイズを有する第1画像セクションと、
第1部分奥行き値の第1奥行きセクションであって、前記第1部分奥行き値は前記第1部分全体の、他の部分のではない奥行き情報を与える第1奥行きセクションと、
前記画像の第1部分の符号化に用いる第1部分動きベクトルの第1動きベクトルセクションであって、前記第1部分動きベクトルは前記第1部分に関連し、前記画像の他の部分には関連しない、前記第1部分動きベクトルは前記第1部分の復号に用いる基準画像中の対応部分を示す、第1動きベクトルセクションと、
画像の符号化した第2部分の第2画像セクションであって、前記第2部分は前記第1サイズとは異なる第2サイズを有する第2画像セクションと、
第2部分奥行き値の第2奥行きセクションであって、前記第2部分奥行き値は前記第2部分全体の、他の部分のではない奥行き情報を与える第2奥行きセクションと、
前記画像の第2部分の符号化に用いる第2部分動きベクトルの第2動きベクトルセクションであって、前記第2部分動きベクトルは前記第2部分に関連し、前記画像の他の部分には関連しない、前記第2部分動きベクトルは前記第2部分の復号に用いる基準画像の対応部分を示す、第2動きベクトルセクションと、
を有するビデオ信号。
(付記23) 画像の符号化した第1部分の第1画像セクションであって、前記第1部分は第1サイズを有する第1画像セクションと、
第1部分奥行き値の第1奥行きセクションであって、前記第1部分奥行き値は前記第1部分全体の、他の部分のではない奥行き情報を与える第1奥行きセクションと、
前記画像の第1部分の符号化に用いる第1部分動きベクトルの第1動きベクトルセクションであって、前記第1部分動きベクトルは前記第1部分に関連し、前記画像の他の部分には関連しない、前記第1部分動きベクトルは前記第1部分の復号に用いる基準画像中の対応部分を示す、第1動きベクトルセクションと、
画像の符号化した第2部分の第2画像セクションであって、前記第2部分は前記第1サイズとは異なる第2サイズを有する第2画像セクションと、
第2部分奥行き値の第2奥行きセクションであって、前記第2部分奥行き値は前記第2部分全体の、他の部分のではない奥行き情報を与える第2奥行きセクションと、
前記画像の第2部分の符号化に用いる第2部分動きベクトルの第2動きベクトルセクションであって、前記第2部分動きベクトルは前記第2部分に関連し、前記画像の他の部分には関連しない、前記第2部分動きベクトルは前記第2部分の復号に用いる基準画像の対応部分を示す、第2動きベクトルセクションと、
を有するビデオ信号構造を記憶したプロセッサ読み取り可能媒体。
(付記24) 前記画像の前記第1部分と関連し他の部分とは関連しない第1部分動きベクトルを用いて画像の第1部分を符号化する段階であって、前記第1部分動きベクトルは前記第1部分の符号化に用いられる基準画像中の対応部分を示し、前記第1部分は第1サイズを有する段階と、
前記第1部分全体の、他の部分のではない奥行き情報を供給する第1部分奥行き値を決定する段階と、
前記画像の前記第2部分と関連し他の部分とは関連しない第2部分動きベクトルを用いて画像の第2部分を符号化する段階であって、前記第2部分動きベクトルは前記第2部分の符号化に用いられる基準画像中の対応部分を示し、前記第2部分は前記第1サイズとは異なる第2サイズを有する段階と、
前記第2部分全体の、他の部分のではない奥行き情報を供給する第2部分奥行き値を決定する段階と、
前記符号化第1部分と前記第1部分奥行き値と前記符号化第2部分と前記第2部分奥行き値とを構造化フォーマットにアセンブルする段階と、.
を有する方法。
(付記25) 前記構造化フォーマットを送信または記憶のために供給する段階をさらに有する、付記24に記載の方法。
(付記26) 前記第1部分奥行き値を決定する段階は、奥行きマップの第1部分に基づき、前記奥行きマップの前記第1部分は、前記画像の前記第1部分中の各画素の奥行き値を有する、付記24に記載の方法。
(付記27) 前記第1部分奥行き値と前記第2部分奥行き値とを前記構造化フォーマットにアセンブルする段階が、前記第1部分奥行き値と第2部分奥行き値とを符号化したものをアセンブルする段階を有するように、アセンブルする段階の前に、前記第1部分奥行き値と前記第2部分奥行き値とを符号化する段階をさらに有する、付記24に記載の方法。
(付記28) 前記第1部分全体の実際の奥行きを表す代表奥行き値を決定する段階と、
前記代表奥行き値の予測を生成する段階と、
前記予測を前記代表奥行き値と結合して、前記第1部分奥行き値を決定する段階と、をさらに有する、付記24に記載の方法。
(付記29) 前記予測を生成する段階は、前記第1部分の奥行きの平均と、前記第1部分の奥行きのメジアンと、前記画像中の近傍部分の奥行き情報と、対応する時間的またはインタービュー部分中の部分の奥行き情報とのうち1つ以上に基づく予測を生成する段階を有する、付記28に記載の方法。
(付記30) 前記第1部分奥行き値は、前記第1部分の奥行きの平均と、前記第1部分の奥行きのメジアンと、前記画像中の近傍部分の奥行き情報と、対応する時間的またはインタービュー部分中の部分の奥行き情報とのうちの1つ以上に基づく、付記24に記載の方法。
(付記31) 前記第1部分はマクロブロックまたはサブマクロブロックであり、前記第1部分はマクロブロックまたはサブマクロブロックである、付記24に記載の方法。
(付記32) アセンブルする段階は、さらに、前記第1部分動きベクトルを前記構造化フォーマットにアセンブルする段階を有する、
付記24に記載の方法。
(付記33) 前記方法は符号化器で実行される、付記24に記載の方法。
(付記34) 前記画像の前記第1部分と関連し他の部分とは関連しない第1部分動きベクトルを用いて、画像の第1部分を符号化する手段であって、前記第1部分動きベクトルは前記第1部分の符号化に用いられる基準画像中の対応部分を示し、前記第1部分は第1サイズを有する手段と、
前記第1部分全体の、他の部分のではない奥行き情報を供給する第1部分奥行き値を決定する手段と、
前記画像の前記第2部分と関連し他の部分とは関連しない第2部分動きベクトルを用いて画像の第2部分を符号化する手段であって、前記第2部分動きベクトルは前記第2部分の符号化に用いられる基準画像中の対応部分を示し、前記第2部分は前記第1サイズとは異なる第2サイズを有する手段と、
前記第2部分全体の、他の部分のではない奥行き情報を供給する第2部分奥行き値を決定する手段と、
前記符号化第1部分と前記第1部分奥行き値と前記符号化第2部分と前記第2部分奥行き値とを構造化フォーマットにアセンブルする手段と、を有する装置。
(付記35) プロセッサに、少なくとも、
前記画像の前記第1部分と関連し他の部分とは関連しない第1部分動きベクトルを用いて画像の第1部分を符号化する段階であって、前記第1部分動きベクトルは前記第1部分の符号化に用いられる基準画像中の対応部分を示し、前記第1部分は第1サイズを有する段階と、
前記第1部分全体の、他の部分のではない奥行き情報を供給する第1部分奥行き値を決定する段階と、
前記画像の前記第2部分と関連し他の部分とは関連しない第2部分動きベクトルを用いて画像の第2部分を符号化する段階であって、前記第2部分動きベクトルは前記第2部分の符号化に用いられる基準画像中の対応部分を示し、前記第2部分は前記第1サイズとは異なる第2サイズを有する、
前記第2部分全体の、他の部分のではない奥行き情報を供給する第2部分奥行き値を決定する段階と、
前記符号化第1部分と前記第1部分奥行き値と前記符号化第2部分と前記第2部分奥行き値とを構造化フォーマットにアセンブルする段階と、
を実行させる命令を格納した、プロセッサ読み取り可能媒体。
(付記36) 装置であって、少なくとも
前記画像の前記第1部分と関連し他の部分とは関連しない第1部分動きベクトルを用いて画像の第1部分を符号化する段階であって、前記第1部分動きベクトルは前記第1部分の符号化に用いられる基準画像中の対応部分を示し、前記第1部分は第1サイズを有する段階と、
前記第1部分全体の、他の部分のではない奥行き情報を供給する第1部分奥行き値を決定する段階と、
前記画像の前記第2部分と関連し他の部分とは関連しない第2部分動きベクトルを用いて画像の第2部分を符号化する段階であって、前記第2部分動きベクトルは前記第2部分の符号化に用いられる基準画像中の対応部分を示し、前記第2部分は前記第1サイズとは異なる第2サイズを有する段階と、
前記第2部分全体の、他の部分のではない奥行き情報を供給する第2部分奥行き値を決定する段階と、
前記符号化第1部分と前記第1部分奥行き値と前記符号化第2部分と前記第2部分奥行き値とを構造化フォーマットにアセンブルする段階と、.
を実行するように構成されたプロセッサを有する、装置。
(付記37) 装置であって、
前記画像の前記第1部分と関連し他の部分とは関連しない第1部分動きベクトルを用いて画像の第1部分を符号化し、前記第1部分動きベクトルは前記第1部分の符号化に用いられる基準画像中の対応部分を示し、前記第1部分は第1サイズを有し、
前記画像の前記第2部分と関連し他の部分とは関連しない第2部分動きベクトルを用いて画像の第2部分を符号化し、前記第2部分動きベクトルは前記第2部分の符号化に用いられる基準画像中の対応部分を示し、前記第2部分は前記第1サイズとは異なる第2サイズを有する、符号化部と、
前記第1部分全体の、他の部分のではない奥行き情報を供給する第1部分奥行き値を決定し、前記第2部分全体の、他の部分のではない奥行き情報を供給する第2部分奥行き値を決定する、奥行き代表計算器と、
前記符号化第1部分と前記第1部分奥行き値と前記符号化第2部分と前記第2部分奥行き値とを構造化フォーマットにアセンブルするアセンブリ部と、を有する装置。
(付記38) 符号化器であって、
前記画像の前記第1部分と関連し他の部分とは関連しない第1部分動きベクトルを用いて画像の第1部分を符号化し、前記第1部分動きベクトルは前記第1部分の符号化に用いられる基準画像中の対応部分を示し、前記第1部分は第1サイズを有し、
前記画像の前記第2部分と関連し他の部分とは関連しない第2部分動きベクトルを用いて画像の第2部分を符号化し、前記第2部分動きベクトルは前記第2部分の符号化に用いられる基準画像中の対応部分を示し、前記第2部分は前記第1サイズとは異なる第2サイズを有する符号化部と、
前記第1部分全体の、他の部分のではない奥行き情報を供給する第1部分奥行き値を決定し、前記第2部分全体の、他の部分のではない奥行き情報を供給する第2部分奥行き値を決定する奥行き代表計算器と、
前記符号化第1部分と前記第1部分奥行き値と前記符号化第2部分と前記第2部分奥行き値とを構造化フォーマットにアセンブルするアセンブリ部と、
前記構造化フォーマットを変調する変調器と
を有する、符号化器。
100 符号化器
105 合成器
110 変換器
115 量子化器
120 エントロピー符号化器
122 モード決定モジュール
125 逆量子化器
130 逆変換器
135 合成器
145 イントラ推定器
150 デブロッキングフィルタ
155 (時間的推定用)基準画像記憶部
160 (ビュー間推定用)基準画像記憶部
161 画像/奥行きパーティショナ
162 奥行き代表計算器
163 奥行き推定・符号化器
165不一致補償器
170 不一致推定器
175 動き補償器
180 動き推定器
185 スイッチ
200 復号器
201 ビットストリーム受信器
202 ビットストリームパーサ
205 エントロピ復号器
210 逆量子化器
211 奥行き代表計算器
215 逆変換器
220 合成器
225 デブロッキングフィルタ
230 イントラ推定器
235 動き補償器
240 (時間的推定用)基準画像記憶部
245 (ビュー間推定用)基準画像記憶部
250 不一致補償器
255 スイッチ
300 ビデオ送信システム
400 ビデオ受信システム

Claims (4)

  1. 第1部分奥行き値と第1部分動きベクトルとを含む構造にアクセスするステップと、
    画像の符号化された第1の部分を、前記第1の部分に関連し前記画像の他の部分に関連しない前記第1部分動きベクトルを用いて復号するステップであって、前記第1部分動きベクトルは前記第1の部分の復号に用いる対応する第1の参照画像部分を示し、前記第1の部分は第1のブロックサイズを有するステップと、
    前記第1部分奥行き値を処理するステップであって、前記第1部分奥行き値は前記第1の部分全体の、他の部分のではない奥行き情報を提供し、前記第1部分奥行き値は前記第1部分奥行き値を前記画像の符号化された第1の部分に関連付ける構造からアクセスされる、ステップと、
    前記第1部分奥行き値に基づき奥行きマップの第1の部分を生成するステップであって、前記奥行きマップの第1の部分は前記画像の第1の部分の各画素に対して別々の奥行き値を有する、ステップと、
    第2部分奥行き値と第2部分動きベクトルとを含む前記構造にアクセスするステップと、
    画像の符号化された第2の部分を、前記第2の部分に関連し前記画像の他の部分に関連しない前記第2部分動きベクトルを用いて復号するステップであって、前記第2部分動きベクトルは前記第2の部分の復号に用いる対応する第2の参照画像部分を示し、前記第2の部分は前記第1のブロックサイズとは異なる第2のブロックサイズを有するステップと、
    前記第2部分奥行き値を処理するステップであって、前記第2部分奥行き値は前記第2の部分全体の、他の部分のではない奥行き情報を提供し、前記第2部分奥行き値は前記第2部分奥行き値を前記画像の符号化された第2の部分に関連付ける構造からアクセスされる、ステップと、
    を有する方法。
  2. 第1部分奥行き値と第1部分動きベクトルとを含む構造にアクセスし、
    画像の符号化された第1の部分を、前記第1の部分に関連し前記画像の他の部分に関連しない前記第1部分動きベクトルを用いて復号し、前記第1部分動きベクトルは前記第1の部分の復号に用いる対応する第1の参照画像部分を示し、前記第1の部分は第1のブロックサイズを有し、
    前記第1部分奥行き値を処理し、前記第1部分奥行き値は前記第1の部分全体の、他の部分のではない奥行き情報を提供し、前記第1部分奥行き値は前記第1部分奥行き値を前記画像の符号化された第1の部分に関連付ける構造からアクセスされ、
    前記第1部分奥行き値に基づき奥行きマップの第1の部分を生成し、前記奥行きマップの第1の部分は前記画像の第1の部分の各画素に対して別々の奥行き値を有し、
    第2部分奥行き値と第2部分動きベクトルとを含む前記構造にアクセスし、
    画像の符号化された第2の部分を、前記第2の部分に関連し前記画像の他の部分に関連しない前記第2部分動きベクトルを用いて復号し、前記第2部分動きベクトルは前記第2の部分の復号に用いる対応する第2の参照画像部分を示し、前記第2の部分は前記第1のブロックサイズとは異なる第2のブロックサイズを有し、
    前記第2部分奥行き値を処理し、前記第2部分奥行き値は前記第2の部分全体の、他の部分のではない奥行き情報を提供し、前記第2部分奥行き値は前記第2部分奥行き値を前記画像の符号化された第2の部分に関連付ける構造からアクセスされる、
    復号器を有する装置。
  3. 画像の符号化された第1の部分を、前記第1の部分に関連し前記画像の他の部分に関連しない前記第1部分動きベクトルを用いて符号化するステップであって、前記第1部分動きベクトルは前記第1の部分の符号化に用いる対応する第1の参照画像部分を示し、前記第1の部分は第1のブロックサイズを有し、
    前記第1の部分全体の、他の部分のではない奥行き情報を提供する第1部分奥行き値を決定するステップであって、前記第1部分奥行き値の決定は奥行きマップの第1の部分に基づき、前記奥行きマップの第1の部分は前記画像の第1の部分の各画素に対して別々の奥行き値を有する、ステップと、
    画像の符号化された第2の部分を、前記第2の部分に関連し前記画像の他の部分に関連しない前記第2部分動きベクトルを用いて符号化するステップであって、前記第2部分動きベクトルは前記第2の部分の符号化に用いる対応する第2の参照画像部分を示し、前記第2の部分は前記第1のブロックサイズとは異なる第2のブロックサイズを有し、
    前記第2の部分全体の、他の部分のではない奥行き情報を提供する第1部分奥行き値を決定するステップと、
    前記符号化された第1の部分、前記第1部分奥行き値、前記符号化された第2の部分、及び前記第2部分奥行き値を、構造化されたフォーマットにアセンブルするステップと
    を有する方法。
  4. 画像の符号化された第1の部分を、前記第1の部分に関連し前記画像の他の部分に関連しない前記第1部分動きベクトルを用いて符号化する手段であって、前記第1部分動きベクトルは前記第1の部分の符号化に用いる対応する第1の参照画像部分を示し、前記第1の部分は第1のブロックサイズを有する手段と、
    前記第1の部分全体の、他の部分のではない奥行き情報を提供する第1部分奥行き値を決定する手段であって、前記第1部分奥行き値の決定は奥行きマップの第1の部分に基づき、前記奥行きマップの第1の部分は前記画像の第1の部分の各画素に対して別々の奥行き値を有する、手段と、
    画像の符号化された第2の部分を、前記第2の部分に関連し前記画像の他の部分に関連しない前記第2部分動きベクトルを用いて符号化する手段であって、前記第2部分動きベクトルは前記第2の部分の符号化に用いる対応する第2の参照画像部分を示し、前記第2の部分は前記第1のブロックサイズとは異なる第2のブロックサイズを有する手段と、
    前記第2の部分全体の、他の部分のではない奥行き情報を提供する第1部分奥行き値を決定する手段と、
    前記符号化された第1の部分、前記第1部分奥行き値、前記符号化された第2の部分、及び前記第2部分奥行き値を、構造化されたフォーマットにアセンブルする手段と
    を有する装置。
JP2014100744A 2008-04-25 2014-05-14 奥行き信号の符号化 Ceased JP2014147129A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12567408P 2008-04-25 2008-04-25
US61/125,674 2008-04-25

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2011506303A Division JP2011519227A (ja) 2008-04-25 2009-04-24 奥行き信号の符号化

Publications (1)

Publication Number Publication Date
JP2014147129A true JP2014147129A (ja) 2014-08-14

Family

ID=41217338

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2011506303A Pending JP2011519227A (ja) 2008-04-25 2009-04-24 奥行き信号の符号化
JP2014100744A Ceased JP2014147129A (ja) 2008-04-25 2014-05-14 奥行き信号の符号化

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2011506303A Pending JP2011519227A (ja) 2008-04-25 2009-04-24 奥行き信号の符号化

Country Status (7)

Country Link
US (1) US20110038418A1 (ja)
EP (1) EP2266322A2 (ja)
JP (2) JP2011519227A (ja)
KR (1) KR20110003549A (ja)
CN (1) CN102017628B (ja)
BR (1) BRPI0911447A2 (ja)
WO (1) WO2009131703A2 (ja)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4901772B2 (ja) * 2007-02-09 2012-03-21 パナソニック株式会社 動画像符号化方法及び動画像符号化装置
WO2010021666A1 (en) 2008-08-20 2010-02-25 Thomson Licensing Refined depth map
BRPI0924045A2 (pt) 2009-01-07 2017-07-11 Thomson Licensing Estimação de profundidade conjunta
US20110292044A1 (en) * 2009-02-13 2011-12-01 Kim Woo-Shik Depth map coding using video information
KR101624649B1 (ko) * 2009-08-14 2016-05-26 삼성전자주식회사 계층적인 부호화 블록 패턴 정보를 이용한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US8774267B2 (en) * 2010-07-07 2014-07-08 Spinella Ip Holdings, Inc. System and method for transmission, processing, and rendering of stereoscopic and multi-view images
KR101640404B1 (ko) * 2010-09-20 2016-07-18 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
CA2961824C (en) * 2011-01-12 2019-07-23 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
US8902982B2 (en) * 2011-01-17 2014-12-02 Samsung Electronics Co., Ltd. Depth map coding and decoding apparatus and method
JP2014112748A (ja) * 2011-03-18 2014-06-19 Sharp Corp 画像符号化装置および画像復号装置
JP6072678B2 (ja) * 2011-04-25 2017-02-01 シャープ株式会社 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
US20140085418A1 (en) * 2011-05-16 2014-03-27 Sony Corporation Image processing device and image processing method
US9363535B2 (en) * 2011-07-22 2016-06-07 Qualcomm Incorporated Coding motion depth maps with depth range variation
JP5749595B2 (ja) * 2011-07-27 2015-07-15 日本電信電話株式会社 画像伝送方法、画像伝送装置、画像受信装置及び画像受信プログラム
BR112014003165A2 (pt) * 2011-08-09 2017-03-01 Samsung Electronics Co Ltd método para codificar um mapa de profundidade de dados de vídeo de múltiplas visualizações, aparelho para codificar um mapa de profundidade de dados de vídeo de múltiplas visualizações, método para decodificar um mapa de profundidade de dados de vídeo de múltiplas visualizações, e aparelho para decodificar um mapa de profundidade de dados de vídeo de múltiplas visualizações
MX335982B (es) * 2011-08-09 2016-01-07 Samsung Electronics Co Ltd Metodo y aparato de codificacion de datos de video de vistas multiples y metodo y aparato de decodificacion.
EP2751998A4 (en) * 2011-08-30 2015-08-12 Intel Corp CODING SCHEMES FOR MORE VIEWED VIDEOS
WO2013035452A1 (ja) * 2011-09-05 2013-03-14 シャープ株式会社 画像符号化方法、画像復号方法、並びにそれらの装置及びプログラム
WO2013068548A2 (en) 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient multi-view coding using depth-map estimate for a dependent view
KR20240027889A (ko) 2011-11-11 2024-03-04 지이 비디오 컴프레션, 엘엘씨 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
WO2013068491A1 (en) 2011-11-11 2013-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-view coding with exploitation of renderable portions
EP2777256B1 (en) 2011-11-11 2017-03-29 GE Video Compression, LLC Multi-view coding with effective handling of renderable portions
WO2013072484A1 (en) 2011-11-18 2013-05-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-view coding with efficient residual handling
US20130287093A1 (en) * 2012-04-25 2013-10-31 Nokia Corporation Method and apparatus for video coding
US9307252B2 (en) * 2012-06-04 2016-04-05 City University Of Hong Kong View synthesis distortion model for multiview depth video coding
CN104509114A (zh) * 2012-07-09 2015-04-08 日本电信电话株式会社 动图像编码方法、动图像解码方法、动图像编码装置、动图像解码装置、动图像编码程序、动图像解码程序以及记录介质
RU2012138174A (ru) * 2012-09-06 2014-03-27 Сисвел Текнолоджи С.Р.Л. Способ компоновки формата цифрового стереоскопического видеопотока 3dz tile format
WO2014051320A1 (ko) * 2012-09-28 2014-04-03 삼성전자주식회사 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치
KR102186605B1 (ko) * 2012-09-28 2020-12-03 삼성전자주식회사 다시점 영상 부호화/복호화 장치 및 방법
KR20220131366A (ko) 2012-10-01 2022-09-27 지이 비디오 컴프레션, 엘엘씨 베이스 레이어로부터 예측을 위한 서브블록 세부분할의 유도를 이용한 스케일러블 비디오 코딩
KR20140048783A (ko) 2012-10-09 2014-04-24 한국전자통신연구원 깊이정보값을 공유하여 움직임 정보를 유도하는 방법 및 장치
KR101737595B1 (ko) * 2012-12-27 2017-05-18 니폰 덴신 덴와 가부시끼가이샤 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램 및 화상 복호 프로그램
US9516306B2 (en) 2013-03-27 2016-12-06 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
US9369708B2 (en) * 2013-03-27 2016-06-14 Qualcomm Incorporated Depth coding modes signaling of depth data for 3D-HEVC
EP2983368A4 (en) * 2013-04-05 2016-12-07 Samsung Electronics Co Ltd DEPTH CARD CODING METHOD AND DEVICE THEREFOR, AND DEPTH MAP DECODING METHOD AND DEVICE THEREFOR
GB2513111A (en) * 2013-04-08 2014-10-22 Sony Corp Data encoding and decoding
US10477230B2 (en) * 2013-04-10 2019-11-12 Mediatek Inc. Method and apparatus of disparity vector derivation for three-dimensional and multi-view video coding
CN105103555A (zh) * 2013-04-11 2015-11-25 Lg电子株式会社 处理视频信号的方法及装置
WO2014166116A1 (en) * 2013-04-12 2014-10-16 Mediatek Inc. Direct simplified depth coding
US10080036B2 (en) 2013-05-16 2018-09-18 City University Of Hong Kong Method and apparatus for depth video coding using endurable view synthesis distortion
US20160050440A1 (en) * 2014-08-15 2016-02-18 Ying Liu Low-complexity depth map encoder with quad-tree partitioned compressed sensing
CN106576169A (zh) 2014-09-30 2017-04-19 寰发股份有限公司 深度编码中用于深度建模模式的查找表尺寸减小的方法
CN104333760B (zh) * 2014-10-10 2018-11-06 华为技术有限公司 三维图像编码方法和三维图像解码方法及相关装置
US10368104B1 (en) * 2015-04-01 2019-07-30 Rockwell Collins, Inc. Systems and methods for transmission of synchronized physical and visible images for three dimensional display
US20180309972A1 (en) * 2015-11-11 2018-10-25 Sony Corporation Image processing apparatus and image processing method
WO2017082079A1 (ja) * 2015-11-11 2017-05-18 ソニー株式会社 画像処理装置および画像処理方法
SG11201803682RA (en) * 2015-11-11 2018-06-28 Sony Corp Encoding apparatus and encoding method, decoding apparatus and decoding method
WO2019142163A1 (en) * 2018-01-19 2019-07-25 Interdigital Vc Holdings, Inc. Processing a point cloud
KR20210069647A (ko) * 2018-10-05 2021-06-11 인터디지털 브이씨 홀딩스 인코포레이티드 3d 포인트들을 인코딩/재구성하기 위한 방법 및 디바이스
KR102378713B1 (ko) * 2020-06-23 2022-03-24 주식회사 에스원 동영상 부호화 방법, 복호화 방법 및 그 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0818976A (ja) * 1994-06-29 1996-01-19 Toshiba Corp 動画像符号化/復号化装置
JPH09289638A (ja) * 1996-04-23 1997-11-04 Nec Corp 3次元画像符号化復号方式
JPH10178639A (ja) * 1996-12-19 1998-06-30 Matsushita Electric Ind Co Ltd 画像コーデック部および画像データ符号化方法
JP2000078611A (ja) * 1998-08-31 2000-03-14 Toshiba Corp 立体映像受信装置及び立体映像システム
JP2002058031A (ja) * 2000-08-08 2002-02-22 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法及び装置、並びに、画像復号化方法及び装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE159396T1 (de) * 1991-06-04 1997-11-15 Qualcomm Inc System zur adaptiven kompression der blockgrössen eines bildes
JP3104439B2 (ja) * 1992-11-13 2000-10-30 ソニー株式会社 高能率符号化及び/又は復号化装置
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
JP3679426B2 (ja) * 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
US6064393A (en) * 1995-08-04 2000-05-16 Microsoft Corporation Method for measuring the fidelity of warped image layer approximations in a real-time graphics rendering pipeline
US5864342A (en) * 1995-08-04 1999-01-26 Microsoft Corporation Method and system for rendering graphical objects to image chunks
KR20000068660A (ko) * 1997-07-29 2000-11-25 요트.게.아. 롤페즈 3차원 장면 재구성 방법과 재구성 장치 및 디코딩 시스템
US6320978B1 (en) * 1998-03-20 2001-11-20 Microsoft Corporation Stereo reconstruction employing a layered approach and layer refinement techniques
US6348918B1 (en) * 1998-03-20 2002-02-19 Microsoft Corporation Stereo reconstruction employing a layered approach
US6188730B1 (en) * 1998-03-23 2001-02-13 Internatonal Business Machines Corporation Highly programmable chrominance filter for 4:2:2 to 4:2:0 conversion during MPEG2 video encoding
US6504872B1 (en) * 2000-07-28 2003-01-07 Zenith Electronics Corporation Down-conversion decoder for interlaced video
FI109633B (fi) * 2001-01-24 2002-09-13 Gamecluster Ltd Oy Menetelmä videokuvan pakkauksen nopeuttamiseksi ja/tai sen laadun parantamiseksi
US6940538B2 (en) * 2001-08-29 2005-09-06 Sony Corporation Extracting a depth map from known camera and model tracking data
US7003136B1 (en) * 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
US7289674B2 (en) * 2002-06-11 2007-10-30 Nokia Corporation Spatial prediction based intra coding
US7006709B2 (en) * 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep
US20030235338A1 (en) * 2002-06-19 2003-12-25 Meetrix Corporation Transmission of independently compressed video objects over internet protocol
KR20060105408A (ko) * 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
CN100449572C (zh) * 2003-09-30 2009-01-07 皇家飞利浦电子股份有限公司 图像再现的运动控制
EP1542167A1 (en) * 2003-12-09 2005-06-15 Koninklijke Philips Electronics N.V. Computer graphics processor and method for rendering 3D scenes on a 3D image display screen
US7292257B2 (en) * 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
US7561620B2 (en) * 2004-08-03 2009-07-14 Microsoft Corporation System and process for compressing and decompressing multiple, layered, video streams employing spatial and temporal encoding
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
KR100667830B1 (ko) * 2005-11-05 2007-01-11 삼성전자주식회사 다시점 동영상을 부호화하는 방법 및 장치
KR100747598B1 (ko) * 2005-12-09 2007-08-08 한국전자통신연구원 디지털방송 기반의 3차원 입체영상 송수신 시스템 및 그방법
US20070171987A1 (en) * 2006-01-20 2007-07-26 Nokia Corporation Method for optical flow field estimation using adaptive Filting
JP4605715B2 (ja) * 2006-06-14 2011-01-05 Kddi株式会社 多視点画像圧縮符号化方法、装置及びプログラム
CN100415002C (zh) * 2006-08-11 2008-08-27 宁波大学 多模式多视点视频信号编码压缩方法
CN101166271B (zh) * 2006-10-16 2010-12-08 华为技术有限公司 一种多视点视频编码中的视点差补偿方法
US8593506B2 (en) * 2007-03-15 2013-11-26 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for forming a panoramic image of a scene having minimal aspect distortion
GB0708676D0 (en) * 2007-05-04 2007-06-13 Imec Inter Uni Micro Electr A Method for real-time/on-line performing of multi view multimedia applications
KR101450670B1 (ko) * 2007-06-11 2014-10-15 삼성전자 주식회사 블록 기반의 양안식 영상 포맷 생성 방법과 장치 및 양안식영상 복원 방법과 장치
WO2010021666A1 (en) * 2008-08-20 2010-02-25 Thomson Licensing Refined depth map
BRPI0924045A2 (pt) * 2009-01-07 2017-07-11 Thomson Licensing Estimação de profundidade conjunta
US20100188476A1 (en) * 2009-01-29 2010-07-29 Optical Fusion Inc. Image Quality of Video Conferences

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0818976A (ja) * 1994-06-29 1996-01-19 Toshiba Corp 動画像符号化/復号化装置
JPH09289638A (ja) * 1996-04-23 1997-11-04 Nec Corp 3次元画像符号化復号方式
JPH10178639A (ja) * 1996-12-19 1998-06-30 Matsushita Electric Ind Co Ltd 画像コーデック部および画像データ符号化方法
JP2000078611A (ja) * 1998-08-31 2000-03-14 Toshiba Corp 立体映像受信装置及び立体映像システム
JP2002058031A (ja) * 2000-08-08 2002-02-22 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法及び装置、並びに、画像復号化方法及び装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JPN6012068019; Philipp Merkle et al.: 'Efficient Compression of Multi-View Depth Data Based on MVC' 3DTV Conference , 200705, pp.1-4, IEEE *
JPN6012068022; Philipp Merkle et al.: 'Multi-View Video Plus Depth Representation and Coding' IEEE International Conference on Image Processing (ICIP 2007) Vol.1, 200710, pp.I-201 - I-204, IEEE *
JPN6013064359; Aljoscha Smolic et al.: 'Multi-view video plus depth (MVD) format for advanced 3D video systems' Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6) JVT-W100r1, 200704, pp.1-7, 23rd Meeting: San Jose, USA *

Also Published As

Publication number Publication date
KR20110003549A (ko) 2011-01-12
CN102017628B (zh) 2013-10-09
US20110038418A1 (en) 2011-02-17
EP2266322A2 (en) 2010-12-29
JP2011519227A (ja) 2011-06-30
CN102017628A (zh) 2011-04-13
BRPI0911447A2 (pt) 2018-03-20
WO2009131703A3 (en) 2010-08-12
WO2009131703A2 (en) 2009-10-29

Similar Documents

Publication Publication Date Title
JP2014147129A (ja) 奥行き信号の符号化
JP6825155B2 (ja) ビデオ符号化及び復号化におけるタイリング
KR101663819B1 (ko) 정제된 깊이 맵
JP5346076B2 (ja) 奥行きを用いた視点間スキップモード
RU2689191C2 (ru) Упаковка кадров для кодирования видео
KR101691572B1 (ko) 3dv를 위한 층간 종속성 정보
KR101653724B1 (ko) 가상 레퍼런스 뷰
KR102273025B1 (ko) 선택적인 노이즈제거 필터링을 이용한 스케일러블 비디오 부호화 방법 및 그 장치, 선택적인 노이즈제거 필터링을 이용한 스케일러블 비디오 복호화 방법 및 그 장치
KR102233965B1 (ko) 필터링을 수반한 비디오 부호화 및 복호화 방법 및 그 장치
JP2018534827A (ja) 360度パノラマビデオの符号化方法、符号化装置、及びコンピュータプログラム
WO2012039936A1 (en) Coding stereo video data
JP2009513074A (ja) スケーラブル映像符号化を用いた多視点映像符号化
JP2008022549A (ja) 或るシーンの複数のマルチビュービデオを処理する方法及びシステム
KR20130116832A (ko) 트리 구조의 부호화 단위에 기초한 다시점 비디오 부호화 방법 및 그 장치, 트리 구조의 부호화 단위에 기초한 다시점 비디오 복호화 방법 및 그 장치
WO2010021664A1 (en) Depth coding
WO2008130716A2 (en) Video coding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150317

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150615

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150916

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151027

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20160223