JP2016517230A - 奥行き情報符号化および復号化方法、奥行き情報符号化および復号化装置、並びにビデオ処理及び再生装置 - Google Patents

奥行き情報符号化および復号化方法、奥行き情報符号化および復号化装置、並びにビデオ処理及び再生装置 Download PDF

Info

Publication number
JP2016517230A
JP2016517230A JP2016504463A JP2016504463A JP2016517230A JP 2016517230 A JP2016517230 A JP 2016517230A JP 2016504463 A JP2016504463 A JP 2016504463A JP 2016504463 A JP2016504463 A JP 2016504463A JP 2016517230 A JP2016517230 A JP 2016517230A
Authority
JP
Japan
Prior art keywords
depth
value
difference
lookup table
dlt
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016504463A
Other languages
English (en)
Other versions
JP6371373B2 (ja
Inventor
リ ミン
ミン リ
ピン ウー
ピン ウー
ホンウェイ リ
ホンウェイ リ
グオチエン シャン
グオチエン シャン
ユイタン シェ
ユイタン シェ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Publication of JP2016517230A publication Critical patent/JP2016517230A/ja
Application granted granted Critical
Publication of JP6371373B2 publication Critical patent/JP6371373B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本発明の実施形態は、奥行き情報符号化および復号化方法、奥行き情報符号化および復号化装置を開示し、3Dビデオ圧縮符号化技術に関する。前記符号化方法は、奥行き数値をインデックス番号で示すデータ構造である奥行きマッピングルックアップテーブルにおけるすべての要素を値の昇順で配置することと、前記奥行きマッピングルックアップテーブルにおける最初の要素の値を符号化してビットストリームに書き込むことと、前記奥行きマッピングルックアップテーブルにおける最初の要素以外の各要素の値と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差をそれぞれ符号化してビットストリームに書き込むこととを含む。本発明の実施形態は、奥行き情報復号化方法、奥行き情報符号化および復号化装置を開示する。本発明の技術的解決手段により、奥行き情報符号化および復号化効率を向上させ、奥行き情報が符号化される場合のリソース占有率を低下させる。【選択図】図1

Description

本発明の実施形態は、3Dビデオ圧縮符号化技術に関し、具体的に奥行き情報符号化および復号化方法、奥行き情報符号化および復号化装置、並びにビデオ処理及び再生装置に関する。
制定されている高性能ビデオ符号化(HEVC:High Efficiency Video Coding)基準に準拠した3Dビデオ(3DV:Three−Dimensional Video)符号化基準3D−HEVC(HEVC Three−Dimensional extension framework)において、簡易奥行符号化(SDC:Simplified Depth Coding)方法は、奥行き情報の符号化効率を効果的に向上させ、そして計算複雑さを低下させることができる。SDCモジュールにおいて、さらに奥行きマッピングルックアップテーブル(DLT:Depth Look−up Table)を使用して符号化器から入力された奥行きサンプルを奥行き値インデックス番号としてマッピングすることで、奥行きサンプル情報のビット奥行き(bit depth)を低下させて、圧縮率をさらに向上させる目的を達成することができる。同時に、符号化器は、DLTをビットストリームに書き込む必要がある。
3D−HEVE基準において直接符号化方法を使用してDLT情報をビットストリームに書き込み、その復号化プロセスは、次の通りである。
復号化プロセス:奥行き成分(Depth Component)に対して、復号化器は、まず入力ビットストリームからdlt_flagの値を解析する。dlt_flagの値が1に等しい(即ちDLTを使用する)場合、復号化器は、さらにnum_depth_values_in_dltの値を解析し、その後、復号化器は、num_depth_values_in_dlt個のDLT要素の値(dlt_depth_values [i][j])を解析する。
復号化プロセスに対応し、その符号化プロセスは、次の通りである。
符号化プロセス:奥行き成分を符号化する場合、符号化器は、まずdlt_depthをビットストリームに書き込む。dlt_depthの値が1に等しい(即ちDLTを使用する)場合、符号化器は、DLTに含まれる奥行き数値の数量をビットストリームに書き込み、その後、DLTにおける各要素(dlt_depth_values[i][j])の値を直接順次ビットストリームに書き込む。
DLT情報の圧縮符号化効率を向上させるために、提案文書JCT3V−C0142は、値の範囲が限られる範囲制約ビットマップ(RCBM:Range Constrained Bit Map)方法が与えられる。当該方法は、まずビットストリームにDLTにおける最小値と最大値を符号化し(最大値と最小値の差で示される)、次に1次元のフラッグビットベクトルから構成される1つの範囲制約ビットマップを使用して最小値と最大値の間の各奥行き値がDLTにあるかどうかを識別する。
RCBM方法のDLT復号化プロセスは、次の通りである。
復号化プロセス:復号化成分に対して、復号化器は、入力ビットストリームからdlt_flagの値を解析する。dlt_flagの値が1に等しい(即ちDLTを使用する)場合、復号化器は、code_full_bit_depth_map_flagの値を解析し、code_full_bit_depth_map_flagの値が0である場合、DLTにおける最小奥行き値を0に設定し、DLTにおける最大奥行き値を許容された最大値(例えば奥行きサンプル値のビット奥行きが8である場合、当該値が255である)に設定し、逆に、code_full_bit_depth_map_flagの値が1である場合、復号化器は、入力ビットストリームからDLTにおける奥行きサンプル値の最小値、最大値と最小値の差を解析し、そして最大値と最小値を設定する。最小値と最大値で定義されたDLT値範囲内に、復号化器は、値の範囲における各値がDLTに含まれるかどうかのフラッグビットを解析し、そしてフラッグ値が「1」に等しい奥行きサンプル値をDLTに追加する。
復号化プロセスに対応して、RCBM方法の符号化プロセスは、次の通りである。
符号化プロセス:奥行き成分を符号化する場合、符号化器は、まずdlt_flagをビットストリームに書き込む。dlt_flagの値が1である(DLTを使用する)場合、復号化器は、code_full_bit_depth_map_flagをビットストリームに書き込み、code_full_bit_depth_map_flagの値が0である場合、DLTにおける最小奥行き値を0に設定し、DLTにおける最大奥行き値を許容された最大値(奥行きサンプル値のビット奥行きが8である場合、当該値が255である)に設定し、逆に、code_full_bit_depth_map_flagの値が1である場合、復号化器は、DLTにおける奥行きサンプル値の最小値、最大値と最小値の差をビットストリームに書き込み、最大値と最小値の範囲における各奥行きサンプル値(最大と最小値が含まれない)に対して、符号化器は、当該奥行きサンプル値がDLTに含まれているフラッグ情報(「0」がDLTに含まれなく、「1」がDLTに含まれる)をビットストリームに書き込む。
上述した2つのDLT符号化および復号化方法の主な制限は、次の通りである。
3D_HEVCにおける従来方法の主な欠点がDLTにおける各データ要素間の関連性を使用してデータ間の冗長を除去することなく、直接DLTにおける各要素の値をビットストリームに書き込むことにある。これにより、DLT符号化ビットオーバーヘッドが大きすぎる。3D_HEVCの基準ソフトウェアHTM5.1において、DLT情報は、シーケンスパラメータセット(SPS:Sequence Parameter Set)に位置する。テストにより分かるように、DLT情報のSPS全体ビットオーバーヘッドに対する占有比が65%と高い。
TCBM方法によりDLT情報の符号化オーバーヘッドを効果的に低減させることができるが、当該方法が最小値と最大値の間の各奥行きサンプル値のためにフラッグを符号化し、当該奥行き値がDLTに含まれるかどうかを識別する必要があるので、最小値と最大値の間に多くの非DLT数値がある場合、RCMBは、多くの必要以上のビットオーバーヘッドを使用した。
本発明の実施形態が解決しようとする技術的問題は、奥行き情報符号化効率を向上させるように、奥行き情報符号化および復号化方法、奥行き情報符号化および復号化装置を提供することである。
前記技術的問題を解決するために、本発明の実施形態に係る奥行き情報符号化方法は、
奥行き数値をインデックス番号で示すデータ構造である奥行きマッピングルックアップテーブルにおけるすべての要素を値の昇順で配置することと、
前記奥行きマッピングルックアップテーブルにおける最初の要素の値を符号化してビットストリームに書き込むことと、
前記奥行きマッピングルックアップテーブルにおける最初の要素以外の各要素の値と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差をそれぞれ符号化してビットストリームに書き込むこととを含む。
好ましくは、前記方法において、前記奥行きマッピングルックアップテーブルにおける最初の要素以外の各要素の値と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差をそれぞれ符号化することは、
前記奥行きマッピングルックアップテーブルにおける最初の要素以外の各要素の値と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差を確定し、前記差が設定された閾値より以下である場合、設定された第一のエントロピー符号化方法を選択して当該差を符号化し、前記差が設定された閾値より大きい場合、設定された第二のエントロピー符号化方法を選択して当該差を符号化することを含む。
好ましくは、前記方法において、前記設定された閾値は、予め設定された固定値、または符号化プロセスにおいて動的に調整された数値である。
好ましくは、前記方法において、前記設定された閾値は、奥行きマッピングルックアップテーブル全体のために設定され、奥行きマッピングルックアップテーブルにおける最初の要素以外の要素のためにそれぞれ設定される。
好ましくは、前記方法は、
要素数量情報が含まれている前記奥行きマッピングルックアップテーブル情報をビットストリームに書き込むことをさらに含む。
好ましくは、前記方法は、
差を符号化する場合、前記差を符号化するために使用されたエントロピー符号化方法を識別するための補助情報を符号化してビットストリームに書き込むことをさらに含む。
本発明の実施形態に係る奥行き情報復号化方法は、
ビットストリームにおける奥行きマッピングルックアップテーブルの最初の要素に対応するビットフィールドを復号化して最初の要素の値を取得し、前記奥行きマッピングルックアップテーブルが奥行き数値をインデックス番号で示すデータ構造であることと、
奥行きマッピングルックアップテーブルにおける最初の要素以外の各要素と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差に対応するビットフィールドを復号化して、前記差を取得することと、
取得された差と奥行きマッピングルックアップテーブルにおけるインデックス番号が前記差に対応する要素インデックス番号より小さい復号化された要素の値を加算して、和を奥行きマッピングルックアップテーブルにおける前記差に対応するインデックス番号の要素の値とすることとを含む。
好ましくは、前記方法は、
奥行きマッピングルックアップテーブルを復号化する前に、奥行きマッピングルックアップテーブル情報を復号化することをさらに含み、前記奥行きマッピングルックアップテーブル情報は奥行きマッピングルックアップテーブルに含まれている要素数量の情報を含む。
好ましくは、前記方法は、
前記差に対応するビットフィールドを復号化する前に、差を符号化する補助情報に対応するビットフィールドを復号化して、当該差のために使用されたエントロピー符号化方法を取得し、当該差のために使用されたエントロピー符号化方法に対応するエントロピー復号化方法に従って前記差を復号化することをさらに含む。
本実施形態に係る奥行き情報符号化装置は、
奥行きマッピングルックアップテーブルにおけるすべての要素を値の昇順で配置するように構成される処理ユニットと、
奥行きマッピングルックアップテーブルにおける最初の要素の値を符号化し、そしてビットストリームに書き込むように構成される第一の符号化ユニットと、
前記奥行きマッピングルックアップテーブルにおける最初の要素以外の要素の値と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差をそれぞれ符号化し、そしてビットストリームに書き込むように構成される第二の符号化ユニットと、を含み、
前記奥行きマッピングルックアップテーブルが奥行き数値をインデックス番号で示すデータ構造である。
好ましくは、前記装置では、前記第二の符号化ユニットは、前記奥行きマッピングルックアップテーブルにおける最初の要素以外の各要素の値と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差を確定し、前記差が設定された閾値より以下である場合、設定された第一のエントロピー符号化方法を選択して当該差を符号化し、前記差が設定された閾値より大きい場合、設定された第二のエントロピー符号化方法を選択して当該差を符号化するように構成される。
好ましくは、前記装置では、前記設定された閾値は、予め設定された固定値、または符号化プロセスにおいて動的に調整された数値である。
好ましくは、前記装置では、前記設定された閾値は、奥行きマッピングルックアップテーブル全体のために設定され、または奥行きマッピングルックアップテーブルにおける最初の要素以外の要素のためにそれぞれ設定される。
好ましくは、前記装置では、前記第一の符号化ユニットは、さらに要素数量情報が含まれている前記奥行きマッピングルックアップテーブル情報をビットストリームに書き込むように構成される。
好ましくは、前記装置では、前記第二の符号化ユニットは、差を符号化する場合、前記差を符号化するために使用されたエントロピー符号化方法を識別するための補助情報を符号化してビットストリームに書き込むように構成される。
本発明の実施形態に係る奥行き情報復号化装置は、
受信されたビットストリームにおける奥行きマッピングルックアップテーブルの最初の要素に対応するビットフィールドを復号化して最初の要素の値を取得するように構成される第一の復号化ユニットと、
奥行きマッピングルックアップテーブルにおける最初の要素以外の各要素と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差に対応するビットフィールドを復号化して、前記差を取得するように構成される第二の復号化ユニットと、
取得された差と奥行きマッピングルックアップテーブルにおけるインデックス番号が前記差に対応する要素インデックス番号より小さい復号化された要素の値を加算して、和を奥行きマッピングルックアップテーブルにおける前記差に対応するインデックス番号の要素の値とするように構成される処理ユニットを含み、
前記奥行きマッピングルックアップテーブルが奥行き数値をインデックス番号で示すデータ構造である。
好ましくは、前記装置では、前記第一の復号化ユニットは、奥行きマッピングルックアップテーブルを復号化する前に、奥行きマッピングルックアップテーブル情報を復号化するように構成され、前記奥行きマッピングルックアップテーブル情報は、奥行きマッピングルックアップテーブルに含まれている要素数量の情報を含む。
好ましくは、前記装置では、前記第二の復号化ユニットは、前記差に対応するビットフィールドを復号化する前に、差を符号化する補助情報に対応するビットフィールドを復号化して、当該差のために使用されたエントロピー符号化方法を取得し、当該差のために使用されたエントロピー符号化方法に対応するエントロピー復号化方法に従って前記差を復号化するように構成される。
本発明の実施形態に係るビデオ処理装置は、
符号化すべきデータをキャッシュするように構成されるキャッシュと、
キャッシュされたデータにおける奥行きマッピングルックアップテーブルのすべての要素を値の昇順で配置し、奥行きマッピングルックアップテーブルにおける最初の要素の値を符号化してビットストリームに書き込み、前記奥行きマッピングルックアップテーブルにおける最初の要素以外の要素の値と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素インデックス番号より小さい要素の値との差をそれぞれ符号化してビットストリームに書き込むように構成される符号化器とを含む。
好ましくは、前記符号化器は、前記奥行きマッピングルックアップテーブルにおける最初の要素以外の各要素の値と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差を確定し、前記差が設定された閾値より以下である場合、設定された第一のエントロピー符号化方法を選択して当該差を符号化し、前記差が設定された閾値より大きい場合、設定された第二のエントロピー符号化方法を選択して当該差を符号化するように構成される。
好ましくは、前記符号化器により参照された前記設定された閾値は、予め設定された固定値、または符号化プロセスにおいて動的に調整された数値である。
好ましくは、前記符号化器により参照された前記設定された閾値は、奥行きマッピングルックアップテーブル全体のために設定され、または、奥行きマッピングルックアップテーブルにおける最初の要素以外の要素のためにそれぞれ設定される。
好ましくは、前記符号化器は、差を符号化する場合、前記差を符号化するために使用されたエントロピー符号化方法を識別するための補助情報を符号化してビットストリームに書き込むように構成される。
本実施形態に係るビデオ再生装置は、
受信されたビットストリームにおける奥行きマッピングルックアップテーブルの最初の要素に対応するビットフィールドを復号化して最初の要素の値を取得し、奥行きマッピングルックアップテーブルにおける最初の要素以外の各要素と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差に対応するビットフィールドを復号化して、前記差を取得し、取得された差と奥行きマッピングルックアップテーブルにおけるインデックス番号が前記差に対応する要素インデックス番号より小さい復号化された要素の値を加算して、和を奥行きマッピングルックアップテーブルにおける前記差に対応するインデックス番号の要素の値とするように構成される復号化器と、
前記復号化器により復号化されたデータを表示するように構成される表示器とを含む。
好ましくは、前記復号化器は、前記差に対応するビットフィールドを復号化する前に、差を符号化する補助情報に対応するビットフィールドを復号化し、当該差のために使用されたエントロピー符号化方法を取得し、当該差のために使用されたエントロピー符号化方法に対応するエントロピー復号化方法に従って前記差を復号化するように構成される。
本発明の実施形態に係るコンピュータ記憶媒体は、前記方法を実行するためのコンピュータ実行可能な命令を記憶している。
本出願の技術的解決手段により、奥行き情報符号化および復号化効率を向上させ、奥行き情報が符号化される場合のリソース占有率を低下させる。
本実施形態に係る符号化方法の論理プロセスを示す図である。 本実施形態に係る復号化方法の論理プロセスを示す図である。 本実施形態3に係る復号化プロセスを示す図である。 本実施形態3に係る符号化プロセスを示す図である。 本実施形態4に係る復号化プロセスを示す図である。 本実施形態4に係る符号化プロセスを示す図である。 本実施形態5に係る復号化プロセスを示す図である。 本実施形態5に係る符号化プロセスを示す図である。 本実施形態6に係る復号化プロセスを示す図である。 本実施形態6に係る符号化プロセスを示す図である。
本発明の目的、技術的解決手段と利点をより明らかにするために、以下、図面を参照して本発明の技術的解決手段をさらに詳しく説明する。衝突しない場合で、本出願の実施形態と実施形態における特徴が任意に互いに組み合わせることができると説明すべきである。
以下、各実施形態に係る前記符号化器で実現される方法は、当該実施形態において符号化器で実現可能な方法のうちの一つだけである。当該実施形態の復号化プロセス要求を満たすビットストリームを生成できるいずれかの符号化器は、当該実施形態の符号化器で実現される方法に属する。
実施形態1
本実施形態は、奥行き情報符号化方法を説明し、図1に示すように、次のステップ101〜ステップ103を含む。
ステップ101において、奥行きマッピングルックアップテーブルにおけるすべての要素を値の昇順で配置する。
実際の応用において、奥行きマッピングルックアップテーブルにおけるすべての要素を値の昇順で配置することは、DLTへ要素を配置する時に直接それに対応する昇順位置に配置することであってよい。または、既存のDLTに基づいて、そのなかの要素を昇順で再配列すればよい。
ステップ102において、前記奥行きマッピングルックアップテーブルにおける最初の要素の値を符号化して、ビットストリームに書き込む。
ステップ103において、前記奥行きマッピングルックアップテーブルにおける最初の要素以外の各要素の値と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素インデックス番号より小さい要素の値との差をそれぞれ符号化してビットストリームに書き込む。
前記方法に基づいて、設定された閾値で異なるエントロピー符号化方法を選択して前記差を符号化する好ましい実施形態が提案される。即ち、奥行きマッピングルックアップテーブルにおける最初の要素以外の各要素の値と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差を確定した後、差が設定された閾値より小さい場合、設定された第一のエントロピー符号化方法(例えば、エントロピー符号化方法E1)を選択して当該差を符号化し、前記差が設定された閾値より大きい場合、設定された第二のエントロピー符号化方法(例えば、エントロピー符号化方法E1)を選択して当該差を符号化する。ここで、設定された閾値は、予め設定された固定値であってよく、符号化プロセスにおいて動的に調整される変数であってもよい。設定された閾値は、奥行きマッピングルックアップテーブル全体のために設定されてよく、即ち1つの奥行きマッピングルックアップテーブルに対してそれに対応する設定された値が1つである。当然、設定された閾値は、奥行きマッピングルックアップテーブルにおける最初の要素以外の要素のためにそれぞれ設定されてよく、即ちN個の要素が含まれている1つの奥行きマッピングルックアップテーブルに対してそれに対応する設定された閾値がN−1個である。
なお、前記符号化プロセスにおいて、奥行きマッピングルックアップテーブル情報をビットストリームに書き込むことができ、奥行きマッピングルックアップテーブルが要素数量情報を含むことができる。
また、差を符号化する場合、差を符号化するために使用されたエントロピー符号化方法を識別するための補助情報を符号化してビットストリームに書き込むこともでき、このようにして、復号化する場合、この補助情報に基づいてどのエントロピー復号化方法を使用して差に対して復号化操作を行うかを確定することができる。
実施形態2
本実施形態は、奥行き情報復号化方法を説明する。当該方法は、前記実施形態1において符号化されたビットストリームを復号化する。当該復号化プロセスは、図2に示すように、次のステップ201〜203を含む。
ステップ201において、受信されたビットストリームにおける奥行きマッピングルックアップテーブルの最初の要素に対応するビットフィールドを復号化して最初の要素の値を取得する。
ステップ202において、奥行きマッピングルックアップテーブルにおける最初の要素以外の各要素と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差に対応するビットフィールドを復号化して前記差を取得する。
ステップ203において、取得された差と奥行きマッピングルックアップテーブルにおけるインデックス番号が前記差に対応する要素インデックス番号より小さい復号化された要素の値を加算して、和を奥行きマッピングルックアップテーブルにおける前記差に対応するインデックス番号の要素の値とする。
なお、奥行きマッピングルックアップテーブルを復号化する前に、奥行きマッピングルックアップテーブル情報を受信することもでき、奥行きマッピングルックアップテーブル情報は、奥行きマッピングルックアップテーブルに含まれている要素数量の情報を含むことができる。
また、受信されたビットストリームには奥行きマッピングルックアップテーブルにおける差を符号化する補助情報が含まれる可能性もあり、このようにして差に対応するビットフィールドを復号化する前に、まず差を符号化する補助情報に対応するビットフィールドを復号化し、当該差のために使用されたエントロピー符号化方法を取得し、さらに当該値のために使用されるエントロピー符号化方法に対応するエントロピー復号化方法に従って差を復号化すればよい。
実施形態3
本実施形態は、具体的な応用シナリオに対して、前記実施形態1と実施形態2の符号化および復号化方法に従って奥行き情報符号化および復号化を行う具体的なプロセスを説明する。
本実施形態のDLTビットストリーム構成方法は、表1に示される。当該DLTビットストリーム構成方法は、パラメータセット(Parameter Set)、スライスヘッダ(Slice Header)またはスライスセグメントヘッダ(Slice Segment Header)などのビットストリーム構成構造においてDLT情報ビットストリームを符号化して伝送することに適用する。
表1に示すように、ビットストリームにおける奥行き情報識別方法は、DLTにおける要素数量情報、DLTにおける最初の要素の値、DLTにおける最初の要素以外の要素の値とDLTにおけるインデックス番号が前記要素インデックス番号より小さい要素の値との差、前記差に対応するビットフィールドを復号化するために使用されるエントロピー方法の補助情報を識別する。
対応するビットストリームには、以下のビットフィールドが含まれる:DLTにおける要素数量情報のビットフィールド、DLTにおける最初の要素の値のビットフィールド、DLTにおける最初の要素以外の要素の値とDLTにおけるインデックス番号が前記要素インデックス番号より小さい要素の値との差のビットフィールド、前記差ビットフィールドを復号化するために使用されるエントロピー復号化方法を識別する補助情報のビットフィールド。このビットストリームは、パラメータセット(Parameter set)および/またはスライスヘッダ情報および/またはスライスセグメントヘッダ(slice segment header)情報にDLTデータを符号化することに適用する。本実施形態におけるDLTビットストリーム構成方法は、表1に示される。
Figure 2016517230
表1における各フィールドの語義(対応する復号化操作)は、次の通りである。ここで、Depthflagは、現在の処理成分が奥行き成分であるかどうかを識別するためのフラッグである。
dlt_flagの値が1に等しい場合、復号化器が復号化プロセスにDLTを使用する必要があることを示し、逆に、その値が0に等しい場合、復号化器が復号化プロセスにDLTを使用しないことを示す。当該要素の符号化および復号化方法は、U(1)に対応する符号化および復号化方法を使用する。
num_depth_values_in_dltがDLTに含まれている奥行きサンプルポイント値の数量を示す。その符号化および復号化方法は、ue(v)に対応する符号化および復号化方法を使用してよく、u(v)に対応する符号化および復号化方法を使用してもよい。u(v)に対応する符号化および復号化方法を使用する場合、ビットストリームにおけるnum_depth_values_in_dltに対応するビット個数が奥行き成分のビット奥行きに等しい。
dlt_depth_value[0]がDLTにおける最初の要素の値であり、その符号化および復号化方法は、ue(v)に対応する符号化および復号化方法を使用してよく、u(v)に対応する符号化および復号化方法を使用してもよい。u(v)に対応する符号化および復号化方法を使用する場合、ビットストリームにおけるdlt_depth_value[0]に対応するビット個数が奥行き成分のビット奥行きに等しい。
dlt_depth_diff_minus1[i]がDLTにおけるi番目の要素とi−1番目の要素との差を示し、その値が非負整数でなければならない。DLTにおける最初の要素以外の要素の値がdlt_depth_value[i]=dlt_depth_diff_minusl[i]+1+dlt_depth_value[i−1]であり、iの値が1,2,...,num_depth_value_in_dlt−1である。当該要素の符号化および復号化方法は、ue(v)に対応する符号化および復号化方法を使用してよく、u(v)に対応する符号化および復号化方法を使用してもよい。u(v)に対応する符号化および復号化方法を使用する場合、ビットストリームにおけるdlt_depth_diff_minusl[i]に対応するビット個数が奥行き成分のビット奥行きに等しい。
前記表1のビットストリーム構成方式を使用するビットストリームを復号化するプロセスは、図3に示すように、次のステップ301〜ステップ309を含む。
ステップ301において、復号化器は、ビットストリームからdlt_flagの値を解析する。
復号化器は、u(1)に対応する復号化方法を使用してビットストリームからdlt_flagに対応するビットフィールドを解析し、dlt_flagの値を取得する。
ステップ302において、復号化器は、dlt_flagの値が1であるかどうかを判定する。1であれば、ステップ303を実行し、1でなければ、ステップ309を実行する。
ステップ303において、復号化器は、num_depth_values_in_dltの値を解析する。
復号化器は、ue(v)に対応する復号化方法を使用してビットストリームからnum_depth_values_in_dltに対応するビットフィールドを解析し、num_depth_values_in_dltの値を取得する。
または、復号化器は、u(v)に対応する復号化方法を使用してビットストリームからnum_depth_values_in_dltに対応するビットフィールドを解析し、num_depth_values_in_dltの値を取得する。
ステップ304において、復号化器は、dlt_depth_value[0]の値を解析する。
復号化器は、ue(v)に対応する復号化方法を使用してビットストリームからdlt_depth_value[0]に対応するビットフィールドを解析し、dlt_depth_value[0]の値を取得する。
または、復号化器は、u(v)に対応する復号化方法を使用してビットストリームからdlt_depth_value[0]に対応するビットフィールドを解析してdlt_depth_value[0]の値を取得する。
ステップ305において、復号化器は、循環処理をi=1に初期化する。
ステップ306において、復号化器は、i<num_depth_values_in_dltが成立するかどうかを判定する。成立すれば、ステップ307を実行し、成立しなければ、ステップ309を実行する。
ステップ307において、復号化器は、dlt_depth_diff_minusl[i]の値を解析する。
復号化器は、ue(v)に対応する復号化方法を使用してビットストリームからdlt_depth_diff_minusl[i]に対応するビットフィールドを解析し、dlt_depth_diff_minusl[i]の値を取得する。
または、復号化器は、u(v)に対応する復号化方法を使用してビットストリームからdlt_depth_diff_minusl[i]に対応するビットフィールドを解析し、dlt_depth_diff_minusl[i]の値を取得する。
ステップ308において、復号化器は、dlt_depth_value[i]=dlt_depth_diff_minusl[i]+1+dlt_depth_value[i−1]、i++という操作を実行し、ステップ306に戻す。
ステップ309において、復号化してビットストリームからDLTデータを取得するプロセスは、終了し、DLTデータがアレイdlt_depth_valueに記憶される。
表1のビットストリーム構成方式を使用する符号化プロセスは、図4に示すように、次のステップ401〜ステップ408を含む。
ステップ401において、符号化器は、u(1)に対応する符号化方法を使用してdlt_flagの値をビットストリームに書き込む。
符号化器は、従来の符号化器最適化技術を使用して、符号化プロセスにDLTを使用する必要があるかどうかを確定する。DLTを使用すると、dlt_flagの値を1にし、逆に、dlt_flagの値を0にする。
ステップ402において、符号化器は、dlt_flagの値が1であるかどうかを判定する。1であれば、ステップ403を実行し、1でなければ、ステップ408を実行する。
ステップ403において、符号化器は、DLTに含まれている要素数量の値を取得してビットストリームに書き込む。
符号化器は、従来方法を使用してDLTの元のデータを取得し、アレイに記憶し、当該アレイに含まれている有効要素数量をカウントし、それをDLTに含まれる要素数量の値とする。
ステップ404において、符号化器は、DLTにおけるデータを昇順で配列し、そしてDLTにおける最初のデータをビットストリームに書き込む。
符号化器は、DLTにおけるデータを昇順で配列し、または、符号化器は、DLTの元のデータを取得する場合に、元のデータの昇順でデータをDLTが記憶されるアレイに配置する。
符号化器は、ue(v)に対応する符号化方法を使用してDLTにおける最初のデータの値をビットストリームに書き込む。または、符号化器は、u(v)に対応する符号化方法を使用してDLTにおける最初のデータの値をビットストリームに書き込む。
ステップ405において、符号化器は、循環処理をi=1に初期化する。
ステップ406において、符号化器は、i<num_depth_values_in_dltが成立するかどうかを判定する。成立すれば、ステップ407を実行し、成立しなければ、ステップ408を実行する。
ステップ407において、符号化器は、dlt[i]−dlt[i−1]−1の値をビットストリームに書き込み、カウンターをi++に更新するという操作を実行し、ステップ406に戻す。
符号化器は、ue(v)に対応する符号化方法を使用してdlt[i]−dlt[i−1]−1の値をビットストリームに書き込む。または、符号化器は、u(v)に対応する符号化方法を使用してdlt[i]−dlt[i−1]−1の値をビットストリームに書き込む。
ステップ408において、符号化器がDLT情報を符号化するプロセスは、終了する。
実施形態4
本実施形態は、具体的な応用シナリオに対して、前記実施形態1と実施形態2の符号化方法に従って奥行き情報符号化および復号化を行う具体的なプロセスを説明する。
本実施形態に使用されるDLTビットストリーム構成方法は、表2に示される。当該DLTビットストリーム構成方法は、パラメータセット(Parameter Set)、スライスヘッダ(Slice Header)またはスライスセグメントヘッダ(Slice Segment Header)などのビットストリーム構成構造にDLT情報ビットストリームを符号化して伝送することに適用する。
表2に示すように、ビットストリームにおける奥行き情報識別方法は、DLTにおける要素数量情報、DLTにおける最初の要素の値、DLTにおける最初の要素以外の要素の値とDLTにおけるインデックス番号が前記要素インデックス番号より小さい要素の値との差、前記差に対応するビットフィールドを復号化するために使用されるエントロピー方法の補助情報を識別する。
対応するビットストリームには、以下のビットフィールドが含まれる:DLTにおける要素数量情報のビットフィールド、DLTにおける最初の要素の値のビットフィールド、DLTにおける最初の要素以外の要素の値とDLTにおけるインデックス番号が前記要素インデックス番号より小さい要素の値との差のビットフィールド、前記差ビットフィールドを復号化するために使用されるエントロピー復号化方法を識別する補助情報のビットフィールド。このビットストリームは、パラメータセットおよび/またはスライスヘッダ情報および/またはスライスセグメントヘッダ情報にDLTデータを符号化することに用いられることができる。実施形態4におけるDLTビットストリーム構成方法は、表2に示される。
Figure 2016517230
表2における各フィールドの語義(対応する復号化操作)は、次の通りである。ここで、Depthflagは、現在の処理成分が奥行き成分であるかどうかを識別するためのフラッグである。
dlt_flagの値が1に等しい場合、復号化器が復号化プロセスにDLTを使用する必要があることを示し、逆に、その値が0に等しい場合、復号化器が復号化プロセスにDLTを使用しないことを示す。当該要素の符号化および復号化方法は、u(1)に対応する符号化および復号化方法を使用する。
num_depth_values_in_dltがDLTに含まれている奥行きサンプルポイント値の数量を示す。その符号化および復号化方法は、u(v)に対応する符号化および復号化方法を使用してよく、ue(v)に対応する符号化および復号化方法を使用してもよい。u(v)に対応する符号化および復号化方法を使用する場合、ビットストリームにおけるnum_depth_values_in_dltに対応するビット個数が奥行き成分のビット奥行きに等しい。
dlt_depth_value[0]がDLTにおける最初の要素の値であり、その符号化および復号化方法は、u(v)に対応する符号化および復号化方法を使用してよく、ue(v)に対応する符号化および復号化方法を使用してもよい。u(v)に対応する符号化および復号化方法を使用する場合、ビットストリームにおけるdlt_depth_value[0]に対応するビット個数が奥行き成分のビット奥行きに等しい。
dlt_depth_diff_minus1_less_than_4_flag[i]の値が1に等しい場合、DLTにおけるi番目の要素とi−1番目の要素との差から1を減算した値が4より小さいことを示し、逆に、その値が0に等しい場合、DLTにおけるi番目の要素とi−1番目の要素との差から1を減算した値が4より大きいことを示す。当該要素の符号化および復号化方法は、u(1)に対応する符号化および復号化方法を使用する。
dlt_depth_diff_minus1[i]がDLTにおけるi番目の要素とi−1番目の要素との差を示し、その値が非負整数でなければならない。DLTにおける最初の要素以外の要素の値がdlt_depth_value[i]=dlt_depth_diff_minus1[i]+1+dlt_depth_value[i−1]であり、iの値が1,2,...,num_depth_values_in_dlt−1である。当該要素の符号化および復号化方法は、u(2)に対応する符号化および復号化方法を使用する。
dlt_depth_diff_minus4[i]は、DLTにおけるi番目の要素とi−1番目の要素との差を示し、その値が非負整数でなければならない。DLTにおける最初の要素以外の要素の値がdlt_depth_value[i]=dlt_depth_diff_minus1_minus4[i]+1+4+dlt_depth_value[i−1]であり、iの値が1,2,...,num_depth_values_in_dlt−1である。当該要素の符号化および復号化方法は、ue(v)に対応する符号化および復号化方法を使用してよく、u(v)に対応する符号化および復号化方法を使用してもよい。u(v)に対応する符号化および復号化方法を使用する場合、ビットストリームにおけるdlt_depth_diff_minusl_minu4[i]に対応するビット個数が奥行き成分のビット奥行きに等しい。
表2に示すビットストリーム構成方法を使用する復号化プロセスは、図5に示すように、ステップ501〜ステップ511を含む。
ステップ501は、ステップ301と完全に同じである。
ステップ502において、復号化器は、dlt_flagの値が1であるかどうかを判定する。1であれば、ステップ503を実行し、1でなければ、ステップ511を実行する。
ステップ503は、ステップ303と完全に同じである。
ステップ504は、ステップ304と完全に同じである。
ステップ505は、ステップ305と完全に同じである。
ステップ506において、復号化器は、i<num_depth_values_in_dltが成立するかどうかを判定する。成立すれば、ステップ507を実行し、成立しなければ、ステップ511を実行する。
ステップ507において、復号化器は、dlt_depth_diff_minus1_less_than_4_flag[i]の値を解析する。
復号化器は、u(1)に対応する復号化方法を使用してビットストリームからdlt_depth_diff_minus1_less_than_4_flag[i]に対応するビットフィールドを解析し、dlt_depth_diff_minus1_less_than_4_flag[i]の値を取得する。
ステップ508において、復号化器は、dlt_depth_diff_minus1_less_than_4_flag[i]の値が1に等しいかどうかを判定する。1であれば、ステップ509を実行し、1でなければ、ステップ510を実行する。
ステップ509において、復号化器は、dlt_depth_diff_minus1[i]の値を解析し、dlt_depth_value[i]=dlt_depth_diff_minus1[i]+1+dlt_depth_value[i−1]であって、カウンターをi++に更新するという操作を実行し、ステップ506に戻す。
復号化器は、u(2)に対応する復号化方法を使用してビットストリームからdlt_depth_diff_minus1[i]に対応するビットフィールドを解析し、dlt_depth_diff_minus1[i]の値を取得する。
ステップ510において、復号化器は、dlt_depth_diff_minus1_minus4[i]の値を解析し、dlt_depth_value[i]=dlt_depth_diff_minus1−minus4[i]+1+4+dlt_depth_value[i−1]であり、カウンターをi++に更新するという操作を実行し、ステップ406を実行する。
復号化器は、ue(v)に対応する復号化方法を使用してビットストリームからdlt_depth_diff_minus1−minus4[i]に対応するビットフィールドを解析し、dlt_depth_diff_minus1−minus4[i]の値を取得する。
あるいは、復号化器は、u(v)に対応する復号化方法を使用してビットストリームからdlt_depth_diff_minus1−minus4[i]に対応するビットフィールドを解析し、dlt_depth_diff_minus1−minus4[i]の値を取得する。
ステップ511において、復号化してビットストリームからDLTデータを取得するプロセスは、終了し、DLTデータがアレイdlt_depth_valueに記憶される。
表2に示すビットストリーム構成方法を使用する符号化プロセスは、図6に示すように、ステップ601〜ステップ610を含む。
ステップ601は、ステップ401と完全に同じである。
ステップ602において、符号化器は、dlt_flagの値が1であるかどうかを判定する。1であれば、ステップ603を実行し、1でなければ、ステップ610を実行する。
ステップ603は、ステップ403と完全に同じである。
ステップ604は、ステップ404と完全に同じである。
ステップ605は、ステップ405と完全に同じである。
ステップ606において、符号化器は、i<num_depth_values_in_dltが成立するかどうかを判定する。成立すれば、ステップ607を実行し、成立しなければ、ステップ610を実行する。
ステップ607において、符号化器は、dlt[i]−dlt[i−1]−1<4が成立するかどうかを判定する。成立すれば、ステップ608を実行し、成立しなければ、ステップ609を実行する。
ステップ608において、符号化器は、値「1」をビットストリームに書き込み、dlt[i]−dlt[i−1]−1の値をビットストリームに書き込み、カウンターをi++に更新するという操作を実行し、ステップ606を実行する。
ステップ609において、符号化器は、値「0」をビットストリームに書き込み、dlt[i]−dlt[i−1]−1−4の値をビットストリームに書き込み、カウンターをi++に更新するという操作を実行し、ステップ606を実行する。
ステップ610において、符号化器がDLT情報を符号化するプロセスは、終了する。
実施形態5
本実施形態は、具体的な応用シナリオに対して、前記実施形態1と実施形態2の符号化および復号化方法に従って奥行き情報符号化および復号化を行う具体的なプロセスを説明する。
本実施形態に使用されるDLTビットストリーム構成方法は、表3に示される。当該DLTビットストリーム構成方法は、パラメータセット(Parameter Set)、スライスヘッダ(Slice Header)またはスライスセグメントヘッダ(Slice Segment Header)などのビットストリーム構成構造にDLT情報ビットストリームを符号化して伝送することに適用する。
表3に示すように、ビットストリームにおける奥行き情報識別方法は、DLTにおける要素数量情報、DLTにおける最初の要素の値、DLTにおける最初の要素以外の要素の値とDLTにおけるインデックス番号が前記要素インデックス番号より小さい要素の値との差、前記差に対応するビットフィールドを復号化するために使用されるエントロピー方法の補助情報を識別する。
対応するビットストリームには、以下のビットフィールドが含まれる:DLTにおける要素数量情報のビットフィールド、DLTにおける最初の要素の値のビットフィールド、DLTにおける最初の要素以外の要素の値とDLTにおけるインデックス番号が前記要素インデックス番号より小さい要素の値との差のビットフィールド、前記差ビットフィールドを復号化するために使用されるエントロピー復号化方法を識別する補助情報のビットフィールド。このビットストリームは、パラメータセットおよび/またはスライスヘッダ情報および/またはスライスセグメントヘッダ情報にDLTデータを符号化することに用いられることができる。実施形態5におけるDLTビットストリーム構成方法は、表3に示される。
Figure 2016517230
表3における各フィールドの語義(対応する復号化操作)は、次の通りである。ここで、Depthflagは、現在の処理成分が奥行き成分であるかどうかを識別するためのフラッグである。
dlt_flagの値が1に等しい場合、復号化器が復号化プロセスにDLTを使用する必要があることを示し、逆に、その値が0に等しい場合、復号化器が復号化プロセスにDLTを使用しないことを示す。当該要素の符号化および復号化方法は、u(1)に対応する符号化および復号化方法を使用する。
num_depth_values_in_dltがDLTに含まれている奥行きサンプルポイント値の数量を示す。その符号化および復号化方法は、u(v)に対応する符号化および復号化方法を使用してよく、ue(v)に対応する符号化および復号化方法を使用してもよい。u(v)に対応する符号化および復号化方法を使用する場合、ビットストリームにおけるnum_depth_values_in_dltに対応するビット個数が奥行き成分のビット奥行きに等しい。
dlt_depth_value[0]がDLTにおける最初の要素の値であり、その符号化および復号化方法は、u(v)に対応する符号化および復号化方法を使用してよく、ue(v)に対応する符号化および復号化方法を使用してもよい。u(v)に対応する符号化および復号化方法を使用する場合、ビットストリームにおけるdlt_depth_value[0]に対応するビット個数が奥行き成分のビット奥行きに等しい。
dlt_depth_diff_thresholdがDLTエントロピー符号化方法を切り替える閾値を示し、その符号化方法および復号化方法がu(3)に対応する符号化および復号化方法を使用する。当該要素の値に対応する復号化操作は、次の通りである。ここで、表4において演算子「a<<b」がaの2進数数値を右へbビット移すことを示す。実施形態5におけるdlt_depth_diff_thresholdの値に対応する操作表は、表4に示される。
Figure 2016517230
dlt_depth_diff_minus1_less_than_threshold_flag[i]の値が1に等しい場合、DLTにおけるi番目の要素とi−1番目の要素との差から1を減算した値が閾値より小さいことを示し、逆に、その値が0に等しい場合、DLTにおけるi番目の要素とi−1番目の要素との差から1を減算した値が閾値より大きいことを示す。ここで、閾値は、dlt_depth_diff_thresholdの値に基づいて確定される。当該要素の符号化および復号化方法は、u(1)に対応する符号化および復号化方法を使用する。
dlt_depth_diff_minus[i]がDLTにおけるi番目の要素とi−1番目の要素との差を示し、その値が非負整数でなければならない。DLTにおける最初の要素以外の要素の値がdlt_depth_value[i]=dlt_depth_diff_minus1[i]+1+dlt_depth_value[i-1]であり、ここで、iの値が1,2,...,num_depth_values_in_dlt−1である。当該要素の符号化および復号化方法は、u(v)とue(v)に対応する符号化および復号化方法を使用する。u(v)に対応する符号化および復号化方法を使用する場合、ビットストリームにおけるそれに対応するビット個数がdlt_depth_diff_thresholdの値に等しい。
dlt_depth_diff_minus1_minus4[i]がDLTにおけるi番目の要素とi−1番目の要素との差を示し、その値が非負整数でなければならない。DLTにおける最初の要素以外の要素の値がdlt_depth_value[i]=dlt_depth_diff_minus1_minus4[i]+1+4+dlt_depth_value[i-1]であり、ここで、iの値が1,2,...,num_depth_values_in_dlt−1である。当該要素の符号化および復号化方法は、ue(v)に対応する符号化および復号化方法を使用してよく、u(v)に対応する符号化および復号化方法を使用してもよい。
表3のビットストリーム構成方法を使用する復号化プロセスは、図7に示すように、ステップ701〜ステップ707を含む。
ステップ701は、ステップ501と完全に同じである。
ステップ702において、復号化器は、dlt_flagの値が1であるかどうかを判定する。1であれば、ステップ703を実行し、1でなければ、ステップ707を実行する。
ステップ703は、ステップ503と完全に同じである。
ステップ704は、ステップ504と完全に同じである。
ステップ705において、復号化器は、ビットストリームからdlt_depth_diff_thresholdの値を解析する。
復号化器は、u(3)に対応する復号化方法を使用してビットストリームからdlt_depth_diff_thresholdに対応するビットフィールドを解析し、dlt_depth_diff_thresholdの値を取得する。
ステップ706において、復号化器は、dlt_depth_diff_thresholdの値に基づいて、DLTを解析する。
dlt_depth_diff_thresholdの値が0に等しい場合、復号化器は、ue(v)に対応する復号化方法を使用してビットストリームからdlt_depth_diff_minus1[i]に対応するビットフィールドを解析し、dlt_depth_diff_minus1[i]の値を取得し、そしてdlt_depth_value[i]=dlt_depth_diff_minus1[i]+1+dlt_depth_value[i-1]という操作を実行する。
逆に、dlt_depth_diff_thresholdの値が1に等しい場合、復号化器は、u(1)に対応する復号化方法を使用してビットストリームからdlt_depth_diff_minus1_less_than_threshold_flag[i]に対応するビットフィールドを解析し、フラッグdlt_depth_diff_minus1_less_than_threshold_flag[i]の値を取得する。dlt_depth_diff_minus1_less_than_threshold_flag[i]の値が1に等しい場合、復号化器は、u(v)に対応する復号化方法を使用してビットストリームからdlt_depth_diff_minus1[i]に対応するビットフィールド(当該フィールドビット数がdlt_depth_diff_minus個である)を解析し、dlt_depth_diff_minus1[i]の値を取得し、そしてdlt_depth_value[i]=dlt_depth_diff_minus1[i]+1+dlt_depth_value[i-1]という操作を実行する。
逆に、dlt_depth_diff_minus1_less_than_threshold_flag[i]の値が0に等しい場合、復号化器は、ue(v)に対応する復号化方法を使用してビットストリームからdlt_depth_diff_minus1_minus4[i]に対応するビットフィールドを解析し、dlt_depth_diff_minus1_minus4[i]の値を取得し、そしてdlt_depth_value[i]=dlt_depth_diff_minus1_minus4[i]+1+4+dlt_depth_value[i-1]という操作を実行する。
ステップ707において、復号化してビットストリームからDLTデータを取得するプロセスは、終了し、DLTデータがアレイdlt_depth_valueに記憶される。
表3のビットストリーム構成方法を使用する符号化プロセスは、図8に示すように、ステップ801〜ステップ806を含む。
ステップ801は、ステップ601と完全に同じである。
ステップ802において、符号化器は、dlt_flagの値が1であるかどうかを判定する。1であれば、ステップ803を実行し、1でなければ、ステップ806を実行する。
ステップ803は、ステップ603と完全に同じである。
ステップ804は、ステップ604と完全に同じである。
ステップ805において、符号化器は、奥行きデータ特性に応じてdlt_depth_diff_thresholdの値を設定し、そして当該値に基づいてDLT関連データをビットストリームに書き込む。
符号化器は、異なるdlt_depth_diff_thresholdの許容値における符号化効率と占有リソース(例えば計算複雑さ、記憶スペース需要など)に対する影響をそれぞれ評価し、設定された評価基準(例えば一般的なレート歪み基準)に準拠するコストが最も小さいdlt_depth_diff_thresholdの値を選択する。
符号化器は、u(3)に対応する符号化方法を使用して選択されたdlt_depth_diff_thresholdの値をビットストリームに書き込む。
dlt_depth_diff_thresholdの値が0に等しい場合、符号化器は、ue(v)に対応する符号化方法を使用してdlt[i]-dlt[i−1]−1の値をビットストリームに書き込む。
逆に、dlt_depth_diff_thresholdの値が0に等しくない場合、符号化器の実行プロセスは、次の通りである。
符号化器は、dlt_depth_diff_thresholdの値に基づいて、表4によって閾値を設定する。
符号化器は、dlt[i]-dlt[i−1]−1の値が閾値より小さいことを判定した場合、符号化器は、u(1)に対応する符号化方法を使用して値「1」をビットストリームに書き込み、その後u(v)に対応する符号化方法を使用してdlt[i]-dlt[i−1]−1の値をビットストリームに書き込み、使用されるビット個数がdlt_depth_diff_thresholdに等しく、逆に、符号化器は、dlt[i]-dlt[i−1]−1の値が閾値より大きいことを判定した場合、u(1)に対応する符号化方法を使用して値「0」をコードストリムに書き込み、その後ue(v)に対応する符号化方法を使用してdlt[i]-dlt[i−1]−1−4の値をビットストリームに書き込む。
符号化器がDLTにおけるすべての要素の処理プロセスを完了した後、当該ステップが終了し、ステップ806を実行する。
ステップ806において、符号化器がDLT情報を符号化するプロセスは、終了する。
実施形態6
本実施形態は、具体的な応用シナリオに対して、前記実施形態1と実施形態2の符号化および復号化方法に従って奥行き情報符号化および復号化を行う具体的なプロセスを説明する。
本実施形態に使用されるDLTビットストリーム構成方法は、表4に示される。当該DLTビットストリーム構成方法は、パラメータセット(Parameter Set)、スライスヘッダ(Slice Header)またはスライスセグメントヘッダ(Slice Segment Header)などのビットストリーム構成構造においてDLT情報ビットストリームを符号化して伝送することに適用する。
表5に示すように、ビットストリームにおける奥行き情報識別方法は、DLTにおける要素数量情報、DLTにおける最初の要素の値、DLTにおける最初の要素以外の要素の値とDLTにおけるインデックス番号が前記要素インデックス番号より小さい要素の値との差、前記差に対応するビットフィールドを復号化するために使用されるエントロピー方法の補助情報を識別する。
対応するビットストリームには、以下のビットフィールドが含まれる:DLTにおける要素数量情報のビットフィールド、DLTにおける最初の要素の値のビットフィールド、DLTにおける最初の要素以外の要素の値とDLTにおけるインデックス番号が前記要素インデックス番号より小さい要素の値との差のビットフィールド、前記差ビットフィールドを復号化するために使用されるエントロピー復号化方法を識別する補助情報のビットフィールド。このビットストリームは、パラメータセットおよび/またはスライスヘッダ情報および/またはスライスセグメントヘッダ情報にDLTデータを符号化することに適用する。実施形態6におけるDLTビットストリーム構成方法は、表5に示される。
Figure 2016517230
表5における各フィールドの語義(対応する復号化操作)は、次の通りである。ここで、Depthflagは、現在の処理成分が奥行き成分であるかどうかを識別するためのフラッグである。
dlt_flagの値が1に等しい場合、復号化器が復号化プロセスにDLTを使用する必要があることを示し、逆に、その値が0に等しい場合、復号化器が復号化プロセスにDLTを使用しないことを示す。当該要素の符号化および復号化方法は、u(1)に対応する符号化および復号化方法を使用する。
num_depth_values_in_dltがDLTに含まれる奥行きサンプルポイント値の数量を示す。その符号化および復号化方法は、u(v)に対応する符号化および復号化方法を使用してよく、ue(v)に対応する符号化および復号化方法を使用してもよい。u(v)に対応する符号化および復号化方法を使用する場合、ビットストリームにおけるnum_depth_values_in_dltに対応するビット個数が奥行き成分のビット奥行きに等しい。
dlt_depth_value[0]がDLTにおける最初の要素の値であり、その符号化および復号化方法は、u(v)に対応する符号化および復号化方法を使用してよく、ue(v)に対応する符号化および復号化方法を使用してもよい。u(v)に対応する符号化および復号化方法を使用する場合、ビットストリームにおけるdlt_depth_value[0]に対応するビット個数が奥行き成分のビット奥行きに等しい。
dlt_depth_element_threshold_flagの値が1に等しい場合、DLTにおける各要素が自体の閾値を使用してエントロピー符号化方法を切り替えることを示し、逆に、その値が0に等しい場合、DLTにおける各要素が同じ閾値を使用してエントロピー符号化方法を切り替えることを示す。
dlt_depth_diff_thresholdがDLTエントロピー符号化方法を切り替える閾値を示し、その符号化および復号化方法は、u(3)に対応する符号化および復号化方法を使用する。当該要素の値に対応する復号化操作は、次の通りである。ここで、表6において演算子「a<<b」がaの2進数数値を右へbビット移すことを示す。実施形態6におけるdlt_depth_diff_thresholdの値に対応する操作表は、表6に示される。
Figure 2016517230
dlt_depth_diff_threshold_array[i]がDLTにおけるi番目の要素のDLTエントロピー符号化方法を切り替える閾値を示し、その符号化および復号化方法がue(3)に対応する符号化および復号化方法を使用する。当該要素の値に対応する復号化操作は、dlt_depth_diff_thresholdと同じであり、表6に示される。
dlt_depth_diff_minus1_less_than_threshold_flag[i]の値が1に等しい場合、DLTにおけるi番目の要素とi−1番目の要素との差から1を減算した値が閾値より小さいことを示し、逆に、その値が0に等しい場合、DLTにおけるi番目の要素とi−1番目の要素との差から1を減算した値が閾値より大きいことを示す。ここで、閾値は、dlt_depth_diff_thresholdの値に基づいて確定される。当該要素の符号化および復号化方法は、u(1)に対応する符号化および復号化方法を使用する。
dlt_depth_diff_minus1[i]がDLTにおけるi番目の要素とi−1番目の要素との差を示し、その値が非負整数でなければならない。DLTにおける最初の要素以外の要素の値がdlt_depth_value[i]=dlt_depth_diff_minus1[i]+1+dlt_depth_value[i-1]であり、ここで、iの値が1,2,....,num_depth_values_in−dlt−1である。当該要素の符号化および復号化方法は、ue(v)とu(v)に対応する符号化および復号化方法を使用することができる。当該要素の符号化および復号化方法は、u(v)に対応する符号化および復号化方法を使用する場合、dlt_depth_element_threshold_flagの値が1に等しい場合、ビットストリームにおけるそれに対応するビット個数がdlt_depth_diff_threshold_array[i]の値に等しく、逆に、dlt_depth_element_threshold_flagの値が0に等しい場合、ビットストリームにおけるそれに対応するビット個数がdlt_depth_diff_thresholdの値に等しい。
dlt_depth_diff_minusl_minus4[i]がDLにおけるi番目の要素とi−1番目の要素との差を示し、その値が非負整数でなければならない。DLTにおける最初の要素以外の要素の値がdlt_depth_value[i]=dlt_depth_diff_minus1_minus4[i]+1+4+dlt_depth_value[i-1]であり、ここで、iの値が1,2,...,num_depth_values_in_dlt−1である。当該要素の符号化および復号化方法は、ue(v)に対応する符号化および復号化方法を使用することができる。
表5のビットストリーム構成方法を使用する復号化プロセスは、図9に示すように、ステップ901〜ステップ907を含む。
ステップ901において、ステップ701と完全に同じである。
ステップ902において、復号化器は、dlt_flagの値が1であるかどうかを判定する。1であれば、ステップ903を実行し、1でなければ、ステップ907を実行する。
ステップ903は、ステップ703と完全に同じである。
ステップ904は、ステップ704と完全に同じである。
ステップ905において、復号化器は、dlt_depth_diff_element_threshold_flagとdlt_depth_diff_thresholdの値を解析する。
復号化器は、u(1)に対応する復号化方法を使用してビットストリームからdlt_depth_diff_element_threshold_flagに対応するフィールドビットを解析し、dlt_depth_diff_element_threshold_flagの値を取得する。
復号化器は、dlt_depth_diff_element_threshold_flagの値が1に等しいことを判定した場合、dlt_depth_diff_thresholdの値を0に設定する。
逆に、復号化器は、dlt_depth_diff_element_threshold_flagの値が0に等しいことを判定した場合、u(3)に対応する復号化方法を使用してdlt_depth_diff_thresholdに対応するフィールドビットを解析し、dlt_depth_diff_thresholdの値を取得する。
ステップ906において、復号化器は、dlt_depth_diff_element_threshold_flagとdlt_depth_diff_thresholdの値に基づいて、DLTを解析する。
復号化器は、dlt_depth_diff_element_threshold_flagの値が1に等しいことを判定した場合、u(3)に対応する復号化方法を使用してビットストリームからdlt_depth_diff_threshold_array[i]に対応するビットフィールドを解析し、dlt_depth_diff_threshold_array[i]の値を取得し、逆に、dlt_depth_diff_element_threshold_flagの値が0に等しいことを判定した場合、dlt_depth_diff_threshold_array[i]の値を0に設定する。
復号化器は、dlt_depth_diff_threshold+dlt_depth_diff_threshold_array[i]の値が0に等しいことを判定した場合、ue(v)に対応する復号化方法を使用してビットストリームからdlt_depth_diff_minus1[i]に対応するビットフィールドを解析し、dlt_depth_diff_minus1[i]の値を取得し、そしてdlt_depth_value[i]=dlt_depth_diff_minus1[i] +1+dlt_depth_value[i-1]という操作を実行する。
逆に、復号化器は、dlt_depth_diff_threshold+dlt_depth_diff_threshold_array[i]の値が0より大きいことを判定した場合、次のようなプロセスに従ってDLTを解析する。
復号化器は、u(1)に対応する復号化方法を使用してビットストリームからdlt_depth_diff_minus1_less_thresold_flag[i]に対応するビットフィールドを解析し、フラッグdlt_depth_diff_minus1_less_thresold_flag[i]の値を取得する。dlt_depth_diff_minus1_less_thresold_flag[i]の値が1に等しい場合、復号化器は、u(v)に対応する復号化方法を使用してビットストリームからdlt_depth_diff_minus1[i]に対応するビットフィールド(当該フィールドビット数がdlt_depth_diff_threshold_array[i]個である)を解析し、dlt_depth_diff_minus1[i]の値を取得し、そしてdlt_depth_value[i]=dlt_depth_diff_minus1[i]+1+dlt_depth_value[i-1]という操作を実行し、逆に、dlt_depth_diff_minus1_less_than_thresold_flag[i]の値が0に等しい場合、ue(v)に対応する復号化方法を使用してビットストリームからdlt_depth_diff_minus1_minus4[i]に対応するビットフィールドを解析し、dlt_depth_diff_minus1_minus4[i]の値を取得し、そしてdlt_depth_value[i]=dlt_depth_diff_minus1_minus4[i]+1+4+dlt_depth_value[i-1]という操作を実行する。
ステップ907において、復号化してビットストリームからDLTデータを取得するプロセスが終了し、DLTデータがアレイdlt_depth_valueに記憶される。
表5のビットストリーム構成方法を使用して符号化するプロセスは、図10に示すように、ステップ1001〜ステップ1006を含む。
ステップ1001は、ステップ801と完全に同じである。
ステップ1002において、符号化器は、dlt_flagの値が1であるかどうかを判定する。1であれば、ステップ1003を実行し、1でなければ、ステップ1006を実行する。
ステップ1003は、ステップ803と完全に同じである。
ステップ1004は、ステップ804と完全に同じである。
ステップ1005において、符号化器は、奥行きデータ特性に応じてdlt_depth_diff_element_threshold_flagとdlt_depth_diff_thresholdの値を設定し、そして当該値に基づいてDLT関連データをビットストリームに書き込む。
符号化器は、異なるdlt_depth_diff_element_threshold_flagの値が0または1に設定された場合の符号化効率と占有リソースに対する影響(例えば計算複雑さ、記憶スペース需要など)をそれぞれ評価し、設定された評価基準(例えば一般的なレート歪み基準)に準拠するコストが最も小さいdlt_depth_diff_element_threshold_flagの値を選択することができ、具体的なプロセスが次の通りである。
符号化器は、dlt_depth_diff_element_threshold_flagの値を0に設定した場合、dlt_depth_diff_thresholdの許容値における符号化効率と占有リソースに対する影響(例えば計算複雑さ、記憶スペース需要など)をそれぞれ評価し、設定された評価基準(例えば一般的なレート歪み基準)に準拠するコストが最も小さいdlt_depth_diff_thresholdの値を選択することができる。符号化器は、当該コストを、dlt_depth_diff_element_threshold_flagの値が0に設定された場合の対応するコストとし、そしてdlt_depth_diff_thresholdの値を記録する。
符号化器は、dlt_depth_diff_element_threshold_flagの値を0に設定した場合、dlt_depth_diff_thresholdの許容値における符号化効率と占有リソースに対する影響(例えば計算複雑さ、記憶スペース需要など)をそれぞれ評価し、DLTテーブルにおける最初の要素以外の要素のために設定された評価基準(例えば一般的なレート歪み基準)に準拠するコストが最も小さいdlt_depth_diff_threshold_array[i]の値を選択する。符号化器は、当該コストを、dlt_depth_diff_element_threshold_flagの値が1に設定された場合の対応するコストとし、そして最初の要素以外の要素のdlt_depth_diff_threshold_array[i]の値を記録する。
符号化器は、u(1)に対応する符号化方法を使用してdlt_depth_diff_element_threshold_flagの値をビットストリームに書き込む。dlt_depth_diff_element_threshold_flagの値が0に等しい場合、符号化器は、u(3)に対応する符号化方法を使用してdlt_depth_diff_thresholdの値をビットストリームに書き込む。
DLTにおける最初の要素以外の要素(例えばi番目の要素)に対して、符号化器は、次のような操作を実行する。
符号化器は、dlt_depth_diff_element_threshold_flagの値が1に等しいことを判定した場合、u(3)に対応する符号化方法を使用して、確定されたdlt_depth_diff_threshold_array[i]の値をビットストリームに書き込み、dlt_depth_diff_threshold_array[i]の値に基づいて閾値を設定し、符号化ビット長さの値をdlt_depth_diff_threshold_array[i]の値に等しく設定する。逆に、符号化器は、dlt_depth_diff_element_threshold_flagの値が0に等しいことを判定した場合、符号化ビット長さの値をdlt_depth_diff_thresholdの値に設定する。
符号化器は、dlt_depth_diff_threshold+dlt_depth_diff_threshold_array[i]の値が0に等しいことを判定した場合、ue(v)に対応する符号化方法を使用してdlt[i]−dlt[i−1]−1の値をビットストリームに書き込む。逆に、符号化器は、dlt_depth_diff_threshold+dlt_depth_diff_threshold_array[i]の値が0より大きいことを判定した場合、次の操作を実行する。
符号化器は、dlt[i]−dlt[i−1]−1の値が確定された閾値より小さいことを判定した場合、u(1)に対応する符号化方法を使用して値「1」をビットストリームに書き込み、その後u(v)に対応する符号化方法を使用してdlt[i]−dlt[i−1]−1の値をビットストリームに書き込み、使用されたビット個数が確定された符号化ビット長さの値に等しく、逆に、符号化器は、dlt[i]−dlt[i−1]−1の値が閾値より大きいことを判定した場合、u(1)に対応する符号化方法を使用して値「0」をビットストリームに書き込み、その後ue(v)に対応する符号化方法を使用してdlt[i]−dlt[i−1]−1−4の値をビットストリームに書き込む。
符号化器がDLTにおけるすべての要素の処理プロセスを完了した後、当該ステップが終了し、ステップ1006を実行する。
ステップ1006において、符号化器がDLT情報を符号化するプロセスは、終了する。
実施形態7
本実施形態は、上述した各実施形態における符号化操作を実現できる奥行き情報符号化装置を説明する。当該装置は、少なくとも以下の各ユニットを含む。
処理ユニットは、奥行きマッピングルックアップテーブルにおけるすべての要素を値の昇順で配置するように構成される。
第一の符号化ユニットは、奥行きマッピングルックアップテーブルにおける最初の要素の値を符号化し、そしてビットストリームに書き込むように構成される。
第二の符号化ユニットは、前記奥行きマッピングルックアップテーブルにおける最初の要素以外の要素の値と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差をそれぞれ符号化し、そしてビットストリームに書き込むように構成される。
具体的には、前記第二の符号化ユニットは、奥行きマッピングルックアップテーブルにおける最初の要素以外の要素の値と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差を確定し、前記差が設定された閾値より以下である場合、設定された第一のエントロピー符号化方法を選択して当該差を符号化し、前記差が設定された閾値より大きい場合、設定された第二のエントロピー符号化方法を選択して当該差を符号化するように構成される。
ここで、設定された閾値が予め設定された固定値、または符号化プロセスにおいて動的に調整された数値である。設定された閾値は、奥行きマッピングルックアップテーブル全体のために設定されてよく、奥行きマッピングルックアップテーブルにおける最初の要素以外の要素のためにそれぞれ設定されてもよい。
また、第一の符号化ユニットは、さらに要素数量情報が含まれている奥行きマッピングルックアップテーブル情報をビットストリームに書き込むように構成される。
第二の符号化ユニットは、差を符号化する場合、前記差を符号化するために使用されたエントロピー符号化方法を識別するための補助情報を符号化してビットストリームに書き込むように構成される。
本実施形態に係る符号化装置は、単独の符号化装置であってよく、様々なビデオ処理装置(3Dビデオ処理装置が含まれている)に内蔵された符号化器であってもよいと説明すべきである。この場合、ビデオ処理装置は、キャッシュと符号化器を含む。
キャッシュは、符号化すべきデータをキャッシュする。
符号化器は、キャッシュされたデータにおける奥行きマッピングルックアップテーブルのすべての要素を値の昇順で配置し、奥行きマッピングルックアップテーブルにおける最初の要素以外の要素の値と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差をそれぞれ符号化し、そしてビットストリームに書き込む。
具体的には、符号化器は、前記奥行きマッピングルックアップテーブルにおける最初の要素以外の要素の値と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差を確定し、前記差が設定された閾値より以下である場合、設定された第一のエントロピー符号化方法を選択して当該差を符号化し、前記差が設定された閾値より大きい場合、設定された第二のエントロピー符号化方法を選択して当該差を符号化する。
ここで、前記設定された閾値は、予め設定された固定値、または、
符号化プロセスにおいて動的に調整された数値である。
前記設定された閾値は、奥行きマッピングルックアップテーブル全体のために設定され、または、
奥行きマッピングルックアップテーブルにおける最初の要素以外の要素のためにそれぞれ設定される。
また、符号化器は、差を符号化する場合、前記差を符号化するために使用されたエントロピー符号化方法を識別するための補助情報を符号化してビットストリームに書き込むことができる。
実施形態8
本実施形態に係る奥行き情報復号化装置は、上述した各実施形態における復号化操作を実現でき、少なくとも次の各ユニットを含む。
第一の復号化ユニットは、受信されたビットストリームにおける奥行きマッピングルックアップテーブルの最初の要素に対応するビットフィールドを復号化して第一の要素の値を取得するように構成される。
いくつかの技術案において、第一の復号化ユニットは、奥行きマッピングルックアップテーブルを復号化する前に、奥行きマッピングルックアップテーブル情報を受信することができるように構成され、ここで、奥行きマッピングルックアップテーブル情報は、奥行きマッピングルックアップテーブルに含まれている要素数量を復号化した情報を含む。
第二の復号化ユニットは、奥行きマッピングルックアップテーブルにおける最初の要素以外の各要素と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差に対応するビットフィールドを復号化して、前記差を取得するように構成される。
好ましくは、第二の復号化ユニットは、前記差に対応するビットフィールドを復号化する前に、差を符号化する補助情報に対応するビットフィールドを復号化し、当該差のために使用されたエントロピー符号化方法を取得し、当該差のために使用されたエントロピー符号化方法に対応するエントロピー復号化方法に従って前記差を復号化するように構成される。
処理ユニットは、取得された差と奥行きマッピングルックアップテーブルにおけるインデックス番号が前記差に対応する要素インデックス番号より小さい復号化された要素の値を加算し、和を奥行きマッピングルックアップテーブルにおける前記差に対応するインデックス番号の要素の値とするように構成される。
なお、本実施形態に係る復号化装置は、単独の復号化装置であってよく、いずれかのビデオ再生装置(3Dビデオ再生装置が含まれている)に内蔵された復号化器であってもよい。
即ちビデオ再生装置における復号化器は、受信されたビットストリームにおける奥行きマッピングルックアップテーブルの最初の要素に対応するビットフィールドを復号化して第一の要素の値を取得し、奥行きマッピングルックアップテーブルにおける最初の要素以外の各要素と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差に対応するビットフィールドを復号化し、前記差を取得し、取得された差と奥行きマッピングルックアップテーブルにおけるインデックス番号が前記差に対応する要素インデックス番号より小さい復号化された要素の値を加算して、和を奥行きマッピングルックアップテーブルにおける前記差に対応するインデックス番号の要素の値とする。
表示器は、前記復号化器により復号化されたデータを表示すればよい。
ここで、復号化器は、前記差に対応するビットフィールドを復号化する前に、差を符号化する補助情報に対応するビットフィールドを復号化して、当該差のために使用されたエントロピー符号化方法を取得し、当該差のために使用されたエントロピー符号化方法に対応するエントロピー符号化方法に従って前記差を復号化する。
本分野の当業者は、本発明の実施形態が方法、システムまたはコンピュータプログラム製品として提供されることができると理解すべきである。従って、本発明は、ハードウェア実施形態、ソフトウェア実施形態、またはハードウェア実施形態およびソフトウェア実施形態を組み合わせた実施形態を使用することができる。しかも、本発明は、コンピュータ使用可能プログラムコードを含む1つ以上のコンピュータで使用可能な記憶媒体(磁気ディスク記憶装置と光メモリなどを含むがこれらに限られない)に実施されるコンピュータプログラム製品の形態を使用することができる。
本発明は、本発明の実施形態による方法、装置(システム)とコンピュータプログラム製品のフローチャートおよび/またはブロック図を参照して説明される。コンピュータプログラム命令によってフローチャートおよび/またはブロック図の各プロセスおよび/またはブロック、およびフローチャートおよび/またはブロック図のプロセスおよび/またはブロックの組み合わせを実現することができると理解すべきである。これらのコンピュータプログラム命令を汎用コンピュータ、専用コンピュータ、組み込みプロセッサまたは他のプログラム可能データ処理装置のプロセッサとして1つのマシンを生成することができ、それによってコンピュータまたは他のプログラム可能データ処理装置のプロセッサで実行された命令によりフローチャートの1つのプロセスまたは複数のプロセスおよび/またはブロック図における1つのブロックまたは複数のブロックにおける指定された機能を実現するための装置を生成する。
これらのコンピュータプログラム命令がコンピュータまたは他のプログラム可能データ処理装置が特定のモードで動作することをガイドすることができるコンピュータ可読メモリに記憶されることもでき、それによって、当該コンピュータ可読メモリに記憶された命令により命令装置が含まれる製造品を生成し、当該命令装置がフローチャートの1つ以上のプロセスおよび/またはブロック図の1つ以上のブロックにおける指定された機能を実現する。
これらのコンピュータプログラム命令がコンピュータまたは他のプログラム可能データ処理装置にロードされることができ、それによってコンピュータまたは他のプログラム可能データ処理装置で実行された命令によりフローチャートの1つ以上のプロセスおよび/またはブロック図の1つ以上のブロックにおける指定された機能を実現するためのステップを提供する。
上記は、本発明の好ましい実施形態に過ぎなく、本発明の特許請求の範囲を制限することに用いられるものではない。本発明の主旨精神と原則以内で行ったいかなる改修、同等入れ替わり、改良等が、本発明の特許請求の範囲内に含まれるべきである。

Claims (26)

  1. 奥行き情報符号化方法であって、
    奥行き数値をインデックス番号で示すデータ構造である奥行きマッピングルックアップテーブルにおけるすべての要素を値の昇順で配置することと、
    前記奥行きマッピングルックアップテーブルにおける最初の要素の値を符号化してビットストリームに書き込むことと、
    前記奥行きマッピングルックアップテーブルにおける最初の要素以外の各要素の値と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差をそれぞれ符号化してビットストリームに書き込むこととを含む、前記奥行き情報符号化方法。
  2. 前記奥行きマッピングルックアップテーブルにおける最初の要素以外の各要素の値と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差をそれぞれ符号化することは、
    前記奥行きマッピングルックアップテーブルにおける最初の要素以外の各要素の値と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差を確定し、前記差が設定された閾値より以下である場合、設定された第一のエントロピー符号化方法を選択して当該差を符号化し、前記差が設定された閾値より大きい場合、設定された第二のエントロピー符号化方法を選択して当該差を符号化することを含むことを特徴とする
    請求項1に記載の奥行き情報符号化方法。
  3. 前記設定された閾値は、予め設定された固定値、または、
    符号化プロセスにおいて動的に調整された数値であることを特徴とする
    請求項2に記載の奥行き情報符号化方法。
  4. 前記設定された閾値は、奥行きマッピングルックアップテーブル全体のために設定され、または、
    奥行きマッピングルックアップテーブルにおける最初の要素以外の要素のためにそれぞれ設定されることを特徴とする
    請求項2または3に記載の奥行き情報符号化方法。
  5. 要素数量情報が含まれている前記奥行きマッピングルックアップテーブル情報をビットストリームに書き込むことをさらに含むことを特徴とする
    請求項1〜3のいずれか1項に記載の奥行き情報符号化方法。
  6. 差を符号化する場合、前記差を符号化するために使用されたエントロピー符号化方法を識別するための補助情報を符号化してビットストリームに書き込むことをさらに含むことを特徴とする
    請求項1に記載の奥行き情報符号化方法。
  7. 奥行き情報復号化方法であって、
    ビットストリームにおける奥行きマッピングルックアップテーブルの最初の要素に対応するビットフィールドを復号化して最初の要素の値を取得し、前記奥行きマッピングルックアップテーブルが奥行き数値をインデックス番号で示すデータ構造であることと、
    奥行きマッピングルックアップテーブルにおける最初の要素以外の各要素と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差に対応するビットフィールドを復号化して、前記差を取得することと、
    取得された差と奥行きマッピングルックアップテーブルにおけるインデックス番号が前記差に対応する要素インデックス番号より小さい復号化された要素の値を加算して、和を奥行きマッピングルックアップテーブルにおける前記差に対応するインデックス番号の要素の値とすることとを含む、前記奥行き情報復号化方法。
  8. 奥行きマッピングルックアップテーブルを復号化する前に、奥行きマッピングルックアップテーブル情報を復号化することをさらに含み、前記奥行きマッピングルックアップテーブル情報は、奥行きマッピングルックアップテーブルに含まれている要素数量の情報を含むことを特徴とする
    請求項7に記載の奥行き情報復号化方法。
  9. 前記差に対応するビットフィールドを復号化する前に、差を符号化する補助情報に対応するビットフィールドを復号化して、当該差のために使用されたエントロピー符号化方法を取得し、当該差のために使用されたエントロピー符号化方法に対応するエントロピー復号化方法に従って前記差を復号化することをさらに含むことを特徴とする
    請求項7または8に記載の奥行き情報復号化方法。
  10. 奥行き情報符号化装置であって、
    奥行きマッピングルックアップテーブルにおけるすべての要素を値の昇順で配置するように構成される処理ユニットと、
    奥行きマッピングルックアップテーブルにおける最初の要素の値を符号化してビットストリームに書き込むように構成される第一の符号化ユニットと、
    前記奥行きマッピングルックアップテーブルにおける最初の要素以外の要素の値と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差をそれぞれ符号化してビットストリームに書き込むように構成される第二の符号化ユニットと、を含み、
    前記奥行きマッピングルックアップテーブルが奥行き数値をインデックス番号で示すデータ構造である、前記奥行き情報符号化装置。
  11. 前記第二の符号化ユニットは、前記奥行きマッピングルックアップテーブルにおける最初の要素以外の各要素の値と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差を確定し、前記差が設定された閾値より以下である場合、設定された第一のエントロピー符号化方法を選択して当該差を符号化し、前記差が設定された閾値より大きい場合、設定された第二のエントロピー符号化方法を選択して当該差を符号化するように構成されることを特徴とする
    請求項10に記載の奥行き情報符号化装置。
  12. 第二の符号化ユニットにより参照された前記設定された閾値は、予め設定された固定値、または符号化プロセスにおいて動的に調整された数値であることを特徴とする
    請求項11に記載の奥行き情報符号化装置。
  13. 第二の符号化ユニットにより参照された前記設定された閾値は、奥行きマッピングルックアップテーブル全体のために設定され、または奥行きマッピングルックアップテーブルにおける最初の要素以外の要素のためにそれぞれ設定されることを特徴とする
    請求項11または12に記載の奥行き情報符号化装置。
  14. 前記第一の符号化ユニットは、さらに要素数量情報が含まれている前記奥行きマッピングルックアップテーブル情報をビットストリームに書き込むように構成されることを特徴とする
    請求項10〜13のいずれか1項に記載の奥行き情報符号化装置。
  15. 前記第二の符号化ユニットは、差を符号化する場合、前記差を符号化するために使用されたエントロピー方法を識別するための補助情報を符号化してビットストリームに書き込むように構成されることを特徴とする
    請求項14に記載の奥行き情報符号化装置。
  16. 奥行き情報復号化装置であって、
    受信されたビットストリームにおける奥行きマッピングルックアップテーブルの最初の要素に対応するビットフィールドを復号化して最初の要素の値を取得するように構成される第一の復号化ユニットと、
    奥行きマッピングルックアップテーブルにおける最初の要素以外の各要素と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差に対応するビットフィールドを復号化して、前記差を取得するように構成される第二の復号化ユニットと、
    取得された差と奥行きマッピングルックアップテーブルにおけるインデックス番号が前記差に対応する要素インデックス番号より小さい復号化された要素の値を加算して、和を奥行きマッピングルックアップテーブルにおける前記差に対応するインデックス番号の要素の値とするように構成される処理ユニットを含み、
    前記奥行きマッピングルックアップテーブルが奥行き数値をインデックス番号で示すデータ構造である、前記奥行き情報復号化装置。
  17. 前記第一の復号化ユニットは、奥行きマッピングルックアップテーブルを復号化する前に、奥行きマッピングルックアップテーブル情報を復号化するように構成され、前記奥行きマッピングルックアップテーブル情報は奥行きマッピングルックアップテーブルに含まれている要素数量の情報を含むことを特徴とする
    請求項16に記載の奥行き情報復号化装置。
  18. 前記第二の復号化ユニットは、前記差に対応するビットフィールドを復号化する前に、差を符号化する補助情報に対応するビットフィールドを復号化して、当該差のために使用されたエントロピー符号化方法を取得し、当該差のために使用されたエントロピー符号化方法に対応するエントロピー復号化方法に従って前記差を復号化するように構成されることを特徴とする
    請求項16または17に記載の奥行き情報復号化装置。
  19. ビデオ処理装置であって、
    符号化すべきデータをキャッシュするように構成されるキャッシュと、
    キャッシュされたデータにおける奥行きマッピングルックアップテーブルのすべての要素を値の昇順で配置し、奥行きマッピングルックアップテーブルにおける最初の要素の値を符号化してビットストリームに書き込み、前記奥行きマッピングルックアップテーブルにおける最初の要素以外の要素の値と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素インデックス番号より小さい要素の値との差をそれぞれ符号化してビットストリームに書き込むように構成される符号化器とを含む、前記ビデオ処理装置。
  20. 前記符号化器は、前記奥行きマッピングルックアップテーブルにおける最初の要素以外の各要素の値と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差を確定し、前記差が設定された閾値より以下である場合、設定された第一のエントロピー符号化方法を選択して当該差を符号化し、前記差が設定された閾値より大きい場合、設定された第二のエントロピー符号化方法を選択して当該差を符号化するように構成されることを特徴とする
    請求項19に記載のビデオ処理装置。
  21. 前記符号化器により参照された前記設定された閾値は、予め設定された固定値、または符号化プロセスにおいて動的に調整された数値であることを特徴とする
    請求項20に記載のビデオ処理装置。
  22. 前記符号化器により参照された前記設定された閾値は、奥行きマッピングルックアップテーブル全体のために設定され、または、奥行きマッピングルックアップテーブルにおける最初の要素以外の要素のためにそれぞれ設定されることを特徴とする
    請求項20または21に記載のビデオ処理装置。
  23. 前記符号化器は、差を符号化する場合、前記差を符号化するために使用されたエントロピー符号化方法を識別するための補助情報を符号化してビットストリームに書き込むように構成されることを特徴とする
    請求項22に記載のビデオ処理装置。
  24. ビデオ再生装置であって、
    受信されたビットストリームにおける奥行きマッピングルックアップテーブルの最初の要素に対応するビットフィールドを復号化して最初の要素の値を取得し、奥行きマッピングルックアップテーブルにおける最初の要素以外の各要素と奥行きマッピングルックアップテーブルにおけるインデックス番号が当該要素のインデックス番号より小さい要素の値との差に対応するビットフィールドを復号化して、前記差を取得し、取得された差と奥行きマッピングルックアップテーブルにおけるインデックス番号が前記差に対応する要素インデックス番号より小さい復号化された要素の値を加算して、和を奥行きマッピングルックアップテーブルにおける前記差に対応するインデックス番号の要素の値とするように構成される復号化器と、
    前記復号化器により復号化されたデータを表示するように構成される表示器とを含む、前記ビデオ再生装置。
  25. 前記復号化器は、前記差に対応するビットフィールドを復号化する前に、差を符号化する補助情報に対応するビットフィールドを復号化し、当該差のために使用されたエントロピー符号化方法を取得し、当該差のために使用されたエントロピー符号化方法に対応するエントロピー復号化方法に従って前記差を復号化するように構成されることを特徴とする
    請求項24に記載のビデオ再生装置。
  26. コンピュータ記憶媒体であって、
    請求項1〜6、請求項7〜9のいずれか1項に記載の方法を実行するためのコンピュータ実行可能な命令を記憶している、前記コンピュータ記憶媒体。
JP2016504463A 2013-03-27 2014-02-25 奥行き情報符号化および復号化方法、奥行き情報符号化および復号化装置、並びにビデオ処理及び再生装置 Active JP6371373B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201310102168.9 2013-03-27
CN201310102168.9A CN104079941B (zh) 2013-03-27 2013-03-27 一种深度信息编解码方法、装置及视频处理播放设备
PCT/CN2014/072490 WO2014154074A1 (zh) 2013-03-27 2014-02-25 一种深度信息编解码方法、装置及视频处理播放设备

Publications (2)

Publication Number Publication Date
JP2016517230A true JP2016517230A (ja) 2016-06-09
JP6371373B2 JP6371373B2 (ja) 2018-08-08

Family

ID=51600949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016504463A Active JP6371373B2 (ja) 2013-03-27 2014-02-25 奥行き情報符号化および復号化方法、奥行き情報符号化および復号化装置、並びにビデオ処理及び再生装置

Country Status (6)

Country Link
US (1) US10477245B2 (ja)
EP (1) EP2981081B1 (ja)
JP (1) JP6371373B2 (ja)
KR (1) KR101700752B1 (ja)
CN (1) CN104079941B (ja)
WO (1) WO2014154074A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015139203A1 (en) 2014-03-18 2015-09-24 Mediatek Singapore Pte. Ltd. Dlt signaling in 3d video coding
CN105915917A (zh) * 2015-07-24 2016-08-31 乐视云计算有限公司 深度信息编码方法、解码方法及装置
FR3047379A1 (fr) * 2016-01-29 2017-08-04 Orange Procede de codage et decodage de donnees, dispositif de codage et decodage de donnees et programmes d'ordinateur correspondants

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1117971A (ja) * 1997-06-24 1999-01-22 Canon Inc 画像処理装置およびその方法、データ処理方法、並びに、記録媒体
JP2002044662A (ja) * 2000-07-24 2002-02-08 Sony Corp データ符号化装置及び符号化方法並びにデータ復号化装置及び復号化方法
CN101751897A (zh) * 2008-12-10 2010-06-23 扬智科技股份有限公司 压缩及解压缩查找表的方法及其相关装置
WO2011013192A1 (ja) * 2009-07-27 2011-02-03 株式会社東芝 画像符号化方法および画像復号方法
JP2011217347A (ja) * 2010-03-16 2011-10-27 Sony Corp 画像符号化装置とその方法、画像復号化装置とその方法、およびプログラム
WO2014108088A1 (en) * 2013-01-11 2014-07-17 Mediatek Singapore Pte. Ltd. Method and apparatus for efficient coding of depth lookup table
WO2014138224A2 (en) * 2013-03-05 2014-09-12 Qualcomm Incorporated Simplified depth coding

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7742635B2 (en) * 2005-09-22 2010-06-22 3M Innovative Properties Company Artifact mitigation in three-dimensional imaging
US8774269B2 (en) * 2006-10-25 2014-07-08 Franuhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Quality scalable coding with mapping different ranges of bit depths
KR101367282B1 (ko) 2007-12-21 2014-03-12 삼성전자주식회사 깊이 정보에 대한 적응적 정보 표현 방법 및 그 장치
KR101539935B1 (ko) * 2008-06-24 2015-07-28 삼성전자주식회사 3차원 비디오 영상 처리 방법 및 장치
SI2924995T1 (sl) * 2010-07-09 2018-10-30 Samsung Electronics Co., Ltd. Postopek za dekodiranje videa z uporabo združevanja blokov
EP3125562B1 (en) 2010-09-30 2022-04-06 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
US20130222377A1 (en) 2010-11-04 2013-08-29 Koninklijke Philips Electronics N.V. Generation of depth indication maps
US8553998B1 (en) * 2011-08-16 2013-10-08 Google Inc. Depthmap compression using a primitive
CN102970548B (zh) 2012-11-27 2015-01-21 西安交通大学 一种图像深度感知装置
KR102216585B1 (ko) * 2013-01-04 2021-02-17 삼성전자주식회사 깊이 영상의 부호화 장치 및 복호화 장치, 부호화 방법 및 복호화 방법
WO2014110452A1 (en) * 2013-01-11 2014-07-17 Futurewei Technologies Co., Ltd. Method and apparatus of depth prediction mode selection
CN105009575B (zh) * 2013-03-13 2018-12-07 华为技术有限公司 一种基于子范围编码深度查询表的方法
CN105009576B (zh) * 2013-03-13 2018-12-14 华为技术有限公司 深度查询表的编码方法
HUE040137T2 (hu) * 2013-03-15 2019-02-28 Qualcomm Inc Predikátor mélységtérkép-intrakódoláshoz
KR101702802B1 (ko) * 2013-04-10 2017-02-03 지티이 코포레이션 깊이 정보 인코딩 및 디코딩 방법, 시스템, 및 장치
US20150063464A1 (en) * 2013-08-30 2015-03-05 Qualcomm Incorporated Lookup table coding
US9497473B2 (en) * 2013-10-03 2016-11-15 Qualcomm Incorporated High precision explicit weighted prediction for video coding
WO2015053593A1 (ko) * 2013-10-12 2015-04-16 삼성전자 주식회사 부가 영상을 부호화하기 위한 스케일러블 비디오 부호화 방법 및 장치, 부가 영상을 복호화하기 위한 스케일러블 비디오 복호화 방법 및 장치
US20160255371A1 (en) * 2013-10-18 2016-09-01 Lg Electronics Inc. Method and apparatus for coding/decoding 3d video

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1117971A (ja) * 1997-06-24 1999-01-22 Canon Inc 画像処理装置およびその方法、データ処理方法、並びに、記録媒体
JP2002044662A (ja) * 2000-07-24 2002-02-08 Sony Corp データ符号化装置及び符号化方法並びにデータ復号化装置及び復号化方法
CN101751897A (zh) * 2008-12-10 2010-06-23 扬智科技股份有限公司 压缩及解压缩查找表的方法及其相关装置
WO2011013192A1 (ja) * 2009-07-27 2011-02-03 株式会社東芝 画像符号化方法および画像復号方法
JP2011217347A (ja) * 2010-03-16 2011-10-27 Sony Corp 画像符号化装置とその方法、画像復号化装置とその方法、およびプログラム
WO2014108088A1 (en) * 2013-01-11 2014-07-17 Mediatek Singapore Pte. Ltd. Method and apparatus for efficient coding of depth lookup table
WO2014138224A2 (en) * 2013-03-05 2014-09-12 Qualcomm Incorporated Simplified depth coding
JP2016514426A (ja) * 2013-03-05 2016-05-19 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビュー内でのおよびビューにわたる深度ルックアップテーブルの予測コーディング

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KAI ZHANG, ET AL.: "3D-CE6.h related: An efficient coding method for DLT in 3DVC", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ITU-T SG 16 WP 3 AND ISO/IEC J, vol. JCT3V-C0142.docx, JCT3V-C0142.pptx, JPN6016039827, 18 January 2013 (2013-01-18), ISSN: 0003421827 *
MING LI, ET AL.: "AHG7 Related: Differential coding method for DLT in 3D-HEVC", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSIONS OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/W, vol. JCT3V-E0211, JPN6016039828, 26 July 2013 (2013-07-26), ISSN: 0003421828 *
XIN ZHAO, ET AL.: "CE6.h related: On signaling of DLT for depth coding", JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSIONS OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/W, vol. JCT3V-D0182, JPN6016039829, 21 April 2013 (2013-04-21), ISSN: 0003421829 *

Also Published As

Publication number Publication date
CN104079941B (zh) 2017-08-25
WO2014154074A1 (zh) 2014-10-02
EP2981081A4 (en) 2016-03-30
KR101700752B1 (ko) 2017-01-31
EP2981081A1 (en) 2016-02-03
KR20150135495A (ko) 2015-12-02
US10477245B2 (en) 2019-11-12
CN104079941A (zh) 2014-10-01
US20160057452A1 (en) 2016-02-25
JP6371373B2 (ja) 2018-08-08
EP2981081B1 (en) 2018-11-14

Similar Documents

Publication Publication Date Title
US11290717B2 (en) Encoding and decoding methods and apparatuses with multiple image block division manners
US11523124B2 (en) Coded-block-flag coding and derivation
US11394970B2 (en) Image encoding and decoding method and device
US10666977B2 (en) Methods and apparatuses for coding and decoding depth map
US20200014927A1 (en) Method and device for video coding and decoding
US10820016B2 (en) Encoding and decoding method and device for data compression
CA3134855A1 (en) Implicit quadtree or binary-tree geometry partition for point cloud coding
JP6437097B2 (ja) 予測符号化、復号化方法、対応するエンコーダ、デコーダ及び電子機器
US11704328B2 (en) Columnar storage and query method and system for time series data
JP2018026871A (ja) ビデオデコーダを実装するコンピューティングデバイス及びその方法
JP2017519467A5 (ja)
JP6371373B2 (ja) 奥行き情報符号化および復号化方法、奥行き情報符号化および復号化装置、並びにビデオ処理及び再生装置
KR20220003020A (ko) 인코딩 및 디코딩 방법, 장치, 및 기기
US20240177356A1 (en) Improvement on predictive tree-based geometry coding for a point cloud
US20160092492A1 (en) Sharing initial dictionaries and huffman trees between multiple compressed blocks in lz-based compression algorithms
CN111061722A (zh) 一种数据压缩、数据解压缩方法、装置及设备
CN105791819B (zh) 一种图像的帧压缩方法、图像的解压缩方法及装置
KR102412244B1 (ko) 모드 정보를 코딩 및 디코딩하기 위한 방법 및 장치, 그리고 전자 디바이스
JP2016519511A (ja) 奥行情報の符号化および復号化方法、システムおよび装置
KR20110011357A (ko) 비트의 순서를 변경한 데이터의 부호화, 복호화 방법 및 장치
CN112400280A (zh) 信息处理装置、信息处理系统、程序和信息处理方法
CN117221551A (zh) 点云处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161011

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20161011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161018

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170714

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170725

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20170922

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180712

R150 Certificate of patent or registration of utility model

Ref document number: 6371373

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250