JP2015521446A - 透明度情報チャネルを有するビデオストリームをエンコードするための方法および装置 - Google Patents

透明度情報チャネルを有するビデオストリームをエンコードするための方法および装置 Download PDF

Info

Publication number
JP2015521446A
JP2015521446A JP2015514427A JP2015514427A JP2015521446A JP 2015521446 A JP2015521446 A JP 2015521446A JP 2015514427 A JP2015514427 A JP 2015514427A JP 2015514427 A JP2015514427 A JP 2015514427A JP 2015521446 A JP2015521446 A JP 2015521446A
Authority
JP
Japan
Prior art keywords
encoding
encoder
transparency information
information channel
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015514427A
Other languages
English (en)
Other versions
JP6033415B2 (ja
Inventor
ロンダオ・オルフェイス,パトリス
ファン・ブルーク,シフールト
ステフェンス,クリストフ
マック,ジャン−フランソワ
Original Assignee
アルカテル−ルーセント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルカテル−ルーセント filed Critical アルカテル−ルーセント
Publication of JP2015521446A publication Critical patent/JP2015521446A/ja
Application granted granted Critical
Publication of JP6033415B2 publication Critical patent/JP6033415B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/001Model-based coding, e.g. wire frame
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/21Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with binary alpha-plane coding for video objects, e.g. context-based arithmetic encoding [CAE]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Discrete Mathematics (AREA)
  • Computing Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

透明度情報チャネルを有するビデオストリームを、前記透明度情報チャネルについての所定の目標ビットレートを考慮してエンコードするための方法は、ロスレスベクトルグラフィックスエンコーディングを含む第1のエンコーディング(130)を前記透明度情報チャネルに暫定的に適用すること(130)と、前記第1のエンコーディングが前記所定の目標ビットレート内のエンコードされたビットレートをもたらす場合(140)、前記透明度情報チャネルのエンコードされたバージョンを生成するために、前記第1のエンコーディングを選択すること(150)と、そうでない場合、数学的表現のエンコーディングスキームを含む第2のエンコーディング(160)を前記透明度情報チャネルに暫定的に適用すること(160)と、前記第2のエンコーディングが前記所定の目標ビットレート内のエンコードされたビットレートをもたらす場合(170)、前記透明度情報チャネルのエンコードされたバージョンを生成するために、前記第2のエンコーディングを選択すること(180)と、そうでない場合、前記透明度情報チャネルのエンコードされたバージョンを生成するために、MPEGベースのエンコーディングを含む第3のエンコーディングを選択すること(190)とを含む。

Description

本発明は、ビデオコーディングの分野に関し、特に、ビデオストリーム中の透明度情報をコード化する分野に関する。
現在、奥行きと視差と多視点が特に重要な側面となる3Dシーンをエンコードするための技術を標準化しようとする取り組みが進行中である。動画のアルファ(透明度、半透明度または不透明度)チャネルのための高効率なコーディングが必要である。
本発明の一態様によれば、第1の透明度情報チャネルを有するビデオストリームを、第1の透明度情報チャネルについての所定の目標ビットレートを考慮してエンコードするための方法であって、当該方法は、ロスレスベクトルグラフィックスエンコーディングスキームを含む第1のエンコーディングを第1の透明度情報チャネルの一部に暫定的に適用することと、第1のエンコーディングが所定の目標ビットレート内のエンコードされたビットレートをもたらす場合、第1の透明度情報チャネルの一部のエンコードされたバージョンを生成するために、第1のエンコーディングを選択することと、そうでない場合、数学的表現のエンコーディングスキームを含む第2のエンコーディングを第1の透明度情報チャネルの一部に暫定的に適用することと、第2のエンコーディングが所定の目標ビットレート内のエンコードされたビットレートをもたらす場合、第1の透明度情報チャネルの一部のエンコードされたバージョンを生成するために、第2のエンコーディングを選択することと、そうでない場合、第1の透明度情報チャネルの一部のエンコードされたバージョンを生成するために、MPEGベースのエンコーディングスキームを含む第3のエンコーディングを選択することとを含む、方法が提供される。
より効率的にエンコードされたストリームを生成するために、透明度チャネルの特質が考慮されることは、本発明の実施形態の利点である。これは、色情報について通常使用されるもの以外の他のエンコーディングスキームを使用することを必要とし得る。さらに、透明度情報の異なる部分(スライス、タイル、フレーム、またはフレーム群)は異なるタイプのエンコーディングを必要とすることがあるので、評価は部分ごとに行われ得る。
一実施形態において、本発明による方法は、同じピクチャ群に属する第1の透明度情報チャネルの後続部分のエンコードされたバージョンを生成するために、選択されたエンコーディングを使用することをさらに含む。
ストリームのピクチャおよびピクチャ群への分割が尊重されることは、本実施形態の利点であり、当該利点は、受信側におけるデコーディングを容易にする。
一実施形態において、本発明による方法は、第1のエンコーディングおよび第2のエンコーディングが選択された第1の透明度情報チャネルの部分のそれぞれの数を数えることと、当該数に応じて第1の透明度情報チャネルの後続部分のエンコーディングを選択することとをさらに含む。
透明度情報の特質に関する統計的な情報が、行われなければならない暫定的なエンコーディングおよび評価の数を低減するために使用されることは、本実施形態の利点である。
本発明による方法の一実施形態において、第1のエンコーディングは、スケーラブルベクトルグラフィックス(SVG:Scalable Vector Graphics)エンコーディングを含む。
結果として生じるエンコードされた情報が、品質を損なう影響を受けることなく、受信側において簡単に変換され得ること(ズームインされる、クロップされる、回転される等)は、本実施形態の利点である。
本発明による方法の一実施形態において、第3のエンコーディングは、HEVCエンコーディング、H.264SVCエンコーディング、およびH.264MVCエンコーディングのうちの1つを含む。
本発明が既存の標準準拠のビデオエンコーディングシステムと簡単に一体化され得ることは、本実施形態の利点である。
特定の実施形態において、第3のエンコーディングは、H.264MVCエンコーディングを含み、視点に対応する複数の付加的な透明度情報チャネルが、第1の透明度情報チャネルに関する差分エンコーディングによってエンコードされる。
本実施形態が、異なる視点に関する様々な透明度情報チャネルのエンコーディングをより効率的にすることは、本実施形態の利点である。
本発明の一態様によれば、実行される場合に、上述された方法を行うように構成されたソフトウェア手段を備える、コンピュータプログラムが提供される。
本発明の一態様によれば、第1の透明度情報チャネルを有するビデオストリームを、第1の透明度情報チャネルについての所定の目標ビットレートを考慮してエンコードするための装置であって、当該装置は、ロスレスベクトルグラフィックスエンコーディングスキームに従って、第1の透明度情報チャネルの一部をエンコードするように構成された第1のエンコーダと、数学的表現のエンコーディングスキームに従って、第1の透明度情報チャネルの一部をエンコードするように構成された第2のエンコーダと、MPEGベースのエンコーディングスキームに従って、第1の透明度情報チャネルの一部をエンコードするように構成された第3のエンコーダと、透明度情報チャネルの第1の部分を、第1のエンコーダ、第2のエンコーダ、および第3のエンコーダのうちの選択された1つへ降順の選好順序で送るように構成されたエンコーダスイッチとを備え、予め定義された目標ビットレート内のエンコーディングが、より好適なエンコーダを用いて達成されない場合、より好適でないエンコーダが選択される、装置が提供される。
本発明による装置の一実施形態において、エンコーダスイッチは、同じピクチャ群に属する第1の透明度情報チャネルの後続部分を、第1の部分について選択された、第1のエンコーダ、第2のエンコーダ、および第3のエンコーダのうちの1つへ送るようにさらに構成される。
一実施形態において、本発明による装置は、第1のエンコーダおよび第2のエンコーダが選択された第1の透明度情報チャネルの部分のそれぞれの数を数えるように構成された統計値モジュールをさらに備え、エンコーダスイッチが、当該数に応じて、第1の透明度情報チャネルの後続部分を、第1のエンコーダ、第2のエンコーダ、および第3のエンコーダのうちの統計的に好適な1つへ送るようにさらに構成される。
本発明による装置の一実施形態において、第1のエンコーダは、スケーラブルベクトルグラフィックス(SVG)エンコーダを備える。
本発明による装置の一実施形態において、第3のエンコーダは、HEVCエンコーダ、H.264SVCエンコーダ、およびH.264MVCエンコーダのうちの1つを備える。
特定の実施形態において、第3のエンコーダは、H.264MVCエンコーダを備え、第3のエンコーダは、視点に対応する複数の付加的な透明度情報チャネルを、第1の透明度情報チャネルに関する差分エンコーディングによってエンコードするように構成される。
本発明の一態様によれば、第1の透明度情報チャネルを有するビデオストリームをデコーディングするための装置であって、当該装置は、ロスレスベクトルグラフィックスエンコーディングスキームに従ってエンコードされた第1の透明度情報チャネルの一部をデコードするための第1のデコーダと、数学的表現のエンコーディングスキームに従ってエンコードされた第1の透明度情報チャネルの一部をデコードするための第2のデコーダと、MPEGベースのエンコーディングスキームに従ってエンコードされた第1の透明度情報チャネルの一部をデコードするための第3のデコーダと、第1の透明度情報チャネルの受信された部分に適用されたエンコーディングを検出し、受信された部分をデコーディングに応じて第1のデコーダ、第2のデコーダ、および第3のデコーダのうちの1つへ送るように構成された検出器とを備える装置が提供される。
本発明による装置の一実施形態において、ロスレスベクトルグラフィックスエンコーディングスキームは、スケーラブルベクトルグラフィックス(SVG)エンコーディングを含み、MPEGベースのエンコーディングスキームは、HEVCエンコーディング、H.264SVCエンコーディング、およびH.264MVCエンコーディングのうちの1つを含む。
本発明の実施形態によるコンピュータプログラムおよび装置の効果および利点は、必要な変更を加えた上で、本発明の対応する実施形態による方法の効果および利点に対応する。
ここで、本発明の実施形態による装置および/または方法の幾つかの実施形態が、ほんの一例として、添付の図面を参照しつつ、説明される。
本発明の一実施形態による方法のフローチャートである。 本発明の一実施形態によるエンコーディング装置の概略図である。 本発明の一実施形態によるデコーディング装置の概略図である。
本発明の実施形態は、利用可能な場合にはアルファチャネルを使用して動画情報(RGB、YUV、HSV、その他)をより効率的にエンコードすることが有利であるという、本発明者らの洞察に基づく。
本発明さらなる実施形態は、アルファチャネルを使用して奥行き情報をより効率的にエンコードすることが有利であるという、本発明者らの洞察に基づく。
HEVC標準化における現在の焦点は、奥行き情報を随意的に含む画像のエンコーディングに置かれている。アルファチャネルの画像および/または奥行きへの影響は、見過ごされている。単一視点または多視点撮影されたシーンの画像および奥行きのエンコーディングフェーズにおいてアルファチャネルを軽視することは、非効率的なコーディングをもたらし、このことは、ストレージ要件および帯域幅要件を増加させ、レイテンシに影響を及ぼす。
H.264において、アクセスユニット(丁度1つのデコードされたピクチャに対応するNALユニットのセット)ごとに1つの補助コード化されたピクチャを使用してアルファチャネルをコード化することが提案されている。これらの個々の補助ピクチャは、生の情報として送信され、または、MPEG4−Part2などにおいてYUV成分の輝度としてコード化され得る。
しかしながら、本発明者らは、透明度または奥行きを表すアルファチャネル情報が、通常、カラー画像のグレースケール成分と非常に異なることを発見した。典型的には、コンテンツは、はるかに予測可能であり、MPEG技術によって効率的にコード化され得ない非常に正確なエッジまたは輪郭によって境界が定められる。
本発明の実施形態は、透明度/不透明度信号についてのアルファ成分の圧縮を改良するために、アルファチャネルのハイブリッドエンコーディングを提供すべく、典型的なMPEGエンコーダの拡張をもたらす。主な着想は、YUVチャネルが、MPEG準拠のエンコーディングを使用してエンコードされる一方で、非MPEG準拠のコーデックによる透明度または奥行きを随意的に表すことを含む、アルファチャネルの入力のための最良のコーディングスキームを選択することである。
好適には、透明度/不透明度信号をコード化するためのコーディングスキームは、スケーラブルベクトルグラフィックス(SVG)などのロスレスベクトルグラフィックスエンコーディング、勾配、区分定数または線形関数などのロスレスの単純な数学的/解析的表現、および、ロスレスまたはロッシーな奥行きエンコーディングから選ばれる。スケーラブルグラフィックスまたは数学的表現のエンコーディングの使用により、ビデオがデコードされ、およびサイズを変更され、またはクロップされる場合、アルファチャネルのロスレスな幾何学的変換だけでなく、ロスレスコーディングが可能になる。最終的には、前述の方法が「目標レート」によって測定される有意な圧縮性能を有してアルファコンテンツをエンコードできない場合、Y成分としてのアルファ成分のロッシーなHEVCエンコーディングが選択されてもよい。
候補となるコーディングスキームの性能を評価するために使用される「目標レート」は、エンコーダによって圧縮されるYUV信号について選ばれるレートまたはQPによって決められる。典型的には、ユーザは、アルファチャネルレートをYUVチャネルおよびアルファチャネルについての総レートの所与の割合に限定することを望むことがある。
図2に示される実施形態において、エンコーダ200は、アルファチャネルのための特定の代替的なエンコーディング分岐250、280、290だけでなく、YUV成分を圧縮するMPEGベースのエンコーダ291(典型的には、標準的なH.264エンコーダ)から構成される。アルファチャネルは、ハイブリッドエンコーディングを使用して別個にコード化される。これを達成するために、「エンコーダスイッチ」210と称される付加的なブロックがデコーデックに導入される。「エンコーダスイッチ」210は、利用可能なハードウェアおよびレート統計値、および随意的に以前の決定に基づいて、適用可能なアルファコーデックのタイプの決定と選択を行う:
− 必要とされる処理リソースが利用可能なコーディングスキームのみが選択され得るように、利用可能なハードウェアが考慮される。このチェックは、幾つかのエンコーディングスキームについての計算が簡単に並列処理され得るという事実を考慮し得る(例えば、SVG)。
− 選択されたコーディングが、ある時間範囲にわたって測定されおよび/または平均化された所定の性能要件を満たすように、レート統計値(図2においてストレージ220として象徴的に表される)が、上記されたように考慮される。
− 性能閾値の一時的なおよび/または限定的な逸脱にも関わらず、アルファチャネルがビデオストリームの連続的な部分について一貫した手法でコード化されるように、「ヒステリシス」の1つを実装すべく、以前の決定が随意的に考慮される。
好適には、特に、YUV成分のH.264エンコーディングのイントラフレームまたはIDRフレーム(GOPとして知られているピクチャ群(Group−of−Pictures)の開始)に対応するアルファチャネルフレームについて、2つの代替的なエンコーディングが、下記のようにまずテストされる。エンコーディング装置200のエンコーダスイッチ210によって適用され得る例示的なデシジョンツリーは、図1に示される:
− SVGピクチャエンコーディング130:圧縮レートが測定され、YUV成分について設定された目標圧縮レートと比較される。
− (圧縮性能の観点から)SVGが充分に良好ではない場合140:アルファチャネルが区分線形関数においてセグメント化される、数学的表現のエンコーディング160。
− (圧縮性能の観点から)数学的表現のエンコーディングが充分に良好ではない場合170:アルファチャネルフレームと、好適には、GOP全体の全ての後続のアルファフレームとが、MPEGベースのエンコーディングを用いてコード化される190。
SVGピクチャエンコーディング130は、アルファマップが生成された手法に関するメタデータの存在に依拠することによって、所望の圧縮を提供し得る。好適には、そのようなメタデータが存在しない場合、アルファマップは、微分可能な領域においてセグメント化され、当該領域において、(例えば、キャニーエッジ検出器(Canny Edge Detector)アルゴリズムによって)連続的なエッジが検出され、接続されたエッジ輪郭が検出され、これらの輪郭によって分けられる領域がSVG記述子によって記述される。
同様に、数学的表現160が、メタデータに基づいて取得され得る。好適には、そのようなメタデータが存在しない場合、アルファマップは、微分可能な領域においてセグメント化され、当該領域において、エッジが検出される(少なくとも1つの2D方向において微分不可能であるハードエッジと、多項式、二次関数、平面等によって記述され得る自由形式の遷移との双方)。その際、画像は、このエッジマップに従って、エッジとソフトエッジ遷移についての特定の領域を含まない連続的で微分可能な領域にセグメント化され得る。各領域について、関数F(x,y,z)がフィッティングされる(例えば、多項式、二次関数、または平面)。
したがって、陰関数の合成から成る数学的表現が取得されてもよい。F(x,y,z)と表示されるこれらの関数は、(x,y,z)座標を用いて3D空間において定義される。ここで、ペア(x,y)は、アルファ画素の(i,j)画素座標に等しく、z座標は、(i,j)におけるアルファ値である。関数Fは、例えば、F(x,y,z)=x+y+z−r=0などの、半径rの球とされることができる。関数は、(x,y,z)における一般化された多項式であってもよく、これらは、F(x,y,z)がΣm,n,pm,n,pと等しくなるように、それらの係数am,n,pによって完全に定義される。関数は、(x,y)座標における矩形の領域によって記述されるサポートドメイン上でも定義され得る。関数の合成は、構成要素となる関数ドメインが重なり合い得る点における合成関数の値を解くための適当な規則を用いて、それぞれのサポートドメインを有する複数の関数によって定義される。好適には、特定の規則は、(x,y)ペアが2つの取り得るアルファ値を受信する場合、最も高いアルファ値のみが当該(x,y)ペアに関連付けられることである。前述の好適な表現の利点は、アルファ輪郭または奥行き値の滑らかな遷移の正確な表現が可能になることである。さらに、画像をスケーリングしまたは再サンプリングする場合において、アルファチャネルは、品質を損なうことなく再計算され得る。
随意的に、エンコーディング決定は、アルファストリーム中の個々のスライス/タイルに基づいて為される。
MPEGベースのエンコーダ290とエンコーディング190は、H.264エンコーダ、例えば、HEVCエンコーダまたはH.264SVCエンコーダであってもよい。
圧縮性能の統計値220が、過去にエンコードされたGOPから利用可能である場合、圧縮性能についての比較テストは、過去のフレームの測定された圧縮レートの中央値(または平均値)と、現在のフレームの圧縮レートとの間の平均値に基づいてもよい。
SVGエンコーディング150、250または数学関数エンコーディング180、280がGOPの最初のフレームについて(または、前記最初のフレームの特定のスライス/タイルについて)選択された場合、同一のエンコーダがGOPの最後まで使用される。H.264エンコーディング190、290がGOPの最初のフレームについて選択された場合、エンコーディングはH.264を使用して為されるが、SVGエンコーディングおよび数学的表現エンコーディングは、圧縮レートの統計値を保持するために、依然としてテストされ得る。
好適には、システムは、予め定義された最小数のGOPについてSVGエンコーディング150、250が選択されたのか、または数学関数エンコーディング190、290が選択されたのかを確認し、当該予め定義された最小数に到達する場合120、前記エンコーディングをビデオ全体に適用することを決定する。
MPEGベースのエンコーダ290とエンコーディング190は、H.264MVCエンコーダであってもよく、この場合においては、複数のアルファチャネルが2つ以上の視点について利用可能である。そのような場合において、圧縮レート性能テストは、別個のチャネルと見なされる全ての利用可能なアルファチャネルのSVGエンコーディングまたは数学的表現エンコーディングに基づいてもよい。アルファチャネルのMVCエンコーディングは、YUVチャネルについて選択されたものと同じフレーム間階層に従う。
本発明が多視点ストリームに適用される場合、完全なアルファフレームの代わりに、異なるビューについてのアルファチャネル内のエッジのずれに関する小さな差異のみをエンコードすることが有利である。
好適には、アルファフレームの一部(スライス/タイル)についてだけでなく、複数のアルファフレームについてのハイブリッドエンコーダの決定が、エンコードされたストリーム内でシグナリングされる。
好適には、アルファチャネルについて上述されたエンコーディングメカニズムのうちの幾つかまたは全てが、奥行き情報のエンコーディングにも適用される。
随意的に、アルファのコード化されたストリームとYUVのコード化されたストリームとが、アグリゲータ299によってコンテナ内で結合される。
図3に示されるように、例えば、セットトップボックス、ホームゲートウェイ、クライアントコンピュータプログラムにおいて提供され、または、テレビ受像機などの可視化ハードウェアに一体化され得る、本発明による関連付けられたデコーディング装置300は、ロスレスベクトルグラフィックスエンコーディングスキーム(例えば、SVG)に従ってエンコードされた透明度情報チャネルの一部をデコードするための第1のデコーダ350と、数学的表現のエンコーディングスキームに従ってエンコードされた透明度情報チャネルの一部をデコードするための第2のデコーダ380と、MPEGベースのエンコーディングスキームに従ってエンコードされた透明度情報チャネルの一部をデコードするための第3のデコーダ390と、透明度情報チャネルの特定の一部に適用されたエンコーディングを検出し、これらの部分を適当なデコーダへ送るように構成された検出器310とを備える。デコードされた透明度情報は、レンダラ399に提供される。
明確にするために、本発明の実施形態による装置200、300の入力インタフェースおよび出力インタフェースは、詳細には説明されていない。
当業者は、エンコーダ200がエンコードされるべき情報をネットワークまたは記憶媒体から取得することを直ちに認識するであろう。したがって、エンコーダは、前記情報をそのようなネットワークまたは記憶媒体から取得するための必要なインタフェースを備える。エンコーダ200は、エンコードされたストリームを記憶媒体またはネットワークへ配信するための必要なインタフェースも備える。そのようなインタフェースを構成するハードウェアおよびソフトウェアは、当業者に知られている。好適には、インタフェースは、適用可能な標準に準拠するために実装され、動作させられ、特に好適な手法において、エンコーダ200は、そのストリームをインターネットを介して配信するように構成される。即ち、この場合において、エンコーダは、好適には、IEEE802.3または同様のネットワークインタフェース上で、TCP/IPプロトコル群に応じて動作するように配備される。
同じ考察は、必要な変更を加えた上で、デコーダ300に当てはまる。好適には、インタフェースは、適用可能な標準に準拠するために実装され、動作させられ、特に好適な手法において、デコーダは、そのストリームをインターネットを介して取得するように構成される。即ち、この場合において、エンコーダは、好適には、IEEE802.3「イーサネット(登録商標)」、IEEE802.11「無線LAN」、IEEE802.16「無線MAN」、3Gモバイル、またはこれらの組合せなどのインタフェース上で、TCP/IPプロトコル群に応じて動作するように配備される。
方法および装置は別個の実施形態として上述されてきたが、これは明確さの目的のために為されているに過ぎず、方法の実施形態のみに関連して説明された特徴が本発明による装置に適用されて同じ技術的効果および利点が得られてもよく、またその逆も同じであることが留意されるべきである。
「プロセッサ」と名付けられた任意の機能ブロックを含む、図面に示される様々な要素の機能は、適当なソフトウェアと協働してソフトウェアを実行することが可能なハードウェアだけでなく、専用のハードウェアを使用することによっても提供され得る。プロセッサによって提供される場合、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、または、そのうちの幾つかが共有され得る複数の個別のプロセッサによって、提供されてもよい。さらに、「プロセッサ」または「コントローラ」という用語の明示的な使用は、ソフトウェアを実行することが可能なハードウェアのみを指すと解釈されるべきではなく、デジタル信号プロセッサ(DSP:digital signal processor)ハードウェア、ネットワークプロセッサ、特定用途向け集積回路(ASIC:application specific integrated circuit)、フィールドプログラマブルゲートアレイ(FPGA:field programmable gate array)、ソフトウェアを記憶するための読み出し専用メモリ(ROM:read only memory)、ランダムアクセスメモリ(RAM:random access memory)、および不揮発性ストレージを黙示的に含み得るが、これらに限定されない。従来のものであれ、および/またはカスタムのものであれ、他のハードウェアも含まれ得る。同様に、図面に示される如何なるスイッチも概念的なものに過ぎない。それらの機能は、プログラムロジックの動作によって、専用ロジックによって、プログラム制御と専用ロジックとのインタラクションによって、または手動ですら、実行されてもよく、特定の技術は、本文脈からより具体的に理解されるように、実施者によって選択可能である。
当業者は、上述された様々な方法のステップが、プログラムされたコンピュータによって行われ得ることを容易に認識するであろう。本明細書において、幾つかの実施形態は、プログラムストレージデバイス、例えば、デジタルデータ記憶媒体をカバーすることも意図され、当該プログラムストレージデバイスは、機械読取可能またはコンピュータ読取可能であり、機械実行可能なまたはコンピュータ実行可能な命令のプログラムをエンコードする。前記命令は、前記上述された方法のステップのうちの幾つかまたは全てを行う。プログラムストレージデバイスは、例えば、デジタルメモリ、磁気ディスクおよび磁気テープなどの磁気記憶媒体、ハードディスクドライブ、または、随意的に、読取可能なデジタルデータ記憶媒体であってもよい。本実施形態は、上述された方法の前記ステップを行うようにプログラムされたコンピュータをカバーすることも意図される。

Claims (15)

  1. 第1の透明度情報チャネルを有するビデオストリームを、前記第1の透明度情報チャネルについての所定の目標ビットレートを考慮してエンコードするための方法であって、前記方法は、
    − ロスレスベクトルグラフィックスエンコーディングスキームを含む第1のエンコーディングを前記第1の透明度情報チャネルの一部に暫定的に適用すること(130)と、
    − 前記第1のエンコーディングが前記所定の目標ビットレート内のエンコードされたビットレートをもたらす場合(140)、前記第1の透明度情報チャネルの前記一部のエンコードされたバージョンを生成するために、前記第1のエンコーディングを選択すること(150)と、そうでない場合、数学的表現のエンコーディングスキームを含む第2のエンコーディング(160)を前記第1の透明度情報チャネルの前記一部に暫定的に適用すること(160)と、
    − 前記第2のエンコーディングが前記所定の目標ビットレート内のエンコードされたビットレートをもたらす場合(170)、前記第1の透明度情報チャネルの前記一部のエンコードされたバージョンを生成するために、前記第2のエンコーディングを選択すること(180)と、そうでない場合、前記第1の透明度情報チャネルの前記一部のエンコードされたバージョンを生成するために、MPEGベースのエンコーディングスキームを含む第3のエンコーディングを選択すること(190)と、
    を含む、方法。
  2. 同じピクチャ群に属する前記第1の透明度情報チャネルの後続部分のエンコードされたバージョンを生成するために、選択された前記エンコーディングを使用すること(150、180、190)をさらに含む、請求項1に記載の方法。
  3. 前記第1のエンコーディング(150)および前記第2のエンコーディング(180)が選択された前記第1の透明度情報チャネルの部分のそれぞれの数を数えることと、前記数に応じて前記第1の透明度情報チャネルの後続部分のエンコーディングを選択することとをさらに含む、請求項1または請求項2に記載の方法。
  4. 前記第1のエンコーディングが、スケーラブルベクトルグラフィックス(SVG)エンコーディングを含む、請求項1から3のいずれか一項に記載の方法。
  5. 前記第3のエンコーディングが、HEVCエンコーディング、H.264SVCエンコーディング、およびH.264MVCエンコーディングのうちの1つを含む、請求項1から4のいずれか一項に記載の方法。
  6. 前記第3のエンコーディングが、H.264MVCエンコーディングを含み、視点に対応する複数の付加的な透明度情報チャネルが、前記第1の透明度情報チャネルに関する差分エンコーディングを使ってエンコードされる、請求項5に記載の方法。
  7. 実行される場合に、請求項1から6のいずれか一項に記載の方法を行うように構成されたソフトウェア手段を備える、コンピュータプログラム。
  8. 第1の透明度情報チャネルを有するビデオストリームを、前記第1の透明度情報チャネルについての所定の目標ビットレートを考慮してエンコードするための装置(200)であって、前記装置は、
    − ロスレスベクトルグラフィックスエンコーディングスキームに従って、前記第1の透明度情報チャネルの一部をエンコードするように構成された第1のエンコーダ(250)と、
    − 数学的表現のエンコーディングスキームに従って、前記第1の透明度情報チャネルの一部をエンコードするように構成された第2のエンコーダ(280)と、
    − MPEGベースのエンコーディングスキームに従って、前記第1の透明度情報チャネルの一部をエンコードするように構成された第3のエンコーダ(290)と、
    − 前記透明度情報チャネルの第1の部分を、前記第1のエンコーダ(250)、前記第2のエンコーダ(280)、および前記第3のエンコーダ(290)のうちの選択された1つへ降順の選好順序で送るように構成されたエンコーダスイッチ(210)と、
    を備え、
    予め定義された目標ビットレート内のエンコーディングが、より好適なエンコーダを用いて達成されない場合、より好適でないエンコーダ(280、290)が選択される、
    装置。
  9. 前記エンコーダスイッチが、同じピクチャ群に属する前記第1の透明度情報チャネルの後続部分を、前記第1の部分について選択された、前記第1のエンコーダ(250)、前記第2のエンコーダ(280)、および前記第3のエンコーダ(290)のうちの前記1つへ送るようにさらに構成される、請求項8に記載の装置。
  10. 前記第1のエンコーダ(250)および前記第2のエンコーダ(280)が選択された前記第1の透明度情報チャネルの部分のそれぞれの数を数えるように構成された統計値モジュールをさらに備え、前記エンコーダスイッチが、前記数に応じて、前記第1の透明度情報チャネルの後続部分を、前記第1のエンコーダ(250)、前記第2のエンコーダ(280)、および前記第3のエンコーダ(290)のうちの統計的に好適な1つへ送るようにさらに構成される、請求項8または請求項9に記載の装置。
  11. 前記第1のエンコーダが、スケーラブルベクトルグラフィックス(SVG)エンコーダを備える、請求項8から10のいずれか一項に記載の装置。
  12. 前記第3のエンコーダが、HEVCエンコーダ、H.264SVCエンコーダ、およびH.264MVCエンコーダのうちの1つを備える、請求項8から11のいずれか一項に記載の装置。
  13. 前記第3のエンコーダが、H.264MVCエンコーダを備え、前記第3のエンコーダが、視点に対応する複数の付加的な透明度情報チャネルを、前記第1の透明度情報チャネルに関する差分エンコーディングによってエンコードするように構成される、請求項12に記載の装置。
  14. 第1の透明度情報チャネルを有するビデオストリームをデコーディングするための装置(300)であって、前記装置は、
    − ロスレスベクトルグラフィックスエンコーディングスキームに従ってエンコードされた前記第1の透明度情報チャネルの一部をデコードするための第1のデコーダと、
    − 数学的表現のエンコーディングスキームに従ってエンコードされた前記第1の透明度情報チャネルの一部をデコードするための第2のデコーダと、
    − MPEGベースのエンコーディングスキームに従ってエンコードされた前記第1の透明度情報チャネルの一部をデコードするための第3のデコーダと、
    − 前記第1の透明度情報チャネルの受信された部分に適用されたエンコーディングを検出し、前記受信された部分を前記デコーディングに応じて前記第1のデコーダ、前記第2のデコーダ、および前記第3のデコーダのうちの1つへ送るように構成された検出器と、
    を備える、装置。
  15. 前記ロスレスベクトルグラフィックスエンコーディングスキームが、スケーラブルベクトルグラフィックス(SVG)エンコーディングを含み、前記MPEGベースのエンコーディングスキームが、HEVCエンコーディング、H.264SVCエンコーディング、およびH.264MVCエンコーディングのうちの1つを含む、請求項14に記載の装置。
JP2015514427A 2012-06-01 2013-05-23 透明度情報チャネルを有するビデオストリームをエンコードするための方法および装置 Expired - Fee Related JP6033415B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12305617.8 2012-06-01
EP20120305617 EP2670139A1 (en) 2012-06-01 2012-06-01 Method and apparatus for encoding a video stream having a transparency information channel
PCT/EP2013/060579 WO2013178524A1 (en) 2012-06-01 2013-05-23 Method and apparatus for encoding a video stream having a transparency information channel

Publications (2)

Publication Number Publication Date
JP2015521446A true JP2015521446A (ja) 2015-07-27
JP6033415B2 JP6033415B2 (ja) 2016-11-30

Family

ID=48485182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015514427A Expired - Fee Related JP6033415B2 (ja) 2012-06-01 2013-05-23 透明度情報チャネルを有するビデオストリームをエンコードするための方法および装置

Country Status (6)

Country Link
US (1) US9667969B2 (ja)
EP (1) EP2670139A1 (ja)
JP (1) JP6033415B2 (ja)
KR (1) KR101643205B1 (ja)
CN (1) CN104365097B (ja)
WO (1) WO2013178524A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2528460B (en) 2014-07-21 2018-05-30 Gurulogic Microsystems Oy Encoder, decoder and method
KR102407477B1 (ko) * 2015-05-07 2022-06-13 에스케이플래닛 주식회사 클라우드 스트리밍 서비스 시스템, 이미지 타입에 따른 알파 값을 이용한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
US20170366819A1 (en) * 2016-08-15 2017-12-21 Mediatek Inc. Method And Apparatus Of Single Channel Compression
US10652583B2 (en) * 2016-08-19 2020-05-12 Apple Inc. Compression of image assets
CN107071514B (zh) * 2017-04-08 2018-11-06 腾讯科技(深圳)有限公司 一种图片文件处理方法及智能终端
CN108109193B (zh) * 2017-12-19 2021-06-22 苏州蜗牛数字科技股份有限公司 一种适用于延迟着色的可变精度编、解码方法
GB2575436B (en) 2018-06-29 2022-03-09 Imagination Tech Ltd Guaranteed data compression
FR3086831A1 (fr) * 2018-10-01 2020-04-03 Orange Codage et decodage d'une video omnidirectionnelle
CN112533022A (zh) * 2019-08-30 2021-03-19 中兴通讯股份有限公司 云化机顶盒透明度叠加方法、云化机顶盒及存储介质
US11501470B2 (en) 2020-05-27 2022-11-15 Microsoft Technology Licensing, Llc Geometric encoding of data

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191322A (ja) * 1996-09-30 1998-07-21 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号化装置、画像符号化方法、画像復号化方法、及び媒体
JP2002527958A (ja) * 1998-10-02 2002-08-27 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク Mpeg−4形符号化における発生ビデオ速度制御方法
JP2003348360A (ja) * 2002-04-25 2003-12-05 Microsoft Corp 文書エンコーディングシステム、文書デコーディングシステムおよびその方法
JP2005191956A (ja) * 2003-12-25 2005-07-14 Yamaha Corp 表示用データ圧縮/伸張方法
JP2006140968A (ja) * 2004-11-15 2006-06-01 Canon Inc 画像符号化装置及び方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
US20070098283A1 (en) * 2005-10-06 2007-05-03 Samsung Electronics Co., Ltd. Hybrid image data processing system and method
JP2009512325A (ja) * 2005-10-13 2009-03-19 エルジー エレクトロニクス インコーポレイティド 符号化/復号化方法及び装置
JP2011193437A (ja) * 2010-11-30 2011-09-29 Akuseru:Kk エンコードシステムおよびデコードシステム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6023301A (en) * 1995-07-14 2000-02-08 Sharp Kabushiki Kaisha Video coding device and video decoding device
US6782052B2 (en) * 2001-03-16 2004-08-24 Sharp Laboratories Of America, Inc. Reference frame prediction and block mode prediction for fast motion searching in advanced video coding
DE602004017689D1 (de) * 2003-11-21 2008-12-24 Samsung Electronics Co Ltd Vorrichtung und Methode zur Erzeugung von kodierten Blockanordnungen für ein Alpha-Kanalbild sowie Alpha-Kanalkodierungs und -dekodierungsvorrichtung und -methode.
JP5046335B2 (ja) * 2004-11-04 2012-10-10 トムソン ライセンシング ビデオ符号器におけるbフレームの高速モード決定のための方法および装置
US8170097B2 (en) * 2007-12-04 2012-05-01 Sony Corporation Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in series with video
AU2011302448A1 (en) * 2010-09-14 2013-03-21 Thomson Licensing Compression methods and apparatus for occlusion data

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191322A (ja) * 1996-09-30 1998-07-21 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号化装置、画像符号化方法、画像復号化方法、及び媒体
JP2002527958A (ja) * 1998-10-02 2002-08-27 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク Mpeg−4形符号化における発生ビデオ速度制御方法
JP2003348360A (ja) * 2002-04-25 2003-12-05 Microsoft Corp 文書エンコーディングシステム、文書デコーディングシステムおよびその方法
JP2005191956A (ja) * 2003-12-25 2005-07-14 Yamaha Corp 表示用データ圧縮/伸張方法
JP2006140968A (ja) * 2004-11-15 2006-06-01 Canon Inc 画像符号化装置及び方法、並びに、コンピュータプログラム及びコンピュータ可読記憶媒体
US20070098283A1 (en) * 2005-10-06 2007-05-03 Samsung Electronics Co., Ltd. Hybrid image data processing system and method
JP2009512325A (ja) * 2005-10-13 2009-03-19 エルジー エレクトロニクス インコーポレイティド 符号化/復号化方法及び装置
JP2011193437A (ja) * 2010-11-30 2011-09-29 Akuseru:Kk エンコードシステムおよびデコードシステム

Also Published As

Publication number Publication date
KR20150027145A (ko) 2015-03-11
CN104365097A (zh) 2015-02-18
KR101643205B1 (ko) 2016-08-10
CN104365097B (zh) 2018-01-09
WO2013178524A1 (en) 2013-12-05
US9667969B2 (en) 2017-05-30
EP2670139A1 (en) 2013-12-04
US20150117518A1 (en) 2015-04-30
JP6033415B2 (ja) 2016-11-30

Similar Documents

Publication Publication Date Title
JP6033415B2 (ja) 透明度情報チャネルを有するビデオストリームをエンコードするための方法および装置
CN113810690B (zh) 去块效应滤波方法、编解码设备、可读介质
CN114071165B (zh) 视频编码器、视频解码器及对应方法
US11743475B2 (en) Advanced video coding method, system, apparatus, and storage medium
US11431997B2 (en) Video decoding method and video decoder
CN112673626B (zh) 各分割约束元素之间的关系
US20150365698A1 (en) Method and Apparatus for Prediction Value Derivation in Intra Coding
KR20230054915A (ko) 픽처 경계 처리를 위한 멀티형 트리 깊이 확장
WO2014183652A1 (en) Method and apparatus for depth video coding using endurable view synthesis distortion
CN114679583B (zh) 视频编码器、视频解码器及对应方法
CN116489389B (zh) 编码器、解码器及对应方法
WO2020143292A1 (zh) 一种帧间预测方法及装置
CN114424554A (zh) 色度qp偏移表指示和推导的方法和装置
CN114830654A (zh) 译码块分割限制推导的编码器、解码器和对应方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160322

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160616

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161025

R150 Certificate of patent or registration of utility model

Ref document number: 6033415

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees