JP2015146643A - アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う方法および装置 - Google Patents

アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う方法および装置 Download PDF

Info

Publication number
JP2015146643A
JP2015146643A JP2015083386A JP2015083386A JP2015146643A JP 2015146643 A JP2015146643 A JP 2015146643A JP 2015083386 A JP2015083386 A JP 2015083386A JP 2015083386 A JP2015083386 A JP 2015083386A JP 2015146643 A JP2015146643 A JP 2015146643A
Authority
JP
Japan
Prior art keywords
region
block boundary
parameter
regions
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015083386A
Other languages
English (en)
Other versions
JP6479548B2 (ja
Inventor
ジエン,ユンフエイ
Zheng Yunfei
シユイ,チエン
Qian Xu
ソレ,ジヨエル
Sole Joel
イン,ペン
Peng Yin
ルウ,シヤオアン
Xiaoan Lu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2015146643A publication Critical patent/JP2015146643A/ja
Application granted granted Critical
Publication of JP6479548B2 publication Critical patent/JP6479548B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行うための方法および装置が提供される。
【解決手段】装置は、ピクチャの少なくとも1つの領域のピクチャ・データを符号化する符号化器(100)を含む。符号化器(100)は、領域ベースのフィルタ・パラメータの選択を用いて領域に対してアーティファクト除去フィルタリングを実行するアーティファクト除去フィルタ(165)を含む。領域は、非ブロック境界、ブロック境界、非ブロック境界とブロック境界の組み合わせ、さらに、ブロック境界を除いた非ブロック境界のうちのいずれかを含む。
【選択図】図1

Description

(関連出願とのクロスリファレンス)
本出願は、2009年3月12日付で出願された米国仮出願第61/159,573号(代理人整理番号PU090032)の利益を主張するものであり、その開示内容全体を本願に盛り込んだものとする。
本願の原理は、一般的には、ビデオ符号化および復号に関し、より具体的には、アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う方法および装置に関する。
ビデオ符号化規格は、ブロックベースの変換(例えば、ユビキタス離散コサイン変換またはDCT)および動き補償を用いて圧縮効率を得る。変換係数の粗い量子化、さらに、動き補償された予測において各隣接ブロックによって相異なるリファレンス位置または相異なるリファレンス・ピクチャを使用すると、エッジ、テクスチャの周りの歪みやブロックの不連続など、視覚的な不快感を伴うアーティファクトが生じる場合がある。現行のISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MEPG−4(Moving Picture Experts Group−4) Part 10 AVC(Part 10 Advanced Video Coding)規格/ITU−T(International Telecommunication Union, Telecommunication Sector)H.264勧告(以下、「MPEG−4 AVC規格」と呼ぶ)においては、ブロック境界に沿って生ずるアーティファクトに対処するために、適応型のデブロッキング・フィルタが用いられる。
ブロックの不連続部分だけでなく、画像に特異性が存在する部分(例えば、エッジおよび/またはテクスチャ)の周囲にアーティファクトが現れるたびに、このアーティファクトに対処するための、アーティファクトを除去するより一般的なアプローチが提案されている。第1の従来技術のアプローチにおいては、性能を最大限にするために、アーティファクト除去フィルタのための閾値は、ビデオ符号化処理によって課せられるローカル符号化条件を考慮していなければならない。例えば、1つのフレーム内で、MPEG−4 AVC規格は、様々な予測モード(イントラ、インター、スキップなど)を提供し、これらの各々は、個別の量子化ノイズ統計および対応するフィルタリングの要求条件に左右される。従って、第1の従来技術のアプローチにおいては、閾値は、符号化モードおよび量子化パラメータ(QP:Quantization Parameter)に基づいて適応化されている。しかしながら、第1の従来技術における閾値は、ビデオ・コンテンツ自体を考慮していない。
MPEG−4 AVC規格におけるデブロッキング・フィルタ
現行のMPEG−4 AVC規格内では、インループ・デブロッキング・フィルタが採用される。フィルタは、ブロック境界に沿って生ずるアーティファクトを減衰させるように動作する。このようなアーティファクトは、変換(DCT)係数の粗い量子化と共に、動き補償された予測によって生ずる。ブロックの各エッジにローパス・フィルタを適応的に適用することによって、デブロッキング・フィルタは、ビデオ品質を主観的にも客観的にも改善させることができる。このフィルタは、ブロック・エッジの周りのサンプルの分析を実行し、フィルタ強度を適応化させて濃淡むらのあるアーティファクトに起因する小さな強度差を減衰させる一方で、実際の画像コンテンツに係る一般的により大きな強度差を保持するように働く。幾つかのブロック符号化モードおよび状態もまた、フィルタリングが適用される強度を示すように機能する。これらには、インター/イントラ予測決定および隣接ブロック間の符号化された残差や動きの差の存在が含まれる。デブロッキング・フィルタは、ブロック・レベルでの適応性を有する上、スライス・レベルおよびサンプル・レベルでの適応性を有する。スライス・レベルでは、フィルタリング強度は、ビデオ・シーケンスの個々の特性に応じて調節することができる。サンプル・レベルでは、サンプル値および量子化器ベースの閾値に依存して個々のサンプルでフィルタリングをオフにすることができる。
MPEG−4 AVC規格のデブロッキング・フィルタによって除去されるブロッキーなアーティファクトは、圧縮されたビデオに存在するアーティファクトのみではない。粗い量子化に起因して、リンギング(ringing)、エッジの歪み、さらに、テクスチャの破損などの他のアーティファクトが発生する。デブロッキング・フィルタは、ブロック内に現れる量子化エラーによって生ずるアーティファクトを低減することはできない。さらに、デブロッキングに用いられるローパス・フィルタリング技術は、スムーズな画像モデルを想定しており、エッジまたはテクスチャなどの画像の特異性が存在する部分の処理に適したものではない。
スパース性に基づくアーティファクト除去
スパース性を有するノイズ除去技術により動機付けられて、第1の従来技術に関し、上述した圧縮アーティファクト除去技術のために非線型のイン・ループ・フィルタが提案されている。この技術は、オーバーコンプリートな変換のセットによって提供されるノイズ除去された推定値のセットを使用する。第1の従来技術に係るアプローチの実施態様は、ウエーブレットまたはDCTなど、所与の2D直交変換Hに対して想定される全ての変換Hiを用いることにより、オーバーコンプリートな変換のセットを生成する。従って、所与の画像Iにつき、様々な変換Hiを適用することによって、この画像Iに対し、一連の異なる変換されたバージョンYiが作成される。次に、変換された各バージョンYiに対し、閾値処理を含む、ノイズ除去処理が適用され、一連のY’iが生成される。次に、変換され、閾値処理が行われた係数Y’iは、空間ドメインに逆変換され、ノイズ除去された推定値I’iを発生させる。オーバーコンプリート設定においては、ノイズ除去された推定値のうちの幾らかは、他のものよりも良好なパフォーマンスを提供するものと考えられ、最終的にフィルタリングされたバージョンI’は、このようなノイズが除去された各推定値を平均化したものから得られた組み合わせによる利点を得ることができる。第1の従来技術のアプローチのノイズ除去フィルタは、ノイズ除去された各推定値I’の加重平均を使用し、ここで、各重みは、最良のノイズ除去された推定値を強調するように最適化されている。
アーティファクト除去の作業のために、例えば、閾値などのフィルタリング・パラメータの選択が非常に重要である。適用される閾値には、フィルタのノイズ除去の制御、さらに、より良好なノイズ除去推定値を強調する際に使用される平均重みの算出に重要な役割がある。不適切な閾値の選択により、過度にスムージングされた、再構築ピクチャが生じたり、アーティファクトが残ってしまったりすることがある。第1の従来技術のアプローチでは、量子化パラメータ(QP:Quantization Parameter)に基づいた画素クラス毎の選択された閾値と符号化モード情報とが符号化され、復号器に対して副情報として送信される。閾値は、ビデオ・コンテンツに基づいて適応化されない。
ビデオ・コンテンツは、空間的にも、時間的にも、双方において変化する。同じ量子化パラメータ(QP)、または、同じ符号化モードの下で、ビデオ・シーケンスのノイズまたはアーティファクトのレベルが大幅に異なることがあり、これにより、相異なるフィルタ・パラメータが必要となる。
従来技術のこれらの欠点および短所、さらに、その他の欠点および短所は、アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う方法および装置に関する本願の原理によって対処される。
本願の原理の一態様によれば、装置が提供される。この装置は、ピクチャの少なくとも1つの領域のピクチャ・データを符号化する符号化器を含む。符号化器は、領域ベースのフィルタ・パラメータの選択を用いて領域に対してアーティファクト除去フィルタリングを実行するアーティファクト除去フィルタを含む。領域は、非ブロック境界、ブロック境界、非ブロック境界とブロック境界の組み合わせ、さらに、ブロック境界を除いた非ブロック境界のうちのいずれかを含む。
本願の原理の別の態様によれば、方法が提供される。この方法は、ピクチャの少なくとも1つの領域のピクチャ・データを符号化するステップを含む。符号化するステップは、領域ベースのフィルタ・パラメータの選択を用いて領域に対してアーティファクト除去フィルタリングを実行するステップを含む。領域は、非ブロック境界、ブロック境界、非ブロック境界とブロック境界の組み合わせ、さらに、ブロック境界を除いた非ブロック境界のうちのいずれかを含む。
本願の原理のさらに別の態様によれば、ピクチャの少なくとも1つの領域のピクチャ・データを復号する復号器が提供される。復号器は、領域ベースのフィルタ・パラメータの選択を用いて領域に対してアーティファクト除去フィルタリングを実行するアーティファクト除去フィルタを含む。領域は、非ブロック境界、ブロック境界、非ブロック境界とブロック境界の組み合わせ、さらに、ブロック境界を除いた非ブロック境界のうちのいずれかを含む。
本発明の原理のさらに別の態様によれば、方法が提供される。この方法は、ピクチャの少なくとも1つの領域のピクチャ・データを復号するステップを含む。復号するステップは、領域ベースのフィルタ・パラメータの選択を用いて領域に対してアーティファクト除去フィルタリングを実行するステップを含む。領域は、非ブロック境界、ブロック境界、非ブロック境界とブロック境界の組み合わせ、さらに、ブロック境界を除いた非ブロック境界のうちのいずれかを含む。
本願の原理のこれらの態様、特徴、および利点、さらに、その他の態様、特徴、および利点は、添付の図面と併せて以下の例示的な実施の形態の詳細な説明を参照することによって明らかになるであろう。
本願の原理は、以下の例示的な図面に従ってより良好に理解されるであろう。
本願の原理の実施の形態に従った、本願の原理が適用される例示的なビデオ符号化器を示すブロック図である。 本願の原理の実施の形態に従った、本願の原理が適用される例示的なビデオ復号器を示すブロック図である。 本願の原理の実施の形態に従った、ビデオ符号化器におけるアーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う例示的な方法を示すフロー図である。 本願の原理の実施の形態に従った、ビデオ復号器におけるアーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う例示的な方法を示すフロー図である。 本願の原理の実施の形態に従った、ビデオ符号化器および/またはビデオ復号器におけるアーティファクト除去フィルタリングのためのクラスベースのフィルタ・パラメータの選択を行う例示的な方法を示すフロー図である。
本願の原理は、アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う方法および装置に関する。
本説明は、本願の原理を例示するものである。従って、本明細書において明示的に記載、または図示されていなくとも、当業者が本願の原理を実施する様々な構成を企図することが可能であり、このような構成が本願の精神および範囲の中に包含されることが理解できるであろう。
本明細書に記載された全ての例および条件付の文言は、本願の原理を読者が理解するのを助けるための教示目的のものであり、発明者によって寄与された概念は、技術を発展させるものであり、このような具体的に記載された例や条件に限定されるように解釈されるべきではない。
また、本明細書における原理、態様、および、本願の実施の形態についての全ての記載、さらに、その特定の例は、構造的、機能的な均等物の双方を包含するように意図したものである。さらに、このような均等物は、現在公知の均等物だけでなく、将来において開発される均等物、即ち、構造に係らず、同一の機能を実行するように開発された全ての要素を包含するように意図されている。
従って、例えば、当業者であれば、本明細書において示されたブロック図は、本願の原理を実施する回路を例示する概念図であることが理解できよう。同様に、フローチャート、フロー図、状態遷移図、擬似コードなどは、いずれも様々な処理を表す。これらの処理は、実質的にコンピュータによって読み取り可能なメディアにおいて表すことができ、コンピュータまたはプロセッサにより実行され、このようなコンピュータまたはプロセッサがはっきりと図示されているかどうかに係るものではない。
各図面において示される様々な要素の機能は、専用のハードウェアの使用により提供されてもよく、適切なソフトウェアと関連付けてソフトウェアを実行することが可能なハードウェアの使用によって提供されてもよい。機能がプロセッサによって提供される場合にも、単一の専用プロセッサによって提供されてもよく、単一の共有プロセッサによって提供されてもよく、複数の別個のプロセッサによって提供されてもよく、幾つかのプロセッサが共有されていてもよい。さらに、用語「プロセッサ」または「コントローラ」を明示的に使用した場合であっても、ソフトウェアを実行することが可能なハードウェアのみを意味するように解釈されるべきではなく、限定するものではないが、ディジタル信号プロセッサ(DSP:Digital Signal Processor)・ハードウェア、ソフトウェアを格納する読み出し専用メモリ(ROM:Read−Only Memory)、ランダム・アクセス・メモリ(RAM:Random Access Memory)、および不揮発性の記憶装置を暗黙的に含むことがある。
また、従来のおよび/または慣習的な他のハードウェアを含むこともある。同様に、図面に示されたどのスイッチも概念的なものに過ぎない。これらの機能はプログラム・ロジックの動作を介して、専用のロジックを介して、プログラム制御と専用のロジックとのインタラクションを介して、または、手動でも実行されることがある。状況に応じて具体的に理解されるように、実施者により、特定の技術を選択可能である。
請求の範囲において、特定の機能を実施するための手段として表現されたいずれの要素も、この機能をどのような方法で実行するものも包含するように意図している。例えば、a)機能を実行する回路要素を組み合わせたもの、または、b)形態に関わらず、ソフトウェア、つまり、ファームウェア、マイクロコード等を含み、機能を実施するためにソフトウェアを実行する適当な回路と組み合わせたものも包含する。このような請求の範囲によって定義される本願の原理は、請求項に記載された様々な手段によって提供される機能が請求の範囲の要件として、組み合わせられ、まとめられている事実に基づいたものである。従って、このような機能を提供することが可能な手段はどのようなものであっても、本願において示されているものと均等であるとみなされる。
明細書において、本願の原理の「一実施の形態」、または、「実施の形態」と言及されている場合、これは、実施の形態に関して記載される特定の特徴事項、構造、特性などが本願の原理の少なくとも1つの実施の形態に含まれることを意味する。従って、明細書全体に渡って様々な箇所に存在する文言「一実施の形態においては」、「実施の形態においては」、または、この類の表現は、必ずしも、同一の実施の形態について言及するものではない。
「/(スラッシュ)」、「および/または」、さらに、「〜のうちの少なくとも一方(〜のうちの少なくとも1つ)」の使用は、例えば、「Aおよび/またはB」の場合、1番目に列挙されたオプション(A)のみの選択、2番目に列挙されたオプション(B)のみの選択、または、両方のオプション(AおよびB)の選択を包含すると意図される。別の例として、「A、B、および/またはC」、さらに、「A、B、およびCのうちの少なくとも1つ」の場合、このような文言は、1番目に列挙されたオプション(A)のみの選択、2番目に列挙されたオプション(B)のみの選択、3番目に列挙されたオプション(C)のみの選択、1番目および2番目に列挙されたオプション(AおよびB)のみの選択、1番目および3番目に列挙されたオプション(AおよびC)のみの選択、2番目および3番目に列挙されたオプション(BおよびC)のみ、または、全ての3つのオプション(A、B、およびC)の選択を包含すると意図される。列挙された数の項目の分だけ、このことが拡張されることは、当該技術分野、さらに、関連する技術分野における通常の技術知識を有するものであれば容易に理解できるであろう。
さらに、本願の原理の1つ以上の実施の形態を本明細書中でMPEG−4 AVC規格に関して説明しているが、本願の原理は、この規格のみに限定されるものではなく、従って、本願の原理の精神を逸脱することなく、MPEG−4 AVC規格の拡張版を含む、他のビデオ符号化規格、勧告およびその拡張版にも利用することができる。
本願の原理の1つ以上の実施の形態を閾値パラメータに関して説明しているが、本願の原理が適用されるフィルタ・パラメータに関し、閾値パラメータのみに本願の原理が限定されるものではなく、本願の原理の精神を逸脱することなく、本願および関連する技術における当業者によって容易に決定されるように、どのような他のフィルタ・パラメータにも適用することができる。
また、本明細書において使用される単語「ピクチャ」および「イメージ」は、同じ意味で使用され、静止画像または、ビデオ・シーケンスからのピクチャを意味する。公知であるように、ピクチャは、フレームやフィールドであったりする。
また、本明細書において使用される単語「信号送信(signal)」は、特に、何かを対応する復号器に示すものを指す。例えば、符号化器は、アーティファクト除去フィルタリングのために、領域ベースのフィルタ・パラメータの選択のための複数のパラメータのうちの特定の1つを信号送信する。このようにして、同一のパラメータを符号化器側と、復号器側の双方で使用することができる。従って、例えば、符号化器は、特定のパラメータを復号器に送信し、復号器が同一のパラメータを使用できるようにしてもよく、復号器が既に他のパラメータと共に特定のパラメータを有する場合には、(データを送信することなく)信号送信により、単純に、復号器に対し、特定のパラメータを知らせ、これを選択させるようにしてもよい。任意の実際の機能の送信を回避することによって、ビット節約を実現することができる。信号送信は、様々な方法で行うことができることが理解できよう。例えば、1つ以上のシンタックス要素、フラグなどを用いて対応する復号器に情報を信号送信することができる。上述の内容は、単語“シグナル(signal)”の動詞形(信号送信)に関するものであるが、本明細書において、単語“シグナル(signal)”は、名詞(信号)として使用されることがある。
さらに、本明細書において使用される用語「ハイレベル・シンタックス」は、マクロブロック層よりも階層的に上位に位置するビットストリームに存在するシンタックスを意味する。例えば、本明細書において使用されるハイレベル・シンタックスは、限定するものではないが、スライス・ヘッダ・レベル、補助拡張情報(SEI:Supplemental Enhancement Information)レベル、ピクチャ・パラメータ・セット(PPS:picture parameter set)レベル、シーケンス・パラメータ・セット(SPS:Sequence Parameter Set)レベル、および、ネットワーク抽象化レイヤー(NAL:Network Abstraction Layer)ユニット・ヘッダ・レベルでのシンタックスを意味する場合がある。
さらに、本明細書において使用される用語「領域ベースのパラメータの選択」は、ピクチャ領域に基づいたパラメータの選択、調整、および/または、適応化のいずれかを指す(これはまた、ピクチャ領域の特徴に依存したものである)。
さらに、本明細書において使用される用語「ピクチャ領域(または、簡略化して、単に、「領域」)は、例えば、任意のサイズの任意の形を有する1つ以上のブロックを包含する、および/または、任意のサイズの任意の形を有する1つ以上のブロックから形成されるピクチャの一部を指す。1つ以上のブロックは、例えば、スーパーマクロブロック、マクロブロック、マクロブロック・パーティションに関することがある。さらに、ブロック境界に限定される従来のデブロッキング・フィルタとは異なり、本願の原理に従ったピクチャ領域には、ブロック境界に加えて、非ブロック境界を含めることができる。即ち、実施の形態によっては、ピクチャ領域は、非ブロック境界のみを含むことがある(即ち、ブロック境界を含まないことがある)。従って、ブロック境界でない領域に対し、フィルタリングを適用してこの領域からアーティファクトを除去または低減できるという効果が得られる。
さらに、本明細書において使用される用語「領域インジケーション」は、本願の原理が適用されるピクチャにおける領域を示すインジケーションを指す。例えば、領域インジケーションは、領域ベースのフィルタ・パラメータの選択が本願の原理に従って適用されるピクチャの特定の部分を信号送信、および/または識別するために使用されることがある。
図1を参照すると、本願の原理に従ってビデオ符号化を実行することが可能なビデオ符号化器が概ね参照符号100によって示されている。
ビデオ符号化器100は、結合器185の非反転入力と信号通信する出力を有するフレーム順序付けバッファ110を含む。結合器185の出力は、変換器/量子化器125の第1の入力と信号通信するように結合されている。変換器/量子化器125の出力は、エントロピー符号化器145の第1の入力と、逆変換器/逆量子化器150の第1の入力と信号通信するように結合されている。エントロピー符号化器145の出力は、結合器190の第1の非反転入力と信号通信するように結合されている。結合器190の出力は、出力バッファ135の第1の入力と信号通信するように結合されている。
符号化器コントローラ105の第1の出力は、フレーム順序付けバッファ110の第2の入力と、逆変換器/逆量子化器150の第2の入力と、ピクチャ・タイプ決定モジュール115の入力と、マクロブロック・タイプ(MBタイプ)決定モジュール120の第1の入力と、イントラ予測モジュール160の第2の入力と、アーティファクト除去フィルタ165の第2の入力と、動き補償器170の第1の入力と、動き推定器175の第1の入力と、参照ピクチャ・バッファ180の第2の入力と信号通信するように結合されている。
符号化器コントローラ105の第2の出力は、補助拡張情報(SEI:Supplemental Enhancement Information)挿入器130の第1の入力と、変換器/量子化器125の第2の入力と、エントロピー符号化器145の第2の入力と、出力バッファ135の第2の入力と、シーケンス・パラメータ・セット(SPS:Sequence Parameter Set)/ピクチャ・パラメータ・セット(PPS:Picture Parameter Set)挿入器140の入力と信号通信するように結合されている。
SEI挿入器130の出力は、結合器190の第2の非反転入力端子と信号通信するように結合されている。
ピクチャ・タイプ決定モジュール115の第1の出力は、フレーム順序付けバッファ110の第3の入力と信号通信するように結合されている。ピクチャ・タイプ決定モジュール115の第2の出力は、マクロブロック・タイプ決定モジュール120の第2の入力と信号通信するように結合されている。
シーケンス・パラメータ・セット(SPS:Sequence Parameter Set)/ピクチャ・パラメータ・セット(PPS:Picture Parameter Set)挿入器140の出力は、結合器190の第3の非反転入力と信号通信するように結合されている。
逆変換器/逆量子化器150の出力は、結合器119の第1の非反転入力と信号通信するように結合されている。結合器119の出力は、イントラ予測モジュール160の第1の入力と、アーティファクト除去フィルタ165の第1の入力と信号通信するように結合されている。アーティファクト除去フィルタ165の出力は、参照ピクチャ・バッファ180の第1の入力と信号通信するように結合されている。参照ピクチャ・バッファ180の出力は、動き推定器175の第2の入力と動き補償器170の第3の入力と信号通信するように結合されている。動き推定器175の第1の出力は、動き補償器170の第2の入力と信号通信するように結合されている。動き推定器175の第2の出力は、エントロピー符号化器145の第3の入力と信号通信するように結合されている。
動き補償器170の出力は、スイッチ197の第1の入力と信号通信するように結合されている。イントラ予測モジュール160の出力は、スイッチ197の第2の入力と信号通信するように結合されている。マクロブロック・タイプ決定モジュール120の出力は、スイッチ197の第3の入力と信号通信するように結合されている。スイッチ197の第3の入力は、スイッチの(制御入力、即ち、第3の入力と比較される)「データ」入力が、動き補償器170またはイントラ予測モジュール160によって提供されるかどうかを判定する。スイッチ197の出力は、結合器119の第2の非反転入力および結合器185の反転入力と信号通信するように結合されている。
フレーム順序付けバッファ110の第1の入力および符号化器コントローラ105の入力は、符号化器100の入力として、入力ピクチャを受信するために利用可能である。さらに、補助拡張情報(SEI:Supplemental Enhancement Information)挿入器130の第2の入力は、符号化器100の入力として、メタデータを受信するために利用可能である。出力バッファ135の出力は、符号化器100の出力として、ビットストリームを出力するために利用可能である。
図2を参照すると、本願の原理に従ってビデオ復号を実行することが可能なビデオ復号器が概ね参照符号200によって示されている。
ビデオ復号器200は、エントロピー復号器245の第1の入力と信号通信するように結合された出力を有する入力バッファ210を含む。エントロピー復号器245の第1の出力は、逆変換器/逆量子化器250の第1の入力と信号通信するように結合されている。逆変換器/逆量子化器250の出力は、結合器225の第2の非反転入力と信号通信するように結合されている。結合器225の出力は、アーティファクト除去フィルタ265の第2の入力と、イントラ予測モジュール260の第1の入力と信号通信するように結合されている。アーティファクト除去フィルタ265の第2の出力は、参照ピクチャ・バッファ280の第1の入力と信号通信するように結合されている。参照ピクチャ・バッファ280の出力は、動き補償器270の第2の入力と信号通信するように結合されている。
エントロピー復号器245の第2の出力は、動き補償器270の第3の入力と、アーティファクト除去フィルタ265の第1の入力とイントラ予測モジュール260の第2の入力と信号通信するように結合されている。エントロピー復号器245の第3の出力は、復号器コントローラ205の入力と信号通信するように結合されている。復号器コントローラ205の第1の出力は、エントロピー復号器245の第2の入力と信号通信するように結合されている。復号器コントローラ205の第2の出力は、逆変換器/逆量子化器250の第2の入力と信号通信するように結合されている。復号器コントローラ205の第3の出力は、アーティファクト除去フィルタ265の第3の入力と信号通信するように結合されている。復号器コントローラ205の第4の出力は、イントラ予測モジュール260の第2の入力と、動き補償器270の第1の入力と、参照ピクチャ・バッファ280の第2の入力と信号通信するように結合されている。
動き補償器270の出力は、スイッチ297の第1の入力と信号通信するように結合されている。イントラ予測モジュール260の出力は、スイッチ297の第2の入力と信号通信するように結合されている。スイッチ297の出力は、結合器225の第1の非反転入力と信号通信するように結合されている。
入力バッファ210の入力は、復号器200の入力として、入力ビットストリームを受信するために利用可能である。アーティファクト除去フィルタ265の第1の出力は、復号器200の出力として、出力ピクチャを出力するために利用可能である。
上述したように、本願の原理は、アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う方法および装置に関する。本願の原理は、ビデオ・コンテンツに基づいて、良好なフィルタリング・パラメータ調節(パラメータの選択または適応化を意味する)を提供するという利点を有する。フィルタリング・パラメータの調節は、スパース性ベースのアーティファクト除去フィルタのために重要である。一実施の形態においては、領域ベースのパラメータの選択のアプローチを使用し、これにより、現行のスパース性ベースのアーティファクト除去フィルタと比べて、符号化効率が向上する。
特定の実施の形態においては、ブロックベースのフィルタ・パラメータ調節を使用してビデオ圧縮におけるスパース性ベースのアーティファクト除去フィルタ性能を向上させる。より具体的には、フィルタ性能を量子化パラメータ(QP:Quantization Parameter)および符号化情報だけでなく、各ビデオ・シーケンスの領域に基づいて適応化する。この原理は、コンテンツ自体により近似するようにパラメータを適応化することである。MPEG−4 AVC規格と閾値パラメータを例として用いて本願の原理の1つの例示的な実施態様を説明する。しかしながら、上述したように、本願の原理は、特定のビデオ符号化規格および/または勧告に限定されるものではなく、本願の原理の精神を逸脱することなく、本願の原理を他のどのようなビデオ符号化規格および/または勧告、および/または、その拡張版に適用することもできる。さらに、本願の原理は、本願の原理の精神を逸脱することなく、領域ベースのフィルタ・パラメータの選択に関して閾値パラメータの使用のみに限定されるものではなく、本願の原理に従って、他のフィルタ・パラメータを使用することもできる。
実施の形態においては、領域はブロックであり、限定するものではないが、64×64、128×128、256×256、512×512などを含み、可変のブロックのサイズを有することができる。ブロックのサイズは、例えば、ハイレベル・シンタックス要素を用いて信号送信される。このようなハイレベル・シンタックス要素は、限定するものではないが、例えば、各スライスのスライス・ヘッダ内部に存在する。勿論、本願の原理は、ブロックのみに限定されるものではなく、本願の原理の精神を逸脱することなく、他のピクチャ・パーティションのサイズや形を使用することもできることが理解できよう。
一実施の形態においては、各ブロックについて、各クラスのフィルタ・パラメータが信号送信され、このブロックのスパース性ベースのアーティファクト除去フィルタリングに使用されるパラメータ値を示す。パラメータは、例えば、ハイレベル・シンタックス要素を用いて信号送信することができる。このようなハイレベル・シンタックス要素は、限定するものではないが、スライス・ヘッダ、または、ブロック・レベルに存在する。一実施の形態においては、パラメータを信号送信するオーバーヘッドを削減するために、幾つかの方法を適用可能である。
一実施の形態においては、量子化パラメータ(QP)および符号化情報に基づく各クラスの独自パラメータ・テーブルが符号化器および復号器の双方に記憶される。各ブロックについて、単純に、スケーリング・ファクタを信号送信する。
代替的には、一実施の形態においては、現在のブロックの統計に基づいてパラメータが適応化される。統計は、例えば、(信号送信される必要はない)アーティファクト除去フィルタリングの前の局所的分散、および/または、(信号送信されるべきである)ノイズの分散である。
別の実施の形態においては、各クラスのパラメータのセットが符号化器および復号器の双方に記憶される。各ブロックについて、単純に、各クラスのインデックスを信号送信する。
別の実施の形態においては、パラメータの適応化が適用されるかどうかを示すためにフラグが使用される。
本願の原理の精神を逸脱することなく、輝度および/または色度に上記の各方法とその変形を適用可能であることが理解できよう。
表1は、本願の原理の実施の形態に従ったスライス・ヘッダ・シンタックスを例示している。
Figure 2015146643
表1におけるシンタックス要素の少なくとも幾つかのセマンティックスは、以下の通りである。
block_adaptive_flag equal to 1(block_adaptive_flagが1である)は、スライスのためにブロックベースのパラメータ適応化が使用されることを規定する。 block_adaptive_flag equal to 0(block_adaptive_flagが0である)は、スライスのためにブロックベースのパラメータ適応化が使用されないことを規定する。
block_size_idxは、ブロックのサイズを規定する。
parameter_adaptive_flag[i] equal to 1(parameter_adaptive_flag[i]が1である)は、ブロックiのためにパラメータ適応化が使用されることを規定する。parameter_adaptive_flag equal to 0(parameter_adaptive_flagが0である)は、ブロックiのためにパラメータ適応化が使用されないことを規定する。
parameter_idx[i][j]は、ブロックiおよびクラスjのためのパラメータ・インデックスを規定する。
図3を参照すると、ビデオ符号化器においてアーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う例示的な方法が概ね参照符号300によって示されている。方法300は、制御を機能ブロック308に受け渡す開始ブロック305を含む。機能ブロック308は、フィルタ・パラメータのセットを生成し(限定するものではないが、例えば、記憶されたパラメータ・テーブルからフィルタ・パラメータのセットを取得することを含む)、制御をループ端ブロック310に受け渡す。ループ端ブロック310は、各ブロックのサイズ(限定するものではないが、例えば、64×64、128×128など)に対してループを開始し、制御をループ端ブロック315に受け渡す。ループ端ブロック315は、(ループ端ブロック310に従って規定されたブロックのサイズを有する)各ブロックに対してループを開始し、制御をループ端ブロック320に受け渡す。ループ端ブロック320は、フィルタ・パラメータのセットに対してループを開始し、制御を機能ブロック325に受け渡す。機能ブロック325は、アーティファクト除去フィルタリングを実行し、制御をループ端ブロック330に受け渡す。ループ端ブロック330は、フィルタ・パラメータのセットに対するループを終了し、制御を機能ブロック335に受け渡す。機能ブロック335は、最良のフィルタ・パラメータに設定し(最良のフィルタ・パラメータに適応化し)、制御をループ端ブロック340に受け渡す。ループ端ブロック340は、(規定されたサイズを有する)各ブロックに対するループを終了し、制御をループ端ブロック345に受け渡す。ループ端ブロック345は、各ブロックのサイズに対するループを終了し、制御を機能ブロック350に受け渡す。機能ブロック350は、最良のブロックのサイズを設定し、制御を機能ブロック355に受け渡す。機能ブロック355は、ブロックのサイズを符号化し、制御を機能ブロック360に受け渡す。機能ブロック360は、各ブロックのフィルタ・パラメータを符号化し、制御を終了ブロック399に受け渡す。
図4を参照すると、ビデオ復号器におけるアーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う例示的な方法が概ね参照符号400によって示されている。方法400は、制御を機能ブロック408に受け渡す開始ブロック405を含む。機能ブロック408は、フィルタ・パラメータのセットを生成し(限定するものではないが、例えば、記憶されたパラメータ・テーブルからのフィルタ・パラメータのセットを取得することを含む)、制御を機能ブロック410に受け渡す。機能ブロック410は、ブロックのサイズのパージングを行い、制御を機能ブロック415に受け渡す。機能ブロック415は、各ブロックのフィルタ・パラメータをパージングし、制御をループ端ブロック420に受け渡す。ループ端ブロック420は、(機能ブロック410に従って規定されたブロックのサイズを有する)各ブロックに対してループを開始し、制御を機能ブロック425に受け渡す。機能ブロック425は、フィルタ・パラメータを設定し、制御を機能ブロック430に受け渡す。機能ブロック430は、アーティファクト除去フィルタリングを実行し、制御をループ端ブロック435に受け渡す。ループ端ブロック435は、(規定されたサイズを有する)各ブロックに対するループを終了し、制御を終了ブロック440に受け渡す。
図5を参照すると、ビデオ符号化器および/またはビデオ復号器におけるアーティファクト除去フィルタリングのためのクラスベースのフィルタ・パラメータの選択を行う例示的な方法が概ね参照符号500によって示されている。方法500に関して説明するパラメータは、クラスベースのものとして説明されるが、本技術、さらに、関連する技術における当業者にとって容易に明らかとなるように、領域ベースでもあることが理解できよう。方法500は、制御を機能ブロック510に受け渡す開始ブロック505を含む。機能ブロック510は、各クラスに基づいた領域ベースのフィルタ・パラメータの選択のためのパラメータにインデックスを付け、制御を機能ブロック515に受け渡す。機能ブロック515は、各クラスについて、各々のクラスベースのパラメータを記憶し、制御を機能ブロック520に受け渡す。機能ブロック520は、インデックスにより各領域のパラメータを信号送信し、制御を終了ブロック599に受け渡す。本技術、さらに、関連する技術における当業者にとって容易に明らかとなるように、機能ブロック520は、符号器側で実施される際に、信号送信を実行し(インデックスによる信号送信と同様に、各領域のパラメータを送信する)、受信を実行する(インデックスによる受信と同様に、各領域のパラメータを受信する)。
本発明の多くの付随する利点/特徴の幾つかについて説明する。これらの幾つかは既に述べた通りのものである。例えば、1つの利点/特徴は、ピクチャの少なくとも1つの領域のピクチャ・データを符号化する符号化器を含む装置である。符号化器は、領域ベースのフィルタ・パラメータの選択を使用して領域に対してアーティファクト除去フィルタリングを実行するアーティファクト除去フィルタを含み、領域は、非ブロック境界、ブロック境界、非ブロック境界とブロック境界の組み合わせ、さらに、ブロック境界を除いた非ブロック境界のうちのいずれかを含む。
さらに、別の利点/特徴は、上述した符号化器を有する装置であって、領域ベースのフィルタ・パラメータの選択は、少なくとも領域に関連する量子化ノイズおよび符号化情報に基づく領域ベースのフィルタ・パラメータの適応化と組み合わされる、この装置である。
またさらに、別の利点/特徴は、上述した符号化器を有する装置であって、ハイレベル・シンタックス要素とブロック・レベル・シンタックス要素の少なくとも一方を用いて領域のインジケーションとフィルタ・パラメータの少なくとも一方が信号送信される、この装置である。
またさらに、別の利点/特徴は、上述した符号化器を有する装置であって、領域は、様々なブロックのサイズと形を有することができる、この装置である。
またさらに、別の利点/特徴は、上述した符号化器を有する装置であって、ピクチャの複数の領域について、ピクチャ・データが符号化される、この装置である。符号化器は、独自パラメータ・テーブルを記憶し、複数の領域の各々に独自パラメータ・テーブルからのパラメータを適応化させ、スケーリング・ファクタを用いてパラメータを信号送信する。
またさらに、別の利点/特徴は、上述した符号化器を有する装置であって、ピクチャの複数の領域について、ピクチャ・データが符号化される、この装置である。符号化器は、コンテンツ統計に基づいて複数の領域の各々にパラメータを適応化させ、対応する復号器にパラメータの信号送信を行うことを控える。
またさらに、別の利点/特徴は、上述した符号化器を有する装置であって、ピクチャの複数の領域について、ピクチャ・データが符号化される、この装置である。領域ベースのフィルタ・パラメータの選択のための複数のパラメータの各々に対し、複数のクラスに基づいてインデックスが付けられて複数のクラスベースのパラメータのセットを取得する。複数のクラスの各々について、複数のクラスベースのパラメータのセットの各々が記憶される。複数の領域の各々のパラメータがインデックスを用いて信号送信される。
本願の原理のこれらの特徴およびその他の特徴は、関連する分野において通常の知識を有するものであれば、本明細書中の開示内容に基づいて、容易に解明することができるであろう。本願の原理の開示内容は、ハードウェア、ソフトウェア、ファームウェア、特定用途向けプロセッサ、または、これらを組み合わせたものの形態で実施することができることが理解できよう。
より好ましくは、本願の原理の開示内容は、ハードウェアおよびソフトウェアを組み合わせて実施される。さらに、ソフトウェアは、プログラム記憶装置に上に現実的に実装されるアプリケーション・プログラムとして実施される。アプリケーション・プログラムは、適切なアーキテクチャからなるマシンにアップロードされ、このマシンによって実行されるようにしてもよい。好ましくは、このマシンは、1つ以上の中央処理装置(CPU)、ランダム・アクセス・メモリ(RAM)、入出力(I/O)インタフェースを有するコンピュータ・プラットフォーム上で実施される。また、コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロインストラクション・コードを含むようにしてもよい。本明細書中で開示される様々な処理および機能は、マイクロインストラクション・コードの一部を構成するものでもよいし、アプリケーション・プログラムの一部を構成するものであってもよいし、これらを組み合わせたものであってもよいし、CPUによって実行されるものであってもよい。さらに、追加的なデータ記憶装置や印刷機等、コンピュータ・プラットフォームに様々な他の周辺機器を結合するようにしてもよい。
添付図面に示すシステムの構成要素および方法のステップの幾つかは、好ましくは、ソフトウェアの形態によって実施されるため、システムの構成要素または処理機能ブロック間の実際の結合は、本願の原理をプログラムする方法によって異なる場合があることが理解できよう。本明細書の開示する内容に基づいて、関連する技術における通常の技術知識を有するものであれば、本願の原理の実施の形態または構成、さらに、類似した実施の形態または構成を企図することができるであろう。
添付図面を参照して本明細書中で例示的な実施の形態について説明したが、本発明はこれらの実施の形態に厳格に限定されるものではなく、関連技術に関して通常の技術を有する者であれば、本願の原理の範囲または精神を逸脱することなく、様々な変更、改変を施すことが可能であることが理解できるであろう。このような変更、改変は、全て、添付の請求の範囲に定義されたような本願の原理の範囲に含まれるように意図されている。
添付図面を参照して本明細書中で例示的な実施の形態について説明したが、本発明はこれらの実施の形態に厳格に限定されるものではなく、関連技術に関して通常の技術を有する者であれば、本願の原理の範囲または精神を逸脱することなく、様々な変更、改変を施すことが可能であることが理解できるであろう。このような変更、改変は、全て、添付の請求の範囲に定義されたような本願の原理の範囲に含まれるように意図されている。
本発明は、以下の態様を含む。
[付記1]
ピクチャの少なくとも1つの領域のピクチャ・データを符号化する符号化器(100)を含む装置であって、
前記符号化器(100)は、
領域ベースのフィルタ・パラメータの選択を用いて前記領域に対してアーティファクト除去フィルタリングを実行するアーティファクト除去フィルタ(165)を含み、
前記領域は、非ブロック境界、ブロック境界、非ブロック境界とブロック境界の組み合わせ、さらに、ブロック境界を除いた非ブロック境界のうちのいずれかを含む、前記装置。
[付記2]
前記領域ベースのフィルタ・パラメータの選択は、少なくとも前記領域に関連する量子化ノイズおよび符号化情報に基づく領域ベースのフィルタ・パラメータの適応化と組み合わされる、付記1に記載の装置。
[付記3]
前記ピクチャの複数の領域について、前記ピクチャ・データが符号化され、前記符号化器(100)は、独自パラメータ・テーブルを記憶し、前記複数の領域の各々に前記独自パラメータ・テーブルからのパラメータを適応化させ、スケーリング・ファクタを用いて前記パラメータを信号送信する、付記1に記載の装置。
[付記4]
前記ピクチャの複数の領域について、前記ピクチャ・データが符号化され、前記符号化器(100)は、コンテンツ統計に基づいて前記複数の領域の各々にパラメータを適応化させ、対応する復号器に前記パラメータの信号送信を行うことを控える、付記1に記載の装置。
[付記5]
前記ピクチャの複数の領域について、前記ピクチャ・データが符号化され、前記領域ベースのフィルタ・パラメータの選択のための複数のパラメータの各々に対し、複数のクラスに基づいてインデックスが付けられて複数のクラスベースのパラメータのセットを取得し、前記複数のクラスの各々について、前記複数のクラスベースのパラメータのセットの各々が記憶され、前記複数の領域の各々のパラメータがインデックスを用いて信号送信される、付記1に記載の装置。
[付記6]
ピクチャの少なくとも1つの領域のピクチャ・データを符号化するステップを含む方法であって、
前記符号化するステップは、
領域ベースのフィルタ・パラメータの選択(300)を用いて前記領域に対してアーティファクト除去フィルタリングを実行する(325)ステップを含み、
前記領域は、非ブロック境界、ブロック境界、非ブロック境界とブロック境界の組み合わせ、さらに、ブロック境界を除いた非ブロック境界のうちのいずれかを含む、前記方法。
[付記7]
前記領域ベースのフィルタ・パラメータの選択(300)は、少なくとも前記領域に関連する量子化ノイズおよび符号化情報に基づく領域ベースのフィルタ・パラメータの適応化(335)と組み合わされる、付記6に記載の方法。
[付記8]
前記ピクチャの複数の領域について、前記ピクチャ・データが符号化され、前記符号化するステップは、
独自パラメータ・テーブルを記憶する(308)ステップと、
前記複数の領域の各々に前記独自パラメータ・テーブルからのパラメータを適応化させる(335)ステップと、
スケーリング・ファクタを用いて前記パラメータを信号送信する(360)ステップと、
を含む、付記6に記載の方法。
[付記9]
前記ピクチャの複数の領域について、前記ピクチャ・データが符号化され、前記符号化するステップは、
パラメータをコンテンツ統計に基づく複数の領域の各々に適応化させる(335)ステップと、
対応する復号器に前記パラメータの信号送信を行うことを控えるステップと、
を含む、付記6に記載の方法。
[付記10]
前記ピクチャの前記複数の領域について、前記ピクチャ・データが符号化され、前記領域ベースのフィルタ・パラメータの選択のための複数のパラメータの各々に対し、複数のクラスに基づいてインデックスが付けられて複数のクラスベースのパラメータのセットを取得し(510)、前記複数のクラスの各々について、前記複数のクラスベースのパラメータのセットの各々が記憶され(515)、前記複数の領域の各々のパラメータがインデックスを用いて信号送信される(520)、付記6に記載の方法。
[付記11]
ピクチャの少なくとも1つの領域のピクチャ・データを復号する復号器(200)を含む装置であって、
前記復号器(200)は、領域ベースのフィルタ・パラメータの選択を用いて前記領域に対してアーティファクト除去フィルタリングを実行するアーティファクト除去フィルタ(265)を含み、
前記領域は、非ブロック境界、ブロック境界、非ブロック境界とブロック境界の組み合わせ、さらに、ブロック境界を除いた非ブロック境界のうちのいずれかを含む、前記装置。
[付記12]
前記領域ベースのフィルタ・パラメータの選択は、少なくとも前記領域に関連する量子化ノイズおよび符号化情報に基づく領域ベースのフィルタ・パラメータの適応化と組み合わされる、付記11に記載の装置。
[付記13]
前記領域は、様々なブロックのサイズと形を有することができる、付記11に記載の装置。
[付記14]
前記ピクチャの複数の領域について、前記ピクチャ・データが復号され、前記復号器(200)は、スケーリング・ファクタを用いて前記複数の領域の各々のパラメータを示すインジケーションを受信し、前記複数の領域の各々の前記パラメータを含む独自パラメータ・テーブルを記憶し、前記複数の領域の各々に前記独自パラメータ・テーブルからの前記パラメータを適応化させる、付記11に記載の装置。
[付記15]
前記ピクチャの複数の領域について、前記ピクチャ・データが復号され、前記復号器(200)は、対応する符号化器からの前記パラメータの信号送信がない場合に、コンテンツの統計に基づいて前記複数の領域の各々にパラメータを適応化させる、付記11に記載の装置。
[付記16]
前記ピクチャの複数の領域について、前記ピクチャ・データが復号され、前記領域ベースのフィルタ・パラメータの選択のための複数のパラメータの各々に対し、複数のクラスに基づいてインデックスが付けられて複数のクラスベースのパラメータのセットを取得し、前記複数のクラスの各々について、前記複数のクラスベースのパラメータのセットの各々が記憶され、前記復号器は、前記複数の領域の各々のパラメータに対するインデックスを受信する、付記11に記載の装置。
[付記17]
ピクチャの少なくとも1つの領域のピクチャ・データを復号するステップを含む方法であって、
前記復号するステップは、領域ベースのフィルタ・パラメータの選択(415)を用いて前記領域に対してアーティファクト除去フィルタリングを実行する(430)ステップを含み、
前記領域は、非ブロック境界、ブロック境界、非ブロック境界とブロック境界の組み合わせ、さらに、ブロック境界を除いた非ブロック境界のうちのいずれかを含む、前記方法。
[付記18]
前記領域ベースのフィルタ・パラメータの選択(415)は、少なくとも前記領域に関連する量子化ノイズおよび符号化情報に基づく領域ベースのフィルタ・パラメータの適応化と組み合わされる、付記17に記載の方法。
[付記19]
前記ピクチャの複数の領域について、前記ピクチャ・データが復号され、前記復号ステップは、
スケーリング・ファクタを用いて前記複数の領域の各々のパラメータを示すインジケーションを受信する(415、425)ステップと、
前記複数の領域の各々のパラメータを含む独自パラメータ・テーブルを記憶する(408)ステップと、
前記複数の領域の各々に前記独自パラメータ・テーブルからの前記パラメータを適応化させる(425)ステップと、
を含む、付記17に記載の方法。
[付記20]
符号化されたビデオ信号データを記憶するコンピュータによって読み取り可能な記憶媒体であって、
アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を用いて少なくとも1つの領域について符号化されたピクチャ・データを含み、
前記領域は、非ブロック境界、ブロック境界、非ブロック境界とブロック境界の組み合わせ、さらに、ブロック境界を除いた非ブロック境界のうちのいずれかを含む、前記コンピュータによって読み取り可能な記憶媒体。

Claims (20)

  1. ピクチャの少なくとも1つの領域のピクチャ・データを符号化する符号化器(100)を含む装置であって、
    前記符号化器(100)は、
    領域ベースのフィルタ・パラメータの選択を用いて前記領域に対してアーティファクト除去フィルタリングを実行するアーティファクト除去フィルタ(165)を含み、
    前記領域は、非ブロック境界、ブロック境界、非ブロック境界とブロック境界の組み合わせ、さらに、ブロック境界を除いた非ブロック境界のうちのいずれかを含む、前記装置。
  2. 前記領域ベースのフィルタ・パラメータの選択は、少なくとも前記領域に関連する量子化ノイズおよび符号化情報に基づく領域ベースのフィルタ・パラメータの適応化と組み合わされる、請求項1に記載の装置。
  3. 前記ピクチャの複数の領域について、前記ピクチャ・データが符号化され、前記符号化器(100)は、独自パラメータ・テーブルを記憶し、前記複数の領域の各々に前記独自パラメータ・テーブルからのパラメータを適応化させ、スケーリング・ファクタを用いて前記パラメータを信号送信する、請求項1に記載の装置。
  4. 前記ピクチャの複数の領域について、前記ピクチャ・データが符号化され、前記符号化器(100)は、コンテンツ統計に基づいて前記複数の領域の各々にパラメータを適応化させ、対応する復号器に前記パラメータの信号送信を行うことを控える、請求項1に記載の装置。
  5. 前記ピクチャの複数の領域について、前記ピクチャ・データが符号化され、前記領域ベースのフィルタ・パラメータの選択のための複数のパラメータの各々に対し、複数のクラスに基づいてインデックスが付けられて複数のクラスベースのパラメータのセットを取得し、前記複数のクラスの各々について、前記複数のクラスベースのパラメータのセットの各々が記憶され、前記複数の領域の各々のパラメータがインデックスを用いて信号送信される、請求項1に記載の装置。
  6. ピクチャの少なくとも1つの領域のピクチャ・データを符号化するステップを含む方法であって、
    前記符号化するステップは、
    領域ベースのフィルタ・パラメータの選択(300)を用いて前記領域に対してアーティファクト除去フィルタリングを実行する(325)ステップを含み、
    前記領域は、非ブロック境界、ブロック境界、非ブロック境界とブロック境界の組み合わせ、さらに、ブロック境界を除いた非ブロック境界のうちのいずれかを含む、前記方法。
  7. 前記領域ベースのフィルタ・パラメータの選択(300)は、少なくとも前記領域に関連する量子化ノイズおよび符号化情報に基づく領域ベースのフィルタ・パラメータの適応化(335)と組み合わされる、請求項6に記載の方法。
  8. 前記ピクチャの複数の領域について、前記ピクチャ・データが符号化され、前記符号化するステップは、
    独自パラメータ・テーブルを記憶する(308)ステップと、
    前記複数の領域の各々に前記独自パラメータ・テーブルからのパラメータを適応化させる(335)ステップと、
    スケーリング・ファクタを用いて前記パラメータを信号送信する(360)ステップと、
    を含む、請求項6に記載の方法。
  9. 前記ピクチャの複数の領域について、前記ピクチャ・データが符号化され、前記符号化するステップは、
    パラメータをコンテンツ統計に基づく複数の領域の各々に適応化させる(335)ステップと、
    対応する復号器に前記パラメータの信号送信を行うことを控えるステップと、
    を含む、請求項6に記載の方法。
  10. 前記ピクチャの前記複数の領域について、前記ピクチャ・データが符号化され、前記領域ベースのフィルタ・パラメータの選択のための複数のパラメータの各々に対し、複数のクラスに基づいてインデックスが付けられて複数のクラスベースのパラメータのセットを取得し(510)、前記複数のクラスの各々について、前記複数のクラスベースのパラメータのセットの各々が記憶され(515)、前記複数の領域の各々のパラメータがインデックスを用いて信号送信される(520)、請求項6に記載の方法。
  11. ピクチャの少なくとも1つの領域のピクチャ・データを復号する復号器(200)を含む装置であって、
    前記復号器(200)は、領域ベースのフィルタ・パラメータの選択を用いて前記領域に対してアーティファクト除去フィルタリングを実行するアーティファクト除去フィルタ(265)を含み、
    前記領域は、非ブロック境界、ブロック境界、非ブロック境界とブロック境界の組み合わせ、さらに、ブロック境界を除いた非ブロック境界のうちのいずれかを含む、前記装置。
  12. 前記領域ベースのフィルタ・パラメータの選択は、少なくとも前記領域に関連する量子化ノイズおよび符号化情報に基づく領域ベースのフィルタ・パラメータの適応化と組み合わされる、請求項11に記載の装置。
  13. 前記領域は、様々なブロックのサイズと形を有することができる、請求項11に記載の装置。
  14. 前記ピクチャの複数の領域について、前記ピクチャ・データが復号され、前記復号器(200)は、スケーリング・ファクタを用いて前記複数の領域の各々のパラメータを示すインジケーションを受信し、前記複数の領域の各々の前記パラメータを含む独自パラメータ・テーブルを記憶し、前記複数の領域の各々に前記独自パラメータ・テーブルからの前記パラメータを適応化させる、請求項11に記載の装置。
  15. 前記ピクチャの複数の領域について、前記ピクチャ・データが復号され、前記復号器(200)は、対応する符号化器からの前記パラメータの信号送信がない場合に、コンテンツの統計に基づいて前記複数の領域の各々にパラメータを適応化させる、請求項11に記載の装置。
  16. 前記ピクチャの複数の領域について、前記ピクチャ・データが復号され、前記領域ベースのフィルタ・パラメータの選択のための複数のパラメータの各々に対し、複数のクラスに基づいてインデックスが付けられて複数のクラスベースのパラメータのセットを取得し、前記複数のクラスの各々について、前記複数のクラスベースのパラメータのセットの各々が記憶され、前記復号器は、前記複数の領域の各々のパラメータに対するインデックスを受信する、請求項11に記載の装置。
  17. ピクチャの少なくとも1つの領域のピクチャ・データを復号するステップを含む方法であって、
    前記復号するステップは、領域ベースのフィルタ・パラメータの選択(415)を用いて前記領域に対してアーティファクト除去フィルタリングを実行する(430)ステップを含み、
    前記領域は、非ブロック境界、ブロック境界、非ブロック境界とブロック境界の組み合わせ、さらに、ブロック境界を除いた非ブロック境界のうちのいずれかを含む、前記方法。
  18. 前記領域ベースのフィルタ・パラメータの選択(415)は、少なくとも前記領域に関連する量子化ノイズおよび符号化情報に基づく領域ベースのフィルタ・パラメータの適応化と組み合わされる、請求項17に記載の方法。
  19. 前記ピクチャの複数の領域について、前記ピクチャ・データが復号され、前記復号ステップは、
    スケーリング・ファクタを用いて前記複数の領域の各々のパラメータを示すインジケーションを受信する(415、425)ステップと、
    前記複数の領域の各々のパラメータを含む独自パラメータ・テーブルを記憶する(408)ステップと、
    前記複数の領域の各々に前記独自パラメータ・テーブルからの前記パラメータを適応化させる(425)ステップと、
    を含む、請求項17に記載の方法。
  20. 符号化されたビデオ信号データを記憶するコンピュータによって読み取り可能な記憶媒体であって、
    アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を用いて少なくとも1つの領域について符号化されたピクチャ・データを含み、
    前記領域は、非ブロック境界、ブロック境界、非ブロック境界とブロック境界の組み合わせ、さらに、ブロック境界を除いた非ブロック境界のうちのいずれかを含む、前記コンピュータによって読み取り可能な記憶媒体。
JP2015083386A 2009-03-12 2015-04-15 アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う方法および装置 Active JP6479548B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15957309P 2009-03-12 2009-03-12
US61/159,573 2009-03-12

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2011554041A Division JP2012520607A (ja) 2009-03-12 2010-03-10 アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う方法および装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017224892A Division JP6646029B2 (ja) 2009-03-12 2017-11-22 アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う方法および装置

Publications (2)

Publication Number Publication Date
JP2015146643A true JP2015146643A (ja) 2015-08-13
JP6479548B2 JP6479548B2 (ja) 2019-03-06

Family

ID=42321017

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2011554041A Pending JP2012520607A (ja) 2009-03-12 2010-03-10 アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う方法および装置
JP2015083386A Active JP6479548B2 (ja) 2009-03-12 2015-04-15 アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う方法および装置
JP2017224892A Active JP6646029B2 (ja) 2009-03-12 2017-11-22 アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う方法および装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2011554041A Pending JP2012520607A (ja) 2009-03-12 2010-03-10 アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う方法および装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2017224892A Active JP6646029B2 (ja) 2009-03-12 2017-11-22 アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う方法および装置

Country Status (7)

Country Link
US (1) US9294784B2 (ja)
EP (1) EP2406957A1 (ja)
JP (3) JP2012520607A (ja)
KR (2) KR101709358B1 (ja)
CN (3) CN106954071B (ja)
BR (1) BRPI1007869B1 (ja)
WO (1) WO2010104570A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103039073B (zh) * 2010-06-07 2016-09-14 数码士有限公司 编码/解码高分辨率图像的方法和执行该方法的装置
US20120008687A1 (en) * 2010-07-06 2012-01-12 Apple Inc. Video coding using vector quantized deblocking filters
US9628821B2 (en) 2010-10-01 2017-04-18 Apple Inc. Motion compensation using decoder-defined vector quantized interpolation filters
CN103096054B (zh) * 2011-11-04 2015-07-08 华为技术有限公司 一种视频图像滤波处理方法和装置
US20150365703A1 (en) * 2014-06-13 2015-12-17 Atul Puri System and method for highly content adaptive quality restoration filtering for video coding
EP3151559A1 (en) * 2015-09-29 2017-04-05 Thomson Licensing Method for coding and decoding a plurality of picture blocks and corresponding devices
CN110870319B (zh) * 2017-05-31 2022-12-06 交互数字麦迪逊专利控股公司 画面编码和解码的方法和设备
KR102520626B1 (ko) * 2018-01-22 2023-04-11 삼성전자주식회사 아티팩트 감소 필터를 이용한 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
WO2024164917A1 (en) * 2023-02-08 2024-08-15 Mediatek Inc. Method and apparatus for reducing visual artifacts introduced by cross-component adaptive filter
CN118447123B (zh) * 2024-07-08 2024-09-13 南昌睿度医疗科技有限公司 一种核磁共振图像伪影去除方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0884342A (ja) * 1994-09-14 1996-03-26 Mitsubishi Electric Corp 映像信号復号化装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5771318A (en) * 1996-06-27 1998-06-23 Siemens Corporate Research, Inc. Adaptive edge-preserving smoothing filter
US7346224B2 (en) * 2003-11-07 2008-03-18 Mitsubishi Electric Research Laboratories, Inc. System and method for classifying pixels in images
JP3899118B2 (ja) * 2004-02-19 2007-03-28 オリンパス株式会社 撮像システム、画像処理プログラム
US20060039624A1 (en) * 2004-08-20 2006-02-23 Hao-Song Kong System and method for fuzzy filtering images
KR20060020801A (ko) * 2004-09-01 2006-03-07 매그나칩 반도체 유한회사 적응적인 잡음 제거가 가능한 필터를 갖는 이미지센서 및이미지센서의 적응적인 잡음 제거 방법
JP2006148878A (ja) * 2004-10-14 2006-06-08 Mitsubishi Electric Research Laboratories Inc 画像中の画素を分類する方法
US8218634B2 (en) * 2005-01-13 2012-07-10 Ntt Docomo, Inc. Nonlinear, in-the-loop, denoising filter for quantization noise removal for hybrid video compression
US8208564B2 (en) * 2005-06-24 2012-06-26 Ntt Docomo, Inc. Method and apparatus for video encoding and decoding using adaptive interpolation
TWI272838B (en) * 2005-06-30 2007-02-01 Sony Taiwan Ltd Zebra pattern display apparatus
EP2001239B1 (en) 2006-03-27 2017-09-13 Sun Patent Trust Picture coding apparatus and picture decoding apparatus
KR101380580B1 (ko) * 2006-08-02 2014-04-02 톰슨 라이센싱 비디오 인코딩을 위한 적응형 기하학적 파티셔닝 방법 및 장치
US9277243B2 (en) * 2006-11-08 2016-03-01 Thomson Licensing Methods and apparatus for in-loop de-artifact filtering
MX2009006404A (es) * 2006-12-18 2009-06-23 Koninkl Philips Electronics Nv Compresion y descompresion de imagen.
CN101779464B (zh) 2007-06-08 2014-02-12 汤姆森特许公司 多格点基于稀疏性滤波基础上环内去伪像滤波方法和装置
KR101303667B1 (ko) * 2007-08-28 2013-09-04 삼성전자주식회사 의사 윤곽을 탐지 및 제거하는 방법 및 장치, 픽셀의 윤곽여부를 확인하는 방법 및 장치 그리고 심플리시티를계산하는 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0884342A (ja) * 1994-09-14 1996-03-26 Mitsubishi Electric Corp 映像信号復号化装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CAMILO C. DOREA, OSCAR DIVORRA ESCODA, PENG YIN AND CRISTINA GOMILA: "A direction-adaptive in-loop deartifacting filter for video coding", 15TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, 2008. ICIP 2008, JPN6014009921, 12 October 2008 (2008-10-12), pages pp. 1624-1627 *
TAKESHI CHUJOH ET AL., BLOCK-BASED ADAPTIVE LOOP FILTER, JPN6016044657, 16 July 2008 (2008-07-16) *

Also Published As

Publication number Publication date
JP6479548B2 (ja) 2019-03-06
JP6646029B2 (ja) 2020-02-14
KR20110126693A (ko) 2011-11-23
EP2406957A1 (en) 2012-01-18
JP2012520607A (ja) 2012-09-06
CN106954071B (zh) 2020-05-19
CN106954071A (zh) 2017-07-14
CN106954072B (zh) 2020-05-05
KR20170020939A (ko) 2017-02-24
BRPI1007869A2 (pt) 2018-03-06
KR102003137B1 (ko) 2019-07-23
CN102349298B (zh) 2016-08-03
CN106954072A (zh) 2017-07-14
US9294784B2 (en) 2016-03-22
CN102349298A (zh) 2012-02-08
US20120002722A1 (en) 2012-01-05
WO2010104570A1 (en) 2010-09-16
JP2018033181A (ja) 2018-03-01
KR101709358B1 (ko) 2017-02-22
BRPI1007869B1 (pt) 2021-08-31

Similar Documents

Publication Publication Date Title
JP6646029B2 (ja) アーティファクト除去フィルタリングのための領域ベースのフィルタ・パラメータの選択を行う方法および装置
US11979614B2 (en) Methods and apparatus for in-loop de-artifact filtering
JP6104975B2 (ja) スパース性ベースのアーティファクト除去フィルタリングにおける可変変換に応じてフィルタ・パラメータの決定および選択を行う方法および装置
JP6120896B2 (ja) ビデオ符号化および復号のためのスパース性に基づくアーティファクト除去フィルタリングを行う方法および装置
JP5801363B2 (ja) 符号化及び復号化のための装置及び方法並びにコンピュータプログラム
US20120134424A1 (en) Method and System for a Parameterized Multi-Standard Deblocking Filter for Video Compression Systems
KR102135339B1 (ko) 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
KR20100103822A (ko) 다중 격자 성김-기반의 필터링을 사용하는 아티팩트 제거 필터링 방법 및 장치
JP2013522956A (ja) 分類ベースのループ・フィルタのための方法と装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150515

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150515

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160614

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161122

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20161202

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20161202

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170215

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170217

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170220

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20170323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170519

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171122

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20171214

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20180209

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20180301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190206

R150 Certificate of patent or registration of utility model

Ref document number: 6479548

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250