JP2019525544A - Ｃｎｎ基盤インループフィルタを含む符号化方法と装置及び復号化方法と装置 - Google Patents

Ｃｎｎ基盤インループフィルタを含む符号化方法と装置及び復号化方法と装置 Download PDF

Info

Publication number
JP2019525544A
JP2019525544A JP2018567746A JP2018567746A JP2019525544A JP 2019525544 A JP2019525544 A JP 2019525544A JP 2018567746 A JP2018567746 A JP 2018567746A JP 2018567746 A JP2018567746 A JP 2018567746A JP 2019525544 A JP2019525544 A JP 2019525544A
Authority
JP
Japan
Prior art keywords
information
loop filter
filtering
cnn
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018567746A
Other languages
English (en)
Other versions
JP6761490B2 (ja
Inventor
ムン チャール キム，
ムン チャール キム，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Advanced Institute of Science and Technology KAIST
Original Assignee
Korea Advanced Institute of Science and Technology KAIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Advanced Institute of Science and Technology KAIST filed Critical Korea Advanced Institute of Science and Technology KAIST
Priority claimed from PCT/KR2017/001512 external-priority patent/WO2017222140A1/ko
Publication of JP2019525544A publication Critical patent/JP2019525544A/ja
Application granted granted Critical
Publication of JP6761490B2 publication Critical patent/JP6761490B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

ＣＮＮ基盤インループフィルタを含む符号化装置及び復号化装置が開示される。一実施形態に係る符号化装置は、オリジナル映像と予測映像との間の差に該当する残差映像をフィルタリングすることによってフィルタリング情報を生成するフィルタリング部と、前記フィルタリング情報を逆フィルタリングすることによって逆フィルタリング情報を生成する逆フィルタリング部と、前記オリジナル映像と復元情報に基づいて前記予測映像を生成する予測部と、前記逆フィルタリング情報と前記予測映像が入力されて前記復元情報を出力するＣＮＮ基盤インループフィルタと、前記フィルタリング情報と前記予測映像の情報に基づいて符号化を行う符号化部とを含む。【選択図】図２

Description

実施形態は、ＣＮＮ基盤インループフィルタを含む符号化方法と装置及び復号化方法と装置に関する。
従来におけるインループフィルタリングは、量子化によって隣接符号化ブロック間の画素値の差により発生するブロック境界が視覚的に目に障ることを緩和するために、ブロック境界に沿ってブロック符号化タイプ、ブロック境界画素の強度、動き情報、量子化後の残差信号の存在情報などを用いて隣接符号化ブロックの境界を画素間の差を緩和する方法を利用した。ここで、たとえ固定されたフィルタ係数を使用することで係数を送信していないが、符号化ブロックの境界に対して画質劣化の緩和にのみ効果的であった。
最近、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）の標準として、符号化ブロックの境界に対してブロック境界の歪曲緩和フィルタリング（ｄｅ−ｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒｉｎｇ）の適用だけではなく、追加的に量子化による映像エッジに垂直方向に発生するリンギングアーティファクト（ｒｉｎｇｉｎｇ ａｒｔｅｆａｃｔ）及び明度差の歪曲を減らすためのサンプル適応型オフセット（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）フィルタリングを２次インループフィルタリングとして使用している。この場合、高周波ブラーリング歪曲（ｂｌｕｒｒｉｎｇ ａｒｔｅｆａｃｔ）を充分に改善することができず、サンプルオフセット及びエッジ方向タイプなどをデコーダに送信しなければならないため、符号化の効率に関する向上に限界がある。
実施形態は、量子化によるブロック境界の歪曲、リンギングアーティファクト、及び高周波ブラーリングリング歪曲（ｂｌｕｒｒｉｎｇ ａｒｔｅｆａｃｔ）などを、インループフィルタリングを用いて除去する技術を提供する。
また、実施形態は、符号化装置及び復号化装置に訓練されたＣＮＮ基盤インループフィルタを用いてインループフィルタ係数を送信しないながらも画質の改善された技術を提供する。
また、実施形態は符号化装置及び復号化装置が訓練されたＣＮＮ基盤インループフィルタを用いて、画質の改善されたフレームを参照フレームとして使用し、符号化の効率又は復号化の効率を大きく向上させる技術を提供する。
また、実施形態はスライスタイプごとにインループフィルタリングを適用する技術を提供する。
また、実施形態は、符号化ブロックごとにインループフィルタリングを適用する技術を提供する。
また、実施形態は、指定された映像の領域ごとにインループフィルタリング適用する技術を提供する。
一実施形態に係るＣＮＮ基盤インループフィルタ学習方法は、オリジナル映像と予測映像との間の差に該当する残差映像をフィルタリングすることによってフィルタリング情報を生成するステップと、前記フィルタリング情報を逆フィルタリングすることによって逆フィルタリング情報を生成するステップと、前記逆フィルタリング情報をＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップと、前記復元情報と前記オリジナル映像に基づいたオリジナル情報の差を算出するステップと、前記差に基づいて前記ＣＮＮ基盤インループフィルタの加重値を補正するステップと、を含み、前記予測映像は、前記オリジナル映像と前記復元情報に基づいて生成される。
前記フィルタリング情報を生成するステップは、前記残差映像を変換及び量子化することによってフィルタリング情報を生成するステップを含み、前記逆フィルタリング情報を生成するステップは、前記フィルタリング情報を逆量子化及び逆変換することによって逆フィルタリング情報を生成するステップを含み得る。
前記フィルタリング情報を生成するステップは、量子化パラメータによる量子化区間に基づいて前記残差映像をフィルタリングするステップを含み、前記補正するステップは、前記量子化区間に対する加重値を補正するステップを含み得る。
前記フィルタリング情報を生成するステップは、歪曲値による歪曲値区間に基づいて前記残差映像をフィルタリングするステップを含み、前記補正するステップは、前記歪曲値区間に対する加重値を補正するステップを含み得る。
前記フィルタリング情報を生成するステップは、映像特性のテクスチャ複雑度区間に基づいて前記残差映像をフィルタリングするステップを含み、前記補正するステップは、前記テクスチャ複雑度区間に対する加重値を補正するステップを含み得る。
前記フィルタリング情報を生成するステップは、映像特性の動き複雑度区間に基づいて前記残差映像をフィルタリングするステップを含み、前記補正するステップは、前記動き複雑度区間に対する加重値を補正するステップを含み得る。
前記復元情報を生成するステップは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップを含み、前記復元情報は、前記オリジナル映像のような形式であり得る。
前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップは、前記予測情報にインループフィルタリングを行うステップを含み得る。
前記復元情報を生成するステップは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップを含み、前記復元情報は、前記残差映像のような形式であり得る。
前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップは、前記予測情報にインループフィルタリングを行うステップを含み得る。
一実施形態に係る符号化装置は、オリジナル映像と予測映像との間の差に該当する残差映像をフィルタリングすることによってフィルタリング情報を生成するフィルタリング部と、前記フィルタリング情報を逆フィルタリングすることによって逆フィルタリング情報を生成する逆フィルタリング部と、前記オリジナル映像と復元情報に基づいて前記予測映像を生成する予測部と、前記逆フィルタリング情報と前記予測映像が入力されて前記復元情報を出力するＣＮＮ基盤インループフィルタと、前記フィルタリング情報と前記予測映像の情報に基づいて符号化を行う符号化部とを含む。
前記フィルタリング部は、前記残差映像を変換及び量子化することによってフィルタリング情報を生成し、前記逆フィルタリング部は、前記フィルタリング情報を逆量子化及び逆変換することによって逆フィルタリング情報を生成し得る。
前記復元情報は、前記オリジナル映像のような形式であり、前記ＣＮＮ基盤インループフィルタは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成し得る。
前記装置は、前記予測情報にインループフィルタリングを行うインループフィルタをさらに含み得る。
前記インループフィルタは、デブロックフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ（ＤＦ））、サンプル適応型オフセットフィルタ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ（ＳＡＯ）ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ（ＡＬＦ））のうち少なくとも１つを含み得る。
前記復元情報は、前記残差映像のような形式であり、前記ＣＮＮ基盤インループフィルタは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成し得る。
前記装置は、前記予測情報にインループフィルタリングを行うインループフィルタをさらに含み得る。
前記装置は、前記復元情報にインループフィルタリングを行うインループフィルタをさらに含み得る。
一実施形態に係る復号化装置は、符号化されたビットストリーム情報に復号化を行ってフィルタリング情報と予備予測情報を出力するエントロピー復号化部と、前記フィルタリング情報を逆フィルタリングすることによって逆フィルタリング情報を生成する逆フィルタリング部と、前記予備予測情報に基づいて予測映像を生成する予測部と、前記逆フィルタリング情報と前記予測映像が入力されて復元情報を出力するＣＮＮ基盤インループフィルタとを含む。
前記復元情報は、前記オリジナル映像のような形式であり、前記ＣＮＮ基盤インループフィルタは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成し得る。
前記装置は、前記逆フィルタリング情報にインループフィルタリングを行うインループフィルタをさらに含み得る。
前記インループフィルタは、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含み得る。
前記復元情報は、前記残差映像のような形式であり、前記ＣＮＮ基盤インループフィルタは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成し得る。
前記装置は、前記復元情報と前記予測映像を加えて最終復元情報を生成する加算器をさらに含み得る。
前記装置は、前記逆フィルタリング情報にインループフィルタリングを行うインループフィルタをさらに含み得る。
前記インループフィルタは、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含み得る。
前記復元情報は、前記残差映像のような形式であり、前記ＣＮＮ基盤インループフィルタは、前記逆フィルタリング情報を前記ＣＮＮ基盤インループフィルタに入力することによって残差復元情報を生成し得る。
前記装置は、前記残差復元情報と前記予測映像を加えて最終復元情報を生成する加算器をさらに含み得る。
前記最終復元情報にインループフィルタリングを行うインループフィルタをさらに含み得る。
前記インループフィルタは、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含み得る。
符号化装置及び／又は復号化装置を用いるシステムの一例を説明するための図である。 一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の一例を示す。 図１に示された予測部のブロック図の一例を示す。 一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。 一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。 一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。 一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。 一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。 一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の一例を示す。 図８Ａに示された予測部のブロック図の一例を示す。 一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。 一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。 一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。 一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。 一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。 一実施形態に係るＣＮＮ基盤インループフィルタの構造を説明するための図である。 一実施形態に係るＣＮＮ基盤インループフィルタの区間ごとの訓練方法を説明するための図面の一例である。 一実施形態に係るＣＮＮ基盤インループフィルタの区間ごとの訓練方法を説明するための図面の他の例である。 一実施形態に係るＣＮＮ基盤インループフィルタの訓練方法を説明するための図面の一例である。 一実施形態に係るＣＮＮ基盤インループフィルタの適用方法を説明するための図面の他の例である。 一実施形態に係るＣＮＮ基盤インループフィルタの適用方法を説明するための図面の他の例である。 一実施形態に係るＣＮＮ基盤インループフィルタの適用方法を説明するための図面の他の例である。 一実施形態に係るＣＮＮ基盤インループフィルタの適用方法を説明するための図面の他の例である。
本明細書に開示されている本発明の概念による実施形態について、特定の構造的又は機能的説明は、単に、本発明の概念による実施形態を説明するための目的として例示されたものであり、本発明の概念による実施形態は、様々な形態に実施され、本明細書に説明された実施形態に限定されることはない。
実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものとして、様々な形態に変更される。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。
第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。
いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。一方、いずれかの構成要素が他の構成要素に「直接連結」されているか「直接接続」されていると言及されたときには、中間に他の構成要素が存在しないものと理解されなければならない。構成要素間の関係を説明する表現、例えば「〜間に」と「直ちに〜の間に」又は「〜に直接隣接する」なども同様に解釈されなければならない。
本明細書で用いられる用語は、単に特定の実施形態を説明するために使用されたものであり、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
異なるように定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
以下、実施形態を添付の図面を参照して詳説する。添付図面を参照して説明することにおいて、図面符号に関わらず同じ構成要素は同じ参照符号を付与し、これに関する重複説明は省略することにする。
図１は、符号化装置及び／又は復号化装置を用いるシステムの一例を説明するための図である。
図１を参照すると、符号化装置及び／又は復号化装置を用いるシステム１０は、ユーザ端末１１とサーバ端末１２を含む。ユーザ端末１１は電子装置を含み得る。電子装置は、パーソナルコンピュータ（ＰＣ）、データサーバ、テレビ（ＴＶ）、又は携帯用装置に具現され得る。
携帯用装置は、ラップトップコンピュータ、移動電話機、スマートフォン、タブレットＰＣ、モバイルインターネットデバイス（ＭＩＤ）、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、ＥＤＡ（ｅｎｔｅｒｐｒｉｓｅ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）、デジタルスチールカメラ、デジタルビデオカメラ、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ＰＳＰ（ｐｌａｙｓｔａｔｉｏｎ ｐｏｒｔａｂｌｅ）、ＰＮＤ（ｐｅｒｓｏｎａｌ ｎａｖｉｇａｔｉｏｎ ｄｅｖｉｃｅ）又はｐｏｒｔａｂｌｅ ｎａｖｉｇａｔｉｏｎ ｄｅｖｉｃｅ、携帯用ゲームコンソール、無線通信端末、ｅブック（ｅ−ｂｏｏｋ）、又はスマートデバイスに具現される。
サーバ端末１２は、応用サーバ又はサービスサーバなどを含む。
ユーザ端末１１とサーバ端末１２は、各種の機器又は有無線通信網と通信を行うための通信モデムなどの通信装置、映像を符号化又は復号化したり、符号化及び復号化のために画面間（ｉｎｔｅｒ）又は画面内（ｉｎｔｒａ）の予測をするための各種のプログラムとデータを格納するためのメモリ１８、プログラムを実行して演算及び制御するためのプロセッサ１４などを備える様々な装置を含む。
また、ユーザ端末１１とサーバ端末１２は、符号化装置によってビットストリームで符号化された映像を映像復号化装置に送信する。例えば、ユーザ端末１１とサーバ端末１２は、リアルタイム又は非リアルタイムに符号化された映像を映像復号化装置に送信する。
ユーザ端末１１とサーバ端末１２は、有無線通信網又は様々な通信インターフェースを介して符号化された映像を映像復号化装置に送信する。例えば、有無線通信網は、インターネット、近距離無線通信網、無線ＬＡＮ網、ワイヤレスブロードバンド網、又は移動通信網などであり得る。通信インターフェースは、ケーブル又は汎用直列バス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ））などを含み得る。
また、符号化装置によってビットストリームで符号化された映像は、コンピュータで読み出し可能な記録媒体を介して符号化装置から復号化装置に伝達されてもよい。
復号化装置は、符号化された映像を復号化して復元された映像を再生する。
符号化装置と復号化装置は、それぞれ別途の装置であってもよいが、具現に応じて１つの符号化及び復号化装置に製造されてもよい。１つの符号化及び復号化装置の場合、符号化装置の予測部、逆量子化部、逆変換部、加算部、フィルタ部、及びＤＰＢは記載された順に復号化装置の予測部、逆量子化部、逆変換部、加算部、フィルタ部、及びＤＰＢと実質的に同じ技術要素として、少なくとも同じ構造を含んだり、少なくとも同じ機能を行うよう具現され得る。また、エントロピー符号化部はその機能を逆に行うときエントロピー復号化部に対応する。
したがって、以下の技術要素とその作動原理などに対する詳細説明について、対応する技術要素の重複する説明は省略することにする。
また、復号化装置は、符号化装置で行われる符号化方法を復号化に適用するコンピューティング装置に対応するため、以下の説明では符号化装置を中心に説明する。符号化装置は符号化器に、復号化装置は復号化器にそれぞれ称される。
図２Ａは、一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の一例を示し、図２Ｂは、図１に示された予測部のブロック図の一例を示す。
図２Ａ及び図２Ｂを参照すると、符号化装置１００は、変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、ＣＮＮ基盤インループフィルタ１５０ａ、符号化ピクチャーバッファ（ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ（ＤＰＢ））１６０、予測部、及び複数の加算器を含む。
符号化装置１００は、入力映像１１０又は入力スライス１１０に符号化（エンコーディング）を行う。例えば、符号化装置１００は、入力映像１１０又は入力スライス１１０を分割した複数のピクセルブロックｆに符号化を行う。符号化装置１００は、入力映像１１０又は入力スライス１１０を分割する分割部（図示せず）をさらに含んでもよい。分割部（図示せず）は、入力映像１１０又は入力スライス１１０を定められた大きさ（Ｍ×Ｎ）のブロックに分割する。ここで、Ｍ又はＮは、１以上の自然数であり得る。
分割部（図示せず）は、入力映像１１０又は入力スライス１１０の特性、又は解像度などに基づいてブロックの大きさ（Ｍ×Ｎ）を決定する。分割部（図示せず）は、ブロックの大きさ（Ｍ×Ｎ）を２のべき乗で決定される。分割部（図示せず）は、ブロックの大きさ（Ｍ×Ｎ）をまっ四角の形態又は長方形に決定される。例えば、分割部（図示せず）がまっ四角の形態に決定された場合、ブロックの大きさ（Ｍ×Ｎ）は２５６×２５６、１２８×１２８、６４×６４、３２×３２、１６×１６、８×８、又は４×４などであり得る。
Figure 2019525544
クｆに対して画面内予測又は画面間予測などを用いて生成したブロックである。変換及び量子化部１２０は、残差ブロックｅに変換及び量子化を行う。変換及び量子化部１２０がピクセルブロックｆの代わりに残差ブロックｅに対して変換及び量子化を行うことで、符号化の効率を向上させることができる。
変換及び量子化部１２０は、残差ブロックｅにフィルタリングを行ってフィルタ
Figure 2019525544
変換及び／又は量子化を行う。
変換及び量子化部１２０は、残差ブロックｅを周波数領域に変換する。残差ブロックｅの各画素は、変換された残差ブロックの変換係数に対応する。
変換及び量子化部１２０は、変換マトリックスを用いて残差ブロックｅを変換させる。変換マトリックスは、１次元、２次元、又は３次元の変換マトリックスであってもよい。例えば、変換及び量子化部１２０は、離散コサイン変換（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ（ＤＣＴ））、離散サイン変換（ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ（ＤＳＴ））、水平、垂直単位などに変換マトリックスを使用する。変換及び量子化部１２０は、残差ブロックｅの大きさ、形態、種類（輝度／色差）、符号化モード、予測モード情報、量子化パラメータ、又は隣接ブロックの符号化情報などに基づいて、変換マトリックスの使用の有無を決定する。変換及び量子化部１２０は、残差ブロックｅを変換して変換ブロックＥを生成する。
変換及び量子化部１２０は、変換ブロックＥに量子化を行って量子化された残差
Figure 2019525544
行う。変換及び量子化部１２０は、量子化パラメータ（ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ（ＱＰ）による量子化区間、映像信号の特性による歪曲値区間、映像信号特性によるテクスチャ複雑度区間、及び映像信号特性による動き複雑度区間のうち少なくとも１つ以上に基づいて、残差映像ｅにフィルタリングを行う。映像信号は残差ブロックｅを含む。
変換及び量子化部１２０は、量子化パラメータ（ＱＰ）に基づいて量子化を行う。変換及び量子化部１２０は、変換ブロックＥのブロック単位で量子化パラメータを決定する。量子化パラメータは、シーケンス、ピクチャー、スライス、又はブロックなどの単位で設定され得る。
変換及び量子化部１２０は、変換ブロックＥの隣接ブロックから少なくとも１つの量子化パラメータを誘導する。変換及び量子化部１２０は、少なくとも１つの量子化パラメータを用いて変換ブロックＥの量子化パラメータを予測する。例えば、変換及び量子化部１２０は、変換ブロックＥの左側、左側の上、左側の下、上側、右側の上、右側の下、下側などの隣接ブロックから少なくとも１つの量子化パラメータを誘導してもよい。変換及び量子化部１２０は、予測した量子化パラメータと隣接ブロックから誘導した量子化パラメータの差分値を算出してエントロピー符号化部１３０に送信する。
変換及び量子化部１２０が変換ブロックＥの隣接ブロックから量子化パラメータを誘導できない場合、変換及び量子化部１２０は、シーケンス、ピクチャー、スライス、又はブロックなどの単位に送信された基本パラメータに基づいて量子化パラメータを設定する。変換及び量子化部１２０は、基本パラメータと量子化パラメータの差分値を算出してエントロピー符号化部１３０に送信する。
Figure 2019525544
３０及び／又は逆量子化及び逆変換部１４０に送信する。
Figure 2019525544
テキスト適応可変長コーディング（ＣＡＶＬＣ）、コンテキスト適応２進算術コーディング（ＣＡＢＡＣ）、又は構文基盤コンテキスト適応２進算術コーディング（ＳＢＡＣ）などの符号化方式を用いてエントロピー符号化を行うことができる。
エントロピー符号化部１３０は、エントロピー符号化を行って符号化データをビットストリームに出力する。符号化データは、量子化パラメータを符号化したビットストリームと符号化されたビットストリームを復号化するために必要な様々な情報を含む。また、符号化データは、符号化されたブロックの形態、量子化パラメータ、量子化ブロックが符号化されたビットストリーム、及び予測に必要な情報などを含んでもよい。
Figure 2019525544
って逆フィルタリング情報（ｉｎｖｅｒｓｅ ｆｉｌｔｅｒｉｎｇ ｉｎｆｏｒｍ
Figure 2019525544
Figure 2019525544
部１４０は、変換及び量子化部１２０の動作を逆に行う。例えば、逆量子化及び逆
Figure 2019525544
化及び逆変換部１４０は、変換及び量子化部１２０の変換構造及び量子化構造を反対に構成してもよい。
図１では、説明の便宜のために変換及び量子化部１２０が変換及び量子化を行うものと図示しているが、必ずこれに限定されることなく、残差ブロックｅを変換する変換部と、残差ブロックｅを量子化する量子化部にそれぞれ具現されてもよい。
また、逆量子化及び逆変換部１４０が逆量子化及び逆変換を行うものと図示して
Figure 2019525544
てもよい。
Figure 2019525544
加算したブロックである。
ＣＮＮ基盤インループフィルタ１５０ａは、予測情報にインループフィルタリン
Figure 2019525544
ＣＮＮ基盤インループフィルタ１５０ａが２次予測ブロック（予備復元ブロック
Figure 2019525544
ロックである。
ＣＮＮ基盤インループフィルタ１５０ａは、深層畳み込みニューラルネットワークを使用する。すなわち、ＣＮＮ基盤インループフィルタ１５０ａは、複数のトレーニングデータに基づいて訓練される。ＣＮＮ基盤インループフィルタ１５０ａは、任意の入力映像に対して適切な出力映像を生成するよう訓練される。
ＣＮＮ基盤インループフィルタ１５０ａは、入力レイヤ、隠れレイヤ、及び出力レイヤを含む。入力レイヤ、隠れレイヤ、及び出力レイヤはそれぞれ複数のノードを含む。
隣接するレイヤ間のノードは、連結加重値を有して互いに接続されている。各ノードは、活性化モデルに基づいて動作する。活性化モデルに応じて入力値に対応する出力値が決定される。任意のノードの出力値は、該当ノードに接続された次のレイヤのノードに入力される。次のレイヤのノードは、複数のノードから出力される値が入力される。任意のノードの出力値が次のレイヤのノードに入力される過程で、連結加重値が適用される。次のレイヤのノードは、活性化モデルに基づいて入力値に対応する出力値を、該当ノードに接続されたその次のレイヤのノードに出力する。
出力レイヤは、インループフィルタリングに対応するノードを含む。出力レイヤのノードは、インループフィルタリングを行った映像（又はブロック）に対応する特徴値を出力する。
Figure 2019525544
に、符号化ブロックごとに、又は指定された領域ごとにフィルタリングを行う。こ
Figure 2019525544
を符号化することで、符号化の効率と複雑度を改善することができる。
Figure 2019525544
よい。
Figure 2019525544
バッファ１６０に送信する。
ＣＮＮ基盤インループフィルタ１５０ａの構成及び訓練方法などについては図面を参照して後述する。
Figure 2019525544
プレイ装置などに出力してディスプレイする。
Figure 2019525544
Figure 2019525544
得る。
Figure 2019525544
てもよい。
Figure 2019525544
面間動き予測モード、動きブロックタイプ、及び動きベクトルのうち少なくとも１つを含んでもよい。
予測部１７０は、フレーム内推定部１７１、動き推定部１７２、フレーム内予測部１７３、動き補償部１７４、モード決定部１７５、及び予測映像生成部１７６を含む。
フレーム内推定部１７１及び動き推定部１７２は、入力映像１１０及び（復号化
Figure 2019525544
Figure 2019525544
トラモードを決定し得る。フレーム内推定部１７１は、イントラモードをフレーム内予測部１７３及びエントロピー符号化部１３０に送信する。
フレーム内予測部１７３は、イントラモードで入力映像１１０及び復元ブロック
Figure 2019525544
Figure 2019525544
ル（ｍｏｔｉｏｎ ｖｅｃｔｏｒｓ（ＭＶｓ））を抽出する。動き推定部１７２は、動きベクトルを動き補償部１７４に送信する。
Figure 2019525544
いて画面内動きを補償し、モード決定部１７５に送信する。
モード決定部１７５は、フレーム内予測部１７３及び動き補償部１７４からのデータに基づいて符号化モードを決定する。例えば、符号化モードは、イントラモード（ｉｎｔｒａ ｍｏｄｅ）、インターモード（ｉｎｔｅｒ ｍｏｄｅ）などであってもよい。
予測映像生成部１７６は、モード決定部１７５が決定した符号化モードに基づい
Figure 2019525544
Figure 2019525544
号化部１３０に送信する。
図３は、一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。
図３を参照すると、符号化装置１００は、変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、インループフィルタ１４５、ＣＮＮ基盤インループフィルタ１５０ｂ、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器を含む。
図３に示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器は、図２Ａに示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器と構成及び動作が実質的に同一である。ここで、以下は、インループフィルタ１４５及びＣＮＮ基盤インループフィルタ１５０ｂについて説明する。
Figure 2019525544
インループフィルタ１４５は、デブロックフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ（ＤＦ））、サンプル適応型オフセットフィルタ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ（ＳＡＯ）ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ（ＡＬＦ））のうち少なくとも１つを含む。
すなわち、インループフィルタ１４５が１つのフィルタを含んでいる場合、インループフィルタ１４５は、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち１つのフィルタに具現される。
インループフィルタ１４５が２つのフィルタを含んでいる場合、インループフィルタ１４５は、デブロックフィルタ（ＤＦ）及びサンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）を含むものとして具現される。又は、インループフィルタ１４５は、サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）及び適応型ループフィルタ（ＡＬＦ）を含むものとして具現されてもよい。又は、インループフィルタ１４５は、デブロックフィルタ（ＤＦ）及び適応型ループフィルタ（ＡＬＦ）を含むものとして具現されてもよい。
インループフィルタ１４５が３つのフィルタを含んでいる場合、インループフィルタ１４５は、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）を含むものとして具現されてもよい。
Figure 2019525544
得る。ブロック間画素値は、量子化過程で発生する可能性がある。デブロックフィルタ（ＤＦ）は、決定されたフィルタ係数をフィルタリングに使用し得る。
サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）は、符号化ブロック単位でリンギングアーティファクト（ｒｉｎｇｉｎｇ ａｒｔｅｆａｃｔ）や画素値区間の歪曲を修正する。サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌ
Figure 2019525544
クセルブロックｆに対して差値をオフセットに復元し得る。
Figure 2019525544
オフセットフィルタリングされた結果に、１段線形マッピングモデルを用いてフィルタリングを行うことができる。
ＣＮＮ基盤インループフィルタ１５０ｂは、予測情報にフィルタリングを行って
Figure 2019525544
Figure 2019525544
Figure 2019525544
ャーバッファ１６０に送信する。
図４は、一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。
図４を参照すると、符号化装置１００は、変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、ＣＮＮ基盤インループフィルタ１５０ｃ、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器を含む。
図４に示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器は、図２Ａに示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器と構成及び動作が実質的に同一である。ここで、以下は、ＣＮＮ基盤インループフィルタ１５０ｃについて説明する。
ＣＮＮ基盤インループフィルタ１５０ｃは、予測情報にフィルタリングを行って復元情報を生成する。ＣＮＮ基盤インループフィルタ１５０ｃは、加算器から予備
Figure 2019525544
Figure 2019525544
Figure 2019525544
する。
Figure 2019525544
る。
図５は、一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。
図５を参照すると、符号化装置１００は、変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、インループフィルタ１４５、ＣＮＮ基盤インループフィルタ１５０ｄ、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器を含む。
図５に示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、インループフィルタ１４５、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器は、図３に示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、インループフィルタ１４５、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器と構成及び動作が実質的に同一である。ここで、以下は、ＣＮＮ基盤インループフィルタ１５０ｄについて説明する。
ＣＮＮ基盤インループフィルタ１５０ｄは、予測情報にインループフィルタリングを行って復元情報を生成する。ＣＮＮ基盤インループフィルタ１５０ｄは、イン
Figure 2019525544
Figure 2019525544
Figure 2019525544
する。
Figure 2019525544
に送信する。
図６は、一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。
図６を参照すると、符号化装置１００は、変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、ＣＮＮ基盤インループフィルタ１５０ｅ、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器を含む。
図６に示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器は、図２Ａに示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器と構成及び動作が実質的に同一である。ここで、以下は、ＣＮＮ基盤インループフィルタ１５０ｅについて説明する。
ＣＮＮ基盤インループフィルタ１５０ｅは、予測情報にインループフィルタリングを行って復元情報を生成する。ＣＮＮ基盤インループフィルタ１５０ｅは、逆量
Figure 2019525544
Figure 2019525544
する。
Figure 2019525544
る。
図７は、一実施形態に係るＣＮＮ基盤インループフィルタを含む符号化装置のブロック図の他の例を示す。
図７を参照すると、符号化装置１００は、変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、ＣＮＮ基盤インループフィルタ１５０ｅ、インループフィルタ１４７、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器を含む。
図７に示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、ＣＮＮ基盤インループフィルタ１５０ｅ、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器は、図６に示された変換及び量子化部１２０、エントロピー符号化部１３０、逆量子化及び逆変換部１４０、ＣＮＮ基盤インループフィルタ１５０ｅ、復号化ピクチャーバッファ１６０、予測部１７０、及び複数の加算器と構成及び動作が実質的に同一である。ここで、以下は、インループフィルタ１４７について説明する。
Figure 2019525544
る。
インループフィルタ１４７は、図３を参照して前述したように、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含み得る。
図８Ａは、一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の一例を示し、図８Ｂは、図８Ａに示された予測部のブロック図の一例を示す。
図８Ａ及び図８Ｂを参照すると、復号化装置２００は、エントロピー復号化部２１０、逆量子化及び逆変換部２２０、ＣＮＮ基盤インループフィルタ２３０ａ、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器を含む。
復号化装置２００は、図２Ａ〜図７に示された符号化装置１００で行われる符号化方法を復号化に適用するコンピューティング装置に対応する。すなわち、エントロピー復号化部２１０、逆量子化及び逆変換部２２０、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器は、図２Ａに示されたエントロピー符号化部１３０、逆量子化及び逆変換部１４０、変換及び量子化部１２０、復号化ピクチャーバッファ１６０、予測部１７０、及び加算器に対応する。
エントロピー復号化部２１０は、符号化されたビットストリーム情報にパーシングを行うことによって復号化を行う。エントロピー復号化部２１０は、復号化を行ってフィルタリング情報と予備予測情報を出力する。エントロピー復号化部２１０
Figure 2019525544
送信する。
Figure 2019525544
Figure 2019525544
ＣＮＮ基盤インループフィルタ２３０ａは、予測情報にインループフィルタリン
Figure 2019525544
図２Ａを参照して上述したように、ＣＮＮ基盤インループフィルタ２３０ａは、深層畳み込みニューラルネットワークを使用する。すなわち、ＣＮＮ基盤インループフィルタ２３０ａは、複数のトレーニングデータに基づいて訓練される。ＣＮＮ基盤インループフィルタ２３０ａは、任意の入力映像に対して適切な出力映像を生成するように訓練される。
すなわち、ＣＮＮ基盤インループフィルタ２３０ａは、入力レイヤ、隠れレイヤ、及び出力レイヤを含む。入力レイヤ、隠れレイヤ、及び出力レイヤは、それぞれ複数のノードを含む。
Figure 2019525544
に、符号化ブロックごとに、又は指定された領域ごとにフィルタリングを行う。こ
Figure 2019525544
化することによって復号化効率と複雑度を改善することができる。
Figure 2019525544
よい。
Figure 2019525544
バッファ２４０に送信する。
ＣＮＮ基盤インループフィルタ２３０ａの構成及び訓練方法などについては図面を参照して後述する。
Figure 2019525544
プレイ装置などに出力してディスプレイする。
Figure 2019525544
る。
Figure 2019525544
２５０は、フレーム内予測部２５１、動き補償部２５２、及び予測映像生成部２５３を含む。
フレーム内予測部２５１及び動き補償部２５２は、符号化ピクチャーバッファ２
Figure 2019525544
を受信する。
Figure 2019525544
Figure 2019525544
基づいて画面内動きを補償し、結果値を予測映像生成部２５３に送信する。
予測映像生成部２５３は、フレーム内予測部２５１及び動き補償部２５２の結果
Figure 2019525544
図９は、一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。
図９を参照すると、復号化装置２００は、エントロピー復号化部２１０、逆量子化及び逆変換部２２０、インループフィルタ２２５、ＣＮＮ基盤インループフィルタ２３０ｂ、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器を含む。
図９に示されたエントロピー復号化部２１０、逆量子化及び逆変換部２２０、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器は、図８Ａに示された復号化部２１０、逆量子化及び逆変換部２２０、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器と構成及び動作が実質的に同一である。ここで、以下は、インループフィルタ２２５及びＣＮＮ基盤インループフィルタ２３０ｂについて説明する。
Figure 2019525544
インループフィルタ２２５は、上述したようにデブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含み得る。
ＣＮＮ基盤インループフィルタ２３０ｂは、予測情報にインループフィルタリン
Figure 2019525544
Figure 2019525544
Figure 2019525544
ャーバッファ２４０に送信する。
図１０は、一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。
図１０を参照すると、復号化装置２００は、エントロピー復号化部２１０、逆量子化及び逆変換部２２０、ＣＮＮ基盤インループフィルタ２３０ｃ、符号化ピクチャーバッファ２４０、予測部２５０、及び複数の加算器を含む。
図１０に示されたエントロピー復号化部２１０、逆量子化及び逆変換部２２０、符号化ピクチャーバッファ２４０、予測部２５０、及び複数の加算器は、図８Ａに示された復号化部２１０、逆量子化及び逆変換部２２０、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器と構成及び動作が実質的に同一である。ここで、以下は、ＣＮＮ基盤インループフィルタ２３０ｃについて説明する。
ＣＮＮ基盤インループフィルタ２３０ｃは、予測情報にインループフィルタリン
Figure 2019525544
Figure 2019525544
Figure 2019525544
する。
Figure 2019525544
る。
図１１は、一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。
図１１を参照すると、復号化装置２００は、エントロピー復号化部２１０、逆量子化及び逆変換部２２０、インループフィルタ２２５、ＣＮＮ基盤インループフィルタ２３０ｄ、符号化ピクチャーバッファ２４０、予測部２５０、及び複数の加算器を含む。
図１１に示されたエントロピー復号化部２１０、逆量子化及び逆変換部２２０、インループフィルタ２２５、ＣＮＮ基盤インループフィルタ２３０ｄ、符号化ピクチャーバッファ２４０、予測部２５０、及び複数の加算器は、図９に示されたエントロピー復号化部２１０、逆量子化及び逆変換部２２０、インループフィルタ２２５、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器と構成及び動作が実質的に同一である。ここで、以下は、ＣＮＮ基盤インループフィルタ２３０ｄについて説明する。
ＣＮＮ基盤インループフィルタ２３０ｄは、予測情報にインループフィルタリン
Figure 2019525544
Figure 2019525544
Figure 2019525544
する。
Figure 2019525544
に送信する。
図１２は、一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。
図１２を参照すると、復号化装置２００は、エントロピー復号化部２１０、逆量子化及び逆変換部２２０、ＣＮＮ基盤インループフィルタ２３０ｅ、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器を含む。
図１２に示されたエントロピー復号化部２１０、逆量子化及び逆変換部２２０、符号化ピクチャーバッファ２４０、予測部２５０、及び複数の加算器は、図８Ａに示された復号化部２１０、逆量子化及び逆変換部２２０、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器と構成及び動作が実質的に同一である。ここで、以下は、ＣＮＮ基盤インループフィルタ２３０ｅについて説明する。
ＣＮＮ基盤インループフィルタ２３０ｅは、予測情報にインループフィルタリン
Figure 2019525544
Figure 2019525544
Figure 2019525544
送信する。
Figure 2019525544
信する。
図１３は、一実施形態に係るＣＮＮ基盤インループフィルタを含む復号化装置のブロック図の他の例を示す。
図１３を参照すると、復号化装置２００は、エントロピー復号化部２１０、逆量子化及び逆変換部２２０、ＣＮＮ基盤インループフィルタ２３０ｅ、インループフィルタ２２７、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器を含む。
図１３に示されたエントロピー復号化部２１０、逆量子化及び逆変換部２２０、ＣＮＮ基盤インループフィルタ２３０ｅ、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器は、図１２に示された復号化部２１０、逆量子化及び逆変換部２２０、ＣＮＮ基盤インループフィルタ２３０ｅ、符号化ピクチャーバッファ２４０、予測部２５０、及び加算器と構成及び動作が実質的に同一である。ここで、以下は、インループフィルタ２２７について説明する。
Figure 2019525544
Figure 2019525544
する。
インループフィルタ２２７は、図９を参照して上述したように、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含み得る。
図１４は、一実施形態に係るＣＮＮ基盤インループフィルタの構造を説明するための図である。
図１４を参照すると、ＣＮＮ基盤インループフィルタ１５０は、入力レイヤ１５１、隠れレイヤ１５２、及び出力レイヤ１５３を含む。
入力レイヤ１５１は、入力映像を受信する。入力映像は、劣化された復元映像を含む。例えば、入力レイヤ１５１には、逆量子化及び逆変換部１４０によって逆量子化及び逆変換が実行された復元映像が入力されてもよい。入力映像は、ブロック境界の歪曲、リンギングアーティファクト及び高周波ブラーリング歪曲を含む。復元映像は劣化現象を含む。
入力レイヤ１５１は、入力映像にイメージパッチを行って隠れレイヤ１５３に抽出する。例えば、入力レイヤ１５１は、入力映像をｆ１×ｆ１の大きさにイメージパッチを行ってもよい。
隠れレイヤ１５２は、非線型マッピング（ｎｏｎ−ｌｉｎｅａｒ ｍａｐｐｉｎｇ）を行う。隠れレイヤ１５２は、Ｎ個の畳み込みレイヤを含む。ここで、第１畳み込みレイヤ１５２−１から第Ｎ畳み込みレイヤ１５２−Ｎに進行するほど映像の画質は向上し得る。
ＣＮＮ基盤インループフィルタ１５０は、隠れレイヤ１５２、出力レイヤ１５３、及び損失関数を介してＣＮＮ基盤インループフィルタの訓練が行われる。
第１畳み込みレイヤ１５２−１は数式（１）に対応する。
Figure 2019525544
第２畳み込みレイヤは数式（２）に対応する。
Figure 2019525544
同じ原理で、第Ｎ畳み込みレイヤ１５２−Ｎは数式（３）に対応する。
Figure 2019525544
すなわち、隠れレイヤ１５２は、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）関数を用いて訓練の効率及び速度を高めることができる。
出力レイヤ１５３は数式（４）に対応する。
Figure 2019525544
出力レイヤ１５３は、フィルタリングされて画質の向上した出力映像を出力できる。
損失関数は数式（５）に対応する。
Figure 2019525544
ＣＮＮ基盤インループフィルタ１５０は、損失関数を介してフィルタリングエラーを最小化するように訓練される。
図１５は、一実施形態に係るＣＮＮ基盤インループフィルタの区間ごとの訓練方法を説明するための図面の一例である。
図１５を参照すると、ＣＮＮ基盤インループフィルタ１５０は、量子化区間ごとに訓練を行う。ＣＮＮ基盤インループフィルタ１５０は、量子化パラメータ（ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ（ＱＰ））により歪曲値の異なる復元映像を処理し得る。ここで、ＣＮＮ基盤インループフィルタ１５０は、量子化区間ごとに訓練を行って効果的なフィルタリングを行うことができる。
量子化パラメータ（ＱＰ）は、０以上５１以下の値であってもよい。各量子化区間は、少なくとも１つの量子化パラメータ（ＱＰ）を含む。ここで、複数の量子化区間が共通として含む量子化パラメータ（ＱＰ）もあり得る。例えば、第１区間と第２区間は、量子化パラメータ（ＱＰ）５を共通として含んでもよい。
符号化装置１００で符号化時に使用された量子化パラメータ（ＱＰ）は、復号化装置２００で確認できる値であり、符号化装置１００は、符号化時に使用された量子化パラメータ（ＱＰ）を復号化装置２００に送信しなくてもよい。ここで、符号化装置１００は、オーバーヘッドが発生せず、符号化の効率を高めることができる。
符号化装置１００は、第Ｎ区間の量子化パラメータ（ＱＰ）を用いて復元訓練映像３００を生成する。符号化装置１００は、復元訓練映像３００をＣＮＮ基盤インループフィルタ１５０に送信する。
ＣＮＮ基盤インループフィルタ１５０は、復元訓練映像３００にフィルタリングを行って出力映像を生成して加算器に送信する。
加算器は、出力映像及びオリジナル入力訓練映像４００を差分してＣＮＮ基盤インループフィルタ１５０に送信する。
ＣＮＮ基盤インループフィルタ１５０は、差分に基づいて隠れレイヤ１５２の加重値を調整する。例えば、ＣＮＮ基盤インループフィルタ１５０は、出力映像と入力訓練映像４００の差がないように加重値を調整し得る。ここで、ＣＮＮ基盤インループフィルタ１５０の加重値を補正するための学習は、バックプロパゲーション（ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ）方法を用いてもよい。
復元訓練映像３００及び入力訓練映像４００は、様々な実施形態に具現され得る。すなわち、ＣＮＮ基盤インループフィルタ１５０は、数多い訓練方法が存在する。ＣＮＮ基盤インループフィルタ１５０は、訓練方法によって相違に動作得る。
一例として、復元訓練映像３００は、インループフィルタ１４０でフィルタリング適用前の復元映像であってもよい。ＣＮＮ基盤インループフィルタ１５０は、フィルタリング適用前の復元映像にフィルタリングを行って入力訓練映像４００に近い出力映像を生成する。この場合、ＣＮＮ基盤インループフィルタ１５０は、図２Ａに示されたＣＮＮ基盤インループフィルタ１５０ａとして動作し得る。
他の例として、復元訓練映像３００は、インループフィルタ１４０でフィルタリングが適用された映像であってもよい。すなわち、ＣＮＮ基盤インループフィルタ１５０は、フィルタリングが適用された映像にフィルタリングを行ってオリジナル入力訓練映像４００にさらに近い出力映像を生成する。この場合、ＣＮＮ基盤インループフィルタ１５０は、図３に示されたＣＮＮ基盤インループフィルタ１５０ｂとして動作し得る。
他の例として、復元訓練映像３００は、インループフィルタ１４０でフィルタリングが適用された映像であり、入力訓練映像４００は残差映像ｅであってもよい。ここで、ＣＮＮ基盤インループフィルタ１５０は、フィルタリングが適用された映像にフィルタリングを適用して残差映像を生成する。この場合、ＣＮＮ基盤インループフィルタ１５０は、図５に示されたＣＮＮ基盤インループフィルタ１５０ｄとして動作し得る。
図１６は、一実施形態に係るＣＮＮ基盤インループフィルタの区間ごとの訓練方法を説明するための図面の他の例である。
図１６を参照すると、ＣＮＮ基盤インループフィルタ１５０は、歪曲値区間ごとに訓練を行う。ＣＮＮ基盤インループフィルタ１５０は、量子化パラメータ（ＱＰ）により歪曲値が互いに異なり得る。ここで、ＣＮＮ基盤インループフィルタ１５０は、歪曲値区間ごとに訓練を行って効果的なフィルタリングを行うことができる。
符号化装置１００で符号化時に使用された歪曲値区間は、復号化装置２００で確認できる値であり、符号化装置１００は、符号化時に使用されたインデックスを復号化装置２００に送信しなくてもよい。ここで、符号化装置１００はオーバーヘッドが発生せず、符号化の効率を高めることができる。
歪曲値は、入力訓練映像６００及び復元訓練映像の差である。
符号化装置１００は、第Ｎ区間の歪曲値に属する復元訓練映像５００を生成する。符号化装置１００は、復元訓練映像５００をＣＮＮ基盤インループフィルタ１５０に送信する。
ＣＮＮ基盤インループフィルタ１５０は、復元訓練映像５００にフィルタリングを行って出力映像を生成して加算器に送信する。加算器は、出力映像及びオリジナル入力訓練映像６００を差分してＣＮＮ基盤インループフィルタ１５０に送信する。
ＣＮＮ基盤インループフィルタ１５０は、差分に基づいて隠れレイヤ１５２の加重値を調整する。例えば、ＣＮＮ基盤インループフィルタ１５０は、出力映像と入力訓練映像６００の差がないように加重値を調整し得る。ここで、ＣＮＮ基盤インループフィルタ１５０の加重値を補正するための学習は、バックプロパゲーション方法を用いてもよい。
復元訓練映像５００は残差映像であってもよい。残差映像は、残差映像に変換及び量子化を行い、再び逆量子化及び逆変換を行った映像である。
入力訓練映像６００は残差映像であってもよい。残差映像は、入力映像と復元映像を差分した映像である。復元映像は、インループフィルタリングが適用された映像であるか、又はインループフィルタリングが適用されていない映像である。
すなわち、ＣＮＮ基盤インループフィルタ１５０は、残差映像にフィルタリングを行って残差映像に近い出力映像を生成し得る。この場合、ＣＮＮ基盤インループフィルタ１５０は、図６に示されたＣＮＮ基盤インループフィルタ１５０ｅとして動作し得る。
また、ＣＮＮ基盤インループフィルタ１５０は、映像のスライスタイプごとにフィルタリングを行う。以下は、ＣＮＮ基盤インループフィルタ１５０がスライスタイプごとにフィルタリングを行う動作について説明する。
図１７は、一実施形態に係るＣＮＮ基盤インループフィルタの訓練方法を説明するための図面の一例である。
図１７を参照すると、ＣＮＮ基盤インループフィルタ１５０は、低い遅延構造（ｌｏｗ ｄｅｌａｙ ｃｏｎｆｉｇｕｒａｔｉｏｎ）の符号化又は復号化過程で複数の映像にフィルタリングを行う。
複数の映像のスライスタイプは、イントラスライス（ｉｎｔｒａ ｓｌｉｃｅ（Ｉ ｓｌｉｃｅ））、又は予測スライス（ｐｒｅｄｉｃｔｉｖｅ ｓｌｉｃｅ（Ｐ ｓｌｉｃｅ））であり得る。
イントラスライスの映像７００−１及び７００−Ｎは画面内予測を行う。予測スライスの映像７００−２〜７００−４は画面間予測を行う。
例えば、予測スライスの映像７００−２は、イントラスライスの映像７００−１を参照して映像を予測する。予測スライスの映像７００−３は、イントラスライスの映像７００−１及び予測スライスの映像７００−２を参照して映像を予測する。予測スライスの映像７００−４は、イントラスライスの映像７００−１及び予測スライスの映像７００−２〜７００−３を参照して映像を予測する。
ＣＮＮ基盤インループフィルタ１５０は、イントラスライスの映像７００−１及び７００−Ｎにフィルタリングを行い、歪曲の少ない映像を持続的に提供できる。ＣＮＮ基盤インループフィルタ１５０は、イントラスライスの映像７００−１及び７００−Ｎを周期的に提供できる。
図１８は、一実施形態に係るＣＮＮ基盤インループフィルタの適用方法を説明するための図面の他の例である。
図１８を参照すると、ＣＮＮ基盤インループフィルタ１５０は、低い遅延構造の符号化又は復号化過程で複数の映像８００−１〜８００−３、８００−５、及び８００−５に選択的にフィルタリングを行う。
複数の映像８００−１〜８００−３、８００−５、及び８００−５のスライスタイプは、イントラスライス（Ｉ ｓｌｉｃｅ）、又は予測スライス（Ｐ ｓｌｉｃｅ）である。
イントラスライスの映像８００−１は、画面内予測を行う。予測スライスの映像８００−２、８００−３、８００−５、及び８００−７は画面間予測を行う。
例えば、予測スライスの映像８００−２は、イントラスライスの映像８００−１を参照して映像を予測する。予測スライスの映像８００−３は、イントラスライスの映像７００−１及び予測スライスの映像８００−２を参照して映像を予測する。同じ原理で、予測スライスの映像８００−５及び８００−７は、以前のスライスの映像を参照して映像を予測する。
ＣＮＮ基盤インループフィルタ１５０は、イントラスライスの映像８００−１及び予測スライスの映像８００−３、８００−５、及び８００−７にフィルタリングを行い、歪曲の少ない映像を持続的に提供できる。ＣＮＮ基盤インループフィルタ１５０は、周期的又は選択的にフィルタリングを行って予測スライスの映像８００−３、８００−５、及び８００−７を提供できる。
ＣＮＮ基盤インループフィルタ１５０は、低い遅延構造下で選択的にフィルタリングを適用するだけではなく、一連の各入力スライスごとに、また、入力スライス内で符号化単位ブロックごとに（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ（ＣＴＵ））、又は符号化ブロックごとに（Ｃｏｄｉｎｇ Ｕｎｉｔ（ＣＵ））、又は指定された映像領域ごとに選択的に適用し得る。
図１９は、一実施形態に係るＣＮＮ基盤インループフィルタの適用方法を説明するための図面の他の例である。
図１９を参照すると、ＣＮＮ基盤インループフィルタ１５０は、全画面内の構造の符号化、又は復号化過程で複数の映像９００−１〜９００−Ｎにフィルタリングを行う。
複数の映像９００−１〜９００−Ｎのスライスタイプは、イントラスライス（Ｉ ｓｌｉｃｅ）であり得る。
イントラスライスの映像９００−１〜９００−Ｎは画面内予測を行う。すなわち、イントラスライスの映像９００−１〜９００−Ｎの歪曲値は他の映像に伝達されず、ＣＮＮ基盤インループフィルタ１５０は、全てのイントラスライスの映像９００−１〜９００−Ｎをフィルタリングして高画質の映像を提供することができる。
ＣＮＮ基盤インループフィルタ１５０は、低い遅延構造下で選択的にフィルタリングを適用するだけではなく、一連の各入力スライスごとに、また、入力スライス内で符号化単位ブロックごとに（ＣＴＵ）、又は符号化ブロックごとに（ＣＵ）、又は指定された映像領域ごとに選択的に適用し得る。
図２０は、一実施形態に係るＣＮＮ基盤インループフィルタの適用方法を説明するための図面の他の例であり、図２１は、一実施形態に係るＣＮＮ基盤インループフィルタの適用方法を説明するための図面の他の例である。
図２０及び図２１を参照すると、ＣＮＮ基盤インループフィルタ１５０は、階層的なＢ画面の構造（ｈｉｅｒａｒｃｈｉｃａｌ Ｂ−ｐｉｃｔｕｒｅ ｃｏｎｆｉｇｕｒａｔｉｏｎ）の符号化又は復号化過程で、複数の映像１０１０−１〜１０１０−３、１０２０−１〜１０２０−２、１０３０−１〜１０３０−４、１０４０−１〜１０４０−４にフィルタリングを行う。
階層的なＢ画面の構造は、第１階層ないし第４階層を含む。
第１階層映像１０１０−１〜１０１０−３のスライスタイプは、イントラスライス（Ｉ ｓｌｉｃｅ）又は予測スライス（Ｐ ｓｌｉｃｅ）であり得る。イントラスライスの映像１０１０−１〜１０１０−３は、画面内予測を行う。
第２階層ないし第４階層映像１０２０−１〜１０２０−２、１０３０−１〜１０３０−４、１０４０−１〜１０４０−４のスライスタイプは、両側の予測スライス（ｂｉ−ｐｒｅｄｉｃｔｉｖｅ ｓｌｉｃｅ（Ｂ ｓｌｉｃｅ））であり得る。両側の予測スライス（Ｂ ｓｌｉｃｅ）の映像１０２０−１〜１０２０−２、１０３０−１〜１０３０−４、１０４０−１〜１０４０−４は、下の階層の映像を参照して映像を予測する。ここで、両側の予測スライス（Ｂ ｓｌｉｃｅ）の映像１０２０−１〜１０２０−２、１０３０−１〜１０３０−４、１０４０−１〜１０４０−４は、下の階層が以前の映像（前）であっても、又は、以後の映像（後）であっても全て参照できる。例えば、第２階層の映像１０２０−１は、第１階層の映像１０１０−１及び１０１０−２を参照してもよい。第２階層の映像１０２０−２は、第１階層の映像１０１０−２及び１０１０−３を参照してもよい。
同じ原理で、第４階層の映像１０４０−１は第３階層の映像１０３０−１及び第１階層の映像１０１０−１を参照し、第４階層の映像１０４０−３は第２階層の映像１０２０−１及び第３階層の映像１０３０−２を参照してもよい。
ＣＮＮ基盤インループフィルタ１５０は、特定の階層を選択してフィルタリングを行う。一例として、ＣＮＮ基盤インループフィルタ１５０は、１階層の映像１０１０−１〜１０１０−３にフィルタリングを行ってもよい。
他の例として、ＣＮＮ基盤インループフィルタ１５０は、１階層の映像１０１０−１〜１０１０−３及び２階層の映像１０２０−１及び１０２０−２にフィルタリングを行ってもよい。ＣＮＮ基盤インループフィルタ１５０は、１階層の映像１０１０−１〜１０１０−３及び２階層の映像１０２０−１及び１０２０−２にフィルタリングを行う動作については図２０に示す通りである。
他の例として、ＣＮＮ基盤インループフィルタ１５０は、１階層の映像１１１０−１〜１１１０−３、２階層の映像１１２０−１及び１１２０−２、及び第３階層の映像１１３０−１〜１１３０−４にフィルタリングを行ってもよい。ＣＮＮ基盤インループフィルタ１５０は、１階層の映像１１１０−１〜１１１０−３、２階層の映像１１２０−１及び１１２０−２、及び第３階層の映像１１３０−１〜１１３０−４にフィルタリングを行う動作については図２１に示す通りである。
ＣＮＮ基盤インループフィルタ１５０は、低い遅延構造下で選択的にフィルタリングを適用するだけではなく、一連の各入力スライスごとに、また、入力スライス内で符号化単位ブロックごとに（ＣＴＵ）、又は符号化ブロックごとに（ＣＵ）、又は指定された映像領域ごとに選択的に適用し得る。
ＣＮＮ基盤インループフィルタ１５０は、映像内の特定領域にフィルタリングを適用する。例えば、ＣＮＮ基盤インループフィルタ１５０は、映像を複数の領域に分割し、複数の領域のうちの一部の領域だけを選択してフィルタリングを適用する。ここで、ＣＮＮ基盤インループフィルタ１５０は、一部の領域にフィルタリング適用の有無をシグナリングし得る。
また、ＣＮＮ基盤インループフィルタ１５０は、映像内の動きの量とテクスチャの複雑度のうち少なくとも１つに基づいてフィルタリングを適用し得る。
以上で前述した装置は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが把握する。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
ソフトウェアはコンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＹＩＪＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順で実行されるし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

Claims (30)

  1. オリジナル映像と予測映像との間の差に該当する残差映像をフィルタリングすることによってフィルタリング情報を生成するステップと、
    前記フィルタリング情報を逆フィルタリングすることによって逆フィルタリング情報を生成するステップと、
    前記逆フィルタリング情報をＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップと、
    前記復元情報と前記オリジナル映像に基づいたオリジナル情報の差を算出するステップと、
    前記差に基づいて前記ＣＮＮ基盤インループフィルタの加重値を補正するステップと、
    を含み、
    前記予測映像は、前記オリジナル映像と前記復元情報に基づいて生成される、
    ＣＮＮ基盤インループフィルタ学習方法。
  2. 前記フィルタリング情報を生成するステップは、
    前記残差映像を変換及び量子化することによってフィルタリング情報を生成するステップを含み、
    前記逆フィルタリング情報を生成するステップは、前記フィルタリング情報を逆量子化及び逆変換することによって逆フィルタリング情報を生成するステップを含む、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
  3. 前記フィルタリング情報を生成するステップは、量子化パラメータによる量子化区間に基づいて前記残差映像をフィルタリングするステップを含み、
    前記補正するステップは、前記量子化区間に対する加重値を補正するステップを含む、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
  4. 前記フィルタリング情報を生成するステップは、歪曲値による歪曲値区間に基づいて前記残差映像をフィルタリングするステップを含み、
    前記補正するステップは、前記歪曲値区間に対する加重値を補正するステップを含む、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
  5. 前記フィルタリング情報を生成するステップは、映像特性のテクスチャ複雑度区間に基づいて前記残差映像をフィルタリングするステップを含み、
    前記補正するステップは、前記テクスチャ複雑度区間に対する加重値を補正するステップを含む、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
  6. 前記フィルタリング情報を生成するステップは、映像特性の動き複雑度区間に基づいて前記残差映像をフィルタリングするステップを含み、
    前記補正するステップは、前記動き複雑度区間に対する加重値を補正するステップを含む、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
  7. 前記復元情報を生成するステップは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップを含み、
    前記復元情報は、前記オリジナル映像のような形式である、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
  8. 前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップは、前記予測情報にインループフィルタリングを行うステップを含む、請求項７に記載のＣＮＮ基盤インループフィルタ学習方法。
  9. 前記復元情報を生成するステップは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップを含み、
    前記復元情報は、前記残差映像のような形式である、請求項１に記載のＣＮＮ基盤インループフィルタ学習方法。
  10. 前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成するステップは、前記予測情報にインループフィルタリングを行うステップを含む、請求項９に記載のＣＮＮ基盤インループフィルタ学習方法。
  11. オリジナル映像と予測映像との間の差に該当する残差映像をフィルタリングすることによってフィルタリング情報を生成するフィルタリング部と、
    前記フィルタリング情報を逆フィルタリングすることによって逆フィルタリング情報を生成する逆フィルタリング部と、
    前記オリジナル映像と復元情報に基づいて前記予測映像を生成する予測部と、
    前記逆フィルタリング情報と前記予測映像が入力されて前記復元情報を出力するＣＮＮ基盤インループフィルタと、
    前記フィルタリング情報と前記予測映像の情報に基づいて符号化を行う符号化部と、
    を含む符号化装置。
  12. 前記フィルタリング部は、前記残差映像を変換及び量子化することによってフィルタリング情報を生成し、
    前記逆フィルタリング部は、前記フィルタリング情報を逆量子化及び逆変換することによって逆フィルタリング情報を生成する、請求項１１に記載の符号化装置。
  13. 前記復元情報は、前記オリジナル映像のような形式であり、
    前記ＣＮＮ基盤インループフィルタは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成する、請求項１１に記載の符号化装置。
  14. 前記予測情報にインループフィルタリングを行うインループフィルタをさらに含む、請求項１３に記載の符号化装置。
  15. 前記インループフィルタは、デブロックフィルタ（ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ（ＤＦ））、サンプル適応型オフセットフィルタ（ｓａｍｐｌｅ ａｄａｐｔｉｖｅ ｏｆｆｓｅｔ（ＳＡＯ）ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ａｄａｐｔｉｖｅ ｌｏｏｐ ｆｉｌｔｅｒ（ＡＬＦ））のうち少なくとも１つを含む、請求項１４に記載の符号化装置。
  16. 前記復元情報は、前記残差映像のような形式であり、
    前記ＣＮＮ基盤インループフィルタは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成する、請求項１１に記載の符号化装置。
  17. 前記予測情報にインループフィルタリングを行うインループフィルタをさらに含む、請求項１６に記載の符号化装置。
  18. 前記復元情報にインループフィルタリングを行うインループフィルタをさらに含む、請求項１１に記載の符号化装置。
  19. 符号化されたビットストリーム情報に復号化を行ってフィルタリング情報と予備予測情報を出力するエントロピー復号化部と、
    前記フィルタリング情報を逆フィルタリングすることによって逆フィルタリング情報を生成する逆フィルタリング部と、
    前記予備予測情報に基づいて予測映像を生成する予測部と、
    前記逆フィルタリング情報と前記予測映像が入力されて復元情報を出力するＣＮＮ基盤インループフィルタと、
    を含む、復号化装置。
  20. 前記復元情報は、前記オリジナル映像のような形式であり、
    前記ＣＮＮ基盤インループフィルタは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成する、請求項１９に記載の復号化装置。
  21. 前記逆フィルタリング情報にインループフィルタリングを行うインループフィルタをさらに含む、請求項２０に記載の復号化装置。
  22. 前記インループフィルタは、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含む、請求項２１に記載の復号化装置。
  23. 前記復元情報は、前記残差映像のような形式であり、
    前記ＣＮＮ基盤インループフィルタは、前記逆フィルタリング情報及び前記予測映像に基づいた予測情報を前記ＣＮＮ基盤インループフィルタに入力することによって復元情報を生成する、請求項１９に記載の復号化装置。
  24. 前記復元情報と前記予測映像を加えて最終復元情報を生成する加算器をさらに含む、請求項２３に記載の復号化装置。
  25. 前記逆フィルタリング情報にインループフィルタリングを行うインループフィルタをさらに含む、請求項２３に記載の復号化装置。
  26. 前記インループフィルタは、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含む、請求項２５に記載の復号化装置。
  27. 前記復元情報は、前記残差映像のような形式であり、
    前記ＣＮＮ基盤インループフィルタは、前記逆フィルタリング情報を前記ＣＮＮ基盤インループフィルタに入力することによって残差復元情報を生成する、請求項１９に記載の復号化装置。
  28. 前記残差復元情報と前記予測映像を加えて最終復元情報を生成する加算器をさらに含む、請求項２７に記載の復号化装置。
  29. 前記最終復元情報にインループフィルタリングを行うインループフィルタをさらに含む、請求項２８に記載の復号化装置。
  30. 前記インループフィルタは、デブロックフィルタ（ＤＦ）、サンプル適応型オフセットフィルタ（ＳＡＯ ｆｉｌｔｅｒ）、及び適応型ループフィルタ（ＡＬＦ）のうち少なくとも１つを含む、請求項２９に記載の復号化装置。
JP2018567746A 2016-06-24 2017-02-13 Ｃｎｎ基盤インループフィルタを含む符号化方法と装置及び復号化方法と装置 Active JP6761490B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2016-0079240 2016-06-24
KR20160079240 2016-06-24
KR1020170017959A KR101974261B1 (ko) 2016-06-24 2017-02-09 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치
KR10-2017-0017959 2017-02-09
PCT/KR2017/001512 WO2017222140A1 (ko) 2016-06-24 2017-02-13 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치

Publications (2)

Publication Number Publication Date
JP2019525544A true JP2019525544A (ja) 2019-09-05
JP6761490B2 JP6761490B2 (ja) 2020-09-23

Family

ID=60998313

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018567746A Active JP6761490B2 (ja) 2016-06-24 2017-02-13 Ｃｎｎ基盤インループフィルタを含む符号化方法と装置及び復号化方法と装置

Country Status (4)

Country Link
US (3) US11095887B2 (ja)
JP (1) JP6761490B2 (ja)
KR (1) KR101974261B1 (ja)
CN (1) CN109644268B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023517349A (ja) * 2020-12-16 2023-04-25 テンセント・アメリカ・エルエルシー ビデオコーディング方法及び装置
JP7411113B2 (ja) 2021-01-14 2024-01-10 テンセント・アメリカ・エルエルシー 品質入力を有するループフィルタのためのマスクされたニューラルネットワークによるモデル共有

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932697B (zh) * 2017-05-26 2020-01-17 杭州海康威视数字技术股份有限公司 一种失真图像的去失真方法、装置及电子设备
US11190784B2 (en) 2017-07-06 2021-11-30 Samsung Electronics Co., Ltd. Method for encoding/decoding image and device therefor
WO2019008752A1 (ja) * 2017-07-07 2019-01-10 三菱電機株式会社 データ処理装置、データ処理方法および圧縮データ
US10979718B2 (en) 2017-09-01 2021-04-13 Apple Inc. Machine learning video processing systems and methods
EP3725077A1 (en) * 2017-12-14 2020-10-21 InterDigital VC Holdings, Inc. Deep learning based image partitioning for video compression
WO2019143026A1 (ko) * 2018-01-16 2019-07-25 한국과학기술원 특징맵 압축을 이용한 이미지 처리 방법 및 장치
WO2019143027A1 (ko) * 2018-01-16 2019-07-25 한국과학기술원 이미지 파이프라인 처리 방법 및 장치
AU2018357828A1 (en) * 2018-01-16 2019-08-01 Korea Advanced Institute Of Science And Technology Method and apparatus for super-resolution using line unit operation
KR102017998B1 (ko) 2018-01-16 2019-09-03 한국과학기술원 이미지 파이프라인 처리 방법 및 장치
WO2019143025A1 (ko) * 2018-01-16 2019-07-25 한국과학기술원 라인 입력 및 출력을 이용한 이미지 처리 방법 및 장치
WO2019194425A1 (ko) * 2018-04-06 2019-10-10 에스케이텔레콤 주식회사 영상 부호화 또는 복호화에 인공 신경망을 적용하는 장치 및 방법
US11265540B2 (en) 2018-02-23 2022-03-01 Sk Telecom Co., Ltd. Apparatus and method for applying artificial neural network to image encoding or decoding
US20190289327A1 (en) * 2018-03-13 2019-09-19 Mediatek Inc. Method and Apparatus of Loop Filtering for VR360 Videos
US11393160B2 (en) * 2018-03-23 2022-07-19 Intel Corporation Deep geometric model fitting
WO2019194460A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 컨벌루션 뉴럴 네트워크를 이용한 영상 코딩 방법 및 그 장치
KR102067340B1 (ko) * 2018-07-16 2020-01-16 한국과학기술원 유방암 병변 특성에 따른 유방 종괴 생성 방법 및 그 시스템
US11720997B2 (en) 2018-10-19 2023-08-08 Samsung Electronics Co.. Ltd. Artificial intelligence (AI) encoding device and operating method thereof and AI decoding device and operating method thereof
WO2020080765A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
WO2020080873A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
KR20200044653A (ko) 2018-10-19 2020-04-29 삼성전자주식회사 딥 뉴럴 네트워크를 이용한 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
US11616988B2 (en) 2018-10-19 2023-03-28 Samsung Electronics Co., Ltd. Method and device for evaluating subjective quality of video
WO2020080827A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Ai encoding apparatus and operation method of the same, and ai decoding apparatus and operation method of the same
KR102525578B1 (ko) 2018-10-19 2023-04-26 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
WO2020080665A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
CN111105357B (zh) * 2018-10-25 2023-05-02 杭州海康威视数字技术股份有限公司 一种失真图像的去失真方法、装置及电子设备
KR102621118B1 (ko) * 2018-11-01 2024-01-04 삼성전자주식회사 영상 적응적 양자화 테이블을 이용한 영상의 부호화 장치 및 방법
KR102013777B1 (ko) 2018-12-12 2019-10-21 한국과학기술정보연구원 동영상 왜곡 복원 방법 및 이를 적용한 장치
KR102192980B1 (ko) * 2018-12-13 2020-12-18 주식회사 픽스트리 기계 학습 기반으로 파라미터를 학습하는 영상 처리 장치 및 동작 방법
KR102212442B1 (ko) * 2018-12-13 2021-02-04 주식회사 픽스트리 기계 학습 기반으로 파라미터를 학습하는 영상 처리 장치 및 동작 방법
CN109982092B (zh) * 2019-04-28 2022-11-01 华侨大学 基于多分支循环卷积神经网络的hevc帧间快速方法
JP7318314B2 (ja) 2019-05-30 2023-08-01 富士通株式会社 符号化プログラム、復号プログラム、符号化装置、復号装置、符号化方法及び復号方法
US11521074B2 (en) * 2019-05-31 2022-12-06 Carnegie Mellon University Flexible, lightweight quantized deep neural networks
US20220277491A1 (en) * 2019-05-31 2022-09-01 Electronics And Telecommunications Research Institute Method and device for machine learning-based image compression using global context
KR20210004702A (ko) * 2019-07-05 2021-01-13 삼성전자주식회사 Ai 프로세서 및 이의 신경망 연산 수행 방법
CN112422993B (zh) * 2019-08-21 2021-12-03 四川大学 一种结合卷积神经网络的hevc视频质量增强方法
CN110798690B (zh) * 2019-08-23 2021-12-21 腾讯科技（深圳）有限公司 视频解码方法、环路滤波模型的训练方法、装置和设备
KR102436512B1 (ko) 2019-10-29 2022-08-25 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR20210056179A (ko) 2019-11-08 2021-05-18 삼성전자주식회사 Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
WO2021101243A1 (en) * 2019-11-20 2021-05-27 Samsung Electronics Co., Ltd. Apparatus and method for using ai metadata related to image quality
KR20210074228A (ko) * 2019-12-11 2021-06-21 한국전자기술연구원 심층 신경망 모델의 부호화/복호화 방법 및 장치
US20210264239A1 (en) * 2020-02-20 2021-08-26 Tencent America LLC Method and apparatus for neural network optimized matrix-matrix multiplication (nnmm)
US11496775B2 (en) * 2020-02-20 2022-11-08 Tencent America LLC Neural network model compression with selective structured weight unification
KR102287942B1 (ko) 2020-02-24 2021-08-09 삼성전자주식회사 전처리를 이용한 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
CN111314698A (zh) * 2020-02-27 2020-06-19 浙江大华技术股份有限公司 一种图像编码处理方法及装置
KR20210127412A (ko) 2020-04-14 2021-10-22 삼성전자주식회사 Ai 다운스케일 장치 및 그 동작방법, 및 ai 업스케일 장치 및 그 동작방법
CN111741300B (zh) * 2020-05-28 2023-03-07 杭州师范大学 一种视频处理方法
CN113766249B (zh) * 2020-06-01 2022-05-13 腾讯科技（深圳）有限公司 视频编解码中的环路滤波方法、装置、设备及存储介质
US20230188713A1 (en) * 2020-06-04 2023-06-15 Interdigital Vc Holdings France, Sas Neural network based filter in video coding
US11334967B2 (en) * 2020-07-30 2022-05-17 Novatek Microelectronics Corp. Method and image processing device for generating image filter
CN112422989B (zh) * 2020-11-17 2023-06-09 杭州师范大学 一种视频编码方法
WO2022116165A1 (zh) * 2020-12-04 2022-06-09 深圳市大疆创新科技有限公司 视频编码方法、解码方法、编码器、解码器以及ai加速器
EP4064133A3 (en) * 2021-03-24 2022-12-28 Samsung Electronics Co., Ltd. Method for optimising a machine learning model for image processing
US20220383554A1 (en) 2021-05-18 2022-12-01 Tencent America LLC Substitutional quality factor learning for quality-adaptive neural network-based loop filter
CN113497941A (zh) * 2021-06-30 2021-10-12 浙江大华技术股份有限公司 图像滤波方法、编码方法及相关设备
WO2023022376A1 (ko) * 2021-08-17 2023-02-23 현대자동차주식회사 개선된 인루프 필터를 이용하는 비디오 코딩방법 및 장치
WO2023080464A1 (ko) * 2021-11-05 2023-05-11 삼성전자 주식회사 Ai 기반 필터링을 위한 영상 처리 방법 및 장치
CN115209147B (zh) * 2022-09-15 2022-12-27 深圳沛喆微电子有限公司 摄像头视频传输带宽优化方法、装置、设备及存储介质
CN117834864A (zh) * 2022-09-27 2024-04-05 中兴通讯股份有限公司 一种视频编解码环路滤波方法、视频解码方法及装置
CN117746045B (zh) * 2024-02-08 2024-05-28 江西师范大学 一种Transformer和卷积融合的医学图像分割方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05191796A (ja) * 1992-01-10 1993-07-30 Sharp Corp ブロック歪補正器
US20090034622A1 (en) * 2007-08-01 2009-02-05 Her Majesty The Queen In Right Of Canada Represented By The Minister Of Industry Learning Filters For Enhancing The Quality Of Block Coded Still And Video Images
US20160162782A1 (en) * 2014-12-09 2016-06-09 Samsung Electronics Co., Ltd. Convolution neural network training apparatus and method thereof

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5825646A (en) * 1993-03-02 1998-10-20 Pavilion Technologies, Inc. Method and apparatus for determining the sensitivity of inputs to a neural network on output parameters
US5461699A (en) * 1993-10-25 1995-10-24 International Business Machines Corporation Forecasting using a neural network and a statistical forecast
JP5345139B2 (ja) * 2007-06-08 2013-11-20 トムソン ライセンシング 多格子スパース性ベースのフィルタリングに基づくインループ・アーチファクト解除フィルタリングのための方法及び装置
JP2009111691A (ja) * 2007-10-30 2009-05-21 Hitachi Ltd 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法
WO2009126299A1 (en) 2008-04-11 2009-10-15 Thomson Licensing Deblocking filtering for displaced intra prediction and template matching
US8311111B2 (en) * 2008-09-11 2012-11-13 Google Inc. System and method for decoding using parallel processing
US9479786B2 (en) * 2008-09-26 2016-10-25 Dolby Laboratories Licensing Corporation Complexity allocation for video and image coding applications
EP2192786A1 (en) * 2008-11-27 2010-06-02 Panasonic Corporation Frequency domain filters for video coding
JP5597968B2 (ja) 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US20120320973A1 (en) * 2010-03-09 2012-12-20 Thomson Licensing Methods and apparatus for a classification-based loop filter
US9015093B1 (en) * 2010-10-26 2015-04-21 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
EP2693750A4 (en) * 2011-03-30 2016-09-28 Lg Electronics Inc IN-LOOP FILTER PROCESS AND DEVICE THEREFOR
US9008180B2 (en) * 2011-04-21 2015-04-14 Intellectual Discovery Co., Ltd. Method and apparatus for encoding/decoding images using a prediction method adopting in-loop filtering
JP6359101B2 (ja) 2013-10-14 2018-07-18 マイクロソフト テクノロジー ライセンシング，エルエルシー ビデオ及び画像の符号化及び復号のためのイントラブロックコピー予測モードの特徴
KR101768865B1 (ko) 2014-06-19 2017-08-18 에스케이텔레콤 주식회사 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
KR102276854B1 (ko) 2014-07-31 2021-07-13 삼성전자주식회사 인루프 필터 파라미터 예측을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US9563825B2 (en) * 2014-11-20 2017-02-07 Adobe Systems Incorporated Convolutional neural network using a binarized convolution layer
CN104811276B (zh) * 2015-05-04 2018-04-03 东南大学 一种超奈奎斯特速率通信的dl‑cnn解调器
CN105611303B (zh) * 2016-03-07 2019-04-09 京东方科技集团股份有限公司 图像压缩系统、解压缩系统、训练方法和装置、显示装置
US11024009B2 (en) * 2016-09-15 2021-06-01 Twitter, Inc. Super resolution using a generative adversarial network

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05191796A (ja) * 1992-01-10 1993-07-30 Sharp Corp ブロック歪補正器
US20090034622A1 (en) * 2007-08-01 2009-02-05 Her Majesty The Queen In Right Of Canada Represented By The Minister Of Industry Learning Filters For Enhancing The Quality Of Block Coded Still And Video Images
US20160162782A1 (en) * 2014-12-09 2016-06-09 Samsung Electronics Co., Ltd. Convolution neural network training apparatus and method thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
RONGQUN LIN ET AL.: "Deep Convolutional Neural Network for Decompressed Video Enhancement", PROCEEDINGS OF 2016 DATA COMPRESSION CONFERENCE (DCC), JPN6019050287, 30 March 2016 (2016-03-30), pages 617, XP033027777, ISSN: 0004180475, DOI: 10.1109/DCC.2016.83 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023517349A (ja) * 2020-12-16 2023-04-25 テンセント・アメリカ・エルエルシー ビデオコーディング方法及び装置
JP7403747B2 (ja) 2020-12-16 2023-12-25 テンセント・アメリカ・エルエルシー ビデオコーディング方法及び装置
JP7411113B2 (ja) 2021-01-14 2024-01-10 テンセント・アメリカ・エルエルシー 品質入力を有するループフィルタのためのマスクされたニューラルネットワークによるモデル共有

Also Published As

Publication number Publication date
KR20180001428A (ko) 2018-01-04
CN109644268B (zh) 2022-03-08
US11627316B2 (en) 2023-04-11
CN109644268A (zh) 2019-04-16
KR101974261B1 (ko) 2019-04-30
US20190230354A1 (en) 2019-07-25
US11095887B2 (en) 2021-08-17
US20210344916A1 (en) 2021-11-04
JP6761490B2 (ja) 2020-09-23
US20230134212A1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
JP2019525544A (ja) Ｃｎｎ基盤インループフィルタを含む符号化方法と装置及び復号化方法と装置
KR102165340B1 (ko) 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치
JP6053220B2 (ja) イントラ予測符号化方法、イントラ予測復号方法、イントラ予測符号化装置、イントラ予測復号装置、それらのプログラム並びにプログラムを記録した記録媒体
JP7343669B2 (ja) Ｖｖｃにおける色変換のための方法及び機器
JP7362877B2 (ja) イントラ予測モードとブロック差分パルスコード変調モードとの間の相互作用のための方法および装置
JP2022526400A (ja) ビデオコーディングのための方法および装置
JP7297918B2 (ja) ビデオ符号化のための色変換
JP7434588B2 (ja) ビデオ・フィルタリングのための方法および装置
JP2023508686A (ja) ビデオ符号化のための方法並びに、その装置、及びコンピュータプログラム
KR20220003631A (ko) 서브-파티션들의 병렬 양방향 인트라-코딩
KR102276914B1 (ko) 비디오 인코딩 장치 그리고 이의 구동 방법
JP2023513772A (ja) ビデオコーディングのための方法、装置およびコンピュータプログラム
JP2023515931A (ja) ビデオコーディングのための方法および装置
JP6454229B2 (ja) 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP2021527362A (ja) イントラ予測のための方法及び装置
WO2022269469A1 (en) Method, apparatus and computer program product for federated learning for non independent and non identically distributed data
JP6030989B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、それらのプログラム並びにプログラムを記録した記録媒体
JP7408834B2 (ja) ビデオフィルタリングのための方法および装置
JP7443527B2 (ja) ビデオコーディングのための方法、装置及びプログラム
JP7403747B2 (ja) ビデオコーディング方法及び装置
KR102017027B1 (ko) 고속 영상 부호화 방법 및 장치
KR102668253B1 (ko) 비트레이트 감소를 위한 비디오 스트림 적응형 필터링
KR20230003566A (ko) 포스트 필터링에 의한 신경 이미지 압축에서의 블록별 컨텐츠-적응적 온라인 훈련
Piljić Just-in-time video transcoding system on heterogeneous high performance computing architectures
JP5728330B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200904

R150 Certificate of patent or registration of utility model

Ref document number: 6761490

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250