JP2017509188A - ブロッキングアーチファクトの可視性を減少させるためのビデオ信号処理方法および装置 - Google Patents

ブロッキングアーチファクトの可視性を減少させるためのビデオ信号処理方法および装置 Download PDF

Info

Publication number
JP2017509188A
JP2017509188A JP2016544118A JP2016544118A JP2017509188A JP 2017509188 A JP2017509188 A JP 2017509188A JP 2016544118 A JP2016544118 A JP 2016544118A JP 2016544118 A JP2016544118 A JP 2016544118A JP 2017509188 A JP2017509188 A JP 2017509188A
Authority
JP
Japan
Prior art keywords
frame
shift information
video signal
random shift
extended
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016544118A
Other languages
English (en)
Inventor
セッド アミール
セッド アミール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2017509188A publication Critical patent/JP2017509188A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

原フレーム（original frame）を有する映像信号を受信するステップと、原フレームの相対位置を導出するために使用されるランダムシフト情報を生成するステップと、生成されたランダムシフト情報を利用して拡張フレーム内の原フレームを複写するステップと、拡張フレームおよびランダムシフト情報をエンコードするステップとを有し、映像信号に有されるフレームの境界は、ランダムシフト情報に基づいてそれぞれのフレームに対して変わる映像信号を処理する方法が本発明において開示される。【選択図】図８

Description

本発明は、ビデオ信号（video signal）の処理方法および装置に関し、特に、ブロッキングアーチファクト（blocking artifacts）の可視性（visibility）を減少させるための技術に関する。
ビデオ圧縮は、計算を要する応用アプリケーションであるが、安価な消費者デバイス内でサポート（支援）される（supported）必要がある。したがって、管理可能な水準の計算の複雑度を維持するために、ビデオコーディングのいくつかのステップは、比較的小さい正方形ブロック内で共にグループ化されたピクセルのセット上で独立して動作する。このようなアプローチ（approach）は、既存のコーデックにおいて採択されており、引き続き利用されている。
しかし、このようなコーディングの短所は、隣接するブロックで復元する際、不連続、いわゆる、ブロッキングアーチファクトを招くという点である。そのようなアーチファクトは、目に見える傾向があり、復元されたビデオの主観的画質を相当低減させる（reduce）。
もちろん、デブロッキングフィルタを介してアーチファクトの可視性（visibility）を低減することができるが、より多くの帯域幅が必要とされるなかで完全に除去され得ない新しいアーチファクトの生成を招くという傾向がある。例えば、過度なフィルタリングは解像度を低減させ、ディテールがなくなってしまう（obviates details）。そして、このような新しいアーチファクトは、依然として視覚的に見えるようになり、復元のクオリティを低減させる。
隣接ブロックにおける復元の際、ブロッキングアーチファクトが発生して、復元されたビデオの主観的画質を相当低減させるという問題がある。
デブロッキングフィルタリングを行うとき、新たなアーチファクトの生成を招くという問題がある。
過度なフィルタリングは解像度を低減させ、イメージのディテールがなくなるという問題がある。
本発明は、ブロッキングアーチファクトの可視性を低減させる方法を提供する。
また、本発明は、ランダムシフト情報（random shift information）を利用してフレームを拡張する方法を提供する。
また、本発明は、ランダムシフト情報を利用して拡張フレーム（拡張されたフレーム）（extended frame）からターゲットフレームを取得する方法を提案する。
また、本発明は、ランダムシフト情報をコーディングして送信する方法を提供する。
また、本発明は、ビデオ信号の主観的画質を向上させる方法を提供する。
本発明の一実施形態によれば、原フレーム（original frame）を有する映像信号（ビデオ信号）（video signal）を受信するステップと、原フレームの相対位置を導出する（導く）（derive）ために使用されるランダムシフト情報を生成するステップと、生成されたランダムシフト情報を利用して拡張フレーム内の原フレームを複写するステップと、拡張フレームおよびランダムシフト情報をエンコードするステップと、を有する、映像信号を処理する方法が本発明において提供される。映像信号に有されるフレームの境界は、ランダムシフト情報に基づいてそれぞれのフレームに対して変わる。
ランダムシフト情報は、それぞれのフレームに対して水平方向に（horizontally）および／又は垂直方向に（vertically）生成される。
拡張フレームは、原フレームのそれぞれの次元で少なくとも１つのブロックサイズ（１つのブロックサイズまたはそれ以上）（one block size or more）により拡張される。
ランダムシフト情報は、スライスヘッダ内に挿入される。
本発明の他の態様によれば、拡張フレームおよびランダムシフト情報を有する映像信号（ビデオ信号）（video signal）を受信するステップと、ターゲットフレームを有する拡張フレームおよびランダムシフト情報をデコードするステップと、拡張フレームおよびランダムシフト情報を出力するステップと、を有する、映像信号を処理する方法が本発明において提供される。ターゲットフレームは、ランダムシフト情報に基づいて、拡張フレームからクロップ（クロッピング）された（cropped）原フレームサイズを有するフレームを指示する。
ランダムシフト情報は、ターゲットフレームの位置を水平方向に（horizontally）および／又は垂直方向に（vertically）導出するために使用される。
拡張フレームは、ターゲットフレームのそれぞれの次元で少なくとも１つのブロックサイズ（１つのブロックサイズまたはそれ以上）（one block size or more）により拡張される。
ランダムシフト情報は、映像信号のスライスヘッダから抽出される。
本発明のさらに他の態様によれば、原フレーム（original frame）を有する映像信号（video signal）を受信し、原フレームの相対位置を導出する（derive）ために使用されるランダムシフト情報を生成し、生成されたランダムシフト情報を利用して拡張フレーム内の原フレームを複写するように構成されるフレーム拡張部と、拡張フレームおよびランダムシフト情報をエンコードするように構成されるエンコーダと、を備える、映像信号を処理するための装置が本発明において提供される。映像信号に有されるフレームの境界は、ランダムシフト情報に基づいてそれぞれのフレームに対して変わる。
ランダムシフト情報は、それぞれのフレームに対して水平方向に（horizontally）および／又は垂直方向に（vertically）生成される。
拡張フレームは、原フレームのそれぞれの次元で少なくとも１つのブロックサイズ（１つのブロックサイズまたはそれ以上）（one block size or more）により拡張される。
ランダムシフト情報は、スライスヘッダ内に挿入される。
本発明のさらに他の態様によれば、映像信号（video signal）をデコードするためのデコーダが本発明において提供され、デコーダは、拡張フレームおよびランダムシフト情報を有する映像信号を受信し、ターゲットフレームを有する拡張フレームおよびランダムシフト情報をデコードし、拡張フレームおよびランダムシフト情報を出力するように構成される。ターゲットフレームは、ランダムシフト情報に基づいて、拡張フレームからクロップされた（cropped）原フレームサイズを有するフレームを指示する。
ランダムシフト情報は、ターゲットフレームの位置を水平方向に（horizontally）および／又は垂直方向に（vertically）導出するために使用される。
拡張フレームは、ターゲットフレームのそれぞれの次元で少なくとも１つのブロックサイズ（１つのブロックサイズまたはそれ以上）（one block size or more）により拡張される。
ランダムシフト情報は、映像信号のスライスヘッダから抽出される。
本発明は、ランダムシフト情報を利用してフレームを拡張し、拡張フレームからターゲットフレームを取得することにより、ブロッキングアーチファクトの可視性を低減させることができる。ブロッキングアーチファクトの可視性を低減させることにより、ビデオ信号の主観的画質を向上させることができる。
また、拡張フレームから取得されたそれぞれのターゲットフレームの他の位置にブロッキングアーチファクトが現れる（appear）ことにより、ブロッキングアーチファクトの可視性を低減させることができる。
また、本発明は、シンプルな方法および極めて少ないコスト（費用）（costs）でビデオ信号の画質を向上させることができ、低いビットレートでより向上した画質を取得できる。
本発明が適用される実施形態であって、エンコーダを含むビデオ信号処理装置の概略ブロック図である。 本発明が適用される実施形態であって、デコーダを含むビデオ信号処理装置の概略ブロック図である。 本発明が適用される実施形態であって、固定されたブロック境界を有する拡張フレームのブロック構造を示す図である。 本発明が適用される実施形態であって、ランダムシフト情報により変更されたブロック境界を有する拡張フレームのブロック構造を示す図である。 本発明が適用される実施形態であって、互いに異なるランダムシフト情報に応じて拡張フレームを比較するためのブロック構造を示す図である。 本発明が適用される実施形態であって、互いに異なるランダムシフト情報に応じて拡張フレームの垂直ブロック境界を比較するためのブロック構造を示す図である。 本発明が適用される実施形態であって、互いに異なるランダムシフト情報に応じて拡張フレームの水平ブロック境界を比較するためのブロック構造を示す図である。 本発明が適用される実施形態であって、ランダムシフト情報を利用してビデオ信号を処理する過程を説明するフローチャートである。 本発明が適用される実施形態であって、既存の方式でコーディングされたイメージ（ａ）と本発明が適用されたイメージ（ｂ）とを比較するためのテストイメージを示す図である。 本発明が適用される実施形態であって、ランダムシフト情報により、拡張フレームに基づいてビデオ信号を処理するエンコーダの概略ブロック図である。 本発明が適用される実施形態であって、ランダムシフト情報により、拡張フレームに基づいてビデオ信号を処理するデコーダの概略ブロック図である。 本発明が適用される実施形態であって、ランダムシフト情報により、拡張フレームに基づいてビデオ信号を処理するエンコーダの概略ブロック図である。 本発明が適用される実施形態であって、ランダムシフト情報により、拡張フレームに基づいてビデオ信号を処理するデコーダの概略ブロック図である。
以下、添付された図面を参照して本発明の実施形態の構成およびその作用を説明し、図面により説明される本発明の構成および作用は、１つの実施形態として説明されるものであり、これにより、本発明の技術的思想とその核心構成および作用とが制限されるものではない。
また、本発明において使用される用語は、なるべく現在広く使用される一般的な用語を選択したが、特定の場合、出願人が任意に選定した用語を使用して説明する。そのような場合には、該当部分の詳細説明においてその意味を明確に記載するので、本発明の説明において使用された用語の名称だけで単純に解析されてはならず、その該当用語の意味まで把握して解析されなければならないことを明かにしておく。
なお、本発明において使用される用語は、発明を説明するために選択された一般的な用語であるが、類似した意味を有する他の用語がある場合、より適切な解析のために代替可能であろう。例えば、信号、データ、サンプル、ピクチャ、フレーム、ブロックなどの場合、各コーディング過程で適宜代替されて解析され得るであろう。
ブロッキングアーチファクトを除去する際の基本的な問題は、それを除去することにより生じるアーチファクトが、動く物体を有するイメージに関して停止したままで残っており、容易に認識されるという点である。したがって、本発明では、無視できる程度の複雑度の増加で、停止したまま残っているアーチファクトを除去することができ、特に、より高いフレームレートにおいてアーチファクトがあまり見えないようにする技術を提案しようとする。
また、新しいビデオコンテンツは、増加する高い解像度とともに、ビデオフレームレートの増加も要求している。いくつかの新しい映画は、４８フレーム／秒で製作され、いくつかのＴＶは、６０フレーム／秒で録画されている。このようなフレームレートのコンテンツは、人間の視力の視覚応答限界（visibility response limit of the human sight）に至っており、このようなコンテンツ映像をより高い画質で視聴するために、本発明では、様々な実施形態を提供しようとする。
図１および図２は、本発明が適用される実施形態であって、それぞれエンコーダおよびデコーダを含むビデオ信号処理装置の概略ブロック図を示す。
上記図１に示すように、本発明が適用されるビデオ信号処理装置は、フレーム拡張部１０１およびエンコーダ１００を備えることができる。
上記フレーム拡張部１０１は、原フレーム（original frame）を含むビデオ信号を受信できる。上記フレーム拡張部１０１は、上記原フレームを拡張することにより、拡張フレーム（extended frame）を生成できる。このとき、上記原フレームを拡張するためのシフト情報（shift information）を利用できる。
上記シフト情報は、ターゲットフレームの相対位置を取得するために利用される情報を意味することができ、水平シフト情報（horizontal shift information）および垂直シフト情報（vertical shift information）を含むことができる。そして、上記シフト情報は、各フレーム毎にランダムに生成されることができ、以下では、これをランダムシフト情報（random shift information）という。
上記ターゲットフレームは、上記ビデオ信号処理装置により最終的に出力されるフレームを意味できる。または、上記ターゲットフレームは、上記拡張フレームからクロップされたフレームを意味できる。
上記エンコーダ１００は、上記フレーム拡張部１０１から拡張フレームおよびシフト情報を受信できる。そして、上記受信された拡張フレームおよびシフト情報をエンコードして出力することができる。
上記図２に示すように、本発明が適用されるビデオ信号処理装置は、デコーダ２００およびフレーム処理部２０１を備えることができる。
上記デコーダ２００は、拡張フレームおよびシフト情報を含むビットストリームを受信できる。上記デコーダ２００は、上記拡張フレームおよびシフト情報をデコードして上記フレーム処理部２０１に送信することができる。
上記フレーム処理部２０１は、上記シフト情報を利用して、上記拡張フレームからターゲットフレームを取得できる。上記ターゲットフレームは、上記拡張フレームから上記シフト情報の分だけクロップすることにより取得することができる。
上記ターゲットフレームの各々は、異なる（別の）（different）シフト情報に基づいて取得されることができ、それにより、上記ターゲットフレームの各々は、互いに異なるブロック境界を有することができる。
上記のように、互いに異なるブロック境界を有するフレームを連続的に出力することにより、ブロッキングアーチファクトの可視性を低減させることができる。
図３は、本発明が適用される実施形態であって、固定されたブロック境界を有する拡張フレームのブロック構造を示す。
上記図３に示すように、白色領域は原フレームを示し、斜線を引いた領域はフレーム拡張領域を示す。上記図３の拡張フレームは、原フレームのブロック境界と同様に、固定されたブロック境界を有することができる。すなわち、上記拡張フレームのブロック境界は、上記原フレームのブロック境界と同様である。
したがって、拡張フレームに基づいてコーディングするとしても、上記拡張フレームは、固定されたブロック境界を有するので、ブロッキングアーチファクトの可視性を低減させることができなくなる。これを改善するための方法として、フレーム毎に互いに異なるブロック境界を有する拡張フレームを用いる必要がある。
図４は、本発明が適用される実施形態であって、ランダムシフト情報により変更されたブロック境界を有する拡張フレームのブロック構造を示す。
上記図４に示すように、白色領域は原フレームを示し、斜線を引いた領域はフレーム拡張領域を示す。本発明が適用される拡張フレームは、各次元（each dimension）に少なくとも１つ以上のブロックサイズ分だけ拡張されることができる。例えば、上記拡張フレームは、水平および／又は垂直方向にランダムに決定されたシフト情報の分だけ拡張されることができる。すなわち、原フレームをフレームバッファに複写するとき、各フレーム毎に異なるランダムシフト情報が利用され得る。
上記図４に示すように、上記拡張フレームは、上記原フレームから垂直方向にＳv分だけ拡張され、水平方向にＳh分だけ拡張された。したがって、原フレームは、実質的にシフト情報分だけ移動されたブロック境界を有する。
このような原理にしたがい、それぞれのフレーム毎に別の（separate）ランダムシフト情報分だけフレームを拡張する場合、上記それぞれのフレームは、互いに異なるブロック境界を有する。つまり、これを復元する場合、同じ位置で互いに異なるブロック境界を出力することにより、ブロッキングアーチファクトの可視性を低減させることができる。
以下、図５〜図７では、フレーム毎に互いに異なるランダムシフト情報を利用することにより、垂直、水平方向にブロック境界が異なるターゲットフレームを比較する実施形態を説明する。
図５は、本発明が適用される実施形態であって、互いに異なるランダムシフト情報に応じて拡張フレームを比較するためのブロック構造を示す。
上記図５に示すように、白色領域は原フレームを示し、斜線を引いた領域はフレーム拡張領域を示す。上記図５では、Ｎ番目のフレームとＮ＋１番目のフレームに対してそれぞれ互いに異なるシフト情報が適用された場合を説明する。
まず、Ｎ番目の拡張フレームは、Ｎ番目の原フレームから垂直方向にＳv（ｎ）分だけ拡張され、水平方向にＳh（ｎ）分だけ拡張された。ここで、上記Ｓv（ｎ）は、Ｎ番目のフレームの垂直シフト情報を示し、Ｓh（ｎ）は、Ｎ番目のフレームの水平シフト情報を示す。
ここで、上記Ｎ番目のフレームの垂直シフト情報と上記Ｎ番目のフレームの水平シフト情報とは、ランダムに決定されることができ、互いに同じ値であるか、異なる値を有することができる。
また、Ｎ＋１番目の拡張フレームは、Ｎ＋１番目の原フレームから垂直方向にＳv（ｎ＋１）分だけ拡張され、水平方向にＳh（ｎ＋１）分だけ拡張された。ここで、上記Ｓv（ｎ＋１）は、Ｎ＋１番目のフレームの垂直シフト情報を示し、Ｓh（ｎ＋１）は、Ｎ＋１番目のフレームの水平シフト情報を示す。
同様に、上記Ｎ＋１番目のフレームの垂直シフト情報と上記Ｎ＋１番目のフレームの水平シフト情報とは、ランダムに決定されることができ、互いに同じ値であるか、異なる値を有することができる。
また、上記Ｎ番目のフレームの垂直、水平シフト情報と上記Ｎ＋１番目のフレームの垂直、水平シフト情報もランダムに決定されるものであるから、場合によって、互いに同じ値であるか、異なる値を有することができる。
そして、上記Ｎ番目の拡張フレームからクロップされた領域をＮ番目のターゲットフレームとして定義することができ、上記Ｎ＋１番目の拡張フレームからクロップされた領域をＮ＋１番目のターゲットフレームとして定義することができる。
図６および図７は、本発明が適用される実施形態であって、互いに異なるランダムシフト情報に応じて拡張フレームの垂直ブロック境界および水平ブロック境界を比較するためのブロック構造を示す。
上記図６は、Ｎ番目の拡張フレームからクロップされたＮ番目のターゲットフレームとＮ＋１番目の拡張フレームからクロップされたＮ＋１番目のターゲットフレームとのブロック構造および垂直ブロック境界を図示する。
左側から１番目の点線は、Ｎ＋１番目のターゲットフレームの垂直ブロック境界を示し、左側から２番目の点線は、Ｎ番目のターゲットフレームの垂直ブロック境界を示す。
すなわち、互いに異なるランダムシフト情報を適用することにより、出力されたターゲットフレームの垂直ブロック境界が異なることを確認することができる。
上記図７は、Ｎ番目の拡張フレームからクロップされたＮ番目のターゲットフレームとＮ＋１番目の拡張フレームからクロップされたＮ＋１番目のターゲットフレームとのブロック構造および水平ブロック境界を図示する。
上から１番目の点線は、Ｎ番目のターゲットフレームの水平ブロック境界を示し、上から２番目の点線は、Ｎ番目のターゲットフレームの水平ブロック境界を示す。
すなわち、互いに異なるランダムシフト情報を適用することにより、出力されたターゲットフレームの水平ブロック境界が異なることを確認することができる。
このように互いに異なるブロック境界を有するターゲットフレームを連続的に出力することにより、ブロッキングアーチファクトの可視性を低減させることができる。
図８は、本発明が適用される実施形態であって、ランダムシフト情報を利用してビデオ信号を処理する過程を説明するフローチャートを示す。
ビデオ信号処理装置は、原フレームを含むビデオ信号を受信できる（Ｓ８１０）。上記ビデオ信号処理装置は、コーディング効率を上げるために、上記原フレームを拡張できる。このとき、拡張フレームから上記原フレームの相対位置（relative position）を導出するために利用されるランダムシフト情報を生成できる（Ｓ８２０）。ここで、上記ランダムシフト情報は、垂直シフト情報および水平シフト情報のうち、少なくとも１つを含むことができる。また、上記ランダムシフト情報は、シーケンスパラメータ、ピクチャパラメータ、スライスヘッダ、またはＳＥＩ（Supplemental Enhancement Information）のうち、少なくとも１つに含まれることができる。
上記ランダムシフト情報を利用して、上記拡張フレーム内の上記原フレームを複写できる（Ｓ８３０）。
上記ビデオ信号処理装置は、上記拡張フレームと上記ランダムシフト情報とをエンコードしてビットストリームを生成できる（Ｓ８４０）。このように生成されたビットストリームは、他の装置に送信されることができる。
他の実施形態として、上記ランダムシフト情報はエンコードされず、上記図１のフレーム拡張部１０１から直接（directly）上記図２のデコーダ２００またはフレーム処理部２０１に送信されることもできる。
図９は、本発明が適用される実施形態であって、既存の方式でコーディングされたイメージ（ａ）と本発明が適用されたイメージ（ｂ）とを比較するためのテストイメージを示す。
図９（ａ）は、既存の方式でコーディングされたイメージを示し、図９（ｂ）は、本発明が適用されたイメージを示す。上記図９（ｂ）では、４枚のＪＰＥＧコーディングされたイメージに対してランダムシフト情報を利用してシフトさせた後、４枚のイメージを平均して示したものである。
上記図９（ａ）と図９（ｂ）とを比較すると、上記図９（ｂ）においてより向上した画質を確認できる。
図１０〜図１３は、本発明が適用される実施形態であって、ランダムシフト情報により、拡張フレームに基づいてビデオ信号を処理するエンコーダおよびデコーダの概略ブロック図を示す。
本発明は、映像信号をエンコードするか、またはデコードする課程で、シフト情報を要求するエンコーダ部およびデコーダ部に適用されることができる。
図１０は、本発明が適用される一実施形態により、映像信号に対してエンコードが行われるエンコーダの概略ブロック図である。
図１０に示すように、上記エンコーダ１００は、変換部１２０、量子化部１２５、逆量子化部１３０、逆変換部１３５、フィルタリング部１４０、デコードされたピクチャバッファ部（ＤＰＢ：Decoded Picture Buffer、１５０）、インター予測部１６０、イントラ予測部１６５、およびエントロピエンコード部１７０を備える。
上記エンコーダ１００は、映像信号を受信し、そして、上記入力映像信号から上記インター予測部１６０または上記イントラ予測部１６５により出力された予測信号を引いて残差信号（residual signal）（予測誤差）を生成する。このような場合において、上記映像信号は、拡張フレームを含み、上記拡張フレームは、原映像信号（original video signal）からシフト情報により拡張されている。
上記生成された残差信号（予測誤差）は、上記変換部１２０に送信され、そして、上記変換部１２０は、変換方式（transform scheme）を上記残差信号（予測誤差）に適用して変換係数を生成する。
上記量子化部１２５は、上記生成された変換係数を量子化し、そして、上記量子化された係数を上記エントロピエンコード部１７０に送信する。上記エントロピエンコード部１７０は、上記量子化された信号に対してエントロピコーディングを行い、そして、その結果の信号（the resulting signal）（残差信号）を出力する。
このような圧縮過程において、隣接ブロックが他の量子化パラメータにより量子化されるので、ブロック境界が現れるアーチファクトが発生できる。
このような現状は、ブロッキングアーチファクトと呼ばれ、これは、人々がピクチャ品質を評価するのに利用され得る要素のうちの１つである。
上記フィルタリング部１４０は、上記復元された信号にフィルタリングを適用し、そして、上記フィルタリングされた信号を再生機器に出力するか、または上記フィルタリングされた信号を上記ＤＰＢ部１５０に送信する。
上記ＤＰＢ部１５０は、上記インター予測部１６０内の参照フレームとして上記フィルタリングされたフレームを用いるために、上記フィルタリングされたフレームを格納することができる。
上記インター予測部１６０は、時間冗長（重複）性（redundancy）および／又は空間冗長性を除去するために、復元されたピクチャを参照して時間予測および／又は空間予測を行う。このような場合において、予測を行うのに用いられる参照ピクチャは、上記参照ピクチャが以前にコーディングされるか、またはデコードされた場合、上記参照ピクチャがブロック内で量子化されたか、または逆量子化された信号であるため、ブロッキングアーチファクトまたはリンギング（ringing）アーチファクトを含むことができる。
上記イントラ予測部１６５は、これからコーディングされるブロックおよび隣接しているサンプルを参照して現在ブロックを予測する。
図１１は、本発明が適用される実施形態において映像信号をデコードするように構成されるデコーダの概略ブロック図を示す。
図１１のデコーダ２００は、エントロピデコード部２１０、逆量子化部２２０、逆変換部２２５、フィルタリング部２３０、ＤＰＢ部２４０、インター予測部２５０、およびイントラ予測部２５５を備える。
上記デコーダ２００は、図１０の上記エンコーダ１００により出力される信号を受信する。このような場合において、上記出力信号は、拡張フレームを含むことができ、そして、シフト情報をさらに含むことができる。
上記受信された信号は、上記エントロピデコード部２１０を介してエントロピデコードの対象となる。上記逆量子化部２２０は、量子化ステップサイズに関する情報を利用して上記エントロピデコードされた信号から変換係数を取得する。上記逆変換部２２５は、上記変換係数を逆変換して差信号（difference signal）を取得する。復元信号は、上記取得された差信号に上記インター予測部２５０または上記イントラ予測部２５５により出力された予測信号を付加して生成される。
上記フィルタリング部２３０は、上記復元信号にフィルタリングを適用し、そして、上記フィルタリングされた信号を上記再生機器または上記ＤＰＢ部２４０に出力する。上記ＤＰＢ部２４０により送信された上記フィルタリングされた信号は、上記インター予測部２５０で参照信号として用いられることができる。
図１２および図１３は、本発明の実施形態が適用されたエンコーダおよびデコーダの概略ブロック図を示す。
図１２の上記エンコーダ１００は、変換部１１０、量子化部１２０、逆量子化部１３０、逆変換部１４０、バッファ１５０、予測部１６０、およびエントロピエンコード部１７０を備える。図１３の上記デコーダ２００は、エントロピデコード部２１０、逆量子化部２２０、逆変換部２３０、バッファ２４０、および予測部２５０を備える。
上記エンコーダ１００は、映像信号を受信し、そして、上記映像信号から上記予測部１６０により出力された予測信号を差し引いて予測誤差（予測エラー）（prediction error）（残差信号）を生成する。このような場合において、上記映像信号は、拡張フレームを含み、上記拡張フレームは、原映像信号からのシフト情報により拡張されている。
上記生成された予測誤差は、上記変換部１１０に送信される。上記変換部１１０は、変換方式を上記予測誤差に適用して変換係数を生成する。
上記量子化部１２０は、上記生成された変換係数を量子化し、そして、上記量子化された係数を上記エントロピエンコード部１７０に送信する。
上記エントロピエンコード部１７０は、上記量子化された信号に関するエントロピコーディングを行い、そして、エントロピコーディングされた信号を出力する。
一方、上記量子化部１２０により出力された上記量子化された信号は、予測信号を生成するために用いられることができる。例えば、上記エンコーダ１００のループ内の上記逆量子化部１３０は、量子化された信号が予測誤差に復元されるように、上記量子化された信号に関して逆量子化および逆変換を行うことができる。復元信号は、上記復元された予測誤差を上記予測部１６０により出力された予測信号に付加して生成されることができる。
上記バッファ１５０は、上記予測部１６０の今後の参照のために上記復元信号を格納する。上記予測部１６０は、上記バッファ１５０内に格納された以前に復元された信号を用いて予測信号を生成する。
図１３の上記デコーダ２００は、図１２の上記エンコーダ１００により出力される信号を受信する。このような場合において、上記出力信号は、拡張フレームを含むことができ、そして、シフト情報を付加的に含むことができる。
上記エントロピデコード部２１０は、上記受信された信号に関してエントロピデコードを行う。上記逆量子化部２２０は、量子化ステップサイズに関する情報に基づいて、上記エントロピデコードされた信号から変換係数を取得する。上記逆変換部２３０は、上記変換係数に関して逆変換を行って予測誤差を取得する。上記取得された予測誤差を上記予測部２５０により出力された予測信号に付加して復元信号が生成される。
上記バッファ２４０は、上記予測部２５０の今後の参照のために上記復元信号を格納する。上記予測部２５０は、上記バッファ２４０に格納された以前に復元された信号を用いて予測信号を生成する。
本発明によれば、上記ブロッキングアーチファクトの可視性は、上記拡張フレームおよびシフト情報をエンコードし、そして、デコードして低減されることができる。さらに、上記ブロッキングアーチファクトの可視性を低減させて、映像信号の本質的な（subjective）ピクチャ品質が向上され得る。
上述されたように、本発明が適用され得る上記デコーダおよび上記エンコーダを含む処理装置は、マルチメディア放送送信／受信装置、移動通信端末機、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視カメラ、ビデオチャット装置、ビデオ通信のようなリアルタイム通信装置、移動ストリーミング装置、格納媒体、カムコーダ、ＶｏＤサービス提供装置、インタネットストリーミングサービス提供装置、３次元（３Ｄ）ビデオ装置、テレコンファレンスビデオ装置、および医療ビデオ装置内に含まれることができ、ビデオ信号およびデータ信号をコーディングするのに使用されることができる。
さらに、本発明が適用され得る上記処理方法は、コンピュータにより実行され得るプログラムの形式で製作され、コンピュータ読み取り可能な記録媒体内に格納されることができる。本発明に係るデータ構造を有するマルチメディアデータは、コンピュータ読み取り可能な記録媒体内にさらに格納されることができる。上記コンピュータ読み取り可能な記録媒体は、コンピュータシステムにより読み取り可能なデータが格納されるあらゆる類型の格納機器を含む。上記コンピュータ読み取り可能な記録媒体は、例えば、ＢＤ、ＵＳＢ、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピ（登録商標）ディスク、および光学データ格納機器を含むことができる。さらに、上記コンピュータ読み取り可能な記録媒体は、搬送波（例えば、インタネットを介しての送信）の形で実現される媒体を含む。さらに、上記エンコード方法により生成されるビットストリームは、コンピュータ読み取り可能な記録媒体内に格納されることができるか、または有線／無線通信ネットワークを介して送信されることができる。
本発明の例示的な実施形態は、例示の目的のために開示され、当該技術分野における通常の知識を有した者は、添付された請求項に開示された本発明の技術的精神および範囲内で様々な他の実施形態を改善、変更、交替、または付加することができる。

Claims (16)

  1. 映像信号を処理する方法であって、
    原フレームを有する映像信号を受信するステップと、
    前記原フレームの相対位置を導出するために使用されるランダムシフト情報を生成するステップと、
    前記生成されたランダムシフト情報を利用して拡張フレーム内の前記原フレームを複写するステップと、
    前記拡張フレームおよび前記ランダムシフト情報をエンコードするステップと、を有し、
    前記映像信号に有されるフレームの境界は、前記ランダムシフト情報に基づいてそれぞれのフレームに対して変わる、映像信号処理方法。
  2. 前記ランダムシフト情報は、それぞれのフレームに対して水平方向におよび／又は垂直方向に生成される、請求項１に記載の映像信号処理方法。
  3. 前記拡張フレームは、前記原フレームのそれぞれの次元で少なくとも１つのブロックサイズにより拡張される、請求項１に記載の映像信号処理方法。
  4. 前記ランダムシフト情報は、スライスヘッダ内に挿入される、請求項１に記載の映像信号処理方法。
  5. 映像信号を処理する方法であって、
    拡張フレームおよびランダムシフト情報を有する前記映像信号を受信するステップと、
    ターゲットフレームを有する前記拡張フレームおよび前記ランダムシフト情報をデコードするステップと、
    前記拡張フレームおよび前記ランダムシフト情報を出力するステップと、を有し、
    前記ターゲットフレームは、前記ランダムシフト情報に基づいて、前記拡張フレームからクロップされた原フレームサイズを有するフレームを指示する、映像信号処理方法。
  6. 前記ランダムシフト情報は、前記ターゲットフレームの位置を水平方向におよび／又は垂直方向に導出するために使用される、請求項５に記載の映像信号処理方法。
  7. 前記拡張フレームは、前記ターゲットフレームのそれぞれの次元で少なくとも１つのブロックサイズにより拡張される、請求項５に記載の映像信号処理方法。
  8. 前記ランダムシフト情報は、前記映像信号のスライスヘッダから抽出される、請求項５に記載の映像信号処理方法。
  9. 映像信号を処理するための装置であって、
    原フレームを有する映像信号を受信し、
    前記原フレームの相対位置を導出するために使用されるランダムシフト情報を生成し、
    前記生成されたランダムシフト情報を利用して拡張フレーム内の前記原フレームを複写するように構成されるフレーム拡張部と、
    前記拡張フレームおよび前記ランダムシフト情報をエンコードするように構成されるエンコーダと、を備え、
    前記映像信号に有されるフレームの境界は、前記ランダムシフト情報に基づいてそれぞれのフレームに対して変わる、映像信号処理装置。
  10. 前記ランダムシフト情報は、それぞれのフレームに対して水平方向におよび／又は垂直方向に生成される、請求項９に記載の映像信号処理装置。
  11. 前記拡張フレームは、前記原フレームのそれぞれの次元で少なくとも１つのブロックサイズにより拡張される、請求項９に記載の映像信号処理装置。
  12. 前記ランダムシフト情報は、スライスヘッダ内に挿入される、請求項９に記載の映像信号処理装置。
  13. 映像信号をデコードするためのデコーダであって、
    前記デコーダは、
    拡張フレームおよびランダムシフト情報を有する前記映像信号を受信し、
    ターゲットフレームを有する前記拡張フレームおよび前記ランダムシフト情報をデコードし、
    前記拡張フレームおよび前記ランダムシフト情報を出力するように構成され、
    前記ターゲットフレームは、前記ランダムシフト情報に基づいて、前記拡張フレームからクロップされた原フレームサイズを有するフレームを指示する、デコーダ。
  14. 前記ランダムシフト情報は、前記ターゲットフレームの位置を水平方向におよび／又は垂直方向に導出するために使用される、請求項１３に記載のデコーダ。
  15. 前記拡張フレームは、前記ターゲットフレームのそれぞれの次元で少なくとも１つのブロックサイズにより拡張される、請求項１３に記載のデコーダ。
  16. 前記ランダムシフト情報は、前記映像信号のスライスヘッダから抽出される、請求項１３に記載のデコーダ。
JP2016544118A 2014-01-01 2014-12-29 ブロッキングアーチファクトの可視性を減少させるためのビデオ信号処理方法および装置 Pending JP2017509188A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461922858P 2014-01-01 2014-01-01
US61/922,858 2014-01-01
PCT/KR2014/012952 WO2015102329A1 (en) 2014-01-01 2014-12-29 Method and apparatus for processing video signal for reducing visibility of blocking artifacts

Publications (1)

Publication Number Publication Date
JP2017509188A true JP2017509188A (ja) 2017-03-30

Family

ID=53493618

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016544118A Pending JP2017509188A (ja) 2014-01-01 2014-12-29 ブロッキングアーチファクトの可視性を減少させるためのビデオ信号処理方法および装置

Country Status (6)

Country Link
US (1) US20160330486A1 (ja)
EP (1) EP3090560A4 (ja)
JP (1) JP2017509188A (ja)
KR (1) KR20160102075A (ja)
CN (1) CN105874802A (ja)
WO (1) WO2015102329A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11016212B2 (en) * 2017-04-11 2021-05-25 Saudi Arabian Oil Company Compressing seismic wavefields in three-dimensional reverse time migration
US11656378B2 (en) 2020-06-08 2023-05-23 Saudi Arabian Oil Company Seismic imaging by visco-acoustic reverse time migration

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05130585A (ja) * 1991-11-06 1993-05-25 Matsushita Electric Ind Co Ltd 符号化装置
JPH05227521A (ja) * 1992-02-17 1993-09-03 Matsushita Electric Ind Co Ltd 符号化による映像信号伝送装置
JPH05347755A (ja) * 1992-06-16 1993-12-27 Matsushita Electric Ind Co Ltd 動画像符号化装置
JPH0646398A (ja) * 1992-07-24 1994-02-18 Kubota Corp 画像データ圧縮方法
JPH07123271A (ja) * 1993-10-25 1995-05-12 Sony Corp 画像データの圧縮方法及び伸長方法
JPH08130735A (ja) * 1994-10-31 1996-05-21 Matsushita Electric Ind Co Ltd 画像データ符号化／復号化装置
JPH08149469A (ja) * 1994-11-21 1996-06-07 Tec Corp 動画像符号化装置
JP2006013766A (ja) * 2004-06-24 2006-01-12 Matsushita Electric Ind Co Ltd 動画記録方法、動画記録装置、動画再生方法および動画再生装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6980596B2 (en) * 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
US7945102B2 (en) * 2003-03-24 2011-05-17 Sony Corporation Data encoding apparatus, data encoding method, data output apparatus, data output method, signal processing system, signal processing apparatus, signal processing method, data decoding apparatus, and data decoding method
KR100677142B1 (ko) * 2004-08-13 2007-02-02 경희대학교 산학협력단 파노라마 영상의 움직임 추정 및 보상
US7965900B2 (en) * 2007-09-26 2011-06-21 Hewlett-Packard Development Company, L.P. Processing an input image to reduce compression-related artifacts
US8285068B2 (en) * 2008-06-25 2012-10-09 Cisco Technology, Inc. Combined deblocking and denoising filter
US20110122950A1 (en) * 2009-11-26 2011-05-26 Ji Tianying Video decoder and method for motion compensation for out-of-boundary pixels
WO2011097013A1 (en) * 2010-02-02 2011-08-11 Thomson Licensing Methods and apparatus for reducing vector quantization error through patch shifting
RU2012146943A (ru) * 2010-04-06 2014-05-20 Конинклейке Филипс Электроникс Н.В. Уменьшение видимости 3d шума
EP2533537A1 (en) * 2011-06-10 2012-12-12 Panasonic Corporation Transmission of picture size for image or video coding
WO2012175195A1 (en) * 2011-06-20 2012-12-27 Panasonic Corporation Simplified pipeline for filtering
US10075737B2 (en) * 2011-08-26 2018-09-11 Qualcomm Incorporated Method and apparatus for shift DCT-based sharpening of a video image
US9058656B2 (en) * 2012-01-23 2015-06-16 Eiffel Medtech Inc. Image restoration system and method
EP2712542B1 (en) * 2012-09-28 2017-04-12 Ruprecht-Karls-Universität Heidelberg Structured illumination ophthalmoscope

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05130585A (ja) * 1991-11-06 1993-05-25 Matsushita Electric Ind Co Ltd 符号化装置
JPH05227521A (ja) * 1992-02-17 1993-09-03 Matsushita Electric Ind Co Ltd 符号化による映像信号伝送装置
JPH05347755A (ja) * 1992-06-16 1993-12-27 Matsushita Electric Ind Co Ltd 動画像符号化装置
JPH0646398A (ja) * 1992-07-24 1994-02-18 Kubota Corp 画像データ圧縮方法
JPH07123271A (ja) * 1993-10-25 1995-05-12 Sony Corp 画像データの圧縮方法及び伸長方法
JPH08130735A (ja) * 1994-10-31 1996-05-21 Matsushita Electric Ind Co Ltd 画像データ符号化／復号化装置
JPH08149469A (ja) * 1994-11-21 1996-06-07 Tec Corp 動画像符号化装置
JP2006013766A (ja) * 2004-06-24 2006-01-12 Matsushita Electric Ind Co Ltd 動画記録方法、動画記録装置、動画再生方法および動画再生装置

Also Published As

Publication number Publication date
KR20160102075A (ko) 2016-08-26
EP3090560A4 (en) 2017-08-23
WO2015102329A1 (en) 2015-07-09
US20160330486A1 (en) 2016-11-10
CN105874802A (zh) 2016-08-17
EP3090560A1 (en) 2016-11-09

Similar Documents

Publication Publication Date Title
JP7375196B2 (ja) フィルタリングに基づく画像コーディング装置及び方法
JP7400082B2 (ja) パレットモードに基づく画像またはビデオコーディング
US20180278943A1 (en) Method and apparatus for processing video signals using coefficient induced prediction
JP7392144B2 (ja) ループフィルタリングを制御するための画像コーディング装置および方法
JP7383816B2 (ja) ループフィルタリングを制御する画像コーディング装置及び方法
KR20220079982A (ko) 영상 코딩 장치 및 방법
KR20220110299A (ko) 인루프 필터링 기반 영상 코딩 장치 및 방법
JP2024095798A (ja) ループフィルタリングを制御するための映像コーディング装置及び方法
JP2024036651A (ja) サブピクチャに基づく映像コーディング装置及び方法
JP2024100892A (ja) フィルタリングに基づく画像コーディング装置及び方法
JP2024102338A (ja) ピクチャヘッダを含む映像情報をコーディングする映像デコーディング方法及びその装置
JP7528335B2 (ja) ピクチャ分割情報をシグナリングする方法及び装置
JP2023175027A (ja) ピクチャレベルまたはスライスレベルで適用される画像情報をシグナリングする方法及び装置
CN115699775A (zh) 视频或图像编码系统中基于单色颜色格式的色度去块参数信息的图像编码方法
JP2017509188A (ja) ブロッキングアーチファクトの可視性を減少させるためのビデオ信号処理方法および装置
US11470325B2 (en) Method for coding image on basis of deblocking filtering, and apparatus therefor
US20230164321A1 (en) In-loop filtering-based image coding device and method
KR20220110840A (ko) 적응적 루프 필터링 기반 영상 코딩 장치 및 방법
KR20220097996A (ko) 필터링을 위한 정보의 시그널링 기반 영상 코딩 장치 및 방법
KR20220097997A (ko) 루프 필터링을 제어하는 영상 코딩 장치 및 방법
KR20220074954A (ko) 슬라이스 타입 기반 영상/비디오 코딩 방법 및 장치
US20200195952A1 (en) Method and apparatus for processing video signal through target area modification
RU2800596C1 (ru) Конфигурация срезов и плиток для кодирования изображений/видео
KR20220112828A (ko) 필터링 관련 정보 시그널링 기반 영상 코딩 장치 및 방법
KR20220100701A (ko) 영상 코딩 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180807

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190312