JP2016063290A - ノイズ除去装置、ノイズ除去方法及び画像符号化装置 - Google Patents
ノイズ除去装置、ノイズ除去方法及び画像符号化装置 Download PDFInfo
- Publication number
- JP2016063290A JP2016063290A JP2014187776A JP2014187776A JP2016063290A JP 2016063290 A JP2016063290 A JP 2016063290A JP 2014187776 A JP2014187776 A JP 2014187776A JP 2014187776 A JP2014187776 A JP 2014187776A JP 2016063290 A JP2016063290 A JP 2016063290A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- block
- noise removal
- image
- orthogonal transform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【解決手段】SATD算出部14により算出されたSATDに基づいて符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行すべきか否かを判定し、その判定結果が実行すべき旨の判定であれば、ノイズ除去処理の実行指令をノイズ除去部16に出力する実行判定部15を設け、ノイズ除去部16が、実行判定部15からノイズ除去処理の実行指令を受けると、符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行する。
【選択図】図1
Description
また、それらの画像データを磁気ディスクなどの媒体に記録する際に、媒体の容量に合わせて画像データを圧縮する機能を備えている。
MPEG−2やH.264などの方式では、画像における時間方向の相関性や空間方向の相関性を利用することで、高い圧縮率を実現している。
例えば、時間方向の相関性を利用するものとしては、フレーム間予測を用いて、ピクチャ間で差分をとることによって、画像における時間方向の冗長性を削減する手法がある。
また、空間方向の相関性を利用するものとしては、近隣画素間で差分をとるイントラ予測や直交変換を実施することで、空間方向の冗長性を削減する手法がある。
例えば、夜間や悪天候下での撮影では、カメラをゲインアップして撮影することが多いが、このような撮影では、画像にランダムノイズが重畳するため、時間方向や空間方向の相関性が著しく低下することがある。
時間方向や空間方向の相関性が著しく低下している画像については、時間方向の相関性や空間方向の相関性を利用することができないため、圧縮性能が大幅に低下してしまって、画像の画質や圧縮率が低くなることがある。
また、カメラをゲインアップして撮影された画像が入力された場合、イントラ予測を強制的に選択する方法(フレーム間予測を選択しない方法)を採用すれば、ノイズ成分の蓄積による画質劣化を防止することができる(例えば、特許文献1を参照)。
ただし、フレーム間予測の使用を制限することによる圧縮性能の低下や、ノイズに伴うイントラ予測性能の低下が避けられないため、良好な画質や圧縮率を得ることできないケースがある。
なお、以下の特許文献2には、画像の符号化に伴って発生する歪みを除去する技術が開示されているが、入力された画像に重畳されているノイズを除去するものではない。
図1はこの発明の実施の形態1によるノイズ除去装置を実装している画像符号化装置を示す構成図であり、図2はこの発明の実施の形態1によるノイズ除去装置のSATD算出部14を示す構成図である。
図1及び図2において、符号化制御部1は1以上のピクチャを含む画像データが入力されると、1つのピクチャ毎に、符号化処理が実施される際の処理単位となる符号化ブロック(符号化対象のブロック)の最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定することで、各々の符号化ブロックのサイズを決定する処理を実施する。
また、符号化制御部1は選択可能な1以上の符号化モード(予測処理単位を示す予測ブロックのサイズなどが異なる1以上のイントラ符号化モード、予測ブロックのサイズなどが異なる1以上のインター符号化モード)の中から、符号化ブロックに適用する符号化モードを選択する処理を実施する。
選択手法の例としては、選択可能な1以上の符号化モードの中から、符号化ブロックに対する符号化効率が最も高い符号化モードを選択する手法がある。
さらに、符号化制御部1は直交変換部3が直交変換する際の変換ブロックサイズを決定して、その変換ブロックサイズを示す変換ブロック情報を直交変換部3及び逆直交変換部7に出力するとともに、量子化部4が直交変換係数を量子化する際に用いる量子化スケーリングリスト(量子化マトリクス)を示す量子化パラメータを決定して、その量子化パラメータを量子化部4及び逆量子化部6に出力する処理を実施する。
直交変換部3は符号化制御部1から出力された変換ブロック情報が示す変換ブロックサイズ単位に、減算部2から出力された予測差分信号に対する直交変換処理(例えば、DCT(離散コサイン変換)、DST(離散サイン変換)、予め特定の学習系列に対して基底設計がなされているKL変換などの直交変換処理)を実施して直交変換係数を算出する処理を実施する。
なお、減算部2、直交変換部3及び量子化部4から圧縮手段が構成されている。
逆直交変換部7は符号化制御部1から出力された変換ブロック情報が示す変換ブロックサイズ単位に、逆量子化部6から出力された直交変換係数を逆直交変換することで、減算部2から出力された予測差分信号に相当する局所復号予測差分信号を求める処理を実施する。
加算部8は逆直交変換部7から出力された局所復号予測差分信号と、切換スイッチ13から出力された予測ブロック(イントラ予測部11により生成されたイントラ予測画像、または、インター予測部12により生成されたインター予測画像)とを加算して、フレームメモリ17より読み出した符号化ブロックに相当する局所復号画像を算出する処理を実施する。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ(デブロッキングフィルタ)処理、画素単位に適応的にオフセットを加算する(画素適応オフセット)処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
フレームメモリ10はループフィルタ9から出力されたフィルタ処理後の局所復号画像を格納する記録媒体である。
また、イントラ予測部11は各々のブロックサイズ(8×8画素、16×16画素、32×32画素、64×64画素)でのSATD(SATD8、SATD16、SATD32、SATD64)の算出に用いるイントラ予測画像を生成する処理を実施する。SATDについては後述する。
また、インター予測部12は各々のブロックサイズ(8×8画素、16×16画素、32×32画素、64×64画素)でのSATD(SATD8、SATD16、SATD32、SATD64)の算出に用いるインター予測画像を生成する処理を実施する。
なお、イントラ予測部11及びインター予測部12から予測ブロック生成手段が構成されている。
SATD算出部14のブロックサイズ設定部14aは予め複数のブロックサイズの設定を受け付ける処理部である。この実施の形態1では、ブロックサイズとして、例えば、8×8画素、16×16画素、32×32画素、64×64画素の4種類が設定されているものとする。
ブロック分割部14bはブロックサイズ設定部14aにより設定されているブロックサイズ毎に、符号化制御部1から出力された符号化ブロックを当該ブロックサイズの分割ブロックに分割する処理を実施する。
総和算出部14cはブロック分割部14bにより分割された符号化ブロックの分割ブロック毎に、当該分割ブロックと、当該分割ブロックに対する予測処理で生成された予測ブロック(イントラ予測部11により生成されたイントラ予測画像、または、インター予測部12により生成されたインター予測画像)との差分を離散アダマール変換(直交変換)して、その離散アダマール変換の変換係数Diff(x,y)の絶対値和を算出し、その符号化ブロックにおける分割ブロックの個数分の絶対値和の総和をSATDとして算出する処理を実施する。なお、SATD算出部14は絶対値和算出手段を構成している。
ノイズ除去部16は実行判定部15からノイズ除去処理の実行指令を受けると、符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行する。なお、ノイズ除去部16はノイズ除去手段を構成している。
フレームメモリ17は実行判定部15の判定結果がノイズ除去処理を実行すべき旨を示していれば、ノイズ除去部16によりノイズ除去処理が実施された符号化ブロックを格納し、実行判定部15の判定結果がノイズ除去処理を実行すべきでない旨を示していれば、ノイズ除去部16によるノイズ除去処理が実施されていない符号化ブロックを格納する記録媒体である。
図1の例では、ノイズ除去部16がフレームメモリ17の前段に配置されているが、ノイズ除去部16がフレームメモリ17の後段に配置されていてもよい。
画像符号化装置をコンピュータで構成する場合、フレームメモリ10,17をコンピュータのメモリ上に構成するとともに、符号化制御部1、減算部2、直交変換部3、量子化部4、可変長符号化部5、逆量子化部6、逆直交変換部7、加算部8、ループフィルタ9、イントラ予測部11、インター予測部12、切換スイッチ13、SATD算出部14、実行判定部15及びノイズ除去部16の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
図3はこの発明の実施の形態1によるノイズ除去装置の処理内容(ノイズ除去方法)を示すフローチャートである。
図1の画像符号化装置は、ノイズ除去装置を実装していることが特徴であり、ノイズ除去装置以外の部分は、H.264やHEVCなどに規定されている一般的な画像符号化装置と同様である。
この実施の形態1では、特に扱う符号化方式を限定するものではないが、HEVCに準拠している画像符号化装置を例に説明する。
HEVCでは、CTU(Coding Tree Unit)が基本の処理単位として規定されており、CTUのサイズとして、8×8画素、16×16画素、32×32画素、64×64画素の4種類が定義されている。
符号化制御部1は、入力された画像データに含まれている各ピクチャをCTU単位に分割し、分割したピクチャである符号化ブロックをイントラ予測部11、インター予測部12及びSATD算出部14に出力する。
この実施の形態1では、説明の便宜上、64×64画素の符号化ブロックをイントラ予測部11、インター予測部12及びSATD算出部14に出力するものとする。
選択手法の例としては、選択可能な1以上の符号化モードの中から、符号化ブロックに対する符号化効率が最も高い符号化モードを選択する手法がある。
一方、符号化ブロックの符号化モードとして、インター符号化モードを選択すると、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを決定し、そのインター予測パラメータをインター予測部12に出力する。
なお、予測パラメータの決定処理自体はHEVCで規定されているため詳細な説明を省略する。
イントラ予測部11は、64×64画素の符号化ブロックを図4のように分割すると、8×8画素の分割ブロック毎に、当該分割ブロックに対するイントラ予測処理を実施してイントラ予測画像を生成し、8×8画素の64個のイントラ予測画像をSATD算出部14に出力する。
また、イントラ予測部11は、32×32画素の分割ブロック毎に、当該分割ブロックに対するイントラ予測処理を実施してイントラ予測画像を生成し、32×32画素の4個のイントラ予測画像をSATD算出部14に出力する。
さらに、イントラ予測部11は、64×64画素の符号化ブロックに対するイントラ予測処理を実施してイントラ予測画像を生成し、64×64画素の1個のイントラ予測画像をSATD算出部14に出力する。
この段階で、イントラ予測部11が生成しているイントラ予測画像は、SATD(SATD8、SATD16、SATD32、SATD64)の算出に用いる予測ブロックであって、後述する圧縮データの算出に用いるイントラ予測画像ではないため、圧縮データの算出に用いるイントラ予測画像よりも簡易な方法で生成するようにしてもよい。
インター予測部12は、64×64画素の符号化ブロックを図4のように分割すると、8×8画素の分割ブロック毎に、当該分割ブロックに対するインター予測処理を実施してインター予測画像を生成し、8×8画素の64個のインター予測画像をSATD算出部14に出力する。
また、インター予測部12は、32×32画素の分割ブロック毎に、当該分割ブロックに対するインター予測処理を実施してインター予測画像を生成し、32×32画素の4個のインター予測画像をSATD算出部14に出力する。
さらに、インター予測部12は、64×64画素の符号化ブロックに対するインター予測処理を実施してインター予測画像を生成し、64×64画素の1個のインター予測画像をSATD算出部14に出力する。
この段階で、インター予測部12が生成しているインター予測画像は、SATD(SATD8、SATD16、SATD32、SATD64)の算出に用いる予測ブロックであって、後述する圧縮データの算出に用いるインター予測画像ではないため、圧縮データの算出に用いるインター予測画像よりも簡易な方法で生成するようにしてもよい。
一方、符号化制御部1により選択された符号化モードがインター符号化モードであって、符号化制御部1からインター予測パラメータを受けたときに、インター予測部12が、SATD(SATD8、SATD16、SATD32、SATD64)を算出に用いる各ブロックサイズでのインター予測画像を生成する例を示しているが、符号化制御部1により選択された符号化モードがイントラ符号化モードであっても、常に、インター予測部12が、各ブロックサイズでのインター予測画像を生成するようにしてもよい。
SATD算出部14の総和算出部14cは、ブロック分割部14bが64×64画素の符号化ブロックを分割すると、その符号化ブロックの分割ブロック毎に、当該分割ブロックと、当該分割ブロックに対する予測処理で生成された予測ブロック(イントラ予測部11により生成されたイントラ予測画像、または、インター予測部12により生成されたインター予測画像)との差分を離散アダマール変換し、下記の式(1)に示すように、その離散アダマール変換の変換係数Diff(x,y)の絶対値和を算出して、その符号化ブロックにおける分割ブロックの個数分の変換係数Diff(x,y)の絶対値和の総和をSATDとして算出する(図3のステップST1)。
総和算出部14cは、8×8画素の64個のブロックについて、変換係数Diff(x,y)の絶対値和をそれぞれ算出すると、それらの絶対値和の総和をSATD8として算出する。
総和算出部14cは、16×16画素の16個のブロックについて、変換係数Diff(x,y)の絶対値和をそれぞれ算出すると、それらの絶対値和の総和をSATD16として算出する。
総和算出部14cは、32×32画素の4個のブロックについて、変換係数Diff(x,y)の絶対値和をそれぞれ算出すると、それらの絶対値和の総和をSATD32として算出する。
なお、SATDの値には画像の空間方向の相関性が反映されるため、空間方向の相関が高いほどSATDの値が小さくなり、空間方向の相関が低いとSATDの値が大きくなる。
一般に、複数の符号化モードのうち、SATDの値が小さい符号化モードを選択すれば、高い圧縮性能が得られ易くなるので、符号化制御部1が符号化ブロックの符号化モードを決定する際、SATDを評価指標として用いることが可能である。
一方、画像にランダムノイズが一様に重畳されている場合、画像の単位面積当りのノイズ存在確率は、ブロックサイズが異なっても変わらないため、ブロックサイズを小さくしてもSATDの値が大きく低下しない。即ち、ブロックサイズが異なっていても、SATDが近い値になる傾向がある。
R64/32≦Th1 (5)
実行判定部15は、その比率R64/32が閾値Th1以下であれば(ステップST3:Yesの場合)、符号化に影響を与えるほどの過度のノイズが重畳されている可能性があるため、下記の式(6)に示すように、その比率R32/16と予め設定された閾値Th2を比較する。
R32/16≦Th2 (6)
実行判定部15は、その比率R32/16が閾値Th2より大きければ(ステップST4:Noの場合)、符号化に影響を与えるほどの過度のノイズが重畳されていないと判定する(ステップST6)。閾値Th2としては、例えば、1.25などの値が予め設定される。
R16/8≦Th3 (7)
実行判定部15は、その比率R16/8が閾値Th3より大きければ(ステップST5:Noの場合)、符号化に影響を与えるほどの過度のノイズが重畳されていないと判定し(ステップST6)、その比率R16/8が閾値Th3以下であれば(ステップST5:Yesの場合)、符号化に影響を与えるほどの過度のノイズが重畳されていると判定する(ステップST7)。即ち、ノイズ除去処理を実行すべきであると判定する。閾値Th3としては、例えば、1.25などの値が予め設定される。
実行判定部15は、符号化に影響を与えるほどの過度のノイズが重畳されていると判定すると、ノイズ除去処理の実行指令をノイズ除去部16に出力する。
ここで、ノイズ除去処理としては、例えば、帯域制限フィルタやメディアンフィルタなどを用いて、符号化ブロックに重畳されているノイズを除去する方法が考えられる。このノイズ除去処理を実施することで、時間方向や空間方向の相関性の著しい低下を避けることができる。
ノイズ除去部16がノイズ除去処理を実施する際、常に同じフィルタを用いるようにしてもよいが、ノイズレベルの大きさに応じて、フィルタを代えるようにしてもよい。例えば、SATD算出部14により算出されたSATD8が予め設定された閾値(例えば、ブロックサイズが4×4画素でのSATD4(SATD4の算出方法はSATD8等の算出方法と同様であるため説明を省略する)を任意の整数で除算した値が閾値として用いられるが、具体的には、1024などの値が閾値として用いられる)より大きければ、ノイズレベルが大きいと判断して、狭帯域のフィルタを用いる一方、SATD算出部14により算出されたSATD8が上記閾値以下であれば、符号化に影響を与えるものの、さほどノイズレベルが大きくないと判断して、比較的高帯域のフィルタを用いるようにしてもよい。
ここでは、SATD8と閾値を比較する例を示しているが、SATD8の代わりに、SATD16,SATD32又はSATD64と閾値を比較するようにしてもよい。
したがって、符号化に影響を与えるほどの過度のノイズが重畳されていない状況下では、ノイズ除去処理が実施されないので、ノイズ除去処理の実施に伴う画像のぼけなどの副作用の発生を避けることができる。
インター予測部12は、動きベクトルを探索すると、その動きベクトルと符号化制御部1から出力されたインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理を実施してインター予測画像を生成し、そのインター予測画像を切換スイッチ13に出力する。また、その動きベクトルを可変長符号化部5に出力する。インター予測画像の生成処理自体は、HEVCで規定されているため詳細な説明を省略する。
直交変換部3は、減算部2から予測差分信号を受けると、符号化制御部1から出力された変換ブロック情報が示す変換ブロックサイズ単位に、その予測差分信号に対する直交変換処理(例えば、DCT(離散コサイン変換)、DST(離散サイン変換)、予め特定の学習系列に対して基底設計がなされているKL変換などの直交変換処理)を実施して、その直交変換結果である直交変換係数を量子化部4に出力する。
可変長符号化部5は、量子化部4から出力された圧縮データと、符号化制御部1により決定された符号化モード、イントラ予測パラメータ(または、インター予測パラメータ)、変換ブロック情報及び量子化パラメータと、インター予測部12から出力された動きベクトル(符号化モードがインター符号化モードである場合)とを可変長符号化して、符号化データのビット列であるビットストリームを生成し、そのビットストリームを外部に出力する。
逆直交変換部7は、逆量子化部6から直交変換係数を受けると、符号化制御部1から出力された変換ブロック情報が示す変換ブロックサイズ単位に、その直交変換係数を逆直交変換することで、減算部2から出力された予測差分信号に相当する局所復号予測差分信号を求め、その局所復号予測差分信号を加算部8に出力する。
ループフィルタ9は、加算部8から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像をフレームメモリ10に格納する。
具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ(デブロッキングフィルタ)処理、画素単位に適応的にオフセットを加算する(画素適応オフセット)処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
即ち、入力された画像に重畳されているノイズの状況に応じてノイズ除去処理の実施の是非が決定されるため、画像の画質の低下を抑えることができる効果を奏する。
上記実施の形態1では、実行判定部15が、各SATDの間の比率R64/32,R32/16,R16/8を算出し、各SATDの間の比率R64/32,R32/16,R16/8と、予め設定された閾値Th1,Th2,Th3とを比較して、符号化に影響を与えるほどの過度のノイズが重畳されているか否かを判定するものを示したが、SATD算出部14により算出された各々のブロックサイズでのSATD8、SATD16、SATD32、SATD64の大きさに基づいて、符号化に影響を与えるほどの過度のノイズが重畳されているか否かを判定するようにしてもよく、上記実施の形態1と同様の効果を奏することができる。
図5はこの発明の実施の形態2によるノイズ除去装置の処理内容(ノイズ除去方法)を示すフローチャートである。
実行判定部15以外は、上記実施の形態1と同様であるため、ここでは、主に実行判定部15の処理内容を説明する。
SATD算出部14のブロック分割部14bは、フレームメモリ17から64×64画素の符号化ブロックを読み出すと、上記実施の形態1と同様に、ブロックサイズ設定部14aに設定されているブロックサイズ(8×8画素、16×16画素、32×32画素、64×64画素)でのSATD(SATD8、SATD16、SATD32、SATD64)を算出するため、64×64画素の符号化ブロックを図4のように分割する。
SATD算出部14の総和算出部14cは、ブロック分割部14bが64×64画素の符号化ブロックを分割すると、上記実施の形態1と同様に、その符号化ブロックの分割ブロック毎に、当該分割ブロックと、当該分割ブロックに対する予測処理で生成された予測ブロックとの差分を離散アダマール変換して、その離散アダマール変換の変換係数Diff(x,y)の絶対値和を算出し、上記の式(1)に示すように、その符号化ブロックにおける分割ブロックの個数分の変換係数Diff(x,y)の絶対値和の総和をSATDとして算出する(図5のステップST1)。
なお、画像にノイズが一様に重畳されている場合は、ブロックサイズを小さくしても、SATDの値が大きく低下しないという傾向がある。
SATD64≧Th4 (8)
SATD32≧Th5 (9)
実行判定部15は、そのSATD32が閾値Th5より小さければ(ステップST12:Noの場合)、符号化に影響を与えるほどの過度のノイズが重畳されていないと判定する(ステップST6)。閾値Th5としては、例えば、4×32×32×256などの値が予め設定される。
SATD16≧Th6 (10)
実行判定部15は、そのSATD16が閾値Th6より小さければ(ステップST13:Noの場合)、符号化に影響を与えるほどの過度のノイズが重畳されていないと判定する(ステップST6)。閾値Th6としては、例えば、16×16×16×256などの値が予め設定される。
SATD8≧Th7 (11)
実行判定部15は、そのSATD8が閾値Th7より小さければ(ステップST14:Noの場合)、符号化に影響を与えるほどの過度のノイズが重畳されていないと判定し(ステップST6)、そのSATD8が閾値Th7以上であれば(ステップST14:Yesの場合)、符号化に影響を与えるほどの過度のノイズが重畳されていると判定する(ステップST7)。即ち、ノイズ除去処理を実行すべきであると判定する。閾値Th7としては、例えば、64×8×8×256などの値が予め設定される。
ノイズ除去部16は、実行判定部15からノイズ除去処理の実行指令を受けると、上記実施の形態1と同様に、符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行し、ノイズ除去処理後の符号化ブロックをフレームメモリ17に格納する(ステップST8)。
図6はこの発明の実施の形態3によるノイズ除去装置を実装している画像符号化装置を示す構成図であり、図6において、図1と同一符号は同一または相当部分を示すので説明を省略する。
画像内容変化通知部21は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、入力された画像の変化量を監視し、その変化量が予め設定された基準量より大きい場合、画像内容が大きく変化している旨をノイズ除去部22に通知する処理を実施する。なお、画像内容変化通知部21は画像内容変化通知手段を構成している。
ノイズ除去部22は図1のノイズ除去部16と同様に、実行判定部15からノイズ除去処理の実行指令を受けると、符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行する。
ただし、ノイズ除去部22はノイズ除去処理の実行を開始した後、実行判定部15の判定結果がノイズ除去処理を実行すべきでない旨の判定結果に変化しても、画像内容変化通知部21から画像内容が大きく変化している旨の通知を受けるまでの間はノイズ除去処理の実行を継続する。なお、ノイズ除去部22はノイズ除去手段を構成している。
ノイズ除去部22は、図1のノイズ除去部16と同様に、実行判定部15からノイズ除去処理の実行指令を受けると、符号化ブロックに対するノイズ除去処理を実行する。
一方、実行判定部15により符号化に影響を与えるほどの過度のノイズが重畳されていないと判定された場合(ノイズ除去処理を実行すべきでないと判定された場合)、符号化ブロックに対するノイズ除去処理を実行しない。
ノイズ除去部22が、実行判定部15の判定結果にしたがってノイズ除去処理の実行を開始すると、SATDの値が低下するため、実行判定部15の判定結果が、過度のノイズが重畳されていないとする判定に変化する。この判定結果を受けて、直ちにノイズ除去処理の実行を停止するようにすると、ノイズ除去処理の実行開始と実行停止を繰り返すような発振状態に陥ることがある。
画像内容変化通知部21は、入力された画像の変化量を監視する。例えば、入力された画像の変化量として、入力された画像の最新フレームを構成している複数の画素と、前フレームを構成している複数の画素との差分絶対値和を求める。
画像内容変化通知部21は、フレーム毎に画像の変化量を求め、例えば、シーンチェンジなどが発生して、その画像の変化量が予め設定された基準量より大きくなると、画像内容が大きく変化している旨をノイズ除去部22に通知する。
ここでは、入力された画像の変化量として差分絶対値和を求める例を示しているが、符号化制御部1により同一のピクチャ内で、符号化モードとしてイントラ符号化モードが選択された符号化ブロックの数をカウントし、そのカウント値が予め設定された閾値以上であれば、画像内容が大きく変化していると判断するようにしてもよい。
ノイズ除去部22は、符号化ブロックに対するノイズ除去処理の実行を開始すると、その後に、実行判定部15により符号化に影響を与えるほどの過度のノイズが重畳されていないと判定された場合でも、符号化ブロックに対するノイズ除去処理の実行を継続する。
ノイズ除去部22は、画像内容変化通知部21から画像内容が大きく変化している旨の通知を受けると、符号化ブロックに対するノイズ除去処理の実行を停止する。
これにより、ノイズ除去処理の実行開始と実行停止を繰り返すような発振状態の発生を防ぐことができる。
図7はこの発明の実施の形態4によるノイズ除去装置を実装している画像符号化装置を示す構成図であり、図7において、図1と同一符号は同一または相当部分を示すので説明を省略する。
静止画像判定部23は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、入力された画像が静止画像であるか否かを判定する処理を実施する。なお、静止画像判定部23は静止画像判定手段を構成している。
ノイズ除去部24は図1のノイズ除去部16又は図6のノイズ除去部22と同様に、実行判定部15からノイズ除去処理の実行指令を受けると、符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行する。
ただし、ノイズ除去部24は、静止画像判定部23の判定結果が静止画像である旨を示していれば、実行判定部15からノイズ除去処理の実行指令を受けても、ノイズ除去処理の実行を開始しない。なお、ノイズ除去部24はノイズ除去手段を構成している。
上記実施の形態1,2では、実行判定部15からノイズ除去処理の実行指令を受けると、入力された画像が静止画像であっても、符号化ブロックに対するノイズ除去処理の実行を開始している。
しかし、入力された画像が静止画像である場合、仮にノイズが重畳されていても圧縮性能や画質が著しく低下することが少ない。このため、この実施の形態4では、入力された画像が静止画像である場合、ノイズ除去処理の実行に伴う画像ぼけなどの副作用の発生を防ぐことを優先し、ノイズ除去処理の実行を開始しないようにする。
具体的には、以下の通りである。
静止画像判定部23は、フレーム毎に画像の変化量を求め、その画像の変化量が予め設定された下限値より小さい場合、入力された画像が静止画像であると判定する。
ノイズ除去部24は、実行判定部15からノイズ除去処理の実行指令を受けると、符号化ブロックに対するノイズ除去処理の実行を開始するが、静止画像判定部23の判定結果が静止画像である旨を示していれば、実行判定部15からノイズ除去処理の実行指令を受けても、ノイズ除去処理の実行を開始しない。したがって、入力された画像が静止画像でない場合に限り、符号化ブロックに対するノイズ除去処理を実行する。
上記実施の形態4では、入力された画像が静止画像である場合、実行判定部15からノイズ除去処理の実行指令を受けても、ノイズ除去処理の実行を開始しないものを示したが、ノイズ除去部24が、インター予測部12によりインター予測画像が生成される際に求められる動きベクトルを収集して、その動きベクトルの分散値を算出する分散値算出手段を構成し、その動きベクトルの分散値が予め設定された閾値より小さければ、実行判定部15からノイズ除去処理の実行指令を受けても、ノイズ除去処理の実行を開始しないようにしてもよい。
ノイズ除去部24は、インター予測部12によりインター予測画像が生成される際に求められる動きベクトルを収集して、その動きベクトルの分散値を算出する(例えば、nピクチャ分の動きベクトルの分散値を算出する)。
例えば、入力画像がCG(Computer Graphic)の場合、非常に細やかなテクスチャが存在することがあるため、ノイズが重畳されていないにもかかわらず、最小のブロックサイズでもSATDの値が大きくなることがあるが、ピクチャ内で動きベクトルが一定方向に揃いやすい傾向がある。このため、動きベクトルの分散値を監視(ピクチャ内で動きベクトルが一定方向に揃っているか否かを監視)することで、入力された画像が、CG又はそれに類する画像であるか否かを判別することができる。
ノイズ除去部24は、動きベクトルの分散値を算出すると、その動きベクトルの分散値と予め設定された閾値を比較し、その動きベクトルの分散値が当該閾値より小さければ、実行判定部15からノイズ除去処理の実行指令を受けても、ノイズ除去処理の実行を開始しないようにする。
即ち、入力画像がCG又はそれに類する画像である場合、ノイズが重畳されていないにもかかわらず、最小のブロックサイズでもSATDの値が大きくなることがある。このため、ノイズが重畳されていないにもかかわらず、実行判定部15が、過度のノイズが重畳されていると誤判定して、ノイズ除去処理の実行指令を出力することがある。この結果、ノイズ除去処理の実行に伴う画像ぼけなどの副作用が発生することがある。
しかし、この実施の形態5では、入力画像がCG又はそれに類する画像であるために、動きベクトルの分散値が閾値より小さくなると、ノイズ除去処理の実行を開始しないように構成しているので、ノイズの誤検出に伴うノイズ除去処理の実行を回避して、画像ぼけなどの副作用の発生を防ぐことができる。
なお、入力された画像がCG以外の画像である場合でも、動きベクトルが一定方向に揃うようなケースでは、仮にノイズが重畳されていても、圧縮性能や画質が低下することが少ないため、ノイズ除去処理の実行を回避しても特に問題はない。
画像符号化装置では、一般的に、ブロックサイズによらずSATDが同程度の値となるような場合、減算部2から出力された予測差分信号に対する直交変換処理を実施する際の変換ブロックとして、大きなサイズの変換ブロックを選択するようなアルゴリズムを採用している。
一方、ノイズが重畳されており、ブロックノイズが検知され易くなっている状態では、変換ブロックのサイズが小さい方が主観的な画質が良くなる傾向がある。
ここでは、SATD8が大きい程、小さなサイズの変換ブロックを用いる例を示しているが、SATD16,SATD32又はSATD64の大きさを評価し、SATD16等が大きい程、小さなサイズの変換ブロックを用いるようにしてもよい。
上記実施の形態6では、実行判定部15からノイズ除去処理の実行指令が出力されている場合、SATD算出部14により算出されたSATD8が大きい程、減算部2から出力された予測差分信号に対する直交変換処理を実施する際の変換ブロックとして、小さなサイズの変換ブロックを用いるものを示したが、実行判定部15からノイズ除去処理の実行指令が出力されている場合、量子化部4が、符号化制御部1の指示の下、SATD算出部14により算出されたSATD8が大きい程、直交変換部3から出力された直交変換係数を量子化する際に用いる量子化スケーリングリスト(量子化マトリクス)の成分を大きくするようにしてもよい。このとき、逆量子化部6も同様に、量子化スケーリングリストの成分を大きくするようにする。
量子化部4による直交変換係数の量子化は、直交変換マトリクスの成分である直交変換係数を、量子化スケーリングリストの成分で除算するものであり、その除算結果が圧縮データ(量子化後の直交変換係数)となる。
この実施の形態7では、量子化部4及び逆量子化部6は、実行判定部15からノイズ除去処理の実行指令が出力されている場合、符号化制御部1の指示の下、SATD算出部14により算出されたSATD8が大きい程、量子化スケーリングリストの成分を大きくすることで、圧縮データ(量子化後の直交変換係数)が小さくなるようにしている。
これにより、ノイズ除去部24で、狭帯域の帯域制限フィルタを適用した場合と類似の効果を得ることができる。
Claims (10)
- 入力された画像を構成する符号化対象のブロックである符号化ブロックと、前記符号化ブロックに対する予測処理で生成された予測ブロックとの差分を直交変換して、前記差分の直交変換結果である直交変換係数の絶対値和を算出する絶対値和算出手段と、
前記絶対値和算出手段により算出された直交変換係数の絶対値和に基づいて前記符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行すべきか否かを判定する実行判定手段と、
前記実行判定手段の判定結果が前記ノイズ除去処理を実行すべき旨を示していれば、前記符号化ブロックに対する前記ノイズ除去処理を実行するノイズ除去手段と
を備えたノイズ除去装置。 - 前記絶対値和算出手段は、
予め、複数のブロックサイズが設定されるブロックサイズ設定部と、
前記ブロックサイズ設定部により設定されているブロックサイズ毎に、前記符号化ブロックを当該ブロックサイズの分割ブロックに分割するブロック分割部と、
前記ブロック分割部により分割された符号化ブロックの分割ブロック毎に、当該分割ブロックと、当該分割ブロックに対する予測処理で生成された予測ブロックとの差分を直交変換して、前記差分の直交変換結果である直交変換係数の絶対値和を算出し、前記符号化ブロックにおける前記分割ブロックの個数分の前記絶対値和の総和を算出する総和算出部とから構成されており、
前記実行判定手段は、前記ブロックサイズ設定部により設定されているブロックサイズ毎に前記総和算出部により算出された絶対値和の総和の間の比率をそれぞれ算出し、前記比率の全てが予め設定された閾値より小さい場合、前記ノイズ除去処理を実行すべき旨を示す判定結果を前記ノイズ除去手段に出力することを特徴とする請求項1記載のノイズ除去装置。 - 前記絶対値和算出手段は、
予め、複数のブロックサイズが設定されるブロックサイズ設定部と、
前記ブロックサイズ設定部により設定されているブロックサイズ毎に、前記符号化ブロックを当該ブロックサイズの分割ブロックに分割するブロック分割部と、
前記ブロック分割部により分割された符号化ブロックの分割ブロック毎に、当該分割ブロックと、当該分割ブロックに対する予測処理で生成された予測ブロックとの差分を直交変換して、前記差分の直交変換結果である直交変換係数の絶対値和を算出し、前記符号化ブロックにおける前記分割ブロックの個数分の前記絶対値和の総和を算出する総和算出部とから構成されており、
前記実行判定手段は、前記ブロックサイズ設定部により設定されているブロックサイズ毎に前記総和算出部により算出された絶対値和の総和の全てが予め設定された閾値より大きい場合、前記ノイズ除去処理を実行すべき旨を示す判定結果を前記ノイズ除去手段に出力することを特徴とする請求項1記載のノイズ除去装置。 - 前記入力された画像の変化量を監視し、前記変化量が予め設定された基準量より大きい場合、画像内容が大きく変化している旨を通知する画像内容変化通知手段を備え、
前記ノイズ除去手段は、前記ノイズ除去処理の実行を開始した後、前記実行判定手段の判定結果が前記ノイズ除去処理を実行すべきでない旨を示す判定結果に変化しても、前記画像内容変化通知手段から画像内容が大きく変化している旨の通知を受けるまでの間は、前記ノイズ除去処理の実行を継続することを特徴とする請求項1から請求項3のうちのいずれか1項記載のノイズ除去装置。 - 前記入力された画像が静止画像であるか否かを判定する静止画像判定手段を備え、
前記ノイズ除去手段は、前記静止画像判定手段の判定結果が静止画像である旨を示していれば、前記実行判定手段の判定結果が前記ノイズ除去処理を実行すべき旨を示していても、前記ノイズ除去処理を実行しないことを特徴とする請求項1から請求項4のうちのいずれか1項記載のノイズ除去装置。 - 前記符号化ブロックに対する予測処理で前記予測ブロックが生成される際に求められる動きベクトルの分散値を算出する分散値算出手段を備え、
前記ノイズ除去手段は、前記分散値算出手段により算出された分散値が予め設定された閾値より小さければ、前記実行判定手段の判定結果が前記ノイズ除去処理を実行すべき旨を示していても、前記ノイズ除去処理を実行しないことを特徴とする請求項1から請求項5のうちのいずれか1項記載のノイズ除去装置。 - 絶対値和算出手段が、入力された画像を構成する符号化対象のブロックである符号化ブロックと、前記符号化ブロックに対する予測処理で生成された予測ブロックとの差分を直交変換して、前記差分の直交変換結果である直交変換係数の絶対値和を算出し、
実行判定手段が、前記絶対値和算出手段により算出された直交変換係数の絶対値和に基づいて前記符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行すべきか否かを判定し、
ノイズ除去手段が、前記実行判定手段の判定結果が前記ノイズ除去処理を実行すべき旨を示していれば、前記ノイズ除去処理を実行するノイズ除去方法。 - 入力された画像を構成する符号化対象のブロックである符号化ブロックに対する予測処理を実施して予測ブロックを生成する予測ブロック生成手段と、
前記符号化ブロックと前記予測ブロック生成手段により生成された予測ブロックとの差分を圧縮して、前記差分の圧縮データを出力する圧縮手段と、
前記圧縮手段から出力された圧縮データを可変長符号化する可変長符号化手段とを備えた画像符号化装置において、
前記符号化ブロックと前記予測ブロックとの差分を直交変換して、前記差分の直交変換結果である直交変換係数の絶対値和を算出する絶対値和算出手段と、
前記絶対値和算出手段により算出された直交変換係数の絶対値和に基づいて前記符号化ブロックに重畳されているノイズを除去するノイズ除去処理を実行すべきか否かを判定する実行判定手段と、
前記実行判定手段の判定結果が前記ノイズ除去処理を実行すべき旨を示していれば、前記符号化ブロックに対するノイズ除去処理を実行し、ノイズ除去処理後の前記符号化ブロックを前記圧縮手段に出力するノイズ除去手段とを備えたことを特徴とする画像符号化装置。 - 前記圧縮手段は、
前記符号化ブロックと前記予測ブロックとの差分を直交変換して、前記差分の直交変換結果である直交変換係数を出力する直交変換部と、
前記直交変換部から出力された直交変換係数を量子化し、量子化後の直交変換係数を圧縮データとして前記可変長符号化手段に出力する量子化部とから構成されており、
前記直交変換部は、前記実行判定手段の判定結果が前記ノイズ除去処理を実行すべき旨を示している場合、前記絶対値和算出手段により算出された直交変換係数の絶対値和が大きい程、前記差分を直交変換する際の変換ブロックとして、小さなサイズの変換ブロックを用いることを特徴とする請求項8記載の画像符号化装置。 - 前記圧縮手段は、
前記符号化ブロックと前記予測ブロックとの差分を直交変換して、前記差分の直交変換結果である直交変換係数を出力する直交変換部と、
前記直交変換部から出力された直交変換係数を量子化し、量子化後の直交変換係数を圧縮データとして前記可変長符号化手段に出力する量子化部とから構成されており、
前記量子化部は、前記実行判定手段の判定結果が前記ノイズ除去処理を実行すべき旨を示している場合、前記絶対値和算出手段により算出された直交変換係数の絶対値和が大きい程、前記直交変換部から出力された直交変換係数を量子化する際に用いる量子化スケーリングリストの成分を大きくすることを特徴とする請求項8または請求項9記載の画像符号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014187776A JP6249913B2 (ja) | 2014-09-16 | 2014-09-16 | ノイズ除去装置、ノイズ除去方法及び画像符号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014187776A JP6249913B2 (ja) | 2014-09-16 | 2014-09-16 | ノイズ除去装置、ノイズ除去方法及び画像符号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016063290A true JP2016063290A (ja) | 2016-04-25 |
JP6249913B2 JP6249913B2 (ja) | 2017-12-20 |
Family
ID=55798231
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014187776A Expired - Fee Related JP6249913B2 (ja) | 2014-09-16 | 2014-09-16 | ノイズ除去装置、ノイズ除去方法及び画像符号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6249913B2 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05268586A (ja) * | 1992-03-20 | 1993-10-15 | Victor Co Of Japan Ltd | 画像圧縮装置 |
JPH06233275A (ja) * | 1993-01-29 | 1994-08-19 | Sharp Corp | 雑音除去装置 |
JPH06343167A (ja) * | 1993-06-01 | 1994-12-13 | Sanyo Electric Co Ltd | 動画像圧縮回路 |
JPH07154788A (ja) * | 1993-11-30 | 1995-06-16 | Matsushita Electric Ind Co Ltd | 映像信号の符号化装置 |
JP2004215275A (ja) * | 2003-01-02 | 2004-07-29 | Samsung Electronics Co Ltd | 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置 |
-
2014
- 2014-09-16 JP JP2014187776A patent/JP6249913B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05268586A (ja) * | 1992-03-20 | 1993-10-15 | Victor Co Of Japan Ltd | 画像圧縮装置 |
JPH06233275A (ja) * | 1993-01-29 | 1994-08-19 | Sharp Corp | 雑音除去装置 |
JPH06343167A (ja) * | 1993-06-01 | 1994-12-13 | Sanyo Electric Co Ltd | 動画像圧縮回路 |
JPH07154788A (ja) * | 1993-11-30 | 1995-06-16 | Matsushita Electric Ind Co Ltd | 映像信号の符号化装置 |
JP2004215275A (ja) * | 2003-01-02 | 2004-07-29 | Samsung Electronics Co Ltd | 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6249913B2 (ja) | 2017-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2007313905B2 (en) | Method and apparatus for adaptive noise filtering of pixel data | |
KR100874518B1 (ko) | 동화상 복호화 방법 및 장치 | |
KR101482896B1 (ko) | 최적화된 디블록킹 필터 | |
US8649431B2 (en) | Method and apparatus for encoding and decoding image by using filtered prediction block | |
US8514935B2 (en) | Image coding apparatus, image coding method, integrated circuit, and camera | |
US20120087411A1 (en) | Internal bit depth increase in deblocking filters and ordered dither | |
US20120008687A1 (en) | Video coding using vector quantized deblocking filters | |
US9736485B2 (en) | Encoding apparatus, encoding method, and image capture apparatus | |
JP5943733B2 (ja) | 画像符号化装置およびその制御方法ならびにプログラム | |
US9930352B2 (en) | Reducing noise in an intraframe appearance cycle | |
US8891622B2 (en) | Motion picture coding apparatus, motion picture coding method and computer readable information recording medium | |
JP2005295215A (ja) | 動画像符号化装置 | |
JP6249913B2 (ja) | ノイズ除去装置、ノイズ除去方法及び画像符号化装置 | |
JP2007020216A (ja) | 符号化装置、符号化方法、フィルタ処理装置およびフィルタ処理方法 | |
Wige et al. | Adaptive in-loop noise-filtered prediction for high efficiency video coding | |
Goto et al. | A study on improving image quality of highly compressed moving pictures | |
KR100814715B1 (ko) | 동영상 부호화기, 복호화기 및 그 방법 | |
JP2012209873A (ja) | 動画像符号化装置及び動画像符号化方法 | |
Kamisli et al. | Reduction of blocking artifacts using side information | |
GOTO et al. | A Deblocking Method using Wavelet Transform for MPEG-II format | |
JP2012209874A (ja) | 動画像復号化装置及び動画像復号化方法 | |
JP2007006533A (ja) | 符号化装置、符号化方法、フィルタ処理装置およびフィルタ処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170123 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171012 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171024 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171121 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6249913 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |