しかし、特許文献1に示されている手法では、上述のフィルタ処理を、ブロックノイズが発生する程度まで画素値の変動が大きい参照画素を対象としている。このため、ブロックノイズが発生する程度までは画素値の変動が大きくない参照画素に対しては、フィルタ処理を行わないので、上述の擬似輪郭を抑制できない場合があった。
一方、特許文献2に示されている手法では、高階調画像を生成するために、画像を高階調化する処理が必要になる。このため、演算コストが増大してしまうおそれがあった。
そこで、本発明は、上述の課題を鑑みてなされたものであり、演算コストの増大を抑制しつつ、擬似輪郭を抑制することを目的とする。
本発明は、上記の課題を解決するために、以下の事項を提案している。
(1) 本発明は、動画像(例えば、図2の入力画像SIG1に相当)を符号化して符号化データ(例えば、図2のビットストリームSIG2に相当)を生成する動画像符号化装置(例えば、図2の動画像符号化装置1に相当)であって、前記動画像を分割して得られたブロックごとに、明るさの変化方向を抽出する抽出手段(例えば、図2の抽出部70に相当)と、前記動画像を分割して得られたブロックごとに、前記抽出手段により抽出された明るさの変化方向に基づいて、局所復号画像(例えば、図2のフィルタ前局所復号画像SIG9に相当)の画素値を制御する画素値制御手段(例えば、図2のインループフィルタ部80に相当)と、を備えることを特徴とする動画像符号化装置を提案している。
この発明によれば、動画像を分割して得られたブロックごとに、抽出手段によって、明るさの変化方向を抽出し、画素値制御手段によって、抽出手段により抽出された明るさの変化方向に基づいて局所復号画像の画素値を制御することとした。このため、上述の特許文献1に示されている手法では擬似輪郭を抑制できないほどに局所復号画像の画素値の変動が小さい場合であっても、明るさの変化方向に基づいて局所復号画像の画素値を制御して、擬似輪郭を抑制することができる。
また、この発明によれば、上述のように、動画像を分割して得られたブロックごとに、抽出手段によって、明るさの変化方向を抽出し、画素値制御手段によって、抽出手段により抽出された明るさの変化方向に基づいて局所復号画像の画素値を制御することとした。このため、上述の特許文献2に示されている手法のように高階調画像を生成する必要がないため、演算コストの増大を抑制することができる。
(2) 本発明は、(1)の動画像符号化装置について、前記画素値制御手段は、前記局所復号画像の画素値に対して、前記抽出手段により抽出された明るさの変化方向を反映させた乱数を加算することを特徴とする動画像符号化装置を提案している。
この発明によれば、(1)の動画像符号化装置において、画素値制御手段によって、局所復号画像の画素値に対して、抽出手段により抽出された明るさの変化方向を反映させた乱数を加算することとした。このため、抑制したい擬似輪郭の輪郭線の近傍において、明るさの変化方向を考慮しつつ、この輪郭線に沿って画素値が規則的に変化しないようにすることができる。したがって、局所復号画像の画素値に対して、明るさの変化方向に応じて規則的に変化する値を加算したり乗算したりすると、抑制したい擬似輪郭の輪郭線の近傍において、この輪郭線に沿って画素値が規則的に変化する領域ができてしまい、擬似輪郭を抑制できなかったり、新たに擬似輪郭が発生してしまったりするおそれがあったが、擬似輪郭を的確に抑制することができる。
(3) 本発明は、(1)または(2)の動画像符号化装置について、前記抽出手段は、イントラ予測または双方向予測が適用されたブロックごとに、前記明るさの変化方向の抽出を行い、前記画素値制御手段は、イントラ予測または双方向予測が適用されたブロックごとに、前記局所復号画像の画素値の制御を行うことを特徴とする動画像符号化装置を提案している。
この発明によれば、(1)または(2)の動画像符号化装置において、イントラ予測または双方向予測が適用されたブロックごとに、抽出手段による明るさの変化方向の抽出と、画素値制御手段による局所復号画像の画素値の制御と、を行うこととした。ここで、本発明者らは、片方向予測が適用されたブロックでは擬似輪郭が発生しにくいことを見出した。このため、片方向予測が適用されたブロック、すなわち擬似輪郭が発生しにくいブロックでは、抽出手段および画素値制御手段における処理を削減して、演算コストを抑制することができる。
(4) 本発明は、(1)または(2)の動画像符号化装置について、前記動画像を分割して得られた各ブロックの中から対象ブロックを検出する検出手段(例えば、図2の検出部60に相当)を備え、前記抽出手段は、前記検出手段により前記対象ブロックとして検出されたブロックごとに、前記明るさの変化方向の抽出を行い、前記画素値制御手段は、前記検出手段により前記対象ブロックとして検出されたブロックごとに、前記局所復号画像の画素値の制御を行い、前記検出手段は、予測対象ブロックに属する各画素の画素値のうち最も大きいものと、当該予測対象ブロックに属する各画素の画素値のうち最も小さいものと、の差分(例えば、後述のブロック内変動値に相当)が第1の閾値(例えば、後述の「1」に相当)以上かつ第2の閾値(例えば、後述のαに相当)未満であることと、前記予測対象ブロックに属する各画素のうち互いに隣接する画素同士について、画素値の差分を算出し、算出した画素値の差分の合計値(例えば、後述のエッジ値に相当)が第3の閾値(例えば、後述のβに相当)以上であることと、前記予測対象ブロックに属する各画素の画素値の分散値(例えば、後述のブロック内分散値に相当)が第4の閾値以下であることと、のうち少なくともいずれかを満たす場合に、前記予測対象ブロックを前記対象ブロックとして検出することを特徴とする動画像符号化装置を提案している。
この発明によれば、(1)または(2)の動画像符号化装置において、検出手段によって、以下の3つの条件のうち少なくとも1つを満たす場合に、予測対象ブロックを対象ブロックとして検出し、検出手段により対象ブロックとして検出されたブロックごとに、抽出手段による明るさの変化方向の抽出と、画素値制御手段による局所復号画像の画素値の制御と、を行うこととした。1つ目の条件は、予測対象ブロックに属する各画素の画素値のうち最も大きいものと最も小さいものとの差分が第1の閾値以上かつ第2の閾値未満であることとした。2つ目の条件は、予測対象ブロックに属する各画素のうち互いに隣接する画素同士について、画素値の差分を算出し、算出した画素値の差分の合計値が第3の閾値以上であることとした。3つ目の条件は、予測対象ブロックに属する各画素の画素値の分散値が第4の閾値以下であることとした。ここで、擬似輪郭は、画素値の変動が小さく、かつ明るさが滑らかに変化しているブロックで発生しやすい。このため、検出手段により、画素値の変動が小さく、かつ明るさが滑らかに変化しているブロックを検出して、このブロックに対して、抽出手段および画素値制御手段による処理を行うことができる。したがって、画素値の変動が大きいブロックや明るさが滑らかには変化していないブロック、すなわち擬似輪郭が発生しにくいブロックでは、抽出手段および画素値制御手段における処理を削減して、演算コストを抑制することができる。
(5) 本発明は、(4)の動画像符号化装置について、前記検出手段は、イントラ予測または双方向予測が適用されたブロックごとに、前記対象ブロックの検出を行い、前記抽出手段は、イントラ予測または双方向予測が適用されるとともに前記検出手段により前記対象ブロックとして検出されたブロックごとに、前記明るさの変化方向の抽出を行い、前記画素値制御手段は、イントラ予測または双方向予測が適用されるとともに前記検出手段により前記対象ブロックとして検出されたブロックごとに、前記局所復号画像の画素値の制御を行うことを特徴とする動画像符号化装置を提案している。
この発明によれば、(4)の動画像符号化装置において、イントラ予測または双方向予測が適用されたブロックごとに、検出手段による対象ブロックの検出を行うこととした。また、イントラ予測または双方向予測が適用されるとともに検出手段により対象ブロックとして検出されたブロックごとに、抽出手段による明るさの変化方向の抽出と、画素値制御手段による局所復号画像の画素値の制御と、を行うこととした。このため、片方向予測が適用されたブロックと、画素値の変動が大きいブロックや明るさが滑らかには変化していないブロックとでは、抽出手段および画素値制御手段における処理を削減して、演算コストを抑制することができる。
(6) 本発明は、動画像(例えば、図8の入力画像SIG1に相当)を符号化して符号化データ(例えば、図8のビットストリームSIG2に相当)を生成する動画像符号化装置(例えば、図8の動画像符号化装置1Bに相当)であって、前記動画像を分割して得られたブロックごとに、予測画像(例えば、図8の予測画像SIG5に相当)を生成する予測画像生成手段(例えば、図8のインター予測部10やイントラ予測部20に相当)と、前記動画像を分割して得られたブロックごとに、前記動画像と、前記予測画像生成手段により生成された予測画像と、の残差信号(例えば、図8の残差信号SIG6に相当)を量子化する量子化手段(例えば、図8の変換・量子化部30Aに相当)と、前記動画像を分割して得られたブロックごとに、前記量子化手段により量子化が行われるよりも前に前記残差信号を制御して、当該量子化手段により量子化した値が「1」以上になるようにするレベル値制御手段(例えば、図8の制御部70Bに相当)と、を備えることを特徴とする動画像符号化装置を提案している。
この発明によれば、レベル値制御手段によって、動画像を分割して得られたブロックごとに、量子化手段により量子化が行われるよりも前に残差信号を制御して、量子化手段により量子化した値が「1」以上になるようにすることとした。このため、量子化手段における量子化幅よりも階調の小さな変動についても、量子化後に「1」以上の有意な値にすることができる。したがって、量子化幅を量子化パラメータの最小値に決定しても、量子化幅よりも階調の小さな変動については量子化後にゼロになってしまうため、上述の特許文献2に示されている手法では、擬似輪郭を抑制できない場合があったが、擬似輪郭を抑制することができる。
また、この発明によれば、上述のように、レベル値制御手段によって、動画像を分割して得られたブロックごとに、量子化手段により量子化が行われるよりも前に残差信号を制御して、量子化手段により量子化した値が「1」以上になるようにすることとした。このため、上述の特許文献1に示されている手法では擬似輪郭を抑制できないほどに局所復号画像の画素値の変動が小さい場合であっても、明るさの変化方向に基づいて局所復号画像の画素値を制御して、擬似輪郭をさらに抑制することができる。
また、この発明によれば、上述のように、レベル値制御手段によって、動画像を分割して得られたブロックごとに、量子化手段により量子化が行われるよりも前に残差信号を制御して、量子化手段により量子化した値が「1」以上になるようにすることとした。このため、上述の特許文献2に示されている手法のように高階調画像を生成する必要がないため、演算コストの増大を抑制することができる。
(7) 本発明は、(6)の動画像符号化装置について、前記レベル値制御手段は、イントラ予測が適用されたブロックについては、前記残差信号の制御を行い、インター予測が適用されたブロックについては、インター予測におけるレート歪最適化のコスト値を制御して、当該ブロックのインター予測が行われる際に片方向予測が選択されやすくすることを特徴とする動画像符号化装置を提案している。
この発明によれば、(6)の動画像符号化装置において、イントラ予測が適用されたブロックについては、レベル値制御手段により、残差信号の制御を行うこととした。また、インター予測が適用されたブロックについては、レベル値制御手段により、インター予測におけるレート歪最適化のコスト値を制御して、このブロックのインター予測が行われる際に片方向予測が選択されやすくすることとした。ここで、本発明者らは、片方向予測が適用されたブロックでは擬似輪郭が発生しにくいことを見出した。このため、インター予測において片方向予測が選択されやすくすることができ、擬似輪郭をさらに抑制することができる。
(8) 本発明は、(6)の動画像符号化装置について、前記動画像を分割して得られた各ブロックの中から対象ブロックを検出する検出手段(例えば、図8の検出部60に相当)を備え、前記レベル値制御手段は、前記検出手段により前記対象ブロックとして検出されたブロックごとに、前記残差信号の制御を行い、前記検出手段は、予測対象ブロックに属する各画素の画素値のうち最も大きいものと、当該予測対象ブロックに属する各画素の画素値のうち最も小さいものと、の差分(例えば、後述のブロック内変動値に相当)が第1の閾値(例えば、後述の「1」に相当)以上かつ第2の閾値(例えば、後述のαに相当)未満であることと、前記予測対象ブロックに属する各画素のうち互いに隣接する画素同士について、画素値の差分を算出し、算出した画素値の差分の合計値(例えば、後述のエッジ値に相当)が第3の閾値(例えば、後述のβに相当)以上であることと、前記予測対象ブロックに属する各画素の画素値の分散値(例えば、後述のブロック内分散値に相当)が第4の閾値以下であることと、のうち少なくともいずれかを満たす場合に、前記予測対象ブロックを前記対象ブロックとして検出することを特徴とする動画像符号化装置を提案している。
この発明によれば、(6)の動画像符号化装置において、検出手段によって、以下の3つの条件のうち少なくとも1つを満たす場合に、予測対象ブロックを対象ブロックとして検出し、検出手段により対象ブロックとして検出されたブロックごとに、レベル値制御手段による残差信号の制御を行うこととした。1つ目の条件は、予測対象ブロックに属する各画素の画素値のうち最も大きいものと最も小さいものとの差分が第1の閾値以上かつ第2の閾値未満であることとした。2つ目の条件は、予測対象ブロックに属する各画素のうち互いに隣接する画素同士について、画素値の差分を算出し、算出した画素値の差分の合計値が第3の閾値以上であることとした。3つ目の条件は、予測対象ブロックに属する各画素の画素値の分散値が第4の閾値以下であることとした。ここで、擬似輪郭は、画素値の変動が小さく、かつ明るさが滑らかに変化しているブロックで発生しやすい。このため、検出手段により、画素値の変動が小さく、かつ明るさが滑らかに変化しているブロックを検出して、このブロックに対して、レベル値制御手段による処理を行うことができる。したがって、画素値の変動が大きいブロックや明るさが滑らかには変化していないブロック、すなわち擬似輪郭が発生しにくいブロックでは、レベル値制御手段における処理を削減して、演算コストを抑制することができる。
(9) 本発明は、(8)の動画像符号化装置について、前記レベル値制御手段は、イントラ予測が適用されるとともに前記検出手段により前記対象ブロックとして検出されたブロックについては、前記残差信号の制御を行い、インター予測が適用されるとともに前記検出手段により前記対象ブロックとして検出されたブロックについては、インター予測におけるレート歪最適化のコスト値を制御して、当該ブロックのインター予測が行われる際に片方向予測が選択されやすくすることを特徴とする動画像符号化装置を提案している。
この発明によれば、(8)の動画像符号化装置において、イントラ予測が適用された対象ブロックについては、レベル値制御手段によって、残差信号の制御を行うこととした。また、インター予測が適用された対象ブロックについては、レベル値制御手段によって、インター予測におけるレート歪最適化のコスト値を制御して、このブロックのインター予測が行われる際に片方向予測が選択されやすくすることとした。このため、インター予測において片方向予測が選択されやすくすることができ、擬似輪郭をさらに抑制することができる。
(10) 本発明は、動画像(例えば、図2の入力画像SIG1に相当)を符号化して得られた符号化データ(例えば、図3のビットストリームSIG2に相当)を復号する動画像復号装置(例えば、図3の動画像復号装置100に相当)であって、前記符号化データを復号して、前記動画像を分割して得られたブロックごとに抽出された明るさの変化方向を取得する復号手段(例えば、図3のエントロピー復号部110に相当)と、前記動画像を分割して得られたブロックごとに、前記復号手段により取得された明るさの変化方向に基づいて、局所復号画像(例えば、図3のフィルタ前局所復号画像SIG107に相当)の画素値を制御する画素値制御手段(例えば、図3のインループフィルタ部150に相当)と、を備えることを特徴とする動画像復号装置を提案している。
この発明によれば、復号手段によって、符号化データを復号して、動画像を分割して得られたブロックごとに抽出された明るさの変化方向を取得し、画素値制御手段によって、動画像を分割して得られたブロックごとに、復号手段により取得された明るさの変化方向に基づいて、局所復号画像の画素値を制御することとした。このため、上述の特許文献1に示されている手法では擬似輪郭を抑制できないほどに局所復号画像の画素値の変動が小さい場合であっても、明るさの変化方向に基づいて局所復号画像の画素値を制御して、擬似輪郭を抑制することができる。
また、この発明によれば、上述のように、復号手段によって、符号化データを復号して、動画像を分割して得られたブロックごとに抽出された明るさの変化方向を取得し、画素値制御手段によって、動画像を分割して得られたブロックごとに、復号手段により取得された明るさの変化方向に基づいて、局所復号画像の画素値を制御することとした。このため、上述の特許文献2に示されている手法のように高階調画像を生成する必要がないため、演算コストの増大を抑制することができる。
(11) 本発明は、(10)の動画像復号装置について、前記画素値制御手段は、前記局所復号画像の画素値に対して、前記復号手段により取得された明るさの変化方向を反映させた乱数を加算することを特徴とする動画像復号装置を提案している。
この発明によれば、(10)の動画像復号装置において、画素値制御手段によって、局所復号画像の画素値に対して、復号手段により取得された明るさの変化方向を反映させた乱数を加算することとした。このため、抑制したい擬似輪郭の輪郭線の近傍において、明るさの変化方向を考慮しつつ、この輪郭線に沿って画素値が規則的に変化しないようにすることができる。したがって、局所復号画像の画素値に対して、明るさの変化方向に応じて規則的に変化する値を加算したり乗算したりすると、抑制したい擬似輪郭の輪郭線の近傍において、この輪郭線に沿って画素値が規則的に変化する領域ができてしまい、擬似輪郭を抑制できなかったり、新たに擬似輪郭が発生してしまったりするおそれがあったが、擬似輪郭を的確に抑制することができる。
(12) 本発明は、(10)または(11)の動画像復号装置について、前記画素値制御手段は、イントラ予測または双方向予測が適用されたブロックごとに、前記局所復号画像の画素値の制御を行うことを特徴とする動画像復号装置を提案している。
この発明によれば、(10)または(11)の動画像復号装置において、イントラ予測または双方向予測が適用されたブロックごとに、画素値制御手段による局所復号画像の画素値の制御を行うこととした。ここで、本発明者らは、片方向予測が適用されたブロックでは擬似輪郭が発生しにくいことを見出した。このため、片方向予測が適用されたブロック、すなわち擬似輪郭が発生しにくいブロックでは、画素値制御手段における処理を削減して、演算コストを抑制することができる。
(13) 本発明は、動画像(例えば、図2の入力画像SIG1に相当)を符号化して符号化データ(例えば、図2のビットストリームSIG2に相当)を生成する動画像符号化装置(例えば、図2の動画像符号化装置1に相当)と、当該符号化データを復号する動画像復号装置(例えば、図3の動画像復号装置100に相当)と、を備える動画像処理システム(例えば、図1の動画像処理システムAAに相当)であって、前記動画像符号化装置は、前記動画像を分割して得られたブロックごとに、明るさの変化方向を抽出する抽出手段(例えば、図2の抽出部70に相当)と、前記動画像を分割して得られたブロックごとに、前記抽出手段により抽出された明るさの変化方向に基づいて、局所復号画像(例えば、図2のフィルタ前局所復号画像SIG9に相当)の画素値を制御する符号化側画素値制御手段(例えば、図2のインループフィルタ部80に相当)と、前記動画像を分割して得られたブロックごとに抽出された明るさの変化方向を含む、前記符号化データを生成する符号化データ生成手段(例えば、図2のエントロピー符号化部40に相当)と、を備え、前記動画像復号装置は、前記符号化データを復号して、前記動画像を分割して得られたブロックごとに抽出された明るさの変化方向を取得する復号手段(例えば、図3のエントロピー復号部110に相当)と、前記動画像を分割して得られたブロックごとに、前記復号手段により取得された明るさの変化方向に基づいて、局所復号画像(例えば、図3のフィルタ前局所復号画像SIG107に相当)の画素値を制御する復号側画素値制御手段(例えば、図3のインループフィルタ部150に相当)と、を備えることを特徴とする動画像処理システムを提案している。
この発明によれば、上述した効果と同様の効果を奏することができる。
(14) 本発明は、動画像(例えば、図8の入力画像SIG1に相当)を符号化して符号化データ(例えば、図8のビットストリームSIG2に相当)を生成する動画像符号化装置(例えば、図8の動画像符号化装置1Bに相当)と、当該符号化データを復号する動画像復号装置(例えば、図9の動画像復号装置100Bに相当)と、を備える動画像処理システム(例えば、図7の動画像処理システムCCに相当)であって、前記動画像符号化装置は、前記動画像を分割して得られたブロックごとに、予測画像(例えば、図8の予測画像SIG5に相当)を生成する予測画像生成手段(例えば、図8のインター予測部10やイントラ予測部20に相当)と、前記動画像を分割して得られたブロックごとに、前記動画像と、前記予測画像生成手段により生成された予測画像と、の残差信号(例えば、図8の残差信号SIG6に相当)を量子化する量子化手段(例えば、図8の変換・量子化部30Aに相当)と、前記動画像を分割して得られたブロックごとに、前記量子化手段により量子化が行われるよりも前に前記残差信号を制御して、当該量子化手段により量子化した値が「1」以上になるようにするレベル値制御手段(例えば、図8の制御部70Bに相当)と、前記動画像を分割して得られたブロックごとに抽出された明るさの変化方向を含む、前記符号化データを生成する符号化データ生成手段(例えば、図8のエントロピー符号化部40Aに相当)と、を備え、前記動画像復号装置は、前記符号化データを復号する復号手段(例えば、図9のエントロピー復号部110Aに相当)を備えることを特徴とする動画像処理システムを提案している。
この発明によれば、上述した効果と同様の効果を奏することができる。
(15) 本発明は、抽出手段(例えば、図2の抽出部70に相当)および画素値制御手段(例えば、図2のインループフィルタ部80に相当)を備え、動画像(例えば、図2の入力画像SIG1に相当)を符号化して符号化データ(例えば、図2のビットストリームSIG2に相当)を生成する動画像符号化装置(例えば、図2の動画像符号化装置1に相当)における動画像符号化方法であって、前記抽出手段が、前記動画像を分割して得られたブロックごとに、明るさの変化方向を抽出する第1のステップと、前記画素値制御手段が、前記動画像を分割して得られたブロックごとに、前記第1のステップにより抽出された明るさの変化方向に基づいて、局所復号画像(例えば、図2のフィルタ前局所復号画像SIG9に相当)の画素値を制御する第2のステップと、を備えることを特徴とする動画像符号化方法を提案している。
この発明によれば、上述した効果と同様の効果を奏することができる。
(16) 本発明は、予測画像生成手段(例えば、図8のインター予測部10やイントラ予測部20に相当)、量子化手段(例えば、図8の変換・量子化部30Aに相当)、およびレベル値制御手段(例えば、図8の制御部70Bに相当)を備え、動画像(例えば、図8の入力画像SIG1に相当)を符号化して符号化データ(例えば、図8のビットストリームSIG2に相当)を生成する動画像符号化装置(例えば、図8の動画像符号化装置1Bに相当)における動画像符号化方法であって、前記予測画像生成手段が、前記動画像を分割して得られたブロックごとに、予測画像(例えば、図8の予測画像SIG5に相当)を生成する第1のステップと、前記量子化手段が、前記動画像を分割して得られたブロックごとに、前記動画像と、前記第1のステップにより生成された予測画像と、の残差信号(例えば、図8の残差信号SIG6に相当)を量子化する第2のステップと、前記レベル値制御手段が、前記動画像を分割して得られたブロックごとに、前記第2のステップにより量子化が行われるよりも前に前記残差信号を制御して、当該第2のステップにより量子化した値が「1」以上になるようにする第3のステップと、を備えることを特徴とする動画像符号化方法を提案している。
この発明によれば、上述した効果と同様の効果を奏することができる。
(17) 本発明は、復号手段(例えば、図3のエントロピー復号部110に相当)および画素値制御手段(例えば、図3のインループフィルタ部150に相当)を備え、動画像(例えば、図2の入力画像SIG1に相当)を符号化して得られた符号化データ(例えば、図3のビットストリームSIG2に相当)を復号する動画像復号装置(例えば、図3の動画像復号装置100に相当)における動画像復号方法であって、前記復号手段が、前記符号化データを復号して、前記動画像を分割して得られたブロックごとに抽出された明るさの変化方向を取得する第1のステップと、前記画素値制御手段が、前記動画像を分割して得られたブロックごとに、前記第1のステップにより取得された明るさの変化方向に基づいて、局所復号画像(例えば、図3のフィルタ前局所復号画像SIG107に相当)の画素値を制御する第2のステップと、を備えることを特徴とする動画像復号方法を提案している。
この発明によれば、上述した効果と同様の効果を奏することができる。
(18) 本発明は、抽出手段(例えば、図2の抽出部70に相当)および画素値制御手段(例えば、図2のインループフィルタ部80に相当)を備え、動画像(例えば、図2の入力画像SIG1に相当)を符号化して符号化データ(例えば、図2のビットストリームSIG2に相当)を生成する動画像符号化装置(例えば、図2の動画像符号化装置1に相当)における動画像符号化方法を、コンピュータに実行させるためのプログラムであって、前記抽出手段が、前記動画像を分割して得られたブロックごとに、明るさの変化方向を抽出する第1のステップと、前記画素値制御手段が、前記動画像を分割して得られたブロックごとに、前記第1のステップにより抽出された明るさの変化方向に基づいて、局所復号画像(例えば、図2のフィルタ前局所復号画像SIG9に相当)の画素値を制御する第2のステップと、をコンピュータに実行させるためのプログラムを提案している。
この発明によれば、上述した効果と同様の効果を奏することができる。
(19) 本発明は、予測画像生成手段(例えば、図8のインター予測部10やイントラ予測部20に相当)、量子化手段(例えば、図8の変換・量子化部30Aに相当)、およびレベル値制御手段(例えば、図8の制御部70Bに相当)を備え、動画像(例えば、図8の入力画像SIG1に相当)を符号化して符号化データ(例えば、図8のビットストリームSIG2に相当)を生成する動画像符号化装置(例えば、図8の動画像符号化装置1Bに相当)における動画像符号化方法を、コンピュータに実行させるためのプログラムであって、前記予測画像生成手段が、前記動画像を分割して得られたブロックごとに、予測画像(例えば、図8の予測画像SIG5に相当)を生成する第1のステップと、前記量子化手段が、前記動画像を分割して得られたブロックごとに、前記動画像と、前記第1のステップにより生成された予測画像と、の残差信号(例えば、図8の残差信号SIG6に相当)を量子化する第2のステップと、前記レベル値制御手段が、前記動画像を分割して得られたブロックごとに、前記第2のステップにより量子化が行われるよりも前に前記残差信号を制御して、当該第2のステップにより量子化した値が「1」以上になるようにする第3のステップと、をコンピュータに実行させるためのプログラムを提案している。
この発明によれば、上述した効果と同様の効果を奏することができる。
(20) 本発明は、復号手段(例えば、図3のエントロピー復号部110に相当)および画素値制御手段(例えば、図3のインループフィルタ部150に相当)を備え、動画像(例えば、図2の入力画像SIG1に相当)を符号化して得られた符号化データ(例えば、図3のビットストリームSIG2に相当)を復号する動画像復号装置(例えば、図3の動画像復号装置100に相当)における動画像復号方法を、コンピュータに実行させるためのプログラムであって、前記復号手段が、前記符号化データを復号して、前記動画像を分割して得られたブロックごとに抽出された明るさの変化方向を取得する第1のステップと、前記画素値制御手段が、前記動画像を分割して得られたブロックごとに、前記第1のステップにより取得された明るさの変化方向に基づいて、局所復号画像(例えば、図3のフィルタ前局所復号画像SIG107に相当)の画素値を制御する第2のステップと、をコンピュータに実行させるためのプログラムを提案している。
この発明によれば、上述した効果と同様の効果を奏することができる。
本発明によれば、演算コストの増大を抑制しつつ、擬似輪郭を抑制することができる。
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
<第1実施形態>
[動画像処理システムAAの構成および動作]
図1は、本発明の第1実施形態に係る動画像処理システムAAのブロック図である。動画像処理システムAAは、動画像を符号化してビットストリームを生成する動画像符号化装置1と、動画像符号化装置1により生成されたビットストリームを復号する動画像復号装置100と、を備える。これら動画像符号化装置1と動画像復号装置100とは、上述のビットストリームを、例えば伝送路を介して送受信する。
[動画像符号化装置1の構成および動作]
図2は、動画像符号化装置1のブロック図である。動画像符号化装置1は、インター予測部10、イントラ予測部20、変換・量子化部30、エントロピー符号化部40、逆変換・逆量子化部50、検出部60、抽出部70、インループフィルタ部80、およびバッファ部90を備える。
インター予測部10は、入力画像SIG1と、バッファ部90から供給される後述のフィルタ後局所復号画像SIG13と、を入力とする。このインター予測部10は、入力画像SIG1およびフィルタ後局所復号画像SIG13を用いてインター予測を行ってインター予測画像SIG3を生成し、出力する。
イントラ予測部20は、入力画像SIG1と、後述のフィルタ前局所復号画像SIG9と、を入力とする。このイントラ予測部20は、入力画像SIG1およびフィルタ前局所復号画像SIG9を用いてイントラ予測を行ってイントラ予測画像SIG4を生成し、出力する。
変換・量子化部30は、誤差(残差)信号SIG6を入力とする。残差信号SIG6とは、入力画像SIG1と、予測画像SIG5と、の差分信号のことであり、予測画像SIG5とは、インター予測画像SIG3およびイントラ予測画像SIG4のうち、最も高い符号化性能の期待される予測方法により算出された予測画像のことである。変換・量子化部30は、入力された残差信号SIG6に対して直交変換処理を行い、この直交変換処理により得られた変換係数について量子化処理を行って、量子化されたレベル値SIG7として出力する。
エントロピー符号化部40は、量子化されたレベル値SIG7と、後述の検出結果SIG10と、後述の抽出結果SIG11と、を入力とする。このエントロピー符号化部40は、入力された信号をエントロピー符号化し、ビットストリームSIG2として出力する。
逆変換・逆量子化部50は、量子化されたレベル値SIG7を入力とする。この逆変換・逆量子化部50は、量子化されたレベル値SIG7に対して逆量子化処理を行い、この逆量子化処理により得られた変換係数に対して逆直交変換処理を行って、逆直交変換された残差信号SIG8として出力する。
検出部60は、入力画像SIG1を入力とする。入力画像SIG1は、予め複数のブロックに分割されており、検出部60は、画素値の変動が小さく、かつ明るさが滑らかに変化しているブロックを、対象ブロックとして入力画像SIG1の中から検出し、検出結果SIG10として出力する。
具体的には、検出部60は、まず、ブロックごとに、ブロック内変動値およびエッジ値を求める。
予測対象ブロックにおけるブロック内変動値を求める場合、検出部60は、最初に、入力画像SIG1に基づいて、予測対象ブロックに属する各画素の画素値を求める。次に、求めた画素値のうち最も大きい画素値と、求めた画素値のうち最も小さい画素値と、の差分を算出して、予測対象ブロックにおけるブロック内変動値とする。
また、予測対象ブロックにおけるエッジ値を求める場合、検出部60は、最初に、入力画像SIG1に基づいて、予測対象ブロックに属する各画素の中から、互いに隣接する画素同士の組み合わせを求める。次に、それぞれの組み合わせにおける画素同士の画素値の差分を算出し、算出した画素値の差分の合計を算出して、予測対象ブロックにおけるエッジ値とする。
検出部60は、次に、ブロックサイズが32×32以上で、ブロック内変動値が1以上α未満で、かつエッジ値がβ以上であるブロックを、上述の対象ブロックとして検出する。なお、上述のαは、以下の数式(1)で定まり、上述のβは、以下の数式(2)で定まるものとする。
抽出部70は、入力画像SIG1と、検出結果SIG10と、を入力とする。この抽出部70は、検出部60により検出された対象ブロックごとに、明るさの変化方向を抽出し、抽出結果SIG11として出力する。
具体的には、抽出部70は、まず、入力画像SIG1および検出結果SIG10に基づいて、対象ブロックに属する各画素の画素値を取得する。
抽出部70は、次に、3次元空間を想定し、3次元空間のX軸方向を対象ブロックの水平方向とし、3次元空間のY軸方向を対象ブロックの垂直方向とし、3次元空間のZ軸方向を対象ブロックに属する各画素の画素値として、これら各画素の画素値を近似する平面を求める。なお、上述の平面は、例えば最小二乗法を用いて求めることができる。
抽出部70は、次に、求めた平面の傾きから、上述の明るさの変化方向を抽出する。
インループフィルタ部80は、フィルタ前局所復号画像SIG9と、検出結果SIG10と、抽出結果SIG11と、を入力とする。フィルタ前局所復号画像SIG9とは、予測画像SIG5と、逆直交変換された残差信号SIG8と、を合算した信号のことである。インループフィルタ部80は、検出結果SIG10および抽出結果SIG11に基づいてフィルタ前局所復号画像SIG9に対してフィルタ処理を行って、フィルタ後局所復号画像SIG12を生成し、出力する。
具体的には、インループフィルタ部80は、まず、検出結果SIG10に基づいて、予測対象ブロックが対象ブロックであるか否かを判別する。
インループフィルタ部80は、次に、対象ブロックではないと判別した予測対象ブロックについては、フィルタ前局所復号画像SIG9に対してデブロックフィルタといったインループフィルタを適用して、フィルタ後局所復号画像SIG12として出力する。
一方、対象ブロックであると判別した予測対象ブロックについては、明るさの変化を画素値変動の分布により再現するようにフィルタ前局所復号画像SIG9に対して処理を行った後に、この処理後のフィルタ前局所復号画像SIG9に対して、対象ブロックではない場合と同様にインループフィルタを適用して、フィルタ後局所復号画像SIG12として出力する。
ここで、明るさの変化を画素値変動の分布により再現するようにフィルタ前局所復号画像SIG9に対して行う処理では、フィルタ前局所復号画像SIG9の対象ブロックに属する各画素の画素値に対して、明るさの変化方向を反映させた乱数を加算する。この処理の一例を、以下に説明する。インループフィルタ部80は、最初に、対象ブロックに属する各画素に対して、0以上1以下の乱数を1つずつ生成する。次に、対象ブロックに属する各画素に対して、明るさの変化方向に沿って明るくなるに従って大きくなる係数を1つずつ設定する。次に、対象ブロックに属する画素ごとに、生成した乱数と、設定した係数と、を乗算する。次に、対象ブロックに属する画素ごとに、乗算結果を画素値に加算する。
バッファ部90は、フィルタ後局所復号画像SIG12を蓄積し、適宜、フィルタ後局所復号画像SIG13としてインター予測部10に供給する。
[動画像復号装置100の構成および動作]
図3は、動画像復号装置100のブロック図である。動画像復号装置100は、エントロピー復号部110、逆変換・逆量子化部120、インター予測部130、イントラ予測部140、インループフィルタ部150、およびバッファ部160を備える。
エントロピー復号部110は、ビットストリームSIG2を入力とする。このエントロピー復号部110は、ビットストリームSIG2をエントロピー復号し、量子化係数レベルSIG102と、動画像符号化装置1で生成された検出結果SIG10と、動画像符号化装置1で生成された抽出結果SIG11と、を導出して出力する。
逆変換・逆量子化部120は、量子化係数レベルSIG102を入力とする。この逆変換・逆量子化部120は、量子化係数レベルSIG102に対して逆量子化処理を行い、この逆量子化処理により得られた結果に対して逆直交変換処理を行って、残差信号SIG103として出力する。
インター予測部130は、バッファ部160から供給される後述のフィルタ後局所復号画像SIG109を入力とする。このインター予測部130は、フィルタ後局所復号画像SIG109を用いてインター予測を行ってインター予測画像SIG104を生成し、出力する。
イントラ予測部140は、フィルタ前局所復号画像SIG107を入力とする。フィルタ前局所復号画像SIG107とは、残差信号SIG103と、予測画像SIG106と、を合算した信号のことであり、予測画像SIG106とは、インター予測画像SIG104およびイントラ予測画像SIG105のうち、最も高い符号化性能の期待される予測方法により算出された予測画像のことである。イントラ予測部140は、フィルタ前局所復号画像SIG107を用いてイントラ予測を行ってイントラ予測画像SIG105を生成し、出力する。
インループフィルタ部150は、検出結果SIG10と、抽出結果SIG11と、フィルタ前局所復号画像SIG107と、を入力とする。このインループフィルタ部150は、フィルタ前局所復号画像SIG107に対して、動画像符号化装置1に設けられたインループフィルタ部80と同様に検出結果SIG10および抽出結果SIG11に基づいてフィルタ処理を行って、フィルタ後局所復号画像SIG108を生成し、出力する。
具体的には、インループフィルタ部150は、まず、検出結果SIG10に基づいて、予測対象ブロックが対象ブロックであるか否かを判別する。
インループフィルタ部150は、次に、対象ブロックではないと判別した予測対象ブロックについては、フィルタ前局所復号画像SIG107に対してデブロックフィルタといったインループフィルタを適用して、フィルタ後局所復号画像SIG108として出力する。
一方、対象ブロックであると判別した予測対象ブロックについては、明るさの変化を画素値変動の分布により再現するようにフィルタ前局所復号画像SIG107に対して処理を行った後に、この処理後のフィルタ前局所復号画像SIG107に対して、対象ブロックではない場合と同様にインループフィルタを適用して、フィルタ後局所復号画像SIG108として出力する。
ここで、明るさの変化を画素値変動の分布により再現するようにフィルタ前局所復号画像SIG107に対して行う処理では、フィルタ前局所復号画像SIG107の対象ブロックに属する各画素の画素値に対して、明るさの変化方向を反映させた乱数を加算する。この処理の一例を、以下に説明する。インループフィルタ部150は、最初に、対象ブロックに属する各画素に対して、0以上1以下の乱数を1つずつ生成する。次に、対象ブロックに属する各画素に対して、明るさの変化方向に沿って明るくなるに従って大きくなる係数を1つずつ設定する。次に、対象ブロックに属する画素ごとに、生成した乱数と、設定した係数と、を乗算する。次に、対象ブロックに属する画素ごとに、乗算結果を画素値に加算する。
バッファ部160は、フィルタ後局所復号画像SIG108を蓄積し、適宜、フィルタ後局所復号画像SIG109としてインター予測部130に供給するとともに、復号済み画像SIG101として出力する。
以上の動画像符号化装置1によれば、以下の効果を奏することができる。
動画像符号化装置1は、検出部60により検出された対象ブロックごとに、抽出部70により、明るさの変化方向を抽出し、インループフィルタ部80により、抽出部70により抽出された明るさの変化方向に基づいてフィルタ前局所復号画像SIG9の画素値を制御する。このため、上述の特許文献1に示されている手法では擬似輪郭を抑制できないほどにフィルタ前局所復号画像SIG9の画素値の変動が小さい場合であっても、明るさの変化方向に基づいてフィルタ前局所復号画像SIG9の画素値を制御して、擬似輪郭を抑制することができる。
また、動画像符号化装置1は、上述のように、検出部60により検出された対象ブロックごとに、抽出部70により、明るさの変化方向を抽出し、インループフィルタ部80により、抽出部70により抽出された明るさの変化方向に基づいてフィルタ前局所復号画像SIG9の画素値を制御する。このため、上述の特許文献2に示されている手法のように高階調画像を生成する必要がないため、演算コストの増大を抑制することができる。
また、動画像符号化装置1は、インループフィルタ部80により、フィルタ前局所復号画像SIG9の画素値に対して、抽出部70により抽出された明るさの変化方向を反映させた乱数を加算する。このため、抑制したい擬似輪郭の輪郭線の近傍において、明るさの変化方向を考慮しつつ、この輪郭線に沿って画素値が規則的に変化しないようにすることができるので、擬似輪郭を的確に抑制することができる。
また、動画像符号化装置1は、検出部60により、ブロックサイズが32×32以上で、ブロック内変動値が1以上α未満で、かつエッジ値がβ以上であるブロックを、上述の対象ブロックとして検出する。また、検出部60により対象ブロックとして検出されたブロックごとに、抽出部70による明るさの変化方向の抽出と、インループフィルタ部80による明るさの変化方向に基づくフィルタ前局所復号画像SIG9の画素値の制御と、を行う。このため、検出部60により、画素値の変動が小さく、かつ明るさが滑らかに変化しているブロックを検出して、このブロックに対して、抽出部70による処理と、インループフィルタ部80による明るさの変化方向に基づく処理と、を行うことができる。したがって、画素値の変動が大きいブロックや明るさが滑らかには変化していないブロック、すなわち擬似輪郭が発生しにくいブロックでは、抽出部70による処理と、インループフィルタ部80による明るさの変化方向に基づく処理と、を削減して、演算コストを抑制することができる。
以上の動画像復号装置100によれば、以下の効果を奏することができる。
動画像復号装置100は、エントロピー復号部110により、ビットストリームSIG2をエントロピー復号して、ブロックごとに抽出された明るさの変化方向を取得し、インループフィルタ部150により、ブロックごとに、エントロピー復号部110により取得された明るさの変化方向に基づいて、フィルタ前局所復号画像SIG107の画素値を制御する。このため、上述の特許文献1に示されている手法では擬似輪郭を抑制できないほどにフィルタ前局所復号画像SIG107の画素値の変動が小さい場合であっても、明るさの変化方向に基づいてフィルタ前局所復号画像SIG107の画素値を制御して、擬似輪郭を抑制することができる。
また、動画像復号装置100は、上述のように、エントロピー復号部110により、ビットストリームSIG2をエントロピー復号して、ブロックごとに抽出された明るさの変化方向を取得し、インループフィルタ部150により、ブロックごとに、エントロピー復号部110により取得された明るさの変化方向に基づいて、フィルタ前局所復号画像SIG107の画素値を制御する。このため、上述の特許文献2に示されている手法のように高階調画像を生成する必要がないため、演算コストの増大を抑制することができる。
また、動画像復号装置100は、インループフィルタ部150により、フィルタ前局所復号画像SIG107の画素値に対して、エントロピー復号部110により取得された明るさの変化方向を反映させた乱数を加算する。このため、抑制したい擬似輪郭の輪郭線の近傍において、明るさの変化方向を考慮しつつ、この輪郭線に沿って画素値が規則的に変化しないようにすることができるので、擬似輪郭を的確に抑制することができる。
<第2実施形態>
[動画像処理システムBBの構成および動作]
図4は、本発明の第2実施形態に係る動画像処理システムBBのブロック図である。動画像処理システムBBは、図1に示した本発明の第1実施形態に係る動画像処理システムAAとは、動画像符号化装置1の代わりに動画像符号化装置1Aを備える点と、動画像復号装置100の代わりに動画像復号装置100Aを備える点と、で異なる。
[動画像符号化装置1Aの構成および動作]
図5は、動画像符号化装置1Aのブロック図である。動画像符号化装置1Aは、図2に示した本発明の第1実施形態に係る動画像符号化装置1とは、検出部60の代わりに検出部60Aを備える点と、抽出部70の代わりに抽出部70Aを備える点と、インループフィルタ部80の代わりにインループフィルタ部80Aを備える点と、で異なる。なお、動画像符号化装置1Aにおいて、動画像符号化装置1と同一構成要件については、同一符号を付し、その説明を省略する。
検出部60Aは、入力画像SIG1を入力とする。この検出部60Aは、検出部60と同様に、画素値の変動が小さく、かつ明るさが滑らかに変化しているブロックを、対象ブロックとして入力画像SIG1の中から検出し、検出結果SIG10として出力する。ただし、検出部60Aは、上述の検出を、予測画像SIG5の算出の際にイントラ予測または双方向予測が適用されたブロックに対してのみ行う。
抽出部70Aは、入力画像SIG1と、検出結果SIG10と、を入力とする。この抽出部70Aは、抽出部70と同様に、検出部60Aにより検出された対象ブロックについて、明るさの変化方向を抽出し、抽出結果SIG11として出力する。ただし、抽出部70Aは、上述の抽出を、予測画像SIG5の算出の際にイントラ予測または双方向予測が適用されるとともに検出部60Aにより対象ブロックとして検出されたブロックに対してのみ行う。
インループフィルタ部80Aは、フィルタ前局所復号画像SIG9と、検出結果SIG10と、抽出結果SIG11と、を入力とする。このインループフィルタ部80Aは、インループフィルタ部80と同様に、検出結果SIG10および抽出結果SIG11に基づいてフィルタ前局所復号画像SIG9に対してフィルタ処理を行って、フィルタ後局所復号画像SIG12を生成し、出力する。ただし、インループフィルタ部80Aは、予測画像SIG5の算出の際にイントラ予測または双方向予測のいずれも適用されなかったブロックに対しては、対象ブロックであったとしても、対象ブロックではない場合と同様の処理を行う。
[動画像復号装置100Aの構成および動作]
図6は、動画像復号装置100Aのブロック図である。動画像復号装置100Aは、図3に示した本発明の第1実施形態に係る動画像復号装置100とは、インループフィルタ部150の代わりにインループフィルタ部150Aを備える点で異なる。なお、動画像復号装置100Aにおいて、動画像復号装置100と同一構成要件については、同一符号を付し、その説明を省略する。
インループフィルタ部150Aは、検出結果SIG10と、抽出結果SIG11と、フィルタ前局所復号画像SIG107と、を入力とする。このインループフィルタ部150Aは、インループフィルタ部150と同様に、検出結果SIG10および抽出結果SIG11に基づいてフィルタ前局所復号画像SIG107に対してフィルタ処理を行って、フィルタ後局所復号画像SIG108を生成し、出力する。ただし、インループフィルタ部150Aは、予測画像SIG106の算出の際にイントラ予測または双方向予測のいずれも適用されなかったブロックに対しては、対象ブロックであったとしても、対象ブロックではない場合と同様の処理を行う。
以上の動画像符号化装置1Aによれば、動画像符号化装置1が奏することできる上述の効果に加えて、以下の効果を奏することができる。
動画像符号化装置1Aは、イントラ予測または双方向予測が適用されたブロックごとに、検出部60Aによる対象ブロックの検出を行う。また、イントラ予測または双方向予測が適用されるとともに検出部60Aにより対象ブロックとして検出されたブロックごとに、抽出部70Aによる明るさの変化方向の抽出と、インループフィルタ部80Aによる明るさの変化方向に基づくフィルタ前局所復号画像SIG9の画素値の制御と、を行う。このため、片方向予測が適用されたブロックと、画素値の変動が大きいブロックや明るさが滑らかには変化していないブロックとでは、抽出部70Aによる処理と、インループフィルタ部80Aによる明るさの変化方向に基づく処理と、を削減して、演算コストを抑制することができる。
以上の動画像復号装置100Aによれば、動画像復号装置100が奏することできる上述の効果に加えて、以下の効果を奏することができる。
動画像復号装置100Aは、イントラ予測または双方向予測が適用されたブロックごとに、インループフィルタ部150Aによる明るさの変化方向に基づくフィルタ前局所復号画像SIG107の画素値の制御を行う。このため、片方向予測が適用されたブロック、すなわち擬似輪郭が発生しにくいブロックでは、インループフィルタ部150Aによる明るさの変化方向に基づく処理を削減して、演算コストを抑制することができる。
<第3実施形態>
[動画像処理システムCCの構成および動作]
図7は、本発明の第3実施形態に係る動画像処理システムCCのブロック図である。動画像処理システムCCは、図1に示した本発明の第1実施形態に係る動画像処理システムAAとは、動画像符号化装置1の代わりに動画像符号化装置1Bを備える点と、動画像復号装置100の代わりに動画像復号装置100Bを備える点と、で異なる。
[動画像符号化装置1Bの構成および動作]
図8は、動画像符号化装置1Bのブロック図である。動画像符号化装置1Bは、図2に示した本発明の第1実施形態に係る動画像符号化装置1とは、変換・量子化部30の代わりに変換・量子化部30Aを備える点と、エントロピー符号化部40の代わりにエントロピー符号化部40Aを備える点と、抽出部70の代わりに制御部70Bを備える点と、インループフィルタ部80の代わりにインループフィルタ部80Bを備える点と、で異なる。なお、動画像符号化装置1Bにおいて、動画像符号化装置1と同一構成要件については、同一符号を付し、その説明を省略する。
制御部70Bは、検出結果SIG10と、残差信号SIG6と、を入力とする。この制御部70Bは、検出部60により検出された対象ブロックごとに、残差信号SIG6を適宜制御して、制御結果SIG21として適宜出力する。具体的には、制御部70Bは、残差信号SIG6に対して変換・量子化部30Aにより直交変換処理および量子化処理を行った結果が「1」以上の有意な値になるように、残差信号SIG6を適宜制御する。
より具体的には、制御部70Bは、検出結果SIG10に基づいて、対象ブロックであるか否かを判別する。制御部70Bは、対象ブロックではないと判別した場合には、処理を行わない。このため、対象ブロックではない場合には、制御結果SIG21は出力されない。一方、制御部70Bは、対象ブロックであると判別した場合には、以下の処理を行って、制御結果SIG21を出力する。
制御部70Bは、まず、対象ブロックについて、残差信号SIG6に対して変換・量子化部30Aと同様の直交変換処理を行って、従来の量子化アルゴリズムではゼロとなってしまう残差信号SIG6について、変換・量子化部30Aにより直交変換処理および量子化処理を行った結果が「1」以上の有意な値となるレベル位置を決定する。具体的には、制御部70Bは、最初に、残差信号SIG6に対して変換・量子化部30Aと同様の直交変換処理を行って変換係数を取得し、取得した変換係数を高周波成分からスキャンする。次に、高周波成分の位置から変換係数が初めて「0.75」を超えた位置までのうち、変換係数が「0.25」以上になる位置を、残差信号SIG6を制御する対象として決定する。
制御部70Bは、次に、対象ブロックについて、決定したレベル位置に基づいて残差信号SIG6を制御して、制御結果SIG21とする。具体的には、制御部70Bは、対象ブロックのうち制御する対象として決定した位置について、残差信号SIG6に対して変換・量子化部30Aにより直交変換処理および量子化処理を行った結果が「1」以上の有意な値となるように、残差信号SIG6を制御する。
変換・量子化部30Aは、残差信号SIG6と、制御結果SIG21と、を入力とする。この変換・量子化部30Aは、制御部70Bから制御結果SIG21が入力されなかった場合には、残差信号SIG6に対して、変換・量子化部30と同様に直交変換処理および量子化処理を行って、量子化されたレベル値SIG7として出力する。一方、制御部70Bから制御結果SIG21が入力された場合には、制御結果SIG21に対して、変換・量子化部30と同様に直交変換処理および量子化処理を行って、量子化されたレベル値SIG7として出力する。
エントロピー符号化部40Aは、量子化されたレベル値SIG7を入力とする。このエントロピー符号化部40は、入力された信号をエントロピー符号化し、ビットストリームSIG2として出力する。
インループフィルタ部80Bは、フィルタ前局所復号画像SIG9を入力とする。このインループフィルタ部80Bは、フィルタ前局所復号画像SIG9に対してデブロックフィルタといったインループフィルタを適用して、フィルタ後局所復号画像SIG12として出力する。
[動画像復号装置100Bの構成および動作]
図9は、動画像復号装置100Bのブロック図である。動画像復号装置100Bは、図3に示した本発明の第1実施形態に係る動画像復号装置100とは、エントロピー復号部110の代わりにエントロピー復号部110Aを備える点と、インループフィルタ部150の代わりにインループフィルタ部150Bを備える点と、で異なる。なお、動画像復号装置100Bにおいて、動画像復号装置100と同一構成要件については、同一符号を付し、その説明を省略する。
エントロピー復号部110Aは、ビットストリームSIG2を入力とする。このエントロピー復号部110Aは、ビットストリームSIG2をエントロピー復号し、量子化係数レベルSIG102を導出して出力する。
インループフィルタ部150Bは、フィルタ前局所復号画像SIG107を入力とする。このインループフィルタ部150Bは、フィルタ前局所復号画像SIG107に対してデブロックフィルタといったインループフィルタを適用して、フィルタ後局所復号画像SIG108として出力する。
以上の動画像符号化装置1Bによれば、以下の効果を奏することができる。
動画像符号化装置1Bは、インループフィルタ部80Bにより、検出部60により検出された対象ブロックごとに、変換・量子化部30Aにより直交変換処理および量子化処理が行われるよりも前に残差信号SIG6を制御して、従来の量子化アルゴリズムではゼロになってしまう残差信号SIG6を、変換・量子化部30Aによる直交変換処理および量子化処理の後に「1」以上の有意な値になるようにする。このため、変換・量子化部30Aにおける量子化幅よりも階調の小さな変動についても、直交変換処理および量子化処理の後に「1」以上の有意な値にすることができるので、擬似輪郭を抑制することができる。
また、動画像符号化装置1Bは、上述のように、インループフィルタ部80Bにより、検出部60により検出された対象ブロックごとに、変換・量子化部30Aにより直交変換処理および量子化処理が行われるよりも前に残差信号SIG6を制御して、従来の量子化アルゴリズムではゼロになってしまう残差信号SIG6を、変換・量子化部30Aによる直交変換処理および量子化処理の後に「1」以上の有意な値になるようにする。このため、上述の特許文献1に示されている手法では擬似輪郭を抑制できないほどにフィルタ前局所復号画像SIG9の画素値の変動が小さい場合であっても、明るさの変化方向に基づいてフィルタ前局所復号画像SIG9の画素値を制御して、擬似輪郭を抑制することができる。
また、動画像符号化装置1Bは、上述のように、インループフィルタ部80Bにより、検出部60により検出された対象ブロックごとに、変換・量子化部30Aにより直交変換処理および量子化処理が行われるよりも前に残差信号SIG6を制御して、従来の量子化アルゴリズムではゼロになってしまう残差信号SIG6を、変換・量子化部30Aによる直交変換処理および量子化処理の後に「1」以上の有意な値になるようにする。このため、上述の特許文献2に示されている手法のように高階調画像を生成する必要がないため、演算コストの増大を抑制することができる。
また、動画像符号化装置1Bは、検出部60により、ブロックサイズが32×32以上で、ブロック内変動値が1以上α未満で、かつエッジ値がβ以上であるブロックを、上述の対象ブロックとして検出する。また、検出部60により対象ブロックとして検出されたブロックごとに、制御部70Bによる処理を行う。このため、検出部60により、画素値の変動が小さく、かつ明るさが滑らかに変化しているブロックを検出して、このブロックに対して、制御部70Bによる処理を行うことができる。したがって、画素値の変動が大きいブロックや明るさが滑らかには変化していないブロック、すなわち擬似輪郭が発生しにくいブロックでは、制御部70Bによる処理を削減して、演算コストを抑制することができる。
以上の動画像復号装置100Bによれば、以下の効果を奏することができる。
動画像符号化装置1Bにおいて、上述のように、変換・量子化部30Aにより直交変換処理および量子化処理が行われるよりも前に残差信号SIG6を制御して、従来の量子化アルゴリズムではゼロになってしまう残差信号SIG6を、変換・量子化部30Aによる直交変換処理および量子化処理の後に「1」以上の有意な値になるようにする。このため、動画像符号化装置1BでビットストリームSIG2を生成する際に、従来の量子化アルゴリズムではゼロとなってしまう残差信号SIG6が、変換・量子化部30Aによる直交変換処理および量子化処理の後に「1」以上の有意な値になるように制御されていることになる。したがって、動画像符号化装置1Bで生成されたビットストリームSIG2を受信する動画像復号装置100Bは、ビットストリームSIG2に対して、エントロピー復号部110Aで復号し、逆変換・逆量子化部120で逆量子化処理および逆直交変換処理を行えば、ゼロ以外の有意な値となる残差信号SIG103を得ることができる。よって、擬似輪郭を抑制することができる。
<第4実施形態>
[動画像処理システムDDの構成および動作]
図10は、本発明の第4実施形態に係る動画像処理システムDDのブロック図である。動画像処理システムDDは、図7に示した本発明の第3実施形態に係る動画像処理システムCCとは、動画像符号化装置1Bの代わりに動画像符号化装置1Cを備える点で異なる。なお、動画像処理システムDDにおいて、動画像処理システムCCと同一構成要件については、同一符号を付し、その説明を省略する。
[動画像符号化装置1Cの構成および動作]
図11は、動画像符号化装置1Cのブロック図である。動画像符号化装置1Cは、図8に示した本発明の第3実施形態に係る動画像符号化装置1Bとは、インター予測部10の代わりにインター予測部10Aを備える点と、制御部70Bの代わりに制御部70Cを備える点と、で異なる。なお、動画像符号化装置1Cにおいて、動画像符号化装置1Bと同一構成要件については、同一符号を付し、その説明を省略する。
制御部70Cは、検出結果SIG10と、残差信号SIG6と、を入力とする。この制御部70Cは、予測画像SIG5の算出の際にイントラ予測が適用された対象ブロックについては、制御部70Bと同様に、従来の量子化アルゴリズムではゼロとなってしまう残差信号SIG6を、変換・量子化部30Aによる直交変換処理および量子化処理の後に「1」以上の有意な値となるように制御して、制御結果SIG21として出力する。一方、予測画像SIG5の算出の際にインター予測が適用された対象ブロックについては、インター予測におけるレート歪最適化のコスト値を制御して、この対象ブロックのインター予測が行われる際に片方向予測が選択されやすくし、制御したコスト値をコスト値SIG31として出力する。
インター予測部10Aは、入力画像SIG1と、フィルタ後局所復号画像SIG13と、コスト値SIG31と、を入力とする。このインター予測部10Aは、インター予測における最適なモードをコスト値SIG31に基づいて決定し、決定したモードで、入力画像SIG1およびフィルタ後局所復号画像SIG13を用いてインター予測を行ってインター予測画像SIG3を生成し、出力する。
以上の動画像符号化装置1Cによれば、動画像符号化装置1Bが奏することできる上述の効果に加えて、以下の効果を奏することができる。
動画像符号化装置1Cは、イントラ予測が適用された対象ブロックについては、制御部70Cにより、残差信号SIG6の制御を行う。また、インター予測が適用された対象ブロックについては、制御部70Cにより、インター予測におけるレート歪最適化のコスト値を制御して、このブロックのインター予測が行われる際に片方向予測が選択されやすくする。このため、インター予測において片方向予測が選択されやすくすることができ、擬似輪郭をさらに抑制することができる。
なお、本発明の動画像符号化装置1、1A、1B、1Cや動画像復号装置100、100A、100Bの処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを動画像符号化装置1、1A、1B、1Cや動画像復号装置100、100A、100Bに読み込ませ、実行することによって、本発明を実現できる。
ここで、上述の記録媒体には、例えば、EPROMやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、CD−ROMなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、動画像符号化装置1、1A、1B、1Cや動画像復号装置100、100A、100Bに設けられたプロセッサによって行われる。
また、上述のプログラムは、このプログラムを記憶装置などに格納した動画像符号化装置1、1A、1B、1Cや動画像復号装置100、100A、100Bから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク(通信網)や電話回線などの通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を動画像符号化装置1、1A、1B、1Cや動画像復号装置100、100A、100Bにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
例えば、上述の各実施形態では、インループフィルタ部80、80Aは、明るさの変化を画素値変動の分布により再現するようにフィルタ前局所復号画像SIG9に対して処理を行った後に、この処理後のフィルタ前局所復号画像SIG9に対してインループフィルタを適用することとした。しかし、これに限らず、フィルタ前局所復号画像SIG9に対してインループフィルタを適用した後に、インループフィルタの適用後のフィルタ前局所復号画像SIG9に対して明るさの変化を画素値変動の分布により再現するように処理を行うこととしてもよい。
また、上述の各実施形態では、検出部60、60Aは、ブロック内変動値およびエッジ値を用いて、対象ブロックの検出を行うこととした。しかし、これに限らず、ブロック内変動値と、エッジ値と、予測対象ブロックに属する各画素の画素値の分散値(ブロック内分散値)と、のうち少なくともいずれかを用いて、対象ブロックの検出を行うこととしてもよい。ブロック内分散値を用いる場合には、ブロック内分散値が閾値以下である場合に、予測対象ブロックを対象ブロックとして検出し、ブロック内分散値が閾値より大きい場合に、予測対象ブロックを対象ブロックとして検出しないこととする。
また、上述の第1実施形態に係る動画像符号化装置1において、変換・量子化部30の代わりに、上述の第3実施形態に係る変換・量子化部30Aおよび制御部70Bを適用してもよい。
また、上述の第1実施形態に係る動画像符号化装置1において、インター予測部10および変換・量子化部30の代わりに、上述の第4実施形態に係るインター予測部10A、変換・量子化部30A、および制御部70Cを適用してもよい。
また、上述の第2実施形態に係る動画像符号化装置1Aにおいて、変換・量子化部30の代わりに、上述の第3実施形態に係る変換・量子化部30Aおよび制御部70Bを適用してもよい。
また、上述の第2実施形態に係る動画像符号化装置1Aにおいて、インター予測部10および変換・量子化部30の代わりに、上述の第4実施形態に係るインター予測部10A、変換・量子化部30A、および制御部70Cを適用してもよい。