JP2005026747A

JP2005026747A - Filter processing apparatus, image coding apparatus, and method therefor

Info

Publication number: JP2005026747A
Application number: JP2003186840A
Authority: JP
Inventors: Mari Yasuda; 真理安田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-06-30
Filing date: 2003-06-30
Publication date: 2005-01-27

Abstract

<P>PROBLEM TO BE SOLVED: To provide a filter processing apparatus capable of improving coding efficiency in an image coding apparatus while considering the perceptive characteristic of image deterioration with respect to the degree of a temporal change in an image, or the light and darkness of a video image. <P>SOLUTION: The filter processing apparatus 100 for performing filter processing for input image data representing a moving image comprises a unit region image change detecting means 120 (121) for detecting the degree of a temporal change in the image data for every predetermined unit region in a frame; and a filter control means 130 (131) for determining the filter characteristic in filter processing for the image data for every predetermined unit region, so that the larger the degree of temporal change in the image data detected by the unit region image change detecting means is, the larger the effect of the filter processing is. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、フィルタ処理装置に係り、詳しくは、動画像を表す符号化前の画像データに対してフィルタ処理を行なうフィルタ処理装置に関する。
【０００２】
また、本発明は、そのようなフィルタ処理装置にて得られたフィルタ処理済みの画像データを所定のアルゴリズムに従って符号化するようにした画像符号化装置及び方法に関する。
【０００３】
【従来の技術】
従来、動画像（映像）を表す画像データを符号化する前にその画像データに対してフィルタ処理を施すことによって符号化効率を向上させるようにした符号化装置が提案されている（例えば、特許文献１参照）。この従来の符号化装置では、所定のブロック単位に画像データの局所的変化度を算出し、その局所的変化度に応じてブロック単位にフィルタ特性を決定している。具体的には、画像データ（画素値）の局所的変化度の大きいブロックに対しては高周波成分の減衰度合いが大きくなるフィルタ係数を用いてフィルタ処理がなされる。濃度（画素値）の変化度合の大きい画像部分においては、その高周波成分を減衰させても画像劣化が目立たないことから、このようなフィルタ処理により、画像劣化を目立たせることなく符号化効率を向上させることができることとなる。
【０００４】
【特許文献１】
特開平８−９３７０号公報
【０００５】
【発明が解決しようとする課題】
しかし、従来の符号化装置では、動画像（映像）の時間的な変化や画像の明暗に対する画像劣化の人間による知覚特性については何ら考慮されていない。例えば、時間的に変化する度合の大きい画像領域では、その画像劣化を知覚しにくい。また、暗い画像領域では、その画像劣化を知覚しにくい。
【０００６】
本発明は、このような事情に鑑みてなされたもので、画像の時間的な変化度合や映像の明暗に対する画像劣化の知覚特性を考慮して画像符号化装置での符号化効率を向上させることのできるフィルタ処理装置を提供するものである。
【０００７】
また、本発明は、そのようなフィルタ処理装置を用いた画像符号化装置及び方法を提供するものである。
【０００８】
【課題を解決するための手段】
本発明に係るフィルタ処理装置は、動画像を表す入力画像データに対してフィルタ処理を行なうフィルタ処理装置において、フレーム内の所定単位領域毎に画像データの時間的な変化度合を検出する単位領域画像変化検出手段と、前記所定単位領域の前記画像データに対するフィルタ処理におけるフィルタ特性を前記単位領域画像変化検出手段にて検出される前記画像データの時間的な変化度合が大きいほど前記フィルタ処理の効果が大きくなるように決定するフィルタ制御手段とを有する構成となる。
【０００９】
このような構成により、変化が大きく画像劣化を知覚されにくい所定単位領域の画像データに対してより大きなフィルタ処理の効果が表れるようにフィルタ特性を制御することができることとなる。
【００１０】
前記フィルタ処理の効果は、フィルタ処理による画像データの平滑化、あるいは、画像データの周波数特性の調整等の程度であって、フィルタ処理前の画像データとフィルタ処理後の画像データとの変化度合に対応する。
【００１１】
また、本発明に係るフィルタ処理装置は、前記単位領域画像変化検出手段が、現フレームと前フレームにおける対応する所定単位領域それぞれの画像データに基づいて輝度レベルの差分を算出する単位領域輝度差分算出手段を有する構成とすることができる。
【００１２】
このような構成により、現フレームと前フレームにおける対応する所定単位領域それぞれの画像データに基づいて算出された輝度レベルの差分を用いて各所定単位領域の画像データの時間的な変化度合を表すことができることとなる。
【００１３】
更に、本発明に係るフィルタ処理装置は、前記単位領域輝度差分算出手段が、前記所定単位領域それぞれの対応する画素の輝度値の差分絶対値の総和を算出する手段を有する構成となる。
【００１４】
このような構成により、現フレームと前フレームにおける所定単位領域それぞれの対応する画素の輝度値の差分絶対値の総和を用いて各所定単位領域の画像データの時間的な変化度合を表すことができることとなる。
【００１５】
本発明に係るフィルタ処理装置は、フレーム全体の画像データの時間的な変化度合を検出するフレーム画像変化検出手段を有し、前記フィルタ制御手段が、前記フレーム画像変化手段にて検出される前記フレーム全体の画像データの時間的な変化度合と、前記単位領域画像変化検出手段にて検出される前記所定単位領域の画像データの時間的な変化度合とに基づいて前記所定単位領域の画像データに対するフィルタ処理におけるフィルタ特性を決定する構成とすることができる。
【００１６】
このような構成により、フレーム全体の画像データの時間的な変化度合を考慮しつつ、そのフレーム内の各所定単位領域の画像データの時間的な変化度合に応じて適正なフィルタ特性にて各所定単位領域の画像データに対するフィルタ処理を行なうことができることとなる。
【００１７】
また、本発明に係るフィルタ処理装置は、前記フレーム画像変化検出手段が、現フレームの輝度レベルと前フレームの輝度レベルとの差分を算出するフレーム輝度差分算出手段を有する構成とすることができる。
【００１８】
このような構成により、現フレームの輝度レベルと前フレームの輝度レベルとの差分を用いてフレーム全体の画像データの時間的な変化度合を表すことができることとなる。
【００１９】
更に、本発明に係るフィルタ処理装置は、前記フレーム輝度差分算出手段が、現フレームと前フレームそれぞれの対応する画素の輝度値の差分絶対値の総和を算出する手段を有する構成とすることができる。
【００２０】
このような構成により、現フレームと前フレームそれぞれの対応する画素の輝度値の差分絶対値の総和を用いてフレーム全体の画像データの時間的な変化度合を表すことができることとなる。
【００２１】
本発明に係るフィルタ処理装置は、前記フィルタ制御手段が、前記フレーム画像変化検出手段にて検出されるフレーム全体の画像データの変化度合が所定基準値以上となる場合に、前記単位領域画像変化検出手段にて検出される前記所定単位領域の画像データの時間的な変化度合に係わらず前記所定単位領域の画像データに対するフィルタ処理におけるフィルタ特性を所定特性に決定する構成とすることができる。
【００２２】
このような構成により、シーンチェンジ等によりフレーム全体の画像データの変化度合が所定基準値以上となる場合には、そのフレーム内の各所定単位領域の画像データに対して統一的なフィルタ特性にてフィルタ処理を行なうことができることとなる。なお、前記所定特性は、実質的にフィルタ処理がなされないものであってもよい。
【００２３】
また、本発明に係るフィルタ制御装置は、前記フィルタ制御手段が、前記フレーム画像変化検出手段にて検出されるフレーム全体の画像データの変化度合が前記所定基準値より小さい場合に、前記単位領域画像変化検出手段にて検出される前記所定単位領域の画像データの時間的な変化度合が大きいほど前記所定単位領域の画像データに対するフィルタ処理の効果が大きくなるようにフィルタ特性を決定する構成とすることができる。
【００２４】
このような構成により、シーンチェンジ等がなく、フレーム全体の画像データの変化度合が所定基準値より小さい場合には、変化が大きく画像劣化を知覚されにくい所定単位領域の画像データに対してより大きなフィルタ処理の効果が表れるようにフィルタ特性を制御することができることとなる。
【００２５】
本発明に係るフィルタ処理装置は、動画像を表す入力画像データに対してフィルタ処理を行なうフィルタ処理装置において、フレーム内の所定単位領域毎に画像データに基づいて輝度レベルを検出する単位領域輝度レベル検出手段と、前記所定単位領域の前記画像データに対するフィルタ処理におけるフィルタ特性を前記単位領域輝度レベル検出手段にて検出される輝度レベルが小さいほど前記フィルタ処理の効果が大きくなるように決定するフィルタ制御手段とを有する構成となる。
【００２６】
このような構成により、輝度レベルが小さく画像劣化が知覚されにくい所定単位領域の画像データに対してより大きなフィルタ処理の効果が表れるようにフィルタ特性を制御することができることとなる。
【００２７】
また、本発明のフィルタ処理装置は、フレームの各画素が画像エッジであるか否かを判定するエッジ判定手段を有し、前記フィルタ制御手段が、前記エッジ判定手段にて画像エッジであると判定された画素に対するフィルタ処理を行わせない構成とすることができる。
【００２８】
このような構成により、所定単位領域毎にフィルタ特性が決定される過程で、画像エッジであるとの判定のなされた画素に対してフィルタ処理がなされなくなるので、再生画像における画像エッジが不鮮明になることを防止することができるようになる。
【００２９】
更に、本発明のフィルタ処理装置は、フレームの各画素が画像エッジであるか否かを判定するエッジ判定手段を有し、前記フィルタ制御手段が、前記エッジ判定手段にて画像エッジであると判定された画素に対するフィルタ処理の効果が最小となるようにフィルタ特性を決定する構成とすることができる。
【００３０】
このような構成により、所定単位領域毎にフィルタ特性が決定される過程で、画像エッジであるとの判定のなされた画素に対してはフィルタ処理の効果が最小となるようなフィルタ特性が決められるので、再生画像における画像エッジの鮮鋭度の低下を極力防止することができることとなる。
【００３１】
本発明に係る画像符号化装置は、動画像を表す入力画像データに対してフィルタ処理を行なう前処理部と、前記前処理手段にて得られた前処理済画像データを所定のアルゴリズムに従って符号化する符号化部とを有し、前記前処理部は、フレーム内の所定単位領域毎に画像データの時間的な変化度合を検出する単位領域画像変化検出手段と、前記所定単位領域の前記画像データに対するフィルタ処理におけるフィルタ特性を前記単位領域画像変化検出手段にて検出される前記画像データの時間的な変化度合が大きいほど前記フィルタ処理の効果が大きくなるように決定するフィルタ制御手段とを有する構成となる。
【００３２】
このような構成により、変化が大きく画像劣化を知覚されにくい所定単位領域の画像データに対してより大きなフィルタ処理の効果が表れるようにフィルタ特性を制御することができることとなる。そして、その所定単位領域毎に適正なフィルタ特性にてなされるフィルタ処理の結果得られた前処理済画像データが符号化されるので、画像劣化を極力抑えつつ効率的な符号化ができるようになる。
【００３３】
また、本発明に係る画像符号化装置は、動画像を表す入力画像データに対してフィルタ処理を行なう前処理部と、前記前処理手段にて得られた前処理済画像データを所定のアルゴリズムに従って符号化する符号化部とを有し、前記前処理部は、フレーム内の所定単位領域毎に画像データに基づいて輝度レベルを検出する単位領域輝度レベル検出手段と、前記所定単位領域の前記画像データに対するフィルタ処理におけるフィルタ特性を前記単位領域輝度レベル検出手段にて検出される輝度レベルが小さいほど前記フィルタ処理の効果が大きくなるように決定するフィルタ制御手段とを有する構成となる。
【００３４】
このような構成により、輝度レベルが小さく画像劣化が知覚されにくい所定単位領域の画像データに対してより大きなフィルタ処理の効果が表れるようにフィルタ特性を制御することができることとなる。そして、その所定単位領域毎に適正なフィルタ特性にてなされるフィルタ処理の結果得られた前処理済画像データが符号化されるので、画像劣化を極力抑えつつ効率的な符号化ができるようになる。
【００３５】
本発明に係る画像符号化方法は、動画像を表す入力画像データに対してフィルタ処理を行なう前処理ステップと、前記前処理ステップにて得られた前処理済画像データを所定のアルゴリズムに従って符号化する符号化ステップとを有し、前記前処理ステップは、フレーム内の所定単位領域毎に画像データの時間的な変化度合を検出する単位領域画像変化検出ステップと、前記所定単位領域の前記画像データに対するフィルタ処理におけるフィルタ特性を前記単位領域画像変化検出ステップにて検出される前記画像データの時間的な変化度合が大きいほど前記フィルタ処理の効果が大きくなるように決定するフィルタ制御ステップとを有する構成となる。
【００３６】
また、本発明に係る画像符号化方法は、動画像を表す入力画像データに対してフィルタ処理を行なう前処理ステップと、前記前処理ステップにて得られた前処理済画像データを所定のアルゴリズムに従って符号化する符号化ステップとを有し、前記前処理ステップは、フレーム内の所定単位領域毎に画像データに基づいて輝度レベルを検出する単位領域輝度レベル検出ステップと、前記所定単位領域の前記画像データに対するフィルタ処理におけるフィルタ特性を前記単位領域輝度レベル検出ステップにて検出される輝度レベルが小さいほど前記フィルタ処理の効果が大きくなるように決定するフィルタ制御ステップとを有する構成となる。
【００３７】
更に、本発明に係る画像符号化方法は、フレームの各画素が画像エッジであるか否かを判定するエッジ判定ステップを有し、前記フィルタ制御ステップが、前記エッジ判定ステップにて画像エッジであると判定された画素に対するフィルタ処理を行わせない構成とすることができる。
【００３８】
また、本発明に係る画像符号化方法は、フレームの各画素が画像エッジであるか否かを判定するエッジ判定ステップを有し、
【００３９】
前記フィルタ制御ステップは、前記エッジ判定ステップにて画像エッジであると判定された画素に対するフィルタ処理の効果が小さくなるようなフィルタ特性を決定する構成とすることができる。
【００４０】
【実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００４１】
本発明の実施の形態に係る画像符号化装置は図１に示すように構成される。
【００４２】
図１において、この画像符号化装置は、前処理部１００及び符号化部２００を有している。撮像装置から動画像（映像）を表す画像データが、例えば、１秒間に３０フレームの割合で前処理部１００に順次供給される。前処理部１００は、入力画像データに対してフィルタ処理を行なって前処理済画像データを生成する。符号化部２００は、前処理部１００からの前処理済画像データを所定のアルゴリズム（例えば、ＭＰＥＧ）に従って符号化し、符号化画像データを出力する。
【００４３】
前処理部１００は、図２に示すように構成される。
【００４４】
図２において、前処理部１００は、メモリ１１０、解析部１２０、フィルタ制御部１３０及びフィルタ１４０を有する。メモリ１１０は、入力される１フレーム分の画像データを格納する。解析部１２０は、メモリ１１０に格納された前フレームの画像データｂと現フレームの画像データａとを入力し、後述するような動画像の輝度レベルに関する特徴量ｃ、ｄ、ｅ、ｇを算出する。フィルタ制御部１３０は、解析部１２０にて得られた特徴量ｃ、ｄ、ｅ、ｇに基づいてフィルタ特性を制御するための制御情報ｋ、ｈを生成する。フィルタ１４０は、フィルタ制御部１３０からの制御情報ｋ、ｈに基づいて決められるフィルタ特性にて入力画像に対してフィルタ処理を行なう。フィルタ１４０にてフィルタ処理された画像データは前処理済画像データとして符号化部２００に供給される。
【００４５】
解析部１２０及びフィルタ制御部１３０は、図３に示すように構成される。
【００４６】
解析部１２０は、ブロック輝度差分算出部１２１、フレーム輝度差分算出部１２２、ブロック輝度レベル算出部１２３及び周辺平均差分算出部１２４を有する。ブロック輝度差分算出部１２１は、フレームに対して予め設定された単位ブロック（単位領域）毎に、時間的に前後する現フレームと前フレームそれぞれの画像データａ、ｂに基づいて輝度レベルの差分を表すブロック輝度差分絶対値ｃを式（１）に従って算出する。
【００４７】
【数１】

【００４８】
ａ（ｉ，ｊ）：現フレームの位置（ｉ．ｊ）にある画素の画素値（輝度値）
ｂ（ｉ．ｊ）：前フレームの位置（ｉ，ｊ）にある画素の画素値（輝度値）
ｍ：単位ブロックにおける横方向の画素総数
ｎ：単位ブロックにおける縦方向の画素総数
【００４９】
前記ブロック輝度差分絶対値ｃは、時間的に前後する現フレームと前フレームそれぞれの画像データａ、ｂに基づいて算出されることから、単位ブロックについての画像データの時間的な変化度合を表し得る。
【００５０】
フレーム輝度差分算出部１２２は、現フレームの画像データａと前フレームの画像データｂとに基づいて現フレームの輝度レベルと前フレームの輝度レベルとの差分を表すフレーム輝度差分絶対値ｄを式（２）に従って算出する。
【００５１】
【数２】

【００５２】
ａ（ｉ，ｊ）：現フレームの位置（ｉ，ｊ）にある画素の画素値（輝度値）
ｂ（ｉ，ｊ）：現フレームの位置（ｉ，ｊ）にある画素の画素値（輝度値）
ｐ：１フレームにおける横方向の画素総数
ｑ：１フレームにおける縦方向の画素総数
【００５３】
前記フレーム輝度差分絶対値ｄは、時間的に前後する現フレームと前フレームそれぞれの画像データａ、ｂに基づいて算出されることから、フレーム全体の画像データの時間的な変化度合を表し得る。
【００５４】
ブロック輝度レベル算出部１２３は、単位ブロック毎に、現フレームの画像データａに基づいてブロック輝度レベルｅを式（３）に従って算出する。
【００５５】
【数３】

【００５６】
ａ（ｉ，ｊ）：現フレームの位置（ｉ，ｊ）にある画素の画素値（輝度値）
ｍ：単位ブロックにおける横方向の画素総数
ｎ：単位ブロックにおける縦方向の画素総数
【００５７】
周辺平均差分算出部１２４は、現フレームの画像データａに基づいて注目画素の輝度レベルと前記注目画素を中心とした所定矩形領域の平均的な輝度レベルとの差分（周辺平均輝度差分）ｇを各注目画素について式（４）に従って演算する。
【００５８】
【数４】

【００５９】
ａ（ｉ，ｊ）：現フレームの位置（ｉ，ｊ）にある画素の画素値（輝度値）
ａ（ｘ，ｙ）：注目画素の画素値（輝度値）
ｒ：注目画素を中心とした所定矩形領域における横方向の画素総数
ｓ：注目画素を中心とした所定矩形領域における縦方向の画素総数
【００６０】
フィルタ制御部１３０は、フィルタ係数決定部１３１及びエッジ判定部１３２を有する。フィルタ係数決定部１３１は、解析部１２０におけるブロック輝度差分算出部１２１からのブロック輝度差分絶対値ｃ及びフレーム輝度差分算出部１２２からのフレーム輝度差分絶対値ｄに基づいて各単位ブロックに適用すべきフィルタ係数を決定する。フィルタ係数決定部１３１は、前記ブロック輝度差分絶対値ｃ及びフレーム輝度差分絶対値ｄ、更に、ブロック輝度レベル算出部１２３からのブロック輝度レベルｅに基づいて各単位ブロックに適用すべきフィルタ係数ｋを決定することもできる。
【００６１】
フィルタ係数決定部１３１は、例えば、図４に示すテーブルに従って各単位ブロックに適用すべきフィルタ係数ｋを決定する。なお、図４に示すフィルタ係数ｋ｛ｋ１，ｋ０，ｋ２｝は、各画素（注目画素）の輝度値に対して両隣接画素の輝度値を考慮してなされるフィルタ処理でのフィルタ特性を表している。
【００６２】
フレーム輝度差分絶対値ｄが所定の基準値Ａ以上となる場合（ｄ≧Ａ）、即ち、フレーム全体の輝度レベルの変化度合が基準の度合以上となる場合、フレームに含まれる各単位ブロックに適用されるフィルタ係数ｋは、ブロック輝度差分絶対値ｃの値に係わらず、常にフィルタ処理の効果が最小となる｛１２，２３１，１２｝に決定される。シーンチェンジ時に一瞬画面全体（フレーム全体）の先鋭度が低下し、次のフレームから先鋭度が元に戻ることがある。このような場合に、先鋭度の低下を更に助長させないようにするために、シーンチェンジが発生したとみなしうる前記フレーム輝度差分絶対値ｄが所定の基準値Ａ以上となる場合には、前述したように各単位ブロックに適用されるフィルタ係数ｋはフィルタ処理の効果が最小（実質的にＯＦＦ）となるものに決められる。
【００６３】
一方、フレーム輝度差分絶対値ｄが所定の基準値Ａより小さくなる場合（ｄ＜Ａ）、即ち、フレーム全体の輝度レベルの変化度合が基準の度合より小さくなる場合、フレームの各単位ブロックに適用されるフィルタ係数ｋは、ブロック輝度差分絶対値ｃの値が大きいほどフィルタ処理の効果が大きくなるように決定される。具体的には、ブロック輝度差分絶対値ｃが４９１５２≦ｃの範囲にある場合、フィルタ係数ｋが｛４７，１６１，４７｝（フィルタ処理の効果が最大となるフィルタ係数）に決定され、ブロック輝度差分絶対値ｃが３２７６８≦ｃ＜４９１５２の範囲にある場合、フィルタ係数ｋが｛４０，１７５，４０｝に決定され、ブロック輝度差分絶対値ｃが１６３８４≦ｃ＜３２７６８の範囲にある場合、フィルタ係数ｋが｛３２，１９１，３２｝に決定され、ブロック輝度差分絶対値ｃがそれ以外の範囲にある場合、フィルタ係数ｋは、フィルタ処理の効果が最小となる｛１２，２３１，１２｝に決定される。
【００６４】
このようにブロック輝度差分絶対値ｃの値が大きい単位ブロック、即ち、画像変化の大きい単位ブロックに対しては、フィルタ処理の効果がより大きくなるようにフィルタ係数が決められる。
【００６５】
エッジ判定部１３２は、解析部１２０における周辺平均輝度差分ｇに基づいて各画素が画像エッジであるか否かを判定し、その判定結果ｈを出力する。注目画素毎に前記式（４）に従って算出される周辺平均輝度差分ｇが大きいことは、注目画素の輝度レベルが周辺領域の輝度レベルと比べて突出して大きいまたは小さいことを表す。従って、エッジ判定部１３２は、例えば、前記周辺平均輝度差分ｇが所定の閾値以上であるか否かに基づいて注目画素が画像エッジであるか否かを判定する。
【００６６】
フィルタ係数決定部１３１にて各単位ブロックに対して決定されたフィルタ係数ｋ及びエッジ判定部１３２から出力された各画素についての画像エッジの判定結果ｈは、フィルタ処理の制御情報としてフィルタ１４０に供給される。フィルタ１４０は、入力される画像データに対して画素単位にその画素が属する単位ブロックについて決定されたフィルタ係数ｋを用いてフィルタ処理を行なう。また、画像エッジであるとの判定（ｈ）がなされた画素については前記フィルタ係数ｋを用いたフィルタ処理を行うことなく、入力される画像データをそのまま出力する。そして、このようなフィルタ１４０によるフィルタ処理のなされた画像データが前処理済画像データとして符号化部２００に順次供給される。
【００６７】
このような前処理部１００によれば、特に、フレーム全体の輝度レベルの変化度合が基準の度合より小さくなる場合（シーンチェンジでない場合）、ブロック輝度差分絶対値ｃの値が大きい単位ブロック、即ち、画像変化が大きく、画像劣化の目立たない単位ブロックに対しては、フィルタ処理の効果がより大きくなるようなフィルタ係数を用いてそのフィルタ処理がなされるようになるので、画像劣化を目立たせることなく符号化すべき情報の量を低減させることができ、符号化部２００による符号化効率を向上させることができるようになる。
【００６８】
また、そのような単位ブロック内の画素であっても、特に画像エッジであるとの判定がなされた画素については、個別的にフィルタ処理をキャンセルさせて、入力画像データをそのまま前処理済画像データとして出力する。従って、画像エッジの鮮鋭度を低下させることなく、フィルタ処理を有効に行なうことができる。
【００６９】
なお、フィルタ１４０は、画像エッジであるとの判定がなされ画素については、フィルタ処理を行なわないようにしているが、処理ブロック毎に決定されたフィルタ係数よりそのフィルタ処理の効果が小さくなるようなフィルタ係数（例えば、前記｛１２，２３１，１２｝より更にフィルタ処理の効果が小さくなるフィルタ係数）をその画像エッジであるとの判定がなされた画素に適用することも可能である。この場合、エッジ判定部１３２からの判定結果ｈはフィルタ係数決定部１３０に供給され、フィルタ係数決定部１３０がその判定結果に基づいてフィルタ係数を決定する。
【００７０】
フィルタ係数決定部１３１は、例えば、図５に示すテーブルに従って、フィルタ係数ｋを決定することもできる。この場合、前記ブロック輝度差分絶対値ｃ及びフレーム輝度差分絶対値ｄに加えてブロック輝度レベル算出部１２３からのブロック輝度レベルｅを考慮して各単位ブロックに適用すべきフィルタ係数ｋを決定している。
【００７１】
フレーム輝度差分絶対値ｄが所定の基準値Ａ以上となる場合（ｄ≧Ａ）、即ち、フレーム全体の輝度レベルの変化度合が基準の度合以上となる場合、ブロック輝度差分絶対値ｃ及びブロック輝度レベルｅの値に係わらず、各単位ブロックに適用されるフィルタ係数ｋは、フィルタ処理の効果が最小となる｛１２，２３１，１２｝に決定される。
【００７２】
一方、フレーム輝度差分絶対値ｄが基準値Ａより小さくなる場合（ｄ＜Ａ）、即ち、フレーム全体の輝度レベルの変化度合が基準の度合より小さくなる場合、フレームの各単位ブロックに適用されるフィルタ係数ｋは、ブロック輝度差分絶対値ｃの値が大きいほど、または、ブロック輝度レベルｅの値が小さいほど、フィルタ処理の効果が大きくなるように決定される。具体的には、ブロック輝度差分絶対値ｃが４９１５２≦ｃの範囲にある場合またはブロック輝度レベルｅがｅ＜１６３８４の範囲にある場合には、フィルタ係数ｋが｛４７，１６１，４７｝（フィルタ処理の効果が最大となるフィルタ係数）に決定され、ブロック輝度差分絶対値ｃが３２７６８≦ｃ＜４９１５２の範囲にある場合またはブロック輝度レベルｅが１６３８４≦ｅ＜３２７６８の範囲にある場合には、フィルタ係数ｋが｛４０，１７５，４０｝に決定され、ブロック輝度差分絶対値ｃが１６３８４≦ｃ＜３２７６８の範囲にある場合またはブロック輝度レベルｅが３２７６８≦ｅ＜４９１５２の範囲にある場合には、フィルタ係数ｋが｛３２，１９１，３２｝に決定され、ブロック輝度差分絶対値ｃ及びブロック輝度レベルｅがそれ以外の範囲にある場合、フィルタ係数ｋは、フィルタ処理の効果が最小となる｛１２，２３１，１２｝に決定される。
【００７３】
この場合、前述した例（図４参照）と同様に、ブロック輝度差分絶対値ｃの値が大きい単位ブロック、即ち、画像変化の大きい単位ブロックに対しては、フィルタ処理の効果がより大きくなるようにフィルタ係数が決められる。更に、ブロック輝度レベルｅの値が小さい単位ブロック、即ち、画像濃度の低い単位ブロックに対しても、フィルタ処理の効果がより大きくなるようにフィルタ係数が決められる。従って、画像濃度が低く、画像劣化の目立たない単位ブロックに対しても、フィルタ処理の効果がより大きくなるようなフィルタ係数を用いてそのフィルタ処理がなされるようになるので、画像劣化を目立たせることなく符号化すべき情報の量を低減させることができ、符号化部２００による符号化効率を向上させることができるようになる。
【００７４】
前処理部１００での前述したようなフィルタ処理にて得られた前処理済画像データを符号化する符号化部２００は、図６に示すように構成される。この例では、符号化部２００は、ＭＰＥＧに従って前記前処理済画像データの符号化を行なう。
【００７５】
図６において、符号化部２００は、分割部２０１、ＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ：離散コサイン変換）部２０２、量子化部２０３、逆量子化部２０４、逆ＤＣＴ部２０５、メモリ部２０６、動き補償部２０７、動き検出部２０８、動き予測部２０９、ＶＬＣ（ＶａｒｉａｂｌｅＬｅｎｇｔｈＣｏｄｅ：可変長符号化）部２１０、減算部２１１及び加算部２１２を有している。分割部２０１は、前処理部１００からの前処理済画像データを取り込み、各フレームの画像データを所定の処理単位ブロック（例えば、１６×１６画素のマクロブロック）に分割して処理単位ブロック毎の画像データを生成する。分割部２１から出力される処理単位ブロック毎の画像データは、その処理単位部ブロックがフレーム間符号化すべきもの場合には減算器２１１に入力される。また、その処理単位ブロックがフレーム内符号化されるべきものである場合、分割部２０１から出力される画像データがＤＣＴ部２０２に入力される。
【００７６】
減算部２１１は、フレーム間符号化すべき処理単位ブロックの画像データを取り込む。そして、減算部２１１はその処理単位ブロックの画像データから動き補償部２０７にて後述するように生成された予測参照画像データを差し引いて、予測誤差データを出力する。ＤＣＴ部２０２は、分割部２０１から出力された処理単位ブロックの画像データ及び減算部２１１から出力された予測誤差データに対して二次元離散コサイン変換を行なう。
【００７７】
量子化部２０３は、ＤＣＴ部２０２での二次元離散コサイン変換により得られた処理単位ブロックの画像データ及び予測誤差データを量子化する。ＶＬＣ部２５は、量子化された処理単位ブロックの画像データ及び予測誤差データを可変長変換して符号化画像データを生成する。
【００７８】
逆量子化部２０４は、量子化部２０３にて得られた量子化済みの画像データ及び予測誤差データに対して逆量子化を施す。逆ＤＣＴ部２０５は、逆量子化部２０４での逆量子化にて得られたデータに対して二次元逆離散コサイン変換を施して予測誤差データまたは再構成データを生成する。加算部２１２は、逆ＤＣＴ部２０５にて生成された予測誤差データと動き補償部２０７で得られた予測参照画像データとを加算して再構成画像データを生成する。メモリ部２０６は、加算部２１２または逆ＤＣＴ部２０５にて生成された再構成画像データを記憶する。動き検出部２０８は、メモリ部２０６に記憶された再構成画像データを取り込む。動き検出部２０８は、分割部２０１から供給された非圧縮の処理単位ブロックの画像データと再構成画像データとを比較することにより、動きベクトルデータを検出する。動き補償部２０７は、動き検出部２０８にて検出された動きベクトルデータをもとに、再構成画像データから予測参照画像データを取り出す。この予測参照画像データは、前述したように、減算部２１１に供給される。動き予測部２０９は、予測動きベクトルデータを算出し、動き検出部２０８にて検出された動きベクトルデータから予測動きベクトルデータを差し引いて、動きベクトル差分データを算出する。
【００７９】
前述したような構成の符号化部２００により前処理部１００からの前処理済み画像データの符号化がなされ、それにより得られた符号化画像データが順次符号化部２００から出力される。
【００８０】
上述したような符号化装置では、前処理部１００において画像の時間的な変化度合や画像の明暗に対する画像劣化の知覚特性を考慮したフィルタ処理がなされることによって、そのフィルタ処理済みの画像データ（前処理済み画像データ）をＭＰＥＧに従って符号化する符号化部１００での符号化効率を向上させることができる。
【００８１】
前処理部１００においてフィルタ係数ｋを決めるための処理単位となる単位ブロックと、符号化部２００において符号化の処理単位となる処理単位ブロックとは同じ大きさのものであっても、異なる大きさのものであってもよい。
【００８２】
また、前処理部１００は、フィルタ処理装置として、例えば、１チップの半導体装置（ＬＳＩ等）の独立した製品とすることもできる。
【００８３】
前処理部１００において、フレーム輝度差分絶対値ｄを特に考慮せずに、ブロック輝度差分絶対値ｃまたはブロック輝度レベルｅに基づいて各単位ブロックに適用すべきフィルタ係数ｋを決定するようにしてもよい。更に、ブロック輝度差分絶対値ｃとブロック輝度レベルｅとのマトリクス的な条件に基づいて各単位ブロックに適用すべきフィルタ係数ｋを決定することもできる。
【００８４】
更に、単位ブロックについてのフィルタ特性を決定するために単位ブロック毎に検出すべき画像データの時間的な変化度合は、前記式（１）に従って算出されるブロック輝度差分絶対値ｃに限定されることはない。また、単位ブロックについてのフィルタ特性を決定するために単位ブロック毎に検出すべき輝度レベルは、前記式（３）に従って算出されるブロック輝度レベルｅに限定されることはない。
【００８５】
【発明の効果】
以上、説明したように、本願発明によれば、フレーム内の各所定単位領域の画像データの時間的な変化度合に応じて、あるいはフレーム内の各所定単位領域の輝度レベルに応じて適正なフィルタ特性にて各所定単位領域の画像データに対するフィルタ処理を行なうことができるようになり、画像の時間的な変化度合や映像の明暗に対する画像劣化の知覚特性を考慮して画像符号化装置での符号化効率を向上させることのできるフィルタ処理装置を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る符号化装置の基本構成を示すブロック図
【図２】図１に示す符号化装置における前処理部の構成を示すブロック図
【図３】図２に示す前処理部における解析部及びフィルタ制御部の構成を示すブロック図
【図４】フィルタ係数ｋを決定するためのアルゴリズムの一例を示す図
【図５】フィルタ係数ｋを決定するためのアルゴリズムの他の一例を示す図
【図６】図１に示す符号化装置における符号化部の構成を示すブロック図
【符号の説明】
１００前処理部
１１０メモリ
１２０解析部
１２１ブロック輝度差分算出部
１２２フレーム輝度差分算出部
１２３ブロック輝度レベル算出部
１２４周辺平均差分算出部
１３０フィルタ制御部
１３１エッジ判定部
１３２フィルタ係数決定部
２００符号化部
２０１分割部
２０２ＤＣＴ部
２０３量子化部
２０４逆量子化部
２０５逆ＤＣＴ部
２０６メモリ
２０７動き補償部
２０８動き検出部
２０９動き予測部
２１０ＶＬＣ部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a filter processing device, and more particularly, to a filter processing device that performs filter processing on unencoded image data representing a moving image.
[0002]
The present invention also relates to an image encoding apparatus and method that encodes filtered image data obtained by such a filter processing apparatus in accordance with a predetermined algorithm.
[0003]
[Prior art]
2. Description of the Related Art Conventionally, there has been proposed an encoding device that improves encoding efficiency by performing filter processing on image data before encoding image data representing a moving image (video) (for example, a patent). Reference 1). In this conventional coding apparatus, the local change degree of image data is calculated for each predetermined block unit, and the filter characteristic is determined for each block unit according to the local change degree. Specifically, a filter process is performed on a block having a large local change degree of image data (pixel value) using a filter coefficient that increases the attenuation degree of the high-frequency component. In image portions where the degree of change in density (pixel value) is large, image degradation does not stand out even if the high-frequency component is attenuated, so this filtering improves encoding efficiency without conspicuous image degradation. It will be possible to.
[0004]
[Patent Document 1]
JP-A-8-9370
[0005]
[Problems to be solved by the invention]
However, in the conventional coding apparatus, no consideration is given to human perception characteristics of image degradation with respect to temporal changes in moving images (videos) and image brightness. For example, it is difficult to perceive image degradation in an image region having a large degree of temporal change. In a dark image region, it is difficult to perceive image degradation.
[0006]
The present invention has been made in view of such circumstances, and improves the encoding efficiency in the image encoding device in consideration of the temporal change degree of the image and the perceptual characteristics of the image deterioration with respect to the contrast of the image. The filter processing apparatus which can do is provided.
[0007]
The present invention also provides an image encoding apparatus and method using such a filter processing apparatus.
[0008]
[Means for Solving the Problems]
A filter processing device according to the present invention is a unit region image that detects a temporal change degree of image data for each predetermined unit region in a frame in a filter processing device that performs filter processing on input image data representing a moving image. As the degree of temporal change of the image data detected by the unit area image change detection means increases in the filter characteristics in the filter processing for the change detection means and the image data of the predetermined unit area, the effect of the filter processing becomes more effective. And a filter control unit that determines the size to be large.
[0009]
With such a configuration, it is possible to control the filter characteristics so that a larger filter processing effect can be exerted on the image data of a predetermined unit region that is largely changed and hardly perceives image degradation.
[0010]
The effect of the filtering process is the degree of smoothing of the image data by the filtering process or the adjustment of the frequency characteristics of the image data, and the degree of change between the image data before the filtering process and the image data after the filtering process. Correspond.
[0011]
In the filter processing device according to the present invention, the unit region image difference detection unit calculates a difference between luminance levels based on image data of corresponding predetermined unit regions in the current frame and the previous frame. It can be set as the structure which has a means.
[0012]
With such a configuration, the temporal change degree of the image data of each predetermined unit area is expressed using the difference in luminance level calculated based on the image data of each corresponding predetermined unit area in the current frame and the previous frame. Will be able to.
[0013]
Furthermore, the filter processing apparatus according to the present invention has a configuration in which the unit area luminance difference calculation unit includes a unit that calculates a sum of absolute difference values of luminance values of pixels corresponding to the predetermined unit area.
[0014]
With such a configuration, the temporal change degree of the image data of each predetermined unit area can be expressed using the sum of absolute differences of the luminance values of the corresponding pixels of the predetermined unit areas in the current frame and the previous frame. It becomes.
[0015]
The filter processing apparatus according to the present invention includes frame image change detection means for detecting a temporal change degree of image data of the entire frame, and the filter control means detects the frame detected by the frame image change means. A filter for the image data of the predetermined unit area based on the temporal change degree of the whole image data and the temporal change degree of the image data of the predetermined unit area detected by the unit area image change detecting means It can be set as the structure which determines the filter characteristic in a process.
[0016]
With such a configuration, while considering the temporal change degree of the image data of the entire frame, each predetermined predetermined characteristic with appropriate filter characteristics according to the temporal change degree of the image data of each predetermined unit area in the frame. Filter processing can be performed on the image data of the unit area.
[0017]
In the filter processing apparatus according to the present invention, the frame image change detecting unit may include a frame luminance difference calculating unit that calculates a difference between the luminance level of the current frame and the luminance level of the previous frame.
[0018]
With such a configuration, the temporal change degree of the image data of the entire frame can be expressed using the difference between the luminance level of the current frame and the luminance level of the previous frame.
[0019]
Furthermore, the filter processing apparatus according to the present invention can be configured such that the frame luminance difference calculating means includes means for calculating a sum of absolute difference values of luminance values of corresponding pixels in the current frame and the previous frame. .
[0020]
With such a configuration, the temporal change degree of the image data of the entire frame can be expressed using the sum of the absolute difference values of the luminance values of the corresponding pixels of the current frame and the previous frame.
[0021]
In the filter processing device according to the present invention, the filter control unit detects the unit region image change when the change degree of the image data of the entire frame detected by the frame image change detection unit is equal to or greater than a predetermined reference value. The filter characteristic in the filter process for the image data of the predetermined unit area can be determined as the predetermined characteristic regardless of the temporal change degree of the image data of the predetermined unit area detected by the means.
[0022]
With such a configuration, when the degree of change in the image data of the entire frame exceeds a predetermined reference value due to a scene change or the like, the unified filter characteristics are applied to the image data of each predetermined unit area in the frame. Filter processing can be performed. The predetermined characteristic may be one that is not substantially filtered.
[0023]
In the filter control device according to the present invention, the unit region image may be detected when the filter control means has a degree of change in the image data of the entire frame detected by the frame image change detection means smaller than the predetermined reference value. The filter characteristics are determined such that the greater the degree of temporal change in the image data of the predetermined unit area detected by the change detection means, the greater the effect of the filter processing on the image data of the predetermined unit area. Can do.
[0024]
With such a configuration, when there is no scene change or the like, and the degree of change of the image data of the entire frame is smaller than the predetermined reference value, the change is large and the image data of the predetermined unit region that is difficult to perceive image degradation is larger. The filter characteristics can be controlled so that the effect of the filter processing appears.
[0025]
The filter processing device according to the present invention is a filter processing device that performs filter processing on input image data representing a moving image, and a unit region luminance level that detects a luminance level based on image data for each predetermined unit region in a frame. And a filter control for determining a filter characteristic in the filter process for the image data of the predetermined unit area so that the effect of the filter process is increased as the luminance level detected by the unit area luminance level detection unit is smaller. Means.
[0026]
With such a configuration, it is possible to control the filter characteristics so that a larger filter processing effect can be obtained with respect to image data of a predetermined unit region having a low luminance level and in which image deterioration is hardly perceived.
[0027]
The filter processing apparatus according to the present invention further includes an edge determination unit that determines whether each pixel of a frame is an image edge, and the filter control unit determines that the edge determination unit is an image edge. It can be set as the structure which does not perform the filter process with respect to the performed pixel.
[0028]
With such a configuration, in the process of determining the filter characteristics for each predetermined unit region, the filter processing is not performed on the pixels that are determined to be image edges, so that the image edges in the reproduced image are unclear. It becomes possible to prevent this.
[0029]
Furthermore, the filter processing apparatus of the present invention has edge determination means for determining whether each pixel of a frame is an image edge, and the filter control means determines that the edge determination means is an image edge. The filter characteristics can be determined so as to minimize the effect of the filter processing on the processed pixels.
[0030]
With such a configuration, in the process of determining the filter characteristics for each predetermined unit region, the filter characteristics that minimize the effect of the filter processing are determined for the pixels determined to be image edges. Therefore, a reduction in the sharpness of the image edge in the reproduced image can be prevented as much as possible.
[0031]
An image encoding apparatus according to the present invention includes a preprocessing unit that performs filtering on input image data representing a moving image, and preprocessed image data obtained by the preprocessing unit according to a predetermined algorithm. The preprocessing unit includes: a unit region image change detecting unit that detects a temporal change degree of the image data for each predetermined unit region in the frame; and the image data of the predetermined unit region. And a filter control unit that determines a filter characteristic in the filter process for the image so that the effect of the filter process increases as the temporal change degree of the image data detected by the unit region image change detection unit increases. It becomes.
[0032]
With such a configuration, it is possible to control the filter characteristics so that a larger filter processing effect can be exerted on the image data of a predetermined unit region that is largely changed and hardly perceives image degradation. Since the preprocessed image data obtained as a result of the filter processing performed with appropriate filter characteristics for each predetermined unit area is encoded, efficient encoding can be performed while suppressing image deterioration as much as possible. Become.
[0033]
An image encoding apparatus according to the present invention includes a preprocessing unit that performs filtering on input image data representing a moving image, and preprocessed image data obtained by the preprocessing unit according to a predetermined algorithm. An encoding unit for encoding, and the preprocessing unit detects a luminance level based on image data for each predetermined unit region in the frame, and the image of the predetermined unit region And a filter control unit that determines a filter characteristic in the filter process for data so that the effect of the filter process is increased as the luminance level detected by the unit area luminance level detection unit is smaller.
[0034]
With such a configuration, it is possible to control the filter characteristics so that a larger filter processing effect can be obtained with respect to image data of a predetermined unit region having a low luminance level and in which image deterioration is hardly perceived. Since the preprocessed image data obtained as a result of the filter processing performed with appropriate filter characteristics for each predetermined unit area is encoded, efficient encoding can be performed while suppressing image deterioration as much as possible. Become.
[0035]
An image encoding method according to the present invention includes a preprocessing step of performing filtering on input image data representing a moving image, and encoding preprocessed image data obtained in the preprocessing step according to a predetermined algorithm. The preprocessing step includes: a unit region image change detecting step for detecting a temporal change degree of image data for each predetermined unit region in the frame; and the image data of the predetermined unit region. A filter control step for determining a filter characteristic in the filter processing for the filter so that the effect of the filter processing increases as the temporal change degree of the image data detected in the unit region image change detection step increases. It becomes.
[0036]
The image encoding method according to the present invention includes a preprocessing step for performing filter processing on input image data representing a moving image, and preprocessed image data obtained in the preprocessing step according to a predetermined algorithm. An encoding step for encoding, wherein the preprocessing step includes a unit region luminance level detection step for detecting a luminance level based on image data for each predetermined unit region in the frame, and the image of the predetermined unit region A filter control step for determining a filter characteristic in the filter processing for data so that the effect of the filter processing is increased as the luminance level detected in the unit region luminance level detection step is smaller.
[0037]
Furthermore, the image coding method according to the present invention includes an edge determination step for determining whether each pixel of a frame is an image edge, and the filter control step is an image edge in the edge determination step. It can be set as the structure which does not perform the filter process with respect to the pixel determined to be.
[0038]
Further, the image encoding method according to the present invention includes an edge determination step for determining whether each pixel of the frame is an image edge,
[0039]
The filter control step may be configured to determine a filter characteristic that reduces the effect of the filter processing on the pixel determined to be an image edge in the edge determination step.
[0040]
Embodiment
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0041]
The image coding apparatus according to the embodiment of the present invention is configured as shown in FIG.
[0042]
In FIG. 1, the image encoding apparatus includes a preprocessing unit 100 and an encoding unit 200. Image data representing a moving image (video) is sequentially supplied from the imaging device to the preprocessing unit 100 at a rate of 30 frames per second, for example. The preprocessing unit 100 performs a filtering process on the input image data to generate preprocessed image data. The encoding unit 200 encodes the preprocessed image data from the preprocessing unit 100 according to a predetermined algorithm (for example, MPEG), and outputs encoded image data.
[0043]
The preprocessing unit 100 is configured as shown in FIG.
[0044]
In FIG. 2, the preprocessing unit 100 includes a memory 110, an analysis unit 120, a filter control unit 130, and a filter 140. The memory 110 stores input image data for one frame. The analysis unit 120 receives the image data b of the previous frame and the image data a of the current frame stored in the memory 110, and calculates feature quantities c, d, e, and g related to the luminance level of the moving image as described later. To do. The filter control unit 130 generates control information k and h for controlling the filter characteristics based on the feature amounts c, d, e, and g obtained by the analysis unit 120. The filter 140 performs a filtering process on the input image with filter characteristics determined based on the control information k and h from the filter control unit 130. The image data filtered by the filter 140 is supplied to the encoding unit 200 as preprocessed image data.
[0045]
The analysis unit 120 and the filter control unit 130 are configured as shown in FIG.
[0046]
The analysis unit 120 includes a block luminance difference calculation unit 121, a frame luminance difference calculation unit 122, a block luminance level calculation unit 123, and a peripheral average difference calculation unit 124. The block luminance difference calculation unit 121 calculates a luminance level difference based on the image data a and b of the current frame and the previous frame that are temporally changed for each unit block (unit region) set in advance for the frame. The block luminance difference absolute value c to be expressed is calculated according to the equation (1).
[0047]
[Expression 1]

[0048]
a (i, j): Pixel value (luminance value) of the pixel at the position (i.j) of the current frame
b (i.j): Pixel value (luminance value) of the pixel at the position (i, j) of the previous frame
m: total number of pixels in the horizontal direction in the unit block
n: Total number of pixels in the vertical direction in the unit block
[0049]
Since the block luminance difference absolute value c is calculated based on the image data a and b of the current frame and the previous frame that are temporally changed, it can represent the temporal change degree of the image data for the unit block. .
[0050]
The frame luminance difference calculation unit 122 calculates a frame luminance difference absolute value d that represents the difference between the luminance level of the current frame and the luminance level of the previous frame based on the image data a of the current frame and the image data b of the previous frame. Calculate according to 2).
[0051]
[Expression 2]

[0052]
a (i, j): Pixel value (luminance value) of the pixel at the position (i, j) in the current frame
b (i, j): Pixel value (luminance value) of the pixel at the position (i, j) of the current frame
p: Total number of pixels in the horizontal direction in one frame
q: Total number of pixels in the vertical direction in one frame
[0053]
The absolute value d of the frame luminance difference is calculated based on the image data a and b of the current frame and the previous frame that are temporally changed, and can represent the temporal change degree of the image data of the entire frame.
[0054]
The block luminance level calculation unit 123 calculates the block luminance level e for each unit block based on the image data a of the current frame according to the equation (3).
[0055]
[Equation 3]

[0056]
a (i, j): Pixel value (luminance value) of the pixel at the position (i, j) in the current frame
m: total number of pixels in the horizontal direction in the unit block
n: Total number of pixels in the vertical direction in the unit block
[0057]
The peripheral average difference calculation unit 124 calculates a difference (peripheral average luminance difference) g between the luminance level of the target pixel and the average luminance level of a predetermined rectangular area centered on the target pixel based on the image data a of the current frame. Calculation is performed for each pixel of interest according to Equation (4).
[0058]
[Expression 4]

[0059]
a (i, j): Pixel value (luminance value) of the pixel at the position (i, j) in the current frame
a (x, y): Pixel value (luminance value) of the target pixel
r: Total number of pixels in the horizontal direction in a predetermined rectangular area centered on the target pixel
s: total number of pixels in the vertical direction in a predetermined rectangular area centered on the target pixel
[0060]
The filter control unit 130 includes a filter coefficient determination unit 131 and an edge determination unit 132. The filter coefficient determination unit 131 should be applied to each unit block based on the block luminance difference absolute value c from the block luminance difference calculation unit 121 and the frame luminance difference absolute value d from the frame luminance difference calculation unit 122 in the analysis unit 120. Determine filter coefficients. The filter coefficient determination unit 131 determines the filter coefficient k to be applied to each unit block based on the block luminance difference absolute value c and the frame luminance difference absolute value d, and the block luminance level e from the block luminance level calculation unit 123. It can also be determined.
[0061]
For example, the filter coefficient determination unit 131 determines the filter coefficient k to be applied to each unit block according to the table shown in FIG. Note that the filter coefficients k {k1, k0, k2} shown in FIG. 4 represent the filter characteristics in the filter processing that is performed in consideration of the luminance values of both adjacent pixels with respect to the luminance value of each pixel (target pixel). ing.
[0062]
When the frame luminance difference absolute value d is greater than or equal to the predetermined reference value A (d ≧ A), that is, when the change level of the luminance level of the entire frame is greater than or equal to the reference level, it is applied to each unit block included in the frame Regardless of the value of the block luminance difference absolute value c, the filter coefficient k to be applied is always determined to be {12,231,12} where the effect of the filter processing is minimized. At the time of a scene change, the sharpness of the entire screen (entire frame) may decrease for a moment, and the sharpness may return to the original from the next frame. In such a case, in order to prevent further reduction in sharpness, when the frame luminance difference absolute value d that can be regarded as a scene change is equal to or greater than a predetermined reference value A, as described above Thus, the filter coefficient k applied to each unit block is determined so that the effect of the filter processing is minimized (substantially OFF).
[0063]
On the other hand, when the frame luminance difference absolute value d is smaller than the predetermined reference value A (d <A), that is, when the change level of the luminance level of the entire frame is smaller than the reference degree, it is applied to each unit block of the frame. The filter coefficient k to be applied is determined so that the greater the block luminance difference absolute value c, the greater the effect of the filter processing. Specifically, when the block luminance difference absolute value c is in the range of 49152 ≦ c, the filter coefficient k is determined to be {47, 161, 47} (filter coefficient that maximizes the effect of the filter processing), and the block luminance When the difference absolute value c is in the range of 32768 ≦ c <49152, the filter coefficient k is determined to be {40,175,40}, and when the block luminance difference absolute value c is in the range of 16384 ≦ c <32768, the filter When the coefficient k is determined to be {32,191,32} and the block luminance difference absolute value c is in the other range, the filter coefficient k is set to {12,231,12} where the effect of the filtering process is minimized. It is determined.
[0064]
Thus, for a unit block having a large block luminance difference absolute value c, that is, a unit block having a large image change, the filter coefficient is determined so that the effect of the filter processing is further increased.
[0065]
The edge determination unit 132 determines whether each pixel is an image edge based on the peripheral average luminance difference g in the analysis unit 120, and outputs the determination result h. A large peripheral average luminance difference g calculated for each pixel of interest according to the equation (4) indicates that the luminance level of the pixel of interest is prominently larger or smaller than the luminance level of the peripheral region. Therefore, the edge determination unit 132 determines whether or not the target pixel is an image edge based on, for example, whether or not the peripheral average luminance difference g is greater than or equal to a predetermined threshold.
[0066]
The filter coefficient k determined for each unit block by the filter coefficient determination unit 131 and the image edge determination result h for each pixel output from the edge determination unit 132 are supplied to the filter 140 as filter processing control information. Is done. The filter 140 performs filter processing on the input image data using the filter coefficient k determined for the unit block to which the pixel belongs in units of pixels. Further, the input image data is output as it is without performing the filtering process using the filter coefficient k for the pixel that has been determined to be an image edge (h). The image data that has been subjected to the filter processing by the filter 140 is sequentially supplied to the encoding unit 200 as preprocessed image data.
[0067]
According to the pre-processing unit 100, in particular, when the change level of the luminance level of the entire frame is smaller than the reference level (when it is not a scene change), a unit block having a large block luminance difference absolute value c, that is, For unit blocks with large image changes and inconspicuous image deterioration, the filter processing is performed using filter coefficients that increase the effect of the filter processing, so that the image deterioration is conspicuous. Therefore, the amount of information to be encoded can be reduced, and the encoding efficiency of the encoding unit 200 can be improved.
[0068]
Further, even for pixels in such a unit block, especially for pixels that are determined to be image edges, the filter processing is individually canceled, and the input image data is directly processed as preprocessed image data. Output as. Therefore, it is possible to effectively perform the filtering process without reducing the sharpness of the image edge.
[0069]
The filter 140 is determined to be an image edge and is not subjected to filter processing. However, the effect of the filter processing is smaller than the filter coefficient determined for each processing block. It is also possible to apply a filter coefficient (for example, a filter coefficient for which the effect of the filter processing is further smaller than {12, 231, 12}) to a pixel that has been determined to be the image edge. In this case, the determination result h from the edge determination unit 132 is supplied to the filter coefficient determination unit 130, and the filter coefficient determination unit 130 determines the filter coefficient based on the determination result.
[0070]
For example, the filter coefficient determination unit 131 can determine the filter coefficient k according to the table shown in FIG. In this case, the filter coefficient k to be applied to each unit block is determined in consideration of the block luminance level absolute value c and the frame luminance difference absolute value d in addition to the block luminance level e from the block luminance level calculation unit 123. Yes.
[0071]
When the frame luminance difference absolute value d is greater than or equal to the predetermined reference value A (d ≧ A), that is, when the change level of the luminance level of the entire frame is greater than or equal to the reference degree, the block luminance difference absolute value c and the block luminance Regardless of the value of the level e, the filter coefficient k applied to each unit block is determined to be {12,231,12} that minimizes the effect of the filter processing.
[0072]
On the other hand, when the frame luminance difference absolute value d is smaller than the reference value A (d <A), that is, when the change level of the luminance level of the entire frame is smaller than the reference degree, it is applied to each unit block of the frame. The filter coefficient k is determined so that the larger the block luminance difference absolute value c is, or the smaller the block luminance level e is, the greater the effect of the filter processing is. Specifically, when the block luminance difference absolute value c is in a range of 49152 ≦ c or the block luminance level e is in a range of e <16384, the filter coefficient k is {47, 161, 47} (filter When the block luminance difference absolute value c is in the range of 32768 ≦ c <49152 or the block luminance level e is in the range of 16384 ≦ e <32768, the filter coefficient that maximizes the processing effect is determined. When the filter coefficient k is determined to be {40, 175, 40} and the block luminance difference absolute value c is in the range of 16384 ≦ c <32768 or the block luminance level e is in the range of 32768 ≦ e <49152 , The filter coefficient k is determined to be {32, 191, 32}, and the block luminance difference absolute value c and the block luminance level e are If the range other than that, filter coefficient k is determined to the effect of filtering is minimum {12,231,12}.
[0073]
In this case, as in the above-described example (see FIG. 4), the effect of the filtering process is more effective for a unit block having a large block luminance difference absolute value c, that is, a unit block having a large image change. The filter coefficient is determined. Further, the filter coefficient is determined so that the effect of the filter processing is increased even for a unit block having a small block luminance level e, that is, a unit block having a low image density. Therefore, even for a unit block having a low image density and inconspicuous image degradation, the filter processing is performed using a filter coefficient that increases the effect of the filter processing, so that the image degradation is conspicuous. Accordingly, the amount of information to be encoded can be reduced, and the encoding efficiency of the encoding unit 200 can be improved.
[0074]
The encoding unit 200 that encodes the preprocessed image data obtained by the filter processing as described above in the preprocessing unit 100 is configured as shown in FIG. In this example, the encoding unit 200 encodes the preprocessed image data according to MPEG.
[0075]
In FIG. 6, the encoding unit 200 includes a dividing unit 201, a DCT (Discrete Cosine Transform) unit 202, a quantizing unit 203, an inverse quantizing unit 204, an inverse DCT unit 205, a memory unit 206, and a motion compensating unit. 207, a motion detection unit 208, a motion prediction unit 209, a VLC (Variable Length Code) unit 210, a subtraction unit 211, and an addition unit 212. The dividing unit 201 takes in the preprocessed image data from the preprocessing unit 100, divides the image data of each frame into predetermined processing unit blocks (for example, macroblocks of 16 × 16 pixels), and performs processing for each processing unit block. Generate image data. The image data for each processing unit block output from the dividing unit 21 is input to the subtractor 211 when the processing unit unit block is to be inter-frame encoded. If the processing unit block is to be intra-frame encoded, the image data output from the dividing unit 201 is input to the DCT unit 202.
[0076]
The subtracting unit 211 captures image data of a processing unit block to be interframe encoded. Then, the subtraction unit 211 subtracts prediction reference image data generated by the motion compensation unit 207 as described later from the image data of the processing unit block, and outputs prediction error data. The DCT unit 202 performs two-dimensional discrete cosine transform on the image data of the processing unit block output from the dividing unit 201 and the prediction error data output from the subtracting unit 211.
[0077]
The quantization unit 203 quantizes the image data and prediction error data of the processing unit block obtained by the two-dimensional discrete cosine transform in the DCT unit 202. The VLC unit 25 performs variable length conversion on the quantized processing unit block image data and prediction error data to generate encoded image data.
[0078]
The inverse quantization unit 204 performs inverse quantization on the quantized image data and prediction error data obtained by the quantization unit 203. The inverse DCT unit 205 performs two-dimensional inverse discrete cosine transform on the data obtained by the inverse quantization in the inverse quantization unit 204 to generate prediction error data or reconstructed data. The addition unit 212 adds the prediction error data generated by the inverse DCT unit 205 and the prediction reference image data obtained by the motion compensation unit 207 to generate reconstructed image data. The memory unit 206 stores the reconstructed image data generated by the adding unit 212 or the inverse DCT unit 205. The motion detection unit 208 takes in the reconstructed image data stored in the memory unit 206. The motion detection unit 208 detects motion vector data by comparing the image data of the uncompressed processing unit block supplied from the division unit 201 with the reconstructed image data. The motion compensation unit 207 extracts prediction reference image data from the reconstructed image data based on the motion vector data detected by the motion detection unit 208. This prediction reference image data is supplied to the subtraction unit 211 as described above. The motion prediction unit 209 calculates predicted motion vector data, and subtracts the predicted motion vector data from the motion vector data detected by the motion detection unit 208 to calculate motion vector difference data.
[0079]
The pre-processed image data from the pre-processing unit 100 is encoded by the encoding unit 200 configured as described above, and the encoded image data obtained thereby is sequentially output from the encoding unit 200.
[0080]
In the encoding apparatus as described above, the preprocessing unit 100 performs filter processing in consideration of the temporal change degree of the image and the perceptual characteristics of image deterioration with respect to light and darkness of the image. It is possible to improve the encoding efficiency in the encoding unit 100 that encodes (preprocessed image data) according to MPEG.
[0081]
A unit block that is a processing unit for determining the filter coefficient k in the preprocessing unit 100 and a processing unit block that is a processing unit for encoding in the encoding unit 200 may have the same size, but different sizes. It may be.
[0082]
In addition, the preprocessing unit 100 may be an independent product of, for example, a one-chip semiconductor device (LSI or the like) as a filter processing device.
[0083]
The preprocessing unit 100 may determine the filter coefficient k to be applied to each unit block based on the block luminance difference absolute value c or the block luminance level e without particularly considering the frame luminance difference absolute value d. Good. Furthermore, the filter coefficient k to be applied to each unit block can be determined based on the matrix condition of the block luminance difference absolute value c and the block luminance level e.
[0084]
Further, the temporal change degree of the image data to be detected for each unit block in order to determine the filter characteristics for the unit block is limited to the block luminance difference absolute value c calculated according to the above equation (1). There is no. Further, the luminance level to be detected for each unit block in order to determine the filter characteristics for the unit block is not limited to the block luminance level e calculated according to the equation (3).
[0085]
【The invention's effect】
As described above, according to the present invention, an appropriate filter according to the temporal change degree of the image data of each predetermined unit area in the frame or according to the luminance level of each predetermined unit area in the frame. Filtering can be performed on the image data of each predetermined unit area according to the characteristics, and the coding in the image coding apparatus takes into consideration the temporal change degree of the image and the perceptual characteristics of the image degradation with respect to the contrast of the video. It is possible to realize a filter processing apparatus that can improve the efficiency of the conversion.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a basic configuration of an encoding apparatus according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of a preprocessing unit in the encoding apparatus shown in FIG.
3 is a block diagram showing a configuration of an analysis unit and a filter control unit in the preprocessing unit shown in FIG.
FIG. 4 is a diagram illustrating an example of an algorithm for determining a filter coefficient k.
FIG. 5 is a diagram showing another example of an algorithm for determining a filter coefficient k.
6 is a block diagram showing a configuration of an encoding unit in the encoding apparatus shown in FIG.
[Explanation of symbols]
100 Pre-processing section
110 memory
120 analysis unit
121 block luminance difference calculation unit
122 frame luminance difference calculation unit
123 block luminance level calculator
124 peripheral average difference calculation unit
130 Filter control unit
131 Edge determination unit
132 Filter coefficient determination unit
200 Coding unit
201 Dividing part
202 DCT section
203 Quantizer
204 Inverse quantization unit
205 Reverse DCT section
206 memory
207 Motion compensation unit
208 Motion detection unit
209 Motion prediction unit
210 VLC section

Claims

In a filter processing apparatus that performs filter processing on input image data representing a moving image,
A unit region image change detecting means for detecting a temporal change degree of image data for each predetermined unit region in the frame;
The filter characteristic in the filter process for the image data of the predetermined unit area is determined so that the effect of the filter process becomes larger as the temporal change degree of the image data detected by the unit area image change detecting means is larger. And a filter control means.

2. The unit area image change detecting means includes unit area luminance difference calculating means for calculating a difference in luminance level based on image data of each of the corresponding predetermined unit areas in the current frame and the previous frame. The filter processing apparatus as described.

3. The filter processing apparatus according to claim 2, wherein the unit area luminance difference calculating means includes means for calculating a sum of absolute differences of luminance values of pixels corresponding to the predetermined unit areas.

Frame image change detecting means for detecting a temporal change degree of image data of the entire frame;
The filter control means includes a temporal change degree of the image data of the entire frame detected by the frame image change means, and the image data of the predetermined unit area detected by the unit area image change detection means. 4. The filter processing apparatus according to claim 1, wherein a filter characteristic in a filter process for the image data of the predetermined unit region is determined based on a temporal change degree.

5. The filter processing apparatus according to claim 4, wherein the frame image change detecting means includes frame luminance difference calculating means for calculating a difference between the luminance level of the current frame and the luminance level of the previous frame.

6. The filter processing apparatus according to claim 5, wherein the frame luminance difference calculating means includes means for calculating a sum of absolute differences of luminance values of corresponding pixels of the current frame and the previous frame.

The filter control means is configured to detect the predetermined unit detected by the unit area image change detection means when the degree of change in the image data of the entire frame detected by the frame image change detection means exceeds a predetermined reference value. 7. The filter process according to claim 4, wherein the filter characteristic in the filter process for the image data of the predetermined unit area is determined to be a predetermined characteristic regardless of a temporal change degree of the image data of the area. apparatus.

The filter control unit is configured to detect the predetermined unit detected by the unit region image change detection unit when the degree of change of the image data of the entire frame detected by the frame image change detection unit is smaller than the predetermined reference value. 8. The filter processing apparatus according to claim 7, wherein the filter characteristic is determined so that the effect of the filtering process on the image data of the predetermined unit area increases as the temporal change degree of the image data of the area increases.

In a filter processing apparatus that performs filter processing on input image data representing a moving image,
Unit area luminance level detecting means for detecting a luminance level based on image data for each predetermined unit area in the frame;
Filter control means for determining a filter characteristic in the filter process for the image data of the predetermined unit area so that the effect of the filter process increases as the brightness level detected by the unit area brightness level detection means decreases. The filter processing apparatus characterized by the above-mentioned.

Having an edge determination means for determining whether each pixel of the frame is an image edge;
The filter processing apparatus according to claim 1, wherein the filter control unit does not perform a filter process on a pixel determined to be an image edge by the edge determination unit.

Having an edge determination means for determining whether each pixel of the frame is an image edge;
10. The filter control unit according to claim 1, wherein the filter control unit determines a filter characteristic that reduces an effect of filter processing on a pixel determined to be an image edge by the edge determination unit. The filter processing apparatus as described.

A preprocessing unit that performs a filtering process on input image data representing a moving image, and an encoding unit that encodes the preprocessed image data obtained by the preprocessing unit according to a predetermined algorithm,
The preprocessing unit includes unit area image change detection means for detecting a temporal change degree of image data for each predetermined unit area in a frame;
The filter characteristic in the filter process for the image data of the predetermined unit area is determined so that the effect of the filter process becomes larger as the temporal change degree of the image data detected by the unit area image change detecting means is larger. And an image encoding device.

A preprocessing unit that performs a filtering process on input image data representing a moving image, and an encoding unit that encodes the preprocessed image data obtained by the preprocessing unit according to a predetermined algorithm,
The preprocessing unit includes a unit area luminance level detection unit that detects a luminance level based on image data for each predetermined unit area in the frame;
Filter control means for determining a filter characteristic in the filter process for the image data of the predetermined unit area so that the effect of the filter process increases as the brightness level detected by the unit area brightness level detection means decreases. An image encoding apparatus characterized by that.

A preprocessing step for performing filtering on input image data representing a moving image, and an encoding step for encoding the preprocessed image data obtained in the preprocessing step according to a predetermined algorithm,
The preprocessing step includes a unit region image change detection step for detecting a temporal change degree of image data for each predetermined unit region in the frame;
The filter characteristic in the filter process for the image data of the predetermined unit area is determined so that the effect of the filter process increases as the temporal change degree of the image data detected in the unit area image change detection step increases. And a filter control step.

A preprocessing step for performing filtering on input image data representing a moving image, and an encoding step for encoding the preprocessed image data obtained in the preprocessing step according to a predetermined algorithm,
The preprocessing step includes a unit region luminance level detection step for detecting a luminance level based on image data for each predetermined unit region in the frame;
A filter control step of determining a filter characteristic in the filter process for the image data of the predetermined unit area so that the effect of the filter process increases as the luminance level detected in the unit area luminance level detection step decreases. An image encoding method characterized by the above.

An edge determination step for determining whether each pixel of the frame is an image edge;
16. The image encoding method according to claim 14, wherein the filter control step does not perform a filter process on a pixel determined to be an image edge in the edge determination step.

An edge determination step for determining whether each pixel of the frame is an image edge;
16. The image code according to claim 14, wherein the filter control step determines a filter characteristic that reduces an effect of filter processing on a pixel determined to be an image edge in the edge determination step. Method.