JP2003264832A5 - - Google Patents

Claims (54)

1. 画像データを、少なくとも２次元ＤＣＴ(Discrete Cosine Transform)変換して得られる２次元ＤＣＴ係数を含む符号化データを復号する画像処理装置であって、
   前記２次元ＤＣＴ係数を、１次元逆ＤＣＴ変換することにより、１次元ＤＣＴ係数を求める１次元逆ＤＣＴ変換手段と、
   前記１次元ＤＣＴ係数に基づいて、前記画像データを構成する画素を、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うクラス分類手段と、
   前記クラス分類手段によるクラス分類の結果得られるクラスごとに、前記符号化データを処理する処理手段と
   を備えることを特徴とする画像処理装置。
2. 前記符号化データは、前記画像データを、所定のブロック単位で２次元ＤＣＴ変換した前記２次元ＤＣＴ係数を含み、
   前記クラス分類手段は、注目している画素である注目画素を含むブロックである注目ブロックにおける前記１次元ＤＣＴ係数に基づいて、前記注目画素のクラス分類を行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記１次元逆ＤＣＴ変換手段は、前記注目ブロックの２次元ＤＣＴ係数を、水平方向の空間周波数成分を表す水平１次元ＤＣＴ係数と、垂直方向の空間周波数成分を表す垂直１次元ＤＣＴ係数に変換し、
   前記クラス分類手段は、前記注目ブロックの水平１次元ＤＣＴ係数のうちの、前記注目画素の位置に対応するものと、前記注目ブロックの垂直１次元ＤＣＴ係数のうちの、前記注目画素の位置に対応するものとに基づいて、前記注目画素のクラス分類を行う
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記注目ブロックにおける前記注目画素の位置に対応する前記水平１次元ＤＣＴ係数と垂直１次元ＤＣＴ係数から、それぞれの交流成分のパワーを求めるパワー算出手段をさらに備え、
   前記クラス分類手段は、前記交流成分のパワーに基づいて、前記注目画素のクラス分類を行う
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記クラス分類手段は、前記注目ブロックにおける前記１次元ＤＣＴ係数から、前記注目画素のアクティビティを求め、そのアクティビティに基づいて、前記注目画素のクラス分類を行う
   ことを特徴とする請求項２に記載の画像処理装置。
6. 前記クラス分類手段は、前記１次元ＤＣＴ係数の交流成分の自乗和を、前記アクティビティとして求める
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記クラス分類手段は、前記注目ブロックにおける前記１次元ＤＣＴ係数と、その注目ブロック以外のブロックにおける前記１次元ＤＣＴ係数に基づいて、前記注目画素のクラス分類を行う
   ことを特徴とする請求項２に記載の画像処理装置。
8. 前記クラス分類手段は、前記注目ブロックにおける前記１次元ＤＣＴ係数と、その注目ブロックに隣接するブロックである隣接ブロックにおける前記１次元ＤＣＴ係数とに基づいて、前記注目画素のクラス分類を行う
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記クラス分類手段は、前記注目ブロックにおける、前記隣接ブロックに隣接する前記１次元ＤＣＴ係数と、前記隣接ブロックにおける、前記注目ブロックに隣接する前記１次元ＤＣＴ係数とに基づいて、前記注目画素のクラス分類を行う
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記クラス分類手段は、前記注目ブロックと空間上において隣接するブロックを、前記隣接ブロックとして、前記注目ブロックにおける、前記隣接ブロックに隣接する前記１次元ＤＣＴ係数と、前記隣接ブロックにおける、前記注目ブロックに隣接する前記１次元ＤＣＴ係数とに基づいて、前記注目画素のクラス分類を行う
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記符号化データは、前記画像データをＭＰＥＧ(Moving Picture Experts Group)符号化したものであり、
    前記注目ブロックを含むマクロブロックである注目マクロブロックのＤＣＴタイプと、前記注目マクロブロックに隣接するマクロブロックのＤＣＴタイプに基づいて、前記注目ブロックと空間上において隣接する前記隣接ブロックにおける、前記注目ブロックに隣接する前記１次元ＤＣＴ係数を取得する隣接１次元ＤＣＴ係数取得手段をさらに備える
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記クラス分類手段は、前記注目ブロックにおける、前記隣接ブロックに隣接する前記１次元ＤＣＴ係数の交流成分のパワーと、前記隣接ブロックにおける、前記注目ブロックに隣接する前記１次元ＤＣＴ係数の交流成分のパワーとに基づいて、前記注目画素のクラス分類を行う
    ことを特徴とする請求項９に記載の画像処理装置。
13. 前記クラス分類手段は、前記注目ブロックにおける、前記隣接ブロックに隣接する前記１次元ＤＣＴ係数の直流成分と、前記隣接ブロックにおける、前記注目ブロックに隣接する前記１次元ＤＣＴ係数の直流成分とに基づいて、前記注目画素のクラス分類を行う
    ことを特徴とする請求項９に記載の画像処理装置。
14. 前記注目ブロックにおける、前記隣接ブロックに隣接する前記１次元ＤＣＴ係数をコンポーネントとするベクトルと、前記隣接ブロックにおける、前記注目ブロックに隣接する前記１次元ＤＣＴ係数をコンポーネントとするベクトルとの内積を求める内積演算手段をさらに備え、
    前記クラス分類手段は、前記注目ブロックと隣接ブロックの前記１次元ＤＣＴ係数から求められる内積に基づいて、前記注目画素のクラス分類を行う
    ことを特徴とする請求項８に記載の画像処理装置。
15. 前記注目ブロックにおける前記１次元ＤＣＴ係数と、前記隣接ブロックにおける前記１次元ＤＣＴ係数とから、前記注目ブロックと隣接ブロックとの間の平坦性を判定する平坦性判定手段をさらに備え、
    前記クラス分類手段は、前記注目ブロックと隣接ブロックとの間の平坦性に基づいて、前記注目画素のクラス分類を行う
    ことを特徴とする請求項８に記載の画像処理装置。
16. 前記平坦性判定手段は、前記注目ブロックにおける、前記隣接ブロックに隣接する前記１次元ＤＣＴ係数の交流成分のパワーと、前記隣接ブロックにおける、前記注目ブロックに隣接する前記１次元ＤＣＴ係数の交流成分のパワーとに基づいて、前記注目ブロックと隣接ブロックとの間の平坦性を判定する
    ことを特徴とする請求項１５に記載の画像処理装置。
17. 前記平坦性判定手段は、前記注目ブロックにおける、前記隣接ブロックに隣接する前記１次元ＤＣＴ係数の直流成分と、前記隣接ブロックにおける、前記注目ブロックに隣接する前記１次元ＤＣＴ係数の直流成分に基づいて、前記注目ブロックと隣接ブロックとの間の平坦性を判定する
    ことを特徴とする請求項１５に記載の画像処理装置。
18. 前記注目ブロックにおける前記１次元ＤＣＴ係数と、前記隣接ブロックにおける前記１次元ＤＣＴ係数とから、前記注目ブロックと隣接ブロックとの間の連続性を判定する連続性判定手段をさらに備え、
    前記クラス分類手段は、前記注目ブロックと隣接ブロックとの間の連続性に基づいて、前記注目画素のクラス分類を行う
    ことを特徴とする請求項８に記載の画像処理装置。
19. 前記連続性判定手段は、前記注目ブロックにおける、前記隣接ブロックに隣接する前記１次元ＤＣＴ係数をコンポーネントとするベクトルと、前記隣接ブロックにおける、前記注目ブロックに隣接する前記１次元ＤＣＴ係数をコンポーネントとするベクトルとの内積に基づいて、前記注目ブロックと隣接ブロックとの間の連続性を判定する
    ことを特徴とする請求項１８に記載の画像処理装置。
20. 前記画像データは、カラーの画像データであり、
    前記クラス分類手段は、輝度信号の画素と、色信号の画素とを別にクラス分類する
    ことを特徴とする請求項１に記載の画像処理装置。
21. 前記クラス分類手段は、前記輝度信号の画素のクラス分類の結果を用いて、前記色信号の画素のクラス分類を行う
    ことを特徴とする請求項２０に記載の画像処理装置。
22. 前記符号化データは、前記画像データをＭＰＥＧ(Moving Picture Experts Group)符号化したものであり、
    前記クラス分類手段は、輝度信号のマクロブロックを構成するブロックの画素のクラス分類の結果を用いて、対応する色信号のマクロブロックを構成するブロックの画素のクラス分類を行う
    ことを特徴とする請求項２０に記載の画像処理装置。
23. 前記処理手段は、前記符号化データに含まれる前記２次元ＤＣＴ係数を、画素値に変換する
    ことを特徴とする請求項１に記載の画像処理装置。
24. 前記処理手段は、
    所定の学習によって得られるクラスごとのタップ係数のうちの、注目している画素である注目画素のクラスに対応するものを取得する取得手段と、
    前記取得手段によって取得された前記タップ係数との所定の予測演算に用いる予測タップを、前記２次元ＤＣＴ係数から生成する予測タップ生成手段と、
    前記注目画素のクラスのタップ係数と、前記予測タップとを用いて、前記所定の予測演算を行うことにより、前記注目画素の画素値を求める予測演算手段と
    を有する
    ことを特徴とする請求項２３に記載の画像処理装置。
25. 前記タップ係数は、前記２次元ＤＣＴ係数とタップ係数とを用いて予測演算を行うことにより得られる前記注目画素の画素値の予測値の予測誤差が統計的に最小になるように学習を行うことにより求められたものである
    ことを特徴とする請求項２４に記載の画像処理装置。
26. 前記符号化データは、前記画像データを、所定のブロック単位で２次元ＤＣＴ変換した前記２次元ＤＣＴ係数を含み、
    前記予測タップ生成手段は、前記注目画素を含むブロックである注目ブロックの前記２次元ＤＣＴ係数すべてを用いて、前記予測タップを生成する
    ことを特徴とする請求項２４に記載の画像処理装置。
27. 前記取得手段は、前記注目画素のクラスについて、前記ブロックにおける画素の位置ごとのタップ係数を取得し、
    前記予測演算手段は、前記注目画素のクラスの、その注目画素の注目ブロックにおける位置に対応するタップ係数を用いて、前記所定の予測演算を行う
    ことを特徴とする請求項２６に記載の画像処理装置。
28. 前記予測タップ生成手段は、前記注目ブロック以外のブロックの情報をも用いて、前記予測タップを生成する
    ことを特徴とする請求項２６に記載の画像処理装置。
29. 前記予測タップ生成手段は、前記注目ブロックに隣接するブロックである隣接ブロックの情報をも用いて、前記予測タップを生成する
    ことを特徴とする請求項２８に記載の画像処理装置。
30. 前記予測タップ生成手段は、前記隣接ブロックの２次元ＤＣＴ係数または１次元ＤＣＴ係数をも用いて、前記予測タップを生成する
    ことを特徴とする請求項２９に記載の画像処理装置。
31. 前記処理手段は、
    所定の学習によって得られるクラスごとのタップ係数のうちの、注目している画素である注目画素のクラスに対応するものを取得する取得手段と、
    前記取得手段によって取得された前記タップ係数との所定の予測演算に用いる予測タップを、前記２次元ＤＣＴ係数から生成する予測タップ生成手段と、
    前記注目画素のクラスのタップ係数と、前記予測タップとを用いて、前記所定の予測演算を行うことにより、前記注目画素に対する新たな２次元ＤＣＴ係数を求める予測演算手段と、
    前記新たな２次元ＤＣＴ係数を、２次元逆ＤＣＴ変換することにより、前記注目画素の画素値を求める２次元逆ＤＣＴ変換手段と
    を有する
    ことを特徴とする請求項１に記載の画像処理装置。
32. 前記タップ係数は、前記２次元ＤＣＴ係数とタップ係数とを用いて予測演算を行うことにより得られる前記注目画素に対する新たな２次元ＤＣＴ係数の予測値の予測誤差が統計的に最小になるように学習を行うことにより求められたものである
    ことを特徴とする請求項３１に記載の画像処理装置。
33. 前記符号化データは、前記画像データを、所定のブロック単位で２次元ＤＣＴ変換した前記２次元ＤＣＴ係数を含み、
    前記予測タップ生成手段は、前記注目画素を含むブロックである注目ブロックの前記２次元ＤＣＴ係数すべてを用いて、前記予測タップを生成する
    ことを特徴とする請求項３１に記載の画像処理装置。
34. 前記取得手段は、前記注目画素のクラスについて、前記ブロックにおける画素の位置ごとのタップ係数を取得し、
    前記予測演算手段は、前記注目画素のクラスの、その注目画素の注目ブロックにおける位置に対応するタップ係数を用いて、前記所定の予測演算を行う
    ことを特徴とする請求項３３に記載の画像処理装置。
35. 前記予測タップ生成手段は、前記注目ブロック以外のブロックの情報をも用いて、前記予測タップを生成する
    ことを特徴とする請求項３３に記載の画像処理装置。
36. 前記予測タップ生成手段は、前記注目ブロックに隣接するブロックである隣接ブロックの情報をも用いて、前記予測タップを生成する
    ことを特徴とする請求項３５に記載の画像処理装置。
37. 前記予測タップ生成手段は、前記隣接ブロックの２次元ＤＣＴ係数または１次元ＤＣＴ係数をも用いて、前記予測タップを生成する
    ことを特徴とする請求項３６に記載の画像処理装置。
38. 前記符号化データを、前記画像データに復号する復号手段と、
    前記復号手段により復号された前記画像データを、２次元ＤＣＴ変換することにより、２次元ＤＣＴ係数を求める２次元ＤＣＴ変換手段と
    をさらに備え、
    前記１次元逆ＤＣＴ変換手段は、前記２次元ＤＣＴ変換手段が出力する前記２次元ＤＣＴ係数を、１次元逆ＤＣＴ変換することにより、１次元ＤＣＴ係数を求め、
    前記クラス分類手段は、前記１次元ＤＣＴ係数に基づいて、前記画像データを構成する画素を、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行い、
    前記処理手段は、前記クラス分類手段によるクラス分類の結果得られるクラスごとに、前記符号化データから復号された前記画像データを処理する
    ことを特徴とする請求項１に記載の画像処理装置。
39. 前記処理手段は、
    所定の学習によって得られるクラスごとのタップ係数のうちの、注目している画素である注目画素のクラスに対応するものを取得する取得手段と、
    前記取得手段によって取得された前記タップ係数との所定の予測演算に用いる予測タップを、前記復号手段が出力する前記画像データを構成する画素から生成する予測タップ生成手段と、
    前記注目画素のクラスのタップ係数と、前記予測タップとを用いて、前記所定の予測演算を行うことにより、前記注目画素の画素値を求める予測演算手段と
    を有する
    ことを特徴とする請求項３８に記載の画像処理装置。
40. 前記タップ係数は、前記予測タップとタップ係数とを用いて予測演算を行うことにより得られる前記注目画素の画素値の予測値の予測誤差が統計的に最小になるように学習を行うことにより求められたものである
    ことを特徴とする請求項３９に記載の画像処理装置。
41. 前記符号化データは、前記画像データを、所定のブロック単位で２次元ＤＣＴ変換した前記２次元ＤＣＴ係数を含み、
    前記予測タップ生成手段は、前記注目画素を含むブロックである注目ブロックの画素すべてを用いて、前記予測タップを生成する
    ことを特徴とする請求項３９に記載の画像処理装置。
42. 前記取得手段は、前記注目画素のクラスについて、前記ブロックにおける画素の位置ごとのタップ係数を取得し、
    前記予測演算手段は、前記注目画素のクラスの、その注目画素の注目ブロックにおける位置に対応するタップ係数を用いて、前記所定の予測演算を行う
    ことを特徴とする請求項４１に記載の画像処理装置。
43. 前記予測タップ生成手段は、前記注目ブロック以外のブロックの情報をも用いて、前記予測タップを生成する
    ことを特徴とする請求項４１に記載の画像処理装置。
44. 前記予測タップ生成手段は、前記注目ブロックに隣接するブロックである隣接ブロックの情報をも用いて、前記予測タップを生成する
    ことを特徴とする請求項４３に記載の画像処理装置。
45. 前記予測タップ生成手段は、前記隣接ブロックの２次元ＤＣＴ係数または１次元ＤＣＴ係数をも用いて、前記予測タップを生成する
    ことを特徴とする請求項４４に記載の画像処理装置。
46. 前記符号化データは、前記画像データから、その予測画像を減算して得られる残差画像を２次元ＤＣＴ変換した２次元ＤＣＴ係数を含み、
    前記処理手段が前記符号化データを処理することにより得られる、前記画像データの復号画像から、前記予測画像を生成する予測画像生成手段と、
    前記予測画像を２次元ＤＣＴ変換し、２次元ＤＣＴ係数を出力する２次元ＤＣＴ変換手段と、
    前記残差画像の２次元ＤＣＴ係数と、対応する前記予測画像の２次元ＤＣＴ係数とを加算し、元の画像の２次元ＤＣＴ係数を求める加算手段と
    をさらに備え、
    前記１次元逆ＤＣＴ変換手段は、前記元の画像の２次元ＤＣＴ係数を、１次元ＤＣＴ係数に変換する
    ことを特徴とする請求項１に記載の画像処理装置。
47. 前記予測画像生成手段は、前記画像データの復号画像を参照画像として、動き補償を施すことにより、前記予測画像を生成する
    ことを特徴とする請求項４６に記載の画像処理装置。
48. 画像データを、少なくとも２次元ＤＣＴ(Discrete Cosine Transform)変換して得られる２次元ＤＣＴ係数を含む符号化データを復号する画像処理方法であって、
    前記２次元ＤＣＴ係数を、１次元逆ＤＣＴ変換することにより、１次元ＤＣＴ係数を求める１次元逆ＤＣＴ変換ステップと、
    前記１次元ＤＣＴ係数に基づいて、前記画像データを構成する画素を、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うクラス分類ステップと、
    前記クラス分類ステップによるクラス分類の結果得られるクラスごとに、前記符号化データを処理する処理ステップと
    を備えることを特徴とする画像処理方法。
49. 画像データを、少なくとも２次元ＤＣＴ(Discrete Cosine Transform)変換して得られる２次元ＤＣＴ係数を含む符号化データを復号する画像処理を、コンピュータに行わせるプログラムであって、
    前記２次元ＤＣＴ係数を、１次元逆ＤＣＴ変換することにより、１次元ＤＣＴ係数を求める１次元逆ＤＣＴ変換ステップと、
    前記１次元ＤＣＴ係数に基づいて、前記画像データを構成する画素を、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うクラス分類ステップと、
    前記クラス分類ステップによるクラス分類の結果得られるクラスごとに、前記符号化データを処理する処理ステップと
    を備えることを特徴とするプログラム。
50. 画像データを、少なくとも２次元ＤＣＴ(Discrete Cosine Transform)変換して得られる２次元ＤＣＴ係数を含む符号化データを復号する画像処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
    前記２次元ＤＣＴ係数を、１次元逆ＤＣＴ変換することにより、１次元ＤＣＴ係数を求める１次元逆ＤＣＴ変換ステップと、
    前記１次元ＤＣＴ係数に基づいて、前記画像データを構成する画素を、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うクラス分類ステップと、
    前記クラス分類ステップによるクラス分類の結果得られるクラスごとに、前記符号化データを処理する処理ステップと
    を備えるプログラムが記録されている
    ことを特徴とする記録媒体。
51. 画像データを、少なくとも２次元ＤＣＴ(Discrete Cosine Transform)変換して得られる２次元ＤＣＴ係数を含む符号化データを復号するのに用いるタップ係数を学習する画像処理装置であって、
    学習用の画像データを、少なくとも２次元ＤＣＴ変換することにより符号化し、２次元ＤＣＴ係数を含む符号化データを出力する符号化手段と、
    前記符号化データに含まれる２次元ＤＣＴ係数を、１次元逆ＤＣＴ変換することにより、１次元ＤＣＴ係数を求める１次元逆ＤＣＴ変換手段と、
    前記学習用の画像データから得られる、学習の教師となる教師データを、前記１次元ＤＣＴ係数に基づいて、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うクラス分類手段と、
    前記教師データと、前記学習用の画像データから得られる、学習の生徒となる生徒データとを用いて、前記教師データのクラスごとに学習を行うことにより、前記クラスごとの前記タップ係数を求める学習手段と
    を備えることを特徴とする画像処理装置。
52. 画像データを、少なくとも２次元ＤＣＴ(Discrete Cosine Transform)変換して得られる２次元ＤＣＴ係数を含む符号化データを復号するのに用いるタップ係数を学習する画像処理方法であって、
    学習用の画像データを、少なくとも２次元ＤＣＴ変換することにより符号化し、２次元ＤＣＴ係数を含む符号化データを出力する符号化ステップと、
    前記符号化データに含まれる２次元ＤＣＴ係数を、１次元逆ＤＣＴ変換することにより、１次元ＤＣＴ係数を求める１次元逆ＤＣＴ変換ステップと、
    前記学習用の画像データから得られる、学習の教師となる教師データを、前記１次元ＤＣＴ係数に基づいて、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うクラス分類ステップと、
    前記教師データと、前記学習用の画像データから得られる、学習の生徒となる生徒データとを用いて、前記教師データのクラスごとに学習を行うことにより、前記クラスごとの前記タップ係数を求める学習ステップと
    を備えることを特徴とする画像処理方法。
53. 画像データを、少なくとも２次元ＤＣＴ(Discrete Cosine Transform)変換して得られる２次元ＤＣＴ係数を含む符号化データを復号するのに用いるタップ係数を学習する画像処理を、コンピュータに行わせるプログラムであって、
    学習用の画像データを、少なくとも２次元ＤＣＴ変換することにより符号化し、２次元ＤＣＴ係数を含む符号化データを出力する符号化ステップと、
    前記符号化データに含まれる２次元ＤＣＴ係数を、１次元逆ＤＣＴ変換することにより、１次元ＤＣＴ係数を求める１次元逆ＤＣＴ変換ステップと、
    前記学習用の画像データから得られる、学習の教師となる教師データを、前記１次元ＤＣＴ係数に基づいて、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うクラス分類ステップと、
    前記教師データと、前記学習用の画像データから得られる、学習の生徒となる生徒データとを用いて、前記教師データのクラスごとに学習を行うことにより、前記クラスごとの前記タップ係数を求める学習ステップと
    を備えることを特徴とするプログラム。
54. 画像データを、少なくとも２次元ＤＣＴ(Discrete Cosine Transform)変換して得られる２次元ＤＣＴ係数を含む符号化データを復号するのに用いるタップ係数を学習する画像処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
    学習用の画像データを、少なくとも２次元ＤＣＴ変換することにより符号化し、２次元ＤＣＴ係数を含む符号化データを出力する符号化ステップと、
    前記符号化データに含まれる２次元ＤＣＴ係数を、１次元逆ＤＣＴ変換することにより、１次元ＤＣＴ係数を求める１次元逆ＤＣＴ変換ステップと、
    前記学習用の画像データから得られる、学習の教師となる教師データを、前記１次元ＤＣＴ係数に基づいて、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類を行うクラス分類ステップと、
    前記教師データと、前記学習用の画像データから得られる、学習の生徒となる生徒データとを用いて、前記教師データのクラスごとに学習を行うことにより、前記クラスごとの前記タップ係数を求める学習ステップと
    を備えるプログラムが記録されている
    ことを特徴とする記録媒体。